DE102020215826A1

DE102020215826A1 - Method and system for identifying components using codes attached to the components

Info

Publication number: DE102020215826A1
Application number: DE102020215826.6A
Authority: DE
Inventors: Niklas Brandt; Carsten Bunzeck
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2022-06-15

Abstract

Die Erfindung betrifft ein Verfahren zum Identifizieren von Bauteilen (10), mit den Schritten: Bereitstellen digitaler Abbildungen (24) von zu erkennenden physischen Codes (12), die den zu identifizierenden Bauteilen (10) zugeordnet sind; Erstellen von Bildaufnahmen (22) von an den jeweiligen Bauteilen (10) angebrachten physischen Codes (12); Zuordnen der erfassten physischen Codes (12) zu den bereitgestellten digitalen Abbildungen (24) der physischen Codes (12), indem die Bildaufnahmen der physischen Codes (12) mittels maschineller Bildanalyse mit den bereitgestellten digitalen Abbildungen (24) der physischen Codes (12) verglichen werden; Identifizieren der jeweiligen Bauteile (10) anhand der an diesen angebrachten physischen Codes (12) entsprechend der durchgeführten Zuordnung. Die Erfindung betrifft des Weiteren ein System (14) zum Identifizieren von Bauteilen (10).The invention relates to a method for identifying components (10), with the steps: providing digital images (24) of physical codes (12) to be recognized, which are assigned to the components (10) to be identified; Taking pictures (22) of physical codes (12) attached to the respective components (10); Assigning the detected physical codes (12) to the provided digital images (24) of the physical codes (12) by comparing the images of the physical codes (12) using machine image analysis with the provided digital images (24) of the physical codes (12). will; Identifying the respective components (10) using the physical codes (12) attached to them in accordance with the assignment carried out. The invention also relates to a system (14) for identifying components (10).

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Identifizieren von Bauteilen anhand von an den Bauteilen angebrachten Codes.The present invention relates to a method and a system for identifying components using codes attached to the components.

Heutzutage werden in vielen Industrien Barcodeleser zur Auslesung von Strichcodes eingesetzt. Diese arbeiten meist auf der Basis eines Lasers und erfordern, dass der Code relativ gezielt anvisiert wird. Neben dem Einsatz von Laserscannern besteht auch die Möglichkeit des Einsatzes einer Kamera. Diese nimmt ein Bild auf, auf welchem der Strichcode zu erkennen ist. Im Anschluss wird das Bild mittels maschinellem Lernen auf das Vorhandensein eines Strichcodes hin untersucht. Wenn einer oder mehrere solcher Codes erkannt werden, wird wie bei einem Laserscanner die Dicke der Striche sowie der Abstand der Striche zueinander mittels Bildanalyse gemessen. Ein Vorteil gegenüber dem Laserscanner besteht darin, dass der Code nicht mehr so gezielt anvisiert werden muss. Viele Nutzer kennen solche Barcodeleser beispielsweise aus Handyapplikationen.Today, barcode readers are used in many industries to read barcodes. These usually work on the basis of a laser and require the code to be aimed at in a relatively targeted manner. In addition to the use of laser scanners, there is also the possibility of using a camera. This takes an image on which the barcode can be seen. The image is then examined for the presence of a barcode using machine learning. If one or more such codes are recognized, the thickness of the bars and the distance between the bars are measured using image analysis, as with a laser scanner. An advantage over the laser scanner is that the code no longer has to be aimed at so specifically. Many users are familiar with such barcode readers from mobile phone applications, for example.

Aber auch bei der Verwendung von Kameras kann es passieren, dass solche Codes nicht zuverlässig ausgelesen werden können. Herausfordernd ist die Erkennung solcher Strichcodes beispielsweise, da die Auflösung der Kamera hoch genug sein muss, um die Breite der Striche sowie den Abstand dieser voneinander zu messen. Insbesondere bei größeren Abständen oder auch bei variierenden Abständen der Codes können diese oftmals nicht mehr zuverlässig decodiert werden.But even when using cameras, it can happen that such codes cannot be read reliably. The recognition of such barcodes is challenging, for example, because the resolution of the camera must be high enough to measure the width of the bars and the distance between them. In particular in the case of larger distances or also in the case of varying distances between the codes, these can often no longer be reliably decoded.

Aus dem Stand der Technik sind bereits verschiedene Verfahren zum Erkennen von Barcodes bekannt. Die WO 2019/209756 A1 beschreibt ein Verfahren zum Decodieren eines Barcodes durch maschinelles Lernen. Dabei werden einzelne Teile des Barcodes analysiert, um den Barcode zu decodieren.Various methods for detecting barcodes are already known from the prior art. the WO 2019/209756 A1 describes a method for decoding a barcode using machine learning. In the process, individual parts of the barcode are analyzed in order to decode the barcode.

Die EP 2 209 078 A1 beschreibt ein Verfahren zum Erkennen von Barcodes. Es wird ein Rohbild eines Barcodemusters aufgenommen, wobei basierend darauf ein Ausgangsmuster erzeugt wird. Das Ausgangsmuster mit gespeicherten Referenzmustern verglichen, wobei die Referenzmuster jeweils unscharfen Abbildungen von scharfen Nominalmustern entsprechen.the EP 2 209 078 A1 describes a method for recognizing barcodes. A raw image of a barcode pattern is captured, based on which an output pattern is generated. The initial pattern is compared with stored reference patterns, the reference patterns each corresponding to fuzzy images of sharp nominal patterns.

Es ist die Aufgabe der Erfindung, eine Lösung bereitzustellen, die eine besonders zuverlässige Auslesung von an Bauteilen angebrachten Codes, zum Beispiel in Form von Strichcodes, ermöglicht.It is the object of the invention to provide a solution that enables a particularly reliable reading of codes attached to components, for example in the form of bar codes.

Diese Aufgabe wird durch ein Verfahren und durch ein System zum Identifizieren von Bauteilen mit den Merkmalen der unabhängigen Ansprüche gelöst. Weitere mögliche Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen, der Beschreibung und den Figuren angegeben.This object is achieved by a method and by a system for identifying components with the features of the independent claims. Further possible configurations of the invention are specified in the dependent claims, the description and the figures.

Bei dem erfindungsgemäßen Verfahren zum Identifizieren von Bauteilen werden digitale Abbildungen von zu erkennenden physischen Codes bereitgestellt, die den zu identifizierenden Bauteilen zugeordnet sind. Die digitalen Abbildungen können insbesondere alle potenziell erkennbaren physischen Codes umfassen. Bei den physischen Codes kann es sich beispielsweise um Barcodes oder auch beispielsweise um QR-Codes handeln, die auf unterschiedlichste Art und Weise an den betreffenden Bauteilen angebracht beziehungsweise angeordnet sein können. Die bereitgestellten digitalen Abbildungen von den zu erkennenden physischen Codes werden also als eine Art Referenz verwendet. Die digitalen Abbildungen sind somit Darstellungen von den zu erkennenden physischen Codes und können zum Beispiel Vektorgrafiken oder anderweitige digitale Daten sein. Bei den bereitgestellten digitalen Abbildungen von den zu erkennenden physischen Codes handelt es sich also um nicht verrauschte, verzerrte oder anderweitig schwer lesbare Abbildungen. Im Zuge des erfindungsgemäßen Verfahrens werden Bildaufnahmen von am jeweiligen Bauteil angebrachten Codes erstellt. Dies kann beispielsweise mittels eines Kamerasystems oder anderweitiger geeigneter Vorrichtungen wie zum Beispiel Lasern oder dergleichen erfolgen. Die erfassten physischen Codes werden zu den bereitgestellten digitalen Abbildungen der physischen Codes zugeordnet, indem die Bildaufnahmen der physischen Codes mittels maschineller Bildanalyse mit den bereitgestellten digitalen Abbildungen der physischen Codes verglichen werden. Die jeweiligen Bildaufnahmen von den an den jeweiligen Bauteilen angebrachten physischen Codes werden also mit den bereitgestellten digitalen Abbildungen, die als eine Art Referenz dienen, abgeglichen. Die jeweiligen Bauteile werden dann anhand der an diesen angebrachten physischen Codes entsprechend der durchgeführten Zuordnung identifiziert.In the method according to the invention for identifying components, digital images of physical codes to be recognized which are assigned to the components to be identified are provided. In particular, the digital images may include any potentially recognizable physical codes. The physical codes can be, for example, barcodes or also, for example, QR codes, which can be attached or arranged on the relevant components in a wide variety of ways. The provided digital images of the physical codes to be recognized are thus used as a kind of reference. The digital images are thus representations of the physical codes to be recognized and can be, for example, vector graphics or other digital data. The digital images provided of the physical codes to be recognized are therefore images that are not noisy, distorted or otherwise difficult to read. In the course of the method according to the invention, images of codes attached to the respective component are created. This can be done, for example, using a camera system or other suitable devices such as lasers or the like. The recorded physical codes are assigned to the provided digital images of the physical codes by using machine image analysis to compare the images of the physical codes with the provided digital images of the physical codes. The respective images of the physical codes attached to the respective components are therefore compared with the digital images provided, which serve as a kind of reference. The respective components are then identified using the physical codes attached to them according to the assignment carried out.

Unter der Zuordnung ist insbesondere eine Vorschrift zu verstehen, welcher Code an welchem Bauteil angebracht ist beziehungsweise wird. Sollen die Bauteile beispielsweise im Bereich einer Montage oder Warenannahme anhand der Codes identifiziert werden, so kann im Vorfeld schon festgelegt werden, welche Arten von Codes an welchen Bauteilen angebracht sein werden beziehungsweise sollen, um anhand dessen die jeweiligen unterschiedlichen Bauteile identifizieren zu können. Gibt es also beispielsweise zehn unterschiedliche zu identifizierende Bauteilvarianten, so gibt es auch zehn unterschiedliche Varianten von physischen Codes und entsprechend diesen zugeordnete digitale Abbildungen der physischen Codes. Diese physischen Codes und digitalen Abbildungen der zu erkennenden physischen Codes können bestimmte Bauteileigenschaften oder das Bauteil selbst beschreiben, sodass man die betreffenden Bauteile anhand der jeweiligen Codes eindeutig identifizieren kann. Ein anderes Beispiel ist die Warenannahme. Der Lieferant meldet, dass bestimmte Waren geliefert werden. Nun kann man die Codes für die zu liefernden Waren als Pool nutzen und nach diesen Codes suchen.The assignment is to be understood in particular as a specification as to which code is or will be attached to which component. If the components are to be identified using the codes, for example in the area of assembly or goods receipt, it can be determined in advance which types of codes will or should be attached to which components in order to be able to use this to identify the respective different components. For example, if there are ten different component variants to be identified, there are also ten differences Various variants of physical codes and correspondingly associated digital images of the physical codes. These physical codes and digital images of the physical codes to be recognized can describe certain component properties or the component itself, so that the relevant components can be clearly identified based on the respective codes. Another example is the receipt of goods. The supplier reports that certain goods will be delivered. Now you can use the codes for the goods to be delivered as a pool and search for these codes.

Die Erfindung sieht also vor, dass die jeweiligen physischen Codes anhand der erstellten Bildaufnahmen von den physischen Codes, die zum Beispiel von einer Kamera aufgenommen wurden, mittels maschinellem Lernen erkannt werden. Ein wesentlicher Aspekt der Erfindung dabei liegt darin, dass die besagten sauberen als Referenz dienenden digitalen Abbildungen von den zu erkennenden physischen Codes bereitgestellt werden, beispielsweise in einer dafür geeigneten Datenbank. Es wird also eine Art Pool an Codes zunächst erfasst beziehungsweise definiert, die überhaupt erkannt werden sollen. Passend dazu werden dann die entsprechenden sauberen digitalen Abbildungen der zu erkennenden physischen Codes beispielsweise in einer Datenbank bereitgestellt. Bei der Durchführung des erfindungsgemäßen Verfahrens ist es also klar, welche physischen Codes, beispielsweise Barcodes, überhaupt erkannt werden sollen, wobei genau passend zu diesen zu erwarteten Codes, beispielsweise Strichcodes oder dergleichen, die entsprechenden sauberen digitalen Abbildungen bereitgestellt werden, die als Referenz dienen, mittels welchen dann die zum Beispiel mittels einer Kamera erfassten Bildaufnahmen von den realen physischen Codes an den Bauteilen abgeglichen werden können. Grundsätzlich eignet sich das Verfahren für alle möglichen Arten von 1 D- oder 2D-Codes.The invention therefore provides for the respective physical codes to be recognized using machine learning on the basis of the created images of the physical codes, which were recorded, for example, by a camera. An essential aspect of the invention is that said clean digital images serving as a reference are provided by the physical codes to be recognized, for example in a database suitable for this purpose. So a kind of pool of codes is first recorded or defined, which should be recognized at all. The corresponding clean digital images of the physical codes to be recognized are then made available in a database, for example. When the method according to the invention is carried out, it is therefore clear which physical codes, for example barcodes, are to be recognized at all, with the corresponding clean digital images, which serve as a reference, being provided exactly matching these expected codes, for example barcodes or the like. which can then be used to compare the images captured by a camera, for example, with the real physical codes on the components. In principle, the process is suitable for all possible types of 1D or 2D codes.

Mittels des erfindungsgemäßen Verfahrens ist es also insbesondere möglich, klassischerweise schwer zu identifizierende beziehungsweise unlesbare Codes zu identifizieren, indem die an den jeweiligen Bauteilen angebrachten und durch Bildaufnahmen erfassten Codes mit einem Pool an möglichen Codes in Form der bereitgestellten digitalen Abbildungen abgeglichen werden.The method according to the invention makes it possible in particular to identify codes that are traditionally difficult to identify or illegible by comparing the codes attached to the respective components and recorded by images with a pool of possible codes in the form of the digital images provided.

Eine mögliche Ausgestaltung der Erfindung sieht vor, dass beim Vergleichen der Bildaufnahmen der physischen Codes mit den digitalen Abbildungen Wahrscheinlichkeiten dafür ermittelt werden, dass die jeweiligen physischen Codes mit den jeweiligen digitalen Abbildungen der physischen Codes übereinstimmen, wobei die Zuordnung der physischen Codes zu den digitalen Abbildungen der physischen Codes nur in den Fällen erfolgt, bei denen die jeweils ermittelte Wahrscheinlichkeit einen vorgegebenen Wahrscheinlichkeitswert überschreitet. Insbesondere erfolgt die Zuordnung zu der digitalen Abbildung nur eines Codes aus dem Pool. Dadurch wird ein besonders zuverlässiges beziehungsweise robustes Verfahren zum Identifizieren der jeweiligen Bauteile anhand der an diesen angebrachten physischen Codes ermöglicht. Denn es werden beim Vergleichen der Bildaufnahmen der physischen Codes mit den digitalen Abbildungen nur diejenigen physischen Codes identifiziert, die den besagten vorgegebenen Wahrscheinlichkeitswert überschreiten. Insbesondere wird den einzelnen Breiten der Striche und Lücken eine Wahrscheinlichkeitsverteilung zugeordnet. Anschließend wird für die Summe der Verteilungen die wahrscheinlichste Lösung ermittelt.A possible embodiment of the invention provides that when comparing the images of the physical codes with the digital images, probabilities are determined that the respective physical codes match the respective digital images of the physical codes, with the assignment of the physical codes to the digital images of the physical code only takes place in those cases where the probability determined in each case exceeds a specified probability value. In particular, only one code from the pool is assigned to the digital image. This enables a particularly reliable or robust method for identifying the respective components using the physical codes attached to them. This is because when comparing the image recordings of the physical codes with the digital images, only those physical codes are identified which exceed the aforesaid predetermined probability value. In particular, a probability distribution is assigned to the individual widths of the bars and spaces. The most probable solution is then determined for the sum of the distributions.

Eine weitere mögliche Ausgestaltung der Erfindung sieht vor, dass die Zuordnung der physischen Codes zu den digitalen Abbildungen der physischen Codes nur in den Fällen erfolgt, bei denen der ermittelte Wahrscheinlichkeitswert einen vorgegebenen Mindestunterschied zum nächst niedrigeren Wahrscheinlichkeitswert hinsichtlich eines anderen Codes aufweist. Dadurch wird die Erkennungsqualität des Verfahrens nochmals verbessert. Wurden beispielsweise zwei relativ ähnliche, jedoch unterschiedliche physische Codes von der digitalen Abbildung aufgezeichnet, wobei dies zum Beispiel aus einem ungünstigen Winkel erfolgt ist, so kann es passieren, dass die digitalen Abbildungen der recht ähnlichen physischen Codes nur schwer zu unterscheiden sind. Um dennoch sichergehen zu können, dass die recht ähnlichen physischen Codes auch tatsächlich unterschieden werden können, kann es vorgesehen sein, dass der jeweils ermittelte Wahrscheinlichkeitswert für die Übereinstimmung zwischen einem der physischen Codes und den digitalen Abbildungen einen vorgegebenen Mindestunterschied zu dem nächst niedrigeren Wahrscheinlichkeitswert hinsichtlich des anderen Codes aufweist. So können Fehler bei der Zuordnung beziehungsweise Erkennung von sehr ähnlichen physischen Codes, insbesondere bei ungünstigen Aufzeichnungsbedingungen für Laserscanner oder Kameras, verhindert werden. Mit anderen Worten werden also Wahrscheinlichkeiten mit dem Pool der möglichen Codes verglichen und ermittelt, mit welcher Wahrscheinlichkeit welcher Code vorliegt. Bei der Überschreitung einer bestimmten Wahrscheinlichkeitsgrenze und insbesondere einem definierten Mindestunterschied zu einem anderen Code wird die Erkennung eines Codes angenommen. Insbesondere findet somit kein reines Lesen oder Decodieren im engeren Sinne statt, sondern eine Ermittlung der Wahrscheinlichkeit zur Erkennung eines Codes aus einem vordefinierten Set an Codes. Bei Unterschreiten einer Mindestwahrscheinlichkeit kann es vorgesehen sein, dass kein Code aus dem Pool erkannt wird und somit keine Erkennung möglich ist.Another possible embodiment of the invention provides that the physical codes are only assigned to the digital images of the physical codes in cases where the determined probability value has a predetermined minimum difference to the next lower probability value with regard to another code. This further improves the recognition quality of the method. For example, if two relatively similar but different physical codes have been recorded from the digital image, e.g. from an awkward angle, the digital images of the quite similar physical codes may be difficult to distinguish. However, in order to be able to be sure that the very similar physical codes can actually be distinguished, it can be provided that the probability value determined in each case for the match between one of the physical codes and the digital images has a predetermined minimum difference to the next lower probability value with regard to the has other codes. In this way, errors in the assignment or recognition of very similar physical codes can be prevented, especially in the case of unfavorable recording conditions for laser scanners or cameras. In other words, probabilities are compared with the pool of possible codes and it is determined with which probability which code is present. If a certain probability limit is exceeded and in particular a defined minimum difference to another code, the recognition of a code is assumed. In particular, there is no pure reading or decoding in the narrower sense, but a determination of the probability of recognizing a code from a predefined set of codes. If a minimum probability is not reached, it can be provided that no code from the pool is recognized and therefore no recognition is possible.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung ist es vorgesehen, dass eine Warnmeldung beziehungsweise Information ausgegeben wird, wenn keine Zuordnung von physischem Code zu den digitalen Abbildungen der physischen Codes erfolgt ist. Auf diese Weise kann beispielsweise ein Werker in einem Wareneingangsbereich darüber in Kenntnis gesetzt werden, dass ein gerade von ihm zum Beispiel mittels eines Handscanners oder auch automatisch gescannter tatsächlicher physischer Code nicht eindeutig identifiziert werden konnte. In dem Zusammenhang kann der besagte Werker beispielsweise dazu aufgefordert werden, den betreffenden physischen Code erneut aufzuzeichnen, sei es durch eine manuelle Handlung oder durch Betätigung einer entsprechend dafür geeigneten Scannereinrichtung oder Kameraeinrichtung. So kann sichergestellt werden, dass sämtliche Bauteile anhand der daran angebrachten physischen Codes auch irgendwann erkannt werden können.According to a further possible embodiment of the invention, it is provided that a warning message or information is output if the physical code has not been assigned to the digital images of the physical codes. In this way, for example, a worker in a goods-in area can be informed that an actual physical code scanned by him, for example using a hand-held scanner or also automatically, could not be clearly identified. In this context, the said worker can, for example, be asked to record the physical code in question again, either by manual action or by operating a scanner device or camera device that is suitable for this purpose. This ensures that all components can also be recognized at some point from the physical codes attached to them.

In weiterer möglicher Ausgestaltung der Erfindung ist es vorgesehen, dass die Codes zumindest teilweise Strichcodes sind, wobei jedem Strich und jeder Lücke innerhalb des jeweiligen Strichcodes Wahrscheinlichkeiten dafür zugeordnet werden, dass eine bestimmte Breite vorliegt und jeweils diejenige Breite zugeordnet wird, welche die größte Wahrscheinlichkeit aufweist. Insbesondere wird nicht nur eine Breite zugeordnet, sondern jedem Strich und jeder Lücke wird eine Verteilung der Wahrscheinlichkeiten für die verschiedenen Breiten zugeordnet. Zum Beispiel kann es sein, dass die verwendeten Strichcodes nur vier unterschiedliche Strichbreiten aufweisen. Das kann ebenso für die jeweiligen Lücken innerhalb der Codes zutreffen. Nachdem nun die Strichcodes aufgezeichnet worden sind, werden diese mit den besagten digitalen Abbildungen der Codes abgeglichen. Bei jedem erkannten Strich und bei jeder erkannten Lücke wird bei jedem erkannten Code eine bestimmte Wahrscheinlichkeit dafür ermittelt beziehungsweise zugeordnet, welche Breite gerade vorliegt, wie breit also der jeweilige Strich beziehungsweise die jeweilige Lücke in dem Strichcode ist. Dabei werden jedem Strich und jeder Lücke für alle theoretisch möglichen Breiten die Wahrscheinlichkeiten des Auftretens auf den Bildaufnahmen zugeordnet. Anschließend wird die Kombination der Verteilung der Breiten mit den Breiten der Codes im Referenzpool verglichen. Anschließend wird für jeden theoretisch möglichen Code des Referenzpools eine Wahrscheinlichkeit ausgegeben, dass der vorliegende Code der Codes des Referenzpools ist. Infolgedessen ergibt sich durch das Verfahren dann eine bestimmte Abfolge der Striche und Lücken mit ihren unterschiedlichen Breiten. Anhand dessen kann dann ein Abgleich mit den als Referenz dienenden digitalen Abbildungen der Codes erfolgen. Dort, wo die größte Übereinstimmung festgestellt ist, ist dann klar, um welchen genauen Code es sich handelt.In a further possible embodiment of the invention, it is provided that the codes are at least partially barcodes, with each bar and each gap within the respective barcode being assigned probabilities that a certain width is present and that width being assigned which has the greatest probability . In particular, not only is a width assigned, but each bar and space is assigned a distribution of the probabilities for the different widths. For example, the barcodes used may only have four different bar widths. This can also apply to the respective gaps within the codes. Now that the barcodes have been recorded, they are compared with said digital images of the codes. For each recognized bar and for each recognized gap, a specific probability is determined or assigned for each recognized code as to what width is currently present, ie how wide the respective bar or gap in the bar code is. The probabilities of occurrence on the image recordings are assigned to each line and each gap for all theoretically possible widths. Then the combination of the distribution of the widths is compared with the widths of the codes in the reference pool. Then, for each theoretically possible code in the reference pool, a probability is output that the present code is the code in the reference pool. As a result, the method then results in a specific sequence of bars and gaps with their different widths. On the basis of this, a comparison can then be made with the digital images of the codes that serve as a reference. Where the greatest match is found, it is then clear which exact code is involved.

Eine weitere mögliche Ausgestaltung der Erfindung sieht vor, dass vor dem Zuordnen der jeweiligen Breite Wahrscheinlichkeiten ermittelt werden, dass an einer bestimmten Stelle durch die jeweiligen Strichcodes ein Strich oder eine Lücke vorhanden ist, wonach entsprechend der jeweils größeren Wahrscheinlichkeit der jeweiligen Stelle ein Strich oder eine Lücke zugeordnet wird. Auf diese Weise ist es möglich, beim Erkennen der jeweiligen Strichcodes besonders zuverlässig aufzulösen beziehungsweise zu erkennen, an welchen Stellen gerade Striche oder auch Lücken innerhalb der jeweiligen Strichcodes analysiert werden müssen.A further possible embodiment of the invention provides that before the respective width is assigned, probabilities are determined that a bar or a gap is present at a specific point due to the respective bar code, after which a bar or a gap is assigned. In this way it is possible, when recognizing the respective barcodes, to particularly reliably resolve or recognize at which points straight lines or also gaps within the respective barcodes have to be analyzed.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung ist es vorgesehen, dass die Ermittlung der Wahrscheinlichkeiten hinsichtlich des Vorhandenseins eines Strichs oder einer Lücke nur in denjenigen Bereichen der Bildaufnahmen erfolgt, in denen eine Bildschärfe kleiner als eine vorgegebene Bildschärfe ist. Beispielsweise kann es vorkommen, dass bestimmte Bereiche der Bildaufnahmen eher unscharf und andere eher scharf sind. In den scharfen Bildbereichen sollte es mittels Bildanalyse relativ einfach möglich sein, die realen Codes aufzulösen beziehungsweise zu erkennen, wohingegen in den unscharfen Bereichen Schwierigkeiten auftreten können. In dem Zusammenhang kann es vorgesehen sein, dass nur in denjenigen Bereichen der Bildaufnahmen, in denen die Bildschärfe kleiner als eine vorgegebene Bildschärfe ist, Wahrscheinlichkeiten dafür ermittelt werden, ob gerade ein Strich oder eine Lücke vorliegt. Dadurch kann der Aufwand beim Verfahren verringert werden, da nur die kritischen Bereiche hinsichtlich der Bildauswertung beziehungsweise Bilderkennung noch zusätzlich dahingehend untersucht werden, ob in bestimmten Bereichen gerade Lücken oder Striche des zu analysierenden Strichcodes vorliegen.According to a further possible embodiment of the invention, it is provided that the determination of the probabilities with regard to the presence of a line or a gap takes place only in those areas of the image recordings in which the image sharpness is less than a predetermined image sharpness. For example, it can happen that certain areas of the image recordings are rather blurred and others are rather sharp. In the sharp image areas, it should be relatively easy to resolve or recognize the real codes using image analysis, whereas difficulties can arise in the blurred areas. In this context, it can be provided that probabilities are determined for whether a line or a gap is present only in those areas of the image recordings in which the image sharpness is less than a predefined image sharpness. As a result, the effort involved in the method can be reduced, since only the critical areas with regard to the image evaluation or image recognition are additionally examined to determine whether there are straight gaps or bars in the bar code to be analyzed in certain areas.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung ist es vorgesehen, dass die Codes zumindest teilweise 2D-Codes sind, wobei Wahrscheinlichkeiten dafür ermittelt werden, dass an bestimmten Stellen der jeweiligen 2D-Codes ein ausgefüllter Quadrant ist, wonach entsprechend der jeweils größeren Wahrscheinlichkeit der jeweiligen Stelle ein ausgefüllter Quadrant oder nicht zugeordnet wird. Zum Beispiel kann es sich bei den Codes teilweise oder vollständig um QR-Codes handeln. Unter einem ausgefüllten Quadrant kann beispielsweise verstanden werden, dass dieser Quadrant beziehungsweise Bildpunkt schwarz ist, wobei andere Bereiche weiß sind, wie man es an sich von QR-Codes kennt. Das erfindungsgemäße Verfahren kann also auch auf zweidimensionale Codes angewendet werden, wobei eine Wahrscheinlichkeit berechnet beziehungsweise ermittelt ist, ob an einer Stelle ein ausgefüllter Quadrant, beispielsweise Punkt, ist oder nicht. Dabei kann, muss aber keine Wahrscheinlichkeitsgrenze vorgegeben werden, ab der der besagte Code erkannt wird. Das Verfahren kann also neben Strichcodes auch auf unterschiedlichste Arten von zweidimensionalen Codes, beispielsweise in Form von QR-Codes, angewendet werden.According to a further possible embodiment of the invention, it is provided that the codes are at least partially 2D codes, with probabilities being determined for certain points in the respective 2D code being a filled-in quadrant, after which corresponding to the greater probability of the respective point a filled quadrant or not assigned. For example, some or all of the codes may be QR codes. A filled-in quadrant can be understood, for example, as meaning that this quadrant or pixel is black, with other areas being white, as is known from QR codes. The method according to the invention can therefore also be applied to two-dimensional codes, with a probability it is calculated or determined whether or not there is a filled quadrant, for example a point, at a point. In this case, a probability limit can, but does not have to, be specified from which the code in question will be recognized. In addition to bar codes, the method can also be applied to a wide variety of types of two-dimensional codes, for example in the form of QR codes.

Das erfindungsgemäße System zum Identifizieren von Bauteilen ist dazu eingerichtet, das erfindungsgemäße Verfahren oder eine mögliche Ausgestaltung des erfindungsgemäßen Verfahrens durchzuführen. Das System kann insbesondere eine Datenbank zum Bereitstellen der digitalen Abbildungen von zu erkennenden physischen Codes aufweisen, die den zu identifizierenden Bauteilen zugeordnet sind. Des Weiteren kann das System eine Einrichtung zum Erstellen von Bildaufnahmen von an den jeweiligen Bauteilen angebrachten physischen Codes aufweisen. Bei dieser Einrichtung kann es sich beispielsweise um eine Scannereinrichtung oder auch um eine Kameraeinrichtung handeln. Des Weiteren kann das System eine Datenverarbeitungseinrichtung zum Zuordnen der erfassten physischen Codes zu den bereitgestellten digitalen Abbildungen der physischen Codes aufweisen, die insbesondere zur Durchführung einer maschinellen Bildanalyse ausgebildet sein kann. Darüber hinaus kann besagte Datenverarbeitungseinrichtung auch dazu eingerichtet sein, die jeweiligen Bauteile anhand der an diesen angebrachten physischen Codes entsprechend einer durchgeführten Zuordnung zu den bereitgestellten digitalen Abbildungen zu identifizieren. Mögliche Ausgestaltungen des erfindungsgemäßen Verfahrens sind auch als mögliche Ausgestaltungen des erfindungsgemäßen Systems und umgekehrt anzusehen, wobei das System insbesondere Mittel zur Durchführung der Verfahrensschritte aufweisen kann.The system according to the invention for identifying components is set up to carry out the method according to the invention or a possible embodiment of the method according to the invention. In particular, the system can have a database for providing the digital images of physical codes to be recognized, which are assigned to the components to be identified. Furthermore, the system can have a device for creating images of physical codes attached to the respective components. This device can be a scanner device or a camera device, for example. Furthermore, the system can have a data processing device for assigning the detected physical codes to the provided digital images of the physical codes, which can be designed in particular to carry out a machine image analysis. In addition, said data processing device can also be set up to identify the respective components using the physical codes attached to them in accordance with an assignment made to the digital images provided. Possible configurations of the method according to the invention are also to be regarded as possible configurations of the system according to the invention and vice versa, in which case the system can in particular have means for carrying out the method steps.

Gemäß einer weiteren möglichen Ausgestaltung der Erfindung ist es vorgesehen, dass das System für Bauteile der Automobilindustrie verwendet wird. Dementsprechend eignet sich auch das vorgeschlagenen Verfahren zur Verwendung in der Automobilindustrie, insbesondere zum Herstellen eines Fahrzeuges.According to a further possible embodiment of the invention, it is provided that the system is used for components in the automotive industry. Accordingly, the proposed method is also suitable for use in the automotive industry, in particular for manufacturing a vehicle.

Weitere Merkmale der Erfindung können sich aus der nachfolgenden Figurenbeschreibung sowie anhand der Zeichnung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the following description of the figures and from the drawing. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnung zeigt in:

1 eine schematische Darstellung von Bauteilen, an denen unterschiedliche physische Codes, z.B. in Form von Barcodes, angeordnet sind, wobei noch ein System zum Identifizieren der Bauteile anhand der Codes schematisch angedeutet ist;
2 eine schematische Darstellung von bereitgestellten digitalen Abbildungen der zu erkennenden physischen Codes sowie von erstellten Bildaufnahmen von den physischen Codes;
3 eine schematische Darstellung von einem der Codes, wobei dieser als Strichcode ausgebildet ist.

The drawing shows in:

1 a schematic representation of components on which different physical codes, for example in the form of barcodes, are arranged, with a system for identifying the components based on the codes being indicated schematically;
2 a schematic representation of provided digital images of the physical codes to be recognized and of created images of the physical codes;
3 a schematic representation of one of the codes, this being designed as a bar code.

Gleiche oder funktionsgleiche Elemente sind in den Figuren mit den gleichen Bezugszeichen versehen.Elements that are the same or have the same function are provided with the same reference symbols in the figures.

Mehrere unterschiedliche Bauteile 10 sind schematisiert in 1 dargestellt. An den jeweiligen Bauteilen 10 sind physische Codes 12 angebracht beziehungsweise angeordnet, wobei es sich bei diesen Codes 12 zum Beispiel um Strichcodes beziehungsweise Barcodes handeln kann. Des Weiteren ist ein System 14 schematisch gezeigt, welches dazu eingerichtet ist, die jeweiligen Bauteile 10 zu identifizieren. Das System 14 umfasst eine Datenbank 16, eine optische Erfassungseinrichtung 18 und eine Datenverarbeitungseinrichtung 20. Die optische Erfassungseinrichtung 18 kann beispielsweise einen oder mehrere Scanner und/oder eine oder mehrere Kameras aufweisen.Several different components 10 are shown schematically in 1 shown. Physical codes 12 are attached or arranged on the respective components 10, it being possible for these codes 12 to be bar codes or bar codes, for example. Furthermore, a system 14 is shown schematically, which is set up to identify the respective components 10 . The system 14 includes a database 16, an optical detection device 18 and a data processing device 20. The optical detection device 18 can have, for example, one or more scanners and/or one or more cameras.

Nachfolgend wird ein Verfahren zum Identifizieren der Bauteile 10 anhand der Codes 12 näher erläutert. In 2 sind schematisch mehrere Bildaufnahmen 22 schematisch angedeutet, die von an den jeweiligen Bauteilen 10 angebrachten physischen Codes und auch von weiteren hier nicht dargestellten physischen Codes 12 an weiteren Bauteilen 10 erstellt worden sind. Diese Bildaufnahmen 22 können mittels der optischen Erfassungseinrichtung 18 erstellt werden.A method for identifying the components 10 using the codes 12 is explained in more detail below. In 2 1, several images 22 are schematically indicated, which have been created from physical codes attached to the respective components 10 and also from other physical codes 12, not shown here, on other components 10. These images 22 can be created using the optical detection device 18 .

Des Weiteren sind mehrere digitale von den zu erkennenden physischen Codes 12 dargestellt, die den zu identifizierenden Bauteilen 10 zugeordnet sind. Diese digitalen werden in beziehungsweise mittels der Datenbank 16 bereitgestellt. Bei diesen digitalen handelt es sich um einen Pool von digitalen Repräsentationen aller möglichen Codes 12, die an unterschiedlichsten Bauteilen 10 angebracht und erkannt werden sollen. Sollen beispielweise unterschiedliche Varianten der Bauteile 10 in einem Wareneingangsbereich erkannt beziehungsweise identifiziert werden, so kann im Vorfeld festgelegt werden, um welche Varianten der Bauteile 10 es sich handeln wird und welche Arten beziehungsweise Varianten der unterschiedichen Codes 12 zu erwarten sind. Entsprechend werden sämtliche digitale , bei denen es sich um digitale Referenzabbildungen der zu erwarteten Realcodes 12 handelt, bereitgestellt.Furthermore, several digital represented by the physical codes 12 to be recognized, which are assigned to the components 10 to be identified. These digital are provided in or by means of the database 16. With these digital ones it is a pool of digital representations of all possible codes 12 that are to be attached to a wide variety of components 10 and recognized. If, for example, different variants of construction If parts 10 are recognized or identified in a goods receipt area, it can be determined in advance which variants of the components 10 will be involved and which types or variants of the different codes 12 are to be expected. Accordingly, all digital , which are digital reference images of the expected real codes 12.

Die Datenverarbeitungseinrichtung 20 ordnet nun die erfassten physischen Codes 12 den bereitgestellten digitalen zu, indem die Bildaufnahmen 22 der physischen Codes 12 mittels maschineller Bildanalyse mit den bereitgestellten digitalen der physischen Codes 12 verglichen werden. Anschließend werden die jeweiligen Bauteile 12 anhand der an diesen angebrachten physischen Codes 12 entsprechend der durchgeführten Zuordnung identifiziert.The data processing device 20 now assigns the recorded physical code 12 to the digital code provided to by the images 22 of the physical code 12 by means of machine image analysis with the provided digital of the physical codes 12 are compared. The respective components 12 are then identified using the physical codes 12 attached to them in accordance with the assignment carried out.

Insbesondere ist es vorgesehen, dass beim Vergleich der Bildaufnahmen 22 der physischen Codes 12 mit den digitalen Wahrscheinlichkeiten dafür ermittelt werden, dass die jeweiligen physischen Codes 12 mit den jeweiligen digitalen übereinstimmen, wobei die Zuordnung der physischen Codes 12 zu den digitalen nur in den Fällen erfolgt, bei denen die jeweils ermittelte Wahrscheinlichkeit einen vorgegebenen Wahrscheinlichkeitswert überschreitet.In particular, it is provided that when comparing the images 22 of the physical code 12 with the digital Probabilities are determined that the respective physical code 12 with the respective digital match, with the assignment of the physical codes 12 to the digital only takes place in those cases in which the probability determined in each case exceeds a specified probability value.

Zudem kann es vorgesehen sein, dass die Zuordnung der physischen Codes 12 zu den digitalen nur in den Fällen erfolgt, bei denen der ermittelte Wahrscheinlichkeitswert einen vorgegebenen Mindestunterschied zum nächst niedrigeren Wahrscheinlichkeitswert hinsichtlich eines anderen Codes 12 aufweist. So kann sichergestellt werden, dass relativ ähnliche Codes 12 oder schlecht aufgezeichnete Codes 12 nicht miteinander verwechselt werden. Darüber hinaus kann es vorgesehen sein, dass das System 14 eine Warnmeldung beziehungsweise Information ausgibt, wenn keine Zuordnung von den gerade erfassten Codes 12 zu den digitalen möglich war.In addition, it can be provided that the assignment of the physical codes 12 to the digital takes place only in those cases in which the determined probability value has a predetermined minimum difference to the next lower probability value with regard to another code 12. It can thus be ensured that relatively similar codes 12 or poorly recorded codes 12 are not confused with one another. In addition, it can be provided that the system 14 outputs a warning message or information if no assignment of the code 12 just detected to the digital was possible.

In 3 ist beispielhaft einer dieser Codes 12 dargestellt, wobei es sich um einen Barcode beziehungsweise Strichcode handelt. Jedem hier nicht bezeichneten Strich und jeder hier nicht bezeichneten Lücke innerhalb des Codes 12 können Wahrscheinlichkeiten dafür zugeordnet werden, dass eine bestimmte Breite b vorliegt, wobei jeweils diejenige Breite b zugeordnet wird, welche die größte Wahrscheinlichkeit aufweist. Die Codes 12 in Form solcher Strichcodes können beispielsweise aus unterschiedlichen Strichbreiten beziehungsweise Strichen mit unterschiedlicher Breite b zusammengesetzt sein. Nachdem die betreffenden Codes 12 aufgezeichnet worden sind, ist es möglich, anhand der Bildaufnahmen 22 zu ermitteln, wie breit jeder Strich beziehungsweise jede Lücke ist, wobei innerhalb dieser Codes 12 dann Wahrscheinlichkeiten dafür ermittelt beziehungsweise zugeordnet werden, dass genau eine ganz bestimmte Breite b vorliegt.In 3 one of these codes 12 is shown as an example, which is a barcode or barcode. Probabilities for the fact that a specific width b is present can be assigned to each bar that is not designated here and to each gap within the code 12 that is not designated here, with that width b being assigned in each case that has the greatest probability. The codes 12 in the form of such bar codes can, for example, be composed of different bar widths or bars with a different width b. After the codes 12 in question have been recorded, it is possible to use the image recordings 22 to determine how wide each bar or gap is, with probabilities then being determined or assigned within these codes 12 that precisely a very specific width b is present .

So ist es möglich, anhand dieser Wahrscheinlichkeiten auch zu ermitteln, in welcher Reihenfolge die unterschiedlich breiten Lücken beziehungsweise Striche angeordnet sind, wonach dann der Abgleich mit den als Referenzbildern dienenden digitalen durchgeführt werden kann. Vor dem Zuordnen beziehungsweise Ermitteln der jeweiligen Breiten b kann es auch noch vorgesehen sein, dass zuvor überprüft beziehungsweise ermittelt wird, dass an einer bestimmten Stelle der jeweiligen Codes 12 überhaupt ein Strich oder eine Lücke vorhanden ist, wonach entsprechend der jeweils größeren Wahrscheinlichkeit der jeweiligen Stelle ein Strich oder eine Lücke zugeordnet wird. Dieses Vorgehen kann beispielsweise auf solche Bereiche der Codes 12 beschränkt werden, die relativ unscharf sind, wohingegen schärfere beziehungsweise gut erkennbare Bereiche der Codes 12 nicht noch zusätzlich dahingehend untersucht werden, wo dort bestimmte Lücken beziehungsweise Striche zu finden sind.It is thus possible to also use these probabilities to determine the order in which the gaps or bars of different widths are arranged, after which the comparison with the digital images serving as reference images can then be carried out can be carried out. Before assigning or determining the respective widths b, it can also be provided that it is checked or determined beforehand that there is a bar or a gap at a specific point in the respective code 12, according to which the respective greater probability of the respective point is determined a dash or space is assigned. This procedure can be limited, for example, to those areas of the code 12 that are relatively blurred, whereas areas of the code 12 that are sharper or easily recognizable are not additionally examined to determine where certain gaps or bars can be found there.

Die erläuterte Vorgehensweise ist nicht nur auf eindimensionale Codes, wie beispielsweise Strichcodes, beschränkt. Es ist auch möglich, beispielsweise zweidimensionale Codes 12 entsprechend zu identifizieren, bei denen es sich beispielsweise um QR-Codes handeln kann.The procedure explained is not just limited to one-dimensional codes such as bar codes. It is also possible to correspondingly identify, for example, two-dimensional codes 12, which can be QR codes, for example.

Sollten die jeweils zu identifizierenden Codes 12 schwer auslesbar beziehungsweise erkennbar sein, so ist es mittels des erfindungsgemäßen Verfahrens und Systems 14 mit einer relativ großen Wahrscheinlichkeit dennoch möglich, durch den Abgleich mit dem Pool an möglichen Codes in Form der digitalen diese Codes 12 doch noch zu erkennen.If the codes 12 to be identified are difficult to read or recognise, it is still possible using the method and system 14 according to the invention with a relatively high probability, by comparing with the pool of possible codes in the form of digital these codes 12 still recognizable.

BezugszeichenlisteReference List

1010: Bauteilcomponent
1212: physischer Codephysical code
1414: Systemsystem
1616: DatenbankDatabase
1818: Erfassungseinrichtungdetection device
2020: Datenverarbeitungseinrichtungdata processing facility
2222: Bildaufnahmen der physischen CodesPhotographs of the physical codes
2424: digitale Abbildungen der physischen Codesdigital images of the physical codes
bb: BreiteBroad

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

WO 2019/209756 A1 [0004]
EP 2209078 A1 [0005]

Claims

Method for identifying components (10), comprising the steps: - providing digital images (24) of physical codes (12) to be recognized, which are assigned to the components (10) to be identified; - Creating images (22) of the respective components (10) attached physical codes (12); - Assigning the recorded physical codes (12) to the provided digital images (24) of the physical codes (12) by using machine image analysis to combine the images of the physical codes (12) with the provided digital images (24) of the physical codes (12) to be compared; - Identifying the respective components (10) based on the attached to these physical codes (12) according to the assignment carried out.

procedure after claim 1 , characterized in that when comparing the images (22) of the physical codes (12) with the digital images (24), probabilities are determined that the respective physical codes (12) with the respective digital images (24) of the physical codes ( 12) match, the physical code (12) being assigned to the digital images (24) of the physical code (12) only in those cases in which the respectively determined probability exceeds a predetermined probability value.

procedure after claim 1 or claim 2 , characterized in that the physical codes (12) are assigned to the digital images (24) of the physical codes (12) only in those cases in which the probability value determined has a predetermined minimum difference to the next lower probability value with regard to another code.

Method according to one of the preceding claims, characterized in that a warning message is issued if the physical code (12) has not been assigned to the digital images (24) of the physical codes (12).

Method according to one of the preceding claims, characterized in that the codes (12) are at least partially bar codes, with each bar and each gap within the respective bar code being assigned probabilities that a certain width (b) is present and that width (b ) is assigned to which has the greatest probability.

procedure after claim 5 , characterized in that before the respective width (b) is assigned, probabilities are determined that a bar or a gap is present at a specific point in the respective bar code, after which a bar or a gap is assigned to the respective point according to the respective greater probability .

procedure after claim 6 , characterized in that the probabilities with regard to the presence of a line or a gap are determined only in those areas of the recorded images (22) in which an image sharpness is less than a predetermined image sharpness.

Method according to one of the preceding claims, characterized in that the codes (12) are at least partially 2D codes, with probabilities being determined that at certain points in the respective 2D code a filled quadrant is or is not, after which corresponding to the respective greater likelihood of a filled quadrant or not being assigned to the respective position.

Method in a system (14) for identifying components (10), which is set up to carry out a method according to one of the preceding claims.

Method in system (14) according to claim 9 , wherein the system (14) is used for components in the automotive industry.