DE102015014199A1 - Method and system for improving the object recognition performance of a 3D recognition unit - Google Patents

Method and system for improving the object recognition performance of a 3D recognition unit Download PDF

Info

Publication number
DE102015014199A1
DE102015014199A1 DE102015014199.6A DE102015014199A DE102015014199A1 DE 102015014199 A1 DE102015014199 A1 DE 102015014199A1 DE 102015014199 A DE102015014199 A DE 102015014199A DE 102015014199 A1 DE102015014199 A1 DE 102015014199A1
Authority
DE
Germany
Prior art keywords
image
information
recognition unit
recognition
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102015014199.6A
Other languages
German (de)
Other versions
DE102015014199B4 (en
Inventor
Mikael Salmén
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scania CV AB
Original Assignee
Scania CV AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scania CV AB filed Critical Scania CV AB
Publication of DE102015014199A1 publication Critical patent/DE102015014199A1/en
Application granted granted Critical
Publication of DE102015014199B4 publication Critical patent/DE102015014199B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Gegenstand der vorliegenden Erfindung ist ein Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit, das dazu dient, das Objekt zu beleuchten und aus dem vom Objekt reflektierten Licht mit 3D-Informationen ein 3D-Bild zu erstellen. Dieses Verfahren umfasst die folgenden Schritte: Erkennung (S1) eines 3D-Bildes des Objekts mithilfe der 3D-Erkennungseinheit; und Erkennung (S2) eines 2D-Bildes des genannten Objekts. Dieses Verfahren umfasst außerdem die folgenden Schritte: Korrelation (S3) des 2D-Bildes und des 3D-Bildes, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen; und Extrapolation (S4) des 3D-Bildes mit Informationen aus dem 2D-Bild im Falle des Fehlens von Informationen im 3D-Bild. Die vorliegende Erfindung bezieht sich außerdem auf ein System zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit. Darüber hinaus bezieht sich die vorliegende Erfindung auf ein Fahrzeug. Ein weiterer Gegenstand der vorliegenden Erfindung ist ein Computerprogramm und ein Computerprogrammprodukt.The subject matter of the present invention is a method for improving the object recognition performance of a 3D recognition unit, which serves to illuminate the object and to generate a 3D image from the light reflected by the object with 3D information. This method comprises the following steps: detection (S1) of a 3D image of the object using the 3D recognition unit; and detecting (S2) a 2D image of said object. This method also includes the steps of correlating (S3) the 2D image and the 3D image to detect a potential lack of information in the 3D image; and extrapolating (S4) the 3D image with information from the 2D image in the case of missing information in the 3D image. The present invention also relates to a system for improving the object recognition performance of a 3D recognition unit. Moreover, the present invention relates to a vehicle. Another object of the present invention is a computer program and a computer program product.

Figure DE102015014199A1_0001
Figure DE102015014199A1_0001

Description

Technischer BereichTechnical part

Ein Gegenstand der Erfindung ist ein Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gemäß dem Oberbegriff zu Patentanspruch 1. Außerdem bezieht sich die Erfindung auf ein System zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit. Darüber hinaus bezieht sich die Erfindung auf ein Fahrzeug. Ein weiterer Gegenstand der Erfindung ist ein Computerprogramm und ein Computerprogrammprodukt.An object of the invention is a method for improving the object recognition performance of a 3D recognition unit according to the preamble of claim 1. Furthermore, the invention relates to a system for improving the object recognition performance of a 3D recognition unit. In addition, the invention relates to a vehicle. Another object of the invention is a computer program and a computer program product.

Bisheriger Stand der TechnikPrevious state of the art

Bei der 3D-Bildverarbeitung ist eine gute Datenqualität in hohem Maße davon abhängig, dass bei den Messungen eine geringe Schwankung des Rauschens erfolgt. Bei aktiven 3D-Kameras ist die Schwankung des Rauschens von der Selbstbeleuchtung und der Umgebungsrauschenbeleuchtung, wie beispielsweise Sonnenlicht, abhängig.In 3D image processing, good data quality is highly dependent on a small variation in noise during the measurements. With active 3D cameras, the variation in noise is dependent on self-lighting and ambient noise lighting, such as sunlight.

Bei der 2D-Bildverarbeitung ist eine Segmentierung üblich, die als ein Schritt im Objekterkennungsprozess vorgenommen wird. Eine ähnliche Segmentierung erfolgt auch bei der 3D-Bildverarbeitung.In 2D image processing, segmentation is common, which is done as a step in the object recognition process. Similar segmentation also occurs in 3D image processing.

Das Patent US 2010/322477 beschreibt ein Verfahren zur Steigerung der räumlichen Auflösung eines 3D-Bildes durch Einsatz eines 2D-Bildes mit einer höheren räumlichen Auflösung als das Original-3D-Bild. Das Patent US 2010/322477 beschreibt außerdem Verfahren zur genaueren Interpolation der neuen 3D-Bild-Voxel.The patent US 2010/322477 describes a method for increasing the spatial resolution of a 3D image by using a 2D image with a higher spatial resolution than the original 3D image. The patent US 2010/322477 also describes methods for more accurate interpolation of the new 3D image voxels.

Aufgabe der ErfindungObject of the invention

Eine Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit bereitzustellen, die eine robustere und genauere Erkennung von Objekten ermöglicht.An object of the present invention is to provide a method for improving the object recognition performance of a 3D recognition unit that enables more robust and accurate recognition of objects.

Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein System zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit bereitzustellen, das eine robustere und genauere Erkennung von Objekten ermöglicht.Another object of the present invention is to provide a system for improving the object recognition performance of a 3D recognition unit that enables more robust and accurate recognition of objects.

Zusammenfassung der ErfindungSummary of the invention

Diese und weitere Aufgaben, die aus der nachstehenden Beschreibung zu ersehen sind, werden durch ein Verfahren, ein System, ein Fahrzeug, ein Computerprogramm und ein Computerprogrammprodukt gemäß den beigefügten unabhängigen Patentansprüchen gelöst. Bevorzugte Ausführungsformen des Verfahrens und des Systems sind in den beigefügten abhängigen Patentansprüchen angegeben.These and other objects, which will become apparent from the following description, are achieved by a method, a system, a vehicle, a computer program, and a computer program product according to the appended independent claims. Preferred embodiments of the method and system are indicated in the appended dependent claims.

Konkret wird eine Aufgabe der Erfindung durch ein Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gelöst, das dazu dient, das Objekt zu beleuchten und das vom Objekt reflektierte Licht als 3D-Information zur Erstellung eines 3D-Bildes zu verwenden. Das Verfahren umfasst die folgenden Schritte: Erkennung eines 3D-Bildes des Objekts mithilfe der 3D-Erkennungseinheit und Erkennung eines 2D-Bildes des genannten Objekts. Das Verfahren umfasst außerdem die folgenden Schritte: Korrelation des 2D-Bildes und des 3D-Bildes durch Vergleich des 2D-Bildes mit dem 3D-Bild durch Anordnung des 2D-Bildes und des 3D-Bildes auf eine Weise, dass sie sich überlappen und im Wesentlichen aufeinander abgestimmt sind, um auf diese Weise ein mögliches Fehlen von Informationen im 3D-Bild zu ermitteln; und Extrapolation des 3D-Bildes durch Verwendung von Informationen aus dem 2D-Bild für den Fall, dass im 3D-Bild Informationen fehlen. Hierdurch wird eine robustere und genauere Erkennung von Objekten durch eine 3D-Erkennungseinheit ermöglicht und folglich kann ein genaueres und robusteres 3D-Bild gewonnen werden.Specifically, an object of the invention is achieved by a method for improving the object recognition performance of a 3D recognition unit, which serves to illuminate the object and to use the reflected light from the object as 3D information for creating a 3D image. The method comprises the following steps: Detection of a 3D image of the object using the 3D recognition unit and recognition of a 2D image of said object. The method also comprises the following steps: Correlating the 2D image and the 3D image by comparing the 2D image with the 3D image by arranging the 2D image and the 3D image in a way that they overlap and in the 3D image Are substantially matched to one another to detect a possible lack of information in the 3D image; and extrapolating the 3D image by using information from the 2D image in case of missing information in the 3D image. This allows a more robust and accurate recognition of objects by a 3D recognition unit and, consequently, a more accurate and robust 3D image can be obtained.

Darüber hinaus umfasst das Verfahren einen Schritt, in dem eine Bereichsschätzung auf der Basis des genannten 2D-Bildes vorgenommen wird, um rekonstruierte Informationen für das 3D-Bild zu gewinnen. Hierdurch wird ein genaueres 3D-Bild gewonnen, z. B. im Falle eines 3D-Bildes, bei dem keine entsprechende 3D-Segmentierung für ein 2D-segmentiertes Objekt vorhanden ist. Wenn in einem Teil des 2D-Segments 3D-Daten vorhanden sind, kann eine Extrapolation der Daten, wenn beispielsweise die Oberfläche innerhalb des 2D-Segments als eben erachtet wird, durch Verwendung von vorhandenen Daten und Informationen aus dem 2D-Bild vorgenommen werden. Folglich „füllt” die Bereichsschätzung die fehlenden 3D-Daten für das gesamte 2D-Segment.Moreover, the method includes a step of taking an area estimate based on said 2D image to obtain reconstructed information for the 3D image. As a result, a more accurate 3D image is obtained, for. In the case of a 3D image where there is no corresponding 3D segmentation for a 2D segmented object. If there is 3D data in a part of the 2D segment, extrapolating the data, for example, if the surface within the 2D segment is considered level, can be done by using existing data and information from the 2D image. As a result, the area estimate "fills in" the missing 3D data for the entire 2D segment.

Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt, in dem die 2D- und die 3D-Bilder segmentiert werden. Dabei umfasst der Schritt der Korrelation des 2D-Bildes und des 3D-Bildes die Korrelation der segmentierten 2D- und 3D-Bilder als Basis zur Extrapolation des 3D-Bildes. Durch diese Segmentierung der 2D- und 3D-Bilder und Korrelation der segmentierten Teile wird eine noch robustere und korrektere Erkennung von Objekten durch eine 3D-Erkennungseinheit ermöglicht, indem Segmente und nicht das ganze Objekt korreliert werden.According to one embodiment, the method comprises a step in which the 2D and the 3D images are segmented. In this case, the step of correlating the 2D image and the 3D image comprises the correlation of the segmented 2D and 3D images as a basis for extrapolating the 3D image. By segmenting the 2D and 3D images and correlating the segmented parts, even more robust and correct recognition of objects by a 3D recognition unit is made possible by correlating segments rather than the entire object.

Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt, in dem vor der Korrelation des 2D- und des 3D-Bildes das 3D-Bild in ein 2D-Bild umgewandelt wird. Dadurch wird die Korrelation der 2D- und 3D-Bilder/segmentierten 2D- und 3D-Bilder erleichtert.According to one embodiment, the method comprises a step in which before the correlation of the 2D and 3D images, the 3D image is converted to a 2D image. This facilitates the correlation of the 2D and 3D images / segmented 2D and 3D images.

Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt, in dem das 3D-Bild vor der Korrelation des 2D- und des 3D-Bildes gefiltert wird. Durch diese Filterung des 3D-Bildes wird die Qualität des 3D-Bildes verbessert, so dass sich auch die Korrelation mit dem 2D-Bild verbessert. Durch Ausschluss der Messungen mit dem stärksten Rauschen aus dem 3D-Bild wird die Segmentierung genauer, so dass es wahrscheinlicher wird, eine Korrelation mit dem 2D-Bild zu finden.In one embodiment, the method includes a step of filtering the 3D image before correlating the 2D and 3D images. This filtering of the 3D image improves the quality of the 3D image, thus improving the correlation with the 2D image. By excluding the measurements with the strongest noise from the 3D image, the segmentation becomes more accurate, making it more likely to find a correlation with the 2D image.

Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt der Extrapolation von Informationen aus dem 2D-Bild die Einbeziehung von Informationen für den Bereich, für den Informationen im 3D-Bild fehlen. Dadurch wird ein robusteres und korrekteres 3D-Bild erzielt.According to an embodiment of the method, the step of extrapolating information from the 2D image comprises including information for the region for which information is missing in the 3D image. This will result in a more robust and correct 3D image.

Gemäß einer Ausführungsform umfasst das Verfahren einen Schritt, in dem die Bildbelichtungseinstellungen und/oder die Helligkeit der 3D-Erkennungseinheit so angepasst werden, dass sich die Qualität der Informationen im 3D-Bild verbessert. Durch diese Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit erhält man verbesserte Daten in nicht erkannten Bereichen des 2D-Bildes/segmentierten 2D-Bildes, wobei eine danach stattfindende Erkennung durch die 3D-Erkennungseinheit mehr Daten erfasst, so dass ein besseres 3D-Bild erzielt wird. Die Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit erfolgt dabei nur dann, wenn dies als notwendig erachtet wird.According to one embodiment, the method comprises a step in which the image exposure settings and / or the brightness of the 3D recognition unit are adjusted in such a way that the quality of the information in the 3D image improves. This adaptation of the image exposure settings and / or the brightness of the 3D recognition unit results in improved data in unrecognized areas of the 2D image / segmented 2D image, with subsequent recognition by the 3D recognition unit detecting more data, so that a better 3D image is achieved. The adaptation of the image exposure settings and / or the brightness of the 3D recognition unit is carried out only if this is considered necessary.

Gemäß einer Ausführungsform des Verfahrens umfasst die 3D-Erkennungseinheit eine Time-of-Flight-Kamera-Einheit. Eine Time-of-Flight-Kamera-Einheit ist eine geeignete Kamera-Einheit für eine solche Objekterkennung.According to one embodiment of the method, the 3D recognition unit comprises a time-of-flight camera unit. A time-of-flight camera unit is a suitable camera unit for such object recognition.

Gemäß einer Ausführungsform des Verfahrens dient die 3D-Erkennungseinheit dazu, das genannte 2D-Bild bereitzustellen. Dadurch ist nur eine Erkennungseinheit erforderlich.According to an embodiment of the method, the 3D recognition unit is used to provide said 2D image. As a result, only one detection unit is required.

Insbesondere wird eine Aufgabe der Erfindung durch ein System zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gelöst, die das Objekt beleuchtet und aus dem vom Objekt reflektierten Licht, das 3D-Informationen darstellt, ein 3D-Bild bestimmt, das dazu dient, die Verfahren wie oben beschrieben durchzuführen.In particular, an object of the invention is achieved by a system for improving the object recognition performance of a 3D recognition unit, which illuminates the object and determines from the light reflected from the object, which represents 3D information, a 3D image that serves the methods such as perform as described above.

Das System gemäß der Erfindung bietet die Vorteile gemäß den entsprechenden Verfahrensansprüchen.The system according to the invention offers the advantages according to the corresponding method claims.

ZeichnungskurzbeschreibungDrawing Summary

Die vorliegende Erfindung lässt sich besser verstehen, wenn man die nachstehende detaillierte Beschreibung unter Zuhilfenahme der beigefügten Zeichnungen liest, wobei gleiche Kennzeichnungen sich bei allen Zeichnungen auf dieselben Teile beziehen.The present invention will be better understood by reading the following detailed description with the aid of the attached drawings, wherein like reference designations refer to the same parts throughout the drawings.

ist eine schematische Seitenansicht eines Fahrzeugs gemäß der vorliegenden Erfindung. is a schematic side view of a vehicle according to the present invention.

ist eine schematische Darstellung eines Systems zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gemäß einer Ausführungsform der vorliegenden Erfindung. FIG. 10 is a schematic diagram of a system for improving the object recognition performance of a 3D recognition unit according to an embodiment of the present invention. FIG.

ist eine schematische Darstellung eines Blockdiagramms eines Verfahrens zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gemäß einer Ausführungsform der vorliegenden Erfindung. FIG. 10 is a schematic diagram of a block diagram of a method of improving the object recognition performance of a 3D recognition unit according to an embodiment of the present invention. FIG.

ist eine schematische Ansicht eines 3D-Bildes eines Objekts in der Form einer Tafel, die mit einer 3D-Erkennungseinheit aufgenommen wurde. Figure 11 is a schematic view of a 3D image of an object in the form of a tablet taken with a 3D recognition unit.

ist eine schematische Darstellung der Tafel in , bei der ein segmentierter 3D-Teil der Tafel markiert ist. is a schematic representation of the panel in in which a segmented 3D part of the panel is highlighted.

ist eine schematische Darstellung der Tafel in , bei der ein segmentierter 2D-Teil der Tafel markiert ist. is a schematic representation of the panel in in which a segmented 2D part of the panel is highlighted.

ist eine schematische Darstellung der Tafel in , bei der das 3D-Bild mit Informationen aus dem segmentierten 2D-Teil rekonstruiert wurde. is a schematic representation of the panel in in which the 3D image was reconstructed with information from the segmented 2D part.

ist eine schematische Darstellung eines Blockdiagramms eines Verfahrens zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gemäß Ausführungsformen der vorliegenden Erfindung; und FIG. 10 is a schematic diagram of a block diagram of a method of improving the object recognition performance of a 3D recognition unit according to embodiments of the present invention; FIG. and

zeigt schematisch einen Computer gemäß einer Ausführungsform der vorliegenden Erfindung. schematically shows a computer according to an embodiment of the present invention.

Detaillierte BeschreibungDetailed description

Im Folgenden bezieht sich die Bezeichnung „Verbindung” auf eine Kommunikationsverbindung, bei der es sich um eine physische Verbindung, wie beispielsweise eine optoelektronische Kommunikationsverbindung, oder um eine nicht physische Verbindung, wie beispielsweise eine drahtlose Verbindung in Form einer Funk- oder Mikrowellenverbindung, handeln kann.Hereinafter, the term "connection" refers to a communication connection that is a physical connection, such as For example, an optoelectronic communication link, or may be a non-physical connection, such as a wireless connection in the form of a radio or microwave connection.

Im Folgenden bedeutet die Bezeichnung „2D” zweidimensional. Im Folgenden bedeutet die Bezeichnung „3D” dreidimensional.In the following, the term "2D" means two-dimensional. In the following, the term "3D" means three-dimensional.

Im Folgenden bedeutet die Bezeichnung „Bereichsschätzung” Rekonstruktion eines Tiefenwerts für ein 3D-Signal, wobei ein 2D-Bild das Vorhandensein eines Objekts anzeigt. Wenn beispielsweise ein 3D-Bildbereich festgestellt wurde, für den keine Daten vorliegen, jedoch ein 2D-Bildsegment zeigt, dass ein Objekt vorhanden ist, müssen die 3D-Daten rekonstruiert werden. Die Bezeichung „Bereichsschätzung” bedeutet außerdem die Verwendung von Werten von in einem Bereich vorhandenen stark rauschenden 3D-Signalen, die vor der Segmentierung und Korrelation durch Filterung entfernt/ausgeschlossen wurden, zur Schätzung/Rekonstruktion neuer Werte für den betroffenen Bereich. Wenn in einem Teil des 2D-Segments 3D-Daten vorhanden sind, kann eine Extrapolation der Daten, wenn beispielsweise die Oberfläche innerhalb des 2D-Segments als eben erachtet wird, durch Verwendung von vorhandenen Daten und Informationen aus dem 2D-Bild vorgenommen werden, so dass die Bereichsschätzung die fehlenden 3D-Daten für das gesamte 2D-Segment „füllt”.In the following, the term "area estimate" means reconstruction of a depth value for a 3D signal, wherein a 2D image indicates the presence of an object. For example, if a 3D image area was detected for which there is no data, but a 2D image segment indicates that an object exists, the 3D data must be reconstructed. The term "area estimate" also means the use of values of in-range, high noise 3D signals that were removed / excluded prior to segmentation and correlation by filtering to estimate / reconstruct new values for the affected area. If 3D data is present in a part of the 2D segment, extrapolation of the data, for example if the surface within the 2D segment is considered flat, can be done by using existing data and information from the 2D image, so that the area estimate "fills in" the missing 3D data for the entire 2D segment.

Im Folgenden bedeutet die Bezeichnung „3D-Bild” die Sammlung von Punkten im 3D-Datensatz, die X-, Y- und Z-Koordinaten aufweisen. Der Begriff „3D-Bild” kann auch als Punktwolke bezeichnet werden.Hereinafter, the term "3D image" means the collection of points in the 3D data set having X, Y, and Z coordinates. The term "3D image" can also be referred to as a point cloud.

zeigt schematisch ein Fahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung. Das als Beispiel verwendete Fahrzeug 1 ist ein Schwerfahrzeug in der Form eines Lastkraftwagens. Das Fahrzeug gemäß der vorliegenden Erfindung kann ein beliebiges geeignetes Fahrzeug sein, beispielsweise ein Bus, ein Personenkraftwagen, ein Zug oder dergleichen. Das Fahrzeug umfasst ein System zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit gemäß der vorliegenden Erfindung. Das Fahrzeug umfasst eine 3D-Erkennungseinheit. schematically shows a vehicle 1 according to an embodiment of the present invention. The vehicle used as an example 1 is a heavy vehicle in the form of a truck. The vehicle according to the present invention may be any suitable vehicle, such as a bus, a passenger car, a train, or the like. The vehicle includes a system for improving the object recognition performance of a 3D recognition unit according to the present invention. The vehicle includes a 3D recognition unit.

zeigt schematisch ein System I zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit 110 gemäß einer Ausführungsform der vorliegenden Erfindung. schematically shows a system I to improve the object recognition performance of a 3D recognition unit 110 according to an embodiment of the present invention.

Das System I umfasst eine elektronische Steuereinheit 100.The system I includes an electronic control unit 100 ,

Die 3D-Erkennungseinheit 110 dient zur Beleuchtung eines Objekts O mittels Licht L1 und zur Erkennung von 3D-Informationen aus dem vom Objekt reflektierten Licht L2, um ein 3D-Bild zu erzeugen. Die 3D-Erkennungseinheit 110 kann reflektiertes Licht mit der Time-of-Flight-Technik erkennen. Die 3D-Erkennungseinheit 110 umfasst aktives Licht L1 zur Beleuchtung des Objekts O. Bei dem Licht L1 kann es sich um jedes geeignete Licht handeln, wie beispielsweise Infrarot-Licht, sichtbares Licht, LASER-Licht oder dergleichen. Die 3D-Erkennungseinheit 110 umfasst gemäß einer Ausführungsform ein Mittel zur Beleuchtung eines Objekts O durch Infrarot-Licht.The 3D recognition unit 110 is used to illuminate an object O by means of light L1 and to detect 3D information from the light reflected from the object L2 to produce a 3D image. The 3D recognition unit 110 can detect reflected light with the time-of-flight technique. The 3D recognition unit 110 includes active light L1 for illuminating the object O. The light L1 may be any suitable light, such as infrared light, visible light, LASER light, or the like. The 3D recognition unit 110 according to one embodiment comprises means for illuminating an object O by infrared light.

Die 3D-Erkennungseinheit 110 umfasst gemäß einer Ausführungsform eine Time-of-Flight-Kamera-Einheit. Bei der Time-of-Flight-Kamera-Einheit kann es sich um einen beliebigen Sensor handeln, der mit durch die Luft übertragenen Signalen arbeitet und eine Korrelation mit empfangenen Signalen vornimmt, um einen Abstand zu einem oder mehreren Messpunkten zu bestimmen. Bei der Time-of-Flight-Kamera (ToF-Kamera) kann es sich um eine beliebige ToF-Kamera handeln, die beispielsweise auf den Prinzipien Continuous-Wave (CW, z. B. PMD, Swissranger usw.), Pulsed-Wave (z. B. TDC) oder Range-Gating (Obzerv) basiert. ToFs arbeiten normalerweise mit einer Leuchtdiode, welche die gesamte Szene gleichzeitig beleuchtet. Die 3D-Erkennungseinheit 110 umfasst gemäß einer Ausführungsform ein LIDAR-System, d. h. eine Laser-Scanner-Einheit.The 3D recognition unit 110 includes, according to one embodiment, a time-of-flight camera unit. The time-of-flight camera unit may be any sensor that uses airborne signals and correlates with received signals to determine a distance to one or more measurement points. The time-of-flight camera (ToF camera) can be any ToF camera, for example, based on the principles of Continuous Wave (CW, eg PMD, Swissranger, etc.), Pulsed-Wave (eg TDC) or range gating (obzerv). ToFs usually work with a light emitting diode that illuminates the entire scene at the same time. The 3D recognition unit 110 according to one embodiment comprises a LIDAR system, ie a laser scanner unit.

Die 3D-Erkennungseinheit 110 kann ein 3D-Bild eines Objekts O gewinnen. Die 3D-Erkennungseinheit 110 kann ein 3D-Bild des Objekts O bereitstellen. Das System I umfasst gemäß einer Ausführungsform die 3D-Erkennungseinheit 110. Die 3D-Erkennungseinheit kann Amplitudendaten erstellen. Die 3D-Erkennungseinheit kann Tiefen-/Abstandsdaten erstellen. Mithilfe der genannten Tiefen-/Abstandsdaten wird eine Punktwolke erstellt, die das genannte 3D-Bild darstellt.The 3D recognition unit 110 can gain a 3D image of an object O. The 3D recognition unit 110 can provide a 3D image of the object O. The system I according to one embodiment comprises the 3D recognition unit 110 , The 3D recognition unit can generate amplitude data. The 3D recognition unit can create depth / distance data. The specified depth / distance data is used to create a point cloud that represents the aforementioned 3D image.

Das System I umfasst Mittel 110, 112 zur Erkennung eines 2D-Bildes des genannten Objekts O. Die 3D-Erkennungseinheit 110 kann gemäß einer Ausführungsform das 2D-Bild des Objekts O gewinnen. Die 3D-Erkennungseinheit 110 kann dabei das genannte 2D-Bild des Objekts O liefern. Die 3D-Erkennungseinheit 110 kann folglich E1 Helligkeitsdaten aus dem genannten Objekt O extrahieren, um das genannte 2D-Bild des Objekts O zu liefern. Dabei wird ein Helligkeitsbild mithilfe der 3D-Erkennungseinheit 110 erstellt. Das Mittel 110, 112 zur Erkennung eines 2D-Bilds des genannten Objekts O umfasst folglich die 3D-Erkennungseinheit 110.The system I includes funds 110 . 112 for recognizing a 2D image of said object O. The 3D recognition unit 110 According to one embodiment, the 2D image of the object O may be obtained. The 3D recognition unit 110 can deliver the said 2D image of the object O. The 3D recognition unit 110 Thus, E1 can extract brightness data from the named object O to provide the said 2D image of the object O. This is a brightness image using the 3D detection unit 110 created. The middle 110 . 112 for recognizing a 2D image of said object O thus comprises the 3D recognition unit 110 ,

Das Mittel 110, 112 zur Erkennung eines 2D-Bildes des genannten Objekts O umfasst gemäß einer Ausführungsform eine separate 2D-Erkennungseinheit 112, die dazu dient, ein 2D-Bild des Objekts O bereitzustellen. Die 2D-Erkennungseinheit 112 dient folglich zur Extraktion E2 von Helligkeitsdaten aus dem genannten Objekt O, um das genannte 2D-Bild des Objekts O bereitzustellen. Dabei wird durch die Erkennungseinheit 112 ein Helligkeitsbild erstellt. Bei der Erkennungseinheit 112 kann es sich um eine beliebige Kamera-Einheit handeln, die 2D-Bilder eines Objekts liefern kann.The middle 110 . 112 for detecting a 2D image of said object O comprises according to an embodiment of a separate 2D recognition unit 112 , which serves to provide a 2D image of the object O. The 2D recognition unit 112 thus serves for extracting E2 brightness data from said object O to provide said 2D image of object O. It is by the detection unit 112 created a brightness image. At the detection unit 112 it can be any camera unit that can deliver 2D images of an object.

Das System I umfasst ein Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes, um ein mögliches Fehlen von Informationen im 3D-Bild festzustellen. Bei dem Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes kann es sich um eine beliebige geeignete Bild-Korrelationseinheit zur Korrelation solcher Bilder handeln. Das Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes ist gemäß einer Ausführungsform in der elektronischen Steuereinheit 100 enthalten. Das Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes dient zum Vergleich des 2D-Bildes und des 3D-Bildes, indem das 2D-Bild und das 3D-Bild so angeordnet werden, dass sie sich überlappen und im Wesentlichen aufeinander abgestimmt sind. Die Korrelation kann in jeder beliebigen geeigneten Weise durch jedes beliebige geeignete Mittel erfolgen, einschließlich eines Mittels zur Durchführung von Berechnungen. Die Korrelation erfolgt gemäß einer Ausführungsform in der 3D-Erkennungseinheit 110.The system I includes a means 120 to correlate the 2D image and the 3D image to detect a possible lack of information in the 3D image. At the middle 120 the correlation of the 2D image and the 3D image may be any suitable image correlation unit for correlating such images. The middle 120 for correlation of the 2D image and the 3D image is in one embodiment in the electronic control unit 100 contain. The middle 120 For the correlation of the 2D image and the 3D image, the 2D image and the 3D image are compared by arranging the 2D image and the 3D image so that they overlap and are substantially matched with each other. The correlation may be made in any suitable manner by any suitable means, including means for performing calculations. The correlation is done according to an embodiment in the 3D recognition unit 110 ,

Das System I umfasst ein Mittel 130 zur Extrapolation des 3D-Bildes mit Informationen aus dem 2D-Bild, falls im 3D-Bild Informationen fehlen. Bei dem Mittel 130 zur Extrapolation des 3D-Bildes mit Informationen aus dem 2D-Bild kann es sich um jede beliebige geeignete Einheit handeln, die eine solche Extrapolation durchführen kann. Das Mittel 130 zur Extrapolation des 3D-Bildes mit Informationen aus dem 2D-Bild ist gemäß einer Ausführungsform in der elektronischen Steuereinheit 100 enthalten. Die Extrapolation kann in jeder beliebigen geeigneten Weise mit jedem beliebigen geeigneten Mittel erfolgen, einschließlich Mittel zur Durchführung von Berechnungen. Die Korrelation erfolgt gemäß einer Ausführungsform in der 3D-Erkennungseinheit 110.The system I includes a means 130 to extrapolate the 3D image with information from the 2D image if information is missing in the 3D image. At the middle 130 Extrapolating the 3D image with information from the 2D image may be any suitable entity that can perform such extrapolation. The middle 130 for extrapolating the 3D image with information from the 2D image is in the electronic control unit according to an embodiment 100 contain. Extrapolation may be accomplished in any suitable manner by any suitable means, including means for making calculations. The correlation is done according to an embodiment in the 3D recognition unit 110 ,

Das genannte Mittel zur Extrapolation von Informationen aus dem 2D-Bild umfasst die Einbeziehung von Informationen für den Bereich, in dem Informationen im 3D-Bild fehlen. Das genannte Mittel zur Extrapolation von Informationen aus dem 2D-Bild kann folglich Informationen über den Bereich einbeziehen, in dem Informationen im 3D-Bild fehlen.The above means for extrapolating information from the 2D image involves including information for the area where information is missing in the 3D image. Said means for extrapolating information from the 2D image may thus include information about the area where information in the 3D image is missing.

Das System I umfasst ein Mittel 140 zur Umwandlung des 3D-Bildes in ein 2D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes. Das Mittel 140 zur Umwandlung des 3D-Bildes in ein 2D-Bild umfasst jede zur Umwandlung eines 3D-Bildes in ein 2D-Bild geeignete Umwandlungseinheit. Die 3D-Punktwolke, d. h. das 3D-Bild, wird normalerweise auf eine 2D-Ebene projiziert. Dies geschieht gemäß einer Ausführungsform durch die 3D-Erkennungseinheit 110. Dies kann aber auch extern erfolgen.The system I includes a means 140 for converting the 3D image into a 2D image before correlating the 2D image and the 3D image. The middle 140 For converting the 3D image into a 2D image, each conversion unit suitable for converting a 3D image into a 2D image comprises. The 3D point cloud, ie the 3D image, is normally projected onto a 2D plane. This is done according to an embodiment by the 3D recognition unit 110 , This can also be done externally.

Das System I umfasst ein Mittel 150 zur Segmentierung der 2D- und 3D-Bilder. Das Mittel 150 zur Segmentierung der 2D- und 3D-Bilder umfasst ein Mittel 152 zur Segmentierung von 2D-Bildern. Das Mittel 150 zur Segmentierung der 2D- und 3D-Bilder umfasst ein Mittel 154 zur Segmentierung von 3D-Bildern.The system I includes a means 150 for segmentation of 2D and 3D images. The middle 150 for segmentation of the 2D and 3D images comprises a means 152 for segmentation of 2D images. The middle 150 for segmentation of the 2D and 3D images comprises a means 154 for the segmentation of 3D images.

Das Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes umfasst ein Mittel zur Korrelation der segmentierten 2D- und 3D-Bilder als Grundlage für die Extrapolation des 3D-Bildes. Das Mittel 120 kann folglich 2D-Bilder und 3D-Bilder sowie segmentierte 2D-Bilder und 3D-Bilder korrelieren.The middle 120 for correlating the 2D image and the 3D image comprises means for correlating the segmented 2D and 3D images as a basis for extrapolating the 3D image. The middle 120 can therefore correlate 2D images and 3D images as well as segmented 2D images and 3D images.

Das System I umfasst ein Mittel 160 zur Filterung des 3D-Bildes vor der Korrelation des 2D- und des 3D-Bildes. Das Mittel 160 zur Filterung des 3D-Bildes kann jeden beliebigen geeigneten Filter zur Filterung umfassen. Vorzugsweise werden nur sichere Informationen berücksichtigt, um eine relevante Korrelation mit dem 2D-Bild zu erzielen. Folglich werden 3D-Bilder, die Rauschen/nicht sichere Informationen enthalten, ausgefiltert. Durch Ausschluss der Messungen mit dem stärksten Rauschen aus dem 3D-Bild wird die Segmentierung genauer, so dass es wahrscheinlicher wird, eine Korrelation mit dem 2D-Bild zu finden.The system I includes a means 160 to filter the 3D image before correlating the 2D and 3D images. The middle 160 For filtering the 3D image may include any suitable filter for filtering. Preferably only secure information is taken into account to achieve a relevant correlation with the 2D image. As a result, 3D images containing noise / non-secure information are filtered out. By excluding the measurements with the strongest noise from the 3D image, the segmentation becomes more accurate, making it more likely to find a correlation with the 2D image.

Das System I umfasst ein Mittel 170 zur Durchführung einer Bereichsschätzung auf der Basis des genannten 2D-Bildes, um rekonstruierte Informationen für das 3D-Bild zu erhalten. Bereichsschätzung bedeutet in diesem Zusammenhang Rekonstruktion eines Tiefenwerts für ein 3D-Signal, wenn ein 2D-Bild das Vorhandensein eines Objekts anzeigt. Wenn beispielsweise ein 3D-Bildbereich festgestellt wurde, für den keine Daten existieren, aber ein 2D-Bildsegment anzeigt, dass ein Objekt vorhanden ist, müssen die 3D-Daten rekonstruiert werden. Falls benachbarte Pixel vorhanden sind, können mit bekannter Technik 3D-Signal durch Interpolation linear oder in verfeinerter Weise, wie beispielsweise bilinear, geschätzt werden. Falls stark mit Rauschen behaftete 3D-Signale in dem betroffenen Bereich vorhanden sind, die gemäß einer Ausführungsform vor der Segmentierung und Korrelation durch Filterung entfernt/ausgeschlossen wurden, können diese Werte zur Schätzung/Rekonstruktion neuer Werte für den betroffenen Bereich verwendet werden. Dies wird in diesem Fall als Bereichsschätzung bezeichnet. Falls 3D-Daten in einem Teil des 2D-Segments vorhanden sind, kann eine Extrapolation der Daten mit vorhandenen Daten und Informationen aus dem 2D-Bild vorgenommen werden, beispielsweise wenn eine Fläche in einem 2D-Segment als flach erachtet wird. Folglich werden durch die Bereichsschätzung die fehlenden 3D-Daten für das gesamte 2D-Segment durch Füllung kompensiert.The system I includes a means 170 for performing an area estimation based on said 2D image to obtain reconstructed information for the 3D image. Region estimation in this context means reconstructing a depth value for a 3D signal when a 2D image indicates the presence of an object. For example, if a 3D image area was detected for which there is no data, but a 2D image segment indicates that an object exists, the 3D data must be reconstructed. If adjacent pixels are present, known art can be used to estimate 3D signals by interpolation linearly or in a sophisticated manner such as bilinear. If there are high noise 3D signals in the affected area that were removed / excluded by filtering prior to segmentation and correlation according to one embodiment, these values may be used to estimate / reconstruct new values for the affected area. This is referred to in this case as an area estimate. If there is 3D data in a part of the 2D segment, extrapolating the data with existing data and information from the 2D image, for example, when an area in a 2D segment is considered to be flat. Consequently, the area estimate compensates for the missing 3D data for the entire 2D segment by filling.

Das System I umfasst ein Mittel 180 zur Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit, um die Qualität der Informationen im 3D-Bild zu steigern.The system I includes a means 180 to adjust the image exposure settings and / or the brightness of the 3D recognition unit to increase the quality of the information in the 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 110a zwecks Signalübermittlung an die 3D-Erkennungseinheit 110 angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 110a ein Signal von der 3D-Erkennungseinheit 110 erhalten, das 3D-Daten, d. h. Punktwolkendaten, für ein 3D-Bild des Objekts O enthält.The electronic control unit 100 is about a connection 110a for signal transmission to the 3D recognition unit 110 connected. The electronic control unit 100 can over the connection 110a a signal from the 3D recognition unit 110 which contains 3D data, that is, point cloud data, for a 3D image of the object O.

Die elektronische Steuereinheit 100 ist über eine Verbindung 110b zwecks Signalübermittlung an die 3D-Erkennungseinheit 110 angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 110b ein Signal von der 3D-Erkennungseinheit 110 erhalten, das 2D-Daten, d. h. Helligkeitsdaten, für ein 2D-Bild des Objekts O enthält.The electronic control unit 100 is about a connection 110b for signal transmission to the 3D recognition unit 110 connected. The electronic control unit 100 can over the connection 110b a signal from the 3D recognition unit 110 which contains 2D data, ie, brightness data, for a 2D image of the object O.

Die elektronische Steuereinheit 100 ist über eine Verbindung 112a zwecks Signalübermittlung an die 2D-Erkennungseinheit 112 angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 112a ein Signal von der 2D-Erkennungseinheit 112 erhalten, das 2D-Daten, d. h. Helligkeitsdaten, für ein 2D-Bild des Objekts O enthält.The electronic control unit 100 is about a connection 112a for signal transmission to the 2D recognition unit 112 connected. The electronic control unit 100 can over the connection 112a a signal from the 2D recognition unit 112 which contains 2D data, ie, brightness data, for a 2D image of the object O.

Die elektronische Steuereinheit 100 ist über eine Verbindung 140a zwecks Signalübermittlung an das Mittel 140 angeschlossen, um das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes in ein 2D-Bild umzuwandeln. Die elektronische Steuereinheit 100 kann über die Verbindung 140a ein Signal zum Mittel 140 übermitteln, das 3D-Daten bezüglich eines 3D-Bildes des genannten Objekts enthält, wobei das Mittel 140 das 3D-Bild in ein 2D-Bild umwandeln kann.The electronic control unit 100 is about a connection 140a for signal transmission to the agent 140 connected to convert the 3D image into a 2D image before the correlation of the 2D image and the 3D image. The electronic control unit 100 can over the connection 140a a signal to the agent 140 transmitting 3D data relating to a 3D image of said object, wherein the means 140 convert the 3D image into a 2D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 140a zwecks Signalübermittlung an das Mittel 140 angeschlossen, um das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes in ein 2D-Bild umzuwandeln. Die elektronische Steuereinheit 100 kann über die Verbindung 140a ein Signal vom Mittel 140 erhalten, das Daten für ein in ein 2D-Bild umgewandeltes 3D-Bild enthält.The electronic control unit 100 is about a connection 140a for signal transmission to the agent 140 connected to convert the 3D image into a 2D image before the correlation of the 2D image and the 3D image. The electronic control unit 100 can over the connection 140a a signal from the middle 140 which contains data for a 3D image converted into a 2D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 152a zwecks Signalübermittlung an das Mittel 152 zur Segmentierung von 2D-Bildern angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 152a ein Signal zum Mittel 152 übermitteln, das 2D-Daten bezüglich eines 2D-Bildes des genannten Objekts enthält. Dabei kann das Mittel 152 das 2D-Bild segmentieren, um ein segmentiertes 2D-Bild eines Segments des Objekts zu erzielen.The electronic control unit 100 is about a connection 152a for signal transmission to the agent 152 connected to the segmentation of 2D images. The electronic control unit 100 can over the connection 152a a signal to the agent 152 transmitting 2D data relating to a 2D image of said object. The agent can do this 152 segment the 2D image to obtain a segmented 2D image of a segment of the object.

Die elektronische Steuereinheit 100 ist über eine Verbindung 152b zwecks Signalübermittlung an das Mittel 152 zur Segmentierung von 2D-Bildern angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 152b ein Signal vom Mittel 152 erhalten, das Daten für ein segmentiertes 2D-Bild des Objekts enthält.The electronic control unit 100 is about a connection 152b for signal transmission to the agent 152 connected to the segmentation of 2D images. The electronic control unit 100 can over the connection 152b a signal from the middle 152 which contains data for a segmented 2D image of the object.

Die elektronische Steuereinheit 100 ist über eine Verbindung 154a zwecks Signalübermittlung an das Mittel 154 zur Segmentierung von 3D-Bildern angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 154a ein Signal zum Mittel 154 übermitteln, das 3D-Daten bezüglich des 3D-Bildes des genannten Objekts enthält. Das Mittel 154 kann dabei das 3D-Bild segmentieren, um ein segmentiertes 3D-Bild eines Segments des Objekts zu erzielen.The electronic control unit 100 is about a connection 154a for signal transmission to the agent 154 connected to the segmentation of 3D images. The electronic control unit 100 can over the connection 154a a signal to the agent 154 transmitting 3D data relating to the 3D image of said object. The middle 154 can segment the 3D image to achieve a segmented 3D image of a segment of the object.

Die elektronische Steuereinheit 100 ist über eine Verbindung 154b zwecks Signalübermittlung an das Mittel 154 zur Segmentierung von 3D-Bildern angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 154b ein Signal vom Mittel 154 erhalten, das Daten für ein segmentiertes 3D-Bild des Objekts enthält.The electronic control unit 100 is about a connection 154b for signal transmission to the agent 154 connected to the segmentation of 3D images. The electronic control unit 100 can over the connection 154b a signal from the middle 154 which contains data for a segmented 3D image of the object.

Die elektronische Steuereinheit 100 ist über eine Verbindung 120a zwecks Signalübermittlung an das Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes angeschlossen, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen. Die elektronische Steuereinheit 100 kann über die Verbindung 120a ein Signal zum Mittel 120 übermitteln, das 2D-Daten und 3D-Daten bezüglich des 2D-Bildes und des 3D-Bildes des genannten Objekts enthält.The electronic control unit 100 is about a connection 120a for signal transmission to the agent 120 to correlate the 2D image and the 3D image to detect a possible lack of information in the 3D image. The electronic control unit 100 can over the connection 120a a signal to the agent 120 transmitting 2D data and 3D data relating to the 2D image and the 3D image of said object.

Die elektronische Steuereinheit ist über eine Verbindung 120b zwecks Signalübermittlung an das Mittel 120 zur Korrelation des 2D-Bildes und des 3D-Bildes angeschlossen, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen. Die elektronische Steuereinheit 100 kann über die Verbindung 120b ein Signal vom Mittel 120 erhalten, das Korrelationsdaten für das korrelierte 2D-Bild und 3D-Bild enthält, einschließlich Daten über einen möglichen Mangel an Informationen/Daten im 3D-Bild.The electronic control unit is connected 120b for signal transmission to the agent 120 to correlate the 2D image and the 3D image to detect a possible lack of information in the 3D image. The electronic control unit 100 can over the connection 120b a signal from the middle 120 which contains correlation data for the correlated 2D image and 3D image, including data about a possible lack of information / data in the 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 120a zwecks Signalübermittlung mit dem Mittel 120 zur Korrelation des segmentierten 2D-Bildes und des segmentierten 3D-Bildes verbunden, um einen möglichen Mangel an Informationen im segmentierten 3D-Bild festzustellen. Die elektronische Steuereinheit 100 kann über die Verbindung 120a ein Signal zum Mittel 120 übermitteln, das 2D-Daten und 3D-Daten über das segmentierte 2D-Bild und das segmentierte 3D-Bild des genannten Objekts enthält.The electronic control unit 100 is about a connection 120a for the purpose of signaling with the agent 120 linked to the correlation of the segmented 2D image and the segmented 3D image to a possible lack of information in the segmented 3D image. The electronic control unit 100 can over the connection 120a a signal to the agent 120 transmit 2D data and 3D data about the segmented 2D image and the segmented 3D image of said object.

Die elektronische Steuereinheit 100 ist über eine Verbindung 120b zwecks Signalübermittlung an das Mittel 120 zur Korrelation des segmentierten 2D-Bildes und des segmentierten 3D-Bildes angeschlossen, um einen möglichen Mangel an Informationen im segmentierten 3D-Bild festzustellen. Die elektronische Steuereinheit 100 kann über die Verbindung 120b ein Signal vom Mittel 120 erhalten, das Korrelationsdaten für das korrelierte segmentierte 2D-Bild und segmentierte 3D-Bild enthält, einschließlich Daten bezüglich eines möglichen Mangels an Informationen/Daten im segmentierten 3D-Bild.The electronic control unit 100 is about a connection 120b for signal transmission to the agent 120 to correlate the segmented 2D image and the 3D segmented image to detect a potential lack of information in the 3D segmented image. The electronic control unit 100 can over the connection 120b a signal from the middle 120 which contains correlation data for the correlated segmented 2D image and segmented 3D image, including data regarding a possible lack of information / data in the segmented 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 130a zwecks Signalübermittlung an das Mittel 130 angeschlossen, um im Falle eines Mangels an Informationen im 3D-Bild das 3D-Bild mit Informationen aus dem 2D-Bild zu extrapolieren. Die elektronische Steuereinheit 100 kann über die Verbindung 130a ein Signal zum Mittel 130 übermitteln, das Extrapolationsdaten zur Extrapolation des 3D-Bildes mit Informationen aus dem 2D-Bild enthält, gegebenenfalls einschließlich Informationen für den Bereich, für den Informationen im 3D-Bild fehlen.The electronic control unit 100 is about a connection 130a for signal transmission to the agent 130 connected to extrapolate the 3D image with information from the 2D image in case of lack of information in the 3D image. The electronic control unit 100 can over the connection 130a a signal to the agent 130 which contains extrapolation data for extrapolating the 3D image with information from the 2D image, including, where appropriate, information for the area for which information is missing in the 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 130b zwecks Signalübermittlung an das Mittel 130 angeschlossen, um im Falle eines Mangels an Informationen im 3D-Bild das 3D-Bild mit Informationen aus dem 2D-Bild zu extrapolieren. Die elektronische Steuereinheit 100 kann über die Verbindung 130b ein Signal vom Mittel 130 erhalten, das Daten zur Extrapolation des 3D-Bildes enthält.The electronic control unit 100 is about a connection 130b for signal transmission to the agent 130 connected to extrapolate the 3D image with information from the 2D image in case of lack of information in the 3D image. The electronic control unit 100 can over the connection 130b a signal from the middle 130 which contains data for extrapolating the 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 130a zwecks Signalübermittlung an das Mittel 130 angeschlossen, um im Falle eines Mangels an Informationen im segmentierten 3D-Bild das segmentierte 3D-Bild mit Informationen aus dem segmentierten 2D-Bild zu extrapolieren. Die elektronische Steuereinheit 100 kann über die Verbindung 130a ein Signal zum Mittel 130 übermitteln, das Extrapolationsdaten zur Extrapolation des segmentierten 3D-Bildes mit Informationen aus dem segmentierten 2D-Bild enthält, gegebenenfalls einschließlich Informationen über den Bereich, für den Informationen im segmentierten 3D-Bild fehlen.The electronic control unit 100 is about a connection 130a for signal transmission to the agent 130 connected to extrapolate the segmented 3D image with information from the segmented 2D image in the event of a lack of information in the segmented 3D image. The electronic control unit 100 can over the connection 130a a signal to the agent 130 containing extrapolation data for extrapolating the segmented 3D image with information from the segmented 2D image, including, if appropriate, information about the area for which information is missing in the segmented 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 130b zwecks Signalübermittlung an das Mittel 130 angeschlossen, um im Falle eines Mangels an Informationen im segmentierten 3D-Bild das segmentierte 3D-Bild mit Informationen aus dem segmentierten 2D-Bild zu extrapolieren. Die elektronische Steuereinheit 100 kann über die Verbindung 130b ein Signal vom Mittel 130 erhalten, das Daten für das extrapolierte segmentierte 3D-Bild enthält.The electronic control unit 100 is about a connection 130b for signal transmission to the agent 130 connected to extrapolate the segmented 3D image with information from the segmented 2D image in the event of a lack of information in the segmented 3D image. The electronic control unit 100 can over the connection 130b a signal from the middle 130 which contains data for the extrapolated segmented 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 160a zwecks Signalübermittlung an das Mittel 160 angeschlossen, um das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes zu filtern. Die elektronische Steuereinheit 100 kann über die Verbindung 160a ein Signal zum Mittel 160 übermitteln, das 3D-Daten bezüglich des 3D-Bildes des genannten Objekts enthält. Dabei kann das Mittel 160 das 3D-Bild filtern.The electronic control unit 100 is about a connection 160a for signal transmission to the agent 160 connected to filter the 3D image before the correlation of the 2D image and the 3D image. The electronic control unit 100 can over the connection 160a a signal to the agent 160 transmitting 3D data relating to the 3D image of said object. The agent can do this 160 to filter the 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 160b zwecks Signalübermittlung an das Mittel 160 angeschlossen, um das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes zu filtern. Die elektronische Steuereinheit 100 kann über die Verbindung 160b ein Signal zum Mittel 160 übermitteln, das gefilterte 3D-Daten über das gefilterte 3D-Bild des genannten Objekts enthält.The electronic control unit 100 is about a connection 160b for signal transmission to the agent 160 connected to filter the 3D image before the correlation of the 2D image and the 3D image. The electronic control unit 100 can over the connection 160b a signal to the agent 160 transmit filtered 3D data about the filtered 3D image of said object.

Die elektronische Steuereinheit 100 ist über eine Verbindung 170a zwecks Signalübermittlung an das Mittel 170 angeschlossen, um auf der Basis des genannten 2D-Bildes eine Bereichsschätzung vorzunehmen, um rekonstruierte Informationen für das 3D-Bild zu erhalten. Die elektronische Steuereinheit 100 kann über die Verbindung 170a ein Signal zum Mittel 170 übermitteln, das 3D-Daten zur Durchführung einer Bereichsschätzung auf der Basis des genannten 2D-Bildes enthält. Die Bereichsschätzung kann vom Mittel 170 vorgenommen werden.The electronic control unit 100 is about a connection 170a for signal transmission to the agent 170 connected to make an area estimate on the basis of said 2D image to obtain reconstructed information for the 3D image. The electronic control unit 100 can over the connection 170a a signal to the agent 170 transmitting 3D data for performing an area estimation based on said 2D image. The area estimate can be from the middle 170 be made.

Die elektronische Steuereinheit 100 ist über eine Verbindung 170b zwecks Signalübermittlung an das Mittel 170 angeschlossen, um auf der Basis des genannten 2D Bildes eine Bereichsschätzung vorzunehmen, um rekonstruierte Informationen für das 3D-Bild zu erhalten. Die elektronische Steuereinheit 100 kann über die Verbindung 170b ein Signal vom Mittel 170 erhalten, das Bereichsschätzungsdaten mit rekonstruierten Informationen enthält.The electronic control unit 100 is about a connection 170b for signal transmission to the agent 170 connected to make an area estimate on the basis of said 2D image to obtain reconstructed information for the 3D image. The electronic control unit 100 can over the connection 170b a signal from the middle 170 which contains area estimate data with reconstructed information.

Die elektronische Steuereinheit 100 ist über eine Verbindung 180a zwecks Signalübermittlung an das Mittel 180 angeschlossen, um die Bildbelichtungseinstellungen und/oder die Helligkeit der 3D-Erkennungseinheit so anzupassen, dass sich die Qualität der Informationen im 3D-Bild erhöht. Die elektronische Steuereinheit 100 kann über die Verbindung 180a ein Signal zum Mittel 180 übermitteln, das 3D-Daten für das 3D-Bild/das segmentierte 3D-Bild enthält.The electronic control unit 100 is about a connection 180a for signal transmission to the agent 180 connected to the Adjust the image exposure settings and / or the brightness of the 3D recognition unit so that the quality of the information in the 3D image increases. The electronic control unit 100 can over the connection 180a a signal to the agent 180 submit 3D data for the 3D image / segmented 3D image.

Die elektronische Steuereinheit 100 ist über eine Verbindung 180b zwecks Signalübermittlung an das Mittel 180 angeschlossen, um die Bildbelichtungseinstellungen und/oder die Helligkeit der 3D-Erkennungseinheit so anzupassen, dass sich die Qualität der Informationen im 3D-Bild erhöht. Die elektronische Steuereinheit 100 kann über die Verbindung 180b ein Signal vom Mittel 180 erhalten, das 3D-Anpassungsdaten zur Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit enthält, damit die Qualität der Informationen im 3D-Bild gesteigert wird.The electronic control unit 100 is about a connection 180b for signal transmission to the agent 180 connected to adjust the image exposure settings and / or the brightness of the 3D recognition unit so that the quality of the information in the 3D image increases. The electronic control unit 100 can over the connection 180b a signal from the middle 180 obtained, the 3D adaptation data for adjusting the image exposure settings and / or the brightness of the 3D detection unit so that the quality of the information in the 3D image is increased.

Die elektronische Steuereinheit 100 ist über eine Verbindung 110c zwecks Signalübermittlung an die 3D-Erkennungseinheit 110 angeschlossen. Die elektronische Steuereinheit 100 kann über die Verbindung 110b ein Signal zur 3D-Erkennungseinheit 110 übermitteln, das Anpassungsdaten zur Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit enthält, damit die Qualität der Informationen im 3D-Bild gesteigert wird.The electronic control unit 100 is about a connection 110c for signal transmission to the 3D recognition unit 110 connected. The electronic control unit 100 can over the connection 110b a signal to the 3D recognition unit 110 which includes fitting data to adjust the image exposure settings and / or the brightness of the 3D recognition unit to enhance the quality of the information in the 3D image.

ist eine schematische Darstellung eines Blockdiagramms eines Verfahrens zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit. Die 3D-Erkennungseinheit beleuchtet das Objekt und gewinnt aus dem vom Objekt reflektierten Licht 3D-Informationen zur Erstellung eines 3D-Bildes. FIG. 10 is a schematic diagram of a block diagram of a method for improving the object recognition performance of a 3D recognition unit. FIG. The 3D detection unit illuminates the object and retrieves 3D information from the light reflected from the object to create a 3D image.

Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt S1. In diesem Schritt wird ein 3D-Bild des Objekts durch die 3D-Erkennungseinheit erkannt.According to one embodiment, the method for improving the object recognition performance of a 3D recognition unit comprises a step S1. In this step, a 3D image of the object is recognized by the 3D recognition unit.

Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt S2. In diesem Schritt wird ein 2D-Bild des Objekts erkannt.According to one embodiment, the method for improving the object recognition performance of a 3D recognition unit comprises a step S2. In this step, a 2D image of the object is detected.

Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt S3. In diesem Schritt werden das 2D-Bild und das 3D-Bild korreliert, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen.According to one embodiment, the method for improving the object recognition performance of a 3D recognition unit comprises a step S3. In this step, the 2D image and the 3D image are correlated to detect a possible lack of information in the 3D image.

Gemäß einer Ausführungsform umfasst das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt S4. In diesem Schritt wird im Falle eines Mangels an Informationen im 3D-Bild das 3D-Bild mit Informationen aus dem 2D-Bild extrapoliert.According to one embodiment, the method for improving the object recognition performance of a 3D recognition unit comprises a step S4. In this step, in the case of a lack of information in the 3D image, the 3D image is extrapolated with information from the 2D image.

Gemäß einer Ausführungsform, die in nicht dargestellt ist, kann das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit Schritte umfassen, in denen die 2D- und 3D-Bilder segmentiert werden.According to an embodiment, in is not shown, the method for improving the object recognition performance of a 3D recognition unit may include steps in which the 2D and 3D images are segmented.

Gemäß einer Ausführungsform, die in nicht dargestellt ist, kann das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt umfassen, in dem das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes in ein 2D-Bild umgewandelt wird.According to an embodiment, in not shown, the method for improving the object recognition performance of a 3D recognition unit may include a step of converting the 3D image into a 2D image before correlating the 2D image and the 3D image.

Gemäß einer Ausführungsform, die in nicht dargestellt ist, kann das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt enthalten, in dem das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes gefiltert wird.According to an embodiment, in not shown, the method for improving the object recognition performance of a 3D recognition unit may include a step of filtering the 3D image before correlating the 2D image and the 3D image.

Gemäß einer Ausführungsform, die in nicht dargestellt ist, kann das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt umfassen, in dem auf der Basis des genannten 2D-Bildes eine Bereichsschätzung vorgenommen wird, um rekonstruierte Informationen für das 3D-Bild zu erhalten.According to an embodiment, in is not shown, the method for improving the object recognition performance of a 3D recognition unit may include a step in which on the basis of said 2D image, an area estimate is made to obtain reconstructed information for the 3D image.

Gemäß einer Ausführungsform, die in nicht dargestellt ist, kann das Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit einen Schritt umfassen, in dem die Bildbelichtungseinstellungen und/oder die Helligkeit der 3D-Erkennungseinheit so angepasst werden, dass sich die Qualität der Informationen im 3D-Bild erhöht.According to an embodiment, in not shown, the method for improving the object recognition performance of a 3D recognition unit may include a step of adjusting the image exposure settings and / or the brightness of the 3D recognition unit to increase the quality of the information in the 3D image.

ist eine schematische Darstellung eines 3D-Bildes 50 eines Objekts in der Form einer Tafel, das mit einer 3D-Erkennungseinheit gewonnen wurde. zeigt die Tafel in , wobei ein segmentierter 3D-Teil der Tafel markiert ist. zeigt die Tafel in , wobei ein segmentierter 2D-Teil der Tafel markiert ist. zeigt die Tafel in , wobei das 3D-Bild mit Informationen aus dem segmentierten 2D-Teil rekonstruiert wurde. is a schematic representation of a 3D image 50 an object in the form of a tablet obtained with a 3D recognition unit. shows the board in , where a segmented 3D part of the panel is marked. shows the board in , where a segmented 2D part of the panel is marked. shows the board in wherein the 3D image has been reconstructed with information from the segmented 2D part.

Das 3D-Bild des Objekts in der Form einer Tafel in weist Bereiche 50a mit 3D-Informationen/3D-Daten von guter Qualität auf und besitzt Bereiche 50b mit 3D-Informationen/3D-Daten von schlechter Qualität, die eher Rauschen entsprechen. Das Signal-Rausch-Verhältnis der Punkte, deren Qualität als schlechter erachtet wird, ist wahrscheinlich stark unterschiedlich. Der Vergleich mit dem 2D-Bild ist interessant, weil er bessere Aufschlüsse darüber liefert, wo im 3D-Raum Daten vorhanden sind, die extrahierbare Informationen umfassen, und was als hauptsächlich Rauschen erachtet werden kann.The 3D image of the object in the form of a blackboard in has areas 50a with 3D information / 3D data of good quality and owns areas 50b with 3D information / poor quality 3D data that is more like noise. The signal-to-noise ratio of the points whose quality is considered to be worse is likely to be very different. The comparison with the 2D image is interesting because it provides better insight into where in 3D space there is data that contains extractable information, and what may be considered to be mainly noise.

Das 3D-Bild des Objekts, d. h. die Tafel, wird gemäß einer Ausführungsform gefiltert.The 3D image of the object, d. H. the panel is filtered according to one embodiment.

In ist das 3D-Bild so segmentiert, dass ein Segment 52 des 3D-Bildes mit Informationen von guter Qualität festgestellt wird. Das segmentierte 3D-Bild wird in ein entsprechendes segmentiertes 2D-Bild umgewandelt. Gemäß einer Variante wird das 3D-Bild vor der Segmentierung in ein 2D-Bild umgewandelt.In the 3D image is segmented so that a segment 52 of the 3D image with Information of good quality is noted. The segmented 3D image is converted to a corresponding segmented 2D image. According to a variant, the 3D image is converted into a 2D image before the segmentation.

Außerdem wird ein 2D-Bild des Objekts O, d. h. der Tafel, erkannt. In ist das 2D-Bild so segmentiert, dass ein Segment 54 des 2D-Bildes der Helligkeitsdaten, einschließlich des segmentierten Teils des 3D-Bildes und zusätzlicher Daten aus dem Bereich, in dem Daten mit schlechter Qualität/Rauschen im 3D-Bild enthalten waren, extrahiert wird.In addition, a 2D image of the object O, ie the panel, is detected. In the 2D image is segmented so that a segment 54 of the 2D image of the brightness data, including the segmented portion of the 3D image and additional data from the area in which poor quality / noise data was included in the 3D image.

In wurde das segmentierte 3D-Bild mit Informationen aus dem segmentierten Teil 54 des 2D-Bildes rekonstruiert. 2D- und 3D-Segmentierungsdaten werden dabei so miteinander kombiniert, dass der fehlende Teil des segmentierten 3D-Bildes 52 mit den Informationen im segmentierten 2D-Bild 54 rekonstruiert wird. Das segmentierte 3D-Bild wurde folglich mit Informationen aus dem segmentierten 2D-Bild 54 in ein extrapoliertes segmentiertes 3D-Bild 55 extrapoliert, einschließlich Informationen für den Bereich 50b, für den Informationen im segmentierten 3D-Bild fehlen. Dadurch wird ein robusteres und korrekteres 3D-Bild des Objekts O/der Tafel erzielt.In became the segmented 3D image with information from the segmented part 54 the 2D image reconstructed. 2D and 3D segmentation data are combined so that the missing part of the segmented 3D image 52 with the information in the segmented 2D image 54 is reconstructed. The segmented 3D image was thus obtained with information from the segmented 2D image 54 into an extrapolated segmented 3D image 55 extrapolated, including information for the area 50b for which information is missing in the segmented 3D image. This will result in a more robust and correct 3D image of the object O / the panel.

ist eine schematische Darstellung eines Blockdiagramms eines Verfahrens zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit 110 gemäß Ausführungsformen der vorliegenden Erfindung. In dieser Abbildung sind verschiedene Ausführungsformen, d. h. verschiedene Optionen, des Verfahrens zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit 110 dargestellt. FIG. 10 is a schematic diagram of a block diagram of a method for improving the object recognition performance of a 3D recognition unit. FIG 110 according to embodiments of the present invention. In this figure, various embodiments, ie, various options, of the method of improving the object recognition performance of a 3D recognition unit 110 shown.

Ein 3D-Bild des Objekts wird mithilfe der 3D-Erkennungseinheit 110 erkannt und ein 2D-Bild des Objekts O wird mithilfe der 3D-Erkennungseinheit 110 und/oder einer separaten 2D-Erkennungseinheit 112 erkannt.A 3D image of the object is made using the 3D recognition unit 110 detected and a 2D image of the object O is using the 3D recognition unit 110 and / or a separate 2D recognition unit 112 recognized.

Dadurch werden Daten eines 3D-Bildes des erkannten Objekts O, d. h. Punktwolkendaten mit Informationen bezüglich des 3D-Bildes, gewonnen. Diese Daten des 3D-Bildes sind in als „3D-BILD” bezeichnet. Es werden weitere Daten bezüglich des 2D-Bildes des erkannten Objekts gewonnen, und zwar Helligkeitsdaten mit Informationen über das 2D-Bild. Diese Daten des 2D-Bildes sind in als „2D-BILD” bezeichnet.Thereby, data of a 3D image of the recognized object O, that is, point cloud data having information regarding the 3D image, is obtained. These data of the 3D image are in referred to as "3D IMAGE". Additional data is obtained regarding the 2D image of the detected object, namely, brightness data with information about the 2D image. These data of the 2D image are in referred to as "2D IMAGE".

Gemäß einer Ausführungsform, die eine erste Variante darstellt, wird das 3D-BILD in 160 (3D-BILD FILTERN) gefiltert. Dann wird das gefilterte 3D-Bild in 140 (3D IN 2D UMWANDELN) in ein 2D-Bild umgewandelt, d. h. als 2D-Bild auf eine Ebene projiziert, die der Beobachtung des vorhandenen 2D-Bildes entspricht. Dann wird das 2D-umgewandelte 3D-Bild in 154 (SEGMENTIEREN) in ein segmentiertes 2D-Bild segmentiert. Das 2D-Bild wird in 152 (SEGMENTIEREN) in ein segmentiertes 2D-Bild segmentiert. Das segmentierte 2D-3D-Bild wird in 120 (2D UND 3D KORRELIEREN) mit dem segmentierten 2D-Bild korreliert, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen.According to an embodiment representing a first variant, the 3D IMAGE is in 160 (3D IMAGE FILTER) filtered. Then the filtered 3D image is in 140 (Convert 3D to 2D) is converted to a 2D image, ie projected as a 2D image onto a plane that corresponds to the observation of the existing 2D image. Then the 2D converted 3D image in 154 (SEGMENT) segmented into a segmented 2D image. The 2D image is in 152 (SEGMENT) segmented into a segmented 2D image. The segmented 2D 3D image is displayed in 120 (2D AND 3D CORRELATION) correlates with the segmented 2D image to detect a possible lack of information in the 3D image.

Gemäß einer Ausführungsform, die eine zweite Variante darstellt, wird das 3D-Bild in 140 (3D IN 2D UMWANDELN) in ein 2D-Bild umgewandelt, d. h. als 2D-Bild projiziert. Dann wird das 2D-umgewandelte 3D-Bild in 154 (SEGMENTIEREN) in ein segmentiertes 2D-Bild des 3D-Bildes segmentiert. Das 2D-Bild wird in 152 (SEGMENTIEREN) in ein segmentiertes 2D-Bild segmentiert. Das segmentierte 3D-Bild wird in 120 (2D UND 3D KORRELIEREN) mit dem segmentierten 2D-Bild korreliert, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen.According to an embodiment representing a second variant, the 3D image is displayed in FIG 140 (Convert 3D to 2D) is converted to a 2D image, ie projected as a 2D image. Then the 2D converted 3D image in 154 (SEGMENT) is segmented into a segmented 2D image of the 3D image. The 2D image is in 152 (SEGMENT) segmented into a segmented 2D image. The segmented 3D image is displayed in 120 (2D AND 3D CORRELATION) correlates with the segmented 2D image to detect a possible lack of information in the 3D image.

Gemäß einer Ausführungsform, die eine dritte Variante darstellt, wird das 3D-Bild in 154 (SEGMENTIEREN) in ein segmentiertes 3D-Bild segmentiert. Dann wird das segmentierte 3D-Bild in 140 (3D IN 2D UMWANDELN) in ein 2D-Bild umgewandelt, d. h. als 2D-Bild projiziert. Das 2D-Bild wird in 152 (SEGMENTIEREN) in ein segmentiertes 2D-Bild segmentiert. Das segmentierte 3D-Bild wird in 120 (2D UND 3D KORRELIEREN) mit dem segmentierten 2D-Bild korreliert, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen.According to an embodiment representing a third variant, the 3D image is displayed in FIG 154 (SEGMENT) segmented into a segmented 3D image. Then the segmented 3D image in 140 (Convert 3D to 2D) is converted to a 2D image, ie projected as a 2D image. The 2D image is in 152 (SEGMENT) segmented into a segmented 2D image. The segmented 3D image is displayed in 120 (2D AND 3D CORRELATION) correlates with the segmented 2D image to detect a possible lack of information in the 3D image.

Gemäß einer Ausführungsform, die eine vierte Variante darstellt, wird das 3D-Bild in 140 (3D IN 2D UMWANDELN) in ein 2D-Bild umgewandelt, d. h. als 2D-Bild projiziert. Das dadurch umgewandelte 3D-Bild wird in 120 (2D UND 3D KORRELIEREN) mit dem 2D-Bild korreliert, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen.According to an embodiment representing a fourth variant, the 3D image is displayed in FIG 140 (Convert 3D to 2D) is converted to a 2D image, ie projected as a 2D image. The converted 3D image is displayed in 120 (2D AND 3D CORRELATION) correlates with the 2D image to detect a possible lack of information in the 3D image.

Bei der oben genannten ersten, zweiten, dritten und vierten Variante wird nach der Korrelation in 120 (2D UND 3D KORRELIEREN) das 3D-Bild/das segmentierte 3D-Bild in 130 (3D AUF DER BASIS VON 2D EXTRAPOLIEREN) mit Informationen aus dem 2D-Bild/segmentierten 2D-Bild und dem gefilterten schwächeren/stärker mit Rauschen behafteten 3D-Signal extrapoliert.In the first, second, third and fourth variants mentioned above, according to the correlation in FIG 120 (2D AND 3D CORREL) the 3D image / segmented 3D image in 130 Extrapolated (3D BASED ON 2D EXTRAPOLATION) with information from the 2D image / segmented 2D image and the filtered weaker / more noisy 3D signal.

Dann wird auf der Basis der genannten Extrapolation ein neues 3D-Bild aus dem ursprünglich erkannten 3D-Bild gewonnen.Then, on the basis of said extrapolation, a new 3D image is obtained from the originally recognized 3D image.

Dann wird das Objekt identifiziert.Then the object is identified.

In ist ein Diagramm einer Einrichtung 500 dargestellt. Die unter Verweis auf beschriebene Steuereinheit 100 kann gemäß einer Ausführungsform die Einrichtung 500 enthalten. Die Einrichtung 500 umfasst einen nicht flüchtigen Speicher 520, ein Datenverarbeitungsgerät 510 und einen Lese-/Schreib-Speicher 550. Der nicht flüchtige Speicher 520 besitzt ein erstes Speicherelement 530, in dem ein Computerprogramm, wie beispielsweise ein Betriebssystem, gespeichert ist, um die Funktion der Einrichtung 500 zu steuern. Die Einrichtung 500 umfasst außerdem eine Bussteuerung, einen seriellen Kommunikationsport, I/O-Mittel, einen A/D-Wandler, eine Zeit- und Datum-Erfassungs- und -Übermittlungseinheit, einen Ereigniszähler und eine Unterbrechungssteuerung (nicht dargestellt). Der nicht flüchtige Speicher 520 besitzt auch ein zweites Speicherelement 540.In is a diagram of a facility 500 shown. The reference to described control unit 100 According to one embodiment, the device 500 contain. The device 500 includes a non-volatile memory 520 , a data processing device 510 and a read / write memory 550 , The non-volatile memory 520 has a first memory element 530 in which a computer program, such as an operating system, is stored to perform the function of the device 500 to control. The device 500 Also includes a bus controller, a serial communication port, I / O means, an A / D converter, a time and date acquisition and transmission unit, an event counter, and an interrupt controller (not shown). The non-volatile memory 520 also has a second memory element 540 ,

Es wird ein Computerprogramm P bereitgestellt, das Routinen zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit umfasst, die das Objekt beleuchtet und aus dem vom Objekt reflektierten Licht mit 3D-Informationen ein 3D-Bild erstellt. Das Programm P umfasst Routinen zur Erkennung eines 3D-Bildes des Objekts mithilfe der 3D-Erkennungseinheit. Das Programm P umfasst Routinen zur Erkennung eines 2D-Bildes des genannten Objekts. Das Programm P umfasst Routinen zur Korrelation des 2D-Bildes und des 3D-Bildes, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen. Das Programm P umfasst Routinen zur Extrapolation des 3D-Bildes mit Informationen aus dem 2D-Bild, falls Informationen im 3D-Bild fehlen. Das Programm P umfasst gemäß einer Ausführungsform Routinen zur Segmentierung der 2D- und 3D-Bilder. Das Programm P umfasst gemäß einer Ausführungsform Routinen zur Umwandlung des 3D-Bildes in ein 2D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes. Das Programm P umfasst gemäß einer Ausführungsform Routinen zur Filterung des 3D-Bildes vor der Korrelation des 2D-Bildes und des 3D-Bildes. Das Programm P umfasst gemäß einer Ausführungsform Routinen zur Durchführung einer Bereichsschätzung auf der Basis des genannten 2D-Bildes, um rekonstruierte Informationen für das 3D-Bild zu erhalten. Das Programm P umfasst gemäß einer Ausführungsform Routinen zur Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit, um die Qualität der Informationen im 3D-Bild zu steigern. Das Computerprogramm P kann in ausführbarer oder in komprimierter Form in einem separaten Speicher 560 und/oder in einem Lese-/Schreib-Speicher 550 gespeichert sein.A computer program P is provided which comprises routines for improving the object recognition performance of a 3D recognition unit, which illuminates the object and creates a 3D image from the light reflected by the object with 3D information. The program P includes routines for recognizing a 3D image of the object using the 3D recognition unit. The program P includes routines for recognizing a 2D image of said object. The program P includes routines for correlating the 2D image and the 3D image to detect a possible lack of information in the 3D image. The program P includes routines for extrapolating the 3D image with information from the 2D image if information is missing in the 3D image. The program P, according to one embodiment, includes routines for segmenting the 2D and 3D images. The program P, according to one embodiment, includes routines for converting the 3D image into a 2D image prior to correlating the 2D image and the 3D image. The program P, according to one embodiment, includes routines for filtering the 3D image before correlating the 2D image and the 3D image. The program P, according to one embodiment, includes routines for performing a region estimate based on said 2D image to obtain reconstructed information for the 3D image. The program P comprises, according to one embodiment, routines for adjusting the image exposure settings and / or the brightness of the 3D recognition unit in order to increase the quality of the information in the 3D image. The computer program P may be in executable or compressed form in a separate memory 560 and / or in a read / write memory 550 be saved.

Wenn angegeben ist, dass das Datenverarbeitungsgerät 510 eine bestimmte Funktion ausführt, ist das so zu verstehen, dass das Datenverarbeitungsgerät 510 einen bestimmten Teil des Programms ausführt, das in einem separaten Speicher 560 gespeichert ist, oder einen bestimmten Teil des Programms ausführt, das in einem Lese-/Schreib-Speicher 550 gespeichert ist.If indicated is that the computing device 510 performs a particular function, this is to be understood that the data processing device 510 runs a specific part of the program, in a separate memory 560 is stored, or executes a specific part of the program, in a read / write memory 550 is stored.

Das Datenverarbeitungsgerät 510 kann über einen Datenbus 515 mit einem Datenkommunikationsport 599 kommunizieren. Der nicht flüchtige Speicher 520 dient zur Kommunikation mit dem Datenverarbeitungsgerät 510 über einen Datenbus 512. Der separate Speicher 560 dient zur Kommunikation mit dem Datenverarbeitungsgerät 510 über einen Datenbus 511. Der Lese-/Schreib-Speicher 550 dient zur Kommunikation mit dem Datenverarbeitungsgerät 510 über einen Datenbus 514. An den Datenkommunikationsport 599 können beispielsweise die mit der Steuereinheit 100 verbundenen Verbindungen angeschlossen sein.The data processing device 510 can via a data bus 515 with a data communication port 599 communicate. The non-volatile memory 520 serves for communication with the data processing device 510 via a data bus 512 , The separate memory 560 serves for communication with the data processing device 510 via a data bus 511 , The read / write memory 550 serves for communication with the data processing device 510 via a data bus 514 , To the data communication port 599 For example, those with the control unit 100 connected connections.

Wenn Daten am Datenport 599 einlaufen, werden diese temporär im zweiten Speicherteil 540 gespeichert. Wenn die eingelaufenen Eingangsdaten temporär gespeichert wurden, ist das Datenverarbeitungsgerät 510 bereit, Code wie oben beschrieben auszuführen. Die am Datenport 599 einlaufenden Signale können von der Einrichtung 500 verwendet werden, um ein 3D-Bild des Objekts mithilfe der 3D-Erkennungseinheit zu erkennen. Die am Datenport 599 einlaufenden Signale können von der Einrichtung 500 verwendet werden, um ein 2D-Bild des genannten Objekts zu gewinnen. Die am Datenport 599 einlaufenden Signale können von der Einrichtung 500 verwendet werden, um das 2D-Bild und das 3D-Bild zu korrelieren, so dass ein möglicher Mangel an Informationen im 3D-Bild festgestellt werden kann. Die am Datenport 599 einlaufenden Signale können von der Einrichtung 500 verwendet werden, um im Falle eines Fehlens von Informationen im 3D-Bild das 3D-Bild mit Informationen aus dem 2D-Bild zu extrapolieren. Die am Datenport 599 einlaufenden Signale können gemäß einer Ausführungsform von der Einrichtung 500 verwendet werden, um die Objekterkennungsleistung einer 3D-Erkennungseinheit zu verbessern, einschließlich Segmentierung der 2D- und 3D-Bilder. Die am Datenport 599 einlaufenden Signale können gemäß einer Ausführungsform von der Einrichtung 500 verwendet werden, um das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes in ein 2D-Bild umzuwandeln. Die am Datenport 599 einlaufenden Signale können gemäß einer Ausführungsform von der Einrichtung 500 verwendet werden, um das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes zu filtern. Die am Datenport 599 einlaufenden Signale können gemäß einer Ausführungsform von der Einrichtung 500 verwendet werden, um auf der Basis des genannten 2D-Bildes eine Bereichsschätzung vorzunehmen, um rekonstruierte Informationen für das 3D-Bild zu gewinnen. Die am Datenport 599 einlaufenden Signale können gemäß einer Ausführungsform von der Einrichtung 500 verwendet werden, um die Bildbelichtungseinstellungen und/oder die Helligkeit der 3D-Erkennungseinheit so anzupassen, dass die Qualität der Informationen im 3D-Bild gesteigert wird.When data is at the data port 599 come in, they are temporarily in the second memory part 540 saved. If the incoming input data has been temporarily stored, this is the data processing device 510 ready to execute code as described above. The data port 599 Incoming signals may be from the device 500 used to recognize a 3D image of the object using the 3D recognition unit. The data port 599 Incoming signals may be from the device 500 used to obtain a 2D image of said object. The data port 599 Incoming signals may be from the device 500 can be used to correlate the 2D image and the 3D image so that a possible lack of information in the 3D image can be detected. The data port 599 Incoming signals may be from the device 500 be used to extrapolate the 3D image with information from the 2D image in the event of a lack of information in the 3D image. The data port 599 incoming signals may, according to one embodiment, be from the device 500 used to enhance the object recognition performance of a 3D recognition unit, including segmentation of the 2D and 3D images. The data port 599 incoming signals may, according to one embodiment, be from the device 500 can be used to convert the 3D image into a 2D image before correlating the 2D image and the 3D image. The data port 599 incoming signals may, according to one embodiment, be from the device 500 can be used to filter the 3D image before correlating the 2D image and the 3D image. The data port 599 incoming signals may, according to one embodiment, be from the device 500 may be used to make an area estimate based on said 2D image to obtain reconstructed information for the 3D image. The data port 599 incoming signals may, according to one embodiment, be from the device 500 used to adjust the image exposure settings and / or the brightness of the 3D To adapt the recognition unit so that the quality of the information in the 3D image is increased.

Teile der im vorliegenden Dokument beschriebenen Verfahren können von der Einrichtung 500 mithilfe des Datenverarbeitungsgeräts 510 durchgeführt werden, welches das im separaten Speicher 560 oder im Lese-/Schreibspeicher 550 gespeicherte Programm ausführt. Wenn die Vorrichtung 500 das Programm ausführt, werden Teile der im vorliegenden Dokument beschriebenen Verfahren durchgeführt.Portions of the procedures described herein may be used by the facility 500 using the computing device 510 be performed, which in the separate memory 560 or in the read / write memory 550 stored program executes. When the device 500 executing the program, parts of the procedures described in this document are carried out.

Die obige Beschreibung der bevorzugten Ausführungsformen der vorliegenden Erfindung dient zur Veranschaulichung und Erläuterung. Sie soll keine erschöpfende Beschreibung sein und soll die Erfindung nicht auf die beschriebenen Varianten begrenzen. Für Fachleute auf dem Gebiet der Erfindung sind erwartungsgemäß viele Änderungen und Variationen ersichtlich. Die Ausführungsformen wurden gewählt und beschrieben, um die Prinzipien der Erfindung und ihre praktischen Anwendungen in bestmöglicher Weise zu erklären und es damit Fachleuten zu ermöglichen, die Erfindung für verschiedene Ausführungsformen und mit den verschiedenen Änderungen, die für den vorgesehenen Anwendungszweck geeignet sind, zu verstehen.The above description of the preferred embodiments of the present invention is provided for illustration and explanation. It should not be an exhaustive description and is not intended to limit the invention to the variants described. As will be appreciated by those skilled in the art, many changes and variations will be apparent. The embodiments have been chosen and described in order to explain the principles of the invention and their practical applications in the best possible manner and to enable those skilled in the art to understand the invention for various embodiments and with the various modifications suitable for the intended use.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2010/322477 [0004, 0004] US 2010/322477 [0004, 0004]

Claims (19)

Verfahren zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit, bei dem die 3D-Erkennungseinheit (110) dazu dient, das Objekt zu beleuchten und aus dem vom Objekt reflektierten Licht 3D-Informationen zur Erstellung eines 3D-Bildes zu gewinnen, und die folgende Schritte umfasst: Erkennung (S1) eines 3D-Bildes des Objekts mithilfe der 3D-Erkennungseinheit (110) und Erkennung (S2) eines 2D-Bildes des genannten Objekts, gekennzeichnet durch die folgenden Schritte: Korrelation (S3) des 2D-Bildes und des 3D-Bildes durch Vergleich des 2D-Bildes und des 3D-Bildes, wobei das 2D-Bild und das 3D-Bild so angeordnet werden, dass sie sich überlappen und im Wesentlichen aufeinander abgestimmt sind, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen; und Extrapolation (S4) des 3D-Bildes mit Informationen aus dem 2D-Bild, falls Informationen im 3D-Bild fehlen, mit einem Schritt, in dem auf der Basis des genannten 2D-Bildes eine Bereichsschätzung vorgenommen wird, wobei ein Tiefenwert für ein 3D-Signal rekonstruiert wird, falls ein 2D-Bild das Vorhandensein eines Objekts anzeigt, um rekonstruierte Informationen für das 3D-Bild zu erhalten.Method for improving the object recognition performance of a 3D recognition unit, in which the 3D recognition unit ( 110 ) serves to illuminate the object and obtain 3D information for creating a 3D image from the light reflected from the object, and comprising the following steps: detection (S1) of a 3D image of the object using the 3D recognition unit ( 110 and detecting (S2) a 2D image of said object, characterized by the steps of: correlating (S3) the 2D image and the 3D image by comparing the 2D image and the 3D image, wherein the 2D image and the 3D image is arranged to overlap and be substantially aligned with each other to detect a potential lack of information in the 3D image; and extrapolating (S4) the 3D image with information from the 2D image if information is missing in the 3D image, with a step of taking an area estimate based on said 2D image, wherein a depth value for a 3D Signal is reconstructed if a 2D image indicates the presence of an object to obtain reconstructed information for the 3D image. Verfahren nach Patentanspruch 1, mit einem Schritt, in dem die 2D- und die 3D-Bilder segmentiert werden, wobei der Schritt der Korrelation des 2D-Bildes und des 3D-Bildes die Korrelation der segmentierten 2D- und 3D-Bilder als Grundlage für die Extrapolation des 3D-Bildes umfasst.The method of claim 1, further comprising the step of segmenting the 2D and 3D images, the step of correlating the 2D image and the 3D image using the correlation of the segmented 2D and 3D images as the basis for Extrapolation of the 3D image. Verfahren nach Patentanspruch 1 oder 2, mit einem Schritt, in dem das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes in ein 2D-Bild umgewandelt wird.A method according to claim 1 or 2, comprising a step of converting the 3D image into a 2D image prior to correlating the 2D image and the 3D image. Verfahren nach einem der oben genannten Patentansprüche, mit einem Schritt, in dem das 3D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes gefiltert wird.A method according to any one of the preceding claims, comprising a step of filtering the 3D image before correlating the 2D image and the 3D image. Verfahren nach einem der oben genannten Patentansprüche, bei welchem der Schritt der Extrapolation von Informationen aus dem 2D-Bild die Einbeziehung von Informationen für den Bereich umfasst, für den Informationen im 3D-Bild fehlen.The method of any of the above claims, wherein the step of extrapolating information from the 2D image comprises including information for the area for which information is missing in the 3D image. Verfahren nach einem der oben genannten Patentansprüche, mit einem Schritt, in dem die Bildbelichtungseinstellungen und/oder die Helligkeit der 3D-Erkennungseinheit (110) so angepasst werden, dass die Qualität der Informationen im 3D-Bild gesteigert wird.Method according to one of the above-mentioned patent claims, with a step in which the image exposure settings and / or the brightness of the 3D recognition unit ( 110 ) can be adjusted to increase the quality of the information in the 3D image. Verfahren nach einem der oben genannten Patentansprüche, bei dem die 3D-Erkennungseinheit (110) eine Time-of-Flight-Kamera-Einheit umfasst.Method according to one of the above-mentioned claims, wherein the 3D recognition unit ( 110 ) comprises a time-of-flight camera unit. Verfahren nach einem der oben genannten Patentansprüche, bei dem die 3D-Erkennungseinheit (110) das genannte 2D-Bild liefern kann.Method according to one of the above-mentioned claims, wherein the 3D recognition unit ( 110 ) can deliver the said 2D image. System (I) zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit, bei dem die 3D-Erkennungseinheit (110) dazu dient, das Objekt (O) zu beleuchten (L1) und aus dem vom Objekt (O) reflektierten Licht (L2) mit 3D-Informationen ein 3D-Bild zu erstellen, mit Erkennung eines 3D-Bildes des Objekts mithilfe der 3D-Erkennungseinheit (110); und ein Mittel (110, 112) zur Erkennung eines 2D-Bildes des genannten Objekts, gekennzeichnet durch ein Mittel (120) zur Korrelation des 2D-Bildes und des 3D-Bildes durch Vergleich des 2D-Bildes und des 3D-Bildes, indem das 2D-Bild und das 3D-Bild so angeordnet werden, dass sie sich überlappen und im Wesentlichen aufeinander abgestimmt sind, um einen möglichen Mangel an Informationen im 3D-Bild festzustellen; und ein Mittel (130) zur Extrapolation des 3D-Bildes mit Informationen aus dem 2D-Bild, falls Informationen im 3D-Bild fehlen, mit einem Mittel (170) zur Durchführung einer Bereichsschätzung durch Rekonstruktion eines Tiefenwerts für ein 3D-Signal, falls ein 2D-Bild das Vorhandensein eines Objekts anzeigt, auf der Basis des genannten 2D-Bildes, um rekonstruierte Informationen für das 3D-Bild zu gewinnen.System ( I ) for improving the object recognition performance of a 3D recognition unit, in which the 3D recognition unit ( 110 ) is used to illuminate the object (O) (L1) and to generate a 3D image from the light (L2) reflected by the object (O) with 3D information, with recognition of a 3D image of the object using the 3D image. Recognition unit ( 110 ); and a means ( 110 . 112 ) for recognizing a 2D image of said object, characterized by a means ( 120 ) for correlating the 2D image and the 3D image by comparing the 2D image and the 3D image by arranging the 2D image and the 3D image to overlap and substantially match each other to detect a possible lack of information in the 3D image; and a means ( 130 ) for extrapolating the 3D image with information from the 2D image, if information is missing in the 3D image, with a means ( 170 ) for performing a region estimation by reconstructing a depth value for a 3D signal if a 2D image indicates the presence of an object, based on said 2D image, to obtain reconstructed information for the 3D image. System nach Patentanspruch 9 mit einem Mittel (150, 152, 154) zur Segmentierung der 2D- und 3D-Bilder, bei dem das genannte Mittel (120) zur Korrelation des 2D-Bildes und des 3D-Bildes ein Mittel (120) zur Korrelation der segmentierten 2D- und 3D-Bilder als Basis für die Extrapolation des 3D-Bildes umfasst.System according to claim 9, comprising a means ( 150 . 152 . 154 ) for segmentation of the 2D and 3D images, in which said means ( 120 ) to correlate the 2D image and the 3D image, a means ( 120 ) for correlating the segmented 2D and 3D images as the basis for extrapolating the 3D image. System nach Patentanspruch 9 oder 10 mit einem Mittel (140) zur Umwandlung des 3D-Bildes in ein 2D-Bild vor der Korrelation des 2D-Bildes und des 3D-Bildes.System according to claim 9 or 10 with a means ( 140 ) for converting the 3D image into a 2D image before correlating the 2D image and the 3D image. System nach einem der Patentansprüche 9–11 mit einem Mittel (160) zur Filterung des 3D-Bildes vor der Korrelation des 2D-Bildes und des 3D-Bildes.System according to one of the claims 9-11 with a means ( 160 ) for filtering the 3D image before correlating the 2D image and the 3D image. System nach einem der Patentansprüche 9–12, bei dem das genannte Mittel (130) zur Extrapolation von Informationen aus dem 2D-Bild die Einbeziehung von Informationen für den Bereich umfasst, für den Informationen im 3D-Bild fehlen.A system according to any one of claims 9-12, wherein said means ( 130 ) to extrapolate information from the 2D image includes inclusion of information for the area for which information is missing in the 3D image. System nach einem der Patentansprüche 9–13 mit einem Mittel (180) zur Anpassung der Bildbelichtungseinstellungen und/oder der Helligkeit der 3D-Erkennungseinheit (110) derart, dass die Qualität der Informationen im 3D-Bild gesteigert wird.System according to one of the claims 9-13, having a means ( 180 ) to adjust the image exposure settings and / or the brightness of the 3D Recognition unit ( 110 ) such that the quality of the information in the 3D image is increased. System nach einem der Patentansprüche 9–14, bei dem die 3D-Erkennungseinheit (110) eine Time-of-Flight-Kamera-Einheit umfasst.System according to one of the claims 9-14, wherein the 3D recognition unit ( 110 ) comprises a time-of-flight camera unit. System nach einem der Patentansprüche 9–15, bei dem die 3D-Erkennungseinheit (110) dazu dient, das genannte 2D-Bild zu liefern.System according to one of the claims 9-15, wherein the 3D recognition unit ( 110 ) serves to deliver the said 2D image. Fahrzeug (1) mit einem System (I) nach einem der Patentansprüche 9–16.Vehicle ( 1 ) with a system ( I ) according to one of the claims 9-16. Computerprogramm (P) zur Verbesserung der Objekterkennungsleistung einer 3D-Erkennungseinheit, das Programmcode enthält, der, wenn er von einer elektronischen Steuereinheit (100) oder von einem anderen Computer (500), der an die elektronische Steuereinheit (100) angeschlossen ist, ausgeführt wird, bewirkt, dass die elektronische Steuereinheit die Schritte gemäß den Patentansprüchen 1–8 durchführt.Computer program (P) for improving the object recognition performance of a 3D recognition unit containing program code which, when supplied by an electronic control unit ( 100 ) or from another computer ( 500 ) connected to the electronic control unit ( 100 is performed causes the electronic control unit to perform the steps according to claims 1-8. Computerprogrammprodukt mit einem digitalen Speichermedium, in dem das Computerprogramm nach Patentanspruch 18 gespeichert ist.Computer program product with a digital storage medium in which the computer program according to claim 18 is stored.
DE102015014199.6A 2014-11-26 2015-11-04 Method and system for improving the object recognition performance of a 3D recognition unit Active DE102015014199B4 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1451426-9 2014-11-26
SE1451426A SE538595C2 (en) 2014-11-26 2014-11-26 Method and system for improving object detection performanceof a 3d detection unit

Publications (2)

Publication Number Publication Date
DE102015014199A1 true DE102015014199A1 (en) 2016-06-02
DE102015014199B4 DE102015014199B4 (en) 2021-08-12

Family

ID=55967883

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015014199.6A Active DE102015014199B4 (en) 2014-11-26 2015-11-04 Method and system for improving the object recognition performance of a 3D recognition unit

Country Status (2)

Country Link
DE (1) DE102015014199B4 (en)
SE (1) SE538595C2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022093255A1 (en) * 2020-10-30 2022-05-05 Hewlett-Packard Development Company, L.P. Filterings of regions of object images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322477A1 (en) 2009-06-04 2010-12-23 Peter Schmitt Device and method for detecting a plant

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011053219B4 (en) 2011-09-02 2022-03-03 pmdtechnologies ag Combined pixel with phase-sensitive and color-selective sub-pixel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322477A1 (en) 2009-06-04 2010-12-23 Peter Schmitt Device and method for detecting a plant

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022093255A1 (en) * 2020-10-30 2022-05-05 Hewlett-Packard Development Company, L.P. Filterings of regions of object images

Also Published As

Publication number Publication date
SE538595C2 (en) 2016-09-27
DE102015014199B4 (en) 2021-08-12
SE1451426A1 (en) 2016-05-27

Similar Documents

Publication Publication Date Title
DE112019002547B4 (en) SYSTEM AND PROCEDURE FOR DETERMINING A LOCATION FOR PLACEMENT OF A PACKAGE
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
DE102006012914B4 (en) System and method for determining the distance to a preceding vehicle
DE112018000899T5 (en) Joint 3D object detection and orientation estimation via multimodal fusion
DE102015121387B4 (en) Obstacle detection device and obstacle detection method
DE112010002047T5 (en) Object detecting device
WO2018233780A1 (en) Method and device for measuring damage to bodywork
DE102011106072A1 (en) SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS
DE102019100575A1 (en) METHOD AND SYSTEM FOR PRODUCING A AREA PICTURE USING LOW DEPTH DATA
DE102017218366A1 (en) METHOD AND PEDESTRIAN DETECTION APPROACH IN A VEHICLE
DE102012001554A1 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
DE102012200347A1 (en) Parking space detection system and method using network space analysis
DE102016200828A1 (en) Object detection device and object detection method
DE112020004301T5 (en) OBJECT RECOGNITION DEVICE
DE102012209316A1 (en) Method and device for processing sensor data of a stereo sensor system
DE102007013664A1 (en) Tool e.g. blade, measuring and/or adjusting device, has rolling nut designed as roller ring transmission comprising set of roller-supported roller rings with variable upward gradient
DE102020115145A1 (en) Point cloud processing
DE112020006362T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING METHOD
EP2736017A2 (en) Method for determining the movement of a motor vehicle
DE112012004847T5 (en) Dynamic line detection system for processors with limited internal memory
EP3815044A1 (en) Method for sensor and memory-based depiction of an environment, display apparatus and vehicle having the display apparatus
DE102011082881A1 (en) Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information
DE102015014199B4 (en) Method and system for improving the object recognition performance of a 3D recognition unit
EP3663881B1 (en) Method for controlling an autonomous vehicle on the basis of estimated movement vectors
DE102020200728A1 (en) Reconstructing elevation information from radar data

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final