DE102022123295A1 - Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations - Google Patents
Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations Download PDFInfo
- Publication number
- DE102022123295A1 DE102022123295A1 DE102022123295.6A DE102022123295A DE102022123295A1 DE 102022123295 A1 DE102022123295 A1 DE 102022123295A1 DE 102022123295 A DE102022123295 A DE 102022123295A DE 102022123295 A1 DE102022123295 A1 DE 102022123295A1
- Authority
- DE
- Germany
- Prior art keywords
- scene
- monocular imaging
- unit
- stereo vision
- imaging units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 78
- 230000005855 radiation Effects 0.000 claims abstract description 20
- 238000001429 visible spectrum Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 15
- 230000007613 environmental effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 101000795074 Homo sapiens Tryptase alpha/beta-1 Proteins 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 101000662819 Physarum polycephalum Terpene synthase 1 Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 102100029639 Tryptase alpha/beta-1 Human genes 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Stereovisions-System, welches ausgebildet ist, aus 2D-Darstellungen (7, 8) zweier eine Szene (6) beobachtenden monokularen Abbildungseinheiten (2, 3) durch Ableitung von Tiefendaten (TPS) eine 3D-Darstellung (16) der Szene (6) zu rekonstruieren, wobei mindestens eine monokulare Abbildungseinheit (3) für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist.The invention relates to a stereo vision system which is designed to create a 3D representation (16) from 2D representations (7, 8) of two monocular imaging units (2, 3) observing a scene (6) by deriving depth data (TPS). To reconstruct scene (6), at least one monocular imaging unit (3) being sensitive to radiation outside a visible spectrum.
Description
Die Erfindung betrifft ein Stereovisions-System, welches ausgebildet ist, aus Signalen mindestens zweier eine Szene beobachtenden monokularen Abbildungseinheiten eine Darstellung der Szene aus den überlagerten Signalen auszugeben, ein Fahrerassistenzsystem, umfassend das Stereovisions-System, sowie ein Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen.The invention relates to a stereo vision system which is designed to output a representation of the scene from the superimposed signals from signals from at least two monocular imaging units observing a scene, a driver assistance system comprising the stereo vision system, and a method for generating a stereo vision from two 2D -Representations.
Die
Aus der
Gemäß der
Die
In der
Aus der
Gemäß der
Die beschriebenen Hybridstereo-Kameras umfassen zwei gleichartige Abbildungseinheiten, d.h. beide sind RGB-Bildgeber oder beide Graustufen-Bildgeber und beide mit oder ohne Filter für das Infrarotlicht.The hybrid stereo cameras described include two similar imaging units, i.e. both are RGB imagers or both grayscale imagers and both with or without filters for infrared light.
Es ist Aufgabe der Erfindung, die Nachteile des Standes der Technik zu überwinden und ein Stereovisions-System anzugeben, das in möglichst vielen Anwendungen zur Wiedergabe einer 3D-Szene genutzt werden kann.It is the object of the invention to overcome the disadvantages of the prior art and to provide a stereo vision system that can be used in as many applications as possible to reproduce a 3D scene.
Diese Aufgabe wird durch das Stereovisions-System nach Anspruch 1 gelöst. Danach umfasst ein Stereovisions-System, welches ausgebildet ist, aus 2D-Darstellungen zweier eine Szene beobachtenden monokularen Abbildungseinheiten durch Ableitung von Tiefendaten eine 3D-Darstellung der Szene zu rekonstruieren, mindestens eine monokulare Abbildungseinheit, die für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist. Dadurch können verschiedene, hinsichtlich ihrer Spektralempfindlichkeit unterschiedlich empfindliche Arten von Abbildungseinheiten kombiniert werden. Zu diesen Abbildungseinheiten gehören Wärmebildkameras genauso wie Radar- oder Lidarsysteme. Diese Kombination ermöglicht auch weiterhin eine Stereoverarbeitung. Gleichzeitig werden die Betriebsbedingungen des Systems verbessert, indem die Kameras für ein breites Band von Beleuchtungsbedingungen empfänglicher gemacht werden. Dadurch erhöht sich die Anzahl der Anwendungen des Stereovisions-Systems zur Wiedergabe einer 3D-Szene. Aus der Vermeidung der Verwendung von zwei gleichartigen Abbildungseinheiten, wie zwei RGB- oder zwei Infrarot-Abbildungseinheiten, resultiert weniger Redundanz in der erforderlichen Stereokonfiguration.This task is solved by the stereo vision system according to
Die Aufgabe wird auch gelöst durch ein Fahrerassistenzsystem für ein Fahrzeug, umfassend ein Stereovisions-Kamerasystem, welches ausgebildet ist, aus 2D-Darstellungen zweier eine Szene beobachtenden monokularen Abbildungseinheiten durch Ableitung von Tiefendaten eine 3D-Darstellung der Szene zu rekonstruieren, wobei mindestens eine monokulare Abbildungseinheit für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist. Fahrerassistenzsysteme erfassen mittels des Stereovisions-Kamerasystems ein Umfeld des Fahrzeuges, um den Fahrer des Fahrzeuges bei dessen Fahrzeugkontrollaufgaben zu unterstützen oder diese zu mindestens teilweise zu übernehmen. Je detaillierter das Fahrzeugumfeld mittels des Stereovisions-Systems dargestellt werden kann, desto genauer werden Umfelddaten ermittelt und umso zuverlässiger bzw. fehlerfreier arbeitet das Fahrerassistenzsystem in möglichst vielen Verkehrssituationen. Dabei steuert das Fahrerassistenzsystem Komponenten des Fahrzeuges an, um die Assistenzfunktion, wie eine Verkehrszeichenerkennung oder eine automatisierte, umfeldbasierte Fahrwerksanpassung, bereitzustellen. Dadurch können Gefahrensituationen im Straßenverkehr weitgehend unterbunden werden. Basierend auf den Umfelddaten wird ein Assistenzfunktionssteuersignal ermittelt, wobei ein Steuergerät auf den jeweils vorbestimmten Funktionszusammenhang zugreift. Dieser Funktionszusammenhang umfasst wenigstens eine Rechenregel, die einen deterministischen Zusammenhang zwischen den Umfelddaten und dem Assistenzsteuersignal und der zu erzielenden Assistenzfunktion herstellt.The task is also solved by a driver assistance system for a vehicle, comprising a stereo vision camera system, which is designed to reconstruct a 3D representation of the scene from 2D representations of two monocular imaging units observing a scene by deriving depth data, with at least one monocular imaging unit is sensitive to radiation outside a visible spectrum. Driver assistance systems use the stereo vision camera system to record the surroundings of the vehicle in order to support the driver of the vehicle in his vehicle control tasks or to at least partially take over these. The more detailed the vehicle surroundings are using the stereo vision system can be displayed, the more precisely environmental data is determined and the more reliably and error-free the driver assistance system works in as many traffic situations as possible. The driver assistance system controls components of the vehicle in order to provide the assistance function, such as traffic sign recognition or automated, environment-based chassis adjustment. This means that dangerous situations in road traffic can be largely prevented. Based on the environmental data, an assistance function control signal is determined, with a control device accessing the respective predetermined functional context. This functional relationship includes at least one calculation rule that establishes a deterministic relationship between the environmental data and the assistance control signal and the assistance function to be achieved.
Das von dem Stereovisions-System erfasste Umfeld wird im weiteren als Szene bezeichnet. Diese Szene wird von mindestens zwei monokularen Abbildungseinheiten aus unterschiedlicher Sicht abgebildet. Jede monokulare Abbildungseinheit stellt eine separate Einheit dar und umfasst eine Optik zur Erfassung der Szene. Der durch die Optik bestimmte Ausschnitt der Szene wird auf eine in der Abbildungseinheit positionierte Sensoreinheit geleitet, welche als Bildgeber zur Erstellung eines 2D-Bildes der erfassten Szene ausgebildet ist.The environment captured by the stereo vision system is referred to below as a scene. This scene is imaged from different perspectives by at least two monocular imaging units. Each monocular imaging unit represents a separate unit and includes optics for capturing the scene. The section of the scene determined by the optics is directed to a sensor unit positioned in the imaging unit, which is designed as an imager for creating a 2D image of the captured scene.
In einer bevorzugten Ausführungsform ist jede der zwei monokularen Abbildungseinheiten zur Aufnahme von 2D-Bildern der gleichen Szene mit einer Bildverarbeitungseinheit zur Ausgabe eines aus den überlagerten 2D-Bildern der zwei monokularen Abbildungseinheiten abgeleiteten 3D-Darstellung der Szene verbunden und die Bildverarbeitungseinheit ist zur Ableitung der Tiefendaten der beobachteten Szene aus den überlagerten 2D-Bildern ausgebildet. Zur Überlagerung der Bilder der zwei monokularen Abbildungseinheiten werden die elektrischen als Bildsequenzen ausgeprägten Ausgangssignale beider Abbildungseinheiten zu einer Sequenz zusammengefasst. Diese Sequenz wird der Bildverarbeitungseinheit zugeführt. In dieser erfolgt eine Kalibrierung, um radiometrische Ungleichheiten auf Grund unterschiedlicher Lichtempfindlichkeiten der beiden Abbildungseinheiten zu korrigieren. D.h. hier erfolgt eine Anpassung beispielsweise des Datenformats (z.B. auf 8-bit -Grauwerte), der Helligkeit und des Kontrastes. Aus der kalibrierten Sequenz aufeinander folgender Bilder wird dann eine 3D-Darstellung in Form einer 3D-Punktwolke gewonnen.In a preferred embodiment, each of the two monocular imaging units for recording 2D images of the same scene is connected to an image processing unit for outputting a 3D representation of the scene derived from the superimposed 2D images of the two monocular imaging units, and the image processing unit is for deriving the depth data of the observed scene from the superimposed 2D images. To superimpose the images from the two monocular imaging units, the electrical output signals of both imaging units, which are expressed as image sequences, are combined into a sequence. This sequence is fed to the image processing unit. This involves calibration in order to correct radiometric inequalities due to different light sensitivities of the two imaging units. This means that the data format (e.g. to 8-bit gray values), the brightness and the contrast are adapted. A 3D representation in the form of a 3D point cloud is then obtained from the calibrated sequence of successive images.
In einer bevorzugten Ausführungsform ist die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche erste monokulare Abbildungseinheit als Infrarotkamera ausgebildet, die mit einer Rekonstruktionseinheit der Bildverarbeitungseinheit verbunden ist, die ausgebildet ist, aus den bei einer Bewegung der Infrarotkamera zeitversetzt erzeugten Bildern Informationen für die 3D-Darstellung abzuleiten. Die Bildverarbeitungseinheit wird durch einen Prozessor gebildet, welcher photogrammetrische Entfernungsbildgebungsverfahren zur Abschätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen verwendet. Eines dieser Verfahren, das in der Rekonstruktionseinheit ausgeführt wird, ist als structure from motion (SFM) bekannt, welches die dreidimensionalen Strukturen mit lokalen Bewegungssignalen koppelt. Durch eine seitliche Bewegung der von der Infrarotkamera bereitgestellten Bilder um die aufzunehmende Szene herum, bewegen sich Objekte der Szene um diese je nach Abstand herum, was als Bewegungsparalaxe bezeichnet wird. Aus der Tiefe dieser Bewegungsparalaxe können Informationen verwendet werden, um eine genaue 3D-Darstellung der Szene zu generieren. Neben der Sammlung von Tiefeninformationen aus der Szene können gleichzeitig 3D- Informationen für eine zuverlässige Darstellung der 3D-Punktwolke ermittelt werden.In a preferred embodiment, the first monocular imaging unit, which is sensitive to radiation outside a visible spectrum, is designed as an infrared camera, which is connected to a reconstruction unit of the image processing unit, which is designed to derive information for the 3D representation from the images generated with a time delay when the infrared camera moves . The image processing unit is formed by a processor which uses photogrammetric distance imaging methods to estimate three-dimensional structures from two-dimensional image sequences. One of these methods, carried out in the reconstruction unit, is known as structure from motion (SFM), which couples the three-dimensional structures with local motion signals. Due to a lateral movement of the images provided by the infrared camera around the scene to be recorded, objects in the scene move around it depending on their distance, which is referred to as motion parallax. Information from the depth of this motion parallax can be used to generate an accurate 3D representation of the scene. In addition to collecting depth information from the scene, 3D information can also be determined for a reliable representation of the 3D point cloud.
In einer bevorzugten Ausführungsform umfasst die Bildverarbeitungseinheit eine Bildfusionseinheit für eine Stereoanalyse, die ausgebildet ist, die 2D-Bilder beider monokularen Abbildungseinheiten anzupassen und daraus Tiefendaten für verschiedene Raumpunkte der Szene zur Rekonstruktion der 3D-Darstellung der Szene zu ermitteln. Bei einer solchen Stereoanalyse werden die beiden beteiligten 2D-Bilder in eine Epipolargeometrie gebracht. Das bedeutet, dass die 2D-Bilder so entzerrt und angepasst werden, dass eine sichtbare Verschiebung im Bild durch unterschiedliche Blickwinkel nur entlang der horizontalen Linien in den Bildpaaren vorhanden ist. Die horizontale Verschiebung ist umgekehrt proportional zur Tiefe des zugeordneten Szenepunktes. Zur Erfassung von Stereo-Korrespondenzen können Standard-Algorithmen, wie Semi-Global Matching oder Dynamic Programming, angewandt werden.In a preferred embodiment, the image processing unit comprises an image fusion unit for stereo analysis, which is designed to adapt the 2D images of both monocular imaging units and to use them to determine depth data for different spatial points of the scene in order to reconstruct the 3D representation of the scene. In such a stereo analysis, the two 2D images involved are brought into an epipolar geometry. This means that the 2D images are rectified and adjusted so that a visible shift in the image due to different viewing angles is only present along the horizontal lines in the image pairs. The horizontal shift is inversely proportional to the depth of the assigned scene point. Standard algorithms such as semi-global matching or dynamic programming can be used to capture stereo correspondences.
In einer bevorzugten Ausführungsform ist die Bildfusionseinheit mit der Rekonstruktionseinheit zur Erzeugung einer 3D-Darstellung der Szene gekoppelt. Somit wird sichergestellt, dass nur die hinsichtlich der sichtbaren Verschiebung korrigierten 2D-Bilder der Rekonstruktionseinheit der 3D-Punktwolke zugeführt werden.In a preferred embodiment, the image fusion unit is coupled to the reconstruction unit to generate a 3D representation of the scene. This ensures that only the 2D images corrected for visible displacement are fed to the reconstruction unit of the 3D point cloud.
In einer bevorzugten Ausführungsform weisen die beiden monokularen Abbildungseinheiten unterschiedliche Abbildungseigenschaften auf. Trotz unterschiedlicher Abbildungseigenschaften der in unterschiedlichen Bereichen des Lichtspektrums arbeitenden Abbildungseinheiten bleibt die Stereofähigkeit erhalten.In a preferred embodiment, the two monocular imaging units have different imaging properties. Despite different imaging properties in different areas of the light spectrum The stereo capability of the imaging units working around is retained.
In einer bevorzugten Ausführungsform unterscheiden sich die monokularen Abbildungseinheiten in ihrer Brennweite, wobei die Stereoanalyse der 2D-Bilder der beiden monokularen Abbildungseinheiten im Sichtfeld der die größere Brennweite aufweisenden monokularen Abbildungseinheit erfolgt. Dies hat den Vorteil, dass das Sichtfeld der Abbildungseinheit mit der kleineren Brennweite in der Abbildungseinheit mit der größeren Brennweite bereits enthalten ist. Unter der Sichtweite der Abbildungseinheiten ist dabei das Field of View zu verstehen. Um die Abmessungen der Sichtweiten anzupassen, können Stichprobenbetrachtungen (Resampling) der Bilder durchgeführt werden.In a preferred embodiment, the monocular imaging units differ in their focal length, with the stereo analysis of the 2D images of the two monocular imaging units taking place in the field of view of the monocular imaging unit having the larger focal length. This has the advantage that the field of view of the imaging unit with the smaller focal length is already contained in the imaging unit with the larger focal length. The field of view is understood to be the field of view of the imaging units. In order to adjust the dimensions of the visibility, resampling of the images can be carried out.
In einer bevorzugten Ausführungsform unterscheiden sich die monokularen Abbildungseinheiten in ihren Auflösungen. Diese unterschiedlichen Auflösungen werden in der Stereoverarbeitung der Bildfusionseinheit kompensiert. Dies kann durch Anwendung eines Skalierfaktors auf mindestens ein Bild vor Beginn der Suche nach Stereokorrespondenzen in den 2D-Bildern, d.h. vor der Suche nach Entsprechungen zwischen Bildpunkten der beiden 2D-Bilder, erfolgen.In a preferred embodiment, the monocular imaging units differ in their resolutions. These different resolutions are compensated for in the stereo processing of the image fusion unit. This can be done by applying a scaling factor to at least one image before starting the search for stereo correspondences in the 2D images, i.e. before searching for correspondences between pixels of the two 2D images.
In einer bevorzugten Ausführungsform ist die zweite monokulare Abbildungseinheit als eine für Strahlung innerhalb des sichtbaren Spektrums empfindliche Kamera, vorzugsweise als RGB-Kamera, ausgebildet. Die Kombination von Abbildungseinheiten, die für verschiedene Spektralbereiche empfindlich sind, ermöglicht die Verwendung des Stereovisions-Systems bei Tag und Nacht bei gleichzeitiger Bereitstellung von Farbinformationen. Das Stereovisions-System kann tagsüber ein Vollfarbbild und bei Dunkelheit unter Verwendung der Infrarotkamera ein Graustufenbild liefern. Bei ausreichender Beleuchtung der zu beobachtenden Szene können unter Verwendung der RGB-Kamera auch bei Nacht Tiefeninformationen ermittelt werden.In a preferred embodiment, the second monocular imaging unit is designed as a camera that is sensitive to radiation within the visible spectrum, preferably as an RGB camera. The combination of imaging units that are sensitive to different spectral ranges allows the stereo vision system to be used day and night while providing color information. The stereo vision system can provide a full color image during the day and a grayscale image using the infrared camera in the dark. If the scene to be observed is sufficiently illuminated, depth information can be determined using the RGB camera even at night.
In einer bevorzugten Ausführungsform ist die zweite monokulare Abbildungseinheit als eine für Strahlung außerhalb des sichtbaren Spektrums empfindliche Abbildungseinheit, vorzugsweise als Infrarotkamera, ausgebildet. Die Verwendung zweier für Strahlung im nichtsichtbaren Spektrum empfindliche Infrarotkameras erlauben eine Grauzonendarstellung der Szene über einen weiten, den sichtbaren Bereich umfassenden Spektralbereich hinaus und sind somit bei Tag und Nacht einsetzbar.In a preferred embodiment, the second monocular imaging unit is designed as an imaging unit that is sensitive to radiation outside the visible spectrum, preferably as an infrared camera. The use of two infrared cameras that are sensitive to radiation in the non-visible spectrum allows a gray zone representation of the scene over a wide spectral range that includes the visible range and can therefore be used day and night.
Neben Brennweite oder Auflösung können auch noch andere Abbildungseigenschaften variiert werden, wie beispielsweise die Farbempfindlichkeit der Abbildungseinheiten. Um einen Abgleich zwischen zwei 2D-Bildern zu ermöglichen, die mit unterschiedlichen Farbfiltern aufgenommen wurden, können beide 2D-Bilder in denselben Farbraum gebracht werden.In addition to focal length or resolution, other imaging properties can also be varied, such as the color sensitivity of the imaging units. To enable a comparison between two 2D images captured with different color filters, both 2D images can be brought into the same color space.
Die hier in Bezug auf das Stereovisions-System beschriebenen Aspekte treffen gleichermaßen auf das offenbarte Fahrerassistenzsystem zu, welches innerhalb des Fahrzeuges aus Hardware und Software besteht. Die Hardware umfasst insbesondere digitale Signalprozessoren, anwendungsspezifische integrierte Schaltkreise, Field Programmable Gate Arrays sowie weitere geeignete Schalt- und Rechenkomponenten.The aspects described here in relation to the stereo vision system apply equally to the disclosed driver assistance system, which consists of hardware and software within the vehicle. The hardware includes in particular digital signal processors, application-specific integrated circuits, field programmable gate arrays and other suitable switching and computing components.
Die Aufgabe wird auch gelöst durch ein Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen, bei welchem aus 2D-Darstellungen zweier eine Szene beobachtenden monokularen Abbildungseinheiten durch Ableitung von Tiefendaten eine 3D-Darstellung der Szene rekonstruiert wird, wobei mindestens eine monokulare Abbildungseinheit für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist. Diese Kombination ermöglicht eine Stereoverarbeitung, d.h. das Sammeln von Tiefeninformationen über die beobachtete Szene. Gleichzeitig werden die Betriebsbedingungen verbessert, indem die Abbildungseinheiten für ein breites Band von Beleuchtungsbedingungen empfänglicher gemacht werden. Dadurch erhöht sich die Anzahl der Anwendungen des Stereovisions-Systems zur Rekonstruktion einer 3D-Szene.The task is also solved by a method for generating a stereo vision from two 2D representations, in which a 3D representation of the scene is reconstructed from 2D representations of two monocular imaging units observing a scene by deriving depth data, with at least one monocular imaging unit for radiation is sensitive outside a visible spectrum. This combination enables stereo processing, i.e. collecting depth information about the observed scene. At the same time, operating conditions are improved by making the imaging units more receptive to a wide range of lighting conditions. This increases the number of applications of the stereo vision system to reconstruct a 3D scene.
In einer bevorzugten Ausführungsform wird die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche monokulare Abbildungseinheit parallel zur Szene bewegt und die 3D-Darstellung der beobachteten Szene aus mehreren, zeitversetzt erzeugten 2D-Bildern abgeleitet. Dazu werden photogrammetrische Entfernungsbildgebungsverfahren zur Abschätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen genutzt. Neben der Sammlung von Tiefeninformationen aus der Szene können somit gleichzeitig 3D-Informationen für eine zuverlässige Darstellung einer 3D-Punktwolke ermittelt werden.In a preferred embodiment, the monocular imaging unit, which is sensitive to radiation outside a visible spectrum, is moved parallel to the scene and the 3D representation of the observed scene is derived from several 2D images generated with a time delay. For this purpose, photogrammetric distance imaging methods are used to estimate three-dimensional structures from two-dimensional image sequences. In addition to collecting depth information from the scene, 3D information can also be determined for a reliable representation of a 3D point cloud.
In einer bevorzugten Ausführungsform werden die 2D-Bilder beider monokularen Abbildungseinheiten angepasst und daraus Tiefendaten für die verschiedenen Raumpunkte der Szene zur Rekonstruktion der 3D-Darstellung der Szene ermittelt. Bei einer Stereoanalyse werden die beiden beteiligten 2D-Bilder in eine Epipolargeometrie gebracht, was eine geometrische Kalibrierung darstellt. Das bedeutet, dass die 2D-Bilder so entzerrt und angepasst werden, dass eine sichtbare Verschiebung im Bild durch unterschiedliche Blickwinkel nur entlang der horizontalen Linien in den 2D-Bildpaaren vorhanden ist. Die sichtbare Verschiebung wird auch als Disparität bezeichnet. Diese Disparität ist indirekt proportional zur Tiefe des zugeordneten Punktes der 3D-Darstellung.In a preferred embodiment, the 2D images of both monocular imaging units are adjusted and depth data for the various spatial points of the scene are determined from them to reconstruct the 3D representation of the scene. In a stereo analysis, the two 2D images involved are brought into an epipolar geometry, which represents a geometric calibration. This means that the 2D images are rectified and adjusted so that a visible shift in the image due to different viewing angles is only present along the horizontal lines in the 2D image pairs. The visible displacement is also called called disparity. This disparity is indirectly proportional to the depth of the associated point of the 3D representation.
Weitere Merkmale, Vorteile und Eigenschaften der Erfindung werden anhand der Beschreibung bevorzugter Ausführungen der Erfindung unter Verweis auf die Figuren erklärt, die zeigen:
-
1 : eine schematische Darstellung eines ersten Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems, -
2 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems, -
3 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems, -
4 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems, -
5 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems, -
6 eine schematische Darstellung eines Ausführungsbeispiels zur monokularen Bildverarbeitung mit einer Infrarot-Kamera, -
7 eine schematische Darstellung des erfindungsgemäßen Fahrerassistenzsystems.
-
1 : a schematic representation of a first exemplary embodiment of the stereo vision system according to the invention, -
2 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention, -
3 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention, -
4 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention, -
5 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention, -
6 a schematic representation of an exemplary embodiment for monocular image processing with an infrared camera, -
7 a schematic representation of the driver assistance system according to the invention.
Ein erstes Ausführungsbeispiel eines erfindungsgemäßen Stereovisions-Systems 1 ist in
Die RGB-Kamera 2 und die Infrarot-Kamera 3 sind mit einem Abstand in eine Richtung positioniert, die orthogonal zu den Ziellinienvektoren 17 der beiden Kameras 2, 3 verläuft, der auch als Basislinie BL bezeichnet wird. Voraussetzung dabei ist, dass die Ziellinienvektoren 17 der beiden Kameras 2, 3 parallel zueinander ausgerichtet sind. Die Basislinie BL und die Kollinearitätstoleranz der Ziellinienvektoren 17 der beiden Kameras 2, 3 wirken sich auf die dreidimensionale Genauigkeit aus.The
In der Bildfusionseinheit 12 werden, wie in
Weisen die Kameras 2, 3 unterschiedliche Brennweiten BW auf, müssen in einem Zwischenverarbeitungsschritt, die sich überlagernden Bildausschnitte so fokussiert werden, dass diese den gleichen Brennweiten BW entsprechen.If the cameras have 2, 3 different focal lengths BW, the overlapping image sections must be focused in an intermediate processing step so that they correspond to the same focal lengths BW.
Analog zu dieser Beschreibung werden weitere Punkte P7n des Bildes 7 der RGB-Kamera 2 mit den Punkten P8n des Bildes 8 der Infrarotkamera 3 miteinander verglichen, um die Tiefe TPSn des jeweiligen Punktes PSn der Szene 6 zu ermitteln.
Aus der Vielzahl der so ermittelten Tiefeninformationen der einzelnen Szenepunkte PS1 ... PSn wird die 3D-Punktdarstellung 16 der Szene 6 von der Bildverarbeitungseinheit 12 ausgegeben.The
Auch die Rekonstruktionseinheit 14 ist in der als Recheneinheit ausgebildeten Bildverarbeitungseinheit 12 enthalten. In der Rekonstruktionseinheit 14 ist der „Structure from Motion“- Algorithmus zur Bestimmung einer weiteren Tiefeninformation abgelegt. Bei diesem Algorithmus handelt es sich um ein photogrammetrisches Auswerteverfahren zur Abschätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen, die mit lokalen Bewegungssignalen gekoppelt werden. Dabei wird die Infrarot-Kamera 2 zur Aufnahme desselben Bildes parallel zur zu erfassenden Szene 6 bewegt, wodurch zeitversetzte Bilder entstehen, aus denen 3D-Informationen gewonnen werden. Um eine Korrespondenz zwischen den zweidimensionalen Bildern zu finden, werden ausgewählte Punkte von einem Bild zum nächsten verfolgt. Diese Punkt-Trajektorien im Laufe der Zeit werden verwendet, um die 3D-Positionen der Punkte und die Bewegung der Kamera zu rekonstruieren, wodurch die 3D-Punktdarstellung 16 der Szene 6 als Punktwolke ermittelt wird.The
Eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems 18 ist in
Auch in diesem Fall werden das Ausgangssignal 20 der Infrarot-Kamera 19 und das Ausgangssignal 10 der Infrarot-Kamera 3 zusammengefasst und bilden eine binokulare Infrarot-Bildsequenz 21, welche als Eingangssignal der Bildverarbeitungseinheit 12 zugeführt wird. Die Bildverarbeitungseinheit 12 umfasst wiederum die Bildfusionseinheit 13 und die Rekonstruktionseinheit 14 mittels denen in der oben beschriebenen Art und Weise aus den Punktvergleichen des Bildes 22 der zweiten Infrarot-Kamera 19 und des Bildes 8 der ersten Infrarot-Kamera 3 Tiefeninformationen für die 3D-Punktdarstellung 16 ermittelt und ausgegeben werden.In this case too, the
Eine zu
In
Aus dieser Anordnung können zwei Paare von Stereokameras 28, 29, 28, 30 aufgebaut werden, d.h. die RGB-Kamera 28 kann mit jeweils einer Infrarot-Kamera 29, 30 ein Stereokamerapaar bilden. Die Ausgangssignale der RGB-Kamera 28 und jeweils einer Infrarot-Kamera 29 oder 30 werden jeweils zu einer Stereo- Infrarot- und RGB-Bild-Sequenz 34, 35 zusammengefasst. Somit bilden zwei Stereo- Infrarot- und RGB-Bild-Sequenzen 34, 35 die Eingangssignale der Bildverarbeitungseinheit 12. Demgegenüber können die RGB-Kamera 28 und die beiden Infrarot-Kameras 29, 30 zusammen verwendet werden, um Eingaben für den Algorithmus „Structure from Motion“ bereitzustellen. In diesem Fall wird als Eingangssignal der Bildverarbeitungseinheit 12 eine Sequenz aus Ausgangssignalen der RGB-Kamera 28 und den beiden Infrarot-Kameras 29, 30 gebildet, um daraus eine Schätzung der 3D-Punkt-Darstellung 16 vorzunehmen.From this arrangement, two pairs of
Neben der Stereoverarbeitung kann eine einzelne Infrarot-Kamera 36 auch zur monokularen Bildverarbeitung verwendet werden, um Tiefeninformationen mit dem „Structure from Motion“- Algorithmus abzuleiten. Dies wird in
Die Anwendungsfälle, die im Zusammenhang mit
Ein erfindungsgemäßes Fahrerassistenzsystem 38, wie es in
Der Übersichtlichkeit halber wird im Weiteren nur auf das Stereovisionssystem 1 Bezug genommen. Die weitere Beschreibung trifft aber auch auf die anderen Stereovisions-Systeme zu. Das Stereovisionssystem 1 erfasst Umfelddaten des Fahrzeuges 40. Diese Umfelddaten können Bilder von Objekten, Objektpositionen, Objektkanten, Objektabständen u.ä. sein. Als Objekte werden sowohl statische verkehrsrelevante Bestandteile des Straßenverkehrs wie Fahrbahnmarkierungen, Verkehrszeichen oder Fahrbahnoberflächen als auch bewegliche, wie Personen und andere betrachtet.For the sake of clarity, reference will only be made to the
Im vorliegenden Fall ist das Fahrerassistenzsystem 38 beispielsweise als Verkehrszeichenerkennungssystem ausgebildet, wobei das Stereovisionssystem 1 ein Verkehrsschild 41 in seiner Umgebung aufnimmt. Aufgrund zeitweiser Verdeckung von Verkehrszeichen, z. B. durch andere Verkehrsteilnehmer oder Pflanzenwuchs, kann es zur Schlecht- oder Nichterkennung von Verkehrszeichen durch eine Kamera kommen. Dabei werden die beschriebenen Bildverarbeitungsverfahren des Stereovisions-Systems 1 genutzt, um das detektierte Verkehrszeichen 41 näher in seinem Umfeld zu lokalisieren. Das Steuergerät 39 umfasst eine Vergleichseinheit 42 zum Vergleich des extrahierten Verkehrszeichens 41 mit in einem Speicher 43 abgespeicherten Referenz-Verkehrszeichen. In Abhängigkeit von diesem Vergleich wird für eine Anzeigelogik 44 ein Assistenzsteuersignals zur Ausgabe oder Nichtausgabe des Verkehrszeichens 41 auf einer Anzeigeeinheit 45 des Fahrzeuges 40 erzeugt.In the present case, the driver assistance system 38 is designed, for example, as a traffic sign recognition system, with the
BezugszeichenReference symbols
- 11
- Stereovisions-SystemStereo vision system
- 22
- RGB-KameraRGB camera
- 33
- Infrarot-KameraInfrared camera
- 44
- KamerasichtfeldCamera field of view
- 55
- KamerasichtfeldCamera field of view
- 66
- aufzunehmende Szenescene to be recorded
- 77
- BildPicture
- 88th
- BildPicture
- 99
- Ausgangssignal der RGB-KameraRGB camera output signal
- 1010
- Ausgangssignal der Infrarot-KameraInfrared camera output signal
- 1111
- binokulare Bildsequenzbinocular image sequence
- 1212
- BildverarbeitungseinheitImage processing unit
- 1313
- BildfusionseinheitImage fusion unit
- 1414
- RekonstruktionseinheitReconstruction unit
- 1515
- Ausgangssignal der BildverarbeitungseinheitOutput signal of the image processing unit
- 1616
- 3D-Punktwolke3D point cloud
- 1717
- ZiellinienvektorFinish line vector
- 1818
- Stereovisions-SystemStereo vision system
- 1919
- Infrarot-KameraInfrared camera
- 2020
- Ausgangssignal der Infrarot-KameraInfrared camera output signal
- 2121
- binokulare Infrarot-Bildsequenzbinocular infrared image sequence
- 2222
- Bild der Infrarot-KameraImage from the infrared camera
- 2323
- Stereovisions-SystemStereo vision system
- 2424
- Stereo-Infrarot-RGB-BildsequenzStereo infrared RGB image sequence
- 2525
- Stereovisions-SystemStereo vision system
- 2626
- Stereo-Infrarot-BildsequenzStereo infrared image sequence
- 2727
- Stereovisions-SystemStereo vision system
- 2828
- RGB-KameraRGB camera
- 2929
- Infrarot-KameraInfrared camera
- 3030
- Infrarot-KameraInfrared camera
- 3131
- Sichtfeld Infrarot-KameraField of view infrared camera
- 3232
- Sichtfeld RGB-KameraField of view RGB camera
- 3333
- Sichtfeld Infrarot-KameraField of view infrared camera
- 3434
- Stereo- und RGB-BildsequenzStereo and RGB image sequence
- 3535
- Stereo- und RGB-BildsequenzStereo and RGB image sequence
- 3636
- Infrarot-KameraInfrared camera
- 3737
- monokulare Infrarot-Bildsequenzmonocular infrared image sequence
- 3838
- FahrerassistenzsystemDriver assistance system
- 3939
- SteuergerätControl unit
- 4040
- Fahrzeugvehicle
- 4141
- VerkehrsschildTraffic sign
- 4242
- VergleichseinheitComparison unit
- 4343
- SpeicherStorage
- 4444
- AnzeigelogikDisplay logic
- 4545
- AnzeigeeinheitDisplay unit
- BLBL
- BasislinieBaseline
- BWBW
- Brennweitefocal length
- D1D1
- DisparitätDisparity
- D2D2
- DisparitätDisparity
- TPSTPS
- TiefendatenDepth data
- PSP.S
- SzenepunktScene point
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- WO 2015157410 A1 [0002]WO 2015157410 A1 [0002]
- US 20200177935 A1 [0003]US 20200177935 A1 [0003]
- US 20160071279 A1 [0004]US 20160071279 A1 [0004]
- EP 3723364 A1 [0005]EP 3723364 A1 [0005]
- EP 3659002 B1 [0006]EP 3659002 B1 [0006]
- EP 3477540 A1 [0007]EP 3477540 A1 [0007]
- EP 2353298 B1 [0008]EP 2353298 B1 [0008]
Claims (24)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022123295.6A DE102022123295A1 (en) | 2022-09-13 | 2022-09-13 | Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022123295.6A DE102022123295A1 (en) | 2022-09-13 | 2022-09-13 | Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022123295A1 true DE102022123295A1 (en) | 2024-03-14 |
Family
ID=90054900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022123295.6A Pending DE102022123295A1 (en) | 2022-09-13 | 2022-09-13 | Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022123295A1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015157410A1 (en) | 2014-04-08 | 2015-10-15 | Tk Holdings Inc. | System and method for night vision object detection and driver assistance |
US20160071279A1 (en) | 2014-09-08 | 2016-03-10 | Intel Corporation | Disparity determination for images from an array of disparate image sensors |
EP2353298B1 (en) | 2008-11-07 | 2019-04-03 | Telecom Italia S.p.A. | Method and system for producing multi-view 3d visual contents |
EP3477540A1 (en) | 2017-10-27 | 2019-05-01 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking object |
US20200177935A1 (en) | 2017-08-22 | 2020-06-04 | Kabushiki Kaisha Toshiba | Smart camera, image processing apparatus, and data communication method |
EP3723364A1 (en) | 2017-12-04 | 2020-10-14 | Sony Corporation | Image processing device and image processing method |
EP3659002B1 (en) | 2017-08-23 | 2021-06-02 | Uatc, Llc | Vehicle interface for autonomous vehicle |
-
2022
- 2022-09-13 DE DE102022123295.6A patent/DE102022123295A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2353298B1 (en) | 2008-11-07 | 2019-04-03 | Telecom Italia S.p.A. | Method and system for producing multi-view 3d visual contents |
WO2015157410A1 (en) | 2014-04-08 | 2015-10-15 | Tk Holdings Inc. | System and method for night vision object detection and driver assistance |
US20160071279A1 (en) | 2014-09-08 | 2016-03-10 | Intel Corporation | Disparity determination for images from an array of disparate image sensors |
US20200177935A1 (en) | 2017-08-22 | 2020-06-04 | Kabushiki Kaisha Toshiba | Smart camera, image processing apparatus, and data communication method |
EP3659002B1 (en) | 2017-08-23 | 2021-06-02 | Uatc, Llc | Vehicle interface for autonomous vehicle |
EP3477540A1 (en) | 2017-10-27 | 2019-05-01 | Samsung Electronics Co., Ltd. | Method and apparatus for tracking object |
EP3723364A1 (en) | 2017-12-04 | 2020-10-14 | Sony Corporation | Image processing device and image processing method |
Non-Patent Citations (2)
Title |
---|
HAJEBI, Kiana; ZELEK, John S. Structure from infrared stereo images. In: 2008 Canadian Conference on Computer and Robot Vision. IEEE, 2008. S. 105-112. |
MA, Yong, et al. Visible/infrared combined 3D reconstruction scheme based on nonrigid registration of multi-modality images with mixed features. IEEE Access, 2019, 7. Jg., S. 19199-19211. |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69624614T2 (en) | Stereo matching and inequality measurement method | |
EP1589484B1 (en) | Method for detecting and/or tracking objects | |
DE112017007579T5 (en) | Process and system for automatic coloring of night vision images | |
DE102009012441B4 (en) | Method for reducing the memory requirement when determining disparity values for at least two stereoscopically recorded images | |
WO2002103385A1 (en) | Method for preparing image information | |
DE112018000107T5 (en) | Vehicle camera calibration apparatus and method | |
DE102016206493A1 (en) | Method and camera system for determining the distance of objects to a vehicle | |
DE102009048699A1 (en) | Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface | |
DE102020129096A1 (en) | GENERATION OF THREE-DIMENSIONAL POINT CLOUDS USING A POLARIMETRIC CAMERA IN A VEHICLE EQUIPPED WITH A DRIVING ASSISTANT SYSTEM | |
DE102016208056A1 (en) | Method and device for processing image data and driver assistance system for a vehicle | |
DE102013205854B4 (en) | Method for detecting a free path using temporary coherence | |
EP1460454B1 (en) | Method for combined processing of high resolution images and video images | |
DE102007013664A1 (en) | Tool e.g. blade, measuring and/or adjusting device, has rolling nut designed as roller ring transmission comprising set of roller-supported roller rings with variable upward gradient | |
DE202016007867U1 (en) | Control the line of sight angle of an image processing platform | |
DE102021124986A1 (en) | IMAGE COLORING FOR VEHICLE CAMERA IMAGES | |
DE102018100909A1 (en) | Method of reconstructing images of a scene taken by a multifocal camera system | |
DE112017007695T5 (en) | FACETE EYE IMAGING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND RECORDING MEDIUM | |
DE112016000689T5 (en) | Kameraparametereinstellvorrichtung | |
DE102012000459A1 (en) | Method for detecting object e.g. vehicle in surrounding area, involves transforming segments with classification surfaces into two-dimensional representation of environment, and searching and classifying segments in representation | |
DE112014006493T5 (en) | Determine a scale of three-dimensional information | |
DE102019209473A1 (en) | Method and device for the rapid detection of repetitive structures in the image of a street scene | |
DE102022123295A1 (en) | Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations | |
DE102014206677A1 (en) | Camera system and method for detecting an environment of a vehicle | |
DE102016212730A1 (en) | Vehicle camera device with image evaluation electronics | |
DE102019102423A1 (en) | Method for live annotation of sensor data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |