DE102022123295A1 - Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations - Google Patents

Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations Download PDF

Info

Publication number
DE102022123295A1
DE102022123295A1 DE102022123295.6A DE102022123295A DE102022123295A1 DE 102022123295 A1 DE102022123295 A1 DE 102022123295A1 DE 102022123295 A DE102022123295 A DE 102022123295A DE 102022123295 A1 DE102022123295 A1 DE 102022123295A1
Authority
DE
Germany
Prior art keywords
scene
monocular imaging
unit
stereo vision
imaging units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022123295.6A
Other languages
German (de)
Inventor
Guillermo BERTOLINA
Tobias Klinger
Rodrigo Magalhaes Pereira
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF CV Systems Global GmbH
Original Assignee
ZF CV Systems Global GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF CV Systems Global GmbH filed Critical ZF CV Systems Global GmbH
Priority to DE102022123295.6A priority Critical patent/DE102022123295A1/en
Publication of DE102022123295A1 publication Critical patent/DE102022123295A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0077Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Stereovisions-System, welches ausgebildet ist, aus 2D-Darstellungen (7, 8) zweier eine Szene (6) beobachtenden monokularen Abbildungseinheiten (2, 3) durch Ableitung von Tiefendaten (TPS) eine 3D-Darstellung (16) der Szene (6) zu rekonstruieren, wobei mindestens eine monokulare Abbildungseinheit (3) für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist.The invention relates to a stereo vision system which is designed to create a 3D representation (16) from 2D representations (7, 8) of two monocular imaging units (2, 3) observing a scene (6) by deriving depth data (TPS). To reconstruct scene (6), at least one monocular imaging unit (3) being sensitive to radiation outside a visible spectrum.

Description

Die Erfindung betrifft ein Stereovisions-System, welches ausgebildet ist, aus Signalen mindestens zweier eine Szene beobachtenden monokularen Abbildungseinheiten eine Darstellung der Szene aus den überlagerten Signalen auszugeben, ein Fahrerassistenzsystem, umfassend das Stereovisions-System, sowie ein Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen.The invention relates to a stereo vision system which is designed to output a representation of the scene from the superimposed signals from signals from at least two monocular imaging units observing a scene, a driver assistance system comprising the stereo vision system, and a method for generating a stereo vision from two 2D -Representations.

Die WO 2015/157410 A1 offenbart ein System und ein Verfahren zur Nachtvisionsobjektdetektion und eine Fahrerassistenz, bei welchen ein Stereovisionssystem zwei Kamerasensoren enthält, die beide gegenüber Infrarotstrahlung empfindlich sind und Bilder einer Szene aufnehmen. Die Kamerasensoren sind mit einem Prozessor verbunden, welcher eine Stereoabstimmung auf der Grundlage der von beiden Kamerasensoren abgegebenen Signalen konfiguriert.The WO 2015/157410 A1 discloses a system and method for night vision object detection and driver assistance in which a stereo vision system contains two camera sensors, both of which are sensitive to infrared radiation and capture images of a scene. The camera sensors are connected to a processor that configures stereo tuning based on the signals emitted by both camera sensors.

Aus der US 2020/0177935 A1 ist eine Multispektralkamera bekannt, die in einem Gehäuse mehrere Kamerasensoren umfasst, wobei jeder Kamerasensor für einen anderen Spektralbereich des Lichtes empfindlich ist.From the US 2020/0177935 A1 a multispectral camera is known which includes several camera sensors in a housing, each camera sensor being sensitive to a different spectral range of light.

Gemäß der US 2016/0071279 A1 ist es bekannt, Ungleichheiten von Bildern, die von mehreren Kameras aufgenommen wurden, auszugleichen. Ein Hybridkamera-Array weist mehrere Kamerasensoren auf, die verschiedene Auflösungen und Farbcharakteristiken aufweisen. Um die Differenzen auszugleichen, wird das Bild eines Kamerasensors mit dem Bild eines Referenzkamerasensors verglichen.According to the US 2016/0071279 A1 It is known to compensate for inequalities in images taken by multiple cameras. A hybrid camera array has multiple camera sensors that have different resolutions and color characteristics. To compensate for the differences, the image from a camera sensor is compared with the image from a reference camera sensor.

Die EP 3 723 364 A1 zeigt eine Bildverarbeitungseinheit und eine Methode zur Bildverarbeitung, bei welchen eine Hybridkamera verwendet wird, die eine für sichtbares Licht empfindliche Kamera und eine für Infrarotlicht empfindliche Kamera umfasst, die abwechselnd zur Aufnahme eines Bildes einer Szene genutzt werden, abhängig davon, ob es Tag oder Nacht oder hell oder dunkel ist.The EP 3 723 364 A1 shows an image processing unit and a method for image processing using a hybrid camera comprising a visible light-sensitive camera and an infrared light-sensitive camera, which are alternately used to capture an image of a scene depending on whether it is day or night or is light or dark.

In der EP 3 659 002 B1 ist eine Fahrzeugschnittstelle für ein autonomes Fahrzeug dargestellt, bei welchen die Umgebung des Fahrzeuges zur weiteren Auswertung mit Kameras aufgenommen wird.In the EP 3 659 002 B1 A vehicle interface for an autonomous vehicle is shown, in which the surroundings of the vehicle are recorded with cameras for further evaluation.

Aus der EP 3 477 540 A1 sind ein Verfahren und eine Vorrichtung zur Verfolgung eines Objektes bekannt, bei welchen das Objekt mit einer Kamera, die für sichtbares oder Infrarotlicht empfindlich ist, verfolgt wird. Diese Kameras können in einer Hybridkamera zusammengefasst sein. Die Kamera kann auch als Hybrid-Stereokamera ausgebildet sein.From the EP 3 477 540 A1 a method and a device for tracking an object are known, in which the object is tracked with a camera that is sensitive to visible or infrared light. These cameras can be combined into a hybrid camera. The camera can also be designed as a hybrid stereo camera.

Gemäß der EP 2 353 298 B1 sind ein Verfahren und ein System zum Erzeugen von visuellen Mehransicht-3D-Inhalten bekannt, bei welchen bidimensionale Bilder einer Scene aus mindestens zwei Ansichten erzeugt und ausgewertet werden.According to the EP 2 353 298 B1 a method and a system for generating visual multi-view 3D content are known, in which bidimensional images of a scene are generated and evaluated from at least two views.

Die beschriebenen Hybridstereo-Kameras umfassen zwei gleichartige Abbildungseinheiten, d.h. beide sind RGB-Bildgeber oder beide Graustufen-Bildgeber und beide mit oder ohne Filter für das Infrarotlicht.The hybrid stereo cameras described include two similar imaging units, i.e. both are RGB imagers or both grayscale imagers and both with or without filters for infrared light.

Es ist Aufgabe der Erfindung, die Nachteile des Standes der Technik zu überwinden und ein Stereovisions-System anzugeben, das in möglichst vielen Anwendungen zur Wiedergabe einer 3D-Szene genutzt werden kann.It is the object of the invention to overcome the disadvantages of the prior art and to provide a stereo vision system that can be used in as many applications as possible to reproduce a 3D scene.

Diese Aufgabe wird durch das Stereovisions-System nach Anspruch 1 gelöst. Danach umfasst ein Stereovisions-System, welches ausgebildet ist, aus 2D-Darstellungen zweier eine Szene beobachtenden monokularen Abbildungseinheiten durch Ableitung von Tiefendaten eine 3D-Darstellung der Szene zu rekonstruieren, mindestens eine monokulare Abbildungseinheit, die für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist. Dadurch können verschiedene, hinsichtlich ihrer Spektralempfindlichkeit unterschiedlich empfindliche Arten von Abbildungseinheiten kombiniert werden. Zu diesen Abbildungseinheiten gehören Wärmebildkameras genauso wie Radar- oder Lidarsysteme. Diese Kombination ermöglicht auch weiterhin eine Stereoverarbeitung. Gleichzeitig werden die Betriebsbedingungen des Systems verbessert, indem die Kameras für ein breites Band von Beleuchtungsbedingungen empfänglicher gemacht werden. Dadurch erhöht sich die Anzahl der Anwendungen des Stereovisions-Systems zur Wiedergabe einer 3D-Szene. Aus der Vermeidung der Verwendung von zwei gleichartigen Abbildungseinheiten, wie zwei RGB- oder zwei Infrarot-Abbildungseinheiten, resultiert weniger Redundanz in der erforderlichen Stereokonfiguration.This task is solved by the stereo vision system according to claim 1. Thereafter, a stereo vision system, which is designed to reconstruct a 3D representation of the scene from 2D representations of two monocular imaging units observing a scene by deriving depth data, comprises at least one monocular imaging unit that is sensitive to radiation outside a visible spectrum. This makes it possible to combine different types of imaging units with different sensitivity in terms of their spectral sensitivity. These imaging units include thermal imaging cameras as well as radar or lidar systems. This combination continues to enable stereo processing. At the same time, the operating conditions of the system are improved by making the cameras more sensitive to a wide range of lighting conditions. This increases the number of uses of the stereo vision system to display a 3D scene. Avoiding the use of two similar imaging units, such as two RGB or two infrared imaging units, results in less redundancy in the required stereo configuration.

Die Aufgabe wird auch gelöst durch ein Fahrerassistenzsystem für ein Fahrzeug, umfassend ein Stereovisions-Kamerasystem, welches ausgebildet ist, aus 2D-Darstellungen zweier eine Szene beobachtenden monokularen Abbildungseinheiten durch Ableitung von Tiefendaten eine 3D-Darstellung der Szene zu rekonstruieren, wobei mindestens eine monokulare Abbildungseinheit für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist. Fahrerassistenzsysteme erfassen mittels des Stereovisions-Kamerasystems ein Umfeld des Fahrzeuges, um den Fahrer des Fahrzeuges bei dessen Fahrzeugkontrollaufgaben zu unterstützen oder diese zu mindestens teilweise zu übernehmen. Je detaillierter das Fahrzeugumfeld mittels des Stereovisions-Systems dargestellt werden kann, desto genauer werden Umfelddaten ermittelt und umso zuverlässiger bzw. fehlerfreier arbeitet das Fahrerassistenzsystem in möglichst vielen Verkehrssituationen. Dabei steuert das Fahrerassistenzsystem Komponenten des Fahrzeuges an, um die Assistenzfunktion, wie eine Verkehrszeichenerkennung oder eine automatisierte, umfeldbasierte Fahrwerksanpassung, bereitzustellen. Dadurch können Gefahrensituationen im Straßenverkehr weitgehend unterbunden werden. Basierend auf den Umfelddaten wird ein Assistenzfunktionssteuersignal ermittelt, wobei ein Steuergerät auf den jeweils vorbestimmten Funktionszusammenhang zugreift. Dieser Funktionszusammenhang umfasst wenigstens eine Rechenregel, die einen deterministischen Zusammenhang zwischen den Umfelddaten und dem Assistenzsteuersignal und der zu erzielenden Assistenzfunktion herstellt.The task is also solved by a driver assistance system for a vehicle, comprising a stereo vision camera system, which is designed to reconstruct a 3D representation of the scene from 2D representations of two monocular imaging units observing a scene by deriving depth data, with at least one monocular imaging unit is sensitive to radiation outside a visible spectrum. Driver assistance systems use the stereo vision camera system to record the surroundings of the vehicle in order to support the driver of the vehicle in his vehicle control tasks or to at least partially take over these. The more detailed the vehicle surroundings are using the stereo vision system can be displayed, the more precisely environmental data is determined and the more reliably and error-free the driver assistance system works in as many traffic situations as possible. The driver assistance system controls components of the vehicle in order to provide the assistance function, such as traffic sign recognition or automated, environment-based chassis adjustment. This means that dangerous situations in road traffic can be largely prevented. Based on the environmental data, an assistance function control signal is determined, with a control device accessing the respective predetermined functional context. This functional relationship includes at least one calculation rule that establishes a deterministic relationship between the environmental data and the assistance control signal and the assistance function to be achieved.

Das von dem Stereovisions-System erfasste Umfeld wird im weiteren als Szene bezeichnet. Diese Szene wird von mindestens zwei monokularen Abbildungseinheiten aus unterschiedlicher Sicht abgebildet. Jede monokulare Abbildungseinheit stellt eine separate Einheit dar und umfasst eine Optik zur Erfassung der Szene. Der durch die Optik bestimmte Ausschnitt der Szene wird auf eine in der Abbildungseinheit positionierte Sensoreinheit geleitet, welche als Bildgeber zur Erstellung eines 2D-Bildes der erfassten Szene ausgebildet ist.The environment captured by the stereo vision system is referred to below as a scene. This scene is imaged from different perspectives by at least two monocular imaging units. Each monocular imaging unit represents a separate unit and includes optics for capturing the scene. The section of the scene determined by the optics is directed to a sensor unit positioned in the imaging unit, which is designed as an imager for creating a 2D image of the captured scene.

In einer bevorzugten Ausführungsform ist jede der zwei monokularen Abbildungseinheiten zur Aufnahme von 2D-Bildern der gleichen Szene mit einer Bildverarbeitungseinheit zur Ausgabe eines aus den überlagerten 2D-Bildern der zwei monokularen Abbildungseinheiten abgeleiteten 3D-Darstellung der Szene verbunden und die Bildverarbeitungseinheit ist zur Ableitung der Tiefendaten der beobachteten Szene aus den überlagerten 2D-Bildern ausgebildet. Zur Überlagerung der Bilder der zwei monokularen Abbildungseinheiten werden die elektrischen als Bildsequenzen ausgeprägten Ausgangssignale beider Abbildungseinheiten zu einer Sequenz zusammengefasst. Diese Sequenz wird der Bildverarbeitungseinheit zugeführt. In dieser erfolgt eine Kalibrierung, um radiometrische Ungleichheiten auf Grund unterschiedlicher Lichtempfindlichkeiten der beiden Abbildungseinheiten zu korrigieren. D.h. hier erfolgt eine Anpassung beispielsweise des Datenformats (z.B. auf 8-bit -Grauwerte), der Helligkeit und des Kontrastes. Aus der kalibrierten Sequenz aufeinander folgender Bilder wird dann eine 3D-Darstellung in Form einer 3D-Punktwolke gewonnen.In a preferred embodiment, each of the two monocular imaging units for recording 2D images of the same scene is connected to an image processing unit for outputting a 3D representation of the scene derived from the superimposed 2D images of the two monocular imaging units, and the image processing unit is for deriving the depth data of the observed scene from the superimposed 2D images. To superimpose the images from the two monocular imaging units, the electrical output signals of both imaging units, which are expressed as image sequences, are combined into a sequence. This sequence is fed to the image processing unit. This involves calibration in order to correct radiometric inequalities due to different light sensitivities of the two imaging units. This means that the data format (e.g. to 8-bit gray values), the brightness and the contrast are adapted. A 3D representation in the form of a 3D point cloud is then obtained from the calibrated sequence of successive images.

In einer bevorzugten Ausführungsform ist die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche erste monokulare Abbildungseinheit als Infrarotkamera ausgebildet, die mit einer Rekonstruktionseinheit der Bildverarbeitungseinheit verbunden ist, die ausgebildet ist, aus den bei einer Bewegung der Infrarotkamera zeitversetzt erzeugten Bildern Informationen für die 3D-Darstellung abzuleiten. Die Bildverarbeitungseinheit wird durch einen Prozessor gebildet, welcher photogrammetrische Entfernungsbildgebungsverfahren zur Abschätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen verwendet. Eines dieser Verfahren, das in der Rekonstruktionseinheit ausgeführt wird, ist als structure from motion (SFM) bekannt, welches die dreidimensionalen Strukturen mit lokalen Bewegungssignalen koppelt. Durch eine seitliche Bewegung der von der Infrarotkamera bereitgestellten Bilder um die aufzunehmende Szene herum, bewegen sich Objekte der Szene um diese je nach Abstand herum, was als Bewegungsparalaxe bezeichnet wird. Aus der Tiefe dieser Bewegungsparalaxe können Informationen verwendet werden, um eine genaue 3D-Darstellung der Szene zu generieren. Neben der Sammlung von Tiefeninformationen aus der Szene können gleichzeitig 3D- Informationen für eine zuverlässige Darstellung der 3D-Punktwolke ermittelt werden.In a preferred embodiment, the first monocular imaging unit, which is sensitive to radiation outside a visible spectrum, is designed as an infrared camera, which is connected to a reconstruction unit of the image processing unit, which is designed to derive information for the 3D representation from the images generated with a time delay when the infrared camera moves . The image processing unit is formed by a processor which uses photogrammetric distance imaging methods to estimate three-dimensional structures from two-dimensional image sequences. One of these methods, carried out in the reconstruction unit, is known as structure from motion (SFM), which couples the three-dimensional structures with local motion signals. Due to a lateral movement of the images provided by the infrared camera around the scene to be recorded, objects in the scene move around it depending on their distance, which is referred to as motion parallax. Information from the depth of this motion parallax can be used to generate an accurate 3D representation of the scene. In addition to collecting depth information from the scene, 3D information can also be determined for a reliable representation of the 3D point cloud.

In einer bevorzugten Ausführungsform umfasst die Bildverarbeitungseinheit eine Bildfusionseinheit für eine Stereoanalyse, die ausgebildet ist, die 2D-Bilder beider monokularen Abbildungseinheiten anzupassen und daraus Tiefendaten für verschiedene Raumpunkte der Szene zur Rekonstruktion der 3D-Darstellung der Szene zu ermitteln. Bei einer solchen Stereoanalyse werden die beiden beteiligten 2D-Bilder in eine Epipolargeometrie gebracht. Das bedeutet, dass die 2D-Bilder so entzerrt und angepasst werden, dass eine sichtbare Verschiebung im Bild durch unterschiedliche Blickwinkel nur entlang der horizontalen Linien in den Bildpaaren vorhanden ist. Die horizontale Verschiebung ist umgekehrt proportional zur Tiefe des zugeordneten Szenepunktes. Zur Erfassung von Stereo-Korrespondenzen können Standard-Algorithmen, wie Semi-Global Matching oder Dynamic Programming, angewandt werden.In a preferred embodiment, the image processing unit comprises an image fusion unit for stereo analysis, which is designed to adapt the 2D images of both monocular imaging units and to use them to determine depth data for different spatial points of the scene in order to reconstruct the 3D representation of the scene. In such a stereo analysis, the two 2D images involved are brought into an epipolar geometry. This means that the 2D images are rectified and adjusted so that a visible shift in the image due to different viewing angles is only present along the horizontal lines in the image pairs. The horizontal shift is inversely proportional to the depth of the assigned scene point. Standard algorithms such as semi-global matching or dynamic programming can be used to capture stereo correspondences.

In einer bevorzugten Ausführungsform ist die Bildfusionseinheit mit der Rekonstruktionseinheit zur Erzeugung einer 3D-Darstellung der Szene gekoppelt. Somit wird sichergestellt, dass nur die hinsichtlich der sichtbaren Verschiebung korrigierten 2D-Bilder der Rekonstruktionseinheit der 3D-Punktwolke zugeführt werden.In a preferred embodiment, the image fusion unit is coupled to the reconstruction unit to generate a 3D representation of the scene. This ensures that only the 2D images corrected for visible displacement are fed to the reconstruction unit of the 3D point cloud.

In einer bevorzugten Ausführungsform weisen die beiden monokularen Abbildungseinheiten unterschiedliche Abbildungseigenschaften auf. Trotz unterschiedlicher Abbildungseigenschaften der in unterschiedlichen Bereichen des Lichtspektrums arbeitenden Abbildungseinheiten bleibt die Stereofähigkeit erhalten.In a preferred embodiment, the two monocular imaging units have different imaging properties. Despite different imaging properties in different areas of the light spectrum The stereo capability of the imaging units working around is retained.

In einer bevorzugten Ausführungsform unterscheiden sich die monokularen Abbildungseinheiten in ihrer Brennweite, wobei die Stereoanalyse der 2D-Bilder der beiden monokularen Abbildungseinheiten im Sichtfeld der die größere Brennweite aufweisenden monokularen Abbildungseinheit erfolgt. Dies hat den Vorteil, dass das Sichtfeld der Abbildungseinheit mit der kleineren Brennweite in der Abbildungseinheit mit der größeren Brennweite bereits enthalten ist. Unter der Sichtweite der Abbildungseinheiten ist dabei das Field of View zu verstehen. Um die Abmessungen der Sichtweiten anzupassen, können Stichprobenbetrachtungen (Resampling) der Bilder durchgeführt werden.In a preferred embodiment, the monocular imaging units differ in their focal length, with the stereo analysis of the 2D images of the two monocular imaging units taking place in the field of view of the monocular imaging unit having the larger focal length. This has the advantage that the field of view of the imaging unit with the smaller focal length is already contained in the imaging unit with the larger focal length. The field of view is understood to be the field of view of the imaging units. In order to adjust the dimensions of the visibility, resampling of the images can be carried out.

In einer bevorzugten Ausführungsform unterscheiden sich die monokularen Abbildungseinheiten in ihren Auflösungen. Diese unterschiedlichen Auflösungen werden in der Stereoverarbeitung der Bildfusionseinheit kompensiert. Dies kann durch Anwendung eines Skalierfaktors auf mindestens ein Bild vor Beginn der Suche nach Stereokorrespondenzen in den 2D-Bildern, d.h. vor der Suche nach Entsprechungen zwischen Bildpunkten der beiden 2D-Bilder, erfolgen.In a preferred embodiment, the monocular imaging units differ in their resolutions. These different resolutions are compensated for in the stereo processing of the image fusion unit. This can be done by applying a scaling factor to at least one image before starting the search for stereo correspondences in the 2D images, i.e. before searching for correspondences between pixels of the two 2D images.

In einer bevorzugten Ausführungsform ist die zweite monokulare Abbildungseinheit als eine für Strahlung innerhalb des sichtbaren Spektrums empfindliche Kamera, vorzugsweise als RGB-Kamera, ausgebildet. Die Kombination von Abbildungseinheiten, die für verschiedene Spektralbereiche empfindlich sind, ermöglicht die Verwendung des Stereovisions-Systems bei Tag und Nacht bei gleichzeitiger Bereitstellung von Farbinformationen. Das Stereovisions-System kann tagsüber ein Vollfarbbild und bei Dunkelheit unter Verwendung der Infrarotkamera ein Graustufenbild liefern. Bei ausreichender Beleuchtung der zu beobachtenden Szene können unter Verwendung der RGB-Kamera auch bei Nacht Tiefeninformationen ermittelt werden.In a preferred embodiment, the second monocular imaging unit is designed as a camera that is sensitive to radiation within the visible spectrum, preferably as an RGB camera. The combination of imaging units that are sensitive to different spectral ranges allows the stereo vision system to be used day and night while providing color information. The stereo vision system can provide a full color image during the day and a grayscale image using the infrared camera in the dark. If the scene to be observed is sufficiently illuminated, depth information can be determined using the RGB camera even at night.

In einer bevorzugten Ausführungsform ist die zweite monokulare Abbildungseinheit als eine für Strahlung außerhalb des sichtbaren Spektrums empfindliche Abbildungseinheit, vorzugsweise als Infrarotkamera, ausgebildet. Die Verwendung zweier für Strahlung im nichtsichtbaren Spektrum empfindliche Infrarotkameras erlauben eine Grauzonendarstellung der Szene über einen weiten, den sichtbaren Bereich umfassenden Spektralbereich hinaus und sind somit bei Tag und Nacht einsetzbar.In a preferred embodiment, the second monocular imaging unit is designed as an imaging unit that is sensitive to radiation outside the visible spectrum, preferably as an infrared camera. The use of two infrared cameras that are sensitive to radiation in the non-visible spectrum allows a gray zone representation of the scene over a wide spectral range that includes the visible range and can therefore be used day and night.

Neben Brennweite oder Auflösung können auch noch andere Abbildungseigenschaften variiert werden, wie beispielsweise die Farbempfindlichkeit der Abbildungseinheiten. Um einen Abgleich zwischen zwei 2D-Bildern zu ermöglichen, die mit unterschiedlichen Farbfiltern aufgenommen wurden, können beide 2D-Bilder in denselben Farbraum gebracht werden.In addition to focal length or resolution, other imaging properties can also be varied, such as the color sensitivity of the imaging units. To enable a comparison between two 2D images captured with different color filters, both 2D images can be brought into the same color space.

Die hier in Bezug auf das Stereovisions-System beschriebenen Aspekte treffen gleichermaßen auf das offenbarte Fahrerassistenzsystem zu, welches innerhalb des Fahrzeuges aus Hardware und Software besteht. Die Hardware umfasst insbesondere digitale Signalprozessoren, anwendungsspezifische integrierte Schaltkreise, Field Programmable Gate Arrays sowie weitere geeignete Schalt- und Rechenkomponenten.The aspects described here in relation to the stereo vision system apply equally to the disclosed driver assistance system, which consists of hardware and software within the vehicle. The hardware includes in particular digital signal processors, application-specific integrated circuits, field programmable gate arrays and other suitable switching and computing components.

Die Aufgabe wird auch gelöst durch ein Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen, bei welchem aus 2D-Darstellungen zweier eine Szene beobachtenden monokularen Abbildungseinheiten durch Ableitung von Tiefendaten eine 3D-Darstellung der Szene rekonstruiert wird, wobei mindestens eine monokulare Abbildungseinheit für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist. Diese Kombination ermöglicht eine Stereoverarbeitung, d.h. das Sammeln von Tiefeninformationen über die beobachtete Szene. Gleichzeitig werden die Betriebsbedingungen verbessert, indem die Abbildungseinheiten für ein breites Band von Beleuchtungsbedingungen empfänglicher gemacht werden. Dadurch erhöht sich die Anzahl der Anwendungen des Stereovisions-Systems zur Rekonstruktion einer 3D-Szene.The task is also solved by a method for generating a stereo vision from two 2D representations, in which a 3D representation of the scene is reconstructed from 2D representations of two monocular imaging units observing a scene by deriving depth data, with at least one monocular imaging unit for radiation is sensitive outside a visible spectrum. This combination enables stereo processing, i.e. collecting depth information about the observed scene. At the same time, operating conditions are improved by making the imaging units more receptive to a wide range of lighting conditions. This increases the number of applications of the stereo vision system to reconstruct a 3D scene.

In einer bevorzugten Ausführungsform wird die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche monokulare Abbildungseinheit parallel zur Szene bewegt und die 3D-Darstellung der beobachteten Szene aus mehreren, zeitversetzt erzeugten 2D-Bildern abgeleitet. Dazu werden photogrammetrische Entfernungsbildgebungsverfahren zur Abschätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen genutzt. Neben der Sammlung von Tiefeninformationen aus der Szene können somit gleichzeitig 3D-Informationen für eine zuverlässige Darstellung einer 3D-Punktwolke ermittelt werden.In a preferred embodiment, the monocular imaging unit, which is sensitive to radiation outside a visible spectrum, is moved parallel to the scene and the 3D representation of the observed scene is derived from several 2D images generated with a time delay. For this purpose, photogrammetric distance imaging methods are used to estimate three-dimensional structures from two-dimensional image sequences. In addition to collecting depth information from the scene, 3D information can also be determined for a reliable representation of a 3D point cloud.

In einer bevorzugten Ausführungsform werden die 2D-Bilder beider monokularen Abbildungseinheiten angepasst und daraus Tiefendaten für die verschiedenen Raumpunkte der Szene zur Rekonstruktion der 3D-Darstellung der Szene ermittelt. Bei einer Stereoanalyse werden die beiden beteiligten 2D-Bilder in eine Epipolargeometrie gebracht, was eine geometrische Kalibrierung darstellt. Das bedeutet, dass die 2D-Bilder so entzerrt und angepasst werden, dass eine sichtbare Verschiebung im Bild durch unterschiedliche Blickwinkel nur entlang der horizontalen Linien in den 2D-Bildpaaren vorhanden ist. Die sichtbare Verschiebung wird auch als Disparität bezeichnet. Diese Disparität ist indirekt proportional zur Tiefe des zugeordneten Punktes der 3D-Darstellung.In a preferred embodiment, the 2D images of both monocular imaging units are adjusted and depth data for the various spatial points of the scene are determined from them to reconstruct the 3D representation of the scene. In a stereo analysis, the two 2D images involved are brought into an epipolar geometry, which represents a geometric calibration. This means that the 2D images are rectified and adjusted so that a visible shift in the image due to different viewing angles is only present along the horizontal lines in the 2D image pairs. The visible displacement is also called called disparity. This disparity is indirectly proportional to the depth of the associated point of the 3D representation.

Weitere Merkmale, Vorteile und Eigenschaften der Erfindung werden anhand der Beschreibung bevorzugter Ausführungen der Erfindung unter Verweis auf die Figuren erklärt, die zeigen:

  • 1: eine schematische Darstellung eines ersten Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems,
  • 2 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems,
  • 3 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems,
  • 4 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems,
  • 5 eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems,
  • 6 eine schematische Darstellung eines Ausführungsbeispiels zur monokularen Bildverarbeitung mit einer Infrarot-Kamera,
  • 7 eine schematische Darstellung des erfindungsgemäßen Fahrerassistenzsystems.
Further features, advantages and properties of the invention are explained based on the description of preferred embodiments of the invention with reference to the figures, which show:
  • 1 : a schematic representation of a first exemplary embodiment of the stereo vision system according to the invention,
  • 2 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention,
  • 3 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention,
  • 4 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention,
  • 5 a schematic representation of a further exemplary embodiment of the stereo vision system according to the invention,
  • 6 a schematic representation of an exemplary embodiment for monocular image processing with an infrared camera,
  • 7 a schematic representation of the driver assistance system according to the invention.

Ein erstes Ausführungsbeispiel eines erfindungsgemäßen Stereovisions-Systems 1 ist in 1 schematisch dargestellt. Das Stereovisions-System 1 besteht aus einer RGB-Kamera 2 und einer Infrarot-Kamera 3, deren Sichtfelder 4, 5 auf eine Szene 6 in einer Umgebung des Stereovisions-Systems 1 gerichtet sind und unabhängig voneinander 2D-Bilder von der Szene 6 erzeugen. RGB steht für die Farben Rot, Grün, Blau. Die RGB-Kamera 2 erzeugt dabei ein 2D-Bild 7 in Farbe und die Infrarot-Kamera 3 ein 2D-Bild 8 in Graustufen. Die jeweiligen Bilder werden in der entsprechenden Kamera 2, 3 in je ein separates elektrisches Ausgangssignal umgewandelt. Das Ausgangssignal 9 der RGB-Kamera 2 und das Ausgangssignal 10 der Infrarot-Kamera 3 werden zu einer binokularen Bildsequenz 11 zusammengefasst. Die binokulare Bildsequenz 11 ist als Eingangssignal auf eine Bildverarbeitungseinheit 12 geführt, welche ebenfalls Bestandteil des Stereovisions-Systems 1 ist. Die als Recheneinheit ausgebildete Bildverarbeitungseinheit 12 umfasst eine Bildfusionseinheit 13 zur Bestimmung von horizontalen Disparitäten D1, D2 zwischen den beiden Bildern 7, 8 der RGB-Kamera 2 und der Infrarotkamera 3 und eine Rekonstruktionseinheit 14, welche nach einem Algorithmus zur Ausführung der „Structure from Motion“ ausgebildet ist. Das Ausgangssignal 15 der Bildverarbeitungseinheit 12 ermöglicht eine 3D-Punkte-Darstellung 16 der von beiden Kameras 2, 3 aufgenommenen Szene 6.A first exemplary embodiment of a stereo vision system 1 according to the invention is shown in 1 shown schematically. The stereo vision system 1 consists of an RGB camera 2 and an infrared camera 3, the fields of view 4, 5 of which are directed at a scene 6 in an environment of the stereo vision system 1 and independently generate 2D images of the scene 6. RGB stands for the colors red, green and blue. The RGB camera 2 generates a 2D image 7 in color and the infrared camera 3 generates a 2D image 8 in grayscale. The respective images are converted into a separate electrical output signal in the corresponding camera 2, 3. The output signal 9 of the RGB camera 2 and the output signal 10 of the infrared camera 3 are combined into a binocular image sequence 11. The binocular image sequence 11 is fed as an input signal to an image processing unit 12, which is also part of the stereo vision system 1. The image processing unit 12, designed as a computing unit, includes an image fusion unit 13 for determining horizontal disparities D1, D2 between the two images 7, 8 of the RGB camera 2 and the infrared camera 3 and a reconstruction unit 14, which operates according to an algorithm for executing the “Structure from Motion " is trained. The output signal 15 of the image processing unit 12 enables a 3D point representation 16 of the scene 6 recorded by both cameras 2, 3.

Die RGB-Kamera 2 und die Infrarot-Kamera 3 sind mit einem Abstand in eine Richtung positioniert, die orthogonal zu den Ziellinienvektoren 17 der beiden Kameras 2, 3 verläuft, der auch als Basislinie BL bezeichnet wird. Voraussetzung dabei ist, dass die Ziellinienvektoren 17 der beiden Kameras 2, 3 parallel zueinander ausgerichtet sind. Die Basislinie BL und die Kollinearitätstoleranz der Ziellinienvektoren 17 der beiden Kameras 2, 3 wirken sich auf die dreidimensionale Genauigkeit aus.The RGB camera 2 and the infrared camera 3 are positioned at a distance in a direction that is orthogonal to the target line vectors 17 of the two cameras 2, 3, which is also referred to as the baseline BL. The prerequisite here is that the target line vectors 17 of the two cameras 2, 3 are aligned parallel to one another. The baseline BL and the collinearity tolerance of the target line vectors 17 of the two cameras 2, 3 affect the three-dimensional accuracy.

In der Bildfusionseinheit 12 werden, wie in 1 beispielhaft gezeigt, die beiden Kamerabilder 7, 8 in eine sogenannte Epipolargeometrie gebracht. Das bedeutet, dass die Bilder 7, 8 so entzerrt und angepasst werden, dass ein Parallaxeneffekt, d.h. die sichtbare Verschiebung im Bild durch unterschiedliche Blickwinkel, nur entlang der horizontalen Linien in den Bildpaaren vorhanden ist. Mittels jeweils zweier sich entsprechender Punkte der Bilder 7, 8 der RGB-Kamera 2 und der Infrarotkamera 3 wird die Tiefe der zugehörigen Punkte PSn der aufgenommenen Szene 6 ermittelt. Es wird ein Punkt P71 des Bildes 7 der RGB-Kamera 2 mit dem der Szene 6 entsprechenden Punkt P81 des Bildes 8 der Infrarot-Kamera 3 verglichen. Dabei wird eine Disparität D1 (sichtbare Verschiebung) des Punktes P71 des Bildes 7 mit dem Ziellinienvektor 17 der RGB-Kamera 2 bestimmt. Gleichzeitig wird eine zweite Disparität D2 zwischen dem Punkt P8n des Bildes 8 der Infrarotkamera 3 zu dem entsprechenden Ziellinienvektor 17 der Infrarotkamera 3 ermittelt. Bei bekannten gleichen Brennweiten BW der beiden Kameras 2, 3 wird die Tiefe TPS1 des Punktes PS1 der Szene 6 bestimmt: T P S 1 = B W B L / ( D 1 + D 2 )

Figure DE102022123295A1_0001
In the image fusion unit 12, as in 1 shown as an example, the two camera images 7, 8 are brought into a so-called epipolar geometry. This means that the images 7, 8 are corrected and adjusted so that a parallax effect, ie the visible shift in the image due to different viewing angles, is only present along the horizontal lines in the image pairs. The depth of the associated points PSn of the recorded scene 6 is determined using two corresponding points in the images 7, 8 of the RGB camera 2 and the infrared camera 3. A point P71 of the image 7 of the RGB camera 2 is compared with the point P81 of the image 8 of the infrared camera 3 corresponding to the scene 6. A disparity D1 (visible shift) of the point P71 of the image 7 is determined with the target line vector 17 of the RGB camera 2. At the same time, a second disparity D2 is determined between the point P8n of the image 8 of the infrared camera 3 and the corresponding target line vector 17 of the infrared camera 3. If the same focal lengths BW of the two cameras 2, 3 are known, the depth TPS1 of the point PS1 of scene 6 is determined: T P S 1 = b W b L / ( D 1 + D 2 )
Figure DE102022123295A1_0001

Weisen die Kameras 2, 3 unterschiedliche Brennweiten BW auf, müssen in einem Zwischenverarbeitungsschritt, die sich überlagernden Bildausschnitte so fokussiert werden, dass diese den gleichen Brennweiten BW entsprechen.If the cameras have 2, 3 different focal lengths BW, the overlapping image sections must be focused in an intermediate processing step so that they correspond to the same focal lengths BW.

Analog zu dieser Beschreibung werden weitere Punkte P7n des Bildes 7 der RGB-Kamera 2 mit den Punkten P8n des Bildes 8 der Infrarotkamera 3 miteinander verglichen, um die Tiefe TPSn des jeweiligen Punktes PSn der Szene 6 zu ermitteln. T P S n = B W B L / ( D 1 n + D 2 n )

Figure DE102022123295A1_0002
Analogous to this description, further points P7n of the image 7 of the RGB camera 2 are compared with the points P8n of the image 8 of the infrared camera 3 in order to determine the depth TPSn of the respective point PSn of the scene 6. T P S n = b W b L / ( D 1 n + D 2 n )
Figure DE102022123295A1_0002

Aus der Vielzahl der so ermittelten Tiefeninformationen der einzelnen Szenepunkte PS1 ... PSn wird die 3D-Punktdarstellung 16 der Szene 6 von der Bildverarbeitungseinheit 12 ausgegeben.The 3D point representation 16 of the scene 6 is output by the image processing unit 12 from the large number of depth information of the individual scene points PS1 ... PSn determined in this way.

Auch die Rekonstruktionseinheit 14 ist in der als Recheneinheit ausgebildeten Bildverarbeitungseinheit 12 enthalten. In der Rekonstruktionseinheit 14 ist der „Structure from Motion“- Algorithmus zur Bestimmung einer weiteren Tiefeninformation abgelegt. Bei diesem Algorithmus handelt es sich um ein photogrammetrisches Auswerteverfahren zur Abschätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen, die mit lokalen Bewegungssignalen gekoppelt werden. Dabei wird die Infrarot-Kamera 2 zur Aufnahme desselben Bildes parallel zur zu erfassenden Szene 6 bewegt, wodurch zeitversetzte Bilder entstehen, aus denen 3D-Informationen gewonnen werden. Um eine Korrespondenz zwischen den zweidimensionalen Bildern zu finden, werden ausgewählte Punkte von einem Bild zum nächsten verfolgt. Diese Punkt-Trajektorien im Laufe der Zeit werden verwendet, um die 3D-Positionen der Punkte und die Bewegung der Kamera zu rekonstruieren, wodurch die 3D-Punktdarstellung 16 der Szene 6 als Punktwolke ermittelt wird.The reconstruction unit 14 is also contained in the image processing unit 12, which is designed as a computing unit. The “Structure from Motion” algorithm for determining further depth information is stored in the reconstruction unit 14. This algorithm is a photogrammetric evaluation method for estimating three-dimensional structures from two-dimensional image sequences that are coupled with local movement signals. In order to record the same image, the infrared camera 2 is moved parallel to the scene 6 to be captured, which creates time-shifted images from which 3D information is obtained. To find a correspondence between the two-dimensional images, selected points are traced from one image to the next. These point trajectories over time are used to reconstruct the 3D positions of the points and the movement of the camera, thereby determining the 3D point representation 16 of the scene 6 as a point cloud.

Eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems 18 ist in 2 gezeigt. Dieses Stereovisions-System 18 unterscheidet sich von dem in 1 dargestellten Stereovisions-System 1 dadurch, dass die RGB-Kamera 2 durch eine weitere Infrarot-Kamera 19 ersetzt wird. A schematic representation of a further exemplary embodiment of the stereo vision system 18 according to the invention is shown in 2 shown. This stereo vision system 18 differs from that in 1 stereo vision system 1 shown in that the RGB camera 2 is replaced by another infrared camera 19.

Auch in diesem Fall werden das Ausgangssignal 20 der Infrarot-Kamera 19 und das Ausgangssignal 10 der Infrarot-Kamera 3 zusammengefasst und bilden eine binokulare Infrarot-Bildsequenz 21, welche als Eingangssignal der Bildverarbeitungseinheit 12 zugeführt wird. Die Bildverarbeitungseinheit 12 umfasst wiederum die Bildfusionseinheit 13 und die Rekonstruktionseinheit 14 mittels denen in der oben beschriebenen Art und Weise aus den Punktvergleichen des Bildes 22 der zweiten Infrarot-Kamera 19 und des Bildes 8 der ersten Infrarot-Kamera 3 Tiefeninformationen für die 3D-Punktdarstellung 16 ermittelt und ausgegeben werden.In this case too, the output signal 20 of the infrared camera 19 and the output signal 10 of the infrared camera 3 are combined and form a binocular infrared image sequence 21, which is fed to the image processing unit 12 as an input signal. The image processing unit 12 in turn includes the image fusion unit 13 and the reconstruction unit 14 by means of which depth information for the 3D point representation 16 is obtained in the manner described above from the point comparisons of the image 22 of the second infrared camera 19 and the image 8 of the first infrared camera 3 determined and issued.

3 zeigt eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems 23. Dieses Stereovisions-System 23 entspricht in seinem prinzipiellen Aufbau dem Stereovisions-System 1 in 1. Der Unterschied besteht darin, dass das Ausgangssignal 9 der RGB-Kamera 2 und das Ausgangssignal 10 der Infrarot- Kamera 3 zu einer Stereo-Infrarot-RGB-Bildsequenz 24 zusammengeführt werden. Diese Stereo-Infrarot-RGB-Bildsequenz 24 wird als Eingangssignal auf die Bildfusionseinheit 13 der Bildverarbeitungseinheit 12 geführt. Die Bildfusionseinheit 13 führt neben der Umrechnung der Epipolargeometrie eine Anpassung des Datenformats, z.B. hinsichtlich der Bildauflösung, der Helligkeit bzw. des Kontrastes der Stereo-Infrarot-RGB-Bildsequenz 24 durch. Das Stereo-Bildpaar wird an die Rekonstruktionseinheit 14 weitergeleitet, welche aus diesem Stereo-Bildpaar auf der Grundlage des „Structure from Motion“ Algorithmus die 3D-Punktwolke als 3D-Darstellung 16 der Szene 6 zur weiteren Bearbeitung ausgibt. 3 shows a schematic representation of a further exemplary embodiment of the stereo vision system 23 according to the invention. This stereo vision system 23 corresponds in its basic structure to the stereo vision system 1 in 1 . The difference is that the output signal 9 of the RGB camera 2 and the output signal 10 of the infrared camera 3 are combined to form a stereo infrared RGB image sequence 24. This stereo infrared RGB image sequence 24 is fed as an input signal to the image fusion unit 13 of the image processing unit 12. In addition to converting the epipolar geometry, the image fusion unit 13 adapts the data format, for example with regard to the image resolution, brightness or contrast of the stereo infrared RGB image sequence 24. The stereo image pair is forwarded to the reconstruction unit 14, which outputs the 3D point cloud from this stereo image pair based on the “Structure from Motion” algorithm as a 3D representation 16 of the scene 6 for further processing.

Eine zu 3 vergleichbare Bearbeitung erfolgt, wenn, wie in 2 gezeigt, zwei Infrarot-Kameras 2, 19 in dem Supervisions-System 25 verwendet werden. Gemäß 4 stellt das Eingangssignal für die Bildverarbeitungseinheit 12, das aus den Ausgangssignalen 8, 20 der beiden Infrarot-Kameras 3, 19 zusammengeführt wird, eine Stereo-Infrarot-Bild-Sequenz 26 dar. Diese wird zunächst auf die Bildfusionseinheit 13 geführt, wo ein unverfälschtes Stereosignal ermittelt wird. Dieses Stereosignal wird ebenfalls der Rekonstruktionseinheit 14 zugeführt, die mittels des „Structure from Motion“ Algorithmus die 3D-Punkt-Darstellung 16 der Szene 6 erzeugt.One too 3 comparable processing takes place if, as in 2 shown, two infrared cameras 2, 19 are used in the supervision system 25. According to 4 the input signal for the image processing unit 12, which is combined from the output signals 8, 20 of the two infrared cameras 3, 19, represents a stereo infrared image sequence 26. This is first fed to the image fusion unit 13, where an unadulterated stereo signal is determined. This stereo signal is also fed to the reconstruction unit 14, which generates the 3D point representation 16 of the scene 6 using the “Structure from Motion” algorithm.

In 5 ist eine schematische Darstellung eines weiteren Ausführungsbeispiels des erfindungsgemäßen Stereovisions-Systems 27 gezeigt. Bei dem Stereovisions-System 27 werden für jede Seite der Stereokonfiguration eine ungleiche Anzahl von Kameras verwendet. Dabei sind beidseitig zu einer RGB-Kamera 28 jeweils eine Infrarot-Kamera 29, 30 angeordnet. Diese Anordnung erfolgt dabei beispielsweise so, dass die RGB-Kamera 28 einen Sichtbereich 32 von 180° hat, während die beiden Infrarot-Kameras 29, 30 jeweils einen Sichtbereich 31, 33 von 90° abdecken. Dabei überdecken beide Sichtbereiche 31, 33 der Infrarot-Kameras 29, 30 den Sichtbereich 32 der RGB-Kamera 28. Die Anordnung ist aber nicht auf diese Sichtbereichswinkel beschränkt. Es können eine Vielzahl anderer Sichtbereichswinkel gewählt werden.In 5 a schematic representation of a further exemplary embodiment of the stereo vision system 27 according to the invention is shown. In the stereo vision system 27, an unequal number of cameras are used for each side of the stereo configuration. An infrared camera 29, 30 is arranged on both sides of an RGB camera 28. This arrangement is carried out, for example, in such a way that the RGB camera 28 has a viewing area 32 of 180°, while the two infrared cameras 29, 30 each cover a viewing area 31, 33 of 90°. Both viewing areas 31, 33 of the infrared cameras 29, 30 cover the viewing area 32 of the RGB camera 28. However, the arrangement is not limited to these viewing area angles. A variety of other viewing angles can be selected.

Aus dieser Anordnung können zwei Paare von Stereokameras 28, 29, 28, 30 aufgebaut werden, d.h. die RGB-Kamera 28 kann mit jeweils einer Infrarot-Kamera 29, 30 ein Stereokamerapaar bilden. Die Ausgangssignale der RGB-Kamera 28 und jeweils einer Infrarot-Kamera 29 oder 30 werden jeweils zu einer Stereo- Infrarot- und RGB-Bild-Sequenz 34, 35 zusammengefasst. Somit bilden zwei Stereo- Infrarot- und RGB-Bild-Sequenzen 34, 35 die Eingangssignale der Bildverarbeitungseinheit 12. Demgegenüber können die RGB-Kamera 28 und die beiden Infrarot-Kameras 29, 30 zusammen verwendet werden, um Eingaben für den Algorithmus „Structure from Motion“ bereitzustellen. In diesem Fall wird als Eingangssignal der Bildverarbeitungseinheit 12 eine Sequenz aus Ausgangssignalen der RGB-Kamera 28 und den beiden Infrarot-Kameras 29, 30 gebildet, um daraus eine Schätzung der 3D-Punkt-Darstellung 16 vorzunehmen.From this arrangement, two pairs of stereo cameras 28, 29, 28, 30 can be constructed, i.e. the RGB camera 28 can each form a stereo camera pair with an infrared camera 29, 30. The output signals of the RGB camera 28 and an infrared camera 29 or 30 are each combined to form a stereo infrared and RGB image sequence 34, 35. Thus, two stereo, infrared and RGB image sequences 34, 35 form the input signals of the image processing unit 12. In contrast, the RGB camera 28 and the two infrared cameras 29, 30 can be used together to provide input for the “Structure from Motion”. In this case, a sequence of output signals from the RGB camera 28 and the two infrared cameras 29, 30 is formed as the input signal of the image processing unit 12 in order to make an estimate of the 3D point representation 16.

Neben der Stereoverarbeitung kann eine einzelne Infrarot-Kamera 36 auch zur monokularen Bildverarbeitung verwendet werden, um Tiefeninformationen mit dem „Structure from Motion“- Algorithmus abzuleiten. Dies wird in 6 gezeigt. Die Infrarot-Kamera 36 gibt eine monokulare Infrarot- Bildsequenz 37 aus, die auf die Bildverarbeitungseinheit 12 als Eingangssignal weitergeleitet wird. In der Bildverarbeitungseinheit 12 wird lediglich die Rekonstruktionseinheit 14 benötigt, welche den „Structure from Motion“- Algorithmus umfasst, um eine 3D-Punkt-Darstellung16 der Szene 6 in der beschriebenen Art und Weise zu erzeugen.In addition to stereo processing, a single infrared camera 36 can also be used for monocular image processing to derive depth information using the structure from motion algorithm. This will be in 6 shown. The infrared camera 36 outputs a monocular infrared image sequence 37, which is forwarded to the image processing unit 12 as an input signal. In the image processing unit 12, only the reconstruction unit 14 is required, which includes the “Structure from Motion” algorithm in order to generate a 3D point representation 16 of the scene 6 in the manner described.

Die Anwendungsfälle, die im Zusammenhang mit 2 und 3 erläutert wurden, können vereinfacht werden, in dem die Kamerapaare 3, 19 bzw. 2, 3 verwendet werden, um eine Stereotriangulation durchzuführen, wobei auf den Algorithmus der „Structure from Motion“ verzichtet werden kann. Bei einem solchen Triangulationsverfahren erfolgt eine Abstandsbestimmung durch genaue Winkelmessung von Dreiecken. Dabei werden trigonometrische Funktionen zur Berechnung verwendet.The use cases related to 2 and 3 have been explained, can be simplified by using the camera pairs 3, 19 or 2, 3 to carry out stereo triangulation, whereby the “Structure from Motion” algorithm can be dispensed with. With such a triangulation method, distance is determined by precise angle measurement of triangles. Trigonometric functions are used for the calculation.

Ein erfindungsgemäßes Fahrerassistenzsystem 38, wie es in 7 gezeigt ist, umfasst ein Steuergerät 39, welches mit dem als Umfeldsensorik eingesetzten Stereovisions-System 1, 18, 23, 25, 27 verbunden ist. Das Fahrerassistenzsystem 38 ist in einem Fahrzeug 40 verbaut, an welchem ebenfalls das Stereovisions-System 1 positioniert ist. Das Fahrerassistenzsystem 38 führt eine oder mehrere Assistenzfunktionen aus, die einem Fahrer des eigenen Fahrzeuges 40 teilweise oder vollständig von der Aufgabe, das Fahrzeuges 40 zu führen, entlasten.A driver assistance system 38 according to the invention, as shown in 7 is shown, includes a control device 39, which is connected to the stereo vision system 1, 18, 23, 25, 27 used as environmental sensors. The driver assistance system 38 is installed in a vehicle 40, on which the stereo vision system 1 is also positioned. The driver assistance system 38 carries out one or more assistance functions that partially or completely relieve a driver of the vehicle 40 from the task of driving the vehicle 40.

Der Übersichtlichkeit halber wird im Weiteren nur auf das Stereovisionssystem 1 Bezug genommen. Die weitere Beschreibung trifft aber auch auf die anderen Stereovisions-Systeme zu. Das Stereovisionssystem 1 erfasst Umfelddaten des Fahrzeuges 40. Diese Umfelddaten können Bilder von Objekten, Objektpositionen, Objektkanten, Objektabständen u.ä. sein. Als Objekte werden sowohl statische verkehrsrelevante Bestandteile des Straßenverkehrs wie Fahrbahnmarkierungen, Verkehrszeichen oder Fahrbahnoberflächen als auch bewegliche, wie Personen und andere betrachtet.For the sake of clarity, reference will only be made to the stereo vision system 1. The further description also applies to the other stereo vision systems. The stereo vision system 1 records environmental data of the vehicle 40. This environmental data can include images of objects, object positions, object edges, object distances, etc. be. Both static traffic-relevant components of road traffic, such as road markings, traffic signs or road surfaces, as well as moving ones, such as people and others, are considered objects.

Im vorliegenden Fall ist das Fahrerassistenzsystem 38 beispielsweise als Verkehrszeichenerkennungssystem ausgebildet, wobei das Stereovisionssystem 1 ein Verkehrsschild 41 in seiner Umgebung aufnimmt. Aufgrund zeitweiser Verdeckung von Verkehrszeichen, z. B. durch andere Verkehrsteilnehmer oder Pflanzenwuchs, kann es zur Schlecht- oder Nichterkennung von Verkehrszeichen durch eine Kamera kommen. Dabei werden die beschriebenen Bildverarbeitungsverfahren des Stereovisions-Systems 1 genutzt, um das detektierte Verkehrszeichen 41 näher in seinem Umfeld zu lokalisieren. Das Steuergerät 39 umfasst eine Vergleichseinheit 42 zum Vergleich des extrahierten Verkehrszeichens 41 mit in einem Speicher 43 abgespeicherten Referenz-Verkehrszeichen. In Abhängigkeit von diesem Vergleich wird für eine Anzeigelogik 44 ein Assistenzsteuersignals zur Ausgabe oder Nichtausgabe des Verkehrszeichens 41 auf einer Anzeigeeinheit 45 des Fahrzeuges 40 erzeugt.In the present case, the driver assistance system 38 is designed, for example, as a traffic sign recognition system, with the stereo vision system 1 recording a traffic sign 41 in its surroundings. Due to temporary obscuration of traffic signs, e.g. E.g. due to other road users or plant growth, traffic signs can be poorly or not recognized by a camera. The described image processing methods of the stereo vision system 1 are used to localize the detected traffic sign 41 closer to its surroundings. The control device 39 includes a comparison unit 42 for comparing the extracted traffic sign 41 with reference traffic signs stored in a memory 43. Depending on this comparison, an assistance control signal for outputting or not outputting the traffic sign 41 on a display unit 45 of the vehicle 40 is generated for a display logic 44.

BezugszeichenReference symbols

11
Stereovisions-SystemStereo vision system
22
RGB-KameraRGB camera
33
Infrarot-KameraInfrared camera
44
KamerasichtfeldCamera field of view
55
KamerasichtfeldCamera field of view
66
aufzunehmende Szenescene to be recorded
77
BildPicture
88th
BildPicture
99
Ausgangssignal der RGB-KameraRGB camera output signal
1010
Ausgangssignal der Infrarot-KameraInfrared camera output signal
1111
binokulare Bildsequenzbinocular image sequence
1212
BildverarbeitungseinheitImage processing unit
1313
BildfusionseinheitImage fusion unit
1414
RekonstruktionseinheitReconstruction unit
1515
Ausgangssignal der BildverarbeitungseinheitOutput signal of the image processing unit
1616
3D-Punktwolke3D point cloud
1717
ZiellinienvektorFinish line vector
1818
Stereovisions-SystemStereo vision system
1919
Infrarot-KameraInfrared camera
2020
Ausgangssignal der Infrarot-KameraInfrared camera output signal
2121
binokulare Infrarot-Bildsequenzbinocular infrared image sequence
2222
Bild der Infrarot-KameraImage from the infrared camera
2323
Stereovisions-SystemStereo vision system
2424
Stereo-Infrarot-RGB-BildsequenzStereo infrared RGB image sequence
2525
Stereovisions-SystemStereo vision system
2626
Stereo-Infrarot-BildsequenzStereo infrared image sequence
2727
Stereovisions-SystemStereo vision system
2828
RGB-KameraRGB camera
2929
Infrarot-KameraInfrared camera
3030
Infrarot-KameraInfrared camera
3131
Sichtfeld Infrarot-KameraField of view infrared camera
3232
Sichtfeld RGB-KameraField of view RGB camera
3333
Sichtfeld Infrarot-KameraField of view infrared camera
3434
Stereo- und RGB-BildsequenzStereo and RGB image sequence
3535
Stereo- und RGB-BildsequenzStereo and RGB image sequence
3636
Infrarot-KameraInfrared camera
3737
monokulare Infrarot-Bildsequenzmonocular infrared image sequence
3838
FahrerassistenzsystemDriver assistance system
3939
SteuergerätControl unit
4040
Fahrzeugvehicle
4141
VerkehrsschildTraffic sign
4242
VergleichseinheitComparison unit
4343
SpeicherStorage
4444
AnzeigelogikDisplay logic
4545
AnzeigeeinheitDisplay unit
BLBL
BasislinieBaseline
BWBW
Brennweitefocal length
D1D1
DisparitätDisparity
D2D2
DisparitätDisparity
TPSTPS
TiefendatenDepth data
PSP.S
SzenepunktScene point

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 2015157410 A1 [0002]WO 2015157410 A1 [0002]
  • US 20200177935 A1 [0003]US 20200177935 A1 [0003]
  • US 20160071279 A1 [0004]US 20160071279 A1 [0004]
  • EP 3723364 A1 [0005]EP 3723364 A1 [0005]
  • EP 3659002 B1 [0006]EP 3659002 B1 [0006]
  • EP 3477540 A1 [0007]EP 3477540 A1 [0007]
  • EP 2353298 B1 [0008]EP 2353298 B1 [0008]

Claims (24)

Stereovisions-System, welches ausgebildet ist, aus 2D-Darstellungen (7, 8) zweier eine Szene (6) beobachtenden monokularen Abbildungseinheiten (2, 3) durch Ableitung von Tiefendaten (TPS) eine 3D-Darstellung (16) der Szene (6) zu rekonstruieren, wobei mindestens eine monokulare Abbildungseinheit (3) für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist.Stereo vision system, which is designed to create a 3D representation (16) of the scene (6) from 2D representations (7, 8) of two monocular imaging units (2, 3) observing a scene (6) by deriving depth data (TPS). to reconstruct, wherein at least one monocular imaging unit (3) is sensitive to radiation outside a visible spectrum. Stereovisions-System nach Anspruch 1, wobei jede der zwei monokularen Abbildungseinheiten (2, 3) zur Aufnahme von 2D-Bildern (7, 8) der gleichen Szene (6) mit einer Bildverarbeitungseinheit (12) zur Ausgabe einer aus den überlagerten 2D-Bildern (7,8) der zwei monokularen Abbildungseinheiten (2, 3) abgeleiteten 3D-Darstellung (16) der Szene (6) verbunden sind und die Bildverarbeitungseinheit (12) zur Ableitung der Tiefendaten (TPS) der beobachteten Szene (6) aus den überlagerten 2D-Bildern (7, 8) ausgebildet ist.Stereo vision system Claim 1 , each of the two monocular imaging units (2, 3) for recording 2D images (7, 8) of the same scene (6) with an image processing unit (12) for outputting one of the superimposed 2D images (7, 8). two monocular imaging units (2, 3) derived 3D representation (16) of the scene (6) are connected and the image processing unit (12) for deriving the depth data (TPS) of the observed scene (6) from the superimposed 2D images (7, 8) is trained. Stereovisions-System nach Anspruch 1 oder 2, wobei die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche erste monokulare Abbildungseinheit als Infrarotkamera (3, 37) ausgebildet ist, die mit einer Rekonstruktionseinheit (14) der Bildverarbeitungseinheit (12) verbunden ist, die ausgebildet ist, aus den bei einer Bewegung der Infrarotkamera (3, 37) zeitversetzt erzeugten Bildern Informationen für die 3D-Darstellung (16) abzuleiten.Stereo vision system Claim 1 or 2 , wherein the first monocular imaging unit, which is sensitive to radiation outside of a visible spectrum, is designed as an infrared camera (3, 37), which is connected to a reconstruction unit (14) of the image processing unit (12), which is designed from which, when the infrared camera ( 3, 37) to derive information for the 3D representation (16) from images generated with a time delay. Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei die Bildverarbeitungseinheit (12) eine Bildfusionseinheit (13) für eine Stereoanalyse umfasst, die ausgebildet ist, die 2D-Bilder (7, 8) beider monokularen Abbildungseinheiten (2, 3) anzupassen und daraus Tiefendaten (TPS) für verschiedene Raumpunkte (PS) der Szene (6) zur Rekonstruktion der 3D-Darstellung (16) der Szene (6) zu ermitteln.Stereo vision system according to at least one of the preceding claims, wherein the image processing unit (12) comprises an image fusion unit (13) for stereo analysis, which is designed to adapt the 2D images (7, 8) of both monocular imaging units (2, 3) and from them To determine depth data (TPS) for different spatial points (PS) of the scene (6) to reconstruct the 3D representation (16) of the scene (6). Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei die Bildfusionseinheit (13) mit der Auswerteeinheit (14) zur Erzeugung einer 3D-Darstellung (16) der Szene (6) gekoppelt ist.Stereo vision system according to at least one of the preceding claims, wherein the image fusion unit (13) is coupled to the evaluation unit (14) to generate a 3D representation (16) of the scene (6). Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei die Bildfusionseinheit (13) ausgebildet ist, um radiometrische Ungleichheiten der monokularen Abbildungseinheiten (2, 3) zu korrigieren.Stereo vision system according to at least one of the preceding claims, wherein the image fusion unit (13) is designed to correct radiometric inequalities in the monocular imaging units (2, 3). Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die beiden monokularen Abbildungseinheiten (2, 3) unterschiedliche Abbildungseigenschaften aufweisen.Stereo vision system according to at least one of the preceding claims, characterized in that the two monocular imaging units (2, 3) have different imaging properties. Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei sich die monokularen Abbildungseinheiten (2, 3) in ihrer Brennweite (BW) unterscheiden, und die Stereoanalyse der 2D-Bilder (7, 8) der beiden monokularen Abbildungseinheiten (2, 3) im Sichtfeld der die größere Brennweite (BW) aufweisenden monokularen Abbildungseinheit (2, 3) erfolgt.Stereo vision system according to at least one of the preceding claims, wherein the monocular imaging units (2, 3) differ in their focal length (BW), and the stereo analysis of the 2D images (7, 8) of the two monocular imaging units (2, 3) in Field of view of the monocular imaging unit (2, 3) having the larger focal length (BW). Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei sich die monokularen Abbildungseinheiten (2, 3) in ihren Auflösungen unterscheiden.Stereo vision system according to at least one of the preceding claims, wherein the monocular imaging units (2, 3) differ in their resolutions. Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei die zweite monokulare Abbildungseinheit als eine für Strahlung innerhalb des sichtbaren Spektrums empfindliche Kamera (2), vorzugsweise als RGB-Kamera, ausgebildet ist.Stereo vision system according to at least one of the preceding claims, wherein the second monocular imaging unit is designed as a camera (2) sensitive to radiation within the visible spectrum, preferably as an RGB camera. Stereovisions-System nach mindestens einem der vorhergehenden Ansprüche, wobei die zweite monokulare Abbildungseinheit als eine für Strahlung außerhalb des sichtbaren Spektrums empfindliche Kamera, vorzugsweise als Infrarotkamera (20), ausgebildet ist.Stereo vision system according to at least one of the preceding claims, wherein the second monocular imaging unit is designed as a camera sensitive to radiation outside the visible spectrum, preferably as an infrared camera (20). Fahrerassistenzsystem für ein Fahrzeug, umfassend ein Stereovisions-Kamerasystem (1), das ausgebildet ist, aus 2D-Darstellungen (7, 8) zweier eine Szene (6) beobachtenden monokularen Abbildungseinheiten (2, 3) durch Ableitung von Tiefendaten (TPS) eine 3D-Darstellung (16) der Szene (6) zu rekonstruieren, wobei mindestens eine monokulare Abbildungseinheit (3) für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist.Driver assistance system for a vehicle, comprising a stereo vision camera system (1), which is designed to create a 3D from 2D representations (7, 8) of two monocular imaging units (2, 3) observing a scene (6) by deriving depth data (TPS). -Representation (16) of the scene (6) to be reconstructed, with at least one monocular imaging unit (3) being sensitive to radiation outside a visible spectrum. Fahrerassistenzsystem nach Anspruch 12, wobei jede der zwei monokularen Abbildungseinheiten (2, 3) zur Aufnahme von 2D-Bildern (7, 8) der gleichen Szene mit einer Bildverarbeitungseinheit (12) zur Ausgabe eines aus den überlagerten 2D-Bildern (7, 8) der zwei monokularen Abbildungseinheiten (2, 3) abgeleiteten 3D-Darstellung (16) der Szene (6) verbunden sind und die Bildverarbeitungseinheit (12) zur Ableitung der Tiefendaten (TPS) der beobachteten Szene (6) aus den überlagerten 2D-Bildern (7, 8) ausgebildet ist.Driver assistance system Claim 12 , each of the two monocular imaging units (2, 3) for recording 2D images (7, 8) of the same scene with an image processing unit (12) for outputting one of the superimposed 2D images (7, 8) of the two monocular imaging units (2, 3) derived 3D representation (16) of the scene (6) are connected and the image processing unit (12) is designed to derive the depth data (TPS) of the observed scene (6) from the superimposed 2D images (7, 8). is. Fahrerassistenzsystem nach Anspruch 12 oder 13, wobei die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche erste monokulare Abbildungseinheit als Infrarotkamera (3) ausgebildet ist, die mit einer Rekonstruktionseinheit (14) der Bildverarbeitungseinheit (12) verbunden ist, die ausgebildet ist, aus den bei einer Bewegung der Infrarotkamera (3) zeitversetzt erzeugten Bildern Informationen für die 3D-Darstellung (16) abzuleiten.Driver assistance system Claim 12 or 13 , wherein the first monocular imaging unit, which is sensitive to radiation outside a visible spectrum, is designed as an infrared camera (3), which is connected to a reconstruction unit (14) of the image processing unit (12), which is designed to use the information when the information is moved Rared camera (3) to derive information for the 3D representation (16) from images generated with a time delay. Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei die Bildverarbeitungseinheit (12) eine Bildfusionseinheit (13) für eine Stereoanalyse umfasst, die ausgebildet ist, die 2D-Bilder (8, 22) beider monokularen Abbildungseinheiten (2, 3) anzupassen und daraus Tiefendaten (TPS) für verschiedenen Raumpunkte (PSn) der Szene (6) zur Rekonstruktion der 3D-Darstellung (16) der Szene (6) zu ermitteln.Driver assistance system according to at least one of the preceding claims, wherein the image processing unit (12) comprises an image fusion unit (13) for stereo analysis, which is designed to adapt the 2D images (8, 22) of both monocular imaging units (2, 3) and to produce depth data ( TPS) for different spatial points (PSn) of the scene (6) to reconstruct the 3D representation (16) of the scene (6). Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei die Bildfusionseinheit (12) mit der Rekonstruktionseinheit (14) zur Erzeugung einer 3D-Darstellung (16) der Szene (6) gekoppelt ist.Driver assistance system according to at least one of the preceding claims, wherein the image fusion unit (12) is coupled to the reconstruction unit (14) to generate a 3D representation (16) of the scene (6). Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei die beiden monokularen Abbildungseinheiten (2, 3) unterschiedliche Abbildungseigenschaften aufweisen.Driver assistance system according to at least one of the preceding claims, wherein the two monocular imaging units (2, 3) have different imaging properties. Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei sich die monokularen Abbildungseinheiten (2, 3) in ihrer Brennweite (BW) unterscheiden, wobei die Stereoanalyse der 2D-Bilder (7, 8) der beiden monokularen Abbildungseinheiten im Sichtfeld der die größere Brennweite (BW) aufweisenden monokularen Abbildungseinheit (2, 3) erfolgt.Driver assistance system according to at least one of the preceding claims, wherein the monocular imaging units (2, 3) differ in their focal length (BW), the stereo analysis of the 2D images (7, 8) of the two monocular imaging units in the field of view of the larger focal length (BW ) having monocular imaging unit (2, 3). Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei sich die monokularen Abbildungseinheiten (2, 3) in ihren Auflösungen unterscheiden.Driver assistance system according to at least one of the preceding claims, wherein the monocular imaging units (2, 3) differ in their resolutions. Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei die zweite monokulare Abbildungseinheit als eine für Strahlung innerhalb des sichtbaren Spektrums empfindliche Kamera, vorzugsweise als RGB-Kamera (2), ausgebildet ist.Driver assistance system according to at least one of the preceding claims, wherein the second monocular imaging unit is designed as a camera sensitive to radiation within the visible spectrum, preferably as an RGB camera (2). Fahrerassistenzsystem nach mindestens einem der vorhergehenden Ansprüche, wobei die zweite monokulare Abbildungseinheit als eine für Strahlung außerhalb des sichtbaren Spektrums empfindliche Kamera, vorzugsweise eine Infrarotkamera (3), ausgebildet ist.Driver assistance system according to at least one of the preceding claims, wherein the second monocular imaging unit is designed as a camera sensitive to radiation outside the visible spectrum, preferably an infrared camera (3). Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen, bei welchem aus 2D-Darstellungen (7, 8) zweier eine Szene beobachtenden monokularen Abbildungseinheiten (2, 3) durch Ableitung von Tiefendaten (TPS) eine 3D-Darstellung (16) der Szene (6) rekonstruiert wird, wobei mindestens eine monokulare Abbildungseinheit (3) für Strahlung außerhalb eines sichtbaren Spektrums empfindlich ist.Method for generating a stereo vision from two 2D representations, in which a 3D representation (16) of the scene is created from 2D representations (7, 8) of two monocular imaging units (2, 3) observing a scene by deriving depth data (TPS). 6) is reconstructed, with at least one monocular imaging unit (3) being sensitive to radiation outside a visible spectrum. Verfahren nach Anspruch 21, wobei die für Strahlung außerhalb eines sichtbaren Spektrums empfindliche monokulare Abbildungseinheit (3) parallel zur Szene (6) bewegt wird und die 3D-Darstellung (16) der beobachteten Szene (6) aus mehreren, zeitversetzt erzeugten 2D-Bildern abgeleitet wird.Procedure according to Claim 21 , wherein the monocular imaging unit (3), which is sensitive to radiation outside a visible spectrum, is moved parallel to the scene (6) and the 3D representation (16) of the observed scene (6) is derived from several 2D images generated with a time delay. Verfahren nach Anspruch 21 oder 22, wobei die 2D-Bilder (8, 22) beider monokularen Abbildungseinheiten (3, 20) angepasst werden und daraus Tiefendaten (TPS) für verschiedenen Raumpunkte (PSn) der Szene (6) zur Rekonstruktion der 3D-Darstellung (16) der Szene (6) ermittelt werden.Procedure according to Claim 21 or 22 , wherein the 2D images (8, 22) of both monocular imaging units (3, 20) are adapted and depth data (TPS) for different spatial points (PSn) of the scene (6) are used to reconstruct the 3D representation (16) of the scene ( 6) can be determined.
DE102022123295.6A 2022-09-13 2022-09-13 Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations Pending DE102022123295A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022123295.6A DE102022123295A1 (en) 2022-09-13 2022-09-13 Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022123295.6A DE102022123295A1 (en) 2022-09-13 2022-09-13 Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations

Publications (1)

Publication Number Publication Date
DE102022123295A1 true DE102022123295A1 (en) 2024-03-14

Family

ID=90054900

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022123295.6A Pending DE102022123295A1 (en) 2022-09-13 2022-09-13 Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations

Country Status (1)

Country Link
DE (1) DE102022123295A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157410A1 (en) 2014-04-08 2015-10-15 Tk Holdings Inc. System and method for night vision object detection and driver assistance
US20160071279A1 (en) 2014-09-08 2016-03-10 Intel Corporation Disparity determination for images from an array of disparate image sensors
EP2353298B1 (en) 2008-11-07 2019-04-03 Telecom Italia S.p.A. Method and system for producing multi-view 3d visual contents
EP3477540A1 (en) 2017-10-27 2019-05-01 Samsung Electronics Co., Ltd. Method and apparatus for tracking object
US20200177935A1 (en) 2017-08-22 2020-06-04 Kabushiki Kaisha Toshiba Smart camera, image processing apparatus, and data communication method
EP3723364A1 (en) 2017-12-04 2020-10-14 Sony Corporation Image processing device and image processing method
EP3659002B1 (en) 2017-08-23 2021-06-02 Uatc, Llc Vehicle interface for autonomous vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2353298B1 (en) 2008-11-07 2019-04-03 Telecom Italia S.p.A. Method and system for producing multi-view 3d visual contents
WO2015157410A1 (en) 2014-04-08 2015-10-15 Tk Holdings Inc. System and method for night vision object detection and driver assistance
US20160071279A1 (en) 2014-09-08 2016-03-10 Intel Corporation Disparity determination for images from an array of disparate image sensors
US20200177935A1 (en) 2017-08-22 2020-06-04 Kabushiki Kaisha Toshiba Smart camera, image processing apparatus, and data communication method
EP3659002B1 (en) 2017-08-23 2021-06-02 Uatc, Llc Vehicle interface for autonomous vehicle
EP3477540A1 (en) 2017-10-27 2019-05-01 Samsung Electronics Co., Ltd. Method and apparatus for tracking object
EP3723364A1 (en) 2017-12-04 2020-10-14 Sony Corporation Image processing device and image processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAJEBI, Kiana; ZELEK, John S. Structure from infrared stereo images. In: 2008 Canadian Conference on Computer and Robot Vision. IEEE, 2008. S. 105-112.
MA, Yong, et al. Visible/infrared combined 3D reconstruction scheme based on nonrigid registration of multi-modality images with mixed features. IEEE Access, 2019, 7. Jg., S. 19199-19211.

Similar Documents

Publication Publication Date Title
DE69624614T2 (en) Stereo matching and inequality measurement method
EP1589484B1 (en) Method for detecting and/or tracking objects
DE112017007579T5 (en) Process and system for automatic coloring of night vision images
DE102009012441B4 (en) Method for reducing the memory requirement when determining disparity values for at least two stereoscopically recorded images
WO2002103385A1 (en) Method for preparing image information
DE112018000107T5 (en) Vehicle camera calibration apparatus and method
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
DE102009048699A1 (en) Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface
DE102020129096A1 (en) GENERATION OF THREE-DIMENSIONAL POINT CLOUDS USING A POLARIMETRIC CAMERA IN A VEHICLE EQUIPPED WITH A DRIVING ASSISTANT SYSTEM
DE102016208056A1 (en) Method and device for processing image data and driver assistance system for a vehicle
DE102013205854B4 (en) Method for detecting a free path using temporary coherence
EP1460454B1 (en) Method for combined processing of high resolution images and video images
DE102007013664A1 (en) Tool e.g. blade, measuring and/or adjusting device, has rolling nut designed as roller ring transmission comprising set of roller-supported roller rings with variable upward gradient
DE202016007867U1 (en) Control the line of sight angle of an image processing platform
DE102021124986A1 (en) IMAGE COLORING FOR VEHICLE CAMERA IMAGES
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE112017007695T5 (en) FACETE EYE IMAGING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND RECORDING MEDIUM
DE112016000689T5 (en) Kameraparametereinstellvorrichtung
DE102012000459A1 (en) Method for detecting object e.g. vehicle in surrounding area, involves transforming segments with classification surfaces into two-dimensional representation of environment, and searching and classifying segments in representation
DE112014006493T5 (en) Determine a scale of three-dimensional information
DE102019209473A1 (en) Method and device for the rapid detection of repetitive structures in the image of a street scene
DE102022123295A1 (en) Stereo vision system, driver assistance system and method for generating a stereo vision from two 2D representations
DE102014206677A1 (en) Camera system and method for detecting an environment of a vehicle
DE102016212730A1 (en) Vehicle camera device with image evaluation electronics
DE102019102423A1 (en) Method for live annotation of sensor data

Legal Events

Date Code Title Description
R163 Identified publications notified