DE102012207716A1

DE102012207716A1 - Optical scanning system for scanning environment of motor car, has processing unit making combined evaluation of information of images, and illumination device provided in infrared region for illuminating environment

Info

Publication number: DE102012207716A1
Application number: DE201210207716
Authority: DE
Inventors: Thomas Focke; Reinhard Meschenmoser; Thomas Engelberg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2012-05-09
Filing date: 2012-05-09
Publication date: 2013-11-14

Abstract

The system (100) has two image sensors i.e. cameras (135, 140), for receiving two images of an environment (155) of a motor car (105) in a viewable spectral region and an invisible infrared region, respectively. A processing unit (125) makes combined evaluation of information of the images. An illumination device (145) is provided in the infrared region for illuminating the environment. Infrared light emitted by the illumination device impresses a two-dimensional geometric structure. The processing unit determines depth information in one of the images based on reflections of the structure. An independent claim is also included for a method for optical scanning of an environment of a motor car.

Description

Die Erfindung betrifft ein optisches Abtastsystem für ein Kraftfahrzeug mit den Merkmalen von Anspruch 1 und ein Verfahren zum optischen Abtasten einer Umgebung eines Kraftfahrzeugs mit den Merkmalen von Anspruch 9. The invention relates to an optical scanning system for a motor vehicle having the features of claim 1 and a method for optically scanning an environment of a motor vehicle having the features of claim 9.

Stand der TechnikState of the art

Die Verwendung optischer Abtastsysteme unterschiedlicher Ausprägungen für Kraftfahrzeuge ist bekannt. Häufig erfolgt eine optische Abtastung einer Umgebung des Kraftfahrzeugs, um eine Fahrbahnmarkierung zu erfassen und daraus eine Warnung vor einem Verlassen der Fahrspur bereitzustellen. Ferner ist es üblich, im Bereich von Personen- oder Lastkraftwagen eine rückwärtsgerichtete Kamera zu verwenden, um einem Fahrer des Kraftfahrzeugs während einer Rückwärtsfahrt Bilder eines hinter dem Kraftfahrzeug liegenden Bereichs bereitzustellen. The use of optical scanning systems of different types for motor vehicles is known. Frequently, an optical scanning of an environment of the motor vehicle takes place in order to detect a lane marking and to provide a warning before leaving the lane. Furthermore, it is customary to use a rear-facing camera in the area of passenger cars or trucks in order to provide a driver of the motor vehicle with images of a region behind the motor vehicle during a reverse drive.

Ein System zur Bereitstellung einer Warnung vor dem Verlassen einer Fahrspur (lane departure warning) ist beispielsweise aus US 7,400,236 B2 bekannt. Dabei kann sowohl eine nach vorne als auch eine nach hinten gerichtete Kamera verwendet werden. For example, a system for providing a lane departure warning is off US 7,400,236 B2 known. Both a forward and a rear facing camera can be used.

In WO 2007/028630 A1 ist ein optisches Abtastsystem für ein Kraftfahrzeug beschrieben, welches zusätzlich zu einer Kamera im sichtbaren Spektralbereich eine weitere Kamera im infraroten Spektralbereich verwendet. Auf einer Anzeige im Sichtbereich eines Fahrers des Kraftfahrzeugs kann ein Bild eines Blickfeldes der beiden Kameras dargestellt werden, wobei einzelne Bildelemente (Pixel) farblich hervorgehoben werden können, die Bereiche repräsentieren, die für den Betrieb des Kraftfahrzeugs kritisch sind. In WO 2007/028630 A1 An optical scanning system for a motor vehicle is described, which uses a further camera in the infrared spectral range in addition to a camera in the visible spectral range. On a display in the field of vision of a driver of the motor vehicle, an image of a field of view of the two cameras can be displayed, wherein individual pixels (pixels) can be highlighted, representing areas that are critical for the operation of the motor vehicle.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes optisches Abtastsystem für ein Kraftfahrzeug anzugeben, um optische Informationen einer Umgebung verbessert aufzubereiten. Eine weitere Aufgabe der Erfindung besteht in der Angabe eines entsprechenden Verfahrens. The invention has for its object to provide an improved optical scanning system for a motor vehicle to improve the visual information of an environment improved. Another object of the invention is to specify a corresponding method.

Die Erfindung löst diese Aufgaben mittels eines optischen Abtastsystems nach Anspruch 1 und eines optischen Abtastverfahrens nach Anspruch 9. Unteransprüche geben bevorzugte Ausführungsformen wieder. The invention solves these objects by means of an optical scanning system according to claim 1 and an optical scanning method according to claim 9. Subclaims give preferred embodiments again.

Offenbarung der ErfindungDisclosure of the invention

Ein erfindungsgemäßes optisches Abtastsystem für ein Kraftfahrzeug umfasst einen ersten Bildsensor zur Aufnahme eines ersten Bildes einer Umgebung des Kraftfahrzeugs im sichtbaren Spektralbereich, einen zweiten Bildsensor zur Aufnahme eines zweiten Bildes der Umgebung des Kraftfahrzeugs im unsichtbaren Infrarotbereich, eine Verarbeitungseinrichtung zur kombinierten Auswertung von Informationen des ersten und des zweiten Bildes, sowie eine Beleuchtungseinrichtung im Infrarotbereich zur Beleuchtung der Umgebung. Dabei ist dem durch die Beleuchtungseinrichtung ausgesandten Infrarotlicht eine geometrische Struktur aufgeprägt. An inventive optical scanning system for a motor vehicle comprises a first image sensor for recording a first image of an environment of the motor vehicle in the visible spectral range, a second image sensor for receiving a second image of the environment of the motor vehicle in the invisible infrared range, a processing device for the combined evaluation of information of the first and of the second image, and a lighting device in the infrared to illuminate the environment. In this case, the infrared light emitted by the illumination device has a geometric structure impressed on it.

Erfindungsgemäß ist es nicht nur möglich, eine Analyse optischer Informationen der Daten aus den Spektralbereichen beider Bildsensoren durchzuführen und damit einen Informationsgehalt gegenüber rein im sichtbaren Bereich arbeitenden optischen Systemen zu erweitern, sondern zusätzlich auch eine Beleuchtung im Infrarotbereich zu verwenden, die üblichen Einschränkungen von Beleuchtungseinrichtungen im sichtbaren Spektralbereich, beispielsweise einer Blendfreiheit anderer Verkehrsteilnehmer nicht unterliegt. Durch die Verwendung von strukturiertem Infrarotlicht kann eine Verarbeitung des zweiten Bildes durch die Verarbeitungseinrichtung erleichtert sein. According to the invention, it is not only possible to perform an analysis of optical information of the data from the spectral ranges of both image sensors and thus to expand an information content compared to optical systems operating purely in the visible range, but also to use a lighting in the infrared range, the usual limitations of lighting devices in the visible spectral range, for example, a dazzle of other road users is not subject. Through the use of structured infrared light, processing of the second image by the processing device can be facilitated.

Das strukturierte Infrarotlicht kann es insbesondere erlauben, Tiefeninformationen des zweiten Bildes zu bestimmen. Dadurch kann beispielsweise eine Ausgabe des ersten und des zweiten Bildes mit erhöhtem Kontrast oder mit hervorgehobenen Konturen erfolgen. Eine weitere Verarbeitung der Bildinformationen, sowohl des zweiten Bildes als auch eines aus dem ersten und dem zweiten Bild zusammengeführten Bildes, kann durch die Tiefeninformationen erleichtert bzw. verbessert sein. The structured infrared light may in particular allow to determine depth information of the second image. As a result, for example, an output of the first and the second image can take place with increased contrast or with emphasized contours. Further processing of the image information, both the second image and an image merged from the first and the second image, can be facilitated or improved by the depth information.

Die geometrische Struktur kann eine matrixartige Anordnung von hellen und dunklen Bereichen enthalten. Es kann beispielsweise eine zweidimensionale Matrix definiert sein, an deren regelmäßig angeordneten Rasterpunkten entweder ein heller oder ein dunkler Bereich liegt, die Umgebung also entweder mit Infrarotlicht beleuchtet wird oder nicht. Durch die Rasterung des Infrarotlichts kann die Bereitstellung von Tiefeninformationen im zweiten Bild erleichtert sein, da Gebiete von hellen und dunklen Bereichen identifiziert werden können, um Abstandsinformationen für unterschiedliche Gebiete zu bestimmen. The geometric structure may include a matrix-like arrangement of light and dark areas. For example, a two-dimensional matrix may be defined on whose regularly arranged grid points either a bright or a dark area lies, ie the environment is either illuminated with infrared light or not. The screening of the infrared light can facilitate the provision of depth information in the second image, since areas of light and dark areas can be identified to determine distance information for different areas.

Die matrixartige Anordnung kann durch eine pseudozufällige binäre Sequenz bestimmt sein. Eine derartige Sequenz kann beispielsweise eine Maximalfolge (auch: „Folge maximaler Länge“, „Maximum Length Sequence“, MLS) sein, die leicht regelbasiert herstellbar ist. Eine Störanfälligkeit der Bestimmung kann durch die pseudozufällige Verteilung der hellen und dunklen Bereiche reduziert sein. The matrix-like arrangement may be determined by a pseudo-random binary sequence. Such a sequence may, for example, be a maximum sequence (also: "sequence of maximum length", "maximum length sequence", MLS) which can easily be produced on a rule-based basis. A susceptibility of the determination can be reduced by the pseudo-random distribution of the light and dark areas.

Die Matrix ist vorzugsweise zweidimensional. Durch die zweidimensionale Matrix kann auf rasche und einfache Weise ein dreidimensionaler Bereich der Umgebung abtastbar sein. The matrix is preferably two-dimensional. Due to the two-dimensional matrix, a three-dimensional region of the environment can be scanned in a rapid and simple manner.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, auf der Basis der aufgenommenen Bilder eine Entfernung zu einem Objekt zu bestimmen. Eine Hinderniswarnung auf der Basis der bestimmten Entfernung kann dadurch bestimmbar sein. Außerdem kann eine Objekterkennung auf der Basis von Entfernungsinformationen durchführbar sein, um beispielsweise zwischen relevanten und irrelevanten Objekten zu unterscheiden. The processing device may be configured to determine a distance to an object based on the captured images. An obstacle warning on the basis of the determined distance can thereby be determinable. In addition, object recognition may be feasible on the basis of distance information, for example to distinguish between relevant and irrelevant objects.

Die Tiefeninformationen wird vorzugsweise ferner auf der Basis eines lateralen Abstands zwischen dem zweiten Bildsensor und der Beleuchtungseinrichtung bestimmt. Reflektionen der hellen Bereiche auf einem Objekt können erfasst und die Tiefeninformationen auf der Basis einer Parallaxenverschiebung bestimmt werden. The depth information is preferably further determined based on a lateral distance between the second image sensor and the illumination device. Reflections of the bright areas on an object can be detected and the depth information determined based on a parallax shift.

Auf der Basis des zweiten aufgenommenen Bildes kann auch eine Fahrbahnstruktur erfasst werden. Dazu können insbesondere die Tiefeninformationen verwendet werden, um eine schnelle und sichere Bestimmung durchführen zu können.On the basis of the second recorded image, a roadway structure can also be detected. In particular, the depth information can be used in order to be able to carry out a fast and reliable determination.

Ein erfindungsgemäßes Verfahren zum optischen Abtasten einer Umgebung eines Kraftfahrzeugs umfasst Schritte des Erfassens eines ersten Bildes der Umgebung in einem sichtbaren Spektralbereich, des Beleuchtens der Umgebung im unsichtbaren Infrarotbereich mittels einer Beleuchtungseinrichtung, wobei dem ausgesandten Infrarotlicht eine geometrische Struktur aufgeprägt ist, sowie des Erfassens eines zweiten Bildes der Umgebung im Infrarotbereich und des kombiniertes Auswertens von Informationen des ersten und des zweiten Bildes. Das Verfahren kann als Computerprogrammprodukt auf einem programmierbaren Mikrocomputer ausgeführt werden.An inventive method for optically scanning an environment of a motor vehicle comprises steps of capturing a first image of the environment in a visible spectral range, illuminating the environment in the invisible infrared range by means of a lighting device, wherein the emitted infrared light is imprinted with a geometric structure, and detecting a second Image of the environment in the infrared range and the combined evaluation of information of the first and the second image. The method can be executed as a computer program product on a programmable microcomputer.

Durch das kombinierte Auswerten von Informationen der beiden Bilder können sichtbare Informationen durch solche verbessert werden, die erst durch die strukturierte Beleuchtung erfassbar sind. Dabei kann die Beleuchtung so erfolgen, dass ein optimales Erfassungsergebnis unter Wahrung einer Blendfreiheit einer umstehenden Person, insbesondere eines anderen Verkehrsteilnehmers, erzielt wird. Through the combined evaluation of information of the two images visible information can be improved by those that are only detectable by the structured lighting. In this case, the illumination can take place in such a way that an optimum detection result is achieved while maintaining a glare-free area for a surrounding person, in particular another road user.

Vorzugsweise umfasst das Auswerten das Bestimmen eines Abstands zu einem Objekt und es wird ein Signal ausgegeben, falls der Abstand unterhalb eines vorbestimmten Schwellenwerts liegt. Das Signal kann einen Fahrer des Kraftfahrzeugs vor einer drohenden Kollision warnen. Das Verfahren kann insbesondere auf der Basis von Bildern durchgeführt werden, die hinter dem Kraftfahrzeug aufgenommen sind, so dass dem Fahrer eine verbesserter Abstandswarner für Rückwärtsfahrt bereitgestellt sein kann. Preferably, the evaluating includes determining a distance to an object and outputting a signal if the distance is below a predetermined threshold. The signal may warn a driver of the motor vehicle of an impending collision. In particular, the method may be performed on the basis of images taken behind the motor vehicle so that the driver may be provided with an improved distance warning device for reversing.

Das Auswerten kann auch ein Bestimmen des Verlassens einer Fahrspur durch das Kraftfahrzeug umfassen, um einem Fahrer eine rechtzeitige Warnung zukommen zu lassen.The evaluation may also include determining the leaving of a lane by the motor vehicle to provide a driver with a timely warning.

Die Bildsensoren können in einem multispektralen Bildsensor integriert ausgeführt sein, wobei der multispektrale Bildsensor zur Aufnahme eines kombinierten Bildes eingerichtet ist, welches die Informationen des ersten und des zweiten Bildes umfasst.The image sensors can be embodied integrated in a multispectral image sensor, wherein the multispectral image sensor is set up to record a combined image which comprises the information of the first and the second image.

Die Umgebung kann bezüglich einer Hauptbewegungsrichtung hinter dem Kraftfahrzeug liegen. Dabei kann Beleuchtungseinrichtung in ein Rücklicht zur Aussendung von Licht im sichtbaren Spektralbereich integriert sein.The environment may be behind the motor vehicle with respect to a main direction of movement. In this case, illumination device can be integrated into a tail light for emitting light in the visible spectral range.

Die Beleuchtungseinrichtung kann in ein Rücklicht zur Aussendung von Licht im sichtbaren Spektralbereich integriert sein.The illumination device can be integrated into a tail light for emitting light in the visible spectral range.

Die Beleuchtungseinrichtung kann dazu eingerichtet sein, das ausgesandte Infrarotlicht mittels eines Modulationssignals zeitlich zu modulieren und der zweite Bildsensor dazu, auf der Basis des Modulationssignals eine Entfernung zu einem das ausgesandte Infrarotlicht reflektierenden Gegenstand in der Umgebung zu bestimmen. The illumination device may be configured to time-modulate the emitted infrared light by means of a modulation signal and the second image sensor to determine, based on the modulation signal, a distance to an emitted infrared-reflective object in the environment.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, bei Rückwärtsfahrt des Kraftfahrzeugs auf der Basis der aufgenommenen Bilder ein hinter dem Kraftfahrzeug liegendes Hindernis in der Umgebung zu erfassen.The processing device can be set up to detect an obstacle behind the motor vehicle in the surroundings when the motor vehicle is reversing on the basis of the recorded images.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, bei Vorwärtsfahrt auf der Basis der aufgenommenen Bilder eine Struktur zu erfassen, die auf eine Position des Kraftfahrzeugs auf einer Fahrspur hinweist. Die Struktur kann insbesondere eine Fahrbahnmarkierung oder einen Bordstein umfassen.The processing device may be configured to detect a structure indicative of a position of the motor vehicle in a lane when driving forward on the basis of the captured images. The structure may in particular comprise a lane marking or a curb.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, auf der Basis der aufgenommenen Bilder eine Fahrbahnstruktur zu erfassen.The processing device may be configured to detect a roadway structure based on the captured images.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, auf der Basis von zu unterschiedlichen Zeitpunkten aufgenommenen Bildern eine Bewegung des Kraftfahrzeugs zu bestimmen.The processing device may be configured to determine a movement of the motor vehicle on the basis of images recorded at different times.

Die Komponenten des Abtastsystems können teilweise oder vollständig in vorhandene Komponenten des Kraftfahrzeugs, wie beispielsweise Vorderlicht oder Rücklicht, integriert sein.The components of the scanning system may be partially or completely existing Components of the motor vehicle, such as headlight or taillight, be integrated.

Kurze Beschreibung der FigurenBrief description of the figures

Die Erfindung wird nun mit Bezug auf die beigefügten Figuren genauer beschrieben, in denen: The invention will now be described in more detail with reference to the attached figures, in which:

1 eine schematische Darstellung eines Kraftfahrzeugs mit einem optischen Abtastsystem; 1 a schematic representation of a motor vehicle with an optical scanning system;

2 eine perspektivische Ansicht eines Kraftfahrzeugs; 2 a perspective view of a motor vehicle;

3 eine exemplarische Darstellung von Objekten, die von strukturiertem Licht beleuchtet sind, und 3 an exemplary representation of objects that are illuminated by structured light, and

4 ein Ablaufdiagramm eines Verfahrens zum optischen Abtasten einer Umgebung eines Kraftfahrzeugs entsprechend den 1 bis 3 darstellt. 4 a flowchart of a method for optically sensing an environment of a motor vehicle according to the 1 to 3 represents.

Genaue Beschreibung von Ausführungsbeispielen Detailed description of embodiments

1 zeigt ein optisches Abtastsystem 100 an Bord eines Kraftfahrzeugs 105. Durch einen Pfeil 110 ist eine bevorzugte Fahrrichtung des Kraftfahrzeugs 105 angegeben; diesbezüglich sind im Folgenden verwendete Richtungsangaben vor bzw. hinter dem Kraftfahrzeug 105 definiert. Das Kraftfahrzeug 105 umfasst ferner ein Vorderlicht 115 und ein Rücklicht 120. 1 shows an optical scanning system 100 on board a motor vehicle 105 , By an arrow 110 is a preferred direction of travel of the motor vehicle 105 specified; In this regard, directional indications used in the following are in front of or behind the motor vehicle 105 Are defined. The car 105 further includes a headlight 115 and a taillight 120 ,

Das Abtastsystem 100 umfasst eine Verarbeitungseinrichtung 125, eine Ausgabeeinrichtung 130, eine erste Kamera 135 und eine zweite Kamera 140, eine Beleuchtungseinrichtung 145 sowie ein optisches System 150, das mit der Beleuchtungseinrichtung 145 gekoppelt ist. Die Verarbeitungseinrichtung 125 ist mit der Ausgabeeinrichtung 130, den Kameras 135 und 140 sowie der Beleuchtungseinrichtung 145 verbunden. Die erste Kamera 135 und die zweite Kamera 140 sind in 1 unmittelbar aneinander angrenzend dargestellt. Damit wird symbolisiert, dass die für den jeweiligen Spektralbereich empfindlichen Elemente innerhalb eines so genannten Imagers angeordnet sind. In anderen Ausführungsformen kann auch ein vorbestimmter Abstand (Basislinie) zwischen den Kameras 135 und 140 bestehen. Die Basislinie wird üblicherweise in lateraler Richtung, also senkrecht zu einer Blickrichtung der Kameras 135, 140 bzw. der Beleuchtungseinrichtung 145 bestimmt. Die Kameras 135 und 140 weisen auch eine vorbestimmte relative Orientierung zueinander auf, das heißt, dass Blickfelder der Kameras 135 und 140 auf eine Umgebung 155 des Kraftfahrzeugs 105 zueinander korrespondieren. The scanning system 100 comprises a processing device 125 , an output device 130 , a first camera 135 and a second camera 140 , a lighting device 145 as well as an optical system 150 that with the lighting device 145 is coupled. The processing device 125 is with the output device 130 , the cameras 135 and 140 and the lighting device 145 connected. The first camera 135 and the second camera 140 are in 1 shown immediately adjacent to each other. This symbolizes that the elements sensitive to the respective spectral range are arranged within a so-called imager. In other embodiments, there may also be a predetermined distance (baseline) between the cameras 135 and 140 consist. The baseline is usually in the lateral direction, that is perpendicular to a viewing direction of the cameras 135 . 140 or the lighting device 145 certainly. The cameras 135 and 140 also have a predetermined relative orientation to each other, that is, fields of view of the cameras 135 and 140 on an environment 155 of the motor vehicle 105 correspond to each other.

Die Beleuchtungseinrichtung 145 ist vorzugsweise im Rücklicht 120 angeordnet und dazu eingerichtet, für einen Menschen unsichtbares Infrarotlicht in die Umgebung 155 abzustrahlen. Der sichtbare Spektralbereich von Licht weist eine Wellenlänge von ca. 380–780nm auf, während das abgestrahlte Infrarotlicht im nahen Infrarotbereich (ca. 0,78–3 μm), im mittleren Infrarotbereich (ca. 3–50μm) und/oder im entfernten Infrarotbereich (ca. 50–1000 μm) liegen kann. Bevorzugterweise umfasst die Beleuchtungseinrichtung145 eine Infrarot-Leuchtdiode oder eine Infrarot-Laserdiode. Diese Lichtquellen sind für den Bereich 0,8–1.6 μm verfügbar und somit preiswert realisierbar. The lighting device 145 is preferably in the tail light 120 arranged and set up, invisible to a human infrared light into the environment 155 radiate. The visible spectral range of light has a wavelength of about 380-780nm, while the radiated infrared light in the near infrared range (about 0.78-3 microns), in the mid-infrared range (about 3-50μm) and / or in the far infrared range (about 50-1000 microns) can be. Preferably, the illumination device 145 includes an infrared light emitting diode or an infrared laser diode. These light sources are available for the range 0.8-1.6 μm and can therefore be realized inexpensively.

Ein optisches System 150, durch welches von der Beleuchtungseinrichtung 145 ausgestrahltes Infrarotlicht fällt, ist optional. Das optische System 150 prägt auf das Infrarotlicht eine ein- oder zweidimensionale Struktur auf. Die Struktur kann insbesondere Linien oder ein Gitter umfassen. In einer Ausführungsform umfasst das optische System 150 einen rotierbaren Polygonspiegel, um der Infrarotstrahlung eine strichförmige Geometrie aufzuprägen. Im Bereich der Beleuchtungseinrichtung 145 bzw. im Bereich des optischen Systems 150 kann eine Anordnung von Blenden montiert sein, welche die von der Beleuchtungseinrichtung 145 in die Umgebung 155 gerichtete Infrarotstrahlung auf einen vorbestimmten Bereich begrenzt. An optical system 150 through which of the lighting device 145 emitted infrared light falls, is optional. The optical system 150 imposes a one- or two-dimensional structure on the infrared light. The structure may in particular comprise lines or a grid. In an embodiment, the optical system comprises 150 a rotatable polygon mirror to impart a line-shaped geometry to the infrared radiation. In the field of lighting equipment 145 or in the area of the optical system 150 For example, an array of apertures may be mounted that correspond to those of the illuminator 145 in the nearby areas 155 directed infrared radiation limited to a predetermined range.

Ein Objekt 160 in der Umgebung 155 des Kraftfahrzeugs 105, die in den Blickfeldern der Kameras 135 bzw. 140 liegt, kann dann optisch erfasst werden, wenn Licht eines entsprechenden Spektralbereichs von dem Objekt 160 zur Kamera 135 bzw. 140 gelangt. Das Objekt 160 kann beispielsweise durch von der Sonne 165 ausgehendes Licht beleuchtet sein, das am Objekt 160 reflektiert wird. Dabei können sowohl Komponenten sichtbaren Lichts als auch Infrarot-Komponenten umfasst sein. Das Objekt 160 kann auch beispielsweise durch einen Scheinwerfer oder eine Straßenbeleuchtung mit sichtbarem und optional auch infrarotem Licht angestrahlt werden, welches am Objekt 160 in eine der Kameras 135 oder 140 reflektiert wird. An object 160 in the neighborhood 155 of the motor vehicle 105 in the field of view of the cameras 135 respectively. 140 can then be optically detected when light of a corresponding spectral range from the object 160 to the camera 135 respectively. 140 arrives. The object 160 for example, by the sun 165 Outgoing light to be illuminated, the object 160 is reflected. In this case, both components of visible light and infrared components can be included. The object 160 can also be illuminated for example by a headlight or street lighting with visible and optionally infrared light, which is on the object 160 in one of the cameras 135 or 140 is reflected.

Unabhängig von schlechten Lichtverhältnissen im sichtbaren Spektralbereich kann das Objekt 160 mittels der Beleuchtungseinrichtung 145 im infraroten Spektralbereich beleuchtet werden, sodass die Aufnahme eines Bildes wenigstens mittels der zweiten Kamera 140 möglich ist. Regardless of low light conditions in the visible spectral range, the object can 160 by means of the illumination device 145 be illuminated in the infrared spectral range, so that the recording of an image at least by means of the second camera 140 is possible.

Die Verarbeitungseinrichtung 125 ist dazu eingerichtet, ein erstes, aus dem sichtbaren Spektralbereich (von der ersten Kamera 135) aufgenommenes Bild und ein zweites, aus dem unsichtbaren Infrarotspektralbereich (von der zweiten Kamera 140) aufgenommenes Bild in Korrelation zueinander zu bringen und gemeinsam auszuwerten. Gegenüber einer Auswertung eines Bildes, welches in nur einem schmalen Spektralbereich erstellt wurde, können auf diese Weise erweiterte Informationen über die Umgebung 155 hinter dem Kraftfahrzeug 105 bereitgestellt werden. The processing device 125 is adapted to a first, from the visible spectral range (from the first camera 135 ) and a second, from the invisible infrared spectral range (from the second camera 140 ) taken in correlation to each other bring and evaluate together. Compared to an evaluation of an image, which was created in only a narrow spectral range, can in this way extended information about the environment 155 behind the motor vehicle 105 to be provided.

Infrarotlicht, das von der Beleuchtungseinrichtung 145 mit oder ohne das optische System 150 in die Umgebung 155 des Kraftfahrzeugs 105 abgegeben wird, kann vorbestimmte Eigenschaften aufweisen, welche eine Analyse des durch die zweite Kamera 140 aufgenommenen zweiten Bildes vereinfachen kann. Dazu zählt neben der gegebenenfalls mittels des optischen Systems 150 aufgeprägten geometrischen Struktur in einer zusätzlichen oder alternativen Ausführungsform eine zeitliche Modulation der Beleuchtungseinrichtung 145. Enthält die zweite Kamera 140 einen PMD-Sensor (PMD: Photonic Mixer Device), so kann in Verbindung mit dem zeitlich modulierten Infrarotlicht die Beleuchtungseinrichtung 145 eine TOF-Kamera (TOF: Time Of Flight) realisiert sein, die in der Lage ist, eine Entfernung des Objekts 160 zu bestimmen. Dabei nimmt die zweite Kamera 140 in einer Bildebene eine Anzahl Bildelemente („Pixel“) auf, wobei die Entfernungsbestimmung für jedes Pixel gesondert durchgeführt werden kann. Eine Erkennung des Objekts 160 in dem von der zweiten Kamera 140 bereitgestellten Bild kann dadurch erfolgen, dass nur Bildpunkte betrachtet werden, die einer Entfernung zugeordnet sind, die einen vorbestimmten Schwellenwert unterschreiten. Eine aufwendige Erkennung des Objekts 160 mittels Bildverarbeitungs-Algorithmen kann auf diese Weise umgangen oder ergänzt werden. Infrared light coming from the lighting device 145 with or without the optical system 150 in the nearby areas 155 of the motor vehicle 105 may have predetermined properties, which is an analysis of the by the second camera 140 Simplify captured second image. This includes, if necessary, by means of the optical system 150 imprinted geometric structure in an additional or alternative embodiment, a temporal modulation of the illumination device 145 , Contains the second camera 140 a PMD sensor (PMD: Photonic Mixer Device), so in conjunction with the temporally modulated infrared light, the illumination device 145 a TOF camera (TOF: Time Of Flight) can be realized, which is capable of removing the object 160 to determine. It takes the second camera 140 in an image plane, a number of pixels ("pixels"), wherein the distance determination for each pixel can be performed separately. A recognition of the object 160 in the second camera 140 provided image can be done by only looking at pixels that are associated with a distance that falls below a predetermined threshold. An elaborate recognition of the object 160 By means of image processing algorithms can be bypassed or supplemented in this way.

Die Erkennung des Objekts 160 auf der Basis des ersten und des zweiten Bildes, die von der ersten Kamera 135 und der zweiten Kamera 140 bereitgestellt sind, kann unterschiedlichen Zwecken dienen. Befindet sich das Kraftfahrzeug 105 in Rückwärtsfahrt, beispielsweise während eines Einparkvorgangs, so kann vor einer drohenden Kollision mit dem Objekt 160 gewarnt werden. Eine entsprechende Warnung kann mittels der Ausgabeeinrichtung 130 optisch, akustisch und/oder haptisch ausgegeben werden. In einer Ausführungsform ist die Ausgabeeinrichtung 130 ein zweidimensionaler Anzeigebildschirm, auf dem eine graphische Darstellung der Umgebung 155 hinter dem Kraftfahrzeug 100 dargestellt wird. Erfasste Gegenstände, wie das Objekt 160, können bezüglich ihrer Relevanz bewertet und dementsprechend beispielsweise farblich markiert sein. Ein problemlos überfahrbares Objekt 160 kann beispielsweise grün, ein gerade noch überfahrbares Objekt 160 in gelb und ein nicht überfahrbares Objekt 160 in rot dargestellt werden. The recognition of the object 160 based on the first and second images taken by the first camera 135 and the second camera 140 can serve different purposes. Is the motor vehicle 105 in reverse, for example, during a parking operation, so may before an imminent collision with the object 160 be warned. A corresponding warning can be made by means of the output device 130 be issued optically, acoustically and / or haptically. In one embodiment, the output device is 130 a two-dimensional display screen on which a graphical representation of the environment 155 behind the motor vehicle 100 is pictured. Captured objects, such as the object 160 , can be evaluated in terms of their relevance and accordingly, for example, be marked in color. An easily passable object 160 may, for example, be green, a just overrideable object 160 in yellow and a non-drivable object 160 be shown in red.

Die Verarbeitungseinrichtung 125 kann auch dazu eingerichtet sein, auf der Basis von ersten und zweiten Bildern, die durch die Kameras 135 und 140 aufgenommen wurden, Bewegungsinformationen für das Kraftfahrzeug 105 zu bestimmen. Auf diese Weise kann beispielsweise eine Gierrate des Kraftfahrzeugs 105 bestimmt werden.The processing device 125 can also be set up on the basis of first and second pictures taken by the cameras 135 and 140 were recorded, movement information for the motor vehicle 105 to determine. In this way, for example, a yaw rate of the motor vehicle 105 be determined.

Die Verarbeitungseinrichtung 125 kann auch dazu eingerichtet sein, die Beschaffenheit einer Fahrbahn 170 im Bereich der Umgebung 155 hinter dem Kraftfahrzeug 105 zu bestimmen. Die Beschaffenheit kann sowohl eine geometrische Komponente, beispielsweise eine horizontale und/oder vertikale Krümmung der Fahrbahn 170, als auch eine Oberflächenbeschaffenheit der Fahrbahn 170 umfassen. Die Oberflächenbeschaffenheit kann ferner durch den Untergrund selbst, beispielsweise Asphalt, Schotter, Sand etc., als auch durch einen Zustand, beispielsweise gefroren, nass, vereist, etc., bestimmt sein. The processing device 125 may also be adapted to the nature of a roadway 170 in the area of the environment 155 behind the motor vehicle 105 to determine. The condition can be both a geometric component, for example, a horizontal and / or vertical curvature of the road 170 , as well as a surface condition of the roadway 170 include. The surface finish may also be determined by the substrate itself, such as asphalt, gravel, sand, etc., as well as a condition such as frozen, wet, icy, etc.

In einer Ausführungsform ist die Verarbeitungseinrichtung 125 dazu eingerichtet, in Abhängigkeit der bestimmten Beschaffenheit der Fahrbahn 170 eine horizontale und/oder vertikale Einstellung des Vorderlichts 115 des Kraftfahrzeugs 105 vorzunehmen.In one embodiment, the processing device is 125 set up depending on the specific nature of the roadway 170 a horizontal and / or vertical adjustment of the front light 115 of the motor vehicle 105 make.

2 zeigt eine perspektivische Ansicht 200 eines Kraftfahrzeugs 205 von hinten. Das Kraftfahrzeug 205 ist eine alternative Ausführungsform des Kraftfahrzeugs 105 aus 1. An Bord des Kraftfahrzeugs 205 ist ein Abtastsystem 100 entsprechend dem oberen mit Bezug auf 1 beschriebenen Abtastsystem 100 angeordnet. 2 shows a perspective view 200 of a motor vehicle 205 from behind. The car 205 is an alternative embodiment of the motor vehicle 105 out 1 , On board the motor vehicle 205 is a scanning system 100 according to the upper with respect to 1 described scanning system 100 arranged.

In einem linken und einem rechten Rücklicht 120 des Kraftfahrzeugs 205 ist jeweils eine Beleuchtungseinrichtung 145 mit einem optischen System 150 angeordnet. Das mittels der Beleuchtungseinrichtungen 145 im Bereich der Umgebung 155 hinter dem Kraftfahrzeug 205 ausgesandte Infrarotlicht hat eine gitterförmige geometrische Struktur 210 aufgeprägt. Ein dreidimensionales Objekt im Bereich der geometrischen Struktur 210, wie ein Bordstein 215 auf einer rechten Seite des Kraftfahrzeugs 205 kann dadurch erkannt werde, dass in den durch die Kameras 135 bzw. 140 aufgenommenen Bildern wenigstens eine Linie der geometrischen Struktur 210 deformiert erscheint, in der Darstellung von 2 beispielsweise als geknickte Linie. In a left and a right tail light 120 of the motor vehicle 205 each is a lighting device 145 with an optical system 150 arranged. This by means of lighting devices 145 in the area of the environment 155 behind the motor vehicle 205 emitted infrared light has a lattice-shaped geometric structure 210 impressed. A three-dimensional object in the area of the geometric structure 210 like a curb 215 on a right side of the motor vehicle 205 This can be recognized by the fact that in the cameras 135 respectively. 140 recorded images at least one line of the geometric structure 210 deformed appears in the representation of 2 for example, as a broken line.

An einer linken Seite des Kraftfahrzeugs 205 sind Fahrbahnmarkierungen 220 sichtbar. Eine Bestimmung eines Verlassens der Fahrbahn 170 zwischen den Fahrbahnmarkierungen 220 und dem Bordstein 215 bzw. rechts vom Kraftfahrzeug 205 verlaufenden Fahrbahnmarkierungen 220 (nicht dargestellt) kann aufgrund von Reflektionen des Infrarotlichts an den Fahrbahnmarkierungen 220 bzw. dem Bordstein 215 in den von den Kameras 135 bzw. 140 bereitgestellten Bildern durchgeführt werden. Die Fahrbahnmarkierungen 220 sind, wie in Europa üblich, streifenförmig gezeigt. Derartige Markierungsstreifen sind üblicherweise mittels einer hellen Farbe auf einen dunkleren Fahrbahnbelag aufgebracht, wobei der Farbe zusätzlich Glaskugeln zur Verbesserung der Lichtreflexion beigemischt sind. On a left side of the vehicle 205 are lane markings 220 visible, noticeable. A determination of leaving the lane 170 between the lane markings 220 and the curb 215 or right of the motor vehicle 205 running road markings 220 (not shown) may be due to reflections of the infrared light at the lane markings 220 or the curb 215 in the from the cameras 135 respectively. 140 provided images are performed. The road markings 220 are, as usual in Europe, shown in stripes. Such marking strips are usually applied by means of a light color on a darker road surface, wherein the color in addition glass beads are mixed to improve the light reflection.

In anderen Regionen, beispielsweise den Vereinigten Staaten von Amerika, kann die Fahrbahnmarkierung 220 stattdessen durch eine Serie domartiger Erhebungen (Bott's Dots, vgl. Objekt 160 in 1) auf der Fahrbahn 170 ausgeführt sein. Diese Erhebungen reflektieren sichtbares Licht üblicherweise weiß oder orange. In infrarotem Licht sind solche reflektierenden Dots besonders gut erkennbar. In other regions, such as the United States of America, the pavement marking 220 instead, through a series of domed surveys (Bott's Dots, see Object 160 in 1 ) on the roadway 170 be executed. These elevations reflect visible light usually white or orange. In infrared light, such reflective dots are particularly well visible.

3 zeigt eine Darstellung 300 zur Erläuterung der Erfassung eines Objekts 160 und Tiefeninformationen in einem Bild, das unter strukturierter Beleuchtung aufgenommen ist. Die gezeigte Vorgehensweise eignet sich insbesondere in Verbindung mit der in den 1 und 2 gezeigten Technik. 3A und 3B zeigen den gleichen Versuchsaufbau einer Projektionsfläche 305 und einem vor dieser Projektionsfläche 305 angeordneten Objekt 160, wobei die Position des Objekts 160 zwischen den 3A und 3B in vertikaler Richtung variiert. 3 shows a representation 300 to explain the detection of an object 160 and depth information in an image taken under structured illumination. The procedure shown is particularly suitable in connection with in the 1 and 2 shown technique. 3A and 3B show the same experimental setup of a projection screen 305 and one in front of this projection screen 305 arranged object 160 where the position of the object 160 between 3A and 3B varies in the vertical direction.

Die Projektionsfläche 305 steht im Wesentlichen senkrecht zur Projektionsrichtung des durch die Beleuchtungseinrichtung 145 (nicht dargestellt) ausgesandten Lichts. Das Objekt 160 ist durch ein rechteckiges Blatt verkörpert, das in einem vorbestimmten Abstand vor die Projektionsfläche 305 gehalten ist. The projection screen 305 is substantially perpendicular to the projection direction of the illumination device 145 (not shown) emitted light. The object 160 is represented by a rectangular sheet at a predetermined distance in front of the projection surface 305 is held.

Die geometrische Struktur 210 des ausgesandten Lichts ist in Form einer regelmäßigen Matrix 310 organisiert, die eine Anzahl Zeilen 315 und eine Anzahl Spalten 320 umfasst. In Spezialfällen kann entweder die Anzahl der Zeilen 315 oder die Anzahl der Spalten 320 Eins betragen, so dass die Matrix 310 mathematisch eindimensional ist.The geometric structure 210 The emitted light is in the form of a regular matrix 310 organized a number of lines 315 and a number of columns 320 includes. In special cases, either the number of lines 315 or the number of columns 320 One amount, leaving the matrix 310 is mathematically one-dimensional.

An den Kreuzungen jeder Zeile 315 mit jeder Spalte 320 liegt jeweils ein Rasterpunkt 325, der nach einem vorbestimmten Muster beleuchtet oder unbeleuchtet ist. Exemplarisch sind ein erster heller Bereich 330 und ein zweiter heller Bereich 335 an Rasterpunkten 325 der Matrix 310 hervorgehoben. Die Ausdehnung der hellen Bereiche 330, 335 an den beleuchteten Rasterpunkten 325 ist vorzugsweise möglichst klein, um zu vermeiden, dass ein heller Bereich gleichzeitig auf unterschiedlichen Objekten 160 liegt. At the intersections of each line 315 with each column 320 there is one grid point in each case 325 which is illuminated or unlit according to a predetermined pattern. Exemplary are a first bright area 330 and a second bright area 335 at grid points 325 the matrix 310 highlighted. The expanse of bright areas 330 . 335 at the illuminated grid points 325 is preferably as small as possible to avoid having a bright area on different objects at the same time 160 lies.

Die Anordnung der hellen Bereiche auf den Rasterpunkten 325 folgt einer pseudozufälligen binäre Sequenz. Eine solche Sequenz kann eine Maximalfolge (auch: „Folge maximaler Länge“, „Pseudo Random M-Sequence“, „Maximum Length Sequence“, MLS) umfassen und beispielsweise auf bekannte Weise mittels eines linear rückgekoppelten Schieberegisters erzeugt werden. So entsteht eine pseudozufällige binäre Verteilung von hellen Bereichen auf der Matrix 310, die mit geringem Aufwand herstellbar und dabei aufgrund ihres Zufallscharakters resistent gegen Störungen, etwa durch eine weitere Lichtquelle, ist. In den einzelnen Zeilen 315 bzw. Spalten 320 können jeweils eigene Sequenzen verwendet werden oder es kann eine ausreichend lange Sequenz verwendet werden, die über die Zeilen 315 bzw. Spalten 320 verteilt („umgebrochen“) ist. The arrangement of the light areas on the halftone dots 325 follows a pseudorandom binary sequence. Such a sequence may comprise a maximum sequence (also: "sequence of maximum length", "pseudo random M-sequence", "maximum length sequence", MLS) and be generated, for example, in a known manner by means of a linear feedback shift register. This creates a pseudorandom binary distribution of bright areas on the matrix 310 , which can be produced with little effort and it is due to their random nature resistant to interference, such as by another light source. In the individual lines 315 or columns 320 Each of your own sequences can be used or a sufficiently long sequence can be used over the lines 315 or columns 320 distributed ("wrapped") is.

Die Anordnung der hellen Bereiche ist somit derart, dass jeder helle Bereich 330, 335 anhand benachbarter heller Bereiche identifiziert werden kann. Für eine vorbestimmte Anordnung kann die Ausdehnung eines Betrachtungsbereichs angegeben werden, der erforderlich ist, um die Position des Betrachtungsbereichs in der Matrix 310 zu bestimmen. Außerdem kann für jeden hellen Bereich 330 ein Tiefenabstand zu einem anderen hellen Bereich 335 bestimmt werden, indem die Parallaxenverschiebung des ersten hellen Bereichs 330 zum zweiten hellen Bereich 335 bestimmt wird. Der Tiefenabstand bemisst sich entlang einer optischen Achse zwischen dem ersten hellen Bereich 330 und der Kamera 140. The arrangement of the bright areas is thus such that each bright area 330 . 335 can be identified by neighboring bright areas. For a predetermined arrangement, the extent of a viewing area required to indicate the position of the viewing area in the matrix may be indicated 310 to determine. In addition, for every bright area 330 a depth distance to another bright area 335 be determined by the parallax shift of the first bright area 330 to the second bright area 335 is determined. The depth distance is measured along an optical axis between the first bright area 330 and the camera 140 ,

Die Parallaxenverschiebung entsteht dadurch, dass die Beleuchtungseinrichtung 145 einen lateralen Versatz zur Kamera 140 aufweist. In der Darstellung von 3 ist die Beleuchtungseinrichtung 145 nach rechts unten versetzt, wie durch den Schatten des Objekts 160 auf der Projektionsfläche 305 erkennbar ist. Je größer ein Tiefenabstand eines hellen Bereichs 330, 335 von der Projektionsfläche 305 ist, desto weiter ist der helle Bereich 330, 335 nach rechts unten versetzt. Die Tiefeninformation wird somit auf der Basis des lateralen Versatzes (der „Basislinie“) bezüglich eines hellen Bereichs 330, 335 bestimmt, der auf der Projektionsfläche 305 liegt. The parallax shift arises from the fact that the illumination device 145 a lateral offset to the camera 140 having. In the presentation of 3 is the lighting device 145 offset to the lower right as if by the shadow of the object 160 on the projection screen 305 is recognizable. The greater a depth distance of a bright area 330 . 335 from the projection screen 305 is, the farther is the bright area 330 . 335 offset to the lower right. The depth information thus becomes on the basis of the lateral offset (the "baseline") with respect to a bright area 330 . 335 determined, on the projection screen 305 lies.

Beispielsweise liegt der erste helle Bereich 330 in 3A auf der Projektionsfläche 305 und in 3B auf dem Objekt 160, das von der Projektionsfläche 305 entfernt ist. Dementsprechend ist der helle Bereich 330 in 3B nach rechts unten versetzt, wobei der Versatz abhängig vom Abstand des Objekts 160 von der Projektionsfläche 305 ist. Der zweite helle Bereich 335 hingegen liegt in beiden 3A und 3B auf der Projektionsfläche 305. Aus den Abständen der hellen Bereiche 330 und 335 können somit Tiefeninformationen an deren Positionen bestimmt werden. For example, the first bright area lies 330 in 3A on the projection screen 305 and in 3B on the object 160 that from the projection screen 305 is removed. Accordingly, the bright area 330 in 3B offset to the bottom right, where the offset depends on the distance of the object 160 from the projection screen 305 is. The second bright area 335 however, lies in both 3A and 3B on the projection screen 305 , From the distances of the light areas 330 and 335 Thus depth information can be determined at their positions.

So ist es möglich, jedem hellen Bereich 330, 335 eine relative Tiefeninformation zuzuordnen, die eine Position des hellen Bereichs 330, 335 entlang der optischen Achse, in der Darstellung von 3 senkrecht zur Darstellungsebene, kennzeichnet. Dadurch kann die dreidimensionale Oberfläche des Objekts 160 bestimmt werden. So it is possible to any bright area 330 . 335 assign a relative depth information that is a position of the bright area 330 . 335 along the optical axis, in the representation of 3 perpendicular to the representation plane. This allows the three-dimensional surface of the object 160 be determined.

In Kenntnis eines absoluten Abstandes eines der hellen Bereiche 330, 335 von der Kamera 140 können die absoluten Abstände der restlichen hellen Bereiche 330, 335 auf der Basis der relativen Abstände bestimmt werden. Dabei ist darauf zu achten, dass die hellen Bereiche verzerrte horizontale und vertikale Abstände aufweisen können, wenn die Projektionsfläche 305, beispielsweise die Fahrbahn 170 in 2, zur optischen Achse der Kamera 140 schräg gestellt ist. Eine Entzerrung kann auf optischem Weg oder mittels einer mathematischen Transformation durchgeführt werden. Knowing an absolute distance of one of the bright areas 330 . 335 from the camera 140 can be the absolute distances of the remaining bright areas 330 . 335 be determined on the basis of the relative distances. Care must be taken to ensure that the bright areas can have distorted horizontal and vertical distances when the projection surface 305 For example, the roadway 170 in 2 , to the optical axis of the camera 140 is tilted. Equalization can be performed optically or by means of a mathematical transformation.

Eine Erkennung bzw. Unterscheidung von Objekten 160 kann auf der Basis der relativen oder absoluten Tiefeninformationen erfolgen. So ist es beispielsweise relativ einfach, eine Kontur des Objekts 160 zu bestimmen. Das Objekt 160 kann beispielsweise als eine Darstellung ausgegeben werden, die auf einem Bild des Objekts 160 bei Beleuchtung mit sichtbarem Licht basiert, wobei zusätzlich die Kontur des Objekts 160 eingeblendet ist. Auch unter schwierigen Lichtverhältnissen kann so eine klare Darstellung der Umgebung 155 generiert und beispielsweise dem Fahrer des Kraftfahrzeugs 105 aus den 1 und 2 dargeboten werden. Es kann auch eine Struktur der Oberfläche des Objekts 160 auf der Basis der Tiefeninformationen bestimmt werden. A recognition or differentiation of objects 160 may be based on the relative or absolute depth information. For example, it is relatively simple to have a contour of the object 160 to determine. The object 160 For example, it can be output as a representation that is on an image of the object 160 based on lighting with visible light, in addition, the contour of the object 160 is displayed. Even under difficult lighting conditions, a clear representation of the environment can be achieved 155 generated and, for example, the driver of the motor vehicle 105 from the 1 and 2 be presented. It can also be a structure of the surface of the object 160 be determined on the basis of the depth information.

In einer weiteren Ausführungsform kann ein Abstand des Objekts 160 zur Kamera 140 oder einem mit ihr verbundenen Punkt im Bereich des Kraftfahrzeugs 105 bestimmt werden. Ein Signal kann an den Fahrer des Kraftfahrzeugs 105 ausgegeben werden, wenn der Abstand einen vorbestimmten Mindestabstand unterschreitet. Das Signal kann dann nicht ausgegeben werden, wenn bestimmt wurde, dass das Objekt 160, beispielsweise aufgrund seiner Größe, irrelevant ist. In a further embodiment, a distance of the object 160 to the camera 140 or a point connected to it in the area of the motor vehicle 105 be determined. A signal can be sent to the driver of the motor vehicle 105 are output when the distance falls below a predetermined minimum distance. The signal can not be output if it has been determined that the object 160 , for example due to its size, is irrelevant.

4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum optischen Abtasten einer Umgebung 155 eines Kraftfahrzeugs 105 bzw. 205 entsprechend 1 bzw. 2. 4 shows a flowchart of a method 400 for optically scanning an environment 155 of a motor vehicle 105 respectively. 205 corresponding 1 respectively. 2 ,

In einem ersten Schritt 405 befindet sich das Verfahren 400 im Startzustand. Anschließend wird in einem Schritt 410 die Umgebung 155 des Kraftfahrzeugs 105 bzw. 205 mittels strukturiertem Infrarotlicht durch die Beleuchtungseinrichtung 145 beleuchtet. Die Struktur kann dem ausgesandten Infrarotlicht etwa mittels des optischen Systems 150 aufgeprägt sein. In a first step 405 is the procedure 400 in the starting state. Subsequently, in one step 410 the environment 155 of the motor vehicle 105 respectively. 205 by structured infrared light through the illumination device 145 illuminated. The structure can be the emitted infrared light approximately by means of the optical system 150 be imprinted.

Anschließend wird in einem Schritt 415 ein Bild im unsichtbaren Infrarotbereich, der den Spektralbereich der durch die Beleuchtungseinrichtung 145 ausgesandten strukturierten Infrarotstrahlung umfasst, erfasst. Subsequently, in one step 415 an image in the invisible infrared range, which covers the spectral range of the illumination device 145 emitted structured infrared radiation comprises detected.

Parallel zu den Schritten 410 und 415 wird in einem Schritt 420 ein Bild im sichtbaren Spektralbereich erfasst. In einer alternativen Ausführungsform ist der Schritt 410 unabhängig von den Schritten 415 und 420 und das Beleuchten der Umgebung 155 erfolgt permanent. Die Schritte 415 und 420 können gleichzeitig oder in beliebiger Reihenfolge erfolgen, wobei ein geringer zeitlicher Versatz akzeptabel ist. Parallel to the steps 410 and 415 gets in one step 420 captures an image in the visible spectral range. In an alternative embodiment, the step is 410 regardless of the steps 415 and 420 and lighting the environment 155 takes place permanently. The steps 415 and 420 can be done simultaneously or in any order, with a small time offset being acceptable.

Anschließend werden in einem Schritt 425 die in den Schritten 415 und 420 erfassten Bilder mittels der Verarbeitungseinrichtung 125 kombiniert verarbeitet. Wie oben mit Bezug zu den 1 bis 3 ausgeführt wurde, kann die Verarbeitung unterschiedlichen Zwecken dienen. Subsequently, in one step 425 the in the steps 415 and 420 captured images by means of the processing device 125 combined processed. As above with respect to the 1 to 3 has been executed, the processing can serve different purposes.

Die Verarbeitung im Schritt 425 kann ein Bestimmen eines Abstands zu einem Objekt 160 umfassen. Dabei wird der Abstand vorzugsweise bezüglich eines der Bildsensoren 135, 140, der Beleuchtungseinrichtung 145 oder eines bekannten Punkts des Kraftfahrzeugs 105 bestimmt. The processing in the step 425 may be determining a distance to an object 160 include. In this case, the distance is preferably with respect to one of the image sensors 135 . 140 , the lighting device 145 or a known point of the motor vehicle 105 certainly.

In einem abschließenden Schritt 430 wird ein Ergebnis des Verarbeitungsschritts 425 ausgegeben. Die Ausgabe des Ergebnisses kann eine optische Darstellung der Informationen der beiden Bilder umfassen, beispielsweise in Form einer Anzeige der Umgebung 155 mit hervorgehobenen Kanten von Objekten 160 oder mit einer Falschfarbendarstellung in Abhängigkeit von Tiefeninformationen bzw. Abständen dargestellter Objekte 160. Es kann zusätzlich oder alternativ auch eine Warnung ausgegeben werden, falls ein Mindestabstand zwischen dem Kraftfahrzeug 105 und dem Objekt 160 unterschritten ist. Es kann auch bestimmt werden, ob das Kraftfahrzeug 105 im Begriff ist, eine Fahrspur zu verlassen oder diese bereits verlassen hat. Ist dies der Fall, so kann an einen Fahrer des Kraftfahrzeugs 105 eine entsprechende Warnung ausgegeben werden.In a final step 430 becomes a result of the processing step 425 output. The output of the result may comprise an optical representation of the information of the two images, for example in the form of an environment display 155 with highlighted edges of objects 160 or with a false color representation depending on depth information or distances of displayed objects 160 , In addition or as an alternative, a warning may also be output if a minimum distance between the motor vehicle 105 and the object 160 is fallen below. It can also be determined if the motor vehicle 105 is about to leave a lane or has already left it. If this is the case, so can to a driver of the motor vehicle 105 a corresponding warning is issued.

Anschließend kann das Verfahren 400 zum Startzustand 405 zurückkehren und wird dann erneut durchlaufen. Subsequently, the process can 400 to the start state 405 return and will then go through again.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 7400236 B2 [0003]
WO 2007/028630 A1 [0004]

Claims

Optical scanning system ( 100 ) for a motor vehicle ( 105 ), comprising: - a first image sensor ( 135 ) for capturing a first image of an environment ( 155 ) of the motor vehicle ( 105 ) in the visible spectral range; A second image sensor ( 140 ) for taking a second image of the environment ( 155 ) of the motor vehicle ( 105 ) in the invisible infrared range; and a processing device ( 125 ) for the combined evaluation of information of the first and the second image, and - a lighting device ( 145 ) in the infrared to illuminate the environment ( 155 ), characterized in that - by the illumination device ( 145 ) emitted infrared light a geometric structure ( 210 ) is imprinted.

Scanning system ( 100 ) according to claim 1, characterized in that the processing device ( 125 ) is arranged to determine depth information in the second image based on reflections of the geometric structure

Scanning system ( 100 ) according to claim 1 or 2, characterized in that the geometric structure ( 210 ) contains a matrix-like arrangement of light and dark areas.

Scanning system ( 100 ) according to claim 3, characterized in that the matrix-like arrangement is determined by a pseudo-random binary sequence.

Scanning system ( 100 ) according to one of the preceding claims, characterized in that the geometric structure ( 210 ) is two-dimensional.

Scanning system ( 100 ) according to one of the preceding claims, characterized in that the processing device ( 125 ) is adapted, on the basis of the recorded images, a distance to an object ( 160 ).

Scanning system ( 100 ) according to one of the preceding claims, characterized in that the processing device ( 125 ) is arranged to further determine the depth information on the basis of a lateral distance between the second image sensor and the illumination device ( 145 ).

Scanning system ( 100 ) according to one of the preceding claims, characterized in that the processing device ( 125 ) is adapted to detect a roadway structure based on the second captured image.

Procedure ( 400 ) for optically scanning an environment of a motor vehicle ( 105 ), comprising the following steps: - detecting ( 420 ) of a first image of the environment ( 155 ) in a visible spectral range; - Illuminate ( 410 ) the environment in the invisible infrared range by means of a lighting device ( 145 ), wherein the emitted infrared light has a geometric structure ( 210 ) is imprinted; - To capture ( 415 ) a second image of the environment in the infrared region; - combined evaluation ( 425 ) of information of the first and second images.

Procedure ( 400 ) according to claim 9, characterized in that the evaluation comprises determining ( 425 ) of a distance to an object ( 160 ) and a signal is output ( 430 ), if the distance is below a predetermined threshold.

Method according to claim 9 or 10, characterized in that the evaluation comprises determining ( 425 ) of leaving a lane by the motor vehicle.