DE102013210607B4

DE102013210607B4 - Method and apparatus for detecting raised environment objects

Info

Publication number: DE102013210607B4
Application number: DE102013210607.6A
Authority: DE
Inventors: Leo Vepa; Michael Helmle; Jose Domingo Esparza Garcia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-06-07
Filing date: 2013-06-07
Publication date: 2018-03-01
Anticipated expiration: 2033-06-08
Also published as: DE102013210607A1

Abstract

Verfahren zur Erkennung erhabener Umgebungsobjekte (60, 61, 62, 63) mit den Schritten – Erzeugen (100) eines ersten Bildes (6) enthaltend ein Umgebungsobjekt (60, 61, 62, 63) aus einer ersten Perspektive, – Erzeugen (100) eines zweiten Bildes (8) enthaltend das Umgebungsobjekt (63) aus einer zweiten Perspektive, – Entzerren (200) des ersten Bildes (6) und des zweiten Bildes (8) hinsichtlich einer gemeinsamen Bezugsebene, – Modifizieren einer Beleuchtung des Umgebungsobjektes (60, 61, 62, 63) zum Erleichtern einer Identifikation und einer Erkennung des Umgebungsobjektes (63) in den Bildern (7, 9, 10, 11), wobei die Beleuchtung insbesondere mittels eines fortbewegungsmittelbasierten Leuchtmittels, insbesondere eines Scheinwerfers (11, 12, 21, 22), modifiziert wird, – Identifizieren (300) des Umgebungsobjektes (63) in dem ersten entzerrten Bild (7, 10) und in dem zweiten entzerrten Bild (9, 11), und – Erkennen (400) des Umgebungsobjektes (63) als erhaben gegenüber der Bezugsebene aufgrund einer Abweichung zwischen der Darstellung des Umgebungsobjektes (63) im ersten entzerrten Bild (7, 10) gegenüber der Darstellung des Umgebungsobjektes im zweiten entzerrten Bild (9, 11).Method for detecting elevated environmental objects (60, 61, 62, 63) comprising the steps of - generating (100) a first image (6) containing an environmental object (60, 61, 62, 63) from a first perspective, - generating (100) a second image (8) containing the surrounding object (63) from a second perspective, - equalizing (200) the first image (6) and the second image (8) with respect to a common reference plane, - modifying illumination of the surrounding object (60, 61 , 62, 63) for facilitating identification and recognition of the surrounding object (63) in the images (7, 9, 10, 11), wherein the illumination in particular by means of a moving means based illuminant, in particular a headlamp (11, 12, 21, 22 ), - identifying (300) the environment object (63) in the first equalized image (7, 10) and in the second equalized image (9, 11), and - recognizing (400) the environment object (63) as elevated opposite the reference bene due to a deviation between the representation of the environment object (63) in the first equalized image (7, 10) versus the representation of the environment object in the second equalized image (9, 11).

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung erhabener Umgebungsobjekte für Fahrerassistenzsysteme. Insbesondere betrifft die vorliegende Erfindung eine Möglichkeit, bei Verwendung zu anderen Zwecken vorgesehener Hardware (insbesondere Kameras) eine zuverlässige und kostengünstige Erkennung von Umgebungsobjekten durchzuführen.The present invention relates to a method for detecting elevated environment objects for driver assistance systems. In particular, the present invention relates to a possibility, when using hardware intended for other purposes (in particular cameras), to carry out a reliable and cost-effective recognition of environmental objects.

Durch eine inverse perspektivische Zuordnung (inverse perspective mapping, IPM) ist es möglich, das Bild einer Kamera in eine neue Ansicht (z. B. ein Top-View-Bild, auch ”Vogelperspektive” genannt) zu transformieren. Aus der Synthese der z. B. in 5 dargestellten Kameraperspektiven (siehe 5a als Beispiel der Rückfahrkamera) wird die in 5b dargestellte Vogelperspektive erzeugt. Die erforderliche Transformation erzeugt aus einer seitlichen Ansicht, wie sie mittels der in 5 dargestellten Kameras 1, 2, 3, 4 aufgenommen werden können (siehe auch 5a), die in 5b dargestellte Ansicht. Dieser Effekt wird in Surround-View-Systemen (SVS) bzw. Multikamerasystemen in Fahrzeugen genutzt, um dem Fahrer ein Top-View-Bild der gesamten näheren Umgebung des Fahrzeuges präsentieren zu können, indem dieses Verfahren für alle Kameras unter Berücksichtigung ihrer extrinsischen und intrinsischen Parameter angewendet wird. Dabei dienen die vorgenannten Systeme grundsätzlich zur qualitativen optischen Information des Fahrers. Die Erfindung hat indes den Anspruch, auch quantitative Aussagen zur Position und Ausrichtung von Umgebungsobjekten aufgrund der vorgenannten Systeme und Verfahren zu erzeugen.Through inverse perspective mapping (IPM), it is possible to transform the image of a camera into a new view (eg a top-view image, also called "bird's-eye view"). From the synthesis of z. In 5 illustrated camera perspectives (see 5a as an example of the reversing camera) is the in 5b illustrated bird's eye view produced. The required transformation is generated from a side view as shown by the in 5 illustrated cameras 1 . 2 . 3 . 4 can be included (see also 5a ), in the 5b illustrated view. This effect is used in surround-view systems (SVS) or multi-camera systems in vehicles to present the driver with a top-view image of the entire vicinity of the vehicle, using this procedure for all cameras, taking into account their extrinsic and intrinsic Parameter is applied. The aforementioned systems are basically used for the qualitative optical information of the driver. The invention is, however, also intended to produce quantitative statements on the position and orientation of environmental objects based on the aforementioned systems and methods.

Die Veröffentlichung von Dr. Swapan Kumar Deb et al. „Vehicle Detection Based an Video for Traffic Surveillance on road” in International Journal of Computer Science & Emerging Technologies vom 04.08.2012, S. 121–137 offenbart ein Verfahren zur Erkennung von erhabenen Objekten in Abhängigkeit eines erfassten linken Kamerabilds und eines erfassten rechten Kamerabilds.The publication by dr. Swapan Kumar Deb et al. "Vehicle Detection Based on Video for Traffic Surveillance on Road" in International Journal of Computer Science & Emerging Technologies of 04.08.2012, p 121-137 discloses a method for detecting raised objects depending on a detected left camera image and a captured right camera image ,

Die vorliegende Erfindung soll die Erkennung von erhabenen Objekten in Abhängigkeit zweier erfasster Kamerabilder verbessern.The present invention is intended to improve the recognition of raised objects as a function of two captured camera images.

Offenbarung der ErfindungDisclosure of the invention

Das vorstehende Problem wird gemäß der unabhängigen Ansprüche 1 und 9 gelöst.The above problem is solved according to independent claims 1 and 9.

Erfindungsgemäß wird ein Verfahren zur Erkennung erhabener Umgebungsobjekte vorgeschlagen. Ein erhabenes Umgebungsobjekt ist beispielsweise eine Struktur, welche aus einer überwiegend ebenen Fläche hervorsteht. Hierzu wird ein erstes Bild, enthaltend ein Umgebungsobjekt, aus einer ersten Perspektive erzeugt. Beispielsweise kann hierzu das Bild eines Kamerasystems eines Fahrzeugs verwendet werden. Als zweiter Schritt wird ein zweites Bild, enthaltend dasselbe Umgebungsobjekt, aus einer zweiten Perspektive erzeugt. Auch hierzu kann ein Kamerasystem desselben Fortbewegungsmittels verwendet werden. Anschließend werden sowohl das erste Bild als auch das zweite Bild hinsichtlich einer gemeinsamen Bezugsebene entzerrt, wozu intrinsische und extrinsische Parameter nötig sind, um eine gemeinsame Bezugsebene zu definieren. Mit anderen Worten wird eine Korrektur der unterschiedlichen Perspektiven vorgenommen, wobei die Bezugsebene mit einer dritten, nicht mit der ersten oder der zweiten Perspektive identischen Perspektive zusammenfallen kann. Beispielsweise können seitliche Ansichten auf das Umgebungsobjekt in eine Vogelperspektive entzerrt bzw. transformiert werden. Anschließend wird das Umgebungsobjekt in dem ersten entzerrten Bild und in dem zweiten entzerrten Bild identifiziert. Dies kann beispielsweise anhand bekannter Bilderkennungsalgorithmen erfolgen, welche eine Verwandtschaft in zwei unterschiedlichen Bildern erkennen. Zusätzlich können auch abstraktere Features wie Kanten oder Histogramme enthaltener Merkmale verwendet werden, um die Übereinstimmung (das „Matching”) durchführen zu können. Hierzu können auch weitere Informationen verwendet werden, welche beispielsweise durch zusätzliche Sensoren (z. B. Abstandsensorik) erhältlich sind. Je besser der Kontrast der aufgenommenen, entzerrten Bilder, desto einfacher und sicherer ist auch das Identifizieren des Umgebungsobjektes. Anschließend wird das Umgebungsobjekt als erhaben gegenüber der Bezugsebene erkannt, indem aufgrund einer Abweichung zwischen der Darstellung des Umgebungsobjektes im ersten entzerrten Bild gegenüber der Darstellung des Umgebungsobjektes im zweiten entzerrten Bild erkannt wird, dass das Umgebungsobjekt bei der Entzerrung die Annahme einer flachen Ebene entsprechend der ersten bzw. der zweiten Perspektive verletzt. Mit anderen Worten wird in den entzerrten Bildern zunächst das Umgebungsobjekt identifiziert und anschließend seine jeweilige Darstellung miteinander verglichen. Aus den Unterschieden der Darstellung wird dann das Umgebungsobjekt als erhaben erkannt. Auf diese Weise kann beispielsweise eine Kollisionsrelevanz für ein Fortbewegungsmittel erkannt werden, welches das Verfahren durchführt. Beispielsweise kann hierzu eine Position des Ego-Fahrzeuges bestimmt werden und zusätzlich eine Geschwindigkeitsschätzung erfolgen, wenn Informationen über die Eigenbewegung des Fahrzeugs zusätzlich verfügbar sind.According to the invention, a method is proposed for detecting elevated environmental objects. A raised environment object is, for example, a structure that protrudes from a predominantly flat surface. For this purpose, a first image containing an environment object is generated from a first perspective. For example, the image of a camera system of a vehicle can be used for this purpose. As a second step, a second image containing the same environment object is generated from a second perspective. For this purpose, a camera system of the same means of locomotion can be used. Subsequently, both the first image and the second image are equalized with respect to a common reference plane, which requires intrinsic and extrinsic parameters to define a common reference plane. In other words, a correction of the different perspectives is made, wherein the reference plane can coincide with a third, not identical with the first or the second perspective perspective. For example, side views of the environment object can be equalized or transformed into a bird's-eye view. Subsequently, the environment object is identified in the first equalized image and in the second equalized image. This can be done, for example, using known image recognition algorithms, which recognize a relationship in two different images. In addition, more abstract features such as edges or histograms of included features can be used to match ("matching"). For this purpose, further information can be used, which are obtainable for example by additional sensors (eg distance sensors). The better the contrast of recorded, rectified images, the easier and safer it is to identify the surrounding object. Subsequently, the environment object is recognized as raised with respect to the reference plane, by recognizing that the environment object in the equalization assumes the assumption of a flat plane corresponding to the first one due to a deviation between the representation of the environment object in the first equalized image versus the representation of the environment object in the second equalized image or the second perspective violated. In other words, the environment object is first identified in the rectified images, and then its respective representation is compared with one another. From the differences of the presentation, the environment object is then recognized as sublime. In this way, for example, a collision relevance for a means of locomotion can be recognized, which performs the method. For example, for this purpose, a position of the ego vehicle can be determined and, in addition, a speed estimate can be made if information about the intrinsic movement of the vehicle is additionally available.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

Bevorzugt können das Erzeugen des ersten Bildes mittels eines ersten optischen Sensors und das Erzeugen des zweiten Bildes mittels eines zweiten optischen Sensors erfolgen. Beispielsweise kann für andere Zwecke vorgesehenes Kamera-Equipment eines Fortbewegungsmittels (z. B. Rückfahrkamera, Seitenblickassistenten, Einparkhilfe) zurückgegriffen werden, so dass die vorliegende Erfindung ohne zusätzliche Hardware auskommt. The generation of the first image by means of a first optical sensor and the generation of the second image by means of a second optical sensor can preferably take place. For example, camera equipment provided for other purposes of a means of locomotion (eg rear view camera, side vision assistant, parking aid) can be used, so that the present invention does not require any additional hardware.

Weiter bevorzugt kann das Entzerren ein Durchführen einer inversen perspektivischen Zuordnung auf Grundlage des ersten Bildes und des zweiten Bildes umfassen. Die inverse perspektivische Zuordnung (Englisch inverse perspective mapping, IPM) ist ein Verfahren, mittels welchem beispielsweise Seitenansichten eines Kamerabildes in eine Vogelperspektive umgerechnet werden können. Zu den Details des IPM-Verfahrens wird auf die einschlägige Fachliteratur verwiesen. Wird für die neue Bezugsebene nach der Entzerrung beispielsweise die Fahrbahnoberfläche verwendet, werden Bildpunkte, die bereits auf der Fahrbahnoberfläche befindliche Muster (z. B. Fahrbahnmarkierungen) repräsentieren, sehr exakt und realitätsnah auch in der neuen Bezugsebene dargestellt. Für Gegenstände, die aus der Fahrbahnebene hervorstehen, trifft dies nicht zu. Nach der Transformation ergibt sich ein sogenannter „Schattenwurf” derjenigen Objekte, die nicht in der Fahrbahnebene liegen. Da der Schattenwurf von der Perspektive des jeweiligen Bildes (bzw. des bei seiner Aufnahme verwendeten Kamerasystems) abhängt, kann aus dem Unterschied zwischen Objekten zweier Bilder darauf geschlossen werden, dass das jeweilige Objekt die Annahme einer flachen Bildebene (Fahrbahnebene) verletzt und aus dieser hervorsteht. Auf diese Weise kann vorhandene Hardware zur Erkennung von Umgebungsobjekten verwendet werden, indem zusätzliche Software-seitige Funktionalität vorgesehen wird.More preferably, the equalizing may include performing an inverse perspective assignment based on the first image and the second image. The inverse perspective mapping (English inverse perspective mapping, IPM) is a method by which, for example, side views of a camera image can be converted into a bird's eye view. For the details of the IPM procedure, reference is made to the relevant literature. For example, if the road surface is used for the new reference plane after equalization, pixels representing patterns already on the road surface (eg lane markings) are displayed very accurately and close to reality even in the new reference plane. This is not the case for objects that protrude from the road level. After the transformation results in a so-called "shadow cast" of those objects that are not in the road level. Since the shadow is dependent on the perspective of the respective image (or the camera system used in its recording), it can be concluded from the difference between objects of two images that the respective object violates the assumption of a flat image plane (road plane) and protrudes therefrom , In this way, existing hardware can be used to detect environment objects by providing additional software-side functionality.

Weiter bevorzugt kann im Schritt des Erkennens eine Annahme anschließen, welche als Manhattanwelt-Annahme (Englisch: „Manhattan world assumption”) bezeichnet wird. Der Grundgedanke dieser Annahme besteht darin, dass menschengemachte Objekte häufig im Wesentlichen rechtwinklig aus der Bodenebene hervorstehen. Beispiele für solche Strukturen sind beispielsweise Straßenlaternen, Säulen in einem Parkhaus, Mauerwerk etc. Da der Winkel, in welchem das Objekt aus der Bodenebene hervorsteht, in Verbindung mit den Perspektiven des ersten Bildes und des zweiten Bildes die Abweichung der Darstellung des Objektes in den Bildern bestimmt, kann aufgrund der Kenntnis der ersten Perspektive und der zweiten Perspektive eine Identifikation des jeweiligen Objektes vereinfacht bzw. schneller erfolgen. Insbesondere besteht die Möglichkeit, eine unabhängig von der Manhattan Welt-Annahme durchgeführte Identifikation des Objektes unter Annahme der Manhattan Welt-Annahme zu verifizieren und den Schritt des Identifizierens und/oder des Erkennens noch sicherer durchführen zu können.More preferably, in the step of recognizing, an assumption may follow, which is referred to as the Manhattan world assumption. The basic idea of this assumption is that man-made objects often protrude substantially at a right angle from the ground plane. Examples of such structures are, for example, street lamps, pillars in a parking garage, masonry, etc. Since the angle at which the object protrudes from the ground level, in conjunction with the perspectives of the first image and the second image, the deviation of the representation of the object in the images determined, based on the knowledge of the first perspective and the second perspective, an identification of the respective object can be simplified or faster. In particular, it is possible to verify an identification of the object carried out independently of the Manhattan world assumption, assuming the Manhattan world assumption, and to be able to carry out the step of identifying and / or recognizing even more reliably.

Weiter bevorzugt kann das erfindungsgemäße Verfahren den Schritt eines Modifizierens einer Beleuchtung des Umgebungsobjektes umfassen. Mit anderen Worten kann das Umgebungsobjekt bzw. die Umgebung an sich durch ein Leuchtmittel zu einem ersten Zeitpunkt künstlich erhellt werden und zu einem zweiten Zeitpunkt in einer anderen Weise, mit einer anderen Intensität oder gar nicht künstlich angestrahlt werden. Insbesondere können Lichtmuster auf das Umgebungsobjekt projiziert werden, mittels welcher eine besonders zuverlässige Identifikation des Umgebungsobjektes im ersten Bild und im zweiten Bild ermöglicht wird.More preferably, the method of the invention may include the step of modifying a lighting of the surrounding object. In other words, the environment object or the environment per se can be artificially illuminated by a light source at a first time and be artificially illuminated at a second time in another way, with a different intensity or not at all. In particular, light patterns can be projected onto the environment object, by means of which a particularly reliable identification of the environment object in the first image and in the second image is made possible.

Bevorzugt kann die Beleuchtung im unsichtbaren infraroten Frequenzbereich modifiziert werden, während eine Änderung der Beleuchtung im sichtbaren Frequenzbereich bevorzugt nicht oder nur unwesentlich erfolgt. Auf diese Weise kann eine Irritation von Personen in der Umgebung sowie (bei automatischer Auslösung des Verfahrens) des Anwenders des erfindungsgemäßen Verfahrens verhindert werden.Preferably, the illumination in the invisible infrared frequency range can be modified, while a change in the illumination in the visible frequency range is preferably not or only insignificantly. In this way, irritation of persons in the environment as well as (with automatic triggering of the method) of the user of the method according to the invention can be prevented.

Bevorzugt kann im Schritt des Erkennens weiter ein Fußpunkt des Umgebungsobjektes identifiziert werden. Als Fußpunkt sei im Rahmen der vorliegenden Erfindung derjenige Bereich des Umgebungsobjektes verstanden, welcher mit der Bezugsebene (z. B. der Bodenebene) zusammenfällt. Hierzu kann ein im ersten entzerrten Bild und im zweiten entzerrten Bild übereinstimmender Abschnitt des jeweiligen Umgebungsobjektes identifiziert und als Fußpunkt des Umgebungsobjektes angenommen werden. Auf Basis des Fußpunktes kann beispielsweise eine Abstandsberechnung des Umgebungsobjektes von den Mitteln zur Bilderzeugung bzw. von einem mit den besagten Mitteln ausgestatteten Fahrzeug durchgeführt werden. Mit Kenntnis der Eigenbewegung einer das Verfahren ausführenden Instanz kann aufgrund der bestimmten Position auch eine Bewegungs- und Geschwindigkeitsschätzung des Fußpunktes bzw. des gesamten Umgebungsobjektes erfolgen.Preferably, in the step of recognizing, a foot point of the surrounding object can be further identified. In the context of the present invention, the term footing should be understood as that region of the surrounding object which coincides with the reference plane (eg the ground plane). For this purpose, a section of the respective surrounding object matching in the first rectified image and in the second rectified image can be identified and adopted as the base point of the surrounding object. On the basis of the foot point, for example, a distance calculation of the surrounding object can be carried out by the means for image generation or by a vehicle equipped with the said means. With knowledge of the proper motion of an instance executing the method, a movement and speed estimation of the foot point or of the entire environment object can also take place on the basis of the determined position.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Erkennung erhabener Umgebungsobjekte vorgeschlagen. Die Vorrichtung umfasst Mittel zum Empfangen eines ersten Bildes und eines zweiten Bildes. Zusätzlich umfasst die Vorrichtung eine Verarbeitungseinheit, welche eingerichtet ist, das erste Bild und das zweite Bild hinsichtlich einer gemeinsamen Schutzebene zu entzerren. Weiter ist die Verarbeitungseinheit eingerichtet, ein Umgebungsobjekt in dem ersten entzerrten Bild und im zweiten entzerrten Bild zu identifizieren und das Umgebungsobjekt aufgrund einer Abweichung zwischen der Darstellung des Umgebungsobjektes im ersten entzerrten Bild gegenüber der Darstellung des Umgebungsobjektes im zweiten entzerrten Bild als erhaben gegenüber der gemeinsamen Bezugsebene zu erkennen. Die von der Verarbeitungseinheit der erfindungsgemäßen Vorrichtung durchgeführten Schritte korrespondieren zu denen des vorstehend beschriebenen Verfahrens, so dass auf eine Wiederholung der Erläuterungen verzichtet werden kann. Selbiges gilt für die Vorteile und möglichen Ausgestaltungen, die als bevorzugte Verbesserungen und Konkretisierungen der erfindungsgemäßen Vorrichtung verstanden werden dürfen.In accordance with another aspect of the present invention, a device for detecting raised ambient objects is proposed. The apparatus comprises means for receiving a first image and a second image. In addition, the device comprises a processing unit which is set up to equalize the first image and the second image with respect to a common protection plane. Further, the processing unit is arranged to allocate an environment object in the first equalized picture and the second equalized picture identify and recognize the environment object as raised relative to the common reference plane due to a deviation between the representation of the environment object in the first equalized image versus the representation of the environment object in the second equalized image. The steps performed by the processing unit of the device according to the invention correspond to those of the method described above, so that a repetition of the explanations can be dispensed with. The same applies to the advantages and possible embodiments, which may be understood as preferred improvements and concretizations of the device according to the invention.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist:Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawings:

1 eine Draufsicht auf eine schematische Darstellung eines Automobils mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung; 1 a plan view of a schematic representation of an automobile with an embodiment of a device according to the invention;

2 ein Flussdiagramm, veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens; 2 a flowchart, illustrating steps of an embodiment of a method according to the invention;

3 ein mittels einer Fahrzeug-basierten Kamera aufgenommenes Bild der Fahrzeugumgebung; 3 an image of the vehicle environment taken by means of a vehicle-based camera;

4 das in 3 dargestellte Bild nach einer Entzerrung mittels IPM in eine Vogelperspektive; 4 this in 3 represented image after an equalization by means of IPM in a bird's-eye view;

5 ein Schaubild zur Veranschaulichung einer Synthese von Kamerabildern zu einer Vogelperspektive; 5 a diagram illustrating a synthesis of camera images to a bird's eye view;

5a ein Bild einer Rückfahrkamera des in 5 gezeigten Fahrzeugs; 5a a picture of a rear view camera of the 5 shown vehicle;

5b eine Vogelperspektive, welche aus den in 5 gezeigten Aufnahmen synthetisiert ist; 5b a bird's eye view, which consists of the in 5 shown recordings is synthesized;

6 eine Darstellung einer mittels Rückfahrkamera aufgenommenen Situation innerhalb einer Garage; 6 a representation of a recorded by means of rear view camera situation within a garage;

7 eine entzerrte Darstellung der in 6 dargestellten Situation aus einer Vogelperspektive; 7 an equalized representation of in 6 presented situation from a bird's eye view;

8 ein von einer seitlich im Fahrzeug angeordneten Kamera aufgenommenes Bild; 8th an image taken by a camera arranged laterally in the vehicle;

9 eine entzerrte Darstellung der in 8 dargestellten Aufnahme; 9 an equalized representation of in 8th recording shown;

10 ein Ausschnitt aus der in 7 dargestellten Ansicht; und 10 a section of the in 7 presented view; and

11 ein Ausschnitt aus der in 9 dargestellten Ansicht. 11 a section of the in 9 displayed view.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt eine Draufsicht auf ein Fahrzeug 10, welches eine seitwärts gerichtete Kamera 2 und eine Rückfahrkamera 1 umfasst. Während die seitwärts gerichtete Kamera 2 einen linksseitigen Erfassungsbereich 6 abdeckt, deckt die Rückfahrkamera 1 einen rückseitigen Erfassungsbereich 7 ab. Im Überschneidungsbereich der Erfassungsbereiche 6, 7 ist ein Umgebungsobjekt 5 in Form einer Säule mit rechteckigem Querschnitt angeordnet. Die Kameras 1, 2 sind mit einer erfindungsgemäßen Vorrichtung 8 verbunden, welche Mittel 81, 82 zum Empfangen jeweiliger Bilder der Kameras 1, 2 aufweist. Innerhalb der Vorrichtung ist weiter eine Verarbeitungseinheit 83, umfassend (nicht dargestellt) einen Prozessor sowie Speichermittel, angeordnet. Die Verarbeitungseinheit 83 ist überdies mit den Scheinwerfern 11, 12 des Fahrzeugs 10 verbunden, welche die jeweiligen Erfassungsbereiche 6, 7 der Kameras 1, 2 erhellen können. Sofern weitere (nicht dargestellte) Kameras verwendet werden, können bei entsprechender Ausrichtung auch die Frontscheinwerfer 21, 22 wie dargestellt an die Verarbeitungseinheit 83 angeschlossen und erfindungsgemäß verwendet werden. Auf diese Weise ist die Vorrichtung 8 eingerichtet, ein Verfahren durchzuführen, für welches ein Ausführungsbeispiel nachfolgend in Verbindung mit 2 beschrieben wird. 1 shows a plan view of a vehicle 10 which is a sideways camera 2 and a reversing camera 1 includes. While the side-facing camera 2 a left-side detection area 6 covers, covers the rear view camera 1 a backward detection area 7 from. In the overlapping area of the coverage areas 6 . 7 is an environment object 5 arranged in the form of a column with a rectangular cross-section. The cameras 1 . 2 are with a device according to the invention 8th connected, which means 81 . 82 for receiving respective images of the cameras 1 . 2 having. Within the device is further a processing unit 83 comprising (not shown) a processor and memory means arranged. The processing unit 83 is also with the headlights 11 . 12 of the vehicle 10 connected, which the respective detection areas 6 . 7 the cameras 1 . 2 can brighten up. If further cameras (not shown) are used, the front headlights can also be used with the appropriate orientation 21 . 22 as shown to the processing unit 83 connected and used according to the invention. This is the device 8th set forth to carry out a method for which an embodiment is described below in connection with 2 is described.

2 zeigt ein Flussdiagramm, veranschaulichend Schritte eines erfindungsgemäßen Verfahrens. In Schritt 100 werden Bilder mit den Kameras 1, 2 aufgenommen und über die Mittel 81, 82 der Verarbeitungseinheit 83 zugeführt. Nachfolgend werden in Schritt 200 die Bilder entzerrt. Dabei werden die Bildpunkte auf eine vordefinierte Bezugsebene oder Bezugsfläche umgerechnet. Bevorzugt sind die erste Bezugsfläche und die zweite Bezugsfläche mathematisch identisch. In Schritt 300 wird ein Umgebungsobjekt innerhalb der entzerrten Bilder identifiziert. Dies kann beispielsweise mittels Texturerkennung, Kantenerkennung oder anderen bekannten Verfahren zur Identifikation bestimmter Bildinhalte erfolgen. Zumindest wird eine Verwandtschaft zwischen dem ersten Bild und dem zweiten Bild gleichfalls enthaltener Umgebungsobjekte festgestellt. Anschließend wird in Schritt 400 ein Umgebungsobjekt als gegenüber der Bodenfläche erhabenes Objekt erkannt. Hierbei wird der Unterschied zwischen den Darstellungen des Umgebungsobjektes in dem ersten entzerrten Bild und im zweiten entzerrten Bild verwendet, welche sich aufgrund der unterschiedlichen Perspektiven des ersten Bildes und des zweiten Bildes durch die Verletzung der Annahme einer flachen Ebene durch das Objekt ergeben. In Schritt 500 wird anschließend ein Fußpunkt des erhabenen Objektes identifiziert. Der Fußpunkt zeichnet sich als in beiden Bildern im Wesentlichen identischer Bereich im ersten entzerrten Bild und im zweiten entzerrten Bild aus, da er die Annahme einer flachen Ebene nicht verletzt. Die Kenntnis des Fußpunktes kann beispielsweise zur Ermittlung eines Abstandes des erhabenen Objektes gegenüber den Kameras 1, 2 bzw. gegenüber dem Fortbewegungsmittel 10 verwendet werden. 2 shows a flow chart, illustrating steps of a method according to the invention. In step 100 be pictures with the cameras 1 . 2 recorded and over the means 81 . 82 the processing unit 83 fed. The following will be in step 200 the pictures are equalized. The pixels are converted to a predefined reference plane or reference surface. Preferably, the first reference surface and the second reference surface are mathematically identical. In step 300 an environment object is identified within the rectified images. This can be done, for example, by means of texture recognition, edge detection or other known methods for identifying specific image contents. At least a relationship between the first image and the second image of similarly contained environment objects is determined. Subsequently, in step 400 an environment object detected as compared to the floor surface raised object. Here, the difference between the representations of the environment object in the first equalized image and in the second equalized image is used, which is due to the different perspectives of the first image and the second Image resulting from the violation of the assumption of a flat plane through the object. In step 500 Subsequently, a foot point of the raised object is identified. The foot point is characterized as substantially identical in both images in the first equalized image and in the second equalized image because it does not violate the assumption of a flat plane. The knowledge of the foot point, for example, to determine a distance of the raised object to the cameras 1 . 2 or to the means of transportation 10 be used.

3 zeigt eine Ansicht einer Fahrzeug-basierten Kamera. Von links nach rechts dargestellt, sind eine Fahrbahnmarkierung 56, Kraftfahrzeuge 51, 52, 53, 54 sowie eine zwischen den Fahrzeugen 52, 53 angeordnete, durch Fahrbahnmarkierungen 55a und 55b gekennzeichnete leere Parklücke 55 erkennbar. 3 shows a view of a vehicle-based camera. Shown from left to right are a road mark 56 , Motor vehicles 51 . 52 . 53 . 54 and one between the vehicles 52 . 53 arranged by road markings 55a and 55b marked empty parking space 55 recognizable.

4 zeigt die in 3 dargestellte Anordnung aus einer errechneten Vogelperspektive. Die Fahrbahnmarkierung 56 ist ebenso wie die Begrenzungen 55a, 55b der leeren Parklücke 55 wirklichkeitsgetreu umgesetzt. Da die Fahrzeuge 52, 53, 54 die Annahme einer flachen Ebene der umgebenden Fahrbahnoberfläche verletzen, sind die Fahrzeuge 52, 53, 54 als ”Schattenwurf” abgebildet. 4 shows the in 3 illustrated arrangement from a calculated bird's eye view. The road marking 56 is just like the limits 55a . 55b the empty parking space 55 realistically implemented. Because the vehicles 52 . 53 . 54 violate the assumption of a flat plane of the surrounding road surface, are the vehicles 52 . 53 . 54 shown as a "shadow".

5 zeigt ein Fahrzeug 10 als Fortbewegungsmittel mit vier Kameras 1, 2, 3, 4. Kamera 1 ist als Rückfahrkamera in Richtung des Fahrzeughecks ausgerichtet. Kamera 2 ist als Seitenkamera zur linken Seite des Fahrzeugs 10 ausgerichtet. Kamera 3 ist als Seitenkamera zur rechten Seite des Fahrzeugs ausgerichtet. Kamera 4 ist als Frontkamera in Fahrtrichtung ausgerichtet. In letztere Richtung sind auch die beiden Scheinwerfer 21, 22 ausgerichtet. 5 shows a vehicle 10 as a means of transportation with four cameras 1 . 2 . 3 . 4 , camera 1 is aligned as a rear view camera in the direction of the rear of the vehicle. camera 2 is as a side camera to the left side of the vehicle 10 aligned. camera 3 is aligned as a side camera to the right side of the vehicle. camera 4 is aligned as a front camera in the direction of travel. In the latter direction are the two headlights 21 . 22 aligned.

5a zeigt eine beispielhafte Darstellung einer mittels der Rückfahrkamera 1 aufgenommenen Szenerie. 5a shows an exemplary representation of one by means of the rear view camera 1 recorded scenery.

5b zeigt das in 5 dargestellte Fahrzeug 10 in einer aus den Bildern der Kameras 1, 2, 3, 4 errechneten Vogelperspektive. 5b shows that in 5 illustrated vehicle 10 in one of the pictures of the cameras 1 . 2 . 3 . 4 calculated bird's eye view.

6 zeigt das Bild einer Rückfahrkamera eines Fahrzeugs 10 innerhalb eines Parkhauses. Im Wesentlich mittig hinter dem Fahrzeug 10 angeordnet ist ein erster Pfosten 60 und ein zweiter Pfosten 61 als erhabene Umgebungsobjekte angeordnet. Zudem sind zwei Säulen 62, 63 erkennbar, deren unterer Bereich durch eine schraffierte Markierung gekennzeichnet ist. Drei im Wesentlichen parallele Fahrbahnmarkierungen 65, 66 und 67 verlaufen zwischen den Säulen 62, 63. 6 shows the image of a rear view camera of a vehicle 10 inside a parking garage. Essentially in the middle behind the vehicle 10 arranged is a first post 60 and a second post 61 arranged as raised environment objects. There are also two columns 62 . 63 recognizable, whose lower area is marked by a hatched mark. Three substantially parallel lane markings 65 . 66 and 67 run between the columns 62 . 63 ,

7 zeigt die in 6 dargestellte Situation nach einem Schritt eines erfindungsgemäßen Entzerrens. Dabei werden die Fahrbahnmarkierungen 65, 66 und 67 wirklichkeitsgetreu aus der Vogelperspektive dargestellt. Für die erhabenen Objekte 60, 61, 62, 63 trifft dies nicht zu. Erkennbar verzerrt ist die Schraffur der Säulen 62, 63 nicht wirklichkeitskonform abgebildet. Selbiges trifft für die Gestalt der Pfosten 60 und 61 zu. 7 shows the in 6 illustrated situation after a step of equalization according to the invention. At the same time the lane markings become 65 . 66 and 67 Realistic presented from a bird's eye view. For the sublime objects 60 . 61 . 62 . 63 this is not true. Visibly distorted is the hatching of the columns 62 . 63 not shown in conformity with reality. The same applies to the shape of the posts 60 and 61 to.

8 zeigt ein Bild einer seitlich ausgerichteten Kamera desjenigen Fahrzeugs 10, welches auch zur Aufnahme der in den 6, 7 dargestellten Bilder verwendet wurde. Die Ansicht lässt die Säule aus 6 sowie die Fahrbahnmarkierungen 67 erkennen. 8th shows an image of a side-facing camera of that vehicle 10 , which is also for inclusion in the 6 . 7 pictures used was used. The view leaves out the pillar 6 as well as the lane markings 67 detect.

In 9 ist die in 8 dargestellte Ansicht in einer entzerrten Darstellung zu sehen. Die Fahrbahnmarkierung 67 verläuft als innerhalb der Bezugsebene (Boden) liegend wirklichkeitsgetreu abgebildet, parallel zu den Kanten der 9. Wie schon in 7, ist auch die Darstellung der Säule 63 stark verzerrt. Auf die Unterschiede zu 7 wird in Verbindung mit den 10 und 11 eingegangen.In 9 is the in 8th view seen in an equalized representation. The road marking 67 is shown as lying within the reference plane (ground) true to reality, parallel to the edges of the 9 , Like in 7 , is also the representation of the column 63 heavily distorted. On the differences too 7 will be in conjunction with the 10 and 11 received.

10 zeigt einen vergrößerten Ausschnitt der in 7 dargestellten entzerrten Ansicht. Dieser Ausschnitt korrespondiert dabei im Wesentlichen zu der in 11 dargestellten Ansicht, welche ihrerseits auf der Aufnahme in 9 basiert. Im direkten Vergleich ist erkennbar, dass die Säule 63 in 10 deutlich stärker nach links (und nach unten) verläuft, als in 11, in welcher sie sich deutlich näher am rechten Bildrand befindet. Dieser Unterschied zwischen den Darstellungen der Säule 63 in den 10 und 11 kann dazu verwendet werden, die Säule 63 als erhabenes Objekt zu erkennen. Zudem ist erkennbar, dass ein Fußpunkt 63a der Säule 63 in beiden Figuren im Wesentlichen zusammenfällt. Durch diese Gemeinsamkeit kann der Fußpunkt innerhalb der Bilder erkannt werden und zur Abstandsbestimmung verwendet werden. Geht man bereits bei der Aufnahme der Kamerabilder (6, 8) davon aus, dass die relevanten Umgebungsobjekte mit einer hohen Wahrscheinlichkeit der Manhattan Welt-Annahme genügen, kann bei Kenntnis der Perspektiven dieser Bilder ein Umgebungsobjekt in einem ersten Bild mit deutlich geringerem Aufwand bzw. deutlich schneller auch in einem zweiten Kamerabild aufgefunden werden. 10 shows an enlarged section of the in 7 illustrated rectified view. This section corresponds essentially to the in 11 represented view, which in turn on the inclusion in 9 based. In direct comparison, it can be seen that the column 63 in 10 significantly more to the left (and down) runs, as in 11 in which she is much closer to the right edge of the picture. This difference between the representations of the column 63 in the 10 and 11 Can be used to the pillar 63 to recognize as a raised object. In addition, it is recognizable that a foot point 63a the column 63 essentially coincident in both figures. Through this commonality, the foot point can be recognized within the images and used for distance determination. Do you already go when shooting the camera images ( 6 . 8th ) assuming that the relevant environment objects with a high probability of Manhattan world assumption are sufficient, with knowledge of the perspectives of these images, an environment object in a first image with significantly less effort or much faster in a second camera image can be found.

Auch wenn die erfindungsgemäßen Aspekte und vorteilhaften Ausführungsformen anhand der in Verbindung mit den beigefügten Zeichnungsfiguren erläuterten Ausführungsbeispiele im Detail beschrieben worden sind, sind für den Fachmann Modifikationen und Kombinationen von Merkmalen der dargestellten Ausführungsbeispiele möglich, ohne den Bereich der vorliegenden Erfindung zu verlassen, deren Schutzbereich durch die beigefügten Ansprüche definiert wird.Although the aspects and advantageous embodiments of the invention have been described in detail with reference to the embodiments explained in connection with the accompanying drawings, modifications and combinations of features of the illustrated embodiments are possible for the skilled person, without departing from the scope of the present invention, the scope of protection the appended claims are defined.

Claims

Method for detecting raised environment objects ( 60 . 61 . 62 . 63 ) with the steps - Create ( 100 ) of a first image ( 6 containing an environment object ( 60 . 61 . 62 . 63 ) from a first perspective, - generating ( 100 ) of a second image ( 8th containing the environment object ( 63 ) from a second perspective, - equalize ( 200 ) of the first image ( 6 ) and the second image ( 8th ) with respect to a common reference plane, - modifying a lighting of the surrounding object ( 60 . 61 . 62 . 63 ) for facilitating identification and recognition of the environment object ( 63 ) in the pictures ( 7 . 9 . 10 . 11 ), wherein the illumination in particular by means of a moving means based illuminant, in particular a headlight ( 11 . 12 . 21 . 22 ), - identifying ( 300 ) of the environment object ( 63 ) in the first rectified image ( 7 . 10 ) and in the second rectified image ( 9 . 11 ), and - Recognize ( 400 ) of the environment object ( 63 ) as elevated relative to the reference plane due to a deviation between the representation of the environment object ( 63 ) in the first rectified image ( 7 . 10 ) relative to the representation of the environment object in the second rectified image ( 9 . 11 ).

The method of claim 1, wherein said generating ( 100 ) of the first image ( 6 ) by means of a first optical sensor ( 1 ) and creating ( 100 ) of the second image ( 8th ) by means of a second optical sensor ( 2 ) respectively.

Method according to claim 1 or 2, wherein - equalizing ( 200 ) performing an inverse perspective assignment based on the first image ( 6 ) and the second image ( 8th ), and / or - the recognition of the environment object ( 63 ) from image content violating the assumption of a flat image plane ( 60 . 61 . 62 . 63 ) he follows.

Method according to one of the preceding claims, wherein the common reference plane is a ground plane of the environment from which the surrounding objects ( 60 . 61 . 62 . 63 ) protrude.

Method according to one of the preceding claims, wherein the recognition ( 400 ) is made using the assumption, in particular by verifying that the detected environment object ( 63 ) has a substantially perpendicular to a bottom plane of the environment, in particular with respect to the reference plane, protruding structure.

Method according to one of the preceding claims, wherein - The lighting in the invisible infrared frequency range is modified, but not in the visible frequency range, and / or - The intensity of illumination has a predefined pattern as a function of the illumination angle.

Method according to one of the preceding claims, wherein in the step of recognizing a foot point ( 63a ) of the environment object ( 63 ) than in the first rectified image ( 7 . 10 ) and in the second rectified image ( 9 . 11 ) matching section of the environment object ( 63 ) is identified.

Method according to one of the preceding claims, wherein a velocity of the surrounding object ( 63 ), in particular taking into account an airspeed, from temporally successively determined positions of the raised environment object ( 63 ) is determined.

Contraption ( 8th ) - means ( 81 . 82 ) for receiving a first image ( 6 ) and a second image ( 8th ), - a processing unit ( 83 ), which is set up, - the first picture ( 6 ) and the second image ( 8th ) with respect to a common reference plane, - an environment object ( 63 ) in the first rectified image ( 7 ) and in the second rectified image ( 9 ), and - the environment object ( 63 ) due to a deviation between the representation of the environment object ( 63 ) in the first rectified image ( 7 . 10 ) compared to the representation of the environment object ( 63 ) in the second rectified image ( 9 . 11 ) to be seen as raised relative to the common reference plane, wherein - the processing unit ( 83 ) is further configured to perform a method according to any one of claims 1 to 8.