EP2766877A1 - Verfahren zur darstellung eines fahrzeugumfeldes - Google Patents

Verfahren zur darstellung eines fahrzeugumfeldes

Info

Publication number
EP2766877A1
EP2766877A1 EP12770047.4A EP12770047A EP2766877A1 EP 2766877 A1 EP2766877 A1 EP 2766877A1 EP 12770047 A EP12770047 A EP 12770047A EP 2766877 A1 EP2766877 A1 EP 2766877A1
Authority
EP
European Patent Office
Prior art keywords
raised
vehicle
projection plane
detected
raised object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP12770047.4A
Other languages
English (en)
French (fr)
Inventor
Tobias Ehlgen
Leo VEPA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2766877A1 publication Critical patent/EP2766877A1/de
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for representing a vehicle environment on a man-machine interface in a driver assistance system.
  • the invention further relates to a corresponding computer program product and a corresponding
  • Driver assistance systems are additional devices in a vehicle intended to assist the driver in maneuvering the vehicle. Typically include
  • Parking assistant a navigation system or a blind spot monitoring, which monitors the environment of the vehicle using a sensor.
  • sensors can be used to monitor the environment of the vehicle using a sensor.
  • optical sensors include that provide or prepare individually or in combination with the other data concerning the vehicle environment.
  • EP 2 058 762 A2 discloses a method which makes it possible to represent distances of objects to a vehicle directly in the Bird's-Eye-View. First, one detects
  • Image capture unit Objects that are in the vicinity of the vehicle. If an object is detected that is expected to be at a certain height above ground with the
  • DE 10 2010 010 912 A1 relates to a driver assistance device with optical representation of detected objects.
  • the driving assistance device comprises a
  • Sensor device for detecting objects in the vicinity of the vehicle and a display device.
  • ground coordinates of the object as 2D or 3D position data can be grasped, which are used by the display device for positioning a symbol symbolizing the object in the plan view in the perspective view.
  • An icon for the captured object is shown in perspective
  • the driver assistance system comprises an evaluation unit, which is evaluated by evaluating
  • the determined distance data is displayed as an object contour on an optical display with respect to a schematic plan view of the own vehicle.
  • Today's multi-camera systems used in automobiles compute a common view from images of multiple cameras installed in the vehicle.
  • a virtual camera can be used to display different views through the several cameras installed in the vehicle. This allows the driver to see the entire closer vehicle environment with a single glance at the head-up display. Thus, the driver can overlook dead angles when using such a system.
  • Image processing and / or other sensor technologies such as laser, radar,
  • the height of the object can be determined, this is also taken into account for the change of the projection plane, so that a further improvement of the view can be made possible.
  • Projection level are displayed. This deprives the presentation of its artificial character and leads to a more natural representation of its immediate environment for the driver.
  • FIG. 5 shows an adapted projection plane whose vertical area is located near the foot point of a detected raised object
  • Figure 6 is a further adapted its vertical range from the base of the raised
  • Object extends out and is adapted in its height to the height of the detected raised object.
  • FIG. 1 shows a synopsis of four photos taken by cameras installed in the vehicle.
  • a common view can be generated from the 1 -4 camera images 12, 14, 16 and 18 recorded by the cameras installed in the vehicle.
  • Through a virtual camera can be represented by different views, which allows the driver to see through a single look at a head-up display, for example, the entire closer vehicle environment. This allows the driver, among other things, to overlook blind spots.
  • a bird's eye view 20 is shown by way of example, in which a vehicle 30 is viewed from above.
  • the individual images can be projected onto a curved trough so that the representation, in particular as regards the transfer of a further region, can be markedly improved.
  • FIG. 4 shows a projection plane which has a horizontal area extending in front of a vehicle and a vertical area extending in the vertical direction with respect to the vehicle.
  • the vehicle 30 is located on a roadway 40, which represents the horizontal region 36 of a projection plane 46.
  • FIG. 4 shows that at least one raised object 34, shown here as a person, is located in the horizontal region 36 of the projection plane 46.
  • FIG. 4 shows that the Projection level 46, starting from the vehicle 30, with its vertical portion 38 behind the at least one detected raised object 34 is located. Therefore, the detected, at least one raised object 34 in the projection plane 46, in particular in the vertical area 38, is represented unnaturally as a distorted shadow.
  • the vertical region 38 coincides with the projection plane 46 indicated by dashed lines.
  • the projection plane 46 is fixed and offers no flexibility. From the beam path shown in FIG.
  • the raised object 34 here represented as a person, passes through the beam passing through the head, as does the beam passing the foot of the raised object 34, indicated by a strong shear bottom arrow from the base of the raised object 34 to the vertical curved portion 38 of the projection plane very strong, especially distorted as shear, will be presented.
  • the projection plane 46 represents a bowl-like configured plane onto which video views of the vehicle environment are projected.
  • the transition between the horizontal region 36 and the vertical region 38 of the bowl-like plane 32 is chosen so that it is at the transition between flat areas, such as the lane 40 on which the vehicle 30 is located, and raised objects, such as buildings or persons 34 agree. In this way, the raised objects 34 in the surroundings of the vehicle, in particular on the projection plane 46, are more likely to correspond to reality and lose their sometimes seemingly artificial impression.
  • FIG. 5 shows an adapted projection plane which extends in front of the vehicle.
  • a raised object 34 in the form of a person is detected in the surroundings of the vehicle 30.
  • a determination of a foot point 48 of the raised detected object 34 is made, from which the detected, at least one raised object 34, starting from the roadway 40, ie the horizontal portion 36 of the projection plane 46 rises in this.
  • an adaptation of the projection plane 46 takes place such that the vertical region 38 of the projection plane 46 is raised in front of the foot point 48 of the raised object 34, if appropriate within a transitional region 50, that the at least one detected raised object 34 in the Projection level 46, in particular in its vertical portion 38 is located.
  • the transition region 50 serves to allow a continuous transition of the projection plane, in particular a continuous transition between the horizontal region 36 and the vertical region 39 of the projection plane 46.
  • the vertical area 38 is the actual height 42 of the raised object 34, in this case the
  • the illustration according to FIG. 6 shows a further adaptation of the projection plane, in particular taking into account the size of the at least one detected raised object.
  • an estimated height 44 is entered in this illustration, which corresponds essentially to the height 42, in the present case the body size of the human person representing the at least one raised object.
  • the height 42 is different if the raised object 34 is not a person, but another object. From the driver of the vehicle 30 is the
  • At least one raised object 34 is now perceived as lying in the projection plane, in particular in the vertical region 38 of the projection plane 46 and can
  • a head-up display For example, be displayed in a head-up display as a natural object.
  • the projection plane 46 initially has a bowl-shaped appearance.
  • the projectile plane 46 configured in the shape of a bowl is dented, ie the height and width as well as a foot point of an object 34 are estimated. Since now an object 34 is located, the
  • Projection level 46 can be changed.
  • the projection plane 46 is compared to the representation according to FIG. 4 with a fixed implementation, earlier, ie. in the plane of the raised object 34, raised. This elevation of the projection plane 46 takes place in the width of the raised object 34.
  • the height 42 of the raised object 34 ensures, in addition to the width of the raised object 34, a change in the projection plane 46.
  • the combination of the image sequence of the camera images 12, 14, 16, 18, for example in a bird's eye view is not made by a real camera. Rather, the captured camera images 12, 14, 16, and 18 are subjected to image transformation so that it appears that the transformed image is captured by a real camera located above the vehicle 30.
  • the term "virtual camera” in the present context is understood to mean one which would provide a transformed image of the camera images 12, 14, 16 and 18 taken by real cameras.

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Veränderung einer Projektionsebene (46) bei Detektion mindestens eines Objektes, insbesondere mindestens eines erhabenen Objektes (34) in der Umgebung eines Fahrzeugs (30). Es erfolgt die Überwachung der Fahrzeugumgebung auf erhabene Objekte (34). Anschließend werden die Koordinaten eines Fußpunktes (48) mindestens eines detektierten erhabenen Objektes (34) und dessen Breite ermittelt. Danach wird die Projektionsebene (46) vor dem mindestens einen detektierten erhabenen Objekt (34) ausgehend von dessen Fußpunkt (48) gegebenenfalls innerhalb eines Übergangsbereiches (50) angehoben.

Description

Beschreibung
Titel
Verfahren zur Darstellung eines Fahrzeugumfeldes Stand der Technik
Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrerassistenzsystem. Die Erfindung betrifft ferner ein entsprechendes Computerprogrammprodukt sowie ein entsprechendes
Fahrassistenzsystem.
Fahrassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die den Fahrer beim Manövrieren des Fahrzeugs unterstützen sollen. Typischerweise umfassen
Fahrassistenzsysteme unterschiedliche Subsysteme, beispielsweise einen
Einparkassistenten, ein Navigationssystem oder eine Totwinkelüberwachung, die mithilfe von einer Sensorik das Umfeld des Fahrzeugs überwacht. Derartige Sensorik kann
beispielsweise optische Sensoren, Ultraschallsensoren, Radarsensoren oder LI DAR- Sensoren umfassen, die einzeln oder in Kombination mit den anderen Daten betreffend des Fahrzeugumfeldes bereitstellen beziehungsweise aufbereiten.
EP 2 058 762 A2 offenbart ein Verfahren, welches es ermöglicht, Abstände von Objekten zu einem Fahrzeug direkt im Bird's-Eye-View darzustellen. Zunächst detektiert eine
Bilderfassungseinheit Objekte, die sich in der Umgebung des Fahrzeugs befinden. Wird ein Objekt detektiert, das voraussichtlich in einer bestimmten Höhe über Grund mit dem
Fahrzeug kollidieren wird, so ergeht eine virtuelle Protektionsebene in der Höhe des
Kollisionspunktes. Im Rahmen der Bildverarbeitung werden die Pixel des von der
Bilderfassungseinheit erfassten Bildes auf diese Ebene projiziert und so ein Bild aus der Vogelperspektive generiert. Zusätzlich werden Pixel zwischen Fahrzeug und Kollisionspunkt auf eine Ebene in Fahrbahnhöhe projiziert und weiter weg liegende Pixel werden auf die virtuelle Projektionsebene projiziert. DE 10 2010 010 912 A1 bezieht sich auf eine Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte. Die Fahrassistenzvorrichtung umfasst eine
Sensorikeinrichtung zum Erfassen von Objekten in der Umgebung des Fahrzeugs sowie eine Anzeigeeinrichtung. Mit der Sensorikeinrichtung sind Bodenkoordinaten des Objektes als 2D- oder 3D-Positionsdaten fassbar, die von der Anzeigeeinrichtung zur Positionierung eines Symboles, das das Objekt in der Draufsicht symbolisiert, in der perspektivischen Darstellung verwendet werden. Ein Symbol für das erfasste Objekt wird in der perspektivischen
Darstellung platziert. Um die gesamte Umgebung des virtuellen Fahrzeugs darstellen zu können, sind mehrere Aufnahmen rund um das Fahrzeug notwendig. Diese jeweiligen Aufnahmen werden vorverarbeitet und ihre Informationen werden zur Gewinnung einer vogelperspektivischen Darstellung genutzt.
DE 10 2005 026 458 A1 bezieht sich auf ein Fahrerassistenzsystem für ein Fahrzeug. Das Fahrassistenzsystem umfasst eine Auswerteeinheit, welche durch Auswerten von
Sensorsignalen Abstandsdaten zum Nahbereich des Fahrzeugs erfassten Objekten bestimmt. Die bestimmten Abstandsdaten werden als Objektkontur auf einer optischen Anzeige in Bezug auf eine schematische Draufsicht des eigenen Fahrzeugs dargestellt. Heutige Multikamerasysteme, die in Automobilen eingesetzt werden, berechnen aus Bildern von mehreren, im Fahrzeug installierten Kameras eine gemeinsame Ansicht. Durch eine virtuelle Kamera lassen sich durch die mehreren, im Fahrzeug installierten Kameras verschiedene Ansichten darstellen. Dadurch wird es dem Fahrer ermöglicht, durch einen einzigen Blick auf das Headup-Display die gesamte nähere Fahrzeugumgebung zu sehen. Somit kann der Fahrer bei Einsatz eines derartigen Systems tote Winkel überblicken.
Darstellung der Erfindung
Durch das erfindungsgemäß vorgeschlagene Verfahren können im Rahmen einer
Bildverarbeitung und/oder aufgrund anderer Sensoriken, so zum Beispiel Laser, Radar,
Lidar, Ultraschall, Stereokameras, um nur einige zu nennen, erhabene Objekte in der Nähe, d.h. im Umfeld des Fahrzeuges detektiert werden. Anstatt diese detektierten Objekte in die Ebene zu projizieren, werden bei Detektion eines erhabenen Objektes der erfindungsgemäß vorgeschlagenen Lösung folgend die Koordinaten des Fußpunktes des Objektes bestimmt. In einem sich anschließenden Verfahrensschritt wird die Projektionsebene vor dem Objekt angehoben, sodass erhabene Objekte in der Nähe des Fahrzeugs nicht mehr als „Schattenwurf" auf die Ebene projiziert werden sondern in den verschiedenen auswählbaren Ansichten der virtuellen Kamera als erhabene Objekte erkennbar sind. Diese
Vorgehensweise führt zu einer verbesserten Darstellung der Umgebung beziehungsweise einer besseren Aufbereitung der Umgebungssituation für den Fahrer, in der er sich besser orientieren kann, da das Bild natürlicher wirkt und einen intuitiveren Anstrich hat.
Falls zusätzlich noch die Höhe des Objektes bestimmt werden kann, wird diese ebenfalls für die Änderung der Projektionsebene berücksichtigt, sodass eine weitere Verbesserung der Ansicht ermöglicht werden kann.
Vorteile der Erfindung
Die Vorteile der erfindungsgemäß vorgeschlagenen Lösung sind vor allem darin zu erblicken, dass erhabene Objekte natürlicher, intuitiver durch Anheben einer
Projektionsebene dargestellt werden. Dies nimmt der Darstellung ihren artifiziellen Charakter und führt für den Fahrer zu einer natürlicheren Darstellung seiner unmittelbaren Umgebung.
Kurze Beschreibung der Zeichnungen
Anhand der Zeichnungen wird die Erfindung nachstehend eingehender beschrieben.
vier Bilder von mehreren im Fahrzeug installierten Kameras in einer gemeinsamen Ansicht, eine zweidimensionale Draufsicht auf ein Fahrzeug, welches die Kamera aufweist, aus der Vogelperspektive, eine Rundumansicht des Fahrzeugs aus einem Blickwinkel, eine sich vor einem Fahrzeug erstreckende Projektionsebene mit horizontalem und vertikalem Abschnitt, Figur 5 eine adaptierte Projektionsebene, deren vertikaler Bereich sich in der Nähe des Fußpunktes eines detektierten erhabenen Objektes befindet und
Figur 6 eine weiter adaptierte deren vertikaler Bereich sich vom Fußpunkt des erhabenen
Objektes aus erstreckt und in seiner Höhe an die Höhe des detektierten erhabenen Objektes angepasst ist.
Der Darstellung gemäß Figur 1 ist eine Zusammenschau von vier Fotos zu entnehmen, die von im Fahrzeug verbauten Kameras aufgenommen sind. Aus den von im Fahrzeug installierten Kameras aufgenommenen 1 -4 Kamerabildern 12, 14, 16 und 18 kann eine gemeinsame Ansicht generiert werden. Durch eine virtuelle Kamera lassen sich dadurch verschiedene Ansichten darstellen, was dem Fahrer ermöglicht, durch einen einzigen Blick auf ein Headup-Display beispielsweise, die gesamte nähere Fahrzeugumgebung zu sehen. Dies ermöglicht dem Fahrer, unter anderem auch tote Winkel zu überblicken.
In der Darstellung gemäß Figur 2 ist beispielhaft eine Vogelperspektive 20 dargestellt, in der von oben auf ein Fahrzeug 30 geblickt wird.
Daneben besteht die Möglichkeit, aus den Kamerabildern 12, 14, 16, 18 eine gekrümmte Rundumschau 22 in dreidimensionaler Ansicht zu erstellen, welche die Umgebung des Fahrzeuges 30 abbildet. Anstatt die Kamerabilder 12, 14, 16 und 18 auf eine Ebene zu projizieren, können die Einzelbilder auf eine gekrümmte Wanne projiziert werden, sodass die Darstellung, insbesondere was die Wedergabe eines fernerliegenden Bereiches betrifft, deutlich verbessert werden kann.
Ausführungsbeispiele
Der Darstellung gemäß Figur 4 ist eine Projektionsebene zu entnehmen, die einen sich vor einem Fahrzeug erstreckenden horizontalen Bereich und einen senkrechten, sich in vertikaler Richtung in Bezug auf das Fahrzeug erstreckenden Bereich aufweist.
Wie die Darstellung gemäß Figur 4 zeigt, befindet sich das Fahrzeug 30 auf einer Fahrbahn 40, welche den horizontalen Bereich 36 einer Projektionsebene 46 darstellt. Figur 4 zeigt, dass sich im horizontalen Bereich 36 der Projektionsebene 46 mindestens ein erhabenes Objekt 34, hier dargestellt als Person, befindet. Die Figur 4 zeigt, dass sich die Projektionsebene 46, ausgehend vom Fahrzeug 30, mit ihrem vertikalen Bereich 38 hinter dem mindestens einen detektierten erhabenen Objekt 34 befindet. Daher wird das detektierte, mindestens eine erhabene Objekt 34 in der Projektionsebene 46, insbesondere im vertikalen Bereich 38, unnatürlich als verzerrter Schattenwurf dargestellt. Wie aus Figur 4 hervorgeht, fällt in dieser Ausführungsvariante der vertikale Bereich 38 mit der gestrichelt angedeuteten Projektionsebene 46 zusammen. Die Projektionsebene 46 ist fest vorgegeben und bietet keine Flexibilität. Aus dem in Figur 4 eingetragenen Strahlengang geht hervor, dass das erhabene Objekt 34, hier dargestellt als Person, durch den Strahl der den Kopf passiert, wie auch den Strahl, der den Fußpunkt des erhabenen Objektes 34 passiert, mit einer starken Scherung angedeutet durch den unteren Pfeil vom Fußpunkt des erhabenen Objektes 34 bis auf den vertikalen gekrümmten Bereich 38 der Projektionsebene sehr stark, insbesondere als Scherung verzerrt, dargestellt werden wird.
Die Projektionsebene 46 gemäß der Darstellung in Figur 4 stellt eine schüsselartig konfigurierte Ebene dar, auf die Videoansichten des Fahrzeugumfeldes projiziert werden. Dabei wird der Übergang zwischen dem horizontalen Bereich 36 und dem vertikalen Bereich 38 der schüsselartigen Ebene 32 möglichst so gewählt, dass dieser mit dem Übergang zwischen flachen Bereichen, wie der Fahrbahn 40, auf der sich das Fahrzeug 30 befindet, und erhabenen Objekten, wie Gebäuden beziehungsweise Personen 34 übereinstimmen. Auf diese Weise entspricht der erhabenen Objekte 34 in der Umgebung des Fahrzeuges, insbesondere auf der Projektionsebene 46 eher der Realität und verliert ihren mitunter artifiziell anmutenden Eindruck.
Der Darstellung gemäß Figur 5 ist eine adaptierte Projektionsebene, die sich vor dem Fahrzeug erstreckt, zu entnehmen.
Wie Figur 5 zeigt, ist im Umfeld des Fahrzeugs 30 ein erhabenes Objekt 34 in Gestalt einer Person detektiert. Nunmehr wird eine Bestimmung eines Fußpunktes 48 des erhabenen detektierten Objektes 34 vorgenommen, ab dem sich das detektierte, mindestens eine erhabene Objekt 34 ausgehend von der Fahrbahn 40, d.h. dem horizontalen Bereich 36 der Projektionsebene 46 in diese erhebt. Abhängig von der Ermittlung des Fußpunktes 48 erfolgt, wie aus einem Vergleich mit Figur 4 hervorgeht, eine Adaption der Projektionsebene 46 dahingehend, dass der vertikale Bereich 38 der Projektionsebene 46 vor dem Fußpunkt 48 des erhabenen Objektes 34 gegebenenfalls innerhalb eines Übergangsbereiches 50 so angehoben wird, dass sich das mindestens eine, detektierte erhabene Objekt 34 in der Projektionsebene 46, insbesondere in deren vertikalem Bereich 38 befindet. Der Übergangsbereich 50 dient dazu, einen stetigen Übergang der Projektionsebene zu ermöglichen, insbesondere einen stetigen Übergang zwischen dem horizontalen Bereich 36 und dem vertikalen Bereich 39 der Projektionsebene 46.
Der Vollständigkeit halber sei erwähnt, dass in der Darstellung gemäß Figur 5 der vertikale Bereich 38 die tatsächliche Höhe 42 des erhabenen Objektes 34, in diesem Fall die
Körpergröße des erhabenen Objektes der Person 34 übersteigt. Im Wesentlichen fällt der Übergangspunkt, an dem der horizontale Bereich 36 der
Projektionsebene 46 in den vertikalen Bereich 38, mit dem Fußpunkt 48 des mindestens einen detektierten erhabenen Objektes 34 zusammen.
Der Darstellung gemäß Figur 6 ist eine weitere Adaptierung der Projektionsebene, insbesondere unter Berücksichtigung der Größe des mindestens einen detektierten erhabenen Objektes zu entnehmen.
Wie Figur 6 zeigt, ist in dieser Darstellung eine geschätzte Höhe 44 eingetragen, die im Wesentlichen mit der Höhe 42, im vorliegenden Fall der Körpergröße der das mindestens eine erhabene Objekt darstellenden menschlichen Person übereinstimmt. Selbstverständlich ist die Höhe 42 eine andere, falls es sich bei dem erhabenen Objekt 34 nicht um eine Person handelt, sondern um ein anderes Objekt. Vom Fahrer des Fahrzeugs 30 wird das
mindestens eine erhabene Objekt 34 nun als in der Projektionsebene, insbesondere im vertikalen Bereich 38 der Projektionsebene 46 liegend wahrgenommen und kann
beispielsweise in einem Headup-Display als natürliches Objekt dargestellt werden. Dies führt zu einer wesentlich verbesserten Darstellung der Umgebung für den Fahrer des Fahrzeugs 30, in der er sich besser orientieren kann, da das in der Projektionsebene 46, insbesondere deren vertikalem Bereich 38 liegende Abbild des mindestens einen erhabenen Objektes 34 wesentlich natürlicher wirkt und die Darstellung des erhabenen Objektes 34 beispielsweise in einem Headup-Display ihren artifiziellen Charakter verliert.
Wird - wie in Figur 6 angedeutet - die Höhe des vertikalen Abschnittes 38 die tatsächliche Höhe 42 des mindestens einen detektierten erhabenen Objektes 34 angepasst, kann eine nochmalige Verbesserung der Darstellung von Objekten 34 ermöglicht werden. Wie in Zusammenhang mit Figur 4 angedeutet, hat die Projektionsebene 46 zunächst ein schüsseiförmiges Aussehen. Bei der Detektion eines Objektes wird die schüsseiförmig konfigurierte Projektionsebene 46 eingedellt, d.h. Höhe und Breite sowie ein Fußpunkt eines Objektes 34 werden geschätzt. Da nunmehr ein Objekt 34 lokalisiert ist, kann die
Projektionsebene 46 verändert werden. Im vorliegenden Beispiel wird gemäß Figur 5 die Projektionsebene 46 im Vergleich zur Darstellung gemäß Figur 4 bei fester Implementation, früher, d.h. in der Ebene des erhabenen Objektes 34 liegend, angehoben. Diese Anhebung der Projektionsebene 46 erfolgt in der Breite des erhabenen Objektes 34. In der Darstellung gemäß Figur 6 tritt hinzu, dass die Höhe 42 des erhabenen Objektes 34 neben der Breite des erhabenen Objektes 34 für eine Veränderung der Projektionsebene 46 sorgt.
Zu den Sensoriken, die im vorliegenden Zusammenhang zur Implementierung des erfindungsgemäß vorgeschlagenen Verfahrens eingesetzt werden, sind vor allem
Ultraschallsensoren, Radarsensoren, Lasersensoren, Stereokameras sowie Structure from Motion, eine Monokamera und dergleichen mehr geeignet. Mit solcher Art Umfeld des Fahrzeugs 30 erfassenden Sensoriken, lassen sich Messwerte des erhabenen Objektes 34 erfassen. Die erfassten Messwerte können beispielsweise in eine Position bezüglich eines beliebigen Koordinatensystems umgerechnet werden.
In Zusammenhang mit den Figuren 1 bis 3 ist anzumerken, dass die Vereinigung der Bildsequenz der Kamerabilder 12, 14, 16, 18 zum Beispiel in einer Vogelperspektive (Bird Eye View) nicht von einer realen Kamera gemacht wird. Die aufgenommenen Kamerabilder 12, 14, 16 und 18 werden vielmehr einer Bildtransformation unterzogen, so dass es den Anschein hat, dass das transformierte Bild von einer realen Kamera, die sich oberhalb des Fahrzeugs 30 befindet, aufgenommen ist. Unter dem Ausdruck„virtuelle Kamera" ist im vorliegenden Zusammenhang eine solche zu verstehen, die ein transformiertes Bild, der von realen Kameras aufgenommenen Kamerabilder 12, 14, 16 und 18 liefern würde.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegeben Bereiches ist eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handels liegen.

Claims

Ansprüche 1. Verfahren zur Veränderung einer Projektionsebene (46) bei Detektion eines Objektes, insbesondere mindestens eines erhabenen Objektes (34) in der Umgebung eines Fahrzeuges (30) mit nachfolgenden Verfahrensschritten:
Überwachung der Fahrzeugumgebung auf erhabene Objekte (34),
- Ermittlung von Koordinaten eines Fußpunktes (48) eines detektierten, erhabenen
Objektes (34) sowie von dessen Breite,
Anhebung (38) der Projektionsebene (46) vor dem erhabenen Objekt (34), im Wesentlichen in der Nähe von dessen ermittelten Fußpunktes (48) in der Breite des erhabenen Objektes (34).
2. Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass die Projektionsebene (46) durch einen vor dem Fahrzeug (30) liegenden horizontalen Bereich (36) und einen entfernter vom Fahrzeug (30) liegenden vertikalen Bereich (38) gebildet wird.
Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass bei Detektion mindestens eines erhabenen Objektes (34) der vertikale Bereich (38) der Projektionsebene (46) in die Nähe des mindestens einen detektierten erhabenen Objekt (34) verschoben wird.
Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass die Projektionsebene (46), ausgehend vom Fußpunkt (48) des erhabenen, detektierten Objektes (34) in der Breite adaptiert wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von einer Höhe (42) des mindestens einen detektierten erhabenen Objektes (34) eine Höhe (44) des vertikalen Bereiches (38) in der Breite des Objektes (34) der Projektionsebene (46) angepasst wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Projektionsebene (46) einen 3D-Darstellung ist. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Projektionsebene (46) ein Übergangsbereich (50) vorgesehen ist, innerhalb dessen der horizontale Bereich (36) in den vertikalen Bereich (38) übergeht.
Computerprogramm zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren
Computereinrichtung ausgeführt wird.
Fahrassistenzsystem für einen Fahrer eines Fahrzeugs (30), umfassend folgende Komponente:
Sensoriken zur Überwachung der Fahrzeugumgebung auf erhabene Objekte (34), Komponenten zur Ermittlung von Koordinaten eines Fußpunktes (48) mindestens eines detektierten erhabenen Objektes (34) und von dessen Breite,
eine Komponente zur Anhebung (38) der Projektionsebene (46) in der Nähe des erhabenen Objektes (34), im Wesentlichen in der Nähe von dessen ermittelten Fußpunkt (38) über die Breite des mindestens einen detektierten erhabenen Objektes (34).
EP12770047.4A 2011-10-14 2012-09-24 Verfahren zur darstellung eines fahrzeugumfeldes Ceased EP2766877A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011084554A DE102011084554A1 (de) 2011-10-14 2011-10-14 Verfahren zur Darstellung eines Fahrzeugumfeldes
PCT/EP2012/068794 WO2013053589A1 (de) 2011-10-14 2012-09-24 Verfahren zur darstellung eines fahrzeugumfeldes

Publications (1)

Publication Number Publication Date
EP2766877A1 true EP2766877A1 (de) 2014-08-20

Family

ID=47008547

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12770047.4A Ceased EP2766877A1 (de) 2011-10-14 2012-09-24 Verfahren zur darstellung eines fahrzeugumfeldes

Country Status (5)

Country Link
US (1) US20140375812A1 (de)
EP (1) EP2766877A1 (de)
JP (1) JP5748920B2 (de)
DE (1) DE102011084554A1 (de)
WO (1) WO2013053589A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627199A1 (de) 2018-09-24 2020-03-25 Dätwyler Cabling Solutions AG Duplex-adapter

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
JP6149676B2 (ja) * 2013-10-09 2017-06-21 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
EP3160138B1 (de) * 2014-06-20 2021-03-17 Clarion Co., Ltd. Bildsynthesesystem, bildsynthesevorrichtung dafür und bildsyntheseverfahren
DE102014012250B4 (de) 2014-08-19 2021-09-16 Adc Automotive Distance Control Systems Gmbh Verfahren zur Bilderverarbeitung und -darstellung
DE102015204214A1 (de) * 2015-05-07 2016-11-10 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102015221340B4 (de) 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
DE102016224904A1 (de) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Dreidimensionales Rundumsichtsystem
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
WO2021111531A1 (ja) * 2019-12-03 2021-06-10 株式会社ソシオネクスト 画像処理装置、画像処理方法、および画像処理プログラム
JP7429865B2 (ja) 2020-05-28 2024-02-09 パナソニックＩｐマネジメント株式会社 表示制御装置、車両及び表示制御方法
JP2021190981A (ja) 2020-05-28 2021-12-13 パナソニックＩｐマネジメント株式会社 表示制御装置、車両及び表示制御方法
JP7398637B2 (ja) 2020-05-28 2023-12-15 パナソニックＩｐマネジメント株式会社 表示制御装置、車両及び表示制御方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034594A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Information eines Insassen eines Fahrzeuges

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309453A3 (de) * 1998-07-31 2012-09-26 Panasonic Corporation Bildanzeigevorrichtung und Bildanzeigeverfahren
JP4118452B2 (ja) * 1999-06-16 2008-07-16 本田技研工業株式会社 物体認識装置
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
DE60207655T2 (de) * 2001-09-07 2006-06-08 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung
JP3652678B2 (ja) * 2001-10-15 2005-05-25 松下電器産業株式会社 車両周囲監視装置およびその調整方法
US7110021B2 (en) * 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
EP1748654A4 (de) * 2004-04-27 2013-01-02 Panasonic Corp Umfangs-display eines fahrzeugs
JP4328692B2 (ja) * 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
DE102005026458A1 (de) 2005-06-09 2006-07-27 Daimlerchrysler Ag Fahrerassistenzsystem für ein Fahrzeug
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
CN101563581A (zh) * 2006-11-03 2009-10-21 电子地图有限公司 用于图像中的平面对象的识别和位置确定的方法和设备
JP5057936B2 (ja) 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP5369465B2 (ja) * 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
JP5178454B2 (ja) * 2008-10-28 2013-04-10 パナソニック株式会社 車両周囲監視装置及び車両周囲監視方法
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5444338B2 (ja) * 2009-05-25 2014-03-19 パナソニック株式会社 車両周囲監視装置
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008034594A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Information eines Insassen eines Fahrzeuges

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627199A1 (de) 2018-09-24 2020-03-25 Dätwyler Cabling Solutions AG Duplex-adapter

Also Published As

Publication number Publication date
DE102011084554A1 (de) 2013-04-18
JP2014531078A (ja) 2014-11-20
US20140375812A1 (en) 2014-12-25
WO2013053589A1 (de) 2013-04-18
JP5748920B2 (ja) 2015-07-15

Similar Documents

Publication Publication Date Title
WO2013053589A1 (de) Verfahren zur darstellung eines fahrzeugumfeldes
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
EP2427855B1 (de) Verfahren zur darstellung von objekten aus der umgebung eines fahrzeugs auf der anzeige einer anzeigevorrichtung
EP2753532B1 (de) Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers
DE102008034594B4 (de) Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
DE102007011616B4 (de) Fahrzeugumgebung-Überwachungsgerät
DE10164346B4 (de) Straßenüberwachungsverfahren für ein Fahrzeug und System dafür
EP3053133B1 (de) Verfahren und vorrichtung zur anzeige der umgebung eines fahrzeugs und fahrerassistenzsystem
DE112015004628B4 (de) Bilderzeugungsvorrichtung und Bilderzeugungsverfahren
DE102017218074A1 (de) Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
DE102009035191B4 (de) Verfahren zur Erzeugung einer sensorgestützten, synthetischen Sicht zur Landeunterstützung von Helikoptern unter Brown-Out oder White-Out-Bedingungen
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE102016124978A1 (de) Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102019205542A1 (de) Verfahren und Vorrichtung zur bildhaften Information über Querverkehr auf einer Anzeigevorrichtung eines gefahrenen Fahrzeugs
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
DE112015005633T5 (de) Rundumsicht-System und Fahrzeug, das ein Rundumsicht-System einschließt
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
DE102013008828A1 (de) Verfahren zur Erstellung eines Modells eines Umfelds eines Fahrzeugs sowie entsprechend ausgestaltetes Fahrerassistenzsystem
EP3380357B1 (de) Fahrerassistenzsystem mit adaptiver umgebungsbilddatenverarbeitung
DE202005013989U1 (de) Vorrichtung zur bildgestützten Umgebungserfassung bei Fahrzeugen
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102007019808A1 (de) Landehilfesystem für senkrecht startende und landende Luftfahrzeuge, insbesondere Helikopter
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140514

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20150827

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20171120