DE102006037600A1 - Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor - Google Patents

Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor Download PDF

Info

Publication number
DE102006037600A1
DE102006037600A1 DE102006037600A DE102006037600A DE102006037600A1 DE 102006037600 A1 DE102006037600 A1 DE 102006037600A1 DE 102006037600 A DE102006037600 A DE 102006037600A DE 102006037600 A DE102006037600 A DE 102006037600A DE 102006037600 A1 DE102006037600 A1 DE 102006037600A1
Authority
DE
Germany
Prior art keywords
image
resolution
motor vehicle
image data
ambience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102006037600A
Other languages
German (de)
Other versions
DE102006037600B4 (en
Inventor
Tobias Dipl.-Inform. Ehlgen
Joachim Dipl.-Inform. Gloger
Andreas Dr.-Ing. Schwarzhaupt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102006037600A priority Critical patent/DE102006037600B4/en
Publication of DE102006037600A1 publication Critical patent/DE102006037600A1/en
Application granted granted Critical
Publication of DE102006037600B4 publication Critical patent/DE102006037600B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The method involves capturing ambience information from the ambience of the motor vehicle (1) by an image sensor. The ambience information is converted to graphical data. The resolution of individual image areas (3,4) within the graphical data is determined. The graphical data is masked in the image areas, in which the resolution is below a fixed threshold value.

Description

Die Erfindung betrifft ein Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs.The The invention relates to a method for the resolution-dependent representation of the environment of a motor vehicle.

Umgebungserfassende Systeme kommen in modernen Kraftfahrzeugen bereits zum Einsatz, beispielsweise handelt es sich dabei um Kamerasysteme, welche bei Pkws in Verbindung mit Einparksystemen zum Einsatz kommen. Gleichsam werden auch im Bereich der Nutzfahrzeuge Kamerasysteme zur Umgebungserfassung eingesetzt, beispielsweise im Zusammenhang mit einem Rangierbetrieb. Dabei werden die erfassten Umgebungsdaten dem Fahrer auf einer im Armaturenbrett des Nutzfahrzeugs angeordneten Bildanzeige dargestellt. Bei den bisher eingesetzten Systemen findet eine Änderung der Kameraparameter oder eine Anpassung der Bilddaten in Abhängigkeit einer Bildauswertung während des Betriebs in der Regel nicht statt, weshalb für die Darstellung relevante Parameter üblicherweise einmalig eingestellt werden und danach während des Betriebs nicht mehr angepasst werden.Umgebungserfassende Systems are already being used in modern motor vehicles For example, these are camera systems, which at Passenger cars in conjunction with parking systems are used. as it were Also in the field of commercial vehicles camera systems for environmental detection used, for example in connection with a shunting operation. The recorded environmental data will be displayed to the driver on a Dashboard of the commercial vehicle arranged image display shown. In the systems used so far, there is a change the camera parameters or an adaptation of the image data depending on an image evaluation during usually does not take place, which is why relevant to the presentation Parameters usually be set once and then no longer during operation be adjusted.

In der DE 100 35 223 A1 werden eine Vorrichtung und ein Verfahren zur Überwachung der Umgebung eines Objekts, insbesondere eines Nutzfahrzeugs mit Anhänger (Gliederzug) gezeigt. An dem Gliederzug sind dabei mehrere Kameras zur Hinderniserfassung angeordnet, womit Bildaufnahmen in der Vogelperspektive erfasst und sodann dargestellt werden. Die Erfassungsbereiche zweier benachbarter Kameras überschneiden sich dabei jeweils, sodass die Einzelbilder aller Kameras zu einem zusammenhängenden Gesamtbild zusammensetzbar sind. Der Gliederzug wird dabei als Teil des Gesamtbilds in der Vogelperspektive projiziert und auf einer Anzeigeneinheit dargestellt. Im Rahmen einer präzisen Darstellung der Vogelperspektive wird dabei der Knickwinkel zwischen dem Nutzfahrzeug und dem Anhänger mitberücksichtigt.In the DE 100 35 223 A1 a device and a method for monitoring the environment of an object, in particular a commercial vehicle with trailer (articulated train) are shown. At the articulated train several cameras are arranged for obstacle detection, which captured images in bird's eye view and then displayed. The detection areas of two adjacent cameras overlap each other, so that the individual images of all cameras can be combined into a coherent overall image. The articulated train is projected as part of the overall picture in bird's-eye view and displayed on a display unit. In the context of a precise representation of the bird's eye view, the angle of articulation between the commercial vehicle and the trailer is taken into account.

EP 1179958 A1 zeigt eine Bildverarbeitungseinrichtung sowie ein Überwachungssystem für Fahrzeuge. Hieraus ist es bekannt das Fahrzeug und die Fahrzeugumgebung mittels Bildsensoren in einer Vogelperspektive zu erfassen und auf einer Bildanzeige darzustellen. Weiterhin ist es bekannt, dass in denjenigen Bildbereichen, in denen keine Pixel von den Bildsensoren geliefert werden, synthetische Bilddaten angezeigt werden. Hierbei handelt es sich vorzugsweise um in schwarzer Farbe maskierte Bereiche. EP 1179958 A1 shows an image processing device and a monitoring system for vehicles. From this it is known to capture the vehicle and the vehicle surroundings by means of image sensors in a bird's-eye view and to display them on an image display. Furthermore, it is known that in those image areas in which no pixels are supplied by the image sensors, synthetic image data are displayed. These are preferably areas masked in black color.

Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs bereitzustellen, womit der Fahrer die Umgebung auf eine besonders zuverlässige Weise erfassen kann.Of the The invention is therefore based on the object, a method for resolution-dependent representation provide the environment of a motor vehicle, with which the driver can capture the environment in a particularly reliable manner.

Die Aufgabe wird gemäß der Erfindung durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.The Task is according to the invention solved by a device having the features of patent claim 1. advantageous Embodiments and developments are shown in the subclaims.

Gemäß der Erfindung wird ein Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs bereitgestellt. Hierbei wird in einer erfinderischen Weise Umgebungsinformation aus der Umgebung des Kraftfahrzeugs mittels wenigstens eines Bildsensors erfasst und sodann in Bilddaten umgesetzt. Anschließend wird innerhalb dieser Bilddaten die Auflösung einzelner Bildbereiche bestimmt, wobei in denjenigen Bildbereichen eine Maskierung der Bilddaten stattfindet, in denen sich die Auflösung unterhalb wenigstens eines festgelegten Schwellwerts befindet. Dadurch wird eine auflösungsabhängige Darstellung der Umgebung eines Kraftfahrzeugs, bei welcher der Fahrer die Umgebung auf besonders zuverlässige Weise erfassen kann, erst möglich. Durch den Einsatz des erfindungsgemäßen Verfahrens hat der Fahrer stets einen kompletten Überblick über die Umgebung seines Fahrzeugs, wobei er diese in kurzer Zeit erfassen kann. Dabei werden diejenigen Bildbereiche maskiert, zu denen keine Bilddaten in ausreichender Auflösung vorhanden sind. Der Fahrer wird daher in gewinnbringender Weise beim Abrufen der Umgebungsinformation von einem Display nicht durch solche Bilddaten abgelenkt, welche nicht in ausreichender Qualität bzw. Auflösung dargstellt werden. Zudem kann die Darstellung in vorteilhafter Weise an Kurvenfahrten oder einen Rangierbetrieb angepasst werden, wobei insbesondere bei einem Einsatz in Verbindung mit Gliederzügen der Knickwinkel zwischen dem Zugfahrzeug und dem Anhänger bzw. Auflieger bei der Entscheidung, welche Bildbereiche dargestellt und welche maskiert werden mit berücksichtigt.According to the invention becomes a method for resolution-dependent representation provided the environment of a motor vehicle. This is in an inventive way environmental information from the environment of the Motor vehicle detected by at least one image sensor and then converted into image data. Subsequently, within this Image data the resolution determined individual image areas, wherein in those image areas a Masking of the image data takes place, in which the resolution is below at least one fixed threshold. This will a resolution-dependent representation the environment of a motor vehicle, in which the driver the environment on particularly reliable Way, only possible. By using the method according to the invention, the driver has always a complete overview of the Environment of his vehicle, where he can capture them in a short time. In this case, those image areas are masked, to which no image data in sufficient resolution available. The driver will therefore be profitable unable to retrieve the environmental information from a display deflected image data which does not represent sufficient quality or resolution become. In addition, the presentation in an advantageous manner to cornering or a Rangierbetrieb be adapted, in particular at a use in conjunction with articulated trains of the bending angle between the towing vehicle and the trailer or semi-trailer when deciding which image areas are displayed and which are masked with taken into account.

In einer besonders gewinnbringenden Weise wird zur Bestimmung der Auflösung in einzelnen Bildbereichen eine Auflösungskarte herangezogen. Dabei werden mittels der Auflösungskarte einzelnen Bildbereichen Auflösungswerte zugeordnet. Bei den Auflösungswerten handelt es sich dabei um Auflösungswerte, welche mittels des verwendeten Bildsensors im jeweiligen Bildbereich üblicherweise erzielbar sind oder es handelt sich um Auflösungswerte, welche im jeweiligen Bildbereich mindestens erreicht werden müssen, damit der Fahrer die in diesen Bildbereichen dargestellten Umgebungsinformationen oder sonstigen Informationen überhaupt erkennen kann. Die Auflösungskarte ist dabei vorzugsweise in der Form einer Datentabelle in einer Rechnereinheit hinterlegt. Bei den Bildbereichen handelt es sich beispielsweise um eine oder mehrere Bildzeilen, festgelegte Bildausschnitte mit definierter Anzahl an Bildpunkten für die Höhe und Breite oder auch um mittels Bildverarbeitung bestimmter Bereiche, welche eine unregelmäßige Form aufweisen können und keiner fest vorgegebenen Anzahl von Bildpunkten entsprechen muss.In a particularly profitable way, a resolution map is used to determine the resolution in individual image areas. In the process, resolution values are assigned to individual image areas by means of the resolution map. The resolution values are resolution values which can usually be achieved by means of the image sensor used in the respective image area or are resolution values which must at least be achieved in the respective image area so that the driver can access the environmental information or other information presented in these image areas can recognize. The resolution map is preferably stored in the form of a data table in a computer unit. The image areas are, for example, one or more image lines, defined image sections with a defined number of pixels for the height and width or even at by means of image processing of certain areas, which may have an irregular shape and no fixed predetermined number of pixels must correspond.

In einer weiteren gewinnbringenden Weise wird die Auflösungskarte in Abhängigkeit des Aufbaus des wenigstens einen Bildsensors erstellt. Aufgrund der optischen Eigenschaften der im Bildsensor eingesetzten optischen Bauelemente kann es zu einem unterschiedlichen Auflösungsvermögen innerhalb unterschiedlicher Bildbereiche kommen. Beispielsweise weist eine mittels einer Linsen-Spiegel-Anordnung einer omnidirektionalen Kamera gewonnene Abbildung im Randbereich ein niedrigeres Auflösungsvermögen auf als in deren Zentralbereich. Derartige optische Eigenschaften werden bei der Erstellung einer Auflösungskarte im Rahmen dieser Erfindung in einer gewinnbringenden Weise mitberücksichtigt. Gleichsam werden aber auch weitere vom Aufbau des jeweiligen Bildsensors abhängige Eigenschaften bei der Erstellung der Auflösungskarte mitberücksichtigt.In Another profitable way becomes the resolution card dependent on the structure of the at least one image sensor created. by virtue of the optical properties of the optical sensor used in the image sensor Components can have a different resolution within it different image areas come. For example, a by means of a lens-mirror arrangement an image obtained in the edge area of an omnidirectional camera a lower resolving power as in their central area. Such optical properties are when creating a resolution card within the scope of this invention in a profitable manner. At the same time, more will be added to the structure of the respective image sensor dependent Properties taken into account when creating the resolution card.

Auch wird die Auflösungskarte in Abhängigkeit einer Auswertung erfasster Bilddaten erstellt. Mittels des Bildsensors werden beispielsweise ein oder mehrere Objekte in der Umgebung des Kraftfahrzeugs oder ein Kalibriermuster in der Form von Bilddaten erfasst. Anschließend werden die Bilddaten einer geeigneten Bildauswertung unterzogen und daraus schließlich eine Auflösungskarte erstellt. Die Auflösungskarte kann dabei auch adaptiv ausgelegt sein, d.h. es wird zunächst das komplette Bild hinsichtlich der Auflösung oder eines anderen die Bildeigenschaft beschreibenden Parameters ausgewertet und danach das Bild anhand z.B. einer fest vorgegebenen Anzahl von Auflösungsstufen in einzelne Bildbereiche eingeteilt.Also becomes the resolution card dependent on an evaluation of acquired image data created. By means of the image sensor For example, one or more objects in the environment of Motor vehicle or a calibration pattern in the form of image data detected. Subsequently the image data are subjected to a suitable image evaluation and finally a resolution card created. The resolution card can also be designed adaptive, i. it will be the first complete picture in terms of resolution or another one Evaluated image characteristic descriptive parameter and then the image based on e.g. a fixed number of resolution levels divided into individual image areas.

Auch besteht die Möglichkeit, dass die Festlegung des wenigstens einen Schwellwerts auf einer Auswertung erfasster Bilddaten basiert. Der Schwellwert mittels dem in Abhängigkeit vom Auflösungsvermögen in einzelnen Bildbereichen eine Maskierung stattfindet wird dabei anhand einer Bildauswertung mittels geeigneter Algorithmik festgelegt. Hierbei kann es sich auch um mehrere unterschiedliche Bildbereiche handeln, welche in Abhängigkeit von einem oder mehreren Schwellwert(en) maskiert werden. Bei einer weiteren bevorzugten Ausgestaltung der Erfindung beinhaltet die Bildauswertung eine Objekterkennung, wobei der/die Schwellwerte in Abhängigkeit erkannter Objekte eingestellt werden. Bei den Objekten kann es sich hierbei beispielsweise um die Darstellung des Kraftfahrzeugs oder Teilen davon innerhalb der Bilddaten handeln. Gleichsam sind aber auch andere zu erkennende Objekte aus der Umgebung des Kraftfahrzeugs zum Einstellen des Schwellwerts geeignet. Unterschreitet innerhalb eines Bildbereichs dabei das Auflösungsvermögen den diesem Bildbereich zugeordneten Schwellwert, so werden in gewinnbringender Weise innerhalb dieses Bildbereichs keine Umgebungsinformationen dargestellt, sondern der Bildbereich z.B. mit schwarzer Farbe maskiert. Die Auswertung ist hierbei jedoch nicht nur auf das Auflösungsvermögen beschränkt, sondern es kann sich auch um weitere die Bildeigenschaften beschreibende Parameter, wie z.B. die Intensität, handeln.Also it is possible, in that the definition of the at least one threshold value is based on an evaluation captured image data based. The threshold value by means of the dependent of the resolution in individual Image areas a masking takes place is based on a Image evaluation determined by means of suitable algorithms. Here can it also involves several different image areas, which dependent on masked by one or more thresholds. At a Another preferred embodiment of the invention includes the Image evaluation an object recognition, wherein the threshold (s) dependent on detected objects are set. The objects can be Here, for example, the representation of the motor vehicle or Share it within the image data. But they are as well other objects to be recognized from the environment of the motor vehicle suitable for setting the threshold value. Falls within an image area while the resolution of this image area assigned threshold value, so are in a profitable manner within this image area does not display any environmental information, but instead the image area e.g. masked with black paint. The evaluation However, this is not only limited to the resolution, but it can also for further parameters describing the image characteristics, e.g. the intensity, act.

Vorteilhaft ist es, falls bei der Bestimmung des wenigstens einen Schwellwerts der Knickwinkel zwischen dem Kraftfahrzeug und dem Anhänger berücksichtigt wird. Aufgrund des Knickwinkels kann dabei festgestellt werden, in welchen Bildbereichen das Kraftfahrzeug bzw. der Anhänger oder jeweils Teile davon enthalten sind. In Abhängigkeit vom Vorhandensein des Kraftfahrzeugs bzw. des Anhängers innerhalb eines Bildbereichs wird sodann der Schwellwert für das Auflösungsvermögen festgelegt. Dabei ist für den Fall, dass das Kraftfahrzeug bzw. der Anhänger in einem Bildbereich enthalten ist, ein niedrigeres Auflösungsvermögen erforderlich als bei nicht vorhandenem Kraftfahrzeug bzw. der Anhänger, da sowohl das Kraftfahrzeug und Anhänger als auch Teile davon innerhalb der Bilddaten gut zu erkennen sind.Advantageous it is, if in the determination of the at least one threshold considered the bending angle between the motor vehicle and the trailer becomes. Due to the bending angle, it can be determined in which image areas the motor vehicle or the trailer or each part thereof is included. Depending on the presence of the motor vehicle or the trailer within of an image area is then set the threshold for the resolution. It is in the case, that the motor vehicle or the trailer contained in an image area is, a lower resolution required as in non-existent motor vehicle or the trailer since both the motor vehicle and trailer as well as parts of it are clearly visible within the image data.

Weiterhin werden in vorteilhafter Weise bei der Maskierung mehrere oder alle Bildpunkte eines Bildbereichs eingefärbt. Beispielsweise werden diejenigen Bildbereiche eingefärbt, in denen die Auflösung einen vorbestimmten Schwellwert nicht erreicht bzw. die Bildqualität vorgegebene Kriterien nicht erfüllen. In diesem Zusammenhang besteht die Möglichkeit entweder den ganzen Bildbereich, also alle Bildpunkte des Bildbereichs einzufärben oder aber nur einen Teil des Bildbereichs mit einer bestimmten strukturiert einzufärben, z.B. in der Form eines Rahmens. Dabei kann es sich um eine einfarbige oder mehrfarbige Maskierung der Bildbereiche handeln.Farther are advantageously in the masking several or all Colored pixels of an image area. For example colored those image areas, in which the resolution a predetermined threshold is not reached or the image quality predetermined Do not meet criteria. In this context, the possibility exists either the whole Image area, ie to color all pixels of the image area or but only a part of the image area is structured with a specific one to color, e.g. in the form of a frame. This can be a monochrome or multicolored masking of the image areas.

Auch besteht im Zusammenhang mit dieser Erfindung die Möglichkeit, dass den zu maskierenden Bildbereichen synthetische Bilddaten zugeordnet werden. Hierbei werden in den zu maskierenden Bildbereich hinterlegte Bildinformationen dargestellt. Dabei kann es sich beispielsweise um synthetische Bilddaten des Kraftfahrzeugs handeln, welche auf Modelldaten des Kraftfahrzeugs basieren und zum Maskieren eines oder mehrerer Bildbereiche herangezogen werden. Es können aber auch beliebige andere synthetische Bilddaten dargestellt werden, beispielsweise mittels Symbolen oder Texturen. Es kann sich auch um Texturen handeln, welche den Bildhintergrund oder Hindernisse kennzeichnen. Eine weitere Möglichkeit besteht darin, dass in zu maskierenden Bildbereichen mittels synthetischer Bildinformationen dem Fahrer zusätzliche Informationen, wie z.B. Maßangaben oder ein aktuell verwendeter Abbildungsmaßstab dargestellt werden.Also, in the context of this invention, there is the possibility of assigning synthetic image data to the image areas to be masked. In this case, image information stored in the image area to be masked is displayed. This may be, for example, synthetic image data of the motor vehicle, which are based on model data of the motor vehicle and used to mask one or more image areas. However, any other synthetic image data can also be displayed, for example by means of symbols or textures. It can also be textures that mark the image background or obstacles. Another possibility is that in image areas to be masked by means of synthetic image information to the driver additional information, such as Dimensions or a currently used magnification are displayed.

In einer gewinnbringenden Weise erfolgt die Darstellung der Umgebung in der Vogelperspektive. sodass der Fahrer Abstände zu Hindernissen auf eine besonders einfache Weise und intuitiv wahrnehmen kann. Die Umgebungsinformation wird hierzu vorzugsweise mittels mehrerer am Kraftfahrzeug angeordneter Bildsensoren in der Form von Bilddaten erfasst und sodann zu einem Gesamtbild zusammengesetzt. Beim Einsatz einer omnidirektionalen Kamera reicht dabei auch ein einziger Sensor aus, um einen Fahrzeugumgebungsbereich von 360° zu erfassen. Dabei liefert die omnidirektionale Kamera ein Panoramabild, welches mittels einer Rechnereinheit in beliebige Perspektiven, vorzugsweise in eine Vogelperspektive, umgerechnet wird. Dabei können Abstände zu Hindernissen und Objekten bei einer Darstellung in der Vogelperspektive vom Fahrer auf eine besonders einfache Weise erfasst werden.In a profitable way is the representation of the environment in a bird's eye view. allowing the driver distances to obstacles on one particularly simple and intuitive. The environment information This is preferably done by means of several arranged on the motor vehicle Image sensors in the form of image data and then to a Overall picture composed. When using an omnidirectional camera In this case, a single sensor suffices for a vehicle environment of 360 °. The omnidirectional camera delivers a panorama picture, which by means of a computer unit in any perspectives, preferably in a bird's eye view, is converted. It can distances to obstacles and objects in a bird's-eye view of the driver be detected in a particularly simple manner.

In einer weiteren vorteilhaften Weise werden die Bilddaten mehrerer Bildsensoren zu einem Gesamtbild kombiniert. Hierbei kann es sich um eine Kombination von Bilddaten gleicher Sensorarten oder aber auch um eine Fusion von Bilddaten unterschiedlicher Arten von Bildsensoren handeln. Die Bilddaten werden dabei insbesondere im Überlappungsbereich zweier benachbarter Sensoren kombiniert. Somit besteht auch beim Einsatz mehrerer herkömmlicher 2D-Kameras die Möglichkeit einer lückenlosen Umgebungserfassung um das Kraftfahrzeug.In In a further advantageous manner, the image data of several Image sensors combined into one overall picture. This can happen to a combination of image data of the same types of sensors or also a fusion of image data of different types of image sensors act. The image data are thereby in particular in the overlapping area two adjacent sensors combined. Thus, there is also Use of several conventional 2D cameras the way a gapless Environmental detection around the motor vehicle.

Weiterhin ist es vorteilhaft, falls das Kraftfahrzeug bzw. der Gliederzug in die Darstellung der Umgebung projiziert wird. Hierbei bietet es sich an eine maßstabsgetreue Projektion zu verwenden, sodass der Fahrer Abstände zu Hindernissen auf eine besonders einfache Weise und intuitiv wahrnehmen kann. Das Kraftfahrzeug kann hierbei sowohl in der Form eines synthetischen Bildes z.B. anhand von Modelldaten oder aber auch in der Form von reellen Bilddaten, welche beispielsweise mittels einer Omnidirektionalen Kamera erfasst werden, projiziert und dargestellt werden. Dabei wird die Ausrichtung des Kraftfahrzeugs innerhalb der Darstellung vorzugsweise derart gewählt, dass sich die Fahrtrichtung bei einer Geradeausfahrt in der Vorwärtsrichtung auf der Bildanzeige in der "Zwölfuhrposition" befindet.Farther it is advantageous if the motor vehicle or the articulated train is projected into the representation of the environment. Hereby offers it is a true to scale Projection, allowing the driver distances to obstacles to a particular simple and intuitive. The motor vehicle can here both in the form of a synthetic image e.g. based of model data or even in the form of real image data, which detected for example by means of an omnidirectional camera be projected and presented. This will be the orientation of the motor vehicle within the representation preferably such selected that the direction of travel in a straight ahead in the forward direction is located on the picture display in the "twelve o'clock position".

In einer weiteren vorteilhaften Weise der Erfindung werden Bilddaten von wenigstens einer Kamera-Spiegel Anordnung erfasst. Beispielsweise kommen Kamera-Spiegel Anordnungen bei omnidirektionalen Kameras zum Einsatz. Hierbei handelt es sich um einen gewölbten Spiegel, welcher eine Umgebungserfassung von bis zu 360° ermöglicht. Derart gewölbte Spiegel weisen dabei den Nachteil auf, dass diese aufgrund ihrer optischen Eigenschaften bei einer Abbildung nach außen hin zunehmend Abbildungsfehler aufweisen, weshalb die Auflösung im äußeren Bereich des Spiegels niedriger ist als beispielsweise im Spiegelzentrum. Im Zusammenhang mit dieser Erfindung können aber auch andere bildgebende Sensoren oder eine Kombination unterschiedlicher Arten von Sensoren zum Einsatz kommen. Beispielsweise sind aus dem Stand der Technik auch bildgebende Lasersensoren oder andere Strahlsensorik bekannt, welche zusätzlich zu jedem Bildpunkt auch Tiefenwerte liefern. Die Tiefenwerte können im Zusammenhang mit dieser Erfindung besonders vorteilhaft dargestellt werden, beispielsweise in der Form einer Maskierung mit farblicher Kodierung.In Another advantageous embodiment of the invention is image data detected by at least one camera-mirror arrangement. For example, come Camera mirror arrangements in omnidirectional cameras are used. This is a curved mirror, which is a Environment detection of up to 360 ° possible. Such arched Mirrors have the disadvantage that they are due to their optical properties in an image outward increasingly have aberrations, which is why the resolution in the outer region of the mirror is lower than for example in the mirror center. In connection with this invention, however, other imaging Sensors or a combination of different types of sensors be used. For example, from the prior art as well Imaging laser sensors or other beam sensors known which additionally also provide depth values for each pixel. The depth values can be in Connection with this invention shown particularly advantageous be, for example in the form of a mask with color Encoding.

Besonders eignet sich das erfindungsgemäße Verfahren für einen Einsatz im Zusammenhang mit einem Einparksystem für Kraftfahrzeuge. Hierbei wird dem Fahrer die erfasste Umgebung auf einer Bildanzeige im Fahrzeuginnenraum angezeigt. Die Darstellung der Umgebung findet vorzugsweise in der Vogelperspektive statt, wobei neben den Umgebungsinformationen auch das eigene, zu parkende, Fahrzeug dargestellt ist. Dabei kann es sich um ein vollautomatisches Parksystem oder auch um ein assistierendes Einparkhilfesystem handeln. Im Rahmen einer übersichtlichen und für den Fahrer auf einfache Weise zu erfassende Darstellung der Umgebung findet dabei eine Bestimmung der Auflösung einzelner Bildbereiche innerhalb der erfassten Bilddaten statt. Dabei werden diejenigen Bildbereiche maskiert, in denen sich die Auflösung unterhalb wenigstens eines festgelegten Schwellwerts befindet.Especially the method according to the invention is suitable for one Use in connection with a parking system for motor vehicles. Here, the driver is the captured environment on an image display displayed in the vehicle interior. The representation of the environment finds preferably in a bird's eye view, taking in addition to the environmental information also the own, parked, vehicle is shown. It can It is a fully automatic parking system or an assistive Parking assistance system act. As part of a clear and for the driver easily understandable representation of the environment finds doing a determination of the resolution of individual Image areas take place within the captured image data. It will be those image areas are masked, in which the resolution is below at least one fixed threshold.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung eines bevorzugten Ausführungsbeispiels anhand der Figur. Dabei zeigt die Figur beispielhaft einen mittels des erfindungsgemäßen Verfahrens in der Vogelperspektive dargestellten Gliederzug, welcher aus einem Kraftfahrzeug (1) und einem Anhänger (2) besteht. Dabei befindet sich der Gliederzug in einer Rangierfahrt zu einer Abstellposition zwischen mehreren in der Umgebung des Gliederzugs befindlichen Objekten (5a, 5b, 5c, 5d). Hierbei sind an dem Gliederzug mehrere, in der Figur nicht gezeigte, Bildsensoren angeordnet, wobei die Bilder der einzelnen Bildsensoren zu einem Gesamtbild kombiniert werden. Dabei werden die Bilddaten eines am Kraftfahrzeug (1) und die Bilddaten eines weiteren am Anhänger (2) angeordneten Bildsensors im Bildbereich (3) kombiniert, sodass sich eine Gesamtansicht ergibt. Da weder der am Kraftfahrzeug (1) angeordnete Bildsensor noch der am Anhänger (2) angeordnete Bildsensor im Bildbereich (4) Bilddaten mit ausreichender Auflösung liefert und ein festgelegter Schwellwert für die Auflösung in diesem Bildbereich (4) nicht überschritten wird, ist dieser Bereich maskiert. Bei der Maskierung wurden dabei alle Bildpunkte im Bildbereich (4) in schwarzer Farbe eingefärbt. Der Fahrer kann somit die Umgebungsinformation auf zuverlässige Weise von seinem Display abrufen und wird dabei nicht durch solche Bilddaten abgelenkt, welche eine unzureichende Qualität bzw. Auflösung aufweisen.Further features and advantages of the invention will become apparent from the following description of a preferred embodiment with reference to FIG. In this case, the figure shows an example of an articulated train shown by means of the method according to the invention in a bird's eye view, which consists of a motor vehicle ( 1 ) and a trailer ( 2 ) consists. In this case, the articulated train is in a shunting drive to a parking position between a plurality of objects located in the vicinity of the articulated train ( 5a . 5b . 5c . 5d ). Here, several, not shown in the figure, image sensors are arranged on the articulated train, the images of the individual image sensors are combined to form an overall image. The image data of a vehicle ( 1 ) and the image data of another on the trailer ( 2 ) arranged image sensor in the image area ( 3 ), resulting in an overall view. Since neither the vehicle ( 1 ) arranged image sensor still on the trailer ( 2 ) arranged image sensor in the image area ( 4 ) Provides image data with sufficient resolution and a defined threshold for the resolution in this image area ( 4 ) is not masked, this area is masked. At the Maskie All pixels in the image area ( 4 ) colored in black. The driver can thus retrieve the environment information in a reliable manner from his display and is not distracted by such image data, which have an insufficient quality or resolution.

Claims (14)

Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs (1), wobei Umgebungsinformation aus der Umgebung des Kraftfahrzeugs (1) mittels wenigstens eines Bildsensors erfasst und sodann in Bilddaten umgesetzt wird, wobei innerhalb der Bilddaten die Auflösung einzelner Bildbereiche (3, 4) bestimmt wird, wobei in denjenigen Bildbereichen (3, 4) eine Maskierung der Bilddaten stattfindet, in denen sich die Auflösung unterhalb wenigstens eines festgelegten Schwellwerts befindet.Method for the resolution-dependent representation of the environment of a motor vehicle ( 1 ), wherein environmental information from the environment of the motor vehicle ( 1 ) is detected by means of at least one image sensor and then converted into image data, wherein within the image data, the resolution of individual image areas ( 3 . 4 ), where in those image areas ( 3 . 4 ) there is a masking of the image data in which the resolution is below at least one predetermined threshold. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bestimmung der Auflösung in einzelnen Bildbereichen (3, 4) eine Auflösungskarte herangezogen wird.A method according to claim 1, characterized in that for determining the resolution in individual image areas ( 3 . 4 ) a dissolution card is used. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Auflösungskarte in Abhängigkeit des Aufbaus des wenigstens einen Bildsensors erstellt wird.Method according to claim 2, characterized in that that the resolution card depending on the Structure of the at least one image sensor is created. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Auflösungskarte in Abhängigkeit einer Auswertung erfasster Bilddaten erstellt wird.Method according to claim 2 or 3, characterized that the resolution card dependent on an evaluation of acquired image data is created. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Festlegung des wenigstens einen Schwellwerts auf einer Auswertung erfasster Bilddaten basiert.Method according to one of the preceding claims, characterized characterized in that the determination of the at least one threshold based on an evaluation of acquired image data. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Bildauswertung eine Objekterkennung beinhaltet.Method according to claim 5, characterized in that that the image analysis includes an object recognition. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Bestimmung des wenigstens einen Schwellwerts der Knickwinkel zwischen Kraftfahrzeug und Anhänger (2) berücksichtigt wird.Method according to one of the preceding claims, characterized in that, when determining the at least one threshold value, the angle of articulation between motor vehicle and trailer ( 2 ) is taken into account. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass im Rahmen der Maskierung mehrere oder alle Bildpunkte eines Bildbereichs (3, 4) eingefärbt werden.Method according to one of the preceding claims, characterized in that in the context of the masking several or all pixels of an image area ( 3 . 4 ) are dyed. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass den zu maskierenden Bildbereichen (3, 4) synthetische Bilddaten zugeordnet werden.Method according to one of the preceding claims, characterized in that the image areas to be masked ( 3 . 4 ) are assigned to synthetic image data. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung der Umgebung in der Vogelperspektive erfolgt.Method according to one of the preceding claims, characterized characterized in that the representation of the environment in the bird's-eye view he follows. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass Bilddaten mehrerer Bildsensoren zu einem Gesamtbild kombiniert werden.Method according to one of the preceding claims, characterized characterized in that image data of several image sensors to a total image be combined. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Kraftfahrzeug (1) in die Darstellung der Umgebung projiziert wird.Method according to one of the preceding claims, characterized in that the motor vehicle ( 1 ) is projected into the representation of the environment. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass Bilddaten von wenigstens einer Kamera-Spiegel Anordnung erfasst werden.Method according to one of the preceding claims, characterized characterized in that image data from at least one camera mirror Arrangement are detected. Verwendung des Verfahrens nach einem der vorstehenden Patentansprüche im Zusammenhang mit einem Einparksystem für Kraftfahrzeuge.Use of the method according to one of the preceding claims in connection with a parking system for motor vehicles.
DE102006037600A 2006-08-10 2006-08-10 Method for the resolution-dependent representation of the environment of a motor vehicle Expired - Fee Related DE102006037600B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102006037600A DE102006037600B4 (en) 2006-08-10 2006-08-10 Method for the resolution-dependent representation of the environment of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006037600A DE102006037600B4 (en) 2006-08-10 2006-08-10 Method for the resolution-dependent representation of the environment of a motor vehicle

Publications (2)

Publication Number Publication Date
DE102006037600A1 true DE102006037600A1 (en) 2008-02-28
DE102006037600B4 DE102006037600B4 (en) 2010-03-04

Family

ID=38973181

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006037600A Expired - Fee Related DE102006037600B4 (en) 2006-08-10 2006-08-10 Method for the resolution-dependent representation of the environment of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102006037600B4 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008057671A1 (en) 2008-11-17 2009-07-02 Daimler Ag Vehicle's e.g. commercial passenger car, surrounding area monitoring method, involves illuminating vehicle and/or surrounding area of vehicle depending on captured real illumination in overall image
WO2015010861A1 (en) * 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery Device for monitoring area around working machine
US9969330B2 (en) 2013-06-26 2018-05-15 Conti Temic Microelectronic Gmbh Mirror substitute device and vehicle
US10106082B2 (en) 2014-10-07 2018-10-23 Continental Automotive Gmbh System and method for warning of an imminent collision between a towing vehicle and its trailer when reversing
DE102017216058A1 (en) 2017-09-12 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Dynamically colored display of a vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008057671A1 (en) 2008-11-17 2009-07-02 Daimler Ag Vehicle's e.g. commercial passenger car, surrounding area monitoring method, involves illuminating vehicle and/or surrounding area of vehicle depending on captured real illumination in overall image
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery Device for monitoring area around working machine
US9969330B2 (en) 2013-06-26 2018-05-15 Conti Temic Microelectronic Gmbh Mirror substitute device and vehicle
WO2015010861A1 (en) * 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
US10000155B2 (en) 2013-07-23 2018-06-19 Application Solutions (Electronics and Vision) Ltd. Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
US10106082B2 (en) 2014-10-07 2018-10-23 Continental Automotive Gmbh System and method for warning of an imminent collision between a towing vehicle and its trailer when reversing
DE102017216058A1 (en) 2017-09-12 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Dynamically colored display of a vehicle
WO2019052936A1 (en) 2017-09-12 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Dynamically colorized display of a vehicle

Also Published As

Publication number Publication date
DE102006037600B4 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
DE102009005505B4 (en) Method and device for generating an image of the surroundings of a motor vehicle
EP2484558B1 (en) Display device for fields of vision of a commercial vehicle
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102013214368A1 (en) Method and device for reproducing a lateral and / or rear surrounding area of a vehicle
DE102005054972A1 (en) Motor vehicle`s dead angle monitoring method, involves accomplishing checking of whether lanes change is accomplished based on infrastructure of traffic before warning, where driver warning is omitted if result of checking is not possible
EP1642770B1 (en) Method for directing a vehicle driver's attention to objects in an image
DE102010042026B4 (en) Method for generating an image of at least one object in the surroundings of a vehicle
EP2559236A1 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
DE102008046214A1 (en) Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102007025147B4 (en) Lane departure warning and / or lane departure warning system
DE102017106152A1 (en) Determine an angle of a trailer with optimized template
DE112015000763T5 (en) Vehicle environment image display device and vehicle environment image display method
DE102017207438B4 (en) Method, device and its use for determining the articulation angle of a team
DE102016114693A1 (en) A method for assisting a driver of a motor vehicle when driving the motor vehicle, driver assistance system and motor vehicle
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE102013215408A1 (en) A vehicle display system and method for displaying a vehicle environment
WO2018149768A1 (en) Automated activation of a vision support system
DE102008057671A1 (en) Vehicle's e.g. commercial passenger car, surrounding area monitoring method, involves illuminating vehicle and/or surrounding area of vehicle depending on captured real illumination in overall image
DE102008050456B4 (en) Method and apparatus for lane detection
DE102018107212A1 (en) A method for detecting a traffic area occupancy detection auxiliary element in a surrounding area of a motor vehicle, computer program product and vehicle guidance system
EP3833576B1 (en) Surveillance camera system
DE102017100669A1 (en) Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle
DE102011005368A1 (en) Driver assistance system for vehicle, particularly designed as assistance system for shunters or for parking vehicle, has video camera, by which video image of surrounding area of vehicle is recorded with objects
DE102020001471A1 (en) Method for displaying display content on a display unit of a vehicle

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8120 Willingness to grant licences paragraph 23
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee