DE102014207897A1 - Method for generating a display image - Google Patents

Method for generating a display image Download PDF

Info

Publication number
DE102014207897A1
DE102014207897A1 DE102014207897.0A DE102014207897A DE102014207897A1 DE 102014207897 A1 DE102014207897 A1 DE 102014207897A1 DE 102014207897 A DE102014207897 A DE 102014207897A DE 102014207897 A1 DE102014207897 A1 DE 102014207897A1
Authority
DE
Germany
Prior art keywords
image
area
environment
parameter
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102014207897.0A
Other languages
German (de)
Inventor
Volker NIEMZ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102014207897.0A priority Critical patent/DE102014207897A1/en
Publication of DE102014207897A1 publication Critical patent/DE102014207897A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen eines Anzeigebildes (5), umfassend die Schritte: Fortwährendes Aufnehmen und Speichern von Bildern (4) einer Umgebung (40) durch ein Bildaufnahmegerät (2, 3), Feststellen, dass bei einem aufgenommenen Bild (4) zumindest ein vordefinierter Bildparameter innerhalb des aufgenommenen Bildes (4) nicht konstant ist, Feststellen, dass zumindest ein erster Bildbereich (7) in dem aufgenommen Bild vorhanden ist, wobei in dem ersten Bildbereich der Bildparameter einen vordefinierten Schwellenwert unterschreitet, Feststellen, dass zumindest ein zweiter Bildbereich in gespeicherten Bildern vorhanden ist, wobei der zweite Bildbereich denselben Bereich der Umgebung (40) zeigt wie der erste Bildbereich (7) und der Bildparameter in dem zweiten Bildbereich den Schwellenwert nicht unterschreitet, Erzeugen eines Anzeigebildes (5) aus dem aufgenommen Bild, wobei der erste Bildbereich (7) durch den zweiten Bildbereich ersetzt wird.The present invention relates to a method for generating a display image (5), comprising the steps of: continuously recording and storing images (4) of an environment (40) by an image capture device (2, 3), determining that in a captured image (4 ) at least one predefined image parameter within the captured image (4) is not constant, determining that at least a first image region (7) is present in the captured image, wherein in the first image region the image parameter falls below a predefined threshold, determining that at least one second image area is present in stored images, wherein the second image area shows the same area of the environment (40) as the first image area (7) and the image parameter in the second image area does not fall below the threshold value, generating a display image (5) from the captured image, wherein the first image area (7) is replaced by the second image area.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen eines Anzeigebildes. Weiterhin betrifft die Erfindung ein Steuergerät, auf dem ein derartiges Verfahren ausführbar ist sowie ein Fahrzeug, das mit einem derartigen Steuergerät ausgerüstet ist.The present invention relates to a method for generating a display image. Furthermore, the invention relates to a control device on which such a method is executable and a vehicle that is equipped with such a control device.

Aus dem Stand der Technik sind Systeme für Fahrzeuge bekannt, die aktuelle Kamerabilder von Kameras, die an dem Fahrzeug angeordnet sind, zu einem gemeinsamen Bild zusammenzuführen. Dies ermöglicht beispielsweise die Erstellung einer Rundumsicht oder einer Vogelperspektive. Ebenso ist das Rendern einer dreidimensionalen Ansicht möglich.Systems for vehicles are known from the prior art, which combine current camera images of cameras, which are arranged on the vehicle, into a common image. This allows, for example, the creation of a panoramic view or a bird's eye view. Likewise, the rendering of a three-dimensional view is possible.

Weiterhin ist aus der DE 10 2011 084 084 A1 ein Verfahren zum Anzeigen eines Umfelds eines Fahrzeugs bekannt. Dabei werden Fahrzeugumfelddaten aus einer Datenbank ausgelesen, die zuvor für bestimmte Fahrzeugpositionen gespeichert werden. Zusätzlich wird das Fahrzeugumfeld mittels Echtzeitvideodaten erfasst. Schließlich wird eine Fahrzeugumfeldansicht angezeigt, die aus den abgefragten Daten aus der Datenbank und den erfassten Daten besteht.Furthermore, from the DE 10 2011 084 084 A1 A method for displaying an environment of a vehicle is known. This vehicle environment data are read from a database, which are previously stored for certain vehicle positions. In addition, the vehicle environment is recorded by means of real-time video data. Finally, a vehicle environment view is displayed consisting of the queried data from the database and the collected data.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren zum Erzeugen eines Anzeigebildes umfasst die folgenden Schritte: Zunächst werden Bilder einer Umgebung durch ein Bildaufnahmegerät fortwährend aufgenommen und gespeichert. Dies geschieht insbesondere mittels Weitwinkelkameras, bevorzugt mittels Fischaugenlinsen. Anschließend wird festgestellt, dass bei einem aufgenommenen Bild zumindest ein vordefinierter Bildparameter innerhalb des aufgenommenen Bildes nicht konstant ist. Danach wird festgestellt, dass zumindest ein erster Bildbereich in dem aufgenommen Bild vorhanden ist, wobei in dem ersten Bildbereich der Bildparameter einen vordefinierten Schwellenwert unterschreitet. Schließlich wird festgestellt, dass zumindest ein zweiter Bildbereich in gespeicherten Bildern vorhanden ist. Dabei zeigt der zweite Bildbereich denselben Bereich der Umgebung wie der erste Bildbereich und der Bildparameter in dem zweiten Bildbereich unterschreitet den Schwellenwert nicht. Somit ist der erste Bildbereich hinsichtlich des Parameters durch den zweiten Bildbereich korrigierbar. Daher erfolgt abschließend ein Erzeugen eines Anzeigebildes aus dem aufgenommen Bild, wobei der erste Bildbereich durch den zweiten Bildbereich ersetzt wird. Vorteilhafterweise wird zusätzlich eine Ausgabe erzeugt, die darauf hinweist, dass es sich bei dem Anzeigebild teilweise um gespeicherte und daher eventuell veraltete Informationen handelt.The method according to the invention for generating a display image comprises the following steps: First, images of an environment are continuously recorded and stored by an image capture device. This is done in particular by means of wide-angle cameras, preferably by means of fish-eye lenses. It is subsequently determined that, for a recorded image, at least one predefined image parameter within the captured image is not constant. Thereafter, it is determined that at least a first image area is present in the captured image, wherein in the first image area the image parameter falls below a predefined threshold value. Finally, it is determined that at least a second image area is present in stored images. In this case, the second image area shows the same area of the surroundings as the first image area, and the image parameter in the second image area does not fall below the threshold value. Thus, the first image area is correctable with respect to the parameter by the second image area. Therefore, finally, a display image is generated from the captured image, wherein the first image area is replaced by the second image area. Advantageously, an output is additionally generated, which indicates that the display image is partly stored and therefore possibly outdated information.

Alternativ umfasst das erfindungsgemäße Verfahren zum Erzeugen eines Anzeigebildes die folgenden Schritte: Zunächst werden eine Vielzahl von Bildern einer Umgebung fortwährend durch eine Vielzahl von Bildaufnahmegeräten aufgenommen und gespeichert. Anschließend wird festgestellt, dass bei einem aufgenommenen Bild zumindest ein vordefinierter Bildparameter innerhalb des aufgenommenen Bildes nicht konstant ist. Dies ist insbesondere auch für mehrere aufgenommene Bilder feststellbar. Danach erfolgt die Feststellung, dass zumindest ein erster Bildbereich in dem aufgenommen Bild vorhanden ist, wobei in dem ersten Bildbereich der Bildparameter einen vordefinierten Schwellenwert unterschreitet. Schließlich wird festgestellt, dass zumindest ein zweiter Bildbereich in gespeicherten Bildern vorhanden ist, wobei der zweite Bildbereich denselben Bereich der Umgebung zeigt, wie der erste Bildbereich, und wobei der Bildparameter in dem zweiten Bildbereich den Schwellenwert nicht unterschreitet. Analog zu dem obigen Verfahren ist daher der erste Bildbereich hinsichtlich des Parameters durch den zweiten Bildbereich korrigierbar. Somit erfolgt wiederum ein Erzeugen eines Anzeigebildes, wobei das Anzeigebild aus der Vielzahl der aufgenommenen Bilder erzeugt wird und wobei das Anzeigebild einer vorgewählten Ansicht auf die Umgebung entspricht. Dabei ist erfindungsgemäß der erste Bildbereich durch den zweiten Bildbereich ersetzt.Alternatively, the method of generating a display image according to the present invention comprises the following steps. First, a plurality of images of an environment are continuously captured and stored by a plurality of image pickup devices. It is subsequently determined that, for a recorded image, at least one predefined image parameter within the captured image is not constant. This is especially noticeable for several recorded images. Thereafter, the determination is made that at least a first image area is present in the recorded image, wherein in the first image area the image parameter falls below a predefined threshold value. Finally, it is determined that at least a second image area is present in stored images, wherein the second image area shows the same area of the environment as the first image area, and wherein the image parameter in the second image area does not fall below the threshold. Analogous to the above method, therefore, the first image area is correctable with respect to the parameter by the second image area. Thus, again, a display image is generated, wherein the display image is generated from the plurality of captured images, and wherein the display image corresponds to a preselected view of the environment. In this case, according to the invention, the first image area is replaced by the second image area.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The dependent claims show preferred developments of the invention.

Vorteilhafterweise ist vorgesehen, dass der Bildparameter ein Hindernis in der Umgebung repräsentiert und der Schwellenwert ein Maß repräsentiert, in welchem Umfang das Hindernis in dem aufgenommenen Bild zumindest einen Teil der Umgebung verdeckt. Somit ist feststellbar, ob eine umfassende Ansicht generierbar ist, oder ob Teile der Umgebung nicht darstellbar sind, weil sie von dem Hindernis verdeckt sind.Advantageously, it is provided that the image parameter represents an obstacle in the environment and the threshold value represents a measure of the extent to which the obstacle in the recorded image obscures at least a part of the environment. Thus, it can be determined whether a comprehensive view can be generated or whether parts of the environment can not be displayed because they are hidden by the obstacle.

Weiterhin ist bevorzugt vorgesehen, dass der Bildparameter eine Schärfe des aufgenommenen Bildes ist. Somit sind scharfe Bildbereiche von unscharfen Bildbereichen zu trennen, wobei die unscharfen Bildbereiche durch gespeicherte Bildbereiche ersetzt werden. Bevorzugt werden daher die unscharfen Bereiche durch scharfe Bereiche zuvor aufgenommener Bilder ersetzt.Furthermore, it is preferably provided that the image parameter is a sharpness of the recorded image. Thus, sharp image areas are to be separated from blurred image areas, the blurred image areas being replaced by stored image areas. Therefore, the blurred areas are preferably replaced by sharp areas of previously recorded images.

Außerdem ist in einer bevorzugten Ausführungsform vorgesehen, dass der Bildparameter eine Helligkeit des aufgenommenen Bildes ist. Dies ermöglicht insbesondere, das Verfahren auch bei schlechten Lichtverhältnissen, insbesondere bei Nacht anzuwenden. Hierzu wird durch Scheinwerfer die Umgebung zumindest teilweise beleuchtet, wobei die beleuchteten Bereiche gespeichert werden, so dass mit den gespeicherten Bereichen nicht beleuchtete oder schlecht beleuchtete Bereiche späterer Aufnahmen ersetzbar sind.In addition, in a preferred embodiment it is provided that the image parameter is a brightness of the recorded image. This allows in particular to apply the method even in low light conditions, especially at night. For this purpose, the surroundings are at least partially illuminated by spotlights, whereby the illuminated areas are stored, so that with the stored areas not illuminated or poorly lit areas of later recordings are replaceable.

Das Anzeigebild wird bevorzugt durch Verzerren und/oder Rendern des aufgenommen Bildes erzeugt. Somit erlaubt das erfindungsgemäße Verfahren dieser Ausführungsform ein Darstellen der Umgebung aus unterschiedlichen, bevorzugt frei wählbaren, Ansichten. The display image is preferably generated by distorting and / or rendering the captured image. Thus, the inventive method of this embodiment allows representing the environment from different, preferably freely selectable, views.

In einer bevorzugten Ausführungsform der Erfindung wird zusätzlich festgestellt, dass innerhalb des ersten Bereichs sich bewegende Objekte abgebildet werden. In diesem Fall besteht jedoch die Gefahr, dass die Ausgabe von gespeicherten Bildern ein falsches Bild von der Umgebung liefert, da das sich bewegende Objekt voraussichtlich nicht mehr an derselben Stelle vorhanden ist, wie es in dem gespeicherten Bild gezeigt ist. Daher ist bevorzugt vorgesehen, dass bei Erzeugung des Anzeigebildes ein Ersetzen des ersten Bereichs durch den zweiten Bereich vermieden wird.In a preferred embodiment of the invention, it is additionally stated that moving objects are imaged within the first area. In this case, however, there is a risk that the output of stored images will give a false picture of the environment since the moving object is likely to be out of place at the same location as shown in the stored image. Therefore, it is preferably provided that when the display image is generated, replacement of the first region by the second region is avoided.

Vorteilhafterweise wird das Anzeigebild auf einer Ausgabevorrichtung ausgegeben. Die Ausgabevorrichtung ist bevorzugt ein Display, insbesondere auch ein 3D-Display.Advantageously, the display image is output on an output device. The output device is preferably a display, in particular also a 3D display.

Außerdem umfasst die Erfindung ein Steuergerät, das mit zumindest einer Bildaufnahmevorrichtung verbindbar ist. Das Steuergerät ist erfindungsgemäß eingerichtet, das zuvor genannte Verfahren auszuführen.In addition, the invention comprises a control unit, which is connectable to at least one image pickup device. The control unit is configured according to the invention to carry out the aforementioned method.

Schließlich betrifft die Erfindung ein Fahrzeug, das ein zuvor genanntes Steuergerät aufweist. Alternativ oder zusätzlich ist das Fahrzeug eingerichtet, ein zuvor beschriebenes Verfahren auszuführen.Finally, the invention relates to a vehicle having a previously mentioned control unit. Alternatively or additionally, the vehicle is set up to carry out a previously described method.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:Hereinafter, embodiments of the invention will be described in detail with reference to the accompanying drawings. In the drawing is:

1 eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung, 1 a schematic representation of a vehicle according to an embodiment of the invention,

2 eine schematische Darstellung des Schritts der Erzeugung eines Anzeigebilds gemäß einem Verfahren nach einem Ausführungsbeispiel der Erfindung, 2 1 is a schematic representation of the step of generating a display image according to a method according to an embodiment of the invention;

3 eine erste Szenerie, in der das Verfahren gemäß dem Ausführungsbeispiel der Erfindung anwendbar ist, 3 a first scenario in which the method according to the embodiment of the invention is applicable,

4 eine zweite Szenerie, in der das Verfahren gemäß dem Ausführungsbeispiel der Erfindung anwendbar ist, und 4 a second scenario in which the method according to the embodiment of the invention is applicable, and

5 eine dritte Szenerie, in der das Verfahren gemäß dem Ausführungsbeispiel der Erfindung anwendbar ist. 5 a third scenario in which the method according to the embodiment of the invention is applicable.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt ein Fahrzeug 10. Das Fahrzeug 10 umfasst ein Steuergerät 1, wobei das Steuergerät 1 mit einem ersten Bildaufnahmegerät 2 und mehreren zweiten Bildaufnahmegeräten 3 verbunden ist. Dabei ist insbesondere vorgesehen, dass das erste Bildaufnahmegerät 2 zusammen mit den zweiten Bildaufnahmegerät 3 zumindest einen Teil einer Umgebung 40 des Fahrzeugs 10, insbesondere die vollständige Umgebung des Fahrzeugs 10 erfasst. Das erste Bildaufnahmegerät 2 erfasst dabei beispielhaft einen rückwärtigen Bereich des Fahrzeugs 10, da ein Erfassungsbereich des ersten Bildaufnahmegeräts 2 in den rückwärtigen Bereich des Fahrzeugs 10 gerichtet ist. 1 shows a vehicle 10 , The vehicle 10 includes a controller 1 , where the control unit 1 with a first image capture device 2 and a plurality of second image pickup devices 3 connected is. It is particularly provided that the first image pickup device 2 together with the second image capture device 3 at least part of an environment 40 of the vehicle 10 , in particular the complete environment of the vehicle 10 detected. The first image capture device 2 detects an example of a rear area of the vehicle 10 because a detection range of the first image pickup device 2 in the rear area of the vehicle 10 is directed.

Das erste Bildaufnahmegerät 2 nimmt vorwährend ein Bild 4 von der Umgebung 40 auf. Dies gilt ebenso für die zweiten Bildaufnahmegeräte 3. Um aus dem aufgenommenen Bild 4 ein Anzeigebild 5 zu extrahieren, das einem Fahrer des Fahrzeugs angezeigt wird, ist zunächst eine Verzerrung des aufgenommenen Bildes 4 nötig. Aus der Verzerrung ist schließlich das Anzeigebild 5 auszuwählen. Dies ist beispielhaft in 2 dargestellt.The first image capture device 2 takes a picture forever 4 from the surroundings 40 on. This also applies to the second image recording devices 3 , To get out of the picture taken 4 a display image 5 To extract, which is displayed to a driver of the vehicle, is initially a distortion of the recorded image 4 necessary. Out of the distortion is finally the display image 5 select. This is exemplary in 2 shown.

Durch das Verzerren des aufgenommenen Bildes 4 wird erreicht, dass sich ein Blickwinkel auf die Umgebung 40 bei dem Anzeigebild 5 ändert, so dass sich der Blickwinkel des aufgenommenen Bildes 4 von dem Blickwinkel des Anzeigebilds 5 unterscheidet. Dies führt jedoch dazu, dass Bildbereiche des Anzeigebilds 5 scharf dargestellt sind, während andere Bildbereiche unscharf dargestellt sind.By distorting the captured image 4 is achieved, that is a view of the environment 40 at the display image 5 changes, so that the viewing angle of the captured image 4 from the viewpoint of the display image 5 different. However, this causes image areas of the display image 5 are shown sharply, while other areas of the image are out of focus.

Beispielhaft wird dies in den 3 und 4 gezeigt. 3 zeigt das aufgenommene Bild 4 der Umgebung 40, wobei in dem aufgenommen Bild 4 Teile des Fahrzeugs 10 zu erkennen sind. Durch den großen Aufnahmewinkel des ersten Bildaufnahmegeräts 2 ist innerhalb des aufgenommenen Bildes 4 ein erster Bildbereich 7 vorhanden, der unscharf dargestellt wird, während ein übriger Bildbereich 6 scharf dargestellt wird. Sobald aus dem aufgenommen Bild 4 das Anzeigebild 5 erzeugt wird (vgl. 4), so hat das Anzeigebild eine nicht zufriedenstellende Qualität. This is exemplified in the 3 and 4 shown. 3 shows the recorded picture 4 the environment 40 , where in the picture taken 4 Parts of the vehicle 10 can be seen. Due to the large shooting angle of the first imaging device 2 is within the captured image 4 a first image area 7 present, which is out of focus, while a remaining image area 6 is shown sharply. Once taken from the picture 4 the display image 5 is generated (see. 4 ), the display image has an unsatisfactory quality.

Scharfe und unscharfe Bereiche werden einerseits appliziert und/oder werden andererseits auf Basis der optischen Eigenschaften des ersten Bildaufnahmegeräts 2 sowie deren Einbaulage berechnet. Zusätzlich findet vorteilhafterweise eine aktive Schärfeprüfung mittels Bildverarbeitung statt. Die Schärfe ist beispielsweise aus der Kantenstärke eines Kantenfilters extrahierbar.Sharp and blurred areas are applied on the one hand and / or on the other hand based on the optical properties of the first Image capture device 2 and their installation position calculated. In addition, an active sharpness test advantageously takes place by means of image processing. The sharpness can be extracted, for example, from the edge strength of an edge filter.

Sobald sich das Fahrzeug 10 bewegt werden Teilbereiche der Umgebung 40, die ursprünglich in einem scharf dargestellten Bildbereich lagen, in unscharf dargestellte Bildbereich verschoben, da die sich der Blickwinkel des ersten Bildaufnahmegeräts 2 und der zweiten Bildaufnahmegeräte 3 auf die Umgebung 40 verändert. Dies bedeutet, dass diejenigen Teilbereiche der Umgebung 40, die in den übrigen Bildbereichen 6 dargestellt werden, nach einer Bewegung des Fahrzeugs 10 in den ersten Bildbereichen 7 dargestellt werden. Daher ist vorgesehen, dass die aufgenommenen Bilder 4, zumindest aber die übrigen Bildbereiche 6 gespeichert werden. Insbesondere werden diese zusammen mit einer aktuellen Position gespeichert. As soon as the vehicle 10 be moved subregions of the environment 40 , which were originally located in a sharply displayed image area, shifted to unfocused image area because of the viewing angle of the first imaging device 2 and the second image pickup device 3 on the environment 40 changed. This means that those subregions of the environment 40 that in the remaining image areas 6 shown after a movement of the vehicle 10 in the first image areas 7 being represented. Therefore, it is provided that the captured images 4 , but at least the remaining image areas 6 get saved. In particular, these are stored together with a current position.

Somit lassen sich in den gespeicherten Bildern stets zweite Bildbereiche finden, die ursprünglich einem übrigen Bildbereich 6 eines aufgenommen Bildes 4 entsprochen haben. Durch die oben beschriebene Bewegung ist es daher möglich, dass die zweiten Bildbereiche die ersten Bildbereiche 7 ersetzen. Somit wird ein Anzeigebild 5 erzeugt, dessen Qualität erheblich besser ist als ohne eine solche Ersetzung.Thus, it is always possible to find second image areas in the stored images which originally belong to another image area 6 a captured picture 4 have met. Due to the movement described above, it is therefore possible for the second image areas to be the first image areas 7 replace. Thus, a display image becomes 5 whose quality is significantly better than without such replacement.

Im obigen Beispiel wurden die ersten Bildbereiche 7 von den übrigen Bildbereichen 6 durch deren Schärfe unterschieden. Wie beschrieben, ist die Schärfe beispielsweise aus der Kantenstärke eines Kantenfilters extrahierbar. Alternativ kann auch eine Modulationsübertragungsfunktion zur Bewertung der Schärfe herangezogen werden. Als weiteres Beispiel ist es ebenso möglich, anstatt der Schärfe ein Maß der Farbreproduktion und/oder der Farbwidergabe zu verwenden, um die ersten Bildbereiche 7 von den übrigen Bildbereichen 6 zu unterscheiden.In the example above, the first image areas became 7 from the remaining image areas 6 distinguished by their sharpness. As described, for example, the sharpness can be extracted from the edge strength of an edge filter. Alternatively, a modulation transfer function can be used to evaluate the sharpness. As another example, it is also possible to use a measure of color reproduction and / or color rendering, rather than sharpness, around the first image areas 7 from the remaining image areas 6 to distinguish.

5 zeigt ein weiteres Anwendungsbeispiel des erfindungsgemäßen Verfahrens. Die Umgebung 40 des Fahrzeugs 10 wird von dem ersten Bildaufnahmegerät 2 mit dem ersten Erfassungsbereich 20 und von den zweiten Bildaufnahmegeräten 3 mit jeweils zweiten Erfassungsbereichen 30 erfasst. Dabei können Hindernisse 9 in der Umgebung 40 auftreten, die ein vollständiges Abtasten der Umgebung 40 nicht ermöglichen. Soll nun ein Anzeigebild 5 aus einer virtuellen Ansicht 8 generiert werden, sind Teilbereiche der Umgebung 40 nicht darstellbar, da diese durch das Hindernis 9 verdeckt sind. Somit würde aus der virtuellen Ansicht 8 nur ein unvollständiges Anzeigebild 5 generiert werden können. 5 shows another example of application of the method according to the invention. The environment 40 of the vehicle 10 is from the first image capture device 2 with the first detection area 20 and from the second imaging devices 3 each with second detection areas 30 detected. This can be obstacles 9 in the neighborhood 40 occur, which is a complete sampling of the environment 40 not allow. Should now a display image 5 from a virtual view 8th are generated are subregions of the environment 40 unrepresentable, as this is due to the obstacle 9 are covered. Thus, from the virtual view 8th only an incomplete display image 5 can be generated.

Jedoch ist auch hier mit dem erfindungsgemäßen Verfahren gemäß dem Ausführungsbeispiel ein vollständiges Anzeigebild 5 generierbar. Auch hier ist auf die gespeicherten Bilder zurückgreifbar, so dass sich zweite Bildbereiche finden lassen, die das Fahrzeug 10 aufgenommen hat, als es sich in einer anderen Position relativ zu dem Hindernis 9 befunden hat. Mit den zweiten Bildbereichen sind die fehlenden Bereiche innerhalb des Anzeigebilds 5 gemäß der zuvor beschriebenen Systematik auffüllbar.However, here too with the inventive method according to the embodiment is a complete display image 5 be generated. Here, too, can be accessed on the stored images, so that you can find second image areas that the vehicle 10 has taken up as it is in a different position relative to the obstacle 9 has found. With the second image areas, the missing areas are within the display image 5 Refillable according to the scheme described above.

Neben der schriftlichen Offenbarung wird ausdrücklich auf die Offenbarung der beigefügten 1 bis 5 Bezug genommen.In addition to the written disclosure is expressly attached to the disclosure of 1 to 5 Referenced.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102011084084 A1 [0003] DE 102011084084 A1 [0003]

Claims (10)

Verfahren zum Erzeugen eines Anzeigebildes (5), umfassend die Schritte: – Fortwährendes Aufnehmen und Speichern von Bildern (4) einer Umgebung (40) durch ein Bildaufnahmegerät (2, 3), – Feststellen, dass bei einem aufgenommenen Bild (4) zumindest ein vordefinierter Bildparameter innerhalb des aufgenommenen Bildes (4) nicht konstant ist, – Feststellen, dass zumindest ein erster Bildbereich (7) in dem aufgenommen Bild vorhanden ist, wobei in dem ersten Bildbereich der Bildparameter einen vordefinierten Schwellenwert unterschreitet, – Feststellen, dass zumindest ein zweiter Bildbereich in gespeicherten Bildern vorhanden ist, wobei der zweite Bildbereich denselben Bereich der Umgebung (40) zeigt wie der erste Bildbereich (7) und der Bildparameter in dem zweiten Bildbereich den Schwellenwert nicht unterschreitet, – Erzeugen eines Anzeigebildes (5) aus dem aufgenommen Bild, wobei der erste Bildbereich (7) durch den zweiten Bildbereich ersetzt wird.Method for generating a display image ( 5 ), comprising the steps: - Continuously recording and storing images ( 4 ) an environment ( 40 ) by an image capture device ( 2 . 3 ), - determining that in a captured image ( 4 ) at least one predefined image parameter within the captured image ( 4 ) is not constant, - determining that at least a first image area ( 7 ) is present in the recorded image, wherein in the first image region the image parameter falls below a predefined threshold value, - determining that at least a second image region is present in stored images, the second image region being the same region of the environment ( 40 ) shows how the first image area ( 7 ) and the image parameter in the second image area does not fall below the threshold value, - generating a display image ( 5 ) from the captured image, wherein the first image area ( 7 ) is replaced by the second image area. Verfahren zum Erzeugen eines Anzeigebildes (5), umfassend die Schritte: – Fortwährendes Aufnehmen und Speichern von einer Vielzahl von Bildern (4) einer Umgebung (40) durch eine Vielzahl von Bildaufnahmegeräten (2, 3), – Feststellen, dass bei einem aufgenommenen Bild (4) zumindest ein vordefinierter Bildparameter innerhalb des aufgenommenen Bildes (4) nicht konstant ist, – Feststellen, dass zumindest ein erster Bildbereich (7) in dem aufgenommen Bild (4) vorhanden ist, wobei in dem ersten Bildbereich (7) der Bildparameter einen vordefinierten Schwellenwert unterschreitet, – Feststellen, dass zumindest ein zweiter Bildbereich in gespeicherten Bildern vorhanden ist, wobei der zweite Bildbereich denselben Bereich der Umgebung (40) zeigt wie der erste Bildbereich (7) und der Bildparameter in dem zweiten Bildbereich den Schwellenwert nicht unterschreitet, – Erzeugen eines Anzeigebildes (5) aus der Vielzahl der aufgenommenen Bilder (4), wobei das Anzeigebild (5) einer vorgewählten Ansicht (8) auf die Umgebung (40) entspricht, wobei der erste Bildbereich (7) durch den zweiten Bildbereich ersetzt wird.Method for generating a display image ( 5 ), comprising the steps of: - continuously recording and storing a plurality of images ( 4 ) an environment ( 40 ) by a plurality of image recording devices ( 2 . 3 ), - determining that in a captured image ( 4 ) at least one predefined image parameter within the captured image ( 4 ) is not constant, - determining that at least a first image area ( 7 ) in the captured image ( 4 ), wherein in the first image area ( 7 ) the image parameter falls below a predefined threshold value, - determining that at least a second image region is present in stored images, the second image region being the same region of the environment ( 40 ) shows how the first image area ( 7 ) and the image parameter in the second image area does not fall below the threshold value, - generating a display image ( 5 ) from the large number of recorded images ( 4 ), wherein the display image ( 5 ) of a preselected view ( 8th ) on the environment ( 40 ), where the first image area ( 7 ) is replaced by the second image area. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Bildparameter ein Hindernis (9) in der Umgebung (40) repräsentiert und der Schwellenwert ein Maß repräsentiert, ob das Hindernis (9) in dem aufgenommenen Bild zumindest einen Teil der Umgebung (40) verdeckt.Method according to claim 2, characterized in that the image parameter is an obstacle ( 9 ) in the neighborhood ( 40 ) and the threshold represents a measure of whether the obstacle ( 9 ) in the recorded image at least a part of the environment ( 40 ) obscured. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bildparameter eine Schärfe des aufgenommenen Bildes (4) ist.Method according to one of the preceding claims, characterized in that the image parameter is a sharpness of the recorded image ( 4 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Bildparameter eine Helligkeit des aufgenommenen Bildes (4) ist.Method according to one of the preceding claims, characterized in that the image parameter is a brightness of the recorded image ( 4 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Anzeigebild (5) durch Verzerren und/oder Rendern des aufgenommen Bildes (4) erzeugt wird.Method according to one of the preceding claims, characterized in that the display image ( 5 ) by distorting and / or rendering the captured image ( 4 ) is produced. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Schritte: – Feststellen, dass innerhalb des ersten Bereichs (7) sich bewegende Objekte abgebildet werden, und – Vermeiden, dass bei Erzeugung des Anzeigebildes (5) der erste Bereich durch den zweiten Bereich ersetzt wird.Method according to one of the preceding claims, characterized by the steps: - determining that within the first range ( 7 ) moving objects are imaged, and - avoiding that when the display image is generated ( 5 ) the first area is replaced by the second area. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Anzeigebild (5) auf einer Ausgabevorrichtung ausgegeben wird.Method according to one of the preceding claims, characterized in that the display image ( 5 ) is output on an output device. Steuergerät (1), wobei das Steuergerät (1) mit zumindest einer Bildaufnahmevorrichtung (2, 3) verbindbar ist, dadurch gekennzeichnet, dass das Steuergerät (2, 3) ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.Control unit ( 1 ), whereby the control unit ( 1 ) with at least one image acquisition device ( 2 . 3 ) is connectable, characterized in that the control unit ( 2 . 3 ) is designed to carry out a method according to one of the preceding claims. Fahrzeug (10), umfassend ein Steuergerät (1) nach Anspruch 9 und/oder das ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.Vehicle ( 10 ), comprising a control unit ( 1 ) according to claim 9 and / or which is designed to carry out a method according to one of claims 1 to 8.
DE102014207897.0A 2014-04-28 2014-04-28 Method for generating a display image Pending DE102014207897A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014207897.0A DE102014207897A1 (en) 2014-04-28 2014-04-28 Method for generating a display image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014207897.0A DE102014207897A1 (en) 2014-04-28 2014-04-28 Method for generating a display image

Publications (1)

Publication Number Publication Date
DE102014207897A1 true DE102014207897A1 (en) 2015-10-29

Family

ID=54261744

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014207897.0A Pending DE102014207897A1 (en) 2014-04-28 2014-04-28 Method for generating a display image

Country Status (1)

Country Link
DE (1) DE102014207897A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133996A1 (en) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Method for combining a plurality of camera images
WO2020233755A1 (en) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2276790A (en) * 1993-03-31 1994-10-05 Mitsubishi Electric Corp Image Tracking Apparatus
DE19902681A1 (en) * 1999-01-23 2000-07-27 Lfk Gmbh Procedure to relocate objects in images, replacing image values of overlap areas by gray values
DE10313002A1 (en) * 2003-03-24 2004-10-21 Daimlerchrysler Ag Video image display for a vehicle environment detection unit
DE10334136A1 (en) * 2003-07-23 2005-03-03 Deutsches Zentrum für Luft- und Raumfahrt e.V. Background picture determination method e.g. for traffic surveillance, involves determining background picture and from time T1 free areas of picture are determined
DE102005000651A1 (en) * 2005-01-04 2006-07-13 Robert Bosch Gmbh Method for determining the intrinsic motion of a vehicle
DE102011084084A1 (en) 2011-10-06 2013-04-11 Robert Bosch Gmbh Display method and display system for a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2276790A (en) * 1993-03-31 1994-10-05 Mitsubishi Electric Corp Image Tracking Apparatus
DE19902681A1 (en) * 1999-01-23 2000-07-27 Lfk Gmbh Procedure to relocate objects in images, replacing image values of overlap areas by gray values
DE10313002A1 (en) * 2003-03-24 2004-10-21 Daimlerchrysler Ag Video image display for a vehicle environment detection unit
DE10334136A1 (en) * 2003-07-23 2005-03-03 Deutsches Zentrum für Luft- und Raumfahrt e.V. Background picture determination method e.g. for traffic surveillance, involves determining background picture and from time T1 free areas of picture are determined
DE102005000651A1 (en) * 2005-01-04 2006-07-13 Robert Bosch Gmbh Method for determining the intrinsic motion of a vehicle
DE102011084084A1 (en) 2011-10-06 2013-04-11 Robert Bosch Gmbh Display method and display system for a vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133996A1 (en) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Method for combining a plurality of camera images
WO2020233755A1 (en) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings

Similar Documents

Publication Publication Date Title
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
DE102005034597A1 (en) Method and device for generating a depth map
DE102013220005A1 (en) Method and device for displaying the environment of a vehicle and driver assistance system
EP3281178A1 (en) Method for displaying an area surrounding a vehicle
DE102010042026B4 (en) Method for generating an image of at least one object in the surroundings of a vehicle
DE102014210053A1 (en) Surgical microscope with data unit and method for overlaying images
DE102006060553A1 (en) Test of a motor vehicle imaging system, to show the driver the conditions around the vehicle, uses a reference camera on a test drive to give stored images as reference images for projection and comparison
DE102019120636A1 (en) PERIPHERAL DISPLAY DEVICE FOR A VEHICLE
DE102014006717A1 (en) Method for generating a three-dimensional information of an object with a digital microscope and data processing program for processing the method
WO2018215332A1 (en) External depiction of photographs of a vehicle interior in vr goggles
WO2018145680A1 (en) Camera system for a vehicle
DE102014012250A1 (en) Method for image processing and display
DE102017207438A1 (en) Method for determining the kink angle of a team
EP2996327B1 (en) Surround view system for vehicles with attachments
DE102011121473A1 (en) A method for displaying images on a display device of a motor vehicle, driver assistance device, motor vehicle and computer program
DE102013016241A1 (en) Method and device for augmented presentation
DE102014207897A1 (en) Method for generating a display image
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
DE102011082881A1 (en) Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information
DE102013019114A1 (en) Method and system for operating a display device of a motor vehicle and motor vehicles with a system for operating a display device
DE102017218090A1 (en) Method for displaying images of a camera system of a vehicle
DE102015112411A1 (en) System for the stereoscopic display of images of an endoscope
DE102015016943A1 (en) Method for self-localization of a vehicle
DE102020109789A1 (en) Method for performing self-localization of a vehicle on the basis of a reduced digital map of the surroundings, computer program product and a self-localization system
DE102012100848B4 (en) System and method for the stereoscopic display of images of an endoscope

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed