DE112015000763T5 - Vehicle environment image display device and vehicle environment image display method - Google Patents

Vehicle environment image display device and vehicle environment image display method Download PDF

Info

Publication number
DE112015000763T5
DE112015000763T5 DE112015000763.6T DE112015000763T DE112015000763T5 DE 112015000763 T5 DE112015000763 T5 DE 112015000763T5 DE 112015000763 T DE112015000763 T DE 112015000763T DE 112015000763 T5 DE112015000763 T5 DE 112015000763T5
Authority
DE
Germany
Prior art keywords
image
vehicle
photographic
overhead
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112015000763.6T
Other languages
German (de)
Inventor
Norifumi Matsukawa
Keishi Tomiyama
Shogo Omiya
Jyunichi Kitao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112015000763T5 publication Critical patent/DE112015000763T5/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

In einer Anzeigevorrichtung, welche ein Fahrzeugumgebungsbild anzeigt, wird ein fotografisches Überkopfsichtbild erzeugt, in dem eine Sichtlinienumwandlung an einem fotografischen Bild durchgeführt wird, das von einer bordseitigen Kamer erzeugt wurde, und das erzeugte fotografische Überkopfsichtbild wird gespeichert. Eine Position eines sich bewegenden Gegenstands in dem fotografischen Überkopfsichtbild wird ebenfalls gespeichert, wenn der sich bewegende Gegenstand in dem fotografischen Überkopfsichtbild gezeigt ist. Eine Bewegungsinformation einer Bewegungsgröße des Fahrzeugs wird erlangt; ein Vergangenheitsbild, welches ein Bild eines Totwinkelbereichs des Fahrzeugs ist, wird aus dem gespeicherten fotografischen Überkopfsichtbild ausgeschnitten. Das ausgeschnittene Vergangenheitsbild wird auf dem Anzeigeschirm zusammen mit dem fotografischen Überkopfsichtbild angezeigt. Hierbei ist ein Anzeigemodus der sich bewegenden Größe, welche in dem Vergangenheitsbild gezeigt ist, unterschiedlich zu einem Anzeigemodus sich bewegenden Gegenstands, der in dem fotografischen Überkopfsichtbild gezeigt ist.In a display device displaying a vehicle surrounding image, an overhead photographic image is produced in which a line-of-sight conversion is performed on a photographic image generated by an onboard camera, and the generated overhead photographic overhead image is stored. A position of a moving object in the photographic overhead image is also stored when the moving object is shown in the overhead photographic image. Movement information of a moving amount of the vehicle is obtained; a past image, which is an image of a blind spot area of the vehicle, is cut out of the stored overhead photographic overhead image. The cut-out past image is displayed on the display screen together with the photographic overhead view image. Here, a moving-size display mode shown in the past image is different from a moving-object display mode shown in the photographing overhead view image.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNGCROSS-REFERENCE TO RELATED APPLICATION

Die vorliegende Anmeldung basiert auf der japanischen Patentanmeldung Nr. 2014-24013 , angemeldet am 12. Februar 2014; auf den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.The present application is based on Japanese Patent Application No. 2014-24013 , registered on February 12, 2014; to the local disclosure content is incorporated by reference.

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Erfindung betrifft eine Anzeigevorrichtung und ein Anzeigeverfahren welche bzw. welches auf einem Anzeigeschirm ein Bild anzeigt, welches durch Aufnahme eines Umgebungsbereichs um ein Fahrzeug herum unter Verwendung einer bordseitigen Kamera erzeugt wird.The present invention relates to a display device and a display method which displays on a display screen an image generated by capturing a surrounding area around a vehicle using an on-board camera.

STAND DER TECHNIKSTATE OF THE ART

Vorrichtungen sind bekannt, welche eine Verarbeitung durchführen, die eine Sichtlinie so umformt, dass ein Bild geformt wird, welches ein Fahrzeug zeigt, als ob das Fahrzeug von oberhalb gesehen werden würde, und zwar auf der Grundlage von fotografischen Bildern, welche von bordseitigen Kameras erzeugt werden, die sich vorne, hinten, links und rechts am Fahrzeug befinden und welche die erhaltenen Bilder anzeigen (Überkopfsichtbilder). Wenn ein Fahrer eines Eigenfahrzeugs, das mit der obigen Vorrichtung ausgestattet ist, die Umgebung des Eigenfahrzeugs unter Verwendung von Überkopfsichtbildern überprüfen kann, kann der Fahrer problemlos eine Lagebeziehung zwischen dem Eigenfahrzeug und einem Hindernis in der Umgebung oder eine Lagebeziehung zwischen dem Eigenfahrzeug und einer Markierung auf einer Fahrbahnoberfläche, sowie ein Gefühl für einen Abstand erfassen bzw. entwickeln.Devices are known which perform processing that transforms a line of sight so as to form an image showing a vehicle as if the vehicle were seen from above, based on photographic images produced by on-board cameras which are located at the front, back, left and right of the vehicle and which display the images obtained (overhead images). When a driver of an own vehicle equipped with the above apparatus can check the surroundings of the own vehicle using overhead visual images, the driver can easily establish a positional relationship between the own vehicle and an obstacle in the vicinity or a positional relationship between the own vehicle and a marker a road surface, as well as a feeling for a distance capture or develop.

Eine Technologie wurde vorgeschlagen, um Überkopfsichtbilder von Umgebungsbereichen in vorwärts-, rückwärts-, linken und rechten Richtung eines Fahrzeugs anzuzeigen, ohne irgendeine bordseitige Kamera links und rechts im Fahrzeug vorzusehen (Patentliteratur 1). Obgleich sie nicht in der Lage ist, direkt Bilder der Umgebungsbereiche linkerhand und rechterhand des Fahrzeugs unter Verwendung von bordseitigen Kameras zu erzeugen, verwendet die Technologie anstelle hiervon Bilder, welche von den bordseitigen Kameras vorne und hinten im Fahrzeug erzeugt werden, um Überkopfsichtbilder der Bereiche linkerhand und rechterhand zu erzeugen, indem die nachfolgenden Prinzipien angewendet werden.A technology has been proposed to display overhead images of surrounding areas in forward, backward, left and right directions of a vehicle without providing any on-board camera left and right in the vehicle (Patent Literature 1). Although unable to directly form images of the left and right hand peripheral areas of the vehicle using on-board cameras, the technology instead uses images generated from the front and rear on-board cameras in the vehicle to provide left-hand overhead views of the areas and to generate it on the right hand by applying the following principles.

Ein fotografisches Bild, das von einer bordseitigen Kamera erzeugt wird, die sich vorne im Fahrzeug befindet, zeigt nicht nur einen vorderen Bereich, der sich vorderhalb des Fahrzeugs erstreckt, sondern auch Bereiche, die sich schräg vorderhalb des Fahrzeugs an beiden Seiten des vorausliegenden Bereiches erstrecken. Daher enthält ein von der bordseitigen Kamera vorne im Fahrzeug erhaltenes Überkopfsichtbild die Bilder von Bereichen, die sich schräg vorderhalb des Fahrzeugs an den linken und rechten Umgebungsbereichen erstrecken, die das Fahrzeug umgeben. Die schräg vorderhalb liegenden Bereiche werden sehr bald Bereiche, die sich linkerhand und rechterhand des Fahrzeugs erstrecken, wenn sich das Fahrzeug vorwärts bewegt. Von diesem Grundsatz her können, sobald die Bilder von schräg vorderhalb liegenden Bereichen des Fahrzeugs, die sich in dem Überkopfsichtbild befinden, gespeichert worden sind, nach einer Vorwärtsbewegung die Bilder als Überkopfsichtbilder von Bereichen verwendet werden, die linkerhand und rechterhand des Fahrzeugs liegen.A photographic image generated by an on-board camera located in the front of the vehicle not only shows a front area extending ahead of the vehicle but also areas extending obliquely forward of the vehicle on both sides of the forward area , Therefore, an overhead view image obtained from the on-board camera at the front of the vehicle includes images of areas extending obliquely forward of the vehicle at the left and right surrounding areas surrounding the vehicle. The obliquely forward half areas soon become areas that extend left and right of the vehicle as the vehicle moves forward. From this principle, once the images of obliquely forward areas of the vehicle located in the overhead view image have been stored, after forward movement, the images may be used as overhead visual images of areas located to the left and the right of the vehicle.

Wenn sich das Fahrzeug weiter vorwärts bewegt, wird ein betreffendes Bild aus einem Überkopfsichtbild herausgeschnitten, welches vor der Weiterbewegung gespeichert worden ist und das ausgeschnittene Bild wird dann verwendet. Selbst wenn daher keine bordseitige Kamera links und rechts im Fahrzeug angeordnet ist, können Überkopfsichtbilder von Umgebungsbereichen vorderhalb, hinterhalb, links und rechts vom Fahrzeug angezeigt werden.As the vehicle moves forward, a subject image is cut out of an overhead view image which has been stored prior to further travel, and the cropped image is then used. Therefore, even if no on-board camera is located left and right in the vehicle, overhead images of surrounding areas can be displayed front, rear, left and right of the vehicle.

Ein Überkopfsichtbild, welches für die linke oder rechte Richtung eines Bilds eines Fahrzeugs angezeigt wird, ist tatsächlich ein vorheriges Überkopfsichtbild, welches etwas früher erzeugt worden ist. Ein Bild der linken oder rechten Richtung des Bilds des Fahrzeugs wird daher, nachdem es aus dem vorherigen Überkopfsichtbild ausgeschnitten worden ist, „Vergangenheitsbild” genannt.An overhead view image, which is displayed for the left or right direction of an image of a vehicle, is actually a previous overhead view image that has been created a little earlier. An image of the left or right direction of the image of the vehicle, therefore, after being cut out from the previous overhead view image, is called a "past image".

Wenn ein Fahrzeug rückwärts fährt, wird ein Überkopfsichtbild, dass von einer fahrzeugseitigen Kamera im Heck des Fahrzeugs erzeugt wird, gespeichert, und ein Vergangenheitsbild, das aus dem Überkopfsichtbild ausgeschnitten worden ist, wird für die linke oder rechte Richtung des Bilds des Fahrzeugs angezeigt. Dies kann die Überkopfsichtbilder von Bereichen vorderhalb, hinterhalb, links und rechts vom Fahrzeug anzeigen, auch wenn das Fahrzeug rückwärts fährt.When a vehicle is reversing, an overhead view image generated by an on-vehicle camera in the rear of the vehicle is stored, and a past image cut out of the overhead view image is displayed for the left or right direction of the image of the vehicle. This may indicate the overhead views of areas ahead, behind, left and right of the vehicle even when the vehicle is backing up.

DRUCKSCHRIFTLICHER STAND DER TECHNIKPRINCIPLE OF THE PRIOR ART

PATENTLITERATURPatent Literature

  • Patentliteratur 1: JP 2002-373327 A Patent Literature 1: JP 2002-373327 A

ZUSAMMENFASSUNG DER ERFINDUNG SUMMARY OF THE INVENTION

Jedoch kann eine Technologie, welche – wie erwähnt – ein Vergangenheitsbild verwendet, um ein Überkopfsichtbild anzuzeigen, das selbst einen Bereich eines toten Winkels einer bordseitigen Kamera anzeigt, die Möglichkeit mit sich bringen, dass ein Fahrer einem Irrtum unterliegt, wenn sich ein sich bewegender Gegenstand im angezeigten Bereich befindet.However, a technology which, as mentioned, uses a past image to display an overhead view image which itself indicates an area of a blind spot of an on-board camera may involve the possibility of a driver being mistaken if a moving object in the displayed area.

Die Gründe, warum ein Fahrer Fehlinterpretationen machen kann, werden beschrieben. Zunächst wird, wenn ein sich bewegender Gegenstand innerhalb eines Abbildungsbereichs einer bordseitigen Kamera vorhanden ist, eine Sichtlinie für ein Bild der bordseitigen Kamera umgewandelt, um ein Überkopfsichtbild anzuzeigen. Eine Lagebeziehung eines Eigenfahrzeugs gegenüber dem sich bewegenden Gegenstand oder die fortschreitende Änderung der Lagebeziehung kann damit korrekt angezeigt werden. Wenn danach der sich bewegende Gegenstand bei einer Bewegung des Fahrzeugs in einen Totwinkel der bordseitigen Kamera eintritt, kann das Überkopfsichtbild, welches durch Umwandeln der Sichtlinie für das Bild des Überkopfsichtbilds erhalten wird, den sich bewegenden Gegenstand nicht mehr länger zeigen. Dies macht die Verwendung eines Vergangenheitsbilds notwendig. Da jedoch das Vergangenheitsbild ein Bild ist, welches etwas früher erzeugt worden ist, kann das Bild die korrekte Position des sich bewegenden Gegenstands nicht zeigen. Zusätzlich verschiebt sich die Lage des sich bewegenden Gegenstands, der in dem Vergangenheitsbild gezeigt wird, allmählich in einer Richtung entgegengesetzt zur Fahrtrichtung in des Fahrzeugs, wenn sich das Fahrzeug fortbewegt; die Lage des sich bewegenden Gegenstandes verschiebt sich in die entgegengesetzte Richtung um einen Abstand, um welchen das Fahrzeug sich bewegt hat. Daher erscheint der sich bewegende Gegenstand so, als ob er ortsfest wäre. Selbst wenn sich der bewegende Gegenstand nahe an das Fahrzeug heran bewegt, unterliegt ein Fahrer dem Missverständnis, dass der sich bewegende Gegenstand nicht mit dem Fahrzeug zusammenstoßen kann, da der sich bewegende Gegenstand anscheinend still steht.The reasons why a driver can make misinterpretations are described. First, when a moving object exists within an imaging area of an onboard camera, a line of sight for an onboard camera image is converted to display an overhead view image. A positional relationship of an own vehicle with respect to the moving object or the progressive change of the positional relationship can thus be displayed correctly. Thereafter, when the moving object enters a blind spot of the onboard camera upon movement of the vehicle, the overhead view image obtained by converting the line of sight for the image of the overhead view image can no longer show the moving object. This necessitates the use of a history image. However, since the past image is an image that has been created a little earlier, the image can not show the correct position of the moving object. In addition, the position of the moving object shown in the past image gradually shifts in a direction opposite to the traveling direction in the vehicle when the vehicle is traveling; the position of the moving object shifts in the opposite direction by a distance by which the vehicle has moved. Therefore, the moving object appears as if it were stationary. Even if the moving object moves close to the vehicle, a driver is subject to the misunderstanding that the moving object can not collide with the vehicle because the moving object appears to be stationary.

Die vorliegende Erfindung geht den voranstehenden Sachverhalt im Stand der Technik an. Aufgabe der vorliegenden Erfindung ist es, eine Technologie bereit zu stellen, die in der Lage ist, ein Überkopfsichtbild eines Umgebungsbereichs um ein Fahrzeug herum unter Verwendung eines Vergangenheitsbilds anzuzeigen, ohne dass ein Fahrer einem Missverständnis unterliegt, auch wenn ein sich bewegender Gegenstand um das Fahrzeug herum vorhanden ist.The present invention addresses the above state of the art. It is an object of the present invention to provide a technology capable of displaying an overhead view image of a surrounding area around a vehicle using a past image without misunderstanding a driver even if a moving object is around the vehicle around is present.

Zur Lösung der obigen Aufgabe sind gemäß einem Beispiel der vorliegenden Erfindung eine Fahrzeugumgebungsbildanzeigevorrichtung und ein Fahrzeugumgebungsbildanzeigeverfahren wie folgt vorgesehen. Ein fotografisches Überkopfsichtbild wird durch eine Sichtlinienumwandlung eines fotografischen Bildes erzeugt, welches von einer bordseitigen Kamera erzeugt worden ist und das erzeugte fotografische Überkopfsichtbild wird gespeichert. Eine Lage eines sich bewegenden Gegenstands in dem fotografischen Überkopfsichtbild wird ebenfalls gespeichert, wenn der sich bewegende Gegenstand in dem fotografischen Überkopfsichtbild gezeigt ist. Eine Bewegungsinformation einer Bewegungsgröße des Fahrzeugs wird erlangt; ein Vergangenheitsbild, welches ein Bild eines Totwinkelbereichs des Fahrzeugs ist, wird aus dem gespeicherten fotografischen Überkopfsichtbild ausgeschnitten. Das ausgeschnittene Vergangenheitsbild wird auf einem Anzeigeschirm zusammen mit dem fotografischen Überkopfsichtbild angezeigt. Hierbei unterscheidet sich ein Anzeigemodus des sich bewegenden Gegenstands, der in dem Vergangenheitsbild gezeigt wird, von einem Anzeigemodus des sich bewegenden Gegenstands, der in den fotografischen Überkopfsichtbild gezeigt ist.To achieve the above object, according to an example of the present invention, a vehicle environment image display device and a vehicle environment image display method are provided as follows. An overhead photographic image is generated by line-of-sight conversion of a photographic image produced by an on-board camera and the generated overhead photographic overhead image is stored. A position of a moving object in the overhead photographic image is also stored when the moving object is shown in the overhead photographic image. Movement information of a moving amount of the vehicle is obtained; a past image, which is an image of a blind spot area of the vehicle, is cut out of the stored overhead photographic overhead image. The cutout past image is displayed on a display screen along with the overhead photographic image. Here, a display mode of the moving object shown in the past image differs from a display mode of the moving object shown in the photographic overhead view image.

Diese Konfiguration ändert einen Anzeigemodus für ein Bild eines sich bewegenden Gegenstands auf einem Anzeigeschirm, war es einem Fahrer ermöglicht, zu erkennen, dass das Bild des sich bewegenden Gegenstands angezeigt wird, in dem das Vergangenheitsbild verwendet wird. Der Fahrer versucht daher, den sich bewegenden Gegenstand zu verifizieren, in dem er beispielsweise direkt auf den sich bewegenden Gegenstand blickt; der Fahrer kann daran gehindert werden, die Lage des sich bewegenden Gegenstands falsch einzuschätzen.This configuration changes a display mode for an image of a moving object on a display screen, allowing a driver to recognize that the image of the moving object in which the past image is being used is displayed. The driver therefore tries to verify the moving object by, for example, looking directly at the moving object; the driver can be prevented from misjudging the position of the moving object.

KURZE BESCHREIBUNG DER ZEICHNUNGBRIEF DESCRIPTION OF THE DRAWING

Die obigen und weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der folgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügte Zeichnung. In der Zeichnung ist:The above and other details, aspects and advantages of the present invention will become more apparent from the following detailed description made with reference to the accompanying drawings. In the drawing is:

1 eine erläuternde Darstellung, welche ein Fahrzeug zeigt, das mit einer Bildanzeigevorrichtung einer Ausführungsform der vorliegenden Erfindung ausgestattet ist; 1 an explanatory view showing a vehicle equipped with an image display device of an embodiment of the present invention;

2 eine erläuternde Darstellung des internen Aufbaus der Bildanzeigevorrichtung; 2 an explanatory view of the internal structure of the image display device;

3 eine erläuternde Darstellung eines fotografischen Bilds, welches durch Abbildung eines Bereichs vorderhalb eines Fahrzeugs erzeugt wird; 3 an explanatory diagram of a photographic image, which is generated by imaging a region in front of a vehicle;

4 eine erläuternde Darstellung betreffend Prinzipien zur Umwandlung eines fotografischen Bilds in ein Überkopfsichtbild; 4 an explanatory diagram concerning principles for converting a photographic image into an overhead view image;

5 eine erläuternde Vergleichsdarstellung betreffend den Grund, warum ein Fahrer ein fehlerhaftes Verständnis von einem sich bewegenden Gegenstand um ein Fahrzeug herum haben kann; 5 an explanatory comparison of the reason why a driver may have a misunderstanding of a moving object around a vehicle;

6 ein Flussdiagramm einer ersten Hälfte einer Bildanzeigeverarbeitung der vorliegenden Ausführungsform; 6 a flowchart of a first half of an image display processing of the present embodiment;

7 ein Flussdiagramm einer zweiten Hälfte der Bildanzeigeverarbeitung der vorliegenden Ausführungsform; 7 Fig. 10 is a flowchart of a second half of the image display processing of the present embodiment;

8 eine erläuternde Darstellung, wie Vergangenheitsbilder durch die Bildanzeigevorrichtung der vorliegenden Ausführungsform erhaltbar sind; und 8th an explanatory view how past images are obtainable by the image display device of the present embodiment; and

9 eine erläuternde Darstellung einer anderen Art, wie Vergangenheitsbilder durch die Bildanzeigevorrichtung der vorliegenden Ausführungsform erhaltbar sind. 9 an explanatory diagram of another way in which past images are obtainable by the image display device of the present embodiment.

BESCHREIBUNG VON AUSFÜHRUNGSFORMENDESCRIPTION OF EMBODIMENTS

Eine Ausführungsform der vorliegenden Erfindung wird nachfolgend beschrieben, um den Gegenstand der vorliegenden Erfindung zu erläutern.An embodiment of the present invention will be described below to explain the subject matter of the present invention.

A. AufbauA. Construction

1 zeigt ein Fahrzeug 1 (als Eigenfahrzeug bezeichenbar), in welchem sich eine Bildanzeigevorrichtung 100 befindet. In der vorliegenden Ausführungsform kann die Bildanzeigevorrichtung 100 auch als Fahrzeugumgebungsbildanzeigevorrichtung bezeichnet werden. 1 shows a vehicle 1 (Markable as an own vehicle), in which an image display device 100 located. In the present embodiment, the image display device 100 also referred to as a vehicle environment image display device.

Wie dargestellt enthält das Fahrzeug 1 eine bordseitige Kamera 10F, die vorne im Fahrzeug 1 angeordnet ist, eine bordseitige Kamera 10R, die im Heck des Fahrzeugs 1 angeordnet ist, einen Anzeigeschirm 11, der in einem Fahrgastraum angeordnet ist und eine Bildanzeigevorrichtung 100. Die vorliegende Ausführungsform wird unter der Annahme beschrieben, dass die bordseitigen Kameras 10F und 10R in der Front bzw. dem Heck des Fahrzeugs 1 angeordnet sind. Die vorliegende Erfindung kann bei einem Fahrzeug 1 angewendet werden, welche nur eine in der bordseitigen Kameras 10F und 10R enthält.As shown, the vehicle contains 1 an on-board camera 10F in the front of the vehicle 1 is arranged, an on-board camera 10R in the rear of the vehicle 1 is arranged, a display screen 11 Located in a passenger compartment and an image display device 100 , The present embodiment will be described on the assumption that the on-board cameras 10F and 10R in the front or the rear of the vehicle 1 are arranged. The present invention may be applied to a vehicle 1 to be applied, which is only one in the onboard cameras 10F and 10R contains.

Die Bildanzeigevorrichtung 100 empfängt Umgebungsbilder des Fahrzeugs 1, welche von den bordseitigen Kameras 10F und 10R erzeugt werden, wandelt die Bilder in Überkopfsichtbilder um, welche das Fahrzeug 1 so darstellen, als ob das Fahrzeug von oberhalb gesehen werden würde und zeigt dann die erhaltenen Bilder auf dem Anzeigeschirm 11 an.The image display device 100 receives environmental images of the vehicle 1 , which from the onboard cameras 10F and 10R are generated, converts the images into overhead images representing the vehicle 1 represent as if the vehicle would be seen from above, and then display the obtained images on the display screen 11 at.

Das Fahrzeug 1 enthält einen Lenkwinkelsensor 12, der einen Lenkwinkel eines Lenkrads 2 erkennt, einen Fahrzeuggeschwindigkeitssensor 13, der eine Fahrzeuggeschwindigkeit erkennt und einen Schaltpositionssensor 14, der eine Schaltposition eines nicht dargestellten Getriebes erkennt. Die Ausgänge von Lenkwinkelsensor 12, Fahrzeuggeschwindigkeitssensor 13 und Schaltpositionssensor 14 werden der Bildanzeigevorrichtung 100 eingegeben. Auf der Grundlage der Ausgänge erlangt die Bildanzeigevorrichtung 100 eine Bewegungsinformation von Bewegungsgrößen (Bewegungsgeschwindigkeit und Bewegungsrichtung) des Fahrzeugs 1.The vehicle 1 contains a steering angle sensor 12 , which is a steering angle of a steering wheel 2 detects a vehicle speed sensor 13 detecting a vehicle speed and a shift position sensor 14 , which detects a shift position of a transmission, not shown. The outputs of steering angle sensor 12 , Vehicle speed sensor 13 and shift position sensor 14 become the image display device 100 entered. Based on the outputs, the image display device acquires 100 a movement information of movement quantities (movement speed and direction of movement) of the vehicle 1 ,

Die Bildanzeigevorrichtung 100 erzeugt ein Überkopfsichtbild eines Bereichs, der ein toter Winkel der bordseitigen Kamera 10F oder 10R (Bereich auf der linken oder rechten Seite des rechten Fahrzeugs 1) ist auf der Grundlage in der Bewegungsinformation vom Fahrzeug 1 und dem Überkopfsichtbild, welches mit dem bordseitigen Kameras 10F oder 10R erhalten wird und zeigt das erzeugte Bild auf dem Anzeigeschirm 11 an.The image display device 100 creates an overhead view image of an area that is a dead angle of the on-board camera 10F or 10R (Area on the left or right side of the right vehicle 1 ) is based on the motion information from the vehicle 1 and the overhead view image taken with the on-board cameras 10F or 10R and displays the generated image on the display screen 11 at.

2 zeigt den allgemeinen internen Aufbau der Bildanzeigevorrichtung 100 der vorliegenden Ausführungsform. Wie dargestellt enthält die Bildanzeigevorrichtung 100 der vorliegenden Ausführungsform einen Fotografiebilderlangungsabschnitt 101, einen Erzeugungsabschnitt 102 für ein fotografischen Überkopfsichtbild, einen Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand, einen Speicherabschnitt 104 für ein fotografisches Überkopfsichtbild, einen Bewegungsinformationserlangungsabschnitt 105 und einen Anzeigebildererzeugungsabschnitt 106. 2 shows the general internal structure of the image display device 100 the present embodiment. As shown, the image display device includes 100 In the present embodiment, a photograph image acquisition section 101 , a generating section 102 for a photographic overhead view image, a recognition section 103 for a moving object, a storage section 104 for a photographic overhead view image, a motion information acquiring section 105 and a display image generating section 106 ,

Diese sechs Abschnitte sind abstrakte und konzeptuelle Einheiten, in welche die internen Teile der Bildanzeigevorrichtung 100 aus Gründen der Einfachheit hinsichtlich des Merkmals der Bildanzeigevorrichtung 100 klassifiziert werden, welche ein Bild des Umgebungsbereichs um das Fahrzeug 1 auf dem Anzeigeschirm 11 anzeigt, bedeuten jedoch nicht notwendigerweise, dass die Bildanzeigevorrichtung 100 körperlich in sechs Teile unterteilt ist. Die Abschnitte können daher als Softwarebestandteile realisiert werden, welche Computerprogramme für eine CPU sind, können als Hardwarebestandteile realisiert werden, welche elektronische Schaltkreise mit einem LSI und einem Speicher sind oder können durch Kombination von Software- und Hardwarebestandteilen realisiert werden.These six sections are abstract and conceptual units into which the internal parts of the image display device 100 for the sake of simplicity of the feature of the image display device 100 classified, which is an image of the surrounding area around the vehicle 1 on the display screen 11 however, does not necessarily mean that the image display device 100 physically divided into six parts. The sections can therefore be realized as software components which are computer programs for a CPU, can be realized as hardware components which are electronic circuits with an LSI and a memory or can be realized by combining software and hardware components.

Der Fotografiebilderlangungsabschnitt 101 ist mit den bordseitigen Kameras 10F und 10R verbunden und erlangt ein fotografisches Bild von der bordseitigen Kamera 10F in regelmäßigen Abständen (annähernd 30 Hz) und ein fotografisches Bild von der bordseitigen Kamera 10R in regelmäßigen Abständen (annähernd 30 Hz). Die bordseitige Kamera 10F erzeugt das fotografische Bild durch Abbilden eines Bereichs, der sich vorderhalb des Fahrzeugs 1 erstreckt aus einer Position schräg oberhalb des Bereichs. Die bordseitige Kamera 10R erzeugt dann das fotografische Bild durch Abbilden eines Bereichs hinterhalb des Fahrzeugs 1 aus einer Position schräg oberhalb des Bereichs.The photograph image acquisition section 101 is with the onboard cameras 10F and 10R connected and obtained a photographic image of the on-board camera 10F at regular intervals (approximately 30 Hz) and a photographic image of the on-board camera 10R in regular Distances (approximately 30 Hz). The onboard camera 10F creates the photographic image by imaging an area that is in front of the vehicle 1 extends from a position obliquely above the area. The onboard camera 10R then generates the photographic image by imaging an area behind the vehicle 1 from a position obliquely above the area.

Der Erzeugungsabschnitt 102 für ein fotografisches Überkopfsichtbild empfängt fotografische Bilder, welche von den bordseitigen Kameras 10F und 10R erzeugt worden sind über den Fotografiebilderlangungsabschnitt 101 und erzeugt Überkopfsichtbilder. Das heißt, dass fotografische Bild, welches von der bordseitigen Kamera 10F erzeugt wurde, ist ein Bild, dass durch Abbilden eines Bereichs erzeugt wurde, der sich vorderhalb des Fahrzeugs 1 erstreckt, und zwar von schräg oben. Ein Überkopfsichtbild, welches den Bereich so zeigt, als ob der Bereich von oberhalb des Fahrzeugs 1 abgebildet worden wäre, wird durch eine Sichtlinienumwandlung an den Bild erzeugt, wie später noch beschrieben wird. Auf ähnliche Weise ist das fotografische Bild, das von der bordseitigen Kamera 10L erzeugt wird, ein Bild, dass durch Abbilden eines Bereichs erzeugt wird, hinterhalb des Fahrzeugs 1 befindet, und zwar von schräg oben. Das Bild wird in ein Überkopfsichtbild umgewandelt, welches den Bereich so zeigt, als ob der Bereich von oberhalb des Fahrzeugs 1 abgebildet worden wäre. Ein Verfahren zur Erzeugung eines Überkopfsichtbilds durch Durchführung einer Sichtlinientransformation an dem von der bordseitigen Kamera 10F oder 10R erzeugten Bild wird nachfolgend beschrieben. In der vorliegenden Ausführungsform kann der Erzeugungsabschnitt 102 für das fotografische Überkopfsichtbild als eine Erzeugungsvorrichtung oder eine Erzeugungsmittel für ein fotografisches Überkopfsichtbild bezeichnet werden.The production section 102 for a photographic overhead view image receives photographic images taken by the on-board cameras 10F and 10R have been generated via the photograph image acquisition section 101 and creates overhead views. That is, that photographic picture taken by the onboard camera 10F is an image formed by imaging an area that is ahead of the vehicle 1 extends, from diagonally above. An overhead view image showing the area as if the area from above the vehicle 1 is generated by a line of sight conversion to the image, as will be described later. Similarly, the photographic image is that of the on-board camera 10L is generated, an image formed by imaging a region behind the vehicle 1 is located, from diagonally above. The image is converted to an overhead view image, which shows the area as if the area from above the vehicle 1 would have been pictured. A method of generating an overhead view image by performing a line-of-sight transformation on that of the on-board camera 10F or 10R generated image will be described below. In the present embodiment, the generating section 102 for the photographic overhead view image are referred to as a generating device or an overhead photographic image forming means.

Wie später noch beschrieben wird, kann in die Bildanzeigevorrichtung 100 der vorliegenden Ausführungsform ein Überkopfsichtbild nicht nur von einem Bereich erzeugen, der sich vorderhalb oder hinterhalb des Fahrzeugs 1 erstreckt, sondern auch von einem Bereich, der sich in einer Richtung links oder rechts vom Fahrzeug 1 erstreckt und kann das erzeugte Bild auf dem Anzeigeschirm 11 anzeigen. Das Überkopfsichtbild, das für die Vorwärts- oder Rückwärtsrichtung eines Bilds vom Fahrzeug 1 anzuzeigen ist, ist ein Bild, das durch Durchführen einer Sichtlinienumwandlung an einem momentanen Bild erhalten wird, das von der bordseitigen Kamera 10F oder 10R erzeugt wird. Im Gegensatz hierzu ist das Überkopfsichtbild zur Anzeige für die linke oder rechte Richtung im Bild des Fahrzeugs 1 ein synthetisches Bild, das unter Verwendung eines vorherigen Überkopfsichtbilds erhalten wird, das für die Vorwärts- oder Rückwärtsrichtung des Bilds des Fahrzeugs 1 angezeigt wurde, und zwar basierend auf der Bewegungsinformation des Fahrzeugs 1.As will be described later, in the image display device 100 of the present embodiment, to produce an overhead view image not only of an area located in front of or behind the vehicle 1 extends, but also from an area that is in a direction left or right of the vehicle 1 extends and can display the generated image on the display screen 11 Show. The overhead view image, which is for the forward or reverse direction of an image of the vehicle 1 is an image obtained by performing line-of-sight conversion on a current image from the on-board camera 10F or 10R is produced. In contrast, the overhead view image is indicative of the left or right direction in the image of the vehicle 1 a synthetic image obtained using a previous overhead view image that is for the forward or reverse direction of the image of the vehicle 1 has been displayed, based on the motion information of the vehicle 1 ,

Nachfolgend wird ein Überkopfsichtbild zur Anzeige in Vorwärts- oder Rückwärtsrichtung des Bilds des Fahrzeugs 1 fotografisches Überkopfsichtbild genannt, um das Bild von einem Überkopfsichtbild unterscheiden zu können, welches ein synthetisches Bild ist, welches für die linke oder rechte Richtung in Bild des Fahrzeugs 1 anzuzeigen ist. Ein einfaches „Überkopfsichtbild” bezeichnet ein Bild, welches einen Bereich zeigt, als ob der Bereich von oberhalb des Fahrzeugs 1 gesehen werden würde. Somit fallen sowohl das fotografische Überkopfsichtbild als auch das Vergangenheitsbild unter „Überkopfsichtbild”. Der Erzeugungsabschnitt 102 für das fotografische Überkopfsichtbild gibt das erzeugte fotografische Überkopfsichtbild an den Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand, den Speicherabschnitt 104 für das fotografische Überkopfsichtbild und den Anzeigebilderzeugungsabschnitt 106 aus.The following is an overhead view image for displaying in the forward or reverse direction of the image of the vehicle 1 called an overhead photographic image to distinguish the image from an overhead view image which is a synthetic image representing the left or right direction in image of the vehicle 1 is to be displayed. A simple "overhead view" is an image that shows an area as if the area from above the vehicle 1 would be seen. Thus, both the overhead photographic image and the past image fall under "overhead view". The production section 102 for the photographic overhead view image, the generated overhead photographic overhead image is applied to the recognition section 103 for a moving object, the storage section 104 for the overhead photographic image and the display image forming section 106 out.

Der Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand analysiert ein fotografisches Überkopfsichtbild, welches vom Erzeugungsabschnitt 102 für ein fotografisches Überkopfsichtbild kommt und erkennt einen sich bewegenden Gegenstand in dem fotografischen Überkopfsichtbild. Der sich bewegende Gegenstand kann erkannt werden, in dem ein neu empfangenes Bild mit einem vorher empfangenen Bild verglichen wird.The recognition section 103 for a moving object, a photographic overhead view image analyzed by the generating section 102 for a photographic overhead view image, and detects a moving object in the photographic overhead view image. The moving object can be recognized by comparing a newly received image with a previously received image.

Die vorliegende Ausführungsform wird unter der Annahme beschrieben, dass der Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand einen sich bewegenden Gegenstand unter Verwendung eines fotografischen Überkopfsichtbilds erkennt. Wie durch den gestrichelten Pfeil in der Zeichnung angegeben, kann der Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand fotografische Bilder, welche von den bordseitigen Kameras 10F und 10R erzeugt werden, von dem Fotografierbilderlangungsabschnitt 101 empfangen und kann den sich bewegenden Gegenstand erkennen, der sich in den fotografischen Bildern zeigt. Der Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand kann als Erkennungsvorrichtung oder Erkennungsmittel für einen sich bewegenden Gegenstand bezeichnet werden.The present embodiment will be described on the assumption that the recognition section 103 for a moving object detects a moving object using a photographic overhead view image. As indicated by the dashed arrow in the drawing, the recognition section 103 for a moving object, photographic images taken by the on-board cameras 10F and 10R are generated from the photographing image acquisition section 101 and can recognize the moving object that shows up in the photographic images. The recognition section 103 for a moving object may be referred to as a detecting device or a moving object detecting means.

Der Speicherabschnitt 104 für ein fotografisches Überkopfsichtbild speichert ein fotografisches Überkopfsichtbild, welches vom Erzeugungsabschnitt 102 für ein fotografisches Überkopfsichtbild zugeführt worden ist. Wenn von dem Erkennungsabschnitt für einen sich bewegenden Gegenstand ein sich bewegender Gegenstand in dem fotografischen Überkopfsichtbild erkannt wird, wird eine Position in dem fotografischen Überkopfsichtbild, wo der sich bewegende Gegenstand erkannt worden ist, ebenfalls zusammen mit dem fotografischen Überkopfsichtbild gespeichert. In der vorliegenden Ausführungsform kann der Speicherabschnitt für ein fotografisches Überkopfsichtbild auch als Speichervorrichtung oder Speichermittel für ein fotografisches Überkopfsichtbild bezeichnet werden.The storage section 104 for a photographic overhead view image stores an overhead photographic image from the generating section 102 for a photographic overhead image has been supplied. When a moving object is recognized in the photographing overhead image by the moving object detecting section, a position in the photographing overhead view image becomes the moving object has been detected, also stored together with the photographic overhead view image. In the present embodiment, the overhead photographic image storage section may also be referred to as a photographic overhead view storage device or storage means.

Es sei angenommen, dass der Erkennungsabschnitt 103 für einen sich bewegenden Gegenstand einen sich bewegenden Gegenstand unter Verwendung eines Bilds (fotografisches Bild von der bordseitigen Kamera 10F oder 10R) erkennt, bei dem eine Sichtlinienumwandlung durchgeführt worden ist, um ein fotografisches Überkopfsichtbild zu erzeugen, anstatt dass das fotografische Überkopfsichtbild verwendet wird. In einem solchen Fall kann die Position des sich bewegenden Gegenstands im fotografischen Überkopfsichtbild erhalten werden, in dem eine Sichtlinienumwandlung an der Position des sich bewegenden Gegenstandes durchgeführt wird, der im fotografischen Bild erkannt worden ist.It is assumed that the recognition section 103 for a moving object, a moving object using an image (photographic image of the onboard camera 10F or 10R ) in which a line-of-sight conversion has been made to produce a photographic overhead view image rather than using the overhead photographic image. In such a case, the position of the moving object in the photographic overhead view image can be obtained by performing line-of-sight conversion at the position of the moving object recognized in the photographic image.

Der Bewegungsinformationserlangungsabschnitt 105 ist sowohl mit dem Lenkwinkelsensor 12, als auch dem Fahrzeuggeschwindigkeitssensor 13 und dem Schaltpositionssensor 14 verbunden. Der Bewegungsinformationserlangungsabschnitt 105 erlangt eine Bewegungsinformation des Fahrzeugs 1 auf der Grundlage der Sensorausgänge. Was als Bewegungsinformation des Fahrzeugs 1 bezeichnet wird, beinhaltet Informationen, die anzeigen, ob sich das Fahrzeug vorwärts oder rückwärts bewegt oder steht, Informationen, die anzeigen, ob das Fahrzeug geradeaus fährt, nach rechts fährt oder nach links fährt und Informationen hinsichtlich der Kurvengröße im Fall einer Kurvenfahrt und Informationen über die Bewegungsgeschwindigkeit des Fahrzeugs 1. Der Bewegungsinformationserlangungsabschnitt 105 gibt die Bewegungsinformation des Fahrzeugs 1 an den Anzeigebilderzeugungsabschnitt 106 aus. Der Bewegungsinformationserlangungsabschnitt 105 kann als Bewegungsinformationserlangungsvorrichtung oder -mittel bezeichnet werden.The motion information acquiring section 105 is with both the steering angle sensor 12 , as well as the vehicle speed sensor 13 and the shift position sensor 14 connected. The motion information acquiring section 105 acquires movement information of the vehicle 1 based on the sensor outputs. What as movement information of the vehicle 1 includes information indicating whether the vehicle is moving forward or backward, information indicating whether the vehicle is traveling straight, driving to the right or going to the left, and information regarding the turning amount in the case of cornering and information about the speed of movement of the vehicle 1 , The motion information acquiring section 105 gives the movement information of the vehicle 1 to the display image forming section 106 out. The motion information acquiring section 105 may be referred to as a motion information acquisition device or means.

Der Anzeigebilderzeugungsabschnitt 106 verwendet fotografische Überkopfsichtbilder, die von dem Erzeugungsabschnitt 102 für fotografische Überkopfsichtbilder gesendet werden, Bewegungsinformationen von den Bewegungsinformationserlangungsabschnitt 105 und vorherige fotografische Überkopfsichtbilder, welche in dem Speicherabschnitt 104 für fotografische Überkopfsichtbilder gespeichert sind, um Überkopfsichtbilder der Umgebungsbereiche um das gesamte Fahrzeug 1 herum zu erzeugen und zeigt die erzeugten Bilder auf dem Anzeigeschirm 11 an.The display image forming section 106 uses photographic overhead images taken from the generating section 102 for overhead photographic images, motion information from the motion-information acquiring section 105 and previous overhead photographic images stored in the storage section 104 are stored for overhead photographic images to provide overhead visuals of the surrounding areas around the entire vehicle 1 around and displays the generated images on the display screen 11 at.

Ein Bereich vorderhalb von oder hinterhalb des Fahrzeugs 1 ist ein Abbildungsbereich der bordseitigen Kamera 10F bzw. 10R. Daher wird ein Überkopfsichtbild (fotografisches Überkopfsichtbild), das durch Durchführung der Sichtlinienumwandlung an dem fotografischen Bild von der bordseitigen Kamera 10F oder 10R erzeugt wird, als ein Überkopfsichtbild dieses Bereichs dargestellt. Jedoch ist ein Bereich rechterhand oder linkerhand des Fahrzeugs 1 ein Totwinkelbereich der bordseitigen Kamera 10F oder 10R. Ein Überkopfsichtbild des Bereichs kann nicht erhalten werden, in dem einfach eine Sichtlinienumwandlung an dem fotografischen Bild durchgeführt wird, welches von der bordseitigen Kamera 10F oder 10R erzeugt wird. Das Überkopfsichtbild des Bereichs auf der linken oder rechten Seite des Fahrzeugs 1 wird erzeugt, in dem ein Bild eines entsprechenden Bereichs (Vergangenheitsbild) aus einem vorherigen fotografischen Kopfsichtbild ausgeschnitten wird, welches in dem Speicherabschnitt 104 für ein fotografisches Überkopfsichtbild gespeichert ist, und zwar auf der Grundlage der Bewegungsinformation des Fahrzeugs 1. Bei der vorliegenden Ausführungsform kann der Anzeigebilderzeugungsabschnitt 106 als fotografischer Überkopfsichtbildanzeigeabschnitt, -vorrichtung oder -mittel oder als Vergangenheitsbildanzeigeabschnitt, -vorrichtung oder -mittel bezeichnet werden.An area in front of or behind the vehicle 1 is an imaging area of the on-board camera 10F respectively. 10R , Therefore, an overhead view image (photographic overhead view image) obtained by performing the line-of-sight conversion on the photographic image from the on-board camera 10F or 10R is produced as an overhead view image of this area. However, an area is right-hand or left-hand of the vehicle 1 a blind spot area of the on-board camera 10F or 10R , An overhead view image of the area can not be obtained by simply performing line of sight conversion on the photographic image taken by the on-board camera 10F or 10R is produced. The overhead view of the area on the left or right side of the vehicle 1 is generated by cutting out an image of a corresponding area (past image) from a previous photographic head view image which is stored in the memory section 104 is stored for a photographic overhead view image based on the motion information of the vehicle 1 , In the present embodiment, the display image forming section 106 as a photographic overhead image display section, apparatus or means, or as a past image display section, apparatus or means.

Es wird ein Verfahren zur Erzeugung eines Überkopfsichtbilds eines Bereichs beschrieben, der sich linkerhand oder rechterhand des Fahrzeugs 1 erstreckt. Zunächst wird ein Verfahren beschrieben, wie ein fotografisches Überkopfsichtbild erzeugt wird, in dem eine Sichtlinienumwandlung an einem fotografischen Bild durchgeführt wird, das von der bordseitigen Kamera 10F oder 10R erzeugt wird. Danach wird unter Bezugnahme auf diese Beschreibung ein Verfahren beschrieben, wie das Überkopfsichtbild des Bereichs erzeugt wird, der sich linkerhand oder rechterhand des Fahrzeugs 1 erstreckt.A method for generating an overhead view image of an area located left or right of the vehicle will be described 1 extends. First, a method of producing a photographic overhead view image in which line-of-sight conversion is performed on a photographic image taken by the on-board camera will be described 10F or 10R is produced. Next, referring to this description, a method how to generate the overhead view image of the area left or right of the vehicle will be described 1 extends.

B. Prinzipien zur Darstellung eines Überkopfsichtbilds als Umgebungsbereich um ein Fahrzeug herum unter Verwendung eines Vergangenheitsbilds.B. Principles for displaying an overhead view image as a surrounding area around a vehicle using a past image.

Es sei angenommen, dass eine Mehrzahl von Markierungen in gleichen Abständen in Form eines Gitters auf dem Boden vorhanden ist, der mit der bordseitigen Kamera 10F (oder 10R) des Fahrzeugs 1 abgebildet wird.Assume that there are a plurality of markings at equal intervals in the form of a grid on the ground, with the on-board camera 10F (or 10R ) of the vehicle 1 is shown.

3(a) zeigt eine Mehrzahl von runden Markierungen, welche in gleichmäßigen Abständen in Form eines Gitters auf dem Boden vorderhalb des Fahrzeugs 1 vorhanden sind und von oberhalb des Fahrzeugs 1 betrachtet werden. In der Zeichnung bezeichnen zwei Strichpunktlinien, welche schräg von der bordseitigen Kamera 10F aus verlaufen, eine Grenze zwischen einem Abbildungsbereich und einem Totwinkelbereich der bordseitigen Kamera 10F. 3 (a) shows a plurality of round markings which are evenly spaced in the form of a grid on the ground in front of the vehicle 1 are present and from above the vehicle 1 to be viewed as. In the drawing, two dashed lines indicate obliquely from the on-board camera 10F , a boundary between an imaging area and a blind spot area of the on-board camera 10F ,

Runde Markierungen, welche mit einer dicken Linie durchgezogen sind, bezeichnen runde Markierungen, welche sich innerhalb des Abbildungsbereichs der bordseitigen Kamera 10F befinden, wohingegen runde Markierungen, welche mit einer dünnen gestrichelten Linie dargestellt sind, runde Markierungen darstellen, welche innerhalb des Totwinkelbereichs der bordseitigen Kamera 10F liegen. Die bordseitige Kamera 10F (oder 10R) bildet den Boden von schräg oben aus ab. Round marks, which are drawn through with a thick line, indicate round marks which are within the imaging range of the on-board camera 10F whereas round marks, shown with a thin dashed line, represent round marks which are within the blind spot range of the on-board camera 10F lie. The onboard camera 10F (or 10R ) forms the bottom from diagonally above.

3(b) zeigt ein fotografisches Bild, dass von der bordseitigen Kamera 10F erzeugt wird. Das fotografische Bild zeigt die Markierungen auf dem Boden, welche innerhalb des Abbildungsbereichs der bordseitigen Kamera 10F vorhanden sind. Beispielsweise stellt eine Markierung a im fotografischen Bild eine Markierung A auf dem Boden gemäß 3(a) dar und eine Markierung b in dem fotografischen Bild stellt eine Markierung B auf dem Boden da. Auf ähnliche Weise stellen Markierungen c und d im fotografischen Bild Markierungen C und D auf dem Boden dar. 3 (b) shows a photographic image that from the onboard camera 10F is produced. The photographic image shows the markings on the ground, which are within the imaging range of the on-board camera 10F available. For example, a mark a in the photographic image indicates a mark A on the ground 3 (a) and a mark b in the photographic image represents a mark B on the ground. Similarly, marks c and d in the photographic image represent marks C and D on the ground.

Wie erwähnt, haben Koordinaten auf dem Boden innerhalb des Abbildungsbereichs der bordseitigen Kamera 10F und Koordinaten in dem fotografischen Bild eine Beziehung mit einer Entsprechung von 1:1. Daher kann unter Verwendung der Beziehung der Entsprechung das fotografische Bild in 3(b) in ein Überkopfsichtbild umgewandelt werden, welches den Boden so zeigt, als ob der Boden von oberhalb des Fahrzeugs 1 aus gesehen werden würde, wie in 3(a) dargestellt. Dies ist ein möglicher Weg zur Erzeugung eines Überkopfsichtbilds durch Durchführung einer Sichtlinienumwandlung an einem fotografischen Bild der bordseitigen Kamera 10F (oder 10R).As mentioned, coordinates on the ground are within the imaging range of the on-board camera 10F and coordinates in the photographic image have a relationship with a correspondence of 1: 1. Therefore, using the relationship of the correspondence, the photographic image in FIG 3 (b) be converted into an overhead view image that shows the ground as if the ground from above the vehicle 1 would be seen as in 3 (a) shown. This is one possible way of generating an overhead view image by performing line of sight conversion on a photographic image of the onboard camera 10F (or 10R ).

Durch die Sichtlinienumwandlung wird ein fotografisches Bild gemäß 4(a) in ein Überkopfsichtbild gemäß 4(b) umgewandelt. Das Überkopfsichtbild, das durch die Umwandlung erhalten wird, ist ein Bild, bei dem sich eine entferntere Position in seitlicher Richtung stärker aufspreizt. Dies deshalb, als der Abbildungsbereich der bordseitigen Kamera 10F (oder 10R) nach links und rechts auffächert (siehe 3(a)). In 4(b) ist ein Bereich, der sich in dem Überkopfsichtbild nach links aufweitet als Bereich L bezeichnet und ein Bereich, der sich im Überkopfsichtbild nach rechts aufweitet ist als Bereich R bezeichnet.Line-of-sight conversion converts a photographic image according to 4 (a) in an overhead view image according to 4 (b) transformed. The overhead view image obtained by the conversion is an image in which a more distant position spreads more laterally. This is because of the imaging range of the on-board camera 10F (or 10R ) fanned out to the left and right (see 3 (a) ). In 4 (b) That is, a region that widens to the left in the overhead view image is called an area L, and a region that widens to the right in the overhead view image is called a region R.

In dem Zustand von 4(b) existieren die Bereiche L und R innerhalb des Abbildungsbereichs der bordseitigen Kamera 10F. Wenn sich jedoch das Fahrzeug 1 vorwärts bewegt, wird der Bereich L zu einem Totwinkelbereich in linker Richtung des Fahrzeugs 1 und der Bereich R wird zu einem Totwinkelbereich in rechter Richtung des Fahrzeugs 1.In the state of 4 (b) The areas L and R exist within the imaging area of the on-board camera 10F , However, if the vehicle 1 moves forward, the area L becomes a blind spot area in the left direction of the vehicle 1 and the area R becomes a blind spot area in the right direction of the vehicle 1 ,

Daher wird ein Überkopfsichtbild (fotografisches Überkopfsichtbild), welches durch Durchführung einer Sichtlinienumwandlung an dem fotografischen Bild der bordseitigen Kamera 10F erhalten worden ist, gespeichert. Zusammen mit einer Bewegung des Fahrzeugs 1 wird ein Bild (Vergangenheitsbild), welches einen Bereich zeigt, der einem momentanen Totwinkelbereich entspricht, aus einem vorherigen fotografischen Überkopfsichtbild ausgeschnitten und dann dargestellt. Dies kann ein Überkopfsichtbild eines Bereichs darstellen, der sich in der linken oder rechten Richtung des Fahrzeugs 1 erstreckt. Dies ist ein grundlegender Weg, wie das Überkopfsichtbild des Bereichs angezeigt werden kann, der sich linkerhand oder rechterhand des Fahrzeugs 1 erstreckt, in dem ein Vergangenheitsbild verwendet wird.Therefore, an overhead view image (overhead photographic image) is obtained by performing line-of-sight conversion on the on-board camera photographic image 10F has been preserved. Along with a movement of the vehicle 1 For example, an image (past image) showing an area corresponding to a current blind spot area is cropped from a previous overhead photographic overhead image and then displayed. This may represent an overhead view of an area that is in the left or right direction of the vehicle 1 extends. This is a basic way how to display the overhead view of the area that is on the left or right side of the vehicle 1 extends, in which a past image is used.

Wenn jedoch ein Vergangenheitsbild auf diese Weise verwendet wird, um ein Überkopfsichtbild der Umgebung des Fahrzeugs 1 anzuzeigen, und ein sich bewegender Gegenstand innerhalb eines Anzeigebereichs vorhanden ist, kann dies für einen Fahrer zu Missverständnissen führen. Der Grund, warum Missverständnisse vorliegen können, wird in Verbindung mit 5 beschrieben.However, if a past image is used in this way, an overhead view of the surroundings of the vehicle 1 and there is a moving object within a display area, this can lead to misunderstandings for a driver. The reason why misunderstandings may exist is related to 5 described.

5 zeigt, dass sich ein Überkopfsichtbild, welches den Umgebungsbereich um das Fahrzeug 1 herum darstellt und das auf dem Anzeigeschirm 11 angezeigt wird, sich in Verbindung mit einer Vorwärtsbewegung des Fahrzeugs 1 ändert. In 5 ist der vordere Teil des Fahrzeugs 1 vergrößert dargestellt. 5 shows that there is an overhead view image surrounding the area around the vehicle 1 shows around and on the display screen 11 is displayed, in conjunction with a forward movement of the vehicle 1 changes. In 5 is the front part of the vehicle 1 shown enlarged.

Für ein besseres Verständnis sind zwei weiße Linien parallel zur Fahrtrichtung des Fahrzeugs 1 in einem Bild des Bodens eingezeichnet, der sich vorderhalb des Fahrzeugs 1 erstreckt. An den Enden der beiden weißen Linien verläuft eine weiße Linie senkrecht zur Fahrtrichtung des Fahrzeugs 1. Hierbei ist ein fotografisches Überkopfsichtbild, welches durch Durchführung einer Sichtlinienumwandlung erzeugt wird, nicht gespeichert.For a better understanding, two white lines are parallel to the direction of travel of the vehicle 1 drawn in a picture of the ground, located in front of the vehicle 1 extends. At the ends of the two white lines runs a white line perpendicular to the direction of travel of the vehicle 1 , Here, a photographic overhead view image, which is generated by performing line-of-sight conversion, is not stored.

5(a) zeigt ein Überkopfsichtbild der Umgebung des Fahrzeugs 1, welches zuerst auf dem Anzeigeschirm 11 dargestellt wird. Wie gezeigt wird ein fotografisches Überkopfsichtbild, erzeugt durch Durchführung einer Sichtlinienumwandlung an einem fotografischen Bild der bordseitigen Kamera 10F, als Bild eines Abbildungsbereichs angezeigt, der sich vorderhalb des Fahrzeugs 1 erstreckt. Das fotografische Überkopfsichtbild zeigt einen sich bewegenden Gegenstand auf der weißen Linie. Wie erwähnt wird, da kein fotografisches Überkopfsichtbild, welches vorher erzeugt worden ist, gespeichert ist, kein Vergangenheitsbild angezeigt, um sowohl den rechten Totwinkelbereich als auch den linken Totwinkelbereich zu zeigen, die sich an den linken und rechten Umgebungsbereichen um das Fahrzeug 1 herum erstrecken. 5 (a) shows an overhead view of the environment of the vehicle 1 which first on the display screen 11 is pictured. As shown, a photographic overhead view image formed by performing line-of-sight conversion on a photographic image of the on-board camera 10F , displayed as an image of an image area that is in front of the vehicle 1 extends. The overhead photographic image shows a moving object on the white line. As mentioned, since no overhead photographic image previously generated is stored, no past image is displayed to show both the right blind spot area and the left blind spot area located at the left and right Surrounding areas around the vehicle 1 extend around.

5(b) zeigt ein Überkopfsichtbild der Umgebung des Fahrzeugs 1, welches auf dem Anzeigeschirm 11 dargestellt wird, wenn sich das Fahrzeug 1 etwas vorwärts bewegt hat. In dem fotografischen Überkopfsichtbild, welches als das Bild des Abbildungsbereichs vorderhalb des Fahrzeugs 1 angezeigt wird, hat sich die Position der weißen Linie etwas an das Bild des Fahrzeugs 1 entsprechend der Vorwärtsbewegung des Fahrzeugs 1 angenähert. Zusätzlich hat sich das Bild des sich bewegenden Gegenstands auf der weißen Linie von 5(a) zu einer Position etwas unterhalb der weißen Linie vorwärts bewegt. 5 (b) shows an overhead view of the environment of the vehicle 1 which is on the display screen 11 is displayed when the vehicle 1 has moved something forward. In the overhead photographic image, which is the image of the imaging area in front of the vehicle 1 is displayed, the position of the white line has something to the image of the vehicle 1 according to the forward movement of the vehicle 1 approximated. In addition, the image of the moving object has on the white line of 5 (a) moved forward to a position slightly below the white line.

Wie erwähnt ist ein fotografisches Überkopfsichtbild ein Bild, welches durch Durchführung einer Sichtlinienumwandlung an einem momentanen, von der bordseitigen Kamera 10F erzeugten Bild erzeugt wird. Wenn das Bild des sich bewegenden Gegenstands unterhalb der weißen Linie in dem fotografischen Überkopfsichtbild liegt, wird das Bild des sich bewegenden Gegenstandes als unterhalb der weißen Linie auch in dem fotografischen Bild der bordseitigen Kamera 10F liegend empfunden. Daher wird angenommen, dass die Position, wo sich der sich bewegende Gegenstand tatsächlich befindet, als korrekt auf dem Anzeigeschirm 11 in 5(b) dargestellt angenommen.As mentioned, an overhead photographic image is an image obtained by performing line-of-sight conversion on a current, from the on-board camera 10F generated image is generated. When the image of the moving object is below the white line in the photographic overhead view image, the image of the moving object as below the white line also becomes in the photographic image of the on-board camera 10F felt lying down. Therefore, it is assumed that the position where the moving object is actually located is correct on the display screen 11 in 5 (b) represented assumed.

Auf dem Anzeigeschirm 11 in 5(b) wird als ein Bild des linken und rechten Totwinkelbereichs des Fahrzeugs 1 ein Bild (Vergangenheitsbild) des entsprechenden Bereichs aus einem vorherigen fotografischen Überkopfsichtbild in 5(a) ausgeschnitten und dann angezeigt. In 5(b) bis 5(d) ist das Vergangenheitsbild schraffiert, um das Vergangenheitsbild von dem fotografischen Überkopfsichtbild zu unterscheiden.On the display screen 11 in 5 (b) is represented as an image of the left and right blind spot area of the vehicle 1 an image (past image) of the corresponding area from a previous overhead photographic image in 5 (a) cut out and then displayed. In 5 (b) to 5 (d) the past image is hatched to distinguish the past image from the photographic overhead image.

5(c) zeigt ein Überkopfsichtbild der Umgebung des Fahrzeugs 1, welches auf dem Anzeigeschirm 11 dargestellt wird, wenn sich das Fahrzeug 1 wieder ein Stück weiter bewegt hat. Da sich das Fahrzeug 1 weiter bewegt hat, wird die weiße Linie vorderhalb des Fahrzeugs 1 an einer Position angezeigt, die wieder näher an das Bild des Fahrzeugs 1 herangerückt ist. Nur ein kleiner Teil der weißen Linie ist somit innerhalb eines Bilds des Abbildungsbereichs vorhanden, der sich vorderhalb des Fahrzeugs 1 erstreckt und der Großteil der weißen Linie liegt in Bildern der linken und rechten Totwinkelbereiche des Fahrzeugs 1. Da jedoch Vergangenheitsbilder, welche Bilder von entsprechenden Bereichen sind, die aus einem vorherigem fotografischen Überkopfsichtbild gemäß 5(a) oder 5(b) ausgeschnitten worden sind, als die Bilder der Totwinkelbereiche angezeigt werden, können die Lagen der weißen Linien auf dem Anzeigeschirm 11 festgestellt werden. 5 (c) shows an overhead view of the environment of the vehicle 1 which is on the display screen 11 is displayed when the vehicle 1 moved a bit further. As the vehicle 1 has moved further, the white line is in front of the vehicle 1 displayed at a position that is closer to the image of the vehicle again 1 has moved on. Only a small portion of the white line is thus present within an image of the imaging area that is in front of the vehicle 1 extends and the majority of the white line is in images of the left and right blind areas of the vehicle 1 , However, because past images, which are images of corresponding areas, are from a previous overhead photographic image according to FIG 5 (a) or 5 (b) When the images of the blind spot areas are displayed, the positions of the white lines on the display screen can be cut out 11 be determined.

Das Bild des sich bewegenden Gegenstands wird gemäß 5(c) ebenfalls auf dem Anzeigeschirm 11 dargestellt. Wie sich aus einem Vergleich des Bilds des sich bewegenden Gegenstands mit der weißen Linie ergibt, ist die Position des Bilds des sich bewegenden Gegenstands in 5(c) nicht gegenüber der Position des Bilds des sich bewegenden Gegenstands in 5(b) verschoben. Dies deshalb, als das Bild des sich bewegenden Gegenstands ein Vergangenheitsbild ist, welches aus dem fotografischen Überkopfsichtbild von 5(b) ausgeschnitten worden ist und somit bezüglich des Zeitpunkts, zu dem das Bild in 5(c) dargestellt wird, ein vergangenes Bild ist.The image of the moving object is according to 5 (c) also on the display screen 11 shown. As can be seen from a comparison of the image of the moving object with the white line, the position of the image of the moving object is in 5 (c) not to the position of the image of the moving object in 5 (b) postponed. This is because the image of the moving object is a picture of the past taken from the photographic overhead view of 5 (b) has been cut out and thus with regard to the time at which the image in 5 (c) is represented, is a past picture.

In der Realität kann davon ausgegangen werden, dass der sich bewegende Gegenstand über die Zeit hinweg weiter gegenüber der Anzeige des Bilds von 5(b) bewegt hat. Unter der Annahme, dass die Bewegungsrichtung und die Bewegungsgeschwindigkeit des sich bewegenden Gegenstandes unverändert bleiben, würde der sich bewegende Gegenstand an einer Position vorhanden sein, welche in der Zeichnung mit dem gestrichelten weißen Kreis angegeben ist. In diesem Fall geht der Fahrer fehlerhafterweise davon aus, dass die Position des sich bewegenden Gegenstand näher als die tatsächliche Position ist.In reality, it can be assumed that over time the moving object continues to be opposite the display of the image of 5 (b) has moved. Assuming that the moving direction and the moving speed of the moving object remain unchanged, the moving object would be present at a position indicated by the dashed white circle in the drawing. In this case, the driver erroneously assumes that the position of the moving object is closer than the actual position.

5(d) zeigt ein Überkopfsichtbild des Umgebung des Fahrzeugs 1, welches auf dem Anzeigeschirm 11 angezeigt wird, wenn sich das Fahrzeug 1 gegenüber dem Zustand 5(c) wieder ein Stück weiter bewegt hat. Wie dargestellt zeigt das Bild von 5(d) alle weißen Linien unter Verwendung der Vergangenheitsbilder. 5 (d) shows an overhead view of the environment of the vehicle 1 which is on the display screen 11 is displayed when the vehicle 1 opposite the state 5 (c) moved a bit further. As shown, the picture shows 5 (d) all white lines using the past images.

Der sich bewegende Gegenstand ist ebenfalls im Bild von 5(d) gezeigt. Da jedoch der sich bewegende Gegenstand mithilfe des Vergangenheitsbilds gezeigt wird, ist die Lage des Bilds des sich bewegenden Gegenstands gegenüber den weißen Linien im Vergleich zur Position im Bild von 5(b) unverändert. Unter der Annahme, dass die Bewegungsrichtung und die Bewegungsgeschwindigkeit des sich bewegenden Gegenstandes unverändert verbleiben, würde jedoch der sich bewegende Gegenstand tatsächlich an einer Position vorhanden sein, welche mit dem gestrichelten weißen Kreis in der Zeichnung dargestellt ist.The moving object is also in the picture of 5 (d) shown. However, since the moving object is shown by the past image, the position of the image of the moving object against the white lines is compared to the position in the image of 5 (b) unchanged. However, assuming that the moving direction and the moving speed of the moving object remain unchanged, the moving object would actually be present at a position indicated by the dashed white circle in the drawing.

Wenn der sich bewegende Gegenstand ein Fußgänger ist, können Bewegungsrichtung und Bewegungsgeschwindigkeit des sich bewegenden Gegenstandes nicht konstant bleiben. Es ist damit schwierig, die tatsächliche Position des sich bewegenden Gegenstands abzuschätzen.If the moving object is a pedestrian, the direction of movement and the speed of movement of the moving object can not remain constant. It is thus difficult to estimate the actual position of the moving object.

Wenn ein Vergangenheitsbild verwendet wird, ein Bild eines Totwinkelbereichs im Umgebungsbereich um das Fahrzeug 1 herum anzuzeigen, kann, wenn der sich bewegende Gegenstand in dem Totwinkelbereich eintritt, die korrekte Position des sich bewegenden Gegenstandes nicht gezeigt werden. Dies kann beim Fahrer des Fahrzeugs 1 zu Fehlinterpretationen führen. Um ein Bild der Umgebung um das Fahrzeug 1 herum unter Verwendung von Vergangenheitsbildern anzuzeigen, ohne dass der Fahrer Fehlinterpretationen unterliegt, wenn ein sich bewegender Gegenstand vorliegt, führt die Bildanzeigevorrichtung 100 der vorliegenden Ausführungsform den nachfolgend beschriebenen Bildanzeigeprozess durch. When a past image is used, an image of a blind spot area in the surrounding area around the vehicle 1 When the moving object enters the blind spot area, the correct position of the moving object can not be shown. This can be done by the driver of the vehicle 1 lead to misinterpretations. To get a picture of the environment around the vehicle 1 display using past images without the driver being subject to misinterpretation when there is a moving object, the image display device performs 100 of the present embodiment, the image display process described below.

C. Bildanzeigeprozess bei der AusführungsformC. Image display process in the embodiment

Die 6 und 7 sind Flussdiagramme einer Bildanzeigeverarbeitung, welche von der Bildanzeigevorrichtung 100 der vorliegenden Ausführungsform durchgeführt wird.The 6 and 7 FIG. 10 are flowcharts of an image display processing performed by the image display device 100 of the present embodiment.

Es sei festzuhalten, dass das Flussdiagramm oder die Verarbeitung des Flussdiagramms gemäß der vorliegenden Erfindung Abschnitte (auch als Schritte bezeichnet) umfasst, welche jeweils mit beispielsweise S100 bezeichnet sind. Jeder Abschnitt kann in mehrere Unterabschnitte unterteilt werden, wohingegen mehrere Abschnitte auch zu einem einzelnen Abschnitt kombiniert werden können. Weiterhin kann jeder der so gebildeten Abschnitte auch als eine Vorrichtung, ein Modul oder ein Mittel bezeichnet werden. Jede oder eine beliebige Kombination von Abschnitten gemäß obige Erläuterung kann umgesetzt werden als (i) Softwareabschnitt in Kombination mit einer Hardwareeinheit (z. B. einem Computer) oder (ii) als Hardwareabschnitt mit oder ohne der Funktion einer zugehörigen Vorrichtung; weiterhin kann der Hardwareabschnitt (z. B. eine integrierte Schaltung, eine verdrahtete Logikschaltung) im Inneren eines Mikrocomputers aufgebaut sein.It should be noted that the flowchart or the processing of the flowchart according to the present invention includes portions (also referred to as steps) each designated by, for example, S100. Each section can be divided into several subsections, whereas several sections can also be combined into a single section. Furthermore, each of the sections thus formed may also be referred to as a device, module or means. Any or any combination of sections as discussed above may be implemented as (i) software portion in combination with a hardware device (eg, a computer) or (ii) as a hardware portion with or without the function of an associated device; Furthermore, the hardware portion (eg, an integrated circuit, a wired logic circuit) may be constructed inside a microcomputer.

Wie dargestellt werden, wenn die Bildanzeigeverarbeitung beginnt, zunächst fotografische Bilder von Bereichen vorderhalb und hinterhalb des Fahrzeugs 1 von den bordseitigen Kameras 10F und 10R erhalten (S100). Die von den bordseitigen Kameras 10F und 10R erhaltenen fotografischen Bilder werden einer Sichtlinienumwandlung unterworfen, um fotografische Überkopfsichtbilder der Abbildungsbereiche zu erzeugen, die sich vorderhalb und hinterhalb des Fahrzeugs 1 erstrecken (S101).As illustrated, when the image display processing starts, first, photographic images of areas in front of and behind the vehicle are taken 1 from the on-board cameras 10F and 10R received (S100). The ones from the onboard cameras 10F and 10R The photographic images obtained are subjected to line-of-sight conversion to produce overhead photographic images of the image areas located forward and rearward of the vehicle 1 extend (S101).

Danach wird ein sich bewegender Gegenstand in dem fotografischen Überkopfsichtbildern der Bereiche erkannt, die sich vorderhalb und hinterhalb des Fahrzeugs 1 erstrecken (S102). Zur Erkennung des sich bewegenden Gegenstandes kann irgendein bekanntes Verfahren verwendet werden. Es wird bestimmt (S103), ob der sich bewegende Gegenstand erkannt worden ist. Wenn kein sich bewegender Gegenstand erkannt worden ist (S103: NEIN) werden die fotografischen Überkopfsichtbilder der vorderen und hinteren Umgebungsbereiche in Speichern gespeichert, sodass der Aufnahmezeitpunkt identifiziert werden kann (beispielsweise zusammen mit einer Zeitmarkierung) (S104). Wenn im Gegensatz hierzu ein sich bewegender Gegenstand erkannt worden ist (S103: JA) werden die fotografischen Überkopfsichtbilder und die Lage des sich bewegenden Gegenstandes in jedem der fotografischen Überkopfsichtbilder in den Speichern gespeichert, sodass der Abbildungszeitpunkt identifiziert werden kann (S105).Thereafter, a moving object is detected in the overhead photographic images of the areas located forward and rearward of the vehicle 1 extend (S102). Any known method may be used to detect the moving object. It is determined (S103) whether the moving object has been recognized. If no moving object has been detected (S103: NO), the overhead photographic images of the front and rear surrounding areas are stored in memories, so that the recording timing can be identified (for example, along with a time marker) (S104). In contrast, when a moving object has been detected (S103: YES), the overhead photographic images and the position of the moving object in each of the overhead photographic images are stored in the memories so that the imaging timing can be identified (S105).

Es sei beispielsweise angenommen, dass sich der bewegende Gegenstand in dem fotografischen Überkopfsichtbild des vorderen Umgebungsbereichs erkannt wird, jedoch nicht in dem fotografischen Überkopfsichtbild des hinteren Umgebungsbereichs. In diesem Fall wird das fotografische Überkopfsichtbild des vorderen Umgebungsbereichs zusammen mit der Position des sich bewegenden Gegenstands gespeichert (S105) wohingegen das fotografische Überkopfsichtbild des hinteren Umgebungsbereichs für sich alleine gespeichert wird (S104).For example, assume that the moving object is recognized in the photographic overhead image of the front surrounding area, but not in the rear-periphery photographic overhead view. In this case, the photographing overhead view image of the front surrounding area is stored together with the position of the moving object (S105), whereas the photographing overhead view image of the back surrounding area is stored by itself (S104).

Danach werden die fotografischen Überkopfsichtbilder der vorderen und hinteren Umgebungsbereiche in Rahmenspeicher geschrieben, welche in den Bildern der Abbildungsbereiche der bordseitigen Kameras 10F und 10R auf dem Anzeigeschirm 11 entsprechend zugeordnet sind (S106). Hierbei ist ein Rahmenspeicher ein Speicherbereich, der verwendet wird, ein Bild auf dem Anzeigeschirm 11 anzuzeigen. Ein auf dem Anzeigeschirm darzustellendes Bild wird im Rahmenspeicher erzeugt. Wenn das Bild im Rahmenspeicher vollständig ist, werden die Daten aus dem Rahmenspeicher als Videosignal ausgegeben. Schließlich wird das Bild auf dem Anzeigeschirm 11 angezeigt.Thereafter, the overhead photographic overhead images of the front and rear surrounding areas are written in frame memories included in the images of the imaging areas of the on-board cameras 10F and 10R on the display screen 11 are assigned accordingly (S106). Here, a frame memory is a memory area that is used to display an image on the display screen 11 display. An image to be displayed on the display screen is generated in the frame memory. When the image in the frame memory is complete, the data is output from the frame memory as a video signal. Finally, the picture is on the display screen 11 displayed.

Adressen im Rahmenspeicher sind Pixeln auf dem Anzeigeschirm 11 zugeordnet. Bei S106 wird das fotografische Überkopfsichtbild des vorderen Umgebungsbereichs als Adressen im Rahmenspeicher geschrieben, welche dem Bild auf dem Abbildungsbereich der bordseitigen Kamera 10F auf dem Anzeigeschirm 11 zugeordnet sind. Das fotografische Überkopfsichtbild des hinteren Umgebungsbereichs wird auf Adressen im Rahmenspeicher geschrieben, welche dem Bild des Abbildungsbereichs der bordseitigen Kamera 10R zugeordnet sind.Addresses in the frame memory are pixels on the display screen 11 assigned. At S106, the photographing overhead view image of the front surrounding area is written as addresses in the frame memory corresponding to the image on the imaging area of the on-board camera 10F on the display screen 11 assigned. The rear-side photographic overhead image is written to addresses in the frame memory corresponding to the image of the on-board camera imaging area 10R assigned.

Danach ermittelt die Bildanzeigevorrichtung 100 Bewegungsinformationen (auch als Bewegungsdaten zu bezeichnen) des Fahrzeugs 1 (S107). Die Bewegungsinformationen des Fahrzeugs 1 umfassen Informationen (oder Daten), welche vom Lenkwinkelsensor 12, vom Fahrzeuggeschwindigkeitssensor 13 und vom Schaltpositionssensor 14 erhalten werden.Thereafter, the image display device detects 100 Motion information (also referred to as movement data) of the vehicle 1 (S107). The movement information of the vehicle 1 include information (or data) provided by the Steering angle sensor 12 , from the vehicle speed sensor 13 and from the shift position sensor 14 to be obtained.

Ob sich das Fahrzeug 1 bewegt, wird auf der Grundlage der erlangten Bewegungsinformationen bestimmt (S108 in 7). Wenn sich das Fahrzeug 1 bewegt (S108: JA), wird bestimmt (S109), ob sich das Fahrzeug 1 vorwärts bewegt. Wenn sich das Fahrzeug 1 vorwärts bewegt (S109: JA) werden Bilder (Vergangenheitsbilder), welche Totwinkelbereiche des Fahrzeugs 1 zeigen, aus einem vorherigen fotografischen Überkopfsichtbild ausgeschnitten, welches vor einem Bild des Fahrzeugs 1 dargestellt wird (S110).Whether the vehicle 1 is determined on the basis of the acquired movement information (S108 in FIG 7 ). When the vehicle 1 is moved (S108: YES), it is determined (S109) whether the vehicle is moving 1 moved forward. When the vehicle 1 Moving forward (S109: YES), images (past images) which are blind spot areas of the vehicle 1 from a previous overhead photographic overhead image, which precedes an image of the vehicle 1 is displayed (S110).

Wenn das Fahrzeug 1 rückwärts fährt (S109: NEIN), werden Bilder (Vergangenheitsbilder), welche die Totwinkelbereiche des Fahrzeugs 1 zeigen, aus einem vorherigen fotografischen Überkopfsichtbild ausgeschnitten, welches hinterhalb des Bilds des Fahrzeugs 1 angezeigt wurde (S111). Da die Bewegungsinformation des Fahrzeugs 1 bereits bei S107 ermittelt worden ist, können Bilder, welche Bereichen entsprechend dem momentanen Totwinkelbereiche des Fahrzeugs 1 entsprechen, in einem vorherigen fotografischen Überkopfsichtbild bestimmt werden.If the vehicle 1 reversing (S109: NO), images (past images) which are the blind spot areas of the vehicle 1 show, cut from a previous overhead photographic overhead image, which is behind the image of the vehicle 1 was displayed (S111). Because the motion information of the vehicle 1 has already been determined at S107, images, which areas corresponding to the current blind spot areas of the vehicle 1 be determined in a previous overhead photographic image.

Danach wird bestimmt (S112), ob ein sich bewegender Gegenstand in jedem der ausgeschnittenen Vergangenheitsbilder gezeigt ist. Wie erwähnt, wird in der Bildanzeigeverarbeitung der vorliegenden Ausführungsform bei der Speicherung eines fotografischen Überkopfsichtbilds bestimmt (S103 in 6), ob ein sich bewegender Gegenstand in dem fotografischen Überkopfsichtbild gezeigt ist. Wenn ein sich bewegender Gegenstand gezeigt ist, wird die Position des sich bewegenden Gegenstands ebenfalls gespeichert (S105). Daher kann problemlos bestimmt werden, ob der sich bewegende Gegenstand in dem Vergangenheitsbild gezeigt ist, welches aus dem fotografischen Überkopfsichtbild ausgeschnitten wurde.Thereafter, it is determined (S112) whether a moving object is shown in each of the cut-out past images. As mentioned, in the image display processing of the present embodiment, when storing a photographic overhead view image, it is determined (S103 in FIG 6 ), whether a moving object is shown in the photographic overhead view picture. When a moving object is shown, the position of the moving object is also stored (S105). Therefore, it can be easily determined whether the moving object is shown in the past image cut out of the photographic overhead view image.

Wenn der sich bewegende Gegenstand im Vergangenheitsbild gezeigt ist (S112 in 7: JA), wird ein Anzeigemodus für ein Bild des sich bewegenden Gegenstands in Vergangenheitsbild in einen speziellen Modus umgeschaltet, der unterschiedlich zu einem normalen Modus ist (S113). Beispielsweise kann die Farbe des Bilds des sich bewegenden Gegenstands im Vergangenheitsbild geändert werden (z. B. in Rot geändert werden) und das Bild kann dann angezeigt werden. Das Bild des sich bewegenden Gegenstands kann mit einem roten oder weißen Rahmen eingefasst werden und dann angezeigt werden. Das Bild des bewegenden Gegenstands kann durch ein vorab gespeichertes grafisches Bild ersetzt werden und das grafische Bild kann dann angezeigt werden. Wenn der sich bewegende Gegenstand nicht in Vergangenheitsbild gezeigt ist (S112: NEIN), wird der Anzeigemodus für das Bild des sich bewegenden Gegenstandes nicht geändert.When the moving object is shown in the past image (S112 in FIG 7 : YES), a display mode for an image of the moving object in the past image is switched to a special mode different from a normal mode (S113). For example, the color of the image of the moving object in the past image may be changed (eg, changed to red) and the image may then be displayed. The image of the moving object can be framed with a red or white frame and then displayed. The image of the moving object may be replaced with a pre-stored graphic image and the graphic image may then be displayed. If the moving object is not shown in the past image (S112: NO), the display mode for the image of the moving object is not changed.

Das so erhaltene so erhaltene Vergangenheitsbild wird in den Rahmenspeicher beschrieben, der einem Bild des Totwinkelbereichs einer jeden bordseitigen Kamera 10F und 10R auf dem Anzeigeschirm 11 zugeordnet ist (S114). Wenn der sich bewegende Gegenstand im Vergangenheitsbild gezeigt ist, wird das Vergangenheitsbild geschrieben, welches in den speziellen Modus umgeändert worden ist.The resulting past image thus obtained is described in the frame memory which is an image of the blind spot area of each on-board camera 10F and 10R on the display screen 11 is assigned (S114). When the moving object is shown in the past picture, the past picture which has been changed to the special mode is written.

Da die fotografischen Überkopfsichtbilder der vorderen und hinteren Umgebungsbereiche um das Fahrzeug 1 herum bereits in den Rahmenspeicher bei S106 in 6 geschrieben worden sind, sind, wenn die Vergangenheitsbilder geschrieben werden, die auf dem Anzeigeschirm 11 anzuzeigenden Bilder in den Rahmenspeichern vollständig.Because the photographic overhead images of the front and rear surrounding areas around the vehicle 1 already in the frame store at S106 in 6 are written when the past images are written on the display screen 11 images to be displayed in the frame memories completely.

Die Bildanzeigevorrichtung 100 gibt die Bilder in den Rahmenspeichern an den Anzeigeschirm 11 aus (S115). Ein Überkopfsichtbild, welches den Umgebungsbereich um das Fahrzeug 1 herum zeigt, als ob der Umgebungsbereich von oberhalb des Fahrzeugs 1 gesehen wird, wird auf dem Anzeigeschirm 11 dargestellt.The image display device 100 gives the pictures in the frame memories to the display screen 11 off (S115). An overhead view image showing the surrounding area around the vehicle 1 around shows as if the surrounding area from above the vehicle 1 is seen on the display screen 11 shown.

Eine Prozessabfolge (S109 bis S114) wird beschrieben, welche durchgeführt wird, um Vergangenheitsbilder in die Rahmenspeicher zu schreiben, welche Bildern von Totwinkelbereichen auf dem Anzeigeschirm 11 zugeordnet sind, wenn bestimmt wurde, dass sich das Fahrzeug 1 bewegt (S108: JA).A process sequence (S109 to S114) is described which is performed to write past images to the frame memories which contain images of blind spot areas on the display screen 11 are assigned, if it was determined that the vehicle 1 moves (S108: YES).

Wenn im Gegensatz hierzu eine Entscheidung gemacht wird, dass das Fahrzeug 1 steht (S108: NEIN), wird die Verarbeitungsabfolge (S109 bis S114) zum Schreiben von Vergangenheitsbildern nicht durchgeführt, sondern Bilder der Rahmenspeicher werden an den Anzeigeschirm 11 ausgegeben (S115). Ein Bild, in welchem fotografischen Überkopfsichtbilder, die ein Bild von vorderhalb und hinterhalb des Fahrzeugs 1 anzeigen, aktualisiert werden, wird damit auf dem Anzeigeschirm 11 angezeigt. Wenn die Vergangenheitsbilder, welche vorher in die Rahmenspeicher geschrieben worden sind, intakt bleiben, werden die Vergangenheitsbilder als Bilder der Totwinkelbereiche auf dem Anzeigeschirm 11 angezeigt.In contrast, if a decision is made that the vehicle 1 If (S108: NO), the processing sequence (S109 to S114) for writing past images is not performed, but images of the frame memories are applied to the display screen 11 is output (S115). An image in which photographic overhead images depict a picture of front and back of the vehicle 1 display, be updated, it will appear on the display screen 11 displayed. If the past images previously written in the frame memories remain intact, the past images become images of the blind spot areas on the display screen 11 displayed.

Während einer bestimmten Zeitdauer, nachdem das Fahrzeug 1 angehalten hat, werden die Vergangenheitsbilder, welche in den Rahmenspeichern verblieben sind, als die Bilder der Totwinkelbereiche auf dem Anzeigeschirm 11 angezeigt. Wenn die bestimmte Zeitdauer verstrichen ist, können die Vergangenheitsbilder in den Rahmenspeichern gelöscht werden, sodass kein Vergangenheitsbild auf dem Anzeigeschirm 11 mehr angezeigt werden kann.During a certain period of time after the vehicle 1 has stopped, the past images which have remained in the frame memories become the images of the blind spot areas on the display screen 11 displayed. When the specified time has elapsed, the past images in the frame memories can be erased so there is no past image on the display screen 11 more can be displayed.

Wie erwähnt, wird, nachdem die Bilder in den Rahmenspeichern auf dem Anzeigeschirm 11 angezeigt worden sind (S115), bestimmt (S116), ob die Anzeige eines Überkopfsichtbilds eines Umgebungsbereichs um das Fahrzeug 1 herum beendet ist. Wenn die Anzeige nicht beendet ist (S116: NEIN), kehrt der Ablauf zum Beginn zurück. Fotografische Bilder von den bordseitigen Kameras 10F und 10R werden erneut ermittelt (S100 in 6). Danach wird die voranstehende Verarbeitungsabfolge wieder durchgeführt. Wenn im Gegensatz bestimmt wird, dass die Anzeige zu beenden ist (S116 in 7: JA), wird die Bildanzeigeverarbeitung der vorliegenden Ausführungsform beendet.As mentioned, after the images in the frame memories on the display screen 11 has been displayed (S115), determines (S116) whether the display of an overhead view image of a surrounding area around the vehicle 1 around is over. If the display is not completed (S116: NO), the process returns to the beginning. Photographic pictures of the on-board cameras 10F and 10R are determined again (S100 in 6 ). Thereafter, the above processing sequence is performed again. On the contrary, when it is determined that the display is to be ended (S116 in FIG 7 : YES), the image display processing of the present embodiment is ended.

8 zeigt Überkopfsichtbilder zur Anzeige auf dem Anzeigeschirm 11, erhalten durch die obige Bildanzeigeverarbeitung der vorliegenden Ausführungsform. Aus Gründen der Einfachheit sind in 8 ähnlich zur 5 zwei weiße Linien parallel zur Fahrtrichtung des Fahrzeugs 1 und eine weiße Linie senkrecht zu den beiden weißen Linien auf einem Bild der Bodenfläche angenommen, die sich vorderhalb des Fahrzeugs 1 erstreckt. Ein sich bewegender Gegenstand soll sich auf gleiche Weise wie derjenige in 5 bewegen. In 5 sind Vergangenheitsbilder schraffiert. In 8 sind jedoch die Vergangenheitsbilder nicht schraffiert, um die zeichnerische Darstellung nicht unübersichtlich zu machen. 8th shows overhead view images for display on the display screen 11 obtained by the above image display processing of the present embodiment. For the sake of simplicity are in 8th similar to 5 two white lines parallel to the direction of travel of the vehicle 1 and a white line perpendicular to the two white lines on an image of the floor area assumed, located in front of the vehicle 1 extends. A moving object should be in the same way as the one in 5 move. In 5 are past images hatched. In 8th However, the images of the past are not hatched in order not to obscure the graphic representation.

Wie es sich aus dem Vergleich von 8(a) mit 5(a) oder von 8(b) mit 5(b) ergibt, ist, wenn sich ein bewegender Gegenstand innerhalb des Abbildungsbereichs der bordseitigen Kamera 10F vorhanden ist, ein Überkopfsichtbild zur Anzeige mittels der Bildanzeigeverarbeitung der vorliegenden Ausführungsform identisch zu einem existierenden Überkopfsichtbild.As can be seen from the comparison of 8 (a) With 5 (a) or from 8 (b) With 5 (b) is when a moving object is within the imaging range of the on-board camera 10F is present, an overhead view image for display by means of the image display processing of the present embodiment, identical to an existing overhead view image.

Wenn gemäß 8(c) der sich bewegende Gegenstand in einen Totwinkelbereich eintritt und ein Bild des sich bewegenden Gegenstands mittels eines Vergangenheitsbilds angezeigt wird, wird das Bild des sich bewegenden Gegenstands bei der vorliegenden Ausführungsform in einem anderen Modus als einem normalen Modus angezeigt. Im dargestellten Beispiel wird das Bild des sich bewegenden Gegenstands in einer Farbe angezeigt, die unterschiedlich zu der normalerweise verwendeten Farbe ist, beispielsweise in Rot oder Gelb. Daher wird die Aufmerksamkeit eines Fahrers erweckt und er überprüft die Umgebung des Fahrzeugs 1, um den sich bewegenden Gegenstand direkt zu sehen. Folglich kann der Fahrer die korrekte Position des sich bewegenden Gegenstands feststellen.If according to 8 (c) When the moving object enters a blind spot area and an image of the moving subject is displayed by means of a past image, the image of the moving subject is displayed in a mode other than a normal mode in the present embodiment. In the example shown, the image of the moving object is displayed in a color different from the color normally used, for example in red or yellow. Therefore, the attention of a driver is awakened and he checks the surroundings of the vehicle 1 to see the moving object directly. Consequently, the driver can determine the correct position of the moving object.

Auf ähnliche Weise ist in 8(d) die Darstellung des Bilds des sich bewegenden Gegenstands auf dem Anzeigeschirm 11 unterschiedlich zu einer normalen Darstellung. Der Fahrer versucht, den sich bewegenden Gegenstand dadurch zu überprüfen, dass er direkt auf den sich bewegenden Gegenstand blickt und der Fahrer identifiziert die korrekte Position des sich bewegenden Gegenstands. Obgleich somit das Bild des sich bewegenden Gegenstands nicht in einer korrekten Position auf dem Anzeigeschirm 11 dargestellt wird, wird der Fahrer davor geschützt, die Position des sich bewegenden Gegenstands falsch einzuschätzen.Similarly, in 8 (d) the representation of the image of the moving object on the display screen 11 different from a normal representation. The driver attempts to check the moving object by looking directly at the moving object and the driver identifies the correct position of the moving object. Thus, although the image of the moving object is not in a correct position on the display screen 11 is displayed, the driver is protected from misjudging the position of the moving object.

In dem Beispiel von 8 wird, wenn ein sich bewegender Gegenstand in einem Vergangenheitsbild gezeigt wird, ein Bild des sich bewegenden Gegenstands alleine in einem unterschiedlichen Modus gegenüber einem normalen Modus angezeigt. So lange das Bild des sich bewegenden Gegenstands im Vergangenheitsbild in einem unterschiedlichen Modus zum normalen Modus angezeigt werden kann, ist dies hilfreich. Wenn beispielsweise der sich bewegende Gegenstand im Vergangenheitsbild gezeigt wird, kann das gesamte Vergangenheitsbild in einem unterschiedlichen Modus gegenüber einem normalen Modus angezeigt werden.In the example of 8th For example, when a moving object is displayed in a past image, an image of the moving object alone is displayed in a different mode from a normal mode. As long as the image of the moving object in the past image can be displayed in a different mode to the normal mode, this is helpful. For example, when the moving object is shown in the past image, the entire past image can be displayed in a different mode from a normal mode.

9 zeigt eine Abwandlung, bei der ein Vergangenheitsbild in dem voranstehenden Modus angezeigt wird. In 9(a) und 9(b) wird ein sich bewegender Gegenstand in einem fotografischen Überkopfsichtbild gezeigt, wird jedoch nicht in Vergangenheitsbildern der linken und rechten Umgebungsbereiche in den linken und rechten Richtungen des Fahrzeugs 1 gezeigt. Damit sind die Vergangenheitsbilder linkerhand und rechterhand ähnlich zu dem fotografischen Überkopfsichtbild in einem Anzeigemodus, der identisch zu einem normalen ist. 9 shows a modification in which a past image is displayed in the above mode. In 9 (a) and 9 (b) For example, when a moving subject is shown in a photographic overhead view image, it does not become past images of the left and right surrounding areas in the left and right directions of the vehicle 1 shown. Thus, the past images are left-hand and right-hand similar to the photographic overhead view image in a display mode identical to a normal one.

In 9(c) und Fig. (d) wird der sich bewegende Gegenstand in dem Vergangenheitsbild am rechten Umgebungsbereich des Fahrzeugs 1 gezeigt. Das Vergangenheitsbild am rechten Umgebungsbereich des Fahrzeugs 1 wird in einem unterschiedlichen Modus zum normalen Modus angezeigt, beispielsweise in einem rötlichen oder gelblichen Farbton. Das Vergangenheitsbild am linken Umgebungsbereich des Fahrzeugs 1 wird in einem normalen Modus angezeigt, da hier kein Bild eines sich bewegenden Gegenstands vorliegt.In 9 (c) and Fig. (d) becomes the moving object in the past image at the right surrounding area of the vehicle 1 shown. The past picture on the right surrounding area of the vehicle 1 is displayed in a different mode to the normal mode, for example, in a reddish or yellowish hue. The past picture on the left surrounding area of the vehicle 1 is displayed in a normal mode because there is no image of a moving object.

Somit wird das Vergangenheitsbild am rechten Umgebungsbereich des Fahrzeugs 1 auf dem Anzeigeschirm 11 in einem anderen Modus als dem normalen angezeigt. Ein Fahrer wird hierauf aufmerksam und überprüft den Bereich der rechten Umgebung um das Fahrzeug 1 durch direktes Blicken in diesen Bereich. Im Ergebnis kann der Fahrer die korrekte Position des sich bewegenden Gegenstands feststellen.Thus, the past image becomes at the right surrounding area of the vehicle 1 on the display screen 11 displayed in a mode other than normal. A driver becomes aware of this and checks the area of the right environment around the vehicle 1 by looking directly into this area. As a result, the driver can determine the correct position of the moving object.

In 9 wird ein Vergangenheitsbild, das einen Bereich entweder am linken Umgebungsbereich oder am rechten Umgebungsbereich um das Fahrzeug 1 herum darstellt und wo sich ein bewegender Gegenstand vorhanden ist, in einem unterschiedlichen Modus gegenüber einem normalen Modus angezeigt. Wenn daher beispielsweise gemäß 9 ein Vergangenheitsbild als ein reiner Teil eines Bilds eines Totwinkelbereichs entweder am linken Umgebungsbereich oder am rechten Umgebungsbereich um das Fahrzeug 1 herum angezeigt wird, wird das Vergangenheitsbild alleine in dem unterschiedlichen Modus gegenüber dem normalen angezeigt.In 9 becomes a past image covering an area either at the left surrounding area or at the right surrounding area around the vehicle 1 around and where a moving object exists is displayed in a different mode from a normal mode. Therefore, if, for example, according to 9 a past image as a pure part of an image of a blind spot area either at the left surrounding area or at the right surrounding area around the vehicle 1 is displayed around, the past picture is displayed alone in the different mode from the normal one.

Jedoch kann das gesamte Bild des Totwinkelbereichs entweder am linken Umgebungsbereich oder am rechten Umgebungsbereich, wo ein sich bewegender Gegenstand vorhanden ist, in einem unterschiedlichen Modus gegenüber dem normalen angezeigt werden. Auch in diesem Fall wird ein Vergangenheitsbild, welches den Totwinkelbereich entweder am linken Umgebungsbereich oder am rechten Umgebungsbereich, wo der sich bewegende Gegenstand vorhanden ist, in einem Modus angezeigt, der unterschiedlich gegenüber dem normalen ist. Weiterhin wird das Bild des sich bewegenden Gegenstands selbst in dem Modus unterschiedlich zum normalen angezeigt. Im Ergebnis versucht ein Fahrer den sich bewegenden Gegenstand durch direktes Blicken hierauf zu überprüfen und kann damit die korrekte Position des sich bewegenden Gegenstands feststellen.However, the entire image of the blind spot area may be displayed in a different mode from the normal at either the left surrounding area or the right surrounding area where a moving object exists. Also in this case, a past image showing the blind spot area on either the left surrounding area or the right surrounding area where the moving object is present is displayed in a mode different from the normal one. Further, the image of the moving object is displayed even in the mode different from the normal one. As a result, a driver tries to check the moving object by directly looking at it, and thus can determine the correct position of the moving object.

Obgleich die vorliegende Erfindung unter Bezugnahme auf Ausführungsformen hiervon beschrieben wurde, versteht sich, dass die Erfindung nicht auf die Ausführungsformen und Ausgestaltungen beschränkt ist. Die vorliegende Erfindung soll verschiedene Abwandlungen und äquivalente Anordnungen mit abdecken. Weiterhin sind, obgleich verschiedene Kombinationen und Konfigurationen gezeigt sind, andere Kombinationen und Konfigurationen einschließlich mehr, weniger oder nur einem einzelnen Element ebenfalls im Rahmen und Umfang der vorliegenden Erfindung enthalten.Although the present invention has been described with reference to embodiments thereof, it is to be understood that the invention is not limited to the embodiments and embodiments. The present invention is intended to cover various modifications and equivalent arrangements. Furthermore, while various combinations and configurations are shown, other combinations and configurations including more, less, or only a single element are also included within the scope of the present invention.

Claims (4)

Fahrzeugumgebungsbildanzeigevorrichtung, welche auf einem Anzeigeschirm (11) ein Bild anzeigt, welches durch Aufnahme einer Umgebung um ein Fahrzeug (1) herum unter Verwendung einer bordseitigen Kamera (10F, 10R) erzeugt wurde, aufweisend: einen Erzeugungsabschnitt (102) für ein fotografisches Überkopfsichtbild, welcher ein fotografisches Überkopfsichtbild erzeugt, in dem eine Sichtlinienumwandlung an einem fotografischen Bild durchgeführt wird, das von der bordseitigen Kamera erzeugt wurde, wobei die Sichtlinienumwandlung ein von der bordseitigen Kamera erzeugtes Bild des Umgebungsbereichs in ein Bild umwandelt, welches den Umgebungsbereich von oberhalb des Fahrzeugs her abgebildet zeigt; einen Erkennungsabschnitt (103) für einen sich bewegenden Gegenstand, welcher einen sich bewegenden Gegenstand unter Verwendung entweder des fotografischen Überkopfsichtbilds oder des fotografischen Bilds erkennt; einen Speicherabschnitt (104) für ein fotografisches Überkopfsichtbild, der das fotografische Überkopfsichtbild speichert und ebenfalls eine Position des sich bewegenden Gegenstands in dem fotografischen Überkopfsichtbild speichert, wenn der sich bewegende Gegenstand in dem fotografischen Überkopfsichtbild gezeigt ist; einen Anzeigeabschnitt (106) für ein fotografisches Überkopfsichtbild, der das fotografische Überkopfsichtbild an einer Position auf dem Anzeigeschirm anzeigt, welche dem von der bordseitigen Kamera abgebildeten Umgebungsbereich zugeordnet ist; einen Bewegungsinformationserkennungsabschnitt (105), der eine Bewegungsinformation einer Bewegungsgröße des Fahrzeugs ermittelt; und einen Vergangenheitsbildanzeigeabschnitt (106), welcher auf der Grundlage der Bewegungsinformation ein Vergangenheitsbild, welches ein Bild eines Totwinkelbereichs ist, der der tote Winkel der bordseitigen Kamera innerhalb des Umgebungsbereichs um das Fahrzeug herum ist, aus dem fotografischen Überkopfsichtbild ausschneidet, welches erzeugt und in dem Speicherabschnitt für das fotografische Überkopfsichtbild abgespeichert wird, bevor das Fahrzeug eine momentane Position erreicht, und das Vergangenheitsbild an einer Position auf dem Anzeigeschirm anzeigt, welche dem Totwinkelbereich zugeordnet ist, wobei, wenn der sich bewegende Gegenstand in dem Vergangenheitsbild gezeigt wird, der Vergangenheitsbildanzeigeabschnitt ein Bild des sich bewegenden Gegenstands in einem Anzeigemodus zeigt, der unterschiedlich zu einem Anzeigemodus ist, in welchem der Bildanzeigeabschnitt für das fotografische Überkopfsichtbild anzeigt.Vehicle environment image display device displayed on a display screen ( 11 ) displays an image obtained by recording an environment around a vehicle ( 1 ) using an on-board camera ( 10F . 10R ), comprising: a generation section ( 102 ) for an overhead photographic image which produces an overhead photographic image in which a line of sight conversion is performed on a photographic image generated by the onboard camera, wherein the line of sight conversion converts an image of the environmental region generated by the onboard camera into an image comprising the image Area of the environment shown above the vehicle; a recognition section ( 103 ) for a moving object that recognizes a moving object using either the overhead photographic image or the photographic image; a memory section ( 104 for a photographic overhead view image storing the overhead photographic image and also storing a position of the moving object in the overhead photographic image when the moving object is shown in the overhead photographic image; a display section ( 106 ) for a photographic overhead view image displaying the photographic overhead view image at a position on the display screen associated with the surrounding area imaged by the onboard camera; a motion information detecting section (FIG. 105 ), which determines a movement information of a movement amount of the vehicle; and a past image display section ( 106 ) which, on the basis of the motion information, extracts a past image which is an image of a blind spot area which is the on-board camera dead angle within the surrounding area around the vehicle from the overhead photographic image which is generated and stored in the overhead photographic image storage section is stored before the vehicle reaches a current position and displays the past image at a position on the display screen associated with the blind spot area, wherein when the moving object is displayed in the past image, the past image display section displays an image of the moving object in a display mode different from a display mode in which the image display section for the photographic overhead view image is displayed. Fahrzeugumgebungsbildanzeigevorrichtung nach Anspruch 1, wobei die bordseitige Kamera wenigstens entweder vorne im Fahrzeug oder im Heck des Fahrzeugs angeordnet ist.Vehicle environment image display device according to claim 1, wherein the on-board camera is arranged at least either in front of the vehicle or in the rear of the vehicle. Fahrzeugumgebungsbildanzeigevorrichtung nach Anspruch 2, wobei: der Vergangenheitsbildanzeigeabschnitt als das Anzeigebild ein linkes Vergangenheitsbild des Totwinkelbereichs an einem linken Umgebungsbereich um das Fahrzeug herum und ein rechtes Vergangenheitsbild des Totwinkelbereichs in einem rechten Umgebungsbereich um das Fahrzeug herum anzeigt; und wenn entweder das linke Vergangenheitsbild oder das rechte Vergangenheitsbild den sich bewegenden Gegenstand enthält, dieses in einem Anzeigemodus angezeigt wird, der unterschiedlich zu einem Anzeigemodus bei der Anzeige des anderen von linken Vergangenheitsbild und rechten Vergangenheitsbild ist, welches den sich bewegenden Gegenstand nicht enthält.The vehicle surroundings image display apparatus according to claim 2, wherein: the past image display section selects, as the display image, a left past image of the blind spot area at a left surrounding area around the vehicle and a right Displays the past image of the blind spot area in a right surrounding area around the vehicle; and when either the left history image or the right history image contains the moving object, it is displayed in a display mode that is different from a display mode in the display of the other of left past image and right past image that does not include the moving object. Fahrzeugumgebungsbildanzeigeverfahren, welches auf einem Anzeigeschirm (11) ein Bild anzeigt, welches unter Verwendung einer bordseitigen Kamera (10F, 10R) durch Abbilden eines Umgebungsbereichs um ein Fahrzeug (1) erzeugt wird, aufweisend: einen Erzeugungsschritt (S101) für ein fotografisches Überkopfsichtbild, der ein fotografisches Überkopfsichtbild erzeugt, in dem eine Sichtlinienumwandlung an einem fotografischen Bild durchgeführt wird, das von der bordseitigen Kamera erzeugt worden ist, wobei die Sichtlinienumwandlung ein Bild des Umgebungsbereichs, erzeugt von der bordseitigen Kamera in ein Bild umwandelt, welches den Umgebungsbereich von oberhalb des Fahrzeugs gesehen zeigt; einen Erkennungsschritt (S102) für einen sich bewegenden Gegenstand, der einen sich bewegenden Gegenstand unter Verwendung von entweder dem fotografischen Überkopfsichtbild oder dem fotografischen Bild erkennt; einen Speicherschritt (S104, S105) für ein fotografisches Überkopfsichtbild, der das fotografische Überkopfsichtbild speichert und ebenfalls eine Position des sich bewegenden Gegenstands in dem fotografischen Überkopfsichtbild speichern, wenn der sich bewegende Gegenstand in dem fotografischen Überkopfsichtbild dargestellt wird; einen Anzeigeschritt (S106) für ein fotografisches Überkopfsichtbild, der das fotografische Überkopfsichtbild an einer Position auf dem Anzeigeschirm anzeigt, welche dem von der bordseitigen Kamera abgebildeten Umgebungsbereich zugeordnet ist; einen Erlangungsschritt (S107) für eine Bewegungsinformation, der eine Bewegungsinformation einer Bewegungsgröße des Fahrzeugs erlangt; und einen Vergangenheitsbildanzeigeschritt (S110, S111, S113, S114), der auf der Grundlage der Bewegungsinformation ein Vergangenheitsbild, welches ein Bild eines Totwinkelbereichs ist, der ein Totwinkel der bordseitigen Kamera innerhalb des Umgebungsbereichs um das Fahrzeug herum ist, aus dem fotografischen Überkopfsichtbild ausschneidet, welches in dem Speicherschritt für das fotografische Überkopfsichtbild erzeugt und gespeichert wurde, bevor das Fahrzeug eine momentane Position erreicht, und das Vergangenheitsbild an einer Position auf dem Anzeigeschirm anzeigt, welche dem Totwinkelbereich zugeordnet ist, wobei, wenn der sich bewegende Gegenstand in dem Vergangenheitsbild gezeigt wird, der Vergangenheitsbildanzeigeschritt ein Bild des sich bewegenden Gegenstands in einem zweiten Anzeigemodus anzeigt, der sich von einem ersten Anzeigemodus unterscheidet, in welchem der Anzeigeabschnitt für das fotografische Überkopfsichtbild anzeigt.Vehicle environment image display method displayed on a display screen ( 11 ) displays an image using an on-board camera ( 10F . 10R ) by imaging an environment around a vehicle ( 1 ), comprising: an overhead photographic image forming step (S101) for producing a photographic overhead view image in which a line of sight conversion is performed on a photographic image formed by the onboard camera, the line of sight conversion forming an image of the surrounding area; generated by the onboard camera converts to an image showing the surrounding area seen from above the vehicle; a moving object detecting step (S102) that recognizes a moving object using either the overhead photographic image or the photographic image; a photographing overhead view image storing step (S104, S105) for storing the overhead photographic image and also storing a position of the moving object in the photographic overhead view image when the moving object is displayed in the overhead photographic image; an overhead photographic image display step (S106) for displaying the photographic overhead view image at a position on the display screen associated with the surrounding area imaged by the onboard camera; a motion information obtaining step (S107) that obtains motion information of a moving amount of the vehicle; and a past image display step (S110, S111, S113, S114) that extracts a past image, which is an image of a blind spot area that is a blind spot of the onboard camera within the surrounding area around the vehicle, from the overhead photographic image based on the motion information, which was generated and stored in the photographic overhead image storage step before the vehicle reaches a current position and displays the past image at a position on the display screen associated with the blind spot area, wherein when the moving object is displayed in the past image said past image display step displaying an image of the moving object in a second display mode different from a first display mode in which the overhead photographic image display section displays.
DE112015000763.6T 2014-02-12 2015-01-22 Vehicle environment image display device and vehicle environment image display method Withdrawn DE112015000763T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014024013A JP6375633B2 (en) 2014-02-12 2014-02-12 Vehicle periphery image display device and vehicle periphery image display method
JPJP2014024013 2014-02-12
PCT/JP2015/000279 WO2015122124A1 (en) 2014-02-12 2015-01-22 Vehicle periphery image display apparatus and vehicle periphery image display method

Publications (1)

Publication Number Publication Date
DE112015000763T5 true DE112015000763T5 (en) 2016-11-03

Family

ID=53799877

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112015000763.6T Withdrawn DE112015000763T5 (en) 2014-02-12 2015-01-22 Vehicle environment image display device and vehicle environment image display method

Country Status (4)

Country Link
JP (1) JP6375633B2 (en)
CN (1) CN106031166B (en)
DE (1) DE112015000763T5 (en)
WO (1) WO2015122124A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017130173A1 (en) * 2017-02-24 2018-08-30 Denso Ten Limited CHARGING DEVICE SUPPORT
DE102017130169A1 (en) * 2017-02-24 2018-08-30 Denso Ten Limited CHARGING DEVICE SUPPORT
JP6859216B2 (en) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 Vehicle peripheral display device
JP6741364B2 (en) 2017-08-03 2020-08-19 三菱電機株式会社 Vehicle peripheral image display device and vehicle peripheral image display method
JP7203205B2 (en) * 2019-04-18 2023-01-12 三菱電機株式会社 Vehicle Periphery Image Generation Device, Vehicle Periphery Display System, and Vehicle Periphery Display Method
JP7299193B2 (en) * 2020-04-16 2023-06-27 トヨタ自動車株式会社 Display control device, display control method and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (en) * 2001-06-13 2008-09-24 株式会社デンソー Vehicle periphery image processing apparatus and recording medium
JP4071463B2 (en) * 2001-07-16 2008-04-02 株式会社デンソー Vehicle periphery image processing apparatus
JP3886376B2 (en) * 2001-12-26 2007-02-28 株式会社デンソー Vehicle perimeter monitoring system
JP3961969B2 (en) * 2003-02-27 2007-08-22 株式会社日本自動車部品総合研究所 Vehicle periphery image processing system
JP2005138716A (en) * 2003-11-06 2005-06-02 Denso Corp Parking support device
JP4657765B2 (en) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 Nose view system
JP4556742B2 (en) * 2005-03-30 2010-10-06 株式会社デンソー Vehicle direct image display control apparatus and vehicle direct image display control program
JP2007076425A (en) * 2005-09-12 2007-03-29 Aisin Aw Co Ltd Parking support method and parking support device
JP2007249814A (en) * 2006-03-17 2007-09-27 Denso Corp Image-processing device and image-processing program
EP2090867A4 (en) * 2006-12-05 2012-03-21 Navitime Japan Co Ltd Navigation system, portable terminal device, and peripheral-image display method
JP2008227646A (en) * 2007-03-09 2008-09-25 Clarion Co Ltd Obstacle detector
JP5035284B2 (en) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 Vehicle periphery display device
WO2012091476A2 (en) * 2010-12-30 2012-07-05 주식회사 와이즈오토모티브 Apparatus and method for displaying a blind spot
WO2013046593A1 (en) * 2011-09-30 2013-04-04 パナソニック株式会社 Birds-eye-view image generation device, birds-eye-view image generation method, and birds-eye-view image generation program

Also Published As

Publication number Publication date
JP2015154125A (en) 2015-08-24
CN106031166B (en) 2018-12-25
CN106031166A (en) 2016-10-12
WO2015122124A1 (en) 2015-08-20
JP6375633B2 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE112015000763T5 (en) Vehicle environment image display device and vehicle environment image display method
DE10292327B4 (en) Vehicle environment image processing apparatus and recording medium
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
EP3292510B1 (en) Method and apparatus for detecting and assessing road reflections
DE102018130821A1 (en) Method for assessing an environment of a motor vehicle using an artificial neural network with an aggregation unit; Control unit, driver assistance system and computer program product
DE102011088332B4 (en) Method for improving object detection in multi-camera systems
DE112017001410B4 (en) INFORMATION PROCESSING APPARATUS
DE102018215344A1 (en) SYSTEM AND METHOD FOR VEHICLE CONVOIS
DE102014112797A1 (en) Vehicle exterior environment recognition device
WO2011141249A1 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
DE102012005851A1 (en) A method for warning the driver of a motor vehicle of the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE112015001088T5 (en) Vehicle environment image display device and vehicle environment image display method
DE102014201409B4 (en) PARKING - TRACKING DEVICE AND PROCEDURES OF THE SAME
DE102016114693A1 (en) A method for assisting a driver of a motor vehicle when driving the motor vehicle, driver assistance system and motor vehicle
DE102019002269A1 (en) Method for determining an orientation of a vehicle relative to a motor vehicle
DE102019105630A1 (en) Display control device, vehicle environment display system and computer program
EP2996327A2 (en) Surround view system for vehicles with attachments
DE102013215408A1 (en) A vehicle display system and method for displaying a vehicle environment
WO2014202496A1 (en) Method for displaying environment information in a vehicle
EP2804785B1 (en) Display system for a vehicle
DE102023202306B3 (en) Method for generating an environmental view of a vehicle, image recording device and vehicle
DE102005000775B4 (en) Method for monitoring an object space from a motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee