DE112021001735T5 - Vehicle display device and vehicle display method - Google Patents

Vehicle display device and vehicle display method Download PDF

Info

Publication number
DE112021001735T5
DE112021001735T5 DE112021001735.7T DE112021001735T DE112021001735T5 DE 112021001735 T5 DE112021001735 T5 DE 112021001735T5 DE 112021001735 T DE112021001735 T DE 112021001735T DE 112021001735 T5 DE112021001735 T5 DE 112021001735T5
Authority
DE
Germany
Prior art keywords
vehicle
image
path
area
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021001735.7T
Other languages
German (de)
Inventor
Kenji Kohara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112021001735T5 publication Critical patent/DE112021001735T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Fahrzeuganzeigevorrichtung, die an einem Fahrzeug montiert ist, enthält: eine Aufnahmedatenbeschaffungseinheit (111), die Aufnahmedaten beschafft, die einen Umgebungsbereich des Fahrzeugs (2) und einen hinteren Querpfadbereich des Fahrzeugs angeben, wobei der hintere Querpfadbereich des Fahrzeugs als ein hinterer Bereich in einer Fahrtrichtung des Fahrzeugs definiert ist, wenn das Fahrzeug plant, in einen Pfad einzufahren; eine Bilderzeugungseinheit (114), die auf der Grundlage der Aufnahmedaten, die durch die Aufnahmedatenbeschaffungseinheit beschafft werden, ein Bild, das den hinteren Querpfadbereich zeigt, und ein Bild, das den Umgebungsbereich zeigt, erzeugt; und eine Anzeigeeinheit (131), die gleichzeitig das Bild, das den hinteren Querpfadbereich zeigt, und das Bild, das den Umgebungsbereich zeigt, anzeigt.A vehicle display device mounted on a vehicle includes: a shot data acquisition unit (111) that acquires shot data indicating a surrounding area of the vehicle (2) and a rear cross-path area of the vehicle, the rear cross-path area of the vehicle being defined as a rear area in a heading of the vehicle is defined when the vehicle plans to enter a path; an image generation unit (114) that generates an image showing the rear cross-path area and an image showing the surrounding area based on the image data acquired by the image data acquisition unit; and a display unit (131) that simultaneously displays the image showing the rear cross-path area and the image showing the surrounding area.

Description

Querverweis auf betreffende AnmeldungCross-reference to relevant application

Diese Anmeldung basiert auf der am 20. März 2020 eingereichten japanischen Patentanmeldung Nr. 2020-050365, deren Inhalt hiermit durch Bezugnahme darauf enthalten ist.This application is based on Japanese Patent Application No. 2020-050365 filed on Mar. 20, 2020, the contents of which are hereby incorporated by reference.

Technisches Gebiettechnical field

Die vorliegende Erfindung betrifft eine Fahrzeuganzeigetechnologie und insbesondere eine Fahrzeuganzeigevorrichtung und ein Fahrzeuganzeigeverfahren, die jeweils ein Verlassen eines Parkplatzes bzw. Stellplatzes durch ein Fahrzeug unterstützen.The present invention relates to a vehicle display technology, and more particularly to a vehicle display device and a vehicle display method, each of which supports a vehicle leaving a parking space.

Stand der TechnikState of the art

Die Patentliteratur 1 offenbart eine Anzeigevorrichtung, die ein Hinterrad auf einer Rotationsinnenseite und einen vorderen Eckenabschnitt auf einer Rotationsaußenseite anzeigt, wenn sich ein geparktes Fahrzeug von einem Parkplatz bzw. Stellplatz aus vorwärtsbewegt. Das Hinterrad auf der Rotationsinnenseite ist ein linkes Hinterrad, wenn das Fahrzeug eine Linksdrehung macht. Der vordere Eckenabschnitt auf der Rotationsaußenseite ist eine rechte vordere Ecke, wenn das Fahrzeug eine Linksdrehung macht.Patent Literature 1 discloses a display device that displays a rear wheel on a rotation inside and a front corner portion on a rotation outside when a parked vehicle moves forward from a parking space. The rear wheel on the inside of rotation is a left rear wheel when the vehicle makes a left turn. The front corner portion on the rotation outside is a right front corner when the vehicle makes a left turn.

Literatur des Stands der TechnikPrior Art Literature

Patentliteraturpatent literature

Patentliteratur 1: JP 2006- 209 134 A Patent Literature 1: JP 2006- 209 134 A

Zusammenfassungsummary

Wenn ein Fahrzeug eine Bewegung nach vorne von einem Parkplatz aus startet, wie es in der Patentliteratur 1 offenbart ist, ist es notwendig, eine Umgebung des Fahrzeugs wie beispielsweise einen Abstand zwischen einem Hindernis und dem Hinterrad auf der Rotationsinnenseite und einen Abstand zwischen einem Hindernis und dem vorderen Eckenabschnitt auf der Rotationsaußenseite zu bestätigen. Wenn das Fahrzeug eine Bewegung nach vorne von dem Parkplatz aus in Richtung eines Pfades startet, ist es außerdem notwendig, zu bestätigen, ob es ein bewegtes Objekt gibt, das sich von einer Rückseite des Fahrzeugs auf einem Pfad annähert, der mit dem Parkplatz bzw. Stellplatz verbunden ist.When a vehicle starts moving forward from a parking space as disclosed in Patent Literature 1, it is necessary to know an environment of the vehicle such as a distance between an obstacle and the rear wheel on the rotation inside and a distance between an obstacle and to confirm the front corner portion on the rotation outside. In addition, when the vehicle starts moving forward from the parking lot toward a path, it is necessary to confirm whether there is a moving object approaching from a rear of the vehicle on a path connecting with the parking lot. pitch is connected.

Zusätzlich zu dem Fall, in dem sich das Fahrzeug von dem Parkplatz aus vorwärtsbewegt, ist es in einem Fall, in dem das Fahrzeug den Parkplatz eines Parkgeländes verlässt, entlang einer Straße auf dem Parkgelände fährt und dann das Parkgelände verlässt, um auf einer Straße außerhalb des Parkgeländes zu fahren, notwendig, Aufmerksamkeit auf eine Umgebung des Fahrzeugs und bewegte Objekte, die auf der Straße vorhanden sind, auf der das Fahrzeug zu fahren plant, zu legen.In addition to the case where the vehicle moves forward from the parking lot, it is in a case where the vehicle leaves the parking lot of a parking lot, runs along a road on the parking lot, and then leaves the parking lot to go on a road outside of the parking area, it is necessary to pay attention to an environment of the vehicle and moving objects existing on the road on which the vehicle plans to run.

Die vorliegende Erfindung entstand im Hinblick auf die obigen Probleme. Es ist eine Aufgabe der vorliegenden Erfindung, eine Fahrzeuganzeigevorrichtung und ein Fahrzeuganzeigeverfahren zu schaffen, die jeweils eine einfache Bestätigung bzw. Überprüfung eines Bestätigungsbedarfsbereiches um das Fahrzeug herum ermöglichen, wenn das Fahrzeug einen Parkplatz bzw. Stellplatz verlässt.The present invention was made in view of the above problems. It is an object of the present invention to provide a vehicle display device and a vehicle display method, each of which enables easy confirmation of a confirmation-requiring area around the vehicle when the vehicle leaves a parking space.

Die obige Aufgabe wird durch die in den unabhängigen Ansprüchen angegebenen Merkmale gelöst, und die Unteransprüche betreffen vorteilhafte Weiterbildungen der vorliegenden Erfindung. Man beachte, dass jeweilige Bezugszeichen (in den Ansprüchen) eine entsprechende Beziehung zu einer in den folgenden Ausführungsformen beschriebenen Konfiguration angeben und den technischen Bereich der vorliegenden Erfindung nicht beschränken.The above object is solved by the features indicated in the independent claims, and the subclaims relate to advantageous developments of the present invention. Note that respective reference characters (in the claims) indicate a corresponding relation to a configuration described in the following embodiments and do not limit the technical scope of the present invention.

Gemäß einem Aspekt der vorliegenden Erfindung enthält eine an einem Fahrzeug montierte Fahrzeuganzeigevorrichtung eine Aufnahmedatenbeschaffungseinheit, eine Bilderzeugungseinheit und eine Anzeigeeinheit. Die Aufnahmedatenbeschaffungseinheit beschafft Aufnahmedaten, die einen Umgebungsbereich des Fahrzeugs und einen hinteren Querpfadbereich des Fahrzeugs angeben. Der hintere Querpfadbereich des Fahrzeugs ist als ein hinterer Bereich in einer bzw. in Bezug auf eine Fahrtrichtung des Fahrzeugs definiert, wenn das Fahrzeug das Einfahren in einen Pfad plant. Die Bilderzeugungseinheit erzeugt auf der Grundlage der Aufnahmedaten, die durch die Aufnahmedatenbeschaffungseinheit beschafft werden, ein Bild, das den hinteren Querpfadbereich zeigt, und ein Bild, das den Umgebungsbereich zeigt. Die Anzeigeeinheit zeigt das Bild, das den hinteren Querpfadbereich zeigt, und das Bild, das den Umgebungsbereich zeigt, gleichzeitig an.According to an aspect of the present invention, a vehicle display device mounted on a vehicle includes a captured data acquisition unit, an image generation unit, and a display unit. The shot data acquiring unit acquires shot data indicating a surrounding area of the vehicle and a rear cross-path area of the vehicle. The rear cross-path area of the vehicle is defined as a rear area in a traveling direction of the vehicle when the vehicle plans to enter a path. The image generating unit generates an image showing the rear cross-path area and an image showing the surrounding area based on the picture data acquired by the picture data acquiring unit. The display unit simultaneously displays the image showing the rear cross-path area and the image showing the surrounding area.

Gemäß einem anderen Aspekt der vorliegenden Erfindung enthält ein Fahrzeuganzeigeverfahren: Beschaffen von Aufnahmedaten, die einen Umgebungsbereich eines Fahrzeugs und einen hinteren Querpfadbereich des Fahrzeugs angeben, wobei der hintere Querpfadbereich des Fahrzeugs als ein hinterer Bereich in einer bzw. in Bezug auf eine Fahrtrichtung des Fahrzeugs definiert ist, wenn das Fahrzeug ein Einfahren in einen Pfad plant; Erzeugen eines Bildes, das den hinteren Querpfadbereich zeigt, und eines Bildes, das den Umgebungsbereich zeigt, auf der Grundlage der Aufnahmedaten; und gleichzeitiges Anzeigen des Bildes, das den hinteren Querpfadbereich zeigt, und des Bildes, das den Umgebungsbereich zeigt.According to another aspect of the present invention, a vehicle display method includes: acquiring shot data indicating a surrounding area of a vehicle and a rear cross-path area of the vehicle, wherein the rear cross-path area of the vehicle is defined as a rear area in a traveling direction of the vehicle is when the vehicle plans to enter a path; generating an image showing the rear cross-path area and an image showing the surrounding area based on the photographed data; and simultaneous display of the image, showing the rear cross-path area and the image showing the surrounding area.

Gemäß der oben beschriebenen Fahrzeuganzeigevorrichtung und dem oben beschriebenen Fahrzeuganzeigeverfahren ist es möglich, auf der Anzeigeeinheit gleichzeitig den Pfad auf der Rückseite des Fahrzeugs und die Umgebung des Fahrzeugs zu bestätigen bzw. überprüfen. Daher ist es möglich, auf einfache Weise einen Bestätigungsbedarfsbereich (einen Bereich, der bestätigt werden muss) um das Fahrzeug herum zu überprüfen, wenn das Fahrzeug den Parkplatz verlässt.According to the above-described vehicle display device and vehicle display method, it is possible to simultaneously confirm the path to the rear of the vehicle and the surroundings of the vehicle on the display unit. Therefore, it is possible to easily check a confirmation-requiring area (an area that needs to be confirmed) around the vehicle when the vehicle leaves the parking lot.

Figurenlistecharacter list

  • 1 ist ein Diagramm, das eine Konfiguration eines Fahrzeugmontagesystems (System zur Montage an einem Fahrzeug) 10 einschließlich einer Fahrzeuganzeigevorrichtung 100 zeigt. 1 12 is a diagram showing a configuration of a vehicle mounting system (system for mounting on a vehicle) 10 including a vehicle display device 100. FIG.
  • 2 ist ein Diagramm, das ein Beispiel eines Umgebungsbildes 140 und eines Hinterpfadbildes 150 zeigt. 2 FIG. 14 is a diagram showing an example of an environment image 140 and a behind path image 150. FIG.
  • 3 ist ein Diagramm, das eine Position einer virtuellen Kamera bzw. virtuelle Kameraposition 160 zeigt. 3 14 is a diagram showing a virtual camera position 160. FIG.
  • 4 ist ein Diagramm, das einen Prozess zeigt, der von einer ECU 110 ausgeführt wird. 4 FIG. 12 is a diagram showing a process executed by an ECU 110. FIG.
  • 5 ist ein Diagramm, das ein anderes Beispiel eines Umgebungsbildes 140 und eines Hinterpfadbildes 150 zeigt. 5 14 is a diagram showing another example of a surrounding image 140 and a behind path image 150. FIG.
  • 6 ist ein Diagramm, das ein Beispiel eines Aufmerksamkeitsrufbildelements 153 zeigt. 6 FIG. 14 is a diagram showing an example of an attention call pixel 153. FIG.
  • 7 ist ein Diagramm, das ein Beispiel eines Bestätigungsergebnisbildelementes 154 zeigt. 7 FIG. 14 is a diagram showing an example of a confirmation result pixel 154. FIG.
  • 8 ist ein Diagramm, das Hinterpfadbild 250 zeigt, das von einer Seitenkamera aufgenommen wird. 8th 12 is a diagram showing rear path image 250 captured by a side camera.
  • 9 ist ein Diagramm, das einen hinteren Querpfadbereich 151 zeigt, wenn das Fahrzeug eine Bewegung von einem parallelen Parkzustand aus startet. 9 14 is a diagram showing a rear lateral path area 151 when the vehicle starts moving from a parallel parking state.

Beschreibung der AusführungsformenDescription of the embodiments

Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben. 1 ist ein Diagramm, das eine Konfiguration eines Fahrzeugmontagesystems 10 zeigt, und das Fahrzeugmontagesystem enthält eine Fahrzeuganzeigevorrichtung 100. Das Fahrzeugmontagesystem 10 enthält die Fahrzeuganzeigevorrichtung 100 und eine Kamera 11. Das Fahrzeugmontagesystem 10 ist an einem Fahrzeug angeordnet bzw. montiert. Im Folgenden wird das Fahrzeug, an dem das Fahrzeugmontagesystem 10 angeordnet ist, als eigenes Fahrzeug 2 bezeichnet.In the following, embodiments of the present invention will be described with reference to the drawings. 1 12 is a diagram showing a configuration of a vehicle mounting system 10, and the vehicle mounting system includes a vehicle display device 100. The vehicle mounting system 10 includes the vehicle display device 100 and a camera 11. The vehicle mounting system 10 is mounted on a vehicle. Hereinafter, the vehicle on which the vehicle mounting system 10 is mounted is referred to as own vehicle 2 .

Das eigene Fahrzeug 2 enthält einen Abstandsmesssensor 12, einen Raddrehzahlsensor 13, eine Lenksteuerungseinheit 14, eine Schaltsteuerungseinheit 15, eine Beschleunigersteuerungseinheit 16 und eine Bremssteuerungseinheit 17. Diese Komponenten können unter Verwendung einer fahrzeugeigenen Netzwerkleitung 18 miteinander kommunizieren. Die Fahrzeuganzeigevorrichtung 100 ist ebenfalls mit der fahrzeugeigenen Netzwerkleitung 18 verbunden.The own vehicle 2 includes a distance measuring sensor 12, a wheel speed sensor 13, a steering control unit 14, a shift control unit 15, an accelerator control unit 16 and a brake control unit 17. These components can communicate with each other using an on-vehicle network line 18. The vehicle display device 100 is also connected to the in-vehicle network line 18 .

Der Abstandsmesssensor 12 misst einen Abstand zwischen dem eigenen Fahrzeug 2 und einem Hindernis, das in der Umgebung des Fahrzeugs vorhanden ist. Der Abstandsmesssensor 12 kann beispielsweise durch einen Ultraschallsensor bereitgestellt werden. Gemäß einem anderen Beispiel kann ein Millimeterwellensensor, ein LIDAR oder ähnliches als Abstandsmesssensor 12 verwendet werden. Der Raddrehzahlsensor 13 erfasst fortlaufend eine Raddrehzahl des eigenen Fahrzeugs 2. Die Lenksteuerungseinheit 14 steuert einen Winkel eines Lenkrades des eigenen Fahrzeugs 2. Die Schaltsteuerungseinheit 15 steuert eine Schaltposition des eigenen Fahrzeugs 2. Die Beschleunigersteuerungseinheit 16 steuert einen Öffnungsgrad einer Drosselklappe des eigenen Fahrzeugs 2. Die Bremssteuerungseinheit 17 steuert einen Bremshydraulikdruck des eigenen Fahrzeugs 2. Die Lenksteuerungseinheit 14, die Schaltsteuerungseinheit 15, die Beschleunigersteuerungseinheit 16 und die Bremssteuerungseinheit 17 können durch einen Computer implementiert werden, der einen Prozessor enthält.The distance measuring sensor 12 measures a distance between the host vehicle 2 and an obstacle present around the vehicle. The distance measuring sensor 12 can be provided by an ultrasonic sensor, for example. As another example, a millimeter wave sensor, a LIDAR, or the like can be used as the distance measuring sensor 12 . The wheel speed sensor 13 continuously detects a wheel speed of the host vehicle 2. The steering control unit 14 controls an angle of a steering wheel of the host vehicle 2. The shift control unit 15 controls a shift position of the host vehicle 2. The accelerator control unit 16 controls an opening degree of a throttle valve of the host vehicle 2. The Brake control unit 17 controls a brake hydraulic pressure of own vehicle 2. The steering control unit 14, the shift control unit 15, the accelerator control unit 16, and the brake control unit 17 can be implemented by a computer including a processor.

Die Lenksteuerungseinheit 14, die Schaltsteuerungseinheit 15, die Beschleunigersteuerungseinheit 16 und die Bremssteuerungseinheit 17 steuern eine Geschwindigkeit und/oder Fahrtrichtung des eigenen Fahrzeugs 2, wenn das eigene Fahrzeug 2 einen Parkplatz bzw. Stellplatz 3 (siehe 3) verlässt oder zu Parkzwecken in den Parkplatz einfährt. Die Fahrzeuganzeigevorrichtung 100 kann auch an einem Fahrzeug angeordnet sein, das die Lenksteuerungseinheit 14, die Schaltsteuerungseinheit 15, die Beschleunigersteuerungseinheit 16 und die Bremssteuerungseinheit 17 nicht enthält.The steering control unit 14, the shift control unit 15, the accelerator control unit 16 and the brake control unit 17 control a speed and/or running direction of the own vehicle 2 when the own vehicle 2 enters a parking space 3 (see 3 ) leaves or enters the parking lot for parking purposes. The vehicle display device 100 can also be mounted on a vehicle that does not include the steering control unit 14 , the shift control unit 15 , the accelerator control unit 16 , and the brake control unit 17 .

Die Kamera 11 nimmt Bilder eines hinteren Querbereiches des eigenen Fahrzeugs und eines Umgebungsbereiches des eigenen Fahrzeugs auf. Es kann eine benötigte Anzahl von Kameras 11 bereitgestellt werden, um Bilder des hinteren Querbereiches des eigenen Fahrzeugs 2 und des Umgebungsbereiches des eigenen Fahrzeugs 2 aufzunehmen. Es können beispielsweise mehrere Kameras 11 an einer vorderen Endfläche, einer hinteren Endfläche und linken und rechten Seitenflächen des eigenen Fahrzeugs 2 angeordnet sein, um Bilder eines Umgebungsbereiches des eigenen Fahrzeugs 2 aufzunehmen. Es können beispielsweise mehrere Kameras 11 an dem eigenen Fahrzeug 2 angebracht sein, um Bilder eines rechten hinteren Bereiches und eines linken hinteren Bereiches des eigenen Fahrzeugs 2 aufzunehmen. Die Kamera 11, die Bilder des hinteren Querbereiches des eigenen Fahrzeugs 2 aufnimmt, kann nahe an einem Seitenspiegel des Fahrzeugs angebracht sein. Alternativ können eine Kamera 11, die einen Querbereich oder Seitenbereich des eigenen Fahrzeugs 2 aufnimmt, und eine Kamera 11, die einen hinteren Bereich des Fahrzeugs 2 aufnimmt, als die Kamera 11 zum Aufnehmen des hinteren Querbereiches des eigenen Fahrzeugs 2 angeordnet sein.The camera 11 captures images of a rear lateral area of the own vehicle and a surrounding area of the own vehicle. A necessary number of cameras 11 can be provided to capture images of the rear lateral area of the subject vehicle 2 and the surrounding area of the subject vehicle 2 . For example, multiple cameras 11 on a front end face, a rear end face surface and left and right side faces of the own vehicle 2 to take pictures of a surrounding area of the own vehicle 2 . For example, a plurality of cameras 11 can be attached to the driver's vehicle 2 in order to record images of a right rear area and a left rear area of the driver's vehicle 2 . The camera 11, which takes pictures of the rear lateral area of the own vehicle 2, can be mounted close to a side mirror of the vehicle. Alternatively, a camera 11 that shoots a lateral area or side area of the own vehicle 2 and a camera 11 that shoots a rear area of the vehicle 2 may be arranged as the camera 11 for shooting the rear lateral area of the own vehicle 2 .

Der Bereich um das eigene Fahrzeug 2 herum benötigt Aufmerksamkeit hinsichtlich einer Fahrgeschwindigkeit des Fahrzeugs während des Parkens. Im Folgenden wird dieser Bereich auch als Umgebungsbereich bezeichnet. Der Umgebungsbereich kann beispielsweise ein Bereich innerhalb eines Bereiches eines Abstands von einem Meter von dem eigenen Fahrzeug 2 definiert sein. Alternativ kann der Umgebungsbereich als ein Bereich innerhalb eines Bereiches eines Abstands von weniger als einem Meter von dem eigenen Fahrzeug 2 definiert sein. Ein Winkelbereich des Umgebungsbereiches kann ein 360-Grad-Bereich zentriert auf das Fahrzeug 2 in der horizontalen Ebene sein oder kann ein Teil des 360-Grad-Bereiches zentriert auf das Fahrzeug 2 in der horizontalen Ebene sein. In der vorliegenden Erfindung ist ein hinterer Bereich des eigenen Fahrzeugs 2 als ein Bereich innerhalb eines größeren Abstandes als der Abstand des Umgebungsbereiches in Bezug auf das eigene Fahrzeug definiert.The area around the own vehicle 2 needs attention to a running speed of the vehicle during parking. In the following, this area is also referred to as the surrounding area. The surrounding area can be defined, for example, an area within a range of a distance of one meter from the own vehicle 2 . Alternatively, the surrounding area may be defined as an area within a range of a distance of less than one meter from the own vehicle 2 . An angular range of the surrounding area may be a 360-degree range centered on the vehicle 2 on the horizontal plane, or may be a part of the 360-degree range centered on the vehicle 2 on the horizontal plane. In the present invention, a rear area of the own vehicle 2 is defined as an area within a distance greater than the distance of the surrounding area with respect to the own vehicle.

(Konfiguration der Fahrzeuganzeigevorrichtung 100)(Configuration of the vehicle display device 100)

Die Fahrzeuganzeigevorrichtung 100 enthält eine ECU 110, einen Lautsprecher 120 und eine Anzeige 130. Die ECU 110 wird durch eine Konfiguration erzielt, die mindestens einen Prozessor enthält. Die ECU 110 kann beispielsweise durch einen Computer ausgebildet werden, der einen Prozessor, einen nichtflüchtigen Speicher, einen RAM, eine I/O (Eingangs/Ausgangs-Schnittstelle) und eine Busleitung, die diese Komponenten miteinander verbindet, enthält. Der nichtflüchtige Speicher speichert ein Programm, das einen universellen Computer als die ECU 110 betreibt. Der Prozessor führt das Programm, das in dem nichtflüchtigen Speicher gespeichert ist, unter Verwendung einer zeitweiligen Speicherfunktion des RAM aus. Durch Ausführen des Programms wird die ECU 110 als Funktionsblöcke implementiert, die eine Aufnahmedatenbeschaffungseinheit 111, eine Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112, eine Bilderkennungseinheit 113, einen Bilderzeugungseinheit 114 und eine Ausgangssteuerungseinheit 115 enthalten. Eine Ausführung dieser Funktionsblöcke durch Ablaufen des Programms entspricht einer Ausführung eines Verfahrens, genauer gesagt, eines Fahrzeuganzeigeverfahrens.The vehicle display device 100 includes an ECU 110, a speaker 120, and a display 130. The ECU 110 is achieved by a configuration including at least one processor. The ECU 110 can be formed by, for example, a computer including a processor, a non-volatile memory, a RAM, an I/O (input/output interface), and a bus line connecting these components to each other. The non-volatile memory stores a program that runs a general-purpose computer as the ECU 110 . The processor executes the program stored in non-volatile memory using a temporary storage function of RAM. By executing the program, the ECU 110 is implemented as functional blocks including a captured data acquisition unit 111 , a vehicle information input/output unit 112 , an image recognition unit 113 , an image generation unit 114 , and an output control unit 115 . Execution of these function blocks by running the program corresponds to execution of a method, more precisely, a vehicle display method.

Der Lautsprecher 120 empfängt ein Signal von der ECU 110 und gibt verschiedene Töne bzw. Geräusche wie ein Geräusch zum Alarmieren eines Insassen des Fahrzeugs 2 aus.The speaker 120 receives a signal from the ECU 110 and outputs various sounds such as a sound for alerting an occupant of the vehicle 2 .

Die Anzeige 130 enthält eine Anzeigeeinheit 131 und eine Betriebseingangseinheit bzw. Betriebseingabeeinheit 132. Die Anzeigeeinheit 131 ist in einem Insassenraum des eigenen Fahrzeugs 2 auf von einem Fahrer oder einem Insassen des Fahrzeugs erkennbare Weise angeordnet. Die Anzeigeeinheit 131 zeigt ein Hinterpfadbild und ein Umgebungsbild an, wie es später beschrieben wird. Die Betriebseingabeeinheit 132 enthält ein Bildschirmtastfeld (Touch Panel), das auf einer Anzeigeoberfläche der Anzeigeeinheit 131 angeordnet ist, oder mechanische Schalter, die in der Umgebung der Anzeigefläche angeordnet sind. Die Betriebseingabeeinheit 132 empfängt einen Betrieb bzw. eine Betätigungseingabe von dem Insassen des eigenen Fahrzeugs 2, wenn der Insasse eine Eingabe zum Wechseln des Bildes, das auf der Anzeigeeinheit 131 angezeigt wird, durchführt.The display 130 includes a display unit 131 and an operation input unit 132. The display unit 131 is arranged in a passenger compartment of the own vehicle 2 in a manner recognizable by a driver or a passenger of the vehicle. The display unit 131 displays a behind path image and a surrounding image as will be described later. The operation input unit 132 includes a touch panel arranged on a display surface of the display unit 131 or mechanical switches arranged in the vicinity of the display surface. The operation input unit 132 receives an operation input from the occupant of the own vehicle 2 when the occupant performs an input for switching the image displayed on the display unit 131 .

Die Aufnahmedatenbeschaffungseinheit 111 beschafft fortlaufen Aufnahmedaten, die Bilder angeben, die durch die Kamera 11 aufgenommen werden. In 1 ist die Kamera 11 mit der Aufnahmedatenbeschaffungseinheit 111 über eine Kommunikationsleitung, die nicht die fahrzeugeigene Netzwerkleitung 18 ist, verbunden. Alternativ kann die Aufnahmedatenbeschaffungseinheit 111 Bilddaten von der Kamera 11 über die fahrzeugeigene Netzwerkleitung 18 beschaffen.The capture data acquisition unit 111 continuously acquires capture data indicating images captured by the camera 11 . In 1 For example, the camera 11 is connected to the shot data acquisition unit 111 via a communication line other than the in-vehicle network line 18 . Alternatively, the shot data acquisition unit 111 may acquire image data from the camera 11 via the in-vehicle network line 18 .

Die Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112 beschafft verschiedene Fahrzeuginformationen betreffend das eigene Fahrzeug 2. Die Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112 kann an die fahrzeugeigene Netzwerkleitung 18 eine Position des eigenen Fahrzeugs 2 und einen geschätzten Kurs des eigenen Fahrzeugs, die durch die Bilderzeugungseinheit 114 berechnet werden, um ein auf der Anzeigeeinheit 131 anzuzeigendes Bild zu erzeugen, ausgeben. Die Fahrzeuginformationen, die durch die Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112 beschafft werden, enthalten einen Abstand zu einem Hindernis, der durch den Abstandsmesssensor 12 erfasst wird, eine Geschwindigkeit des Fahrzeugs 2, die durch den Raddrehzahlsensor 13 erfasst wird, und einen Winkel des Lenkrads, das durch die Lenksteuerungseinheit 14 gesteuert wird.The vehicle information input/output unit 112 acquires various vehicle information regarding the own vehicle 2. The vehicle information input/output unit 112 can transmit to the in-vehicle network line 18 a position of the own vehicle 2 and an estimated course of the own vehicle, which are obtained by the Image generation unit 114 are calculated to generate an image to be displayed on the display unit 131 output. The vehicle information acquired by the vehicle information input/output unit 112 includes a distance to an obstacle detected by the distance measuring sensor 12, a speed of the vehicle 2 detected by the wheel speed sensor 13, and a win kel of the steering wheel controlled by the steering control unit 14.

Die Bilderkennungseinheit 113 erhält die Aufnahmedaten von der Aufnahmedatenbeschaffungseinheit 111 und führt eine Bilderkennungsverarbeitung durch Analysieren des von der Kamera 11 aufgenommenen Bildes durch. Die Bilderkennungseinheit 113 bestimmt eine Position und einen Winkel des Parkplatzes 3 oder des Pfades in Bezug auf das eigene Fahrzeug 2. Der Pfad enthält die Straße auf dem Parkgelände zusätzlich zu den Straßen 4, auf denen Automobile fahren. Der Pfad ist nicht auf eine für das Fahren von Automobilen vorgesehene Straße beschränkt. Der Pfad enthält außerdem einen Fußgängerweg wie beispielsweise einen Bürgersteig zwischen einer Straße und einem Parkgelände oder einen Bürgersteig bzw. Gehweg zwischen einer Straße und einer Garage. Die Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112 ist mit der Bilderkennungseinheit 113 verbunden. Die Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112 kann das Bilderkennungsergebnis von der Bilderkennungseinheit 113 als Fahrzeuginformationen beschaffen.The image recognition unit 113 obtains the captured data from the captured data obtaining unit 111 and performs image recognition processing by analyzing the image captured by the camera 11 . The image recognition unit 113 determines a position and an angle of the parking lot 3 or the path with respect to the own vehicle 2. The path includes the road in the parking lot in addition to the roads 4 on which automobiles travel. The path is not limited to a road intended for running automobiles. The path also includes a pedestrian walkway, such as a sidewalk between a street and a parking lot, or a sidewalk between a street and a garage. The vehicle information input/output unit 112 is connected to the image recognition unit 113 . The vehicle information input/output unit 112 can acquire the image recognition result from the image recognition unit 113 as vehicle information.

Die Bilderzeugungseinheit 114 erzeugt verschiedene Bilder, die auf der Anzeigeeinheit 131 anzuzeigen sind. Das Bild, das durch die Bilderzeugungseinheit 114 erzeugt wird, enthält das Umgebungsbild 140 und das Hinterpfadbild 150. Das Umgebungsbild 140 gibt einen Teil des Umgebungsbereiches oder den vollständigen Umgebungsbereich an. 1 zeigt ein Beispiel des Umgebungsbildes 140. Das in 2 gezeigte Umgebungsbild 140 ist ein Überkopfansichtsbild bzw. Overhead-Ansichtsbild des eigenen Fahrzeugs 2 von einem Punkt direkt oberhalb des eigenen Fahrzeugs aus betrachtet. Dieses Umgebungsbild 140 kann durch Kombinieren von Bildern erzeugt werden, die durch die Kameras 11 aufgenommen werden, die jeweils an vorderen, hinteren, linken und rechten Abschnitten des Fahrzeugs 2 angebracht sind. Das Umgebungsbild 140 enthält ein Eigenes-Fahrzeug-Bildelement 142, das die Position des eigenen Fahrzeugs 2 angibt. Das Eigenes-Fahrzeug-Bildelement 142 gibt ein Bild des eigenen Fahrzeugs 2 aus Sicht von einem Punkt oberhalb des eigenen Fahrzeugs an.The image generation unit 114 generates various images to be displayed on the display unit 131 . The image generated by the image generating unit 114 includes the surrounding image 140 and the trailing path image 150. The surrounding image 140 indicates a part of the surrounding area or the entire surrounding area. 1 shows an example of the environment image 140. The in 2 The surrounding image 140 shown is an overhead view image of the subject vehicle 2 viewed from a point directly above the subject vehicle. This surrounding image 140 can be generated by combining images captured by the cameras 11 mounted on front, rear, left, and right portions of the vehicle 2, respectively. The environment image 140 contains an own vehicle picture element 142 which indicates the position of the own vehicle 2 . The own vehicle image element 142 indicates an image of the own vehicle 2 viewed from a point above the own vehicle.

2 zeigt außerdem das Hinterpfadbild 150. In 2 sind das Umgebungsbild 140 und das Hinterpfadbild 150 benachbart zueinander angeordnet. Das Hinterpfadbild 150 enthält einen hinteren Querpfadbereich (hinteren Seitenpfadbereich) 151 (siehe 3). Der hintere Querpfadbereich 151 ist ein Bereich, der einen Pfad auf einer Rückseite des eigenen Fahrzeugs 2 enthält. In dem Hinterpfadbild 150, das in 2 gezeigt ist, ist ein Eigenes-Fahrzeug-Bildelement 152, das einen Teil vorderen Abschnitt des eigenen Fahrzeugs 2 angibt, angeordnet, um die Relativposition des eigenen Fahrzeugs 2 in Bezug auf den Pfad, der in dem Hinterpfadbild 150 enthalten ist, auf leicht verständliche Weise zu zeigen. 2 also shows the back path image 150. In 2 the environment image 140 and the behind path image 150 are arranged adjacent to each other. The rear path image 150 includes a rear cross path area (rear side path area) 151 (see 3 ). The rear lateral path area 151 is an area including a path on a rear side of the own vehicle 2 . In the back path image 150 shown in 2 As shown, a subject vehicle image element 152 indicating a part front portion of subject vehicle 2 is arranged to show the relative position of subject vehicle 2 with respect to the path included in rear path image 150 in an easy-to-understand manner to show.

3 zeigt eine virtuelle Kameraposition 160, von der das in 2 dargestellte Hinterpfadbild 150 aufgenommen wird. Das eigene Fahrzeug 2, das in 3 gezeigt ist, befindet sich in einem von dem Parkplatz 3 auf die Straße 4 einfahrenden Zustand. 3 shows a virtual camera position 160 from which the in 2 illustrated trailing path image 150 is captured. The own vehicle 2, which in 3 shown is in a state entering the road 4 from the parking lot 3 .

Die virtuelle Kameraposition 160 repräsentiert einen virtuellen Blickpunkt des Hinterpfadbildes 150. Der virtuelle Blickpunkt ist die virtuelle Kameraposition, von der das Hinterpfadbild 150 aufzunehmen ist. Die in 3 gezeigt virtuelle Kameraposition 160 ist vor dem eigenen Fahrzeug und oberhalb des eigenen Fahrzeugs 2 positioniert. Da der Blickpunkt des Umgebungsbildes 150 direkt oberhalb des eigenen Fahrzeugs 2 angeordnet ist, unterscheidet sich der Blickpunkt des Hinterpfadbildes 150 von dem Blickpunkt des Umgebungsbildes 140.The virtual camera position 160 represents a virtual viewpoint of the trailing path image 150. The virtual viewpoint is the virtual camera position from which the trailing path image 150 is to be captured. In the 3 virtual camera position 160 shown is positioned in front of one's own vehicle and above one's own vehicle 2 . Since the point of view of the image of the surroundings 150 is arranged directly above the host vehicle 2, the point of view of the image behind the path 150 differs from the point of view of the image of the surroundings 140.

Das Hinterpfadbild 150, das das Bild ist, das von der Position der virtuellen Kameraposition 160 aus betrachtet wird, kann durch Umwandeln des Koordinatensystems der Aufnahmebilder, die den Bilddaten entsprechen, die durch eine oder mehrere Kameras 11 aufgenommen werden, erhalten werden. Die Koordinatenumwandlung wird auf der Grundlage der Montageposition der Kamera(s) 11, einer Position einer jeweiligen Koordinate in dem Aufnahmebild und der virtuellen Kameraposition 160 durchgeführt.The rear path image 150, which is the image viewed from the position of the virtual camera position 160, can be obtained by converting the coordinate system of the captured images corresponding to the image data captured by one or more cameras 11. The coordinate conversion is performed based on the mounting position of the camera(s) 11 , a position of each coordinate in the captured image, and the virtual camera position 160 .

Das in 2 gezeigte Hinterpfadbild 150 ist ein Bild, das von der virtuellen Kameraposition 160 als einem virtuellen Blickpunkt aus betrachtet wird, und die linken und rechten Abschnitte werden von einer tatsächlichen Ansicht des hinteren Querpfadbereiches 151 in das Bild von der virtuellen Kameraposition 160 aus invertiert. Durch Umwandeln der linken und rechten Positionen in dem Hinterpfadbild stimmt die Links-rechts-Beziehung zwischen dem eigenen Fahrzeug 2 und dem Pfad in dem echten Raum mit der Links-rechts-Beziehung zwischen dem Eigenes-Fahrzeug-Bildelement 152, das in dem Hinterpfadbild 150 angezeigt wird, und dem Pfad überein. Unter Verwendung des links-rechts-invertierten Bildes als dem Hinterpfadbild 150 kann der Insasse des eigenen Fahrzeugs 2 auf einfache Weise die Entsprechung zwischen dem Pfad, der in dem Hinterpfadbild 150 vorhanden ist, und dem Pfad in dem echten Raum erkennen. Alternativ kann das Hinterpfadbild 150 auch ein Bild sein, das dieselbe Links-rechts-Beziehung zu dem hinteren Querpfadbereich 151 aufweist, das tatsächlich von der virtuellen Kameraposition 160 aus betrachtet wird.This in 2 The rear path image 150 shown is an image viewed from the virtual camera position 160 as a virtual viewpoint, and the left and right portions are inverted from an actual view of the rear cross path area 151 into the image from the virtual camera position 160. By converting the left and right positions in the behind path image, the left-right relationship between the subject vehicle 2 and the path in the real space agrees with the left-right relationship between the subject vehicle pixel 152 displayed in the behind path image 150 appears and matches the path. Using the left-right inverted image as the behind path image 150, the occupant of the own vehicle 2 can easily recognize the correspondence between the path provided in the behind path image 150 and the path in the real space. Alternatively, the rear path image 150 can also be an image that has the same left-right relationship to the rear cross-path area 151 actually viewed from the virtual camera position 160 .

Das Hinterpfadbild 150 ist ein Bild des hinteren Querpfadbereiches 151. Der hintere Querpfadbereich 151 enthält einen Pfad, der in dem hinteren Querbereich des eigenen Fahrzeugs 2 existiert. Das eigene Fahrzeug 2 fährt in den Pfad in einer Richtung ein, die einen Winkel in Bezug auf den Pfad aufweist. Der hintere Querbereich des eigenen Fahrzeugs 2 ist ein hinterer Querbereich relativ zu dem eigenen Fahrzeug 2 in einem Zustand, in dem das eigene Fahrzeug plant, in den Pfad in einer Richtung einzufahren, die in Bezug auf den Pfad einen Winkel aufweist. Gemäß einem anderen Beispiel kann der hintere Querbereich des eigenen Fahrzeugs 2 ein hinterer Querbereich relativ zu dem eigenen Fahrzeug 2 in einem Zustand sein, in dem eine Vorne-hinten-Richtung des eigenen Fahrzeugs im Wesentlichen parallel zu der Längsrichtung des Pfades ist. Der hintere Querpfadbereich 151 enthält in ausreichender Weise einen Teil des Pfades auf der Rückseite des eigenen Fahrzeugs 2 in einer Einfahrtsrichtung des Fahrzeugs in Richtung des Pfades anstatt einen anderen Umgebungsbereich des eigenen Fahrzeugs auf der Seite des eigenen Fahrzeugs. Die Einfahrtsrichtung gibt eine Fahrtrichtung des eigenen Fahrzeugs 2 an, nachdem mindestens ein Teilabschnitt des eigenen Fahrzeugs in den Pfad eingefahren ist. Der hintere Querpfadbereich 151 ist beispielsweise ein Bereich, der einen unmittelbaren Querbereich des eigenen Fahrzeugs 2 bis mehrere zehn Meter auf der Rückseite des eigenen Fahrzeugs 2 in dem Pfad enthält.The rear path image 150 is an image of the rear cross path area 151. The rear cross path area 151 includes a path existing in the rear cross area of the host vehicle 2. FIG. The own vehicle 2 enters the path in a direction having an angle with respect to the path. The rear lateral area of the own vehicle 2 is a rear lateral area relative to the own vehicle 2 in a state where the own vehicle plans to enter the path in a direction having an angle with respect to the path. As another example, the rear lateral area of the subject vehicle 2 may be a rear lateral area relative to the subject vehicle 2 in a state where a front-rear direction of the subject vehicle is substantially parallel to the longitudinal direction of the path. The rear cross path area 151 sufficiently includes a part of the path on the rear of the own vehicle 2 in a vehicle entrance direction toward the path instead of another surrounding area of the own vehicle on the own vehicle side. The entry direction indicates a travel direction of host vehicle 2 after at least a portion of host vehicle has entered the path. The rear lateral path area 151 is, for example, an area including an immediate lateral area of the subject vehicle 2 to several tens of meters at the rear of the subject vehicle 2 in the path.

Wie es in 2 gezeigt ist, werden in der vorliegenden Ausführungsform das Umgebungsbild 140 und das Hinterpfadbild 150 gleichzeitig angezeigt. Der Grund für das gleichzeitige Anzeigen des Umgebungsbildes 140 und des Hinterpfadbildes 150 wird später beschrieben.like it in 2 1, in the present embodiment, the surrounding image 140 and the behind path image 150 are displayed at the same time. The reason for simultaneously displaying the surrounding image 140 and the behind-path image 150 will be described later.

Wenn wie in 3 gezeigt das eigene Fahrzeug 2 den Parkplatz 3 verlässt und in die Straße 4 einfährt, die auf der rechten Seite des eigenen Fahrzeugs 2 vorhanden ist, bewegt sich das eigene Fahrzeug 2 zunächst nach vorne rechts. Hier sollte der Insasse Aufmerksamkeit auf eine linke vordere Ecke 2a des eigenen Fahrzeugs 2 legen, sodass das eigene Fahrzeug kein Hindernis wie beispielsweise ein anderes Fahrzeug 5, das vor dem eigenen Fahrzeug parkt, kontaktiert.If as in 3 As shown, the own vehicle 2 leaves the parking lot 3 and enters the road 4 existing on the right side of the own vehicle 2, the own vehicle 2 moves forward right first. Here, the occupant should pay attention to a left front corner 2a of the own vehicle 2 so that the own vehicle does not contact an obstacle such as another vehicle 5 parked in front of the own vehicle.

Nachdem ein Teil des eigenen Fahrzeugs 2 auf die Straße 4 eingefahren ist, bewegt sich das eigene Fahrzeug 2 nach vorne links. Hier sollte der Insasse Aufmerksamkeit auf einen linken hinteren Abschnitt 2b in der Nähe des linken Hinterrades des eigenen Fahrzeugs 2 legen, sodass der linke hintere Abschnitt 2b kein Hindernis wie beispielsweise ein anderes Fahrzeug 5 oder Ähnliches kontaktiert. Das Umgebungsbild 140 wird von dem Insassen des Fahrzeugs 2 verwendet, um zu bestätigen bzw. überprüfen, ob die vordere linke Ecke 2a oder der linke hintere Abschnitt 2b des eigenen Fahrzeugs 2 ein Hindernis kontaktiert.After a part of the own vehicle 2 enters the road 4, the own vehicle 2 moves to the front left. Here, the occupant should pay attention to a rear left portion 2b near the rear left wheel of the own vehicle 2 so that the rear left portion 2b does not contact an obstacle such as another vehicle 5 or the like. The surrounding image 140 is used by the occupant of the vehicle 2 to confirm whether the front-left corner 2a or the left-rear portion 2b of the host vehicle 2 contacts an obstacle.

In der in 3 gezeigten Situation muss der Insasse des eigenen Fahrzeugs zusätzlich zu der Bestätigung des Umgebungsbereiches, der in dem Umgebungsbild 140 gezeigt ist, auch ein bewegtes Objekt wie ein Fahrzeug oder einen Fußgänger, das bzw. der sich gleichzeitig auf der Straße 4 in Richtung des eigenen Fahrzeugs 2 bewegt, bestätigen. Somit wird das Hinterpfadbild 150 auf der Anzeigeeinheit 131 gleichzeitig mit dem Umgebungsbild 140 angezeigt.in the in 3 In the situation shown, in addition to confirming the surrounding area shown in the surrounding image 140, the host vehicle occupant must also confirm a moving object such as a vehicle or a pedestrian moving on the road 4 toward the host vehicle 2 at the same time moved, confirm. Thus, the behind path image 150 is displayed on the display unit 131 simultaneously with the surrounding image 140 .

Die Ausgangssteuerungseinheit 115 gibt an die Anzeige 130 Bilddaten aus, die das Umgebungsbild 140 und das Hinterpfadbild 150 repräsentieren, die durch die Bilderzeugungseinheit 114 erzeugt werden. Die Anzeigeeinheit 131 zeigt verschiedene Bilder auf der Grundlage der Bilddaten an, die von der Ausgangssteuerungseinheit 115 ausgegeben werden. Die Ausgangssteuerungseinheit 115 kann an den Lautsprecher 120 ein Signal zum Steuern des Lautsprechers 120 zum Erzeugen eines Geräusches wie eines Warngeräusches ausgeben.The output control unit 115 outputs image data representing the surrounding image 140 and the behind-path image 150 generated by the image generation unit 114 to the display 130 . The display unit 131 displays various images based on the image data output from the output control unit 115 . The output control unit 115 can output to the speaker 120 a signal for controlling the speaker 120 to generate a sound such as a warning sound.

Von der ECU 110 ausgeführter ProzessProcess executed by the ECU 110

4 zeigt einen Prozess, der von der ECU 110 ausgeführt wird. Für den Prozess, der in 4 gezeigt ist, können verschiedene Startbedingungen im Voraus eingestellt werden. Durch Ausführen des in 4 gezeigten Prozesses kann/können das oben beschriebene (i) Umgebungsbild 140 oder (ii) das Umgebungsbild 140 zusammen mit dem Hinterpfadbild 150 auf der Anzeigeeinheit 131 angezeigt werden. Diese Bilder werden beispielsweise von dem Insassen verwendet, wenn das eigene Fahrzeug eine Bewegung nach vorne von dem Parkplatz 3 aus startet. Somit kann ein Start einer Bewegung aus einem Parkzustand als eine Startbedingung des Prozesses eingestellt werden. Während eines Bewegungszustands des Fahrzeugs ist es ebenfalls notwendig, dass der Insasse den Umgebungsbereich vor der Einfahrt in die Straße 4 von dem Parkplatz aus bestätigt. Es ist ebenfalls notwendig, den Umgebungsbereich zu bestätigen, wenn das Fahrzeug von einer schmalen Straße in eine breite Straße einfährt. 4 FIG. 12 shows a process executed by the ECU 110. FIG. For the process in 4 shown, various starting conditions can be set in advance. By running the in 4 In the process shown, the above-described (i) surrounding image 140 or (ii) surrounding image 140 can be displayed on the display unit 131 together with the behind-path image 150 . These images are used by the occupant, for example, when the own vehicle starts moving forward from the parking space 3 . Thus, a start of movement from a parking state can be set as a start condition of the process. During a moving state of the vehicle, it is also necessary for the occupant to confirm the surrounding area before entering the road 4 from the parking lot. It is also necessary to confirm the surrounding area when the vehicle enters a wide road from a narrow road.

Wenn das Fahrzeug von der schmalen Straße in die breite Straße einfährt, ist die Fahrgeschwindigkeit des Fahrzeugs etwa dieselbe wie die Fahrgeschwindigkeit, wenn das Fahrzeug von dem Parkgelände in die Straße 4 einfährt. Daher kann die Startbedingung auf ein Fahren des eigenen Fahrzeugs mit niedriger Geschwindigkeit, beispielsweise eine Fahrgeschwindigkeit, die auf dem Parkgelände benötigt wird, eingestellt werden. Gemäß einem anderen Beispiel kann die Startbedingung als erfüllt bestimmt werden, wenn der Insasse einen Startbetrieb des Fahrzeugs durchführt.When the vehicle enters the wide road from the narrow road, the running speed of the vehicle is about the same as the running speed when the vehicle enters the road 4 from the parking lot. Therefore, the starting condition can be set to low-speed running of the own vehicle, such as a running speed required in the parking lot. According to a In another example, the starting condition may be determined to be met when the occupant performs a starting operation of the vehicle.

Gemäß einem anderen Beispiel kann eine derzeitige Position des eigenen Fahrzeugs 2 in Kartendaten beschafft werden. Wenn die beschaffte Position des eigenen Fahrzeugs 2 in den Kartendaten eine voreingestellte Startposition des Prozesses ist, beispielsweise eine Position, bei der das Fahrzeug von dem Parkgelände auf die Straße 4 einfährt, kann die Startbedingung als erfüllt bestimmt werden. Außerdem kann die Position des eigenen Fahrzeugs 2 durch Bildanalyse von Aufnahmedaten von der Kamera 11 anstelle durch Bestimmen einer Position des eigenen Fahrzeugs 2 in den Kartendaten bestimmt werden.As another example, a current position of the subject vehicle 2 can be acquired in map data. When the acquired position of the own vehicle 2 in the map data is a preset start position of the process, for example, a position where the vehicle enters the road 4 from the parking area, the start condition can be determined as satisfied. In addition, the position of the own vehicle 2 can be determined by image analysis of shot data from the camera 11 instead of determining a position of the own vehicle 2 in the map data.

Wenn der Prozess startet, beschafft die Aufnahmedatenbeschaffungseinheit 111 in Schritt S1 (Schritt wird im Folgenden weggelassen) Aufnahmedaten von der Kamera 11. Die Bilderzeugungseinheit 114 führt S2 und den anschließenden Prozess aus. In S2 berechnet die Bilderzeugungseinheit 114 eine Position des eigenen Fahrzeugs 2 in Bezug auf den Pfad. Um die Position des eigenen Fahrzeugs 2 in Bezug auf den Pfad zu berechnen, kann die Bilderzeugungseinheit 114 die Aufnahmedaten analysieren, um einen Pfadbereich zu bestimmen.When the process starts, the shot data acquisition unit 111 acquires shot data from the camera 11 in step S1 (step will be omitted hereinafter). The image generation unit 114 executes S2 and the subsequent process. In S2, the imaging unit 114 calculates a position of the own vehicle 2 with respect to the path. In order to calculate the position of the own vehicle 2 with respect to the path, the imaging unit 114 can analyze the shot data to determine a path area.

Um den Pfadbereich zu bestimmen, kann eine Position einer Grenzlinie des Parkplatzes 3 bestimmt werden, und es kann ein Bereich in einer Richtung zu dem Pfad hin mit Bezug auf die Grenzlinie als eine Grenze als der Pfadbereich definiert werden. Wenn der Parkplatz 3 keine Grenzlinie aufweist, die die Grenze des Parkplatzes 3 definiert, oder wenn die Grenzlinie nicht erkannt werden kann, auch wenn sie vorhanden ist, kann die Grenze als eine Linie entlang einer Querfläche eines anderen Fahrzeugs 5, das vor oder hinter dem eigenen Fahrzeug parkt, oder eine Linie entlang einer Position von der Querfläche des anderen Fahrzeugs 5 parallel zu der Vorne-hinten-Richtung eines anderen Fahrzeugs weg eingestellt werden. Wie es oben beschrieben ist, enthält der Pfad einen Bürgersteig bzw. Fußgängerweg. Der Bürgersteig weist eine klare Grenze zwischen einem benachbarten Parkgelände oder einer Garage und einer Straße auf. Wenn der Pfad ein Bürgersteig ist, kann daher der Pfadbereich durch Bildanalyse bestimmt werden.To determine the path area, a position of a boundary line of the parking lot 3 can be determined, and an area in a direction toward the path with respect to the boundary line as a boundary can be defined as the path area. If the parking lot 3 does not have a boundary line defining the boundary of the parking lot 3, or if the boundary line cannot be recognized even if it exists, the boundary can be recognized as a line along a transverse face of another vehicle 5 that is ahead or behind own vehicle is parked, or a line can be set along a position away from the lateral surface of the other vehicle 5 parallel to the front-rear direction of another vehicle. As described above, the path includes a sidewalk. The sidewalk provides a clear boundary between an adjacent parking lot or garage and a street. Therefore, when the path is a sidewalk, the path area can be determined by image analysis.

Die Position des eigenen Fahrzeugs 2 in Bezug auf den Pfadbereich kann durch Analysieren der Aufnahmedaten bestimmt werden. Die Position des eigenen Fahrzeugs 2 ist hier eine Position eines Abschnittes des eigenen Fahrzeugs 2, der am nächsten bei dem Pfad liegt. Eine Position der Querfläche des eigenen Fahrzeugs 2, die nahe bei dem Pfad liegt, kann beispielsweise als die Position des eigenen Fahrzeugs 2 verwendet werden. Gemäß einem anderen Beispiel kann eine Position des Vorderrades, das nahe bei dem Pfad liegt, als die Position des eigenen Fahrzeugs 2 verwendet werden. Hier kann das Vorderrad das linke oder rechte Vorderrad des eigenen Fahrzeugs 2 sein.The position of the host vehicle 2 with respect to the path area can be determined by analyzing the shot data. Here, the position of the own vehicle 2 is a position of a portion of the own vehicle 2 that is closest to the path. A position of the lateral surface of the subject vehicle 2 that is close to the path can be used as the position of the subject vehicle 2, for example. As another example, a position of the front wheel that is close to the path can be used as the position of the own vehicle 2 . Here, the front wheel may be the left or right front wheel of the own vehicle 2 .

In S3 bestimmt die Bilderzeugungseinheit auf der Grundlage der Position des eigenen Fahrzeugs 2, die in S2 berechnet wurde, ob ein Teilabschnitt des eigenen Fahrzeugs 2 in den Pfad gelangt ist. Wenn das Ergebnis der Bestimmung in S3 nein lautet, schreitet der Prozess zu S4. In S4 setzt der Prozess ein Anzeigen des derzeitig angezeigten Bildes fort. Zu der Zeit der Ausführung von S4 wird beispielsweise das Umgebungsbild 140 angezeigt, ohne dass das Hinterpfadbild 150 angezeigt wird, und der Prozess setzt das Anzeigen des Umgebungsbildes 140, das derzeitig angezeigt wird, fort. Wenn das Ergebnis der Bestimmung in S3 ja lautet, schreitet der Prozess zu S5. Der Prozess erzeugt das Hinterpfadbild durch Ausführen von S5 und die anschließenden Prozesse, wie es später beschrieben wird. Somit ist die Bestimmungsbedingung in S3 eine Bilderzeugungsbedingung eines Erzeugens des Hinterpfadbildes 150.In S3, the imaging unit determines whether a portion of the own vehicle 2 has entered the path based on the position of the own vehicle 2 calculated in S2. If the result of the determination in S3 is no, the process proceeds to S4. In S4, the process continues displaying the currently displayed image. At the time of execution of S4, for example, the surrounding image 140 is displayed without the behind-path image 150 being displayed, and the process continues displaying the surrounding image 140 currently being displayed. If the result of the determination in S3 is yes, the process proceeds to S5. The process creates the trailing path image by executing S5 and the subsequent processes as will be described later. Thus, the determination condition in S3 is an image generation condition of generating the rear path image 150.

In S5 berechnet die Bilderzeugungseinheit eine Pfadgrenzlinie des Pfades, in dem sich das Fahrzeug 2 vorwärtsbewegen wird, die Relativposition des Fahrzeugs 2 in Bezug auf den Pfad und einen Relativwinkel des Fahrzeugs 2 in Bezug auf die Pfadgrenzlinie. Die Berechnung der Relativposition ist dieselbe wie in S2. Der Relativwinkel kann durch Bildanalyse der Aufnahmedaten bestimmt werden.In S5, the imaging unit calculates a path boundary line of the path in which the vehicle 2 will advance, the relative position of the vehicle 2 with respect to the path, and a relative angle of the vehicle 2 with respect to the path boundary line. The calculation of the relative position is the same as in S2. The relative angle can be determined by image analysis of the recording data.

In S6 bestimmt die Bilderzeugungseinheit die virtuelle Kameraposition 160 und eine Richtung der virtuellen Kamera auf der Grundlage der Relativposition und des Relativwinkels, die in S5 bestimmt wurden. Wie es in 3 gezeigt ist, werden die virtuelle Kameraposition 160 und die Richtung der virtuellen Kamera unter der Bedingung bestimmt, dass das Hinterpfadbild 150, das den hinteren Querpfadbereich 151 zeigt, der in Bezug auf das eigene Fahrzeug 2 als ein Bezug definiert ist, durch die Kamera aufgenommen wird. Die virtuelle Kameraposition 160 ist ein Punkt, der sich von einem vorbestimmten Punkt des eigenen Fahrzeugs 2 als einem Bezugspunkt um voreingestellte Strecken dx, dy und dz in den x-, y- und z-Richtungen bewegt hat. Die Richtung der virtuellen Kamera kann auf einen vorbestimmten Winkel festgelegt werden, der von einer Bezugsebene des eigenen Fahrzeugs 2 in Richtung des Pfades rotiert ist. Die Bezugsebene des eigenen Fahrzeugs kann als eine vertikale Ebene definiert werden, die einen Mittelpunkt einer Fahrzeugbreite durchläuft und parallel zu der Vorne-hinten-Richtung des eigenen Fahrzeugs 2 ist.In S6, the imaging unit determines the virtual camera position 160 and a direction of the virtual camera based on the relative position and relative angle determined in S5. like it in 3 1, the virtual camera position 160 and the virtual camera direction are determined on condition that the rear path image 150 showing the rear cross path area 151 defined with respect to the own vehicle 2 as a reference is picked up by the camera . The virtual camera position 160 is a point that has moved from a predetermined point of the own vehicle 2 as a reference point by preset distances dx, dy, and dz in the x, y, and z directions. The direction of the virtual camera can be fixed at a predetermined angle rotated from a reference plane of the own vehicle 2 toward the path. The subject vehicle reference plane may be defined as a vertical plane that passes through a center of a vehicle width and is parallel to the front-rear direction of the subject vehicle 2 .

Die Richtung der virtuellen Kamera kann auf der Grundlage einer Richtung, in die sich der Pfadbereich erstreckt, anstelle auf der Grundlage des Relativwinkels des Fahrzeugs 2 bestimmt werden. Die Richtung, in die sich der Pfadbereich erstreckt, kann durch Bestimmen der Position des eigenen Fahrzeugs 2 in der Karte anhand der Koordinaten des eigenen Fahrzeugs 2 und Einstellen der Richtung, in die sich der Pfad an der bestimmten Position des Fahrzeugs 2 erstreckt, bestimmt werden.The direction of the virtual camera may be determined based on a direction in which the path area extends instead of based on the relative angle of the vehicle 2 . The direction in which the path area extends can be determined by determining the position of the subject vehicle 2 on the map based on the coordinates of the subject vehicle 2 and setting the direction in which the path extends at the determined position of the vehicle 2 .

In S7 beschafft die Bilderzeugungseinheit einen Abstand zu einem Hindernis in der Umgebung auf der Grundlage der Informationen, die durch die Fahrzeuginformations-Eingangs/Ausgangs-Einheit 112 bereitgestellt werden. In S8 erzeugt die Bilderzeugungseinheit Bilddaten (das heißt eine Zeichnung), die das Umgebungsbild 140 und das Hinterpfadbild 150 repräsentieren, auf der Grundlage der jüngsten Aufnahmedaten, und die erzeugten Bilddaten werden an die Ausgangssteuerungseinheit 115 ausgegeben. Die Ausgangssteuerungseinheit 115 gibt die Bilddaten an die Anzeige 130 aus, und die Anzeige 130 zeigt das Umgebungsbild 140 und das Hinterpfadbild 150 auf der Anzeigeeinheit 131 an. Wenn der kürzeste Abstand unter den Abständen, die in S7 beschafft werden, gleich oder größer als ein Aufmerksamkeitsabstandsschwellenwert ist, wird das Umgebungsbild 140 derart erzeugt, dass das Eigenes-Fahrzeug-Bildelement 142 in der Mitte des Umgebungsbildes 140 positioniert ist. Ein Beispiel dieses Umgebungsbildes 140 ist in 2 gezeigt. Der Aufmerksamkeitsabstandsschwellenwert ist ein Abstand, bei dem spezielle Aufmerksamkeit benötigt wird, sodass das eigene Fahrzeug 2 einen Kontakt zu einem Hindernis vermeiden kann. Der Aufmerksamkeitsabstandsschwellenwert wird im Voraus auf der Grundlage von experimentellen Daten oder Ähnlichem eingestellt.In S<b>7 , the imaging unit acquires a distance to an obstacle around based on the information provided by the vehicle information input/output unit 112 . In S<b>8 , the image generation unit generates image data (ie, a drawing) representing the surrounding image 140 and the behind-path image 150 based on the recent shooting data, and the generated image data is output to the output control unit 115 . The output control unit 115 outputs the image data to the display 130 , and the display 130 displays the surrounding image 140 and the behind-path image 150 on the display unit 131 . When the shortest distance among the distances acquired in S7 is equal to or greater than an attention distance threshold, the surrounding image 140 is generated such that the own-vehicle pixel 142 is positioned at the center of the surrounding image 140 . An example of this environment image 140 is in 2 shown. The attention distance threshold is a distance at which special attention is required so that the own vehicle 2 can avoid contact with an obstacle. The attention distance threshold is set in advance based on experimental data or the like.

Wenn der kürzeste Abstand kleiner als der Aufmerksamkeitsabstandsschwellenwert ist, wird das Umgebungsbild 140 derart erzeugt, dass der kürzeste Abstand auf einfach erkennbare Weise angezeigt wird. Das Umgebungsbild 140 kann im Vergleich zu einem Fall, in dem das Eigenes-Fahrzeug-Bildelement 142 in der Mitte des Umgebungsbildes 140 angeordnet ist, beispielsweise derart gezeichnet werden, dass der Abschnitt des eigenen Fahrzeugs, der den kürzesten Abstand zu dem Hindernis hat, nahe bei der Mitte des Umgebungsbildes 140 angeordnet ist. Alternativ kann das Umgebungsbild 140 derart gezeichnet werden, dass der Abschnitt des eigenen Fahrzeugs, der den kürzesten Abstand zu dem Hindernis aufweist, vergrößert ist, wenn der kürzeste Abstand kleiner als der Aufmerksamkeitsabstandsschwellenwert ist, im Vergleich dazu, wenn der kürzeste Abstand gleich oder größer als der Aufmerksamkeitsabstandsschwellenwert ist. Wenn das Umgebungsbild 140, in dem der Abschnitt des eigenen Fahrzeugs, der den kürzesten Abstand zu dem Hindernis aufweist, vergrößert ist, gezeichnet wird, ist der Aufmerksamkeitsabstandsschwellenwert ein Schwellenwert zum Bestimmen, ob das Umgebungsbild 140 zu vergrößern ist, das heißt entspricht einem Vergrößerungsabstandsschwellenwert.If the shortest distance is less than the attentional distance threshold, the environmental image 140 is generated such that the shortest distance is displayed in an easily recognizable manner. For example, the surrounding image 140 can be drawn such that the portion of the own vehicle that is the shortest distance from the obstacle is close, compared to a case where the own-vehicle image element 142 is arranged in the center of the surrounding image 140 located at the center of the environment image 140 . Alternatively, the environment image 140 may be drawn such that the portion of the subject vehicle that is the shortest distance to the obstacle is enlarged when the shortest distance is less than the attention distance threshold, compared to when the shortest distance is equal to or greater than is the attention distance threshold. When the surrounding image 140 in which the portion of the own vehicle closest to the obstacle is enlarged is drawn is drawn, the attention distance threshold is a threshold value for determining whether to enlarge the surrounding image 140, that is, corresponds to an enlarging distance threshold.

In dem Umgebungsbild 140, das in 5 gezeigt ist, ist der kürzeste Abstand von dem eigenen Fahrzeug zu dem Hindernis kleiner als der Aufmerksamkeitsabstandsschwellenwert. In dem Umgebungsbild 140, das in 5 gezeigt ist, ist der Abschnitt des eigenen Fahrzeugs, der den kürzesten Abstand zu dem Hindernis aufweist, die linke vordere Ecke 2a des eigenen Fahrzeugs. In dem Umgebungsbild 140, das in 5 gezeigt ist, ist das Eigenes-Fahrzeug-Bildelement 142 an einem unteren rechten Abschnitt des Umgebungsbildes 140 angeordnet, sodass die linke vordere Ecke 2a des eigenen Fahrzeugs 2 in der Nähe der Mitte des Umgebungsbildes 140 angeordnet ist. In dem Umgebungsbild 140, das in 5 gezeigt ist, wird die linke vordere Ecke 2a des eigenen Fahrzeugs 2 im Vergleich zu dem übrigen Teil des Umgebungsbildes 140 vergrößert dargestellt.In the environment image 140 shown in 5 1, the shortest distance from the subject vehicle to the obstacle is less than the attention distance threshold. In the environment image 140 shown in 5 As shown, the portion of the own vehicle which is the shortest distance to the obstacle is the left front corner 2a of the own vehicle. In the environment image 140 shown in 5 As shown, the subject vehicle image element 142 is arranged at a lower right portion of the surrounding image 140 so that the left front corner 2a of the subject vehicle 2 is located near the center of the surrounding image 140 . In the environment image 140 shown in 5 As shown, the left front corner 2a of the subject vehicle 2 is enlarged compared to the remaining part of the surrounding image 140 .

In dem Umgebungsbild 140, das in 5 gezeigt ist, wird ein Blickpunktpositionsbildelement 143 angezeigt. Das Blickpunktpositionsbildelement 143, das in dem Umgebungsbild 140 angezeigt wird, gibt einen Blickpunkt des Hinterpfadbildes 150 an, das gleichzeitig mit dem Umgebungsbild 140 angezeigt wird. Die Position des Blickpunktes des Hinterpfadbildes 150 wird bestimmt, wenn das Hinterpfadbild 150 durch die Bilderzeugungseinheit gezeichnet wird. In dem Umgebungsbild 140 ist die Position des Blickpunktpositionsbildelementes 143 relativ zu dem Eigenes-Fahrzeug-Bildelement 142 derart bestimmt, dass die Position des Blickpunktpositionsbildelementes 143 die Position des Blickpunktes des Hinterpfadbildes 150 in Bezug auf das eigene Fahrzeug 2 angibt.In the environment image 140 shown in 5 As shown, a viewpoint position pixel 143 is displayed. The viewpoint position pixel 143 displayed in the surrounding image 140 indicates a viewpoint of the behind-path image 150 displayed simultaneously with the surrounding image 140 . The position of the viewpoint of the behind path image 150 is determined when the behind path image 150 is drawn by the image generation unit. In the surrounding image 140 , the position of the viewpoint position pixel 143 relative to the subject vehicle pixel 142 is determined such that the position of the viewpoint position pixel 143 indicates the position of the viewpoint of the rear path image 150 with respect to the subject vehicle 2 .

In S9 bestätigt der Prozess als ein Hinterpfadbestätigungsprozess den hinteren Pfad und zeichnet ein Bild, das ein Bestätigungsergebnis des hinteren Pfades zeigt. Dann werden die Bilddaten, die das Bild repräsentieren, das das Bestätigungsergebnis zeigt, an die Ausgangssteuerungseinheit 115 ausgegeben. Der Hinterpfadbestätigungsprozess bestätigt bzw. überprüft, ob ein bewegtes Objekt, das sich in Richtung des eigenen Fahrzeugs 2 bewegt, in den hinteren Querpfadbereich 151 austritt. Der Bestätigungsprozess wird durch Analysieren der Bilddaten, die zum Erzeugen des Hinterpfadbildes 150 verwendet werden, durchgeführt.In S9, as a rear path confirmation process, the process confirms the rear path and draws an image showing a confirmation result of the rear path. Then, the image data representing the image showing the confirmation result is output to the output control unit 115 . The rear path confirmation process confirms whether a moving object moving toward the host vehicle 2 exits into the rear cross path area 151 . The verification process is performed by analyzing the image data used to generate the trailing path image 150 .

5 zeigt zwei Arten von Aufmerksamkeitsrufbildelementen 153a und 153b, die die Bestätigungsergebnisse zeigen. Wenn zwischen diesen beiden Arten von Aufmerksamkeitsrufbildelementen 153a und 153b nicht unterschieden werden muss, werden diese einfach als Aufmerksamkeitsrufbildelement 153 bezeichnet. Ein anderes Fahrzeug 5, das sich in Richtung des eigenen Fahrzeugs 2 bewegt, ist in dem Hinterpfadbild 150 enthalten. Um die Aufmerksamkeit auf das andere Fahrzeug 5 zu lenken, kann das Aufmerksamkeitsrufbildelement 153 als ein Bild angezeigt werden, das das Bestätigungsergebnis zeigt. Das Aufmerksamkeitsrufbildelement 153a ist ein Bild, das einem Eckenabschnitt des Hinterpfadbildes 150 überlagert wird. Das Aufmerksamkeitsrufbildelement 153b ist ein Bild, das einen Rahmen des Hinterpfadbildes 150 hervorhebt. 5 Fig. 12 shows two types of attention-calling picture elements 153a and 153b, which confirm the acknowledgment show results. Where there is no need to distinguish between these two types of alerting pixel 153a and 153b, they are referred to simply as alerting pixel 153. Another vehicle 5 moving toward the own vehicle 2 is included in the trail behind image 150 . In order to draw attention to the other vehicle 5, the attention-calling image element 153 may be displayed as an image showing the confirmation result. The attention-calling pixel 153a is an image superimposed on a corner portion of the behind-path image 150 . The attention-calling picture element 153 b is a picture that emphasizes a frame of the behind-path picture 150 .

6 zeigt ein Bestätigungsergebnisbildelement 154, das angezeigt wird, wenn ein bewegtes Objekt, das sich dem eigenen Fahrzeug 2 annähert, nicht in dem hinteren Querpfadbereich 151 enthalten ist, als Ergebnis des Bestätigungsprozesses. 6 14 shows a confirmation result picture element 154 displayed when a moving object approaching the own vehicle 2 is not included in the rear cross path area 151 as a result of the confirmation process.

In S10 bestimmt der Prozess, ob ein gleichzeitiges Anzeigen des Umgebungsbildes 140 und des Hinterpfadbildes 150 zu beenden ist. Wenn beispielsweise der gesamte Teil des eigenen Fahrzeugs 2 in den Pfad eingefahren ist, lautet das Ergebnis der Bestimmung in S10 ja. Wenn ein Teil des eigenen Fahrzeugs 2 noch nicht in den Pfad eingefahren ist, lautet das Ergebnis der Bestimmung in S10 nein. Wenn das Bestimmungsergebnis in S10 nein lautet, kehrt der Prozess zu S5 zurück.In S10, the process determines whether to stop simultaneously displaying the surrounding image 140 and the behind-path image 150 . For example, when the entire part of the own vehicle 2 has entered the path, the result of the determination in S10 is yes. When a part of the own vehicle 2 has not yet entered the path, the result of the determination in S10 is no. If the determination result in S10 is no, the process returns to S5.

In der Wiederholung von S5 bis S10 kann die Richtung der virtuellen Kamera in S6 fortlaufend entsprechend der Richtungsänderung des eigenen Fahrzeugs ab der zweiten Ausführung des Prozesses geändert werden. Alternativ kann in S6 ab der zweiten Ausführung die Richtung der virtuellen Kamera ohne Änderung bei der das erste Mal in S6 bestimmten Richtung verbleiben.In the repetition of S5 to S10, the direction of the virtual camera in S6 can be continuously changed according to the direction change of the own vehicle from the second execution of the process. Alternatively, in S6 from the second embodiment onwards, the direction of the virtual camera may remain at the direction determined the first time in S6 without changing.

Wenn das Ergebnis der Bestimmung in S10 ja lautet, schreitet der Prozess zu S11. In S11 bestimmt der Prozess, ob der in 4 gezeigte Prozess zu beenden ist. Wenn die Geschwindigkeit des eigenen Fahrzeugs 2 einen Niedriggeschwindigkeitsbereich überschreitet, bei dem geschätzt wird, dass das Fahrzeug unmittelbar nach einem Start einer Bewegung aus dem Parkzustand gestartet ist, gibt es keine Notwendigkeit mehr, das Umgebungsbild 140 anzuzeigen. Wenn beispielsweise die Geschwindigkeit des eigenen Fahrzeugs 2 den Niedriggeschwindigkeitsbereich überschreitet, kann der in 4 gezeigte Prozess beendet werden. Wenn das Bestimmungsergebnis in S11 nein lautet, kehrt der Prozess zu S3 zurück.If the result of the determination in S10 is yes, the process proceeds to S11. In S11, the process determines whether the in 4 process shown is to end. When the speed of the own vehicle 2 exceeds a low speed range where the vehicle is estimated to have started immediately after a start of movement from the parking state, there is no longer a need to display the surrounding image 140 . For example, when the speed of the own vehicle 2 exceeds the low speed range, the in 4 shown process to end. If the determination result in S11 is no, the process returns to S3.

Zusammenfassung der AusführungsformSummary of the embodiment

In der Fahrzeuganzeigevorrichtung 100, die in der vorliegenden Ausführungsform beschrieben ist, werden das Umgebungsbild 140 und das Hinterpfadbild 150 gleichzeitig auf der Anzeigeeinheit 131 angezeigt. Durch Betrachten der Anzeigeeinheit 131 kann der Insasse des eigenen Fahrzeugs 2 gleichzeitig den Pfad auf der Rückseite des eigenen Fahrzeugs und den Umgebungsbereich des eigenen Fahrzeugs 2 bestätigen bzw. überprüfen. Somit ist es möglich, auf einfache Weise die Bereiche, die bestätigt werden müssen, zu bestätigen, wenn der Parkplatz oder das Parkgelände verlassen wird.In the vehicle display device 100 described in the present embodiment, the surrounding image 140 and the behind path image 150 are displayed on the display unit 131 at the same time. By viewing the display unit 131, the occupant of the own vehicle 2 can confirm the path on the rear of the own vehicle and the surrounding area of the own vehicle 2 at the same time. Thus, it is possible to easily confirm the areas that need to be confirmed when leaving the parking lot or parking area.

Die Bilderzeugungseinheit 114 zeigt das Hinterpfadbild 150 auf der Anzeigeeinheit 131 an, wenn ein Teil des Fahrzeugs 2 in den Pfad gelangt ist. Somit wird das Hinterpfadbild 150 angezeigt, wenn eine Bestätigung des hinteren Querpfadbereiches 151 dringend benötigt wird. Das Hinterpfadbild 150 wird nicht angezeigt, wenn die Bestätigung des hinteren Querpfadbereiches 151 nicht dringend benötigt wird, das heißt, wenn die Bestätigung nicht unbedingt erfolgen muss. Somit kann ein Anzeigefenster der Anzeigeeinheit 131 effektiv verwendet werden.The image generation unit 114 displays the behind path image 150 on the display unit 131 when a part of the vehicle 2 has entered the path. Thus, the rear path image 150 is displayed when confirmation of the rear cross path area 151 is urgently needed. The rear path image 150 is not displayed when the confirmation of the rear cross path area 151 is not urgently needed, that is, when the confirmation is not essential. Thus, a display window of the display unit 131 can be used effectively.

Das Hinterpfadbild 150 ist ein Bild, das von der virtuellen Kameraposition 160 aus betrachtet wird, die vor dem eigenen Fahrzeug 2 festgelegt wird. Das Hinterpfadbild 150 enthält das Eigenes-Fahrzeug-Bildelement 152, das einen Teilabschnitt der vorderen Endfläche des eigenen Fahrzeugs 2 repräsentiert. Somit kann das Anzeigen des Hinterpfadbildes 150 dabei helfen, dass der Insasse auf einfache Weise die Beziehung zwischen dem hinteren Querpfadbereich 151 und dem eigenen Fahrzeug 2 erkennen kann.The rear path image 150 is an image viewed from the virtual camera position 160 set in front of the own vehicle 2 . The rear path image 150 includes the subject vehicle image element 152 representing a partial portion of the front end face of the subject vehicle 2 . Thus, displaying the rear path image 150 can help the occupant easily recognize the relationship between the rear cross path area 151 and the own vehicle 2 .

Das Umgebungsbild 140, das gleichzeitig mit dem Hinterpfadbild 150 angezeigt wird, enthält das Blickpunktpositionselement 143, das den virtuellen Blickpunkt des Hinterpfadbildes 150 angibt. Somit kann das Anzeigen des Blickpunktpositionselementes dabei helfen, dass der Insasse auf einfache Weise den Blickpunkt des Hinterpfadbildes 150 erkennen kann.The environment image 140, which is displayed simultaneously with the behind-path image 150, contains the viewpoint position element 143, which indicates the virtual viewpoint of the behind-path image 150. FIG. Thus, displaying the viewpoint position item can help the occupant easily recognize the viewpoint of the rear path image 150 .

Wenn der kürzeste Abstand zwischen dem Fahrzeug 2 und dem Hindernis kleiner als der Aufmerksamkeitsabstandsschwellenwert ist, vergrößert die Bilderzeugungseinheit 114 den Abschnitt des eigenen Fahrzeugs 2, der den kürzesten Abstand zu dem Hindernis hat, in dem Umgebungsbild 140 (siehe 6) im Vergleich zu einem Fall, in dem der kürzeste Abstand gleich oder größer als der Aufmerksamkeitsabstandsschwellenwert ist (S8). Somit kann der Insasse des eigenen Fahrzeugs 2 durch Betrachten des Umgebungsbildes 140, in dem der Abschnitt des eigenen Fahrzeugs vergrößert dargestellt ist, auf einfache Weise bestimmen, ob das eigene Fahrzeug 2 wahrscheinlich ein Hindernis kontaktieren wird,When the shortest distance between the vehicle 2 and the obstacle is smaller than the attention distance threshold, the imaging unit 114 enlarges the portion of the own vehicle 2 that is the shortest distance from the obstacle in the surrounding image 140 (see FIG 6 ) compared to a case where the shortest distance is equal to or greater than the attention distance threshold (S8). Thus, the occupant of the host vehicle 2 can view the surrounding image 140 in which the section of the host vehicle is enlarged is provided, easily determine whether the own vehicle 2 is likely to contact an obstacle,

Wenn ein bewegtes Objekt, das sich in Richtung des eigenen Fahrzeugs 2 bewegt, in dem Hinterpfadbild 150 gezeigt wird, wird das Aufmerksamkeitsrufbildelement 153 auf der Anzeigeeinheit 131 angezeigt. Das Anzeigen des Aufmerksamkeitsrufbildelementes 153 kann den Insassen, der das Hinterpfadbild 150 betrachtet, dabei auf einfache Weise unterstützen, das Vorhandensein des bewegten Objektes zu erkennen.When a moving object moving toward the own vehicle 2 is shown in the behind path image 150 , the attention calling pixel 153 is displayed on the display unit 131 . Displaying the attention-calling pixel 153 can easily assist the occupant viewing the behind-path image 150 in recognizing the presence of the moving object.

Wenn ein bewegtes Objekt, das sich dem eigenen Fahrzeug 2 annähert, nicht in dem Hinterpfadbild 150 enthalten ist, wird das Bestätigungsergebnisbildelement 154, das angibt, dass ein bewegtes Objekt, das sich dem eigenen Fahrzeug 2 annähert, in dem hinteren Querpfadbereich 151 nicht anwesend ist, auf der Anzeigeeinheit 131 angezeigt. Somit kann der Insasse des eigenen Fahrzeugs 2 durch Betrachten des Bestätigungsergebnisbildelementes 154 auf einfache Weise bestimmen, dass es ein bewegtes Objekt, das sich dem eigenen Fahrzeug 2 annähert, nicht in dem hinteren Querpfadbereich 151 gibt.When a moving object approaching own vehicle 2 is not included in rear path image 150, confirmation result picture element 154 indicating that a moving object approaching own vehicle 2 is not present in rear cross path area 151 , displayed on the display unit 131 . Thus, the occupant of the own vehicle 2 can easily determine that there is no moving object approaching the own vehicle 2 in the rear cross-path area 151 by viewing the confirmation result pixel 154 .

Auch wenn oben eine Ausführungsform beschrieben wurde, ist die offenbarte Technologie nicht auf die oben beschriebene Ausführungsform beschränkt, und es sind die folgenden Modifikationen enthalten. Außerdem sind verschiedene Modifikationen innerhalb des Bereiches der vorliegenden Erfindung möglich. In der folgenden Beschreibung beziehen sich Elemente, die dieselben Bezugszeichen wie die Elemente aufweisen, die in der obigen Ausführungsform beschrieben wurden, auf dieselben Elemente mit der Ausnahme, wenn eine spezielle Erläuterung erfolgt. Wenn nur ein Teil der Konfiguration beschrieben ist, kann hinsichtlich der übrigen Teile der Konfiguration Bezug auf die oben beschriebene Ausführungsform genommen werden.Although an embodiment has been described above, the disclosed technology is not limited to the embodiment described above, and the following modifications are included. In addition, various modifications are possible within the scope of the present invention. In the following description, elements having the same reference numerals as the elements described in the above embodiment refer to the same elements except when a specific explanation is given. When only a part of the configuration is described, the remaining parts of the configuration can be referred to the embodiment described above.

Erste ModifikationFirst modification

In der obigen Ausführungsform wird das Hinterpfadbild 150 des eigenen Fahrzeugs 2 aus Sicht von der virtuellen Kameraposition 160 vor dem eigenen Fahrzeug 2 angezeigt. Anstelle dieses Hinterpfadbildes 150 kann ein Bild angezeigt werden, das durch eine Seitenkamera aufgenommen wird, die an einer Seite des Fahrzeugs 2 angeordnet ist. Das Hinterpfadbild 250, das in 7 gezeigt ist, kann beispielsweise anstelle des Hinterpfadbildes 150 angezeigt werden. Das Hinterpfadbild 250 zeigt auch den hinteren Querpfadbereich 151. Zusätzlich zeigt das Hinterpfadbild 250 eine Querposition des eigenen Fahrzeugs 2. Somit kann das Hinterpfadbild 250 ebenfalls die Beziehung zwischen dem eigenen Fahrzeug 2 und dem hinteren Querpfadbereich 151 zeigen. Wie es in der obigen Ausführungsform beschrieben ist, kann das Hinterpfadbild 150 durch Kombinieren der Bilder, die von mehreren Kameras 11 aufgenommen werden, erzeugt werden. Das Hinterpfadbild 250 kann jedoch auch nur aus den Bildern, die von einer einzigen Seitenkamera aufgenommen werden, erzeugt werden. Somit kann die arithmetische Verarbeitung zum Erzeugen des Hinterpfadbildes verringert werden.In the above embodiment, the rear path image 150 of the own vehicle 2 viewed from the virtual camera position 160 in front of the own vehicle 2 is displayed. Instead of this rear path image 150, an image picked up by a side camera arranged on a side of the vehicle 2 may be displayed. The back path image 250 shown in 7 may be displayed in place of the trailing path image 150, for example. The rear path image 250 also shows the rear cross path area 151. In addition, the rear path image 250 shows a lateral position of the own vehicle 2. Thus, the rear path image 250 can also show the relationship between the own vehicle 2 and the rear cross path area 151. As described in the above embodiment, the trailing path image 150 can be generated by combining the images captured by multiple cameras 11 . However, the trailing path image 250 may be generated from only the images captured by a single side camera. Thus, the arithmetic processing for generating the rear path image can be reduced.

Zweite ModifikationSecond modification

In dem Umgebungsbild 140, das in der obigen Ausführungsform beschrieben ist, ist das Eigenes-Fahrzeug-Bildelement 142 in der Mitte des Umgebungsbildes angeordnet. Wie es mit Bezug auf 3 beschrieben wurde, ist es, wenn das eigene Fahrzeug 2 in den Pfad, der auf der rechten Seite des eigenen Fahrzeugs 2 angeordnet ist, einfährt, notwendig, Aufmerksamkeit auf die linke Seite des eigenen Fahrzeugs 2 zu richten. Wenn im Gegensatz dazu das eigene Fahrzeug 2 in den Pfad einfährt, der auf der linken Seite des eigenen Fahrzeugs 2 angeordnet ist, ist es notwendig, Aufmerksamkeit auf die rechte Seite des eigenen Fahrzeugs 2 zu richten. Somit kann wie in dem Umgebungsbild 240, das in 8 gezeigt ist, unabhängig von dem Abstand zu dem Hindernis ein Bereich, der weiter von dem Pfad entfernt ist, im Vergleich zu dem eigenen Fahrzeug 2 breiter gezeigt werden. In dem Umgebungsbild 240, das in 8 gezeigt ist, ist der Pfad auf der rechten Seite des eigenen Fahrzeugs vorhanden. Somit ist das Eigenes-Fahrzeug-Bildelement 142 an dem unteren rechten Ende des Umgebungsbildes 240 positioniert.In the surrounding image 140 described in the above embodiment, the own vehicle pixel 142 is located at the center of the surrounding image. As it relates to 3 has been described, when the subject vehicle 2 enters the path located on the right side of the subject vehicle 2 , it is necessary to pay attention to the left side of the subject vehicle 2 . In contrast, when the own vehicle 2 enters the path located on the left side of the own vehicle 2 , it is necessary to pay attention to the right side of the own vehicle 2 . Thus, as in the environment image 240 shown in 8th shown, regardless of the distance to the obstacle, an area farther from the path can be shown wider compared to the own vehicle 2 . In the environment image 240 shown in 8th is shown, the path is present on the right side of the own vehicle. Thus, the own vehicle pixel 142 is positioned at the lower right end of the environment image 240 .

Dritte ModifikationThird modification

In der obigen Ausführungsform wird die Richtung der virtuellen Kamera als der Relativwinkel in Bezug auf das eigene Fahrzeug 2 bestimmt. Unter der Bedingung, dass der hintere Querpfadbereich 151 in dem Hinterpfadbild 150 gezeigt wird, kann die Richtung der virtuellen Kamera auf einen festen Winkel in Bezug auf eine Erstreckungsrichtung des Pfades festgelegt werden.In the above embodiment, the direction of the virtual camera is determined as the relative angle with respect to the own vehicle 2 . Under the condition that the rear cross-path area 151 is shown in the rear-path image 150, the direction of the virtual camera can be set at a fixed angle with respect to an extending direction of the path.

Vierte ModifikationFourth modification

In der obigen Ausführungsform wurde ein Beispiel beschrieben, bei dem das eigene Fahrzeug in die Straße 4 von einem parallelen Parkzustand bzw. Längsparkzustand (parallel zur Straße bzw. Hintereinander-Parkzustand) aus einfährt. Alternativ kann die Fahrzeuganzeigevorrichtung 100 auch für einen Fall verwendet werden, in dem das Fahrzeug eine Bewegung von einem Parkzustand aus startet, bei dem das Fahrzeug nicht in Reihe zu einem anderen Fahrzeug 5 parkt, beispielsweise einem senkrechten Parkzustand bzw. Quer-Parkzustand (senkrecht bzw. quer zur Straße bzw. Nebeneinander-Parkzustand).In the above embodiment, an example in which the subject vehicle enters the road 4 from a parallel parking state (parallel to the road or back-to-back parking state) has been described. Alternatively, the vehicle display device 100 can also be used for a case where the vehicle starts moving from a parking state where the vehicle is not parked in line with another vehicle 5 such as a lower one Right parking condition or transverse parking condition (perpendicular or across the street or side-by-side parking condition).

9 zeigt einen hinteren Querpfadbereich 151 und Ähnliches, wenn das eigene Fahrzeug eine Bewegung aus dem Quer-Parkzustand heraus startet. In 9 ist eine Trennwand 6 der Straße 4 vor dem eigenen Fahrzeug 2 in dessen geparktem Zustand angeordnet. In dem Fall, der in 9 gezeigt ist, muss der Insasse spezielle Aufmerksamkeit darauf verwenden, dass der linke hintere Abschnitt 2b und die rechte vordere Ecke 2c des eigenen Fahrzeugs kein Hindernis kontaktieren, wenn das eigene Fahrzeug 2 aus dem Parkplatz 3 auf die Straße 4 einfährt. Der hintere Querpfadbereich 151, der in 9 gezeigt ist, entspricht einem Querbereich des eigenen Fahrzeugs 2, wenn der gesamte Teil des eigenen Fahrzeugs 2 innerhalb des Parkplatzes 3 positioniert ist. Wenn das eigene Fahrzeug 2 auf die Straße 4 einfährt, entspricht der hintere Querpfadbereich 151 dem hinteren Querbereich des eigenen Fahrzeugs 2. Die virtuelle Kameraposition 160 ist vor dem eigenen Fahrzeug 2 angeordnet, von wo der hintere Querpfadbereich 151 aufgenommen werden kann. 9 14 shows a rear lateral path area 151 and the like when the own vehicle starts moving from the lateral parking state. In 9 a partition wall 6 of the road 4 is arranged in front of the own vehicle 2 in its parked state. In the case that in 9 1, when the own vehicle 2 enters the road 4 from the parking space 3, the occupant needs to pay special attention that the left rear portion 2b and the right front corner 2c of the own vehicle do not contact any obstacle. The rear transverse path area 151, which is in 9 1 corresponds to a transverse range of the subject vehicle 2 when the entire part of the subject vehicle 2 is positioned within the parking space 3 . When the subject vehicle 2 enters the road 4, the rear cross-path area 151 corresponds to the rear cross-path area of the subject vehicle 2. The virtual camera position 160 is arranged in front of the subject vehicle 2, from which the rear cross-path area 151 can be photographed.

Zusätzlich zu dem parallelen Parken bzw. Längsparken und dem senkrechten Parken bzw. Querparken kann der Prozess, der in 4 gezeigt ist, ausgeführt werden, wenn das eigene Fahrzeug 2 aus dem Parkgelände auf die Straße 4 einfährt oder wenn das eigene Fahrzeug mit einer niedrigen Geschwindigkeit von einer schmalen Straße auf eine breite Straße einfährt.In addition to the parallel parking or parallel parking and the vertical parking or perpendicular parking, the process in 4 shown can be performed when the own vehicle 2 enters the road 4 from the parking area or when the own vehicle enters a wide road from a narrow road at a low speed.

Fünfte ModifikationFifth modification

In der obigen Ausführungsform wird die Errichtung bzw. Erfüllung einer Bilderzeugungsbedingung als ein Zustand definiert, in dem der Teilabschnitt des eigenen Fahrzeugs 2 in den Pfad eingefahren ist. Alternativ kann die Bilderzeugungsbedingung erfüllt sein, wenn ein Teilabschnitt des eigenen Fahrzeugs die Einfahrt in den Pfad plant, bevor das eigene Fahrzeug 2 tatsächlich in den Pfad einfährt. Gemäß einem anderen Beispiel kann ein geschätzter Kurs des eigenen Fahrzeugs 2, der von dem eigenen Fahrzeug geplant ist, fortlaufend berechnet werden. In diesem Fall gibt ein Zustand, in dem ein Teilabschnitt des eigenen Fahrzeugs 2 plant, in den Pfad einzufahren, an, dass der geschätzte Kurs des eigenen Fahrzeugs 2 das eigene Fahrzeug zum Einfahren in die Straße 4 leiten kann, ohne ein Hindernis, das in der Umgebung des eigenen Fahrzeugs vorhanden ist, zu kontaktieren.In the above embodiment, the establishment of an image formation condition is defined as a state where the section of the own vehicle 2 has entered the path. Alternatively, the image generation condition may be satisfied when a portion of the own vehicle plans to enter the path before the own vehicle 2 actually enters the path. As another example, an estimated course of the own vehicle 2 planned by the own vehicle may be continuously calculated. In this case, a state where a section of the subject vehicle 2 plans to enter the path indicates that the estimated course of the subject vehicle 2 can guide the subject vehicle to enter the road 4 without an obstacle present in the environment of the own vehicle is available to contact.

Wenn der geschätzte Kurs fortlaufend berechnet wird, können Linien, die den geschätzten Kurs des eigenen Fahrzeugs angeben, den Umgebungsbildern 140 und 240 überlagert werden.When the estimated course is continuously calculated, lines indicating the estimated course of own vehicle may be superimposed on the surrounding images 140 and 240 .

Sechste ModifikationSixth modification

In der obigen Ausführungsform ist das Umgebungsbild 140 ein Overhead-Ansichtsbild und wird durch Umwandeln von Bilddaten, die durch die Kamera 11 aufgenommen werden, erzeugt. Alternativ kann das Umgebungsbild ein anderes Bild anstelle des Overhead-Ansichtsbildes sein, beispielsweise die Bilddaten selbst, die von der Kamera 11 aufgenommen werden, oder verarbeitete Bilddaten, die durch Ausschneiden eines Umgebungsbereiches aus den Bilddaten, die von der Kamera 11 aufgenommen werden, erhalten werden.In the above embodiment, the surrounding image 140 is an overhead view image and is generated by converting image data captured by the camera 11 . Alternatively, the surrounding image may be another image instead of the overhead view image, such as the image data itself captured by the camera 11, or processed image data obtained by cutting out a surrounding area from the image data captured by the camera 11 .

Siebte ModifikationSeventh modification

Die Steuerungseinheit oder der Prozessor und deren Verfahren gemäß der vorliegenden Erfindung können durch einen oder mehrere spezielle zugehörige Computer implementiert werden. Ein derartiger spezieller zugehöriger Computer kann bereitgestellt werden durch (i) Konfigurieren (a) eines Prozessors und eines Speichers, der programmiert ist, eine oder mehrere Funktionen auszuführen, die von einem Computerprogramm ausgeführt werden, oder (ii) durch Konfigurieren (b) eines Prozessors, der eine oder mehrere zugehörige Hardwarelogikschaltungen enthält. Alternativ können die Steuerungseinheit oder der Prozessor und deren Verfahren gemäß der vorliegenden Erfindung durch eine zugehörige Hardwarelogikschaltung implementiert werden. Alternativ können die Steuerungseinheit oder der Prozessor und deren Verfahren gemäß der vorliegenden Erfindung durch einen oder mehrere zugehörige Computer, die eine Kombination aus einem Prozessor zum Ausführen von Computerprogrammen und mindestens einer Hardwarelogikschaltung enthalten, implementiert werden. Die Hardwarelogikschaltung kann beispielsweise ein ASIC oder FPGA sein.The control unit or processor and its method according to the present invention can be implemented by one or more dedicated computers. Such a dedicated dedicated computer may be provided by (i) configuring (a) a processor and memory programmed to perform one or more functions performed by a computer program, or (ii) configuring (b) a processor , which contains one or more associated hardware logic circuits. Alternatively, the control unit or processor and its method according to the present invention can be implemented by associated hardware logic circuitry. Alternatively, the control unit or the processor and its method according to the present invention can be implemented by one or more associated computers, which contain a combination of a processor for executing computer programs and at least one hardware logic circuit. The hardware logic circuit can be an ASIC or FPGA, for example.

Das Speichermedium zum Speichern des Computerprogramms ist nicht auf einen ROM beschränkt. Das Computerprogramm kann auch in einem computerlesbaren nichtflüchtigen dinglichen Speichermedium als Befehle, die von dem Computer auszuführen sind, gespeichert werden. Das Computerprogramm kann beispielsweise in einem Flash-Speicher gespeichert werden.The storage medium for storing the computer program is not limited to ROM. The computer program can also be stored in a computer-readable non-transitory tangible storage medium as instructions to be executed by the computer. The computer program can be stored in a flash memory, for example.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • JP 2006209134 A [0004]JP2006209134A [0004]

Claims (14)

Fahrzeuganzeigevorrichtung, die an einem Fahrzeug montiert ist, wobei die Fahrzeuganzeigevorrichtung aufweist: eine Aufnahmedatenbeschaffungseinheit (111), die Aufnahmedaten beschafft, die einen Umgebungsbereich des Fahrzeugs (2) und einen hinteren Querpfadbereich des Fahrzeugs angeben, wobei der hintere Querpfadbereich des Fahrzeugs als ein hinterer Bereich in einer Fahrtrichtung des Fahrzeugs definiert ist, wenn das Fahrzeug eine Einfahrt in einen Pfad plant; eine Bilderzeugungseinheit (114), die auf der Grundlage der Aufnahmedaten, die durch die Aufnahmedatenbeschaffungseinheit beschafft werden, ein Bild, das den hinteren Querpfadbereich zeigt, und ein Bild, das den Umgebungsbereich zeigt, erzeugt; und eine Anzeigeeinheit (131), die das Bild, das den hinteren Querpfadbereich zeigt, und das Bild, das den Umgebungsbereich zeigt, gleichzeitig anzeigt.A vehicle display device mounted on a vehicle, the vehicle display device comprising: a shot data acquisition unit (111) that acquires shot data indicating a surrounding area of the vehicle (2) and a rear cross-path area of the vehicle, the rear cross-path area of the vehicle being defined as a rear area in a traveling direction of the vehicle when the vehicle makes an entrance into plans a path; an image generation unit (114) that generates an image showing the rear cross-path area and an image showing the surrounding area based on the image data acquired by the image data acquisition unit; and a display unit (131) which simultaneously displays the image showing the rear cross-path area and the image showing the surrounding area. Fahrzeuganzeigevorrichtung nach Anspruch 1, wobei die Bilderzeugungseinheit ein Hinterpfadbild (150, 250) als das Bild, das den hinteren Querpfadbereich zeigt, erzeugt, die Bilderzeugungseinheit ein Umgebungsbild (140, 240) als das Bild, das den Umgebungsbereich zeigt, erzeugt, und das Umgebungsbild einen anderen Blickpunkt als ein Blickpunkt des Hinterpfadbildes hat.Vehicle display device according to claim 1 , wherein the image generation unit generates a rear path image (150, 250) as the image showing the rear cross path area, the image generation unit generates a surrounding image (140, 240) as the image showing the surrounding area, and the surrounding image has a viewpoint other than has a point of view of the back path image. Fahrzeuganzeigevorrichtung nach Anspruch 2, wobei das Hinterpfadbild eine Teilseitenfläche des Fahrzeugs enthält.Vehicle display device according to claim 2 , wherein the rear path image includes a partial side surface of the vehicle. Fahrzeuganzeigevorrichtung nach Anspruch 2, wobei das Hinterpfadbild den hinteren Querpfadbereich aus Sicht von einem virtuellen Blickpunkt (160) aus zeigt, der vor dem Fahrzeug positioniert ist.Vehicle display device according to claim 2 wherein the rear path image shows the rear cross path area as viewed from a virtual viewpoint (160) positioned in front of the vehicle. Fahrzeuganzeigevorrichtung nach Anspruch 4, wobei die Bilderzeugungseinheit auf der Anzeigeeinheit ein Blickpunktpositionsbildelement (143) anzeigt, das den virtuellen Blickpunkt des Hinterpfadbildes angibt.Vehicle display device according to claim 4 wherein the image generation unit displays on the display unit a viewpoint position pixel (143) indicating the virtual viewpoint of the rear path image. Fahrzeuganzeigevorrichtung nach Anspruch 4 oder 5, wobei die Bilderzeugungseinheit das Hinterpfadbild und das Umgebungsbild fortlaufend erzeugt, und ein Winkel des virtuellen Blickpunktes in Bezug auf das Fahrzeug fest ist.Vehicle display device according to claim 4 or 5 , wherein the image generation unit continuously generates the behind path image and the surrounding image, and an angle of the virtual viewpoint with respect to the vehicle is fixed. Fahrzeuganzeigevorrichtung nach Anspruch 4 oder 5, wobei die Bilderzeugungseinheit aufeinanderfolgend das Hinterpfadbild und das Umgebungsbild erzeugt, und ein Winkel des virtuellen Blickpunktes in Bezug auf den Pfad fest ist.Vehicle display device according to claim 4 or 5 , wherein the image generating unit sequentially generates the behind path image and the surrounding image, and an angle of the virtual viewpoint with respect to the path is fixed. Fahrzeuganzeigevorrichtung nach einem der Ansprüche 2 bis 7, wobei das Umgebungsbild ein Overhead-Ansichtsbild ist.Vehicle display device according to one of claims 2 until 7 , where the environment image is an overhead view image. Fahrzeuganzeigevorrichtung nach einem der Ansprüche 2 bis 8, wobei in einem Fall, in dem ein Abstand zwischen einem Abschnitt des Fahrzeugs, der in dem Umgebungsbereich enthalten ist, und einem Hindernis kleiner als ein Vergrößerungsabstandsschwellenwert ist, die Bilderzeugungseinheit das Umgebungsbild durch Vergrößern eines Abschnittes erzeugt, bei dem der Abstand von dem Abschnitt des Fahrzeugs kleiner als der Vergrößerungsabstandsschwellenwert ist, im Vergleich zu einem Fall, in dem der Abstand zwischen dem Abschnitt des Fahrzeugs, der in dem Umgebungsbereich enthalten ist, zu dem Hindernis gleich oder größer als der Vergrößerungsabstandsschwellenwert ist.Vehicle display device according to one of claims 2 until 8th , wherein in a case where a distance between a portion of the vehicle included in the surrounding area and an obstacle is smaller than a magnification distance threshold value, the image generation unit generates the surrounding image by enlarging a portion where the distance from the portion of the vehicle is smaller than the increasing distance threshold, compared to a case where the distance from the portion of the vehicle included in the surrounding area to the obstacle is equal to or larger than the increasing distance threshold. Fahrzeuganzeigevorrichtung nach einem der Ansprüche 2 bis 9, wobei die Bilderzeugungseinheit das Hinterpfadbild unter einer Bilderzeugungsbedingung erzeugt, die erfüllt ist, wenn ein Teilabschnitt des Fahrzeugs in den Pfad eingefahren ist oder ein Teilabschnitt des Fahrzeugs plant, in den Pfad einzufahren.Vehicle display device according to one of claims 2 until 9 wherein the image generation unit generates the behind path image under an image generation condition that is satisfied when a portion of the vehicle has entered the path or a portion of the vehicle plans to enter the path. Fahrzeuganzeigevorrichtung nach Anspruch 10, wobei der Pfad einen Fußgängerweg enthält, und die Bilderzeugungseinheit das Hinterpfadbild unter einer Bilderzeugungsbedingung erzeugt, die erfüllt ist, wenn der Teilabschnitt des Fahrzeugs auf den Fußgängerweg eingefahren ist oder der Teilabschnitt des Fahrzeugs plant, auf den Fußgängerweg einzufahren.Vehicle display device according to claim 10 wherein the path includes a pedestrian path, and the imaging unit generates the rear path image under an imaging condition satisfied when the vehicle section has entered the pedestrian path or the vehicle section plans to enter the pedestrian path. Fahrzeuganzeigevorrichtung nach einem der Ansprüche 2 bis 11, wobei in einem Fall, in dem ein bewegtes Objekt, das sich in Richtung des Fahrzeugs bewegt, in dem hinteren Querpfadbereiches aufgenommen wird, die Bilderzeugungseinheit auf der Anzeigeeinheit ein Aufmerksamkeitsrufbildelement (153) anzeigt, das einen Insassen des Fahrzeugs nötigt, Aufmerksamkeit auf das bewegte Objekt zu legen.Vehicle display device according to one of claims 2 until 11 wherein, in a case where a moving object moving toward the vehicle is captured in the rear cross-path area, the imaging unit displays on the display unit an attention-calling pixel (153) urging an occupant of the vehicle to pay attention to the moving to put object. Fahrzeuganzeigevorrichtung nach einem der Ansprüche 2 bis 12, wobei in einem Fall, in dem ein bewegtes Objekt, das sich in Richtung des Fahrzeugs bewegt, nicht in dem hinteren Querpfadbereiches aufgenommen wird, die Bilderzeugungseinheit auf der Anzeigeeinheit ein Bildelement anzeigt, das angibt, dass das bewegte Objekt, das sich in Richtung des Fahrzeugs bewegt, nicht in dem hinteren Querpfadbereich vorhanden ist.Vehicle display device according to one of claims 2 until 12 , wherein in a case where a moving object moving toward the vehicle is not captured in the rear cross-path area, the imaging unit displays on the display unit an image element indicating that the moving object moving toward Rich direction of the vehicle is not present in the rear cross-path area. Fahrzeuganzeigeverfahren, das aufweist: Beschaffen von Aufnahmedaten, die einen Umgebungsbereich eines Fahrzeugs und einen hinteren Querpfadbereich des Fahrzeugs angeben, wobei der hintere Querpfadbereich des Fahrzeugs als ein hinterer Bereich in einer Fahrtrichtung des Fahrzeugs definiert ist, wenn das Fahrzeug plant, in einen Pfad einzufahren; Erzeugen eines Bildes, das den hinteren Querpfadbereich zeigt, und eines Bildes, das den Umgebungsbereich zeigt, auf der Grundlage der Aufnahmedaten; und gleichzeitiges Anzeigen des Bildes, das den hinteren Querpfadbereich zeigt, und des Bildes, das den Umgebungsbereich zeigt.Vehicle display method, comprising: acquiring shot data indicating a surrounding area of a vehicle and a rear cross-path area of the vehicle, the rear cross-path area of the vehicle being defined as a rear area in a traveling direction of the vehicle when the vehicle plans to enter a path; generating an image showing the rear cross-path area and an image showing the surrounding area based on the photographed data; and simultaneously displaying the image showing the rear cross-path area and the image showing the surrounding area.
DE112021001735.7T 2020-03-20 2021-03-03 Vehicle display device and vehicle display method Pending DE112021001735T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-050365 2020-03-20
JP2020050365A JP7424144B2 (en) 2020-03-20 2020-03-20 Vehicle display device and vehicle display method
PCT/JP2021/008249 WO2021187118A1 (en) 2020-03-20 2021-03-03 Automotive display device and automotive display method

Publications (1)

Publication Number Publication Date
DE112021001735T5 true DE112021001735T5 (en) 2023-01-26

Family

ID=77768101

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021001735.7T Pending DE112021001735T5 (en) 2020-03-20 2021-03-03 Vehicle display device and vehicle display method

Country Status (4)

Country Link
JP (1) JP7424144B2 (en)
CN (1) CN115280765A (en)
DE (1) DE112021001735T5 (en)
WO (1) WO2021187118A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209134A (en) 2005-01-27 2006-08-10 Dell Products Lp Method and system for cooling of intelligent information handling system projector

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6311646B2 (en) 2015-05-20 2018-04-18 株式会社デンソー Image processing apparatus, electronic mirror system, and image processing method
JP6382896B2 (en) 2016-08-31 2018-08-29 本田技研工業株式会社 Delivery support device
JP6920976B2 (en) 2017-12-15 2021-08-18 株式会社東海理化電機製作所 Vehicle peripheral monitoring device
JP2019110448A (en) 2017-12-19 2019-07-04 クラリオン株式会社 Display control device and display system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209134A (en) 2005-01-27 2006-08-10 Dell Products Lp Method and system for cooling of intelligent information handling system projector

Also Published As

Publication number Publication date
JP7424144B2 (en) 2024-01-30
CN115280765A (en) 2022-11-01
WO2021187118A1 (en) 2021-09-23
JP2021150873A (en) 2021-09-27

Similar Documents

Publication Publication Date Title
DE102017201717B4 (en) Method for using a rear vision system for a host vehicle and rear vision system for carrying out the method
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102016210254A1 (en) VEHICLE VENTILATION AT CROSSINGS ON THE BASIS OF VISUAL VENTILATION POINTS, STATIONARY OBJECTS AND BY GPS
DE102018218220A1 (en) Control device for a vehicle
DE102016212405A1 (en) Vehicle image processing apparatus and vehicle image processing system
DE102015105248A1 (en) CREATING A PICTURE FROM THE ENVIRONMENT OF A TURNING VEHICLE
DE102010051206A1 (en) A method of generating an image of a vehicle environment and imaging device
DE102012001554A1 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
DE102015225900B3 (en) Method and device for camera-based traffic sign recognition in a motor vehicle
DE112017001410T5 (en) INFORMATION PROCESSING DEVICE
DE102015117903A1 (en) Method for operating a driver assistance system, driver assistance system and motor vehicle
WO2011138164A1 (en) Method for operating a driver assistance system of a vehicle, driver assistance system and vehicle
DE102021212088B4 (en) REAR VIEW CAMERA SYSTEM FOR A TRAILER HITCH SYSTEM AND METHOD FOR GENERATING A REAR DIRECTION OF A VEHICLE
EP3078015B1 (en) Method and device for generating an alert by means of two images of a vehicle environment obtained via cameras
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
EP3815044B1 (en) Method for sensor and memory-based depiction of an environment, display apparatus and vehicle having the display apparatus
EP1028387A2 (en) Device for recognizing the environment, in particuliar for recognising traffic road signs
DE102016122756A1 (en) A method for assisting a driver of a motor vehicle when parking the motor vehicle on a parking area, driver assistance system and motor vehicle
DE102013215408A1 (en) A vehicle display system and method for displaying a vehicle environment
DE102013214305A1 (en) Method for avoiding a collision of a vehicle with at least one object, driver assistance system and vehicle
EP3409541B1 (en) Device for securing drive path
EP3520020B1 (en) Road sign classification in a surrounding area of a motor vehicle
DE102017209370B4 (en) Method for determining overtaking information
DE112021001735T5 (en) Vehicle display device and vehicle display method
DE102010034127A1 (en) Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed