DE112013004306T5 - Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren - Google Patents

Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren Download PDF

Info

Publication number
DE112013004306T5
DE112013004306T5 DE112013004306.8T DE112013004306T DE112013004306T5 DE 112013004306 T5 DE112013004306 T5 DE 112013004306T5 DE 112013004306 T DE112013004306 T DE 112013004306T DE 112013004306 T5 DE112013004306 T5 DE 112013004306T5
Authority
DE
Germany
Prior art keywords
image
side mirrors
parameter
vehicle
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112013004306.8T
Other languages
English (en)
Other versions
DE112013004306B4 (de
Inventor
c/o FUJITSU TEN LIMITED Okada Naoyuki
c/o FUJITSU TEN LIMITED Yamada Masahiro
c/o FUJITSU TEN LIMITED Sawada Yasuyoshi
c/o FUJITSU TEN LIMITED Hayashida Takumi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Publication of DE112013004306T5 publication Critical patent/DE112013004306T5/de
Application granted granted Critical
Publication of DE112013004306B4 publication Critical patent/DE112013004306B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Studio Devices (AREA)

Abstract

Eine Bilderfassungseinheit erfasst eine Mehrzahl aufgenommener Bilder, die von einer Mehrzahl von Kameras erhalten wird, die Seitenkameras aufweisen, die in den Seitenspiegeln eines Fahrzeugs vorgesehen sind. Eine Bildzusammenfügeeinheit erzeugt ein zusammengefügtes Bild, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt her betrachtet durch Verwendung von Zielbereichen (TA), die für jeweilige der Mehrzahl aufgenommener Bilder definiert sind, angibt. Eine Zustandserfassungseinheit erfasst den Ausfahrzustand/Einfahrzustand der Seitenspiegel. Die Bildzusammenfügeeinheit ändert die Zielbereiche (TA) gemäß dem Ausfahrzustand/Einfahrzustand der Seitenspiegel.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Technologie zum Erzeugen eines Bilds, das ein Umfeld eines Fahrzeugs angibt.
  • Stand der Technik
  • Gemäß dem Stand der Technik war ein Bildanzeigesystem, das ausgelegt ist, um ein Bild zu erzeugen, das ein Umfeld eines Fahrzeugs, wie zum Beispiel eines Kraftfahrzeugs angibt, und das Bild auf einem Anzeigegerät in dem Fahrzeug anzeigt, bekannt. Durch Verwenden des Bildanzeigesystems kann ein Benutzer (Fahrer) eine periphere Situation eines Fahrzeugs im Wesentlichen in Echtzeit prüfen.
  • Im Laufe der vergangenen Jahre wurde auch ein Bildanzeigesystem vorgeschlagen, das ausgelegt ist, um eine Mehrzahl aufgenommener Bilder zusammenzufügen, um ein zusammengefügtes Bild zu erzeugen, das ein Umfeld eines Fahrzeugs von einem virtuellen Blickpunkt her gesehen angibt, und das zusammengefügte Bild anzuzeigen (siehe zum Beispiel Patentschrift 1). Bei dem Bildanzeigesystem ist es möglich, ein Bild in Draufsicht zu erzeugen, das ein zusammengefügtes Bild ist, wenn das Umfeld des Fahrzeugs von oberhalb des Fahrzeugs betrachtet wird. Der Benutzer kann eine Gesamtsituation des Fahrzeugumfelds durch visuelles Erkennen des zusammengefügten Bilds prüfen.
  • Dokument des Stands der Technik
  • Patentschrift
    • [Patentschrift 1] Japanische Patentanmeldung Veröffentlichung Nr. 2011-15174A
  • Kurzdarstellung der Erfindung Von der Erfindung zu lösende Probleme
  • Seitenkameras, die ausgelegt sind, um aufgenommene Bilder zu erfassen, die die Seiten des Fahrzeugs angeben, werden im Allgemeinen für Seitenspiegel bereitgestellt, die von einem ausgefahrenen Zustand zu einem eingefahrenen Zustand verlagert werden können. Wenn daher die Seitenspiegel von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden auch die optischen Achsrichtungen der Seitenkameras, die für die Seitenspiegel vorgesehen sind, geändert.
  • Wenn daher ein zusammengefügtes Bild auf der Grundlage der aufgenommenen Bilder erzeugt wird, die in dem eingefahrenen Zustand der Seitenspiegel anhand desselben Verfahrens wie beim ausgefahrenen Zustand der Seitenspiegel erhalten werden, kann ein zusammengefügtes Bild, in dem Bilder fotografischer Subjekte zusammengefügt werden, ohne Abgleichen erzeugt werden.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Technologie zum Erzeugen eines zusammengefügten Bilds bereitzustellen, bei dem Bilder fotografischer Subjekte ungeachtet eines Zustands von Seitenspiegeln zusammengefügt werden, während sie abgestimmt werden.
  • Mittel zum Lösen der Probleme
  • Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem ersten Aspekt, den die vorliegende Erfindung annehmen kann, ein Bilderzeugungsgerät bereitgestellt, das für ein Fahrzeug, das Seitenspiegel hat, verwendet wird, wobei das Bilderzeugungsgerät Bilderfassungsmittel zum Erfassen einer Mehrzahl aufgenommener Bilder aufweist, die von einer Mehrzahl von Kameras erhalten werden, darunter Seitenkameras, die in den Seitenspiegeln vorgesehen sind, Erzeugungsmittel zum Erzeugen eines zusammengefügten Bilds, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt aus betrachtet angibt, indem Zielbereiche verwendet werden, die für die jeweiligen aufgenommenen Bilder definiert sind, und Zustandserfassungsmittel zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, wobei die Erzeugungsmittel die Zielbereiche in Übereinstimmung mit dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel ändern.
  • Gemäß dem oben stehenden Bilderzeugungsgerät werden die Zielbereiche, die in den aufgenommenen Bildern definiert sind, die von den Kameras erhalten werden, die in den Seitenspiegeln bereitgestellt sind, in Übereinstimmung mit dem Zustand der Seitenspiegel geändert. Dadurch ist es möglich, ein zusammengefügtes Bild zu erzeugen, in dem Bilder fotografischer Subjekte unter Abstimmung ungeachtet des Zustands der Seitenspiegel zusammengefügt werden.
  • Die Erzeugungsmittel können die Zielbereiche auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel definieren, und die Zielbereiche auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel definieren. Hier gibt der erste Parameter einen Fehler von Richtungen der optischen Achse der Seitenkameras in dem ausgefahrenen Zustand der Seitenspiegel an, und der zweite Parameter gibt einen Fehler von Richtungen der optischen Achsen der Seitenkameras in dem eingefahrenen Zustand an.
  • Gemäß der oben stehenden Auslegung sind die Zielbereiche auf der Grundlage der Fehler von Richtungen der optischen Achsen in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel definiert, so dass es möglich ist, das zusammengefügte Bild präziser zu erzeugen.
  • Das Bilderzeugungsgerät kann ferner erste Parametererfassungsmittel zum Erfassen des ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel zu erfassen, und zweite Parametererfassungsmittel zum Erfassen des zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel aufweisen.
  • Gemäß den oben stehenden Konfigurationen ist es möglich, den ersten Parameter und den zweiten Parameter, die zum Erzeugen des zusammengefügten Bilds erforderlich sind, entsprechend zu erfassen.
  • Bei dem Bilderzeugungsgerät können die Erzeugungsmittel einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild erzeugen, indem sie zwei aufgenommene Bilder mit dem entsprechenden Grenzteil dazwischen eingefügt überblenden.
  • Gemäß der oben stehenden Auslegung ist es beim Erzeugen des Grenzteils zwischen den aufgenommenen Bildern in dem zusammengefügten Bild durch Überblenden der zwei aufgenommenen Bilder möglich, die Bilder der fotografischen Subjekte passend miteinander zu überlagern.
  • Bei dem Bilderzeugungsgerät können die Erzeugungsmittel einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild durch Überblenden von zwei aufgenommenen Bildern mit dem entsprechenden Grenzteil dazwischen eingefügt erzeugen, in einem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel, und einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild mit einem Maskenbild anzeigen, für das die aufgenommenen Bilder nicht verwendet werden, in dem anderen Zustand des ausgefahrenen und eingefahrenen Zustands des Seitenspiegels.
  • Gemäß der oben stehenden Auslegung ist es in dem einen Zustand der Seitenspiegel, da der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild durch Überblenden der zwei aufgenommenen Bilder erzeugt wird, möglich, ein natürliches Bild zu erzeugen. In dem anderen Zustand der Seitenspiegel ist es daher, da der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild mit dem Maskenbild angezeigt wird, möglich, zu verhindern, dass die Bilder der fotografischen Subjekte ohne Abstimmung überlagert und angezeigt werden.
  • Um die oben stehende Aufgabe zu verwirklichen, ist gemäß einem zweiten Aspekt, den die vorliegende Erfindung annehmen kann, ein Bildanzeigesystem bereitgestellt, das für ein Fahrzeug verwendet wird, wobei das Bildanzeigesystem das Bilderzeugungsgerät gemäß dem ersten Aspekt aufweist, und ein Anzeigegerät, das ausgelegt ist, um das zusammengefügte Bild, das von dem Bilderzeugungsgerät ausgegeben wird, anzuzeigen.
  • Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem dritten Aspekt, den die vorliegende Erfindung annehmen kann, ein Bilderzeugungsgerät bereitgestellt, das für ein Fahrzeug, das Seitenspiegel hat, verwendet wird, wobei das Verfahren Vorgänge (a) des Erfassens einer Mehrzahl aufgenommener Bilder aufweist, die von einer Mehrzahl von Kameras erhalten werden, darunter Seitenkameras, die in Seitenspiegeln vorgesehen sind, des (b) Erzeugens eines zusammengefügt Bilds, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche verwendet werden, die für die jeweiligen aufgenommenen Bilder definiert sind, und (c) des Erfassens eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, wobei der Vorgang (b) einen Vorgang des Änderns der Zielbereiche Übereinstimmung mit dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel aufweist.
  • Gemäß dem oben stehenden Bildanzeigesystem und dem Bilderzeugungsverfahren ist es möglich, dieselben Effekte zu verwirklichen wie das Bilderzeugungsgerät gemäß dem ersten Aspekt.
  • Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem vierten Aspekt, den die vorliegende Erfindung annehmen kann, ein Parametererfassungsgerät bereitgestellt, das ausgelegt ist, um Parameter in Zusammenhang mit Kameras zu erfassen, die in Seitenspiegeln eines Fahrzeugs vorgesehen sind, wobei das Parametererfassungsgerät Erfassungsmittel zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, erste Parametererfassungsmittel zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel aufweist, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Kameras angibt, und zweite Parametererfassungsmittel zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel, wobei der zweite Parameter einen Fehler von Richtungen optischer Achsen der Kameras angibt.
  • Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem fünften Aspekt, den die vorliegende Erfindung annehmen kann, ein Parametererfassungsverfahren zum Erfassen von Parametern in Zusammenhang mit Kameras vorgesehen, die in Seitenspiegeln eines Fahrzeugs vorgesehen sind, wobei das Verfahren (a) einen Vorgang des Erfassens eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel aufweist, (b) einen erster Parametervorgang zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel aufweist, wobei der erste Parameter einen Fehler von Richtungen optischer Achsen der Kameras angibt, und (c) einen zweiten Parametervorgang zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel, wobei der zweite Parameter einen Fehler von Richtungen optischer Achsen der Kameras angibt.
  • Gemäß dem Parametererfassungsgerät und dem Parametererfassungsverfahren ist es möglich, den ersten Parameter und den zweiten Parameter, die zum Erzeugen des passenden zusammengefügten Bilds erforderlich sind, bei jedem Zustand des ausgefahrenen und des eingefahrenen Zustands der Seitenspiegel passend zu erfassen.
  • Kurze Beschreibung der Zeichnungen
  • 1 veranschaulicht eine Auslegung eines Bildanzeigesystems gemäß einer ersten veranschaulichenden Ausführungsform.
  • 2 veranschaulicht Richtungen, entlang welcher Kameras, die in dem Bildanzeigesystem der 1 vorgesehen sind, Bilder erfassen.
  • 3 veranschaulicht ein Verfahren, mit dem eine Bildzusammensetzungseinheit, die in dem Bildanzeigesystem der 1 vorgesehen ist, ein zusammengefügtes Bild erzeugt.
  • 4 veranschaulicht eine entsprechende Beziehung zwischen Teilen einer stereoskopisch gebogenen Oberfläche der 3 und aufgenommenen Bildern.
  • 5 veranschaulicht ein Beispiel eines Anzeigebilds das durch eine Bildeinstelleinheit erzeugt wird, die in dem Bildanzeigesystem der 1 vorgesehen ist.
  • 6 veranschaulicht einen eingefahrenen Zustand von Seitenspiegeln eines Fahrzeugs, an das das Bildanzeigesystem der 1 montiert ist.
  • 7 veranschaulicht Beispiele aufgenommener Bilder, die durch eine linke Seitenkamera erfasst werden, die in dem Bildanzeigesystem der 1 vorgesehen ist.
  • 8 veranschaulicht eine Situation, in der die aufgenommenen Bilder der 7 erfasst werden.
  • 9 veranschaulicht Zielbereiche in den aufgenommenen Bildern, die von der linken Seitenkamera, die in dem Bildanzeigesystem der 1 vorgesehen ist, erfasst werden.
  • 10 zeigt eine Abfolge von Operationen des Bildanzeigesystems der 1. 11 veranschaulicht eine Auslegung eines Bildanzeigesystems gemäß einer zweiten veranschaulichenden Ausführungsform.
  • 12 veranschaulicht eine Situation eines Fahrzeugs, wenn das Bildanzeigesystem der 11 eine Kalibrierungsverarbeitung ausführt.
  • 13 veranschaulicht ein äußeres Aussehen eines Markierungselements, das für die Kalibrierungsverarbeitung verwendet wird.
  • 14 zeigt einen Ablauf der Kalibrierungsverarbeitung.
  • 15 veranschaulicht ein Beispiel eines aufgenommenen Bilds für die Kalibrierungsverarbeitung.
  • 16 zeigt einen Ablauf von Operationen des Bildanzeigesystems der 11.
  • 17 veranschaulicht Zielbereiche in den aufgenommenen Bildern, die von der linken Seitenkamera, die in dem Bildanzeigesystem der 11 vorgesehen ist, erfasst werden.
  • 18 veranschaulicht Zielbereiche in den aufgenommenen Bildern, die von der linken Seitenkamera, die in dem Bildanzeigesystem der 11 vorgesehen ist, erfasst werden.
  • 19 veranschaulicht eine entsprechende Beziehung zwischen Teilen einer stereoskopisch gebogenen Oberfläche und aufgenommenen Bilder, wenn ein Bildanzeigesystem gemäß einer dritten veranschaulichenden Ausführungsform ein zusammengefügtes Bild erzeugt.
  • 20 veranschaulicht Beispiele eines zusammengefügten Bilds, das von dem Bildanzeigesystem gemäß der dritten veranschaulichenden Ausführungsform erzeugt wird.
  • Ausführungsformen der Erfindung
  • Unten werden veranschaulichende Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die begleitenden Zeichnungen beschrieben.
  • <Erste veranschaulichende Ausführungsform>
  • <1-1. Auslegung>
  • 1 veranschaulicht eine Auslegung eines Bildanzeigesystems 10 gemäß einer ersten veranschaulichenden Ausführungsform. Das Bildanzeigesystem 10 wird für ein Fahrzeug (bei dieser veranschaulichenden Ausführungsform ein Kraftfahrzeug) verwendet, und hat eine Funktion des Erzeugens eines Bilds, das einen Umfeldbereich des Fahrzeugs angibt und die Bilder in dem Fahrzeug anzeigt. Durch Verwenden des Bildanzeigesystems 10 kann ein Benutzer (als ein veranschaulichendes Beispiel ein Fahrer) des Bildanzeigesystems 10 eine periphere Situation eines Fahrzeugs im Wesentlichen in Echtzeit erkennen.
  • Wie in 1 gezeigt, hat das Bildanzeigesystem 10 eine Mehrzahl von Kameras 5, ein Bilderzeugungsgerät 2, ein Anzeigegerät 3 und Betätigungsknöpfe 4. Jede der Kameras 5 ist ausgelegt, um ein Umfeld des Fahrzeugs aufzunehmen, ein aufgenommenes Bild zu erfassen und das erfasste aufgenommene Bild in das Bilderzeugungsgerät 2 einzugeben. Das Bilderzeugungsgerät 2 ist ausgelegt, um ein Anzeigebild zum Anzeigen auf dem Anzeigegerät 3 unter Verwendung der aufgenommenen Bilder, die das Umfeld des Fahrzeugs angeben, zu erzeugen. Das Anzeigegerät 3 ist ausgelegt, um das Anzeigebild anzuzeigen, das in dem Bilderzeugungsgerät 2 erzeugt wird. Die Betätigungsknöpfe 4 sind daher ausgelegt, um die Betätigung durch einen Benutzer zu erhalten.
  • Jede der Kameras 5 hat eine Linse und ein Aufnahmeelement und ist ausgelegt, um elektronisch das aufgenommene Bild, das das Umfeld des Fahrzeugs angibt, zu erfassen. Die Mehrzahl von Kameras 5 weist eine Frontkamera 5F, eine Rückseitenkamera 5B, eine linke Seitenkamera 5L und eine rechte Seitenkamera 5R auf. Wie in 2 gezeigt, sind die vier Kameras 5F, 5B, 5L, 5R an unterschiedlichen Positionen eines Fahrzeugs 9 angeordnet und ausgelegt, um unterschiedliche Richtungen des Umfelds des Fahrzeugs 9 aufzunehmen.
  • 2 veranschaulicht Richtungen entlang welcher die vier Kameras 5F, 5B, 5L, 5R Bilder aufnehmen. Die Frontkamera 5F ist an einem Frontende des Fahrzeugs 9 vorgesehen, und ihre optische Achse 5Fa zeigt in eine gerade Fahrtrichtung des Fahrzeugs 9. Die Rückseitenkamera 5B ist an einem Heckende des Fahrzeugs 9 vorgesehen, und ihre optische Achse 5Ba zeigt in eine entgegengesetzte Richtung zu der geraden Fahrtrichtung des Fahrzeugs 9.
  • Die linke Seitenkamera 5L ist in einem linken Seitenspiegeln 93L vorgesehen, der auf einer linken Seitenoberfläche des Fahrzeugs 9 angeordnet ist. Indes ist die rechte Seitenkamera 5R in einem rechten Seitenspiegel 93R, der auf einer rechten Seiten Oberfläche des Fahrzeugs 9 angeordnet ist, vorgesehen. Die Seitenspiegel 93L, 93R können von einem ausgefahrenen Zustand (einem Zustand, in dem der Fahrer eine Rückseite des Fahrzeugs 9 prüfen kann) zu einem eingefahrenen Zustand verlagert werden. Bei dem ausgefahrenen Zustand des linken Seitenspiegels 93L zeigt eine optische Achse 5La der linken Seitenkamera 5L in eine linke Richtung des Fahrzeugs 9 (eine Richtung im Wesentlichen orthogonal zu der geraden Fahrtrichtung). Bei dem ausgefahrenen Zustand des rechten Seitenspiegels 93R zeigt eine optische Achse 5Ra der rechten Seitenkamera 5R in eine rechte Richtung des Fahrzeugs 9 (eine Richtung im Wesentlichen orthogonal zu der geraden Fahrtrichtung).
  • Als die Linsen der Kameras 5 werden Weitwinkellinsen, wie zum Beispiel Fischaugenlinsen verwendet. Jede der Kameras 5 hat einen Blickwinkel von 180° oder größer. Daher ist es möglich, das vollständige Umfeld des Fahrzeugs 9 unter Verwendung der vier Kameras 5F, 5B, 5L, 5R aufzunehmen. Jeweilige Bereiche A1, A2, A3, A4 an einer linken Vorderseite, einer rechten Vorderseite, einer linken Rückseite und einer rechten Rückseite des Fahrzeugs 9 können überlagernd von den zwei Kameras 5 der vier Kameras 5 aufgenommen werden.
  • Wie in 1 gezeigt, hat das Anzeigegerät 3 ein Touchpanel 31. Das Touchpanel 31 ist in einem Anzeigepanel flachen Typs, wie zum Beispiel eines Typs Flüssigkristallanzeige oder eines Typs organische Elektrolumineszenzanzeige vorgesehen und kann die Betätigung eines Benutzers erhalten. Das Anzeigepanel ist ausgelegt, um eine Mehrzahl von Informationen und Bildern anzuzeigen. Das Anzeigegerät 3 ist auf einem Armaturenbrett und dergleichen des Fahrzeugs 9 angeordnet, so dass der Benutzer visuell einen Bildschirm des Anzeigepanels erkennen kann. Das Anzeigegerät 3 kann in demselben Gehäuse wie das Bilderzeugungsgerät 2 eingerichtet und mit dem Bilderzeugungsgerät 2 integriert sein oder kann alternativ ein von dem Bilderzeugungsgerät 2 getrenntes Gerät sein.
  • Die Betätigungsknöpfe 4 sind ein Betätigungselement zum Empfangen der Betätigung eines Benutzers. Die Betätigungsknöpfe 4 sind zum Beispiel auf einem Lenkrad des Fahrzeugs 9 vorgesehen und ausgelegt, um in der Hauptsache eine Betätigung von dem Fahrer zur erhalten. Der Benutzer kann eine Mehrzahl von Betätigungen auf dem Bildanzeigesystem 10 durch die Betätigungsknöpfe 4 und das Touchpanel 31 des Anzeigegeräts 3 ausführen. Wenn der Benutzer einen der Betätigungsknöpfe 4 und das Touchpanel 31 betätigt, wird ein Betriebssignal, das einen Inhalt der entsprechenden Betätigung angibt, in das Bilderzeugungsgerät 2 eingegeben.
  • Das Bilderzeugungsgerät 2 ist ein elektronisches Gerät 2, das fähig ist, eine Mehrzahl von Bildverarbeitungen auszuführen und hat eine Bilderfassungseinheit 21, eine Bildzusammenfügeeinheit 22, eine Bildeinstelleinheit 23 und eine Bildausgabeeinheit 24.
  • Die Bilderfassungseinheit 21 ist ein Beispiel eines Bilderfassungsmittels und ist ausgelegt, um die von den vier Kameras 5F, 5B, 5L, 5R aufgenommenen Bilder zu erfassen. Die Bilderfassungseinheit 21 hat eine Bildverarbeitungsfunktion des Umwandelns zum Beispiel eines analog aufgenommenen Bilds in ein digital aufgenommenes Bild. Die Bilderfassungseinheit 21 ist ausgelegt, um vorbestimmte Bildverarbeitung für die erfassten aufgenommenen Bilder auszuführen und die aufgenommenen Bilder nach der Verarbeitung zu der Bildzusammenfügeeinheit 22 und der Bildeinstelleinheit 23 einzugeben.
  • Die Bildzusammenfügeeinheit 22 ist eine Hardwareschaltung, die ausgelegt ist, um Bildverarbeitung zum Erzeugen eines zusammengefügten Bilds auszuführen. Die Bildzusammenfügeeinheit 22 ist ein Beispiel eines Erzeugungsmittels und ist ausgelegt, um eine Mehrzahl aufgenommener Bilder, die von der Mehrzahl von Kameras 5 erfasst wird, zusammenzufügen, wodurch ein zusammengefügtes Bild erzeugt wird, das ein Umfeld des Fahrzeugs 9 von einem virtuellen Blickpunkt her betrachtet angibt. Das Verfahren des Erzeugens des zusammengefügten Bilds wird unten ausführlich beschrieben.
  • Die Bildeinstelleinheit 23 ist ausgelegt, um ein Anzeigebild zum Anzeigen auf dem Anzeigegerät 3 zu erzeugen. Die Bildeinstelleinheit 23 ist ausgelegt, um ein Anzeigebild zu erzeugen, das das zusammengefügte Bild und die aufgenommenen Bilder enthält, indem das zusammengefügte Bild verwendet wird, das von der Bildzusammenfügeeinheit 22 und den aufgenommenen Bildern, die von der Bilderfassungseinheit 21 erfasst werden, erzeugt wird.
  • Die Bildausgabeeinheit 24 ist ausgelegt, um das Anzeigebild, das in der Bildeinstelleinheit 23 erzeugt wird, zu dem Anzeigegerät 3 auszugeben und das Anzeigebild auf dem Anzeigegerät 3 anzuzeigen. Das zusammengefügte Bild, das das Umfeld des Fahrzeugs 9 von dem virtuellen Blickpunkt aus betrachtet angibt, wird auf dem Anzeigegerät 3 angezeigt.
  • Das Bilderzeugungsgerät 2 hat ferner auch eine Steuereinheit 20, eine Betätigungsempfangseinheit 25, eine Signalempfangseinheit 26 und eine Speichereinheit 27. Die Steuereinheit 20 ist ein Microcomputer, der zum Beispiel eine CPU, einen RAM, einen ROM und dergleichen hat und ausgelegt ist, um kollektiv das gesamte Bilderzeugungsgerät 2 zu steuern.
  • Die Betätigungsempfangseinheit 25 ist ausgelegt, um Betätigungssignale zu empfangen, die von den Betätigungsknöpfen 4 und dem Touchpanel 31 übertragen werden, wenn der Benutzer eine Betätigung ausführt. Die Betätigungsempfangseinheit 25 empfängt daher eine Betätigung eines Benutzers. Die Betätigungsempfangseinheit 25 ist ausgelegt, um die empfangenen Betätigungssignale zu der Steuereinheit 20 einzugeben.
  • Die Signalempfangseinheit 26 ist ausgelegt, um ein Signal zu empfangen, das von einem Gerät, das getrennt in dem Fahrzeug 9 vorgesehen ist, und das Signal zu der Steuereinheit 20 auszugeben. Die Signalempfangseinheit 26 ist ausgelegt, um Signale zu empfangen, die zum Beispiel von einem Gangsensor 91 und einer Spiegelantriebseinheit 92 übertragen werden.
  • Der Gangsensor 91 ist ausgelegt, um eine Schaltposition zu erfassen, die eine Position eines Schalthebels eines Getriebes des Fahrzeugs 9 ist, und ein Signal zu übertragen, das die Gangposition für das Bilderzeugungsgerät 2 angibt. Basierend auf diesem Signal kann die Steuereinheit 20 bestimmen, ob das Fahrzeug 9 vorwärts oder rückwärts fährt.
  • Die Spiegelantriebseinheit 92 ist daher ausgelegt, um den linken und den rechten Seitenspiegel 93L, 93R als Reaktion auf die Anweisung eines Benutzers zu drehen und die Seitenspiegel 93L, 93R von einem Zustand des ausgefahrenen Zustands und des eingefahrenen Zustands zu dem anderen Zustand zu verlagern. Die Spiegelantriebseinheit 92 ist ausgelegt, um ein Signal, das den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R zu dem Bilderzeugungsgerät 2 angibt, zu übertragen.
  • Die Speichereinheit 27 ist ein nicht flüchtiger Speicher, wie zum Beispiel ein Flashspeicher, und ist ausgelegt, um eine Vielfalt von Informationen zu speichern. Die Speichereinheit 27 ist ausgelegt, um ein Programm 27a, das als Firmware dient, sowie eine Vielfalt von Daten zu speichern, die erzeugt werden, um das zusammengefügte Bild von der Bildzusammenfügeeinheit 22 zu erzeugen. Die Daten, die zum Erzeugen des zusammengefügten Bilds verwendet werden, weisen eine Mehrzahl von Entsprechungstabellen 27b auf.
  • Die CPU führt rechnerische Verarbeitung als Reaktion auf das Programm 27a, das in der Speichereinheit 27 gespeichert ist, aus, so dass eine Vielfalt von Funktionen der Steuereinheit 20 umgesetzt wird. Eine Bildsteuereinheit 20a sowie eine Zustandserfassungseinheit 20b, die gezeigt sind, sind Teil funktionaler Einheiten, die umgesetzt werden, wenn die CPU die rechnerische Verarbeitung als Reaktion auf das Programm 27a ausführt.
  • Die Bildsteuereinheit 20a ist ausgelegt, um die Bildzusammenfügeeinheit 22 zum Erzeugen eines zusammengefügten Bilds zu steuern, und die Bildeinstelleinheit 23 zum Erzeugen eines Anzeigebilds. Die Bildsteuereinheit 20a ist ausgelegt, um die Bildzusammenfügeeinheit 22 und die Bildeinstelleinheit 23 zu steuern, um ein zusammengefügtes Bild und ein Anzeigebild in Übereinstimmung mit einem Zustand des Fahrzeugs 9 und einer Betätigung eines Benutzers zu erzeugen.
  • Die Bilderfassungseinheit 20b ist ein Beispiel eines Zustandserfassungsmittels und ist ausgelegt, um den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R zu erfassen. Die Zustandserfassungseinheit 20b ist ausgelegt, um irgendeinen des ausgefahrenen/eingefahrenen Zustands der Seitenspiegel 93L, 93R basierend auf dem Signal, das von der Spiegelantriebseinheit 92 übertragen wird, zu erfassen.
  • <1-2. Erzeugen des zusammengefügten Bilds>
  • Unten wird das Verfahren des Erzeugens eines zusammengefügten Bilds, das eine Umfeldsituation des Fahrzeugs 9 von dem virtuellen Blickpunkt aus betrachtet angibt, beschrieben. 3 veranschaulicht ein Verfahren, mit dem die Bildzusammenfügeeinheit 22 ein zusammengefügtes Bild erzeugt.
  • Wenn das Aufnehmen jeweils in der Frontkamera 5F, der Rückseitenkamera 5B, der linken Seitenkamera 5L und der rechten Seitenkamera 5R ausgeführt wird, werden vier aufgenommene Bilder SF, SB, SL, SR, die eine vordere, hintere, linke und rechte Seite des Fahrzeugs 9 angeben, erfasst. Die vier aufgenommenen Bilder SF, SB, SL, SR weisen Daten auf, die das gesamte Umfeld des Fahrzeugs 9 anzeigen
  • Die Bildzusammenfügeeinheit 22 projiziert die Daten (Werte von Pixeln), die in den vier aufgenommenen Bildern SF, SB, SL, SR enthalten sind, zu einer stereoskopisch gebogenen Oberfläche TS eines virtuellen dreidimensionalen Raums. Die stereoskopisch gebogene Oberfläche TS ist eine virtuelle Projektionsebene, die einem Umfeldbereich des Fahrzeugs 9 entspricht.
  • Die stereoskopisch gebogene Oberfläche TS hat zum Beispiel eine im Wesentlichen halbkugelförmige Form (eine Schalenform), und ein Mittenbereich (Bodenteils der Schale) ist als ein Fahrzeugbereich R0 definiert, der eine Position des Fahrzeugs 9 ist. Die Bildzusammenfügeeinheit 22 projiziert die aufgenommen Bilddaten nicht zu dem Fahrzeugbereich (zu der Position des Fahrzeugs 9) R0 der stereoskopisch gebogenen Oberfläche TS und projiziert die aufgenommenen Bilddaten zu einem Projektionsbereich R1, der ein äußerer Bereich des Fahrzeugsbereichs R0 ist. Jede Position des Projektionsbereichs R1 ist mit einer Information der vier aufgenommenen Bilder SF, SB, SL, SR assoziiert. Die Bildzusammenfügeeinheit 22 projiziert die Daten der vier aufgenommenen Bilder SF, SB, SL, SR zu den jeweiligen entsprechenden Positionen des Projektionsbereichs R1.
  • Wie in 4 gezeigt, projiziert die Bildzusammenfügeeinheit 22 Daten des aufgenommenen Bilds SF der Frontkamera 5F zu einem Teil GF des Projektionsbereichs R1, der der Vorderseite des Fahrzeugs 9 entspricht. Die Bildzusammenfügeeinheit 22 projiziert auch Daten des aufgenommenen Bilds SB der Rückseitenkamera 5B zu einem Teil GB des Projektionsbereichs R1, der der Rückseite des Fahrzeugs 9 entspricht. Ferner projiziert die Bildzusammenfügeeinheit 22 Daten des aufgenommenen Bilds SL der linken Seitenkamera 5L zu einem Teil GL des Projektionsbereichs R1, der der linken Seite des Fahrzeugs 9 entspricht, und projiziert Daten des aufgenommenen Bilds SR der rechten Seitenkamera 5R zu einem Teil GR des Projektionsbereichs R1, der der rechten Seite des Fahrzeugs 9 entspricht.
  • In dem Projektionsbereich R1 werden Daten von Zielbereichen TA, die Teile der vier aufgenommenen Bilder SF, SB, SL, SR sind, projiziert, nicht die Daten der gesamten Bereiche der vier aufgenommenen Bilder SF, SB, SL, SR. Die Bildzusammenfügeeinheit 22 erzeugt daher ein zusammengefügtes Bild CP, indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder SF, SB, SL, SR verwendet.
  • Die Daten in dem aufgenommenen Bild und jede Position des Projektionsbereichs R1, zu der die Daten projiziert werden sollten, werden durch die Entsprechungstabellen 27b zugewiesen, die Tabellendaten, die vorab in der Speichereinheit 27 gespeichert werden, sind. Die jeweiligen Zielbereiche TA (die Bereiche, die zum Erzeugen des zusammengefügten Bilds CP verwendet werden) der vier aufgenommenen Bilder SF, SB, SL, SR werden daher von den Entsprechungstabellen 27b definiert. Jeder der Zielbereiche TA der vier aufgenommenen Bilder SF, SB, SL, SR wird als ein Bereich festgelegt, in dem ein Bild eines fotografischen Subjekts des Umfelds des Fahrzeugs 9 in dem entsprechenden aufgenommenen Bild enthalten ist.
  • Wenn die aufgenommenen Bilddaten zu dem Projektionsbereich R1 der stereoskopisch gebogenen Oberfläche TS, die in 3 gezeigt ist, wie oben beschrieben projiziert werden, konfiguriert die Bildzusammenfügeeinheit 22 virtuell ein Vieleckmodell, das eine dreidimensionale Form des Fahrzeugs 9 darstellt. Das Modell des Fahrzeugs 9 ist in dem Fahrzeugbereich R0 angeordnet, der eine Position des Fahrzeugs 9 in dem dreidimensionalen Raum ist, in dem die stereoskopisch gebogene Oberfläche TS eingestellt ist, angibt.
  • Die Bildzusammenfügeeinheit 22 stellt dann einen virtuellen Blickpunkt VP in Bezug auf den dreidimensionalen Raum unter Steuerung der Bildsteuereinheit 20a ein. Die Bildzusammenfügeeinheit 22 kann den virtuellen Blickpunkt VP an irgendeiner Blickpunktposition des dreidimensionalen Raums zu irgendeiner Blickrichtung einstellen. Die Bildzusammenfügeeinheit 22 schneidet als ein Bild die Daten, die zu einem Bereich der stereoskopisch gebogenen Oberfläche TS, der in einem vorbestimmten Blickwinkel wie von dem eingestellten virtuellen Blickpunkt VP betrachtet, enthalten ist, projiziert werden. Die Bildzusammenfügeeinheit 22 führt dann auch eine Wiedergabe für das Modell des Fahrzeugs 9 in Übereinstimmung mit dem eingestellten virtuellen Blickpunkt VP aus und überlagert ein zweidimensionales Fahrzeug Bild 90, das sich aus der Wiedergabe ergibt, über das ausgeschnittene Bild. Dabei erzeugt die Bildzusammenfügeeinheit 22 ein zusammengefügtes Bild CP, das das Fahrzeug 9 von dem virtuellen Blickpunkt VP und dem Umfeldbereich des Fahrzeugs 9 betrachtet angibt.
  • Wie in 3 gezeigt, wenn ein virtueller Blickpunkt VPa, von dem eine Blickpunktposition gleich oberhalb des Fahrzeugs 9 liegt und eine Blickrichtung gleich unterhalb des Fahrzeugs eingestellt ist, wird zum Beispiel ein zusammengefügtes Bild (ein Draufsichtbild) CPa mit Blick hinunter auf das Fahrzeug 9 und den Umfeldbereich des Fahrzeugs 9 erzeugt. Wenn ein virtueller Blickpunkt VPb, von dem eine Blickpunktposition die linke Rückseite des Fahrzeugs 9 und eine Blickrichtung die Vorderseite des Fahrzeugs 9 ist, eingestellt ist, wird ein zusammengefügtes Bild CPb erzeugt, das das Fahrzeug 9 und einen Umfeldbereich des Fahrzeugs 9 angibt, erzeugt, so dass das gesamte Umfeld des Fahrzeugs von der linken Rückseite des Fahrzeugs 9 her betrachtet wird. Bei dieser veranschaulichenden Ausführungsform kann die Bildzusammenfügeeinheit 22 als den virtuellen Blickpunkt VP den virtuellen Blickpunkt VPa einstellen, als würde das Fahrzeug von gleich oberhalb des Fahrzeugs 9 her betrachtet. Die Bildzusammenfügeeinheit 22 kann daher ein Draufsichtbild erzeugen, das ein zusammengefügtes Bild mit Blick hinunter auf das Fahrzeug 9 und das Umfeld des Fahrzeugs 9 ist.
  • Bei dem Vorgang des Erzeugens des zusammengefügten Bilds CP, wie in 4 gezeigt, werden Grenzteile BA1 bis BA4 zwischen den Teilen GF, GB, GL, GR des Projektionsbereichs R1 der stereoskopisch gebogenen Oberfläche TS mit beiden Daten der zwei aufgenommenen Bilder, die jeweils zu den zwei Teilen mit dem Grenzteil dazwischen eingefügt projiziert werden sollten, projiziert. Die Daten der Grenzteile BA1 bis BA4 haben einen Wert, der durch Alpha-Überblenden der zwei projizierten aufgenommenen Bilddaten in demselben Verhältnis erhalten wird. Die Daten des Grenzteils BA1 zwischen dem Teil GF, der der Vorderseite des Fahrzeugs 9 entspricht, und dem Teil GL des Projektionsbereichs R1, der der linken Seite des Fahrzeugs 9 entspricht, hat zum Beispiel einen Wert, der durch Alpha-Überblenden der Daten des aufgenommenen Bilds SF der Frontkamera 5 und der Daten des aufgenommenen Bilds SL der linken Seitenkamera 5L erhalten wird.
  • Da die Bildzusammenfügeeinheit 22 die Daten der stereoskopisch gebogenen Oberfläche TS schneidet, um das zusammengefügte Bild CP zu erzeugen, entsprechen die Grenzteile BA1 bis B14 der stereoskopisch gebogenen Oberfläche TS den Grenzteilen zwischen den aufgenommenen Bildern, die für das zusammengefügte Bild CP verwendet werden. Die Bildzusammenfügeeinheit 22 erzeugt daher den Grenzteil zwischen den aufgenommenen Bildern des zusammengefügten Bilds CP durch Überblenden der zwei aufgenommenen Bilder mit dem entsprechenden Grenzteil der dazwischen eingefügt ist.
  • <1-3. Anzeigebild>
  • Unten wird das Anzeigebild, das von der Bildeinstelleinheit 23 erzeugt wird, beschrieben. 5 veranschaulicht ein Beispiel eines Anzeigebilds DP, das von der Bildeinstelleinheit 23 erzeugt wird. Das Anzeigebild DP, das in 5 gezeigt ist, wird auf dem Anzeigegerät 3 derart angezeigt, dass der Benutzer dieses visuell erkennen kann.
  • Wie in FIG. für 5 gezeigt, weist das Anzeigebild DP das zusammengefügte Bild CP und ein aufgenommenes Bild SP auf. Das zusammengefügte Bild CP, das in dem Anzeigebild DP enthalten ist, ist ein Übersichtsbild, das ein zusammengefügtes Bild mit Blick auf das Umfeld des Fahrzeugs 9 von gleich oberhalb des Fahrzeugs 9 ist.
  • Das aufgenommene Bild SP, das in dem Anzeigebild DP enthalten ist, wird auch auf der Grundlage einer Fahrtrichtung des Fahrzeugs 9 ausgewählt. Wenn das Fahrzeug 9 vorwärts fährt, wird das aufgenommene Bild SF, das von der Frontkamera 5F erfasst wird, als das aufgenommene Bild SP des Anzeigebilds DP verwendet. Wenn das Fahrzeug 9 rückwärts fährt, wird indes das aufgenommene Bild SB, das von der Rückseitenkamera 5B erfasst wird, als das aufgenommene Bild SP des Anzeigebilds DP verwendet. Die Fahrrichtung des Fahrzeugs 9 wird von der Bildsteuereinheit 20a auf der Grundlage des Signals bestimmt, das von dem Gangsensor 91 übertragen wird.
  • Der Benutzer erkennt das Anzeigebild DP visuell, um eine Situation der Fahrtrichtung des Fahrzeugs 9 auf der Grundlage des aufgenommenen Bilds SP zu verstehen, und um auch eine Situation des gesamten Umfelds des Fahrzeugs 9 auf der Grundlage des zusammengefügten Bilds CP zu verstehen. Das Bildanzeigesystem 10 ist ausgelegt, um das zusammengefügte Bild CP zu erzeugen, das in dem Anzeigebild DP enthalten ist, nicht nur in einem ausgefahrenen Zustand der Seitenspiegel 93L, 93R, sondern auch in einem eingefahrenen Zustand des Seitenspiegels 93L, 93R.
  • <1-4. Zustandsverlagerung von Seitenspiegeln>
  • Wie oben beschrieben, sind die Seitenkameras 5L, 5R jeweils in den Seitenspiegeln 93L, 93R vorgesehen. Wenn die Seitenspiegel 93L, 93R daher von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden die Positionen und Richtungen der optischen Achsen der Seitenkameras 5L, 5R ebenfalls entsprechend geändert.
  • 6 veranschaulicht den eingefahrenen Zustand der Seitenspiegel 93L, 93R. Wie oben beschrieben, sind die Richtungen der optischen Achsen 5La, 5Lb der Seitenkameras 5L, 5R im Wesentlichen zu der geraden Fahrtrichtung des Fahrzeugs 9 bei dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R orthogonal (siehe 2). Andererseits, wie in 6 gezeigt, zeigen beim eingefahrenen Zustand der Seitenspiegel 93L, 93R die Richtungen der optischen Achsen 5La, 5Lb der Seitenkameras 5L, 5R im Vergleich zu dem ausgefahrenen Zustand mehr rückwärts.
  • Die Positionen, an welchen die Seitenkameras 93L, 93R vorgesehen sind, sind auch nicht auf Rotationswellen, wenn die Seitenspiegel 93L, 93R gedreht werden. Wenn daher die Seitenspiegel 93L, 93R von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden die Positionen der Seitenkameras 5L, 5R in Bezug zu dem Fahrzeug ebenfalls geändert.
  • Wenn daher die Seitenspiegel 93L, 93R von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden die Richtungen und Bereiche der Bilder der fotografischen Subjekte, die in den aufgenommenen Bildern enthalten sind, die von den Seitenkameras 5L, 5R aufgenommen werden, entsprechend geändert.
  • 7 veranschaulicht Beispiele des aufgenommenen Bilds SL, das durch die linke Seitenkamera 5L erfasst wird. Die zwei aufgenommenen Bilder SL, die in 7 gezeigt sind, werden in derselben Situation erfasst wie 8. 7A veranschaulicht das aufgenommene Bild SL, das bei dem ausgefahrenen Zustand des linken Seitenspiegels 93L erfasst wird, und 7B veranschaulicht das aufgenommene Bild SL, das bei dem eingefahrenen Zustand des linken Seitenspiegels 93L erfasst wird.
  • Wie in 8 gezeigt, werden die zwei aufgenommenen Bilder SL in eine Situation erfasst, in der ein Schachbrettmuster P, in dem Quadrate in zwei Farben abändernd angeordnet sind, auf einem linken Boden vorhanden ist. Das Muster P erstreckt sich entlang einer Längsrichtung des Fahrzeugs 9 von einer Position vor einem vorderen Ende des Fahrzeugs 9 zu einer Position hinter einem rückseitigen Ende des Fahrzeugs 9.
  • Die zwei aufgenommenen Bilder SL, die in 7 gezeigt sind, weisen ein Bild Pa mit dem Muster P auf. In den zwei aufgenommenen Bildern SL sind jedoch die Richtungen und Bereiche des Bilds Pa mit dem Muster P unterschiedlich. Wie in 7A gezeigt, erstreckt sich in dem aufgenommenen Bild SL, das bei dem ausgefahrenen Zustand des linken Seitenspiegels 93L erfasst wird, das Bild Pa mit dem Muster P entlang der im Wesentlichen horizontalen Richtung in dem aufgenommenen Bild SL. Andererseits, wie in 7B gezeigt, erstreckt sich in dem aufgenommenen Bild SL, das bei dem ausgefahrenen Zustand des linken Seitenspiegels 93L erfasst wird, das Bild Pa mit dem Muster P mit einer rechten Seite davon in dem aufgenommenen Bild SL abwärts geneigt. Bei diesem Beispiel wurde die linke Seitenkamera 5L beschrieben. Die rechte Seitenkamera 5R ist die gleiche.
  • Wenn derart der ausgefahrene/eingefahrene Zustand der Seitenspiegel 93L, 93R geändert wird, werden die Richtungen und Bereiche der fotografischen Subjektbilder, die in den aufgenommenen Bildern, die von den Seitenkameras 5L, 5R erfasst werden, enthalten sind, geändert. Daher wird bei dem eingefahrenen Zustand der Seitenspiegel 93L, 93R, falls das zusammengefügte Bild CP mit demselben Verfahren wie im ausgefahrenen Zustand erzeugt wird, das zusammengefügte Bild CP, bei dem die Bilder der fotografischen Subjekte ohne Abstimmen zusammengefügt werden, erzeugt.
  • Um das oben stehende Problem zu meistern, ist das Bildanzeigesystem 10 dieser veranschaulichenden Ausführungsform ausgelegt, um die Zielbereiche TA (das heißt die Bereiche, die zum Erzeugen des zusammengefügten Bilds CP verwendet werden) in den aufgenommenen Bildern, die von den Seitenkameras 5L, 5R erfasst werden, bei dem ausgefahrenen und eingefahrenen Zustand der Seitenspiegel 93L, 93R zu ändern.
  • 9 zeigt den Zielbereich TA in dem aufgenommenen Bild SL der linken Seitenkamera 5L. 9A zeigt den Zielbereich TAa bei dem ausgefahrenen Zustand des linken Seitenspiegels 93L. Andererseits zeigt 9B den Zielbereich TAb bei dem eingefahrenen Zustand des linken Seitenspiegels 93. In den zwei aufgenommenen Bildern SL, sind die Zielbereiche TA in den aufgenommenen Bildern SL voneinander unterschiedlich.
  • Derart, wenn die Zielbereiche TA in den aufgenommenen Bildern SL bei dem ausgefahrenen und dem eingefahrenen Zustand des linken Seitenspiegels 93L geändert werden, ist es möglich, als den Zielbereich TA einen Bereich einzustellen, der das fotografische Subjektbild des Umfelds des Fahrzeugs 9 in dem aufgenommenen Bild SL in jedem beliebigen Zustand enthält. Bei jedem beliebigen Zustand ist es daher möglich, das zusammengefügte Bild CP zu erzeugen, in dem die Bilder der fotografischen Subjekte unter Abstimmen zusammengefügt werden. Indes wurde bei diesem Beispiel die linke Seitenkamera 5L beschrieben. Der Zielbereich TA in dem aufgenommenen Bild SR der rechten Seitenkamera 5R wird jedoch ebenfalls auf dieselbe Art in Abhängigkeit von dem Zustand des rechten Seitenspiegels 93R geändert.
  • Es ist nicht möglich, den Zielbereich TAb, der bei dem eingefahrenen Zustand der Seitenspiegel definiert ist, passend zu bestimmen, obwohl eine einfache Koordinatenumwandlung (Drehung, parallele Verlagerung und dergleichen) für den Zielbereich TAa, der bei dem ausgefahrenen Zustand definiert ist, ausgeführt wird. Das hat folgenden Grund: Obwohl die Positionen der Seitenkameras 5L, 5R geändert werden, wenn der Zustand der Seitenspiegel 93L, 93R verlagert wird, tritt eine große Verzerrung (eine Erscheinung, bei der ein Bild des fotografischen Subjekts verzerrt wird) in dem aufgenommenen Bild, das durch eine Weitwinkellinse, wie zum Beispiel eine Fischaugenlinse aufgenommen wird, auf. Daher werden der Zielbereich TAa, der bei dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R definiert wird, und der Zielbereich TAb, der bei dem eingefahrenen Zustand definiert wird, einzeln in Übereinstimmung mit den Entsprechungstabellen 27b, die vorab in der Speichereinheit 27 gespeichert werden, bestimmt.
  • Bei dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R ist die Bildzusammenfügeeinheit 22 des Bildanzeigesystems 10 ausgelegt, um eine ,Ausfahrtabelle’ zu verwenden, die die Entsprechungstabelle 27b ist, die dem ausgefahrenen Zustand entspricht. Die Bildzusammenfügeeinheit 22 ist ausgelegt, um das zusammengefügte Bild CP unter Verwendung des Zielbereichs TAa in dem aufgenommenen Bild, das durch die Ausfahrtabelle bestimmt wird, zu erzeugen. Andererseits ist die Bildzusammenfügeeinheit 22 bei dem eingezogenen Zustand der Seitenspiegel 93L, 93R konfiguriert, um eine ,Einfahrtabelle’ zu verwenden, die die Entsprechungstabelle 27b ist, die dem eingefahrenen Zustand entspricht. Die Bildzusammenfügeeinheit 22 ist ausgelegt, um das zusammengefügte Bild CP unter Verwendung des Zielbereichs TAb in dem aufgenommenen Bild, das durch die Einfahrtabelle bestimmt wird, zu erzeugen.
  • Derart ist die Bildzusammenfügeeinheit 22 des Bildanzeigesystems 10 ausgelegt, um den Zielbereich TA, der zum Erzeugen des zusammengefügten Bilds CP verwendet wird, in Übereinstimmung mit dem ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R zu ändern. Das Bildanzeigesystem 10 kann dabei das zusammengefügte Bild CP, in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, ungeachtet des Zustands der Seitenspiegel 93L, 93R erzeugen.
  • <1-5. Anzeigen des Anzeigebilds>
  • Unten ist eine Abfolge von Betätigungen des Bildanzeigesystems 10 beschrieben. 10 zeigt eine Abfolge von Betätigungen des Bildanzeigesystems 10 zum Anzeigen des Anzeigebilds DP. Die in 10 gezeigten Betätigungen starten, wenn der Benutzer anhand der Betätigungsknöpfe 4 eine Betätigung ausführt, um die Betätigungen zu starten. Die Betätigungen der 10 werden auch wiederholt mit einer vorbestimmten Periode ausgeführt (zum Beispiel eine Periode von 1/30 Sekunde), bis der Benutzer einen Vorgang durch die Betätigungsknöpfe 4 ausführt, um die Vorgänge zu stoppen.
  • Zunächst werden die vier Kameras 5, die in dem Fahrzeug 9 vorgesehen sind, jeweils aktiviert, um das Umfeld des Fahrzeugs 9 aufzunehmen. Dann erfasst die Bilderfassungseinheit 21 die vier aufgenommenen Bilder, die von den vier Kameras 5 erhalten werden (Schritt S11).
  • Dann erfasst die Zustandserfassungseinheit 20b den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R. Die Zustandserfassungseinheit 20b bestimmt, ob die Seitenspiegel 93L, 93R in dem ausgefahrenen Zustand oder dem eingefahrenen Zustand sind, basierend auf dem Signal, das von der Spiegelantriebseinheit 92 übertragen wird, die ausgelegt ist, um die Seitenspiegel 93L, 93R zu drehen (Schritt S12).
  • Falls die Seitenspiegel 93L, 93R in dem ausgefahrenen Zustand sind (Ja in Schritt S12), wählt die Bildzusammenfügeeinheit 22 die Ausfahrtabelle als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten Bilds CP verwendet wird, unter Steuerung der Bildsteuereinheit 20a aus (Schritt S13). Die Bildzusammenfügeeinheit 22 liest dann aus der Ausfahrtabelle, die eine der Mehrzahl von Entsprechungstabellen 27b ist, die in der Speichereinheit 27 gespeichert sind, aus der Speichereinheit 27 heraus.
  • Dann verwendet die Bildzusammenfügeeinheit 22 die Ausfahrtabelle, um das zusammengefügte Bild CP zu erzeugen, das die Umfeldsituation des Fahrzeugs 9 von dem virtuellen Blickpunkt aus betrachtet angibt (Schritt S15). Die Bildzusammenfügeeinheit 22 bestimmt die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder auf der Grundlage der Ausfahrtabelle. Die Bildzusammenfügeeinheit 22 erzeugt dann ein zusammengefügtes Bild CP, indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder verwendet.
  • Anschließend erzeugt die Bildeinstelleinheit 23 das Anzeigebild DP zum Anzeigen auf dem Anzeigegerät 3 (Schritt S16). Die Bildeinstelleinheit 23 erzeugt das Anzeigebild DP unter Verwendung des zusammengefügten Bilds CP, das von der Bildzusammenfügeeinheit 22 erzeugt wird, und die aufgenommenen Bilder, die von der Bilderfassungseinheit 21 erfasst werden. Die Bildeinstelleinheit 23 wählt das aufgenommene Bild in Übereinstimmung mit der Fahrtrichtung des Fahrzeugs 9 aus, und verwendet dieses zum Erzeugen des Anzeigebilds DP unter der Steuerung der Bildsteuereinheit 20a.
  • Dann gibt die Bildausgabeeinheit 24 das Anzeigebild DP, das von der Bildeinstelleinheit 23 erzeugt wurde, zu dem Anzeigegerät 3 aus (Schritt S17). Dann wird das Anzeigebild DP, das das zusammengefügte Bild CP enthält, auf dem Anzeigegerät 3 angezeigt.
  • Falls in Schritt S12 bestimmt wird, dass die Seitenspiegel 93L, 93R in dem eingefahrenen Zustand sind (Nein in Schritt S12), wählt die Bildzusammenfügeeinheit 22 die Einfahrtabelle als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten Bilds CP verwendet wird, unter Steuerung der Bildsteuereinheit 20a aus (Schritt S14). Dann liest die Bildzusammenfügeeinheit 22 aus der Einfahrtabelle, die eine der Mehrzahl von Entsprechungstabellen 27b ist, die in der Speichereinheit 27 gespeichert sind, aus der Speichereinheit 27 heraus.
  • Dann verwendet die Bildzusammenfügeeinheit 22 die Einfahrtabelle, um das zusammengefügte Bild CP zu erzeugen, das die Umfeldsituation des Fahrzeugs 9 von dem virtuellen Blickpunkt aus betrachtet angibt (Schritt S15). Die Bildzusammenfügeeinheit 22 bestimmt die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder auf der Grundlage der Einfahrtabelle. Sogar wenn die Seitenspiegel 93L, 93R in dem eingefahrenen Zustand sind, werden daher die Bereiche, die die Bilder der fotografischen Subjekte des Umfelds des Fahrzeugs 9 enthalten, als die Zielbereiche TA in den aufgenommenen Bildern der Seitenkameras SL, SR bestimmt. Die Bildzusammenfügeeinheit 22 erzeugt dann ein zusammengefügtes Bild CP, indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder verwendet. Das zusammengefügte Bild CP, in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, wird daher erzeugt.
  • Anschließend erzeugt die Bildeinstelleinheit 23 das Anzeigebild DP zum Anzeigen auf dem Anzeigegerät 3 (Schritt S16). Die Bildeinstelleinheit 23 erzeugt das Anzeigebild DP unter Verwendung des zusammengefügten Bilds CP, das von der Bildzusammenfügeeinheit 22 erzeugt wird, und die aufgenommenen Bilder, die von der Bilderfassungseinheit 21 erfasst werden. Die Bildeinstelleinheit 23 wählte das aufgenommene Bild in Übereinstimmung mit der Fahrtrichtung des Fahrzeugs 9 aus, und verwendet diese zum Erzeugen des Anzeigebilds DP unter der Steuerung der Bildsteuereinheit 20a.
  • Dann gibt die Bildausgabeeinheit 24 das Anzeigebild DP, das von der Bildeinstelleinheit 23 erzeugt wurde, zu dem Anzeigegerät 3 aus (Schritt S17). Dann wird das Anzeigebild DP, das das zusammengefügte Bild CP enthält, auf dem Anzeigegerät 3 angezeigt.
  • Wie oben beschrieben, gemäß dem Bildanzeigesystem 10 der ersten beispielhaften Ausführungsform, ist die Bilderfassungseinheit 21 ausgelegt, um die Mehrzahl aufgenommener Bilder, die von der Mehrzahl von Kameras 5, darunter die Seitenkameras 5L, 5R, die in den Seitenspiegeln des Fahrzeugs 9 vorgesehen sind, erhalten werden, zu erfassen, und die Bildzusammenfügeeinheit 22 ist ausgelegt, um das zusammengefügte Bild CP zu erzeugen, das das Umfeld des Fahrzeugs 9 von dem virtuellen Blickpunkt ausgehend betrachtet unter Verwendung der jeweiligen Zielbereiche TA der Mehrzahl erfasster Bilder angibt. Die Zustandserfassungseinheit 20b ist auch ausgelegt, um den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R zu erfassen, und die Bildzusammenfügeeinheit 22 ist ausgelegt, um die Zielbereiche TA in Übereinstimmung mit dem ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R zu ändern. Derart, da die Zielbereiche TA in den aufgenommenen Bildern, die von den Seitenkameras 5L, 5R erhalten werden, in Übereinstimmung mit dem Zustand der Seitenspiegel 93L, 93R geändert werden, ist es möglich, das zusammengefügte Bild CP zu erzeugen, in dem die Bilder der fotografischen Subjekte unter Abstimmen zusammengefügt sind, sogar wenn die Seitenspiegel 93L, 93R in irgendeinem Zustand des ausgefahrenen Zustands und des eingefahrenen Zustand sind.
  • <2. Zweite veranschaulichende Ausführungsform>
  • <2-1. Überblick>
  • Unten wird eine zweite veranschaulichende Ausführungsform beschrieben. Da die Konfigurationen und Vorgänge eines Bildanzeigesystems 10A gemäß der zweiten veranschaulichenden Ausführungsform im Wesentlichen gleich sind wie bei dem Bildanzeigesystem 10 der ersten veranschaulichenden Ausführungsform, werden unten hauptsächlich Unterschiede zu der ersten veranschaulichenden Ausführungsform beschrieben. Die Elemente, die dieselben oder ähnliche Auslegungen oder Funktionen haben, werden mit denselben Bezugszeichen bezeichnet und die übereinstimmenden Beschreibungen werden dafür weggelassen. Das Bildanzeigesystem 10A ist ausgelegt, um das zusammengefügte Bild CP zu erzeugen, indem ein optischer Achsparameter, der einen Fehler der Richtungen der optischen Achsen der jeweiligen Kameras 5 der bei der Kalibrierungsverarbeitung erfasst wird, angibt, verwendet wird.
  • Wenn die Kameras 5 in dem Fahrzeug 9 vorgesehen sind, tritt ein geringfügiger Fehler (ein Montagefehler) zwischen einer Richtung der optischen Achse der Kamera 5 in Bezug auf das Fahrzeug 9 und einer Konzeptionsrichtung auf. Aufgrund des Fehlers weicht eine Position des Bilds des fotografischen Subjekts, das in dem aufgenommenen Bild, das von der Kamera 5 erfasst wird, enthalten ist, von einer Position, die beim Konzept angenommen wird, ab. Falls das zusammengefügte Bild CP daher unter Verwendung des Zielbereichs TA in dem aufgenommenen Bild, das beim Konzept definiert wird, erzeugt wird, ohne die Abweichung zu berücksichtigen, können die Bilder der fotografischen Subjekte ohne Abstimmung zusammengefügt werden.
  • Insbesondere wenn der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil, der dazwischen eingefügt wird, erzeugt wird, falls die Bilder der fotografischen Subjekte zusammengefügt werden, ohne abgestimmt zu werden, kann ein Bild desselben Objekts an unterschiedlichen Positionen in dem überblendeten Teil des zusammengefügten Bilds CP erscheinen. Der Benutzer, der das zusammengefügte Bild CP visuell erkennt, kann eine Anzahl oder Positionen der Objekte, die in dem Umfeld des Fahrzeugs 9 vorhanden sind, falsch auslegen.
  • Daher ist das Bildanzeigesystem 10A ausgeführt, um Kalibrierungsverarbeitung auszuführen, wodurch ein optischer Achsparameter erfasst wird, der sich auf eine aktuelle Richtung der optischen Achse jeder Kamera 5 bezieht. Der optische Achsparameter gibt zum Beispiel einen Fehler zwischen einer Richtung der optischen Achse der Kamera 5 in Bezug auf das Fahrzeug 9 und einer Konzeptrichtung an und weist einen Rollwinkel, einen Neigungswinkel, einen Schwenkwinkel und dergleichen auf. Das Bildanzeigesystem 10A ist ausgelegt, um den erfassten optischen Achsparameter zu verwenden und daher eine Position des Zielbereichs TA in dem aufgenommenen Bild, das zum Erzeugen des zusammengefügten Bilds CP verwendet wird, zu korrigieren. Das Bildanzeigesystem 10A kann daher das zusammengefügte Bild CP, in dem der Fehler berücksichtigt wurde, erzeugen.
  • Die Seitenkameras 5L, 5R werden auch geändert, was die Positionen und die Richtung ihrer optischen Achsen betrifft, wenn die Seitenspiegel 93L, 93R gedreht werden. Wie bei der Drehung der Seitenspiegel 93L, 93R, besteht auch ein individueller Unterschied im Drehungswinkel und dergleichen. Was die Richtungen der optischen Achsen der Seitenkameras 5L, 5R betrifft, tritt daher ein unabhängiger Fehler in dem ausgefahrenen und dem eingefahrenen Zustand der Seitenspiegel 93L, 93R auf. Das Bildanzeigesystem 10A ist daher ausgelegt, um die optischen Achsparameter, die den Fehler in den Richtungen der optischen Achsen der Seitenkameras 5L, 5R angeben, bei jedem Zustand des aktuell ausgefahrenen Zustands und aktuell eingefahrenen Zustands der zwei Seitenspiegel 93L, 93R zu erfassen.
  • Das Bilderzeugungsgerät 2 des Bildanzeigesystems 10A hat eine Funktion zum Herleiten der optischen Achsparameter bei der Kalibrierungsverarbeitung. Man kann daher sagen, dass das Bilderzeugungsgerät 2 ein Parametererfassungsgerät ist, das ausgelegt ist, um Parameter in Zusammenhang mit den Kameras 5, die in dem Fahrzeug 9 bereitgestellt sind, zu erfassen. Wenn die Mehrzahl von Kameras in dem Fahrzeug 9 in einem Herstellerwerk oder Fahrzeugreparaturposten befestigt wird, führt das Bildanzeigesystem 10A die Kalibrierungsverarbeitung aus. Die optischen Achsparameter, die bei der Kalibrierungsverarbeitung erhalten werden, werden in dem Bilderzeugungsgerät 2 gespeichert. Die optischen Achsparameter werden verwendet, wenn das Bilderzeugungsgerät 2 das zusammengefügte Bild CP erzeugt.
  • Wie in 11 gezeigt, hat das Bildanzeigesystem 10A ferner eine Parameterherleitungseinheit 20c, die ausgelegt ist, um die optischen Achsparameter herzuleiten, zusätzlich zu den Auslegungen der ersten in 1 gezeigten veranschaulichenden Ausführungsform. Die Parameterherleitungseinheit 20c ist ein Teil der funktionalen Einheiten, die umgesetzt werden, wenn die CPU der Steuereinheit 20 die rechnerische Verarbeitung als Reaktion auf das Programm 27a ausführt.
  • Die Speichereinheit 27 ist auch ausgelegt, um eine Mehrzahl optischer Achsparameter 27c gemeinsam mit dem Programm 27a und der Mehrzahl von Entsprechungstabellen 27b zu speichern. Da die optischen Achsparameter 27c durch die Kalibrierungsverarbeitung erfasst werden, werden die optischen Achsparameter nicht in der Speichereinheit 27 gespeichert, bevor die Kalibrierungsverarbeitung ausgeführt wurde.
  • Der optische Achsparameter 27c wird in jeder der Kameras 5 vorgesehen. Was die Seitenkameras 5L, 5R betrifft, wird der optische Achsparameter 27c einzeln in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel 93L, 93R bereitgestellt.
  • <2-2. Kalibrierungsverarbeitung>
  • 12 veranschaulicht eine Situation des Fahrzeugs 9, wenn die Kalibrierungsverarbeitung ausgeführt wird. Wie in 12 gezeigt, werden vier Markierungselemente 7 an einem Arbeitsposten zum Ausführen der Kalibrierungsverarbeitung, wie zum Beispiel im Herstellerwerk oder einem Fahrzeugreparaturposten angeordnet.
  • Wie in 13 gezeigt, hat jedes der vier Markierungselemente 7 eine aufrichtbare kubische Form. Das Markierungselement 7 hat ein aufgerichtetes plattenförmiges Element 79, wie zum Beispiel eine Plastikplatte. Eine Hauptoberfläche des plattenförmigen Elements 79, die zu dem Fahrzeug 9 zeigt, ist mit einer Markierung 70 ausgebildet, die ein vorbestimmtes Muster hat. Das Muster der Markierung 70 ist zum Beispiel ein Schachbrettmuster. Eine der zwei Farben, die das Muster bilden, ist eine dunkle Farbe (zum Beispiel Schwarz), und die andere ist eine relativ helle Farbe (zum Beispiel Weiß).
  • Beim Ausführen der Kalibrierungsverarbeitung, wie in 12 gezeigt, steht das Fahrzeug 9 an einer vorbestimmten Position auf dem Arbeitsposten unter Verwendung eines Gegenüberstellungsgeräts und dergleichen still. Der relativen Positionen der vier Markierungselemente 7 des Fahrzeugs 9 sind daher konstant. Die vier Markierungselemente 7 sind jeweils in jeweiligen Bereichen A1, A2, A3, A4 vorn links, von rechts, hinten links und hinten rechts von dem Fahrzeug 9 angeordnet. Alle vier Markierungselemente 7 können daher überlagernd von den zwei Kameras 5 der vier Kameras 5 (siehe 2) aufgenommen werden.
  • Die Kalibrierungsverarbeitung wird ausgeführt, während ein Bediener einen vorbestimmten Vorgang über das Touchpanel 31 und dergleichen in dem Zustand, der in 12 gezeigt ist, ausführt. Bei der Kalibrierungsverarbeitung nehmen die Kameras 5, die an das Fahrzeug montiert sind, das Umfeld des Fahrzeugs 9 inklusive der Markierungselemente 7 auf, um die aufgenommenen Bilder zu erfassen. Das Bilderzeugungsgerät 2 erfasst die optischen Achsparameter, die Fehler der Richtungen der optischen Achsen der Kameras 5 angeben, basierend auf den aufgenommenen Bildern, die derart erfasst wurden.
  • 14 zeigt eine Abfolge der Kalibrierungsverarbeitung des Bildanzeigesystems 10A. Bei der Kalibrierungsverarbeitung werden die optischen Achsparameter bei jedem Zustand des aktuell ausgefahrenen Zustands und aktuell eingefahrenen Zustands der Seitenspiegel 93L, 93R erfasst.
  • Zuerst erfasst die Zustandserfassungseinheit 20b des Bilderzeugungsgeräts 2 den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel 93L, 93R und bestätigt, ob die Seitenspiegel 93L, 93R in dem aktuell ausgefahrenen Zustand sind (Schritt S21). Falls die Seitenspiegel 93L, 93R in diesem Zeitpunkt in dem eingefahrenen Zustand sind, wartet das Bildanzeigesystem 10A, bis die Seitenspiegel 93L, 93R aktuell ausgefahrenen sind.
  • Andererseits, wenn die Seitenspiegel 93L, 93R in dem eingefahrenen Zustand sind, kann das Anzeigegerät 3 eine Warnung und dergleichen anzeigen, um den Benutzer zu veranlassen, die Seitenspiegel 93L, 93R auszufahren. Falls die Seitenspiegel 93L, 93R daher in dem eingefahrenen Zustand sind, kann die Steuereinheit 20 des Bilderzeugungsgeräts 2 ein vorbestimmtes Signal zu der Spiegelantriebseinheit 92 übertragen, um die Seitenspiegel 93L, 93R automatisch zu dem ausgefahrenen Zustand zu verlagern.
  • Falls die Seitenspiegel 93L, 93R in dem aktuell ausgefahrenen Zustand sind (Ja in Schritt S21), wählt die Parameterherleitungseinheit 20c eine Kamera 5 der vier Kameras 5 als eine ,Meldekamera’ aus, die ein Verarbeitungsziel ist (Schritt S22).
  • Danach nimmt die Meldekamera 5 einen umfänglichen Bereich des Fahrzeugs 9 auf, der die Markierungen 70 der zwei Markierungselemente 7 enthält, um ein aufgenommenes Bild zu erfassen (Schritt S23). 15 veranschaulicht ein Beispiel eines aufgenommenen Bilds GC für die Kalibrierungsverarbeitung, das derart erhalten wurde. Wie gezeigt, weist das aufgenommene Bild GC Bilder (unten ,Markierungsbilder’ genannt) 71a, 72a der zwei Markierungen 70 auf.
  • Dann, wie in 14 gezeigt, erfasst die Parameterherleitungseinheit 20c einen optischen Achsparameter, der einen Fehler der Richtung der optischen Achse der Meldekamera 5 basierend auf dem aufgenommenen Bild GC angibt (Schritt S24) angeben. Die Parameterherleitungseinheit 20c spezifiziert zuerst Positionen der zwei Markierungsbilder 71a, 72a, die in dem aufgenommenen Bild GC enthalten sind, und leitet die optischen Achsparameter, wie zum Beispiel Schwenkwinkel, Neigungswinkel und Rollwinkel basierend auf den Positionen her.
  • Die Parameterherleitungseinheit 20c spezifiziert die Positionen der zwei Markierungsbilder 71a, 72a in dem aufgenommenen Bild GC unter Verwendung eines gut bekannten Kantenerfassungsverfahrens, wie zum Beispiel ein Harris-Operator. Die Parameterherleitungseinheit 20c leitet auch jeweils einen Schwenkwinkel auf der Grundlage linker und rechter Positionen der zwei Markierungsbilder 71a, 72a in dem aufgenommenen Bild GC, einen Neigungswinkel auf der Grundlage der oberen und unteren Position der zwei Markierungsbilder 71a, 72a sowie einen Rollwinkel auf der Grundlage eines Unterschieds zwischen Höhen der zwei Markierungsbilder 71a, 72a in dem aufgenommenen Bild GC her. Indes können die Positionen der zwei Markierungsbilder 71a, 72a in dem aufgenommenen Bild GC von einem Bediener manuell bezeichnet werden.
  • Die Parameterherleitungseinheit 20c assoziiert den erfassten optischen Achsparameter mit der Meldekamera 5 und speichert diesen in der Speichereinheit 27.
  • Dann bestimmt die Parameterherleitungseinheit 20c, ob die optischen Achsparameter für alle vier Kameras 5 erfasst sind (Schritt S25). Wenn eine Kamera 5 vorhanden ist, für die der optische Achsparameter noch nicht erfasst wurde (Nein in Schritt S25), wird eine andere Kamera 5, die noch nicht als die Meldekamera 5 eingestellt wurde, als die neue Meldekamera 5 eingestellt, und die oben beschriebene Verarbeitung wird wiederholt.
  • Die Verarbeitung wird wiederholt, so dass alle optischen Achsparameter der vier Kameras 5 erfasst und in der Speichereinheit 27 gespeichert werden. Die optischen Achsparameter der zwei Seitenkameras 5L, 5R, die bei der Verarbeitung erfasst werden, sind optische Achsparameter, die in dem aktuell ausgefahrenen Zustand der Seitenspiegel 93L, 93R erfasst werden und danach ,Ausfahrparameter’ genannt werden. Die ,Ausfahrparameter’ geben Fehler in den Richtungen der optischen Achsen der Seitenkameras 5L, 5R in Bezug auf die Konzeptionsrichtungen in dem aktuell ausgefahrenen Zustand der Seitenspiegel 93L, 93R an.
  • Derart, wenn die optischen Achsparameter der vier Kameras 5 erfasst sind (Ja in Schritt S25), erfasst die Zustandserfassungseinheit 20b den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel 93L, 93R. Dann bleibt das Bildanzeigesystem 10A in Standby, bis die Seitenspiegel 93L, 93R aktuell eingefahren sind (Schritt S26).
  • Indes kann in diesem Zeitpunkt das Anzeigegerät 3 eine Warnung und dergleichen anzeigen, um den Benutzer zu veranlassen, die Seitenspiegel 93L, 93R einzufahren. Die Steuereinheit 20 des Bilderzeugungsgeräts 2 kann auch ein vorbestimmtes Signal zu der Spiegelantriebseinheit 92 übertragen, um die Seitenspiegel 93L, 93R automatisch zu dem eingefahrenen Zustand zu verlagern.
  • Wenn die Seitenspiegel 93L, 93R in dem aktuell eingefahrenen Zustand sind (Ja in Schritt S26), wählt die Parameterherleitungseinheit 20c eine Kamera 5 der linken und rechten Seitenkameras 5 als eine ,Meldekamera’ aus, die ein Verarbeitungsziel ist (Schritt S27).
  • Danach nimmt die Meldekamera 5 einen umfänglichen Bereich des Fahrzeugs 9 auf, der die Markierungen 70 der zwei Markierungselemente 7 enthält, um ein aufgenommenes Bild zu erfassen (Schritt S28). Das erfasste aufgenommene Bild GC weist auch die zwei Markierungsbilder 71a, 72a auf.
  • Dann erfasst die Parameterherleitungseinheit 20c einen optischen Achsparameter, der einen Fehler der Richtung der optischen Achse der Meldekamera 5 basierend auf dem aufgenommenen Bild GC angibt (Schritt S29). Die Parameterherleitungseinheit 20c spezifiziert die Positionen der zwei Markierungsbilder 71a, 72a, die in dem aufgenommenen Bild GC enthalten sind und leitet den optischen Achsparameter basierend auf den Positionen her. Die Parameterherleitungseinheit 20c assoziiert den erfassten optischen Achsparameter mit der Meldekamera 5 und speichert diesen in der Speichereinheit 27.
  • Dann bestimmt die Parameterherleitungseinheit 20c, ob die optischen Achsparameter für die linke und rechte Seitenkamera 5L, 5R erfasst sind (Schritt S30). Falls eine Seitenkamera 5 vorhanden ist, für die der optische Achsparameter noch nicht erfasst wurde (Nein in Schritt S30), wird eine andere Kamera 5, die noch nicht als die Meldekamera 5 eingestellt wurde, als die neue Meldekamera 5 eingestellt, und die oben beschriebene Verarbeitung wird wiederholt.
  • Bei der oben stehenden Verarbeitung werden die optischen Achsparameter der linken und rechten Seitenkamera 5L, 5R erfasst und in der Speichereinheit 27 gespeichert. Die optischen Achsparameter der zwei Seitenkameras 5L, 5R, die bei der Verarbeitung erfasst werden, sind optische Achsparameter, die in dem aktuell eingefahrenen Zustand der Seitenspiegel 93L, 93R erfasst werden und danach ,Einfahrparameter’ genannt werden. Die ,Einfahrparameter’ geben Fehler der Richtungen der optischen Achsen der Seitenkameras 5L, 5R in Bezug auf die Konzeptionsrichtungen in dem aktuell eingefahrenen Zustand der Seitenspiegel 93L, 93R an.
  • Durch die oben stehende Kalibrierungsverarbeitung werden sowohl die ,Ausfahrparameter’ als auch die ,Einfahrparameter’ für die zwei Seitenkameras 5L, R5 erfasst.
  • <2-3. Anzeigen des Anzeigebilds>
  • Die optischen Achsparameter, die auf die oben stehende Art erfasst werden, werden zum Erzeugen des zusammengefügten Bilds CP verwendet. 16 zeigt eine Abfolge von Vorgängen des Bildanzeigesystems 10 zum Anzeigen des Anzeigebilds DP bei der zweiten veranschaulichenden Ausführungsform. Die Vorgänge, die in 16 gezeigt sind, entsprechen den Vorgängen der ersten veranschaulichenden Ausführungsform, die in 10 gezeigt ist, zu welchen Schritt S13a nach Schritt S13 und Schritt S14a nach Schritt S14 hinzugefügt werden.
  • Zunächst erfasst die Bilderfassungseinheit 21 die vier aufgenommenen Bilder, die von den vier Kameras 5 erhalten werden (Schritt S11). Dann erfasst die Zustandserfassungseinheit 20b den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel 93L, 93R (Schritt S12).
  • Falls die Seitenspiegel 93L, 93R in dem ausgefahrenen Zustand sind (Ja in Schritt S12), wählt die Bildzusammenfügeeinheit 22 die Ausfahrtabelle als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten Bilds CP verwendet wird, und liest aus der Ausfahrtabelle aus der Speichereinheit 27 heraus (Schritt S13).
  • Danach korrigiert die Bildzusammenfügeeinheit 22 die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder, definiert auf der Grundlage der Ausfahrtabelle unter Berücksichtigung der Fehler in den Richtungen der optischen Achsen der vier Kameras (Schritt S13a). Die Bildzusammenfügeeinheit 22 liest die optischen Achsparameter 27c der vier Kameras 5 aus der Speichereinheit 27. In diesem Zeitpunkt liest die Bildzusammenfügeeinheit 22 die ,Ausfahrparameter’ aus der Speichereinheit 27 in Bezug auf die zwei Seitenkameras 5L, 5R. Danach korrigiert die Bildzusammenfügeeinheit 22 die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder, definiert auf der Grundlage der Ausfahrtabelle unter Berücksichtigung der jeweiligen Achsparameter F 27c der vier Kameras. Dadurch werden die Zielbereiche TA in den aufgenommenen Bildern der Seitenkameras 5L, 5R unter Verwendung der ,Ausfahrparameter’ der Seitenkameras 5L, 5R korrigiert.
  • 17 veranschaulicht ein Beispiel des Zielbereichs TA in dem aufgenommenen Bild SL der linken Seitenkamera 5L in dem ausgefahrenen Zustand des linken Seitenspiegels 93L. Wenn kein Fehler der Richtung der optischen Achse der linken Seitenkamera 5L besteht, ist der für die Erzeugung des zusammengefügten Bilds CP verwendete Zielbereich TA ein ursprünglicher Zielbereich TA1 basierend allein auf der Ausfahrtabelle. Die Bildzusammensetzungseinheit 22 korrigiert den Zielbereich TA von dem ursprünglichen Bereich TA1 auf einen korrigierten Bereich TA2 unter Verwendung der Ausfahrparameter, die den Fehler der Richtung der optischen Achse der linken Seitenkamera 5L in dem aktuell ausgefahrenen Zustand des linken Seitenspiegels 93L angibt.
  • Wie in 16 gezeigt, erzeugt die Bildzusammenfügeeinheit 22 dann ein zusammengefügtes Bild CP, indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder verwendet (Schritt S15). Da das zusammengefügte Bild CP unter Berücksichtigung der Fehler der Richtungen der optischen Achsen der vier Kameras 5 erzeugt wird, wird daher das zusammengefügte Bild CP, in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, erzeugt. Die Bilder der fotografischen Subjekte können auch passend an dem Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP überlagert werden, das durch Überblenden der zwei aufgenommenen Bilder erzeugt wird.
  • Anschließend erzeugt die Bildeinstelleinheit 23 das Anzeigebild DP zum Anzeigen auf dem Anzeigegerät 3 (Schritt S16) und die Bildausgabeeinheit 24 gibt das Anzeigebild DP, das von der Bildeinstelleinheit 23 erzeugt wird, zu dem Anzeigegerät 3 aus (Schritt S17). Das Anzeigebild DP, das das zusammengefügte Bild CP enthält, wird dadurch auf dem Anzeigegerät 3 angezeigt.
  • Falls in Schritt S12 bestimmt wird, dass die Seitenspiegel 93L, 93R in dem eingefahrenen Zustand sind (Nein in Schritt S12), liest die Bildzusammenfügeeinheit 22 aus der Einfahrtabelle aus der Speichereinheit 27 als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten Bilds CP verwendet wird, heraus (Schritt S14).
  • Danach korrigiert die Bildzusammenfügeeinheit 22 die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder, definiert auf der Grundlage der Einfahrtabelle unter Berücksichtigung der Fehler in den Richtungen der optischen Achsen der vier Kameras (Schritt S14a). Die Bildzusammenfügeeinheit 22 liest die optischen Achsparameter 27c der vier Kameras 5 aus der Speichereinheit 27. In diesem Zeitpunkt liest die Bildzusammenfügeeinheit 22 die ,Einfahrparameter’ aus der Speichereinheit 27 in Bezug auf die zwei Seitenkameras 5L, 5R. Danach korrigiert die Bildzusammenfügeeinheit 22 die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder, definiert auf der Grundlage der Einfahrtabelle unter Berücksichtigung der jeweiligen optischen Achsparameter 27c der vier Kameras 5. Dadurch werden die Zielbereiche TA in den aufgenommenen Bildern der Seitenkameras 5L, 5R unter Verwendung der ,Einfahrparameter’ der Seitenkameras 5L, 5R korrigiert.
  • 18 veranschaulicht ein Beispiel des Zielbereichs TA in dem aufgenommenen Bild SL der linken Seitenkamera 5L in dem eingefahrenen Zustand des linken Seitenspiegels 93L. Falls kein Fehler der Richtung der optischen Achse der linken Seitenkamera 5L besteht, ist der für die Erzeugung des zusammengefügten Bilds CP verwendete Zielbereich TA ein ursprünglicher Zielbereich TA3 basierend allein auf der Einfahrtabelle. Die Bildzusammensetzungseinheit 22 korrigiert den Zielbereich TA von dem ursprünglichen Bereich TA3 auf einen korrigierten Bereich TA4 unter Verwendung der Einfahrparameter, die den Fehler der Richtung der optischen Achse der linken Seitenkamera 5L in dem aktuell eingefahrenen Zustand des linken Seitenspiegels 93L angibt.
  • Wie in 16 gezeigt, erzeugt die Bildzusammenfügeeinheit 22 dann ein zusammengefügtes Bild CP, indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder verwendet (Schritt S15). Da das zusammengefügte Bild CP unter Berücksichtigung der Fehler der Richtungen der optischen Achsen der vier Kameras 5 erzeugt wird, wird daher das zusammengefügte Bild CP, in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, erzeugt. Die Bilder der fotografischen Subjekte können auch passend an dem Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP überlagert werden, das durch Überblenden der zwei aufgenommenen Bilder erzeugt wird.
  • Anschließend erzeugt die Bildeinstelleinheit 23 das Anzeigebild DP zum Anzeigen auf dem Anzeigegerät 3 (Schritt S16) und die Bildausgabeeinheit 24 gibt das Anzeigebild DP, das von der Bildeinstelleinheit 23 erzeugt wird, zu dem Anzeigegerät 3 aus (Schritt S17). Das Anzeigebild DP, das das zusammengefügte Bild CP enthält, wird dadurch auf dem Anzeigegerät 3 angezeigt.
  • Wie oben beschrieben, gemäß dem Bildanzeigesystem 10A der zweiten veranschaulichenden Ausführungsform, ist die Bildzusammenfügeeinheit 22 ausgelegt, um das zusammengefügte Bild CP unter Verwendung der Zielbereiche TA basierend auf den Ausfahrparametern in dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R zu erzeugen. Die Bildzusammenfügeeinheit 22 ist auch ausgelegt, um das zusammengefügte Bild CP unter Verwendung der Zielbereiche TA basierend auf den Einfahrparametern in dem eingefahrenen Zustand der Seitenspiegel 93L, 93R zu erzeugen. Die Ausfahrparameter geben Fehler der Richtungen der optischen Achsen der Seitenkameras 5L, 5R in Bezug in dem aktuell ausgefahrenen Zustand der Seitenspiegel 93L, 93R an. Andererseits geben die Einfahrparameter Fehler der Richtungen der optischen Achsen der Seitenkameras 5L, 5R in Bezug in dem aktuell eingefahrenen Zustand der Seitenspiegel 93L, 93R an.
  • Derart ist die Bildzusammenfügeeinheit 22 ausgelegt, um das zusammengefügte Bild CP unter Verwendung der Zielbereiche TA basierend auf den Fehlern der Richtungen der optischen Achsen in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel 93L, 93R zu erzeugen. Es ist daher möglich, das zusammengefügte Bild CP, in dem die Bilder der fotografischen Subjekte passend ungeachtet des Zustands der Seitenspiegel 93L, 93R angeordnet sind, zu erzeugen. Sogar beim Erzeugen des Grenzteils zwischen den erfassten Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei erfassten Bilder ist es möglich, die Bilder der fotografischen Subjekte passend miteinander an dem überblendeten Teil des zusammengefügten Bilds CP zu überlagern.
  • Bei der Kalibrierungsverarbeitung ist die Parameterherleitungseinheit 20c auch ausgelegt, um die Ausfahrparameter in dem aktuell ausgefahrenen Zustand der Seitenspiegel 93L, 93R zu erfassen und die Einfahrparameter in dem aktuell eingefahrenen Zustand der Seitenspiegel 93L, 93R zu erfassen. Es ist daher möglich, die Parameter der Ausfahrparameter und der Einfahrparameter passend zu erfassen, die erforderlich sind, um das passende zusammengefügte Bild CP in jedem Zustand des eingefahrenen und ausgefahrenen Zustands der Seitenspiegel 93L, 93R zu erzeugen.
  • <3. Dritte veranschaulichende Ausführungsform>
  • Unten wird eine dritte veranschaulichende Ausführungsform beschrieben. Da die Konfigurationen und Vorgänge eines Bildanzeigesystems 10B gemäß der dritten veranschaulichenden Ausführungsform im Wesentlichen gleich sind wie bei dem Bildanzeigesystem 10A der zweiten veranschaulichenden Ausführungsform, werden unten hauptsächlich Unterschiede zu der zweiten veranschaulichenden Ausführungsform beschrieben. Elemente, die dieselben oder ähnliche Auslegungen oder Funktionen haben, werden mit denselben Bezugszeichen bezeichnet und die übereinstimmenden Beschreibungen werden dafür weggelassen.
  • Das Bildanzeigesystem 10A der zweiten veranschaulichenden Ausführungsform ist ausgelegt, um die optischen Achsparameter in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel 93L, 93R bei der Kalibrierungsverarbeitung zu erfassen. Um das passende zusammengefügte Bild CP zu erzeugen, wird bevorzugt, die optischen Achsparameter in beiden Zuständen zu erfassen. Das Ausführen der Kalibrierungsverarbeitung erfordert jedoch relativ viel Zeit.
  • Daher ist ein Bildanzeigesystem 10B der dritten veranschaulichenden Ausführungsform ausgelegt, um die optischen Achsparameter (die Ausfahrparameter) nur in einem ausgefahrenen Zustand der Seitenspiegel 93L, 93R zu erfassen, wodurch die Zeit, die für die Kalibrierungsverarbeitung erforderlich ist, verkürzt wird. Das Bildanzeigesystem 10B der dritten veranschaulichenden Ausführungsform ist ausgelegt, um die Einfahrparameter durch eine vorbestimmte Berechnung auf der Grundlage der erfassten Ausfahrparameter herzuleiten.
  • Wie oben beschrieben, was die Richtungen der optischen Achsen der Seitenkameras 5L, 5R betrifft, treten unabhängige Fehler in dem ausgefahrenen und dem eingefahrenen Zustand der Seitenspiegel 93L, 93R auf. Wenn die Einfahrparameter daher durch Berechnung hergeleitet werden, ist es schwierig, die Einfahrparameter, die die Fehler der Richtungen der optischen Achsen angeben, korrekt zu erfassen. Wenn daher die Einfahrparameter, die durch Berechnung hergeleitet werden, verwendet werden, um das zusammengefügte Bild CP zu erzeugen, besteht eine Möglichkeit, dass die Bilder der fotografischen Subjekte ohne Abstimmung zusammengefügt werden.
  • Insbesondere wenn der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil, der dazwischen eingefügt wird, erzeugt wird, falls die Bilder der fotografischen Subjekte zusammengefügt werden, ohne abgestimmt zu werden, kann ein Bild desselben Objekts an unterschiedlichen Positionen in dem überblendeten Teil des zusammengefügten Bilds CP erscheinen. Der Benutzer, der das zusammengefügte Bild CP visuell erkennt, kann eine Anzahl oder Positionen der Objekte, die in dem Umfeld des Fahrzeugs 9 vorhanden sind, falsch auslegen.
  • Das Bildanzeigesystem 10B der dritten veranschaulichenden Ausführungsform ist daher ausgelegt, um den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil dazwischen eingefügt in dem ausgefahrenen Zustand (wenn die Ausfahrparameter, die in der Kalibrierungsverarbeitung erfasst worden, verwendet werden) des Seitenspiegels 93L wie bei der zweiten veranschaulichenden Ausführungsform zu erzeugen. Andererseits, ist in dem eingefahrenen Zustand (wenn die Einfahrparameter, die durch Berechnung hergeleitet werden, verwendet werden) des Seitenspiegels 93L das Bildanzeigesystem 10B ausgelegt, um den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP als eine Linie einzustellen, für die die aufgenommenen Bilder nicht verwendet werden.
  • Die Auslegung des Bildanzeigesystems 10B der dritten veranschaulichenden Ausführungsform ist dieselbe wie die des Bildanzeigesystems 10A der zweiten veranschaulichenden Ausführungsform, die in 11 gezeigt ist. Die Parameterherleitungseinheit 20c ist jedoch ausgelegt, um die optischen Achsparameter (die Ausfahrparameter) nur in dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R bei der Kalibrierungsverarbeitung zu erfassen. Die Parameterherleitungseinheit 20c ist auch ausgelegt, um die Einfahrparameter durch eine vorbestimmte Berechnung auf der Grundlage der erfassten Ausfahrparameter herzuleiten. Die Berechnungsgleichung wird im Voraus durch Konzeptionswerte festgelegt und in der Speichereinheit 27 gespeichert.
  • Bei der dritten veranschaulichenden Ausführungsform ist daher eine Abfolge von Vorgängen des Bildanzeigesystems 10 zum Anzeigen des Anzeigebilds DP gleich wie die der Vorgänge, die in 16 gezeigt sind. Wenn die Bildzusammenfügeeinheit 22 jedoch das zusammengefügte Bild CP in Schritt S15 erzeugt, ist das Verfahren des Erzeugens des Grenzteils zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP beim ausgefahrenen und eingefahrenen Zustand der Seitenspiegel 93L, 93R unterschiedlich.
  • In dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R ist die Bildzusammenfügeeinheit 22 ausgelegt, um den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil dazwischen eingefügt wie bei den oben beschriebenen veranschaulichenden Ausführungsformen beschrieben zu erzeugen (siehe 4).
  • In dem eingefahrenen Zustand der Seitenspiegel 93L, 93R erzeugt die Bildzusammenfügeeinheit 22 im Gegenteil den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP nicht durch Überblenden der aufgenommenen Bilder. In diesem Fall, wie in 19 gezeigt, werden die Teile GF, GB, GL, GR, zu welchen die vier aufgenommenen Bilder in dem Projektionsbereich R1 der stereoskopisch gebogenen Oberfläche TS projiziert werden, in einem vorbestimmten Intervall ohne Überlagerung geteilt. Daher werden die Grenzteile BB1 bis BB4 zwischen den Teilen GF, GB, GL, GR mit Spalten, zu welchen irgendwelche aufgenommenen Bilddaten nicht projiziert werden, ausgebildet. Die Bildzusammenfügeeinheit 22 zeigt daher die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP als Linien an (ein Beispiel eines Maskenbilds), für die die aufgenommenen Bilder nicht verwendet werden.
  • 20 veranschaulicht Beispiele des zusammengefügten Bilds CP, das in dem ausgefahrenen und eingefahrenen Zustand der Seitenspiegel 93L, 93R erzeugt wird. 20A veranschaulicht das zusammengefügte Bild CP, das in dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R erzeugt wird, und 20B veranschaulicht das zusammengefügte Bild CP, das in dem eingefahrenen Zustand der Seitenspiegel 93L, 93R erzeugt wird. In 20 tragen die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP dieselben Bezugszeichen wie die für die Grenzteile zwischen den Teilen GF, GB, GL, GR der stereoskopisch gebogenen Oberfläche TS in 4 oder 19.
  • Wie in 20A gezeigt, werden in dem zusammengefügten Bild CP, das in dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R erzeugt wird, die Grenzteile BA1 bis BA4 zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden ausgebildet. Die Grenzteile BA1 bis BA4 enthalten daher auch die Bilder der fotografischen Subjekte, so dass das zusammengefügte Bild CP ein natürliches Bild wird. In diesem Fall, da das zusammengefügte Bild CP unter Verwendung der Ausfahrparameter erzeugt wird, die bei der Kalibrierungsverarbeitung erfasst werden, ist es möglich, die Bilder der fotografischen Subjekte passend zueinander in den überblendeten Teilen des zusammengefügten Bilds CP zu überlagern.
  • Im Gegensatz, wie in 20B gezeigt, werden in dem zusammengefügten Bild CP, das in dem eingefahrenen Zustand der Seitenspiegel 93L, 93R erzeugt wird, die aufgenommenen Bilddaten nicht für die Grenzteile BB1 bis BB4 zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP verwendet, so dass die achromatischen Linien gebildet werden. Daher sind die Bilder der fotografischen Subjekte nicht in den Linien BB1 bis BB4 enthalten.
  • In diesem Fall, da das zusammengefügte Bild CP unter Verwendung der Einfahrparameter, die durch Berechnung hergeleitet werden, erzeugt wird, besteht Besorgnis, dass die Bilder der fotografischen Subjekte ohne Abstimmung zusammengefügt werden. Daher werden die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP mit den Linien angezeigt, die die Bilder der fotografischen Subjekte nicht enthalten, so dass es möglich ist zu vermeiden, dass die Bilder der fotografischen Subjekte ohne Abstimmung angezeigt werden. Da die aufgenommenen Bilder in dem zusammengefügten Bild CP durch Linien unterteilt sind, ist es daher möglich, ein unangenehmes Gefühl zu verringern, das der Benutzer empfindet, weil die Bilder der fotografischen Subjekte zwischen den aufgenommenen Bildern ununterbrochen sind.
  • Wie oben beschrieben, ist gemäß dem Bildanzeigesystem 10B der dritten veranschaulichenden Ausführungsform die Bildzusammenfügeeinheit 22 ausgelegt, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem entsprechenden Grenzteil, der dazwischen eingefügt ist, in dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R zu erzeugen. Andererseits, in dem eingefahrenen Zustand der Seitenspiegel 93L, 93R, ist die Bildzusammenfügeeinheit 22 ausgebildet, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP mit den Linien, für die die aufgenommenen Bilder nicht verwendet werden, anzuzeigen.
  • In dem ausgefahrenen Zustand der Seitenspiegel 93L, 93R ist es möglich, das zusammengefügte Bild CP, das die Fehler der Richtungen der optischen Achsen der Seitenkameras 5L, 5R korrekt berücksichtigt, zu erzeugen. Daher ist es möglich, die Bilder der fotografischen Subjekte miteinander in den überblendeten Teilen des zusammengesetzten Bilds CP passend zu überlagern, so dass es möglich ist, das natürliche zusammengefügte Bild CP zu erzeugen. Im Gegensatz dazu, sind in dem eingefahrenen Zustand der Seitenspiegel 93L, 93R die Fehler der Richtungen der optischen Achsen der Seitenkameras 5L, 5R ungenau. Daher werden die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP mit den Linien angezeigt, so dass es möglich ist zu vermeiden, dass die Bilder der fotografischen Subjekte ohne Abstimmung überlagert und angezeigt werden.
  • Indes, gemäß dem Bildanzeigesystem 10B der dritten veranschaulichenden Ausführungsform, werden die Ausfahrparameter bei der Kalibrierungsverarbeitung und die Einfahrparameter bei der vorbestimmten Berechnung auf der Grundlage der erfassten Ausfahrparameter erfasst. Im Gegensatz können die Einfahrparameter bei der Kalibrierungsverarbeitung und die Ausfahrparameter bei einer vorbestimmten Berechnung auf der Grundlage der erfassten Einfahrparameter erfasst werden. In diesem Fall ist die Bildzusammenfügeeinheit 22 ausgebildet, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP mit den Linien, für die die aufgenommenen Bilder nicht verwendet werden, als den ausgefahrenen Zustand der Seitenspiegel 93L, 93R anzuzeigen. Andererseits, in dem eingefahrenen Zustand der Seitenspiegel 93L, 93R, ist die Bildzusammenfügeeinheit 22 ausgebildet, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem entsprechenden Grenzteil dazwischen zu erzeugen.
  • <4. Geänderte Ausführungsformen>
  • Obwohl die veranschaulichenden Ausführungsformen der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf die veranschaulichenden Ausführungsformen beschränkt und kann verschiedenartig geändert werden. Unten sind die geänderten Ausführungsformen beschrieben. Alle Ausführungsformen, die die oben veranschaulichten Ausführungsformen und die folgenden geänderten Ausführungsformen enthalten, können passend kombiniert werden.
  • Bei den jeweiligen veranschaulichenden Ausführungsformen ist die Zustandserfassungseinheit 20b ausgelegt, um den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel 93L, 93R basierend auf dem Signal zu erfassen, das von der Spiegelantriebseinheit 92 übertragen wird. Die Zustandserfassungseinheit 20b kann jedoch ausgelegt sein, um den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel 93L, 93R basierend auf einer Eingabe eines Benutzers zu erfassen. In diesem Fall gibt der Benutzer irgendeinen Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel 93L, 93R mit den Betätigungsknöpfen 4 oder dem Touchpanel 31 ein.
  • Bei der zweiten und dritten veranschaulichenden Ausführungsform ist die Markierung 70 auf dem aufrichtbaren Markierungselement 7 ausgebildet. Die Markierung 70 kann jedoch auf einer Hauptoberfläche eines nicht aufrichtbaren plattenförmigen Markierungselements oder einem Boden des Arbeitspostens ausgebildet sein.
  • Das Bilderzeugungsgerät 2 der zweiten und dritten veranschaulichenden Ausführungsform kann die Funktion als Parametererfassungsgerät, das konfiguriert ist, um die optischen Achsparameter zu erfassen, auch nicht haben. In diesem Fall kann das Bilderzeugungsgerät 2 die optischen Achsparameter, die durch ein getrenntes Parametererfassungsgerät erfasst werden, in der Speichereinheit 27 speichern und sie beim Erzeugen des zusammengefügten Bilds CP verwenden.
  • Bei der dritten veranschaulichenden Ausführungsform wird der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP in dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel 93L, 93R mit der Linie angezeigt, für die die aufgenommenen Bilder nicht verwendet werden. Die Form des Bilds, die den Grenzteil abdeckt, ist jedoch nicht auf die Linie beschränkt und kann entsprechend insofern festgelegt werden, als es möglich ist zu verhindern, dass die Bilder der fotografischen Subjekte ohne Abstimmung überlagert und angezeigt werden.
  • Das Bildanzeigesystem 10 (10A, 10B) der jeweiligen veranschaulichenden Ausführungsformen kann auch andere Funktionen, wie zum Beispiel eine Navigationsfunktion oder Führen einer Route zu einem Zielort zusätzlich zu der Anzeigefunktion des Anzeigebilds, das das Umfeld des Fahrzeugs 9 angibt, haben. Wenn das Bildanzeigesystem 10 (10A, 10B) die Navigationsfunktion hat, kann die Navigationsfunktion in einem normalen Zustand aktiviert werden, und wenn der Benutzer einen vorbestimmten Vorgang ausführt, kann die Funktion des Anzeigens des Anzeigebilds aktiviert werden. Die Navigationsfunktion kann in dem Bilderzeugungsgerät 2 oder dem Anzeigegerät 3 vorgesehen sein.
  • Das Bildanzeigesystem 10 (10A, 10B) der jeweiligen veranschaulichenden Ausführungsformen ist auch ausgelegt, um das zusammengefügte Bild (ein Draufsichtbild) von dem virtuellen Blickpunkt, gleich oberhalb des Fahrzeugs 9 betrachtet, zu erzeugen. Ein zusammengefügtes Bild, das von einem virtuellen Blickpunkt der anderen Position betrachtet wird, kann jedoch ebenfalls erzeugt werden.
  • Bei den oben stehenden veranschaulichenden Ausführungsformen sind die verschiedenen Funktionseinheiten daher in Software durch rechnerische Verarbeitung der CPU als Reaktion auf die Programme umgesetzt. Teile der Funktionseinheiten können jedoch durch elektrische Hardwareschaltungen umgesetzt werden. Im Gegensatz dazu kann ein Teil von Funktionen, der von der Hardwareschaltung umgesetzt wird, auch in Software umgesetzt werden.
  • Die vorliegende Anmeldung beruht auf der Japanischen Patentanmeldung Nr. 2012-189604 , eingereicht am 30. August 2012, deren Inhalt hiermit zur Bezugnahme aufgenommen wird.

Claims (9)

  1. Bilderzeugungsgerät, das für ein Fahrzeug verwendet wird, das Seitenspiegel hat, wobei das Bilderzeugungsgerät Folgendes umfasst: Bilderfassungsmittel zum Erfassen einer Mehrzahl aufgenommener Bilder, die von einer Mehrzahl von Kameras, die in den Seitenspiegeln vorgesehene Seitenkameras umfasst, erhalten werden, Erzeugungsmittel zum Erzeugen eines zusammengefügten Bilds, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche verwendet werden, die für die jeweiligen aufgenommenen Bilder definiert sind, und Zustandserfassungsmittel zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, wobei das Erzeugungsmittel die Zielbereiche gemäß dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel ändert.
  2. Bilderzeugungsgerät nach Anspruch 1, wobei das Erzeugungsmittel die Zielbereiche auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel definiert, und die Zielbereiche auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel definiert, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras in dem ausgefahrenen Zustand der Seitenspiegel angibt, und wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras in dem eingefahrenen Zustand der Seitenspiegel angibt.
  3. Bilderzeugungsgerät nach Anspruch 2, das ferner Folgendes umfasst: erste Parametererfassungsmittel zum Erfassen des ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel, und zweite Parametererfassungsmittel zum Erfassen des zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel.
  4. Bilderzeugungsgerät nach Anspruch 1, wobei das Erzeugungsmittel einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild durch Überblenden von zwei aufgenommenen Bildern mit dem entsprechenden Grenzteil dazwischen eingefügt erzeugt.
  5. Bilderzeugungsgerät nach Anspruch 1, wobei das Erzeugungsmittel: einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild durch Überblenden von zwei aufgenommenen Bildern mit dem entsprechenden Grenzteil dazwischen eingefügt in einem Zustand des ausgefahrenen Zustands und eingefahrenen Zustands der Seitenspiegel erzeugt, und einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild mit einem Maskenbild, für das die aufgenommenen Bilder nicht verwendet werden, in dem anderen Zustand des ausgefahrenen Zustands und eingefahrenen Zustands der Seitenspiegel anzeigt.
  6. Bildanzeigesystem, das für ein Fahrzeug verwendet wird, wobei das Bildanzeigesystem Folgendes umfasst: das Bilderzeugungsgerät nach einem der Ansprüche 1 bis 5, und ein Anzeigegerät, das ausgelegt ist, um das zusammengefügte Bild, das von dem Bilderzeugungsgerät ausgegeben wird, anzuzeigen.
  7. Parametererfassungsgerät, das ausgelegt ist, um Parameter in Zusammenhang mit Kameras zu erfassen, die in Seitenspiegeln eines Fahrzeugs vorgesehen sind, wobei das Parametererfassungsgerät Folgendes umfasst: Erfassungsmittel zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, erste Parametererfassungsmittel zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Kameras angibt, und zweite Parametererfassungsmittel zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel, wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Kameras angibt.
  8. Bilderzeugungsverfahren, das für ein Fahrzeug verwendet wird, das Seitenspiegel hat, wobei das Verfahren folgende Vorgänge umfasst: (a) Erfassen einer Mehrzahl aufgenommener Bilder, die von einer Mehrzahl von Kameras, die in den Seitenspiegeln vorgesehene Seitenkameras umfasst, erhalten werden, (b) Erzeugen eines zusammengefügten Bilds, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche verwendet werden, die für jeweilige aufgenommene Bilder definiert sind, und (c) Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, wobei der Vorgang (b) einen Vorgang des Änderns der Zielbereiche gemäß dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel umfasst.
  9. Parametererfassungsverfahren zum Erfassen von Parametern in Zusammenhang mit Kameras, die in Seitenspiegeln eines Fahrzeugs vorgesehen sind, wobei das Verfahren Folgendes umfasst: (a) einen Vorgang des Erfassens eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, (b) einen ersten Parametervorgang zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Kameras angibt, und (c) zweite Parametervorgänge zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel, wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Kameras angibt.
DE112013004306.8T 2012-08-30 2013-07-31 Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren Active DE112013004306B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-189604 2012-08-30
JP2012189604A JP6099333B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
PCT/JP2013/070720 WO2014034364A1 (ja) 2012-08-30 2013-07-31 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法

Publications (2)

Publication Number Publication Date
DE112013004306T5 true DE112013004306T5 (de) 2015-05-21
DE112013004306B4 DE112013004306B4 (de) 2019-09-19

Family

ID=50183183

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112013004306.8T Active DE112013004306B4 (de) 2012-08-30 2013-07-31 Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren

Country Status (5)

Country Link
US (1) US9931982B2 (de)
JP (1) JP6099333B2 (de)
CN (1) CN104584541B (de)
DE (1) DE112013004306B4 (de)
WO (1) WO2014034364A1 (de)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132680A1 (ja) * 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
JP6467838B2 (ja) * 2014-09-26 2019-02-13 アイシン精機株式会社 周辺監視装置、及び周辺監視システム
KR102321522B1 (ko) * 2014-12-17 2021-11-04 엘지이노텍 주식회사 접이식 사이드 미러 어라운드 뷰 모니터링 시스템
JP6507626B2 (ja) * 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置
JP6528515B2 (ja) * 2015-04-02 2019-06-12 アイシン精機株式会社 周辺監視装置
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
CN104960473B (zh) * 2015-07-03 2017-11-14 上海寅喆计算机科技有限公司 视角切换方法及装置
DE102015214611A1 (de) * 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
KR101762726B1 (ko) * 2015-11-16 2017-08-07 (주)캠시스 Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101954199B1 (ko) 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
DE102017125101B4 (de) * 2017-10-26 2021-03-25 Mekra Lang Gmbh & Co. Kg Haltevorrichtung für ein Kraftfahrzeug und Kamera-Monitor-System
JP6769500B2 (ja) * 2019-02-13 2020-10-14 株式会社Ｊｖｃケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
JP7380435B2 (ja) * 2020-06-10 2023-11-15 株式会社Ｊｖｃケンウッド 映像処理装置、及び映像処理システム
US11958419B2 (en) 2022-02-24 2024-04-16 Stoneridge, Inc. Collapsible vehicle camera arm assembly
CN117557660B (zh) * 2024-01-09 2024-04-12 北京集度科技有限公司 数据处理方法、装置、电子设备以及车辆

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653783B2 (ja) * 1995-04-03 2005-06-02 スズキ株式会社 車載用画像処理装置及び画像表示システム
JP3979330B2 (ja) 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5087051B2 (ja) 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム

Also Published As

Publication number Publication date
US20150183371A1 (en) 2015-07-02
DE112013004306B4 (de) 2019-09-19
CN104584541A (zh) 2015-04-29
WO2014034364A1 (ja) 2014-03-06
CN104584541B (zh) 2018-06-19
JP6099333B2 (ja) 2017-03-22
US9931982B2 (en) 2018-04-03
JP2014049848A (ja) 2014-03-17

Similar Documents

Publication Publication Date Title
DE112013004306B4 (de) Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren
DE102018101542B4 (de) Bordanzeigevorrichtung, Steuerverfahren für Bordanzeigevorrichtung und Steuerprogramm für Bordanzeigevorrichtung
DE112014004305B4 (de) Bildgenerierungsvorrichtung; Bildanzeigesystem; Bildgenerierungsverfahren und Bildanzeigeverfahren
DE102015116599B4 (de) Elektronische Vorrichtung und Verfahren zum Steuern ihrer Kameras
DE60219730T2 (de) Anzeigevorrichtung zur Fahrunterstützung
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE102008000192B4 (de) Betätigungsvorrichtung
DE102006007493A1 (de) Vorrichtung zum Sehen der Peripherie eines Fahrzeuges
DE112012001022T5 (de) Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität
WO2016162245A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
DE112017007528T5 (de) Fahrzeugüberwachungskameravorrichtung
DE112013005231T5 (de) Bordeigener Bildgenerator
DE3043710A1 (de) Anordnung zum elektronischen aufzeichnen eines abbildes der bordexternen umgebung in luftfahrzeugen
DE102012107153A1 (de) Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
DE102009054544A1 (de) Handsteuerbild zur Replikation
DE102013220477A1 (de) Verfahren zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung
EP2350977B1 (de) Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild
DE102012202386A1 (de) Bildaufnahmevorrichtung und bildsignalverarbeitungsvorrichtung
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020103653A1 (de) Fahrzeugbilddarstellungssystem und -verfahren für eine einparklösung
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
WO2018133996A1 (de) Verfahren zum kombinieren einer vielzahl von kamerabildern
DE102015212370B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102022100546A1 (de) Bildverarbeitung in Abhängigkeit von der Geometrie eines verformbaren elektronischen Geräts sowie entsprechende Geräte und Verfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative

Representative=s name: HL KEMPNER PATENTANWAELTE, SOLICITORS (ENGLAND, DE

Representative=s name: HL KEMPNER PATENTANWALT, RECHTSANWALT, SOLICIT, DE