DE112013004306B4 - Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren - Google Patents
Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren Download PDFInfo
- Publication number
- DE112013004306B4 DE112013004306B4 DE112013004306.8T DE112013004306T DE112013004306B4 DE 112013004306 B4 DE112013004306 B4 DE 112013004306B4 DE 112013004306 T DE112013004306 T DE 112013004306T DE 112013004306 B4 DE112013004306 B4 DE 112013004306B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- side mirrors
- parameter
- cameras
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 100
- 239000002131 composite material Substances 0.000 claims abstract description 7
- 238000013461 design Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 14
- 238000002156 mixing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 239000013256 coordination polymer Substances 0.000 description 98
- 238000012545 processing Methods 0.000 description 47
- 238000001454 recorded image Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005562 fading Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
- Studio Devices (AREA)
Abstract
Bilderzeugungsgerät (2), das für ein Fahrzeug (9) verwendet wird, das Seitenspiegel (93L, 93R) hat, wobei das Bilderzeugungsgerät (2) Folgendes umfasst:
Bilderfassungsmittel (21) zum Erfassen einer Mehrzahl aufgenommener Bilder (SF, SB, SL, SR), die von einer Mehrzahl von Kameras (5), die in den Seitenspiegeln (93L, 93R) vorgesehene Seitenkameras (5L, 5R) umfasst, erhalten werden,
Erzeugungsmittel (22) zum Erzeugen eines zusammengefügten Bilds (CP), das ein Umfeld des Fahrzeugs (9) von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche (TA) verwendet werden, die für die jeweiligen aufgenommenen Bilder (SF, SB, SL, SR) definiert sind, und
Zustandserfassungsmittel (20b) zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel (93L, 93R),
wobei das Erzeugungsmittel (22) die Zielbereiche (TA) gemäß dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel (93L, 93R) ändert,
wobei das Erzeugungsmittel (22) die Zielbereiche (TA) auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) definiert, und die Zielbereiche (TA) auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) definiert,
wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) angibt,
wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) angibt, und
wobei die Fehler jeweils Montagefehler zwischen einer Richtung der optischen Achsen der Seitenkameras (5L, 5R) in Bezug auf das Fahrzeug (9) und einer Konzeptionsrichtung sind.
Bilderfassungsmittel (21) zum Erfassen einer Mehrzahl aufgenommener Bilder (SF, SB, SL, SR), die von einer Mehrzahl von Kameras (5), die in den Seitenspiegeln (93L, 93R) vorgesehene Seitenkameras (5L, 5R) umfasst, erhalten werden,
Erzeugungsmittel (22) zum Erzeugen eines zusammengefügten Bilds (CP), das ein Umfeld des Fahrzeugs (9) von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche (TA) verwendet werden, die für die jeweiligen aufgenommenen Bilder (SF, SB, SL, SR) definiert sind, und
Zustandserfassungsmittel (20b) zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel (93L, 93R),
wobei das Erzeugungsmittel (22) die Zielbereiche (TA) gemäß dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel (93L, 93R) ändert,
wobei das Erzeugungsmittel (22) die Zielbereiche (TA) auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) definiert, und die Zielbereiche (TA) auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) definiert,
wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) angibt,
wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) angibt, und
wobei die Fehler jeweils Montagefehler zwischen einer Richtung der optischen Achsen der Seitenkameras (5L, 5R) in Bezug auf das Fahrzeug (9) und einer Konzeptionsrichtung sind.
Description
- Technisches Gebiet
- Die vorliegende Erfindung betrifft eine Technologie zum Erzeugen eines Bilds, das ein Umfeld eines Fahrzeugs angibt.
- Stand der Technik
- Gemäß dem Stand der Technik war ein Bildanzeigesystem, das ausgelegt ist, um ein Bild zu erzeugen, das ein Umfeld eines Fahrzeugs, wie zum Beispiel eines Kraftfahrzeugs angibt, und das Bild auf einem Anzeigegerät in dem Fahrzeug anzeigt, bekannt. Durch Verwenden des Bildanzeigesystems kann ein Benutzer (Fahrer) eine periphere Situation eines Fahrzeugs im Wesentlichen in Echtzeit prüfen.
- Im Laufe der vergangenen Jahre wurde auch ein Bildanzeigesystem vorgeschlagen, das ausgelegt ist, um eine Mehrzahl aufgenommener Bilder zusammenzufügen, um ein zusammengefügtes Bild zu erzeugen, das ein Umfeld eines Fahrzeugs von einem virtuellen Blickpunkt her gesehen angibt, und das zusammengefügte Bild anzuzeigen (siehe zum Beispiel Patentschrift 1). Bei dem Bildanzeigesystem ist es möglich, ein Bild in Draufsicht zu erzeugen, das ein zusammengefügtes Bild ist, wenn das Umfeld des Fahrzeugs von oberhalb des Fahrzeugs betrachtet wird. Der Benutzer kann eine Gesamtsituation des Fahrzeugumfelds durch visuelles Erkennen des zusammengefügten Bilds prüfen.
US 2010/0066833 A1 - Dokument des Stands der Technik
- Patentschrift
- [Patentschrift 1] Japanische Patentanmeldung Veröffentlichung
JP 2011-15174 A - Kurzdarstellung der Erfindung
- Von der Erfindung zu lösende Probleme
- Seitenkameras, die ausgelegt sind, um aufgenommene Bilder zu erfassen, die die Seiten des Fahrzeugs angeben, werden im Allgemeinen für Seitenspiegel bereitgestellt, die von einem ausgefahrenen Zustand zu einem eingefahrenen Zustand verlagert werden können. Wenn daher die Seitenspiegel von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden auch die optischen Achsrichtungen der Seitenkameras, die für die Seitenspiegel vorgesehen sind, geändert.
- Wenn daher ein zusammengefügtes Bild auf der Grundlage der aufgenommenen Bilder erzeugt wird, die in dem eingefahrenen Zustand der Seitenspiegel anhand desselben Verfahrens wie beim ausgefahrenen Zustand der Seitenspiegel erhalten werden, kann ein zusammengefügtes Bild, in dem Bilder fotografischer Subjekte zusammengefügt werden, ohne Abgleichen erzeugt werden.
- Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Technologie zum Erzeugen eines zusammengefügten Bilds bereitzustellen, bei dem Bilder fotografischer Subjekte ungeachtet eines Zustands von Seitenspiegeln zusammengefügt werden, während sie abgestimmt werden.
- Mittel zum Lösen der Probleme
- Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem ersten Aspekt, den die vorliegende Erfindung annehmen kann, ein Bilderzeugungsgerät bereitgestellt, das für ein Fahrzeug, das Seitenspiegel hat, verwendet wird, wobei das Bilderzeugungsgerät Bilderfassungsmittel zum Erfassen einer Mehrzahl aufgenommener Bilder aufweist, die von einer Mehrzahl von Kameras erhalten werden, darunter Seitenkameras, die in den Seitenspiegeln vorgesehen sind, Erzeugungsmittel zum Erzeugen eines zusammengefügten Bilds, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt aus betrachtet angibt, indem Zielbereiche verwendet werden, die für die jeweiligen aufgenommenen Bilder definiert sind, und Zustandserfassungsmittel zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, wobei die Erzeugungsmittel die Zielbereiche in Übereinstimmung mit dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel ändern.
- Gemäß dem oben stehenden Bilderzeugungsgerät werden die Zielbereiche, die in den aufgenommenen Bildern definiert sind, die von den Kameras erhalten werden, die in den Seitenspiegeln bereitgestellt sind, in Übereinstimmung mit dem Zustand der Seitenspiegel geändert. Dadurch ist es möglich, ein zusammengefügtes Bild zu erzeugen, in dem Bilder fotografischer Subjekte unter Abstimmung ungeachtet des Zustands der Seitenspiegel zusammengefügt werden.
- Die Erzeugungsmittel können die Zielbereiche auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel definieren, und die Zielbereiche auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel definieren. Hier gibt der erste Parameter einen Fehler von Richtungen der optischen Achse der Seitenkameras in dem ausgefahrenen Zustand der Seitenspiegel an, und der zweite Parameter gibt einen Fehler von Richtungen der optischen Achsen der Seitenkameras in dem eingefahrenen Zustand an.
- Gemäß der oben stehenden Auslegung sind die Zielbereiche auf der Grundlage der Fehler von Richtungen der optischen Achsen in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel definiert, so dass es möglich ist, das zusammengefügte Bild präziser zu erzeugen.
- Das Bilderzeugungsgerät kann ferner erste Parametererfassungsmittel zum Erfassen des ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel zu erfassen, und zweite Parametererfassungsmittel zum Erfassen des zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel aufweisen.
- Gemäß den oben stehenden Konfigurationen ist es möglich, den ersten Parameter und den zweiten Parameter, die zum Erzeugen des zusammengefügten Bilds erforderlich sind, entsprechend zu erfassen.
- Bei dem Bilderzeugungsgerät können die Erzeugungsmittel einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild erzeugen, indem sie zwei aufgenommene Bilder mit dem entsprechenden Grenzteil dazwischen eingefügt überblenden.
- Gemäß der oben stehenden Auslegung ist es beim Erzeugen des Grenzteils zwischen den aufgenommenen Bildern in dem zusammengefügten Bild durch Überblenden der zwei aufgenommenen Bilder möglich, die Bilder der fotografischen Subjekte passend miteinander zu überlagern.
- Bei dem Bilderzeugungsgerät können die Erzeugungsmittel einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild durch Überblenden von zwei aufgenommenen Bildern mit dem entsprechenden Grenzteil dazwischen eingefügt erzeugen, in einem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel, und einen Grenzteil zwischen der Mehrzahl aufgenommener Bilder in dem zusammengefügten Bild mit einem Maskenbild anzeigen, für das die aufgenommenen Bilder nicht verwendet werden, in dem anderen Zustand des ausgefahrenen und eingefahrenen Zustands des Seitenspiegels.
- Gemäß der oben stehenden Auslegung ist es in dem einen Zustand der Seitenspiegel, da der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild durch Überblenden der zwei aufgenommenen Bilder erzeugt wird, möglich, ein natürliches Bild zu erzeugen. In dem anderen Zustand der Seitenspiegel ist es daher, da der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild mit dem Maskenbild angezeigt wird, möglich, zu verhindern, dass die Bilder der fotografischen Subjekte ohne Abstimmung überlagert und angezeigt werden.
- Um die oben stehende Aufgabe zu verwirklichen, ist gemäß einem zweiten Aspekt, den die vorliegende Erfindung annehmen kann, ein Bildanzeigesystem bereitgestellt, das für ein Fahrzeug verwendet wird, wobei das Bildanzeigesystem das Bilderzeugungsgerät gemäß dem ersten Aspekt aufweist, und ein Anzeigegerät, das ausgelegt ist, um das zusammengefügte Bild, das von dem Bilderzeugungsgerät ausgegeben wird, anzuzeigen.
- Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem dritten Aspekt, den die vorliegende Erfindung annehmen kann, ein Bilderzeugungsgerät bereitgestellt, das für ein Fahrzeug, das Seitenspiegel hat, verwendet wird, wobei das Verfahren Vorgänge (a) des Erfassens einer Mehrzahl aufgenommener Bilder aufweist, die von einer Mehrzahl von Kameras erhalten werden, darunter Seitenkameras, die in Seitenspiegeln vorgesehen sind, des (b) Erzeugens eines zusammengefügt Bilds, das ein Umfeld des Fahrzeugs von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche verwendet werden, die für die jeweiligen aufgenommenen Bilder definiert sind, und (c) des Erfassens eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, wobei der Vorgang (b) einen Vorgang des Änderns der Zielbereiche Übereinstimmung mit dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel aufweist.
- Gemäß dem oben stehenden Bildanzeigesystem und dem Bilderzeugungsverfahren ist es möglich, dieselben Effekte zu verwirklichen wie das Bilderzeugungsgerät gemäß dem ersten Aspekt.
- Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem vierten Aspekt, den die vorliegende Erfindung annehmen kann, ein Parametererfassungsgerät bereitgestellt, das ausgelegt ist, um Parameter in Zusammenhang mit Kameras zu erfassen, die in Seitenspiegeln eines Fahrzeugs vorgesehen sind, wobei das Parametererfassungsgerät Erfassungsmittel zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel, erste Parametererfassungsmittel zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel aufweist, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Kameras angibt, und zweite Parametererfassungsmittel zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel, wobei der zweite Parameter einen Fehler von Richtungen optischer Achsen der Kameras angibt.
- Um die oben stehende Aufgabe zu verwirklichen, wird gemäß einem fünften Aspekt, den die vorliegende Erfindung annehmen kann, ein Parametererfassungsverfahren zum Erfassen von Parametern in Zusammenhang mit Kameras vorgesehen, die in Seitenspiegeln eines Fahrzeugs vorgesehen sind, wobei das Verfahren (a) einen Vorgang des Erfassens eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel aufweist, (b) einen erster Parametervorgang zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel aufweist, wobei der erste Parameter einen Fehler von Richtungen optischer Achsen der Kameras angibt, und (c) einen zweiten Parametervorgang zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel, wobei der zweite Parameter einen Fehler von Richtungen optischer Achsen der Kameras angibt.
- Gemäß dem Parametererfassungsgerät und dem Parametererfassungsverfahren ist es möglich, den ersten Parameter und den zweiten Parameter, die zum Erzeugen des passenden zusammengefügten Bilds erforderlich sind, bei jedem Zustand des ausgefahrenen und des eingefahrenen Zustands der Seitenspiegel passend zu erfassen.
- Figurenliste
-
-
1 veranschaulicht eine Auslegung eines Bildanzeigesystems gemäß einer ersten veranschaulichenden Ausführungsform. -
2 veranschaulicht Richtungen, entlang welcher Kameras, die in dem Bildanzeigesystem der1 vorgesehen sind, Bilder erfassen. -
3 veranschaulicht ein Verfahren, mit dem eine Bildzusammensetzungseinheit, die in dem Bildanzeigesystem der1 vorgesehen ist, ein zusammengefügtes Bild erzeugt. -
4 veranschaulicht eine entsprechende Beziehung zwischen Teilen einer stereoskopisch gebogenen Oberfläche der3 und aufgenommenen Bildern. -
5 veranschaulicht ein Beispiel eines Anzeigebilds das durch eine Bildeinstelleinheit erzeugt wird, die in dem Bildanzeigesystem der1 vorgesehen ist. -
6 veranschaulicht einen eingefahrenen Zustand von Seitenspiegeln eines Fahrzeugs, an das das Bildanzeigesystem der1 montiert ist. -
7 veranschaulicht Beispiele aufgenommener Bilder, die durch eine linke Seitenkamera erfasst werden, die in dem Bildanzeigesystem der1 vorgesehen ist. -
8 veranschaulicht eine Situation, in der die aufgenommenen Bilder der7 erfasst werden. -
9 veranschaulicht Zielbereiche in den aufgenommenen Bildern, die von der linken Seitenkamera, die in dem Bildanzeigesystem der1 vorgesehen ist, erfasst werden. -
10 zeigt eine Abfolge von Operationen des Bildanzeigesystems der1 . -
11 veranschaulicht eine Auslegung eines Bildanzeigesystems gemäß einer zweiten veranschaulichenden Ausführungsform. -
12 veranschaulicht eine Situation eines Fahrzeugs, wenn das Bildanzeigesystem der11 eine Kalibrierungsverarbeitung ausführt. -
13 veranschaulicht ein äußeres Aussehen eines Markierungselements, das für die Kalibrierungsverarbeitung verwendet wird. -
14 zeigt einen Ablauf der Kalibrierungsverarbeitung. -
15 veranschaulicht ein Beispiel eines aufgenommenen Bilds für die Kalibrierungsverarbeitung. -
16 zeigt einen Ablauf von Operationen des Bildanzeigesystems der11 . -
17 veranschaulicht Zielbereiche in den aufgenommenen Bildern, die von der linken Seitenkamera, die in dem Bildanzeigesystem der11 vorgesehen ist, erfasst werden. -
18 veranschaulicht Zielbereiche in den aufgenommenen Bildern, die von der linken Seitenkamera, die in dem Bildanzeigesystem der11 vorgesehen ist, erfasst werden. -
19 veranschaulicht eine entsprechende Beziehung zwischen Teilen einer stereoskopisch gebogenen Oberfläche und aufgenommenen Bilder, wenn ein Bildanzeigesystem gemäß einer dritten veranschaulichenden Ausführungsform ein zusammengefügtes Bild erzeugt. -
20 veranschaulicht Beispiele eines zusammengefügten Bilds, das von dem Bildanzeigesystem gemäß der dritten veranschaulichenden Ausführungsform erzeugt wird. - Ausführungsformen der Erfindung
- Unten werden veranschaulichende Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die begleitenden Zeichnungen beschrieben.
- <Erste veranschaulichende Ausführungsform>
- <Auslegung>
-
1 veranschaulicht eine Auslegung eines Bildanzeigesystems10 gemäß einer ersten veranschaulichenden Ausführungsform. Das Bildanzeigesystem10 wird für ein Fahrzeug (bei dieser veranschaulichenden Ausführungsform ein Kraftfahrzeug) verwendet, und hat eine Funktion des Erzeugens eines Bilds, das einen Umfeldbereich des Fahrzeugs angibt und die Bilder in dem Fahrzeug anzeigt. Durch Verwenden des Bildanzeigesystems10 kann ein Benutzer (als ein veranschaulichendes Beispiel ein Fahrer) des Bildanzeigesystems10 eine periphere Situation eines Fahrzeugs im Wesentlichen in Echtzeit erkennen. - Wie in
1 gezeigt, hat das Bildanzeigesystem10 eine Mehrzahl von Kameras5 , ein Bilderzeugungsgerät2 , ein Anzeigegerät3 und Betätigungsknöpfe4 . Jede der Kameras5 ist ausgelegt, um ein Umfeld des Fahrzeugs aufzunehmen, ein aufgenommenes Bild zu erfassen und das erfasste aufgenommene Bild in das Bilderzeugungsgerät2 einzugeben. Das Bilderzeugungsgerät2 ist ausgelegt, um ein Anzeigebild zum Anzeigen auf dem Anzeigegerät3 unter Verwendung der aufgenommenen Bilder, die das Umfeld des Fahrzeugs angeben, zu erzeugen. Das Anzeigegerät3 ist ausgelegt, um das Anzeigebild anzuzeigen, das in dem Bilderzeugungsgerät2 erzeugt wird. Die Betätigungsknöpfe4 sind daher ausgelegt, um die Betätigung durch einen Benutzer zu erhalten. - Jede der Kameras
5 hat eine Linse und ein Aufnahmeelement und ist ausgelegt, um elektronisch das aufgenommene Bild, das das Umfeld des Fahrzeugs angibt, zu erfassen. Die Mehrzahl von Kameras5 weist eine Frontkamera5F , eine Rückseitenkamera5B , eine linke Seitenkamera5L und eine rechte Seitenkamera5R auf. Wie in2 gezeigt, sind die vier Kameras5F ,5B ,5L ,5R an unterschiedlichen Positionen eines Fahrzeugs9 angeordnet und ausgelegt, um unterschiedliche Richtungen des Umfelds des Fahrzeugs9 aufzunehmen. -
2 veranschaulicht Richtungen entlang welcher die vier Kameras5F ,5B ,5L ,5R Bilder aufnehmen. Die Frontkamera5F ist an einem Frontende des Fahrzeugs9 vorgesehen, und ihre optische Achse5Fa zeigt in eine gerade Fahrtrichtung des Fahrzeugs9 . Die Rückseitenkamera5B ist an einem Heckende des Fahrzeugs9 vorgesehen, und ihre optische Achse5Ba zeigt in eine entgegengesetzte Richtung zu der geraden Fahrtrichtung des Fahrzeugs9 . - Die linke Seitenkamera
5L ist in einem linken Seitenspiegeln93L vorgesehen, der auf einer linken Seitenoberfläche des Fahrzeugs9 angeordnet ist. Indes ist die rechte Seitenkamera5R in einem rechten Seitenspiegel93R , der auf einer rechten Seiten Oberfläche des Fahrzeugs9 angeordnet ist, vorgesehen. Die Seitenspiegel93L ,93R können von einem ausgefahrenen Zustand (einem Zustand, in dem der Fahrer eine Rückseite des Fahrzeugs9 prüfen kann) zu einem eingefahrenen Zustand verlagert werden. Bei dem ausgefahrenen Zustand des linken Seitenspiegels93L zeigt eine optische Achse 5La der linken Seitenkamera5L in eine linke Richtung des Fahrzeugs9 (eine Richtung im Wesentlichen orthogonal zu der geraden Fahrtrichtung). Bei dem ausgefahrenen Zustand des rechten Seitenspiegels93R zeigt eine optische Achse 5Ra der rechten Seitenkamera5R in eine rechte Richtung des Fahrzeugs9 (eine Richtung im Wesentlichen orthogonal zu der geraden Fahrtrichtung). - Als die Linsen der Kameras
5 werden Weitwinkellinsen, wie zum Beispiel Fischaugenlinsen verwendet. Jede der Kameras5 hat einen Blickwinkel von 180° oder größer. Daher ist es möglich, das vollständige Umfeld des Fahrzeugs9 unter Verwendung der vier Kameras5F ,5B ,5L ,5R aufzunehmen. Jeweilige BereicheA1 ,A2 ,A3 ,A4 an einer linken Vorderseite, einer rechten Vorderseite, einer linken Rückseite und einer rechten Rückseite des Fahrzeugs9 können überlagernd von den zwei Kameras5 der vier Kameras5 aufgenommen werden. - Wie in
1 gezeigt, hat das Anzeigegerät3 ein Touchpanel31 . Das Touchpanel31 ist in einem Anzeigepanel flachen Typs, wie zum Beispiel eines Typs Flüssigkristallanzeige oder eines Typs organische Elektrolumineszenzanzeige vorgesehen und kann die Betätigung eines Benutzers erhalten. Das Anzeigepanel ist ausgelegt, um eine Mehrzahl von Informationen und Bildern anzuzeigen. Das Anzeigegerät3 ist auf einem Armaturenbrett und dergleichen des Fahrzeugs9 angeordnet, so dass der Benutzer visuell einen Bildschirm des Anzeigepanels erkennen kann. Das Anzeigegerät3 kann in demselben Gehäuse wie das Bilderzeugungsgerät2 eingerichtet und mit dem Bilderzeugungsgerät2 integriert sein oder kann alternativ ein von dem Bilderzeugungsgerät2 getrenntes Gerät sein. - Die Betätigungsknöpfe
4 sind ein Betätigungselement zum Empfangen der Betätigung eines Benutzers. Die Betätigungsknöpfe4 sind zum Beispiel auf einem Lenkrad des Fahrzeugs9 vorgesehen und ausgelegt, um in der Hauptsache eine Betätigung von dem Fahrer zur erhalten. Der Benutzer kann eine Mehrzahl von Betätigungen auf dem Bildanzeigesystem10 durch die Betätigungsknöpfe4 und das Touchpanel31 des Anzeigegeräts3 ausführen. Wenn der Benutzer einen der Betätigungsknöpfe4 und das Touchpanel31 betätigt, wird ein Betriebssignal, das einen Inhalt der entsprechenden Betätigung angibt, in das Bilderzeugungsgerät2 eingegeben. - Das Bilderzeugungsgerät
2 ist ein elektronisches Gerät2 , das fähig ist, eine Mehrzahl von Bildverarbeitungen auszuführen und hat eine Bilderfassungseinheit21 , eine Bildzusammenfügeeinheit22 , eine Bildeinstelleinheit23 und eine Bildausgabeeinheit24 . - Die Bilderfassungseinheit
21 ist ein Beispiel eines Bilderfassungsmittels und ist ausgelegt, um die von den vier Kameras5F ,5B ,5L ,5R aufgenommenen Bilder zu erfassen. Die Bilderfassungseinheit21 hat eine Bildverarbeitungsfunktion des Umwandelns zum Beispiel eines analog aufgenommenen Bilds in ein digital aufgenommenes Bild. Die Bilderfassungseinheit21 ist ausgelegt, um vorbestimmte Bildverarbeitung für die erfassten aufgenommenen Bilder auszuführen und die aufgenommenen Bilder nach der Verarbeitung zu der Bildzusammenfügeeinheit22 und der Bildeinstelleinheit23 einzugeben. - Die Bildzusammenfügeeinheit
22 ist eine Hardwareschaltung, die ausgelegt ist, um Bildverarbeitung zum Erzeugen eines zusammengefügten Bilds auszuführen. Die Bildzusammenfügeeinheit22 ist ein Beispiel eines Erzeugungsmittels und ist ausgelegt, um eine Mehrzahl aufgenommener Bilder, die von der Mehrzahl von Kameras5 erfasst wird, zusammenzufügen, wodurch ein zusammengefügtes Bild erzeugt wird, das ein Umfeld des Fahrzeugs9 von einem virtuellen Blickpunkt her betrachtet angibt. Das Verfahren des Erzeugens des zusammengefügten Bilds wird unten ausführlich beschrieben. - Die Bildeinstelleinheit
23 ist ausgelegt, um ein Anzeigebild zum Anzeigen auf dem Anzeigegerät3 zu erzeugen. Die Bildeinstelleinheit23 ist ausgelegt, um ein Anzeigebild zu erzeugen, das das zusammengefügte Bild und die aufgenommenen Bilder enthält, indem das zusammengefügte Bild verwendet wird, das von der Bildzusammenfügeeinheit22 und den aufgenommenen Bildern, die von der Bilderfassungseinheit21 erfasst werden, erzeugt wird. - Die Bildausgabeeinheit
24 ist ausgelegt, um das Anzeigebild, das in der Bildeinstelleinheit23 erzeugt wird, zu dem Anzeigegerät3 auszugeben und das Anzeigebild auf dem Anzeigegerät3 anzuzeigen. Das zusammengefügte Bild, das das Umfeld des Fahrzeugs9 von dem virtuellen Blickpunkt aus betrachtet angibt, wird auf dem Anzeigegerät3 angezeigt. - Das Bilderzeugungsgerät
2 hat ferner auch eine Steuereinheit20 , eine Betätigungsempfangseinheit25 , eine Signalempfangseinheit26 und eine Speichereinheit27 . Die Steuereinheit20 ist ein Microcomputer, der zum Beispiel eine CPU, einen RAM, einen ROM und dergleichen hat und ausgelegt ist, um kollektiv das gesamte Bilderzeugungsgerät2 zu steuern. - Die Betätigungsempfangseinheit
25 ist ausgelegt, um Betätigungssignale zu empfangen, die von den Betätigungsknöpfen4 und dem Touchpanel31 übertragen werden, wenn der Benutzer eine Betätigung ausführt. Die Betätigungsempfangseinheit25 empfängt daher eine Betätigung eines Benutzers. Die Betätigungsempfangseinheit25 ist ausgelegt, um die empfangenen Betätigungssignale zu der Steuereinheit20 einzugeben. - Die Signalempfangseinheit
26 ist ausgelegt, um ein Signal zu empfangen, das von einem Gerät, das getrennt in dem Fahrzeug9 vorgesehen ist, und das Signal zu der Steuereinheit20 auszugeben. Die Signalempfangseinheit26 ist ausgelegt, um Signale zu empfangen, die zum Beispiel von einem Gangsensor91 und einer Spiegelantriebseinheit92 übertragen werden. - Der Gangsensor
91 ist ausgelegt, um eine Schaltposition zu erfassen, die eine Position eines Schalthebels eines Getriebes des Fahrzeugs9 ist, und ein Signal zu übertragen, das die Gangposition für das Bilderzeugungsgerät2 angibt. Basierend auf diesem Signal kann die Steuereinheit20 bestimmen, ob das Fahrzeug9 vorwärts oder rückwärts fährt. - Die Spiegelantriebseinheit
92 ist daher ausgelegt, um den linken und den rechten Seitenspiegel93L ,93R als Reaktion auf die Anweisung eines Benutzers zu drehen und die Seitenspiegel93L ,93R von einem Zustand des ausgefahrenen Zustands und des eingefahrenen Zustands zu dem anderen Zustand zu verlagern. Die Spiegelantriebseinheit92 ist ausgelegt, um ein Signal, das den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R zu dem Bilderzeugungsgerät2 angibt, zu übertragen. - Die Speichereinheit
27 ist ein nicht flüchtiger Speicher, wie zum Beispiel ein Flashspeicher, und ist ausgelegt, um eine Vielfalt von Informationen zu speichern. Die Speichereinheit27 ist ausgelegt, um ein Programm27a , das als Firmware dient, sowie eine Vielfalt von Daten zu speichern, die erzeugt werden, um das zusammengefügte Bild von der Bildzusammenfügeeinheit22 zu erzeugen. Die Daten, die zum Erzeugen des zusammengefügten Bilds verwendet werden, weisen eine Mehrzahl von Entsprechungstabellen27b auf. - Die CPU führt rechnerische Verarbeitung als Reaktion auf das Programm
27a , das in der Speichereinheit27 gespeichert ist, aus, so dass eine Vielfalt von Funktionen der Steuereinheit20 umgesetzt wird. Eine Bildsteuereinheit20a sowie eine Zustandserfassungseinheit20b , die gezeigt sind, sind Teil funktionaler Einheiten, die umgesetzt werden, wenn die CPU die rechnerische Verarbeitung als Reaktion auf das Programm27a ausführt. - Die Bildsteuereinheit
20a ist ausgelegt, um die Bildzusammenfügeeinheit22 zum Erzeugen eines zusammengefügten Bilds zu steuern, und die Bildeinstelleinheit23 zum Erzeugen eines Anzeigebilds. Die Bildsteuereinheit20a ist ausgelegt, um die Bildzusammenfügeeinheit22 und die Bildeinstelleinheit23 zu steuern, um ein zusammengefügtes Bild und ein Anzeigebild in Übereinstimmung mit einem Zustand des Fahrzeugs9 und einer Betätigung eines Benutzers zu erzeugen. - Die Bilderfassungseinheit
20b ist ein Beispiel eines Zustandserfassungsmittels und ist ausgelegt, um den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R zu erfassen. Die Zustandserfassungseinheit20b ist ausgelegt, um irgendeinen des ausgefahrenen/eingefahrenen Zustands der Seitenspiegel93L ,93R basierend auf dem Signal, das von der Spiegelantriebseinheit92 übertragen wird, zu erfassen. - <Erzeugen des zusammengefügten Bilds>
- Unten wird das Verfahren des Erzeugens eines zusammengefügten Bilds, das eine Umfeldsituation des Fahrzeugs
9 von dem virtuellen Blickpunkt aus betrachtet angibt, beschrieben.3 veranschaulicht ein Verfahren, mit dem die Bildzusammenfügeeinheit22 ein zusammengefügtes Bild erzeugt. - Wenn das Aufnehmen jeweils in der Frontkamera
5F , der Rückseitenkamera5B , der linken Seitenkamera5L und der rechten Seitenkamera5R ausgeführt wird, werden vier aufgenommene BilderSF ,SB ,SL ,SR , die eine vordere, hintere, linke und rechte Seite des Fahrzeugs9 angeben, erfasst. Die vier aufgenommenen BilderSF ,SB ,SL ,SR weisen Daten auf, die das gesamte Umfeld des Fahrzeugs9 anzeigen - Die Bildzusammenfügeeinheit
22 projiziert die Daten (Werte von Pixeln), die in den vier aufgenommenen BildernSF ,SB ,SL ,SR enthalten sind, zu einer stereoskopisch gebogenen OberflächeTS eines virtuellen dreidimensionalen Raums. Die stereoskopisch gebogene OberflächeTS ist eine virtuelle Projektionsebene, die einem Umfeldbereich des Fahrzeugs9 entspricht. - Die stereoskopisch gebogene Oberfläche
TS hat zum Beispiel eine im Wesentlichen halbkugelförmige Form (eine Schalenform), und ein Mittenbereich (Bodenteils der Schale) ist als ein FahrzeugbereichR0 definiert, der eine Position des Fahrzeugs9 ist. Die Bildzusammenfügeeinheit22 projiziert die aufgenommen Bilddaten nicht zu dem Fahrzeugbereich (zu der Position des Fahrzeugs9 )R0 der stereoskopisch gebogenen OberflächeTS und projiziert die aufgenommenen Bilddaten zu einem ProjektionsbereichR1 , der ein äußerer Bereich des FahrzeugsbereichsR0 ist. Jede Position des ProjektionsbereichsR1 ist mit einer Information der vier aufgenommenen BilderSF ,SB ,SL ,SR assoziiert. Die Bildzusammenfügeeinheit22 projiziert die Daten der vier aufgenommenen BilderSF ,SB ,SL ,SR zu den jeweiligen entsprechenden Positionen des ProjektionsbereichsR1 . - Wie in
4 gezeigt, projiziert die Bildzusammenfügeeinheit22 Daten des aufgenommenen BildsSF der Frontkamera5F zu einem TeilGF des ProjektionsbereichsR1 , der der Vorderseite des Fahrzeugs9 entspricht. Die Bildzusammenfügeeinheit22 projiziert auch Daten des aufgenommenen BildsSB der Rückseitenkamera5B zu einem Teil GB des ProjektionsbereichsR1 , der der Rückseite des Fahrzeugs9 entspricht. Ferner projiziert die Bildzusammenfügeeinheit22 Daten des aufgenommenen Bilds SL der linken Seitenkamera5L zu einem TeilGL des ProjektionsbereichsR1 , der der linken Seite des Fahrzeugs9 entspricht, und projiziert Daten des aufgenommenen Bilds SR der rechten Seitenkamera5R zu einem TeilGR des ProjektionsbereichsR1 , der der rechten Seite des Fahrzeugs9 entspricht. - In dem Projektionsbereich
R1 werden Daten von ZielbereichenTA , die Teile der vier aufgenommenen BilderSF ,SB ,SL ,SR sind, projiziert, nicht die Daten der gesamten Bereiche der vier aufgenommenen BilderSF ,SB ,SL ,SR . Die Bildzusammenfügeeinheit22 erzeugt daher ein zusammengefügtes Bild CP, indem sie die jeweiligen ZielbereicheTA der vier aufgenommenen BilderSF ,SB ,SL ,SR verwendet. - Die Daten in dem aufgenommenen Bild und jede Position des Projektionsbereichs
R1 , zu der die Daten projiziert werden sollten, werden durch die Entsprechungstabellen27b zugewiesen, die Tabellendaten, die vorab in der Speichereinheit27 gespeichert werden, sind. Die jeweiligen ZielbereicheTA (die Bereiche, die zum Erzeugen des zusammengefügten Bilds CP verwendet werden) der vier aufgenommenen BilderSF ,SB ,SL ,SR werden daher von den Entsprechungstabellen27b definiert. Jeder der Zielbereiche TA der vier aufgenommenen BilderSF ,SB ,SL ,SR wird als ein Bereich festgelegt, in dem ein Bild eines fotografischen Subjekts des Umfelds des Fahrzeugs9 in dem entsprechenden aufgenommenen Bild enthalten ist. - Wenn die aufgenommenen Bilddaten zu dem Projektionsbereich
R1 der stereoskopisch gebogenen OberflächeTS , die in3 gezeigt ist, wie oben beschrieben projiziert werden, konfiguriert die Bildzusammenfügeeinheit22 virtuell ein Vieleckmodell, das eine dreidimensionale Form des Fahrzeugs9 darstellt. Das Modell des Fahrzeugs9 ist in dem FahrzeugbereichR0 angeordnet, der eine Position des Fahrzeugs9 in dem dreidimensionalen Raum ist, in dem die stereoskopisch gebogene OberflächeTS eingestellt ist, angibt. - Die Bildzusammenfügeeinheit
22 stellt dann einen virtuellen BlickpunktVP in Bezug auf den dreidimensionalen Raum unter Steuerung der Bildsteuereinheit20a ein. Die Bildzusammenfügeeinheit22 kann den virtuellen BlickpunktVP an irgendeiner Blickpunktposition des dreidimensionalen Raums zu irgendeiner Blickrichtung einstellen. Die Bildzusammenfügeeinheit22 schneidet als ein Bild die Daten, die zu einem Bereich der stereoskopisch gebogenen OberflächeTS , der in einem vorbestimmten Blickwinkel wie von dem eingestellten virtuellen BlickpunktVP betrachtet, enthalten ist, projiziert werden. Die Bildzusammenfügeeinheit22 führt dann auch eine Wiedergabe für das Modell des Fahrzeugs9 in Übereinstimmung mit dem eingestellten virtuellen BlickpunktVP aus und überlagert ein zweidimensionales Fahrzeug Bild90 , das sich aus der Wiedergabe ergibt, über das ausgeschnittene Bild. Dabei erzeugt die Bildzusammenfügeeinheit22 ein zusammengefügtes BildCP , das das Fahrzeug9 von dem virtuellen BlickpunktVP und dem Umfeldbereich des Fahrzeugs9 betrachtet angibt. - Wie in
3 gezeigt, wenn ein virtueller Blickpunkt VPa, von dem eine Blickpunktposition gleich oberhalb des Fahrzeugs9 liegt und eine Blickrichtung gleich unterhalb des Fahrzeugs eingestellt ist, wird zum Beispiel ein zusammengefügtes Bild (ein Draufsichtbild)CPa mit Blick hinunter auf das Fahrzeug9 und den Umfeldbereich des Fahrzeugs9 erzeugt. Wenn ein virtueller BlickpunktVPb , von dem eine Blickpunktposition die linke Rückseite des Fahrzeugs9 und eine Blickrichtung die Vorderseite des Fahrzeugs9 ist, eingestellt ist, wird ein zusammengefügtes BildCPb erzeugt, das das Fahrzeug9 und einen Umfeldbereich des Fahrzeugs9 angibt, erzeugt, so dass das gesamte Umfeld des Fahrzeugs von der linken Rückseite des Fahrzeugs9 her betrachtet wird. Bei dieser veranschaulichenden Ausführungsform kann die Bildzusammenfügeeinheit22 als den virtuellen BlickpunktVP den virtuellen Blickpunkt VPa einstellen, als würde das Fahrzeug von gleich oberhalb des Fahrzeugs9 her betrachtet. Die Bildzusammenfügeeinheit22 kann daher ein Draufsichtbild erzeugen, das ein zusammengefügtes Bild mit Blick hinunter auf das Fahrzeug9 und das Umfeld des Fahrzeugs9 ist. - Bei dem Vorgang des Erzeugens des zusammengefügten Bilds
CP , wie in4 gezeigt, werden GrenzteileBA1 bisBA4 zwischen den TeilenGF ,GB ,GL ,GR des ProjektionsbereichsR1 der stereoskopisch gebogenen Oberfläche TS mit beiden Daten der zwei aufgenommenen Bilder, die jeweils zu den zwei Teilen mit dem Grenzteil dazwischen eingefügt projiziert werden sollten, projiziert. Die Daten der GrenzteileBA1 bisBA4 haben einen Wert, der durch Alpha-Überblenden der zwei projizierten aufgenommenen Bilddaten in demselben Verhältnis erhalten wird. Die Daten des GrenzteilsBA1 zwischen dem TeilGF , der der Vorderseite des Fahrzeugs9 entspricht, und dem TeilGL des ProjektionsbereichsR1 , der der linken Seite des Fahrzeugs9 entspricht, hat zum Beispiel einen Wert, der durch Alpha-Überblenden der Daten des aufgenommenen Bilds SF der Frontkamera5 und der Daten des aufgenommenen Bilds SL der linken Seitenkamera5L erhalten wird. - Da die Bildzusammenfügeeinheit
22 die Daten der stereoskopisch gebogenen OberflächeTS schneidet, um das zusammengefügte BildCP zu erzeugen, entsprechen die GrenzteileBA1 bisB14 der stereoskopisch gebogenen Oberfläche TS den Grenzteilen zwischen den aufgenommenen Bildern, die für das zusammengefügte Bild CP verwendet werden. Die Bildzusammenfügeeinheit22 erzeugt daher den Grenzteil zwischen den aufgenommenen Bildern des zusammengefügten BildsCP durch Überblenden der zwei aufgenommenen Bilder mit dem entsprechenden Grenzteil der dazwischen eingefügt ist. - <Anzeigebild>
- Unten wird das Anzeigebild, das von der Bildeinstelleinheit
23 erzeugt wird, beschrieben.5 veranschaulicht ein Beispiel eines AnzeigebildsDP , das von der Bildeinstelleinheit23 erzeugt wird. Das AnzeigebildDP , das in5 gezeigt ist, wird auf dem Anzeigegerät3 derart angezeigt, dass der Benutzer dieses visuell erkennen kann. - Wie in FIG. für 5 gezeigt, weist das Anzeigebild
DP das zusammengefügte Bild CP und ein aufgenommenes BildSP auf. Das zusammengefügte BildCP , das in dem Anzeigebild DP enthalten ist, ist ein Übersichtsbild, das ein zusammengefügtes Bild mit Blick auf das Umfeld des Fahrzeugs9 von gleich oberhalb des Fahrzeugs9 ist. - Das aufgenommene Bild
SP , das in dem AnzeigebildDP enthalten ist, wird auch auf der Grundlage einer Fahrtrichtung des Fahrzeugs9 ausgewählt. Wenn das Fahrzeug9 vorwärts fährt, wird das aufgenommene BildSF , das von der Frontkamera5F erfasst wird, als das aufgenommene BildSP des AnzeigebildsDP verwendet. Wenn das Fahrzeug9 rückwärts fährt, wird indes das aufgenommene BildSB , das von der Rückseitenkamera5B erfasst wird, als das aufgenommene BildSP des AnzeigebildsDP verwendet. Die Fahrrichtung des Fahrzeugs9 wird von der Bildsteuereinheit20a auf der Grundlage des Signals bestimmt, das von dem Gangsensor91 übertragen wird. - Der Benutzer erkennt das Anzeigebild
DP visuell, um eine Situation der Fahrtrichtung des Fahrzeugs9 auf der Grundlage des aufgenommenen BildsSP zu verstehen, und um auch eine Situation des gesamten Umfelds des Fahrzeugs9 auf der Grundlage des zusammengefügten BildsCP zu verstehen. Das Bildanzeigesystem10 ist ausgelegt, um das zusammengefügte BildCP zu erzeugen, das in dem AnzeigebildDP enthalten ist, nicht nur in einem ausgefahrenen Zustand der Seitenspiegel93L ,93R , sondern auch in einem eingefahrenen Zustand des Seitenspiegels93L ,93R . - <Zustandsverlagerung von Seitenspiegeln>
- Wie oben beschrieben, sind die Seitenkameras
5L ,5R jeweils in den Seitenspiegeln93L ,93R vorgesehen. Wenn die Seitenspiegel93L ,93R daher von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden die Positionen und Richtungen der optischen Achsen der Seitenkameras5L ,5R ebenfalls entsprechend geändert. -
6 veranschaulicht den eingefahrenen Zustand der Seitenspiegel93L ,93R . Wie oben beschrieben, sind die Richtungen der optischen Achsen5La ,5Lb der Seitenkameras5L ,5R im Wesentlichen zu der geraden Fahrtrichtung des Fahrzeugs9 bei dem ausgefahrenen Zustand der Seitenspiegel93L ,93R orthogonal (siehe2 ). Andererseits, wie in6 gezeigt, zeigen beim eingefahrenen Zustand der Seitenspiegel93L ,93R die Richtungen der optischen Achsen5La ,5Lb der Seitenkameras5L ,5R im Vergleich zu dem ausgefahrenen Zustand mehr rückwärts. - Die Positionen, an welchen die Seitenkameras
93L ,93R vorgesehen sind, sind auch nicht auf Rotationswellen, wenn die Seitenspiegel93L ,93R gedreht werden. Wenn daher die Seitenspiegel93L ,93R von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden die Positionen der Seitenkameras5L ,5R in Bezug zu dem Fahrzeug ebenfalls geändert. - Wenn daher die Seitenspiegel
93L ,93R von dem ausgefahrenen Zustand zu dem eingefahrenen Zustand verlagert werden, werden die Richtungen und Bereiche der Bilder der fotografischen Subjekte, die in den aufgenommenen Bildern enthalten sind, die von den Seitenkameras5L ,5R aufgenommen werden, entsprechend geändert. -
7 veranschaulicht Beispiele des aufgenommenen BildsSL , das durch die linke Seitenkamera5L erfasst wird. Die zwei aufgenommenen BilderSL , die in7 gezeigt sind, werden in derselben Situation erfasst wie8 .7A veranschaulicht das aufgenommene Bild SL, das bei dem ausgefahrenen Zustand des linken Seitenspiegels93L erfasst wird, und7B veranschaulicht das aufgenommene Bild SL, das bei dem eingefahrenen Zustand des linken Seitenspiegels93L erfasst wird. - Wie in
8 gezeigt, werden die zwei aufgenommenen Bilder SL in eine Situation erfasst, in der ein Schachbrettmuster P, in dem Quadrate in zwei Farben abändernd angeordnet sind, auf einem linken Boden vorhanden ist. Das Muster P erstreckt sich entlang einer Längsrichtung des Fahrzeugs9 von einer Position vor einem vorderen Ende des Fahrzeugs9 zu einer Position hinter einem rückseitigen Ende des Fahrzeugs9 . - Die zwei aufgenommenen Bilder SL, die in
7 gezeigt sind, weisen ein BildPa mit dem MusterP auf. In den zwei aufgenommenen Bildern SL sind jedoch die Richtungen und Bereiche des BildsPa mit dem MusterP unterschiedlich. Wie in7A gezeigt, erstreckt sich in dem aufgenommenen BildSL , das bei dem ausgefahrenen Zustand des linken Seitenspiegels93L erfasst wird, das Bild Pa mit dem Muster P entlang der im Wesentlichen horizontalen Richtung in dem aufgenommenen Bild SL. Andererseits, wie in7B gezeigt, erstreckt sich in dem aufgenommenen Bild SL, das bei dem ausgefahrenen Zustand des linken Seitenspiegels93L erfasst wird, das Bild Pa mit dem Muster P mit einer rechten Seite davon in dem aufgenommenen Bild SL abwärts geneigt. Bei diesem Beispiel wurde die linke Seitenkamera5L beschrieben. Die rechte Seitenkamera5R ist die gleiche. - Wenn derart der ausgefahrene/eingefahrene Zustand der Seitenspiegel
93L ,93R geändert wird, werden die Richtungen und Bereiche der fotografischen Subjektbilder, die in den aufgenommenen Bildern, die von den Seitenkameras5L ,5R erfasst werden, enthalten sind, geändert. Daher wird bei dem eingefahrenen Zustand der Seitenspiegel93L ,93R , falls das zusammengefügte BildCP mit demselben Verfahren wie im ausgefahrenen Zustand erzeugt wird, das zusammengefügte BildCP , bei dem die Bilder der fotografischen Subjekte ohne Abstimmen zusammengefügt werden, erzeugt. - Um das oben stehende Problem zu meistern, ist das Bildanzeigesystem
10 dieser veranschaulichenden Ausführungsform ausgelegt, um die ZielbereicheTA (das heißt die Bereiche, die zum Erzeugen des zusammengefügten BildsCP verwendet werden) in den aufgenommenen Bildern, die von den Seitenkameras5L ,5R erfasst werden, bei dem ausgefahrenen und eingefahrenen Zustand der Seitenspiegel93L ,93R zu ändern. -
9 zeigt den ZielbereichTA in dem aufgenommenen Bild SL der linken Seitenkamera5L .9A zeigt den ZielbereichTAa bei dem ausgefahrenen Zustand des linken Seitenspiegels93L . Andererseits zeigt9B den Zielbereich TAb bei dem eingefahrenen Zustand des linken Seitenspiegels93 . In den zwei aufgenommenen Bildern SL, sind die Zielbereiche TA in den aufgenommenen Bildern SL voneinander unterschiedlich. - Derart, wenn die Zielbereiche
TA in den aufgenommenen Bildern SL bei dem ausgefahrenen und dem eingefahrenen Zustand des linken Seitenspiegels93L geändert werden, ist es möglich, als den ZielbereichTA einen Bereich einzustellen, der das fotografische Subjektbild des Umfelds des Fahrzeugs9 in dem aufgenommenen BildSL in jedem beliebigen Zustand enthält. Bei jedem beliebigen Zustand ist es daher möglich, das zusammengefügte BildCP zu erzeugen, in dem die Bilder der fotografischen Subjekte unter Abstimmen zusammengefügt werden. Indes wurde bei diesem Beispiel die linke Seitenkamera5L beschrieben. Der ZielbereichTA in dem aufgenommenen Bild SR der rechten Seitenkamera5R wird jedoch ebenfalls auf dieselbe Art in Abhängigkeit von dem Zustand des rechten Seitenspiegels93R geändert. - Es ist nicht möglich, den Zielbereich
TAb , der bei dem eingefahrenen Zustand der Seitenspiegel definiert ist, passend zu bestimmen, obwohl eine einfache Koordinatenumwandlung (Drehung, parallele Verlagerung und dergleichen) für den ZielbereichTAa , der bei dem ausgefahrenen Zustand definiert ist, ausgeführt wird. Das hat folgenden Grund: Obwohl die Positionen der Seitenkameras5L ,5R geändert werden, wenn der Zustand der Seitenspiegel93L ,93R verlagert wird, tritt eine große Verzerrung (eine Erscheinung, bei der ein Bild des fotografischen Subjekts verzerrt wird) in dem aufgenommenen Bild, das durch eine Weitwinkellinse, wie zum Beispiel eine Fischaugenlinse aufgenommen wird, auf. Daher werden der ZielbereichTAa , der bei dem ausgefahrenen Zustand der Seitenspiegel93L ,93R definiert wird, und der ZielbereichTAb , der bei dem eingefahrenen Zustand definiert wird, einzeln in Übereinstimmung mit den Entsprechungstabellen27b , die vorab in der Speichereinheit27 gespeichert werden, bestimmt. - Bei dem ausgefahrenen Zustand der Seitenspiegel
93L ,93R ist die Bildzusammenfügeeinheit22 des Bildanzeigesystems10 ausgelegt, um eine ,Ausfahrtabelle' zu verwenden, die die Entsprechungstabelle27b ist, die dem ausgefahrenen Zustand entspricht. Die Bildzusammenfügeeinheit22 ist ausgelegt, um das zusammengefügte BildCP unter Verwendung des ZielbereichsTAa in dem aufgenommenen Bild, das durch die Ausfahrtabelle bestimmt wird, zu erzeugen. Andererseits ist die Bildzusammenfügeeinheit22 bei dem eingezogenen Zustand der Seitenspiegel93L ,93R konfiguriert, um eine ,Einfahrtabelle' zu verwenden, die die Entsprechungstabelle27b ist, die dem eingefahrenen Zustand entspricht. Die Bildzusammenfügeeinheit22 ist ausgelegt, um das zusammengefügte BildCP unter Verwendung des ZielbereichsTAb in dem aufgenommenen Bild, das durch die Einfahrtabelle bestimmt wird, zu erzeugen. - Derart ist die Bildzusammenfügeeinheit
22 des Bildanzeigesystems10 ausgelegt, um den ZielbereichTA , der zum Erzeugen des zusammengefügten BildsCP verwendet wird, in Übereinstimmung mit dem ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R zu ändern. Das Bildanzeigesystem10 kann dabei das zusammengefügte BildCP , in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, ungeachtet des Zustands der Seitenspiegel93L ,93R erzeugen. - <Anzeigen des Anzeigebilds>
- Unten ist eine Abfolge von Betätigungen des Bildanzeigesystems
10 beschrieben.10 zeigt eine Abfolge von Betätigungen des Bildanzeigesystems10 zum Anzeigen des AnzeigebildsDP . Die in10 gezeigten Betätigungen starten, wenn der Benutzer anhand der Betätigungsknöpfe4 eine Betätigung ausführt, um die Betätigungen zu starten. Die Betätigungen der10 werden auch wiederholt mit einer vorbestimmten Periode ausgeführt (zum Beispiel eine Periode von 1/30 Sekunde), bis der Benutzer einen Vorgang durch die Betätigungsknöpfe4 ausführt, um die Vorgänge zu stoppen. - Zunächst werden die vier Kameras
5 , die in dem Fahrzeug9 vorgesehen sind, jeweils aktiviert, um das Umfeld des Fahrzeugs9 aufzunehmen. Dann erfasst die Bilderfassungseinheit21 die vier aufgenommenen Bilder, die von den vier Kameras5 erhalten werden (SchrittS11 ). - Dann erfasst die Zustandserfassungseinheit
20b den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R . Die Zustandserfassungseinheit20b bestimmt, ob die Seitenspiegel93L ,93R in dem ausgefahrenen Zustand oder dem eingefahrenen Zustand sind, basierend auf dem Signal, das von der Spiegelantriebseinheit92 übertragen wird, die ausgelegt ist, um die Seitenspiegel93L ,93R zu drehen (SchrittS12 ). - Falls die Seitenspiegel
93L ,93R in dem ausgefahrenen Zustand sind (Ja in SchrittS12 ), wählt die Bildzusammenfügeeinheit22 die Ausfahrtabelle als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten BildsCP verwendet wird, unter Steuerung der Bildsteuereinheit20a aus (SchrittS13 ). Die Bildzusammenfügeeinheit22 liest dann aus der Ausfahrtabelle, die eine der Mehrzahl von Entsprechungstabellen27b ist, die in der Speichereinheit27 gespeichert sind, aus der Speichereinheit27 heraus. - Dann verwendet die Bildzusammenfügeeinheit
22 die Ausfahrtabelle, um das zusammengefügte BildCP zu erzeugen, das die Umfeldsituation des Fahrzeugs9 von dem virtuellen Blickpunkt aus betrachtet angibt (SchrittS15 ). Die Bildzusammenfügeeinheit22 bestimmt die jeweiligen ZielbereicheTA der vier aufgenommenen Bilder auf der Grundlage der Ausfahrtabelle. Die Bildzusammenfügeeinheit22 erzeugt dann ein zusammengefügtes BildCP , indem sie die jeweiligen ZielbereicheTA der vier aufgenommenen Bilder verwendet. - Anschließend erzeugt die Bildeinstelleinheit
23 das AnzeigebildDP zum Anzeigen auf dem Anzeigegerät3 (SchrittS16 ). Die Bildeinstelleinheit23 erzeugt das AnzeigebildDP unter Verwendung des zusammengefügten BildsCP , das von der Bildzusammenfügeeinheit22 erzeugt wird, und die aufgenommenen Bilder, die von der Bilderfassungseinheit21 erfasst werden. Die Bildeinstelleinheit23 wählt das aufgenommene Bild in Übereinstimmung mit der Fahrtrichtung des Fahrzeugs9 aus, und verwendet dieses zum Erzeugen des AnzeigebildsDP unter der Steuerung der Bildsteuereinheit20a . - Dann gibt die Bildausgabeeinheit
24 das AnzeigebildDP , das von der Bildeinstelleinheit23 erzeugt wurde, zu dem Anzeigegerät3 aus (SchrittS17 ). Dann wird das AnzeigebildDP , das das zusammengefügte BildCP enthält, auf dem Anzeigegerät3 angezeigt. - Falls in Schritt
S12 bestimmt wird, dass die Seitenspiegel93L ,93R in dem eingefahrenen Zustand sind (Nein in SchrittS12 ), wählt die Bildzusammenfügeeinheit22 die Einfahrtabelle als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten BildsCP verwendet wird, unter Steuerung der Bildsteuereinheit20a aus (SchrittS14 ). Dann liest die Bildzusammenfügeeinheit22 aus der Einfahrtabelle, die eine der Mehrzahl von Entsprechungstabellen27b ist, die in der Speichereinheit27 gespeichert sind, aus der Speichereinheit27 heraus. - Dann verwendet die Bildzusammenfügeeinheit
22 die Einfahrtabelle, um das zusammengefügte BildCP zu erzeugen, das die Umfeldsituation des Fahrzeugs9 von dem virtuellen Blickpunkt aus betrachtet angibt (SchrittS15 ). Die Bildzusammenfügeeinheit22 bestimmt die jeweiligen ZielbereicheTA der vier aufgenommenen Bilder auf der Grundlage der Einfahrtabelle. Sogar wenn die Seitenspiegel93L ,93R in dem eingefahrenen Zustand sind, werden daher die Bereiche, die die Bilder der fotografischen Subjekte des Umfelds des Fahrzeugs9 enthalten, als die ZielbereicheTA in den aufgenommenen Bildern der SeitenkamerasSL ,SR bestimmt. Die Bildzusammenfügeeinheit22 erzeugt dann ein zusammengefügtes Bild CP, indem sie die jeweiligen ZielbereicheTA der vier aufgenommenen Bilder verwendet. Das zusammengefügte BildCP , in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, wird daher erzeugt. - Anschließend erzeugt die Bildeinstelleinheit
23 das AnzeigebildDP zum Anzeigen auf dem Anzeigegerät3 (SchrittS16 ). Die Bildeinstelleinheit23 erzeugt das Anzeigebild DP unter Verwendung des zusammengefügten BildsCP , das von der Bildzusammenfügeeinheit22 erzeugt wird, und die aufgenommenen Bilder, die von der Bilderfassungseinheit21 erfasst werden. Die Bildeinstelleinheit23 wählte das aufgenommene Bild in Übereinstimmung mit der Fahrtrichtung des Fahrzeugs9 aus, und verwendet diese zum Erzeugen des Anzeigebilds DP unter der Steuerung der Bildsteuereinheit20a . - Dann gibt die Bildausgabeeinheit
24 das AnzeigebildDP , das von der Bildeinstelleinheit23 erzeugt wurde, zu dem Anzeigegerät3 aus (SchrittS17 ). Dann wird das AnzeigebildDP , das das zusammengefügte BildCP enthält, auf dem Anzeigegerät3 angezeigt. - Wie oben beschrieben, gemäß dem Bildanzeigesystem
10 der ersten beispielhaften Ausführungsform, ist die Bilderfassungseinheit21 ausgelegt, um die Mehrzahl aufgenommener Bilder, die von der Mehrzahl von Kameras5 , darunter die Seitenkameras5L ,5R , die in den Seitenspiegeln des Fahrzeugs9 vorgesehen sind, erhalten werden, zu erfassen, und die Bildzusammenfügeeinheit22 ist ausgelegt, um das zusammengefügte BildCP zu erzeugen, das das Umfeld des Fahrzeugs9 von dem virtuellen Blickpunkt ausgehend betrachtet unter Verwendung der jeweiligen ZielbereicheTA der Mehrzahl erfasster Bilder angibt. Die Zustandserfassungseinheit20b ist auch ausgelegt, um den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R zu erfassen, und die Bildzusammenfügeeinheit22 ist ausgelegt, um die Zielbereiche TA in Übereinstimmung mit dem ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R zu ändern. Derart, da die ZielbereicheTA in den aufgenommenen Bildern, die von den Seitenkameras5L ,5R erhalten werden, in Übereinstimmung mit dem Zustand der Seitenspiegel93L ,93R geändert werden, ist es möglich, das zusammengefügte BildCP zu erzeugen, in dem die Bilder der fotografischen Subjekte unter Abstimmen zusammengefügt sind, sogar wenn die Seitenspiegel93L ,93R in irgendeinem Zustand des ausgefahrenen Zustands und des eingefahrenen Zustand sind. - <Zweite veranschaulichende Ausführungsform>
- <Überblick>
- Unten wird eine zweite veranschaulichende Ausführungsform beschrieben. Da die Konfigurationen und Vorgänge eines Bildanzeigesystems
10A gemäß der zweiten veranschaulichenden Ausführungsform im Wesentlichen gleich sind wie bei dem Bildanzeigesystem10 der ersten veranschaulichenden Ausführungsform, werden unten hauptsächlich Unterschiede zu der ersten veranschaulichenden Ausführungsform beschrieben. Die Elemente, die dieselben oder ähnliche Auslegungen oder Funktionen haben, werden mit denselben Bezugszeichen bezeichnet und die übereinstimmenden Beschreibungen werden dafür weggelassen. Das Bildanzeigesystem10A ist ausgelegt, um das zusammengefügte BildCP zu erzeugen, indem ein optischer Achsparameter, der einen Fehler der Richtungen der optischen Achsen der jeweiligen Kameras5 der bei der Kalibrierungsverarbeitung erfasst wird, angibt, verwendet wird. - Wenn die Kameras
5 in dem Fahrzeug9 vorgesehen sind, tritt ein geringfügiger Fehler (ein Montagefehler) zwischen einer Richtung der optischen Achse der Kamera5 in Bezug auf das Fahrzeug9 und einer Konzeptionsrichtung auf. Aufgrund des Fehlers weicht eine Position des Bilds des fotografischen Subjekts, das in dem aufgenommenen Bild, das von der Kamera5 erfasst wird, enthalten ist, von einer Position, die beim Konzept angenommen wird, ab. Falls das zusammengefügte BildCP daher unter Verwendung des ZielbereichsTA in dem aufgenommenen Bild, das beim Konzept definiert wird, erzeugt wird, ohne die Abweichung zu berücksichtigen, können die Bilder der fotografischen Subjekte ohne Abstimmung zusammengefügt werden. - Insbesondere wenn der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild
CP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil, der dazwischen eingefügt wird, erzeugt wird, falls die Bilder der fotografischen Subjekte zusammengefügt werden, ohne abgestimmt zu werden, kann ein Bild desselben Objekts an unterschiedlichen Positionen in dem überblendeten Teil des zusammengefügten BildsCP erscheinen. Der Benutzer, der das zusammengefügte BildCP visuell erkennt, kann eine Anzahl oder Positionen der Objekte, die in dem Umfeld des Fahrzeugs9 vorhanden sind, falsch auslegen. - Daher ist das Bildanzeigesystem
10A ausgeführt, um Kalibrierungsverarbeitung auszuführen, wodurch ein optischer Achsparameter erfasst wird, der sich auf eine aktuelle Richtung der optischen Achse jeder Kamera5 bezieht. Der optische Achsparameter gibt zum Beispiel einen Fehler zwischen einer Richtung der optischen Achse der Kamera5 in Bezug auf das Fahrzeug9 und einer Konzeptrichtung an und weist einen Rollwinkel, einen Neigungswinkel, einen Schwenkwinkel und dergleichen auf. Das Bildanzeigesystem10A ist ausgelegt, um den erfassten optischen Achsparameter zu verwenden und daher eine Position des ZielbereichsTA in dem aufgenommenen Bild, das zum Erzeugen des zusammengefügten BildsCP verwendet wird, zu korrigieren. Das Bildanzeigesystem10A kann daher das zusammengefügte BildCP , in dem der Fehler berücksichtigt wurde, erzeugen. - Die Seitenkameras
5L ,5R werden auch geändert, was die Positionen und die Richtung ihrer optischen Achsen betrifft, wenn die Seitenspiegel93L ,93R gedreht werden. Wie bei der Drehung der Seitenspiegel93L ,93R , besteht auch ein individueller Unterschied im Drehungswinkel und dergleichen. Was die Richtungen der optischen Achsen der Seitenkameras5L ,5R betrifft, tritt daher ein unabhängiger Fehler in dem ausgefahrenen und dem eingefahrenen Zustand der Seitenspiegel93L ,93R auf. Das Bildanzeigesystem10A ist daher ausgelegt, um die optischen Achsparameter, die den Fehler in den Richtungen der optischen Achsen der Seitenkameras5L ,5R angeben, bei jedem Zustand des aktuell ausgefahrenen Zustands und aktuell eingefahrenen Zustands der zwei Seitenspiegel93L ,93R zu erfassen. - Das Bilderzeugungsgerät
2 des Bildanzeigesystems10A hat eine Funktion zum Herleiten der optischen Achsparameter bei der Kalibrierungsverarbeitung. Man kann daher sagen, dass das Bilderzeugungsgerät2 ein Parametererfassungsgerät ist, das ausgelegt ist, um Parameter in Zusammenhang mit den Kameras5 , die in dem Fahrzeug9 bereitgestellt sind, zu erfassen. Wenn die Mehrzahl von Kameras in dem Fahrzeug9 in einem Herstellerwerk oder Fahrzeugreparaturposten befestigt wird, führt das Bildanzeigesystem10A die Kalibrierungsverarbeitung aus. Die optischen Achsparameter, die bei der Kalibrierungsverarbeitung erhalten werden, werden in dem Bilderzeugungsgerät2 gespeichert. Die optischen Achsparameter werden verwendet, wenn das Bilderzeugungsgerät2 das zusammengefügte Bild CP erzeugt. - Wie in
11 gezeigt, hat das Bildanzeigesystem10A ferner eine Parameterherleitungseinheit20c , die ausgelegt ist, um die optischen Achsparameter herzuleiten, zusätzlich zu den Auslegungen der ersten in1 gezeigten veranschaulichenden Ausführungsform. Die Parameterherleitungseinheit20c ist ein Teil der funktionalen Einheiten, die umgesetzt werden, wenn dieCPU der Steuereinheit20 die rechnerische Verarbeitung als Reaktion auf das Programm27a ausführt. - Die Speichereinheit
27 ist auch ausgelegt, um eine Mehrzahl optischer Achsparameter27c gemeinsam mit dem Programm27a und der Mehrzahl von Entsprechungstabellen27b zu speichern. Da die optischen Achsparameter27c durch die Kalibrierungsverarbeitung erfasst werden, werden die optischen Achsparameter nicht in der Speichereinheit27 gespeichert, bevor die Kalibrierungsverarbeitung ausgeführt wurde. - Der optische Achsparameter
27c wird in jeder der Kameras5 vorgesehen. Was die Seitenkameras5L ,5R betrifft, wird der optische Achsparameter27c einzeln in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel93L ,93R bereitgestellt. - <Kalibrierungsverarbeitung>
-
12 veranschaulicht eine Situation des Fahrzeugs9 , wenn die Kalibrierungsverarbeitung ausgeführt wird. Wie in12 gezeigt, werden vier Markierungselemente7 an einem Arbeitsposten zum Ausführen der Kalibrierungsverarbeitung, wie zum Beispiel im Herstellerwerk oder einem Fahrzeugreparaturposten angeordnet. - Wie in
13 gezeigt, hat jedes der vier Markierungselemente7 eine aufrichtbare kubische Form. Das Markierungselement7 hat ein aufgerichtetes plattenförmiges Element79 , wie zum Beispiel eine Plastikplatte. Eine Hauptoberfläche des plattenförmigen Elements79 , die zu dem Fahrzeug9 zeigt, ist mit einer Markierung70 ausgebildet, die ein vorbestimmtes Muster hat. Das Muster der Markierung70 ist zum Beispiel ein Schachbrettmuster. Eine der zwei Farben, die das Muster bilden, ist eine dunkle Farbe (zum Beispiel Schwarz), und die andere ist eine relativ helle Farbe (zum Beispiel Weiß). - Beim Ausführen der Kalibrierungsverarbeitung, wie in
12 gezeigt, steht das Fahrzeug9 an einer vorbestimmten Position auf dem Arbeitsposten unter Verwendung eines Gegenüberstellungsgeräts und dergleichen still. Der relativen Positionen der vier Markierungselemente7 des Fahrzeugs9 sind daher konstant. Die vier Markierungselemente7 sind jeweils in jeweiligen BereichenA1 ,A2 ,A3 ,A4 vorn links, von rechts, hinten links und hinten rechts von dem Fahrzeug9 angeordnet. Alle vier Markierungselemente7 können daher überlagernd von den zwei Kameras5 der vier Kameras5 (siehe2 ) aufgenommen werden. - Die Kalibrierungsverarbeitung wird ausgeführt, während ein Bediener einen vorbestimmten Vorgang über das Touchpanel
31 und dergleichen in dem Zustand, der in12 gezeigt ist, ausführt. Bei der Kalibrierungsverarbeitung nehmen die Kameras5 , die an das Fahrzeug montiert sind, das Umfeld des Fahrzeugs9 inklusive der Markierungselemente7 auf, um die aufgenommenen Bilder zu erfassen. Das Bilderzeugungsgerät2 erfasst die optischen Achsparameter, die Fehler der Richtungen der optischen Achsen der Kameras5 angeben, basierend auf den aufgenommenen Bildern, die derart erfasst wurden. -
14 zeigt eine Abfolge der Kalibrierungsverarbeitung des Bildanzeigesystems10A . Bei der Kalibrierungsverarbeitung werden die optischen Achsparameter bei jedem Zustand des aktuell ausgefahrenen Zustands und aktuell eingefahrenen Zustands der Seitenspiegel93L ,93R erfasst. - Zuerst erfasst die Zustandserfassungseinheit
20b des Bilderzeugungsgeräts2 den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel93L ,93R und bestätigt, ob die Seitenspiegel93L ,93R in dem aktuell ausgefahrenen Zustand sind (SchrittS21 ). Falls die Seitenspiegel93L ,93R in diesem Zeitpunkt in dem eingefahrenen Zustand sind, wartet das Bildanzeigesystem10A , bis die Seitenspiegel93L ,93R aktuell ausgefahrenen sind. - Andererseits, wenn die Seitenspiegel
93L ,93R in dem eingefahrenen Zustand sind, kann das Anzeigegerät3 eine Warnung und dergleichen anzeigen, um den Benutzer zu veranlassen, die Seitenspiegel93L ,93R auszufahren. Falls die Seitenspiegel93L ,93R daher in dem eingefahrenen Zustand sind, kann die Steuereinheit20 des Bilderzeugungsgeräts2 ein vorbestimmtes Signal zu der Spiegelantriebseinheit92 übertragen, um die Seitenspiegel93L ,93R automatisch zu dem ausgefahrenen Zustand zu verlagern. - Falls die Seitenspiegel
93L ,93R in dem aktuell ausgefahrenen Zustand sind (Ja in SchrittS21 ), wählt die Parameterherleitungseinheit20c eine Kamera5 der vier Kameras5 als eine ,Meldekamera' aus, die ein Verarbeitungsziel ist (SchrittS22 ). - Danach nimmt die Meldekamera
5 einen umfänglichen Bereich des Fahrzeugs9 auf, der die Markierungen70 der zwei Markierungselemente7 enthält, um ein aufgenommenes Bild zu erfassen (SchrittS23 ).15 veranschaulicht ein Beispiel eines aufgenommenen BildsGC für die Kalibrierungsverarbeitung, das derart erhalten wurde. Wie gezeigt, weist das aufgenommene BildGC Bilder (unten ,Markierungsbilder' genannt)71a ,72a der zwei Markierungen70 auf. - Dann, wie in
14 gezeigt, erfasst die Parameterherleitungseinheit20c einen optischen Achsparameter, der einen Fehler der Richtung der optischen Achse der Meldekamera5 basierend auf dem aufgenommenen Bild GC angibt (SchrittS24 ) angeben. Die Parameterherleitungseinheit20c spezifiziert zuerst Positionen der zwei Markierungsbilder71a ,72a , die in dem aufgenommenen Bild GC enthalten sind, und leitet die optischen Achsparameter, wie zum Beispiel Schwenkwinkel, Neigungswinkel und Rollwinkel basierend auf den Positionen her. - Die Parameterherleitungseinheit
20c spezifiziert die Positionen der zwei Markierungsbilder71a ,72a in dem aufgenommenen BildGC unter Verwendung eines gut bekannten Kantenerfassungsverfahrens, wie zum Beispiel ein Harris-Operator. Die Parameterherleitungseinheit20c leitet auch jeweils einen Schwenkwinkel auf der Grundlage linker und rechter Positionen der zwei Markierungsbilder71a ,72a in dem aufgenommenen BildGC , einen Neigungswinkel auf der Grundlage der oberen und unteren Position der zwei Markierungsbilder71a ,72a sowie einen Rollwinkel auf der Grundlage eines Unterschieds zwischen Höhen der zwei Markierungsbilder71a ,72a in dem aufgenommenen BildGC her. Indes können die Positionen der zwei Markierungsbilder71a ,72a in dem aufgenommenen BildGC von einem Bediener manuell bezeichnet werden. - Die Parameterherleitungseinheit
20c assoziiert den erfassten optischen Achsparameter mit der Meldekamera5 und speichert diesen in der Speichereinheit27 . - Dann bestimmt die Parameterherleitungseinheit
20c , ob die optischen Achsparameter für alle vier Kameras5 erfasst sind (SchrittS25 ). Wenn eine Kamera5 vorhanden ist, für die der optische Achsparameter noch nicht erfasst wurde (Nein in SchrittS25 ), wird eine andere Kamera5 , die noch nicht als die Meldekamera5 eingestellt wurde, als die neue Meldekamera5 eingestellt, und die oben beschriebene Verarbeitung wird wiederholt. - Die Verarbeitung wird wiederholt, so dass alle optischen Achsparameter der vier Kameras
5 erfasst und in der Speichereinheit27 gespeichert werden. Die optischen Achsparameter der zwei Seitenkameras5L ,5R , die bei der Verarbeitung erfasst werden, sind optische Achsparameter, die in dem aktuell ausgefahrenen Zustand der Seitenspiegel93L ,93R erfasst werden und danach ,Ausfahrparameter' genannt werden. Die ,Ausfahrparameter' geben Fehler in den Richtungen der optischen Achsen der Seitenkameras5L ,5R in Bezug auf die Konzeptionsrichtungen in dem aktuell ausgefahrenen Zustand der Seitenspiegel93L ,93R an. - Derart, wenn die optischen Achsparameter der vier Kameras
5 erfasst sind (Ja in SchrittS25 ), erfasst die Zustandserfassungseinheit20b den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel93L ,93R . Dann bleibt das Bildanzeigesystem10A in Standby, bis die Seitenspiegel93L ,93R aktuell eingefahren sind (SchrittS26 ). - Indes kann in diesem Zeitpunkt das Anzeigegerät
3 eine Warnung und dergleichen anzeigen, um den Benutzer zu veranlassen, die Seitenspiegel93L ,93R einzufahren. Die Steuereinheit20 des Bilderzeugungsgeräts2 kann auch ein vorbestimmtes Signal zu der Spiegelantriebseinheit92 übertragen, um die Seitenspiegel93L ,93R automatisch zu dem eingefahrenen Zustand zu verlagern. - Wenn die Seitenspiegel
93L ,93R in dem aktuell eingefahrenen Zustand sind (Ja in SchrittS26 ), wählt die Parameterherleitungseinheit20c eine Kamera5 der linken und rechten Seitenkameras5 als eine ,Meldekamera' aus, die ein Verarbeitungsziel ist (SchrittS27 ). - Danach nimmt die Meldekamera
5 einen umfänglichen Bereich des Fahrzeugs9 auf, der die Markierungen70 der zwei Markierungselemente7 enthält, um ein aufgenommenes Bild zu erfassen (SchrittS28 ). Das erfasste aufgenommene BildGC weist auch die zwei Markierungsbilder71a ,72a auf. - Dann erfasst die Parameterherleitungseinheit
20c einen optischen Achsparameter, der einen Fehler der Richtung der optischen Achse der Meldekamera5 basierend auf dem aufgenommenen BildGC angibt (SchrittS29 ). Die Parameterherleitungseinheit20c spezifiziert die Positionen der zwei Markierungsbilder71a ,72a , die in dem aufgenommenen BildGC enthalten sind und leitet den optischen Achsparameter basierend auf den Positionen her. Die Parameterherleitungseinheit20c assoziiert den erfassten optischen Achsparameter mit der Meldekamera5 und speichert diesen in der Speichereinheit27 . - Dann bestimmt die Parameterherleitungseinheit
20c , ob die optischen Achsparameter für die linke und rechte Seitenkamera5L ,5R erfasst sind (SchrittS30 ). Falls eine Seitenkamera5 vorhanden ist, für die der optische Achsparameter noch nicht erfasst wurde (Nein in SchrittS30 ), wird eine andere Kamera5 , die noch nicht als die Meldekamera5 eingestellt wurde, als die neue Meldekamera5 eingestellt, und die oben beschriebene Verarbeitung wird wiederholt. - Bei der oben stehenden Verarbeitung werden die optischen Achsparameter der linken und rechten Seitenkamera
5L ,5R erfasst und in der Speichereinheit27 gespeichert. Die optischen Achsparameter der zwei Seitenkameras5L ,5R , die bei der Verarbeitung erfasst werden, sind optische Achsparameter, die in dem aktuell eingefahrenen Zustand der Seitenspiegel93L ,93R erfasst werden und danach ,Einfahrparameter' genannt werden. Die .Einfahrparameter' geben Fehler der Richtungen der optischen Achsen der Seitenkameras5L ,5R in Bezug auf die Konzeptionsrichtungen in dem aktuell eingefahrenen Zustand der Seitenspiegel93L ,93R an. - Durch die oben stehende Kalibrierungsverarbeitung werden sowohl die ,Ausfahrparameter' als auch die ,Einfahrparameter' für die zwei Seitenkameras
5L ,R5 erfasst. - <Anzeigen des Anzeigebilds>
- Die optischen Achsparameter, die auf die oben stehende Art erfasst werden, werden zum Erzeugen des zusammengefügten Bilds
CP verwendet.16 zeigt eine Abfolge von Vorgängen des Bildanzeigesystems10 zum Anzeigen des Anzeigebilds DP bei der zweiten veranschaulichenden Ausführungsform. Die Vorgänge, die in16 gezeigt sind, entsprechen den Vorgängen der ersten veranschaulichenden Ausführungsform, die in10 gezeigt ist, zu welchen Schritt S13a nach SchrittS13 und SchrittS14a nach SchrittS14 hinzugefügt werden. - Zunächst erfasst die Bilderfassungseinheit
21 die vier aufgenommenen Bilder, die von den vier Kameras5 erhalten werden (SchrittS11 ). Dann erfasst die Zustandserfassungseinheit20b den ausgefahrenen/eingefahrenen Zustand der Seitenspiegel93L ,93R (SchrittS12 ). - Falls die Seitenspiegel
93L ,93R in dem ausgefahrenen Zustand sind (Ja in SchrittS12 ), wählt die Bildzusammenfügeeinheit22 die Ausfahrtabelle als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten Bilds CP verwendet wird, und liest aus der Ausfahrtabelle aus der Speichereinheit27 heraus (SchrittS13 ). - Danach korrigiert die Bildzusammenfügeeinheit
22 die jeweiligen ZielbereicheTA der vier aufgenommenen Bilder, definiert auf der Grundlage der Ausfahrtabelle unter Berücksichtigung der Fehler in den Richtungen der optischen Achsen der vier Kameras (SchrittS13a ). Die Bildzusammenfügeeinheit22 liest die optischen Achsparameter27c der vier Kameras5 aus der Speichereinheit27 . In diesem Zeitpunkt liest die Bildzusammenfügeeinheit22 die Ausfahrparameter' aus der Speichereinheit27 in Bezug auf die zwei Seitenkameras5L ,5R . Danach korrigiert die Bildzusammenfügeeinheit22 die jeweiligen ZielbereicheTA der vier aufgenommenen Bilder, definiert auf der Grundlage der Ausfahrtabelle unter Berücksichtigung der jeweiligen Achsparameter F 27c der vier Kameras. Dadurch werden die ZielbereicheTA in den aufgenommenen Bildern der Seitenkameras5L ,5R unter Verwendung der ,Ausfahrparameter' der Seitenkameras5L ,5R korrigiert. -
17 veranschaulicht ein Beispiel des ZielbereichsTA in dem aufgenommenen Bild SL der linken Seitenkamera5L in dem ausgefahrenen Zustand des linken Seitenspiegels93L . Wenn kein Fehler der Richtung der optischen Achse der linken Seitenkamera5L besteht, ist der für die Erzeugung des zusammengefügten Bilds CP verwendete ZielbereichTA ein ursprünglicher Zielbereich TA1 basierend allein auf der Ausfahrtabelle. Die Bildzusammensetzungseinheit22 korrigiert den Zielbereich TA von dem ursprünglichen BereichTA1 auf einen korrigierten BereichTA2 unter Verwendung der Ausfahrparameter, die den Fehler der Richtung der optischen Achse der linken Seitenkamera5L in dem aktuell ausgefahrenen Zustand des linken Seitenspiegels93L angibt. - Wie in
16 gezeigt, erzeugt die Bildzusammenfügeeinheit22 dann ein zusammengefügtes BildCP , indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder verwendet (SchrittS15 ). Da das zusammengefügte BildCP unter Berücksichtigung der Fehler der Richtungen der optischen Achsen der vier Kameras5 erzeugt wird, wird daher das zusammengefügte BildCP , in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, erzeugt. Die Bilder der fotografischen Subjekte können auch passend an dem Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP überlagert werden, das durch Überblenden der zwei aufgenommenen Bilder erzeugt wird. - Anschließend erzeugt die Bildeinstelleinheit
23 das Anzeigebild DP zum Anzeigen auf dem Anzeigegerät3 (SchrittS16 ) und die Bildausgabeeinheit24 gibt das AnzeigebildDP , das von der Bildeinstelleinheit23 erzeugt wird, zu dem Anzeigegerät3 aus (SchrittS17 ). Das AnzeigebildDP , das das zusammengefügte BildCP enthält, wird dadurch auf dem Anzeigegerät3 angezeigt. - Falls in Schritt
S12 bestimmt wird, dass die Seitenspiegel93L ,93R in dem eingefahrenen Zustand sind (Nein in SchrittS12 ), liest die Bildzusammenfügeeinheit22 aus der Einfahrtabelle aus der Speichereinheit27 als die Entsprechungstabelle, die zum Erzeugen des zusammengefügten BildsCP verwendet wird, heraus (SchrittS14 ). - Danach korrigiert die Bildzusammenfügeeinheit
22 die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder, definiert auf der Grundlage der Einfahrtabelle unter Berücksichtigung der Fehler in den Richtungen der optischen Achsen der vier Kameras (SchrittS14a ). Die Bildzusammenfügeeinheit22 liest die optischen Achsparameter27c der vier Kameras5 aus der Speichereinheit27 . In diesem Zeitpunkt liest die Bildzusammenfügeeinheit22 die ,Einfahrparameter' aus der Speichereinheit27 in Bezug auf die zwei Seitenkameras5L ,5R . Danach korrigiert die Bildzusammenfügeeinheit22 die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder, definiert auf der Grundlage der Einfahrtabelle unter Berücksichtigung der jeweiligen optischen Achsparameter27c der vier Kameras5 . Dadurch werden die Zielbereiche TA in den aufgenommenen Bildern der Seitenkameras5L ,5R unter Verwendung der ,Einfahrparameter' der Seitenkameras5L ,5R korrigiert. -
18 veranschaulicht ein Beispiel des Zielbereichs TA in dem aufgenommenen Bild SL der linken Seitenkamera5L in dem eingefahrenen Zustand des linken Seitenspiegels93L . Falls kein Fehler der Richtung der optischen Achse der linken Seitenkamera5L besteht, ist der für die Erzeugung des zusammengefügten Bilds CP verwendete Zielbereich TA ein ursprünglicher ZielbereichTA3 basierend allein auf der Einfahrtabelle. Die Bildzusammensetzungseinheit22 korrigiert den ZielbereichTA von dem ursprünglichen BereichTA3 auf einen korrigierten BereichTA4 unter Verwendung der Einfahrparameter, die den Fehler der Richtung der optischen Achse der linken Seitenkamera5L in dem aktuell eingefahrenen Zustand des linken Seitenspiegels93L angibt. - Wie in
16 gezeigt, erzeugt die Bildzusammenfügeeinheit22 dann ein zusammengefügtes BildCP , indem sie die jeweiligen Zielbereiche TA der vier aufgenommenen Bilder verwendet (SchrittS15 ). Da das zusammengefügte BildCP unter Berücksichtigung der Fehler der Richtungen der optischen Achsen der vier Kameras5 erzeugt wird, wird daher das zusammengefügte BildCP , in dem die Bilder der fotografischen Subjekte unter Abstimmung zusammengefügt werden, erzeugt. Die Bilder der fotografischen Subjekte können auch passend an dem Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP überlagert werden, das durch Überblenden der zwei aufgenommenen Bilder erzeugt wird. - Anschließend erzeugt die Bildeinstelleinheit
23 das AnzeigebildDP zum Anzeigen auf dem Anzeigegerät3 (SchrittS16 ) und die Bildausgabeeinheit24 gibt das AnzeigebildDP , das von der Bildeinstelleinheit23 erzeugt wird, zu dem Anzeigegerät3 aus (SchrittS17 ). Das AnzeigebildDP , das das zusammengefügte BildCP enthält, wird dadurch auf dem Anzeigegerät3 angezeigt. - Wie oben beschrieben, gemäß dem Bildanzeigesystem
10A der zweiten veranschaulichenden Ausführungsform, ist die Bildzusammenfügeeinheit22 ausgelegt, um das zusammengefügte Bild CP unter Verwendung der Zielbereiche TA basierend auf den Ausfahrparametern in dem ausgefahrenen Zustand der Seitenspiegel93L ,93R zu erzeugen. Die Bildzusammenfügeeinheit22 ist auch ausgelegt, um das zusammengefügte Bild CP unter Verwendung der ZielbereicheTA basierend auf den Einfahrparametern in dem eingefahrenen Zustand der Seitenspiegel93L ,93R zu erzeugen. Die Ausfahrparameter geben Fehler der Richtungen der optischen Achsen der Seitenkameras5L ,5R in Bezug in dem aktuell ausgefahrenen Zustand der Seitenspiegel93L ,93R an. Andererseits geben die Einfahrparameter Fehler der Richtungen der optischen Achsen der Seitenkameras5L ,5R in Bezug in dem aktuell eingefahrenen Zustand der Seitenspiegel93L ,93R an. - Derart ist die Bildzusammenfügeeinheit
22 ausgelegt, um das zusammengefügte BildCP unter Verwendung der ZielbereicheTA basierend auf den Fehlern der Richtungen der optischen Achsen in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel93L ,93R zu erzeugen. Es ist daher möglich, das zusammengefügte BildCP , in dem die Bilder der fotografischen Subjekte passend ungeachtet des Zustands der Seitenspiegel93L ,93R angeordnet sind, zu erzeugen. Sogar beim Erzeugen des Grenzteils zwischen den erfassten Bildern in dem zusammengefügten BildCP durch Überblenden der zwei erfassten Bilder ist es möglich, die Bilder der fotografischen Subjekte passend miteinander an dem überblendeten Teil des zusammengefügten BildsCP zu überlagern. - Bei der Kalibrierungsverarbeitung ist die Parameterherleitungseinheit
20c auch ausgelegt, um die Ausfahrparameter in dem aktuell ausgefahrenen Zustand der Seitenspiegel93L ,93R zu erfassen und die Einfahrparameter in dem aktuell eingefahrenen Zustand der Seitenspiegel93L ,93R zu erfassen. Es ist daher möglich, die Parameter der Ausfahrparameter und der Einfahrparameter passend zu erfassen, die erforderlich sind, um das passende zusammengefügte Bild CP in jedem Zustand des eingefahrenen und ausgefahrenen Zustands der Seitenspiegel93L ,93R zu erzeugen. - <Dritte veranschaulichende Ausführungsform>
- Unten wird eine dritte veranschaulichende Ausführungsform beschrieben. Da die Konfigurationen und Vorgänge eines Bildanzeigesystems
10B gemäß der dritten veranschaulichenden Ausführungsform im Wesentlichen gleich sind wie bei dem Bildanzeigesystem10A der zweiten veranschaulichenden Ausführungsform, werden unten hauptsächlich Unterschiede zu der zweiten veranschaulichenden Ausführungsform beschrieben. Elemente, die dieselben oder ähnliche Auslegungen oder Funktionen haben, werden mit denselben Bezugszeichen bezeichnet und die übereinstimmenden Beschreibungen werden dafür weggelassen. - Das Bildanzeigesystem
10A der zweiten veranschaulichenden Ausführungsform ist ausgelegt, um die optischen Achsparameter in jedem Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel93L ,93R bei der Kalibrierungsverarbeitung zu erfassen. Um das passende zusammengefügte BildCP zu erzeugen, wird bevorzugt, die optischen Achsparameter in beiden Zuständen zu erfassen. Das Ausführen der Kalibrierungsverarbeitung erfordert jedoch relativ viel Zeit. - Daher ist ein Bildanzeigesystem
10B der dritten veranschaulichenden Ausführungsform ausgelegt, um die optischen Achsparameter (die Ausfahrparameter) nur in einem ausgefahrenen Zustand der Seitenspiegel93L ,93R zu erfassen, wodurch die Zeit, die für die Kalibrierungsverarbeitung erforderlich ist, verkürzt wird. Das Bildanzeigesystem10B der dritten veranschaulichenden Ausführungsform ist ausgelegt, um die Einfahrparameter durch eine vorbestimmte Berechnung auf der Grundlage der erfassten Ausfahrparameter herzuleiten. - Wie oben beschrieben, was die Richtungen der optischen Achsen der Seitenkameras
5L ,5R betrifft, treten unabhängige Fehler in dem ausgefahrenen und dem eingefahrenen Zustand der Seitenspiegel93L ,93R auf. Wenn die Einfahrparameter daher durch Berechnung hergeleitet werden, ist es schwierig, die Einfahrparameter, die die Fehler der Richtungen der optischen Achsen angeben, korrekt zu erfassen. Wenn daher die Einfahrparameter, die durch Berechnung hergeleitet werden, verwendet werden, um das zusammengefügte BildCP zu erzeugen, besteht eine Möglichkeit, dass die Bilder der fotografischen Subjekte ohne Abstimmung zusammengefügt werden. - Insbesondere wenn der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild
CP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil, der dazwischen eingefügt wird, erzeugt wird, falls die Bilder der fotografischen Subjekte zusammengefügt werden, ohne abgestimmt zu werden, kann ein Bild desselben Objekts an unterschiedlichen Positionen in dem überblendeten Teil des zusammengefügten BildsCP erscheinen. Der Benutzer, der das zusammengefügte Bild CP visuell erkennt, kann eine Anzahl oder Positionen der Objekte, die in dem Umfeld des Fahrzeugs9 vorhanden sind, falsch auslegen. - Das Bildanzeigesystem
10B der dritten veranschaulichenden Ausführungsform ist daher ausgelegt, um den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil dazwischen eingefügt in dem ausgefahrenen Zustand (wenn die Ausfahrparameter, die in der Kalibrierungsverarbeitung erfasst worden, verwendet werden) des Seitenspiegels93L wie bei der zweiten veranschaulichenden Ausführungsform zu erzeugen. Andererseits, ist in dem eingefahrenen Zustand (wenn die Einfahrparameter, die durch Berechnung hergeleitet werden, verwendet werden) des Seitenspiegels93L das Bildanzeigesystem10B ausgelegt, um den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP als eine Linie einzustellen, für die die aufgenommenen Bilder nicht verwendet werden. - Die Auslegung des Bildanzeigesystems
10B der dritten veranschaulichenden Ausführungsform ist dieselbe wie die des Bildanzeigesystems10A der zweiten veranschaulichenden Ausführungsform, die in11 gezeigt ist. Die Parameterherleitungseinheit20c ist jedoch ausgelegt, um die optischen Achsparameter (die Ausfahrparameter) nur in dem ausgefahrenen Zustand der Seitenspiegel93L ,93R bei der Kalibrierungsverarbeitung zu erfassen. Die Parameterherleitungseinheit20c ist auch ausgelegt, um die Einfahrparameter durch eine vorbestimmte Berechnung auf der Grundlage der erfassten Ausfahrparameter herzuleiten. Die Berechnungsgleichung wird im Voraus durch Konzeptionswerte festgelegt und in der Speichereinheit27 gespeichert. - Bei der dritten veranschaulichenden Ausführungsform ist daher eine Abfolge von Vorgängen des Bildanzeigesystems
10 zum Anzeigen des AnzeigebildsDP gleich wie die der Vorgänge, die in16 gezeigt sind. Wenn die Bildzusammenfügeeinheit22 jedoch das zusammengefügte BildCP in SchrittS15 erzeugt, ist das Verfahren des Erzeugens des Grenzteils zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP beim ausgefahrenen und eingefahrenen Zustand der Seitenspiegel93L ,93R unterschiedlich. - In dem ausgefahrenen Zustand der Seitenspiegel
93L ,93R ist die Bildzusammenfügeeinheit22 ausgelegt, um den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP durch Überblenden der zwei aufgenommenen Bilder mit dem Grenzteil dazwischen eingefügt wie bei den oben beschriebenen veranschaulichenden Ausführungsformen beschrieben zu erzeugen (siehe4 ). - In dem eingefahrenen Zustand der Seitenspiegel
93L ,93R erzeugt die Bildzusammenfügeeinheit22 im Gegenteil den Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP nicht durch Überblenden der aufgenommenen Bilder. In diesem Fall, wie in19 gezeigt, werden die TeileGF ,GB ,GL ,GR , zu welchen die vier aufgenommenen Bilder in dem ProjektionsbereichR1 der stereoskopisch gebogenen OberflächeTS projiziert werden, in einem vorbestimmten Intervall ohne Überlagerung geteilt. Daher werden die GrenzteileBB1 bisBB4 zwischen den TeilenGF ,GB ,GL ,GR mit Spalten, zu welchen irgendwelche aufgenommenen Bilddaten nicht projiziert werden, ausgebildet. Die Bildzusammenfügeeinheit22 zeigt daher die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP als Linien an (ein Beispiel eines Maskenbilds), für die die aufgenommenen Bilder nicht verwendet werden. -
20 veranschaulicht Beispiele des zusammengefügten BildsCP , das in dem ausgefahrenen und eingefahrenen Zustand der Seitenspiegel93L ,93R erzeugt wird.20A veranschaulicht das zusammengefügte BildCP , das in dem ausgefahrenen Zustand der Seitenspiegel93L ,93R erzeugt wird, und20B veranschaulicht das zusammengefügte BildCP , das in dem eingefahrenen Zustand der Seitenspiegel93L ,93R erzeugt wird. In20 tragen die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP dieselben Bezugszeichen wie die für die Grenzteile zwischen den TeilenGF ,GB ,GL ,GR der stereoskopisch gebogenen Oberfläche TS in4 oder19 . - Wie in
20A gezeigt, werden in dem zusammengefügten BildCP , das in dem ausgefahrenen Zustand der Seitenspiegel93L ,93R erzeugt wird, die GrenzteileBA1 bisBA4 zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP durch Überblenden ausgebildet. Die GrenzteileBA1 bisBA4 enthalten daher auch die Bilder der fotografischen Subjekte, so dass das zusammengefügte BildCP ein natürliches Bild wird. In diesem Fall, da das zusammengefügte BildCP unter Verwendung der Ausfahrparameter erzeugt wird, die bei der Kalibrierungsverarbeitung erfasst werden, ist es möglich, die Bilder der fotografischen Subjekte passend zueinander in den überblendeten Teilen des zusammengefügten BildsCP zu überlagern. - Im Gegensatz, wie in
20B gezeigt, werden in dem zusammengefügten Bild CP, das in dem eingefahrenen Zustand der Seitenspiegel93L ,93R erzeugt wird, die aufgenommenen Bilddaten nicht für die GrenzteileBB1 bisBB4 zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP verwendet, so dass die achromatischen Linien gebildet werden. Daher sind die Bilder der fotografischen Subjekte nicht in den LinienBB1 bisBB4 enthalten. - In diesem Fall, da das zusammengefügte Bild
CP unter Verwendung der Einfahrparameter, die durch Berechnung hergeleitet werden, erzeugt wird, besteht Besorgnis, dass die Bilder der fotografischen Subjekte ohne Abstimmung zusammengefügt werden. Daher werden die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP mit den Linien angezeigt, die die Bilder der fotografischen Subjekte nicht enthalten, so dass es möglich ist zu vermeiden, dass die Bilder der fotografischen Subjekte ohne Abstimmung angezeigt werden. Da die aufgenommenen Bilder in dem zusammengefügten BildCP durch Linien unterteilt sind, ist es daher möglich, ein unangenehmes Gefühl zu verringern, das der Benutzer empfindet, weil die Bilder der fotografischen Subjekte zwischen den aufgenommenen Bildern ununterbrochen sind. - Wie oben beschrieben, ist gemäß dem Bildanzeigesystem
10B der dritten veranschaulichenden Ausführungsform die Bildzusammenfügeeinheit22 ausgelegt, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP durch Überblenden der zwei aufgenommenen Bilder mit dem entsprechenden Grenzteil, der dazwischen eingefügt ist, in dem ausgefahrenen Zustand der Seitenspiegel93L ,93R zu erzeugen. Andererseits, in dem eingefahrenen Zustand der Seitenspiegel93L ,93R , ist die Bildzusammenfügeeinheit22 ausgebildet, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP mit den Linien, für die die aufgenommenen Bilder nicht verwendet werden, anzuzeigen. - In dem ausgefahrenen Zustand der Seitenspiegel
93L ,93R ist es möglich, das zusammengefügte BildCP , das die Fehler der Richtungen der optischen Achsen der Seitenkameras5L ,5R korrekt berücksichtigt, zu erzeugen. Daher ist es möglich, die Bilder der fotografischen Subjekte miteinander in den überblendeten Teilen des zusammengesetzten BildsCP passend zu überlagern, so dass es möglich ist, das natürliche zusammengefügte BildCP zu erzeugen. Im Gegensatz dazu, sind in dem eingefahrenen Zustand der Seitenspiegel93L ,93R die Fehler der Richtungen der optischen Achsen der Seitenkameras5L ,5R ungenau. Daher werden die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP mit den Linien angezeigt, so dass es möglich ist zu vermeiden, dass die Bilder der fotografischen Subjekte ohne Abstimmung überlagert und angezeigt werden. - Indes, gemäß dem Bildanzeigesystem
10B der dritten veranschaulichenden Ausführungsform, werden die Ausfahrparameter bei der Kalibrierungsverarbeitung und die Einfahrparameter bei der vorbestimmten Berechnung auf der Grundlage der erfassten Ausfahrparameter erfasst. Im Gegensatz können die Einfahrparameter bei der Kalibrierungsverarbeitung und die Ausfahrparameter bei einer vorbestimmten Berechnung auf der Grundlage der erfassten Einfahrparameter erfasst werden. In diesem Fall ist die Bildzusammenfügeeinheit22 ausgebildet, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten Bild CP mit den Linien, für die die aufgenommenen Bilder nicht verwendet werden, als den ausgefahrenen Zustand der Seitenspiegel93L ,93R anzuzeigen. Andererseits, in dem eingefahrenen Zustand der Seitenspiegel93L ,93R , ist die Bildzusammenfügeeinheit22 ausgebildet, um die Grenzteile zwischen den aufgenommenen Bildern in dem zusammengefügten BildCP durch Überblenden der zwei aufgenommenen Bilder mit dem entsprechenden Grenzteil dazwischen zu erzeugen. - <Geänderte Ausführungsformen>
- Obwohl die veranschaulichenden Ausführungsformen der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf die veranschaulichenden Ausführungsformen beschränkt und kann verschiedenartig geändert werden. Unten sind die geänderten Ausführungsformen beschrieben. Alle Ausführungsformen, die die oben veranschaulichten Ausführungsformen und die folgenden geänderten Ausführungsformen enthalten, können passend kombiniert werden.
- Bei den jeweiligen veranschaulichenden Ausführungsformen ist die Zustandserfassungseinheit
20b ausgelegt, um den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel93L ,93R basierend auf dem Signal zu erfassen, das von der Spiegelantriebseinheit92 übertragen wird. Die Zustandserfassungseinheit20b kann jedoch ausgelegt sein, um den ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel93L ,93R basierend auf einer Eingabe eines Benutzers zu erfassen. In diesem Fall gibt der Benutzer irgendeinen Zustand des ausgefahrenen und eingefahrenen Zustands der Seitenspiegel93L ,93R mit den Betätigungsknöpfen4 oder dem Touchpanel31 ein. - Bei der zweiten und dritten veranschaulichenden Ausführungsform ist die Markierung
70 auf dem aufrichtbaren Markierungselement7 ausgebildet. Die Markierung70 kann jedoch auf einer Hauptoberfläche eines nicht aufrichtbaren plattenförmigen Markierungselements oder einem Boden des Arbeitspostens ausgebildet sein. - Das Bilderzeugungsgerät
2 der zweiten und dritten veranschaulichenden Ausführungsform kann die Funktion als Parametererfassungsgerät, das konfiguriert ist, um die optischen Achsparameter zu erfassen, auch nicht haben. In diesem Fall kann das Bilderzeugungsgerät2 die optischen Achsparameter, die durch ein getrenntes Parametererfassungsgerät erfasst werden, in der Speichereinheit27 speichern und sie beim Erzeugen des zusammengefügten BildsCP verwenden. - Bei der dritten veranschaulichenden Ausführungsform wird der Grenzteil zwischen den aufgenommenen Bildern in dem zusammengefügten Bild
CP in dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel93L ,93R mit der Linie angezeigt, für die die aufgenommenen Bilder nicht verwendet werden. Die Form des Bilds, die den Grenzteil abdeckt, ist jedoch nicht auf die Linie beschränkt und kann entsprechend insofern festgelegt werden, als es möglich ist zu verhindern, dass die Bilder der fotografischen Subjekte ohne Abstimmung überlagert und angezeigt werden. - Das Bildanzeigesystem
10 (10A ,10B ) der jeweiligen veranschaulichenden Ausführungsformen kann auch andere Funktionen, wie zum Beispiel eine Navigationsfunktion oder Führen einer Route zu einem Zielort zusätzlich zu der Anzeigefunktion des Anzeigebilds, das das Umfeld des Fahrzeugs9 angibt, haben. Wenn das Bildanzeigesystem10 (10A ,10B ) die Navigationsfunktion hat, kann die Navigationsfunktion in einem normalen Zustand aktiviert werden, und wenn der Benutzer einen vorbestimmten Vorgang ausführt, kann die Funktion des Anzeigens des Anzeigebilds aktiviert werden. Die Navigationsfunktion kann in dem Bilderzeugungsgerät2 oder dem Anzeigegerät3 vorgesehen sein. - Das Bildanzeigesystem
10 (10A ,10B ) der jeweiligen veranschaulichenden Ausführungsformen ist auch ausgelegt, um das zusammengefügte Bild (ein Draufsichtbild) von dem virtuellen Blickpunkt, gleich oberhalb des Fahrzeugs9 betrachtet, zu erzeugen. Ein zusammengefügtes Bild, das von einem virtuellen Blickpunkt der anderen Position betrachtet wird, kann jedoch ebenfalls erzeugt werden. - Bei den oben stehenden veranschaulichenden Ausführungsformen sind die verschiedenen Funktionseinheiten daher in Software durch rechnerische Verarbeitung der CPU als Reaktion auf die Programme umgesetzt. Teile der Funktionseinheiten können jedoch durch elektrische Hardwareschaltungen umgesetzt werden. Im Gegensatz dazu kann ein Teil von Funktionen, der von der Hardwareschaltung umgesetzt wird, auch in Software umgesetzt werden.
Claims (8)
- Bilderzeugungsgerät (2), das für ein Fahrzeug (9) verwendet wird, das Seitenspiegel (93L, 93R) hat, wobei das Bilderzeugungsgerät (2) Folgendes umfasst: Bilderfassungsmittel (21) zum Erfassen einer Mehrzahl aufgenommener Bilder (SF, SB, SL, SR), die von einer Mehrzahl von Kameras (5), die in den Seitenspiegeln (93L, 93R) vorgesehene Seitenkameras (5L, 5R) umfasst, erhalten werden, Erzeugungsmittel (22) zum Erzeugen eines zusammengefügten Bilds (CP), das ein Umfeld des Fahrzeugs (9) von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche (TA) verwendet werden, die für die jeweiligen aufgenommenen Bilder (SF, SB, SL, SR) definiert sind, und Zustandserfassungsmittel (20b) zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel (93L, 93R), wobei das Erzeugungsmittel (22) die Zielbereiche (TA) gemäß dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel (93L, 93R) ändert, wobei das Erzeugungsmittel (22) die Zielbereiche (TA) auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) definiert, und die Zielbereiche (TA) auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) definiert, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) angibt, wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) angibt, und wobei die Fehler jeweils Montagefehler zwischen einer Richtung der optischen Achsen der Seitenkameras (5L, 5R) in Bezug auf das Fahrzeug (9) und einer Konzeptionsrichtung sind.
- Bilderzeugungsgerät (2) nach
Anspruch 1 , das ferner Folgendes umfasst: erste Parametererfassungsmittel zum Erfassen des ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel (93L, 93R), und zweite Parametererfassungsmittel zum Erfassen des zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel (93L, 93R). - Bilderzeugungsgerät (2) nach
Anspruch 1 , wobei das Erzeugungsmittel (22) einen Grenzteil (BA1-BA4) zwischen der Mehrzahl aufgenommener Bilder (SF, SB, SL, SR) in dem zusammengefügten Bild (CP) durch Überblenden von zwei aufgenommenen Bildern (SF, SB, SL, SR) mit dem entsprechenden Grenzteil (BA1-BA4) dazwischen eingefügt erzeugt. - Bilderzeugungsgerät (2) nach
Anspruch 1 , wobei das Erzeugungsmittel (22): einen Grenzteil (BA1-BA4) zwischen der Mehrzahl aufgenommener Bilder (SF, SB, SL, SR) in dem zusammengefügten Bild (CP) durch Überblenden von zwei aufgenommenen Bildern (SF, SB, SL, SR) mit dem entsprechenden Grenzteil (BA1-BA4) dazwischen eingefügt in einem Zustand des ausgefahrenen Zustands und eingefahrenen Zustands der Seitenspiegel (93L, 93R) erzeugt, und einen Grenzteil (BA1-BA4) zwischen der Mehrzahl aufgenommener Bilder (SF, SB, SL, SR) in dem zusammengefügten Bild (CP) mit einem Maskenbild, für das die aufgenommenen Bilder (SF, SB, SL, SR) nicht verwendet werden, in dem anderen Zustand des ausgefahrenen Zustands und eingefahrenen Zustands der Seitenspiegel (93L, 93R) anzeigt. - Bildanzeigesystem (10; 10A; 10B), das für ein Fahrzeug (9) verwendet wird, wobei das Bildanzeigesystem (10; 10A; 10B) Folgendes umfasst: das Bilderzeugungsgerät (2) nach einem der
Ansprüche 1 bis4 , und ein Anzeigegerät (3), das ausgelegt ist, um das zusammengefügte Bild (CP), das von dem Bilderzeugungsgerät (2) ausgegeben wird, anzuzeigen. - Parametererfassungsgerät (2), das ausgelegt ist, um Parameter in Zusammenhang mit Kameras (5L, 5R) zu erfassen, die in Seitenspiegeln (93L, 93R) eines Fahrzeugs (9) vorgesehen sind, wobei das Parametererfassungsgerät (2) Folgendes umfasst: Erfassungsmittel (20b) zum Erfassen eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel (93L, 93R), erste Parametererfassungsmittel zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel (93L, 93R), wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Kameras (5L, 5R) angibt, zweite Parametererfassungsmittel zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel (93L, 93R), wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Kameras (5L, 5R) angibt, und wobei die Fehler jeweils Montagefehler zwischen einer Richtung der optischen Achsen der Kameras (5L, 5R) in Bezug auf das Fahrzeug (9) und einer Konzeptionsrichtung sind.
- Bilderzeugungsverfahren, das für ein Fahrzeug (9) verwendet wird, das Seitenspiegel (93L, 93R) hat, wobei das Verfahren folgende Vorgänge umfasst: (a) Erfassen (S11) einer Mehrzahl aufgenommener Bilder (SF, SB, SL, SR), die von einer Mehrzahl von Kameras (5), die in den Seitenspiegeln (93L, 93R) vorgesehene Seitenkameras (5L, 5R) umfasst, erhalten werden, (b) Erzeugen (S15) eines zusammengefügten Bilds (CP), das ein Umfeld des Fahrzeugs (9) von einem virtuellen Blickpunkt her betrachtet angibt, indem Zielbereiche (TA) verwendet werden, die für jeweilige aufgenommene Bilder (SF, SB, SL, SR) definiert sind, und (c) Erfassen (S12) eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel (93L, 93R), wobei der Vorgang (b) einen Vorgang des Änderns der Zielbereiche (TA) gemäß dem ausgefahrenen oder eingefahrenen Zustand der Seitenspiegel (93L, 93R) umfasst, wobei die Zielbereiche (TA) auf der Grundlage eines ersten Parameters in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) definiert werden, und die Zielbereiche (TA) auf der Grundlage eines zweiten Parameters in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) definiert werden, wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem ausgefahrenen Zustand der Seitenspiegel (93L, 93R) angibt, wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Seitenkameras (5L, 5R) in dem eingefahrenen Zustand der Seitenspiegel (93L, 93R) angibt, und wobei die Fehler jeweils Montagefehler zwischen einer Richtung der optischen Achsen der Seitenkameras (5L, 5R) in Bezug auf das Fahrzeug (9) und einer Konzeptionsrichtung sind.
- Parametererfassungsverfahren zum Erfassen von Parametern in Zusammenhang mit Kameras (5L, 5R), die in Seitenspiegeln (93L, 93R) eines Fahrzeugs (9) vorgesehen sind, wobei das Verfahren Folgendes umfasst: (a) einen Vorgang des Erfassens (S21) eines ausgefahrenen oder eingefahrenen Zustands der Seitenspiegel (93L, 93R), (b) einen ersten Parametervorgang (S24) zum Erfassen eines ersten Parameters in einem aktuell ausgefahrenen Zustand der Seitenspiegel (93L, 93R), wobei der erste Parameter einen Fehler von Richtungen der optischen Achsen der Kameras (5L, 5R) angibt, und (c) einen zweiten Parametervorgang (S29) zum Erfassen eines zweiten Parameters in einem aktuell eingefahrenen Zustand der Seitenspiegel (93L, 93R), wobei der zweite Parameter einen Fehler von Richtungen der optischen Achsen der Kameras (5L, 5R) angibt, wobei die Fehler jeweils Montagefehler zwischen einer Richtung der optischen Achsen der Seitenkameras (5L, 5R) in Bezug auf das Fahrzeug (9) und einer Konzeptionsrichtung sind.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-189604 | 2012-08-30 | ||
JP2012189604A JP6099333B2 (ja) | 2012-08-30 | 2012-08-30 | 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法 |
PCT/JP2013/070720 WO2014034364A1 (ja) | 2012-08-30 | 2013-07-31 | 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE112013004306T5 DE112013004306T5 (de) | 2015-05-21 |
DE112013004306B4 true DE112013004306B4 (de) | 2019-09-19 |
Family
ID=50183183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112013004306.8T Active DE112013004306B4 (de) | 2012-08-30 | 2013-07-31 | Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren |
Country Status (5)
Country | Link |
---|---|
US (1) | US9931982B2 (de) |
JP (1) | JP6099333B2 (de) |
CN (1) | CN104584541B (de) |
DE (1) | DE112013004306B4 (de) |
WO (1) | WO2014034364A1 (de) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014132680A1 (ja) * | 2013-02-28 | 2014-09-04 | アイシン精機株式会社 | 車両の制御装置、及びプログラム |
KR101519209B1 (ko) * | 2013-08-06 | 2015-05-11 | 현대자동차주식회사 | Avm 영상 제공 장치 및 방법 |
JP6467838B2 (ja) * | 2014-09-26 | 2019-02-13 | アイシン精機株式会社 | 周辺監視装置、及び周辺監視システム |
KR102321522B1 (ko) * | 2014-12-17 | 2021-11-04 | 엘지이노텍 주식회사 | 접이식 사이드 미러 어라운드 뷰 모니터링 시스템 |
JP6507626B2 (ja) * | 2014-12-19 | 2019-05-08 | アイシン精機株式会社 | 車両周辺監視装置 |
JP6528515B2 (ja) * | 2015-04-02 | 2019-06-12 | アイシン精機株式会社 | 周辺監視装置 |
JP2016225865A (ja) * | 2015-06-01 | 2016-12-28 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 俯瞰画像生成装置 |
CN104960473B (zh) * | 2015-07-03 | 2017-11-14 | 上海寅喆计算机科技有限公司 | 视角切换方法及装置 |
DE102015214611A1 (de) * | 2015-07-31 | 2017-02-02 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns |
KR101762726B1 (ko) * | 2015-11-16 | 2017-08-07 | (주)캠시스 | Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템 |
DE102015223175A1 (de) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung |
KR101949438B1 (ko) * | 2016-10-05 | 2019-02-19 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 이를 포함하는 차량 |
KR101954199B1 (ko) | 2016-12-09 | 2019-05-17 | 엘지전자 주식회사 | 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량 |
US10313584B2 (en) * | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
DE102017125101B4 (de) | 2017-10-26 | 2021-03-25 | Mekra Lang Gmbh & Co. Kg | Haltevorrichtung für ein Kraftfahrzeug und Kamera-Monitor-System |
JP6769500B2 (ja) * | 2019-02-13 | 2020-10-14 | 株式会社Jvcケンウッド | 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム |
JP7380435B2 (ja) * | 2020-06-10 | 2023-11-15 | 株式会社Jvcケンウッド | 映像処理装置、及び映像処理システム |
JP2023076996A (ja) * | 2021-11-24 | 2023-06-05 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
US11958419B2 (en) | 2022-02-24 | 2024-04-16 | Stoneridge, Inc. | Collapsible vehicle camera arm assembly |
CN117557660B (zh) * | 2024-01-09 | 2024-04-12 | 北京集度科技有限公司 | 数据处理方法、装置、电子设备以及车辆 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040196368A1 (en) * | 2003-04-02 | 2004-10-07 | Toyota Jidosha Kabushiki Kaisha | Vehicular image display apparatus and vehicular image display method |
US20100066833A1 (en) | 2008-09-16 | 2010-03-18 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP2011015174A (ja) | 2009-07-02 | 2011-01-20 | Fujitsu Ten Ltd | 画像生成装置及び画像表示システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3653783B2 (ja) * | 1995-04-03 | 2005-06-02 | スズキ株式会社 | 車載用画像処理装置及び画像表示システム |
JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
-
2012
- 2012-08-30 JP JP2012189604A patent/JP6099333B2/ja active Active
-
2013
- 2013-07-31 WO PCT/JP2013/070720 patent/WO2014034364A1/ja active Application Filing
- 2013-07-31 CN CN201380044961.6A patent/CN104584541B/zh active Active
- 2013-07-31 US US14/419,777 patent/US9931982B2/en active Active
- 2013-07-31 DE DE112013004306.8T patent/DE112013004306B4/de active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040196368A1 (en) * | 2003-04-02 | 2004-10-07 | Toyota Jidosha Kabushiki Kaisha | Vehicular image display apparatus and vehicular image display method |
US20100066833A1 (en) | 2008-09-16 | 2010-03-18 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP2011015174A (ja) | 2009-07-02 | 2011-01-20 | Fujitsu Ten Ltd | 画像生成装置及び画像表示システム |
Also Published As
Publication number | Publication date |
---|---|
CN104584541A (zh) | 2015-04-29 |
JP2014049848A (ja) | 2014-03-17 |
WO2014034364A1 (ja) | 2014-03-06 |
US20150183371A1 (en) | 2015-07-02 |
US9931982B2 (en) | 2018-04-03 |
JP6099333B2 (ja) | 2017-03-22 |
DE112013004306T5 (de) | 2015-05-21 |
CN104584541B (zh) | 2018-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112013004306B4 (de) | Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren | |
DE112014004305B4 (de) | Bildgenerierungsvorrichtung; Bildanzeigesystem; Bildgenerierungsverfahren und Bildanzeigeverfahren | |
DE102015116599B4 (de) | Elektronische Vorrichtung und Verfahren zum Steuern ihrer Kameras | |
DE60219730T2 (de) | Anzeigevorrichtung zur Fahrunterstützung | |
DE102014116140B4 (de) | Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug | |
EP2603402B1 (de) | Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem | |
DE102018101542A1 (de) | Bordanzeigevorrichtung, Steuerverfahren für Bordanzeigevorrichtung und Steuerprogramm für Bordanzeigevorrichtung | |
DE112017001724T5 (de) | Fahrzeugvorrichtung, fahrzeugprogramm und filterauslegungsprogramm | |
DE112012001022T5 (de) | Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität | |
DE102014116199B4 (de) | Bildverzerrungs-Kompensationsvorrichtung und Betriebsverfahren dafür | |
DE112017001625T5 (de) | Digitalkamera und Anzeigeverfahren für die Digitalkamera | |
EP3281178A1 (de) | Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges | |
DE102017105635A1 (de) | System und verfahren zum erzeugen einer hybriden kameraansicht in einem fahrzeug | |
DE102011013760A1 (de) | Verfahren, Vorrichtung und Computerprogrammprodukt zur Informationsvermittlung mittels erweiterter Realität im Zusammenhang mit einem Straßenfahrzeug | |
DE112013005231T5 (de) | Bordeigener Bildgenerator | |
DE102012203491A1 (de) | Elektronisches Rückspiegel-System | |
DE102012107153A1 (de) | Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera | |
DE102019120636A1 (de) | Periphere anzeigevorrichtung für ein fahrzeug | |
DE112017007333T5 (de) | Albumerzeugungsvorrichtung, albumerzeugungssystem undalbumerzeugungsverfahren | |
EP3730346A1 (de) | Sichtsystem für ein fahrzeug | |
DE102013220477A1 (de) | Verfahren zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung | |
DE102009054544A1 (de) | Handsteuerbild zur Replikation | |
DE102014104070A1 (de) | Panoramafotografierverfahren, Panoramaanzeigeverfahren und Bilderfassungsverfahren | |
EP2350977B1 (de) | Verfahren zur bildfusion von zumindest zwei bildern zu einem panoramabild | |
DE102007016055A1 (de) | Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R082 | Change of representative |
Representative=s name: HL KEMPNER PATENTANWAELTE, SOLICITORS (ENGLAND, DE Representative=s name: HL KEMPNER PATENTANWALT, RECHTSANWALT, SOLICIT, DE |