DE112014004701T5

DE112014004701T5 - Bildanzeigevorrichtung, Bildanzeigesystem, Bildanzeigeverfahren und Programm

Info

Publication number: DE112014004701T5
Application number: DE112014004701.5T
Authority: DE
Inventors: Yasuyoshi SAWADA
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2013-10-11
Filing date: 2014-09-11
Publication date: 2016-07-28
Anticipated expiration: 2034-09-12
Also published as: CN105612552A; DE112014004701B4; US20160193983A1; JP2015076062A; WO2015053040A1; US10857974B2; US11643047B2; CN112165609A; US20210053529A1; JP6347934B2

Abstract

Mehrere Bilder eines Abbildungsgegenstands werden unter Verwendung mehrerer Kameras aufgenommen. Die mehreren Bilder werden synthetisiert, um ein synthetisiertes Bild zu erzeugen, in welchem der Abbildungsgegenstand aus einer virtuellen Perspektive betrachtet wird. Das synthetisierte Bild wird auf einem Bildschirm (83) angezeigt. Wenn eine Nutzerbedienung zum Ändern der Position der virtuellen Perspektive detektiert wird, wird die Position der virtuellen Perspektive in dem synthetisierten Bild geändert.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Technologie zum Anzeigen eines Bilds, das die Umgebung eines Fahrzeugs erkennen lässt.
Hintergrund
Eine Technologie zum Synthetisieren von Bildern, die durch das Aufnehmen der Umgebung eines Fahrzeugs wie einem Kraftfahrzeug erhalten werden, und Anzeigen eines synthetisierten Bilds unter Betrachtung der Umgebung des Fahrzeugs aus einer virtuellen Perspektive, ist bekannt geworden. Durch die Technologie kann ein Nutzer (stellvertretend ein Fahrer) die Umgebung des Fahrzeugs überprüfen, wobei er in dem Fahrzeug sitzt.
Eine Technologie zum Übertragen des Bildes an ein tragbares Endgerät, das der Nutzer mit sich führt, ist auch vorgeschlagen worden (siehe zum Beispiel die Patentliteratur 1). Der Nutzer kann einen Zustand oder eine Möglichkeit eines Diebstahls des Fahrzeugs durch sichtbares Erkennen des Bilds erkennen, selbst wenn sich der Nutzer an einem von dem Fahrzeug entfernten Ort befindet.
Literaturliste
Patentliteratur

Patentliteratur 1: JP-A-2012-121384

Kurzdarstellung der Erfindung
Technisches Problem
Da die Perspektive zum Einsehen der Umgebung des Fahrzeugs beschränkt ist, kann der Nutzer nach der vorgeschlagenen Technologie jedoch nicht immer das umgebende Bild aus einem gewünschten Winkel sichtbar erkennen. Aus diesem Grund, zum Beispiel selbst dann, wenn der Nutzer an dem tragbaren Endgerät ein Bild prüft, das zeigt, dass sich eine verdächtige Person in der unmittelbaren Umgebung des Fahrzeugs nähert, ist nicht klar bestimmt, wer die verdächtige Person ist und was die verdächtige Person gerade tut, so dass stattdessen die Besorgnis des Nutzers zunehmen kann.
Ein Ziel der vorliegenden Erfindung ist es daher, eine virtuelle Perspektive in eine gewünschte Perspektive des Nutzers zu ändern, wenn ein Bild angezeigt wird, das die Umgebung eines Fahrzeugs aus der virtuellen Perspektive erkennen lässt.
Lösung des Problems
Um das vorherige Ziel zu erreichen, ist ein erster Aspekt, der von der vorliegenden Erfindung aufzunehmen ist, eine Bildanzeigevorrichtung einschließlich:
einer Erfassungseinheit, die ausgebildet ist, um mehrere Bilder zu erfassen, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras erhalten werden,
einer Erzeugungseinheit, die ausgebildet ist, um die mehreren Bilder zu synthetisieren und ein synthetisiertes Bild zu erzeugen unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive,
einer Anzeigesteuereinheit, die ausgebildet ist, um das synthetisierte Bild auf einem Bildschirm anzuzeigen, und
eine Detektionseinheit, die ausgebildet ist, um eine Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des auf dem Bildschirm angezeigten synthetisierten Bilds zu detektieren,
wobei die Erzeugungseinheit ausgebildet ist, um die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung zu ändern.
Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand aus einer gewünschten Perspektive des Nutzers einfach anzuzeigen, da die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung geändert wird.
In der Bildanzeigevorrichtung kann das synthetisierte Bild durch ein Bild ausgebildet werden unter Betrachtung eines Bezugspunkts, der an einer bestimmten Position des Abbildungsgegenstands von der Position der virtuellen Perspektive festgelegt ist, ungeachtet der Position der virtuellen Perspektive.
Nach der vorherigen Ausbildung ist es möglich, das synthetisierte Bild bereitzustellen, wobei es einem Nutzer ermöglicht wird, sich zu fühlen, als ob sich der Nutzer bewegt, während er den Abbildungsgegenstand betrachtet.
In der Bildanzeigevorrichtung können die mehreren Kameras an einem Fahrzeug montiert werden. In diesem Fall kann die Erzeugungseinheit ausgebildet werden, um die Position der virtuellen Perspektive auf Grundlage eines Weltkoordinatensystems, in welchem der Bezugspunkt als ein Ursprung bezüglich des Fahrzeugs festgelegt ist, und eines perspektivischen Koordinatensystems, in welchem der Bezugspunkt als ein Ursprung bezüglich der virtuellen Perspektive festgelegt ist, zu ändern.
Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand aus mehreren Richtungen und Positionen anzuzeigen.
Die Bildanzeigevorrichtung kann derart ausgebildet sein, dass eine Position des Bezugspunkts von einem Nutzer festgelegt werden kann.
Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand in einem gewünschten Winkel eines Nutzers anzuzeigen.
In der Bildanzeigevorrichtung kann die Erzeugungseinheit die Position der virtuellen Perspektive um eine vertikale Achse des Weltkoordinatensystems ändern, wenn die Nutzerbedienung eine Bedienung ist, die eine horizontale Richtung auf dem Bildschirm angibt.
Nach der vorherigen Ausbildung ist es möglich, die Position der virtuellen Perspektive um die vertikale Achse des Weltkoordinatensystems durch einen einfachen Vorgang zu ändern.
In der Bildanzeigevorrichtung kann die Erzeugungseinheit die Position der virtuellen Perspektive um eine horizontale Achse des perspektivischen Koordinatensystems ändern, wenn die Nutzerbedienung eine Bedienung ist, die eine vertikale Richtung auf dem Bildschirm angibt.
Nach der vorherigen Ausbildung ist es möglich, die Position der virtuellen Perspektive um die horizontale Achse des perspektivischen Koordinatensystems durch einen einfachen Vorgang zu ändern.
In der Bildanzeigevorrichtung kann die Erzeugungseinheit die Position der virtuellen Perspektive innerhalb eines Bereichs über einer Bodenkontaktfläche des Abbildungsgegenstands ändern, wenn die Position der virtuellen Perspektive um die horizontale Achse des perspektivischen Koordinatensystems geändert wird.
Nach der vorherigen Ausbildung ist es möglich, eine geeignete perspektivische Position festzulegen.
In der Bildanzeigevorrichtung können die mehreren Kameras an einem Fahrzeug montiert werden. In diesem Fall, wenn eine Nutzerbedienung durchgeführt wird, die eine horizontale Richtung auf dem Bildschirm angibt, wobei der Bezugspunkt aus der virtuellen Perspektive unmittelbar über dem Fahrzeug betrachtet wird, kann die Erzeugungseinheit die Position der virtuellen Perspektive um eine Längsachse des Fahrzeugs ändern.
Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand anzuzeigen, während ein Betrachtungswinkel ohne ein unangenehmes Gefühl geändert wird, da die Position der virtuellen Perspektive von einer Position unmittelbar oberhalb des Fahrzeugs zu einer seitlichen Seite geändert wird.
Um das vorherige Ziel zu erreichen, ist ein zweiter Aspekt, der von der vorliegenden Erfindung aufzunehmen ist, ein Bildanzeigesystem einschließlich:
einer Bilderfassungsvorrichtung, und
einer Bildanzeigevorrichtung, die mit der Bilderfassungsvorrichtung kommunizieren kann,
wobei die Bilderfassungsvorrichtung Folgendes beinhaltet:
eine Erfassungseinheit, die ausgebildet ist, um mehrere Bilder zu erfassen, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras erhalten werden,
eine Anforderungsempfangseinheit, die ausgebildet ist, um von der Bildanzeigevorrichtung ein Anforderungssignal zum Anfordern einer Übertragung der mehreren Bilder zu empfangen, und
eine Bildübertragungseinheit, die ausgebildet ist, um die mehreren Bilder auf Grundlage des Anforderungssignals zu übertragen,
wobei die Bildanzeigevorrichtung Folgendes beinhaltet:
eine Anforderungsübertragungseinheit, die ausgebildet ist, um an die Bilderfassungsvorrichtung das Anforderungssignal zum Anfordern einer Übertragung der mehreren Bilder zu übertragen,
eine Bildempfangseinheit, die ausgebildet ist, um die mehreren Bilder von der Bilderfassungsvorrichtung zu empfangen,
eine Erzeugungseinheit, die ausgebildet ist, um die mehreren Bilder zu synthetisieren und ein synthetisiertes Bild unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive zu erzeugen,
eine Anzeigesteuereinheit, die ausgebildet ist, um das synthetisierte Bild auf einem Bildschirm anzuzeigen, und
eine Detektionseinheit, die ausgebildet ist, um eine Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des auf dem Bildschirm angezeigten synthetisierten Bilds zu detektieren, und
wobei die Erzeugungseinheit ausgebildet ist, um die virtuelle Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung zu ändern.
Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand einfach aus einer gewünschten Perspektive eines Nutzers anzuzeigen, da die Position der virtuellen Perspektive des synthetisierten Bilds auf der Grundlage der Nutzerbedienung geändert wird.
In dem Bildanzeigesystem kann die Bilderfassungsvorrichtung an einem Fahrzeug montiert werden. In diesem Fall kann der Abbildungsgegenstand die Umgebung des Fahrzeugs sein. Ebenfalls kann das Bildanzeigesystem eine Sicherheitsvorrichtung aufweisen, die ausgebildet ist, um eine vorherige Erscheinung, die zum Diebstahl des Fahrzeugs führt, zu detektieren. Die Sicherheitsvorrichtung kann eine Überwachungseinheit aufweisen, die ausgebildet ist, um die vorherige Erscheinung zu detektieren, und eine Benachrichtigungseinheit, die ausgebildet ist, die Bildanzeigevorrichtung über das Detektieren der vorherigen Erscheinung zu benachrichtigen.
Nach der vorherigen Ausbildung kann ein Nutzer das Auftreten der vorherigen Erscheinung, die zum Diebstahl des Fahrzeugs führt, erkennen, und schnell die Umgebung des Fahrzeugs durch den Bildschirm prüfen, selbst wenn sich der Nutzer der Bildanzeigevorrichtung an einem von dem Fahrzeug entfernten Ort befindet.
Um das vorherige Ziel zu erreichen, ist ein dritter Aspekt, der von der vorliegenden Erfindung aufzunehmen ist, ein Bildanzeigeverfahren einschließlich:

(a) eines Schritts des Erfassens mehrerer Bilder, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras gewonnen werden;
(b) eines Schritts des Synthetisierens der mehreren Bilder und des Erzeugens eines synthetisierten Bilds unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive;
(c) eines Schritts des Anzeigens des synthetisierten Bilds auf einem Bildschirm; und
(d) eines Schritts des Erfassens einer Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des synthetisierten Bilds, das auf dem Bildschirm angezeigt wird,

Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand einfach aus einer gewünschten Perspektive eines Nutzers anzuzeigen, da die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung geändert wird.
Um das vorherige Ziel zu erreichen, ist ein vierter Aspekt, der von der vorliegenden Erfindung aufzunehmen ist, ein Programm, das ausgebildet ist, um von einem Computer ausgeführt werden zu können, der in einer Bildanzeigevorrichtung enthalten ist, die ausgebildet ist, um ein Bild anzuzeigen. Das Programm ist ausgebildet, um es dem Computer zu ermöglichen, Folgendes auszuführen:

(a) einen Schritt des Erfassens mehrerer Bilder, die durch das Erfassen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras gewonnen werden,
(b) einen Schritt des Synthetisierens der mehreren Bilder und Erzeugens eines synthetisierten Bilds unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive,
(c) einen Schritt des Anzeigens des synthetisierten Bilds auf einem Bildschirm, und
(d) einen Schritt des Detektierens einer Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des auf dem Bildschirm angezeigten synthetisierten Bilds,

Nach der vorherigen Ausbildung ist es möglich, den Abbildungsgegenstand einfach aus einer gewünschten Perspektive eines Nutzers anzuzeigen, da die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung geändert wird.
Kurze Beschreibung der Zeichnungen
1 stellt eine Skizze eines Bildanzeigesystems nach einer ersten veranschaulichenden Ausführungsform dar.
2 stellt ein tragbares Endgerät dar, das für das Bildanzeigesystem aus 1 vorgesehen ist.
3 ist ein Blockdiagramm, das eine Ausbildung des Bildanzeigesystems aus 1 darstellt.
4 stellt eine Anordnung von Kameras dar, die für das Bildanzeigesystem aus 1 vorgesehen ist.
5 ist ein Blockdiagramm, das eine Ausbildung des tragbaren Endgeräts aus 2 darstellt.
6 stellt ein Verfahren zum Erzeugen von umgebenden Bildern und eines synthetisierten Bilds in dem Bildanzeigesystem aus 1 dar.
7 stellt Positionen von virtuellen Perspektiven in dem Bildanzeigesystem aus 1 dar.
8 stellt Positionen der virtuellen Perspektiven in dem Bildanzeigesystem aus 1 dar.
9 stellt die Bewegung der virtuellen Perspektive in dem Bildanzeigesystem aus 1 dar.
10 stellt die Bewegung der virtuellen Perspektive in dem Bildanzeigesystem aus 1 dar.
11 stellt die Bewegung der virtuellen Perspektive in dem Bildanzeigesystem aus 1 dar.
12 stellt die Bewegung der virtuellen Perspektive in dem Bildanzeigesystem aus 1 dar.
13 stellt ein Beispiel eines Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
14 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
15 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
16 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
17 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
18 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
19 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
20 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
21 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
22 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
23 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
24 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 1 dar.
25 ist ein Flussdiagramm, das eine Verarbeitungssequenz darstellt, die von dem Bildanzeigesystem aus 1 auszuführen ist.
26 ist ein Flussdiagramm, das eine Verarbeitungssequenz darstellt, die von dem Bildanzeigesystem aus 1 auszuführen ist.
27 ist ein Blockdiagramm, das eine Ausbildung des tragbaren Endgeräts des Bildanzeigesystems nach einer zweiten veranschaulichenden Ausführungsform darstellt.
28 stellt die Bewegung der virtuellen Perspektive in dem Bildanzeigesystem aus 27 dar.
29 stellt die Bewegung der virtuellen Perspektive in dem Bildanzeigesystem aus 27 dar.
30 stellt ein Beispiel des Anzeigebilds in dem Bildanzeigesystem aus 27 dar.
31 ist ein Flussdiagramm, das eine Verarbeitungssequenz darstellt, die von dem Bildanzeigesystem aus 27 auszuführen ist.
32 ist ein Flussdiagramm, das eine Verarbeitungssequenz darstellt, die von dem Bildanzeigesystem aus 27 auszuführen ist.
33 stellt eine abgeänderte Ausführungsform des Bildanzeigesystems dar.
Beschreibung von Ausführungsformen
Im Folgenden werden veranschaulichende Ausführungsformen der vorliegenden Erfindung bezüglich der Zeichnungen beschrieben.
<1. Erste veranschaulichende Ausführungsform>
<1-1. Skizze>
1 stellt eine Skizze eines Bildanzeigesystem 1 nach einer veranschaulichenden Ausführungsform dar. Das Bildanzeigesystem 1 weist eine Bilderfassungsvorrichtung 3 und Kameras 4 (4F, 4B, 4L, 4R), die an einem Fahrzeug 2 montiert sind, auf. Das Bildanzeigesystem 1 ist ein System zum Anzeigen von umgebenden Bildern des Fahrzeugs 2, welche von den Kameras 4 (4F, 4B, 4L, 4R) durch die Bilderfassungsvorrichtung 3 zu erfassen sind, auf einem tragbaren Endgerät 8. Das tragbare Endgerät 8 wird von einem Nutzer mitgeführt, der vom Fahrzeug 2 entfernt ist.
In dem System ist das Fahrzeug 2 mit einer Sicherheitsvorrichtung 5 montiert, die einen Überwachungssensor aufweist. Der Überwachungssensor arbeitet, wenn sich eine verdächtige Person übermäßig dem Fahrzeug 2 nähert oder dem Fahrzeug 2 körperlichen Schaden zufügt, und die Sicherheitsvorrichtung 5 teilt dem Nutzer mit, dass der Überwachungssensor gearbeitet hat. Der Nutzer, der eine Benachrichtigung von der Sicherheitsvorrichtung 5 erhalten hat, fordert die Bilderfassungsvorrichtung 3 auf, ein Bild zu übertragen, und das umgebende Bild des Fahrzeugs 2 wird auf dem tragbaren Endgerät 8 angezeigt. Zu diesem Zeitpunkt ändert der Nutzer freiwillig einen Bereich, innerhalb dessen das Bild angezeigt wird, und bezieht sich auf eine umgebende Situation des Fahrzeugs 2 in einem gewünschten Winkel.
2 stellt ein Beispiel des tragbaren Endgeräts 8 dar, das ein Display 83 aufweist, das ausgebildet ist, um das umgebende Bild des Fahrzeugs 2 anzuzeigen. Der Nutzer kann einen Anzeigebereich des Bilds ändern und einen betroffenen Teil genau überprüfen, indem er ein Touchpanel 83a des Displays 83 bedient. Der Nutzer bezieht sich auf das umgebende Bild des Fahrzeugs 2 und kann aus der Ferne einen Alarm des Fahrzeugs 2 auslösen oder ein Sicherheitsunternehmen benachrichtigen, je nach Bedarf. Durch Verwenden des Bildanzeigesystems 1 kann der Nutzer das Fahrzeug 2 während der gesamten Zeit sichern, selbst wenn sich der Nutzer an einer vom Fahrzeug 2 entfernten Stelle befindet.
<1-2. Ausbildung>
In der Folge werden die jeweiligen Vorrichtungen, die an dem Fahrzeug 2 montiert sind und das Bildanzeigesystem 1 ausbilden, bezüglich 3 beschrieben. Das Fahrzeug 2 weist die Bilderfassungsvorrichtung 3, die Kameras 4, die Sicherheitsvorrichtung 5 und eine Alarmeinheit 6 auf.
Die Bilderfassungsvorrichtung 3 ist eine elektronische Steuervorrichtung, die ausgebildet ist, um Bilddaten von den Kameras 4 zu empfangen, die an dem Fahrzeug montiert sind, und die empfangenen Bilddaten zu dem tragbarem Endgerät 8 zu übertragen. Die Bilderfassungsvorrichtung 3 weist eine Steuereinheit 31, eine Kommunikationseinheit 32 und eine Speichereinheit 33 auf.
Die Steuereinheit 31 ist ein Mikrorechner, der eine CPU, ein RAM und ein ROM aufweist. Die Steuereinheit 31 ist mit den anderen Ausbildungen der Bilderfassungsvorrichtung 3 verbunden und ist ausgebildet, um Gesamtbetriebe der Vorrichtung zu steuern. Die Steuereinheit 31 weist eine Anforderungsempfangseinheit 31a, eine Kamerasteuereinheit 31b, eine Bilderfassungseinheit 31c, eine Bildübertragungseinheit 31d und eine Diebstahlschutzeinheit 31e auf.
Die Anforderungsempfangseinheit 31a ist ausgebildet, um ein Anforderungssignal zum Anfordern von Betrieben und Aufnehmen des Starts der Kameras 4 von dem Nutzer, der das tragbare Endgerät 8 hat, zu empfangen.
Wenn die Anforderungsempfangseinheit 31a das Anforderungssignal zum Aufnehmen des Starts von dem Nutzer empfängt, überträgt die Kamerasteuereinheit 31b ein Betriebssignal zu den Kameras 4, um die Kameras 4 dazu zu bringen, die Aufnahme zu starten.
Die Bilderfassungseinheit 31c ist ausgebildet, um Bilddaten zu erfassen, die von den Kameras 4 übertragen werden, und die erfassten Bilddaten in ein Format zu wandeln, das in der Steuereinheit 31 verarbeitet werden kann.
Die Bildübertragungseinheit 31d ist ausgebildet, um die Bilddaten, welche von den Kameras 4 von der Bilderfassungseinheit 31c erfasst werden, an das tragbare Endgerät 8 durch die Kommunikationseinheit 32 zu übertragen.
Die Diebstahlschutzeinheit 31e ist ausgebildet, um ein Betriebssignal an die Alarmeinheit 6 zu übertragen, um die Alarmeinheit 6 dazu zu bringen, einen Alarm auszugeben. Dadurch wird verhindert, dass das Fahrzeug 2 gestohlen wird. In der Zwischenzeit kann die Diebstahlschutzeinheit 31e auch ausgebildet werden, um die Alarmeinheit 6 dazu zu bringen, einen Alarm auszugeben und eine (nicht gezeigte) Motorsteuervorrichtung derart zu steuern, dass ein Motor nicht betrieben wird. Ebenfalls kann die Diebstahlschutzeinheit 31e ausgebildet werden, um ein Sicherheitsunternehmen durch die Kommunikationseinheit 32 zu benachrichtigen. D. h., die Diebstahlschutzeinheit 31e kann ausgebildet sein, um zu verhindern, dass das Fahrzeug 2 gestohlen wird, indem eine Vorrichtung verwendet wird, die für das Fahrzeug 2 vorgesehen ist.
Die Kommunikationseinheit 32 hat eine Kommunikationsfunktion, die eine drahtlose Verbindung verwendet, und ist ausgebildet, um eine Informationsverbindung mit dem tragbaren Endgerät 8 durch ein Netzwerk 7 vorzunehmen. Als zu verwendende Informationskommunikationstechnologie kann beispielhaft WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution) o. Ä. genannt werden.
Die Speichereinheit 33 ist ein Speicher, der ausgebildet ist, um darin Daten zu speichern. Zum Beispiel kann ein nichtflüchtiges Speichermedium wie ein EEPROM (Electrical Erasable Programmable Read-Only memory), ein Flash-Speicher, ein Festplattenlaufwerk, das eine Magnetplatte aufweist, o. Ä. genannt werden. Ebenfalls weist die Speichereinheit 33 ein Programm 33a auf.
Das Programm 33a ist Firmware, die von der Steuereinheit 31 ausgelesen wird und ausgeführt wird, um die Bilderfassungsvorrichtung 3 durch die Steuereinheit 31 zu steuern.
Im Folgenden werden die Kameras 4 beschrieben. Die Kameras 4 umfassen eine vordere Kamera 4F, eine hintere Kamera 48, eine linke seitliche Kamera 4L und eine rechte seitliche Kamera 4R. Die Kameras 4F, 4B, 4L, 4R haben jeweils eine Linse und ein Bildgebungselement und sind an unterschiedlichen Positionen des Fahrzeugs 2 angeordnet.
4 stellt Positionen dar, an welchen die Kameras 4 (4F, 4B, 4L, 4R) an dem Fahrzeug 2 angeordnet sind, und Richtungen, in welchen optische Achsen der jeweiligen Kameraseite angeordnet sind. Die vordere Kamera 4F ist an einem vorderen Endabschnitt des Fahrzeugs 2 vorgesehen, und eine optische Achse 4Fa davon ist in eine Geradeausrichtung des Fahrzeugs 2 gerichtet. Die hintere Kamera 4B ist an einem hinteren Endabschnitt des Fahrzeugs 2 vorgesehen, und eine optische Achse 4Ba davon ist in eine Gegenrichtung zu der Geradeausrichtung des Fahrzeugs 2, d. h. eine Rückwärtsrichtung, gerichtet. Die linke seitliche Kamera 4L ist an einem linken Außenspiegel ML vorgesehen, und eine optische Achse 4La davon ist in eine linke Richtung des Fahrzeugs 2 gerichtet (eine Richtung senkrecht zu der Geradeausrichtung). Die rechte seitliche Kamera 4R ist an einem rechten Außenspiegel MR vorgesehen, und eine optische Achse 4Ra davon ist in eine Rechtsrichtung des Fahrzeugs 2 (eine Richtung senkrecht zu der Geradeausrichtung) gerichtet.
Die jeweiligen Kameras 4F, 4B, 4L, 4R sind ausgebildet, um die Umgebung des Fahrzeugs 2 in verschiedenen Richtungen aufzunehmen und elektronisch aufgenommene Bilder zu erfassen. Die Linse der Kamera 4 hat eine Brennweite, die kürzer als eine Standardlinse ist, und einen Sichtwinkel θ von 180 Grad oder mehr. Aus diesem Grund ist es möglich, die gesamte Umgebung des Fahrzeugs 2 durch Verwenden der vier Kameras 4 aufzunehmen.
Wie in 3 gezeigt ist, ist die Sicherheitsvorrichtung 5 eine Vorrichtung, die ausgebildet ist, um eine vorherige Erscheinung, die zu einem Diebstahl des Fahrzeugs 2 oder eines Artikels in dem Fahrzeug 2 führt, zu detektieren, und dem tragbaren Endgerät 8, das der Nutzer des Fahrzeugs 2 mit sich führt, durch eine E-Mail mitzuteilen, das eine Diebstahlangelegenheit aufgetreten ist. Die Sicherheitsvorrichtung 5 weist einen Überwachungssensor 5a und eine Mail-Benachrichtigungseinheit 5b auf.
Der Überwachungssensor 5a ist ein Sensor, der ausgebildet ist, um eine vorherige Erscheinung, die zu einem Diebstahl des Fahrzeugs 2 oder eines Artikels in dem Fahrzeug 2 führt, zu detektieren. Zum Beispiel kann ein Vibrationssensor, der ausgebildet ist, um Vibrationen zu detektieren, die in dem Fahrzeug 2 erzeugt werden, ein Glasbruchsensor, der ausgebildet ist, um das Brechen eines Glases des Fahrzeugs 2 zu detektieren, ein Neigungssensor, der ausgebildet ist, um eine Neigung des Fahrzeugs 2 zu detektieren, die durch einen Wagenheber oder einen Kran verursacht wurde, ein Einbruchsensor, der ausgebildet ist, um einen Einbrecher, der in das Fahrzeug 2 einbricht, zu detektieren, o. Ä. genannt werden.
Wenn der Überwachungssensor 5a die vorherige Erscheinung, die zu dem Diebstahl führt, detektiert, teilt die Mail-Benachrichtigungseinheit 5b dem Nutzer mit, dass die Diebstahlangelegenheit aufgetreten ist. Insbesondere ist die Mail-Benachrichtigungseinheit 5b ausgebildet, um eine E-Mail zu erzeugen, die einen Inhalt aufweist, der angibt, dass die Diebstahlangelegenheit aufgetreten ist, und um die E-Mail an das tragbare Endgerät 8 zu übermitteln, das der Nutzer mit sich führt. Anstelle von Textinformationen, die die E-Mail verwendet, kann die Benachrichtigung durch Sprachinformationen vorgenommen werden. In diesem Fall kann das tragbare Endgerät 8 ausgebildet sein, um die Sprachinformationen durch Sprache zu lesen. Wenn die Sicherheitsvorrichtung 5 mehrere Überwachungssensoren aufweist, ist die Mail-Benachrichtigungseinheit 5b vorzugsweise ausgebildet, um Informationen, welche angeben, dass der Überwachungssensor die vorherige Erscheinung detektiert hat, die zu dem Diebstahl führt, in die E-Mail zu integrieren. Dies dient dazu, es dem Nutzer zu ermöglichen, die Situation des Fahrzeugs 2 einfach zu erkennen.
Die Alarmeinheit 6 ist eine Vorrichtung, die ausgebildet ist, um eine Stimme zur Warnung an die Umgebung auszugeben. Die Alarmeinheit 6 kann zum Beispiel ein Lautsprecher oder eine Hupe sein, die an dem Fahrzeug 2 montiert sind. Die Alarmeinheit 6 kann eine Einheit sein, die ausgebildet ist, um Licht auszugeben, wie ein Warnblinker, der an dem Fahrzeug 2 montiert ist, zusätzlich zu der Einheit, die ausgebildet ist, um eine Stimme zu erzeugen. Die Alarmeinheit 6 kann zum Beispiel ausgebildet sein, um zur Warnung die Umgebung aufmerksam zu machen.
Das tragbare Endgerät 8 ist ein Informationsendgerät, das der Nutzer mit sich führt, und das eine Funktion zum Anzeigen eines Bilds, eine Verbindungsfunktion zur Verbindung mit einem Informationsnetzwerk o. Ä. aufweist. Zum Beispiel kann das tragbare Endgerät 8 ein tragbares Telefon oder ein Smartphone sein. 5 stellt eine Ausbildung des tragbaren Endgeräts 8 dar. Das tragbare Endgerät 8 weist eine Steuereinheit 81, eine Kommunikationseinheit 82, das Display 83 und eine Speichereinheit 84 auf.
Die Steuereinheit 81 ist ein Mikrorechner, der eine CPU, ein RAM und ein ROM aufweist. Die Steuereinheit 81 ist mit den anderen Ausbildungen des tragbaren Endgeräts 8 verbunden und ist ausgebildet, um Gesamtbetriebe des tragbaren Endgeräts 8 zu steuern. Die jeweiligen Funktionen der Steuereinheit 81 werden später beschrieben.
Die Kommunikationseinheit 82 hat eine Kommunikationsfunktion, die eine drahtlose Verbindung verwendet, und ist ausgebildet, um eine Informationsverbindung mit der Bilderfassungsvorrichtung 3 und der Sicherheitsvorrichtung 5 durch das Netzwerk 7 vorzunehmen. Als die zu verwendende drahtlose Verbindungstechnologie kann beispielhaft WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution) o. Ä. genannt werden.
Das Display 83 ist ausgebildet, um eine Vielfalt an Informationen wie Buchstaben, Figuren o. Ä. anzuzeigen und die Informationen dem Nutzer sichtbar zu präsentieren. Das Display 83 ist eine Anzeigevorrichtung wie zum Beispiel ein Flüssigkristall-Monitor, ein Plasma-Display, ein organisches EL-Display o. Ä. Das Display 83 weist das Touchpanel 83a auf.
Das Touchpanel 83a ist ausgebildet, um das Berühren eines Nutzers eines Schaltflächenbereichs, der auf dem Display 83 angezeigt wird, zu detektieren, und die detektierte Positionsinformation an die Steuereinheit 81 zu übertragen.
Die Speichereinheit 84 ist ein Speicher, der ausgebildet ist, um darin Daten zu speichern. Zum Beispiel können ein nichtflüchtiges Speichermedium wie ein EEPROM (Electrical Erasable Programmable Read-Only memory), ein Flash-Speicher, ein Festplattenlaufwerk, das eine Magnetplatte aufweist, o. Ä. genannt werden. Ebenfalls weist die Speichereinheit 84 Fahrzeugkarosserie-Bilddaten 84a und ein darin gespeichertes Programm 84b auf.
Die Fahrzeugkarosserie-Bilddaten 84a sind Bilddaten, die ein äußeres Erscheinungsbild des Fahrzeugs 2 darstellen. Die Fahrzeugkarosserie-Bilddaten 84a beinhalten Bilddaten, die vorbereitet werden, während von einem Fall ausgegangen wird, in welchem das Fahrzeug 2 aus sämtlichen Winkeln von Außen betrachtet wird. Die Fahrzeugkarosserie-Bilddaten 84a können von einem externen Server durch das Netzwerk 7 erfasst werden, nachdem die Bilderfassungsvorrichtung 3 an dem Fahrzeug 2 befestigt wird, anstelle eines Speicherns derselben im Vorhinein in dem tragbaren Endgerät 8. In diesem Fall können die Fahrzeugkarosserie-Bilddaten 84a, die mit der äußeren Erscheinung des Fahrzeugs 2 übereinstimmen, an dem die Bilderfassungsvorrichtung 3 befestigt ist, erfasst werden. Der Nutzer kann die Fahrzeugkarosserie-Bilddaten 84a durch das Übertragen eines Fahrzeugnamens o. Ä. des Fahrzeugs 2 an den externen Server von dem tragbaren Endgerät 8 anfordern.
Das Programm 84b ist Firmware, die von der Steuereinheit 81 ausgelesen wird und derart ausgeführt wird, um das tragbare Endgerät 8 durch die Steuereinheit 81 zu steuern.
Es werden die jeweiligen Funktionen der Steuereinheit 81 beschrieben. Die Steuereinheit 81 weist eine Bilderfassungseinheit 81a, eine Bilderzeugungseinheit 81b, eine Anzeigesteuereinheit 81c und eine Betriebserfassungseinheit 81d auf.
Die Bilderfassungseinheit 81a ist ausgebildet, um die Bilddaten zu erfassen, die von der Bilderfassungsvorrichtung 3 übertragen werden, und die erfassten Bilddaten in ein Format zu wandeln, das in der Steuereinheit 81 verarbeitet werden kann. D. h., die Bilderfassungseinheit 81a ist ausgebildet, um die mehreren Bilder zu erfassen, die durch das Aufnehmen des Abbildungsgegenstands unter Verwendung der mehreren Kameras 4 erhalten werden.
Die Bilderzeugungseinheit 81b ist ausgebildet, um die mehreren aufgenommenen Bilder, die von den Kameras 4 erfasst werden, zu synthetisieren, und ein umgebendes Bild zu erzeugen, das die Umgebung des Fahrzeugs 2 unter Betrachtung aus einer virtuellen Perspektive erkennen lässt. Die virtuelle Perspektive ist eine Perspektive herabsehend auf das Fahrzeug 2 aus einer Position außerhalb des Fahrzeugs 2. Die Bilderzeugungseinheit 81b ist ausgebildet, um ein Fahrzeugkarosseriebild, das das Fahrzeug 2 aus der virtuellen Perspektive betrachtet erkennen lässt, auf dem umgebenden Bild zu überlagern. Ein Verfahren zum Erzeugen des umgebenden Bilds durch die Bilderzeugungseinheit 81b und ein Verfahren zum Festlegen der virtuellen Perspektive werden im Folgenden beschrieben.
Die Anzeigesteuereinheit 81c ist ausgebildet, um Daten wie ein Bild, Buchstaben o. Ä. auf dem Display 83 anzuzeigen. Die Anzeigesteuereinheit 81c ist auch ausgebildet, um ein auf dem Display 83 anzuzeigendes Bild o. Ä. auf Grundlage einer Berührungspositionseingabe in dem Touchpanel 83a zu ändern.
Die Betriebsdetektionseinheit 81d ist ausgebildet, um eine Nutzerbedienung auf dem Touchpanel 83a zu detektieren. Insbesondere ist die Betriebsdetektionseinheit 81d ausgebildet, um auf Grundlage der Berührungspositionsinformationen, die von dem Touchpanel 83a übertragen werden, zu detektieren, in welche Richtung sich eine Fingerspitze eines Nutzers auf dem Touchpanel 83a bewegt, nachdem sie den Touchpanel 83a berührt.
Als Nutzerbedienung auf dem Touchpanel 83a kann eine Wischbedienung mit einem Berühren und Gleiten der Fingerspitze auf dem Touchpanel 83a, eine Zusammenführbedienung zum Verkürzen eines Bereichs zwischen einer Fingerspitze und einer anderen Fingerspitze, wobei die beiden Fingerspitzen das Touchpanel 83a berühren, und eine Auseinanderbewegungsbedienung zum Verbreitern eines Bereichs zwischen einer Fingerspitze und einer anderen Fingerspitze, wobei die beiden Fingerspitzen das Touchpanel 83a berühren, beispielhaft genannt werden.
Die Benachrichtigungseinheit 81e ist ausgebildet, um ein vorbestimmtes Signal zu einer Vorrichtung außerhalb des tragbaren Endgeräts 8 durch die Kommunikationseinheit 82 zu übertragen. Als das durch die Benachrichtigungseinheit 81e zu übertragende Signal kann ein Signal zum Auffordern der Bilderfassungsvorrichtung, die Bilddaten zu übertragen, beispielhaft genannt werden.
<1-3. Erzeugen eines umgebenden Bilds und eines synthetisierten Bilds>
Im Folgenden wird ein Verfahren beschrieben, durch welches die Bilderzeugungseinheit 81b ein umgebendes Bild AP, das einen umgebenden Bereich des Fahrzeugs 2 erkennen lässt, und ein synthetisiertes Bild CP, dem das Fahrzeugkarosseriebild 10 auf dem umgebenden Bild AP überlagert ist, erzeugt. 6 stellt ein Verfahren dar, durch welches die Bilderzeugungseinheit 81b das umgebende Bild AP erzeugt.
Zunächst werden jeweils vier Bilder AP(F), AP(B), AP(L), AP(R) erfasst, die die vordere, hintere, linke und rechte Seite des Fahrzeugs 2 erkennen lassen, wenn die vordere Kamera 4F, die hintere Kamera 4B, die linke seitliche Kamera 4L und die rechte seitliche Kamera 4R die Umgebung des Fahrzeugs 2 aufnehmen. Die vier Bilder beinhalten die Bilddaten, die die gesamte Umgebung des Fahrzeugs 2 repräsentieren.
Die Bilderzeugungseinheit 81b projiziert die Daten (Werte von jeweiligen Pixeln), die in den vier Bildern AP(F), AP(B), AP(L), AP(R) enthalten sind, auf eine Projektionsebene TS, welche eine dreidimensionale gekrümmte Fläche in einem virtuellen dreidimensionalen Raum ist. Die Projektionsebene TS hat zum Beispiel im Wesentlichen die Form einer Halbkugel (einer Schale). Ein zentraler Teil (ein unterer Teil der Schale) der Projektionsebene TS ist als eine Position des Fahrzeugs 2 definiert. Ebenfalls sind jeweils Teile, mit Ausnahme des zentralen Teils der Projektionsebene TS, mit einem der Bilder AP(F), AP(B), AP(L), AP(R) verknüpft.
Die Bilderzeugungseinheit 81b projiziert die umgebenden Bilder AP(F), AP(B), AP(L), AP(R) auf die Teile mit Ausnahme des zentralen Teils der Projektionsebene TS. Die Bilderzeugungseinheit 81b projiziert das Bild AP(F) der vorderen Kamera 4F auf einen Teil der Projektionsebene TS, welcher der Vorderseite des Fahrzeugs 2 entspricht, und projiziert das Bild AP(B) der hinteren Kamera 4B auf einen Teil der Projektionsebene TS, welcher der Hinterseite des Fahrzeugs 2 entspricht. Ebenfalls projiziert die Bilderzeugungseinheit 81b das Bild AP(L) der linken seitlichen Kamera 4L auf einen Teil der Projektionsebene TS, welcher der linken Seite des Fahrzeugs 2 entspricht, und das Bild AP(R) der rechten seitlichen Kamera 4R auf einen Teil der Projektionsebene TS, welcher der rechten Seite des Fahrzeugs 2 entspricht. Dadurch wird das umgebende Bild AP erzeugt, das die gesamten umgebenden Bereiche des Fahrzeugs 2 erkennen lassen.
Dann legt die Bilderzeugungseinheit 81b eine virtuelle Perspektive VP fest, die von einer beliebigen perspektivischen Position in dem dreidimensionalen Raum in eine beliebige Sichtlinie gerichtet ist. Dann schneidet die Bilderzeugungseinheit 81b Bilddaten, die auf einen Bereich der Projektionsebene TS projiziert werden, welcher in einem Betrachtungswinkel von der festgelegten virtuellen Perspektive VP aus gesehen eingeschlossen ist. Durch die geschnittenen Bilddaten wird das umgebende Bild AP erzeugt, das die umgebenden Bereiche des Fahrzeugs 2 von der virtuellen Perspektive VP aus gesehen erkennen lässt.
Die Bilderzeugungseinheit 81b liest die Fahrzeugkarosseriebilddaten aus der Speichereinheit 84 aus und erzeugt das Fahrzeugkarosseriebild 10 des Fahrzeugs 2 aus der virtuellen Perspektive VP aus gesehen. Dann synthetisiert die Bilderzeugungseinheit 81b das Fahrzeugkarosseriebild 10 in das umgebende Bild AP, das die umgebenden Bereiche des Fahrzeugs 2 aus der virtuellen Perspektive VP aus gesehen, erkennen lässt, wodurch ein synthetisiertes Bild CP erzeugt wird.
Wenn eine virtuelle Perspektive VPt, von welcher eine perspektivische Position unmittelbar oberhalb des Fahrzeugs 2 festgelegt wird, und die Sichtlinie unmittelbar nach unten gerichtet wird, festgelegt wird, erzeugt die Bilderzeugungseinheit 81b ein synthetisiertes Bild CPt herabsehend auf das Fahrzeug 2 und die umgebenden Bereiche des Fahrzeugs 2 unter Verwendung der umgebenden Bilder AP(F), AP(B), AP(L), AP(R) und des Fahrzeugkarosseriebilds 10. Das synthetisierte Bild CPt ist ein Bild, das auf das Fahrzeug 2 von unmittelbar oberhalb des Fahrzeugs herabsieht und die umgebenden Bereiche des Fahrzeugs 2 repräsentiert.
Wenn eine virtuelle Perspektive VPb, von welcher eine perspektivische Position an einer vorderen oberen Position des Fahrzeugs 2 festgelegt wird, und die Sichtlinie in eine hintere untere Richtung des Fahrzeugs 2 gerichtet wird, festgelegt wird, erzeugt die Bilderzeugungseinheit 81b auch ein synthetisiertes Bild CPb herabsehend auf das Fahrzeug 2 und die umgebenden Bereiche des Fahrzeugs 2 unter Verwendung der umgebenden Bilder AP(B), AP(L), AP(R) und des Fahrzeugkarosseriebilds 10. Das synthetisierte Bild CPb ist ein Bild, das auf die Hinterseite des Fahrzeugs 2 von einer vorderen oberen Seite heruntersieht und den hinteren Bereich des Fahrzeugs 2 repräsentiert.
Wenn eine virtuelle Perspektive VP1, von welcher eine perspektivische Position an einer schrägen linken hinteren und oberen Position des Fahrzeugs 2 festgelegt wird, und die Sichtlinie in eine vordere untere Richtung des Fahrzeugs 2 gerichtet wird, festgelegt wird, erzeugt die Bilderzeugungseinheit 81b auch ein synthetisiertes Bild CP1 herabsehend auf das Fahrzeug 2 und die umgebenden Bereiche des Fahrzeugs 2 unter Verwendung der umgebenden Bilder AP(F), AP(L), AP(R) und des Fahrzeugkarosseriebilds 10. Das synthetisierte Bild CP1 ist ein Bild, das auf die Vorderseite des Fahrzeugs 2 aus einer schrägen linken hinteren und oberen Richtung herabsieht und den linken Bereich des Fahrzeugs 2 repräsentiert.
<1-4. Festlegen der virtuellen Perspektive>
Im Folgenden wird ausführlich ein Verfahren beschrieben, durch welches die Bilderzeugungseinheit 81b die virtuelle Perspektive VP festlegt. 7 bis 12 stellen ein Verfahren dar, durch welches die Bilderzeugungseinheit 81b die virtuelle Perspektive VP festlegt. In den jeweiligen Zeichnungen sind eine Richtung und eine Ausrichtung geeignet angegeben unter Verwendung eines dreidimensionalen kartesischen XYZ-Koordinatensystems cc. Die jeweiligen Koordinatenachsen des kartesischen Koordinatensystems cc sind relativ fixiert bezüglich des Fahrzeugs 2. D. h. eine Links-Rechts-Richtung des Fahrzeugs 2 ist die X-Achsen-Richtung, eine Längsrichtung des Fahrzeugs 2 ist die Y-Achsen-Richtung, und die vertikale Richtung ist die Z-Achsen-Richtung. Ebenfalls ist die rechte Seite des Fahrzeugs 2 die +X-Seite, die vordere Seite des Fahrzeugs 2 die +Y-Seite, und die vertikal obere Seite die +Z-Seite. Daher ist die linke Seite des Fahrzeugs 2 die –X-Seite, die hintere Seite des Fahrzeugs 2 die –Y-Seite, und die vertikal untere Seite die –Z-Seite.
7 stellt das Fahrzeug 2 aus der vertikal oberen Richtung (+Z-Seite) gesehen dar und veranschaulicht auch fünf virtuelle Bezugsperspektiven VPa (VPat, VPaf, VPab, VPal, VPar) der virtuellen Perspektiven VP.
Die fünf virtuellen Bezugsperspektiven VPa beinhalten jeweils fünf Bezugspositionen (VLt, VLf, VLb, VLl, VLr), fünf Bewegungsmittelpunkte RC (RCt, RCf, RCb, RCl, RCr) und fünf Bezugsrichtungen (VDt, VDf, VDb, VDtl, VDr).
Die Bezugsposition VLt liegt unmittelbar oberhalb des Fahrzeugs 2. Die Bezugsposition VLf liegt unmittelbar oberhalb des Fahrzeugs 2 und an einer weiter vorne gelegenen Position (+Y-Seite). Die Bezugsposition VLb liegt unmittelbar oberhalb des Fahrzeugs 2 und an einer weiter hinten gelegenen Position (–Y-Seite). Die Bezugsposition VLl liegt an einer schrägen linken hinteren Position des Fahrzeugs 2 (–Y-Seite und –X-Seite). Die Bezugsposition VLr liegt an einer schrägen rechten hinteren Position des Fahrzeugs 2 (+X-Seite und –Y-Seite). Die Höhen (+Z-Seite) der jeweiligen Bezugspositionen VL sind dieselben von einer Bodenkontaktfläche GR, auf welcher das Fahrzeug 2 berührt wird. Die Höhe ist zum Beispiel doppelt so hoch wie das Fahrzeug.
8 stellt das Fahrzeug 2 von der rechten Seite (+X-Seite) in der horizontalen Richtung gesehen dar und veranschaulicht den Bewegungsmittelpunkt RC und die Bezugsrichtung VD. Der Bewegungsmittelpunkt RC ist ein Bezugspunkt, der zu einem Mittelpunkt wird, wenn sich die virtuelle Perspektive VP bewegt. Daher ist die Sichtlinie die gesamte Zeit zu dem Bewegungsmittelpunkt RC gerichtet, selbst wenn sich die perspektivische Position der virtuellen Perspektive VP bewegt. Nach dieser Ausbildung ist es möglich, ein synthetisiertes Bild bereitzustellen, das es dem Nutzer ermöglicht, sich zu fühlen, als ob sich der Nutzer bewegt, während er den Abbildungsgegenstand sieht. Ein Verfahren zum Bewegen der Position der virtuellen Perspektive VP unter Verwendung des Bewegungsmittelpunkts RC wird später beschrieben.
Der Bewegungsmittelpunkt RCt ist ein spezifischer Punkt, der an einer spezifischen Position des Fahrzeugs 2 festgelegt ist. Der Bewegungsmittelpunkt RCt ist an einem Mittelpunkt des Fahrzeugs 2 positioniert. Der Bewegungsmittelpunkt RCf ist an einem Mittelpunkt des Fahrzeugs 2 in der Links-Rechts-Richtung und an einer weiter vorne liegenden Position (+Y-Seite) als das vordere Ende des Fahrzeugs 2 positioniert. Der Bewegungsmittelpunkt RCb ist an dem Mittelpunkt des Fahrzeugs 2 in der Links-Rechts-Richtung und an einer weiter hinten liegenden Position (–Y-Seite) als das hintere Ende des Fahrzeugs 2 positioniert. Der Bewegungsmittelpunkt RCl ist an einem Mittelpunkt des Fahrzeugs 2 in der Längsrichtung und an einer weiter außen liegenden Position (–X-Seite) als die linke Seite des Fahrzeugs 2 positioniert. Der Bewegungsmittelpunkt RCr ist an dem Mittelpunkt des Fahrzeugs 2 in der Längsrichtung und an einer weiter außen liegenden Position (+X-Seite) als die rechte Seite des Fahrzeugs 2 positioniert. Eine Höhe (+Z-Seite) jedes Bewegungsmittelpunkts RC ist eine Höhe h einer Augenlinie des Nutzers, der in dem Fahrzeug 2 sitzt.
Die Bezugsrichtung VDt ist in eine Richtung (–Z-Seite) von der Bezugsposition VLt zu dem Bewegungsmittelpunkt RCt gerichtet. Die Bezugsrichtung VDf ist in eine Richtung (–Z-Seite und +Y-Seite) von der Bezugsposition VLf zu dem Bewegungsmittelpunkt RCf gerichtet. Die Bezugsrichtung VDb ist in eine Richtung (–Z-Seite und –Y-Seite) von der Bezugsposition VLb zu dem Bewegungsmittelpunkt RCb gerichtet. Die Bezugsrichtung VDI ist in eine Richtung (–Z-Seite und +Y-Seite) von der Bezugsposition VLl zu dem Bewegungsmittelpunkt RCl gerichtet. Die Bezugsrichtung VDr ist in eine Richtung (–Z-Seite und +Y Seite) von der Bezugsposition VLr zu dem Bewegungsmittelpunkt RCr gerichtet.
So ist die virtuelle Perspektive VP eine Perspektive, die den Bewegungsmittelpunkt RC von der jeweiligen Position VL betrachtet. Ebenfalls ist eine virtuelle Bezugsperspektive VPat eine Perspektive, die auf das Fahrzeug 2 unmittelbar oberhalb des Fahrzeugs (Draufsicht) herabsieht. Eine virtuelle Bezugsperspektive VPaf ist eine Perspektive, die die Vorderseite des Fahrzeugs 2 aus einer vorderen oberen Richtung (vordere Ansicht) betrachtet. Eine virtuelle Bezugsperspektive VPab ist eine Perspektive, die die Hinterseite des Fahrzeugs 2 aus einer hinteren-oberen Richtung (hintere Ansicht) betrachtet. Eine virtuelle Bezugsperspektive VPal ist eine Perspektive, die den linken Bereich des Fahrzeugs 2 aus einer schrägen linken-hinteren und oberen Richtung (linke seitliche Ansicht) betrachtet. Eine virtuelle Bezugsperspektive VPar ist eine Perspektive, die den rechten Bereich des Fahrzeugs 2 aus einer schrägen rechten-hinteren und oberen Richtung (rechte seitliche Ansicht) betrachtet.
Die virtuelle Bezugsperspektive VPa wird von dem Nutzer ausgewählt. Die Auswahl des Nutzers wird durch eine Berührbedienung auf einer Schaltfläche eines Touchpanels durchgeführt, die mit jeder virtuellen Bezugsperspektive VPa verknüpft ist. D. h., wenn der Nutzer eine beliebige virtuelle Bezugsperspektive VPa auswählt, während das synthetisierte Bild CP auf dem Display angezeigt wird, erzeugt die Bilderzeugungseinheit 81b ein synthetisiertes Bild betrachtet aus der ausgewählten virtuellen Bezugsperspektive VPa. Dadurch kann der Nutzer einfach die virtuelle Perspektive auf die virtuelle Bezugsperspektive VPa durch die Berührungsbedienung auf der Schaltfläche des Touchpanels festlegen, selbst wenn die virtuelle Perspektive nicht auf die virtuelle Bezugsperspektive VPa zurückgestellt werden kann, nachdem die Position der virtuellen Perspektive unterschiedlich geändert wurde.
Bei einer Anfangsstufe der Bildanzeige, bevor der Nutzer eine Perspektive auswählt, wird eine beliebige der virtuellen Bezugsperspektiven VPa vorab festgelegt. Zu diesem Zeitpunkt wird bevorzugt, das synthetisierte Bild CP bei der virtuellen Bezugsperspektive VPat herabsehend auf das Fahrzeug 2 unmittelbar oberhalb des Fahrzeugs zu erzeugen. Der Grund ist, dass das synthetisierte Bild CP dem Nutzer die weiten Bereiche um das Fahrzeug 2 herum präsentieren kann, und daher für die Anfangsanzeige geeignet ist.
Im Folgenden wird ein Verfahren zum Bewegen der perspektivischen Position VL unter Verwendung des Bewegungsmittelpunkts RC beschrieben. Zunächst wird ein Verfahren zum Bewegen der jeweiligen Position VL in der Links-Rechts-Richtung (horizontalen Richtung) bezüglich 9 und 10 gezeigt, während der Nutzer das Display sieht. Die Bewegung der perspektivischen Position VL, welche im Folgenden beschrieben werden wird, wird entsprechend der Wischbedienung des Nutzers auf dem Touchpanel in der Links-Rechts-Richtung (der horizontalen Richtung) durchgeführt.
9 stellt das Fahrzeug 2 von der vertikal oberen Richtung (+Z-Seite) aus gesehen dar, und veranschaulicht auch eine Bewegungsstrecke der Bezugsposition VLl der virtuellen Bezugsperspektive VPal. Die Bezugsposition VLl bewegt sich entlang einer Bewegungsstrecke OBlh, die den Bewegungsmittelpunkt RCl als Mittelpunkt aufweist. Die Bewegung der perspektivischen Position VL basiert auf dem kartesischen Koordinatensystem cc (dem Weltkoordinatensystem), das bezüglich des Fahrzeugs 2 relativ fixiert ist, das eine Position des Bewegungsmittelpunkts RCl als Ursprung aufweist. Die Koordinatenachse, die zu einer Bewegungsreferenz der Bezugsposition VLl wird, ist die Z-Achse des kartesischen Koordinatensystems cc an der Position des Bewegungsmittelpunkts RC.
10 stellt das Fahrzeug 2 von der rechten Seite (+X-Seite) in der horizontalen Richtung aus gesehen dar, und veranschaulicht auch die Bewegungsstrecke der Bezugsposition VLl der virtuellen Bezugsperspektive VPal, wie 9. Die Bezugsposition VLl bewegt sich entlang der Bewegungsstrecke OBlh, die den Bewegungsmittelpunkt RCl als Mittelpunkt aufweist. Die Koordinatenachse, die zu einer Bewegungsreferenz der Bezugsposition VLl wird, ist die Z-Achse (AXl) des kartesischen Koordinatensystems cc an der Position des Bewegungsmittelpunkts RC.
In den 9 und 10 ist die Bezugsrichtung VDI immer in die Richtung von der Bezugsposition VLl zu dem Bewegungsmittelpunkt RCl gerichtet, selbst wenn die Bezugsposition VLl an einer beliebigen Position auf der Bewegungsstrecke OBlh liegt. Daher fühlt sich der Nutzer, der das Display 83 sieht, als ob sich das Bild seitlich bewegt, wenn sich die Bezugsposition VLl entlang der Bewegungsstrecke OBlh bewegt.
Wenn der Nutzer die Wischbedienung von der linken Richtung zu der rechten Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchführt, bewegt sich die Bezugsposition VLl in einer Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlh. Wenn andererseits der Nutzer die Wischbedienung von der rechten Richtung zu der linken Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchführt, bewegt sich die Bezugsposition VLl in einer Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlh. Daher stimmen die Richtung der Wischbedienung des Nutzers und die Bewegungsrichtung des Bilds überein, und der Nutzer kann intuitiv die Bedienung des Touchpanels durchführen.
Im Folgenden wird ein Verfahren zum Bewegen der perspektivischen Position VL in der Richtung von oben nach unten (vertikalen Richtung) bezüglich 11 und 12 beschrieben, während der Nutzer das Display sieht. Die Bewegung der perspektivischen Position VL, welche im Folgenden beschrieben werden wird, wird entsprechend der Wischbedienung des Nutzers auf dem Touchpanel in der Richtung von oben nach unten (vertikalen Richtung) durchgeführt.
In 11 und 12 sind die Richtung und die Ausrichtung geeignet gezeigt unter Verwendung des dreidimensionalen kartesischen XYZ-Koordinatensystems VPcc (des perspektivischen Koordinatensystems), zusätzlich zu dem dreidimensionalen kartesischen XYZ-Koordinatensystem cc. Die jeweiligen Koordinatenachsen des kartesischen Koordinatensystems VPcc sind bezüglich der virtuellen Perspektive VP relativ fixiert. D. h., die Links-Rechts-Richtung der virtuellen Perspektive VP ist die X-Achsen(VPx)-Richtung, die Längsrichtung der virtuellen Perspektive VP ist die Y-Achsen(VPy)-Richtung, und die vertikale Richtung der virtuellen Perspektive VP ist die Z-Achsen(VPz)-Richtung. Ebenfalls ist die rechte Seite der virtuellen Perspektive VP die +X-Seite, die vordere Seite der virtuellen Perspektive VP die +Y-Seite, und die vertikal obere Seite der virtuellen Perspektive VP die +Z-Seite. Daher ist die linke Seite der virtuellen Perspektive VP die –X-Seite, die hintere Seite der virtuellen Perspektive VP die –Y-Seite, und die vertikal untere Seite die –Z-Seite.
11 stellt das Fahrzeug 2 aus der vertikal oberen Richtung (+Z-Seite) aus gesehen dar, und veranschaulicht auch eine Bewegungsstrecke der Bezugsposition VLl der virtuellen Bezugsperspektive VPal. Die Bezugsposition VLl bewegt sich entlang einer Bewegungsstrecke OBlv, die den Bewegungsmittelpunkt RCl als Mittelpunkt aufweist. Die Bewegung der perspektivischen Position VL basiert auf dem kartesischen Koordinatensystem VPcc, das bezüglich der virtuellen Perspektive VP relativ fixiert ist, die eine Position des Bewegungsmittelpunkts RCl als Ursprung aufweist. Die Koordinatenachse, die zu einer Bewegungsreferenz der Bezugsposition VLl wird, ist die X-Achse (AXlv) des kartesischen Koordinatensystems VPcc an der Position des Bewegungsmittelpunkts RCl.
12 stellt das Fahrzeug 2 von der linken Seite (–X-Seite) in der horizontalen Richtung aus gesehen dar, und veranschaulicht auch die Bewegungsstrecke der Bezugsposition VLl der virtuellen Bezugsperspektive VPal, wie 11. Die Bezugsposition VLl bewegt sich entlang der Bewegungsstrecke OBlh, die den Bewegungsmittelpunkt RCl als Mittelpunkt aufweist. Die Koordinatenachse, die zu einer Bewegungsreferenz der Bezugsposition VLl wird, ist die X-Achse des kartesischen Koordinatensystems cc an der Position des Bewegungsmittelpunkts RC.
In 11 und 12 ist die Bezugsrichtung VDI immer in die Richtung von der Bezugsposition VLl zu dem Bewegungsmittelpunkt RCl gerichtet, selbst wenn die Bezugsposition VLl an einer beliebigen Position auf der Bewegungsstrecke OBlv liegt. Daher fühlt sich der Nutzer, der das Display 83 sieht, als ob sich das Bild in der Richtung von oben nach unten bewegt, wenn sich die Bezugsposition VLl entlang der Bewegungsstrecke OBlv bewegt.
In der Zwischenzeit wird die Bewegungsstrecke OBlv oberhalb der Bodenkontaktfläche GR des Fahrzeugs 2 festgelegt. Daher bewegt sich die Bezugsposition VLl entlang der Bewegungsstrecke OBlv, die mit der gestrichelten Linie gezeigt ist, und bewegt sich nicht entlang einer Bewegungsstrecke OBlx, die mit der durchgezogenen Linie gezeigt ist. Dadurch ist es möglich, eine Bildanzeige zu verhindern, bei welcher das Fahrzeug 2 von unterhalb der Bodenkontaktfläche betrachtet wird, welche gewöhnlich nicht angenommen werden kann. Daher kann der Nutzer die perspektivische Position ohne ein unangenehmes Gefühl bewegen.
Wenn der Nutzer die Wischbedienung von der oberen Richtung in die untere Richtung (in der vertikalen Richtung) auf dem Touchpanel 83a durchführt, bewegt sich die Bezugsposition VLl in der Richtung im Uhrzeigersinn entlang der Bewegungsstrecke OBlv. Wenn andererseits der Nutzer die Wischbedienung von der unteren Richtung in die obere Richtung (in der vertikalen Richtung) auf dem Touchpanel 83a durchführt, bewegt sich die Bezugsposition VLl in der Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlv. Dadurch stimmen die Richtung der Wischbedienung des Nutzers und die Bewegungsrichtung des Bilds überein, und der Nutzer kann intuitiv die Bedienung des Touchpanels durchführen.
<1-5. Anzeigebeispiele des synthetisierten Bilds>
Im Folgenden werden Beispiele des synthetisierten Bilds CP, das auf dem Display 83 anzuzeigen ist, bezüglich 13 bis 24 beschrieben.
13 stellt ein Beispiel dar, wo ein synthetisiertes Bild CPt1 auf dem Display 83 dargestellt wird. Das synthetisierte Bild CPt1 ist ein Bild, auf welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPat betrachtet wird, die als die virtuelle Perspektive VP festgelegt ist. Das synthetisierte Bild CPt1 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild an, das die Umgebung des Fahrzeugs 2 erkennen lässt. Das synthetisierte Bild CPt1 wird in der Anfangsanzeigestufe des synthetisierten Bilds CP und wenn der Nutzer eine Schaltfläche eines Touchpanels TB13 berührt, die die Umgebung des Fahrzeugs 2 erkennen lässt, angezeigt. Der Nutzer kann kollektiv die Umgebungssituationen des Fahrzeugs 2 durch Bezugnahme auf das synthetisierte Bild CPt1 überprüfen.
14 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPt2 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPt2 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPat betrachtet wird, die durch Bewegen der Bezugsposition in der Richtung im Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 9 nach der Anzeige des synthetisierten Bilds CPt1 (13) festgelegt wird. Das synthetisierte Bild CPt2 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild an, das die Umgebung des Fahrzeugs 2 erkennen lässt, die durch eine Drehung des Fahrzeugs nach links angezeigt wird, während der Nutzer das Display 8 sieht. Das synthetisierte Bild CPt2 wird angezeigt, wenn eine Wischbedienung FH von der linken Richtung in die rechte Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPt1 (13) angezeigt wird. Der Nutzer kann die Umgebungssituationen des Fahrzeugs 2 in einem unterschiedlichen Winkel bezüglich des synthetisierten Bilds CPt1 durch Bezugnahme auf das synthetisierte Bild CPt2 überprüfen.
15 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPt3 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPt3 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPat betrachtet wird, die durch ein Bewegen der Bezugsposition in die Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 12 nach der Anzeige des synthetisierten Bilds CPt1 (13) festgelegt wird. Das synthetisierte Bild CPt3 wird angezeigt, um einen Teil unmittelbar unterhalb des vorderen Endes des Fahrzeugs 2 einzuschließen. Das synthetisierte Bild CPt3 wird angezeigt, wenn eine Wischbedienung FV von der oberen Richtung in die untere Richtung (in der vertikalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPt1 (13) angezeigt wird. Der Nutzer kann die Umgebungssituationen des Fahrzeugs 2 einschließlich des Teils unmittelbar unterhalb des vorderen Endes des Fahrzeugs 2 durch Bezugnahme auf das synthetisierte Bild CPt3 überprüfen.
16 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPf1 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPf1 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPaf betrachtet wird, die als die virtuelle Perspektive VP festgelegt wird. Das synthetisierte Bild CPf1 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild, das die Vorderseite des Fahrzeugs 2 erkennen lässt, an. Das synthetisierte Bild CPt1 wird angezeigt, wenn der Nutzer eine Schaltfläche eines Touchpanels TB16 berührt, die die Vorderseite des Fahrzeugs 2 angibt. Der Nutzer kann die vorderen Situationen des Fahrzeugs 2 durch Bezugnahme auf das synthetisierte Bild CPf1 überprüfen.
17 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPf2 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPf2 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPaf betrachtet wird, die durch ein Bewegen der Bezugsposition in der Richtung im Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 9 nach der Anzeige des synthetisierten Bilds CPf1 (16) festgelegt wird. Das synthetisierte Bild CPf2 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild, das die Umgebung des Fahrzeugs 2 erkennen lässt, die die durch eine Drehung des Fahrzeugs nach links angezeigt wird, an, während der Nutzer das Display 8 sieht. Das synthetisierte Bild CPf2 wird angezeigt, wenn die Wischbedienung FH von der linken Richtung in die rechte Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPf1 (16) angezeigt wird. Der Nutzer kann die vorderen Situationen des Fahrzeugs 2 in einem unterschiedlichen Winkel bezüglich des synthetisierten Bilds CPf1 durch Bezugnahme auf das synthetisierte Bild CPf2 überprüfen.
18 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPf3 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPf3 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPaf betrachtet wird, die durch ein Bewegen der Bezugsposition in der Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 12 nach der Anzeige des synthetisierten Bilds CPf1 (13) festgelegt wird. Das synthetisierte Bild CPf3 zeigt den vorderen Bereich des Fahrzeugs 2 genauer an als das synthetisierte Bild CPf1. Das synthetisierte Bild CPf3 wird angezeigt, wenn die Wischbedienung FV von der oberen Richtung in die untere Richtung (in der vertikalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPf1 (16) angezeigt wird. Der Nutzer kann die vorderen Situationen des Fahrzeugs 2 genau durch Bezugnahme auf das synthetisierte Bild CPf3 überprüfen.
19 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPb1 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPb1 ist ein Bild, auf welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPab betrachtet wird, die als die virtuelle Perspektive VP festgelegt wird. Das synthetisierte Bild CPb1 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild, das die Hinterseite des Fahrzeugs 2 erkennen lässt, an. Das synthetisierte Bild CPb1 wird angezeigt, wenn der Nutzer eine Schaltfläche eines Touchpanels TB19 berührt, die die Hinterseite des Fahrzeugs 2 angibt. Der Nutzer kann die hinteren Situationen des Fahrzeugs 2 durch Bezugnahme auf das synthetisierte Bild CPb1 überprüfen.
20 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPb2 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPb2 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPab betrachtet wird, die durch ein Bewegen der Bezugsposition in der Richtung im Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 9 nach der Anzeige des synthetisierten Bilds CPb1 (19) festgelegt wird. Das synthetisierte Bild CPb2 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild an, das die Hinterseite des Fahrzeugs 2 erkennen lässt, die durch eine Bewegung des Fahrzeugs nach links angezeigt wird, während der Nutzer das Display 8 sieht. Das synthetisierte Bild CPb2 wird angezeigt, wenn die Wischbedienung FH von der linken Richtung in die rechte Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPb1 (19) angezeigt wird. Der Nutzer kann die hinteren Situationen des Fahrzeugs 2 in einem unterschiedlichen Winkel bezüglich des synthetisierten Bilds CPb1 durch Bezugnahme auf das synthetisierte Bild CPb2 überprüfen.
21 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPb3 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPb3 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPab betrachtet wird, die durch
ein Bewegen der Bezugsposition in der Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 12 nach der Anzeige des synthetisierten Bilds CPb1 (19) festgelegt wird. Das synthetisierte Bild CPb3 zeigt den hinteren Bereich des Fahrzeugs 2 genauer an als das synthetisierte Bild CPb1. Das synthetisierte Bild CPb3 wird angezeigt, wenn die Wischbedienung FV von der oberen Richtung in die untere Richtung (in der vertikalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPb1 (16) angezeigt wird. Der Nutzer kann die hinteren Situationen des Fahrzeugs 2 genau durch Bezugnahme auf das synthetisierte Bild CPb3 überprüfen.
22 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPl1 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPl1 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPal betrachtet wird, die als die virtuelle Perspektive VP festgelegt wird. Das synthetisierte Bild CPl1 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild an, das die linke Seite des Fahrzeugs 2 erkennen lässt. Das synthetisierte Bild CPl1 wird angezeigt, wenn der Nutzer eine Schaltfläche eines Touchpanels TB22 berührt, die die linke Seite des Fahrzeugs 2 angibt. Der Nutzer kann die linken Situationen des Fahrzeugs 2 durch Bezugnahme auf das synthetisierte Bild CPl1 überprüfen.
23 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPl2 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPl2 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPal betrachtet wird, die durch ein Bewegen der Bezugsposition in der Richtung im Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 9 nach der Anzeige des synthetisierten Bilds CPl1 (22) festgelegt wird. Das synthetisierte Bild CPl2 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild an, das die linke Seite des Fahrzeugs 2 erkennen lässt, die durch eine Bewegung des Fahrzeugs nach links angezeigt wird, während der Nutzer das Display 8 sieht. Das synthetisierte Bild CPl2 wird angezeigt, wenn die Wischbedienung FH von der linken Richtung in die rechte Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPl1 (22) angezeigt wird. Der Nutzer kann die linken Situationen des Fahrzeugs 2 in einem unterschiedlichen Winkel bezüglich des synthetisierten Bilds CPl1 durch Bezugnahme auf das synthetisierte Bild CPl2 überprüfen.
24 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPl3 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPl3 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPal betrachtet wird, die durch ein Bewegen der Bezugsposition in der Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBlh aus 12 nach der Anzeige des synthetisierten Bilds CPl1 (22) festgelegt wird. Das synthetisierte Bild CPl3 zeigt den linken Bereich des Fahrzeugs 2 genauer an als das synthetisierte Bild CPl1. Das synthetisierte Bild CPl3 wird angezeigt, wenn die Wischbedienung FV von der oberen Richtung in die untere Richtung (in der vertikalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPl1 (22) angezeigt wird. Der Nutzer kann die linken Situationen des Fahrzeugs 2 genau durch Bezugnahme auf das synthetisierte Bild CPl3 überprüfen.
Bezüglich des synthetisierten Bilds CP, das die rechte Seite des Fahrzeugs 2 erkennen lässt, können der Betrieb und die Steuerung bilateral symmetrisch mit dem Fall durchgeführt werden, der bezüglich 22 bis 24 beschrieben ist, die die linke Seite des Fahrzeugs 2 darstellen. Der Nutzer kann die rechten Situationen des Fahrzeugs 2 durch Bezugnahme auf das synthetisierte Bild CP, das die rechte Seite des Fahrzeugs 2 erkennen lässt, überprüfen.
<1-6. Verarbeitung>
Im Folgenden wird eine Verarbeitungssequenz bezüglich 25 und 26 beschrieben, die in dem Bildanzeigesystem 1 auszuführen ist. 25 stellt eine Verarbeitungssequenz dar, die durch die Bilderfassungsvorrichtung 3, die Sicherheitsvorrichtung 5 und das tragbare Endgerät 8 auszuführen ist. 26 stellt eine Verarbeitungssequenz dar, die durch die Alarmeinheit 6 und das tragbare Endgerät 8 auszuführen ist. Diese Verarbeitung wird wiederholt mit einem vorbestimmten Zeitraum ausgeführt.
Zunächst bestimmt die Sicherheitsvorrichtung 5, ob der Überwachungssensor 5a in Betrieb gewesen ist (Schritt S101 in 25).
Wenn bestimmt wird, dass der Überwachungssensor 5a in Betrieb gewesen ist (Ja in Schritt S101), steuert die Sicherheitsvorrichtung 5 die Mail-Benachrichtigungseinheit 5b, um eine E-Mail, welche angibt, dass der Überwachungssensor 5a in Betrieb gewesen ist, d. h., die vorherige Erscheinung, die zu dem Diebstahl führt, in dem Fahrzeug 2 aufgetreten ist, an das tragbare Endgerät 8 des Nutzers zu übertragen (Schritt S102). Als ein Beispiel, bei welchem der Überwachungssensor 5a in Betrieb gewesen ist, kann ein Fall genannt werden, bei welchem der Überwachungssensor 5a das Auftreten von Vibrationen oder einer Neigung in dem Fahrzeug 2, das Brechen des Glases, einen Einbrecher, der in das Fahrzeug 2 einbricht o. Ä. detektiert.
Wenn die Sicherheitsvorrichtung 5 bestimmt, dass der Überwachungssensor 5a nicht in Betrieb gewesen ist (Nein in Schritt S101) oder wenn die Mail-Benachrichtigungseinheit 5b die E-Mail überträgt, ist die Verarbeitung durch die Sicherheitsvorrichtung 5 beendet. Die Sicherheitsvorrichtung 5 setzt die Verarbeitung nach einer vorbestimmten Zeit fort.
Wenn die Kommunikationseinheit 82 des tragbaren Endgeräts 8 die E-Mail erhält, die von der Mail-Benachrichtigungseinheit 5b übertragen wurde, zeigt die Anzeigesteuereinheit 81c den Inhalt der E-Mail auf dem Display 83 an (Schritt S201). Der Nutzer überprüft den Inhalt der E-Mail, der auf dem Display angezeigt wird, und bestimmt, ob er das umgebende Bild des Fahrzeugs 2 anzeigt oder nicht. Wenn der Nutzer möchte, dass das umgebende Bild des Fahrzeugs 2 angezeigt wird, kann der Nutzer eine vorbestimmte Position auf dem Touchpanel 83a berühren.
Die Betriebsdetektionseinheit 81d bestimmt, ob der Nutzer die vorbestimmte Position auf dem Touchpanel 83a berührt hat, an welcher das umgebende Bild anzuzeigen ist (Schritt S202).
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer das Bild anzeigen möchte, da der Nutzer die vorbestimmte Position auf dem Touchpanel 83a berührt hat, an welcher das umgebende Bild anzuzeigen ist (Ja in Schritt S202), überträgt die Benachrichtigungseinheit 81e ein Signal zum Anfordern der Übertragung des Bilds an die Bilderfassungsvorrichtung 3 (Schritt S203).
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer eine vorbestimmte Position auf dem Touchpanel 83a berührt hat, welche angibt, dass das umgebende Bild nicht anzuzeigen ist, d. h., der Nutzer nicht möchte, dass das Bild angezeigt wird (Nein in Schritt S202), ist die Verarbeitung beendet. Der Grund ist, dass es nicht notwendig ist, die Verarbeitung fortzuführen, da der Nutzer nicht möchte, dass das Bild angezeigt wird.
Wenn die Anforderungsempfangseinheit 31a der Bilderfassungsvorrichtung 3 von dem tragbaren Endgerät 8 das Signal zum Anfordern der Übertragung des Bilds empfängt, steuert die Kamerasteuereinheit 31b die Kameras 4 (4F, 4B, 4L, 4R), um die Aufnahme zu starten (Schritt S301).
Wenn die Bilderfassungseinheit 31c die Bilddaten empfängt, die den Bildern entsprechen, die von den Kameras 4 (4F, 4B, 4L, 4R) aufgenommen wurden, überträgt die Bildübertragungseinheit 31d die Bilddaten an das tragbare Endgerät 8 durch die Kommunikationseinheit 32 (Schritt S302).
Wenn die Bilderfassungseinheit 81a des tragbaren Endgeräts 8 die Bilddaten empfängt, die von der Bilderfassungsvorrichtung 3 übertragen wurden, legt die Bilderzeugungseinheit 81b die Position und die Richtung der virtuellen Perspektive zum Erzeugen des umgebenden Bilds fest (Schritt S204). Wenn das umgebende Bild zum ersten Mal erzeugt wird, legt die Bilderzeugungseinheit 81b die Position der virtuellen Perspektive unmittelbar oberhalb des Fahrzeugs 2 fest und legt die Richtung des virtuellen Sichtfelds in der Abwärtsrichtung (Draufsicht) fest. Die virtuelle Perspektive ist eine Perspektive, bei welcher der Nutzer auf das Fahrzeug 2 aus einer Position unmittelbar oberhalb des Fahrzeugs 2 herabsieht. Die entsprechende Perspektive ist bevorzugt die Position und die Richtung der virtuellen Perspektive, die dem Nutzer zuerst zu präsentieren ist. D. h., da die gesamte Umgebung des Fahrzeugs angezeigt wird, ist es möglich, dem Nutzer die Situationen umfangreich zu präsentieren.
Nach dem Festlegen der virtuellen Perspektive, erzeugt die Bilderzeugungseinheit 81b das umgebende Bild durch die zuvor beschriebenen Verfahren. Dann liest die Bilderzeugungseinheit 81b die Fahrzeugkarosserie-Bilddaten 84a aus der Speichereinheit 84 aus und erzeugt ein synthetisiertes Bild durch Synthetisieren des Fahrzeugkarosseriebilds in das erzeugte umgebende Bild (Schritt S205).
Wenn die Bilderzeugungseinheit 81b das synthetisierte Bild erzeugt, zeigt die Anzeigesteuereinheit 81c das synthetisierte Bild auf dem Display 83 an (Schritt S206). Dadurch kann der Nutzer die Umgebungssituationen des Fahrzeugs 2 überprüfen.
Wenn die Anzeigesteuereinheit 81c das synthetisierte Bild auf dem Display 83 anzeigt, bestimmt die Betriebsdetektionseinheit 81d, ob der Nutzer die Wischbedienung auf dem Display 83 durchgeführt hat (Schritt S207).
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer die Wischbedienung durchgeführt hat (Ja in Schritt S207), legt die Bilderzeugungseinheit 81b erneut die virtuelle Perspektive fest (Schritt S204).
Wenn der Nutzer die Wischbedienung in der Links-Rechts-Richtung (horizontalen Richtung) auf dem Display 83 durchgeführt hat, dreht die Bilderzeugungseinheit 81b die virtuelle Perspektive auf Grundlage der vertikalen Richtungsachse des Weltkoordinatensystems, um die Position der virtuellen Perspektive festzulegen, wie zuvor beschrieben wurde.
Wenn die Wischbedienung von rechts nach links auf dem Display 83 durchgeführt wird, dreht die Bilderzeugungseinheit 81b die Position der virtuellen Perspektive in der Richtung entgegen dem Uhrzeigersinn, wenn die vertikale Richtungsachse des Weltkoordinatensystems von oben betrachtet wird. Wenn die Wischbedienung von links nach rechts auf dem Display 83 durchgeführt wird, dreht die Bilderzeugungseinheit 81b auch die Position der virtuellen Perspektive in der Richtung im Uhrzeigersinn, wenn die vertikale Richtungsachse des Weltkoordinatensystems von oben betrachtet wird.
Wenn der Nutzer die Wischbedienung in der Richtung von oben nach unten (vertikalen Richtung) auf dem Display 83 durchgeführt hat, dreht die Bilderzeugungseinheit 81b die virtuelle Perspektive auf Grundlage der horizontalen Richtungsachse des perspektivischen Koordinatensystems, um die Position der virtuellen Perspektive festzulegen, wie zuvor beschrieben wurde.
Wenn die Wischbedienung von oben nach unten auf dem Display 83 durchgeführt wird, dreht die Bilderzeugungseinheit 81b die Position der virtuellen Perspektive in der Richtung entgegen dem Uhrzeigersinn, wenn die horizontale Richtungsachse des perspektivischen Koordinatensystems von der rechten Seite der Perspektive betrachtet wird. Wenn die Wischbedienung von unten nach oben auf dem Display 83 durchgeführt wird, dreht die Bilderzeugungseinheit 81b auch die Position der virtuellen Perspektive in der Richtung im Uhrzeigersinn, wenn die horizontale Richtungsachse des perspektivischen Koordinatensystems von der rechten Seite der Perspektive betrachtet wird.
Durch ein derartiges Drehen der Position der virtuellen Perspektive stimmen die Richtung, in welcher der Nutzer die Perspektive durch die Wischbedienung bewegen möchte, und die Bewegungsrichtung des anzuzeigenden Bilds überein, und der Nutzer kann intuitiv das Bild durch die Bedienung auf dem Touchpanel 83a bewegen.
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer die Wischbedienung nicht durchgeführt hat (Nein in Schritt S207), bestimmt die Betriebsdetektionseinheit 81d, ob ein Betrieb zum Ändern der virtuellen Perspektive in die Bezugsperspektive durchgeführt worden ist (Schritt S208). Die Betriebsdetektionseinheit 81d bestimmt, ob der Nutzer irgendeine Schaltfläche des Touchpanels berührt hat, die die Bezugsperspektive angibt.
Wenn die Betriebserfassungseinheit 81d bestimmt, das eine Bedienung zum Ändern der virtuellen Perspektive in die Bezugsperspektive durchgeführt worden ist (Ja in Schritt S208), legt die Bilderzeugungseinheit 81b die Position und die Richtung der virtuellen Perspektive auf die Bezugsperspektive fest, die durch die Berührung des Nutzers bestimmt wurde (Schritt S204). Wenn zum Beispiel der Nutzer eine Bezugsperspektive zum Anzeigen des linken Bereichs des Fahrzeugs 2 wünscht, legt die Bilderzeugungseinheit 81b die Position und die Richtung der virtuellen Perspektive wie in 9 und 10 gezeigt fest. In der Zwischenzeit schließt die Bezugsperspektive fünf Perspektiven unmittelbar oberhalb des Fahrzeugs, links vom Fahrzeug 2, rechts vom Fahrzeug 2, vor dem Fahrzeug 2 und hinter dem Fahrzeug 2 ein. Die Position des Bewegungsmittelpunkts RC, welcher ein bestimmter Punkt ist, der an der bestimmten Position des Fahrzeugs festgelegt ist, ist auf eine Position festgelegt, die der gewünschten Bezugsperspektive des Nutzers entspricht.
Wenn auf der anderen Seite die Betriebsdetektionseinheit 81d bestimmt, dass eine Bedienung zum Ändern der virtuellen Perspektive in die Bezugsperspektive nicht durchgeführt worden ist (Nein in Schritt S208), bestimmt die Betriebsdetektionseinheit 81d, ob der Nutzer versucht, die Alarmeinheit 6 zu betätigen, die an dem Fahrzeug 2 montiert ist (Schritt S209). Die Betriebsdetektionseinheit 81d bestimmt, ob der Nutzer eine vorbestimmte Position auf dem Touchpanel 83a berührt hat, was auf eine Betätigung der Alarmeinheit hinweist.
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer versucht, die Alarmeinheit 6 zu betätigen (Ja in Schritt S209), überträgt die Benachrichtigungseinheit 81e ein Signal zum Anfordern einer Betätigung der Alarmeinheit 6 zu der Bilderfassungsvorrichtung 3 (Schritt S210).
Wenn die Benachrichtigungseinheit 81e ein Signal zum Anfordern einer Betätigung der Alarmeinheit 6 überträgt, ermöglicht es die Diebstahlschutzeinheit 31e der Bilderfassungsvorrichtung 3 der Alarmeinheit 6, eine Warnung auszugeben (Schritt S401). In der Zwischenzeit ist die Warnung durch die Alarmeinheit 6 beendet, nachdem eine vorbestimmte Zeit abgelaufen ist. Die vorbestimmte Zeit kann eine Zeitspanne sein, die ausreicht, um eine verdächtige Person zu warnen. Die vorbestimmte Zeit beträgt zum Beispiel 5 Sekunden. Der Nutzer kann die Warnung auch beenden.
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer nicht versucht, die Alarmeinheit 6 zu betätigen (Nein in Schritt S209), oder wenn es die Diebstahlschutzeinheit 31e der Alarmeinheit 6 ermöglicht, die Warnung auszugeben (Schritt S210), bestimmt die Betriebsdetektionseinheit 81d, ob der Nutzer versucht, die Bildanzeige zu beenden (Schritt S211).
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass der Nutzer versucht, die Bildanzeige zu beenden (Ja in Schritt S211), überträgt die Benachrichtigungseinheit 81e ein Signal zum Anfordern des Aufnahmeendes an die Bilderfassungsvorrichtung 3 (Schritt S212). Wenn die Benachrichtigungseinheit 81e ein Signal zum Anfordern des Aufnahmeendes an die Bilderfassungsvorrichtung 3 überträgt, ist die Verarbeitung durch das tragbare Endgerät 8 beendet.
Wenn die Betriebserfassungseinheit 81d bestimmt, dass der Nutzer nicht versucht, die Bildanzeige zu beenden (Nein in Schritt S211), führt die Anzeigesteuereinheit 81c das Erzeugen und Anzeigen des Bilds fort, und das tragbare Endgerät 8 führt erneut die Verarbeitung des Schritts S205 und danach aus.
Wenn die Bildübertragungseinheit 31d die Bilddaten in Schritt S302 überträgt, bestimmt die Anforderungsempfangseinheit 31a, ob das Beendigungsanforderungssignal zum Anfordern der Beendigung der Aufnahme von dem tragbaren Endgerät 8 übertragen worden ist (Schritt S303). Die Bilderfassungsvorrichtung 3 überträgt wiederholt die Bilddaten, die zuletzt von den Kameras erhalten wurden 4 (4F, 4B, 4L, 4R), an das tragbare Endgerät 8, bis das Beendigungsanforderungssignal empfangen wird. Dadurch kann die Bilderzeugungseinheit 81b des tragbaren Endgeräts 8 das umgebende Bild erzeugen, das die Umgebungssituationen des Fahrzeugs 2 im Wesentlichen in Echtzeit auf Grundlage der zuletzt erhaltenen Bilddaten erkennen lässt.
Wenn die Anforderungsempfangseinheit 31a bestimmt, dass das Beendigungsanforderungssignal zum Anfordern der Aufnahmebeendigung von dem tragbaren Endgerät 8 (Ja in Schritt S303) übertragen worden ist, steuert die Kamerasteuereinheit 31b die Kameras 4 (4F, 4B, 4L, 4R), um die Aufnahme zu anzuhalten (Schritt S304). Wenn die Kamerasteuereinheit 31b die Kameras 4 (4F, 4B, 4L, 4R) steuert, um die Aufnahme anzuhalten, ist die Verarbeitung durch die Bilderfassungsvorrichtung 3 beendet.
Wie zuvor beschrieben wurde, ist nach dem Bildanzeigesystem 1 der ersten veranschaulichenden Ausführungsform die Position der virtuellen Perspektive geändert und das synthetisierte Bild wird angezeigt auf Grundlage der Betätigung des Nutzers. Dadurch ist es möglich, den Abbildungsgegenstand einfach aus der gewünschten Perspektive des Nutzers anzuzeigen.
<2. Zweite veranschaulichende Ausführungsform>
<2-1. Skizze>
Im Folgenden wird eine zweite veranschaulichende Ausführungsform beschrieben. In der ersten veranschaulichenden Ausführungsform basiert die Bewegung der perspektivischen Position VL, als Reaktion auf die Wischbedienung des Nutzers in der Links-Rechts-Richtung (horizontalen Richtung), auf der vertikalen Achse (Z-Achse) des kartesischen Koordinatensystems cc, wenn die perspektivische Position VL unmittelbar oberhalb des Fahrzeugs 2 liegt und die Sichtlinie VD in die Abwärtsrichtung (–Z-Seite) (d. h. die Draufsicht) gerichtet ist. Dadurch wird das synthetisierte Bild CP mit einer Drehung nach links oder nach rechts angezeigt.
Selbst wenn jedoch das synthetisierte Bild CP mit einer Drehung angezeigt wird, präsentiert die entsprechende Anzeige dem Nutzer nicht einen neuen Umgebungsbereich.
In der zweiten veranschaulichenden Ausführungsform basiert die Bewegung der perspektivischen Position VL in der Draufsicht auf der Y-Achse des kartesischen Koordinatensystems cc, welche die Längsachse des Fahrzeugs 2 ist. Dadurch werden in der Draufsicht, wenn der Nutzer die Wischbedienung in der Links-Rechts-Richtung (horizontalen Richtung) auf dem Touchpanel 83a durchführt, die linken und rechten Bereiche des Fahrzeugs 2 einschließlich der Seiten des Fahrzeugs 2 angezeigt. Aus diesem Grund kann der Nutzer die linken und rechten Bereiche des Fahrzeugs 2 genau überprüfen.
Im Folgenden werden hauptsächlich die Unterschiede bezüglich der ersten veranschaulichenden Ausführungsform beschrieben, und die sich überschneidenden Beschreibungen bezüglich derselben oder ähnlichen Ausbildungen und Betriebe wie in der ersten veranschaulichenden Ausführungsform werden ausgelassen.
<2-2. Ausbildung>
27 stellt eine Ausbildung des tragbaren Endgeräts 8 des Bildanzeigesystems 1 nach der zweiten veranschaulichenden Ausführungsform dar. Der Hauptunterschied bezüglich der ersten veranschaulichenden Ausführungsform ist, dass die Steuereinheit 81 des tragbaren Endgeräts 8 eine Koordinatenachsenumwandlungseinheit 81f aufweist.
Die Koordinatenachsenumwandlungseinheit 81f wandelt die Koordinatenachse, die zu einer Bewegungsreferenz der perspektivischen Position VL wird, von der vertikalen Achse (Z-Achse) des kartesischen Koordinatensystems cc in die Längsachse (Y-Achse) des Fahrzeugs, wenn die virtuelle Perspektive eine Draufsicht ist.
<2-3. Festlegen der virtuellen Perspektive>
Im Folgenden wird ein Verfahren zum Bewegen der perspektivischen Position VL in der Links-Rechts-Richtung (horizontalen Richtung) bezüglich 28 und 29 beschrieben, während der Nutzer das Display in der Draufsichtanzeige sieht. Die im Folgenden zu beschreibende Bewegung der perspektivischen Position VL wird entsprechend der Wischbedienung des Nutzers in der Links-Rechts-Richtung (horizontalen Richtung) auf dem Touchpanel in der Draufsichtanzeige durchgeführt.
28 stellt das Fahrzeug 2 aus der vertikal oberen Richtung (+Z-Seite) betrachtet dar und veranschaulicht auch eine Bewegungsstrecke der Bezugsposition VLt der virtuellen Bezugsperspektive VPat. Die Bezugsposition VLt bewegt sich entlang der Bewegungsstrecke OBth, die den Bewegungsmittelpunkt RCt als Mittelpunkt aufweist. Die Bewegung der Bezugsposition VLt basiert auf dem kartesischen Koordinatensystem cc, das bezüglich der virtuellen Perspektive VP relativ fixiert ist, die die Position des Bewegungsmittelpunkts RCt als Ursprung aufweist. Die Koordinatenachse, die zu einer Bewegungsreferenz der Bezugsposition VLt wird, ist die Y-Achse (AXth) des kartesischen Koordinatensystems cc an der Position des Bewegungsmittelpunkts RCt, d. h. die Längsachse des Fahrzeugs 2.
29 stellt das Fahrzeug 2 von der Hinterseite (–Y-Seite) aus in der horizontalen Richtung betrachtet dar, und veranschaulicht auch die Bewegungsstrecke der Bezugsposition VLt der virtuellen Bezugsperspektive VPat, wie 28. Die Bezugsposition VLt bewegt sich entlang der Bewegungsstrecke OBth, die den Bewegungsmittelpunkt RCt als Mittelpunkt aufweist. Die Bewegungsstrecke OBth ist ein Kreis von der Hinterseite (–Y-Seite) aus in der horizontalen Richtung gesehen. Die Koordinatenachse, die zu einer Bewegungsreferenz der Bezugsposition VLt wird, ist die Y-Achse des kartesischen Koordinatensystems cc an der Position des Bewegungsmittelpunkts RCt.
In 28 und 29 ist die Bezugsrichtung VDt immer in eine Richtung von der Bezugsposition VLt zu dem Bewegungsmittelpunkt RCt hin gerichtet, selbst wenn die Bezugsposition VLt an einer beliebigen Position auf der Bewegungsstrecke OBth liegt. Wenn sich daher die Bezugsposition VLt entlang der Bewegungsstrecke OBth bewegt, fühlt sich der Nutzer, der das Display 83 sieht, als ob sich das Bild in der Links-Rechts-Richtung (horizontalen Richtung) bewegt. Insbesondere kann sich der Nutzer auf das umgebende Bild des Fahrzeugs 2 beziehen, als ob das Bild um die seitlichen Seiten des Fahrzeugs 2 herum verläuft, da die Koordinatenachse, die zu der Bewegungsreferenz der Bezugsposition VLt wird, auf die Y-Achse des kartesischen Koordinatensystems cc an der Position des Bewegungsmittelpunkts RCt festgelegt wird.
In der Zwischenzeit wird die Bewegungsstrecke OBth nicht unterhalb der Bodenkontaktfläche GR des Fahrzeugs 2 festgelegt. Dadurch bewegt sich die Bezugsposition VLt entlang der Bewegungsstrecke OBth, die mit der gestrichelten Linie gezeigt ist, und bewegt sich nicht entlang einer Bewegungsstrecke OBtx, die mit der durchgezogenen Linie gezeigt ist.
Wenn der Nutzer die Wischbedienung von der linken Richtung in die rechte Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchführt, bewegt sich die Bezugsposition VLt in der Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBth. Wenn andererseits der Nutzer die Wischbedienung von der rechten Richtung in die linke Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchführt, bewegt sich die Bezugsposition VLt in der Richtung im Uhrzeigersinn entlang der Bewegungsstrecke OBth. Dadurch kann der Nutzer intuitiv die Bedienung des Touchpanels durchführen, da die Richtung der Wischbedienung des Nutzers und die Bewegungsrichtung des Bilds miteinander übereinstimmen.
<2-4. Anzeigebeispiele des synthetisierten Bilds>
Eine obere Abbildung aus 13 stellt ein Beispiel dar, bei welchem das synthetisierte Bild CPt1 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPt1 ist ein Bild, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPat betrachtet wird, die als die virtuelle Perspektive VP festgelegt ist. D. h., das synthetisierte Bild CPt1 ist ein synthetisiertes Bild, wenn die virtuelle Perspektive eine Draufsicht ist.
Eine untere Abbildung aus 30 stellt ein Beispiel dar, bei welchem ein synthetisiertes Bild CPt4 auf dem Display 83 angezeigt wird. Das synthetisierte Bild CPt4 ist ein Bild, das angezeigt wird, wenn die Koordinatenachse zum Bewegen der perspektivischen Position VL von der vertikalen Achse (Z-Achse) des kartesischen Koordinatensystems cc in die Längsachse (Y-Achse) des Fahrzeugs nach der Anzeige des synthetisierten Bilds CPt1, d. h. eines Bilds, bei welchem das Fahrzeug 2 aus der virtuellen Bezugsperspektive VPat betrachtet wird, die durch ein Bewegen der Bezugsposition in der Richtung entgegen dem Uhrzeigersinn entlang der Bewegungsstrecke OBth aus 29 festgelegt wird, gewandelt wird. Das synthetisierte Bild CPt4 zeigt das Fahrzeugkarosseriebild 10 zusätzlich zu dem umgebenden Bild des Fahrzeugs 2 einschließlich der seitlichen Seite des Fahrzeugs 2 an. Aus diesem Grund kann der Nutzer genau die linken und rechten Bereiche des Fahrzeugs 2 aus der Draufsicht überprüfen. Das synthetisierte Bild CPt4 wird angezeigt, wenn die Wischbedienung FH von der linken Richtung in die rechte Richtung (in der horizontalen Richtung) auf dem Touchpanel 83a durchgeführt wird, wobei das synthetisierte Bild CPt1 angezeigt wird. Der Nutzer kann die linken und rechten Bereiche des Fahrzeugs 2 einschließlich der seitlichen Seiten des Fahrzeugs 2 genau durch Bezugnahme auf das synthetisierte Bild CPt4 überprüfen.
<2-5. Verarbeitung>
Im Folgenden wird eine Verarbeitungssequenz bezüglich 31 und 32 beschrieben, die in dem Bildanzeigesystem 1 der zweiten veranschaulichenden Ausführungsform auszuführen ist. 31 stellt eine Verarbeitungssequenz dar, die durch die Bilderfassungsvorrichtung 3, die Sicherheitsvorrichtung 5 und das tragbare Endgerät 8 auszuführen ist. Diese Verarbeitungssequenz unterscheidet sich von der Verarbeitungssequenz der ersten veranschaulichenden Ausführungsform, die in 25 gezeigt ist, dadurch, dass die Verarbeitung des Schritts S209 eingeschlossen ist.
Zunächst legt die Bilderzeugungseinheit 81b die Position der virtuellen Perspektive und die Richtung des virtuellen Sichtfelds zum Erzeugen des umgebenden Bilds fest (Schritt S204). Wenn das umgebende Bild zum ersten Mal erzeugt wird, legt die Bilderzeugungseinheit 81b die Position der virtuellen Perspektive unmittelbar oberhalb des Fahrzeugs 2 fest und legt die Richtung des virtuellen Sichtfelds in der Abwärtsrichtung (Draufsicht) fest. Ebenfalls legt die Koordinatenachsenumwandlungseinheit 81f die Längsachse (Y-Achse) des Fahrzeugs als die Achse fest, die zu der Bewegungsreferenz der perspektivischen Position VL wird.
Wenn die Verarbeitung des Schritts S205, des Schritts S206 und des Schritts S207 ausgeführt wird, bestimmt die Betriebsdetektionseinheit 81d, ob eine Bedienung zum Ändern der virtuellen Perspektive in die Bezugsperspektive durchgeführt worden ist (Schritt S208). Die Betriebsdetektionseinheit 81d bestimmt, ob der Nutzer irgendeine Schaltfläche eines Touchpanels berührt hat, die die Bezugsperspektive angibt.
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass eine Bedienung zum Ändern der virtuellen Perspektive in die Bezugsperspektive durchgeführt worden ist (Ja in Schritt S208), führt die Bilderzeugungseinheit 81b eine Koordinatenachsenfestlegeverarbeitung aus (Schritt S209).
32 stellt die Koordinatenachsenfestlegeverarbeitung genau dar. Wenn die Verarbeitung zu der Koordinatenachsenfestlegeverarbeitung übergeht (Schritt S209), bestimmt die Betriebsdetektionseinheit 81d, ob die virtuelle Perspektive in die Perspektive einer Draufsicht geändert worden ist (Schritt S401).
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass die virtuelle Perspektive in die Perspektive einer Draufsicht geändert worden ist (Ja in Schritt S401), legt die Koordinatenachsenumwandlungseinheit 81f die Längsachse (Y-Achse) des Fahrzeugs als die Koordinatenachse fest, die zu der Bewegungsreferenz der perspektivischen Position VL wird (Schritt S402).
Wenn die Betriebsdetektionseinheit 81d bestimmt, dass die virtuelle Perspektive in eine andere Perspektive als die Perspektive einer Draufsicht geändert worden ist (Nein in Schritt S401), legt die Koordinatenachsenumwandlungseinheit 81f die vertikale Achse (Z-Achse) als die Koordinatenachse fest, die zu der Bewegungsreferenz der perspektivischen Position VL wird (Schritt S403).
Wenn die Verarbeitung von Schritt S402 oder Schritt S403 ausgeführt wird, kehrt die Verarbeitung zu 31 zurück und die Verarbeitung von Schritt S204 und danach wird erneut ausgeführt.
Wie zuvor beschrieben wurde, erfolgt nach dem Bildanzeigesystem 1 der zweiten veranschaulichenden Ausführungsform in der Draufsicht die Bewegung der perspektivischen Position VL auf Grundlage der Achse (Y-Achse) des kartesischen Koordinatensystems cc, welches die Längsachse des Fahrzeugs 2 ist. Dadurch werden in der Draufsicht, wenn der Nutzer die Wischbedienung in der Links-Rechts-Richtung (horizontalen Richtung) auf dem Touchpanel 83a durchführt, die linken und rechten Bereiche des Fahrzeugs 2 einschließlich der Seiten des Fahrzeugs 2 angezeigt. Aus diesem Grund kann der Nutzer genau die linken und rechten Bereiche des Fahrzeugs 2 überprüfen.
<3. Abgeänderte Ausführungsformen>
Die vorliegende Erfindung ist nicht auf die vorherigen veranschaulichenden Ausführungsformen beschränkt, und es können eine Vielfalt an Änderungen vorgenommen werden. Im Folgenden werden die abgeänderten Ausführungsformen beschrieben. In der Zwischenzeit können die vorherigen veranschaulichenden Ausführungsformen und die abgeänderten Ausführungsformen geeignet kombiniert werden.
In den jeweiligen veranschaulichenden Ausführungsformen ist die Bilderfassungsvorrichtung 3 ausgebildet, um die Aufnahme nach dem Erhalt der Anforderung bezüglich einer Bildübertragung von dem Nutzer zu starten. Die Bilderfassungsvorrichtung 3 kann jedoch ausgebildet werden, um die Aufnahme zu starten, bevor die Anforderung bezüglich einer Bildübertragung von dem Nutzer erhalten wurde, d. h. nach der Betätigung des Überwachungssensors 5a. In diesem Fall kann sich der Nutzer auf die Umgebungssituationen des Fahrzeugs 2 sobald eine Anomalität in dem Fahrzeug auftritt, welche den Überwachungssensor 5a dazu bringt, zu arbeiten, beziehen.
33 stellt eine Skizze eines Bildanzeigesystems 1a dar, in welchem die Bilderfassungsvorrichtung 3 ausgebildet ist, um die Aufnahme nach der Betätigung des Überwachungssensors 5a zu starten. Wenn der Überwachungssensor 5a eine Anomalität des Fahrzeugs 2 detektiert, überträgt die Sicherheitsvorrichtung 5 ein Signal zum Anfordern des Aufnahmestarts an die Bilderfassungsvorrichtung 3. Wenn die Bilderfassungsvorrichtung 3 das Signal empfängt, betätigt die Bilderfassungsvorrichtung 3 die Kameras 4 zum Starten der Aufnahme. D. h., die Bilderfassungsvorrichtung 3 startet die Aufnahme nach dem Auftreten der Anomalität in dem Fahrzeug 2 ohne auf die Anforderung bezüglich einer Bildübertragung von dem Nutzer zu warten. Wenn die Bilderfassungsvorrichtung 3 die Aufnahme startet, überträgt die Bilderfassungsvorrichtung 3 die Bilddaten zu einem externen Server SV. Dadurch wird verhindert, dass die Bilddaten in dem Server SV erhalten werden, sobald die Anomalität in dem Fahrzeug 2 aufgetreten ist. Daher fordert der Nutzer den Server SV auf, das Bild zu übertragen, wenn der Nutzer von der Sicherheitsvorrichtung 5 eine Mail empfängt, welche darüber berichtet, dass die Anomalität in dem Fahrzeug 2 aufgetreten ist. Wenn der Server SV die Anforderung bezüglich einer Bildübertragung erhält, überträgt der Server SV die Bilddaten an das tragbare Endgerät 8, das der Nutzer mit sich führt, sobald die Anomalität in dem Fahrzeug 2 aufgetreten ist. Dadurch kann sich der Nutzer auf die Umgebungssituationen des Fahrzeugs 2 beziehen, sobald der Überwachungssensor 5a gearbeitet hat, d. h., die Anomalität in dem Fahrzeug 2 aufgetreten ist. Wenn der Server SV als ein dedizierter Server zum Übertragen und Empfangen der Bilddaten ausgebildet ist, besteht auch keine Sorge, dass die Bilddaten von der anderen Person abgefangen werden. D. h., es ist möglich, die Vertraulichkeit der Bilddaten zu erhöhen. In der Zwischenzeit kann der Nutzer den Server SV auffordern, die aktuellen Bilddaten zu übertragen, wenn der Nutzer die aktuellen Umgebungssituationen des Fahrzeugs 2 überprüfen möchte. In diesem Fall überträgt der Server SV die aktuellen Bilddaten ohne die Bilddaten von dem Auftreten der Anomalität bis jetzt zu übertragen.
Es werden die anderen abgeänderten Ausführungsformen beschrieben. In den jeweiligen veranschaulichenden Ausführungsformen sind die Bilderfassungsvorrichtung 3, die Kameras 4, die Sicherheitsvorrichtung 5 und die Alarmeinheit 6 an dem Fahrzeug 2 montiert. Die entsprechenden Vorrichtungen können jedoch an zu überwachenden Böden, Häusern, Gebäuden oder Produkten montiert werden.
In den jeweiligen veranschaulichenden Ausführungsformen führt der Nutzer die Eingabebedienung an dem Touchpanel durch. Der Nutzer kann jedoch die Eingabebedienung durch einen druckknopfartigen Schalter wie eine Pfeiltaste durchführen, solange die Eingabebedienung des Nutzers unterschieden werden kann.
In den jeweiligen veranschaulichenden Ausführungsformen sind die Bilderfassungsvorrichtung 3 und das tragbare Endgerät 8 separate Vorrichtungen. Die Bilderfassungsvorrichtung 3 und das tragbare Endgerät 8 können jedoch als integrierte Vorrichtung ausgebildet sein.
In den jeweiligen veranschaulichenden Ausführungsformen sind die jeweiligen Funktionen des Bildanzeigesystems 1 als die auf dem Programm basierende Software implementiert. Die jeweiligen Funktionen des Bildanzeigesystems 1 können jedoch als elektrische Hardwareschaltungen ausgeführt sein.
Im vorliegenden Dokument ist die Japanische Patentanmeldung Nr. 2013-214014 aufgenommen, die am 11. Oktober 2013 eingereicht wurde, welche einen Teil der Anmeldung bildet.

Claims

Bildanzeigevorrichtung umfassend: eine Erfassungseinheit, die ausgebildet ist, um mehrere Bilder zu erfassen, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras erhalten werden; eine Erzeugungseinheit, die ausgebildet ist, um die mehreren Bilder zu synthetisieren und ein synthetisiertes Bild unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive zu erzeugen; eine Anzeigesteuereinheit, die ausgebildet ist, um das synthetisierte Bild auf einem Bildschirm anzuzeigen; und eine Detektionseinheit, die ausgebildet ist, um eine Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des synthetisierten Bilds, das auf dem Bildschirm angezeigt wird, zu detektieren, wobei die Erzeugungseinheit ausgebildet ist, um die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung zu ändern.
Die Bildanzeigevorrichtung nach Anspruch 1, wobei das synthetisierte Bild ein Bild ist, in welchem ein Bezugspunkt zu sehen ist, der an einer bestimmten Position des Abbildungsgegenstands bezüglich der Position der virtuellen Perspektive festgelegt wird, ungeachtet der Position der virtuellen Perspektive.
Bildanzeigevorrichtung nach Anspruch 2, wobei die mehreren Kameras an einem Fahrzeug montiert sind, und wobei die Erzeugungseinheit ausgebildet ist, um die Position der virtuellen Perspektive auf Grundlage eines Weltkoordinatensystems, in welchem der Bezugspunkt als ein Ursprung bezüglich des Fahrzeugs festgelegt wird, und eines perspektivischen Koordinatensystems, in welchem der Bezugspunkt als ein Ursprung bezüglich der virtuellen Perspektive festgelegt wird, zu ändern.
Bildanzeigevorrichtung nach Anspruch 2 oder 3, wobei eine Position des Bezugspunkts durch einen Nutzer festgelegt werden kann.
Bildanzeigevorrichtung nach einem der Ansprüche 2 bis 4, wobei die Erzeugungseinheit die Position der virtuellen Perspektive bezüglich einer vertikalen Achse des Weltkoordinatensystems ändert, wenn die Nutzerbedienung eine Betätigung ist, die eine horizontale Richtung auf dem Bildschirm angibt.
Bildanzeigevorrichtung nach einem der Ansprüche 2 bis 4, wobei die Erzeugungseinheit die Position der virtuellen Perspektive bezüglich einer horizontalen Achse des perspektivischen Koordinatensystems ändert, wenn die Nutzerbedienung eine Bedienung ist, die eine vertikale Richtung auf dem Bildschirm angibt.
Bildanzeigevorrichtung nach Anspruch 6, wobei die Erzeugungseinheit die Position der virtuellen Perspektive innerhalb eines Bereichs oberhalb einer Bodenkontaktfläche des Abbildungsgegenstands ändert, wenn die Position der virtuellen Perspektive bezüglich der horizontalen Achse des perspektivischen Koordinatensystems geändert wird.
Bildanzeigevorrichtung nach Anspruch 2, wobei die mehreren Kameras an einem Fahrzeug montiert sind, und wobei die Erzeugungseinheit die Position der virtuellen Perspektive bezüglich einer Längsachse des Fahrzeugs ändert, wenn eine Nutzerbedienung, die eine horizontale Richtung auf dem Bildschirm angibt, bezüglich des Referenzpunkts durchgeführt wird, der aus der virtuellen Perspektive betrachtet wird, die unmittelbar oberhalb des Fahrzeugs liegt.
Bildanzeigesystem umfassend: eine Bilderfassungsvorrichtung und eine Bildanzeigevorrichtung, die in der Lage ist, eine Kommunikation mit der Bilderfassungsvorrichtung durchzuführen, wobei die Bilderfassungsvorrichtung Folgendes umfasst: eine Erfassungseinheit, die ausgebildet ist, um mehrere Bilder zu erfassen, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras erhalten werden, eine Anforderungsempfangseinheit, die ausgebildet ist, um von der Bildanzeigevorrichtung ein Anforderungssignal zum Anfordern einer Übertragung der mehreren Bilder zu empfangen, und eine Bildübertragungseinheit, die ausgebildet ist, um die mehreren Bilder auf Grundlage des Anforderungssignals zu übertragen, wobei die Bildanzeigevorrichtung Folgendes umfasst: eine Anforderungsübertragungseinheit, die ausgebildet ist, um das Anforderungssignal zum Anfordern einer Übertragung der mehreren Bilder an die Bilderfassungsvorrichtung zu übertragen, eine Bildempfangseinheit, die ausgebildet ist, um die mehreren Bilder von der Bilderfassungsvorrichtung zu empfangen, eine Erzeugungseinheit, die ausgebildet ist, um die mehreren Bilder zu synthetisieren und ein synthetisiertes Bild zu erzeugen unter Betrachtung der Abbildungsgegenstand aus einer virtuellen Perspektive, eine Anzeigesteuereinheit, die ausgebildet ist, um das synthetisierte Bild auf einem Bildschirm anzuzeigen, und eine Detektionseinheit, die ausgebildet ist, um eine Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des synthetisierten Bilds, das auf dem Bildschirm angezeigt wird, zu detektieren, und wobei die Erzeugungseinheit ausgebildet ist, um die virtuelle Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung zu ändern.
Bildanzeigesystem nach Anspruch 9, wobei die Bilderfassungsvorrichtung an einem Fahrzeug montiert ist, wobei der Abbildungsgegenstand das Fahrzeug umgibt, das Bildanzeigesystem eine Sicherheitsvorrichtung umfasst, die ausgebildet ist, um eine vorherige Erscheinung, die zu einem Diebstahl des Fahrzeugs führt, zu detektieren, und die Sicherheitsvorrichtung Folgendes umfasst: eine Überwachungseinheit, die ausgebildet ist, um die vorherige Erscheinung zu detektieren, und eine Benachrichtigungseinheit, die ausgebildet ist, um die Bildanzeigevorrichtung über die Detektion der vorherigen Erscheinung zu benachrichtigen.
Bildanzeigeverfahren umfassend: (a) einen Schritt des Erfassens mehrerer Bilder, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras erhalten werden: (b) einen Schritt des Synthetisierens der mehreren Bilder und des Erzeugens eines synthetisierten Bilds unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive; (c) einen Schritt des Anzeigens des synthetisierten Bilds auf einem Bildschirm; und (d) einen Schritt des Detektierens einer Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des synthetisierten Bilds, das auf dem Bildschirm angezeigt wird, wobei in Schritt (b) die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung geändert wird.
Programm, das ausgebildet ist, um durch einen Computer ausgeführt werden zu können, der in einer Bildanzeigevorrichtung enthalten ist, die ausgebildet ist, um ein Bild anzuzeigen, wobei das Programm ausgebildet ist, um es dem Computer zu ermöglichen, Folgendes auszuführen: (a) einen Schritt des Erfassens mehrerer Bilder, die durch das Aufnehmen eines Abbildungsgegenstands unter Verwendung mehrerer Kameras erhalten werden; (b) einen Schritt des Synthetisierens der mehreren Bilder und des Erzeugens eines synthetisierten Bilds unter Betrachtung des Abbildungsgegenstands aus einer virtuellen Perspektive; (c) einen Schritt des Anzeigens des synthetisierten Bilds auf einem Bildschirm; und (d) einen Schritt des Detektierens einer Nutzerbedienung zum Ändern einer Position der virtuellen Perspektive des synthetisierten Bilds, das auf dem Bildschirm angezeigt wird; wobei in Schritt (b) die Position der virtuellen Perspektive des synthetisierten Bilds auf Grundlage der Nutzerbedienung geändert wird.