DE102022118923A1

DE102022118923A1 - Bildaufnahmevorrichtung, die als eine Aktionskamera verwendet wird, Kalibrierungssystem, Steuerungsverfahren für eine Bildaufnahmevorrichtung und Speichermedium, das ein Steuerungsprogramm für eine Bildaufnahmevorrichtung speichert

Info

Publication number: DE102022118923A1
Application number: DE102022118923.6A
Authority: DE
Inventors: Takuya Imaizumi; Takashi Kawakami
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-07-30
Filing date: 2022-07-28
Publication date: 2023-02-02
Also published as: US11849217B2; GB202210561D0; CN115695961A; GB2611157A; US20230031298A1

Abstract

Eine Bildaufnahmevorrichtung, die eine Beobachtungsrichtungserfassungseinheit (20) umfasst, wird an einem anderen Körperteil als einem Kopf eines Benutzers getragen und erfasst eine Beobachtungsrichtung des Benutzers. Eine Bildaufnahmeeinheit (40) wird an einem Körper des Benutzers getragen und nimmt ein Bild auf. Eine Aufzeichnungsrichtungsbestimmungseinheit (30) bestimmt eine Aufzeichnungsrichtung unter Verwendung eines Erfassungsergebnisses der Beobachtungsrichtungserfassungseinheit. Eine Abweichungserfassungseinheit (9021) erfasst eine Abweichung der Bildaufnahmevorrichtung mit Bezug auf den Körper. Eine Bildaufzeichnungseinheit (60) zeichnet einen Teil des Bildes, das durch die Bildaufnahmeeinheit aufgenommen wird, in einem Aufzeichnungsbereich auf, der gemäß der Aufzeichnungsrichtung und der Abweichung bestimmt ist.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildaufnahmevorrichtung, die als eine Aktionskamera verwendet wird, ein Kalibrierungssystem, ein Steuerungsverfahren für die Bildaufnahmevorrichtung und ein Speichermedium, das ein Steuerungsprogramm für die Bildaufnahmevorrichtung speichert.
Beschreibung des Standes der Technik
Wenn ein Benutzer ein Bild eines Objekts mit einer Kamera aufnimmt, muss der Benutzer die Kamera kontinuierlich in Richtung des Objekts richten. Dementsprechend kann es der Benutzer schwierig finden, andere Aktionen als eine Bildaufnahmeaktion zu handhaben. Weiterhin kann es der Benutzer schwierig finden, seine Aufmerksamkeit auf seine unmittelbare Umgebung zu richten.
Als ein Verfahren zum Lösen dieser Probleme wurden Verfahren erwogen, bei denen eine Kamera an einem Kopf eines Benutzers mit Hilfe eines Kopfbefestigungszubehörs befestigt wird, um ein Bild in einer Beobachtungsrichtung aufzunehmen. Dies ermöglicht dem Benutzer, eine Bildaufnahmeoperation durchzuführen, ohne mit der Bildaufnahmeoperation beschäftigt zu sein. Weiterhin wird ebenso ein Verfahren erwogen, das ein Bild in einem weiten Bereich mit einer Kamera für die gesamte Himmelssphäre während eines Erlebnisses aufnimmt. Dies ermöglicht einem Benutzer, seine Aufmerksamkeit während einer Bildaufnahmeoperation auf sein Erlebnis zu fokussieren. Nach dem Erlebnis kann der Benutzer einen gewünschten Bildteil von dem aufgenommenen Bild der gesamten Himmelssphäre extrahieren und bearbeiten, um ein Bild des Erlebnisses zu erhalten.
Da jedoch die erste Methode eine mühsame Aktion erfordert, bei der der Kopf mit der Aktionskamera ausgestattet wird, kann es für den Benutzer schwierig sein, sich auf das Erlebnis zu konzentrieren. Darüber hinaus ist das letztgenannte Verfahren für den Benutzer sehr anstrengend, weil der Benutzer einen notwendigen Teil von dem gesamten Himmelsphärenbild extrahieren und bearbeiten muss.
Die Japanische Patentveröffentlichung (Kokai) Nummer 2007-74033 ( JP 2007-74033 A ) offenbart eine Technik, die zusätzlich zu der ersten Kamera, die ein Objekt aufnimmt, eine zweite Kamera, die einen Benutzer aufnimmt, verwendet. Diese Technik berechnet eine Bewegungsrichtung und eine Sichtlinienrichtung eines Benutzers von einem Bild, das durch die zweite Kamera aufgenommen wird, bestimmt eine Bildaufnahmerichtung der ersten Kamera und nimmt ein Bild des Objekts, das basierend auf dem Blickpunkt und dem Zustand des Benutzers geschätzt wird, auf.
Die Japanische Patentoffenlegungsschrift (Kokai) Nummer 2017-60078 ( JP 2017-60078 A ) (Gegenstück zur US-Patentanmeldung 20170085841) offenbart ein Bildaufzeichnungssystem mit einer Sensoreinrichtung, die an einem Kopf eines Benutzers angebracht ist, und eine Bildaufnahmevorrichtung, die separat an einem Körper des Benutzers oder einer Tasche angebracht ist. Die Sensoreinrichtung besteht aus einem Gyro-Sensor und einem Beschleunigungssensor und erfasst eine Beobachtungsrichtung des Benutzers.
Die Bildaufnahmevorrichtung nimmt ein Bild in die Beobachtungsrichtung auf, die durch die Sensoreinrichtung erfasst wird.
Da jedoch die zweite Kamera der JP 2007-74033 A ein Bild des Benutzers von einer Position, die von dem Benutzer entfernt ist, aufnimmt, muss die zweite Kamera eine hohe optische Leistungsfähigkeit aufweisen, um die Bewegungsrichtung und Sichtlinienrichtung des Benutzers von dem Bild, das durch die zweite Kamera aufgenommen wird, zu berechnen. Außerdem, da eine hohe arithmetische Verarbeitungsfähigkeit zum Verarbeiten des Bildes, das durch die zweite Kamera aufgenommen wird, notwendig ist, wird ein Maßstab einer Vorrichtung groß.
Weiterhin, da die Sensoreinrichtung der JP 2017-60078 A eine Beobachtungsrichtung des Benutzers direkt erfasst, muss der Benutzer den Kopf mit der Sensoreinrichtung ausstatten, was das Problem des mühevollen Anbringens von irgendeiner Einrichtung an dem Kopf nicht lösen kann. Außerdem, wenn die Sensoreinrichtung aus einem Gyro-Sensor oder einem Beschleunigungssensor besteht, kann eine gewisse Genauigkeit bei der Erfassung einer relativen Beobachtungsrichtung erhalten werden. Da jedoch eine Genauigkeit der Erfassung einer absoluten Beobachtungsrichtung speziell in der horizontalen Rotationsrichtung nicht erhalten werden kann, gibt es ein Problem bei einer praktischen Anwendung.
Kurzfassung der Erfindung
Die vorliegende Erfindung stellt eine Technik bereit, die dazu in der Lage ist, ein Ändern einer Bildaufnahmerichtung durch einen Benutzer während einer Bildaufnahmeoperation zu eliminieren und ein Bild, das ein Erlebnis aufzeichnet, während eine Aufmerksamkeit auf das Erlebnis gerichtet werden kann, einfach zu erhalten.
Dementsprechend stellt ein Aspekt der vorliegenden Erfindung eine Bildaufnahmevorrichtung bereit, mit einer Beobachtungsrichtungserfassungseinheit, die dazu angepasst ist, an einem anderen Körperteil als einem Kopf eines Benutzers getragen zu werden, und dazu konfiguriert ist, eine Beobachtungsrichtung des Benutzers zu erfassen, zumindest einer Bildaufnahmeeinheit, die dazu angepasst ist, an einem Körper des Benutzers getragen zu werden und dazu konfiguriert ist, ein Bild aufzunehmen, einer Aufzeichnungsrichtungsbestimmungseinheit, die dazu konfiguriert ist, eine Aufzeichnungsrichtung zu bestimmen, unter Verwendung eines Erfassungsergebnisses der Beobachtungsrichtung, einer Abweichungserfassungseinheit, die dazu konfiguriert ist, eine Abweichung der Bildaufnahmevorrichtung mit Bezug auf den Körper des Benutzers zu erfassen, und einer Bildaufzeichnungseinheit, die dazu konfiguriert ist, einen Teil des Bildes, das durch die Bildaufnahmeeinheit aufgenommen wird, in einem Aufzeichnungsbereich aufzuzeichnen, der gemäß der Aufzeichnungsrichtung, die durch die Aufzeichnungsrichtungsbestimmungseinheit bestimmt wird, und der Abweichung, die durch die Abweichungserfassungseinheit erfasst wird, bestimmt wird.
Gemäß der vorliegenden Erfindung wird ein Ändern einer Bildaufnahmerichtung durch einen Benutzer während einer Bildaufnahmeoperation unnötig und ein Bild, das ein Erlebnis aufzeichnet, kann einfach erhalten werden, während eine Aufmerksamkeit auf das Erlebnis gerichtet wird.
Weitere Merkmale der vorliegenden Erfindung werden von der folgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die anhängigen Zeichnungen ersichtlich.
Figurenliste

1A ist eine externe Ansicht, die einen Kameraaufbau mit einer Bildaufnahme-/Erfassungseinheit als eine Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel zeigt.
1B ist eine Ansicht, die einen Zustand zeigt, in dem ein Benutzer den Kameraaufbau trägt.
1C ist eine Ansicht, die eine Batterieeinheit in dem Kameraaufbau zeigt, wenn von der Rückseite in 1A aus betrachtet.
1D ist eine externe Ansicht, die eine Anzeigevorrichtung als eine tragbare Einrichtung gemäß dem ersten Ausführungsbeispiel zeigt, die von dem Kameraaufbau getrennt ist.
2A ist eine Frontansicht der Bildaufnahme-/Erfassungseinheit in dem Kameraaufbau.
2B ist eine Ansicht, die eine Form eines Bandteils eines Verbindungselements in dem Kameraaufbau zeigt.
2C ist eine Rückansicht, die die Bildaufnahme-/Erfassungseinheit zeigt.
2D ist eine Draufsicht, die die Bildaufnahme-/Erfassungseinheit zeigt.
2E ist eine Ansicht, die eine Konfiguration einer Gesichtsrichtungserfassungseinheit zeigt, die innerhalb der Bildaufnahme-/ Erfassungseinheit und unter einem Gesichtsrichtungserfassungsfenster in dem Kameraaufbau angeordnet ist.
2F ist eine Ansicht, die einen Zustand zeigt, in dem ein Benutzer den Kameraaufbau trägt, wenn von einer linken Seite des Benutzers aus betrachtet.
3A, 3B und 3C sind Ansichten, die Details der Batterieeinheit zeigen.
4 ist ein funktionales Blockdiagramm, das den Kameraaufbau gemäß dem ersten Ausführungsbeispiel zeigt.
5 ist ein Blockdiagramm, das eine Hardwarekonfiguration des Kameraaufbaus gemäß dem ersten Ausführungsbeispiel zeigt.
6 ist ein Blockdiagramm, das eine Hardwarekonfiguration der Anzeigevorrichtung zeigt.
7A ist ein Ablaufdiagramm, das einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem ersten Ausführungsbeispiel schematisch zeigt, der durch den Kameraaufbau und die Anzeigevorrichtung durchgeführt wird.
7B ist ein Ablaufdiagramm, das eine Unterroutine eines Vorbereitungsprozesses in einem Schritt S100 in 7A gemäß dem ersten Ausführungsbeispiel zeigt.
7C ist ein Ablaufdiagramm, das eine Unterroutine eines Gesichtsrichtungserfassungsprozesses in einem Schritt S200 in 7A gemäß dem ersten Ausführungsbeispiel zeigt.
7D ist ein Ablaufdiagramm, das eine Unterroutine eines Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in einem Schritt S300 in 7A gemäß dem ersten Ausführungsbeispiel zeigt.
7E ist ein Ablaufdiagramm, das eine Unterroutine eines Entwicklungsprozesses in einem Schritt S500 in 7A gemäß dem ersten Ausführungsbeispiel zeigt.
7F ist eine Ansicht zum Beschreiben eines Prozesses in den Schritten S200 bis S500 in 7A in einer Videobildbetriebsart.
8A ist eine Ansicht, die ein Bild eines Benutzers zeigt, wenn von dem Gesichtsrichtungserfassungsfenster aus betrachtet.
8B ist eine Ansicht, die einen Fall zeigt, in dem fluoreszierende Lampen in einem Raum als Hintergrund in dem Bild des Benutzers erscheinen, wenn von dem Gesichtsrichtungserfassungsfenster aus betrachtet.
8C ist eine Ansicht, die ein Bild zeigt, das durch Abbilden des Benutzers und fluoreszierender Lampen als Hintergrund, die in 8B gezeigt sind, auf einem Sensor der Infraroterfassungseinrichtung durch das Gesichtsrichtungserfassungsfenster in einem Zustand erhalten wird, in dem Infrarot-LEDs der Infraroterfassungseinrichtung nicht beleuchtet sind.
8D ist eine Ansicht, die ein Bild zeigt, das durch Abbilden des Benutzers und fluoreszierender Lampen als Hintergrund, die in 8B gezeigt sind, auf dem Sensor der Infraroterfassungseinrichtung durch das Gesichtsrichtungserfassungsfenster in einem Zustand erhalten wird, in dem Infrarot-LEDs beleuchtet sind.
8E ist eine Ansicht, die ein Differenzbild zeigt, das durch Subtrahieren des Bildes in 8C von dem Bild in 8D erhalten wird.
8F ist eine Ansicht, die ein Ergebnis zeigt, das durch Anpassen von Schattierungen des Differenzbildes in 8E erhalten wird, um mit einer Skala von Lichtintensitäten von reflektierten Komponenten des Infrarotlichts übereinzustimmen, das auf ein Gesicht und einen Hals des Benutzers projiziert wird.
8G ist eine Ansicht, die durch Überlagerung von Bezugszeichen, die Teile eines Körpers des Benutzers bezeichnen, erhalten wird, wobei ein Doppelkreis eine Kehlenposition bzw. eine Position einer Kehle zeigt und ein schwarzer Kreises eine Kinnposition in 8F zeigt.
8H ist eine Ansicht, die ein Differenzbild zeigt, das durch das ähnliche Verfahren wie in 8E berechnet wird, wenn das Gesicht des Benutzers nach rechts gerichtet ist.
8I ist eine Ansicht, die ein Ergebnis zeigt, das durch Anpassen von Schattierungen des Differenzbildes in 8H erhalten wird, um mit einer Skala von Lichtintensitäten von reflektierten Komponenten des Infrarotlichts übereinzustimmen, das auf ein Gesicht und einen Hals des Benutzers projiziert wird, und durch Überlagern des Doppelkreises, der die Kehlenposition zeigt, und des schwarzen Kreises, der die Kinnposition zeigt.
8J ist eine Ansicht, die ein Bild des Benutzers zeigt, der das Gesicht um 33° nach oben richtet, wenn von dem Gesichtsrichtungserfassungsfenster aus betrachtet.
8K ist eine Ansicht, die ein Ergebnis zeigt, das durch Anpassen von Schattierungen eines Differenzbildes, das durch das ähnliche Verfahren von 8E berechnet wird, in einem Fall, in dem der Benutzer das Gesicht um 33° nach oben richtet, um mit einer Skala von Lichtintensitäten von reflektierten Komponenten des Infrarotlichts übereinzustimmen, das auf ein Gesicht und einen Hals des Benutzers projiziert wird und durch Überlagern des Doppelkreises, der die Kehlenposition zeigt, und des schwarzen Kreises, der die Kinnposition zeigt, erhalten wird.
9 ist ein Zeitdiagramm, das eine Beleuchtungszeitsteuerung der Infrarot-LEDs und die zugehörigen Signale zeigt.
10A bis 10D sind Ansichten, die Bewegungen des Gesichts des Benutzers in einer vertikalen Richtung beschreiben.
11A ist eine Ansicht, die ein Sollsichtfeld anzeigt, das in einem Superweitwinkelbild eingestellt ist, das durch die Bildaufnahmeeinheit des Kameraaufbaus aufgenommen wird, in einem Fall, in dem der Benutzer nach vorne schaut.
11B ist eine Ansicht, die ein Bild in dem Sollsichtfeld zeigt, das von dem Superweitwinkelbild in 11A extrahiert ist.
11C ist eine Ansicht, die das Sollsichtfeld zeigt, das in dem Superweitwinkelbild eingestellt ist, in einem Fall, in dem der Benutzer ein A-Objekt beobachtet.
11D ist eine Ansicht, die ein Bild zeigt, das durch Korrigieren einer Verzerrung und einer Unschärfe eines Bildes in dem Sollsichtfeld in 11C erhalten wird, das von dem Superweitwinkelbild extrahiert wird.
11E ist eine Ansicht, die ein Sollsichtfeld zeigt, das in dem Superweitwinkelbild eingestellt ist, in einem Fall, in dem der Benutzer das A-Objekt bei einem Feldwinkeleinstellungswert beobachtet, der kleiner ist als der in 11C.
11F ist eine Ansicht, die ein Bild zeigt, das durch Korrigieren einer Verzerrung und einer Unschärfe eines Bildes in dem Sollsichtfeld in 11E, das von dem Superweitwinkelbild extrahiert wird, erhalten wird.
12A ist eine Ansicht, die ein Beispiel des Sollsichtfeldes zeigt, das in dem Superweitwinkelbild eingestellt ist.
12B ist eine Ansicht, die ein Beispiel des Sollsichtfeldes zeigt, das in dem Superweitwinkelbild eingestellt ist, in einem Fall, in dem der Feldwinkeleinstellungswert identisch zu dem des Sollsichtfeldes in 12A ist und in dem die Beobachtungsrichtung verschieden ist.
12C ist eine Ansicht, die ein anderes Beispiel des Sollsichtfeldes zeigt, das in dem Superweitwinkelbild eingestellt ist, in einem Fall, in dem der Feldwinkeleinstellungswert identisch zu dem des Sollsichtfeldes in 12A ist und in dem die Beobachtungsrichtung verschieden ist.
12D ist eine Ansicht, die ein Beispiel des Sollsichtfeldes zeigt, das in dem Superweitwinkelbild eingestellt ist, in einem Fall, in dem die Beobachtungsrichtung identisch zu der des Sollsichtfeldes in 12C ist und in dem der Feldwinkeleinstellungswert kleiner ist.
12E ist eine Ansicht, die ein Beispiel zeigt, das eine Bildstabilisierungsspanne angibt, die einem vorbestimmten Bildstabilisierungsniveau um das Sollsichtfeld, das in 12A gezeigt ist, entspricht.
12F ist eine Ansicht, die ein Beispiel zeigt, das eine Bildstabilisierungsspanne angibt, die dem gleichen Bildstabilisierungsniveau der Bildstabilisierungsspanne in 12E um das Sollsichtfeld herum, das in 12B gezeigt ist, entspricht.
12G ist eine Ansicht, die ein Beispiel zeigt, das eine Bildstabilisierungsspanne angibt, die dem gleichen Bildstabilisierungsniveau der Bildstabilisierungsspanne in 12E um das Sollsichtfeld herum, das in 12D gezeigt ist, entspricht.
13 ist eine Ansicht, die einen Menübildschirm zum Einstellen von verschiedenen Einstellungswerten der Videobildbetriebsart zeigt, der auf einer Anzeigeeinheit der Anzeigevorrichtung angezeigt wird, vor einer Bildaufnahmeoperation des Kameraaufbaus.
14 ist ein Ablaufdiagramm, das eine Unterroutine eines Primäraufzeichnungsprozesses in einem Schritt S600 in 7A zeigt.
15 ist eine Ansicht, die eine Datenstruktur einer Bilddatei zeigt, die durch den Primäraufzeichnungsprozess erzeugt wird.
16 ist ein Ablaufdiagramm der Unterroutine eines Übertragungsprozesses an die Anzeigevorrichtung in einem Schritt S700 in 7A.
17 ist ein Ablaufdiagramm, das eine Unterroutine eines optischen Korrekturprozesses in einem Schritt S800 in 7A zeigt.
18A bis 18F sind Ansichten zum Beschreiben eines Prozesses des Anwendens einer Verzerrungskorrektur in dem Schritt S803 in 17.
19 ist ein Ablaufdiagramm, das eine Unterroutine eines Bildstabilisierungsprozesses in einem Schritt S900 in 7A zeigt.
20A und 20B sind Ansichten, die Details einer Kalibrierungseinrichtung zeigen, der für einen Kalibrierungsprozess gemäß einem zweiten Ausführungsbeispiel verwendet wird.
21 ist ein Ablaufdiagramm, das den Kalibrierungsprozess gemäß dem zweiten Ausführungsbeispiel zeigt, der durch den Kameraaufbau und die Kalibrierungseinrichtung ausgeführt wird.
22A ist eine Ansicht, die einen Bildschirm zeigt, der auf einer Anzeigeeinheit der Kalibrierungseinrichtung in einem Schritt S3103 in 21 während einer Kalibrierungsoperation für eine Frontrichtung des Benutzers angezeigt wird.
22B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer die Kalibrierungseinrichtung gemäß einer Anweisung, die als eine Anweisungsanzeige in 22A gezeigt ist, nach vorne hält.
22C ist eine schematische Ansicht, die ein gesamtes Superweitwinkelbild zeigt, das durch eine Bildaufnahmelinse in dem Zustand in 22B aufgenommen wird.
22D ist eine schematische Ansicht, die ein Bild zeigt, das durch Korrigieren von Aberrationen des Superweitwinkelbildes, das in 22C gezeigt ist, erhalten wird.
22E ist eine schematische Ansicht, die ein Gesichtsrichtungsbild zeigt, das durch eine Gesichtsrichtungserfassungseinheit in einem Schritt 3108 in 21, während der Kalibrierungsoperation für die Fronrichtung des Benutzers erhalten wird.
22F ist eine schematische Ansicht, die ein kamerainternes Bild zeigt, das in einem Schritt 3107 in 21 angezeigt wird.
23A ist eine Ansicht, die einen Bildschirm zeigt, der auf der Anzeigeeinheit der Kalibrierungseinrichtung in dem Schritt S3103 in 21 während der Kalibrierungsoperation in eine obere rechte Richtung des Benutzers angezeigt wird.
23B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer die Kalibrierungseinrichtung nach oben rechts hält, gemäß einer Anweisung, die als die Anweisungsanzeige in 23A gezeigt ist.
23C ist eine schematische Ansicht, die das gesamte Superweitwinkelbild zeigt, das durch die Bildaufnahmelinse in dem Zustand in 23B aufgenommen wird.
23D ist eine schematische Ansicht, die ein Bild zeigt, das durch Korrigieren von Aberrationen des Superweitwinkelbildes, das in 23C gezeigt ist, erhalten wird.
23E ist eine schematische Ansicht, die ein Gesichtsrichtungsbild zeigt, das durch die Gesichtsrichtungserfassungseinheit in dem Schritt S3108 in 21 während der Kalibrierungsoperation für die obere rechte Richtung des Benutzers erhalten wird.
24A und 24B sind Frontansichten, die schematisch einen Benutzer zeigen, der den Kameraaufbau trägt.
25A und 25B sind Seitenansichten, die schematisch den Benutzer zeigen, der den Kameraaufbau trägt.
26 ist ein funktionales Blockdiagramm, das den Kameraaufbau gemäß einem dritten Ausführungsbeispiel zeigt.
27A bis 27C sind Ansichten, die Bilder des Benutzers zeigen, wenn von dem Gesichtsrichtungserfassungsfenster aus betrachtet.
28A bis 28C sind Ansichten, die jeweils einen effektiven Projektionsbereich eines Superweitwinkelbildes, das durch die Bildaufnahmeeinheit aufgenommen wird, und ein Sollsichtfeld zeigen, das durch eine Bildextrahierungs-/Entwicklungseinheit extrahiert werden wird.
29 ist ein Ablaufdiagramm, das einen Abweichungserfassungsprozess zeigt.
30A ist eine Ansicht, die einen Zustand zeigt, in dem ein Benutzer seinen Kopf nicht neigt. 30B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer den Kopf seitlich neigt (den Kopf kippt bzw. schräg hält).
31 ist ein funktionales Blockdiagramm, das den Kameraaufbau gemäß einem vierten Ausführungsbeispiel zeigt.
32A und 32B sind Bilder des Benutzers, wenn von dem Gesichtsrichtungserfassungsfenster aus betrachtet.
33A und 33B sind Ansichten, die jeweils einen effektiven Projektionsbereich in einem Superweitwinkelbild, das durch die Bildaufnahmeeinheit aufgenommen wird, und ein Sollsichtfeld, das durch die Bildextrahierungs-/Entwicklungseinheit extrahiert werden wird, zeigen.
34 ist ein Ablaufdiagramm, das einen Prozess von einer Gesichtsrollwinkelerfassung zu einer Rollkorrektur eines extrahierten Bildes zeigt.
35A bis 35C sind Seitenansichten, die schematisch den Benutzer zeigen, der den Kameraaufbau gemäß dem fünften Ausführungsbeispiel trägt.
36A und 36B sind Graphen, die Beispiele eines Erfassungsergebnisses einer Gesichtsbewegung (eines Nickwinkels) in der vertikalen Richtung zeigen.
37 ist eine Ansicht, die Details einer Kalibrierungseinrichtung zeigt, der für einen Kalibrierungsprozess gemäß dem sechsten Ausführungsbeispiel verwendet wird.
38 ist ein Ablaufdiagramm, das einen Prozess des Kameraaufbaus in dem Kalibrierungsprozess gemäß dem sechsten Ausführungsbeispiel zeigt.
39 ist ein Ablaufdiagramm, das einen Prozess der Kalibrierungseinrichtung in dem Kalibrierungsprozess gemäß dem sechsten Ausführungsbeispiel zeigt.
40A und 40B sind schematische Ansichten, die Beispiele des Superweitwinkelbildes während der Kalibrierung zeigen.
41A und 41B sind schematische Ansichten, die Anzeigezustände der Anzeigeeinheit 803 zeigen.

Beschreibung der Ausführungsbeispiele
Nachstehend werden Ausführungsbeispiele der vorliegenden Erfindung detailliert durch Bezugnahme auf die Zeichnungen beschrieben.
Zuerst wird ein erstes Ausführungsbeispiel beschrieben. 1A bis 1D sind Ansichten zum Beschreiben eines Kamerasystems, das aus einem Kameraaufbau 1 und einer Anzeigevorrichtung 800, die von dem Kameraaufbau 1 getrennt ist, besteht. Der Kameraaufbau 1 umfasst eine Bildaufnahme-/ Erfassungseinheit 10 als eine tragbare Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel. Obwohl der Kameraaufbau 1 und die Anzeigevorrichtung 800 in diesem Ausführungsbeispiel separate Einrichtungen sind, können diese integriert sein.
1A ist eine externe Ansicht, die den Kameraaufbau 1 zeigt. Der Kameraaufbau 1 ist mit der Bildaufnahme-/Erfassungseinheit 10, einer Batterieeinheit (Leistungsquelleneinheit) 90, einem rechten Verbindungselement 80R und einem linken Verbindungselement 80L, wie in 1A gezeigt ist, bereitgestellt. Das rechte Verbindungselement 80R verbindet die Bildaufnahme-/ Erfassungseinheit 10 und die Batterieeinheit 90 auf der rechten Seite eines Körpers des Benutzers (linke Seite in 1A). Das linke Verbindungselement 80L verbindet die Bildaufnahme-/Erfassungseinheit 10 und die Batterieeinheit 90 auf der linken Seite des Körpers des Benutzers (rechte Seite in 1A).
Die Bildaufnahme-/Erfassungseinheit 10 ist mit einem Gesichtsrichtungserfassungsfenster 13, einem Startschalter 14, einem Stoppschalter 15, einer Bildaufnahmelinse 16, einer LED 17 und Mikrofonen 19L und 19R bereitgestellt.
Das Gesichtsrichtungserfassungsfenster 13 erlaubt eine Übertragung von Infrarotlicht, das von Infrarot-LEDs 22 ausgesendet wird (5, eine Infrarotabstrahlungseinheit), die in die Bildaufnahme-/Erfassungseinheit 10 eingebaut sind, um Positionen von Gesichtsteilen des Benutzers zu erfassen. Das Gesichtsrichtungserfassungsfenster 13 erlaubt ebenso eine Übertragung von reflektiertem Infrarotlicht von dem Gesicht.
Der Startschalter 14 wird verwendet, um eine Bildaufnahmeoperation zu starten. Der Stoppschalter 15 wird verwendet, um die Bildaufnahmeoperation zu stoppen. Die Bildaufnahmelinse 16 führt ein Licht von einem Objekt, das aufzunehmen ist, auf einen Solid-State-Bildsensor 42 (5) innerhalb der Bildaufnahme-/ Erfassungseinheit 10. Die LED 17 gibt einen Zustand an, dass eine Bildaufnahmeoperation im Gange ist. Zusätzlich oder alternativ kann die LED 17 als ein Warnlicht fungieren.
Die Mikrofone 19R und 19L nehmen peripheren Ton bzw. Umgebungsgeräusche auf. Das Mikrofon 19L nimmt einen Ton auf der linken Seite der Peripherie des Benutzers auf (rechte Seite in 1A). Das Mikrofon 19R nimmt einen Ton auf der rechten Seite der Peripherie des Benutzers auf (linke Seite in 1A).
1B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer den Kameraaufbau 1 trägt. Der Benutzer trägt den Kameraaufbau 1 derart, sodass sich die Batterieeinheit 90 in der Nähe einer Rückseite des Benutzers befindet und sich die Bildaufnahme-/Erfassungseinheit 10 in der Nähe zu der Vorderseite des Körpers des Benutzers befindet. Dadurch befindet sich die Bildaufnahme-/ Erfassungseinheit 10 vor den Schlüsselbeinen des Benutzers. Gleichzeitig befindet sich das Gesichtsrichtungserfassungsfenster 13 unter einem Kiefer des Benutzers. Eine in 2E gezeigte Infrarotkondensorlinse 26, die später erwähnt wird, ist innerhalb des Gesichtsrichtungserfassungsfensters 13 angeordnet. Eine optische Achse (optische Erfassungsachse) der Infrarotkondensorlinse 26 ist auf das Gesicht des Benutzers gerichtet und weist in eine andere Richtung als eine optische Achse (optische Bildaufnahmeachse) der Bildaufnahmelinse 16. Eine Gesichtsrichtungserfassungseinheit 20 inklusive der Infrarotkondensorlinse 26 erfasst eine Beobachtungsrichtung des Benutzers basierend auf Positionen der Gesichtsteile. Dies ermöglicht einer Bildaufnahmeeinheit 40, die später erwähnt wird, ein Bild eines Objekts in die Beobachtungsrichtung aufzunehmen. Eine Anpassung der Einstellungsposition aufgrund einer individuellen Differenz einer Körperform und einer Differenz der Kleidung wird später beschrieben.
Außerdem, da die Bildaufnahme-/Erfassungseinheit 10 auf der Vorderseite des Körpers angeordnet ist und die Batterieeinheit 90 auf der Rückseite auf diese Weise angeordnet ist, wird ein Gewicht des Kameraaufbaus 1 verteilt, was eine Ermüdung des Benutzers reduziert und einen Versatz des Kameraaufbaus aufgrund von Kräften auf den Kameraaufbau 1, die durch die Bewegung des Benutzers verursacht werden, reduziert.
Obwohl das Beispiel, in dem der Benutzer den Kameraaufbau 1 trägt, sodass sich die Bildaufnahme-/Erfassungseinheit 10 vor den Schlüsselbeinen des Benutzers befindet, beschrieben ist, ist das Ausführungsbeispiel nicht auf dieses Bespiel beschränkt. Das heißt, der Benutzer kann den Kameraaufbau 1 in jeglicher Position eines anderen Körperteils des Benutzers als dem Kopf tragen, solange der Kameraaufbau 1 die Beobachtungsrichtung des Benutzers erfassen kann und die Bildaufnahmeeinheit 40 ein Bild eines Objekts in der Beobachtungsrichtung aufnehmen kann.
1C ist eine Ansicht, die die Batterieeinheit 90 zeigt, wenn von einer Rückseite in 1A aus betrachtet. Die Batterieeinheit 90 ist mit einem Schlitz 91 zum Einführen des Ladekabels, Anpassungstasten 92L und 92R und einem Wirbelsäulenausschnitt 93 versehen, wie in 1C gezeigt ist. Ein (nicht gezeigtes) Ladekabel kann mit dem Schlitz 91 zum Einführen des Ladekabels verbunden werden. Eine externe Leistungsquelle lädt interne Batterien 94L und 94R (siehe 3A) und führt elektrische Leistung an die Bildaufnahme-/ Erfassungseinheit 10 über das Ladekabel zu.
Anpassungstasten 92L und 92R werden verwendet, um die entsprechenden Längen der Bandteile 82L und 82R der linken und rechten Verbindungselemente 80L und 80R anzupassen. Die Anpassungstaste 92L wird verwendet, um den linken Bandteil 82L anzupassen, und die Anpassungstaste 92R wird verwendet, um den rechten Bandteil 82R anzupassen. Obwohl die Längen der Bandteile 82L und 82R mit den Anpassungstasten 92L und 92R in dem Ausführungsbeispiel unabhängig angepasst werden, könnten die Längen der Bandteile 82L und 82R mit einer Taste gleichzeitig angepasst werden.
Der Wirbelsäulenausschnitt 93 wird durch Formen der Batterieeinheit 90 derart gebildet, dass die Batterieeinheit 90 die Wirbelsäule nicht berühren wird. Da der Wirbelsäulenausschnitt 93 einen konvexen Teil der Wirbelsäule des Körpers umgeht, wird eine Unannehmlichkeit des Tragens verringert und wird eine seitliche Verschiebung der Batterieeinheit 90 verhindert.
1D ist eine externe Ansicht, die die Anzeigevorrichtung 800 als eine tragbare Einrichtung gemäß dem ersten Ausführungsbeispiel, die von dem Kameraaufbau 1 getrennt ist, zeigt. Wie in 1D gezeigt ist, ist die Anzeigevorrichtung 800 mit einer A-Taste 802, einer Anzeigeeinheit 803, einer B-Taste 804, einer eingebauten Kamera 805, einem Gesichtssensor 806, einem Winkelgeschwindigkeitssensor 807 und einem Beschleunigungssensor 808 ausgestattet. Außerdem ist die Anzeigevorrichtung 800 mit einer Drahtlos-LAN-Einheit (in 1D nicht gezeigt) bereitgestellt, die eine Hochgeschwindigkeitsverbindung mit dem Kameraaufbau 1 ermöglicht.
Die A-Taste 802 besitzt eine Funktion einer Leistungstaste der Anzeigevorrichtung 800. Die Anzeigevorrichtung 800 empfängt eine AN-/AUS-Operation durch ein langes Drücken der A-Taste 802 und empfängt eine Bezeichnung eines anderen Prozesszeitpunkts durch ein kurzes Drücken der A-Taste 802.
Die Anzeigeeinheit 803 wird verwendet, um ein Bild, das durch den Kameraaufbau 1 aufgenommen wird, zu überprüfen, und kann einen Menübildschirm, der für eine Einstellung erforderlich ist, anzeigen. In diesem Ausführungsbeispiel empfängt ein transparenter Berührungssensor, der auf der Oberfläche der Anzeigeeinheit 803 bereitgestellt ist, eine Berührungsoperation auf einem Bildschirm (zum Beispiel einem Menübildschirm), der angezeigt wird.
Die B-Taste 804 fungiert als eine Kalibrierungstaste 854, die für einen später beschriebenen Kalibrierungsprozess verwendet wird. Die eingebaute Kamera 805 kann ein Bild einer Person, die die Anzeigevorrichtung 800 beobachtet, aufnehmen.
Der Gesichtssensor 806 erfasst eine Gesichtsform und eine Beobachtungsrichtung der Person, die die Anzeigevorrichtung 800 beobachtet. Eine konkrete Konfiguration des Gesichtssensors 806 ist nicht beschränkt. Zum Beispiel kann ein struktureller optischer Sensor, ein TOF-Sensor (TOF, „Time of Flight“) und ein Millimeterwellenradar eingesetzt werden.
Da der Winkelschwierigkeitssensor 807 in die Anzeigevorrichtung 800 eingebaut ist, ist dieser im Sinne einer perspektivischen Ansicht durch eine gestrichelte Linie dargestellt. Da die Anzeigevorrichtung 800 dieses Ausführungsbeispiels ebenso mit einer Funktion der später erwähnten Kalibrierungseinrichtung ausgestattet ist, wird ein dreiachsiger Gyro-Sensor, der die Erfassung in X-, Y- und Z-Richtungen ermöglicht, eingebaut, um die Bewegung der Anzeigevorrichtung 800 als Gyro-Daten zu erfassen. Der Beschleunigungssensor 808 erfasst eine Haltung der Anzeigevorrichtung 800.
Es sei angemerkt, dass ein allgemeines Smart-Phone als die Anzeigevorrichtung 800 gemäß diesem Ausführungsbeispiel eingesetzt wird. Das Kamerasystem des Ausführungsbeispiels wird durch Abgleichen von Firmware in dem Smart-Phone mit Firmware des Kameraaufbaus 1 verwirklicht. Unterdessen kann das Kamerasystem des Ausführungsbeispiels durch Abgleichen der Firmware des Kameraaufbaus 1 mit einer Anwendung und einem OS des Smart-Phones als die Anzeigevorrichtung 800 verwirklicht werden.
2A bis 2F sind Ansichten, die die Bildaufnahme-/Erfassungseinheit 10 im Detail beschreiben. In den Ansichten von 2A wird eine Komponente, die die gleiche Funktion wie ein Teil aufweist, der bereits beschrieben wurde, durch das gleiche Bezugszeichen angegeben und dessen Beschreibung wird in dieser Spezifikation weggelassen.
2A ist eine Frontansicht, die die Bildaufnahme-/Erfassungseinheit 10 zeigt. Das rechte Verbindungselement 80R umfasst den Bandteil 82R und ein Winkelhalteelement 81R eines festen Materials, das einen Winkel mit Bezug auf die Bildaufnahme-/Erfassungseinheit 10 hält. Das linke Verbindungselement 80L umfasst auf ähnliche Weise den Bandteil 82L und ein Winkelhalteelement 81L.
2B ist eine Ansicht, die die Formen der Bandteile 82L und 82R der linken und rechten Verbindungselemente 80L und 80R zeigt. In 2B sind die Winkelhalteelemente 81L und 81R als transparente Elemente gezeigt, um die Formen der Bandteile 82L und 82R zu zeigen.
Der Bandteil 82L ist mit einer linken Verbindungsfläche 83L und einem elektrischen Kabel 84 bereitgestellt, die auf der linken Seite des Körpers des Benutzers (rechte Seite in 2B) angeordnet sind, wenn der Benutzer den Kameraaufbau 1 trägt. Der Bandteil 82R ist mit einer rechten Verbindungsfläche 83R bereitgestellt, die auf der rechten Seite des Körpers des Benutzers (linke Seite in 2B) angeordnet ist, wenn der Benutzer den Kameraaufbau 1 trägt.
Die linke Verbindungsfläche 83L ist mit dem Winkelhalteelement 81L verbunden und ihre Querschnittsform ist eine Ellipse und kein perfekter Kreis. Die rechte Verbindungsfläche 83R besitzt eine ähnliche elliptische Form. Die rechte Verbindungsfläche 83R und die linke Verbindungsfläche 83L sind in einer umgekehrten V-Form bisymmetrisch angeordnet. Das heißt, die Entfernung zwischen der rechten Verbindungsfläche 83R und der linken Verbindungsfläche 83L wird in Richtung der oberen Seite von der unteren Seite in 2B kürzer. Dadurch, da die langen Achsenrichtungen der linken und rechten Verbindungsflächen 83L und 83R mit dem Körper des Benutzers übereinstimmen, wenn der Benutzer den Kameraaufbau 1 umhängt, berühren die Bandteile 82L und 82R den Körper des Benutzers auf eine komfortable Weise und eine Bewegung der Bildaufnahme-/Erfassungseinheit 10 in die Querrichtung und die Längsrichtung kann verhindert werden.
Das elektrische Kabel (Leistungsversorgungselement) 84 ist innerhalb des Bandteils 82L gelegen und verbindet die Batterieeinheit 90 und die Bildaufnahme-/Erfassungseinheit 10 elektrisch. Das elektrische Kabel 84 verbindet die Leistungsquelle der Batterieeinheit 90 mit der Bildaufnahme-/ Erfassungseinheit 10 oder überträgt ein elektrisches Signal mit einer externen Vorrichtung.
2C ist eine Rückansicht, die die Bildaufnahme-/Erfassungseinheit 10 zeigt. 2C zeigt die Seite, die den Körper des Benutzers kontaktiert. Das heißt, 2C ist eine Ansicht, wenn von der entgegengesetzten Seite von 2A aus betrachtet. Dementsprechend ist die positionelle Beziehung zwischen dem rechten Verbindungselement 80R und dem linken Verbindungselement 80L umgekehrt zu 2A.
Die Bildaufnahme-/Erfassungseinheit 10 ist mit einem Leistungsschalter 11, einem Bildaufnahmebetriebsartschalter 12 und Brustkontaktfeldern 18a und 18b auf der Rückseite bereitgestellt. Der Leistungsschalter 11 wird verwendet, um die Leistung des Kameraaufbaus 1 ein-/auszuschalten. Obwohl der Leistungsschalter 11 dieses Ausführungsbeispiels ein Schiebehalter ist, ist dieser nicht darauf beschränkt. Zum Beispiel kann der Leistungsschalter 11 ein Druckschalter sein oder kann ein Schalter sein, der mit einer Schiebeabdeckung (nicht gezeigt) der Bildaufnahmelinse 16 integriert gebildet ist.
Der Bildaufnahmebetriebsartschalter (ein Änderungselement) 12 wird verwendet, um eine Bildaufnahmebetriebsart zu ändern, das heißt, wird verwendet, um eine Betriebsart in Verbindung mit einer Bildaufnahmeoperation zu ändern. In diesem Ausführungsbeispiel kann der Bildaufnahmebetriebsartschalter 12 die Bildaufnahmebetriebsart aus einer Standbildbetriebsart, einer Videobildbetriebsart, und einer nachstehend erwähnten voreingestellten Betriebsart, die unter Verwendung der Anzeigevorrichtung 800 eingestellt wird, auswählen.
Die Brustkontaktfelder (Fixierungselemente) 18a und 18b berühren den Körper des Benutzers, wenn die Bildaufnahme-/Erfassungseinheit 10 an dem Körper des Benutzers angebracht wird. Wie in 2A gezeigt ist, ist die Bildaufnahme-/ Erfassungseinheit 10 derart geformt, dass die seitliche Gesamtlänge (links und rechts) beim Tragen des Kameraaufbaus 1 länger wird als die vertikale Gesamtlänge (oben und unten). Die Brustkontaktfelder 18a und 18b sind entsprechend in Umgebungen der rechten und linken Enden der Bildaufnahme-/ Erfassungseinheit 10 angeordnet. Diese Anordnung reduziert eine Rotationsunschärfe in der Querrichtung während der Bildaufnahmeoperation des Kameraaufbaus 1. Außerdem verhindern die Brustkontaktfelder 18a und 18b, dass der Leistungsschalter 11 und der Bildaufnahmebetriebsartschalter 12 den Körper des Benutzers berühren. Des Weiteren verhindern die Brustkontaktfelder 18a und 18b eine Wärmeübertragung auf den Körper des Benutzers, auch wenn sich die Bildaufnahme-/Erfassungseinheit 10 aufgrund einer langen Bildaufnahmeoperation aufheizt, und werden die Brustkontaktfelder 18a und 18b für die Anpassung des Winkels der Bildaufnahme-/Erfassungseinheit 10 verwendet.
2D ist eine Draufsicht, die die Bildaufnahme-/Erfassungseinheit 10 zeigt. Wie in 2D gezeigt ist, ist das Gesichtsrichtungserfassungsfenster 13 in dem Mittelteil der oberen Oberfläche der Bildaufnahme-/Erfassungseinheit 10 bereitgestellt und stehen die Brustkontaktfelder 18a und 18b von der Bildaufnahme-/Erfassungseinheit 10 hervor.
2E ist eine Ansicht, die eine Konfiguration der Gesichtsrichtungserfassungseinheit 20 zeigt, die innerhalb der Bildaufnahme-/ Erfassungseinheit 10 und unter dem Gesichtsrichtungserfassungsfenster 13 angeordnet ist. Die Gesichtsrichtungserfassungseinheit 20 ist mit dem Infrarot-LEDs 22 und der Infrarotkondensorlinse 26 bereitgestellt. Die Gesichtsrichtungserfassungseinheit 20 ist ebenso mit einem Infrarot-LED-Beleuchtungsschaltkreis 21 und einer Infraroterfassungseinrichtung 27, die in 5 gezeigt sind und später beschrieben werden, bereitgestellt.
Die Infrarot-LEDs 22 projizieren Infrarotlicht 23 (5) in Richtung des Benutzers. Die Infrarotkondensorlinse 26 bildet ein Licht 25 (5), das beim Projizieren des Infrarotlichts 23 von den Infrarot-LEDs von dem Benutzer reflektiert wird, auf einem (nicht gezeigten) Sensor der Infraroterfassungseinrichtung 27 ab.
2F ist eine Ansicht, die einen Zustand zeigt, in der ein Benutzer den Kameraaufbau 1 trägt, wenn von der linken Seite des Benutzers aus betrachtet. Eine Winkelanpassungstaste 85L ist in dem Winkelhalteelement 81L bereitgestellt und wird beim Anpassen des Winkels der Bildaufnahme-/Erfassungseinheit 10 verwendet. Eine Winkelanpassungstaste (in 2F nicht gezeigt) ist an dem entgegengesetzten Winkelhalteelement 81R in der symmetrischen Position der Winkelanpassungstaste 85L bereitgestellt. Obwohl die Winkelanpassungstasten in 2A, 2C und 2D tatsächlich sichtbar sind, werden diese weggelassen, um die Beschreibung zu vereinfachen.
Wenn das Winkelhalteelement 81L in 2F aufwärts oder abwärts bewegt wird, während die Winkelanpassungstaste 85L gedrückt wird, kann der Benutzer den Winkel zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Winkelhalteelement 81L ändern. Für die rechte Seite gilt die Gleiche wie für die linke Seite. Außerdem können die Vorsprungwinkel der Brustkontaktfelder 18a und 18b geändert werden. Die Funktionen dieser zwei Arten von Winkeländerungselementen (Winkelanpassungstasten und Brustkontaktfeldern) können die Bildaufnahme-/Erfassungseinheit 10 derart anpassen, dass die optische Achse der Bildaufnahmelinse 16 unabhängig von den individuellen Unterschieden einer Brustpositionsform horizontal gehalten werden kann.
3A, 3B und 3C sind Ansichten, die Details der Batterieeinheit 90 zeigen. 3A ist eine teilweise transparente Rückansicht, die die Batterieeinheit 90 zeigt.
Wie in 3A gezeigt ist, sind die linke Batterie 94L und die rechte Batterie 94R symmetrisch innerhalb der Batterieeinheit 90 montiert, um einen Gewichtsausgleich beizubehalten. Auf diese Weise, da die linke und rechte Batterie 94L und 94R symmetrisch zu dem Mittelteil der Batterieeinheit 90 angeordnet sind, wird ein Gewichtsausgleich in der Querrichtung verwirklicht und kann eine Positionsverschiebung des Kameraaufbaus 1 verhindert werden. Es sei angemerkt, dass die Batterieeinheit 90 eine einzelne Batterie aufnehmen kann.
3B ist eine Draufsicht, die die Batterieeinheit 90 zeigt. Die Batterien 94L und 94R sind ebenso in 3B als transparente Elemente gezeigt. Wie in 3B, da die Batterien 94L und 94R auf beiden Seiten des Wirbelsäulenausschnitts 93 symmetrisch angeordnet sind, kann die Last des Gewichts der Batterieeinheit 90 auf den Benutzer reduziert werden.
3C ist eine Rückansicht, die die Batterieeinheit 90 zeigt. 3C ist die Ansicht, wenn von der Seite aus betrachtet, die den Körper des Benutzers berührt, das heißt, ist die Ansicht von der entgegengesetzten Seite von 3A. Wie in 3C gezeigt ist, ist der Wirbelsäulenausschnitt 93 in der Mitte entlang der Wirbelsäule des Benutzers bereitgestellt.
4 ist ein funktionales Blockdiagramm, das den Kameraaufbau 1 zeigt. Nachstehend wird der Prozess, der durch den Kameraaufbau 1 ausgeführt wird, grob unter Verwendung von 4 beschrieben werden. Details werden später beschrieben.
Wie in 4 gezeigt ist, ist der Kameraaufbau 1 mit der Gesichtsrichtungserfassungseinheit 20, einer Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30, der Bildaufnahmeeinheit 40, einer Bildextrahierungs-/Entwicklungseinheit 50, einer Primäraufzeichnungseinheit 60, einer Übertragungseinheit 70 und einer zweiten Steuerung 111 bereitgestellt. Diese funktionalen Blöcke werden durch eine Steuerung einer Gesamtsteuerungs-CPU 101 (5) die den gesamten Kameraaufbau 1 steuert, verwirklicht.
Die Gesichtsrichtungserfassungseinheit 20 (eine Beobachtungsrichtungserfassungseinheit) ist ein funktionaler Block, der durch die vorstehend erwähnten Infrarot-LEDs 22, die Infraroterfassungseinrichtung 27, usw. ausgeführt wird. Die Gesichtsrichtungserfassungseinheit 20 schätzt eine Beobachtungsrichtung durch Erfassen der Gesichtsrichtung und gibt die Beobachtungsrichtung an die Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30 weiter.
Die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit (eine Aufzeichnungsrichtungsbestimmungseinheit) 30 bestimmt Informationen über eine Position und einen Bereich eines Bildes, das von Bildaufnahmedaten, die von der Bildaufnahmeeinheit 40 ausgegeben werden, extrahiert werden wird, durch Durchführen von verschiedenen Berechnungen basierend auf der Beobachtungsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 geschätzt wird. Und dann werden die Informationen an die Bildextrahierungs-/ Entwicklungseinheit 50 weitergegeben.
Die Bildaufnahmeeinheit 40 wird durch einen Bildaufnahmetreiber 41, einen Solid-State-Bildsensor 42, eine Bildsignalverarbeitungsschaltung 43 (5), usw., die später beschrieben werden, gebildet. In der Bildaufnahmeeinheit 40 wird ein Lichtstrahl von einem Objekt auf dem Solid-State-Bildsensor 42 abgebildet und ein Signal, das durch eine fotoelektrische Umwandlung erhalten wird, wird an die Bildsignalverarbeitungsschaltung 43 ausgegeben. Dann erzeugt die Bildsignalverarbeitungsschaltung 43 Aufnahmebilddaten basierend auf dem Signal von dem Solid-State-Bildsensor 42 und gibt die Aufnahmebilddaten an die Bildextrahierungs-/Entwicklungseinheit 50 weiter.
Die Bildextrahierungs-/Entwicklungseinheit (eine Entwicklungseinheit) 50 extrahiert Bilddaten, die der Benutzer betrachtet, von den Bildaufnahmedaten, die von der Bildaufnahmeeinheit 40 weitergegeben werden, unter Verwendung der Informationen, die von der Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30 weitergegeben werden. Dann entwickelt die Bildextrahierungs-/Entwicklungseinheit 50 das extrahierte Bild und gibt das entwickelte Bild an die Primäraufzeichnungseinheit 60 weiter.
Die Primäraufzeichnungseinheit 60 ist ein funktionaler Block, der durch einen Primärspeicher 103 (5) usw. gebildet ist, der Bilddaten aufzeichnet und diese zu einem erforderlichen Zeitpunkt an die Übertragungseinheit 70 weitergibt.
Die Übertragungseinheit 70 ist mit vorbestimmten Kommunikationsteilnehmern drahtlos verbunden, wie etwa der Anzeigevorrichtung 800 (1D), einer Kalibrierungseinrichtung bzw. einem Kalibrator 850 und einer vereinfachten Anzeigevorrichtung 900, und kommuniziert mit diesen Teilnehmern.
Die Anzeigevorrichtung 800 ist mit der Übertragungseinheit 70 über ein Hochgeschwindigkeitsdrahtlos-LAN (nachstehend einfach als „Hochgeschwindigkeitsdrahtlosnetzwerk“) verbindbar. In diesem Ausführungsbeispiel verwendet das Hochgeschwindigkeitsdrahtlosnetzwerk eine drahtlose Kommunikation entsprechend dem IEEE802.11ax-Standard (WiFi 6). Unterdessen kann eine drahtlose Kommunikation entsprechend anderen Standards, wie etwa dem WiFi 4-Standard und dem WiFi 5-Standard eingesetzt werden. Außerdem kann die Anzeigevorrichtung 800 eine dedizierte Vorrichtung sein, die für den Kameraaufbau 1 entwickelt ist, oder kann ein allgemeines Smart-Phone, ein Tablet-Terminal, usw. sein.
Zusätzlich kann die Anzeigevorrichtung 800 mit der Übertragungseinheit 70 über ein Drahtlosnetzwerk mit geringer Leistung verbunden werden, kann über sowohl das Hochgeschwindigkeitsdrahtlosnetzwerk als auch das Drahtlosnetzwerk mit geringer Leistung verbunden werden oder kann verbunden werden, während die Netzwerke umgeschaltet werden. In diesem Ausführungsbeispiel wird ein großer Betrag an Daten über das Hochgeschwindigkeitsdrahtlosnetzwerk übertragen und wird ein kleiner Betrag an Daten und Daten, die keine schnelle Übertragung erfordern, über das Drahtlosnetzwerk mit geringer Leistung übertragen. Obwohl Bluetooth (registrierte Marke) für das Drahtlosnetzwerk mit geringer Leistung in diesem Ausführungsbeispiel verwendet wird, können andere Nahbereichsdrahtloskommunikationen, wie etwa NFC (Nahfeldkommunikation) eingesetzt werden.
Die Kalibrierungseinrichtung bzw. der Kalibrator 850 führt eine anfängliche Einstellung und eine individuelle Einstellung des Kameraaufbaus 1 durch und kann mit der Übertragungseinheit 70 über das Hochgeschwindigkeitsdrahtlosnetzwerk auf die gleiche Weise wie die Anzeigevorrichtung 800 verbunden werden. Details der Kalibrierungseinrichtung 850 werden später beschrieben. Außerdem kann die Anzeigevorrichtung 800 die Funktion der Kalibrierungseinrichtung 850 aufweisen.
Die vereinfachte Anzeigevorrichtung 900 ist mit der Übertragungseinheit 70 zum Beispiel nur über das Drahtlosnetzwerk mit geringer Leistung verbindbar. Obwohl die vereinfachte Anzeigevorrichtung 900 aufgrund einer Zeitbeschränkung keinen großen Betrag an Daten mit der Übertragungseinheit 70 kommunizieren kann, kann es einen Bildaufnahmestand-/Stoppzeitpunkt übertragen und kann für eine Bildüberprüfung eines Zusammensetzungsüberprüfungsniveaus verwendet werden. Außerdem kann die vereinfachte Anzeigevorrichtung 900 eine dedizierte Vorrichtung sein, die für den Kameraaufbau 1 entwickelt ist, sowie die Anzeigevorrichtung 800, oder kann eine Smartwatch usw. sein.
5 ist ein Blockdiagramm, das eine Hardwarekonfiguration des Kameraaufbaus 1 zeigt. Außerdem werden die Konfigurationen und Funktionen, die unter Verwendung von 1A bis 1C beschrieben sind, durch gleiche Bezugszeichen angegeben und deren detaillierte Beschreibung wird weggelassen.
Wie in 5 gezeigt ist, ist der Kameraaufbau 1 mit der Gesamtsteuerungs-CPU 101, einem Leistungsschalter 11, einem Bildaufnahmebetriebsartschalter 12, einem Gesichtsrichtungserfassungsfenster 13, einem Startschalter 14, einem Stoppschalter 15, einer Bildaufnahmelinse 16 und einer LED 17 bereitgestellt.
Der Kameraaufbau 1 ist weiterhin mit der Infrarot-LED-Beleuchtungsschaltung 21, den Infrarot-LEDs 22, der Infrarotkondensorlinse 26 und der Infraroterfassungseinrichtung 27 bereitgestellt, die die Gesichtsrichtungserfassungseinheit 20 bilden (4).
Außerdem ist der Kameraaufbau 1 mit der Bildaufnahmeeinheit 40 (5) und der Übertragungseinheit 70 (5) bereitgestellt, die aus einer Drahtloskommunikationseinheit 71 mit geringer Leistung und einer Hochgeschwindigkeitsdrahtloskommunikationseinheit 72 besteht.
Die Bildaufnahmeeinheit 40 ist mit einem Bildaufnahmetreiber 41, einem Solid-State-Bildsensor 42 und einer Bildsignalverarbeitungsschaltung 43, usw. bereitgestellt. Der Bildaufnahmetreiber 41 umfasst einen Zeitpunktgenerator usw., erzeugt verschiedene Zeitpunktsignale, gibt die Zeitpunktsignale an Abschnitte bezüglich der Bildaufnahmeoperation aus und steuert den Solid-State-Bildsensor 42 an. Der Solid-State-Bildsensor 42 gibt das Signal, das durch eine fotoelektrische Umwandlung des Objektbildes, das durch die Bildaufnahmelinse 16 gebildet wird, die unter Verwendung von 1A beschrieben ist, erhalten wird, an die Bildsignalverarbeitungsschaltung aus. Die Bildsignalverarbeitungsschaltung 43 gibt aufgenommene Bilddaten, die durch Anwenden eines Klemmenprozesses und eines A/D-Umwandlungsprozesses, usw. auf das Signal von dem Solid-State-Bildsensor 42 erzeugt werden, an die Gesamtsteuerungs-CPU 101 aus.
Obwohl der Kameraaufbau 1 die einzelne Bildaufnahmeeinheit 40 in diesem Ausführungsbeispiel aufweist, kann dieser zwei oder mehr Bildaufnahmeeinheiten aufweisen, um ein 3D-Bild aufzunehmen, um ein Bild aufzunehmen, dessen Feldwinkel breiter als ein Bild ist, das durch eine Einzelbildaufnahmeeinheit erhalten wird, oder um Bilder in unterschiedliche Richtungen aufzunehmen.
Der Kameraaufbau 1 ist mit verschiedenen Speichern, wie etwa einem nichtflüchtigen Speicher 51 mit großer Kapazität, einem internen nichtflüchtigen Speicher 102, dem Primärspeicher 103, usw. bereitgestellt.
Des Weiteren ist der Kameraaufbau 1 mit einem Audioprozessor 104, einem Lautsprecher 105, einem Vibrator 106, einem Winkelgeschwindigkeitssensor 107, einem Beschleunigungssensor 108 und verschiedenen Schaltern 110 bereitgestellt.
Die Schalter, wie etwa der Leistungsschalter 11, die vorstehend unter Verwendung von 2C beschrieben sind, sind mit der Gesamtsteuerungs-CPU 101 verbunden. Die Gesamtsteuerungs-CPU 101 steuert den gesamten Kameraaufbau 1. Die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30, die Bildextrahierungs-/Entwicklungseinheit 50 und die zweite Steuerung 111 in 4 werden durch die Gesamtsteuerungs-CPU 101 verwirklicht.
Die Infrarot-LED-Beleuchtungsschaltung 21 steuert eine Beleuchtung der Infrarot-LEDs 22, die vorstehend unter Verwendung von 2E beschrieben sind, um eine Projektion des Infrarotlichts 23 in Richtung des Benutzers von den Infrarot-LEDs 22 zu steuern.
Das Gesichtsrichtungserfassungsfenster 13 besteht aus einem Filter für sichtbares Licht, der sichtbares Licht kaum durchlässt, und das Infrarotlicht 23 und dessen reflektiertes Licht 25, das zum Infrarotbereich gehört, ausreichend durchlässt.
Die Infrarotkondensorlinse 26 kondensiert das reflektierte Licht 25 bzw. fasst das reflektierte Licht 25 zusammen.
Die Infraroterfassungseinrichtung (eine Infraroterfassungseinheit) 27 umfasst einen Sensor, der das reflektierte Licht 25, das durch die Infrarotkondensorlinse 26 kondensiert bzw. zusammengefasst wird, erfasst. Der Sensor wandelt ein Bild, das durch das zusammengefasste reflektierte Licht 25 gebildet wird, in Sensordaten um und gibt die Sensordaten an die Gesamtsteuerungs-CPU 101 weiter.
Wie in 1B gezeigt ist, wenn der Benutzer den Kameraaufbau 1 trägt, befindet sich das Gesichtsrichtungserfassungsfenster 13 unter einem Kiefer des Benutzers. Dementsprechend, wie in 5 gezeigt ist, durchläuft das Infrarotlicht 23, das von den Infrarot-LEDs 22 projiziert wird, das Gesichtsrichtungserfassungsfenster 13 und bestrahlt eine Infrarotbestrahlungsfläche 24 in der Nähe des Kiefers des Benutzers. Außerdem durchläuft das reflektierte Licht 25, das von der Infrarotbestrahlungsfläche 24 reflektiert wird, das Gesichtsrichtungserfassungsfenster 13 und wird durch die Infrarotkondensorlinse 26 auf dem Sensor in der Infraroterfassungseinrichtung 27 kondensiert bzw. zusammengefasst.
Die verschiedenen Schalter 110 sind in 1A bis 1C nicht gezeigt. Obwohl sie aus Gründen der Übersichtlichkeit weggelassen sind, werden die verschiedenen Schalter 110 verwendet, um Funktionen auszuführen, die sich nicht auf dieses Ausführungsbeispiel beziehen.
Der interne nichtflüchtige Speicher 102 wird durch einen Flash-Speicher usw. gebildet und speichert ein Boot-Programm der Gesamtsteuerungs-CPU 101 und eingestellte Werte von verschiedenen Programmbetriebsarten. In diesem Ausführungsbeispiel werden ein eingestellter Wert eines visuellen Beobachtungsfeldes bzw. Beobachtungssichtfeldes (Feldwinkel) und ein eingestellter Wert eines Effektniveaus eines Bildstabilisierungsprozesses aufgezeichnet.
Der Primärspeicher 103 wird durch eine RAM usw. gebildet und speichert Verarbeitungsbilddaten und ein Berechnungsergebnis der Gesamtsteuerungs-CPU 101 vorübergehend.
Der nichtflüchtige Speicher 51 mit großer Kapazität speichert Bilddaten. In diesem Ausführungsbeispiel ist der nichtflüchtige Speicher 51 mit großer Kapazität ein Halbleiterspeicher, der nicht abnehmbar ist. Jedoch könnte der nichtflüchtige Speicher 51 mit großer Kapazität durch ein abnehmbares Speichermedium, wie etwa eine SD-Karte gebildet sein und könnte zusammen mit dem internen nichtflüchtigen Speicher 102 verwendet werden.
Die Drahtloskommunikationseinheit 71 mit geringer Leistung tauscht Daten mit der Anzeigevorrichtung 800, der Kalibrierungseinrichtung 850 und der vereinfachten Anzeigevorrichtung 900 über das Drahtlosnetzwerk mit geringer Leistung aus. Die Hochgeschwindigkeitsdrahtloskommunikationseinheit 72 tauscht Daten mit der Anzeigevorrichtung 800 und der Kalibrierungseinrichtung 850 über das Hochgeschwindigkeitsdrahtlosnetzwerk aus.
Der Audioprozessor 104 verarbeitet einen Außenton bzw. Außengeräusche (analoge Signale), die durch das linke Mikrofon 19L und das rechte Mikrofon 19R gesammelt werden, und erzeugt ein Audiosignal.
Die LED 17, der Lautsprecher 105 und der Vibrator 106 sind Warnelemente, die den Benutzer durch Aussenden von Licht, Ausgeben eines Geräusches und einer Vibration warnen. Unter Verwendung dieser Warnelemente wird der Benutzer über den Zustand des Kameraaufbaus 1 informiert oder empfängt eine Warnung.
Der Winkelgeschwindigkeitssensor 107 umfasst ein Gyroskop, usw. und erfasst eine Bewegung des Kameraaufbaus 1 selbst als Gyro-Daten. Der Beschleunigungssensor 108 erfasst die Haltung der Bildaufnahme-/ Erfassungseinheit 10.
6 ist ein Blockdiagramm, das eine Hardwarekonfiguration der Anzeigevorrichtung 800 zeigt. Die Komponenten, die unter Verwendung von 1D beschrieben wurden, sind durch gleiche Bezugszeichen angegeben und deren Beschreibung wird zur Einfachheit der Beschreibung nicht wiederholt.
Wie in 6 gezeigt ist, ist die Anzeigevorrichtung 800 mit einer Anzeigevorrichtungssteuerung 801, der A-Taste 802, der Anzeigeeinheit 803, der B-Taste 804, der eingebauten Kamera 805, dem Gesichtssensor 806, dem Winkelgeschwindigkeitssensor 807, dem Beschleunigungssensor 808, der Bildsignalverarbeitungsschaltung 809 und verschiedenen Schaltern 811 bereitgestellt.
Außerdem ist die Anzeigevorrichtung 800 mit einem internen nichtflüchtigen Speicher 812, einem Primärspeicher 813, einem nichtflüchtigen Speicher 814 mit großer Kapazität, einem Lautsprecher 815, einem Vibrator 816, einer LED 817, einem Audioprozessor 820, einer Drahtloskommunikationseinheit 871 mit geringer Leistung, und einer Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 bereitgestellt. Die vorstehend beschriebenen Komponenten sind mit der Anzeigevorrichtungssteuerung 801 verbunden. Die Anzeigevorrichtungssteuerung 801 wird durch eine CPU gebildet und steuert die Anzeigevorrichtung 800.
Die Bildsignalverarbeitungsschaltung 809 weist äquivalente Funktionen wie der Bildaufnahmetreiber 41, den Solid-State-Bildsensor 42, und die Bildsignalverarbeitungsschaltung 43 innerhalb des Kameraaufbaus 1 auf. Die Bildsignalverarbeitungsschaltung 809 bildet die eingebaute Kamera 805 in 1D zusammen mit einer eingebauten Kameralinse 805a. Die Anzeigevorrichtungssteuerung 801 verarbeitet die Daten, die von der Bildsignalverarbeitungsschaltung 809 ausgegeben werden. Die Inhalte des Prozesses der Daten werden später beschrieben.
Die verschiedenen Schalter 811 werden verwendet, um Funktionen auszuführen, die sich nicht auf dieses Ausführungsbeispiel beziehen. Der Winkelgeschwindigkeitssensor 807 verwendet ein Gyroskop, usw. und erfasst eine Bewegung der Anzeigevorrichtung 800.
Der Beschleunigungssensor 808 erfasst eine Haltung der Anzeigevorrichtung 800 selbst. Der Winkelgeschwindigkeitssensor 807 und der Beschleunigungssensor 808 sind in der Anzeigevorrichtung 800 eingebaut und weisen entsprechend Funktionen auf, die äquivalent zu denen des vorstehend erwähnten Winkelgeschwindigkeitssensors 107 und des Beschleunigungssensor 108 des Kameraaufbaus 1 sind.
Der interne nichtflüchtige Speicher 812 wird durch einen Flash-Speicher usw. gebildet, und speichert ein Boot-Programm der Anzeigevorrichtungssteuerung 801 und eingestellte Werte von verschiedenen Programmbetriebsdaten.
Der Hauptspeicher 813 wird durch eine RAM, usw. gebildet und speichert vorübergehend Verarbeitungsbilddaten und ein Berechnungsergebnis der Bildsignalverarbeitungsschaltung 809.
Der nichtflüchtige Speicher 814 mit großer Kapazität speichert Bilddaten der Anzeigevorrichtung 800. In diesem Ausführungsbeispiel wird der nichtflüchtige Speicher 814 mit großer Kapazität durch einen abnehmbaren Speicher, wie etwa eine SD-Karte gebildet. Es sei angemerkt, dass der nichtflüchtige Speicher 814 mit großer Kapazität durch einen festen Speicher, wie etwa den nichtflüchtigen Speicher 51 mit großer Kapazität in dem Kameraaufbau 1 gebildet werden kann.
Um den Benutzer über einen Zustand der Anzeigevorrichtung 800 zu informieren und den Benutzer zu warnen gibt der Lautsprecher 815 einen Ton aus, vibriert der Vibrator 816, und sendet die LED 817 Licht aus.
Der Audioprozessor 820 verarbeitet einen Außenton bzw. Außengeräusche (analoge Signale), die durch das linke Mikrofon 819L und das rechte Mikrofon 819R gesammelt werden und erzeugt ein Audiosignal.
Die Drahtloskommunikationseinheit 871 mit geringer Leistung tauscht Daten mit dem Kameraaufbau 1 über das Drahtlosnetzwerk mit geringer Leistung aus. Die Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 tauscht Daten mit dem Kameraaufbau 1 über das Hochgeschwindigkeitsdrahtlosnetzwerk aus.
Der Gesichtssensor (eine Gesichtserfassungseinheit) 806 ist mit einer Infrarot-LED-Beleuchtungsschaltung 821 und Infrarot-LEDs 822, einer Infrarotkondensorlinse 826 und einer Infraroterfassungseinrichtung 827 bereitgestellt.
Die Infrarot-LED-Beleuchtungsschaltung 821 weist die Funktion auf, die äquivalent zu der der Infrarot-LED-Beleuchtungsschaltung 21 in 5 ist und steuert eine Beleuchtung der Infrarot-LEDs 822, um eine Projektion des Infrarotlichts 823 in Richtung des Benutzers von den Infrarot-LEDs 822 zu steuern. Die Infrarotkondensorlinse 826 fasst das reflektierte Licht 825 des Infrarotlichts 823 zusammen.
Die Infraroterfassungseinrichtung 827 umfasst einen Sensor, der das reflektierte Licht 825, das durch die Infrarotkondensorlinse 826 zusammengefasst wird, erfasst. Der Sensor wandelt das zusammengefasste reflektierte Licht 825 in Sensordaten um und gibt die Sensordaten an die Anzeigevorrichtungssteuerung 801 weiter.
Wenn der Gesichtssensor 806, der in 1D gezeigt ist, auf den Benutzer gerichtet ist, wird die Infrarotbestrahlungsfläche 824, die das gesamte Gesicht des Benutzers ist, mit dem Infrarotlicht 823 bestrahlt, das von den Infrarot-LEDs 822 projiziert wird, wie in 6 gezeigt ist. Außerdem wird das reflektierte Licht 825, das von der Infrarotbestrahlungsfläche 824 reflektiert wird, durch die Infrarotkondensorlinse 826 auf den Sensor in der Erfassungseinrichtung 827 zusammengefasst.
Andere Funktionen 830 sind Funktionen eines Smart-Phones, wie etwa eine Telefonfunktion, die sich nicht auf das Ausführungsbeispiel beziehen.
Nachstehend wird beschrieben, wie der Kameraaufbau 1 und die Anzeigevorrichtung 800 zu verwenden sind. 7A ist ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem ersten Ausführungsbeispiel zeigt, der durch den Kameraaufbau 1 und die Anzeigevorrichtung 800 durchgeführt wird.
Um die Beschreibung zu unterstützen ist ein Bezugszeichen, das in 4 und 5 einer Einheit gezeigt ist, die einen Prozess in jedem Schritt ausführt, auf einer rechten Seite von jedem Schritt in 7A gezeigt. Das heißt, Schritte S100 bis S700 in 7A werden durch den Kameraaufbau 1 ausgeführt und Schritte S800 bis S1000 in 7A werden durch die Anzeigevorrichtung 800 ausgeführt.
Wenn der Leistungsschalter 11 auf AN eingestellt wird und der Kameraaufbau 1 mit Leistung versorgt wird, wird die Gesamtsteuerungs-CPU 101 aktiviert und liest das Boot-Programm von dem internen nichtflüchtigen Speicher 102. Danach führt die Gesamtsteuerungs-CPU 101 in dem Schritt S100 ein Vorbereitungsprozess aus, der eine Einstellung des Kameraaufbaus 1 vor einer Bildaufnahmeoperation durchführt. Details des Vorbereitungsprozesses werden später unter Verwendung von 7B beschrieben.
In einem Schritt S200 wird der Gesichtsrichtungserfassungsprozess ausgeführt, der eine Beobachtungsrichtung basierend auf einer Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, schätzt. Details des Gesichtsrichtungserfassungsprozesses werden später unter Verwendung von 7C beschrieben. Dieser Prozess wird bei einer vorbestimmten Rahmenrate ausgeführt.
In einem Schritt S300 führt die Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30 einen Aufzeichnungsrichtungs-/ Bereichsbestimmungsprozess aus. Details des Aufzeichnungsrichtungs-/ Bereichsbestimmungsprozesses werden später unter Verwendung von 7D beschrieben.
In einem Schritt S400 nimmt die Bildaufnahmeeinheit 40 ein Bild auf und erzeugt Bildaufnahmedaten.
In Schritt S500 extrahiert die Bildextrahierungs-/Entwicklungseinheit 50 ein Bild von den Aufnahmebilddaten, die in dem Schritt S400 erzeugt werden, gemäß den Aufzeichnungsrichtungs-/Feldwinkelinformationen, die in dem Schritt S300 bestimmt sind, und führt einen Aufzeichnungsbereichsentwicklungsprozess durch, der den extrahierten Bereich entwickelt. Details des Entwicklungsprozesses werden später unter Verwendung von 7E beschrieben.
In einem Schritt S600 führt die Primäraufzeichnungseinheit (eine Bildaufzeichnungseinheit) 60 einen Primäraufzeichnungsprozess aus, der die Daten, die in dem Schritt S500 entwickelt werden, in dem Primärspeicher 103 als Bilddatenspeicher speichert. Details des Primäraufzeichnungsprozesses werden später unter Verwendung von 14 beschrieben.
In dem Schritt S700 führt die Übertragungseinheit 70 ein Übertragungsprozess an die Anzeigevorrichtung 800 aus, der die Bilddaten, die in dem Schritt S600 primär aufgezeichnet wurden, drahtlos an die Anzeigevorrichtung 800 zu einem designierten Zeitpunkt überträgt. Details des Übertragungsprozesses an die Anzeigevorrichtung 800 werden später unter Verwendung von 16 geschrieben.
Die Schritte von dem Schritt S800 werden durch die Anzeigevorrichtung 800 ausgeführt. In dem Schritt S800 führt die Anzeigevorrichtungssteuerung 801 einen optischen Korrekturprozess aus, der eine optische Aberration des Bildes, das von dem Kameraaufbau 1 in dem Schritt S700 übertragen wird, korrigiert. Details des optischen Korrekturprozesses werden später unter Verwendung von 17 beschrieben.
In einem Schritt S900 wendet die Anzeigevorrichtungssteuerung 801 den Bildstabilisierungsprozess auf das Bild an, dessen optische Aberration in dem Schritt S800 korrigiert wurde. Details des Bildstabilisierungsprozesses werden später unter Verwendung von 19 beschrieben. Es sei angemerkt, dass die Reihenfolge des Schritts S800 und des Schritts S900 umgekehrt werden kann. Das heißt, der Bildstabilisierungsprozess kann im Voraus ausgeführt werden und der optische Korrekturprozess kann danach ausgeführt werden.
In einem Schritt S1000 führt die Anzeigevorrichtungssteuerung (Videoaufzeichnungseinheit) 801 einen Sekundäraufzeichnungsprozess aus, der das Bild, auf die der optische Korrekturprozess in dem Schritt S800 und der Bildstabilisierungsprozess in dem Schritt S900 angewendet wurden, in dem nichtflüchtigen Speicher 814 mit großer Kapazität aufzeichnet. Dann beendet die Anzeigevorrichtungssteuerung 801 diesen Prozess.
Als nächstes werden die Unterroutinen in den entsprechenden Schritten in 7A detailliert unter Verwendung von 7B bis 7F und anderen Zeichnungen in der Reihenfolge des Prozesses beschrieben. 7B ist ein Ablaufdiagramm, das die Unterroutine des Vorbereitungsprozesses in dem Schritt S100 in 7A zeigt. Nachstehend wird dieser Prozess unter Verwendung der Komponenten, die in 2A bis 2F und 5 gezeigt sind, beschrieben.
Es wird in einem Schritt S101bestimmt, ob der Leistungsschalter 11 AN ist. Der Prozess wartet, wenn die Leistung AUS ist. Wenn die Leistung AN wird, geht der Prozess über zu einem Schritt S102.
In dem Schritt S102 wird die Betriebsart, die durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, bestimmt. Als ein Ergebnis der Bestimmung, wenn die Betriebsart, die durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, die Videobildbetriebsart ist, geht der Prozess über zu einem Schritt S103.
In dem Schritt S103 werden verschiedene eingestellte Werte der Videobildbetriebsart von dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess über zu einem Schritt S104. Die verschiedenen eingestellten Werte der Videobildbetriebsart umfassen einen Feldwinkeleinstellungswert V_ang und ein Bildstabilisierungsniveau. Der Feldwinkeleinstellungswert V_ang ist in diesem Ausführungsbeispiel auf 90° voreingestellt. Das Bildstabilisierungsniveau wird von „Stark“, „Mittel“ und „AUS“ ausgewählt. In dem Schritt S104 wird eine Operation des Bildaufnahmetreibers 41 für die Videobildbetriebsart gestartet. Und dann verlässt der Prozess diese Unterroutine.
Als ein Ergebnis der Bestimmung in dem Schritt S102, wenn die Betriebsart, die durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, die Standbildbetriebsart ist, geht der Prozess über zu einem Schritt S106. In dem Schritt S106 werden verschiedene eingestellte Werte der Standbildbetriebsart von dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess über zu einem Schritt S107. Die verschiedenen eingestellten Werte der Standbildbetriebsart umfassen den Feldwinkeleinstellungswert V_ang und das Bildstabilisierungsniveau. Der Feldwinkeleinstellungswert V_ang ist in diesem Ausführungsbeispiel auf 45° voreingestellt. Das Bildstabilisierungsniveau wird von „Stark“, „Mittel“ und „AUS“ ausgewählt. In dem Schritt S107 wird eine Operation des Bildaufnahmetreibers 41 für die Standbildbetriebsart gestartet. Und dann verlässt der Prozess diese Unterroutine.
Als Ergebnis der Bestimmung in dem Schritt S102, wenn die Betriebsart, die durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, die voreingestellte Betriebsart ist, geht der Prozess über zu einem Schritt S108. Die voreingestellte Betriebsart ist eine dritte Betriebsart zusätzlich zu der Videobildbetriebsart und der Standbildbetriebsart. In der voreingestellten Betriebsart kann die Bildaufnahmebetriebsart des Kameraaufbaus 1 durch eine externe Einrichtung, wie etwa die Anzeigevorrichtung 800, eingestellt werden. Die voreingestellte Betriebsart ist eine Betriebsart für eine kundenspezifische Bildaufnahmeoperation.
Die Inhalte der voreingestellten Betriebsart umfassen das Bildstabilisierungsniveau, das von Stark“, „Mittel“ und „AUS“ ausgewählt wird, und einen eingestellten Wert einer Spracherkennung, die in diesem Ausführungsbeispiel nicht beschrieben wird, zusätzlich zu dem Feldwinkel.
In dem Schritt S108 werden verschiedene eingestellte Werte der voreingestellten Betriebsart von dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess über zu einem Schritt S109. Die verschiedenen eingestellten Werte der voreingestellten Betriebsart umfassen den Feldwinkeleinstellungswert V_ang und das Bildstabilisierungsniveau, das von „Stark“, „Mittel“ und „AUS“ ausgewählt wird.
In dem Schritt S109 wird ein Betrieb des Bildaufnahmetreibers 41 für die voreingestellte Betriebsart gestartet. Und dann verlässt der Prozess diese Unterroutine.
Nachstehend werden die verschiedenen eingestellten Werte der Videobildbetriebsart, die in dem Schritt S103 gelesen werden, unter Verwendung von 13 beschrieben. 13 ist eine Ansicht, die einen Menübildschirm zum Einstellen der verschiedenen Einstellungswerte der Videobildbetriebsart zeigt, der auf der Anzeigeeinheit 803 der Anzeigevorrichtung 800 angezeigt wird, vor einer Bildaufnahmeoperation des Kameraaufbaus 1. Die Komponenten, die unter Verwendung von 1D beschrieben wurden, sind durch die gleichen Bezugszeichen angegeben und deren Beschreibungen werden weggelassen. Die Anzeigeeinheit 803 umfasst eine Berührungsfeldfunktion und wird unter der Annahme beschrieben, dass diese durch Berührungsoperationen, wie etwa eine Wischoperation, funktioniert.
Wie in 13 gezeigt ist, umfasst der Menübildschirm einen Vorschaubildschirm 831, einen Zoomhebel 832, eine Aufzeichnungsstart-/ Stopptaste 833, einen Schalter 834, einen Batterielevelindikator 835, eine Taste 836, einen Hebel 837 und einen Symbolanzeigebereich 838. Der Benutzer kann das Bild, das durch den Kameraaufbau 1 aufgenommen wird, einen Zoombetrag und einen Feldwinkel auf dem Vorschaubildschirm 831 überprüfen.
Der Benutzer kann eine Zoomeinstellung durch Verschieben des Zoomhebels 832 nach rechts oder links ändern. Dieses Ausführungsbeispiel beschreibt einen Fall, in dem der Feldwinkeleinstellungswert V_ang von 45°, 90°, 110° und 130° ausgewählt werden kann. Unterdessen kann der Feldwinkeleinstellungswert V_ang auf einen Wert eingestellt werden, der von den vier Werten verschieden ist, durch Betätigen des Zoomhebels 832.
Die Aufzeichnungsstart-/Stopptaste 833 ist ein Wechselschalter, der beide Funktionen des Startschalters 14 und des Stoppschalters 15 aufweist. Der Schalter 834 wird verwendet, um zwischen einem „AUS“ und einem „AN“ des Bildstabilisierungsprozesses zu wechseln. Der Batterielevelindikator 835 zeigt ein Batterielevel des Kameraaufbaus 1 an. Die Taste 836 wird verwendet, um eine Betriebsart zu ändern.
Der Hebel 837 wird verwendet, um das Bildstabilisierungsniveau einzustellen. Obwohl das Bildstabilisierungsniveau auf „Stark“ oder „Mittel“ in diesem Ausführungsbeispiel eingestellt werden kann, könnte ein anderes Bildstabilisierungsniveau, zum Beispiel „Schwach“ eingestellt werden. Außerdem könnte das Bildstabilisierungsniveau stufenlos eingestellt werden. Eine Vielzahl von Vorschausymbolen für eine Vorschau sind auf dem Symbolanzeigebereich 838 angezeigt.
7C ist ein Ablaufdiagramm, das eine Unterroutine des Gesichtsrichtungserfassungsprozesses in dem Schritt S200 in 7A zeigt. Bevor Details dieses Prozesses beschrieben werden, wird ein Gesichtsrichtungserfassungsverfahren unter Verwendung von Infrarotlicht unter Verwendung von 8A bis 8K beschrieben.
8A ist eine Ansicht, die ein Bild des sichtbaren Lichts eines Gesichts des Benutzers zeigt, auf das von der Position des Gesichtsrichtungserfassungsfensters 13 aus geschaut wird. Das Bild in 8A ist identisch zu einem Bild, das durch einen Bildsensor mit sichtbarem Licht aufgenommen wird, unter der Annahme, dass das Gesichtsrichtungserfassungsfenster 13 eine Übertragung des sichtbaren Lichts erlaubt und der Bildsensor für sichtbares Licht als ein Sensor der Infraroterfassungseinrichtung 27 angebracht ist.
Das Bild in 8A umfasst einen Halsvorderteil 201 über den Schlüsselbeinen des Benutzers, einen Ansatz 202 eines Kiefers, ein Kinn 203 und ein Gesicht 204 inklusive einer Nase. 8B ist eine Ansicht, die einen Fall zeigt, in dem fluoreszierende Lampen 205 in einem Raum in dem Bild des sichtbaren Lichts des Benutzers, das in 8A gezeigt ist, als Hintergrund erscheinen.
Die fluoreszierenden Lampen 205 um den Benutzer herum erscheinen in dem Bild des sichtbaren Lichts in 8B. Auf diese Weise, da verschiedene Hintergründe in dem Bild des Benutzers gemäß einer Benutzungsbedingung erscheinen, wird es schwierig, dass die Gesichtsrichtungserfassungseinheit 20 oder die Gesamtsteuerungs-CPU 101 ein Gesichtsbild von einem Bild des sichtbaren Lichts ausschneidet. Unterdessen, obwohl es eine Technik gibt, die solch ein Bild unter Verwendung von AI, usw. ausschneidet, ist die Technik nicht für den Kameraaufbau 1 als eine tragbare Einrichtung geeignet, weil die Gesamtsteuerungs-CPU 101 eine hohe Leistungsfähigkeit aufweisen muss.
Dementsprechend erfasst der Kameraaufbau 1 des ersten Ausführungsbeispiels ein Gesicht des Benutzers unter Verwendung eines Infrarotbildes. Da das Gesichtsrichtungserfassungsfenster 13 durch einen Filter zum Absperren von sichtbarem Licht gebildet wird, wird sichtbares Licht kaum durchgelassen. Dementsprechend ist ein Bild, das durch die Infraroterfassungseinrichtung 27 erhalten wird, von den Bildern in 8A und 8B verschieden.
8C ist eine Ansicht, die ein Infrarotbild zeigt, das durch Abbilden des Benutzers unter fluoreszierenden Lampen als der Hintergrund, der in 8B gezeigt ist, auf dem Sensor der Infraroterfassungseinrichtung 27 durch das Gesichtsrichtungserfassungsfenster 13 erhalten wird, in einem Zustand, in dem die Infrarot-LEDs 22 nicht beleuchtet sind.
In dem Infrarotbild in 8C sind der Hals und der Kiefer des Benutzers dunkel. Unterdessen, da die fluoreszierenden Lampen 205 eine Infrarotkomponente zusätzlich zu dem sichtbaren Licht aussenden, sind diese leicht hell.
8D ist eine Ansicht, die ein Bild zeigt, das durch Abbilden des Benutzers unter fluoreszierenden Lampen als der Hintergrund, der in 8B gezeigt ist, auf dem Sensor der Infraroterfassungseinrichtung 27 durch das Gesichtsrichtungserfassungsfenster 13 erhalten wird, in einem Zustand, in dem die Infrarot-LEDs 22 beleuchtet sind.
In dem Bild in 8D sind der Hals und Kiefer des Benutzers hell, weil das Infrarotlicht reflektiert wird. Unterdessen hat sich die Helligkeit um die fluoreszierenden Lampen 205 herum im Vergleich mit 8C nicht geändert.
8E ist eine Ansicht, die ein Differenzbild zeigt, das durch Subtrahieren des Bildes in 8C von dem Bild in 8D berechnet wird. Das Gesicht des Benutzers zeichnet sich ab.
Auf diese Weise erhält die Gesamtsteuerungs-CPU (eine Bilderhaltungseinheit) 101 das Differenzbild (nachstehend als ein Gesichtsbild bezeichnet) durch Berechnung der Differenz zwischen dem Bild, das auf dem Sensor der Infraroterfassungseinrichtung 27 gebildet wird, in dem Zustand, in dem die Infrarot-LEDs 22 beleuchtet sind, und dem Bild, das auf dem Sensor geformt wird, in dem Zustand, in dem die Infrarot-LEDs 22 nicht beleuchtet sind.
Die Gesichtsrichtungserfassungseinheit 20 dieses Ausführungsbeispiels wendet ein Verfahren an, das ein Gesichtsbild durch Extrahieren einer Infrarotreflektionsintensität als ein zweidimensionales Bild durch die Infraroterfassungseinrichtung 27 erhält. Der Sensor der Infraroterfassungseinrichtung 27 wendet eine Konfiguration an, die ähnlich zu einem allgemeinen Bildsensor ist und erhält ein Gesichtsbild Rahmen für Rahmen. Ein vertikales Synchronisationssignal (nachstehend als ein V-Signal bezeichnet), das eine Rahmensynchronisation erhält, wird durch die Infraroterfassungseinrichtung 27 erzeugt und an die Gesamtsteuerungs-CPU 101 ausgegeben.
9 ist ein Zeitdiagramm, das Zeitpunkte des Beleuchtens bzw. Einschaltens und Erlöschens bzw. Ausschaltens der Infrarot-LEDs 22 und der zugehörigen Signale zeigt.
Ein V-Signal, das von der Infraroterfassungseinrichtung 27 ausgegeben wird, eine H-Position des Bildsignals, das von dem Sensor der Infraroterfassungseinrichtung 27 ausgegeben wird, ein IR-AN-Signal, das von der Gesamtsteuerungs-CPU 101 an die Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben wird und Aufnahmebilddaten, die von dem Sensor der Infraroterfassungseinrichtung 27 an die Gesamtsteuerungs-CPU 101 ausgegeben werden, sind in der Reihenfolge von oben nach unten in 9 gezeigt. Die horizontalen Zeitachsen dieser vier Signale sind identisch. Wenn das V-Signal hoch wird, werden Zeitpunkte der Rahmensynchronisation und Zeitpunkte des Beleuchtens bzw. Einschaltens und Erlöschens bzw. Ausschaltens der Infrarot-LEDs 22 erhalten.
9 zeigt eine erste Gesichtsbilderhaltungsperiode t1 und eine zweite Gesichtsbilderhaltungsperiode t2.
Die Infraroterfassungseinrichtung 27 steuert die Operation des Sensors, sodass sich die H-Position des Bildsignals mit dem V-Signal synchronisiert, wie in 9 gezeigt ist. Da der Sensor der Infraroterfassungseinrichtung 27 die Konfiguration einsetzt, die ähnlich zu dem allgemeinen Bildsensor ist, wie vorstehend beschrieben, und deren Operation bekannt ist, wird eine detaillierte Beschreibung des Steuerungsverfahrens weggelassen.
Die Gesamtsteuerungs-CPU 101 steuert ein Umschalten des IR-AN-Signals zwischen hoch und niedrig in Synchronisation mit dem V-Signal. Speziell gibt die Gesamtsteuerungs-CPU 101 das IR-AN-Signal von niedrig an die Infrarot-LED-Beleuchtungsschaltung 21 während der ersten Periode t1 aus und gibt das IR-AN-Signal von hoch an die Infrarot-LED-Beleuchtungsschaltung 21 während der zweiten Periode t2 aus.
Die Infrarot-LED-Beleuchtungsschaltung 21 beleuchtet die Infrarot-LEDs 22 (bzw. schaltet diese ein) während der Hoch-Periode des IR-AN-Signals, um das Infrarotlicht 23 auf den Benutzer zu projizieren. Unterdessen löscht die Infrarot-LED-Beleuchtungsschaltung 21 die Infrarot-LEDs 22 (bzw. schaltet diese aus) während der Niedrig-Periode des IR-AN-Signals.
Eine vertikale Achse der Aufnahmebilddaten gibt eine Signalintensität an, die ein Lichtempfangsbetrag des reflektierten Lichts 25 ist. Da die Infrarot-LEDs 22 in der ersten Periode t1 ausgeschaltet sind, kommt kein reflektiertes Licht von dem Gesicht des Benutzers an und werden Bildaufnahmedaten wie in 8C gezeigt erhalten. Unterdessen, da die Infrarot-LEDs 22 während der zweiten Periode t2 eingeschaltet sind, kommt reflektiertes Licht 25 von dem Gesicht des Benutzers an und werden Aufnahmebilddaten wie in 8D gezeigt erhalten. Dementsprechend erhöht sich die Signalintensität in der Periode t2 von der Signalintensität in der Periode t1 durch das reflektierte Licht 25 von dem Gesicht des Benutzers.
Ein Gesichtsbild, das unten in 9 angegeben ist, wird durch Subtrahieren der Bilddaten, die während der ersten Periode t1 aufgenommen werden, von den Bilddaten, die während der zweiten Periode t2 aufgenommen werden, erhalten. Als ein Ergebnis der Subtraktion werden Gesichtsbilddaten, die in 8E gezeigt sind, bei denen nur Komponenten des reflektierten Lichts 25 von dem Gesicht des Benutzers extrahiert sind, erhalten.
7C zeigt den Gesichtsrichtungserfassungsprozess in dem Schritt S200, der die Operationen umfasst, die unter Verwendung von 8C bis 8E und 9 beschrieben sind.
In einem Schritt S201 wird ein Zeitpunkt V1 erhalten, an dem die erste Periode t1 startet, wenn das V-Signal, das von der Infraroterfassungseinrichtung 27 ausgegeben wird, hoch wird. Wenn der Zeitpunkt V1 erhalten wird, geht der Prozess über zu einem Schritt S202.
In einem Schritt S202 wird das IR-AN-Signal auf niedrig eingestellt und wird an die Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. Dadurch werden die Infrarot-LEDs 22 ausgeschaltet.
In einem Schritt S203 wird ein Rahmen von Bildaufnahmedaten, die von der Infraroterfassungseinrichtung 27 während der ersten Periode t1 ausgegeben werden, gelesen. Die Bilddaten werden vorübergehend in dem Primärspeicher 103 als Rahmen1 gespeichert.
In einem Schritt S204 wird ein Zeitpunkt V2 erhalten, an dem die zweite Periode t2 startet, wenn das V-Signal, das von der Infraroterfassungseinrichtung 27 ausgegeben wird, hoch wird. Wenn der Zeitpunkt V2 erhalten wird, geht der Prozess über zu einem Schritt S205.
In dem Schritt S205 wird das IR-AN-Signal auf hoch eingestellt und wird an die Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. Dadurch werden die Infrarot-LEDs 22 beleuchtet.
In einem Schritt S206 wird ein Rahmen von Bildaufnahmedaten, die von der Infraroterfassungseinrichtung 27 während der zweiten Periode t2 ausgegeben werden, gelesen. Die Bilddaten werden vorübergehend in dem Primärspeicher 103 als Rahmen2 gespeichert.
In einem Schritt S207 wird das IR-AN-Signal auf niedrig eingestellt und wird an die Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. Dadurch werden die Infrarot-LEDs 22 ausgeschaltet.
In einem Schritt S208 werden Rahmen1 und Rahmen2 von dem Primärspeicher 103 gelesen und wird eine Lichtintensität Fn des reflektierten Lichts 25 von dem Benutzer entsprechend dem Gesichtsbild, das in 9 gezeigt ist, durch Subtrahieren des Rahmens1 von Rahmen2 berechnet. Dieser Prozess wird allgemein als Schwarzsubstraktion bezeichnet.
In einem Schritt S209 wird eine Kehlenposition bzw. Kehlkopfposition (eine Halsrotationsmitte) von der Lichtintensität Fn extrahiert. Zuerst teilt die Gesamtsteuerungs-CPU (eine Teilungseinheit) 101 das Gesichtsbild in eine Vielzahl von Entfernungsbereichen, die unter Verwendung von 8F beschrieben werden, basierend auf der Lichtintensität Fn.
8F ist eine Ansicht, die ein Ergebnis zeigt, das durch Anpassen von Schattierungen des Differenzbildes, das in 8E gezeigt ist, erhalten wird, um mit einer Skalierung einer Lichtintensität des reflektierten Lichts 25 des Infrarotlichts 23, das auf das Gesicht und den Hals des Benutzers projiziert wird, übereinzustimmen. 8F zeigt eine Lichtintensitätsverteilung von Abschnitten des Gesichts und des Halses des Benutzers.
Das Gesichtsbild auf der linken Seite in 8F zeigt die Lichtintensitätsverteilung des reflektierten Lichts 25 in dem Gesichtsbild, das in 8E gezeigt ist, durch Graustufen, die auf die entsprechend aufgeteilten Bereiche angewendet werden. Eine Xf-Achse ist in eine Richtung von dem Mittelteil des Halses des Benutzers in Richtung des Kinns ausgerichtet.
In einem Graph auf der rechten Seite in 8F zeigt eine horizontale Achse die Lichtintensität auf der Xf-Achse des Gesichtsbildes und zeigt eine vertikale Achse die Xf-Achse. Die Lichtintensität, die durch die horizontale Achse gezeigt ist, erhöht sich nach rechts.
Das Gesichtsbild in 8F ist in sechs Bereiche (Entfernungsbereiche) 211 bis 216 gemäß der Lichtintensität aufgeteilt. Der Bereich 211 ist ein Bereich, in dem die Lichtintensität die stärkste ist und ist unter den Graustufen durch weiß gezeigt. Der Bereich 212 ist ein Bereich, in dem die Lichtintensität gegenüber dem Bereich 211 leicht abfällt und ist durch recht helles Grau unter den Graustufen gezeigt. Der Bereich 213 ist ein Bereich, in dem die Lichtintensität im Vergleich zu dem Bereich 211 mehr abfällt und ist durch helles Grau unter den Graustufen gezeigt. Der Bereich 214 ist ein Bereich, in dem die Lichtintensität gegenüber dem Bereich 213 weiter fällt und ist durch Mittelgrau unter den Graustufen gezeigt. Der Bereich 215 ist ein Bereich, in dem die Lichtintensität gegenüber dem Bereich 214 weiter fällt und ist durch leicht dunkles Grau unter den Graustufen gezeigt. Der Bereich 216 ist ein Bereich, in dem die Lichtintensität die schwächste ist und ist durch das dunkelste Grau unter den Graustufen gezeigt. Der Bereich über dem Bereich 216 ist durch Schwarz angegeben, was keine Lichtintensität zeigt.
Die Lichtintensität wird detailliert unter Verwendung von 10A bis 10D beschrieben. 10A bis 10D sind Ansichten, die eine Bewegung des Gesichts des Benutzers in die vertikale Richtung beschreiben und Zustände zeigen, die von der linken Seite des Benutzers beobachtet werden.
10A ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer nach vorne schaut. Die Bildaufnahme-/Erfassungseinheit 10 ist vor den Schlüsselbeinen des Benutzers. Außerdem bestrahlt das Infrarotlicht 23 der Infrarot-LEDs 22 den unteren Teil des Kopfs des Benutzers von dem Gesichtsrichtungserfassungsfenster 13 aus, das in dem oberen Abschnitt der Bildaufnahme-/Erfassungseinheit 10 angebracht ist. Eine Entfernung Dn von dem Gesichtsrichtungserfassungsfenster 13 zu der Kehle 200 über den Schlüsselbeinen des Benutzers, eine Entfernung Db von dem Gesichtsrichtungserfassungsfenster 13 zu dem Ansatz 202 des Kiefers und eine Entfernung Dc von dem Gesichtsrichtungserfassungsfenster 13 zu dem Kinn 203 erfüllen eine Beziehung von Dn<Db<Dc. Da die Lichtintensität umgekehrt proportional zu dem Quadrat der Entfernung ist, wird die Lichtintensität in dem Bild, das durch das Infrarotlicht 25 von der Infrarotbestrahlungsfläche 24 auf dem Sensor gebildet wird, schrittweise schwächer in der Reihenfolge der Kehle 200, des Ansatzes 202 des Kiefers und des Kinns 203. Außerdem, da die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zu dem Gesicht 204 inklusive der Nase immer noch länger ist als die Entfernung Dc wird die Lichtintensität in dem Bild entsprechend dem Gesicht 204 immer noch schwächer. Das heißt, in dem Fall, der in 10A gezeigt ist, wird das Bild mit der Lichtintensitätsverteilung, die in 8F gezeigt ist, erhalten.
Es sei angemerkt, dass die Konfiguration der Gesichtsrichtungserfassungseinheit 20 nicht auf die Konfiguration beschränkt ist, die in diesem Ausführungsbeispiel gezeigt ist, solange die Gesichtsrichtung des Benutzers erfasst werden kann. Zum Beispiel kann ein Infrarotmuster von den Infrarot-LEDs (einer Infrarotmusterstrahlungseinheit) 22 projiziert werden und kann der Sensor (eine Infrarotmustererfassungseinheit) der Infraroterfassungseinrichtung 27 das Infrarotmuster, das von einem Bestrahlungsziel reflektiert wird, erfassen. Außerdem könnte der Sensor der Infraroterfassungseinrichtung 27 ein Sensor (eine Infrarotphasenvergleichseinheit) sein, der die Phasen des Infrarotlichts 23 und die Phase des reflektierten Lichts 25 vergleicht. Zum Beispiel könnte ein ToF-Sensor („Time of Flight“) eingesetzt werden.
Als nächstes wird die Extrahierung der Kehlenposition in Schritt S209 in 7C unter Verwendung von 8G beschrieben. Ein linkes Bild in 8G wird durch Überlagern der Bezugszeichen, die Teile des Körpers des Benutzers bezeichnen, die in 10A gezeigt sind, eines Doppelkreises, der die Kehlenposition zeigt, und eines schwarzen Kreises, der die Kinnposition in 8F zeigt, erhalten.
Der weiße Bereich 211 entspricht der Kehle 200 (10A), der recht helle graue Bereich 212 entspricht dem Halsvorderteil 201 (10A) und der helle graue Bereich 213 entspricht dem Ansatz 202 des Kiefers (10A). Außerdem entspricht der mittelgraue Bereich 214 dem Kinn 203 (10A) und entspricht der leicht dunkelgraue Bereich 215 einer Lippe, die sich in dem unteren Teil des Gesichts 204 befindet (10A) und einem Gesichtsunterteil um die Lippe herum. Des Weiteren entspricht der dunkelste graue Bereich 216 der Nase, die sich in der Mitte des Gesichts 204 befindet (10A) und einem Gesichtsoberteil um die Nase herum.
Da die Differenz zwischen den Entfernungen Db und Dc relativ klein ist im Vergleich mit den Differenzen zwischen den anderen Entfernungen von dem Gesichtsrichtungserfassungsfenster 13 zu anderen Teilen des Benutzers, die in 10A gezeigt sind, ist die Differenz zwischen den reflektierten Lichtintensitäten in dem hellen grauen Bereich 213 und dem mittelgrauen Bereich 214 ebenso klein.
Unterdessen, da die Entfernung Dn die kürzeste Entfernung unter den Entfernungen von dem Gesichtsrichtungserfassungsfenster 13 zu den Teilen des Benutzers ist, wie in 10A gezeigt ist, wird die Reflektionslichtintensität in dem weißen Bereich 211 entsprechend der Kehle 200 die stärkste.
Dementsprechend bestimmt die Gesamtsteuerungs-CPU (eine Einstellungseinheit) 101, dass der Bereich 211 der Kehle 200 und deren Peripherie entspricht und stellt dann als die Position 206 (durch den Doppelkreis in 8G angegeben), die sich an der Mitte in der seitlichen Richtung befindet und am nächsten zu der Bildaufnahme-/Erfassungseinheit 10 ist, als die Position des Kopfrotationszentrums (nachstehend ebenso als eine Kehlenposition 206 bezeichnet) ein. Die Prozesse bis zu diesem Moment sind die Inhalte, die in dem Schritt S209 in 7C durchgeführt werden.
Als nächstes wird die Extrahierung der Kinnposition in Schritt S210 in 7C unter Verwendung von 8G beschrieben. In dem Bild in 8G umfasst der mittelgraue Bereich 214, der heller als der Bereich 215 entsprechend dem Gesichtsunterteil inklusive der Lippe des Gesichts 204 ist, das Kinn. Ein Graph auf der rechten Seite in 8G zeigt, dass die Lichtintensität in dem Bereich 215 neben dem Bereich 214 stark abfällt, weil die Änderungsrate der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 groß wird.
Die Gesamtsteuerungs-CPU 101 bestimmt, dass der hellere Bereich 214 neben dem Bereich 215, in dem die Lichtintensität stark abfällt, ein Kinnbereich ist. Des Weiteren berechnet (extrahiert) die Gesamtsteuerungs-CPU 101 die Position (durch den schwarzen Kreis, der in 8G gezeigt ist, angegeben), die sich in der Mitte in seitliche Richtung in dem Bereich 214 befindet und von der Kehlenposition 206 am weitesten entfernt ist, als eine Kinnposition 207.
Zum Beispiel zeigen 8H und 8I Änderungen beim Ausrichten des Gesichts nach rechts. 8H ist eine Ansicht, die ein Differenzbild zeigt, das durch ein ähnliches Verfahren wie in 8E berechnet wird, wenn das Gesicht des Benutzers nach rechts gerichtet wird. 8I ist eine Ansicht, die ein Ergebnis zeigt, das durch Anpassen von Schattierungen des Differenzbildes in 8H erhalten wird, um mit einer Skalierung von Lichtintensitäten der reflektierten Komponenten des Infrarotlichts, das auf das Gesicht und den Hals des Benutzers projiziert wird, übereinzustimmen, und durch Überlagern des Doppelkreises, der die Kehlenposition 206 zeigt, als die Position des Halsrotationszentrums und des schwarzen Kreises, der eine Kinnposition 207r zeigt.
Da das Gesicht des Benutzers nach rechts gerichtet ist, bewegt sich der Bereich 214 zu einem Bereich 214r, der in 8I gezeigt ist, der sich auf der linken Seite befindet, wenn von der Bildaufnahme-/Erfassungseinheit 10 nach oben geschaut wird. Der Bereich 215 entsprechend dem Gesichtsunterteil inklusive der Lippe in dem Gesicht 214 bewegt sich ebenso zu einem Bereich 215r, der sich auf der linken Seite befindet, wenn von der Bildaufnahme-/Erfassungseinheit 10 nach oben geschaut wird.
Dementsprechend bestimmt die Gesamtsteuerungs-CPU 101, dass der hellere Bereich 214r neben dem Bereich 215r, in dem die Lichtintensität stark fällt, der Bereich des Kinns 203 (ein Kinnbereich) ist. Des Weiteren berechnet (extrahiert) die Gesamtsteuerungs-CPU 101 die Position (durch den schwarzen Kreis, der in 8I gezeigt ist, angegeben), die sich in der Mitte in der seitlichen Richtung in dem Bereich 214r befindet und von der Kehlenposition 206 am weitesten entfernt ist, als die Kinnposition 207r.
Danach findet die Gesamtsteuerungs-CPU 101 einen Bewegungswinkel θr, der die Rotationsbewegung nach rechts von der Kinnposition 207 in dem Bild in 8G zu der Kinnposition 207r in 8I um die Kehlenposition 206 zeigt. Wie in 8I gezeigt ist, ist der Bewegungswinkel θr ein Winkel der Bewegung des Gesichts des Benutzers in die seitliche Richtung.
Gemäß dem vorstehend beschriebenen Verfahren wird der Winkel des Gesichts (nachstehend als Gesichtswinkel bezeichnet) des Benutzers in die seitliche Richtung in dem Schritt S210 von der Kinnposition, die durch die Infraroterfassungseinrichtung 27 der Gesichtsrichtungserfassungseinheit (ein dreidimensionaler Erfassungssensor) 20 erfasst wird, berechnet.
Als nächstes wird eine Erfassung des Gesichts, das nach oben gerichtet ist, beschrieben. 10B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer das Gesicht horizontal ausrichtet. 10C ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer das Gesicht um 33° von der horizontalen Richtung nach oben richtet. Die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zu der Kinnposition 207 ist Ffh in 10B und die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zu einer Kinnposition 207 ist Ffu in 10C. Da die Kinnposition 207u sich zusammen mit dem Gesicht nach oben bewegt, wenn der Benutzer das Gesicht nach oben richtet, wird die Entfernung Ffu länger als die Entfernung Ffh, wie in 10C gezeigt.
8J ist eine Ansicht, die ein Bild des Benutzers zeigt, der das Gesicht um 33° von der horizontalen Richtung nach oben richtet, von dem Gesichtsrichtungserfassungsfenster 13 aus betrachtet. Da der Benutzer das Gesicht nach oben richtet, wie in 10C gezeigt ist, kann das Gesicht 204 inklusive der Lippe und der Nase von dem Gesichtsrichtungserfassungsfenster 13, das sich unter dem Kiefer des Benutzers befindet, nicht gesehen werden. Das Kinn 203 und dessen Halsseite werden gesehen. 8K zeigt eine Verteilung der Lichtintensität des reflektierten Lichts 25 beim Bestrahlen des Benutzers in dem Zustand, der in 10C gezeigt ist, mit dem Infrarotlicht 23. Ein Bild auf der linken Seite in 8K ist eine Ansicht, die ein Ergebnis zeigt, das durch Anpassen von Schattierungen des Differenzbildes erhalten wird, das durch das gleiche Verfahren wie 8E berechnet wird, um mit einer Skalierung von Lichtintensitäten von reflektierten Komponenten des Infrarotlichts übereinzustimmen, das auf das Gesicht und den Hals des Benutzers projiziert wird, und durch Überlagern des Doppelkreises, der die Kehlenposition 206 zeigt, und des schwarzen Kreises, der eine Kinnposition 207u zeigt. Zwei Graphen in 8K zeigen eine Dichteänderung des linken Bildes. Der linke Graph ist äquivalent zu dem Graph in 8F und der rechte Graph ist äquivalent zu dem Graph in 8G.
Sechs Bereiche 211u, 212u, 213u, 214u, 215u und 216u entsprechend den Lichtintensitäten in 8K sind durch Hinzufügen von „u“ zu den Bezugszeichen der gleichen Lichtintensitätsbereiche, die in 8F gezeigt sind, angegeben. Obwohl die Lichtintensität des Kinns 203 des Benutzers in dem mittelgrauen Bereich 214 in 8F enthalten ist, verschiebt sich dieses auf die schwarze Seite und ist in dem leicht dunkelgrauen Bereich 215u in 8K enthalten. Auf diese Weise, da die Entfernung Ffu länger ist als die Entfernung Ffh, wie in 10C gezeigt ist, kann die Infraroterfassungseinrichtung 27 erfassen, dass die Lichtintensität des reflektierten Lichts 25 von dem Kinn 203 sich in umgekehrter Proportion zu dem Quadrat der Entfernung abgeschwächt hat.
Als nächstes wird eine Erfassung des Gesichts, das nach unten gerichtet ist, beschrieben. 10D ist eine Ansicht, die ein Beispiel eines Zustandes zeigt, dass der Benutzer das Gesicht um 22° von der horizontalen Richtung nach unten richtet. In 10D ist eine Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zu einer Kinnposition 207d gleich Ffd.
Da sich die Kinnposition 207d zusammen mit dem Gesicht nach unten bewegt, wenn der Benutzer das Gesicht nach unten richtet, wird die Entfernung Ffd kürzer als die Entfernung Ffh, die in 10D gezeigt ist, und wird die Lichtintensität des reflektierten Lichts 25 von dem Kinn 203 stärker.
Zurück zu 7C berechnet die Gesamtsteuerungs-CPU (eine Entfernungsberechnungseinheit) 101 in einem Schritt S211 die Entfernung von der Kinnposition zu dem Gesichtsrichtungserfassungsfenster 13 basierend auf der Lichtintensität der Kinnposition, die durch die Infraroterfassungseinrichtung 27 der Gesichtsrichtungserfassungseinheit (ein dreidimensionaler Erfassungssensor) 20 erfasst wird. Gleichzeitig wird ebenso der Gesichtswinkel in die vertikale Richtung berechnet.
Wenn zum Beispiel der Benutzer nach vorne schaut, wie in 10B gezeigt ist, wird eine Beziehung zwischen einem vertikalen Winkel θh der geraden Linie, die die Kinnposition 207 und das Gesichtsrichtungserfassungsfenster 13 verbindet, mit Bezug auf die horizontale Richtung und einer horizontalen Komponente Lh der Entfernung Ffh zu der Kinnposition 207 von dem Gesichtsrichtungserfassungsfenster 13 durch Lh = Ff*cosθh dargestellt.
Außerdem, wenn der Benutzer das Gesicht um 33° nach oben richtet, wie in 10C gezeigt ist, wird eine Beziehung zwischen einem vertikalen Winkel θh der geraden Linie, die die Kinnposition 207u und das Gesichtsrichtungserfassungsfenster 13 verbindet, und einer horizontalen Komponente Lu der Entfernung Ffu zu der Kinnposition 207u von dem Gesichtsrichtungserfassungsfenster 13 durch Lu = Ffu*cosθu dargestellt.
Dementsprechend berechnet die Gesamtsteuerungs-CPU 101 die Differenz von θh und θu als den Gesichtswinkel in die vertikale Richtung. Es sei angemerkt, dass die Entfernungen Ffh und Ffu entsprechend von der Lichtintensität der Kinnposition 207 in 8G und der Lichtintensität der Kinnposition 207u in 8K berechnet werden.
Außerdem werden die horizontalen Komponenten Lh und Lu entsprechend durch Umwandeln der Entfernung Ffh zu der Kinnposition 207 in dem Gesichtsbild in 8G und der Entfernung Ffu zu der Kinnposition 207u in dem Gesichtsbild in 8K in die tatsächliche Größe des Objekts berechnet.
Es sei angemerkt, dass die vorstehend erwähnten Winkelberechnungen voraussetzen, dass die Entfernung von der Kehlenposition 206, die das Rotationszentrum des Kopfes ist, zu der Kinnposition 207 fast gleich zu der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zu der Kinnposition 207 ist. Ein Berechnungsverfahren in einem Fall, in dem die Bildaufnahme-/ Erfassungseinheit 10 in einer separaten Position installiert ist, wird komplizierter.
In einem Schritt S212 speichert die Gesamtsteuerungs-CPU 101 den Gesichtswinkel in die seitliche Richtung (eine erste Erfassungsrichtung), der in Schritt S210 erhalten wird, und den Gesichtswinkel in die vertikale Richtung (eine zweite Erfassungsrichtung), der in dem Schritt S211 erhalten wird, in dem Primärspeicher 103 als eine dreidimensionale Beobachtungsrichtung vi („i“ ist ein beliebiges Bezugszeichen) des Benutzers.
Obwohl der Gesichtswinkel in die vertikale Richtung durch Erfassen der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 in dem Schritt S211 berechnet wird, könnte der Gesichtswinkel durch ein anderes Verfahren berechnet werden. Zum Beispiel könnte eine Änderung des Gesichtswinkels durch Vergleichen von Änderungsniveaus der Lichtintensität des Kinns 203 berechnet werden. Das heißt, die Änderung des Gesichtswinkels könnte durch Vergleichen eines Gradienten CDh der reflektierten Lichtintensität von dem Ansatz 202 des Kiefers zu dem Kinn 203 in dem Graph in 8G mit einem Gradienten CDu der reflektierten Lichtintensität von dem Ansatz 202 des Kiefers zu dem Kinn 203 in dem Graphen in 8K berechnet werden.
7D ist ein Ablaufdiagramm, das eine Unterroutine des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in dem Schritt S300 in 7A zeigt. Bevor Details dieses Prozesses beschrieben werden, wird zuerst ein Superweitwinkelbild, das einer Bestimmung einer Aufzeichnungsrichtung und eines Aufzeichnungsbereichs in diesem Ausführungsbeispiel unterzogen wird, unter Verwendung von 11A beschrieben.
In dem Kameraaufbau 1 dieses Ausführungsbeispiels nimmt die Bildaufnahmeeinheit 40 ein Superweitwinkelbild der Peripherie der Bildaufnahme-/Erfassungseinheit 10 unter Verwendung der Superweitwinkelbildaufnahmelinse 16 auf. Ein Bild einer Beobachtungsrichtung kann durch Extrahieren eines Teils des Superweitwinkelbildes erhalten werden.
11A ist eine Ansicht, die ein Sollsichtfeld 125 zeigt, das in einem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, eingestellt ist, in einem Fall, in dem der Benutzer nach vorne schaut.
Wie in 11A gezeigt ist, ist ein Pixelbereich 121, der durch den Solid-State-Bildsensor 42 aufgenommen werden kann, ein rechteckiger Bereich. Außerdem ist der effektive Projektionsbereich (ein vorbestimmter Bereich) 122 ein Bereich eines kreisförmigen Halbkugelsphärenbildes, das ein Fischaugenbild ist, das auf den Solid-State-Bildsensor 42 durch die Bildaufnahmelinse 16 projiziert wird. Die Bildaufnahmelinse 16 wird angepasst, sodass die Mitte des Pixelbereichs 121 mit der Mitte des effektiven Projektionsbereichs 122 übereinstimmen wird.
Die äußerste Peripherie des kreisförmigen effektiven Projektionsbereichs 122 zeigt eine Position, an der ein FOV-Winkel (FOV, „field of view“) gleich 180° ist. Wenn der Benutzer an der Mitte in sowohl die vertikale als auch die horizontale Richtung schaut, wird ein Winkelbereich des Sollsichtfeldes 125, das aufgenommen wird und aufgezeichnet wird, gleich 90° (eine Hälfte des FOV-Winkels) mittig um die Mitte des effektiven Projektionsbereichs 122 herum. Es sei angemerkt, dass die Bildaufnahmelinse 16 dieses Ausführungsbeispiels ebenso ein Licht von außerhalb des effektiven Projektionsbereichs 122 aufnehmen kann und Licht innerhalb des maximalen FOV-Winkels von 192° auf den Solid-State-Bildsensor 42 als ein Fischaugenbild projizieren kann. Jedoch fällt die optische Leistungsfähigkeit stark in dem Bereich außerhalb des effektiven Projektionsbereichs 122 ab. Zum Beispiel fällt eine Auflösung extrem ab, fällt ein Lichtbetrag ab, und erhöht sich eine Verzerrung. Dementsprechend wird in diesem Ausführungsbeispiel ein Bild einer Beobachtungsrichtung als ein Aufzeichnungsbereich nur aus dem Inneren des Bildes extrahiert (im Folgenden einfach als Superweitwinkelbild bezeichnet), das im Pixelbereich 121 innerhalb des auf dem effektiven Projektionsbereich 122 angezeigten Halbkugelsphärenbildes projiziert wird.
Da die Größe des effektiven Projektionsbereichs 122 in die vertikale Richtung größer ist als die Größe auf der kurzen Seite des Pixelbereichs 121, sind das obere und untere Ende des Bildes des effektiven Projektionsbereichs 122 außerhalb des Pixelbereichs 121 in diesem Ausführungsbeispiel. Jedoch ist die Beziehung zwischen den Bereichen nicht darauf beschränkt. Zum Beispiel könnte das optische System derart entworfen sein, dass der gesamte effektive Projektionsbereich 122 in dem Pixelbereich 121 umfasst sein wird, durch Ändern der Konfigurationen der Bildaufnahmelinse 16. Ungültige Pixelbereiche 123 sind Teile des Pixelbereichs 121, die nicht in dem effektiven Projektionsbereich 122 umfasst sind.
Das Sollsichtfeld 125 zeigt einen Bereich eines Bildes einer Beobachtungsrichtung eines Benutzers, das von dem Superweitwinkelbild extrahiert werden wird. Das Sollsichtfeld 125 ist durch linke, rechte, obere und untere Feldwinkel (in diesem Fall 45°, wobei der FOV-Winkel gleich 90° ist) vorgeschrieben, die mittig um die Beobachtungsrichtung herum liegen. In dem Beispiel von 11A, da der Benutzer nach vorne schaut, wird die Mitte des Sollsichtfeldes 125 die Beobachtungsrichtung (Mittelrichtung) vo, die mit der Mitte des effektiven Projektionsbereichs 122 übereinstimmt.
Das in 11A gezeigte Superweitwinkelbild umfasst ein A-Objekt 131, das ein Kind ist, ein B-Objekt 132, das eine Stufe zeigt, die das Kind, das das A-Objekt ist, heraufzusteigen versucht, und ein C-Objekt 133, das ein Spielplatzgerät von der Art eine Lokomotive ist.
Als nächstes wird der Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess in dem Schritt S300 in 7A, der ausgeführt wird, um ein Bild einer Beobachtungsrichtung von dem Superweitwinkelbild, das in 11A beschrieben ist, zu erhalten, in 7D gezeigt. Nachstehend wird dieser Prozess unter Verwendung von 12A bis 12G beschrieben, die konkrete Beispiele des Sollsichtfeldes 125 zeigen.
In einem Schritt S301 wird ein Feldwinkeleinstellungswert V_ang, der im Voraus eingestellt ist, durch Lesen von dem Primärspeicher 103 erhalten.
In diesem Ausführungsbeispiel speichert der interne nichtflüchtige Speicher 102 alle verfügbaren Feldwinkel (45°, 90°, 110°, und 130°) als Feldwinkeleinstellungswerte V_ang. Die Bildextrahierungs-/Entwicklungseinheit 50 extrahiert ein Bild einer Beobachtungsrichtung in einem Bereich, der durch den Feldwinkeleinstellungswert V_ang definiert ist, von dem Superweitwinkelbild. Außerdem wird der Feldwinkeleinstellungswert V_ang, der in den verschiedenen eingestellten Werten enthalten ist, die von dem internen nichtflüchtigen Speicher 102 in einem der Schritte S103, S106 und S108 in 7B gelesen werden, festgelegt und in dem Primärspeicher 103 gespeichert.
Außerdem wird in dem Schritt S301 der Beobachtungsrichtung vi, die in dem Schritt S212 bestimmt ist, als die Aufzeichnungsrichtung bestimmt, wird ein Bild in dem Sollsichtfeld 125, dessen Mitte durch die Beobachtungsrichtung vi designiert ist und deren Bereich durch den erhaltenen Feldwinkeleinstellungswert V_ang definiert ist, von dem Superweitwinkelbild extrahiert und wird das extrahierte Bild in dem Primärspeicher 103 gespeichert.
In dem Fall der Beobachtungsrichtung (Mittelrichtung) vo, da der Einfluss der optischen Verzerrung, die durch die Bildaufnahmelinse 16 verursacht wird, weitestgehend vernachlässigt werden kann, ist die Form des festgelegten Sollsichtfeldes 125 im Wesentlichen identisch zu der Form des Sollsichtfeldes 125o (12A) nach einem Umwandeln der Verzerrung in einem Schritt S303, der später beschrieben wird. Nachstehend wird ein Sollsichtfeld nach einem Umwandeln der Verzerrung in dem Fall der Beobachtungsrichtung vi als Sollsichtfeld 125i bezeichnet.
Als nächstes wird ein Bildstabilisierungsniveau, das im Voraus eingestellt ist, durch Lesen von dem Primärspeicher 103 in einem Schritt S302 erhalten.
In diesem Ausführungsbeispiel, wie vorstehend erwähnt, wird das Bildstabilisierungsniveau, das in den verschiedenen Einstellungswerten enthalten ist, die von dem internen nichtflüchtigen Speicher 102 in einem der Schritte S103, S106 und S108 gelesen wird, festgelegt und in dem Primärspeicher 103 gespeichert.
Außerdem wird in dem Schritt S302 eine Bildstabilisierungsspannenpixelanzahl Pis basierend auf dem erhaltenen Bildstabilisierungsniveau eingestellt.
In dem Bildstabilisierungsprozess wird ein Bild, das in einer Richtung entgegengesetzt zu einer Unschärferichtung folgt, gemäß einem Unschärfebetrag der Bildaufnahme-/Erfassungseinheit 10 erhalten. Dementsprechend wird in diesem Ausführungsbeispiel eine Bildstabilisierungsspanne, die für die Bildstabilisierung erforderlich ist, um das Sollsichtfeld 125i herum festgelegt.
Außerdem wird in diesem Ausführungsbeispiel eine Tabelle, die Werte der Bildstabilisierungsspannenpixelanzahl Pis in Verknüpfung mit entsprechenden Bildstabilisierungsniveaus hält, in dem internen nichtflüchtigen Speicher 102 gespeichert. Wenn zum Beispiel das Bildstabilisierungsniveau „Mittel“ ist, wird eine Bildstabilisierungsspanne, deren Breite gleich „100 Pixel“ ist, als die Bildstabilisierungsspannenpixelanzahl Pis, die von der vorstehend erwähnten Tabelle gelesen wird, um das Sollsichtfeld herum festgelegt.
12E ist eine Ansicht, die ein Beispiel zeigt, das eine Bildstabilisierungsspanne entsprechend einem vorbestimmten Bildstabilisierungsniveau um das Sollsichtfeld 125o herum, das in 12A gezeigt ist, zeigt. Hierin wird ein Fall beschrieben, in dem das Bildstabilisierungsniveau „Mittel“ ist, das heißt, in dem die Bildstabilisierungsspannenpixelanzahl Pis gleich „100 Pixel“ ist.
Wie durch eine gestrichelte Linie in 12E gezeigt ist, wird eine Bildstabilisierungsspanne 126o, deren Breite gleich „100 Pixel“ ist, was die Bildstabilisierungsspannenpixelanzahl Pis ist, auf der linken, rechten, oberen und unteren Seite des Sollsichtfeldes 125o festgelegt.
12A und 12E zeigen den Fall (die Beobachtungsrichtung vo), in dem die Beobachtungsrichtung vi mit der Mitte O (der optischen Achsenmitte der Bildaufnahmelinse 16) des effektiven Projektionsbereichs 122 übereinstimmt, zur Einfachheit der Beschreibung. Unterdessen, wenn die Beobachtungsrichtung vi auf eine Peripherie des effektiven Projektionsbereichs 122 gerichtet ist, wird eine Umwandlung zum Reduzieren des Einflusses einer optischen Verzerrung erforderlich.
In dem Schritt S303 wird die Form des Sollsichtfeldes 125, die in dem Schritt S301 erstellt ist, unter Berücksichtigung der Beobachtungsrichtung vi und der optischen Eigenschaft der Bildaufnahmelinse 16 korrigiert (wird eine Verzerrung umgewandelt), um das Sollsichtfeld 125i zu erzeugen. Auf ähnliche Weise wird ebenso die Bildstabilisierungsspannenpixelanzahl Pis, die in dem Schritt S302 eingestellt ist, unter Berücksichtigung der Beobachtungsrichtung vi und der optischen Eigenschaft der Bildaufnahmelinse 16 korrigiert.
Zum Beispiel soll der Feldwinkeleinstellungswert V_ang gleich 90° sein und soll der Benutzer von der Mitte o aus eine Richtung von 45° nach recht beobachten. In diesem Fall wird die Beobachtungsrichtung vr (Vektorinformationen [45°, 0°]) in dem Schritt S212 bestimmt und wird der Bereich von 45° nach links und rechts und 45° nach oben und unten mittig um die Beobachtungsrichtung vr herum das Sollsichtfeld 125. Außerdem wird das Sollsichtfeld 125 unter Berücksichtigung der optischen Eigenschaft der Bildaufnahmelinse 16 zu dem Sollsichtfeld 125r korrigiert, das in 12B gezeigt ist.
Wie in 12B gezeigt ist, wird das Sollsichtfeld 125r in der Richtung der Peripherie des effektiven Projektionsbereichs 122 breiter. Und die Position der Beobachtungsrichtung vr nähert sich etwas auf die Innenseite von der Mitte des Sollsichtfeldes 125r. Dies liegt daran, dass das optische Design der Bildaufnahmelinse 16 in diesem Ausführungsbeispiel nahe zu dem einer stereographischen Projektions-Fischaugenlinse ist. Es sei angemerkt, dass Inhalte der Korrektur von dem optischen Design der Bildaufnahmelinse 16 abhängen. Wenn die Bildaufnahmelinse 16 als eine Fischaugenlinse mit äquidistanter Projektion, eine Fischaugenlinse mit gleichem Raumwinkel oder eine Fischaugenlinse mit orthogonaler Projektion entworfen ist, wird das Sollsichtfeld 125 gemäß den optischen Eigenschaften korrigiert.
12F ist eine Ansicht, die ein Beispiel zeigt, das eine Bildstabilisierungsspanne 126r entsprechend dem gleichen Bildstabilisierungsniveau „Mittel“ des Bildstabilisierungsniveaus in 12E um das Sollsichtfeld 125r herum, das in 12B gezeigt ist, zeigt.
Die Bildstabilisierungsspanne 126o (12E) ist an den linken, rechten, oberen und unteren Seiten des Sollsichtfeldes 125o mit der Breite von „100 Pixel“, was die Bildstabilisierungsspannenpixelanzahl Pis ist, festgelegt. Im Vergleich damit wird die Bildstabilisierungsspannenpixelanzahl Pis der Bildstabilisierungsspanne 126r (12F) korrigiert, um sich in Richtung der Peripherie des effektiven Projektionsbereichs 122 zu erhöhen.
Auf diese Weise wird die Form der Bildstabilisierungsspanne, die um das Sollsichtfeld 125r herum festgelegt wird, ebenso wie die Form des Sollsichtfeldes 125r korrigiert, sodass sich der Korrekturbetrag in Richtung der Peripherie des effektiven Projektionsbereichs 122 erhöhen wird, wie durch die Bildstabilisierungsspanne 126r in 12F gezeigt ist. Dies liegt ebenso daran, dass das optische Design der Bildaufnahmelinse 16 in diesem Ausführungsbeispiel nahe zu dem einer Fischaugenlinse mit stereographischer Projektion ist. Es sei angemerkt, dass Inhalte der Korrektur von dem optischen Design der Bildaufnahmelinse 16 abhängen. Wenn die Bildaufnahmelinse 16 als eine Fischaugenlinse mit äquidistanter Projektion, eine Fischaugenlinse mit einer Projektion mit gleichem Raumwinkel oder eine Fischaugenlinse mit einer orthogonalen Projektion entworfen ist, wird die Bildstabilisierungsspanne 126r gemäß diesen optischen Eigenschaften korrigiert.
Der Prozess, der in Schritt S303 ausgeführt wird, der sukzessiv die Formen des Sollsichtfeldes 125 und deren Bildstabilisierungsspannen unter Berücksichtigung der optischen Eigenschaft der Bildaufnahmelinse 16 wechselt, ist ein komplizierter Prozess. Dementsprechend wird in diesem Ausführungsbeispiel der Prozess in dem Schritt S303 unter Verwendung einer Tabelle ausgeführt, die Formen des Sollsichtfeldes 125i und deren Bildstabilisierungsspannen für jede Beobachtungsrichtung vi, die in den internen nichtflüchtigen Speicher 102 gespeichert ist, hält. Es sei angemerkt, dass die Gesamtsteuerungs-CPU 101 Berechnungsgleichungen in Abhängigkeit des optischen Designs der Bildaufnahmelinse 16 aufweisen kann. In solch einem Fall kann die Gesamtsteuerungs-CPU101 einen optischen Verzerrungswert unter Verwendung der Berechnungsgleichung berechnen.
In einem Schritt S304 werden eine Position und eine Größe eines Bildaufzeichnungsrahmens berechnet. Wie vorstehend erwähnt wird die Bildstabilisierungsspanne 126i um das Sollsichtfeld 125i herum festgelegt. Wenn jedoch die Position der Beobachtungsrichtung vi nahe zu der Peripherie des effektiven Projektionsbereichs 122 ist, wird die Form der Bildstabilisierungsspanne beträchtlich speziell, wie durch die Bildstabilisierungsspanne 126r zum Beispiel gezeigt ist.
Die Gesamtsteuerungs-CPU 101 kann ein Bild nur in einem solchen speziell geformten Bereich extrahieren und den Entwicklungsprozess auf das extrahierte Bild anwenden. Es ist jedoch nicht üblich, ein nicht rechteckiges Bild bei der Aufzeichnung als Bilddaten in dem Schritt S600 oder bei der Übertragung von Bilddaten an die Anzeigevorrichtung 800 in dem Schritt S700 zu verwenden. Dementsprechend werden in dem Schritt S304 die Position und Größe des Bildaufzeichnungsrahmen 127i einer rechteckigen Form, die die gesamte Bildstabilisierungsspanne 126i umfasst, berechnet.
12F zeigt den Bildaufzeichnungsrahmen 127r, der in dem Schritt S304 zu der Bildstabilisierungsspanne 126r berechnet wird, durch eine abwechselnd lang und kurz gestrichelte Linie.
In einem Schritt S305 werden die Position und Größe des Bildaufzeichnungsrahmens 127i, die in dem Schritt S304 berechnet werden, in dem Primärspeicher 103 aufgezeichnet.
In diesem Ausführungsbeispiel wird eine obere linke Koordinate (Xi, Yi) des Bildaufzeichnungsrahmens 127i in dem Superweitwinkelbild als die Position des Bildaufzeichnungsrahmens 127i aufgezeichnet und werden eine seitliche Breite WXi und eine vertikale Breite WYi, die von der Koordinate (Xi, Yi) starten, als die Größe des Bildaufzeichnungsrahmens 127i aufgezeichnet. Zum Beispiel werden eine Koordinate (Xr, Yr), eine seitliche Breite WXr und eine vertikale Breite WYr des Bildaufzeichnungsrahmens 127r, der in 12F gezeigt ist, in dem Schritt S305 aufgezeichnet. Es sei angemerkt, dass die Koordinate (Xi, Yi) eine XY-Koordinate ist, dessen Ursprung ein vorbestimmter Referenzpunkt ist, speziell die optische Mitte der Bildaufnahmelinse 16.
Wenn die Bildstabilisierungsspanne 126i und der Bildaufzeichnungsrahmens 127i auf diese Weise bestimmt wurden, verlässt der Prozess diese Unterroutine, die in 7D gezeigt ist.
In der bisherigen Beschreibung wurden die Beobachtungsrichtungen, deren horizontaler Winkel gleich 0° ist, wie etwa die Beobachtungsrichtung v0 (die Vektorinformationen [0°, 0°]) und die Beobachtungsrichtung vr (die Vektorinformationen [45°, 0°]), zur Vereinfachung der Beschreibung der komplizierten optischen Verzerrungsumwandlung beschrieben. Unterdessen ist eine tatsächliche Beobachtungsrichtung vi des Benutzers beliebig. Dementsprechend misst der Aufzeichnungsbereichsentwicklungsprozess, der in einem Fall ausgeführt wird, in dem der horizontale Winkel nicht gleich 0° ist, nachstehend beschrieben. Wenn zum Beispiel der Feldwinkeleinstellungswert V_ang gleich 90° ist und die Beobachtungsrichtung vm gleich [-42°, -40°] ist, erscheint das Sollsichtfeld 125m, wie in 12C gezeigt ist.
Außerdem, auch wenn die Beobachtungsrichtung vm (die Vektorinformationen [-42°,-40°]), die gleiche ist wie das Sollsichtfeld 125m, wenn der Feldwinkeleinstellungswert V_ang gleich 45° ist, erscheint ein Sollsichtfeld 128m, das leicht kleiner als das Sollsichtfeld 125m, wie in 12D gezeigt ist.
Des Weiteren sind eine Bildstabilisierungsspanne 129m und ein Bildaufzeichnungsrahmen 130m um das Sollsichtfeld 128m herum festgelegt, wie in 12G gezeigt ist.
Da der Prozess in dem Schritt S400 eine grundlegende Bildaufnahmeoperation ist und einen allgemeinen Ablauf der Bildaufnahmeeinheit 40 verwendet, wird die detaillierte Beschreibung weggelassen. Es sei angemerkt, dass die Bildsignalverarbeitungsschaltung 43 in der Bildaufnahmeeinheit 40 in diesem Ausführungsbeispiel ebenso einen Prozess durchführt, der Signale einer inhärenten Ausgabeform (Standardbeispiele: MIPI, SLVS), die von dem Solid-State-Bildsensor 42 ausgegeben werden, in Aufnahmebilddaten eines allgemeinen Sensorlesesystems umwandelt.
Wenn die Videobildbetriebsart durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, startet die Bildaufnahmeeinheit 40 eine Aufzeichnung als Reaktion auf ein Drücken des Startschalters 14. Danach wird das Aufzeichnen beendet, wenn der Stoppschalter 15 gedrückt wird. Unterdessen, wenn die Standbildbetriebsart durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, nimmt die Bildaufnahmeeinheit 40 ein statisches Bild jedes Mal auf, wenn die Starttaste 14 gedrückt wird.
7E ist ein Ablaufdiagramm, das eine Unterroutine des Aufzeichnungsbereichsentwicklungsprozesses in dem Schritt S500 in 7A zeigt.
In einem Schritt S501 werden Rohdaten des Gesamtbereichs der Aufnahmebilddaten (Superweitwinkelbild), das durch die Bildaufnahmeeinheit 40 in dem Schritt S400 erzeugt wird, erhalten und in eine Bildaufnahmeeinheit, die als Kopfeinheit bzw. Haupteinheit bezeichnet wird (nicht gezeigt), der Gesamtsteuerungs-CPU 101 eingegeben.
Als nächstes wird in Schritt S502 das Bild innerhalb des Bildaufzeichnungsrahmens 127i von dem Superweitwinkelbild, das in dem Schritt S501 erhalten wird, basierend auf den Koordinaten (Xi, Yi), der seitlichen Breite WXi und der vertikalen Breite WYi, die in dem Primärspeicher 103 in dem Schritt S305 aufgezeichnet sind, extrahiert. Nach der Extrahierung wird ein Zuschnittentwicklungsprozess (7F), der aus Schritten S503 bis S508 besteht, nur bezüglich der Pixel innerhalb der Bildstabilisierungsspanne 126i ausgeführt. Dies kann einen Berechnungsbetrag im Vergleich mit einem Fall, in dem der Entwicklungsprozess auf den gesamten Bereich des Superweitwinkelbildes, das in Schritt S501 gelesen wird, ausgeführt wird, signifikant reduzieren. Dementsprechend können eine Berechnungszeit und ein elektrischer Leistungsverbrauch reduziert werden.
Wie in 7F gezeigt ist, wenn die Videobildbetriebsart durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist, werden die Prozesse der Schritte S200 und S300 und der Prozess von Schritt S400 durch die gleiche Rahmenrate oder unterschiedliche Rahmenraten parallel ausgeführt. Wann immer die Rohdaten des gesamten Bereichs von einem Rahmen, der durch die Bildaufnahmeeinheit 40 erzeugt wird, erhalten wird, wird der Zuschnittentwicklungsprozess basierend auf der Koordinate (Xi, Yi), der seitlichen Breite WXi und vertikalen Breite WYi, die in dem Primärspeicher 103 aufgezeichnet sind, zu diesem Zeitpunkt ausgeführt.
Wenn der Zuschnittentwicklungsprozess bezüglich der Pixel innerhalb der Bildstabilisierungsspanne 126i ausgeführt wird, wird eine Farbinterpolation, die Daten von Farbpixeln, die in der Bayer-Anordnung angeordnet sind, in dem Schritt S503 ausgeführt. Danach wird ein Weißabgleich in einem Schritt S504 angepasst und danach wird eine Farbumwandlung in einem Schritt S505 ausgeführt. In einem Schritt S506 wird eine Gammakorrektur, die eine Abstufung gemäß einem Gammakorrekturwert, der im Voraus eingestellt ist, korrigiert, durchgeführt. In einem Schritt S507 wird eine Kantenverbesserung gemäß einer Bildgröße durchgeführt.
In dem Schritt S508 werden Bilddaten durch Anwenden eines Prozesses, wie etwa eine Komprimierung, in ein Datenformat umgewandelt, das primär gespeichert werden kann. Die umgewandelten Bilddaten werden in dem Primärspeicher 103 gespeichert. Danach verlässt der Prozess die Unterroutine. Details des Datenformats, das primär gespeichert werden kann, werden später beschrieben.
Die Reihenfolge und das Vorhandensein von Prozessen in den Schritten S503 bis S508, die während des Zuschnittentwicklungsprozess ausgeführt werden, können gemäß der Eigenschaft des Kamerasystems geändert werden und beschränken die vorliegende Erfindung nicht. Außerdem, wenn die Videobildbetriebsart ausgewählt ist, werden die Prozesse der Schritte S200 bis S500 wiederholt ausgeführt, bis die Aufzeichnung beendet ist.
Gemäß diesem Prozess wird der Berechnungsbetrag im Vergleich mit einem Fall, in dem der Entwicklungsprozess bezüglich des gesamten Bereichs, der in Schritt S501 gelesen wird, ausgeführt wird, signifikant reduziert. Dementsprechend kann ein kostengünstiger Mikrocomputer mit einem niedrigen Leistungsverbrauch als die Gesamtsteuerungs-CPU 101 eingesetzt werden. Außerdem wird eine Wärmeerzeugung in der Gesamtsteuerungs-CPU 101 reduziert und wird ein Verbrauch der Batterie 94 reduziert.
Außerdem, um eine Steuerungslast auf die Gesamtsteuerungs-CPU 101 zu reduzieren, werden der optische Korrekturprozess (der Schritt S800 in 7A) und der Bildstabilisierungsprozess (der Schritt S900 in 7A) auf das Bild in diesem Ausführungsbeispiel nicht durch den Kameraaufbau 1 ausgeführt. Diese Prozesse werden durch die Anzeigevorrichtungssteuerung 801 nach einem Übertragen des Bildes an die Anzeigevorrichtung 800 ausgeführt. Die Daten des extrahierten Bildes umfassen keine Positionsinformationen, die bei dem optischen Korrekturprozess durch eine Formal ersetzt werden oder auf die von einer Korrekturtabelle in dem Bildstabilisierungsprozess Bezug genommen wird. Dementsprechend, wenn nur Daten des Teilbildes, das von einem projizierten Superweitwinkelbild extrahiert wird, an die Anzeigevorrichtung 800 übertragen werden, können weder der optische Korrekturprozess noch der Bildstabilisierungsprozess korrekt ausgeführt werden. Dementsprechend überträgt in diesem Ausführungsbeispiel der Kameraaufbau 1 Korrekturdaten inklusive Informationen über eine Extrahierungsposition eines Bildes von einem Superweitwinkelbild zusammen mit Daten des extrahierten Bildes an die Anzeigevorrichtung 800.
Wenn das extrahierte Bild ein Standbild ist, da die Standbilddaten den Korrekturdaten eins zu eins entsprechen, kann die Anzeigevorrichtung 800 den optischen Korrekturprozess und den Bildstabilisierungsprozess korrekt ausführen, auch wenn diese Daten separat an die Anzeigevorrichtung 800 übertragen werden. Unterdessen, wenn das extrahierte Bild ein Videobild ist, falls die Videobilddaten und die Korrekturdaten separat an die Anzeigevorrichtung 800 übertragen werden, wird es schwierig, eine Korrespondenz zwischen jedem Rahmen der Videobilddaten und der Korrekturdaten zu bestimmen. Insbesondere wenn eine Taktrate der Gesamtsteuerungs-CPU 101 in dem Kameraaufbau 1 von einer Taktrate der Anzeigevorrichtungssteuerung 801 in der Anzeigevorrichtung 800 leicht abweicht, geht die Synchronisation zwischen der Gesamtsteuerungs-CPU 101 und der Anzeigevorrichtungssteuerung 801 während der Videobildaufnahmeoperation für mehrere Minuten verloren. Dies könnte einen Defekt verursachen, dass die Anzeigevorrichtungssteuerung 801 einen Rahmen mit Korrekturdaten, die von den entsprechenden Korrekturdaten verschieden sind, korrigiert.
Dementsprechend, wenn Daten eines extrahierten Videobildes an die Anzeigevorrichtung 800 übertragen werden, gibt der Kameraaufbau 1 in diesem Ausführungsbeispiel seine Korrekturdaten auf geeignete Weise zu den Daten des Videobildes. Nachstehend wird das Verfahren beschrieben.
14 ist ein Ablaufdiagramm, das die Unterroutine des Primäraufzeichnungsprozesses in dem Schritt S600 in 7A zeigt. Nachstehend wird dieser Prozess ebenso durch Bezugnahme auf 15 beschrieben. 14 zeigt den Prozess eines Falls, in dem die Videobildbetriebsart durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist. Wenn die Standbildbetriebsart ausgewählt ist, startet dieser Prozess von einem Schritt S601 und wird nach einem Prozess eines Schritts S606 beendet.
In einem Schritt S601a liest die Gesamtsteuerungs-CPU 101 ein Bild von einem Rahmen, auf das die Prozesse in Schritt S601 bis S606 nicht angewendet wurden, von den Videobilddaten, die in dem Aufzeichnungsbereichsentwicklungsprozess entwickelt wurden (7E). Außerdem erzeugt die Gesamtsteuerungs-CPU (eine Metadatenerzeugungseinheit) 101 Korrekturdaten, die Metadaten des gelesenen Rahmens sind.
In dem Schritt S601 hängt die Gesamtsteuerungs-CPU 101 die Informationen über die Extrahierungsposition des Bildes des Rahmens, das in dem Schritt S601a gelesen wird, an die Korrekturdaten an. Die Informationen, die in diesem Schritt angehängt sind, sind die Koordinate (Xi, Yi) des Bildaufzeichnungsrahmens 127i, der in Schritt S305 erhalten wird. Es sei angemerkt, dass die Informationen, die in diesem Schritt angehängt werden, die Vektorinformationen sein können, die die Beobachtungsrichtung vi zeigen.
In einem Schritt S602 erhält die Gesamtsteuerungs-CPU (eine Optikkorrekturwerterhaltungseinheit) 101 einen optischen Korrekturwert. Der optische Korrekturwert ist der optische Verzerrungswert, der in dem Schritt S303 eingestellt wird. Alternativ kann der optische Korrekturwert ein Korrekturwert entsprechend der optischen Linseneigenschaft sein, wie etwa ein Grenzlichtbetragskorrekturwert oder ein Beugungskorrekturwert.
In einem Schritt S603 hängt die Gesamtsteuerungs-CPU 101 den optischen Korrekturwert, der für die Verzerrungsumwandlung in dem Schritt S602 verwendet wird, an die Korrekturdaten an.
In einem Schritt S604 bestimmt die Gesamtsteuerungs-CPU 101, ob die Bildstabilisierungsbetriebsart wirksam ist. Speziell, wenn die Bildstabilisierungsbetriebsart, die im Voraus eingestellt ist, „Mittel“ oder „Stark“ ist, wird bestimmt, dass die Bildstabilisierungsbetriebsart wirksam ist und der Prozess geht über zu dem Schritt S605. Unterdessen, wenn die Bildstabilisierungsbetriebsart, die im Voraus eingestellt ist, „AUS“ ist, wird bestimmt, dass die Bildstabilisierungsbetriebsart nicht wirksam ist und der Prozess geht über zu dem Schritt S606. Der Grund, warum der Schritt S605 übersprungen wird, wenn die Bildstabilisierungsbetriebsart „AUS“ ist, ist, dass der Berechnungsdatenbetrag der Gesamtsteuerungs-CPU 101 und der Datenbetrag der drahtlosen Kommunikation reduziert sind und der Leistungsverbrauch und die Wärmeerzeugung des Kameraaufbaus 1 durch Überspringen des Schritts S605 reduziert werden können. Obwohl die Reduzierung der Daten, die für den Bildstabilisierungsprozess verwendet werden, beschrieben ist, könnten die Daten über den Grenzlichtbetragswert oder die Daten über den Beugungskorrekturwert, die als der optische Korrekturwert in dem Schritt S602 erhalten werden, reduziert werden.
Obwohl die Bildstabilisierungsbetriebsart durch die Operation des Benutzers bezüglich der Anzeigevorrichtung 800 im Voraus in diesem Ausführungsbeispiel eingestellt wird, könnte diese als eine Standardeinstellung des Kameraaufbaus 1 eingestellt sein. Außerdem, wenn das Kamerasystem 1 dazu konfiguriert ist, die Wirksamkeit des Bildstabilisierungsprozesses nach einem Übertragen von Bilddaten an die Anzeigevorrichtung 800 umzuschalten, könnte der Prozess direkt zu Schritt S605 von dem Schritt S603 durch Auslassen des Schrittes S604 übergehen.
In dem Schritt S605 häng die Gesamtsteuerungs-CPU (eine Bewegungsbetragserfassungseinheit) 101 die Bildstabilisierungsbetriebsart, die in dem Schritt S302 erhalten wird, und die Gyro-Daten, die mit dem Rahmen verknüpft sind, der in dem Schritt S601a gelesen wird und in dem Primärspeicher 813 gespeichert ist, an die Korrekturdaten an.
In dem Schritt S606 aktualisiert die Gesamtsteuerungs-CPU 101 eine Videodatei 1000 (15) durch Daten, die durch Kodieren der Bilddaten des Rahmens, die in dem Schritt S601a gelesen werden, und der Korrekturdaten, an die die verschiedenen Daten in den Schritten S601bis S605 angehängt sind, erhalten werden. Es sei angemerkt, dass, wenn ein erster Rahmen dieses Videobildes in dem Schritt S601a gelesen wird, die Videodatei 1000 in dem Schritt S606 erzeugt wird.
In einem Schritt S607 bestimmt die Gesamtsteuerungs-CPU 101, ob alle Rahmen des Videobildes, das durch den Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelt wurde, gelesen wurden. Wenn nicht alle Rahmen gelesen wurden, kehrt der Prozess zurück zu dem Schritt S601a. Unterdessen, wenn alle Rahmen gelesen wurden, verlässt der Prozess diese Unterroutine. Die erzeugte Videodatei 1000 wird in dem internen nichtflüchtigen Speicher 102 gespeichert. Die Videodatei kann in dem nichtflüchtigen Speicher 51 mit großer Kapazität zusätzlich zu dem Primärspeicher 813 und dem internen nichtflüchtigen Speicher 102 gespeichert werden. Außerdem wird der Übertragungsprozess (der Schritt S700 in 7A), der die erzeugte Bilddatei 1000 an die Anzeigevorrichtung 800 überträgt, unmittelbar ausgeführt. Die Bilddatei 1000 kann in dem Primärspeicher 813 nach einem Übertragen von diesem an die Anzeigevorrichtung 800 gespeichert werden.
In diesem Ausführungsbeispiel bedeutet ein Kodieren, dass die Bilddaten und die Korrekturdaten in eine Datei kombiniert werden. Gleichzeitig könnten die Bilddaten komprimiert werden oder könnte die Datendatei, die durch die Bilddaten und die Korrekturdaten kombiniert wird, komprimiert werden.
15 ist eine Ansicht, die eine Datenstruktur der Videodatei 1000 zeigt. Die Videodatei 1000 besteht aus einem Kopfzeilenteil 1001 und einem Rahmenteil 1002. Der Rahmenteil 1002 besteht aus Rahmendatensätzen, die jeweils aus einem Bild von jedem Rahmen und entsprechenden Rahmenmetadaten bestehen. Das heißt, der Rahmenteil 1002 umfasst Rahmendatensätze gemäß der Anzahl der Gesamtrahmen des Videobildes.
In diesem Ausführungsbeispiel sind die Rahmenmetadaten Informationen, die durch Kodieren der Korrekturdaten, zu denen eine Extrahierungsposition (bildinterne Positionsinformationen), ein optischer Korrekturwert und Gyro-Daten nach Bedarf hinzugefügt sind, erhalten werden. Jedoch sind die Rahmenmetadaten nicht darauf beschränkt. Ein Informationsbetrag der Rahmenmetadaten könnte geändert werden. Zum Beispiel könnten andere Informationen zu den Rahmenmetadaten gemäß der Bildaufnahmebetriebsart, die durch den Bildaufnahmebetriebsartschalter 12 ausgewählt wird, hinzugefügt werden. Alternativ könnte ein Teil der Informationen in den Rahmenmetadaten gelöscht werden.
Ein Versatzwert zu den Rahmendatensätzen von jedem Rahmen oder eine Kopfadresse von jedem Rahmen wird in dem Kopfzeilenteil 1001 aufgezeichnet. Alternativ könnten Metadaten, wie etwa die Zeit und Größe entsprechend der Videodatei 1000 in dem Kopfzeilenteil 1001 gespeichert werden.
In dem Primäraufzeichnungsprozess (14) wird die Videodatei 1000 auf diese Weise an die Anzeigevorrichtung 800 übertragen. Die Videodatei 1000 umfasst Datensätze, die jeweils aus einem Rahmen des Videobildes, das durch den Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelt wird, und den Metadaten besteht. Dementsprechend, auch wenn die Taktrate der Gesamtsteuerungs-CPU 101 in dem Kameraaufbau 1 von der Taktrate der Anzeigevorrichtungssteuerung 801 in der Anzeigevorrichtung 800 leicht verschieden ist, wendet die Anzeigevorrichtungssteuerung 801 den Korrekturprozess auf geeignete Weise auf das Videobild, das in dem Kameraaufbau 1 entwickelt wird, an.
Obwohl der optische Korrekturwert in den Rahmenmetadaten in diesem Ausführungsbeispiel umfasst ist, könnte der optische Korrekturwert an das gesamte Videobild gegeben werden.
16 ist ein Ablaufdiagramm, das die Unterroutine des Übertragungsprozesses zu der Anzeigevorrichtung 800, der in Schritt S700 in 7A ausgeführt wird, zeigt. 16 zeigt den Prozess eines Falls, in dem die Videobildbetriebsart durch den Bildaufnahmebetriebsartschalter 12 ausgewählt ist. Es sei angemerkt, dass, wenn die Standbildbetriebsart ausgewählt ist, dieser Prozess von einem Prozess in einem Schritt S702 startet.
In einem Schritt S701 wird bestimmt, ob der Bildaufnahmeprozess (der Schritt S400) des Videobildes durch die Bildaufnahmeeinheit 40 beendet ist oder eine Aufzeichnung stattfindet. Wenn das Videobild aufgezeichnet wird, werden der Aufzeichnungsbereichsentwicklungsprozess (der Schritt S500) für jeden Rahmen und die Aktualisierung der Bilddatei 1000 (der Schritt S606) in dem Primäraufzeichnungsprozess (der Schritt S600) sequenziell ausgeführt. Da eine Leistungslast der drahtlosen Übertragung groß ist, wenn die drahtlose Übertragung während der Videobildaufnahmeoperation parallel durchgeführt wird, muss die Batterie 94 eine große Batteriekapazität aufweisen oder ist eine neue Maßnahme gegenüber einer Wärmeerzeugung erforderlich. Außerdem, von dem Gesichtspunkt einer arithmetischen Kapazität, wenn die drahtlose Übertragung während der Videobildaufnahmeoperation parallel durchgeführt wird, wird eine arithmetische Last groß werden, was erfordert, dass eine Hochspezifikations-CPU als die Gesamtsteuerungs-CPU 101 vorbereitet wird, was die Kosten erhöht. Angesichts dieser Punkte geht in diesem Ausführungsbeispiel die Gesamtsteuerungs-CPU 101 mit dem Prozess über zu einem Schritt S702 nachdem die Videobildaufnahmeoperation beendet ist (JA in dem Schritt S701) und stellt die drahtlose Verbindung mit der Anzeigevorrichtung 800 her. Unterdessen, wenn das Kamerasystem des Ausführungsbeispiels einen Spielraum in der elektrischen Leistung hat, die von der Batterie 94 zugeführt wird, und eine neue Maßnahme gegenüber einer Wärmeerzeugung nicht notwendig ist, kann die Gesamtsteuerungs-CPU 101 im Voraus die drahtlose Verbindung mit der Anzeigevorrichtung 800 erstellen, wenn der Kameraaufbau 1 gestartet wird, oder bevor das Aufzeichnen gestartet wird.
In dem Schritt S702 stellt die Gesamtsteuerungs-CPU 101 die Verbindung mit der Anzeigevorrichtung 800 über die Hochgeschwindigkeitsdrahtloskommunikationseinheit 72 her, um die Videodatei 1000, die ein großes Datenvolumen aufweist, an die Anzeigevorrichtung 800 zu übertragen. Es sei angemerkt, dass die Drahtloskommunikationseinheit 71 mit geringer Leistung zum Übertragen eines Bildes mit niedriger Auflösung zum Überprüfen eines Feldwinkels an die Anzeigevorrichtung 800 übertragen wird und zum Austauschen von verschiedenen Einstellungswerten mit der Anzeigevorrichtung 800 verwendet wird. Unterdessen wird die Drahtloskommunikationseinheit 71 mit geringer Leistung nicht zur Übertragung der Videodatei 1000 verwendet, weil eine Übertragungsperiode lang wird.
In einem Schritt S703 überträgt die Gesamtsteuerungs-CPU 101 die Videodatei 1000 an die Anzeigevorrichtung 800 über die Hochgeschwindigkeitsdrahtloskommunikationseinheit 72. Wenn die Übertragung beendet ist, geht die Gesamtsteuerungs-CPU 101 mit dem Prozess über zu dem Schritt S704. In dem Schritt S704 schließt die Gesamtsteuerungs-CPU 101 die Verbindung mit der Anzeigevorrichtung 800 und verlässt diese Unterroutine.
Der Fall, in dem eine Bilddatei die Bilder von allen Rahmen von einem Videobild umfasst, wurde bisher beschrieben. Unterdessen, wenn die Aufzeichnungsperiode des Videobildes länger als mehrere Minuten ist, könnte das Videobild durch eine Zeiteinheit in eine Vielzahl von Bilddateien aufgeteilt werden. Wenn die Videodatei die in 15 gezeigt wird Datenstruktur aufweist, auch wenn ein Videobild an die Anzeigevorrichtung 800 als eine Vielzahl von Bilddateien übertragen wird, kann die Anzeigevorrichtung 800 die Videodatei ohne die Zeitlücke mit den Korrekturdaten korrigieren.
17 ist ein Ablaufdiagramm, das eine Unterroutine des optischen Korrekturprozesses in dem Schritt S800 in 7A zeigt. Nachstehend wird dieser Prozess ebenso durch Bezugnahme auf 18A bis 18F beschrieben. Wie vorstehend beschrieben wird dieser Prozess durch die Anzeigevorrichtungssteuerung 801 der Anzeigevorrichtung 800 ausgeführt.
In einem Schritt S801 empfängt die Anzeigevorrichtungssteuerung (eine Videodateiempfangseinheit) 801 zuerst die Videodatei 1000 von dem Kameraaufbau 1, die in dem Übertragungsprozess (der Schritt S700) an die Anzeigevorrichtung 800 übertragen wird. Danach erhält die Anzeigevorrichtungssteuerung (eine erste Extrahierungseinheit) 801 die optischen Korrekturwerte, die von der empfangenen Videodatei 1000 extrahiert werden.
In dem nächsten Schritt S802 erhält die Anzeigevorrichtungssteuerung (eine zweite Extrahierungseinheit) 801 ein Bild (ein Bild von einem Rahmen des Videobildes) von der Videodatei 1000.
In einem Schritt S803 korrigiert die Anzeigevorrichtungssteuerung (eine Rahmenbildkorrektureinheit) 801 optische Aberrationen des Bildes, das in dem Schritt S802 erhalten wird, mit dem optischen Korrekturwert, der in dem Schritt S801 erhalten wird, und speichert das korrigierte Bild in dem Primärspeicher 813. Wenn die Extrahierung von dem Bild, das in dem Schritt S802 erhalten wird, in der optischen Korrektur durchgeführt wird, wird ein Bildbereich (Extrahierungsentwicklungsbereich), der enger als der Entwicklungsbereich (das Sollsichtfeld 125i) ist, der in dem Schritt S303 bestimmt ist, extrahiert und dem Prozess unterzogen.
18A bis 18F sind Ansichten zum Beschreiben eines Prozesses des Anwendens einer Verzerrungskorrektur in dem Schritt S803 in 17.
18A ist eine Ansicht, die eine Position eines Objekts 1401 zeigt, an die der Benutzer mit dem bloßen Auge beim Aufnehmen eines Bildes schaut. 18B ist eine Ansicht, die ein Bild des Objekts 1401 zeigt, das auf dem Solid-State-Bildsensor 42 gebildet wird.
18C ist eine Ansicht, die einen Entwicklungsbereich 1402 in dem Bild in 18B zeigt. Der Entwicklungsbereich 1402 ist der vorstehend erwähnte Extrahierungsentwicklungsbereich.
18D ist eine Ansicht, die ein Extrahierungsentwicklungsbild zeigt, das durch Extrahieren des Bildes des Entwicklungsbereichs 1402 erhalten wird. 18E ist eine Ansicht, die ein Bild zeigt, das durch Korrigieren einer Verzerrung in dem Extrahierungsentwicklungsbild erhalten wird, das in 18D gezeigt ist. Da ein Extrahierungsprozess beim Korrigieren einer Verzerrung des Extrahierungsentwicklungsbildes durchgeführt wird, wird ein Feldwinkel des Bildes, das in 18E gezeigt ist, immer noch kleiner als der des Extrahierungsentwicklungsbildes, das in 18D gezeigt ist.
19 ist ein Ablaufdiagramm, das eine Unterroutine des Bildstabilisierungsprozesses in dem Schritt S900 in 7A zeigt. Nachstehend wird dieser Prozess durch Bezugnahme auf 25 beschrieben. Wie vorstehend erwähnt wird dieser Prozess durch die Anzeigevorrichtungssteuerung 801 der Anzeigevorrichtung 800 ausgeführt.
In einem Schritt S901 erhält die Anzeigevorrichtungssteuerung 801 einen Unschärfebetrag Vo und Gyro-Daten eines Rahmens (eines momentanen Rahmens), der momentan verarbeitet wird, und einen Unschärfebetrag V_n-1 und Gyro-Daten eines Rahmens (eines vorhergehenden Rahmens), der ein unmittelbar vorhergehender Rahmen ist, von den Rahmenmetadaten der Videodatei 1000. Danach wird ein grober Unschärfebetrag V_n ^Pre von diesen Elementen von Informationen berechnet.
In dem Schritt S902 berechnet die Anzeigevorrichtungssteuerung 801 einen feinen Unschärfebetrag V_n ^Det von der Videodatei. Ein Unschärfebetrag wird durch Berechnen eines Bewegungsbetrages eines Merkmalspunkts in dem Bild von einem vorhergehenden Rahmen zu einem momentanen Rahmen erfasst.
Ein Merkmalspunkt kann durch ein bekanntes Verfahren extrahiert werden. Zum Beispiel kann ein Verfahren unter Verwendung eines Luminanzinformationsbildes, das durch Extrahieren von nur Luminanzinformationen eines Bildes eines Rahmens erzeugt wird, eingesetzt werden. Dieses Verfahren subtrahiert ein Bild, das das originale Luminanzinformationsbild um eines oder mehrere Pixel versetzt, von dem originalen Luminanzinformationsbild. Ein Pixel, dessen Absolutwert einer Differenz einen Schwellenwert überschreitet, wird als ein Merkmalspunkt extrahiert. Außerdem kann eine Kante, die durch Subtrahieren eines Bildes, das durch Anwenden eines Hochpassfilters auf das vorstehend erwähnte Luminanzinformationsbild erzeugt wird, von dem ursprünglichen Luminanzinformationsbild extrahiert wird, als ein Merkmalspunkt extrahiert werden.
Differenzen werden mehrere Male berechnet, während die Luminanzinformationsbilder des momentanen Rahmens und des vorhergehenden Rahmens um eines oder mehrere Pixel verschoben bzw. versetzt werden. Der Bewegungsbetrag wird durch Berechnen einer Position, an der die Differenz an dem Pixel des Merkmalpunktes abnimmt, erhalten werden.
Da eine Vielzahl von Merkmalspunkten benötigt wird, wie später erwähnt wird, ist es vorzuziehen, jedes der Bilder des momentanen Rahmens und des vorhergehenden Rahmens in eine Vielzahl von Blöcken aufzuteilen und einen Merkmalspunkt für jeden Block zu extrahieren. Eine Blockaufteilung hängt von der Anzahl von Pixeln und einem Bildseitenverhältnis des Bildes ab. Allgemein sind 12 Blöcke von 4 * 3 oder 54 Blöcke von 9 * 6 wünschenswert. Wenn die Anzahl von Blöcken zu klein ist, können eine trapezuide Verzerrung aufgrund einer Neigung der Bildaufnahmeeinheit 40 des Kameraaufbaus 1 und eine Rotationsunschärfe um die optische Achse herum usw. nicht korrekt korrigiert werden. Unterdessen, wenn die Anzahl von Blöcken zu groß ist, wird eine Größe von einem Block klein, was eine Entfernung zwischen benachbarten Merkmalspunkten verkürzt und einen Fehler verursacht. Auf diese Weise wird die optimale Anzahl von Blöcken in Abhängigkeit der Pixelanzahl, einer Einfachheit der Erfassung der Merkmalspunkte, einem Feldwinkel eines Objekts, usw. ausgewählt.
Da die Berechnung des Bewegungsbetrags eine Vielzahl von Differenzberechnungen erfordert, während die Luminanzinformationsbilder des momentanen Rahmens und des vorhergehenden Rahmens um eines oder mehrere Pixel verschoben werden, erhöht sich der Berechnungsbetrag. Da der Bewegungsbetrag tatsächlich basierend auf dem groben Unschärfebetrag V_n ^Pre und der Abweichung (der Anzahl von Pixeln) von diesem berechnet wird, werden die Differenzberechnungen nur in der Nähe des groben Unschärfebetrags durchgeführt, was den Berechnungsbetrag signifikant reduzieren kann.
Als nächstes führt die Anzeigevorrichtungssteuerung 801 in einem Schritt S903 den Bildstabilisierungsprozess unter Verwendung des feinen Unschärfebetrags V_n ^Det durch, der in dem Schritt S902 erhalten wird. Und dann verlässt der Prozess diese Unterroutine.
Es sei angemerkt, dass eine euklidische Transformation und eine affine Transformation, die eine Rotation und eine parallele Translation ermöglichen, sowie eine projektive Transformation, die eine Trapezkorrektur bzw. Keystone-Korrektur ermöglicht, als Verfahren des Bildstabilisierungsprozesses bekannt sind.
Obwohl die euklidische Transformation eine Bewegung in eine X-Achsenrichtung und eine Y-Achsenrichtung und eine Drehung korrigieren kann, kann diese keine Unschärfe korrigieren, die durch eine Kameraerschütterung der Bildaufnahmeeinheit 40 des Kameraaufbaus 1 in eine Längsrichtung oder eine Richtung eines Schwenkens und Neigens verursacht wird. Dementsprechend wird in diesem Ausführungsbeispiel der Bildstabilisierungsprozess unter Verwendung der affinen Transformation durchgeführt, die eine Korrektur einer Schräglage ermöglicht. Die affine Transformation von einer Koordinate (x, y) des Merkmalspunkts, der als ein Kriterium verwendet wird, zu einer Koordinate (x', y') wird durch die folgende Formel 1 ausgedrückt. $(\begin{matrix} x' \\ y' \\ 1 \end{matrix}) = (\begin{matrix} a & b & c \\ d & e & f \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ 1 \end{matrix})$
Affine Koeffizienten einer 3*3 Matrix der Formel 1 sind berechenbar, wenn Abweichungen von zumindest drei Merkmalspunkten erfasst werden. Wenn die erfassen Merkmalspunkte jedoch gegenseitig nahe zueinander sind oder auf einer geraden Linie angeordnet sind, wird der Bildstabilisierungsprozess in Bereichen, die von den Merkmalspunkten entfernt sind, oder von der geraden Linie entfernt sind, ungenau. Dementsprechend ist es wünschenswert, die zu erfassenden Merkmalspunkte derart auszuwählen, dass diese voneinander entfernt sind und nicht auf einer geraden Linie liegen. Dementsprechend, wenn eine Vielzahl von Merkmalspunkten erfasst wird, werden gegenseitig nahegelegene Merkmalspunkte ausgeschlossen und werden verbleibende Merkmalspunkte durch ein Verfahren kleinster Quadrate normiert.
18F ist eine Ansicht, die ein Bild zeigt, das durch Anwenden des Bildstabilisierungsprozesses in dem Schritt S903 auf das verzerrungskorrigierte Bild, das in 18E gezeigt ist, erhalten wird. Da der Extrahierungsprozess beim Ausführen des Bildstabilisierungsprozesses durchgeführt wird, wird ein Feldwinkel des Bildes, das in 18F gezeigt ist, kleiner als der des Bildes, das in 18E gezeigt ist.
Es ist möglich, ein Hochqualitätsbild zu erhalten, dessen Verzerrung korrigiert ist, durch Durchführen von solch einem Bildstabilisierungsprozess.
Im Vorstehenden wurde die Reihe von Operationen, die durch den Kameraaufbau 1 und die Anzeigevorrichtung 800 ausgeführt werden, die in dem Kamerasystem dieses Ausführungsbeispiels umfasst sind, beschrieben.
Wenn der Benutzer die Videobildbetriebsart durch den Bildaufnahmebetriebsartschalter 12 nach einem Einschalten des Leistungsschalters 11 auf AN auswählt und die Front beobachtet bzw. nach vorne schaut, ohne das Gesicht in vertikale und horizontale Richtungen zu drehen, erfasst die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung vo (Vektorinformation [0°, 0°]), wie in 12A gezeigt ist. Danach extrahiert die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 das Bild (11B) in dem Sollsichtfeld 125o, das in 12A gezeigt ist, von dem Superweitwinkelbild, das auf den Solid-State-Bildsensor 42 projiziert wird.
Danach, wenn der Benutzer zum Beispiel ein Beobachten des Kindes (A-Objekt) 131 in 11A startet, ohne ein Betätigen des Kameraaufbaus 1, erfasst die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung vm (Vektorinformationen [-42°, -40°]), wie in 11C gezeigt ist. Danach extrahiert die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 das Bild (11C) in dem Sollsichtfeld 125m von dem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird.
Auf diese Weise wendet die Anzeigevorrichtung 800 den optischen Korrekturprozess und den Bildstabilisierungsprozess auf das extrahierte Bild der Form in Abhängigkeit der Beobachtungsrichtung in den Schritten S800 und S900 an. Dadurch, auch wenn die Spezifikation der Gesamtsteuerungs-CPU 101 des Kameraaufbaus 1 niedrig ist, wird ein signifikant verzerrtes Bild in dem Sollsichtfeld 125m (11C) in das Bild um das Kind (A-Objekt 131) herum, dessen Unschärfe und Verzerrung korrigiert wurden, wie in 11D gezeigt ist, umgewandelt. Das heißt, der Benutzer ist dazu in der Lage, ein Bild zu erhalten, das in die eigene Beobachtungsrichtung aufgenommen wird, auch wenn der Benutzer den Kameraaufbau 1 nicht berührt außer beim Einschalten des Leistungsschalters 11, und um die Betriebsart mit dem Bildaufnahmebetriebsartschalter 12 auszuwählen.
Obwohl der Fall, in dem die Gesichtsrichtungserfassungseinheit 20 und die Bildaufnahmeeinheit 40 einstückig in dem Kameraaufbau 1 gebildet sind, in diesem Ausführungsbeispiel beschrieben ist, ist die Konfiguration nicht darauf beschränkt, solange die Gesichtsrichtungserfassungseinheit 20 an dem anderen Körperteil als dem Kopf des Benutzers getragen wird und die Bildaufnahmeeinheit 40 an dem Körper des Benutzers getragen wird. Zum Beispiel kann die Bildaufnahmeeinheit 40 des Ausführungsbeispiels auf einer Schulter oder einem Bauch getragen werden. Wenn jedoch die Bildaufnahmeeinheit 40 auf einer rechten Schulter getragen wird, wird ein Objekt auf der linken Seite durch den Kopf verdeckt. In solch einem Fall ist es vorzuziehen, dass eine Vielzahl von Bildaufnahmeeinheiten an Orten inklusive einer rechten Schulter getragen werden. Außerdem, wenn die Bildaufnahmeeinheit 40 auf einem Bauch getragen wird, tritt eine räumliche Parallaxe zwischen der Bildaufnahmeeinheit 40 und dem Kopf auf. In solch einem Fall ist es wünschenswert, eine Korrekturberechnung der Beobachtungsrichtung, die solch eine Parallaxe kompensiert, durchzuführen.
Nachstehend wird ein zweites Ausführungsbeispiel beschrieben. In dem zweiten Ausführungsbeispiel wird ein Verfahren zum Kalibrieren von individuellen Unterschieden und Anpassungsunterschieden eines Benutzers, der den Kameraaufbau 1 trägt, detailliert unter Verwendung von 20A bis 23E beschrieben.
Dieses Ausführungsbeispiel wird im Wesentlichen als eine Ableitung ds ersten Ausführungsbeispiels beschrieben. Dementsprechend werden Konfigurationen des Kamerasystems in dem zweiten Ausführungsbeispiel, die zu den Konfigurationen des Kamerasystems in dem ersten Ausführungsbeispiel identisch ist, durch gleiche Bezugszeichen angegeben und doppelte Beschreibungen werden weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Details beschrieben.
Ein Benutzer, der den Kameraaufbau 1 trägt, weist individuelle Unterschiede und Anpassungsunterschiede auf, wie etwa eine Physis, einen Neigungswinkel einer Peripherie eines Halses, an dem der Kameraaufbau 1 getragen wird, einen Zustand einer Kleidung, wie etwa eines Kragens beim Tragen, und Anpassungszustände der Bandteile 82L und 82R. Dementsprechend stimmen die optische Achsenmitte der Bildaufnahmelinse 16 des Kameraaufbaus 1 und die Mitte des visuellen Feldes in einem Zustand (nachstehend als ein natürlicher Zustand eines Benutzers bezeichnet), in dem der Benutzer nach vorne schaut, üblicherweise nicht überein. Es ist für einen Benutzer wünschenswert, eine Mitte eines Extrahierungsaufzeichnungsbereichs (Sollsichtfeld 125) mit einer Mitte eines visuellen Feldes bzw. Sichtfeldes des Benutzers in einer momentanen Haltung oder einer Operation abzugleichen, anstelle die Mitte des Aufzeichnungsbereichs mit der optischen Achsenmitte der Bildaufnahmelinse 16 des Kameraaufbaus 1 abzugleichen.
Außerdem gibt es eine individuelle Differenz nicht nur in einer Mitte des visuellen Feldes eines Benutzers in dem natürlichen Zustand, sondern ebenso in einer Mitte des visuellen Feldes in Abhängigkeit einer Kopfrichtung (oben, unten, rechts, links oder schräg) und in einem Bewegungsraum eines Kopfes. Dementsprechend wird eine individuelle Differenz ebenso in der Beziehung zwischen der Gesichtsrichtung (Beobachtungsrichtung), die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, und der Mittelposition (nachstehend als eine Mittelposition des visuellen Feldes bezeichnet) des Sollsichtfeldes 125, das gemäß der Beobachtungsrichtung festgelegt wird, erzeugt. Dementsprechend ist eine Kalibrierungsoperation notwendig, die eine Gesichtsrichtung mit einer Mittelposition eines visuellen Feldes verknüpft.
Üblicherweise wird die Kalibrierungsoperation vorzugsweise als ein Teil des Vorbereitungsprozesses (der Schritt S100) in 7A durchgeführt. Üblicherweise wird ein Durchführen der Kalibrierungsoperation beim ersten Starten des Kameraaufbaus 1 angenommen. Es sei angemerkt, dass die Kalibrierungsoperation durchgeführt werden könnte, wenn eine vorbestimmte Zeit nach der vorhergehenden Kalibrierung abläuft, oder wenn die Position des Kameraaufbaus 1 zu dem Benutzer von der Position an der vorhergehenden Kalibrierung geändert wird. Die Kalibrierungsoperation könnte durchgeführt werden, wenn es für die Gesichtsrichtungserfassungseinheit 20 unmöglich wird, ein Gesicht eines Benutzers zu erfassen. Außerdem, wenn erfasst ist, dass der Benutzer den Kameraaufbau 1 abnimmt, könnte die Kalibrierungsoperation zu der Zeit durchgeführt werden, wenn der Benutzer den Kameraaufbau 1 wieder trägt. Auf diese Weise ist es wünschenswert, die Kalibrierungsoperation zu einem Zeitpunkt auf eine geeignete Weise durchzuführen, wenn bestimmt ist, dass die Kalibrierung erforderlich ist, um den Kameraaufbau 1 auf geeignete Weise zu verwenden.
20A und 20B sind Ansichten, die Details der Kalibrierungseinrichtung 850 zeigen, der für den Kalibrierungsprozess gemäß dem zweiten Ausführungsbeispiel verwendet wird. In diesem Ausführungsbeispiel soll die Kalibrierungseinrichtung 850 die Funktion der Anzeigevorrichtung 800 kombinieren.
Die Kalibrierungseinrichtung bzw. der Kalibrator 850 umfasst einen Positionierungsindex 851 und eine Kalibrierungstaste 854 zusätzlich zu der A-Taste 802, der Anzeigeeinheit 803, der eingebauten Kamera 805, dem Gesichtssensor 806 und dem Winkelgeschwindigkeitssensor 807, die Komponenten der Anzeigevorrichtung 800 sind, die in 1D gezeigt ist. Die B-Taste 804, die in dem ersten Ausführungsbeispiel bereitgestellt ist, ist in 20A nicht dargestellt, weil diese in diesem Ausführungsbeispiel nicht verwendet wird und durch die Kalibrierungstaste 854, die später beschrieben wird, ersetzt ist.
20A zeigt einen Fall, in dem der Positionierungsindex 851 ein spezifisches Muster ist, das auf der Anzeigeeinheit 803 angezeigt wird. 20B zeigt einen Fall, in dem die äußere Erscheinung der Kalibrierungseinrichtung 850 als der Positionierungsindex verwendet wird. In dem Fall von 20B wird eine Positionierungsindexmitte 852, die später beschrieben wird, von Informationen über die Kontur der Kalibrierungseinrichtung 850 berechnet.
Es sei angemerkt, dass der Positionierungsindex nicht auf die Beispiele von 20A und 20B beschränkt ist. Zum Beispiel könnte der Positionierungsindex von der Kalibrierungseinrichtung 850 getrennt sein. Der Positionierungsindex könnte irgendetwas sein, solange dessen Größe einfach gemessen wird und dessen Form geeignet ist, um durch den Benutzer betrachtet zu werden. Zum Beispiel könnte der Positionierungsindex eine Linsenklappe der Bildaufnahmelinse 16 oder eine Ladeeinheit für den Kameraaufbau 1 sein. Auf jeden Fall, da eine grundliegende Denkweise bei der Kalibrierung üblich ist, wird die in 20A gezeigte Kalibrierungseinrichtung 850 veranschaulicht und im Folgenden hauptsächlich beschrieben.
Es sei angemerkt, dass die Kalibrierungseinrichtung 850 in diesem Ausführungsbeispiel die Funktion der Anzeigevorrichtung 800 kombinieren soll. Außerdem könnte die Kalibrierungseinrichtung 850 zum Beispiel eine dedizierte Einrichtung, ein allgemeines Smart-Phone, oder ein Tablet-Endgerät sein.
Der Positionierungsindex 851 wird auf der Anzeigeeinheit 803 der Kalibrierungseinrichtung 850 angezeigt und ist ein Diagramm, dessen seitliche Breite L851a, vertikale Breite L851b und Positionierungsindexmitte 852 berechnet werden können. Da der Benutzer in dem nachstehend beschriebenen Kalibrierungsprozess das Gesicht in Richtung der Umgebung des Mittelteils des Positionierungsindex 851 richtet, ist der Positionierungsindex 851 vorzugsweise derart geformt, dass er in der Mitte des visuellen Feldes erfasst werden kann. In 20A ist der Positionierungsindex 851 durch einen Kreis gezeigt, in dem ein Kreuz und ein kleiner schwarzer Kreis in der Mitte des Kreuzes angeordnet sind. Jedoch ist die Form des Positionierungsindex 851 nicht auf diese Form beschränkt. Anderweitig könnte der Positionierungsindex ein Rechteck, ein Dreieck, eine sternförmige Figur oder eine Darstellung eines Zeichens bzw. Buchstabens sein.
Der Positionierungsindex 851 wird durch die Bildaufnahmeeinheit 40 des Kameraaufbaus 1 aufgenommen. Die Anzeigevorrichtungssteuerung (eine Positionsberechnungseinheit und eine Entfernungsberechnungseinheit) 801 berechnet eine Entfernung zwischen der Bildaufnahme-/Erfassungseinheit 10 und der Kalibrierungseinrichtung 850 und berechnet eine Positionskoordinate des Positionierungsindex 851, der in einem Bildbereich erscheint, basierend auf dem Aufnahmebild. Die Kalibrierungseinrichtung 850, die mit der Funktion der Anzeigevorrichtung 800 ausgestattet ist, führt diese Berechnungen in diesem Ausführungsbeispiel durch. Wenn die Kalibrierungseinrichtung 850 die Funktion der Anzeigevorrichtung 800 nicht kombiniert, werden diese Berechnungen durch die Gesamtsteuerungs-CPU 101 des Kameraaufbaus 1 durchgeführt.
Der Winkelgeschwindigkeitssensor 807 kann eine Bewegung der Kalibrierungseinrichtung 850 messen. Basierend auf dem Messwert des Winkelgeschwindigkeitssensors 807 berechnet die Anzeigevorrichtungssteuerung 801 die später erwähnten Bewegungsinformationen über die Kalibrierungseinrichtung 850.
Die Kalibrierungstaste 854 wird gedrückt, wenn der Benutzer in dem nachstehend beschriebenen Kalibrierungsprozess das Gesicht in Richtung der Umgebung des Mittelteils des Positionierungsindex 851 richtet. Obwohl die Kalibrierungstaste 854 eine Berührungstaste ist, die auf der berührungsempfindlichen Anzeigeeinheit 803 in 20A angezeigt ist, könnte die A-Taste 802 als die Kalibrierungstaste fungieren.
Als nächstes wird der Kalibrierungsprozess, der beim Extrahieren eines Bildes von einem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, gemäß einer Gesichtsrichtung des Benutzers und beim Anwenden des Bildprozesses auf das extrahierte Bild ausgeführt wird, detailliert unter Verwendung eines Ablaufdiagrammes in 21 beschrieben.
21 ist das Ablaufdiagramm, das den Kalibrierungsprozess gemäß diesem Ausführungsbeispiel zeigt, der durch den Kameraaufbau (eine erste Kalibrierungseinheit) 1 und die Kalibrierungseinrichtung 850 ausgeführt wird.
Um die Beschreibung zu unterstützen ist ein Schritt, in dem der Kameraaufbau 1 oder die Kalibrierungseinrichtung 850 eine Anweisung des Benutzers empfängt, in einem Rahmen enthalten, in dem der Benutzer das Operationssubjekt ist. Außerdem ist in 21 ein Schritt, der von der Anzeigevorrichtungssteuerung 801 der Kalibrierungseinrichtung 850 als Reaktion auf die Anweisung des Benutzers ausgeführt wird, in einem Rahmen enthalten, in dem die Kalibrierungseinrichtung 850 ein Operationssubjekt ist. Auf ähnliche Weise ist in 21 ein Schritt, der von der Gesamtsteuerungs-CPU 101 des Kameraaufbaus 1 als Reaktion auf die Anweisung des Benutzers ausgeführt wird, in einem Rahmen enthalten, in dem der Kameraaufbau 1 ein Operationssubjekt ist.
Speziell ist das Operationssubjekt von Schritten S3104 und S3108 in 21 der Kameraaufbau 1. Und ist das Operationssubjekt der Schritte S3101, S3105 und S3106 der Benutzer. Außerdem ist die Kalibrierungseinrichtung 850 das Operationssubjekt der Schritte S3102, S3103, S3106a, S3107, S3107b und S3110.
In diesem Prozess, wenn die Leistung der Kalibrierungseinrichtung 850 nicht AN ist, schaltet der Benutzer die Leistung der Kalibrierungseinrichtung 850 durch Betätigen der A-Taste 802 in dem Schritt S3101 AN. Auf ähnliche Weise, wenn die Leistung des Kameraaufbaus 1 nicht AN ist, schaltet der Benutzer die Leistung des Kameraaufbaus 1 durch Schalten des Leistungsschalters 11 auf AN ein. Danach erstellt der Benutzer eine Verbindung zwischen der Kalibrierungseinrichtung 850 und dem Kameraaufbau 1. Wenn diese Verbindung hergestellt ist, nehmen die Anzeigevorrichtungssteuerung 801 und die Gesamtsteuerungs-CPU 101 entsprechend eine Kalibrierungsbetriebsart ein.
Außerdem trägt in dem Schritt S3101 der Benutzer den Kameraaufbau 1 und passt die Längen der Bandteile 82L und 82R und die Winkel des Kameraaufbaus 1 derart an, dass der Kameraaufbau 1 in einer geeigneten Position angeordnet ist und die Bildaufnahme-/Erfassungseinheit 10 ein Bild aufnehmen kann.
In dem Schritt S3102 zeigt die Anzeigevorrichtungssteuerung (eine erste Anzeigeeinheit) 801 den Positionierungsindex 851 auf der Anzeigeeinheit 803 an.
In dem nächsten Schritt S3103 designiert die Anzeigevorrichtungssteuerung 801 eine Designierungsposition, an der der Benutzer die Kalibrierungseinrichtung 850 halten sollte, als eine Anweisungsanzeige 855 (22A). In diesem Ausführungsbeispiel sind fünf Positionen inklusive vorne, oben rechts, unten rechts, oben links und unten links als die Designierungspositionen in dieser Reihenfolge designiert. Die Designierungspositionen können auf andere Positionen eingestellt werden, solange die Kalibrierung verfügbar ist.
In dem Schritt S3104 aktiviert die Gesamtsteuerungs-CPU 101 die Bildaufnahmeeinheit 40, um eine Bildaufnahmeoperation zu ermöglichen, und aktiviert die Gesichtsrichtungserfassungseinheit 20, um eine Erfassung der Gesichtsrichtung des Benutzers zu ermöglichen.
In dem Schritt S3105 hält der Benutzer die Kalibrierungseinrichtung 850 an der Designierungsposition, die in dem Schritt S3103 designiert ist.
In dem nächsten Schritt S3106 richtet der Benutzer das Gesicht in Richtung des Positionierungsindex 851, um eine Mitte des visuellen Feldes bzw. Sichtfeldes des Benutzers mit dem Positionierungsindex 851 in Übereinstimmung zu bringen und drückt die Kalibrierungstaste 854, während die Position der Kalibrierungseinrichtung 850 an der Designierungsposition beibehalten wird.
In dem Schritt S3106a bestimmt die Anzeigevorrichtungssteuerung (eine zweite Anzeigeeinheit) 801, ob der Benutzer auf die Positionierungsindexmitte 852 des Positionierungsindex 851 schaut, das heißt, bestimmt, ob die Mitte des visuellen Feldes bzw. Sichtfeldes des Benutzers mit der Positionierungsindexmitte 852 übereinstimmt. Wenn bestimmt ist, dass der Benutzer auf die Positionierungsindexmitte 852 schaut (JA in dem Schritt S3106a), informiert die Anzeigevorrichtungssteuerung 801 den Benutzer über den Start der Kalibrierung für die Designierungsposition durch die Anweisungsanzeige 855 in einem Schritt S3107 und zeigt die Kalibrierungstaste 854 erneut an. Wenn das Bestimmungsergebnis in dem Schritt S3106a NEIN ist, wiederholt der Benutzer den Prozess von dem Schritt S3105.
Wenn der Benutzer die Kalibrierungstaste 854 in dem Schritt S3107a drückt, überträgt die Anzeigevorrichtungssteuerung 801 eine Kalibrierungsanweisung an den Kameraaufbau 1 in dem Schritt S3107b.
In dem Schritt S3108 erhält die Gesamtsteuerungs-CPU (eine Erhaltungs-/ Erfassungseinheit) 101 ein Superweitwinkelbild inklusive des Positionierungsindex 851, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, und erfasst einen Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 als Reaktion auf die Kalibrierungsanweisung von der Kalibrierungseinrichtung 850. Danach berechnet die Gesamtsteuerungs-CPU (eine Erzeugungseinheit) 101 Positionskoordinateninformationen über die Positionierungsindexmitte 852 in dem erhaltenen Superweitwinkelbild und erzeugt die Informationen, die die Beziehung zwischen der berechneten Positionskoordinateninformation und der erfassten Gesichtsrichtung zeigen.
Nachstehend werden die Details des Prozesses in den Schritten S3103 bis S3108 unter Verwendung von 22A bis 22F beschrieben. 22A bis 22F sind Ansichten zur Beschreibung der Kalibrierungsoperation für die vordere Richtung des Benutzers. Die Kalibrierungsoperation wird durchgeführt, sodass die Mittelposition des Sollsichtfelds 125 in dem Bild, das durch die Bildaufnahmeeinheit 40 des Kameraaufbaus 1 aufgenommen wird, mit der Mittelposition des visuellen Feldes bzw. Sichtfeldes des Benutzers in dem natürlichen Zustand übereinstimmt.
22A ist eine Ansicht, die einen Bildschirm zeigt, der auf der Anzeigeeinheit 803 der Kalibrierungseinrichtung 850 in dem Schritt S3103 in 21 während der Kalibrierungsoperation für die vordere Richtung des Benutzers angezeigt wird.
Wie in 22A gezeigt ist, werden der Positionierungsindex 851 und die Anweisungsanzeige 855, die eine Position angibt, an der der Benutzer den Positionierungsindex 851 positionieren sollte, auf der Anzeigeeinheit 803 der Kalibrierungseinrichtung 850 angezeigt.
Die Anweisungsanzeige 855 ist eine Buchstabenfolge, die den Benutzer anweist, den Positionierungsindex 851 in der Mitte des visuellen Feldes des Benutzers beim Ausrichten des Gesichtes nach vorne zu positionieren. Es sei angemerkt, dass die Anweisung, die als die Anweisungsanzeige 855 angezeigt wird, nicht auf die Zeichenfolge beschränkt ist. Zum Beispiel könnte die Anweisung durch ein anderes Verfahren unter Verwendung einer Illustration, eines Bildes, eines Bewegtbildes, oder Ähnlichem angezeigt werden. Außerdem könnte eine Anweisungsanzeige 855 in der Art eines allgemeinen Tutorials zuerst angezeigt werden und könnte der Positionierungsindex 851 danach angezeigt werden.
22B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer die Kalibrierungseinrichtung 850 gemäß der Anweisung, die als die Anweisungsanzeige 855 in 22A angezeigt wird, nach vorne hält.
In dem Schritt S3105 hält der Benutzer die Kalibrierungseinrichtung 850 gemäß der Anweisung, die als die Anweisungsanzeige 855 in 22A angezeigt wird, nach vorne. Dann hält der Benutzer in dem Schritt S3106 die Kalibrierungseinrichtung 850, sodass der Positionierungsindex 851 mit der Mitte des visuellen Feldes des Benutzers beim Ausrichten des Gesichts nach vorne übereinstimmt, und der Benutzer drückt die Kalibrierungstaste 854 (22A). Als Reaktion auf das Drücken der Kalibrierungstaste 854 wird die Bestimmung in dem Schritt S3106a durchgeführt. Die konkrete Prozedur des Bestimmungsverfahrens wird später erwähnt. Wenn das Bestimmungsergebnis in dem Schritt S3106a JA ist, ändert die Anzeigevorrichtungssteuerung 801 die Anweisungsanzeige 855, die in 22A gezeigt ist, zu einer Benachrichtigung von „Kalibrierung für vordere Richtung ist gestartet“ und zeigt die Kalibrierungstaste 854 an.
Dann drückt der Benutzer die Kalibrierungstaste 854 nach einem Bestätigen der Änderung der Anweisungsanzeige 855, die in 22A gezeigt ist, zu der Benachrichtigung von „Kalibrierung für vordere Richtung ist gestartet“ (der Schritt S3107a). Als Reaktion auf das Drücken der Kalibrierungstaste 854 wird eine Kalibrierungsanweisung an den Kameraaufbau 1 in dem Schritt S3107b übertragen. Und die Bildaufnahmeeinheit 40 erhält das Aufnahmebild in dem Schritt S3108.
22C ist eine schematische Ansicht, die das gesamte Superweitwinkelbild zeigt, das durch die Bildaufnahmelinse 16 in dem Zustand von 22B aufgenommen wird. 22D ist eine schematische Ansicht, die ein Bild zeigt, das durch Korrigieren von Aberrationen des Superweitwinkelbildes, das in 22C gezeigt ist, erhalten wird.
Außerdem, als Reaktion auf das Drücken der Kalibrierungstaste 854 durch den Benutzer in dem Zustand von 22B, erhält die Gesichtsrichtungserfassungseinheit 20 eine Gesichtsrichtung in dem Schritt S3108.
22E ist eine schematische Ansicht, die ein Gesichtsrichtungsbild zeigt, das durch die Gesichtsrichtungserfassungseinheit 20 in dem Schritt S3108 in 21 während der Kalibrierungsoperation für die vordere Richtung des Benutzers aufgezeichnet wird.
Wie in dem ersten Ausführungsbeispiel unter Verwendung von 8G bis 8K beschrieben ist, berechnet die Gesichtsrichtungserfassungseinheit 20 die Winkel in die seitliche und vertikale Richtung des Gesichts unter Verwendung der Entfernungen und Winkel der Kinnpositionen 207, 207r und 207u mit Bezug auf die Kehlenposition 206. Da jedoch die Entfernungen und Winkel der Kinnpositionen 207, 207r und 207u mit Bezug auf die Kehlenposition 206 ebenso die individuellen Unterschiede und Anpassungsunterschiede aufgrund der Physis des Benutzers usw. aufweist, wie vorstehend mit der Bildmitte erwähnt, sind diese nicht fest. Dementsprechend ist in diesem Ausführungsbeispiel die Beziehung zwischen der Kinnposition und der Kehlenposition 206 zur Zeit des Drückens der Kalibrierungstaste 854 als ein Wert (eine Referenzposition) eines Falles definiert, in dem der Benutzer die Mitte des visuellen Feldes nach vorne legt. Dies kann als Informationen (Referenzpositionsinformationen) zum korrekten Berechnen einer Gesichtsrichtung des Benutzers verwendet werden, unabhängig von den individuellen Unterschieden und den Anpassungsunterschieden.
Zurück zu 21 bestimmt die Gesamtsteuerungs-CPU 101 in einem Schritt S3109, ob die Kalibrierung für die vordere Richtung vorbereitet ist. Das heißt, es wird bestimmt, ob die Informationen, die zum Berechnen der Kinnposition 207, der Kehlenposition 206 und der Positionierungsindexmitte 852 erforderlich sind, erhalten wurden.
Gleichzeitig, wenn die Erhaltung der erforderlichen Positionen nicht beendet ist, wird bestimmt, dass die Kalibrierung nicht vorbereitet ist (NEIN in Schritt S3109) und die Operationen von dem Schritt S3102 werden wiederholt, um die fehlenden Informationen unter den erforderlichen Informationen zu erhalten. Wenn die Erhaltung der erforderlichen Informationen nicht beendet ist, sind nicht alle Operationen von dem Schritt S3102 notwendig. Nur die Operationen zum Erhalten der fehlenden Informationen könnten wiederholt durchgeführt werden.
Die Bestimmung in dem Schritt S3106a wird unter Verwendung des Gesichtssensors 806 oder der eingebauten Kamera 805, die an der Kalibrierungseinrichtung 850 angebracht ist, durchgeführt. Nachstehend wird die konkrete Prozedur dieses Bestimmungsverfahrens unter Verwendung eines Falls beschrieben, in dem die Kalibrierungsoperation für die vordere Richtung unter Verwendung der eingebauten Kamera 805 durchgeführt wird. Obwohl ein Fall unter Verwendung des Gesichtssensors 806 von dem Fall des Verwendens der eingebauten Kamera 805 in der Dimension von Informationen (zweidimensionale Informationen oder dreidimensionale Informationen), verschieden ist, ist eine grundlegende Denkweise ähnlich. Dementsprechend wird eine detaillierte Beschreibung des Falls unter Verwendung des Gesichtssensors 806 weggelassen. Wenn der Gesichtssensor 806 in der Bestimmung in dem Schritt S3106a verwendet wird, führt die Gesichtsrichtungsbestimmungseinheit 20 des Kameraaufbaus 1 die Gesichtserfassung, die den Benutzer mit dem Infrarotlicht 23 bestrahlt, während einer Periode, wenn der Benutzer mit dem Infrarotlicht 823 von dem Gesichtssensor 806 bestrahlt wird, nicht durch. Dies zielt darauf ab, eine Interferenz der Infrarotlichter 23 und 823 zu verhindern.
Zuerst, wenn der Benutzer die Kalibrierungstaste 854 in 22A in dem Schritt S3106 drückt, erhält die Anzeigevorrichtungssteuerung 801 ein Bild 858 der eingebauten Kamera (22F), in dem der Benutzer erscheint, durch Aufnehmen eines Bildes mit der eingebauten Kamera (einer Gesichtserfassungseinheit) 805. Weiterhin erfasst die Anzeigevorrichtungssteuerung 801 die Positionsinformationen über den Halsvorderteil 201, das Kinn 203, das Gesicht 204 inklusive einer Nase, und einer Bildaufnahme- /Erfassungseinheit 10 (der Bildaufnahmeeinheit 40) von dem erhaltenen Bild 858 der eingebauten Kamera.
Die Anzeigevorrichtungssteuerung (eine Bestimmungseinheit) 101 bestimmt, ob der Benutzer auf die Positionierungsindexmitte 852 des Positionierungsindex 851 auf der Mitte des visuellen Feldes in dem Schritt S3106a schaut, unter Verwendung der Positionsinformationen, die von dem Bild 858 der eingebauten Kamera erfasst werden.
Als ein Ergebnis der Bestimmung, wenn bestimmt ist, dass der Benutzer in eine unterschiedliche Richtung schaut, zeigt die Anzeigevorrichtungssteuerung 801 eine Mitteilung, dass die korrekten Informationen nicht erhalten werden können, als die Anweisungsanzeige 855 an. Dies kann den Benutzer anweisen, die Kalibrierungsoperation wiederholt durchzuführen.
Die Anzeigevorrichtungssteuerung 801 kann bestimmen, dass die korrekte Kalibrierungsoperation unter Verwendung des Bildes 858 der eingebauten Kamera nicht durchgeführt werden kann, wenn sich die Bildaufnahme-/ Erfassungseinheit 10 jenseits eines bestimmtes Winkels neigt oder wenn das Gesichtsrichtungserfassungsfenster 13 blockiert oder schmutzig ist. In solch einem Fall kann die Anzeigevorrichtungssteuerung 801 die Mitteilung, die angibt, dass die korrekten Informationen nicht erhalten werden können, als die Anweisungsanzeige 855 anzeigen.
Des Weiteren ist es ebenso möglich, Informationen zu erhalten, die für eine Parallaxenkorrektur, die später in einem fünften Ausführungsbeispiel beschrieben wird, unter Verwendung des Bildes 858 der eingebauten Kamera, das in dem Schritt S3106a erhalten wird, und des Superweitwinkelbildes, das in dem Schritt S3108 erhalten wird, erforderlich ist.
Speziell werden die Informationen über die Größe (die seitliche Breite L851a und die vertikale Breite L851b) des Positionierungsindex 851 im Voraus an den Kameraaufbau 1 von der Kalibrierungseinrichtung 850 übertragen, bevor der Positionierungsindex 851 durch die Bildaufnahmeeinheit 40 in dem Schritt S3108 aufgenommen wird. Dabei kann die Gesamtsteuerungs-CPU 101 die Entfernung zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Positionierungsindex 851 unter Verwendung der Informationen über die Größe des Positionierungsindex 851 und dem Bild des Positionierungsindex 851, das in dem Superweitwinkelbild, das in dem Schritt S3108 erhalten wird, erscheint, berechnen. Da der Positionierungsindex 851 und die eingebaute Kamera 805 in dem gleichen Gehäuse der Kalibrierungseinrichtung 850 installiert sind und die Kalibrierungseinrichtung 850 in 22B dem Benutzer direkt gegenüberliegt, ist die Entfernung zwischen der eingebauten Kamera 805 und der Bildaufnahme-/Erfassungseinheit 10 gleich der Entfernung zwischen dem Positionierungsindex 851 und der Bildaufnahme-/Erfassungseinheit 10.
Auf ähnliche Weise werden Informationen über die Größe der Bildaufnahme-/ Erfassungseinheit 10 im Voraus von dem Kameraaufbau 1 an die Kalibrierungseinrichtung 850 übertragen, bevor das Bild der eingebauten Kamera, das in 22F gezeigt ist, durch die eingebaute Kamera 805 in dem Schritt S3106a aufgenommen wird. Dadurch kann die Anzeigevorrichtungssteuerung (eine Vertikalentfernungsberechnungseinheit) 801 eine vertikale Entfernung 5070 zwischen der Mitte der optischen Achse der Bildaufnahmelinse 16 und einer Betrachtungsposition des Benutzers unter Verwendung der Informationen über die Größe der Bildaufnahme-/ Erfassungseinheit 10 und dem Bild der Bildaufnahme-/Erfassungseinheit 10, das in dem Bild 858 der eingebauten Kamera, das in 22F gezeigt ist, erscheint, schätzen. Zusätzlich kann die Anzeigevorrichtungssteuerung 801 eine Entfernung 2071 zwischen der Bildaufnahmelinse 16 und dem Kinn 203 des Benutzers schätzen. Die Entfernung 2071 kann eine Entfernung zwischen dem Gesichtsrichtungserfassungsfenster 13 und dem Kinn 203 sein.
Damit die Gesichtsrichtungserfassungseinheit 20 die Kehlenposition 206 und die Kinnposition des Benutzers berechnet, ist es notwendig, das Gesicht des Benutzers von dem Gesichtsrichtungserfassungsfenster 13 um eine Entfernung, die näher als eine bestimmte Entfernung ist, gemäß einem Design der Gesichtsrichtungserfassungseinheit 20, zu separieren. Dementsprechend kann dieses geschätzte Ergebnis als eine der Bestimmungsbedingungen beim Bestimmen, ob die Gesichtsrichtungserfassungseinheit 20 dazu in der Lage ist, die Gesichtsrichtung korrekt zu erfassen, eingesetzt werden.
Zurück zu 21 geht die Gesamtsteuerungs-CPU 101 mit dem Prozess über zu dem Schritt S3110, wenn bestimmt ist, dass die erforderlichen Informationen erhalten sind und dass die Vorbereitung der Kalibrierung für die vordere Richtung beendet ist.
In dem Schritt S3110 berechnet die Anzeigevorrichtungssteuerung (die erste Kalibrierungseinheit) 801 Informationen, die erforderlich sind, um die Extrahierungsmittelposition zu versetzen, um die individuellen Unterschiede und die Anpassungsunterschiede zu absorbieren und versetzt die Extrahierungsmittelposition basierend auf den Informationen.
Details der Berechnung in dem Schritt S3110 werden wie folgt beschrieben. Wenn der Benutzer gemäß den Designwerten in einem idealen Zustand ist und der Kameraaufbau 1 ideal getragen wird, sollte eine Mitte 856 des Superweitwinkelbildes, das in dem Schritt S3108 erhalten wird, das in 22C gezeigt ist, im Wesentlichen mit der Positionierungsindexmitte 852, die in dem Superweitwinkelbild erschienen ist, übereinstimmen. Da jedoch individuelle Unterschiede und Anpassungsunterschiede aufgrund einer Physis des Benutzers usw. tatsächlich vorliegen, stimmt die Mitte 856 des Superweitwinkelbildes üblicherweise nicht mit der Positionierungsindexmitte 852 überein.
Es ist für einen Benutzer wünschenswert, die Extrahierungsmittelposition mit einer Mitte des visuellen Feldes des Benutzers in einer momentanen Haltung oder Operation (das heißt der Positionierungsindexmitte 852 in dem Superweitwinkelbild) abzugleichen, anstatt mit der Mitte 856 des Superweitwinkelbildes, das durch den Kameraaufbau 1 gezeigt ist, abzugleichen.
Dementsprechend wird ein Abweichungsbetrag der Positionierungsindexmitte 852 von der Mitte 856 des Superweitwinkelbildes gemessen und wird die Extrahierungsmittelposition basierend auf der Positionierungsindexmitte 852 zu einer Position versetzt, die von der Mitte 856 des Superweitwinkelbildes verschieden ist. Außerdem wird die Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 zu dieser Zeit erfasst wird, ebenso auf eine ähnliche Weise versetzt.
Konkrete Versatzverfahren werden mit Bezug auf 22C und 22D beschrieben. Der Abweichungsbetrag der Positionierungsindexmitte 852 zu der Mitte 856 des Superweitwinkelbildes wird gemessen und der gemessene Abweichungsbetrag wird in einem seitlichen Abweichungsbetrag 857a und einem vertikalen Abweichungsbetrag 857b aufgeteilt, wie in 22C gezeigt ist. Ein Versatzbetrag wird basierend auf den Abweichungsbeträgen 857a und 857b nach einem Durchführen eines geeigneten Umwandlungsprozesses gemäß dem Projektionsverfahren des gesamten Feldwinkels bestimmt.
Außerdem, wie in 22D gezeigt ist, kann der Versatzbetrag nach einem Anwenden des geeigneten Umwandlungsprozesses auf das Superweitwinkelbild gemäß den Projektionsverfahren bestimmt werden. Das heißt, der Abweichungsbetrag der Mitte 856a von der Positionierungsindexmitte 852 in dem Aufnahmebild nach der Umwandlung wird gemessen. Und der Abweichungsbetrag wird in einen seitlichen Abweichungsbetrag 857c und einen vertikalen Abweichungsbetrag 857d aufgeteilt. Dann könnte der Versatzbetrag basierend auf den Abweichungsbeträgen 857c und 857d bestimmt werden.
Der Versatzbetrag kann von den in 22C und 22D gezeigten Verfahren unter Berücksichtigung einer Verarbeitungslast und einem Zweck des Kamerasystems beliebig ausgewählt werden.
Durch Durchführen der vorstehend erwähnten Kalibrierungsoperation für die vordere Richtung werden eine Gesichtsrichtung eines Benutzers, der den Kameraaufbau 1 trägt, eine Mitte eines visuellen Feldes in die Gesichtsrichtung innerhalb des Superweitwinkelbildes und eine Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, auf geeignete Weise verknüpft, unabhängig von den individuellen Unterschieden und den Anpassungsunterschieden.
Die Kalibrierungsoperation für die vordere Richtung wird bis hier unter den fünf Richtungen (vorne, oben rechts, unten rechts, oben links und unten links) beschrieben. Es ist notwendig, ähnliche Kalibrierungsoperationen für die verbleibenden vier Richtungen auszuführen.
Dementsprechend, wenn der Prozess in dem Schritt S3110 in 21 beendet ist, geht der Prozess über zu einem Schritt S3111. In dem Schritt S3111, wenn es eine Richtung gibt, für die die Kalibrierungsoperation nicht durchgeführt wurde, unter den fünf Richtungen, wird eine Sollrichtung der Kalibrierungsoperation geändert und der Prozess kehrt zurück zu dem Schritt S3103. Dadurch wird die Kalibrierungsoperation auf ähnliche Weise für die verbleibenden vier Richtungen außer der bereits beendeten vorderen Richtung wiederholt.
Obwohl es in 21 nicht gezeigt ist, wenn bestimmt ist, dass es keine Richtung gibt, für die die Kalibrierungsoperation nicht durchgeführt wurde, in dem Schritt S3111, wird dieser Prozess beendet, so wie er ist.
23A bis 23E sind Ansichten zum Beschreiben der Kalibrierungsoperation für eine obere rechte Richtung des Benutzers (die obere rechte Richtung in dem Superweitwinkelbild). 23A bis 23E entsprechen jeweils 22A bis 22E und die grundlegende Operation ist ebenso identisch. Dementsprechend wird die gemeinsame Beschreibung weggelassen.
Wie in 23A gezeigt ist, zeigt die Anweisungsanzeige 855 eine Zeichenfolge an, die den Benutzer anweist, den Positionierungsindex 851, beim Ausrichten des Gesichts nach oben rechts, in der Mitte des visuellen Feldes des Benutzers zu positionieren.
23B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer die Kalibrierungseinrichtung 850 nach oben rechts hält, gemäß der Anweisung, die durch die Anweisungsanzeige 855 in 23A gezeigt ist. 23C ist eine schematische Ansicht, die das gesamte Superweitwinkelbild zeigt, das durch die Bildaufnahmelinse 16 in dem Zustand in 23B aufgenommen wird.
Wie in 23C gezeigt ist, wird ein Abweichungsbetrag zwischen der Mitte 856 des Superweitwinkelbildes und der Positionierungsindexmitte 852 zuerst gemäß einem konkreten Versatzverfahren gemessen. Danach wird der gemessene Abweichungsbetrag in einen radialen Abweichungsbetrag 857e und einen Winkelabweichungsbetrag 857f aufgeteilt. Ein Versatzbetrag wird basierend auf den Abweichungsbeträgen 857e und 857f nach einem Durchführen eines geeigneten Umwandlungsprozesses gemäß dem Projektionsverfahren des gesamten Feldwinkels bestimmt.
Außerdem, wie in 23D gezeigt ist, kann der Versatzbetrag nach einem Anwenden des geeigneten Umwandlungsprozesses auf das Superweitwinkelbild gemäß dem Projektionsverfahren bestimmt werden. Das heißt, der Abweichungsbetrag der Mitte 856a von der Positionierungsindexmitte 852 in dem aufgenommenen Bild nach einer Umwandlung wird gemessen. Und der Abweichungsbetrag wird in einen radialen Abweichungsbetrag 857g und einen Winkelabweichungsbetrag 857h aufgeteilt. Dann kann der Versatzbetrag basierend auf den Abweichungsbeträgen 857g und 857h bestimmt werden.
Die Bestimmung des Versatzbetrags, die unter Verwendung von 22A bis 22E beschrieben ist, wendet das Verfahren des Aufteilens des Abweichungsbetrags in den seitlichen Abweichungsbetrag und den vertikalen Abweichungsbetrag an. Im Vergleich damit wendet die Bestimmung des Versatzbetrags, die unter Verwendung von 23A bis 23E beschrieben ist, das Verfahren des Aufteilens des Abweichungsbetrags in den radialen Abweichungsbetrag und den Mittelabweichungsbetrag an. Der Unterschied im Verfahren dient nur der Einfachheit der Beschreibung und beide Verfahren können verwendet werden.
Außerdem hat die Gesichtsrichtungserfassungseinheit 20, wie in 23E gezeigt ist, die Kehlenposition 206 und die Kinnposition207ru, die zum Berechnen der Gesichtsrichtung beim Ausrichten des Gesichts nach oben rechts erforderlich sind, erhalten. Dementsprechend kann die Gesichtsrichtung des Benutzers beim Schauen in die Richtung (in diesem Fall die obere rechte Richtung) zu der Positionierungsindexmitte 852 unabhängig von den individuellen Unterschieden und den Anpassungsunterschieden des Benutzers korrekt gemessen werden.
Wie vorstehend erwähnt werden die Kalibrierungsoperationen für die obere rechte, die untere rechte, die obere linke und die untere linke Richtung zusätzlich zu der vorderen Richtung in dem Kalibrierungsprozess, der in 21 gezeigt ist, durchgeführt. Dadurch, wenn der Benutzer den Kopf in eine der oberen, unteren, rechten und linken Richtung dreht, kann die Gesichtsrichtungserfassungseinheit 20 die Richtung, in die sich der Benutzer dreht, korrekt erfassen. Dementsprechend kann der Benutzer den Kameraaufbau 1 unabhängig von individuellen Unterschieden und Anpassungsunterschieden auf geeignete Weise verwenden.
In der vorstehenden Beschreibung wird das Verfahren des Durchführens der Kalibrierungsoperation wiederholt für die fünf Richtungen (vorne, oben rechts, unten rechts, oben links und unten links) beschrieben, um die Beschreibung zu vereinfachen.
Jedoch ist die Kalibrierungsoperation nicht auf diese Verfahren beschränkt. Zum Beispiel könnte das folgende Verfahren eingesetzt werden. Das heißt, ein Benutzer bewegt die Kalibrierungseinrichtung 850 kontinuierlich entlang einer Z-förmigen Ortskurve, einer spiralförmigen Ortskurve, einer polygonalen Ortskurve oder Ähnlichem gemäß der Anweisungsanzeige 855. Gelichzeitig erfasst der Benutzer kontinuierlich den auf der Kalibrierungseinrichtung 850 angezeigten Positionsindex 851 an der Mitte des visuellen Feldes. In diesem Verfahren überträgt die Anzeigevorrichtungssteuerung 801 die Kalibrierungsanweisungen an den Kameraaufbau 1 mehrere Male, während sich die Kalibrierungseinrichtung 850 bewegt.
Wann immer die Kalibrierungsanweisung empfangen wird, erhält die Gesamtsteuerungs-CPU 101 die Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, und die Positionskoordinateninformationen über die Positionierungsindexmitte 852 in einem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, und speichert diese als Verlaufsinformationen. Danach berechnet die Gesamtsteuerungs-CPU 101 die Beziehung der Extrahierungsmittelposition des Bildes und der Gesichtsrichtung des Benutzers durch Kombinieren der Informationen, die von den erhaltenen Verlaufsinformationen extrahiert werden. Weiterhin könnten in diesem Verfahren die Informationen, die von den Verlaufsinformationen extrahiert werden, auf die Informationen begrenzt sein, die erhalten werden, wenn der Benutzer auf den Positionsindex 851 schaut. Die Informationen sind begrenzt unter Verwendung der Informationen über die eingebaute Kamera 805 und dem Gesichtssensor 806, die durch die Kalibrierungseinrichtung 850 während einer Bewegung der Kalibrierungseinrichtung 850 erhalten werden. Dadurch werden die Informationen, die erhalten werden, wenn der Benutzer wegschaut, nicht länger von den Verlaufsinformationen extrahiert, was die Genauigkeit einer Berechnung der Beziehung erhöht.
Außerdem kann die Anzeigevorrichtungssteuerung 801 einen Messwert des Winkelgeschwindigkeitssensors 807 an den Kameraaufbau 1 zusammen mit der Kalibrierungsanweisung übertragen. In diesem Fall erhält die Gesamtsteuerungs-CPU 101 Bewegungsinformationen, die eine Bewegungsortskurve der Kalibrierungseinrichtung 850 durch den Benutzer zeigen und die Position und Haltung der Kalibrierungseinrichtung 850 von dem übertragenen Messwert des Winkelgeschwindigkeitssensors 807. Die Bewegungsinformationen werden ebenso als die Verlaufsinformationen gespeichert. Dann kann die Kalibrierungsoperation basierend auf den Bewegungsinformationen basierend auf dem Messwert des Winkelgeschwindigkeitssensors 807, der Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, und den Positionskoordinateninformationen über die Positionierungsindexmitte 852 in dem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, einfach und korrekt durchgeführt werden.
In diesem Fall sollten die Bewegungsinformationen basierend auf dem Messwert des Winkelgeschwindigkeitssensors 807 mit den Bewegungsinformationen basierend auf den Positionskoordinateninformationen über den Positionierungsindex 851 übereinstimmen. Dementsprechend, wenn der Messwert des Winkelgeschwindigkeitssensors 807 verwendet wird, ist es erforderlich, eine Kommunikation zwischen dem Kameraaufbau 1 und der Kalibrierungseinrichtung 850 zu synchronisieren.
Wie vorstehend erwähnt beschreibt das zweite Ausführungsbeispiel das Kalibrierungsverfahren, das ermöglicht, die Gesichtsrichtung des Benutzers mit der Mittelposition des visuellen Sichtfeldes 125, das in dem Superweitwinkelbild eingestellt ist, zu verknüpfen, unabhängig von den individuellen Unterschieden und den Anpassungsunterschieden. Unterdessen ist die vorliegende Erfindung nicht auf die verschiedenen Konfigurationen, die in dem zweiten Ausführungsbeispiel veranschaulicht sind, beschränkt und verschiedene Modifikationen sind ebenso innerhalb des Umfangs der vorliegenden Erfindung verfügbar.
Als nächstes wird ein drittes Ausführungsbeispiel beschrieben. In dem dritten Ausführungsbeispiel wird ein Verfahren zum Erfassen einer Abweichung des Kameraaufbaus 1 von dem Benutzer und Operationen beim Erfassen der Abweichung detailliert unter Verwendung von 24A bis 29 beschrieben.
Dieses Ausführungsbeispiel wird im Wesentlichen als eine Ableitung von dem ersten Ausführungsbeispiel beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems in dem dritten Ausführungsbeispiel, die zu den Konfigurationen des Kamerasystems in dem ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben und eine doppelte Beschreibung wird weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Details beschrieben.
Die Bildaufnahmevorrichtung dieses Ausführungsbeispiels erfasst eine Gesichtsrichtung des Benutzers durch Beobachten eines Kopfes des Benutzers von einer Kehle eines Benutzers und erhält ein Ausgabebild durch Extrahieren eines Bildes von einem Superweitwinkelbild basierend auf dem Erfassungsergebnis. Dementsprechend, wenn der Benutzer den Kameraaufbau 1, der die Gesichtsrichtungserfassungseinheit 20 und die Bildaufnahmeeinheit 40 umfasst, inkorrekt trägt, oder wenn eine Abweichung von der Position, die durch die Kalibrierung bestimmt wird, entsteht, kann die Gesichtsrichtung nicht korrekt erfasst werden und wird das Ausgabevideobild schräg werden.
Dementsprechend ist es wünschenswert, die positionelle Abweichung des Kameraaufbaus 1 zu dem Benutzer zu erfassen und eine Korrektur oder Warnung durchzuführen.
Da die Bildaufnahmevorrichtung dieses Ausführungsbeispiels ein Tragen um den Hals hängend wie in dem ersten Ausführungsbeispiel annimmt, gibt es eine hohe Wahrscheinlichkeit, dass eine Rollabweichung und eine Nickabweichung um eine Hauptachse herum, die eine visuelle Linie ist, wenn ein Benutzer nach vorne schaut, auftritt.
24A und 24B sind Frontansichten, die schematisch einen Benutzer zeigen, der den Kameraaufbau 1 trägt. 24A zeigt einen Zustand, in dem der Benutzer den Kameraaufbau 1 korrekt trägt. 24B zeigt einen Zustand, in dem der Kameraaufbau 1 die Rollabweichung bezüglich des Benutzers verursacht.
25A und 25B sind Ansichten, die schematisch den Benutzer zeigen, der den Kameraaufbau 1 trägt. 25A zeigt den Zustand, in dem der Benutzer den Kameraaufbau 1 korrekt trägt. 25B zeigt einen Zustand, in dem der Kameraaufbau 1 die Nickabweichung bezüglich des Benutzers verursacht.
26 ist ein funktionales Blockdiagramm, das den Kameraaufbau 1 gemäß diesem Ausführungsbeispiel zeigt. Nachstehend wird der Prozess, der durch den Kameraaufbau 1 ausgeführt wird, grob unter Verwendung von 26 beschrieben. Details werden später erwähnt.
Wie in 26 gezeigt ist, ist der Kameraaufbau 1 mit der Gesichtsrichtungserfassungseinheit 20, der Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30, der Bildaufnahmeeinheit 40, der Bildextrahierungs-/Entwicklungseinheit 50, der Primäraufzeichnungseinheit 60 und der Übertragungseinheit 70 bereitgestellt. Des Weiteren ist der Kameraaufbau 1 mit der zweiten Steuerung 111, einer Abweichungserfassungseinheit 9021, einer Gesichtsrichtungskorrektureinheit (einer Beobachtungsrichtungskorrektureinheit) 9022 und einer Aufzeichnungswinkelbestimmungseinheit (einer Aufzeichnungsbildkorrektureinheit) 9031 bereitgestellt. Diese funktionalen Blöcke werden durch eine Steuerung der Gesamtsteuerungs-CPU 101, die den gesamten Kameraaufbau 1 steuert, verwirklicht.
Die Gesichtsrichtungserfassungseinheit 20 erfasst den Zustand des Gesichts und gibt diesen an die Abweichungserfassungseinheit 9021 weiter. Außerdem schätzt die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung von dem erfassten Zustand des Gesichts und gibt diese an die Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30 weiter.
Die Abweichungserfassungseinheit 9021 erfasst einen Rollabweichungsbetrag und einen Nickabweichungsbetrag des Kameraaufbaus 1 bezüglich des Benutzers von dem Zustand des Gesichts, das durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, gibt den Rollabweichungsbetrag an die Aufzeichnungswinkelbestimmungseinheit 9031 weiter und gibt den Rollabweichungsbetrag und den Nickabweichungsbetrag an die Gesichtsrichtungserfassungseinheit 9022 weiter. Außerdem, wenn die Rollabweichung oder die Nickabweichung erfasst werden, informiert die Abweichungserfassungseinheit 9021 die zweite Steuerung 111 über die Abweichungsinformationen.
Wenn die Abweichungsinformationen empfangen werden, informiert die zweite Steuerung 111 den Benutzer über eine Warnung unter Verwendung des Lautsprechers 105 und des Vibrators 106 des Kameraaufbaus 1. Alternativ, wenn die Abweichungsinformationen empfangen werden, informiert die zweite Steuerung 111 die Anzeigevorrichtung 800 über die Abweichungsinformationen über die Übertragungseinheit 70, um den Benutzer über eine Warnung unter Verwendung der Anzeigeeinheit 803, des Lautsprechers 815, des Vibrators 816 oder der LED 817 zu informieren.
Gleichzeitig werden einer oder mehrere des Lautsprechers 105, des Vibrators 106 des Kameraaufbaus 1, der Anzeigeeinheit 803, des Lautsprechers 815, des Vibrators 816 und der LED 817 der Anzeigevorrichtung 800 als Warnelemente verwendet.
Die Aufzeichnungswinkelbestimmungseinheit 9031 berechnet einen Rollkorrekturwinkel des Aufzeichnungsbildes von dem Rollabweichungsbetrag und gibt diesen an die Bildextrahierungs-/Entwicklungseinheit 50 weiter.
Die Gesichtsrichtungskorrektureinheit 9022 berechnet den Korrekturbetrag der Beobachtungsrichtung von dem Rollabweichungsbetrag und dem Nickabweichungsbetrag und gibt den Korrekturbetrag der Beobachtungsrichtung an die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 weiter.
Die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 führt verschiedene Berechnungen basierend auf der Beobachtungsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 geschätzt wird, und dem Korrekturbetrag der Beobachtungsrichtung, die durch die Gesichtsrichtungskorrektureinheit 9022 berechnet wird, durch und bestimmt Informationen über eine Position in einem Bereich eines Bildes, das von dem Superweitwinkelbild von der Bildaufnahmeeinheit 40 zu extrahieren ist. Dann gibt die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 die bestimmten Informationen an die Bildextrahierungs-/Entwicklungseinheit 50 weiter.
Die Bildaufnahmeeinheit 40 wandelt ein Licht von einem Objekt in ein Bild um und gibt das Bild an die Bildextrahierungs-/Entwicklungseinheit 50 weiter. Die Bildextrahierungs-/Entwicklungseinheit 50 extrahiert nur ein Bild einer Richtung, in die der Benutzer schaut, von dem Bild, das von der Bildaufnahmeeinheit 40 ausgegeben wird, unter Verwendung der Informationen von der Bildextrahierungs-/Entwicklungseinheit 30 und den Informationen von der Aufzeichnungswinkelbestimmungseinheit 9031, entwickelt das extrahierte Bild und gibt das entwickelte Bild an die Primäraufzeichnungseinheit 60 weiter. Da der Prozess danach der gleiche ist wie der des ersten Ausführungsbeispiels wird die Beschreibung hier weggelassen.
27A bis 27B sind Ansichten, die Bilder des Benutzers zeigen, wenn von dem Gesichtsrichtungserfassungsfenster 13 aus betrachtet. 27A zeigt den Zustand, in dem der Benutzer den Kameraaufbau 1 korrekt trägt. 27B zeigt einen Zustand, in dem der Kameraaufbau 1 die Rollabweichung bezüglich des Benutzers verursacht. 27C zeigt einen Zustand, in dem der Kameraaufbau 1 die Nickabweichung bezüglich des Benutzers verursacht.
Wie in 27A gezeigt ist, wenn durch den Benutzer korrekt getragen, befindet sich eine Kehlenposition 9206a (eine Rotationsmitte eines Kopfes) an einer Mitte eines Bildschirms. Wie in 27b gezeigt ist, wenn die Rollabweichung auftritt, befindet sich die Kehlenposition 9206b auf der rechten Seite in dem Bildschirm. Dementsprechend, wenn der Abweichungsbetrag der Kehlenposition 9206b von der Mitte nach rechts und links des Bildschirms einen vorbestimmten Schwellenwert überschreitet, kann bestimmt werden, dass der Kameraaufbau 1 die Rollabweichung bezüglich des Benutzers verursacht. Ansonsten, wenn der Abweichungsbetrag der Kehlenposition 9206b von einer Position, die durch die Kalibrierung bestimmt ist, einen vorbestimmten Schwellenwert überschreitet, kann bestimmt werden, dass der Kameraaufbau 1 die Rollabweichung bezüglich des Benutzers verursacht.
Gleichzeitig, da die Leistungsfähigkeiten der Infrarotkondensorlinse 26 und der Infraroterfassungseinheit 27 bekannt sind, kann der Rollabweichungsbetrag von dem Abweichungsbetrag der Kehlenposition 9206b berechnet werden.
Ein weißer Rahmen 9220 in 27A bis 27C zeigt einen Bereich, in dem sich die Kinnposition, die in der Kalibrierung bekannt ist, befinden kann. Wie in 27A gezeigt ist, wenn durch den Benutzer korrekt getragen, liegt eine Kinnposition 9207a innerhalb des weißen Rahmens 9220. Wie in 27C bezeigt ist, wenn die Nickabweichung auftritt, liegt die Kinnposition 9207c nicht innerhalb des weißen Rahmens 9220. Dementsprechend, wenn sich die Kinnposition 9207c außerhalb des weißen Rahmens 9220 befindet, in dem sich die Kinnposition, die in der Kalibrierung bekannt ist, befinden kann, wird bestimmt, dass der Kameraaufbau 1 die Nickabweichung bezüglich des Benutzers verursacht.
Gleichzeitig, da die Leistungsfähigkeit der Infrarotkondensorlinse 26 und der Infraroterfassungseinrichtung 27 bekannt sind, kann der Nickabweichungsbetrag grob von einem Separationsbetrag der Kehlenposition 9206c von dem weißen Rahmen 9220 berechnet werden.
Außerdem, obwohl der Benutzer in 27A und 27C in die gleiche Richtung schaut, werden die Bewegungswinkel Or geändert, weil sich die Kehlenposition 9206c in 27C aufgrund des Einflusses der Nickabweichung bewegt. Dieser Änderungsbetrag wird berechnet und korrigiert.
28A bis 28C sind Ansichten, die jeweils einen effektiven Projektionsbereich 9122 des Superweitwinkelbildes, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, und ein Sollsichtfeld 9125, das durch die Bildextrahierungs-/Entwicklungseinheit 50 extrahiert werden wird, zeigen. 28A zeigt einen Zustand, in dem der Benutzer den Kameraaufbau 1 korrekt trägt. 28B zeigt einen Zustand, in dem das Kameraaufbau 1 die Rollabweichung bezüglich des Benutzers verursacht. 28C zeigt einen Zustand, in dem der Kameraaufbau 1 die Rollabweichung bezüglich des Benutzers verursacht und das Sollsichtfeld 9125 durch die Aufzeichnungswinkelbestimmungseinheit 9031 korrigiert ist.
Wie in 28B gezeigt ist, wenn der Kameraaufbau 1 die Rollabweichung verursacht, wird das Bild, das mit Bezug auf den Winkel, bei dem der Benutzer schaut, geneigt ist, aufgezeichnet. Wenn jedoch, wie in 28C gezeigt ist, die Rollkorrektur des Sollsichtfeldes 9125 durchgeführt wird, kann ein Bild, das nahe zu dem Bild ist, auf das der Benutzer schaut, aufgezeichnet werden.
29 ist ein Ablaufdiagramm, das einen Abweichungserfassungsprozess zeigt. Der Ablauf des Abweichungserfassungsprozesses wird unter Verwendung von 29 beschrieben.
Zuerst wird erfasst, ob der Benutzer trainiert, basierend auf der Ausgabe des Winkelgeschwindigkeitssensors 107 oder des Beschleunigungssensors 108 (Haltungserfassungselemente) in einem Schritt S9101. Die Abweichungserfassung wird in einem Schritt S9102 gestoppt, während erfasst wird, dass der Benutzer trainiert. Da die Position des Kameraaufbaus 1 bezüglich des Benutzers während des Trainings des Benutzers instabil ist, ist ein Effekt der Abweichungserfassung nicht zu erwarten und wird eine Abweichung ausgegeben, wann immer der Benutzer trainiert, was störend ist. Um die Störung zu vermeiden, wird die Abweichungserfassung während des Trainings gestoppt.
Wenn in dem Schritt S9101 erfasst wird, dass der Benutzer nicht trainiert, erfasst die Abweichungserfassungseinheit 9021, ob die Rollabweichung aufgetreten ist, durch das Verfahren, das durch Bezugnahme auf 27A bis 27C beschrieben ist, in einem Schritt S9103. Als nächstes wird ebenso erfasst, ob die Nickabweichung aufgetreten ist, in einem Schritt S9104 und einem Schritt S9105.
Wenn erfasst ist, dass die Rollabweichung aufgetreten ist und die Nickabweichung nicht aufgetreten ist, berechnet die Aufzeichnungswinkelbestimmungseinheit 9031 den Rollkorrekturwinkel des extrahierten Bildes in einem Schritt S9106, und führt die Bildextrahierungs-/ Entwicklungseinheit 50 die Rollkorrektur des extrahierten Bildes (Aufzeichnungsbildrollkorrektur) in einem Schritt S9107 durch. Diese Korrektur ermöglicht es, einen Betrag eines Rotationsabweichungsbetrags zwischen dem Bild, das der Benutzer tatsächlich mit dem Auge betrachtet, und dem aufzuzeichnenden Bild zu reduzieren.
Außerdem, wenn erfasst wird, dass die Rollabweichung aufgetreten ist, berechnet die Gesichtsrichtungskorrektureinheit 9022 einen Rollkorrekturbetrag und einen Nickkorrekturbetrag der Gesichtsrichtung in einem Schritt S9108 und korrigiert die Aufzeichnungsrichtung in der Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30 in einem Schritt S9109. Diese Korrektur ermöglicht es, die Abweichung zwischen der Richtung, in die der Benutzer tatsächlich schaut, und der tatsächlich aufzuzeichnenden Richtung zu reduzieren.
Zusätzlich, wenn eine der Rollabweichung und der Nickabweichung erfasst wird, könnte das Sollsichtfeld 9125, das durch die Bildextrahierungs-/ Entwicklungseinheit 50 extrahiert wird, vergrößert werden. Dadurch, auch wenn eine Abweichung in dem Kameraaufbau 1 auftritt, kann ein Bild in die Richtung, die der Benutzer aufzeichnen will, soweit wie möglich aufgezeichnet werden.
Wenn zumindest eine der Rollabweichung und der Nickabweichung erfasst wird, wird eine Korrektur für die erfasste Abweichung in dem Schritt S9107 oder dem Schritt S9109 durchgeführt. Danach wird der Benutzer über eine Abweichungswarnung unter Verwendung des Warnelements in einem Schritt S9110 informiert. Durch diese Mitteilung kann der Benutzer die Abweichung des Kameraaufbaus 1 feststellen und kann eine Korrektur der Abweichung unterstützen. Es sei angemerkt, dass der Zeitpunkt des Informierens des Benutzers über die Abweichungswarnung nicht auf dieses Beispiel beschränkt ist. Zum Beispiel könnte die Abweichungswarnung durchgeführt werden, wenn die Rollabweichung und die Nickabweichung kontinuierlich über eine vorbestimmte Periode hinaus erfasst werden. Die Abweichungswarnung könnte durchgeführt werden, wenn die Rollabweichung und die Nickabweichung über eine vorbestimmte Anzahl hinaus erfasst wird. Wenn die Rollabweichung und die Nickabweichung nicht erfasst werden, wird eine normale Bildaufnahmeoperation in einem Schritt S9111 fortgesetzt.
Obwohl das Auftreten der Rollabweichung im Voraus in dem Prozess in 29 erfasst wird, kann das Auftreten der Nickabweichung im Voraus erfasst werden. Die Reihenfolge der Erfassungen spielt keine Rolle.
Obwohl das Verfahren, das die Gesichtsrichtung und die Abweichung unter Verwendung der Infrarotkamera erfasst, in diesem Ausführungsbeispiel wie in dem ersten Ausführungsbeispiel beschrieben ist, könnten diese unter Verwendung eines 3D-Sensors, der durch einen ToF-Sensor dargestellt ist, ein Millimeterwellenradar oder Ähnliches, erfasst werden.
Obwohl das Muster, das die Rollkorrektur eines Bildes, die Korrektur der Gesichtsrichtungserfassung und die Abweichungswarnungen alle durchführt, in diesem Ausführungsbeispiel beschrieben ist, könnte nur ein Teil von diesen durchgeführt werden. In solch einem Fall wird der Prozess zusammen mit einem Ablauf durchgeführt, in dem Schritte, die nicht ausgeführt werden, von dem in 29 beschriebenen Ablauf weggelassen werden.
Als nächstes wird ein viertes Ausführungsbeispiel beschrieben. In dem vierten Ausführungsbeispiel wird eine Operation zum Korrigieren eines Ausgabebildes in einem Winkel, auf den ein Benutzer schaut, wenn ein Benutzer seinen Kopf seitlich neigt (den Kopf schräg hält) detailliert unter Verwendung von 30A bis 34 beschrieben.
Dieses Ausführungsbeispiel wird im Wesentlichen als eine Ableitung von dem ersten Ausführungsbeispiel beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems in dem vierten Ausführungsbeispiel, die zu den Konfigurationen des Kamerasystems in dem ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen bezeichnet und eine doppelte Beschreibung wird weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Details beschrieben.
Die Bildaufnahmevorrichtung dieses Ausführungsbeispiels erfasst eine Gesichtsrichtung des Benutzers durch Beobachten eines Kopfes des Benutzers von einer Kehle eines Benutzers und erhält ein Ausgabebild durch Extrahieren eines Bildes von einem Superweitwinkelbild basierend auf dem Erfassungsergebnis. Dementsprechend ist der Benutzer dazu in der Lage, ein Bild aufzuzeichnen, das extrem nahe an einem Bild ist, das der Benutzer beobachtet. In der Kamera von solch einem Konzept, auch wenn ein Benutzer seinen Kopf seitlich neigt (den Kopf schräg hält), ist es wünschenswert, einen Winkel (einen Rollwinkel) eines Bildes, das der Benutzer betrachtet, mit einem Winkel eines Ausgabebildes abzugleichen.
30A ist eine Ansicht, die einen Zustand zeigt, in dem ein Benutzer seinen Kopf nicht neigt. 30B ist eine Ansicht, die einen Zustand zeigt, in dem der Benutzer den Kopf seitlich neigt (den Kopf schräg hält).
33A und 33B sind Ansichten, die einen effektiven Projektionsbereich 9122 eines Superweitwinkelbildes, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, und Sollsichtfelder 9125d und 9125e, die durch die Bildextrahierungs-/Entwicklungseinheit 50 extrahiert werden, zeigen. 33A zeigt das Sollsichtfeld 9125d eines Falles, in dem der Benutzer nach vorne schaut, ohne den Kopf zu neigen. 33B zeigt das Sollsichtfeld 9125e eines Falles, in dem der Benutzer nach vorne schaut, während er den Kopf neigt.
Wie in 33A und 33B gezeigt ist, wird eine positionelle Beziehung des effektiven Projektionsbereich 9122 bezüglich des Körpers unabhängig von dem Neigen des Kopfes nicht geändert. Da jedoch das Bild, das der Benutzer tatsächlich betrachtet, geneigt ist, wenn der Benutzer den Kopf neigt, ist es notwendig, eine Rollrotation nur bezüglich des Sollsichtfeldes 9125 anzuwenden.
31 ist ein funktionales Blockdiagramm, das den Kameraaufbau 1 gemäß diesem Ausführungsbeispiel zeigt. Nachstehend wird der Prozess, der durch den Kameraaufbau 1 ausgeführt wird, grob unter Verwendung von 31 beschrieben. Details werden später erwähnt.
Wie in 31 gezeigt ist, ist der Kameraaufbau 1 mit der Gesichtsrichtungserfassungseinheit (einer Entfernungsmessungseinheit) 20, der Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30, der Bildaufnahmeeinheit 40, der Bildextrahierungs-/Entwicklungseinheit 50, der Primäraufzeichnungseinheit 60, der Übertragungseinheit 70, der zweiten Steuerung 111 und der Aufzeichnungswinkelbestimmungseinheit (einer Rollwinkelerfassungseinheit) 9031 bereitgestellt. Diese funktionalen Blöcke werden durch eine Steuerung der Gesamtsteuerungs-CPU 101, die den gesamten Kameraaufbau 1 steuert, verwirklicht.
Die Gesichtsrichtungserfassungseinheit 20 erfasst den Zustand des Gesichts und gibt diesen an die Aufzeichnungswinkelbestimmungseinheit 9031 weiter. Außerdem schätzt die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung von dem erfassten Zustand des Gesichts und gibt diese an die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 weiter.
Die Aufzeichnungswinkelbestimmungseinheit 9031 berechnet einen Kopfneigungsbetrag (einen Rollwinkelkorrekturbetrag) von dem Zustand des Gesichts, der von der Gesichtsrichtungserfassungseinheit 20 empfangen wird, und gibt diesen an die Bildextrahierungs-/Entwicklungseinheit 50 weiter.
Die Aufzeichnungsrichtungs-/Feldwinkelbestimmungseinheit 30 bestimmt Informationen über eine Position und einen Bereich, der von einem Bild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, extrahiert werden wird, durch Durchführen von verschiedenen Berechnungen basierend auf der Beobachtungsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 geschätzt wird. Und dann werden diese Informationen an die Bildextrahierungs-/ Entwicklungseinheit 50 weitergegeben.
Die Bildaufnahmeeinheit 40 wandelt ein Licht von einem Objekt in ein Bild um und gibt das Bild an die Bildextrahierungs-/Entwicklungseinheit 50 weiter. Die Bildextrahierungs-/Entwicklungseinheit 50 extrahiert nur ein Bild einer Richtung, in die der Benutzer schaut, von dem Bild der Bildaufnahmeeinheit 40 unter Verwendung der Informationen von der Aufzeichnungsrichtungs-/ Feldwinkelbestimmungseinheit 30 und den Informationen von der Aufzeichnungswinkelbestimmungseinheit 9031, entwickelt das extrahierte Bild und gibt das entwickelte Bild an die Primäraufzeichnungseinheit 60 weiter. Da der Prozess danach der gleiche wie der des ersten Ausführungsbeispiels ist, wird die Beschreibung hier weggelassen.
32A und 32B sind Bilder des Benutzers, wenn von dem Gesichtsrichtungserfassungsfenster 13 aus betrachtet, und zeigen den Zustand, in dem der Benutzer den Kopf bei dem Winkel entsprechend 30B neigt. Wie der Kopfneigungsbetrag (ein Rollwinkel des Gesichts) zu erfassen ist, wird unter Verwendung von 32A und 32B beschrieben.
Erste und zweite Punkte 9230 und 9231 (eine Vielzahl von Punkten) in 32A sind angeordnet, sodass eine gerade Linie, die die ersten und zweiten Punkte 9230 und 9231 verbindet, sich senkrecht mit einer geraden Linie schneidet, die die Kehlenposition 9206 und die Kinnposition 9207 verbindet, und wird durch die gerade Linie, die die Kehlenposition 9206 und die Kinnposition 9207 verbindet, gleichmäßig geteilt. Der grobe Kopfneigungsbetrag kann durch Vergleichen einer Entfernung zwischen dem ersten Punkt 9230 und dem Kameraaufbau 1 mit einer Entfernung zwischen dem zweiten Punkt 9231 und dem Kameraaufbau 1 erfasst werden.
Unterdessen sind erste und zweite Bereiche 9232 und 9233 (eine Vielzahl von Bereichen) in 32B auf beiden Seiten der geraden Linie, die die Kehlenposition 9206 und die Kinnposition 9207 verbindet, angeordnet, sodass diese linear symmetrisch sind. Der grobe Kopfneigungsbetrag kann durch Vergleichen eines Durchschnitts von Entfernungen zwischen dem ersten Bereich 9232 und dem Kameraaufbau 1 mit einem Durchschnitt von Entfernungen zwischen dem zweiten Bereich 9233 und dem Kameraaufbau 1 erfasst werden.
Der Gesichtsrollwinkel kann durch eines der Verfahren des Vergleichens der ersten und zweiten Punkte in 32A und des Verfahrens des Vergleichens der ersten und zweiten Bereiche in 32B berechnet werden.
34 ist ein Ablaufdiagramm, das einen Prozess von einer Gesichtsrollwinkelerfassung zu einer Rollkorrektur eines extrahierten Bildes zeigt. Ein Ablauf einer Gesichtsrollwinkelkorrektur wird unter Verwendung von 34 beschrieben.
Die Bildaufnahmevorrichtung dieses Ausführungsbeispiels ist mit einer ersten Betriebsart bereitgestellt, in der die Rollkorrektur eines Ausgabebildes durchgeführt wird, und einer zweiten Betriebsart bereitgestellt, in der die Rollkorrektur nicht durchgeführt wird. In dem Prozess in 34 wird bestimmt, ob die Bildaufnahmevorrichtung in der ersten Betriebsart ist, in einem Schritt S9201. Wenn diese in der ersten Betriebsart ist, berechnet die Aufzeichnungswinkelbestimmungseinheit 9031 einen Gesichtsrollwinkel basierend auf den Informationen, die durch die Gesichtsrichtungserfassungseinheit 20 erhalten werden, unter Verwendung des Verfahrens, das in 32A und 32B gezeigt ist, in einem Schritt S9202. Außerdem, wenn diese in der zweiten Betriebsart ist, geht der Prozess über zu einem Schritt S9203 und die Gesichtsrollwinkelberechnung wird nicht durchgeführt.
In dem Fall der ersten Betriebsart wird bestimmt, ob eine Winkelabweichung des Gesichtsrollwinkels, der durch die Aufzeichnungswinkelbestimmungseinheit 9031 berechnet wird, von der vertikalen Richtung, die durch den Winkelgeschwindigkeitssensor 107 oder dem Beschleunigungssensor 108 erfasst wird, gleich oder mehr als ein vorbestimmter Schwellenwert ist, in einem Schritt S9204. Speziell wird der Neigungswinkel des Kopfs mit Bezug auf eine Ebene entlang der vertikalen Richtung, die durch den Winkelgeschwindigkeitssensor 107 oder dem Beschleunigungssensor 108 erfasst wird, bestimmt (siehe 30B).
Wenn bestimmt ist, dass die Abweichung gleich oder größer als der vorbestimmte Schwellenwert ist, berechnet die Aufzeichnungswinkelbestimmungseinheit 9031 einen Aufzeichnungswinkel basierend auf dem Berechnungsergebnis des Gesichtsrollwinkels und führt die Bildextrahierungs-/Entwicklungseinheit 50 die Rollkorrektur des extrahierten Bildes in einem Schritt S9205 durch.
Wenn bestimmt ist, dass die Winkelabweichung kleiner als der vorbestimmte Schwellenwert ist, berechnet die Aufzeichnungswinkelbestimmungseinheit 9031 den Aufzeichnungswinkel basierend auf der vertikalen Richtung, die durch den Winkelgeschwindigkeitssensor 107 oder dem Beschleunigungssensor 108 erfasst wird. Außerdem führt mit dieser Berechnung die Bildextrahierungs-/ Entwicklungseinheit 50 die Rollkorrektur des extrahierten Bildes in einem Schritt S9206 durch. Gemäß dem vorstehend erwähnten Ablauf, kann das Bild, in dem eine Horizontalität sichergestellt ist, ausgegeben werden, wenn der Benutzer, der nicht aufrecht steht, ein Bild sehen will, in dem die Horizontalität sichergestellt ist. Dann, wenn der Benutzer auf das Bild schaut, dessen Winkel mit Bezug auf die horizontale Richtung geneigt ist, kann das Bild des Winkels, auf das durch den Benutzer geschaut wird, aufgezeichnet werden.
Obwohl der Ablauf, der bestimmt, einen des Gesichtsrollwinkels und der vertikalen Richtung basierend auf dem Vergleichsergebnis von diesen auszuwählen, in diesem Ausführungsbeispiel beschrieben ist, könnte die Bestimmung basierend auf nur dem Gesichtsrollwinkel ohne den Vergleich mit der vertikalen Richtung durchgeführt werden. In solch einem Fall werden der Schritt S9204 und der Schritt S9206 weggelassen.
Obwohl das Verfahren, das die Gesichtsrichtung und die Abweichung unter Verwendung der Infrarotkamera erfasst, in diesem Ausführungsbeispiel beschrieben ist, wie in dem ersten Ausführungsbeispiel, können diese durch einen 3D-Sensor, der durch einen ToF-Sensor dargestellt ist, ein Millimeterwellenradar oder Ähnliches, erfasst werden.
Als nächstes wird ein fünftes Ausführungsbeispiel beschrieben. In dem fünften Ausführungsbeispiel wird ein Verfahren zum Erfassen einer Änderung einer Kieferposition und einer Operation beim Erfassen der Änderung der Kieferposition detailliert unter Verwendung von 35A bis 35C, 36A und 36B beschrieben.
Dieses Ausführungsbeispiel wird im Wesentlichen als eine Ableitung des ersten Ausführungsbeispiels beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems in dem fünften Ausführungsbeispiel, die zu den Konfigurationen des Kamerasystems in dem ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben und eine doppelte Beschreibung wird weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Details beschrieben.
Die Bildaufnahmevorrichtung dieses Ausführungsbeispiels erfasst eine Gesichtsrichtung des Benutzers durch Beobachten eines Kopfes des Benutzers von einer Kehle des Benutzers und erhält ein Ausgabebild durch Extrahieren eines Bildes von einem Superweitwinkelbild basierend auf dem Erfassungsergebnis. Da die Gesichtsrichtung durch Beobachten eines Zustandes eines Kiefers geschätzt wird, wird, wenn eine positionelle Beziehung zwischen der Gesichtsrichtung und dem Zustand des Kiefers geändert wird (wenn sich ein Mund öffnet oder schließt), ein Fehler in dem Schätzungsergebnis der Gesichtsrichtung auftreten. Dies zeigt, dass die korrekte Erfassung während einer Konversation oder einer Mahlzeit schwierig ist.
35A bis 35C sind Seitenansichten, die schematisch den Benutzer zeigen, der den Kameraaufbau 1 trägt. 35A zeigt den Zustand, in dem der Benutzer nach vorne schaut und den Mund schließt. 35B zeigt den Zustand, in dem der Benutzer nach vorne schaut und den Mund öffnet. 35C zeigt einen Zustand, in dem der Benutzer diagonal nach unten schaut und den Mund schließt.
Tatsächlich zeigt 35A und 35B den Zustand, in dem der Benutzer nach vorne schaut und zeigt 35C den Zustand, in dem der Benutzer diagonal nach unten schaut. Wenn jedoch von dem Kameraaufbau 1 aus betrachtet, scheint es, dass der Benutzer in 35A nach vorne schaut und scheint es, dass der Benutzer in 35B und 35C diagonal nach unten schaut. Das heißt, wenn das Erfassungsergebnis bei Schließen des Mundes verwendet werden kann, kann die Gesichtsrichtung korrekt erfasst werden.
36A und 36B sind Graphen, die Beispiele eines Erfassungsergebnisses einer Gesichtsbewegung in die vertikale Richtung (Blickrichtung) zeigen. Eine horizontale Achse bezeichnet eine Zeit und eine vertikale Achse bezeichnet einen Winkel in die vertikale Richtung. 36A zeigt ein Erfassungsergebnis eines Falls, in dem der Benutzer das Gesicht nach vorne richtet, während er den Mund öffnet und schließt (während einer Konversation, usw.). Ein erfasster Rohwert 9400 bewegt sich abwärts, während er auf und ab schwankt. Gleichzeitig ist ein Tiefpasswert 9402, der durch Anwenden eines allgemeinen Tiefpassfilterprozesses auf den erfassten Rohwert 9400 erhalten wird, ein Median des erfassten Rohwerts 9400. Wenn der Tiefpasswert 9402 für die Erfassung verwendet wird, wird die Gesichtsbewegung in einem Zustand erfasst, in dem der Benutzer den Mund halb öffnet. Gleichzeitig wird ein Bestimmungswert 9401 in einem Zustand, in dem der Benutzer den Mund korrekt schließt, durch Verbinden von Spitzen der feinen Wellenform des erfassten Rohwerts 9402 erhalten.
36B zeigt ein Erfassungsergebnis eines Falls, in dem der Benutzer, der nach vorne schaut, den Mund öffnet und schließt, während sich ein Öffnungsbetrag ändert. Wie von 36B verstanden wird, obwohl der Benutzer nach vorne schaut, wenn die Erfassungsrichtung basierend auf dem Tiefpasswert 9402 bestimmt wird, wird das Ausgabebild auf und ab wackeln. Auch in diesem Fall, wenn die Gesichtsrichtung basierend auf dem Bestimmungswert 9401 bestimmt wird, der durch Verbinden von Spitzen der feinen Wellenform des erfassten Rohwerts 9402 erhalten wird, bleibt das Ausgangsbild nach vorne gerichtet. Dementsprechend, wenn der erfasste Rohwert der Gesichtsrichtung in die vertikale Richtung (Blickwinkel) bei einer Frequenz innerhalb eines vorbestimmten Bereichs vibriert, wird ein Bestimmungswert 9401 durch Verbinden der Maximalwerte (obere Spitzen) der Wellenform der entsprechenden Zyklen erhalten. Als Ergebnis davon ist die Gesichtsrichtung korrekt erfassbar, auch während einer Konversation oder einer Mahlzeit.
Die Frequenz des Öffnens und Schließens des Mundes in einer Konversation und während einer Mahlzeit wird in diesem Ausführungsbeispiel als ungefähr 1 Hz bis 10 Hz angenommen.
Wie in 35A bis 35C gezeigt ist, ist der Kameraaufbau 1 mit einem benutzerseitigen Mikrofon 9019 (Tonerfassungselement) bereitgestellt, das Äußerungen des Benutzers und Kaufgeräusche erfasst. Eine Konversation und eine Mahlzeit können basierend auf der Frequenz des erfassten Rohwerts 9400, der in 36A und 36B gezeigt ist, bestimmt werden. Außerdem, wenn das benutzerseitige Mikrofon 9019 einen Ton erfasst, der gleich oder größer als ein vorbestimmter Schwellenwert ist, kann die Gesichtsrichtung durch den Bestimmungswert 9401 bestimmt werden, der die Spitzenpunkte der feinen Wellenform des erfassten Rohwerts 9400 verbindet.
Außerdem, wenn die Kalibrierung in dem zweiten Ausführungsbeispiel durchgeführt wird, kann eine Anweisung, die dazu auffordert, die Kalibrierung beim Schließen des Mundes durchzuführen, von der Anzeigevorrichtung 800 oder der Kalibrierungseinrichtung 850 ausgegeben werden. Dies ermöglicht es, Genauigkeiten der Kalibrierung und der Nickwinkelkorrektur zu verbessern. Zum Beispiel kann die Kalibrierungseinrichtung 850 eine Tonmitteilung beim Durchführen der Kalibrierung ausgeben. Dies fordert den Benutzer auf, die Kalibrierung durchzuführen, während er den Mund schließt.
Als nächstes wird ein sechstes Ausführungsbeispiel beschrieben. Wie in dem zweiten Ausführungsbeispiel beschrieben ist, tritt in der Beziehung zwischen der Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, und der Mittelposition (Extrahierungsposition des Bildes) des Sollsichtfeldes 125 aufgrund einer Physis eines Benutzers und eines Montagezustandes des Kameraaufbaus 1 ein individueller Unterschied auf. Dementsprechend ist ein Kalibrierungsprozess, der die Extrahierungsposition des Bildes mit der Gesichtsrichtung verknüpft, erforderlich. Es ist notwendig, die Kalibrierungsoperationen für obere rechte, untere rechte, obere linke und untere linke Richtungen zusätzlich zu der vorderen Richtung durchzuführen. Solche Operationen könnten für einen Benutzer schwierig sein. Das sechste Ausführungsbeispiel reduziert eine Zeit und einen Aufwand des Benutzers in dem Kalibrierungsprozess.
Dieses Ausführungsbeispiel wird im Wesentlichen als eine Ableitung von dem zweiten Ausführungsbeispiel beschrieben. Dementsprechend sind die Konfigurationen des Kamerasystems in dem sechsten Ausführungsbeispiel, die zu den Konfigurationen des Kamerasystems in dem ersten und zweiten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben und doppelte Beschreibungen werden weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Details beschrieben.
37 ist eine Ansicht, die Details der Kalibrierungseinrichtung 850 zeigt, die für den Kalibrierungsprozess gemäß dem sechsten Ausführungsbeispiel verwendet wird. In diesem Ausführungsbeispiel ist das Kalibrierungssystem mit dem Kameraaufbau (der Bildaufnahmevorrichtung) 1 und der Kalibrierungseinrichtung 850 bereitgestellt. Und die Anzeigevorrichtung 800 dient ebenso als die Kalibrierungseinrichtung 850. Es sei angemerkt, dass die Kalibrierungseinrichtung 850 eine dedizierte Einrichtung, ein allgemeines Smart-Phone, oder ein Tablet-Endgerät sein kann, wie in den ersten und zweiten Ausführungsbeispielen.
Wie in 37 gezeigt ist, sind eine A-Taste 802, die Anzeigeeinheit 803, die eingebaute Kamera 805, der Gesichtssensor 806, der Positionierungsindex 851, eine Kamerabildanzeige 4001, und eine Mitteilungsanzeige 4002 in der Kalibrierungseinrichtung 850 umfasst. Obwohl der Positionierungsindex 851, die Kamerabildanzeige 4001 und die Mittelungsanzeige 4002 auf der Anzeigeeinheit 803 in diesem Ausführungsbeispiel angezeigt werden sollen, ist dies nicht darauf beschränkt. Auf diese Weise fungiert die Anzeigeeinheit 803 als eine Einheit zum Anzeigen eines empfangenen Bildes, die die Kamerabildanzeige 4001 anzeigt, und eine Indexanzeigeeinheit, die den Positionierungsindex 851 anzeigt. Dies verhindert, dass eine Indexanzeigeeinheit für die Anzeigeeinheit 803 separat bereitgestellt werden muss, was die Konfiguration der Kalibrierungseinrichtung 850 vereinfacht und zu einer Miniaturisierung beiträgt.
Wie in dem ersten Ausführungsbeispiel beschrieben ist, wird das Superweitwinkelbild, das durch den Kameraaufbau 1 aufgenommen wird, durch die Übertragungseinheit 70 übertragen und durch die Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 oder die Drahtloskommunikationseinheit 871 mit geringer Leistung der Kalibrierungseinrichtung 850 empfangen. Dann wird ein Bild, das durch Überlagern von verschiedenen Arten von Informationen auf das Superweitwinkelbild, das durch den Kameraaufbau (die Bildaufnahmeeinheit) 1 aufgenommen wird, gezeichnet wird, als die Kamerabildanzeige 4001 angezeigt. Wie in 37 gezeigt ist, umfasst dieses Bild die Kalibrierungseinrichtung 850 als eine der verschiedenen Arten von Informationen. Eine Mitteilung, die einen Benutzer auffordert, eine Operation durchzuführen, und eine Fehlermitteilung werden als die Mitteilungsanzeige 4002 angezeigt.
Ein Prozess des Kameraaufbaus 1 wird zuerst beschrieben. 38 ist ein Ablaufdiagramm, das den Prozess des Kameraaufbaus 1 in einem Kalibrierungsprozess gemäß diesem Ausführungsbeispiel zeigt. Es sei angemerkt, dass jeder Prozess in diesem Ablaufdiagramm verwirklicht wird, weil die Gesamtsteuerungs-CPU 101 ein Programm ablaufen lässt, das in dem internen nichtflüchtigen Speicher 102 gespeichert ist.
Wenn der Kalibrierungsprozess gestartet wird, nimmt die Bildaufnahmeeinheit 40 als erstes auf ein Superweitwinkelbild in einem Schritt S4101.
Als nächstes wird in einem Schritt S4102 eine Aberration des Superweitwinkelbildes, das in dem Schritt S4101 aufgenommen (erhalten) wird, korrigiert. 40A ist eine schematische Ansicht, die eine Beispiel des Superweitwinkelbildes zeigt, das durch den Kameraaufbau 1 aufgenommen wird, und dessen Aberration in dem Kalibrierungsprozess korrigiert ist. Wie in dem zweiten Ausführungsbeispiel beschrieben ist, hält der Benutzer die Kalibrierungseinrichtung 850 vor den eigenen Körper in dem Kalibrierungsprozess. Dementsprechend erscheinen die Kalibrierungseinrichtung 850 und eine Hand 4301 des Benutzers, die die Kalibrierungseinrichtung 850 hält, in dem Bild, das durch den Kameraaufbau 1 aufgenommen wird, der an der Schlüsselbeinposition getragen wird, wie in 40A gezeigt ist.
Als nächstes überträgt in einem Schritt S4103 die Übertragungseinheit 70 des Kameraaufbaus 1 das Bild, das in dem Schritt S4102 korrigiert wird, an die Kalibrierungseinrichtung 850.
Als nächstes überträgt in einem Schritt S4104 die Übertragungseinheit (eine Koordinatenübertragungseinheit) 70 eine Zielposition für die Kalibrierungseinrichtung an die Kalibrierungseinrichtung 850. Die Kalibrierungseinrichtung 850 empfängt diese Zielposition über die Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 oder die Drahtloskommunikationseinheit 871 mit geringer Leistung (eine Koordinatenempfangseinheit). Nachstehend ist die „Zielposition für die Kalibrierung“ eine Position in eine Richtung, in die der Benutzer die Kalibrierungseinrichtung 850 für die Kalibrierung bewegt, das heißt, sind Koordinateninformationen des Bewegungsziels der Kalibrierungseinrichtung 850. In diesem Ausführungsbeispiel werden eine Mitte, oben links, unten links, oben rechts und unten rechts der Kamerabildanzeige 4001 als die Zielpositionen eingestellt (designiert). Jedoch sind die Zielpositionen nicht auf dieses Beispiel beschränkt. Außerdem könnte eine Zielposition nach Bedarf hinzugefügt werden oder weggelassen werden.
Als nächstes erfasst in einem Schritt S4105 die Gesamtsteuerungs-CPU (eine Indexerfassungseinheit) 101 den Positionierungsindex 851, der auf der Kalibrierungseinrichtung 850 angezeigt wird, basierend auf dem Superweitwinkelbild, das in dem Schritt S4102 korrigiert ist, und berechnet die Koordinate des betreffenden Positionierungsindex 851. Es sei angemerkt, dass der Positionierungsindex 851 zum Beispiel durch Suchen eines Bildbereichs, dessen charakteristische Merkmale, wie etwa eine Farbe und Form mit dem Positionierungsindex 851 übereinstimmen, erfasst werden kann. Zusätzlich kann der Positionierungsindex 851 unter Verwendung von Maschinenlernen, wie etwa Deep-Learning, erfasst werden.
Als nächstes bestimmt in einem Schritt S4106 die Gesamtsteuerungs-CPU 101, ob der Positionierungsindex 851, der in dem Schritt S4105 erfasst wird, sich an der Zielposition (der vorbestimmten Position) befindet bzw. mit dieser übereinstimmt. Diese Bestimmung wird durch Bestimmen ausgeführt, ob die Koordinate des Positionierungsindex 851, die in dem Schritt S4105 berechnet wird, sich an der oder in der Nähe der Koordinate der Zielposition befindet. Dann, als ein Ergebnis der Bestimmung in dem Schritt S4106, wenn bestimmt ist, dass sich der Positionierungsindex 851 an der Zielposition befindet, geht der Prozess über zu einem Schritt S4107. Dann startet die Gesamtsteuerungs-CPU (eine Kalibrierungseinheit) 101 eine Ausführung der Kalibrierung. Unterdessen, als ein Ergebnis der Bestimmung in dem Schritt S4106, wenn bestimmt ist, dass sich der Positionierungsindex 851 nicht an der Zielposition befindet, geht der Prozess über zu einem Schritt S4110. Wenn bestimmt ist, dass sich der Positionierungsindex 851 nicht an der Zielposition befindet, gibt die Kalibrierungseinrichtung 850 einem Benutzer die Anweisung, den Positionierungsindex 851 auf die vorbestimmte Position zu bewegen. Dies wird später durch Bezugnahme auf 39 beschrieben.
In dem Schritt S4107, nach der Bestimmung in dem Schritt S4106, erfasst die Gesichtsrichtungserfassungseinheit 20 eine Gesichtsrichtung (eine Gesichtsrichtung des Benutzers). Dieser Gesichtsrichtungserfassungsprozess ist der Gleiche wie der Prozess in dem Schritt S200, der in dem ersten Ausführungsbeispiel beschrieben ist.
In einem Schritt S4108 nach der Bestimmung in dem Schritt S4106 berechnet die Gesamtsteuerungs-CPU 101 Korrekturinformationen. Diese Korrekturinformationen sind die gleichen, wie die, die in dem zweiten Ausführungsbeispiel beschrieben sind, und sind die Informationen, die die Beziehung zwischen der Koordinate des Positionierungsindex 851, der in dem Schritt S4105 erfasst wird, und der Gesichtsrichtung, die in dem Schritt S4107 erfasst wird, zeigen. Es sei angemerkt, dass eine Beschreibung über die Bestimmung dahingehend, ob der Benutzer auf dem Positionierungsindex 851 in der Mitte des visuellen Feldes schaut, in diesem Ausführungsbeispiel weggelassen ist, um die Beschreibung zu vereinfachen. Jedoch könnten die Korrekturinformationen berechnet werden, wenn der Benutzer auf den Positionierungsindex 851 in der Mitte des visuellen Feldes schaut, wie in dem zweiten Ausführungsbeispiel.
Als nächstes aktualisiert in einem Schritt S4109 die Gesamtsteuerungs-CPU 101 die Zielposition. In diesem Ausführungsbeispiel wird die Zielposition in einer Reihenfolge von Mitte, oben links, unten links, oben rechts und unten rechts der Kamerabildanzeige 4001 aktualisiert. Jedoch sind die Zielpositionen nicht auf dieses Beispiel beschränkt.
Als nächstes bestimmt die Gesamtsteuerungs-CPU 101 in dem Schritt S4110, ob die Korrekturinformationen in allen Zielpositionen berechnet wurden. Als ein Ergebnis der Bestimmung in dem Schritt S4110, wenn bestimmt ist, dass die Korrekturinformationen in allen Zielpositionen berechnet wurden, geht der Prozess über zu einem Schritt S4111. Unterdessen, als ein Ergebnis der Bestimmung in dem Schritt S4110, wenn bestimmt ist, dass die Korrekturinformationen nicht in allen Zielpositionen berechnet wurden, kehrt der Prozess zurück zu dem Schritt S4101 und werden die Schritte von dem Schritt S4101 sequenziell ausgeführt.
In dem Schritt S4111 nach der Bestimmung in dem Schritt S4110 werden die Korrekturinformationen, die bis zu dem Schritt S4110 erhalten werden, in dem internen nichtflüchtigen Speicher 102 oder dem nichtflüchtigen Speicher 51 mit großer Kapazität (einer Korrekturinformationsspeichereinheit) des Kameraaufbaus 1 gespeichert. Dadurch können die gespeicherten Korrekturinformationen zu einem beliebigen Zeitpunkt an die Kalibrierungseinrichtung 850 übertragen werden, zum Beispiel. In diesem Fall werden die Korrekturinformationen über die Übertragungseinheit (eine Korrekturinformationsübertragungseinheit) 70 des Kameraaufbaus 1 übertragen und werden durch die Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 oder die Drahtloskommunikationseinheit 871 mit geringer Leistung (eine Korrekturinformationsempfangseinheit) der Kalibrierungseinrichtung 850 empfangen. Dann werden die Korrekturinformationen ebenso in dem nichtflüchtigen Speicher mit großer Kapazität (einer Korrekturinformationsspeichereinheit) 814 der Kalibrierungseinrichtung 850 gespeichert.
Als nächstes informiert die Übertragungseinheit 70 in einem Schritt S4112 die Kalibrierungseinrichtung 850 über die Beendigung des Kalibrierungsprozesses und der Prozess wird beendet.
Als nächstes wird der Prozess der Kalibrierungseinrichtung 850 beschrieben. 39 ist ein Ablaufdiagramm, das den Prozess der Kalibrierungseinrichtung 850 in dem Kalibrierungsprozess gemäß diesem Ausführungsbeispiel zeigt. Es sei angemerkt, dass jeder Prozess in diesem Ablaufdiagramm verwirklicht wird, weil die Gesamtsteuerungs-CPU 801 ein Programm ablaufen lässt, das in dem internen nichtflüchtigen Speicher 812 gespeichert ist.
Wenn die Kalibrierung gestartet ist, zeigt die Anzeigevorrichtungssteuerung 801 als erstes den Positionierungsindex 851 auf der Anzeigeeinheit 803 in einem Schritt S4201 an. Der Prozess in dem Schritt S4105 erfasst den Positionierungsindex 851, der auf der Anzeigeeinheit 803 in diesem Schritt S4201 angezeigt wird.
Als nächstes zeigt die Anzeigevorrichtungssteuerung 801 in einem Schritt S4202 eine Mitteilung an, die den Benutzer auffordert, eine Operation auf der Anzeigeeinheit 803 durchzuführen. 41A ist eine schematische Ansicht, die einen Anzeigezustand der Anzeigeeinheit 803 zeigt, wenn der Schritt S4202 beendet wird. Wie in 41A gezeigt ist, werden der Positionierungsindex 851, der in der Nähe des Mittelteils der Anzeigeeinheit 803 angeordnet ist, und die Mitteilungsanzeige 4002, die unter dem Positionierungsindex 851 angeordnet ist, auf der Anzeigeeinheit 803 angezeigt. Eine Mitteilung, die den Benutzer auffordert, die Kalibrierungseinrichtung 850 zu bewegen, wird als die Mitteilungsanzeige 4002 angezeigt. Es sei angemerkt, dass die Position und Form des Positionierungsindex 851 nicht auf die in 41A gezeigte beschränkt ist, solange diese durch den Kameraaufbau 1 erfasst werden kann. Außerdem, wenn sich der Positionierungsindex 851 auf der peripheren Seite in dem Superweitwinkelbild befindet, könnte die Form des Positionierungsindex 851 verzerrt sein. In diesem Fall ändert die Anzeigeeinheit (eine Indexanzeigeeinheit) 803 die Form oder Farbe des Positionierungsindex 851 mit einem Ablauf einer Zeit, sodass der Positionierungsindex 851 erfasst werden kann. Zum Beispiel wird die Form des Positionierungsindex 851 durch wiederholtes Umschalten eines Rechteckes und eines Kreises geändert. Außerdem wird die Farbe des Positionierungsindex 851 durch wiederholtes Umschalten einer chromatischen Farbe (zum Beispiel rot) und einer achromatischen Farbe (zum Beispiel schwarz) geändert, zum Beispiel.
Als nächstes empfängt in einem Schritt S4203 die Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 oder die Drahtloskommunikationseinheit 871 mit geringer Leistung das Superweitwinkelbild von dem Kameraaufbau 1. Dieses Bild wird in dem Schritt S4103 übertragen.
Als nächstes empfängt in einem Schritt S4204 die Hochgeschwindigkeitsdrahtloskommunikationseinheit 872 oder die Drahtloskommunikationseinheit 871 mit geringer Leistung die Koordinate der Zielposition von dem Kameraaufbau 1. Diese Koordinate der Zielposition wird in dem Schritt S4104 übertragen.
Als nächstes zeichnet in einem Schritt S4205 die Anzeigevorrichtungssteuerung (eine Zeichnungseinheit) 801 eine Markierung, die die Koordinate der Zielposition, die in dem Schritt S4204 empfangen wird, zeigt, um diese über dem Superweitwinkelbild, das in dem Schritt S4203 empfangen wird, zu überlagern. Die Koordinaten der Zielposition (Koordinateninformation) zeigen dem Benutzer das Bewegungsziel der Kalibrierungseinrichtung 850, das heißt, diese sind die Koordinaten der Markierung, die verwendet wird, wenn die Kalibrierungseinrichtung 850 bewegt wird. Außerdem, obwohl die Markierung der Koordinate der Zielposition ein Kreis ist, der konzentrisch mit der Mitte der Kamerabildanzeige 4001 angeordnet ist und einen vorbestimmten Radius aufweist, zum Beispiel, ist die Form nicht auf den Kreis beschränkt. Zum Beispiel könnte ein Viereck oder eine andere Form eingesetzt werden.
40B ist eine schematische Ansicht, die ein Bild zeigt, in dem die Zielposition als eine kreisförmige Markierung 4302 gezeichnet ist, sodass diese über dem Superweitwinkelbild überlagert ist, in einem Fall, in dem sich die Zielposition in der Mitte der Kamerabildanzeige 4001 befindet. Wie in 40B gezeigt ist, ist die Markierung 4302 durch eine gestrichelte Linie zusätzlich zu einer Hand 4301 des Benutzers in der Kamerabildanzeige 4001 gezeichnet. Die Markierung 4302 fordert den Benutzer auf, die Kalibrierungseinrichtung 850 zu bewegen, sodass die Kalibrierungseinrichtung 850 innerhalb der betreffenden Markierung 4302 angeordnet sein wird. Dementsprechend wird der Radius der Markierung 4302 unter Berücksichtigung der Größe der Kalibrierungseinrichtung 850 bestimmt. Dann wird eine Mitteilung, die den Benutzer auffordert, die Kalibrierungseinrichtung 850 innerhalb der Markierung 4302 zu bewegen, als die Mitteilungsanzeige 4002 angezeigt. Der Benutzer, der diese Mitteilung überprüft, kann die Kalibrierungseinrichtung 850 innerhalb der Markierung 4302 gemäß der betreffenden Mitteilung bewegen.
Als nächstes zeigt in einem Schritt S4206 die Anzeigevorrichtungssteuerung 801 das Superweitwinkelbild, das in dem Schritt S4205 gezeichnet wird, auf einer vorbestimmten Position auf der Anzeigeeinheit (einer Einheit zum Anzeigen eines empfangenen Bildes) 803 als die Kamerabildanzeige 4001 an. 41B ist eine Ansicht, die einen Anzeigezustand der Anzeigeeinheit 803 zeigt, wenn der Schritt S4206 beendet ist. Wie in 41B gezeigt ist, wird das Bild, in dem die kreisförmige Markierung 4302 gezeichnet ist, sodass diese über dem Superweitwinkelbild überlagert ist, als die Kamerabildanzeige 4001 angezeigt. Auf diese Weise werden die Markierung 4302 zum Bewegen der Kalibrierungseinrichtung 850 und die eigene Hand 4301 zusammen angezeigt. Dadurch kann der Benutzer die Kalibrierungseinrichtung 850 intuitiv zu der Markierung 4302 bewegen.
Als nächstes bestimmt in einem Schritt S4207 die Anzeigevorrichtungssteuerung 801, ob eine Beendigungsmitteilung des Kalibrierungsprozesses von dem Kameraaufbau 1 empfangen wurde. Als ein Ergebnis der Bestimmung in dem Schritt S4207, wenn bestimmt ist, dass die Beendigungsmitteilung empfangen wurde, wird der Prozess beendet. Unterdessen, als ein Ergebnis der Bestimmung in dem Schritt S4207, wenn bestimmt ist, dass die Beendigungsmitteilung nicht empfangen wurde, kehrt der Prozess zurück zu dem Schritt S4203 und werden die Schritte von dem Schritt S4203 sequenziell ausgeführt.
Die vorstehend erwähnte Kalibrierungsoperation reduziert die Probleme für den Benutzer zum Ausrichten des Gesichts in Richtungen, wie etwa vorne, oben links, unten links, oben rechts und unten rechts, wie vorstehend erwähnt. Dies erleichtert die Kalibrierungsoperation, das heißt, die Operation des Benutzers in der Kalibrierung. Dementsprechend verbessert sich eine Bequemlichkeit, wenn der Kameraaufbau 1 und die Kalibrierungseinrichtung 850 verwendet werden.
Andere Ausführungsbeispiele
Eines oder mehrere Ausführungsbeispiele der vorliegenden Erfindung können ebenso durch einen Computer eines Systems oder eine Vorrichtung, die computerausführbare Anweisungen (zum Beispiel eines oder mehrere Programme), die auf einem Speichermedium (welches ebenso vollständiger als ein „nichtflüchtiges computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnet ist, ausliest und ausführt, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispielen durchzuführen und/oder der eine oder mehrere Schaltungen (zum Beispiel anwendungsspezifisch integrierte Schaltung (ASIC „application specific integrated circuit“)) zum Durchführen der Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele umfasst, und durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durch zum Beispiel Auslesen und Ausführen in den computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispielen durchzuführen, und/oder Steuern der einen oder mehreren Schaltungen, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiel durchzuführen, realisiert werden. Der Computer kann einen oder mehrere Prozessoren (zum Beispiel zentrale Verarbeitungseinheit (CPU, „central processing unit“), eine Mikroverarbeitungseinheit (MPU, „micro processing unit“)) umfassen und kann ein Netzwerk von separaten Computern oder separaten Prozessoren umfassen, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können den Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel eines oder mehrere einer Festplatte, eines Direktzugriffspeichers (RAM, „random-access memory“) eines Festwerkspeichers (ROM, „read only memory“), eines Speichers von verteilten Rechnersystemen, einer optischen Platte (wie etwa einer Kompaktdisc (CD), eine „digital versatile disc“ (DVD), oder Blu-ray Disc (BD)™) einer Flashspeichereinrichtung, einer Speicherkarte und Ähnliches aufweisen.
Während die vorliegende Erfindung mit Bezug auf Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist, sondern durch den Umfang der folgenden Ansprüche definiert ist.
Diese Anmeldung beansprucht den Vorteil der Japanischen Patenanmeldungen Nummer 2021-125341, eingereicht am 30. Juli 2021 und Nummer 2022-038688, eingereicht am 11. März 2022, deren Inhalte in ihrer Gesamtheit hierin durch Bezugnahme mit eingeschlossen sind.
Eine Bildaufnahmevorrichtung, die eine Beobachtungsrichtungserfassungseinheit (20) umfasst, wird an einem anderen Körperteil als einem Kopf eines Benutzers getragen und erfasst eine Beobachtungsrichtung des Benutzers. Eine Bildaufnahmeeinheit (40) wird an einem Körper des Benutzers getragen und nimmt ein Bild auf. Eine Aufzeichnungsrichtungsbestimmungseinheit (30) bestimmt eine Aufzeichnungsrichtung unter Verwendung eines Erfassungsergebnisses der Beobachtungsrichtungserfassungseinheit. Eine Abweichungserfassungseinheit (9021) erfasst eine Abweichung der Bildaufnahmevorrichtung mit Bezug auf den Körper. Eine Bildaufzeichnungseinheit (60) zeichnet einen Teil des Bildes, das durch die Bildaufnahmeeinheit aufgenommen wird, in einem Aufzeichnungsbereich auf, der gemäß der Aufzeichnungsrichtung und der Abweichung bestimmt ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 200774033 [0005]
JP 200774033 A [0005, 0008]
JP 201760078 [0006]
JP 201760078 A [0006, 0009]

Claims

Bildaufnahmevorrichtung, mit: einer Beobachtungsrichtungserfassungseinheit, die dazu angepasst ist, an einem anderen Körperteil als einem Kopf eines Benutzers getragen zu werden und die dazu konfiguriert ist, eine Beobachtungsrichtung eines Benutzers zu erfassen; zumindest einer Bildaufnahmeeinheit, die dazu angepasst ist, an einem Körper des Benutzers getragen zu werden und die dazu konfiguriert ist, ein Bild aufzunehmen; einer Aufzeichnungsrichtungsbestimmungseinheit, die dazu konfiguriert ist, eine Aufzeichnungsrichtung unter Verwendung eines Erfassungsergebnisses der Beobachtungsrichtungserfassungseinheit zu bestimmen; einer Abweichungserfassungseinheit, die dazu konfiguriert ist, eine Abweichung der Bildaufnahmevorrichtung mit Bezug auf den Körper des Benutzers zu erfassen; und einer Bildaufzeichnungseinheit, die dazu konfiguriert ist, einen Teil des Bildes, das durch die Bildaufnahmeeinheit aufgenommen wird, in einem Aufzeichnungsbereich aufzuzeichnen, der gemäß der Aufzeichnungsrichtung, die durch die Aufzeichnungsrichtungsbestimmungseinheit bestimmt ist, und der Abweichung, die durch die Abweichungserfassungseinheit erfasst ist, bestimmt ist.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei die Abweichungserfassungseinheit dazu konfiguriert ist, die Abweichung der Bildaufnahmevorrichtung basierend auf einer Abweichung einer Kehlenposition und einer Kinnposition des Benutzers von einer Referenzposition zu erfassen.
Bildaufnahmevorrichtung gemäß Anspruch 2, wobei die Referenzposition basierend auf Informationen über eine Kalibrierung bestimmt wird.
Bildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin mit einer Beobachtungsrichtungskorrektureinheit, die dazu konfiguriert ist, eine Ausgabe der Beobachtungsrichtungserfassungseinheit zu korrigieren, in einem Fall, in dem die Abweichungserfassungseinheit die Abweichung der Bildaufnahmevorrichtung erfasst.
Bildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin mit einer Aufzeichnungsbildkorrektureinheit, die dazu konfiguriert ist, ein Bild, das durch die Bildaufzeichnungseinheit aufgezeichnet werden wird, zu korrigieren, in einem Fall, in dem die Abweichungserfassungseinheit die Abweichung der Bildaufnahmevorrichtung erfasst.
Bildaufnahmevorrichtung gemäß Anspruch 5, wobei die Aufzeichnungsbildkorrektureinheit dazu konfiguriert ist, eine Rollkorrektur bezüglich des aufzunehmenden Bildes durchzuführen, in einem Fall, in dem die Abweichungserfassungseinheit eine Rollabweichung der Bildaufnahmevorrichtung mit Bezug auf den Körper des Benutzers erfasst.
Bildaufnahmevorrichtung gemäß Anspruch 5 oder 6, wobei die Aufzeichnungskorrektureinheit dazu konfiguriert ist, den Aufzeichnungsbereich des Bildes zu vergrößern, in einem Fall, in dem die Abweichungserfassungseinheit die Abweichung der Bildaufnahmevorrichtung erfasst.
Bildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin mit einem Haltungserfassungselement, das dazu konfiguriert ist, eine Haltung des Benutzers zu erfassen, wobei die Abweichungserfassungseinheit dazu konfiguriert ist, eine Erfassung der Abweichung zu stoppen, in einem Fall, in dem sich eine Ausgabe des Haltungserfassungselements über einem vorbestimmten Schwellenwert hinaus ändert.
Bildaufnahmevorrichtung gemäß Anspruch 8, weiterhin mit: einer Rollwinkelerfassungseinheit, die dazu konfiguriert ist, einen Rollwinkel des Kopfes des Benutzers zu erfassen; und eine Aufzeichnungsbildrollkorrektureinheit, die dazu konfiguriert ist, eine Rollkorrektur eines Aufzeichnungsbildes, das durch die Bildaufzeichnungseinheit aufgezeichnet werden wird, durchzuführen, gemäß einem Erfassungsergebnis der Rollwinkelerfassungseinheit.
Bildaufnahmevorrichtung gemäß Anspruch 9, wobei eine einer ersten Betriebsart, in der die Aufzeichnungsbildrollkorrektureinheit eine Korrektur durchführt, und einer zweiten Betriebsart, in der die Aufzeichnungsbildrollkorrektureinheit die Korrektur nicht durchführt, einstellbar ist.
Bildaufnahmevorrichtung gemäß Anspruch 9 oder 10, wobei die Aufzeichnungsbildrollkorrektureinheit dazu konfiguriert ist, die Rollkorrektur des Aufzeichnungsbildes basierend auf einer vertikalen Richtung, die durch das Haltungserfassungselement erfasst wird, durchzuführen, in einem Fall, in dem eine Winkelabweichung des Rollwinkels des Kopfes des Benutzers, der durch die Rollwinkelerfassungseinheit erfasst wird, von der vertikalen Richtung kleiner als ein erster Schwellenwert ist, und wobei die Aufzeichnungsbildrollkorrektureinheit dazu konfiguriert ist, die Rollkorrektur des Aufzeichnungsbildes basierend auf dem Rollwinkel des Kopfes des Benutzers durchzuführen, in einem Fall, in dem die Winkelabweichung nicht kleiner als der erste Schwellenwert ist.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 9 bis 11, wobei die Rollwinkelerfassungseinheit weiterhin eine Entfernungsmesseinheit umfasst, die dazu konfiguriert ist, eine Entfernung zu messen, und den Rollwinkel des Kopfes des Benutzers basierend auf Entfernungen zu Bereichen oder Punkten des Kopfes des Benutzers, die durch die Entfernungsmesseinheit gemessen werden, berechnet.
Bildaufnahmevorrichtung gemäß Anspruch 12, wobei die Bereiche oder Punkte des Kopfes, die zum Berechnen des Rollwinkels des Kopfes verwendet werden, auf beiden Seiten einer Linie angeordnet sind, die eine Kehlenposition und eine Kinnposition des Benutzers verbindet.
Bildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, wobei die Aufzeichnungsrichtungsbestimmungseinheit dazu konfiguriert ist, die Aufzeichnungsrichtung basierend auf oberen Spitzenpunkten einer Wellenform eines Erfassungsergebnisses in eine Nickrichtung der Beobachtungsrichtung zu bestimmen, in einem Fall, in dem das Erfassungsergebnis bei einer Frequenz, die größer als ein vorbestimmter Schwellenwert ist, vibriert.
Bildaufnahmevorrichtung gemäß Anspruch 14, weiterhin mit einer Kalibrierungseinheit, die dazu konfiguriert ist, eine Kalibrierung der Beobachtungsrichtungserfassungseinheit durchzuführen, wobei die Kalibrierungseinheit den Benutzer auffordert, eine Kalibrierung durchzuführen, während der Mund geschlossen ist.
Bildaufnahmevorrichtung gemäß Anspruch 14 oder 15, wobei der vorbestimmte Schwellenwert der Frequenz ungefähr 1 Hz bis 10 Hz beträgt.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 14 bis 16, weiterhin mit einem Tonerfassungselement, das dazu konfiguriert ist, einen Ton des Benutzers zu erfassen, wobei die Aufzeichnungsrichtungsbestimmungseinheit dazu konfiguriert ist, die Aufzeichnungsrichtung basierend auf oberen Spitzenpunkten der Wellenform des Erfassungsergebnisses in die Nickrichtung zu bestimmen, in einem Fall, in dem das Tonerfassungselement einen Ton erfasst, der größer als ein vorbestimmte Schwellenwert ist.
Bildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, wobei die Abweichungserfassungseinheit dazu konfiguriert ist, die Abweichung der Bildaufnahmevorrichtung unter Verwendung eines Erfassungsergebnisses der Beobachtungsrichtungserfassungseinheit zu erfassen.
Bildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin mit einem Warnelement, das dazu konfiguriert ist, den Benutzer zu warnen, in einem Fall, in dem die Abweichungserfassungseinheit die Abweichung der Bildaufnahmevorrichtung erfasst.
Bildaufnahmevorrichtung gemäß Anspruch 19, wobei das Warnelement dazu konfiguriert ist, eine Warnung durchzuführen, in einem Fall, in dem die Abweichungserfassungseinheit die Abweichung der Bildaufnahmevorrichtung über eine vorbestimmte Periode hinaus kontinuierlich erfasst.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 19 oder 20, wobei das Warnelement dazu konfiguriert ist, eine Warnung durchzuführen, in einem Fall, in dem die Abweichungserfassungseinheit die Abweichung der Bildaufnahmevorrichtung über eine vorbestimmte Anzahl hinaus erfasst.
Kalibrierungssystem, mit: einer Bildaufnahmevorrichtung, mit: einer Bildaufnahmeeinheit, die dazu konfiguriert ist, ein Bild aufzunehmen; einer Gesichtsrichtungserfassungseinheit, die dazu konfiguriert ist, eine Gesichtsrichtung eines Benutzers, der die Bildaufnahmevorrichtung verwendet, zu erfassen; einer Indexerfassungseinheit, die dazu konfiguriert ist, einen Index zur Positionierung einer Anzeigevorrichtung basierend auf dem Bild, das durch die Bildaufnahmeeinheit aufgenommen wird, zu erfassen; und eine Kalibrierungseinheit, die dazu konfiguriert ist, eine Kalibrierung durchzuführen, wobei die Gesichtsrichtung und das Bild verknüpft werden, in einem Fall, in dem der Index, der durch die Indexerfassungseinheit erfasst wird, an einer vorbestimmten Position ist; und wobei die Anzeigevorrichtung aufweist: eine Bildempfangseinheit, die dazu konfiguriert ist, das Bild, das durch die Bildaufnahmeeinheit aufgenommen wird, zu empfangen; eine Zeichnungseinheit, die dazu konfiguriert ist, eine Markierung, die dem Benutzer ein Bewegungsziel der Anzeigevorrichtung zeigt, zu zeichnen, um diese über das Bild, das durch die Bildempfangseinheit empfangen wird, zu überlagern; und einer Einheit zum Anzeigen eines empfangenen Bildes, die dazu konfiguriert ist, das Bild, auf das die Markierung durch die Zeichnungseinheit gezeichnet ist, anzuzeigen.
Kalibrierungssystem gemäß Anspruch 22, wobei die Anzeigevorrichtung weiterhin eine Indexanzeigeeinheit umfasst, die dazu konfiguriert ist, den Index anzuzeigen.
Kalibrierungssystem gemäß Anspruch 23, wobei die Indexanzeigeeinheit dazu konfiguriert ist, eine Form oder Farbe des Index mit einem Ablauf der Zeit zu ändern.
Kalibrierungssystem gemäß einem der Ansprüche 22 bis 24, wobei die Kalibrierungseinheit dazu konfiguriert ist, Korrekturinformationen zu berechnen, die eine Beziehung zwischen einer Koordinate des Index, der durch die Indexerfassungseinheit erfasst wird, und der Gesichtsrichtung, die durch die Gesichtsrichtungserfassungseinheit erfasst wird, zeigt.
Kalibrierungssystem gemäß Anspruch 25, wobei die Bildaufnahmevorrichtung weiterhin eine Korrekturinformationsspeichereinheit umfasst, die dazu konfiguriert ist, die Korrekturinformationen zu speichern.
Kalibrierungssystem gemäß Anspruch 25 oder 26, wobei die Bildaufnahmevorrichtung weiterhin eine Korrekturinformationsübertragungseinheit umfasst, die dazu konfiguriert ist, die Korrekturinformationen zu übertragen, und wobei die Anzeigevorrichtung weiterhin eine Korrekturinformationsempfangseinheit umfasst, die dazu konfiguriert ist, die Korrekturinformationen zu empfangen, und eine Korrekturinformationsspeichereinheit, die dazu konfiguriert ist, die Korrekturinformationen, die durch die Korrekturinformationsempfangseinheit empfangen werden, zu speichern.
Kalibrierungssystem gemäß einem der Ansprüche 22 bis 27, wobei die Bildaufnahmevorrichtung weiterhin eine Koordinatenübertragungseinheit umfasst, die dazu konfiguriert ist, Koordinateninformationen über ein Bewegungsziel der Anzeigevorrichtung zu übertragen, wobei die Anzeigevorrichtung weiterhin eine Koordinatenempfangseinheit umfasst, die dazu konfiguriert ist, die Koordinateninformationen zu empfangen, und wobei die Zeichnungseinheit die Markierung, die das Bewegungsziel der Anzeigevorrichtung zeigt, basierend auf den Koordinateninformationen, die durch die Koordinatenempfangseinheit empfangen werden, zeichnet.
Steuerungsverfahren für eine Bildaufnahmevorrichtung, wobei das Steuerungsverfahren aufweist: einen Beobachtungsrichtungserfassungsschritt des Erfassens einer Beobachtungsrichtung eines Benutzers; einen Bildaufnahmeschritt des Aufnehmens eines Bildes durch eine Bildaufnahmeeinheit, die an einem Körper des Benutzers getragen wird; einem Aufzeichnungsrichtungsbestimmungsschritt des Bestimmens einer Aufzeichnungsrichtung unter Verwendung eines Erfassungsergebnisses des Beobachtungsrichtungsschritts; einen Abweichungserfassungsschritt des Erfassens einer Abweichung der Bildaufnahmevorrichtung mit Bezug auf den Körper des Benutzers; und einen Bildaufzeichnungsschritt des Aufzeichnens eines Teils des Bildes, das durch die Bildaufnahmeeinheit aufgenommen wird, in einem Bereich, der gemäß der Aufzeichnungsrichtung, die in dem Aufzeichnungsrichtungsbestimmungsschritt bestimmt ist, und der Abweichung der Bildaufnahmevorrichtung, die in dem Abweichungserfassungsschritt erfasst ist, bestimmt ist.
Nichtflüchtiges computerlesbares Speichermedium, das ein Steuerungsprogramm speichert, das einen Computer veranlasst, das Steuerungsverfahren gemäß Anspruch 29 auszuführen.