DE102022118817A1

DE102022118817A1 - Bildaufnahmevorrichtung, die als Action-Kamera verwendet wird, Steuerverfahren für diese und Speichermedium, das ein Steuerprogramm für diese speichert

Info

Publication number: DE102022118817A1
Application number: DE102022118817.5A
Authority: DE
Inventors: Tohru Ishibashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-07-29
Filing date: 2022-07-27
Publication date: 2023-02-02
Also published as: US11843862B2; GB2611154A; US20230034538A1; CN115695960A; GB202210451D0

Abstract

Eine Bildaufnahmevorrichtung umfasst die folgenden Einheiten. Eine Beobachtungsrichtungserfassungseinheit (20) wird an einem Körperteil eines Benutzers getragen, der vom Kopf des Benutzers verschieden ist, und erfasst eine Beobachtungsrichtung des Benutzers. Eine Bildaufnahmeeinheit (40) wird am Körper des Benutzers getragen und nimmt ein Bild auf. Eine Bildausgabeeinheit (70) gibt ein Bild in einem Bildaufzeichnungsrahmen, der der Beobachtungsrichtung entspricht, in dem durch die Bildaufnahmeeinheit aufgenommenen Bild aus. Eine Bestimmungseinheit (101) bestimmt den Bildaufzeichnungsrahmen derart, dass ein Teil (134) des Körpers des Benutzers in einem ausgegebenen Bild nicht erscheinen wird.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildaufnahmevorrichtung, die als Action-Kamera verwendet wird, ein Steuerverfahren für diese und ein Speichermedium, das ein Steuerprogramm für diese speichert.
Beschreibung der verwandten Technik
Wenn ein Benutzer ein Bild eines Objekts mit einer Kamera aufnimmt, muss der Benutzer die Kamera dauernd auf das Objekt halten. Demnach kann der Benutzer es schwierig finden, andere Aktionen als eine Bildaufnahmeaktion zu bewerkstelligen, da der Benutzer mit einer Bildaufnahmetätigkeit beschäftigt ist. Ferner kann der Benutzer es schwierig finden, seine Aufmerksamkeit auf seine unmittelbare Umgebung zu richten, da der Benutzer seine Aufmerksamkeit auf die Bildaufnahmetätigkeit richten muss.
Wenn der Benutzer beispielsweise ein Elternteil ist, kann der Benutzer nicht mit einem Kind spielen, während der Benutzer eine Bildaufnahmetätigkeit mit dem Kind als Objekt durchführt, und während eines Spielens mit dem Kind wird die Bildaufnahmetätigkeit unmöglich.
Wenn der Benutzer als weiteres Beispiel eine Bildaufnahmetätigkeit ausführt, während er eine Sportpartie ansieht, kann der Benutzer seine Aufmerksamkeit nicht auf das Spiel richten (beispielsweise jubeln oder sich nicht an Spielinhalte erinnern), und während des Richtens der Aufmerksamkeit auf das Ansehen der Sportpartie wird die Bildaufnahmetätigkeit unmöglich. Wenn ein Benutzer eine Bildaufnahmetätigkeit während einer Gruppenreise ausführt, kann der Benutzer gleichermaßen seine Aufmerksamkeit nicht mit dem gleichen Ausmaß wie andere Gruppenteilnehmer auf die Reiseerfahrung richten, und wenn der Benutzer der Reiseerfahrung Priorität gibt, leidet infolgedessen die Bildaufnahmetätigkeit.
Als Verfahren zum Lösen dieser Probleme wurden Verfahrenen erdacht, bei denen eine Kamera am Kopf eines Benutzers unter Verwendung eines Anbringen-am-Kopf-Zubehörs fixiert wird, um ein Bild in einer Beobachtungsrichtung aufzunehmen. Dadurch wird dem Benutzer die Bildaufnahmetätigkeit ermöglicht, ohne dass er mit der Bildaufnahmetätigkeit beschäftigt ist. Ferner wurde auch ein Verfahren erdacht, das ein Bild mit einer Gesamthimmelssphärenkamera während der Erfahrung weitflächig aufnimmt. Dadurch wird einem Benutzer ermöglicht, seine Aufmerksamkeit während einer Bildaufnahmetätigkeit auf die Erfahrung zu richten. Nach der Erfahrung kann der Benutzer einen gewünschten Bildabschnitt aus einem aufgenommenen Gesamthimmelssphärenbild extrahieren und bearbeiten, um ein Bild der Erfahrung zu erhalten.
Diese Verfahren erfordern allerdings einen mühsamen Vorgang, bei dem der Kopf mit dem Anbringen-am-Kopf-Zubehör 902 ausgerüstet wird, an dem ein Hauptteil einer Action-Kamera 901, wie in 33A gezeigt, fixiert wird. Wenn der Benutzer die Action-Kamera 901 mittels des Anbringen-am-Kopf-Zubehörs 902 am Kopf anbringt, ist außerdem die Erscheinung schlecht, wie es in 33B gezeigt ist, und auch die Frisur des Benutzers ist zerzaust. Außerdem kann sich der Benutzer wegen des Vorhandenseins des Anbringen-am-Kopf-Zubehörs 902 und der Action-Kamera 901 aufgrund ihres Gewichts unwohl fühlen und kann sich Sorgen machen, gegenüber Dritten schlecht auszusehen. Demnach kann der Benutzer es schwierig finden, eine Bildaufnahmetätigkeit auszuführen, da der Benutzer in dem in 33B gezeigten Zustand seine Aufmerksamkeit nicht auf die Erfahrung richten kann, oder weil der Benutzer einen Widerstand gegenüber der in 33B gezeigten Aufmachung fühlt.
Unterdessen erfordert das zweitgenannte Verfahren eine Reihe von Vorgängen, wie eine Bildumwandlung und Extrahierpositionsfestlegung. Beispielsweise ist eine Gesamthimmelssphärenkamera 903 wie in 34 gezeigt bekannt, die mit einem Objektiv 904 und einer Bildaufnahmetaste 905 ausgestattet ist. Das Objektiv 904 ist eines eines Paars von Fish-Eye-Objektiven zum Aufnehmen von Halbhimmelssphärenbildern, die an beiden Seiten eines Gehäuses der Gesamthimmelssphärenkamera 903 vorgesehen sind. Die Gesamthimmelssphärenkamera 903 nimmt ein Gesamthimmelssphärenbild unter Verwendung dieser Fish-Eye-Objektive auf. Das Gesamthimmelssphärenbild wird dann durch Kombinieren der Projektionsbilder der Fish-Eye-Objektive erhalten.
35A, 35B und 35C zeigen Ansichten von Beispielen von Umwandlungsprozessen des durch die Gesamthimmelssphärenkamera 903 aufgenommenen Bildes.
35A zeigt ein Beispiel des Gesamthimmelssphärenbildes, das durch die Gesamthimmelssphärenkamera 903 erhalten wird, und das einen Benutzer 906, ein Kind 907 und einen Baum 908 als Objekte enthält. Da dieses Bild ein Gesamthimmelssphärenbild ist, das durch Kombinieren von Projektionsbildern des Paars von Fish-Eye-Objektiven erhalten wird, ist der Benutzer 906 stark verzerrt. Da sich ein Körperabschnitt des Kindes 907, bei dem es sich um das Objekt handelt, das der Benutzer 906 aufnehmen möchte, in einem peripheren Teil eines Aufnahmebereichs des Objektivs 904 befindet, ist der Körperabschnitt ferner stark in den Richtungen rechts und links verzerrt und gestreckt. Da unterdessen der Baum 908 das sich vor dem Objektiv 904 befindende Objekt ist, wird der Baum 908 ohne große Verzerrung aufgenommen.
Zur Erzeugung eines Bildes eines Gesichtsfeldes, das Leute normalerweise sehen, aus dem in 35A gezeigten Bild, muss ein Teil des Bildes extrahiert werden, eine Ebenenumwandlung durchgeführt und das umgewandelte Bild angezeigt werden.
35B zeigt ein Bild, das sich vor dem Objektiv 904 befindet, das aus dem in 35A gezeigten Bild extrahiert ist. In dem Bild in 35B ist der Baum 908 in der Mitte des Blickfeldes gezeigt, zu dem Leute üblicherweise schauen. Da das Bild in 35B allerdings das Kind 907 nicht enthält, das der Benutzer 906 aufnehmen möchte, muss der Benutzer eine Extrahierposition ändern. In diesem Fall ist es insbesondere erforderlich, die Extrahierposition um 30° von dem Baum 908 in 35A nach links unten zu bewegen. 35C zeigt ein angezeigtes Bild, das durch Extrahieren der bewegten Position und durch Durchführen der Ebenenumwandlung erhalten wird. Zum Erhalten des Bildes in 35C, das der Benutzer aufnehmen möchte, aus dem Bild in 35A muss der Benutzer daher einen erforderlichen Bereich extrahieren und die Ebenenumwandlung durchführen. Obwohl der Benutzer während der Erfahrung (während der Bildaufnahme) seine Aufmerksamkeit auf die Erfahrung richten kann, ist die nachfolgende Arbeitsbelastung für den Benutzer sehr umfangreich.
Die japanische Patentoffenlegung (Kokai) JP 2007-74033 ( JP 2007-74033 A ) offenbart ein Verfahren, das eine zweite Kamera, die einen Benutzer aufnimmt, zusätzlich zu einer ersten Kamera verwendet, die ein Objekt aufnimmt. Dieses Verfahren berechnet eine Bewegungsrichtung und eine Blickrichtung eines Benutzers anhand eines durch die zweite Kamera aufgenommenen Bildes, bestimmt eine Bildaufnahmerichtung der ersten Kamera und nimmt ein Bild eines Objekts auf, das beruhend auf Gesichtswinkel und Zustand des Benutzers geschätzt wird.
Die japanische Patentoffenlegung (Kokai) JP 2017-60078 ( JP 2017-60078 A ) (Entsprechung der US-Patentanmeldung US 2017 0085841 A ) offenbart ein Bildaufzeichnungssystem, das eine Sensoreinrichtung, die am Kopf eines Benutzers angebracht wird, und eine Bildaufnahmevorrichtung enthält, die an dem Körper des Benutzers oder einer Tasche separat angebracht wird. Die Sensoreinrichtung umfasst einen Kreiselsensor oder einen Beschleunigungssensor und erfasst eine Beobachtungsrichtung des Benutzers. Die Bildaufnahmevorrichtung nimmt ein Bild in der durch die Sensoreinrichtung erfassten Beobachtungsrichtung auf.
Da die zweite Kamera der JP 2007-74033 A aber ein Bild des Benutzers aus einer Position aufnimmt, die von dem Benutzer entfernt ist, braucht die zweite Kamera eine starke optische Leistung zum Berechnen der Bewegungsrichtung und Blickrichtung des Benutzers aus dem durch die zweite Kamera aufgenommenen Bild. Da ferner für die Verarbeitung des durch die zweite Kamera aufgenommenen Bildes ein großes arithmetisches Verarbeitungsvermögen erforderlich ist, wird ein Umfang einer Vorrichtung groß. Und selbst wenn die starke optische Leistung und die hohe arithmetische Verarbeitungsfähigkeit erfüllt sind, kann die Beobachtungsrichtung des Benutzers nicht präzise berechnet werden. Da ein Objekt, das der Benutzer aufnehmen möchte, daher nicht mit ausreichender Genauigkeit auf der Grundlage des Gesichtswinkels und Zustands des Benutzers geschätzt werden kann, wird eventuell ein anderes Bild als das aufgenommen, das der Benutzer aufnehmen möchte.
Da die Sensoreinrichtung der JP 2017-60078 A eine Beobachtungsrichtung des Benutzers direkt erfasst, muss der Benutzer diese zur Einrichtung am Kopf anbringen, was die Beschwerlichkeit beim Anbringen einer beliebigen Einrichtung am Kopf wie vorstehend angeführt nicht beheben kann. Wenn die Sensoreinrichtung ferner einen Kreiselsensor oder einen Beschleunigungssensor umfasst, kann beim Erfassen einer relativen Beobachtungsrichtung eine gewisse Genauigkeit erzielt werden. Da aber eine Erfassungsgenauigkeit einer absoluten Beobachtungsrichtung, insbesondere in der horizontalen Rotationsrichtung, nicht erhalten werden kann, gibt es ein Problem bei der praktischen Anwendung.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung stellt eine Bildaufnahmevorrichtung, ein Steuerverfahren für diese und ein Speichermedium bereit, das ein Steuerprogramm für diese speichert, die eine manuelle Änderung einer Bildaufnahmerichtung während einer Bildaufnahmetätigkeit beseitigen können, und die ein Bild sicher erhalten können, das eine Erfahrung aufzeichnet, während es einem Benutzer erlaubt wird, seine Aufmerksamkeit auf die Erfahrung zu richten.
Gemäß einer Ausgestaltung der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung bereitgestellt, die eine Beobachtungsrichtungserfassungseinheit, die angepasst ist, an einem Körperabschnitt eines Benutzers außer am Kopf des Benutzers getragen zu werden, und die zur Erfassung einer Beobachtungsrichtung eines Benutzers eingerichtet ist, eine Bildaufnahmeeinheit, die angepasst ist, am Körper des Benutzers getragen zu werden, und die eingerichtet ist, ein Bild aufzunehmen, eine Bildausgabeeinheit, die zur Ausgabe eines Bildes in einem Bildaufzeichnungsrahmen, der der Beobachtungsrichtung entspricht, in dem durch die Bildaufnahmeeinheit aufgenommenen Bild eingerichtet ist, und eine Bestimmungseinheit umfasst, die zur Bestimmung des Bildaufzeichnungsrahmens eingerichtet ist, so dass ein Abschnitt des Körpers des Benutzers in einem Ausgabebild nicht erscheinen wird.
Gemäß der vorliegenden Erfindung wird eine manuelle Änderung einer Bildaufnahmerichtung während einer Bildaufnahmetätigkeit unnötig, und ein Bild, das eine Erfahrung aufzeichnet, kann sicher erhalten werden, während einem Benutzer erlaubt wird, seine Aufmerksamkeit auf die Erfahrung zu richten.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
Figurenliste

1A zeigt eine Außenansicht eines Kamerahauptteils, der eine Bildaufnahme-/Erfassungseinheit als Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel enthält.
1B zeigt eine Darstellung eines Zustands, in dem ein Benutzer den Kamerahauptteil trägt.
1C zeigt eine Darstellung einer Batterieeinheit in dem Kamerahauptteil von der Rückseite in 1A aus gesehen.
1D zeigt eine Außenansicht einer Anzeigevorrichtung als tragbare Einrichtung gemäß dem ersten Ausführungsbeispiel, die von dem Kamerahauptteil getrennt ist.
2A zeigt eine Vorderansicht der Bildaufnahme-/Erfassungseinheit in dem Kamerahauptteil.
2B zeigt eine Darstellung einer Form eines Bandabschnitts eines Verbindungselements in dem Kamerahauptteil.
2C zeigt eine Rückansicht der Bildaufnahme-/Erfassungseinheit.
2D zeigt eine Draufsicht der Bildaufnahme-/Erfassungseinheit.
2E zeigt eine Darstellung einer Konfiguration einer Gesichtsrichtungserfassungseinheit, die in der Bildaufnahme-/Erfassungseinheit und unter einem Gesichtsrichtungserfassungsfenster in dem Kamerahauptteil angeordnet ist.
2F zeigt eine Darstellung eines Zustands, in dem ein Benutzer den Kamerahauptteil trägt, von der linken Seite des Benutzers aus betrachtet.
3A, 3B und 3C zeigen Ansichten von Einzelheiten der Batterieeinheit.
4 zeigt ein Funktionsblockschaltbild des Kamerahauptteils gemäß dem ersten Ausführungsbeispiel.
5 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils gemäß dem ersten Ausführungsbeispiel.
6 zeigt ein Blockschaltbild einer Hardwarekonfiguration der Anzeigevorrichtung.
7A zeigt ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem ersten Ausführungsbeispiel zeigt, der durch den Kamerahauptteil und die Anzeigevorrichtung ausgeführt wird.
7B zeigt ein Ablaufdiagramm, das eine Unterroutine eines Vorbereitungsprozesses in Schritt S100 in 7A gemäß dem ersten Ausführungsbeispiel darstellt.
7C zeigt ein Ablaufdiagramm einer Unterroutine eines Gesichtsrichtungserfassungsprozesses in Schritt S200 in 7A gemäß dem ersten Ausführungsbeispiel.
7D zeigt ein Ablaufdiagramm einer Unterroutine eines Aufzeichnungs-Richtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A gemäß dem ersten Ausführungsbeispiel.
7E zeigt ein Ablaufdiagramm einer Unterroutine eines AufzeichnungsBereichsentwicklungsprozesses in Schritt S500 in 7A gemäß dem ersten Ausführungsbeispiel.
7F zeigt eine Darstellung zur Beschreibung eines Prozesses in den Schritten S200 bis S600 in 7A in einem Videobildmodus.
8A zeigt eine Ansicht eines Bildes eines Benutzers von dem Gesichtsrichtungserfassungsfenster aus gesehen.
8B zeigt eine Ansicht in einem Fall, wenn Leuchtstoffröhren in einem Raum als Hintergrund in dem Bild des Benutzers von dem Gesichtsrichtungserfassungsfenster aus gesehen erscheinen.
8C zeigt eine Ansicht eines Bildes, das durch Abbilden des Benutzers und von Leuchtstoffröhren als Hintergrund, die in 8B gezeigt sind, auf einen Sensor der Infraroterfassungseinrichtung über das Gesichtsrichtungserfassungsfenster in einem Zustand erhalten wird, in dem Infrarot-LEDs der Infraroterfassungseinrichtung nicht leuchten.
8D zeigt eine Ansicht eines Bildes, das durch Abbilden des Benutzers und von Leuchtstoffröhren als Hintergrund, die in 8B gezeigt sind, auf den Sensor der Infraroterfassungseinrichtung über das Gesichtsrichtungserfassungsfenster in einem Zustand erhalten wird, in dem die Infrarot-LEDs leuchten.
8E zeigt eine Ansicht eines Differenzbildes, das durch Subtrahieren des Bildes in 8C von dem Bild in 8D berechnet wird.
8F zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes in 8E zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten von Infrarotlicht erhalten wird, das zu Gesicht und Hals des Benutzers projiziert wird.
8G zeigt eine Ansicht, die durch Überlagern von Referenzzeichen, die Abschnitte des Körpers des Benutzers bezeichnen, auf 8F erhalten wird, wobei ein Doppelkreis eine Kehlposition zeigt, und ein schwarzer Kreis eine Kinnposition zeigt.
8H zeigt eine Darstellung eines Differenzbildes, das durch das gleiche Verfahren wie das in 8E berechnet wird, wobei das Gesicht des Benutzers nach rechts gerichtet ist.
81 zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes in 8H zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten von Infrarotlicht, das zu Gesicht und Hals des Benutzers projiziert wird, und durch Überlagern des die Kehlposition zeigenden Doppelkreises und des die Kinnposition zeigenden schwarzen Kreises erhalten wird.
8J zeigt eine Darstellung eines Bildes des Benutzers, der sein Gesicht um 33° von dem Gesichtsrichtungserfassungsfenster aus gesehen nach oben richtet.
8K zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen eines Differenzbildes, das durch das gleiche Verfahren wie das in 8E in einem Fall berechnet wird, in dem der Benutzer das Gesicht um 33° nach oben richtet, zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten von Infrarotlicht, das zu Gesicht und Hals des Benutzers projiziert wird, und durch Überlagern des die Kehlposition zeigenden Doppelkreises und des die Kinnposition zeigenden schwarzen Kreises erhalten wird.
9 zeigt ein Zeitablaufdiagramm einer Leuchtzeitspanne der Infrarot-LEDs und zugehörige Signale.
10A bis 10D zeigen Darstellungen zur Beschreibung von Bewegungen des Gesichts des Benutzers in vertikaler Richtung.
11A zeigt eine Darstellung eines Zielblickfeldes, das in einem Superweitwinkelbild eingestellt wird, das durch eine Bildaufnahmeeinheit des Kamerahauptteils in einem Fall aufgenommen wird, in dem der Benutzer der Vorderseite gegenübersteht.
11B zeigt eine Darstellung eines Bildes in dem Zielblickfeld, das aus dem Superweitwinkelbild in 11A extrahiert wird.
11C zeigt eine Darstellung des Zielblickfeldes, das in dem Superweitwinkelbild in einem Fall eingestellt wird, wenn der Benutzer ein A-Objekt beobachtet.
11D zeigt eine Darstellung eines Bildes, das durch Korrigieren einer Verzerrung und einer Unschärfe eines Bildes in dem Zielblickfeld in 11C erhalten wird, das aus dem Superweitwinkelbild extrahiert wird.
11E zeigt eine Darstellung eines Zielblickfeldes, das in dem Superweitwinkelbild in einem Fall eingestellt wird, in dem der Benutzer das A-Objekt bei einem Bildwinkeleinstellwert beobachtet, der kleiner als der in 11C ist.
11F zeigt eine Darstellung eines Bildes, das durch Korrigieren von Verzerrung und Unschärfe eines Bildes in dem Zielblickfeld in 11E erhalten wird, das aus dem Superweitwinkelbild extrahiert wird.
12A zeigt eine Darstellung eines Beispiels des in dem Superweitwinkelbild eingestellten Zielblickfeldes.
12B zeigt eine Darstellung eines Beispiels des in dem Superweitwinkelbild eingestellten Zielblickfeldes in einem Fall, in dem der Bildwinkeleinstellwert mit dem des Zielblickfeldes in 12A identisch ist, und in dem die Beobachtungsrichtung unterschiedlich ist.
12C zeigt eine Darstellung eines weiteren Beispiels des in dem Superweitwinkelbild in einem Fall eingestellten Zielblickfeldes, wenn der Bildwinkeleinstellwert mit dem des Zielblickfeldes in 12A identisch ist, und in dem die Beobachtungsrichtung unterschiedlich ist.
12D zeigt eine Darstellung eines Beispiels des in dem Superweitwinkelbild in einem Fall eingestellten Zielblickfeldes, in dem die Beobachtungsrichtung mit der des Zielblickfeldes in 12C identisch ist, und in dem der Bildwinkeleinstellwert kleiner ist.
12E zeigt eine Darstellung eines Beispiels, das um das in 12A gezeigte Zielblickfeld einen Bildstabilisierungsrand bereitstellt, der einer vorbestimmten Bildstabilisierungsstufe entspricht.
12F zeigt eine Darstellung eines Beispiels, das um das in 12E gezeigte Zielblickfeld einen Bildstabilisierungsrand bereitstellt, der der gleichen Bildstabilisierungsstufe des Bildstabilisierungsrands in 12E entspricht.
12G zeigt eine Darstellung eines Beispiels, das um das in 12D gezeigte Zielblickfeld einen Bildstabilisierungsrand bereitstellt, der der gleichen Bildstabilisierungsstufe des Bildstabilisierungsrands in 12E entspricht.
13 zeigt eine Darstellung eines Menübildschirms zum Einstellen verschiedener Einstellwerte eines Videobildmodus, der auf einer Anzeigeeinheit der Anzeigevorrichtung vor einem Bildaufnahmebetrieb des Kamerahauptteils angezeigt wird.
14 zeigt ein Ablaufdiagramm einer Unterroutine eines Primäraufzeichnungsprozesses in Schritt S600 in 7A.
15 zeigt eine Darstellung einer Datenstruktur einer durch den Primäraufzeichnungsprozess erzeugten Bilddatei.
16 zeigt ein Ablaufdiagramm der Unterroutine eines Übertragungsprozesses zu der Anzeigevorrichtung in Schritt S700 in 7A.
17 zeigt ein Ablaufdiagramm einer Unterroutine eines optischen Korrekturprozesses in Schritt S800 in 7A.
18A bis 18F zeigen Darstellungen zur Beschreibung eines Prozesses eines Anwendens einer Verzerrungskorrektur in Schritt S803 in 17.
19 zeigt ein Ablaufdiagramm einer Unterroutine eines Bildstabilisierungsprozesses in Schritt S900 in 7A.
20A und 20B zeigen Darstellungen von Einzelheiten einer für einen Kalibrierprozess verwendeten Kalibriereinrichtung gemäß einem zweiten Ausführungsbeispiel.
21 zeigt ein Ablaufdiagramm des Kalibrierprozesses gemäß dem zweiten Ausführungsbeispiel, der durch den Kamerahauptteil und die Kalibriereinrichtung ausgeführt wird.
22A zeigt eine Darstellung eines Bildschirms, der auf einer Anzeigeeinheit der Kalibriereinrichtung in Schritt S3103 in 21 während eines Kalibrierbetriebs für eine Frontrichtung des Benutzers angezeigt wird.
22B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung gemäß einer als Anweisungsanzeige in 22A gezeigten Anweisung vor sich hält.
22C zeigt eine schematische Darstellung eines gesamten Superweitwinkelbildes, das durch ein Bildaufnahmeobjektiv in dem Zustand in 22B erfasst wird.
22D zeigt eine schematische Darstellung eines Bildes, das durch Korrigieren von Aberrationen des in 22C gezeigten Superweitwinkelbildes erhalten wird.
22E zeigt eine schematische Darstellung eines Gesichtsrichtungsbildes, das durch eine Gesichtsrichtungserfassungseinheit in Schritt S3108 in 21 während des Kalibrierbetriebs für die Frontrichtung des Benutzers erhalten wird.
22F zeigt eine schematische Darstellung eines in Schritt S3107 in 21 angezeigten In-Kamera-Bildes.
23A zeigt eine Darstellung eines Bildschirms, der auf der Anzeigeeinheit der Kalibriereinrichtung in Schritt S3103 in 21 während des Kalibrierbetriebs in einer rechts oben Richtung des Benutzers angezeigt wird.
23B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung gemäß einer als Anweisungsanzeige in 23A gezeigten Anweisung nach rechts oben hält.
23C zeigt eine schematische Darstellung des gesamten Superweitwinkelbildes, das durch das Bildaufnahmeobjektiv in dem Zustand in 23B erfasst wird.
23D zeigt eine schematische Darstellung eines Bildes, das durch Korrigieren von Aberrationen des in 23C gezeigten Superweitwinkelbildes erhalten wird.
23E zeigt eine schematische Darstellung eines Gesichtsrichtungsbildes, das durch die Gesichtsrichtungserfassungseinheit in Schritt S3108 in 21 während des Kalibrierbetriebs für die rechts oben Richtung des Benutzers erhalten wird.
24 zeigt eine Darstellung eines dritten Ausführungsbeispiels und zeigt ein Rahmenbild, in dem ein Kiefer des Benutzers erscheint, das durch eine Bildaufnahmeeinheit eines Kamerahauptkörpers aufgenommen wird.
25 zeigt ein Zeitablaufdiagramm eines Falls, in dem ein V-Signal für eine Gesichtsrichtungserfassung und ein V-Signal für einen Festkörperbildsensor asynchron sind.
26A zeigt eine Darstellung zur Beschreibung des dritten Ausführungsbeispiels und zeigt ein Beispiel eines Rahmenbildes, das einen Belichtungsbereich während LED-Erleuchten und einen Belichtungsbereich während LED-Erlöschen aufweist, und das durch die Bildaufnahmeeinheit des Kamerahauptkörpers aufgenommen wird.
26B zeigt eine Darstellung eines weiteren Beispiels eines Rahmenbildes zur Beschreibung des dritten Ausführungsbeispiels, das den Belichtungsbereich während LED-Erleuchten und den Belichtungsbereich während LED-Erlöschen aufweist, und das durch die Bildaufnahmeeinheit des Kamerahauptkörpers aufgenommen wird.
27A zeigt ein Ablaufdiagramm eines Rahmenkorrekturprozesses für eine Bildaufzeichnung gemäß dem dritten Ausführungsbeispiel.
27B zeigt ein Ablaufdiagramm eines Bestimmungsprozesses eines Erscheinens eines Benutzers in Schritt S8005 in 27A.
28A zeigt eine Darstellung zur Beschreibung des dritten Ausführungsbeispiels und zeigt ein Beispiel eines Differenzbildes zwischen einem Gesamt-Erleuchten-Bild und einem Gesamt-Erlöschen-Bild in einen Fall, in dem der Benutzer nach vorne schaut.
28B zeigt eine Darstellung eines Beispiels eines aus dem Differenzbild in 28A umgewandelten Binärbildes.
28C zeigt eine Darstellung zur Beschreibung des dritten Ausführungsbeispiels und zeigt ein Beispiel eines Logiksummenbildes von fünf Binärbildern, die aus fünf Differenzbildern zwischen Gesamt-Erleuchten-Bildern und Gesamt-Erlöschen-Bildern umgewandelt werden, die jeweils erhalten werden, wenn der Benutzer in die fünf Richtungen schaut.
29 zeigt eine schematische Darstellung zur Beschreibung eines Zielblickfeldes und einer Bildhöhe bei einem vierten Ausführungsbeispiel.
30 zeigt eine schematische Darstellung zur Beschreibung eines Winkels einer Beobachtungsrichtung und eines Koordinatensystems bei dem vierten Ausführungsbeispiel.
31 zeigt eine schematische Darstellung zur Beschreibung des vierten Ausführungsbeispiels.
32 zeigt eine schematische Darstellung zur Beschreibung eines fünften Ausführungsbeispiels.
33A und 33B zeigen Darstellungen eines Konfigurationsbeispiels einer Kamera, die unter Verwendung eines herkömmlichen Anbringen-am-Kopf-Zubehörs fixiert ist.
34 zeigt eine Darstellung eines Konfigurationsbeispiels einer herkömmlichen Gesamthimmelssphärenkamera.
35A, 35B und 35C zeigen Darstellungen von Beispielen von Umwandlungsprozessen des Bildes, das durch die Gesamthimmelssphärenkamera in 34 aufgenommen wird.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachstehend werden erfindungsgemäße Ausführungsbeispiele unter Bezugnahme auf die Zeichnungen näher beschrieben.
1A bis 1D zeigen Darstellungen zum Beschreiben eines Kamerasystems aus einem Kamerahauptteil 1 und einer Anzeigevorrichtung 800, die von dem Kamerahauptteil 1 getrennt ist. Der Kamerahauptteil 1 enthält eine Bildaufnahme-/Erfassungseinheit 10 als tragbare Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel. Obwohl der Kamerahauptteil 1 und die Anzeigevorrichtung 800 bei diesem Ausführungsbeispiel getrennte Einrichtungen sind, können sie integriert sein.
1A zeigt eine Außenansicht des Kamerahauptteils 1. Der Kamerahauptteil 1 ist mit der Bildaufnahme-/Erfassungseinheit 10, einer Batterieeinheit (Energiequelleneinheit) 90, einem rechten Verbindungselement 80R und einem linken Verbindungselement 80L wie in 1A gezeigt versehen. Das rechte Verbindungselement 80R verbindet die Bildaufnahme-/Erfassungseinheit 10 und die Batterieeinheit 90 auf der rechten Seite eines Benutzerkörpers (linke Seite in 1A). Das linke Verbindungselement 80L verbindet die Bildaufnahme-/Erfassungseinheit 10 und die Batterieeinheit 90 auf der linken Seite des Benutzerkörpers (rechte Seite in 1A).
Die Bildaufnahme-/Erfassungseinheit 10 ist mit einem Gesichtsrichtungserfassungsfenster 13, einem Startschalter 14, einem Stoppschalter 15, einem Bildaufnahmeobjektiv 16, einer LED 17 und Mikrofonen 19L und 19R versehen.
Das Gesichtsrichtungserfassungsfenster 13 ermöglicht eine Übertragung von Infrarotlicht, das von Infrarot-LEDs 22 (5: Infrarotstrahlungseinheit) projiziert wird, die in der Bildaufnahme-/Erfassungseinheit 10 zum Erfassen von Positionen von Gesichtsabschnitten des Benutzers eingebaut ist. Das Gesichtsrichtungserfassungsfenster 13 erlaubt auch eine Übertragung von reflektiertem Infrarotlicht von dem Gesicht.
Der Startschalter 14 wird zum Starten eines Bildaufnahmebetriebs verwendet. Der Stoppschalter 15 wird zum Stoppen des Bildaufnahmebetriebs verwendet. Das Bildaufnahmeobjektiv 16 führt aufzunehmendes Licht zu einem Festkörperbildsensor 42 (5, einem Bildsensor) in der Bildaufnahme-/Erfassungseinheit 10. Die LED 17 gibt einen Zustand an, dass der Bildaufnahmebetrieb läuft. Zusätzlich oder alternativ kann die LED 17 als Warnlicht arbeiten.
Die Mikrofone 19R und 19L nehmen Umgebungsgeräusche auf. Das Mikrofon 19L nimmt Geräusche der linken Seite der Benutzerumgebung (rechten Seite in 1A) auf. Das Mikrofon 19R nimmt Geräusche der rechten Seite der Benutzerumgebung (linken Seite in 1A) auf.
1B zeigt eine Darstellung eines Zustands, in dem der Benutzer den Kamerahauptteil 1 trägt.
Wenn der Benutzer den Kamerahauptteil 1 derart trägt, dass die Batterieeinheit 90 der Rückseite des Benutzers am nächsten ist, und die Bildaufnahme-/Erfassungseinheit 10 der Vorderseite des Benutzerkörpers am nächsten ist, wird die Bildaufnahme-/Erfassungseinheit 10 durch die linken und rechten Verbindungselemente 80L und 80R, die jeweils mit den linken und rechten Enden der Bildaufnahme-/Erfassungseinheit 10 verbunden sind, in einer Richtung zur Brust getragen, während sie mit Energie versorgt wird. So ist die Bildaufnahme-/Erfassungseinheit 10 vor den Schlüsselbeinen des Benutzers positioniert. Dabei befindet sich das Gesichtsrichtungserfassungsfenster 13 unter dem Kiefer des Benutzers. Eine Infrarotkondensorlinse 26, die in der später beschriebenen 2E gezeigt ist, ist in dem Gesichtsrichtungserfassungsfenster 13 angeordnet.
Eine optische Achse (optische Erfassungsachse) der Infrarotkondensorlinse 26 ist zu dem Benutzergesicht gerichtet und ist in eine andere Richtung als eine optische Achse (optische Bildaufnahmeachse) des Bildaufnahmeobjektivs 16 gerichtet. Eine Gesichtsrichtungserfassungseinheit 20 (siehe 5), die die Infrarotkondensorlinse 26 enthält, erfasst eine Benutzerbeobachtungsrichtung auf der Grundlage der Positionen von Gesichtsabschnitten. Dies ermöglicht es einer nachstehend beschriebenen Bildaufnahmeeinheit 40, ein Bild eines Objekts in der Beobachtungsrichtung aufzunehmen.
Eine Anpassung der Einstellposition aufgrund individueller Unterschiede von Körperformen und Unterschieden in der Kleidung wird später beschrieben.
Da zudem die Bildaufnahme-/Erfassungseinheit 10 an der Vorderseite des Körpers angeordnet ist, und die Batterieeinheit 90 auf diese Weise hinter dem Gesicht angeordnet ist, ist das Gewicht des Kamerahauptteils 1 verteilt, was eine Benutzerermüdung reduziert und eine Verschiebung des Kamerahauptteils 1 aufgrund von Kräften am Kamerahauptteil 1 reduziert, die durch eine Bewegung des Benutzers verursacht wird.
Obwohl das Beispiel beschrieben wird, bei dem der Benutzer den Kamerahauptteil 1 derart trägt, dass sich die Bildaufnahme-/Erfassungseinheit 10 vor den Schlüsselbeinen des Benutzers befindet, ist dieses Beispiel bei diesem Ausführungsbeispiel nicht zwingend. Das heißt, der Benutzer kann den Kamerahauptteil 1 an einer beliebigen Position des Benutzerkörperabschnitts tragen, der vom Kopf verschieden ist, solange der Kamerahauptteil 1 die Benutzerbeobachtungsrichtung erfassen kann und die Bildaufnahmeeinheit 40 ein Bild eines Objekts in der Beobachtungsrichtung aufnehmen kann.
1C zeigt eine Darstellung der Batterieeinheit 90 von der Rückseite in 1A aus gesehen. Die Batterieeinheit 90 ist mit einem Ladekabeleinführschlitz 91, Anpassungsknöpfen 92L und 92R und einem Wirbelsäulenaustrittsausschnitt 93 wie in 1C gezeigt versehen.
Mit dem Ladekabeleinführschlitz 91 kann ein (nicht gezeigtes) Ladekabel verbunden werden. Eine externe Leistungsquelle lädt interne Batterien 94L und 94R (siehe 3A), und führt der Bildaufnahme-/Erfassungseinheit 10 über das Ladekabel elektrische Leistung zu.
Anpassungsknöpfe 92L und 92R werden zum Anpassen der jeweiligen Längen der Bandteile 82L und 82R der linken und rechten Verbindungselemente 80L und 80R verwendet. Der Anpassungsknopf 92L wird zum Anpassen des linken Bandteils 82L verwendet, und der Anpassungsknopf 92R wird zum Anpassen des rechten Bandteils 82R verwendet. Obwohl die Längen der Bandteile 82L und 82R bei dem Ausführungsbeispiel mit den Anpassungsknöpfen 92L und 92R unabhängig angepasst werden, können die Längen der Bandteile 82L und 82R mit einem Knopf gleichzeitig angepasst werden.
Der Wirbelsäulenaustrittsausschnitt 93 ist zum Formen der Batterieeinheit 90 gebildet, so dass die Batterieeinheit 90 die Wirbelsäule nicht berührt. Da der Wirbelsäulenaustrittsausschnitt 93 einen konvexen Teil der Wirbelsäule des Körpers meidet, wird ein Missbehagen des Tragens reduziert und eine laterale Verschiebung der Batterieeinheit 90 verhindert.
1D zeigt eine Außenansicht der Anzeigevorrichtung 800 als tragbare Einrichtung gemäß dem ersten Ausführungsbeispiel, die von dem Kamerahauptteil 1 getrennt ist. Wie in 1D gezeigt, ist die Anzeigevorrichtung 800 mit einer A-Taste 802, einer Anzeigeeinheit 803, einer B-Taste 804, einer In-Kamera 805, einem Gesichtssensor 806, einem Winkelgeschwindigkeitssensor 807 und einem Beschleunigungssensor 808 versehen. Die Anzeigevorrichtung 800 ist ferner mit einer (in 1D nicht gezeigten) Drahtlos-LAN-Einheit versehen, die eine Hochgeschwindigkeitsverbindung mit dem Kamerahauptteil 1 ermöglicht.
Die A-Taste 802 weist eine Funktion einer Ein-/Aus-Taste der Anzeigevorrichtung 800 auf. Die Anzeigevorrichtung 800 empfängt eine Ein-/Aus-Bedienung durch ein langes Drücken der A-Taste 802 und empfängt eine Festlegung einer anderen Prozesszeitsteuerung durch ein kurzes Drücken der A-Taste 802.
Die Anzeigeeinheit 803 wird zum Überprüfen eines durch den Kamerahauptteil 1 aufgenommenen Bildes verwendet und kann einen Menübildschirm anzeigen, der für eine Einstellung erforderlich ist. Bei diesem Ausführungsbeispiel empfängt ein transparenter Berührungssensor, der auf der Oberfläche der Anzeigeeinheit 803 vorgesehen ist, eine Berührbedienung auf einem Bildschirm (beispielsweise einem Menübildschirm), der gerade angezeigt wird.
Die B-Taste 804 arbeitet als Kalibriertaste 854, die für einen nachstehend beschriebenen Kalibrierprozess verwendet wird. Die In-Kamera 805 kann ein Bild einer Person aufnehmen, die die Anzeigevorrichtung 800 betrachtet.
Der Gesichtssensor 806 erfasst eine Gesichtsform und eine Beobachtungsrichtung der Person, die die Anzeigevorrichtung 800 betrachtet. Eine konkrete Konfiguration des Gesichtssensors 806 unterliegt keiner Einschränkung. Beispielsweise können ein struktureller optischer Sensor, ein ToF-(Time of Flight, Laufzeit-)Sensor und ein Millimeterwellenradar angewendet werden.
Da der Winkelgeschwindigkeitssensor 807 in der Anzeigevorrichtung 800 eingebaut ist, ist er im Sinn einer perspektivischen Ansicht als gestrichelte Linie gezeigt. Da die Anzeigevorrichtung 800 dieses Ausführungsbeispiels auch mit einer Funktion der nachstehend beschriebenen Kalibriereinrichtung versehen ist, ist ein Dreiachsenkreiselsensor angebracht, der eine Erfassung in X-, Y- und Z-Richtung ermöglicht. Der Beschleunigungssensor 808 erfasst eine Stellung der Anzeigevorrichtung 800.
Es wird angemerkt, dass gemäß diesem Ausführungsbeispiel als Anzeigevorrichtung 800 ein übliches Smartphone angewendet wird. Das Kamerasystem des Ausführungsbeispiels wird durch Abstimmen von Firmware in dem Smartphone an Firmware des Kamerahauptteils 1 erreicht. Unterdessen kann das Kamerasystem des Ausführungsbeispiels durch Abstimmen der Firmware des Kamerahauptteils 1 an eine Anwendung und ein OS des Smartphones als Anzeigevorrichtung 800 erreicht werden.
2A bis 2F zeigen Darstellungen, die die Bildaufnahme-/Erfassungseinheit 10 detailliert beschreiben. In den Darstellungen ab 2A ist eine Komponente, die die gleiche Funktion eines Teils aufweist, der bereits beschrieben wurde, mit dem gleichen Bezugszeichen angegeben, und auf ihre Beschreibung wird in dieser Spezifikation verzichtet.
2A zeigt eine Vorderansicht der Bildaufnahme-/Erfassungseinheit 10. Das rechte Verbindungselement 80R weist den Bandteil 82R und ein Winkelhalteelement 81R aus hartem Material auf, das einen Winkel bezüglich der Bildaufnahme-/Erfassungseinheit 10 hält. Das linke Verbindungselement 80L weist den Bandteil 82L und gleichermaßen ein Winkelhalteelement 81L auf.
2B zeigt eine Darstellung der Formen der Bandteile 82L und 82R der linken und rechten Verbindungselemente 80L und 80R. In 2B sind die Winkelhalteelemente 81L und 81R als transparente Elemente gezeigt, um die Formen der Bandteile 82L und 82R zu zeigen. Der Bandteil 82L ist mit einer linken Verbindungsfläche 83L und einem elektrischen Kabel 84 versehen, die an der linken Körperseite des Benutzers (rechten Seite in 2B) angeordnet sind, wenn der Benutzer den Kamerahauptteil 1 trägt. Der Bandteil 82R ist mit einer rechten Verbindungsfläche 83R versehen, die an der rechten Körperseite des Benutzers (linken Seite in 2B) angeordnet ist, wenn der Benutzer den Kamerahauptteil 1 trägt.
Die linke Verbindungsfläche 83L ist mit dem Winkelhalteelement 81L verbunden, und ihr Querschnitt ist eine Ellipse, aber kein perfekter Kreis. Die rechte Verbindungsfläche 83R weist auch eine ähnliche elliptische Form auf. Die rechte Verbindungsfläche 83R und die linke Verbindungsfläche 83L sind in umgekehrter V-Form disymmetrisch angeordnet. Das heißt, die Entfernung zwischen der rechten Verbindungsfläche 83R und der linken Verbindungsfläche 83L wird von der unteren Seite in 2B zu der oberen Seite kürzer. Da die Längsachsenrichtungen der linken und rechten Verbindungsflächen 83L und 83R mit dem Benutzerkörper zusammenpassen, wenn der Benutzer den Kamerahauptteil 1 umhängt, berühren die Bandteile 82L und 82R so den Benutzerkörper komfortabel, und eine Bewegung der Bildaufnahme-/Erfassungseinheit 10 in der Links-Rechts-Richtung und der Vorne-Hinten-Richtung kann verhindert werden.
Das elektrische Kabel (ein Energieversorgungselement) 84 wird in dem Bandteil 82L geführt und verbindet die Batterieeinheit 90 und die Bildaufnahme-/Erfassungseinheit 10 elektrisch. Das elektrische Kabel 84 verbindet die Energiequelle der Batterieeinheit 90 mit der Bildaufnahme-/Erfassungseinheit 10 oder tauscht ein elektrisches Signal mit einer externen Vorrichtung aus.
2C zeigt eine Rückansicht der Bildaufnahme-/Erfassungseinheit 10. 2C zeigt die Seite, die mit dem Benutzerkörper in Kontakt ist. Das heißt, 2C ist eine Ansicht betrachtet von der gegenüberliegenden Seite von 2A. Demnach ist die Positionsbeziehung zwischen dem rechten Verbindungselement 80R und dem linken Verbindungselement 80L entgegengesetzt zu 2A.
Die Bildaufnahme-/Erfassungseinheit 10 ist mit einem Ein-/Aus-Schalter 11, einem Bildaufnahmemodusschalter 12 und Brustkontaktkissen 18a und 18b an der Rückseite versehen. Der Ein-/Aus-Schalter 11 wird zum Ein-/Ausschalten der Leistung des Kamerahauptteils 1 verwendet. Obwohl der Ein-/Aus-Schalter 11 dieses Ausführungsbeispiels ein Schieber ist, ist er nicht darauf beschränkt. Der Ein-/Aus-Schalter 11 kann beispielsweise ein Drückschalter sein, oder kann ein Schalter sein, der integral mit einer (nicht gezeigten) Gleitabdeckung des Bildaufnahmeobjektivs 16 gebildet ist.
Der Bildaufnahmemodusschalter (ein Änderungselement) 12 wird zum Ändern eines Bildaufnahmemodus verwendet, das heißt, wird zum Ändern eines Modus in Verbindung mit einem Bildaufnahmebetrieb verwendet. Bei diesem Ausführungsbeispiel kann der Bildaufnahmemodusschalter 12 den Bildaufnahmemodus aus einem Stehbildmodus, einem Videobildmodus und einem nachstehend angeführten Voreinstellmodus auswählen, der unter Verwendung der Anzeigevorrichtung 800 eingestellt wird. Bei diesem Ausführungsbeispiel ist der Bildaufnahmemodusschalter 12 ein Schiebehebelschalter, der einen der folgenden in 2C gezeigten Modi auswählen kann: „Photo“, „Normal“ und „Pre“. Durch Schalten in „Photo“ wechselt der Bildaufnahmemodus in den Stehbildmodus, wechselt in den Videobildmodus durch Schalten in „Normal“, und wechselt in den Voreinstellmodus durch Schalten in „Pre“. Es wird angemerkt, dass die Konfiguration des Bildaufnahmemodusschalters 12 nicht auf das Ausführungsbeispiel beschränkt ist, solange der Schalter den Bildaufnahmemodus ändern kann. Der Bildaufnahmemodusschalter 12 kann beispielsweise aus drei Tasten „Photo“, „Normal“ und „Pre“ bestehen.
Die Brustkontaktkissen (Fixierelemente) 18a und 18b berühren den Körper des Benutzers, wenn die Bildaufnahme-/Erfassungseinheit 10 mit Energie versorgt wird. Wie in 2A gezeigt, ist die Bildaufnahme-/Erfassungseinheit 10 derart gebildet, dass eine laterale (links-rechts) Gesamtlänge größer als eine vertikale (oben-unten) Gesamtlänge beim Tragen des Kamerahauptteils 1 wird. Die Brustkontaktkissen 18a und 18b sind jeweils in der Nähe des rechten und linken Endes der Bildaufnahme-/Erfassungseinheit 10 angeordnet. Diese Anordnung reduziert eine Rotationsunschärfe in der Links-Rechts-Richtung während des Bildaufnahmebetriebs des Kamerahauptteils 1. Ferner verhindern die Brustkontaktkissen 18a und 18b, dass der Ein-/Aus-Schalter 11 und der Bildaufnahmemodusschalter 12 den Benutzerkörper berühren. Die Brustkontaktkissen 18a und 18b verhindern ferner eine Wärmeübertragung zu dem Benutzerkörper selbst dann, wenn sich die Bildaufnahme-/Erfassungseinheit 10 aufgrund eines langdauernden Bildaufnahmebetriebs erwärmt, und werden für die Anpassung des Winkels der Bildaufnahme-/Erfassungseinheit 10 verwendet.
2D zeigt eine Draufsicht der Bildaufnahme-/Erfassungseinheit 10. Wie in 2D gezeigt, ist das Gesichtsrichtungserfassungsfenster 13 in dem Mittenabschnitt der Oberfläche der Bildaufnahme-/Erfassungseinheit 10 vorgesehen, und die Brustkontaktkissen 18a und 18b ragen über die Bildaufnahme-/Erfassungseinheit 10 hinaus.
2E zeigt eine Darstellung einer Konfiguration der Gesichtsrichtungserfassungseinheit 20, die in der Bildaufnahme-/Erfassungseinheit 10 und unter dem Gesichtsrichtungserfassungsfenster 13 angeordnet ist. Die Gesichtsrichtungserfassungseinheit 20 ist mit den Infrarot-LEDs 22 und der Infrarotkondensorlinse 26 versehen. Die Gesichtsrichtungserfassungseinheit 20 ist auch mit einer Infrarot-LED-Beleuchtungsschaltung 21 und einer Infraroterfassungseinrichtung 27 versehen, die in der nachstehend beschriebenen 5 gezeigt sind.
Die Infrarot-LEDs 22 projizieren Infrarotlicht 23 (5) zu dem Benutzer. Die Infrarotkondensorlinse 26 bildet reflektiertes Licht 25 (5) von dem Benutzer beim Projizieren des Infrarotlichts 23 von den Infrarot-LEDs 22 auf einen (nicht gezeigten) Sensor der Infraroterfassungseinrichtung 27 ab.
2F zeigt eine Darstellung eines Zustands, wenn ein Benutzer, gesehen von der linken Seite des Benutzers aus, den Kamerahauptteil 1 trägt.
Ein Winkelanpassungsknopf 85L ist in dem Winkelhalteelement 81L vorgesehen und wird beim Anpassen des Winkels der Bildaufnahme-/Erfassungseinheit 10 verwendet. Ein (in 2F nicht gezeigter) Winkelanpassungsknopf ist in dem gegenüberliegenden Winkelhalteelement 81R an der symmetrischen Position des Winkelanpassungsknopfes 85L vorgesehen. Obwohl die Winkelanpassungsknöpfe in 2A, 2C und 2D eigentlich sichtbar sind, sind sie zur Vereinfachung der Beschreibung weggelassen.
Wenn das Winkelhalteelement 81L in 2F nach oben oder unten bewegt wird, während der Winkelanpassungsknopf 85L gedrückt wird, kann der Benutzer den Winkel zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Winkelhalteelement 81L ändern. Die rechte Seite ist die gleiche wie die linke Seite. Außerdem können Vorstehwinkel der Brustkontaktkissen 18a und 18b geändert werden. Die Funktionen dieser zwei Arten von Winkeländerungselementen (der Winkelanpassungsknöpfe und Brustkontaktkissen) können die Bildaufnahme-/Erfassungseinheit 10 anpassen, so dass die optische Achse des Bildaufnahmeobjektivs 16 ungeachtet individueller Unterschiede einer Brustpositionsform horizontal gehalten wird.
3A, 3B und 3C zeigen Darstellungen von Einzelheiten der Batterieeinheit 90. 3A ist eine teilweise transparente Rückansicht der Batterieeinheit 90.
Wie in 3A gezeigt, sind die linke Batterie 94L und die rechte Batterie 94R in der Batterieeinheit 90 symmetrisch befestigt, um einen Ausgleich hinsichtlich des Gewichts zu halten. Da die linke und rechte Batterie 94L und 94R symmetrisch zu dem Mittenabschnitt der Batterieeinheit 90 angeordnet sind, wird so der Gewichtsausgleich in der Links-Rechts-Richtung erzielt und die Positionsverschiebung des Kamerahauptteils 1 verhindert. Es wird angemerkt, dass in der Batterieeinheit 90 eine einzelne Batterie befestigt sein kann.
3B zeigt eine Draufsicht der Batterieeinheit 90. Die Batterien 94L und 94R sind auch in 3B als transparente Elemente gezeigt. Da die Batterien 94L und 94R wie in 3B gezeigt symmetrisch an beiden Seiten des Wirbelsäulenaustrittsausschnitts 93 angeordnet sind, kann der Benutzer die Batterieeinheit 90, die relativ schwer ist, ohne Belastung tragen.
3C zeigt eine Rückansicht der Batterieeinheit 90. 3C ist die Ansicht von der Seite gesehen, die den Benutzerkörper berührt, das heißt, die Ansicht von der entgegengesetzten Seite von 3A aus gesehen. Wie in 3C gezeigt, ist der Wirbelsäulenaustrittsausschnitt 93 entlang der Wirbelsäule des Benutzers in der Mitte vorgesehen.
4 zeigt ein Funktionsblockschaltbild des Kamerahauptteils 1. Nachstehend wird der durch den Kamerahauptteil 1 ausgeführte Prozess unter Verwendung von 4 grob beschrieben. Einzelheiten werden später beschrieben.
Wie in 4 gezeigt, ist der Kamerahauptteil 1 mit der Gesichtsrichtungserfassungseinheit 20, einer Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30, der Bildaufnahmeeinheit 40, einer Bildextraktions-/Entwicklungseinheit 50, einer Primäraufzeichnungseinheit 60, einer Übertragungseinheit 70 und einer zweiten Steuereinrichtung 111 versehen.
Diese Funktionsblöcke werden durch eine Steuerung einer Gesamtsteuerungs-CPU 101 (5) erzielt, die den gesamten Kamerahauptteil 1 steuert.
Die Gesichtsrichtungserfassungseinheit 20 (eine Beobachtungsrichtungserfassungseinheit) ist ein Funktionsblock, der durch die vorstehend beschriebenen Infrarot-LEDs 22, die Infraroterfassungseinrichtung 27, etc. ausgeführt wird. Die Gesichtsrichtungserfassungseinheit 20 schätzt eine Beobachtungsrichtung durch Erfassen der Gesichtsrichtung und gibt die Beobachtungsrichtung zu der Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 weiter.
Die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit (eine Aufzeichnungsrichtungsbestimmungseinheit) 30 bestimmt Informationen über eine Position und einen Bereich, die aus einem durch die Bildaufnahmeeinheit 40 aufgenommenen Bild extrahiert werden, indem verschiedene Berechnungen beruhend auf der Beobachtungsrichtung durchgeführt werden, die durch die Gesichtsrichtungserfassungseinheit 20 geschätzt wird. Und dann werden die Informationen zu der Bildextraktions-/Entwicklungseinheit 50 weitergegeben. Die Bildaufnahmeeinheit 40 erzeugt ein Weitwinkelbild des Objekts und gibt das Bild zu der Bildextraktions-/Entwicklungseinheit 50 weiter.
Die Bildextraktions-/Entwicklungseinheit (eine Entwicklungseinheit) 50 extrahiert ein Bild, das der Benutzer anschaut, aus dem von der Bildaufnahmeeinheit 40 weitergegebenen Bild, indem sie die von der Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 weitergegebenen Informationen verwendet. Dann entwickelt die Bildextraktions-/Entwicklungseinheit 50 das extrahierte Bild und gibt das entwickelte Bild zu der Primäraufzeichnungseinheit 60 weiter.
Die Primäraufzeichnungseinheit 60 ist ein durch einen Primärspeicher 103 (5) etc. gebildeter Funktionsblock, zeichnet Bildinformationen auf und gibt die Bildinformationen mit einer erforderlichen Zeitvorgabe zu der Übertragungseinheit 70 weiter.
Die Übertragungseinheit 70 ist mit vorbestimmten Kommunikationspartnern, wie der Anzeigevorrichtung (1D) 800, einer Kalibriereinrichtung 850 und einer vereinfachten Anzeigeeinrichtung 900, drahtlos verbunden und kommuniziert mit diesen Partnern. Obwohl die Anzeigevorrichtung 800 und die Kalibriereinrichtung 850 bei diesem Ausführungsbeispiel drahtlos verbunden sind, können sie drahtgebunden verbunden sein.
Die Anzeigevorrichtung 800 ist über ein Hochgeschwindigkeits-Drahtlos-LAN (das nachstehend als „Hochgeschwindigkeits-Drahtlos-Netzwerk“ bezeichnet wird) mit der Übertragungseinheit 70 verbindbar. Bei diesem Ausführungsbeispiel wendet das Hochgeschwindigkeits-Drahtlos-Netzwerk eine Drahtloskommunikation an, die dem IEEE802.11ax (WiFi 6)-Standard entspricht. Allerdings kann eine Drahtloskommunikation angewendet werden, die anderen Standards entspricht, wie dem Wi-Fi 4-Standard und dem WiFi 5-Standard. Die Anzeigevorrichtung 800 kann ferner eine für den Kamerahauptteil 1 entwickelte dedizierte Vorrichtung sein, oder kann ein übliches Smartphone, ein Tablet-Gerät, usw. sein.
Die Anzeigevorrichtung 800 kann mit der Übertragungseinheit 70 außerdem über ein Geringleistungs-Drahtlos-Netzwerk verbunden sein, kann sowohl über das Hochgeschwindigkeits-Drahtlos-Netzwerk als auch das Geringleistungs-Drahtlos-Netzwerk verbunden sein, oder kann unter Umschalten der Netzwerke verbunden sein. Bei diesem Ausführungsbeispiel werden umfangreiche Daten, wie eine Bilddatei eines nachstehend beschriebenen Videobildes, über das Hochgeschwindigkeits-Drahtlos-Netzwerk übertragen, und Daten mit kleinem Umfang und Daten, die keine schnelle Übertragung erfordern, werden über das Geringleistugns-Drahtlos-Netzwerk übertragen. Obwohl bei diesem Ausführungsbeispiel Bluetooth für das Geringleistungs-Drahtlos-Netzwerk verwendet wird, können andere Nah-Drahtlos-Kommunikationen angewendet werden, wie NFC (Near Field Communication).
Die Kalibriereinrichtung 850 führt eine Anfangseinstellung und individuelle Einstellung des Kamerahauptteils 1 durch und ist über das Hochgeschwindigkeits-Drahtlos-Netzwerk auf die gleiche Weise wie die Anzeigevorrichtung 800 mit der Übertragungseinheit 70 verbindbar. Einzelheiten der Kalibriereinrichtung 850 werden später beschrieben. Ferner kann die Anzeigevorrichtung 800 die Funktion der Kalibriereinrichtung 850 aufweisen.
Die vereinfachte Anzeigevorichtung 900 ist beispielsweise lediglich über das Geringleistungs-Drahtlos-Netzwerk mit der Übertragungseinheit 70 verbindbar. Obwohl die vereinfachte Anzeigevorrichtung 900 aufgrund der zeitlichen Einschränkung keine Kommunikation eines Videobildes mit der Übertragungseinheit 70 durchführen kann, kann sie eine Bildaufnahmestart-/Stoppzeitvorgabe übertragen und für eine Bildüberprüfung einer Zusammensetzungsüberprüfungsstufe verwendet werden. Die vereinfachte Anzeigevorrichtung 900 kann ferner eine für den Kamerahauptteil 1 sowie die Anzeigevorrichtung 800 entwickelte dedizierte Vorrichtung sein, oder eine Smartwatch usw. sein.
5 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils 1. Die Konfigurationen und Funktionen, die unter Verwendung von 1A bis 1C beschrieben werden, sind ferner durch die gleichen Bezugszeichen angegeben, und ihre detaillierte Beschreibung wird weggelassen.
Wie in 5 gezeigt, ist der Kamerahauptteil 1 mit der Gesamtsteuerungs-CPU 101, dem Ein-/Ausschalter 11, dem Bildaufnahmemodusschalter 12, dem Gesichtsrichtungserfassungsfenster 13, dem Startschalter 14, dem Stoppschalter 15, dem Bildaufnahmeobjektiv 16 und der LED 17 versehen.
Der Kamerahauptteil 1 ist ferner mit der Infrarot-LED-Beleuchtungsschaltung 21, den Infrarot-LEDs 22, der Infrarotkondensorlinse 26 und der Infraroterfassungseinrichtung 27 versehen, die die Gesichtsrichtungserfassungseinheit 20 (4) bilden.
Der Kamerahauptteil 1 ist ferner mit der Bildaufnahmeeinheit 40 (4), die eine Bildaufnahmeansteuereinrichtung 41, einen Festkörperbildsensor 42 und eine Bildsignalverarbeitungsschaltung 43 umfasst, und der Übertragungseinheit 70 (4) versehen, die eine Geringleistugns-Drahtlos-Kommunikationseinheit 71 und eine Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 72 umfasst.
Obwohl der Kamerahauptteil 1 bei diesem Ausführungsbeispiel die Einzel-Bildaufnahmeeinheit 40 aufweist, kann er zwei oder mehr Bildaufnahmeeinheiten zum Aufnehmen eines 3D-Bildes aufweisen, oder um Bilder verschiedener Richtungen aufzunehmen.
Der Kamerahauptteil 1 ist mit verschiedenen Speichern versehen, wie einem nichtflüchtiger Speicher 51 mit hoher Kapazität, einem internen nichtflüchtigen Speicher 102 und dem Primärspeicher 103 usw..
Ferner ist der Kamerahauptteil 1 mit einem Audioprozessor 104, einem Lautsprecher 105, einer Vibrier-Einrichtung 106, einem Winkelgeschwindigkeitssensor 107, einem Beschleunigungssensor 108 und verschiedenen Schaltern 110 versehen.
Die Schalter, wie der Ein-/Ausschalter 11, die vorstehend unter Verwendung von 2C beschrieben wurden, sind mit der Gesamtsteuerungs-CPU 101 verbunden. Die Gesamtsteuerungs-CPU 101 steuert den gesamten Kamerahauptteil 1. Die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30, die Bildextrations-/Entwicklungseinheit 50 und die zweite Steuereinrichtung 111 in 4 werden durch die Gesamtsteuerungs-CPU 101 erzielt.
Die Infrarot LED-Beleuchtungsschaltung 21 steuert ein Leuchten der Infrarot-LEDs 22, wie vorstehend unter Verwendung von 2E beschrieben, um eine Projektion des Infrarotlichts 23 zu steuern, das von den Infrarot-LEDs 22 zu dem Benutzer gerichtet wird.
Das Gesichtsrichtungserfassungsfenster 13 ist durch ein sichtbares Licht-Sperrfilter gebildet, das eine Übertragung von sichtbarem Licht kaum erlaubt und die Übertragung des Infrarotlichts 23 und seines reflektierten Lichts 25 ausreichend ermöglicht, die zum Infrarotbereich gehören. Die Infrarotkondensorlinse 26 kondensiert das reflektierte Licht 25.
Die Infraroterfassungseinrichtung (eine Infraroterfassungseinheit) 27 weist einen Sensor auf, der das durch die Infrarotkondensorlinse 26 kondensierte reflektierte Licht 25 erfasst. Der Sensor wandelt ein durch das kondensierte reflektierte Licht 25 gebildete Bild in Sensordaten um und gibt die Sensordaten zu der Gesamtsteuerungs-CPU 101 weiter.
Wie in 1B gezeigt, befindet sich das Gesichtsrichtungserfassungsfenster 13, wenn der Benutzer den Kamerahauptteil 1 trägt, unter dem Kiefer des Benutzers. Wie in 5 gezeigt, überträgt das von den Infrarot-LEDs 22 projizierte Infrarotlicht 23 demnach das Gesichtsrichtungserfassungsfenster 13, und bestrahlt eine Infrarotbestrahlungsfläche 24 nahe dem Benutzerkiefer. Ferner überträgt das von der Infrarotbestrahlungsfläche 24 reflektierte Licht 25 das Gesichtsrichtungserfassungsfenster 13 und wird durch die Infrarotkondensorlinse 26 auf dem Sensor in der Infraroterfassungseinrichtung 27 kondensiert.
In 1A bis 1C sind die verschiedenen Schalter 110 nicht gezeigt. Die verschiedenen Schalter 110 werden zur Ausführung von Funktionen verwendet, die sich nicht auf dieses Ausführungsbeispiel beziehen.
Die Bildaufnahmeansteuereinrichtung 41 enthält eine Zeitvorgabeerzeugungseinrichtung usw., erzeugt verschiedene Zeitsteuerungssignale, gibt die Zeitsteuerungssignale zu auf den Bildaufnahmebetrieb bezogenen Abschnitten aus und steuert den Festkörperbildsensor 42 an.
Der Festkörperbildsensor 42 gibt das Signal, das durch photoelektrische Umwandlung des Objektbildes erhalten wird, das über das anhand von 1A beschriebene Bildaufnahmeobjektiv 16 erzeugt wird, zu der Bildsignalverarbeitungsschaltung 43 aus.
Die Bildsignalverarbeitungsschaltung 43 gibt die aufgenommenen Bilddaten, die durch Anwenden eines Halteprozesses und eines A/D-Umwandlungsprozesses, usw., bei dem Signal von dem Festkörperbildsensor 42 erzeugt werden, zu der Gesamtsteuerungs-CPU 101 aus.
Der interne nichtflüchtige Speicher 102 ist durch einen Flash-Speicher, usw. gebildet und speichert ein Bootprogramm der Gesamtsteuerungs-CPU 101 und Einstellwerte verschiedener Programmmodi. Bei diesem Ausführungsbeispiel werden ein Einstellwert eines Beobachtungsblickfeldes (Bildwinkel) und ein Einstellwert eines Wirkungsniveaus eines Bildstabilisierungsprozesses aufgezeichnet.
Der Primärspeicher 103 wird durch einen RAM, usw. gebildet und speichert vorübergehend Verarbeitungsbilddaten und ein Berechnungsergebnis der Gesamtsteuerungs-CPU 101.
Der nichtflüchtige Speicher 51 hoher Kapazität speichert Bilddaten. Bei diesem Ausführungsbeispiel ist der nichtflüchtige Speicher 51 hoher Kapazität ein Halbleiterspeicher, der nicht abnehmbar ist. Allerdings kann der nichtflüchtige Speicher 51 hoher Kapazität durch ein abnehmbares Speichermedium, wie eine SD-Karte, gebildet sein, und kann zusammen mit dem internen nichtflüchtigen Speicher 102 verwendet werden.
Die Geringleistungs-Drahtlos-Kommunikationseinheit 71 tauscht über das Geringleistungs-Drahtlos-Netzwerk Daten mit der Anzeigevorrichtung 800, der Kalibriereinheit 850 und der vereinfachten Anzeigevorrichtung 900 aus. Die Hochgeschwindigkeitsdrahtloskommunikationseinheit 72 tauscht über das Hochgeschwindigkeits-Drahtlos-Netzwerk Daten mit der Anzeigevorrichtung 800 und der Kalibriereinrichtung 850 aus.
Der Audioprozessor 104 verarbeitet durch die Mikrofone 19L und 19R erfasste Umgebungsgeräusche (Analogsignale) und erzeugt ein Audiosignal.
Um dem Benutzer einen Zustand des Kamerahauptteils 1 mitzuteilen und um den Benutzer zu warnen, emittiert die LED 17 Licht, gibt der Lautsprecher 105 einen Ton aus, und vibriert die Vibrier-Einrichtung 106.
Der Winkelgeschwindigkeitssensor 107 verwendet einen Kreisel, usw. und erfasst eine Bewegung des Kamerahauptteils 1 selbst als Kreiseldaten. Der Beschleunigungssensor 108 erfasst die Stellung der Bildaufnahme-/Erfassungseinheit 10.
6 zeigt ein Blockschaltbild innerhalb der Konfiguration der Anzeigevorrichtung 800. Die unter Verwendung von 1D beschriebenen Komponenten sind durch die gleichen Bezugszeichen angegeben, und ihre Beschreibung wird zur Vereinfachung der Beschreibung weggelassen.
Wie in 6 gezeigt, ist die Anzeigevorrichtung 800 mit einer Anzeigevorrichtungssteuereinrichtung 801, der A-Taste 802, der Anzeigeeinheit 803, der B-Taste 804, dem Gesichtssensor 806, dem Winkelgeschwindigkeitssensor 807, dem Beschleunigungssensor 808, einer Bildsignalverarbeitungsschaltung 809 und verschiedenen Schaltern 811 versehen.
Ferner ist die Anzeigevorrichtung 800 mit einem internen nichtflüchtigen Speicher 812, einem Primärschalter 813, einem nichtflüchtigen Speicher 814 hoher Kapazität, einem Lautsprecher 815, einer Vibrier-Einrichtung 816, einer LED 817, einem Audioprozessor 820, einer Geringleistungs-Drahtlos-Kommunikationseinheit 871 und einer Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 872 versehen. Die vorstehend angeführten Komponenten sind mit der Anzeigevorrichtungssteuereinrichtung 801 verbunden. Die Anzeigevorrichtungssteuereinrichtung 801 ist durch eine CPU gebildet und steuert die Anzeigevorrichtung 800.
Die Bildsignalverarbeitungsschaltung 809 hat äquivalente Funktionen zu der Bildaufnahmeansteuereinrichtung 41, dem Festkörperbildsensor 42 und der Bildsignalverarbeitungsschaltung 43 in dem Kamerahauptteil 1. Die Bildsignalverarbeitungsschaltung 809 bildet die In-Kamera 805 in 1D zusammen mit einem In-Kameraobjektiv 805a. Die Anzeigevorrichtungssteuereinrichtung 801 verarbeitet die aus der Bildsignalverarbeitungsschaltung 809 ausgegebenen Daten. Die Inhalte des Prozesses der Daten werden später beschrieben.
Die verschiedenen Schalter 811 werden zum Ausführen von Funktionen verwendet, die sich nicht auf dieses Ausführungsbeispiel beziehen. Der Winkelgeschwindigkeitssensor 807 verwendet einen Kreisel usw., und erfasst eine Bewegung der Anzeigevorrichtung 800.
Der Beschleunigungssensor 808 erfasst eine Stellung der Anzeigevorrichtung 800 selbst. Der Winkelgeschwindigkeitssensor 807 und der Beschleunigungssensor 808 sind in der Anzeigevorrichtung 800 eingebaut, und weisen jeweils die Funktionen auf, die denen des vorstehend beschriebenen Winkelgeschwindigkeitssensors 107 und Beschleunigungssensors 108 des Kamerahauptteils 1 äquivalent sind.
Der interne nichtflüchtige Speicher 812 ist durch einen Flash-Speicher usw. gebildet und speichert ein Bootprogramm der Anzeigevorrichtungssteuereinrichtung 801 und Einstellwerte verschiedener Programmmodi.
Der Primärspeicher 813 ist durch einen RAM, usw. gebildet und speichert vorübergehend Verarbeitungsbilddaten und ein Berechnungsergebnis der Bildsignalverarbeitungsschaltung 809. Wenn bei diesem Ausführungsbeispiel ein Videobild aufgezeichnet wird, werden mit dem Winkelgeschwindigkeitssensor 107 zur Aufnahmezeit jedes Einzelbildes bzw. Rahmens erfasste Kreiseldaten in dem Primärspeicher 813 in Verbindung mit dem Einzelbild bzw. Rahmen gespeichert.
Der nichtflüchtige Speicher 814 hoher Kapazität speichert Bilddaten der Anzeigevorrichtung 800. Bei diesem Ausführungsbeispiel wird der nichtflüchtige Speicher 814 hoher Kapazität durch einen abnehmbaren Speicher, wie eine SD-Karte gebildet. Es wird angemerkt, dass der nichtflüchtige Speicher 814 hoher Kapazität durch einen festen Speicher, wie hinsichtlich des nichtflüchtigen Speichers 51 in dem Kamerahauptteil 1 beschrieben, gebildet sein kann.
Um dem Benutzer einen Zustand der Anzeigevorrichtung 800 mitzuteilen und um den Benutzer zu warnen, gibt der Lautsprecher 815 einen Ton aus, vibriert die Vibrier-Einrichtung 816, und emittiert die LED 817 Licht.
Der Audioprozessor 820 verarbeitet durch das linke Mikrofon 819L und das rechte Mikrofon 819R erfasste Umgebungsgeräusche (Analogsignals) und erzeugt ein Audiosignal.
Die Geringleistungs-Drahtlos-Kommunikationseinheit 871 tauscht über das Geringleistungs-Drahtlos-Netzwerk Daten mit dem Kamerahauptkörper 1 aus. Die Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 872 tauscht über das Hochgeschwindigkeits-Drahtlos-Netzwerk Daten mit dem Kamerahauptteil 1 aus.
Der Gesichtssensor (eine Gesichtserfassungseinheit) 806 ist mit einer Infrarot-LED-Beleuchtungsschaltung 821 und Infrarot-LEDs 822, einer Infrarotkondensorlinse 826 und einer Infrarot-Erfassungseinrichtung 827 versehen.
Die Infrarot-LED-Beleuchtungsschaltung 821 weist eine Funktion äquivalent der der Infrarot-LED-Beleuchtungsschaltung 21 in 5 auf und steuert ein Leuchten der Infrarot-LEDs 822 zum Steuern der Projektion des Infrarotlichts 823, das von den Infrarot-LEDs 822 zu dem Benutzer gerichtet wird. Die Infrarotkondensorlinse 826 kondensiert das reflektierte Licht 825 des Infrarotlichts 823.
Die Infraroterfassungseinrichtung 827 weist einen Sensor auf, der das durch die Infrarotkondensorlinse 826 kondensierte reflektierte Licht 825 erfasst. Der Sensor wandelt das kondensierte reflektierte Licht 825 in Sensordaten um und leitet die Sensordaten zu der Anzeigevorrichtungssteuereinrichtung 801 weiter.
Wenn der in 1D gezeigte Gesichtssensor 806 auf den Benutzer gerichtet ist, wird eine Infrarotbestrahlungsfläche 824, bei der es sich um das gesamte Gesicht des Benutzers handelt, mit dem Infrarotlicht 823 bestrahlt, das von den Infrarot-LEDs 822, wie in 6 gezeigt projiziert wird. Das von der Infrarotbestrahlungsfläche 824 reflektierte Licht 825 wird ferner durch die Infrarotkondensorlinse 826 auf dem Sensor in der Infraroterfassungseinrichtung 827 kondensiert.
Weitere Funktionen 830 sind Funktionen eines Smartphones, wie eine Telefonfunktion, die sich nicht auf das Ausführungsbeispiel beziehen.
Nachstehend wird beschrieben, wie der Kamerahauptteil 1 und die Anzeigevorrichtung 800 zu verwenden sind. 7A zeigt ein Ablaufdiagramm, das schematisch einen durch den Kamerahauptteil 1 und die Anzeigevorrichtung 800 ausgeführten Bildaufnahme-/Aufzeichnungsprozess gemäß dem ersten Ausführungsbeispiel veranschaulicht.
Zur Unterstützung der Beschreibung ist auf der rechten Seite jedes Schritts in 7A ein in 4 oder 5 gezeigtes Bezugszeichen einer Einheit gezeigt, die einen Prozess in dem jeweiligen Schritt ausführt. Das heißt, Schritte S100 bis S700 in 7A werden durch den Kamerahauptteil 1 ausgeführt, und Schritte S800 bis S1000 in 7A werden durch die Anzeigevorrichtung 800 ausgeführt.
Wenn der Ein-/Ausschalter 11 auf EIN eingestellt ist und die Stromzufuhr des Kamerahauptteils 1 einschaltet, wird die Gesamtsteuerungs-CPU 101 aktiviert und liest das Boot-Programm aus dem internen nichtflüchtigen Speicher 102. Danach führt die Gesamtsteuerungs-CPU 101 in Schritt S100 einen Vorbereitungsprozess aus, der eine Einstellung des Kamerahauptteils 1 vor einem Bildaufnahmebetrieb durchführt. Einzelheiten des Vorbereitungsprozesses werden später unter Verwendung von 7B beschrieben.
In Schritt S200 wird der Gesichtsrichtungserfassungsprozess ausgeführt, der eine Beobachtungsrichtung beruhend auf einer durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung schätzt. Einzelheiten des Gesichtsrichtungserfassungsprozesses werden später unter Verwendung von 7C beschrieben. Dieser Prozess wird mit einer vorbestimmten Bildwechselfrequenz ausgeführt. In Schritt S300 führt die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 einen Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess aus. Einzelheiten des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses werden später unter Verwendung von 7D beschrieben.
In Schritt S400 nimmt die Bildaufnahmeeinheit 40 ein Bild auf und erzeugt Aufnahmebilddaten. In Schritt S500 extrahiert die Bildextraktions-/Entwicklungseinheit 50 ein Bild aus den in Schritt S400 erzeugten Aufnahmebilddaten gemäß in Schritt S300 bestimmten Aufzeichnungsrichtungs-/Bildwinkelinformationen und führt einen Aufzeichnungsbereichsentwicklungsprozess durch, der den extrahierten Bereich entwickelt. Einzelheiten des Aufzeichnungsbereichsentwicklungsprozesses werden später unter Verwendung von 7E beschrieben.
In Schritt S600 führt die Primäraufzeichnungseinheit (eine Bildaufzeichnungseinheit) 60 einen Primäraufzeichnungsprozess aus, der das in Schritt S500 entwickelte Bild in dem Primärspeicher 103 als Bilddaten speichert. Einzelheiten des Primäraufzeichnungsprozesses werden später unter Verwendung von 14 beschrieben.
In Schritt S700 führt die Übertragungseinheit (eine Bildausgabeeinheit) 70 einen Übertragungsprozess zu der Anzeigevorrichtung 800 aus, der das in Schritt S600 primär aufgezeichnete Bild mit einer festgelegten Zeitsteuerung zu der Anzeigevorrichtung 800 drahtlos überträgt (ausgibt). Einzelheiten des Übertragungsprozesses zu der Anzeigevorrichtung 800 werden später unter Verwendung von 16 beschrieben.
Die Schritte ab Schritt S800 werden durch die Anzeigevorrichtung 800 ausgeführt. In Schritt S800 führt die Anzeigevorrichtungssteuereinrichtung 801 einen optischen Korrekturprozess aus, der eine optische Aberration des in Schritt S700 von dem Kamerahauptteil 1 übertragenen Bildes korrigiert. Einzelheiten des optischen Korrekturprozesses werden später unter Verwendung von 17 beschrieben.
In Schritt S900 wendet die Anzeigevorrichtungssteuerreinrichtung 801 den Bildstabilisierungsprozess bei dem Bild an, dessen optische Aberration in Schritt S800 korrigiert wurde. Einzelheiten des Bildstabilisierungsprozesses werden später unter Verwendung von 19 beschrieben. Es wird angemerkt, dass die Reihenfolge von Schritt S800 und Schritt S900 vertauscht werden kann. Das heißt, der Bildstabilisierungsprozess kann vorab ausgeführt werden, und der optische Korrekturprozess kann danach ausgeführt werden.
In Schritt S1000 führt die Anzeigevorrichtungssteuereinrichtung (Videoaufzeichnungseinheit) 801 einen Sekundäraufzeichnungsprozess aus, der das Bild, bei dem der optische Korrekturprozess in Schritt S800 und der Bildstabilisierungsprozess in Schritt S900 angewendet wurden, in dem nichtflüchtigen Speicher 814 hoher Kapazität aufzeichnet. Und dann beendet die Anzeigevorrichtungssteuereinrichtung 801 diesen Prozess.
Als nächstes werden die Unterroutinen in den jeweiligen Schritten in 7A unter Verwendung von 7B bis 7F und anderen Figuren in der Reihenfolge der Prozesse näher beschrieben. 7B zeigt ein Ablaufdiagramm der Unterroutine des Vorbereitungsprozesses in Schritt S100 in 7A. Nachstehend wird dieser Prozess unter Verwendung der in 2A bis 2F und 5 gezeigten Komponenten beschrieben.
In Schritt S101 wird bestimmt, ob der Ein-/Ausschalter 11 EIN ist. Der Prozess wartet, wenn der Schalter AUS ist. Wenn der Schalter eingeschaltet wird, geht der Prozess zu Schritt S102 über.
In Schritt S102 wird der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus bestimmt. Wenn der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus als Ergebnis der Bestimmung der Videomodus ist, geht der Prozess zu Schritt S103 über.
In Schritt S103 werden verschiedene Einstellwerte des Videobildmodus aus dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess zu Schritt S104 über. Die verschiedenen Einstellwerte des Videobildmodus umfassen einen Bildwinkeleinstellwert V_ang und eine Bildstabilisierungsstufe. Der Bildwinkeleinstellwert V_ang ist bei diesem Ausführungsbeispiel auf 90° voreingestellt. Die Bildstabilisierungsstufe wird aus „stark“, „mittel“ und „AUS“ ausgewählt. In Schritt S104 wird ein Betrieb der Bildaufnahmeansteuereinrichtung 41 für den Videobildmodus gestartet. Und dann verlässt der Prozess diese Unterroutine.
Wenn als Ergebnis der Bestimmung in Schritt S102 der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus der Stehbildmodus ist, geht der Prozess zu Schritt S106 über. In Schritt S106 werden verschiedene Einstellwerte des Stehbildmodus aus dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess zu Schritt S107. Die verschiedenen Einstellwerte des Stehbildmodus umfassen den Bildwinkeleinstellwert V_ang und die Bildstabilisierungsstufe. Der Bildwinkeleinstellwert V_ang ist bei diesem Ausführungsbeispiel auf 45° voreingestellt. Die Bildstabilisierungsstufe wird aus „stark“, „mittel“ und „AUS“ ausgewählt. In Schritt S107 wird ein Betrieb der Bildaufnahmeansteuereinrichtung 41 für den Stehbildmodus gestartet. Und dann verlässt der Prozess diese Unterroutine.
Wenn der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus als Ergebnis der Bestimmung in Schritt S102 der Voreinstellmodus ist, geht der Prozess zu Schritt S108. Der Voreinstellmodus ist einer der drei Bildaufnahmemodi, die durch den Bildaufnahmemodusschalter 12 umgeschaltet werden können. In dem Voreinstellmodus kann der Bildaufnahmemodus des Kamerahauptteils 1 durch eine externe Einrichtung, wie die Anzeigevorrichtung 800, geändert werden. Das heißt, der Voreinstellmodus ist ein Modus für einen spezifischen Bildaufnahmebetrieb. Da der Kamerahauptteil 1 eine kompakte tragbare Einrichtung ist, sind an dem Kamerahauptteil 1 keine Bedienschalter, kein Einstellbildschirm, usw. zum Ändern erweiterter Einstellwerte angebracht. Die erweiterten Einstellwerte werden durch eine externe Einrichtung, wie die Anzeigevorrichtung 800 geändert.
Beispielsweise wird ein Fall betrachtet, in dem der Benutzer ein Videobild bei dem Bildwinkel von 90° und dem Bildwinkel von 110° kontinuierlich aufnehmen möchte. In diesem Fall sind die folgenden Bedienungen erforderlich. Da der Bildwinkel bei einem regulären Videobildmodus auf 90° eingestellt ist, führt der Benutzer zuerst den Videobildaufnahmebetrieb in dem regulären Videobildmodus durch, beendet den Videobildaufnahmebetrieb einmal, zeigt den Einstellbildschirm auf der Anzeigevorrichtung 800 an und ändert den Bildwinkel auf dem Einstellbildschirm in 110°. Allerdings sind die Bedienungen an der Anzeigevorrichtung 800 während eines gewissen Ereignisses mühsam.
Wenn der Voreinstellmodus unterdessen auf einen Videoaufnahmebetrieb bei dem Bildwinkel von 110° voreingestellt ist, kann der Benutzer den Bildwinkel in dem Videobildaufnahmebetrieb unmittelbar in 110° ändern, indem er lediglich den Bildaufnahmemodusschalter 12 nach Beenden des Videobildaufnahmebetriebs bei dem Bildwinkel von 90° auf „Pre“ schiebt. Das heißt, der Benutzer muss den laufenden Betrieb nicht aussetzen und muss nicht die vorstehend angeführten mühsamen Bedienungen durchführen.
Es wird angemerkt, dass Inhalte des Voreinstellmodus zusätzlich zu dem Bildwinkel die Bildstabilisierungsstufe, die aus „stark“, „mittel“ und „AUS“ ausgewählt wird, und einen Einstellwert einer Spracherkennung enthalten können, der in diesem Ausführungsbeispiel nicht beschrieben ist.
In Schritt S108 werden verschiedene Einstellwerte des Voreinstellmodus aus dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess zu Schritt S109 über. Die verschiedenen Einstellwerte des Voreinstellmodus umfassen den Blickwinkeleinstellwert V_ang und die Bildstabilisierungsstufe, die aus „stark“, „mittel“ und „AUS“ ausgewählt wird.
In Schritt S109 wird ein Betrieb der Bildaufnahmeansteuereinrichtung 41 für den Voreinstellmodus gestartet. Und dann verlässt der Prozess diese Unterroutine.
Nachstehend werden nun die in Schritt S103 gelesenen verschiedenen Einstellwerte des Videobildmodus unter Verwendung von 13 beschrieben.
13 zeigt eine Ansicht eines Menübildschirms zum Einstellen der verschiedenen Einstellwerte des Videobildmodus, die auf der Anzeigeeinheit 803 der Anzeigevorrichtung 800 vor einem Bildaufnahmebetrieb des Kamerahauptteils 1 angezeigt werden. Die Komponenten, die unter Verwendung von 1D beschrieben wurden, sind mit den gleichen Bezugszeichen angegeben und ihre Beschreibung wird nicht wiederholt. Die Anzeigeeinheit 803 weist eine Bildschirm-Tastfeldfunktion auf, und wird unter der Annahme beschrieben, dass sie über Berührbedienungen, wie eine Wischbedienung funktioniert.
Wie in 13 gezeigt, enthält der Menübildschirm einen Vorschaubildschirm 831, einen Zoomhebel 832, eine Aufzeichnungsstart-/Stopptaste 833, einen Schalter 834, einen Batterieladezustandsindikator 835, eine Taste 836, einen Hebel 837 und einen Symbolanzeigebereich 838. Der Benutzer kann das durch den Kamerahauptteil 1 aufgenommene Bild, ein Zoomausmaß und einen Bildwinkel auf dem Vorschaubildschirm 831 überprüfen.
Der Benutzer kann eine Zoomeinstellung (einen Bildwinkel) durch Schieben des Zoomhebels 832 nach rechts oder links ändern. Bei diesem Ausführungsbeispiel wird ein Fall beschrieben, in dem der Bildwinkeleinstellwert V_ang aus 45°, 90°, 110° und 130° ausgewählt werden kann. Unterdessen kann der Bildwinkeleinstellwert V_ang durch Bedienen des Zoomhebels 832 auf einen anderen Wert als die vier Werte eingestellt werden.
Die Aufzeichnungsstart-/Stopptaste 833 ist ein Wechselschalter, der sowohl die Funktionen des Startschalters 14 als auch des Stoppschalters 15 umfasst. Der Schalter 834 wird zum „AUS“- und „EIN“-Schalten des Bildstabilisierungsprozesses verwendet. Der Batterieladezustandsindikator 835 zeigt den Batterieladezustand des Kamerahauptteils 1 an. Die Taste 836 wird zum Ändern eines Modus verwendet.
Der Hebel 837 wird zum Einstellen der Bildstabilisierungsstufe verwendet. Obwohl die Bildstabilisierungsstufe bei diesem Ausführungsbeispiel auch auf „stark“ oder „mittel“ eingestellt werden kann, kann eine andere Bildstabilisierungsstufe, beispielsweise „schwach“ eingestellt werden. Ferner kann die Bildstabilisierungsstufe stufenlos eingestellt werden. Im Symbolanzeigebereich 838 wird eine Vielzahl von Miniatursymbolen für die Vorschau angezeigt.
7C zeigt ein Ablaufdiagramm einer Unterroutine des Gesichtsrichtungserfassungsprozesses in Schritt S200 in 7A. Bevor die Einzelheiten dieses Prozesses beschrieben werden, wird ein Gesichtsrichtungserfassungsverfahren unter Verwendung von Infrarotlicht anhand von 8A bis 8K beschrieben.
8A zeigt eine Ansicht eines Sichtbares-Licht-Bildes eines Benutzergesichts, auf das von der Position des Gesichtsrichtungserfassungsfensters 13 aus geschaut wird. Das Bild in 8A ist identisch zu einem Bild, das durch einen Sichtbares-Licht-Bildsensor aufgenommen wird, unter der Annahme, dass das Gesichtsrichtungserfassungsfenster 13 eine Transmission von sichtbarem Licht ermöglicht, und dass der Sichtbares-Licht-Bildsensor als Sensor der Infraroterfassungseinrichtung 27 angebracht ist.
Das Bild in 8A beinhaltet einen Halsvorderabschnitt 201 über Schlüsselbeine des Benutzers, eine Wurzel 202 eines Kiefers, ein Kinn 203 und ein Gesicht 204 mit einer Nase. 8B zeigt eine Ansicht in einem Fall, in dem Leuchtstoffröhren in einem Raum als Hintergrund in dem in 8A gezeigten Sichtbares-Licht-Bild des Benutzers erscheinen.
Die Leuchtstoffröhren 205 um den Benutzer erscheinen in dem Sichtbares-Licht-Bild in 8B. Da auf diese Weise verschiedene Hintergründe in einem Bild eines Benutzers gemäß einer Anwendungsbedingung erscheinen, wird es schwierig, dass die Gesichtsrichtungserfassungseinheit 20 oder die Gesamtsteuerungs-CPU 101 ein Gesichtsbild aus einem Sichtbares-Licht-Bild ausschneidet. Obwohl es mittlerweile eine Technik gibt, die ein derartiges Bild unter Verwendung einer KI, usw. ausschneidet, ist die Technik für den Kamerahauptteil 1 als tragbare Einrichtung nicht geeignet, da die Gesamtsteuerungs-CPU 101 eine hohe Leistungsfähigkeit haben muss.
Der Kamerahauptteil 1 des ersten Ausführungsbeispiels erfasst demnach ein Benutzergesicht unter Verwendung eines Infrarotbildes. Da das Gesichtsrichtungserfassungsfenster 13 durch ein sichtbares Licht-Sperrfilter gebildet ist, wird sichtbares Licht größtenteils nicht durchgelassen. Demnach ist ein durch die Infraroterfassungseinrichtung 27 erhaltenes Bild von den Bildern in 8A und 8B verschieden.
8C zeigt eine Ansicht eines Infrarotbildes, das durch Abbilden des Benutzers und der Leuchtstoffröhren als der in 8B gezeigte Hintergrund auf den Sensor der Infraroterfassungseinrichtung 27 über das Gesichtsrichtungserfassungsfenster 13 in einem Zustand erhalten wird, in dem die Infrarot-LEDs 22 nicht leuchten.
In dem Infrarotbild in 8C sind Hals und Kiefer des Benutzers dunkel. Da die Leuchtstoffröhren 205 unterdessen eine Infrarotkomponente zusätzlich zu dem sichtbaren Licht emittieren, sind sie etwas hell.
8D zeigt eine Ansicht eines Bildes, das durch Abbilden des Benutzers und der Leuchtstoffröhren als der in 8B gezeigte Hintergrund auf den Sensor der Infraroterfassungseinrichtung 27 über das Gesichtsrichtungserfassungsfenster 13 in einem Zustand erhalten wird, in dem die Infrarot-LEDs 22 leuchten.
In dem Bild in 8D sind Hals und Kiefer des Benutzers hell. Anders als in 8C ist die Helligkeit um die Leuchtstoffröhren 205 unterdessen unverändert.
8E zeigt eine Ansicht eines Differenzbildes, das durch Subtrahieren des Bildes in 8C von dem Bild in 8D berechnet wird. Es tritt das Gesicht des Benutzers hervor.
Auf diese Weise erhält die Gesamtsteuerungs-CPU (eine Bilderhalteeinheit) 101 das Differenzbild (das nachstehend auch als Gesichtsbild bezeichnet wird) durch Berechnen der Differenz zwischen dem Bild, das auf dem Sensor der Infraroterfassungseinrichtung 27 in dem Zustand erzeugt wird, in dem die Infrarot-LEDs 22 leuchten, und dem Bild, das auf dem Sensor in dem Zustand erzeugt wird, in dem die Infrarot-LEDs 22 nicht leuchten.
Die Gesichtsrichtungserfassungseinheit 20 dieses Ausführungsbeispiels wendet ein Verfahren an, das ein Gesichtsbild durch Extrahieren einer Infrarotreflektionsstärke als zweidimensionales Bild durch die Infraroterfassungseinrichtung 27 erhält. Der Sensor der Infraroterfassungseinrichtung 27 hat eine Konfiguration ähnlich einem üblichen Bildsensor und erhält ein Gesichtsbild rahmenweise. Ein vertikales Synchronisationssignal (das nachstehend als V-Signal bezeichnet wird), das eine Rahmensynchronisation erzielt, wird durch die Infraroterfassungseinrichtung 27 erzeugt und zu der Gesamtsteuerungs-CPU 101 ausgegeben.
9 zeigt ein Zeitablaufdiagramm von Zeitspannen des Leuchtens und Erlöschens der Infrarot-LEDs 22 und verwandter Signale.
In 9 sind von oben nach unten ein aus der Infraroterfassungseinrichtung 27 ausgegebenes V-Signal, eine H-Position des aus dem Sensor der Infraroterfassungseinrichtung 27 ausgegebenen Bildsignals, ein von der Gesamtsteuerungs-CPU 101 zu der Infrarot-LED-Beleuchtungsschaltung 21 ausgegebenes IR-ON-Signal und von dem Sensor der Infraroterfassungseinrichtung 27 zu der Gesamtsteuerungs-CPU 101 ausgegebene Aufnahmebilddaten gezeigt. Die horizontalen Zeitachsen dieser vier Signale sind identisch. Wenn das V-Signal auf hohen Pegel geht, werden Zeitspannen der Rahmensynchronisation und Zeitspannen des Leuchtens und Erlöschens der Infrarot-LEDs 22 erhalten.
9 zeigt einen ersten Gesichtsbilderhaltezeitabschnitt t1 und einen zweiten Gesichtsbilderhaltezeitabschnitt t2.
Die Infraroterfassungseinrichtung 27 steuert den Betrieb des Sensors derart, dass die H-Position des Bildsignals synchron zu dem V-Signal wird, wie es in 9 gezeigt ist. Da der Sensor der Infraroterfassungseinrichtung 27 wie vorstehend angeführt eine Konfiguration ähnlich einem üblichen Bildsensor hat und sein Betrieb bekannt ist, wird auf eine ausführliche Beschreibung des Steuerverfahrens verzichtet.
Die Gesamtsteuerungs-CPU 101 steuert ein Umschalten des Signals IR-ON zwischen hohem Pegel und niedrigem Pegel synchron mit dem V-Signal. Die Gesamtsteuerungs-CPU 101 gibt insbesondere das Signal IR-ON auf niedrigem Pegel während des Zeitabschnitts t1 zu der Infrarot-LED-Beleuchtungsschaltung 21 aus, und gibt das Signal IR-ON auf hohem Pegel während des zweiten Zeitabschnitts t2 zu der Infrarot-LED-Beleuchtungsschaltung 21 aus.
Die Infrarot-LED-Beleuchtungsschaltung 21 erleuchtet die Infrarot-LEDs 22 zum Projizieren des Infrarotlichts 23 zu dem Benutzer während des Hoch-Zeitabschnitts des Signals IR-ON ein. Unterdessen löscht die Infrarot-LED-Beleuchtungsschaltung 21 die Infrarot-LEDs 22 während des Niedrig-Zeitabschnitts des Signals IR-ON.
Eine vertikale Achse der Aufnahmebilddaten gibt eine Signalstärke an, bei der es sich um eine Lichtaufnahmemenge des reflektierten Lichts 25 handelt. Da die Infrarot-LEDs 22 während des ersten Zeitabschnitts t1 erloschen sind, kommt von dem Gesicht des Benutzers kein reflektiertes Licht, und Aufnahmebilddaten wie in 8C gezeigt werden erhalten. Da die Infrarot-LEDs 22 während des zweiten Zeitabschnitts t2 unterdessen leuchten, kommt das reflektierte Licht 25 von dem Gesicht des Benutzers, und Aufnahmebilddaten wie in 8D gezeigt werden erhalten. Demnach erhöht sich die Signalstärke in dem Zeitabschnitt t2 von der Signalstärke in dem Zeitabschnitt t1 um das reflektierte Licht 25 von dem Gesicht des Benutzers.
Ein unten in 9 angegebenes Gesichtsbild wird durch Subtrahieren der während des ersten Zeitabschnitts t1 aufgenommenen Bilddaten von den während des zweiten Zeitabschnitts t2 aufgenommenen Bilddaten erhalten. Als Ergebnis der Subtraktion werden Gesichtsbilddaten erhalten, in denen lediglich die Komponente des reflektierten Lichts 25 aus dem Benutzergesicht extrahiert ist.
7C zeigt den Gesichtsrichtungserfassungsprozess in Schritt S200, der die unter Verwendung von 8C bis 8E und 9 beschriebenen Operationen enthält.
In Schritt S201 wird ein Zeitpunkt V1 erhalten, zu dem der erste Zeitabschnitt t1 startet, wenn das aus der Infraroterfassungseinrichtung 27 ausgegebene V-Signal auf hohen Pegel geht. Wenn der Zeitpunkt V1 erhalten wird, geht der Prozess zu Schritt S202 über.
In Schritt S202 wird das Signal IR-ON auf niedrigen Pegel gesetzt und zu der Infrarot-LED Beleuchtungsschaltung 21 ausgegeben. Dadurch erlöschen die Infrarot-LEDs 22.
In Schritt S203 wird ein Einzelbild bzw. Rahmen von aus der Infraroterfassungseinrichtung 27 während des ersten Zeitabschnitts t1 ausgegebenen Aufnahmebilddaten gelesen. Die Bilddaten werden vorübergehend in dem Primärspeicher 103 als Rahmen1 gespeichert.
In Schritt S204 wird ein Zeitpunkt V2 erhalten, zu dem der zweite Zeitabschnitt t2 startet, wenn das aus der Infraroterfassungseinrichtung 27 ausgegebene V-Signal auf hohen Pegel geht. Wenn der Zeitpunkt V2 erhalten wird, geht der Prozess zu Schritt S205 über.
In Schritt S205 wird das Signal IR-ON auf hohen Pegel gesetzt und zu der Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. So werden die Infrarot-LEDs 22 eingeschaltet.
In Schritt S206 wird ein Einzelbild bzw. ein Rahmen von aus der Infraroterfassungseinrichtung 27 während des zweiten Zeitabschnitts t2 ausgegebenen Aufnahmebilddaten gelesen. Die Bilddaten werden vorübergehend in dem Primärspeicher 103 als Rahmen2 gespeichert.
In Schritt S207 wird das Signal IR-ON auf niedrigen Pegel gesetzt und zu der Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. So sind die Infrarot-LEDs 22 erloschen.
In Schritt S208 werden Rahmen1 und Rahmen2 aus dem Primärspeicher 103 gelesen, und eine Lichtstärke Fn des reflektierten Lichts 25 von dem Benutzer, die dem in 9 gezeigten Gesichtsbild entspricht, wird durch Subtrahieren des Rahmens1 von dem Rahmen2 berechnet. Dieser Prozess wird allgemein Schwarz-Subtraktion genannt.
In Schritt S209 wird aus der Lichtstärke Fn eine Kehlposition (ein Halsrotationszentrum) extrahiert. Zuerst teilt die Gesamtsteuerungs-CPU (eine Teilungseinheit) 101 das Gesicht in eine Vielzahl von Entfernungsbereichen, die unter Verwendung von 8F beschrieben werden, beruhend auf der Lichtstärke Fn ein.
8F zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen des in 8E gezeigten Differenzbildes zum Einpassen in eine Skala einer Lichtstärke des reflektierten Lichts 25 des Infrarotlichts 23 erhalten wird, das zu Gesicht und Hals des Benutzers projiziert wird. 8F zeigt eine Lichtstärkeverteilung über Abschnitten des Gesichts und Halses des Benutzers.
Das Gesichtsbild auf der linken Seite in 8F zeigt die Lichtstärkeverteilung des reflektierten Lichts 25 in dem in 8E gezeigten Gesichtsbild durch Graustufen, die bei den jeweiligen unterteilten Bereichen angewendet sind. Eine Achse Xf ist in eine Richtung von dem Mittenabschnitt des Benutzerhalses zu dem Kinn orientiert.
In einem Graph auf der rechten Seite in 8F zeigt eine horizontale Achse die Lichtstärke auf der Achse Xf des Gesichtsbildes, und eine vertikale Achse zeigt die Achse Xf. Die durch die horizontale Achse gezeigte Lichtstärke erhöht sich nach rechts.
Das Gesichtsbild in 8F ist in sechs Bereiche (Entfernungsbereiche) 211 bis 216 gemäß der Lichtstärke eingeteilt. Der Bereich 211 ist ein Bereich, in dem die Lichtstärke am stärksten ist, und ist durch Weiß unter den Graustufen gezeigt. Der Bereich 212 ist ein Bereich, in dem die Lichtstärke etwas von dem Bereich 211 abfällt, und ist durch ziemlich helles Grau unter den Graustufen gezeigt. Der Bereich 213 ist ein Bereich, in dem die Lichtstärke noch mehr gegenüber dem Bereich 212 abfällt, und ist durch helles Grau unter den Graustufen gezeigt. Der Bereich 214 ist ein Bereich, in dem die Lichtstärke gegenüber dem Bereich 213 noch mehr abfällt, und ist durch mittleres Grau unter den Graustufen gezeigt. Der Bereich 215 ist ein Bereich, in dem die Lichtstärke gegenüber dem Bereich 214 noch mehr abfällt, und ist durch etwas dunkles Grau unter den Graustufen gezeigt. Der Bereich 216 ist ein Bereich, in dem die Lichtstärke am schwächsten ist, und ist durch das dunkelste Grau unter den Graustufen gezeigt. Der Bereich über dem Bereich 216 ist durch Schwarz dargestellt, das keine Lichtstärke zeigt.
Die Lichtstärke wird unter Verwendung von 10A bis 10D näher beschrieben. 10A bis 10D zeigen Darstellungen zum Beschreiben einer Bewegung des Benutzergesichts in vertikaler Richtung und zeigen Zustände, die von der linken Seite des Benutzers aus beobachtet werden.
10A zeigt eine Darstellung eines Zustandes, in dem der Benutzer nach vorne schaut. Die Bildaufnahme-/Erfassungseinheit 10 befindet sich vor den Schlüsselbeinen des Benutzers. Ferner bestrahlt das Infrarotlicht 23 der Infrarot-LEDs 22 den unteren Teil des Benutzerkopfs von dem Gesichtsrichtungserfassungsfenster 13, das in dem oberen Abschnitt der Bildaufnahme-/Erfassungseinheit 10 angebracht ist. Eine Entfernung Dn von dem Gesichtsrichtungserfassungsfenster 13 zur Kehle 200 über den Schlüsselbeinen des Benutzers, eine Entfernung Db von dem Gesichtsrichtungserfassungsfenster 13 zu der Wurzel 202 des Kiefers und eine Entfernung Dc von dem Gesichtsrichtungserfassungsfenster 13 zum Kinn 203 erfüllen eine Beziehung Dn < Db < Dc. Da die Lichtstärke ein umgekehrtes Verhältnis zu dem Quadrat der Entfernung hat, wird die Lichtstärke in dem Bild, das durch das reflektierte Licht 25 von der Infrarotbestrahlungsfläche 24 auf dem Sensor erzeugt wird, in der Reihenfolge der Kehle 200, der Wurzel 202 des Kiefers und des Kinns 203 allmählich schwächer. Da ferner die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zum Gesicht 204 mit der Nase immer noch größer als die Entfernung Dc ist, wird die Lichtstärke in dem dem Gesicht 204 entsprechenden Bild noch schwächer. Das heißt, in dem in 10A gezeigten Fall wird das Bild mit der in 8F gezeigten Lichtstärkeverteilung erhalten.
Es wird angemerkt, dass die Konfiguration der Gesichtsrichtungserfassungseinheit 20 nicht auf die in diesem Ausführungsbeispiel gezeigte Konfiguration beschränkt ist, solange die Gesichtsrichtung des Benutzers erfasst werden kann. Beispielsweise können die Infrarot-LEDs 22 eine Infrarotmusterbestrahlungseinheit sein, die ein Infrarotmuster projiziert, und der Sensor der Infraroterfassungseinrichtung 27 kann eine Infrarotmustererfassungseinheit sein, die das von einem Bestrahlungsziel reflektierte Infrarotmuster erfasst. In diesem Fall ist der Sensor der Infraroterfassungseinrichtung 27 vorzugsweise durch einen strukturellen optischen Sensor gebildet. Ferner kann der Sensor der Infraroterfassungseinrichtung 27 eine Infrarotmusterphasenvergleichseinheit sein, die die Phase des Infrarotlichts 23 und die Phase des reflektierten Lichts 25 vergleicht. Beispielsweise kann ein ToF (Time of Flight)-Sensor angewendet werden.
Als nächstes wird die Extraktion der Zielposition in Schritt S209 in 7C unter Verwendung von 8G beschrieben. Ein linkes Bild in 8G wird durch Überlagern der in 10A gezeigten Bezugszeichen erhalten, die die Abschnitte des Benutzerkörpers bezeichnen, sodass ein Doppelkreis die Kehlposition und ein schwarzer Kreis die Kinnposition in 8F zeigen.
Der weiße Bereich 211 entspricht der Kehle 200 (10A), der ziemlich helle graue Bereich 212 entspricht dem Halsvorderabschnitt 201 (10A), und der hellgraue Bereich 213 entspricht der Wurzel 202 des Kiefers (10A). Ferner entspricht der mittelgraue Bereich 214 dem Kinn 203 (10A) und der etwas dunkle graue Bereich 215 entspricht einer Lippe, die sich in dem unteren Teil des Gesichts 204 befindet (10A), und einem unteren Gesichtsabschnitt um die Lippe. Ferner entspricht der dunkelste graue Bereich 216 der Nase, die sich in der Mitte des Gesichts 204 befindet (10A), und einem oberen Gesichtsabschnitt um die Nase.
Da die Differenz zwischen den Entfernungen Db und Dc verglichen mit den Differenzen zwischen den anderen Entfernungen von dem Gesichtsrichtungserfassungsfenster 13 zu anderen Abschnitten des Benutzers wie in 10A gezeigt relativ klein ist, ist auch die Differenz zwischen den reflektierten Lichtstärken in dem hellgrauen Bereich 213 und dem mittelgrauen Bereich 214 auch klein.
Da unterdessen die Entfernung Dn die kürzeste Entfernung unter den Entfernungen von dem Gesichtsrichtungserfassungsfenster 13 zu den Abschnitten des Benutzers wie in 10A gezeigt ist, wird die Reflektionslichtstärke in dem weißen Bereich 211, der der Kehle 200 entspricht, die stärkste.
Demnach bestimmt die Gesamtsteuerungs-CPU (eine Einstelleinheit) 101, dass der Bereich 211 der Kehle 200 und ihrer Peripherie entspricht, und stellt dann die Position 206 (die in 8G durch den Doppelkreis angegeben ist), die sich in Querrichtung in der Mitte befindet und der Bildaufnahme-/Erfassungseinheit 10 am nächsten liegt, als die Position des Kopfrotationszentrums bzw. Kopfdrehpunkts (die nachstehend als Kehlposition 206 bezeichnet wird) ein. Die Prozesse bis zu diesem Moment sind die in Schritt S209 in 7C durchgeführten Inhalte.
Als nächstes wird die Extraktion der Kinnposition in Schritt S210 in 7C unter Verwendung von 8G beschrieben. In dem Bild in 8G enthält der mittelgraue Bereich 214, der heller als der Bereich 215 ist, der dem unteren Gesichtsabschnitt entspricht, der die Lippe des Gesichts 204 enthält, das Kinn. Ein Graph auf der rechten Seite in 8G zeigt, dass die Lichtstärke in dem Bereich 215 stark abfällt, der an den Bereich 214 angrenzt, da die Änderungsrate der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 groß wird.
Die Gesamtsteuerungs-CPU 101 bestimmt, dass der hellere Bereich 214, der an den Bereich 215 angrenzt, in dem die Lichtstärke stark abfällt, ein Kinnbereich ist. Die Gesamtsteuerungs-CPU 101 berechnet (extrahiert) ferner die Position (die durch den in 8G gezeigten schwarzen Kreis angegeben ist), die sich in Querrichtung in der Mitte in dem Bereich 214 befindet und die am weitesten weg von der Kehlposition 204 ist, als Kinnposition 207.
8H und 8I zeigen beispielsweise Änderungen beim Drehen des Gesichts nach rechts. 8H zeigt eine Ansicht eines Differenzbildes, das durch das gleiche Verfahren wie in 8E beim Drehen des Benutzergesichts nach rechts berechnet wird. 8I zeigt eine Ansicht eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes in 8H zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten des zu dem Gesicht und dem Hals des Benutzers projizierten Infrarotlichts und Überlagern des Doppelkreises, der die Kehlposition 206 als Position des Halsdrehpunkts zeigt, und des schwarzen Kreises erhalten wird, der eine Kinnposition 207r zeigt.
Da das Benutzergesicht nach rechts gerichtet ist, bewegt sich der Bereich 214 zu einem in 8I gezeigten Bereich 214r, der sich auf der linken Seite befindet, wenn von der Bildaufnahme-/Erfassungseinheit 10 nach oben gesehen wird. Auch der Bereich 215, der dem unteren Gesichtsabschnitt entspricht, der die Lippe im Gesicht 204 enthält, bewegt sich zu einem Bereich 215r, der sich auf der linken Seite befindet, wenn von der Bildaufnahme-/Erfassungseinheit 10 nach oben geschaut wird.
Dementsprechend bestimmt die Gesamtsteuerungs-CPU 101, dass der hellere Bereich 214r, der an den Bereich 215r angrenzt, in dem die Lichtstärke scharf abfällt, der Kinnbereich ist. Des Weiteren berechnet (extrahiert) die Gesamtsteuerungs-CPU 101 die Position (die durch den in 8I gezeigten schwarzen Kreis angegeben ist), die sich in Querrichtung im Bereich 214r in der Mitte befindet und die von der Kehlposition 204 am weitesten weg ist, als Kinnposition 207r.
Danach findet die Gesamtsteuerungs-CPU 101 einen Bewegungswinkel θr, der die Rotationsbewegung von der Kinnposition 207 in dem Bild in 8G nach rechts in die Kinnposition 207r in 8I um die Kehlposition 206 zeigt. Wie in 8I gezeigt, ist der Bewegungswinkel θr ein Winkel einer Bewegung des Gesichts des Benutzers in Querrichtung.
Gemäß dem vorstehend beschriebenen Verfahren wird der Winkel des Gesichts (der nachstehend als Gesichtswinkel bezeichnet wird) des Benutzers in Querrichtung in Schritt S210 anhand der Kinnposition berechnet, die durch die Infraroterfassungseinrichtung 27 der Gesichtsrichtungserfassungseinheit (eines dreidimensionalen Erfassungssensors) 20 erfasst wird.
Als nächstes wird die Erfassung des nach oben gerichteten Gesichts beschrieben. 10B zeigt eine Ansicht eines Zustands, in dem der Benutzer das Gesicht horizontal ausrichtet. 10C zeigt eine Ansicht eines Zustands, in dem der Benutzer das Gesicht um 33° aus der horizontalen Richtung nach oben richtet.
Die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zum Kinn 203 beträgt in 10B Ffh, und die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zum Kinn 203u in 10C beträgt Ffu. Da sich das Kinn 203u zusammen mit dem Gesicht nach oben bewegt, wird die Entfernung Ffu größer als die Entfernung Ffh, wie es in 10C gezeigt ist.
8J zeigt eine Ansicht eines Bildes des Benutzers, der das Gesicht aus der horizontalen Richtung um 33° nach oben richtet, betrachtet von dem Gesichtsrichtungserfassungsfenster 13 aus. Da der Benutzer das Gesicht wie in 10C gezeigt nach oben richtet, kann das Gesicht 204, das Lippe und Nase enthält, von dem Gesichtsrichtungserfassungsfenster 13 aus nicht gesehen werden, das sich unter dem Kiefer des Benutzers befindet. Das Kinn 203 und seine Halsseite werden gesehen. 8K zeigt eine Verteilung der Lichtstärke des reflektierten Lichts 25 beim Bestrahlen des Benutzers in dem in 10C gezeigten Zustand mit dem Infrarotlicht 23. Ein Bild auf der linken Seite in 8K ist eine Ansicht eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes, das durch das gleiche Verfahren wie in 8E erhalten wird, zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten des zu Gesicht und Hals des Benutzers projizierten Infrarotlichts und durch Überlagern des die Kehlposition 206 zeigenden Doppelkreises und des eine Kinnposition 207u zeigenden schwarzen Kreises erhalten wird. Zwei Graphen in 8K zeigen Schwärzungsänderungen des linken Bildes. Der linke Graph ist äquivalent zu dem Graph in 8F, und der rechte Graph ist äquivalent zu dem Graph in 8G.
Sechs Bereiche 211u, 212u, 213u, 214u, 215u und 216u, die den Lichtstärken in 8K entsprechen, sind durch Hinzufügen von „u“ zu den in 8F gezeigten Bezugszeichen mit denselben Lichtstärkebereichen angegeben. Obwohl die Lichtstärke des Benutzerkinns 203 in dem mittelgrauen Bereich 214 in 8F enthalten ist, verschiebt sie sich zu der schwarzen Seite und ist in dem etwas dunklen grauen Bereich 215u in 8K enthalten. Da so die Entfernung Ffu größer als die Entfernung Ffh wie in 10C gezeigt ist, kann die Infraroterfassungseinrichtung 27 erfassen, dass die Lichtstärke des reflektierten Lichts 25 vom Kinn 203 umgekehrt proportional zum Quadrat der Entfernung schwächer wird.
Als nächstes wird die Erfassung des nach unten gerichteten Gesichts beschrieben. 10D zeigt eine Ansicht eines Zustands, in dem der Benutzer das Gesicht aus der horizontalen Richtung um 22° nach unten richtet. In 10D beträgt eine Entfernung vom Gesichtsrichtungserfassungsfenster 13 zum Kinn 203d Ffd.
Da sich das Kinn 203d zusammen mit dem Gesicht nach unten bewegt, wird die Entfernung Ffd kürzer als die Entfernung Ffh, wie in 10D gezeigt, und die Lichtstärke des reflektierten Lichts 25 vom Kinn 203 wird stärker.
Gemäß 7C berechnet die Gesamtsteuerungs-CPU (eine Entfernungsberechnungseinheit) 101 in Schritt S211 die Entfernung von der Kinnposition zu dem Gesichtsrichtungserfassungsfenster 13 beruhend auf der Lichtstärke der Kinnposition, die durch die Infraroterfassungseinrichtung 27 der Gesichtsrichtungserfassungseinheit (eines dreidimensionalen Erfassungssensors) 20 erfasst wird. Darauf beruhend wird auch ein Gesichtswinkel in vertikaler Richtung berechnet.
In Schritt S212 speichert die Gesamtsteuerungs-CPU 101 den Gesichtswinkel in Querrichtung (einer ersten Erfassungsrichtung), der in Schritt S210 erhalten wird, und den Gesichtswinkel in vertikaler Richtung (einer zweiten Erfassungsrichtung), der in Schritt S211 erhalten wird, im Primärspeicher 103 als dreidimensionale Beobachtungsrichtung vi („i“ ist ein beliebiges Bezugszeichen) des Benutzers. Wenn der Benutzer beispielsweise die Mitte vorne betrachtet, ist der Gesichtswinkel θh in Querrichtung 0° und der Gesichtswinkel θv in vertikaler Richtung ist 0°. Demnach wird eine Beobachtungsrichtung vo in diesem Fall durch Vektorinformationen [0°, 0°] dargestellt. Wenn der Benutzer ferner eine rechte 45°-Richtung beobachtet, wird die Beobachtungsrichtung vr durch Vektorinformationen [45°, 0°] dargestellt.
Obwohl der Gesichtswinkel in vertikaler Richtung in Schritt S211 durch Erfassen der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 berechnet wird, kann der Gesichtswinkel durch ein anderes Verfahren berechnet werden. Beispielsweise kann eine Änderung des Gesichtswinkels durch Vergleichen von Änderungsgraden der Lichtstärke des Kinns 203 berechnet werden. Das heißt, die Änderung des Gesichtswinkels kann durch Vergleichen eines Gradienten CDh der reflektierten Lichtstärke von der Wurzel 202 des Kiefers zum Kinn 203 in dem Graph in 8G mit einem Gradienten CDu der reflektierten Lichtstärke von der Wurzel 202 des Kiefers zum Kinn 203 im Graph in 8K berechnet werden.
7D zeigt ein Ablaufdiagramm einer Unterroutine des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A. Vor der Beschreibung von Einzelheiten dieses Prozesses wird zuerst ein Superweitwinkelbild unter Verwendung von 11A beschrieben, das einer Bestimmung einer Aufzeichnungsrichtung und eines Aufzeichnungsbereichs bei diesem Ausführungsbeispiel unterzogen wird.
Im Kamerahauptteil 1 dieses Ausführungsbeispiels nimmt die Bildaufnahmeeinheit 40 ein Superweitwinkelbild der Umgebung der Bildaufnahme-/Erfassungseinheit 10 unter Verwendung des Superweitwinkelbildaufnahmeobjektivs 16 auf. Durch Extrahieren eines Teils des Superweitwinkelbildes kann ein Bild einer Beobachtungsrichtung erhalten werden.
11A zeigt eine Darstellung eines Zielblickfeldes 125, das in einem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild in einem Fall eingestellt ist, in dem der Benutzer nach vorne schaut.
Wie in 11A gezeigt, ist ein Bildelementbereich 121, der durch den Festkörperbildsensor 42 aufgenommen werden kann, ein rechtwinkliger Bereich. Ferner ist ein effektiver Projektionsbereich (ein vorbestimmter Bereich) 122 ein Bereich eines kreisförmigen Halbhimmelsphärenbildes, das ein durch das Bildaufnahmeobjektiv 16 auf den Festkörperbildsensor 42 projiziertes Fish-Eye-Bild ist. Das Bildaufnahmeobjektiv 16 ist derart angepasst, dass die Mitte des Bildelementbereichs 121 mit der Mitte des effektiven Projektionsbereichs 122 zusammenfällt.
Die äußerste Peripherie des kreisförmigen effektiven Projektionsbereichs 122 zeigt eine Position, an der ein FOV (Sichtfeld)-Winkel 180° beträgt. Wenn der Benutzer sowohl in vertikaler als auch in horizontaler Richtung in die Mitte schaut, wird ein Winkelbereich des Zielblickfeldes 125, das aufgenommen und aufgezeichnet wird, 90° (die Hälfte des FOV-Winkels), zentriert an der Mitte des effektiven Projektionsbereichs 122. Es wird angemerkt, dass das Bildaufnahmeobjektiv 16 dieses Ausführungsbeispiels auch Licht außerhalb des effektiven Projektionsbereichs 122 einsetzen kann und Licht innerhalb des maximalen FOV-Winkels 192° auf den Festkörperbildsensor 42 als Fish-Eye-Bild projizieren kann. Allerdings fällt die optische Leistung in dem Bereich außerhalb des effektiven Projektionsbereichs 122 stark ab. Beispielsweise sinkt die Auflösung extrem, die Lichtmenge sinkt und die Verzerrung nimmt zu. Demnach wird bei diesem Ausführungsbeispiel ein Bild einer Beobachtungsrichtung als Aufzeichnungsbereich lediglich von dem Inneren des Bildes (das nachstehend einfach als Superweitwinkelbild bezeichnet wird) extrahiert, das in den Bildelementbereich 121 in dem Halbhimmelssphärenbild projiziert wird, das auf dem effektiven Projektionsbereich 122 angezeigt wird.
Da die Größe des effektiven Projektionsbereichs 122 in vertikaler Richtung größer ist als die Größe der kurzen Seite des Bildelementbereichs 121, befinden sich das obere und untere Ende des Bildes in dem effektiven Projektionsbereich 122 bei diesem Ausführungsbeispiel außerhalb des Bildelementbereichs 121. Allerdings ist die Beziehung zwischen den Bereichen nicht darauf beschränkt. Das optische System kann beispielsweise derart entworfen sein, dass der gesamte effektive Projektionsbereich 122 in dem Bildelementbereich 121 enthalten ist, indem die Konfiguration des Bildaufnahmeobjektivs 16 verändert wird. Ungültige Bildelementbereiche 123 sind Teile des Bildelementbereichs 121, die in dem effektiven Projektionsbereich 122 nicht enthalten sind.
Das Zielblickfeld 125 zeigt einen Bereich eines Bildes einer Benutzerbeobachtungsrichtung, der aus dem Superweitwinkelbild extrahiert werden wird. Das Zielblickfeld 125 wird durch einen linken, rechten, oberen und unteren Bildwinkel (in diesem Fall 45°, der FOV-Winkel beträgt 90°) zentriert an der Beobachtungsrichtung bestimmt. Da der Benutzer in dem Beispiel von 11A nach vorne schaut, wird die Mitte des Zielblickfeldes 125 zur Beobachtungsrichtung vo, die mit der Mitte des effektiven Projektionsbereichs 122 zusammenfällt.
Das in 11A gezeigte Superweitwinkelbild enthält ein A-Objekt 131, bei dem es sich um ein Kind handelt, ein B-Objekt 132, das Stufen zeigt, die das Kind (welches das A-Objekt ist) zu erklimmen versucht, und ein C-Objekt 133, bei dem es sich um eine lokomotivenähnliche Spielplatzausstattung handelt.
Als nächstes ist der Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A, der zum Erhalten eines Bildes einer Beobachtungsrichtung aus dem unter Verwendung von 11A beschriebenen Superweitwinkelbild ausgeführt wird, in 7D gezeigt. Dieser Prozess wird nachstehend unter Verwendung von 12A bis 12G beschrieben, die konkrete Beispiele des Zielblickfeldes 125 zeigen.
In Schritt S301 wird ein Bildwinkeleinstellwert V_ang, der vorab eingestellt wird, durch Lesen aus dem Primärspeicher 103 erhalten.
Bei diesem Ausführungsbeispiel speichert der interne nichtflüchtige Speicher 102 alle verfügbaren Bildwinkel (45°, 90°, 110° und 130°) als Bildwinkeleinstellwerte V_ang. Die Bildextraktions-/Entwicklungseinheit 50 extrahiert ein Bild einer Beobachtungsrichtung in einem durch den Bildwinkeleinstellwert V_ang definierten Bereich aus dem Superweitwinkelbild. Ferner wird der Bildwinkeleinstellwert V_ang, der in den verschiedenen Einstellwerten enthalten ist, die in einem der Schritte S103, S106 und S108 in 7B aus dem internen nichtflüchtigen Speicher 102 gelesen werden, etabliert und in dem Primärspeicher 103 gespeichert.
In Schritt S301 wird ferner die in Schritt S212 bestimmte Beobachtungsrichtung vi als die Aufzeichnungsrichtung bestimmt, ein Bild in dem Zielblickfeld 125, dessen Mitte durch die Beobachtungsrichtung vi festgelegt ist, und von dem ein Bereich durch den erhaltenen Bildwinkeleinstellwert V_ang definiert wird, aus dem Superweitwinkelbild extrahiert, und das extrahierte Bild wird in dem Primärspeicher 103 gespeichert.
Wenn der Bildwinkeleinstellwert V_ang beispielsweise 90° beträgt und die Beobachtungsrichtung vo (Vektorinformationen [0°, 0°]) über den Gesichtsrichtungserfassungsprozess (7C) erfasst wird, wird das Zielblickfeld 125, dessen Winkelweiten links und rechts 45° betragen und oben und unten 45° betragen (11A) zentriert an der Mitte O des effektiven Projektionsbereichs 122 etabliert. 11B zeigt eine Ansicht des Bildes in dem Zielblickfeld 125, das aus dem Superweitwinkelbild in 11A extrahiert wird. Das heißt, die Gesamtsteuerungs-CPU (eine Relativpositionseinstelleinheit) 101 stellt den Winkel der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung auf die Beobachtungsrichtung vi ein, bei der es sich um die Vektorinformationen handelt, die die relative Position des Zielblickfeldes 125 bezüglich des Superweitwinkelbildes zeigen.
Da der Einfluss der durch das Bildaufnahmeobjektiv 16 verursachten optischen Verzerrung überwiegend vernachlässigt werden kann, ist die Form des etablierten Zielblickfeldes 125 im Fall der Beobachtungsrichtung vo beinahe identisch mit der Form eines Zielblickfeldes 125o (12A) nach Umwandlung der Verzerrung in einem nachstehend beschriebenen Schritt S303. Nachstehend wird ein Zielblickfeld nach Umwandlung der Verzerrung im Fall der Beobachtungsrichtung vi Zielblickfeld 125i genannt.
Als nächstes wird in Schritt S302 eine Bildstabilisierungsstufe, die vorab eingestellt wird, durch Lesen aus dem Primärspeicher 103 erhalten.
Bei diesem Ausführungsbeispiel wird die Bildstabilisierungsstufe, die in den verschiedenen Einstellwerten enthalten ist, die in einem der Schritte S103, S106 und S108 aus dem internen nichtflüchtigen Speicher 102 gelesen werden, wie vorstehend beschrieben etabliert und im Primärspeicher 103 gespeichert.
In Schritt S302 wird ferner eine Bildstabilisierungsrandbildelementzahl P_is beruhend auf der erhaltenen Bildstabilisierungsstufe eingestellt.
Bei dem Bildstabilisierungsprozess wird ein Bild, das in einer Richtung entgegengesetzt zu einer Unschärferichtung folgt, gemäß einem Unschärfeausmaß der Bildaufnahme-/Erfassungseinheit 10 erhalten. Demnach wird bei diesem Ausführungsbeispiel ein für die Bildstabilisierung erforderlicher Bildstabilisierungsrand um das Zielblickfeld 125i errichtet.
Bei diesem Ausführungsbeispiel ist ferner eine Tabelle im internen nichtflüchtigen Speicher 102 gespeichert, die Werte der Bildstabilisierungsrandbildelementzahl P_is in Verbindung mit jeweiligen Bildstabilisierungsstufen hält. Wenn die Bildstabilisierungsstufe beispielsweise „Mittel“ ist, wird ein Bildstabilisierungsrand, dessen Breite „100 Bildelemente“ beträgt, bei denen es sich um die aus der vorstehend angeführten Tabelle gelesene Bildstabilisierungsrandbildelementzahl P_is handelt, um das Zielblickfeld errichtet.
12E zeigt eine Darstellung eines Beispiels, das einen einer vorbestimmten Bildstabilisierungsstufe entsprechenden Bildstabilisierungsrand um das in 12A gezeigte Zielblickfeld 125o vorsieht. Hier wird ein Fall beschrieben, in dem die Bildstabilisierungsstufe „Mittel“ ist, das heißt, in dem die Bildstabilisierungsrandbildelementzahl P_is „100 Bildelemente“ beträgt.
Wie durch die gestrichelte Linie in 12E gezeigt, wird an der linken, rechten, oberen und unteren Seite des Zielblickfelds 125o ein Bildstabilisierungsrand 126o errichtet, dessen Breite „100 Bildelemente“ beträgt, bei denen es sich um die Bildstabilisierungsrandbildelementzahl P_is handelt.
12A und 12E zeigen zur Vereinfachung der Beschreibung den Fall, in dem die Beobachtungsrichtung vi mit der Mitte O (der Mitte der optischen Achse des Bildaufnahmeobjektivs 16) des effektiven Projektionsbereichs 122 übereinstimmt. Wenn die Beobachtungsrichtung vi unterdessen zu einer Peripherie des effektiven Projektionsbereichs 122 gerichtet ist, ist die Umwandlung zur Verringerung des Einflusses der optischen Verzerrung erforderlich.
In Schritt S303 wird die Form des in Schritt S301 errichteten Zielblickfeldes 125 unter Berücksichtigung der Beobachtungsrichtung vi und der optischen Eigenschaften des Bildaufnahmeobjektivs 16 korrigiert (die Verzerrung umgewandelt), um das Zielblickfeld 125i zu erzeugen. Gleichermaßen wird auch die in Schritt S302 eingestellte Bildstabilisierungsrandbildelementzahl P_is unter Berücksichtigung der Beobachtungsrichtung vi und der optischen Eigenschaften des Bildaufnahmeobjektivs 16 korrigiert.
Der Bildwinkeleinstellwert V_ang sei beispielsweise 90°, und der Benutzer beobachte eine rechte 45°-Richtung von der Mitte o. In diesem Fall wird die Beobachtungsrichtung vr (Vektorinformationen [45°, 0°]) in Schritt S212 bestimmt, und der Bereich von 45° links und rechts und 45° oben und unten, zentriert an der Beobachtungsrichtung vr, wird zum Zielblickfeld 125. Ferner wird das Zielblickfeld 125 unter Berücksichtigung der optischen Eigenschaften des Bildaufnahmeobjektivs 16 in das in 12B gezeigte Zielblickfeld 125r korrigiert.
Wie in 12B gezeigt, wird das Zielblickfeld 125r in Richtung der Peripherie des effektiven Projektionsbereichs 122 weiter. Und die Position der Beobachtungsrichtung vr nähert sich im Inneren ein wenig von der Mitte des Zielblickfeldes 125r. Der Grund dafür ist, dass der optische Entwurf des Bildaufnahmeobjektivs 16 bei diesem Ausführungsbeispiel dem einer Stereographie-Projektions-Fish-Eye-Linse ähnlich ist. Es wird angemerkt, dass die Inhalte der Korrektur vom optischen Entwurf des Bildaufnahmeobjektivs 16 abhängen. Wenn das Bildaufnahmeobjektiv 16 als äquidistantes Projektions-Fish-Eye-Objektiv, Gleicher-Raumwinkel-Projektions-Fish-Eye-Objektiv oder Orthogonal-Projektions-Fish-Eye-Objektiv entworfen ist, wird das Zielblickfeld 125 gemäß der optischen Eigenschaften dieser korrigiert.
12F zeigt eine Darstellung eines Beispiels, das einen der gleichen Bildstabilisierungsstufe „Mittel“ des Bildstabilisierungsrands in 12E entsprechenden Bildstabilisierungsrand 126r um das in 12B gezeigte Zielblickfeld 125r bereitstellt.
Der Bildstabilisierungsrand 126o (12E) wird an der linken, rechten, oberen und unteren Seite des Zielblickfeldes 125o mit der Breite von „100 Bildelementen“ errichtet, die die Bildstabilisierungsrandbildelementzahl P_is darstellen. Verglichen damit wird die Bildstabilisierungsrandbildelementzahl P_is des Bildstabilisierungsrands 126r (12F) korrigiert, damit sie sich zu der Peripherie des effektiven Projektionsbereichs 122 erhöht.
Auf diese Weise wird wie für die Form des Zielblickfeldes 125r auch die Form des um das Zielblickfeld 125r errichteten Bildstabilisierungsrands korrigiert, so dass sich das Korrekturausmaß zu der Peripherie des effektiven Projektionsbereichs 122 erhöht, wie es durch den Bildstabilisierungsrand 126r in 12F gezeigt ist. Der Grund hierfür ist auch, dass der optische Entwurf des Bildaufnahmeobjektivs 16 bei diesem Ausführungsbeispiel ähnlich dem eines Stereographie-Projektions-Fish-Eye-Objektivs ist. Es wird angemerkt, dass die Inhalte der Korrektur von dem optischen Entwurf des Bildaufnahmeobjektivs 16 abhängen. Wenn das Bildaufnahmeobjektiv 16 als äquidistantes Projektions-Fish-Eye-Objektiv, Gleicher-Raumwinkel-Projektions-Fish-Eye-Objektiv oder Orthogonal-Projektions-Fish-Eye-Objektiv entworfen ist, wird der Bildstabilisierungsrand 126r gemäß dessen optischen Eigenschaften korrigiert.
Der in Schritt S303 ausgeführte Prozess, der die Formen des Zielblickfeldes 125 und seines Bildstabilisierungsrands unter Berücksichtigung der optischen Eigenschaften des Bildaufnahmeobjektivs 16 sukzessive umschaltet, ist ein komplizierter Prozess. Dementsprechend wird der Prozess in Schritt S303 bei diesem Ausführungsbeispiel unter Verwendung einer Tabelle ausgeführt, die Formen des Zielblickfeldes 125i und seines Bildstabilisierungsrands für jede Beobachtungsrichtung vi im internen nichtflüchtigen Speicher 102 gespeichert hält. Es wird angemerkt, dass die Gesamtsteuerungs-CPU 101 eine Rechengleichung aufweisen kann, die vom optischen Entwurf des Bildaufnahmeobjektivs 16 entspricht. In diesem Fall kann die Gesamtsteuerungs-CPU 101 einen optischen Verzerrungswert unter Verwendung der Rechengleichung berechnen.
In Schritt S304 werden eine Position und eine Größe eines Bildaufzeichnungsrahmens berechnet. Wie vorstehend beschrieben, wird der Bildstabilisierungsrand 126i um das Zielblickfeld 125i errichtet. Wenn aber die Position der Beobachtungsrichtung vi nahe der Peripherie des effektiven Projektionsbereichs 122 liegt, wird die Form des Bildstabilisierungsrands merklich speziell, wie es beispielsweise durch den Bildstabilisierungsrand 126r gezeigt ist.
Die Gesamtsteuerungs-CPU 101 kann ein Bild nur in einem derartigen speziell geformten Bereich extrahieren und den Entwicklungsprozess bei dem extrahierten Bild anwenden. Allerdings ist die Verwendung eines Bildes, das nicht rechteckig ist, beim Aufzeichnen als Bilddaten in Schritt S600 oder Übertragen von Bilddaten zu der Anzeigevorrichtung 800 in Schritt S700 nicht üblich. Dementsprechend werden in Schritt S304 die Position und Größe des Bildaufzeichnungsrahmens 127i einer rechtwinkligen Form berechnet, die den gesamten Bildstabilisierungsrand 126i enthält.
12F zeigt den Bildaufzeichnungsrahmen 127r, der in Schritt S304 zu dem Bildstabilisierungsrand 126r berechnet wird, durch eine Linie mit abwechselnden langen und kurzen Strichen.
In Schritt S305 werden die Position und Größe des Bildaufzeichnungsrahmens 127i, die in Schritt S304 berechnet werden, im Primärspeicher 103 aufgezeichnet.
Bei diesem Ausführungsbeispiel wird eine links oben Koordinate (Xi, Yi) des Bildaufzeichnungsrahmens 127i in dem Superweitwinkelbild als die Position des Bildaufzeichnungsrahmens 127i aufgezeichnet, und eine laterale Breite WXi und eine vertikale Breite WYi, die von der Koordinate (Xi, Yi) aus beginnen, werden als die Größe des Bildaufzeichnungsrahmens 127i aufgezeichnet. Beispielsweise werden in Schritt S305 eine Koordinate (Xr, Yr), eine laterale Breite WXr und eine vertikale Breite WYr des in 12F gezeigten Bildaufzeichnungsrahmens 127r aufgezeichnet. Es wird angemerkt, dass die Koordinate (Xi, Yi) eine XY-Koordinate ist, deren Ursprung ein vorbestimmter Referenzpunkt, insbesondere die optische Mitte des Bildaufnahmeobjektivs 16 ist.
Wenn der Bildstabilisierungsrand 126i und der Bildaufzeichnungsrahmen 127i auf diese Weise bestimmt wurden, verlässt der Prozess diese in 7D gezeigte Unterroutine.
Bisher wurden die Beobachtungsrichtungen, deren horizontaler Winkel 0° beträgt, wie die Beobachtungsrichtung v0 (die Vektorinformationen [0°, 0°]) und die Beobachtungsrichtung vr (die Vektorinformationen [45°, 0°]) beschrieben, um die Beschreibung der komplizierten optischen Verzerrungsumwandlung zu vereinfachen. Unterdessen ist eine tatsächliche Beobachtungsrichtung vi des Benutzers beliebig. Dementsprechend wird nachstehend der Aufzeichnungsbereichsentwicklungsprozess beschrieben, der ausgeführt wird, wenn der horizontale Winkel nicht 0° beträgt. Wenn der Bildwinkeleinstellwert V_ang beispielsweise 90° und die Beobachtungsrichtung vm [-42°, -40°] betragen, erscheint ein Zielblickfeld 125m wie in 12C gezeigt.
Selbst wenn die Beobachtungsrichtung vm (die Vektorinformationen [-42°, - 40°]) die gleich wie das Zielblickfeld 125m ist, erscheint ein Zielblickfeld 128m wie in 12D gezeigt, welches etwas kleiner als das Zielblickfeld 125m ist, wenn der Bildwinkeleinstellwert V_ang 45° ist.
Für ein Zielblickfeld, das entsprechend dem Bildwinkeleinstellwert V_ang und der Beobachtungsrichtung ym eingestellt (bestimmt) ist, werden ein Bildstabilisierungsrand und ein Bildaufzeichnungsrahmen eingestellt, die der Bildstabilisierungsstufe entsprechen, die in einem der Schritte S103, S106 und S108 eingestellt wird. Ist die Bildstabilisierungsstufe beispielsweise auf „mittel“ eingestellt, werden ein Bildstabilisierungsrand 129m und ein Bildaufzeichnungsrahmen 130m für das Zielblickfeld 128m wie in 12G gezeigt eingestellt..
Da der Prozess in Schritt S400 ein grundlegender Bildaufnahmebetrieb ist und eine allgemeine Sequenz der Bildaufnahmeeinheit 40 anwendet, wird auf seine Beschreibung verzichtet. Es wird angemerkt, dass die Bildsignalverarbeitungsschaltung 43 in der Bildaufnahmeeinheit 40 bei diesem Ausführungsbeispiel auch einen Prozess durchführt, der Signale eines inhärenten Ausgabeformats (Standardbeispiele: MIPI, SLVS), das aus dem Festkörperbildsensor 42 ausgegeben werden, in Aufnahmebilddaten eines allgemeinen Sensorlesesystems umwandelt.
Wenn der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt wird, startet die Bildaufnahmeeinheit 40 im Ansprechen auf ein Drücken des Startschalters 14 eine Aufzeichnung. Danach wird die Aufzeichnung beendet, wenn der Stoppschalter 15 gedrückt wird. Wenn unterdessen der Stehbildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt wird, nimmt die Bildaufnahmeeinheit 40 jedes Mal dann ein statisches Bild auf, wenn der Startschalter 14 gedrückt wird.
7E zeigt ein Ablaufdiagramm einer Unterroutine des Aufzeichnungsbereichsentwicklungsprozesses in Schritt S500 in 7A.
In Schritt S501 werden Raw-Daten des gesamten Bereichs der Aufnahmebilddaten (Superweitwinkelbild), die durch die Bildaufnahmeeinheit 40 in Schritt S400 erzeugt werden, erhalten und in eine Haupteinheit genannte Bilderfassungseinheit (nicht gezeigt) der Gesamtsteuerungs-CPU 101 eingegeben.
Als nächstes wird in Schritt S502 das Bild im Bildaufzeichnungsrahmen 127i aus dem in Schritt S501 erhaltenen Superweitwinkelbild beruhend auf der Koordinate (Xi, Yi), lateralen Breite WXi und vertikalen Breite WYi extrahiert, die in Schritt S305 in dem Primärspeicher 103 aufgezeichnet werden. Nach der Extraktion werden die Prozesse in später beschriebenen Schritten S503 bis S508 nur bei den Bildelementen in dem Bildstabilisierungsrand 126i ausgeführt. Auf diese Weise beginnt ein Zuschnittsentwicklungsprozess (7F) aus den Schritten S502 bis S508. Dies kann einen Berechnungsumfang verglichen mit einem Fall signifikant verringern, in dem der Entwicklungsprozess bei dem gesamten Bereich des in Schritt S501 gelesenen Superweitwinkelbildes ausgeführt wird. Demnach können Berechnungszeit und elektrischer Energieverbrauch verringert werden.
Wie in 7F gezeigt, werden die Prozesse der Schritte S200 und S300 und der Prozess von Schritt S400 parallel mit derselben Bildwechselfrequenz oder verschiedenen Bildwechselfrequenzen ausgeführt, wenn der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt ist. Immer wenn die Raw-Daten des gesamten Bereichs eines durch die Bildaufnahmeeinheit 40 erzeugten Rahmens erhalten werden, wird der Zuschnittsentwicklungsprozess beruhend auf der Koordinate (Xi, Yi), lateralen Breite WXi und vertikalen Breite WYi ausgeführt, die an diesem Zeitpunkt im Primärspeicher 103 aufgezeichnet sind.
Wenn der Zuschnittsentwicklungsprozess bei den Bildelementen im Bildstabilisierungsrand 126i gestartet wird, und wenn der Abschnitt im Bildaufzeichnungsrahmen 127i in Schritt S502 extrahiert wird, wird in Schritt S503 eine Farbinterpolation ausgeführt, die Daten von Farbbildelementen interpoliert, die nach der Bayer-Anordnung angeordnet sind. Danach wird in Schritt S504 ein Weißabgleich angepasst, und dann wird in Schritt S505 eine Farbumwandlung ausgeführt. In Schritt S506 wird eine Gammakorrektur durchgeführt, die eine Abstufung gemäß einem vorab eingestellten Gammakorrekturwert korrigiert. In Schritt S507 wird entsprechend einer Bildgröße eine Kantenhervorhebung durchgeführt.
In Schritt S508 werden die Bilddaten in ein Datenformat konvertiert, das primär gespeichert werden kann, indem Prozesse wie eine Komprimierung angewendet werden. Die konvertierten Bilddaten werden im Primärspeicher 103 gespeichert. Danach verlässt der Prozess die Unterroutine. Einzelheiten des Datenformats, das primär gespeichert werden kann, werden später beschrieben.
Die Reihenfolge und das Vorhandensein der Prozesse des in den Schritten S503 bis S508 ausgeführten Zuschnittsentwicklungsprozesses können gemäß den Eigenschaften des Kamerasystems aufgebaut werden, und sie schränken die vorliegende Erfindung nicht ein. Wenn der Videobildmodus ausgewählt ist, werden die Prozesse der Schritte S200 bis S500 ferner wiederholt ausgeführt, bis die Aufzeichnung beendet ist.
Gemäß diesem Prozess wird der Berechnungsaufwand verglichen mit einem Fall signifikant verringert, in dem der Entwicklungsprozess bei dem gesamten in Schritt S501 gelesenen Bereich ausgeführt wird. Dementsprechend kann ein kostengünstiger Mikrocomputer mit geringem Energieverbrauch als Gesamtsteuerungs-CPU 101 angewendet werden. Ferner ist die Wärmeerzeugung in der Gesamtsteuerungs-CPU 101 verringert, und die Lebensdauer der Batterie 94 verlängert sich.
Um eine Steuerungslast der Gesamtsteuerungs-CPU 101 zu verringern, werden der optische Korrekturprozess (Schritt S800 in 7A) und der Bildstabilisierungsprozess (Schritt S900 in 7A) bei dem Bild bei diesem Ausführungsbeispiel ferner nicht durch den Kamerahauptteil 1 ausgeführt. Diese Prozesse werden durch die Anzeigevorrichtungssteuereinrichtung 801 nach Übertragung des Bildes zu der Anzeigevorrichtung 800 ausgeführt. Wenn lediglich Daten eines Teilbildes, das aus einem projizierten Superweitwinkelbild extrahiert wird, zu der Anzeigevorrichtung 800 übertragen werden, können demnach weder der optische Korrekturprozess noch der Bildstabilisierungsprozess ausgeführt werden. Das heißt, da die Daten des extrahierten Bildes keine Positionsinformationen enthalten, die in eine Formel des optischen Korrekturprozesses eingesetzt werden und die zum Bezugnehmen auf die Korrekturtabelle des Bildstabilisierungsprozesses verwendet werden, kann die Anzeigevorrichtung 800 diese Prozesse nicht korrekt ausführen. Dementsprechend überträgt der Kamerahauptteil 1 bei diesem Ausführungsbeispiel Korrekturdaten, die Informationen über eine Extraktionsposition eines Bildes aus einem Superweitwinkelbild enthalten, zusammen mit Daten des extrahierten Bildes zu der Anzeigevorrichtung 800.
Wenn das extrahierte Bild ein Stehbild ist, kann die Anzeigevorrichtung 800 den optischen Korrekturprozess und den Bildstabilisierungsprozess korrekt ausführen, da die Stehbilddaten den Korrekturdaten eins zu eins entsprechen, selbst wenn diese Daten separat zu der Anzeigevorrichtung 800 übertragen werden. Wenn das extrahierte Bild unterdessen ein Videobild ist, wird es schwierig, wenn die Videobilddaten und die Korrekturdaten separat zu der Anzeigevorrichtung 800 übertragen werden, eine Entsprechung zwischen jedem Rahmen der Videobilddaten und den Korrekturdaten zu bestimmen. Insbesondere wenn eine Taktrate der Gesamtsteuerungs-CPU 101 in dem Kamerahauptteil 1 von einer Taktrate der Anzeigevorrichtungssteuereinrichtung 801 in der Anzeigevorrichtung 800 etwas verschieden ist, geht die Synchronisation zwischen der Gesamtsteuerungs-CPU 101 und der Anzeigevorrichtungssteuereinrichtung 801 während des Videobildaufnahmebetriebs für mehrere Minuten verloren. Dies kann einen Fehler derart verursachen, dass die Anzeigevorrichtungssteuereinrichtung 801 einen Rahmen mit Korrekturdaten korrigiert, die von den entsprechenden Korrekturdaten verschieden sind.
Dementsprechend stellt der Kamerahauptteil 1 bei diesem Ausführungsbeispiel beim Übertragen von Daten eines extrahierten Videobildes zu der Anzeigevorrichtung 800 seine Korrekturdaten für die Daten des Videobildes geeignet bereit. Nachstehend wird das Verfahren beschrieben.
14 zeigt ein Ablaufdiagramm der Unterroutine des Primäraufzeichnungsprozesses in Schritt S600 in 7a. Dieser Prozess wird nachstehend auch unter Bezugnahme auf 15 beschrieben. 14 zeigt den Prozess eines Falls, in dem der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt ist. Wenn der Stehbildmodus ausgewählt ist, beginnt dieser Prozess von Schritt S601 an und wird nach einem Prozess eines Schritts S606 beendet.
In Schritt S601a liest die Gesamtsteuerungs-CPU 101 ein Bild eines Rahmens, bei dem die Prozesse in den Schritten S601 bis S606 nicht angewendet wurden, aus dem im Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelten Videobild. Die Gesamtsteuerungs-CPU (eine Metadatenerzeugungseinheit) 101 erzeugt ferner Korrekturdaten, die Metadaten des gelesenen Rahmens sind.
In Schritt S601 fügt die Gesamtsteuerungs-CPU 101 die Informationen über die Extraktionsposition des in Schritt S601a gelesenen Bildes des Rahmens zu den Korrekturdaten hinzu. Die in diesem Schritt angefügten Informationen stellen die in Schritt S305 erhaltene Koordinate (Xi, Yi) des Bildaufzeichnungsrahmens 127i dar. Es wird angemerkt, dass die in diesem Schritt angefügten Informationen die Vektorinformationen sein können, die die Beobachtungsrichtung vi zeigen.
In Schritt S602 erhält die Gesamtsteuerungs-CPU (eine Optischer-Korrekturwert-Erhalteeinheit) 101 einen optischen Korrekturwert. Der optische Korrekturwert ist der in Schritt S303 eingestellte optische Verzerrungswert. Alternativ kann der optische Korrekturwert ein Korrekturwert sein, der den optischen Eigenschaften des Objektivs entspricht, wie ein Marginallichtmengenkorrekturwert oder ein Beugungskorrekturwert.
In Schritt S603 fügt die Gesamtsteuerungs-CPU 101 den für die Verzerrungsumwandlung in Schritt S602 verwendeten optischen Korrekturwert zu den Korrekturdaten hinzu.
In Schritt S604 bestimmt die Gesamtsteuerungs-CPU 101, ob der Bildstabilisierungsmodus in Kraft ist. Wenn der vorab errichtete Bildstabilisierungsmodus „Mittel“ oder „Stark“ ist, wird insbesondere bestimmt, dass der Bildstabilisierungsmodus in Kraft ist, und der Prozess schreitet zu Schritt S605 voran. Wenn der vorab eingestellte Bildstabilisierungsmodus unterdessen „AUS“ ist, wird bestimmt, dass der Bildstabilisierungsmodus nicht in Kraft ist, und der Prozess geht zu Schritt S606 über. Der Grund, warum Schritt S605 übersprungen wird, wenn der Bildstabilisierungsmodus „AUS“ ist, besteht darin, dass die Berechnungsdatenmenge der Gesamtsteuerungs-CPU 101 und die Datenmenge der Drahtloskommunikation reduziert sind und der Energieverbrauch und die Wärmeerzeugung des Kamerahauptteils 1 reduziert werden können, indem Schritt S605 übersprungen wird. Obwohl die Verringerung der für den Bildstabilisierungsprozess verwendeten Daten beschrieben ist, können die Daten hinsichtlich des Marginallichtmengenwerts oder die Daten hinsichtlich des Beugungskorrekturwerts verringert werden, der in Schritt S602 als optischer Korrekturwert erhalten wird.
Obwohl der Bildstabilisierungsmodus bei diesem Ausführungsbeispiel durch die Benutzerbedienung an der Anzeigevorrichtung 800 vorab eingestellt wird, kann er als Vorgabeeinstellung des Kamerahauptteils 1 eingestellt sein. Wenn das Kamerasystem ferner zum Umschalten der Wirksamkeit des Bildstabilisierungsprozesses nach Übertragung von Bilddaten zu der Anzeigevorrichtung 800 konfiguriert ist, kann der Prozess von Schritt S603 direkt zu Schritt S605 übergehen, indem Schritt S604 weggelassen wird.
In Schritt S605 fügt die Gesamtsteuerungs-CPU (eine Bewegungsausmaßerfassungseinheit) 101 den Bildstabilisierungsmodus, der in Schritt S302 erhalten wird, und die Kreiseldaten zu den Korrekturdaten hinzu, die mit dem Rahmen assoziiert sind, der in Schritt S601a gelesen und im Primärspeicher 813 gespeichert wird.
In Schritt S606 aktualisiert die Gesamtsteuerungs-CPU 101 eine Videodatei 1000 (15) mit Daten, die durch Kodieren der Bilddaten des in Schritt S601a gelesenen Rahmens und der Korrekturdaten erhalten werden, zu denen die verschiedenen Daten in den Schritten S601 bis S605 hinzugefügt werden. Es wird angemerkt, dass beim Lesen eines ersten Rahmens des Videobildes in Schritt S601a die Videodatei 1000 in Schritt S606 erzeugt wird.
In Schritt S607 bestimmt die Gesamtsteuerungs-CPU 101, ob alle Rahmen des durch den Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelten Videobildes gelesen wurden. Wurden nicht alle Rahmen gelesen, kehrt der Prozess zu Schritt S601a zurück. Wenn unterdessen alle Rahmen gelesen wurden, verlässt der Prozess diese Unterroutine. Die erzeugte Videodatei 1000 wird im internen nichtflüchtigen Speicher 102 gespeichert. Die Videodatei kann zusätzlich zum Primärspeicher 813 und internen nichtflüchtigen Speicher 102 auch im nichtflüchtigen Speicher 51 großer Kapazität gespeichert werden. Ferner wird der Übertragungsprozess (Schritt S700 in 7A) ausgeführt, der die erzeugte Bilddatei 1000 unmittelbar zu der Anzeigevorrichtung 800 überträgt. Die Bilddatei 1000 kann nach ihrer Übertragung zur Anzeigevorrichtung 800 im Primärspeicher 813 gespeichert werden.
Bei diesem Ausführungsbeispiel kombiniert die Kodiereinrichtung die Bilddaten und die Korrekturdaten in eine Datei. Zu diesem Zeitpunkt können die Bilddaten komprimiert sein, oder die Datendatei, die eine Kombination aus den Bilddaten und Korrekturdaten darstellt, kann komprimiert sein.
15 zeigt eine Darstellung einer Datenstruktur der Videodatei 1000. Die Videodatei 1000 umfasst einen Headerteil 1001 und einen Rahmenteil 1002. Der Rahmenteil 1002 umfasst Rahmendatensätze, die jeweils ein Bild jedes Rahmens und entsprechende Rahmenmetadaten umfassen. Das heißt, der Rahmenteil 1002 enthält Rahmendatensätze der Anzahl der gesamten Rahmen des Videobildes.
Bei diesem Ausführungsbeispiel sind die Rahmenmetadaten Informationen, die durch Kodieren von Korrekturdaten erhalten werden, an die bei Bedarf eine Extraktionsposition (In-Bild-Positionsinformationen), ein optischer Korrekturwert und Kreiseldaten hinzugefügt sind. Die Rahmenmetadaten sind allerdings nicht darauf beschränkt. Eine Informationsmenge der Rahmenmetadaten kann verändert werden. Beispielsweise können andere Informationen gemäß dem durch den Bildaufnahmemodusschalter 12 ausgewählten Bildaufnahmemodus zu den Rahmenmetadaten hinzugefügt werden. Alternativ kann ein Teil der Informationen in den Rahmenmetadaten gelöscht werden.
In dem Headerteil 1001 sind ein Offsetwert zu den jeweiligen Rahmendatensätzen jedes Rahmens oder eine Kopfadresse aufgezeichnet. Alternativ können in dem Headerteil 1001 Metadaten, wie die Zeit und Größe, gespeichert sein, die der Videodatei 1000 entsprechen.
In dem Primäraufzeichnungsprozess (14) wird die Videodatei 1000 auf diese Weise zu der Anzeigevorrichtung 800 übertragen. Die Videodatei 1000 enthält Datensätze, die jeweils einen Rahmen des Videobildes, der durch den Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelt ist, und dessen Metadaten umfassen. Selbst wenn die Taktrate der Gesamtsteuerungs-CPU 101 in dem Kamerahauptteil 1 von der Taktrate der Anzeigevorrichtungssteuereinrichtung 801 in der Anzeigevorrichtung 800 ein wenig verschieden ist, wendet die Anzeigevorrichtungssteuereinrichtung 801 daher den Korrekturprozess bei dem im Kamerahauptteil 1 entwickelten Videobild geeignet an.
Obwohl bei diesem Ausführungsbeispiel der optische Korrekturwert in den Rahmenmetadaten enthalten ist, kann der optische Korrekturwert für das gesamte Videobild vorgesehen werden.
16 zeigt ein Ablaufdiagramm der Unterroutine des Übertragungsprozesses zu der Anzeigevorrichtung 800 in Schritt S700 in 7A. 16 zeigt den Prozess für einen Fall, in dem der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt ist. Es wird angemerkt, dass bei Auswahl des Stehbildmodus dieser Prozess ab einem Prozess in Schritt S702 gestartet wird.
In Schritt S701 wird bestimmt, ob der Bildaufnahmeprozess (der Schritt S400) des Videobildes durch die Bildaufnahmeeinheit 40 beendet ist oder der Aufzeichnung unterliegt. Wenn das Videobild aufgezeichnet wird, werden der Aufzeichnungsbereichsentwicklungsprozess (der Schritt S500) für jeden Rahmen und die Aktualisierung der Bilddatei 1000 (der Schritt S606) in dem Primäraufzeichnungsprozess (Schritt S600) sequentiell ausgeführt. Da der Energieaufwand einer Drahtlosübertragung groß ist, muss die Batterie 94 eine hohe Batteriekapazität aufweisen, oder eine neue Maßnahme gegen eine Wärmeerzeugung ist erforderlich, wenn die Drahtlosübertragung während des Videobildaufnahmebetriebs parallel durchgeführt wird. Falls die Drahtlosübertragung während des Videobildaufnahmebetriebs parallel durchgeführt wird, wird ferner vom Gesichtspunkt der Arithmetikkapazität ein arithmetischer Aufwand groß, was die Bereitstellung einer hochspezifischen CPU als Gesamtsteuerungs-CPU 101 erfordert, wodurch sich die Kosten erhöhen.
In Anbetracht dieser Punkte geht die Gesamtsteuerungs-CPU 101 bei diesem Ausführungsbeispiel nach Beenden des Videobildaufnahmebetriebs mit dem Prozess zu Schritt S702 über (JA in Schritt S701) und errichtet die Drahtlosverbindung mit der Anzeigevorrichtung 800. Wenn das Kamerasystem des Ausführungsbeispiels unterdessen einen Spielraum in der von der Batterie 94 zugeführten elektrischen Leistung aufweist und eine neue Maßnahme gegen eine Wärmeerzeugung nicht erforderlich ist, kann die Gesamtsteuerungs-CPU 101 die Drahtlosverbindung mit der Anzeigevorrichtung 800 zuvor errichten, wenn der Kamerahauptteil 1 vor dem Starten der Aufzeichnung gestartet wird.
In Schritt S702 errichtet die Gesamtsteuerungs-CPU 101 die Verbindung mit der Anzeigevorrichtung 800 über die Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 72, um die Videodatei 1000, die ein großes Datenvolumen aufweist, zu der Anzeigevorrichtung 800 zu übertragen. Es wird angemerkt, dass die Geringleistungs-Drahtlos-Kommunikationseinheit 71 zur Übertragung eines Bildes geringer Auflösung zum Überprüfen eines Bildwinkels zu der Anzeigevorrichtung 800 und zum Austauschen verschiedener Einstellwerte mit der Anzeigevorrichtung 800 verwendet wird. Unterdessen wird die Geringleistungs-Drahtlos-Kommunikationseinheit 71 nicht zum Übertragen der Videodatei 1000 verwendet, da ein Übertragungszeitabschnitt lang wird.
In Schritt S703 überträgt die Gesamtsteuerungs-CPU 101 die Videodatei 1000 über die Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 72 zu der Anzeigevorrichtung 800. Wenn die Übertragung beendet ist, geht die Gesamtsteuerungs-CPU 101 mit dem Prozess zu Schritt S704 über. In Schritt S704 beendet die Gesamtsteuerungs-CPU 101 die Verbindung mit der Anzeigevorrichtung 800 und verlässt diese Unterroutine.
Bisher wurde der Fall beschrieben, in dem eine Bilddatei die Bilder aller Rahmen eines Videobildes enthält. Wenn der Aufzeichnungszeitabschnitt des Videobildes länger als mehrere Minuten ist, kann das Videobild unterdessen mittels einer Zeiteinheit in eine Vielzahl von Bilddateien unterteilt werden. Wenn die Videodatei die in 15 gezeigte Datenstruktur aufweist, kann die Anzeigevorrichtung 800 selbst dann, wenn ein Videobild als eine Vielzahl von Bilddateien zu der Anzeigevorrichtung 800 übertragen wird, das Videobild mit den Korrekturdaten ohne die Zeitlücke korrigieren.
17 zeigt ein Ablaufdiagramm einer Unterroutine des optischen Korrekturprozesses in Schritt S800 in 7A. Nachstehend wird dieser Prozess auch unter Bezugnahme auf 18A bis 18E beschrieben. Wie vorstehend beschrieben, wird dieser Prozess durch die Anzeigevorrichtungssteuereinrichtung 801 der Anzeigevorrichtung 800 ausgeführt.
In Schritt S801 empfängt die Anzeigevorrichtungssteuereinrichtung (eine Videodateiempfangseinheit) 801 zuerst die Videodatei 1000 von dem Kamerahauptteil 1, die in dem Übertragungsprozess (Schritt S700) zu der Anzeigevorrichtung 800 übertragen wird. Danach erhält die Anzeigevorrichtungssteuereinrichtung (eine erste Extraktionseinheit) 801 die aus der empfangenen Videodatei 1000 extrahierten optischen Korrekturwerte.
Im nächsten Schritt S802 erhält die Anzeigevorrichtungssteuereinrichtung (eine zweite Extraktionseinheit) 801 ein Bild (ein Bild eines Rahmens, der durch den Videobildaufnahmebetrieb erhalten wird) aus der Videodatei 1000.
In Schritt S803 korrigiert die Anzeigevorrichtungssteuereinrichtung (eine Rahmenbildkorrektureinheit) 801 optische Aberrationen des in Schritt S802 erhaltenen Bildes mit dem in Schritt S801 erhaltenen optischen Korrekturwert durch und speichert das korrigierte Bild im Primärspeicher 813. Wenn bei der optischen Korrektur die Extraktion aus dem in Schritt S802 erhaltenen Bild durchgeführt wird, wird ein Bildbereich (Extraktionsentwicklungsbereich), der enger als der in Schritt S303 bestimmte Entwicklungsbereich (Zielblickfeld 125i) ist, extrahiert und dem Prozess unterzogen.
18A bis 18F zeigen Darstellungen zum Beschreiben eines Prozesses eines Anwendens einer Verzerrungskorrektur in Schritt S803 in 17. 18A zeigt eine Darstellung einer Position eines Objekts 1401, das der Benutzer beim Aufnehmen eines Bildes mit bloßem Auge ansieht. 18B zeigt eine Darstellung eines Bildes des Objekts 1401, das auf dem Festkörperbildsensor 42 erzeugt wird.
18C zeigt eine Darstellung eines Entwicklungsbereichs 1402 in dem Bild in 18B. Der Entwicklungsbereich 1402 ist der vorstehend angeführte Extraktionsentwicklungsbereich.
18D zeigt eine Darstellung eines Extraktionsentwicklungsbildes, das durch Extrahieren des Bildes des Entwicklungsbereichs 1402 erhalten wird. 18E zeigt eine Darstellung eines Bildes, das durch Korrigieren einer Verzerrung in dem in 18D gezeigten Extraktionsentwicklungsbild erhalten wird. Da beim Korrigieren einer Verzerrung des Extraktionsentwicklungsbildes ein Extraktionsprozess durchgeführt wird, wird ein Bildwinkel des in 18E gezeigten Bildes noch kleiner als der des in 18D gezeigten Extraktionsentwicklungsbildes.
19 zeigt ein Ablaufdiagramm einer Unterroutine des Bildstabilisierungsprozesses in Schritt S900 in 7A. Wie vorstehend beschrieben, wird dieser Prozess durch die Anzeigevorrichtungssteuereinrichtung 801 der Anzeigevorrichtung 800 ausgeführt.
In Schritt S901 erhält die Anzeigevorrichtungssteuereinrichtung 801 Kreiseldaten eines Rahmens (aktuellen Rahmens), der aktuell verarbeitet wird, Kreiseldaten eines Rahmens (vorhergehenden Rahmens), der ein unmittelbar vorhergehender Rahmen ist, und einen Unschärfebetrag V_n-1 ^Det, der für den vorhergehenden Rahmen berechnet wird, aus den Rahmenmetadaten der Videodatei 1000. Danach wird aus diesen Informationsteilen ein grober Unschärfebetrag V_n ^Pre berechnet. Da das Berechnungsverfahren des Unschärfebetrags V_n-1 ^Det das gleiche wie das Berechnungsverfahren eines Unschärfebetrags V_n ^Det im nächsten Schritt S902 ist, ist seine Beschreibung weggelassen.
In Schritt S902 berechnet die Anzeigevorrichtungssteuereinrichtung 801 einen feinen Unschärfebetrag V_n ^Det aus der Videodatei. Ein Unschärfebetrag wird durch Berechnen eines Bewegungsbetrags eines Merkmalspunkts in dem Bild von einem vorhergehenden Rahmen zu einem aktuellen Rahmen erfasst.
Ein Merkmalspunkt kann durch ein bekanntes Verfahren extrahiert werden. Beispielsweise kann ein Verfahren angewendet werden, das ein Luminanzinformationsbild verwendet, das durch Extrahieren lediglich von Luminanzinformationen eines Bildes eines Rahmens erzeugt wird. Dieses Verfahren subtrahiert ein Bild, das das ursprüngliche Luminanzinformationsbild um ein oder mehrere Bildelemente verschiebt, von dem ursprünglichen Luminanzinformationsbild. Ein Bildelement, dessen Absolutwert der Differenz einen Schwellenwert überschreitet, wird als Merkmalspunkt extrahiert. Ferner kann eine Kante als Merkmalspunkt extrahiert werden, die durch Subtrahieren eines Bildes, das durch Anwenden eines Hochpassfilters bei dem vorstehend angeführten Luminanzinformationsbild erzeugt wird, von dem ursprünglichen Luminanzinformationsbild extrahiert wird.
Unterschiede werden mehrmals berechnet, während die Luminanzinformationsbilder des aktuellen Rahmens und vorhergehenden Rahmens um ein oder mehrere Bildelemente verschoben werden. Der Bewegungsbetrag wird durch Berechnen einer Position erhalten, an der sich die Differenz an dem Bildelement des Merkmalspunkts abschwächt.
Da wie später beschrieben eine Vielzahl von Merkmalspunkten erforderlich ist, wird bevorzugt, jedes der Bilder des aktuellen Rahmens und vorhergehenden Rahmens in eine Vielzahl von Blöcken zu unterteilen und für jeden Block einen Merkmalspunkt zu extrahieren. Eine Blockunterteilung hängt von der Anzahl der Bildelemente und dem Seitenverhältnis des Bildes ab. Im Allgemeinen sind zwölf Blöcke zu 4 * 3 oder 54 Blöcke zu 9 * 6 vorzuziehen. Wenn die Anzahl der Blöcke zu klein ist, können eine Trapezverzerrung aufgrund einer Neigung der Bildaufnahmeeinheit 40 des Kamerahauptteils 1 und eine Rotationsunschärfe um die optische Achse, usw. nicht richtig korrigiert werden. Wenn die Anzahl der Blöcke unterdessen zu groß ist, wird die Größe eines Blocks klein, was eine Entfernung zwischen angrenzenden Merkmalspunkten verkürzt, wodurch ein Fehler verursacht wird. Auf diese Weise wird die optimale Anzahl an Blöcken in Abhängigkeit von der Bildelementanzahl, der Einfachheit der Erfassung von Merkmalspunkten, dem Bildwinkel eines Objekts, usw. ausgewählt.
Da die Berechnung des Bewegungsbetrags eine Vielzahl von Differenzberechnungen erfordert, während die Luminanzinformationsbilder des aktuellen Rahmens und vorhergehenden Rahmens um ein oder mehrere Bildelemente verschoben werden, erhöht sich der Berechnungsaufwand. Da der Bewegungsbetrag tatsächlich beruhend auf dem groben Unschärfebetrag v_n ^pre und einer Abweichung (der Anzahl an Bildelementen) davon berechnet wird, werden die Differenzberechnungen lediglich nahe dem groben Unschärfebetrag durchgeführt, was den Berechnungsaufwand signifikant reduzieren kann.
Als nächstes führt die Anzeigevorrichtungssteuereinrichtung 801 in Schritt S903 den Bildstabilisierungsprozess unter Verwendung des in Schritt S902 erhaltenen feinen Unschärfebetrags V_n ^Det durch. Dann verlässt der Prozess diese Unterroutine.
Es wird angemerkt, dass eine euklidische Transformation und affine Transformation, die Rotation und Paralleltranslation ermöglichen, und eine Projektionstransformation, die eine Perspektivkorrektur ermöglicht, als Verfahren des Bildstabilisierungsprozesses bekannt sind.
Obwohl die euklidische Transformation eine Bewegung in einer X-Achsenrichtung und einer Y-Achsenrichtung und eine Rotation korrigieren kann, kann sie keine Unschärfe korrigieren, die durch ein Kamerawackeln der Bildaufnahmeeinheit 40 des Kamerahauptteils 1 in einer Vorne-Hinten-Richtung oder Richtungen des Schwenkens und Neigens verursacht wird. Bei diesem Ausführungsbeispiel wird der Bildstabilisierungsprozess dementsprechend unter Verwendung der affinen Transformation ausgeführt, die die Korrektur einer Schräge ermöglicht. Die affine Transformation von einer Koordinate (x, y) des als Kriterium verwendeten Merkmalspunkts in eine Koordinate (x', y') wird durch die folgende Formel 1 ausgedrückt. $(\begin{matrix} x' \\ y' \\ 1 \end{matrix}) = (\begin{matrix} a & b & c \\ d & e & f \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ 1 \end{matrix})$
Affine Koeffizienten einer 3*3-Matrix der Formel 1 sind berechenbar, wenn Abweichungen von zumindest drei Merkmalspunkten erfasst werden. Wenn die erfassten Merkmalspunkte aber nahe beieinanderliegen oder auf einer Geraden ausgerichtet sind, wird der Bildstabilisierungsprozess in Bereichen ungenau, die von den Merkmalspunkten entfernt oder von der Geraden entfernt sind. Demnach wird bevorzugt, die zu erfassenden Merkmalspunkt auszuwählen, die voneinander entfernt sind und nicht auf einer Geraden liegen. Wird eine Vielzahl von Merkmalspunkten erfasst, werden demnach nahe beieinanderliegende Merkmalspunkte ausgeschlossen, und verbleibende Merkmalspunkte werden durch ein Verfahren kleinster Quadrate normalisiert.
18F zeigt eine Darstellung eines Bildes, das durch Anwenden des Bildstabilisierungsprozesses in Schritt S903 bei dem in 18E gezeigten verzerrungskorrigierten Bild erhalten wird. Da der Extraktionsprozess beim Ausführen des Bildstabilisierungsprozesses durchgeführt wird, wird ein Bildwinkel des in 18F gezeigten Bildes kleiner als der des in 18E gezeigten Bildes.
Durch Durchführen eines derartigen Bildstabilisierungsprozesses kann ein Hochqualitätsbild erhalten werden, bei dem die Unschärfe korrigiert ist.
Vorstehend wurde die Reihe der Vorgänge beschrieben, die durch den Kamerahauptteil 1 und die Anzeigevorrichtung 800 ausgeführt werden, die im Kamerasystem dieses Ausführungsbeispiels enthalten sind.
Wenn der Benutzer nach Einschalten des Ein-/Aus-Schalters 11 den Videobildmodus durch den Bildaufnahmemodusschalter 12 auswählt und die Front beobachtet, ohne das Gesicht in der vertikalen und horizontalen Richtung zu drehen, erfasst die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung vo (Vektorinformationen [0°, 0°]), wie es in 12A gezeigt ist. Danach extrahiert die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 das Bild (11B) in dem in 12A gezeigten Zielblickfeld 125o aus dem Superweitwinkelbild, das auf den Festkörperbildsensor 42 projiziert wird.
Wenn der Benutzer danach beispielsweise beginnt, das Kind (A-Objekt) 131 in 11A zu betrachten, ohne dass er den Kamerahauptteil 1 bedient, erfasst die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung vm (Vektorinformationen [-42°, -40°]), wie es in 11C gezeigt ist. Danach extrahiert die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 das Bild (11C) in dem Zielblickfeld 125m aus dem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild.
Auf diese Weise wendet die Anzeigevorrichtung 800 in den Schritten S800 und S900 den optischen Korrekturprozess und den Bildstabilisierungsprozess bei dem extrahierten Bild der Form an, die von der Beobachtungsrichtung abhängt. Selbst wenn die Spezifikation der Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 gering ist, wird dadurch das signifikant verzerrte Bild in dem Zielblickfeld 125m (11C) in das Bild um das Kind (A-Objekt) 131 umgewandelt, dessen Unschärfe und Verzerrung wie in 11D gezeigt korrigiert sind. Das heißt, der Benutzer kann ein in der eigenen Beobachtungsrichtung aufgenommenes Bild erhalten, selbst wenn der Benutzer den Kamerahauptteil 1 nicht berührt, außer dass er den Ein-/Aus-Schalter 11 einschaltet und den Modus mit dem Bildaufnahmemodusschalter 12 auswählt.
Nachstehend wird der Voreinstellmodus beschrieben. Da der Kamerahauptteil 1 wie vorstehend beschrieben eine kompakte tragbare Einrichtung ist, sind Bedienschalter, ein Einstellbildschirm, und so weiter zum Ändern erweiterter Einstellwerte nicht am Kamerahauptteil 1 angebracht. Bei diesem Ausführungsbeispiel werden die erweiterten Einstellwerte des Kamerahauptteils 1 dementsprechend unter Verwendung des Einstellbildschirms (13) der Anzeigevorrichtung 800 als externe Einrichtung geändert.
Beispielsweise wird ein Fall betrachtet, in dem der Benutzer den Bildwinkel von 90° in 45° ändern möchte, während er kontinuierlich ein Videobild aufnimmt. In einem derartigen Fall sind die folgenden Bedienungen erforderlich. Da der Bildwinkel bei einem regulären Videobildmodus auf 90° eingestellt ist, führt der Benutzer den Videobildaufnahmebetrieb im regulären Videobildmodus durch, beendet den Videobildaufnahmebetrieb einmal, zeigt den Einstellbildschirm des Kamerahauptteils 1 auf der Anzeigevorrichtung 800 an und ändert den Bildwinkel auf dem Einstellbildschirm in 45°. Diese Bedienung an der Anzeigevorrichtung 800 während des kontinuierlichen Bildaufnahmebetriebs ist allerdings mühsam, und es kann ein Bild übersehen werden, das der Benutzer aufnehmen möchte.
Wenn der Voreinstellmodus auf einen Videobildaufnahmebetrieb bei dem Bildwinkel von 45° voreingestellt ist, kann der Benutzer unterdessen in einen Zoom-auf-Videobildaufnahmebetrieb bei dem Bildwinkel von 45° unmittelbar nur durch Schieben des Bildaufnahmemodusschalters 12 zu „Pre“ nach Beenden des Videobildaufnahmebetriebs bei dem Bildwinkel von 90° wechseln. Das heißt, der Benutzer muss den aktuellen Bildaufnahmebetrieb nicht unterbrechen und muss nicht die vorstehend beschriebenen mühsamen Bedienungen durchführen.
Die Inhalte des Voreinstellmodus können die Bildstabilisierungsstufe („Stark“, „Mittel“ oder „AUS“) und einen Einstellwert einer Spracherkennung, die bei diesem Ausführungsbeispiel nicht beschrieben wird, zusätzlich zu dem Bildwinkel enthalten.
Wenn der Benutzer den Bildaufnahmemodusschalter 12 von dem Videobildmodus in den Voreinstellmodus schaltet, während er beispielsweise das Kind (A-Objekt) 131 in der vorherigen Bildaufnahmesituation betrachtet, wird der Bildwinkeleinstellwert V_ang von 90° in 45° geändert. In diesem Fall extrahiert die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 das Bild in dem Zielblickfeld 128m, das in 11E durch eine gepunktete Umrahmung gezeigt ist, aus dem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild.
Auch im Voreinstellmodus werden der optische Korrekturprozess und Bildstabilisierungsprozess in den Schritten S800 und S900 in der Anzeigevorrichtung 800 durchgeführt. Selbst wenn die Spezifikation der Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 gering ist, wird dadurch das Zoom-auf-Bild um das Kind (A-Objekt 131) erhalten, dessen Unschärfe und Verzerrung wie in 11F gezeigt korrigiert sind. Obwohl der Fall beschrieben wurde, in dem der Bildwinkeleinstellwert V_ang von 90° in 45° in dem Videobildmodus geändert wird, ist der Prozess im Stehbildmodus ähnlich. Des Weiteren ist auch ein Fall ähnlich, in dem der Bildwinkeleinstellwert V_ang eines Videobildes 90° und der Bildwinkeleinstellwert V_ang eines statischen Bildes 45° betragen.
Auf diese Weise kann der Benutzer das Zoom-auf-Bild erhalten, das die eigene Beobachtungsrichtung aufnimmt, indem er den Modus lediglich mit dem Bildaufnahmemodusschalter 12 des Kamerahauptteils 1 umschaltet.
Es wird angemerkt, dass der optische Korrekturprozess (Schritt S800) und Bildstabilisierungsprozess (Schritt S900), die bei diesem Ausführungsbeispiel durch die Anzeigevorrichtung 800 ausgeführt werden, durch den Kamerahauptkörper 1 ausgeführt werden können, um die Verarbeitungslast der Anzeigevorrichtung 800 zu verringern.
Obwohl bei diesem Ausführungsbeispiel der Fall beschrieben wird, in dem die Gesichtsrichtungserfassungseinheit 20 und die Bildaufnahmeeinheit 40 in dem Kamerahauptteil 1 integral gebildet sind, ist die Konfiguration nicht darauf beschränkt, solange die Gesichtsrichtungserfassungseinheit 20 am Körperabschnitt des Benutzers abgesehen vom Kopf getragen wird und die Bildaufnahmeeinheit 40 am Körper des Benutzers getragen wird. Die Bildaufnahmeeinheit 40 dieses Ausführungsbeispiels kann beispielsweise an einer Schulter oder am Bauch getragen werden. Wenn aber die Bildaufnahmeeinheit 40 an der rechten Schulter getragen wird, ist ein Objekt der linken Seite durch den Kopf verdeckt. In einem derartigen Fall wird vorzugsweise eine Vielzahl von Bildaufnahmeeinheiten an Stellen einschließlich der rechten Schulter getragen. Wenn die Bildaufnahmeeinheit 40 am Bauch getragen wird, tritt ferner zwischen der Bildaufnahmeeinheit 40 und dem Kopf eine räumliche Parallaxe auf. In einem derartigen Fall wird vorzugsweise eine Korrekturberechnung der Beobachtungsrichtung durchgeführt, die eine derartige Parallaxe kompensiert.
Nachstehend wird ein zweites Ausführungsbeispiel beschrieben. Im zweiten Ausführungsbeispiel wird ein Verfahren zum Kalibrieren eines individuellen Unterschieds und Anpassungsunterschieds eines den Kamerahauptteil 1 tragenden Benutzers unter Verwendung von 20A bis 23E näher beschrieben.
Dieses Ausführungsbeispiel wird grundsätzlich als Abwandlung des ersten Ausführungsbeispiels beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems im zweiten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen bezeichnet, und redundante Beschreibungen sind weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
Ein Benutzer, der den Kamerahauptteil 1 trägt, weist individuellen Größenunterschiede und Anpassungsunterschiede auf, wie einen Körperbau, einen Neigungswinkel der Peripherie des Halses, an dem der Kamerahauptteil 1 getragen wird, einen Zustand getragener Kleidung (beispielsweise Vorhandensein oder Fehlen eines Kragens), und Anpassungszustände der Bandabschnitte 82L und 82R. Dementsprechend stimmen üblicherweise die Mitte der optischen Achse des Bildaufnahmeobjektivs 16 des Kamerahauptteils 1 und die Blickfeldmitte in einem Zustand (der nachstehend als natürlicher Zustand eines Benutzers bezeichnet wird), in dem der Benutzer nach vorne schaut, nicht überein. Vorzugsweise passt ein Benutzer eine Mitte eines Extraktionsaufzeichnungsbereichs (Zielblickfeldes 125) mit einer Blickfeldmitte des Benutzers in einer aktuellen Stellung oder Bedienung zusammen, anstatt dass er die Mitte des Aufzeichnungsbereichs mit der Mitte der optischen Achse des Bildaufnahmeobjektivs 16 des Kamerahauptteils 1 zusammenpasst.
Ferner gibt es einen individuellen Unterschied nicht nur bei einer Blickfeldmitte eines Benutzers im natürlichen Zustand, sondern auch bei einer Blickfeldmitte in Abhängigkeit von einer Kopfrichtung (oben, unten, rechts, links oder diagonal) und bei einem Bewegungsraum des Kopfes. Dementsprechend ist ein individueller Unterschied auch in die Beziehung zwischen der Gesichtsrichtung (Beobachtungsrichtung), die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, und der Mittenposition (die nachstehend als Blickfeldmittenposition bezeichnet wird) des Zielblickfeldes 125 miteinbezogen, das gemäß der Beobachtungsrichtung etabliert wird. Demnach ist ein Kalibrierungsvorgang erforderlich, der eine Gesichtsrichtung mit einer Blickfeldmittenposition assoziiert.
Üblicherweise wird der Kalibrierungsvorgang vorzugsweise als Teil des Vorbereitungsprozesses (des Schritts S100) in 7A durchgeführt. Obwohl der Kalibrierungsvorgang schätzungsweise üblicherweise beim ersten Einschalten des Kamerahauptteils 1 durchgeführt wird, kann der Kalibrierungsvorgang durchgeführt werden, nachdem eine vorbestimmte Zeit seit der vorhergehenden Kalibrierung abgelaufen ist, oder wenn die Position des Kamerahauptteils 1 an dem Benutzer aus der Position der vorhergehenden Kalibrierung geändert wurde. Der Kalibrierungsvorgang kann durchgeführt werden, wenn es für die Gesichtsrichtungserfassungseinheit 20 unmöglich wird, das Gesicht des Benutzers zu erfassen. Wenn erfasst wird, dass der Benutzer den Kamerahauptteil 1 abnimmt, kann der Kalibrierungsvorgang ferner zu dem Zeitpunkt durchgeführt werden, wenn der Benutzer den Kamerahauptteil 1 erneut trägt. Auf diese Weise wird der Kalibrierungsvorgang geeigneter Weise und vorzugsweise zu einem Zeitpunkt durchgeführt, wenn bestimmt wird, dass für die geeignete Verwendung des Kamerahauptteils 1 die Kalibrierung erforderlich ist.
20A und 20B zeigen Darstellungen von Einzelheiten der Kalibriereinrichtung 850, die für den Kalibrierprozess gemäß dem zweiten Ausführungsbeispiel verwendet wird. Bei diesem Ausführungsbeispiel soll die Kalibriereinrichtung 850 die Funktion der Anzeigevorrichtung 800 bündeln.
Die Kalibriereinrichtung 850 enthält einen Positionierungsindex 851 und eine Kalibriertaste 854 zusätzlich zu der A-Taste 802, der Anzeigeeinheit 803, der In-Kamera 805, dem Gesichtssensor 806 und dem Winkelgeschwindigkeitssensor 807, die die Komponenten der in 1D gezeigten Anzeigevorrichtung 800 sind. In 20A ist die im ersten Ausführungsbeispiel vorgesehene B-Taste 804 nicht gezeigt, da sie bei diesem Ausführungsbeispiel nicht verwendet wird, und ist durch die nachstehend beschriebene Kalibriertaste 854 ersetzbar.
20A zeigt einen Fall, in dem der Positionierungsindex 851 ein auf der Anzeigeeinheit 803 angezeigtes spezifisches Muster ist. 20B zeigt einen Fall, in dem die äußere Erscheinung der Kalibriereinrichtung 850 als Positionierungsindex verwendet wird. Im Fall von 20B wird eine nachstehend beschriebene Positionierungsindexmitte 852 aus den Informationen über die Kontur der Kalibriereinrichtung 850 berechnet.
Es wird angemerkt, dass der Positionierungsindex nicht auf die Beispiele der 20A und 20B beschränkt ist. Der Positionierungsindex kann beispielsweise von der Kalibriereinrichtung 850 getrennt sein. Der Positionierungsindex kann etwas beliebiges sein, solange seine Größe leicht messbar ist und seine Form geeignet ist, vom Benutzer angeschaut zu werden. Der Positionierungsindex kann beispielsweise eine Objektivabdeckung des Bildaufnahmeobjektivs 16 oder eine Ladeeinheit des Kamerahauptteils 1 sein. Da die grundlegende Denkweise hinsichtlich des Kalibrierungsvorgangs sowieso üblich ist, wird die in 20A gezeigte Kalibriereinrichtung 850 als Beispiel angeführt und nachstehend in erster Linie beschrieben.
Es wird angemerkt, dass die Kalibriereinrichtung 850 bei diesem Ausführungsbeispiel die Funktion der Anzeigevorrichtung 800 vereinigen soll. Ferner kann die Kalibriereinrichtung 850 beispielsweise eine dedizierte Einrichtung, ein allgemeines Smartphone oder ein Tablet-Endgerät sein.
Der Positionierungsindex 851 wird auf der Anzeigeeinheit 803 der Kalibriereinrichtung 850 angezeigt und ist eine Darstellung, deren laterale Breite L851a, vertikale Breite L851b, und Positionierungsindexmitte 852 berechnet werden können. Da der Benutzer im nachstehend beschriebenen Kalibrierprozess das Gesicht in die Nähe des Mittenabschnitts des Positionierungsindex 851 richtet, hat der Positionierungsindex 851 vorzugsweise eine Form, damit er in der Blickfeldmitte erfasst wird. In 20A ist der Positionierungsindex 851 durch einen Kreis gezeigt, in dem ein Kreuz und ein kleiner schwarzer Kreis in der Mitte des Kreuzes angeordnet sind. Die Form des Positionierungsindex 851 ist allerdings nicht auf diese Form beschränkt. Der Positionierungsindex kann ansonsten ein Rechteck, ein Dreieck, ein sternförmiges Gebilde oder eine bildliche Darstellung eines Zeichens sein.
Der Positionierungsindex 851 wird durch die Bildaufnahmeeinheit 40 des Kamerahauptteils 1 aufgenommen. Die Anzeigevorrichtungssteuereinrichtung (eine Positionsberechnungseinheit und eine Entfernungsberechnungseinheit) 801 berechnet eine Entfernung zwischen der Bildaufnahme-/Erfassungseinheit 10 und der Kalibriereinrichtung 850 und berechnet eine Positionskoordinate des Positionierungsindex 851, die in einem Bildbereich erscheint, beruhend auf dem Aufnahmebild. Bei diesem Ausführungsbeispiel führt die mit der Funktion der Anzeigevorrichtung 800 ausgestattete Kalibriereinrichtung 850 diese Berechnungen durch. Wenn die Kalibriereinrichtung 850 die Funktion der Anzeigevorrichtung 800 nicht kombiniert, werden diese Berechnungen durch die Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 durchgeführt.
Der Winkelgeschwindigkeitssensor 807 kann eine Bewegung der Kalibriereinrichtung 850 messen. Die Anzeigevorrichtungssteuereinrichtung 801 berechnet später beschriebene Bewegungsinformationen, die die Position und Stellung der Kalibriereinrichtung 850 zeigen, beruhend auf dem Messwert des Winkelgeschwindigkeitssensors 807.
Die Kalibriertaste 854 wird im später beschriebenen Kalibrierprozess gedrückt, wenn der Benutzer sein Gesicht in die Nähe des Mittenabschnitts des Positionierungsindex 851 richtet. Obwohl die Kalibriertaste 854 eine auf der berührungsempfindlichen Anzeigeeinheit 803 in 20A gezeigte Berührungstaste ist, kann die A-Taste 802 als Kalibriertaste fungieren.
Als nächstes wird der Kalibrierprozess unter Bezugnahme auf das Ablaufdiagramm in 21 näher beschrieben, der beim Extrahieren eines Bildes aus einem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, gemäß einer Benutzergesichtsrichtung und beim Anwenden der Bildverarbeitung bei dem extrahierten Bild ausgeführt wird.
21 zeigt das Ablaufdiagramm des Kalibrierprozesses gemäß dem zweiten Ausführungsbeispiel, der durch den Kamerahauptteil (eine erste Kalibriereinheit) 1 und die Kalibriereinrichtung 805 ausgeführt wird.
Zur Unterstützung der Beschreibung ist ein Schritt, in dem der Kamerahauptteil 1 oder die Kalibriereinrichtung 850 eine Benutzeranweisung empfängt, in einer Umrahmung enthalten, dessen Bediensubjekt der Benutzer ist. In 21 ist ferner ein Schritt, der durch die Anzeigevorrichtungssteuereinrichtung 801 der Kalibriereinrichtung 850 im Ansprechen auf die Benutzeranweisung ausgeführt wird, in einer Umrahmung enthalten, dessen Bediensubjekt die Kalibriereinrichtung 850 ist. Gleichermaßen ist in 21 ein Schritt, der durch die Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 im Ansprechen auf die Benutzeranweisung ausgeführt wird, in einer Umrahmung enthalten, dessen Bediensubjekt der Kamerahauptteil 1 ist.
Das Bediensubjekt der Schritte S3104 und S3108 in 21 ist der Kamerahauptteil 1. Das Bediensubjekt der Schritte S3101, S3105 und S3106 ist der Benutzer. Ferner ist die Kalibriereinrichtung 850 das Bediensubjekt der Schritte S3102, S3103, S3106a, S3107, S3107b und S3110.
Wenn die Energiezufuhr der Kalibriereinrichtung 850 in diesem Prozess nicht eingeschaltet ist, schaltet der Benutzer die Energieversorgung der Kalibriereinrichtung 850 in Schritt S3101 ein, indem er die A-Taste 802 bedient. Wenn die Energieversorgung des Kamerahauptteils 1 nicht eingeschaltet ist, schaltet der Benutzer gleichermaßen die Energieversorgung des Kamerahauptteils 1 durch EIN-Schalten des Ein-/Ausschalters 11 ein. Danach errichtet der Benutzer eine Verbindung zwischen der Kalibriereinrichtung 850 und dem Kamerahauptteil 1. Wenn diese Verbindung errichtet ist, treten die Anzeigevorrichtungssteuereinrichtung 801 und die Gesamtsteuerungs-CPU 101 jeweils in einen Kalibriermodus ein.
Ferner trägt der Benutzer in Schritt S3101 den Kamerahauptteil 1 und passt die Längen der Bandabschnitte 82L und 82R und den Winkel des Kamerahauptteils 1 derart an, dass sich der Kamerahauptteil 1 an einer geeigneten Position befindet und die Bildaufnahme-/Erfassungseinheit 10 ein Bild aufnehmen kann.
In Schritt S3102 zeigt die Anzeigevorrichtungssteuereinrichtung (eine erste Anzeigeeinheit) 801 den Positionierungsindex 851 auf der Anzeigeeinheit 803 an.
Im nächsten Schritt S3103 legt die Anzeigevorrichtungssteuereinrichtung 801 als eine Anweisungsanzeige 855 (22A) eine Festlegungsposition fest, an der der Benutzer die Kalibriereinrichtung 850 halten soll. Bei diesem Ausführungsbeispiel sind fünf Positionen, die vorne, rechts oben, rechts unten, links oben und links unten enthalten, als die Festlegungspositionen in der Reihenfolge festgelegt. Die Festlegungspositionen können auf andere Positionen eingestellt werden, solange die Kalibrierung verfügbar ist.
In Schritt S3104 aktiviert die Gesamtsteuerungs-CPU 101 die Bildaufnahmeeinheit 40, um einen Bildaufnahmebetrieb zu ermöglichen, und aktiviert die Gesichtsrichtungserfassungseinheit 20, um eine Erfassung einer Benutzergesichtsrichtung zu ermöglichen. In Schritt S3105 hält der Benutzer die Kalibriereinrichtung 850 an der in Schritt S3103 festgelegten Festlegungsposition.
Im nächsten Schritt S3106 richtet der Benutzer das Gesicht in die Richtung des Positionierungsindex 851, um eine Benutzerblickfeldmitte mit dem Positionierungsindex 851 in Übereinstimmung zu bringen, und drückt die Kalibriertaste 854, während er die Position der Kalibriereinrichtung 850 an der Festlegungsposition beibehält.
In Schritt S3106a bestimmt die Anzeigevorrichtungssteuereinrichtung (eine zweite Anzeigeeinheit) 801, ob der Benutzer die Positionierungsindexmitte 852 des Positionierungsindex 851 ansieht, d. h., bestimmt, ob die Benutzerblickfeldmitte mit der Positionierungsindexmitte 852 übereinstimmt. Wenn bestimmt wird, dass der Benutzer die Positionierungsindexmitte 852 ansieht (JA in Schritt S3106a), benachrichtigt die Anzeigevorrichtungssteuereinrichtung 801 den Benutzer über den Start der Kalibrierung für die Festlegungsposition durch die Anweisungsanzeige 855 in Schritt S3107 und zeigt die Kalibriertaste 854 erneut an. Wenn das Bestimmungsergebnis in Schritt S3106a NEIN ist, wiederholt der Benutzer den Prozess ab Schritt S3105.
Wenn der Benutzer in Schritt S3107a die Kalibriertaste 854 drückt, überträgt die Anzeigevorrichtungssteuereinrichtung 801 in Schritt S3107b eine Kalibrieranweisung zum Kamerahauptteil 1.
In Schritt S3108 erhält die Gesamtsteuerungs-CPU (eine Erhalte-/Erfassungseinheit) 101 ein Superweitwinkelbild, das den Positionierungsindex 851 enthält, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, und erfasst eine Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 im Ansprechen auf die Kalibrieranweisung von der Kalibriereinrichtung 850. Danach berechnet die Gesamtsteuerungs-CPU (eine Erzeugungseinheit) 101 Positionskoordinateninformationen hinsichtlich der Positionierungsindexmitte 852 in dem erhaltenen Superweitwinkelbild und erzeugt die Informationen, die die Beziehung zwischen den berechneten Positionskoordinateninformationen und der erfassten Gesichtsrichtung zeigen.
Nachstehend werden die Einzelheiten des Prozesses in den Schritten S3103 bis S3108 unter Verwendung von 22A bis 22F beschrieben. 22A bis 22F sind Darstellungen zur Beschreibung eines Kalibriervorgangs für die Frontrichtung des Benutzers. Der Kalibriervorgang wird derart durchgeführt, dass die Mittenposition des Zielblickfeldes 125 in dem durch die Bildaufnahmeeinheit 40 des Kamerahauptteils 1 aufgenommenen Bildes mit der Blickfeldmittenposition des Benutzers im natürlichen Zustand übereinstimmt.
22A zeigt eine Darstellung eines Bildschirms, der auf der Anzeigeeinheit 803 der Kalibriereinrichtung 850 in Schritt S3103 in 21 während des Kalibriervorgangs für die Frontrichtung des Benutzers angezeigt wird.
Wie in 22A gezeigt, werden der Positionierungsindex 851 und die Anweisungsanzeige 855, die eine Position angibt, an der der Benutzer den Positionierungsindex 851 lokalisieren soll, auf der Anzeigeeinheit 803 der Kalibriereinrichtung 850 angezeigt.
Die Anweisungsanzeige 855 ist eine Zeichenkette, die den Benutzer zum Verorten des Positionierungsindex 851 an der Blickfeldmitte des Benutzers beim Richten des Gesichts nach vorne anweist. Es wird angemerkt, dass die als Anweisungsanzeige 855 angezeigte Anweisung nicht auf die Zeichenkette beschränkt ist. Die Anweisung kann beispielsweise durch ein anderes Verfahren angezeigt werden, das eine Darstellung, ein Bild, ein Bewegtbild oder dergleichen verwendet. Des Weiteren kann die Anweisungsanzeige 855 (oder eine ähnliche allgemeine Anleitung) zuerst angezeigt werden, und der Positionierungsindex 851 kann danach angezeigt werden.
22B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung 850 gemäß der als Anweisungsanzeige 855 in 22A angezeigten Anzeige vor sich hält.
In Schritt S3105 hält der Benutzer die Kalibriereinrichtung 850 gemäß der als Anweisungsanzeige 855 in 22A angezeigten Anweisung vor sich. Dann hält der Benutzer in Schritt S3106 die Kalibriereinrichtung 850 so, dass der Positionierungsindex 851 mit der Blickfeldmitte des Benutzers beim Richten des Gesichts nach vorne zusammenfällt, und der Benutzer drückt die Kalibriertaste 854 (22A). Im Ansprechen auf das Drücken der Kalibriertaste 854 wird die Bestimmung in Schritt S3106a durchgeführt. Die konkrete Prozedur dieses Bestimmungsverfahrens wird später beschrieben. Wenn das Bestimmungsergebnis in Schritt S3106a JA lautet, ändert die Anzeigevorrichtungssteuereinrichtung 801 die in 22A gezeigte Anweisungsanzeige 855 in eine Mitteilung „Kalibrierung für Frontrichtung wird gestartet“ und zeigt die Kalibriertaste 854 an.
Nach Bestätigung der Änderung der in 22A gezeigten Anweisungsanzeige 855 in die Mitteilung „Kalibrierung für Frontrichtung wird gestartet“ drückt der Benutzer dann die Kalibriertaste 854 (Schritt S3107a). Im Ansprechen auf das Drücken der Kalibriertaste 854 wird in Schritt S3107b eine Kalibrieranweisung zum Kamerahauptteil 1 gesendet. Und die Bildaufnahmeeinheit 40 erhält in Schritt S3108 ein Aufnahmebild.
22C zeigt eine schematische Darstellung des gesamten Superweitwinkelbildes, das durch das Bildaufnahmeobjektiv 16 im Zustand von 22B erfasst wird. 22D zeigt eine schematische Darstellung eines Bildes, das durch Korrigieren von Aberrationen des in 22C gezeigten Superweitwinkelbildes erhalten wird.
Im Ansprechen auf das Drücken der Kalibriertaste 854 durch den Benutzer im Zustand von 22B erhält die Gesichtsrichtungserfassungseinheit 20 ferner in Schritt S3108 eine Gesichtsrichtung.
22E zeigt eine schematische Darstellung eines Gesichtsrichtungsbildes, das durch die Gesichtsrichtungserfassungseinheit 20 in Schritt S3108 in 21 während des Kalibriervorgangs für die Frontrichtung des Benutzers aufgezeichnet wird.
Wie im ersten Ausführungsbeispiel unter Verwendung von 8G bis 8K beschrieben, berechnet die Gesichtsrichtungserfassungseinheit 20 die Winkel in der lateralen und vertikalen Richtung des Gesichts unter Verwendung der Entfernungen und Winkel der Kinnpositionen 207, 207r und 207u hinsichtlich der Kehlposition 206. Da die Entfernungen und Winkel der Kinnpositionen 207, 207r und 207u hinsichtlich der Kehlposition 206 aber auch den individuellen Unterschied und den Anpassungsunterschied aufgrund des Körperbaus des Benutzers usw., wie vorstehend für die Bildmitte beschrieben aufweisen, sind sie nicht fest. Demnach wird bei diesem Ausführungsbeispiel die Beziehung zwischen der Kinnposition und der Kehlposition 206 zur Zeit des Drückens der Kalibriertaste 854 als Wert eines Falls definiert, wenn der Benutzer die Blickfeldmitte in die Front legt. Dies ermöglicht eine korrekte Berechnung der Benutzergesichtsrichtung ungeachtet des individuellen Unterschieds und des Anpassungsunterschieds.
Gemäß 21 bestimmt die Gesamtsteuerungs-CPU 101 in Schritt S3109, ob die Kalibrierung für die Frontrichtung bereitgestellt ist. Das heißt, es wird bestimmt, ob die Informationen erhalten wurden, die zur Berechnung der Kinnposition 207, Kehlposition 206 und der Positionierungsindexmitte 852 erforderlich sind.
Wenn zu diesem Zeitpunkt das Erhalten der erforderlichen Informationen nicht abgeschlossen ist, wird bestimmt, dass die Kalibrierung nicht bereitgestellt ist (NEIN in Schritt S3109), und die Vorgänge ab Schritt S3102 werden wiederholt, um korrekte Informationen, die Informationen entsprechen, die als unzureichend angesehen werden, unter den erforderlichen Informationen zu erhalten. Wenn das Erhalten der erforderlichen Informationen nicht abgeschlossen ist, sind nicht alle Vorgänge ab Schritt S3102 erforderlich. Lediglich die Vorgänge zum Erhalten der korrekten Informationen, die den Informationen entsprechen, die als unzureichend angesehen werden, können erneut durchgeführt werden.
Die Bestimmung in Schritt S3106a wird unter Verwendung des Gesichtssensors 806 oder der In-Kamera 805 durchgeführt, die in der Kalibriereinrichtung 850 angebracht ist. Danach wird die konkrete Prozedur dieses Bestimmungsverfahrens unter Verwendung eines Falls beschrieben, in dem der Kalibriervorgang für die Frontrichtung unter Verwendung der In-Kamera 805 durchgeführt wird. Obwohl sich ein Fall unter Verwendung des Gesichtssensors 806 vom Fall der Verwendung der In-Kamera 805 hinsichtlich der Dimension von Informationen (zwei-dimensionale Informationen oder drei-dimensionale Informationen) unterscheidet, ist der Grundgedanke derselbe. Demnach wird eine ausführliche Beschreibung des Falls der Verwendung des Gesichtssensors 806 weggelassen. Wenn der Gesichtssensor 806 bei der Bestimmung in Schritt S3106a verwendet wird, führt die Gesichtsrichtungserfassungseinheit 20 des Kamerahauptteils 1 die Gesichtserfassung, die den Benutzer mit dem Infrarotlicht 23 bestrahlt, während eines Zeitabschnitts nicht durch, wenn der Benutzer mit dem Infrarotlicht 823 von dem Gesichtssensor 806 bestrahlt wird. Dies soll eine Interferenz des Infrarotlichts 23 und des Infrarotlichts 823 vermeiden.
Wenn der Benutzer in Schritt S3106 die Kalibriertaste 854 in 22A drückt, erhält die Anzeigevorrichtungssteuereinrichtung 801 zuerst ein In-Kamerabild 858 (22F), in dem der Benutzer erscheint, indem sie ein Bild mit der In-Kamera (einer Gesichtserfassungseinheit) 805 aufnimmt. Die Anzeigevorrichtungssteuereinrichtung 801 erfasst ferner die Positionsinformationen über den Halsvorderabschnitt 201, das Kinn 203, das Gesicht 204 mit einer Nase und der Bildaufnahme-/Erfassungseinheit 10 (der Bildaufnahmeeinheit 40) aus dem erhaltenen In-Kamerabild 858.
Die Anzeigevorrichtungssteuereinrichtung (eine Bestimmungseinheit) 101 bestimmt unter Verwendung der aus dem In-Kamerabild 858 erfassten Positionen, ob der Benutzer die Positionierungsindexmitte 852 des Positionierungsindex 851 an der Blickfeldmitte in Schritt S3106a ansieht.
Wenn als Ergebnis der Bestimmung bestimmt wird, dass der Benutzer in eine andere Richtung schaut, zeigt die Anzeigevorrichtungssteuereinrichtung 801 eine Nachricht als die Anweisungsanzeige 855 an, dass keine korrekten Informationen erhalten werden können. Dies kann den Benutzer zur erneuten Durchführung des Kalibriervorgangs instruieren.
Die Anzeigevorrichtungssteuereinrichtung 801 kann unter Verwendung des In-Kamerabildes 858 bestimmen, dass kein korrekter Kalibriervorgang durchgeführt werden kann, wenn sich die Bildaufnahme-/Erfassungseinheit 10 über einen bestimmten Winkel hinaus neigt, oder wenn das Gesichtsrichtungserfassungsfenster 13 blockiert oder schmutzig ist. In einem derartigen Fall kann die Anzeigevorrichtungssteuereinrichtung 801 die Nachricht als die Anweisungsanzeige 855 anzeigen, die angibt, dass keine korrekten Informationen erhalten werden können.
Wenn die Gesamtsteuerungs-CPU 101 in Schritt S3109 gemäß dem vorstehend beschriebenen Verfahren bestimmt, dass die erforderlichen Informationen erhalten wurden, und dass die Bereitstellung der Kalibrierung für die Frontrichtung abgeschlossen ist, geht der Prozess zu Schritt S3110 über.
In Schritt S3110 berechnet die Anzeigevorrichtungssteuereinrichtung (die erste Kalibriereinheit) 801 Informationen, die zum Versetzen der Extraktionsmittenposition erforderlich sind, um den individuellen Unterschied und den Anpassungsunterschied zu absorbieren, und versetzt die Extraktionsmittenposition beruhend auf den Informationen.
Einzelheiten der Berechnung in Schritt S3110 werden wie folgt beschrieben. Wenn sich der Benutzer gemäß Entwurfswerten in einem idealen Zustand befindet und der Kamerahauptteil 1 ideal getragen wird, sollte eine Mitte 856 des in Schritt S3108 erhaltenen Superweitwinkelbildes, das in 22C gezeigt ist, annähernd mit der Positionierungsindexmitte 852 zusammenfallen, die im Superweitwinkelbild erschienen ist. Da aber aufgrund des Körperbaus des Benutzers, usw. tatsächlich ein individueller Unterschied und ein Anpassungsunterschied besteht, stimmt die Mitte 856 des Superweitwinkelbildes üblicherweise nicht mit der Positionierungsindexmitte 852 überein.
Für den Benutzer sollte vorzugsweise die Extraktionsmittenposition mit einer Blickfeldmitte des Benutzers in einer aktuellen Stellung oder Bedienung (d. h., der Positionierungsindexmitte 852 in dem Superweitwinkelbild) in Übereinstimmung gebracht werden, anstatt dass sie mit der Mitte 856 des durch den Kamerahauptteil 1 gezeigten Superweitwinkelbildes in Übereinstimmung gebracht wird.
Folglich wird ein Abweichungsbetrag der Positionierungsindexmitte 852 von der Mitte 856 des Superweitwinkelbildes gemessen, und die Extraktionsmittenposition wird beruhend auf der Positionierungsindexmitte 852, die sich von der Mitte 856 des Superweitwinkelbildes unterscheidet, an eine Position versetzt. Ferner wird auf ähnliche Weise auch die Gesichtsrichtung versetzt, die durch die Gesichtsrichtungserfassungseinheit 20 zu diesem Zeitpunkt erfasst wird.
Konkrete Versetzungsverfahren werden unter Bezugnahme auf 22C und 22D beschrieben. Der Abweichungsbetrag der Positionierungsindexmitte 852 zu der Mitte 856 des Superweitwinkelbildes wird gemessen, und der gemessene Abweichungsbetrag wird, wie in 22C gezeigt, in einen lateralen Abweichungsbetrag 857a und einen vertikalen Abweichungsbetrag 857b eingeteilt. Beruhend auf den Abweichungsbeträgen 857a und 857b wird nach Durchführen eines geeigneten Umwandlungsprozesses gemäß dem Projektionsverfahren des gesamten Bildwinkels ein Versetzungsbetrag bestimmt.
Wie in 22D gezeigt, kann der Versetzungsbetrag nach Anwenden des geeigneten Umwandlungsprozesses bei dem Superweitwinkelbild gemäß dem Projektionsverfahren bestimmt werden. Das heißt, es wird der Abweichungsbetrag der Mitte 856a von der Positionierungsindexmitte 852 in dem Aufnahmebild nach Umwandlung gemessen. Und der Abweichungsbetrag wird in einen lateralen Abweichungsbetrag 857c und einen vertikalen Abweichungsbetrag 857d eingeteilt. Dann kann der Versetzungsbetrag beruhend auf den Abweichungsbeträgen 857c und 857d bestimmt werden.
Das Versetzungsverfahren kann aus den in 22C und 22D gezeigten Verfahren unter Berücksichtigung von Verarbeitungsbelastung und Zweck des Kamerasystems beliebig ausgewählt werden.
Durch Durchführen des vorstehend beschriebenen Kalibriervorgangs für die Frontrichtung werden eine Gesichtsrichtung eines Benutzers, der den Kamerahauptteil 1 trägt, eine Blickfeldmitte in der Gesichtsrichtung in einem Superweitwinkelbild und eine durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung ungeachtet eines individuellen Unterschieds und eines Anpassungsunterschieds geeignet assoziiert.
Der Kalibriervorgang für die Frontrichtung wurde bisher unter den fünf Richtungen (vorne, rechts oben, rechts unten, links oben und links unten) beschrieben. Ähnliche Kalibriervorgänge müssen für die verbleibenden vier Richtungen ausgeführt werden.
Wenn der Prozess in Schritt S3110 in 21 abgeschlossen ist, geht der Prozess entsprechend zu Schritt S3111. Wenn es in Schritt S3111 eine Richtung unter den fünf Richtungen gibt, für die der Kalibriervorgang nicht durchgeführt wurde, wird eine Zielrichtung des Kalibriervorgangs geändert, und der Prozess kehrt zu Schritt S3103 zurück. Dadurch wird der Kalibriervorgang abgesehen von der bereits abgeschlossenen Frontrichtung für die verbleibenden vier Richtungen auf ähnliche Weise wiederholt.
Obwohl in 21 nicht gezeigt, wird dieser Prozess im Istzustand beendet, wenn in Schritt S3111 bestimmt wird, dass es keine Richtung gibt, für die der Kalibriervorgang nicht durchgeführt wurde.
23A bis 23E zeigen Darstellungen zum Beschreiben des Kalibriervorgangs für eine rechts oben Richtung des Benutzers (der rechts oben Richtung im Superweitwinkelbild). 23A bis 23E entsprechen jeweils 22A bis 22E, und die grundlegende Arbeitsweise ist auch identisch. Entsprechend wird die übereinstimmende Beschreibung weggelassen.
Wie in 23A gezeigt, zeigt die Anweisungsanzeige 855 eine Zeichenkette an, die den Benutzer zum Anordnen des Positionierungsindex 851 in der Blickfeldmitte des Benutzers instruiert, wenn er sein Gesicht nach rechts oben richtet.
23B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung 850 gemäß der durch die Anweisungsanzeige 855 in 23A gezeigten Anweisung nach rechts oben hält. 23C zeigt eine schematische Darstellung des Gesamtsuperweitwinkelbildes, das durch das Bildaufnahmeobjektiv 16 im Zustand in 23B erfasst wird.
Wie in 23C gezeigt, wird zuerst ein Abweichungsbetrag zwischen der Mitte 856 des Superweitwinkelbildes und der Positionierungsindexmitte 852 gemäß einem konkreten Versetzungsverfahren gemessen. Danach wird der gemessene Abweichungsbetrag in einen radialen Abweichungsbetrag 857e und einen Winkelabweichungsbetrag 857f eingeteilt. Ein Versetzungsbetrag wird auf Grundlage der Abweichungsbeträge 857e und 857f nach Durchführung eines geeigneten Umwandlungsprozesses gemäß dem Projektionsverfahren des gesamten Bildwinkels bestimmt.
Wie in 23D gezeigt, kann der Versetzungsbetrag ferner nach Anwenden des geeigneten Umwandlungsprozesses bei dem Superweitwinkelbild gemäß dem Projektionsverfahren bestimmt werden. Das heißt, der Abweichungsbetrag der Mitte 856a von der Positionierungsindexmitte 852 in dem Aufnahmebild nach Umwandlung wird gemessen. Und der Abweichungsbetrag wird in einen radialen Abweichungsbetrag 857g und einen Winkelabweichungsbetrag 857h eingeteilt. Dann kann der Versetzungsbetrag beruhend auf den Abweichungsbeträgen 857g und 857h bestimmt werden.
Die unter Verwendung von 22A bis 22E beschriebene Bestimmung des Versetzungsbetrags wendet das Verfahren des Einteilens des Abweichungsbetrags in den lateralen Abweichungsbetrag und den vertikalen Abweichungsbetrag an. Verglichen damit wendet die unter Verwendung von 23A bis 23E beschriebene Bestimmung des Versetzungsbetrags das Verfahren des Einteilens des Abweichungsbetrags in den radialen Abweichungsbetrag und den Winkelabweichungsbetrag an. Der Verfahrensunterschied dient lediglich der Vereinfachung der Beschreibung, und es kann jedes Verfahren angewendet werden.
Ferner hat die Gesichtsrichtungserfassungseinheit 20, wie in 23E gezeigt, die Kehlposition 206 und die Kinnposition 207ru erhalten, die zur Berechnung der Gesichtsrichtung beim Richten des Gesichts nach oben rechts erforderlich sind. Entsprechend kann die Gesichtsrichtung des Benutzers beim Schauen in die Richtung (in diesem Fall die rechts oben Richtung) zu der Positionierungsindexmitte 852 ungeachtet eines individuellen Unterschieds und eines Anpassungsunterschieds des Benutzers korrekt gemessen werden.
Wie vorstehend beschrieben werden in dem in 21 gezeigten Kalibrierungsprozess die Kalibrierungsvorgänge für die Richtungen rechts oben, rechts unten, links oben und links unten zusätzlich zur Frontrichtung durchgeführt. Dadurch kann die Gesichtsrichtungserfassungseinheit 20 die Richtung, in die sich der Benutzer dreht, korrekt erfassen, wenn der Benutzer den Kopf in eine der Richtungen oben, unten, rechts und links dreht. Der Benutzer kann dementsprechend den Kamerahauptteil 1 ungeachtet eines individuellen Unterschieds oder Anpassungsunterschieds geeignet verwenden.
Vorstehend wurde zur Vereinfachung der Beschreibung das Verfahren des Durchführens des Kalibriervorgangs wiederholt für die fünf Richtungen (vorne, rechts oben, rechts unten, links oben und links unten) beschrieben.
Der Kalibriervorgang ist aber nicht auf dieses Verfahren beschränkt. Beispielsweise kann das folgende Verfahren angewendet werden. Das heißt, ein Benutzer bewegt die Kalibriereinrichtung 850 kontinuierlich entlang einer Z-förmigen Ortskurve, einer spiralförmigen Ortskurve, einer Polygonortskurve oder dergleichen gemäß der Anweisungsanzeige 855. Gleichzeitig nimmt der Benutzer kontinuierlich den auf der Kalibriereinrichtung 850 angezeigten Positionierungsindex 851 in der Blickfeldmitte auf. Bei diesem Verfahren überträgt die Anzeigevorrichtungssteuereinrichtung 801 die Kalibrieranweisungen viele Male zum Kamerahauptteil 1, während sich die Kalibriereinrichtung 850 bewegt.
Immer wenn die Kalibrieranweisung empfangen wird, erhält die Gesamtsteuerungs-CPU 101 die durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung und die Positionskoordinateninformationen über die Positionierungsindexmitte 852 in dem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild und sichert sie als Verlaufsinformationen. Danach berechnet die Gesamtsteuerungs-CPU 101 die Beziehung der Extraktionsmittenposition des Bildes und der Gesichtsrichtung des Benutzers durch Kombinieren der aus den erhaltenen Verlaufsinformationen extrahierten Informationen. Bei diesem Verfahren können die aus den Verlaufsinformationen extrahierten Informationen ferner auf die Informationen eingeschränkt werden, die erhalten werden, wenn der Benutzer den Positionierungsindex 851 anschaut. Die Informationen werden unter Verwendung der Informationen über die In-Kamera 805 und den Gesichtssensor 806 eingeschränkt, die durch die Kalibriereinrichtung 850 während der Bewegung der Kalibriereinrichtung 850 erhalten werden. Dadurch werden die Informationen, die erhalten werden, wenn der Benutzer wegsieht, nicht länger aus den Verlaufsinformationen extrahiert, was die Genauigkeit der Berechnung der Beziehung erhöht.
Die Anzeigevorrichtungssteuereinrichtung 801 kann ferner einen Messwert des Winkelgeschwindigkeitssensors 807 zusammen mit der Kalibrieranweisung zum Kamerahauptteil 1 übertragen. In diesem Fall erhält die Gesamtsteuerungs-CPU 101 Bewegungsinformationen, die eine Bewegungskurve der Kalibriereinrichtung 850 durch den Benutzer und die Position und Stellung der Kalibriereinrichtung 850 zeigen, aus dem übertragenen Messwert des Winkelgeschwindigkeitssensors 807. Die Bewegungsinformationen werden auch als Verlaufsinformationen gesichert. Dadurch kann der Kalibriervorgang beruhend auf den Bewegungsinformationen, die auf dem Messwert des Winkelgeschwindigkeitssensors 807 beruhen, der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung und den Positionskoordinateninformationen über die Positionierungsindexmitte 852 in dem durch die Bildaufnahmeeinheit 40 aufgenommen Superweitwinkelbild sicher und korrekt durchgeführt werden.
In diesem Fall sollten die Bewegungsinformationen, die auf dem Messwert des Winkelgeschwindigkeitssensors 807 beruhen, mit den Bewegungsinformationen zusammenfallen, die auf den Positionskoordinateninformationen über den Positionierungsindex 851 beruhen. Wenn der Messwert des Winkelgeschwindigkeitssensors 807 verwendet wird, muss dementsprechend die Kommunikation zwischen dem Kamerahauptteil 1 und der Kalibriereinrichtung 850 synchronisiert werden.
Wie vorstehend beschrieben, beschreibt das zweite Ausführungsbeispiel das Kalibrierverfahren, das die Verknüpfung der Gesichtsrichtung des Benutzers mit der Mittenposition des Zielblickfeldes 125, das in dem Superweitwinkelbild eingestellt wird, ungeachtet eines individuellen Unterschieds und eines Anpassungsunterschieds ermöglicht. Unterdessen ist die vorliegende Erfindung nicht auf die verschiedenen, im zweiten Ausführungsbeispiel beschriebenen Konfigurationen beschränkt, und innerhalb des Schutzbereichs der folgenden Erfindung sind verschiedene Abwandlungen verfügbar.
Als Nächstes wird ein drittes Ausführungsbeispiel beschrieben. Wie in 11A bis 11F gezeigt, die zur Beschreibung des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses verwendet werden (siehe Schritt 300 in 7A und 7D), beträgt der FOV-Winkel der äußersten Peripherie des effektiven Projektionsbereichs 122 des Bildaufnahmeobjektivs 16 ungefähr 180°. Wenn der Benutzer, der den Kamerahauptteil 1 um den Hals trägt, den Kopf hebt, nachdem er den Startschalter 14 gedrückt hat, erscheint demnach der Kiefer 134 des Benutzers in einem Rahmenbild, wie es in 24 gezeigt ist. Wenn das Bild in diesem Zustand in der Beobachtungsrichtung extrahiert werden soll, wird der Kiefer des Benutzers aufgezeichnet. Ein derartiges Bild kann kein erwünschtes Bild sein, da der Benutzer nicht möchte, dass der eigene Kiefer aufgezeichnet wird, wenn er den Kopf hebt. Des Weiteren kann das Bild, in dem der unterste Teil des eigenen Kiefers erscheint, ein Bild sein, das der Benutzer anderen nicht zeigen möchte.
Dieses Ausführungsbeispiel beschränkt demnach die Extraktion eines Bildes, um eine Situation zu vermeiden, in der der Benutzerkiefer 134 in einem aufgezeichneten Bild erscheint.
Wie im Gesichtsrichtungserfassungsprozess (siehe 7C) im ersten Ausführungsbeispiel beschrieben, wendet die Gesichtsrichtungserfassungseinheit 20 ein Verfahren an, das ein Gesichtsbild durch Extrahieren einer Infrarotreflexionsstärke als zweidimensionales Bild durch die Infraroterfassungseinrichtung 27 erhält.
Das Bildaufnahmeobjektiv 16 und das Gesichtsrichtungserfassungsfenster 13 sind am Kamerahauptkörper 1 fixiert. Demnach kann die Position des Benutzerkiefers in dem Rahmenbild, das von dem Festkörperbildsensor 42 erhalten wird, auf der Grundlage von Werten (einer Anordnungsposition, eines Anordnungswinkels und eines Erfassungsbereichs) des Gesichtsrichtungserfassungsfenster 13, Werten (einer Anordnungsposition, eines Anordnungswinkels und FOV) des Bildaufnahmeobjektivs 16 und einer Positionsbeziehung des Gesichtsrichtungserfassungsfensters 13 und des Gesichts des Benutzers spezifiziert werden. Demnach wird die Position des Bildaufzeichnungsrahmens bei diesem Ausführungsbeispiel in Schritt S304 in 7D derart bestimmt, dass ein Bereich vermieden wird, in dem sich der Benutzerkiefer befindet.
Das heißt, wenn sich die Gesichtsrichtung des Benutzers von vorn nach oben bewegt, wird die Bewegung des Bildaufzeichnungsrahmens bei diesem Ausführungsbeispiel in Abhängigkeit von der Position des Benutzerkiefers beschränkt, die durch das Gesichtsrichtungserfassungsfenster 13 erfasst wird.
Wenn die Positionsbeziehung des Bildaufnahmeobjektiv 16 und des Gesichtsrichtungserfassungsfensters 13 und die Anordnungswinkel usw. anpassbar sind, kann die Position des Benutzerkiefers im Rahmenbild in Abhängigkeit von der Positionsbeziehung und den Anordnungswinkeln spezifiziert werden. Da ein derartiges Spezifizierungsverfahren ein bekanntes Verfahren ist, wird seine Beschreibung weggelassen.
Obwohl der Festkörperbildsensor 42 gemäß diesem Ausführungsbeispiel ein Infrarot-Sperrfilter enthält, das Infrarotlicht abschneidet, ist dieses Infrarot-Sperrfilter nicht perfekt. Wenn sich das Objekt nahe an den Infrarot-LEDs 22 befindet, kann eine Infrarotlichtkomponente demnach nicht vollständig abgeschnitten werden. Der Festkörperbildsensor 42 erfasst demnach das Infrarotlicht von dem Bereich des Benutzerkiefers. Dieses Ausführungsbeispiel hindert den Benutzerkiefer dementsprechend daran, in den Bildaufzeichnungsrahmen einzutreten, in dem der Bereich des Benutzerkiefers, der die Infrarotkomponente enthält, aus dem durch den Festkörperbildsensor 42 erhaltenen Bild erfasst wird.
Das heißt, das V-Signal für den Festkörperbildsensor 42 wird mit dem in 9 gezeigten V-Signal für die Gesichtsrichtungserfassung synchronisiert, und jeder Rahmen wird durch den Festkörperbildsensor 42 aufgenommen. Nachstehend wird ein Rahmenbild, das durch den Festkörperbildsensor 42 während eines Zeitabschnitts (LED-Erleuchten-Zeitabschnitt), wenn die Infrarot-LEDs 22 leuchten bzw. erleuchtet sind, als Gesamt-Erleuchten-Bild bezeichnet. Ferner wird ein Rahmenbild, das durch den Festkörperbildsensor 42 während eines Zeitabschnitts (LED-Erlöschen-Zeitabschnitts), wenn die Infrarot-LEDs 22 nicht leuchten bzw. erloschen sind, als Gesamt-Erlöschen-Bild bezeichnet. Danach wird der Benutzerkiefer aus einem Differenzbild (28A) des Gesamt-Erleuchten-Bildes und Gesamt-Erlöschen-Bildes auf die gleiche Weise wie die Extraktion des Benutzergesichts extrahiert, die unter Verwendung von 8E beschrieben ist. Dann wird der Bildaufzeichnungsrahmen so eingestellt, dass er den Bereich des Benutzerkiefers nicht enthält, das extrahiert ist. Tatsächlich wird bevorzugt, den Bereich des Benutzerkiefers nach Beseitigung einer sehr kleinen Differenz durch Anwenden eines LPF oder Minimumwertfilters bei dem Differenzbild durch eine (nicht gezeigte) Bildverarbeitungseinheit zu spezifizieren.
Es wird angemerkt, dass eine Konfiguration, bei der das V-Signal für die Gesichtsrichtungserfassung mit dem V-Signal für den Festkörperbildsensor 42 nicht synchronisiert ist, auch erzielt werden kann. 25 zeigt ein Zeitablaufdiagramm eines Falls, in dem das V-Signal für die Gesichtsrichtungserfassung, das durch die Infraroterfassungseinrichtung 27 erzeugt wird, und das V-Signal für den Festkörperbildsensor asynchron sind. Das V-Signal für den Festkörperbildsensor 42, ein Belichtungszustand des Festkörperbildsensors 42 (Bildaufnahmezeitablauf durch den Sensor der Infraroterfassungseinrichtung 27) und der Leuchtzustand der Infrarot-LEDs 22 (LED-Leuchtzeitablauf) sind in 25 von oben nach unten gezeigt.
In dem Beispiel in 25 wird der Festkörperbildsensor 42 mit 30 fps belichtet, und der Sensor der Infraroterfassungseinrichtung 27, die für die Gesichtsrichtung verwendet wird, wird mit 10 fps es belichtet. Die Infrarot-LEDs 22 blinken mit 5 Hz, und die Gesichtserfassung wird bei diesem Beispiel 5 Mal pro Sekunde durchgeführt. Da so der Zyklus des Festkörperbildsensors 42 mit dem Zyklus der Gesichtserfassung nicht übereinstimmt, sind die durch den Festkörperbildsensor 42 erhaltenen Rahmenbilder nicht nur die Gesamt-Erleuchten-Bilder und die Gesamt-Erlöschen-Bilder. Das heißt, wie es in 26A und 26B gezeigt ist, enthalten die durch den Festkörperbildsensor 42 erhaltenen Rahmenbilder Rahmenbilder, die jeweils aus einem durch die Infrarot-LEDs 22 während der Belichtung beleuchteten Bereich und einem während eines Zeitabschnitts belichteten Bereichs gebildet sind, wenn die Infrarot-LEDs 22 erloschen sind. Nachstehend wird der durch die Infrarot-LEDs 22 während der Belichtung beleuchtete Bereich „Belichtungsbereich während LED-Erleuchten“ genannt, und der während eines Zeitabschnitts belichtete Bereich, wenn die Infrarot-LEDs 22 erloschen sind, wird „Belichtungsbereich während LED-Erlöschen“ genannt.
Wie vorstehend beschrieben kann der Bereich des Benutzerkiefers durch Vergleichen eines Gesamt-Erleuchten-Bildes (beispielsweise des zweiten Rahmenbildes in 25) mit einem Gesamt-Erlöschen-Bild (beispielsweise dem vierten Rahmenbild in 25) spezifiziert werden. Allerdings erscheint der Benutzerkiefer lediglich in einem Teil eines oberen Abschnitts des durch den Festkörperbildsensor 42 aufgenommenen Rahmenbildes. Demnach kann der Bereich des Benutzerkiefers durch Vergleichen eines Rahmenbildes, dessen oberer Abschnitt der Belichtungsabschnitt während LED-Erleuchten und unterer Abschnitt der LED-Erlöschen-Belichtungsbereich sind (beispielsweise des dritten Rahmenbildes in 25, siehe 26B) mit einem Gesamt-Erlöschen-Bild (beispielsweise dem vierten Rahmenbild in 25) spezifiziert werden.
Dagegen kann der Bereich des Benutzerkiefers durch Vergleichen eines Rahmenbildes, dessen oberer Abschnitt der Belichtungsbereich während LED-Erlöschen und unterer Abschnitt der Belichtungsbereich während LED-Erleuchten sind (beispielsweise des ersten Rahmenbildes in 25, siehe 26A), mit einem Gesamt-Erleuchten-Bild (beispielsweise dem zweiten Rahmenbild in 25) spezifiziert werden.
Als Nächstes wird beschrieben, wie der maximale Bereich erhalten wird, in dem der Benutzerkiefer erscheint.
Die im zweiten Ausführungsbeispiel beschriebene Kalibrierung erhält das Superweitwinkelbild in Schritt S3108 durch Aufnehmen mit der Bildaufnahmeeinheit 40 in jedem der Fälle, in denen der Benutzer das Gesicht in die fünf Richtungen (vorne, oben rechts, unten rechts, oben links und unten links) dreht. Da die Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 auch beim Erhalten des Superweitwinkelbildes erfasst wird, blinken die Infrarot-LEDs 22. Demnach kann bei Bedarf der Bereich des Benutzerkiefers in Schritt S3108 durch Erhalten des Differenzbildes des Gesamt-Erleuchten-Bildes und des Gesamt-Erlöschen-Bildes wie vorstehend beschrieben und durch Umwandeln dieses in ein Binärbild wie in 28B spezifiziert werden.
Zu diesem Zeitpunkt ist ein Bereich, der ein Ziel der Erfassung des Benutzerkiefers darstellt, ein zuvor bestimmter festgelegter Bereich, in dem der Benutzerkiefer erscheinen kann. Da der Benutzerkiefer beispielsweise nie in der unteren Hälfte des Superweitwinkelbildes erscheint, das bei üblicher Verwendung durch die in 1B gezeigte Konfiguration erhalten wird, ist der festgelegte Bereich der Erfassung des Benutzerkiefers die obere Hälfte (50%) des Superweitwinkelbildes. Der festgelegte Bereich ist ein Beispiel, und er kann entsprechend der Positionsbeziehung der Gesichtssichtungserfassungseinheit 20 und der Bildaufnahmeeinheit 40, dem FOV-Winkel des Bildaufnahmeobjektivs 16 usw. geeignet geändert werden.
Bei diesem Ausführungsbeispiel wird der maximale Bereich, in dem der Benutzerkiefer erscheinen kann, als logische Summe von fünf Binärbildern erhalten, wie es in 28C gezeigt ist, die aus fünf Differenzbildern zwischen Gesamt-Erleuchten-Bildern und Gesamt-Erlöschen-Bildern umgewandelt werden, die jeweils erhalten werden, wenn der Benutzer in die vorstehend beschriebenen fünf Richtungen schaut. Ferner kann der maximale Bereich, in dem der Benutzerkiefer erscheinen kann, selbst dann erhalten werden, wenn das V-Signal für die Gesichtsrichtungserfassung und das V-Signal für den Festkörperbildsensor 42 wie vorstehend beschrieben asynchron sind.
Als Nächstes wird ein Rahmenkorrekturprozess für eine Bildaufzeichnung gemäß diesem Ausführungsbeispiel unter Bezugnahme auf das Ablaufdiagramm in 27A näher beschrieben. Da Inhalte von einem Vorbereitungsprozess in Schritt S8001 bis zu einem Bildaufnahmeprozess in Schritt S8004 unter den Prozessen in 27A die gleichen sind wie die in den Schritten S100 bis S400 in 7A, die im ersten Ausführungsbeispiel beschrieben werden, wird ihre Beschreibung nicht wiederholt.
In Schritt S8005 führt die Gesamtsteuerungs-CPU 101 einen Bestimmungsprozess eines Erscheinens eines Benutzers aus, der überprüft, ob der Benutzer in dem durch den Festkörperbildsensor 42 aufgenommenen Rahmenbild erscheint. Der Bestimmungsprozess der Erscheinung eines Benutzers wird später unter Verwendung von 27B beschrieben.
Als Ergebnis des Bestimmungsprozesses der Erscheinung eines Benutzers in Schritt S8005 bestimmt die Gesamtsteuerungs-CPU 101 in Schritt S8006, ob der Benutzer im Rahmenbild erscheint. Wenn der Benutzer als Ergebnis der Bestimmung im Rahmenbild erscheint (JA in Schritt S8006), geht der Prozess zu Schritt S8007. Wenn der Benutzer unterdessen im Rahmenbild nicht erscheint (NEIN in Schritt S8006), geht der Prozess direkt zu Schritt S8008 über. Es wird angemerkt, dass bestimmt werden kann, ob der Benutzer selbst lediglich in dem festgelegten Bereich erscheint, der zuvor als der Bereich definiert wird, in dem der Benutzerkiefer wie vorstehend beschrieben erscheinen kann. Wenn der Benutzer ferner beispielsweise einen Arm einer Hand, die ausgestreckt wird, um etwas zu nehmen, aus dem Bildaufzeichnungsrahmen ausschließen möchte, wird das gesamte Rahmenbild zu einem Zielbereich der Bestimmung.
In Schritt S8007 korrigiert die Gesamtsteuerungs-CPU (eine Bestimmungseinheit) die/den in Schritt S8003 bestimmte(n) Aufzeichnungsrichtung/Bereich, sodass der Benutzer in dem Bereich nicht erscheinen wird. Das heißt, wenn der Benutzer das Gesicht bewegt, sodass sich die Beobachtungsrichtung des Benutzers von vorn allmählich nach oben bewegt, folgt die Aufzeichnungsrichtung der Bewegung der Beobachtungsrichtung. Wenn aber der Benutzerkiefer in Schritt S8005 erfasst wird, wird die Aufzeichnungsrichtung gesteuert, sodass sie sich nicht darüber hinaus nach oben bewegt. Wenn der Benutzer das Gesicht in einer schrägen Richtung bewegt und der Benutzerkiefer in Schritt S8005 erfasst wird, wird die Aufzeichnungsrichtung gesteuert, sodass sie sich nicht in die Bewegungsrichtung (oder lediglich nicht in die vertikale Komponente der Richtung) des Gesichts bewegt.
Nachdem die/der Aufzeichnungsrichtung/Bereich auf diese Weise bestimmt wurde, sodass ein Teil des Benutzerkörpers nicht aufgezeichnet wird, geht der Prozess zu Schritt S8008, und der Entwicklungsprozess des Bereichs wird durchgeführt. Da die Inhalte von dem Aufzeichnungsbereichsentwicklungsprozess in Schritt S8008 zu dem Sekundäraufzeichnungsprozess in Schritt S8013 die gleichen sind wie in den im ersten Ausführungsbeispiel beschriebenen Schritten S500 bis S1000 in 7A, wird ihre Beschreibung nicht wiederholt.
Als Nächstes wird der durch die Gesamtsteuerungs-CPU 101 ausgeführte Bestimmungsprozess der Erscheinung eines Benutzers in Schritt S8005 unter Verwendung des Ablaufdiagramms in 27B beschrieben.
In Schritt S8101 wird zuerst bestimmt, dass die Infrarot-LEDs 22 während des Bildaufnahmevorgangs in Schritt S8004 erleuchtet wurden. Wenn das Gesamt-Erleuchten-Bild zum Bestimmen des Bereichs des Benutzerkiefers verwendet wird, wird bestimmt, ob die LEDs über einen Zeitabschnitt erleuchtet waren, der den gesamten Bereich des Rahmenbildes belichtet. Wenn unterdessen der unter Verwendung von 26A und 26B beschriebene Belichtungsbereich während LED-Erleuchten zum Bestimmen des Bereichs des Benutzerkiefers verwendet wird, wird bestimmt, ob die LEDs über einen Zeitabschnitt erleuchtet waren, der einen Bereich belichtet, in dem der Benutzer in dem Rahmenbild erscheinen kann.
Wenn die Infrarot-LEDs 22 während des Bildaufnahmevorgangs erleuchtet waren (JA in Schritt S8101), geht der Prozess zu Schritt S8102 über. In Schritt S8102 wird ein Rahmenbild aus einem Puffer erhalten, das während eines Erlöschen-Zeitabschnitts der Infrarot-LEDs 22 aufgenommen wurde, und dann geht der Prozess zu Schritt S8104 über. Wenn die Infrarot-LEDs 22 allerdings während des Bildaufnahmevorgangs erloschen waren (NEIN in Schritt 8101), geht der Prozess zu einem Schritt S8103 über. In Schritt S8103 wird ein Rahmenbild aus dem Puffer erhalten, das während eines Erleuchten-Zeitabschnitts der Infrarot-LEDs 22 aufgenommen wurde, und dann geht der Prozess zu Schritt S8104 über.
In Schritt S8104 erhält die Gesamtsteuerungs-CPU (eine Erhalteeinheit) ein Differenzbild aus dem Rahmenbild (einem ersten Rahmenbild), das in Schritt S8102 oder Schritt S8103 aus dem Puffer erhalten wird, und dem in Schritt S8004 aufgenommenen Rahmenbild (einem zweiten Rahmenbild). Es wird auch bevorzugt, wie vorstehend beschrieben eine sehr kleine Differenz zu beseitigen.
In Schritt S8105 spezifiziert die Gesamtsteuerungs-CPU (eine erste Spezifizierungseinheit) 101 den Bereich, in dem ein Teil des Benutzerkörpers erscheint, aus dem in Schritt S8104 erhaltenen Differenzbild.
In Schritt S8106 werden das in Schritt S8004 aufgenommene aktuelle Rahmenbild und der Leuchtzustand der Infrarot-LEDs 22 beim Aufnehmen des Bildes im Puffer gespeichert, und dann ist dieser Prozess beendet.
Es wird angemerkt, dass bei diesem Ausführungsbeispiel der Primärspeicher 103 als Puffer verwendet wird. Wenn die Menge der im Puffer in Schritt S8106 gespeicherten Daten relativ groß ist, können die Daten vor der Speicherung im Puffer ungefähr auf die Hälfte komprimiert werden. Da ferner das während des Erleuchten-Zeitabschnitts der Infrarot-LEDs 22 aufgenommene Rahmenbild und das während des Erlöschen-Zeitabschnitts der Infrarot-LEDs 22 aufgenommene Rahmenbild nicht unbedingt abwechselnd erhalten werden, wie es unter Verwendung von 25 beschrieben ist, ist es erforderlich, eine Vielzahl von Rahmenbildern im Puffer zu speichern.
Wenn ferner der Bereich, in dem der Benutzerkiefer erscheint, in Schritt S8105 spezifiziert wird, ist es auch vorzuziehen, zuvor einen Bereich zu berechnen, in dem der Benutzerkiefer in jedem durch den Festkörperbildsensor 42 aufgenommenen Rahmenbild erscheinen kann. In diesem Fall wird der Benutzerkiefer lediglich aus dem berechneten Bereich erfasst und eine Bewegung des Aufzeichnungsbereichs wird beschränkt, um den Benutzerkiefer zu vermeiden. Dies verhindert, dass der Benutzer fälschlicherweise etwas anderes als den Kiefer spezifiziert. Insbesondere stellt die Gesamtsteuerungs-CPU (eine Bereichsberechnungseinheit) 101 den maximalen Bereich, in dem der Benutzerkiefer erscheint, der in 28C gezeigt und vorstehend beschrieben ist, auf den Bereich ein, in dem der Benutzerkiefer erscheinen kann. Wenn ferner ein Bereich, in dem der Benutzerkiefer nicht erscheinen kann, zuvor berechnet wird, kann der Benutzerkiefer auf der Grundlage des berechneten Bereichs erfasst und eine Bewegung des Aufzeichnungsbereichs beschränkt werden, um den Benutzerkiefer zu vermeiden.
Es wird angemerkt, dass die Gesamtsteuerungs-CPU (eine zweite Spezifizierungseinheit) 101 den Bereich, in dem der Benutzerkiefer erscheint, anstelle der Spezifizierung des Bereichs unter Verwendung des vorstehend beschriebenen Differenzbildes durch Objekterkennung über das Rahmenbild spezifizieren kann. In diesem Fall wendet die Gesamtsteuerungs-CPU 101 vorzugsweise ein gelerntes Modell unter Verwendung von Tiefenlernen an, das Informationen über den Bereich, in dem der Benutzerkiefer erscheint, in jedem Rahmenbild ausgibt, wenn das Rahmenbild eingegeben wird. Dieses gelernte Modell lernt vorzugsweise unter Verwendung einer Benutzerhautfarbe als Lernparameter, die aus dem Bild erfasst wird, das durch die in der Anzeigevorrichtung 800 enthaltene In-Kamera 805 erhalten wird, wenn die vorstehend beschriebene Kalibrierung durchgeführt wird. Dies ermöglicht eine korrektere Erkennung des Bereichs in jedem Rahmenbild, in dem der Benutzerkiefer erscheint. Das heißt, die Anzeigevorrichtungssteuereinrichtung 801 bestimmt die Hautfarbe des Benutzergesichts aus dem in Schritt S3106 in 21 erhaltenen In-Kamerabild 858 und überträgt die bestimmte Hautfarbe zu dem Kamerahauptkörper 1 als Hautfarbeninformationen. Der Kamerahauptkörper 1 speichert die übertragenen Hautfarbeninformationen im Primärspeicher 103 und verwendet sie als Lernparameter. Die Hautfarbeninformationen werden vorzugsweise auch im internen nichtflüchtigen Speicher 102 gespeichert, sodass sie selbst nach einem erneuten Einschalten der Leistungsversorgung verwendet werden können. Ferner wird auch bevorzugt, eine Form des Benutzerkiefers und sein Bewegungsmuster als Lernparameter zu verwenden.
Obwohl bei diesem Ausführungsbeispiel das Benutzerkiefer als ein Beispiel eines Gegenstands beschrieben wird, der aus dem Bildaufzeichnungsrahmen auszuschließen ist, ist der Gegenstand nicht auf den Kiefer beschränkt. Beispielsweise kann ein Benutzerarm einer Hand, die ausgestreckt wird, oder das Haar des Benutzers beim nach unten Schauen betroffen sein. In diesem Fall müssen zu vergleichende Rahmenbilder aus den in 25 gezeigten Rahmenbildern in Abhängigkeit von einem Gegenstand ausgewählt werden, der aus dem Bildaufzeichnungsrahmen ausgenommen werden soll. Eine derartige Auswahl kann vom Fachmann vorgenommen werden. Wenn ferner das gelernte Modell unter Verwendung von Tiefenlernen verwendet wird, wird auch bevorzugt, optimale Lernparameter, wie eine Farbe von Kleidung, die der Benutzer trägt, eine Haarfarbe des Benutzers, zusätzlich zur Hautfarbe des Benutzers auszuwählen.
Als Nächstes wird ein viertes Ausführungsbeispiel beschrieben. Bei diesem Ausführungsbeispiel wird ein Prozess, wenn das Zielblickfeld 125 (eine Rahmenposition zur Aufzeichnung eines Bildes) vom effektiven Projektionsbereich 122 abhängig von einer Benutzerbeobachtungsrichtung abweicht, unter Bezugnahme auf 29 bis 31 beschrieben. Da das vierte Ausführungsbeispiel grundlegend mit dem ersten Ausführungsbeispiel hinsichtlich der Konfiguration identisch ist, wird nachstehend lediglich eine dem vierten Ausführungsbeispiel eigene Konfiguration beschrieben.
29 zeigt eine schematische Darstellung zur Beschreibung des Zielblickfeldes 125 und einer Bildhöhe und zeigt einen Zustand, in dem der Benutzer eine Beobachtungsrichtung vp betrachtet, die von der Mitte aus links oben liegt. 30 zeigt eine schematische Darstellung zur Beschreibung eines Winkels einer Beobachtungsrichtung und eines Koordinatensystems.
Weitwinkelobjektive sind beruhend auf Projektionsverfahren in mehrere Typen eingeteilt. Bei diesem Ausführungsbeispiel wird ein Fall beschrieben, in dem ein äquidistantes Projektionsobjektiv als Bildaufnahmeobjektiv 16 angewandt wird. Das äquidistante Projektionsobjektiv ist derart entworfen, dass die Bildhöhe (eine Entfernung von der Mitte eines Bildes) proportional einem Einfallswinkel in das Objektiv ist.
Wenn die Brennweite des Objektivs f mm beträgt und der Einfallswinkel Θ rad ist, ergibt sich die Bildhöhe r mm durch eine Formel 2 (vorausgesetzt, dass die Front 0 rad). $r [m m] = f [m m] \cdot θ [r a d]$
Wie es in 30 gezeigt ist, wird ein kartesisches Koordinatensystem angenommen, das eine x-Koordinate in Querrichtung (Gierungsrichtung, horizontale Richtung), eine y-Koordinate in einer Oben-Unten-Richtung (Neigungsrichtung, vertikale Richtung) und eine z-Koordinate in einer Richtung der optischen Achse (Frontrichtung) enthält. Ein Fall wird betrachtet, in dem eine Beobachtungsrichtung des Benutzers auf eine Pseudoebene 170 von z=1 projiziert wird. Dabei wird der Vektor einer Frontrichtung durch eine Formel 3 angegeben, und der Vektor der Benutzerbeobachtungsrichtung wird durch eine Formel 4 angegeben. $\vec{a} = (0,0,1)$
$\vec{b} = (tan (G i e r u n g), tan (N e i g u n g),1)$
Ferner wird ein Eck-Vektor des Zielblickfeldes 125 durch eine Formel 5 angegeben. Ein horizontaler Bildwinkel ist ωγ und ein vertikaler Bildwinkel ist ωp. $\vec{c} = (tan (G i e r u n g \pm \frac{ω_{y}}{2}), tan (N e i g u n g \pm \frac{ω_{p}}{2}),1)$
Der Beobachtungsrichtungsvektor (Formel 4) in 30 ist äquivalent zur Beobachtungsrichtung vp in 29. Ferner ist der Eck-Vektor (Formel 5) in 30 äquivalent zur Bildhöhe r1 in 29. Obwohl der Eck-Vektor (Formel 5) des Zielblickfeldes 125 in 30 die obere linke Ecke angibt, können durch Kombinieren der zwei in der Formel 4 enthaltenen Symbole „±“ vier Ecken angegeben werden.
Zu diesem Zeitpunkt ist ein Winkel φ, der zwischen dem Vektor (Formel 3) der Frontrichtung und dem Eck-Vektor (Formel 4) des Zielblickfeldes 125 gebildet wird, durch eine Formel 6 angegeben. $cos φ = \frac{1}{\sqrt{tan {(G i e r u n g \pm \frac{ω_{p}}{2})}^{2} + tan} {(G i e r u n g \pm \frac{ω_{y}}{2})}^{2} + 1}$
Wenn das durch die Formel 6 berechnete φ in θ der Formel 2 eingesetzt wird, werden die Bildhöhen der vier Ecken des Zielblickfeldes 125 erhalten.
Insbesondere wenn der Benutzer das Gesicht schräg richtet, kann eine Ecke des Zielblickfeldes 125 aus dem effektiven Projektionsbereich 122 des Bildaufnahmeobjektivs 16 hervorstehen. In diesem Fall wird der Teil des Zielblickfeldes 125, der außerhalb des effektiven Projektionsbereichs 122 zu liegen kommt, als Bild aufgezeichnet, dessen Auflösung sehr schlecht ist, aufgrund eines Phänomens einer verringerten Randlichtmenge als Dunkelbild aufgezeichnet, oder als Schwarzbild aufgezeichnet, in das kein externes Licht eintritt. Wenn eine Ecke des Zielblickfeldes 125 außerhalb des effektiven Projektionsbereichs 122 zu liegen kommt, wird daher bei diesem Ausführungsbeispiel die Position des Zielblickfeldes 125 so korrigiert, dass sie sich anstelle der Benutzerbeobachtungsrichtung der optischen Mitte nähert.
Obwohl bei diesem Ausführungsbeispiel das Beispiel des äquidistanten Projektionsobjektivs beschrieben wird, wird bei der Verwendung eines Raumwinkel-Projektionsobjektivs eine Bildhöhe einer Ecke des Zielblickfeldes 125 durch eine Formel 7 berechnet, und wird durch eine Formel 8 berechnet, wenn ein Raumwinkel-Projektionsobjektiv mit gleichem Winkel verwendet wird. $r [m m] = 2 \cdot f [m m] \cdot tan \frac{θ [r a d]}{2}$
$r [m m] = 2 \cdot f [m m] \cdot sin \frac{θ [r a d]}{2}$
Auf diese Weise kann die Bildhöhe in Abhängigkeit von der Eigenschaft des verwendeten Bildaufnahmeobjektivs 16 geeignet berechnet werden.
Wenn der Benutzer das Gesicht um 30° nach oben und um 45° nach rechts richtet, und wenn der horizontale Bildwinkel ωy 50° und der vertikale Bildwinkel ωp 50° betragen, wird Neigung zu ±(ωρ/2) (30±50/2)° und Gierung zu ±(ωy/2) (45±50/2)°. Die Werte von φ werden durch Einsetzen dieser Winkel in die Formel 6 gefunden. Die Bildhöhen r, die durch Einsetzen von φ in θ der Formel 2 erhalten werden, bezeichnen die vier Ecken des Zielblickfeldes 125.
Das heißt, die Bildhöhen der oberen rechten Ecke, unteren rechten Ecke, unteren linken Ecke und oberen linken Ecke des Zielblickfeldes 125 ergeben sich jeweils zu 72,10°, 70,01°, 20,52° und 55,84°.
Es wird ein Fall beschrieben, in dem der Benutzer das Gesicht weiter zur Peripherie dreht und eine Ecke des Zielblickfeldes 125 außerhalb des effektiven Projektionsbereichs 122 zu liegen kommt. Da der Teil des Zielblickfeldes 125, der außerhalb des effektiven Projektionsbereichs 122 zu liegen kommt, eine schlechte Auflösung hat und aufgrund des Phänomens der verringerten Randlichtmenge des Bildaufnahmeobjektivs 16 dunkel ist, kann der betreffende Teil nicht zum Bewahren des visuellen Aspekts des Bildes verwendet werden. Die Bildqualität wird dementsprechend durch Korrigieren der Position des Zielblickfeldes 125 garantiert, sodass sie sich der optischen Mitte anstelle der tatsächlichen Benutzerbeobachtungsrichtung nähert.
Bei diesem Ausführungsbeispiel wird das Verfahren, das die Position des Zielblickfeldes 125 korrigiert, damit sie sich der optischen Mitte nähert, unter Verwendung von 31 beschrieben.
31 zeigt eine Darstellung, wie die Position des Zielblickfeldes 125 bei diesem Ausführungsbeispiel zu korrigieren ist, wenn eine Ecke des Zielblickfeldes 125 aus dem effektiven Projektionsbereich 122 heraustritt. Es wird angemerkt, dass diese Korrektur durch die Gesamtsteuerungs-CPU (eine Rahmenpositionsbestimmungseinheit) 101 beim Berechnen der Position und Größe des Bildaufzeichnungsrahmens in dem im ersten Ausführungsbeispiel beschriebenen Schritt S304 des Ablaufdiagramms in 7D ausgeführt wird.
Die Bildhöhen des Zielblickfeldes 125 werden durch die Formel 6 und die Formel 2 anhand der Benutzerbeobachtungsrichtung wie vorstehend beschrieben berechnet. Wenn die Mitte 150 der Benutzerbeobachtungsrichtung beispielsweise zu einer Peripherie gerichtet ist, ragt die obere rechte Ecke des Zielblickfeldes 125, das durch ein gestricheltes Rechteck gezeigt ist, aus dem effektiven Projektionsbereich 122 heraus. In diesem Fall werden der Gierungswinkel und der Neigungswinkel zu der optischen Mitte angepasst, sodass der gesamte Bereich des neuen Zielblickfeldes 153 in den effektiven Projektionsbereich 122 fällt.
In dem kartesischen Koordinatensystem, dessen Front 0° beträgt, wie es in der vorstehend beschriebenen 30 gezeigt ist, ergibt sich ein Winkel β, der von der Benutzerbeobachtungsrichtung zur Mitte des effektiven Projektionsbereichs 122 gerichtet ist, durch die Formel 9. $β [°] = arctan \frac{tan (N e i g u n g)}{tan (G i e r u n g)} + 180 [°]$
Wenn der Gierungswinkel 0° beträgt (d.h. der Nenner tan(Gierung) wird 0), ist β 270° (nach unten) in einem Fall, in dem der Neigungswinkel positiv (nach oben) ist, β ist 90° (nach oben) in einem Fall, in dem der Neigungswinkel negativ (nach unten) ist. Ein Fall, in dem sowohl der Gierungswinkel als auch der Neigungswinkel 0° betragen, ist durch die Berechnungsformel 9 nicht abgedeckt, da er offensichtlich keine Korrektur erfordert. Ferner wird ein Fall, in dem der Gierungswinkel 180° wird, nicht angenommen, da die Benutzerbeobachtungsrichtung während einer üblichen Verwendung nicht direkt nach hinten gerichtet werden kann.
Das Zielblickfeld 125 in 31 zeigt beispielsweise einen Fall, in dem der horizontale Bildwinkel 50° beträgt, der vertikale Bildwinkel 50° beträgt, und die Mitte 150 der Benutzerbeobachtungsrichtung um 45° in der Neigungsrichtung nach oben und um 60° in der Gierungsrichtung nach rechts gerichtet ist. In diesem Fall werden anhand der Formel 1 und der Formel 5 die Bildhöhen der oberen rechten Ecke, unteren rechten Ecke, unteren linken Ecke und oberen linken Ecke jeweils zu 85,14°, 85,00°, 38,28° und 70,57°. Wird ein Objektiv verwendet, dessen FOV-Winkel 170° beträgt, kommt die obere rechte Ecke des Zielblickfeldes 125 außerhalb des effektiven Projektionsbereichs 122 zu liegen, wie es in 31 gezeigt ist.
Des Weiteren wird der Winkel β anhand der Formel 9 zu 210°. Demnach wird die Mitte 150 der Beobachtungsrichtung zu einer Mitte 152 einer Beobachtungsrichtung entlang einer Geraden bewegt, die die Mitte des effektiven Projektionsbereichs 122 und die Benutzerbeobachtungsrichtung verbindet (d.h. in der Richtung des Winkels β), sodass die obere rechte Ecke des neuen Zielblickfeldes 153 in den effektiven Projektionsbereich 122 einbeschrieben wird. Auf diese Weise wird das Zielblickfeld zu der Seite der Mitte des effektiven Projektionsbereichs 122 gebracht, sodass alle vier Ecken (Rahmenposition) des Zielblickfeldes im effektiven Projektionsbereich 122 eingestellt werden. Bei diesem Beispiel wird das Zielblickfeld spezifisch korrigiert, sodass es in die Richtung links unten bewegt wird.
Obwohl die vorstehende Beschreibung annimmt, dass die optische Mitte mit der Mitte des Festkörperbildsensors 42 übereinstimmt, können diese aufgrund eines Herstellungsfehlers abweichen. In diesem Fall kann das Zielblickfeld einfach zur Seite der Mitte des Festkörperbildsensors 42 gebracht werden. Ferner wird auch bevorzugt, das Zielblickfeld zu einer optischen Mitte zu bringen, die unter Berücksichtigung des Herstellungsfehlers korrigiert ist, der während der Herstellung erfasst wird und im internen nichtflüchtigen Speicher 102 gespeichert ist.
Zur Vereinfachung der Beschreibung ist ferner der im ersten Ausführungsbeispiel beschriebene Bildstabilisierungsrand weggelassen. Wenn das Zielblickfeld unter Berücksichtigung des Bildstabilisierungsrands korrigiert wird, ist dieses Ausführungsbeispiel bei dem Fall anwendbar, in dem die Bildstabilisierungsstufe von „AUS“ verschieden ist.
Als Nächstes wird ein fünftes Ausführungsbeispiel beschrieben. Das vierte Ausführungsbeispiel zeigt das Beispiel, das das Zielblickfeld zur Seite der optischen Mitte bewegt, wenn das anhand der Benutzerbeobachtungsrichtung berechnete Zielblickfeld 125 teilweise aus dem effektiven Projektionsbereich 122 heraustritt. Verglichen damit zeigt dieses Ausführungsbeispiel ein Beispiel, welches die Bildwinkel eines extrahierten Zielblickfeldes wie in 32 gezeigt einengt.
Da die grundlegende Konfiguration und die Berechnungsformeln des fünften Ausführungsbeispiels die gleichen wie die des vierten Ausführungsbeispiels sind, werden lediglich Unterschiede beschrieben.
Das vierte Ausführungsbeispiel beschreibt, wie die Bildhöhen der vier Ecken des Zielblickfeldes 125 in dem Fall gefunden werden, in dem der horizontale Bildwinkel des Zielblickfeldes 125 50° beträgt und der vertikale Bildwinkel 50° beträgt, und in dem der Benutzer das Gesicht um 45° nach oben und um 60° nach rechts richtet. Wenn bei dem vierten Ausführungsbeispiel auf der Grundlage der gefundenen Bildhöhen bestimmt wird, dass eine Ecke des Zielblickfeldes 125 aus dem effektiven Projektionsbereich 122 heraustritt, wird ferner das neue Zielblickfeld 153 an der Seite der optischen Mitte eingestellt.
Wenn unterdessen bei diesem Ausführungsbeispiel eine Ecke des Zielblickfeldes 125 aus dem effektiven Projektionsbereich 122 heraustritt, wie es in 32 gezeigt ist, wird ein neues Zielblickfeld 154 durch Einengen der Bildwinkel eines extrahierten Zielblickfeldes ohne Bewegung der Mitte 150 der Benutzerbeobachtungsrichtung errichtet.
Die Bildwinkel des zu extrahierenden neuen Zielblickfeldes 154 werden unter Verwendung der Formel 2 und der Formel 6 berechnet, sodass das gesamte neue Zielblickfeld 154 in den effektiven Projektionsbereich 122 fällt. Das heißt, die Bildhöhe der oberen rechten Ecke des Zielblickfeldes 125, das durch die gestrichelte Linie in 31 gezeigt ist, beträgt 85,14° und ragt aus dem effektiven Projektionsbereich 122 des Objektivs hervor, dessen FOV-Winkel wie im vierten Ausführungsbeispiel beschrieben 170° beträgt. Dementsprechend wird der Bildwinkel des Zielblickfeldes 125 der Formel 6 zurück gezählt. Als Ergebnis wird durch Einengen des horizontalen Bildwinkels auf 49,7° und des vertikalen Bildwinkels auf 49,7° die Bildhöhe der oberen rechten Ecke zu 85,00°. Auf diese Weise werden die Bildwinkel des Zielblickfeldes 154 angepasst, sodass sie in den effektiven Projektionsbereich 122 des Objektivs fallen, dessen FOV-Winkel 170° beträgt.
Danach vergrößert die in der Gesamtsteuerungs-CPU 101 enthaltene Bildverarbeitungseinheit das Bild, das im Zielblickfeld 154 enthalten ist, dessen Bildwinkel verengt sind, auf die Bildelementgröße des ursprünglichen Zielblickfeldes 125.
Selbst wenn die Benutzerbeobachtungsrichtung so peripher gerichtet ist, dass ein Teil des Zielblickfeldes 125 aus dem effektiven Projektionsbereich 122 herausragt, wird so die Bildqualität garantiert.
Wie auch im vierten Ausführungsbeispiel beschrieben ist dieses Ausführungsbeispiel dann, wenn das Zielblickfeld unter Berücksichtigung des Bildstabilisierungsrands korrigiert wird, ferner bei dem Fall anwendbar, bei dem die Bildstabilisierungsstufe von „AUS“ verschieden ist.
Weitere Ausführungsbeispiele
Ausführungsbeispiele der vorliegenden Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (das vollständiger auch als „nichtflüchtiges computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnete computerausführbare Instruktionen (beispielsweise ein oder mehrere Programme) ausliest und ausführt, um die Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder der ein oder mehrere Schaltungen (beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung, beispielsweise durch Auslesen und Ausführen der computerausführbaren Instruktionen aus dem Speichermedium zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele und/oder Steuern der einen oder mehreren Schaltungen zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchgeführtes Verfahren realisiert werden. Der Computer kann einen oder mehrere Prozessoren (beispielsweise eine Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen, und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Instruktionen enthalten. Die computerausführbaren Instruktionen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann beispielsweise eine Festplatte und/oder einen Speicher mit wahlfreiem Zugriff (RAM) und/oder einen Nur-Lese-Speicher (ROM) und/oder einen Speicher verteilter Rechensysteme und/oder eine optische Disk (wie eine Compactdisc (CD), Digital Versatile Disc (DVD) oder Blue-ray Disc (BD)™) und/oder eine Flash-Speichereinrichtung und/oder eine Speicherkarte und dergleichen enthalten.
Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zukommen, so dass all solche Abwandlungen und äquivalente Strukturen und Funktionen darin enthalten sind.
Diese Anmeldung beansprucht die Priorität der am 29. Juli 2021 eingereichten Japanischen Patentanmeldung JP 2021-124103 und der am 14. März 2022 eingereichten Japanischen Patentanmeldung JP 2022-039640 , deren Inhalt hier durch Bezugnahme aufgenommen ist.
Eine Bildaufnahmevorrichtung umfasst die folgenden Einheiten. Eine Beobachtungsrichtungserfassungseinheit (20) wird an einem Körperteil eines Benutzers getragen, der vom Kopf des Benutzers verschieden ist, und erfasst eine Beobachtungsrichtung des Benutzers. Eine Bildaufnahmeeinheit (40) wird am Körper des Benutzers getragen und nimmt ein Bild auf. Eine Bildausgabeeinheit (70) gibt ein Bild in einem Bildaufzeichnungsrahmen, der der Beobachtungsrichtung entspricht, in dem durch die Bildaufnahmeeinheit aufgenommenen Bild aus. Eine Bestimmungseinheit (101) bestimmt den Bildaufzeichnungsrahmen derart, dass ein Teil (134) des Körpers des Benutzers in einem ausgegebenen Bild nicht erscheinen wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 200774033 A [0012, 0014]
JP 201760078 [0013]
JP 201760078 A [0013, 0015]
US 20170085841 A [0013]
JP 2021124103 [0442]
JP 2022039640 [0442]

Claims

Bildaufnahmevorrichtung mit einer Beobachtungsrichtungserfassungseinheit, die angepasst ist, an einem Körperteil abgesehen von einem Kopf eines Benutzers getragen zu werden, und die zur Erfassung einer Beobachtungsrichtung des Benutzers eingerichtet ist, einer Bildaufnahmeeinheit, die angepasst ist, am Körper des Benutzers getragen zu werden, und die zur Aufnahme eines Bildes eingerichtet ist, einer Bildausgabeeinheit, die zur Ausgabe eines Bildes in einem Bildaufzeichnungsrahmen, der der Beobachtungsrichtung entspricht, in dem durch die Bildaufnahmeeinheit aufgenommenen Bild eingerichtet ist, und einer Bestimmungseinheit, die zur Bestimmung des Bildaufzeichnungsrahmens derart eingerichtet ist, dass ein Teil des Körpers des Benutzers in einem ausgegebenen Bild nicht erscheinen wird.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Beobachtungsrichtungserfassungseinheit zur Erfassung der Beobachtungsrichtung des Benutzers als dreidimensionale Beobachtungsrichtung eingerichtet ist.
Bildaufnahmevorrichtung nach Anspruch 1 oder 2, wobei die Beobachtungsrichtungserfassungseinheit zur Ausgabe einer Beobachtungsrichtung in einer Querrichtung eines Gesichts des Benutzers als Winkel in einer ersten Erfassungsrichtung und zur Ausgabe einer Beobachtungsrichtung in einer vertikalen Richtung des Gesichts des Benutzers als Winkel in einer zweiten Erfassungsrichtung eingerichtet ist, die zu der ersten Erfassungsrichtung senkrecht steht.
Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 3, ferner mit einer Bereichsberechnungseinheit, die zur Berechnung eines maximalen Bereichs eingerichtet ist, in dem ein Teil des Körpers des Benutzers in jedem durch die Bildaufnahmeeinheit aufgenommenen Rahmenbild erscheinen kann, wobei die Bestimmungseinheit zum Korrigieren des Bildaufzeichnungsrahmens in einen Bereich, in dem ein Teil des Körpers des Benutzers nicht erscheint, in einem Fall, in dem der Teil des Körpers des Benutzers in dem maximalen Bereich eines durch die Bildaufnahmeeinheit aufgenommenen Rahmenbildes erscheint, eingerichtet ist.
Bildaufnahmevorrichtung nach Anspruch 4, ferner mit einer Kalibriereinheit, die zur Durchführung einer Kalibrierung der Beobachtungsrichtungserfassungseinheit unter Verwendung einer Kalibriereinrichtung eingerichtet ist, die über eine drahtlose Verbindung oder eine drahtgebundene Verbindung mit der Bildaufnahmevorrichtung verbunden ist, wobei die Bereichsberechnungseinheit den maximalen Bereich beim Durchführen der Kalibrierung berechnet.
Bildaufnahmevorrichtung nach Anspruch 4 oder 5, wobei die Beobachtungsrichtungserfassungseinheit eine Infrarotbestrahlungseinheit, die zum Abstrahlen von Infrarotlicht eingerichtet ist, und eine Infraroterfassungseinheit enthält, die zur Erfassung von reflektiertem Licht des Infrarotlichts eingerichtet ist, das von einem aufzunehmenden Objekt reflektiert wird.
Bildaufnahmevorrichtung nach Anspruch 6, ferner mit einer Erhalteeinheit, die zum Erhalten eines Differenzbildes zwischen einem ersten Rahmenbild, das durch die Bildaufnahmeeinheit aufgenommen wird, wenn die Infrarotbestrahlungseinheit das Infrarotlicht abstrahlt, und einem zweiten Rahmenbild eingerichtet ist, das durch die Bildaufnahmeeinheit aufgenommen wird, wenn die Infrarotbestrahlungseinheit das Infrarotlicht nicht abstrahlt, und einer ersten Spezifizierungseinheit, die zum Spezifizieren eines Bereichs, in dem ein Teil des Körpers des Benutzers erscheint, aus dem durch die Erhalteeinheit erhaltenen Differenzbild eingerichtet ist, wobei die Bestimmungseinheit zum Ausschließen des durch die erste Spezifizierungseinheit spezifizierten Bereichs aus dem Bildaufzeichnungsrahmen eingerichtet ist.
Bildaufnahmevorrichtung nach Anspruch 7, wobei die Infrarotbestrahlungseinheit zur Abstrahlung des Infrarotlichts zu zumindest dem maximalen Bereich aus einem Bereich, der durch die Bildaufnahmeeinheit in dem ersten Rahmenbild aufgenommen werden kann, eingerichtet ist.
Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 6, ferner mit einer zweiten Spezifizierungseinheit, die zum Spezifizieren eines Bereichs, in dem ein Teil des Körpers des Benutzers in jedem durch die Bildaufnahmeeinheit aufgenommenen Rahmenbild erscheint, durch Objekterkennung eingerichtet ist, wobei die Bestimmungseinheit zum Ausschließen des durch die zweite Spezifizierungseinheit spezifizierten Bereichs aus dem Bildaufzeichnungsrahmen eingerichtet ist.
Bildaufnahmevorrichtung nach Anspruch 9, wobei die zweite Spezifizierungseinheit zum Anwenden eines gelernten Modells, das Tiefenlernen verwendet, eingerichtet ist, das Informationen über den Bereich, in dem der Teil des Körpers des Benutzers in dem Rahmenbild erscheint, ausgibt, wenn das Rahmenbild eingegeben wird.
Bildaufnahmevorrichtung nach Anspruch 10, wobei eine Hautfarbe des Benutzers und/oder eine Farbe von Kleidung, die der Benutzer trägt, und/oder eine Haarfarbe des Benutzers und/oder eine Form eines Kiefers des Benutzers und/oder ein Bewegungsmuster des Kiefers als Lernparameter beim Lernen des gelernten Modells verwendet wird/werden.
Steuerverfahren für eine Bildaufnahmevorrichtung, wobei das Steuerverfahren umfasst einen Beobachtungsrichtungserfassungsschritt eines Erfassens einer Beobachtungsrichtung eines Benutzers durch eine Beobachtungsrichtungserfassungseinheit, die angepasst ist, an einem Körperabschnitt abgesehen vom Kopf des Benutzers getragen zu werden, einen Bildaufnahmeschritt eines Aufnehmens eines Bildes durch eine Bildaufnahmeeinheit, die angepasst ist, am Körper des Benutzers getragen zu werden, einen Bildausgabeschritt eines Ausgebens eines Bildes in einem Bildaufzeichnungsrahmen, der der Beobachtungsrichtung entspricht, in dem im Bildaufnahmeschritt aufgenommenen Bild, und einen Bestimmungsschritt eines Bestimmens des Bildaufzeichnungsrahmens derart, dass ein Teil des Körpers des Benutzers in einem ausgegebenen Bild nicht erscheinen wird.
Bildaufnahmevorrichtung mit einer Beobachtungsrichtungserfassungseinheit, die angepasst ist, an einem Körperabschnitt abgesehen vom Kopf eines Benutzers getragen zu werden, und die zur Erfassung einer Beobachtungsrichtung des Benutzers eingerichtet ist, einer Bildaufnahmeeinheit, die angepasst ist, am Körper des Benutzers getragen zu werden, und die zur Aufnahme eines Bildes unter Verwendung eines Bildaufnahmeobjektivs und eines Bildsensors eingerichtet ist, einer Rahmenpositionsbestimmungseinheit, die zur Bestimmung einer Rahmenposition eines Bildaufzeichnungsrahmens, der der Beobachtungsrichtung entspricht, in dem durch die Bildaufnahmeeinheit aufgenommenen Bild eingerichtet ist, und einer Bildausgabeeinheit, die zur Ausgabe eines Bildes an der Rahmenposition im dem durch die Bildaufnahmeeinheit aufgenommenen Bild eingerichtet ist, wobei die Rahmenpositionsbestimmungseinheit die Rahmenposition in einem effektiven Projektionsbereich bestimmt, der durch das Bildaufnahmeobjektiv auf den Bildsensor projiziert wird.
Bildaufnahmevorrichtung nach Anspruch 13, wobei die Rahmenpositionsbestimmungseinheit die Mitte der Rahmenposition zu einer Mittenseite des effektiven Projektionsbereichs entlang einer Geraden, die die Mitte des effektiven Projektionsbereichs und die Beobachtungsrichtung verbindet, in einem Fall bewegt, in dem ein Teil der Rahmenposition außerhalb des effektiven Projektionsbereichs liegt.
Bildaufnahmevorrichtung nach Anspruch 13, wobei die Rahmenpositionsbestimmungseinheit die Rahmenposition in dem effektiven Projektionsbereich durch Einengen eines Bildwinkels eines als die Rahmenposition extrahierten Bereichs in einem Fall einstellt, in dem ein Teil der Rahmenposition außerhalb des effektiven Projektionsbereichs liegt.
Bildaufnahmevorrichtung nach Anspruch 14, wobei die Rahmenpositionsbestimmungseinheit zum Unterteilen eines Winkels der Beobachtungsrichtung in einen Neigungswinkel in vertikaler Richtung und einen Gierungswinkel in horizontaler Richtung und zum Bewegen der Mitte der Rahmenposition in eine Richtung β eingerichtet ist, die durch folgende Formel angegeben ist: $β [°] = arctan \frac{tan (N e i g u n g)}{tan (G i e r u n g)} + 180 [°] .$
Steuerverfahren für eine Bildaufnahmevorrichtung, wobei das Steuerverfahren umfasst einen Beobachtungsrichtungserfassungsschritt eines Erfassens einer Beobachtungsrichtung eines Benutzers durch eine Beobachtungsrichtungserfassungseinheit, die angepasst ist, an einem Körperabschnitt abgesehen vom Kopf des Benutzers getragen zu werden, einen Bildaufnahmeschritt eines Aufnehmens eines Bildes durch eine Bildaufnahmeeinheit, die angepasst ist, am Körper des Benutzers getragen zu werden, und die ein Bildaufnahmeobjektiv und einen Bildsensor verwendet, einen Rahmenpositionsbestimmungsschritt eines Bestimmens einer Rahmenposition eines Bildaufzeichnungsrahmens, der der Beobachtungsrichtung entspricht, in dem im Bildaufnahmeschritt aufgenommenen Bild, und einen Bildausgabeschritt eines Ausgebens eines Bildes an der Rahmenposition in dem im Bildaufnahmeschritt aufgenommenen Bild, wobei die Rahmenposition in einem effektiven Projektionsbereich, der durch das Bildaufnahmeobjektiv auf den Bildsensor projiziert wird, in dem Rahmenpositionsbestimmungsschritt bestimmt wird.
Nichtflüchtiges computerlesbares Speichermedium, das ein Steuerprogramm speichert, das bei seiner Ausführung durch eine Bildaufnahmevorrichtung die Bildaufnahmevorrichtung zur Durchführung des Verfahrens nach Anspruch 12 veranlasst.
Nichtflüchtiges computerlesbares Speichermedium, das ein Steuerprogramm speichert, das bei seiner Ausführung durch eine Bildaufnahmevorrichtung die Bildaufnahmevorrichtung zur Durchführung des Verfahrens nach Anspruch 17 veranlasst.