DE102022105788A1 - Tragbare Bildaufnahmevorrichtung, tragbare Einrichtung und Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern - Google Patents

Tragbare Bildaufnahmevorrichtung, tragbare Einrichtung und Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern Download PDF

Info

Publication number
DE102022105788A1
DE102022105788A1 DE102022105788.7A DE102022105788A DE102022105788A1 DE 102022105788 A1 DE102022105788 A1 DE 102022105788A1 DE 102022105788 A DE102022105788 A DE 102022105788A DE 102022105788 A1 DE102022105788 A1 DE 102022105788A1
Authority
DE
Germany
Prior art keywords
image
unit
user
image pickup
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022105788.7A
Other languages
English (en)
Inventor
Nobuyuki Furukawa
Takuya Imaizumi
Koichi Ito
Akari Hayashi
Tohru Ishibashi
Emi KONDO
Takumi Ishikawa
Takashi Kawakami
Mineo Uchida
Takuma YAMAZAKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022029152A external-priority patent/JP2022140328A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of DE102022105788A1 publication Critical patent/DE102022105788A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P1/00—Details of instruments
    • G01P1/07—Indicating devices, e.g. for remote indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Recording Measured Values (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Eine tragbare Bildaufnahmevorrichtung ist offenbart, die eine manuelle Änderung einer Bildaufnahmerichtung während des Aufnehmens eines Bildes beseitigt und ein Bild sicher erhalten kann, das eine Erfahrung aufzeichnet, während die Aufmerksamkeit auf der Erfahrung liegt. Eine Bildaufnahmevorrichtung enthält eine Beobachtungsrichtungserfassungseinheit, eine Bildaufnahmeeinheit und eine Bildausgabeeinheit. Die Beobachtungsrichtungserfassungseinheit wird an einem Körperteil getragen, das vom Kopf eines Benutzers verschieden ist, und erfasst eine Beobachtungsrichtung des Benutzers. Die Bildaufnahmeeinheit wird am Körper des Benutzers getragen und nimmt ein Bild auf. Die Bildausgabeeinheit gibt ein Bild entsprechend der Beobachtungsrichtung beruhend auf dem durch die Bildaufnahmeeinheit aufgenommenen Bild aus.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine tragbare Bildaufnahmevorrichtung, eine tragbare Einrichtung und eine Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern, und bezieht sich insbesondere auf eine Bildaufnahmevorrichtung, die als Action-Kamera verwendet wird, eine tragbare Einrichtung, eine Kalibriereinrichtung, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern.
  • Beschreibung der verwandten Technik
  • Wenn ein Benutzer ein Bild eines Objekts mit einer Kamera aufnimmt, muss der Benutzer die Kamera dauernd auf das Objekt halten. Demnach ist es für den Benutzer schwierig, andere Aktionen als eine Bildaufnahmeaktion zu bewerkstelligen, da der Benutzer mit einer Bildaufnahmetätigkeit beschäftigt ist. Außerdem ist es für den Benutzer schwierig, seine Aufmerksamkeit auf eine Erfahrung am Ort des Benutzers zu richten, da der Benutzer seine Aufmerksamkeit auf die Bildaufnahmetätigkeit richtet.
  • Beispielsweise kann ein Elternteil als Benutzer wegen der Bildaufnahmetätigkeit während einer Bildaufnahmetätigkeit nicht mit einem ein Objekt darstellenden Kind spielen, und während eines Spielens mit dem Kind wird die Bildaufnahmetätigkeit unmöglich.
  • Wenn der Benutzer ferner ein Bild aufnimmt, während er eine Sportpartie ansieht, kann der Benutzer wegen des Richtens der Aufmerksamkeit nicht jubeln oder sich nicht an Spielinhalte erinnern, und während des Richtens der Aufmerksamkeit auf das Ansehen der Sportpartie wird die Bildaufnahmetätigkeit unmöglich. Wenn ein Benutzer Bilder während einer Gruppenreise aufnimmt, kann der Benutzer gleichermaßen nicht den Eindruck mit dem gleichen Maß wie andere Teilnehmer erfahren, und wenn die Priorität auf die Erfahrung gelegt wird, wird die Bildaufnahme vernachlässigt.
  • Als Verfahren zum Lösen dieser Probleme gibt es ein Verfahren, das eine Kamera an einem Kopf unter Verwendung eines Anbringen-am-Kopf-Zubehörs fixiert, um ein Bild in einer Beobachtungsrichtung aufzunehmen. Dadurch wird dem Benutzer die Aufnahme eines Bildes ermöglicht, ohne dass er mit der Bildaufnahmetätigkeit beschäftigt ist. Ferner gibt es auch ein Verfahren, das ein Bild mit einer Gesamthimmelssphärenkamera während der Erfahrung weitflächig aufnimmt. Dadurch wird einem Benutzer ermöglicht, seine Aufmerksamkeit auf die Erfahrung zu richten. Nach der Erfahrung extrahiert der Benutzer einen erforderlichen Bildabschnitt aus einem aufgenommenen Gesamthimmelssphärenbild und bearbeitet ihn, damit das Bild der Erfahrung übrigbleibt.
  • Bei dem erstgenannten Verfahren ist allerdings ein mühsamer Vorgang erforderlich, bei dem der Kopf mit dem Anbringen-am-Kopf-Zubehör 902 ausgerüstet wird, an dem ein Hauptteil einer Action-Kamera 901, wie in 63A gezeigt, fixiert wird. Wenn der Benutzer die Action-Kamera 901 mittels des Anbringen-am-Kopf-Zubehörs 902 am Kopf anbringt, ist außerdem die Erscheinung schlecht, wie es in 63B gezeigt ist, und auch die Frisur des Benutzers ist zerzaust. Außerdem fühlt sich der Benutzer wegen des Vorhandenseins des Anbringen-am-Kopf-Zubehörs 902 und der Action-Kamera 901 aufgrund ihres Gewichts unwohl und macht sich Sorgen, gegenüber Dritten schlecht auszusehen. Demnach kann es für den Benutzer schwierig sein, ein Bild aufzunehmen, da der Benutzer in dem in 63B gezeigten Zustand seine Aufmerksamkeit nicht auf die Erfahrung richten kann, oder weil der Benutzer einen Widerstand gegenüber der in 63B gezeigten Aufmachung fühlt.
  • Unterdessen erfordert das zweitgenannte Verfahren eine Reihe von Vorgängen, wie eine Bildumwandlung und Extrahierpositionsfestlegung. Beispielsweise ist eine Gesamthimmelssphärenkamera 903 wie in 64 gezeigt bekannt, die mit einem Objektiv 904 und einer Bildaufnahmetaste 905 ausgestattet ist. Das Objektiv 904 ist eines eines Paars von Fish-Eye-Objektiven zum Aufnehmen von Halbhimmelssphärenbildern, die an beiden Seiten eines Gehäuses der Gesamthimmelssphärenkamera 903 vorgesehen sind. Die Gesamthimmelssphärenkamera 903 nimmt ein Gesamthimmelssphärenbild unter Verwendung dieser Fish-Eye-Objektive auf. Das Gesamthimmelssphärenbild wird dann durch Kombinieren der Bilder erhalten, die unter Verwendung des Paars der Fish-Eye-Objektive aufgenommen werden.
  • 65A, 65B und 65C zeigen Ansichten von Beispielen von Umwandlungsprozessen des durch die Gesamthimmelssphärenkamera 903 aufgenommenen Bildes.
  • 65A zeigt ein Beispiel des Gesamthimmelssphärenbildes, das durch die Gesamthimmelssphärenkamera 903 erhalten wird, und das einen Benutzer 906, ein Kind 907 und einen Baum 908 als Objekte enthält. Da dieses Bild ein Gesamthimmelssphärenbild ist, das durch Kombinieren von Projektionsbildern des Paars von Fish-Eye-Objektiven erhalten wird, ist der Benutzer 906 stark verzerrt. Da sich ein Körperabschnitt des Kindes 907, bei dem es sich um das Objekt handelt, das der Benutzer 906 aufnehmen möchte, in einem peripheren Teil eines Aufnahmebereichs des Objektivs 904 befindet, ist der Körperabschnitt ferner stark nach rechts und links verzerrt und gestreckt. Da unterdessen der Baum 908 das sich vor dem Objektiv 904 befindende Objekt ist, wird der Baum 908 ohne große Verzerrung aufgenommen.
  • Zur Erzeugung eines Bildes eines Gesichtsfeldes, das Leute normalerweise sehen, aus dem in 65A gezeigten Bild, muss ein Teil des Bildes extrahiert werden, eine Ebenenumwandlung durchgeführt und eine Anzeige durchgeführt werden.
  • 65B zeigt ein Bild, das sich vor dem Objektiv 904 befindet, das aus dem in 65A gezeigten Bild extrahiert ist. In dem Bild in 65B ist der Baum 908 in der Mitte des Blickfeldes gezeigt, zu dem Leute üblicherweise schauen. Da das Bild in 65B allerdings das Kind 907 nicht enthält, das der Benutzer 906 aufnehmen möchte, muss der Benutzer eine Extrahierposition ändern. In diesem Fall ist es insbesondere erforderlich, die Extrahierposition um 30° von dem Baum 908 in 65A nach links unten zu bewegen. 65C zeigt ein angezeigtes Bild, das durch Extrahieren der bewegten Position und durch Durchführen der Ebenenumwandlung erhalten wird. Zum Erhalten des Bildes in 65C, das der Benutzer aufnehmen möchte, aus dem Bild in 65A muss der Benutzer daher einen erforderlichen Bereich extrahieren und die Ebenenumwandlung durchführen. Obwohl der Benutzer während der Erfahrung (während der Bildaufnahme) seine Aufmerksamkeit auf die Erfahrung richten kann, wird die nachfolgende Arbeitsbelastung umfangreich.
  • Die japanische Patentoffenlegung (Kokai) JP 2007-74033 ( JP 2007-74033 A ) offenbart ein Verfahren, das eine zweite Kamera, die einen Benutzer aufnimmt, zusätzlich zu einer ersten Kamera verwendet, die ein Objekt aufnimmt. Dieses Verfahren berechnet eine Bewegungsrichtung und eine Blickrichtung eines Benutzers anhand eines durch die zweite Kamera aufgenommenen Bildes, bestimmt eine Bildaufnahmerichtung der ersten Kamera und nimmt ein Bild eines Objekts auf, das beruhend auf dem Geschmack und Zustand des Benutzers geschätzt wird.
  • Die japanische Patentoffenlegung (Kokai) JP 2017-60078 ( JP 2017-60078 A ) (Entsprechung der US-Patentanmeldung 2017 0085841 ) offenbart ferner ein Bildaufzeichnungssystem, das eine Sensoreinrichtung, die am Kopf eines Benutzers angebracht wird, und eine Bildaufnahmevorrichtung enthält, die an dem Körper des Benutzers oder einer Tasche separat angebracht wird. Die Sensoreinrichtung umfasst einen Kreiselsensor oder einen Beschleunigungssensor und erfasst eine Beobachtungsrichtung des Benutzers. Die Bildaufnahmevorrichtung nimmt ein Bild in der durch die Sensoreinrichtung erfassten Beobachtungsrichtung auf.
  • Da die zweite Kamera der JP 2007-74033 A aber ein Bild des Benutzers aus einer Position aufnimmt, die von dem Benutzer entfernt ist, braucht die zweite Kamera eine starke optische Leistung zum Berechnen der Bewegungsrichtung und Blickrichtung des Benutzers aus dem durch die zweite Kamera aufgenommenen Bild. Da ferner für die Verarbeitung des durch die zweite Kamera aufgenommenen Bildes ein großes arithmetisches Verarbeitungsvermögen erforderlich ist, wird ein Umfang einer Vorrichtung groß. Und selbst wenn die starke optische Leistung und die hohe arithmetische Verarbeitungsfähigkeit erfüllt sind, kann die Beobachtungsrichtung des Benutzers nicht präzise berechnet werden. Da ein Objekt, das der Benutzer aufnehmen möchte, daher nicht mit ausreichender Genauigkeit auf der Grundlage des Geschmacks und Zustands des Benutzers geschätzt werden kann, wird eventuell ein anderes Bild als das aufgenommen, das der Benutzer aufnehmen möchte.
  • Da die Sensoreinrichtung der JP 2017-60078A eine Beobachtungsrichtung des Benutzers direkt erfasst, muss der Benutzer diese zur Einrichtung am Kopf anbringen, was die Beschwerlichkeit beim Anbringen einer beliebigen Einrichtung am Kopf wie vorstehend angeführt nicht beheben kann. Wenn die Sensoreinrichtung ferner einen Kreiselsensor oder einen Beschleunigungssensor umfasst, kann beim Erfassen einer relativen Beobachtungsrichtung eine gewisse Genauigkeit erzielt werden. Da aber eine Erfassungsgenauigkeit einer absoluten Beobachtungsrichtung, insbesondere in der horizontalen Rotationsrichtung, nicht erhalten werden kann, gibt es ein Problem bei der praktischen Anwendung.
  • KURZZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung stellt eine tragbare Bildaufnahmevorrichtung, eine tragbare Einrichtung und eine Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren können, Steuerverfahren für diese und Speichermedien bereit, die Steuerprogramme für diese speichern, die eine manuelle Änderung einer Bildaufnahmerichtung während einer Aufnahme eines Bildes beseitigen und ein Bild sicher erhalten können, das eine Erfahrung aufzeichnet, während die Aufmerksamkeit auf die Erfahrung gerichtet wird.
  • Gemäß einer ersten Ausgestaltung der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 16, 18 und 22 bis 60 bereitgestellt.
  • Gemäß einer zweiten Ausgestaltung der vorliegenden Erfindung ist eine tragbare Einrichtung nach Anspruch 17 bereitgestellt.
  • Gemäß einer dritten Ausgestaltung der vorliegenden Erfindung ist eine Kalibriereinrichtung nach einem der Ansprüche 19 bis 21 bereitgestellt.
  • Gemäß einer vierten Ausgestaltung der vorliegenden Erfindung ist ein Steuerverfahren nach Anspruch 61 für eine Bildaufnahmevorrichtung bereitgestellt.
  • Gemäß einer fünften Ausgestaltung der vorliegenden Erfindung ist ein Steuerverfahren nach Anspruch 62 für eine tragbare Einrichtung bereitgestellt.
  • Gemäß einer sechsten Ausgestaltung der vorliegenden Erfindung ist ein Steuerverfahren nach Anspruch 63 für eine Kalibriereinrichtung bereitgestellt.
  • Gemäß einer siebten Ausgestaltung der vorliegenden Erfindung ist ein nichtflüchtiges computerlesbares Speichermedium nach Anspruch 64 bereitgestellt, das ein Steuerprogramm speichert, das bei Ausführung durch die Bildaufnahmevorrichtung gemäß der ersten Ausgestaltung die Bildaufnahmevorrichtung zur Durchführung des Verfahrens gemäß der vierten Ausgestaltung veranlasst.
  • Gemäß einer achten Ausgestaltung der vorliegenden Erfindung ist ein nichtflüchtiges computerlesbares Speichermedium nach Anspruch 65 bereitgestellt, das ein Steuerprogramm speichert, das bei Ausführung durch die tragbare Einrichtung gemäß der dritten Ausgestaltung die tragbare Einrichtung zur Durchführung des Verfahrens gemäß der fünften Ausgestaltung veranlasst.
  • Gemäß einer neunten Ausgestaltung der vorliegenden Erfindung ist ein nichtflüchtiges computerlesbares Speichermedium nach Anspruch 66 bereitgestellt, das ein Steuerprogramm speichert, das bei Ausführung durch die Kalibriereinrichtung gemäß der dritten Ausgestaltung die Kalibriereinrichtung zur Durchführung des Verfahrens gemäß der sechsten Ausgestaltung veranlasst.
  • Gemäß der vorliegenden Erfindung wird eine manuelle Änderung einer Bildaufnahmerichtung während des Aufnehmens eines Bildes unnötig, und ein Bild, das eine Erfahrung aufzeichnet, kann sicher erhalten werden, während die Aufmerksamkeit auf die Erfahrung gerichtet ist.
  • Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
  • Figurenliste
    • 1A zeigt eine Außenansicht eines Kamerahauptteils, der eine Bildaufnahme-/Erfassungseinheit als Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel enthält.
    • 1B zeigt eine Darstellung eines Zustands, in dem ein Benutzer den Kamerahauptteil trägt.
    • 1C zeigt eine Darstellung einer Batterieeinheit in dem Kamerahauptteil von der Rückseite in 1A aus gesehen.
    • 1D zeigt eine Außenansicht einer Anzeigevorrichtung als tragbare Einrichtung gemäß dem ersten Ausführungsbeispiel, die von dem Kamerahauptteil getrennt ist.
    • 2A zeigt eine Vorderansicht der Bildaufnahme-/Erfassungseinheit in dem Kamerahauptteil.
    • 2B zeigt eine Darstellung einer Form eines Bandabschnitts eines Verbindungselements in dem Kamerahauptteil.
    • 2C zeigt eine Rückansicht der Bildaufnahme-/Erfassungseinheit.
    • 2D zeigt eine Draufsicht der Bildaufnahme-/Erfassungseinheit.
    • 2E zeigt eine Darstellung einer Konfiguration einer Gesichtsrichtungserfassungseinheit, die in der Bildaufnahme-/Erfassungseinheit und unter einem Gesichtsrichtungserfassungsfenster in dem Kamerahauptteil angeordnet ist.
    • 2F zeigt eine Darstellung eines Zustands, in dem ein Benutzer den Kamerahauptteil trägt, von der linken Seite des Benutzers aus betrachtet.
    • 3A, 3B und 3C zeigen Ansichten von Einzelheiten der Batterieeinheit.
    • 4 zeigt ein Funktionsblockschaltbild des Kamerahauptteils gemäß dem ersten Ausführungsbeispiel.
    • 5 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils gemäß dem ersten Ausführungsbeispiel.
    • 6 zeigt ein Blockschaltbild einer Hardwarekonfiguration der Anzeigevorrichtung gemäß dem ersten Ausführungsbeispiel.
    • 7A zeigt ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem ersten Ausführungsbeispiel zeigt, der durch den Kamerahauptteil und die Anzeigevorrichtung ausgeführt wird.
    • 7B zeigt ein Ablaufdiagramm, das eine Unterroutine eines Vorbereitungsprozesses in Schritt S100 in 7A gemäß dem ersten Ausführungsbeispiel darstellt.
    • 7C zeigt ein Ablaufdiagramm einer Unterroutine eines Gesichtsrichtungserfassungsprozesses in Schritt S200 in 7A gemäß dem ersten Ausführungsbeispiel.
    • 7D zeigt ein Ablaufdiagramm einer Unterroutine eines Aufzeichnungs-Richtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A gemäß dem ersten Ausführungsbeispiel.
    • 7E zeigt ein Ablaufdiagramm einer Unterroutine eines AufzeichnungsBereichsentwicklungsprozesses in Schritt S500 in 7A gemäß dem ersten Ausführungsbeispiel.
    • 7F zeigt eine Darstellung zur Beschreibung eines Prozesses in den Schritten S200 bis S600 in 7A in einem Videobildmodus.
    • 8A zeigt eine Ansicht eines Bildes eines Benutzers von dem Gesichtsrichtungserfassungsfenster aus gesehen.
    • 8B zeigt eine Ansicht in einem Fall, wenn Leuchtstoffröhren in einem Raum als Hintergrund in dem Bild des Benutzers von dem Gesichtsrichtungserfassungsfenster aus gesehen erscheinen.
    • 8C zeigt eine Ansicht eines Bildes, das durch Abbilden des Benutzers und von Leuchtstoffröhren als Hintergrund, die in 8B gezeigt sind, auf einen Sensor der Infraroterfassungseinrichtung über das Gesichtsrichtungserfassungsfenster in einem Zustand erhalten wird, in dem Infrarot-LEDs der Infraroterfassungseinrichtung nicht leuchten.
    • 8D zeigt eine Ansicht eines Bildes, das durch Abbilden des Benutzers und von Leuchtstoffröhren als Hintergrund, die in 8B gezeigt sind, auf den Sensor der Infraroterfassungseinrichtung über das Gesichtsrichtungserfassungsfenster in einem Zustand erhalten wird, in dem die Infrarot-LEDs leuchten.
    • 8E zeigt eine Ansicht eines Differenzbildes, das durch Subtrahieren des Bildes in 8C von dem Bild in 8D berechnet wird.
    • 8F zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes in 8E zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten von Infrarotlicht erhalten wird, das zu Gesicht und Hals des Benutzers projiziert wird.
    • 8G zeigt eine Ansicht, die durch Überlagern von Referenzzeichen, die Abschnitte des Körpers des Benutzers bezeichnen, auf 8F erhalten wird, wobei ein Doppelkreis eine Kehlposition zeigt, und ein schwarzer Kreis eine Kinnposition zeigt.
    • 8H zeigt eine Darstellung eines Differenzbildes, das durch das gleiche Verfahren wie das in 8E berechnet wird, wobei das Gesicht des Benutzers nach rechts gerichtet ist.
    • 8I zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes in 8H zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten von Infrarotlicht, das zu Gesicht und Hals des Benutzers projiziert wird, und durch Überlagern des die Kehlposition zeigenden Doppelkreises und des die Kinnposition zeigenden schwarzen Kreises erhalten wird.
    • 8J zeigt eine Darstellung eines Bildes des Benutzers, der sein Gesicht um 33° von dem Gesichtsrichtungserfassungsfenster aus gesehen nach oben richtet.
    • 8K zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen eines Differenzbildes, das durch das gleiche Verfahren wie das in 8E in einem Fall berechnet wird, in dem der Benutzer das Gesicht um 33° nach oben richtet, zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten von Infrarotlicht, das zu Gesicht und Hals des Benutzers projiziert wird, und durch Überlagern des die Kehlposition zeigenden Doppelkreises und des die Kinnposition zeigenden schwarzen Kreises erhalten wird.
    • 9 zeigt ein Zeitablaufdiagramm einer Leuchtzeitspanne der Infrarot-LEDs und zugehörige Signale.
    • 10A bis 10D zeigen Darstellungen zur Beschreibung von Bewegungen des Gesichts des Benutzers in vertikaler Richtung.
    • 11A zeigt eine Darstellung eines Zielblickfeldes, das in einem Superweitwinkelbild eingestellt wird, das durch eine Bildaufnahmeeinheit des Kamerahauptteils in einem Fall aufgenommen wird, in dem der Benutzer der Vorderseite gegenübersteht.
    • 11B zeigt eine Darstellung eines Bildes in dem Zielblickfeld, das aus dem Superweitwinkelbild in 11A extrahiert wird.
    • 11C zeigt eine Darstellung des Zielblickfeldes, das in dem Superweitwinkelbild in einem Fall eingestellt wird, wenn der Benutzer ein A-Objekt beobachtet.
    • 11D zeigt eine Darstellung eines Bildes, das durch Korrigieren einer Verzerrung und einer Unschärfe eines Bildes in dem Zielblickfeld in 11C erhalten wird, das aus dem Superweitwinkelbild extrahiert wird.
    • 11E zeigt eine Darstellung eines Zielblickfeldes, das in dem Superweitwinkelbild in einem Fall eingestellt wird, in dem der Benutzer das A-Objekt bei einem Bildwinkeleinstellwert beobachtet, der kleiner als der in 11C ist.
    • 11F zeigt eine Darstellung eines Bildes, das durch Korrigieren von Verzerrung und Unschärfe eines Bildes in dem Zielblickfeld in 11E erhalten wird, das aus dem Superweitwinkelbild extrahiert wird.
    • 12A zeigt eine Darstellung eines Beispiels des in dem Superweitwinkelbild eingestellten Zielblickfeldes.
    • 12B zeigt eine Darstellung eines Beispiels des in dem Superweitwinkelbild eingestellten Zielblickfeldes in einem Fall, in dem der Bildwinkeleinstellwert mit dem des Zielblickfeldes in 12A identisch ist, und in dem die Beobachtungsrichtung unterschiedlich ist.
    • 12C zeigt eine Darstellung eines weiteren Beispiels des in dem Superweitwinkelbild in einem Fall eingestellten Zielblickfeldes, wenn der Bildwinkeleinstellwert mit dem des Zielblickfeldes in 12A identisch ist, und in dem die Beobachtungsrichtung unterschiedlich ist.
    • 12D zeigt eine Darstellung eines Beispiels des in dem Superweitwinkelbild in einem Fall eingestellten Zielblickfeldes, in dem die Beobachtungsrichtung mit der des Zielblickfeldes in 12C identisch ist, und in dem der Bildwinkeleinstellwert kleiner ist.
    • 12E zeigt eine Darstellung eines Beispiels, das um das in 12A gezeigte Zielblickfeld einen Bildstabilisierungsrand bereitstellt, der einer vorbestimmten Bildstabilisierungsstufe entspricht.
    • 12F zeigt eine Darstellung eines Beispiels, das um das in 12E gezeigte Zielblickfeld einen Bildstabilisierungsrand bereitstellt, der der gleichen Bildstabilisierungsstufe des Bildstabilisierungsrands in 12E entspricht.
    • 12G zeigt eine Darstellung eines Beispiels, das um das in 12D gezeigte Zielblickfeld einen Bildstabilisierungsrand bereitstellt, der der gleichen Bildstabilisierungsstufe des Bildstabilisierungsrands in 12E entspricht.
    • 13 zeigt eine Darstellung eines Menübildschirms zum Einstellen verschiedener Einstellwerte eines Videobildmodus, der auf einer Anzeigeeinheit der Anzeigevorrichtung vor einem Bildaufnahmebetrieb des Kamerahauptteils angezeigt wird.
    • 14 zeigt ein Ablaufdiagramm einer Unterroutine eines Primäraufzeichnungsprozesses in Schritt S600 in 7A.
    • 15 zeigt eine Darstellung einer Datenstruktur einer durch den Primäraufzeichnungsprozess erzeugten Bilddatei.
    • 16 zeigt ein Ablaufdiagramm der Unterroutine eines Übertragungsprozesses zu der Anzeigevorrichtung in Schritt S700 in 7A.
    • 17 zeigt ein Ablaufdiagramm einer Unterroutine eines optischen Korrekturprozesses in Schritt S800 in 7A.
    • 18A bis 18F zeigen Darstellungen zur Beschreibung eines Prozesses eines Anwendens einer Verzerrungskorrektur in Schritt S803 in 17.
    • 19 zeigt ein Ablaufdiagramm einer Unterroutine eines Bildstabilisierungsprozesses in Schritt S900 in 7A.
    • 20A und 20B zeigen Darstellungen von Einzelheiten einer für einen Kalibrierprozess verwendeten Kalibriereinrichtung gemäß einem zweiten Ausführungsbeispiel.
    • 21 zeigt ein Ablaufdiagramm des Kalibrierprozesses gemäß dem zweiten Ausführungsbeispiel, der durch den Kamerahauptteil und die Kalibriereinrichtung ausgeführt wird.
    • 22A zeigt eine Darstellung eines Bildschirms, der auf einer Anzeigeeinheit der Kalibriereinrichtung in Schritt S3103 in 21 während eines Kalibrierbetriebs für eine Frontrichtung des Benutzers angezeigt wird.
    • 22B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung gemäß einer als Anweisungsanzeige in 22A gezeigten Anweisung vor sich hält.
    • 22C zeigt eine schematische Darstellung eines gesamten Superweitwinkelbildes, das durch ein Bildaufnahmeobjektiv in dem Zustand in 22B erfasst wird.
    • 22D zeigt eine schematische Darstellung eines Bildes, das durch Korrigieren von Aberrationen des in 22C gezeigten Superweitwinkelbildes erhalten wird.
    • 22E zeigt eine schematische Darstellung eines Gesichtsrichtungsbildes, das durch eine Gesichtsrichtungserfassungseinheit in Schritt S3108 in 21 während des Kalibrierbetriebs für die Frontrichtung des Benutzers erhalten wird.
    • 22F zeigt eine schematische Darstellung eines in Schritt S3107 in 21 angezeigten In-Kamera-Bildes.
    • 23A zeigt eine Darstellung eines Bildschirms, der auf der Anzeigeeinheit der Kalibriereinrichtung in Schritt S3103 in 21 während des Kalibrierbetriebs in einer rechts oben Richtung des Benutzers angezeigt wird.
    • 23B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung gemäß einer als Anweisungsanzeige in 23A gezeigten Anweisung nach rechts oben hält.
    • 23C zeigt eine schematische Darstellung des gesamten Superweitwinkelbildes, das durch das Bildaufnahmeobjektiv in dem Zustand in 23B erfasst wird.
    • 23D zeigt eine schematische Darstellung eines Bildes, das durch Korrigieren von Aberrationen des in 23C gezeigten Superweitwinkelbildes erhalten wird.
    • 23E zeigt eine schematische Darstellung eines Gesichtsrichtungsbildes, das durch die Gesichtsrichtungserfassungseinheit in Schritt S3108 in 21 während des Kalibrierbetriebs für die rechts oben Richtung des Benutzers erhalten wird.
    • 24A, 24B und 24C zeigen Darstellungen zum Beschreiben einer Verzögerungsextraktion eines Bildes bei einem dritten Ausführungsbeispiel.
    • 25A und 25B zeigen Darstellungen von -- Orten von Gesichtsbewegungen, die gemäß dem dritten Ausführungsbeispiel gehalten werden.
    • 26 zeigt ein Ablaufdiagramm eines visuell induzierten Bewegungskrankheitsverhinderungsprozesses gemäß dem dritten Ausführungsbeispiel.
    • 27A bis 27F zeigen Kurven zum Beschreiben eines Extraktionsbereichskorrekturprozesses gemäß einem vierten Ausführungsbeispiel.
    • 28A zeigt ein Ablaufdiagramm eines Aufzeichnungs-Richtungs-/Bereichsbestimmungsprozesses gemäß dem vierten Ausführungsbeispiel. 28B zeigt ein Ablaufdiagramm des Extraktionsbereichskorrekturprozesses in Schritt 400 in 28A.
    • 29A und 29B zeigen schematische Darstellungen zum Beschreiben einer Beziehung zwischen einem Benutzerblickfeld und einem Zielblickfeld in einem Fall, in dem ein nahes Objekt ein Beobachtungsziel in dem ersten Ausführungsbeispiel ist.
    • 30 zeigt eine Außenansicht eines Kamerahauptteils, das eine Bildaufnahmevorrichtung enthält, gemäß einem fünften Ausführungsbeispiel.
    • 31 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils gemäß dem fünften Ausführungsbeispiel.
    • 32A und 32B zeigen schematische Darstellungen zum Beschreiben einer Beziehung zwischen einem Benutzer, einer Kalibriereinrichtung und einem Zielblickfeld während eines Kalibrierprozesses, der einen Parallaxenkorrekturmodusprozess enthält, gemäß dem fünften Ausführungsbeispiel.
    • 33A zeigt ein Ablaufdiagramm des Parallaxenkorrekturmodusprozesses gemäß dem fünften Ausführungsbeispiel, der ein Teil des Vorbereitungsprozesses in Schritt S100 in 7A ist.
    • 33B zeigt ein Ablaufdiagramm einer Unterroutine eines Aufzeichnungs-Richtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A gemäß dem fünften Ausführungsbeispiel.
    • 34A, 34B und 34C zeigen schematische Darstellungen einer Beziehung zwischen einer in Schritt S5302 in 33B erzeugten Defokussierkarte und einer Aufzeichnungsrichtung.
    • 35 zeigt ein Ablaufdiagramm eines Beobachtungsrichtungsbestimmungsprozesses gemäß einem sechsten Ausführungsbeispiel.
    • 36A zeigt eine Darstellung von Beziehungen zwischen einem Beobachtungsrichtungserfassungszustand des Benutzers und einem Aufnahmebild für jeweilige Einzelbilder bzw. Rahmen gemäß dem sechsten Ausführungsbeispiel.
    • 36B zeigt eine Darstellung von Beziehungen zwischen einem Beobachtungsrichtungserfassungszustand des Benutzers und einem Aufnahmebild für jeweilige Einzelbilder bzw. Rahmen in einem Objekt-Verloren-Modus gemäß dem sechsten Ausführungsbeispiel.
    • 37A, 37B und 37C zeigen Darstellungen zum Beschreiben von Beziehungen zwischen einer Beobachtungsrichtung und einem Gesichtsbereich, der für eine Erfassung der Beobachtungsrichtung verwendet werden kann, gemäß einem siebten Ausführungsbeispiel.
    • 38 zeigt ein Ablaufdiagramm eines Beobachtungsrichtungsbestimmungsprozesses gemäß dem siebten Ausführungsbeispiel beim Erhalten der Gesichtsrichtung, der anstelle des Prozesses in Schritt S6004 in 35 ausgeführt wird.
    • 39 zeigt eine Darstellung einer Beziehung zwischen der Gesichtsrichtung und einer Gesichtsrichtungszuverlässigkeit gemäß dem siebten Ausführungsbeispiel.
    • 40 zeigt eine schematische Darstellung eines Beobachtungsrichtungsbestimmungsprozesses beim Erhalten der Gesichtsrichtung gemäß dem siebten Ausführungsbeispiel.
    • 41A, 41B und 41C zeigen vergrößerte Seitenansichten der Bildaufnahme-/Erfassungseinheit.
    • 42A, 42B und 42C zeigen Seitenansichten eines Zustands, in dem der Benutzer den Kamerahauptteil trägt.
    • 43A, 43B und 43C zeigen vergrößerte Seitenansichten der Bildaufnahme-/Erfassungseinheit, ohne dass die Verbindungselemente gezeigt sind.
    • 44A, 44B und 44C zeigen Seitenansichten eines Zustands, in dem der Benutzer den Kamerahauptteil trägt, ohne dass die Verbindungselemente gezeigt sind.
    • 45A bis 45G zeigen Darstellungen verschiedener Kombinationen des Bandteils und einer Verbindungsfläche, die ein Abschnitt eines elektrischen Kabels ist, das mit dem Bandteil zusammengeschlossen ist.
    • 46A zeigt ein Blockschaltbild einer Hardwarekonfiguration einer Anzeigevorrichtung, die mit einem Kamerahauptteil verbunden ist, der eine Bildaufnahmevorrichtung gemäß einem neunten Ausführungsbeispiel enthält.
    • 46B zeigt ein Funktionsblockschaltbild des Kamerahauptteils gemäß dem neunten Ausführungsbeispiel.
    • 47 zeigt ein Funktionsblockschaltbild des Kamerahauptteils und einer Anzeigevorrichtung gemäß einem zehnten Ausführungsbeispiel.
    • 48 zeigt ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem zehnten Ausführungsbeispiel veranschaulicht, der durch den Kamerahauptteil und die Anzeigevorrichtung ausgeführt wird.
    • 49 zeigt ein Funktionsblockschaltbild eines Kamerahauptteils und einer Anzeigevorrichtung gemäß einem elften Ausführungsbeispiel.
    • 50 zeigt ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem elften Ausführungsbeispiel veranschaulicht, der durch den Kamerahauptteil und die Anzeigevorrichtung ausgeführt wird.
    • 51A zeigt eine Außenansicht eines Kamerahauptteils gemäß einem zwölften Ausführungsbeispiel.
    • 51B zeigt eine perspektivische Ansicht von Einzelheiten einer Bildaufnahme-/Erfassungseinheit, die ein Teil des Kamerahauptteils ist, gemäß dem zwölften Ausführungsbeispiel.
    • 51C zeigt eine perspektivische Ansicht eines Zustands, in dem eine Bildaufnahmeeinheit der Bildaufnahme-/Erfassungseinheit in 51B sich um 30° nach links dreht. 51D zeigt eine perspektivische Ansicht eines Zustands, in dem die Bildaufnahmeeinheit um 30° nach unten gerichtet ist.
    • 52 zeigt ein Funktionsblockschaltbild des Kamerahauptteils gemäß dem zwölften Ausführungsbeispiel.
    • 53 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils gemäß dem zwölften Ausführungsbeispiel.
    • 54 zeigt ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß dem zwölften Ausführungsbeispiel veranschaulicht, der durch den Kamerahauptteil und die Anzeigevorrichtung ausgeführt wird.
    • 55 zeigt ein Ablaufdiagramm einer Unterroutine eines Gesichtsrichtungserfassungsprozesses in Schritt S12300 in 54 gemäß dem zwölften Ausführungsbeispiel.
    • 56 zeigt ein Ablaufdiagramm einer Unterroutine eines Entwicklungsprozesses in Schritt S12500 in 54 gemäß dem zwölften Ausführungsbeispiel.
    • 57 zeigt ein Blockschaltbild einer Hardwarekonfiguration eines Kamerahauptteils gemäß einem dreizehnten Ausführungsbeispiel.
    • 58A, 58B und 58C zeigen schematische Darstellungen von Beispielen von Lernbildern, die bei dem dreizehnten Ausführungsbeispiel verwendet werden.
    • 59 zeigt ein Ablaufdiagramm eines maschinelles Lernen verwendenden Gesichtsrichtungserfassungsprozesses gemäß dem dreizehnten Ausführungsbeispiel.
    • 60 zeigt ein Blockschaltbild einer Hardwarekonfiguration eines Kamerahauptteils gemäß einem vierzehnten Ausführungsbeispiel.
    • 61A zeigt eine schematische Darstellung eines Entfernungsbildes, das durch eine ToF-(Time of Flight, Laufzeit-)Einrichtung des Kamerahauptteils gemäß dem vierzehnten Ausführungsbeispiel in einem Zustand erzeugt wird, in dem die ToF-Einrichtung an einer Benutzerschlüsselbeinposition angeordnet ist und nach oben misst.
    • 61B zeigt eine schematische Darstellung eines Bildes, in dem ein Gesichtsabschnitt durch Anwenden des Schwellenwertprozesses bei dem Entfernungsbild in 61A extrahiert ist.
    • 61C zeigt eine schematische Darstellung eines Bildes, das durch Einteilen des Bildes in 61B in Bereiche gemäß Entfernungsinformationen erhalten wird.
    • 61D zeigt eine schematische Darstellung eines Bildes, das eine Kehlposition und eine Kinnposition zeigt, die aus dem Bild in 61C extrahiert werden.
    • 62 zeigt ein Ablaufdiagramm eines Gesichtsrichtungsberechnungsprozesses gemäß dem vierzehnten Ausführungsbeispiel.
    • 63A und 63B zeigen Darstellungen eines Konfigurationsbeispiels einer Kamera, die unter Verwendung eines herkömmlichen Anbringen-am-Kopf-Zubehörs fixiert ist.
    • 64 zeigt eine Darstellung eines Konfigurationsbeispiels einer herkömmlichen Gesamthimmelssphärenkamera.
    • 65A, 65B und 65C zeigen Darstellungen von Beispielen von Umwandlungsprozessen des Bildes, das durch die Gesamthimmelssphärenkamera in 64 aufgenommen wird.
  • BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • Nachstehend werden erfindungsgemäße Ausführungsbeispiele unter Bezugnahme auf die Zeichnungen näher beschrieben.
  • 1A bis 1D zeigen Darstellungen zum Beschreiben eines Kamerasystems aus einem Kamerahauptteil 1 und einer Anzeigevorrichtung 800, die von dem Kamerahauptteil 1 getrennt ist. Der Kamerahauptteil 1 enthält eine Bildaufnahme-/Erfassungseinheit 10 als tragbare Bildaufnahmevorrichtung gemäß einem ersten Ausführungsbeispiel. Obwohl der Kamerahauptteil 1 und die Anzeigevorrichtung 800 bei diesem Ausführungsbeispiel getrennte Einrichtungen sind, können sie integriert sein.
  • 1A zeigt eine Außenansicht des Kamerahauptteils 1. Der Kamerahauptteil 1 ist mit der Bildaufnahme-/Erfassungseinheit 10, einer Batterieeinheit (Energiequelleneinheit) 90, einem rechten Verbindungselement 80R und einem linken Verbindungselement 80L wie in 1A gezeigt versehen. Das rechte Verbindungselement 80R verbindet die Bildaufnahme-/Erfassungseinheit 10 und die Batterieeinheit 90 auf der rechten Seite eines Benutzerkörpers (linke Seite in 1A). Das linke Verbindungselement 80L verbindet die Bildaufnahme-/Erfassungseinheit 10 und die Batterieeinheit 90 auf der linken Seite des Benutzerkörpers (rechte Seite in 1A).
  • Die Bildaufnahme-/Erfassungseinheit 10 ist mit einem Gesichtsrichtungserfassungsfenster 13, einem Startschalter 14, einem Stoppschalter 15, einem Bildaufnahmeobjektiv 16, einer LED 17 und Mikrofonen 19L und 19R versehen.
  • Das Gesichtsrichtungserfassungsfenster 13 ermöglicht eine Übertragung von Infrarotlicht, das von Infrarot-LEDs 22 (5: Infrarotstrahlungseinheit) projiziert wird, die in der Bildaufnahme-/Erfassungseinheit 10 zum Erfassen von Positionen von Gesichtsabschnitten des Benutzers eingebaut ist. Das Gesichtsrichtungserfassungsfenster 13 erlaubt auch eine Übertragung von reflektiertem Infrarotlicht von dem Gesicht.
  • Der Startschalter 14 wird zum Starten eines Bildaufnahmebetriebs verwendet. Der Stoppschalter 15 wird zum Stoppen des Bildaufnahmebetriebs verwendet. Das Bildaufnahmeobjektiv 16 führt aufzunehmendes Licht zu einem Festkörperbildsensor 42 (5) in der Bildaufnahme-/Erfassungseinheit 10. Die LED 17 gibt einen Zustand an, dass der Bildaufnahmebetrieb läuft, oder eine Warnung an.
  • Die Mikrofone 19R und 19L nehmen Umgebungsgeräusche auf. Das Mikrofon 19L nimmt Geräusche der linken Seite der Benutzerumgebung (rechten Seite in 1A) auf. Das Mikrofon 19R nimmt Geräusche der rechten Seite der Benutzerumgebung (linken Seite in 1A) auf.
  • 1B zeigt eine Darstellung eines Zustands, in dem der Benutzer den Kamerahauptteil 1 trägt. Wenn der Benutzer den Kamerahauptteil 1 derart trägt, dass sich die Batterieeinheit 90 an der Rückseite des Benutzers befindet, und sich die Bildaufnahme-/Erfassungseinheit 10 an der Vorderseite des Benutzerkörpers befindet, wird die Bildaufnahme-/Erfassungseinheit 10 durch die linken und rechten Verbindungselemente 80L und 80R, die jeweils mit den linken und rechten Enden der Bildaufnahme-/Erfassungseinheit 10 verbunden sind, in einer Richtung zur Brust getragen, während sie mit Energie versorgt wird. So ist die Bildaufnahme-/Erfassungseinheit 10 vor den Schlüsselbeinen des Benutzers positioniert. Dabei befindet sich das Gesichtsrichtungserfassungsfenster 13 unter dem Kiefer des Benutzers. Eine Infrarotkondensorlinse 26, die in der später beschriebenen 2E gezeigt ist, ist in dem Gesichtsrichtungserfassungsfenster 13 angeordnet. Eine optische Achse (optische Erfassungsachse) der Infrarotkondensorlinse 26 ist zu dem Benutzergesicht gerichtet und ist in eine andere Richtung als eine optische Achse (optische Bildaufnahmeachse) des Bildaufnahmeobjektivs 16 gerichtet. Eine Gesichtsrichtungserfassungseinheit 20 (siehe 5), die die Infrarotkondensorlinse 26 enthält, erfasst eine Benutzerbeobachtungsrichtung auf der Grundlage von Positionen von Gesichtsabschnitten. Dies ermöglicht es einer nachstehend beschriebenen Bildaufnahmeeinheit 40, ein Bild eines Objekts in der Beobachtungsrichtung aufzunehmen.
  • Eine Anpassung der Einstellposition aufgrund individueller Unterschiede von Körperformen und Unterschieden in der Kleidung wird später beschrieben. Da zudem die Bildaufnahme-/Erfassungseinheit 10 an der Vorderseite des Körpers angeordnet ist, und die Batterieeinheit 90 auf diese Weise hinter dem Gesicht angeordnet ist, ist das Gewicht des Kamerahauptteils 1 verteilt, was eine Benutzerermüdung reduziert und eine Verschiebung des Kamerahauptteils 1 aufgrund einer Zentrifugalkraft reduziert, die durch eine Bewegung des Benutzers verursacht wird.
  • Obwohl das Beispiel beschrieben wird, bei dem der Benutzer den Kamerahauptteil 1 derart trägt, dass sich die Bildaufnahme-/Erfassungseinheit 10 vor den Schlüsselbeinen des Benutzers befindet, ist das Ausführungsbeispiel nicht auf dieses Beispiel beschränkt. Das heißt, der Benutzer kann den Kamerahauptteil 1 an einer beliebigen Position des Benutzerkörpers tragen, die vom Kopf verschieden ist, solange der Kamerahauptteil 1 die Benutzerbeobachtungsrichtung erfassen kann und die Bildaufnahmeeinheit 40 ein Bild eines Objekts in der Beobachtungsrichtung aufnehmen kann.
  • 1C zeigt eine Darstellung der Batterieeinheit 90 von der Rückseite in 1A aus gesehen. Die Batterieeinheit 90 ist mit einem Ladekabeleinführschlitz 91, Anpassungsknöpfen 92L und 92R und einem Wirbelsäulenaustrittsausschnitt 93 in 1C versehen.
  • Mit dem Ladekabeleinführschlitz 91 kann ein (nicht gezeigtes) Ladekabel verbunden werden. Über das Ladekabel werden Batterien 94L und 94R (siehe 3A) geladen, und der Bildaufnahme-/Erfassungseinheit 10 wird über das Ladekabel elektrische Energie zugeführt.
  • Anpassungsknöpfe 92L und 92R werden zum Anpassen der jeweiligen Längen der Bandteile 82L und 82R der linken und rechten Verbindungselemente 80L und 80R verwendet. Der Anpassungsknopf 92L wird zum Anpassen des linken Bandteils 82L verwendet, und der Anpassungsknopf 92R wird zum Anpassen des rechten Bandteils 82R verwendet. Obwohl die Längen der Bandteile 82L und 82R bei dem Ausführungsbeispiel mit den Anpassungsknöpfen 92L und 92R unabhängig angepasst werden, können die Längen der Bandteile 82L und 82R mit einem Knopf gleichzeitig angepasst werden.
  • Der Wirbelsäulenaustrittsausschnitt 93 ist zum Austreten lassen der Wirbelsäule des Benutzers gebildet, so dass die Batterieeinheit 90 die Wirbelsäule nicht berührt. Da der Wirbelsäulenaustrittsausschnitt 93 einen konvexen Teil der Wirbelsäule des Körpers austreten lässt, wird ein Missbehagen des Tragens reduziert und eine laterale Verschiebung der Batterieeinheit 90 verhindert.
  • 1D zeigt eine Außenansicht der Anzeigevorrichtung 800 als tragbare Einrichtung gemäß dem ersten Ausführungsbeispiel, die von dem Kamerahauptteil 1 getrennt ist. Wie in 1D gezeigt, ist die Anzeigevorrichtung 800 mit einer A-Taste 802, einer Anzeigeeinheit 803, einer B-Taste 804, einer In-Kamera 805, einem Gesichtssensor 806, einem Winkelgeschwindigkeitssensor 807 und einem Beschleunigungssensor 808 versehen. Die Anzeigevorrichtung 800 ist ferner mit einer (in 1D nicht gezeigten) Drahtlos-LAN-Einheit versehen, die eine Hochgeschwindigkeitsverbindung mit dem Kamerahauptteil 1 ermöglicht.
  • Die A-Taste 802 weist eine Funktion einer Ein-/Aus-Taste der Anzeigevorrichtung 800 auf. Die Anzeigevorrichtung 800 empfängt eine Ein-/Aus-Bedienung durch ein langes Drücken der A-Taste 802 und empfängt eine Festlegung einer anderen Prozesszeitsteuerung durch ein kurzes Drücken der A-Taste 802.
  • Die Anzeigeeinheit 803 wird zum Überprüfen eines durch den Kamerahauptteil 1 aufgenommenen Bildes verwendet und kann einen Menübildschirm anzeigen, der für eine Einstellung erforderlich ist. Bei diesem Ausführungsbeispiel empfängt ein transparenter Berührungssensor, der auf der Oberfläche der Anzeigeeinheit 803 vorgesehen ist, eine Berührbedienung auf einem Bildschirm (beispielsweise einem Menübildschirm), der gerade angezeigt wird.
  • Die B-Taste 804 arbeitet als Kalibriertaste 854, die für einen nachstehend beschriebenen Kalibrierprozess verwendet wird.
  • Die In-Kamera 805 kann ein Bild einer Person aufnehmen, die die Anzeigevorrichtung 800 betrachtet.
  • Der Gesichtssensor 806 erfasst eine Gesichtsform und eine Beobachtungsrichtung der Person, die die Anzeigevorrichtung 800 betrachtet. Eine konkrete Konfiguration des Gesichtssensors 806 unterliegt keiner Einschränkung. Beispielsweise können ein struktureller optischer Sensor, ein ToF-(Time of Flight, Laufzeit-)Sensor und ein Millimeterwellenradar angewendet werden.
  • Da der Winkelgeschwindigkeitssensor 807 in der Anzeigevorrichtung 800 eingebaut ist, ist er im Sinn einer perspektivischen Ansicht als gestrichelte Linie gezeigt. Da die Anzeigevorrichtung 800 dieses Ausführungsbeispiels auch mit einer Funktion der nachstehend beschriebenen Kalibriereinrichtung versehen ist, ist ein Dreiachsenkreiselsensor vorgesehen, der eine Erfassung in X-, Y- und Z-Richtung ermöglicht.
  • Der Beschleunigungssensor 808 erfasst eine Stellung der Anzeigevorrichtung 800. Es wird angemerkt, dass gemäß diesem Ausführungsbeispiel als Anzeigevorrichtung 800 ein übliches Smartphone angewendet wird. Das Kamerasystem des Ausführungsbeispiels wird durch Anpassung von Firmware in dem Smartphone an Firmware des Kamerahauptteils 1 erreicht. Unterdessen kann das Kamerasystem des Ausführungsbeispiels durch Anpassen der Firmware des Kamerahauptteils 1 an eine Anwendung und ein OS des Smartphones als Anzeigevorrichtung 800 erreicht werden.
  • 2A bis 2F zeigen Darstellungen, die die Bildaufnahme-/Erfassungseinheit 10 detailliert beschreiben. In den Darstellungen ab 2A ist eine Komponente, die die gleiche Funktion eines Teils aufweist, der bereits beschrieben wurde, mit dem gleichen Bezugszeichen angegeben, und auf ihre Beschreibung wird in dieser Spezifikation verzichtet.
  • 2A zeigt eine Vorderansicht der Bildaufnahme-/Erfassungseinheit 10. Das rechte Verbindungselement 80R weist den Bandteil 82R und ein Winkelhalteelement 81R aus hartem Material auf, das einen Winkel bezüglich der Bildaufnahme-/Erfassungseinheit 10 hält. Das linke Verbindungselement 80L weist den Bandteil 82L und gleichermaßen ein Winkelhalteelement 81L auf.
  • 2B zeigt eine Darstellung der Formen der Bandteile 82L und 82R der linken und rechten Verbindungselemente 80L und 80R. In 2B sind die Winkelhalteelemente 81L und 81R als transparente Elemente gezeigt, um die Formen der Bandteile 82L und 82R zu zeigen. Der Bandteil 82L ist mit einer linken Verbindungsfläche 83L und einem elektrischen Kabel 84 versehen, die an der linken Körperseite des Benutzers (rechten Seite in 2B) angeordnet sind, wenn der Benutzer den Kamerahauptteil 1 trägt. Der Bandteil 82R ist mit einer rechten Verbindungsfläche 83R versehen, die an der rechten Körperseite des Benutzers (linken Seite in 2B) angeordnet ist, wenn der Benutzer den Kamerahauptteil 1 trägt.
  • Die linke Verbindungsfläche 83L ist mit dem Winkelhalteelement 81L verbunden, und ihr Querschnitt ist eine Ellipse, aber kein perfekter Kreis. Die rechte Verbindungsfläche 83R weist auch eine ähnliche elliptische Form auf. Die rechte Verbindungsfläche 83R und die linke Verbindungsfläche 83L sind in umgekehrter V-Form symmetrisch angeordnet. Das heißt, die Entfernung zwischen der rechten Verbindungsfläche 83R und der linken Verbindungsfläche 83L wird von der unteren Seite in 2B zu der oberen Seite kürzer. Da die Längsachsenrichtungen von Abschnitten der linken und rechten Verbindungsflächen 83L und 83R mit dem Benutzerkörper zusammenpassen, wenn der Benutzer den Kamerahauptteil 1 umhängt, berühren die Bandteile 82L und 82R so den Benutzerkörper komfortabel, und eine Bewegung der Bildaufnahme-/Erfassungseinheit 10 in der Links-Rechts-Richtung und der Vorne-Hinten-Richtung kann verhindert werden.
  • Das elektrische Kabel (ein Energieversorgungselement) 84 wird in dem Bandteil 82L geführt und verbindet die Batterieeinheit 90 und die Bildaufnahme-/Erfassungseinheit 10 elektrisch. Das elektrische Kabel 84 verbindet die Energiequelle der Batterieeinheit 90 mit der Bildaufnahme-/Erfassungseinheit 10 oder tauscht ein elektrisches Signal mit einer externen Vorrichtung aus.
  • 2C zeigt eine Rückansicht der Bildaufnahme-/Erfassungseinheit 10. 2C zeigt die Seite, die mit dem Benutzerkörper in Kontakt ist. Das heißt, 2C ist eine Ansicht betrachtet von der gegenüberliegenden Seite von 2A. Demnach ist die Positionsbeziehung zwischen dem rechten Verbindungselement 80R und dem linken Verbindungselement 80L entgegengesetzt zu 2A.
  • Die Bildaufnahme-/Erfassungseinheit 10 ist mit einem Ein-/Aus-Schalter 11, einem Bildaufnahmemodusschalter 12 und Brustkontaktkissen 18a und 18b an der Rückseite versehen. Der Ein-/Aus-Schalter 11 wird zum Ein-/Ausschalten der Leistung des Kamerahauptteils 1 verwendet. Obwohl der Ein-/Aus-Schalter 11 dieses Ausführungsbeispiels ein Schieber ist, ist er nicht darauf beschränkt. Der Ein-/Aus-Schalter 11 kann beispielsweise ein Drückschalter sein, oder kann ein Schalter sein, der integral mit einer (nicht gezeigten) Gleitabdeckung des Bildaufnahmeobjektivs 16 gebildet ist.
  • Der Bildaufnahmemodusschalter (ein Änderungselement) 12 wird zum Ändern eines Bildaufnahmemodus verwendet, das heißt, wird zum Ändern eines Modus in Verbindung mit einem Bildaufnahmebetrieb verwendet. Bei diesem Ausführungsbeispiel wird der Bildaufnahmemodusschalter 12 zum Auswählen des Bildaufnahmemodus aus einem Stehbildmodus, einem Videobildmodus und einem nachstehend angeführten Voreinstellmodus verwendet, der unter Verwendung der Anzeigevorrichtung 800 eingestellt wird. Bei diesem Ausführungsbeispiel ist der Bildaufnahmemodusschalter 12 ein Schiebehebelschalter, der einen der folgenden in 2C gezeigten Modi auswählen kann: „Photo“, „Normal“ und „Pre“. Durch Schalten in „Photo“ wechselt der Bildaufnahmemodus in den Stehbildmodus, wechselt in den Videobildmodus durch Schalten in „Normal“, und wechselt in den Voreinstellmodus durch Schalten in „Pre“. Es wird angemerkt, dass die Konfiguration des Bildaufnahmemodusschalters 12 nicht auf das Ausführungsbeispiel beschränkt ist, solange ein Schalter den Bildaufnahmemodus ändern kann. Der Bildaufnahmemodusschalter 12 kann beispielsweise aus drei Tasten „Photo“, „Normal“ und „Pre“ bestehen.
  • Die Brustkontaktkissen (Fixierelemente) 18a und 18b berühren den Körper des Benutzers, wenn die Bildaufnahme-/Erfassungseinheit 10 am Benutzerkörper mit Energie versorgt wird. Wie in 2A gezeigt, ist die Bildaufnahme-/Erfassungseinheit 10 derart gebildet, dass eine laterale (links-rechts) Gesamtlänge größer als eine vertikale (oben-unten) Gesamtlänge beim Tragen des Kamerahauptteils 1 wird. Die Brustkontaktkissen 18a und 18b sind jeweils in der Nähe des rechten und linken Endes der Bildaufnahme-/Erfassungseinheit 10 angeordnet. Diese Anordnung reduziert eine Rotationsunschärfe in der Links-Rechts-Richtung während des Bildaufnahmebetriebs des Kamerahauptteils 1. Ferner verhindern die Brustkontaktkissen 18a und 18b, dass der Ein-/AusSchalter 11 und der Bildaufnahmemodusschalter 12 den Benutzerkörper berühren. Die Brustkontaktkissen 18a und 18b verhindern ferner eine Wärmeübertragung zu dem Benutzerkörper selbst dann, wenn sich die Bildaufnahme-/Erfassungseinheit 10 aufgrund eines langdauernden Bildaufnahmebetriebs erwärmt, und werden für die Anpassung des Winkels der Bildaufnahme-/Erfassungseinheit 10 verwendet.
  • 2D zeigt eine Draufsicht der Bildaufnahme-/Erfassungseinheit 10. Wie in 2D gezeigt, ist das Gesichtsrichtungserfassungsfenster 13 in dem Mittenabschnitt der Oberfläche der Bildaufnahme-/Erfassungseinheit 10 vorgesehen, und die Brustkontaktkissen 18a und 18b ragen über die Bildaufnahme-/Erfassungseinheit 10 hinaus.
  • 2E zeigt eine Darstellung einer Konfiguration der Gesichtsrichtungserfassungseinheit 20, die in der Bildaufnahme-/Erfassungseinheit 10 und unter dem Gesichtsrichtungserfassungsfenster 13 angeordnet ist. Die Gesichtsrichtungserfassungseinheit 20 ist mit den Infrarot-LEDs 22 und der Infrarotkondensorlinse 26 versehen. Die Gesichtsrichtungserfassungseinheit 20 ist auch mit einer Infrarot-LED-Beleuchtungsschaltung 21 und einer Infraroterfassungseinrichtung 27 versehen, die in der nachstehend beschriebenen 5 gezeigt sind.
  • Die Infrarot-LEDs 22 projizieren Infrarotlicht 23 (5) zu dem Benutzer. Die Infrarotkondensorlinse 26 bildet reflektiertes Licht 25 (5) von dem Benutzer beim Projizieren des Infrarotlichts 23 von den Infrarot-LEDs 22 auf einen (nicht gezeigten) Sensor der Infraroterfassungseinrichtung 27 ab.
  • 2F zeigt eine Darstellung eines Zustands, wenn ein Benutzer den Kamerahauptteil 1 trägt, gesehen von der linken Seite des Benutzers aus.
  • Ein Winkelanpassungsknopf 85L ist in dem Winkelhalteelement 81L vorgesehen und wird beim Anpassen des Winkels der Bildaufnahme-/Erfassungseinheit 10 verwendet. Ein (in 2F nicht gezeigter) Winkelanpassungsknopf ist in dem gegenüberliegenden Winkelhalteelement 81R an der symmetrischen Position des Winkelanpassungsknopfes 85L vorgesehen. Obwohl die Winkelanpassungsknöpfe in 2A, 2C und 2D eigentlich sichtbar sind, sind sie zur Vereinfachung der Beschreibung weggelassen.
  • Wenn das Winkelhalteelement 81L in 2F nach oben oder unten bewegt wird, während der Winkelanpassungsknopf 85L gedrückt wird, kann der Benutzer den Winkel zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Winkelhalteelement 81L ändern. Die rechte Seite ist die gleiche wie die linke Seite. Außerdem können Vorstehwinkel der Brustkontaktkissen 18a und 18b geändert werden. Die Funktionen dieser zwei Arten von Winkeländerungselementen (der Winkelanpassungsknöpfe und Brustkontaktkissen) können die Bildaufnahme-/Erfassungseinheit 10 anpassen, so dass die optische Achse des Bildaufnahmeobjektivs 16 ungeachtet individueller Unterschiede einer Brustpositionsform horizontal gehalten wird. 3A, 3B und 3C zeigen Darstellungen von Einzelheiten der Batterieeinheit 90. 3A ist eine teilweise transparente Rückansicht der Batterieeinheit 90.
  • Wie in 3A gezeigt, sind die linke Batterie 94L und die rechte Batterie 94R in der Batterieeinheit 90 symmetrisch befestigt, um einen Ausgleich hinsichtlich des Gewichts zu erzielen. Da die linke und rechte Batterie 94L und 94R symmetrisch zu dem Mittenabschnitt der Batterieeinheit 90 angeordnet sind, wird so der Gewichtsausgleich in der Links-Rechts-Richtung erzielt und die Positionsverschiebung des Kamerahauptteils 1 verhindert. Es wird angemerkt, dass in der Batterieeinheit 90 eine einzelne Batterie befestigt sein kann.
  • 3B zeigt eine Draufsicht der Batterieeinheit 90. Die Batterien 94L und 94R sind auch in 3B als transparente Elemente gezeigt.
  • Da die Batterien 94L und 94R wie in 3B gezeigt symmetrisch an beiden Seiten des Wirbelsäulenaustrittsausschnitts 93 angeordnet sind, kann der Benutzer die Batterieeinheit 90, die relativ schwer ist, ohne Belastung tragen.
  • 3C zeigt eine Rückansicht der Batterieeinheit 90. 3C ist die Ansicht von der Seite gesehen, die den Benutzerkörper berührt, das heißt, die Ansicht von der entgegengesetzten Seite von 3A aus gesehen. Wie in 3C gezeigt, ist der Wirbelsäulenaustrittsausschnitt 93 entlang der Wirbelsäule des Benutzers in der Mitte vorgesehen.
  • 4 zeigt ein Funktionsblockschaltbild des Kamerahauptteils 1. Nachstehend wird der durch den Kamerahauptteil 1 ausgeführte Prozess unter Verwendung von 4 grob beschrieben. Einzelheiten werden später beschrieben. Wie in 4 gezeigt, ist der Kamerahauptteil 1 mit der Gesichtsrichtungserfassungseinheit 20, einer Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30, der Bildaufnahmeeinheit 40, einer Bildextraktions-/Entwicklungseinheit 50, einer Primäraufzeichnungseinheit 60, einer Übertragungseinheit 70 und einer zweiten Steuereinrichtung 111 versehen. Diese Funktionsblöcke werden durch eine Steuerung einer Gesamtsteuerungs-CPU 101 (5) erzielt, die den gesamten Kamerahauptteil 1 steuert.
  • Die Gesichtsrichtungserfassungseinheit 20 (eine Beobachtungsrichtungserfassungseinheit) ist ein Funktionsblock, der durch die vorstehend beschriebenen Infrarot-LEDs 22, die Infraroterfassungseinrichtung 27, etc. ausgeführt wird. Die Gesichtsrichtungserfassungseinheit 20 schätzt eine Beobachtungsrichtung durch Erfassen der Gesichtsrichtung und gibt die Beobachtungsrichtung zu der Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 weiter.
  • Die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit (eine Aufzeichnungsrichtungsbestimmungseinheit) 30 bestimmt Informationen über eine Position und einen Bereich, die aus einem durch die Bildaufnahmeeinheit 40 aufgenommenen Bild extrahiert werden, indem verschiedene Berechnungen beruhend auf der Beobachtungsrichtung durchgeführt werden, die durch die Gesichtsrichtungserfassungseinheit 20 geschätzt wird. Und dann werden die Informationen zu der Bildextraktions-/Entwicklungseinheit 50 weitergegeben.
  • Die Bildaufnahmeeinheit 40 erzeugt ein Weitwinkelbild des Objekts und gibt das Bild zu der Bildextraktions-/Entwicklungseinheit 50 weiter. Die Bildextraktions-/Entwicklungseinheit (eine Entwicklungseinheit) 50 extrahiert ein Bild, das der Benutzer anschaut, aus dem von der Bildaufnahmeeinheit 40 weitergegebenen Bild, indem sie die von der Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 weitergegebenen Informationen verwendet. Dann entwickelt die Bildextraktions-/Entwicklungseinheit 50 das extrahierte Bild und gibt das entwickelte Bild zu der Primäraufzeichnungseinheit 60 weiter.
  • Die Primäraufzeichnungseinheit 60 ist ein durch einen Primärspeicher 103 ( 5) etc. gebildeter Funktionsblock, zeichnet Bildinformationen auf und gibt die Bildinformationen mit einer erforderlichen Zeitvorgabe zu der Übertragungseinheit 70 weiter. Die Übertragungseinheit (eine Bildausgabeeinheit) 70 ist mit vorbestimmten Kommunikationspartnern, wie der Anzeigevorrichtung (1D) 800, einer Kalibriereinrichtung 850 und einer vereinfachten Anzeigeeinrichtung 900 drahtlos verbunden und kommuniziert mit diesen.
  • Die Anzeigevorrichtung 800 ist über ein Hochgeschwindigkeits-Drahtlos-LAN (das nachstehend als „Hochgeschwindigkeits-Drahtlos-Netzwerk“ bezeichnet wird) mit der Übertragungseinheit 70 verbindbar. Bei diesem Ausführungsbeispiel wendet das Hochgeschwindigkeits-Drahtlos-Netzwerk eine Drahtloskommunikation an, die dem IEEE802.11ax (Wi-Fi 6)-Standard entspricht. Allerdings kann eine Drahtloskommunikation angewendet werden, die anderen Standards entspricht, wie dem Wi-Fi 4-Standard und dem Wi-Fi 5-Standard. Die Anzeigevorrichtung 800 kann ferner eine für den Kamerahauptteil 1 entwickelte dedizierte Vorrichtung sein, oder kann ein übliches Smartphone, ein Tablet-Gerät, usw. sein.
  • Die Anzeigevorrichtung 800 kann mit der Übertragungseinheit 70 außerdem über ein Geringleistungs-Drahtlos-Netzwerk verbunden sein, kann sowohl über das Hochgeschwindigkeits-Drahtlos-Netzwerk als auch das Geringleistungs-Drahtlos-Netzwerk verbunden sein, oder kann unter Umschalten der Netzwerke verbunden sein. Bei diesem Ausführungsbeispiel werden umfangreiche Daten, wie eine Bilddatei eines nachstehend beschriebenen Videobildes, über das Hochgeschwindigkeits-Drahtlos-Netzwerk übertragen, und Daten mit kleinem Umfang und Daten, die keine schnelle Übertragung erfordern, werden über das Geringleistugns-Drahtlos-Netzwerk übertragen. Obwohl bei diesem Ausführungsbeispiel Bluetooth für das Geringleistungs-Drahtlos-Netzwerk verwendet wird, können andere Nah-Drahtlos-Kommunikationen angewendet werden, wie NFC (Near Field Communication).
  • Die Kalibriereinrichtung 850 führt eine Anfangseinstellung und individuelle Einstellung des Kamerahauptteils 1 durch und ist über das Hochgeschwindigkeits-Drahtlos-Netzwerk auf die gleiche Weise wie die Anzeigevorrichtung 800 mit der Übertragungseinheit 70 verbindbar. Einzelheiten der Kalibriereinrichtung 850 werden später beschrieben. Ferner kann die Anzeigevorrichtung 800 die Funktion der Kalibriereinrichtung 850 aufweisen.
  • Die vereinfachte Anzeigeeinrichtung 900 ist beispielsweise lediglich über das Geringleistungs-Drahtlos-Netzwerk mit der Übertragungseinheit 70 verbindbar. Obwohl die vereinfachte Anzeigeeinrichtung 900 aufgrund der zeitlichen Einschränkung keine Kommunikation eines Videobildes mit der Übertragungseinheit 70 durchführen kann, kann sie eine Bildaufnahmestart-/Stoppzeitvorgabe übertragen und für eine Bildüberprüfung an einer Zusammensetzungsüberprüfungsstufe verwendet werden. Die vereinfachte Anzeigeeinrichtung 900 kann ferner eine für den Kamerahauptteil 1 sowie die Anzeigevorrichtung 800 entwickelte dedizierte Vorrichtung sein, oder eine Smartwatch sein.
  • 5 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils 1. Die Konfigurationen und Funktionen, die unter Verwendung von 1A bis 1C beschrieben werden, sind ferner durch die gleichen Bezugszeichen angegeben, und ihre detaillierte Beschreibung wird weggelassen.
  • Wie in 5 gezeigt, ist der Kamerahauptteil 1 mit der Gesamtsteuerungs-CPU 101, dem Ein-/Ausschalter 11, dem Bildaufnahmemodusschalter 12, dem Gesichtsrichtungserfassungsfenster 13, dem Startschalter 14, dem Stoppschalter 15, dem Bildaufnahmeobjektiv 16 und der LED 17 versehen.
  • Der Kamerahauptteil 1 ist mit der Infrarot-LED-Beleuchtungsschaltung 21, den Infrarot-LEDs 22, der Infrarotkondensorlinse 26 und der Infraroterfassungseinrichtung 27 versehen, die die Gesichtsrichtungserfassungseinheit 20 (4) bilden.
  • Der Kamerahauptteil 1 ist ferner mit der Bildaufnahmeeinheit 40 (4), die eine Bildaufnahmeansteuereinrichtung 41, einen Festkörperbildsensor 42 und eine Bildsignalverarbeitungsschaltung 43 umfasst, und der Übertragungseinheit 70 (4) versehen, die eine Geringleistugns-Drahtlos-Kommunikationseinheit 71 und eine Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 72 umfasst.
  • Obwohl der Kamerahauptteil 1 bei diesem Ausführungsbeispiel die EinzelBildaufnahmeeinheit 40 aufweist, kann er zwei oder mehr Bildaufnahmeeinheiten zum Aufnehmen eines 3D-Bildes aufweisen, um ein Bild aufzunehmen, das im Bildwinkel weiter als ein durch eine Einzelbildaufnahmeeinheit erhaltenes Bild ist, oder um Bilder in verschiedenen Richtungen aufzunehmen.
  • Der Kamerahauptteil 1 ist mit verschiedenen Speichern versehen, wie einem nichtflüchtiger Speicher 51 mit hoher Kapazität, einem internen nichtflüchtigen Speicher 102 und dem Primärspeicher 103. Ferner ist der Kamerahauptteil 1 mit einem Audioprozessor 104, einem Lautsprecher 105, einer Vibrier-Einrichtung 106, einem Winkelgeschwindigkeitssensor 107, einem Beschleunigungssensor 108 und verschiedenen Schaltern 110 versehen.
  • Die Schalter, wie der Ein-/Ausschalter 11, die unter Verwendung von 2C beschrieben werden, sind mit der Gesamtsteuerungs-CPU 101 verbunden. Die Gesamtsteuerungs-CPU 101 steuert den gesamten Kamerahauptteil 1. Die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30, die Bildextrations-/Entwicklungseinheit 50 und die zweite Steuereinrichtung 111 in 4 werden durch die Gesamtsteuerungs-CPU 101 erzielt.
  • Die Infrarot LED-Beleuchtungsschaltung 21 steuert Erleuchten und Erlöschen der Infrarot-LEDs 22 (2E), um eine Projektion des Infrarotlichts 23 zu steuern, das von den Infrarot-LEDs 22 zu dem Benutzer gerichtet wird.
  • Das Gesichtsrichtungserfassungsfenster 13 ist durch ein sichtbares Licht-Ausschaltfilter gebildet, das sichtbares Licht nahezu ausschaltet und die Übertragung des Infrarotlichts 23 und seines reflektierten Lichts 25 ausreichend ermöglicht, die zum Infrarotbereich gehören. Die Infrarotkondensorlinse 26 kondensiert das reflektierte Licht 25.
  • Die Infraroterfassungseinrichtung (eine Infraroterfassungseinheit) 27 weist einen Sensor auf, der das durch die Infrarotkondensorlinse 26 kondensierte reflektierte Licht 25 erfasst. Der Sensor wandelt ein durch das kondensierte reflektierte Licht 25 gebildete Bild in Sensordaten um und gibt die Sensordaten zu der Gesamtsteuerungs-CPU 101 weiter.
  • Wie in 1B gezeigt, befindet sich das Gesichtsrichtungserfassungsfenster 13, wenn der Benutzer den Kamerahauptteil 1 trägt, unter dem Kiefer des Benutzers. Wie in 5 gezeigt, überträgt das von den Infrarot-LEDs 22 projizierte Infrarotlicht 23 demnach das Gesichtsrichtungserfassungsfenster 13, und eine Infrarotbestrahlungsfläche 24 nahe dem Benutzerkiefer wird mit dem Infrarotlicht 23 bestrahlt. Ferner überträgt das von der Infrarotbestrahlungsfläche 24 reflektierte Licht 25 das Gesichtsrichtungserfassungsfenster 13 und wird durch die Infrarotkondensorlinse 26 auf dem Sensor in der Infraroterfassungseinrichtung 27 kondensiert.
  • In 1A bis 1C sind die verschiedenen Schalter 110 nicht gezeigt. Die verschiedenen Schalter 110 werden zur Ausführung von Funktionen verwendet, die sich nicht auf dieses Ausführungsbeispiel beziehen.
  • Die Bildaufnahmeansteuereinrichtung 41 enthält eine Zeitvorgabeerzeugungseinrichtung, erzeugt verschiedene Zeitsteuerungssignale, gibt die Zeitsteuerungssignale zu auf den Bildaufnahmebetrieb bezogenen Abschnitten aus und steuert den Festkörperbildsensor 42 an. Der Festkörperbildsensor 42 gibt das Signal, das durch photoelektrische Umwandlung des Objektbildes erhalten wird, das über das Bildaufnahmeobjektiv 16 (1A) erzeugt wird, zu der Bildsignalverarbeitungsschaltung 43 aus.
  • Die Bildsignalverarbeitungsschaltung 43 erzeugt die Aufnahmebilddaten durch Anwenden eines Halteprozesses und eines A/D-Umwandlungsprozesses, usw., bei dem Signal von dem Festkörperbildsensor 42 und gibt das Aufnahmebild zu der Gesamtsteuerungs-CPU 101 aus.
  • Der interne nichtflüchtige Speicher 102 ist durch einen Flash-Speicher, usw. gebildet und speichert ein Bootprogramm für die Gesamtsteuerungs-CPU 101 und Einstellwerte verschiedener Programmmodi. Bei diesem Ausführungsbeispiel werden ein Einstellwert eines Beobachtungsblickfeldes (Bildwinkel) und ein Einstellwert eines Wirkungsniveaus eines Bildstabilisierungsprozesses aufgezeichnet.
  • Der Primärspeicher 103 wird durch einen RAM, usw. gebildet und speichert vorübergehend Verarbeitungsbilddaten und ein Berechnungsergebnis der Gesamtsteuerungs-CPU 101.
  • Der nichtflüchtige Speicher 51 hoher Kapazität speichert Bilddaten. Bei diesem Ausführungsbeispiel ist der nichtflüchtige Speicher 51 hoher Kapazität ein Halbleiterspeicher, der nicht abnehmbar ist. Allerdings kann der nichtflüchtige Speicher 51 hoher Kapazität durch ein abnehmbares Speichermedium, wie eine SD-Karte, gebildet sein, und kann zusammen mit dem internen nichtflüchtigen Speicher 102 verwendet werden.
  • Die Geringleistungs-Drahtlos-Kommunikationseinheit 71 tauscht über das Geringleistungs-Drahtlos-Netzwerk Daten mit der Anzeigevorrichtung 800, der Kalibriereinheit 850 und der vereinfachten Anzeigeeinrichtung 900 aus. Die Hochgeschwindigkeitsdrahtloskommunikationseinheit 72 tauscht über das Hochgeschwindigkeits-Drahtlos-Netzwerk Daten mit der Anzeigevorrichtung 800 und der Kalibriereinrichtung 850 aus.
  • Der Audioprozessor 104 verarbeitet durch die Mikrofone 19L und 19R erfasste Umgebungsgeräusche (ein Analogsignal) und erzeugt ein Audiosignal.
  • Um dem Benutzer einen Zustand des Kamerahauptteils 1 mitzuteilen und um den Benutzer zu warnen, emittiert die LED 17 Licht, gibt der Lautsprecher 105 einen Ton aus, und vibriert die Vibrier-Einrichtung 106.
  • Der Winkelgeschwindigkeitssensor 107 verwendet einen Kreisel, usw. und erfasst eine Bewegung des Kamerahauptteils 1 als Kreiseldaten. Der Beschleunigungssensor 108 erfasst die Stellung der Bildaufnahme-/Erfassungseinheit 10.
  • 6 zeigt ein Blockschaltbild innerhalb der Konfiguration der Anzeigevorrichtung 800. Die unter Verwendung von 1D beschriebenen Komponenten sind durch die gleichen Bezugszeichen angegeben, und ihre Beschreibung wird zur Vereinfachung der Beschreibung weggelassen. Wie in 6 gezeigt, ist die Anzeigevorrichtung 800 mit einer Anzeigevorrichtungssteuereinrichtung 801, der A-Taste 802, der Anzeigeeinheit 803, der B-Taste 804, dem Gesichtssensor 806, dem Winkelgeschwindigkeitssensor 807, dem Beschleunigungssensor 808, einer Bildsignalverarbeitungsschaltung 809 und verschiedenen Schaltern 811 versehen.
  • Ferner ist die Anzeigevorrichtung 800 mit einem internen nichtflüchtigen Speicher 812, einem Primärschalter 813, einem nichtflüchtigen Speicher 814 hoher Kapazität, einem Lautsprecher 815, einer Vibrier-Einrichtung 816, einer LED 817, einem Audioprozessor 820, einer Geringleistungs-Drahtlos-Kommunikationseinheit 871 und einer Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 872 versehen. Die vorstehend angeführten Komponenten sind mit der Anzeigevorrichtungssteuereinrichtung 801 verbunden.
  • Die Anzeigevorrichtungssteuereinrichtung 801 ist durch eine CPU gebildet und steuert die Anzeigevorrichtung 800.
  • Die Bildsignalverarbeitungsschaltung 809 hat äquivalente Funktionen zu der Bildaufnahmeansteuereinrichtung 41, dem Festkörperbildsensor 42 und der Bildsignalverarbeitungsschaltung 43 in dem Kamerahauptteil 1. Die Bildsignalverarbeitungsschaltung 809 bildet die In-Kamera 805 in 1D zusammen mit einem In-Kameraobjektiv 805a. Die Anzeigevorrichtungssteuereinrichtung 801 verarbeitet die aus der Bildsignalverarbeitungsschaltung 809 ausgegebenen Daten. Die Inhalte des Prozesses der Daten werden später beschrieben.
  • Die verschiedenen Schalter 811 werden zum Ausführen von Funktionen verwendet, die sich nicht auf dieses Ausführungsbeispiel beziehen.
  • Der Winkelgeschwindigkeitssensor 807 verwendet einen Kreisel usw., und erfasst eine Bewegung der Anzeigevorrichtung 800. Der Beschleunigungssensor 808 erfasst eine Stellung der Anzeigevorrichtung 800.
  • Der interne nichtflüchtige Speicher 812 ist durch einen Flash-Speicher usw. gebildet und speichert ein Bootprogramm für die Anzeigevorrichtungssteuereinrichtung 801 und Einstellwerte verschiedener Programmmodi.
  • Der Primärspeicher 813 ist durch einen RAM, usw. gebildet und speichert vorübergehend Verarbeitungsbilddaten und ein Berechnungsergebnis der Bildsignalverarbeitungsschaltung 809. Wenn bei diesem Ausführungsbeispiel ein Videobild aufgezeichnet wird, werden mit dem Winkelgeschwindigkeitssensor 107 zur Aufnahmezeit jedes Einzelbildes bzw. Rahmens erfasste Kreiseldaten in dem Primärspeicher 813 in Verbindung mit dem Einzelbild bzw. Rahmen gespeichert.
  • Der nichtflüchtige Speicher 51 hoher Kapazität speichert Bilddaten der Anzeigevorrichtung 800. Bei diesem Ausführungsbeispiel wird der nichtflüchtige Speicher 814 hoher Kapazität durch einen abnehmbaren Speicher, wie eine SD-Karte gebildet. Es wird angemerkt, dass der nichtflüchtige Speicher 814 hoher Kapazität durch einen festen Speicher, wie hinsichtlich des nichtflüchtigen Speichers 51 in dem Kamerahauptteil 1 beschrieben, gebildet sein kann.
  • Um dem Benutzer einen Zustand der Anzeigevorrichtung 800 mitzuteilen und um den Benutzer zu warnen, emittiert die LED 817 Licht, gibt der Lautsprecher 815 einen Ton aus, und vibriert die Vibrier-Einrichtung 816.
  • Der Audioprozessor 820 verarbeitet durch die Mikrofone 819L und 819R erfasste Umgebungsgeräusche (ein Analogsignal) und erzeugt ein Audiosignal.
  • Die Geringleistungs-Drahtlos-Kommunikationseinheit 871 tauscht über das Geringleistungs-Drahtlos-Netzwerk Daten mit dem Kamerahauptkörper 1 aus. Die Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 872 tauscht über das Hochgeschwindigkeits-Drahtlos-Netzwerk Daten mit dem Kamerahauptteil 1 aus.
  • Der Gesichtssensor (eine Gesichtserfassungseinheit) 806 ist mit einer Infrarot-LED-Beleuchtungsschaltung 821 und Infrarot-LEDs 822, einer Infrarotkondensorlinse 826 und einer Infrarot-Erfassungseinrichtung 827 versehen.
  • Die Infrarot-LED-Beleuchtungsschaltung 821 weist eine Funktion ähnlich wie die der Infrarot-LED-Beleuchtungsschaltung 21 in 5 auf und steuert Erleuchten und Erlöschen der Infrarot-LEDs 822 zum Steuern der Projektion des Infrarotlichts 823, das von den Infrarot-LEDs 822 zu dem Benutzer gerichtet wird. Die Infrarotkondensorlinse 826 kondensiert das reflektierte Licht 825.
  • Die Infraroterfassungseinrichtung (eine Infraroterfassungseinheit) 827 weist einen Sensor auf, der das durch die Infrarotkondensorlinse 826 kondensierte reflektierte Licht 825 erfasst. Der Sensor wandelt das kondensierte reflektierte Licht 825 in Sensordaten um und leitet die Sensordaten zu der Anzeigevorrichtungssteuereinrichtung 801 weiter.
  • Wenn der in 1D gezeigte Gesichtssensor 806 auf den Benutzer gerichtet ist, wird eine Infrarotbestrahlungsfläche 824, bei der es sich um das gesamte Gesicht des Benutzers handelt, mit dem Infrarotlicht 823 bestrahlt, das von den Infrarot-LEDs 822, wie in 6 gezeigt projiziert wird. Das von der Infrarotbestrahlungsfläche 824 reflektierte Licht 825 wird ferner durch die Infrarotkondensorlinse 826 auf dem Sensor in der Infraroterfassungseinrichtung 827 kondensiert.
  • Weitere Funktionen 830 sind Funktionen eines Smartphones, wie eine Telefonfunktion, die sich nicht auf das Ausführungsbeispiel beziehen.
  • Nachstehend wird beschrieben, wie der Kamerahauptteil 1 und die Anzeigevorrichtung 800 zu verwenden sind. 7A zeigt ein Ablaufdiagramm, das schematisch einen durch den Kamerahauptteil 1 und die Anzeigevorrichtung 800 ausgeführten Bildaufnahme-/Aufzeichnungsprozess gemäß dem ersten Ausführungsbeispiel veranschaulicht.
  • Zur Unterstützung der Beschreibung ist auf der rechten Seite jedes Schritts in 7A ein Bezugszeichen (in 4 oder 5) einer Einheit gezeigt, die einen Prozess in dem jeweiligen Schritt ausführt. Das heißt, Schritte S100 bis S700 in 7A werden durch den Kamerahauptteil 1 ausgeführt, und Schritte S800 bis S1000 in 7A werden durch die Anzeigevorrichtung 800 ausgeführt.
  • Wenn der Ein-/Ausschalter 11 auf EIN eingestellt ist und die Stromzufuhr des Kamerahauptteils 1 einschaltet, wird die Gesamtsteuerungs-CPU 101 aktiviert und liest ein Boot-Programm aus dem internen nichtflüchtigen Speicher 102.
  • Danach führt die Gesamtsteuerungs-CPU 101 in Schritt S100 einen Vorbereitungsprozess aus, der eine Einstellung des Kamerahauptteils 1 vor einem Bildaufnahmebetrieb durchführt. Einzelheiten des Vorbereitungsprozesses werden später unter Verwendung von 7B beschrieben.
  • In Schritt S200 wird ein Gesichtsrichtungserfassungsprozess ausgeführt, der eine Beobachtungsrichtung beruhend auf einer durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung schätzt. Einzelheiten des Gesichtsrichtungserfassungsprozesses werden später unter Verwendung von 7C beschrieben. Dieser Prozess wird mit einer vorbestimmten Bildwechselfrequenz ausgeführt.
  • In Schritt S300 führt die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 einen Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess aus. Einzelheiten des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses werden später unter Verwendung von 7D beschrieben. In Schritt S400 nimmt die Bildaufnahmeeinheit 40 ein Bild auf und erzeugt Aufnahmebilddaten.
  • In Schritt S500 extrahiert die Bildextraktions-/Entwicklungseinheit 50 ein Bild aus den in Schritt S400 erzeugten Aufnahmebilddaten gemäß den in Schritt S300 bestimmten Aufzeichnungsrichtungs-/Bildwinkelinformationen und führt einen Aufzeichnungsbereichsentwicklungsprozess durch, der den extrahierten Bereich entwickelt. Einzelheiten des Aufzeichnungsbereichsentwicklungsprozesses werden später unter Verwendung von 7E beschrieben.
  • In Schritt S600 führt die Primäraufzeichnungseinheit (eine Bildaufzeichnungseinheit) 60 den Primäraufzeichnungsprozess aus, der das in Schritt S500 entwickelte Bild in dem Primärspeicher 103 als Bilddaten speichert. Einzelheiten des Primäraufzeichnungsprozesses werden später unter Verwendung von 14 beschrieben.
  • In Schritt S700 führt die Übertragungseinheit 700 einen Übertragungsprozess zu der Anzeigevorrichtung 800 aus, der das in Schritt S600 primär aufgezeichnete Bild mit einer festgelegten Zeitsteuerung zu der Anzeigevorrichtung 800 drahtlos überträgt. Einzelheiten des Transferprozesses zu der Anzeigevorrichtung 800 werden später unter Verwendung von 16 beschrieben.
  • Die Schritte ab Schritt S800 werden durch die Anzeigevorrichtung 800 ausgeführt. In Schritt S800 führt die Anzeigevorrichtungssteuereinrichtung 801 einen optischen Korrekturprozess aus, der optische Aberrationen des in Schritt S700 von dem Kamerahauptteil 1 übertragenen Bildes korrigiert. Einzelheiten des optischen Korrekturprozesses werden später unter Verwendung von 17 beschrieben.
  • In Schritt S900 wendet die Anzeigevorrichtungssteuerreinrichtung 801 einen Bildstabilisierungsprozess bei dem Bild an, dessen optische Aberrationen in Schritt S800 korrigiert wurden. Einzelheiten des Bildstabilisierungsprozesses werden später unter Verwendung von 19 beschrieben.
  • Es wird angemerkt, dass die Reihenfolge von Schritt S800 und Schritt S900 vertauscht werden kann. Das heißt, der Bildstabilisierungsprozess kann vor dem optischen Korrekturprozess ausgeführt werden.
  • Die Anzeigevorrichtungssteuereinrichtung (eine Videoaufzeichnungseinheit) 801 führt einen Sekundäraufzeichnungsprozess aus, der das Bild, bei dem der optische Korrekturprozess in Schritt S800 und der Bildstabilisierungsprozess in Schritt S900 angewendet wurden, in Schritt S1000 in dem nichtflüchtigen Speicher 814 hoher Kapazität aufzeichnet. Und dann beendet die Anzeigevorrichtungssteuereinrichtung 801 diesen Prozess.
  • Als nächstes werden die Prozesse (Unterroutinen) in den jeweiligen Schritten in 7A unter Verwendung von 7B bis 7F und anderen Figuren in der Reihenfolge der Prozesse näher beschrieben. 7B zeigt ein Ablaufdiagramm einer Unterroutine des Vorbereitungsprozesses in Schritt S100 in 7A. Nachstehend wird dieser Prozess unter Verwendung der in 2A bis 2F und 5 gezeigten Komponenten beschrieben.
  • In Schritt S101 wird bestimmt, ob der Ein-/Ausschalter 11 EIN ist. Der Prozess wartet, wenn der Schalter AUS ist. Wenn der Schalter eingeschaltet wird, geht der Prozess zu Schritt S102 über. In Schritt S102 wird der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus bestimmt. Wenn der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus als Ergebnis der Bestimmung der Videomodus ist, geht der Prozess zu Schritt S103 über.
  • In Schritt S103 werden verschiedene Einstellwerte des Videobildmodus aus dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess zu Schritt S104 über. Die verschiedenen Einstellwerte des Videobildmodus umfassen einen Bildwinkeleinstellwert Vang und eine Bildstabilisierungsstufe. Der Bildwinkeleinstellwert Vang ist bei diesem Ausführungsbeispiel auf 90° voreingestellt. Die Bildstabilisierungsstufe wird aus „stark“, „mittel“ und „AUS“ ausgewählt.
  • In Schritt S104 wird ein Betrieb der Bildaufnahmeansteuereinrichtung 41 für den Videobildmodus gestartet. Und dann verlässt der Prozess diese Unterroutine. Wenn als Ergebnis der Bestimmung in Schritt S102 der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus der Stehbildmodus ist, geht der Prozess zu Schritt S106 über.
  • In Schritt S106 werden verschiedene Einstellwerte des Stehbildmodus aus dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess zu Schritt S107. Die verschiedenen Einstellwerte des Stehbildmodus umfassen den Bildwinkeleinstellwert Vang und die Bildstabilisierungsstufe. Der Bildwinkeleinstellwert Vang ist bei diesem Ausführungsbeispiel auf 45° voreingestellt. Die Bildstabilisierungsstufe wird aus „stark“, „mittel“ und „AUS“ ausgewählt.
  • In Schritt S107 wird ein Betrieb der Bildaufnahmeansteuereinrichtung 41 für den Stehbildmodus gestartet. Und dann verlässt der Prozess diese Unterroutine.
  • Wenn der durch den Bildaufnahmemodusschalter 12 ausgewählte Modus als Ergebnis der Bestimmung in Schritt S102 der Voreinstellmodus ist, geht der Prozess zu Schritt S108. Der Voreinstellmodus ist einer der drei Bildaufnahmemodi, die durch den Bildaufnahmemodusschalter 12 umgeschaltet werden können. In dem Voreinstellmodus kann der Bildaufnahmemodus des Kamerahauptteils 1 durch eine externe Einrichtung, wie die Anzeigevorrichtung 800, geändert werden. Das heißt, der Voreinstellmodus ist für einen spezifischen Bildaufnahmebetrieb vorgesehen. Da der Kamerahauptteil 1 eine kompakte tragbare Einrichtung ist, sind an dem Kamerahauptteil 1 keine Bedienschalter, kein Einstellbildschirm, usw. zum Ändern erweiterter Einstellwerte angebracht. Die erweiterten Einstellwerte werden durch eine externe Einrichtung, wie die Anzeigevorrichtung 800 geändert.
  • Beispielsweise wird ein Fall betrachtet, in dem der Benutzer den Bildwinkel von 90° auf 110° ändern möchte, während er kontinuierlich ein Videobild aufnimmt. In diesem Fall sind die folgenden Bedienungen erforderlich. Da der Bildwinkel bei einem regulären Videobildmodus auf 90° eingestellt ist, führt der Benutzer den Videobildaufnahmebetrieb in dem regulären Videobildmodus durch, beendet den Videobildaufnahmebetrieb einmal, zeigt den Einstellbildschirm auf der Anzeigevorrichtung 800 an und ändert den Bildwinkel auf dem Einstellbildschirm in 110°. Allerdings sind die Bedienungen an der Anzeigevorrichtung 800 während eines gewissen Ereignisses mühsam.
  • Wenn der Voreinstellmodus unterdessen auf einen Videoaufnahmebetrieb bei dem Bildwinkel von 110° voreingestellt ist, kann der Benutzer den Bildwinkel in dem Videobildaufnahmebetrieb unmittelbar in 110° ändern, indem er lediglich den Bildaufnahmemodusschalter 12 nach Beenden des Videobildaufnahmebetriebs bei dem Bildwinkel von 90° auf „Pre“ schiebt. Das heißt, der Benutzer muss den laufenden Betrieb nicht aussetzen und muss nicht die vorstehend angeführten mühsamen Bedienungen durchführen.
  • Es wird angemerkt, dass Inhalte des Voreinstellmodus zusätzlich zu dem Bildwinkel die Bildstabilisierungsstufe („stark“, „mittel“ oder „AUS“) und einen Einstellwert einer Spracherkennung enthalten können, der in diesem Ausführungsbeispiel nicht beschrieben ist.
  • In Schritt S108 werden verschiedene Einstellwerte des Voreinstellmodus aus dem internen nichtflüchtigen Speicher 102 gelesen und in dem Primärspeicher 103 gespeichert. Dann geht der Prozess zu Schritt S109 über. Die verschiedenen Einstellwerte des Voreinstellmodus umfassen den Blickwinkeleinstellwert Vang und die Bildstabilisierungsstufe, die aus „stark“, „mittel“ und „AUS“ ausgewählt wird.
  • In Schritt S109 wird ein Betrieb der Bildaufnahmeansteuereinrichtung 41 für den Voreinstellmodus gestartet. Und dann verlässt der Prozess diese Unterroutine.
  • Nachstehend werden nun die in Schritt S103 gelesenen verschiedenen Einstellwerte des Videobildmodus unter Verwendung von 13 beschrieben. 13 zeigt eine Ansicht eines Menübildschirms zum Einstellen der verschiedenen Einstellwerte des Videobildmodus, die auf der Anzeigeeinheit 803 der Anzeigevorrichtung 800 vor einem Bildaufnahmebetrieb des Kamerahauptteils 1 angezeigt werden. Die Komponenten, die unter Verwendung von 1D beschrieben wurden, sind mit den gleichen Bezugszeichen angegeben und ihre Beschreibung wird nicht wiederholt. Die Anzeigeeinheit 803 weist eine Bildschirm-Tastfeldfunktion auf, und wird unter der Annahme beschrieben, dass sie über Berührbedienungen, wie eine Wischbedienung funktioniert.
  • Wie in 13 gezeigt, enthält der Menübildschirm einen Vorschaubildschirm 831, einen Zoomhebel 832, eine Aufzeichnungsstart-/Stopptaste 833, einen Schalter 834, einen Restbatterieindikator 835, eine Taste 836, einen Hebel 837 und einen Symbolanzeigebereich 838. Der Benutzer kann das durch den Kamerahauptteil 1 aufgenommene Bild, ein Zoomausmaß und einen Bildwinkel auf dem Vorschaubildschirm 831 überprüfen.
  • Der Benutzer kann eine Zoomeinstellung (einen Bildwinkel) durch Schieben des Zoomhebels 832 nach rechts oder links ändern. Bei diesem Ausführungsbeispiel wird ein Fall beschrieben, in dem der Bildwinkeleinstellwert Vang aus 45°, 90°, 110° und 130° ausgewählt werden kann. Unterdessen kann der Bildwinkeleinstellwert Vang durch Bedienen des Zoomhebels 832 auf einen anderen Wert als die vier Werte eingestellt werden.
  • Die Aufzeichnungsstart-/Stopptaste 833 ist ein Wechselschalter, der sowohl die Funktion des Startschalters 14 als auch die Funktion des Stoppschalters 15 umfasst. Der Schalter 834 wird zum „AUS“- und „EIN“-Schalten des Bildstabilisierungsprozesses verwendet. Der Restbatterieindikator 835 zeigt die Restbatterie des Kamerahauptteils 1 an. Die Taste 836 wird zum Ändern eines Modus verwendet.
  • Der Hebel 837 wird zum Einstellen der Bildstabilisierungsstufe verwendet. Obwohl die Bildstabilisierungsstufe bei diesem Ausführungsbeispiel auch auf „stark“ oder „mittel“ eingestellt werden kann, kann eine andere Bildstabilisierungsstufe, beispielsweise „schwach“ eingestellt werden. Ferner kann die Bildstabilisierungsstufe stufenlos eingestellt werden. Im Symbolanzeigebereich 838 wird eine Vielzahl von Miniatursymbolen für die Vorschau angezeigt.
  • 7C zeigt ein Ablaufdiagramm einer Unterroutine des Gesichtsrichtungserfassungsprozesses in Schritt S200 in 7A. Bevor die Einzelheiten dieses Prozesses beschrieben werden, wird ein Gesichtsrichtungserfassungsverfahren unter Verwendung von Infrarotlicht anhand von 8A bis 8K beschrieben.
  • 8A zeigt eine Ansicht des Sichtbares-Licht-Bildes eines Benutzergesichts, auf das von der Position des Gesichtsrichtungserfassungsfensters 13 aus geschaut wird. Das Bild in 8A ist äquivalent zu einem Bild, das durch einen Sichtbares-Licht-Bildsensor aufgenommen wird, unter der Annahme, dass das Gesichtsrichtungserfassungsfenster 13 eine Transmission von sichtbarem Licht ermöglicht, und dass der Sichtbares-Licht-Bildsensor in der Infraroterfassungseinrichtung 27 angebracht ist. Das Bild in 8A beinhaltet einen Halsvorderabschnitt 201 über Schlüsselbeine des Benutzers, eine Wurzel 202 eines Kiefers, ein Kinn 203 und ein Gesicht 204 mit einer Nase.
  • 8B zeigt eine Ansicht in einem Fall, in dem Leuchtstoffröhren in einem Raum als Hintergrund in dem in 8A gezeigten Sichtbares-Licht-Bild des Benutzers erscheinen. Die Leuchtstoffröhren 205 um den Benutzer erscheinen in dem Sichtbares-Licht-Bild in 8B. Da auf diese Weise verschiedene Hintergründe in einem Bild eines Benutzers gemäß einer Anwendungsbedingung erscheinen, wird es schwierig, dass die Gesichtsrichtungserfassungseinheit 20 oder die Gesamtsteuerungs-CPU 101 ein Gesichtsbild aus einem Sichtbares-Licht-Bild ausschneidet. Obwohl es mittlerweile eine Technik gibt, die ein derartiges Bild unter Verwendung einer KI, usw. ausschneidet, ist die Technik für den Kamerahauptteil 1 als tragbare Einrichtung nicht geeignet, da die Gesamtsteuerungs-CPU 101 eine hohe Leistungsfähigkeit haben muss.
  • Der Kamerahauptteil 1 des ersten Ausführungsbeispiels erfasst demnach ein Benutzergesicht unter Verwendung eines Infrarotbildes. Da das Gesichtsrichtungserfassungsfenster 13 durch ein Sichtbares-Licht-Sperrfilter gebildet ist, wird sichtbares Licht größtenteils nicht durchgelassen. Demnach ist ein durch die Infraroterfassungseinrichtung 27 erhaltenes Bild von den Bildern in 8A und 8B verschieden.
  • 8C zeigt eine Ansicht eines Infrarotbildes, das durch Abbilden des Benutzers und von in 8B gezeigten Leuchtstoffröhren als Hintergrund auf den Sensor der Infraroterfassungseinrichtung 27 über das Gesichtsrichtungserfassungsfenster 13 in einem Zustand erhalten wird, in dem die Infrarot-LEDs 22 nicht leuchten.
  • In dem Infrarotbild in 8C sind Hals und Kiefer des Benutzers dunkel. Da die Leuchtstoffröhren 205 unterdessen eine Infrarotkomponente zusätzlich zu dem sichtbaren Licht emittieren, sind sie etwas hell.
  • 8D zeigt eine Ansicht eines Bildes, das durch Abbilden des Benutzers und von in 8B gezeigten Leuchtstoffröhren als Hintergrund auf den Sensor der Infraroterfassungseinrichtung 27 über das Gesichtsrichtungserfassungsfenster 13 in einem Zustand erhalten wird, in dem die Infrarot-LEDs 22 leuchten.
  • In dem Bild in 8D sind Hals und Kiefer des Benutzers hell. Anders als in 8C ist die Helligkeit um die Leuchtstoffröhren 205 unterdessen unverändert. 8E zeigt eine Ansicht eines Differenzbildes, das durch Subtrahieren des Bildes in 8C von dem Bild in 8D berechnet wird. Es tritt das Gesicht des Benutzers hervor.
  • Auf diese Weise erhält die Gesamtsteuerungs-CPU (eine Bilderhalteeinheit) 101 das Differenzbild (das nachstehend auch als Gesichtsbild bezeichnet wird) durch Berechnen der Differenz zwischen dem Bild, das auf dem Sensor der Infraroterfassungseinrichtung 27 in dem Zustand erzeugt wird, in dem die Infrarot-LEDs 22 leuchten, und dem Bild, das auf dem Sensor in dem Zustand erzeugt wird, in dem die Infrarot-LEDs 22 nicht leuchten.
  • Die Gesichtsrichtungserfassungseinheit 20 dieses Ausführungsbeispiels wendet ein Verfahren an, das ein Gesichtsbild durch Extrahieren einer Infrarotreflektionsstärke als zweidimensionales Bild durch die Infraroterfassungseinrichtung 27 erhält. Der Sensor der Infraroterfassungseinrichtung 27 hat eine Konfiguration ähnlich einem üblichen Bildsensor und erhält ein Gesichtsbild rahmenweise. Ein vertikales Synchronisationssignal (das nachstehend als V-Signal bezeichnet wird), das eine Rahmensynchronisation erzielt, wird durch die Infraroterfassungseinrichtung 27 erzeugt und zu der Gesamtsteuerungs-CPU 101 ausgegeben.
  • 9 zeigt ein Zeitablaufdiagramm von Zeitspannen des Leuchtens und Erlöschens der Infrarot-LEDs 22 und verwandter Signale. In 9 sind von oben nach unten ein aus der Infraroterfassungseinrichtung 27 ausgegebenes V-Signal, eine H-Position des aus dem Sensor der Infraroterfassungseinrichtung 27 ausgegebenen Bildsignals, ein von der Gesamtsteuerungs-CPU 101 zu der Infrarot-LED-Beleuchtungsschaltung 21 ausgegebenes IR-ON-Signal und von dem Sensor der Infraroterfassungseinrichtung 27 zu der Gesamtsteuerungs-CPU 101 ausgegebene Aufnahmebilddaten gezeigt. Die horizontalen Zeitachsen dieser vier Signale sind identisch.
  • Wenn das V-Signal auf hohen Pegel geht, werden Zeitspannen der Rahmensynchronisation und Zeitspannen des Leuchtens und Erlöschens der Infrarot-LEDs 22 erhalten. 9 zeigt einen ersten Gesichtsbilderhaltezeitabschnitt t1 und einen zweiten Gesichtsbilderhaltezeitabschnitt t2.
  • Die Infraroterfassungseinrichtung 27 steuert den Betrieb des Sensors derart, dass die H-Position des Bildsignals synchron zu dem V-Signal wird, wie es in 9 gezeigt ist. Da der Sensor der Infraroterfassungseinrichtung 27 wie vorstehend angeführt eine Konfiguration ähnlich einem üblichen Bildsensor hat und sein Betrieb bekannt ist, wird auf eine ausführliche Beschreibung des Steuerverfahrens verzichtet.
  • Die Gesamtsteuerungs-CPU 101 steuert ein Umschalten des Signals IR-ON zwischen hohem Pegel und niedrigem Pegel synchron mit dem V-Signal. Die Gesamtsteuerungs-CPU 101 gibt insbesondere das Signal IR-ON auf niedrigem Pegel während des Zeitabschnitts t1 zu der Infrarot-LED-Beleuchtungsschaltung 21 aus, und gibt das Signal IR-ON auf hohem Pegel während des zweiten Zeitabschnitts t2 zu der Infrarot-LED-Beleuchtungsschaltung 21 aus.
  • Die Infrarot-LED-Beleuchtungsschaltung 21 schaltet die Infrarot-LEDs 22 zum Projizieren des Infrarotlichts 23 zu dem Benutzer während des Hoch-Zeitabschnitts des Signals IR-ON ein. Unterdessen schaltet die Infrarot-LED-Beleuchtungsschaltung 21 die Infrarot-LEDs 22 während des Niedrig-Zeitabschnitts des Signals IR-On aus.
  • Eine vertikale Achse der Aufnahmebilddaten gibt eine Signalstärke an, bei der es sich um eine Lichtaufnahmemenge des reflektierten Lichts 25 handelt. Da die Infrarot-LEDs 22 während des ersten Zeitabschnitts t1 nicht leuchten, kommt von dem Gesicht des Benutzers kein reflektiertes Licht, und Aufnahmebilddaten wie in 8C gezeigt werden erhalten. Da die Infrarot-LEDs 22 während des zweiten Zeitabschnitts t2 unterdessen leuchten, kommt das reflektierte Licht 25 von dem Gesicht des Benutzers, und Aufnahmebilddaten wie in 8D gezeigt werden erhalten. Demnach erhöht sich die Signalstärke in dem Zeitabschnitt t2 von der Signalstärke in dem Zeitabschnitt t1 um das reflektierte Licht 25 von dem Gesicht des Benutzers.
  • Ein unten in 9 angegebenes Gesichtsbild wird durch Subtrahieren der Bildaufnahmedaten während des ersten Zeitabschnitts t1 von den Bildaufnahmedaten während des zweiten Zeitabschnitts t2 erhalten. Als Ergebnis der Subtraktion werden Gesichtsbilddaten erhalten, in denen lediglich die Komponente des reflektierten Lichts 25 aus dem Benutzergesicht extrahiert ist.
  • 7C zeigt den Gesichtsrichtungserfassungsprozess in Schritt S200, der die unter Verwendung von 8C bis 8E und 9 beschriebenen Operationen enthält.
  • In Schritt S201 wird ein Zeitpunkt V1 erhalten, zu dem der erste Zeitabschnitt t1 startet, wenn das aus der Infraroterfassungseinrichtung 27 ausgegebene V-Signal auf hohen Pegel geht. Wenn der Zeitpunkt V1 erhalten wird, geht der Prozess zu Schritt S202 über. In Schritt S202 wird das Signal IR-ON auf niedrigen Pegel gesetzt und zu der Infrarot-LED Beleuchtungsschaltung 21 ausgegeben. Dadurch leuchten die Infrarot-LEDs 22 nicht.
  • In Schritt S203 wird ein Einzelbild bzw. Rahmen von aus der Infraroterfassungseinrichtung 27 während des ersten Zeitabschnitts t1 ausgegebenen Aufnahmebilddaten gelesen. Die Bilddaten werden vorübergehend in dem Primärspeicher 103 als Rahmen1 gespeichert.
  • In Schritt S204 wird ein Zeitpunkt V2 erhalten, zu dem der zweite Zeitabschnitt t2 startet, wenn das aus der Infraroterfassungseinrichtung 27 ausgegebene V-Signal auf hohen Pegel geht. Wenn der Zeitpunkt V1 erhalten wird, geht der Prozess zu Schritt S205 über.
  • In Schritt S205 wird das Signal IR-ON auf hohen Pegel gesetzt und zu der Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. So werden die Infrarot-LEDs 22 eingeschaltet.
  • In Schritt S206 wird ein Einzelbild bzw. ein Rahmen von aus der Infraroterfassungseinrichtung 27 während des zweiten Zeitabschnitts t2 ausgegebenen Aufnahmebilddaten gelesen. Die Bilddaten werden vorübergehend in dem Primärspeicher 103 als Rahmen2 gespeichert.
  • In Schritt S207 wird das Signal IR-ON auf niedrigen Pegel gesetzt und zu der Infrarot-LED-Beleuchtungsschaltung 21 ausgegeben. So leuchten die Infrarot-LEDs 22 nicht.
  • In Schritt S208 werden Rahmen1 und Rahmen2 aus dem Primärspeicher 103 gelesen, und eine Lichtstärke Fn des reflektierten Lichts 25 von dem Benutzer, die dem in 9 gezeigten Gesichtsbild entspricht, wird durch Subtrahieren des Rahmens1 von dem Rahmen2 berechnet. Dieser Prozess wird allgemein Schwarz-Subtraktion genannt.
  • In Schritt S209 wird aus der Lichtstärke Fn eine Kehlposition (ein Kopfrotationszentrum) extrahiert. Zuerst teilt die Gesamtsteuerungs-CPU (eine Teilungseinheit) 101 das Gesicht in eine Vielzahl von Entfernungsbereichen, die unter Verwendung von 8F beschrieben werden, beruhend auf der Lichtstärke Fn ein.
  • 8F zeigt eine Darstellung eines Ergebnisses, das durch Anpassen von Schattierungen des in 8E gezeigten Differenzbildes zum Einpassen in eine Skala einer Lichtstärke des reflektierten Lichts 25 des Infrarotlichts 23 erhalten wird, das zu Gesicht und Hals des Benutzers projiziert wird. 8F zeigt eine Lichtstärkeverteilung über Abschnitten des Gesichts und Halses des Benutzers.
  • Das Gesichtsbild auf der linken Seite in 8F zeigt die Lichtstärkeverteilung des reflektierten Lichts 25 in dem in 8E gezeigten Gesichtsbild durch Graustufen, die bei den jeweiligen unterteilten Bereichen angewendet sind. Eine Achse Xf ist in einer Richtung von dem Mittenabschnitt des Benutzerhalses zu dem Kinn hinzugefügt. In einem Graph auf der rechten Seite in 8F zeigt eine horizontale Achse die Lichtstärke auf der Achse Xf des Gesichtsbildes, und eine vertikale Achse zeigt die Achse Xf. Die durch die horizontale Achse gezeigte Lichtstärke erhöht sich nach rechts. Das Gesichtsbild in 8F ist in sechs Bereiche (Entfernungsbereiche) 211 bis 216 gemäß der Lichtstärke eingeteilt.
  • Der Bereich 211 ist ein Bereich, in dem die Lichtstärke am stärksten ist, und ist durch Weiß unter den Graustufen gezeigt. Der Bereich 212 ist ein Bereich, in dem die Lichtstärke etwas von dem Bereich 211 abfällt, und ist durch ziemlich helles Grau unter den Graustufen gezeigt. Der Bereich 213 ist ein Bereich, in dem die Lichtstärke noch mehr gegenüber dem Bereich 212 abfällt, und ist durch helles Grau unter den Graustufen gezeigt.
  • Der Bereich 214 ist ein Bereich, in dem die Lichtstärke gegenüber dem Bereich 213 noch mehr abfällt, und ist durch mittleres Grau unter den Graustufen gezeigt. Der Bereich 215 ist ein Bereich, in dem die Lichtstärke gegenüber dem Bereich 214 noch mehr abfällt, und ist durch etwas dunkles Grau unter den Graustufen gezeigt.
  • Der Bereich 216 ist ein Bereich, in dem die Lichtstärke am schwächsten ist, und ist durch das dunkelste Grau unter den Graustufen gezeigt. Der Bereich über dem Bereich 216 ist durch Schwarz dargestellt, das keine Lichtstärke zeigt.
  • Die Lichtstärke wird unter Verwendung von 10A bis 10D näher beschrieben. 10A bis 10D zeigen Darstellungen zum Beschreiben einer Bewegung des Benutzergesichts in vertikaler Richtung und zeigen Zustände, die von der linken Seite des Benutzers aus beobachtet werden.
  • 10A zeigt eine Darstellung eines Zustandes, in dem der Benutzer nach vorne schaut. Die Bildaufnahme-/Erfassungseinheit 10 befindet sich vor den Schlüsselbeinen des Benutzers. Ferner bestrahlt das Infrarotlicht 23 der Infrarot-LEDs 22 den unteren Teil des Benutzerkopfs von dem Gesichtsrichtungserfassungsfenster 13, das in dem oberen Abschnitt der Bildaufnahme-/Erfassungseinheit 10 angebracht ist. Eine Entfernung Dn von dem Gesichtsrichtungserfassungsfenster 13 zur Kehle 200 über den Schlüsselbeinen des Benutzers, eine Entfernung Db von dem Gesichtsrichtungserfassungsfenster 13 zu der Wurzel 202 des Kiefers und eine Entfernung Dc von dem Gesichtsrichtungserfassungsfenster 13 zum Kinn 203 erfüllen eine Beziehung Dn < Db < Dc. Da die Lichtstärke ein umgekehrtes Verhältnis zu dem Quadrat der Entfernung hat, wird die Lichtstärke in dem Bild, das durch das reflektierte Licht 25 auf dem Sensor der Infrarotbestrahlungsfläche 24 erzeugt wird, in der Reihenfolge der Kehle 200, der Wurzel 202 des Kiefers und des Kinns 203 allmählich schwächer. Da ferner die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zum Gesicht 204 mit der Nase immer noch größer als die Entfernung Dc ist, wird die Lichtstärke in dem dem Gesicht 204 entsprechenden Bild noch schwächer. Das heißt, in dem in 10A gezeigten Fall wird das Bild mit der in 8F gezeigten Lichtstärkeverteilung erhalten.
  • Es wird angemerkt, dass die Konfiguration der Gesichtsrichtungserfassungseinheit 20 nicht auf die in diesem Ausführungsbeispiel gezeigte Konfiguration beschränkt ist, solange die Gesichtsrichtung des Benutzers erfasst werden kann. Beispielsweise kann ein Infrarotmuster von den Infrarot-LEDs (einer Infrarotmusterbestrahlungseinheit) 22 projiziert werden, und der Sensor (eine Infrarotmustererfassungseinheit) der Infraroterfassungseinrichtung 27 kann das von einem Bestrahlungsziel reflektierte Infrarotmuster erfassen. In diesem Fall ist der Sensor der Infraroterfassungseinrichtung 27 vorzugsweise durch einen strukturellen optischen Sensor gebildet. Ferner kann der Sensor der Infraroterfassungseinrichtung 27 ein Sensor (eine Infrarotphasenvergleichseinheit) sein, der die Phase des Infrarotlichts 23 und die Phase des reflektierten Lichts 25 vergleicht. Beispielsweise kann ein ToF-Sensor angewendet werden.
  • Als nächstes wird die Extraktion der Zielposition in Schritt S209 in 7C unter Verwendung von 8G beschrieben. Ein linkes Bild in 8G wird durch Überlagern der in 10A gezeigten Bezugszeichen erhalten, die die Abschnitte des Benutzerkörpers bezeichnen, sodass ein Doppelkreis die Kehlposition und ein schwarzer Kreis die Kinnposition in 8F zeigen.
  • Der weiße Bereich 211 entspricht der Kehle 200 (10A), der ziemlich helle graue Bereich 212 entspricht dem Halsvorderabschnitt 201 (10A), und der hellgraue Bereich 213 entspricht der Wurzel 202 des Kiefers (10A). Ferner entspricht der mittelgraue Bereich 214 dem Kinn 203 (10A) und der etwas dunkle graue Bereich 215 entspricht einer Lippe, die sich in dem unteren Teil des Gesichts 204 befindet (10A), und einem unteren Gesichtsabschnitt um die Lippe. Ferner entspricht der dunkelste graue Bereich 216 der Nase, die sich in der Mitte des Gesichts 204 befindet (10A), und einem oberen Gesichtsabschnitt um die Nase.
  • Da die Differenz zwischen den Entfernungen Db und Dc verglichen mit den Differenzen zwischen den anderen Entfernungen von dem Gesichtsrichtungserfassungsfenster 13 zu anderen Abschnitten des Benutzers wie in 10A gezeigt relativ klein ist, ist auch die Differenz zwischen den reflektierten Lichtstärken in dem hellgrauen Bereich 213 und dem mittelgrauen Bereich 214 auch klein.
  • Da unterdessen die Entfernung Dn die kürzeste Entfernung unter den Entfernungen von dem Gesichtsrichtungserfassungsfenster 13 zu den Abschnitten des Benutzers wie in 10A gezeigt ist, wird die Reflektionslichtstärke in dem weißen Bereich 211, der der Kehle 200 entspricht, die stärkste.
  • Demnach bestimmt die Gesamtsteuerungs-CPU (eine Einstelleinheit) 101, dass der Bereich 211 der Kehle 200 und ihrer Peripherie entspricht, und stellt dann die Position 206 (die in 8G durch den Doppelkreis angegeben ist), die sich in Querrichtung in der Mitte befindet und der Bildaufnahme-/Erfassungseinheit 10 am nächsten liegt, als die Position des Kopfrotationszentrums bzw. Kopfdrehpunkts (die nachstehend als Kehlposition 206 bezeichnet wird) ein. Die Prozesse bis zu diesem Moment sind die in Schritt S209 in 7C durchgeführten Inhalte.
  • Als nächstes wird die Extraktion der Kinnposition in Schritt S210 in 7C unter Verwendung von 8G beschrieben. In dem Bild in 8G enthält der mittelgraue Bereich 214, der heller als der Bereich 215 ist, der dem unteren Gesichtsabschnitt entspricht, der die Lippe des Gesichts 204 enthält, das Kinn. Ein Graph auf der rechten Seite in 8G zeigt, dass die Lichtstärke in dem Bereich 215 stark abfällt, der an den Bereich 214 angrenzt, da die Änderungsrate der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 groß wird. Die Gesamtsteuerungs-CPU 101 bestimmt, dass der hellere Bereich 214, der an den Bereich 215 angrenzt, in dem die Lichtstärke stark abfällt, ein Kinnbereich ist. Die Gesamtsteuerungs-CPU 101 berechnet (extrahiert) ferner die Position (die durch den in 8G gezeigten schwarzen Kreis angegeben ist), die sich in Querrichtung in der Mitte in dem Bereich 214 befindet und die am weitesten weg von der Kehlposition 204 ist, als Kinnposition 207.
  • 8H und 8I zeigen beispielsweise Änderungen beim Drehen des Gesichts nach rechts. 8H zeigt eine Ansicht eines Differenzbildes, das durch das gleiche Verfahren wie in 8E beim Drehen des Benutzergesichts nach rechts berechnet wird. 8I zeigt eine Ansicht eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes in 8H zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten des zu dem Gesicht und dem Hals des Benutzers projizierten Infrarotlichts und Überlagern des Doppelkreises, der die Kehlposition 206 als Position des Kopfdrehpunkts zeigt, und des schwarzen Kreises erhalten wird, der die Kinnposition 207r zeigt.
  • Da das Benutzergesicht nach rechts gerichtet ist, bewegt sich der Bereich 214 zu einem in 8I gezeigten Bereich 214r, der sich auf der linken Seite befindet, wenn von der Bildaufnahme-/Erfassungseinheit 10 nach oben gesehen wird. Auch der Bereich 215, der dem unteren Gesichtsabschnitt entspricht, der die Lippe im Gesicht 204 enthält, bewegt sich zu einem Bereich 215r, der sich auf der linken Seite befindet, wenn von der Bildaufnahme-/Erfassungseinheit 10 nach oben geschaut wird.
  • Dementsprechend bestimmt die Gesamtsteuerungs-CPU 101, dass der hellere Bereich 214r, der an den Bereich 215r angrenzt, in dem die Lichtstärke scharf abfällt, der Kinnbereich ist. Des Weiteren berechnet (extrahiert) die Gesamtsteuerungs-CPU 101 die Position (die durch den in 8I gezeigten schwarzen Kreis angegeben ist), die sich in Querrichtung im Bereich 214r in der Mitte befindet und die von der Kehlposition 204 am weitesten weg ist, als Kinnposition 207r.
  • Danach findet die Gesamtsteuerungs-CPU 101 einen Bewegungswinkel θr, der die Rotationsbewegung von der Kinnposition 207 in dem Bild in 8G nach rechts in die Kinnposition 207r in 8I um die Kehlposition 206 zeigt. Wie in 8I gezeigt, ist der Bewegungswinkel θr ein Winkel einer Bewegung des Gesichts des Benutzers in Querrichtung.
  • Der Winkel des Gesichts (der nachstehend als Gesichtswinkel bezeichnet wird) des Benutzers in Querrichtung wird in Schritt S210 anhand der Kinnposition berechnet, die durch die Infraroterfassungseinrichtung 27 der Gesichtsrichtungserfassungseinheit (eines dreidimensionalen Erfassungssensors) 20 erfasst wird.
  • Als nächstes wird die Erfassung des nach oben gerichteten Gesichts beschrieben. 10B zeigt eine Ansicht eines Zustands, in dem der Benutzer das Gesicht horizontal ausrichtet. 10C zeigt eine Ansicht eines Zustands, in dem der Benutzer das Gesicht um 33° aus der horizontalen Richtung nach oben richtet.
  • Die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zum Kinn 203 beträgt in 10B Ffh, und die Entfernung von dem Gesichtsrichtungserfassungsfenster 13 zum Kinn 203u in 10C beträgt Ffu. Da sich das Kinn 203u zusammen mit dem Gesicht nach oben bewegt, wird die Entfernung Ffu größer als die Entfernung Ffh, wie es in 10C gezeigt ist.
  • 8J zeigt eine Ansicht eines Bildes des Benutzers, der das Gesicht aus der horizontalen Richtung um 33° nach oben richtet, betrachtet von dem Gesichtsrichtungserfassungsfenster 13 aus. Da der Benutzer das Gesicht wie in 10C gezeigt nach oben richtet, kann das Gesicht 204, das Lippe und Nase enthält, von dem Gesichtsrichtungserfassungsfenster 13 aus nicht gesehen werden, das sich unter dem Kiefer des Benutzers befindet. Das Kinn 203 und seine Halsseite werden gesehen. 8K zeigt eine Verteilung der Lichtstärke des reflektierten Lichts 25 beim Bestrahlen des Benutzers in dem in 10C gezeigten Zustand mit dem Infrarotlicht 23. Ein Bild auf der linken Seite in 8K ist eine Ansicht eines Ergebnisses, das durch Anpassen von Schattierungen des Differenzbildes, das durch das gleiche Verfahren wie in 8E erhalten wird, zum Einpassen in eine Skala von Lichtstärken reflektierter Komponenten des zu Gesicht und Hals des Benutzers projizierten Infrarotlichts und durch Überlagern des die Kehlposition 206 zeigenden Doppelkreises und des die Kinnposition 207u zeigenden schwarzen Kreises erhalten wird. Zwei Graphen in 8K zeigen Schwärzungsänderungen des linken Bildes. Der linke Graph ist äquivalent zu dem Graph in 8F, und der rechte Graph ist äquivalent zu dem Graph in 8G.
  • Sechs Bereiche 211u, 212u, 213u, 214u, 215u und 216u, die gemäß den Lichtstärken in 8K eingeteilt sind, sind durch Hinzufügen von „u“ zu den in 8F gezeigten Bezugszeichen mit denselben Lichtstärkebereichen angegeben. Obwohl die Lichtstärke des Benutzerkinns 203 in dem mittelgrauen Bereich 214 in 8F enthalten ist, verschiebt sie sich zu der schwarzen Seite und ist in dem etwas dunklen grauen Bereich 215u in 8K enthalten. Da so die Entfernung Ffu größer als die Entfernung Ffh wie in 10C gezeigt ist, kann die Infraroterfassungseinrichtung 27 erfassen, dass die Lichtstärke des reflektierten Lichts 25 vom Kinn 203 umgekehrt proportional zum Quadrat der Entfernung schwächer wird.
  • Als nächstes wird die Erfassung des nach unten gerichteten Gesichts beschrieben. 10D zeigt eine Ansicht eines Zustands, in dem der Benutzer das Gesicht aus der horizontalen Richtung um 22° nach unten richtet. In 10D beträgt eine Entfernung vom Gesichtsrichtungserfassungsfenster 13 zum Kinn 203d Ffd.
  • Da sich das Kinn 203u zusammen mit dem Gesicht nach unten bewegt, wird die Entfernung Ffd kürzer als die Entfernung Ffh, wie in 10D gezeigt, und die Lichtstärke des reflektierten Lichts 25 am Kinn 203 wird stärker.
  • Gemäß 7C berechnet die Gesamtsteuerungs-CPU (eine Entfernungsberechnungseinheit) 101 in Schritt S211 die Entfernung von der Kinnposition zu dem Gesichtsrichtungserfassungsfenster 13 beruhend auf der Lichtstärke der Kinnposition, die durch die Infraroterfassungseinrichtung 27 der Gesichtsrichtungserfassungseinheit (eines dreidimensionalen Erfassungssensors) 20 erfasst wird. Darauf beruhend wird auch ein Gesichtswinkel in vertikaler Richtung berechnet.
  • In Schritt S212 speichert die Gesamtsteuerungs-CPU 101 den Gesichtswinkel θh in Querrichtung (einer ersten Erfassungsrichtung), der in Schritt S210 erhalten wird, und den Gesichtswinkel θv in vertikaler Richtung (einer zweiten Erfassungsrichtung), der in Schritt S211 erhalten wird, im Primärspeicher 103 als dreidimensionale Beobachtungsrichtung vi („i“ ist ein beliebiges Bezugszeichen) des Benutzers. Wenn der Benutzer beispielsweise die Mitte vorne betrachtet, ist der Gesichtswinkel θh in Querrichtung 0° und der Gesichtswinkel θv in vertikaler Richtung ist 0°. Demnach wird die Beobachtungsrichtung vo in diesem Fall durch Vektorinformationen (0°, 0°) dargestellt. Wenn der Benutzer ferner in einer 45°-Rechtsrichtung beobachtet, wird die Beobachtungsrichtung vr durch Vektorinformationen (45°, 0°) dargestellt.
  • Obwohl der Gesichtswinkel in vertikaler Richtung in Schritt S211 durch Erfassen der Entfernung von dem Gesichtsrichtungserfassungsfenster 13 berechnet wird, kann der Gesichtswinkel durch ein anderes Verfahren berechnet werden. Beispielsweise kann eine Änderung des Gesichtswinkels durch Vergleichen von Änderungsgraden der Lichtstärke des Kinns 203 berechnet werden. Das heißt, die Änderung des Gesichtswinkels kann durch Vergleichen eines Gradienten CDh der reflektierten Lichtstärke von der Wurzel 202 des Kiefers zum Kinn 203 in dem Graph in 8G mit einem Gradienten CDu der reflektierten Lichtstärke von der Wurzel 202 des Kiefers zum Kinn 203 im Graph in 8K berechnet werden.
  • 7D zeigt ein Ablaufdiagramm einer Unterroutine des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A. Vor der Beschreibung von Einzelheiten dieses Prozesses wird zuerst ein Superweitwinkelbild unter Verwendung von 11A beschrieben, das einer Bestimmung einer Aufzeichnungsrichtung und eines Aufzeichnungsbereichs bei diesem Ausführungsbeispiel unterzogen wird.
  • Im Kamerahauptteil 1 dieses Ausführungsbeispiels nimmt die Bildaufnahmeeinheit 40 ein Superweitwinkelbild der Umgebung der Bildaufnahme-/Erfassungseinheit 10 unter Verwendung des Superweitwinkelbildaufnahmeobjektivs 16 auf. Durch Extrahieren eines Teils des Superweitwinkelbildes kann ein Bild einer Beobachtungsrichtung erhalten werden.
  • 11A zeigt eine Darstellung eines Zielblickfeldes 125, das in einem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild in einem Fall eingestellt ist, in dem der Benutzer nach vorne schaut. Wie in 11A gezeigt, ist ein Bildelementbereich 121, der durch den Festkörperbildsensor 42 aufgenommen werden kann, ein rechtwinkliger Bereich. Ferner ist ein effektiver Projektionsbereich (ein vorbestimmter Bereich) 122 ein Bereich eines kreisförmigen Halbhimmelsphärenbildes, das ein durch das Bildaufnahmeobjektiv 16 auf den Festkörperbildsensor 42 projiziertes Fish-Eye-Bild ist. Das Bildaufnahmeobjektiv 16 ist derart angepasst, dass die Mitte des Bildelementbereichs 121 mit der Mitte des effektiven Projektionsbereichs 122 zusammenfällt.
  • Die äußerste Peripherie des kreisförmigen effektiven Projektionsbereichs 122 zeigt eine Position, an der ein Bildfeldwinkel 180° beträgt. Wenn der Benutzer sowohl in vertikaler als auch in horizontaler Richtung in die Mitte schaut, wird ein Winkelbereich des Zielblickfeldes 125, das aufgenommen und aufgezeichnet wird, 90° (die Hälfte des Bildfeldwinkels), zentriert an der Mitte des effektiven Projektionsbereichs 122. Es wird angemerkt, dass das Bildaufnahmeobjektiv 16 dieses Ausführungsbeispiels auch Licht außerhalb des effektiven Projektionsbereichs 122 einsetzen kann und Licht innerhalb des maximalen Bildfeldwinkels (um 192°) zu dem Festkörperbildsensor 42 zum Erzeugen eines Fish-Eye-Bildes projizieren kann. Allerdings fällt die optische Leistung in dem Bereich außerhalb des effektiven Projektionsbereichs 122 stark ab. Beispielsweise sinkt die Auflösung extrem, die Lichtmenge sinkt und die Verzerrung nimmt zu. Demnach wird bei diesem Ausführungsbeispiel ein Bild einer Beobachtungsrichtung als Aufzeichnungsbereich lediglich von dem Inneren des Bildes (das nachstehend einfach als Superweitwinkelbild bezeichnet wird) extrahiert, das auf den Bildelementbereich 121 in einem Halbhimmelssphärenbild projiziert wird, das auf dem effektiven Projektionsbereich 122 angezeigt wird.
  • Da die Größe des effektiven Projektionsbereichs 122 in vertikaler Richtung größer ist als die Größe der kurzen Seite des Bildelementbereichs 121, befinden sich das obere und untere Ende des Bildes in dem effektiven Projektionsbereich 122 bei diesem Ausführungsbeispiel außerhalb des Bildelementbereichs 121. Allerdings ist die Beziehung zwischen den Bereichen nicht darauf beschränkt. Das optische System kann beispielsweise derart entworfen sein, dass der gesamte effektive Projektionsbereich 122 in dem Bildelementbereich 121 enthalten ist, indem die Konfiguration des Bildaufnahmeobjektivs 16 verändert wird.
  • Ungültige Bildelementbereiche 123 sind Teile des Bildelementbereichs 121, die in dem effektiven Projektionsbereich 122 nicht enthalten sind. Das Zielblickfeld 125 zeigt einen Bereich eines Bildes einer Benutzerbeobachtungsrichtung, der aus dem Superweitwinkelbild extrahiert werden wird. In dem in 11A gezeigten Beispiel ist das Zielblickfeld 125 durch einen linken, rechten, oberen und unteren Bildwinkel bestimmt, die jeweils auf der Beobachtungsrichtung zentriert 45° betragen (der Blickfeldwinkel beträgt 90°). Da der Benutzer in dem Beispiel von 11A nach vorne schaut, passt die Mitte des Zielblickfeldes 125 (die Beobachtungsrichtung vo) mit der Mitte des effektiven Projektionsbereichs 122 zusammen.
  • Das in 11 gezeigte Superweitwinkelbild enthält ein A-Objekt 131, bei dem es sich um ein Kind handelt, ein B-Objekt 132, das Stufen zeigt, die das Kind (A-Objekt) zu erklimmen versucht, und ein C-Objekt 133, bei dem es sich um eine lokomotivenähnliche Spielplatzausstattung handelt.
  • Als nächstes werden Einzelheiten des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A beschrieben. 7D zeigt den Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess, der zum Extrahieren eines Bildes einer Beobachtungsrichtung aus dem unter Verwendung von 11A beschriebenen Superweitwinkelbild ausgeführt wird. Dieser Prozess wird nachstehend unter Verwendung von 12A bis 12G beschrieben, die konkrete Beispiele des Zielblickfeldes 125 zeigen.
  • In Schritt S301 wird ein Bildwinkeleinstellwert Vang, der vorab eingestellt wird, durch Lesen aus dem Primärspeicher 103 erhalten. Bei diesem Ausführungsbeispiel speichert der interne nichtflüchtige Speicher 102 alle verfügbaren Bildwinkel (45°, 90°, 110° und 130°) als Bildwinkeleinstellwerte Vang. Die Bildextraktions-/Entwicklungseinheit 50 extrahiert ein Bild einer Beobachtungsrichtung in einem durch den Bildwinkeleinstellwert Vang definierten Bereich aus dem Superweitwinkelbild. Ferner wird der Bildwinkeleinstellwert Vang, der in den verschiedenen Einstellwerten enthalten ist, die in einem der Schritte S103, S106 und S108 in 7B aus dem internen nichtflüchtigen Speicher 102 gelesen werden, etabliert und in dem Primärspeicher 103 gespeichert.
  • In Schritt S301 wird ferner die in Schritt S212 bestimmte Beobachtungsrichtung vi als die Aufzeichnungsrichtung bestimmt, ein Bild in dem Zielblickfeld 125, dessen Mitte durch die Beobachtungsrichtung vi festgelegt ist, und von dem ein Bereich durch den erhaltenen Bildwinkeleinstellwert Vang definiert wird, aus dem Superweitwinkelbild extrahiert, und das extrahierte Bild wird in dem Primärspeicher 103 gespeichert.
  • Wenn der Bildwinkeleinstellwert Vang beispielsweise 90° beträgt und die Beobachtungsrichtung vo (Vektorinformationen (0°, 0°)) über den Gesichtsrichtungserfassungsprozess (7C) erfasst wird, wird das Zielblickfeld 125 etabliert, dessen Mitte mit der Mitte O des effektiven Projektionsbereichs 122 übereinstimmt und dessen Winkelweiten in der horizontalen und der vertikalen Richtung 90° betragen (11A). 11B zeigt eine Ansicht des Bildes in dem Zielblickfeld 125, das aus dem Superweitwinkelbild in 11A extrahiert wird. Das heißt, die Gesamtsteuerungs-CPU (eine Relativpositionseinstelleinheit) 101 stellt den Winkel der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung auf die Beobachtungsrichtung vi ein, bei der es sich um die Vektorinformationen handelt, die die relative Position des Zielblickfeldes 125 bezüglich des Superweitwinkelbildes zeigen.
  • Da der Einfluss der durch das Bildaufnahmeobjektiv 16 verursachten optischen Verzerrung überwiegend vernachlässigt werden kann, ist die Form des etablierten Zielblickfeldes 125 im Fall der Beobachtungsrichtung vo beinahe identisch mit der Form eines Zielblickfeldes 1250 (12A) nach Umwandlung der Verzerrung in einem nachstehend beschriebenen Schritt S303. Nachstehend wird ein Zielblickfeld nach Anwenden der Verzerrungsumwandlung im Fall der Beobachtungsrichtung vi Zielblickfeld 125i genannt.
  • In Schritt S302 wird eine Bildstabilisierungsstufe, die vorab eingestellt wird, durch Lesen aus dem Primärspeicher 103 erhalten. Bei diesem Ausführungsbeispiel wird die Bildstabilisierungsstufe, die in den verschiedenen Einstellwerten enthalten ist, die in einem der Schritte S103, S106 und S108 in 7B aus dem internen nichtflüchtigen Speicher 102 gelesen werden, etabliert und im Primärspeicher 103 gespeichert.
  • In Schritt S302 wird ferner eine Bildstabilisierungsrandbildelementzahl Pis beruhend auf der erhaltenen Bildstabilisierungsstufe eingestellt. Bei dem Bildstabilisierungsprozess wird ein Bild, das in einer Richtung entgegengesetzt zu einer Unschärferichtung folgt, gemäß einem Unschärfeausmaß der Bildaufnahme-/Erfassungseinheit 10 erhalten. Demnach wird bei diesem Ausführungsbeispiel ein für die Bildstabilisierung erforderlicher Bildstabilisierungsrand um das Zielblickfeld 125i errichtet.
  • Bei diesem Ausführungsbeispiel ist ferner eine Tabelle im internen nichtflüchtigen Speicher 102 gespeichert, die Werte der Bildstabilisierungsrandbildelementzahl Pis in Verbindung mit jeweiligen Bildstabilisierungsstufen hält. Wenn die Bildstabilisierungsstufe beispielsweise „Mittel“ ist, wird aus der vorstehend angeführten Tabelle „100 Bildelemente“ gelesen, bei denen es sich um die der Stufe „Mittel“ entsprechende Bildstabilisierungsrandbildelementzahl Pis handelt. Und dann wird um das Zielblickfeld ein Bildstabilisierungsrand errichtet, dessen Breite 100 Bildelemente beträgt.
  • 12E zeigt eine Darstellung eines Beispiels, das einen einer vorbestimmten Bildstabilisierungsstufe entsprechenden Bildstabilisierungsrand um das in 12A gezeigte Zielblickfeld 125o vorsieht. In der folgenden Beschreibung wird angenommen, dass die Bildstabilisierungsstufe „Mittel“ ist (das heißt, die Bildstabilisierungsrandbildelementzahl Pis „100 Bildelemente“ beträgt).
  • Wie durch die gestrichelte Linie in 12E gezeigt, wird um das Zielblickfeld 125o ein Bildstabilisierungsrand 126o errichtet, dessen Breite „100 Bildelemente“ beträgt, bei denen es sich um die Bildstabilisierungsrandbildelementzahl Pis handelt.
  • 12A und 12E zeigen zur Vereinfachung der Beschreibung den Fall, in dem die Beobachtungsrichtung vi mit der Mitte O (der Mitte der optischen Achse des Bildaufnahmeobjektivs 16) des effektiven Projektionsbereichs 122 übereinstimmt. Wenn die Beobachtungsrichtung vi unterdessen zu einer Peripherie des effektiven Projektionsbereichs 122 gerichtet ist, ist eine Umwandlung erforderlich, um den Einfluss der optischen Verzerrung zu verringern.
  • In Schritt S303 wird die Form des in Schritt S301 errichteten Zielblickfeldes 125 unter Berücksichtigung der Beobachtungsrichtung vi und der optischen Eigenschaften des Bildaufnahmeobjektivs 16 korrigiert, um die Verzerrung umzuwandeln und das Zielblickfeld 125i zu erzeugen. Gleichermaßen wird auch die in Schritt S302 eingestellte Bildstabilisierungsrandbildelementzahl Pis unter Berücksichtigung der Beobachtungsrichtung vi und der optischen Eigenschaften des Bildaufnahmeobjektivs 16 korrigiert.
  • Die Benutzerbeobachtungsrichtung sei beispielsweise eine um 45° aus der Mitte o Rechts-Richtung, und der Bildwinkeleinstellwert Vang sei 90°. In diesem Fall wird die Beobachtungsrichtung vr (Vektorinformationen (45°, 0°)) in Schritt S212 bestimmt, und das Zielblickfeld 125 wird als Bereich von 45° jeweils in den Richtungen links, rechts, oben und unten zentriert an der Beobachtungsrichtung vr errichtet. Ferner wird das Zielblickfeld 125 unter Berücksichtigung der optischen Eigenschaften des Bildaufnahmeobjektivs 16 in das in 12B gezeigte Zielblickfeld 125r korrigiert.
  • Wie in 12B gezeigt, wird das Zielblickfeld 125r in Richtung der Peripherie des effektiven Projektionsbereichs 122 weiter. Und die Position der Beobachtungsrichtung vr nähert sich im Inneren ein wenig von der Mitte des Zielblickfeldes 125r. Der Grund dafür ist, dass der optische Entwurf des Bildaufnahmeobjektivs 16 bei diesem Ausführungsbeispiel dem einer Stereographie-Projektions-Fish-Eye-Linse ähnlich ist. Es wird angemerkt, dass die Inhalte der Korrektur vom optischen Entwurf des Bildaufnahmeobjektivs 16 abhängen. Wenn das Bildaufnahmeobjektiv 16 als äquidistantes Projektions-Fish-Eye-Objektiv, Gleicher-Raumwinkel-Projektions-Fish-Eye-Objektiv oder Orthogonal-Projektions-Fish-Eye-Objektiv entworfen ist, wird das Zielblickfeld 125 gemäß der optischen Eigenschaften dieser korrigiert.
  • 12F zeigt eine Darstellung eines Beispiels, das einen der gleichen Bildstabilisierungsstufe „Mittel“ des Bildstabilisierungsrands in 12E entsprechenden Bildstabilisierungsrand 126r um das in 12B gezeigte Zielblickfeld 125r bereitstellt. Der Bildstabilisierungsrand 1260 (12E) wird an der linken, rechten, oberen und unteren Seite des Zielblickfeldes 125o mit der festen Breite von 100 Bildelementen errichtet, die die der Stufe „Mittel“ entsprechende Bildstabilisierungsrandbildelementzahl Pis darstellen. Verglichen damit wird die Bildstabilisierungsrandbildelementzahl Pis des Bildstabilisierungsrands 126r (12F) korrigiert, so dass sie sich zu der Peripherie des effektiven Projektionsbereichs 122 erhöht.
  • Auf diese Weise wird wie für das Zielblickfeld 125r auch die Form des für die Bildstabilisierung erforderlichen Bildstabilisierungsrands um das Zielblickfeld 125r korrigiert, so dass sich das Korrekturausmaß zu der Peripherie des effektiven Projektionsbereichs 122 erhöht, wie es durch den Bildstabilisierungsrand 126r in 12F gezeigt ist. Der Grund hierfür ist auch, dass der optische Entwurf des Bildaufnahmeobjektivs 16 bei diesem Ausführungsbeispiel ähnlich dem eines Stereographie-Projektions-Fish-Eye-Objektivs ist. Es wird angemerkt, dass die Inhalte der Korrektur von dem optischen Entwurf des Bildaufnahmeobjektivs 16 abhängen. Wenn das Bildaufnahmeobjektiv 16 als äquidistantes Projektions-Fish-Eye-Objektiv, Gleicher-Raumwinkel-Projektions-Fish-Eye-Objektiv oder Orthogonal-Projektions-Fish-Eye-Objektiv entworfen ist, wird der Bildstabilisierungsrand 126r gemäß dessen optischen Eigenschaften korrigiert.
  • Der in Schritt S303 ausgeführte Prozess, der die Formen des Zielblickfeldes 125 und seines Bildstabilisierungsrands unter Berücksichtigung der optischen Eigenschaften des Bildaufnahmeobjektivs 16 sukzessive umschaltet, ist ein komplizierter Prozess. Dementsprechend wird der Prozess in Schritt S303 bei diesem Ausführungsbeispiel unter Verwendung einer Tabelle ausgeführt, die Formen des Zielblickfeldes 125i und seines Bildstabilisierungsrands für jede Beobachtungsrichtung vi im internen nichtflüchtigen Speicher 102 gespeichert hält. Es wird angemerkt, dass die Gesamtsteuerungs-CPU 101 eine Rechengleichung aufweisen kann, die vom optischen Entwurf des Bildaufnahmeobjektivs 16 abhängt. In diesem Fall kann die Gesamtsteuerungs-CPU 101 einen optischen Verzerrungswert unter Verwendung der Rechengleichung berechnen.
  • In Schritt S304 werden eine Position und eine Größe eines Bildaufzeichnungsrahmens berechnet. Wie vorstehend beschrieben, wird der für die Bildstabilisierung erforderliche Bildstabilisierungsrand 126i um das Zielblickfeld 125i errichtet. Wenn aber die Position der Beobachtungsrichtung vi nahe der Peripherie des effektiven Projektionsbereichs 122 liegt, wird die Form des Bildstabilisierungsrands merklich speziell, wie es beispielsweise durch den Bildstabilisierungsrand 126r gezeigt ist.
  • Die Gesamtsteuerungs-CPU 101 kann ein Bild in einem derartigen speziell geformten Bereich extrahieren und den Entwicklungsprozess bei dem extrahierten Bild anwenden. Allerdings ist die Verwendung eines Bildes, das nicht rechteckig ist, beim Aufzeichnen als Bilddaten in Schritt S600 oder Übertragen von Bilddaten zu der Anzeigevorrichtung 800 in Schritt S700 nicht üblich. Dementsprechend werden in Schritt S304 die Position und Größe des Bildaufzeichnungsrahmens 127i einer rechtwinkligen Form berechnet, die den gesamten Bildstabilisierungsrand 126i enthält.
  • 12F zeigt den Bildaufzeichnungsrahmen 127r, der in Schritt S304 zu dem Bildstabilisierungsrand 126r berechnet wird, durch eine Linie mit abwechselnden langen und kurzen Strichen. In Schritt S305 werden die Position und Größe des Bildaufzeichnungsrahmens 127i, die in Schritt S304 berechnet werden, im Primärspeicher 103 aufgezeichnet.
  • Bei diesem Ausführungsbeispiel wird eine links oben Koordinate (Xi, Yi) des Bildaufzeichnungsrahmens 127i in dem Superweitwinkelbild als die Position des Bildaufzeichnungsrahmens 127i aufgezeichnet, und eine laterale Breite WXi und eine vertikale Breite WYi, die von der Koordinate (Xi, Yi) aus beginnen, werden als die Größe des Bildaufzeichnungsrahmens 127ii aufgezeichnet. Beispielsweise werden in Schritt S305 eine Koordinate (Xr, Yr), eine laterale Breite WXr und eine vertikale Breite WYr des in 12F gezeigten Bildaufzeichnungsrahmens 127r aufgezeichnet. Es wird angemerkt, dass die Koordinate (Xi, Yi) eine XY-Koordinate ist, deren Ursprung ein vorbestimmter Referenzpunkt, insbesondere die optische Mitte des Bildaufnahmeobjektivs 16 ist.
  • Wenn der Bildstabilisierungsrand 126i und der Bildaufzeichnungsrahmen 127i auf diese Weise bestimmt wurden, verlässt der Prozess diese in 7D gezeigte Unterroutine.
  • Bisher wurden die Beobachtungsrichtungen, deren horizontaler Winkel 0° beträgt, wie die Beobachtungsrichtung v0 (die Vektorinformationen (0°, 0°)) und die Beobachtungsrichtung vr (die Vektorinformationen (45°, 0°)) beschrieben, um die Beschreibung der komplizierten optischen Verzerrungsumwandlung zu vereinfachen. Unterdessen ist eine tatsächliche Beobachtungsrichtung vi des Benutzers beliebig. Dementsprechend wird nachstehend der Aufzeichnungsbereichsentwicklungsprozess beschrieben, der ausgeführt wird, wenn der horizontale Winkel nicht 0° beträgt.
  • Wenn der Bildwinkeleinstellwert Vang beispielsweise 90° und die Beobachtungsrichtung vm (-42°, -40°) betragen, erscheint ein Zielblickfeld 125m wie in 12C gezeigt. Wenn der Bildwinkeleinstellwert Vang ferner 45° und die Beobachtungsrichtung vm (-42°, -40°) betragen, erscheint ein Zielblickfeld 128m wie in 12D gezeigt, welches kleiner als das Zielblickfeld 125m ist. Ferner werden um das Zielblickfeld 128m wie in 12G gezeigt ein Bildstabilisierungsrand 129m und ein Bildaufzeichnungsrahmen 130m etabliert.
  • Da der Prozess in Schritt S400 ein grundlegender Bildaufnahmebetrieb ist und eine allgemeine Sequenz der Bildaufnahmeeinheit 40 anwendet, wird auf seine Beschreibung verzichtet. Es wird angemerkt, dass die Bildsignalverarbeitungsschaltung 43 in der Bildaufnahmeeinheit 40 bei diesem Ausführungsbeispiel auch einen Prozess durchführt, der Signale einer inhärenten Ausgabeform (Standardbeispiele: MIPI, SLVS), die aus dem Festkörperbildsensor 42 ausgegeben werden, in Aufnahmebilddaten eines allgemeinen Sensorlesesystems umwandelt.
  • Wenn der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt wird, startet die Bildaufnahmeeinheit 40 im Ansprechen auf ein Drücken des Startschalters 14 eine Aufzeichnung. Danach wird die Aufzeichnung beendet, wenn der Stoppschalter 15 gedrückt wird. Wenn unterdessen der Stehbildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt wird, nimmt die Bildaufnahmeeinheit 40 jedes Mal dann ein statisches Bild auf, wenn der Startschalter 14 gedrückt wird.
  • 7E zeigt ein Ablaufdiagramm einer Unterroutine des Aufzeichnungsbereichsentwicklungsprozesses in Schritt S500 in 7A. In Schritt S501 werden Raw-Daten des gesamten Bereichs der Aufnahmebilddaten (Superweitwinkelbild), die durch die Bildaufnahmeeinheit 40 in Schritt S400 erzeugt werden, erhalten und in eine Haupteinheit genannte Bilderfassungseinheit (nicht gezeigt) der Gesamtsteuerungs-CPU 101 eingegeben.
  • Im nächsten Schritt S502 wird der Abschnitt in dem Bildaufzeichnungsrahmen 127i aus dem in Schritt S501 erhaltenen Superweitwinkelbild beruhend auf der Koordinate (Xi, Yi), lateralen Breite WXi und vertikalen Breite WYi extrahiert, die in Schritt S305 in dem Primärspeicher 103 aufgezeichnet werden. Nach der Extraktion wird ein Zuschnittsentwicklungsprozess (7F) aus Schritten S503 bis S508 nur bei den Bildelementen in dem Bildstabilisierungsrand 126i ausgeführt. Dies kann einen Berechnungsumfang verglichen mit einem Fall signifikant verringern, in dem der Entwicklungsprozess bei dem gesamten Bereich des in Schritt S501 gelesenen Superweitwinkelbildes ausgeführt wird. Demnach können Berechnungszeit und elektrischer Energieverbrauch verringert werden.
  • Wie in 7F gezeigt, werden die Prozesse der Schritte S200 und S300 und der Prozess von Schritt S400 parallel mit derselben Bildwechselfrequenz oder verschiedenen Bildwechselfrequenzen ausgeführt, wenn der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt ist. Immer wenn die Raw-Daten des gesamten Bereichs eines durch die Bildaufnahmeeinheit 40 erzeugten Rahmens erhalten werden, wird der Zuschnittsentwicklungsprozess beruhend auf der Koordinate (Xi, Yi), lateralen Breite WXi und vertikalen Breite WYi ausgeführt, die an diesem Punkt im Primärspeicher 103 aufgezeichnet sind.
  • Wenn der Zuschnittsentwicklungsprozess bei den Bildelementen im Bildstabilisierungsrand 126i gestartet wird, wird in Schritt S503 eine Farbinterpolation ausgeführt, die Daten von Farbbildelementen interpoliert, die nach der Bayer-Anordnung angeordnet sind.
  • Danach wird in Schritt S504 ein Weißabgleich angepasst, und in Schritt S505 wird eine Farbumwandlung ausgeführt. In Schritt S506 wird eine Gammakorrektur durchgeführt, die eine Abstufung gemäß einem vorab eingestellten Gammakorrekturwert korrigiert. In Schritt S507 wird entsprechend einer Bildgröße eine Kantenhervorhebung durchgeführt.
  • In Schritt S508 werden die Bilddaten in ein Format konvertiert, das primär gespeichert werden kann, indem Prozesse wie eine Komprimierung angewendet werden. Die konvertierten Bilddaten werden im Primärspeicher 103 gespeichert. Danach verlässt der Prozess die Unterroutine. Einzelheiten des Datenformats, das primär gespeichert werden kann, werden später beschrieben.
  • Die Reihenfolge der Prozesse der Schritte S503 bis S508, die während des Zuschnittsentwicklungsprozesses ausgeführt werden, kann gemäß den Eigenschaften des Kamerasystems geändert werden. Ein Teil der Prozesse kann weggelassen werden. Die Reihenfolge und das Vorhandensein der Prozesse der Schritte S503 bis S508 schränken die vorliegende Erfindung nicht ein.
  • Wenn der Videobildmodus ausgewählt ist, werden die Prozesse der Schritte S200 bis S500 ferner wiederholt ausgeführt, bis die Aufzeichnung beendet ist.
  • Gemäß diesem Prozess wird der Berechnungsaufwand verglichen mit einem Fall signifikant verringert, in dem der Entwicklungsprozess bei dem gesamten in Schritt S501 gelesenen Bereich ausgeführt wird. Dementsprechend kann ein kostengünstiger Mikrocomputer mit geringem Energieverbrauch als Gesamtsteuerungs-CPU 101 angewendet werden. Ferner ist die Wärmeerzeugung in der Gesamtsteuerungs-CPU 101 verringert, und die Lebensdauer der Batterie 94 verlängert sich.
  • Um eine Steuerungslast der Gesamtsteuerungs-CPU 101 zu verringern, werden der optische Korrekturprozess (Schritt S800 in 7A) und der Bildstabilisierungsprozess (Schritt S900 in 7A) bei dem Bild bei diesem Ausführungsbeispiel ferner nicht durch den Kamerahauptteil 1 ausgeführt. Diese Prozesse werden durch die Anzeigevorrichtungssteuereinrichtung 801 nach Übertragung des Bildes zu der Anzeigevorrichtung 800 ausgeführt. Wenn lediglich Daten eines Teilbildes, das aus einem projizierten Superweitwinkelbild extrahiert wird, zu der Anzeigevorrichtung 800 übertragen werden, können demnach weder der optische Korrekturprozess noch der Bildstabilisierungsprozess ausgeführt werden. Das heißt, da die Daten des extrahierten Bildes keine Positionsinformationen enthalten, die in eine Formel des optischen Korrekturprozesses eingesetzt werden und die zum Bezugnehmen auf die Korrekturtabelle des Bildstabilisierungsprozesses verwendet werden, kann die Anzeigevorrichtung 800 diese Prozesse nicht korrekt ausführen. Dementsprechend überträgt der Kamerahauptteil 1 bei diesem Ausführungsbeispiel Korrekturdaten, die Informationen über eine Extraktionsposition eines Bildes aus einem Superweitwinkelbild enthalten, zusammen mit Daten des extrahierten Bildes zu der Anzeigevorrichtung 800.
  • Wenn das extrahierte Bild ein Stehbild ist, kann die Anzeigevorrichtung 800 den optischen Korrekturprozess und den Bildstabilisierungsprozess korrekt ausführen, da die Stehbilddaten den Korrekturdaten eins zu eins entsprechen, selbst wenn diese Daten separat zu der Anzeigevorrichtung 800 übertragen werden. Wenn das extrahierte Bild unterdessen ein Videobild ist, wird es schwierig, wenn die Videobilddaten und die Korrekturdaten separat zu der Anzeigevorrichtung 800 übertragen werden, eine Entsprechung zwischen jedem Rahmen der Videobilddaten und den Korrekturdaten zu bestimmen. Insbesondere wenn eine Taktrate der Gesamtsteuerungs-CPU 101 in dem Kamerahauptteil 1 von einer Taktrate der Anzeigevorrichtungssteuereinrichtung 801 in der Anzeigevorrichtung 800 etwas verschieden ist, geht die Synchronisation zwischen der Gesamtsteuerungs-CPU 101 und der Anzeigevorrichtungssteuereinrichtung 801 während des Videobildaufnahmebetriebs für mehrere Minuten verloren. Dies kann einen Fehler derart verursachen, dass die Anzeigevorrichtungssteuereinrichtung 801 einen Rahmen mit Korrekturdaten korrigiert, die von den entsprechenden Korrekturdaten verschieden sind.
  • Dementsprechend stellt der Kamerahauptteil 1 bei diesem Ausführungsbeispiel beim Übertragen von Daten eines extrahierten Videobildes zu der Anzeigevorrichtung 800 seine Korrekturdaten für die Daten des Videobildes geeignet bereit. Nachstehend wird das Verfahren beschrieben.
  • 14 zeigt ein Ablaufdiagramm der Unterroutine des Primäraufzeichnungsprozesses in Schritt S600 in 7a. Dieser Prozess wird nachstehend auch unter Bezugnahme auf 15 beschrieben. 14 zeigt den Prozess eines Falls, in dem der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt ist. Wenn der Stehbildmodus ausgewählt ist, beginnt dieser Prozess von Schritt S601 an und wird nach einem Prozess eines Schritts S606 beendet.
  • In Schritt S601a liest die Gesamtsteuerungs-CPU 101 ein Bild eines Rahmens, bei dem die Prozesse in den Schritten S601 bis S606 nicht angewendet wurden, aus dem im Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelten Videobild. Die Gesamtsteuerungs-CPU (eine Metadatenerzeugungseinheit) 101 erzeugt ferner Korrekturdaten, die Metadaten des gelesenen Rahmens sind.
  • In Schritt S601 fügt die Gesamtsteuerungs-CPU 101 die Informationen über die Extraktionsposition des in Schritt S601a gelesenen Bildes des Rahmens zu den Korrekturdaten hinzu. Die in diesem Schritt angefügten Informationen stellen die in Schritt S305 erhaltene Koordinate (Xi, Yi) des Bildaufzeichnungsrahmens 127i dar. Es wird angemerkt, dass die in diesem Schritt angefügten Informationen die Vektorinformationen sein können, die die Beobachtungsrichtung vi zeigen.
  • In Schritt S602 erhält die Gesamtsteuerungs-CPU (eine Optischer-Korrekturwert-Erhalteeinheit) 101 einen optischen Korrekturwert. Der optische Korrekturwert ist der in Schritt S303 eingestellte optische Verzerrungswert. Alternativ kann der optische Korrekturwert ein Marginallichtmengenkorrekturwert oder ein Beugungskorrekturwert sein, der den optischen Eigenschaften des Objektivs entspricht.
  • In Schritt S603 fügt die Gesamtsteuerungs-CPU 101 den für die Verzerrungsumwandlung in Schritt S602 verwendeten optischen Korrekturwert zu den Korrekturdaten hinzu.
  • In Schritt S604 bestimmt die Gesamtsteuerungs-CPU 101, ob der Bildstabilisierungsmodus in Kraft ist. Wenn der Bildstabilisierungsmodus „Mittel“ oder „Stark“ ist, wird insbesondere bestimmt, dass der Bildstabilisierungsmodus in Kraft ist, und der Prozess schreitet zu Schritt S605 voran. Wenn der vorab eingestellte Bildstabilisierungsmodus unterdessen „AUS“ ist, wird bestimmt, dass der Bildstabilisierungsmodus nicht in Kraft ist, und der Prozess geht zu Schritt S606 über. Der Grund, warum Schritt S605 übersprungen wird, wenn der Bildstabilisierungsmodus „AUS“ ist, besteht darin, dass die Berechnungsdatenmenge der Gesamtsteuerungs-CPU 101 und die Datenmenge der Drahtloskommunikation reduziert sind und der Energieverbrauch und die Wärmeerzeugung des Kamerahauptteils 1 reduziert werden können, indem Schritt S605 übersprungen wird. Obwohl die Verringerung der für den Bildstabilisierungsprozess verwendeten Daten beschrieben ist, können die Daten hinsichtlich des Marginallichtmengenkorrekturwerts oder die Daten hinsichtlich des Beugungskorrekturwerts verringert werden, der in Schritt S602 als optischer Korrekturwert erhalten wird.
  • Obwohl der Bildstabilisierungsmodus bei diesem Ausführungsbeispiel durch die Benutzerbedienung an der Anzeigevorrichtung 800 vorab eingestellt wird, wird der Modus als Vorgabeeinstellung des Kamerahauptteils 1 eingestellt. Wenn das Kamerasystem ferner zum Umschalten der Wirksamkeit des Bildstabilisierungsprozesses nach Übertragung von Bilddaten zu der Anzeigevorrichtung 800 konfiguriert ist, kann der Prozess von Schritt S603 direkt zu Schritt S605 übergehen, indem Schritt S604 weggelassen wird.
  • In Schritt S605 fügt die Gesamtsteuerungs-CPU (eine Bewegungsausmaßerfassungseinheit) 101 den Bildstabilisierungsmodus, der in Schritt S302 erhalten wird, und die Kreiseldaten zu den Korrekturdaten hinzu, die während des Aufnahmebetriebs des Videobildes in Verbindung mit dem Rahmen erhalten werden, der in Schritt S601a aus dem Primärspeicher 813 gelesen wird.
  • In Schritt S606 aktualisiert die Gesamtsteuerungs-CPU 101 eine Videodatei 1000 (15) mit Daten, die durch Kodieren der Bilddaten und Korrekturdaten erhalten werden. Die Bilddaten entsprechen dem in Schritt S606 gelesenen Rahmen. Die Korrekturdaten enthalten die verschiedenen in den Schritten S601 bis S605 hinzugefügten Daten. Es wird angemerkt, dass beim Lesen eines ersten Rahmens des Videobildes in Schritt S601a die Videodatei 1000 in Schritt S606 erzeugt wird.
  • In Schritt S607 bestimmt die Gesamtsteuerungs-CPU 101, ob alle Rahmen des durch den Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelten Videobildes gelesen wurden. Wurden nicht alle Rahmen gelesen, kehrt der Prozess zu Schritt S601a zurück. Wenn unterdessen alle Rahmen gelesen wurden, verlässt der Prozess diese Unterroutine. Die erzeugte Videodatei 1000 wird im internen nichtflüchtigen Speicher 102 gespeichert. Das Videobild kann zusätzlich zum Primärspeicher 813 und internen nichtflüchtigen Speicher 102 auch im nichtflüchtigen Speicher 51 großer Kapazität gespeichert werden. Ferner wird der Übertragungsprozess (Schritt S700 in 7A) ausgeführt, der die erzeugte Bilddatei 1000 unmittelbar zu der Anzeigevorrichtung 800 überträgt. Die Bilddatei 1000 kann nach ihrer Übertragung zur Anzeigevorrichtung 800 im Primärspeicher 813 gespeichert werden.
  • Bei diesem Ausführungsbeispiel kombiniert die Kodiereinrichtung die Bilddaten und die Korrekturdaten in einer Datei. Zu diesem Zeitpunkt können die Bilddaten komprimiert sein, oder die Datendatei, die eine Kombination aus den Bilddaten und Korrekturdaten darstellt, kann komprimiert sein.
  • 15 zeigt eine Darstellung einer Datenstruktur der Videodatei 1000. Die Videodatei 1000 umfasst einen Headerteil 1001 und einen Rahmenteil 1002. Der Rahmenteil 1002 umfasst Rahmendatensätze, die jeweils ein Bild jedes Rahmens und entsprechende Rahmenmetadaten umfassen. Das heißt, der Rahmenteil 1002 enthält Rahmendatensätze der Anzahl der gesamten Rahmen des Videobildes.
  • Bei diesem Ausführungsbeispiel sind Rahmenmetadaten Informationen, die durch Kodieren von Korrekturdaten erhalten werden, an die bei Bedarf eine Extraktionsposition (In-Bild-Positionsinformationen), ein optischer Korrekturwert und Kreiseldaten hinzugefügt sind. Die Rahmenmetadaten sind allerdings nicht darauf beschränkt. Eine Informationsmenge der Rahmenmetadaten kann verändert werden. Beispielsweise können andere Informationen gemäß dem durch den Bildaufnahmemodusschalter 12 ausgewählten Bildaufnahmemodus zu den Rahmenmetadaten hinzugefügt werden. Alternativ kann ein Teil der Informationen in den Rahmenmetadaten gelöscht werden.
  • In dem Headerteil 1001 sind eine Kopfadresse und Offsetwerte zu den jeweiligen Rahmendatensätzen des Rahmens aufgezeichnet. Alternativ können in dem Headerteil 1001 Metadaten, wie die Zeit und Größe, gespeichert sein, die der Videodatei 1000 entsprechen.
  • In dem Primäraufzeichnungsprozess (14) wird die Videodatei 1000 zu der Anzeigevorrichtung 800 übertragen. Die Videodatei 1000 enthält Datensätze, die jeweils einen Rahmen des Videobildes, der durch den Aufzeichnungsbereichsentwicklungsprozess (7E) entwickelt ist, und dessen Metadaten umfassen. Selbst wenn die Taktrate der Gesamtsteuerungs-CPU 101 in dem Kamerahauptteil 1 von der Taktrate der Anzeigevorrichtungssteuereinrichtung 801 in der Anzeigevorrichtung 800 ein wenig verschieden ist, wendet die Anzeigevorrichtungssteuereinrichtung 801 daher sicher den Korrekturprozess bei dem im Kamerahauptteil 1 entwickelten Videobild an.
  • Obwohl bei diesem Ausführungsbeispiel der optische Korrekturwert in den Rahmenmetadaten enthalten ist, kann der optische Korrekturwert für das gesamte Bild vorgesehen werden.
  • 16 zeigt ein Ablaufdiagramm der Unterroutine des Übertragungsprozesses zu der Anzeigevorrichtung 800 in Schritt S700 in 7A. 16 zeigt den Prozess für einen Fall, in dem der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt ist. Es wird angemerkt, dass bei Auswahl des Stehbildmodus dieser Prozess ab einem Prozess in Schritt S702 gestartet wird.
  • In Schritt S701 wird bestimmt, ob der Bildaufnahmeprozess (der Schritt S400) des Videobildes durch die Bildaufnahmeeinheit 40 beendet ist oder der Aufzeichnung unterliegt. Wenn das Videobild aufgezeichnet wird (während des Videobildaufnahmebetriebs), werden der Aufzeichnungsbereichsentwicklungsprozess (der Schritt S500) für jeden Rahmen und die Aktualisierung der Bilddatei 1000 (der Schritt S606) in dem Primäraufzeichnungsprozess (Schritt S600) sequentiell ausgeführt. Da der Energieaufwand einer Drahtlosübertragung groß ist, muss die Batterie 94 eine hohe Batteriekapazität aufweisen, oder eine neue Maßnahme gegen eine Wärmeerzeugung ist erforderlich, wenn die Drahtlosübertragung während des Videobildaufnahmebetriebs parallel durchgeführt wird. Falls die Drahtlosübertragung während des Videobildaufnahmebetriebs parallel durchgeführt wird, wird ferner vom Gesichtspunkt der Arithmetikkapazität ein arithmetischer Aufwand groß, was die Bereitstellung einer hochspezifischen CPU als Gesamtsteuerungs-CPU 101 erfordert, wodurch sich die Kosten erhöhen. In Anbetracht dieser Punkte geht die Gesamtsteuerungs-CPU 101 bei diesem Ausführungsbeispiel nach Beenden des Videobildaufnahmebetriebs mit dem Prozess zu Schritt S702 über (JA in Schritt S701) und errichtet die Drahtlosverbindung mit der Anzeigevorrichtung 800. Wenn das Kamerasystem des Ausführungsbeispiels unterdessen einen Spielraum in der von der Batterie 94 zugeführten elektrischen Leistung aufweist und eine neue Maßnahme gegen eine Wärmeerzeugung nicht erforderlich ist, kann die Gesamtsteuerungs-CPU 101 die Drahtlosverbindung mit der Anzeigevorrichtung 800 zuvor errichten, wenn der Kamerahauptteil 1 gestartet wird, oder wenn der Videobildaufnahmebetrieb noch nicht gestartet wurde.
  • In Schritt S702 errichtet die Gesamtsteuerungs-CPU 101 die Verbindung mit der Anzeigevorrichtung 800 über die Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 72, um die Videodatei 1000, die ein großes Datenvolumen aufweist, zu der Anzeigevorrichtung 800 zu übertragen. Es wird angemerkt, dass die Geringleistungs-Drahtlos-Kommunikationseinheit 71 zur Übertragung eines Bildes geringer Auflösung zum Überprüfen eines Bildwinkels zu der Anzeigevorrichtung 800 und zum Austauschen verschiedener Einstellwerte mit der Anzeigevorrichtung 800 verwendet wird. Unterdessen wird die Geringleistungs-Drahtlos-Kommunikationseinheit 71 nicht zum Übertragen der Videodatei 1000 verwendet, da ein Übertragungszeitabschnitt lang wird.
  • In Schritt S703 überträgt die Gesamtsteuerungs-CPU 101 die Videodatei 1000 über die Hochgeschwindigkeits-Drahtlos-Kommunikationseinheit 72 zu der Anzeigevorrichtung 800. Wenn die Übertragung beendet ist, geht die Gesamtsteuerungs-CPU 101 mit dem Prozess zu Schritt S704 über. In Schritt S704 beendet die Gesamtsteuerungs-CPU 101 die Verbindung mit der Anzeigevorrichtung 800 und verlässt diese Unterroutine.
  • Bisher wurde der Fall beschrieben, in dem eine Bilddatei das Bild aller Rahmen eines Videobildes enthält. Wenn der Aufzeichnungszeitabschnitt des Videobildes länger als mehrere Minuten ist, kann das Videobild unterdessen mittels einer Zeiteinheit in eine Vielzahl von Bilddateien unterteilt werden. Wenn die Videodatei die in 15 gezeigte Datenstruktur aufweist, wird die Anzeigevorrichtung 800 selbst dann, wenn ein Videobild als eine Vielzahl von Bilddateien zu der Anzeigevorrichtung 800 übertragen wird, zum Korrigieren des Videobildes mit den Korrekturdaten ohne die Zeitlücke verfügbar.
  • 17 zeigt ein Ablaufdiagramm einer Unterroutine des optischen Korrekturprozesses in Schritt S800 in 7A. Nachstehend wird dieser Prozess auch unter Bezugnahme auf 18A bis 18E beschrieben. Wie vorstehend beschrieben, wird dieser Prozess durch die Anzeigevorrichtungssteuereinrichtung 801 der Anzeigevorrichtung 800 ausgeführt.
  • In Schritt S801 empfängt die Anzeigevorrichtungssteuereinrichtung (eine Videodateiempfangseinheit) 801 zuerst die Videodatei 1000 von dem Kamerahauptteil 1, die in dem Übertragungsprozess (Schritt S700) zu der Anzeigevorrichtung 800 übertragen wird. Danach erhält die Anzeigevorrichtungssteuereinrichtung (eine erste Extraktionseinheit) 801 die aus der empfangenen Videodatei 1000 extrahierten optischen Korrekturwerte.
  • Im nächsten Schritt S802 erhält die Anzeigevorrichtungssteuereinrichtung (eine zweite Extraktionseinheit) 801 ein Bild (ein Bild eines Rahmens, der durch den Videobildaufnahmebetrieb erhalten wird) aus der Videodatei 1000.
  • In Schritt S803 führt die Anzeigevorrichtungssteuereinrichtung (eine Rahmenbildkorrektureinheit) 801 den optischen Korrekturprozess zum Korrigieren optischer Aberrationen des in Schritt S802 erhaltenen Bildes mit dem in Schritt S801 erhaltenen optischen Korrekturwert durch und speichert das korrigierte Bild im Primärspeicher 813. Ein Bildbereich (Extraktionsentwicklungsbereich), der enger als der in Schritt S303 bestimmte Entwicklungsbereich (Zielblickfeld 125i) ist, wird aus dem in Schritt S802 erhaltenen Bild extrahiert, und der optische Korrekturprozess wird bei dem extrahierten Bildbereich angewendet.
  • 18A bis 18F zeigen Darstellungen zum Beschreiben eines Prozesses eines Anwendens einer Verzerrungskorrektur in Schritt S803 in 17. 18A zeigt eine Darstellung einer Position eines Objekts 1401, das der Benutzer beim Aufnehmen eines Bildes mit bloßem Auge ansieht. 18B zeigt eine Darstellung eines Bildes des Objekts 1401, das auf dem Festkörperbildsensor 42 erzeugt wird.
  • 18C zeigt eine Darstellung eines Entwicklungsbereichs 1402 in dem Bild in 18B. Der Entwicklungsbereich 1402 ist der vorstehend angeführte Extraktionsentwicklungsbereich.
  • 18D zeigt eine Darstellung eines Extraktionsentwicklungsbildes, das durch Extrahieren des Bildes des Entwicklungsbereichs 1402 erhalten wird. 18E zeigt eine Darstellung eines Bildes, das durch Korrigieren einer Verzerrung in dem Extraktionsentwicklungsbild in 18D erhalten wird. Da beim Korrigieren einer Verzerrung des Extraktionsentwicklungsbildes ein Extraktionsprozess durchgeführt wird, wird ein Bildwinkel des in 18E gezeigten Bildes noch kleiner als der des in 18D gezeigten Extraktionsentwicklungsbildes.
  • 19 zeigt ein Ablaufdiagramm einer Unterroutine des Bildstabilisierungsprozesses in Schritt S900 in 7A. Dieser Prozess wird nachstehend auch unter Bezugnahme auf 18F beschrieben. Wie vorstehend beschrieben, wird dieser Prozess durch die Anzeigevorrichtungssteuereinrichtung 801 der Anzeigevorrichtung 800 ausgeführt.
  • In Schritt S901 erhält die Anzeigevorrichtungssteuereinrichtung 801 Kreiseldaten eines aktuellen Rahmens, Kreiseldaten eines vorhergehenden Rahmens und einen Unschärfebetrag Vn-1 Det, der in einem nachstehend beschriebenen Schritt S902 für den vorhergehenden Rahmen berechnet wird, aus den Rahmenmetadaten der Videodatei 1000. Danach wird aus diesen Informationsteilen ein grober Unschärfebetrag Vn Pre berechnet. Es wird angemerkt, dass bei diesem Ausführungsbeispiel ein aktueller Rahmen ein Rahmen ist, der gerade verarbeitet wird, und dass ein vorhergehender Rahmen ein unmittelbar vorhergehender Rahmen ist.
  • In Schritt S902 berechnet die Anzeigevorrichtungssteuereinrichtung 801 einen feinen Unschärfebetrag Vn Det aus der Videodatei. Ein Unschärfebetrag wird durch Berechnen eines Bewegungsbetrags eines Merkmalspunkts von einem vorhergehenden Rahmen zu einem aktuellen Rahmen erfasst.
  • Ein Merkmalspunkt kann durch ein bekanntes Verfahren extrahiert werden. Beispielsweise kann ein Verfahren angewendet werden, das ein Luminanzinformationsbild verwendet, das durch Extrahieren lediglich von Luminanzinformationen eines Bildes eines Rahmens erzeugt wird. Dieses Verfahren subtrahiert ein Bild, das das ursprüngliche Luminanzinformationsbild um ein oder mehrere Bildelemente verschiebt, von dem ursprünglichen Luminanzinformationsbild. Ein Bildelement, dessen Absolutwert der Differenz einen Schwellenwert überschreitet, wird als Merkmalspunkt extrahiert. Ferner kann eine Kante als Merkmalspunkt extrahiert werden, die durch Subtrahieren eines Bildes, das durch Anwenden eines Hochpassfilters bei dem vorstehend angeführten Luminanzinformationsbild erzeugt wird, von dem ursprünglichen Luminanzinformationsbild extrahiert wird.
  • Unterschiede werden mehrmals berechnet, während die Luminanzinformationsbilder des aktuellen Rahmens und vorhergehenden Rahmens um ein oder mehrere Bildelemente verschoben werden. Der Bewegungsbetrag wird durch Berechnen einer Position erhalten, an der sich die Differenz an dem Bildelement des Merkmalspunkts abschwächt.
  • Da wie später beschrieben eine Vielzahl von Merkmalspunkten erforderlich ist, wird bevorzugt, jedes der Bilder des aktuellen Rahmens und vorhergehenden Rahmens in eine Vielzahl von Blöcken zu unterteilen und für jeden Block einen Merkmalspunkt zu extrahieren. Eine Blockunterteilung hängt von der Anzahl der Bildelemente und dem Seitenverhältnis des Bildes ab. Im Allgemeinen sind zwölf Blöcke zu 4 * 3 oder 54 Blöcke zu 9 * 6 vorzuziehen. Wenn die Anzahl der Blöcke zu klein ist, können eine Trapezverzerrung aufgrund einer Neigung der Bildaufnahmeeinheit 40 des Kamerahauptteils 1 und eine Rotationsunschärfe um die optische Achse, usw. nicht richtig korrigiert werden. Wenn die Anzahl der Blöcke unterdessen zu groß ist, wird die Größe eines Blocks klein, was eine Entfernung zwischen angrenzenden Merkmalspunkten verkürzt, wodurch ein Fehler verursacht wird. Auf diese Weise wird die optimale Anzahl an Blöcken in Abhängigkeit von der Bildelementanzahl, der Einfachheit der Erfassung von Merkmalspunkten, dem Bildwinkel eines Objekts, usw. ausgewählt.
  • Da das Erhalten des Bewegungsbetrags eine Vielzahl von Differenzberechnungen erfordert, während die Luminanzinformationsbilder des aktuellen Rahmens und vorhergehenden Rahmens um ein oder mehrere Bildelemente verschoben werden, erhöht sich der Berechnungsaufwand. Da der Bewegungsbetrag tatsächlich beruhend auf dem groben Unschärfebetrag Vn Pre und einer Abweichung (der Anzahl an Bildelementen) davon berechnet wird, werden die Differenzberechnungen lediglich nahe dem groben Unschärfebetrag durchgeführt, was den Berechnungsaufwand signifikant reduzieren kann.
  • Als nächstes führt die Anzeigevorrichtungssteuereinrichtung 801 in Schritt S903 den Bildstabilisierungsprozess unter Verwendung des in Schritt S902 erhaltenen feinen Unschärfebetrags Vn Det durch. Dann verlässt der Prozess diese Unterroutine. Es wird angemerkt, dass eine euklidische Transformation und affine Transformation, die Rotation und Paralleltranslation ermöglichen, und eine Projektionstransformation, die eine Perspektivkorrektur ermöglicht, als Verfahren des Bildstabilisierungsprozesses bekannt sind.
  • Obwohl die euklidische Transformation Bewegungen in der X-Achsenrichtung und Y-Achsenrichtung und eine Rotation korrigieren kann, kann sie keine Unschärfe korrigieren, die durch ein Kamerawackeln der Bildaufnahmeeinheit 40 des Kamerahauptteils 1 in einer Vorne-Hinten-Richtung oder Richtungen des Schwenkens und Neigens verursacht wird. Bei diesem Ausführungsbeispiel wird der Bildstabilisierungsprozess dementsprechend unter Verwendung der affinen Transformation ausgeführt, die die Korrektur einer Schräge ermöglicht. Die affine Transformation von einer Koordinate (x, y) des als Kriterium verwendeten Merkmalspunkts in eine Koordinate (x', y') wird durch die folgende Formel 100 ausgedrückt. ( x ' y ' 1 ) = ( a b c d e f 0 0 1 ) ( x y 1 )
    Figure DE102022105788A1_0001
  • Affine Koeffizienten einer 3x3-Matrix der Formel 100 sind berechenbar, wenn Abweichungen von zumindest drei Merkmalspunkten erfasst werden. Wenn die erfassten Merkmalspunkte aber nahe beieinanderliegen oder auf einer Geraden ausgerichtet sind, wird der Bildstabilisierungsprozess in Bereichen ungenau, die von den Merkmalspunkten entfernt oder von der Geraden entfernt sind. Für den erfassten Merkmalspunkt wird demnach bevorzugt, etwas auszuwählen, was voneinander entfernt ist und nicht auf einer Geraden zu liegen kommt. Wird eine Vielzahl von Merkmalspunkten erfasst, werden demnach nahe beieinanderliegende Merkmalspunkte ausgeschlossen, und verbleibende Merkmalspunkte werden durch ein Verfahren kleinster Quadrate normalisiert.
  • 18F zeigt eine Darstellung eines Bildes, das durch Anwenden des Bildstabilisierungsprozesses in Schritt S903 bei dem in 18E gezeigten verzerrungskorrigierten Bild erhalten wird. Da der Extraktionsprozess beim Ausführen des Bildstabilisierungsprozesses durchgeführt wird, wird ein Bildwinkel des in 18F gezeigten Bildes kleiner als der des in 18E gezeigten Bildes.
  • Durch Durchführen eines derartigen Bildstabilisierungsprozesses kann ein Hochqualitätsbild erhalten werden, bei dem die Unschärfe korrigiert ist. Vorstehend wurde die Reihe der Vorgänge beschrieben, die durch den Kamerahauptteil 1 und die Anzeigevorrichtung 800 ausgeführt werden, die im Kamerasystem dieses Ausführungsbeispiels enthalten sind.
  • Wenn der Benutzer nach Einschalten des Ein-/Aus-Schalters 11 den Videobildmodus durch den Bildaufnahmemodusschalter 12 auswählt und die Front beobachtet, ohne das Gesicht in der vertikalen und horizontalen Richtung zu drehen, erfasst die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung vo (Vektorinformationen (0°, 0°)), wie es in 12A gezeigt ist. Danach extrahiert die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 das Bild (11B) in dem in 12A gezeigten Zielblickfeld 125o aus dem Superweitwinkelbild, das auf den Festkörperbildsensor 42 projiziert wird.
  • Wenn der Benutzer danach beispielsweise beginnt, das Kind (A-Objekt 131) in 11A zu betrachten, ohne dass er den Kamerahauptteil 1 bedient, erfasst die Gesichtsrichtungserfassungseinheit 20 die Beobachtungsrichtung vm (Vektorinformationen (-42°, -40°)), wie es in 11C gezeigt ist. Danach extrahiert die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 das Bild (11C) in dem Zielblickfeld 125m aus dem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild.
  • Auf diese Weise wendet die Anzeigevorrichtung 800 in den Schritten S800 und S900 den optischen Korrekturprozess und den Bildstabilisierungsprozess bei dem extrahierten Bild der Form an, die von der Beobachtungsrichtung abhängt. Selbst wenn die Spezifikation der Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 gering ist, wird dadurch das signifikant verzerrte Bild in dem Zielblickfeld 125m (11C) in das Bild um das Kind (A-Objekt 131) umgewandelt, dessen Unschärfe und Verzerrung wie in 11D gezeigt korrigiert sind. Das heißt, nachdem der Benutzer den Ein-/Aus-Schalter 11 einschaltet und den Modus mit dem Bildaufnahmemodusschalter 12 auswählt, kann der Benutzer ein Bild der eigenen Beobachtungsrichtung erhalten, selbst wenn der Benutzer den Kamerahauptteil 1 nicht berührt.
  • Nachstehend wird der Voreinstellmodus beschrieben. Da der Kamerahauptteil 1 eine kompakte tragbare Einrichtung ist, sind Bedienschalter, ein Einstellbildschirm, und so weiter zum Ändern erweiterter Einstellwerte nicht am Kamerahauptteil 1 angebracht. Bei diesem Ausführungsbeispiel werden die erweiterten Einstellwerte des Kamerahauptteils 1 dementsprechend unter Verwendung des Einstellbildschirms (13) der Anzeigevorrichtung 800 als externe Einrichtung geändert.
  • Beispielsweise wird ein Fall betrachtet, in dem der Benutzer den Bildwinkel von 90° in 45° ändern möchte, während er kontinuierlich ein Videobild aufnimmt. In einem derartigen Fall sind die folgenden Bedienungen erforderlich. Da der Bildwinkel bei einem regulären Videobildmodus auf 90° eingestellt ist, führt der Benutzer den Videobildaufnahmebetrieb im regulären Videobildmodus durch, beendet den Videobildaufnahmebetrieb einmal, zeigt den Einstellbildschirm auf der Anzeigevorrichtung 800 an und ändert den Bildwinkel auf dem Einstellbildschirm in 45°. Diese Bedienung an der Anzeigevorrichtung 800 während des kontinuierlichen Bildaufnahmebetriebs ist allerdings mühsam, und es kann ein Bild übersehen werden, das der Benutzer aufnehmen möchte.
  • Wenn der Voreinstellmodus auf einen Videobildaufnahmebetrieb bei dem Bildwinkel von 45° voreingestellt ist, kann der Benutzer unterdessen in einen Zoom-auf-Videobildaufnahmebetrieb bei dem Bildwinkel von 45° unmittelbar nur durch Schieben des Bildaufnahmemodusschalters 12 zu „Pre“ nach Beenden des Videobildaufnahmebetriebs bei dem Bildwinkel von 90° wechseln. Das heißt, der Benutzer muss den aktuellen Bildaufnahmebetrieb nicht unterbrechen und muss nicht die vorstehend beschriebenen mühsamen Bedienungen durchführen.
  • Die Inhalte des Voreinstellmodus können die Bildstabilisierungsstufe („Stark“, „Mittel“ oder „AUS“) und einen Einstellwert einer Spracherkennung, die bei diesem Ausführungsbeispiel nicht beschrieben wird, zusätzlich zu dem Bildwinkel enthalten.
  • Wenn der Benutzer den Bildaufnahmemodusschalter 12 von dem Videobildmodus in den Voreinstellmodus schaltet, während er beispielsweise das Kind (A-Objekt 131) in der vorherigen Situation betrachtet, wird der Bildwinkeleinstellwert Vang von 90° in 45° geändert. In diesem Fall extrahiert die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 das Bild in dem Zielblickfeld 128m, das in 11E durch eine gepunktete Umrahmung gezeigt ist, aus dem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild.
  • Auch im Voreinstellmodus werden der optische Korrekturprozess und Bildstabilisierungsprozess in den Schritten S800 und S900 in der Anzeigevorrichtung 800 durchgeführt. Selbst wenn die Spezifikation der Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 gering ist, wird dadurch das Zoom-auf-Bild um das Kind (A-Objekt 131) erhalten, dessen Unschärfe und Verzerrung wie in 11F gezeigt korrigiert sind. Obwohl der Fall beschrieben wurde, in dem der Bildwinkeleinstellwert Vang von 90° in 45° in dem Videobildmodus geändert wird, ist der Prozess im Stehbildmodus ähnlich. Des Weiteren ist auch ein Fall ähnlich, in dem der Bildwinkeleinstellwert Vang eines Videobildes 90° und der Bildwinkeleinstellwert Vang eines statischen Bildes 45° betragen.
  • Auf diese Weise kann der Benutzer das Zoom-auf-Bild erhalten, das die eigene Beobachtungsrichtung aufnimmt, indem er den Modus lediglich mit dem Bildaufnahmemodusschalter 12 des Kamerahauptteils 1 umschaltet.
  • Obwohl bei diesem Ausführungsbeispiel der Fall beschrieben wird, in dem die Gesichtsrichtungserfassungseinheit 20 und die Bildaufnahmeeinheit 40 in dem Kamerahauptteil 1 integral gebildet sind, ist die Konfiguration nicht darauf beschränkt, solange die Gesichtsrichtungserfassungseinheit 20 am Körper des Benutzers abgesehen vom Kopf getragen wird und die Bildaufnahmeeinheit 40 am Körper des Benutzers getragen wird. Die Bildaufnahme-/Erfassungseinheit 10 dieses Ausführungsbeispiels kann beispielsweise an einer Schulter oder am Bauch getragen werden. Wenn aber die Bildaufnahmeeinheit 40 an der rechten Schulter getragen wird, ist ein Objekt der linken Seite durch den Kopf verdeckt. In einem derartigen Fall wird vorzugsweise eine Vielzahl von Bildaufnahmeeinheiten an Stellen einschließlich der rechten Schulter getragen. Wenn die Bildaufnahmeeinheit 40 am Bauch getragen wird, tritt ferner zwischen der Bildaufnahmeeinheit 40 und dem Kopf eine räumliche Parallaxe auf. In einem derartigen Fall wird vorzugsweise eine Korrekturberechnung der Beobachtungsrichtung durchgeführt, die eine derartige Parallaxe kompensiert, wie es in einem dritten Ausführungsbeispiel beschrieben ist.
  • Nachstehend wird ein zweites Ausführungsbeispiel beschrieben. Im zweiten Ausführungsbeispiel wird ein Verfahren zum Kalibrieren eines individuellen Unterschieds und Anpassungsunterschieds eines den Kamerahauptteil 1 tragenden Benutzers unter Verwendung von 20A bis 23E näher beschrieben.
  • Dieses Ausführungsbeispiel wird grundsätzlich als Abwandlung des ersten Ausführungsbeispiels beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems im zweiten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen bezeichnet, und redundante Beschreibungen sind weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Ein Benutzer, der den Kamerahauptteil 1 trägt, weist einen individuellen Unterschied und einen Anpassungsunterschied auf, wie einen Körperbau, einen Neigungswinkel der Peripherie des Halses, an dem der Kamerahauptteil 1 getragen wird, einen Zustand einer Kleidung, wie eines Kragens beim Tragen, und Anpassungszustände der Bandabschnitte 82L und 82R. Dementsprechend stimmen üblicherweise die Mitte der optischen Achse des Bildaufnahmeobjektivs 16 des Kamerahauptteils 1 und die Blickfeldmitte in einem Zustand (nachstehend einem natürlichen Zustand), in dem der Benutzer nach vorne schaut, nicht überein. Vorzugsweise passt ein Benutzer eine Mitte eines Extraktionsaufzeichnungsbereichs (Zielblickfeldes 125) mit einer Blickfeldmitte des Benutzers in einer aktuellen Stellung oder Bedienung zusammen, anstatt dass er die Mitte des Aufzeichnungsbereichs mit der Mitte der optischen Achse des Bildaufnahmeobjektivs 16 des Kamerahauptteils 1 zusammenpasst.
  • Ferner gibt es einen individuellen Unterschied nicht nur bei einer Blickfeldmitte eines Benutzers im natürlichen Zustand, sondern auch bei einer Blickfeldmitte in Abhängigkeit von einer Kopfrichtung (oben, unten, rechts, links oder diagonal) und bei einem Bewegungsraum des Kopfes. Dementsprechend wird ein individueller Unterschied auch in der Beziehung zwischen der Gesichtsrichtung (Beobachtungsrichtung), die durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird, und der Mittenposition (die nachstehend als Blickfeldmittenposition bezeichnet wird) des Zielblickfeldes 125 erzeugt, das gemäß der Beobachtungsrichtung etabliert wird. Demnach ist ein Kalibrierungsvorgang erforderlich, der eine Gesichtsrichtung mit einer Blickfeldmittenposition assoziiert.
  • Üblicherweise wird der Kalibrierungsvorgang vorzugsweise als Teil des Vorbereitungsprozesses (des Schritts S100) in 7A durchgeführt. Obwohl der Kalibrierungsvorgang schätzungsweise üblicherweise beim ersten Einschalten des Kamerahauptteils 1 durchgeführt wird, kann der Kalibrierungsvorgang durchgeführt werden, nachdem eine vorbestimmte Zeit seit der vorhergehenden Kalibrierung abgelaufen ist, oder wenn die Position des Kamerahauptteils 1 an dem Benutzer aus der Position der vorhergehenden Kalibrierung geändert wurde. Der Kalibrierungsvorgang kann durchgeführt werden, wenn es für die Gesichtsrichtungserfassungseinheit 20 unmöglich wird, das Gesicht des Benutzers zu erfassen. Wenn erfasst wird, dass der Benutzer den Kamerahauptteil 1 abnimmt, kann der Kalibrierungsvorgang ferner zu dem Zeitpunkt durchgeführt werden, wenn der Benutzer den Kamerahauptteil 1 erneut trägt. Auf diese Weise wird der Kalibrierungsvorgang geeigneter Weise und vorzugsweise zu einem Zeitpunkt durchgeführt, wenn bestimmt wird, dass für die geeignete Verwendung des Kamerahauptteils 1 die Kalibrierung erforderlich ist.
  • 20A und 20B zeigen Darstellungen von Einzelheiten der Kalibriereinrichtung 850, die für den Kalibrierprozess gemäß dem zweiten Ausführungsbeispiel verwendet wird. Bei diesem Ausführungsbeispiel soll die Kalibriereinrichtung 850 die Funktion der Anzeigevorrichtung 800 bündeln.
  • Die Kalibriereinrichtung 850 enthält einen Positionierungsindex 851 und eine Kalibriertaste 854 zusätzlich zu der A-Taste 802, der Anzeigeeinheit 803, der In-Kamera 805, dem Gesichtssensor 806 und dem Winkelgeschwindigkeitssensor 807, die die Komponenten der in 1D gezeigten Anzeigevorrichtung 800 sind. In 20A ist die im ersten Ausführungsbeispiel vorgesehene B-Taste 804 nicht gezeigt, da sie bei diesem Ausführungsbeispiel nicht verwendet wird, und ist durch die nachstehend beschriebene Kalibriertaste 854 ersetzbar.
  • 20A zeigt einen Fall, in dem der Positionierungsindex 851 ein auf der Anzeigeeinheit 803 angezeigtes spezifisches Muster ist. 20B zeigt einen Fall, in dem die äußere Erscheinung der Kalibriereinrichtung 850 als Positionierungsindex verwendet wird. Im Fall von 20B wird eine nachstehend beschriebene Positionierungsindexmitte 852 aus den Informationen über die Kontur der Kalibriereinrichtung 850 berechnet.
  • Es wird angemerkt, dass der Positionierungsindex nicht auf die Beispiele der 20A und 20B beschränkt ist. Der Positionierungsindex kann beispielsweise von der Kalibriereinrichtung 850 getrennt sein. Der Positionierungsindex kann etwas beliebiges sein, solange seine Größe leicht messbar ist und seine Form geeignet ist, vom Benutzer angeschaut zu werden. Der Positionierungsindex kann beispielsweise eine Objektivabdeckung des Bildaufnahmeobjektivs 16 oder eine Ladeeinheit des Kamerahauptteils 1 sein. Da die grundlegende Denkweise hinsichtlich des Kalibrierungsvorgangs sowieso üblich ist, wird die in 20A gezeigte Kalibriereinrichtung 850 als Beispiel angeführt und nachstehend in erster Linie beschrieben.
  • Es wird angemerkt, dass die Kalibriereinrichtung 850 bei diesem Ausführungsbeispiel die Funktion der Anzeigevorrichtung 800 vereinigen soll. Ferner kann die Kalibriereinrichtung 850 beispielsweise eine dedizierte Einrichtung, ein allgemeines Smartphone oder ein Tablet-Endgerät sein.
  • Der Positionierungsindex 851 ist ein auf der Anzeigeeinheit 803 der Kalibriereinrichtung 850 angezeigter Index. Eine laterale Breite L851a und eine vertikale Breite L851b des Positionierungsindex 851 und die Positionierungsindexmitte 852 können berechnet werden. Da der Benutzer im nachstehend beschriebenen Kalibrierprozess das Gesicht in die Nähe des Mittenabschnitts des Positionierungsindex 851 richtet, hat der Positionierungsindex 851 vorzugsweise eine Form, damit er in der Blickfeldmitte erfasst wird. In 20A ist der Positionierungsindex 851 durch einen Kreis gezeigt, in dem ein Kreuz und ein kleiner schwarzer Kreis in der Mitte des Kreuzes angeordnet sind. Die Form des Positionierungsindex 851 ist allerdings nicht auf diese Form beschränkt. Der Positionierungsindex kann ansonsten ein Rechteck, ein Dreieck, ein sternförmiges Gebilde oder eine bildliche Darstellung eines Zeichens sein.
  • Der Positionierungsindex 851 wird durch die Bildaufnahmeeinheit 40 des Kamerahauptteils 1 aufgenommen. Die Anzeigevorrichtungssteuereinrichtung (eine Positionsberechnungseinheit und eine Entfernungsberechnungseinheit) 801 berechnet eine Entfernung zwischen der Bildaufnahme-/Erfassungseinheit 10 und der Kalibriereinrichtung 850 und eine Positionskoordinate des Positionierungsindex 851, die in einem Bildbereich erscheint, beruhend auf dem Aufnahmebild. Bei diesem Ausführungsbeispiel führt die mit der Funktion der Anzeigevorrichtung 800 ausgestattete Kalibriereinrichtung 850 diese Berechnungen durch. Wenn die Kalibriereinrichtung 850 die Funktion der Anzeigevorrichtung 800 nicht kombiniert, werden diese Berechnungen durch die Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 durchgeführt.
  • Der Winkelgeschwindigkeitssensor 807 kann eine Bewegung der Kalibriereinrichtung 850 messen. Die Anzeigevorrichtungssteuereinrichtung 801 berechnet später beschriebene Bewegungsinformationen, die die Position und Stellung der Kalibriereinrichtung 850 zeigen, beruhend auf dem Messwert des Winkelgeschwindigkeitssensors 807.
  • Die Kalibriertaste 854 wird gedrückt, wenn der Benutzer sein Gesicht in die Nähe des Mittenabschnitts des Positionierungsindex 851 richtet. Obwohl die Kalibriertaste 854 eine auf der berührungsempfindlichen Anzeigeeinheit 803 in 20A gezeigte Berührungstaste ist, kann die A-Taste 802 oder die B-Taste 804 als Kalibriertaste fungieren.
  • Als nächstes wird der Kalibrierprozess unter Bezugnahme auf das Ablaufdiagramm in 21 näher beschrieben, der beim Extrahieren eines Bildes aus einem Superweitwinkelbild, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, gemäß einer Benutzergesichtsrichtung und beim Anwenden der Bildverarbeitung bei dem extrahierten Bild ausgeführt wird.
  • 21 zeigt das Ablaufdiagramm des Kalibrierprozesses gemäß dem zweiten Ausführungsbeispiel, der durch den Kamerahauptteil (eine erste Kalibriereinheit) 1 und die Kalibriereinrichtung 805 ausgeführt wird.
  • Zur Unterstützung der Beschreibung ist ein Schritt, in dem der Kamerahauptteil 1 oder die Kalibriereinrichtung 850 eine Benutzeranweisung empfängt, in einer Umrahmung enthalten, dessen Bediensubjekt der Benutzer ist. In 21 ist ferner ein Schritt, der durch die Anzeigevorrichtungssteuereinrichtung 801 der Kalibriereinrichtung 850 im Ansprechen auf die Benutzeranweisung ausgeführt wird, in einer Umrahmung enthalten, dessen Bediensubjekt die Kalibriereinrichtung 850 ist. Gleichermaßen ist in 21 ein Schritt, der durch die Gesamtsteuerungs-CPU 101 des Kamerahauptteils 1 im Ansprechen auf die Benutzeranweisung ausgeführt wird, in einer Umrahmung enthalten, dessen Bediensubjekt der Kamerahauptteil 1 ist.
  • Das Bediensubjekt der Schritte S3104 und S3108 in 21 ist der Kamerahauptteil 1. Das Bediensubjekt der Schritte S3101, S3105 und S3106 ist der Benutzer. Ferner ist die Kalibriereinrichtung 850 das Bediensubjekt der Schritte S3102, S3103, S3106a, S3107, S3107b und S3110.
  • Wenn die Energiezufuhr der Kalibriereinrichtung 850 in diesem Prozess nicht eingeschaltet ist, schaltet der Benutzer die Energieversorgung der Kalibriereinrichtung 850 in Schritt S3101 ein, indem er die A-Taste 802 bedient. Wenn die Energieversorgung des Kamerahauptteils 1 nicht eingeschaltet ist, schaltet der Benutzer gleichermaßen die Energieversorgung des Kamerahauptteils 1 durch EIN-Schalten des Ein-/Ausschalters 11 ein. Danach errichtet der Benutzer eine Verbindung zwischen der Kalibriereinrichtung 850 und dem Kamerahauptteil 1. Wenn diese Verbindung errichtet ist, treten die Anzeigevorrichtungssteuereinrichtung 801 und die Gesamtsteuerungs-CPU 101 jeweils in einen Kalibriermodus ein.
  • Ferner trägt der Benutzer in Schritt S3101 den Kamerahauptteil 1 und passt die Längen der Bandabschnitte 82L und 82R und den Winkel des Kamerahauptteils 1 derart an, dass sich der Kamerahauptteil 1 an einer geeigneten Position befindet und die Bildaufnahme-/Erfassungseinheit 10 ein Bild aufnehmen kann.
  • In Schritt S3102 zeigt die Anzeigevorrichtungssteuereinrichtung (eine erste Anzeigeeinheit) 801 den Positionierungsindex 851 auf der Anzeigeeinheit 803 an.
  • Im nächsten Schritt S3103 teilt die Anzeigevorrichtungssteuereinrichtung 801 dem Benutzer durch eine Anweisungsanzeige 855 (22A) eine Festlegungsposition mit, an der der Benutzer die Kalibriereinrichtung 850 halten soll. Bei diesem Ausführungsbeispiel sind fünf Positionen, die vorne, rechts oben, rechts unten, links oben und links unten enthalten, als die Festlegungspositionen in der Reihenfolge festgelegt. Die Festlegungspositionen können auf andere Positionen eingestellt werden, solange die Kalibrierung verfügbar ist.
  • In Schritt S3104 aktiviert die Gesamtsteuerungs-CPU 101 die Bildaufnahmeeinheit 40, um einen Bildaufnahmebetrieb zu ermöglichen, und aktiviert die Gesichtsrichtungserfassungseinheit 20, um eine Erfassung einer Benutzergesichtsrichtung zu ermöglichen. In Schritt S3105 hält der Benutzer die Kalibriereinrichtung 850 an der in Schritt S3103 mitgeteilten Festlegungsposition.
  • Im nächsten Schritt S3106 richtet der Benutzer das Gesicht in die Richtung des Positionierungsindex 851, um eine Benutzerblickfeldmitte mit dem Positionierungsindex 851 in Übereinstimmung zu bringen, und drückt die Kalibriertaste 854, während er die Position der Kalibriereinrichtung 850 an der Festlegungsposition beibehält.
  • In Schritt S3106a bestimmt die Anzeigevorrichtungssteuereinrichtung (eine zweite Anzeigeeinheit) 801, ob der Benutzer die Positionierungsindexmitte 852 des Positionierungsindex 851 ansieht, d. h., bestimmt, ob die Benutzerblickfeldmitte mit der Positionierungsindexmitte 852 übereinstimmt. Wenn bestimmt wird, dass der Benutzer die Positionierungsindexmitte 852 ansieht (JA in Schritt S3106a), benachrichtigt die Anzeigevorrichtungssteuereinrichtung 801 den Benutzer über den Start der Kalibrierung für die Festlegungsposition durch die Anweisungsanzeige 855 in Schritt S3107 und zeigt die Kalibriertaste 854 erneut an. Wenn das Bestimmungsergebnis in Schritt S3106a NEIN ist, wiederholt der Benutzer den Prozess ab Schritt S3105.
  • Wenn der Benutzer in Schritt S3107a die Kalibriertaste 854 drückt, überträgt die Anzeigevorrichtungssteuereinrichtung 801 in Schritt S3107b eine Kalibrieranweisung zum Kamerahauptteil 1.
  • In Schritt S3108 erhält die Gesamtsteuerungs-CPU (eine Erhalte-/Erfassungseinheit) 101 ein Superweitwinkelbild, das den Positionierungsindex 851 enthält, das durch die Bildaufnahmeeinheit 40 aufgenommen wird, und erfasst eine Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 im Ansprechen auf die Kalibrieranweisung von der Kalibriereinrichtung 850. Danach berechnet die Gesamtsteuerungs-CPU (eine Erzeugungseinheit) 101 Positionskoordinateninformationen hinsichtlich der Positionierungsindexmitte 852 in dem erhaltenen Superweitwinkelbild und erzeugt die Informationen, die die Beziehung zwischen den berechneten Positionskoordinateninformationen und der erfassten Gesichtsrichtung zeigen.
  • Nachstehend werden die Einzelheiten des Prozesses in den Schritten S3103 bis S3108 unter Verwendung von 22A bis 22F beschrieben. 22A bis 22F sind Darstellungen zur Beschreibung eines Kalibriervorgangs für die Frontrichtung des Benutzers. Der Kalibriervorgang wird derart durchgeführt, dass die Mittenposition des Zielblickfeldes 125 in dem durch die Bildaufnahmeeinheit 40 des Kamerahauptteils 1 aufgenommenen Bildes mit der Blickfeldmittenposition des Benutzers im natürlichen Zustand übereinstimmt.
  • 22A zeigt eine Darstellung eines Bildschirms, der auf der Anzeigeeinheit 803 der Kalibriereinrichtung 850 in Schritt S3103 in 21 während des Kalibriervorgangs für die Frontrichtung des Benutzers angezeigt wird.
  • Wie in 22A gezeigt, werden der Positionierungsindex 851 und die Anweisungsanzeige 855, die eine Position angibt, an der der Benutzer den Positionierungsindex 851 lokalisieren soll, auf der Anzeigeeinheit 803 der Kalibriereinrichtung 850 angezeigt.
  • Die Anweisungsanzeige 855 ist eine Zeichenkette, die den Benutzer zum Verorten des Positionierungsindex 851 an der Blickfeldmitte des Benutzers beim Richten des Gesichts nach vorne anweist. Es wird angemerkt, dass die als Anweisungsanzeige 855 angezeigte Anweisung nicht auf die Zeichenkette beschränkt ist. Die Anweisung kann beispielsweise durch ein anderes Verfahren angezeigt werden, das eine Darstellung, ein Bild, ein Bewegtbild oder dergleichen verwendet. Des Weiteren kann die Anweisungsanzeige 855 wie eine sogenannte allgemeine Anleitung zuerst angezeigt werden, und der Positionierungsindex 851 kann danach angezeigt werden.
  • 22B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung 850 gemäß der als Anweisungsanzeige 855 in 22A angezeigten Anzeige vor sich hält.
  • In Schritt S3105 hält der Benutzer die Kalibriereinrichtung 850 gemäß der als Anweisungsanzeige 855 in 22A angezeigten Anweisung vor sich. Dann hält der Benutzer in Schritt S3106 die Kalibriereinrichtung 850 so, dass der Positionierungsindex 851 mit der Blickfeldmitte des Benutzers beim Richten des Gesichts nach vorne zusammenfällt, und der Benutzer drückt die Kalibriertaste 854 (22A). Im Ansprechen auf das Drücken der Kalibriertaste 854 wird die Bestimmung in Schritt S3106a durchgeführt. Die konkrete Prozedur dieses Bestimmungsverfahrens wird später beschrieben. Wenn das Bestimmungsergebnis in Schritt S3106a JA lautet, ändert die Anzeigevorrichtungssteuereinrichtung 801 die in 22A gezeigte Anweisungsanzeige 855 in eine Mitteilung „Kalibrierung für Frontrichtung wird gestartet“ und zeigt die Kalibriertaste 854 an.
  • Nach Bestätigung der Änderung der in 22A gezeigten Anweisungsanzeige 855 in die Mitteilung „Kalibrierung für Frontrichtung wird gestartet“ drückt der Benutzer dann die Kalibriertaste 854 (Schritt S3107a). Im Ansprechen auf das Drücken der Kalibriertaste 854 wird in Schritt S3107b eine Kalibrieranweisung zum Kamerahauptteil 1 gesendet. Und die Bildaufnahmeeinheit 40 erhält in Schritt S3108 ein Aufnahmebild.
  • 22C zeigt eine schematische Darstellung des gesamten Superweitwinkelbildes, das durch das Bildaufnahmeobjektiv 16 im Zustand von 22B erfasst wird. 22D zeigt eine schematische Darstellung eines Bildes, das durch Korrigieren von Aberrationen des in 22C gezeigten Superweitwinkelbildes erhalten wird.
  • Im Ansprechen auf das Drücken der Kalibriertaste 854 durch den Benutzer im Zustand von 22B erhält die Gesichtsrichtungserfassungseinheit 20 ferner in Schritt S3108 eine Gesichtsrichtung.
  • 22E zeigt eine schematische Darstellung eines Gesichtsrichtungsbildes, das durch die Gesichtsrichtungserfassungseinheit 20 in Schritt S3108 in 21 während des Kalibriervorgangs für die Frontrichtung des Benutzers aufgezeichnet wird.
  • Wie im ersten Ausführungsbeispiel unter Verwendung von 8G bis 8K beschrieben, berechnet die Gesichtsrichtungserfassungseinheit 20 die Winkel in der lateralen und vertikalen Richtung des Gesichts unter Verwendung der Entfernungen und Winkel der Kinnpositionen 207, 207r und 207u hinsichtlich der Kehlposition 206. Da die Entfernungen und Winkel der Kinnpositionen 207, 207r und 207u hinsichtlich der Kehlposition 206 aber auch den individuellen Unterschied und den Anpassungsunterschied aufgrund des Körperbaus des Benutzers usw., wie vorstehend für die Bildmitte beschrieben aufweisen, sind sie nicht fest. Demnach wird bei diesem Ausführungsbeispiel die Beziehung zwischen der Kinnposition und der Kehlposition 206 zur Zeit des Drückens der Kalibriertaste 854 als Wert eines Falls definiert, wenn der Benutzer die Blickfeldmitte in die Front legt. Dies ermöglicht eine korrekte Berechnung der Benutzergesichtsrichtung ungeachtet des individuellen Unterschieds und des Anpassungsunterschieds.
  • Gemäß 21 bestimmt die Gesamtsteuerungs-CPU 101 in Schritt S3109, ob die Kalibrierung für die Frontrichtung bereitgestellt ist. Das heißt, es wird bestimmt, ob die Informationen erhalten wurden, die zur Berechnung der Kinnposition 207, Kehlposition 206 und der Positionierungsindexmitte 852 erforderlich sind.
  • Wenn zu diesem Zeitpunkt das Erhalten der erforderlichen Informationen nicht abgeschlossen ist, wird bestimmt, dass die Kalibrierung nicht bereitgestellt ist (NEIN in Schritt S3109), und die Vorgänge ab Schritt S3102 werden wiederholt, um die fehlenden Informationen unter den erforderlichen Informationen zu erhalten. Wenn das Erhalten der erforderlichen Informationen nicht abgeschlossen ist, sind nicht alle Vorgänge ab Schritt S3102 erforderlich. Lediglich die Vorgänge zum Erhalten der fehlenden Informationen können erneut durchgeführt werden.
  • Die Bestimmung in Schritt S3106a wird unter Verwendung des Gesichtssensors 806 oder der In-Kamera 805 durchgeführt, die in der Kalibriereinrichtung 850 angebracht ist. Danach wird die konkrete Prozedur dieses Bestimmungsverfahrens unter Verwendung eines Falls beschrieben, in dem der Kalibriervorgang für die Frontrichtung unter Verwendung der In-Kamera 805 durchgeführt wird. Obwohl sich ein Fall unter Verwendung des Gesichtssensors 806 vom Fall der Verwendung der Kamera hinsichtlich der Dimension von Informationen (zwei-dimensionale Informationen oder drei-dimensionale Informationen) unterscheidet, ist der Grundgedanke derselbe. Demnach wird eine ausführliche Beschreibung des Falls der Verwendung des Gesichtssensors 806 weggelassen. Wenn der Gesichtssensor 806 bei der Bestimmung in Schritt S3106a verwendet wird, führt die Gesichtsrichtungserfassungseinheit 20 des Kamerahauptteils 1 die Gesichtserfassung, die den Benutzer mit dem Infrarotlicht 23 bestrahlt, während eines Zeitabschnitts nicht durch, wenn der Benutzer mit dem Infrarotlicht 823 von dem Gesichtssensor 806 bestrahlt wird. Dies soll eine Interferenz des Infrarotlichts 23 und des Infrarotlichts 823 vermeiden.
  • Wenn der Benutzer in Schritt S3106 die Kalibriertaste 854 in 22A drückt, erhält die Anzeigevorrichtungssteuereinrichtung 801 zuerst ein In-Kamerabild 858 (22F), das den Benutzer enthält, indem sie ein Bild mit der In-Kamera (einer Gesichtserfassungseinheit) 805 aufnimmt. Die Anzeigevorrichtungssteuereinrichtung 801 erfasst ferner die Positionsinformationen über den Halsvorderabschnitt 201, das Kinn 203, das Gesicht 204 mit einer Nase und der Bildaufnahme-/Erfassungseinheit 10 (der Bildaufnahmeeinheit 40) aus dem erhaltenen In-Kamerabild 858.
  • Die Anzeigevorrichtungssteuereinrichtung (eine Bestimmungseinheit) 101 bestimmt unter Verwendung der aus dem In-Kamerabild 858 erfassten Positionen, ob der Benutzer die Positionierungsindexmitte 852 des Positionierungsindex 851 an der Blickfeldmitte in Schritt S3106a ansieht.
  • Wenn als Ergebnis der Bestimmung bestimmt wird, dass der Benutzer in eine andere Richtung schaut, zeigt die Anzeigevorrichtungssteuereinrichtung 801 eine Nachricht als die Anweisungsanzeige 855 an, dass keine korrekten Informationen erhalten werden können. Dies kann den Benutzer zur erneuten Durchführung des Kalibriervorgangs instruieren.
  • Die Anzeigevorrichtungssteuereinrichtung 801 kann unter Verwendung des In-Kamerabildes 858 bestimmen, dass kein korrekter Kalibriervorgang durchgeführt werden kann, wenn sich die Bildaufnahme-/Erfassungseinheit 10 über einen bestimmten Winkel hinaus neigt, oder wenn das Gesichtsrichtungserfassungsfenster 13 blockiert oder schmutzig ist. In einem derartigen Fall kann die Anzeigevorrichtungssteuereinrichtung 801 die Nachricht als die Anweisungsanzeige 855 anzeigen, die angibt, dass keine korrekten Informationen erhalten werden können.
  • Ferner kann sie unter Verwendung des in Schritt S3106a erhaltenen In-Kamerabildes 858 und des in Schritt S3108 erhaltenen Superweitwinkelbildes auch Informationen erhalten, die für eine nachstehend im fünften Ausführungsbeispiel beschriebene Parallaxe-Korrektur erforderlich sind.
  • Die Informationen über die Größe (die laterale Breite L851a und die vertikale Breite L851b) des Positionierungsindex 851 werden von der Kalibriereinrichtung 850 zuvor zu dem Kamerahauptteil 1 übertragen, bevor der Positionierungsindex 851 in Schritt S3108 durch die Bildaufnahmeeinheit 40 aufgenommen wird. So kann die Gesamtsteuerungs-CPU 101 die Entfernung zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Positionierungsindex 851 unter Verwendung der Informationen über die Größe des Positionierungsindex 851 und des Bildes des Positionierungsindex 851 berechnen, der in dem in Schritt S3108 erhaltenen Superweitwinkelbild erschienen ist. Da der Positionierungsindex 851 in der Kalibriereinrichtung 850 enthalten ist, die sich im gleichen Gehäuse wie die In-Kamera 805 befindet, und die Kalibriereinrichtung 850 in 22B dem Benutzer direkt gegenüber liegt, ist die Entfernung zwischen der In-Kamera 805 und der Bildaufnahme-/Erfassungseinheit 10 gleich der Entfernung zwischen dem Positionierungsindex 851 und der Bildaufnahme-/Erfassungseinheit 10.
  • Gleichermaßen werden Informationen über die Größe der Bildaufnahme-/Erfassungseinheit 10 von dem Kamerahauptteil 1 zuvor zu der Kalibriereinrichtung 850 übertragen, bevor das in 22F gezeigte In-Kamerabild in Schritt S3106a durch die In-Kamera 805 aufgenommen wird. So kann die Anzeigevorrichtungssteuereinrichtung (eine vertikale Entfernungsberechnungseinheit) 801 eine vertikale Entfernung 5070 zwischen der optischen Achsenmitte des Bildaufnahmeobjektivs 16 und einer Blickposition des Benutzers unter Verwendung der Informationen über die Größe der Bildaufnahme-/Erfassungseinheit 10 und des Bildes der Bildaufnahme-/Erfassungseinheit 10 schätzen, die in dem in 22F gezeigten In-Kamerabild 858 erschienen sind. Die Anzeigevorrichtungssteuereinrichtung 801 kann außerdem eine Entfernung 2071 zwischen dem Bildaufnahmeobjektiv 16 und dem Kinn 203 des Benutzers schätzen. Die Entfernung 2071 kann eine Entfernung zwischen dem Gesichtsrichtungserfassungsfenster 13 und dem Kinn 203 sein.
  • Damit die Gesichtsrichtungserfassungseinheit 20 die Kehlposition 206 und die Kinnposition des Benutzers berechnet, muss das Gesicht des Benutzers eine Entfernung von dem Gesichtsrichtungserfassungsfenster 13 haben, die gemäß einem Entwurf der Gesichtsrichtungserfassungseinheit 20 größer als eine bestimmte Entfernung ist. Dieses geschätzte Ergebnis kann folglich als eine von Bestimmungsbedingungen beim Bestimmen angewendet werden, ob die Gesichtsrichtungserfassungseinheit 20 die Gesichtsrichtung korrekt erfassen kann.
  • Gemäß 21 geht die Gesamtsteuerungs-CPU 101 mit dem Prozess zu Schritt S3110, wenn sie bestimmt, dass die erforderlichen Informationen erhalten wurden, und dass die Bereitstellung der Kalibrierung für die Frontrichtung abgeschlossen ist.
  • In Schritt S3110 berechnet die Anzeigevorrichtungssteuereinrichtung (die erste Kalibriereinheit) 801 Informationen, die zum Versetzen der Extraktionsmittenposition erforderlich sind, um den individuellen Unterschied und den Anpassungsunterschied zu absorbieren, und versetzt die Extraktionsmittenposition beruhend auf den Informationen.
  • Einzelheiten der Berechnung in Schritt S3110 werden wie folgt beschrieben. Wenn sich der Benutzer gemäß Entwurfswerten in einem idealen Zustand befindet und der Kamerahauptteil 1 ideal getragen wird, sollte eine Mitte 856 des in Schritt S3108 erhaltenen Superweitwinkelbildes, das in 22C gezeigt ist, annähernd mit der Positionierungsindexmitte 852 zusammenfallen, die im Superweitwinkelbild erschienen ist. Da aber aufgrund des Körperbaus des Benutzers, usw. tatsächlich ein individueller Unterschied und ein Anpassungsunterschied besteht, passt die Mitte 856 des Superweitwinkelbildes üblicherweise nicht mit der Positionierungsindexmitte 852 zusammen.
  • Für den Benutzer sollte vorzugsweise die Extraktionsmittenposition mit einer Blickfeldmitte des Benutzers in einer aktuellen Stellung oder Bedienung (d. h., der Positionierungsindexmitte 852 in dem Superweitwinkelbild) in Übereinstimmung gebracht werden, anstatt dass sie mit der Mitte 856 des durch den Kamerahauptteil 1 gezeigten Superweitwinkelbildes in Übereinstimmung gebracht wird.
  • Folglich wird ein Abweichungsbetrag der Positionierungsindexmitte 852 von der Mitte 856 des Superweitwinkelbildes gemessen, und die Extraktionsmittenposition wird beruhend auf der Positionierungsindexmitte 852, die sich von der Mitte 856 des Superweitwinkelbildes unterscheidet, an eine Position versetzt. Ferner wird auf ähnliche Weise auch die Gesichtsrichtung versetzt, die durch die Gesichtsrichtungserfassungseinheit 20 zu diesem Zeitpunkt erfasst wird.
  • Konkrete Versetzungsverfahren werden unter Bezugnahme auf 22C und 22D beschrieben. Der Abweichungsbetrag der Positionierungsindexmitte 852 zu der Mitte 856 eines Superweitwinkelbildes wird gemessen. Und der gemessene Abweichungsbetrag wird, wie in 22C gezeigt, in einen lateralen Abweichungsbetrag 857a und einen vertikalen Abweichungsbetrag 857b eingeteilt. Beruhend auf den Abweichungsbeträgen 857a und 857b wird nach Durchführen eines geeigneten Umwandlungsprozesses, der dem Projektionsverfahren des gesamten Bildwinkels entspricht, ein Versetzungsbetrag bestimmt.
  • Wie in 22D gezeigt, kann der Versetzungsbetrag nach Anwenden des geeigneten Umwandlungsprozesses bei dem Superweitwinkelbild, der dem Prozessverfahren entspricht, bestimmt werden. Das heißt, der Abweichungsbetrag der Mitte 856a von der Positionierungsindexmitte 852 in dem Superweitwinkelbild nach Umwandlung wird gemessen. Und der Abweichungsbetrag wird in einen lateralen Abweichungsbetrag 857c und einen vertikalen Abweichungsbetrag 857d eingeteilt. Dann kann der Versetzungsbetrag beruhend auf den Abweichungsbeträgen 857c und 857d bestimmt werden.
  • Das Versetzungsverfahren kann aus den in 22C und 22D gezeigten Verfahren unter Berücksichtigung der Verarbeitungsbelastung und der Aufgabe des Kamerasystems beliebig ausgewählt werden.
  • Durch Durchführen des vorstehend beschriebenen Kalibriervorgangs für die Frontrichtung werden eine Gesichtsrichtung eines Benutzers, der den Kamerahauptteil 1 trägt, eine Blickfeldmitte in der Gesichtsrichtung in einem Superweitwinkelbild und eine durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung ungeachtet eines individuellen Unterschieds und eines Anpassungsunterschieds geeignet assoziiert.
  • Der Kalibriervorgang für die Frontrichtung wurde bisher unter den fünf Richtungen (vorne, rechts oben, rechts unten, links oben und links unten) beschrieben. Ähnliche Kalibriervorgänge müssen für die verbleibenden vier Richtungen ausgeführt werden.
  • Wenn der Prozess in Schritt S3110 in 21 abgeschlossen ist, geht der Prozess entsprechend zu Schritt S3111. Wenn es in Schritt S3111 eine Richtung unter den fünf Richtungen gibt, für die der Kalibriervorgang nicht durchgeführt wurde, wird eine Zielrichtung des Kalibriervorgangs geändert, und der Prozess kehrt zu Schritt S3103 zurück. Dadurch wird der Kalibriervorgang abgesehen von der bereits abgeschlossenen Frontrichtung für die verbleibenden vier Richtungen auf ähnliche Weise wiederholt.
  • Obwohl in 21 nicht gezeigt, wird dieser Prozess im Istzustand beendet, wenn in Schritt S3111 bestimmt wird, dass es keine Richtung gibt, für die der Kalibriervorgang nicht durchgeführt wurde.
  • 23A bis 23E zeigen Darstellungen zum Beschreiben des Kalibriervorgangs für eine rechts oben Richtung des Benutzers (der rechts oben Richtung im Superweitwinkelbild). 23A bis 23E entsprechen jeweils 22A bis 22E, und die grundlegende Arbeitsweise ist auch identisch. Entsprechend wird die übereinstimmende Beschreibung weggelassen.
  • Wie in 23A gezeigt, zeigt die Anweisungsanzeige 855 eine Zeichenkette an, die den Benutzer zum Anordnen des Positionierungsindex 851 in der Blickfeldmitte des Benutzers instruiert, wenn er sein Gesicht nach rechts oben richtet.
  • 23B zeigt eine Darstellung eines Zustands, in dem der Benutzer die Kalibriereinrichtung 850 gemäß einer durch die Anweisungsanzeige 855 in 23A gezeigten Anweisung nach rechts oben hält. 23C zeigt eine schematische Darstellung des Gesamtsuperweitwinkelbildes, das durch das Bildaufnahmeobjektiv 16 im Zustand in 23B erfasst wird.
  • Wie in 23C gezeigt, wird zuerst ein Abweichungsbetrag zwischen der Mitte 856 des Superweitwinkelbildes und der Positionierungsindexmitte 852 gemäß einem konkreten Versetzungsverfahren gemessen. Danach wird der gemessene Abweichungsbetrag in einen radialen Abweichungsbetrag 857e und einen Winkelabweichungsbetrag 857f eingeteilt. Ein Versetzungsbetrag wird auf Grundlage der Abweichungsbeträge 857e und 857f nach Durchführung eines geeigneten Umwandlungsprozesses bestimmt, der dem Projektionsverfahren des gesamten Bildwinkels entspricht.
  • Wie in 23D gezeigt, kann der Versetzungsbetrag ferner nach Anwenden des geeigneten Umwandlungsprozesses bei dem Superweitwinkelbild bestimmt werden, der dem Projektionsverfahren entspricht. Das heißt, der Abweichungsbetrag der Mitte 856a von der Positionierungsindexmitte 852 in dem Superweitwinkelbild nach Umwandlung wird gemessen. Und der Abweichungsbetrag wird in einen radialen Abweichungsbetrag 857g und einen Winkelabweichungsbetrag 857h eingeteilt. Dann kann der Versetzungsbetrag beruhend auf den Abweichungsbeträgen 857g und 857h bestimmt werden.
  • Die unter Verwendung von 22A bis 22E beschriebene Bestimmung des Versetzungsbetrags wendet das Verfahren des Einteilens des Abweichungsbetrags in den lateralen Abweichungsbetrag und den vertikalen Abweichungsbetrag an. Verglichen damit wendet die unter Verwendung von 23A bis 23E beschriebene Bestimmung des Versetzungsbetrags das Verfahren des Einteilens des Abweichungsbetrags in den radialen Abweichungsbetrag und den Winkelabweichungsbetrag an. Der Verfahrensunterschied dient lediglich der Vereinfachung der Beschreibung, und es kann jedes Verfahren angewendet werden.
  • Ferner hat die Gesichtsrichtungserfassungseinheit 20, wie in 23E gezeigt, die Kehlposition 206 und die Kinnposition 207ru erhalten, die zur Berechnung der Gesichtsrichtung beim Richten des Gesichts nach oben rechts erforderlich sind. Entsprechend kann die Gesichtsrichtung des Benutzers beim Schauen in die Richtung (in diesem Fall die rechts oben Richtung) zu der Positionierungsindexmitte 852 ungeachtet eines individuellen Unterschieds und eines Anpassungsunterschieds des Benutzers korrekt gemessen werden.
  • Wie vorstehend beschrieben werden in dem in 21 gezeigten Kalibrierungsprozess die Kalibrierungsvorgänge für die Richtungen rechts oben, rechts unten, links oben und links unten zusätzlich zur Frontrichtung durchgeführt. Dadurch kann die Gesichtsrichtungserfassungseinheit 20 die Richtung, in die sich der Benutzer dreht, korrekt erfassen, wenn der Benutzer den Kopf in eine der Richtungen oben, unten, rechts und links dreht. Der Benutzer kann dementsprechend den Kamerahauptteil 1 ungeachtet eines individuellen Unterschieds oder Anpassungsunterschieds geeignet verwenden.
  • Vorstehend wurde zur Vereinfachung der Beschreibung das Verfahren des Durchführens des Kalibriervorgangs wiederholt für die fünf Richtungen (vorne, rechts oben, rechts unten, links oben und links unten) beschrieben.
  • Der Kalibriervorgang ist aber nicht auf dieses Verfahren beschränkt. Beispielsweise kann das folgende Verfahren angewendet werden. Das heißt, ein Benutzer bewegt die Kalibriereinrichtung 850 kontinuierlich gemäß der Anweisungsanzeige 855. Gleichzeitig nimmt der Benutzer kontinuierlich den auf der Kalibriereinrichtung 850 angezeigten Positionierungsindex 851 in der Blickfeldmitte auf. Der Benutzer bewegt die Kalibriereinrichtung 850 entlang einer Z-förmigen Ortskurve, einer spiralförmigen Ortskurve, einer Polygonortskurve oder dergleichen. Bei diesem Verfahren überträgt die Anzeigevorrichtungssteuereinrichtung 801 die Kalibrieranweisungen viele Male zum Kamerahauptteil 1, während sich die Kalibriereinrichtung 850 bewegt.
  • Immer wenn die Kalibrieranweisung empfangen wird, erhält die Gesamtsteuerungs-CPU 101 die durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung und die Positionskoordinateninformationen über die Positionierungsindexmitte 852 in dem durch die Bildaufnahmeeinheit 40 aufgenommenen Superweitwinkelbild und sichert sie als Verlaufsinformationen. Danach berechnet die Gesamtsteuerungs-CPU 101 die Beziehung der Extraktionsmittenposition des Bildes und der Gesichtsrichtung des Benutzers durch Kombinieren der aus den erhaltenen Verlaufsinformationen extrahierten Informationen. Bei diesem Verfahren können die aus den Verlaufsinformationen extrahierten Informationen ferner auf die Informationen eingeschränkt werden, die erhalten werden, wenn der Benutzer den Positionierungsindex 851 anschaut. Die Informationen werden unter Verwendung der Informationen über die In-Kamera 805 und den Gesichtssensor 806 eingeschränkt, die durch die Kalibriereinrichtung 850 während der Bewegung der Kalibriereinrichtung 850 erhalten werden. Dadurch werden die Informationen, die erhalten werden, wenn der Benutzer wegsieht, nicht länger aus den Verlaufsinformationen extrahiert, was die Genauigkeit der Berechnung der Beziehung erhöht.
  • Die Anzeigevorrichtungssteuereinrichtung 801 kann ferner einen Messwert des Winkelgeschwindigkeitssensors 807 zusammen mit der Kalibrieranweisung zum Kamerahauptteil 1 übertragen. In diesem Fall erhält die Gesamtsteuerungs-CPU 101 Bewegungsinformationen, die eine Bewegungskurve der Kalibriereinrichtung 850 durch den Benutzer und die Position und Stellung der Kalibriereinrichtung 850 zeigen, aus dem übertragenen Messwert des Winkelgeschwindigkeitssensors 807. Die Bewegungsinformationen werden auch als Verlaufsinformationen gesichert. Dadurch kann der Kalibriervorgang beruhend auf den Bewegungsinformationen, die auf dem Messwert des Winkelgeschwindigkeitssensors 807 beruhen, der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung und den Positionskoordinateninformationen über die Positionierungsindexmitte 852 in dem durch die Bildaufnahmeeinheit 40 aufgenommen Superweitwinkelbild sicher und korrekt durchgeführt werden.
  • In diesem Fall sollten die Bewegungsinformationen, die auf dem Messwert des Winkelgeschwindigkeitssensors 807 beruhen, mit den Bewegungsinformationen zusammenfallen, die auf den Positionskoordinateninformationen über den Positionierungsindex 851 beruhen. Wenn der Messwert des Winkelgeschwindigkeitssensors 807 verwendet wird, muss dementsprechend die Kommunikation zwischen dem Kamerahauptteil 1 und der Kalibriereinrichtung 850 synchronisiert werden.
  • Wie vorstehend beschrieben, beschreibt das zweite Ausführungsbeispiel das Kalibrierverfahren, das die Verknüpfung der Gesichtsrichtung des Benutzers mit der Mittenposition des Zielblickfeldes 125, das in dem Superweitwinkelbild eingestellt wird, ungeachtet eines individuellen Unterschieds und eines Anpassungsunterschieds ermöglicht. Unterdessen ist die vorliegende Erfindung nicht auf die verschiedenen, im zweiten Ausführungsbeispiel beschriebenen Konfigurationen beschränkt, und innerhalb des Schutzbereichs der folgenden Erfindung sind verschiedene Abwandlungen verfügbar.
  • Als nächstes wird ein drittes Ausführungsbeispiel beschrieben. Bei dem dritten Ausführungsbeispiel wird ein Verfahren zum Verhindern einer visuell induzierten Bewegungskrankheit unter Verwendung von 24A bis 26 beschrieben, welche durch das sekundär aufgezeichnete Bild verursacht wird.
  • Dieses Ausführungsbeispiel wird grundsätzlich als Herleitung aus dem ersten Ausführungsbeispiel beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems bei dem dritten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems bei dem ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und redundante Beschreibungen sind weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Als Ergebnis des Fortschritts der Bildgebungstechnologie kann ein CG-Bild gerade wie ein fotografiertes Bild und ein mächtiges 3D-Videobild sicher genossen werden.
  • Wenn ein derartiges 3D-Videobild unterdessen ein Bild mit einer dynamischen Bewegung, wie ein VR-Videobild oder ein Bild mit viel Kamerawackeln ist, gibt es eine Tendenz, dass während der Betrachtung des Bildes eine visuell induzierte Bewegungskrankheit auftritt. Da die visuell induzierte Bewegungskrankheit ein Symptom wie eine Reisekrankheit bzw. Bewegungskrankheit verursacht, steigt das Interesse an Sicherheitsvorkehrungen.
  • Das Kamerasystem soll derart entworfen sein, dass ein Bild in einer Richtung, in die ein Benutzergesicht gerichtet ist, im Aufzeichnungsbereichsentwicklungsprozess extrahiert und unverändert entwickelt wird (Schritt S500). Wenn sich das Benutzergesicht in einem derartigen Fall während des Bildaufnahmebetriebs durch die Bildaufnahmeeinheit 40 schnell bewegt (Schritt S400), wechseln auch Bildszenen mit hoher Geschwindigkeit.
  • Obwohl dem Benutzer, der das Gesicht während des Bildaufnahmebetriebs durch die Bildaufnahmeeinheit 40 schnell bewegt, nicht übel wird, kann eine Wahrnehmungsperson, die das Bild wahrnimmt, das in Schritt S1000 sekundär aufgezeichnet wird, an der visuell induzierten Bewegungskrankheit leiden, wenn das Bild die Bildszene der schnellen Bewegung enthält.
  • Die vorstehend angeführten Veröffentlichungen offenbaren die Technik des Aufnehmens eines Bildes in einer Richtung, in die ein Gesicht gerichtet ist, offenbaren aber keine Gegenmaßnahme zu einer derartigen visuell induzierten Bewegungskrankheit. Dieses Ausführungsbeispiel stellt dementsprechend ein Kamerasystem bereit, das verhindert, dass eine Wahrnehmungsperson an der visuell induzierten Bewegungskrankheit leidet. Selbst wenn der Benutzer das Gesicht während des Bildaufnahmebetriebs durch die Bildaufnahmeeinheit 40 schnell bewegt, führt das Kamerasystem daher eine Steuerung durch, sodass das endgültige Bild keine Bildszenen enthält, die mit hoher Geschwindigkeit wechseln.
  • Wie unter Verwendung von 8H bis 8K oder 10B bis 10D beschrieben, kann sich das Benutzergesicht während des Bildaufnahmebetriebs durch die Bildaufnahmeeinheit 40 in Richtungen oben/unten/rechts/links drehen. Dementsprechend sind die Richtung und Geschwindigkeit der Bewegung des Benutzergesichts durch eine Winkelgeschwindigkeit ω dargestellt, und ihr Bewegungsbetrag ist durch einen Winkel θ dargestellt. Die Winkelgeschwindigkeit ω wird durch Teilen des durch die Gesichtsrichtungsrichtungserfassungseinheit 20 erfassten Winkels θ durch einen Erfassungszeitabschnitt berechnet.
  • Menschliche Aktionen, bei denen sich das Gesicht schnell bewegt, umfassen ein Zurückschauen, einen Streifblick, eine Bewegungsobjektbeobachtung, usw.
  • Das Zurückschauen ist eine Aktion, dass eine Person zurückschaut, beispielsweise wenn ein lautes Geräusch auftritt. Der Streifblick ist eine Aktion, dass eine Person auf einmal etwas ansieht, das in einem Bildfeld eine lästige Änderung verursacht hat, und das Gesicht dann zu der vorhergehenden Position zurückkehrt, da dies nahezu uninteressant ist. Die Bewegungsobjektbeobachtung ist eine Aktion, bei der eine Person ein sich bewegendes Objekt kontinuierlich betrachtet, wie einen Vogel und einen Drachen, die frei am Himmel fliegen.
  • Wenn eine derartige Aktion während des Bildaufnahmebetriebs durch die Bildaufnahmeeinheit 40 auftritt, und wenn ein Bild in einer Richtung, in die das Benutzergesicht gerichtet ist, extrahiert und in dem Aufzeichnungsbereichsentwicklungsprozess unverändert entwickelt wird, kann eine Wahrnehmungsperson, die ein fertiges Bild wahrnimmt, wie vorstehend angeführt, an der visuell induzierten Bewegungskrankheit leiden.
  • Dementsprechend bestimmt die Gesamtsteuerungs-CPU 101, dass die Aktion, bei der sich das Gesicht schnell bewegt (Zurückschauen oder Streifblick oder Bewegungsobjektbeobachtung), auftritt, wenn der Zustand, in dem die Winkelgeschwindigkeit ω gleich einem oder größer als ein Schwellenwert ω0 ist, über eine erste vorbestimmte Zeit hinaus beibehalten wird. Wenn die Gesamtsteuerungs-CPU 101 gemäß einem später unter Verwendung von 25A und 25B beschriebenen Verfahren bestimmt, dass die aufgetretene Aktion weder der Streifblick noch die Bewegungsobjektbeobachtung ist, bestimmt die Gesamtsteuerungs-CPU 101 ferner, dass die Aktion das Zurückschauen ist. In diesem Fall extrahiert die Gesamtsteuerungs-CPU 101 in dem Aufzeichnungsbereichsentwicklungsprozess das Bild in der Richtung, in die das Gesicht des Benutzers gerichtet ist, nicht unmittelbar. Stattdessen verzögert die Gesamtsteuerungs-CPU 101 die Extraktion des Bildes hinsichtlich der Bewegung des Gesichts des Benutzers (Verzögerungsextraktion).
  • Bei diesem Ausführungsbeispiel ist der Schwellenwert ω0 auf n/8 rad/s eingestellt. Dabei handelt es sich um eine Geschwindigkeit, bei der sich ein Gesicht von vorne (0°) zu der geraden Seite (90°) in vier Sekunden dreht. Unterdessen ist der Schwellenwert ω0 nicht auf n/8 rad/s beschränkt. Der Schwellenwert ω0 kann beispielsweise beruhen auf der Bildwechselfrequenz n fps auf (n·π) / x rad/s (x ist ein beliebiger Wert) eingestellt werden.
  • Die Winkelgeschwindigkeit ωn kann durch die folgende Formel 200 beruhend auf dem Winkel θn und einer erhaltenen Zeit tn des Bildes des aktuellen Rahmens n und dem Winkel θn-1, und einer erhaltenen Zeit tn-1 des Bildes des vorhergehenden Rahmens n-1 berechnet werden. ω n = θ n − θ n − 1 t n − t n − 1
    Figure DE102022105788A1_0002
  • Unterdessen kann die Winkelgeschwindigkeit ω ein arithmetisches Mittel von Winkelgeschwindigkeiten von x-Rahmen von der Winkelgeschwindigkeit ωn-x des Rahmens n-x bis zur Winkelgeschwindigkeit ωn des aktuellen Rahmens n sein.
  • Obwohl der vorbestimmte Zeitabschnitt bei diesem Ausführungsbeispiel auf 0,2 Sekunden eingestellt ist, ist er ferner nicht auf diesen Wert beschränkt.
  • Nachstehend wird die Verzögerungsextraktion in einem Fall, in dem der Benutzer zurückschaut, unter Verwendung von 24A, 24B und 24C beschrieben.
  • Obwohl die Beschreibungen unter Verwendung von 11A bis 11F und 12A bis 12G beim ersten Ausführungsbeispiel die Verzerrung berücksichtigen, wird bei diesem Ausführungsbeispiel die Verzerrung des Bildaufnahmeobjektivs 16 zur Vereinfachung der Beschreibung nicht berücksichtigt. Ferner wird in der folgenden Beschreibung angenommen, dass der Kalibrierprozess des zweiten Ausführungsbeispiels bei Bildern von Rahmen angewendet wurde, und eine Mitte eines Bildes jedes Rahmens mit einer Blickfeldmitte eines Benutzers beim Aufnehmen des Bildes übereinstimmt. Zum Beschreiben eines Falls, in dem sich ein Gesicht zu einer geraden Seite dreht, wird ein Fall als Beispiel beschrieben, in dem Lichtstrahlen innerhalb des maximalen Bildwinkels 192° zu dem Festkörperbildsensor 42 projiziert werden.
  • Ein Bereich 4000 gibt den Bildelementbereich an, der durch den Festkörperbildsensor 42 aufgenommen werden kann. Ein Bild 4001 (24A und 24B) ist ein Bild des Rahmens fn, das als das Zielblickfeld 125 in der Richtung extrahiert wird, in die sich das Gesicht aktuell richtet.
  • Ein Bild 4002 (24A und 24B) ist ein Bild des Rahmens fn-1, das als das Zielblickfeld 125 in der Richtung extrahiert wird, in die das Gesicht zur vorhergehenden Zeit gerichtet war.
  • Nachstehend gibt ein Wert d eine Entfernung 4010 (24A) von der Mitte des Bildes 4002 des Rahmens fn-1 zu der Mitte des Bildes 4001 des Rahmens fn an.
  • Ein Bild 4003 (24B) wird aus dem in den Bereich 4000 projizierten Bild als ein Bild eines Verzögerungsextraktionsrahmens f'n in einem Fall extrahiert, in dem die Winkelgeschwindigkeit ω des Gesichts, die auf der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung beruht, gleich dem oder größer als der Schwellenwert ω0 ist.
  • Nachsehend gibt ein Wert d' eine Entfernung 4011 zwischen der Mitte des Bildes 4002 des Rahmens fn-1 und der Mitte des Bildes 4003 des Verzögerungsextraktionsrahmens f'n an.
  • Ein Wert d" ist eine Verzögerungsentfernung 4012 von der Mitte des Bildes 4001 des Rahmens fn zur Mitte des Bildes 4003 des Rahmens f'n. Zu diesem Zeitpunkt ist der Wert d der Entfernung 4010 größer als der Wert d' der Entfernung 4011 (d>d').
  • Als nächstes wird ein Verfahren zur Bestimmung des Wertes d' unter Verwendung von 24C beschrieben. Nachstehend wird ein Fall beschrieben, bei dem ein Benutzer das Gesicht von vorne (Beobachtungsrichtung vo (Vektorinformationen (0°, 0°)) schnell nach rechts zur geraden Seite (90°) bewegt. In diesem Fall wird zuerst ein Bild 4021 eines Rahmens fn erhalten, das extrahiert wird, wenn das Gesicht nach vorn gerichtet ist (Beobachtungsrichtung vo (Vektorinformationen (0°, 0°)). Nach einem kurzen Zeitabschnitt wird ein Bild 4022 eines Rahmens fn+x erhalten, das extrahiert wird, wenn das Gesicht nach rechts zur geraden Seite (90°) gerichtet ist.
  • Zum Verhindern der visuell induzierten Bewegungskrankheit sei es erforderlich, dass zumindest t Sekunden (beispielsweise 4 Sekunden) zum Drehen des Gesichts von vorne zur geraden rechten Seite (90°) aufgebracht werden müssen. Wenn die Bildwechselfrequenz des Bildes n fps (beispielsweise 30 fps) beträgt, wird die Entfernung d' durch die folgende Gleichung erhalten. d ' = ƒ n + x − ƒ n n ⋅ t
    Figure DE102022105788A1_0003
  • Wenn die Entfernung d" von dem Rahmen fn zu dem Rahmen f'n unterdessen größer wird, wird das Objekt, das der Benutzer betrachtet, eventuell im Rahmen fn nicht aufgenommen, da die Gesichtsrichtung von der Aufzeichnungsrichtung verschieden ist.
  • Wenn der Verzögerungszeitabschnitt gleich einem oder größer als ein vorbestimmter Zeitabschnitt Thdelay (zweite vorbestimmte Zeit) wird, wird die Verzögerungsextraktion gestoppt und eine Extraktion einer Richtung gestartet, in die das Gesicht aktuell gerichtet ist (die als aktuelle Gesichtsrichtung bezeichnet wird).
  • Der Verzögerungszeitabschnitt ist eine Differenz zwischen einer Startzeit t0, zu der die Verzögerung startet (Schritt S4211 in 26), und einer aktuellen Zeit tn (Schritt S4213 in 26), zu der sich das Gesicht kontinuierlich bewegt.
  • Obwohl der vorbestimmte Wert Thdelay bei diesem Ausführungsbeispiel auf 1 Sekunde eingestellt ist, ist er nicht auf 1 Sekunde beschränkt. Der vorbestimmte Wert Thdelay kann beispielsweise beruhend auf der Bildwechselfrequenz n fps auf 20/n Sekunden eingestellt werden. Wenn der vorbestimmte Wert Thdelay 20/n Sekunden beträgt, wird der vorbestimmte Wert Thdelay mit größerer Bildwechselfrequenz kleiner. Da die Möglichkeit der visuell induzierten Bewegungskrankheit mit größer werdender Bildwechselfrequenz kleiner wird, kann der Prozess in einem kurzen Verzögerungszeitabschnitt zu der Extraktion der aktuellen Gesichtsrichtung zurückkehren.
  • Wenn unterdessen die Verzögerungsextraktion gestoppt ist und die Extraktion der aktuellen Gesichtsrichtung neu gestartet wird, ändert sich plötzlich die Bildszene. Da ein derartiger plötzlicher Wechsel der Bildszene für den Benutzer einen unnatürlichen Eindruck verursacht, können Bildeffekte, wie ein Ausblenden und Einblenden angewendet werden.
  • Des Weiteren wird die Ortskurve der aktuellen Gesichtsrichtung gesichert, sodass die Extraktion der aktuellen Gesichtsrichtung neu gestartet werden kann. Die gesicherte Ortskurve der Gesichtsrichtung in einem Fall, in dem bestimmt wird, dass der Benutzer einen Streifblick durchführt, wird unter Verwendung von 25A beschrieben.
  • Der Prozess, der die Verzögerungsextraktion stoppt und die Extraktion der aktuellen Gesichtsrichtung neu startet, wird ausgeführt, wenn der Verzögerungszeitabschnitt gleich dem oder größer als der vorbestimmte Wert Thdelay wird, wie es vorstehend beschrieben ist. Außerdem wird der Prozess auch im Fall eines Streifblicks ausgeführt, d. h., im Fall, in dem der Benutzer die Gesichtsrichtung auf einmal in eine bestimmte Richtung ändert und sofort zur vorhergehenden Richtung zurückkehrt.
  • 25A zeigt die Darstellung des Beispiels der Ortskurve der Gesichtsrichtung in einem Fall, in dem der Benutzer einen Streifblick ausführt. Eine Mittenposition 4101 eines Bildes eines Rahmens fn-3 fällt mit der Blickfeldmitte des Benutzers zu Beginn der Bewegung des Gesichts zusammen. Danach bewegt sich die Blickfeldmitte des Benutzers sequenziell zu Mittenpositionen 4102, 4103 und 4104 von Bildern von Rahmen fn-2, fn-1 und fn. Nachstehend wird eine derartige Bewegung der Blickfeldmitte des Benutzers Gesichtsbewegungsvektor genannt.
  • Die Blickfeldmitte des Benutzers hält an der Mittenposition 4104 für eine Weile an, bewegt sich dann zu Mittenpositionen 4105, 4106 und 4107 von Bildern von Rahmen fnx+1, fnx+2 und fnx+3 und hält an der Mittenposition 4107 des Bildes des Rahmens fnx+3 an. Das heißt, die Richtung des Gesichtsbewegungsvektors von der Position 4101 zu der Position 4104 ist entgegengesetzt zu der Richtung des Gesichtsbewegungsvektors von der Position 4104 zu der Position 4107.
  • Wenn Rahmengruppen, deren Bewegungsvektoren untereinander entgegengesetzt sind, erfasst werden, wie es in 25A als Beispiel dargestellt ist, bestimmt die Gesamtsteuerungs-CPU 101, dass die Rahmengruppen dem Streifblick entsprechen.
  • In diesem Fall führt die Gesamtsteuerungs-CPU 101 die Verzögerungsextraktion von der Position 4104, an der die Bewegung des Gesichts startet, zu der Position 4104 durch, an der die entgegengesetzte Bewegung des Bewegungsvektors beginnt. Der Grund dafür ist, dass die Position 4101 als Position eines Objekts betrachtet wird, auf das der Benutzer schauen möchte.
  • Nach Durchführen der Verzögerungsextraktion bei der Position 4101 stoppt die Gesamtsteuerungs-CPU 101 die Verzögerungsextraktion und startet die Extraktion der aktuellen Gesichtsrichtung an der Position 4107 neu, an der die Bewegung des Gesichts anhält.
  • Wenn ferner ein Körper in der Nähe der Mitte des Betrachtungsfeldes in der Gesichtsrichtung während der Bewegung des Benutzergesichts erfasst wird, und wenn der Körper seine Position nahe der Mitte des Beobachtungsfeldes in der Gesichtsrichtung beibehält, bestimmt die Gesamtsteuerungs-CPU 101 ferner, dass der Benutzer ein sich bewegendes Objekt betrachtet. In diesem Fall wird bei diesem Ausführungsbeispiel die Verzögerungsextraktion nicht durchgeführt.
  • 25B zeigt eine Darstellung von Beispielen von Bildern von Rahmen eines Falls, in dem der Benutzer ein sich bewegendes Objekt beobachtet. Eine Mittenposition eines Bildes 4121 eines Rahmens fn-3 stimmt beim Start der Bewegung des Gesichts mit der Blickfeldmitte des Benutzers überein. Danach bewegt sich die Blickfeldmitte des Benutzers zu Mittenpositionen von Bildern 4122, 4123, 4124, 4125 und 4126 von Rahmen fn, fn+1, fn+2, fn+3 und fn+4.
  • Wenn erfasst wird, dass dasselbe Objekt seine Position nahe den Mitten von Bildern kontinuierlicher Rahmen beibehält, wie es in 25B veranschaulicht ist, bestimmt die Gesamtsteuerungs-CPU 101, dass die Rahmen zu einer Rahmengruppe der Bewegungsobjektbeobachtung gehören.
  • In diesem Fall führt die Gesamtsteuerungs-CPU 101 die Verzögerungsextraktion nicht durch. Der Grund dafür ist, dass die Verzögerungsextraktion während der Bewegungsobjektbeobachtung die Wahrscheinlichkeit erhöht, dass ein Objekt in einem Bild nicht erfasst wird.
  • Wenn eine Wahrnehmungsperson das Video der Bilder 4121 bis 4126 wahrnimmt, die im Ansprechen auf die schnelle Bewegung des Benutzergesichts während der Bewegungsobjektbeobachtung extrahiert werden, kann die Wahrnehmungsperson an der visuell induzierten Bewegungskrankheit leiden. Die Gesamtsteuerungs-CPU 101 führt daher die Bildextraktion hinsichtlich der Rahmengruppe der Bewegungsobjektbeobachtung nicht durch und zeichnet ein Bild des gesamten Bildelementbereichs 4000 auf, der durch den Festkörperbildsensor 42 erfasst werden kann.
  • Es wird angemerkt, dass blinde Zonen genannte Spielräume dem Schwellenwert ω0, dem vorbestimmten Abschnitt und dem vorbestimmten Wert Thdelay zugewiesen werden können.
  • Als nächstes wird ein Visuell-Induzierte-Bewegungskrankheit-Verhinderungsprozess gemäß diesem Ausführungsbeispiel unter Verwendung eines Ablaufdiagramms in 26 beschrieben. Es wird angemerkt, dass dieser Prozess immer dann ausgeführt wird, wenn die Bildaufnahmeeinheit 40 ein Rahmenbild in Schritt S400 während des Videobildaufnahmebetriebs aufnimmt.
  • In Schritt S4201 erhält die Gesamtsteuerungs-CPU 101 die Gesichtsrichtung (Beobachtungsrichtung), die im Primärspeicher 103 im Gesichtsrichtungserfassungsprozess aufgezeichnet wird, der für den aktuellen Rahmenbildaufnahmevorgang ausgeführt wird.
  • In Schritt S4202 erhält die Gesamtsteuerungs-CPU 101 die Position und Größe (Extraktionsbereich) des Bildaufzeichnungsrahmens, die in dem für den aktuellen Rahmenbildaufnahmevorgang ausgeführten Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess im Primärspeicher 103 aufgezeichnet werden.
  • In Schritt S4203 berechnet die Gesamtsteuerungs-CPU (eine Berechnungseinheit) die Winkelgeschwindigkeit ω des Gesichts beruhend auf der in Schritt S4201 erhaltenen Gesichtsrichtung des aktuellen Rahmenbildaufnahmevorgangs, der Gesichtsrichtung des vorhergehenden Rahmenbildaufnahmevorgangs, die im Primärspeicher 103 gespeichert ist, und der Bildwechselfrequenz. Danach bestimmt die Gesamtsteuerungs-CPU 101, ob das Gesicht beginnt, sich mit der Winkelgeschwindigkeit ω über den Schwellenwert ω0 hinaus zu bewegen.
  • Insbesondere dann, wenn das Gesicht des Benutzers beginnt, sich mit der Winkelgeschwindigkeit ω über den Schwellenwert ω0 über einen vorbestimmten Zeitabschnitt (0,2 Sekunden) hinaus zu bewegen, bestimmt die Gesamtsteuerungs-CPU 101, dass das Gesicht beginnt, sich mit der Winkelgeschwindigkeit ω über dem Schwellenwert ω0 zu bewegen. Wird bestimmt, dass das Gesicht beginnt sich zu bewegen (JA in Schritt S4203), geht der Prozess zu Schritt S4204. Ansonsten (NEIN in Schritt S4203) kehrt der Prozess zu Schritt S4201 zurück. Das heißt, selbst wenn sich das Gesicht des Benutzers mit der Winkelgeschwindigkeit ω über dem Schwellenwert ω0 bewegt, kehrt der Prozess zu Schritt S4201 zurück, wenn der Zeitabschnitt kleiner als der vorbestimmte Zeitabschnitt ist (kleiner als ein erster vorbestimmter Zeitabschnitt ist). Wenn die Winkelgeschwindigkeit des Gesichts in Schritt S4203 ferner nicht berechnet werden kann, da die Gesichtsrichtung bei dem vorhergehenden Rahmenbildaufnahmevorgang nicht im Primärspeicher 103 gespeichert ist, kehrt der Prozess zu Schritt S4201 zurück.
  • In Schritt S4204 bestimmt die Gesamtsteuerungs-CPU 101 beruhend auf der in Schritt S4203 berechneten Winkelgeschwindigkeit ω des Gesichts, ob sich das Gesicht mehr als der vorbestimmte Winkel bewegt hat. Wird bestimmt, dass sich das Gesicht bewegt hat (JA in Schritt S4204), geht der Prozess zu Schritt S4206. Ansonsten (NEIN in Schritt S4204) geht der Prozess zu Schritt S4205. Es wird angemerkt, dass die Gesamtsteuerungs-CPU 110 in Schritt S4204 bestimmen kann, ob sich das Gesicht mit der Winkelgeschwindigkeit über der vorbestimmten Winkelgeschwindigkeit über den vorbestimmten Zeitabschnitt (0,2 Sekunden) hinaus bewegt hat.
  • In Schritt S4205 bestimmt die Gesamtsteuerungs-CPU 101 beruhend auf der in Schritt S4203 berechneten Winkelgeschwindigkeit ω des Gesichts, ob die Bewegung des Gesichts gestoppt hat. Wird bestimmt, dass die Bewegung gestoppt hat (JA in Schritt S4205), kehrt der Prozess zu Schritt S4201 zurück. Ansonsten (NEIN in Schritt S4205) kehrt der Prozess zu Schritt S4204 zurück.
  • In Schritt S4206 bestimmt die Gesamtsteuerungs-CPU 101, ob sich das aufgenommene Objekt bewegt, d. h., bestimmt, ob der Benutzer ein sich bewegendes Objekt betrachtet. Wird bestimmt, dass sich das Objekt bewegt (JA in Schritt S4206), geht der Prozess zu Schritt S4207. Ansonsten (NEIN in Schritt S4206) geht der Prozess zu Schritt S4208.
  • In Schritt S4207 bestimmt die Gesamtsteuerungs-CPU 101, den Ausschnittentwicklungsprozess in dem Aufzeichnungsbereichsentwicklungsprozess des aktuellen Rahmens nicht durchzuführen, und den Entwicklungsprozess von Gesamtbereich-RAW-Daten durchzuführen, die von dem gesamten Bereich des Festkörperbildsensors 42 erhalten werden. Dann geht der Prozess zu Schritt S4205.
  • In Schritt S4208 speichert die Gesamtsteuerungs-CPU 101 die Gesichtsrichtung bei dem aktuellen Rahmenbildaufnahmevorgang, die in Schritt S4201 erhalten wird, im Primärspeicher 103. Dann geht der Prozess zu Schritt S4209.
  • In Schritt S4209 bestimmt die Gesamtsteuerungs-CPU (eine Verzögerungseinheit) 101, den Ausschnittentwicklungsprozess (die Verzögerungsextraktion) bei dem Aufzeichnungsbereichsentwicklungsprozess des aktuellen Rahmens über den Extraktionsbereich durchzuführen, der an der Position zentriert ist, die aus der Gesichtsrichtung des vorhergehenden Rahmens um die Entfernung d verschoben ist. Danach geht der Prozess zu Schritt S4210.
  • In Schritt S4210 bestimmt die Gesamtsteuerungs-CPU 101, ob die im Primärspeicher 103 gespeicherte Startzeit t0 des Zeitabschnitts gelöscht ist. Wird bestimmt, dass die Startzeit gelöscht ist (JA in Schritt S4210), geht der Prozess zu Schritt S4211. Ansonsten (NEIN in Schritt S4210) geht der Prozess zu Schritt S4212.
  • In Schritt S4211 speichert die Gesamtsteuerungs-CPU 101 eine aktuelle Zeit als Startzeit t0 im Primärspeicher 103. Dann geht der Prozess zu Schritt S4212.
  • In Schritt S4212 bestimmt die Gesamtsteuerungs-CPU 101 beruhend auf der in Schritt S4203 berechneten Winkelgeschwindigkeit ω des Gesichts, ob die Bewegung des Gesichts gestoppt hat, bevor der Verzögerungszeitabschnitt den vorbestimmten Wert Thdelay erreicht. Wird bestimmt, dass die Bewegung gestoppt hat (Nein in Schritt S4212), geht der Prozess zu Schritt S4215. Ansonsten (NEIN in Schritt S4212) geht der Prozess zu Schritt S4213.
  • In Schritt S4213 speichert die Gesamtsteuerungs-CPU 101 die aktuelle Zeit als Zeit tn im Primärspeicher 103. Dann geht der Prozess zu Schritt S4214.
  • In Schritt S4214 berechnet die Gesamtsteuerungs-CPU 101 den Verzögerungszeitabschnitt durch Subtrahieren der Startzeit t0 von der Zeit tn, die im Primärspeicher 103 gespeichert sind, und bestimmt, ob der Verzögerungszeitabschnitt gleich dem oder größer als der vorbestimmte Zeitabschnitt Thdelay ist. Wenn der Verzögerungszeitabschnitt gleich dem oder größer als der vorbestimmte Zeitabschnitt Thdelay ist (JA in Schritt S 4214), geht der Prozess zu Schritt S4215. Ansonsten (NEIN in Schritt S214) kehrt der Prozess zu Schritt S4206 zurück.
  • In Schritt S4215 löscht die Gesamtsteuerungs-CPU 101 die im Primärspeicher 103 gespeicherte Startzeit t0. Dann geht der Prozess zu Schritt S4216. In Schritt S4216 bestimmt die Gesamtsteuerungs-CPU 101 beruhend auf der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung eine Aufzeichnungsrichtung und einen Bildwinkel durch die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30. Dann geht der Prozess zu Schritt S4217.
  • In Schritt S4217 setzt die Gesamtsteuerungs-CPU 101 ein Flag für Metadaten des aktuellen Rahmens. Dann kehrt der Prozess zu Schritt S4201 zurück. Das bei den Metadaten gesetzte Flag wird zur Bestimmung von Zeitpunkten von Bildeffekten (Blendeffekten), wie vorstehend angeführtes Einblenden und Ausblenden, in dem in Schritt S1000 im ersten Ausführungsbeispiel beschriebenen Sekundäraufzeichnungsprozess verwendet.
  • Wie vorstehend beschrieben, wird bei diesem Ausführungsbeispiel dann, wenn die Winkelgeschwindigkeit ω des Gesichts über den Schwellenwert ω0 hinausgeht, der Rahmen in der Gesichtsrichtung nicht wie er ist extrahiert, und der Rahmen wird gemäß der Bewegung des Gesichts extrahiert. Dadurch wird die visuell induzierte Bewegungskrankheit reduziert.
  • Als nächstes wird ein viertes Ausführungsbeispiel beschrieben. Bei dem vierten Ausführungsbeispiel wird unter Verwendung von 27A, bis 27F, 28A und 28B beschrieben, wie der Extraktionsbereich eines Bildes in Abhängigkeit von der Bewegungsgeschwindigkeit der Orientierung eines Benutzergesichts korrigiert wird.
  • Dieses Ausführungsbeispiel wird grundlegend als Abwandlung von dem ersten Ausführungsbeispiel beschrieben. Demnach sind Konfigurationen des Kamerasystems im vierten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben und eine redundante Beschreibung ist weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Zuerst wird eine Aktion einer Person zum Ändern einer Beobachtungsrichtung beschrieben. Wenn eine Person ein interessantes Element in einem Peripheriereich eines Blickfeldes findet, der von der Mitte des Blickfeldes abweicht, und eine Beobachtungsrichtung zu dem Element richtet, bewegt sich zuerst das Gesicht und der Körper folgt, nachdem die Bewegung des Gesichts einen bestimmten Betrag überschreitet.
  • Das heißt, in diesem Fall ändert sich die Richtung des Bildaufnahmeobjektivs 16 der Bildaufnahme-/Erfassungseinheit 10 (10A) vor den Schlüsselbeinen nicht, während bei einer anfänglichen Bewegung lediglich das Gesicht die Orientierung ändert. Danach, wenn der Benutzer beginnt, eine Orientierung des gesamten Körpers zu ändern, bewegt sich auch die Richtung des Bildaufnahmeobjektivs 16 des Kamerahauptteils 1. In der folgenden Beschreibung wird dieses charakteristische Merkmal einer menschlichen Aktion vorausgesetzt.
  • Wenn die Gesichtsrichtungserfassungseinheit 20 eine Gesichtsrichtung erfasst, tritt des Weiteren ein Erfassungsfehler aufgrund einer Schwankung auf. Wenn eine Extraktionsposition eines Bildes beruhend auf dem Erfassungsergebnis der Gesichtsrichtung berechnet wird, das die Schwankung enthält, erscheint in einem in Schritt S1000 sekundär aufgezeichneten Videobild eine Unschärfe wie ein Ergebnis eines Kamerawackeins, was das Erscheinungsbild verschlechtert. Demnach wird eine kleine Schwankung durch Anwenden eines Tiefpassfilters bei dem Erfassungsergebnis der Gesichtsrichtung zum Korrigieren eines leichten Erfassungswackelns beseitigt.
  • Falls die Gesichtsrichtung ferner einer Momentanbewegung folgend (beispielsweise eines rechts und links Prüfens während des Hinuntergehens auf einer öffentlichen Straße) erfasst wird, tendiert ein in Schritt S1000 sekundär aufgezeichnetes Videobild dazu, die visuell induzierte Bewegungskrankheit zu verursachen. Dementsprechend wird bei diesem Ausführungsbeispiel ein Prozess angewandt, der eine leichte Bewegungskomponente der Gesichtsrichtung, die durch Folgen einer Momentanbewegung für ungefähr 1 bis 2 Sekunden erfasst wird, beseitigt (glättet). Dadurch wird das Erscheinungsbild des in Schritt S1000 sekundär aufgezeichnete Videobildes verbessert.
  • Als nächstes wird eine Übersicht über einen Extraktionsbereichskorrekturprozess bei diesem Ausführungsbeispiel unter Verwendung von 27A bis 27F beschrieben.
  • Eine horizontale Achse jeder in 27A bis 27F gezeigten Kurve gibt die vergangene Zeit an. Eine vertikale Achse in 27A gibt eine Winkelbewegung einer tatsächlichen Betrachtungsmitte an. Vertikale Achsen in 27B und 27C geben einen Winkel einer Gesichtsrichtung an. Eine vertikale Achse in 27D gibt einen Winkel einer Richtung des Bildaufnahmeobjektivs 16 an. Und vertikale Achsen in 27E und 27F geben einen Winkel einer Extraktionsposition an. Es wird angemerkt, dass die Oben-Richtung in der vertikalen Achse die Rechts-Richtung zeigt.
  • 27A zeigt eine Kurve einer Bewegung einer tatsächlichen Beobachtungsmitte (Gesichtsrichtung). Der Winkel der vertikalen Achse in 27A gibt eine Gesichtsrichtung eines Benutzers hinsichtlich eines festen Orts, wie einer Bodenoberfläche (eines Bodenstandards) an, und gibt keinen Winkel an, der eine durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung zeigt. Das heißt, die Kurve in 27A zeigt, dass der Benutzer zu Beginn nach vorne schaut und bei ungefähr 1 Sekunde damit beginnt, sein Gesicht nach rechts zu drehen.
  • 27B zeigt eine Kurve des Erfassungsergebnisses (der Beobachtungsrichtung vi) der Gesichtsrichtungserfassungseinheit 20. Der Grund dafür, warum die das Erfassungsergebnis in 27B zeigende Linie nicht glatt ist, liegt darin, dass das Erfassungsergebnis eine Schwankung aufgrund eines Erfassungsfehlers wie vorstehend beschrieben enthält. Entsprechend wird bei diesem Ausführungsbeispiel bei dem Erfassungsergebnis der Gesichtsrichtungserfassungseinheit 20 ein Tiefpassfilter angewendet.
  • Des Weiteren wird auch ein Prozess durchgeführt, der eine schnelle Änderung der Gesichtsrichtung beseitigt (glättet), die durch Folgen einer Momentanbewegung des Gesichts erfasst wird. 27B zeigt keine derartige schnelle Änderung.
  • 27C zeigt eine Kurve eines Ergebnisses des Glättens, das durch Anwenden des Tiefpassfilters bei dem Erfassungsergebnis der Gesichtsrichtungserfassungseinheit 20 in 27B erhalten wird. Wie in 27C gezeigt, ändert sich die das Erfassungsergebnis in 27B zeigende Linie durch Anwenden des Tiefpassfilters in die glatte Linie. Unterdessen wird infolge des Anwendens dieses Filters das Drehen des Gesichts von vorne nach rechts bei ungefähr 2 Sekunden in 27C erfasst. Das heißt, in der Kurve in 27C ist eine Verzögerung (Zeitverzögerung) zu der Kurve in 27B aufgetreten, die der Bewegung in 27A direkt entspricht. Es wird angemerkt, dass der Winkel der vertikalen Achsen in 27B und 27C einen Winkel von der Richtung des Bildaufnahmeobjektivs (der Kamerahauptteil 1 ist der Standard) zeigt, und kein Winkel des Bodenstandards in 27A ist.
  • Des Weiteren stuft sich in 27B eine Neigung ab ungefähr 4 Sekunden verglichen mit 27A ab. Das bedeutet, dass sich die Bewegungsgeschwindigkeit der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung relativ verlangsamt, da der Kamerahauptteil 1 (die Richtung des Bildaufnahmeobjektivs 16) ab ungefähr 4 Sekunden wie in 27D damit beginnt, sich mit dem Körper des Benutzers zu bewegen.
  • 27E zeigt ein Ergebnis eines einfachen Additionsverfahrens, das die Extraktionsposition (das heißt, die Beobachtungsrichtung als die Mitte des Zielblickfeldes 125) durch Addieren des Bewegungsbetrags des Kamerahauptteils (27D) zu dem Gesichtsrichtungserfassungsergebnis (27C) berechnet, das durch Anlegen des Tiefpassfilters geglättet ist. Wenn die Extraktionsposition aber durch dieses einfache Additionsverfahren berechnet wird, folgt die Ausschnittposition der Bewegung der tatsächlichen Beobachtungsmitte nicht. Dementsprechend enthält das im Sekundäraufzeichnungsprozess fertiggestellte Videobild eine Szene, in der sich ein Schwenk ab ungefähr 4,5 Sekunden, ab da, wenn die Bewegung des Hauptteils beginnt, plötzlich beschleunigt.
  • Das heißt, zum Beseitigen eines Unbehagens hinsichtlich der Bewegung der tatsächlichen Beobachtungsmitte wird vorzugsweise die Extraktionsposition (ein Erwartungswert) derart berechnet, dass der Schwenk ungefähr konstant gehalten wird, wie es in 27F gezeigt ist.
  • Bei diesem Ausführungsbeispiel wird die Extraktionsposition dementsprechend zum Vermeiden der Szene berechnet, bei der ein Schwenk plötzlich beschleunigt, wie es in 29E gezeigt ist. Wenn es zwei Bewegungsgeschwindigkeiten (0°/s und 10°/s) der Extraktionsposition gibt, wie es in 27F gezeigt ist, wird der in 27F gezeigte Erwartungswert durch Addieren des Bewegungsbetrags des Kamerahauptteils 1 in 27D zu einem Zeitpunkt, der um die Zeitverzögerung (1 Sekunde bei diesem Ausführungsbeispiel) vorhergeht, zu dem Gesichtsrichtungserfassungsergebnis in 27c berechnet. Tatsächlich ist die Bewegungsgeschwindigkeit der Extraktionsposition nicht auf die vorstehenden zwei Arten beschränkt und ändert sich nach und nach. Das heißt, die Beobachtungsrichtung wird nicht plötzlich beschleunigt und wird nicht plötzlich gestoppt. Eine Verlangsamung geschieht allmählich. Der Erwartungswert kann aber gemäß dem vorstehend beschriebenen Berechnungsverfahren keine allmähliche Verlangsamungskurve aufzeigen. Wenn die Bewegung des Kamerahauptteils 1 stoppt, werden bei diesem Ausführungsbeispiel folglich die Bewegungsgeschwindigkeiten der Extraktionsposition innerhalb eines Zeitabschnitts vom Beginn bis zum Stopp der Bewegung der Beobachtungsrichtung oder innerhalb eines vergangenen bestimmen Zeitabschnitts unter mehreren Rahmen aufgeteilt, so dass der Erwartungswert eine allmähliche Verlangsamungskurve zeigen wird.
  • Nachstehend wird der Extraktionsbereichskorrekturprozess bei diesem Ausführungsbeispiel unter Verwendung der Ablaufdiagramme in 28A und 28B der Reihe nach beschrieben. Nachstehend ist die Beschreibung der gleichen Abschnitte wie bei dem ersten bis dritten Ausführungsbeispiel vereinfacht oder wird weggelassen.
  • 28A zeigt das Ablaufdiagramm einer Unterroutine des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A gemäß diesem Ausführungsbeispiel.
  • In Schritt S4000a wir die durch den Gesichtsrichtungserfassungsprozess in Schritt S200 erhaltene Beobachtungsrichtung vi unter Verwendung des Tiefpassfilters (einer Glättungseinheit) geglättet. Wie vorstehend unter Verwendung von 27B beschrieben, geschieht dies, weil die Beobachtungsrichtung vi eine Schwankung aufgrund eines Erfassungsfehlers aufweist. Das Tiefpassfilter verwendet einen einfachen Bewegungsmittelwert von mehreren vergangenen Zeiten, beispielsweise 5 bis 10 Zeiten. Zu diesem Zeitpunkt wird die Verzögerung der Nachführung, wenn sich die Gesichtsrichtung bewegt, größer, wenn sich die Zeiten für den Mittelwert erhöhen. Wenn der Benutzer das Gesicht nach rechts dreht und unmittelbar nach links dreht, wird die Beobachtungsrichtung vi beim Drehen ganz nach rechts ferner eventuell nicht erfasst.
  • Da ein Mischzustand eines Erfassungsfehlers von einem Erfassungsverfahren abhängt, kann ein Grad des Glättens ferner gemäß einem Erfassungsverfahren geändert werden. Ein Anwendungsverfahren des Tiefpassfilters in der vertikalen Richtung kann aus dem in lateraler Richtung geändert werden.
  • Vom Gesichtspunkt des Speicherns einer Benutzererfahrung als Bild muss ferner eine Momentanbewegung eines Gesichts in vielen Fällen nicht aufgezeichnet werden. Beispielsweise hat der Benutzer beim Gehen wie vorstehend angeführt keine Wahl, sondern muss sich nach rechts und links absichern. Ein zu diesem Moment aufgenommenes Bild muss nicht aufgezeichnet werden. Bei diesem Ausführungsbeispiel wird folglich die Beobachtungsrichtung vi, die erhalten wird, wenn eine bewegte Beobachtungsrichtung zu der vorhergehenden Richtung innerhalb von ungefähr 2 Sekunden zurückkehrt, in Schritt S4000a auch geglättet.
  • Obwohl in vielen Fällen Sicherheitsüberprüfungen in der Links-Rechts-Richtung und der Unten-Richtung erforderlich sind, besteht ein geringes Bedürfnis, eine Sicherheitsüberprüfung in der Oben-Richtung durchzuführen. Folglich kann das Tiefpassfilter bei der Aufwärtsbewegung nicht angewendet werden.
  • Wenn der Extraktionsbereich durch den Prozess in den Schritten S301 bis S304 (7D) festgelegt wird, geht die Gesamtsteuerungs-CPU (eine zweite Kalibriereinheit) 101 mit dem Prozess zu Schritt S4000 und führt den Extraktionsbereichskorrekturprozess aus.
  • Danach wird der Extraktionsbereich nach der Korrektur in Schritt S305 aufgezeichnet, und der Prozess verlässt diese Unterroutine. Der Extraktionsbereichskorrekturprozess wird unter Verwendung des Ablaufdiagramms in 28B beschrieben.
  • 28B zeigt das Ablaufdiagramm des Extraktionsbereichskorrekturprozesses in Schritt S4000. In Schritt S4001 in 28B erhält die Gesamtsteuerungs-CPU (Bewegungsgeschwindigkeitsberechnungseinheit) 101 Kreiselinformationen, das heißt, eine Bewegung (einen Kreiselbewegungsbetrag) des Kamerahauptteils 1 in dem aktuellen Rahmen vom Winkelgeschwindigkeitssensor 107.
  • Obwohl bei diesem Ausführungsbeispiel der Winkelgeschwindigkeitssensor 107 verwendet wird, kann ein anderer Sensor verwendet werden, solange die Bewegung des Kamerahauptteils 1 erfasst werden kann. Beispielsweise kann ein magnetometrischer Sensor (nicht gezeigt) verwendet werden, der Größe und Richtung eines magnetischen Feldes misst, und der Beschleunigungssensor 108 kann verwendet werden, der eine Beschleunigung erfasst. Ferner kann ein Verfahren angewendet werden, das einen Merkmalspunkt extrahiert, einen Bewegungsvektor durch Berechnen eines Bewegungsbetrags des Merkmalspunkts erfasst, und den Bewegungsbetrag des Kamerahauptteils 1 berechnet. Ein Merkmalspunkt kann durch ein bekanntes Verfahren extrahiert werden. Ein Bewegungsbetrag kann beispielsweise berechnet werden, indem eine Position, an der eine Differenz klein wird, durch Subtrahieren einer Vielzahl von Kantenbildern in einem Abweichungszustand berechnet wird, die durch Anwenden eines Bandpassfilters bei Bildern erhalten werden, die durch Extrahieren von lediglich Luminanzinformationen aus zwei Bildern erhalten werden. Obwohl dieses Verfahren einen Berechnungsaufwand erhöht, gehört es zu den bevorzugten Ausgestaltungen, da die Hardware, wie der Winkelgeschwindigkeitssensor 107, unnötig wird und das Gewicht bei dem Kamerahauptteils 1 eingespart werden kann.
  • Im Folgenden wird ein Fall beschrieben, in dem die Kreiselinformationen von dem Winkelgeschwindigkeitssensor 107 erhalten werden. In Schritt S4002 wird eine Bewegungsgeschwindigkeit (Kreiselbewegungsgeschwindigkeit) des Kamerahauptteils 1 aus den in Schritt S4001 erhaltenen Kreiselinformationen und den in der Vergangenheit erhaltenen Kreiselinformationen berechnet.
  • In Schritt S4003 wird bestimmt, ob sich die in Schritt S4002 berechnete Kreiselbewegungsgeschwindigkeit verlangsamt. Wenn sich die Bewegungsgeschwindigkeit nicht verlangsamt (NEIN in Schritt S4003), geht der Prozess zu Schritt S4004. Ansonsten (JA in Schritt S4003), geht der Prozess zu Schritt S4006.
  • In Schritt S4004 berechnet die Gesamtsteuerungs-CPU (die zweite Kalibriereinheit und Beobachtungsrichtungskorrektureinheit) 101 die Bewegungsgeschwindigkeit der Extraktionsposition (eine Extraktionspositionsbewegungsgeschwindigkeit) anhand der in Schritt S304 bestimmten Extraktionsposition und der in der Vergangenheit erhaltenen Extraktionsposition. Als nächstes erhält die Gesamtsteuerungs-CPU 101 einen Subtraktionsbetrag durch Subtrahieren der Kreiselbewegungsgeschwindigkeit, die zu einem Zeitpunkt vor der Zeitverzögerung erhalten wird, die durch Anwenden des Tiefpassfilters verursacht wird, von der berechneten Extraktionspositionsbewegungsgeschwindigkeit.
  • In Schritt S4005 speichert die Gesamtsteuerungs-CPU 101 die Extraktionspositionsbewegungsgeschwindigkeit und den Subtraktionsbetrag, die in Schritt S4004 erhalten werden, im Primärspeicher 103. Dann verlässt der Prozess diese Unterroutine.
  • In Schritt S4006 berechnet die Gesamtsteuerungs-CPU 101 den Erwartungswert durch Zuordnen der Gesamtsumme der im Primärspeicher 103 gespeicherten Subtraktionsbeträge zu den im Primärspeicher 103 gespeicherten Extraktionspositionsbewegungsgeschwindigkeiten, so dass die Schwankung der Extraktionspositionsbewegungsgeschwindigkeit in einem vergangenen bestimmten Zeitabschnitt konstant wird. Dann verlässt der Prozess diese Unterroutine. Der vergangene bestimmte Zeitabschnitt kann ein Zeitabschnitt ab dem Start einer tatsächlichen Bewegung der Extraktionsposition bis zur Gegenwart sein, oder kann ein Zeitabschnitt ab Erfassung einer Bewegung des Kamerahauptteils 1 durch den Winkelgeschwindigkeitssensor 107 bis zur Gegenwart sein. Zur Vereinfachung des Prozesses kann der vergangene bestimmte Zeitabschnitt ferner ein fester Zeitabschnitt von 0,5 bis 3 Sekunden sein. Es wird angemerkt, dass ein Erwartungswert vor dem vergangenen bestimmten Zeitabschnitt auf die in Schritt S4004 erhaltene Extraktionspositionsbewegungsgeschwindigkeit eingestellt wird.
  • Die folgende Tabelle 1 zeigt Veränderungen der Daten (Geschwindigkeiten) der in 27A bis 27F gezeigten Kurven. Das heißt, in Zeile C der Tabelle 1 sind die in Schritt S304 bestimmten Extraktionspositionsbewegungsgeschwindigkeiten gezeigt. Die in Schritt S4002 berechnete Kreiselbewegungsgeschwindigkeit ist in Zeile D von Tabelle 1 gezeigt. Ferner sind die in Schritt S4006 berechneten Erwartungswerte in Zeile E von Tabelle 1 gezeigt. TABELLE 1
    0-1 sec 1-2 sec 2-3 sec 3-4 sec 4-5 sec 5-6 sec
    (A) Bewegung der Beobachtunqsmitte 0°/s 10°/s 10°/s 10°/s 10°/s 10°/s
    (B) erfasste Gesichtsrichtunq 0°/s 10°/s 10°/s 10°/s 0°/s 0°/s
    (C) erfasste Gesichtsrichtung nach Glättunq 0°/s 0°/s 10°/s 10°/s 10°/s 0°/s
    (D) Bewegungsbetrag der Kamera 0°/s 0°/s 0°/s 0°/s 10°/s 10°/s
    (E) Extraktionsposition (einfache Addition) 0°/s 0°/s 10°/s 10°/s 20°/s 10°/s
    (F) Erwartungswert (viertes Ausführungsbeispiel) 0°/s 0°/s 10°/s 10°/s 10°/s 10°/s
  • Nachstehend wird die Unterroutine des Extraktionsbereichskorrekturprozesses in 28B hinsichtlich eines Falls beschrieben, in dem der Benutzer zuerst nach vorne schaut und das Gesicht dann allmählich nach rechts dreht, wie es in Tabelle 1 gezeigt ist.
  • Da der Benutzer am Anfang nach vorne schaut, beträgt die in Schritt S4002 berechnete Kreiselbewegungsgeschwindigkeit ungefähr 0°/s. Das heißt, in Schritt S4003 wird bestimmt, dass sich die Kreiselbewegungsgeschwindigkeit nicht verlangsamt, und der Prozess geht zu Schritt S4004. Da sich in diesem Fall die Position des Gesichts nicht ändert, beträgt die Extraktionspositionsbewegungsgeschwindigkeit auch 0°/s. Ferner beträgt der in Schritt S4004 berechnete Subtraktionsbetrag auch 0°/s.
  • Obwohl der Benutzer bei ungefähr 1 Sekunde beginnt, das Gesicht nach rechts zu drehen, bleibt die Extraktionspositionsbewegungsgeschwindigkeit aufgrund der Zeitverzögerung wegen des Tiefpassfilters wie in 27C gezeigt immer noch bei 0°/s. Da sich unterdessen der Kamerahauptteil 1 nicht bewegt, beträgt die Kreiselbewegungsgeschwindigkeit ungefähr 0°/s, wie es in 27D gezeigt ist. Entsprechend beträgt der in Schritt S4004 berechnete Subtraktionsbetrag auch 0°/s wie zu der Zeit, wenn der Benutzer immer noch nach vorne schaut.
  • Wenn der Benutzer bei ungefähr 2 Sekunden das Gesicht weiter nach rechts dreht, wird die Extraktionspositionsbewegungsgeschwindigkeit 10°/s, wie es in 27C gezeigt ist. Da sich unterdessen der Kamerahauptteil 1 nicht bewegt, liegt die Kreiselbewegungsgeschwindigkeit bei ungefähr 0°/s, wie es in 27D gezeigt ist. Dementsprechend wird der in Schritt S4004 berechnete Subtraktionsbetrag 10°/s.
  • Wenn der Benutzer bei ungefähr 4 Sekunden das Gesicht weiter nach rechts dreht, beginnt der Körper des Benutzers, sich nach rechts zu drehen. Das heißt, da sich die Richtung des Kamerahauptteils 1 ändert, wie es in 27D gezeigt ist, wird die Kreiselbewegungsgeschwindigkeit 10°/s. Da sich der Benutzerkörper zu drehen beginnt, verlangsamt sich die tatsächliche Winkelgeschwindigkeit des Gesichts um eine relative Geschwindigkeit zwischen dem Kamerahauptteil 1 und der Gesichtsrichtung, wie es in 27B gezeigt ist. Unterdessen bleibt die in 27C gezeigte Extraktionspositionsbewegungsgeschwindigkeit wegen der Zeitverzögerung aufgrund des Tiefpassfilters bei 10°/s. Dementsprechend geht der in Schritt S4004 berechnete Subtraktionsbetrag unter Berücksichtigung der Zeitverzögerung auf 10°/s.
  • Wenn der Benutzer bei ungefähr 5 Sekunden das Gesicht weiter nach rechts dreht, bleibt die Kreiselbewegungsgeschwindigkeit bei 10°/s (27D). Unterdessen verlangsamt sich die in 27C gezeigte Extraktionspositionsbewegungsgeschwindigkeit und wird 0°/s. Dementsprechend geht der in Schritt S4004 berechnete Subtraktionsbetrag auf -10°/s.
  • Wenn der Benutzer nach 6 Sekunden die Aktion des nach rechts Drehens beendet (in 27A bis 27F nicht gezeigt), geht die Kreiselbewegungsgeschwindigkeit auf 0°/s und der Prozess darf in diesem Fall zu Schritt S4006 gehen. In diesem Fall wird die Gesamtsumme der bisher berechneten und im Primärspeicher 103 gespeicherten Subtraktionsbeträge +10°/s. Der Erwartungswert wird durch Zuordnen der Gesamtsumme der Subtraktionsbeträge derart berechnet, dass die Änderung der im Primärspeicher 103 gespeicherten Extraktionspositionsbewegungsgeschwindigkeiten in dem vergangenen bestimmten Zeitabschnitt konstant wird. In diesem Fall sind die in 27C gezeigten Extraktionspositionsbewegungsgeschwindigkeiten in dem Zeitabschnitt ab Start der Beschleunigung bis jetzt (2 Sekunden bis 6 Sekunden) 10°/s, 10°/s, 10°/s und 0°/s, wie es in Tabelle 1 gezeigt ist. Entsprechend werden alle Erwartungswerte in dem Zeitabschnitt von 2 Sekunden bis 6 Sekunden auf 10°/s eingestellt, um die Änderung der Extraktionspositionsbewegungsgeschwindigkeit in diesem Zeitabschnitt konstant zu halten (keine Änderung bei diesem Ausführungsbeispiel).
  • Obwohl die Daten bei diesem Ausführungsbeispiel für jede Sekunde beschrieben werden, um die Beschreibung zu vereinfachen, beträgt die Bildwechselfrequenz des Videobildaufnahmebetriebs üblicherweise 24 bis 60 fps. Da es unterdessen in vielen Fällen nicht erforderlich ist, die Gesichtsrichtung und die Kreiselbewegungsgeschwindigkeit 60 Mal pro Sekunde zu erfassen, ist die Zeitsteuerung, mit der der Gesichtsrichtungserfassungsprozess und Extraktionsbereichskorrekturprozess ausgeführt werden, vorzugsweise von der Bildaufnahmezeitsteuerung verschieden. Selbst wenn die Bildwechselfrequenz des Videobildaufnahmebetriebs 60 fps beträgt, kann die Zeitvorgabe, mit der der Gesichtsrichtungserfassungsprozess und Extraktionsbereichskorrekturprozess ausgeführt werden, beispielsweise auf 10 fps eingestellt werden. Die Zeitsteuerung kann unter Berücksichtigung von Verwendung, Energieverbrauch, und so weiter geeignet geändert werden.
  • Wie vorstehend beschrieben, veranschaulicht dieses Ausführungsbeispiel das Beispiel, das die Bewegungsgeschwindigkeit der Beobachtungsrichtung konstant hält, um ein schlechtes Erscheinungsbild des Videobildes aufgrund einer Änderung der Bewegungsgeschwindigkeit des Blickfeldes zu vermeiden, das verursacht wird, wenn die Bewegung des Gesichts und die Bewegung des Benutzerkörpers (des Kamerahauptteils) während einer starken Bewegung der Beobachtungsrichtung kombiniert werden.
  • Obwohl dieses Ausführungsbeispiel das Beispiel veranschaulicht, das das Superweitwinkelbild gemäß der Beobachtungsrichtung ausschneidet, ist die vorliegende Offenbarung nicht darauf beschränkt. Beispielsweise kann die Gesamtsteuerungs-CPU (eine Bildaufnahmerichtungsänderungseinheit) 101 eine Bildaufnahmerichtung der Bildaufnahmeeinheit 40 gemäß der Beobachtungsrichtung ändern. In diesem Fall muss der Kamerahauptteil 1 eine Einrichtung (Ansteuereinrichtung) bereitstellen, die die Bildaufnahmerichtung der Bildaufnahmeeinheit 40, insbesondere die Richtung des Bildaufnahmeobjektivs 16 und des Festkörperbildsensors 42 in einer Gierrichtung und einer Neigungsrichtung mechanisch ändert.
  • Ferner wird der bei diesem Ausführungsbeispiel gezeigte Prozess, der das Gesichtsrichtungserfassungsergebnis glättet, vorzugsweise durchgeführt, wenn die Gesamtsteuerungs-CPU (die Bildstabilisierungseinheit) 101 den im ersten Ausführungsbeispiel beschriebenen Bildstabilisierungsprozess durchführt, da der Bildstabilisierungsprozess die Verzögerung des Verfolgens der Gesichtsrichtung verursacht.
  • Als nächstes wird ein fünftes Ausführungsbeispiel beschrieben. Das fünfte Ausführungsbeispiel beschreibt ein Verfahren zum Verringern eines Unterschieds zwischen einem Benutzerblickfeld und einem sekundär aufgezeichneten Bild (das nachstehend als „aufgezeichnetes Bild“ bezeichnet wird), der durch eine Parallaxe zwischen einer Augenposition des Benutzers und einer Trageposition der Bildaufnahme-/Erfassungseinheit 10 verursacht wird, wobei 29A bis 34C verwendet werden.
  • Dieses Ausführungsbeispiel wird grundsätzlich als Ableitung vom ersten Ausführungsbeispiel beschrieben. Demnach werden Konfigurationen des Kamerasystems im fünften Ausführungsbeispiel, die identisch mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel sind, durch die gleichen Bezugszeichen angegeben, und eine wiederholende Beschreibung ist weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben. Zum besseren Verständnis wird zuerst der Unterschied zwischen dem Benutzerblickfeld und dem aufgezeichneten Bild beschrieben.
  • 29A und 29B zeigen schematische Darstellungen zum Beschreiben einer Beziehung zwischen dem Blickfeld des Benutzers 5010 und einem Zielblickfeld in einem Fall, in dem ein Objekt in kurzer Entfernung ein Beobachtungsziel 5020 im ersten Ausführungsbeispiel ist.
  • 29A zeigt die schematische Darstellung eines Bildes 5900, das das Beobachtungsobjekt 5020 enthält, das durch den Festkörperbildsensor 42 aufgenommen wird. 29B zeigt die schematische Darstellung einer Positionsbeziehung zwischen dem Benutzer 5010 und dem Beobachtungsobjekt 5020.
  • Wie in 29B gezeigt, dreht sich eine Gesichtsrichtung 5015 des Benutzers 5010 nach unten, wenn sich das Beobachtungsobjekt 5020 unterhalb einer Höhe von Benutzeraugen 5011 befindet. Zu diesem Zeitpunkt wird das Beobachtungsobjekt 5020 mit einem Hintergrund, wie Fußboden (nicht gezeigt), im Blickfeld des Benutzers 5010 erfasst.
  • Im ersten Ausführungsbeispiel wird die Beobachtungsrichtung 5040 (29B) parallel zu der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Benutzergesichtsrichtung 5015 als Aufzeichnungsrichtung eingestellt. Wenn das Objekt in kurzer Entfernung das Beobachtungsobjekt 5020 ist, wie es in 29B gezeigt ist, wird folglich ein Bereich 5045, der das Beobachtungsobjekt 5020 nicht enthält, als Zielblickfeld eingestellt.
  • Selbst wenn in einem derartigen Fall ein Hintergrund (beispielsweise eine (nicht gezeigte) Decke), die durch die Bildaufnahme-/Erfassungseinheit 10 erfasst wird, vom Hintergrund (beispielsweise einem (nicht gezeigten) Fußboden) des Blickfeldes des Benutzers 5010 verschieden ist, sollte die Beobachtungsrichtung auf eine Richtung 5030 eingestellt sein, so dass ein Bereich 5035, der das Beobachtungsziel 5020 enthält, ein Zielblickfeld ist.
  • Das vorstehende Problem wird durch die Parallaxe aufgrund des Unterschieds zwischen der Position des Auges 5011 des Benutzers 5010 und der Trageposition der Bildaufnahme-/Erfassungseinheit 10 verursacht. Bei diesem Ausführungsbeispiel wird folglich ein Parallaxenkorrekturmodusprozess ausgeführt, der die Aufzeichnungsrichtung, die auf der Grundlage der Gesichtsrichtung des Benutzers 5010 eingestellt wird, entsprechend der Parallaxe anpasst.
  • 31 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils 1 gemäß diesem Ausführungsbeispiel. Die Hardwarekonfiguration des Kamerahauptteils 1 bei diesem Ausführungsbeispiel unterscheidet sich von der des Kamerahauptteils 1 im ersten in 5 gezeigten Ausführungsbeispiel darin, dass ein Entfernungssensor 5100 hinzugefügt ist. Bei diesem Ausführungsbeispiel ist der Entfernungssensor 5100 in einem äußeren Rand des Stoppschalters 15 vorgesehen, wie es in 30 gezeigt ist. Eine Anbringposition des Entfernungssensors 5100 ist allerdings nicht auf eine bestimmte Position beschränkt.
  • Der Entfernungssensor 5100 misst eine Entfernung zu einem Objekt. Es wird angemerkt, dass die Konfiguration des Entfernungssensors 5100 nicht besonders eingeschränkt ist. Bei diesem Beispiel ist der Entfernungssensor 5100 ein Sensor vom aktiven Typ, der Infrarotlicht, Laserstrahlen, Millimeterwellen und so weiter zu einem Objekt projiziert und eine Entfernung zu dem Objekt durch Empfangen der entsprechenden Reflexion misst. Der Entfernungssensor 5100 kann ferner ein Sensor vom passiven Typ sein, der eine Entfernung zu einem Objekt beruhend auf einer Phasendifferenz von über das Bildaufnahmeobjektiv 16 einfallendem Licht misst. Der Entfernungssensor 5100 ist mit der Gesamtsteuerungs-CPU 101 verbunden und wird durch die Gesamtsteuerungs-CPU 101 gesteuert.
  • 32A und 32B zeigen schematische Darstellungen zum Beschreiben einer Beziehung zwischen einem Benutzer, einer Kalibriereinrichtung 850 und einem Zielblickfeld 5080 während eines Kalibrierprozesses, der bei diesem Ausführungsbeispiel den Parallaxenkorrekturmodusprozess enthält. 32A zeigt eine schematische Darstellung eines Bildes 5900, das die Kalibriereinrichtung 850 enthält, das durch den Festkörperbildsensor 42 aufgenommen wird. 32B zeigt die schematische Darstellung einer Positionsbeziehung zwischen dem Benutzer 5010 und der Kalibriereinrichtung 850.
  • Das Zielblickfeld 5080 in 32A ist ein Zielblickfeld in einem Fall, in dem der Kalibrierprozess, der den vorstehend angeführten Parallaxenkorrekturmodusprozess enthält, noch nicht angewendet wurde, und eine durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung 5015 eine Richtung nach vorne ist.
  • Unterdessen ist ein Zielblickfeld 5090 in 32A ein Zielblickfeld in einem Fall, in dem der Kalibrierprozess, der den vorstehend angeführten Parallaxenkorrekturmodusprozess enthält, bereits angewendet wurde und die durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung 5015 eine Richtung nach vorne ist.
  • 33A zeigt ein Ablaufdiagramm des Parallaxenkorrekturmodusprozesses, der gemäß diesem Ausführungsbeispiel ein Teil des Vorbereitungsprozesses in Schritt S100 in 7A ist. Nachstehend werden Einzelheiten des Prozesses auch unter Bezugnahme auf 32A und 32B beschrieben.
  • Wenn in dem Vorbereitungsprozess in Schritt S100 in 7A der Parallaxenkorrekturmodus durch eine Bedienung des Benutzers 5010 an der Kalibriereinrichtung 850 (Schritt S5101) gestartet wird, zeigt die Anzeigevorrichtungssteuereinrichtung 801 den Positionierungsindex 851 an (Schritt S5102).
  • Danach legt die Anzeigevorrichtungssteuereinrichtung 801 eine Position (Festlegungsposition) fest, an der der Benutzer die Kalibriereinrichtung 850 halten soll. Insbesondere weist die Anzeigevorrichtungssteuereinrichtung 801 den Benutzer 5010 zum Anordnen des Positionierungsindex 851 vorne bei einer Blickhöhe an, indem eine Instruktionsanzeige durchgeführt wird, die der in 22A gezeigten Anweisungsanzeige 855 ähnlich ist (Schritt S5103).
  • Nach Überprüfen der Anweisungsanzeige hält der Benutzer 5010 die Kalibriereinrichtung 850 an der in Schritt S5103 festgelegten Festlegungsposition und richtet die Gesichtsrichtung 5015 zu dem Positionierungsindex 851 (nach vorne). Zu diesem Zeitpunkt bilden der Benutzer 5010, der Positionierungsindex 851 und die Bildaufnahme-/Erfassungseinheit 10 die in 32B gezeigte Positionsbeziehung.
  • Wenn sie danach bestimmt, dass der Benutzer die Positionierungsindexmitte 852 in der Blickfeldmitte angeschaut hat, misst die Anzeigevorrichtungssteuereinrichtung 801 eine Entfernung 5050 (32B) zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Positionierungsindex 851 mit dem Entfernungsmesssensor 5100 (Schritt S5104).
  • Danach erfasst die Gesamtsteuerungs-CPU 101 eine horizontale Achse 5060 der Bildaufnahme-/Erfassungseinheit 10 durch den Winkelgeschwindigkeitssensor (eine Stellungserfassungseinheit) 107 (Schritt S5105). Dadurch wird eine horizontale Position (5065) des durch den Festkörperbildsensor 42 erfassten Bildes 5900 (32A) spezifiziert.
  • Die Gesamtsteuerungs-CPU 101 erhält ferner eine Entfernung 5855 (32A) zwischen der Mitte des Positionierungsindex 851 und der horizontalen Position 5065 in dem Bild 5900 in Schritt S5105. Danach berechnet die Gesamtsteuerungs-CPU (eine Winkelberechnungseinheit) 101 einen Winkel 5055 (32B) zwischen der horizontalen Achse 5060 und der Richtung des Positionierungsindex 851 von der Bildaufnahme-/Erfassungseinheit 10 aus gesehen. Diese Berechnung wird unter Verwendung der Entfernung 5855 und den Informationen über eine Beziehung zwischen einem Punkt in dem Bild 5900 und einem Einfallswinkel eines Lichtstrahls durchgeführt, der an dem Punkt abbildet. Die Informationen werden in einem Speicher (beispielsweise dem internen nichtflüchtigen Speicher 102) gespeichert.
  • Danach berechnet die Gesamtsteuerungs-CPU (eine vertikale Entfernungsberechnungseinheit) 101 in Schritt S5106 eine vertikale Entfernung 5070 zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Auge 5011 des Benutzers 5010 unter Verwendung der Entfernung 5050 und des Winkels 5055, die in Schritt S5105 berechnet werden. Dann verlässt der Prozess diese Unterroutine.
  • Bei diesem Ausführungsbeispiel wird die vertikale Entfernung 5070 zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Auge 5011 des Benutzers 5010 durch ein anderes Verfahren als im zweiten Ausführungsbeispiel gemessen. Allerdings ist das Messverfahren nicht darauf beschränkt. Beispielsweise kann die vertikale Entfernung 5070 zwischen der Bildaufnahme-/Erfassungseinheit 10 und dem Auge 5011 des Benutzers 5010 durch das im zweiten Ausführungsbeispiel beschriebene Verfahren gemessen werden, oder der Benutzer 5010 kann den Wert der vertikalen Entfernung 5070 direkt eingeben.
  • Da der Kalibrierprozess, der bei diesem Ausführungsbeispiel den Parallaxenkorrekturmodusprozess enthält, im Wesentlichen identisch mit dem Prozess in den Schritten S3101 bis S3111 in 21 ist, der im zweiten Ausführungsbeispiel ausgeführt wird, ist seine Beschreibung weggelassen.
  • Allerdings ist in Schritt S3110 ein Prozess zum Korrigieren der Parallaxe beruhend auf der durch den Parallaxenkorrekturmodusprozess in 33A berechneten vertikalen Entfernung 5070 (32B) zu dem im zweiten Ausführungsbeispiel beschriebenen Prozess hinzugefügt. Das heißt, es wird eine derartige Kalibrierung durchgeführt, dass das Blickfeld des Benutzers 5010 in der Unendlichkeit mit dem Zielblickfeld 125 zusammenfällt.
  • 33B zeigt ein Ablaufdiagramm einer Unterroutine eines Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 in 7A gemäß diesem Ausführungsbeispiel. Nachstehend wird dieser Prozess auch unter Bezugnahme auf 34A, 34B und 34C beschrieben. Die Schritte in 33B, die mit jenen in 7D identisch sind, sind durch die gleichen Bezugszeichen angegeben, und eine wiederholende Beschreibung ist weggelassen.
  • In 33B erhält die Gesamtsteuerungs-CPU 101 zuerst Entfernungsinformationen über einen verfügbaren Bildaufnahmebereich (Bildaufnahmezielbereich) mittels des Entfernungssensors (eine Entfernungsmesseinheit) 5011 (Schritt S5301).
  • Im nächsten Schritt S5302 erzeugt die Gesamtsteuerungs-CPU (eine Erzeugungseinheit) 101 eine Defokussierkarte 5950 (34A; Entfernungskarteninformationen) auf der Grundlage der in Schritt S5301 erhaltenen Entfernungsinformationen (eines Messergebnisses durch den Entfernungssensor 5100).
  • Die Defokussierkarte 5950 in 34A wird erzeugt, wenn die in 34C gezeigte Situation aufgenommen wird, bei der das Beobachtungsobjekt 5020 drinnen erscheint. Um die Entfernungsinformationen in der Defokussierkarte 5950 verständlich zu zeigen, sind stufenweise sechs Entfernungsbereiche A1 bis A6 angegeben, die anhand der Entfernung von der Bildaufnahme-/Erfassungseinheit 10 eingeteilt sind. Der Entfernungsbereich A1 liegt der Bildaufnahme-/Erfassungseinheit 10 am nächsten. Unterdessen kann die Defokussierkarte stufenlos erzeugt werden.
  • Im nächsten Schritt S5303 berechnet die Gesamtsteuerungs-CPU 101 die Richtung des Beobachtungsobjekts 5020 von der Bildaufnahme-/Erfassungseinheit 10 aus gesehen beruhend auf der Defokussierkarte 5950, der Gesichtsrichtung 5015 und vertikalen Richtung 5070 (32B). Das heißt, die Parallaxenkorrektur wird bei der Beobachtungsrichtung angewendet, die beruhend auf der Gesichtsrichtung etabliert ist.
  • Danach wird der Prozess in den Schritten S301 bis S305 in 7D durchgeführt, und der Prozess verlässt diese Unterroutine.
  • Die Verwendung der auf diese Weise erzeugten Defokussierkarte 5950 und des Erfassungsergebnisses der Gesichtsrichtung 5015 ermöglicht die Berechnung der Richtung des Beobachtungsobjekts 5020 von der Bildaufnahme-/Erfassungseinheit 10 aus gesehen. Da die unter Verwendung von 29A und 29B beschriebene Parallaxe vorhanden ist, kann die Entfernung zu dem Beobachtungsobjekt 5020 mit dem Entfernungssensor 5100 ohne Erzeugung der Defokussierkarte 5950 nicht gemessen werden.
  • Der Grad des Einflusses der bei diesem Ausführungsbeispiel beschriebenen Parallaxe hängt von der Entfernung zwischen dem Benutzer 5010 und dem Beobachtungsobjekt 5020 ab. Wenn ein Beobachtungsobjekt vom Benutzer 5010 entfernt ist, kann der Einfluss der Parallaxe vernachlässigt werden. In einem derartigen Fall kann das Bild durch den Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess im ersten Ausführungsbeispiel durch das das Beobachtungsobjekt enthaltende Zielblickfeld extrahiert und aufgezeichnet werden. Wenn der Benutzer 5010 beispielsweise ein Beobachtungsobjekt 5021 (34C) betrachtet, das sich in dem mittleren Entfernungsbereich A5 um ein gewisses Maß entfernt vom Benutzer 5010 befindet, kann die Parallaxenkorrektur in Schritt S5303 bei der Aufzeichnungsrichtung nicht angewendet werden. Der Grund dafür ist, dass das Beobachtungsobjekt 5021 auch in dem Zielblickfeld 5043 enthalten ist (34B), das gemäß der Aufzeichnungsrichtung (Beobachtungsrichtung) 5041 errichtet ist, die auf der Grundlage der durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung 5016 geschätzt wird.
  • Unterdessen kann dieses Ausführungsbeispiel auf einen erlaubten Bereich der Entfernung zwischen dem Benutzer 5010 und dem Beobachtungsobjekt des Benutzers 5010, in dem das Beobachtungsobjekt innerhalb des Zielblickfeldes gehalten wird, zu der näheren Seite als bei dem ersten Ausführungsbeispiel ausgedehnt werden. Der Benutzer 5010 beobachte beispielsweise das Beobachtungsobjekt 5020 (34A), das sich im nächsten Bereich A1 befindet, dessen Entfernung vom Benutzer 5010 kurz ist. In diesem Fall wird die Beobachtungsrichtung (Aufzeichnungsrichtung) 5040 beruhend auf der durch die Gesichtsrichtungserfassungseinheit 20 im ersten Ausführungsbeispiel erfassten Gesichtsrichtung geschätzt. Das gemäß dieser Beobachtungsrichtung 5040 errichtete Zielblickfeld 5042 (34B) enthält allerdings das Beobachtungsobjekt 5020 nicht. Unterdessen wird bei diesem Ausführungsbeispiel die Parallaxenkorrektur in Schritt S5303 in 33B bei der Beobachtungsrichtung 5040 angewendet. Infolgedessen wird das das Beobachtungsobjekt 5020 enthaltende Zielblickfeld 5036 gemäß der parallaxenkorrigierten Aufzeichnungsrichtung etabliert. Folglich kann auch ein Beobachtungsobjekt zufriedenstellend aufgenommen werden, dessen Entfernung zum Benutzer 5010 mit einem derartigen Ausmaß kurz ist, so dass der Einfluss der Parallaxe nicht vernachlässigt werden kann, wie bei dem Beobachtungsobjekt 5020.
  • Gemäß diesem Ausführungsbeispiel kann ferner ein Beobachtungsobjekt, das sich im mittleren Entfernungsbereich A5 befindet, bei einer Position näher an der Mitte des Zielblickfeldes aufgezeichnet werden. Wenn der Benutzer 5010 beispielsweise das Beobachtungsobjekt 5021 (34A) betrachtet, das sich im mittleren Entfernungsbereich A5 befindet, wird dann, wenn die Parallaxenkorrektur bei der Aufzeichnungsrichtung 5041 wie im ersten Ausführungsbeispiel nicht angewendet wird, das Zielblickfeld 5043 errichtet, in dem sich das Beobachtungsobjekt 5021 an einem oberen Ende befindet. Da bei diesem Ausführungsbeispiel unterdessen die Parallaxenkorrektur bei der Aufzeichnungsrichtung 5041 in Schritt S5303 in 33B angewendet wird, wird ein Aufzeichnungsbereich (Zielblickfeld) 5037 gemäß der parallaxenkorrigierten Aufzeichnungsrichtung erzeugt, in dem sich das Beobachtungsobjekt 5021 in der Mitte befindet.
  • Wenn die Parallaxenkorrektur dieses Ausführungsbeispiels angewendet wird, kann ein Beobachtungsobjekt so an einer Position näher an der Mitte eines extrahierten Bildes verglichen mit dem ersten Ausführungsbeispiel erfasst werden.
  • Bei diesem Ausführungsbeispiel wird die Parallaxenkorrektur bei der Kalibrierung derart durchgeführt, dass ein Blickfeld des Benutzers mit einem Zielblickfeld in der Unendlichkeit übereinstimmt. Wenn ein Bild aufgenommen wird, wird die Parallaxenkorrektur dann so angewendet, dass eine Abweichung von Aufzeichnungsrichtungen vor und nach der Korrektur größer wird, wenn eine Entfernung zwischen einem Benutzer und einem Beobachtungsobjekt kürzer wird. Unterdessen kann die Parallaxenkorrektur dieses Ausführungsbeispiels beim Kalibrierprozess im zweiten Ausführungsbeispiel bei einem Objekt angewendet werden, das näher an dem Benutzer als die Position der Kalibriereinrichtung 850 ist, oder einem Objekt angewendet werden, das vom Benutzer entfernter als die Position der Kalibriereinrichtung 850 ist.
  • Als nächstes wird ein sechstes Ausführungsbeispiel beschrieben. Bei dem sechsten Ausführungsbeispiel wird ein Extraktionsbereichsbestimmungsverfahren unter Bezugnahme auf 35, 36A und 36B beschrieben, das angewendet wird, wenn die Berechnung einer Beobachtungsrichtung fehlschlägt.
  • Dieses Ausführungsbeispiel wird grundlegend als Ableitung vom ersten Ausführungsbeispiel beschrieben. Demnach sind Konfigurationen des Kamerasystems im sechsten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und eine wiederholende Beschreibung ist weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Im ersten Ausführungsbeispiel wird wie in 7A gezeigt das Zielblickfeld im Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess in Schritt S300 beruhend auf der Beobachtungsrichtung erzeugt, die aus der durch die Gesichtsrichtungserfassungseinheit 20 in Schritt S200 erfassten Gesichtsrichtung berechnet wird. Allerdings kann die Gesichtsrichtungserfassungseinheit 20 durch Hindernisse, wie einen Kragen und Haare, bedeckt sein, kann herunterfallen oder kann vom Benutzer getrennt werden. In einem derartigen Fall kann die Gesichtsrichtung des Benutzers nicht erhalten werden, und ein Bild eines Zielblickfeldes, das der Benutzer aufnehmen möchte, kann nicht aufgenommen werden.
  • Wenn gemäß der JP 2007-74033A die zweite Kamera, die zum Erfassen eines Benutzers verwendet wird, einen Benutzer nicht erfassen kann, wird die Erfassung eines Benutzers erneut versucht, ohne einen Fehler der Erfassung in einem Verlauf von Erfassungsinformationen hinsichtlich eines Benutzers zu speichern. Wenn die Erfassung der Gesichtsrichtung während eines Bildaufnahmebetriebs durch Verfolgen einer Gesichtsrichtung fehlschlägt, wird ferner ein Bild, das nicht stark von der Benutzerabsicht abweicht, durch Bestimmen einer Bildaufnahmerichtung in Abhängigkeit von einer Situation aufgenommen.
  • Dagegen wird bei diesem Ausführungsbeispiel dann, wenn eine Gesichtsrichtung eines Benutzers erfasst werden kann, die Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 erfasst und ein Bild eines Zielblickfeldes gemäß einer Aufzeichnungsrichtung aufgenommen, die wie bei dem ersten Ausführungsbeispiel beruhend auf der Beobachtungsrichtung berechnet wird. Wenn unterdessen eine Gesichtsrichtung eines Benutzers nicht erfasst werden kann und eine Beobachtungsrichtung des Benutzers nicht berechnet werden kann, wird ein Bild eines Zielblickfeldes aufgenommen, das eine Benutzerabsicht wiedergibt. Das heißt, bei diesem Ausführungsbeispiel wird nach Abschluss des Gesichtsrichtungserfassungsprozesses in Schritt S200 ein Beobachtungsrichtungsbestimmungsprozess vor Ausführung des Aufzeichnungsrichtungs-/Bereichsbestimmungsprozesses in Schritt S300 ausgeführt. Wenn die Gesichtsrichtungserfassungseinheit 20 bei dem Beobachtungsrichtungsbestimmungsprozess keine Benutzergesichtsrichtung erfasst, wird eine Beobachtungsrichtung geschätzt, indem eine Benutzerabsicht gemäß einer Situation bestimmt wird. Das heißt, es wird ein Bild eines Zielblickfeldes in einer Aufzeichnungsrichtung aufgenommen, die auf einem anderen Faktor als der aus einer Gesichtsrichtung berechneten Beobachtungsrichtung beruht.
  • 35 zeigt ein Ablaufdiagramm des durch die Gesamtsteuerungs-CPU 101 ausgeführten Beobachtungsrichtungsbestimmungsprozesses gemäß diesem Ausführungsbeispiel. Nachstehend wird dieser Prozess unter Bezugnahme auf 36A und 36B beschrieben.
  • In Schritt S6001 wird bestimmt, ob eine Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 erfasst wird. Wenn die Gesichtsrichtung erhalten wird, geht der Prozess zu Schritt S6004. In Schritt S6004 schaltet die Gesamtsteuerungs-CPU (eine Modusschalteinheit) 101 einen Modus dieses Prozesses in einen Gesichtsrichtungsmodus (ersten Bildaufnahmemodus) und entscheidet die Beobachtungsrichtung, die anhand der Gesichtsrichtung durch das im ersten Ausführungsbeispiel gezeigte Verfahren berechnet wird, als die Aufzeichnungsrichtung. Danach verlässt der Prozess diese Unterroutine.
  • Wenn unterdessen keine Gesichtsrichtung erhalten wird (NEIN in Schritt S6001), geht die Gesamtsteuerungs-CPU (Modusumschalteinheit) 101 mit dem Prozess zu Schritt S6002, um in einen anderen Modus zu wechseln. In Schritt S6002 wird bestimmt, ob es ein Objekt gibt, das in der Vergangenheit nachverfolgt wurde.
  • Der Bestimmungsprozess in Schritt S6002 wird unter Verwendung von 36A beschrieben, die eine Beziehung zwischen einem Beobachtungsrichtungserfassungszustand des Benutzers und einem Aufnahmebild für jeden Rahmen zeigt.
  • In 36A bezeichnet „n“ eine Rahmennummer des Bildes, „θ“ bezeichnet einen horizontalen Bewegungswinkel eines Benutzergesichts, ein Benutzerzustand zeigt eine Positionsbeziehung zwischen dem Benutzer und einem Beobachtungsobjekt in jedem Rahmen. Ferner zeigt ein Gesamtbild ein durch die Bildaufnahmeeinheit 40 aufgenommenes Superweitwinkelbild in jedem Rahmen, und ein Aufnahmebild zeigt ein Bild, das in jedem Rahmen sekundär aufgezeichnet wird und einem durch eine gestrichelte Linie in dem Gesamtbild gezeigten Bereich entspricht.
  • Wie in jedem Bildschirm des Benutzerzustands in 36A gezeigt, betrachtet der Benutzer ein Objekt, das durch ein Viereck an einer unteren Position des Bildschirms gezeigt ist, als Beobachtungsobjekt. 36A zeigt einen Beispielfall, in dem im fünften Rahmen (n=5) keine Benutzerbeobachtungsrichtung erfasst werden kann.
  • Bei diesem Ausführungsbeispiel ist ein Zeitabschnitt, der beruhend auf einem aktuellen Rahmen vier vorhergehende Rahmen enthält, als vorbestimmter Zeitabschnitt definiert. Wenn ein Objekt in dem Aufnahmebild enthalten ist, das drei oder mehrere Male innerhalb des vorbestimmten Zeitabschnitts als das Gleiche bestimmt werden kann, wird bestimmt, dass es ein Objekt gibt, das in der Vergangenheit nachverfolgt wurde.
  • Wie in 36A gezeigt, ist das Objekt, das durch das Quadrat gezeigt ist, das als identisches Objekt bestimmt werden kann, in dem Aufnahmebild enthalten, obwohl sich der Bewegungswinkel θ alle +10° von dem ersten Rahmen (n = 1) zu dem vierten Rahmen (n = 4) ändert. In dem fünften Rahmen (n = 5) wird folglich bestimmt, dass es ein Objekt gibt, das in der Vergangenheit nachverfolgt wurde. Es wird angemerkt, dass das Kriterium der Bestimmung in Schritt S6002 entsprechend dem Erfassungszyklus der Gesichtsrichtung oder der Genauigkeit der Gesichtsrichtungserfassungseinheit 20 geändert werden kann.
  • Wenn wieder bezugnehmend auf 35 bestimmt wird, dass es das identische Objekt gibt, das in dem vergangenen vorbestimmten Zeitabschnitt nachverfolgt wurde (JA in Schritt S6002), geht der Prozess zu Schritt S6005.
  • In Schritt S6005 wird der Modus dieses Prozesses in einen vergangenes Objekt-Nachverfolgungsmodus (zweiten Bildaufnahmemodus) geschaltet, in dem eine vergangenes Objekt-Richtung als Aufzeichnungsrichtung bestimmt wird, und die Aufzeichnungsrichtung zum Nachverfolgen des vergangenen Objekts bestimmt wird. Und dann geht der Prozess zu Schritt S6008. Auf diese Weise kann bei diesem Ausführungsbeispiel selbst dann, wenn die Gesichtsrichtung nicht erfasst werden kann, da der Modus in den vergangenes Objekt-Nachverfolgungsmodus geschaltet wird und die Aufzeichnungsrichtung bestimmt wird, wenn es ein Objekt gibt, das in der Vergangenheit nachverfolgt wurde, die unmittelbar vorhergehende Absicht des Benutzers auf das Bild reflektiert werden. Da ein Verfahren zum Erkennen eines Objekts in einem Aufnahmebild und ein Objektnachverfolgungserfassungsverfahren, die durch die Gesamtsteuerungs-CPU (eine Objekterkennungseinheit) 101 durchgeführt werden, gut bekannt sind, wird auf ihre ausführliche Beschreibung verzichtet.
  • Wenn unterdessen bestimmt wird, dass es kein Objekt gibt, das in der Vergangenheit nachverfolgt wurde (NEIN in Schritt S6002), geht der Prozess zu Schritt S6003. In Schritt S6003 wird bestimmt, ob das im internen nichtflüchtigen Speicher (einer Objektregistriereinheit) zuvor registrierte Objekt im neuesten Aufnahmebild erfasst wird.
  • Bei diesem Ausführungsbeispiel legt ein Benutzer ein Bild mit einer Person aus in der Anzeigevorrichtung 800 gespeicherten Bildern fest, die der Benutzer aufnehmen möchte. Die Anzeigevorrichtungssteuereinrichtung 801 erkennt Merkmale der Person und registriert das Objekt zuvor durch Senden der Merkmale zu der Gesamtsteuerungs-CPU 101 im Kamerahauptteil 1. Es wird angemerkt, dass ein in Schritt S6003 erfasstes Objekt nicht darauf beschränkt ist. Beispielsweise kann ein Objekt, das in einem Aufnahmebild enthalten ist, das zu einer Leseabschlusszeit oder anderen Erfassungszeiten erhalten wird, in Schritt S6003 erfasst werden. Ob das zuvor registrierte Objekt mit dem Objekt in dem neuesten Aufnahmebild übereinstimmt, wird ferner mittels einer Musterübereinstimmungsvergleichstechnik bestimmt. Da die Musterübereinstimmungsvergleichstechnik gut bekannt ist, wird auf ihre ausführliche Beschreibung hier verzichtet.
  • Wenn bestimmt wird, dass das zuvor registrierte Objekt in dem neuesten Aufnahmebild erfasst wird (JA in Schritt S6003), geht der Prozess zu Schritt S6006. In Schritt S6006 wird der Modus dieses Prozesses in einen Registriertes-Objekt-Nachverfolgungsmodus (dritter Bildaufnahmemodus) umgeschaltet, in dem eine Registriertes-Objekt-Richtung als Aufzeichnungsrichtung bestimmt wird, und die Aufzeichnungsrichtung zur Verfolgung des registrierten Objekts bestimmt wird. Und dann geht der Prozess zu Schritt S6008.
  • Wenn unterdessen bestimmt wird, dass das zuvor registrierte Objekt in dem neuesten Aufnahmebild nicht erfasst wird (NEIN in Schritt S6003), wird bestimmt, dass kein Beobachtungsobjekt geschätzt werden kann, und der Prozess geht zu Schritt S6007.
  • In Schritt S6007 schaltet die Gesamtsteuerungs-CPU (eine Bildwinkeländerungseinheit) 101 den Modus dieses Prozesses in einen Objekt-Verloren-Modus (einen vierten Bildaufnahmemodus) um, in dem die Aufzeichnungsrichtung vor dem Fehlschlagen der Gesichtsrichtungserfassung beibehalten wird und der Bildaufnahmebildwinkel gegenüber einem vorgeschriebenen Bildwinkel erweitert wird. Danach geht der Prozess zu Schritt S6008. Es wird angemerkt, dass die Aufzeichnungsrichtung in dem Objekt-Verloren-Modus um den Änderungsbetrag der Beobachtungsrichtung vor dem Fehlschlagen der Gesichtsrichtungserfassung kontinuierlich bewegt werden kann.
  • Nachstehend wird ein Fall unter Bezugnahme auf 36B beschrieben, der in den Objekt-Verloren-Modus in Schritt S6007 eintritt. 36B zeigt einen Fall, in dem die Benutzerbeobachtungsrichtung im fünften Rahmen (n = 5) nicht erfasst werden kann.
  • In dem Beispiel in 36B wird ein Hauptobjekt ab dem ersten Rahmen (n = 1) bis zum vierten Rahmen (n = 4) nicht gefunden, und ein zuvor registriertes Objekt wird in dem Aufnahmebild des fünften Rahmens (n = 5) nicht gefunden. Dementsprechend wird die Beobachtungsrichtung im fünften Rahmen (n = 5) im Gesamtbild durch die Trägheit der Bewegung im ersten bis vierten Rahmen nach rechts bewegt. Ferner wird der aus dem Gesamtbild extrahierte Bildwinkel in einen weiteren Winkel geändert.
  • Wenn die Aufzeichnungsrichtung in jedem der Schritte S6005 bis S6007 beruhend auf einem anderen Faktor als der Gesichtsrichtung bestimmt wird, teilt die Gesamtsteuerungs-CPU (eine Mitteilungseinheit) 101 in Schritt S6008 dem Benutzer einen Fehler (einen Erfassungsfehler) mit, der zeigt, dass die Gesichtsrichtungserfassung fehlgeschlagen ist. Danach verlässt der Prozess diese Unterroutine. Bei diesem Ausführungsbeispiel wird eine Warnung unter Verwendung der Vibriereinrichtung 106 in 5 für den Benutzer ausgegeben. Das Mitteilungsverfahren in Schritt S6008 ist nicht darauf beschränkt. Es können andere Mitteilungsverfahren angewendet werden, wie eine Warnung unter Verwendung der LED 17, und eine Anzeige einer Warnnachrichtung auf einem Endgerät wie der Anzeigevorrichtung 800, die mit dem Kamerahauptteil 1 kooperiert.
  • Da bei diesem Ausführungsbeispiel wie vorstehend beschrieben die Aufzeichnungsrichtung und der Bildwinkel gemäß einer Situation geändert werden, wenn die Gesichtsrichtung nicht erfasst werden kann, kann vermieden werden, dass der Benutzer eine Aufnahme des Bildes des Zielblickfeldes verfehlt, welches der Benutzer von Natur aus aufnehmen möchte.
  • Das heißt, wenn eine Gesichtsrichtung nicht erfasst werden kann, und wenn das in der Vergangenheit nachverfolgte Objekt oder das zuvor registrierte Objekt erfasst wird, wird bei diesem Ausführungsbeispiel das Objekt nachverfolgt. Wenn unterdessen ein derartiges Objekt nicht erfasst werden kann, wird der Bildaufnahmebildwinkel gegenüber dem vorgeschriebenen Bildwinkel erweitert, um den Aufnahmefehlschlag zu vermeiden und eine Neuerfassung des Objekts zu erleichtern.
  • Dadurch kann eine Situation verhindert werden, in der ein Bild, das der Benutzer nicht beabsichtigt, aufgrund eines Fehlschlagens der Gesichtsrichtungserfassung aufgenommen wird.
  • Obwohl der Prozess in den Schritten S6001 bis S6008 für jeden Rahmen durchgeführt wird, kann der Modus gemäß Modusbestimmungsinformationen, wie Informationen darüber, ob die Gesichtsrichtung von der Gesichtsrichtungserfassungseinheit 20 erhalten wird, selbst nach Umschalten in den jeweiligen Modus geändert werden. Wenn bei diesem Ausführungsbeispiel beispielsweise das zuvor registrierte Objekt als Ergebnis des Erweiterns des Bildwinkels im Objekt-Verloren-Modus erfasst wird, wird der Modus in den Registriertes-Objekt-Nachverfolgungsmodus umgeschaltet, in dem die Richtung des erfassten Objekts als Aufzeichnungsrichtung bestimmt wird. In diesem Fall wird der erweiterte Bildwinkel auf den vorgeschriebenen Bildwinkel zurückgesetzt.
  • Obwohl der Modus bei diesem Ausführungsbeispiel ferner anhand einer Einmalbestimmung geändert wird, kann der Modus beruhend auf Mehrfachbestimmungen gemäß der Bildwechselfrequenz oder der Leistung bei der Gesichtsrichtungserfassung umgeschaltet werden.
  • Als nächstes wird ein siebtes Ausführungsbeispiel beschrieben. Im siebten Ausführungsbeispiel wird ein Verfahren zum Bestimmen einer Beobachtungsrichtung gemäß einer Genauigkeit (Zuverlässigkeit) der Gesichtsrichtungserfassung anhand von 37A bis 40 beschrieben.
  • Dieses Ausführungsbeispiel wird grundlegend als Ableitung vom ersten Ausführungsbeispiel beschrieben. Dementsprechend sind Konfigurationen des Kamerasystems im siebten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, mit denselben Bezugszeichen angegeben, und auf wiederholende Beschreibungen wird verzichtet. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Das sechste Ausführungsbeispiel verhindert einen Bildaufnahmebetrieb in einer Aufzeichnungsrichtung, die der Benutzer nicht beabsichtigt, indem der Modus, der die Beobachtungsrichtung bestimmt, dementsprechend umgeschaltet wird, ob die Gesichtsrichtung erfasst werden kann. Wenn eine Benutzergesichtsrichtung unterdessen nicht stabil erfasst werden kann, wie in der JP 2007-74033A , kann ein Bild bei einem Bildwinkel aufgenommen werden, den der Benutzer nicht beabsichtigt. Wenn die Bildaufnahme-/Erfassungseinheit 10 des Kamerahauptteils 1 vor den Schlüsselbeinen getragen wird, wie es in 1B gezeigt ist, kann die Erfassungsgenauigkeit der Gesichtsrichtungserfassung unter den Einfluss eines Kragens, von Haaren und so weiter fallen. Wenn die Erfassungsgenauigkeit sinkt, kann die Gesichtsrichtung nicht stabil erfasst werden.
  • Wenn der Benutzer das Gesicht in der lateralen Richtung dreht (37B und 37C), wird ein Bereich, in dem ein Kiefer und eine Backe durch den Körper oder eine Schulter verdeckt werden, größer als in einem Fall, in dem der Benutzer in die Frontrichtung schaut (37A). Das heißt, der Kamerahauptteil 1 hat eine derartige Eigenschaft, dass der Gesichtsbereich, der zum Erfassen der Gesichtsrichtung verwendet werden kann, in manchen Gesichtsrichtungen klein wird. Die Möglichkeit des Abfallens der Erfassungsgenauigkeit erhöht sich in diesen Gesichtsrichtungen. Diese Eigenschaft hängt stark von dem vom Benutzer gewählten Tragepunkt des Kamerahauptteils 1 ab.
  • Bei diesem Ausführungsbeispiel wird die Erfassungsgenauigkeit (Zuverlässigkeit) der Gesichtsrichtung beruhend auf Erfassungsergebnissen der Trageposition des Kamerahauptteils 1 und der Gesichtsrichtung berechnet. Wenn die Zuverlässigkeit hoch ist, geht die Gesichtsrichtung stark in die Beobachtungsrichtung ein. Wenn die Zuverlässigkeit gering ist, geht ein anderer Faktor als die Gesichtsrichtung stark in die Beobachtungsrichtung ein. Dadurch kann die Benutzerabsicht auf den Bildaufnahmebetrieb reflektiert werden.
  • 38 zeigt ein Ablaufdiagramm eines Beobachtungsrichtungsbestimmungsprozesses gemäß diesem Ausführungsbeispiel beim Erhalten der Gesichtsrichtung, der anstelle des Prozesses in Schritt S6004 in 35 ausgeführt wird. Dieser Prozess wird durch die Gesamtsteuerungs-CPU (eine Beobachtungsrichtungsbestimmungseinheit) 101 ausgeführt.
  • In Schritt S7001 berechnet die Gesamtsteuerungs-CPU (eine Erstbeobachtungsrichtungsberechnungseinheit und eine Zuverlässigkeitsberechnungseinheit) eine Gesichtsrichtungszuverlässigkeit Tn beruhend auf der Gesichtsrichtung (einer ersten Beobachtungsrichtung) θn, die durch die Gesichtsrichtungserfassungseinheit 20 beim Aufnehmen des Bildes des Rahmens n erhalten wird.
  • Die Gesichtsrichtungszuverlässigkeit Tn wird wie folgt berechnet. Zuerst wird die Gesichtsrichtung θr in drei Komponenten eingeteilt, eine Gesichtsrichtung 0yaw, eine Gesichtsrichtung θpitch und eine Gesichtsrichtung θroll. Die Gesichtsrichtung θyaw ist eine Rotationskomponente einer Gesichtsbewegung in lateraler Richtung. Die Gesichtsrichtung θpitch ist eine Rotationskomponente der Gesichtsbewegung in vertikaler Richtung. Die Gesichtsrichtung θroll ist eine Rotationskomponente eines Neigens des Kopfes.
  • Da bei diesem Ausführungsbeispiel angenommen wird, dass der Benutzer den Kamerahauptteil auf den Schlüsselbeinen des Benutzers trägt, und die Gesichtsrichtung aus einer Position unter dem Gesicht erfasst wird, wird die Gesichtsrichtungszuverlässigkeit Tn (0 ≤ Tn ≤ 1) durch folgende Formel 701 aufgefunden. T n = 1 1 + | tan ( 2 ⋅ θ y a w ) | ⋅ | tan ( 2 ⋅ θ p i t c h ) | ⋅ | tan ( 2 ⋅ θ r o l l ) |
    Figure DE102022105788A1_0004
  • 39 zeigt die Beziehung zwischen der Gesichtsrichtung θyaw und der Gesichtsrichtungszuverlässigkeit Tn. Eine Kurve in 39 zeigt, dass die Gesichtsrichtungszuverlässigkeit Tn geringer wird, wenn der Winkel der Gesichtsrichtung θyaw hinsichtlich der Front größer wird.
  • Die Gesichtsrichtungszuverlässigkeit Tn wird bei diesem Ausführungsbeispiel unter Verwendung der Formel 701 berechnet. Unterdessen kann die Gesichtsrichtungszuverlässigkeit durch Gewichtsmittelung von Werten erhalten werden, die durch Gewichten der vergangenen Gesichtsrichtungszuverlässigkeiten gemäß der Erfassungsgenauigkeit der Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit 20 und der Bildwechselfrequenz der Erfassung berechnet werden. Des Weiteren kann die Genauigkeit des Musterübereinstimmungsvergleichs, der Trageposition und so weiter beim Berechnen der Gesichtsrichtungszuverlässigkeit Tn gewichtet werden.
  • Bei diesem Ausführungsbeispiel wird die Gesichtsrichtungszuverlässigkeit, die die Beobachtungsrichtung schätzt, ferner durch die Formel 701 berechnet. Das Berechnungsverfahren der Gesichtsrichtungszuverlässigkeit ist allerdings nicht darauf beschränkt. Beispielsweise kann eine Gesichtsrichtungszuverlässigkeit angewendet werden, die gemäß dem Tragepunkt des Kamerahauptteils 1 angepasst ist, der durch die Kalibrierung in dem zweiten Ausführungsbeispiel geschätzt wird. Wenn bei der Kalibrierung bestimmt wird, dass eine Erfassungsgenauigkeit gering ist, kann die Gesichtsrichtungszuverlässigkeit ferner gemäß der Erfassungsgenauigkeit geändert werden. Wenn die Gesichtsrichtung unter Verwendung maschinellen Lernens erfasst wird, kann ferner ein Präzisionsverhältnis in der Gesichtsrichtungszuverlässigkeit widergespiegelt werden.
  • In Schritt S7002 findet die Gesamtsteuerungs-CPU 101 die Winkelgeschwindigkeit ωn einer Bewegung des Gesichts. Die Winkelgeschwindigkeit ωn wird insbesondere durch die folgende Formel 702 unter Verwendung der Gesichtsrichtung θn, die durch die Gesichtsrichtungserfassungseinheit 20 beim Aufnehmen des Bildes des Rahmens n erhalten wird, ihre Gesichtsrichtungserhaltezeit tn, der Gesichtsrichtung 0n-1 des im Primärspeicher 103 gespeicherten vorhergehenden Rahmens und ihrer Gesichtsrichtungserhaltezeit tn-1 gefunden. ω n = θ n − θ n − 1 t n − t n − 1
    Figure DE102022105788A1_0005
  • Obwohl die Winkelgeschwindigkeit ωn bei diesem Ausführungsbeispiel unter Verwendung der Informationen über den aktuellen Rahmen und die Informationen über den vorhergehenden Rahmen berechnet wird, kann die Winkelgeschwindigkeit in Abhängigkeit von der Bildwechselfrequenz, und so weiter unter Verwendung eines oder mehrerer Teile vergangener Informationen aufgefunden werden.
  • In Schritt S7003 schätzt die Gesamtsteuerungs-CPU (eine Beobachtungsrichtungsschätzeinheit) 101 die aktuelle Gesichtsrichtung aus dem Übergang der im Primärspeicher 103 gespeicherten vergangenen Gesichtsrichtungen. Bei diesem Ausführungsbeispiel ist ein Zeitabschnitt als vorbestimmter Zeitabschnitt definiert, der ausgehend von einem aktuellen Rahmen vier vorhergehende Rahmen enthält. Wenn die kontinuierliche Änderung der Gesichtsrichtung in einer bestimmten Richtung drei oder mehr Male innerhalb des vorbestimmten Zeitabschnitts bestimmt wird, wird bestimmt, dass die Beobachtungsrichtung aus den vergangenen Gesichtsrichtungen und Winkelgeschwindigkeiten geschätzt werden kann. Ferner wird bei dieser Schätzung eine geschätzte Winkelgeschwindigkeit ωave, die ein gewichtetes Mittel der aus den vergangenen vier Rahmen erhaltenen Winkelgeschwindigkeiten ist, durch die folgende Formel 703 berechnet, und eine geschätzte Gesichtsrichtung θave (erste Beobachtungsrichtung) wird durch die folgende Formel 704 berechnet. Die Berechnungen der Formeln 703 und 704 entsprechen jeweils Prozessen a1 und a2, die in 40 gezeigt sind.
  • Es wird angemerkt, dass die Länge des vorbestimmten Zeitabschnitts und die Gewichte des gewichteten Mittels, die in Schritt S7003 verwendet werden, gemäß der Bildwechselfrequenz und der Erfassungsgenauigkeit der Gesichtsrichtungserfassungseinheit 20 geändert werden können. ω a v e = ∑ t = 1 3 ω n − 1 3
    Figure DE102022105788A1_0006
     θ a v e = θ n − 1 + ( t n − t n − 1 ) ⋅ ω a v e
    Figure DE102022105788A1_0007
  • In Schritt S7004 schätzt die Gesamtsteuerungs-CPU 101 die Beobachtungsrichtung unter Verwendung interner Informationen, die von den Informationen von der Gesichtsrichtungserfassungseinheit 20 verschieden sind, aus den in dem Primärspeicher 103 gespeicherten Informationen. Bei diesem Ausführungsbeispiel wird insbesondere beruhend auf einem Objekterfassungsverlauf bestimmt, ob das Objekt gegenwärtig nachverfolgt wird. Wird bestimmt, dass das Objekt gegenwärtig nachverfolgt wird, wird eine auf der Bewegung des Objekts beruhende geschätzte Beobachtungsrichtung θsub (eine zweite Beobachtungsrichtung) berechnet. Bei diesem Ausführungsbeispiel ist ein Zeitabschnitt, der beruhend auf einem aktuellen Rahmen vier vorhergehende Rahmen enthält, als vorbestimmter Zeitabschnitt definiert. Wenn ein Objekt, das als identisches Objekt bestimmt werden kann, innerhalb des vorbestimmten Zeitabschnitts drei oder mehr Male erfasst wird, wird bestimmt, dass das Objekt gegenwärtig nachverfolgt wird. Das Kriterium der Objektnachverfolgungsbestimmung kann entsprechend dem Zyklus und der Genauigkeit der Erfassung durch die Gesamtsteuerungs-CPU 101 geändert werden. Da ein Objektnachverfolgungserfassungsverfahren gut bekannt ist, wird seine ausführliche Beschreibung weggelassen.
  • Obwohl die für die Schätzung der Beobachtungsrichtung in Schritt S7004 verwendeten internen Informationen bei diesem Ausführungsbeispiel der Objekterfassungsverlauf ist, sind sie nicht darauf beschränkt. Die Beobachtungsrichtung kann beispielsweise gemäß der Trageposition und Leistung des Kamerahauptteils 1 geschätzt werden, wobei durch die Bildaufnahmeeinheit 40 erfasste Gesichtsinformationen des Benutzers oder die durch den Winkelgeschwindigkeitssensor 107 und den Beschleunigungssensor 108 erfassten Informationen über Bewegung und Stellung des Kamerahauptkörpers 1 verwendet werden. Wenn ferner ein zuvor registriertes Objekt vorhanden ist, kann die Gesamtsteuerungs-CPU (eine dritte Beobachtungsrichtungsschätzeinheit) 101 die Richtung des zuvor registrierten Objekts in dem neuesten Aufnahmebild als die geschätzte Beobachtungsrichtung 0",b wie in Schritt S6006 im sechsten Ausführungsbeispiel bestimmen.
  • In Schritt S7005 speichert die Gesamtsteuerungs-CPU 101 auf die Gesichtsrichtungserfassung bezogene Informationen im Primärspeicher 103 als Verlauf. Die auf die Gesichtsrichtungserfassung bezogenen Informationen enthalten die Winkelgeschwindigkeit ωn einer Bewegung des Gesichts, die in Schritt S7002 erzeugt wird, die in Schritt S7001 berechnete Gesichtsrichtungszuverlässigkeit Tn, die durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsrichtung θn, die Gesichtsrichtungserhaltezeit tn, und die erzeugten Zeitpunkte dieser Werte.
  • In Schritt S7006 bestimmt die Gesamtsteuerungs-CPU 101, ob die in Schritt S7001 berechnete Gesichtsrichtungszuverlässigkeit Tn gleich einem oder größer als ein vorbestimmter Wert ist. Wenn die Gesichtsrichtungszuverlässigkeit Tn gleich dem oder größer als der vorbestimmte Wert ist, wird bestimmt, dass die Gesichtsrichtungszuverlässigkeit hoch ist, und der Prozess geht zu Schritt S7009. In Schritt S7009 bestimmt die Gesamtsteuerungs-CPU 101 die Gesichtsrichtung als die aktuelle Beobachtungsrichtung θ'n. Dann geht der Prozess zu Schritt S7013.
  • Wenn unterdessen die in Schritt S7001 berechnete Gesichtsrichtungszuverlässigkeit Tn kleiner als der vorbestimmte Wert ist (NEIN in Schritt S7006), geht der Prozess zu Schritt S7007. In Schritt S7007 wird bestimmt, ob die geschätzte Gesichtsrichtung θave in Schritt S7003 berechnet werden kann, und ob |θn-θave| gleich einem oder kleiner als ein vorbestimmter Winkel ist. Wenn die zwei Bedingungen erfüllt sind, geht der Prozess zu Schritt S7010. Bei diesem Ausführungsbeispiel ist der vorbestimmte Winkel bei der Bestimmung auf n/8 eingestellt.
  • In Schritt S7010 bestimmt die Gesamtsteuerungs-CPU (eine erste Beobachtungsrichtungsschätzeinheit) 101 die aktuelle Beobachtungsrichtung θ'n unter Verwendung der Gesichtsrichtung θn, des geschätzten Beobachtungswinkels θave und der Gesichtsrichtungszuverlässigkeit Tn. Bei diesem Ausführungsbeispiel wird die aktuelle Beobachtungsrichtung θ'n durch die folgende Formel 705 berechnet, und der Prozess geht zu Schritt S7013. Die Berechnung in der Formel 705 entspricht einem in 40 gezeigten Prozess b1. Wie in 39 gezeigt, wird die Gesichtsrichtungszuverlässigkeit Tn höher, wenn der Absolutwert des Gesichtswinkels θyaw kleiner wird. Wenn der Absolutwert des Gesichtswinkels θyaw klein ist, wird die Gesichtsrichtung θn entsprechend stark in der aktuellen Beobachtungsrichtung θ'n reflektiert, wie es durch die Formel 705 gezeigt ist. Wenn der Absolutwert des Gesichtswinkels θyaw unterdessen groß ist, wird der von der Gesichtsrichtung θn verschiedene Faktor (insbesondere die geschätzte Gesichtsrichtung θ'ave) stark in der aktuellen Beobachtungsrichtung θ'n reflektiert, wie es durch die Formel 705 gezeigt ist. θ ' n = T n ⋅ θ n + ( 1 − T n ) ⋅ θ a v e
    Figure DE102022105788A1_0008
  • Wenn die vorstehend beschriebenen Bedingungen in Schritt S7007 nicht erfüllt sind, geht der Prozess zu Schritt S7008. In Schritt S7008 wird bestimmt, ob die geschätzte Beobachtungsrichtung θsub berechnet werden kann, und ob |θn-θsub| gleich einem oder kleiner als ein vorbestimmter Winkel ist. Wenn die Bedingungen in Schritt S7008 erfüllt sind, geht der Prozess zu Schritt S7011. Bei diesem Ausführungsbeispiel ist der vorbestimmte Winkel wie in Schritt S7010 auf n/8 bei der Bestimmung eingestellt.
  • In Schritt S7011 bestimmt die Gesamtsteuerungs-CPU (eine zweite Beobachtungsrichtungsschätzeinheit) 101 die aktuelle Beobachtungsrichtung θ'n unter Verwendung der Gesichtsrichtung θn, der geschätzten Beobachtungsrichtung θsub und der Gesichtsrichtungszuverlässigkeit Tn. Bei diesem Ausführungsbeispiel wird die aktuelle Beobachtungsrichtung θ'n durch die folgende Formel 706 aufgefunden, und der Prozess geht zu Schritt S7013. Wie in 39 gezeigt, wird die Gesichtsrichtungszuverlässigkeit Tn wie in Schritt S7010 höher, wenn der Absolutwert des Gesichtswinkels θyaw kleiner wird. Wenn der Absolutwert des Gesichtswinkels θyaw klein ist, wird die Gesichtsrichtung θn dementsprechend in der aktuellen Beobachtungsrichtung θ'nstark wiedergespiegelt, wie es durch die Formel 706 gezeigt ist. Wenn der Absolutwert des Gesichtswinkels θyaw unterdessen groß ist, wird der von der Gesichtsrichtung θn verschiedene Faktor (insbesondere die geschätzte Beobachtungsrichtung θsub) in der aktuellen Beobachtungsrichtung θ'n stark wiedergespiegelt. θ ' n = T n ⋅ θ n + ( 1 − T n ) ⋅ θ s u b
    Figure DE102022105788A1_0009
  • Wenn die vorstehenden Bedingungen in Schritt S7008 nicht erfüllt sind, wird bestimmt, dass die zuverlässige Beobachtungsrichtung in der vorliegenden Situation nicht erhalten werden kann, und der Prozess geht zu Schritt S7012. In Schritt S7012 wird die aktuelle Beobachtungsrichtung θ'n durch Bewegen der vorhergehenden Beobachtungsrichtung 0'n-1 unter Trägheit beruhend auf dem Übergang der vergangenen Beobachtungsrichtungen bestimmt, und der Bildwinkel wird gegenüber dem vorgeschriebenen Bildwinkel erweitert. Dann geht der Prozess zu Schritt S7013. Dies verringert die Möglichkeit, dass der Benutzer die Aufnahme eines Objekts verpasst, die der Benutzer beabsichtigt.
  • Obwohl das Berechnungsverfahren der aktuellen Beobachtungsrichtung θ'n bei diesem Ausführungsbeispiel gemäß der Gesichtsrichtungszuverlässigkeit Tn und dem Erfassungszustand des Objekts umgeschaltet wird, ist es nicht darauf beschränkt. Wenn die geschätzte Gesichtsrichtung θave und die geschätzte Beobachtungsrichtung θsub berechnet werden, können beispielsweise auch ihre Zuverlässigkeiten (geschätzten Richtungszuverlässigkeiten) berechnet werden. In diesem Fall kann die berechnete Beobachtungsrichtung θ'n gemäß den berechneten Zuverlässigkeiten korrigiert werden.
  • Da ferner die Möglichkeit, dass der Benutzer die Aufnahme eines Objekts verpasst, die der Benutzer beabsichtigt, hoch wird, wenn die berechneten Zuverlässigkeiten nicht größer als der vorbestimmte Wert sind, wird vorzugsweise der Bildwinkel gegenüber dem vorgeschriebenen Bildwinkel erweitert. In einem derartigen Fall kann der Prozess ferner zu Schritt S7012 gehen. Wenn danach eine der berechneten Zuverlässigkeiten größer als der vorbestimmte Wert wird, wird der erweiterte Bildwinkel vorzugsweise auf den vorgeschriebenen Bildwinkel zurückgesetzt.
  • Wenn die Gesichtsrichtungszuverlässigkeit Tn hoch ist, wird als Folge des Prozesses in 38 die Gesichtsrichtung θn als aktuelle Beobachtungsrichtung θ'n bestimmt. Wenn unterdessen die Gesichtsrichtungszuverlässigkeit Tn gering ist, wird die aktuelle Beobachtungsrichtung θ'n (Aufzeichnungsrichtung) unter Verwendung der Gesichtsrichtungen, die unter der hohen Gesichtsrichtungszuverlässigkeit Tn erhalten werden, des von der Gesichtsrichtung verschiedenen Faktors oder dergleichen gemäß der Situation bestimmt. Ferner wird bei Bedarf der Bildwinkel erweitert.
  • Das heißt, wenn die geringe Erfassungsgenauigkeit der Gesichtsrichtung aufgrund der geringen Gesichtsrichtungszuverlässigkeit Tn geschätzt wird, wird die geschätzte Gesichtsrichtung θave oder die geschätzte Beobachtungsrichtung 0",b verwendet. Dadurch kann eine Situation verhindert werden, dass aufgrund eines Fehlschlagens einer Gesichtsrichtungserfassung ein vom Benutzer nicht beabsichtigtes Bild aufgenommen wird.
  • Als nächstes wird ein achtes Ausführungsbeispiel beschrieben. Im achten Ausführungsbeispiel wird unter Verwendung von 41A bis 45G ein Verfahren zum Tragen des Kamerahauptteils 1 an einer stabilen Position beschrieben. Dieses Ausführungsbeispiel wird grundlegend als Ableitung vom ersten Ausführungsbeispiel beschrieben. Entsprechend sind Konfigurationen des Kamerasystems im achten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch dieselben Bezugszeichen bezeichnet, und wiederholende Beschreibungen sind weggelassen. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Die Winkelanpassung der Verbindungselemente 80L und 80R (am Hals hängende Elemente) wird zuerst beschrieben. 41A, 41B und 41C sind vergrößerte Seitenansichten der Bildaufnahme-/Erfassungseinheit 10. Obwohl in der folgenden Beschreibung das linke Verbindungselement 80L beschrieben wird, wird das rechte Verbindungselement 80R ähnlich angebracht.
  • 41A zeigt eine Darstellung eines Zustands, in dem das Verbindungselement 80L in einer Standardposition Ax0 eingestellt ist. 41B zeigt eine Darstellung eines Zustands, in dem das Verbindungselement 80L hinsichtlich der Standardposition Ax0 um eine Rotationsachse OA um einen Winkel θA1 rotiert ist. 41C zeigt eine schematische Darstellung einer mechanischen Struktur in dem Winkelhalteelement 81L, die gesehen werden kann, wenn die Außenseite des Winkelhalteelements 81L entfernt ist.
  • Wie in 41C gezeigt, ist in dem Winkelhalteelement 81L eine Winkelanpasseinrichtung (Am-Hals-Häng-Winkelanpasseinrichtung) 8100 angeordnet.
  • Die Winkelanpasseinrichtung 8100 umfasst eine Winkelanpassnocke 8101, die den Winkel des Winkelhalteelements 81L hinsichtlich der Bildaufnahme-/Erfassungseinheit 10 anpasst, und ein Verriegelungselement 8102, das die Winkelanpassnocke 8101 verriegelt. Es wird angemerkt, dass die Rotationsachse OA des Winkelhalteelements 81L mit der Mitte der Winkelanpassnocke 8101 übereinstimmt.
  • Das Verriegelungselement 8102 ist durch eine (nicht gezeigte) Feder hinsichtlich der Winkelanpassnocke 8101 vorgespannt. Während die Winkelanpasstaste 85L (2F) gedrückt wird, wird die Vorspannung gelöst und das Verriegelungselement 8102 kann von der Winkelanpassnocke 8101 getrennt werden. D. h., nur während die Winkelanpasstaste 85L gedrückt wird, wird das Winkelhalteelement 81L des Verbindungselements 80L hinsichtlich der Bildaufnahme-/Erfassungseinheit 10 rotierbar.
  • Beim Rotieren des Winkelhalteelements 81L hinsichtlich der Bildaufnahme-/Erfassungseinheit 10 unter Drücken der Winkelanpasstaste 85L kann der Benutzer das Verbindungselement 80L aus der Standardposition Ax0 (41A) auf eine Position Ax1 (41B) anpassen.
  • Obwohl dieses Ausführungsbeispiel eine stufenweise Anpasseinrichtung anwendet, die die Winkelanpassnocke 8101 und das Verriegelungselement 8102 enthält, kann als Einrichtung, die den Winkel des Winkelhalteelements 81L hinsichtlich der Bildaufnahme-/Erfassungseinheit 10 hält, eine stufenlose Anpasseinrichtung angewendet werden, die einen Schiebewiderstand verwendet.
  • Obwohl dieses Ausführungsbeispiel ferner die Konfiguration anwendet, dass der Benutzer das Winkelhalteelement 81L während des Drückens der Winkelanpasstaste 85L rotiert, besteht keine Einschränkung darauf. Beispielsweise kann eine Konfiguration verwendet werden, welche die Winkelanpasstaste 85L nicht erfordert. Eine derartige Konfiguration erlaubt eine Rotation des Winkelhalteelements 81L, wenn eine äußere Kraft angewendet wird, die größer als ein Schwellenwert ist. Beispielsweise kann ein Ball anstelle des Verriegelungselements 8102 verwendet werden, und ein Schiebewiderstand kann verwendet werden.
  • 42A, 42B und 42C zeigen Seitenansichten eines Zustands, in dem der Benutzer den Kamerahauptteil 1 trägt. 42A zeigt eine Darstellung des Benutzers, der den Kamerahauptteil 1 trägt, dessen Verbindungselement 80L an der Standardposition Ax0 eingestellt ist, und dessen Bandabschnitt 82L in die Länge gezogen ist. 42B zeigt eine Darstellung des Benutzers, der den Kamerahauptteil 1 trägt, dessen Verbindungselement 80L an der Standardposition Ax0 eingestellt ist, und dessen Bandabschnitt 82L verkürzt ist. 42C zeigt eine Darstellung des Benutzers, der den Kamerahauptteil 1 trägt, dessen Verbindungselement 80L an der Position Ax1 eingestellt ist, und dessen Bandabschnitt 82L verkürzt ist.
  • Wie in 42A und 42C gezeigt, ist das Bildaufnahmeobjektiv 16 zu der Benutzerfront gerichtet, wenn die Beziehung zwischen der Position des Verbindungselements 80L und der Länge des Bandabschnitts 82L für den Benutzer geeignet ist. Wenn unterdessen die Beziehung zwischen der Position des Verbindungselements 80L und der Länge des Bandabschnitts 82L, wie in 42B gezeigt, für den Benutzer nicht geeignet ist, ist das Bildaufnahmeobjektiv 16 nicht zu der Benutzerfront gerichtet. Im Fall von 43B ist die optische Achse des Bildaufnahmeobjektivs 16B nach oben gerichtet.
  • Da das Verbindungselement 80L so konfiguriert ist, dass es an seiner Position anpassbar ist, kann der Benutzer den Kamerahauptteil 1 derart tragen, dass die optische Achse des Bildaufnahmeobjektivs 16 im natürlichen Zustand des Benutzers ungefähr parallel zu einer Sichtlinie ist. Wenn die optische Achse des Bildaufnahmeobjektivs 16 mit der horizontalen Richtung übereinstimmt, wenn der Benutzer den Kamerahauptteil 1 an der geeigneten Position trägt, ist gleichermaßen ein geeignetes Tragen verfügbar.
  • Als nächstes wird die Winkelanpassung der Brustkontaktkissen 18a und 18b beschrieben. 43A, 43B und 43C zeigen vergrößerte Seitenansichten der Bildaufnahme-/Erfassungseinheit 10, ohne dass die Verbindungselemente 80L und 80R gezeigt sind. Obwohl im Folgenden das linke Brustkontaktkissen 18a beschrieben wird, wird das rechte Brustkontaktkissen 18b gleichermaßen angepasst.
  • 43A zeigt eine Darstellung eines Zustands, in dem das Brustkontaktkissen 18a an einer Standardposition Bx0 eingestellt ist. 43B zeigt eine Darstellung eines Zustands, in dem das Brustkontaktkissen 18a um einen Winkel θB1 hinsichtlich der Standardposition Bx0 um eine Rotationsachse OB rotiert wurde. 43C zeigt eine schematische Darstellung einer mechanischen Struktur in der Bildaufnahme-/Erfassungseinheit 10, die zu sehen ist, wenn eine Außenseite der Bildaufnahme-/Erfassungseinheit 10 entfernt ist.
  • Wie in 43C gezeigt, ist in der Bildaufnahme-/Erfassungseinheit 10 eine Kontaktwinkelanpasseinrichtung 8200 angeordnet. Die Kontaktwinkelanpasseinrichtung 8200 umfasst eine Winkelanpassnocke 8201, die den Winkel des Brustkontaktkissens 18a bezüglich der Bildaufnahme-/Erfassungseinheit 10 anpasst, und ein Verriegelungselement 8202, das die Winkelanpassnocke 8201 verriegelt. Die in 43A bis 43C gezeigte Rotationsachse OB ist ein Drehpunkt des Brustkontaktkissens 18a.
  • Das Verriegelungselement 8202 ist zu der Winkelanpassnocke 8201 mittels einer (nicht gezeigten) Feder aktiviert bzw. vorgespannt. Während eine Winkelanpasstaste 8203 gedrückt wird, wird die Vorspannung gelöst und das Verriegelungselement 8202 kann von der Winkelanpassnocke 8101 getrennt werden. Das heißt, nur während des Drückens der Winkelanpasstaste 8203 wird das Brustkontaktkissen 18a hinsichtlich der Bildaufnahme-/Erfassungseinheit 10 drehbar.
  • Während das Brustkontaktkissen 18a bezüglich der Bildaufnahme-/Erfassungseinheit 10 unter Drücken der Winkelanpasstaste 8203 gedreht wird, kann der Benutzer das Brustkontaktkissen 18a aus der Standardposition Bx0 in eine Position Bx1 anpassen.
  • Obwohl dieses Ausführungsbeispiel eine stufenweise Anpasseinrichtung anwendet, die die Winkelanpassnocke 8201 und das Verriegelungselement 8202 enthält, kann als Einrichtung, die den Winkel des Brustkontaktkissens 18a bezüglich der Bildaufnahme-/Erfassungseinheit 10 hält, eine stufenlose Anpasseinrichtung angewendet werden, die einen Schiebewiderstand verwendet.
  • Obwohl dieses Ausführungsbeispiel ferner die Konfiguration anwendet, dass der Benutzer das Brustkontaktkissen 18a während des Drückens der Winkelanpasstaste 8203 dreht, ist es nicht darauf beschränkt. Beispielsweise kann eine Konfiguration verwendet werden, die die Winkelanpasstaste 8203 nicht erfordert. Eine derartige Konfiguration erlaubt ein Drehen des Brustkontaktkissens 18a, wenn eine äußere Kraft größer als ein Schwellenwert beaufschlagt wird. Beispielsweise kann anstelle des Verriegelungselements 8202 ein Ball verwendet werden, und ein Schiebewiderstand kann verwendet werden.
  • 44A, 44B und 44C zeigen Seitenansichten von Zuständen, in denen der Benutzer den Kamerahauptteil 1 trägt, ohne dass die Verbindungselemente 80L und 80R gezeigt sind. 44A zeigt einen Zustand, in dem ein Benutzer, dessen Brust steil ist, den Kamerahauptteil 1 trägt, dessen Brustkontaktkissen 18a an der Standardposition Bx0 eingestellt ist. 44B zeigt einen Zustand, in dem ein Benutzer, dessen Brust flach ist, den Kamerahauptteil 1 trägt, dessen Brustkontaktkissen 18a an der Standardposition Bx0 eingestellt ist. 44C zeigt einen Zustand, in dem ein Benutzer, dessen Brust flach ist, den Kamerahauptteil 1 trägt, dessen Brustkontaktkissen 18a an der Position Bx1 eingestellt ist.
  • Wie in 44A und 44C gezeigt, ist das Brustkontaktkissen 18a mit der Brust des Benutzers weitflächig in Kontakt, wenn die Position des Brustkontaktkissens 18a für die Neigung der Brust des Benutzers geeignet ist. Wenn unterdessen die Position des Brustkontaktkissens 18a für die Neigung der Brust des Benutzers nicht geeignet ist, wie es in 44B gezeigt ist, ist das Brustkontaktkissen 18a mit der Brust des Benutzers lediglich in wenigen Bereichen in Kontakt. Wenn die Fläche, mit der das Brustkontaktkissen 18a die Brust des Benutzers kontaktiert, wie in 44B gezeigt klein wird, wird die Bildaufnahme/Erfassungseinheit 10 vom Körper des Benutzers aufgrund einer Bewegung des Benutzerkörpers abweichen, was in einem Aufnahmebild eine große Unschärfe verursacht.
  • Da das Brustkontaktkissen 18a derart konstituiert ist, dass sein Winkel leicht angepasst werden kann, kann der Benutzer den Kamerahauptteil 1 so tragen, dass das Brustkontaktkissen 18a breitflächig mit der Brust des Benutzers in Kontakt ist, was eine Unschärfe in einem Aufnahmebild verringert.
  • Obwohl das Brustkontaktkissen 18a in diesem Ausführungsbeispiel in der Bildaufnahme-/Erfassungseinheit 10 angeordnet ist, kann es im Verbindungselement 1811 angeordnet sein. Selbst in diesem Fall wird eine ähnliche Wirkung erhalten. In diesem Fall ist beispielswese eine Einrichtung ähnlich der in 41C gezeigten Winkelanpasseinrichtung 8100 im Verbindungselement 8011 als Einrichtung angeordnet, die den Winkel des Brustkontaktkissens 18a bezüglich des Verbindungselements 80L anpasst.
  • Als nächstes werden die Konfigurationen des Bandabschnitts 82L und des elektrischen Kabels 84 näher beschrieben. Wie im ersten Ausführungsbeispiel beschrieben sind die Batterieeinheit (Energiequelleneinheit) 90 und die Bildaufnahme-/Erfassungseinheit 10 des Kamerahauptteils 1 separate Module, die über das elektrische Kabel 84 elektrisch verbunden sind.
  • Wenn das elektrische Kabel 84 und der Bandabschnitt 82L getrennt vorhanden sind, verschlechtert sich das Erscheinungsbild des Kamerahauptteils 1, und ein Tragevorgang des Kamerahauptteils 1 wird mühsam. Dies wird nicht bevorzugt. Demnach sind der Bandabschnitt 82L und das elektrische Kabel 84 vorzugsweise integriert. Unterdessen ist eine integrierte Konfiguration nicht auf die in 2B gezeigte Konfiguration beschränkt.
  • 45A bis 45G zeigen Ansichten verschiedener Konfigurationen des Bandabschnitts 82L und der Verbindungsfläche 83L, bei der es sich um einen Abschnitt des elektrischen Kabels 84 handelt, der mit dem Bandabschnitt 82L vereinigt ist. 45A bis 45C zeigen Konfigurationen, in denen das elektrische Kabel 84 durch ein flexibles Substrat (FPC) gebildet ist. 45D bis 45G zeigen Konfigurationen, in denen das elektrische Kabel 84 durch das dünne Drahtkabel gebildet ist.
  • 45A und 45D zeigen Konfigurationen, in denen das elektrische Kabel 84 im Bandabschnitt 82L von der Verbindungsseite 83L aus gesehen eingebettet ist. In diesem Fall ist der Bandschnitt 82L vorzugsweise aus elastischen Materiealien gebildet, wie Silikongummi, Elastomer, Gummi und einem Kunststoff, die Spritzguss ermöglichen. Beispielsweise wird das elektrische Kabel 84 zum Zeitpunkt des Spritzgießens in das elektrische Kabel 84 eingefügt. Andererseits kann der Bandabschnitt 82L aus zwei Komponenten gebildet sein. In diesem Fall liegt das elektrische Kabel 84 zwischen den Komponenten des Bandabschnitts 82L, und diese sind durch einen Kleber oder Wärmeschweißen vereinigt. Herstellungsverfahren sind nicht auf die vorstehenden zwei Verfahren beschränkt. Es kann ein beliebiges anderes Verfahren angewendet werden, solange der Bandabschnitt 82L und das elektrische Kabel 84, wie in 45A und 45D gezeigt, vereinigt werden.
  • 45B, 45C und 45E zeigen Konfigurationen, in denen das elektrische Kabel 84 mit der Außenseite des Bandabschnitts 82L von der Verbindungsseite 83L aus gesehen verbunden ist. 45B zeigt eine Konfiguration, bei der das elektrische Kabel 84 an den Bandabschnitt 82L geklebt ist. Der Bandabschnitt 82L weist keine spezifische Konfiguration für seine Vereinigung mit dem elektrischen Kabel 84 auf. Diese Konfiguration kann bei geringen Kosten hergestellt werden. Wenn das elektrische Kabel (FPC in diesem Fall) 84 extern erscheint, kann das Erscheinungsbild des Produkts verbessert werden, indem das FPC angemalt wird, oder indem das FPC mit einer Schicht bedeckt wird.
  • 45C und 45E zeigen Konfigurationen, in denen ein konkaver Abschnitt 83a im Bandabschnitt 82L von der Verbindungsseite 83L aus gesehen geduldet ist, um ihn mit dem elektrischen Kabel 84 zu vereinen. Das elektrische Kabel 84 ist im konkaven Abschnitt 83 angeordnet. Wenn der konkave Abschnitt 83a in diesem Fall auf der Innenseite (Halsseite) des Bandabschnitts 82L angeordnet ist, kann ein gutes Erscheinungsbild beibehalten und auch ein gutes Tragegefühl beibehalten werden, ohne dass ein spezieller Prozess durchgeführt wird, da das elektrische Kabel 84 im konkaven Teil 83a untergebracht ist und mit dem Hals des Benutzers nicht direkt in Kontakt ist. Da die konkave Form 83a ferner keine zusätzlichen Kosten erfordert, wenn sie vor der Herstellung entworfen wird, hat sie hinsichtlich der Kosten einen Vorteil.
  • 45F und 45G zeigen Konfigurationen, in denen das elektrische Kabel 84 im Bandabschnitt 82L von der Verbindungsfläche 83L aus gesehen eingebettet ist. 45F zeigt eine Konfiguration, bei der das elektrische Kabel 84 eine einzelne Leitung umfasst. 45G zeigt eine Konfiguration, bei der das elektrische Kabel 84 drei Leitungen umfasst. Ein charakteristisches Merkmal der Konfigurationen in 45F und 45G ist, dass die Querschnittsfläche an der Verbindungsseite 83L des Bandabschnitts 82L sichergestellt wird. Dies unterscheidet sich von den Konfigurationen in 45A und 45D. Die Querschnittsfläche an der Verbindungsseite 83L des Bandabschnitts 82L hat Einfluss auf eine Verbindungsfestigkeit und Biegefestigkeit. Und eine derartige Festigkeit beeinflusst die Stabilität, dass die Bildaufnahme-/Erfassungseinheit 10 kontinuierlich an einer festen Position des Benutzerkörpers stabilisiert ist, wenn der Benutzer den Kamerahauptteil 1 trägt. Das heißt, die Stabilität der Bildaufnahme-/Erfassungseinheit 10 verbessert sich, wenn sich die Querschnittsfläche der Verbindungsfläche 83L erhöht, da die Verbindungsfestigkeit und Biegefestigkeit stark werden.
  • Die Ausbuchtungsseite des elektrischen Kabels 84 ist vorzugsweise an der Außenseite des Bandabschnitts 82L angeordnet, damit ein komfortables Tragegefühl erzielt wird. Die Konfigurationen in 45F und 45D lassen die Ausbuchtungsseite im äußeren Erscheinungsbild erkennen, stellen aber die Festigkeit des Bandabschnitts 82L sicher.
  • Wie vorstehend beschrieben hat die Konfiguration in 45C oder 45E einen Vorteil, wenn einer Ausgeglichenheit zwischen dem Erscheinungsbild und dem Tragegefühl Priorität zukommt. Wenn den Kosten oder der Festigkeit Priorität gegeben wird, kann eine andere Konfiguration in 45A, 45B, 45D, 45F oder 45G angewendet werden.
  • Als nächstes wird ein neuntes Ausführungsbeispiel beschrieben. Im neunten Ausführungsbeispiel wird ein abgewandeltes Beispiel des Kamerasystems, das den Kamerahauptteil 1 enthält, unter Bezugnahme auf 46A und 46B beschrieben. Dieses Ausführungsbeispiel wird im Wesentlichen als Ableitung vom ersten Ausführungsbeispiel beschrieben. Entsprechend sind Konfigurationen des Kamerasystems im neunten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und auf wiederholende Beschreibungen wird verzichtet. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Die Anzeigevorrichtung 800 im ersten Ausführungsbeispiel verwendet das allgemeine Smartphone. Im Handel sind verschiedene Smartphones erhältlich, und auch ihre arithmetischen Kapazitäten sind verschieden. Beispielsweise weist die Anzeigevorrichtung 800 im ersten Ausführungsbeispiel eine relativ hohe arithmetische Kapazität auf. Wenn der Kamerahauptteil 1 das Bild der Aufzeichnungsrichtung, das aus dem Superweitwinkelbild extrahiert wird, zu der Anzeigevorrichtung 800 überträgt, werden demnach die für den optischen Korrekturprozess oder den Bildstabilisierungsprozess erforderlichen Informationen zu dem Bild hinzugefügt. Die Anzeigevorrichtung 800 im ersten Ausführungsbeispiel führt den Verzerrungskorrekturprozess und den Bildstabilisierungsprozess beruhend auf den hinzugefügten Informationen durch. Derartige Prozesse sind für ein Smartphone allerdings schwierig, da es relativ geringe arithmetische Kapazität hat.
  • Das Kamerasystem dieses Ausführungsbeispiels ist mit einem Kamerahauptteil 1' versehen, der eine Bildaufnahmevorrichtung und eine Anzeigevorrichtung 9800 enthält, deren arithmetische Kapazität geringer als die der Anzeigevorrichtung 800 ist. Wenn der Kamerahauptteil 1' die Prozesse von dem Vorbereitungsprozess zu dem Primäraufzeichnungsprozess (die Schritte S100 bis S600 in 7A) durchgeführt hat, führt der Kamerahauptteil 1' den optischen Korrekturprozess und den Bildstabilisierungsprozess (die Schritte S800 und S900) ohne Durchführen des Übertragungsprozesses zu der Anzeigevorrichtung (des Schrittes S700) durch. Danach führt der Kamerahauptteil 1' einen Prozess durch, der das Bild, das den Prozessen in den Schritten S800 und S900 unterzogen wurde, zu der Anzeigevorrichtung 9800 überträgt.
  • Unterdessen führt die Anzeigevorrichtung 9800 den Sekundäraufzeichnungsprozess (S1000) bei dem Bild vom Kamerahauptteil 1' ohne Durchführen der Prozesse in den Schritten S800 und S900 durch.
  • Nachstehend wird das Kamerasystem dieses Ausführungsbeispiels eigens beschrieben. 46A zeigt ein Blockschaltbild einer Hardwarekonfiguration der Anzeigevorrichtung 9800 gemäß diesem Ausführungsbeispiel, die mit dem Kamerahauptteil 1' verbunden ist, der die Bildaufnahmevorrichtung enthält.
  • In 46A sind Hardwarekonfigurationen der Anzeigevorrichtung 9800, die mit den Hardwarekonfigurationen der Anzeigevorrichtung 800 gemäß dem in 6 gezeigten ersten Ausführungsbeispiel identisch sind, mit den gleichen Bezugszeichen angegeben, und eine wiederholende Beschreibung ist weggelassen.
  • Die Anzeigevorrichtung 9800 weist eine Anzeigevorrichtungssteuereinrichtung 9801 anstelle der Anzeigevorrichtungssteuereinrichtung 801 der Anzeigevorrichtung 800 auf, und weist den Gesichtssensor 806 nicht auf.
  • Die Anzeigevorrichtungssteuereinrichtung 9801 ist durch eine CPU gebildet, deren arithmetische Kapazität geringer als die der CPU ist, die die Anzeigevorrichtungssteuereinrichtung 801 (6) bildet. Des Weiteren können Kapazitäten des internen nichtflüchtigen Speichers 812 und des Primärspeichers 813 geringer als im ersten Ausführungsbeispiel sein.
  • 46B zeigt ein Funktionsblockschaltbild des Kamerahauptteils 1'. In 46B sind Funktionsblöcke des Kamerahauptteils 1', die mit den Hauptblöcken des Kamerahauptteils 1 gemäß dem in 4 gezeigten ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und wiederholende Beschreibungen sind weggelassen.
  • Das Funktionsblockschaltbild in 46B unterscheidet sich von dem Funktionsblockschaltbild in 4 in den folgenden Punkten. Das heißt, es ist eine optische Korrektur-/Bildstabilisierungseinheit 9080 vorgesehen, die den optischen Korrekturprozess und den Stabilisierungsprozess durchführt. Anstelle der Gesamtsteuerungs-CPU 101 ist eine Gesamtsteuerungs-CPU 9101 vorgesehen. Ferner kommunizieren die Übertragungseinheiten 70 mit der Anzeigevorrichtung 9800 anstelle der Anzeigevorrichtung 800.
  • Das heißt, bei diesem Ausführungsbeispiel führt die optische Korrektur-/Bildstabilisierungseinheit 9080 der Gesamtsteuerungs-CPU 9101 die optische Verzerrungskorrektur und den Bildstabilisierungsprozess unter Verwendung der optischen Korrekturwerte und Kreiseldaten durch. Da die Übertragungseinheit 70 bei diesem Ausführungsbeispiel eine Videodatei zu der Anzeigevorrichtung 9800 überträgt, nachdem der optische Korrekturprozess und Bildstabilisierungsprozess angewendet wurden, ist eine Datenmenge der Videodatei bei diesem Ausführungsbeispiel entsprechend kleiner als die der Videodatei 1000, welche die Übertragungseinheit 70 im ersten Ausführungsbeispiel zu der Anzeigevorrichtung 800 überträgt.
  • Außerdem braucht die Anzeigevorrichtung 9800 keine hohe arithmetische Kapazität, die gleich der der Anzeigevorrichtung 800 ist, da sie die Prozesse in den Schritten S800 und S900 nicht durchführt. Ferner kann das durch den Kamerahauptteil 1 aufgenommene Bild durch die vereinfachte Anzeigeeinrichtung (eine Wahrnehmungseinrichtung) 900, wie eine Smartwatch, gesehen werden.
  • Als nächstes wird ein zehntes Ausführungsbeispiel beschrieben. Im zehnten Ausführungsbeispiel wird ein abgewandeltes Beispiel des Kamerasystems, das den Kamerahauptteil 1 enthält, unter Bezugnahme auf 47 und 48 beschrieben. Dieses Ausführungsbeispiel wird grundsätzlich als Ableitung vom ersten Ausführungsbeispiel beschrieben. Entsprechend sind Konfigurationen des Kamerasystems im zehnten Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im ersten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und auf wiederholende Beschreibungen wird verzichtet. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Im neunten Ausführungsbeispiel braucht der Kamerahauptteil 1' hohe Leistungsfähigkeit, anstatt dass die Anzeigevorrichtung 9800 mit der geringen arithmetischen Kapazität verwendet wird. Wenn die Leistungsfähigkeit des Kamerahauptteils verbessert ist, können sich die Kosten der Gesamtsteuerungs-CPU und ihrer Peripherieeinrichtungen erhöhen, und Wärmeerzeugung aufgrund einer Verarbeitungslast kann auftreten. Im zehnten Ausführungsbeispiel wird folglich eine Konfiguration beschrieben, die die arithmetische Kapazität des Kamerahauptteils verringert und die arithmetische Kapazität der Anzeigevorrichtung erhöht.
  • 47 zeigt ein Funktionsblockschaltbild eines Kamerasystems dieses Ausführungsbeispiels, das einen Kamerahauptteil 1001 und eine Anzeigevorrichtung 1080 enthält. In 47 sind Funktionsblöcke des Kamerahauptteils 1001, die mit den Hardwareblöcken des Kamerahauptteils 1 gemäß dem in 4 gezeigten ersten Ausführungsbeispiel oder dem Kamerahauptteil 1' gemäß dem in 46B gezeigten neunten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und wiederholende Beschreibungen sind weggelassen.
  • Das in 47 gezeigte Funktionsblockschaltbild unterscheidet sich von 4 und 46B in hohem Maße darin, dass die Anzeigevorrichtung 1080 mit einer Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 1083, einer Bildextraktions-/Entwicklungseinheit 1084, die ein Bild extrahiert und entwickelt, und einer Optische-Korrektur-/Bildstabilisierungseinheit 1085 versehen ist, die den optischen Korrekturprozess und Bildstabilisierungsprozess durchführt.
  • Eine Gesichtsbildprimärverarbeitungseinheit 1030, die das durch die Gesichtsrichtungserfassungseinheit 20 erfasste Gesichtsbild verarbeitet, eine Hauptbildprimärverarbeitungseinheit 1050, die das durch die Bildaufnahmeeinheit 40 aufgenommene Hauptbild verarbeitet, und eine Bildkombiniereinheit 1050, die diese Bilder kombiniert, sind zum Kamerahauptteil 1001 hinzugefügt. Die Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 1083 und Bildextraktions-/Entwicklungseinheit 1084 sind zur Anzeigevorrichtung 1080 bewegt. Und eine Bildtrenneinheit 1082 ist zur Anzeigevorrichtung 800 hinzugefügt. Des Weiteren ist eine Empfangseinheit 1081 der Anzeigevorrichtung 1080, die in 4 und 46B nicht gezeigt ist, zu 47 hinzugefügt.
  • Eine Reihenfolge des Prozesses wird unter Bezugnahme auf ein Ablaufdiagramm in 48 beschrieben. Ein Prozess im Ablaufdiagramm in 48, der mit einem Prozess im Ablaufdiagramm in 7A äquivalent ist, ist durch eine Schrittnummer angegeben, die durch Addieren von 10000 zu der ursprünglichen Schrittnummer erhalten wird (d. h., „10“ wird zu oberen zwei Ziffern addiert), und die Beschreibung wird nicht wiederholt. Zur Unterstützung der Beschreibung ist ferner ein Bezugszeichen einer Vorrichtung in 47, die einen Prozess im jeweiligen Schritt ausführt, auf einer rechten Seite eines jeden Schritts in 48 gezeigt. Das heißt, Schritte S10100 bis S10700 in 48 werden durch den Kamerahauptteil 1001 ausgeführt, und Schritte S10710 bis S10950 werden durch die Anzeigevorrichtung 10800 ausgeführt.
  • In 7A im ersten Ausführungsbeispiel wird der Gesichtsrichtungserfassungsprozess in Schritt S200 nach dem Vorbereitungsprozess in Schritt S100 durchgeführt. In diesem Ausführungsbeispiel werden ein Gesichtsbildaufnahmeprozess in Schritt S10200 und ein Hauptbildaufnahmeprozess in Schritt S10400 parallel nach einem Vorbereitungsprozess in Schritt S10100 ausgeführt. Als nächstes werden zwei in den Schritten S10200 und S10400 aufgenommene Bilddatensätze in einem Bildkombinierprozess in Schritt S10450 kombiniert. Mehrere Arten von Kombinationsverfahren werden erwogen. Die zwei Bilder können in eine Videodatei kombiniert werden, oder zwei Bilder können untereinander verknüpft werden, damit keine Rahmen von Daten der zwei Bilder abweichen.
  • Dieses Ausführungsbeispiel wird beruhend auf dem Verfahren beschrieben, das zwei Bilder in einer Videodatei kombiniert. In Schritt S10450 wird ein primär aufgezeichnetes kombiniertes Bild in Schritt S10700 zu der Anzeigevorrichtung 10180 drahtlos übertragen.
  • Die Schritte ab Schritt S10710 werden durch die Anzeigevorrichtung 1080 ausgeführt. In Schritt S10710 wird das in S10450 kombinierte Bild wieder in ein Gesichtsaufnahmebild und ein Hauptaufnahmebild getrennt. Danach wird der Gesichtsrichtungserfassungsprozess, der eine Beobachtungsrichtung aus dem separierten Gesichtsaufnahmebild schätzt, in Schritt S10720 ausgeführt. Es wird angemerkt, dass die Inhalte des Gesichtsrichtungserfassungsprozesses im ersten Ausführungsbeispiel unter Bezugnahme auf 7C beschrieben wurden.
  • In Schritt S10730 wird ein Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess ausgeführt. In Schritt S10750 wird ein Aufzeichnungsbereichsentwicklungsprozess ausgeführt. Insbesondere wird ein Bild aus dem in Schritt S10710 separierten Hauptaufnahmebild beruhend auf den in Schritt S10730 bestimmten Aufzeichnungsrichtungs-/Bildwinkelinformationen extrahiert und der extrahierte Bereich wird entwickelt. In Schritt S10800 wird der optische Korrekturprozess, der optische Aberrationen korrigiert, bei dem Bild angewendet, das in Schritt S10750 extrahiert und entwickelt wird. Der Bildstabilisierungsprozess wird in Schritt S10900 durchgeführt.
  • Auch bei diesem Ausführungsbeispiel können die Reihenfolge der Schritte S10800 und S10900 vertauscht werden. Das heißt, der Bildstabilisierungsprozess kann vor dem optischen Korrekturprozess ausgeführt werden.
  • In Schritt S10950 führt die Anzeigevorrichtungssteuereinrichtung (eine Videoaufzeichnungseinheit) einen Sekundäraufzeichnungsprozess zum Aufzeichnen des Bildes im nichtflüchtigen Speicher 814 großer Kapazität nach Anwenden des optischen Korrekturprozesses in Schritt S10800 und des Bildstabilisierungsprozesses in Schritt S10900 aus. Dann ist dieser Prozess beendet.
  • Da bei diesem Ausführungsbeispiel die Kombinationsdaten, die das Hauptaufnahmebild und das Gesichtsaufnahmebild kombinieren, in Schritt S10700 übertragen werden, ist der Prozess mit dem Kamerahauptteil 1001 vereinfacht, was eine Verringerung der Kosten und eine Verringerung der Wärmeerzeugung ermöglicht. Es wird angemerkt, dass die Kreiseldaten und Stellungsdaten, die aus dem Winkelgeschwindigkeitssensor 107 und dem Beschleunigungssensor 108 ausgegeben werden, wie im ersten Ausführungsbeispiel in Schritt S10700 zu der Anzeigevorrichtung 1080 übertragen werden können.
  • Als nächstes wird ein elftes Ausführungsbeispiel beschrieben. Im elften Ausführungsbeispiel wird ein abgewandeltes Beispiel des Kamerasystems, das den Kamerahauptteil 1 enthält, unter Bezugnahme auf 49 und 50 beschrieben. Dieses Ausführungsbeispiel wird grundlegend als Ableitung vom ersten Ausführungsbeispiel beschrieben. Da die Grundkonfiguration dieses Ausführungsbeispiels ähnlich der des zehnten Ausführungsbeispiels ist, werden Konfigurationen des Kamerasystems im elften Ausführungsbeispiel, die mit den Konfigurationen des Kamerasystems im zehnten Ausführungsbeispiel identisch sind, durch die gleichen Bezugszeichen angegeben, und die Beschreibungen werden nicht wiederholt. Eine unterschiedliche Konfiguration wird durch Hinzufügen von Einzelheiten beschrieben.
  • Im zehnten Ausführungsbeispiel wird die Konfiguration beschrieben, die die arithmetische Kapazität des Kamerahauptteils verringert und die arithmetische Kapazität der Anzeigevorrichtung 1080 erhöht. Obwohl diese Konfiguration eine Last der Gesamtsteuerungs-CPU des Kamerahauptteils reduzieren kann, erhöht sich die Menge an Daten, die von der Übertragungseinheit 70 übertragen werden, wodurch Aspekte wie die Wärmeerzeugung bleiben.
  • Ferner enthalten einige Steuereinrichtungen, die in kürzlich entwickelten Kameras enthalten sind, eine auf eine Bildverarbeitung spezialisierte Schaltung. Beispielsweise kann eine Steuereinrichtung mit einer Schaltung für eine Gesichtsrichtungserfassungsfunktion entwickelt werden, die für diese Offenbarung erforderlich ist. Die Verwendung einer derartigen Steuereinrichtung verhindert, dass Kosten steigen, und reduziert den Energieverbrauch. Bei diesem Ausführungsbeispiel wird eine derartige Steuereinrichtung angewendet. Der Kamerahauptteil 1101 führt Prozesse bis zum Gesichtsrichtungserfassungsprozess und Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess durch, addiert die resultierenden Daten dieser Prozesse zu dem Hauptaufnahmebild und überträgt das Hauptaufnahmebild zur Anzeigevorrichtung 1180. Und die Anzeigevorrichtung 1180 führt den Aufzeichnungsbereichsentwicklungsprozess zum Extrahieren und Entwickeln eines Bildes durch.
  • 49 zeigt ein Funktionsblockschaltbild eines Kamerasystems dieses Ausführungsbeispiels, das den Kamerahauptteil 1101 und die Anzeigevorrichtung 1180 enthält. In 49 sind Funktionsblöcke des Kamerahauptteils 1101, die mit den Hardwareblöcken des Kamerahauptteils 1 gemäß dem ersten Ausführungsbeispiel, dem Kamerahauptteil 1' gemäß dem neunten Ausführungsbeispiel oder dem Kamerahauptteil 1001 gemäß dem zehnten Ausführungsbeispiel identisch sind, mit den gleichen Bezugszeichen angegeben, und ihre Beschreibungen werden nicht wiederholt.
  • Das in 49 gezeigte Kamerasystem unterscheidet sich von 4 und 46B darin, dass die Anzeigevorrichtung 1180 mit einer Bildextraktions-/Entwicklungseinheit 1184 versehen ist, die ein Bild extrahiert und es entwickelt, und einer Optische-Korrektur-/Bildstabilisierungseinheit 1185 versehen ist, die einen optischen Korrekturprozess und einem Bildstabilisierungsprozess durchführt. Da die Bildextraktions-/Entwicklungseinheit ferner zu der Anzeigevorrichtung 1180 bewegt ist, ist die Gesamtsteuerungs-CPU 101 mit der Aufzeichnungsrichtungs-/Bildwinkelbestimmungseinheit 30 ausgestattet, ist aber nicht mit der Bildextraktions-/Entwicklungseinheit 50 ausgestattet. Eine Informationskombiniereinheit 1150, die die Aufzeichnungsrichtungs-/Bildwinkelinformationen mit dem aus der Bildaufnahmeeinheit 40 ausgegebenen Hauptaufnahmebild kombiniert, ist zum Kamerahauptteil 1101 hinzugefügt. Die Bildextraktions-/Entwicklungseinheit 1184 ist wie beim zehnten Ausführungsbeispiel zur Anzeigevorrichtung 1180 bewegt. Zu der Anzeigevorrichtung 1180 ist eine Informationstrenneinheit 1182 hinzugefügt. Des Weiteren ist wie im zehnten Ausführungsbeispiel eine Empfangseinheit 1181, die in 4 und 46B nicht gezeigt ist, zu 49 hinzugefügt.
  • Eine Prozessreihenfolge wird unter Bezugnahme auf ein Ablaufdiagramm in 50 beschrieben. Ein Prozess im Ablaufdiagramm in 50, der mit einem Prozess im Ablaufdiagramm in 7A äquivalent ist, ist durch eine Schrittnummer angegeben, die durch Hinzufügen von 11000 zu der ursprünglichen Schrittnummer erhalten wird (d. h., „11“ wird an oberen zwei Stellen hinzugefügt), und die Beschreibung wird nicht wiederholt. Des Weiteren ist zur Unterstützung der Beschreibung ein Bezugszeichen einer Vorrichtung in 49, die einen Prozess in dem jeweiligen Schritt ausführt, auf der rechten Seite jedes Schritts in 50 gezeigt. Das heißt, Schritte S11100 bis S11700 in 50 werden durch den Kamerahauptteil 1101 ausgeführt, und Schritte S11710 bis S11950 werden durch die Anzeigevorrichtung 11800 ausgeführt.
  • Im zehnten Ausführungsbeispiel werden der Gesichtsbildaufnahmeprozess in Schritt S10200 und der Hauptbildaufnahmeprozess in Schritt S10400 parallel ausgeführt, und die zwei Bilddatensätze werden in Schritt S10450 kombiniert. Unterdessen wird bei dem elften Ausführungsbeispiel nach Aufnahme des Gesichtsbildes in Schritt S11200 der Aufzeichnungsrichtungs-/Bereichsbestimmungsprozess in Schritt S11400 ausgeführt und gibt Aufzeichnungsrichtungs-/Bereichsdaten aus.
  • Danach werden die Hauptbilddaten, die durch den Hauptbildaufnahmeprozess in Schritt S11300 aufgenommen werden, der parallel ausgeführt wird, und die in Schritt S11400 ausgegebenen Aufzeichnungsrichtungs-/Bereichsdaten in Schritt S11450 kombiniert.
  • Mehrere Arten von Kombinationsverfahren der Aufzeichnungsrichtungs-/Bereichsdaten werden in Betracht gezogen. Bei diesem elften Ausführungsbeispiel werden die Aufzeichnungsrichtungs-/Bereichsdaten als Metadaten für jeden Rahmen der Hauptaufnahmebilddaten aufgezeichnet. Die Konfiguration der Metadaten ist die gleiche wie bei den in 15 gezeigten Metadaten.
  • Die in Schritt S11450 erzeugten Hauptaufnahmebilddaten werden in Schritt S11600 primär aufgezeichnet und in Schritt S11700 zu der Anzeigevorrichtung 11180 drahtlos übertragen.
  • Die Schritte S11710 werden durch die Anzeigevorrichtung 1180 ausgeführt. In Schritt S11710 werden die in Schritt S11450 mit den Metadaten erzeugten Bilddaten wieder in das Hauptaufnahmebild und die Aufzeichnungsrichtungs-/Bereichsdaten getrennt.
  • Im nächsten Schritt S11750 wird ein Aufzeichnungsbereichsentwicklungsprozess ausgeführt. Insbesondere wird ein Bild aus dem in Schritt S11710 separierten Hauptaufnahmebild beruhend auf den Aufzeichnungsrichtungs-/Bildwinkelinformationen extrahiert, und der extrahierte Bereich wird entwickelt.
  • In Schritt S11800 wird der optische Korrekturprozess, der optische Aberrationen korrigiert, bei dem Bild angewendet, das in Schritt S11750 extrahiert und entwickelt wird. Der Bildstabilisierungsprozess wird in Schritt S11900 durchgeführt.
  • Auch bei diesem Ausführungsbeispiel kann die Reihenfolge der Schritte S11800 und S11900 vertauscht werden. Das heißt, der Bildstabilisierungsprozess kann vor dem optischen Korrekturprozess ausgeführt werden.
  • In Schritt S11950 führt die Anzeigevorrichtungssteuereinrichtung (Videoaufzeichnungseinheit) einen Sekundäraufzeichnungsprozess zum Aufzeichnen des Bildes in dem nichtflüchtigen Speicher 814 großer Kapazität aus, nachdem sie den optischen Korrekturprozess in Schritt S11800 und den Bildstabilisierungsprozess in Schritt S11900 angewendet hat. Dann ist dieser Prozess beendet.
  • Da bei diesem Ausführungsbeispiel das Hauptaufnahmebild und die Aufzeichnungsrichtungs-/Bereichsdaten in Schritt S11450 als zeitlich abgepasste Metadaten kombiniert werden, kann die Kapazität der in Schritt S11700 übertragenen Bilddaten reduziert werden, was den Energieverbrauch, die Wärmeerzeugung und die Last an der Anzeigevorrichtung 1180 verringert kann. Es wird angemerkt, dass die Kreiseldaten und Stellungsdaten, die aus dem Winkelgeschwindigkeitssensor 107 und dem Beschleunigungssensor 108 ausgegeben werden, in Schritt S11700 wie bei dem ersten Ausführungsbeispiel zu der Anzeigevorrichtung 1180 übertragen werden können.
  • Als nächstes wird ein zwölftes Ausführungsbeispiel beschrieben. Bei dem zwölften Ausführungsbeispiel wird eine Bildaufnahmerichtung durch mechanisches Ansteuern der Richtung der Bildaufnahmeeinheit geändert, was unter Bezugnahme auf 51A bis 56 beschrieben wird. 51A zeigt eine Außenansicht eines Kamerahauptteils 1220 gemäß diesem Ausführungsbeispiel.
  • Der Teil des zwölften Ausführungsbeispiels, der die gleiche Funktion wie der bereits im ersten Ausführungsbeispiel beschriebene Teil hat, ist durch das gleiche Bezugszeichen angegeben, und seine Beschreibung ist hier weggelassen. Der Kamerahauptteil 1220 ist mit einer Bildaufnahme-/Erfassungseinheit 1221, den Verbindungselementen 80L und 80R und der Batterieeinheit 90 versehen.
  • 51B zeigt eine perspektivische Darstellung von Einzelheiten der Bildaufnahme-/Erfassungseinheit 1221, die ein Teil des Kamerahauptteils 1220 ist. Die Bildaufnahme-/Erfassungseinheit 1221 ist mit einem Hauptkörper 1210, einer Gierantriebswelle 1201, einer Gierantriebsbasis 1202, einer Neigungsantriebswelle 1203 und einer Bildaufnahmeeinheit 40 versehen. Der Hauptkörper 1210 ist mit einem Ein-/Ausschalter 11, einem Bildaufnahmemodusschalter 12, einem Gesichtsrichtungserfassungsfenster 13, einem Startschalter 14, einem Stoppschalter 15 und einem Gierantriebsmotor 1204 versehen.
  • Der Gierantriebsmotor 1204 treibt die Gierantriebsbasis 1202 über die Gierantriebswelle 1201 in einer Gierrichtung (lateralen Richtung) an. Die Gierantriebsbasis 1202 ist mit einem Neigungsantriebsmotor 1205 versehen. Der Neigungsantriebsmotor 1205 treibt die Bildaufnahmeeinheit 40 über die Neigungsantriebswelle 1203 in einer Neigungsrichtung (vertikalen Richtung) an.
  • Die Bildaufnahmeeinheit 40 ist mit einem Bildaufnahmeobjektiv 16 und einem (nicht gezeigten) Festkörperbildsensor versehen. Das Bildaufnahmeobjektiv 16 führt Licht von einem Objekt und erzeugt ein Bild des Objekts auf dem Festkörperbildsensor 42.
  • 51C zeigt eine perspektivische Darstellung eines Zustands, in dem die Bildaufnahmeeinheit 40 um 30° nach links gedreht ist. 51D zeigt eine perspektivische Darstellung eines Zustands, in dem die Bildaufnahmeeinheit 50 um 30° nach unten gerichtet ist. Wenn der Gierantriebsmotor 1204 angesteuert wird, drehen sich die Abschnitte von der Gierantriebswelle 1201 wie in 51C gezeigt in der lateralen Richtung, was die Richtung der Bildaufnahmeeinheit 40 in der lateralen Richtung ändert. Wenn der Neigungsantriebsmotor 1205 angesteuert wird, drehen sich die Abschnitte von der Neigungsantriebswelle 1201 wie in 51D gezeigt in der vertikalen Richtung, was die Richtung der Bildaufnahmeeinheit 40 in der Neigungsrichtung ändert.
  • 52 zeigt ein Funktionsblockschaltbild des Kamerahauptteils 1220 gemäß dem zwölften Ausführungsbeispiel. Nachstehend wird der durch den Kamerahauptteil 1220 ausgeführte Prozess grob unter Bezugnahme auf 52 beschrieben. In der folgenden Beschreibung werden nur gegenüber 4 geänderte Punkte beschrieben, und Funktionsblöcke, die mit den Hardwareblöcken in 4 identisch sind, sind durch die gleichen Bezugszeichen angegeben, und auf wiederholende Beschreibungen wird verzichtet.
  • Wie in 52 gezeigt, ist der Kamerahauptteil 1220 mit der Gesichtsrichtungserfassungseinheit 20, einer Bildaufnahmeeinheit-Antriebseinheit 1230, der Bildaufnahmeeinheit 40, einer Entwicklungseinheit 1250, der Primäraufzeichnungseinheit 60, der Übertragungseinheit 70 und der zweiten Steuereinrichtung 111 versehen. Diese Funktionsblöcke werden durch Steuern der Gesamtsteuerungs-CPU 101 (53) erzielt, die den gesamten Kamerahauptteil 1220 steuert.
  • Die Gesichtsrichtungserfassungseinheit 20 erfasst eine Gesichtsrichtung, schätzt eine Beobachtungsrichtung und gibt sie zu der Bildaufnahmeeinheit-Antriebseinheit 1230 weiter. Die Bildaufnahmeeinheit-Antriebseinheit 1230 kann die Bildaufnahmerichtung und den Bildwinkel durch Durchführen verschiedener Berechnungen beruhend auf der durch die Gesichtsrichtungserfassungseinheit 20 geschätzte Beobachtungsrichtung und den Ausgaben des Winkelgeschwindigkeitssensors 107 und des Beschleunigungssensors 108 ändern.
  • Die Bildaufnahmeeinheit 40 wandelt das Licht von einem Objektlicht in ein Bild um, erzeugt ein Weitwinkelbild des Objekts und gibt das Bild zu der Bereichsextraktions-/Entwicklungseinheit 50 weiter. Die Entwicklungseinheit 1250 entwickelt das Bild von der Bildaufnahmeeinheit 40 und gibt das Bild der Richtung, in die die Benutzer schauen, zu der Primäraufzeichnungseinheit 60 weiter. Die Primäraufzeichnungseinheit 60 gibt das Bild mit einer erforderlichen Zeitsteuerung zu der Übertragungseinheit 70 weiter. Die Übertragungseinheit 70 ist mit vorbestimmten Kommunikationspartnern drahtlos verbunden, wie der Anzeigevorrichtung 800, einer Kalibriereinrichtung 850 und einer vereinfachten Anzeigeeinrichtung 900, und kommuniziert mit diesen.
  • 53 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils 1220 gemäß dem zwölften Ausführungsbeispiel. Nachstehend werden lediglich Unterschiede zu 5 des ersten Ausführungsbeispiels beschrieben. Wie in 53 gezeigt, ist der Kamerahauptteil 1220 mit einem Phasenerfassungssensor 1206 und einer Motoransteuerschaltung 1207 verbunden. Der Phasenerfassungssensor 1206 erfasst Phasen der Neigung und Gierung der Bildaufnahmeeinheit 40 und gibt diese zu der Gesamtsteuerungs-CPU 101 aus.
  • Die Motoransteuerschaltung 1207 wird durch die Gesamtsteuerungs-CPU 101 gesteuert und treibt die Bildaufnahmeeinheit 40 in eine gewünschte Richtung mit einer gewünschten Antriebsgeschwindigkeit an.
  • Nachstehend wird beschrieben, wie der Kamerahauptteil 1 und die Anzeigevorrichtung 800 zu verwenden sind. 54 zeigt ein Ablaufdiagramm, das schematisch einen Bildaufnahme-/Aufzeichnungsprozess gemäß diesem Ausführungsbeispiel zeigt, der durch den Kamerahauptteil 1220 und die Anzeigevorrichtung 800 ausgeführt wird. Zur Unterstützung der Beschreibung ist auf der rechten Seite jedes Schritts in 54 ein Bezugszeichen einer Vorrichtung in 52 gezeigt, die einen Prozess im jeweiligen Schritt ausführt.
  • Wenn der Ein-/Ausschalter 11 eingeschaltet wird und die Leistung des Kamerahauptteils 1 eingeschaltet wird, wird die Gesamtsteuerungs-CPU 101 aktiviert und liest ein Bootprogramm aus dem internen nichtflüchtigen Speicher 102. Danach führt die Gesamtsteuerungs-CPU 101 in Schritt S100 einen Vorbereitungsprozess aus, der eine Einstellung des Kamerahauptteils 1 vor einem Bildaufnahmebetrieb durchführt.
  • In Schritt S200 wird der Gesichtsrichtungserfassungsprozess ausgeführt, der eine Beobachtungsrichtung beruhend auf einer durch die Gesichtsrichtungserfassungseinheit 20 erfassten Gesichtsrichtung schätzt. Dieser Prozess wird mit einer vorbestimmten Bildwechselfrequenz ausgeführt.
  • In Schritt S12300 führt die Bildaufnahmeeinheit-Antriebseinheit 1230 einen Bildaufnahmeeinheit-Antriebsprozess zum Berechnen eines Antriebsbetrags der Bildaufnahmeeinheit 40 und zur Antriebssteuerung der Bildaufnahmeeinheit 40 durch. Einzelheiten des Bildaufnahmeeinheit-Antriebsprozesses werden später unter Bezugnahme auf 55 beschrieben.
  • In Schritt S400 nimmt die Bildaufnahmeeinheit 40 ein Bild auf und erzeugt Aufnahmebilddaten. In Schritt S12500 führt die Entwicklungseinheit 1250 den Aufzeichnungsbereich-Entwicklungsprozess aus, der den Entwicklungsprozess bei den in Schritt S400 erzeugten Bilddaten anwendet. Einzelheiten des Entwicklungsprozesses werden später unter Bezugnahme auf 56 beschrieben.
  • In Schritt S600 führt die Primäraufzeichnungseinheit (Bildaufzeichnungseinheit) 60 den Primäraufzeichnungsprozess aus, der das in Schritt S12500 entwickelte Bild im Primärspeicher 103 als Bilddaten speichert. In Schritt S700 führt die Übertragungseinheit 70 einen Übertragungsprozess zu der Anzeigevorrichtung 800 aus, der das in Schritt S600 primär aufgezeichnete Bild mit einer festgelegten Zeitsteuerung zu der Anzeigevorrichtung 800 drahtlos überträgt.
  • Die Schritte ab Schritt S800 werden durch die Anzeigevorrichtung 800 ausgeführt. In Schritt S800 führt die Anzeigevorrichtungssteuereinrichtung 801 einen optischen Korrekturprozess aus, der optische Aberrationen des von dem Kamerahauptteil 1 in Schritt S700 übertragenen Bildes korrigiert.
  • In Schritt S900 wendet die Anzeigevorrichtungssteuereinrichtung 801 den Bildstabilisierungsprozess bei dem Bild an, dessen optische Aberrationen in Schritt S800 korrigiert wurden. Es wird angemerkt, dass die Reihenfolge von Schritt S800 und Schritt S900 vertauscht werden kann. Das heißt, der Bildstabilisierungsprozess kann vor dem optischen Korrekturprozess ausgeführt werden.
  • In Schritt S1000 führt die Anzeigevorrichtungssteuereinrichtung (Videoaufzeichnungseinheit) 801 einen Sekundäraufzeichnungsprozess aus, der das Bild, bei dem der optische Korrekturprozess in Schritt S800 und der Bildstabilisierungsprozess in Schritt S900 angewendet wurden, in dem nichtflüchtigen Speicher 814 großer Kapazität aufzeichnet. Dann beendet die Anzeigevorrichtungssteuereinrichtung 801 diesen Prozess.
  • 55 zeigt ein Ablaufdiagramm der Unterroutine des Bildaufnahmeeinheits-Antriebsprozesses in Schritt S1230 in 54. In Schritt S12301 erhält die Gesamtsteuerungs-CPU 101 Ausgaben des Winkelgeschwindigkeitssensors 107, des Beschleunigungssensors 108 und des Phasenerfassungssensors 1206.
  • In Schritt 12302 berechnet die Gesamtsteuerungs-CPU 101 die Steuergrößen des Neigungsantriebsmotors 1205 und Gierantriebsmotors 1204 beruhend auf der in Schritt S212 (7C) aufgezeichneten Beobachtungsrichtung (Richtungsvektor) und den in Schritt S12301 erhaltenen Ausgaben der verschiedenen Sensoren. Zu diesem Zeitpunkt führt die Gesamtsteuerungs-CPU 101 eine Rückkopplungsregelung und Bildstabilisierungssteuerung durch, die auf einen solchen Wert abzielen. Die Steuer- bzw. Regelgrößen können durch einen bekannten Regelungsprozess berechnet werden.
  • Die Gesamtsteuerungs-CPU 101 steuert die Motoransteuerschaltung 1207 (Schritt S12303) beruhend auf den in Schritt S12302 berechneten Steuergrößen zum Ansteuern des Neigungsantriebsmotors 1205 und Gierantriebsmotors 1204 (Schritt S12304) und beendet diesen Prozess (Schritt S12305).
  • 56 zeigt ein Ablaufdiagramm einer Unterroutine des Aufzeichnungsbereichsentwicklungsprozesses in Schritt S12500 in 54. Anders als 7E enthält das Ablaufdiagramm in 56 den Schritt S502 nicht (d. h., erhält Xi, Yi, WXi und WYi nicht) und geht nach Erhalt der Raw-Daten des gesamten Bereichs in Schritt S501 zu Schritt S503.
  • Wenn der Videobildmodus durch den Bildaufnahmemodusschalter 12 ausgewählt wird, werden die Prozesse in den Schritten S200 und S12300 und die Prozesse in Schritt S400, S12500 und S600 parallel ausgeführt. Der Antrieb der Bildaufnahmeeinheit 40 wird beruhend auf dem Erfassungsergebnis der Beobachtungsrichtung unter Fortsetzung des Bildaufnahmebetriebs durch die Bildaufnahmeeinheit 40 fortgesetzt.
  • Wenn der Bildaufnahmebetrieb unter der vorstehend beschriebenen Konfiguration und Steuerung ausgeführt wird, kann der Benutzer ein Bild aufnehmen, während die Bildaufnahmeeinheit 40 in die Benutzerbeobachtungsrichtung gerichtet wird, ohne sich des Bildaufnahmebetriebs bewusst zu sein.
  • Als nächstes wird ein dreizehntes Ausführungsbeispiel beschrieben. Bei dem dreizehnten Ausführungsbeispiel wird eine Gesichtsrichtung unter Verwendung maschinellen Lernens, wie Deep Learning, erfasst. Seit kurzem wird ein Modell eines maschinellen Lernens vorgeschlagen, das eine Gesichtsrichtung ohne Erfassen von Merkmalspunkten, wie Augen und einer Nase, erfasst (Verweis: Fine-Grained Head Pose Estimation Without Keypoints (2017)). Die Verwendung eines derartigen maschinellen Lernmodells ermöglicht die Erfassung einer Gesichtsrichtung unter Verwendung eines Gesichtsbildes, das von einer Kamera aufgenommen wird, die an einer Schlüsselbeinposition angeordnet ist.
  • 57 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils gemäß diesem Ausführungsbeispiel. Eine Kondensorlinse 1311 kondensiert reflektiertes Licht von dem Gesicht eines Benutzers. Eine Gesichtsbildaufnahmeeinrichtung 1312 umfasst, wie die Bildaufnahmeeinheit 40, eine Bildaufnahmeansteuereinrichtung, einen Festkörperbildsensor, eine Bildsignalverarbeitungsschaltung, etc., und nimmt ein Gesichtsbild auf.
  • Im ersten Ausführungsbeispiel wird das Bild nahe des Kiefers des Benutzers unter Verwendung des reflektierten Infrarotlichts 25 vom Hintergrund separiert. Wenn eine Gesichtsrichtung unterdessen unter Verwendung des maschinellen Lernens wie im dreizehnten Ausführungsbeispiel erfasst wird, braucht die Gesichtsrichtungserfassungseinheit 20 die Infrarot-LED-Beleuchtungsschaltung nicht. Dies ermöglicht die Verwendung einer Bildaufnahmeeinheit äquivalent der Bildaufnahmeeinheit 40, die natürliches Licht aufnimmt.
  • Die Gesichtsrichtungsberechnungseinrichtung 1313 führt eine Filterarithmetik als Hauptprozess von Deep Learning mit hoher Geschwindigkeit durch. Die Gesichtsrichtungsberechnungseinrichtung 1313 kann durch einen exklusiven Prozessor unter Verwendung einer ASIC oder eines FPGA erzielt werden, oder kann durch die Gesamtsteuerungs-CPU 101 erzielt werden.
  • Zuvor gelernte Parameter werden in der Gesichtsrichtungsberechnungseinrichtung 13143 eingestellt. Die Gesichtsrichtungsberechnungseinrichtung 13143 findet Winkelinformationen, die eine Gesichtsrichtung zeigen, beruhend auf dem aus der Gesichtsbildaufnahmeeinrichtung 1312 ausgegebenen Gesichtsbild und den voreingestellten Parametern. Das Lernen der für die Erfassung der Gesichtsrichtung verwendeten Parameter erfordert viele Lernbilder. Jedes Lernbild ist eine Kombination eines Gesichtsbildes und von Informationen über vertikale und horizontale Winkel des Gesichts als korrekte Antworten.
  • 58A, 58B und 58C zeigen schematische Darstellungen von Beispielen von Lernbildern, die jeweils unter Bedingungen (H: 0°, V: 0°), (H: 30°, V: 0°) und (H: 0°, V: 30°) aufgenommen werden. „H“ bedeutet horizontale Richtung, und „V“ bedeutet vertikale Richtung. Eine Vielzahl von Lernbildern wird aufgenommen, während das Gesicht im Gesichtsrichtungserfassungsbereich jeweils um 10° bewegt wird. Beispielsweise werden an jeder Position 100 Bilder aufgenommen.
  • Der Gesichtsrichtungserfassungsbereich soll beispielsweise von -60° bis +60° in horizontaler Richtung und von -60° bis +50° in vertikaler Richtung gehen. In diesem Fall werden im vertikalen Bereich -60° bis +50° alle 10° Lernbilder aufgenommen, während der Winkel in der horizontalen Richtung konstant gehalten wird. Diese Bildaufnahmevorgänge werden im horizontalen Bereich -60° bis +60° alle 10° wiederholt.
  • Um verschiedene Benutzer und Situationen anzusprechen, ist es ferner erforderlich, von dem Gesichtswinkel verschiedene andere Bedingungen beim Akkumulieren von Lernbildern abzudecken. Beispielsweise ist es erforderlich, menschliche Subjekte so auszuwählen, dass beim Vorbereiten von Lernbildern ein geschätzter Körperbau des Benutzers, geschätztes Alter und geschätztes Geschlecht abgedeckt werden. Ferner müssen Lernbilder breit vorbereitet werden, um Unterschiede geschätzter Hintergründe, wie innen und außen, zu absorbieren.
  • 59 zeigt ein Ablaufdiagramm eines Gesichtsrichtungserfassungsprozesses, der maschinelles Lernen verwendet, gemäß dem dreizehnten Ausführungsbeispiel. Zuerst wird ein Gesichtsbild unter Verwendung der Bildaufnahmeeinheit 1311 aufgenommen (Schritt 1331). Als nächstes wird die Größe des aufgenommenen Gesichtsbildes in die für eine Eingabe in die Gesichtsrichtungsberechnungseinrichtung 1314 geeignete Größe geändert (Schritt 1332). Als nächstes wird das größenveränderte Gesichtsbild in die Gesichtsrichtungsberechnungseinrichtung 1314 eingegeben, und eine Gesichtsrichtung wird berechnet (Schritt 1333).
  • Wenn der Prozess des maschinellen Lernens, wie Deep Learning, durchgeführt wird, wird im Allgemeinen eine Zuverlässigkeit, die eine Wahrscheinlichkeit eines Verarbeitungsergebnisses zeigt, zusätzlich zu Verarbeitungsergebnissen, wie einer Gesichtsrichtung, berechnet. In Schritt 1334 wird bestimmt, ob die Zuverlässigkeit gleich einem oder größer als ein vorbestimmter Schwellenwert ist. Wenn als Ergebnis der Bestimmung in Schritt S1334 die Zuverlässigkeit gleich dem oder größer als der Schwellenwert ist, wird die in Schritt S1333 berechnete Gesichtsrichtung als neue Gesichtsrichtung eingestellt (Schritt 1335). Das heißt, die Gesichtsrichtung wird aktualisiert. Wenn als Ergebnis der Bestimmung in Schritt S1334 die Zuverlässigkeit kleiner als der Schwellenwert ist, wird die Gesichtsrichtung nicht aktualisiert.
  • Wie vorstehend beschrieben, kann die Gesichtsrichtung gemäß dem dreizehnten Ausführungsbeispiel unter Verwendung von maschinellem Lernen, wie Deep Learning, erfasst werden.
  • Als nächstes wird ein vierzehntes Ausführungsbeispiel beschrieben. Das vierzehnte Ausführungsbeispiel erfasst eine Gesichtsrichtung unter Verwendung einer ToF-(Time of Flight, Laufzeit-)Kamera. 60 zeigt ein Blockschaltbild einer Hardwarekonfiguration des Kamerahauptteils gemäß diesem Ausführungsbeispiel.
  • Eine ToF-Einrichtung 1411 weist eine Lichtquelle auf und misst eine Entfernung zu einem Objekt unter Verwendung von Licht, das von der Lichtquelle emittiert wird und durch das Objekt reflektiert wird. Bei diesem Ausführungsbeispiel ist ein Objekt ein Benutzergesicht.
  • Es gibt zwei Haupt-ToF-Entfernungsmessverfahren. Ein direktes ToF-Verfahren misst eine Entfernung beruhend auf einer Zeitdauer ab Emission einer Lichtquelle bis zum Empfang von reflektiertem Licht von einem Objekt. Ein indirektes ToF-Verfahren steuert eine Lichtquelle zum periodischen Emittieren von Licht und misst eine Entfernung zu dem Objekt durch Erfassen einer Phasendifferenz zwischen Emissionslicht und reflektiertem Licht. Dieses Ausführungsbeispiel kann jedes der ToF-Verfahren verwenden. Die ToF-Einrichtung 1411 erzeugt ein Entfernungsbild (eine Tiefenkarte), das Entfernungsinformationen zeigt, indem die gemessenen Entfernungsinformationen in zwei Dimensionen abgebildet werden.
  • 61A zeigt eine schematische Darstellung eines Entfernungsbildes, das durch die ToF-Einrichtung 1141 erzeugt wird, die an einer Schlüsselbeinposition eines Benutzers angeordnet ist und nach oben misst. In 61A ist ein naher Abschnitt durch einen weißen Bereich angegeben, und ein entfernter Abschnitt ist durch einen schwarzen Bereich angegeben. Das Entfernungsbild in 61A enthält einen Gesichtsbereich 1421 von der Halswurzel bis zur Nase und Objekte 1422 im Hintergrund. Eine Gesichtsrichtungsberechnungseinrichtung 1412 berechnet eine Gesichtsrichtung beruhend auf dem durch die ToF-Einrichtung 1411 erzeugten Entfernungsbild. Bei diesem Ausführungsbeispiel wird die Gesichtsrichtungsberechnungseinrichtung 1412 durch die Gesamtsteuerungs-CPU 101 erzielt. Die Konfiguration ist nicht darauf beschränkt. Die Gesichtsrichtungsberechnungseinrichtung 1412 kann beispielsweise durch eine exklusive CPU gebildet sein.
  • 62 zeigt ein Ablaufdiagramm eines Gesichtsrichtungsberechnungsprozesses. Die Gesamtsteuerungs-CPU 101 extrahiert einen Gesichtsteil aus dem durch die ToF-Einrichtung 1411 erzeugten Entfernungsbild (Schritt 1431). Wenn die Messung durch Installieren der ToF-Einrichtung 1411 an einer Schlüsselbeinposition durchgeführt wird, befindet sich das Gesicht als Messziel an einer kurzen Entfernung, und das andere Objekt befindet sich an einer weiten Entfernung. Demnach wird durch Anwenden eines Schwellenwertprozesses bei dem in 61A gezeigten Entfernungsbild lediglich ein Gesichtsteil extrahiert. Der Schwellenwertprozess wandelt ein Bildelement, dessen Bildelementwert kleiner als der Schwellenwert ist, in ein schwarzes Bildelement um. Der Schwellenwert kann ein zuvor definierter fester Wert sein, oder kann gemäß Inhalten des Entfernungsbildes berechnet werden.
  • 61B zeigt eine schematische Darstellung eines Bildes, in dem ein Gesichtsteil durch Anwenden des Schwellenwertprozesses bei dem Entfernungsbild in 61A extrahiert ist. Wie in 61B gezeigt, sind die Objekte 1422 im Hintergrund in 61A in schwarze Bildelemente umgewandelt, da sie unter dem Schwellenwert liegen, und lediglich der Gesichtsbereich 1421 ist extrahiert.
  • Als nächstes wird das Bild in 61B gemäß den Entfernungsinformationen in Bereiche eingeteilt (Schritt 1432). 61C zeigt eine schematische Darstellung des Bildes nach der Bereichseinteilung. 61C zeigt, dass der Gesichtsbereich 1421 in sechs Bereiche 14211 bis 14216 eingeteilt ist. Der Bereich 14211 ist der am nächsten liegende Bereich, und der Bereich 14216 ist der am weitesten weg liegende Bereich.
  • Als nächstes wird eine Kehlposition (ein Kopfdrehpunkt) extrahiert (Schritt 1433).
  • Wie im ersten Ausführungsbeispiel beschrieben, befindet sich die Kehlposition in lateraler Richtung im nächsten Bereich 14211 in der Mitte. Entsprechend wir ein Punkt 14217 in 61D als Kehlposition eingestellt. Die Gesamtsteuerungs-CPU 101 extrahiert als Nächstes eine Kinnposition (Schritt 1434).
  • Wie im ersten Ausführungsbeispiel beschrieben, befindet sich die Kinnposition im kürzeren Bereich 14512, der an den Bereich 14214 angrenzt, in dem sich die Entfernung stark erhöht. Dementsprechend stellt die Gesamtsteuerungs-CPU 101 einen Punkt 14218 in 61D als Kinnposition ein. Der Punkt 14218 befindet sich in der Mitte des Bereichs 14214 in der lateralen Richtung und ist am weitesten weg von der Kehlposition 14217.
  • Wenn die Kehlposition und die Kinnposition bestimmt sind, werden Gesichtswinkel in der horizontalen und vertikalen Richtung bestimmt, und sie werden als Beobachtungsrichtung (Richtungsvektor) aufgezeichnet (Schritt S1435). Der Gesichtswinkel in horizontaler Richtung kann beruhend auf der Kehlposition und Kinnposition durch das im ersten Ausführungsbeispiel beschriebene Verfahren erfasst werden. Wenn ferner das Entfernungsbild unter Verwendung der ToF-Kamera erhalten wird, ist, wenn die Kinnposition bestimmt wird, die Entfernung zur Kinnposition fest. Entsprechend wird auch der Gesichtswinkel in vertikaler Richtung durch das im ersten Ausführungsbeispiel beschriebene Verfahren erfasst.
  • Die Gesamtsteuerungs-CPU 101 bestimmt die Gesichtswinkel in lateraler und vertikaler Richtung und speichert sie im Primärspeicher 103 als Benutzerbeobachtungsrichtung vi.
  • Wie vorstehend beschrieben, kann die Gesichtsrichtung gemäß dem vierzehnten Ausführungsbeispiel unter Verwendung einer ToF-Kamera erfasst werden.
  • Obwohl vorstehend die bevorzugten Ausführungsbeispiele der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf diese Ausführungsbeispiele beschränkt. Innerhalb des Schutzbereichs der Idee sind verschiedene Abwandlungen und Änderungen möglich. Ferner ist auch eine Abwandlung enthalten, die einen Teil der Funktionen nicht verwendet. Obwohl manches Ausführungsbeispiel die Änderung des Bildwinkels zusätzlich zur Aufzeichnungsrichtung zeigt, können diese Ausführungsbeispiele ausgeführt werden, selbst wenn der Bildwinkel nicht geändert wird.
  • Weitere Ausführungsbeispiele
  • Ausführungsbeispiele der vorliegenden Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (das vollständiger auch als „nichtflüchtiges computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnete computerausführbare Instruktionen (beispielsweise ein oder mehrere Programme) ausliest und ausführt, um die Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder der ein oder mehrere Schaltungen (beispielsweise eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung, beispielsweise durch Auslesen und Ausführen der computerausführbaren Instruktionen aus dem Speichermedium zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele und/oder Steuern der einen oder mehreren Schaltungen zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchgeführtes Verfahren realisiert werden. Der Computer kann einen oder mehrere Prozessoren (beispielsweise eine Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen, und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Instruktionen enthalten. Die computerausführbaren Instruktionen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann beispielsweise eine Festplatte und/oder einen Speicher mit wahlfreiem Zugriff (RAM) und/oder einen Nur-Lese-Speicher (ROM) und/oder einen Speicher verteilter Rechensysteme und/oder eine optische Disk (wie eine Compactdisc (CD), Digital Versatile Disc (DVD) oder Blue-ray Disc (BD)™) und/oder eine Flash-Speichereinrichtung und/oder eine Speicherkarte und dergleichen enthalten.
  • Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist, sondern durch den Schutzbereich der folgenden Patentansprüche definiert ist.
  • Diese Anmeldung beansprucht die Priorität der am 12. März 2021 eingereichten Japanischen Patentanmeldung JP 2021-040848 und der am 28. Februar 2022 eingereichten Japanischen Patentanmeldung JP 2022-029152 , deren Inhalt hier durch Bezugnahme aufgenommen ist.
  • Eine tragbare Bildaufnahmevorrichtung ist offenbart, die eine manuelle Änderung einer Bildaufnahmerichtung während des Aufnehmens eines Bildes beseitigt und ein Bild sicher erhalten kann, das eine Erfahrung aufzeichnet, während die Aufmerksamkeit auf der Erfahrung liegt. Eine Bildaufnahmevorrichtung enthält eine Beobachtungsrichtungserfassungseinheit, eine Bildaufnahmeeinheit und eine Bildausgabeeinheit. Die Beobachtungsrichtungserfassungseinheit wird an einem Körperteil getragen, das vom Kopf eines Benutzers verschieden ist, und erfasst eine Beobachtungsrichtung des Benutzers. Die Bildaufnahmeeinheit wird am Körper des Benutzers getragen und nimmt ein Bild auf. Die Bildausgabeeinheit gibt ein Bild entsprechend der Beobachtungsrichtung beruhend auf dem durch die Bildaufnahmeeinheit aufgenommenen Bild aus.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2007074033 [0012]
    • JP 2007074033 A [0012, 0014, 0516, 0543]
    • JP 2017060078 [0013]
    • JP 2017060078 A [0013, 0015]
    • US 20170085841 [0013]
    • JP 2021040848 [0697]
    • JP 2022029152 [0697]

Claims (66)

  1. Bildaufnahmevorrichtung mit: einer Beobachtungsrichtungserfassungseinheit, die am Körper außer am Kopf eines Benutzers getragen wird, und die zur Erfassung einer Beobachtungsrichtung des Benutzers eingerichtet ist; einer Bildaufnahmeeinheit, die am Körper des Benutzers getragen wird, und die zur Aufnahme eines Bildes eingerichtet ist; und einer Bildausgabeeinheit, die zur Ausgabe eines Bildes eingerichtet ist, das der Beobachtungsrichtung entspricht und auf dem durch die Bildaufnahmeeinheit aufgenommenen Bild beruht.
  2. Bildaufnahmevorrichtung nach Anspruch 1, wobei die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung des Benutzers als dreidimensionale Beobachtungsrichtung erfasst.
  3. Bildaufnahmevorrichtung nach Anspruch 1 oder 2, wobei die Beobachtungsrichtungserfassungseinheit eine Beobachtungsrichtung des Benutzers in einer lateralen Richtung als Winkel in einer ersten Erfassungsrichtung ausgibt, und eine Beobachtungsrichtung des Benutzers in einer vertikalen Richtung als Winkel in einer zweiten Erfassungsrichtung ausgibt, die zur ersten Erfassungsrichtung senkrecht steht.
  4. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 3, wobei die Beobachtungsrichtungserfassungseinheit umfasst: eine Infrarotbestrahlungseinheit, die zum Bestrahlen einer Infrarotbestrahlungsfläche des Benutzers mit Infrarotlicht eingerichtet ist; und eine Infraroterfassungseinheit, die zur Erfassung von reflektiertem Licht des durch die Infrarotbestrahlungsfläche reflektierten Infrarotlichts eingerichtet ist.
  5. Bildaufnahmevorrichtung nach Anspruch 4, wobei die Beobachtungsrichtungserfassungseinheit Entfernungsinformationen über jeweilige Entfernungsbereiche der Infrarotbestrahlungsfläche aus dem durch die Infraroterfassungseinheit erfassten reflektierten Licht des Infrarotlichts erhält und die Beobachtungsrichtung beruhend auf den Entfernungsinformationen erfasst.
  6. Bildaufnahmevorrichtung nach Anspruch 5, wobei die Beobachtungsrichtungserfassungseinheit einen Kopfdrehpunkt und eine Kinnposition des Benutzers beruhend auf den Entfernungsinformationen erfasst, und die Beobachtungsrichtung aus dem Kopfdrehpunkt und der Kinnposition erfasst.
  7. Bildaufnahmevorrichtung nach Anspruch 6, wobei die Beobachtungsrichtungserfassungseinheit den Kopfdrehpunkt an einer Position einstellt, die der Infraroterfassungseinheit am nächsten liegt, und die sich in lateraler Richtung in einem Entfernungsbereich in der Mitte befindet, dessen relative Entfernung zu der Infraroterfassungseinheit unter den Entfernungsbereichen die kürzeste ist.
  8. Bildaufnahmevorrichtung nach Anspruch 6 oder 7, wobei die Beobachtungsrichtungserfassungseinheit die Kinnposition an einer Position einstellt, die vom Kopfdrehpunkt am weitesten weg ist, und die nahe einem Entfernungsbereich ist, dessen relative Entfernung zu der Infraroterfassungseinheit unter den Entfernungsbereichen relativ groß ist.
  9. Bildaufnahmevorrichtung nach Anspruch 8, wobei die Beobachtungsrichtungserfassungseinheit eine Beobachtungsrichtung des Benutzers in lateraler Richtung als Winkel in einer ersten Erfassungsrichtung ausgibt, und eine Beobachtungsrichtung des Benutzers in vertikaler Richtung als Winkel in einer zweiten Erfassungsrichtung ausgibt, die zu der ersten Erfassungsrichtung senkrecht ist, und wobei die Beobachtungsrichtungserfassungseinheit einen Bewegungswinkel der Kinnposition um den Kopfdrehpunkt als den Winkel in der ersten Erfassungsrichtung berechnet.
  10. Bildaufnahmevorrichtung nach Anspruch 8 oder 9, wobei die Beobachtungsrichtungserfassungseinheit eine Beobachtungsrichtung des Benutzers in lateraler Richtung als Winkel in einer ersten Erfassungsrichtung ausgibt, und eine Beobachtungsrichtung des Benutzers in vertikaler Richtung als Winkel in einer zweiten Erfassungsrichtung ausgibt, die zu der ersten Erfassungsrichtung senkrecht ist, und wobei die Beobachtungsrichtungserfassungseinheit den Winkel in der zweiten Erfassungsrichtung beruhend auf einer Stärke des reflektierten Lichts der Kinnposition berechnet.
  11. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 10, wobei die Bildausgabeeinheit ein der Beobachtungsrichtung entsprechendes Bild aus dem durch die Bildaufnahmeeinheit aufgenommenen Bild extrahiert und ein extrahiertes Bild ausgibt.
  12. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 11, ferner mit einer Kalibriereinheit zur Durchführung einer Kalibrierung der Beobachtungsrichtungserfassungseinheit unter Verwendung einer Kalibriereinrichtung, die sich mit der Bildaufnahmevorrichtung drahtlos verbinden kann, wobei die Kalibriereinrichtung mit einer Gesichtserfassungseinheit versehen ist, die Infrarotlicht projiziert und ein Gesicht des Benutzers erfasst, und wobei die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung während eines Zeitabschnitts nicht erfasst, während dessen die Gesichtserfassungseinheit das Infrarotlicht projiziert.
  13. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 12, ferner mit einer Metadatenerzeugungseinheit, die zur Erzeugung von Metadaten, die In-Bildpositionsinformationen enthalten, die eine Position und eine Größe eines der Beobachtungsrichtung entsprechenden Bildes zeigen, hinsichtlich eines Bildes jedes zu der Bildausgabeeinheit ausgegebenen Rahmens eingerichtet ist, wobei die Bildausgabeeinheit eine Videodatei erzeugt, in der die Metadaten und das Bild jedes Rahmens für jeden Rahmen kodiert sind.
  14. Bildaufnahmevorrichtung nach Anspruch 13, ferner mit einer Optischer-Korrekturwert-Erhalteeinheit, die zum Erhalten eines optischen Korrekturwerts eingerichtet ist, der einem optischen Entwurf eines Bildaufnahmeobjektivs in der Bildaufnahmeeinheit entspricht, wobei der optische Korrekturwert in den Metadaten enthalten ist.
  15. Bildaufnahmevorrichtung nach Anspruch 13 oder 14, ferner mit einer Bewegungsbetragserfassungseinheit, die zur Erfassung einer Bewegung der Bildaufnahmevorrichtung und zum Erhalten eines Bewegungsbetrags eingerichtet ist, wobei der Bewegungsbetrag in den Metadaten enthalten ist.
  16. Bildaufnahmevorrichtung nach Anspruch 15, wobei die Bewegungsbetragserfassungseinheit ein Beschleunigungssensor, der eine Beschleunigung erfasst, ein Winkelgeschwindigkeitssensor, der eine Winkelgeschwindigkeit misst, oder ein magnetometrischer Sensor ist, der eine Richtung eines Magnetfeldes misst.
  17. Tragbare Einrichtung, die sich mit einer Bildaufnahmevorrichtung drahtlos verbinden kann, wobei die tragbare Einrichtung umfasst: eine Videodateiempfangseinheit, die zum Empfangen einer Videodatei eingerichtet ist, in der Metadaten, die In-Bildpositionsinformationen enthalten, die eine Position und eine Größe eines einer Beobachtungsrichtung eines Benutzers entsprechenden Bildes hinsichtlich eines Bildes jedes durch die Bildaufnahmevorrichtung aufgenommenen Rahmens zeigen, und ein Bild jedes Rahmens für jeden Rahmen kodiert sind; eine erste Extrahiereinheit, die zum Extrahieren der Metadaten aus der Videodatei eingerichtet ist; eine zweite Extrahiereinheit, die zum Extrahieren des Bildes des Rahmens eingerichtet ist, das mit den aus der Videodatei extrahierten Metadaten kodiert ist; eine Rahmenbildkorrektureinheit, die zum Korrigieren des durch die zweite Extrahiereinheit extrahierten Bildes des Rahmens unter Verwendung der durch die erste Extrahiereinheit extrahierten Metadaten eingerichtet ist; und eine Videoaufzeichnungseinheit, die zum Aufzeichnen des durch die Rahmenbildkorrektureinheit korrigierten Bildes des Rahmens als Videobild eingerichtet ist.
  18. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 16, wobei die Beobachtungsrichtungserfassungseinheit eine Gesichtsrichtungserfassungseinheit umfasst, die eine Gesichtsrichtung des Benutzers erfasst, ferner mit: einer Erhalte-/Erfassungseinheit, die zum Erhalten eines Bildes, das einen Positionierungsindex enthält, von der Bildaufnahmeeinheit, die den Positionierungsindex aufnimmt, und zur Erfassung der Gesichtsrichtung durch die Gesichtsrichtungserfassungseinheit während einer Kalibrierung eingerichtet ist, einer Positionsberechnungseinheit, die zum Berechnen einer Position des Positionierungsindex in dem während der Kalibrierung aufgenommenen Bild anhand einer Form des Positionierungsindex eingerichtet ist, der in dem durch die Erhalte-/Erfassungseinheit erhaltenen Bild enthalten ist, einer Erzeugungseinheit, die zur Erzeugung von Informationen eingerichtet ist, die eine Beziehung zwischen der durch die Erhalte-/Erfassungseinheit erfassten Gesichtsrichtung und der durch die Positionsberechnungseinheit berechneten Position des Positionierungsindex zeigen; und einer ersten Kalibriereinheit, die zur Durchführung einer Kalibrierung einer Mittenposition eines Zielblickfeldes, das der durch die Gesichtsrichtungserfassungseinheit erfassten Gesichtsrichtung entspricht, beruhend auf den durch die Erzeugungseinheit erzeugten Informationen eingerichtet ist.
  19. Kalibriereinrichtung, die sich mit einer Bildaufnahmevorrichtung drahtlos verbinden kann, wobei die Kalibriereinrichtung umfasst: eine erste Anzeigeeinheit, die zum Anzeigen eines Positionierungsindex eingerichtet ist, der durch eine Bildaufnahmeeinheit der Bildaufnahmevorrichtung während einer Kalibrierung aufgenommen wird; eine Gesichtserfassungseinheit, die zur Erfassung eines Gesichts eines Benutzers eingerichtet ist, der die Bildaufnahmevorrichtung am eigenen Körper trägt; und eine zweite Anzeigeeinheit, die zur Anzeige einer Taste, die zum Übertragen einer Anweisung der Kalibrierung zu der Bildaufnahmevorrichtung gedrückt wird, in einem Fall eingerichtet ist, in dem gemäß einem Erfassungsergebnis der Gesichtserfassungseinheit bestimmt wird, dass der Benutzer den Positionierungsindex anschaut.
  20. Kalibriereinrichtung nach Anspruch 19, ferner mit: einem Winkelgeschwindigkeitssensor; und einer zweiten Kalibriereinheit, die zur Durchführung einer Kalibrierung einer Mittenposition eines Zielblickfeldes durch Vergleichen von Informationen von dem Winkelgeschwindigkeitssensor mit Gesichtsrichtungsinformationen über einen Benutzer eingerichtet ist, die durch eine Gesichtsrichtungserfassungseinheit der Bildaufnahmevorrichtung erfasst werden und drahtlos übertragen werden.
  21. Kalibriereinrichtung nach Anspruch 19, wobei die Gesichtserfassungseinheit ein Gesichtsbild des Benutzers aufnimmt, so dass das Gesichtsbild eine Bildaufnahmeeinheit enthält, die an der Bildaufnahmevorrichtung, die am Körper außer am Kopf des Benutzers getragen wird, zusammen mit einer Beobachtungsrichtungserfassungseinheit integral angebracht ist, die eine Beobachtungsrichtung des Benutzers erfasst, ferner mit einer Vertikalentfernungsberechnungseinheit, die zur Berechnung einer vertikalen Entfernung zwischen einem Bildaufnahmeobjektiv der Bildaufnahmevorrichtung und einer Augenposition des Benutzers beruhend auf einer Größe der Bildaufnahmeeinheit im Gesichtsbild eingerichtet ist.
  22. Bildaufnahmevorrichtung nach Anspruch 1, wobei die Beobachtungsrichtungserfassungseinheit eine Gesichtsrichtungserfassungseinheit umfasst, die eine Gesichtsrichtung des Benutzers erfasst, ferner mit: einer Berechnungseinheit, die zur Berechnung einer Winkelgeschwindigkeit des Gesichts des Benutzers beruhend auf der durch die Gesichtsrichtungserfassungseinheit erfassten Gesichtsrichtung eingerichtet ist, und einer Aufzeichnungsrichtungsbestimmungseinheit, die zur Bestimmung einer Aufzeichnungsrichtung des aus der Bildausgabeeinheit ausgegebenen Bildes beruhend auf der Beobachtungsrichtung eingerichtet ist, wobei die Aufzeichnungsrichtungsbestimmungseinheit die Aufzeichnungsrichtung in eine verzögerte Richtung, die gegenüber einer Bewegung der erfassten Gesichtsrichtung verzögert ist, in einem Fall ändert, in dem als Ergebnis der Berechnung durch die Berechnungseinheit bestimmt wird, dass sich das Gesicht des Benutzers mit der Winkelgeschwindigkeit über einer vorbestimmten Winkelgeschwindigkeit über einen ersten vorbestimmten Zeitabschnitt hinaus bewegt.
  23. Bildaufnahmevorrichtung nach Anspruch 22, wobei die Bildausgabeeinheit ein durch die Bildaufnahmeeinheit während eines Bildaufnahmebetriebs eines sich bewegenden Objekts aufgenommenes Gesamtbild selbst dann ausgibt, wenn als Ergebnis der Berechnung durch die Berechnungseinheit bestimmt wird, dass sich das Gesicht des Benutzers mit der Winkelgeschwindigkeit über der vorbestimmten Winkelgeschwindigkeit über den ersten vorbestimmten Zeitabschnitt hinaus bewegt.
  24. Bildaufnahmevorrichtung nach Anspruch 23, wobei die Aufzeichnungsrichtungsbestimmungseinheit eine Änderung der Aufzeichnungsrichtung in die verzögerte Richtung in einem Fall stoppt, wenn ein seit Änderung der Aufzeichnungsrichtung in die verzögerte Richtung abgelaufener Zeitabschnitt einen zweiten vorbestimmten Zeitabschnitt überschreitet.
  25. Bildaufnahmevorrichtung nach Anspruch 22, wobei die Aufzeichnungsrichtungsbestimmungseinheit die Aufzeichnungsrichtung in einem Fall nicht ändert, in dem als Ergebnis der Berechnung durch die Berechnungseinheit bestimmt wird, dass ein Zeitabschnitt, während dessen sich das Gesicht des Benutzers mit der Winkelgeschwindigkeit über einer vorbestimmten Winkelgeschwindigkeit bewegt, kleiner als der erste vorbestimmte Zeitabschnitt ist.
  26. Bildaufnahmevorrichtung nach Anspruch 22, wobei ein Bildeffekt hinzugefügt wird, wenn das aus der Bildausgabeeinheit ausgegebene Bild von dem Bild der verzögerten Richtung in das Bild umgeschaltet wird, das der durch die Beobachtungsrichtungserfassungseinheit erfassten Beobachtungsrichtung entspricht.
  27. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 16, 18, 22 bis 26, ferner mit: einer Bewegungsbetragserfassungseinheit, die zur Erfassung eines Bewegungsbetrags der Bildaufnahmevorrichtung während eines Videobildaufnahmebetriebs durch die Bildaufnahmeeinheit eingerichtet ist; und einer Beobachtungsrichtungskorrektureinheit, die zum Korrigieren eines Bewegungsbetrags der Beobachtungsrichtung eingerichtet ist, wobei die Beobachtungsrichtungskorrektureinheit den Bewegungsbetrag der Beobachtungsrichtung in einem Fall verzögert, in dem die Bewegungsbetragserfassungseinheit erfasst, dass sich die Bildaufnahmevorrichtung beschleunigt, und wobei die Beobachtungsrichtungskorrektureinheit den Bewegungsbetrag der Beobachtungsrichtung zum Abdecken eines verzögerten Betrags in einem Fall beschleunigt, in dem die Bewegungsbetragserfassungseinheit erfasst, dass sich die Bildaufnahmevorrichtung verlangsamt.
  28. Bildaufnahmevorrichtung nach Anspruch 27, wobei die Bewegungsbetragserfassungseinheit den Bewegungsbetrag durch Vergleichen von Bildern einer Vielzahl von Rahmen erfasst, die durch die Bildaufnahmeeinheit während eines Videobildaufnahmebetriebs erhalten werden.
  29. Bildaufnahmevorrichtung nach Anspruch 27 oder 28, wobei die Bildausgabeeinheit einen Teil des Bildes ausgibt, der gemäß der Beobachtungsrichtung extrahiert wird.
  30. Bildaufnahmevorrichtung nach einem der Ansprüche 27 bis 29, ferner mit: einer Antriebseinrichtung, die eine Bildaufnahmerichtung der Bildaufnahmeeinheit in einer Gierrichtung und einer Neigungsrichtung lenkt; und einer Bildaufnahmerichtungsänderungseinheit, die zur Steuerung der Antriebseinrichtung zur Änderung der Bildaufnahmerichtung der Bildaufnahmeeinheit beruhend auf der Beobachtungsrichtung eingerichtet ist.
  31. Bildaufnahmevorrichtung nach einem der Ansprüche 27 bis 30, wobei die Beobachtungsrichtungskorrektureinheit den Bewegungsbetrag der Beobachtungsrichtung derart korrigiert, dass die Bewegungsgeschwindigkeit der Beobachtungsrichtung in einem aus der Bildausgabeeinheit ausgegebenen Videobild ungefähr konstant wird.
  32. Bildaufnahmevorrichtung nach Anspruch 1, wobei die Beobachtungsrichtungserfassungseinheit und die Bildaufnahmeeinheit integral gebildet sind, ferner mit: einer Entfernungsmesseinheit, die zum Messen einer Entfernung von der Bildaufnahmeeinheit zu einem Bildaufnahmezielbereich eingerichtet ist; einer Erzeugungseinheit, die zur Erzeugung von Entfernungskarteninformationen über den Bildaufnahmezielbereich aus dem Messergebnis durch die Entfernungsmesseinheit eingerichtet ist; und einer Berechnungseinheit, die zur Berechnung einer Richtung eines Beobachtungsobjekts des Benutzers von der Bildaufnahmeeinheit aus gesehen beruhend auf der Beobachtungsrichtung, den Entfernungskarteninformationen und einer vertikalen Entfernung zwischen der Bildaufnahmeeinheit und einer Augenposition des Benutzers eingerichtet ist.
  33. Bildaufnahmevorrichtung nach Anspruch 32, ferner mit: einer Stellungserfassungseinheit, die zur Erfassung einer horizontalen Achse der Bildaufnahmeeinheit eingerichtet ist; einer Winkelberechnungseinheit, die zur Berechnung eines Winkels eingerichtet ist, der zwischen der erfassten horizontalen Achse und einer Richtung eines externen Positionierungsindex von der Bildaufnahmeeinheit aus gesehen gebildet wird; einer Vertikalentfernungsberechnungseinheit, die zur Berechnung der vertikalen Entfernung beruhend auf dem durch die Winkelberechnungseinheit berechneten Winkel und einer durch die Entfernungsmesseinheit gemessenen Entfernung zwischen der Bildaufnahmeeinheit und dem Positionierungsindex eingerichtet ist.
  34. Bildaufnahmevorrichtung nach Anspruch 33, wobei eine Kalibrierung der durch die Beobachtungsrichtungserfassungseinheit erfassten Beobachtungsrichtung beruhend auf der berechneten vertikalen Entfernung, einer durch die Beobachtungsrichtungserfassungseinheit in einem Fall erfassten Beobachtungsrichtung, in dem sich der Positionierungsindex an der jeweiligen festgelegten Position befindet, und der durch die Entfernungsmesseinheit gemessenen Entfernung zwischen der Bildaufnahmeeinheit und dem Positionierungsindex durchgeführt wird.
  35. Bildaufnahmevorrichtung nach Anspruch 22, ferner mit: einer zweiten Aufzeichnungsrichtungsbestimmungseinheit, die zur Bestimmung einer Richtung eingerichtet ist, die beruhend auf einem anderen Faktor als der Beobachtungsrichtung als die Aufzeichnungsrichtung bestimmt wird; einer Modusumschalteinheit, die einen Bildaufnahmemodus umschaltet, wobei die Modusumschalteinheit einen unmittelbar vorhergehenden Modus in einen ersten Bildaufnahmemodus, in dem die Aufzeichnungsrichtung durch die Aufzeichnungsrichtungsbestimmungseinheit während des Videobildaufnahmebetriebs bestimmt wird, in einem Fall umschaltet, in dem die Gesichtsrichtungserfassungseinheit die Gesichtsrichtung während des Videobildaufnahmebetriebs erfassen kann, und wobei die Modusumschalteinheit einen unmittelbar vorhergehenden Modus in einen von anderen Bildaufnahmemodi, in denen die Aufzeichnungsrichtung durch die zweite Aufzeichnungsrichtungsbestimmungseinheit während des Videobildaufnahmebetriebs bestimmt wird, in einem Fall umschaltet, in dem die Gesichtsrichtungserfassungseinheit die Gesichtsrichtung nicht erfassen kann.
  36. Bildaufnahmevorrichtung nach Anspruch 35, ferner mit einer Objekterkennungseinheit, die zur Erkennung eines Objekts aus einem Bild der Aufzeichnungsrichtung eines Rahmens eines durch die Bildaufnahmeeinheit aufgenommenen Videobildes eingerichtet ist, wobei die Modusumschalteinheit in einem Fall, in dem die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung nicht erfassen kann und die Objekterkennungseinheit ein identisches Objekt in einem vergangenen vorbestimmten Zeitabschnitt erkennt, den von der Beobachtungsrichtung verschiedenen Faktor auf eine Richtung einstellt, die das identische Objekt nachverfolgt, und einen unmittelbar vorhergehenden Modus in einen zweiten Bildaufnahmemodus umschaltet, der einer der anderen Bildaufnahmemodi ist.
  37. Bildaufnahmevorrichtung nach Anspruch 36, ferner mit einer Objektregistriereinheit, die zum Vorabregistrieren eines zu erfassenden Objekts eingerichtet ist, wobei die Modusumschalteinheit in einem Fall, in dem die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung nicht erfassen kann und die Objekterkennungseinheit das zuvor registrierte Objekt aus einem neuesten Aufnahmebild erkennt, den von der Beobachtungsrichtung verschiedenen Faktor auf eine Richtung einstellt, die das zuvor registrierte Objekt nachverfolgt, und einen unmittelbar vorhergehenden Modus in einen dritten Bildaufnahmemodus umschaltet, der einer der anderen Bildaufnahmemodi ist.
  38. Bildaufnahmevorrichtung nach Anspruch 37, wobei die Modusumschalteinheit in einem Fall, in dem die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung nicht erfassen kann und die Objekterkennungseinheit kein identisches Objekt erfassen kann oder das zuvor registrierte Objekt nicht erfassen kann, den von der Beobachtungsrichtung verschiedenen Faktor auf die Beobachtungsrichtung, die erfasst wurde, bevor die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung verloren hat, oder die Beobachtungsrichtung einstellt, die sich mit einem Änderungsbetrag bewegt, bevor die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung verloren hat, und den unmittelbar vorhergehenden Modus in einen vierten Bildaufnahmemodus umschaltet, der einer der anderen Bildaufnahmemodi ist.
  39. Bildaufnahmevorrichtung nach Anspruch 38, ferner mit einer Bildwinkeländerungseinheit, die zur Änderung eines Bildwinkels des aus der Bildausgabeeinheit ausgegebenen Bildes eingerichtet ist, wobei die Bildwinkeländerungseinheit den Bildwinkel des Bildes der Aufzeichnungsrichtung gegenüber einem vorgeschriebenen Bildwinkel in dem vierten Bildaufnahmemodus weitet.
  40. Bildaufnahmevorrichtung nach Anspruch 39, wobei die Modusumschalteinheit kontinuierlich aktiv ist, selbst nachdem der Modus in den ersten, zweiten, dritten oder vierten Bildaufnahmemodus umgeschaltet wurde.
  41. Bildaufnahmevorrichtung nach Anspruch 40, wobei die Bildwinkeländerungseinheit den erweiterten Bildwinkel auf den vorgeschriebenen Bildwinkel in einem Fall zurücksetzt, in dem die Modusumschalteinheit den vierten Bildaufnahmemodus in den ersten, zweiten oder dritten Bildaufnahmemodus umschaltet.
  42. Bildaufnahmevorrichtung nach einem der Ansprüche 39 bis 41, ferner mit einer Mitteilungseinheit, die eingerichtet ist, dem Benutzer einen Erfassungsfehler der Beobachtungsrichtung in einem Fall mitzuteilen, in dem die Beobachtungsrichtungserfassungseinheit die Beobachtungsrichtung nicht erfassen kann, wobei die Mitteilungseinheit dem Benutzer den Erfassungsfehler in einem Fall mitteilt, in dem die Modusumschalteinheit den ersten Bildaufnahmemodus in einen der anderen Bildaufnahmemodi umschaltet.
  43. Bildaufnahmevorrichtung nach Anspruch 1, wobei die Beobachtungsrichtungserfassungseinheit umfasst: eine erste Beobachtungsrichtungsberechnungseinheit, die zur Erfassung einer Gesichtsrichtung des Benutzers und zur Berechnung einer ersten Beobachtungsrichtung aus der erfassten Gesichtsrichtung eingerichtet ist; eine Beobachtungsrichtungsschätzeinheit, die zum Schätzen einer zweiten Beobachtungsrichtung anhand eines von der erfassten Gesichtsrichtung verschiedenen Faktors eingerichtet ist; eine Zuverlässigkeitsberechnungseinheit, die zur Berechnung einer Zuverlässigkeit der ersten Beobachtungsrichtung eingerichtet ist; und eine Beobachtungsrichtungsbestimmungseinheit, die zur Bestimmung der Beobachtungsrichtung eingerichtet ist, wobei die Beobachtungsrichtungsbestimmungseinheit die Beobachtungsrichtung als die erste Beobachtungsrichtung in einem Fall bestimmt, in dem die Zuverlässigkeit gleich einem oder größer als ein Schwellenwert ist, und wobei die Beobachtungsrichtungsbestimmungseinheit die Beobachtungsrichtung beruhend auf der ersten Beobachtungsrichtung, der zweiten Beobachtungsrichtung und der Zuverlässigkeit in einem Fall bestimmt, in dem die Zuverlässigkeit kleiner als der Schwellenwert ist und die zweite Beobachtungsrichtung zuverlässig ist.
  44. Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 16, 18, 22 bis 43, wobei eine optische Erfassungsachse der Beobachtungsrichtungserfassungseinheit und eine optische Bildaufnahmeachse der Bildaufnahmeeinheit in voneinander verschiedene Richtungen gerichtet sind.
  45. Bildaufnahmevorrichtung nach Anspruch 44, wobei die optische Erfassungsachse der Beobachtungsrichtungserfassungseinheit von der Beobachtungsrichtungserfassungseinheit zum Kiefer des Benutzers gerichtet ist.
  46. Bildaufnahmevorrichtung nach Anspruch 44 oder 45, wobei die optische Bildaufnahmeachse der Bildaufnahmeeinheit von der Bildaufnahmeeinheit zu einer Frontrichtung des Benutzers gerichtet ist.
  47. Bildaufnahmevorrichtung nach einem der Ansprüche 44 bis 46, wobei die Bildaufnahmevorrichtung, in der die Beobachtungsrichtungserfassungseinheit und die Bildaufnahmeeinheit integral gebildet sind, in einem Kamerahauptteil ausgebildet ist, und wobei eine laterale Gesamtlänge der Bildaufnahmevorrichtung länger als ihre vertikale Gesamtlänge von einer Front des Benutzers in einem Zustand aus gesehen ist, in dem der Benutzer den Kamerahauptteil trägt.
  48. Bildaufnahmevorrichtung nach Anspruch 47, wobei der Kamerahauptteil mit Anbringelementen versehen ist, die in Kontakt mit dem Benutzerkörper sind, wobei die Anbringelemente jeweils in der Nähe des rechten und linken Endes der Bildaufnahmevorrichtung in dem Zustand angeordnet sind, in dem der Benutzer den Kamerahauptteil trägt.
  49. Bildaufnahmevorrichtung nach Anspruch 48, ferner mit Kontaktwinkelanpasseinrichtungen, die Winkel der Anbringelemente hinsichtlich des Benutzerkörpers anpassen.
  50. Bildaufnahmevorrichtung nach Anspruch 47, wobei die Bildaufnahmevorrichtung mit einem Am-Hals-Häng-Element zum Tragen der Bildaufnahmevorrichtung am Benutzerhals verbunden ist, wobei das Am-Hals-Häng-Element mit Umgebungen des rechten und linken Endes der Bildaufnahmevorrichtung in dem Zustand verbunden ist, in dem der Benutzer den Kamerahauptteil trägt.
  51. Bildaufnahmevorrichtung nach Anspruch 50, wobei das Am-Hals-Häng-Element mit einer Am-Hals-Häng-Winkelanpasseinrichtung versehen ist, die einen Winkel des Am-Hals-Häng-Elements bezüglich der Bildaufnahmevorrichtung anpasst.
  52. Bildaufnahmevorrichtung nach Anspruch 50, wobei das Am-Hals-Häng-Element mit einem Bandabschnitt versehen ist, dessen Querschnitt kein perfekter Kreis ist, wobei eine Entfernung zwischen einem rechten und einem linken Abschnitt des Bandabschnitts, die zu der Bildaufnahmevorrichtung symmetrisch sind, von einer unteren Seite zu einer oberen Seite in dem Zustand kürzer wird, in dem der Benutzer den Kamerahauptteil trägt.
  53. Bildaufnahmevorrichtung nach einem der Ansprüche 50 bis 52, wobei die Bildaufnahmevorrichtung über das Am-Hals-Häng-Element mit einer Energiequelleneinheit verbunden ist, wobei die Energiequelleneinheit in dem Zustand, in dem der Benutzer den Kamerahauptteil trägt, hinter dem Benutzernacken angeordnet ist.
  54. Bildaufnahmevorrichtung nach Anspruch 53, wobei die Bildaufnahmevorrichtung über ein Leistungszuführelement mit der Energiequelleneinheit verbunden ist, wobei das Leistungszuführelement in dem Am-Hals-Häng-Element angeordnet ist.
  55. Bildaufnahmevorrichtung nach Anspruch 22, wobei die Bildaufnahmeeinheit ein Bildaufnahmeobjektiv und einen Bildsensor aufweist, der ein durch das Bildaufnahmeobjektiv erzeugtes optisches Bild in RAW-Daten umwandelt, wobei die Bildaufnahmeeinheit aus einem vorbestimmten Bereich des Bildsensors gelesene RAW-Daten als ein durch die Bildaufnahmeeinheit aufgenommenes Bild ausgibt, ferner mit einer Entwicklungseinheit, die zum Extrahieren von Daten in einem Bereich, der enger als der vorbestimmte Bereich ist und ein Zielblickfeld in der Aufzeichnungsrichtung und einen Rand um das Zielblickfeld enthält, aus den RAW-Daten und zum Entwickeln der extrahierten Daten eingerichtet ist.
  56. Bildaufnahmevorrichtung nach Anspruch 55, wobei der Rand ein für einen Bildstabilisierungsprozess verwendeter Bildelementbereich ist.
  57. Bildaufnahmevorrichtung nach Anspruch 55 oder 56, wobei die Entwicklungseinheit eine Form des Zielblickfeldes und eine Form des Rands gemäß der Aufzeichnungsrichtung und einer optischen Eigenschaft des Bildaufnahmeobjektivs ändert.
  58. Bildaufnahmevorrichtung nach einem der Ansprüche 55 bis 57, wobei die Bildausgabeeinheit die Daten, die durch die Entwicklungseinheit extrahiert und entwickelt werden, als ein Bild der Aufzeichnungsrichtung aufzeichnet, und keine Daten aufzeichnet, die nicht aus dem vorbestimmten Bereich extrahiert werden.
  59. Bildaufnahmevorrichtung nach Anspruch 58, wobei die Bildausgabeeinheit das Bild der Aufzeichnungsrichtung zu einer externen Wahrnehmungseinrichtung überträgt.
  60. Bildaufnahmevorrichtung nach Anspruch 59, wobei die externe Wahrnehmungseinrichtung bei dem Bild der Aufzeichnungsrichtung einen optischen Korrekturprozess und einen Bildstabilisierungsprozess anwendet, und wobei die Bildausgabeeinheit für den optischen Korrekturprozess und den Bildstabilisierungsprozess erforderliche Informationen zusammen mit dem Bild der Aufzeichnungsrichtung überträgt.
  61. Steuerverfahren für eine Bildaufnahmevorrichtung, wobei das Steuerverfahren umfasst: Erfassen einer Beobachtungsrichtung eines Benutzers durch eine Beobachtungsrichtungserfassungseinheit, die am Körper aber nicht am Kopf des Benutzers getragen wird; Aufnehmen eines Bildes durch eine Bildaufnahmeeinheit, die am Körper des Benutzers getragen wird; und Ausgeben eines der Beobachtungsrichtung entsprechenden Bildes beruhend auf dem aufgenommenen Bild.
  62. Steuerverfahren für eine tragbare Einrichtung, die sich mit einer Bildaufnahmevorrichtung drahtlos verbinden kann, wobei das Steuerverfahren umfasst: Empfangen einer Videodatei, in der Metadaten, die In-Bildpositionsinformationen, die eine Position und eine Größe eines einer Beobachtungsrichtung eines Benutzers entsprechenden Bildes zeigen, hinsichtlich eines Bildes jedes durch die Bildaufnahmevorrichtung aufgenommenen Rahmens enthalten, und ein Bild jedes Rahmens für jeden Rahmen kodiert sind; Extrahieren der Metadaten aus der Videodatei; Extrahieren des Bildes des Rahmens, das mit den aus der Videodatei extrahierten Metadaten kodiert ist; Korrigieren des extrahierten Bildes des Rahmens unter Verwendung der extrahierten Metadaten; und Aufzeichnen des korrigierten Bildes des Rahmens als Videobild.
  63. Steuerverfahren für eine Kalibriereinrichtung, die sich mit einer Bildaufnahmevorrichtung drahtlos verbinden kann, wobei das Steuerverfahren umfasst: Anzeigen eines Positionierungsindex, der durch eine Bildaufnahmeeinheit der Bildaufnahmevorrichtung während einer Kalibrierung aufgenommen wird; Erfassen eines Gesichts eines Benutzers, der die Bildaufnahmevorrichtung am eigenen Körper trägt; und Anzeigen einer Taste, die zum Übertragen einer Anweisung der Kalibrierung zu der Bildaufnahmevorrichtung gedrückt wird, in einem Fall, in dem gemäß dem erfassten Gesicht bestimmt wird, dass der Benutzer den Positionierungsindex anschaut.
  64. Nichtflüchtiges computerlesbares Speichermedium, das ein Steuerprogramm speichert, das bei seiner Ausführung durch eine Bildaufnahmevorrichtung die Bildaufnahmevorrichtung zur Durchführung eines Verfahrens nach Anspruch 61 veranlasst.
  65. Nichtflüchtiges computerlesbares Speichermedium, das ein Steuerprogramm speichert, das bei seiner Ausführung durch eine tragbare Einrichtung, die sich mit einer Bildaufnahmevorrichtung drahtlos verbinden kann, die tragbare Einrichtung zur Durchführung eines Verfahrens nach Anspruch 62 veranlasst.
  66. Nichtflüchtiges computerlesbares Speichermedium, das ein Steuerprogramm speichert, das bei seiner Ausführung durch eine Kalibriereinrichtung, die sich mit einer Bildaufnahmevorrichtung drahtlos verbinden kann, die Kalibriereinrichtung zur Durchführung eines Verfahrens nach Anspruch 63 veranlasst.
DE102022105788.7A 2021-03-12 2022-03-11 Tragbare Bildaufnahmevorrichtung, tragbare Einrichtung und Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern Pending DE102022105788A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021040848 2021-03-12
JP2021-040848 2021-03-12
JP2022029152A JP2022140328A (ja) 2021-03-12 2022-02-28 撮像装置、携帯機器、キャリブレータ、及びこれらの制御方法並びにプログラム
JP2022-029152 2022-02-28

Publications (1)

Publication Number Publication Date
DE102022105788A1 true DE102022105788A1 (de) 2022-09-15

Family

ID=81075505

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022105788.7A Pending DE102022105788A1 (de) 2021-03-12 2022-03-11 Tragbare Bildaufnahmevorrichtung, tragbare Einrichtung und Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern

Country Status (5)

Country Link
US (1) US20220294937A1 (de)
KR (1) KR20220128585A (de)
CN (1) CN115086547A (de)
DE (1) DE102022105788A1 (de)
GB (1) GB2607151B (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158688A1 (en) * 2020-02-05 2021-08-12 Rayem Inc. A portable apparatus, method, and system of golf club swing motion tracking and analysis
GB2611154A (en) 2021-07-29 2023-03-29 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
GB2611156B (en) * 2021-07-30 2024-06-05 Canon Kk Image capture apparatus, control method, and program
KR20230019016A (ko) 2021-07-30 2023-02-07 캐논 가부시끼가이샤 액션 카메라로서 사용되는 촬상장치
GB2611157A (en) 2021-07-30 2023-03-29 Canon Kk Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for...

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074033A (ja) 2005-09-02 2007-03-22 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2017060078A (ja) 2015-09-18 2017-03-23 カシオ計算機株式会社 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
JP2021040848A (ja) 2019-09-10 2021-03-18 株式会社三共 遊技機
JP2022029152A (ja) 2020-08-04 2022-02-17 日本精工株式会社 転がり軸受

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration
CN106415447B (zh) * 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理系统
US20180234674A1 (en) * 2017-02-14 2018-08-16 Axon Enterprise, Inc. Systems and methods for determining a field of view
KR102565977B1 (ko) * 2018-02-08 2023-08-11 삼성전자주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074033A (ja) 2005-09-02 2007-03-22 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2017060078A (ja) 2015-09-18 2017-03-23 カシオ計算機株式会社 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
US20170085841A1 (en) 2015-09-18 2017-03-23 Casio Computer Co., Ltd. Image Recording System, User Wearable Device, Imaging Device, Image Processing Device, Image Recording Method And Storage Medium
JP2021040848A (ja) 2019-09-10 2021-03-18 株式会社三共 遊技機
JP2022029152A (ja) 2020-08-04 2022-02-17 日本精工株式会社 転がり軸受

Also Published As

Publication number Publication date
GB202202906D0 (en) 2022-04-13
GB2607151A (en) 2022-11-30
KR20220128585A (ko) 2022-09-21
GB2607151B (en) 2024-06-05
CN115086547A (zh) 2022-09-20
US20220294937A1 (en) 2022-09-15
GB2607151A9 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
DE102022105788A1 (de) Tragbare Bildaufnahmevorrichtung, tragbare Einrichtung und Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern
US11860511B2 (en) Image pickup device and method of tracking subject thereof
US9927948B2 (en) Image display apparatus and image display method
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
DE102022118817A1 (de) Bildaufnahmevorrichtung, die als Action-Kamera verwendet wird, Steuerverfahren für diese und Speichermedium, das ein Steuerprogramm für diese speichert
KR20160021497A (ko) 포터블 디바이스 및 그 제어 방법
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
DE102022118923A1 (de) Bildaufnahmevorrichtung, die als eine Aktionskamera verwendet wird, Kalibrierungssystem, Steuerungsverfahren für eine Bildaufnahmevorrichtung und Speichermedium, das ein Steuerungsprogramm für eine Bildaufnahmevorrichtung speichert
CN114641983A (zh) 用于获得智能全景图像的系统及方法
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
KR20220017298A (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법
US20150116202A1 (en) Image processing device and method, and program
DE102022118931A1 (de) Als Actionkamera verwendete Bildaufnahmevorrichtung
CN114339101A (zh) 一种录像方法及设备
US20230308613A1 (en) Display device and method for controlling display device
JP2022140328A (ja) 撮像装置、携帯機器、キャリブレータ、及びこれらの制御方法並びにプログラム
DE102022118932A1 (de) Bildaufnahmegerät, Steuerungsverfahren und Programm
US20230126836A1 (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
WO2023074669A1 (ja) 撮像装置、画像処理装置、および方法
US8503874B2 (en) Apparatus for imaging three-dimensional image
JP2006033395A (ja) 撮像装置及び立体撮像システム
JP2022140418A (ja) 撮像装置
JP2023067530A (ja) 撮像装置及びその制御方法並びにプログラム
JP2023154539A (ja) 撮像装置、撮像装置の制御方法、表示装置及び撮像システム

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000