JP2023142257A - 表示装置、及び表示装置の制御方法 - Google Patents

表示装置、及び表示装置の制御方法 Download PDF

Info

Publication number
JP2023142257A
JP2023142257A JP2022049063A JP2022049063A JP2023142257A JP 2023142257 A JP2023142257 A JP 2023142257A JP 2022049063 A JP2022049063 A JP 2022049063A JP 2022049063 A JP2022049063 A JP 2022049063A JP 2023142257 A JP2023142257 A JP 2023142257A
Authority
JP
Japan
Prior art keywords
frame
user
image
video
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022049063A
Other languages
English (en)
Inventor
隆介 奥原
Ryusuke Okuhara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022049063A priority Critical patent/JP2023142257A/ja
Priority to US18/188,230 priority patent/US12170833B2/en
Priority to CN202310291917.0A priority patent/CN116805984A/zh
Publication of JP2023142257A publication Critical patent/JP2023142257A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1671—Special purpose buttons or auxiliary keyboards, e.g. retractable mini keypads, keypads or buttons that remain accessible at closed laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Geometry (AREA)

Abstract

【課題】所望の位置で切り出された切り出し動画を、簡易な操作で生成することができる。【解決手段】表示装置は、動画を撮影するユーザの顔方向に基づいて設定される前記動画の切り出し領域の情報を前記動画に付加した動画データを取得する取得手段と、前記動画データの再生時に、前記切り出し領域を示す枠を表示する表示制御手段と、前記切り出し領域を補正するための前記枠に対する操作を受け付ける操作手段と、前記操作によって補正された前記切り出し領域の補正情報を、前記動画データに付加する補正手段と、前記切り出し領域の情報及び前記補正情報に基づいて、前記動画から切り出し動画を生成する生成手段とを有する。【選択図】図５９Ａ

Description

本発明は、表示装置、及び表示装置の制御方法に関する。
従来からカメラの撮像は、撮影者がカメラを撮像する方向に向け続ける必要があるため、撮像操作に手が取られることで撮像行為以外に手がまわせなかったり、撮像に意識を集中させられるためにその場に居る体験には意識を集中できなかったりしていた。
たとえば、撮像操作で言えば、撮影者である親は、子供を撮像している間は子供と一緒に遊ぶことはできなくなるし、子供と一緒に遊ぼうとすると撮像ができなくなるといった課題が生じる。
また、撮像への意識集中でいえば、スポーツ観戦中に撮像をしていると、撮影者は、応援できなかったり、ゲーム内容を覚えていなかったりするし、スポーツ観戦へ意識を集中すると撮像できないといった課題が生じる。同様に、グループ旅行中に撮像をしていると、撮影者は、他のメンバーと同じレベルでの感動を体験できないし、体験を優先すると撮像が疎かになるといった課題が生じる。
このような課題を解決する方法としては、頭部固定アクセサリーを用いてアクションカメラを頭部に固定して観察している方向を撮像することで、撮影者が撮像操作に手が取られることなく撮像する方法がある。また、全天球型撮影カメラで広範囲を撮像することで、体験中は体験に集中し、体験が終わってから撮像された全天球映像から必要な映像部分を切り出し編集し、体験したことの映像を残すという方法もある。
ただ前者の方法は、図４７（ａ）に示すような、アクションカメラ９０１の本体が固定された頭部固定アクセサリーを頭に装着するという煩わしい行為が必要になる。また図４７（ｂ）に示すように、撮影者が頭部固定アクセサリー９０２によってアクションカメラ９０１を頭部に装着すると、見栄えも悪い上、撮影者の髪型も乱れるなどの問題も起きる。さらには、撮影者が頭に装着されている頭部固定アクセサリー９０２とアクションカメラ９０１について、その重さなどの存在が気になったり、第３者に対して見栄えが悪くて気になったりしていた。そのため、図４７（ｂ）に示す状態では撮影者は体験に集中できなかったり、図４７（ｂ）に示す状態となること自体に撮影者が抵抗を感じたりするなどの理由で撮像そのものをし辛くなるという課題があった。
一方、後者の方法は、画像変換や切り出し位置指定などの一連の作業が必要となる。例えば、図４８に示すような、レンズ９０４と、撮影用ボタン９０５とを備える全天球型撮影カメラ９０３が知られている。レンズ９０４は、全天球型撮影カメラ９０３の筐体両面に構成される一対の半天球撮影用の魚眼レンズの一つであり、この一対の魚眼レンズを用いて全天球型撮影カメラ９０３は全天球撮影を行う。つまり、この一対の魚眼レンズの投影画像を合成して全天球撮影が行われる。
図４９は、全天球型撮影カメラ９０３で撮像された映像の変換作業の例を示す図である。
図４９（ａ）は、全天球型撮影カメラ９０３による全天球撮影により得られた映像の例であり、被写体である撮影者９０６、子供９０７、木９０８が含まれている。この映像は、１対の魚眼レンズの投影画像を合成して得られた半天球光学系の映像であるため、撮影
者９０６は大きく歪曲している。また、撮影者９０６が撮像しようとしていた被写体である子供９０７は、半天球光学系の周辺部に胴体部があったことで、胴体部が左右に大きく歪曲し、引き伸ばされている。一方、木９０８は、レンズ９０４の正面に位置する被写体であったため、大きな歪みなく撮像されている。
図４９（ａ）の映像から、普段人が見ているような視野の映像を作り出すにはその一部分を切り出して、平面変換して表示する必要がある。
図４９（ｂ）は、図４９（ａ）の映像から、レンズ９０４の正面に位置する映像を切り出した映像である。図４９（ｂ）の映像では、普段人が見ているような視野で、木９０８が中央に映っている。しかし撮影者９０６が撮像しようとしていた子供９０７は図４９（ｂ）には含まれていないので切り出し位置を変更しなくてはならない。ここでは具体的には切り出し位置を、図４９（ａ）において図面向かって木９０８より左方向かつ３０°下方方向とする必要がある。この切り出し作業を行ったあと、平面変換して表示した映像が図４９（ｃ）である。このように、図４９（ａ）の映像から撮影者が撮像しようとしていた図４９（ｃ）の映像を得るには、必要な箇所を切り出して平面変換する（以後「トリミング」という）作業しなくてはならない。このため、撮影者は、体験中（撮像中）は体験に集中できるがその後の作業量が膨大になるといった課題があった。
特許文献１では、画像の切り出し位置を補正する技術として、ユーザが画像再生時に振れ補正強度を変更し、振れ補正強度に基づいて画像の切り出しサイズ及び切り出し位置等が決定されることが開示されている。
特開２０１７－２１２５５０号公報
振れ補正強度を変更することにより間接的に切り出し領域を補正することができても、ユーザは、切り出し領域を直接変更しなければ、意図した位置に補正することは難しい。
そこで、本発明は、所望の位置で切り出された切り出し動画を、簡易な操作で生成する技術を提供することを目的とする。
本発明に係る表示装置は、
動画を撮影するユーザの顔方向に基づいて設定される前記動画の切り出し領域の情報を前記動画に付加した動画データを取得する取得手段と、
前記動画データの再生時に、前記切り出し領域を示す枠を表示する表示制御手段と、
前記切り出し領域を補正するための前記枠に対する操作を受け付ける操作手段と、
前記操作によって補正された前記切り出し領域の補正情報を、前記動画データに付加する補正手段と、
前記切り出し領域の情報及び前記補正情報に基づいて、前記動画から切り出し動画を生成する生成手段と
を有することを特徴とする。
本発明によれば、所望の位置で切り出された切り出し動画を、簡易な操作で生成することができる。
実施例１に係る撮像装置としての撮影・検出部を含むカメラ本体の外観図である。 カメラ本体を使用者が掛けた様子を示す図である。 カメラ本体におけるバッテリー部を図１Ａの後方から見た図である。 カメラ本体と別体で構成される、実施例１に係る携帯機器としての表示装置の外観図である。 撮影・検出部を正面から見た図である。 カメラ本体における接続部のバンド部の形状を示す図である。 撮影・検出部を裏側からみた図である。 撮影・検出部を上からみた図である。 撮影・検出部の内部であって、カメラ本体における顔方向検出窓の下部に配置される、赤外検出処理装置の構成を示す図である。 カメラ本体を使用者が掛けた状態を使用者の左側面からみた図である。 バッテリー部の詳細を説明する図である。 実施例１に係るカメラ本体の機能ブロック図である。 カメラ本体のハードウェア構成を示すブロック図である。 表示装置のハードウェア構成を示すブロック図である。 カメラ本体及び表示装置において実行される、実施例１に係る撮像記録処理の概要を示すフローチャートである。 実施例１に係る、図７ＡのステップＳ１００の準備動作処理のサブルーチンのフローチャートである。 実施例１に係る、図７ＡのステップＳ２００の顔方向検出処理のサブルーチンのフローチャートである。 実施例１に係る、図７ＡのステップＳ３００の記録方向・範囲決定処理のサブルーチンのフローチャートである。 実施例１に係る、図７ＡのステップＳ５００の記録範囲現像処理のサブルーチンのフローチャートである。 動画モードにおける図７ＡのステップＳ２００～Ｓ５００までの処理を説明するための図である。 顔方向検出窓から見える使用者の映像を示す図である。 顔方向検出窓から見える使用者の映像に室内にある蛍光灯が背景として映りこんだ場合を示す図である。 図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外検出処理装置の赤外ＬＥＤを点灯させない状態で、顔方向検出窓を介して赤外検出処理装置のセンサで結像させた場合の映像を示す図である。 図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外ＬＥＤを点灯させた状態で、顔方向検出窓を介して赤外検出処理装置のセンサで結像させた場合の映像を示す図である。 図８Ｃ，図８Ｄの映像から演算された差分映像を示す図である。 図８Ｅの差分映像の濃淡を、使用者の顔・首部に投光された赤外線の反射光線の光強度にスケールを合わせて調整した場合を示す図である。 図８Ｆに、使用者の身体の各部位を示す符号、及び首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 使用者の顔が右方向を向いている時に、図８Ｅと同様の方法で演算された差分映像を示す図である。 図８Ｈに首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 使用者が水平より３３°上方に顔を向けている際に、顔方向検出窓から見える使用者の映像を示す図である。 使用者が水平より３３°上方に顔を向けている際に、図８Ｅと同様の方法で演算された差分映像に、首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 赤外ＬＥＤの点灯タイミングを示したタイミングチャートである。 使用者の顔の上下方向の動きを説明する図である。 使用者が正面を向いている場合の、カメラ本体の撮影部により撮像された超広角映像における狙い視野を示す図である。 超広角映像から切り出された図１１Ａにおける狙い視野の映像を示す図である。 使用者が被写体Ａを観察している場合の、超広角映像における狙い視野を示す図である。 超広角映像から切り出された図１１Ｃにおける狙い視野の映像に対して、歪みや揺れを補正した映像を示す図である。 使用者が被写体Ａを図１１Ｃより小さい画角設定値で観察している場合の、超広角映像における狙い視野を示す図である。 超広角映像から切り出された図１１Ｅにおける狙い視野の映像に対して、歪みや揺れを補正した映像を示す図である。 超広角映像における狙い視野の一例を示す図である。 超広角映像における、図１２Ａの狙い視野と同じ画角設定値であるが観察方向が異なる狙い視野の一例を示す図である。 超広角映像における、図１２Ａの狙い視野と同じ画角設定値であるが観察方向が異なる狙い視野の他の一例を示す図である。 超広角映像における、図１２Ｃの狙い視野と同一観察方向であるが画角設定値が小さい狙い視野の一例を示す図である。 図１２Ａに示す狙い視野の周囲に予備領域を付与した例を示す図である。 図１２Ｂに示す狙い視野の周囲に、図１２Ｅの予備領域と同一防振レベルの予備領域を付与した例を示す図である。 図１２Ｄに示す狙い視野の周囲に、図１２Ｅの予備領域と同一防振レベルの予備領域を付与した例を示す図である。 カメラ本体での撮像前に、表示装置の表示部に表示される、動画モードの各種設定用のメニュー画面を示す図である。 図７ＡのステップＳ６００の一次記録処理のサブルーチンのフローチャートである。 一次記録処理により生成される映像ファイルのデータ構造を示す図である。 図７ＡのステップＳ７００の表示装置への転送処理のサブルーチンのフローチャートである。 図７ＡのステップＳ８００の光学補正処理のサブルーチンのフローチャートである。 図１７のステップＳ８０３において歪曲収差補正を実施した場合を説明するための図である。 図７ＡのステップＳ９００の防振処理のサブルーチンのフローチャートである。 実施例２に係るキャリブレーション処理に用いられるキャリブレータの詳細を示す図である。 カメラ本体及びキャリブレータにおいて実行される、実施例２に係るキャリブレーション処理のフローチャートである。 使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０３において、キャリブレータの表示部に表示される画面を示す図である。 使用者が、図２２Ａにおける指示表示に示された指示に従ってキャリブレータを前方にかざしている様子を示す斜視図である。 図２２Ｂの状態において撮像レンズが捉えた超広角画像の全体を示す模式図である。 図２２Ｃに示す超広角画像の収差を補正した画像を示す模式図である。 使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０８において顔方向検出部が記録した顔方向画像を示す模式図である。 図２１のステップＳ３１０７における判定方法を説明するための模式図である。 使用者の右手上方向のキャリブレーション動作時に、図２１のステップＳ３１０３において、キャリブレータの表示部に表示される画面を示す図である。 使用者が、図２３Ａにおける指示表示に示された指示に従ってキャリブレータを右上にかざしている様子を示す斜視図である。 図２３Ｂの状態において撮像レンズが捉えた超広角画像の全体を示す模式図である。 図２３Ｃに示す超広角画像の収差を補正した画像を示す模式図である。 使用者の右手上方向のキャリブレーション動作時に、図２１のステップＳ３１０８において顔方向検出部が記録した顔方向画像を示す模式図である。 実施例３における画像の遅延切り出しについて説明するための図である。 実施例３おいて保持される顔の軌跡を示す図である。 実施例３に係る映像酔い防止処理のフローチャートである。 実施例４に係る切り出し範囲補正処理の概念図である。 実施例４に係る切り出し範囲補正処理のフローチャートである。 実施例１における、近距離の被写体を観察対象とした場合の使用者の視界と狙い視野の関係を説明するための模式図である。 実施例５に係る撮像装置としてのカメラ本体の外観図である。 実施例５に係るカメラ本体のハードウェア構成を示すブロック図である。 実施例５における視差補正処理を含むキャリブレーション時の使用者、キャリブレータ、及び狙い視野の関係を説明するための模式図である。 実施例５に係る図７ＡのステップＳ１００の準備処理の一部である視差補正モード処理のフローチャートである。 実施例５に係る図７Ａで説明したＳ３００の記録方向・範囲決定処理のサブルーチンのフローチャートである。 図３３ＢのステップＳ５３０２において作成されるデフォーカスマップと記録方向の関係を示す模式図である。 実施例６に係る観察方向決定処理のフローチャートである。 実施例６に係る、フレーム毎の使用者の観察方向検出状態と、撮像映像の関係を示す図である。 実施例６に係る被写体ロストモードにおける、フレーム毎の使用者の観察方向検出状態と、撮像映像の関係を示す図である。 実施例７に係る、観察方向と顔方向の検知に使用できる顔領域の関係を説明するための図である。 図３５のステップＳ６００４の処理の代わりに行われる、実施例７に係る顔方向取得時の観察方向決定処理のフローチャートである。 実施例７における顔方向と顔方向信頼性の関係を示す図である。 実施例７における、顔方向取得時の観察方向決定処理の概念図である。 撮影・検出部を側面から見た様子を示す拡大図である。 使用者がカメラ本体を装着した様子を示す側面図である。 接続部を非表示とした場合の、撮影・検出部を側面から見た様子を示す拡大図である。 接続部を非表示とした際の、使用者がカメラ本体を装着した様子を示す側面図である。 バンド部及びこれと一体となって構成される電気ケーブルの切断面である接続面を示す図である。 実施例９に係る撮像装置としてのカメラ本体と接続する表示装置のハードウェア構成を示すブロック図である。 実施例９に係るカメラ本体の機能ブロック図である。 従来技術である頭部固定アクセサリーを用いて頭部に固定されるカメラの構成例を示す図である。 従来技術である全天球型撮影カメラの構成例を示す図である。 図４８の全天球撮影カメラで撮像された映像の変換作業の例を示す図である。 切り出し動画の一部を例示する図である。 カメラ本体の撮像モードを説明する図である。 実施例１０に係る撮影記録処理の概要を示すフローチャートである。 準備動作処理のフローチャートである。 全領域現像処理のフローチャートである。 一次記録処理のフローチャートである。 実施例１０に係る映像ファイルのデータ構造を示す図である。 表示装置での切り出し領域の補正について説明する図である。 全領域動画を例示する図である。 ユーザが切り出し領域枠をドラッグ操作する例を示す図である。 未操作フレームの切り出し領域の補正を説明する図である。 表示装置が生成した切り出し動画を例示する図である。 実施例１０に係る動画編集処理のフローチャートである。 未操作フレームの補正情報取得処理のフローチャートである。 切り出し動画生成処理のフローチャートである。 再生中の切り出し領域の補正を説明する図である。 実施例１１に係る動画編集処理のフローチャートである。 未操作フレームの補正情報取得処理のフローチャートである。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
（実施例１）
図１Ａ～図１Ｄは、本実施例に係る撮像装置としての撮影・検出部１０を含むカメラ本体１とこれと別体で構成される表示装置８００からなるカメラシステムを説明するための図である。尚、本実施例では、カメラ本体１と表示装置８００は別体である場合を例に示しているが、一体的に構成されていてもよい。また、カメラ本体１を首にかけて装着しているユーザを以下、使用者という。
図１Ａは、カメラ本体１の外観図である。
図１Ａにおいて、カメラ本体１は、撮影・検出部１０、バッテリー部９０、撮影・検出部１０とバッテリー部９０（電源手段）を接続する接続部８０を備える。
撮影・検出部１０は、顔方向検出窓１３、スタートスイッチ１４、ストップスイッチ１５、撮像レンズ１６、ＬＥＤ１７、及びマイク１９Ｌ，１９Ｒを備える。
顔方向検出窓１３は、撮影・検出部１０に内蔵される、使用者の顔の各部の位置を検出するための赤外ＬＥＤ点灯回路２１（図５：赤外線照射手段）から投光される赤外線やその反射光線を透過する。
スタートスイッチ１４は、撮像を開始するためのスイッチである。
ストップスイッチ１５は、撮像を止めるためのスイッチである。
撮像レンズ１６は、撮像する光線を撮影・検出部１０の内部の固体撮像素子４２（図５）に導く。
ＬＥＤ１７は、撮像中であることを示したり、警告を示したりするＬＥＤである。
マイク１９Ｒ，１９Ｌは、周辺の音を取りいれるマイクであり、マイク１９Ｌは使用者の周辺左側（図１Ａの向かって右側）の音を取り入れ、マイク１９Ｒは使用者の周辺右側（図１Ａの向かって左側）の音を取り入れる。
図１Ｂは、カメラ本体１を使用者が掛けた様子を示す図である。
バッテリー部９０が使用者の背中側に、撮影・検出部１０が使用者の体の前側にくるように装着すると、撮影・検出部１０の左右端部近傍に両端が接続される接続部８０によって胸方向に付勢され支えられる。これにより、撮影・検出部１０が使用者の鎖骨の前あたりに位置するようになる。この時、顔方向検出窓１３は使用者の顎の下に位置する。顔方向検出窓１３内には、後ほど図２Ｅで図示する赤外線集光レンズ２６がある。撮像レンズ１６の光軸（撮像光軸）と赤外線集光レンズ２６の光軸（検出光軸）は異なる方向を向いており、後述する顔方向検出部２０（顔方向検出手段）により顔の各部の位置から使用者の観察方向を検出する。これにより、後述する撮影部４０（撮像手段）によるその観察方向の撮像が可能となっている。
体形の個人差や、洋服の違いによる設定位置の調整方法等については後述する。
また、このように撮影・検出部１０を体の前面、バッテリー部９０を背面に配置することで、重量を分散し、使用者の疲れの軽減や使用者が動いた際の遠心力等によるズレの抑制効果がある。
尚、本実施例では、撮影・検出部１０が使用者の鎖骨の前あたりに位置するように装着される例を示したがこれに限定されない。すなわち、カメラ本体１は顔方向検出部２０により使用者の観察方向が検出でき、且つ撮影部４０によりその観察方向の撮像が可能であれば、カメラ本体１は使用者の頭部以外の身体上のいずれに装着されてもよい。
図１Ｃは、バッテリー部９０を図１Ａの後方から見た図である。
図１Ｃにおいて、バッテリー部９０は、充電ケーブル挿入口９１、調整用ボタン９２Ｌ，９２Ｒ、及び背骨よけ切り欠き９３を備える。
充電ケーブル挿入口９１は、不図示の充電ケーブルの挿入口であり、この充電ケーブルを介して外部電源から内部のバッテリー９４を充電したり、撮影・検出部１０に給電したりする。
調整用ボタン９２Ｌ，９２Ｒは、接続部８０のバンド部８２Ｌ，８２Ｒの長さの調整用
ボタンである。調整用ボタン９２Ｌは、向かって左側のバンド部８２Ｌを調節するためのボタンであり、調整用ボタン９２Ｒは、向かって右側のバンド部８２Ｒを調節するためのボタンである。尚、本実施例では、調整用ボタン９２Ｌ，９２Ｒでバンド部８２Ｌ，８２Ｒの夫々の長さを独立に調整するが、１つのボタンでバンド部８２Ｌ，８２Ｒの長さを同時に調整するようにしてもよい。以下、バンド部８２Ｌ，８２Ｒをバンド部８２と総称する。
背骨よけ切り欠き９３は、バッテリー部９０が使用者の背骨部分に当たらない様に背骨部分を避けた切り欠き部である。人体の背骨の凸部を避けることで装着の不快感を減らすと同時に、使用中に本体が左右に移動することを防止している。
図１Ｄは、カメラ本体１と別体で構成される、実施例１に係る携帯機器としての表示装置８００の外観図である。
図１Ｄにおいて、表示装置８００は、ボタンＡ８０２、表示部８０３、ボタンＢ８０４、インカメラ８０５、顔センサ８０６、角速度センサ８０７、及び加速度センサ８０８を備える。また、図１Ｄにおいては不図示であるが、カメラ本体１との高速接続が可能な無線ＬＡＮを備える。
ボタンＡ８０２は、表示装置８００の電源ボタンの機能を備えるボタンであり、長押しによる電源のＯＮとＯＦＦの操作を受け付け、短押しによるその他の処理タイミングの指示を受け付ける。
表示部８０３は、カメラ本体１で撮像した映像を確認したり、設定に必要なメニュー画面を表示したりできる。本実施例では、表示部８０３の上面に透明なタッチセンサも設けて有り、表示中の画面（例えばメニュー画面）に対するタッチによる操作を受け付ける。
ボタンＢ８０４は、後述するキャリブレーション処理に用いられるキャリブレーションボタン８５４として機能するボタンである。
インカメラ８０５は、表示装置８００を観察している人を撮像することが可能なカメラである。
顔センサ８０６は、表示装置８００を観察している人の顔形状や観察方向を検出する。顔センサ８０６の具体的な構造は特に限定されないが、例えば構造光センサやＴｏＦセンサ、ミリ波レーダーなどの各種センサで実施することが可能である。
角速度センサ８０７は、表示装置８００内部にあるため透視図の意味として点線で示されている。本実施例の表示装置８００は後述するキャリブレータの機能も備えるため３次元のＸ，Ｙ，Ｚ方向の３方向のジャイロセンサが搭載されている。
加速度センサ８０８は、表示装置８００の姿勢を検出する。
尚、本実施例に係る表示装置８００には、一般のスマートフォンが利用されており、そのスマートフォン内のファームウェアをカメラ本体１側のファームウェアに対応させることで、本発明にかかるカメラシステムを実施可能としている。但し、カメラ本体１側のファームウェアを表示装置８００としてのスマートフォンのアプリケーションやＯＳに対応することによる本発明にかかるカメラシステムの実施も可能である。
図２Ａ～図２Ｆは、撮影・検出部１０を詳細に説明する図である。これ以降の図では既
に説明した部分については同一の番号を付することで、同一機能を意味し、本明細書中の説明を省略する。
図２Ａは、撮影・検出部１０を正面から見た図である。
接続部８０は、使用者の身体の右側（図２Ａの向かって左側）にある右側接続部８０Ｒと、使用者の身体の左側（図２Ａの向かって右側）に構成される左側接続部８０Ｌにおいて撮影・検出部１０と接続する。接続部８０は詳細には、撮影・検出部１０との角度を保持する硬質素材の角度保持部８１とバンド部８２に分かれる。すなわち、右側接続部８０Ｒは、角度保持部８１Ｒとバンド部８２Ｒを有し、左側接続部８０Ｌは、角度保持部８１Ｌとバンド部８２Ｌを有する。
図２Ｂは、接続部８０のバンド部８２の形状を示す図である。本図では、バンド部８２の形状を示すため、角度保持部８１を透視させている。
バンド部８２は、接続面８３、及び電気ケーブル８４を備える。
接続面８３は、角度保持部８１とバンド部８２の接続面であり、真円ではない断面形状、ここでは楕円形状を有する。以下、接続面８３のうち、カメラ本体１の装着時に使用者の身体の右側（図２Ｂの向かって左側）及び左側（図２Ｂの向かって右側）に夫々左右対称に配置される接続面８３を、右側接続面８３Ｒ及び左側接続面８３Ｌという。右側接続面８３Ｒ及び左側接続面８３Ｌは、ちょうどカタカナの「ハ」の字の様な形状となっている。すなわち、図２Ｂ向かって下方から上方に行くほど、右側接続面８３Ｒ及び左側接続面８３Ｌの間の距離が近くなる。これにより、カメラ本体１を使用者が掛けた場合に、接続部８０の接続面８３の長軸方向が使用者の体に沿う方向となるため、バンド部８２が使用者の体に接するときに快適かつ、左右前後方向に撮影・検出部１０が移動しないという効果が生じる。
電気ケーブル８４（電力供給手段）は、バンド部８２Ｌ内部に配線され、バッテリー部９０と撮影・検出部１０を電気的に接続するケーブルである。電気ケーブル８４はバッテリー部９０の電源を撮影・検出部１０に接続したり、外部と電気信号の送受信をしたりする。
図２Ｃは、撮影・検出部１０を裏側からみた図である。図２Ｃは、使用者の体に接する側、すなわち、図２Ａの反対側からみた図のため、右側接続部８０Ｒと左側接続部８０Ｌの位置関係が図２Ａとは逆になっている。
撮影・検出部１０は、その裏側に、電源スイッチ１１、撮像モードスイッチ１２、及び胸部接続パッド１８を備える。
電源スイッチ１１は、カメラ本体１の電源のＯＮ／ＯＦＦを切り替える電源スイッチである。本実施例の電源スイッチ１１は、スライドレバーの形のスイッチであるが、これに限定されない。例えば、電源スイッチ１１は、プッシュ型のスイッチでもよいし、また、撮像レンズ１６の不図示のスライドカバーと一体的に構成されたスイッチでもよい。
撮像モードスイッチ１２（変更手段）は、撮像モードを変更するスイッチであり、撮像にかかわるモードを変更できる。本実施例では、撮像モードスイッチ１２は、静止画モードや動画モードの他、後述する、表示装置８００を用いて設定するプリ設定モードに切り替えることが可能である。本実施例では、撮像モードスイッチ１２は、レバーのスライドにより図２Ｃに示す「Ｐｈｏｔｏ」、「Ｎｏｒｍａｌ」、「Ｐｒｉ」のうちの一つを選択
できるスライドレバーの形のスイッチである。撮像モードは、「Ｐｈｏｔｏ」へのスライドにより静止画モードに移行し、「Ｎｏｒｍａｌ」へのスライドにより動画モードに移行し、「Ｐｒｉ」へのスライドによりプリ設定モードへ移行する。尚、撮像モードスイッチ１２は、撮像モードの変更が可能なスイッチであれば、本実施例の形態に限定されない。例えば、「Ｐｈｏｔｏ」、「Ｎｏｒｍａｌ」、「Ｐｒｉ」の３つのボタンで撮像モードスイッチ１２は構成されていてもよい。
胸部接続パッド１８（固定手段）は、撮影・検出部１０が使用者の体に対して付勢されるときに、使用者の体に当たる部分である。図２Ａに示すように、撮影・検出部１０は装着時に縦（上下）の全長より横（左右）の全長が長くなるように形作られており、胸部接続パッド１８は、撮影・検出部１０の左右の端部近傍に配置されている。このように配置されることで、カメラ本体１での撮像中の左右の回転ブレを抑制することが可能となる。また、胸部接続パッド１８があることで、電源スイッチ１１や、撮像モードスイッチ１２が身体に接触することを防ぐことができる。さらに、胸部接続パッド１８は、長時間の撮像で撮影・検出部１０の温度が上昇しても使用者の体にその熱が伝わることを防ぐ役目や、撮影・検出部１０の角度調整の役目も担っている。
図２Ｄは、撮影・検出部１０を上からみた図である。
図２Ｄに示すように、撮影・検出部１０の上面の中央部に、顔方向検出窓１３が設けられ、また、胸部接続パッド１８は、撮影・検出部１０から突出している。
図２Ｅは、撮影・検出部１０の内部であって、顔方向検出窓１３の下部に配置される、赤外検出処理装置２７の構成を示す図である。
赤外検出処理装置２７は、赤外ＬＥＤ２２、及び赤外線集光レンズ２６を備える。
赤外ＬＥＤ２２は、使用者に向けて赤外線２３（図５）を投光する。
赤外線集光レンズ２６は、赤外ＬＥＤ２２からの赤外線２３の投光時に使用者から反射してくる反射光線２５（図５）を赤外検出処理装置２７の図示しないセンサに結像させるレンズである。
図２Ｆは、カメラ本体１を使用者が掛けた状態を使用者の左側面からみた図である。
角度調節ボタン８５Ｌは、角度保持部８１Ｌに設けられるボタンであり、撮影・検出部１０の角度調節の際に用いられる。尚、本図においては図示していないが、反対側面にある角度保持部８１Ｒの内部にも、角度調節ボタン８５Ｌと対称的な位置に角度調節ボタン８５Ｒが設定されている。以下、角度調節ボタン８５Ｒ，８５Ｌを総称する際は、角度調節ボタン８５という。
角度調節ボタン８５は、図２Ａ，図２Ｃ、図２Ｄでも見える位置にあるが、説明の単純化のために省略している。
使用者は、角度調節ボタン８５を押しながら角度保持部８１を図２Ｆ向かって上下に動かすことで撮影・検出部１０と角度保持部８１の角度を変更することが可能となる。また、胸部接続パッド１８は、その突出角度の変更が可能である。撮影・検出部１０は、この二つの角度変更部材（角度調節ボタン８５及び胸部接続パッド１８）の働きにより、使用者の胸位置形状の個人差に対して水平を撮像レンズ１６の向きを水平に調節することが可能である。
図３は、バッテリー部９０の詳細を説明する図である。
図３（ａ）は、バッテリー部９０を背面から一部透視表示した図である。
図３（ａ）に示すように、バッテリー部９０はその重量バランスを取るため、内部に左バッテリー９４Ｌと右バッテリー９４Ｒ（以下、バッテリー９４とも総称する）の２個が対称的に搭載されている。このようにバッテリー部９０の中央部に対してバッテリー９４を対照的に配置することで、左右の重量バランスをあわせ、カメラ本体１の位置ズレを防止している。尚、バッテリー部９０は、バッテリーを１つのみ搭載する構成としても良い。
図３（ｂ）は、バッテリー部９０を上部からみた図である。本図においても、バッテリー９４が透視で示されている。
図３（ｂ）に示すように、背骨よけ切り欠き９３とバッテリー９４の関係がわかる。このように、背骨よけ切り欠き９３の両サイドにバッテリー９４を対照的に配置することにより、比較的重量があるバッテリー部９０を使用者に負担なく装着させることが可能である。
図３（ｃ）は、バッテリー部９０を裏側からみた図である。図３（ｃ）は、使用者の体に接する側、すなわち、図３（ａ）の反対側からみた図である。
図３（ｃ）に示すように、背骨よけ切り欠き９３は、使用者の背骨に沿って中央に設けられている。
図４は、カメラ本体１の機能ブロック図である。詳細は後述するので、ここでは図４を用いてカメラ本体１で実行される大まかな処理の流れを説明する。
図４において、カメラ本体１は、顔方向検出部２０、記録方向・画角決定部３０、撮影部４０、画像切り出し・現像処理部５０、一次記録部６０、送信部７０、及び他制御部１１１を備える。これらの機能ブロックは、カメラ本体１の全体制御を行う全体制御ＣＰＵ１０１（図５）の制御により実行される。
顔方向検出部２０（観察方向検出手段）は、先に出てきた赤外ＬＥＤ２２や赤外検出処理装置２７などにより実行される機能ブロックであり、顔方向を検出して観察方向を類推し、これを記録方向・画角決定部３０に渡す。
記録方向・画角決定部３０（記録方向決定手段）は、顔方向検出部２０で類推された観察方向に基づき各種演算を行って、撮影部４０からの映像を切り出す際の位置や範囲の情報を決定し、この情報を画像切り出し・現像処理部５０に渡す。
撮影部４０は、被写体からの光線を映像に変換し、その映像を画像切り出し・現像処理部５０に渡す。
画像切り出し・現像処理部５０（現像手段）は、記録方向・画角決定部３０からの情報を用いて、撮影部４０からの映像を切り出して現像することで、使用者が見ている方向の映像のみを一次記録部６０に渡す。
一次記録部６０は、一次メモリ１０３（図５）などにより構成される機能ブロックであ
り、映像情報を記録し、必要タイミングで送信部７０に渡す。
送信部７０（映像出力手段）は、あらかじめ決められた通信相手である、表示装置８００（図１Ｄ）、キャリブレータ８５０、及び簡易表示装置９００と無線接続し、これらに対して通信を行う。
表示装置８００は、高速接続可能な無線ＬＡＮ（以下「高速無線」という）で送信部７０と接続可能な表示装置である。ここで本実施例では、高速無線に、ＩＥＥＥ８０２．１１ａｘ（ＷｉＦｉ ６）規格に対応する無線通信を利用するが、他の規格、例えばＷｉＦｉ ４規格やＷｉＦｉ ５規格に対応する無線通信を利用してもよい。また、表示装置８００はカメラ本体１専用に開発した機器でも良いし、一般的なスマートフォンや、タブレット端末等でも良い。
尚、送信部７０と表示装置８００の接続には、小電力無線を用いていてもよいし、高速無線と小電力無線の両方で接続したり、切り替えて接続したりしても良い。本実施例では、後述する動画映像の映像ファイルなどデータ量の多いものは高速無線で伝送し、軽量のデータや、伝送に時間がかかっても良いデータは、小電力無線で伝送する。ここで本実施例では、小電力無線に、Ｂｌｕｅｔｏｏｔｈを利用するが、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の他の近距離（短距離）無線通信を用いてもよい。
キャリブレータ８５０は、カメラ本体１の初期設定時や、個別設定を行う機器であり、表示装置８００と同様に高速無線で送信部７０と接続可能な機器である。キャリブレータ８５０についての詳細は後述する。また、表示装置８００がこのキャリブレータ８５０としての機能を兼ね備えても良い。
簡易表示装置９００は、たとえば小電力無線でしか送信部７０と接続できない表示装置である。
簡易表示装置９００は、送信部７０との間で、時間的な制約により動画映像の伝送はできないが、撮像開始・停止のタイミング伝送や、構図確認程度の画像確認などが行える表示装置である。また、簡易表示装置９００は、表示装置８００と同様、カメラ本体１専用に開発した機器でも良いし、スマートウォッチなどであっても良い。
図５は、カメラ本体１のハードウェア構成を示すブロック図である。また、図１Ａ～図１Ｃ等を用いて説明した構成・機能については、同じ番号を用い詳細説明は省略する。
図５においてカメラ本体１は、全体制御ＣＰＵ１０１、電源スイッチ１１、撮像モードスイッチ１２、顔方向検出窓１３、スタートスイッチ１４、ストップスイッチ１５、撮像レンズ１６、及びＬＥＤ１７を備える。
カメラ本体１はまた、顔方向検出部２０（図４）を構成する、赤外ＬＥＤ点灯回路２１、赤外ＬＥＤ２２、赤外線集光レンズ２６、及び赤外検出処理装置２７を備える。
また、カメラ本体１は、撮像ドライバー４１、固体撮像素子４２、及び撮像信号処理回路４３からなる撮影部４０（図４）や、小電力無線ユニット７１及び高速無線ユニット７２からなる送信部７０（図４）を備える。
尚、カメラ本体１には、本実施例では撮影部４０は１つしか設けられていないが２以上の撮影部４０を設け、３Ｄ映像の撮像をしたり、１つの撮影部４０で取得できる画角より広角の映像の撮像をしたりするようにたり、複数方向の撮像をしたりしてもよい。
カメラ本体１はまた、大容量不揮発性メモリ５１、内蔵不揮発性メモリ１０２、及び一次メモリ１０３等の各種メモリを備える。
さらに、カメラ本体１は、音声処理部１０４、スピーカー１０５、振動体１０６、角速度センサ１０７、加速度センサ１０８、及び各種スイッチ１１０を備える。
全体制御ＣＰＵ１０１は、図２Ｃを用いて前述した電源スイッチ１１などが接続され、このカメラ本体１の制御を行う。図４の記録方向・画角決定部３０、画像切り出し・現像処理部５０、及び他制御部１１１は、全体制御ＣＰＵ１０１自身によって構成される。
赤外ＬＥＤ点灯回路２１は、図２Ｅを用いて前述した赤外ＬＥＤ２２の点灯・消灯の制御を行い、赤外ＬＥＤ２２から使用者に向けた赤外線２３の投光を制御する。
顔方向検出窓１３は、可視光カットフィルタで構成され、可視光線はほぼ透過できないが、赤外域の光である赤外線２３やその反射光線２５は十分透過する。
赤外線集光レンズ２６は、反射光線２５を集光するレンズである。
赤外検出処理装置２７（赤外線検出手段）は、赤外線集光レンズ２６で集光された反射光線２５を検出するセンサを有する。このセンサは、集光された反射光線２５を映像として結像し、センサデータに変換して、全体制御ＣＰＵ１０１へ渡す。
図１Ｂに示すようにカメラ本体１を使用者が掛けている場合、顔方向検出窓１３は使用者の顎の下に位置する。このため、赤外ＬＥＤ点灯回路２１から投光された赤外線２３は、図５に示すように顔方向検出窓１３を透過して使用者の顎付近である赤外線照射面２４に照射される。また、赤外線照射面２４で反射した赤外線２３は、反射光線２５となり、顔方向検出窓１３を透過し、赤外線集光レンズ２６によって、赤外検出処理装置２７にあるセンサに集光される。
各種スイッチ１１０は、図１Ａ～図１Ｃ等では不図示である、詳細は省略するが、本実施例と関係がない機能を実行するためのスイッチである。
撮像ドライバー４１は、タイミングジェネレータ等を含み、撮像にかかわる各部に各種タイミング信号を生成・出力し、撮像駆動する。
固体撮像素子４２は、図１Ａを用いて説明した撮像レンズ１６から投影された被写体像を光電変換してえられた信号を撮像信号処理回路４３に出力する。
撮像信号処理回路４３は、固体撮像素子４２からの信号に対してクランプなどの処理やＡ／Ｄ変換などの処理を行って生成した撮像データを全体制御ＣＰＵ１０１に出力する。
内蔵不揮発性メモリ１０２は、フラッシュメモリなどが用いられ、全体制御ＣＰＵ１０１の起動プログラムや、各種プログラムモードの設定値が記憶されている。本実施例では、観察視野（画角）の変更や防振制御の効果レベルを設定できるので、そういった設定値も記録する。
一次メモリ１０３は、ＲＡＭなどで構成され、処理中の映像データを一時的に記憶したり、全体制御ＣＰＵ１０１の演算結果を一時的に記憶したりする。
大容量不揮発性メモリ５１は、一次画像データの記録または読み出しを行う。本実施例では、説明の簡単化のため、大容量不揮発性メモリ５１が脱着機構は無い半導体メモリである場合について説明を行うが、これに限定されない。例えば、大容量不揮発性メモリ５１は、ＳＤカードなどの脱着可能な記録媒体で構成してもよいし、内蔵不揮発性メモリ１０２と併用しても良い。
小電力無線ユニット７１は、小電力無線で表示装置８００、キャリブレータ８５０、及び簡易表示装置９００との間でデータのやり取りを行う。
高速無線ユニット７２は、高速無線で表示装置８００、キャリブレータ８５０、及び簡易表示装置９００との間でデータのやり取りを行う。
音声処理部１０４は、外部の音（アナログ信号）を収音する図１Ａ向かって右側のマイク１９Ｌ、同図向かって左側のマイク１９Ｒを備え、収音されたアナログ信号を処理し音声信号を生成する。
ＬＥＤ１７、スピーカー１０５及び振動体１０６は、光を発したり、音を発したり、振動したりすることで、カメラ本体１の状態を使用者に対して通達したり警告したりする。
角速度センサ１０７は、ジャイロ等を用いたセンサであり、カメラ本体１自体の移動をジャイロデータとして検出する。
加速度センサ１０８は、撮影・検出部１０の姿勢を検出する。
尚、角速度センサ１０７及び加速度センサ１０８は、撮影・検出部１０に内蔵されるものであり、後述する表示装置８００内にもこれとは別体の角速度センサ８０７及び加速度センサ８０８が設けられている。
図６は、表示装置８００のハードウェア構成を示すブロック図である。図１Ｄを用いて説明した箇所は説明の簡単化のため、同一の符号を用い説明を省略する。
図６において、表示装置８００は、表示装置制御部８０１、ボタンＡ８０２、表示部８０３、ボタンＢ８０４、インカメラ８０５、顔センサ８０６、角速度センサ８０７、加速度センサ８０８、撮像信号処理回路８０９、及び各種スイッチ８１１を備える。
また、表示装置８００は、内蔵不揮発性メモリ８１２、一次メモリ８１３、大容量不揮発性メモリ８１４、スピーカー８１５、振動体８１６、ＬＥＤ８１７、音声処理部８２０、小電力無線ユニット８７１、及び高速無線ユニット８７２を備える。
表示装置制御部８０１は、ＣＰＵにより構成され、図１Ｄを用いて説明したボタンＡ８０２や顔センサ８０６等が接続され、表示装置８００の制御を行う。
撮像信号処理回路８０９は、カメラ本体１内部の撮像ドライバー４１、固体撮像素子４２、撮像信号処理回路４３と同等機能を担うが、本実施例での説明にはあまり重要でないので、説明の簡略化のため一つにまとめて説明している。撮像信号処理回路８０９で出力されたデータは、表示装置制御部８０１内で処理される。このデータの処理内容については後述する。
各種スイッチ８１１は、図１Ｄでは不図示である、詳細は省略するが、本実施例と関係がない機能を実行するためのスイッチである。
角速度センサ８０７は、ジャイロ等を用いたセンサであり、表示装置８００自体の移動を検出する。
加速度センサ８０８は、表示装置８００自体の姿勢を検出する。
尚、上述の通り、角速度センサ８０７及び加速度センサ８０８は、表示装置８００に内蔵されており、先に説明したカメラ本体１にある角速度センサ１０７及び加速度センサ８０８とは同様の機能は有するが別体である。
内蔵不揮発性メモリ８１２は、フラッシュメモリなどが用いられ、表示装置制御部８０１の起動プログラムや、各種プログラムモードの設定値が記憶されている。
一次メモリ８１３は、ＲＡＭなどで構成され、処理中の映像データを一時的に記憶したり、撮像信号処理回路８０９の演算結果を一時的に記憶したりする。本実施例では、動画映像の録画中は、各フレームの撮像時刻に角速度センサ１０７で検出されたジャイロデータが各フレームと紐づいて、一次メモリ８１３に保持される。
大容量不揮発性メモリ８１４は、表示装置８００の画像データを記録または読み出す。本実施例では、大容量不揮発性メモリ８１４は、ＳＤカードの様に脱着可能なメモリで構成される。尚、カメラ本体１にある大容量不揮発性メモリ５１のように脱着できないメモリで構成してもよい。
スピーカー８１５、振動体８１６及びＬＥＤ８１７は、音を発したり、振動したり、光を発したりすることで、表示装置８００の状態を使用者に対して通達したり、警告したりする。
音声処理部８２０は、外部の音（アナログ信号）を収音する左マイク８１９Ｌ、右マイク８１９Ｒを備え、収音されたアナログ信号を処理し音声信号を生成する。
小電力無線ユニット８７１は、小電力無線でカメラ本体１との間でデータのやり取りを行う。
高速無線ユニット８７２は、高速無線でカメラ本体１との間でデータのやり取りを行う。
顔センサ８０６（顔検出手段）は、赤外ＬＥＤ点灯回路８２１、赤外ＬＥＤ８２２、赤外線集光レンズ８２６、及び赤外検出処理装置８２７を備える。
赤外ＬＥＤ点灯回路８２１は、図５の赤外ＬＥＤ点灯回路２１と同様の機能を有する回路であり、赤外ＬＥＤ８２２の点灯・消灯の制御を行い、赤外ＬＥＤ８２２から使用者に向けた赤外線８２３の投光を制御する。
赤外線集光レンズ８２６は、赤外線８２３の反射光線８２５を集光するレンズである。
赤外検出処理装置８２７は、赤外線集光レンズ８２６で集光された反射光線を検出するセンサを有する。このセンサは、集光された反射光線８２５をセンサデータに変換して、表示装置制御部８０１へ渡す。
図１Ｄに示す顔センサ８０６を使用者に向けると、図６に示すように、赤外ＬＥＤ点灯
回路８２１から投光された赤外線８２３が、使用者の顔全体である赤外線照射面８２４に照射される。また、赤外線照射面８２４で反射した赤外線８２３は、反射光線８２５となり、赤外線集光レンズ８２６によって、赤外検出処理装置８２７にあるセンサに集光される。
その他機能部８３０は、詳細は省略するが、本実施例と関係がない機能であって、電話機能やその他センサなどスマートフォンならではの機能を実行する。
以下、カメラ本体１及び表示装置８００の使い方について説明する。
図７Ａは、カメラ本体１及び表示装置８００において実行される、本実施例に係る撮像記録処理の概要を示すフローチャートである。
説明の補助として、図７Ａでは各ステップの右側にそのステップが図４に示すどの機器で行われているかが記載されている。すなわち、図７ＡのステップＳ１００～Ｓ７００はカメラ本体１にて実行され、図７ＡのステップＳ８００～Ｓ１０００は表示装置８００にて実行される。
ステップＳ１００では、電源スイッチ１１がＯＮとなり、カメラ本体１に電源投入がされると、全体制御ＣＰＵ１０１は、起動して内蔵不揮発性メモリ１０２から起動プログラムを読み出す。その後、全体制御ＣＰＵ１０１は、カメラ本体１の撮像前の設定を行う準備動作処理を実行する。準備動作処理の詳細は図７Ｂを用いて後述する。
ステップＳ２００では、顔方向検出部２０が顔方向を検出することで、観察方向を類推する顔方向検出処理を実行する。顔方向検出処理の詳細は図７Ｃを用いて後述する。本処理は、所定のフレームレートで実行される。
ステップＳ３００では、記録方向・画角決定部３０が記録方向・範囲決定処理を実行する。記録方向・範囲決定処理の詳細は図７Ｄを用いて後述する。
ステップＳ４００では、撮影部４０が撮像を行い、撮像データを生成する。
ステップＳ５００では、画像切り出し・現像処理部５０がステップＳ４００で生成された撮像データに対し、ステップＳ３００で決定された記録方向、画角情報を用いて、映像を切り出し、その範囲の現像処理を行う記録範囲現像処理を実行する。記録範囲現像処理の詳細は図７Ｅを用いて後述する。
ステップＳ６００では、ステップＳ５００で現像された映像を、一次記録部６０（映像記録手段）が一次メモリ１０３に映像データとして保存する一次記録処理を実行する。一次記録処理の詳細は図１４を用いて後述する。
ステップＳ７００では、送信部７０がステップＳ６００で一次記録された映像を指定タイミングにて表示装置８００に対して無線にて送信する表示装置８００への転送処理を実行する。表示装置８００への転送処理の詳細は図１６を用いて後述する。
ステップＳ８００以降のステップは、表示装置８００にて実行される。
ステップＳ８００では、表示装置制御部８０１が、ステップＳ７００でカメラ本体１から転送された映像に対し光学補正を行う光学補正処理を実行する。光学補正処理の詳細は図１７を用いて後述する。
ステップＳ９００では、表示装置制御部８０１が、ステップＳ８００で光学補正が行われた映像に対し防振処理を行う。防振処理の詳細は図１９を用いて後述する。
尚、ステップＳ８００とステップＳ９００の順番を逆にしても良い。つまり、先に映像の防振補正を行い、あとから光学補正を行っても良い。
ステップＳ１０００では、表示装置制御部８０１（動画記録手段）が、ステップＳ８００，Ｓ９００における光学補正処理、防振処理を完了した映像を大容量不揮発性メモリ８１４に記録する二次記録を行い、本処理を終了する。
次に図７Ｂ～図７Ｆを用いて、図７Ａで説明した各ステップのサブルーチンについて処理の順番とともに他図なども用いながら詳細に説明する。
図７Ｂは、図７ＡのステップＳ１００の準備動作処理のサブルーチンのフローチャートである。以下本処理を、図２や図５に図示した各箇所を使って説明する。
ステップＳ１０１では、電源スイッチ１１がＯＮか否かを判定する。電源がＯＦＦのままの場合は待機し、ＯＮとなるとステップＳ１０２へ進む。
ステップＳ１０２では、撮像モードスイッチ１２で選択されているモードを判定する。判定の結果、撮像モードスイッチ１２で選択されているモードが動画モードである場合は、ステップＳ１０３に進む。
ステップＳ１０３では、動画モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存した後、ステップＳ１０４に進む。ここで動画モードの各種設定には、画角設定値ａｎｇ（本実施例では９０°に事前設定される）や「強」「中」「切」などで指定される防振レベルが含まれる。
ステップＳ１０４では、動画モード用に撮像ドライバー４１の動作を開始した後、本サブルーチンを抜ける。
ステップＳ１０２の判定の結果、撮像モードスイッチ１２で選択されているモードが静止画モードである場合は、ステップＳ１０６に進む。
ステップＳ１０６では、静止画モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存した後、ステップＳ１０７に進む。ここで静止画モードの各種設定には、画角設定値ａｎｇ（本実施例では４５°に事前設定される）や「強」「中」「切」などで指定される防振レベルが含まれる。
ステップＳ１０７では、静止画モード用に撮像ドライバー４１の動作を開始した後、本サブルーチンを抜ける。
ステップＳ１０２の判定の結果、撮像モードスイッチ１２で選択されているモードがプリ設定モードである場合は、ステップＳ１０８に進む。ここでプリ設定モードとは、表示装置８００などの外部機器からカメラ本体１に対して撮像モードの設定がなされるモードであり、撮像モードスイッチ１２により切り替え可能な３つの撮像モードの一つである。プリ設定モードとは、すなわちカスタム撮影のためのモードである。ここで、カメラ本体１は小型のウェアラブルデバイスのため、その詳細設定を変更するための操作スイッチや設定画面等はカメラ本体１には設けられておらず、表示装置８００のような外部機器でカ
メラ本体１の詳細設定の変更は行われる。
たとえば同じ動画撮像でも、９０°の画角と１１０°の画角とで続けて撮像したい場合を考えてみる。通常の動画モードでは９０°の画角が設定されているため、このような撮像を行う場合、まず通常の動画モードでの撮像後、動画撮像を一度終了し、表示装置８００をカメラ本体１の設定画面に変えて、画角を１１０°に切り替える操作が必要となる。しかし、なんらかのイベント中であると、表示装置８００に対するかかる操作は煩わしい。
一方、プリ設定モードを、画角１１０°で動画撮像するモードに事前設定しておけば、画角９０°での動画撮像が終わった後、撮像モードスイッチ１２を「Ｐｒｉ」にスライドするだけで、画角１１０°での動画撮像に即座に変更できる。すなわち、使用者は、現在の行為を中断し、上述の煩わしい操作を行う必要がなくなる。
尚、プリ設定モードで設定する内容に、画角だけでなく、「強」「中」「切」などで指定される防振レベルや、本実施例では説明しない音声認識の設定なども含めてもよい。
ステップＳ１０８では、プリ設定モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存した後、ステップＳ１０９に進む。ここでプリ設定モードの各種設定には、画角設定値ａｎｇや「強」「中」「切」などで指定される防振レベルが含まれる。
ステップＳ１０９ではプリ設定モード用に撮像ドライバー４１の動作を開始した後、本サブルーチンを抜ける。
ここで、図１３を用いてステップＳ１０３で読み出した動画モードの各種設定について説明する。
図１３は、カメラ本体１での撮像前に、表示装置８００の表示部８０３に表示される、動画モードの各種設定用のメニュー画面を示す図である。尚、図１Ｄと同じ箇所については同一の符号を用いて説明を省略する。尚、表示部８０３はタッチパネル機能を有しており、この後の説明はスワイプなどの動作を含むタッチ動作で機能するものとして説明する。
図１３において、メニュー画面には、プレビュー画面８３１、ズームレバー８３２、録画開始・停止ボタン８３３、スイッチ８３４、電池残量表示８３５、ボタン８３６、レバー８３７、及びアイコン表示部８３８を備える。
プレビュー画面８３１は、カメラ本体１で撮像された映像の確認ができ、ズーム量や画角の確認ができる。
ズームレバー８３２は、左右にシフトすることでズーム設定ができる操作部である。本実施例では４５°、９０°、１１０°、１３０°の４つの値が画角設定値ａｎｇとして設定できる場合について説明するが、ズームレバー８３２によりこれらの値以外も画角設定値ａｎｇとして設定できるようにしてもよい。
録画開始・停止ボタン８３３は、スタートスイッチ１４とストップスイッチ１５の機能を兼ね備えるトグルスイッチである。
スイッチ８３４は、防振の「切」「入」を切り替えるスイッチである。
電池残量表示８３５は、カメラ本体１の電池残量を表示する。
ボタン８３６は、その他のモードに入るボタンである。
レバー８３７は、防振強度を設定するレバーである。本実施例では、防振強度として設定できるのは「強」「中」のみだが、他の防振強度、例えば「弱」なども設定できるようにしてもよい。また、無段階に防振強度を設定できるようにしても良い。
アイコン表示部８３８は、プレビュー用の複数のサムネイルアイコンを表示する。
図７Ｃは、図７ＡのステップＳ２００の顔方向検出処理のサブルーチンのフローチャートである。本処理の詳細を説明する前に、赤外線投光による顔方向の検出方法について図８Ａ～図８Ｋを用いて解説する。
図８Ａは、顔方向検出窓１３から見える使用者の映像を示す図である。
図８Ａの映像は、顔方向検出窓１３に可視光カットフィルタ成分が無く、可視光を十分透過し、且つ赤外検出処理装置２７が可視光用撮像素子だった場合に、その可視光用撮像素子において撮像される映像と同一である。
図８Ａの映像には、使用者の鎖骨上の首前部２０１、顎の付け根２０２、顎先２０３、鼻を含む顔２０４が映っている。
図８Ｂは、顔方向検出窓１３から見える使用者の映像に室内にある蛍光灯が背景として映りこんだ場合を示す図である。
図８Ｂの映像には、使用者の周囲にある複数の蛍光灯２０５が映っている。この様に使用条件により赤外検出処理装置２７には様々な背景等が映り込むため、赤外検出処理装置２７からのセンサデータから、顔方向検出部２０や全体制御ＣＰＵ１０１が顔部の映像を切り分けることが困難になる。昨今は、ＡＩ等の利用によりこういった映像を切り分ける技術もあるが、全体制御ＣＰＵ１０１に高い能力が求められ、携帯機器であるカメラ本体１には適さない。
実際には顔方向検出窓１３には可視光カットフィルタで構成されているので可視光はほぼ透過しないので、赤外検出処理装置２７の映像は、図８Ａ，図８Ｂのような映像にはならない。
図８Ｃは、図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外ＬＥＤ２２を点灯させない状態で、顔方向検出窓１３を介して赤外検出処理装置２７のセンサで結像させた場合の映像を示す図である。
図８Ｃの映像では、使用者の首や顎は暗くなっている。一方、蛍光灯２０５は、可視光線だけでなく赤外線成分も持っているためにやや明るく映っている。
図８Ｄは、図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外ＬＥＤ２２を点灯させた状態で、顔方向検出窓１３を介して赤外検出処理装置２７のセンサで結像させた場合の映像を示す図である。
図８Ｄの映像では、使用者の首や顎が明るくなっている。一方、図８Ｃと異なり、蛍光
灯２０５周辺の明るさなどは変わっていない。
図８Ｅは、図８Ｃ，図８Ｄの映像から演算された差分映像を示す図である。使用者の顔が浮かび上がっていることがわかる。
このように、全体制御ＣＰＵ１０１（映像取得手段）は、赤外ＬＥＤ２２の点灯時及び消灯時の夫々において赤外検出処理装置２７のセンサで結像された映像の差を演算することで、使用者の顔が抽出された差分映像（以下、顔映像ともいう）を得る。
本実施例の顔方向検出部２０は赤外線反射強度を赤外検出処理装置２７で２次元画像として抽出することにより顔映像を取得する方式を採用している。赤外検出処理装置２７のセンサは、一般的な撮像素子と同様の構造を採用しており、顔画像を１フレームずつ取得している。そのフレーム同期を取る垂直同期信号（以下、Ｖ信号という）は赤外検出処理装置２７で生成され全体制御ＣＰＵ１０１に出力される。
図９は、赤外ＬＥＤ２２の点灯・消灯のタイミングを示したタイミングチャートである。
図９（ａ）は、赤外検出処理装置２７でＶ信号が生成されるタイミングを示す。Ｖ信号がＨｉになることで、フレーム同期及び赤外ＬＥＤ２２の点灯・消灯のタイミングが計られる。
図９（ａ）では、ｔ１が１回目の顔画像取得期間、ｔ２が２回目の顔画像取得期間を示している。図９（ａ），（ｂ），（ｃ），（ｄ）は、その横軸の時間軸が同一となるように記載されている。
図９（ｂ）は、赤外検出処理装置２７のセンサから出力される像信号のＨ位置を縦軸で表す。像信号のＨ位置が、図９（ｂ）に示すように、Ｖ信号と同期するよう、赤外検出処理装置２７はそのセンサの動きを制御する。尚、赤外検出処理装置２７のセンサは、上述した通り、一般的な撮像素子と同様の構造を採用しておりその動きは公知であるため詳細の制御については割愛する。
図９（ｃ）は、全体制御ＣＰＵ１０１から赤外ＬＥＤ点灯回路２１に出力されるＩＲ－ＯＮ信号のＨｉ及びＬｏｗの切り替えタイミングを示す。ＩＲ－ＯＮ信号のＨｉ及びＬｏｗの切り替えは、図９（ｃ）に示すように、Ｖ信号と同期するよう、全体制御ＣＰＵ１０１が制御する。具体的には、全体制御ＣＰＵ１０１は、ｔ１の期間中は、ＬｏｗのＩＲ－ＯＮ信号を赤外ＬＥＤ点灯回路２１に出力し、ｔ２の期間中は、ＨｉのＩＲ－ＯＮ信号を赤外ＬＥＤ点灯回路２１に出力する。
ここで、ＩＲ－ＯＮ信号がＨｉの期間中は、赤外ＬＥＤ点灯回路２１は赤外ＬＥＤ２２を点灯し、赤外線２３が使用者に投光される。一方、ＩＲ－ＯＮ信号がＬｏｗの期間中は、赤外ＬＥＤ点灯回路２１は赤外ＬＥＤ２２を消灯する。
図９（ｄ）は、赤外検出処理装置２７のセンサから全体制御ＣＰＵ１０１に出力される撮像データである。縦方向が信号強度であり、反射光線２５の受光量を示している。つまりｔ１の期間中は、赤外ＬＥＤ２２は消灯しているので使用者の顔部分からの反射光線２５は無い状態であり、図８Ｃの様な撮像データが得られる。一方、ｔ２の期間中は、赤外ＬＥＤ２２は点灯しているので、使用者の顔部分からは反射光線２５がある状態であり、図８Ｄの様な撮像データが得られる。このため、図９（ｄ）に示すように、ｔ２の期間中の信号強度は、ｔ１の期間中の信号強度と比べて使用者の顔部分からの反射光線２５の分
だけ強度が上がる。
図９（ｅ）は、図９（ｄ）のｔ１，ｔ２の夫々の期間中の撮像データの差分を取ったものであり、図８Ｅの様な、使用者の顔からの反射光線２５の成分のみが抽出された撮像データが得られる。
上述の図８Ｃ～図８Ｅ，図９を用いて説明した動作を含めた上での、ステップＳ２００における顔方向検出処理を図７Ｃに示す。
まず、ステップＳ２０１で、赤外検出処理装置２７から出力されたＶ信号が、ｔ１の期間が開始したタイミングＶ１となったとき、ステップＳ２０２に進む。
ついでステップＳ２０２で、ＩＲ－ＯＮ信号をＬｏｗに設定し、赤外ＬＥＤ点灯回路２１に出力する。これにより、赤外ＬＥＤ２２は消灯する。
ステップＳ２０３で、ｔ１の期間中において赤外検出処理装置２７から出力された１フレーム分の撮像データを読み出し、そのデータをＦｒａｍｅ１として一次メモリ１０３に一時保存する。
ステップＳ２０４で、赤外検出処理装置２７から出力されたＶ信号が、ｔ２の期間が開始したタイミングＶ２となったとき、ステップＳ２０３に進む。
ステップＳ２０５で、ＩＲ－ＯＮ信号をＨｉに設定し、赤外ＬＥＤ点灯回路２１に出力する。これにより、赤外ＬＥＤ２２は点灯する。
ステップＳ２０６で、ｔ２の期間中において赤外検出処理装置２７から出力された１フレーム分の撮像データを読み出し、そのデータをＦｒａｍｅ２として一次メモリ１０３に一時保存する。
ステップＳ２０７で、ＩＲ－ＯＮ信号をＬｏｗに設定し、赤外ＬＥＤ点灯回路２１に出力する。これにより赤外ＬＥＤ２２は消灯する。
ステップＳ２０８で、一次メモリ１０３からＦｒａｍｅ１及びＦｒａｍｅ２を読み出し、Ｆｒａｍｅ２からＦｒａｍｅ１を引いた差分であり、図９（ｅ）の使用者の反射光線２５成分の光強度Ｆｎを演算する（これは一般的には黒引きと呼ばれる処理にあたる）。
ステップＳ２０９で、光強度Ｆｎより首元位置（首回転中心）を抽出する。
まず、全体制御ＣＰＵ１０１（分割手段）は、光強度Ｆｎを基に、顔映像を、図８Ｆを用いて説明する複数の距離エリアに分割する。
図８Ｆは、使用者の顔・首部の各部位について光量の分布をみるため、図８Ｅの差分映像の濃淡を、使用者の顔・首部に投光された赤外線２３の反射光線２５の光強度にスケールを合わせて調整した場合を示す図である。
図８Ｆ（ア）は、説明の簡単化のため、図８Ｅの顔映像における反射光線２５の光強度の分布を領域分けしてグレーの段階で示した図である。使用者の首の中央部から顎先に抜ける方向に説明用にＸｆ軸を取っている。
図８Ｆ（イ）は、横軸は図８Ｆ（ア）のＸｆ軸上の光強度を示し、縦軸はＸｆ軸を示す
。横軸は右方向に行くほど強い光強度を示している。
図８Ｆ（ア）において、顔映像は、光強度に応じた６つの領域（距離エリア）２１１～２１６に分けられている。
領域２１１は、一番光強度が強い領域であり、グレーの段階として、白色で示されている。
領域２１２は、領域２１１より少しだけ光強度が落ちる領域であり、グレーの段階として、かなり明るいグレー色で示されている。
領域２１３は、領域２１２よりさらに光強度が落ちる領域であり、グレーの段階として、明るいグレー色で示されている。
領域２１４は、領域２１３よりさらに光強度が落ちる領域であり、グレーの段階として、中間のグレー色で示されている。
領域２１５は、領域２１４よりさらに光強度が落ちる領域であり、グレーの段階として、やや暗めのグレー色で示されている。
領域２１６は、最も光強度が弱い領域であり、グレーの段階としては、最も暗いグレーとなっている。領域２１６より上方向は光強度の無い黒色となっている。
この光強度について、以下、図１０を用いて詳細に解説する。
図１０は、使用者の顔の上下方向の動きを説明する図であり、使用者の左横方向より観察した状態を示す。
図１０（ａ）は、使用者が正面を向いている様子を示す図である。使用者の鎖骨前方に撮影・検出部１０がある。また、撮影・検出部１０の上部にある顔方向検出窓１３から、赤外ＬＥＤ２２の赤外線２３が使用者頭部の下部に照射されている。顔方向検出窓１３から使用者の鎖骨上の首の付け根２００までの距離をＤｎ、顔方向検出窓１３から顎の付け根２０２までの距離をＤｂ、顔方向検出窓１３から顎先２０３までの距離をＤｃとすると、Ｄｎ，Ｄｂ，Ｄｃの順に距離が遠くなっていることがわかる。光強度は距離の２乗に反比例するので、赤外線照射面２４からの反射光線２５が赤外検出処理装置２７のセンサに結像された際の光強度は、首の付け根２００、顎の付け根２０２、顎先２０３の順に弱くなる。また、顔方向検出窓１３からの距離がＤｃよりさらに遠い位置にある、鼻を含む顔２０４については、その光強度はさらに暗くなることがわかる。すなわち、図１０（ａ）のような場合、図８Ｆで示した光強度の分布となる映像が取得されることがわかる。
尚、使用者の顔方向が検出できれば顔方向検出部２０の構成は、本実施例に示す構成に限定されない。例えば、赤外ＬＥＤ２２（赤外線パターン照射手段）より赤外線パターンを照射するようにし、照射対象から反射された赤外線パターンを赤外検出処理装置２７のセンサ（赤外線パターン検出手段）で検出するようにしてもよい。この場合、赤外検出処理装置２７のセンサは、構造光センサであることが好ましい。また、赤外検出処理装置２７のセンサを、赤外線２３と反射光線２５の位相比較を行うセンサ（赤外線位相比較手段）、例えば、Ｔｏｆセンサとしてもよい。
次に、図８Ｇを用いて、図７ＣのステップＳ２０９における首元位置の抽出について説明する。
図８Ｇ（ア）は、図８Ｆに、図１０（ａ）における使用者の身体の各部位を示す符号、及び首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。
白色の領域２１１は、首の付け根２００（図１０（ａ））と対応しており、かなり明るいグレー色の領域２１２は、首前部２０１（図１０（ａ））と対応しており、明るいグレー色の領域２１３は、顎の付け根２０２（図１０（ａ））と対応している。また、中間のグレー色の領域２１４は、顎先２０３（図１０（ａ））と対応しており、やや暗めのグレー色の領域２１５は、顔２０４（図１０（ａ））の下部に位置する唇及びその周辺の顔下部と対応している。さらに、暗めのグレー色の領域２１６は、顔２０４（図１０（ａ））の中央に位置する鼻及びその周辺の顔上部と対応している。
尚、図１０（ａ）に示すように、Ｄｂ，Ｄｃの距離は、顔方向検出窓１３から使用者の他の部位までの距離に比べると差が少ないので、明るいグレー色の領域２１３及び中間のグレー色の領域２１４における反射光強度の差も少ない。
一方、図１０（ａ）に示すように、顔方向検出窓１３から使用者の各部位までの距離のうち、Ｄｎの距離は最も短い至近距離であるので、首の付け根２００に対応する白色の領域２１１が一番反射強度の強い箇所となる。
よって、全体制御ＣＰＵ１０１（設定手段）は、領域２１１が首の付け根２００周辺であり、領域２１１の左右の中心で且つ撮影・検出部１０に一番近い、図８Ｇ（ア）で二重丸で示す位置２０６を首回転中心の位置（以下、首元位置２０６という）に設定する。ここまでの処理が図７ＣのステップＳ２０９で行う内容である。
ついで、図８Ｇを用いて、図７ＣのステップＳ２１０の顎先位置の抽出について説明する。
図８Ｇ（ア）に示す、顔２０４の内の唇を含む顔下部に対応する領域２１５より明るい、中間のグレー色の領域２１４が顎先を含む領域である。図８Ｇ（イ）を見ればわかるように領域２１４と接する領域２１５で光強度は急激に落ちており、顔方向検出窓１３からの距離変化が大きくなる。全体制御ＣＰＵ１０１は、光強度の急激な落ち込みがある領域２１５の手前の領域２１４が顎先領域であると判別する。さらに、全体制御ＣＰＵ１０１は、領域２１４の左右の中心で且つ首元位置２０６から一番遠い位置（図８Ｇ（ア）において黒丸で示す位置）を顎先位置２０７として算出（抽出）する。
たとえば顔が右方向を向いている時の変化を示しているのが図８Ｈ，図８Ｉである。
図８Ｈは、使用者の顔が右方向を向いている時に、図８Ｅと同様の方法で演算された差分映像を示す図である。図８Ｉは、図８Ｈに首稼働の中心位置である首元位置２０６と顎先位置２０７ｒを示す二重丸及び黒丸の符号を重ねた図である。
領域２１４は使用者が右を向いたので、撮影・検出部１０側から見上げると左方向にある、図８Ｉに示す領域２１４ｒへと移動する。顔２０４の内の唇を含む顔下部に対応する領域２１５も、撮影・検出部１０側から見上げると左方向にある領域２１５ｒへと移動する。
よって、全体制御ＣＰＵ１０１は、光強度の急激な落ち込みがある２１５ｒの手前の領域２１４ｒを顎先領域と判別する。さらに、全体制御ＣＰＵ１０１は、２１４ｒの左右の中心で且つ首元位置２０６から一番遠い位置（図８Ｉにおいて黒丸で示す位置）を顎先位
置２０７ｒとして算出（抽出）する。
その後、全体制御ＣＰＵ１０１は、図８Ｇ（ア）の顎先位置２０７から首元位置２０６を中心として右方向に、図８Ｉの顎先位置２０７ｒがどれだけ移動したかを示す移動角度θｒを求める。図８Ｉに示すように、移動角度θｒは、使用者の顔の左右方向の角度となる。
以上の方法で、ステップＳ２１０において、顔方向検出部２０（３次元検出センサ）の赤外検出処理装置２７で顎先位置と使用者の顔の左右方向の角度を検出する。
次に顔の上方向の検出について説明する。
図１０（ｂ）は、使用者が顔を水平方向に向けている様子を示す図であり、図１０（ｃ）は使用者が顔を水平方向より上部３３°に向けている様子を示す図である。
図１０（ｂ）では、顔方向検出窓１３から顎先２０３までの距離をＦｆｈとし、図１０（ｃ）では、顔方向検出窓１３から顎先２０３ｕまでの距離をＦｆｕとしている。
図１０（ｃ）に示すように、顔とともに顎先２０３ｕも上に移動するため、ＦｆｕはＦｆｈより距離が長くなっていることがわかる。
図８Ｊは、使用者が水平より３３°上方に顔を向けている際に、顔方向検出窓１３から見える使用者の映像を示す図である。図１０（ｃ）に示すように、使用者は上を向いているので、使用者の顎の下に位置する顔方向検出窓１３からは唇や鼻を含む顔２０４は見えておらず、顎先２０３までが見えている。この時に使用者に赤外線２３を照射したときの反射光線２５の光強度の分布を、図８Ｋで示す。図８Ｋは、図８Ｅと同様の方法で演算された差分映像に、首元位置２０６と顎先位置２０７ｕを示す二重丸及び黒丸の符号を重ねた図である。
図８Ｋにおける光強度に応じた６つの領域２１１ｕ～２１６ｕは、図８Ｆに示す領域と同じ光強度の領域に「ｕ」を付けて示す領域である。使用者の顎先２０３の光強度は、図８Ｆでは中間のグレー色の領域２１４にあったが、図８Ｋではグレー側へとシフトし、やや暗めのグレー色の領域２１５ｕにあることがわかる。このように、図１０（ｃ）に示すように、ＦｆｕがＦｆｈより距離が長い結果、使用者の顎先２０３の反射光線２５の光強度は距離の２乗に反比例して弱まっていることが、赤外検出処理装置２７で検出できる。
次に顔の下方向の検出について説明する。
図１０（ｄ）は、使用者が顔を水平方向より２２°下方向に向けている様子を示す図である。
図１０（ｄ）では、顔方向検出窓１３から顎先２０３ｄまでの距離をＦｆｄとしている。
図１０（ｄ）に示すように、顔とともに顎先２０３ｄも下に移動するため、ＦｆｄはＦｆｈより距離が短くなり、顎先２０３の反射光線２５の光強度は強くなることがわかる。
図７Ｃに戻り、ステップＳ２１１では、全体制御ＣＰＵ１０１（距離算出手段）は、顔方向検出部２０（３次元検出センサ）の赤外検出処理装置２７で検出された顎先位置の光強度より、顎先位置から顔方向検出窓１３までの距離を算出する。これに基づき、顔の上
下方向の角度も算出する。
ステップＳ２１２では、ステップＳ２１０，Ｓ２１１で夫々取得した顔の左右方向（第１の検出方向）及びこれと垂直な上下方向（第２の検出方向）の角度を、３次元からなる使用者の観察方向ｖｉとして一次メモリ１０３に保存する（ｉは任意の符号）。たとえば、使用者が正面中心部を観察していた場合の観察方向ｖｏは、左右方向θｈが０°、上下方向θｖが０°であるので、［０°，０°］というベクトル情報となる。また、使用者が右４５°を観察していた場合の観察方向ｖｒは、［４５°，０°］というベクトル情報となる。
尚、ステップＳ２１１では、顔方向検出窓１３からの距離を検出することで、顔の上下方向の角度を算出したが、この方法に限定されない。例えば、顎先２０３の光強度の変異レベルを比較することで、角度変化を算出しても良い。つまり図８Ｇ（イ）の顎の付け根２０２から顎先２０３の反射光強度の勾配ＣＤｈに対し、図８Ｋ（ウ）の顎の付け根２０２から顎先２０３の反射光強度の勾配ＣＤｕの勾配変化をもとに、顎部の角度変化を算出しても良い。
図７Ｄは、図７ＡのステップＳ３００の記録方向・記録範囲決定処理のサブルーチンのフローチャートである。本処理の詳細を説明する前に、まず図１１Ａを用いて、本実施例における記録方向・記録範囲が決定される対象となる超広角映像について説明する。
本実施例のカメラ本体１では、撮影・検出部１０周辺を撮影部４０が超広角な撮像レンズ１６を用いて超広角映像を撮像し、その一部を切り出すことによって観察方向の映像を得ることを達成している。
図１１Ａは、使用者が正面を向いている場合の、撮影部４０により撮像された超広角映像における狙い視野１２５を示す図である。
図１１Ａに示すように、固体撮像素子４２の撮像可能な画素領域１２１は、長方形の領域である。また、有効投影部１２２（所定領域）は、撮像レンズ１６によって固体撮像素子４２に魚眼投影される円形の半天球映像が表示される領域である。尚、画素領域１２１の中心及び有効投影部１２２の中心は一致するように撮像レンズ１６は調整されている。
円形の有効投影部１２２の最外周がＦＯＶ（Ｆｉｅｌｄ ｏｆ ｖｉｅｗ）角１８０°の位置を示している。使用者が水平垂直中心を見ている場合、撮像記録される領域である狙い視野１２５は有効投影部１２２の中心からの角度はその半分の角度の９０°となる。尚、本実施例の撮像レンズ１６は有効投影部１２２より外側の光線も導入でき、最大ＦＯＶ角１９２°の程度までの光線を固体撮像素子４２に魚眼投影できる。但し、有効投影部１２２を超えると極端に解像力がおちたり、光量がおちたり、歪が強まったりと、光学性能が大きく落ちる。よって、本実施例では、記録領域は有効投影部１２２に表示される半天球映像のうち画素領域１２１に投影された映像（以下、単に超広角映像という）内からのみ観察方向の映像を切り出す例で説明する。
尚、本実施例では有効投影部１２２の上下方向のサイズが画素領域１２１の短辺のサイズより大きい為、有効投影部１２２における上下端の映像は画素領域１２１を外れているがこれに限定されない。例えば、撮像レンズ１６の構成を変更して有効投影部１２２の全てが画素領域１２１の領域内に収まるように設計してもよい。
無効画素領域１２３は、画素領域１２１のうち有効投影部１２２に含まれなかった画素領域である。
狙い視野１２５は、超広角画像から使用者の観察方向の映像を切り出す範囲を示す領域であり、観察方向を中心とする予め設定された左右上下の画角（ここでは４５°、ＦＯＶ角９０°）により規定される。図１１Ａの例では、使用者は正面を向いているので、狙い視野１２５の中心は、有効投影部１２２の中心である観察方向ｖｏとなっている。
図１１Ａに示す超広角映像には、子供である被写体Ａ１３１、被写体Ａである子供が登ろうとしている階段である被写体Ｂ１３２、及び機関車の形の遊具である被写体Ｃ１３３が含まれる。
次に、上記図１１Ａを用いて説明した超広角映像から観察方向の映像を得るために実行されるステップＳ３００における記録方向・範囲決定処理を図７Ｄに示す。以下、狙い視野１２５の具体例である図１２Ａ～図１２Ｇを用いて本処理を説明する。
ステップＳ３０１で、事前に設定された画角設定値ａｎｇを一次メモリ１０３から読み出すことで取得する。
本実施例では、画像切り出し・現像処理部５０にて観察方向の映像を超広角画像から切り出すことが可能な全ての画角、４５°、９０°、１１０°、１３０°が画角設定値ａｎｇとして内蔵不揮発性メモリ１０２に保存されている。また、ステップＳ１０３，Ｓ１０６，Ｓ１０８のいずれかのステップで、内蔵不揮発性メモリ１０２に保存されている画角設定値ａｎｇの一つが設定され、一次メモリ１０３に保存されている。
また、ステップＳ３０１では、ステップＳ２１２で決まった観察方向ｖｉを記録方向に決定し、これを中心とする上記取得した画角設定値ａｎｇで超広角画像から切り出された狙い視野１２５の映像を、一次メモリ１０３に保存する。
例えば、画角設定値ａｎｇが９０°であり、且つ顔方向検出処理（図７Ｃ）で観察方向ｖｏ（ベクトル情報［０°，０°］）が検出された場合、有効投影部１２２の中心Ｏを中心とする左右４５°、上下４５°の範囲が狙い視野１２５（図１１Ａ）に設定される。つまり、全体制御ＣＰＵ１０１（相対位置設定手段）は、顔方向検出部２０で検出された顔方向の角度を、超広角映像に対する相対位置を示すベクトル情報である観察方向ｖｉに設定している。
ここで、観察方向ｖｏの場合は撮像レンズ１６による光学歪の影響はほぼ無視できるため、設定された狙い視野１２５の形状がそのまま後述するステップＳ３０３の歪み変換後の狙い視野１２５ｏ（図１２Ａ）の形状となる。以下、観察方向ｖｉの場合の、歪み変換後の狙い視野１２５を、狙い視野１２５ｉという。
次にステップＳ３０２で、事前に設定された防振レベルを一次メモリ１０３から読み出すことで取得する。
本実施例では、上述の通り、ステップＳ１０３，Ｓ１０６，Ｓ１０８のいずれかのステップで防振レベルが設定され、一次メモリ１０３に保存されている。
また、ステップＳ３０２では、上記取得した防振レベルを基に防振用予備画素量Ｐｉｓを設定する。
防振処理では、撮影・検出部１０のブレ量に追随して、ブレ方向と反対方向の映像に追随した映像を取得する。このため、本実施例では、狙い視野１２５ｉの周囲に防振に必要
な予備領域を設ける。
また本実施例では、各防振レベルに紐づく防振予備画素数Ｐｉｓの値を保持するテーブルが内蔵不揮発性メモリ１０２に格納されている。例えば、防振レベルが「中」だった場合、上記テーブルから読み出された防振予備画素数Ｐｉｓである１００画素の予備画素領域が予備領域として設定される。
図１２Ｅは、図１２Ａで示す狙い視野１２５ｏの周囲に予備領域を付与した例を示す図である。ここでは、防振レベルが「中」、すなわち防振予備画素量Ｐｉｓが１００画素である場合について説明する。
図１２Ｅに示すように、狙い視野１２５ｏに対し、上下左右に夫々防振予備画素量Ｐｉｓである１００画素の余裕（予備領域）をもたせた点線部が防振用予備画素枠１２６ｏとなる。
図１２Ａ、図１２Ｅでは説明の簡単化のため、観察方向ｖｉが有効投影部１２２の中心Ｏ（撮像レンズ１６の光軸中心）と一致する場合について説明した。しかし、以下のステップで説明するように、観察方向ｖｉが有効投影部１２２の周辺部である場合は、光学歪の影響を受けるので変換が必要である。
ステップＳ３０３では、ステップＳ３０１で設定された狙い視野１２５の形状を、観察方向ｖｉ及び撮像レンズ１６の光学特性を考慮して補正（歪み変換）し、狙い視野１２５ｉを生成する。同様に、ステップＳ３０２で設定された防振用予備画素数Ｐｉｓも、観察方向ｖｉ及び撮像レンズ１６の光学特性を考慮して補正する。
たとえば、画角設定値ａｎｇが９０°で、使用者が中心ｏより右４５°を観察しているとする。この場合、ステップＳ２１２で決まった観察方向ｖｉが観察方向ｖｒ（ベクトル情報［４５°，０°］）であり、観察方向ｖｒを中心とする、左右４５°、上下４５°の範囲が狙い視野１２５となる。しかし、撮像レンズ１６の光学特性を考慮し、狙い視野１２５は、図１２Ｂに示す狙い視野１２５ｒに補正される。
図１２Ｂに示すように、狙い視野１２５ｒは有効投影部１２２の周辺部に行くにつれ広くなっており、且つ観察方向ｖｒの位置も狙い視野１２５ｒの中心よりやや内側に来ている。これは、本実施例では、撮像レンズ１６に立体射影魚眼に近い光学設計をしているためである。尚、撮像レンズ１６が、等距離射影魚眼や、等立体角射影魚眼、正射影魚眼などによる設計であるとその関係は変わってくるので、その光学特性にあわせた補正が狙い視野１２５に対して行われる。
図１２Ｆは、図１２Ｂで示す狙い視野１２５ｒの周囲に、図１２Ｅの予備領域と同一防振レベル「中」の予備領域を付与した例を示す図である。
防振用予備画素枠１２６ｏ（図１２Ｅ）では、狙い視野１２５ｏの上下左右の夫々に防振予備画素数Ｐｉｓである１００画素の余裕が設定された。これに対し、防振用予備画素枠１２６ｒ（図１２Ｆ）は、有効投影部１２２の周辺部に行くにつれ、防振予備画素数Ｐｉｓは補正されて増えている。
このように、狙い視野１２５ｒの形状と同様にその周囲に設けられた防振に必要な予備領域の形状も、図１２Ｆの防振用予備画素枠１２６ｒに示すように、有効投影部１２２の周辺部に行くにつれその補正量が大きくなる。これも、本実施例では、撮像レンズ１６に立体射影魚眼に近い光学設計をしているためである。尚、撮像レンズ１６が、等距離射影
魚眼や、等立体角射影魚眼、正射影魚眼などによる設計であるとその関係は変わってくるので、その光学特性にあわせた補正が防振用予備画素枠１２６ｒに対して行われる。
ステップＳ３０３で実行される、撮像レンズ１６の光学特性を考慮して、狙い視野１２５及びその予備領域の形状を逐次切り替える処理は、複雑な処理となる。そのため、本実施例では、内蔵不揮発性メモリ１０２内にある、観察方向ｖｉ毎の狙い視野１２５ｉ及びやその予備領域の形状が保持されるテーブルを用いてステップＳ３０３の処理は実行される。尚、先にあげた撮像レンズ１６の光学設計によっては演算式を全体制御ＣＰＵ１０１内に持っておき、その演算式によって光学歪値を算出しても良い。
ステップＳ３０４では、映像記録用枠の位置及びサイズを算出する。
上述の通り、ステップＳ３０３では、防振に必要な予備領域を狙い視野１２５ｉの周囲に設け、これを防振用予備画素枠１２６ｉとして算出した。しかし、観察方向ｖｉの位置により、例えば防振用予備画素枠１２６ｒの様にその形状がかなり特殊なものとなる。
全体制御ＣＰＵ１０１は、このような特殊な形状の範囲だけの現像処理を行って映像を切り出すことは可能である。しかし、ステップＳ６００で映像データとして記録したり、ステップＳ７００で表示装置８００に転送したりする際に、長方形ではない映像を用いることは一般的でない。そこでステップＳ３０４では、この防振用予備画素枠１２６ｉの全体を包含する、長方形形状の映像記録用枠１２７ｉの位置及びサイズを算出する。
図１２Ｆでは、防振用予備画素枠１２６ｒに対してステップＳ３０４で算出された、一点鎖線で示す映像記録用枠１２７ｒを示す。
ステップＳ３０５では、ステップＳ３０４で算出された映像記録用枠１２７ｉの位置とサイズを一次メモリ１０３に記録する。
本実施例では、超広角映像における映像記録用枠１２７ｉの左上の座標Ｘｉ，Ｙｉを、映像記録用枠１２７ｉの位置として記録し、座標Ｘｉ，Ｙｉからの映像記録用枠１２７ｉの横幅ＷＸｉ及び縦幅ＷＹｉを、映像記録用枠１２７ｉのサイズとして記録する。例えば、図１２Ｆに示す映像記録用枠１２７ｒに対しては、図示される座標Ｘｒ，Ｙｒ、横幅ＷＸｒ、及び縦幅ＷＹｒがステップＳ３０５で記録される。尚、座標Ｘｉ，Ｙｉは、所定の基準点、具体的には撮像レンズ１６の光学中心を原点とするＸＹ座標である。
この様にして防振用予備画素枠１２６ｉや映像記録用枠１２７ｉが決まったところで、図７Ｄに示すステップＳ３００のサブルーチンを抜ける。
尚、ここまでの説明では、複雑な光学歪変換の説明の簡単化のために観察方向ｖｉの例として、水平０°を含む観察方向、すなわち観察方向ｖｏ（ベクトル情報［０°，０°］）や観察方向ｖｒ（ベクトル情報［４５°，０°］）を用いた説明を行った。しかし実際には、使用者の観察方向ｖｉは様々な方向となる。よって以下、そのような場合に実行される記録範囲現像処理について説明する。
例えば、画角設定値ａｎｇが９０°で観察方向ｖｌ［－４２°，－４０°］の場合の狙い視野１２５ｌは、図１２Ｃのようになる。
また狙い視野１２５ｌと同じ観察方向ｖｌ（ベクトル情報［－４２°，－４０°］）であっても、画角設定値ａｎｇが４５°であった場合、図１２Ｄに示すように、狙い視野１２５ｌより一回り小さい狙い視野１２８ｌとなる。さらに狙い視野１２８ｌについては、
図１２Ｇに示すような、防振用予備画素枠１２９ｌ及び映像記録用枠１３０ｌが設定される。
ステップＳ４００は撮像の基本動作であり、撮影部４０の一般的なシーケンスを用いるので、詳細は他の文献に譲りここでは説明を省略する。尚、本実施例では、撮影部４０にある撮像信号処理回路４３は、固体撮像素子４２から出力された、固有の出力形態（規格の例：ＭＩＰＩ，ＳＬＶＳ）での信号を、一般的なセンサ読み出し方式の撮像データに修正する処理も行う。
尚、撮像モードスイッチ１２で選択されているモードが動画モードの場合は、スタートスイッチ１４の押下に応じて、撮影部４０が録画を開始する。その後、ストップスイッチ１５が押下されたとき、録画を終了する。一方、撮像モードスイッチ１２で選択されているモードが静止画モードの場合は、スタートスイッチ１４の押下がある毎に、撮影部４０が静止画を撮像する。
図７Ｅは、図７ＡのステップＳ５００の記録範囲現像処理のサブルーチンのフローチャートである。
ステップＳ５０１では、ステップＳ４００において撮影部４０で生成された撮像データ（超広角映像）の全領域のＲａｗデータを取得し、全体制御ＣＰＵ１０１の不図示のヘッド部と呼ばれる映像取り込み部に入力する。
次いでステップＳ５０２では、ステップＳ３０５で一次メモリ１０３に記録された座標Ｘｉ，Ｙｉ、横幅ＷＸｉ及び縦幅ＷＹｉに基づき、ステップＳ５０１で取得した超広角映像から映像記録用枠１２７ｉの部分を切り出す。この切り出し後、防振用予備画素枠１２６ｉ内の画素のみに対して、以下実行するステップＳ５０３～Ｓ５０８からなるクロップ現像処理（図７Ｆ）が開始する。これにより、ステップＳ５０１で読み込んだ超広角映像の全領域に対して現像処理を行う場合と比べて演算量を大幅に削減でき、演算時間や電力を削減することができる。
尚、図７Ｆに示すように、撮像モードスイッチ１２で選択されているモードが動画モードである場合、ステップＳ２００，Ｓ３００の処理と、ステップＳ４００の処理は、夫々同一又は異なるフレームレートで並列に実行される。つまり、撮影部４０で生成された１フレーム分の全領域のＲａｗデータが取得される毎に、その時点で一次メモリ１０３に記録されている座標Ｘｉ，Ｙｉ、横幅ＷＸｉ及び縦幅ＷＹｉに基づきクロップ現像処理が行われる。
防振用予備画素枠１２６ｉ内の画素に対するクロップ現像処理を開始すると、まず、ステップＳ５０３でベイヤ配列に配置された色画素情報を補完する色補完を行う。
その後、ステップＳ５０４でホワイトバランスの調整を行った後、ステップＳ５０５で色変換を行う。
ステップＳ５０６では、あらかじめ設定したガンマ補正値に従って階調を補正するガンマ補正を行う。
ステップＳ５０７では、画像サイズに合わせたエッジ強調を行う。
ステップＳ５０８では、圧縮その他の処理を行うことで一次保存可能なデータ形式に変換し、１次メモリ１０３に記録した後、本サブルーチンを抜ける。この一次保存可能なデ
ータ形式の詳細については後述する。
尚、ステップＳ５０３～Ｓ５０８で実行されるクロップ現像処理の順序や処理の有無は、カメラシステムに合わせて行えばよく、本発明を制限するものではない。
また、動画モードが選択されている場合、ステップＳ２００～Ｓ５００までの処理は録画が終了されるまで繰り返し実行される。
本処理によれば、ステップＳ５０１で読み込んだ全領域の現像処理を行う場合と比べて演算量を大幅に削減することができる。このため、全体制御ＣＰＵ１０１として安価で低消費電力なマイコンを使えるようになり、また、全体制御ＣＰＵ１０１における発熱を抑えるとともに、バッテリー９４の持ちもよくなる。
また、本実施例では、全体制御ＣＰＵ１０１の制御負荷を軽くするため、映像の光学補正処理（図７ＡのステップＳ８００）や防振処理（図７ＡのステップＳ９００）はカメラ本体１では行わず、表示装置８００に転送してから表示装置制御部８０１にて行う。そのため、投影された超広角映像から部分的に切り出した映像のデータだけを表示装置８００に送ってしまうと、光学補正処理や防振処理を行うことができない。つまり、切り出した映像のデータだけでは、光学補正処理の際に式に代入したり、防振処理の際に補正テーブルより参照したりするために用いる位置情報が無い為、これらの処理を表示装置８００において正しく実行できない。そのため、本実施例では、切り出した映像のデータだけでなく、その映像の超広角映像からの切り出し位置の情報等を含む補正データも共にカメラ本体１から表示装置８００に送信する。
ここで切り出した映像が静止画映像である場合、静止画映像のデータと補正データを別途表示装置８００に送信しても静止画映像のデータと補正データは１対１対応であるので、表示装置８００において正しく光学補正処理や防振処理を行うことができる。一方、切り出した映像が動画映像である場合、動画映像のデータと補正データを別途表示装置８００に送信すると、送信された補正データが、動画映像の各フレームに対するいずれの補正データであるかの判断が難しくなる。特に、カメラ本体１内の全体制御ＣＰＵ１０１のクロックレートと、表示装置８００内の表示装置制御部８０１のクロックレートが微妙に異なると数分の動画撮像で全体制御ＣＰＵ１０１と表示装置制御部８０１の間の同期が取れなくなる。この結果、表示装置制御部８０１は、処理すべきフレームをそれに対応する補正データとは異なる補正データで補正してしまうなどの課題が生じる。
よって、本実施例では、カメラ本体１から表示装置８００に切り出した動画映像のデータを送信するにあたり、動画映像のデータに対してその補正データを適切に付与する。以下、その方法について説明する。
図１４は、図７ＡのステップＳ６００の一次記録処理のサブルーチンのフローチャートである。本処理を、以下、図１５を参照して説明する。図１４では、撮像モードスイッチ１２で選択されているモードが動画モードである場合の処理が示されている。尚、選択されているモードが静止画モードである場合は、本処理は、ステップＳ６０１の処理から始まり、ステップＳ６０６の処理が終わると終了する。
ステップＳ６０１ａで、全体制御ＣＰＵ１０１は記録範囲現像処理（図７Ｅ）で現像された動画映像からステップＳ６０１～Ｓ６０６までの処理が未処理である１つのフレームの画像を読み出す。また、全体制御ＣＰＵ１０１（メタデータ生成手段）はその読み出したフレームのメタデータである補正データを生成する。
ステップＳ６０１では、全体制御ＣＰＵ１０１はステップＳ６００で読み出したフレームの画像の切り出し位置の情報を補正データに添付する。ここで添付される情報は、ステップＳ３０５で取得した映像記録用枠１２７ｉの座標Ｘｉ，Ｙｉである。尚、ここで添付される情報を、観察方向Ｖｉを示すベクトル情報としてもよい。
ステップＳ６０２では、全体制御ＣＰＵ１０１（光学補正値取得手段）は光学補正値を取得する。光学補正値はステップＳ３０３で設定された光学歪値である。あるいは、周辺光量補正値や回折補正といったレンズ光学特性に応じた補正値でもよい。
ステップＳ６０３では、全体制御ＣＰＵ１０１はステップＳ６０２の歪み変換に用いた光学補正値を補正データに添付する。
ステップＳ６０４では、全体制御ＣＰＵ１０１は防振モードであるか否かを判断する。具体的には、事前に設定された防振モードが「中」又は「強」だった場合、防振モードであると判断してステップＳ６０５に進む。一方、事前に設定された防振モードが「切」だった場合は防止モードでないと判断してステップＳ６０６に進む。尚、ここで防振モードが「切」だった場合にステップＳ６０５をスキップする理由は、スキップした分、全体制御ＣＰＵ１０１の演算データ量や無線送信時のデータ量を削減でき、ひいては、カメラ本体１の電力削減や発熱低減もできるためである。尚、ここでは防振処理に用いるデータの削減について説明したが、ステップＳ６０２で取得した光学補正値に含まれる、周辺光量補正値や、解析補正の有無についてのデータ削減を行っても良い。
本実施例では防振モードは、表示装置８００による使用者の操作により事前に設定されているが、カメラ本体１の初期設定として設定されていてもよい。また、表示装置８００に転送後に防振処理の有無を切り替えるようなカメラシステムとした場合は、ステップＳ６０４を無くし、ステップＳ６０３から直接ステップＳ６０５に進む。
ステップＳ６０５では、全体制御ＣＰＵ１０１（移動量検出手段）はステップＳ３０２で取得した防振モード、及び一次メモリ８１３にあるステップＳ６００で読み出したフレームと紐づく動画撮像中のジャイロデータを補正データに添付する。
ステップＳ６０６では、ステップＳ６００で読み出されたフレームの画像のデータと、ステップＳ６０１～Ｓ６０５により各種データが添付された補正データとをエンコードしたデータで、映像ファイル１０００（図１５）を更新する。尚、ステップＳ６０１ａにおいて動画映像の最初のフレームの読み出しがされた場合については、ステップＳ６０６で映像ファイル１０００が生成される。
ステップＳ６０７で、記録範囲現像処理（図７Ｅ）で現像された動画映像の全てのフレームの画像の読み出しが終了したか判別し、終了していない場合は、ステップＳ６０１ａに戻る。一方、終了している場合は、本サブルーチンを抜ける。生成された映像ファイル１０００は、内蔵不揮発性メモリ１０２に保存される。前述した１次メモリ８１３及び内蔵不揮発性メモリ１０２に保存されるだけでなく、大容量不揮発性メモリ５１にも保存されるようにしてもよい。また、生成された映像ファイル１０００をただちに表示装置８００への転送処理（図７ＡのステップＳ７００）し、表示装置８００に転送後、その１次メモリ８１３に保存してもよい。
ここで、本実施例において、エンコードとは、映像データと補正データを合体させ１つのファイルにすることを指すが、この際、映像データを圧縮、あるいは映像データと補正データを合体させたものを圧縮してもよい。
図１５は、映像ファイル１０００のデータ構造を示す図である。
映像ファイル１０００は、ヘッダ１００１とフレーム１００２で構成される。フレーム１００２は、動画映像を構成する各フレームの画像とこれに対応するフレームメタがセットとなったフレームデータセットで構成されている。すなわち、フレーム１００２には、動画映像の総フレーム分だけフレームデータセットが存在する。
本実施例では、フレームメタは、切り出し位置（映像内位置情報）、光学補正値及びジャイロデータが必要に応じて添付された補正データがエンコードされた情報であるがこれに限定されない。例えば、撮像モードスイッチ１２で選択された撮像モードに応じてフレームメタに他の情報を添付したり、あるいは、フレームメタにある情報を削除したりするなどしてフレームメタの情報量を変更しても良い。
ヘッダ１００１には、各フレームのフレームデータセットまでのオフセット値または先頭アドレスを記録しておく。あるいは、映像ファイル１０００に対応した時刻やサイズといったメタデータを保存してもよい。
このように、一次記録処理（図１４）では、表示装置８００には、記録範囲現像処理（図７Ｅ）で現像された動画映像の各フレームとそのメタデータがセットとなった映像ファイル１０００が転送される。よって、カメラ本体１の全体制御ＣＰＵ１０１のクロックレートと、表示装置８００の表示装置制御部８０１のクロックレートが微妙に異なる場合も、表示装置制御部８０１はカメラ本体１で現像された動画映像の補正処理を確実に実行できる。
尚、本実施例では、フレームメタに光学補正値が含まれたが、映像全体に対して光学補正値を付与するようにしてもよい。
図１６は、図７ＡのステップＳ７００の表示装置８００への転送処理のサブルーチンのフローチャートである。図１６では、撮像モードスイッチ１２で選択されているモードが動画モードである場合の処理が示されている。尚、選択されているモードが静止画モードである場合は、本処理は、ステップＳ７０２の処理から始まる。
ステップＳ７０１では、撮影部４０による動画映像の録画（ステップＳ４００）が終了したか、また録画中である否かを判断する。ここで、動画映像が録画中（動画撮像中）である場合、フレーム毎の記録範囲現像処理（ステップＳ５００）や、一次記録処理（ステップＳ６００）での映像ファイル１０００の更新（ステップＳ６０６）が順次行われている状態となる。無線転送は電力負荷が大きいため、録画中に並行して行うと、バッテリー９４の電池容量を多く必要としたり発熱対策を別途行う必要があったりする。また、演算能力の観点で見ても、録画中に並行して無線転送を行うと演算負荷が大きくなるため、高スペックの全体制御ＣＰＵ１０１を準備する必要があり、コストとしても大きくなってしまう。本実施例ではこれらを鑑み、動画映像の録画の終了を待ってから（ステップＳ７０１でＹＥＳ）、ステップＳ７０２へ進み、表示装置８００との接続を確立する。ただし、本実施例のカメラシステムが、バッテリー９４から供給される電力に余裕があり且つ別途の発熱対策は不要であれば、カメラ本体１の起動時や録画を開始する前などであらかじめ表示装置８００と接続をしてもよい。
ステップＳ７０２では、データ量の多い映像ファイル１０００を表示装置８００に転送するため、高速無線ユニット７２を介して表示装置８００との接続を確立する。尚、小電力無線ユニット７１は、表示装置８００への画角確認のための低解像度映像（あるいは映像）の転送や、表示装置８００との間での各種設定値の送受信に利用するが、伝送に時間
を要してしまうため映像ファイル１０００の転送には利用しない。
ステップＳ７０３では、高速無線ユニット７２を介して映像ファイル１０００を表示装置８００へ転送し、転送が終了した時点で、ステップＳ７０４に進み、表示装置８００との接続を閉じた後、本サブルーチンを抜ける。
ここまでは１つの動画映像の全フレームの画像を含む１つの映像ファイルを転送する場合を説明したが、数分にわたる長時間の動画映像の場合は、時間単位で区切った複数の映像ファイルとしても良い。図１５に示すデータ構造の映像ファイルであれば、１つの動画映像を複数の映像ファイルとして表示装置８００に転送しても、表示装置８００において補正データとのタイミングズレなく動画映像を補正することが可能となる。
図１７は、図７ＡのステップＳ８００の光学補正処理のサブルーチンのフローチャートである。本処理を、以下、図１８を参照して説明する。尚、上述の通り、本処理は、表示装置８００の表示装置制御部８０１が実行する処理である。
ステップＳ８０１では、まず表示装置制御部８０１（映像ファイル受信手段）は、表示装置８００への転送処理（ステップＳ７００）にて転送されたカメラ本体１からの映像ファイル１０００を受信する。その後、表示装置制御部８０１（第１の抽出手段）は、受信した映像ファイル１０００から抽出した光学補正値を取得する。
続いてステップＳ８０２では、表示装置制御部８０１（第２の抽出手段）は、映像ファイル１０００から映像（動画撮像で得られた１つのフレームの画像）を取得する。
ステップＳ８０３では、表示装置制御部８０１（フレーム映像補正手段）は、ステップＳ８０１で取得した光学補正値によりステップＳ８０２で取得した映像の光学補正を行い、補正した映像を１次メモリ８１３に保存する。光学補正を行う際、ステップＳ８０２で取得した映像からの切り出しを行う場合、ステップＳ３０３で決定した現像範囲（狙い視野１２５ｉ）よりも狭い画像の範囲で切り出して処理を行う（切り出し現像領域）。
図１８は、図１７のステップＳ８０３において歪曲収差補正を実施した場合を説明するための図である。
図１８（ａ）は、使用者が撮像時に肉眼でみた被写体１４０１の位置を示す図であり、図１８（ｂ）は、被写体１４０１が固体撮像素子４２上に映った像を示す図である。
図１８（ｃ）は、図１８（ｂ）の像における現像領域１４０２を示す図である。ここで、現像領域１４０２は先ほど説明した切り出し現像領域のことである。
図１８（ｄ）は、現像領域１４０２の像が切り出された、切り出し現像領域を示す図であり、図１８（ｅ）は、図１８（ｄ）の切り出し現像領域を歪曲補正した映像を示す図である。切り出し現像映像の歪曲補正時に切り出し処理を行うので、図１８（ｅ）に示す映像は、図１８（ｄ）に示す切り出し現像領域よりさらに画角は小さくなる。
図１９は、図７ＡのステップＳ９００の防振処理のサブルーチンのフローチャートである。本処理を、以下、図２５を参照して説明する。尚、上述の通り、本処理は、表示装置８００の表示装置制御部８０１が実行する処理である。
ステップＳ９０１では、映像ファイル１０００のフレームメタから、現フレーム及び前フレームのジャイロデータと、前フレームに対して後述のステップＳ９０２で算出された
ブレ量Ｖｎ-１ Ｄｅｔを取得する。その後、これらの情報からおおよそのブレ量Ｖｎ Ｐｒ
ｅを算出する。尚、本実施例において、現フレームとは、現在処理中のフレームであり、前フレームとは現フレームの１フレーム前のフレームである。
ステップＳ９０２では、映像から詳細なブレ量Ｖｎ Ｄｅｔをもとめる。ブレ量の検出は、現フレームの画像の特徴点が前フレームからどの程度移動したかを計算することで行う。
特徴点の抽出は既知の方法が採用できる。例えば、フレームの画像の輝度情報のみを抽出した輝度情報画像を生成し、それを１乃至数ピクセルずらした画像をもとの画像から減算してその絶対値が閾値以上の画素を特徴点として抽出してもよい。また上記輝度情報画像にハイパスフィルターをかけた画像を、もとの輝度情報画像から減算し抽出されたエッジを特徴点として抽出してもよい。
現フレームと前フレームの輝度情報画像を１乃至数ピクセルずつずらしながら複数回差分を計算し、特徴点の画素での差分が少なくなる位置を計算することで移動量が算出される。
特徴点は後述するように複数点が必要となるため、現フレーム及び前フレームの夫々の画像を複数のブロックに分割して特徴点の抽出を行なうことが好ましい。ブロック分割は画像のピクセル数やアスペクト比にもよるが、一般的には４×３の１２ブロック乃至は９６×６４ブロックが好ましい。ブロック数が少ないとカメラ本体１の撮影部４０のあおりによる台形や光軸方向の回転などの補正が正確にできなくなるが、ブロック数が多すぎると１ブロックのサイズが小さくなり、特徴点が近くなるため誤差を含むようになるためである。このようなことから画素数や特徴点の見つけやすさ、被写体の画角などによって適宜最適なブロック数が選択される。
移動量の算出には、現フレームと前フレームの輝度情報画像を１乃至数ピクセルずつずらして複数回の差分計算を行う必要があるため計算量が多くなる。そこで実際の移動量はブレ量Ｖｎ Ｐｒｅから何ピクセルだけずれているかを算出すべく、その近傍のみの差分計算を行うことで大幅に計算量を減らすことが可能である。
次にステップＳ９０３では、ステップＳ９０２で取得した詳細なブレ量Ｖｎ Ｄｅｔを用いて防振補正を行った後、本サブルーチンを抜ける。
尚、防振処理の方法としては、回転や平行移動が可能なユークリッド変換、それらが可能なアフィン変換、さらに台形補正が可能な射影変換などが従来より知られている。
Ｘ軸、Ｙ軸への移動や回転の場合はユークリッド変換で可能であるが、実際にカメラ本体１の撮影部４０で撮像した場合に生じるブレは前後方向やパン・チルト方向の手振れなどもある。よって、本実施例では拡大、スキューなども補正可能なアフィン変換を用いて防振補正を行う。アフィン変換では、基準となる特徴点の座標（ｘ，ｙ）が座標（ｘ’，ｙ’）に移動する場合、以下の式１００で表わされる。
Figure 2023142257000002
 式１００の３×３行列をアフィン係数は、最低３か所の特徴点のずれが検出できれば算出可能である。ただし、検出された特徴点が互いに近い距離にある場合や、直線上にのってしまう場合、特徴点よりも遠い箇所やその直線から離れた箇所の防振補正が不正確になる。よって検出される特徴点は、互いに遠い距離にあり、且つ直線上にのらないものを選択することが好ましい。よって、複数の特徴点が検出された場合は、互いに近い特徴点を省いて残りを最小二乗法で正規化を行う。
図１８（ｆ）は、図１８（ｅ）に示す歪曲補正をした映像に対してステップＳ９０３の防振補正をした映像を示す図である。防振補正時に切り出し処理を行うので、図１８（ｆ）に示す映像は、図１８（ｅ）に示す映像より画角は小さくなる。
このような防振処理を行うことで、ブレを補正した品位のある映像を得ることが可能である。
以上、本実施例のカメラシステムに含まれるカメラ本体１及び表示装置８００で実行される一連の動作を説明した。
使用者が電源スイッチ１１をＯＮとした後に撮像モードスイッチ１２で動画モードを選択し、顔を上下左右の方向を向かずにただ正面を観察していると、まず顔方向検出部２０が観察方向ｖｏ（ベクトル情報［０°，０°］）（図１２Ａ）を検出する。その後、記録方向・画角決定部３０が、固体撮像素子４２に投影される超広角映像から図１２Ａに示す狙い視野１２５ｏの映像（図１１Ｂ）を切り出す。
その後、使用者がカメラ本体１を操作することなく、例えば、図１１Ａの子供（被写体Ａ１３１）の観察を開始すると、まず顔方向検出部２０が観察方向ｖｌ（ベクトル情報［－４２°，－４０°］）（図１１Ｃ）を検出する。その後、記録方向・画角決定部３０が、撮影部４０で撮像された超広角映像から狙い視野１２５ｌの映像（図１１Ｃ）を切り出す。
このように観察方向に応じて様々な形状に切り出された映像に対する光学補正処理及び防振処理が、ステップＳ８００，Ｓ９００で表示装置８００において行われる。これにより、カメラ本体１の全体制御ＣＰＵ１０１が低スペックでも、大きな歪みがある、例えば狙い視野１２５ｌ（図１１Ｃ）の映像を切り出した場合も、図１１Ｄの様に子供（被写体Ａ１３１）を中心とした歪や揺れの補正された映像とすることができる。すなわち使用者は、電源スイッチ１１をＯＮとし撮像モードスイッチ１２でモード選択をする以外には、カメラ本体１に触れなくとも、自身の観察方向が撮像された映像を得ることができる。
ここでプリ設定モードについて説明する。上述の通り、カメラ本体１は小型のウェアラブルデバイスのため、その詳細設定を変更するための操作スイッチや設定画面等はカメラ本体１には設けられていない。このため、表示装置８００のような外部機器（本実施例では表示装置８００の設定画面（図１３））でカメラ本体１の詳細設定の変更は行われる。
たとえば同じ動画撮像でも、９０°の画角と４５°の画角とで続けて撮像したい場合を考えてみる。通常の動画モードでは９０°の画角が設定されているため、このような撮像を行う場合、まず通常の動画モードでの撮像後、動画撮像を一度終了し、表示装置８００をカメラ本体１の設定画面に変えて、画角を４５°に切り替える操作が必要となる。しかし、連続した撮像中であると、表示装置８００に対するかかる操作は煩わしいし、録りたい映像を撮り逃すこともある。
一方、プリ設定モードを、画角４５°で動画撮像するモードに事前設定しておけば、画
角９０°での動画撮像が終わった後、撮像モードスイッチ１２を「Ｐｒｉ」にスライドするだけで、画角４５°のズームアップした動画撮像に即座に変更できる。すなわち、使用者は、現在の撮像行為を中断し、上述の煩わしい操作を行う必要がなくなる。
プリ設定モードで設定する内容としては、画角の変更だけでなく、「強」「中」「切」などで指定される防振レベルや、本実施例では説明しない音声認識の設定変更なども含めてもよい。
たとえば先の撮像の状況で使用者が子供（被写体Ａ１３１）の観察を継続したまま撮像モードスイッチ１２で動画モードからプリ設定モードに切り替えると、画角設定値ａｎｇが９０°から４５°に変更される。この場合、記録方向・画角決定部３０は、撮影部４０で撮像された超広角映像から図１１Ｅに示す点線枠で示す狙い視野１２８ｌの映像を切り出す。
プリ設定モードにおいても光学補正処理及び防振処理は、ステップＳ８００，Ｓ９００で表示装置８００において行われる。これにより、カメラ本体１の全体制御ＣＰＵ１０１が低スペックでも、図１１Ｆの様に子供（被写体Ａ１３１）を中心にズームされた歪や揺れの補正された映像を得ることができる。動画モードで画角設定値ａｎｇが９０°から４５°に変更する例で説明したが、静止画モードでも同様である。また、動画の画角設定値ａｎｇが９０°であり、静止画の画角設定値ａｎｇが４５°の場合も同様である。
このように、使用者は、カメラ本体１に対する撮像モードスイッチ１２でのモード切り替えのみで、自身の観察方向が撮像されたズーム映像を得ることができる。
尚、本実施例では、カメラ本体１において顔方向検出部２０と撮影部４０とが一体的に構成される場合について説明したが、顔方向検出部２０が使用者の頭部以外の身体上に装着され、撮影部４０が使用者の身体上に装着されていればこれに限定されない。例えば、本実施例の撮影・検出部１０を肩上や腹部に設置することも可能である。ただし、肩上の場合、右肩の上に撮影部４０を設置すると、左側の被写体は頭部に遮られることが考えられるため、左肩なども含めた複数の撮影手段を設置して補う構成が好ましい。また、腹部の場合、撮影部４０と頭部との間に空間的に視差が発生するため実施例３にあげるようなその視差を補正する観察方向の補正算出が行えることが望ましい。
（実施例２）
実施例２では、カメラ本体１を装着する使用者の個人差・調整差をキャリブレーションする方法について図２０～図２３を用いて詳細に説明する。
基本的に本実施例は、実施例１からの派生として説明を行う。このため、実施例２のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
カメラ本体１を装着する使用者は、その体格、カメラ本体１が取付けられる首部周辺の傾きや角度、装着時の襟に代表される衣服の状態、及びバンド部８２Ｌ，８２Ｒの調整残り等に代表される個人差や調整差がある。そのため、カメラ本体１の撮像レンズ１６の光軸中心と、使用者が正面を向いている状態（以下、使用者の自然状態という）での視野中心は通常一致しない。使用者にとってはカメラ本体１の撮像レンズ１６の光軸中心をそのまま映像を切り取る記録領域（狙い視野１２５）の中心とするのではなく、使用者の姿勢や動作における視野中心を記録領域の中心とすることが望ましい。
また、使用者の自然状態での視野中心だけでなく、使用者が上下左右斜めを含む各方向に首を向けた場合の視野中心、また首の可動領域にも個人差がある。そのため、顔方向検出部２０が検出した顔方向（観察方向）と、その観察方向に応じて設定される狙い視野１２５の中心位置（以下、視野中心位置という）との関係性も個人差が生じる。従って、顔方向と視野中心位置を関連付けるキャリブレーション作業が必要となる。
通常、キャリブレーション動作は図７Ａにおける準備動作処理（ステップＳ１００）の一環として行われるのが望ましい。カメラ本体１の初回起動時にキャリブレーション動作を行うことが通常想定されるが、それ以外にも、キャリブレーション後一定時間が経過した場合や、カメラ本体１が前回キャリブレーション時から使用者に対して位置ずれを起こした場合に行っても良い。顔方向検出部２０が使用者の顔を検出できなくなった場合にもキャリブレーション動作を行っても良い。また使用者がカメラ本体１を着脱したことを検知した場合、再度装着した場面でキャリブレーション動作を行っても良い。このように、カメラ本体１の適切な使用上必要だと判断したタイミングで適宜キャリブレーション動作が行われることが望ましい。
図２０は、実施例２に係るキャリブレーション処理に用いられるキャリブレータ８５０の詳細を示す図である。本実施例においては、キャリブレータ８５０が表示装置８００を兼ねている場合について説明を行う。
キャリブレータ８５０には、図７Ｄに示す表示装置８００の構成要素であるボタンＡ８０２、表示部８０３、インカメラ８０５、顔センサ８０６、角速度センサ８０７に加えて、位置決め指標８５１、キャリブレーションボタン８５４が含まれている。尚、実施例１であったボタンＢ８０４は本実施例では使わないこと、また後述するようにキャリブレーションボタン８５４と置き換えることが可能なため、ここでは図示していない。
図２０（ａ）は、位置決め指標８５１が表示部８０３に表示された特定のパターンである場合を、図２０（ｂ）では位置決め指標８５１にキャリブレータ８５０の外観を用いた場合を示している。この場合、後述する位置決め指標中心８５２はキャリブレータ８５０の外形の情報から算出する。
尚、位置決め指標８５１は、図２０（ａ），（ｂ）の例に限らず、例えば、キャリブレータ８５０とは別体であってもかまわない。大きさの計測を行いやすいこと、また使用者の顔方向位置を向けやすい形状であること、の条件を満たすものであれば、位置決め指標８５１は何であっても良い。例えば撮像レンズ１６のレンズキャップ、カメラ本体１の充電ユニットであっても良い。いずれにせよキャリブレーション動作における基本的な考え方は同一のため、以下では主に図２０（ａ）に示すキャリブレータ８５０を例に用いて説明を行う。
尚、実施例１でも記載したが、キャリブレータ８５０は、表示装置８００に機能を兼ね備えても良い。また、キャリブレータ８５０も表示装置８００と同様、専用の機器であっても良く、また他にも例えば一般的なスマートフォンや、タブレット端末であっても良い。
位置決め指標８５１は、キャリブレータ８５０の表示部８０３に表示される指標であり、位置決め指標の横幅Ｌ８５１ａと位置決め指標の縦幅Ｌ８５１ｂ、位置決め指標中心８５２を算出可能となっている図形である。後述するキャリブレーション処理において、使用者は位置決め指標８５１の中心部付近に顔方向を向けるため、位置決め指標８５１は視野中心に捉えやすい形状をしていることが望ましい。図２０（ａ）においては、十字の中心に黒丸を配した円形で示したが、特にこの形状に限定されるものではない。他にも四角
や三角、星型の図形、また例えばキャラクターのイラストであっても良い。
位置決め指標８５１は、カメラ本体１の撮影部４０で撮像される。撮像された映像に基づき、表示装置制御部８０１（位置算出手段・距離算出手段）が、撮影・検出部１０とキャリブレータ８５０との距離、また画像範囲上に写る位置決め指標８５１の位置座標を演算する。本実施例ではキャリブレータ８５０と一体になった表示装置８００でかかる演算が行われるが、キャリブレータ８５０または位置決め指標８５１が表示装置８００と別体である場合、カメラ本体１側の全体制御ＣＰＵ１０１でかかる演算が行われる。
角速度センサ８０７は、キャリブレータ８５０の動きを計測することが出来る。角速度センサ８０７の測定値に基づき、表示装置制御部８０１は、後述するキャリブレータ８５０の位置や姿勢を示す移動情報を算出する。
キャリブレーションボタン８５４は、後述するキャリブレーション処理において、使用者が位置決め指標８５１の中心部付近に顔方向を向けた際に押下するボタンである。図２０（ａ）では、キャリブレーションボタン８５４は、タッチパネル式の表示部８０３に表示されたタッチボタンであるが、ボタンＡ８０２やボタンＢ８０４がキャリブレーションボタン８５４として機能するようにしても良い。
次に、実施例１で説明した、使用者の顔方向に応じて撮影部４０で撮像された超広角画像から映像を切り出してその映像の画像処理を行う際に実行される、キャリブレーション処理について、図２１のフローチャートを用いて詳細に説明する。
図２１は、カメラ本体１（第１のキャリブレーション手段）及びキャリブレータ８５０において実行される、本実施例に係るキャリブレーション処理のフローチャートである。
説明の補助として、図２１では、使用者の操作をカメラ本体１やキャリブレータ８５０を受け付けるステップについては、動作主体を使用者とする枠に入れている。また、図２１では、上記使用者の操作を受けてキャリブレータ８５０の表示装置制御部８０１が実行するステップについては、動作主体をキャリブレータ８５０とする枠に入れている。同様に、図２１では、上記使用者の操作を受けてカメラ本体１の全体制御ＣＰＵ１０１が実行するステップについては、動作主体をカメラ本体１とする枠に入れている。
具体的には、図２１のステップＳ３１０４，ステップＳ３１０８は、カメラ本体１が動作主体であり、ステップＳ３１０１，Ｓ３１０５，Ｓ３１０６は、使用者が動作主体である。また、ステップＳ３１０２，Ｓ３１０３，Ｓ３１０７，Ｓ３１１０はキャリブレータ８５０が動作主体である。
本処理が開始すると、まずステップＳ３１０１では、使用者は、キャリブレータ８５０の電源がＯＮでない場合は、ボタンＡ８０２を操作してキャリブレータ８５０の電源をＯＮにする。同様に、カメラ本体１の電源がＯＮでない場合は電源スイッチ１１をＯＮに切り替えてカメラ本体１の電源をＯＮにする。その後、使用者はキャリブレータ８５０とカメラ本体１との間の接続を確立させる。この接続が確立すると、表示装置制御部８０１及び全体制御ＣＰＵ１０１は夫々、キャリブレーションモードに入る。
またステップＳ３１０１において、使用者は、カメラ本体１を装着し、バンド部８２Ｌ，８２Ｒの長さやカメラ本体１の角度等の調整を行って、好適な位置にカメラ本体１を配置して撮影・検出部１０が撮像可能な状態にする。
ステップＳ３１０２では、表示装置制御部８０１（第１の表示手段）は、位置決め指標
８５１を表示部８０３に表示する。
次に、ステップＳ３１０３では、表示装置制御部８０１は、指示表示８５５において使用者にキャリブレータ８５０のかざすべき位置（各指定位置）を指示する。本実施例では、正面、右上、右下、左上、左下の５か所を順に指定位置として指示する。但し、キャリブレーションが可能であれば指定位置はこれに限定されない。
ステップＳ３１０４では、全体制御ＣＰＵ１０１は、撮影部４０を起動させて撮像可能状態とし、また顔方向検出部２０を起動して使用者の顔方向を検出可能な状態にする。
ステップＳ３１０５では、使用者は、ステップＳ３１０３で指示された指定位置にキャリブレータ８５０をかざす。
次に、ステップＳ３１０６では、使用者は、キャリブレータ８５０の位置を指定位置に維持したまま、顔を位置決め指標８５１の方向に向け、使用者の視野中心を位置決め指標８５１に置く。
ステップＳ３１０７では、表示装置制御部８０１（第２の表示手段）は、指示表示８５５において使用者に指定位置のキャリブレーションを開始する旨通知すると共に、キャリブレーションボタン８５４を表示する。尚、ステップＳ３１０７の処理は、表示装置制御部８０１が、使用者が位置決め指標８５１の位置決め指標中心８５２を視野正面で見たと判定したときに実行される。
ステップＳ３１０７ａでは、使用者がキャリブレーションボタン８５４を押下すると、表示装置制御部８０１は、キャリブレーション指示をカメラ本体１に送信する。
ステップＳ３１０８では、全体制御ＣＰＵ１０１（取得・検出手段）は、キャリブレータ８５０からのキャリブレーション指示に応じて、撮影部４０での撮像で位置決め指標８５１が映りこむ超広角画像を取得すると共に、顔方向検出部２０で顔方向を検出する。その後、全体制御ＣＰＵ１０１（生成手段）は、ここで取得した超広角画像における位置決め指標中心８５２の位置座標情報を算出し、算出された位置座標情報とここで検出された顔方向との関係を示す情報を生成する。
ステップＳ３１０３～Ｓ３１０８の処理の詳細を、以下、図２２Ａ～図２２Ｆを用いて説明する。
図２２Ａ～図２２Ｆは、使用者の正面方向についてのキャリブレーション動作について説明するための図である。これにより、使用者の自然状態での視野中心位置と、カメラ本体１の撮影部４０が捉えた映像のうち狙い視野１２５の中心位置とを一致させる。
図２２Ａは、使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０３において、キャリブレータ８５０の表示部８０３に表示される画面を示す図である。
図２２Ａに示すように、キャリブレータ８５０の表示部８０３には、位置決め指標８５１と、使用者が位置決め指標８５１をどこに置けばよいかを示す指示表示８５５が表示されている。
指示表示８５５には顔を正面に向けた際の視野中心に位置決め指標８５１を配置するよう文字での指示を記載している。尚、指示表示８５５において表示される指示は、文字で
の指示に限ったものではなく、例えばイラストや写真、動画といった他の方法での指示であってもかまわない。
また、いわゆる一般的なチュートリアルのような、指示表示８５５を表示し、その後に位置決め指標８５１を表示するようにしても良い。
図２２Ｂは、使用者が、図２２Ａにおける指示表示に示された指示に従ってキャリブレータを前方にかざしている様子を示す斜視図である。
使用者が、図２２Ａにおける指示表示８５５に示された指示に従ってキャリブレータ８５０を前方にかざし、位置決め指標８５１が顔の正面に向けた際の視野中心になるようキャリブレータ８５０を配置する（ステップＳ３１０５，Ｓ３１０６）。その後、使用者は、キャリブレーションボタン８５４（図２２Ａ）を押下する。このキャリブレーションボタン８５４の押下に応じて、ステップＳ３１０７の判定が行われる。この判定方法の具体的な手順については後述する。
その後、使用者は、図２２Ａに示す指示表示８５５が「正面方向のキャリブレーションを開始します」という通知に変更したことを確認後、キャリブレーションボタン８５４を押下する（ステップＳ３１０７ａ）。
このキャリブレーションボタン８５４の押下に応じて、ステップＳ３１０８で撮影部４０が撮影映像を取得する。
図２２Ｃは、図２２Ｂの状態において撮像レンズ１６が捉えた超広角画像の全体を示す模式図であり、図２２Ｄは、図２２Ｃに示す超広角画像の収差を補正した画像を示す模式図である。
一方、図２２Ｂの状態での使用者によるキャリブレーションボタン８５４の押下に応じてステップＳ３１０８で顔方向検出部２０が顔方向を取得する。
図２２Ｅは、使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０８において顔方向検出部２０が記録した顔方向画像を示す模式図である。
実施例１で図８Ｇ～図８Ｋを用いて先述したとおり、顔方向検出部２０は、顎先位置２０７，２０７ｒ，２０７ｕ等と首元位置２０６との距離及び角度を用いて顔の左右上下方向の角度を算出する。しかし、顎先位置２０７，２０７ｒ，２０７ｕ等と首元位置２０６の距離及び角度値もまた画像中心と同様に、上述した使用者の体格等に表されるような個人差や調整差があるため一定しない。そのため、本実施例では、キャリブレーションボタン８５４が押下された時点での顎先位置と首元位置２０６との関係を使用者が正面を視野中心としたときの値として定義する。これにより、個人差や調整差に依らず使用者の顔方向を正確に算出するための情報として利用することが可能となる。
図２１に戻り、ステップＳ３１０９では、全体制御ＣＰＵ１０１は、正面方向のキャリブレーションの準備が完了したか否かを判断する。すなわち、顎先位置２０７、首元位置２０６及び位置決め指標中心８５２の算出に必要な情報が取得できている否かの判定を行う。
このとき、必要な情報が取得できていない場合、正面方向のキャリブレーションの準備は完了していないと判断し（ステップＳ３１０９でＮＯ）、必要な情報のうち不足している情報を再度取得できるよう、ステップＳ３１０２からの動作を繰り返す。尚、必要な情
報が取得できていない場合については当然ステップＳ３１０２からのすべての動作を行う必要はなく、不足している情報を再度取得するために必要な動作のみを再度行っても良い。
ここで、ステップＳ３１０７の判定は、キャリブレータ８５０に搭載された顔センサ８０６またはインカメラ８０５を用いて行う。以下、この判定方法の具体的な手順を、インカメラ８０５を用いて使用者の正面方向についてのキャリブレーション動作を行っている場合を例に説明を行う。尚、顔センサ８０６を使用した場合については、情報が二次元か三次元かの差異はあるものの、基本的な考え方は同一であるため省略する。但し、ステップＳ３１０７の判定で顔センサ８０６を使用する場合、顔センサ８０６から赤外線８２３が使用者に投光されている期間中は、カメラ本体１の顔方向検出部２０は赤外線２３を使用者に投光することによる顔検出は行わない。赤外線２３，８２３が相互に干渉するのを防止するためである。
まず、使用者が、ステップＳ３１０６で図２２Ａのキャリブレーションボタン８５４を押下すると、表示装置制御部８０１は、インカメラ８０５（顔検知手段）で撮像を行い、使用者が写ったインカメラ映像８５８（図２２Ｆ）を取得する。さらに、表示装置制御部８０１は、取得したインカメラ映像８５８から、使用者の首前部２０１、顎先２０３、及び鼻を含む顔２０４と、撮影・検出部１０（撮影部４０）の位置情報を検出する。
このインカメラ映像８５８で検出された各位置情報を用いて、使用者が位置決め指標８５１の位置決め指標中心８５２を視野正面で見ているかの判定を、表示装置制御部８０１（判定手段）が行う。
尚、この判定の結果、使用者が異なる方向を見ていると判定された場合、表示装置制御部８０１は、指示表示８５５に正しい情報取得が出来ない旨の情報を表示する。これにより、使用者に対しキャリブレーション動作を再度やり直すように指示することが出来る。
尚、表示装置制御部８０１は、インカメラ映像８５８を用いて、撮影・検出部１０がある一定以上傾いている、顔方向検出窓１３が塞がっているまたは汚れているといった、正しいキャリブレーション動作が出来ない状態であると判定可能な場合がある。このような場合も、表示装置制御部８０１は、指示表示８５５に正しい情報取得が出来ない旨の情報を表示するようにしてもよい。
さらには、このステップＳ３１０７で取得されるインカメラ映像８５８と、ステップＳ３１０８で取得される超広角画像を用いて、実施例５で後述する視差補正に必要な情報を取得することも可能である。
具体的には、ステップＳ３１０８で撮影部４０により位置決め指標８５１が撮像される前に、表示装置８００からカメラ本体１に予め位置決め指標８５１の大きさ（横幅Ｌ８５１ａ及び縦幅Ｌ８５１ｂ）の情報を送信しておく。これにより、全体制御ＣＰＵ１０１は、位置決め指標８５１の大きさの情報と、ステップＳ３１０８で取得された超広角画像に写る位置決め指標８５１の映像を用いて、撮影・検出部１０と位置決め指標８５１との距離を算出可能となる。位置決め指標８５１はインカメラ８０５と同一筐体であるキャリブレータ８５０にあり、また図２２Ｂではキャリブレータ８５０は使用者と略正対しているため、インカメラ８０５と撮影・検出部１０も同一の距離であることが分かる。
同様に、ステップＳ３１０７ａでインカメラ８０５により図２２Ｆのインカメラ映像が撮像される前に、カメラ本体１から表示装置８００に予め撮影・検出部１０の大きさの情報を送信しておく。これにより、表示装置制御部８０１（垂直距離算出手段）は、撮影・
検出部１０の大きさの情報と、図２２Ｆのインカメラ映像８５８に写る撮影・検出部１０の映像を用いて、撮像レンズ１６の光軸中心と使用者の視点位置との垂直距離５０７０を推定可能となる。加えて、表示装置制御部８０１は、撮像レンズ１６と使用者の顎先２０３との距離２０７１も推定可能となる。距離２０７１は顔方向検出窓１３と顎先２０３との距離であっても良い。
ここで、顔方向検出部２０が使用者の首元位置２０６や顎先位置を算出するには、顔方向検出部２０の設計狙いに応じて、使用者の顔が顔方向検出窓１３からある一定以上の距離だけ離れている必要がある。従ってこの推定結果は顔方向検出部２０が正しく顔方向を検出可能か判定する際の判定条件のひとつとすることが可能である。
図２１に戻り、以上で記載した方法で、ステップＳ３１０９において、全体制御ＣＰＵ１０１は、必要な情報が取得でき、正面方向のキャリブレーション準備が完了したと判断した場合、ステップＳ３１１０に進む。
ステップＳ３１１０では、表示装置制御部８０１（第一のキャリブレーション手段）が、個人差・調整差を吸収するように、切り出し中心位置をオフセットするために必要な情報を演算し、その情報に基づき切り出し中心位置をオフセットする。
ステップＳ３１１０における演算の具体的な説明は以下のとおりである。
使用者が設計値の通り理想状態であり、かつ理想的にカメラ本体１を装着しているならば、図２２Ｃに示すステップＳ３１０８で取得された超広角画像の中心８５６と、その超広角画像に写る位置決め指標中心８５２の位置は略一致するはずである。しかし実際には、上述した使用者の体格等に表されるような個人差や調整差があるため、超広角画像における中心８５６及び位置決め指標中心８５２の位置は通常一致しない。
使用者にとっては、切り出し中心位置は、カメラ本体１の示す画像中心すなわち中心８５６ではなく、使用者の姿勢や動作における視野中心、すなわち超広角画像における位置決め指標中心８５２の位置であることが望ましい。
そのため、超広角画像における位置決め指標中心８５２と中心８５６とのずれ量８５７を計測し、切り出し中心位置をカメラ本体１における中心８５６ではなく位置決め指標中心８５２を基準とした値にオフセットする。また、その際の顔方向検出部２０が検出した顔方向も同様の方法でオフセットする。
具体的なオフセット方法としては、図２２Ｃのように超広角画像に対してずれ量８５７を計測し、これを左右方向のずれ量８５７ａと上下方向のずれ量８５７ｂに分け、全画角の投影方法に従って適切な変換処理を行った後にオフセット量を決定すればよい。
また、図２２Ｄに示すように、超広角画像に投影方法に従って適切な変換処理を行った後にオフセット量を決定しても良い。すなわち、変換後の超広角画像における中心８５６ａと位置決め指標中心８５２ａとのずれ量８５７ａ（図２２Ｄにおいて不図示）を計測し、ずれ量８５７ａを左右方向のずれ量８５７ｃと上下方向のずれ量８５７ｄに分けてオフセット量を決定しても良い。
図２２Ｃ、図２２Ｄのいずれに示すオフセット方法をとるかは、カメラシステムの処理負荷や目的を考慮して任意に決定することが可能である。
以上説明した正面方向のキャリブレーション動作を行うことで、個人差や調整差等に関
わらず、各使用者の装着時における顔方向と、超広角画像内でのその顔方向における視野中心、そして顔方向検出部２０の顔方向とを適切に関連付けることが可能となる。
尚、ここまでは、正面、右上、右下、左上、左下の５方向のうち、正面方向のキャリブレーション動作について説明を行ったが、同様のキャリブレーション動作を右上、右下、左上、左下の４方向についても実行する必要がある。
よって、図２１において、ステップＳ３１１０の処理が終了すると、ステップＳ３１１１に進む。
ステップＳ３１１１では、正面、右上、右下、左上、左下の５方向のうち、まだキャリブレーション動作が行われていない方向があると判定した場合、その１方向に、キャリブレーション動作を行う方向を変更し、ステップＳ３１０３に戻る。これにより、すでに終了した正面方向以外の、残りの方向について同様にキャリブレーション動作を繰り返す。
尚、図２１においては不図示だが、ステップＳ３１１１において、キャリブレーション動作が行われていない方向がないと判定した場合は本処理をそのまま終了する。
図２３Ａ～図２３Ｅは、使用者の右手上方向（超広角画像における右上方向）についてのキャリブレーション動作について説明するための図である。図２３Ａ～図２３Ｅはそれぞれ図２２Ａ～図２２Ｅに対応しており、基本的な動作も同じであるため、共通する説明は省略する。
ここで、図２３Ａに示すように、指示表示８５５には顔を右上に向けた際の視野中心に位置決め指標８５１を配置するよう文字での指示を記載している。
図２３Ｂは、使用者が、図２３Ａにおける指示表示８５５に示された指示に従ってキャリブレータ８５０を右上にかざしている様子の斜視図を示す。
図２３Ｃは、図２３Ｂの状態において撮像レンズ１６が捉えた超広角画像の全体を示す模式図である。
図２３Ｃに示すように、具体的なオフセット方法としては、まず、超広角画像における中心８５６及び位置決め指標中心８５２の位置のずれ量８５７を計測する。その後、計測されたずれ量８５７を直径方向のずれ量８５７ｅと角度方向のずれ量８５７ｆに分け、全画角の投影方法に従って適切な変換処理を行った後にオフセット量を決定すればよい。
また他にも、図２３Ｄに示すように、超広角画像に投影方法に従って適切な変換処理を行った後にオフセット量を決定しても良い。すなわち、変換後の超広角画像における中心８５６ａと位置決め指標中心８５２ａとのずれ量８５７ａ（図２３Ｄにおいて不図示）を計測し、ずれ量８５７ａを直径方向のずれ量８５７ｇと角度方向ずれ量８５７ｈに分けてオフセット量を決定しても良い。
尚、図２２Ａ～図２２Ｅを用いて説明したオフセット量の決定では、ずれ量を上下―左右方向に分ける方法を用いた。これに対し、図２３Ａ～図２３Ｄを用いて説明したオフセット量の決定では、ずれ量を直径―角度方向に分ける方法を用いたが、この方法の違いは説明の便宜上のものにすぎず、いずれの方法を用いても構わない。
また、このとき顔方向検出部２０では、図２３Ｅに示すように、使用者が右上方向を向いた時の顔方向を算出するのに必要な首元位置２０６及び顎先位置２０７ｒｕが取得でき
ている。そのため、使用者の個人差・調整差にかかわらず、使用者が位置決め指標中心８５２の方向（この場合は右上方向）を見た際の顔方向を正しく測定することが出来る。
以上のように、図２１に示すキャリブレーション処理においては、正面方向だけでなく、右上、右下、左上、左下の各方向についてもキャリブレーション動作を行う。これにより、使用者が上下左右方向のいずれかの方向に首を振った場合に、使用者がどの方向を向いているかを顔方向検出部２０は正しく測定することが可能となり、個人差や調整差によらずカメラ本体１を適切に使用することが出来る。
以上の記載では、簡単のため明示的に正面、右上、右下、左上、左下の５つの方向に対して繰り返しキャリブレーション動作を行う方法を説明した。
しかし、キャリブレーション動作はこの方法に限らない。例えば、使用者が、指示表示８５５に従ってＺ字状、渦巻き状、多角形状等の形状に連続的にキャリブレータ８５０を移動させると同時に、キャリブレータ８５０に表示中の位置決め指標８５１を視野中心で捉え続ける方法を採っても良い。この方法では、表示装置制御部８０１は、この方法によりキャリブレータ８５０が移動している間、複数回キャリブレーション指示をカメラ本体１に送信する。全体制御ＣＰＵ１０１は、キャリブレーション指示を受信する毎に顔方向検出部２０で検出して顔方向と、撮影部４０で撮像した超広角画像における位置決め指標中心８５２の位置座標情報を取得し、履歴情報として保持する。その後、全体制御ＣＰＵ１０１は、取得した履歴情報から抽出した情報を組み合わせて、映像の切り出し中心位置と使用者の顔方向との関係性を算出する。さらには、この方法によるキャリブレータ８５０の移動中にキャリブレータ８５０側で取得されたインカメラ８０５や顔センサ８０６の情報を用いて、履歴情報から抽出される情報を、使用者が位置決め指標８５１を見ている状態の情報のみとしてもよい。これにより、例えば使用者がよそ見をしている状態の情報は、履歴情報から抽出されなくなるため、関係性の算出の精度を上げることが可能である。
また、表示装置制御部８０１は、キャリブレーション指示の際に角速度センサ８０７による測定値もカメラ本体１に送信するようにしてもよい。この場合、全体制御ＣＰＵ１０１は、送信された角速度センサ８０７による測定値から、使用者によるキャリブレータ８５０の移動方法や、キャリブレータ８５０の位置や姿勢を示す移動情報を取得し、これも履歴情報として保持する。これにより、角速度センサ８０７による測定値に基づく移動情報、顔方向検出部２０が検出した顔方向、及び撮影部４０で撮像した超広角画像における位置決め指標中心８５２の位置座標情報から、キャリブレーション動作を簡易かつ正確に行うことが出来る。
ただしこの場合は、角速度センサ８０７による測定値に基づく移動情報と、位置決め指標８５１の位置座標情報に基づく移動情報が一致している必要がある。そのため、角速度センサ８０７による測定値を用いる場合は、カメラ本体１とキャリブレータ８５０の通信を同期させることが必要である。
以上、実施例２では、個人差や調整差があっても使用者の顔方向と超広角画像における狙い視野１２５の中心位置を関係づけるキャリブレーション方法を説明した。しかし、本発明は、実施例２で例示した各種形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
（実施例３）
実施例３では、二次記録された映像による映像酔いを防止する方法について図２４～２６を用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例３のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
映像技術の進化により、実写と見まがうようなＣＧや迫力ある３次元映像を手軽に楽しめるようになった。
一方、このような３次元映像が、ＶＲなどのダイナミックな動きのある映像や手ぶれの多い映像である場合、これを見たときに映像酔いが生じやすい。映像酔いは乗り物酔いのような症状を招くこともあり、その安全対策に関心が高まっている。
記録範囲現像処理（ステップＳ５００）において使用者の顔が向いている方向の映像をそのまま切り出して現像するようにすると、撮影部４０による撮像時（ステップＳ４００）に使用者の顔が素早く動いた場合、映像シーンも速い速度で切り替わる。
撮影部４０による撮像時に顔を素早く動かした使用者自身は酔わないが、ステップＳ１０００で二次記録された、出来上がった映像にかかる映像シーンが含まれる場合、かかる映像を鑑賞する鑑賞者は映像酔いを起こす可能性がある。
顔が向いている方向を映像にする特許文献１，２にもこのような映像酔いに対する対策についての記載はない。
よって、本実施例では、撮影部４０による撮像時に使用者が顔を素早く動かす場合であっても、出来上がった映像には速い速度で切り替わる映像シーンが含まれないよう制御し、鑑賞者が映像酔いを起こさないようにするカメラシステムを提供する。
尚、実施例３のカメラシステムの構成のうち、実施例１，２のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
図８Ｈ～図８Ｋや図１０（ｂ）～（ｄ）を用いて説明した通り、使用者の顔は、撮影部４０により撮像を行う際に上下左右方向に回転運動をする。
よって、以下、使用者の顔の動く方向と速さは角速度ωで表現し、その動いた距離は角度Θで表現する。
角速度ωは顔方向検出部２０で検出された角度Θを検出間隔で除算することで算出する。
ここで、人が顔を素早く動かす動作には、振り返り、チラ見、動体観察などが挙げられる。
振り返りとは、例えば背後で大きな音が発生した場合に勢いよく振り返る動作である。
チラ見とは、何か視界に気になる変化が発生し、それを見たが、あまり関心がなかったので元の顔の位置に戻る動作である。
動体観察とは、例えば空を縦横無尽に飛び回る鳥や凧揚げなどを観察する動作である。
撮影部４０による撮像時にこれらの動作が発生した場合、使用者の顔が向いている方向の映像をそのまま記録範囲現像処理で切り出して現像すると、上述した通り、出来上がった映像の鑑賞者が映像酔いを起こす可能性がある。
よって、全体制御ＣＰＵ１０１は、閾値ω０以上となる角速度ωが所定時間以上（第１の所定時間以上）算出された場合、使用者が顔を素早く動かす動作（振り返り、チラ見、動体観察のいずれか）が発生したと判断する。さらに、全体制御ＣＰＵ１０１は、発生した動作が図２５を用いて後述する方法によりチラ見や動体観察ではないと判断した場合、その動作は振り返りであると判断する。この場合、全体制御ＣＰＵ１０１は、使用者の顔が向いている方向の映像をそのまま記録範囲現像処理で切り出すのではなく、使用者の顔の動きに対して遅延して切り出す遅延切り出しを行う。
ここで、本実施例では、閾値ω０をπ／８ ｒａｄ／ｓとする。これは、顔が正面０度から真横９０度を４秒で動く速度である。しかしながら、閾値ω０はπ／８ ｒａｄ／ｓに限定するものではない。例えば、フレームレートｎ ｆｐｓに基づき、閾値ω０を（ｎ×π）／ｘ ｒａｄ／ｓ（ｘは任意の値）などとしても良い。
角速度ωは、今回のフレームｎの画像から取得された角度Θｎ及びその取得時刻ｔｎと、前回のフレームｎ－１の画像から取得された角度Θｎ－１及びその取得時刻ｔｎ－１とから、角速度ωｎを下記の式で求めることができる。
ωｎ＝（Θｎ－Θｎ－１）／（ｔｎ－ｔｎ－１）
但し、角速度ωはωｎ－ｘ～ωｎの加算平均としてもよい。
さらに、本実施例では、所定時間を０．２秒とするが、この値に限定するものではない。
以下、図２４を用いて、使用者が振り返り中である場合の遅延切り出しについて説明する。
実施例１における図１１及び図１２の説明は撮像レンズ１６の歪曲を考慮した説明であったが、本実施例では説明を簡単にするために撮像レンズ１６の歪曲は考慮しない。また、実施例２のキャリブレーション処理がフレームの画像になされており、各フレームの画像の中心は、その画像の撮像時における使用者の視野中心と一致するとして説明する。また、顔が真横に向いた場合を説明するため、最大ＦＯＶ角１９２°の程度までの光線が固体撮像素子４２に投影される場合を例に説明する。
領域４０００は、固体撮像素子４２の撮像可能な画素領域を表す。
画像４００１（図２４（ａ））及び画像４０２２（図２４（ｃ））は、現在顔が向いている方向を狙い視野１２５として切り出したフレームｆｎの画像である。
画像４００２（図２４（ａ））及び画像４０２１（図２４（ｃ））は、前回顔が向いていた方向を狙い視野１２５として切り出したフレームｆｎ－１の画像である。
距離４０１０（図２４（ａ））は、フレームｆｎ－１の画像４００２の中心からフレームｆｎの画像４００１の中心までの距離である。以下、フレームｆｎ－１の画像の中心からフレームｆｎの画像の中心までの距離の値をｄとする。
画像４００３（図２４（ｂ））は、顔方向検出部２０により検出された顔方向に基づく
顔の角速度ωが閾値ω０以上だった場合に、遅延切り出しフレームｆ’ｎの画像として領域４０００に投影される映像から切り出される画像である。
距離４０１１は、フレームｆｎ－１の画像４００２の中心から遅延切り出しフレームｆ’ｎの画像４００３の中心までの距離である。以下、フレームｆｎ－１の画像の中心から遅延切り出しフレームｆ’ｎの画像の中心までの距離の値ｄ’とする。
遅延距離４０１２は、フレームｆｎの画像４００１の中心からフレームｆ’ｎの画像４００３の中心までの距離であり、以下その値をｄ”とする。
この時、距離４０１０の値ｄと、距離４０１１の値ｄ’を比較すると、ｄ＞ｄ’となる。
次にｄ’の値の決め方の一例を図２４（ｃ）を用いて説明する。
ここでは、使用者が顔を正面（観察方向ｖｏ（ベクトル情報［０°，０°］））から右方向に真横９０度に素早く動かした場合について説明する。この場合、顔が正面（観察方向ｖｏ（ベクトル情報［０°，０°］））に向くフレームｆｎがえられた後、短い時間経過後に、顔が正面から右方向に真横９０°に向くフレームｆｎ＋ｘの画像４０２２が得られる。
映像酔いを防止するには、正面から右方向に真横９０°にｔ秒（例えば４秒）以上かけて動かす必要があるとすると、映像のフレームレートがｎ ｆｐｓ（例えば３０ｆｐｓ）である場合、ｄ’＝（ｆｎ＋ｘ－ｆｎ）／（ｎ ｆｐｓ×ｔ秒）となる。
一方、フレームｆｎからフレームｆ’ｎまでの距離ｄ”が大きくなっていくと、顔が向いている方向を記録方向としていないので、フレームｆｎには使用者が見ていた被写体が映っていない可能性が出てくる。
そこで、遅延時間が所定時間Ｔｈｄｅｌａｙ（第２の所定時間）以上になった場合は、遅延切り出しを中止し、現在顔が向いている方向の切り出しをする。
ここで遅延時間とは、遅延が発生し始めた時間ｔ０（図２６のステップＳ４２１１）と、顔が動き続けている現在時間ｔｎ（図２６のステップＳ４２１３）の差である。
所定値Ｔｈｄｅｌａｙは、本実施例では１秒に設定されるが、これに限定されない。例えば、フレームレートｎ ｆｐｓを基にして、所定値Ｔｈｄｅｌａｙを２０／ｎ秒に設定しても良い。所定値Ｔｈｄｅｌａｙが２０／ｎ秒の場合、フレームレートが高いほど所定値Ｔｈｄｅｌａｙが短くなる。これは、フレームレートが高いほど映像酔いの可能性は低くなるため、短い遅延時間で現在顔が向いている方向の切り出し処理に戻しても構わないためである。
一方、遅延切り出しを中止し、現在顔が向いている方向の切り出しに戻すと、映像シーンは急に切り替わることになる。このような映像シーンの急な切り替えは使用者が不自然に感じるので、フェードアウト、フェードイン、またはその他の映像効果を取り入れても構わない。
また、現在顔が向いている方向の切り出しが再開できるよう、顔の軌跡を保持しておく。
ここで、保持される顔の軌跡について、図２５（ａ）を用いて使用者がチラ見中であると判定された場合を例に説明する。
遅延切り出しを中止し、現在顔が向いている方向の切り出しに戻す処理は、前述した通り、遅延時間が所定値Ｔｈｄｅｌａｙ以上となったと場合も実行されるが、チラ見中の場合、つまり顔が特定方向を見た後すぐに元の方向を向いた場合も実行される。
図２５（ａ）は、使用者がチラ見中である場合の顔の軌跡の例を示す図である。
フレームｆｎ－３の画像の中心である位置４１０１は、顔が動き始めたときの使用者の視野中心と一致する。その後、使用者の視野中心は、フレームｆｎ－２，ｆｎ－１，ｆｎの夫々の画像の中心である位置４１０２，４１０３，４１０４へと動く。以下、このような使用者の視野中心の動きを顔の動きベクトルという。
顔の動きベクトルは、その後、位置４１０４でしばらく留まった後、フレームｆｎｘ＋１，ｆｎｘ＋２，ｆｎｘ＋３の夫々の画像の中心である位置４１０５，４１０６，４１０７へと動き、フレームｆｎｘ＋３の画像の中心である位置４１０７で止まる。
すなわち、位置４１０１～４１０４の顔の動きベクトルと、位置４１０４～４１０７の顔の動きベクトルは逆となる。
全体制御ＣＰＵ１０１は、図２５（ａ）に例示するような、顔の動きベクトルが逆の方向で一致するフレーム群を検知した場合、そのフレーム群をチラ見中のフレーム群と判定する。
この場合、全体制御ＣＰＵ１０１は、顔が動き始めた位置４１０１から顔の動きベクトルが逆に動き始めた位置４１０４までは遅延切り出しを行う。位置４１０４は、使用者がチラ見して見たいと考えた被写体が映っている位置と考えられるためである。
一方、位置４１０４まで遅延切り出しをした後は、現在顔が向いている方向の切り出し、すなわち、顔の動きが止まった位置４１０７における切り出しに戻す。
さらに、全体制御ＣＰＵ１０１は、使用者の顔が動いている際に、顔方向の中央付近に存在する物体を検知し、その検知された物体が顔方向の中央に居続ける場合、使用者は動体観察中であると判断する。この場合、本実施例では遅延切り出しを行わない。
図２５（ｂ）は、使用者が動体観察中である場合の各フレームの画像の例を示す図である。
フレームｆｎ－１の画像４１２１の中心である位置は、顔が動き始めたときの使用者の視野中心と一致する。その後、使用者の視野中心は、フレームｆｎ，ｆｎ＋１，ｆｎ＋２，ｆｎ＋３，ｆｎ＋４の夫々の画像４１２２～４１２６の中心である位置に動く。
それぞれのフレームの画像４１２１～４１２６の中央付近に同じ被写体である鳥が存在し続ける。
全体制御ＣＰＵ１０１は、図２５（ｂ）に例示するような、画像の中央付近に同じ被写体が存在する連続するフレーム群を検知した場合、そのフレーム群を動体観察中のフレーム群と判定する。
この場合、全体制御ＣＰＵ１０１は、遅延切り出しは行わない。動体観察の際に遅延切り出しを行うと被写体が映像に映っていない可能性が高くなるためである。
また、動体観察の際の使用者の速い顔の動きに応じて画像４１２１～４１２６が切り出された映像を鑑賞者が鑑賞すると映像酔いを引き起こす可能性がある。よって、全体制御ＣＰＵ１０１は、動体観察中のフレーム群については、画像の切り出しを行わず、固体撮像素子４２で撮像可能な画素領域の全体、つまり領域４０００の画像を記録する。
尚、上述した閾値ω０、所定時間、所定値Ｔｈｄｅｌａｙは不感帯と呼ばれる幅を持たせてもよい。
次に図２６のフローチャートを用いて、本実施例に係る映像酔い防止処理について説明する。尚、本処理は、撮影部４０による動画撮像中にステップＳ４００でのフレーム撮影が行われる毎に実行される。
ステップＳ４２０１では、全体制御ＣＰＵ１０１は、今回のフレーム撮影のために実行された顔方向検出処理で一次メモリ１０３に記録された顔方向（観察方向）を取得する。
ステップＳ４２０２では、全体制御ＣＰＵ１０１は、今回のフレーム撮影のために実行された記録方向・範囲決定処理で一次メモリ１０３に記録された映像記録用枠の位置及びサイズ（切り出し範囲）を取得する。
ステップＳ４２０３では、全体制御ＣＰＵ１０１（演算手段）は、ステップＳ４２０１で取得した今回のフレーム撮影時の顔方向、一次メモリ１０３に保持されている前回のフレーム撮影時の顔方向、及びフレームレートに基づき、顔の角速度ωを算出する。その後、全体制御ＣＰＵ１０１は、顔が閾値ω０以上の角速度ωで動き始めたか否かを判定する。具体的には、使用者の顔が閾値ω０以上の角速度ωで、所定時間（０．２秒）以上動いたときに顔が閾値ω０以上の角速度ωで動き始めたと判断する。動き始めたと判定された場合はステップＳ４２０４に進み、そうでないと判定された場合はステップＳ４２０１に戻る。すなわち、使用者の顔が閾値ω０以上の角速度ωで動いた場合であっても、その時間が所定時間未満（第１の所定時間未満）である場合は、ステップＳ４２０１に戻る。また、一次メモリ１０３に前回のフレーム撮影時の顔方向が保持されておらず、ステップＳ４２０３において顔の角速度の算出ができない場合も、ステップＳ４２０１に戻る。
ステップＳ４２０４では、全体制御ＣＰＵ１０１は、ステップＳ４２０３で算出された顔の角速度ωに基づき、顔が所定角度以上、動いたか否かを判定する。動いたと判定された場合はステップＳ４２０６に進み、そうでないと判定された場合はステップＳ４２０５に進む。尚、ステップＳ４２０４において、顔が、所定の角速度以上で（ステップＳ４２０３でＹＥＳ）所定時間（０．２秒）以上、動いたか否かを判定してもよい。
ステップＳ４２０５では、全体制御ＣＰＵ１０１は、ステップＳ４２０３で算出された顔の角速度ωに基づき、顔の動きが止まったか否かを判定する。止まったと判定された場合はステップＳ４２０１に戻り、そうでないと判定された場合はステップＳ４２０４に戻る。
ステップＳ４２０６では、全体制御ＣＰＵ１０１は、撮像している被写体が動いているか（使用者が動体観察中か）否かを判定する。動いていると判定された場合はステップＳ４２０７に進み、そうでないと判定された場合はステップＳ４２０８に進む。
ステップＳ４２０７では、全体制御ＣＰＵ１０１は、今回のフレームの記録範囲現像処
理では、クロップ現像処理は行わず、固体撮像素子４２の全体から取得された全領域ＲＡＷデータの現像処理を行う旨決定し、ステップＳ４２０５に進む。
ステップＳ４２０８では、全体制御ＣＰＵ１０１は、ステップＳ４２０１で取得した今回のフレーム撮影時の顔方向を前回のフレーム撮影時の顔方向として一次メモリ１０３に記憶し、ステップＳ４２０９に進む。
ステップＳ４２０９では、全体制御ＣＰＵ１０１（遅延手段）は、今回のフレームの記録範囲現像処理では、前回のフレームの顔方向から距離ｄだけずれた位置を中心とする切り出し範囲についてクロップ現像処理を行う（遅延切り出しを行う）旨決定する。その後、ステップＳ４２１０に進む。
ステップＳ４２１０では、全体制御ＣＰＵ１０１は、一次メモリ１０３に記憶されている遅延時間の開始時刻ｔ０がクリアされているか否かを判定する。クリアされていると判定された場合はステップＳ４２１１に進み、そうでないと判定された場合はステップＳ４２１２に進む。
ステップＳ４２１１では、全体制御ＣＰＵ１０１は、現在時刻を一次メモリ１０３に開始時刻ｔ０として記憶し、ステップＳ４２１２に進む。
ステップＳ４２１２では、全体制御ＣＰＵ１０１は、ステップＳ４２０３で算出された顔の角速度ωに基づき、遅延時間が所定値Ｔｈｄｅｌａｙを経過する前の段階で顔の動きが止まったか否かを判定する。止まったと判定された場合はステップＳ４２１５に進み、そうでないと判定された場合は、ステップＳ４２１３に進む。
ステップＳ４２１３では、全体制御ＣＰＵ１０１は、現在時刻を一次メモリ１０３に時刻ｔｎとして記憶し、ステップＳ４２１４に進む。
ステップＳ４２１４では、全体制御ＣＰＵ１０１は、一次メモリ１０３に記憶された時刻ｔｎと開始時刻ｔ０の差分である遅延時間を計算し、遅延時間が所定時間Ｔｈｄｅｌａｙ以上であるか否かを判定する。所定時間Ｔｈｄｅｌａｙ以上である場合はステップＳ４２１５に進み、そうでない場合はステップＳ４２０６に戻る。
ステップＳ４２１５では、全体制御ＣＰＵ１０１は、一次メモリ１０３に記憶された開始時刻ｔ０をクリアし、ステップＳ４２１６に進む。
ステップＳ４２１６では、全体制御ＣＰＵ１０１は、顔方向検出部２０により検出された顔方向に基づいて、記録方向・画角決定部３０で記録方向と画角を決定し、ステップＳ４２１７に進む。
ステップＳ４２１７では、全体制御ＣＰＵ１０１は、今回のフレームのメタデータのフラグを記録し、ステップＳ４２０１に戻る。ここでつけたメタデータのフラグは、実施例１のステップＳ１０００で説明した二次記録の時に、上述したフェードイン・フェードアウトなどの映像効果（フェード効果）を付けるタイミングとして使用する。
以上、本実施例では、顔の角速度ωが閾値ω０以上になった場合、顔の向いている方向のフレームをそのまま切り出すのではなく、顔の動きに応じて切り出すので、映像酔いを軽減できる効果がある。
（実施例４）
実施例４では、使用者の顔の向きの移動速度に応じて映像の切り出し範囲を補正する方法について図２７，図２８を用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例４のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
まず人が観察方向を変える動作について説明する。通常、人が視界の中心より外れた視界の端の方に関心ごとを見つけてそちらに観察方向を向ける場合、まず顔が動き、ある程度以上になると遅れて体が追従していく。
すなわち、このような場合、鎖骨前方にある撮影・検出部１０（図１０（ａ））上の撮像レンズ１６の方向は、初動で顔のみが向きを変えているときには動かない。その後、使用者が体全体で向きを変えるようになった時に、カメラ本体１の撮像レンズ１６の方向も動く。このような人体行動の特徴があることを踏まえて以下説明していく。
また顔方向検出部２０で顔方向を検出する場合、検出誤差によるばらつきが生じる。かかるばらつきが含まれた顔方向の検出結果に基づき映像の切り出し位置を算出すると、ステップＳ１０００で二次記録された動画には一般的な動画の手振れのようなブレが生じて見栄えが悪くなる。そこで細かい検出の揺れを補正するために顔方向の検出結果にローパスフィルタをかけて細かいばらつきを除去する。
また公道を歩いているときの左右確認など、一瞬の顔の移動にも追従して顔方向を検出すると、ステップＳ１０００で二次記録された動画は映像酔いしやすい動画となってしまう。そのため本実施例では、１秒乃至は２秒程度の一瞬の顔の移動に追従して検出された顔方向の微動成分も除去（平滑化）する処理を行う。これにより、ステップＳ１０００で二次記録された動画を見栄えの良い動画とすることができる。
次に、本実施例における切り出し範囲補正処理の概要を図２７を用いて説明する。
図２７に示す各グラフの横軸は時間を表し、縦軸は夫々、実際の観察中心（図２７（ａ））、顔方向（図２７（ｂ），（ｃ））、撮像レンズ１６の方向（図２７（ｄ））、及び切り出し位置（図２７（ｅ），（ｆ））の角度を表す。尚、縦軸は上方向が右方向を示している。
図２７（ａ）は、実際の観察中心の移動を示すグラフである。尚、図２７（ａ）の縦軸の角度は、顔方向検出部２０で検出された顔方向を示す角度ではなく、地面などの固定位置（地面基準）からの使用者の顔位置を表している。すなわち、図２７（ａ）のグラフは、最初は使用者は正面を向いているが１秒付近から右を向き始めていくことを示している。
図２７（ｂ）は、顔方向検出部２０の検出結果（観察方向ｖｉ）を示すグラフである。図２７（ｂ）の検出結果を示す線がなめらかではないのは、上述した通り、検出結果には検出誤差によるばらつきがあるためである。従って、本実施例では、顔方向検出部２０の検出結果にローパスフィルタをかける。
また、図２７（ｂ）においては検出されていないが、一瞬の顔の移動に追従して検出された顔方向も除去（平滑化）する処理を行う。
図２７（ｃ）は、図２７（ｂ）の顔方向検出部２０の検出結果をローパスフィルタをかけて平滑化した場合を示すグラフである。図２７（ｃ）に示すように、図２７（ｂ）の検出結果を示す線は、ローパスフィルタをかけることでなめらかな線となる。しかしこのようなフィルタをかけることで、図２７（ｃ）では検出された顔方向の正面から右への移動が２秒付近から始まっており、図２７（ａ）の場合とほぼ同時に係る移動が始まっている図２７（ｂ）よりも遅延（タイムラグ）が生じている。尚、図２７（ｂ），（ｃ）の縦軸の角度は、図２７（ａ）の地面基準とは異なり、撮像レンズ１６の方向（カメラ本体１基準）からの角度である。
また図２７（ｂ）では、図２７（ａ）と比べて４秒付近から傾きが緩やかになってきている。これは、図２７（ｄ）に示すように、４秒付近からカメラ本体１（撮像レンズ１６の方向）が使用者の体と一緒に移動し始めたため、相対的に顔方向検出部２０により検出された顔方向の移動速度が減速していることを意味している。
従って、従来は、ローパスフィルタをかけて平滑した顔方向検出結果（図２７（ｃ））に、カメラ本体の移動量（図２７（ｄ））を足し合わせた位置を、図２７（ｅ）に示す切り出し位置、すなわち、狙い視野１２５の中心となる観察方向として算出していた。しかし、従来の方法で切り出し位置を算出すると、クロップ位置は実際の観察中心の移動に追従しておらず、二次記録で出来上がった映像が、体の移動が開始された４．５秒付近からパンニングが急に加速したような映像となってしまう。
すなわち、実際の観察中心の移動に対する違和感をなくすには、図２７（ｆ）に示すようにパンニングが略一定となるよう切り出し位置（期待値）を算出することが好ましい。
そこで本実施例では、図２７（ｅ）のようにパンニングが急に加速したように見えないよう、切り出し位置を算出する。尚、図２７のように切り出し位置の移動速度が０°/秒
と１０°/秒の２種類の場合、図２７（ｃ）の顔方向検出結果に上記タイムラグ分だけ前
（本実施例では１秒前）の図２７（ｄ）のカメラ本体１の移動量を加算すれば、図２７（ｆ）の期待値を算出できる。但し、実際は、切り出し位置の移動速度は上記２種類のみ、すなわち、観察方向が急に加速したり、急に止まったりすることはなく、ゆっくりと減速が行われるが、上記算出方法では期待値がゆっくりとした減速カーブが描けない。よって、本実施例では、カメラ本体１の移動が止まった場合、観察方向の移動の開始から今まで、もしくは過去一定期間の切り出し位置の移動速度を数フレーム分に割り振ることで、期待値が減速カーブを描くようにする。
以下、図２８のフローチャートを用いて、本実施例における切り出し範囲補正処理を順に説明していく。
以下、既述した実施例１～３と共通の部分に関しては説明を簡略化もしくは割愛して説明していく。
図２８（ａ）は、本実施例に係る図７ＡのステップＳ３００の記録方向・範囲決定処理のサブルーチンのフローチャートである。
ステップＳ４０００ａでは、ステップＳ２００の顔方向検出処理で取得した観察方向ｖｉをローパスフィルタを用いて平滑化を行う（平滑化手段）。図２７（ｂ）を用いて上述した通り、観察方向ｖｉは若干の検出誤差によるばらつきがあるためである。ローパスフィルタは過去数回、例えば５乃至１０回分の単純移動平均をとる方法が簡便である。しかしこの時、平均をとる回数が増えれば増えるほど、顔の向きが移動した時の追従が遅れてしまう。また右を向いた後すぐに左に向きを変えるような場合、使用者が最も右に向いた
ときの観察方向ｖｉを検出しきれないという問題もある。
さらに検出誤差の混入具合は検出方法によって異なるため、検出方法によって適宜変更することも好ましい。上下方向と左右方向でローパスフィルタのかけ方を異ならせることも可能である。
また上述したとおり、一瞬の顔の動きは使用者の体験したことを映像として残す本発明の趣旨としてはそぐわない場合が多く、例えば上述した歩行中の左右の安全確認のために仕方なく顔を動かすことなどがあげられる。よって、本実施例では、２秒程度で略元の方向に戻った場合に取得された観察方向ｖｉもステップＳ４０００ａにおいて平滑化する。
さらに左右方向や下方向は安全確認する必要が多いが、上方向は安全確認する必要は少ないため、上方向にはローパスフィルタをかけないようにしてもよい。
ステップＳ３０１～Ｓ３０４までの処理（図７Ｄ）により切り出し範囲を決定すると、ステップＳ４０００に進み、全体制御ＣＰＵ１０１（第２のキャリブレーション手段）は切り出し範囲補正処理を実行する。
その後、ステップＳ３０５で補正後の切り出し範囲を記録した後、本サブルーチンを抜ける。切り出し範囲補正処理については、図２８（ｂ）のフローチャートを用いて説明する。
図２８（ｂ）は、ステップＳ４０００の切り出し範囲補正処理のフローチャートである。
図２８（ｂ）においてまず、ステップＳ４００１で全体制御ＣＰＵ１０１（移動速度算出手段）は角速度センサ１０７からジャイロ情報、すなわち今回のフレームでのカメラ本体１の動き（ジャイロ移動量）を取得する。
尚、本実施例では角速度センサ１０７を用いたが、カメラ本体１の動きが検出できればこれに限定されない。例えば、不図示の磁場（磁界）の大きさ・方向を計測する磁気センサを用いてもよいし、加速度を検出する加速度センサ１０８を用いてもよい。さらには、特徴点を抽出しその特徴点がどの程度移動したかを計算することで移動ベクトルを検出し、カメラ本体１の移動量を算出する方法でもよい。特徴点の抽出は既知の方法が採用できる。一例をあげると２枚の画像の輝度情報のみを抽出した画像にバンドパスフィルターをかけてエッジを抽出し、複数枚のエッジ画像をずらした状態で減算し、差分が少なくなる位置を計算することで移動量を算出できる。この方法は計算量が増えるが、角速度センサ１０７等のハードが不要となるためカメラ本体１の軽量化が可能であるため好ましい様態の一つである。
以下は、角速度センサ１０７からジャイロ情報を取得する場合を例として説明を続ける。
ステップＳ４００２では、ステップＳ４００１で取得したジャイロ情報と過去に取得したジャイロ情報からカメラ本体１の移動速度（ジャイロ移動速度）を算出する。
ステップＳ４００３では、ステップＳ４００２で算出されたジャイロ移動速度が減速しているかを判定する。移動速度が減速していない場合（ステップＳ４００３でＮＯ）はステップＳ４００４へ、そうでない場合はステップＳ４００６へ進む。
ステップＳ４００４では、全体制御ＣＰＵ１０１（第二のキャリブレーション手段・観察方向補正手段）は、ステップＳ３０４で決定された切り出し位置と過去に取得した切り出し位置から、切り出し位置の移動速度を算出する。次に算出された切り出し位置の移動速度から、ローパスフィルタをかけることで生じるタイムラグ分だけ前に取得したジャイロ移動速度を減算して得られた減算量を取得する。
ステップＳ４００５では、ステップＳ４００４で取得した切り出し位置の移動速度及び減算量を一次メモリ１０３に記憶し、本サブルーチンを抜ける。
ステップＳ４００６では、一次メモリ１０３に記憶されている減算量の合計を、同じく一次メモリ１０３に記憶されている各切り出し位置の過去一定期間の移動速度の変化が一定となるように割り振って期待値を算出し、本サブルーチンを抜ける。過去一定期間とは、実際に切り出し位置が移動し始めてから現在までの期間や、角速度センサ１０７がカメラ本体１の動きを検出してから現在までの期間でもよい。また処理を単純化するために０．５秒乃至３秒程度と決まった期間としてもよい。尚、上記過去一定期間より以前の期待値は、ステップＳ４００４で取得した切り出し位置の移動速度に設定される。
以下に示す表１は、図２７（ａ）～（ｆ）でグラフ化されたデータの変位（速度）を示す。すなわち、ステップＳ３０４で決定された切り出し位置の移動速度が、表１の（ｃ）に示され、ステップＳ４００２で算出されるジャイロ移動速度が、表１の（ｄ）に示される。また、ステップＳ４００６で算出される期待値が、表１の（ｅ）に示される。
Figure 2023142257000003
図２８（ｂ）の切り出し範囲補正処理のサブルーチンは、表１に示すように、使用者が最初は正面で静止し徐々に右を見ていく場合を例にあげて説明する。
最初、使用者は前（正面）を見ているため、ステップＳ４００２で算出されたジャイロ移動速度はほぼ０°／秒となる。すなわちステップＳ４００３ではジャイロ移動速度は減速していないと判断し、ステップＳ４００４へと遷移する。この場合、顔の位置も変わらないため、切り出し位置の移動速度も０°／秒となる。また、ステップＳ４００４で算出される減算量も０°／秒となる。
１秒くらいから、使用者は右を向き始めるが、ローパスフィルタによるタイムラグのため、図２７（ｃ）で示すように、切り出し位置の移動速度はまだ０°／秒となる。一方、図２７（ｄ）で示すように、カメラ本体１はまだ移動していない、すなわちジャイロ移動速度もほぼ０°／秒である。よって、まだ使用者が正面で静止している時と同様、ステップＳ４００４で算出される減算量も０°／秒となる。
使用者がさらに右を向き、２秒くらいになると、図２７（ｃ）で示すように、切り出し位置の移動速度は１０°／秒となる。一方、図２７（ｄ）で示すように、カメラ本体１はまだ移動していない、すなわちジャイロ移動速度はまだほぼ０°／秒である。よって、ステップＳ４００４で算出される減算量は１０°／秒となる。
使用者がさらに右を向き、４秒くらいになると、使用者の体も右を向き始める。すなわち、図２７（ｄ）で示すように、カメラ本体１の向きが変わるためジャイロ移動速度は１０°／秒となる。体が回転し始めた分、図２７（ｂ）で示すように、実際の顔の角速度は、カメラ本体１と顔方向の相対速度分だけ減速するが、ローパスフィルタによるタイムラグのため、図２７（ｃ）で示す切り出し位置の移動速度はこの時点ではまだ１０°／秒である。従って、このタイムラグを考慮し、ステップＳ４００４で算出される減算量は、１０°／秒となる。
使用者がさらに右を向き、５秒くらいからは、ジャイロ移動速度は引き続き１０°／秒（図２７（ｄ））であるが、図２７（ｃ）で示す切り出し位置の移動速度は、減速して０°／秒となる。従って、ステップＳ４００４で算出される減算量は、－１０°／秒となる。
図２７においては不図示であるが、使用者が６秒くらいで右を向く動作を終了すると、ジャイロ移動速度が０°／秒となり、この場合に初めてステップＳ４００６に進む。この場合、これまで算出され、一次メモリ１０３に記憶された減算量の合計は＋１０°／秒となる。この減算量の合計を、一次メモリ１０３に記憶されている各切り出し位置の過去一定期間の移動速度の変化が一定となるように割り振って期待値を算出する。ここでは、図２７（ｃ）で示す切り出し位置の移動速度は、加速し始めてから現在までの期間（２～６秒）までに、表１に示すように、１０°／秒、１０°／秒、１０°／秒、０°／秒である。よって、この期間中の各切り出し位置の移動速度の変化を一定（ここでは変化なし）とすべく、２～６秒の期間の期待値はすべて１０°／秒に設定される。
本実施例では、説明を簡略化するために１秒おきで説明を行ったが、通常、動画撮像のフレームレートは２４～６０ｆｐｓである。一方、顔方向検出やジャイロの検出は１秒間に６０回も行う必要もないことが多いため、顔方向検出処理や切り出し範囲補正処理を行うタイミングは、撮像のタイミングと変えることも好ましい。例えば撮像は６０ｆｐｓで行うが、顔方向検出処理や切り出し範囲補正処理を行うタイミングは１０ｆｐｓで行っても問題なく、その用途や消費電力などを考慮し、適宜変更可能である。
以上説明してきたように本実施例では、大きく観察方向が動いたときに顔の動きと体（カメラ本体）の動きが組み合わさる時点で、動画としての視線移動速度が変わり見栄えの悪い動画とならないよう、観察方向の移動量を一定にすることが可能な例を示した。
尚、本実施例では、超広角画像を観察方向に応じてクロップする例を示したがこれに限定されない。例えば、全体制御ＣＰＵ１０１（撮像方向変更手段）が、撮影部４０の撮像方向を観察方向に応じて変更するようにしてもよい。但しこの場合、撮影部４０の撮像方向、具体的には撮像レンズ１６及び固体撮像素子４２の向きをヨー方向、ピッチ方向に不図示の方法で機械的に駆動させる機構（駆動手段）をカメラ本体１に設ける必要がある。
また本実施例では、顔方向検出結果の平滑化を例に示したが、全体制御ＣＰＵ１０１（防振手段）が実施例１で説明した防振制御を行う場合も、顔方向への追従が遅延するため同様の処理をすることが好ましい。
（実施例５）
実施例５では、使用者の目の位置と撮影・検出部１０の装着位置との位置差による視差ズレを原因とする、使用者の視界と二次記録された映像（以下「記録映像」という）の差異を低減する方法について図２９～３４を用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例５のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
まず、理解を助けるために、実施例１で発生する使用者の視界と記録映像の差異について説明する。
図２９は、実施例１における、近距離の被写体を観察対象５０２０とした場合の使用者５０１０の視界と狙い視野の関係を説明するための模式図である。
図２９（ａ）は、固体撮像素子４２に映った観察対象５０２０を含む映像５９００を示す模式図であり、図２９（ｂ）は、使用者５０１０と観察対象５０２０との位置関係を示す模式図である。
図２９（ｂ）に示すように、観察対象５０２０は、使用者の目５０１１の高さより下にある場合、使用者５０１０の顔方向５０１５は下を向く。この時使用者５０１０の視界には不図示の床などを背景とした観察対象５０２０が映っている。
実施例１の場合、顔方向検出部２０によって検出された使用者の顔方向５０１５と平行な観察方向５０４０（図２９（ｂ））が記録方向として設定される。このため、図２９（ｂ）に示すように近距離の被写体が観察対象５０２０である場合、観察対象５０２０を含まない領域が狙い視野５０４５に設定されてしまうという問題が生じる。
このような場合、使用者５０１０の視界に映る背景（不図示の床など）とは異なる背景（不図示の天井など）となってしまうものの、記録方向は、観察方向５０４０ではなく、観察対象５０２０を含む狙い視野５０３５となる方向５０３０に設定するべきである。
上記問題は、使用者５０１０の目５０１１の位置と撮影・検出部１０の装着位置との位置差による視差ズレが原因である。従って、本実施例では、使用者５０１０の顔方向に基づき設定される記録方向を視差ズレに応じて適切に調整する視差補正処理を実行する。
図３１は、本実施例に係るカメラ本体１のハードウェア構成を示すブロック図である。
本実施例に係るカメラ本体１のハードウェア構成は、図５に示す実施例１のカメラ本体１とは測距センサ５１００がある点でのみ異なる。尚、カメラ本体１における測距センサ５１００の配置位置については特に限定されないが、本実施例では、図３０に示すように、ストップスイッチ１５の外縁部に測距センサ５１００は設けられる。
測距センサ５１００は、物体との距離を測定するセンサである。尚、測距センサ５１００の構成は特に限定されない。例えば、測距センサ５１００は、赤外線、レーザー、ミリ波などを物体に投射し、その反射によって物体との距離を測定するアクティブタイプのセンサでも良い。また、測距センサ５１００は、撮像レンズ１６を透過した光線の位相差を元に物体との距離を測定するパッシブタイプのセンサでも良い。
測距センサ５１００は、全体制御ＣＰＵ１０１に接続され、全体制御ＣＰＵ１０１によって制御される。
図３２は、本実施例における視差補正処理を含むキャリブレーション時の使用者とキャリブレータ８５０と狙い視野５０８０の関係の模式図である。
図３２（ａ）は、固体撮像素子４２に映ったキャリブレータ８５０を含む映像５９００を示す模式図であり、図３２（ｂ）は、使用者５０１０とキャリブレータ８５０との位置関係を示す模式図である。
図３２（ａ）における狙い視野５０８０は、後述の視差補正処理を含むキャリブレーションが未実施であって、且つ顔方向検出部２０によって検出された顔方向５０１５が正面を向く場合の狙い視野である。
一方、図３２（ａ）における狙い視野５０９０は、後述の視差補正処理を含むキャリブレーションを実施済みであって、且つ前記顔方向検出部２０によって検出された顔方向５０１５が正面を向く場合の狙い視野である。
図３３Ａは、本実施例に係る図７ＡのステップＳ１００の準備処理の一部である視差補正モード処理のフローチャートである。以下、図３２（ａ），（ｂ）も用いて、本処理の詳細を説明する。
本処理に係る図７ＡのステップＳ１００の準備動作処理において、キャリブレータ８５０への使用者５０１０の操作によって視差補正モードが起動すると（ステップＳ５１０１）、表示装置制御部８０１が位置決め指標８５１を表示する（ステップＳ５１０２）。
続いて表示装置制御部８０１が、使用者に対してキャリブレータ８５０をかざすべき位置（指定位置）を指示する。具体的には、表示装置制御部８０１が、図２２Ａと同様の指示表示８５５を行うことで、位置決め指標８５１を目線の高さで正面にかざすように使用者５０１０に対して指示する（ステップＳ５１０３）。
使用者５０１０は、指示表示８５５が行われると、ステップＳ５１０３で指示された指定位置にキャリブレータ８５０をかざし、且つ顔方向５０１５を位置決め指標８５１の方向（正面）に向ける。このとき、使用者５０１０、位置決め指標８５１、撮影・検出部１０が、図３２（ｂ）のような位置関係になる。
その後、表示装置制御部８０１は、使用者が位置決め指標中心８５２を視野正面で見たと判定すると、撮影・検出部１０と位置決め指標８５１との距離５０５０（図３２（ｂ））を測距センサ５１００によって測定する（ステップＳ５１０４）。
つづいて、全体制御ＣＰＵ１０１は、角速度センサ１０７（姿勢検出手段）によって撮影・検出部１０の水平軸５０６０を検出する（ステップＳ５１０５）。これにより、固体撮像素子４２に映った映像５９００（図３２（ａ））の水平位置５０６５が特定される。
また、ステップＳ５１０５では、全体制御ＣＰＵ１０１は、映像５９００上での位置決め指標８５１の中心と水平位置５０６５との距離５８５５（図３２（ａ））を取得する。その後、全体制御ＣＰＵ１０１（角度算出手段）は、水平軸５０６０と、撮影・検出部１０からみた位置決め指標８５１の方向とのなす角度５０５５（図３２（ｂ））を算出する。この算出は、距離５８５５、及びメモリ（例えば内蔵不揮発性メモリ１０２）にある映像５９００上のあるポイントに結像した光が何度の角度から入るかについての情報を用いて行われる。
その後、全体制御ＣＰＵ１０１（垂直距離算出手段）は、距離５０５０とステップＳ５１０５で算出された角度５０５５を用いて、撮影・検出部１０と使用者５０１０の目５０１１の垂直距離５０７０を算出し（ステップＳ５１０６）、本サブルーチンを抜ける。
ここでは、実施例２とは異なる方法で撮影・検出部１０と使用者５０１０の目５０１１との垂直距離５０７０を測定する方法を説明したが、これに限定されない。例えば、実施例２で説明した方法で撮影・検出部１０と使用者５０１０の目５０１１との垂直距離５０７０を測定しても良いし、使用者５０１０に直接、垂直距離５０７０の値を入力させても良い。
本実施例における視差補正処理を含むキャリブレーション処理は、実施例２において実行される図２１のステップＳ３１０１～Ｓ３１１１の処理と基本的に同じであるため説明を省略する。
但し、ステップＳ３１１０では実施例２で説明した処理に加え、図３３Ａの視差補正モード処理で算出された垂直距離５０７０（図３２（ｂ））に基づく視差補正を行う。すなわち、無限遠において使用者５０１０の視界と狙い視野１２５が一致するようなキャリブレーションを実施する。
図３３Ｂは、本実施例に係る図７Ａで説明したＳ３００の記録方向・範囲決定処理のサブルーチンのフローチャートである。本処理を、以下、図３４を参照して説明する。尚、図３３Ｂにおいて図７Ｄと重複するステップについては同一の符号を付し、重複した説明は省略する。
図３３Ｂにおいて、まず、全体制御ＣＰＵ１０１は、測距センサ５１００（測距手段）によって撮影可能範囲（撮像領域）の距離情報を取得する（ステップＳ５３０１）。
次に全体制御ＣＰＵ１０１（作成手段）は、ステップＳ５３０１で得た距離情報（測距センサ５１００による測定結果）を基にデフォーカスマップ５９５０（図３４（ａ）；距離マップ情報）を作成する（ステップＳ５３０２）。
図３４（ａ）のデフォーカスマップ５９５０は、図３４（ｃ）に示す、室内に観察対象５０２０が浮かんでいる状況を撮像した場合に作成されたデフォーカスマップを表している。ここでは、デフォーカスマップ５９５０中の距離情報をわかりやすく示すために撮影・検出部１０からの距離の近い側から６つの距離エリア（１）～（６）に段階分けして表現している。しかしながら、実際には無段階でデフォーカスマップ５９５０を作っても良い。
続いて、全体制御ＣＰＵ１０１は、デフォーカスマップ５９５０、顔方向５０１５、及び垂直距離５０７０（図３２（ｂ））から、撮影・検出部１０から見た観察対象５０２０の方向を算出する（ステップＳ５３０３）。すなわち、顔方向に基づき設定された観察方向に対して視差補正がなされる。
その後、図７ＤのステップＳ３０１～Ｓ３０５の処理を行い、本サブルーチンを抜ける。
このように作成されたデフォーカスマップ５９５０と顔方向５０１５の検出結果を用いることで、撮影・検出部１０から見た観察対象５０２０の方向を算出することが可能となる。尚、図２９を用いて説明した視差ズレがあるため、デフォーカスマップ５９５０の作成なしに測距センサ５１００で観察対象５０２０との距離だけを測定することはできない。
本実施例で説明した視差ズレの影響の度合いは、使用者５０１０と観察対象の距離によ
って異なる。すなわち、使用者５０１０との距離がある程度離れた観察対象においては、視差ズレの影響は無視できるため、実施例１での記録方向・範囲決定処理においても観察対象を含む狙い視野で映像を切り取って記録することが可能となる。例えば、使用者５０１０が観察対象５０２１（図３４（ｃ））を観察した場合、観察対象５０２１は使用者５０１０とある程度以上離れた中距離エリア（５）に位置しているため、ステップＳ５３０３で記録方向の視差補正を実施しなくても良い。それは顔方向検出部２０によって検出される顔方向５０１６に基づき類推される記録方向５０４１（観察方向）に応じて設定される狙い視野５０４３（図３４（ｂ））には、観察対象５０２１も含まれるからである。
一方、本実施例によれば、使用者５０１０の観察対象を狙い視野内に収めることが可能な使用者と観察対象との距離範囲を、実施例１より至近側まで拡大することが可能となる。例えば、使用者５０１０からの距離が近い至近距離エリア（１）に位置する観察対象５０２０（図３４（ａ））を使用者５０１０が観察しているとする。この場合、実施例１では、顔方向検出部２０によって検出される顔方向５０１５に基づいて観察方向５０４０（記録方向）が類推される。この観察方向５０４０に応じて設定される狙い視野５０４２（図３４（ｂ））には、観察対象５０２０が含まれない。しかし、本実施例では、図３３ＢのステップＳ５３０３で観察方向５０４０に対する視差補正がなされ、この視差補正後の記録方向に応じて観察対象５０２０を含む狙い視野５０３６が設定される。このため、観察対象５０２０のように、視差ズレの影響を無視できない程度に使用者５０１０との距離が至近距離である観察対象を良好に撮像できるようになる。
また、本実施例によれば、中距離エリア（５）に位置する観察対象を狙い視野のより中心に記録することが可能となる。例えば、使用者５０１０が中距離エリア（５）に位置する観察対象５０２１（図３４（ａ））を観察している際に、実施例１のように記録方向５０４１の視差補正を実施しないと、観察対象５０２１が上端に位置する狙い視野５０４３が設定される。一方、本実施例では、図３３ＢのステップＳ５３０３で記録方向５０４１に対する視差補正がなされ、この視差補正後の記録方向に応じて、観察対象５０２１が中心に位置する記録領域５０３７が生成される。
このように本実施例の視差補正を実施した方が、実施例１と比べてより切り取られた映像の中心に観察対象をとらえることが可能となる。
本実施例では、キャリブレーションにおいても視差補正を実施し、無限遠で使用者の視界と記録領域が一致するようにした後、撮像時に使用者と観測対象との距離が近い程補正前後での記録方向のずれが大きくなる視差補正を実施した。しかし、有限の位置、例えば、実施例２のキャリブレーション処理における使用者に対するキャリブレータ８５０の位置より遠距離の被写体や近距離の被写体について本実施例の視差補正を実施するようにしても良い。
（実施例６）
実施例６では、観察方向の算出に失敗した場合における切り出し範囲の決定方法について図３５、図３６Ａ、及び図３６Ｂを用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例６のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
実施例１では、図７Ａに示す様に、ステップＳ２００で顔方向検出部２０において検出された顔方向から算出される観察方向に基づき、ステップＳ３００で記録方向・範囲決定
処理で狙い視野を設定している。しかし、顔方向検出部２０が襟や髪などの障害物によっておおわれてしまったり、顔方向検出部２０が故障したり、顔方向検出部２０が使用者から離れてしまったりする場合がある。このような場合、使用者の顔方向を取得できなくなる。このような場合、使用者が撮像したかった狙い視野の映像を撮像できなくなってしまう。
特許文献１では、使用者を撮像する第２のカメラが使用者を検出できなかった場合、それまでの使用者の観察情報などの履歴に使用者を検出できなかったことは保存せず、再度使用者の検出が行われる。また、顔方向に追従して撮像をする場合、顔方向の検知に失敗した場合には状況に応じて撮像方向を決定することで、使用者の意図から大きく外れない映像を撮像する。
これに対して本実施例では、使用者の顔方向が検出可能な状態であれば、実施例１と同様、顔方向検出部２０で顔方向を検出し、これに基づき算出された観察方向に基づく記録方向の狙い視野の映像を撮像する。一方、使用者の顔方向が検出できない状態であり、使用者の観察方向の算出ができない場合には、使用者の意図をくみ取った狙い視野の映像を撮像する。すなわち、本実施例では、ステップＳ２００で顔方向検出処理が終了すると、ステップＳ３００で記録方向・範囲決定処理を実行する前に、観察方向決定処理を実行する。この処理では、顔方向検出部２０が使用者の顔方向の検出に失敗した場合、状況に応じて使用者の意図を判定して、観察方向の推定が行われる。すなわち、顔方向から算出される観察方向以外の情報に基づく記録方向の狙い視野の映像を撮像する。
図３５は、全体制御ＣＰＵ１０１により実行される、本実施例に係る観察方向決定処理のフローチャートである。以下本処理を図３６Ａ、図３６Ｂを用いて説明する。
まずステップＳ６００１で、顔方向検出部２０において顔方向の取得ができたかどうか判断する。顔方向が取得できた場合はステップＳ６００４に進み、全体制御ＣＰＵ１０１（モード移行手段）は、本処理のモードを顔方向モード（第１の撮像モード）に切り替え、実施例１に示す方法で顔方向から算出された観察方向を記録方向に決定する。その後、本サブルーチンを抜ける。
一方、顔方向を取得できなかった場合（ステップＳ６００１でＮＯ）、全体制御ＣＰＵ１０１（モード移行手段）は、他のモードに移行すべくステップＳ６００２に進み、過去に追尾していた被写体があるか否かを判定する。
ここで、フレーム毎の使用者の観察方向検出状態と、撮影映像の関係を示す図３６Ａを用いて、ステップＳ６００２の判定処理を説明する。
図３６Ａにおいて、ｎは映像のコマ番号、θは使用者の顔の水平方向の移動角度、ユーザ状態は各コマにおける使用者と観察対象の位置関係を示す。また、全体映像は、各コマにおいて撮影部４０が撮像した超広角映像を示し、撮影映像は各コマにおいて二次記録された画像を示す。
図３６Ａでは、ユーザ状態の各画面に示すように、使用者は、画面下位置にある「□」で示す物体を観察対象として観察しており、ｎ＝５つまり５コマ目で使用者の観察対象を検知できなかった場合を例示している。
本実施例では現在のフレームを基準としてそれよりも過去の４フレーム分を所定期間とする。この所定期間の間に３回以上同一と判定できる被写体が撮影映像内に含まれていた場合、過去に追尾していた被写体があると判断する。
図３６Ａで示す通り、ｎ＝１～４において、移動角度θは＋１０°づつ変化しているのにかかわらず、同一被写体とは判定できる「□」で示す物体が撮影映像内に含まれている。そのため、ｎ＝５では、過去に追尾していた被写体があると判定する。
尚、ステップＳ６００２の判定基準は、顔方向の検出周期や顔方向検出部２０の精度にあわせて変更してよい。
図３５に戻り、過去の所定時間内に追尾していた被写体（同一被写体））があると判定された場合（ステップＳ６００２でＹＥＳ）、ステップＳ６００５に進む。
ステップＳ６００５では、本処理のモードを、事前被写体方向を記録方向とする事前被写体追尾モード（第２の撮像モード）に切り替え、被写体を追尾するように記録方向を決定した後にステップＳ６００８に進む。このように、本実施例では、顔方向を検知できなくなっても、過去に追尾していた被写体がある場合、事前被写体追尾モードに移行して記録方向を決定するため、直前の使用者の意図を映像に反映することができる。尚、全体制御ＣＰＵ１０１（被写体認識手段）による撮影映像内の被写体の認識手法や被写体追尾検知手法については公知であるため、詳細な説明は省略する。
一方、過去に追尾していた被写体がないと判定された場合（ステップＳ６０００２でＮＯ）、ステップＳ６００３に進む。
ステップＳ６００３では、事前に内蔵不揮発性メモリ（被写体登録手段）に登録した被写体が最新の撮影映像において検出されたか判定を行う。
本実施例では、被写体の事前登録は、表示装置８００内に保存された画像から、撮像したい人物が写っている画像を使用者が指定し、選択された人物の特徴を表示装置制御部８０１が認識し、それをカメラ本体１内の全体制御ＣＰＵ１０１に送信することで行う。尚、ステップＳ６００３で検出する被写体はこれに限定されず、例えば、読み出し完了タイミングやほかの検知タイミングで取得した撮影映像に含まれる被写体であってもよい。また、事前に登録された被写体と、最新の撮影映像上の被写体が一致するかは、パターンマッチング手法にて判定を行う。パターンマッチング手法については公知であるため、詳細な説明は省略する。
事前に登録した被写体が最新の撮影映像で検出されたと判定された場合は（ステップＳ６００３でＹＥＳ）、ステップＳ６００６に進む。
ステップＳ６００６では、本処理のモードをステップＳ６００３で検出された被写体の方向を記録方向とする登録被写体モード（第３の撮像モード）に切り替え、ステップＳ６００８に進む。
一方、事前に登録された被写体が最新の撮影映像で検出されなかったと判定された場合（ステップＳ６００３でＮＯ）、観察対象とすべき被写体の推定ができなかったと判断し、ステップＳ６００７に進む。
ステップＳ６００７では、全体制御ＣＰＵ１０１（画角変更手段）は、本処理のモードを、顔方向の検出に失敗する以前の記録方向を据え置く一方、撮像する画角を前回画角と比較し広角に変更する、被写体ロストモード（第４の撮像モード）に切り替える。その後、ステップＳ６００８に進む。尚、被写体ロストモードにおける記録方向は、顔方向の検出に失敗する以前の観察方向の変化量で継続して移動させるようにしてもよい。
ここで、被写体ロストモードとなるステップＳ６００７に進む場合について、図３６Ｂを用いて説明する。
図３６Ｂでは、ｎ＝５つまり５コマ目で使用者の観察対象を検知できなかった場合を例として説明する。
図３６Ｂの例では、ｎ＝１～４までにおいて主要な被写体が見つかっておらず、また、事前登録した被写体もｎ＝５での撮影映像において見つかっていない。そのため、ｎ＝５の観察方向はｎ＝１～４までの移動方向である全面映像上の右方向に慣性を付けて遷移させる。また、全面映像から切り出す画角を広角に変更する。
ステップＳ６００８では、ステップＳ６００５～Ｓ６００７のいずれかで顔方向以外の方向から記録方向を決定した場合、全体制御ＣＰＵ１０１（通知手段）は、顔方向の検知に失敗した旨を示すエラー（検知エラー）を使用者に通知する。その後、本サブルーチンを抜ける。本実施例では図５の振動体１０６を用いて使用者に警告を出す。但し、ステップＳ６００８における通知方法は本実施例の方法に制限されず、ＬＥＤ１７を用いた警告や、表示装置８００等のカメラ本体１と連携する端末による表示など、他の通知方法を用いてもよい。
以上のように、本実施例では、顔方向が検出できなかった場合に、その状況に応じて記録方向や画角を変更するため、使用者が本来撮像したかった狙い視野の映像の撮り逃しを避けることができる。
すなわち、本実施例では、顔方向が検出できなかった場合であって、過去に追尾していた被写体や事前登録されている被写体を検知できた場合は、その被写体に追従する。一方、かかる被写体を検知できなかった場合は撮り逃しを防止すると共に被写体の再検知がしやすくするため、画角を規定の画角より広角に変更する。
これにより、顔方向の検出に失敗したことにより使用者の意図しない映像が撮像されることを防止することができる。
尚、ステップＳ６００１～Ｓ６００８の処理は毎フレーム実施されるが、各モードに遷移後も顔方向検出部２０から顔方向が取得されたか等のモード判定情報に基づき、モードを遷移できる。例えば、本実施例では被写体ロストモードにより画角を広くした結果、事前登録された被写体が検知された場合、検知した被写体の方向を観察方向とする登録被写体追尾モードに移行する。この場合、広げた画角を規定の画角に戻す。
また、本実施例では１回の判定でモードの変更を行ったが、フレームレートや顔方向の検知能力に応じて複数回の結果を基にモードを移行してもよい。
（実施例７）
実施例７では、顔方向検出の精度（信頼度）に応じて観察方向を決定する方法について図３７～図４０を用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例７のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
実施例６では、顔方向が検出できたか否かに応じて観察方向を決定するモードを切り替えて、使用者の意図しない記録方向での撮像を防止した。一方、特許文献１のように使用者の顔方向を常に安定的に検知できない場合、使用者の意図しない画角での撮像となることがある。ここで常に顔方向を安定して検知できない例としては、図１Ｂに示すように鎖骨前部にカメラ本体１の撮影・検出部１０が装着されている場合、襟や髪などの影響で顔方向の検出精度が落ちる場合が挙げられる。
図３７に示すように、使用者が正面方向を向いている場合（図３７（ａ））よりも、右方向を向いている場合（図３７（ｂ），（ｃ））に、顎や頬が体や肩に隠れてしまう領域が多くなる。すなわち、顔方向によっては、顔方向の検知に使用できる顔領域が狭くなり、その検知精度が落ちる可能性が高くなるという特性がカメラ本体１にはある。この特性は使用者によるカメラ本体１の装着位置に大きく依存する。
そこで本実施例では、カメラ本体１の装着位置や顔方向の検知結果に応じて、顔方向の検知精度（信頼度）を算出し、信頼度が高い場合は顔方向を多く観察方向に反映させ、信頼度が低い場合はそれ以外の情報を多く観察方向に反映させる。これにより、使用者の意図をくみ取り撮像することができる。
図３８は、図３５のステップＳ６００４の処理の代わりに行われる、本実施例に係る、顔方向取得時の観察方向決定処理のフローチャートである。本処理は、全体制御ＣＰＵ１０１（観察方向決定手段）により実行される。
まず、ステップＳ７００１にて、全体制御ＣＰＵ１０１（第１の観察方向算出手段、信頼度算出手段）は、顔方向検出部２０でｎフレーム目の撮像の際に取得した顔方向θｎ（第１の観察方向）に基づき顔方向信頼性Ｔｎを算出する。
顔方向信頼性Ｔｎは、以下のように算出される。
まず、顔方向θｎを顔方向θｙａｗ，θｐｉｔｃｈ，θｒｏｌｌの３つの成分に分ける。ここで、顔方向θｙａｗは顔を左右に動かす回転成分、顔方向θｐｉｔｃｈは顔を上下に動かす回転成分、顔方向θｒｏｌｌは首をかしげるように動かす回転成分を示す。
本実施例では使用者の鎖骨部にカメラ本体１を装着し顔下部から顔方向を検知することを想定しているためＴｎ（０≦Ｔｎ≦１）は以下の式７０１で求められる。
Figure 2023142257000004
図３９は、顔方向θｙａｗと顔方向信頼性Ｔｎの値の変化を示しており、顔方向θｙａｗが正面から大きく変化するほど、顔方向信頼性Ｔｎが低下することを示している。
尚、本実施例は式７０１を用いて顔方向信頼性Ｔｎを算出したが、顔方向検出部２０による顔方向の検知精度や検出のフレームレートなどに応じて、過去に算出された顔方向信頼性を重みづけして算出したものを加重平均して用いることもできる。また、Ｔｎの算出の際、パターンマッチングの精度、装着位置等を重みづけするようにしてもよい。
また、本実施例では、式７０１から求まる決定係数によって被写体領域の予測の信頼度を算出した。しかし、決定係数の算出方法については、これに限定されない。例えば、実
施例２のキャリブレーションにより推定できる装着位置に応じた調整済みの決定係数を用いるようにしてもよい。また、キャリブレーション時に検出精度が低いと判断された場合には、その精度に応じて決定係数を変更してもよい。さらに、機械学習を用いて顔方向を検出する場合、その適合率を決定係数に反映させるようにしてもよい。
ステップＳ７００２にて、全体制御ＣＰＵ１０１は、顔方向の角速度の下記Ａを求める。具体的には、顔方向検出部２０からｎフレーム目の撮像の際に取得した顔方向θｎと顔方向取得時刻ｔｎと、一次メモリ１０３に保存された１フレーム前の顔方向情報θｎ－１とその取得時刻ｔｎ－１から角速度Ａを下記の式７０２で求める。
Figure 2023142257000005
本実施例では角速度Ａを現在のフレームと１フレーム前の情報を用いて算出したが、
フレームレート等に応じて過去の情報を一つ以上用いて角速度を求めてもよい。
ステップＳ７００３にて、全体制御ＣＰＵ１０１（観察方向予測手段）は、一次メモリ１０３に保存された過去の顔方向の遷移から現在の顔方向の予測を行う。本実施例では現在のフレームを基準としてそれよりも過去の４フレーム分を所定期間とし、当該４フレームの間に３回以上同一と判定できる一定方向に顔方向が変位しつづけていた場合、過去の顔方向及び角速度から観察方向の予測ができると判断する。また、この予測を行う場合、過去の４フレームから得られた角速度の加重平均である予測角速度の下記Ｂを下記の式７０３で算出し、予測顔方向θａｖｅ（第２の観察方向）を下記の式７０４で算出する。式７０３，７０４の演算は、夫々図４０（ａ１），（ａ２）に示す処理に対応する。
尚、フレームレートや顔方向検出部２０の検出精度に合わせて、ステップＳ７００３で用いる所定期間の長さや加重平均のかけ方を変化させてよい。
Figure 2023142257000006
ステップＳ７００４にて、全体制御ＣＰＵ１０１は、一次メモリ１０３に保存された
情報のうち、顔方向検出部２０からの情報以外の内部情報を用いて観察方向の予測を行う。具体的には、本実施例では、被写体検出履歴から現在被写体を追尾している状態か判定を行う。追尾していると判定した場合、被写体の動きに基づく予測観察方向θｓｕｂ（第２の観察方向）を算出する。本実施例では、現在のフレームを基準としてそれよりも過去の４フレーム分を所定期間とし、当該４フレームの撮影映像から３回以上同一と判定できる被写体（同一被写体）が検知された場合、被写体を追尾している状態であるとする。被写体追尾判定は、全体制御ＣＰＵ１０１による検知周期や検知精度にあわせて判定基準を変更してよい。尚、被写体追尾検知手法については公知であるため、詳細な説明は省略する。
尚、本実施例ではステップＳ７００４の観察方向の予測に用いる内部情報は、被写体検
出履歴であったがこれに限定されない。例えば、カメラ本体１の装着位置や性能に応じて、撮影部４０に映りこんだ使用者の顔情報や、角速度センサ１０７及び加速度センサ１０８で検出されたカメラ本体１の移動や姿勢に関する情報を用いて、観察方向の予測を行ってもよい。また、実施例６のステップＳ６００６のように、事前に登録された被写体がある場合、全体制御ＣＰＵ１０１（第３の観察方向予測手段）は、最新の撮影映像上の事前に登録された被写体の方向を予測観察方向θｓｕｂとして求めてもよい。
ステップＳ７００５にて、全体制御ＣＰＵ１０１は、顔方向検出関連情報を履歴として一次メモリ１０３に保存する。ここで、顔方向検出関連情報は、ステップＳ７００２で生成した顔方向の角速度Ａと、ステップＳ７００１にて算出した顔方向信頼性Ｔｎ、顔方向検出部２０により検出された顔方向θｎ、顔方向取得時刻ｔｎ、及びこれら各情報の生成時点を示す情報からなる。
ステップＳ７００６にて、全体制御ＣＰＵ１０１は、ステップＳ７００１で算出した顔方向信頼性Ｔｎが所定値以上だった場合、顔方向の信頼性が高いと判断し、ステップＳ７００９に進む。
ステップＳ７００９では、全体制御ＣＰＵ１０１は、顔方向を現在の観察方向θ’ｎに決定してステップＳ７０１３に進む。
一方、ステップＳ７００１で算出した顔方向信頼性Ｔｎが所定値未満だった場合は（ステップＳ７００６でＮＯ）、ステップＳ７００７に進む。
ステップＳ７００７ではステップＳ７００３にて予測顔方向θａｖｅの推定ができ、かつ｜θｎ－θａｖｅ｜が所定の角度以内であるという条件を満たした場合ステップＳ７０１０に進む。本実施例では所定の角度をπ／８として判定を行う。
ステップＳ７０１０では、全体制御ＣＰＵ１０１（第１の観察方向予測手段）は、θｎとθａｖｅと顔方向信頼性Ｔｎを用いて現在の観察方向θ’ｎを決定する。本実施例では現在の観察方向θ’ｎ′を下記の式７０５で求め、ステップＳ７０１３に進む。式７０５の演算は、図４０（ｂ）に示す処理に該当する。図３９で示す通り、顔方向θｙａｗの角度の絶対値が小さいほど顔方向信頼性Ｔｎが大きくなるので、現在の観察方向θ’ｎには、式７０５に示すように顔方向θｎが多く反映される。一方、顔方向θｙａｗの角度の絶対値が大きいほど顔方向信頼性Ｔｎが小さくなるので、現在の観察方向θ’ｎには、式７０５に示すように顔方向θｙａｗ以外の他情報（予測顔方向θａｖｅ）が多く反映される。
Figure 2023142257000007
ステップＳ７００７にて上記条件を満たさなかった場合、ステップＳ７００８に進み
、予測観察方向θｓｕｂの推定ができ、かつ、｜θｎ－θｓｕｂ｜が所定の角度以内であるという条件を満たした場合、ステップＳ７０１１に進む。ステップＳ７０１０と同様、本実施例では所定の角度をπ／８として判定を行う。
ステップＳ７０１１では、全体制御ＣＰＵ１０１（第２の観察方向予測手段）は、顔方向θｎと、予測観察方向θｓｕｂと、顔方向信頼性Ｔｎを用いて現在の観察方向θ’ｎを決定する。本実施例では現在の観察方向θ’ｎを下記の式７０６で求め、ステップＳ７０１３に進む。ステップＳ７０１０と同様、図３９で示す通り、顔方向θｙａｗの角度の絶
対値が小さいほど顔方向信頼性Ｔｎが大きくなるので、現在の観察方向θ’ｎには、式７０６に示すように顔方向θｎが多く反映される。一方、顔方向θｙａｗの角度の絶対値が大きいほど顔方向信頼性Ｔｎが小さくなるので、現在の観察方向θ’ｎには、式７０６に示すように顔方向θｙａｗ以外の他情報（予測観察方向θｓｕｂ）が多く反映される。
Figure 2023142257000008
ステップＳ７００８にて上記条件を満たさなかった場合、現状信頼できる観察方向の
取得ができないと判断し、ステップＳ７０１２に進む。
ステップＳ７０１２では、前回の観察方向θ’ｎ－１を過去の観察方向の変位に基づき慣性を付けて移動させた観察方向に、現在の観察方向θ’ｎを決定し、且つ画角を規定値よりも広く設定し、ステップＳ７０１３に進む。これにより、使用者が意図する被写体を撮り逃す可能性を低下させる。
今回の実施例では、顔方向信頼性Ｔｎと被写体の検知状態に応じて現在の観察方向θ’ｎの算出方法を切り替えたが、これに限定されない。例えば、予測顔方向θａｖｅと予測観察方向θｓｕｂのそれぞれを算出する際にその信頼度（予測方向信頼度）も算出し、算出されたそれらの信頼度に応じて、算出された観察方向θ’ｎを補正するようにしてもよい。
また、算出された各信頼度が所定値以下だった場合、使用者が意図する被写体を撮り逃す可能性が高くなることが考えられるため、画角を規定の画角よりも広角に設定するようにすることが好ましい。また、その場合、ステップＳ７０１２に進むようにしてもよい。またその後、算出された各信頼度のいずれかが所定値より大きくなった場合、画角を規定の画角に戻すことが好ましい。
図３８の処理により、顔方向信頼性Ｔｎが高い場合には、顔方向θｎを現在の観察方向θ’ｎに決定する。一方で顔方向信頼性Ｔｎが低い場合には、状況に応じて、顔方向信頼性Ｔｎが高かった時点の情報や、顔方向以外の情報を用いて現在の観察方向θ’ｎ（記録方向）を決定し、さらに状況によっては画角を広くする。
すなわち、本実施例では、顔方向信頼性Ｔｎが低く、顔方向の検出の精度が低いと予想される場合には、予測顔方向θａｖｅや予測観察方向θｓｕｂを用いることにより、顔方向検知の失敗により使用者の意図しない映像が撮像されることを防止できる。
（実施例８）
実施例８では、カメラ本体１を安定した位置に装着する方法について図４１～４５を用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例８のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
まず、接続部８０（首掛け手段）の角度調節について説明する。
図４１は、撮影・検出部１０を側面から見た様子を示す拡大図である。
図４１（ａ）は、接続部８０が標準位置である位置Ａｘ０にある時の図であり、図４１（ｂ）は、接続部８０が回転軸ＯＡを中心として位置Ａｘ０に対して角度θＡ１だけ回転した位置Ａｘ１にある時の図である。図４１（ｃ）は、角度保持部８１の外装を除去した場合に視認しうる角度保持部８１の内部のメカ機構を示す模式図である。
図４１（ｃ）に示すように、角度保持部８１の内部には、角度調節機構８１００（首掛け角度調節手段）が配置されている。
角度調節機構８１００は、撮影・検出部１０に対する角度保持部８１の角度調節を行う角度調節カム８１０１、及び角度調節カム８１０１を係止する係止部材８１０２からなる。尚、図４１（ａ）に示すＯＡは、角度保持部８１の回動中心であり、角度調節カム８１０１の中心にある。
係止部材８１０２は、不図示のばねによって角度調節カム８１０１に対して付勢されている部材であるが、角度調節ボタン８５（図２Ｆ）が押下されている間はその付勢が解除されて角度調節カム８１０１から離れる。すなわち、角度調節ボタン８５が押下されている間のみ、接続部８０の角度保持部８１は撮影・検出部１０に対して回動可能な状態になる。
使用者は、角度調節ボタン８５を押しながら角度保持部８１を撮影・検出部１０に対して回動させることで、接続部８０の位置を位置Ａｘ０（図４１（ａ））から位置Ａｘ１（図４１（ｂ））まで調節することが可能である。
撮影・検出部１０に対する角度保持部８１の角度を保持するための機構として、本実施例では角度調節カム８１０１と係止部材８１０２を用いた有段調節の機構を用いているが、摺動抵抗を利用した無段階調節を可能とする機構を用いても良い。
また、本実施例では、使用者が角度調節ボタン８５を押しながら角度保持部８１を回転させる構成としたが、これに限定されない。例えば、角度調節ボタン８５を必要とせず、ある閾値以上の外力が角度保持部８１にかかると角度保持部８１を回動するようなバランスをとった構成、例えば係止部材８１０２の代わりにボールを用いたものや、摺動抵抗を用いたものでも良い。
図４２は、使用者がカメラ本体１を装着した様子を示す側面図である。
図４２（ａ）は、接続部８０が位置Ａｘ０にあり、かつバンド部８２を長く調節した状態のカメラ本体１を装着した使用者を示す図である。図４１（ｂ）は、接続部８０が位置Ａｘ０にあり、かつバンド部８２を短く調節した状態のカメラ本体１を装着した使用者を示す図である。図４１（ｃ）は、接続部８０が位置Ａｘ１にあり、かつバンド部８２を短く調節した状態のカメラ本体１を装着した使用者を示す図である。
図４２（ａ），（ｃ）に示すように、接続部８０の位置とバンド部８２の長さの関係が、使用者にとって適している状態であれば、撮像レンズ１６は使用者の正面を向く。一方で、図４２（ｂ）に示すように、接続部８０の位置とバンド部８２の長さの関係が、使用者にとって適した状態でなければ、撮像レンズ１６は使用者の正面を向かない。この図４２（ｂ）の場合、撮像レンズ１６は光軸が上方向を向いている。
このように接続部８０はその位置の調節が可能に構成されているため、使用者は、撮像レンズ１６の光軸が使用者の自然状態での視線位置と略並行な状態となるように、カメラ
本体１を装着することが可能となる。もちろん、使用者にとって適切なカメラ本体１の装着位置が、撮像レンズ１６の光軸が水平方向であった場合にも、同様に適切な装着が可能である。
次に、胸部接続パッド１８の角度調節について説明する。
図４３は、接続部８０を非表示とした場合の、撮影・検出部１０を側面から見た様子を示す拡大図である。
図４３（ａ）は、胸部接続パッド１８が標準位置である位置Ｂｘ０にある時の図であり、図４３（ｂ）は胸部接続パッド１８が、回転軸ＯＢを中心として位置Ｂｘ０に対して角度θＢ１だけ回転した位置Ｂｘ１にある時の図である。図４３（ｃ）は、撮影・検出部１０の外装を除去した場合に視認しうる撮影・検出部１０の内部のメカ機構を示す模式図である。
図４３（ｃ）に示すように、撮影・検出部１０の内部には、角度調節機構８２００（接地角度調節手段）が配置されている。
角度調節機構８２００は、撮影・検出部１０に対する胸部接続パッド１８の角度調節を行う角度調節カム８２０１、及び角度調節カム８２０１を係止する係止部材８２０２からなる。尚、図４３（ｃ）に示すＯＢは、胸部接続パッド１８の回動中心である。
係止部材８２０２は、不図示のばねによって角度調節カム８２０１に対して付勢されている部材であるが、角度調節ボタン８２０３が押下されている間はその付勢が解除されて角度調節カム８２０１から離れる。すなわち、角度調節ボタン８２０３が押下されている間のみ、胸部接続パッド１８は撮影・検出部１０に対して回動可能な状態になる。
使用者は、角度調節ボタン８２０３を押しながら胸部接続パッド１８を撮影・検出部１０に対して回動させることで、胸部接続パッド１８の位置を位置Ｂｘ０から位置Ｂｘ１まで調節することが可能である。
撮影・検出部１０に対する胸部接続パッド１８の角度を保持するための機構として、本実施例では角度調節カム８２０１と係止部材８２０２を用いた有段調節の機構を用いているが、摺動抵抗を利用した無段階調節を可能とする機構を用いても良い。
また、本実施例では、使用者が角度調節ボタン８２０３を押しながら胸部接続パッド１８を回転させる構成としたが、これに限定されない。例えば、角度調節ボタン８２０３を必要とせず、ある閾値以上の外力が胸部接続パッド１８にかかると胸部接続パッド１８が回動するようなバランスをとった構成、例えば係止部材８２０２の代わりにボールを用いたものや、摺動抵抗を用いたものでも良い。
図４４は、接続部８０を非表示とした場合の、使用者がカメラ本体１を装着した様子を示す側面図である。
図４４（ａ）は、胸部が立っている使用者が、胸部接続パッド１８が位置Ｂｘ０の状態のカメラ本体１を装着した様子を示す図である。図４４（ｂ）は、胸部が寝ている使用者が、胸部接続パッド１８が位置Ｂｘ０の状態のカメラ本体１を装着した様子を示す図である。図４４（ｃ）は、胸部が寝ている使用者が、胸部接続パッド１８が位置Ｂｘ１の状態でカメラ本体１を装着した様子を示す図である。
図４４（ａ），（ｃ）に示すように、胸部接続パッド１８の位置が、使用者の胸部の傾きに対して適している状態であれば、胸部接続パッド１８は使用者の胸部に対して広い範囲で接地される。一方で、図４４（ｂ）のように、胸部接続パッド１８の位置が、使用者の胸部の傾きに対して適した状態でなければ、胸部接続パッド１８は使用者の胸部に対してわずかな範囲しか接地しない。図４４（ｂ）のように、胸部接続パッド１８が使用者の胸に接地している範囲が小さくなると、使用者が体を動かした際に撮影・検出部１０が容易に使用者の体に対して動いてしまい、撮像される映像が大きくぶれてしまう。
このように胸部接続パッド１８はその角度の調節が可能に構成されているため、使用者は自身の胸部に対して広い範囲に胸部接続パッド１８が設置されるように、カメラ本体１を装着することが可能となり、撮影映像のブレを抑制することができる。
尚、本実施例では、胸部接続パッド１８は撮影・検出部１０に配置されているが、接続部８０に配置されていても同様の効果が得られる。この場合、例えば、接続部８０の内部に図４１（ｃ）に示す角度調節機構８１００と同様の機構が、接続部８０に対する胸部接続パッド１８の角度調節を行う機構として配置される。
次に、バンド部８２及び電気ケーブル８４の構成について詳細に説明する。
実施例１で説明したように、カメラ本体１のバッテリー部９０（電源手段）と撮影・検出部１０は、電気ケーブル８４を介して電気的に接続されている別体のモジュールである。
ここで電気ケーブル８４とバンド部８２を別体とすると、カメラ本体１の美観上好ましくなく、また使用者が首に装着する際の操作が煩わしくなってしまう面でも好ましくない。従って、バンド部８２と電気ケーブル８４は一体となっていることが望ましいが、図２Ｂに示すような構成に限定されるものではない。
図４５は、バンド部８２及びこれと一体となって構成される電気ケーブル８４の切断面である接続面８３を示す図である。
図４５（ａ）～（ｃ）までは、電気ケーブル８４がフレキシブル基板（ＦＰＣ）で構成されている場合を示し、図４５（ｄ）～（ｇ）は、電気ケーブル８４が細線ケーブルによって構成されている場合を示す。
図４５（ａ），（ｄ）では、接続面８３から見て、バンド部８２の内部に電気ケーブル８４が埋め込まれている。この場合、バンド部８２の素材は、例えばシリコンゴム、エラストマー、ゴム、プラスチックのような、射出成型可能な弾性部材であることが望ましい。バンド部８２と電気ケーブル８４が一体となる部品の製造方法としては、バンド部８２の射出成型時に電気ケーブル８４をインサートする方法が挙げられる。他にも、バンド部８２を２部品にて構成し、電気ケーブル８４を挟み込んだうえで接着剤や熱溶着により２部品にて構成されるバンド部８２を一体部品とする製造方法を採用してもよい。但し、図４５（ａ），（ｄ）に示すように、バンド部８２と電気ケーブル８４が一体となる部品が製造できればよく、前述の２つの製造方法に限定するものではない。
図４５（ｂ），（ｃ），（ｅ）は、接続面８３から見て、バンド部８２の外側に電気ケーブル８４が当接されている。
図４５（ｂ）では、接続面８３から見てバンド部８２には、電気ケーブル８４と一体化するための形状は特に設けられておらず、ただバンド部８２の表面に電気ケーブル８４を
接着する構成であるため、低コストで製造が可能である。しかし、電気ケーブル８４（この場合はＦＰＣ）が外観側にあると、ＦＰＣが外観側に露出することが美観上、好ましくない場合がある。この場合、ＦＰＣの露出を無くすため、外装に塗装を行ったりフィルムを被せたりする処理が求められる。また、電気ケーブルが使用者の首接触側にあると、装着感が悪くなる場合がある。この場合、装着感をよくするため、やはり、外装に塗装を行ったりフィルムを被せたりする処理が求められる。
図４５（ｃ），（ｅ）では、接続面８３から見てバンド部８２には、電気ケーブル８４と一体化するために凹み形状８３ａが設けられており、その凹み形状８３ａの内部に電気ケーブル８４が配置される。この場合、凹み形状８３ａを使用者の首接触側に設けると、カメラ本体１の美観は確保される上、凹み形状８３ａを電気ケーブル８４が直接使用者の首に接触しないように設けると、特別な処理を行わなくても使用者の装着感を良好に保つことが出来る。さらにはバンド部８２の作成時に適切な設計を行えば凹み形状８３ａの付与には追加コストもかからないため、費用面でも好適である。
図４５（ｆ），（ｇ）でも、前述した図４５（ａ），（ｄ）と同様に、接続面８３から見てバンド部８２の内部に電気ケーブル８４が埋め込まれている。図４５（ｆ）は電気ケーブル８４が１本の時の構成を、図４５（ｇ）は電気ケーブル８４が複数本の場合の構成を示す。これらの構成は、図４５（ａ），（ｄ）とは異なり、接続面８３におけるバンド部８２の断面積を確保したことが特徴である。接続面８３におけるバンド部８２の断面積は、バンド部８２のねじれ剛性、曲げ剛性に影響するが、これらの剛性は使用者がカメラ本体１を装着した際、撮影・検出部１０が体の定位置で安定し続けるための安定性に影響する。すなわち、接続面８３におけるバンド部８２の断面積が大きく、ねじれ剛性、曲げ剛性が強いほど、かかる撮影・検出部１０の安定性が向上する。尚、電気ケーブル８４の突出側を使用者の首接触側に向けると、使用者とバンド部８２が接触する面積が少なくなり、装着感が悪くなるため、電気ケーブル８４の突出側は外観側に位置することが好ましい。よって、図４５（ｆ），（ｇ）に示す形状は、バンド部８２において電気ケーブル８４の突出した形状が外観側から見えるため、カメラ本体１の美観上は図４５に示す他の形状より好ましくないが、バンド部８２の剛性の確保の観点では適した形状である。
以上より、美観と装着感のバランスより図４５（ｃ），（ｅ）の形状が最も好適と考えらえるが、その他、コストや剛性を重視する場合には図４５に示す他の形状をとることが可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（実施例９）
実施例９では、カメラ本体１を含むカメラシステムの変形例について図４６Ａ，４６Ｂを用いて説明する。
基本的に本実施例は、実施例１からの派生として説明をおこなう。このため、実施例９のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。
実施例１では、表示装置８００には一般のスマートフォンが利用されていたが、市場のスマートフォンメーカーは複数あり、その演算能力も多種多様である。例えば、実施例１では、表示装置８００に超広角画像から切り出した記録方向の映像を転送する際、光学補正処理や防振処理に必要な情報がその映像に付加されていた。この情報に基づき表示装置
８００が、歪曲収差補正や防振補正を行うが、使用者が表示装置８００として使用するスマートフォンではこれらの補正を行うには演算能力が低すぎる場合もある。
そこで、本実施例のカメラシステムは、撮像装置としてのカメラ本体１’及び表示装置８００より演算能力が低い表示装置９８００を備える。
カメラ本体１’では、映像の一次記録処理までの処理（図７ＡのステップＳ１００～Ｓ６００）が終了すると、表示装置９８００への転送処理は行われることなく、ステップＳ８００，Ｓ９００の処理が実行される。その後、カメラ本体１’では、ステップＳ８００，Ｓ９００の処理が完了した映像を表示装置９８００に転送する処理が行われる。
一方、表示装置９８００では、カメラ本体１’からの映像に対して、ステップＳ８００，Ｓ９００の処理を行うことなく、そのまま二次記録する。
以下、本実施例のカメラシステムについて具体的に説明する。
図４６Ａは、本実施例に係る撮像装置としてのカメラ本体１’と接続する表示装置９８００のハードウェア構成を示すブロック図である。
図４６Ａでは、図６に示す実施例１に係る表示装置８００のハードウェア構成と同一のものについては、同一の符号を付し、重複した説明は省略する。
表示装置９８００は、表示装置制御部８０１の代わりに表示装置制御部９８０１を有し、顔センサ８０６を有していない点で表示装置８００と異なる。
表示装置制御部９８０１は、表示装置制御部８０１（図６）を構成するＣＰＵより演算能力が低いＣＰＵにより構成される。また、内蔵不揮発性メモリ８１２、一次メモリ８１３の能力は、実施例１の場合より低くてもよい。
図４６Ｂは、カメラ本体１’の機能ブロック図である。
図４６Ｂでは、図４に示す実施例１に係るカメラ本体１の機能ブロックと同一のものについては、同一の符号を付し、重複した説明は省略する。
図４６Ｂに示す機能ブロックは、光学補正処理と防振処理を行う光学・防振補正部９０８０がある点と、全体制御ＣＰＵ１０１ではなく全体制御ＣＰＵ９１０１の制御により各機能ブロックが実行される点が図４と異なる。また、送信部７０のあらかじめ決められた通信相手の一つが、表示装置８００ではなく表示装置９８００である点も異なる。
すなわち、本実施例では、全体制御部ＣＰＵ９１０１の光学・防振補正部９０８０が、光学補正値やジャイロデータを使って、光学歪補正と防振補正を行う。そのため、実施例１で送信部７０が表示装置８００に転送する映像ファイル１０００と比べて、本実施例で送信部７０が表示装置９８００に転送する光学歪補正と防振補正後の映像ファイルはそのデータ量が少なくなる。
また、表示装置９８００では、ステップＳ８００，Ｓ９００の処理を行わない分、表示装置８００と比べて演算能力を低く抑えることができる。また、スマートウォッチなどで構成される簡易表示装置９００（鑑賞部）でもカメラ本体１’で撮像された映像の閲覧が可能となる。
以上、カメラ本体１により、使用者（ユーザ）が観察していた領域の映像を切り出して記録する方法について説明した。カメラ本体１によって切り出される領域は、以下、切り出し領域と称される。切り出し領域は、使用者が顔の方向を逸らしてしまった場合など、動画の一部において使用者が記録したかった領域から外れる場合がある。実施例１０及び実施例１１は、カメラ本体１で撮像した動画を表示装置８００に転送し、切り出し領域を補正する方法についての実施例である。
（実施例１０）
図５０は、切り出し動画の一部を例示する図である。表示装置８００は、ユーザ（使用者）がカメラ本体１の動画モードで撮影した動画を受信し、大容量不揮発性メモリ８１４に格納している。図５０は、動画中の５フレームについて、カメラ本体１で決定された切り出し領域５０００を表示装置８００に表示させた例を示す。
図５０（ａ）は、ユーザが映像として残しておきたい被写体１３１が切り出し領域５０００の中央に映っている様子を示す。図５０（ｂ）は、被写体１３１が切り出し領域５０００の端に向かって移動する様子を示す。図５０（ｃ）は、被写体１３１が切り出し領域５０００から見切れた様子を示す。図５０（ｄ）は、被写体１３１が切り出し領域５０００の中央に戻ってくる様子を示す。図５０（ｅ）は、被写体１３１が切り出し領域５０００の中央に戻ってきた様子を示す。
子供を被写体１３１として撮像している場合、ユーザが途中で近くを通る車に顔を向けたり、音がした方向を向いたりすることで、ユーザの顔方向は被写体１３１から逸れることが考えられる。この場合、図５０（ｃ）に示すように、被写体１３１は、切り出し領域から見切れてしまう可能性がある。
実施例１０では、カメラ本体１で撮像した動画の切り出し領域を、撮像後に表示装置８００で補正できるようにするため、カメラ本体１は、撮像した動画に対して切り出し処理を施さずに記録する撮像モードとして、全領域動画モードを有する。
図５１を参照して、カメラ本体１の撮像モードについて説明する。図５１は、実施例１０に係る撮影・検出部１０を裏側（ユーザに接触する側）から見た図である。撮像モードスイッチ１２Ａ以外の構成については、図２Ｃと同様であるため説明は省略する。撮像モードスイッチ１２Ａは、図２Ｃと同じ「Ｐｈｏｔｏ」、「Ｎｏｒｍａｌ」、「Ｐｒｉ」の撮像モードの他、全領域動画モードに対応する「Ｗｈｏｌｅ」を選択できるスライドレバーの形のスイッチである。
図５２Ａ～図５２Ｄを参照して、カメラ本体１で撮像した動画から領域の切り出しをせずに、全領域の動画を記録し、表示装置８００に転送する処理について説明する。図５２Ａ～図５２Ｄの処理は、それぞれ実施例１の図７Ａ、図７Ｂ、図７Ｅ、図１４の処理に対応し、同様の処理については、同じ符号を付して詳細な説明は省略する。
実施例１０では、カメラ本体１は、撮像モードスイッチ１２Ａが「Ｗｈｏｌｅ」に設定された、全領域動画モードで撮像する。カメラ本体１は、切り出しを行わずに全領域の動画を記録し、表示装置８００へ転送する。
図５２ＡのステップＳ８１００では、全体制御ＣＰＵ１０１は、図７ＡのステップＳ１００に対応する準備動作処理を実行する。図５２Ｂは、ステップＳ８１００の準備動作処理のサブルーチンのフローチャートである。図５２Ｂの準備動作処理において、ステップＳ８１０２では、撮像モードスイッチ１２Ａで選択されているモードが全領域動画モードである場合、動画モードが選択されている場合と同様に、処理はステップＳ１０３に進む
。
ステップＳ１０３では、全体制御ＣＰＵ１０１は、全領域動画モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存する。全領域動画モードの各種設定は、防振レベル等の設定を含む。ステップＳ１０４では、全体制御ＣＰＵ１０１は、全領域動画モード用に撮像ドライバー４１の動作を開始し、準備動作処理を終了する。
図５２ＡのステップＳ２００～ステップＳ４００では、全体制御ＣＰＵ１０１は、図７ＡのステップＳ２００～ステップＳ４００と同様の処理を実行する。ステップＳ４００で、撮影部４０は撮影を行い、撮像データを生成する。
ステップＳ８５００では、画像切り出し・現像処理部５０は、ステップＳ４００で生成された撮像データの全領域に対して現像処理を実行する。図５２Ｃは、ステップＳ８５００の全領域現像処理のサブルーチンのフローチャートである。図５２Ｃの全領域現像処理は実施例１における図７Ｅの流れから領域の切り出し処理（ステップＳ５０２）を除いた処理である。
ステップＳ５０１では、図７ＥのステップＳ５０１と同様に、画像切り出し・現像処理部５０は、全領域のＲＡＷデータを取得する。ステップＳ８５０３～ステップＳ８５０８では、画像切り出し・現像処理部５０は、図７ＥステップＳ５０３～ステップＳ５０８の処理と同様の処理を全領域に対して実行する。
図５２ＡのステップＳ８６００では、全体制御ＣＰＵ１０１は、ステップＳ８５００で現像した全領域の映像を一次記録部６０に保存する。図５２Ｄは、ステップＳ８６００の一次記録処理のサブルーチンのフローチャートである。図５２Ｄの一次記録処理のうち、図１４に示す実施例１の一次記録処理と異なる点について説明する。図５２Ｄに示す一次記録処理は、図１４のステップＳ６０１からステップＳ６０６に対応する処理であり、ステップＳ８５００で現像された映像の各フレームに対して実行される。図５２Ｄにおいて処理対象のフレームは、現フレームと称される。
図５２ＤのステップＳ６０１では、全体制御ＣＰＵ１０１は、図１４のステップＳ６０１と同様に、現フレームの画像の切り出し位置（切り出し領域の位置）の情報を、現フレームに対するメタデータである補正データに添付（付加）する。添付される切り出し位置の情報は、例えば、図７ＤのステップＳ３０５で記録した映像記録用枠１２７ｉの座標Ｘｉ，Ｙｉである。
ステップＳ８６０１では、全体制御ＣＰＵ１０１は、現フレームの画像の切り出しサイズ（切り出し領域のサイズ）も補正データに添付（付加）する。添付される切り出し位置の情報は、例えば、図７ＤのステップＳ３０５で記録した映像記録用枠１２７ｉの横幅ＷＸｉ及び縦幅ＷＹｉである。
ステップＳ６０２～ステップＳ６０５の処理は、図１４の同じ符号を付した処理と同様である。ステップＳ８６０６では、現フレームに対する補正データ（フレームメタデータ）は、切り出し領域の位置だけでなく、切り出し領域のサイズを含む。全体制御ＣＰＵ１０１は、ステップＳ８５００で現像された映像の各フレームに対して図５２Ｄの処理を実行することにより、表示装置８００に転送するための映像ファイルを生成する。映像ファイルに各フレームの切り出し領域の位置及びサイズを含めることで、表示装置８００は、カメラ本体１から受信する映像ファイルに対して、切り出し処理を実行することができる。
図５３を参照して、映像ファイルのデータ構造（形式）について説明する。図５３に示す映像ファイル２０００（動画データ）は、図１５で説明した映像ファイル１０００と同様にヘッダ１００１及びフレーム２００２を含む。フレーム２００２は、動画を構成する各フレームの画像とこれに対応するフレームメタデータがセットとなったフレームデータセットを、動画の総フレームの数だけ含んでいる。映像ファイル２０００の各フレームの画像は、全領域画像である。
各フレームのフレームメタデータは、ステップＳ８６０１で補正データとして添付される切り出しサイズの情報を含む。さらに、映像ファイル２０００のフレームメタデータは、図１５で説明したパラメータに加えて、切り出し位置補正量、切り出しサイズ補正量、ユーザ変更操作フラグの３つのパラメータを含む。追加された３つのパラメータは、表示装置８００で動画の切り出し領域を補正する処理で使用される。
ユーザ変更操作フラグは、ユーザ操作によって切り出し領域が補正されたか否かを示すフラグである。切り出し位置補正量は、ユーザ操作によって補正された切り出し領域の位置の補正量である。切り出しサイズ補正量は、ユーザ操作によって補正された切り出し領域のサイズの補正量である。
ステップＳ８６００の一次記録処理では、切り出し位置補正量及び切り出しサイズ補正量は、全てのフレームにおいて０に設定される。ユーザ変更操作フラグは、動画の最初のフレーム及び最後のフレームではＯＮを示す値が設定され、その他のフレームではＯＦＦを示す値が設定される。動画の最初のフレーム及び最後のフレームは、ユーザが切り出し領域の補正操作をしなかったフレームの切り出し領域の補正量を取得（計算）するために用いられるため、ユーザ変更操作フラグがＯＮに設定される。
なお、ユーザ変更操作フラグをＯＮに設定するフレームは、動画の最初のフレーム及び最後のフレームに限られない。動画が複数のシーンを含む場合、ユーザ変更操作フラグは、シーンが変わる前の最後のフレーム及びシーンが変わった後の最初のフレームでＯＮに設定されてもよい。表示装置制御部８０１は、例えば、動画の解析により被写体が変わった場合、フレーム間の画素値の差分が閾値以上になった場合等、各種方法によりシーンの変化を検知することができる。
表示装置制御部８０１は、シーンが変化する前後で被写体が変わったような場合でも、補正対象のフレームが含まれるシーンの最初のフレーム及び最後のフレームに基づいて切り出し領域を補正することができる。これにより、表示装置制御部８０１は、シーンに応じて被写体が適切に切り出された切り出し動画を生成することができる。
図５２ＡのステップＳ７００～ステップＳ１０００の処理は、図７ＡのステップＳ７００～ステップＳ１０００と同様の処理である。ステップＳ８６００で一次記録をした映像ファイル２０００（動画データ）は、ステップＳ７００で表示装置８００に転送される。表示装置８００の表示装置制御部８０１は、ステップＳ８００及びステップＳ９００で、カメラ本体１から受信した映像ファイル２０００に対して光学補正処理及び防振処理を実行する。表示装置制御部８０１は、映像ファイル２０００を、大容量不揮発性メモリ８１４に格納する。図５２Ａに示す処理によって、カメラ本体１で撮像された全領域の動画データは、表示装置８００の大容量不揮発性メモリ８１４に保存される。
図５４を参照して、表示装置８００での切り出し領域の補正について説明する。全領域動画表示部８８１は、表示装置８００に保存された全領域動画を表示する領域である。切り出し領域枠８８２は、全領域動画において切り出し領域として決定された領域を示す。
切り出し領域枠８８２の位置及びサイズの情報は、図５２ＡのステップＳ３００で決定され、動画データにフレームメタデータとして保存されている。表示装置制御部８０１は、表示中のフレーム画像に対し、当該フレームの切り出し領域の情報を映像ファイル２０００から読み出し、切り出し領域を示す切り出し領域枠８８２をフレーム画像に重畳させるように表示制御をする。
ユーザは、切り出し領域枠８８２に対する操作により、切り出し領域を補正することができる。切り出し領域の補正は、切り出し領域の位置及びサイズの少なくともいずれかを変更することを含む。
ユーザは、タッチパネル（表示装置８００の表示部８０３）に対し、切り出し領域枠８８２をドラッグ操作などで移動させることにより、切り出し領域を移動することができる。切り出し領域を移動する操作は、切り出し領域枠８８２をドラッグすることに限られず、切り出し領域枠８８２の移動先又は撮像対象の被写体１３１をタップする操作であってもよい。
また、ユーザは、タッチパネルに対し、切り出し領域枠８８２をピンチイン又はピンチアウトする操作により、切り出し領域のサイズを変更することができる。
再生速度選択部８８３は、動画を再生する際の再生速度を選択する選択部材（アイテム）である。再生／一時停止ボタン８８４は、全領域動画表示部８８１に表示する動画を再生又は一時停止するための操作部材（アイテム）である。
再生／一時停止ボタン８８４は、全領域動画表示部８８１で動画が再生されていない状態では再生ボタンとして機能する。ユーザが再生ボタンを選択することにより、全領域動画表示部８８１に表示される動画は、再生速度選択部８８３で指定された再生速度で再生される。再生／一時停止ボタン８８４は、全領域動画表示部８８１で動画が再生されている状態では一時停止ボタンとして機能する。ユーザが一時停止ボタンを選択することにより、全領域動画表示部８８１で再生されている動画の再生は一時停止する。
シークバー８８５は、ユーザがスライダー８８８をスライドさせることにより、全領域動画表示部８８１に表示している動画の任意のフレームを表示させるための操作部材（アイテム）である。全領域動画表示部８８１は、スライダー８８８によってユーザが選択したフレームの画像とともに、対応する切り出し領域枠８８２を表示する。
確定ボタン８８６は、ユーザによる切り出し領域の補正を確定するための操作部材（アイテム）である。確定ボタン８８６の選択（タップ）により、ユーザによる切り出し領域枠８８２の移動は確定される。確定ボタン８８６が選択され、切り出し領域枠８８２の移動により切り出し領域の位置が確定すると、表示中のフレームの前後のフレームの切り出し領域枠８８２の位置も修正される。なお、確定ボタン８８６は、ユーザが切り出し領域枠８８２を初期状態又は確定状態から移動させていない場合、操作が無効であることを表すグレーアウト表示となる。
生成ボタン８８７は、全領域動画の各フレームの画像からそれぞれの切り出し領域を切り出した切り出し動画を生成するための操作部材（アイテム）である。なお、生成ボタン８８７は、動画の再生中である場合又は切り出し領域枠８８２の補正が確定されていない場合、操作が無効であることを表すグレーアウト表示となる。
図５５～図５８を参照して、ユーザによる切り出し領域の補正操作に基づいて、表示装
置８００が切り出し動画を生成する方法の概要を説明する。図５５（ａ）～図５５（ｅ）は、図５０（ａ）～５０（ｅ）に示す切り出し動画と同じ場面を、切り出し処理を実行せずに撮像した場合の全領域動画を示している。
ユーザは、図５５（ａ）に示す再生開始前の状態から、シークバー８８５を操作することにより、図５５（ｃ）に示されるように被写体１３１が切り出し領域枠８８２からずれているフレームを探す。
図５６は、ユーザが切り出し領域枠８８２をドラッグ操作する例を示す図である。ユーザは、図５５（ｃ）のように被写体１３１が切り出し領域枠８８２からずれているフレームを探し、タッチパネル上で切り出し領域枠８８２をドラッグ操作することにより、切り出し領域枠８８２を移動させることができる。図５６の例では、切り出し領域枠８８２は、一点鎖線で囲まれた元の位置から、被写体１３１が切り出し領域枠８８２に収まるように移動される。切り出し領域枠８８２の移動が完了すると、ユーザは確定ボタン８８６を選択する。
図５７は、未操作フレームの切り出し領域の補正を説明する図である。未操作フレームは、ユーザから切り出し領域を補正する操作を受け付けていないフレームである。切り出し領域を補正する操作を受け付けたフレームは、補正フレームと称される。図５５（ｃ）に示すフレームに対し、図５６で説明したようにユーザが切り出し領域を移動して確定ボタン８８６を選択した場合、表示装置制御部８０１は、図５５（ｃ）のフレームの前後の未操作フレームの切り出し領域も補正する。
図５７（ａ）及び図５７（ｂ）は、図５５（ｃ）のフレームの前後の未操作フレームである図５５（ｂ）及び図５５（ｄ）に対応する。図５７（ａ）に示すフレームでは、切り出し領域枠８８２は、一点鎖線で囲まれた元の位置から、図５６でユーザが切り出し領域枠８８２を移動した方向に移動される。同様に、図５７（ｂ）に示すフレームでは、切り出し領域枠８８２は、一点鎖線で囲まれた元の位置から、図５６でユーザが切り出し領域枠８８２を移動した方向に移動される。
このように、表示装置制御部８０１は、未操作フレームの切り出し領域を、ユーザが直接補正をしなくても、補正フレームでの切り出し領域の補正量（移動量又はサイズの変化量）に合わせて自動で補正する。表示装置制御部８０１は、未操作フレームの切り出し領域を、補正フレームでの切り出し領域の補正に合わせて補正することで、切り出し領域が滑らかに移動するように切り出し動画を生成することができる。
ユーザは、被写体１３１と切り出し領域枠８８２とがずれているフレームを探し、切り出し領域枠８８２を補正して確定させる処理を繰り返す。未操作フレームの切り出し領域は、確定ボタン８８６が選択されると補正フレームでの切り出し領域の補正に合わせて補正される。なお、未操作フレームの切り出し領域は、確定ボタン８８６が選択された場合に限られず、ユーザが表示中のフレームで切り出し領域を移動したあと、表示中のフレームを他のフレームに切り替えた場合に補正されるようにしてもよい。
ユーザは、切り出し領域枠８８２を修正すべきフレームがなくなったと判断した場合、生成ボタン８８７を選択することで、全領域動画から各フレームの補正後の切り出し領域を切り出した切り出し動画を生成することができる。
図５８（ａ）～図５８（ｅ）は、表示装置８００が生成した切り出し動画を例示する図である。図５５（ａ）～図５５（ｅ）の全領域動画において、ユーザが図５６に示す切り出し領域の補正をした場合、表示装置制御部８０１は、図５８（ａ）～図５８（ｅ）に示
す切り出し動画を生成することができる。図５５（ｂ）及び図５５（ｄ）の切り出し領域を、図５５（ｃ）の切り出し領域に対するユーザの補正に合わせて補正することで、表示装置制御部８０１は、各フレームで被写体１３１が切り出し領域に含まれるように切り出し動画を生成することができる。生成された切り出し動画は、大容量不揮発性メモリ８１４に格納される。
図５９Ａ、図５９Ｂ、図５９Ｃを参照して、実施例１０に係る表示装置８００による動画編集処理の流れを説明する。図５９Ａは、編集モードで切り出し領域を補正する動画編集処理のフローチャートである。
ステップＳ９００１では、表示装置制御部８０１は、図５３で説明した映像ファイル２０００から１フレーム目の画像を取得する。映像ファイル２０００から取得される画像は、全領域の画像である。ステップＳ９００２では、表示装置制御部８０１は、取得した画像を表示装置８００の表示部８０３（図５４の全領域動画表示部８８１）に表示する。
ステップＳ９００３では、表示装置制御部８０１は、映像ファイル２０００から１フレーム目の切り出し位置及び切り出しサイズを取得する。映像ファイル２０００に記録された切り出し位置及び切り出しサイズは、カメラ本体１に対する顔方向及び画角設定値等に基づいて決定されるデフォルトの切り出し位置及び切り出しサイズである。
ステップＳ９００４では、表示装置制御部８０１は、ステップＳ９００３で取得した切り出し領域の切り出し位置及び切り出しサイズに基づいて、全領域動画表示部８８１上に、デフォルトの切り出し領域枠８８２を表示する。切り出し領域枠８８２は、例えば、図５５（ａ）～図５５（ｅ）に示されるように、切り出し領域を囲む矩形として表示される。
ステップＳ９００５では、表示装置制御部８０１はユーザからの操作を待つ。ユーザ操作があったと判定した場合、処理はステップＳ９００６に進む。ステップＳ９００６では、表示装置制御部８０１は、どのようなユーザ操作があったかを判定する。図５９Ａでのユーザ操作は、再生／一時停止ボタン８８４による再生操作、シークバー８８５のスライダー８８８の操作、切り出し領域枠８８２のドラッグ操作、生成ボタン８８７による切り出し動画生成操作の４つである。
ステップＳ９００６で、ユーザ操作が再生／一時停止ボタン８８４の選択により動画を再生する操作であると判定された場合、処理はステップＳ９００７に進む。ステップＳ９００７では、表示装置制御部８０１は、再生／一時停止ボタン８８４の表示を「一時停止」を表す表示に変更する。例えば、表示装置制御部８０１は、「再生」を表す図５５（ａ）の再生／一時停止ボタン８８４の表示から、「一時停止」を表す図５５（ｂ）の再生／一時停止ボタン８８４の表示に変更する。
ステップＳ９００８では、表示装置制御部８０１は、再生速度選択部８８３で選択された再生速度に従って、動画を再生する。表示装置制御部８０１は、ステップＳ９００１～ステップＳ９００４で説明した１フレーム目と同様に、映像ファイル２０００から、順次各フレームの画像、切り出し位置、切り出しサイズを取得し、画像及び切り出し領域枠８８２を表示する。
また、フレームメタデータの切り出し位置補正量及び切り出しサイズ補正量の情報が設定されている場合、表示装置制御部８０１は、切り出し位置補正量及び切り出しサイズ補正量を用いて切り出し位置及び切り出しサイズを補正する。表示装置制御部８０１は、補正後の切り出し位置及び切り出しサイズの切り出し領域枠８８２を、全領域動画表示部８
８１に表示する。
ステップＳ９００９では、表示装置制御部８０１は、ユーザが再生／一時停止ボタン８８４を選択して動画の再生を一時停止したか、又は最終フレームまで表示することにより再生が終了したか否かを判定する。表示装置制御部８０１は、一時停止又は再生終了と判定した場合、ステップＳ９０１０に進む。表示装置制御部８０１は、一時停止が選択されておらず、再生も終了していないと判定した場合、ステップＳ９００８に戻り動画の再生を継続する。
ステップＳ９０１０では、表示装置制御部８０１は、再生／一時停止ボタン８８４の表示を「再生」を表す表示に変更する。例えば、表示装置制御部８０１は、「一時停止」を表す図５５（ｄ）の再生／一時停止ボタン８８４の表示から、「再生」を表す図５５（ｅ）の再生／一時停止ボタン８８４の表示に変更する。表示装置制御部８０１は、再生／一時停止ボタン８８４の表示を変更すると、ステップＳ９００５へ戻りユーザからの操作を待つ。
ステップＳ９００６で、ユーザ操作がシークバー８８５のスライダー８８８の操作により、補正対象のフレームを探して全領域動画表示部８８１に表示させる操作であると判定された場合、処理はステップＳ９０１１に進む。
ステップＳ９０１１では、表示装置制御部８０１は、シークバー８８５のスライダー８８８の位置に対応するフレームの画像、切り出し位置、切り出しサイズ、切り出し位置補正量及び切り出しサイズ補正量の情報を、映像ファイル２０００から取得する。表示装置制御部８０１は、映像ファイル２０００から取得した情報を用いて、スライダー８８８の位置に対応するフレームの画像及び補正量によって補正された切り出し領域枠８８２を、全領域動画表示部８８１に表示する。表示装置制御部８０１は、スライダー８８８の位置のフレームの画像及び切り出し領域枠８８２を表示すると、ステップＳ９００５に戻りユーザからの操作を待つ。
ステップＳ９００６で、ユーザ操作が切り出し領域枠８８２をドラッグ操作等によって移動させる操作であると判定された場合、処理はステップＳ９０１２に進む。ステップＳ９０１２では、表示装置制御部８０１は、ユーザのドラッグ操作等に従って切り出し領域枠８８２の表示位置を移動する。
ステップＳ９０１３では、表示装置制御部８０１は、ユーザ操作が切り出し領域枠８８２を再び移動する操作であったか否かを判定する。表示装置制御部８０１は、ユーザが切り出し領域枠８８２を再び移動したと判定した場合、ステップＳ９０１２に戻り、ユーザ操作に従って切り出し領域枠８８２の表示位置を移動する。
ステップＳ９０１３で、表示装置制御部８０１は、ユーザ操作が切り出し領域枠８８２の再移動ではなく、例えば、確定ボタン８８６の選択であったと判定した場合、ステップＳ９０１４へ進む。ステップＳ９０１４へ進むと判定されるユーザ操作は、切り出し領域枠８８２の補正を確定させるための操作であり、確定ボタン８８６をユーザが選択する操作に限られない。切り出し領域枠８８２の補正を確定させる操作は、ユーザが切り出し領域枠８８２をドラッグ操作で移動させ、表示部８０３から指を離す操作であってもよく、シークバー８８５の操作のように他のフレームに表示を切り替える操作であってもよい。
ステップＳ９０１４では、表示装置制御部８０１は、映像ファイル２０００に補正情報を記録する。補正情報は、フレームメタデータとして映像ファイル２０００に記録されるユーザ変更操作フラグ、切り出し位置補正量、切り出しサイズ補正量の情報を含む。
表示装置制御部８０１は、確定ボタン８８６が選択されると、全領域動画表示部８８１に表示されているフレームのユーザ変更操作フラグをＯＮに設定する。表示装置制御部８０１は、切り出し位置補正量に、補正前の切り出し位置からの移動量（補正量）を記録する。また、切り出し領域枠８８２のサイズが、ピンチイン又はピンチアウト等の操作によって変更されている場合、表示装置制御部８０１は、切り出しサイズ補正量に、補正前の切り出しサイズからの補正量を記録する。
ステップＳ９０１５では、表示装置制御部８０１は、補正フレームの前後の未操作フレームの切り出し領域の補正情報を取得する。補正フレームは、全領域動画表示部８８１に表示され、ユーザが切り出し領域枠８８２を移動又はサイズ変更をしたフレームである。未操作フレームは、補正フレームの前後のフレームで、ユーザによる切り出し領域枠８８２の補正がされておらず、ユーザ変更操作フラグがＯＦＦのフレームである。
図５９Ｂを参照して、未操作フレームの補正情報取得処理について説明する。図５９Ｂは、ステップＳ９０１５の詳細な処理を例示する。以下の説明では、全領域動画表示部８８１に現在表示されている補正フレームは、映像ファイル２０００のＮ番目のフレームであるものとする。以下、映像ファイル２０００のｋ番目のフレームは、第ｋフレームと記載する。
ステップＳ９１０１では、表示装置制御部８０１は、映像ファイル２０００の第Ｎフレームの前後で、ユーザ変更操作フラグがＯＮになっている補正フレームを検索する。第Ｎフレームより前のユーザ変更操作フラグがＯＮになっているフレームを第Ｎａフレーム、第Ｎフレームより後のユーザ変更操作フラグがＯＮになっているフレームを第Ｎｂフレーム（Ｎａ＜Ｎｂ）とする。表示装置制御部８０１は、検索した第Ｎａフレーム及び第Ｎｂフレームの切り出し位置補正量及び切り出しサイズ補正量を取得する。
表示装置制御部８０１は、第Ｎａフレーム～第Ｎｂフレームまでの各フレームに対し、ステップＳ９１０２～ステップＳ９１０４の切り出し領域補間処理Ｌ１を実行する。切り出し領域補間処理Ｌ１は、ユーザが切り出し領域を補正する操作をしていない未操作フレームに対し、切り出し位置補正量および切り出しサイズ補正量を、補正の操作がされた補正フレームの補正量に基づいて補間する処理である。ステップＳ９１０２～ステップＳ９１０４で、切り出し領域補間処理Ｌ１の処理対象のフレームは、第ｉフレームと記載する。
ステップＳ９１０２では、表示装置制御部８０１は、第ｉフレームのユーザ変更操作フラグがＯＮか否かを判定する。第Ｎａフレーム、第Ｎフレーム、第Ｎｂフレームは、ユーザによって切り出し領域が補正された補正フレームであるため、ユーザ変更操作フラグがＯＮである。したがって、第ｉフレームが第Ｎａフレーム、第Ｎフレーム又は第Ｎｂフレームの場合、Ｓ９１０３、ステップＳ９１０４の処理は実行されない。
ステップＳ９１０２で、第ｉフレームが、第Ｎａフレーム、第Ｎフレーム、第Ｎｂフレーム以外の未操作フレームである場合、処理はステップＳ９１０３に進む。Ｓ９１０３では、表示装置制御部８０１は、未操作フレームである第ｉフレームの切り出し領域の補正量を計算する。補正量は、切り出し位置補正量及び切り出しサイズ補正量を含む。
以下の例では、未操作フレームの切り出し領域の補正量は、線形補間により計算される。第ｋフレームの切り出し位置補正量は（ΔＸｋ、ΔＹｋ）と表される。ユーザ変更操作フラグがＯＮになっている第Ｎａフレーム、第Ｎフレーム、第Ｎｂフレームの切り出し位置補正量はそれぞれ（ΔＸＡ，ΔＹＡ）、（ΔＸｎ，ΔＹｎ）、（ΔＸＢ，ΔＹｎ）と表
される。
ユーザ変更操作フラグがＯＦＦである第ｉフレームの切り出し位置補正量（ΔＸｉ，ΔＹｉ）は、線形補間による以下の（式１００１）によって計算することができる。
Figure 2023142257000009
ユーザが被写体１３１と切り出し領域枠８８２とがずれているフレームで切り出し領域枠８８２を補正することにより、表示装置制御部８０１は、ユーザが補正の操作をしていない未操作フレームの切り出し領域を自動的に補正する。したがって、ユーザは、所望の位置で切り出された切り出し動画を、簡易な操作で生成することができる。
切り出し領域の補間処理は、簡易な方法として隣接点を用いた線形補間による処理として説明したが、これに限られない。切り出し領域の補間処理は、生成後の切り出し動画がより滑らかに見えるようにｅａｓｅ－ｉｎ（イーズイン）及びｅａｓｅ－ｏｕｔ（イーズアウト）といった三次関数補間を用いる方法であってもよい。また、切り出し領域の補間処理は、多点を補間して得られる補間計算式を用いる多点補間であってもよい。
ステップＳ９１０４では、表示装置制御部８０１は、ステップＳ９１０３で計算した切り出し位置補正量及び切り出しサイズ補正量を映像ファイル２０００の第ｉフレームのフレームメタデータとして記録する。表示装置制御部８０１は、第ｉフレームの切り出し位置補正量及び切り出しサイズ補正量を映像ファイル２０００に記録すると、次のフレームに対する切り出し領域補間処理Ｌ１に進む。
第Ｎａフレーム～第Ｎｂフレームに対し、ステップＳ９１０２～ステップＳ９１０４の処理が終了すると、未操作フレームの切り出し領域を補正する処理は終了する。図５９ＡのステップＳ９０１５で、未操作フレームの切り出し領域の補正が完了し、表示装置制御部８０１は、ステップＳ９００５に戻りユーザからの操作を待つ。
ステップＳ９００６で、ユーザ操作が生成ボタン８８７の選択により、切り出し動画を生成する操作であると判定された場合、処理はステップＳ９０１６に進む。ステップＳ９０１６では、表示装置制御部８０１は、切り出し動画を生成する。
図５９Ｃを参照して、切り出し動画生成処理について説明する。図５９Ｃは、ステップＳ９０１６の詳細な処理を例示する。図５９Ｃでは、表示装置制御部８０１は、映像ファイル２０００の全フレームに対し、ステップＳ９２０１～ステップＳ９２０４までの切り出し処理Ｌ２を実行する。切り出し処理Ｌ２は、各フレームの切り出し位置補正量及び切り出しサイズ補正量に基づいて補正した切り出し領域を画像から切り出す処理である。ステップＳ９２０１～ステップＳ９２０４で、切り出し処理Ｌ２の処理対象のフレームは、第ｊフレームとする。
ステップＳ９２０１では、表示装置制御部８０１は、映像ファイル２０００から第ｊフレームの画像を取得する。ステップＳ９２０２では、表示装置制御部８０１は、第ｊフレームのフレームメタデータから切り出し位置、切り出しサイズ、切り出し位置補正量、切
り出しサイズ補正量を取得する。
ステップＳ９２０３では、表示装置制御部８０１は、ステップＳ９２０１で取得した画像から、ステップＳ９２０２で取得した切り出し位置及び切り出しサイズを切り出し位置補正量及び切り出しサイズ補正量で補正した切り出し領域を切り出す。ステップＳ９２０４では、ステップＳ９２０３で切り出した切り出し領域を、切り出し動画ファイルの第ｊフレームの画像として保存する。表示装置制御部８０１は、第ｊフレームの画像から補正した切り出し領域を切り出して保存すると、次のフレームに対する切り出し処理Ｌ２に進む。
映像ファイル２０００の各フレームに対し、ステップＳ９２０１～ステップＳ９２０４の処理が終了すると、切り出し動画の生成処理は終了する。表示装置制御部８０１は、映像ファイル２０００の各フレームから、被写体１３１が含まれるように補正された領域を切り出した切り出し動画を生成することができる。
上記の実施例１０によれば、表示装置８００は、ユーザが切り出し領域を補正した補正フレームの補正量を用いて、補正がされていない未操作フレームの切り出し領域を補正する。したがって、ユーザは、簡易な操作で被写体１３１が切り出し領域に収まった切り出し動画を生成することができる。
（実施例１１）
実施例１０では、ユーザは、シークバー８８５を操作して被写体１３１が切り出し領域に含まれていないフレームを探し、見つかった特定のフレームに対して切り出し領域を補正する。これに対し、実施例１１では、ユーザは動画の再生中に切り出し領域を補正することができる。
図６０を参照して、再生中の切り出し領域の補正について説明する。図６０（ａ）で、ユーザは再生／一時停止ボタン８８４を押下（タッチ）することにより、動画の再生を開始する。なお、切り出し領域を補正する際の操作性を考慮して、動画は等倍速未満の速度で再生されることが好ましい。図６０（ｂ）の一点鎖線の矩形で示されるように切り出し領域枠８８２が被写体１３１とずれてきた場合、ユーザは被写体１３１の位置をタッチすることで、被写体１３１が中心になるように切り出し領域枠８８２を移動することができる。
図６０（ｃ）に示すように、ユーザが被写体１３１をタッチし続けている間、表示装置制御部８０１は、被写体１３１が中心にくるように切り出し領域枠８８２の位置を補正する。ユーザがタッチパネル（表示部８０３）から指を離すと、次のフレームから切り出し領域枠８８２は、補正されずに元の切り出し領域の位置に表示される。
なお、表示装置制御部８０１は、タッチパネルから指が離れたことを検知した場合、切り出し領域の位置を元に戻すのではなく、次のフレーム以降の切り出し領域を補正し、補正された位置に切り出し領域枠８８２を表示してもよい。
図６０（ｄ）の一点鎖線の矩形で示されるように、被写体１３１が移動して再び切り出し領域枠８８２からずれてきた場合、ユーザが被写体１３１をタッチすることで、表示装置制御部８０１は、切り出し領域枠８８２を被写体１３１に合わせて移動させる。
図６０（ｅ）に示すように、動画の再生が終了した場合、又はユーザが動画の再生を一時停止した場合、表示装置制御部８０１は、切り出し領域枠８８２が補正されていないフレームに対して切り出し領域を補正する。ユーザのタッチ操作等により、切り出し領域枠
８８２が補正されたフレームは、補正フレームと称される。また、ユーザが切り出し領域枠８８２を補正していないフレームは、未操作フレームと称される。表示装置制御部８０１は、実施例１０と同様に、補正フレームの補正量に基づいて、未操作フレームの切り出し領域の補正量を補間して取得することができる。
ユーザが生成ボタン８８７を選択すると、表示装置制御部８０１は、各フレームに設定された切り出し領域の位置、サイズ、及びそれぞれの補正量に基づいて切り出し動画を生成する。表示装置制御部８０１は、ユーザが切り出し領域枠８８２を補正した補正フレームの補正量に基づいて、未操作フレームの補正量を補間することで、被写体１３１が映像内に収まった滑らかな切り出し動画を生成することが可能となる。
図６１Ａ、図６１Ｂを参照して、実施例１１に係る表示装置８００による動画編集処理の流れを説明する。図６１Ａは、編集モードで切り出し領域を補正する動画編集処理のフローチャートである。
ステップＳ９３０１～ステップＳ９３０４では、表示装置制御部８０１は、図５９ＡのステップＳ９００１～ステップＳ９００４の処理と同様に、１フレーム目の画像及び切り出し領域枠８８２を全領域動画表示部８８１に表示する。
ステップＳ９３０５では、表示装置制御部８０１はユーザが操作するのを待つ。ユーザ操作があったと判定した場合、処理はステップＳ９３０６に進む。ステップＳ９３０６では、表示装置制御部８０１は、ユーザの操作が再生／一時停止ボタン８８４の選択による再生操作か、生成ボタン８８７の選択による切り出し動画の生成操作かを判定する。
ステップＳ９３０６で、ユーザ操作が再生／一時停止ボタン８８４の選択により動画を再生する操作であると判定された場合、処理はステップＳ９３０７に進む。ステップＳ９３０７及びステップＳ９３０８では、表示装置制御部８０１は、図５９ＡのステップＳ９００７及びステップＳ９００８と同様に動画の再生を開始する。
実施例１１では実施例１０と異なり、表示装置制御部８０１は、動画の再生時に切り出し領域を補正する操作を受け付ける。ステップＳ９３０９では、表示装置制御部８０１は、切り出し領域枠８８２を補正する操作として、例えば、ユーザによるタッチ操作があったか否かを判定する。タッチ操作があったと判定された場合、ステップＳ９３１０及びステップＳ９３１１の処理が実行される。タッチ操作がないと判定された場合、処理はステップＳ９３１２に進む。
ステップＳ９３１０では、表示装置制御部８０１は、ユーザがタッチした位置に切り出し領域枠８８２を移動する。表示装置制御部８０１は、例えば、ユーザがタッチした被写体１３１の位置が中心となるように切り出し領域枠８８２を移動する。なお、切り出し領域枠８８２を補正する操作は、被写体１３１の位置をタッチする操作に限られず、切り出し領域枠８８２の一部又は切り出し領域枠８８２内をタッチして、所望の位置にドラッグする操作であってもよい。
また、ステップＳ９３０９及びステップＳ９３１０は、ユーザのタッチ操作を検出して、タッチ位置に切り出し領域枠８８２を移動する例を示すが、切り出し領域枠８８２の補正は位置の移動に限られない。表示装置制御部８０１は、ステップＳ９３０９でユーザのピンチイン又はピンチアウトの操作を検出し、ステップＳ９３１０で、ピンチイン又はピンチアウトの操作に応じて切り出し領域枠８８２を縮小又は拡大して表示してもよい。
ステップＳ９３１１では、表示装置制御部８０１は、映像ファイル２０００のフレーム
メタデータの切り出し位置補正量又は切り出しサイズ補正量を記録する。ステップＳ９３０９で切り出し領域枠８８２の位置が変更された場合、表示装置制御部８０１は、フレームメタデータの切り出し位置と、現在表示している切り出し領域枠８８２の位置との差分を切り出し位置補正量として記録する。また、ステップＳ９３０９で切り出し領域枠８８２のサイズが変更された場合、表示装置制御部８０１は、フレームメタデータの切り出しサイズと、現在表示している切り出し領域枠８８２のサイズとの差分を切り出しサイズ補正量として記録する。さらに、表示装置制御部８０１は、ユーザ操作変更フラグもＯＮに変更する。
ステップＳ９３１２では、表示装置制御部８０１は、図５９ＡのステップＳ９００９と同様に、動画の再生が一時停止されたか、又は再生が終了したか否かを判定する。一時停止でも再生終了でもないと判定された場合、処理はステップＳ９３０８に戻り、動画の再生が継続される。
ステップＳ９３１２で動画の再生が一時停止されたか、又は再生が終了したと判定された場合、処理はステップＳ９３１３に進む。ステップＳ９３１３では、表示装置制御部８０１は、補正フレームの前後の未操作フレームの切り出し領域の補正情報を取得する。補正情報は、フレームメタデータの切り出し位置補正量及び切り出しサイズ補正量を含む。
図６１Ｂを参照して、未操作フレームの補正情報取得処理について説明する。図６１Ｂは、ステップＳ９３１３の詳細な処理を例示する。未操作フレームの補正情報取得処理では、表示装置制御部８０１は、映像ファイル２０００の全フレームに対し、ステップＳ９４０１～ステップＳ９４０４の切り出し領域補間処理Ｌ３を実行する。ステップＳ９４０１～ステップＳ９４０４で、切り出し領域補間処理Ｌ３の処理対象のフレームは、第ｉフレームと記載する。
ステップＳ９４０１では、表示装置制御部８０１は、第ｉフレームのユーザ変更操作フラグがＯＮか否かを判定する。ユーザ変更操作フラグがＯＮと判定された場合、次のフレームに対する切り出し領域補間処理Ｌ３に進む。ユーザ変更操作フラグがＯＦＦと判定された場合、処理はステップＳ９４０２に進む。
ステップＳ９４０２では、表示装置制御部８０１は、第ｉフレームの前後のユーザ変更操作フラグがＯＮのフレームを検索する。図５９ＢのステップＳ９１０１と同様に、第ｉフレームより前のユーザ変更操作フラグがＯＮになっているフレームを第Ｎａフレーム、第ｉフレームより後のユーザ変更操作フラグがＯＮになっているフレームを第Ｎｂフレーム（Ｎａ＜Ｎｂ）とする。表示装置制御部８０１は、検索した第Ｎａフレーム及び第Ｎｂフレームの切り出し位置補正量及び切り出しサイズ補正量を取得する。
なお、表示装置制御部８０１は、第ｉフレームの前後のユーザ変更操作フラグがＯＮのフレームを検索するのではなく、第ｉフレームの所定数前及び所定数後のフレームを第Ｎａフレーム及び第Ｎｂフレームとしてもよい。例えば、表示装置制御部８０１は、ユーザ変更操作フラグを用いずに、第（ｉ－５０）フレームを第Ｎａフレーム、第（ｉ＋５０）フレームを第Ｎｂフレームとして、未操作フレームの切り出し領域を補正することができる。
第ｉフレームの前後の所定数は５０に限られず、動画の総フレーム数等に基づいて適宜決定することができる。第ｉフレームの前と後とで所定数は異なっていてもよい。表示装置制御部８０１は、所定数を変更することで補間処理の負荷を調整することができる。
ステップＳ９４０３では、表示装置制御部８０１は、図５９ＢのステップＳ９１０３と
同様に、第ｉフレームの切り出し領域の補正量を計算する。補正量は、切り出し位置補正量及び切り出しサイズ補正量を含む。
ステップＳ９４０４では、表示装置制御部８０１は、図５９ＢのステップＳ９１０４と同様に、ステップＳ９４０３で計算した補正量を、映像ファイル２０００の第ｉフレームのフレームメタデータとして記録する。表示装置制御部８０１は、第ｉフレームの補正量を映像ファイル２０００に記録すると、次のフレームに対する切り出し領域補間処理Ｌ３に進む。
図６１Ｂの処理により、映像ファイル２０００の各フレームに対して切り出し領域の補正情報が設定される。図６１Ｂに示す処理、すなわち図６１ＡのステップＳ９３１３の処理が終了すると、処理は図６１ＡのステップＳ９３１４に進む。
ステップＳ９３１４では、表示装置制御部８０１は、再生／一時停止ボタン８８４の表示を「再生」を表す表示に変更する。表示装置制御部８０１は、ステップＳ９３０５へ戻りユーザからの操作を待つ。
ステップＳ９３０６で、ユーザ操作が生成ボタン８８７の選択により、切り出し動画を生成する操作であると判定された場合、処理はステップＳ９３１５に進む。ステップＳ９３１５では、図５９ＡのステップＳ９０１６と同様に図５９Ｃの処理を実行し、切り出し動画を生成する。
上記の実施例１１によれば、表示装置８００は、動画の再生中に、ユーザから切り出し領域を補正する操作を受け付け、ユーザによって補正された切り出し領域の補正量を用いて、未操作フレームの切り出し領域を補正する。したがって、ユーザは、動画を再生しながら、簡易な操作で被写体１３１が切り出し領域に収まった切り出し動画を生成することができる。
なお、実施例１０と実施例１１とは別の実施形態として説明したが、両実施例は組み合わせて実施されてもよい。また、実施例１０及び実施例１１では、主に切り出し領域の位置の変更について説明したが、切り出し領域の位置についての処理は、切り出し領域のサイズに対しても同様に適用可能である。切り出し領域枠８８２の補正は、ドラッグ又はタッチ操作による位置の移動に限られず、ピンチイン／ピンチアウト操作による拡大／縮小等のサイズの変更であってもよい。
切り出し領域のサイズの変更に対し、表示装置８００は、図５９ＢのＳ９１０３及び図６１ＢのＳ９４０３で説明した切り出し位置の補正量の計算と同様に、未操作フレームの切り出しサイズの補正量を補間処理によって計算することができる。これにより、表示装置８００は、未操作フレームについて、切り出し領域の位置だけでなく、切り出し領域のサイズ（画角）も補正することができる。
また、実施例１０及び実施例１１では、画像の切り出し領域の補正について説明したが、表示装置８００は、音声についても左用マイク１９Ｌと右用マイク１９Ｒで記録した音声のバランスを、切り出し領域の補正に合わせて変更してもよい。表示装置８００は、カメラ本体１が備える複数のマイクで収集した音声データを含む映像ファイル２０００（動画データ）を受信し、切り出し領域の位置及びサイズの補正に応じて、複数のマイクで収集した音声データのバランスを変更することができる。音声データのバランスは、例えば、切り出し領域の中心と全領域画像の左右の各辺との距離の比に基づいて決定することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実行可能である。
８００：表示装置、８０１：表示装置制御部、８０３：表示部

Claims (19)

  1. 動画を撮影するユーザの顔方向に基づいて設定される前記動画の切り出し領域の情報を前記動画に付加した動画データを取得する取得手段と、
    前記動画データの再生時に、前記切り出し領域を示す枠を表示する表示制御手段と、
    前記切り出し領域を補正するための前記枠に対する操作を受け付ける操作手段と、
    前記操作によって補正された前記切り出し領域の補正情報を、前記動画データに付加する補正手段と、
    前記切り出し領域の情報及び前記補正情報に基づいて、前記動画から切り出し動画を生成する生成手段と
    を有することを特徴とする表示装置。
  2. 前記生成手段は、前記操作を受け付けたフレームである補正フレームに対する前記補正情報を用いて、前記操作を受け付けていないフレームである未操作フレームの前記切り出し領域を補正して、前記切り出し動画を生成する
    ことを特徴とする請求項１に記載の表示装置。
  3. 前記生成手段は、前記補正フレームのうち前記未操作フレームよりも前の第１補正フレームに対する前記補正情報と、前記補正フレームのうち前記未操作フレームよりも後の第２補正フレームに対する前記補正情報とを補間して、前記未操作フレームの前記切り出し領域を補正する
    ことを特徴とする請求項２に記載の表示装置。
  4. 前記第１補正フレームは、前記動画の最初のフレーム、又は前記動画に含まれる複数のシーンのうち前記未操作フレームが含まれるシーンの最初のフレームである
    ことを特徴とする請求項３に記載の表示装置。
  5. 前記第２補正フレームは、前記動画の最後のフレーム、又は前記動画に含まれる複数のシーンのうち前記未操作フレームが含まれるシーンの最後のフレームである
    ことを特徴とする請求項３または４に記載の表示装置。
  6. 前記生成手段は、前記未操作フレームの第１所定数前のフレームに対する前記補正情報と、前記未操作フレームの第２所定数後のフレームに対する前記補正情報とを補間して、前記未操作フレームの前記切り出し領域を補正する
    ことを特徴とする請求項２に記載の表示装置。
  7. 前記生成手段は、前記未操作フレームの前記切り出し領域を、線形補間、ｅａｓｅ－ｉｎ及びｅａｓｅ－ｏｕｔによる三次関数補間、並びに多点補間のうち少なくともいずれかの方法により補正する
    ことを特徴とする請求項３～６のいずれか１項に記載の表示装置。
  8. 前記切り出し領域の補正は、前記切り出し領域の位置及びサイズの少なくともいずれかを変更することを含む
    ことを特徴とする請求項１～７のいずれか１項に記載の表示装置。
  9. 前記補正情報は、ユーザ操作によって前記切り出し領域が補正されたか否かを示すユーザ変更操作フラグ、前記ユーザ操作によって補正された前記切り出し領域の位置の補正量である切り出し位置補正量、前記ユーザ操作によって補正された前記切り出し領域のサイズの補正量である切り出しサイズ補正量の情報の少なくともいずれかを含む
    ことを特徴とする請求項１～８のいずれか１項に記載の表示装置。
  10. 前記操作は、前記切り出し領域の移動先に前記枠をドラッグする操作である
    ことを特徴とする請求項１～９のいずれか１項に記載の表示装置。
  11. 前記操作は、前記切り出し領域の移動先又は撮像対象の被写体をタップする操作であることを特徴とする請求項１～９のいずれか１項に記載の表示装置。
  12. 前記操作は、前記枠をピンチイン又はピンチアウトする操作である
    ことを特徴とする請求項１～９のいずれか１項に記載の表示装置。
  13. 前記操作は、前記動画の再生中に、前記枠の移動先又は撮像対象の被写体をタッチする操作である
    ことを特徴とする請求項１～９のいずれか１項に記載の表示装置。
  14. 前記操作は、前記動画の再生中に、前記枠をピンチイン又はピンチアウトする操作である
    ことを特徴とする請求項１～９のいずれか１項に記載の表示装置。
  15. 前記動画は、等倍速未満の速度で再生される
    ことを特徴とする請求項１３または１４に記載の表示装置。
  16. 前記動画データは、前記動画を撮影する際に複数のマイクで収集した音声データを含み、
    前記生成手段は、前記切り出し領域の補正に応じて、前記複数のマイクで収集した音声データのバランスを変更する
    ことを特徴とする請求項１～１５のいずれか１項に記載の表示装置。
  17. 動画を撮影するユーザの顔方向に基づいて設定される前記動画の切り出し領域の情報を前記動画に付加した動画データを取得する取得ステップと、
    前記動画データの再生時に、前記切り出し領域を示す枠を表示する表示制御ステップと、
    前記切り出し領域を補正するための前記枠に対する操作を受け付ける操作ステップと、
    前記操作によって補正された前記切り出し領域の補正情報を、前記動画データに付加する補正ステップと、
    前記切り出し領域の情報及び前記補正情報に基づいて、前記動画から切り出し動画を生成する生成ステップと
    を有することを特徴とする表示装置の制御方法。
  18. コンピュータを、請求項１～１６のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。
  19. コンピュータを、請求項１～１６のいずれか１項に記載の表示装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2022049063A 2022-03-24 2022-03-24 表示装置、及び表示装置の制御方法 Pending JP2023142257A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022049063A JP2023142257A (ja) 2022-03-24 2022-03-24 表示装置、及び表示装置の制御方法
US18/188,230 US12170833B2 (en) 2022-03-24 2023-03-22 Display device and method for controlling display device
CN202310291917.0A CN116805984A (zh) 2022-03-24 2023-03-23 显示装置、显示装置的控制方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022049063A JP2023142257A (ja) 2022-03-24 2022-03-24 表示装置、及び表示装置の制御方法

Publications (1)

Publication Number Publication Date
JP2023142257A true JP2023142257A (ja) 2023-10-05

Family

ID=88078974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022049063A Pending JP2023142257A (ja) 2022-03-24 2022-03-24 表示装置、及び表示装置の制御方法

Country Status (3)

Country Link
US (1) US12170833B2 (ja)
JP (1) JP2023142257A (ja)
CN (1) CN116805984A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074033A (ja) 2005-09-02 2007-03-22 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
JP2017060078A (ja) 2015-09-18 2017-03-23 カシオ計算機株式会社 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
JP2017212550A (ja) 2016-05-24 2017-11-30 キヤノン株式会社 画像再生装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20230308613A1 (en) 2023-09-28
CN116805984A (zh) 2023-09-26
US12170833B2 (en) 2024-12-17

Similar Documents

Publication Publication Date Title
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
KR20220128585A (ko) 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체
WO2018051815A1 (ja) 情報処理装置および方法、並びにプログラム
US9927948B2 (en) Image display apparatus and image display method
US9426379B2 (en) Photographing unit, cooperative photographing method, and recording medium having recorded program
KR20190080779A (ko) 전자기기 및 그 제어 방법
GB2611154A (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
KR20180017591A (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
KR20230019016A (ko) 액션 카메라로서 사용되는 촬상장치
JP2023142257A (ja) 表示装置、及び表示装置の制御方法
JP2022140328A (ja) 撮像装置、携帯機器、キャリブレータ、及びこれらの制御方法並びにプログラム
US20230126836A1 (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
JP2022140418A (ja) 撮像装置
JP2022140422A (ja) 撮像装置、制御方法、並びにプログラム
JP2023154539A (ja) 撮像装置、撮像装置の制御方法、表示装置及び撮像システム
JP2022140424A (ja) 撮像装置及びその制御方法並びにプログラム
JP2024097267A (ja) 撮像装置、キャリブレータ、及びこれらの制御方法並びにプログラム
JP2023067530A (ja) 撮像装置及びその制御方法並びにプログラム
JP2023055074A (ja) 撮像装置及びその制御方法並びにプログラム
JP2022140419A (ja) 撮像装置、制御方法及びプログラム
JP2022140417A (ja) 撮像装置、キャリブレーションシステム、及び撮像装置の制御方法並びにプログラム
US20230269483A1 (en) Electronic device and electronic device control method
JP2024142014A (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体
CN115696057A (zh) 摄像设备、控制方法和程序
JP2023087468A (ja) 撮像装置、制御方法およびプログラム