JP2022140424A - 撮像装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】撮影中の手による撮影方向の変更を不要とし、その場の体験に集中しつつも、体験を記録した映像を簡便に取得することができる撮像装置及びその制御方法並びにプログラムを提供する。【解決手段】カメラ本体１は、使用者の頭部以外の身体上に装着され使用者の観察方向を検出する顔方向検出部２０と、使用者の身体上に装着され、映像を撮影する撮影部４０と、撮影部４０で撮影された映像のうち、検出された観察方向に対応する映像記録用枠内の映像を出力する送信部７０と、使用者の顎が映りこまないように映像記録用枠を決定すると共に、映像記録用枠の枠位置を撮影レンズ１６の固体撮像素子４２に対する有効投影部１２２の内部に決定する全体制御ＣＰＵ１０１とを備える。【選択図】図２７Ａ

Description

本発明は、撮像装置及びその制御方法並びにプログラムに関し、特にアクションカメラとして使用する撮像装置及びその制御方法並びにプログラムに関する。

従来からカメラの撮影は、撮影者がカメラを撮影する方向に向け続ける必要があるため、撮影操作に手が取られることで撮影行為以外に手がまわせなかったり、撮影に意識を集中させられるためにその場に居る体験には意識を集中できなかったりしていた。

たとえば、撮影操作で言えば、撮影者である親は、子供を撮影している間は子供と一緒に遊ぶことはできなくなるし、子供と一緒に遊ぼうとすると撮影ができなくなるといった課題が生じる。

また、撮影への意識集中でいえば、スポーツ観戦中に撮影をしていると、撮影者は、応援できなかったり、ゲーム内容を覚えていなかったりするし、スポーツ観戦へ意識を集中すると撮影できないといった課題が生じる。同様に、グループ旅行中に撮影をしていると、撮影者は、他のメンバーと同じレベルでの感動を体験できないし、体験を優先すると撮影が疎かになるといった課題が生じる。

このような課題を解決する方法としては、頭部固定アクセサリーを用いてアクションカメラを頭部に固定して観察している方向を撮影することで、撮影者が撮影操作に手が取られることなく撮影する方法がある。また、全天球型撮影カメラで広範囲を撮影することで、体験中は体験に集中し、体験が終わってから撮影された全天球映像から必要な映像部分を切り出し編集し、体験したことの映像を残すという方法もある。

ただ前者の方法は、図３３（ａ）に示すような、アクションカメラ９０１の本体が固定された頭部固定アクセサリーを頭に装着するという煩わしい行為が必要になる。また図３３（ｂ）に示すように、撮影者が頭部固定アクセサリー９０２によってアクションカメラ９０１を頭部に装着すると、見栄えも悪い上、撮影者の髪型も乱れるなどの問題も起きる。さらには、撮影者が頭に装着されている頭部固定アクセサリー９０２とアクションカメラ９０１について、その重さなどの存在が気になったり、第３者に対して見栄えが悪くて気になったりしていた。そのため、図３３（ｂ）に示す状態では撮影者は体験に集中できなかったり、図３３（ｂ）に示す状態となること自体に撮影者が抵抗を感じたりするなどの理由で撮影そのものをし辛くなるという課題があった。

一方、後者の方法は、画像変換や切り出し位置指定などの一連の作業が必要となる。例えば、図３４に示すような、レンズ９０４と、撮影用ボタン９０５とを備える全天球型撮影カメラ９０３が知られている。レンズ９０４は、全天球型撮影カメラ９０３の筐体両面に構成される一対の半天球撮影用の魚眼レンズの一つであり、この一対の魚眼レンズを用いて全天球型撮影カメラ９０３は全天球撮影を行う。つまり、この一対の魚眼レンズの投影画像を合成して全天球撮影が行われる。

図３５は、全天球型撮影カメラ９０３で撮影された映像の変換作業の例を示す図である。

図３５（ａ）は、全天球型撮影カメラ９０３による全天球撮影により得られた映像の例であり、被写体である撮影者９０６、子供９０７、木９０８が含まれている。この映像は、１対の魚眼レンズの投影画像を合成して得られた半天球光学系の映像であるため、撮影者９０６は大きく歪曲している。また、撮影者９０６が撮影しようとしていた被写体である子供９０７は、半天球光学系の周辺部に胴体部があったことで、胴体部が左右に大きく歪曲し、引き伸ばされている。一方、木９０８は、レンズ９０４の正面に位置する被写体であったため、大きな歪みなく撮影されている。

図３５（ａ）の映像から、普段人が見ているような視野の映像を作り出すにはその一部分を切り出して、平面変換して表示する必要がある。

図３５（ｂ）は、図３５（ａ）の映像から、レンズ９０４の正面に位置する映像を切り出した映像である。図３５（ｂ）の映像では、普段人が見ているような視野で、木９０８が中央に映っている。しかし撮影者９０６が撮影しようとしていた子供９０７は図３５（ｂ）には含まれていないので切り出し位置を変更しなくてはならない。ここでは具体的には切り出し位置を、図３５（ａ）において図面向かって木９０８より左方向かつ３０°下方方向とする必要がある。この切り出し作業を行ったあと、平面変換して表示した映像が図３５（ｃ）である。このように、図３５（ａ）の映像から撮影者が撮影しようとしていた図３５（ｃ）の映像を得るには、必要な箇所を切り出して平面変換する（以後「トリミング」という）作業しなくてはならない。このため、撮影者は、体験中（撮影中）は体験に集中できるがその後の作業量が膨大になるといった課題があった。

そこで、特許文献１では、被写体を撮影する第１のカメラの他に、使用者を撮影する第２のカメラを使用する技術が開示されている。この技術では、第２のカメラで撮影された画像より使用者の移動方向や視線方向を算出し、第１のカメラの撮影方向を決め、使用者の嗜好や状態から被写体を推定して撮影する。

また、特許文献２では、撮影者（使用者）の観察方向を検出するためジャイロや加速度センサからなるセンサを頭部に装着し、体やバッグなどに別体で装着された撮像装置からセンサで検出された観察方向の撮影を行う画像録画システムが開示されている。

特開２００７－７４０３３号公報 特開２０１７－６００７８号公報

しかしながら、特許文献１では、第２のカメラは使用者と離れた位置から使用者を撮影するため、第２のカメラで撮影された画像より使用者の移動方向や視線方向を算出するには、第２のカメラに高い光学性能が必要となっていた。また、第２のカメラで撮影された画像の画像処理には高い演算処理能力が必要となってしまい、装置も大がかりなものとなってしまうという課題がある。さらに、それをもってしても使用者の観察方向を精密には算出できないために使用者の嗜好や状態からの被写体の推定を精度よく行うことができず、使用者が欲している映像とは異なる映像を撮影してしまうという課題があった。

また、特許文献２では、使用者の観察方向を直接的に検知するため、使用者は頭部にセンサだけとはいえ装着する必要があり、上述したような、頭部に何らかの装置を装着する際の煩わしさの解消ができない。また、センサがジャイロや加速度センサからなる場合、相対的な観察方向の検出には一定の精度が出せるが、絶対的な観察方向、特に水平回転方向の検出の精度は出せないため、実用化には課題があった。

そこで、本発明の目的は、撮影中の手による撮影方向の変更を不要とし、その場の体験に集中しつつも、体験を記録した映像を簡便に取得することができる撮像装置及びその制御方法並びにプログラムを提供することである。

上記課題を解決するため、本発明の請求項１に係る撮像装置は、使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出手段と、前記使用者の身体上に装着され、映像を撮像する撮像手段と、前記撮像手段より撮像された映像のうち、前記観察方向に対応する映像記録用枠内の映像を出力する映像出力手段と、前記使用者の身体の一部が映りこまないように前記映像記録用枠を決定する決定手段とを備えることを特徴とする。

上記課題を解決するため、本発明の請求項１３に係る撮像装置は、使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出手段と、前記使用者の身体上に装着され、撮影レンズ及び撮像素子を用いて映像を撮像する撮像手段と、前記撮像手段より撮像された映像のうち、前記観察方向に対応する映像記録用枠の枠位置を決定する枠位置決定手段と、前記撮像手段より撮像された映像のうち、前記枠位置の映像を出力する映像出力手段とを備え、前記枠位置決定手段は、前記撮影レンズの前記撮像素子に対する有効投影部の内部に前記枠位置を決定することを特徴とする。

本発明によれば、撮影中の手による撮影方向の変更を不要とし、その場の体験に集中しつつも、体験を記録した映像を簡便に取得することができる。

実施例１に係る撮像装置としての撮影・検出部を含むカメラ本体の外観図である。 カメラ本体を使用者が掛けた様子を示す図である。 カメラ本体におけるバッテリー部を図１Ａの後方から見た図である。 カメラ本体と別体で構成される、実施例１に係る携帯機器としての表示装置の外観図である。 撮影・検出部を正面から見た図である。 カメラ本体における接続部のバンド部の形状を示す図である。 撮影・検出部を裏側からみた図である。 撮影・検出部を上からみた図である。 撮影・検出部の内部であって、カメラ本体における顔方向検出窓の下部に配置される、赤外検出処理装置の構成を示す図である。 カメラ本体を使用者が掛けた状態を使用者の左側面からみた図である。 バッテリー部の詳細を説明する図である。 実施例１に係るカメラ本体の機能ブロック図である。 カメラ本体のハードウェア構成を示すブロック図である。 表示装置のハードウェア構成を示すブロック図である。 カメラ本体及び表示装置において実行される、実施例１に係る撮影記録処理の概要を示すフローチャートである。 実施例１に係る、図７ＡのステップＳ１００の準備動作処理のサブルーチンのフローチャートである。 実施例１に係る、図７ＡのステップＳ２００の顔方向検出処理のサブルーチンのフローチャートである。 実施例１に係る、図７ＡのステップＳ３００の記録方向・範囲決定処理のサブルーチンのフローチャートである。 実施例１に係る、図７ＡのステップＳ５００の記録範囲現像処理のサブルーチンのフローチャートである。 動画モードにおける図７ＡのステップＳ２００～Ｓ５００までの処理を説明するための図である。 顔方向検出窓から見える使用者の映像を示す図である。 顔方向検出窓から見える使用者の映像に室内にある蛍光灯が背景として映りこんだ場合を示す図である。 図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外検出処理装置の赤外ＬＥＤを点灯させない状態で、顔方向検出窓を介して赤外検出処理装置のセンサで結像させた場合の映像を示す図である。 図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外ＬＥＤを点灯させた状態で、顔方向検出窓を介して赤外検出処理装置のセンサで結像させた場合の映像を示す図である。 図８Ｃ，図８Ｄの映像から演算された差分映像を示す図である。 図８Ｅの差分映像の濃淡を、使用者の顔・首部に投光された赤外線の反射光線の光強度にスケールを合わせて調整した場合を示す図である。 図８Ｆに、使用者の身体の各部位を示す符号、及び首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 使用者の顔が右方向を向いている時に、図８Ｅと同様の方法で演算された差分映像を示す図である。 図８Ｈに首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 使用者が水平より３３°上方に顔を向けている際に、顔方向検出窓から見える使用者の映像を示す図である。 使用者が水平より３３°上方に顔を向けている際に、図８Ｅと同様の方法で演算された差分映像に、首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。 赤外ＬＥＤの点灯タイミングを示したタイミングチャートである。 使用者の顔の上下方向の動きを説明する図である。 使用者が正面を向いている場合の、カメラ本体の撮影部により撮影された超広角映像における狙い視野を示す図である。 超広角映像から切り出された図１１Ａにおける狙い視野の映像を示す図である。 使用者が被写体Ａを観察している場合の、超広角映像における狙い視野を示す図である。 超広角映像から切り出された図１１Ｃにおける狙い視野の映像に対して、歪みや揺れを補正した映像を示す図である。 使用者が被写体Ａを図１１Ｃより小さい画角設定値で観察している場合の、超広角映像における狙い視野を示す図である。 超広角映像から切り出された図１１Ｅにおける狙い視野の映像に対して、歪みや揺れを補正した映像を示す図である。 超広角映像における狙い視野の一例を示す図である。 超広角映像における、図１２Ａの狙い視野と同じ画角設定値であるが観察方向が異なる狙い視野の一例を示す図である。 超広角映像における、図１２Ａの狙い視野と同じ画角設定値であるが観察方向が異なる狙い視野の他の一例を示す図である。 超広角映像における、図１２Ｃの狙い視野と同一観察方向であるが画角設定値が小さい狙い視野の一例を示す図である。 図１２Ａに示す狙い視野の周囲に予備領域を付与した例を示す図である。 図１２Ｂに示す狙い視野の周囲に、図１２Ｅの予備領域と同一防振レベルの予備領域を付与した例を示す図である。 図１２Ｄに示す狙い視野の周囲に、図１２Ｅの予備領域と同一防振レベルの予備領域を付与した例を示す図である。 カメラ本体での撮影前に、表示装置の表示部に表示される、動画モードの各種設定用のメニュー画面を示す図である。 図７ＡのステップＳ６００の一次記録処理のサブルーチンのフローチャートである。 一次記録処理により生成される映像ファイルのデータ構造を示す図である。 図７ＡのステップＳ７００の表示装置への転送処理のサブルーチンのフローチャートである。 図７ＡのステップＳ８００の光学補正処理のサブルーチンのフローチャートである。 図１７のステップＳ８０３において歪曲収差補正を実施した場合を説明するための図である。 図７ＡのステップＳ９００の防振処理のサブルーチンのフローチャートである。 実施例２に係るキャリブレーション処理に用いられるキャリブレータの詳細を示す図である。 カメラ本体及びキャリブレータにおいて実行される、実施例２に係るキャリブレーション処理のフローチャートである。 使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０３において、キャリブレータの表示部に表示される画面を示す図である。 使用者が、図２２Ａにおける指示表示に示された指示に従ってキャリブレータを前方にかざしている様子を示す斜視図である。 図２２Ｂの状態において撮影レンズが捉えた超広角画像の全体を示す模式図である。 図２２Ｃに示す超広角画像の収差を補正した画像を示す模式図である。 使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０８において顔方向検出部が記録した顔映像を示す模式図である。 図２１のステップＳ３１０７における判定方法を説明するための模式図である。 使用者の右上方向のキャリブレーション動作時に、図２１のステップＳ３１０３において、キャリブレータの表示部に表示される画面を示す図である。 使用者が、図２３Ａにおける指示表示に示された指示に従ってキャリブレータを右上にかざしている様子を示す斜視図である。 図２３Ｂの状態において撮影レンズが捉えた超広角画像の全体を示す模式図である。 図２３Ｃに示す超広角画像の収差を補正した画像を示す模式図である。 使用者の右手上方向のキャリブレーション動作時に、図２１のステップＳ３１０８において顔方向検出部が記録した顔映像を示す模式図である。 実施例３を説明するためのカメラ本体の撮影部により撮影された、使用者の顎１３４が映り込んだフレーム画像を示す図である。 顔方向検出用のＶ信号と固体撮像素子用のＶ信号が非同期である場合のタイミングチャートである。 実施例３を説明するためのカメラ本体の撮影部により撮影された、ＬＥＤ投光時露光領域及びＬＥＤ消灯時露光領域を有するフレーム画像の例の一つを示す図である。 実施例３を説明するためのカメラ本体の撮影部により撮影された、ＬＥＤ投光時露光領域及びＬＥＤ消灯時露光領域を有するフレーム画像の例の一つを示す図である。 実施例３に係る映像記録枠補正処理のフローチャートである。 図２７ＡのステップＳ８００５における使用者の映り込み確認処理のフローチャートである。 実施例３を説明するための、使用者が正面を向いている場合の全点灯画像及び全消灯画像の差分画像の例を示す図である。 図２８Ａの差分画像を二値化画像とした例を示す図である。 実施例３を説明するための、使用者が５つの方向を向いている夫々の場合に得られた全点灯画像及び全消灯画像の差分画像を二値化画像としたものの論理和画像の例を示す図である。 実施例４にて狙い視野と像高を説明するための概念図である。 実施例４にて観察方向の角度と座標系を説明するための概念図である。 実施例４を説明するための概念図である。 実施例５を説明するための概念図である。 従来技術である頭部固定アクセサリーを用いて頭部に固定されるカメラの構成例を示す図である。 従来技術である全天球型撮影カメラの構成例を示す図である。 図３４の全天球撮影カメラで撮影された映像の変換作業の例を示す図である。

（実施例１）
図１Ａ～図１Ｄは、本実施例に係る撮像装置としての撮影・検出部１０を含むカメラ本体１とこれと別体で構成される表示装置８００からなるカメラシステムを説明するための図である。尚、本実施例では、カメラ本体１と表示装置８００は別体である場合を例に示しているが、一体的に構成されていてもよい。また、カメラ本体１を首にかけて装着しているユーザを以下、使用者という。

図１Ａは、カメラ本体１の外観図である。

図１Ａにおいて、カメラ本体１は、撮影・検出部１０、バッテリー部９０、撮影・検出部１０とバッテリー部９０（電源手段）を接続する接続部８０を備える。

撮影・検出部１０は、顔方向検出窓１３、スタートスイッチ１４、ストップスイッチ１５、撮影レンズ１６、ＬＥＤ１７、及びマイク１９Ｌ，１９Ｒを備える。

顔方向検出窓１３は、撮影・検出部１０に内蔵される、使用者の顔の各部の位置を検出するための赤外ＬＥＤ点灯回路２１（図５：赤外線照射手段）から投光される赤外線やその反射光線を透過する。

スタートスイッチ１４は、撮影を開始するためのスイッチである。

ストップスイッチ１５は、撮影を止めるためのスイッチである。

撮影レンズ１６は、撮影する光線を撮影・検出部１０の内部の固体撮像素子４２（図５：撮像素子）に導く。

ＬＥＤ１７は、撮影中であることを示したり、警告を示したりするＬＥＤである。

マイク１９Ｒ，１９Ｌは、周辺の音を取りいれるマイクであり、マイク１９Ｌは使用者の周辺左側（図１Ａの向かって右側）の音を取り入れ、マイク１９Ｒは使用者の周辺右側（図１Ａの向かって左側）の音を取り入れる。

図１Ｂは、カメラ本体１を使用者が掛けた様子を示す図である。

バッテリー部９０が使用者の背中側に、撮影・検出部１０が使用者の体の前側にくるように装着すると、撮影・検出部１０の左右端部近傍に両端が接続される接続部８０によって胸方向に付勢され支えられる。これにより、撮影・検出部１０が使用者の鎖骨の前あたりに位置するようになる。この時、顔方向検出窓１３は使用者の顎の下に位置する。顔方向検出窓１３内には、後ほど図２Ｅで図示する赤外線集光レンズ２６がある。撮影レンズ１６の光軸（撮像光軸）と赤外線集光レンズ２６の光軸（検出光軸）は異なる方向を向いており、後述する顔方向検出部２０（顔方向検出手段）により顔の各部の位置から使用者の観察方向を検出する。これにより、後述する撮影部４０（撮像手段）によるその観察方向の撮影が可能となっている。

体形の個人差や、洋服の違いによる設定位置の調整方法等については後述する。

また、このように撮影・検出部１０を体の前面、バッテリー部９０を背面に配置することで、重量を分散し、使用者の疲れの軽減や使用者が動いた際の遠心力等によるズレの抑制効果がある。

尚、本実施例では、撮影・検出部１０が使用者の鎖骨の前あたりに位置するように装着される例を示したがこれに限定されない。すなわち、カメラ本体１は顔方向検出部２０により使用者の観察方向が検出でき、且つ撮影部４０によりその観察方向の撮影が可能であれば、カメラ本体１は使用者の頭部以外の身体上のいずれに装着されてもよい。

図１Ｃは、バッテリー部９０を図１Ａの後方から見た図である。

図１Ｃにおいて、バッテリー部９０は、充電ケーブル挿入口９１、調整用ボタン９２Ｌ，９２Ｒ、及び背骨よけ切り欠き９３を備える。

充電ケーブル挿入口９１は、不図示の充電ケーブルの挿入口であり、この充電ケーブルを介して外部電源から内部のバッテリー９４を充電したり、撮影・検出部１０に給電したりする。

調整用ボタン９２Ｌ，９２Ｒは、接続部８０のバンド部８２Ｌ，８２Ｒの長さの調整用ボタンである。調整用ボタン９２Ｌは、向かって左側のバンド部８２Ｌを調節するためのボタンであり、調整用ボタン９２Ｒは、向かって右側のバンド部８２Ｒを調節するためのボタンである。尚、本実施例では、調整用ボタン９２Ｌ，９２Ｒでバンド部８２Ｌ，８２Ｒの夫々の長さを独立に調整するが、１つのボタンでバンド部８２Ｌ，８２Ｒの長さを同時に調整するようにしてもよい。以下、バンド部８２Ｌ，８２Ｒをバンド部８２と総称する。

背骨よけ切り欠き９３は、バッテリー部９０が使用者の背骨部分に当たらない様に背骨部分を避けた切り欠き部である。人体の背骨の凸部を避けることで装着の不快感を減らすと同時に、使用中に本体が左右に移動することを防止している。

図１Ｄは、カメラ本体１と別体で構成される、実施例１に係る携帯機器としての表示装置８００の外観図である。

図１Ｄにおいて、表示装置８００は、ボタンＡ８０２、表示部８０３、ボタンＢ８０４、インカメラ８０５、顔センサ８０６、角速度センサ８０７、及び加速度センサ８０８を備える。また、図１Ｄにおいては不図示であるが、カメラ本体１との高速接続が可能な無線ＬＡＮを備える。

ボタンＡ８０２は、表示装置８００の電源ボタンの機能を備えるボタンであり、長押しによる電源のＯＮとＯＦＦの操作を受け付け、短押しによるその他の処理タイミングの指示を受け付ける。

表示部８０３は、カメラ本体１で撮影した映像を確認したり、設定に必要なメニュー画面を表示したりできる。本実施例では、表示部８０３の上面に透明なタッチセンサも設けて有り、表示中の画面（例えばメニュー画面）に対するタッチによる操作を受け付ける。

ボタンＢ８０４は、後述するキャリブレーション処理に用いられるキャリブレーションボタン８５４として機能するボタンである。

インカメラ８０５は、表示装置８００を観察している人を撮影することが可能なカメラである。

顔センサ８０６は、表示装置８００を観察している人の顔形状や観察方向を検出する。顔センサ８０６の具体的な構造は特に限定されないが、例えば構造光センサやＴｏＦセンサ、ミリ波レーダーなどの各種センサで実施することが可能である。

角速度センサ８０７は、表示装置８００内部にあるため透視図の意味として点線で示されている。本実施例の表示装置８００は後述するキャリブレータの機能も備えるため３次元のＸ，Ｙ，Ｚ方向の３方向のジャイロセンサが搭載されている。

加速度センサ８０８は、表示装置８００の姿勢を検出する。

尚、本実施例に係る表示装置８００には、一般のスマートフォンが利用されており、そのスマートフォン内のファームウェアをカメラ本体１側のファームウェアに対応させることで、本発明にかかるカメラシステムを実施可能としている。但し、カメラ本体１側のファームウェアを表示装置８００としてのスマートフォンのアプリケーションやＯＳに対応することによる本発明にかかるカメラシステムの実施も可能である。

図２Ａ～図２Ｆは、撮影・検出部１０を詳細に説明する図である。これ以降の図では既に説明した部分については同一の番号を付することで、同一機能を意味し、本明細書中の説明を省略する。

図２Ａは、撮影・検出部１０を正面から見た図である。

接続部８０は、使用者の身体の右側（図２Ａの向かって左側）にある右側接続部８０Ｒと、使用者の身体の左側（図２Ａの向かって右側）に構成される左側接続部８０Ｌにおいて撮影・検出部１０と接続する。接続部８０は詳細には、撮影・検出部１０との角度を保持する硬質素材の角度保持部８１とバンド部８２に分かれる。すなわち、右側接続部８０Ｒは、角度保持部８１Ｒとバンド部８２Ｒを有し、左側接続部８０Ｌは、角度保持部８１Ｌとバンド部８２Ｌを有する。

図２Ｂは、接続部８０のバンド部８２の形状を示す図である。本図では、バンド部８２の形状を示すため、角度保持部８１を透視させている。

バンド部８２は、接続面８３、及び電気ケーブル８４を備える。

接続面８３は、角度保持部８１とバンド部８２の接続面であり、真円ではない断面形状、ここでは楕円形状を有する。以下、接続面８３のうち、カメラ本体１の装着時に使用者の身体の右側（図２Ｂの向かって左側）及び左側（図２Ｂの向かって右側）に夫々左右対称に配置される接続面８３を、右側接続面８３Ｒ及び左側接続面８３Ｌという。右側接続面８３Ｒ及び左側接続面８３Ｌは、ちょうどカタカナの「ハ」の字の様な形状となっている。すなわち、図２Ｂ向かって下方から上方に行くほど、右側接続面８３Ｒ及び左側接続面８３Ｌの間の距離が近くなる。これにより、カメラ本体１を使用者が掛けた場合に、接続部８０の接続面８３の長軸方向が使用者の体に沿う方向となるため、バンド部８２が使用者の体に接するときに快適かつ、左右前後方向に撮影・検出部１０が移動しないという効果が生じる。

電気ケーブル８４（電力供給手段）は、バンド部８２Ｌ内部に配線され、バッテリー部９０と撮影・検出部１０を電気的に接続するケーブルである。電気ケーブル８４はバッテリー部９０の電源を撮影・検出部１０に接続したり、外部と電気信号の送受信をしたりする。

図２Ｃは、撮影・検出部１０を裏側からみた図である。図２Ｃは、使用者の体に接する側、すなわち、図２Ａの反対側からみた図のため、右側接続部８０Ｒと左側接続部８０Ｌの位置関係が図２Ａとは逆になっている。

撮影・検出部１０は、その裏側に、電源スイッチ１１、撮影モードスイッチ１２、及び胸部接続パッド１８を備える。

電源スイッチ１１は、カメラ本体１の電源のＯＮ／ＯＦＦを切り替える電源スイッチである。本実施例の電源スイッチ１１は、スライドレバーの形のスイッチであるが、これに限定されない。例えば、電源スイッチ１１は、プッシュ型のスイッチでもよいし、また、撮影レンズ１６の不図示のスライドカバーと一体的に構成されたスイッチでもよい。

撮影モードスイッチ１２（変更手段）は、撮影モードを変更するスイッチであり、撮影にかかわるモードを変更できる。本実施例では、撮影モードスイッチ１２は、静止画モードや動画モードの他、後述する、表示装置８００を用いて設定するプリ設定モードに切り替えることが可能である。本実施例では、撮影モードスイッチ１２は、レバーのスライドにより図２Ｃに示す「Ｐｈｏｔｏ」、「Ｎｏｒｍａｌ」、「Ｐｒｉ」のうちの一つを選択できるスライドレバーの形のスイッチである。撮影モードは、「Ｐｈｏｔｏ」へのスライドにより静止画モードに移行し、「Ｎｏｒｍａｌ」へのスライドにより動画モードに移行し、「Ｐｒｉ」へのスライドによりプリ設定モードへ移行する。尚、撮影モードスイッチ１２は、撮影モードの変更が可能なスイッチであれば、本実施例の形態に限定されない。例えば、「Ｐｈｏｔｏ」、「Ｎｏｒｍａｌ」、「Ｐｒｉ」の３つのボタンで撮影モードスイッチ１２は構成されていてもよい。

胸部接続パッド１８（固定手段）は、撮影・検出部１０が使用者の体に対して付勢されるときに、使用者の体に当たる部分である。図２Ａに示すように、撮影・検出部１０は装着時に縦（上下）の全長より横（左右）の全長が長くなるように形作られており、胸部接続パッド１８は、撮影・検出部１０の左右の端部近傍に配置されている。このように配置されることで、カメラ本体１での撮影中の左右の回転ブレを抑制することが可能となる。また、胸部接続パッド１８があることで、電源スイッチ１１や、撮影モードスイッチ１２が身体に接触することを防ぐことができる。さらに、胸部接続パッド１８は、長時間の撮影で撮影・検出部１０の温度が上昇しても使用者の体にその熱が伝わることを防ぐ役目や、撮影・検出部１０の角度調整の役目も担っている。

図２Ｄは、撮影・検出部１０を上からみた図である。

図２Ｄに示すように、撮影・検出部１０の上面の中央部に、顔方向検出窓１３が設けられ、また、胸部接続パッド１８は、撮影・検出部１０から突出している。

図２Ｅは、撮影・検出部１０の内部であって、顔方向検出窓１３の下部に配置される、赤外検出処理装置２７の構成を示す図である。

赤外検出処理装置２７は、赤外ＬＥＤ２２、及び赤外線集光レンズ２６を備える。

赤外ＬＥＤ２２は、使用者に向けて赤外線２３（図５）を投光する。

赤外線集光レンズ２６は、赤外ＬＥＤ２２からの赤外線２３の投光時に使用者から反射してくる反射光線２５（図５）を赤外検出処理装置２７の図示しないセンサに結像させるレンズである。

図２Ｆは、カメラ本体１を使用者が掛けた状態を使用者の左側面からみた図である。

角度調節ボタン８５Ｌは、角度保持部８１Ｌに設けられるボタンであり、撮影・検出部１０の角度調節の際に用いられる。尚、本図においては図示していないが、反対側面にある角度保持部８１Ｒの内部にも、角度調節ボタン８５Ｌと対称的な位置に角度調節ボタン８５Ｒが設定されている。以下、角度調節ボタン８５Ｒ，８５Ｌを総称する際は、角度調節ボタン８５という。

角度調節ボタン８５は、図２Ａ，図２Ｃ、図２Ｄでも見える位置にあるが、説明の単純化のために省略している。

使用者は、角度調節ボタン８５を押しながら角度保持部８１を図２Ｆ向かって上下に動かすことで撮影・検出部１０と角度保持部８１の角度を変更することが可能となる。また、胸部接続パッド１８は、その突出角度の変更が可能である。撮影・検出部１０は、この二つの角度変更部材（角度調節ボタン８５及び胸部接続パッド１８）の働きにより、使用者の胸位置形状の個人差に対して水平を撮影レンズ１６の向きを水平に調節することが可能である。

図３は、バッテリー部９０の詳細を説明する図である。

図３（ａ）は、バッテリー部９０を背面から一部透視表示した図である。

図３（ａ）に示すように、バッテリー部９０はその重量バランスを取るため、内部に左バッテリー９４Ｌと右バッテリー９４Ｒ（以下、バッテリー９４とも総称する）の２個が対称的に搭載されている。このようにバッテリー部９０の中央部に対してバッテリー９４を対照的に配置することで、左右の重量バランスをあわせ、カメラ本体１の位置ズレを防止している。尚、バッテリー部９０は、バッテリーを１つのみ搭載する構成としても良い。

図３（ｂ）は、バッテリー部９０を上部からみた図である。本図においても、バッテリー９４が透視で示されている。

図３（ｂ）に示すように、背骨よけ切り欠き９３とバッテリー９４の関係がわかる。このように、背骨よけ切り欠き９３の両サイドにバッテリー９４を対照的に配置することにより、比較的重量があるバッテリー部９０を使用者に負担なく装着させることが可能である。

図３（ｃ）は、バッテリー部９０を裏側からみた図である。図３（ｃ）は、使用者の体に接する側、すなわち、図３（ａ）の反対側からみた図である。

図３（ｃ）に示すように、背骨よけ切り欠き９３は、使用者の背骨に沿って中央に設けられている。

図４は、カメラ本体１の機能ブロック図である。詳細は後述するので、ここでは図４を用いてカメラ本体１で実行される大まかな処理の流れを説明する。

図４において、カメラ本体１は、顔方向検出部２０、記録方向・画角決定部３０、撮影部４０、画像切り出し・現像処理部５０、一次記録部６０、送信部７０、及び他制御部１１１を備える。これらの機能ブロックは、カメラ本体１の全体制御を行う全体制御ＣＰＵ１０１（図５）の制御により実行される。

顔方向検出部２０（観察方向検出手段）は、先に出てきた赤外ＬＥＤ２２や赤外検出処理装置２７などにより実行される機能ブロックであり、顔方向を検出して観察方向を類推し、これを記録方向・画角決定部３０に渡す。

記録方向・画角決定部３０（記録方向決定手段）は、顔方向検出部２０で類推された観察方向に基づき各種演算を行って、撮影部４０からの映像を切り出す際の位置や範囲の情報を決定し、この情報を画像切り出し・現像処理部５０に渡す。

撮影部４０は、被写体からの光線を映像に変換し、その映像を画像切り出し・現像処理部５０に渡す。

画像切り出し・現像処理部５０（現像手段）は、記録方向・画角決定部３０からの情報を用いて、撮影部４０からの映像を切り出して現像することで、使用者が見ている方向の映像のみを一次記録部６０に渡す。

一次記録部６０は、一次メモリ１０３（図５）などにより構成される機能ブロックであり、映像情報を記録し、必要タイミングで送信部７０に渡す。

送信部７０（送信手段）は、あらかじめ決められた通信相手である、表示装置８００（図１Ｄ）、キャリブレータ８５０、及び簡易表示装置９００と無線接続し、これらに対して通信を行う。尚、表示装置８００とキャリブレータ８５０は、本実施例では無線接続しているが、有線接続していてもよい。

表示装置８００は、高速接続可能な無線ＬＡＮ（以下「高速無線」という）で送信部７０と接続可能な表示装置である。ここで本実施例では、高速無線に、ＩＥＥＥ８０２．１１ａｘ（ＷｉＦｉ ６）規格に対応する無線通信を利用するが、他の規格、例えばＷｉＦｉ ４規格やＷｉＦｉ ５規格に対応する無線通信を利用してもよい。また、表示装置８００はカメラ本体１専用に開発した機器でも良いし、一般的なスマートフォンや、タブレット端末等でも良い。

尚、送信部７０と表示装置８００の接続には、小電力無線を用いていてもよいし、高速無線と小電力無線の両方で接続したり、切り替えて接続したりしても良い。本実施例では、後述する動画映像の映像ファイルなどデータ量の多いものは高速無線で伝送し、軽量のデータや、伝送に時間がかかっても良いデータは、小電力無線で伝送する。ここで本実施例では、小電力無線に、Ｂｌｕｅｔｏｏｔｈを利用するが、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の他の近距離（短距離）無線通信を用いてもよい。

キャリブレータ８５０は、カメラ本体１の初期設定時や、個別設定を行う機器であり、表示装置８００と同様に高速無線で送信部７０と接続可能な機器である。キャリブレータ８５０についての詳細は後述する。また、表示装置８００がこのキャリブレータ８５０としての機能を兼ね備えても良い。

簡易表示装置９００は、たとえば小電力無線でしか送信部７０と接続できない表示装置である。

簡易表示装置９００は、送信部７０との間で、時間的な制約により動画映像の伝送はできないが、撮影開始・停止のタイミング伝送や、構図確認程度の画像確認などが行える表示装置である。また、簡易表示装置９００は、表示装置８００と同様、カメラ本体１専用に開発した機器でも良いし、スマートウォッチなどであっても良い。

図５は、カメラ本体１のハードウェア構成を示すブロック図である。また、図１Ａ～図１Ｃ等を用いて説明した構成・機能については、同じ番号を用い詳細説明は省略する。

図５においてカメラ本体１は、全体制御ＣＰＵ１０１、電源スイッチ１１、撮影モードスイッチ１２、顔方向検出窓１３、スタートスイッチ１４、ストップスイッチ１５、撮影レンズ１６、及びＬＥＤ１７を備える。

カメラ本体１はまた、顔方向検出部２０（図４）を構成する、赤外ＬＥＤ点灯回路２１、赤外ＬＥＤ２２、赤外線集光レンズ２６、及び赤外検出処理装置２７を備える。

また、カメラ本体１は、撮像ドライバー４１、固体撮像素子４２、及び撮像信号処理回路４３からなる撮影部４０（図４）や、小電力無線ユニット７１及び高速無線ユニット７２からなる送信部７０（図４）を備える。

尚、カメラ本体１には、本実施例では撮影部４０は１つしか設けられていないが２以上の撮影部４０を設け、３Ｄ映像の撮影をしたり、１つの撮影部４０で取得できる画角より広角の映像の撮影をしたりするようにたり、複数方向の撮影をしたりしてもよい。

カメラ本体１はまた、大容量不揮発性メモリ５１、内蔵不揮発性メモリ１０２、及び一次メモリ１０３等の各種メモリを備える。

さらに、カメラ本体１は、音声処理部１０４、スピーカー１０５、振動体１０６、角速度センサ１０７、加速度センサ１０８、及び各種スイッチ１１０を備える。

全体制御ＣＰＵ１０１は、図２Ｃを用いて前述した電源スイッチ１１などが接続され、このカメラ本体１の制御を行う。図４の記録方向・画角決定部３０、画像切り出し・現像処理部５０、及び他制御部１１１は、全体制御ＣＰＵ１０１自身によって構成される。

赤外ＬＥＤ点灯回路２１は、図２Ｅを用いて前述した赤外ＬＥＤ２２の点灯・消灯の制御を行い、赤外ＬＥＤ２２から使用者に向けた赤外線２３の投光を制御する。

顔方向検出窓１３は、可視光カットフィルタで構成され、可視光線はほぼ透過できないが、赤外域の光である赤外線２３やその反射光線２５は十分透過する。

赤外線集光レンズ２６は、反射光線２５を集光するレンズである。

赤外検出処理装置２７（赤外線検出手段）は、赤外線集光レンズ２６で集光された反射光線２５を検出するセンサを有する。このセンサは、集光された反射光線２５を映像として結像し、センサデータに変換して、全体制御ＣＰＵ１０１へ渡す。

図１Ｂに示すようにカメラ本体１を使用者が掛けている場合、顔方向検出窓１３は使用者の顎の下に位置する。このため、赤外ＬＥＤ点灯回路２１から投光された赤外線２３は、図５に示すように顔方向検出窓１３を透過して使用者の顎付近である赤外線照射面２４に照射される。また、赤外線照射面２４で反射した赤外線２３は、反射光線２５となり、顔方向検出窓１３を透過し、赤外線集光レンズ２６によって、赤外検出処理装置２７にあるセンサに集光される。

各種スイッチ１１０は、図１Ａ～図１Ｃ等では不図示である、詳細は省略するが、本実施例と関係がない機能を実行するためのスイッチである。

撮像ドライバー４１は、タイミングジェネレータ等を含み、撮像にかかわる各部に各種タイミング信号を生成・出力し、撮影駆動する。

固体撮像素子４２は、図１Ａを用いて説明した撮影レンズ１６から投影された被写体像を光電変換してえられた信号を撮像信号処理回路４３に出力する。

撮像信号処理回路４３は、固体撮像素子４２からの信号に対してクランプなどの処理やＡ／Ｄ変換などの処理を行って生成した撮影データを全体制御ＣＰＵ１０１に出力する。

内蔵不揮発性メモリ１０２は、フラッシュメモリなどが用いられ、全体制御ＣＰＵ１０１の起動プログラムや、各種プログラムモードの設定値が記憶されている。本実施例では、観察視野（画角）の変更や防振制御の効果レベルを設定できるので、そういった設定値も記録する。

一次メモリ１０３は、ＲＡＭなどで構成され、処理中の映像データを一時的に記憶したり、全体制御ＣＰＵ１０１の演算結果を一時的に記憶したりする。

大容量不揮発性メモリ５１は、一次画像データの記録または読み出しを行う。本実施例では、説明の簡単化のため、大容量不揮発性メモリ５１が脱着機構は無い半導体メモリである場合について説明を行うが、これに限定されない。例えば、大容量不揮発性メモリ５１は、ＳＤカードなどの脱着可能な記録媒体で構成してもよいし、内蔵不揮発性メモリ１０２と併用しても良い。

小電力無線ユニット７１は、小電力無線で表示装置８００、キャリブレータ８５０、及び簡易表示装置９００との間でデータのやり取りを行う。

高速無線ユニット７２は、高速無線で表示装置８００、キャリブレータ８５０、及び簡易表示装置９００との間でデータのやり取りを行う。

音声処理部１０４は、外部の音（アナログ信号）を収音する図１Ａ向かって右側のマイク１９Ｌ、同図向かって左側のマイク１９Ｒを備え、収音されたアナログ信号を処理し音声信号を生成する。

ＬＥＤ１７、スピーカー１０５及び振動体１０６は、光を発したり、音を発したり、振動したりすることで、カメラ本体１の状態を使用者に対して通達したり警告したりする。

角速度センサ１０７は、ジャイロ等を用いたセンサであり、カメラ本体１自体の移動をジャイロデータとして検出する。

加速度センサ１０８は、撮影・検出部１０の姿勢を検出する。

尚、角速度センサ１０７及び加速度センサ１０８は、撮影・検出部１０に内蔵されるものであり、後述する表示装置８００内にもこれとは別体の角速度センサ８０７及び加速度センサ８０８が設けられている。

図６は、表示装置８００のハードウェア構成を示すブロック図である。図１Ｄを用いて説明した箇所は説明の簡単化のため、同一の符号を用い説明を省略する。

図６において、表示装置８００は、表示装置制御部８０１、ボタンＡ８０２、表示部８０３、ボタンＢ８０４、インカメラ８０５、顔センサ８０６、角速度センサ８０７、加速度センサ８０８、撮像信号処理回路８０９、及び各種スイッチ８１１を備える。

また、表示装置８００は、内蔵不揮発性メモリ８１２、一次メモリ８１３、大容量不揮発性メモリ８１４、スピーカー８１５、振動体８１６、ＬＥＤ８１７、音声処理部８２０、小電力無線ユニット８７１、及び高速無線ユニット８７２を備える。

表示装置制御部８０１は、ＣＰＵにより構成され、図１Ｄを用いて説明したボタンＡ８０２や顔センサ８０６等が接続され、表示装置８００の制御を行う。

撮像信号処理回路８０９は、カメラ本体１内部の撮像ドライバー４１、固体撮像素子４２、撮像信号処理回路４３と同等機能を担うが、本実施例での説明にはあまり重要でないので、説明の簡略化のため一つにまとめて説明している。撮像信号処理回路８０９で出力されたデータは、表示装置制御部８０１内で処理される。このデータの処理内容については後述する。

各種スイッチ８１１は、図１Ｄでは不図示である、詳細は省略するが、本実施例と関係がない機能を実行するためのスイッチである。

角速度センサ８０７は、ジャイロ等を用いたセンサであり、表示装置８００自体の移動を検出する。

加速度センサ８０８は、表示装置８００自体の姿勢を検出する。

尚、上述の通り、角速度センサ８０７及び加速度センサ８０８は、表示装置８００に内蔵されており、先に説明したカメラ本体１にある角速度センサ１０７及び加速度センサ８０８とは同様の機能は有するが別体である。

内蔵不揮発性メモリ８１２は、フラッシュメモリなどが用いられ、表示装置制御部８０１の起動プログラムや、各種プログラムモードの設定値が記憶されている。

一次メモリ８１３は、ＲＡＭなどで構成され、処理中の映像データを一時的に記憶したり、撮像信号処理回路８０９の演算結果を一時的に記憶したりする。本実施例では、動画映像の録画中は、各フレームの撮影時刻に角速度センサ１０７で検出されたジャイロデータが各フレームと紐づいて、一次メモリ８１３に保持される。

大容量不揮発性メモリ８１４は、表示装置８００の画像データを記録または読み出す。本実施例では、大容量不揮発性メモリ８１４は、ＳＤカードの様に脱着可能なメモリで構成される。尚、カメラ本体１にある大容量不揮発性メモリ５１のように脱着できないメモリで構成してもよい。

スピーカー８１５、振動体８１６及びＬＥＤ８１７は、音を発したり、振動したり、光を発したりすることで、表示装置８００の状態を使用者に対して通達したり、警告したりする。

音声処理部８２０は、外部の音（アナログ信号）を収音する左マイク８１９Ｌ、右マイク８１９Ｒを備え、収音されたアナログ信号を処理し音声信号を生成する。

小電力無線ユニット８７１は、小電力無線でカメラ本体１との間でデータのやり取りを行う。

高速無線ユニット８７２は、高速無線でカメラ本体１との間でデータのやり取りを行う。

顔センサ８０６（顔検出手段）は、赤外ＬＥＤ点灯回路８２１、赤外ＬＥＤ８２２、赤外線集光レンズ８２６、及び赤外検出処理装置８２７を備える。

赤外ＬＥＤ点灯回路８２１は、図５の赤外ＬＥＤ点灯回路２１と同様の機能を有する回路であり、赤外ＬＥＤ８２２の点灯・消灯の制御を行い、赤外ＬＥＤ８２２から使用者に向けた赤外線８２３の投光を制御する。

赤外線集光レンズ８２６は、赤外線８２３の反射光線８２５を集光するレンズである。

赤外検出処理装置８２７は、赤外線集光レンズ８２６で集光された反射光線を検出するセンサを有する。このセンサは、集光された反射光線８２５をセンサデータに変換して、表示装置制御部８０１へ渡す。

図１Ｄに示す顔センサ８０６を使用者に向けると、図６に示すように、赤外ＬＥＤ点灯回路８２１から投光された赤外線８２３が、使用者の顔全体である赤外線照射面８２４に照射される。また、赤外線照射面８２４で反射した赤外線８２３は、反射光線８２５となり、赤外線集光レンズ８２６によって、赤外検出処理装置８２７にあるセンサに集光される。

その他機能部８３０は、詳細は省略するが、本実施例と関係がない機能であって、電話機能やその他センサなどスマートフォンならではの機能を実行する。

以下、カメラ本体１及び表示装置８００の使い方について説明する。

図７Ａは、カメラ本体１及び表示装置８００において実行される、本実施例に係る撮影記録処理の概要を示すフローチャートである。

説明の補助として、図７Ａでは各ステップの右側にそのステップが図４に示すどの機器で行われているかが記載されている。すなわち、図７ＡのステップＳ１００～Ｓ７００はカメラ本体１にて実行され、図７ＡのステップＳ８００～Ｓ１０００は表示装置８００にて実行される。

ステップＳ１００では、電源スイッチ１１がＯＮとなり、カメラ本体１に電源投入がされると、全体制御ＣＰＵ１０１は、起動して内蔵不揮発性メモリ１０２から起動プログラムを読み出す。その後、全体制御ＣＰＵ１０１は、カメラ本体１の撮影前の設定を行う準備動作処理を実行する。準備動作処理の詳細は図７Ｂを用いて後述する。

ステップＳ２００では、顔方向検出部２０が顔方向を検出することで、観察方向を類推する顔方向検出処理を実行する。顔方向検出処理の詳細は図７Ｃを用いて後述する。本処理は、所定のフレームレートで実行される。

ステップＳ３００では、記録方向・画角決定部３０が記録方向・範囲決定処理を実行する。記録方向・範囲決定処理の詳細は図７Ｄを用いて後述する。

ステップＳ４００では、撮影部４０が撮影を行い、撮影データを生成する。

ステップＳ５００では、画像切り出し・現像処理部５０がステップＳ４００で生成された撮影データに対し、ステップＳ３００で決定された記録方向、画角情報を用いて、映像を切り出し、その範囲の現像処理を行う記録範囲現像処理を実行する。記録範囲現像処理の詳細は図７Ｅを用いて後述する。

ステップＳ６００では、ステップＳ５００で現像された映像を、一次記録部６０（映像記録手段）が一次メモリ１０３に映像データとして保存する一次記録処理を実行する。一次記録処理の詳細は図１４を用いて後述する。

ステップＳ７００では、送信部７０（映像出力手段）がステップＳ６００で一次記録された映像を指定タイミングにて表示装置８００に対して無線にて送信（出力）する表示装置８００への転送処理を実行する。表示装置８００への転送処理の詳細は図１６を用いて後述する。

ステップＳ８００以降のステップは、表示装置８００にて実行される。

ステップＳ８００では、表示装置制御部８０１が、ステップＳ７００でカメラ本体１から転送された映像に対し光学補正を行う光学補正処理を実行する。光学補正処理の詳細は図１７を用いて後述する。

ステップＳ９００では、表示装置制御部８０１が、ステップＳ８００で光学補正が行われた映像に対し防振処理を行う。防振処理の詳細は図１９を用いて後述する。

尚、ステップＳ８００とステップＳ９００の順番を逆にしても良い。つまり、先に映像の防振補正を行い、あとから光学補正を行っても良い。

ステップＳ１０００では、表示装置制御部８０１（動画記録手段）が、ステップＳ８００，Ｓ９００における光学補正処理、防振処理を完了した映像を大容量不揮発性メモリ８１４に記録する二次記録を行い、本処理を終了する。

次に図７Ｂ～図７Ｆを用いて、図７Ａで説明した各ステップのサブルーチンについて処理の順番とともに他図なども用いながら詳細に説明する。

図７Ｂは、図７ＡのステップＳ１００の準備動作処理のサブルーチンのフローチャートである。以下本処理を、図２や図５に図示した各箇所を使って説明する。

ステップＳ１０１では、電源スイッチ１１がＯＮか否かを判定する。電源がＯＦＦのままの場合は待機し、ＯＮとなるとステップＳ１０２へ進む。

ステップＳ１０２では、撮影モードスイッチ１２で選択されているモードを判定する。判定の結果、撮影モードスイッチ１２で選択されているモードが動画モードである場合は、ステップＳ１０３に進む。

ステップＳ１０３では、動画モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存した後、ステップＳ１０４に進む。ここで動画モードの各種設定には、画角設定値ａｎｇ（本実施例では９０°に事前設定される）や「強」「中」「切」などで指定される防振レベルが含まれる。

ステップＳ１０４では、動画モード用に撮像ドライバー４１の動作を開始した後、本サブルーチンを抜ける。

ステップＳ１０２の判定の結果、撮影モードスイッチ１２で選択されているモードが静止画モードである場合は、ステップＳ１０６に進む。

ステップＳ１０６では、静止画モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存した後、ステップＳ１０７に進む。ここで静止画モードの各種設定には、画角設定値ａｎｇ（本実施例では４５°に事前設定される）や「強」「中」「切」などで指定される防振レベルが含まれる。

ステップＳ１０７では、静止画モード用に撮像ドライバー４１の動作を開始した後、本サブルーチンを抜ける。

ステップＳ１０２の判定の結果、撮影モードスイッチ１２で選択されているモードがプリ設定モードである場合は、ステップＳ１０８に進む。ここでプリ設定モードとは、表示装置８００などの外部機器からカメラ本体１に対して撮影モードの設定がなされるモードであり、撮影モードスイッチ１２により切り替え可能な３つの撮影モードの一つである。プリ設定モードとは、すなわちカスタム撮影のためのモードである。ここで、カメラ本体１は小型のウェアラブルデバイスのため、その詳細設定を変更するための操作スイッチや設定画面等はカメラ本体１には設けられておらず、表示装置８００のような外部機器でカメラ本体１の詳細設定の変更は行われる。

たとえば同じ動画撮影でも、９０°の画角と１１０°の画角を続けて撮影したい場合を考えてみる。通常の動画モードでは９０°の画角が設定されているため、このような撮影を行う場合、まず通常の動画モードでの撮影後、撮影を一度終了し、表示装置８００をカメラ本体１の設定画面に変えて、画角を１１０°に切り替える操作が必要となる。しかし、なんらかのイベント中であると、表示装置８００に対するかかる操作は煩わしい。

一方、プリ設定モードを、画角１１０°で動画撮影するモードに事前設定しておけば、画角９０°での動画撮影が終わった後、撮影モードスイッチ１２を「Ｐｒｉ」にスライドするだけで、画角１１０°での動画撮影に即座に変更できる。すなわち、使用者は、現在の行為を中断し、上述の煩わしい操作を行う必要がなくなる。

尚、プリ設定モードで設定する内容に、画角だけでなく、「強」「中」「切」などで指定される防振レベルや、本実施例では説明しない音声認識の設定なども含めてもよい。

ステップＳ１０８では、プリ設定モードの各種設定を内蔵不揮発性メモリ１０２から読み出して、一次メモリ１０３に保存した後、ステップＳ１０９に進む。ここでプリ設定モードの各種設定には、画角設定値ａｎｇや「強」「中」「切」などで指定される防振レベルが含まれる。

ステップＳ１０９ではプリ設定モード用に撮像ドライバー４１の動作を開始した後、本サブルーチンを抜ける。

ここで、図１３を用いてステップＳ１０３で読み出した動画モードの各種設定について説明する。

図１３は、カメラ本体１での撮影前に、表示装置８００の表示部８０３に表示される、動画モードの各種設定用のメニュー画面を示す図である。尚、図１Ｄと同じ箇所については同一の符号を用いて説明を省略する。尚、表示部８０３はタッチパネル機能を有しており、この後の説明はスワイプなどの動作を含むタッチ動作で機能するものとして説明する。

図１３において、メニュー画面には、プレビュー画面８３１、ズームレバー８３２、録画開始・停止ボタン８３３、スイッチ８３４、電池残量表示８３５、ボタン８３６、レバー８３７、及びアイコン表示部８３８を備える。

プレビュー画面８３１は、カメラ本体１で撮影された映像の確認ができ、ズーム量や画角の確認ができる。

ズームレバー８３２は、左右にシフトすることでズーム設定ができる操作部である。本実施例では４５°、９０°、１１０°、１３０°の４つの値が画角設定値ａｎｇとして設定できる場合について説明するが、ズームレバー８３２によりこれらの値以外も画角設定値ａｎｇとして設定できるようにしてもよい。

録画開始・停止ボタン８３３は、スタートスイッチ１４とストップスイッチ１５の機能を兼ね備えるトグルスイッチである。

スイッチ８３４は、防振の「切」「入」を切り替えるスイッチである。

電池残量表示８３５は、カメラ本体１の電池残量を表示する。

ボタン８３６は、その他のモードに入るボタンである。

レバー８３７は、防振強度を設定するレバーである。本実施例では、防振強度として設定できるのは「強」「中」のみだが、他の防振強度、例えば「弱」なども設定できるようにしてもよい。また、無段階に防振強度を設定できるようにしても良い。

アイコン表示部８３８は、プレビュー用の複数のサムネイルアイコンを表示する。

図７Ｃは、図７ＡのステップＳ２００の顔方向検出処理のサブルーチンのフローチャートである。本処理の詳細を説明する前に、赤外線投光による顔方向の検出方法について図８Ａ～図８Ｋを用いて解説する。

図８Ａは、顔方向検出窓１３から見える使用者の映像を示す図である。

図８Ａの映像は、顔方向検出窓１３に可視光カットフィルタ成分が無く、可視光を十分透過し、且つ赤外検出処理装置２７が可視光用撮像素子だった場合に、その可視光用撮像素子において撮影される映像と同一である。

図８Ａの映像には、使用者の鎖骨上の首前部２０１、顎の付け根２０２、顎先２０３、鼻を含む顔２０４が映っている。

図８Ｂは、顔方向検出窓１３から見える使用者の映像に室内にある蛍光灯が背景として映りこんだ場合を示す図である。

図８Ｂの映像には、使用者の周囲にある複数の蛍光灯２０５が映っている。この様に使用条件により赤外検出処理装置２７には様々な背景等が映り込むため、赤外検出処理装置２７からのセンサデータから、顔方向検出部２０や全体制御ＣＰＵ１０１が顔部の映像を切り分けることが困難になる。昨今は、ＡＩ等の利用によりこういった映像を切り分ける技術もあるが、全体制御ＣＰＵ１０１に高い能力が求められ、携帯機器であるカメラ本体１には適さない。

実際には顔方向検出窓１３には可視光カットフィルタで構成されているので可視光はほぼ透過しないので、赤外検出処理装置２７の映像は、図８Ａ，図８Ｂのような映像にはならない。

図８Ｃは、図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外ＬＥＤ２２を点灯させない状態で、顔方向検出窓１３を介して赤外検出処理装置２７のセンサで結像させた場合の映像を示す図である。

図８Ｃの映像では、使用者の首や顎は暗くなっている。一方、蛍光灯２０５は、可視光線だけでなく赤外線成分も持っているためにやや明るく映っている。

図８Ｄは、図８Ｂに示す使用者及びその背景としての蛍光灯を、赤外ＬＥＤ２２を点灯させた状態で、顔方向検出窓１３を介して赤外検出処理装置２７のセンサで結像させた場合の映像を示す図である。

図８Ｄの映像では、使用者の首や顎が明るくなっている。一方、図８Ｃと異なり、蛍光灯２０５周辺の明るさなどは変わっていない。

図８Ｅは、図８Ｃ，図８Ｄの映像から演算された差分映像を示す図である。使用者の顔が浮かび上がっていることがわかる。

このように、全体制御ＣＰＵ１０１（映像取得手段）は、赤外ＬＥＤ２２の点灯時及び消灯時の夫々において赤外検出処理装置２７のセンサで結像された映像の差を演算することで、使用者の顔が抽出された差分映像（以下、顔映像ともいう）を得る。

本実施例の顔方向検出部２０は赤外線反射強度を赤外検出処理装置２７で２次元画像として抽出することにより顔映像を取得する方式を採用している。赤外検出処理装置２７のセンサは、一般的な撮像素子と同様の構造を採用しており、顔画像を１フレームずつ取得している。そのフレーム同期を取る垂直同期信号（以下、Ｖ信号という）は赤外検出処理装置２７で生成され全体制御ＣＰＵ１０１に出力される。

図９は、赤外ＬＥＤ２２の点灯・消灯のタイミングを示したタイミングチャートである。

図９（ａ）は、赤外検出処理装置２７でＶ信号が生成されるタイミングを示す。Ｖ信号がＨｉになることで、フレーム同期及び赤外ＬＥＤ２２の点灯・消灯のタイミングが計られる。

図９（ａ）では、ｔ１が１回目の顔画像取得期間、ｔ２が２回目の顔画像取得期間を示している。図９（ａ），（ｂ），（ｃ），（ｄ）は、その横軸の時間軸が同一となるように記載されている。

図９（ｂ）は、赤外検出処理装置２７のセンサから出力される像信号のＨ位置を縦軸で表す。像信号のＨ位置が、図９（ｂ）に示すように、Ｖ信号と同期するよう、赤外検出処理装置２７はそのセンサの動きを制御する。尚、赤外検出処理装置２７のセンサは、上述した通り、一般的な撮像素子と同様の構造を採用しておりその動きは公知であるため詳細の制御については割愛する。

図９（ｃ）は、全体制御ＣＰＵ１０１から赤外ＬＥＤ点灯回路２１に出力されるＩＲ－ＯＮ信号のＨｉ及びＬｏｗの切り替えタイミングを示す。ＩＲ－ＯＮ信号のＨｉ及びＬｏｗの切り替えは、図９（ｃ）に示すように、Ｖ信号と同期するよう、全体制御ＣＰＵ１０１が制御する。具体的には、全体制御ＣＰＵ１０１は、ｔ１の期間中は、ＬｏｗのＩＲ－ＯＮ信号を赤外ＬＥＤ点灯回路２１に出力し、ｔ２の期間中は、ＨｉのＩＲ－ＯＮ信号を赤外ＬＥＤ点灯回路２１に出力する。

ここで、ＩＲ－ＯＮ信号がＨｉの期間中は、赤外ＬＥＤ点灯回路２１は赤外ＬＥＤ２２を点灯し、赤外線２３が使用者に投光される。一方、ＩＲ－ＯＮ信号がＬｏｗの期間中は、赤外ＬＥＤ点灯回路２１は赤外ＬＥＤ２２を消灯する。

図９（ｄ）は、赤外検出処理装置２７のセンサから全体制御ＣＰＵ１０１に出力される撮像データである。縦方向が信号強度であり、反射光線２５の受光量を示している。つまりｔ１の期間中は、赤外ＬＥＤ２２は消灯しているので使用者の顔部分からの反射光線２５は無い状態であり、図８Ｃの様な撮像データが得られる。一方、ｔ２の期間中は、赤外ＬＥＤ２２は点灯しているので、使用者の顔部分からは反射光線２５がある状態であり、図８Ｄの様な撮像データが得られる。このため、図９（ｄ）に示すように、ｔ２の期間中の信号強度は、ｔ１の期間中の信号強度と比べて使用者の顔部分からの反射光線２５の分だけ強度が上がる。

図９（ｅ）は、図９（ｄ）のｔ１，ｔ２の夫々の期間中の撮像データの差分を取ったものであり、図８Ｅの様な、使用者の顔からの反射光線２５の成分のみが抽出された撮像データが得られる。

上述の図８Ｃ～図８Ｅ，図９を用いて説明した動作を含めた上での、ステップＳ２００における顔方向検出処理を図７Ｃに示す。

まず、ステップＳ２０１で、赤外検出処理装置２７から出力されたＶ信号が、ｔ１の期間が開始したタイミングＶ１となったとき、ステップＳ２０２に進む。

ついでステップＳ２０２で、ＩＲ－ＯＮ信号をＬｏｗに設定し、赤外ＬＥＤ点灯回路２１に出力する。これにより、赤外ＬＥＤ２２は消灯する。

ステップＳ２０３で、ｔ１の期間中において赤外検出処理装置２７から出力された１フレーム分の撮像データを読み出し、そのデータをＦｒａｍｅ１として一次メモリ１０３に一時保存する。

ステップＳ２０４で、赤外検出処理装置２７から出力されたＶ信号が、ｔ２の期間が開始したタイミングＶ２となったとき、ステップＳ２０３に進む。

ステップＳ２０５で、ＩＲ－ＯＮ信号をＨｉに設定し、赤外ＬＥＤ点灯回路２１に出力する。これにより、赤外ＬＥＤ２２は点灯する。

ステップＳ２０６で、ｔ２の期間中において赤外検出処理装置２７から出力された１フレーム分の撮像データを読み出し、そのデータをＦｒａｍｅ２として一次メモリ１０３に一時保存する。

ステップＳ２０７で、ＩＲ－ＯＮ信号をＬｏｗに設定し、赤外ＬＥＤ点灯回路２１に出力する。これにより赤外ＬＥＤ２２は消灯する。

ステップＳ２０８で、一次メモリ１０３からＦｒａｍｅ１及びＦｒａｍｅ２を読み出し、Ｆｒａｍｅ２からＦｒａｍｅ１を引いた差分であり、図９（ｅ）の使用者の反射光線２５成分の光強度Ｆｎを演算する（これは一般的には黒引きと呼ばれる処理にあたる）。

ステップＳ２０９で、光強度Ｆｎより首元位置（首回転中心）を抽出する。

まず、全体制御ＣＰＵ１０１（分割手段）は、光強度Ｆｎを基に、顔映像を、図８Ｆを用いて説明する複数の距離エリアに分割する。

図８Ｆは、使用者の顔・首部の各部位について光量の分布をみるため、図８Ｅの差分映像の濃淡を、使用者の顔・首部に投光された赤外線２３の反射光線２５の光強度にスケールを合わせて調整した場合を示す図である。

図８Ｆ（ア）は、説明の簡単化のため、図８Ｅの顔映像における反射光線２５の光強度の分布を領域分けしてグレーの段階で示した図である。使用者の首の中央部から顎先に抜ける方向に説明用にＸｆ軸を取っている。

図８Ｆ（イ）は、横軸は図８Ｆ（ア）のＸｆ軸上の光強度を示し、縦軸はＸｆ軸を示す。横軸は右方向に行くほど強い光強度を示している。

図８Ｆ（ア）において、顔映像は、光強度に応じた６つの領域（距離エリア）２１１～２１６に分けられている。

領域２１１は、一番光強度が強い領域であり、グレーの段階として、白色で示されている。

領域２１２は、領域２１１より少しだけ光強度が落ちる領域であり、グレーの段階として、かなり明るいグレー色で示されている。

領域２１３は、領域２１２よりさらに光強度が落ちる領域であり、グレーの段階として、明るいグレー色で示されている。

領域２１４は、領域２１３よりさらに光強度が落ちる領域であり、グレーの段階として、中間のグレー色で示されている。

領域２１５は、領域２１４よりさらに光強度が落ちる領域であり、グレーの段階として、やや暗めのグレー色で示されている。

領域２１６は、最も光強度が弱い領域であり、グレーの段階としては、最も暗いグレーとなっている。領域２１６より上方向は光強度の無い黒色となっている。

この光強度について、以下、図１０を用いて詳細に解説する。

図１０は、使用者の顔の上下方向の動きを説明する図であり、使用者の左横方向より観察した状態を示す。

図１０（ａ）は、使用者が正面を向いている様子を示す図である。使用者の鎖骨前方に撮影・検出部１０がある。また、撮影・検出部１０の上部にある顔方向検出窓１３から、赤外ＬＥＤ２２の赤外線２３が使用者頭部の下部に照射されている。顔方向検出窓１３から使用者の鎖骨上の首の付け根２００までの距離をＤｎ、顔方向検出窓１３から顎の付け根２０２までの距離をＤｂ、顔方向検出窓１３から顎先２０３までの距離をＤｃとすると、Ｄｎ，Ｄｂ，Ｄｃの順に距離が遠くなっていることがわかる。光強度は距離の２乗に反比例するので、赤外線照射面２４からの反射光線２５が赤外検出処理装置２７のセンサに結像された際の光強度は、首の付け根２００、顎の付け根２０２、顎先２０３の順に弱くなる。また、顔方向検出窓１３からの距離がＤｃよりさらに遠い位置にある、鼻を含む顔２０４については、その光強度はさらに暗くなることがわかる。すなわち、図１０（ａ）のような場合、図８Ｆで示した光強度の分布となる映像が取得されることがわかる。

尚、使用者の顔方向が検出できれば顔方向検出部２０の構成は、本実施例に示す構成に限定されない。例えば、赤外ＬＥＤ２２（赤外線パターン照射手段）より赤外線パターンを照射するようにし、照射対象から反射された赤外線パターンを赤外検出処理装置２７のセンサ（赤外線パターン検出手段）で検出するようにしてもよい。この場合、赤外検出処理装置２７のセンサは、構造光センサであることが好ましい。また、赤外検出処理装置２７のセンサを、赤外線２３と反射光線２５の位相比較を行うセンサ（赤外線位相比較手段）、例えば、Ｔｏｆセンサとしてもよい。

次に、図８Ｇを用いて、図７ＣのステップＳ２０９における首元位置の抽出について説明する。

図８Ｇ（ア）は、図８Ｆに、図１０（ａ）における使用者の身体の各部位を示す符号、及び首元位置と顎先位置を示す二重丸及び黒丸の符号を重ねた図である。

白色の領域２１１は、首の付け根２００（図１０（ａ））と対応しており、かなり明るいグレー色の領域２１２は、首前部２０１（図１０（ａ））と対応しており、明るいグレー色の領域２１３は、顎の付け根２０２（図１０（ａ））と対応している。また、中間のグレー色の領域２１４は、顎先２０３（図１０（ａ））と対応しており、やや暗めのグレー色の領域２１５は、顔２０４（図１０（ａ））の下部に位置する唇及びその周辺の顔下部と対応している。さらに、暗めのグレー色の領域２１６は、顔２０４（図１０（ａ））の中央に位置する鼻及びその周辺の顔上部と対応している。

尚、図１０（ａ）に示すように、Ｄｂ，Ｄｃの距離は、顔方向検出窓１３から使用者の他の部位までの距離に比べると差が少ないので、明るいグレー色の領域２１３及び中間のグレー色の領域２１４における反射光強度の差も少ない。

一方、図１０（ａ）に示すように、顔方向検出窓１３から使用者の各部位までの距離のうち、Ｄｎの距離は最も短い至近距離であるので、首の付け根２００に対応する白色の領域２１１が一番反射強度の強い箇所となる。

よって、全体制御ＣＰＵ１０１（設定手段）は、領域２１１が首の付け根２００周辺であり、領域２１１の左右の中心で且つ撮影・検出部１０に一番近い、図８Ｇ（ア）で二重丸で示す位置２０６を首回転中心の位置（以下、首元位置２０６という）に設定する。ここまでの処理が図７ＣのステップＳ２０９で行う内容である。

ついで、図８Ｇを用いて、図７ＣのステップＳ２１０の顎先位置の抽出について説明する。

図８Ｇ（ア）に示す、顔２０４の内の唇を含む顔下部に対応する領域２１５より明るい、中間のグレー色の領域２１４が顎先を含む領域である。図８Ｇ（イ）を見ればわかるように領域２１４と接する領域２１５で光強度は急激に落ちており、顔方向検出窓１３からの距離変化が大きくなる。全体制御ＣＰＵ１０１は、光強度の急激な落ち込みがある領域２１５の手前の領域２１４が顎先領域であると判別する。さらに、全体制御ＣＰＵ１０１は、領域２１４の左右の中心で且つ首元位置２０６から一番遠い位置（図８Ｇ（ア）において黒丸で示す位置）を顎先位置２０７として算出（抽出）する。

たとえば顔が右方向を向いている時の変化を示しているのが図８Ｈ，図８Ｉである。

図８Ｈは、使用者の顔が右方向を向いている時に、図８Ｅと同様の方法で演算された差分映像を示す図である。図８Ｉは、図８Ｈに首稼働の中心位置である首元位置２０６と顎先位置２０７ｒを示す二重丸及び黒丸の符号を重ねた図である。

領域２１４は使用者が右を向いたので、撮影・検出部１０側から見上げると左方向にある、図８Ｉに示す領域２１４ｒへと移動する。顔２０４の内の唇を含む顔下部に対応する領域２１５も、撮影・検出部１０側から見上げると左方向にある領域２１５ｒへと移動する。

よって、全体制御ＣＰＵ１０１は、光強度の急激な落ち込みがある２１５ｒの手前の領域２１４ｒを顎先領域と判別する。さらに、全体制御ＣＰＵ１０１は、２１４ｒの左右の中心で且つ首元位置２０６から一番遠い位置（図８Ｉにおいて黒丸で示す位置）を顎先位置２０７ｒとして算出（抽出）する。

その後、全体制御ＣＰＵ１０１は、図８Ｇ（ア）の顎先位置２０７から首元位置２０６を中心として右方向に、図８Ｉの顎先位置２０７ｒがどれだけ移動したかを示す移動角度θｒを求める。図８Ｉに示すように、移動角度θｒは、使用者の顔の左右方向の角度となる。

以上の方法で、ステップＳ２１０において、顔方向検出部２０（３次元検出センサ）の赤外検出処理装置２７で顎先位置と使用者の顔の左右方向の角度を検出する。

次に顔の上方向の検出について説明する。

図１０（ｂ）は、使用者が顔を水平方向に向けている様子を示す図であり、図１０（ｃ）は使用者が顔を水平方向より上部３３°に向けている様子を示す図である。

図１０（ｂ）では、顔方向検出窓１３から顎先２０３までの距離をＦｆｈとし、図１０（ｃ）では、顔方向検出窓１３から顎先２０３ｕまでの距離をＦｆｕとしている。

図１０（ｃ）に示すように、顔とともに顎先２０３ｕも上に移動するため、ＦｆｕはＦｆｈより距離が長くなっていることがわかる。

図８Ｊは、使用者が水平より３３°上方に顔を向けている際に、顔方向検出窓１３から見える使用者の映像を示す図である。図１０（ｃ）に示すように、使用者は上を向いているので、使用者の顎の下に位置する顔方向検出窓１３からは唇や鼻を含む顔２０４は見えておらず、顎先２０３までが見えている。この時に使用者に赤外線２３を照射したときの反射光線２５の光強度の分布を、図８Ｋで示す。図８Ｋは、図８Ｅと同様の方法で演算された差分映像に、首元位置２０６と顎先位置２０７ｕを示す二重丸及び黒丸の符号を重ねた図である。

図８Ｋにおける光強度に応じた６つの領域２１１ｕ～２１６ｕは、図８Ｆに示す領域と同じ光強度の領域に「ｕ」を付けて示す領域である。使用者の顎先２０３の光強度は、図８Ｆでは中間のグレー色の領域２１４にあったが、図８Ｋではグレー側へとシフトし、やや暗めのグレー色の領域２１５ｕにあることがわかる。このように、図１０（ｃ）に示すように、ＦｆｕがＦｆｈより距離が長い結果、使用者の顎先２０３の反射光線２５の光強度は距離の２乗に反比例して弱まっていることが、赤外検出処理装置２７で検出できる。

次に顔の下方向の検出について説明する。

図１０（ｄ）は、使用者が顔を水平方向より２２°下方向に向けている様子を示す図である。

図１０（ｄ）では、顔方向検出窓１３から顎先２０３ｄまでの距離をＦｆｄとしている。

図１０（ｄ）に示すように、顔とともに顎先２０３ｄも下に移動するため、ＦｆｄはＦｆｈより距離が短くなり、顎先２０３の反射光線２５の光強度は強くなることがわかる。

図７Ｃに戻り、ステップＳ２１１では、全体制御ＣＰＵ１０１（距離算出手段）は、顔方向検出部２０（３次元検出センサ）の赤外検出処理装置２７で検出された顎先位置の光強度より、顎先位置から顔方向検出窓１３までの距離を算出する。これに基づき、顔の上下方向の角度も算出する。

ステップＳ２１２では、ステップＳ２１０，Ｓ２１１で夫々取得した顔の左右方向（第１の検出方向）及びこれと垂直な上下方向（第２の検出方向）の角度を、３次元からなる使用者の観察方向ｖｉとして一次メモリ１０３に保存する（ｉは任意の符号）。たとえば、使用者が正面中心部を観察していた場合の観察方向ｖｏは、左右方向θｈが０°、上下方向θｖが０°であるので、［０°，０°］というベクトル情報となる。また、使用者が右４５°を観察していた場合の観察方向ｖｒは、［４５°，０°］というベクトル情報となる。

尚、ステップＳ２１１では、顔方向検出窓１３からの距離を検出することで、顔の上下方向の角度を算出したが、この方法に限定されない。例えば、顎先２０３の光強度の変異レベルを比較することで、角度変化を算出しても良い。つまり図８Ｇ（イ）の顎の付け根２０２から顎先２０３の反射光強度の勾配ＣＤｈに対し、図８Ｋ（ウ）の顎の付け根２０２から顎先２０３の反射光強度の勾配ＣＤｕの勾配変化をもとに、顎部の角度変化を算出しても良い。

図７Ｄは、図７ＡのステップＳ３００の記録方向・記録範囲決定処理のサブルーチンのフローチャートである。本処理の詳細を説明する前に、まず図１１Ａを用いて、本実施例における記録方向・記録範囲が決定される対象となる超広角映像について説明する。

本実施例のカメラ本体１では、撮影・検出部１０周辺を撮影部４０が超広角な撮影レンズ１６を用いて超広角映像を撮影し、その一部を切り出すことによって観察方向の映像を得ることを達成している。

図１１Ａは、使用者が正面を向いている場合の、撮影部４０により撮影された超広角映像における狙い視野１２５を示す図である。

図１１Ａに示すように、固体撮像素子４２の撮影可能な画素領域１２１は、長方形の領域である。また、有効投影部１２２（所定領域）は、撮影レンズ１６によって固体撮像素子４２に魚眼投影される円形の半天球映像が表示される領域である。尚、画素領域１２１の中心及び有効投影部１２２の中心は一致するように撮影レンズ１６は調整されている。

円形の有効投影部１２２の最外周がＦＯＶ（Ｆｉｅｌｄ ｏｆ ｖｉｅｗ）角１８０°の位置を示している。使用者が水平垂直中心を見ている場合、撮影記録される領域である狙い視野１２５は有効投影部１２２の中心からの角度はその半分の角度の９０°となる。尚、本実施例の撮影レンズ１６は有効投影部１２２より外側の光線も導入でき、最大ＦＯＶ角１９２°の程度までの光線を固体撮像素子４２に魚眼投影できる。但し、有効投影部１２２を超えると極端に解像力がおちたり、光量がおちたり、歪が強まったりと、光学性能が大きく落ちる。よって、本実施例では、記録領域は有効投影部１２２に表示される半天球映像のうち画素領域１２１に投影された映像（以下、単に超広角映像という）内からのみ観察方向の映像を切り出す例で説明する。

尚、本実施例では有効投影部１２２の上下方向のサイズが画素領域１２１の短辺のサイズより大きい為、有効投影部１２２における上下端の映像は画素領域１２１を外れているがこれに限定されない。例えば、撮影レンズ１６の構成を変更して有効投影部１２２の全てが画素領域１２１の領域内に収まるように設計してもよい。

無効画素領域１２３は、画素領域１２１のうち有効投影部１２２に含まれなかった画素領域である。

狙い視野１２５は、超広角画像から使用者の観察方向の映像を切り出す範囲を示す領域であり、観察方向を中心とする予め設定された左右上下の画角（ここでは４５°、ＦＯＶ角９０°）により規定される。図１１Ａの例では、使用者は正面を向いているので、狙い視野１２５の中心は、有効投影部１２２の中心である観察方向ｖｏとなっている。

図１１Ａに示す超広角映像には、子供である被写体Ａ１３１、被写体Ａである子供が登ろうとしている階段である被写体Ｂ１３２、及び機関車の形の遊具である被写体Ｃ１３３が含まれる。

次に、上記図１１Ａを用いて説明した超広角映像から観察方向の映像を得るために実行されるステップＳ３００における記録方向・範囲決定処理を図７Ｄに示す。以下、狙い視野１２５の具体例である図１２Ａ～図１２Ｇを用いて本処理を説明する。

ステップＳ３０１で、事前に設定された画角設定値ａｎｇを一次メモリ１０３から読み出すことで取得する。

本実施例では、画像切り出し・現像処理部５０にて観察方向の映像を超広角画像から切り出すことが可能な全ての画角、４５°、９０°、１１０°、１３０°が画角設定値ａｎｇとして内蔵不揮発性メモリ１０２に保存されている。また、ステップＳ１０３，Ｓ１０６，Ｓ１０８のいずれかのステップで、内蔵不揮発性メモリ１０２に保存されている画角設定値ａｎｇの一つが設定され、一次メモリ１０３に保存されている。

また、ステップＳ３０１では、ステップＳ２１２で決まった観察方向ｖｉを記録方向に決定し、これを中心とする上記取得した画角設定値ａｎｇで超広角画像から切り出された狙い視野１２５の映像を、一次メモリ１０３に保存する。

例えば、画角設定値ａｎｇが９０°であり、且つ顔方向検出処理（図７Ｃ）で観察方向ｖｏ（ベクトル情報［０°，０°］）が検出された場合、有効投影部１２２の中心Ｏを中心とする左右４５°、上下４５°の範囲が狙い視野１２５（図１１Ａ）に設定される。つまり、全体制御ＣＰＵ１０１（相対位置設定手段）は、顔方向検出部２０で検出された顔方向の角度を、超広角映像に対する相対位置を示すベクトル情報である観察方向ｖｉに設定している。

ここで、観察方向ｖｏの場合は撮影レンズ１６による光学歪の影響はほぼ無視できるため、設定された狙い視野１２５の形状がそのまま後述するステップＳ３０３の歪み変換後の狙い視野１２５ｏ（図１２Ａ）の形状となる。以下、観察方向ｖｉの場合の、歪み変換後の狙い視野１２５を、狙い視野１２５ｉという。

次にステップＳ３０２で、事前に設定された防振レベルを一次メモリ１０３から読み出すことで取得する。

本実施例では、上述の通り、ステップＳ１０３，Ｓ１０６，Ｓ１０８のいずれかのステップで防振レベルが設定され、一次メモリ１０３に保存されている。

また、ステップＳ３０２では、上記取得した防振レベルを基に防振用予備画素量Ｐｉｓを設定する。

防振処理では、撮影・検出部１０のブレ量に追随して、ブレ方向と反対方向の映像に追随した映像を取得する。このため、本実施例では、狙い視野１２５ｉの周囲に防振に必要な予備領域を設ける。

また本実施例では、各防振レベルに紐づく防振予備画素数Ｐｉｓの値を保持するテーブルが内蔵不揮発性メモリ１０２に格納されている。例えば、防振レベルが「中」だった場合、上記テーブルから読み出された防振予備画素数Ｐｉｓである１００画素の予備画素領域が予備領域として設定される。

図１２Ｅは、図１２Ａで示す狙い視野１２５ｏの周囲に予備領域を付与した例を示す図である。ここでは、防振レベルが「中」、すなわち防振予備画素量Ｐｉｓが１００画素である場合について説明する。

図１２Ｅに示すように、狙い視野１２５ｏに対し、上下左右に夫々防振予備画素量Ｐｉｓである１００画素の余裕（予備領域）をもたせた点線部が防振用予備画素枠１２６ｏとなる。

図１２Ａ、図１２Ｅでは説明の簡単化のため、観察方向ｖｉが有効投影部１２２の中心Ｏ（撮影レンズ１６の光軸中心）と一致する場合について説明した。しかし、以下のステップで説明するように、観察方向ｖｉが有効投影部１２２の周辺部である場合は、光学歪の影響を受けるので変換が必要である。

ステップＳ３０３では、ステップＳ３０１で設定された狙い視野１２５の形状を、観察方向ｖｉ及び撮影レンズ１６の光学特性を考慮して補正（歪み変換）し、狙い視野１２５ｉを生成する。同様に、ステップＳ３０２で設定された防振用予備画素数Ｐｉｓも、観察方向ｖｉ及び撮影レンズ１６の光学特性を考慮して補正する。

たとえば、画角設定値ａｎｇが９０°で、使用者が中心ｏより右４５°を観察しているとする。この場合、ステップＳ２１２で決まった観察方向ｖｉが観察方向ｖｒ（ベクトル情報［４５°，０°］）であり、観察方向ｖｒを中心とする、左右４５°、上下４５°の範囲が狙い視野１２５となる。しかし、撮影レンズ１６の光学特性を考慮し、狙い視野１２５は、図１２Ｂに示す狙い視野１２５ｒに補正される。

図１２Ｂに示すように、狙い視野１２５ｒは有効投影部１２２の周辺部に行くにつれ広くなっており、且つ観察方向ｖｒの位置も狙い視野１２５ｒの中心よりやや内側に来ている。これは、本実施例では、撮影レンズ１６に立体射影魚眼に近い光学設計をしているためである。尚、撮影レンズ１６が、等距離射影魚眼や、等立体角射影魚眼、正射影魚眼などによる設計であるとその関係は変わってくるので、その光学特性にあわせた補正が狙い視野１２５に対して行われる。

図１２Ｆは、図１２Ｂで示す狙い視野１２５ｒの周囲に、図１２Ｅの予備領域と同一防振レベル「中」の予備領域を付与した例を示す図である。

防振用予備画素枠１２６ｏ（図１２Ｅ）では、狙い視野１２５ｏの上下左右の夫々に防振予備画素数Ｐｉｓである１００画素の余裕が設定された。これに対し、防振用予備画素枠１２６ｒ（図１２Ｆ）は、有効投影部１２２の周辺部に行くにつれ、防振予備画素数Ｐｉｓは補正されて増えている。

このように、狙い視野１２５ｒの形状と同様にその周囲に設けられた防振に必要な予備領域の形状も、図１２Ｆの防振用予備画素枠１２６ｒに示すように、有効投影部１２２の周辺部に行くにつれその補正量が大きくなる。これも、本実施例では、撮影レンズ１６に立体射影魚眼に近い光学設計をしているためである。尚、撮影レンズ１６が、等距離射影魚眼や、等立体角射影魚眼、正射影魚眼などによる設計であるとその関係は変わってくるので、その光学特性にあわせた補正が防振用予備画素枠１２６ｒに対して行われる。

ステップＳ３０３で実行される、撮影レンズ１６の光学特性を考慮して、狙い視野１２５及びその予備領域の形状を逐次切り替える処理は、複雑な処理となる。そのため、本実施例では、内蔵不揮発性メモリ１０２内にある、観察方向ｖｉ毎の狙い視野１２５ｉ及びやその予備領域の形状が保持されるテーブルを用いてステップＳ３０３の処理は実行される。尚、先にあげた撮影レンズ１６の光学設計によっては演算式を全体制御ＣＰＵ１０１内に持っておき、その演算式によって光学歪値を算出しても良い。

ステップＳ３０４では、映像記録用枠の位置及びサイズを算出する。

上述の通り、ステップＳ３０３では、防振に必要な予備領域を狙い視野１２５ｉの周囲に設け、これを防振用予備画素枠１２６ｉとして算出した。しかし、観察方向ｖｉの位置により、例えば防振用予備画素枠１２６ｒの様にその形状がかなり特殊なものとなる。

全体制御ＣＰＵ１０１は、このような特殊な形状の範囲だけの現像処理を行って映像を切り出すことは可能である。しかし、ステップＳ６００で映像データとして記録したり、ステップＳ７００で表示装置８００に転送したりする際に、長方形ではない映像を用いることは一般的でない。そこでステップＳ３０４では、この防振用予備画素枠１２６ｉの全体を包含する、長方形形状の映像記録用枠１２７ｉの位置及びサイズを算出する。

図１２Ｆでは、防振用予備画素枠１２６ｒに対してステップＳ３０４で算出された、一点鎖線で示す映像記録用枠１２７ｒを示す。

ステップＳ３０５では、ステップＳ３０４で算出された映像記録用枠１２７ｉの位置とサイズを一次メモリ１０３に記録する。

本実施例では、超広角映像における映像記録用枠１２７ｉの左上の座標Ｘｉ，Ｙｉを、映像記録用枠１２７ｉの位置として記録し、座標Ｘｉ，Ｙｉからの映像記録用枠１２７ｉの横幅ＷＸｉ及び縦幅ＷＹｉを、映像記録用枠１２７ｉのサイズとして記録する。例えば、図１２Ｆに示す映像記録用枠１２７ｒに対しては、図示される座標Ｘｒ，Ｙｒ、横幅ＷＸｒ、及び縦幅ＷＹｒがステップＳ３０５で記録される。尚、座標Ｘｉ，Ｙｉは、所定の基準点、具体的には撮影レンズ１６の光学中心を原点とするＸＹ座標である。

この様にして防振用予備画素枠１２６ｉや映像記録用枠１２７ｉが決定したところで、図７Ｄに示すステップＳ３００のサブルーチンを抜ける。

尚、ここまでの説明では、複雑な光学歪変換の説明の簡単化のために観察方向ｖｉの例として、水平０°を含む観察方向、すなわち観察方向ｖｏ（ベクトル情報［０°，０°］）や観察方向ｖｒ（ベクトル情報［４５°，０°］）を用いた説明を行った。しかし実際には、使用者の観察方向ｖｉは様々な方向となる。よって以下、そのような場合に実行される記録範囲現像処理について説明する。

例えば、画角設定値ａｎｇが９０°で観察方向ｖｌ［－４２°，－４０°］の場合の狙い視野１２５ｌは、図１２Ｃのようになる。

また狙い視野１２５ｌと同じ観察方向ｖｌ（ベクトル情報［－４２°，－４０°］）であっても、画角設定値ａｎｇが４５°であった場合、図１２Ｄに示すように、狙い視野１２５ｌより一回り小さい狙い視野１２８ｌとなる。

さらに画角設定値ａｎｇ及び観察方向ｖｌに応じて設定（決定）されるこれらの狙い視野には、ステップＳ１０３，Ｓ１０６，Ｓ１０８のいずれかで設定された防振レベルに応じた防振用予備画素枠及び映像記録用枠が設定される。例えば、狙い視野１２８ｌについては、防振レベルが「中」に設定されている場合、図１２Ｇに示すような、防振用予備画素枠１２９ｌ及び映像記録用枠１３０ｌが設定される。

ステップＳ４００は撮影の基本動作であり、撮影部４０の一般的なシーケンスを用いるので、詳細は他の文献に譲りここでは説明を省略する。尚、本実施例では、撮影部４０にある撮像信号処理回路４３は、固体撮像素子４２から出力された、固有の出力形態（規格の例：ＭＩＰＩ，ＳＬＶＳ）での信号を、一般的なセンサ読み出し方式の撮影データに修正する処理も行う。

尚、撮影モードスイッチ１２で選択されているモードが動画モードの場合は、スタートスイッチ１４の押下に応じて、撮影部４０が録画を開始する。その後、ストップスイッチ１５が押下されたとき、録画を終了する。一方、撮影モードスイッチ１２で選択されているモードが静止画モードの場合は、スタートスイッチ１４の押下がある毎に、撮影部４０が静止画を撮影する。

図７Ｅは、図７ＡのステップＳ５００の記録範囲現像処理のサブルーチンのフローチャートである。

ステップＳ５０１では、ステップＳ４００において撮影部４０で生成された撮影データ（超広角映像）の全領域のＲａｗデータを取得し、全体制御ＣＰＵ１０１の不図示のヘッド部と呼ばれる映像取り込み部に入力する。

次いでステップＳ５０２では、ステップＳ３０５で一次メモリ１０３に記録された座標Ｘｉ，Ｙｉ、横幅ＷＸｉ及び縦幅ＷＹｉに基づき、ステップＳ５０１で取得した超広角映像から映像記録用枠１２７ｉの部分を切り出す。この切り出し後、防振用予備画素枠１２６ｉ内の画素のみに対して、以下説明するステップＳ５０３～Ｓ５０８の処理を実行する。このようにして、ステップＳ５０２～Ｓ５０８からなるクロップ現像処理（図７Ｆ）が開始する。これにより、ステップＳ５０１で読み込んだ超広角映像の全領域に対して現像処理を行う場合と比べて演算量を大幅に削減でき、演算時間や電力を削減することができる。

尚、図７Ｆに示すように、撮影モードスイッチ１２で選択されているモードが動画モードである場合、ステップＳ２００，Ｓ３００の処理と、ステップＳ４００の処理は、夫々同一又は異なるフレームレートで並列に実行される。つまり、撮影部４０で生成された１フレーム分の全領域のＲａｗデータが取得される毎に、その時点で一次メモリ１０３に記録されている座標Ｘｉ，Ｙｉ、横幅ＷＸｉ及び縦幅ＷＹｉに基づきクロップ現像処理が行われる。

防振用予備画素枠１２６ｉ内の画素に対するクロップ現像処理を開始し、ステップＳ５０２で映像記録用枠１２７ｉの部分が切り出されると、まず、ステップＳ５０３でベイヤ配列に配置された色画素情報を補完する色補完を行う。

その後、ステップＳ５０４でホワイトバランスの調整を行った後、ステップＳ５０５で色変換を行う。

ステップＳ５０６では、あらかじめ設定したガンマ補正値に従って階調を補正するガンマ補正を行う。

ステップＳ５０７では、画像サイズに合わせたエッジ強調を行う。

ステップＳ５０８では、圧縮その他の処理を行うことで一次保存可能なデータ形式に変換し、１次メモリ１０３に記録した後、本サブルーチンを抜ける。この一次保存可能なデータ形式の詳細については後述する。

尚、ステップＳ５０３～Ｓ５０８で実行されるクロップ現像処理の順序や処理の有無は、カメラシステムに合わせて行えばよく、本発明を制限するものではない。

また、動画モードが選択されている場合、ステップＳ２００～Ｓ５００までの処理は録画が終了されるまで繰り返し実行される。

本処理によれば、ステップＳ５０１で読み込んだ全領域の現像処理を行う場合と比べて演算量を大幅に削減することができる。このため、全体制御ＣＰＵ１０１として安価で低消費電力なマイコンを使えるようになり、また、全体制御ＣＰＵ１０１における発熱を抑えるとともに、バッテリー９４の持ちもよくなる。

また、本実施例では、全体制御ＣＰＵ１０１の制御負荷を軽くするため、映像の光学補正処理（図７ＡのステップＳ８００）や防振処理（図７ＡのステップＳ９００）はカメラ本体１では行わず、表示装置８００に転送してから表示装置制御部８０１にて行う。そのため、投影された超広角映像から部分的に切り出した映像のデータだけを表示装置８００に送ってしまうと、光学補正処理や防振処理を行うことができない。つまり、切り出した映像のデータだけでは、光学補正処理の際に式に代入したり、防振処理の際に補正テーブルより参照したりするために用いる位置情報が無い為、これらの処理を表示装置８００において正しく実行できない。そのため、本実施例では、切り出した映像のデータだけでなく、その映像の超広角映像からの切り出し位置の情報等を含む補正データも共にカメラ本体１から表示装置８００に送信する。

ここで切り出した映像が静止画映像である場合、静止画映像のデータと補正データを別途表示装置８００に送信しても静止画映像のデータと補正データは１対１対応であるので、表示装置８００において正しく光学補正処理や防振処理を行うことができる。一方、切り出した映像が動画映像である場合、動画映像のデータと補正データを別途表示装置８００に送信すると、送信された補正データが、動画映像の各フレームに対するいずれの補正データであるかの判断が難しくなる。特に、カメラ本体１内の全体制御ＣＰＵ１０１のクロックレートと、表示装置８００内の表示装置制御部８０１のクロックレートが微妙に異なると数分の動画撮影で全体制御ＣＰＵ１０１と表示装置制御部８０１の間の同期が取れなくなる。この結果、表示装置制御部８０１は、処理すべきフレームをそれに対応する補正データとは異なる補正データで補正してしまうなどの課題が生じる。

よって、本実施例では、カメラ本体１から表示装置８００に切り出した動画映像のデータを送信するにあたり、動画映像のデータに対してその補正データを適切に付与する。以下、その方法について説明する。

図１４は、図７ＡのステップＳ６００の一次記録処理のサブルーチンのフローチャートである。本処理を、以下、図１５を参照して説明する。図１４では、撮影モードスイッチ１２で選択されているモードが動画モードである場合の処理が示されている。尚、選択されているモードが静止画モードである場合は、本処理は、ステップＳ６０１の処理から始まり、ステップＳ６０６の処理が終わると終了する。

ステップＳ６０１ａで、全体制御ＣＰＵ１０１は記録範囲現像処理（図７Ｅ）で現像された動画映像からステップＳ６０１～Ｓ６０６までの処理が未処理である１つのフレームの画像を読み出す。また、全体制御ＣＰＵ１０１（メタデータ生成手段）はその読み出したフレームのメタデータである補正データを生成する。

ステップＳ６０１では、全体制御ＣＰＵ１０１はステップＳ６００で読み出したフレームの画像の切り出し位置の情報を補正データに添付する。ここで添付される情報は、ステップＳ３０５で取得した映像記録用枠１２７ｉの座標Ｘｉ，Ｙｉである。尚、ここで添付される情報を、観察方向Ｖｉを示すベクトル情報としてもよい。

ステップＳ６０２では、全体制御ＣＰＵ１０１（光学補正値取得手段）は光学補正値を取得する。光学補正値はステップＳ３０３で設定された光学歪値である。あるいは、周辺光量補正値や回折補正といったレンズ光学特性に応じた補正値でもよい。

ステップＳ６０３では、全体制御ＣＰＵ１０１はステップＳ６０２の歪み変換に用いた光学補正値を補正データに添付する。

ステップＳ６０４では、全体制御ＣＰＵ１０１は防振モードであるか否かを判断する。具体的には、事前に設定された防振モードが「中」又は「強」だった場合、防振モードであると判断してステップＳ６０５に進む。一方、事前に設定された防振モードが「切」だった場合は防止モードでないと判断してステップＳ６０６に進む。尚、ここで防振モードが「切」だった場合にステップＳ６０５をスキップする理由は、スキップした分、全体制御ＣＰＵ１０１の演算データ量や無線送信時のデータ量を削減でき、ひいては、カメラ本体１の電力削減や発熱低減もできるためである。尚、ここでは防振処理に用いるデータの削減について説明したが、ステップＳ６０２で取得した光学補正値に含まれる、周辺光量補正値や、解析補正の有無についてのデータ削減を行っても良い。

本実施例では防振モードは、表示装置８００による使用者の操作により事前に設定されているが、カメラ本体１の初期設定として設定されていてもよい。また、表示装置８００に転送後に防振処理の有無を切り替えるようなカメラシステムとした場合は、ステップＳ６０４を無くし、ステップＳ６０３から直接ステップＳ６０５に進む。

ステップＳ６０５では、全体制御ＣＰＵ１０１（移動量検出手段）はステップＳ３０２で取得した防振モード、及び一次メモリ８１３にあるステップＳ６００で読み出したフレームと紐づくジャイロデータを補正データに添付する。

ステップＳ６０６では、ステップＳ６００で読み出されたフレームの画像のデータと、ステップＳ６０１～Ｓ６０５により各種データが添付された補正データとをエンコードしたデータで、映像ファイル１０００（図１５）を更新する。尚、ステップＳ６０１ａにおいて動画映像の最初のフレームの読み出しがされた場合については、ステップＳ６０６で映像ファイル１０００が生成される。

ステップＳ６０７で、記録範囲現像処理（図７Ｅ）で現像された動画映像の全てのフレームの画像の読み出しが終了したか判別し、終了していない場合は、ステップＳ６０１ａに戻る。一方、終了している場合は、本サブルーチンを抜ける。生成された映像ファイル１０００は、内蔵不揮発性メモリ１０２に保存される。前述した１次メモリ８１３及び内蔵不揮発性メモリ１０２に保存されるだけでなく、大容量不揮発性メモリ５１にも保存されるようにしてもよい。また、生成された映像ファイル１０００をただちに表示装置８００への転送処理（図７ＡのステップＳ７００）し、表示装置８００に転送後、その１次メモリ８１３に保存してもよい。

ここで、本実施例において、エンコードとは、映像データと補正データを合体させ１つのファイルにすることを指すが、この際、映像データを圧縮、あるいは映像データと補正データを合体させたものを圧縮してもよい。

図１５は、映像ファイル１０００のデータ構造を示す図である。

映像ファイル１０００は、ヘッダ１００１とフレーム１００２で構成される。フレーム１００２は、動画映像を構成する各フレームの画像とこれに対応するフレームメタがセットとなったフレームデータセットで構成されている。すなわち、フレーム１００２には、動画映像の総フレーム分だけフレームデータセットが存在する。

本実施例では、フレームメタは、切り出し位置（映像内位置情報）、光学補正値及びジャイロデータが必要に応じて添付された補正データがエンコードされた情報であるがこれに限定されない。例えば、撮影モードスイッチ１２で選択された撮影モードに応じてフレームメタに他の情報を添付したり、あるいは、フレームメタにある情報を削除したりするなどしてフレームメタの情報量を変更しても良い。

ヘッダ１００１には、各フレームのフレームデータセットまでのオフセット値または先頭アドレスを記録しておく。あるいは、映像ファイル１０００に対応した時刻やサイズといったメタデータを保存してもよい。

このように、一次記録処理（図１４）では、表示装置８００には、記録範囲現像処理（図７Ｅ）で現像された動画映像の各フレームとそのメタデータがセットとなった映像ファイル１０００が転送される。よって、カメラ本体１の全体制御ＣＰＵ１０１のクロックレートと、表示装置８００の表示装置制御部８０１のクロックレートが微妙に異なる場合も、表示装置制御部８０１はカメラ本体１で現像された動画映像の補正処理を確実に実行できる。

尚、本実施例では、フレームメタに光学補正値が含まれたが、映像全体に対して光学補正値を付与するようにしてもよい。

図１６は、図７ＡのステップＳ７００の表示装置８００への転送処理のサブルーチンのフローチャートである。図１６では、撮影モードスイッチ１２で選択されているモードが動画モードである場合の処理が示されている。尚、選択されているモードが静止画モードである場合は、本処理は、ステップＳ７０２の処理から始まる。

ステップＳ７０１では、撮影部４０による動画映像の録画（ステップＳ４００）が終了したか、また録画中である否かを判断する。ここで、動画映像が録画中である場合、フレーム毎の記録範囲現像処理（ステップＳ５００）や、一次記録処理（ステップＳ６００）での映像ファイル１０００の更新（ステップＳ６０６）が順次行われている状態となる。無線転送は電力負荷が大きいため、録画中に並行して行うと、バッテリー９４の電池容量を多く必要としたり発熱対策を別途行う必要があったりする。また、演算能力の観点で見ても、録画中に並行して無線転送を行うと演算負荷が大きくなるため、高スペックの全体制御ＣＰＵ１０１を準備する必要があり、コストとしても大きくなってしまう。本実施例ではこれらを鑑み、動画映像の録画の終了を待ってから（ステップＳ７０１でＹＥＳ）、ステップＳ７０２へ進み、表示装置８００との接続を確立する。ただし、本実施例のカメラシステムが、バッテリー９４から供給される電力に余裕があり且つ別途の発熱対策は不要であれば、カメラ本体１の起動時や録画を開始する前などであらかじめ表示装置８００と接続をしてもよい。

ステップＳ７０２では、データ量の多い映像ファイル１０００を表示装置８００に転送するため、高速無線ユニット７２を介して表示装置８００との接続を確立する。尚、小電力無線ユニット７１は、表示装置８００への画角確認のための低解像度映像（あるいは映像）の転送や、表示装置８００との間での各種設定値の送受信に利用するが、伝送に時間を要してしまうため映像ファイル１０００の転送には利用しない。

ステップＳ７０３では、高速無線ユニット７２を介して映像ファイル１０００を表示装置８００へ転送し、転送が終了した時点で、ステップＳ７０４に進み、表示装置８００との接続を閉じた後、本サブルーチンを抜ける。

ここまでは１つの動画映像の全フレームの画像を含む１つの映像ファイルを転送する場合を説明したが、数分にわたる長時間の動画映像の場合は、時間単位で区切った複数の映像ファイルとしても良い。図１５に示すデータ構造の映像ファイルであれば、１つの動画映像を複数の映像ファイルとして表示装置８００に転送しても、表示装置８００において補正データとのタイミングズレなく動画映像を補正することが可能となる。

図１７は、図７ＡのステップＳ８００の光学補正処理のサブルーチンのフローチャートである。本処理を、以下、図１８を参照して説明する。尚、上述の通り、本処理は、表示装置８００の表示装置制御部８０１が実行する処理である。

ステップＳ８０１では、まず表示装置制御部８０１（映像ファイル受信手段）は、表示装置８００への転送処理（ステップＳ７００）にて転送されたカメラ本体１からの映像ファイル１０００を受信する。その後、表示装置制御部８０１（第１の抽出手段）は、受信した映像ファイル１０００から抽出した光学補正値を取得する。

続いてステップＳ８０２では、表示装置制御部８０１（第２の抽出手段）は、映像ファイル１０００から映像（動画映像の１つのフレームの画像）を取得する。

ステップＳ８０３では、表示装置制御部８０１（フレーム映像補正手段）は、ステップＳ８０１で取得した光学補正値によりステップＳ８０２で取得した映像の光学補正を行い、補正した映像を１次メモリ８１３に保存する。光学補正を行う際、ステップＳ８０２で取得した映像からの切り出しを行う場合、ステップＳ３０３で決定した現像範囲（狙い視野１２５ｉ）よりも狭い画像の範囲で切り出して処理を行う（切り出し現像領域）。

図１８は、図１７のステップＳ８０３において歪曲収差補正を実施した場合を説明するための図である。

図１８（ａ）は、使用者が撮影時に肉眼でみた被写体１４０１の位置を示す図であり、図１８（ｂ）は、被写体１４０１が固体撮像素子４２上に映った像を示す図である。

図１８（ｃ）は、図１８（ｂ）の像における現像領域１４０２を示す図である。ここで、現像領域１４０２は先ほど説明した切り出し現像領域のことである。

図１８（ｄ）は、現像領域１４０２の像が切り出された、切り出し現像領域を示す図であり、図１８（ｅ）は、図１８（ｄ）の切り出し現像領域を歪曲補正した映像を示す図である。切り出し現像映像の歪曲補正時に切り出し処理を行うので、図１８（ｅ）に示す映像は、図１８（ｄ）に示す切り出し現像領域よりさらに画角は小さくなる。

図１９は、図７ＡのステップＳ９００の防振処理のサブルーチンのフローチャートである。尚、上述の通り、本処理は、表示装置８００の表示装置制御部８０１が実行する処理である。

ステップＳ９０１では、映像ファイル１０００のフレームメタから、現在処理中のフレーム（現フレーム）及び１フレーム前のフレーム（前フレーム）のジャイロデータと、前フレームに対して算出されているブレ量Ｖ_ｎ-１ ^Ｄｅｔを取得する。その後、これらの情報からおおよそのブレ量Ｖ_ｎ ^Ｐｒｅを算出する。ブレ量Ｖ_ｎ-１ ^Ｄｅｔの算出方法は、後述のステップＳ９０２におけるブレ量Ｖ_ｎ ^Ｄｅｔの算出方法と同様であるため説明を省略する。

ステップＳ９０２では、映像から詳細なブレ量Ｖ_ｎ ^Ｄｅｔをもとめる。ブレ量の検出は、現フレームの画像の特徴点が前フレームからどの程度移動したかを計算することで行う。

特徴点の抽出は既知の方法が採用できる。例えば、フレームの画像の輝度情報のみを抽出した輝度情報画像を生成し、それを１乃至数ピクセルずらした画像をもとの画像から減算してその絶対値が閾値以上の画素を特徴点として抽出してもよい。また上記輝度情報画像にハイパスフィルターをかけた画像を、もとの輝度情報画像から減算し抽出されたエッジを特徴点として抽出してもよい。

現フレームと前フレームの輝度情報画像を１乃至数ピクセルずつずらしながら複数回差分を計算し、特徴点の画素での差分が少なくなる位置を計算することで移動量が算出される。

特徴点は後述するように複数点が必要となるため、現フレーム及び前フレームの夫々の画像を複数のブロックに分割して特徴点の抽出を行なうことが好ましい。ブロック分割は画像のピクセル数やアスペクト比にもよるが、一般的には４×３の１２ブロック乃至は９６×６４ブロックが好ましい。ブロック数が少ないとカメラ本体１の撮影部４０のあおりによる台形や光軸方向の回転などの補正が正確にできなくなるが、ブロック数が多すぎると１ブロックのサイズが小さくなり、特徴点が近くなるため誤差を含むようになるためである。このようなことから画素数や特徴点の見つけやすさ、被写体の画角などによって適宜最適なブロック数が選択される。

移動量の算出には、現フレームと前フレームの輝度情報画像を１乃至数ピクセルずつずらして複数回の差分計算を行う必要があるため計算量が多くなる。そこで実際の移動量はブレ量Ｖ_ｎ ^Ｐｒｅから何ピクセルだけずれているかを算出すべく、その近傍のみの差分計算を行うことで大幅に計算量を減らすことが可能である。

次にステップＳ９０３では、ステップＳ９０２で取得した詳細なブレ量Ｖ_ｎ ^Ｄｅｔを用いて防振補正を行った後、本サブルーチンを抜ける。

尚、防振処理の方法としては、回転や平行移動が可能なユークリッド変換、それらが可能なアフィン変換、さらに台形補正が可能な射影変換などが従来より知られている。

Ｘ軸、Ｙ軸への移動や回転の場合はユークリッド変換で可能であるが、実際にカメラ本体１の撮影部４０で撮影した場合に生じるブレは前後方向やパン・チルト方向の手振れなどもある。よって、本実施例では拡大、スキューなども補正可能なアフィン変換を用いて防振補正を行う。アフィン変換では、基準となる特徴点の座標（ｘ，ｙ）が座標（ｘ’，ｙ’）に移動する場合、以下の式１００で表わされる。

式１００の３×３行列をアフィン係数は、最低３か所の特徴点のずれが検出できれば算出可能である。ただし、検出された特徴点が互いに近い距離にある場合や、直線上にのってしまう場合、特徴点よりも遠い箇所やその直線から離れた箇所の防振補正が不正確になる。よって検出される特徴点は、互いに遠い距離にあり、且つ直線上にのらないものを選択することが好ましい。よって、複数の特徴点が検出された場合は、互いに近い特徴点を省いて残りを最小二乗法で正規化を行う。

図１８（ｆ）は、図１８（ｅ）に示す歪曲補正をした映像に対してステップＳ９０３の防振補正をした映像を示す図である。防振補正時に切り出し処理を行うので、図１８（ｆ）に示す映像は、図１８（ｅ）に示す映像より画角は小さくなる。

このような防振処理を行うことで、ブレを補正した品位のある映像を得ることが可能である。

以上、本実施例のカメラシステムに含まれるカメラ本体１及び表示装置８００で実行される一連の動作を説明した。

使用者が電源スイッチ１１をＯＮとした後に撮影モードスイッチ１２で動画モードを選択し、顔を上下左右の方向を向かずにただ正面を観察していると、まず顔方向検出部２０が観察方向ｖｏ（ベクトル情報［０°，０°］）（図１２Ａ）を検出する。その後、記録方向・画角決定部３０が、固体撮像素子４２に投影される超広角映像から図１２Ａに示す狙い視野１２５ｏの映像（図１１Ｂ）を切り出す。

その後、使用者がカメラ本体１を操作することなく、例えば、図１１Ａの子供（被写体Ａ１３１）の観察を開始すると、まず顔方向検出部２０が観察方向ｖｌ（ベクトル情報［－４２°，－４０°］）（図１１Ｃ）を検出する。その後、記録方向・画角決定部３０が、撮影部４０で撮影された超広角映像から狙い視野１２５ｌの映像（図１１Ｃ）を切り出す。

このように観察方向に応じて様々な形状に切り出された映像に対する光学補正処理及び防振処理が、ステップＳ８００，Ｓ９００で表示装置８００において行われる。これにより、カメラ本体１の全体制御ＣＰＵ１０１が低スペックでも、大きな歪みがある、例えば狙い視野１２５ｌ（図１１Ｃ）の映像を切り出した場合も、図１１Ｄの様に子供（被写体Ａ１３１）を中心とした歪や揺れの補正された映像とすることができる。すなわち使用者は、電源スイッチ１１をＯＮとし撮影モードスイッチ１２でモード選択をする以外には、カメラ本体１に触れなくとも、自身の観察方向が撮影された映像を得ることができる。

ここでプリ設定モードについて説明する。上述の通り、カメラ本体１は小型のウェアラブルデバイスのため、その詳細設定を変更するための操作スイッチや設定画面等はカメラ本体１には設けられていない。このため、表示装置８００のような外部機器（本実施例では表示装置８００の設定画面（図１３））でカメラ本体１の詳細設定の変更は行われる。

たとえば同じ動画撮影でも、９０°の画角と４５°の画角を続けて撮影したい場合を考えてみる。通常の動画モードでは９０°の画角が設定されているため、このような撮影を行う場合、まず通常の動画モードでの撮影後、撮影を一度終了し、表示装置８００をカメラ本体１の設定画面に変えて、画角を４５°に切り替える操作が必要となる。しかし、連続した撮影中であると、表示装置８００に対するかかる操作は煩わしいし、録りたい映像を撮り逃すこともある。

一方、プリ設定モードを、画角４５°で動画撮影するモードに事前設定しておけば、画角９０°での動画撮影が終わった後、撮影モードスイッチ１２を「Ｐｒｉ」にスライドするだけで、画角４５°のズームアップした動画撮影に即座に変更できる。すなわち、使用者は、現在の撮影行為を中断し、上述の煩わしい操作を行う必要がなくなる。

プリ設定モードで設定する内容としては、画角の変更だけでなく、「強」「中」「切」などで指定される防振レベルや、本実施例では説明しない音声認識の設定変更なども含めてもよい。

たとえば先の撮影の状況で使用者が子供（被写体Ａ１３１）の観察を継続したまま撮影モードスイッチ１２で動画モードからプリ設定モードに切り替えると、画角設定値ａｎｇが９０°から４５°に変更される。この場合、記録方向・画角決定部３０は、撮影部４０で撮影された超広角映像から図１１Ｅに示す点線枠で示す狙い視野１２８ｌの映像を切り出す。

プリ設定モードにおいても光学補正処理及び防振処理は、ステップＳ８００，Ｓ９００で表示装置８００において行われる。これにより、カメラ本体１の全体制御ＣＰＵ１０１が低スペックでも、図１１Ｆの様に子供（被写体Ａ１３１）を中心にズームされた歪や揺れの補正された映像を得ることができる。動画モードで画角設定値ａｎｇが９０°から４５°に変更する例で説明したが、静止画モードでも同様である。また、動画の画角設定値ａｎｇが９０°であり、静止画の画角設定値ａｎｇが４５°の場合も同様である。

このように、使用者は、カメラ本体１に対する撮影モードスイッチ１２でのモード切り替えのみで、自身の観察方向が撮影されたズーム映像を得ることができる。

尚、本実施例では、表示装置８００の処理負荷を下げるため、表示装置８００で行っていた光学補正処理（ステップＳ８００）、防振処理（ステップＳ９００）をカメラ本体１で行う構成としてもよい。

さらに、本実施例では、カメラ本体１において顔方向検出部２０と撮影部４０とが一体的に構成される場合について説明したが、顔方向検出部２０が使用者の頭部以外の身体上に装着され、撮影部４０が使用者の身体上に装着されていればこれに限定されない。例えば、本実施例の撮影・検出部１０を肩上や腹部に設置することも可能である。ただし、肩上の場合、右肩の上に撮影部４０を設置すると、左側の被写体は頭部に遮られることが考えられるため、左肩なども含めた複数の撮影手段を設置して補う構成が好ましい。また、腹部の場合、撮影部４０と頭部との間に空間的に視差が発生するため、その視差を補正する観察方向の補正算出が行えることが望ましい。

（実施例２）
実施例２では、カメラ本体１を装着する使用者の個人差・調整差をキャリブレーションする方法について図２０～図２３を用いて詳細に説明する。

基本的に本実施例は、実施例１からの派生として説明を行う。このため、実施例２のカメラシステムの構成のうち、実施例１のカメラシステムの構成と同一の構成については同一の符号を用いて重複した説明は省略し、異なる構成については都度詳細を追記して説明する。

カメラ本体１を装着する使用者は、その体格、カメラ本体１が取付けられる首部周辺の傾きや角度、装着時の襟に代表される衣服の状態、及びバンド部８２Ｌ，８２Ｒの調整残り等に代表される個人差や調整差がある。そのため、カメラ本体１の撮影レンズ１６の光軸中心と、使用者が正面を向いている状態（以下、使用者の自然状態という）での視野中心は通常一致しない。使用者にとってはカメラ本体１の撮影レンズ１６の光軸中心をそのまま映像を切り取る記録領域（狙い視野１２５）の中心とするのではなく、使用者の姿勢や動作における視野中心を記録領域の中心とすることが望ましい。

また、使用者の自然状態での視野中心だけでなく、使用者が上下左右斜めを含む各方向に首を向けた場合の視野中心、また首の可動領域にも個人差がある。そのため、顔方向検出部２０が検出した顔方向（観察方向）と、その観察方向に応じて設定される狙い視野１２５の中心位置（以下、視野中心位置という）との関係性も個人差が生じる。従って、顔方向と視野中心位置を関連付けるキャリブレーション作業が必要となる。

通常、キャリブレーション動作は図７Ａにおける準備動作処理（ステップＳ１００）の一環として行われるのが望ましい。カメラ本体１の初回起動時にキャリブレーション動作を行うことが通常想定されるが、それ以外にも、キャリブレーション後一定時間が経過した場合や、カメラ本体１が前回キャリブレーション時から使用者に対して位置ずれを起こした場合に行っても良い。顔方向検出部２０が使用者の顔を検出できなくなった場合にもキャリブレーション動作を行っても良い。また使用者がカメラ本体１を着脱したことを検知した場合、再度装着した場面でキャリブレーション動作を行っても良い。このように、カメラ本体１の適切な使用上必要だと判断したタイミングで適宜キャリブレーション動作が行われることが望ましい。

図２０は、実施例２に係るキャリブレーション処理に用いられるキャリブレータ８５０の詳細を示す図である。本実施例においては、キャリブレータ８５０が表示装置８００を兼ねている場合について説明を行う。

キャリブレータ８５０には、図７Ｄに示す表示装置８００の構成要素であるボタンＡ８０２、表示部８０３、インカメラ８０５、顔センサ８０６、角速度センサ８０７に加えて、位置決め指標８５１、キャリブレーションボタン８５４が含まれている。尚、実施例１であったボタンＢ８０４は本実施例では使わないこと、また後述するようにキャリブレーションボタン８５４と置き換えることが可能なため、ここでは図示していない。

図２０（ａ）は、位置決め指標８５１が表示部８０３に表示された特定のパターンである場合を、図２０（ｂ）では位置決め指標８５１にキャリブレータ８５０の外観を用いた場合を示している。この場合、後述する位置決め指標中心８５２はキャリブレータ８５０の外形の情報から算出する。

尚、位置決め指標８５１は、図２０（ａ），（ｂ）の例に限らず、例えば、キャリブレータ８５０とは別体であってもかまわない。大きさの計測を行いやすいこと、また使用者の顔方向位置を向けやすい形状であること、の条件を満たすものであれば、位置決め指標８５１は何であっても良い。例えば撮影レンズ１６のレンズキャップ、カメラ本体１の充電ユニットであっても良い。いずれにせよキャリブレーション動作における基本的な考え方は同一のため、以下では主に図２０（ａ）に示すキャリブレータ８５０を例に用いて説明を行う。

尚、実施例１でも記載したが、キャリブレータ８５０は、表示装置８００に機能を兼ね備えても良い。また、キャリブレータ８５０も表示装置８００と同様、専用の機器であっても良く、また他にも例えば一般的なスマートフォンや、タブレット端末であっても良い。

位置決め指標８５１は、キャリブレータ８５０の表示部８０３に表示される指標であり、位置決め指標の横幅Ｌ８５１ａと位置決め指標の縦幅Ｌ８５１ｂ、位置決め指標中心８５２を算出可能となっている図形である。後述するキャリブレーション処理において、使用者は位置決め指標８５１の中心部付近に顔方向を向けるため、位置決め指標８５１は視野中心に捉えやすい形状をしていることが望ましい。図２０（ａ）においては、十字の中心に黒丸を配した円形で示したが、特にこの形状に限定されるものではない。他にも四角や三角、星型の図形、また例えばキャラクターのイラストであっても良い。

位置決め指標８５１は、カメラ本体１の撮影部４０で撮影される。撮影された映像に基づき、表示装置制御部８０１（位置算出手段・距離算出手段）が、撮影・検出部１０とキャリブレータ８５０との距離、また画像範囲上に写る位置決め指標８５１の位置座標を演算する。本実施例ではキャリブレータ８５０と一体になった表示装置８００でかかる演算が行われるが、キャリブレータ８５０または位置決め指標８５１が表示装置８００と別体である場合、カメラ本体１側の全体制御ＣＰＵ１０１でかかる演算が行われる。

角速度センサ８０７は、キャリブレータ８５０の動きを計測することが出来る。角速度センサ８０７の測定値に基づき、表示装置制御部８０１は、後述するキャリブレータ８５０の位置や姿勢を示す移動情報を算出する。

キャリブレーションボタン８５４は、後述するキャリブレーション処理において、使用者が位置決め指標８５１の中心部付近に顔方向を向けた際に押下するボタンである。図２０（ａ）では、キャリブレーションボタン８５４は、タッチパネル式の表示部８０３に表示されたタッチボタンであるが、ボタンＡ８０２やボタンＢ８０４がキャリブレーションボタン８５４として機能するようにしても良い。

次に、実施例１で説明した、使用者の顔方向に応じて撮影部４０で撮影された超広角画像から映像を切り出してその映像の画像処理を行う際に実行される、キャリブレーション処理について、図２１のフローチャートを用いて詳細に説明する。

図２１は、カメラ本体１（キャリブレーション手段）及びキャリブレータ８５０において実行される、本実施例に係るキャリブレーション処理のフローチャートである。

説明の補助として、図２１では、使用者の操作をカメラ本体１やキャリブレータ８５０を受け付けるステップについては、動作主体を使用者とする枠に入れている。また、図２１では、上記使用者の操作を受けてキャリブレータ８５０の表示装置制御部８０１が実行するステップについては、動作主体をキャリブレータ８５０とする枠に入れている。同様に、図２１では、上記使用者の操作を受けてカメラ本体１の全体制御ＣＰＵ１０１が実行するステップについては、動作主体をカメラ本体１とする枠に入れている。

具体的には、図２１のステップＳ３１０４，ステップＳ３１０８は、カメラ本体１が動作主体であり、ステップＳ３１０１，Ｓ３１０５，Ｓ３１０６は、使用者が動作主体である。また、ステップＳ３１０２，Ｓ３１０３，Ｓ３１０７，Ｓ３１１０はキャリブレータ８５０が動作主体である。

本処理が開始すると、まずステップＳ３１０１では、使用者は、キャリブレータ８５０の電源がＯＮでない場合は、ボタンＡ８０２を操作してキャリブレータ８５０の電源をＯＮにする。同様に、カメラ本体１の電源がＯＮでない場合は電源スイッチ１１をＯＮに切り替えてカメラ本体１の電源をＯＮにする。その後、使用者はキャリブレータ８５０とカメラ本体１との間の接続を確立させる。この接続が確立すると、表示装置制御部８０１及び全体制御ＣＰＵ１０１は夫々、キャリブレーションモードに入る。

またステップＳ３１０１において、使用者は、カメラ本体１を装着し、バンド部８２Ｌ，８２Ｒの長さやカメラ本体１の角度等の調整を行って、好適な位置にカメラ本体１を配置して撮影・検出部１０が撮影可能な状態にする。

ステップＳ３１０２では、表示装置制御部８０１（第１の表示手段）は、位置決め指標８５１を表示部８０３に表示する。

次に、ステップＳ３１０３では、表示装置制御部８０１は、指示表示８５５において使用者にキャリブレータ８５０のかざすべき位置（各指定位置）を指示する。本実施例では、正面、右上、右下、左上、左下の５か所を順に指定位置として指示する。但し、キャリブレーションが可能であれば指定位置はこれに限定されない。

ステップＳ３１０４では、全体制御ＣＰＵ１０１は、撮影部４０を起動させて撮影可能状態とし、また顔方向検出部２０を起動して使用者の顔方向を検出可能な状態にする。

ステップＳ３１０５では、使用者は、ステップＳ３１０３で指示された指定位置にキャリブレータ８５０をかざす。

次に、ステップＳ３１０６では、使用者は、キャリブレータ８５０の位置を指定位置に維持したまま、顔を位置決め指標８５１の方向に向け、使用者の視野中心を位置決め指標８５１に置く。

ステップＳ３１０７では、表示装置制御部８０１（第２の表示手段）は、指示表示８５５において使用者に指定位置のキャリブレーションを開始する旨通知すると共に、キャリブレーションボタン８５４を表示する。尚、ステップＳ３１０７の処理は、表示装置制御部８０１が、使用者が位置決め指標８５１の位置決め指標中心８５２を視野正面で見たと判定したときに実行される。

ステップＳ３１０７ａでは、使用者がキャリブレーションボタン８５４を押下すると、表示装置制御部８０１は、キャリブレーション指示をカメラ本体１に送信する。

ステップＳ３１０８では、全体制御ＣＰＵ１０１（取得・検出手段）は、キャリブレータ８５０からのキャリブレーション指示に応じて、撮影部４０での撮影で位置決め指標８５１が映りこむ超広角画像を取得すると共に、顔方向検出部２０で顔方向を検出する。その後、全体制御ＣＰＵ１０１（生成手段）は、ここで取得した超広角画像における位置決め指標中心８５２の位置座標情報を算出し、算出された位置座標情報とここで検出された顔方向との関係を示す情報を生成する。

ステップＳ３１０３～Ｓ３１０８の処理の詳細を、以下、図２２Ａ～図２２Ｆを用いて説明する。

図２２Ａ～図２２Ｆは、使用者の正面方向についてのキャリブレーション動作について説明するための図である。これにより、使用者の自然状態での視野中心位置と、カメラ本体１の撮影部４０が捉えた映像のうち狙い視野１２５の中心位置とを一致させる。

図２２Ａは、使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０３において、キャリブレータ８５０の表示部８０３に表示される画面を示す図である。

図２２Ａに示すように、キャリブレータ８５０の表示部８０３には、位置決め指標８５１と、使用者が位置決め指標８５１をどこに置けばよいかを示す指示表示８５５が表示されている。

指示表示８５５には顔を正面に向けた際の視野中心に位置決め指標８５１を配置するよう文字での指示を記載している。尚、指示表示８５５において表示される指示は、文字での指示に限ったものではなく、例えばイラストや写真、動画といった他の方法での指示であってもかまわない。

また、いわゆる一般的なチュートリアルのような、指示表示８５５を表示し、その後に位置決め指標８５１を表示するようにしても良い。

図２２Ｂは、使用者が、図２２Ａにおける指示表示８５５に示された指示に従ってキャリブレータを前方にかざしている様子を示す斜視図である。

使用者が、図２２Ａにおける指示表示８５５に示された指示に従ってキャリブレータ８５０を前方にかざし、位置決め指標８５１が顔の正面に向けた際の視野中心になるようキャリブレータ８５０を配置する（ステップＳ３１０５，Ｓ３１０６）。その後、使用者は、キャリブレーションボタン８５４（図２２Ａ）を押下する。このキャリブレーションボタン８５４の押下に応じて、ステップＳ３１０７の判定が行われる。この判定方法の具体的な手順については後述する。

その後、使用者は、図２２Ａに示す指示表示８５５が「正面方向のキャリブレーションを開始します」という通知に変更したことを確認後、キャリブレーションボタン８５４を押下する（ステップＳ３１０７ａ）。

このキャリブレーションボタン８５４の押下に応じて、ステップＳ３１０８で撮影部４０が撮影映像を取得する。

図２２Ｃは、図２２Ｂの状態において撮影レンズ１６が捉えた超広角画像の全体を示す模式図であり、図２２Ｄは、図２２Ｃに示す超広角画像の収差を補正した画像を示す模式図である。

一方、図２２Ｂの状態での使用者によるキャリブレーションボタン８５４の押下に応じてステップＳ３１０８で顔方向検出部２０が顔映像を取得する。

図２２Ｅは、使用者の正面方向についてのキャリブレーション動作時に、図２１のステップＳ３１０８において顔方向検出部２０が記録した顔映像を示す模式図である。

実施例１で図８Ｇ～図８Ｋを用いて先述したとおり、顔方向検出部２０は、顎先位置２０７，２０７ｒ，２０７ｕ等と首元位置２０６との距離及び角度を用いて顔の左右上下方向の角度を算出する。しかし、顎先位置２０７，２０７ｒ，２０７ｕ等と首元位置２０６の距離及び角度値もまた画像中心と同様に、上述した使用者の体格等に表されるような個人差や調整差があるため一定しない。そのため、本実施例では、キャリブレーションボタン８５４が押下された時点での顎先位置と首元位置２０６との関係を使用者が正面を視野中心としたときの値として定義する。これにより、個人差や調整差に依らず使用者の顔方向を正確に算出するための情報として利用することが可能となる。

図２１に戻り、ステップＳ３１０９では、全体制御ＣＰＵ１０１は、正面方向のキャリブレーションの準備が完了したか否かを判断する。すなわち、顎先位置２０７、首元位置２０６及び位置決め指標中心８５２の算出に必要な情報が取得できている否かの判定を行う。

このとき、必要な情報が取得できていない場合、正面方向のキャリブレーションの準備は完了していないと判断し（ステップＳ３１０９でＮＯ）、必要な情報のうち不足している情報を再度取得できるよう、ステップＳ３１０２からの動作を繰り返す。尚、必要な情報が取得できていない場合については当然ステップＳ３１０２からのすべての動作を行う必要はなく、不足している情報を再度取得するために必要な動作のみを再度行っても良い。

ここで、ステップＳ３１０７の判定は、キャリブレータ８５０に搭載された顔センサ８０６またはインカメラ８０５を用いて行う。以下、この判定方法の具体的な手順を、インカメラ８０５を用いて使用者の正面方向についてのキャリブレーション動作を行っている場合を例に説明を行う。尚、顔センサ８０６を使用した場合については、情報が二次元か三次元かの差異はあるものの、基本的な考え方は同一であるため省略する。但し、ステップＳ３１０７の判定で顔センサ８０６を使用する場合、顔センサ８０６から赤外線８２３が使用者に投光されている期間中は、カメラ本体１の顔方向検出部２０は赤外線２３を使用者に投光することによる顔検出は行わない。赤外線２３，８２３が相互に干渉するのを防止するためである。

まず、使用者が、ステップＳ３１０６で図２２Ａのキャリブレーションボタン８５４を押下すると、表示装置制御部８０１は、インカメラ８０５（顔検知手段）で撮影を行い、使用者が写ったインカメラ映像８５８（図２２Ｆ）を取得する。さらに、表示装置制御部８０１は、取得したインカメラ映像８５８から、使用者の首前部２０１、顎先２０３、及び鼻を含む顔２０４と、撮影・検出部１０（撮影部４０）の位置情報を検出する。

このインカメラ映像８５８で検出された各位置情報を用いて、使用者が位置決め指標８５１の位置決め指標中心８５２を視野正面で見ているかの判定を、表示装置制御部８０１（判定手段）が行う。

尚、この判定の結果、使用者が異なる方向を見ていると判定された場合、表示装置制御部８０１は、指示表示８５５に正しい情報取得が出来ない旨の情報を表示する。これにより、使用者に対しキャリブレーション動作を再度やり直すように指示することが出来る。

尚、表示装置制御部８０１は、インカメラ映像８５８を用いて、撮影・検出部１０がある一定以上傾いている、顔方向検出窓１３が塞がっているまたは汚れているといった、正しいキャリブレーション動作が出来ない状態であると判定可能な場合がある。このような場合も、表示装置制御部８０１は、指示表示８５５に正しい情報取得が出来ない旨の情報を表示するようにしてもよい。

以上で記載した方法で、ステップＳ３１０９において、全体制御ＣＰＵ１０１は、必要な情報が取得でき、正面方向のキャリブレーション準備が完了したと判断した場合、ステップＳ３１１０に進む。

ステップＳ３１１０では、表示装置制御部８０１（第一のキャリブレーション手段）が、個人差・調整差を吸収するように、切り出し中心位置をオフセットするために必要な情報を演算し、その情報に基づき切り出し中心位置をオフセットする。

ステップＳ３１１０における演算の具体的な説明は以下のとおりである。

使用者が設計値の通り理想状態であり、かつ理想的にカメラ本体１を装着しているならば、図２２Ｃに示すステップＳ３１０８で取得された超広角画像の中心８５６と、その超広角画像に写る位置決め指標中心８５２の位置は略一致するはずである。しかし実際には、上述した使用者の体格等に表されるような個人差や調整差があるため、超広角画像における中心８５６及び位置決め指標中心８５２の位置は通常一致しない。

使用者にとっては、切り出し中心位置は、カメラ本体１の示す画像中心すなわち中心８５６ではなく、使用者の姿勢や動作における視野中心、すなわち超広角画像における位置決め指標中心８５２の位置であることが望ましい。

そのため、超広角画像における位置決め指標中心８５２と中心８５６とのずれ量８５７を計測し、切り出し中心位置をカメラ本体１における中心８５６ではなく位置決め指標中心８５２を基準とした値にオフセットする。また、その際の顔方向検出部２０が検出した顔方向も同様の方法でオフセットする。

具体的なオフセット方法としては、図２２Ｃのように超広角画像に対してずれ量８５７を計測し、これを左右方向のずれ量８５７ａと上下方向のずれ量８５７ｂに分け、全画角の投影方法に従って適切な変換処理を行った後にオフセット量を決定すればよい。

また、図２２Ｄに示すように、超広角画像に投影方法に従って適切な変換処理を行った後にオフセット量を決定しても良い。すなわち、変換後の撮影映像における中心８５６ａと位置決め指標中心８５２ａとのずれ量８５７ａ（図２２Ｄにおいて不図示）を計測し、ずれ量８５７ａを左右方向のずれ量８５７ｃと上下方向のずれ量８５７ｄに分けてオフセット量を決定しても良い。

図２２Ｃ、図２２Ｄのいずれに示すオフセット方法をとるかは、カメラシステムの処理負荷や目的を考慮して任意に決定することが可能である。

以上説明した正面方向のキャリブレーション動作を行うことで、個人差や調整差等に関わらず、各使用者の装着時における顔方向と、超広角画像内でのその顔方向における視野中心、そして顔方向検出部２０の顔方向とを適切に関連付けることが可能となる。

尚、ここまでは、正面、右上、右下、左上、左下の５方向のうち、正面方向のキャリブレーション動作について説明を行ったが、同様のキャリブレーション動作を右上、右下、左上、左下の４方向についても実行する必要がある。

よって、図２１において、ステップＳ３１１０の処理が終了すると、ステップＳ３１１１に進む。

ステップＳ３１１１では、正面、右上、右下、左上、左下の５方向のうち、まだキャリブレーション動作が行われていない方向があると判定した場合、その１方向に、キャリブレーション動作を行う方向を変更し、ステップＳ３１０３に戻る。これにより、すでに終了した正面方向以外の、残りの方向について同様にキャリブレーション動作を繰り返す。

尚、図２１においては不図示だが、ステップＳ３１１１において、キャリブレーション動作が行われていない方向がないと判定した場合は本処理をそのまま終了する。

図２３Ａ～図２３Ｅは、使用者の右手上方向（超広角画像における右上方向）についてのキャリブレーション動作について説明するための図である。図２３Ａ～図２３Ｅはそれぞれ図２２Ａ～図２２Ｅに対応しており、基本的な動作も同じであるため、共通する説明は省略する。

ここで、図２３Ａに示すように、指示表示８５５には顔を右上に向けた際の視野中心に位置決め指標８５１を配置するよう文字での指示を記載している。

図２３Ｂは、使用者が、図２３Ａにおける指示表示８５５に示された指示に従ってキャリブレータ８５０を右上にかざしている様子を示す斜視図である。

図２３Ｃは、図２３Ｂの状態において撮影レンズ１６が捉えた超広角画像の全体を示す模式図である。

図２３Ｃに示すように、具体的なオフセット方法としては、まず、超広角画像における中心８５６及び位置決め指標中心８５２の位置のずれ量８５７を計測する。その後、計測されたずれ量８５７を直径方向のずれ量８５７ｅと角度方向のずれ量８５７ｆに分け、全画角の投影方法に従って適切な変換処理を行った後にオフセット量を決定すればよい。

また他にも、図２３Ｄに示すように、超広角画像に投影方法に従って適切な変換処理を行った後にオフセット量を決定しても良い。すなわち、変換後の撮影映像における中心８５６ａと位置決め指標中心８５２ａとのずれ量８５７ａ（図２３Ｄにおいて不図示）を計測し、ずれ量８５７ａを直径方向のずれ量８５７ｇと角度方向ずれ量８５７ｈに分けてオフセット量を決定しても良い。

尚、図２２Ａ～図２２Ｅを用いて説明したオフセット量の決定では、ずれ量を上下―左右方向に分ける方法を用いた。これに対し、図２３Ａ～図２３Ｄを用いて説明したオフセット量の決定では、ずれ量を直径―角度方向に分ける方法を用いたが、この方法の違いは説明の便宜上のものにすぎず、いずれの方法を用いても構わない。

また、このとき顔方向検出部２０では、図２３Ｅに示すように、使用者が右上方向を向いた時の顔方向を算出するのに必要な首元位置２０６及び顎先位置２０７ｒｕが取得できている。そのため、使用者の個人差・調整差にかかわらず、使用者が位置決め指標中心８５２の方向（この場合は右上方向）を見た際の顔方向を正しく測定することが出来る。

以上のように、図２１に示すキャリブレーション処理においては、正面方向だけでなく、右上、右下、左上、左下の各方向についてもキャリブレーション動作を行う。これにより、使用者が上下左右方向のいずれかの方向に首を振った場合に、使用者がどの方向を向いているかを顔方向検出部２０は正しく測定することが可能となり、個人差や調整差によらずカメラ本体１を適切に使用することが出来る。

以上の記載では、簡単のため明示的に正面、右上、右下、左上、左下の５つの方向に対して繰り返しキャリブレーション動作を行う方法を説明した。

しかし、キャリブレーション動作はこの方法に限らない。例えば、使用者が、指示表示８５５に従ってＺ字状、渦巻き状、多角形状等の形状に連続的にキャリブレータ８５０を移動させると同時に、キャリブレータ８５０に表示中の位置決め指標８５１を視野中心で捉え続ける方法を採っても良い。この方法では、表示装置制御部８０１は、この方法によりキャリブレータ８５０が移動している間、複数回キャリブレーション指示をカメラ本体１に送信する。全体制御ＣＰＵ１０１は、キャリブレーション指示を受信する毎に顔方向検出部２０で検出して顔方向と、撮影部４０で撮影した超広角画像における位置決め指標中心８５２の位置座標情報を取得し、履歴情報として保持する。その後、全体制御ＣＰＵ１０１は、取得した履歴情報から抽出した情報を組み合わせて、映像の切り出し中心位置と使用者の顔方向との関係性を算出する。さらには、この方法によるキャリブレータ８５０の移動中にキャリブレータ８５０側で取得されたインカメラ８０５や顔センサ８０６の情報を用いて、履歴情報から抽出される情報を、使用者が位置決め指標８５１を見ている状態の情報のみとしてもよい。これにより、例えば使用者がよそ見をしている状態の情報は、履歴情報から抽出されなくなるため、関係性の算出の精度を上げることが可能である。

また、表示装置制御部８０１は、キャリブレーション指示の際に角速度センサ８０７による測定値もカメラ本体１に送信するようにしてもよい。この場合、全体制御ＣＰＵ１０１は、送信された角速度センサ８０７による測定値から、使用者によるキャリブレータ８５０の移動方法や、キャリブレータ８５０の位置や姿勢を示す移動情報を取得し、これも履歴情報として保持する。これにより、角速度センサ８０７による測定値に基づく移動情報、顔方向検出部２０が検出した顔方向、及び撮影部４０で撮影した超広角画像における位置決め指標中心８５２の位置座標情報から、キャリブレーション動作を簡易かつ正確に行うことが出来る。

ただしこの場合は、角速度センサ８０７による測定値に基づく移動情報と、位置決め指標８５１の位置座標情報に基づく移動情報が一致している必要がある。そのため、角速度センサ８０７による測定値を用いる場合は、カメラ本体１とキャリブレータ８５０の通信を同期させることが必要である。

以上、実施例２では、個人差や調整差があっても使用者の顔方向と超広角画像における狙い視野１２５の中心位置を関係づけるキャリブレーション方法を説明した。しかし、本発明は、実施例２で例示した各種形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

（実施例３）
実施例１における記録方向・記録範囲決定処理（図７ＡのステップＳ３００及び図７Ｄ参照）で用いた図１１Ａから図１１Ｆに示す通り、撮影レンズ１６の有効投影部１２２の最外周はＦＯＶ角１８０°程度ある。このため、使用者が、カメラ本体１を首にかけ、スタートスイッチ１４を押した後、上を向くと、図２４のように自分すなわち使用者の顎１３４も映り込んだフレーム画像となる。この状態で観察方向を切り出すと、使用者の顎が記録されてしまう。使用者は自分の顎を記録したくて上を向いているわけではなく、所望の動きとは言えない。さらには自分の顎下が写った映像は、人には見せたくないような映像となっていることもある。

そこで本実施例では、このような記録された映像に使用者の顎１３４が映り込むという事態を避けるために映像の切り出しに制限をかける。

実施例１の顔方向検出処理（図７Ｃ参照）で説明したとおり、顔方向検出部２０は赤外線反射強度を赤外検出処理装置２７で２次元画像として抽出することにより顔映像を取得する方式を採用している。

カメラ本体１には、撮影レンズ１６と顔方向検出窓１３とが固定されている。このため、顔方向検出窓１３の配置位置、配置角度と検出範囲、撮影レンズ１６の配置位置、配置角度とＦＯＶ、及び顔方向検出窓１３と使用者の顔の位置関係から、固体撮像素子４２から得られるフレーム画像における使用者の顎の位置が特定可能である。よって、本実施例では、図７ＤのステップＳ３０４で、映像記録用枠の位置を、使用者の顎が位置する領域を避けて決定する。

つまり本実施例では、使用者の顔方向が正面から上に向かって移動している際、顔方向検出窓１３で検出される使用者の顎の位置に応じて映像記録用枠の移動を制限する。

尚、撮影レンズ１６と顔方向検出窓１３との位置関係や配置角度などが調整可能である場合、その位置関係や配置角度に応じて、フレーム画像における使用者の顎の位置の特定する方法は公知の技術であるので説明は省略する。

本実施例に係る固体撮像素子４２には赤外光を遮断する赤外カットフィルタが含まれているが、この赤外カットフィルタは完全なものではないため、被写体と赤外ＬＥＤ２２が近い場合、赤外光成分を完全にはカットできない。このため、固体撮像素子４２は、使用者の顎の領域から赤外光を検出することが可能である。そこで本実施例では、固体撮像素子４２から得られる映像から、赤外線成分を含む使用者の顎の領域を検出することで、使用者の顎が映像記録用枠内に入り込むことを抑制する。

すなわち固体撮像素子４２のＶ信号と図９で示した顔方向検出のＶ信号を同期させ、固体撮像素子４２により各フレーム画像の撮影を行う。以下、赤外ＬＥＤ２２が点灯している間に固体撮像素子４２で撮影されたフレーム画像を全点灯画像という。また、赤外ＬＥＤ２２が消灯している間に固体撮像素子４２で撮影されたフレーム画像を全消灯画像という。その後、全点灯画像と全消灯画像の差分画像（図２８Ａ）から、図８Ｅを用いて上述した使用者の顔の抽出と同様に、使用者の顎を抽出し、この抽出した使用者の顎の領域が映像記録用枠に含まれないようにする。尚、実際は差分画像に不図示の画像処理手段によってＬＰＦや最小値フィルタをかけるなどして微小な差分を除去してから、使用者の顎の領域を特定するのが好ましい。

尚、顔方向検出のＶ信号と固体撮像素子４２のＶ信号とを同期させない構成も実施可能である。図２５は、赤外検出処理装置２７で生成される顔方向検出用のＶ信号と固体撮像素子４２用のＶ信号が非同期である場合のタイミングチャートである。図２５（ａ）は固体撮像素子４２用のＶ信号である。図２５（ｂ）は固体撮像素子４２の露光状況（撮像タイミング）を示す。図２５（ｃ）は顔方向検出用のＶ信号である。図２５（ｄ）は顔検出時の露光状況（赤外検出処理装置２７のセンサによる撮像タイミング）である。図２５（ｅ）は赤外ＬＥＤ２２の点灯状況である。

図２５の例では、固体撮像素子４２は３０ｆｐｓで露光しており、顔検出に用いる赤外検出処理装置２７のセンサは１０ｆｐｓで露光している。赤外ＬＥＤ２２は５Ｈｚで点滅を繰り返しており、顔検出は１秒に５回行う例を示している。このように固体撮像素子４２と顔検出の周期とは一致していないため、固体撮像素子４２で得られるフレーム画像は、全点灯画像や全消灯画像だけではなくなる。すなわち、固体撮像素子４２で得られるフレーム画像には、図２６Ａや図２６Ｂに示すように、露光中に赤外ＬＥＤ２２で投光された領域と露光中に赤外ＬＥＤ２２が消灯中であった領域とからなるフレーム画像が混ざることになる。以下、露光中に赤外ＬＥＤ２２で投光された領域を「ＬＥＤ投光時露光領域」といい、露光中に赤外ＬＥＤ２２が消灯中であった領域を「ＬＥＤ消灯時露光領域」という。

上述の通り、全点灯画像（例えば図２５中、２フレーム画像）と、全消灯画像（例えば図２５中、４フレーム画像）とを比較すれば、使用者の顎の領域を特定できる。しかし使用者の顎は固体撮像素子４２で撮影されるフレーム画像の上部の一部にしか映り込んでいない。そのため上部がＬＥＤ投光時露光領域であって下部がＬＥＤ消灯時露光領域であるフレーム画像（例えば図２５中、３フレーム画像、図２６Ｂ参照）と、全消灯画像（例えば図２５中、４フレーム画像）とを比較することでも使用者の顎の領域を特定可能である。

逆に、上部がＬＥＤ消灯時露光領域であって下部がＬＥＤ投光時露光領域であるフレーム画像（例えば図２５中、１フレーム画像、図２６Ａ参照）と、全点灯画像（例えば図２５中、２フレーム画像）とを比較することでも使用者の顎の領域を特定可能である。

次に、使用者の顎が映り込む最大領域を得る方法について説明する。

実施例２で説明したキャリブレーションは、正面、右上、右下、左上、左下の５つの方向を使用者が向いている場合についてステップＳ３１０８で、撮影部４０での撮影で超広角画像を取得する。この超広角画像の取得時も顔方向検出部２０で顔方向を検出しているため赤外ＬＥＤ２２は点滅している。よって、ステップＳ３１０８において、上述した通り全点灯画像と全消灯画像の差分画像をとり、必要に応じて図２８Ｂのように二値化画像とすることで使用者の顎の領域を特定できる。

ただしこの時に使用者の顎の領域を検出する領域には、使用者の顎が必ず映り込む、予め決めておいた設計上の領域を用いる。例えば図１Ｂのような構成では得られた超広角画像の下半分に使用者の顎が映り込むことは通常の使用ではあり得ないため、例えば境界を検出する領域は、超広角画像の上部５０％の範囲とする。この設計上の領域は一例であり、顔方向検出部２０と撮影部４０の位置関係や、撮影レンズ１６のＦＯＶなどによって適宜変更可能である。

本実施例では、図２８Ｃで示したように上記５つの方向を使用者が向いている夫々の場合に得られた全点灯画像及び全消灯画像の差分画像を二値化画像としたものの論理和をとり、これを使用者の顎が映り込む最大領域として得る。また、この使用者の顎が映り込む最大領域は、上述した通り、顔検方向出のＶ信号と固体撮像素子４２のＶ信号が同期してない場合でも得ることが可能である。

以下、図２７Ａのフローチャートを用いて、本実施例に係る映像記録枠補正処理について詳細に説明する。尚、図２７ＡのうちステップＳ８００１の準備動作処理からステップＳ８００４の撮影までは実施例１で説明した図７ＡのステップＳ１００～Ｓ４００と同様であるため、説明を割愛する。

ステップＳ８００５で、全体制御ＣＰＵ１０１は、固体撮像素子４２にて撮影されたフレーム画像からステップＳ８００５で使用者が映り込んでいるかを確認する使用者の映り込み確認処理を実行する。使用者の映り込み確認処理については図２７Ｂを用いて後述する。

ステップＳ８００６で、全体制御ＣＰＵ１０１は、ステップＳ８００５での使用者の映り込み確認処理の結果、フレーム画像に使用者が映り込んでいるか否かを判定する。判定の結果、フレーム画像に使用者が映り込んでいる場合（ステップＳ８００６でＹＥＳ）、ステップＳ８００７へ進む。一方、フレーム画像に使用者が映り込んでいない場合（ステップＳ８００６でＮＯ）、直接ステップＳ８００８へ進む。尚、使用者自身が映り込んでいるか否かの判定は、上述した通り、使用者の顎が入り込む可能性のある領域として予め決めておいた設計上の設定領域のみで行ってもよい。また例えば前方にある物をとろうとして前に伸ばした手の腕部分も映像記録用枠から除外したい場合は、フレーム画像の全体を判定してもよく、用途によって適宜変更可能である。

ステップＳ８００７で、全体制御ＣＰＵ１０１（決定手段）は、ステップＳ８００３で決定した記録方向・範囲を、使用者が写らない領域に補正する。すなわち使用者が見ている方向が正面から徐々に上に顔を動かした場合、ステップＳ８００５で使用者の顎が検出されると、それ以上は上に記録方向を移動させないように制限する。尚、使用者が斜め方向に顔を動かした場合、ステップＳ８００５で使用者の顎が検出されると、それ以上は顔を動かしている方向に（又はその垂直方向のみ）記録方向を移動させないように制限する。

このように使用者の体の一部分が記録されないように記録方向・範囲が決定された後、ステップＳ８００８に進み、その領域の現像処理を行う。尚、ステップＳ８００８の記録範囲現像処理からステップＳ８０１３の二次記録までは、実施例１で説明した図７ＡのステップＳ５００～Ｓ１０００と同様であるので説明を割愛する。

次に、図２７Ｂのフローチャートを用いてステップＳ８００５における、全体制御ＣＰＵ１０１により実行される使用者の映り込み確認処理について説明する。

まず、ステップＳ８１０１では、ステップＳ８００４での撮影時に赤外ＬＥＤ２２が点灯していたかどうかを判定する。尚、使用者の顎の領域の特定に全点灯画像を用いる場合はフレーム画像の全領域を露光中の時間において点灯されているかが判定される。一方、使用者の顎の領域の特定に、図２６Ａ、図２６Ｂを用いて説明したＬＥＤ投光時露光領域を用いる場合は、フレーム画像の使用者が映り込む可能性のある領域を露光中の時間において点灯されているかが判定される。

撮影時に赤外ＬＥＤ２２が点灯していた場合（ステップＳ８１０１でＹＥＳ）、ステップＳ８１０２に進み、赤外ＬＥＤ２２が消灯中に撮影されたフレーム画像をバッファから取得し、その後ステップＳ８１０４に進む。一方、赤外ＬＥＤ２２が消灯していた場合（ステップＳ８１０１でＮＯ）、ステップＳ８１０３に進み、赤外ＬＥＤ２２が点灯中に撮影されたフレーム画像をバッファから取得し、その後ステップＳ８１０４に進む。

ステップＳ８１０４で、ステップＳ８１０２又はステップＳ８１０３のいずれかでバッファから取得したフレーム画像（第１のフレーム画像）と、ステップＳ８００４で撮影されたフレーム画像（第２のフレーム画像）との差分画像を取得する（取得手段）。尚、上述した通り微小な差分を除去することも好ましい。

ステップＳ８１０５で、ステップＳ８１０４で取得した差分画像から使用者の体の一部が映り込んでいる領域を特定する（第１の特定手段）。

ステップＳ８１０６で、ステップＳ８００４で撮影された今回のフレーム画像と、その撮影時の赤外ＬＥＤ２２の点灯状況をバッファに保存した後、本処理を終了する。

尚、ここではバッファとして１次メモリ１０３を利用するが、ステップＳ８１０６でバッファに保存するデータの容量によっては、バッファの保存前に１／２程度に圧縮するようにしてもよい。また図２５で説明したように、赤外ＬＥＤ２２が点灯中に撮影されたフレーム画像と、赤外ＬＥＤ２２が消灯中に撮影されたフレーム画像とが交互に得られるわけではないので、バッファには、複数のフレーム画像を保持しておく必要がある。

またステップＳ８１０５で使用者の顎が映り込んでいる領域を特定する際、固体撮像素子４２で撮影される各フレーム画像において使用者の顎が映りこむ可能性のある領域を予め算出しておき、その領域のみ検出・移動制限をかけることも好ましい。これにより使用者に顎以外を誤って特定されることを防ぐことができる。具体的には、全体制御ＣＰＵ１０１（領域算出手段）は、上述した図２８Ｃに示す使用者の顎が映り込む最大領域を、使用者の顎が映りこむ可能性のある領域に設定する。また、使用者の顎が映り込む可能性のない領域がどこまでかを予め算出しておき、その領域に基づいて検出・移動制限をかけるようにしてもよい。

尚、全体制御ＣＰＵ１０１（第２の特定手段）は、各フレーム画像に使用者の顎が映りこむ領域の特定を、上述した差分画像を用いて行うのでなく、フレーム画像に対する被写体認識によって行うことも可能である。この場合、全体制御ＣＰＵ１０１は、各フレーム画像が入力されると、各フレーム画像に映りこむ使用者の顎の領域の情報が出力される、ディープラーニングを用いた学習済モデルを利用することは好適である。この学習済モデルの学習時には、上述したキャリブレーションの実行時に表示装置８００に含まれるインカメラ８０５から使用者の肌色を検出し、これを学習パラメータとして用いることが好ましい。これより、より正確な各フレーム画像に映りこむ使用者の顎の領域の情報を得ることが認識可能となる。すなわち、表示装置制御部８０１は、図２１のステップＳ３１０６で取得されるインカメラ映像８５８から使用者の顔の肌色を特定し、特定された肌色をカメラ本体１に肌色情報として送信する。カメラ本体１は、送信された肌色情報を1次メモリ１０３に記憶し、学習パラメータとして利用する。この肌色情報は、内蔵不揮発性メモリ１０２にも記憶しておき、電源を切った後でも再度使用することも好ましい。また使用者の顎の形状や、使用者の顎の移動パターンを学習パラメータに含ませることも好ましい様態である。

尚、本実施例では、映像記録用枠内に入れたくないものの例として使用者の顎を挙げて説明してきたが、顎に限定されるものではなく、例えば手を伸ばしたときの使用者の腕や、下を向いたときの使用者の髪などにも適用可能である。尚、この場合、映像記録用枠内に入れたくないものに応じて、図２５（ｂ）に示すどのフレーム画像同士を比較するか選別する必要があるが、かかる選別は当業者によって実施可能である。また、ディープラーニングを用いた学習結果を利用する場合は、使用者の肌色だけでなく、使用者が着ている洋服の色や、使用者の髪の色など学習のパラメータとして適宜最適なものを選択することも好ましい様態である。

（実施例４）
本実施例では、図２９～図３１を用いて、使用者の観察方向によっては、狙い視野１２５（映像記録用の枠位置）が有効投影部１２２を外れてしまう場合の処理について説明する。なお実施例４は実施例１と基本的に構成が同じであるため、以下、実施例４特有の構成についてのみ説明する。

図２９は、狙い視野１２５と像高を説明するための概念図であり、使用者が中央より左上の観察方向ｖｐを観察している様子を表している。図３０は、観察方向の角度と座標系を説明するための概念図である。

広角のレンズは投影方法によっていくつかの種類が知られているが、ここでは等距離射影のレンズを撮影レンズ１６として用いる場合を説明する。等距離射影のレンズとは、レンズに入射する角度と像高（画像中央からの距離）が比例するように設計されたレンズのことを言う。

したがってレンズの焦点距離がｆ［ｍｍ］で、入射角がθ［ｒａｄ］の場合、像高ｒ[ｍｍ]は式１０１となる。（ただし正面を０［ｒａｄ］とする。）
ｒ［ｍｍ］＝ｆ［ｍｍ］・θ［ｒａｄ］ 式１０１
ここで図３０のように左右（ヨー方向：横方向）にｘ座標、上下（ピッチ方向：縦方向）にｙ座標、光軸方向すなわち正面方向にｚ方向のデカルト座標系を考え、使用者の観察方向をｚ＝１の疑似的な平面１７０に投影することを考える。この時、正面方向のベクトルは、

と表すことができ、使用者の観察方向のベクトルは、

に分離することができ、狙い視野１２５の角ベクトルは、

と表すことができる。観察方向ベクトル

は、図２９における観察方向ｖｐ、角ベクトル

は、図２９における像高ｒ１に相当するベクトルとなる。図３０では狙い視野１２５の角ベクトル

は左上を示しているが、左右と上下にそれぞれプラスとマイナスを入れることで四隅を表現することが可能となる。

この時、正面方向のベクトル

と狙い視野１２５の角ベクトル

の成す角

は式１０２であらわされる。

この式１０２によって計算された

を式１０１のθに代入して得られた像高ｒ１が、狙い視野１２５の四隅の像高となる。

特に使用者が斜めを向いている場合において、像高ｒ１が撮影レンズ１６の有効投影部１２２の領域の外に出てしまう場合がある。この場合、狙い視野１２５の領域外となった部分は極端に解像度の悪い画像や、周辺光量落ち現象によって暗い画像、あるいは外光が入らない黒いが画像として記録されてしまうことになる。そのため、本実施例では、像高ｒ１が有効投影部１２２の領域外となった場合は、使用者の観察方向よりも光学中心側に狙い視野１２５の位置を補正する。

ここでは等距離射影を例に説明したが、立体射影のレンズでは式１０３で、等立体角射影では式１０４で像高が計算される。

ｒ［ｍｍ］＝２・ｆ［ｍｍ］・ｔａｎ（θ［ｒａｄ］／２） 式１０３
ｒ［ｍｍ］＝２・ｆ［ｍｍ］・ｓｉｎ（θ［ｒａｄ］／２） 式１０４
このように使用する撮影レンズ１６の素性に応じて当業者によって適宜像高の算出が可能である。

使用者が上方向に３０[°]、右方向に４５[°]を向き、且つ、狙い視野１２５の横画角が５０［°］、縦画角が５０［°］である場合、ｐｉｔｃｈ±（縦画角／２）は（３０±５０／２）[°]、ｙａｗ±（横画角／２）は（４５±５０／２）[°]となる。これらの値を式１０２に代入して求めた

を式１０１のθに代入して得られた像高ｒが、狙い視野１２５の四隅となる。

すなわち右上、右下、左下、左上の像高はそれぞれ、約７２．１０[°]、約７０．０１[°]、２０．５２[°]、５５．８４[°]となる。

使用者がさらに端を向き、像高が有効投影部１２２の領域外となった場合について説明する。上述した通り狙い視野１２５の領域外となった部分は、解像度が悪かったり、撮影レンズ１６の周辺光量落ち現象により暗くなったりし、映像として見栄えが悪くなるため使用できない。そのため実際の使用者の観察方向よりも光学中心側に狙い視野１２５の位置を補正することで画質を担保する。

本実施例では、図３１を用いて狙い視野１２５の位置を光学中心側に補正する方法を説明する。

図３１は、本実施例において像高が有効投影部１２２の領域の外に出てしまった場合の狙い視野１２５の位置の補正する方法を示す図である。なおこの補正は、実施例１で説明した図７ＤのフローチャートのステップＳ３０４における映像記録用枠の位置・サイズ算出の際、全体制御ＣＰＵ１０１（枠位置決定手段）によって実行される。

使用者の観察方向から上述したように狙い視野１２５の像高を式１０２および式１０１によって計算する。例えば使用者の観察方向の中心１５０が端の方を向いている場合、点線四角で示した狙い視野１２５のように、その右上隅が有効投影部１２２をはみ出てしまう。このような場合には新しい狙い視野１５３のようにその全領域が有効投影部１２２の範囲内に収まるよう、光学中心側にｙａｗとｐｉｔｃｈ角を調整する。

上述したような図３０のような正面を０[°]としたデカルト座標系において、使用者の観察方向から有効投影部１２２の中心に向けての角度βは式１０５であらわされる。

なおｙａｗ角が０[°]である場合はｔａｎ（ｙａｗ）すなわち分母が０になるが、この場合は、ｐｉｔｃｈが正（上方向）を向いている場合のβは２７０［°］（下方向）、ｐｉｔｃｈが負（下方向）の場合のβは９０［°］（上方向）である。ただしｙａｗ角もｐｉｔｃｈ角も０[°]の場合は、補正を必要としないのは自明であり本計算式の対象外である。また通常使用者の観察方向が真後ろを向くこともあり得ないためｙａｗ角が１８０[°]となることも想定していない。

例えば図３１における狙い視野１２５は、横画角が５０［°］、縦画角が５０［°］であって、使用者の観察方向の中心１５０がｐｉｔｃｈ方向に４５[°]上を、ｙａｗ方向に６０[°]右を向いた場合を示している。この場合、式１０１、式１０２から右上、右下、左下、左上の像高はそれぞれ、約８５．１４[°]、約８５・００[°]、３８．２８[°]、７０．５７[°]となる。ＦＯＶが１７０[°]のレンズを使用している場合、図３１に示すように、狙い視野１２５の右上隅が有効投影部１２２の領域外となる。

また角度βは式１０５から２１０[°]となる。このため、新しい狙い視野１５３の右上隅が有効投影部１２２と接する位置となるよう、使用者の観察方向から有効投影部１２２の中心を結んだ線に沿って（すなわち角度β方向に）、観察方向の中心１５０を、観察方向の中心１５２に移動させる。このように、狙い視野の四隅（枠位置）を全て有効投影部１２２の内部に設定されるよう、有効投影部１２２の内部側に寄せる、この例では、具体的には狙い視野を左下方向に移動させる補正を行う。

なおここでは光学中心と固体撮像素子４２の中心が一致していることを前提に説明してきたが、製造誤差によってずれている場合もある。この場合、簡易的には新しい狙い視野１５３を固体撮像素子４２の中心側に寄せることも可能だが、製造時に製造誤差を検出し、その結果を内蔵不揮発性メモリ１０２に記憶しておき、製造誤差を考慮した光学中心に寄せることも好ましい様態の一つである。

また説明を簡略化するために実施例１で説明した防振のための予備領域については割愛したが、予備領域を考慮して計算することによって防振レベルが「切」以外の場合についても対応可能である。

（実施例５）
実施例４では、使用者の観察方向をもとに算出した狙い視野１２５の一部が有効投影部１２２の領域外に出てしまった場合に、光学中心側に狙い視野を移動する例を示した。これに対し、本実施例では、図３２のように、狙い視野として切り出す画角を狭める例を示す。

なお基本的な構成及び計算式は実施例４と同じであり、その差分についてのみ説明する。

実施例４では、狙い視野１２５の横画角が５０［°］、縦画角が５０［°］であって、且つ使用者が上方向に４５[°]、右方向に６０[°]を向いた場合を例に、像高ｒ１の求め方を説明した。さらに、実施例４では、求めた像高ｒ１が有効投影部１２２の領域を超えた場合、光学中心側に新しい狙い視野１５３を設定した。

これに対して本実施例では、求めた像高ｒ１が有効投影部１２２の領域を超えた場合、図３２に示すように使用者の観察方向の中心１５０はそのままに、狙い視野として切り出す画角を狭めて新しい狙い視野１５４を設定する。

新しい狙い視野１５４として切り出す画角は、式１０１，１０２を用いて新しい狙い視野１５４が全て有効投影部１２２に収まるように算出する。すなわち、図３１において点線で示す狙い視野１２５は、右上の像高は約８５．１４[°]で、ＦＯＶが１７０[°]のレンズでは有効投影部１２２の領域外に出てしまうことを実施例４で説明した通りである。そこで式１０２の狙い視野１２５の画角を逆算する。その結果、横画角を約４９．７［°］、縦画角を４９．７［°］とすることで、右上の像高を約８５．００[°]とする。このように、ＦＯＶが１７０[°]のレンズの有効投影部１２２の領域内となるよう、狙い視野１５４の画角を調整する。

その後、狙い視野１５４のように画角が狭められた範囲で取得した映像画像は、全体制御ＣＰＵ１０１に含まれる画像処理ユニットで元の画素数に拡大する。

このようにすることで、狙い視野１２５の一部が有効投影部１２２の外部に出てしまう程、使用者の観察方向が端を向いている場合でも、画質が担保可能となる。

また実施例４でも説明したように、防振のための予備領域を考慮して計算することによって防振レベルが「切」以外の場合についても対応可能である。

（その他の実施形態）
尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ カメラ本体
１０ 撮影・検出部
１１ 電源スイッチ
１２ 撮影モードスイッチ
１３ 顔方向検出窓
１４ スタートスイッチ
１５ ストップスイッチ
１６ 撮影レンズ
１７ ＬＥＤ
１８ 胸部接続パッド
１９Ｌ，１９Ｒ マイク
２０ 顔方向検出部
３０ 記録方向・画角決定部
４０ 撮影部
５０ 画像切り出し・現像処理部
６０ 一次記録部
７０ 送信部
８０ 接続部
８１ 角度保持部
８２ バンド部
８３ 接続面
８４ 電気ケーブル
９０ バッテリー部
９１ 充電ケーブル挿入口
９２Ｌ，９２Ｒ 調整用ボタン
９３ 背骨よけ切り欠き
９４ バッテリー
１０１ 全体制御ＣＰＵ
１０２ 内蔵不揮発性メモリ
１０３ 一次メモリ
１０５ スピーカー
１０６ 振動体
１０７ 角速度センサ
１０８ 加速度センサ
１２５ 狙い視野
８０５ インカメラ
８０６ 顔センサ
８００ 表示装置
８０１ 表示装置制御部
８０７ 角速度センサ
８０８ 加速度センサ
８０９ 撮像信号処理回路
８５０ キャリブレータ
９００ 簡易表示装置
９０１ アクションカメラ
９０２ 頭部固定アクセサリー
９０３ 全天球型撮影カメラ
９０４ レンズ
９０５ 撮影用ボタン

Claims (19)

1. 使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出手段と、
   前記使用者の身体上に装着され、映像を撮像する撮像手段と、
   前記撮像手段より撮像された映像のうち、前記観察方向に対応する映像記録用枠内の映像を出力する映像出力手段と、
   前記使用者の身体の一部が映りこまないように前記映像記録用枠を決定する決定手段とを備えることを特徴とする撮像装置。
2. 前記観察方向検出手段は、前記使用者の観察方向を３次元で検出することを特徴とする請求項１に記載の撮像装置。
3. 前記観察方向検出手段は、前記使用者の顔の左右方向の観察方向を、第１の検出方向の角度として出力し、前記使用者の顔の上下方向の観察方向を、前記第１の検出方向に対して垂直な第２の検出方向の角度として出力することを特徴とする請求項１又は２記載の撮像装置。
4. 前記撮像手段より撮像された映像の各フレーム画像に前記使用者の身体の一部が映りこむ最大領域を算出する領域算出手段を更に備え、
   前記決定手段は、前記撮像手段より撮像された１つのフレーム画像の前記最大領域において前記使用者の身体の一部が写りこんでいる場合、前記使用者の身体の一部が映り込まない範囲に前記映像記録用枠を補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像装置は、無線接続もしくは有線接続するキャリブレータを用いて前記観察方向検出手段のキャリブレーションを実行するキャリブレーション手段を更に備え、
   前記キャリブレーションの実行時に、前記領域算出手段により前記最大領域が算出されることを特徴とする請求項４記載の撮像装置。
6. 前記観察方向検出手段は、赤外線を照射する赤外線照射手段と、被写体で反射された前記赤外線の反射光を検出する赤外線検出手段とを備えることを特徴とする請求項４又は５に記載の撮像装置。
7. 前記赤外線照射手段によって前記赤外線が照射されているときに前記撮像手段によって撮像された第１のフレーム画像と、前記赤外線照射手段によって前記赤外線が照射されていないときに前記撮像手段によって撮像された第２のフレーム画像との差分画像を取得する取得手段と、
   前記取得手段によって取得した差分画像から前記使用者の体の一部が映り込んでいる領域を特定する第１の特定手段とを更に備え、
   前記決定手段は、前記第１の特定手段によって特定された領域を前記映像記録用枠から除外することを特徴とする請求項６記載の撮像装置。
8. 前記第１のフレーム画像の前記撮像手段が撮影しうる範囲のうち、少なくとも前記最大領域に対し、前記赤外線照射手段によって前記赤外線が投光されることを特徴とする請求項７記載の撮像装置。
9. 前記撮像手段によって撮影された各フレーム画像に前記使用者の身体の一部が映りこむ領域を、被写体認識により特定する第２の特定手段をさらに備え、
   前記決定手段は、前記第２の特定手段によって特定された領域を前記映像記録用枠から除外することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
10. 前記第２の特定手段は、前記各フレーム画像が入力されると、前記各フレーム画像に前記使用者の身体の一部が映りこむ領域の情報が出力される、ディープラーニングを用いた学習済モデルを利用することを特徴とする請求項９記載の撮像装置。
11. 前記学習済モデルの学習時に、前記使用者の肌色、前記使用者が着ている服の色、前記使用者の髪の色、顎の形状、顎の移動パターンの少なくともいずれかを１つを学習パラメータとして用いることを特徴とする請求項１０記載の撮像装置。
12. 撮像装置の制御方法であって、
    使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出ステップと、
    前記使用者の身体上に装着され、映像を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像された映像のうち、前記観察方向に対応する映像記録用枠内の映像を出力する映像出力ステップと、
    前記使用者の身体の一部が映りこまないように前記映像記録用枠を決定する決定ステップとを有することを特徴とする制御方法。
13. 使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出手段と、
    前記使用者の身体上に装着され、撮影レンズ及び撮像素子を用いて映像を撮像する撮像手段と、
    前記撮像手段より撮像された映像のうち、前記観察方向に対応する映像記録用枠の枠位置を決定する枠位置決定手段と、
    前記撮像手段より撮像された映像のうち、前記枠位置の映像を出力する映像出力手段とを備え、
    前記枠位置決定手段は、前記撮影レンズの前記撮像素子に対する有効投影部の内部に前記枠位置を決定することを特徴とする撮像装置。
14. 前記枠位置決定手段は、前記枠位置が前記有効投影部の外部に位置する場合、前記観察方向と前記有効投影部の中心を結んだ線に沿って、前記枠位置の中心を前記有効投影部の内部側に設定することを特徴とする請求項１３記載の撮像装置。
15. 前記枠位置決定手段は、前記枠位置が前記有効投影部の外部に位置する場合、前記枠位置として切り出す画角を狭めることによって、前記枠位置を前記有効投影部の内部に設定することを特徴とする請求項１３記載の撮像装置。
16. 前記観察方向の角度を縦方向と横方向に分離し、前記縦方向の前記観察方向の角度をｐｉｔｃｈ、前記横方向の前記観察方向の角度をｙａｗとした場合に、以下の式であらわされる方向に前記枠位置の中心を移動することを特徴とする請求項１５記載の撮像装置。
    

    
17. 撮像装置の制御方法であって、
    使用者の頭部以外の身体上に装着され、前記使用者の観察方向を検出する観察方向検出ステップと、
    前記使用者の身体上に装着され、撮影レンズ及び撮像素子を用いて映像を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像された映像のうち、前記観察方向に対応する映像記録用枠の枠位置を決定する枠位置決定ステップと、
    前記撮像ステップにおいて撮像された映像のうち、前記枠位置の映像を出力する映像出力ステップとを備え、
    前記枠位置決定ステップにおいて、前記撮影レンズの前記撮像素子に対する有効投影部の内部に前記枠位置を決定することを特徴とする制御方法。
18. コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の各ステップとして機能させる、コンピュータにより実行可能なプログラム。
19. コンピュータを、請求項１３乃至１６のいずれか１項に記載の撮像装置の各ステップとして機能させる、コンピュータにより実行可能なプログラム。

Images