JP2022122720A - 雲台制御装置およびカメラ - Google Patents

Abstract

【課題】撮影者の視線方向に基づいてカメラの撮影方向を制御すること。【解決手段】雲台制御装置は、撮影者の顔の正面方向を検出する顔方向検出部と、前記撮影者の視線方向を検出する視線検出部と、被写体を撮影する撮影部の撮影方向を移動する自動雲台の駆動部に対する駆動情報を、前記顔の正面方向と前記視線方向とに基づいて算出する算出部と、を備える。【選択図】図３

Description

本発明は、雲台制御装置およびカメラに関する。

眼球を撮影するカメラを備えたディスプレイ付きヘルメットが知られている（特許文献１参照）。従来の技術では、カメラで撮影された瞳孔の向きから視線方向を検出し、あたかも視線方向を撮影したかのような画像を画像処理装置で作り出す。そのため、視線方向を実際に撮影するような撮影方向の制御については検討されていない。

特開平５－２０８３９３号公報

本発明の第１の態様による雲台制御装置は、撮影者の顔の正面方向を検出する顔方向検出部と、前記撮影者の視線方向を検出する視線検出部と、被写体を撮影する撮影部の撮影方向を移動する自動雲台の駆動部に対する駆動情報を、前記顔の正面方向と前記視線方向とに基づいて算出する算出部と、を備える。
本発明の第２の態様によるカメラは、第１の態様による雲台制御装置を備える。

雲台制御装置で撮影用のカメラの撮影方向を制御する場面を例示する模式図である。 図１のカメラの撮影方向が制御される場面を説明する模式図である。 自動雲台を含む撮影システムの概要を例示する図である。 実施の形態による撮影用のカメラの構成を例示する図である。 実施の形態による視線検出用のカメラの構成を例示する図である。 撮影者の眼球および視線検出用のカメラを例示する模式図である。 撮影用のカメラの撮影距離を説明する模式図である。 プログラムの処理の流れを説明するフローチャートである。 プログラムの処理の流れを説明するフローチャートである。 コンタクトレンズが装着された眼球を説明する模式図である。 プログラムの提供を説明する図である。

以下、図面を参照して発明を実施するための形態について説明する。
図１は、実施の形態による雲台制御装置で撮影用のカメラ１の撮影方向を制御する場面を例示する模式図である。自動雲台が三脚等に取り付けられ、自動雲台に装着されたカメラ１で陸上競技の短距離走（例えば１００ｍ）のシーンを撮影する。出場選手は、短距離走で使用される短距離トラック１０のスタートライン１１からゴールライン１２へ向かって走る。カメラ１は、短距離トラック１０の脇に設置され、疾走する選手を横から撮影する。

カメラ１とは別の三脚等に固定された視線検出用のカメラ６は、撮影者５の瞳孔を撮影し、撮影画像に基づいて撮影者５の視線方向を検出する。撮影者５の頭部に装着される頭部センサ４０は、撮影者５の顔が向く方向を検出する。実施の形態では、撮影者５の顔の正面方向を、撮影者５の顔が向く方向とする。

実施の形態の視線検出用のカメラ６は、頭部センサ４０とともに雲台制御装置として機能する。雲台制御装置として機能するカメラ６は、カメラ１の撮影方向の制御（換言すると、カメラ１が装着されている自動雲台の台座を回転駆動する雲台制御）を、撮影者５の視線方向と、撮影者５の顔の正面方向とに基づいて行う。
なお、頭部センサ４０は、撮影者５の頭部の動きとともにセンサの向きが変わり、撮影者５の顔の正面方向を検出し得るセンサであればよく、その形状は図示した形状に限らず、ヘルメットタイプでも、眼鏡タイプでも、耳あてタイプでもよい。

図２は、図１のカメラ１の撮影方向が制御される場面を説明する模式図である。図２では、撮影者５およびカメラ６の図示を省略している。撮影者５は、選手がスタートすると、図２の右から左に向かって走る選手を眼で追いかける。撮影者５は、顔の向きを変えながら選手を眼で追いかけてもよい。撮影者５が、例えば選手Ｒ１を眼で追う場合、雲台制御装置として機能するカメラ６は、撮影画面のほぼ中央に選手Ｒ１を捉え続けるようにカメラ１の撮影方向を制御する。カメラ１に対して連写する設定、または、動画撮影を行う設定が行われている場合、撮影者５が追尾対象の選手Ｒ１を眼で追うだけで、選手Ｒ１を撮影するカメラ１の撮影方向が破線１ａで示す状態から、破線１ｂで示す状態へ自動で制御される。また、実施の形態のカメラ６は、撮影者５が眼で追う選手Ｒ１について、カメラ１から選手Ｒ１までの距離も検出する。
このような撮影システムの概要について、図３を参照して説明する。

図３は、上記自動雲台を含む撮影システムの概要を例示する図である。撮影システムは、撮影用のカメラ１と、カメラ１用の自動雲台５０と、雲台制御装置として機能する頭部センサ４０および視線検出用のカメラ６と、を有する。
撮影用のカメラ１は、少なくとも無線通信部２７０およびレンズ駆動部３３０を含む。
視線検出用のカメラ６は、少なくとも視線検出部２４１と、撮影距離算出部２４４と、雲台駆動量算出部２４３と、無線通信部２７０とを含む。
頭部センサ４０は、顔方向検出部４２と、姿勢／振れ検出部４３と、無線通信部４１とを含む。
自動雲台５０は、無線通信部５１と、制御部５２と、駆動部／検出部５３と、操作部材５４とを含む。

＜撮影用カメラ＞
図４を参照して、撮影用のカメラ１について詳しく説明する。図４は、実施の形態によるカメラ１の構成を例示する図である。カメラ１は、不図示の三脚に固定された自動雲台５０の台座に装着されている。カメラ１は、カメラボディに着脱可能な撮影レンズ（交換レンズ）を装着した構成でも、カメラボディと撮影レンズを一体にした構成でもよい。
カメラ１の撮影方向は、自動雲台５０によって制御される。図４の例では、撮影レンズ３６０の光軸Ｏに沿った左方向が、カメラ１の撮影方向である。

カメラ１は、制御部２３０、撮像部２６０、無線通信部２７０、操作部材２８０、撮影レンズ３６０、レンズ駆動部３７０、絞り駆動部３８０、およびレンズ制御部３３０を含む。制御部２３０は、撮像部２６０、無線通信部２７０、操作部材２８０、およびレンズ制御部３３０と接続されている。

撮像部２６０は、撮像素子２６１および信号処理部２６２を含む。撮影レンズ３６０を通過した被写体からの光は、撮像部２６０の撮像素子２６１に導かれる。撮像素子２６１は、例えばＣＭＯＳイメージセンサ等の固体撮像素子である。撮像素子２６１は、制御部２３０からの制御信号に基づき、撮影レンズ３６０によって撮像面２６１Ｓに形成される被写体像を撮像して信号を出力する。
撮像部２６０は、動画撮影と静止画撮影とが可能である。動画撮影には、動画を記録する他、連写撮影や、不図示の表示部で連続的にモニタ用の画像を表示させるためのライブビュー画像の撮影も含むものとする。

撮像素子２６１は、画像生成用の光電変換部と焦点検出用の光電変換部を有する。画像生成用の光電変換部で生成された電荷に基づく撮像用画素信号は、信号処理部２６２で画像データの生成に用いられる。信号処理部２６２は、撮像用画素信号に対して所定の画像処理を行って画像データを生成する。撮像用画素信号はさらに、制御部２３０で露出演算に用いられる。
焦点検出用の光電変換部で生成された電荷に基づく焦点検出用画素信号は、信号処理部２６２を介して制御部２３０へ送出される。

制御部２３０は、マイクロコンピュータおよびその周辺回路等から構成され、制御プログラム等を実行してカメラ１の各部を制御する。制御部２３０は、測光部２３１、露出制御部２３２、レンズ駆動指示部２３３、情報記憶部２３４、および記録制御部２３５を含む。

測光部２３１は、撮像用画素信号に基づいて測光を行う。例えば、撮像部２６０から出力された撮像用画素信号に基づいて被写体の明るさ情報（Ｂｖ値）を検出する。露出制御部２３２は、例えば、Ｂｖ値と情報記憶部２３４に格納されているプログラム線図の情報とに基づいて、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）、および感度（Ｓｖ値）を決定する。

レンズ駆動指示部２３３は、例えば、撮像部２６０から出力される焦点検出用画素信号を用いた位相差検出方式の焦点検出処理を行ってデフォーカス量（撮影レンズ３６０による結像位置と撮像素子２６１の撮像面２６１Ｓとのずれ量）を算出する。結像位置は、撮影レンズ３６０のフォーカシングレンズ３６１が現在の位置にある状態で結像する位置である。
レンズ駆動指示部２３３は、算出したデフォーカス量に基づいて、撮影レンズ３６０のフォーカシングレンズ３６１を現在の位置から合焦位置へ移動させるための駆動量Δｄを演算し、レンズ制御部３３０へ駆動指示を出力する。

また、レンズ駆動指示部２３３は、外部機器から撮影距離Ｌを示す撮影距離情報を取得して、撮影レンズ３６０のフォーカシングレンズ３６１の光軸Ｏ方向の位置を現在の位置から合焦位置へ移動させるための駆動量Δｄを演算し、レンズ制御部３３０へ駆動指示を出力することも可能に構成される。撮影距離Ｌは、カメラ１（より正確には撮像面２６１Ｓ）から主要被写体までの距離に対応する。
例えば、撮影レンズ３６０の光学特性の情報として、焦点距離および撮影距離Ｌに応じたフォーカシングレンズ３６１の光軸Ｏ方向の位置を、あらかじめ情報記憶部２４１に記憶しておく。レンズ駆動指示部２３３は、外部機器から撮影距離情報を取得した場合に、情報記憶部２４１を参照することによって、取得した撮影距離Ｌだけ離れた被写体に合焦させるフォーカシングレンズ３６１の光軸Ｏ方向の位置（合焦位置）を求めた上で、フォーカシングレンズ３６１を現在の位置から合焦位置へ移動させるための駆動量Δｄを演算し、レンズ制御部３３０へ駆動指示を出力する。

情報記憶部２３４は、制御部２３０によってデータや情報の記録および読み出しが制御されるメモリである。情報記憶部２４１には、例えば、撮影レンズ３６０の光学特性を示す情報、および露出制御用のプログラム線図の情報などが記録される。

記録制御部２３５は、メモリカード等の記録媒体５００に対するデータや情報の記録および読み出しを制御する。記録制御部２３５は、撮像部２６０から出力された画像データを所定のファイル形式に変換してメモリカード等の記録媒体５００に記録する。また、記録媒体５００に記録されている画像データを読み出して、無線通信部２７０を介して外部機器へ送出することもできる。
記録媒体５００は、カメラ１に設けられた不図示のスロットに対して着脱可能である。

レリーズボタンや操作スイッチ等を含む操作部材２８０は、カメラ１の外装面に設けられる。操作部材２８０は、ユーザの操作に応じた操作信号を制御部２３０へ送出する。ユーザは、操作部材２８０を操作することにより、カメラ１の動作モードの切替え操作、および撮影条件（露出設定など）の設定操作などを行う。

無線通信部２７０は、無線通信機能を備える外部機器との間でデータや情報の送受信を行う。無線通信部２７０は、制御部２３０によってデータや情報の送信および受信が制御される。
実施の形態では、外部機器としての視線検出用のカメラ６と通信を行い、カメラ１から主要被写体（例えば選手Ｒ１）までの撮影距離Ｌを示す情報をカメラ６から取得する。

撮影レンズ３６０は、フォーカシングレンズ３６１、絞り部材３６２、レンズ駆動部３７０、および絞り駆動部３８０を含む。レンズ制御部３３０は、レンズ駆動部３７０、絞り駆動部３８０、および制御部２３０と接続される。

レンズ制御部３３０は、マイクロコンピュータおよびその周辺回路等から構成される。レンズ制御部３３０は、内部に記憶されている制御プログラムを実行し、撮影レンズ３６０の各部を制御する。また、レンズ制御部３３０は、制御部２３０と周期的に通信を行う。

レンズ制御部３３０と制御部２３０との間で行われる通信により、撮影光学系３６０を駆動する指示などが制御部２３０からレンズ制御部３３０へ送信される。また、撮影レンズ３６０の駆動状態（例えばフォーカシングレンズ３６１の位置、絞り部材３６２の開口径）などの情報がレンズ制御部３３０から制御部２３０へ送信される。
また、撮影レンズ３６０の光学特性を示す情報も、レンズ制御部３３０から制御部２３０へ送信することができる。

撮影レンズ３６０は、フォーカシングレンズ３６１等のレンズと絞り部材３６２とを含み、撮像部２６０の撮像面２６１Ｓに被写体光を導く。
フォーカシングレンズ３６１は、レンズ駆動部３７０により、光軸Ｏ方向に移動が可能に構成されている。フォーカシングレンズ３６１が移動することにより、撮影光学系３６０により形成される被写体像の光軸Ｏ方向の位置が変更される。これにより合焦動作が行われる。フォーカシングレンズ３６１の光軸Ｏ方向の位置は、レンズ駆動部３７０によって検出可能に構成されている。

絞り部材３６２は、撮像部２６０に入射する光量を調節する。絞り部材３６２は、絞り駆動部３８０や手動操作により、絞り羽根が駆動され開口径（絞り値）を変化させることが可能に構成されている。絞り部材３６２の開口径は、絞り駆動部３８０によって検出可能に構成されている。

フォーカシングレンズ３６１の移動方向や移動量、移動速度などの駆動指示は、制御部２３０から指示される。なお、制御部２３０からの情報に基づいてレンズ制御部３３０から指示することとしてもよい。

＜頭部センサ＞
頭部センサ４０は、上述したように、撮影者５の頭部に装着される。また、頭部センサ４０は、無線通信部４１と、顔方向検出部４２と、姿勢／振れ検出部４３とを含む。
無線通信部４１は、不図示のマイクロコンピュータ、その周辺回路および通信回路等から構成される。無線通信部４１は、無線通信機能を備える外部機器との間でデータや情報の送受信を行う。実施の形態では、外部機器としての視線検出用のカメラ６と通信を行い、撮影者５の顔が向く方向を示す情報を、カメラ６へ送信する。
無線通信部４１のマイクロコンピュータは、内部に記憶されている制御プログラムを実行し、頭部センサ４０の各部を制御する。

顔方向検出部４２は、例えば３軸の地磁気センサにより地磁気を検出し、検出情報に基づいて方位角を算出する。姿勢／振れ検出部４３は、例えば３軸の加速度センサにより重力を検出し、検出情報に基づいて重力の傾き角を算出する。算出された重力の傾き角は、撮影者５の頭部の傾き、換言すると頭部に装着された頭部センサ４０の傾きに対応する。また、姿勢／振れ検出部４３は、頭部センサ４０の傾き情報の検出を所定時間間隔で繰り返し行い、撮影者５の頭部の振れ、換言すると頭部に装着された頭部センサ４０の振れ情報を検出する。

実施の形態では、顔方向検出部４２が、姿勢／振れ検出部４３で取得された撮影者５の頭部の傾き情報および振れ情報をもとに地磁気センサの姿勢を推定するとともに振れを補正し、推定した姿勢と地磁気センサの検出情報とに基づいて、撮影者５の顔が向く方向として方位角を検出する。検出された方向は、頭部の振れの影響が補正されている。

＜自動雲台＞
自動雲台５０は、上述したように、カメラ１用の三脚等に取り付けられる。また、自動雲台５０は、無線通信部５１と、制御部５２と、駆動部／検出部５３と、操作部材５４とを含む。
無線通信部５１は、通信回路等から構成されており、無線通信機能を備える外部機器との間でデータや情報の送受信を行う。実施の形態では、外部機器としての視線検出用のカメラ６と通信を行い、カメラ１が固定されている台座の現在の台座位置を示す情報をカメラ６へ送信するとともに、台座を回転駆動するための駆動情報をカメラ６から受信する。駆動情報は、自動雲台５０の現在の台座位置から目標の台座位置へ移動させるための駆動量ΔＱおよび駆動方向を含む。

制御部５２は、不図示のマイクロコンピュータ、およびその周辺回路等から構成される。制御部５２のマイクロコンピュータは、内部に記憶されている制御プログラムを実行し、自動雲台５０の各部を制御する。

駆動部／検出部５３は、例えばモータの回転によりカメラ１が固定されている台座を回転駆動する駆動機構と、台座位置として、基準位置から見た台座の回転角（回転量）を検出する検出機構とを含む。駆動部／検出部５３は、無線通信部５１で台座を回転駆動するための駆動情報が受信されると、指示された方向へ指示された駆動量ΔＱだけ台座を駆動する。

操作部材５４は、公知のねじおよびハンドルを含む。ねじには、台座にカメラ１を固定させるカメラねじ等が含まれる。また、ハンドルには、パンハンドルおよびティルトハンドル等が含まれる。
撮影者５は、撮影準備を行うとき、自動雲台５０の基準位置をあらかじめ所定の方角（例えば北）に合わせた上で、カメラ１を自動雲台５０の台座に固定する。そして、パンハンドルおよびティルトハンドルを操作することにより、自動雲台５０のパンおよびティルト等を調整する。図１および２に例示した場面では、疾走する選手が水平方向に移動するので、撮影時のカメラ１の撮影方向は、短距離トラック１０のスタートライン１１を向く状態からゴールライン１２を向く状態へと水平（左右）方向に動けばよい。そのため、駆動部／検出部５３がカメラ１の台座を回転駆動する場合においてカメラ１が水平方向にパンニングされるように、自動雲台５０が設置、調整される。

＜視線検出用カメラ＞
図５を参照して、視線検出用のカメラ６について詳しく説明する。図５は、実施の形態によるカメラ６の構成を例示する図である。カメラ６は、不図示の三脚に固定されており、その撮影方向は、短距離トラック１０の方向を注視する撮影者５の眼に向けられている。カメラ６用の三脚に自動雲台はなくてもよい。
図５において、カメラ１と同様の構成には図４と同じ符号を付して説明を省略する。カメラ６は、カメラ１の場合と同様に、カメラボディに着脱可能な撮影レンズ（交換レンズ）を装着した構成でも、カメラボディと撮影レンズを一体にした構成でもよい。上述したように、カメラ６の撮影方向は、撮影者５の眼に向けて固定される。図５の例では、撮影レンズ３６０の光軸Ｐに沿った左方向が、カメラ６の撮影方向である。

カメラ６は、制御部２４０、撮像部２６０、無線通信部２７０、操作部材２８０、撮影レンズ３６０、レンズ駆動部３７０、絞り駆動部３８０、およびレンズ制御部３３０を含む。制御部２４０は、撮像部２６０、無線通信部２７０、操作部材２８０およびレンズ制御部３３０と接続される。

制御部２４０は、マイクロコンピュータおよびその周辺回路等から構成され、制御プログラム等を実行してカメラ６の各部を制御する。制御部２４０は、例えばカメラ１の制御部２３０の構成に加えて、視線検出部２４１、眼球の焦点距離検出部２４２、雲台駆動量算出部２４３、撮影距離算出部２４４、記録制御部２４５、焦点検出部２４６、およびレンズ駆動量算出部２４７を含む。

視線検出部２４１は、撮像部２６０から出力された画像データに基づいて、撮影者５の視線方向を検出する。カメラ６の撮影方向は、撮影者５の眼の瞳孔を撮影する向きにあらかじめ調整されているものとする。
図６は、撮影者５の眼球およびカメラ６を例示する模式図である。実線で示す眼球ｅは、所定の方角（例えば北）を向く撮影者５が顔の正面に位置する不図示の無限遠点を見ているときの撮影者５の眼球に対応する。破線で示す眼球ｅ’は、撮影者５が任意の位置（実施の形態では、撮影対象物としての選手Ｒ１）を見るときの撮影者５の眼球に対応する。
眼球ｅをカメラ６で撮影したときの瞳孔中心を原点とすると、視線方向変位角θは、次式（１）で表される。
sinθ＝ｘ/ｄ …（１）
視線方向変位角θは、撮影者５の顔の正面方向からの変位角に相当する。符号ｄは、眼球ｅの角膜から網膜までの距離に対応する。符号ｘは、撮影者５が任意の位置を見ているときの瞳孔中心の変位（眼球ｅおよび眼球ｅ’間の瞳孔中心の変位）に対応する。

視線検出部２４１は、左右両眼についての水平方向および垂直方向の視線方向変位角θをそれぞれ検出することによって、左眼の視線方向変位角の水平成分θLxおよび垂直成分θLyと、右眼の視線方向変位角の水平成分θRxおよび垂直成分θRyとを求める。
実施の形態では、上記無限遠点の方向は、頭部センサ４０で検出される撮影者５の顔の正面方向に対応する。

図７は、撮影用のカメラ１の撮像面２６１Ｓから撮影対象物（選手Ｒ１）までの撮影距離Ｌを説明する模式図である。図７では、わかりやすくするために視線方向変位角の水平成分のみを例示する。
図７において、眼球Ｌｅは撮影者５の左眼の眼球に対応し、眼球Ｒｅは撮影者５の右眼の眼球に対応する。また、角度θLxは左眼の視線方向変位角の水平成分に対応し、角度θRxは右眼の視線方向変位角の水平成分に対応する。

眼球の焦点距離Ｄ１は、上記視線方向変位角および両眼間隔ａの関数として次式（２）で表される。
Ｄ１＝ｆ（θLx、θLy、θRx、θRy、ａ） ……（２）
ただし、左眼の視線方向変位角の水平成分をθLx、垂直成分をθLy、右眼の視線方向変位角の水平成分をθRx、垂直成分をθRyとする。両眼間隔ａは、ヒトの成人の場合約６．５cmである。

図７に例示した二次元の場合、次式（３）によって焦点距離Ｄ１を求められる。
Ｄ１×（tan θLx＋tan θRx）＝ａ ……（３）
眼球の焦点距離検出部２４２は、以上説明した手法で眼球の焦点距離Ｄ１を算出する。

図７において距離Ｄ２は、撮影者５の眼球Ｒｅ(またはＬｅ)の網膜からカメラ１の撮像面２６１Ｓまでの距離に対応する。距離Ｄ２は、撮影者５とカメラ１との位置関係に基づいて定まる（例えば０．５ｍ）。
撮影距離算出部２４４は、眼球の焦点距離Ｄ１に距離Ｄ２を加算した距離を撮影距離Ｌとする。

雲台駆動量算出部２４３は、撮影者５の顔が向く方向（撮影者５の顔の正面方向）と、眼球の視線方向変位角θ（撮影者５の顔の正面方向からの変位角）とに基づき、カメラ１の撮影画面のほぼ中央に撮影対象物（主要被写体）としての選手Ｒ１を捉え続けるように雲台駆動量を算出する。例えば、撮影者５の顔の正面方向を基準として、カメラ１の撮影方向を現在の方向から撮影者５の視線方向へ移動させる、換言すると、自動雲台５０の現在の台座位置から目標の台座位置へ移動させるための駆動情報を演算する。台座位置は、回転駆動される台座の基準位置からの回転角、または駆動源として用いられるモータに送る制御パルス数によって表してもよい。
制御部２４０は、雲台駆動量算出部２４３で算出された台座の駆動情報および駆動指示を、無線通信部２７０を介して自動雲台５０へ送信する。
また、制御部２４０は、撮影距離算出部２４４で算出された撮影距離Ｌおよびフォーカシング３６１の駆動指示を、無線通信部２７０を介してカメラ１へ送信する。

記録制御部２４５は、制御部２４０内の不図示のメモリに対するデータや情報の記録および読み出しを制御する。記録制御部２４５は、例えば、撮影者５が顔の正面に位置する不図示の無限遠点を見ているときの撮影者５の眼球の瞳孔を撮影した画像のデータを、メモリに保存することが可能である。
また、記録制御部２４５は、視線検出部２４１で検出された視線方向変位角のデータ、撮影距離算出部２４４で算出された撮影距離Ｌのデータ、および雲台駆動量算出部２４３で算出された台座の駆動量ΔＱのデータ等を、時刻情報とともにメモリに保存することも可能である。

焦点検出部２４６は、例えば、撮像部２６０から出力される焦点検出用画素信号を用いた位相差検出方式の焦点検出処理を行って、デフォーカス量（撮影レンズ３６０による結像位置と撮像素子２６１の撮像面２６１Ｓとのずれ量）を算出する。結像位置は、撮影レンズ３６０のフォーカシングレンズ３６１が現在の位置にある状態で結像する位置である。

レンズ駆動量算出部２４７は、焦点検出部２４６で算出されたデフォーカス量に基づいて、撮影レンズ３６０のフォーカシングレンズ３６１を現在の位置から合焦位置へ移動させるための駆動量Δｄを演算する。
制御部２４０は、レンズ駆動量算出部２４７で算出された駆動量Δｄおよびフォーカシング３６１の駆動指示を、レンズ制御部３３０へ出力出する。これにより、撮影者５の眼球に対して合焦動作が行われる。

＜フローチャートの説明＞
図８を参照して、頭部センサ４０および視線検出用のカメラ６でそれぞれ実行されるプログラムによる処理の流れを説明する。図８において左側のフローチャートは、頭部センサ４０で実行されるプログラムの処理の流れを例示するフローチャートである。また、図８において右側のフローチャートは、視線検出用のカメラ６で実行されるプログラムの処理の流れを例示するフローチャートである。

（頭部センサ）
頭部センサ４０の無線通信部４１は、例えば頭部センサ４０の不図示の電源スイッチがオン操作され、頭部センサ４０に給電が開始されると、図８に示す処理を開始する。
ステップＳ４００において、頭部センサ４０は、姿勢／振れ検出部４３で撮影者５の頭部の傾き情報および振れ情報を検出してステップＳ４１０へ進む。

ステップＳ４１０において、頭部センサ４０は、顔方向検出部４２で撮影者５の顔が向く方向（撮影者５の顔の正面方向）を検出してステップＳ４２０へ進む。
ステップＳ４２０において、頭部センサ４０は、顔方向検出部４２で検出された撮影者５の顔の正面方向を示す信号を生成してステップＳ４３０へ進む。

ステップＳ４３０において、頭部センサ４０の無線通信部４１は、外部機器としての視線検出用のカメラ６と通信を行い、撮影者５の顔の正面方向を示す信号を、カメラ６へ送信してステップＳ４４０へ進む。

ステップＳ４４０において、頭部センサ４０は、処理を終了するか否かを判定する。頭部センサ４０は、頭部センサ４０の電源スイッチがオフ操作された場合にステップＳ４４０を肯定判定して処理を終了する。頭部センサ４０は、頭部センサ４０の電源スイッチがオフ操作されない場合にはステップＳ４４０を否定判定し、ステップＳ４００へ戻って上述した処理を繰り返す。

（視線検出用のカメラ）
カメラ６の制御部２４０は、例えば不図示の電源スイッチがオン操作され、視線検出モードに切り替え操作されると、図８に示す処理を開始する。
ステップＳ６００において、制御部２４０は、無線通信部２７０を介して頭部センサ４０および自動雲台５０からの信号を受信してステップＳ６１０へ進む。

ステップＳ６１０において、制御部２４０の視線検出部２４１は、撮影者５の顔の正面方向を基準に左右両眼の視線方向変位角を検出する。視線検出部２４１は、右眼の視線方向変位角の水平成分θRxおよび垂直成分θRyと、左眼の視線方向変位角の水平成分θLxおよび垂直成分θLyとを検出するとステップＳ６２０へ進む。

ステップＳ６２０において、制御部２４０の視線検出部２４１は、撮影者５の視線方向（例えば、撮影者５が選手Ｒ１を眼で追うときの視線方向）を、撮影者５の顔の正面方向を基準に算出してステップＳ６３０へ進む。
ステップＳ６３０において、制御部２４０の雲台駆動量算出部２４３は、撮影者５の顔の正面方向を基準として、カメラ１の撮影方向を現在の方向から撮影者５の視線方向へ、換言すると、自動雲台５０の台座を現在の台座位置から目標の台座位置へ移動させるための駆動情報を算出し、ステップＳ６４０へ進む。

ステップＳ６４０において、制御部２４０の眼球の焦点距離検出部２４２は、撮影者５の眼球の焦点距離Ｄ１を算出してステップＳ６５０へ進む。
ステップＳ６５０において、制御部２４０は、眼球の焦点距離Ｄ１と、撮影者５とカメラ１との位置関係に基づく距離Ｄ２とを加算した撮影距離Ｌを撮影距離算出部２４４で算出してステップＳ６６０へ進む。

ステップＳ６６０において、制御部２４０は、雲台駆動量算出部２４３で算出された台座の駆動情報を、無線通信部２７０を介して自動雲台５０へ送信するとともに、撮影距離算出部２４４で算出された撮影距離Ｌを示す信号を、無線通信部２７０を介してカメラ１へ送信してステップＳ６７０へ進む。

ステップＳ６７０において、制御部２４０は、処理を終了するか否かを判定する。制御部２４０は、例えば視線検出モード以外の動作モードへ切り替え操作された場合にステップＳ６７０を肯定判定して処理を終了する。制御部２４０は、視線検出モード以外の動作モードへ切り替え操作されない場合にはステップＳ６７０を否定判定し、ステップＳ６００へ戻って上述した処理を繰り返す。

次に、図９を参照して自動雲台５０および撮影用のカメラ１でそれぞれ実行されるプログラムによる処理の流れを説明する。図９において左側のフローチャートは、自動雲台５０で実行されるプログラムの処理の流れを例示するフローチャートである。また、図９において右側のフローチャートは、撮影用のカメラ１で実行されるプログラムの処理の流れを例示するフローチャートである。

（自動雲台）
自動雲台５０の制御部５２は、例えば不図示の電源スイッチがオン操作され、視線検出モードに切り替え操作されると、図９に示す処理を開始する。
ステップＳ５００において、自動雲台５０の制御部５２は、駆動部／検出部５３で現在の台座位置を検出してステップＳ５１０へ進む。

ステップＳ５１０において、自動雲台５０の無線通信部５１は、外部機器としての視線検出用のカメラ６と通信を行い、検出した台座位置を示す信号をカメラ６へ送信してステップＳ５２０へ進む。

ステップＳ５２０において、自動雲台５０の無線通信部５１は、外部機器としての視線検出用のカメラ６と通信を行い、カメラ６からの信号、実施の形態ではカメラ１の撮影方向を現在の方向から撮影者５の視線方向へ向けるための駆動情報を示す信号を受信してステップＳ５３０へ進む。

ステップＳ５３０において、自動雲台５０の駆動部／検出部５３は、駆動情報に基づいて指示された方向へ指示された駆動量ΔＱだけ台座を駆動してステップＳ５４０へ進む。
ステップＳ５４０において、自動雲台５０の制御部５２は、処理を終了するか否かを判定する。制御部５２は、視線検出モード以外の動作モードへ切り替え操作された場合にステップＳ５４０を肯定判定して処理を終了する。制御部５２は、視線検出モード以外の動作モードへ切り替え操作されない場合にはステップＳ５４０を否定判定し、ステップＳ５００へ戻って上述した処理を繰り返す。

（撮影用のカメラ）
カメラ１の制御部２３０は、例えば不図示の電源スイッチがオン操作され、視線検出に基づく撮影モードに切り替え操作されると、図９に示す処理を開始する。実施の形態では、撮影指示があれば直ちに撮影を行うために、露出演算およびフォーカシングレンズ３６１の駆動等を繰り返し行う例を説明する。
ステップＳ１００において、制御部２３０は、無線通信部２７０を介して外部機器としての視線検出用のカメラ６と通信を行い、視線検出用のカメラ６からの信号を受信してステップＳ１１０へ進む。実施の形態では、カメラ１から選手Ｒ１までの撮影距離Ｌを示す信号を受信する。

ステップＳ１１０において、制御部２３０は露出制御を行う。上述したように、測光部２３１で撮像用画素信号に基づく測光を行い、露出制御部２３２で測光結果およびプログラム線図の情報に基づいて絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）、および感度（Ｓｖ値）を決定してステップＳ１２０へ進む。

ステップＳ１２０において、制御部２３０は、ステップＳ１００で取得した撮影距離Ｌに基づいてフォーカシングレンズ３６１を駆動し、ステップＳ１３０へ進む。上述したように、レンズ駆動指示部２３３が、撮影距離Ｌだけ離れた被写体に合焦させるためのフォーカシングレンズ３６１の駆動量Δｄを演算し、レンズ制御部３３０へ駆動指示を出力する。

ステップＳ１３０において、制御部２３０は、撮影指示に基づいて撮影を開始させ、ステップＳ１４０へ進む。撮影指示は、例えば、連写撮影時の次コマの撮像準備が完了した時、撮影距離Ｌがあらかじめ設定された条件（距離範囲）を満たした時、動画撮影時の次フレームの開始時などに、制御部２３０が発する。

ステップＳ１４０において、制御部２３０は、処理を終了するか否かを判定する。制御部２３０は、視線検出に基づく撮影モード以外の撮影モードへ切り替え操作された場合にステップＳ１４０を肯定判定して処理を終了する。制御部２３０は、視線検出に基づく撮影モード以外の動作モードへ切り替え操作されない場合にはステップＳ１４０を否定判定し、ステップＳ１００へ戻って上述した処理を繰り返す。

以上説明した実施の形態によれば、以下の作用効果が得られる。
（１）雲台制御装置としての頭部センサ４０および視線検出用のカメラ６は、撮影者５の顔の正面方向を検出する顔方向検出部４２と、撮影者５の視線方向を検出する視線検出部２４１と、被写体を撮影する撮影用のカメラ１の撮影方向を移動する自動雲台５０の駆動部／検出部５３に対する駆動情報を、撮影者５の顔の正面方向と撮影者５の視線方向とに基づいて算出する雲台駆動量算出部２４３とを備える。
このように構成したので、例えば、短距離走で疾走する選手Ｒ１を眼で追う撮影者５の視線方向に、カメラ１の撮影方向を適切に制御できる。
また、撮影者５の頭部に視線検出用のカメラ６を設けていないので、頭部付近にカメラ６を設ける場合と比べて、撮影者５が感じる煩わしさを抑えることができる。
さらに、撮影者５の顔の正面が向く方向を検出する頭部センサ４０（顔方向検出部４２）を備えたので、撮影者５の頭部に視線検出用のカメラ６を設けていなくても、撮影者５の顔の向きを基準として、撮影者５の視線方向を検出できる。

（２）雲台駆動量算出部２４３は、カメラ１の撮影方向を撮影者５の視線方向へ移動するための、自動雲台５０の駆動部／検出部５３に対する駆動情報を算出する。このように構成したので、カメラ１の撮影方向が撮影者５の視線方向へ適切に移動するように、自動雲台５０を駆動させることができる。

（３）視線検出部２４１は、顔方向検出部４２で検出された撮影者５の顔の正面方向を基準として、疾走する選手Ｒ１を眼で追う撮影者５の視線変位角θを検出し、視線変位角θに基づいて撮影者５の視線方向を算出する。このように構成したので、撮影者５の頭部に視線検出用のカメラ６を設けることなしに、撮影者５の顔の向きを基準として、撮影者５の視線方向を適切に検出できる。

（４）雲台駆動量算出部２４３は、顔方向検出部４２で検出された顔の正面方向を基準として、自動雲台５０の駆動部／検出部５３に対する駆動情報を算出する。このように構成したので、撮影者５の顔の向きを基準として、適切に自動雲台５０を駆動させることができる。

（５）顔方向検出部４２は、撮影者５の頭部の姿勢を検出し、検出した姿勢情報に基づいて撮影者５の顔の正面方向を検出する。このように構成したので、頭部の姿勢を考慮しない場合と比べて、撮影者５の顔の正面方向を適切に検出することができる。

（６）顔方向検出部４２は、撮影者５の頭部の振れを検出し、検出した振れ情報に基づいて顔の正面方向を補正する。このように構成したので、頭部の振れを考慮しない場合と比べて、撮影者５の顔の正面方向を適切に検出することができる。

（７）カメラ６は、雲台駆動量算出部２４３で算出された駆動情報を自動雲台５０へ送信する無線通信部２７０を備える。このように構成したので、駆動部／検出部５３に対する駆動情報を自動雲台５０へ適切に伝えることができる。

（８）カメラ６は、カメラ１から撮影者５の視線方向に位置する選手Ｒ１までの撮影距離Ｌを算出する撮影処理算出部２４４を備える。このように構成したので、撮影者５の視線方向に位置する選手Ｒ１までの撮影距離Ｌを適切に検出することができる。

（９）無線通信部２７０は、撮影距離算出部２４４で算出された撮影距離Ｌを示す情報をカメラ１へ送信する。このように構成したので、撮影距離Ｌをカメラ１へ適切に伝えることができる。

（１０）視線検出部２４１は、撮影者５の眼に装着されているコンタクトレンズ１０１の所定位置に付されたマーク１０２の位置に基づいて、視線変位角θを検出する。このように構成したので、瞳孔ｇの中心位置Ｓを適切に求めることができる。そのため、瞳孔ｇに対する瞳孔ｇの周囲の白目部分の面積比率から瞳孔ｇの中心位置を推定する場合と比べて、上式（１）の変位ｘの算出精度を高めることができる。

（変形例１）
上述した実施の形態では、視線検出用のカメラ６を雲台制御装置として機能させる例を説明したが、雲台制御装置としての機能を自動雲台５０に移してもよい。例えば、実施の形態において視線検出用のカメラ６が雲台駆動量算出部２４３で行っていた、自動雲台５０の現在の台座位置から目標の台座位置へ移動させるための駆動情報の算出を、自動雲台５０で行う。

実施の形態の変形例１において、視線検出用のカメラ６から自動雲台５０へ、視線検出部２４１で検出した眼球の視線方向変位角θ（撮影者５の顔の正面方向からの変位角）と、撮影距離算出部２４４で算出した撮影距離Ｌとを示す信号を送信する。
また、実施の形態の変形例１において、頭部センサ４０の無線通信部４１から送信される、撮影者５の顔が向く方向を示す情報を、自動雲台５０の無線通信部５１でも受信する。

実施の形態の変形例１において、自動雲台５０の制御部５２は、撮影者５の顔が向く方向（撮影者５の顔の正面方向）と、眼球の視線方向変位角θ（撮影者５の顔の正面方向からの変位角）とに基づき、カメラ１の撮影画面のほぼ中央に撮影対象物（主要被写体）としての選手Ｒ１を捉え続けるように、台座を回転駆動するための駆動情報を算出する。
駆動部／検出部５３は、無線通信部５１で台座を回転駆動するための駆動情報が受信されると、指示された方向へ指示された駆動量ΔＱだけ台座を駆動する。
以上説明したように、自動雲台５０の制御部５２を雲台制御装置として機能させる実施の形態の変形例１も、実施の形態と同様の作用効果を得ることができる。

（変形例２）
上述した実施の形態では、撮影用のカメラ１と視線検出用のカメラ６とが異なる例を説明した。具体的には、カメラ１は制御部２３０を備え、カメラ６は制御部２４０を備えていた。実施の形態の変形例２では、同じカメラを用いて、動作モードを切り替えて使用することにしてもよい。

実施の形態の変形例２において、例えば電源スイッチがオン操作され、視線検出に基づく撮影モードに切り替え操作されたカメラを、撮影用のカメラ１として動作させる。また、電源スイッチがオン操作され、視線検出モードに切り替え操作されたカメラを、視線検出用のカメラ６として動作させる。
以上説明したように、同じカメラを複数台用意し、１台のカメラを撮影用のカメラ１として動作させ、他のカメラを視線検出用のカメラ６として動作させる実施の形態の変形例２も、実施の形態と同様の作用効果を得ることができる。
なお、カメラ１およびカメラ６の少なくとも一方は、スマートフォンで構成してもよい。

（変形例３）
実施の形態において、撮影者５の眼球ｅの瞳孔の中心位置は、画像データに基づいて推定される。例えば、瞳孔に対する瞳孔の周囲の白目部分の面積比率から、瞳孔中心の位置が推定される。上式（１）の瞳孔中心の変位ｘは、推定した瞳孔の中心位置に基づいて算出される。
実施の形態の変形例３では、変位ｘの精度を向上させるために、マーキングされたコンタクトレンズを撮影者５の眼に装着する。

図１０は、コンタクトレンズ１０１が装着された撮影者５の眼球ｅを説明する模式図である。左右両眼のうちの一方の眼球ｅを例示するが、コンタクトレンズ１０１は左右両眼に装着される。

瞳孔ｇは、光彩ｆに囲まれた孔である。符号Ｓは、瞳孔ｇの中心の位置を示す。マーク１０２は、コンタクトレンズ１０１において瞳孔ｇに対応する位置よりも径方向外側の計４か所に、略等間隔で付されている。４つのマーク１０２のうち瞳孔ｇを挟んで対向する２つのマーク１０２をそれぞれ結ぶ２本の線は、瞳孔ｇの中心の位置Ｓにおいて交差するように構成されている。

視線検出用のカメラ６の視線検出部２４１は、撮像部２６０から出力された画像データに基づいて、コンタクトレンズ１０１に付された４つのマーク１０２のうち瞳孔ｇを挟んで対向する２つのマーク１０２をそれぞれ結ぶ２本の線の交点を、瞳孔ｇの中心の位置Ｓとして、上式（１）の瞳孔中心の変位ｘを算出する。

以上説明したように、実施の形態の変形例３では、コンタクトレンズ１０１にマーキングを施したことにより、瞳孔ｇの中心位置Ｓを適切に求めることができる。そのため、瞳孔ｇに対する瞳孔ｇの周囲の白目部分の面積比率から瞳孔ｇの中心位置を推定する場合と比べて、上式（１）の変位ｘの算出精度を高めることができる。

＜プログラム＞
図８～図９に例示した処理を実行させるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを、例えばパーソナルコンピュータ８００を介してカメラ１、カメラ６へ供給してもよい。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。コンピュータシステムとは、例示したパーソナルコンピュータ８００のように、ＯＳ（Operating System）や周辺機器のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

図１１は、カメラ１、カメラ６に対するプログラムの供給を説明する図である。カメラ１、カメラ６は、例えばＣＤ－ＲＯＭ９５３に記録されたプログラムの提供を、近距離無線通信等で接続可能なパーソナルコンピュータ８００を介して受けることができる。また、カメラ１、カメラ６は、パーソナルコンピュータ８００を介さず通信回線９００を経由してプログラムの提供を受けることもできる。
コンピュータ９５２は、上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体９５４にプログラムを格納している。通信回線９００は、インターネット、パソコン通信等の通信回線、あるいは専用通信回線、無線通信回線等である。コンピュータ９５２は、記録媒体９５４からプログラムを読み出し、通信回線９００を介してプログラムをパーソナルコンピュータ８００に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線９００を介して送信する。カメラ１、カメラ６は、パーソナルコンピュータ８００から近距離無線通信等を介してプログラムを受信する。あるいは、通信回線９００としての携帯電話回線経由でプログラムを受信する。
このように、プログラムは、記録媒体や搬送波等の種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。実施の形態および変形例で示された各構成を組み合わせて用いる態様も本発明の範囲内に含まれる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…撮影用のカメラ、５…撮影者、６…視線検出用のカメラ、４０…頭部センサ、４１、５１、２７０…無線通信部、４２…顔方向検出部、４３…姿勢／振れ検出部、５０…自動雲台、５２…制御部、５３…駆動部／検出部、５４…操作部材、２４０…制御部、２４１…視線検出部、２４２…眼球の焦点距離検出部、２４３…雲台駆動量算出部、２４４…撮影距離算出部

Claims (11)

1. 撮影者の顔の正面方向を検出する顔方向検出部と、
   前記撮影者の視線方向を検出する視線検出部と、
   被写体を撮影する撮影部の撮影方向を移動する自動雲台の駆動部に対する駆動情報を、前記顔の正面方向と前記視線方向とに基づいて算出する算出部と、
   を備える雲台制御装置。
2. 請求項１に記載の雲台制御装置において、
   前記算出部は、前記撮影部の撮影方向を前記視線方向へ移動するための前記駆動情報を算出する、雲台制御装置。
3. 請求項１または２に記載の雲台制御装置において、
   前記視線検出部は、前記顔方向検出部で検出された前記顔の正面方向を基準として、移動する主要被写体を眼で追う前記撮影者の視線変位角を検出し、前記視線変位角に基づいて前記視線方向を算出する、雲台制御装置。
4. 請求項１から３のいずれか一項に記載の雲台制御装置において、
   前記算出部は、前記顔方向検出部で検出された前記顔の正面方向を基準として、前記駆動情報を算出する、雲台制御装置。
5. 請求項１から４のいずれか一項に記載の雲台制御装置において、
   前記顔方向検出部は、前記撮影者の頭部の姿勢を検出し、検出した姿勢情報に基づいて前記撮影者の顔の正面方向を検出する、雲台制御装置。
6. 請求項１から５のいずれか一項に記載の雲台制御装置において、
   前記顔方向検出部は、前記撮影者の頭部の振れを検出し、検出した振れ情報に基づいて前記顔の正面方向を補正する、雲台制御装置。
7. 請求項１から６のいずれか一項に記載の雲台制御装置において、
   前記算出部で算出された前記駆動情報を前記自動雲台へ送信する送信部を備える、雲台制御装置。
8. 請求項７に記載の雲台制御装置において、
   前記撮影部から前記視線方向に位置する被写体までの距離を算出する撮影距離算出部を備える、雲台制御装置。
9. 請求項８に記載の雲台制御装置において、
   前記送信部は、前記撮影距離算出部で算出された前記距離を示す情報を前記撮影部へ送信する、雲台制御装置。
10. 請求項３を引用する、請求項４から９のいずれか一項に記載の雲台制御装置において、
    前記視線検出部は、前記撮影者の眼に装着されているコンタクトレンズの所定位置に付されたマークの位置に基づいて、前記視線変位角を検出する、雲台制御装置。
11. 請求項１から１０のいずれか一項に記載の雲台制御装置を備えるカメラ。

Images