JP2022170551A - 記録装置、撮像装置、制御方法、記録システム - Google Patents

Abstract

【課題】撮影者の撮影時の意図を撮影した静止画及び動画に反映する視線検出可能な装置を提供する。【解決手段】撮像装置において、ＣＰＵ３は、ユーザの撮影操作によって注視点を確定する確定操作がなされた場合には、表示素子１０に表示されている静止画または動画に視線検出情報と注視点確定情報を対応づけて記憶するよう制御する。【選択図】図１

Description

本発明は視線検出可能な装置に関する。

近年カメラの自動化・インテリジェント化が進み、撮影者（ユーザ）の視線位置の情報を取得し用いる技術が提案されている。

特許文献１には、撮影中の撮影者の視線位置情報を画像に付加し、撮影後に撮影位置の軌跡を撮影画像に重畳させて表示する技術が開示されている。

特開２０１８－２０７４１５号公報

画像に付加する情報に関し、更なる改善が求められている。

そこで、本発明は撮影者の意図の反映を可能にする記録装置、撮像装置、制御方法及び記録システムを提供することを目的とする。

そこで、本発明は、ユーザの眼球画像を取得する眼球用撮像素子と、該眼球用撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、ユーザの操作によって注視点を確定する確定操作を行う操作部材と、ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有するよう構成したことを特徴とする。

本発明によれば、撮影者の意図の反映することができる。

本発明の第１実施形態が適用される撮像装置の構成概略図 本発明の第１実施形態における撮像装置の外観概略図 本発明の第１実施形態が適用される撮像装置のブロック図 本発明の第１実施形態におけるファインダ内視野を示す説明図 本発明の第１実施形態における視線検出方法の原理説明図 眼球用撮像素子１７に投影される眼球像の概略図 視線検出の概略フロールーチン 本発明の第１実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第２実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第３実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第５実施形態における注視点確定情報と視線検出情報記録の概略ルーチン 本発明の第６実施形態における注視点確定情報と視線検出情報記録の概略ルーチン

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜実施例１＞
＜構成の説明＞
図１～図３は、本実施例のカメラの構成図を示した図である。

図２は本発明におけるデジタルスチルカメラ１の外観を示している。図２（ａ）は正面斜視図、図２（ｂ）は背面斜視図である。デジタルスチルカメラ１は本実施例においては、図２（ａ）の正面斜視図に示すように、撮影レンズ１Ａ及びカメラ本体の筐体部１Ｂで構成されている。また、撮影者（ユーザ）からの撮像操作を受ける操作部材であるレリーズボタン５が配置されている。

また、図２（ｂ）の背面斜視図で示すように、デジタルスチルカメラ１の背面には、カメラ内部に含まれる後述する表示素子を、撮影者が覗きこむための接眼レンズ１２が配置されている。また、４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）といった、カメラ操作に使用する各種操作部材が配置されているとする。

図１は図２（ａ）で図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図であり、本発明におけるデジタルスチルカメラ１の構成の概略を示した説明図である。図１及び図２において、対応する部位は同じ番号で表記されている。

図１において、１Ａはレンズ交換式カメラにおける撮影レンズを示す。本実施形態では便宜上撮影レンズ１Ａの内部を１０１、１０２の二枚のレンズで表したが、実際はさらに多数のレンズで構成されていることは周知の通りである。１Ｂはカメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。２は撮像素子で、デジタルスチルカメラ１の撮影レンズ１Ａの予定結像面に配置されている。デジタルスチルカメラ１には、カメラ全体を制御するＣＰＵ３、撮像素子２にて撮像された画像を記録するメモリ部４が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子１０と、それを駆動する表示素子駆動回路１１、表示素子１０に表示された被写体像を観察するための接眼レンズ１２が配置されている。上記撮像素子２及び表示素子１０は請求項１における撮像素子及び表示素子に相当する。

１３ａ～１３ｂは従来より一眼レフカメラ等に用いられている光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者の眼球１４を照明するための光源で、赤外発光ダイオードからなり、接眼レンズ１２の周りに配置されている。照明された眼球像と光源１３ａ～１３ｂの角膜反射による像は接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によってＣＣＤ等の光電素子列を２次元的に配した眼球用撮像素子１７上に結像される。受光レンズ１６は撮影者の眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。眼球用撮像素子１７上に結像された眼球と光源１３ａ～１３ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。上記眼球用撮像素子は、請求項１における眼球用撮像素子に相当する。

１１１は撮影レンズ１内に設けた絞り、１１２は絞り駆動装置、１１３はレンズ駆動用モーター、１１４は駆動ギヤ等からなるレンズ駆動部材である。１１５はフォトカプラでレンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、レンズ焦点調節回路１１８に伝えている。焦点調節回路１１８は、この情報とカメラ側からのレンズ駆動量の情報に基づいてレンズ駆動用モーター１１３を所定量駆動させ、撮影レンズ１Ａを合焦点位置に移動させるようになっている。１１７は公知のカメラとレンズとのインターフェイスとなるマウント接点である。６はカメラ内に内蔵された加速度センサでカメラのパンニングを検出する。１１９はレンズ内に内蔵された加速度センサでレンズのパンニングを検出する。後述するパンニング判定にはカメラに内蔵された加速度センサ６、レンズに内蔵された加速度センサ１１９のいずれか、あるいは両方を用いる。

図３は前期構成のデジタルカメラ１に内蔵された電気的構成を示すブロック図であり、図１と同一のものは同一番号をつけている。カメラ本体に内蔵されたマイクロコンピュータの中央処理装置３を以下、ＣＰＵ３と称する。ＣＰＵ３には視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示素子駆動回路１１、照明光源駆動回路２０５、加速度センサ６が接続されている。また、撮影レンズ内に配置された焦点調節回路１１８、前述の絞り駆動装置１１２に含まれる絞り制御回路２０６、加速度センサ１１９とは図１で示したマウント接点１１７を介して信号の伝達がなされる。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼球用撮像素子１７からの撮像信号の記憶機能を有している。メモリ部４は記録媒体５へ接続され、メモリ部４へ記憶した撮像素子２の撮像信号をＣＰＵ３が撮影画像へ変換し、記録媒体５へ撮影画像が転送される。

視線検出回路２０１は、眼球用撮像素子１７（ＣＣＤ－ＥＹＥ）からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。

測光回路２０２は、測光センサの役割も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２におけるＣＣＤの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施例では、一例として、図４のファインダ内視野像で示した箇所に対応する撮像面上の位置に１８０か所の焦点検出ポイントがあるとする。

信号入力回路２０４には不図示のレリーズボタン５の第一ストロークでＯＮし、カメラの測光、測距、視線検出動作、撮影者の視線位置を決定する動作等を開始するためのスイッチであるＳＷ１が接続される。また、信号入力回路２０４にはレリーズボタンの第二ストロークでＯＮし、レリーズ動作を開始するためのスイッチであるＳＷ２が接続される。前記の信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。

また、前述した４１～４３で示す操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）は、ＣＰＵ３にその操作信号が伝わる構成となっている。

図４はファインダ視野内を示した図で、表示素子１０が動作した状態を示す。

図４において、３００は視野マスク、４００は焦点検出領域、４００１～４１８０は表示素子１０に示されるスルー画像に、前記撮像面上における複数の焦点検出ポイントに対応する位置に重ねて表示した１８０個の測距点視標を示す。また、それらの指標の内、現在の推定注視点位置に対応する指標を図における推定注視点Ａのように枠を出現させた表示を行う。上記推定注視点位置に枠を表示させる事は請求項１における、前記注視点位置推定手段により推定された注視点位置を示す指標を、前記表示素子上に表示する事に相当する。また、ＣＰＵ３が表示素子１０に対して信号を送り、上記推定注視点位置に枠を表示させる構成は、請求項１における注視点位置表示手段に相当する。

図５は視線検出方法の原理説明図であり、前述の図１の視線検出をおこなうための光学系の要約図に相当する。

図５において、１３ａ、１３ｂは観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ１６の光軸に対して略対称に配置され観察者の眼球１４を照らしている。眼球１４で反射した照明光の一部は受光レンズ１６によって、眼球用撮像素子１７に集光する。

以下、図７、８を用いて、視線の検出手段を説明する。

＜視線検出動作の説明＞
図７は視線検出の概略フロールーチンを表している。図７において、視線検出ルーチンが開始すると、Ｓ００１において、光源１３ａ、１３ｂは観察者の眼球１４に向けて赤外光を放射する。上記赤外光によって照明された観察者の眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換がなされ、眼球像は電気信号として処理が可能となる。

ステップＳ００２において上記のように眼球用撮像素子１７から得られた眼球画像信号をＣＰＵ３に送る。

ステップＳ００３では、Ｓ００２において得られた眼球画像信号の情報から、図５に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。光源１３ａ、１３ｂより放射された赤外光は観察者の眼球１４の角膜１４２を照明する。このとき角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光される。そして、眼球用撮像素子１７上に結像する（図示の点Ｐｄ’， Ｐｅ’）。同様に瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１７上に結像する。図６では、図６（ａ）において眼球用撮像素子１７から得られる反射像の画像例を、図６（ｂ）に上記画像例の領域αにおける、眼球用撮像素子１７から得られる輝度情報例を示す。図示のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部ａ、ｂからの光束が結像した像ａ’，ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。（ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’，ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができた。

さらに、ステップＳ００４では、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

また、ステップＳ００５では、角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致するため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θ_Ｘは、
β＊Ｏｃ＊ＳＩＮθ_Ｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ
の関係式から求めることができる。また、図５、図６においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θ_Ｘを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

前ステップにおいて観察者の眼球１４の光軸の回転角θｘ、θｙが算出されると、ステップＳ００６では、θｘ、θｙを用いて、表示素子１０上で観察者の視線の位置（注視している点の位置。以下、注視点と称する。）を求める。注視点位置を表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）
と算出することができる。この時、係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部４に記憶されているとする。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは観察者の視線の個人差を補正する視線補正係数であり、キャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部４に記憶されているものとする。

上記のように表示素子１０上での瞳孔１４１の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、ステップＳ００７においてメモリ部４に上記座標（以下、注視点位置座標）と眼球画像信号を取得した時刻（以下、視線検出時刻）を記憶して、視線検出ルーチンを終える。

上記は光源１３ａ、１３ｂの角膜反射像を利用した表示素子上での注視点座標取得手法を示したが、それに限られるものではなく、撮像された眼球画像から眼球回転角度を取得する手法であれば本発明は適用可能である。

上記視線検出ルーチンが、請求項１における注視点位置推定手段に相当する。

＜注視点位置確定動作の説明＞
前記レリーズボタン５は二段式の押し込み操作が可能で、第一ストロークの半押し操作（以下、ＳＷ１）でＡＦ動作を指示し、第二ストロークの全押し操作でレリーズ（以下、ＳＷ２）することが可能である。前記レリーズボタン５はＳＷ１操作でＡＦ動作を行う前に、撮影者の意思によって注視点位置を決定する（以下、視線確定）機能が含まれ、決定された注視点位置でＡＦ動作をさせることができる。視線確定によって確定された注視点位置情報は、注視点位置座標でも良いし、決定された注視点位置を検出した時刻でも良く、視線検出ルーチンで注視点座標が検出されたタイミングと、撮影者の意思で決定された注視点座標のタイミングが判別できれば良い。視線確定によって決定された注視点位置座標または確定タイミングはメモリ部４に記憶される。

また、前記４１～４３の操作部材α～γにＳＷ１操作同様の視線確定機能を割り付けてもよい。視線確定機能は請求項１における注視点位置確定手段に相当する。

＜静止画または動画への関連付け動作の説明＞
次に、請求項１における視線検出情報記録手段と確定注視点情報記録手段について図８を用いて説明する。

視線検出が開始されると、ステップＳ１０１で視線検出が実行される。ステップＳ１０１の視線検出は前記ステップＳ００１～Ｓ００７に相当する。Ｓ１０１で注視点位置が算出されると、ステップＳ１０２においてメモリ部４に前記注視点位置座標と前記視線検出時刻を記憶しステップＳ１０３へと進む。Ｓ１０２は前記Ｓ００８と視線検出情報記録手段に相当する。

Ｓ１０３でＳＷ１操作や前記４１～４３の操作部材α～γの撮影者の操作により注視点位置が決定された場合には、ステップＳ１０４において撮影者の操作により決定された注視点座標または視線検出時刻をメモリ部４に記憶する。Ｓ１０４は確定注視点情報記録手段に相当する。Ｓ１０３で注視点位置が確定されなかった場合にはステップＳ１０５へと進む。

Ｓ１０５では現在のモードが静止画撮影モードであるか、動画撮影モードであるかを判定する。静止画撮影モード及び動画撮影モードの切り替えは、カメラ操作に使用する各種操作部材によって、切り替えることができる。ここでいう各種操作部材は、例えば図２（ｂ）４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）等である。

静止画撮影モードである場合はＳ１０６へと進み、Ｓ１０６ではＳＷ２操作でレリーズされたか否かを判定する。レリーズされなかった場合はＳ１０１へと戻り、視線検出を繰り返す。Ｓ１０５に至る前に複数回Ｓ１０３での注視点位置確定操作が行われた場合は、Ｓ１０４にてメモリ部４の最新の注視点確定時の注視点座標または視線検出時刻を更新する。

Ｓ１０６でレリーズボタンが押下された場合はステップＳ１０７へと進む。Ｓ１０７でＳ１０２の注視点位置座標及び視線検出時刻と、Ｓ１０４の注視点確定時の注視点座標または視線検出時刻を撮影された静止画データとともにＣＰＵ３が記録媒体５へ記録する。

Ｓ１０５で動画撮影モードと判定された場合はＳ１０８へと進み、Ｓ１０８では動画撮影が終了した否かを判定する。終了していない場合はＳ１０１へと戻り、視線検出を繰り返す。静止画モード同様、Ｓ１０５に至る前に複数回Ｓ１０３での注視点位置確定操作が行われた場合は、Ｓ１０４にてメモリ部４の最新の注視点確定時の注視点座標または視線検出時刻を更新する。

Ｓ１０８で動画撮影が終了していない場合はステップＳ１０９へと進む。Ｓ１０９でＳ１０２の注視点位置座標及び視線検出時刻と、Ｓ１０４の注視点確定時の注視点座標または視線検出時刻を撮影された動画データとともにＣＰＵ３が記録媒体５へ記録する。

Ｓ１０１とＳ１０２は視線検出が終了するまで繰り返されるため、注視点位置座標及び視線検出時刻はメモリ部４へ過去複数回の視線検出情報が溜め込まれている。このため、Ｓ１０６でレリーズボタンが押されたときや、Ｓ１０８で動画撮影が終了した際には、過去複数回の視線検出結果が静止画の撮影データと関連付けられて記録されることになる。

＜実施例２＞
実施例２では実施例１の変形例として、図８ステップＳ１０６で記録する過去複数回の視線検出情報が重複しないように記録媒体５へ記録する方法を図９で説明する。

前述の実施例１、図８のＳ１０７において、静止画と関連付けて記録できるサイズは通常有限なため、過去複数回の視線検出情報は固定長サイズで記録される。この場合、ＳＷ２操作でレリーズするまでの過去複数回の視線検出情報が固定回数記録されることになる。

しかし、過去複数回の視線検出情報が連写中においても固定回数記録されると、１つ前の撮影データに付加される過去複数回の視線検出情報が重複する場合がある。例えば、１０回分の視線検出結果が１つの撮影データに付加できる場合を考えると、連写間で視線検出ルーチンが５回実施できる場合においては１つ前と現在の視線検出情報は５回分重複する。したがって、現在の撮影画像データにおける過去５回分の視線検出情報が１つ前の撮影画像でも確認することができるため、記録データに無駄が生じてしまう。メモリ部４から記録媒体５への視線検出情報転送時間や記録媒体５の記録可能な容量を考えると、撮影データに関連付ける情報はできるだけ小さいほうが望ましい。

以下に図９を説明する。

図９のステップＳ２０１～Ｓ２０６は図８のステップＳ１０１～Ｓ１０６と同等のための説明を省略する。ステップＳ２０２で記憶した視線検出情報と、ステップ２０４で記憶した注視点確定情報をステップＳ２０６で撮影データに付加すると、ステップＳ２０７に進む。Ｓ２０７においてＳ２０２でメモリ部４へ記憶した過去複数回の注視点位置座標と視線検出時刻を消去する。

図９によると、連写した場合は次の視線検出ルーチンで検出された視線検出結果がクリアされたメモリ部４へ記録されるため、次のレリーズ時に撮影画像へ付加される過去複数回の視線検出結果は１つ前に記録した過去複数回の視線検出結果と重複することはない。

実施例２は請求項３に記載の撮像装置に相当する。

＜実施例３＞
実施例３では実施例１および実施例２の変形例として、図８のＳ１０４または図９のＳ２０４でメモリ部４へ記憶する注視点確定情報の記憶方法について図１０で説明する。

図８のＳ１０４または図９のＳ２０４でメモリ部４へ記憶した注視点確定時の注視点座標または視線検出時刻（以下、視線確定情報）と図８のＳ１０２または図９のＳ２０２で記憶した過去複数回の視線検出情報が重複する場合がある。実施例２で説明したように、メモリ部４から記録媒体５への視線検出情報転送時間や記録媒体５の記録可能な容量を考えると、可能な限り重複する視線検出情報は排除し、記録媒体５へ記録することが望ましい。このため、過去複数回の視線検出情報と重複する視線確定情報をできるだけ少なくして、過去複数回の視線検出情報の中から視線確定情報が特定できるデータのみを撮影データへ付加することを考える。

図１０は視線確定情報の記憶方法について説明した図である。ステップＳ３０１～ステップＳ３０３は実施例１のステップＳ１０１～ステップ１０３と同様のため説明を省略する。

ステップＳ３０３で注視点位置が決定された場合にステップＳ３０４へ進み、Ｓ３０２で記憶した過去複数回の視線検出情報と一致する注視点位置情報があるか否かを判定する。Ｓ３０４で過去複数回の視線検出情報と一致する注視点位置情報がある場合には、ステップＳ３０５へと進み、視線確定時の視線検出時刻のみをメモリ部４へ記憶する。Ｓ３０４で過去複数回の視線検出情報に注視点位置情報が一致しない場合には、ステップＳ３０６へと進み、視線確定時の注視点座標と視線検出時刻の両方をメモリ部４に記憶する。ステップＳ３０５及びＳ３０６それぞれが実施されるとステップＳ３０７へ進む。Ｓ３０７～Ｓ３１１はそれぞれ図８のＳ１０５～Ｓ１０９と同様のため説明を省略する。実施例３は請求項４に記載の撮像装置に相当する。

＜実施例４＞
実施例４では前記確定注視点情報記録手段と前記視線検出情報記録手段により記録される情報について説明する。

実施例２で説明したように、メモリ部４から記録媒体５への視線検出情報の転送時間や記録媒体５の記録可能な容量を考えると、可能な限り少ない情報を撮影データへ関連付けて記憶することが望ましい。

一方で、前記確定注視点情報記録手段で記録したい確定注視点情報は撮影者の意思で決定されたタイミングの注視点情報であるため、確定タイミングの視線情報のより詳細な情報を記録して第三者へ提供、または解析で利用したいという要望がある。視線確定情報は視線検出情報よりも詳細な情報を記録することで、撮影データへの最小限の情報付加と、確定タイミングの情報詳細化との両立を図るものである。

具体的には確定注視点情報と視線検出情報は以下の情報とするが、この限りではない。

確定注視点情報：注視点座標、視線検出時刻、視線ばらつき度合、まばたき情報、視線角速度、跳躍（別の被写体へ視線が大きくジャンプ）判定情報
視線検出情報（過去複数回の情報を保持）：注視点座標、視線検出時刻
＜実施例５＞
実施例５を図１１を用いて説明する。

前記注視点位置確定手段は実施例１で説明した通り、撮影者が注視する位置を決定するために用いられる手段である。前記注視点位置確定手段で決定された注視点位置を前記確定注視点情報記録手段により、撮影データと共に記録媒体５へ記録する。

前記注視点位置確定手段による操作は、レリーズタイミングとは異なるため、前記注視点位置確定手段で決定された注視点位置が検出されたタイミングと、撮影データが生成されるタイミングが大きくずれる可能性がある。この場合、視線確定されてからレリーズされるまでの間で、カメラを振ることで撮影シーンが変わってしまうと、視線確定時のシーンが撮影データとして残らないため、視線確定情報が役に立たなくなってしまう。このため、カメラがパンニングされた際には視線確定時の座標や検出時刻をメモリ部４へ記録させない。

以下、図１１でフローを説明する。

ステップＳ４０１～Ｓ４０４は実施例１の図８、Ｓ１０１～ステップＳ１０４と同様のため説明を省略する。

ステップＳ４０４が実行されるとＳ４０５と進み加速度を取得する。加速度の取得はカメラ内の加速度センサ６またはレンズ内の加速度センサ１１９から取得する。

一方、まだ注視点位置が確定されていない場合にはステップＳ４０６へと進む。Ｓ４０６、Ｓ４０７は実施例１の図８、Ｓ１０５、Ｓ１０６と同等のため説明を省略する。

ステップＳ４０８では視線確定から現在まででの間でパンニングを行ったかどうかを判定する。視線確定から現在までのパンニング判定はＳ４０５で取得した加速度を用いて、加速度が閾値よりも大きいか否かで判定する。加速度が閾値よりも大きい場合は注視点確定から現在までの間でパンニングしたと判断してステップＳ４０９へと進む。

Ｓ４０９では過去複数回の視線検出情報のみを静止画データに関連付けて記録媒体５へ記録する。

一方、Ｓ４０８で加速度が閾値よりも小さいと判定された場合は注視点確定から現在までの間でパンニングしていないと判断してステップＳ４１０へと進み、過去複数回の視線検出情報と注視点確定情報の両者を静止画データに関連づけて、記録媒体５へ記録する。

Ｓ４０６で動画撮影モードと判定された場合はステップＳ４１１へと進み、撮影が終了したか否かを判定する。Ｓ４１１で撮影終了していない場合には、Ｓ４０１へと戻り視線検出を繰り返す。Ｓ４１１で撮影終了した場合にはステップＳ４１２へと進む。

ステップＳ４１２では視線確定から現在まででの間でパンニングを行ったかどうかを判定する。視線確定から現在までのパンニング判定はＳ４０５で取得した加速度を用いて、加速度が閾値よりも大きいか否かで判定する。加速度が閾値よりも大きい場合は注視点確定から現在までの間でパンニングしたと判断してステップＳ４１３へと進む。

Ｓ４１３では過去複数回の視線検出情報のみを動画データに関連付けて記録媒体５へ記録する。

一方、Ｓ４１２で加速度が閾値よりも小さいと判定された場合は注視点確定から現在までの間でパンニングしていないと判断してステップＳ４１４へと進み、過去複数回の視線検出情報と注視点確定情報の両者を動画データに関連づけて、記録媒体５へ記録する。

以上のように、実施例５によれば撮影データに対して意味のある注視点位置情報を記録することができる。

＜実施例６＞
実施例６は実施例５の変形例であり、請求項７に記載の撮像装置に相当する。実施例６では視線確定からレリーズまでの間でパンニングされているか否かで注視点確定情報を撮影データに関連付けるか否かを説明した。

一方で、流し撮りモードのようにカメラをパンニングさせながら撮りたい被写体を画角内に収める撮影手法の場合、パンニングしているけれども視線確定時の注視点位置と被写体の相対的な位置関係が変わらない可能性が高い。この場合は、撮影データに対して前記注視点位置確定手段で決定された注視点位置が意味のある情報となる可能性が高いため、撮影データに関連付ける必要性がある。

図１２は流し撮りモード時の撮影データへの注視点位置確定時の注視点位置情報の関連付けを示したフロー図であり、以下にフローを説明する。

ステップＳ５０１～Ｓ５０７は実施例５の図１１、Ｓ４０１～Ｓ４０７と同様、ステップ５１２は図１１、Ｓ４１２と同様のため説明を省略する。

ステップＳ５０８で流し撮りモードと判定した場合にはステップＳ５１２へと進み、過去複数回の視線検出情報と視線確定情報の両者を静止画データに関連づけて、記録媒体５へ記録する。

一方、流し撮りモードと判定されない場合にはステップＳ５０９へと進む。

流し撮りモードの設定は、図２（ｂ）４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）といった、カメラ操作に使用する各種操作部材によって、設定することができる。

Ｓ５０９～Ｓ５１１は実施例５に記載のＳ４０８～Ｓ４１０と同様のため説明を省略する。

ステップＳ５１３で流し撮りモードと判定した場合にはステップＳ５１６へと進み、過去複数回の視線検出情報と視線確定情報の両者を動画データに関連づけて、記録媒体５へ記録する。

一方、流し撮りモードと判定されない場合にはステップＳ５１４へと進む。

Ｓ５１４～Ｓ５１６は実施例５に記載のＳ４１２～Ｓ４１４と同様のため説明を省略する。

以上のように、実施例６によれば流し撮りモードの場合には撮影データに対して意味のある注視点位置情報を記録することができる。

＜実施例７＞
実施例７では、前記注視点位置推定手段が有効の時のみ静止画データまたは動画データに関連づけて前記視線検出情報記録手段及び確定注視点情報記録手段でメモリ部４に記録された検出情報を記録する。

注視点位置推定手段の有効・無効の切り替えは、カメラ操作に使用する各種操作部材によって、切り替えることができる。各種操作部材は例えば図２（ｂ）４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）等である。

なお、上述の実施例においてはカメラの形態を中心に説明したが、他の装置においても上述の実施例の処理を適用可能である。装置は例えばヘッドマントディスプレイでも良いし、視線検出のための構成、画像の表示のための構成、注視点を確定するための構成、画像やその他の情報を記録するための構成、の各々を別体の装置によって実現する記録システムであっても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３ ＣＰＵ
４ メモリ部
５ 記録媒体
１０ 表示素子
１４ 眼球
１７ 眼球用撮像素子
１１９ 加速度センサ

Claims (10)

1. ユーザの眼球画像を取得する撮像素子と、
   該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、
   ユーザの操作によって注視点を確定する確定操作を行う操作部材と、
   ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有することを特徴とする記録装置。
2. 前記確定操作に関する情報は、前記確定操作が行われたタイミングにおけるユーザの注視点の位置情報を含むことを特徴とする請求項１に記載の記録装置。
3. 前記注視点の位置情報は注視点に対応する座標の情報であることを特徴とする請求項２に記載の記録装置。
4. 前記確定操作に関する情報は、前記確定操作が行われた時刻に対応する情報を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の記録装置。
5. 前記記憶手段は、前記確定操作に関する情報に加え、
   複数回の視線検出情報を、静止画または動画に対応付けて記録することを特徴とする請求項１乃至請求項４のいずれか１項に記載の記録装置。
6. 前記視線検出情報は、注視点の位置情報と当該位置情報を取得した時刻の情報であることを特徴とする請求項５に記載の記録装置。
7. 前記記録装置を有する撮像装置であって、
   前記確定操作がなされたタイミングにおいて当該撮像装置がパンニングされている場合は、前記確定操作に関する情報を記録しないことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. ユーザによって前記撮像装置を用いた流し撮り撮影が行われている場合には、当該撮像装置がパンニングされている場合であっても前記確定操作に関する情報を静止画または動画に対応付けて記録することを特徴とする請求項７に記載の撮像装置。
9. ユーザの眼球画像を取得する撮像素子を有する記録装置の制御方法であって、
   該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出ステップと、
   ユーザの操作によって注視点を確定する確定操作を行う操作ステップと、
   ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶ステップと、を有することを特徴とする記録装置の制御方法。
10. ユーザの眼球画像を取得する撮像素子と、
    該撮像素子から得られる眼球画像より、静止画または動画が表示される表示手段へユーザの視線に対応する注視点を算出する算出手段と、
    ユーザの操作によって注視点を確定する確定操作を行う操作部材と、
    ユーザによって前記確定操作がなされた場合には、前記表示手段に表示されている静止画または動画に当該確定操作に関する情報を対応づけて記憶する記憶手段と、を有することを特徴とする記録システム。

Images