JP2014179870A - 画像再生装置、画像再生方法および撮像装置 - Google Patents

Abstract

【課題】撮影者が何に注目し、何を伝えようとして撮影したのかを閲覧者に伝えることを可能にした撮像システムを提供すること。
【解決手段】再構成画像の生成が可能な画像データを取得する画像データ取得手段と、画像データに付与された視線検出情報を取得する視線検出情報取得手段と、視線検出情報に基づいて、画像データから再構成画像を生成して動画を生成する画像処理手段と、を備えることを特徴とする画像再生装置。
【選択図】図１

Description

本発明は、画像再生装置に関し、特にユーザーに快適な画像の閲覧を提供することができる画像再生システムに関する。

従来、撮影者は撮影時に主被写体にピントを合わせて撮像するのが一般的であったが、ライトフィールド技術を搭載したカメラや、特許文献１が示すような合焦位置の異なった複数の画像を得る装置が提供されている。これらの装置によれば、閲覧者が閲覧時に任意の点にピントを合わせた画像を見ることが可能となり、閲覧時のユーザビリティが向上してきた。

また、閲覧時のユーザビリティを向上させる他の発明としては、例えば特許文献２に開示されている発明がある。特許文献２の発明は、撮影者が画像撮影時に行う動作（構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間および撮影開始までの撮影装置の動きなど）を記録し、それを画像処理に反映させている。これによって、閲覧者がより撮影の意図を理解しやすいような画像を提供している。

特開２００５−２７７８１３号公報 特開２０１０−６２８５３号公報

しかしながら、上述の特許文献に開示された従来技術では、閲覧者の閲覧時の自由度が増えた分、かえって撮影者がどこを見て、何を伝えようと思ってその写真を撮影したのかを推測しにくくなってしまう。

そこで、本発明は、任意に合焦位置を変えられる機能を有し、かつ撮影者が何に注目し、何を伝えようとして撮影したのかを閲覧者に伝えることを可能にする画像再生方法および装置の提供を目的とする。

上記目的を達成するため、本発明の画像再生装置は、再構成画像の生成が可能な画像データを取得する画像データ取得手段と、画像データに付与された視線検出情報を取得する視線検出情報取得手段と、視線検出情報に基づいて、画像データから再構成画像を生成して動画を生成する画像処理手段とを備える。

本発明によれば、任意に合焦位置を変えられる機能を有する画像再生装置において、撮影者が何に注目し、何を伝えようとして撮影したのかを閲覧者に伝えられる画像の再生を可能とすることができる。

撮影者または閲覧者の視線の移動例を示す図 図１に示す各視線位置にリフォーカスした画像を示す図 本発明の第１の実施例に係る画像再生方法のフローチャートを示す図 本発明の第１の実施例に係る画像再生を行える撮影装置のシステム構成例を示す図 本発明の第１の実施例に係る画像再生を行う画像再生装置のシステム構成例を示す図 図４の撮影装置の光学系の構成を模式的に示す図 図６の光学系における結像状態における光線を模式的に示す図 図４の撮像装置で得られた画像データを用いた像の再構成を説明するための図 本発明の第２の実施例に係わる画像再生動作のフローチャートを示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

まず、図１乃至図３を参照して、本発明の第1の実施例に係るリフォーカス動画(再構成画像)の生成を行う画像再生方法について説明する。

図１は、撮影する際にファインダーに表示されている画像を撮影者が見ている時の視線の移動状態を表示画像に示した図である。同図において、１０１〜１０５は撮影者の撮影時におけるシャッターを押す直前の注視点（視線位置）を示す円であり、当該円の大きさは、その位置における視線の滞留時間に依存し、円が大きいほど長時間注視していたことを表わす。

同図によれば、撮影者はまず一番手前の人の顔（視線位置１０１）を注視し、しばらくしてから隣の花（視線位置１０２）を見て、その後に空の天気（視線位置１０３）や道路（視線位置１０４）を見ている。そして、奥にいる人と花の附近（視線位置１０５）を見てから、最終的にシャッターを押している。

図１の視線移動後に、一般的に用いられている一眼レフカメラ等で被写体の静止画を撮影すると、シャッターボタンを押した時に注視していたときの視線位置１０５にある人と花の附近のみにピントが合った写真しか得ることはできない。

また同様のシーンにおいて、ライトフィールド方式のカメラを用いて撮影を行うと、閲覧者が後で自由に見たいところにピントが合った画像を見る。しかし、それでは撮影者が何に注目したか、この写真で何を伝えようとしたかを閲覧者は知ることができない。

そこで本実施例では、図１で示したようなシーンを撮影する際に、撮影者のシャッターを押す直前の視線の動きを記録し、視線移動の記録データを写真のメタデータとして付加する。そして、撮影画像の再生の時に、記録された視線の動きのデータを用いてリフォーカスを行うことで動画（以下、リフォーカス動画）を生成する。

本実施例では、撮影者が視線を移動しながら被写体を見ていた時間経過の通りにリフォーカスされた画像を再構成してリフォーカス動画を生成する。

まず、上述のように、撮影者は最初に視線位置１０１における人の顔を２秒間見つめていたとする。この時、リフォーカス動画は、図２（ａ）に示したような、視線位置１０１の人の顔にピントがあった画像を生成し、それを撮影時に撮影者が見つめていた時間と同じ２秒間表示し、次の視線位置１０２でのリフォーカス画像の表示へ移動する。このように、記録された視線移動データに従って順次図２の（ａ）から（ｄ）の画像を生成して表示する。

ここで視線位置１０１での人の顔にピントがあったリフォーカス画像は、撮影者が何に注目していたかをより分かりやすくするために、被写界深度が浅い（Ｆナンバーの小さい）画像を生成することが好適である。本実施例では、この被写界深度（リフォーカス領域の大きさ）をユーザーが任意に設定できるリフォーカス領域設定手段を設け、これにより被写界深度をユーザーが任意に設定して、撮影者の撮影状況を再現して、閲覧者に提示することが可能となる。

図３は、閲覧者が画像を閲覧する際の、本実施例に係る画像再生方法のフローチャートを示す。同図を参照して、本実施例に係る画像再生方法を説明する。

まず、ユーザーは図３のステップＳ３０２において、閲覧したい画像を選択し、ステップＳ３０３で、リフォーカス画像を生成する際の被写界深度をユーザーが任意に設定するかどうかを指示する。本実施例では、全ての注視点において、被写界深度を一律に任意の値に設定することも、また視線の滞留時間に応じて被写界深度を変えて設定することも可能とする。

例えば、長時間注視していた点はそれだけ多くの情報を得ていたと考えられるので、奥行き方向に多くの情報を表示する、つまり被写界深度を深めに設定した画像を提示したほうが、記憶の中の画像とのマッチングが良い。例えば、５００「m s」注視していた点に対しては、Ｆナンバー＝１．８相当でリフォーカスを行い、１「s」注視していた点はＦナンバー＝２．８相当、２［s］注視していた点に対してはＦナンバー＝４相当、と設定していくとよい。

また逆に、長時間注視していた点ほど、その点は注目すべき点であると言えるので、注視時間が長くなるほどＦナンバーを小さくして被写界深度を浅くし、その点に視線を集中させる、という方法でも効果がある。この場合は、２［s］注視していた点はＦナンバー＝１．８相当、１［s］注視していた点に対しては、Ｆナンバー２．８相当、５００［ｍ s］注視していた点に対しては、Ｆナンバー＝４相当、とすると良い。視線位置１０１にピントを合わせた画像を２秒間表示したら、次に図２（ｂ）に示すような視線位置１０２にピントを合わせた画像を、同様に撮影者が視線位置１０２を見ていた時間と同じ時間だけ表示する。

同様の画像再生を各注視点について繰り返していき、シャッターを押した瞬間に見ていた注視点にピントを合わせた図２（ｄ）に示す画像まで生成し、リフォーカス動画の生成を完成する。上述の被写界深度は、ステップＳ３０４でユーザーが入力することによりリフォーカス画像に反映される。

上記リフォーカス動画を生成する際に、注視した点全てについてピントを合わせたリフォーカス画像を生成し、撮影者が見つめていた時間通りに表示してもよいが、記録された視線位置には撮影者がほとんど意識せずにほんの一瞬だけ注視してしまった位置もある。例えば、図１の視線位置１０４で示した点は、撮影者がほとんど意識はしなかったが、一瞬だけ視線を止めた点として示してある。そのため、この視線位置にリフォーカスする画像を一瞬だけ閲覧者に提示してもほとんど無意味であることは自明である。

従って、注視した点を全て採用してリフォーカス動画を生成すると、再生された画像が目まぐるしく変化してしまう恐れがあり、閲覧者にとって必ずしも良い画像となるとは限らない。そこで、より効率的に撮影の意図を伝えるために、本実施例では、注視時間に適当な所定時間としての閾値を設定する注視時間閾値設定手段を設け、閾値以上の時間、視線が滞留していた点のみを視線位置として採用してリフォーカス動画を生成する。これにより、閲覧者に、好適な再生画像の提示が可能となる。

本実施例では、ユーザーが、図３のステップＳ３０５において、注視時間閾値を設定するか否かを指示することができ、ユーザーが設定するよう指示した場合は、その閾値を入力し、その閾値に基づいてリフォーカス動画を生成する。

本実施例では、上記閾値のデフォルト値として、例えば一律３００［ｍ s］を設定する。この注視時間の閾値は、ステップＳ３０６にてユーザーが指示することにより、リフォーカス画像に反映される。

本実施例では、このようにして設定した閾値以上の時間だけ注視していた視線位置を用いてリフォーカス動画をステップＳ３０７において生成し、ステップＳ３０８で再生する。これにより、意味を有するリフォーカス動画を閲覧者に提示することができ、撮影者の撮影意図を閲覧者に伝えることが可能となる。

次に、上述した本実施例に係る画像再生方法を実現するための画像再生構成を説明する。

図４は、図３のフローチャートに従った画像再生動作を行うことが可能な、デジタルカメラ等の撮影装置のブロック図である。本撮像装置は、カメラ本体４０１およびレンズユニット４０２からなるカメラシステムであり、撮像系、画像処理系、記録再生系、制御系を構成する各要素からなる。撮像系は、撮影光学系４０３、撮像素子４０６を含み、画像処理系は、画像処理部４０７を含む。また、記録再生系は、メモリ手段４０８、画像表示手段４０９を含み、制御系は、カメラシステム制御回路４０５、操作検出部４１０、視線検出部４１４、レンズシステム制御回路４１２、およびレンズ駆動手段４１３を含む。レンズ駆動手段４１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。カメラシステム制御回路４０５は、カメラ本体４０１の各部を制御するプログラムを、図示しないメモリに備え、それをロードして実行することで、図３のフローチャートに従った画像再生動作を実現する。

視線検出部４１４における視線検出手段としては、視線測定において広く用いられる手法として、点光源の近赤外線を照射して角膜表面における反射像(プルキニエ像) を利用する角膜反射法が広く使われている。本実施例においても角膜反射法を用いることとするが、これに限られるものではなく、他の方法により視線を検出する構成としてもよい。

撮像系は、物体からの光（光学像）を、撮影光学系４０３を介して撮像素子４０６の撮像面に結像する光学処理系である。撮影素子４０６の表面(受光面)にはマイクロレンズが格子状に配置され、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは瞳分割手段として機能するが、ＭＬＡの機能や配置の詳細については図６を用いて後述する。後述するＭＬＡの機能により、撮影素子４０６からの撮像信号を用いてピント評価量／適当な露光量が得られる。従って、この信号に基づいて適切に撮影光学系４０３が調整されることで、適切な光量の物体光を撮像素子４０６に露光するとともに、撮像素子４０６の近傍で被写体像が結像する。

画像処理部４０７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成することができる。また、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。

また本実施例の特徴となるリフォーカス動画は、撮影後に画像処理部４０７で生成される。撮影終了後に、視線検出部４１４で検出された視線の動き情報を用いて、図４に示した撮像系によって撮像された画像を、注視点ごとにリフォーカスした画像を生成し、生成されたリフォーカス画像をつないでリフォーカス動画を生成する。また、リフォーカスの被写界深度の設定は、ユーザーが図示しない操作部を操作したことを操作検出部４１０が検出し、検出結果をカメラシステム制御部４０５が画像処理部４０７に通知することで行われる。これらの処理は、カメラシステム制御回路４０５がプログラムを実行して画像処理部４０７を制御することで実現する。

メモリ手段４０８は、実際にデータを記憶する記憶部に加えて、記録に必要な処理回路も備えている。メモリ手段は、記録部へ出力を行うとともに、画像表示手段４０９に出力する像を生成、保存する。また、メモリ手段４０８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
画像表示手段４０９は液晶パネル、もしくは有機ＥＬディスプレイ等のディスプレイ媒体を備えており、撮影した画像や動画の再生が可能である。本実施例に従って生成されたリフォーカス動画は、最終的に表示手段４０９に表示される。これにより、閲覧者は、生成されたリフォーカス動画を見ることができる。なお、リフォーカス動画を撮像装置の図示しない入出力部を介して外部の情報処理装置等に出力し、その画像表示手段を用いて表示してもかまわない。

カメラシステム制御回路４０５は撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部４１０が検出して、撮像素子４０６の駆動、画像処理部４０７の動作、メモリ手段４０８の圧縮処理などを制御する。さらに画像表示手段４０９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。更に本実施例の特徴である撮影者の被写体に対する注視時間も計測し、視線検出方向と共にメモリ手段４０８に記録する。

制御系の光学系の調整動作について説明する。カメラシステム制御回路４０５には画像処理部４０７が接続されており、撮像素子４０６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路４０５は、電気接点４１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路４１２はレンズ駆動手段４１３を適切に制御する。さらにレンズシステム制御回路４１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動手段４１３を介してブレ補正レンズを適切に制御する。

以上説明した構成は、生成されたリフォーカス動画をカメラに内蔵された画像再生構成(画像処理部)および画像表示手段４０９を用いて生成して閲覧するための構成であった。しかし本実施例はこれに限られるものではなく、一度カメラで撮影された画像を、他の画像再生装置を用いてカメラの外部で再生する構成とすることも可能である。

図５は、カメラの撮像素子で光学像を電気信号に変換して生成された画像データを、カメラ外部で再生するための画像再生装置の構成を示すブロック図である。当該画像再生装置は、図４で示した画像処理部４０７と同様の機能を持った画像処理部５１７、メモリ手段５１８、画像表示手段５２０、操作検出部５２１、視線検出部５２２を有する。これらの構成要素は、ビュワー制御部５１６によって制御され、そのためビュワー制御部５１６は図示しないメモリに記憶されたプログラムをロードして実行する。

画像再生装置はまた、データの入出力を行うためのデータ入出力部５１９を有する。このデータ入出力手段５１９は、例えば図３の撮像装置で得られた画像データ、及び撮影時の視線の動きを記録したメタデータ（視線検出情報）を取り込む（画像データ取得手段、視線検出情報取得手段）。取り込んだデータは、メモリ手段５１８に一旦格納される。ビュワー制御部５１６はメモリ手段５１８および画像処理部５１７を制御し、メモリ手段５１８に格納されたデータを用いてリフォーカス動画の生成を行う。

画像表示手段５２０は、一般的に用いられている液晶ディスプレイや有機ＥＬディスプレイ、プラズマディスプレイなど、動画画像を再生できる表示装置であれば何でも良い。また、小型の物から大型の物、さらには頭部に装着するヘッドマウントディスプレイの形態を取っていてもよい。なお、リフォーカス動画を画像再生装置のデータ入出力部５１９を介して外部の情報処理装置等に出力し、その画像表示手段を用いて表示してもかまわない。

次に図６から図８を用いて、本実施例によるリフォーカス画像を生成するための撮像画像を得るための光学系について説明する。なお、図６乃至８において、図４と同様の部分は符号を付して示す。

図６は、本実施例に係るリフォーカス画像の生成に用いる撮像画像を得るための撮影光学系の構成を説明するための図である。本実施例に係る画像再生方法を実行ためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系４０３の結像面の近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素(分割画素)を対応させている。

図６（ａ）は、撮像素子４０６とＭＬＡ６２０の配置関係を模式的に示す図である。図６（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図６（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図６（ａ）に示すように、撮像素子４０６上にはＭＬＡ６２０が設けられており、ＭＬＡ６２０の前側主点は撮影光学系４０３の結像面近傍になるように配置されている。図６（ａ）は撮影装置の断面図と、正面からＭＬＡを見た正面図を示し、撮影装置正面から見るとＭＬＡのレンズが撮像素子４０６上の画素を覆うように配置されている。なお、図６（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図６（ｂ）を用いて説明する。

図６（ｂ）は、図６（ａ）の装置の正面図の図を一部拡大した図である。図６（ｂ）に示す格子状の枠は、撮像素子４０６の各画素を示している。一方ＭＬＡを構成する各マイクロレンズは太い円６２０ａ，６２０ｂ，６２０ｃ，６２０ｄで示した。図６４（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図４（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは、画素の大きさの５倍x５倍の大きさである。

図６（ｃ）は、撮像素子４０６と対応するマイクロレンズを、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断したときの断面図である。図６（ｃ）の６２１、６２２、６２３、６２４、６２５は、撮像素子４０６の画素（１つの光電変換部）を示している。一方、図６（ｃ）の上方に示した図は撮影光学系４０３の射出瞳面を示している。実際には、図６（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図６（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図６（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図６（ｃ）の画素６２１、６２２、６２３、６２４、６２５は図６４（ｂ）の６２１ａ、６２２ａ、６２３ａ、６２４ａ、６２５ａとそれぞれ対応する位置関係にある。図６（ｃ）に示すように、マイクロレンズ６２０によって各画素は撮影光学系４０３の射出瞳面上の特定の領域と共役になるように設計されている。図６（ｃ）の例では画素６２１と領域６３１が、画素６２２と領域６３２が、画素６２３と領域６３３が、画素６２４と領域６３４が、画素６２５と領域６３５がそれぞれ対応している。すなわち画素６２１には撮影光学系４０３の射出瞳面上の領域６３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子４０６上の位置関係から角度の情報を取得することが可能となる。

次に図７を用いて本実施例に適用可能な光学系の例について説明する。図７は物体（被写体）からの光線が撮像素子４０６上に結像する状態を模式的に示した図である。図７（ａ）は図６で説明した光学系と対応しており、撮影光学系４０３の結像面近傍にＭＬＡ６２０を配置した例である。図７（ｂ）は撮影光学系４０３の結像面よりも物体寄りにＭＬＡ６２０を配置した例である。図７（ｃ）は撮影光学系４０３の結像面よりも物体から遠い側にＭＬＡ６２０を配置した例である。図７において、図６と同じ部分は同じ符号を付して示す。

図７において、４０６は撮像素子を、６２０はＭＬＡを、６３１から６３５は図６で用いた瞳領域を、７５１は物体平面を、７５１ａ，７５１ｂは物体上の適当な点を、７５２は撮影光学系の瞳平面を、７６１、７６２、７７１，７７２，７７３，７８１，７８２，７８３，７８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図７（ｂ）および（ｃ）に示した４０６ａは仮想的な撮像素子を、６２０ａは仮想的なＭＬＡを示している。これらは、図７（ａ）との対応関係を明確にするために参考に示した。また、物体上の点７５１ａから出て瞳平面上の領域６３１および６３３を通過する光束を実線で、物体上の点７５１ｂから出て瞳平面上の領域６３１および６３３を通過する光束を破線で図示した。

図７（ａ）の例では、図６でも説明したように、撮影光学系３の結像面近傍にＭＬＡ６２０を配置することで、撮像素子４０６と撮影光学系の瞳平面７５２が共役の関係にある。さらに、物体平面７５１とＭＬＡ６２０が共役の関係にある。このため物体上の点５１ａから出た光束はマイクロレンズ７６１に、７５１ｂを出た光束はマイクロレンズ７６２に到達し、領域６３１から６３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図７（ｂ）の例では、マイクロレンズ６２０で撮影光学系４０３からの光束を結像させ、その結像面に撮像素子４０６を設ける。このように配置することで、物体平面７５１と撮像素子４０６は共役の関係にある。物体上の点７５１ａから出で瞳平面上の領域６３１を通過した光束はマイクロレンズ７７１に到達し、物体上の点７５１ａから出で瞳平面上の領域６３３を通過した光束はマイクロレンズ７７２に到達する。物体上の点７５１ｂから出で瞳平面上の領域６３１を通過した光束はマイクロレンズ７７２に到達し、物体上の点７５１ｂから出で瞳平面上の領域６３３を通過した光束はマイクロレンズ７７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように、物体上の点と瞳平面上の通過領域に従って異なる位置にそれぞれ結像される。これらを、仮想的な撮像面４０６ａ上の位置に並べなおせば、図７（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図７（ｃ）の例では、マイクロレンズ６２０で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子４０６を設ける。このように配置することで、物体平面７５１と撮像素子６は共役の関係にある。物体上の点７５１ａから出で瞳平面上の領域６３１を通過した光束はマイクロレンズ７８２に到達し、物体上の点７５１ａから出で瞳平面上の領域６３３を通過した光束はマイクロレンズ７８１に到達する。物体上の点７５１ｂから出で瞳平面上の領域６３１を通過した光束はマイクロレンズ７８４に到達し、物体上の点７５１ｂから出で瞳平面上の領域６３３を通過した光束はマイクロレンズ７８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図７（ｂ）と同様に、仮想的な撮像面４０６ａ上の位置に並べなおせば、図７（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図７ではＭＬＡ（位相変調素子）を用いて位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能な例を示したが、位置情報と角度情報を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

次に図８を用いて像シフトおよび像生成を模式的に示す。

図８は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図８（ｂ）は実際に撮像素子６が存在して画像を取得した面を、図８（ａ）は図８（ｂ）よりも物体側の再構成面（再構成面１とする）を、図８（ｃ）は図８（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。なお、また、図８においても説明を明瞭にするためにデータを１次元的な広がりしかもたないものとして記述している。

図８（ｂ）において、X_1,i、X_2,i、X_3,i、X_4,i、X_5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズX_iに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。物理的な位置との関係においては、X_1,iは図６（ｃ）の６２１領域から得られるデータを、X_2,iは図６（ｃ）の６２２領域から得られるデータを、以下添え字の３、４、５は領域６２３、６２４、６２５に対応していることを示している。

取得面での画像を生成するためには、図８（ｂ）にあるように、マイクロレンズX_iに入射したデータを加算すればよい。具体的には、S_i = X_1,I + X_2,i + X_3,i + X_4,i + X_5,iでX_iに入射した光の角度方向の積分値を得ることができる。これをすべてのマイクロレンズについて行えば、通常のカメラと同様の像が生成される。

次に再構成面１での像の生成方法を考える。図６で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX_1,iのように瞳領域の添え字が１のものは図６右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ８４２，８４３，８４４，８４５に対応しているとする。この時再構成面１でのマイクロレンズX_iに入射した光束は、取得面においては、X_i-2からX_i+2に分散して入射していることになる。より具体的には、X_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散している。X_iに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなしとする。さらに、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトすることで入射角度に応じたシフトを与えることができる。その後図８（ａ）の縦方向に加算することで再構成面１でのデータを得ることができる。具体的には、S_i = X_1,i-2 + X_2,i-1 + X_3,i + X_4,i+1 + X_5,i+2で再構成面１において、X_iに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られた。

また、図８（ｃ）から分かるように、再構成面２においても再構成面と全く同様に像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。

このように図４から図８を用いて説明したリフォーカスによる画像の再構成を用いれば、撮影後に任意の位置にリフォーカスを行った画像を得ることができる。

以上、図１から図８を用いて説明した本実施例に係る画像再生方法および装置によれば、メタデータとして撮影画像に付与された撮影者の視線の動きを示す視線検出信号と視線検出信号に基づいて設定されたリフォーカス領域に基づいて画像の再生を行うことが可能となる。

また、撮影者から検出された視線情報のうち、所定時間より長く撮影者が注視した点の視線情報のみを抽出して、画像のリフォーカスによる再構成するよう制御する構成にすることも可能である。

また、リフォーカス領域設定手段（画像処理部４０７）は、視線検出手段４１４の視線検出信号に基づいて、リフォーカス領域の被写界深度を設定することを可能にしている。

また、視線情報に基づいた画像の再生は、撮影者によって、瞳分割手段を介して撮像された静止画（ライトフィールド情報）に基づいて生成されるよう構成されている。

次に本発明の第２の実施例について説明する。

上記第１の実施例では、撮影者の撮影時の視線の動きと時系列的に同期するように生成されたリフォーカス動画を用いた画像再生方法について説明したが、完全に同期している必要はなく、時系列的に可変にしてもよい。本実施例は、リフォーカス画像表示時間設定手段を設けることで、各リフォーカス画像の表示手段をユーザーが任意に設定する構成とすることを特徴とする。

例えば、撮影時に視線位置１０１を８００［ｍ s］、視線位置１０２を５００［ｍ s］、と注視していたとする。この場合、リフォーカス動画の表示において、それぞれ８００［ｍ s］、５００［ｍ s］と必ずしも同期させる必要はなく、それぞれを８秒、５秒と長く設定してもよい。またその時間比率を撮影時と同じ比率にしてもよいが、撮影時の時間比率を無視して、ユーザーの好みで設定してもよい。つまり“注視した場所”を閲覧者に伝えることができれば良い。

図９に、本実施例に従って閲覧者がリフォーカス動画の時系列を設定可能にした画像再生方法のフローチャートを示す。同図において、図３と同じステップは同じ符号を付して示す。また、本実施例の方法に係る画像再生動作も、第１の実施例と同様に、図４の撮像装置のシステム制御部４０７、または図５の画像再生装置のビュワー制御部５１６の制御の下で行われる。

ステップＳ３０１からＳ３０６までは、第１の実施例で示したフローと同様である。本実施例では、ステップＳ９０７において、各リフォーカス画像の表示時間を、撮影時に注視していた時間と同じに設定するかどうかの指示をユーザーが入力するステップを設けている。この入力は、ユーザーが図示しない操作部を操作したことを操作検出部４１０が検出し、検出結果をカメラシステム制御部４０５が画像処理部４０７に通知することで行われる。

ユーザーが撮影時の注視時間と同じに設定する方を選択した場合は、撮影時の注視時間を忠実に再現したリフォーカス動画をステップＳ９１１にて生成する。

また、ユーザーが任意に再生時間を設定する方を選択した場合には、ステップＳ９０８で、各注視点における注視時間の比率を維持するかどうかをユーザーに問い合わせる。

ここで各注視点における注視時間の比率を維持する方を選んだ場合は、ステップＳ９０９において、時間の拡大倍率を指定する。上記例にあげた視線位置１０１を８００［ｍ s］、視線位置１０２を５００［ｍ s］だけ注視していた場合、例えば倍率を１０倍と指定すれば、それぞれを８秒、５秒と１０倍の時間に延びたリフォーカス動画を生成する。これにより、撮影者が注視していた時間の比率が維持されたまま、スローモーションのようにリフォーカスしていく動画を閲覧することが可能となる。

また、各注視点における注視時間の比率を維持しない方を選んだ場合は、ステップＳ９１０において、各注視点の表示時間を個別に設定する。この際には、各注視点の表示時間を一律の値として設定すること、および各注視点の注視時間を個別に任意の値に設定することを可能にする。

このように、本実施例によれば、各注視点の時間を自由に設定することによって、リフォーカス動画に多種多様な意味を持たせることが可能となる。

次に本発明の第３の実施例について説明する。

上記第１及び第２の実施例では、撮影者の視線を記録し、それに基づいてリフォーカスを行っていた。しかし、撮影者の視線のみならず、閲覧者の視線を記録し、他の閲覧者が見る時に、前の閲覧者の視線情報に基づいてリフォーカス動画を生成しても良い。

第１の実施例で示した瞳分割手段を用いた撮像信号の取得構成に従って画像の記録を行えば、あらゆる位置にピントを合わせた画像を後で得られるので、第一の閲覧者が自由に画像を見るために選択した位置にピントを合わせた画像を提供することができる。そして、その時の第一の閲覧者の視線の動きを記録し、画像のメタデータとして付加することにより、第二の閲覧者が該第一の閲覧者の視線の動きに基づいて生成されたリフォーカス動画を見た時に、第一の閲覧者がどのように画像を見たかを知ることが可能となる。

そこで、本実施例は、閲覧者の視線移動を記録し、記録された閲覧者の視線移動に基づいたリフォーカスにより画像の再構成を行う構成を特徴とする。視線移動情報に基づいてフィフォーカス画像を生成する構成は第１又は第２の実施例と同様であるので、ここでの説明は省略する。

なお、図５に示した画像再生装置を用いる場合、まず閲覧者の視線を視線検出部２２が検出し、閲覧者が見ている位置にリフォーカスした画像を表示していきながら、その時の視線の動きをメモリ手段５１８に画像のメタデータとして記録していく。その後、第二の閲覧者がその画像を閲覧する際に、該記録された第一の閲覧者の視線の動きに基づいて生成したリフォーカス動画を表示すればよい。

また、撮影者の視線検出情報と閲覧者の視線情報のいずれかに基づいて再構成画像を生成するかを選択するようにしてもよい。

次に本発明の第４の実施例について説明する。

上記第１乃至第３の実施例は、静止画を撮影し、その静止画を用いてリフォーカス動画を生成する構成であったが、動画を用いたリフォーカス画像の生成構成としてもよい。

本実施例は、リフォーカス画像の生成に動画を用いることを特徴とする。動画撮影の際に視線の動きを検出して動画のメタデータとして保存し、再生する時に、保存された撮影時および閲覧時のいずれかの視線の動きに基づいてリフォーカスを行った動画を生成する構成は第１乃至出し３の実施例と同様である。この場合、静止画撮影ではシャッターを押す直前の視線の動きを視線検出情報として撮影画像に付与したのに対し、動画撮影では動画記録中の視線の動きを視線検出情報として付与すればよい。

上述した実施形態では、視線検出方法は角膜反射法を実施例に用いて説明したが、それ以外の方法を用いてもよい。またリフォーカス画像を得るために第１の実施例で示した光学系を用いる例を示したが、ピント位置を変えながら撮影を行うブラケット撮影法を用いて撮影した画像を用いてリフォーカス画像を生成してもよい。

また、視線位置でのリフォーカスに加えて、ズーム処理を施すようにすれば、撮影者あるいは先の閲覧者の画像に対する思いがより強調された画像の再生が可能となる。

上述した実施形態において図３および９示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して、例えばカメラシステム制御部４０５のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図３および９に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、図３および９に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明の産業上の利用可能性について説明する。

上記実施例で示した例は、主にコンシューマ向けカメラを想定して、写真をより楽しめるようにする手段の一つとして捉えることができるが、本発明で実施される“どこをどれくらい見ていたかを伝える手段”は、例えば製造現場などで製造方法を他の人に伝えたい時などにも有効な手段に成りえる。

製造現場などにおける ある製造担当者が、その製造ノウハウを他の人に伝えたい時に、今までは口頭による説明に頼っていたために、内容が不十分な伝わり方になってしまっていた。しかし、例えば製造担当者が作業中にハンズフリーのウェアラブルタイプカメラに本発明の実施形態を適用した撮像デバイスを用いて撮影を行いながら作業を行えば、どこをどれくらい見ていたかという情報も含めた製造担当者の視点を別の担当者に伝えることが可能となる。これにより、言葉では表現しにくかった細かいニュアンスまで伝えることが可能となる。

また自動車運転などの指導方法として、まず教官が運転する時に、上記デバイスを装着して撮影を行いながら運転し、それを教習受講者が見ることによって、”運転時の見方”を効率的に学ぶ事が可能となる。

Claims (25)

1. 再構成画像の生成が可能な画像データを取得する画像データ取得手段と、
   前記画像データに付与された視線検出情報を取得する視線検出情報取得手段と、
   前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理手段と、を備えることを特徴とする画像再生装置。
2. 前記視線検出情報は、視線位置と前記視線位置での注視時間を含み、前記画像処理手段は、前記視線位置の被写体にピントが合った再構成画像を生成し、前記視線位置での前記注視時間に基づいて前記生成された再構成画像の表示時間を設定して前記動画を生成することを特徴とする請求項１に記載の画像再生装置。
3. 前記画像処理手段は、前記注視時間が所定時間より長い前記視線位置についてのみ、前記再構成画像を生成し、前記画像再生装置は、前記所定時間を設定する注視時間閾値設定手段を備えることを特徴とする請求項２に記載の画像再生装置。
4. 前記再構成画像のリフォーカス領域の大きさ設定するリフォーカス領域設定手段を備え、前記画像処理手段は、前記リフォーカス領域設定手段で設定されたリフォーカス領域の大きさに基づいて前記再構成画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像再生装置。
5. 前記リフォーカス領域設定手段は、前記視線検出情報に基づくリフォーカスの被写界深度を設定することを特徴とする請求項４に記載の画像再生装置。
6. 前記表示時間を設定する表示時間設定手段を備え、前記画像処理手段は、前記表示時間設定手段により表示時間が設定された場合は、前記設定された表示時間に従って前記動画を生成し、前記表示時間設定手段により表示時間が設定されない場合は、前記注視時間に従って前記動画を生成することを特徴とする請求項２乃至５のいずれか一項に記載の画像再生装置。
7. 前記動画を表示する表示手段と、前記表示手段に表示された前記動画に対する視線を検出して視線検出情報を前記動画に付与する視線検出手段をさらに備え、前記視線検出情報取得手段は、前記視線検出手段により前記動画に付与された視線検出情報を取得することを特徴とする請求項１乃至６のいずれか一項に記載の画像再生装置。
8. 前記画像処理手段は、前記視線検出情報取得手段で取得された前記画像データに付与された視線検出情報および前記視線検出手段により前記動画に付与された視線検出情報のいずれかに基づいて前記再構成画像および動画を生成することを特徴とする請求項７に記載の画像再生装置。
9. 前記画像処理手段は、前記再構成画像に対して、前記視線検出情報に従ってズーム処理を行うことを特徴とする請求項１乃至８のいずれか一項に記載の画像再生装置。
10. 前記画像データは、瞳分割手段を有する撮像手段で得られた静止画のデータであり、前記視線検出情報は、前記静止画の撮影者の撮影時の視線検出情報であることを特徴とする請求項１乃至９のいずれか一項に記載の画像再生装置。
11. 前記画像データは、撮像手段によりブラケット撮影法で撮像された静止画のデータであり、前記視線検出情報は、前記静止画の撮影者の撮影時の視線検出情報であることを特徴とする請求項１乃至９のいずれか一項に記載の画像再生装置。
12. 前記画像データは、瞳分割手段を有する撮像手段で撮影された動画のデータであり、前記視線検出情報は、前記動画の撮影者の撮影時の視線検出情報であることを特徴とする請求項１乃至９のいずれか一項に記載の画像再生装置。
13. 被写体の光学像を形成する撮影光学系と、
    前記光学系で形成された前記光学像を電気信号に変換して画像データを生成する撮像手段と、
    ユーザーの視線を検出して視線検出情報を前記画像データに付与する視線検出手段と、
    請求項１乃至６のいずれか一項に記載の画像再生装置と、
    を備えることを特徴とする撮像装置。
14. 前記動画を表示する表示手段をさらに備え、前記視線検出手段は、前記表示手段に表示された前記画像データに対する視線を検出して前記視線検出情報を前記画像データに付与することを特徴とする請求項１３に記載の撮像装置。
15. 前記視線検出手段は、前記表示手段に表示された前記動画に対する視線を検出して前記視線検出情報を前記動画に付与することを特徴とする請求項１３又は１４に記載の撮像装置。
16. 前記画像処理手段は、前記視線検出手段で取得された前記画像データに付与された視線検出情報および前記動画に付与された視線検出情報のいずれかに基づいて前記再構成画像および動画を生成することを特徴とする請求項１３乃至１５のいずれか一項に記載の画像再生装置。
17. 前記画像処理手段は、前記再構成画像に対して、前記視線検出情報に従ってズーム処理を行うことを特徴とする請求項１３乃至１６のいずれか一項に記載の撮像装置。
18. 前記光学系は瞳分割手段を有し、前記撮像手段は前記光学像の静止画を撮像して画像データを生成し、前記視線検出手段は、前記静止画の撮影者の撮影時の視線検出情報を前記画像データに付与することを特徴とする請求項１３至１７のいずれか一項に記載の撮像装置。
19. 前記撮像手段は、前記光学像の静止画をブラケット撮影法で撮像して画像データを生成し、前記視線検出手段は、前記静止画の撮影者の撮影時の視線検出情報を前記画像データに付与することを特徴とする請求項１３至１７のいずれか一項に記載の撮像装置。
20. 前記光学系は瞳分割手段を有し、前記撮像手段は、前記光学像の動画を撮像して画像データを生成し、前記視線検出手段は、前記動画の撮影者の撮影時の視線検出情報を前記画像データに付与することを特徴とする請求項１３乃至１７のいずれか一項に記載の撮像装置。
21. 再構成画像の生成が可能な画像データを用いた画像再生方法において、
    前記再構成画像の生成が可能な画像データを取得する画像データ取得ステップと、
    前記画像データに付与された視線検出情報を取得する視線検出情報取得ステップと、
    前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理ステップと、を備えることを特徴とする画像再生方法。
22. 再構成画像の生成が可能な画像データを用いた画像再生方法において、
    コンピュータを、
    再構成画像の生成が可能な画像データを取得する画像データ取得手段、
    前記画像データに対応する画像に対する視線の視線検出情報を取得する視線検出情報取得手段、
    前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理手段
    として機能させるプログラム。
23. 請求項２２のプログラムを記録したコンピュータが読み取り可能な記録媒体。
24. コンピュータを、請求項１乃至１２のいずれか一項に記載された画像再生装置の各手段として機能させるプログラム。
25. コンピュータを、請求項１乃至１２のいずれか一項に記載された画像再生装置の各手段として機能させるプログラムを格納した記憶媒体。

Images