JP2017098596A - 画像生成方法及び画像生成装置 - Google Patents

Abstract

【課題】観察者の注視点にピントが合い、且つ、自然な立体感を感じさせる画像を生成する技術を提供する。【解決手段】コントラスト感度関数を用いて、物体にピントが合った画像を元に、注視点とは異なる奥行位置にある点に対応する画素の色座標を計算することによって、注視点からのずれ量に合わせた焦点ぼけおよび色ずれを再現した画像を生成する。【選択図】図４

Description

本発明は、観察者に自然な立体感を感じさせる画像を生成する技術に関する。

従来より、観察者に自然な立体感を感じさせるための方法や、表示画像の見えを実際の物の見え方に近づける方法などが提案されている。特許文献１によれば、撮影画像における主被写体の前後に位置する物体に対して擬似的な焦点ずれに対応させたぼけ効果を加えることにより、撮影画像の立体感を高める画像処理が可能であり、ぼけ味はカメラのレンズ理論に基づいて決定される。特許文献２は、左右に視差のある三次元画像表示装置において、左右それぞれの単眼について、注視点の距離にある物体の表面に焦点を合わせ、それ以外の部分については注視点からの距離差に応じて輝度の焦点ぼけ処理を施した画像を形成する方法を開示する。

特開２０００−２０７５４９号公報 特開２０００−３５４２５７号公報

しかしながら、従来方法のように物体までの距離による補正では、ぼけによる遠近感を与えることはできるが、原理的に色の補正はできない。色が補正されないと、十分に立体感のある画像が得られない。また、撮像装置のレンズ収差によるボケと人のボケの感覚が一致するとは言えない。

従来のアプローチは、いずれも、網膜上に形成される像（網膜像）を同じにすれば、人間には同じものとして認識される、という前提に立っている。しかしながら、本発明者の研究により、この前提が成立しない場合が多くあり、従来のアプローチには限界があることが分かってきた。

人間の視覚には、コントラスト感度とよばれる特性があり、明暗や色が周期的に変化する画像を水晶体のレンズ機能により網膜上に結像した時に、その周期に応じて感度が異なる。このため、人間は外界の物体を見る時に、その網膜像を構成する周波数ごとにコントラスト感度を乗じた結果を再合成して、被写体を見ていると考えられる。すなわち、人間は、外界の物理的な状態をコントラスト感度により歪んで補正した視覚情報として認識しているのである。そのため、仮に、網膜像を完全に一致させることができたとしても、人間が認識する視覚情報が異なり、違うものとして感じる場合があり得る。ここに、網膜像を一致させようとする従来のアプローチの限界（課題）がある。

本発明は上記実情に鑑みなされたものであって、観察者の注視点にピントが合い、且つ、自然な立体感を感じさせる画像を生成する技術を提供することを目的とする。

本発明の第一態様は、物体上のある点を注視したときに認識される視覚情報を再現する画像を生成する画像生成方法であって、前記物体の第一の画像を取得するステップと、前記物体上の各点の奥行位置を表す奥行情報を取得するステップと、前記物体に対する観察者の注視点を表す視線情報を取得するステップと、前記第一の画像、前記奥行情報、およ
び、前記視線情報に基づき、実際の物体上の前記注視点を注視したときに認識される視覚情報を再現する第二の画像を生成する生成ステップと、を有し、観察者の視点をＡとし、前記第一の画像をＸ、前記第二の画像をＰとし、前記物体上の前記注視点をＢ、注視点Ｂとは異なる奥行位置にある前記物体上の点をＣとし、点Ｃの位置に画像Ｘを配置し、視点Ａから画像Ｘを観たときの画像Ｘの見込み角の範囲内で定義される空間周波数をｆｘとし、注視点Ｂの位置に画像Ｐを配置し、視点Ａから画像Ｐを観たときの画像Ｐの見込み角の範囲内で定義される空間周波数をｆｐとし、空間周波数をωで表すときの、視覚の明度Ｌ^＊のコントラスト感度関数をＣＬ（ω）、視覚の第一の色相ａ^＊のコントラスト感度関数をＣａ（ω）、視覚の第二の色相ｂ^＊のコントラスト感度関数をＣｂ（ω）とし、空間周波数ｆｘにより画像Ｘの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｘ）とし、空間周波数ｆｐにより画像Ｐの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｐ）とし、画像Ｘにおいて点Ｃに対応する画素を画素ｃ１、画像Ｐにおいて点Ｃに対応する画素を画素ｃ２とし、画像Ｘ上の画素ｃ１を視点Ａから観たときの方位角をΦ１、画像Ｐ上の画素ｃ２を視点Ａから観たときの方位角をΦ２とすると、
前記生成ステップでは、画像Ｐの画素ｃ２を生成する場合に、点Ｃに焦点の合った画像を画像Ｘとして用い、
ＦＬ（ｆｐ）＝ＦＬ（ｆｘ）×ＣＬ（ｆｘ）÷ＣＬ（ｆｐ）
Ｆａ（ｆｐ）＝Ｆａ（ｆｘ）×Ｃａ（ｆｘ）÷Ｃａ（ｆｐ）
Ｆｂ（ｆｐ）＝Ｆｂ（ｆｘ）×Ｃｂ（ｆｘ）÷Ｃｂ（ｆｐ）
ｆｐ＝ｆｘ×Φ１÷Φ２
によりＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を計算し、
ＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を逆フーリエ変換することにより得られる明度Ｌ^＊、第一の色相ａ^＊、第二の色相ｂ^＊それぞれの分布から、画像Ｐの画素ｃ２の色座標を計算することを特徴とする画像生成方法である。

本発明の第二態様は、物体上のある点を注視したときに認識される視覚情報を再現する画像を生成する画像生成装置であって、前記物体の第一の画像および前記物体上の各点の奥行位置を表す奥行情報を取得する画像取得部と、前記物体に対する観察者の注視点を表す視線情報を取得する視線情報取得部と、前記第一の画像、前記奥行情報、および、前記視線情報に基づき、実際の物体上の前記注視点を注視したときに認識される視覚情報を再現する第二の画像を生成する変換部と、を有し、観察者の視点をＡとし、前記第一の画像をＸ、前記第二の画像をＰとし、前記物体上の前記注視点をＢ、注視点Ｂとは異なる奥行位置にある前記物体上の点をＣとし、点Ｃの位置に画像Ｘを配置し、視点Ａから画像Ｘを観たときの画像Ｘの見込み角の範囲内で定義される空間周波数をｆｘとし、注視点Ｂの位置に画像Ｐを配置し、視点Ａから画像Ｐを観たときの画像Ｐの見込み角の範囲内で定義される空間周波数をｆｐとし、空間周波数をωで表すときの、視覚の明度Ｌ^＊のコントラスト感度関数をＣＬ（ω）、視覚の第一の色相ａ^＊のコントラスト感度関数をＣａ（ω）、視覚の第二の色相ｂ^＊のコントラスト感度関数をＣｂ（ω）とし、空間周波数ｆｘにより画像Ｘの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｘ）とし、空間周波数ｆｐにより画像Ｐの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｐ）とし、画像Ｘにおいて点Ｃに対応する画素を画素ｃ１、画像Ｐにおいて点Ｃに対応する画素を画素ｃ２とし、画像Ｘ上の画素ｃ１を視点Ａから観たときの方位角をΦ１、画
像Ｐ上の画素ｃ２を視点Ａから観たときの方位角をΦ２とすると、
前記変換部は、画像Ｐの画素ｃ２を生成する場合に、点Ｃに焦点の合った画像を画像Ｘとして用い、
ＦＬ（ｆｐ）＝ＦＬ（ｆｘ）×ＣＬ（ｆｘ）÷ＣＬ（ｆｐ）
Ｆａ（ｆｐ）＝Ｆａ（ｆｘ）×Ｃａ（ｆｘ）÷Ｃａ（ｆｐ）
Ｆｂ（ｆｐ）＝Ｆｂ（ｆｘ）×Ｃｂ（ｆｘ）÷Ｃｂ（ｆｐ）
ｆｐ＝ｆｘ×Φ１÷Φ２
によりＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を計算し、
ＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を逆フーリエ変換することにより得られる明度Ｌ^＊、第一の色相ａ^＊、第二の色相ｂ^＊それぞれの分布から、画像Ｐの画素ｃ２の色座標を計算することを特徴とする画像生成装置である。

本発明によれば、観察者の注視点にピントが合い、且つ、自然な立体感を感じさせる画像を生成することができる。

実際の物体と画像を観たときに脳で認識される情報を模式的に示す図。 本発明の実施例に係る画像生成方法の原理を模式的に示す図。 物体Ｈ上の点Ｂを注視した状態と同じ認識情報を生じる画像Ｐを示す図。 全焦点画像Ｘから画像Ｐを生成する場合の考え方を示す図。 コントラスト感度関数の一例を示す図。 本発明の実施例に係る画像生成装置の一構成例を示す図。 本発明の実施例１に係る画像生成処理のフローチャート。 本発明の実施例２に係る画像生成処理のフローチャート。

前述した従来のアプローチの課題を解決するため、本発明は、人間の視覚の生理現象のモデルを用いる。人間は、水晶体をレンズとして外界を網膜上に結像し、網膜像を視細胞が感受するが、視細胞には光の波長ごとに感度が異なり、色を感知する三種類の錐体視細胞と明暗のみに反応する桿体細胞がある。これら視細胞から得られた情報は脳に伝達されるが、この伝達過程で網膜像の情報には視覚のコントラスト感度による変換が行われている。そのため、仮に、網膜像を完全に一致させることができたとしても、人間が認識する視覚情報が異なり、違うものとして感じる場合があり得る。

このことは、逆の見方をすれば、たとえ網膜像が異なっていたとしても、脳に伝達される情報が同じであれば、人間は被写体を同じものだと見なすことになる。従って、視覚のコントラスト感度による変換が行われた結果が同じになるようにすることで、人間に被写体を同じものだと認識させることができることになる。本発明は、この原理を用いて、画像を観る人間（観察者）の視線とコントラスト感度に基づいて、観察者に所望の感覚（認識、知覚）を与えるための画像を生成する方法を提案する。なお、観察者は実際の観察者でも仮想的な観察者でもよい。

本発明に係る方法によれば、コントラスト感度を考慮して、観察者の脳に伝達される情報を一致させるようにするので、実物を見た時と同じような感覚を抱かせる画像を生成することができる。すなわち、人間が被写体を観察した時の生理的、心理的な印象や、錯視や立体感などを含んだ画像を生成し、提示することができる。また、明度成分（輝度成分）と色成分のそれぞれについてコントラスト感度を考慮した変換を行うので、観察者（視点）からの距離もしくは焦点からのずれによるぼけ感だけでなく、明度や色のずれも再現でき、より実際の感覚に近い画像を得ることができる。

本発明に係る画像生成方法及び画像生成装置は、様々な応用が可能である。例えば、ソース画像（静止画像でも動画像でもよい）を元に、想定される観察者に合わせた出力用画像を生成してもよい。これは、ヘッドマウントディスプレイなどのように、観察者と出力用画像の間の相対位置が予め想定可能な場合に好適である。また、ソース画像を元に、観察者の実際の視線（注視点）の動きに追従して、出力用画像を更新してもよい。例えば、画像に奥行位置の異なる複数の被写体（背景の建物と近くにいる人物など）が含まれている場合に、観察者が視線を向けた（注視した）被写体にピントを合わせ、それ以外は自然なぼけ感や色ずれを与えた画像を生成し表示する。これにより、２Ｄディスプレイで立体感のある画像を再現することができる。さらに、３Ｄディスプレイ用の右目画像と左目画像のそれぞれを本発明の方法で生成してもよい。これにより、より自然な立体感をもつ３Ｄ表示が実現できる。

以下、本発明に係る画像生成方法及び画像生成装置の具体例について説明する。

＜実施例１＞
図１（Ａ）と図１（Ｂ）は、実際の物体と画像をそれぞれ観たときに脳で認識される情報を模式的に示す図である。図１（Ａ）を参照して、物体を人間が単眼で見た時に、網膜に形成される情報と脳に送られる情報を説明する。ここでは、画像として、２次元濃淡画像を想定している。

図１（Ａ）のレンズ３０は、眼の水晶体に相当する。レンズ３０から距離ｓだけ離れた位置にある円柱Ｑを見ている状態を示す。円柱Ｑの見込み角をΘ（Ｑ，ｓ）とする。見込み角とは、被写体が張る視角である。円柱Ｑは網膜３１上に結像され、視神経を経由し、網膜像のフーリエ変換Ｆ（Ｑ，ｓ，ｆ）に第１のコントラスト感度関数Ｃ（ｆ）が乗算され、認識情報Ｖ１として脳に伝達される。ｆは、見込み角Θ（Ｑ，ｓ）の範囲に基づき定義される空間周波数である。

図１（Ｂ）は、図１（Ａ）の円柱Ｑの画像Ｑ２の観察系を示している。図１（Ｂ）のレンズ３２も眼の水晶体に相当し、レンズ３２から距離ｔだけ離れた位置にある画像Ｑ２を見ている。画像Ｑ２の見込み角をΘ（Ｑ２，ｔ）とする。画像Ｑ２は網膜３３上に結像され、視神経を経由し、画像Ｑ２のフーリエ変換Ｆ（Ｑ２，ｔ，ｇ）に第２のコントラスト感度関数Ｃ（ｇ）が乗算され、認識情報Ｖ２として脳に伝達される。ｇは、見込み角Θ（Ｑ２，ｔ）の範囲に基づき定義される空間周波数である。

図１（Ａ）と図１（Ｂ）では、円柱Ｑの網膜像と画像Ｑ２の網膜像はレンズの原理から大きさが異なるが、もし脳に伝達される認識情報Ｖ１とＶ２が同じであるならば、円柱Ｑと画像Ｑ２上の円柱は同じものと認識されることになる。すなわち、画像Ｑ２を、実際の物体を見ているのと同じような自然の立体感をもつ画像として認識できる。

このような原理に基づく本実施例の画像生成処理を図２に模式的に示す。図２は、円柱Ｑのソース画像Ｑ１から画像Ｑ２を生成する処理を示している。図２の上段は、観察者が距離ｓに配置された画像Ｑ１を観たときの脳の内部の状態を示している。第１の画像Ｑ１の見込み角をΘ（Ｑ１，ｓ）、第２の画像Ｑ２の見込み角をΘ（Ｑ２，ｔ）とすると、
ｇ＝ｆ×Θ（Ｑ１，ｓ）÷Θ（Ｑ２，ｔ） 式１
であり、距離ｔの位置にある第２の画像Ｑ２を観察したときの網膜像のフーリエ変換は、
Ｆ（Ｑ２，ｔ，ｇ）＝Ｆ（Ｑ１，ｓ，ｆ）×Ｃ（ｆ）÷Ｃ（ｇ） 式２
のように逆算できる。

ここで、距離ｓと距離ｔがともに無限遠として扱える場合は、画像内の被写体の奥行位
置の差は無視して構わないので、１枚の画像Ｑ１から画像Ｑ２を計算できる。しかし、距離ｓと距離ｔのどちらかが有限距離の場合は、被写体の奥行位置ごとに個別に上記の計算を行うことが望ましい。観察者が注視している被写体上の点（注視点）はピントの合った画像となるが、その注視点と奥行位置が異なる部分はその奥行位置の差に応じた焦点ぼけや色ずれが生じた画像となるからである。任意の焦点ぼけや色ずれを含むソース画像を予め用意しておくことは現実的ではない。したがって本実施例では、全焦点画像、又は奥行方向の焦点位置を変えながら撮影した画像群（フォーカスブラケット画像、Ｚスタック画像と呼ばれる）をソース画像として用い、ピントの合った画素からその奥行位置に応じた焦点ぼけや色ずれをもつ画素を作る。全焦点画像とは画像内の全ての画素に焦点の合った画像であり、例えば全焦点カメラによって被写体を撮影することで得ることができる。あるいは、フォーカスブラケット画像から焦点の合った部分同士を合成することにより（この処理はフォーカススタッキングと呼ばれる）全焦点画像を得ることもできる。

以下、図面を用いて、全焦点画像の画素から任意の焦点ぼけや色ずれをもつ画素を生成する処理を説明する。

図３（Ａ）は、視点Ａから物体Ｈ上の点Ｂを注視する状態を示す図である。図３（Ｂ）は、視点Ａから点Ｂまでの距離が無限遠として扱えない場合に、観察者の脳内に図３（Ａ）の状態と同じ認識情報を生じさせる画像Ｐと、その画像Ｐを観る視点Ａの関係を示している。図３（Ｂ）のΘ２は、視点Ａから画像Ｐを観たときの見込み角である。

図３（Ａ）に示すように、注視点Ｂとは奥行位置が異なる物体Ｈ上の点Ｃを考える。点Ｄは、点Ｃから視線（視点Ａと注視点Ｂを通る直線）に下した垂線の足であり、視点Ａと点Ｄの間の距離が点Ｃの視線方向に沿った奥行位置を表す。観察者が注視点Ｂに視線を合わせたとき、物体Ｈ上の点Ｃはぼけて見える。画像Ｐでは、このような奥行位置に応じた焦点ぼけが再現されている必要がある。

図４（Ａ）は、画像内の全ての画素に焦点の合った全焦点画像Ｘを注視点Ｂと同じ奥行位置に配置し、視点Ａから画像Ｘを観る様子を示している。画像Ｘは画像Ｐと同じ解像度を有するものとする。図４（Ｂ）は、全焦点画像Ｘを注視点Ｂとは異なる奥行位置である点Ｃの位置に配置し、視点Ａから画像Ｘを観る様子を示している。図４（Ｃ）は、図４（Ｂ）と図３（Ｂ）を重ね合せた図である。点Ｃの位置に画像Ｘを配置した場合、画像Ｘの見込み角Θ１は画像Ｐの見込み角Θ２とは異なることがわかる。物体Ｈ上の点Ｂ、点Ｃは、それぞれ、画像Ｐでは画素ｂ２、画素ｃ２に対応し、画像Ｘでは画素ｂ１、画素ｃ１に対応する。

（１）注視点と同じ奥行位置にある画素の計算
まず、画像Ｐの画素ｂ２の色座標の計算方法について説明する。画像Ｐは、物体Ｈ上の点Ｂを注視したときの状態を再現する画像であるため、画像Ｐの画素ｂ２はピントが合った画素である。したがって、図４（Ａ）のように、全焦点画像Ｘの画素ｂ１をそのまま画像Ｐの画素ｂ２として用いることができる。注視点Ｂと同じ奥行位置にある画素、つまり、点Ｂを通り視線に直交する面（図３（Ｂ）の画像Ｐの面）と物体Ｈとが交わる線上の点に対応する画素はいずれも、全焦点画像Ｘの画素をそのまま用いればよい。

（２）注視点と異なる奥行位置にある画素の計算
次に、図２で説明した原理を用いて、注視点Ｂと異なる奥行位置にある画素の色座標を計算する方法を説明する。以下、代表して画像Ｐの画素ｃ２の色座標の計算方法について説明するが、注視点Ｂと異なる奥行位置にある画素はいずれも同様の方法で色座標を計算できる。

図４（Ｃ）のように、観察者が注視点Ｂに視線を合わせたとき、物体Ｈ上の点Ｃはぼけて見える。したがって、画像Ｐの画素ｃ２はピントの合っていない画素となる。画素ｃ２の色座標は、点Ｃの位置に全焦点画像Ｘを配置したときに脳で認識される情報と、点Ｂの位置に画像Ｐを配置したときに脳で認識される情報とが等しくなるように、画像Ｘから計算すればよい。画像Ｘの画素ｃ２を脳の中で認識することと、物体Ｈの点Ｃを脳の中で認識することは、等価と考えられるためである。このように、同じ対象を異なる条件で認識しても同じ物と認識することを「同一視」と呼ぶこととする。

本実施例では、視覚の関数の一例として、コントラスト感度関数を用いる。空間周波数をωで表すときの、視覚の明度Ｌ^＊のコントラスト感度関数をＣＬ（ω）、視覚の第一の色相ａ^＊のコントラスト感度関数をＣａ（ω）、視覚の第二の色相ｂ^＊のコントラスト感度関数をＣｂ（ω）と表記する。図５（Ａ）はＣＬ（ω）の特徴と用い方を定性的に説明する図であり、図５（Ｂ）はＣａ（ω）の特徴と用い方を定性的に説明する図であり、図５（Ｃ）はＣｂ（ω）の特徴と用い方を定性的に説明する図である。

点Ｃの位置に画像Ｘを配置し、視点Ａから画像Ｘを観たときの画像Ｘの見込み角Θ１の範囲内で定義される空間周波数をｆｘとする。空間周波数ｆｘにより画像Ｘの明度Ｌ^＊の分布Ｌ（Ｘ）をフーリエ変換した結果をＦＬ（ｆｘ）とする。同様に、空間周波数ｆｘにより画像Ｘの第一の色相ａ^＊の分布ａ（Ｘ）をフーリエ変換した結果をＦａ（ｆｘ）とし、画像Ｘの第二の色相ｂ^＊の分布ｂ（Ｘ）をフーリエ変換した結果をＦｂ（ｆｘ）とする。

点Ｂの位置に画像Ｐを配置し、視点Ａから画像Ｐを観たときの画像Ｐの見込み角Θ２の範囲内で定義される空間周波数をｆｐとする。空間周波数ｆｐにより画像Ｐの明度Ｌ^＊の分布Ｌ（Ｐ）をフーリエ変換した結果をＦＬ（ｆｐ）とする。同様に、空間周波数ｆｐにより画像Ｐの第一の色相ａ^＊の分布ａ（Ｐ）をフーリエ変換した結果をＦａ（ｆｐ）とし、画像Ｐの第二の色相ｂ^＊の分布ｂ（Ｐ）をフーリエ変換した結果をＦｂ（ｆｐ）とする。

同一視の条件が成立するためには、次の３式が成立する必要がある。
ＦＬ（ｆｐ）＝ＦＬ（ｆｘ）×ＣＬ（ｆｘ）÷ＣＬ（ｆｐ） 式３
Ｆａ（ｆｐ）＝Ｆａ（ｆｘ）×Ｃａ（ｆｘ）÷Ｃａ（ｆｐ） 式４
Ｆｂ（ｆｐ）＝Ｆｂ（ｆｘ）×Ｃｂ（ｆｘ）÷Ｃｂ（ｆｐ） 式５

なお、図４（Ｃ）で、画像Ｘ上の画素ｃ１を視点Ａから観察したときの方位角をΦ１とし、画像Ｐ上の画素ｃ２を視点Ａから観察したときの方位角をΦ２とすると、
ｆｐ＝ｆｘ×Φ１÷Φ２ 式６
である。

図５（Ａ）〜図５（Ｃ）に空間周波数ｆｐの範囲と空間周波数ｆｘの範囲の大小関係を示し、コントラスト感度関数ＣＬ（ω）、Ｃａ（ω）、Ｃｂ（ω）が適用される範囲を定性的に示す。画像Ｘ（点ｃ１）と画像Ｐ（点ｃ２）の奥行位置の違いにより、空間周波数ｆｘ、ｆｐの差が生じ、その差によって視覚のコントラスト感度に違いがでることがわかる。

式３〜式６により、画像ＸからＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）が計算できたら、それらを逆フーリエ変換し、明度Ｌ^＊、第一の色相ａ^＊、第二の色相ｂ^＊の分布Ｌ（Ｐ）、ａ（Ｐ）、ｂ（Ｐ）を得る。そして、分布Ｌ（Ｐ）、ａ（Ｐ）、ｂ（Ｐ）から点Ｃに対応する値を抽出することで、画像Ｐの画素ｃ２の色座標を得ることができる。なお、ここで求められた分布Ｌ（Ｐ）、ａ（Ｐ）、ｂ（Ｐ）は、点Ｃの位置に配置した画像Ｘ
を点Ｂを注視しながら観察したときに感じる色分布を表している。したがって、分布Ｌ（Ｐ）、ａ（Ｐ）、ｂ（Ｐ）から抽出できるのは、画素ｃ２の色座標（及びそれと同じ奥行位置を示す画素）だけであることに注意されたい。それ以外の画素の色座標については、各々の奥行位置に関して式６〜式９の計算を行えばよい。すなわち、画像Ｘを配置する奥行位置を少しずつ変更しながら、式３〜式６の計算を繰り返し、各々の奥行位置に存在する物体Ｈ上の点の色座標を計算し、それらを集めて画像Ｐを構成することができる。

なお、本実施例では画像Ｘとして全焦点画像を用いるため、色座標を計算する点の奥行位置に合わせて配置した画像Ｘから式３〜式６の計算を行う。これに対し、全焦点画像の代わりにフォーカスブラケット画像を用いる場合には、フォーカスブラケット画像のなかから色座標を計算する点の奥行位置に焦点の合った画像を画像Ｘとして取り出し、その画像Ｘを用いて式３〜式６の計算を行えばよい。すなわち、画像Ｘとしては、色座標を計算する点（上記例では物体Ｈ上の点Ｃ）に少なくとも焦点の合った画像であれば、どのような画像を用いてもよい。

（画像処理装置の構成例）
図６に、上述した画像生成処理を実現する画像生成装置の一構成例を示す。画像生成装置１は、画像取得部１０、視線情報取得部１１、コントラスト感度ＤＢ（データベース）１２、変換部１３、表示部１４などの機能ブロックを有している。

画像取得部１０は、ソース画像（第一の画像）のデータを取得する機能を有する。ソース画像としては、全焦点画像又はフォーカスブラケット画像などが用いられる。また、画像に含まれる物体上の各点の奥行位置を表す奥行情報も併せて取得される。奥行情報としては、例えば、画素ごとの奥行距離を示すデプスマップなどが好ましい。視線情報取得部１１は、観察者の視線情報を取得する機能を有する。視線情報は、例えば、物体上の注視点（観察者の視線と画像の交点）の座標、注視点の奥行位置（視点から注視点までの距離）などで与えられる。コントラスト感度ＤＢ１２は、さまざまな条件のコントラスト感度関数のデータが登録されているデータベースである。コントラスト感度関数は、人（観察者）ごとに違いがあり、厳密にいうと、同じ人でも右目と左目で違いがある。また、観察者と物体の間の距離や環境光（明るさ）などの観察条件によっても、コントラスト感度関数に違いがでる。よって、コントラスト感度ＤＢ１２には、人、眼（右目・左目）、観察条件（距離、環境光）などの条件ごとに、コントラスト感度関数が用意されているとよい。変換部１３は、前述した画像生成方法によりソース画像から出力用画像（第二の画像）を生成する機能を有する。表示部１４は、ソース画像や出力用画像の表示、条件入力用のＧＵＩの表示などを行うための機能を有する。

画像生成装置１は、ＣＰＵ（中央演算処理装置）、ＲＡＭ（主記憶装置）、補助記憶装置（ハードディスクドライブなど）、入力装置（マウス、キーボードなど）、表示装置、通信ＩＦなどを具備した汎用のコンピュータにより構成することができる。補助記憶装置には、オペレーティングシステム（ＯＳ）などの基本プログラムの他、前述した画像生成方法を実現するためのプログラムが格納されている。画像生成装置１の稼働時には、ＣＰＵがこれらのプログラムを読み込み、実行することで、図６に示す各ブロックの機能が実現される。ただし、ここで述べた構成は一例であり、図６に示す機能の一部又は全部をＡＳＩＣやＦＰＧＡなどの回路で実現したり、ネットワーク上のサーバ（クラウド含む）で実現しても構わない。

図７は、画像生成処理の流れを示すフローチャートである。図７に沿って、画像生成装置１の動作を説明する。

まず、画像取得部１０が、ソース画像のデータを読み込む（ステップＳ２０）。例えば
、ソース画像のデータとして、全焦点画像Ｘと奥行情報が取得される。画像データの取得先は、装置内部の記憶装置、外部装置や記憶媒体、ネットワークストレージなどどこでもよい。あるいは、撮像装置やスキャナなどの画像入力デバイスから画像データを取得してもよい。

次に、視線情報取得部１１が、視線情報を取得する（ステップＳ２１）。視線情報取得部１１は、ユーザによって入力された視線情報を取得してもよいし、予め記憶されている視線情報を記憶装置から読み込んでもよい。あるいは、視線情報取得部１１は、距離センサによって表示装置を観ている観察者までの距離を計測したり、視線センサによって観察者の視線を検知し、それらのセンシングデータから視線情報を取得してもよい。

次に、変換部１３が、全焦点画像Ｘ、奥行情報、視線情報に基づいて、注視点に合わせた焦点ぼけ及び色ずれをもつ出力用画像Ｐを生成する（ステップＳ２２）。最後に、表示部１４が、出力用画像Ｐを表示装置に表示する（ステップＳ２３）。このようにして表示される画像Ｐは、注視点にピントが合い、且つ、奥行位置に応じた焦点ぼけや色ずれをもつ画像であるため、観察者は自然な立体感を感じることができる。

物体Ｈと画像Ｐの間で同一視の状態を保つためには、視点Ａと物体Ｈ上の点Ｂの距離と、視点Ａと画像Ｐ上の画素ｂ２の距離とが等しいことが最も望ましい。したがって、画像Ｐを表示装置に表示する場合に、観察者の実際の視点から画像Ｐの表示面までの距離が、視点Ａと物体Ｈ上の点Ｂの間の距離と同じになるように、画像Ｐの表示面の位置を決めるとよい。これを実現するための構成としては、例えば、次のような構成を採ることができる。一つは、表示装置の画面と観察者の視点との間の位置関係を実質的に固定する構成である。例えばヘッドマウントディスプレイ、ウェアラブルタイプのディスプレイなどがこれに該当する。この場合、視線情報は固定値となるので、予め画像生成装置の記憶装置などに視線情報を設定しておくことができる。二つ目は、距離センサによって表示装置と観察者の間の距離を計測し、その計測した距離に合わせて画像Ｐを生成する構成である。この構成の場合、観察者の注視点を厳密に設定する必要はなく、例えば、画像の中心、画像内の被写体の中心、画像内の最も目立つ点（最も輝度の高い点、最も動きの大きい点など）を注視点に設定してもよい。三つ目は、視線センサによって観察者の視線方向を検知し、観察者の視線と画像面の交点を計算し、交点の座標と奥行情報とから注視点の奥行位置を計算する構成である。例えば、観察者の視線の動きに追従するように画像Ｐを更新・表示すれば、観察者の観る位置に応じてピントの合う位置やぼける位置が動的に変わるので、２Ｄディスプレイで立体感のある画像を再現することができる。

＜実施例２＞
実施例２では、３Ｄディスプレイ用の左目画像Ｐｌと右目画像Ｐｒを生成する方法について説明する。図８は、実施例２の画像生成方法の流れを示すフローチャートである。画像生成装置の基本構成は実施例１のもの（図６）と同様のため説明を省略する。

まず、画像取得部１０が、全焦点画像のデータを取得する（ステップＳ３０）。画像データの取得先は、装置内部の記憶装置、外部装置や記憶媒体、ネットワークストレージなどどこでもよい。あるいは、３Ｄ撮像装置や３Ｄスキャナなどの画像入力デバイスから画像データを取得してもよい。

続いて、画像取得部１０が、全焦点画像の奥行情報を取得する（ステップＳ３１）。奥行情報としては、全焦点画像の画素毎の奥行位置（奥行距離）が記録されたデプスマップや、全焦点画像に写る被写体の３次元形状データなどを用いるとよい。

次に、視線情報取得部１１が、視線センサを用いて観察者の左目の視線情報を取得する
（ステップＳ３２）。視線情報取得部１１は、左目の視点位置と視線方向とから注視点の位置を計算する。そして、変換部１３が、左目の注視点に合わせた左目画像Ｐｌを生成する（ステップＳ３３）。左目画像Ｐｌの生成方法は実施例１で述べた方法と同じである。

同じ様に、視線情報取得部１１は、視線センサを用いて観察者の右目の視線情報を取得し、右目の視点位置と視線方向とから注視点の位置を計算する（ステップＳ３４）。そして、変換部１３が、右目の注視点に合わせた右目画像Ｐｒを生成する（ステップＳ３５）。右目画像Ｐｒの生成方法は実施例１で述べた方法と同じである。

表示部１４は、左目画像Ｐｌと右目画像Ｐｒを３Ｄ表示装置に表示する（ステップＳ３６）。３Ｄ表示装置の方式には、眼鏡式、空間分割表示、時分割表示など様々な方式があるが、いずれでも構わない。左目と右目では、注視点の位置、注視点までの距離、見込み角、方位角などに違いがあり、このような違いにより左目で認識する画像と右目で認識する画像とではぼけや色に差が生まれ、これが立体感として感じられる。本実施例の方法によれば、このような左目と右目の間の視差を考慮した左目画像と右目画像が生成されるため、より自然な立体感をもつ立体映像を形成することができる。

１：画像生成装置、１０：画像取得部、１１：視線情報取得部、１３：変換部

Claims (7)

1. 物体上のある点を注視したときに認識される視覚情報を再現する画像を生成する画像生成方法であって、
   前記物体の第一の画像を取得するステップと、
   前記物体上の各点の奥行位置を表す奥行情報を取得するステップと、
   前記物体に対する観察者の注視点を表す視線情報を取得するステップと、
   前記第一の画像、前記奥行情報、および、前記視線情報に基づき、実際の物体上の前記注視点を注視したときに認識される視覚情報を再現する第二の画像を生成する生成ステップと、を有し、
   観察者の視点をＡとし、
   前記第一の画像をＸ、前記第二の画像をＰとし、
   前記物体上の前記注視点をＢ、注視点Ｂとは異なる奥行位置にある前記物体上の点をＣとし、
   点Ｃの位置に画像Ｘを配置し、視点Ａから画像Ｘを観たときの画像Ｘの見込み角の範囲内で定義される空間周波数をｆｘとし、
   注視点Ｂの位置に画像Ｐを配置し、視点Ａから画像Ｐを観たときの画像Ｐの見込み角の範囲内で定義される空間周波数をｆｐとし、
   空間周波数をωで表すときの、視覚の明度Ｌ^＊のコントラスト感度関数をＣＬ（ω）、視覚の第一の色相ａ^＊のコントラスト感度関数をＣａ（ω）、視覚の第二の色相ｂ^＊のコントラスト感度関数をＣｂ（ω）とし、
   空間周波数ｆｘにより画像Ｘの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｘ）とし、
   空間周波数ｆｐにより画像Ｐの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｐ）とし、
   画像Ｘにおいて点Ｃに対応する画素を画素ｃ１、画像Ｐにおいて点Ｃに対応する画素を画素ｃ２とし、
   画像Ｘ上の画素ｃ１を視点Ａから観たときの方位角をΦ１、画像Ｐ上の画素ｃ２を視点Ａから観たときの方位角をΦ２とすると、
   前記生成ステップでは、画像Ｐの画素ｃ２を生成する場合に、
   点Ｃに焦点の合った画像を画像Ｘとして用い、
   ＦＬ（ｆｐ）＝ＦＬ（ｆｘ）×ＣＬ（ｆｘ）÷ＣＬ（ｆｐ）
   Ｆａ（ｆｐ）＝Ｆａ（ｆｘ）×Ｃａ（ｆｘ）÷Ｃａ（ｆｐ）
   Ｆｂ（ｆｐ）＝Ｆｂ（ｆｘ）×Ｃｂ（ｆｘ）÷Ｃｂ（ｆｐ）
   ｆｐ＝ｆｘ×Φ１÷Φ２
   によりＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を計算し、
   ＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を逆フーリエ変換することにより得られる明度Ｌ^＊、第一の色相ａ^＊、第二の色相ｂ^＊それぞれの分布から、画像Ｐの画素ｃ２の色座標を計算する
   ことを特徴とする画像生成方法。
2. 画像Ｘにおいて注視点Ｂに対応する画素を画素ｂ１、画像Ｐにおいて注視点Ｂに対応する画素をｂ２とすると、
   前記生成ステップでは、画像Ｐの画素ｂ２を生成する場合に、
   点Ｂに焦点の合った画像を画像Ｘとして用い、
   画像Ｘの画素ｂ１をそのまま画像Ｐの画素ｂ２として用いる
   ことを特徴とする請求項１に記載の画像生成方法。
3. 前記第一の画像は、全焦点画像、又は、奥行方向の焦点位置を変えながら撮影した画像群である
   ことを特徴とする請求項１又は２に記載の画像生成方法。
4. 画像Ｐを表示装置に表示する表示ステップをさらに有し、
   前記表示ステップでは、観察者の実際の視点から画像Ｐの表示面までの距離が、視点Ａと前記物体上の点Ｂの間の距離と同じになるように、画像Ｐの表示面の位置が決められることを特徴とする請求項１〜３のうちいずれか１項に記載の画像生成方法。
5. 前記視線情報を取得するステップでは、観察者の左目の視線情報と右目の視線情報が取得され、
   前記生成ステップでは、前記第二の画像として、前記左目の視線情報に基づく左目画像と、前記右目の視線情報に基づく右目画像とが生成される
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像生成方法。
6. 請求項１〜５のうちいずれか１項に記載の画像生成方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
7. 物体上のある点を注視したときに認識される視覚情報を再現する画像を生成する画像生成装置であって、
   前記物体の第一の画像および前記物体上の各点の奥行位置を表す奥行情報を取得する画像取得部と、
   前記物体に対する観察者の注視点を表す視線情報を取得する視線情報取得部と、
   前記第一の画像、前記奥行情報、および、前記視線情報に基づき、実際の物体上の前記注視点を注視したときに認識される視覚情報を再現する第二の画像を生成する変換部と、を有し、
   観察者の視点をＡとし、
   前記第一の画像をＸ、前記第二の画像をＰとし、
   前記物体上の前記注視点をＢ、注視点Ｂとは異なる奥行位置にある前記物体上の点をＣとし、
   点Ｃの位置に画像Ｘを配置し、視点Ａから画像Ｘを観たときの画像Ｘの見込み角の範囲内で定義される空間周波数をｆｘとし、
   注視点Ｂの位置に画像Ｐを配置し、視点Ａから画像Ｐを観たときの画像Ｐの見込み角の範囲内で定義される空間周波数をｆｐとし、
   空間周波数をωで表すときの、視覚の明度Ｌ^＊のコントラスト感度関数をＣＬ（ω）、視覚の第一の色相ａ^＊のコントラスト感度関数をＣａ（ω）、視覚の第二の色相ｂ^＊のコントラスト感度関数をＣｂ（ω）とし、
   空間周波数ｆｘにより画像Ｘの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｘ）、空間周波数ｆｘにより画像Ｘの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｘ）とし、
   空間周波数ｆｐにより画像Ｐの明度Ｌ^＊の分布をフーリエ変換した結果をＦＬ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第一の色相ａ^＊の分布をフーリエ変換した結果をＦａ（ｆｐ）、空間周波数ｆｐにより画像Ｐの第二の色相ｂ^＊の分布をフーリエ変換した結果をＦｂ（ｆｐ）とし、
   画像Ｘにおいて点Ｃに対応する画素を画素ｃ１、画像Ｐにおいて点Ｃに対応する画素を画素ｃ２とし、
   画像Ｘ上の画素ｃ１を視点Ａから観たときの方位角をΦ１、画像Ｐ上の画素ｃ２を視点
   Ａから観たときの方位角をΦ２とすると、
   前記変換部は、画像Ｐの画素ｃ２を生成する場合に、
   点Ｃに焦点の合った画像を画像Ｘとして用い、
   ＦＬ（ｆｐ）＝ＦＬ（ｆｘ）×ＣＬ（ｆｘ）÷ＣＬ（ｆｐ）
   Ｆａ（ｆｐ）＝Ｆａ（ｆｘ）×Ｃａ（ｆｘ）÷Ｃａ（ｆｐ）
   Ｆｂ（ｆｐ）＝Ｆｂ（ｆｘ）×Ｃｂ（ｆｘ）÷Ｃｂ（ｆｐ）
   ｆｐ＝ｆｘ×Φ１÷Φ２
   によりＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を計算し、
   ＦＬ（ｆｐ）、Ｆａ（ｆｐ）、Ｆｂ（ｆｐ）を逆フーリエ変換することにより得られる明度Ｌ^＊、第一の色相ａ^＊、第二の色相ｂ^＊それぞれの分布から、画像Ｐの画素ｃ２の色座標を計算する
   ことを特徴とする画像生成装置。

Images