JP2000354257A - 画像処理装置、画像処理方法、およびプログラム提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 現実感を増大させた三次元画像を提示するこ
とを可能とした画像処理装置、画像処理方法を提供す
る。 【解決手段】 三次元画像をユーザに対して提示する画
像表示構成において、左右それぞれの眼の注視点位置情
報、および提示画像の距離情報に基づいて、注視点の距
離にある物体、シーンについて焦点を合わせた画像と
し、それ以外の注視点距離と異なる距離にある物体、シ
ーンについては注視点の距離からの距離差に応じた焦点
ぼけ処理を施した画像を提示するように構成した。本構
成により、現実の三次元空間に近い感覚で画像を提示す
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、お
よび画像処理方法に関する。特にコンピュータグラフィ
ックス等、三次元情報画像を提示するシステムにおい
て、実空間の観察により近い感覚の三次元画像を提示す
ることを可能とした画像処理装置、画像処理方法に関す
る。さらに詳細にはユーザの視点位置情報に応じて、焦
点の合った画像、および焦点の合致しない、すなわちぼ
けを発生させた画像を生成し提示するように制御するこ
とにより、より実空間観察に近い三次元画像を提示する
ことを可能とした画像処理装置、画像処理方法に関す
る。

【０００２】

【従来の技術】立体画像を提示する手法の１つとして、
左右両眼の視差を持たせた２つの画像を生成し、これら
を左右の目の各々に提示する方法がある。例えば、左右
の眼の視差を考慮して生成された２枚の画像を頭部装着
型ディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ
Ｄｉｓｐｌａｙ）を装着したユーザの左右の眼に提示す
ることで画像中の物体、シーンを立体的に見せることが
行われている。

【０００３】左右の目の視差を考慮して立体画像を提示
する複数の従来手法について図１を用いて説明する。図
１（ａ）は、主にテレビ会議や遠隔操作ロボットの視覚
といった分野で多く応用されている例であり、例えばユ
ーザに遠隔地の状況を立体的に提示するために用いられ
る。図１（ａ）に示すように位置関係の固定された２台
のカメラ１０１，１０２で同一対象を同時に撮影する。
例えば光軸を平行に配置して同じ物体、シーンを個々に
撮影し、それぞれ独自の画像を撮り込む。２台のカメラ
１０１，１０２は視差を考慮してその配置位置が決定さ
れ、カメラ１０１は左眼用画像、カメラ１０２は右眼用
画像を撮り込む。それぞれのカメラにおいて撮影された
画像は２つの画像表示部、すなわち左眼用の画像表示部
Ｌ，１０３、右眼用の画像表示部Ｒ，１０４に表示さ
れ、ユーザは左眼ではカメラ１０１において撮像された
画像、右眼ではカメラ１０２において撮像された画像を
観察することで、実際に物体またはシーンを肉眼で見て
いると同様の立体感を味わうことができる。

【０００４】図１（ｂ）は、バーチャル・リアリティ
（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、またはミ
ックスド・リアリティ（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉ
ｔｙ）と呼ばれる分野での応用例であり、計算機内に作
られた３次元空間を仮想的にユーザに提示したり、ある
いは図１（ｂ）のシステムで撮像された現実空間画像に
コンピュータ合成３次元画像を重畳してユーザに提示す
ることを可能とした構成である。図１（ｂ）の３次元情
報蓄積部１０５には、計算機内の仮想３次元空間に定義
されたシーンまたはオブジェクト等を定義する３次元情
報が蓄積され、この３次元情報に基づいて視差画像生成
部１０６において左眼用画像と右眼用画像とが生成され
る。視差画像生成部１０６において生成される左眼用画
像と右眼用画像は、それぞれの視線方向から例えば仮想
オブジェクトを観察したと仮定して３次元情報蓄積部１
０５の蓄積情報に基づいて生成される２つの異なる画像
データである。これら左眼用画像と右眼用画像はそれぞ
れ２つの画像表示部、すなわち左眼用の画像表示部Ｌ，
１０７、右眼用の画像表示部Ｒ，１０８に表示され、ユ
ーザは計算機内に作られた３次元空間上における仮想３
次元画像としてのバーチャル・リアリティ（ＶＲ）画
像、またはカメラ等で撮像された現実空間画像と合成さ
れたミックスド・リアリティ（ＭＲ）画像として観察可
能となる。ＭＲの手法としては、上述のようにカメラで
撮り込んだ画像を使用するものの他、ユーザが直接観察
している世界にハーフミラー等を用いて仮想物体を重畳
するシースルー型（例えば、「現実世界と仮想空間の位
置合わせ手法」佐藤清秀他、画像の認識・理解シンポジ
ウム、平成１０年７月、参照）と呼ばれる構成もある。

【０００５】図１（ｃ）は、３Ｄ映画等に用いられる手
法であり、予め左眼用画像と右眼用画像とをそれぞれの
画像データとして画像蓄積部Ｌ，１０９、画像蓄積部
Ｒ，１１０に蓄積し、これら２つの画像データを同期さ
せて画像表示部Ｌ，１１１、画像表示部Ｒ，１１２に表
示する構成である。

【０００６】上述の図１に示す例は、いずれも左右の眼
に別々の画像を表示して立体画像の提示を行なう構成で
あるが、画像表示部を２つ持たずに１つの画像表示部で
立体画像の提示を実現する方法もある。これは、例えば
ユーザが左右の眼に入ってくる光の偏光面が垂直になる
ようにしためがねを装着し、左右の眼のそれぞれに提示
すべき画像に偏光をかけて表示し、左右の眼にそれぞれ
の視点から観察した画像を提示する方法や、液晶シャッ
タ等を用いて左右の眼に入ってくる光を透過したり遮断
したりできるメガネを装着し、左右の眼それぞれに提示
すべき画像を時系列で高速に交互に表示して左右の眼に
それぞれの視点から観察した画像を提示する方法等があ
る。

【０００７】

【発明が解決しようとする課題】上述の従来技術は、左
右両眼の視差を考慮した２つの画像データをユーザの左
右の眼、各々に対応させて提示することで立体感を表現
したものである。しかしながら、人が立体感を得るため
に必要な情報は視差のみではない。人は現実の三次元空
間を眼で見る場合、眼のレンズの役割をしている水晶体
の厚みを調節することで、注視点の像に焦点を合わせ
る。従って注視点以外の像は注視点の像との距離に応じ
て焦点がずれた状態となり、人の眼にはぼやけた像、す
なわちピントのぼけた像として撮らえられる。従来の３
次元画像提示装置においては、この焦点（ピント）のぼ
けが考慮されておらず、ユーザの左右の眼にはユーザの
注視点に関わらず、例えば表示画像に含まれる距離の異
なる複数のオブジェクト画像のほとんどの輪郭が明確に
提示され、画像を観察するユーザに違和感を発生させて
いた。

【０００８】このように、従来の３次元画像提示装置
は、多くの場合、注視点以外の領域画像に含まれる視点
からの距離が異なる物体についても注視点対象オブジェ
クトと同様、輪郭のはっきりした像を提示する。従っ
て、ユーザが視点を合わせていない、すなわち注視点以
外の多数の像が明瞭な輪郭を形成してユーザに撮らえれ
ることになる。このような構成は三次元画像を観察する
ユーザに違和感を生じさせるばかりでなく、ユーザの眼
に負担をかけユーザの疲労を増大させる原因となってい
た。

【０００９】本発明は、このような従来技術に鑑みてな
されたものであり、立体画像を観察するユーザの注視点
位置を取得し、表示画像に含まれる注視点以外の領域の
画像について、注視点の対象となっている要素である物
体、シーンとの距離に応じて画像にぼけを発生させ、こ
れをユーザに対する提示画像とすることによって、より
実空間に近い立体画像を提示することを可能とした画像
処理装置、画像処理方法、およびプログラム提供媒体を
提供することを目的とする。

【００１０】さらに、本発明は、ユーザの注視点位置を
取得し、注視点の対象となっている像の焦点を合わせる
とともに、表示画像に含まれる注視点以外の領域の画像
については、注視点の像との距離に応じて画像にぼけを
発生させ、これをユーザに対する提示画像とすることし
て、ユーザの網膜上に形成される像を実空間において肉
眼観察を行なった状態に近似させることを可能として、
３次元画像を観察するユーザに違和感を生じさせず、ユ
ーザの眼の負担、疲労感を軽減することの可能な画像処
理装置、画像処理方法、およびプログラム提供媒体を提
供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、三次元
画像生成処理を実行する画像処理装置において、画像表
示手段における注視点位置を取得する注視点取得手段
と、前記画像表示手段における表示画像に関する三次元
情報に基づいて焦点ぼけ画像を生成する焦点ぼけ画像生
成手段とを有し、前記焦点ぼけ画像生成手段は、前記画
像表示手段における注視点位置に対応する画素位置に含
まれる表示要素の視点からの距離を基準距離とし、前記
基準距離との差異が予め定められた閾値を超える前記画
像表示手段における表示要素について、焦点ぼけ画像生
成処理を行なう構成を有することを特徴とする画像処理
装置にある。

【００１２】さらに、本発明の画像処理装置の一態様に
おいて、前記焦点ぼけ画像生成手段における焦点ぼけ画
像生成処理は、前記基準距離との差異である距離差に応
じて異なる焦点ぼけ画像生成処理を実行する構成である
ことを特徴とする。

【００１３】さらに、本発明の画像処理装置の一態様に
おいて、前記焦点ぼけ画像生成手段は、前記注視点取得
手段によって取得される画像表示手段における注視点の
画素位置をｉｓ、前記三次元情報に基づいて求められる
前記画素位置ｉｓの視点からの距離を基準距離：Ｒ（ｉ
ｓ）とし、前記画像表示手段における任意の画素ｉの視
点からの距離をＲ（ｉ）としたとき、前記任意の画素ｉ
の前記基準距離との差異：Ｒ（ｉｓ）−Ｒ（ｉ）に基づ
いて、前記任意の画素ｉを含む周辺領域の画素の輝度値
を変更することにより焦点ぼけ画像生成処理を実行する
構成であることを特徴とする。

【００１４】さらに、本発明の画像処理装置の一態様に
おいて、前記焦点ぼけ画像生成手段は、前記注視点取得
手段によって取得される画像表示手段における画素位置
をｉｓとし、前記三次元情報に基づいて求められる画素
位置ｉｓの視点からの距離を基準距離：Ｒ（ｉｓ）と
し、任意の画素ｉの視点からの距離をＲ（ｉ）としたと
き、前記表示手段における画素ｉにおけるぼけ量ζ
（ｉ）を、下記式（数１）、

【数７】 によって求め、さらに、画素ｉを中心として規定される
領域Ｗの半径ｒ（ｉ）を、任意に設定可能なパラメータ
ａを用いて、下記式、（数２）、

【数８】 によって求め、さらにｊを領域Ｗに含まれる画素、Ｎを
領域Ｗに含まれる画素数として、画素ｉにおける元の輝
度値をＩ（ｉ）としたとき、ぼけ画像生成処理後の輝度
値Ｂ（ｉ）を、下記式（数３）、

【数９】 によって求め、輝度値Ｂ（ｉ）を画素ｉの輝度値として
決定する処理を実行する構成を有することを特徴とす
る。

【００１５】さらに、本発明の第２の側面は、視差に応
じた左眼用画像を表示する第１の画像表示手段と、視差
に応じた右眼用画像を表示する第２の画像表示手段と、
前記第１の画像表示手段における左眼の注視点位置、お
よび前記第２の画像表示手段における右眼の注視点位置
を取得する注視点取得手段とを有し、前記焦点ぼけ画像
生成手段は、前記第１の画像表示手段と前記第２の画像
表示手段における表示画像に関する三次元情報に基づい
て焦点ぼけ画像を生成する構成を有し、前記第１の画像
表示手段における左眼の注視点位置に対応する位置の表
示要素の視点からの距離を左眼画像の基準距離とし、該
左眼画像の基準距離との差異に応じた焦点ぼけ画像生成
処理を前記第１の画像表示手段における表示画像に施
し、前記第２の画像表示手段における右眼の注視点位置
に対応する位置の表示要素の視点からの距離を右眼画像
の基準距離とし、該右眼画像の基準距離との差異に応じ
た焦点ぼけ画像生成処理を前記第２の画像表示手段にお
ける表示画像に施す構成を有することを特徴とする画像
処理装置にある。

【００１６】さらに、本発明の画像処理装置の一態様
は、視差に応じた画像を撮り込む複数の撮像手段とし
て、左眼の視線からの視線画像を撮り込む第１の撮像手
段と、右眼の視線からの視線画像を撮り込む第２の撮像
手段とを有することを特徴とする。

【００１７】さらに、本発明の画像処理装置の一態様
は、前記第１の撮像手段と前記第２の撮像手段によって
撮り込まれる複数の画像に基づいて、前記第１の画像表
示手段と前記第２の画像表示手段における表示画像に関
する三次元情報を生成する三次元情報生成手段とを有す
ることを特徴とする。

【００１８】さらに、本発明の画像処理装置の一態様
は、前記第１の画像表示手段と前記第２の画像表示手段
における表示画像に関する三次元情報を記憶した三次元
情報蓄積手段を有し、前記焦点ぼけ画像生成手段は、前
記三次元情報蓄積手段に蓄積された三次元情報および前
記注視点取得手段によって取得された注視点情報に基づ
いて焦点ぼけ画像生成処理を実行する構成を有すること
を特徴とする。

【００１９】さらに、本発明の画像処理装置の一態様
は、前記三次元情報蓄積手段の蓄積情報に基づいて前記
第１の画像表示手段と前記第２の画像表示手段に提供す
る異なる２つの視差画像を生成する視差画像生成手段を
有し、前記焦点ぼけ画像生成手段は、前記三次元情報蓄
積手段に蓄積された三次元情報および前記注視点取得手
段によって取得された注視点情報に基づいて、前記視差
画像生成手段の生成した視差画像に対する焦点ぼけ画像
生成処理を実行する構成を有することを特徴とする。

【００２０】さらに、本発明の画像処理装置の一態様
は、左右各々の視点位置に対応する画像を蓄積した画像
蓄積手段を有することを特徴とする。

【００２１】さらに、本発明の第３の側面は、前記画像
表示手段は単一の画像表示手段によって構成され、前記
注視点取得部は左右の眼の注視点平均、または左右の眼
いずれかの注視点を注視点情報として取得する構成を有
し、前記焦点ぼけ画像生成手段は、前記画像表示手段に
おける表示画像に関する三次元情報に基づいて、前記注
視点取得部から受領する注視点情報の示す位置の表示要
素の視点からの距離を基準距離として決定するととも
に、該基準距離との差異に応じた焦点ぼけ画像生成処理
を前記画像表示手段における表示画像に施すことを特徴
とする画像処理装置にある。

【００２２】さらに、本発明の画像処理装置の一態様
は、三次元情報を取得する三次元情報取得手段を有し、
前記焦点ぼけ画像生成手段は、前記三次元情報取得手段
において取得された三次元情報を用いて焦点ぼけ画像を
生成する構成を有することを特徴とする。

【００２３】さらに、本発明の画像処理装置の一態様
は、前記単一の画像表示手段における表示画像に関する
三次元情報を記憶した三次元情報蓄積手段を有し、前記
焦点ぼけ画像生成手段は、該三次元情報蓄積手段に蓄積
された三次元情報および注視点取得手段によって取得さ
れた注視点情報に基づいて焦点ぼけ画像生成処理を実行
する構成を有することを特徴とする。

【００２４】さらに、本発明の画像処理装置の一態様
は、前記三次元情報蓄積手段の蓄積情報に基づいて、前
記単一の画像表示手段に対する視線方向に基づく画像を
生成する画像生成手段を有し、前記焦点ぼけ画像生成手
段は、前記三次元情報蓄積手段に蓄積された三次元情報
および注視点取得手段によって取得された注視点情報に
基づいて、前記画像生成手段の生成した画像に対する焦
点ぼけ画像生成処理を実行する構成を有することを特徴
とする。

【００２５】さらに、本発明の画像処理装置の一態様
は、前記単一の画像表示手段に対して提供するソース画
像を蓄積した画像蓄積手段を有することを特徴とする。

【００２６】さらに、本発明の画像処理装置の一態様に
おいて、前記三次元情報は、同一対象を異なる視線方向
から撮り込む基準カメラと参照カメラによって撮り込ま
れる複数の画像データに基づくステレオ法を適用して得
られる三次元情報、または参照カメラを複数用いたマル
チベースラインステレオ法によって得られる三次元情
報、またはスリット光による光切断法によって得られる
三次元情報、またはモアレを用いた方法によって得られ
る三次元情報、またはパターン光照射による距離計測方
法によって得られる三次元情報のいずれかの方法によっ
て得られる三次元情報であることを特徴とする。

【００２７】さらに、本発明の第４の側面である画像処
理方法は、三次元画像生成処理を実行する画像処理方法
において、画像表示手段における注視点位置を取得する
注視点取得処理ステップと、前記画像表示手段における
表示画像に関する三次元情報に基づいて焦点ぼけ画像を
生成する焦点ぼけ画像生成ステップとを有し、前記焦点
ぼけ画像生成ステップは、前記画像表示手段における注
視点位置に対応する位置の表示要素の視点からの距離を
基準距離として求めるステップと、前記基準距離との差
異が予め定められた閾値を超える前記画像表示手段にお
ける表示要素について、焦点ぼけ画像生成処理を行なう
ステップとを有することを特徴とする画像処理方法にあ
る。

【００２８】さらに、本発明の画像処理方法の一態様に
おいて、前記焦点ぼけ画像生成ステップにおける焦点ぼ
け画像生成処理は、前記基準距離との差異である距離差
に応じて異なる焦点ぼけ画像生成処理を実行することを
特徴とする。

【００２９】さらに、本発明の画像処理方法の一態様に
おいて、前記焦点ぼけ画像生成ステップは、前記注視点
取得ステップにおいて取得される画像表示手段における
注視点の画素位置をｉｓ、前記三次元情報に基づいて求
められる前記画素位置ｉｓの視点からの距離を基準距
離：Ｒ（ｉｓ）とし、前記画像表示手段における任意の
画素ｉの視点からの距離をＲ（ｉ）としたとき、前記任
意の画素ｉの前記基準距離との差異：Ｒ（ｉｓ）−Ｒ
（ｉ）に基づいて、前記任意の画素ｉを含む周辺領域の
画素の輝度値を変更することにより焦点ぼけ画像生成処
理を実行することを特徴とする。

【００３０】さらに、本発明の画像処理方法の一態様に
おいて、前記焦点ぼけ画像生成ステップは、前記注視点
取得ステップにおいて取得される画像表示手段における
画素位置をｉｓとし、前記三次元情報に基づいて求めら
れる画素位置ｉｓの視点からの距離を基準距離：Ｒ（ｉ
ｓ）とし、任意の画素ｉの視点からの距離をＲ（ｉ）と
したとき、前記表示手段における画素ｉにおけるぼけ量
ζ（ｉ）を、下記式（数４）、

【数１０】 によって求め、さらに、画素ｉを中心として規定される
領域Ｗの半径ｒ（ｉ）を、任意に設定可能なパラメータ
ａを用いて、下記式、（数５）、

【数１１】 によって求め、さらにｊを領域Ｗに含まれる画素、Ｎを
領域Ｗに含まれる画素数として、画素ｉにおける元の輝
度値をＩ（ｉ）としたとき、ぼけ画像生成処理後の輝度
値Ｂ（ｉ）を、下記式（数６）、

【数１２】 によって求め、輝度値Ｂ（ｉ）を画素ｉの輝度値として
決定する処理を実行することを特徴とする。

【００３１】さらに、本発明の画像処理方法の一態様
は、視差に応じた左眼用画像を表示する第１の画像表示
手段における左眼の注視点位置と、視差に応じた右眼用
画像を表示する第２の画像表示手段における右眼の注視
点位置を取得する注視点取得ステップを有し、前記焦点
ぼけ画像生成ステップは、前記第１の画像表示手段にお
ける左眼の注視点位置に対応する位置の表示要素の視点
からの距離を左眼画像の基準距離として求めるステップ
と、前記左眼画像の基準距離との差異に応じたぼけ画像
生成処理を前記第１の画像表示手段における表示画像に
実行するステップと、前記第２の画像表示手段における
右眼の注視点位置に対応する位置の表示要素の視点から
の距離を右眼画像の基準距離として求めるステップと、
前記右眼画像の基準距離との差異に応じたぼけ画像生成
処理を前記第２の画像表示手段における表示画像に実行
するステップとを含むことを特徴とする。

【００３２】さらに、本発明の画像処理方法の一態様
は、第１の撮像手段により左眼の視線からの視線画像を
撮り込み、第２の撮像手段により右眼の視線からの視線
画像を撮り込むステップと、前記第１の撮像手段と前記
第２の撮像手段によって撮り込まれる複数の画像に基づ
いて、前記第１の画像表示手段と前記第２の画像表示手
段における表示画像に関する三次元情報を生成する三次
元情報生成ステップを有することを特徴とする。

【００３３】さらに、本発明の画像処理方法の一態様に
おいて、前記焦点ぼけ画像生成ステップは、前記第１の
画像表示手段と前記第２の画像表示手段における表示画
像に関する三次元情報を記憶した三次元情報蓄積手段に
蓄積された三次元情報、および注視点取得ステップにお
いて取得された注視点情報に基づいて焦点ぼけ画像生成
処理を実行することを特徴とする。

【００３４】さらに、本発明の画像処理方法の一態様
は、前記三次元情報蓄積手段の蓄積情報に基づいて前記
第１の画像表示手段と前記第２の画像表示手段に提供す
る異なる２つの視差画像を生成する視差画像生成ステッ
プを有し、前記焦点ぼけ画像生成ステップは、前記三次
元情報蓄積手段に蓄積された三次元情報および注視点取
得ステップによって取得された注視点情報に基づいて、
前記視差画像生成ステップにおいて生成された視差画像
に対する焦点ぼけ画像生成処理を実行することを特徴と
する。

【００３５】さらに、本発明の画像処理方法の一態様に
おいて、前記画像表示手段は単一の画像表示手段によっ
て構成され、前記注視点取得ステップにおいては、左右
の眼の注視点平均値、または左右の眼いずれかの注視点
を注視点情報として取得し、前記焦点ぼけ画像生成ステ
ップは、前記画像表示手段における表示画像に関する三
次元情報に基づいて、前記注視点取得ステップにおいて
取得される注視点情報の示す位置の表示要素の視点から
の距離を基準距離として決定するステップと、該基準距
離との差異に応じたぼけ画像生成処理を前記画像表示手
段における表示画像に施すステップとを含むことを特徴
とする。

【００３６】さらに、本発明の画像処理方法の一態様に
おいて、前記画像処理方法は、さらに、三次元情報を取
得する三次元情報取得ステップを有し、前記焦点ぼけ画
像生成ステップにおいては、前記三次元情報取得ステッ
プにおいて取得された三次元情報を用いて焦点ぼけ画像
を生成することを特徴とする。

【００３７】さらに、本発明の画像処理方法の一態様
は、三次元情報蓄積手段の蓄積情報に基づいて、前記単
一の画像表示手段に対する視線方向に基づく画像を生成
する画像生成ステップを有し、前記焦点ぼけ画像生成ス
テップにおいては、前記三次元情報蓄積手段に蓄積され
た三次元情報および前記注視点取得ステップにおいて取
得された注視点情報に基づいて、前記画像生成ステップ
において生成された画像に対する焦点ぼけ画像生成処理
を実行することを特徴とする。

【００３８】さらに、本発明の第５の側面は、三次元画
像処理を実行するための処理をコンピュータ・システム
上で実行せしめるコンピュータ・プログラムを有形的に
提供するプログラム提供媒体であって、前記コンピュー
タ・プログラムは、画像表示手段における注視点位置を
取得する注視点取得ステップと、前記画像表示手段にお
ける表示画像に関する三次元情報に基づいて焦点ぼけ画
像を生成する焦点ぼけ画像生成ステップとを有し、前記
焦点ぼけ画像生成ステップには、前記画像表示手段にお
ける注視点位置に対応する位置の表示要素の視点からの
距離を基準距離として求めるステップと、前記基準距離
との差異が予め定められた閾値を超える前記画像表示手
段における表示要素について、焦点ぼけ画像生成処理を
行なうステップとを具備することを特徴とするプログラ
ム提供媒体にある。

【００３９】本発明の第５の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００４０】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の第１の側面と同様の作
用効果を得ることができるのである。

【００４１】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００４２】

【発明の実施の形態】上述のように従来の立体画像提示
装置においては、提示する画像内に含まれる要素である
物体、シーン等のすべてまたはほとんどの部分に焦点が
合い、視点からの距離が異なる物体であっても、画像に
含まれるほとんどの物体の輪郭が明瞭である画像が提示
されることが多い。また距離に応じたぼけが存在する場
合においても、それらのぼけは固定的なものであり、そ
の提示画像を見ているユーザの視点を考慮したものとは
なっていない。

【００４３】まず、本発明の概念について、図２および
図３を用いて従来技術との差異を示しながら説明する。
図２は左右両眼の視差を持たせた２つの画像を生成し、
これら２つの画像を左右の眼、各々に提示する方法によ
って三次元情報をユーザに提示する構成における左眼用
画像および右眼用画像を示したものである。

【００４４】図２（ａ）は、従来の三次元画像提示装置
における表示例であり、図２（ｂ）、（ｃ）は本発明の
画像処理装置における表示例である。図２（ａ）〜
（ｃ）に示されるオブジェクトＡ〜Ｄおよび視点は、図
３に示す空間位置関係にある。図３に示すように視点か
らの距離の最も近い位置に「Ｂの面」があり、最も遠い
位置に「Ｃの面」がある。「Ａの面」は「Ｃの面」の手
前にあり、「Ｄの面」は「Ｂの面」と「Ｃの面」とを接
続する位置にある。

【００４５】図３に示すように視点からの距離が異なる
物体、シーンが含まれる画像を提示する場合、従来の三
次元画像提示装置においては、単に左右の眼の視差を考
慮した２つの画像をそれぞれの眼に対する画像として提
示するのみであり、画像に含まれるほとんどの物体、シ
ーンについて焦点の合った画像が提示されていた。具体
的には、図３（ａ）に示すように提示画像に含まれるす
べての物体、シーン、すなわち視点からの距離の異なる
物体Ａ〜Ｄの輪郭が明瞭に表示された画像が提示されて
いた。

【００４６】本発明の画像処理装置および画像処理方法
においては、ユーザの画像上の注視点位置を取得し、注
視点位置にあるオブジェクト画像の焦点を合わせて輪郭
を明瞭にして提示するとともに、注視点位置と異なる距
離にあるオブジェクトについては、注視点にある物体の
視点からの距離を基準距離とし、この基準距離からのず
れ量、すなわち距離差に応じたぼけを各表示要素に与え
てユーザに提示するものである。

【００４７】図２（ｂ）、（ｃ）は本発明の画像処理装
置における提示画像の例を示した図である。図２（ｂ）
は、ユーザがオブジェクト「Ａ」を注視している場合に
ユーザに対して提示される画像である。この場合、
「Ａ」についてはその輪郭が明瞭に、すなわち焦点の合
った画像となり、その他Ｂ，Ｃ，Ｄについては注視点に
ある物体、すなわち物体「Ａ」の視点からの距離を基準
とし、この基準からのずれ量に応じたぼけを発生させた
画像となっている。このずれ量は、例えば図３における
Ｚ軸方向の距離として求められる。

【００４８】図２（ｃ）は、ユーザがオブジェクト
「Ｃ」を注視している場合にユーザに対して提示される
画像である。この場合、「Ｃ」についてはその輪郭が明
瞭に、すなわち焦点の合った画像となり、その他Ａ，
Ｂ，Ｄについては注視点にある物体、すなわち物体
「Ｃ」の視点からの距離を基準とし、この基準からのず
れ量に応じたぼけを発生させた画像となっている。この
図２（ｃ）の場合、基準からのずれ量は、「Ａ」より
「Ｂ」が大であり、発生されるぼけの量も「Ａ」より
「Ｂ」が大となっている。

【００４９】本発明の画像処理装置および画像処理方法
は、このようにユーザの注視点、すなわち実際にユーザ
が観察している部分については焦点を合わせた画像を提
示し、その注視点に位置する表示要素としての物体、シ
ーンと視点との距離と異なる、すなわち距離のずれた表
示要素については、そのずれ量に応じたぼけを画像処理
によって発生させてユーザに提示する構成である。本発
明の構成によれば、ユーザは、より現実に近い感覚で三
次元画像を観察することが可能となる。以下、本発明の
画像処理装置および画像処理方法の詳細について説明す
る。

【００５０】［実施例１］図４は本発明の画像処理装置
の第１実施例を示す機能ブロック図である。カメラＬ，
４１３、カメラＲ，４１４から同期して撮り込まれた画
像はＡ／Ｄ変換部４１５，４１６でアナログデジタル変
換処理がなされ、それぞれのデジタルデータがフレーム
メモリＬ，４１７、フレームメモリＲ，４１８に蓄積さ
れる。カメラＬ，４１３、カメラＲ，４１４の位置関係
は固定されており、例えば光軸を平行にして、その間隔
を人間の眼の間隔に近いものとして同じシーンを観察す
るように構成される。なお、本発明の画像処理装置およ
び方法では、これらカメラＬ，４１３、カメラＲ，４１
４から撮り込まれた画像に基づいてぼけを発生させる処
理を施すので、カメラＬ，４１３、カメラＲ，４１４に
よって撮り込まれる画像はなるべく画像すべての位置で
焦点が合うように、被写界深度を大きくしておくことが
望ましい。

【００５１】三次元情報生成部４１９はフレームメモリ
Ｌ，４１７、フレームメモリＲ，４１８に蓄積された情
報に基づいて画像内に含まれる物体・シーンの三次元情
報、例えば距離情報を取得する。三次元情報の生成につ
いては後段で詳述する。

【００５２】注視点取得部４２０は、ユーザが観察して
いる画像表示部Ｌ，４２１、および画像表示部Ｒ，４２
２上でユーザがどの部分を注視しているかについての情
報を取得する。注視点取得部４２０における注視点情報
取得構成についても後段で詳細に説明する。

【００５３】焦点ぼけ画像生成部Ｌ，４２３、焦点ぼけ
画像生成部Ｒ，４２４は、それぞれフレームメモリＬ，
４１７、フレームメモリＲ，４１８からの画像データを
受領するとともに、三次元情報生成部４１９からの三次
元情報、さらに注視点取得部４２０からの注視点位置情
報を受領する。焦点ぼけ画像生成部Ｌ，２３、焦点ぼけ
画像生成部Ｒ，４２４は、三次元情報生成部４１９から
の三次元情報、注視点取得部４２０からの注視点位置情
報に基づいてフレームメモリＬ，４１７、フレームメモ
リＲ，４１８からの画像データに対してぼけ画像生成処
理を施す。焦点ぼけ画像生成部Ｌ，４２３、焦点ぼけ画
像生成部Ｒ，４２４におけるぼけ画像生成処理について
の詳細は後段で説明する。

【００５４】焦点ぼけ画像生成部Ｌ，４２３、焦点ぼけ
画像生成部Ｒ，４２４において生成された焦点ぼけ画像
データは、それぞれＤ／Ａ変換部４２５，４２６でデジ
タルアナログ変換がなされ、画像表示部Ｌ，４２１、画
像表示部Ｒ，４２２においてユーザに表示される。

【００５５】このような構成の結果、ユーザに対して表
示される画像データは、前述の図２（ｂ）または（ｃ）
に示すようにユーザの注視点以外の領域において、注視
点オブジェクトと視点との距離と異なる距離を有するオ
ブジェクト画像に焦点ぼけ画像生成処理が施されたもの
となり、現実の三次元空間観察により近い画像をユーザ
に提示することが可能となる。

【００５６】次に、三次元情報生成部４１９、注視点取
得部４２０、および焦点ぼけ画像生成部Ｌ，４２３、焦
点ぼけ画像生成部Ｒ，４２４の詳細について説明する。

【００５７】（１）三次元情報生成部 まず、三次元情報生成部４１９について説明する。三次
元情報生成部４１９は、カメラＬ，４１３、カメラＲ，
４１４によって撮り込まれ、フレームメモリＬ，４１
７、フレームメモリＲ，４１８に蓄積された情報に基づ
いて画像内に含まれる物体・シーンの三次元情報、すな
わち距離情報を生成する。画像内に含まれる物体・シー
ンの三次元情報はたとえばステレオ法の原理で取得する
ことが可能である。

【００５８】以下、ステレオ法について説明する。

【００５９】ステレオ法は複数のカメラを用いて２つ以
上の方向（異なる視線方向）から同一対象物を撮影して
得られる複数の画像における画素同士を対応づけること
で測定対象物の三次元空間における位置を求めようとす
るものである。例えば基準カメラと参照カメラにより異
なる方向から同一対象物を撮影して、それぞれの画像内
の測定対象物の距離を三角測量の原理により測定する。

【００６０】図５は、ステレオ法の原理を説明する図で
ある。基準カメラと参照カメラは異なる方向から同一対
象物を撮影する。基準カメラによって撮影された画像注
の「ｍｂ」というポイントの奥行きを求めることを考え
る。

【００６１】基準カメラによる撮影画像注のポイント
「ｍｂ」に見える物体は、異なる方向から同一物体を撮
影している参照カメラによって撮影された画像におい
て、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上
に展開されることになる。この直線をエピポーラライン
（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）と呼ぶ。

【００６２】基準カメラにおけるポイント「ｍｂ」の位
置は、参照カメラによる画像中では「エピポーラ・ライ
ン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ
（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基
準カメラの視線上に存在する限り、奥行きすなわち基準
カメラとの距離の大小に拘らず、基準画像上では同じ観
察点「ｍｂ」に現れる。これに対し、参照カメラによる
撮影画像上における点Ｐは、エピポーラ・ライン上に基
準カメラと観察点Ｐとの距離の大小に応じた位置にあら
われる。

【００６３】図５には、エピポーラ・ラインと、参照画
像中における観察点「ｍｂ」の対応を図解している。同
図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へ
と変化するに従って、参照画像中の観察点は「ｍ１」、
「ｍ２」、「ｍ３」へとシフトする。

【００６４】以上の幾何光学的性質を利用して、観察点
「ｍｂ」をエピポーラ・ライン上で探索することによ
り、点Ｐの距離を同定することができる。これが「ステ
レオ法」の基本的原理である。

【００６５】基準カメラでのポイント「ｍｂ」が参照カ
メラの撮影画像のエピポーラライン上の「ｍ１」、「ｍ
２」、「ｍ３」のいずれに対応するかについての判定方
法は以下に示す方法がある。例えば、「ｍｂ」と「ｍ
１」を対比する場合、「ｍｂ」、「ｍ１」を中心とする
５画素×５画素のウインドウを用意し、ウィンドウ内の
対応する位置の画素の輝度値の差の絶対値をとる。これ
らの絶対値を５画素×５画素のウインドウ内すべてにつ
いて求め、これらの和を求める。この和を評価関数値、
ＳＡＤとし、このＳＡＤ値の最も小さいものが相似度が
高いと判定される。このＳＡＤをエピポーラライン上の
各点について求め、ＳＡＤ値が最小となった点を「ｍ
ｂ」に対応する点とする。

【００６６】Ｍ×Ｎのウィンドウに対するＳＡＤは以下
の式で表される。

【００６７】

【数１３】 上記式においてＩ（ｉ，ｊ）は基準カメラの画像の各画
素における輝度値、Ｉ’（ｉ，ｊ）は参照カメラの画像
の各画素における輝度値である。

【００６８】三次元情報生成部４１９は、このような方
法で画面上のすべての画素についての三次元情報を取得
し、取得した三次元情報は画素ごとに対応した画素属性
データとして使用することが可能となる。

【００６９】ただし、上述したステレオ法は三次元情報
を取得する一つの手法であり、図４の本発明の画像処理
装置における三次元情報生成部４１９において適用され
る三次元情報生成方法は、ステレオ法に限らず、例えば
スリット光による光切断法、モアレを用いる方法、パタ
ーン光照射などによるを用いた距離計測方法を利用する
こともできる。

【００７０】また、上述のステレオ法は１台の基準カメ
ラと１台の参照カメラとを用いた構成としたが、参照カ
メラを複数用いたマルチベースラインステレオ（Ｍｕｌ
ｔｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価
値を求めて、該評価値に基づいて画素ごとの三次元情報
を取得するように構成してもよい。マルチベースライン
ステレオ法は、１つの基準カメラと複数の参照カメラに
よって撮影される画像を用い、複数の参照カメラ画像そ
れぞれについて基準カメラ画像との相関を表す評価値を
求め、それぞれの評価値を加算し、その加算値を最終的
な評価値とするものである。このマルチベースラインス
テレオ法の詳細は、例えば「複数の基線長を利用したス
テレオマッチング」、電子情報通信学会論文誌Ｄ−１１
Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１
７−１３２７ １９９２年８月、に記載されている。

【００７１】（２）注視点取得部 次に、注視点取得部４２０の詳細について説明する。注
視点取得部４２０は、ユーザが観察している画像表示部
Ｌ，４２１、および画像表示部Ｒ，４２２上でユーザが
どの部分を注視しているかについての情報を取得する。
注視点取得部４２０は、例えば、ユーザが観察している
画像表示部Ｌ，４２１、および画像表示部Ｒ，４２２に
配置されたセンサによって、ユーザの視線方向または、
３次元空間における位置を算出するための出力を得て、
このセンサ出力に基づいてユーザの画像表示部における
注視点位置を検出する。

【００７２】ユーザの視点検出方法には様々な手法があ
るが、例えば画像表示部Ｌ，４２１、および画像表示部
Ｒ，４２２にＣＣＤビデオカメラを配置し、ＣＣＤビデ
オカメラが出力する画像を認識することによって算出す
ることが可能である。具体的には、例えば、「八木他、
画像情報処理のための共通プラットフォームの構築、情
処研報Ｖｏｌ．９８，Ｎｏ２６ＩＳＳＮ０９１９−６０
７２ ９８−ＣＶＭ−１１０−９，１９９８．３．１
９」に記載されているように、例えばカメラにより撮像
された画像からユーザの顔の領域を切り出して、そこか
ら眼の位置を、例えば前述したステレオ法を適用して求
めることで視点を算出することができる。あるいはユー
ザの顔に付されたマーカーの位置を画像処理により求め
ることで視点を算出することが可能である。そして視線
方向を求めて注視点位置を検出する。

【００７３】なお、画像表示部Ｌ，４２１、および画像
表示部Ｒ，４２２が、頭部装着型ディスプレイ（ＨＭ
Ｄ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）のよ
うに眼球とディスプレイとの距離が固定的な構成である
場合は、前述のステレオ法による複数のカメラを使用し
た注視点位置の三次元的な位置を求めることは必須では
なく、例えば１台のカメラで撮像した画像から視線方向
のみを求めて、予め定められたユーザの眼と頭部装着型
ディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄ
ｉｓｐｌａｙ）に設けた画像表示部との距離に基づいて
画像表示部上の注視点位置を求めてもよい。

【００７４】なお、注視点取得の他の構成として、ステ
レオ法以外に、例えば特開平５−１９９９９５号に記載
の構成がある。これは光源からの近赤外光を眼球に照射
し、この反射光をカメラ内の撮像素子に結像させるとと
もに、ハーフミラーで反射しＣＣＤラインセンサに結像
させた像に基づいてレンズ系の焦点調節とズーム駆動を
行ない、その際のレンズ移動量、および撮像素子の画像
に基づいて眼球回転角を計算して視線検出を行なうもの
である。

【００７５】具体的な注視点取得部４２０の構成として
は、例えば株式会社ナック、あるいはカナダのＨ．Ｋ．
Ｅｙｅｃａｎ社の注視点記録装置を利用することが可能
である。

【００７６】（３）焦点ぼけ画像生成部 次に、焦点ぼけ画像生成部Ｌ，４２３、焦点ぼけ画像生
成部Ｒ，４２４の詳細について説明する。焦点ぼけ画像
生成部Ｌ，４２３、焦点ぼけ画像生成部Ｒ，４２４は、
三次元情報生成部４１９からの三次元情報、注視点取得
部４２０からの注視点位置情報に基づいてフレームメモ
リＬ，４１７、フレームメモリＲ，４１８からの画像デ
ータに対してぼけ画像生成処理を施す。

【００７７】図６に焦点ぼけ画像生成部の処理の流れを
説明するフローチャートを示す。図６において画像デー
タＩは図４におけるフレームメモリＬ，４１７、フレー
ムメモリＲ，４１８に蓄積された画像データ、三次元情
報は三次元情報生成部４１９において取得される三次元
情報であり具体的には距離画像Ｒとして焦点ぼけ画像生
成部に転送される。注視点位置情報ｉｓは、注視点取得
部４２０から得られる注視点位置画素を示す位置情報で
ある。また、ｉは任意の画素、Ｉ（ｉ）はフレームメモ
リＬ，４１７、フレームメモリＲ，４１８から得られる
画像データＩの画素ｉの輝度値、Ｒ（ｉ）は画素ｉの距
離データ、Ｒ（ｉｓ）は画素ｉｓの距離データである。
これらはは三次元情報生成部４１９において取得され
る。Ｂ（ｉ）は焦点ぼけ画像データの画素ｉの輝度値、
すなわち焦点ぼけ処理後の画素ｉの輝度値である。

【００７８】まず、ステップ６０１で注視点取得部４２
０から得られる注視点位置情報である注視点画素ｉｓ
と、三次元情報生成部４１９から取得される距離画像Ｒ
から、注視点画素ｉｓの距離データＲ（ｉｓ）を取得す
る。

【００７９】ステップ６０２では、画像データＩの画素
ｉについて、その画素ｉが示す距離データＲ（ｉ）を距
離画像Ｒから取得する。

【００８０】次に、ステップ６０３において、画像デー
タＩの画素ｉについての距離データＲ（ｉ）と、注視点
画素ｉｓの距離データＲ（ｉｓ）との比較を行い、等し
い場合は、ステップ６０４に進みＢ（ｉ）＝Ｉ（ｉ）と
して、次の画素の処理に進む。ステップ６０４のＢ
（ｉ）＝Ｉ（ｉ）の処理は、焦点ぼけを発生させる処理
を施さないことを意味する。すなわち、画素ｉについて
の距離データＲ（ｉ）と、注視点画素ｉｓの距離データ
Ｒ（ｉｓ）が等しい場合は、焦点の合ったままの画像デ
ータとすることを意味している。なお、ステップ６０３
の画像データＩの画素ｉについての距離データＲ（ｉ）
と、注視点画素ｉｓの距離データＲ（ｉｓ）との比較処
理において、図６に示すフローでは、Ｒ（ｉｓ）＝Ｒ
（ｉ）の判定処理としているが、Ｒ（ｉｓ）とＲ（ｉ）
とが、あるしきい値以下である場合は、ステップ６０５
の焦点ぼけの処理を実行せずステップ６０４に進むよう
に構成してもよい。

【００８１】次にステップ６０５において、注視点（ｉ
ｓ）の距離データＲ（ｉｓ）と、画素ｉについての距離
データＲ（ｉ）とのずれである（Ｒ（ｉｓ）−Ｒ
（ｉ））に基づいて、画素（ｉ）に与える焦点ぼけの量
ζ（ｉ）を決定する。焦点ぼけの量ζ（ｉ）は、例えば
次に示す式によって求められる。

【００８２】

【数１４】 ステップ６０６では、ステップ６０５で決定された画素
（ｉ）に対する焦点ぼけの量ζ（ｉ）と輝度値Ｉ
（ｉ）、およびその周辺画素の輝度値に基づいて画素
（ｉ）に対する輝度値から焦点ぼけ画像データの画素
（ｉ）の輝度値Ｂ（ｉ）を決定する。輝度値Ｂ（ｉ）は
次の式によって求められる。

【００８３】

【数１５】 ここでｒ（ｉ）は画素ｉの周辺領域として定義される領
域Ｗの半径、ａは表現するぼけに応じて決定される係数
であり、例えばユーザによって設定可能な可変パラメー
タとして設定することが可能である。ｊは画素ｉを中心
とした領域Ｗに含まれる画素、Ｎは領域Ｗに含まれる画
素の数を示す。

【００８４】これら、図６に示す処理をすべての画素に
ついて実行することにより焦点ぼけ画像生成部Ｌ，４２
３、焦点ぼけ画像生成部Ｒ，４２４において、それぞれ
画像表示部Ｌ，４２１に提示される左眼用画像、および
画像表示部Ｒ，４２２に提示される右眼用画像の焦点ぼ
け画像が生成される。

【００８５】焦点ぼけ画像生成部Ｌ，４２３、焦点ぼけ
画像生成部Ｒ，４２４において生成された焦点ぼけ画像
データは、それぞれ図４に示すＤ／Ａ変換部４２５，４
２６でデジタルアナログ変換がなされ、画像表示部Ｌ，
４２１、画像表示部Ｒ，４２２においてユーザに表示さ
れる。

【００８６】このような構成の結果、ユーザに対して表
示される画像データは、前述の図２（ｂ）または（ｃ）
に示すようにユーザの注視点以外の領域において、注視
点オブジェクトと視点との距離と異なる距離を有するオ
ブジェクト画像にぼけ画像生成処理が施されたものとな
り、現実の三次元空間観察により近い画像となる。

【００８７】図４に示す本発明の画像処理装置の第１実
施例に関する機能ブロック図を実現するハードウェア構
成例を図７に示す。

【００８８】カメラＲ，７０１、カメラＬ，７０２から
同期して撮り込まれた画像はＡ／Ｄ変換部７０３，７０
４でアナログデジタル変換処理がなされ、それぞれのデ
ジタルデータがフレームメモリＲ，７０５、フレームメ
モリＬ，７０６に蓄積される。カメラＲ，７０１、カメ
ラＬ，７０２、例えば光軸を平行にして、その間隔を人
間の眼の間隔に近いものとして同じシーンを観察するよ
うに構成されたものである。

【００８９】ＣＰＵ７０９は、図４に示す構成部におけ
る各種情報の生成、制御処理を行なう。例えば、図４に
示す三次元情報生成部４１９の三次元情報の生成処理を
行なう。これは、図７のフレームメモリ７０５，７０６
の情報に基づいて例えば上述のステレオ法を適用して距
離情報としての三次元情報を求める。また図４に示す注
視点取得部４２０における注視点情報の取得処理も行な
う。これは図７に示すセンサＲ７０７から得られるユー
ザの右眼の視点情報に基づいて画像表示部Ｒにおける右
眼注視点ｉｓ（Ｒ）を求め、また、センサＬ７０８から
得られるユーザの左眼の視点情報に基づいて画像表示部
Ｌにおける左眼注視点ｉｓ（Ｌ）を求める。これらは、
それぞれ画像表示部Ｒ７１４、画像表示部Ｌ７１６の画
素位置情報ｉｓ（Ｒ）、ｉｓ（Ｌ）として算出される。
さらに、ＣＰＵ７０９は、図４における焦点ぼけ画像生
成部Ｌ，４２３、焦点ぼけ画像生成部Ｒ，４２４の焦点
ぼけ画像の生成処理を行なう。これは上述した図６に示
す処理フローに従った処理を行なうものである。

【００９０】ＲＯＭ７１０は、恒久的なプログラムデー
タ、例えばＩＰＬ、自己診断プログラム（ＰＯＳＴ）、
ハードウェア入出力操作を実行するためのコード群（Ｂ
ＩＯＳ）等が格納されている。

【００９１】ＲＡＭ７１１は、ＣＰＵ７０９が実行プロ
グラム・コードをロードしたり、作業データを一時格納
するために使用される書き込み可能なメモリである。三
次元情報の生成処理、注視点情報の取得処理、焦点ぼけ
画像の生成処理において、それぞれ必要なデータ、プロ
グラムを格納するのに使用される。

【００９２】表示コントローラ７１２は、画像表示部
Ｒ，７１４、画像表示部Ｌ，７１５の表示制御を行な
う。ＶＲＡＭ７１３は画像表示部Ｒ，７１４、画像表示
部Ｌ，７１５の表示データを一時格納するメモリであ
る。カメラＲ，７０１、カメラＬ，７０２によって撮り
込まれ、それぞれのフレームメモリに書き込まれた画像
データは、三次元情報、注視点情報に基づいてＣＰＵ７
０９により焦点ぼけ画像が生成され、表示コントローラ
７１２を介してＶＲＡＭ７１３に一旦蓄積され、画像表
示部Ｒ，７１４、画像表示部Ｌ，７１５に供給される。
画像表示部Ｒ，７１４、画像表示部Ｌ，７１５には、ユ
ーザの注視点位置に応じてぼけ画像生成処理が行なわ
れ、前述の図２（ｂ）または（ｃ）に示すように現実の
三次元空間観察により近い画像となる。

【００９３】画像表示部Ｒ，７１４、画像表示部Ｌ，７
１５は、具体的にはＣＲＴ、ＬＣＤ等の表示手段によっ
て構成される。本発明の画像処理装置では画素単位のぼ
け画像生成処理によって生成された画像を表示すること
が可能な構成であることが必要であり、ビットマップ表
示形式をサポートするＣＲＴ、ＬＣＤ等の表示手段であ
る。

【００９４】ストレージコントローラ７１６は例えば磁
気ディスク７１７、光ディスク７１８に対するアクセス
制御を実行するものであり、磁気ディスク７１７、光デ
ィスク７１８に記録された各種処理プログラム、仮想画
像データ、あるいは実画像データ等をアクセスして、ア
クセスデータに基づく画像処理を可能としている。な
お、これら記憶媒体に記憶した画像データに基づく画像
処理については実施例２以下で説明する。

【００９５】通信インタフェース７１９は、所定の通信
プロトコル、例えばＴＣＰ／ＩＰに従ってネットワーク
接続するための装置である。ネットワーク上には、複数
のコンピュータ・システム（以下では、「リモート・シ
ステム」とも呼ぶ：図示しない）が存在する。本実施例
の画像処理装置は、自らが処理して生成した画像を、ネ
ットワーク経由でリモート・システムに転送することが
できる。あるいは、ネットワーク経由でリモート・シス
テムから、画像データ・ファイルやプログラム・ファイ
ルなどの供給を受けることもできる。

【００９６】なお、本発明の画像処理装置を実際に構成
するためには、図７に示した以外にも多くのハードウェ
ア・コンポーネントが必要である。ただし、これらは当
業者には周知であり、また、本発明の要旨を構成するも
のでもないので本明細書では省略している。また、図面
の錯綜を回避するために図中の各ハードウェア・ブロッ
ク間の接続も抽象化して示している点を了承されたい。

【００９７】［実施例２］図８に本発明の画像処理装置
の第２実施例の構成を示す。三次元情報蓄積部８２７に
蓄積された三次元情報に基づいて、視差画像生成部８２
８において視点位置、すなわち左右の視点位置からの画
像を生成する。視差画像生成部８２８において生成され
た画像は、フレームメモリＬ，８２９、フレームメモリ
Ｒ，８３０に蓄積される。

【００９８】注視点取得部８３１は、ユーザが観察して
いる画像表示部Ｌ，８３２、および画像表示部Ｒ，８３
３上でユーザがどの部分を注視しているかについての情
報を取得する。

【００９９】焦点ぼけ画像生成部Ｌ，８３４、焦点ぼけ
画像生成部Ｒ，８３５は、それぞれフレームメモリＬ，
８２９、フレームメモリＲ，８３０からの画像データを
受領するとともに、三次元情報蓄積部８２７からの三次
元情報、さらに注視点取得部８３１からの注視点位置情
報を受領する。焦点ぼけ画像生成部Ｌ，８３４、焦点ぼ
け画像生成部Ｒ，８３５は、三次元情報生成部８２７か
らの三次元情報、注視点取得部８３１からの注視点位置
情報に基づいてフレームメモリＬ，８２９、フレームメ
モリＲ，８３０の画像データに対して焦点ぼけ画像生成
処理を施す。

【０１００】注視点取得部８３１における注視点取得処
理、焦点ぼけ画像生成部Ｌ，８３４、焦点ぼけ画像生成
部Ｒ，８３５における焦点ぼけ画像生成処理は実施例１
と同様である。

【０１０１】三次元情報蓄積部８２７には予め用意され
た三次元情報、すなわち実施例１の図４に示す三次元情
報生成部において求めた距離情報が、画像データに対応
して蓄積されている。三次元情報蓄積部８２７に蓄積さ
れる距離情報は、前述の基準カメラ、参照カメラを用い
たステレオ法により生成された距離情報を蓄積してもよ
い。また、参照カメラを複数用いたマルチベースライン
ステレオ（ＭｕｌｔｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅ
ｏ）法によって評価値を求めて、該評価値に基づいて求
めた画素ごとの三次元情報、さらに、ステレオ法に限ら
ず、例えばスリット光による光切断法、モアレを用いる
方法、パターン光照射などによる距離計測方法を利用し
て生成した距離情報であってもよい。

【０１０２】焦点ぼけ画像生成部Ｌ，８３４、焦点ぼけ
画像生成部Ｒ，８３５は、これらの蓄積データおよび注
視点取得部から受領した注視点情報に基づいて実施例１
と同様、図６で示した処理フローに準じた処理を実行
し、焦点ぼけ画像を生成する。

【０１０３】視差画像生成部８２８は、三次元情報蓄積
部８２７に蓄積されたデータに基づいて視点位置、すな
わち左右の視点位置からの画像を生成する。三次元情報
蓄積部８２７には視差画像生成部８２８において生成さ
れる左右の視点位置からの画像を生成可能なデータが蓄
積されている。これは例えば実画像を複数の視点位置か
ら撮影した複数の画像データ、およびこれらの複数の画
像データから算出された距離データの組み合わせ、ある
いはコンピュータグラフィクス技術に基づいて生成され
た仮想三次元ＣＧデータ等である。

【０１０４】視差画像生成部８２８は、これらの三次元
情報蓄積部８２７に蓄積された実画像データ、距離デー
タ、ＣＧデータ、あるいは実画像データとＣＧデータと
の組み合わせ等に基づいて左右の視点位置からの画像を
生成し、これらをフレームメモリＬ，８２９、およびフ
レームメモリＲ，８３０に蓄積する。

【０１０５】焦点ぼけ画像生成部Ｌ，８３４、焦点ぼけ
画像生成部Ｒ，８３５は、焦点ぼけ画像生成処理を行な
い、Ｄ／Ａ変換部８３６，８３７を介して画像表示部
Ｌ，８３２、画像表示部Ｒ，８３３にそれぞれ左眼用焦
点ぼけ画像、右眼用焦点ぼけ画像を表示する。

【０１０６】この実施例２の表示画像も実施例１と同
様、前述の図２（ｂ）または（ｃ）に示すようにユーザ
の注視点以外の領域において、注視点オブジェクトと視
点との距離と異なる距離を有するオブジェクト画像にぼ
け画像生成処理が施されたものとなり、現実の三次元空
間観察により近い画像となる。実施例２の構成は、カメ
ラによって撮り込まれた画像のみでなく、コンピュータ
グラフィクス技術に基づいて生成された仮想三次元ＣＧ
データを提示することも可能であり、またこれらを組み
合わせた画像を提示することも可能である。

【０１０７】なお、本実施例２の画像処理装置のハード
ウェア構成は、実施例１で説明した図７に示す構成にお
いて実現される。図７に示す構成では、磁気ディスク７
１７、光ディスク７１８が図８の三次元情報蓄積部８２
７に相当する。なお、三次元情報蓄積部８２７は図７に
示す磁気ディスク７１７、光ディスク７１８に限らず、
光磁気ディスク、その他の固体メモリであってもよく、
また、通信インタフェースを介して転送される外部デー
タを逐次利用する形態としてもよい。

【０１０８】［実施例３］図９に本発明の画像処理装置
の第３実施例の構成を示す。左右の眼に提示するための
画像、すなわちソース画像はそれぞれ画像蓄積部Ｌ，９
３８、および画像蓄積部Ｒ，９３９に、予め用意され蓄
積情報として構成してある。さらに三次元情報蓄積部９
４０には、画像蓄積部Ｌ，９３８、および画像蓄積部
Ｒ，９３９に蓄積された画像情報に関する三次元情報が
蓄積してある。これらは実施例１で説明した距離情報に
対応する。これは例えば前述のステレオ法に従って求め
られた距離情報であり、前述の基準カメラと参照カメラ
との組み合わせによるステレオ法によって取得可能な距
離情報である。

【０１０９】画像蓄積部Ｌ，９３８、および画像蓄積部
Ｒ，９３９に蓄積された画像は例えば実画像を左右の視
点位置から撮影した各々の画像データ、あるいはコンピ
ュータグラフィクス技術に基づいて生成された仮想三次
元ＣＧデータにおける左右の視点からの画像データ、あ
るいはこれらの組み合わせとすることが可能である。

【０１１０】三次元情報蓄積部９４０には、画像蓄積部
Ｌ，９３８、および画像蓄積部Ｒ，９３９に蓄積された
画像に関する距離情報が記憶され、画像蓄積部Ｌ，９３
８、および画像蓄積部Ｒ，９３９に実画像データが記憶
されていれば、実画像データに対応する三次元情報、Ｃ
Ｇデータが蓄積されていれば蓄積されたＣＧデータに関
する三次元情報が蓄積される。

【０１１１】三次元情報蓄積部９４０に蓄積される距離
情報は、画像蓄積部Ｌ，９３８、および画像蓄積部Ｒ，
９３９に蓄積された情報に基づいてステレオ法によって
求めることも可能であり、また、独自の基準カメラ、参
照カメラを用いて独自に生成された距離情報を蓄積して
もよい。また、参照カメラを複数用いたマルチベースラ
インステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅ
ｒｅｏ）法によって評価値を求めて、該評価値に基づい
て求めた画素ごとの三次元情報を蓄積するようにしても
よい。さらに、ステレオ法に限らず、例えばスリット光
による光切断法、モアレを用いる方法、パターン光照射
などによる距離計測方法を利用して生成した距離情報を
蓄積してもよい。

【０１１２】画像蓄積部Ｌ，９３８、および画像蓄積部
Ｒ，９３９に、予め用意され蓄積された画像データは、
フレームメモリＬ，９４１、フレームメモリＲ，９４２
に転送される。

【０１１３】注視点取得部９４３は、ユーザが観察して
いる画像表示部Ｌ，９４４、および画像表示部Ｒ，９４
５上でユーザがどの部分を注視しているかについての情
報を取得する。

【０１１４】焦点ぼけ画像生成部Ｌ，９４６、焦点ぼけ
画像生成部Ｒ，９４７は、それぞれフレームメモリＬ，
９４１、フレームメモリＲ，９４２からの画像データを
受領するとともに、三次元情報蓄積部９４０からの三次
元情報、さらに注視点取得部９４３からの注視点位置情
報を受領する。焦点ぼけ画像生成部Ｌ，９４６、焦点ぼ
け画像生成部Ｒ，９４７は、三次元情報蓄積部９４０か
らの三次元情報、注視点取得部９４３からの注視点位置
情報に基づいてフレームメモリＬ，９４１、フレームメ
モリＲ，９４２の画像データに対してぼけ画像生成処理
を施す。

【０１１５】注視点取得部９４３における注視点取得処
理、焦点ぼけ画像生成部Ｌ，９４６、焦点ぼけ画像生成
部Ｒ，９４７における焦点ぼけ画像生成処理は実施例１
と同様であり、図６で示した処理フローに準じた処理を
実行し、ぼけ画像を生成する。

【０１１６】これらの処理により、前述の図２（ｂ）ま
たは（ｃ）に示すようにユーザの注視点以外の領域にお
いて、注視点オブジェクトと視点との距離と異なる距離
を有するオブジェクト画像にぼけ画像生成処理が施され
たものとなり、現実の三次元空間観察により近い画像が
提示可能となる。

【０１１７】なお、本実施例３の画像処理装置のハード
ウェア構成は、実施例１で説明した図７に示す構成にお
いて実現される。図７に示す構成では、磁気ディスク７
１７、光ディスク７１８が図９の三次元情報蓄積部９４
０、画像蓄積部Ｌ，９３８、および画像蓄積部Ｒ，９３
９を構成する。なお、これらの情報蓄積部は図７に示す
磁気ディスク７１７、光ディスク７１８に限らず、光磁
気ディスク、その他の固体メモリであってもよく、ま
た、通信インタフェースを介して転送される外部データ
を逐次利用する形態としてもよい。

【０１１８】［実施例４］上述の実施例１〜３では、例
えば、頭部装着型ディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍ
ｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を装着したユーザの左
右の眼にそれぞれに対応する画像を提示することで画像
中の物体、シーンを立体的に見せる構成、すなわち、左
右、それぞれ異なる画像を生成してユーザに表示する構
成を説明してきたが、以下、説明する実施例４〜６では
１枚のみの画像、すなわち視差を持たない画像をユーザ
に提示して、現実の世界により近づけた立体感を提示す
る構成を説明する。

【０１１９】図１０に本発明の画像処理装置の第４実施
例のブロック図を示す。カメラ１０５０から撮り込まれ
た画像はＡ／Ｄ変換部１０５１でアナログデジタル変換
処理がなされ、デジタルデータがフレームメモリ１０５
２に蓄積される。なお、カメラ１０５０から撮り込まれ
た画像に基づいてぼけを発生させる処理を施すので、カ
メラ１０５０によって撮り込まれる画像はなるべく画像
すべての位置で焦点が合うように、被写界深度を大きく
しておくことが望ましい。

【０１２０】三次元情報取得装置１０５３は、前述の実
施例中で述べた三次元情報を取得する装置であり、例え
ば、視線方向の異なる基準カメラと参照カメラによって
対象物を撮像してステレオ法により三次元情報を取得す
る。また、参照カメラを複数用いたマルチベースライン
ステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅ
ｏ）法によって評価値を求めて、該評価値に基づいて求
めた画素ごとの三次元情報を取得するようにしてもよ
い。さらに、ステレオ法に限らず、例えばスリット光に
よる光切断法、モアレを用いる方法、パターン光照射な
どによる距離計測方法を利用して生成した距離情報を取
得するように構成してもよい。

【０１２１】注視点取得部１０５４は、ユーザが観察し
ている画像表示部１０５５上でユーザがどの部分を注視
しているかについての情報を取得する。なお、実施例１
〜３で説明した注視点取得構成は１つの眼、すなわち左
眼なら左眼のみの視点を検出する構成が適用されるが、
本構成における注視点取得部１０５４は、左右の眼、そ
れぞれの注視点を取得し、その平均値を求めて注視点と
する。あるいは、左右の眼で異なる部分を見ていること
は起こりにくいので、いずれか一方の眼のみの注視点を
計測し、これを注視点情報として用いてもよい。

【０１２２】焦点ぼけ画像生成部１０５６は、フレーム
メモリ１０５２からの画像データを受領するとともに、
三次元情報取得装置１０５３からの三次元情報、さらに
注視点取得部１０５４からの注視点位置情報を受領す
る。焦点ぼけ画像生成部１０５６は、三次元情報生成部
１０５３からの三次元情報、注視点取得部１０５４から
の注視点位置情報に基づいてフレームメモリ１０５２の
画像データに対して焦点ぼけ画像生成処理を施す。

【０１２３】注視点取得部１０５４における注視点取得
処理、焦点ぼけ画像生成部１０５６における焦点ぼけ画
像生成処理は実施例１と同様であり、図６で示した処理
フローに準じた処理を実行し、焦点ぼけ画像を生成す
る。

【０１２４】焦点ぼけ画像生成部１０５６において生成
された焦点ぼけ画像データは、それぞれＤ／Ａ変換部１
０５７でデジタルアナログ変換がなされ、画像表示部１
０５５においてユーザに表示される。

【０１２５】この実施例４の構成は、１枚の画像表示装
置を用い、ユーザの注視点に応じてダイナミックに画像
表示部１０５５に表示される画像のぼけ画像生成処理を
施し、ユーザの注視点対象要素である物体、シーン、お
よび注視点対象要素と同距離にある表示要素については
焦点を合致させ、距離の異なる要素についてはその距離
差に応じたぼけ画像生成処理を施す構成である。従って
ユーザはより実世界に近い感覚で画像表示部１０５５を
観察することができる。

【０１２６】図１０に示す本発明の画像処理装置の第４
実施例に関する機能ブロック図を実現するハードウェア
構成例を図１１に示す。

【０１２７】カメラ１１０１から撮り込まれた画像はＡ
／Ｄ変換部１１０２でアナログデジタル変換処理がなさ
れ、それぞれのデジタルデータがフレームメモリ１１０
３に蓄積される。

【０１２８】三次元情報取得装置１１０４は、本構成例
では１つの基準カメラ１１０５、１つの参照カメラ１１
０６を有し、これらは実施例１で図５を用いて説明した
ステレオ法による三次元情報取得が可能なように異なる
視線方向で同一対象物を撮影するように配置されてい
る。これら基準カメラ１１０５、参照カメラ１１０６か
ら撮り込まれた画像はＡ／Ｄ変換部１１０７，１１０８
でアナログデジタル変換処理がなされ、それぞれのデジ
タルデータがフレームメモリ１１０９、フレームメモリ
１１１０に格納される。

【０１２９】ＣＰＵ１１１１は、図１０に示す構成部に
おける各種情報の生成、制御処理を行なう。その１つの
処理は、三次元情報取得装置１１０４によって取得され
た異なる視線からの画像に基づいて、実施例１で説明し
たステレオ法により画像の距離情報を生成する処理であ
る。フレームメモリ１１０９，１１１０の情報に基づい
てステレオ法を適用して距離情報としての三次元情報を
求める。ＣＰＵ１１１１は、図１０に示す注視点取得部
１０５４における注視点情報の取得処理も行なう。これ
は図１１に示すセンサ１１１４から得られるユーザの視
点情報に基づいて画像表示部１１１５における注視点を
求める。これらは、画像表示部１１１５の画素位置情報
ｉｓとして算出される。さらに、ＣＰＵ１１１１は、図
１０における焦点ぼけ画像生成部１０５６の焦点ぼけ画
像の生成処理を行なう。これは実施例１で図６を用いて
説明した処理フローに従った処理を行なうものである。

【０１３０】ＲＯＭ１１１２は、恒久的なプログラムデ
ータ、例えばＩＰＬ、自己診断プログラム（ＰＯＳ
Ｔ）、ハードウェア入出力操作を実行するためのコード
群（ＢＩＯＳ）等が格納されている。

【０１３１】ＲＡＭ１１１３は、ＣＰＵ１１１１が実行
プログラム・コードをロードしたり、作業データを一時
格納するために使用される書き込み可能なメモリであ
る。三次元情報の生成処理、注視点情報の取得処理、焦
点ぼけ画像の生成処理において、それぞれ必要なデー
タ、プログラムを格納するのに使用される。

【０１３２】表示コントローラ１１１６は、画像表示部
１１１５の表示制御を行なう。ＶＲＡＭ１１１７は画像
表示部１１１５の表示データを一時格納するメモリであ
る。カメラ１１０１によって撮り込まれ、フレームメモ
リ１１０３に書き込まれた画像データは、三次元情報、
注視点情報に基づいてＣＰＵ１１１１により焦点ぼけ画
像が生成され、表示コントローラ１１１６を介してＶＲ
ＡＭ１１１７に一旦蓄積され、画像表示部１１１５に供
給される。画像表示部１１１５には、ユーザの注視点位
置に応じてぼけ画像生成処理が行なわれ、現実の三次元
空間観察により近い画像となる。

【０１３３】画像表示部１１１５は、具体的にはＣＲ
Ｔ、ＬＣＤ等の表示手段によって構成される。本発明の
画像処理装置では画素単位のぼけ画像生成処理によって
生成された画像を表示することが可能な構成であること
が必要であり、ビットマップ表示形式をサポートするＣ
ＲＴ、ＬＣＤ等の表示手段である。

【０１３４】ストレージコントローラ１１１８は例えば
磁気ディスク１１１９、光ディスク１１２０に対するア
クセス制御を実行するものであり、磁気ディスク１１１
９、光ディスク１１２０に記録された各種処理プログラ
ム、仮想画像データ、あるいは実画像データ等をアクセ
スして、アクセスデータに基づく画像処理を可能として
いる。なお、これら記憶媒体に記憶した画像データに基
づく画像処理については実施例５以下で説明する。

【０１３５】通信インタフェース１１２１は、所定の通
信プロトコル、例えばＴＣＰ／ＩＰに従ってネットワー
ク接続するための装置である。ネットワーク上には、複
数のコンピュータ・システム（以下では、「リモート・
システム」とも呼ぶ：図示しない）が存在する。本実施
例の画像処理装置は、自らが処理して生成した画像を、
ネットワーク経由でリモート・システムに転送すること
ができる。あるいは、ネットワーク経由でリモート・シ
ステムから、画像データ・ファイルやプログラム・ファ
イルなどの供給を受けることもできる。

【０１３６】なお、本発明の画像処理装置を実際に構成
するためには、図１１に示した以外にも多くのハードウ
ェア・コンポーネントが必要である。ただし、これらは
当業者には周知であり、また、本発明の要旨を構成する
ものでもないので本明細書では省略している。また、図
面の錯綜を回避するために図中の各ハードウェア・ブロ
ック間の接続も抽象化して示している点を了承された
い。

【０１３７】［実施例５］図１２に本発明の画像処理装
置の第５実施例の構成を示す。三次元情報蓄積部１２６
０に蓄積された三次元情報に基づいて、画像生成部１２
６１において視点位置、すなわち画像表示部１２６４に
対するユーザの視線方向からの画像を生成する。画像生
成部１２６１において生成された画像は、フレームメモ
リ１２６２に蓄積される。

【０１３８】注視点取得部１２６３は、ユーザが観察し
ている画像表示部１２６４上でユーザがどの部分を注視
しているかについての情報を取得する。

【０１３９】焦点ぼけ画像生成部１２６５は、フレーム
メモリ１２６２からの画像データを受領するとともに、
三次元情報蓄積部１２６０からの三次元情報、さらに注
視点取得部１２６３からの注視点位置情報を受領する。
焦点ぼけ画像生成部１２６５は、三次元情報生成部１２
６０からの三次元情報、注視点取得部１２６３からの注
視点位置情報に基づいてフレームメモリ１２６２の画像
データに対して焦点ぼけ画像生成処理を施す。

【０１４０】注視点取得部１２６３における注視点取得
処理、焦点ぼけ画像生成部１２６５における焦点ぼけ画
像生成処理は実施例４と同様である。

【０１４１】三次元情報蓄積部１２６０には予め用意さ
れた三次元情報、すなわち例えば実施例１の図４に示す
三次元情報生成部において求めた距離情報が、画像デー
タに対応して蓄積されている。三次元情報蓄積部１２６
０に蓄積される距離情報は、前述の基準カメラ、参照カ
メラを用いたステレオ法により生成された距離情報を蓄
積してもよい。また、参照カメラを複数用いたマルチベ
ースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ
Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に
基づいて求めた画素ごとの三次元情報、さらに、ステレ
オ法に限らず、例えばスリット光による光切断法、モア
レを用いる方法、パターン光照射などによる距離計測方
法を利用して生成した距離情報であってもよい。

【０１４２】焦点ぼけ画像生成部１２６５は、これらの
蓄積データおよび注視点取得部から受領した注視点情報
に基づいて実施例１と同様の図６で示した処理フローに
準じた処理を実行し、ぼけ画像を生成する。

【０１４３】画像生成部１２６１は、三次元情報蓄積部
１２６０に蓄積されたデータに基づいて単一の画像表示
手段に対する視点方向に基づく画像を生成する。三次元
情報蓄積部１２６０には画像生成部１２６１において生
成される視点位置からの画像を生成可能なデータが蓄積
されている。これは例えば実画像を複数の視点位置から
撮影した複数の画像データ、およびこれらの複数の画像
データから算出された距離データの組み合わせ、あるい
はコンピュータグラフィクス技術に基づいて生成された
仮想三次元ＣＧデータ等である。

【０１４４】画像生成部１２６１は、これらの三次元情
報蓄積部１２６０に蓄積された実画像データ、距離デー
タ、ＣＧデータ、あるいは実画像データとＣＧデータと
の組み合わせ等に基づいて視点位置からの画像を生成
し、これらをフレームメモリ１２６２に蓄積する。

【０１４５】焦点ぼけ画像生成部１２６５は、実施例１
と同様の方法で焦点ぼけ画像生成処理を行ない、Ｄ／Ａ
変換部１２６６を介して画像表示部１２６４に焦点ぼけ
画像を表示する。

【０１４６】この実施例５の構成は、実施例４と同様、
１枚の画像表示装置を用い、ユーザの注視点に応じてダ
イナミックに画像表示部１２６４に表示される画像のぼ
け画像生成処理を施し、ユーザの注視点対象オブジェク
ト、および注視点対象オブジェクトと同距離にあるオブ
ジェクトについては焦点を合致させ、は距離の異なるオ
ブジェクトについてはその距離差に応じたぼけ画像生成
処理を施す構成である。従ってユーザはより実世界に近
い感覚で画像表示部１２６４を観察することができる。

【０１４７】なお、本実施例５の画像処理装置のハード
ウェア構成は、実施例４で説明した図１１のハードウェ
ア構成中の三次元情報取得装置１１０４を省いた構成に
おいて実現される。図１１に示す構成の、磁気ディスク
１１１９、光ディスク１１２０が図１２の三次元情報蓄
積部１２６０に対応する。なお、三次元情報蓄積部１２
６０は図１１に示す磁気ディスク１１１９、光ディスク
１１２０に限らず、光磁気ディスク、その他の固体メモ
リであってもよく、また、通信インタフェースを介して
転送される外部データを逐次利用する形態としてもよ
い。

【０１４８】［実施例６］図１３に本発明の画像処理装
置の第６実施例の構成を示す。ユーザに対して提示する
ための画像、すなわちソース画像は画像蓄積部１３７０
に、予め用意され蓄積情報として構成してある。さらに
三次元情報蓄積部１３７１には、画像蓄積部１３７０に
蓄積された画像情報に関する三次元情報が蓄積してあ
る。これらは他の実施例で説明した距離情報に対応する
ものであり、例えば前述のステレオ法に従って求められ
た距離情報であり、前述の基準カメラと参照カメラとの
組み合わせによるステレオ法によって取得可能な距離情
報である。

【０１４９】画像蓄積部１３７０に蓄積された画像は例
えば１つの視点位置からの画像データとしてもよいが、
実画像を異なる視点位置から撮影した複数の画像デー
タ、あるいはコンピュータグラフィクス技術に基づいて
生成された仮想三次元ＣＧデータにおける画像データ、
あるいはこれらの組み合わせとすることが可能である。

【０１５０】三次元情報蓄積部１３７１には、画像蓄積
部１３７０に蓄積された画像に関する三次元情報として
の距離情報が記憶され、画像蓄積部１３７０に実画像デ
ータが記憶されていれば、実画像データに対応する三次
元情報、ＣＧデータが蓄積されていれば蓄積されたＣＧ
データに関する三次元情報が蓄積される。

【０１５１】三次元情報蓄積部１３７１に蓄積される距
離情報は、画像蓄積部１３７０に例えば２つの異なる視
点からの画像データが蓄積されていれば、蓄積された情
報に基づいてステレオ法によって求めることも可能であ
り、また、独自の基準カメラ、参照カメラを用いて独自
に生成された距離情報を蓄積してもよい。また、参照カ
メラを複数用いたマルチベースラインステレオ（Ｍｕｌ
ｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評
価値を求めて、該評価値に基づいて求めた画素ごとの三
次元情報を蓄積するようにしてもよい。さらに、ステレ
オ法に限らず、例えばスリット光による光切断法、モア
レを用いる方法、パターン光照射などによる距離計測方
法を利用して生成した距離情報を蓄積してもよい。

【０１５２】画像蓄積部１３７０に、予め用意され蓄積
された画像データは、フレームメモリ１３７２に転送さ
れる。

【０１５３】注視点取得部１３７３は、ユーザが観察し
ている画像表示部１３７４上でユーザがどの部分を注視
しているかについての情報を取得する。

【０１５４】焦点ぼけ画像生成部１３７５は、フレーム
メモリ１３７２からの画像データを受領するとともに、
三次元情報蓄積部１３７１からの三次元情報、さらに注
視点取得部１３７３からの注視点位置情報を受領する。
焦点ぼけ画像生成部１３７５は、三次元情報蓄積部１３
７１からの三次元情報、注視点取得部１３７３からの注
視点位置情報に基づいてフレームメモリ１３７２の画像
データに対して焦点ぼけ画像生成処理を施す。

【０１５５】注視点取得部１３７３における注視点取得
処理、焦点ぼけ画像生成部１３７５における焦点ぼけ画
像生成処理は他の実施例と同様であり、図６で示した処
理フローに準じた処理を実行し、ぼけ画像を生成し、Ｄ
／Ａ変換部１３７６を介して画像表示部１３７４に焦点
ぼけ画像を表示する。

【０１５６】この実施例６の構成は、実施例４と同様、
１枚の画像表示装置を用い、ユーザの注視点に応じてダ
イナミックに画像表示部１３７４に表示される画像のぼ
け画像生成処理を施し、ユーザの注視点対象オブジェク
ト、および注視点対象オブジェクトと同距離にあるオブ
ジェクトについては焦点を合致させ、は距離の異なるオ
ブジェクトについてはその距離差に応じたぼけ画像生成
処理を施す構成である。従ってユーザはより実世界に近
い感覚で画像表示部１３７４を観察することができる。

【０１５７】なお、本実施例６の画像処理装置のハード
ウェア構成は、実施例４で説明した図１１のハードウェ
ア構成中の三次元情報取得装置１１０４を省いた構成に
おいて実現される。図１１に示す構成の、磁気ディスク
１１１９、光ディスク１１２０が図１３の画像蓄積部１
３７０、三次元情報蓄積部１３７１に対応する。なお、
画像蓄積部１３７０、三次元情報蓄積部１３７１は図１
１に示す磁気ディスク１１１９、光ディスク１１２０に
限らず、光磁気ディスク、その他の固体メモリであって
もよく、また、通信インタフェースを介して転送される
外部データを逐次利用する形態としてもよい。

【０１５８】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。また、各実施例を相互に組み合わせた態様
についても本発明の要旨に含まれるものである。本発明
の要旨を判断するためには、冒頭に記載した特許請求の
範囲の欄を参酌すべきである。

【０１５９】

【発明の効果】以上詳記したように、本発明によれば、
視差を持った画像をユーザに対して提示する画像表示構
成において、左右それぞれの眼の注視点位置情報、およ
び提示画像の距離情報に基づいて、注視点の距離にある
物体、シーンについて焦点を合わせた画像とし、それ以
外の物体、シーンについては注視点の距離からの距離差
に応じた焦点ぼけ処理を施した画像を提示するように構
成したので、より現実の空間に近い感覚で画像を提示す
ることができる画像処理装置、画像処理方法、及びプロ
グラム提供媒体を提供することができる。

【０１６０】さらに、本発明によれば、１枚の画像をユ
ーザに対して提示する画像表示構成において、ユーザの
眼の注視点位置情報、および提示画像の距離情報に基づ
いて、注視点の距離にある物体、シーンについて焦点を
合わせた画像とし、それ以外の物体、シーンについては
注視点の距離からの距離差に応じた焦点ぼけ処理を施し
た画像を提示するように構成したので、より現実の空間
に近い感覚で画像を提示することができる画像処理装
置、画像処理方法、及びプログラム提供媒体を提供する
ことができる。

【図面の簡単な説明】

【図１】図１は、従来の視差画像を用いた立体画像提示
装置の各種構成例を示した図である。

【図２】図２は、従来の立体画像提示装置の視差画像
と、本発明の画像処理装置における視差画像の例を示し
た図である。

【図３】図３は、図２の視差画像の撮影対象オブジェク
トと、視点位置との関係を示した図である。

【図４】図４は、本発明の画像処理装置における第１実
施例の機能構成を中心として示したブロック図である。

【図５】図５は、本発明の画像処理装置における三次元
情報取得構成として適用可能なステレオ法について説明
した図である。

【図６】図６は、本発明の画像処理装置における焦点ぼ
け画像の生成処理フローを示した図である。

【図７】図７は、本発明の画像処理装置における第１実
施例のハードウェア構成例を示したブロック図である。

【図８】図８は、本発明の画像処理装置における第２実
施例の構成を示したブロック図である。

【図９】図９は、本発明の画像処理装置における第３実
施例の構成を示したブロック図である。

【図１０】図１０は、本発明の画像処理装置における第
４実施例の構成を示したブロック図である。

【図１１】図１１は、本発明の画像処理装置における第
４実施例のハードウェア構成例を示したブロック図であ
る。

【図１２】図１２は、本発明の画像処理装置における第
５実施例の構成を示したブロック図である。

【図１３】図１３は、本発明の画像処理装置における第
６実施例の構成を示したブロック図である。

【符号の説明】

４１３…カメラＬ ４１４…カメラＲ ４１５，４１６…Ａ／Ｄ変換部 ４１７，８２９，９４１…フレームメモリＬ ４１８，８３０，９４２…フレームメモリＲ ４１９…三次元情報生成部 ４２０，８３１，９４３…注視点取得部 ４２１，８３２，９４４…画像表示部Ｌ ４２２，８３３，９４５…画像表示部Ｒ ４２３，８３４，９４６…焦点ぼけ画像生成部Ｌ ４２４，８３５，９４７…焦点ぼけ画像生成部Ｒ ４２５，４２６，８３６，８３７，９４８，９４９…Ｄ
／Ａ変換部 ８２７，９４０…三次元情報蓄積部 ８２８…視差画像生成部 ９３８…画像蓄積部Ｌ ９３９…画像蓄積部Ｒ １０５０…カメラ １０５１…Ａ／Ｄ変換部 １０５２，１２６２，１３７２…フレームメモリ １０５３…三次元情報取得部 １０５４，１２６３，１３７３…注視点取得部 １０５５，１２６４，１３７４…画像表示部 １０５６，１２６５，１３７５…焦点ぼけ画像生成部 １０５７，１２６６，１３７６…Ｄ／Ａ変換部 １２６０，１３７１…三次元情報蓄積部

フロントページの続き Ｆターム(参考） 5B050 DA07 EA07 EA11 EA19 EA28 FA02 FA06 5C061 AA29 AB02 AB04 AB08 AB11 AB12 AB18 AB24 5C082 AA21 AA27 BA12 BA20 BA41 BA47 CA81 CB01 DA51 DA87 MM10

Claims (28)

【特許請求の範囲】
1. 【請求項１】三次元画像生成処理を実行する画像処理装
   置において、 画像表示手段における注視点位置を取得する注視点取得
   手段と、 前記画像表示手段における表示画像に関する三次元情報
   に基づいて焦点ぼけ画像を生成する焦点ぼけ画像生成手
   段とを有し、 前記焦点ぼけ画像生成手段は、前記画像表示手段におけ
   る注視点位置に対応する画素位置に含まれる表示要素の
   視点からの距離を基準距離とし、 前記基準距離との差異が予め定められた閾値を超える前
   記画像表示手段における表示要素について、焦点ぼけ画
   像生成処理を行なう構成を有することを特徴とする画像
   処理装置。
2. 【請求項２】前記焦点ぼけ画像生成手段における焦点ぼ
   け画像生成処理は、前記基準距離との差異である距離差
   に応じて異なる焦点ぼけ画像生成処理を実行する構成で
   あることを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】前記焦点ぼけ画像生成手段は、前記注視点
   取得手段によって取得される画像表示手段における注視
   点の画素位置をｉｓ、前記三次元情報に基づいて求めら
   れる前記画素位置ｉｓの視点からの距離を基準距離：Ｒ
   （ｉｓ）とし、前記画像表示手段における任意の画素ｉ
   の視点からの距離をＲ（ｉ）としたとき、前記任意の画
   素ｉの前記基準距離との差異：Ｒ（ｉｓ）−Ｒ（ｉ）に
   基づいて、前記任意の画素ｉを含む周辺領域の画素の輝
   度値を変更することにより焦点ぼけ画像生成処理を実行
   する構成であることを特徴とする請求項１に記載の画像
   処理装置。
4. 【請求項４】前記焦点ぼけ画像生成手段は、前記注視点
   取得手段によって取得される画像表示手段における画素
   位置をｉｓとし、前記三次元情報に基づいて求められる
   画素位置ｉｓの視点からの距離を基準距離：Ｒ（ｉｓ）
   とし、任意の画素ｉの視点からの距離をＲ（ｉ）とした
   とき、 前記表示手段における画素ｉにおけるぼけ量ζ（ｉ）
   を、下記式（数１）、 【数１】 によって求め、 さらに、画素ｉを中心として規定される領域Ｗの半径ｒ
   （ｉ）を、任意に設定可能なパラメータａを用いて、下
   記式、（数２）、 【数２】 によって求め、 さらにｊを領域Ｗに含まれる画素、Ｎを領域Ｗに含まれ
   る画素数として、画素ｉにおける元の輝度値をＩ（ｉ）
   としたとき、 ぼけ画像生成処理後の輝度値Ｂ（ｉ）を、下記式（数
   ３）、 【数３】 によって求め、輝度値Ｂ（ｉ）を画素ｉの輝度値として
   決定する処理を実行する構成を有することを特徴とする
   請求項１に記載の画像処理装置。
5. 【請求項５】視差に応じた左眼用画像を表示する第１の
   画像表示手段と、視差に応じた右眼用画像を表示する第
   ２の画像表示手段と、 前記第１の画像表示手段における左眼の注視点位置、お
   よび前記第２の画像表示手段における右眼の注視点位置
   を取得する注視点取得手段とを有し、 前記焦点ぼけ画像生成手段は、前記第１の画像表示手段
   と前記第２の画像表示手段における表示画像に関する三
   次元情報に基づいて焦点ぼけ画像を生成する構成を有
   し、前記第１の画像表示手段における左眼の注視点位置
   に対応する位置の表示要素の視点からの距離を左眼画像
   の基準距離とし、該左眼画像の基準距離との差異に応じ
   た焦点ぼけ画像生成処理を前記第１の画像表示手段にお
   ける表示画像に施し、前記第２の画像表示手段における
   右眼の注視点位置に対応する位置の表示要素の視点から
   の距離を右眼画像の基準距離とし、該右眼画像の基準距
   離との差異に応じた焦点ぼけ画像生成処理を前記第２の
   画像表示手段における表示画像に施す構成を有すること
   を特徴とする請求項１に記載の画像処理装置。
6. 【請求項６】視差に応じた画像を撮り込む複数の撮像手
   段として、左眼の視線からの視線画像を撮り込む第１の
   撮像手段と、右眼の視線からの視線画像を撮り込む第２
   の撮像手段とを有することを特徴とする請求項５に記載
   の画像処理装置。
7. 【請求項７】前記第１の撮像手段と前記第２の撮像手段
   によって撮り込まれる複数の画像に基づいて、前記第１
   の画像表示手段と前記第２の画像表示手段における表示
   画像に関する三次元情報を生成する三次元情報生成手段
   とを有することを特徴とする請求項６に記載の画像処理
   装置。
8. 【請求項８】前記第１の画像表示手段と前記第２の画像
   表示手段における表示画像に関する三次元情報を記憶し
   た三次元情報蓄積手段を有し、 前記焦点ぼけ画像生成手段は、前記三次元情報蓄積手段
   に蓄積された三次元情報および前記注視点取得手段によ
   って取得された注視点情報に基づいて焦点ぼけ画像生成
   処理を実行する構成を有することを特徴とする請求項５
   に記載の画像処理装置。
9. 【請求項９】前記三次元情報蓄積手段の蓄積情報に基づ
   いて前記第１の画像表示手段と前記第２の画像表示手段
   に提供する異なる２つの視差画像を生成する視差画像生
   成手段を有し、 前記焦点ぼけ画像生成手段は、前記三次元情報蓄積手段
   に蓄積された三次元情報および前記注視点取得手段によ
   って取得された注視点情報に基づいて、前記視差画像生
   成手段の生成した視差画像に対する焦点ぼけ画像生成処
   理を実行する構成を有することを特徴とする請求項８に
   記載の画像処理装置。
10. 【請求項１０】左右各々の視点位置に対応する画像を蓄
    積した画像蓄積手段を有することを特徴とする請求項５
    に記載の画像処理装置。
11. 【請求項１１】前記画像表示手段は単一の画像表示手段
    によって構成され、 前記注視点取得部は左右の眼の注視点平均、または左右
    の眼いずれかの注視点を注視点情報として取得する構成
    を有し、 前記焦点ぼけ画像生成手段は、前記画像表示手段におけ
    る表示画像に関する三次元情報に基づいて、前記注視点
    取得部から受領する注視点情報の示す位置の表示要素の
    視点からの距離を基準距離として決定するとともに、該
    基準距離との差異に応じた焦点ぼけ画像生成処理を前記
    画像表示手段における表示画像に施すことを特徴とする
    請求項１に記載の画像処理装置。
12. 【請求項１２】三次元情報を取得する三次元情報取得手
    段を有し、 前記焦点ぼけ画像生成手段は、前記三次元情報取得手段
    において取得された三次元情報を用いて焦点ぼけ画像を
    生成する構成を有することを特徴とする請求項１１に記
    載の画像処理装置。
13. 【請求項１３】前記単一の画像表示手段における表示画
    像に関する三次元情報を記憶した三次元情報蓄積手段を
    有し、 前記焦点ぼけ画像生成手段は、該三次元情報蓄積手段に
    蓄積された三次元情報および注視点取得手段によって取
    得された注視点情報に基づいて焦点ぼけ画像生成処理を
    実行する構成を有することを特徴とする請求項１１に記
    載の画像処理装置。
14. 【請求項１４】前記三次元情報蓄積手段の蓄積情報に基
    づいて、前記単一の画像表示手段に対する視線方向に基
    づく画像を生成する画像生成手段を有し、 前記焦点ぼけ画像生成手段は、前記三次元情報蓄積手段
    に蓄積された三次元情報および注視点取得手段によって
    取得された注視点情報に基づいて、前記画像生成手段の
    生成した画像に対する焦点ぼけ画像生成処理を実行する
    構成を有することを特徴とする請求項１３に記載の画像
    処理装置。
15. 【請求項１５】前記単一の画像表示手段に対して提供す
    るソース画像を蓄積した画像蓄積手段を有することを特
    徴とする請求項１１に記載の画像処理装置。
16. 【請求項１６】前記三次元情報は、同一対象を異なる視
    線方向から撮り込む基準カメラと参照カメラによって撮
    り込まれる複数の画像データに基づくステレオ法を適用
    して得られる三次元情報、または参照カメラを複数用い
    たマルチベースラインステレオ法によって得られる三次
    元情報、またはスリット光による光切断法によって得ら
    れる三次元情報、またはモアレを用いた方法によって得
    られる三次元情報、またはパターン光照射による距離計
    測方法によって得られる三次元情報のいずれかの方法に
    よって得られる三次元情報であることを特徴とする請求
    項１に記載の画像処理装置。
17. 【請求項１７】三次元画像生成処理を実行する画像処理
    方法において、 画像表示手段における注視点位置を取得する注視点取得
    処理ステップと、 前記画像表示手段における表示画像に関する三次元情報
    に基づいて焦点ぼけ画像を生成する焦点ぼけ画像生成ス
    テップとを有し、 前記焦点ぼけ画像生成ステップは、 前記画像表示手段における注視点位置に対応する位置の
    表示要素の視点からの距離を基準距離として求めるステ
    ップと、 前記基準距離との差異が予め定められた閾値を超える前
    記画像表示手段における表示要素について、焦点ぼけ画
    像生成処理を行なうステップと、を有することを特徴と
    する画像処理方法。
18. 【請求項１８】前記焦点ぼけ画像生成ステップにおける
    焦点ぼけ画像生成処理は、前記基準距離との差異である
    距離差に応じて異なる焦点ぼけ画像生成処理を実行する
    ことを特徴とする請求項１７に記載の画像処理方法。
19. 【請求項１９】前記焦点ぼけ画像生成ステップは、前記
    注視点取得ステップにおいて取得される画像表示手段に
    おける注視点の画素位置をｉｓ、前記三次元情報に基づ
    いて求められる前記画素位置ｉｓの視点からの距離を基
    準距離：Ｒ（ｉｓ）とし、前記画像表示手段における任
    意の画素ｉの視点からの距離をＲ（ｉ）としたとき、前
    記任意の画素ｉの前記基準距離との差異：Ｒ（ｉｓ）−
    Ｒ（ｉ）に基づいて、前記任意の画素ｉを含む周辺領域
    の画素の輝度値を変更することにより焦点ぼけ画像生成
    処理を実行することを特徴とする請求項１７に記載の画
    像処理方法。
20. 【請求項２０】前記焦点ぼけ画像生成ステップは、前記
    注視点取得ステップにおいて取得される画像表示手段に
    おける画素位置をｉｓとし、前記三次元情報に基づいて
    求められる画素位置ｉｓの視点からの距離を基準距離：
    Ｒ（ｉｓ）とし、任意の画素ｉの視点からの距離をＲ
    （ｉ）としたとき、 前記表示手段における画素ｉにおけるぼけ量ζ（ｉ）
    を、下記式（数４）、 【数４】 によって求め、 さらに、画素ｉを中心として規定される領域Ｗの半径ｒ
    （ｉ）を、任意に設定可能なパラメータａを用いて、下
    記式、（数５）、 【数５】 によって求め、 さらにｊを領域Ｗに含まれる画素、Ｎを領域Ｗに含まれ
    る画素数として、画素ｉにおける元の輝度値をＩ（ｉ）
    としたとき、 ぼけ画像生成処理後の輝度値Ｂ（ｉ）を、下記式（数
    ６）、 【数６】 によって求め、輝度値Ｂ（ｉ）を画素ｉの輝度値として
    決定する処理を実行することを特徴とする請求項１７に
    記載の画像処理方法。
21. 【請求項２１】視差に応じた左眼用画像を表示する第１
    の画像表示手段における左眼の注視点位置と、視差に応
    じた右眼用画像を表示する第２の画像表示手段における
    右眼の注視点位置を取得する注視点取得ステップを有
    し、 前記焦点ぼけ画像生成ステップは、 前記第１の画像表示手段における左眼の注視点位置に対
    応する位置の表示要素の視点からの距離を左眼画像の基
    準距離として求めるステップと、 前記左眼画像の基準距離との差異に応じたぼけ画像生成
    処理を前記第１の画像表示手段における表示画像に実行
    するステップと、 前記第２の画像表示手段における右眼の注視点位置に対
    応する位置の表示要素の視点からの距離を右眼画像の基
    準距離として求めるステップと、 前記右眼画像の基準距離との差異に応じたぼけ画像生成
    処理を前記第２の画像表示手段における表示画像に実行
    するステップとを含むことを特徴とする請求項１７に記
    載の画像処理方法。
22. 【請求項２２】第１の撮像手段により左眼の視線からの
    視線画像を撮り込み、第２の撮像手段により右眼の視線
    からの視線画像を撮り込むステップと、 前記第１の撮像手段と前記第２の撮像手段によって撮り
    込まれる複数の画像に基づいて、前記第１の画像表示手
    段と前記第２の画像表示手段における表示画像に関する
    三次元情報を生成する三次元情報生成ステップを有する
    ことを特徴とする請求項２１に記載の画像処理方法。
23. 【請求項２３】前記焦点ぼけ画像生成ステップは、前記
    第１の画像表示手段と前記第２の画像表示手段における
    表示画像に関する三次元情報を記憶した三次元情報蓄積
    手段に蓄積された三次元情報、および注視点取得ステッ
    プにおいて取得された注視点情報に基づいて焦点ぼけ画
    像生成処理を実行することを特徴とする請求項２１に記
    載の画像処理方法。
24. 【請求項２４】前記三次元情報蓄積手段の蓄積情報に基
    づいて前記第１の画像表示手段と前記第２の画像表示手
    段に提供する異なる２つの視差画像を生成する視差画像
    生成ステップを有し、 前記焦点ぼけ画像生成ステップは、前記三次元情報蓄積
    手段に蓄積された三次元情報および注視点取得ステップ
    によって取得された注視点情報に基づいて、前記視差画
    像生成ステップにおいて生成された視差画像に対する焦
    点ぼけ画像生成処理を実行することを特徴とする請求項
    ２３に記載の画像処理方法。
25. 【請求項２５】前記画像表示手段は単一の画像表示手段
    によって構成され、 前記注視点取得ステップにおいては、左右の眼の注視点
    平均値、または左右の眼いずれかの注視点を注視点情報
    として取得し、 前記焦点ぼけ画像生成ステップは、前記画像表示手段に
    おける表示画像に関する三次元情報に基づいて、前記注
    視点取得ステップにおいて取得される注視点情報の示す
    位置の表示要素の視点からの距離を基準距離として決定
    するステップと、 該基準距離との差異に応じたぼけ画像生成処理を前記画
    像表示手段における表示画像に施すステップとを含むこ
    とを特徴とする請求項１７に記載の画像処理方法。
26. 【請求項２６】前記画像処理方法は、 さらに、三次元情報を取得する三次元情報取得ステップ
    を有し、 前記焦点ぼけ画像生成ステップにおいては、前記三次元
    情報取得ステップにおいて取得された三次元情報を用い
    て焦点ぼけ画像を生成することを特徴とする請求項２５
    に記載の画像処理方法。
27. 【請求項２７】三次元情報蓄積手段の蓄積情報に基づい
    て、前記単一の画像表示手段に対する視線方向に基づく
    画像を生成する画像生成ステップを有し、 前記焦点ぼけ画像生成ステップにおいては、前記三次元
    情報蓄積手段に蓄積された三次元情報および前記注視点
    取得ステップにおいて取得された注視点情報に基づい
    て、前記画像生成ステップにおいて生成された画像に対
    する焦点ぼけ画像生成処理を実行することを特徴とする
    請求項２６に記載の画像処理方法。
28. 【請求項２８】三次元画像処理を実行するための処理を
    コンピュータ・システム上で実行せしめるコンピュータ
    ・プログラムを有形的に提供するプログラム提供媒体で
    あって、前記コンピュータ・プログラムは、 画像表示手段における注視点位置を取得する注視点取得
    ステップと、 前記画像表示手段における表示画像に関する三次元情報
    に基づいて焦点ぼけ画像を生成する焦点ぼけ画像生成ス
    テップとを有し、 前記焦点ぼけ画像生成ステップには、 前記画像表示手段における注視点位置に対応する位置の
    表示要素の視点からの距離を基準距離として求めるステ
    ップと、 前記基準距離との差異が予め定められた閾値を超える前
    記画像表示手段における表示要素について、焦点ぼけ画
    像生成処理を行なうステップと、 を具備することを特徴とするプログラム提供媒体。