JP2012094953A - 三次元画像の疑似的提示装置 - Google Patents

三次元画像の疑似的提示装置 Download PDF

Info

Publication number
JP2012094953A
JP2012094953A JP2010238219A JP2010238219A JP2012094953A JP 2012094953 A JP2012094953 A JP 2012094953A JP 2010238219 A JP2010238219 A JP 2010238219A JP 2010238219 A JP2010238219 A JP 2010238219A JP 2012094953 A JP2012094953 A JP 2012094953A
Authority
JP
Japan
Prior art keywords
value
pixel
correction
image data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010238219A
Other languages
English (en)
Inventor
Naoki Kawai
直樹 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2010238219A priority Critical patent/JP2012094953A/ja
Publication of JP2012094953A publication Critical patent/JP2012094953A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ディスプレイの二次元画面上に三次元画像情報を擬似的に提示する。
【解決手段】視差をもった左右の画像データ10,20を入力し、個々の画素の色を示す画素値からなる平面画像データ30と個々の画素の奥行値を示す奥行画像データ40とを作成して三次元画像情報格納部120に格納する。画素値修正部130により、各画素の色相をその奥行値に基づいて修正する処理(奥行値が大きい画素ほど青味を強める処理)を行い、画像表示部160により、修正平面画像をディスプレイ装置200の画面上に表示する。パラメータ設定部140により、修正の度合いを定めるパラメータ値を時間的に増減する。色相修正の代わりに、彩度修正(奥行値が大きい画素ほど彩度を低下させる修正)や色平均化修正(奥行値が大きい画素ほど平均色に近づける修正)を行うこともできる。また、奥行値に応じて空間周波数を変化させる修正を行ってもよい。
【選択図】図1

Description

本発明は、ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示する技術に関する。
人間の眼に三次元の立体画像を提示する方法は、古くから様々な原理のものが提案されてきている。特に、レーザなどのコヒーレント光源が実用化された後は、ホログラムによる立体画像提示が普及し、偽造防止シールなど、比較的小規模の立体画像提示の用途に利用されている。
一方、ディスプレイ装置を用いて三次元画像を提示する技術分野では、人間の両眼の視差を利用した視差方式に基づく提示方法が主流である。この視差方式の基本原理は、互いに視差をもった左眼用画像と右眼用画像とを用意し、これらを左眼および右眼に別個に提示する、というものである。このように、左右の画像をそれぞれ左右の眼に別個に提示するために、さまざまな仕組が提案されている。
たとえば、下記の特許文献1には、液晶ディスプレイ等の表示画面に対向させて、レンチキュラーレンズシートを配置し、左右両眼にそれぞれ異なる画像を提示する技術が開示されている。また、特許文献2には、ディスプレイ画面上に左眼用画像と右眼用画像とを時分割して表示し、ストライプ状の透光部の位置を調整可能な液晶シャッターを用いて、左右両眼に提示する画像を切り替える技術が開示されている。更に、特許文献3には、開口部と遮光部とを有する遮光マスクを利用して、ディスプレイ画面からの光束を左右両眼に分けて導く技術が開示されている。
また、観察者に特殊な眼鏡を装着させ、この眼鏡の機能により、左右両眼に導く光をコントロールする手法も提案されている。たとえば、下記の特許文献4には、ディスプレイ画面上に、互いに偏光特性が異なる左右の画像を表示し、左右別々の偏光板が組み込まれた偏光眼鏡を用いて、左右の画像を左右の眼に別個に提示する方法が開示されている。同様に、特許文献5には、透視・遮光状態を左右交互に切り替える機能をもったシャッタ眼鏡を利用して、左右両眼に時分割でそれぞれ異なる画像を提示する方法が開示されている。一方、下記の特許文献6には、被写体を複数の視点から撮影した画像を、ディスプレイ画面上に順次表示することにより、特別な眼鏡なしに、擬似的な立体が得られるように被写体を提示する方法が開示されている。
特開2003−29205号公報 特開平9−101482号公報 特開平11−194300号公報 特開平9−21980号公報 特開平2001−320734号公報 特開平8−237687号公報
上述したとおり、ディスプレイ装置を用いて三次元画像を提示する方法としては、様々な原理に基づくものが提案されており、これらの方法のいくつかは、既に市販の製品において実用化されている。しかしながら、多くの方法は、その基本原理として視差方式を採るため、観察者の左右両眼にそれぞれ別々の画像を提示するための何らかの特殊な付加装置が必要になる。具体的には、上掲の特許文献1〜5に開示された方法の場合、ディスプレイ装置の他に、レンチキュラーレンズシート、液晶シャッター、遮光マスク、偏光眼鏡、シャッタ眼鏡等の特殊な装置が必要になる。別言すれば、三次元画像の提示機能を有していない、一般的なTVやパソコンなどのディスプレイ装置を用いて三次元画像の提示を行うことはできない。
一方、特許文献6には、特殊な装置を用いずに、一般的な二次元画像提示用のディスプレイ装置の画面上に、三次元の被写体を擬似的に表示する技術が開示されている。しかしながら、実用上、十分に立体感のある表示を行うためには、同一の被写体を多数の視点から撮影した画像を用意する必要があり、少なくとも、左眼用画像と右眼用画像という2枚の画像だけでは、立体感を表現することはできない。
近年では、インターネットの普及により、画像情報は、光学ディスクなどの物理的な記録媒体を用いて頒布されるだけでなく、通信回線を介して頒布されることが一般的になってきている。また、画像情報を取り扱うハードウエアも、TV、DVD/HD録画装置、パソコン、携帯電話、PDAなど多種多様である。したがって、三次元画像情報も様々な媒体を介して頒布され、様々なハードウエアによって取り扱われることになる。ところが、これら多種多様なハードウエア装置の中で、三次元画像情報に基づいて立体視を生む三次元画像を提示する機能をもった装置は限られている。
たとえば、いわゆる「3Dパソコン」と呼ばれる三次元画像表示機能をもったパソコンがあれば、当該パソコンの規格に対応した三次元画像データに基づいて、立体視を生む三次元画像の提示が可能になる。これは、この「3Dパソコン」に、上述したように、観察者の左右両眼にそれぞれ別々の画像を提示する特殊な機能が備わっているためである。ところが、この三次元画像データを、三次元画像表示機能をもたない通常のパソコンで表示した場合、当然ながら、二次元画像としての表示しか行うことができない。結局、三次元情報が含まれている三次元画像データが入手できたとしても、専用の再生用ハードウエアがない限り、二次元画像としての表示しか行うことができないことになる。
本発明は、このような問題点に鑑み、ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示することが可能な三次元画像の疑似的提示装置を提供することを目的とする。
(1) 本発明の第1の態様は、ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示する三次元画像の疑似的提示装置において、
外部から与えられる三次元画像情報を入力する三次元画像情報入力部と、
入力した三次元画像情報を、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなる平面画像データと、個々の画素についてそれぞれ定義された奥行値の集合からなる奥行画像データと、の集合体として格納する三次元画像情報格納部と、
奥行値に基づいて画素値を修正する所定の画素値修正アルゴリズムを利用して、平面画像データに含まれる個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データを作成する画素値修正部と、
修正平面画像データを格納する修正平面画像データ格納部と、
修正平面画像データをディスプレイ装置に与え、二次元画面上に画像を表示させる画像表示部と、
を設けるようにしたものである。
(2) 本発明の第2の態様は、上述した第1の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、色情報を含んだ平面画像データを格納し、
画素値修正部が、奥行値に応じて色情報を変化させる修正を施すようにしたものである。
(3) 本発明の第3の態様は、上述した第2の態様に係る三次元画像の疑似的提示装置において、
画素値修正部が、奥行値の大きな画素ほど「人間が奥に感じる色相」に近づける色相修正を施すか、奥行値の小さな画素ほど「人間が手前に感じる色相」に近づける色相修正を施すか、または、これら双方の色相修正を施すようにしたものである。
(4) 本発明の第4の態様は、上述した第3の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
画素値修正部が、奥行値に対して単調増加する補正値を定め、個々の画素についてその奥行値に応じて、原色Bの画素値に補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色R,Gの画素値に補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施すようにしたものである。
(5) 本発明の第5の態様は、上述した第3の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
画素値修正部が、奥行値に対して単調減少する補正値を定め、個々の画素についてその奥行値に応じて、原色Rの画素値に補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色G,Bの画素値に補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施すようにしたものである。
(6) 本発明の第6の態様は、上述した第3の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
画素値修正部が、奥行値に対して単調増加する第1の補正値を定め、個々の画素についてその奥行値に応じて、原色Bの画素値に第1の補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色R,Gの画素値に第1の補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施し、
更に、奥行値に対して単調減少する第2の補正値を定め、個々の画素についてその奥行値に応じて、原色Rの画素値に第2の補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色G,Bの画素値に第2の補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施すようにしたものである。
(7) 本発明の第7の態様は、上述した第2の態様に係る三次元画像の疑似的提示装置において、
画素値修正部が、奥行値の大きな画素ほど彩度を低下させる彩度修正を施すようにしたものである。
(8) 本発明の第8の態様は、上述した第7の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
画素値修正部が、三原色RGBを用いたRGB色空間上の座標値(R,G,B)と、色相H,彩度S,明度Vを用いたHSV色空間上の座標値(H,S,V)と、の間の座標変換式を用いて、個々の画素の画素値(R,G,B)を画素値(H,S,V)に変換し、奥行値に対して単調増加する補正値を定め、画素値Sに対して補正値を減算した結果を修正画素値S′とし(但し、修正画素値S′が画素値の最小許容値未満となる場合は、当該最小許容値とする)、画素値(H,S′,V)を座標変換式を用いて、三原色RGBを用いた画素値(R′,G′,B′)に変換する処理を行い、変換後の画素値(R′,G′,B′)により修正平面画像データを作成するようにしたものである。
(9) 本発明の第9の態様は、上述した第7の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データと、個々の画素について奥行値D(但し、0≦D≦1)を定義した奥行画像データと、を格納し、
画素値修正部が、所定の灰色画素値M(但し、画素値の最小許容値≦M≦画素値の最大許容値)および所定のパラメータ値P(但し、0<P≦1)に基づいて、
R′=R・(1−P・D)+M・P・D
G′=G・(1−P・D)+M・P・D
B′=B・(1−P・D)+M・P・D
なる演算を行うことにより、平面画像データを構成する個々の画素の画素値(R,G,B)を新たな画素値(R′,G′,B′)に修正し、修正後の画素値(R′,G′,B′)により修正平面画像データを作成するようにしたものである。
(10) 本発明の第10の態様は、上述した第2の態様に係る三次元画像の疑似的提示装置において、
画素値修正部が、平面画像データに含まれる全画素の平均色を求め、奥行値の大きな画素ほど、平均色に近づける色平均化処理を行うことにより画素値の修正を行うようにしたものである。
(11) 本発明の第11の態様は、上述した第10の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値(R,G,B)を定義した平面画像データと、個々の画素について奥行値D(但し、0≦D≦1)を定義した奥行画像データと、を格納し、
画素値修正部が、平面画像データに含まれる全画素について、画素値Rの平均値Rav,画素値Gの平均値Gav,画素値Bの平均値Bavを求め、所定のパラメータ値P(但し、0<P≦1)に基づいて、
R′=R・(1−P・D)+Rav・P・D
G′=G・(1−P・D)+Gav・P・D
B′=B・(1−P・D)+Bav・P・D
なる演算を行うことにより、平面画像データを構成する個々の画素の画素値(R,G,B)を新たな画素値(R′,G′,B′)に修正し、修正後の画素値(R′,G′,B′)により修正平面画像データを作成するようにしたものである。
(12) 本発明の第11の態様は、上述した第2〜第11の態様に係る三次元画像の疑似的提示装置において、
画素値修正アルゴリズムに用いられるパラメータ値を設定し、かつ、当該パラメータ値を変化させる機能を有するパラメータ設定部を更に設けるようにしたものである。
(13) 本発明の第13の態様は、上述した第12の態様に係る三次元画像の疑似的提示装置において、
パラメータ設定部が、オペレータの指示入力を受け付け、受け付けた指示入力に基づいてパラメータ値を変更するようにしたものである。
(14) 本発明の第14の態様は、上述した第12の態様に係る三次元画像の疑似的提示装置において、
パラメータ設定部が、パラメータ値を所定速度で自動的に増加もしくは減少させるようにしたものである。
(15) 本発明の第15の態様は、上述した第14の態様に係る三次元画像の疑似的提示装置において、
パラメータ設定部が、時間をt、周期をTとして、P=0.5+1/2・sin(2π・t/T)なる式を用いて、周期的なパラメータ値P(0≦P≦1)を発生させるようにしたものである。
(16) 本発明の第16の態様は、上述した第1の態様に係る三次元画像の疑似的提示装置において、
画素値修正部が、個々の画素の奥行値に基づいて、当該画素近傍の画素値の空間周波数成分を変化させる修正を施すようにしたものである。
(17) 本発明の第17の態様は、上述した第16の態様に係る三次元画像の疑似的提示装置において、
画素値修正部が、個々の画素の奥行値Dについて、所定の焦点面奥行値Dfに対する偏差ΔDを求め、偏差ΔDの大きな画素ほど、当該画素近傍の画素値の空間周波数の高周波成分が低減するように、当該画素の画素値に対する修正を施すようにしたものである。
(18) 本発明の第18の態様は、上述した第17の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、二次元マトリックス状に配置された画素についてそれぞれ所定の画素値を定義した平面画像データを格納し、
画素値修正部が、偏差ΔDに対して単調増加する整数nを定め、画素値の修正対象となる対象画素を中心として、n×n画素の画素値の平均値を、当該対象画素の修正後の画素値とする平滑化処理を行うようにしたものである。
(19) 本発明の第19の態様は、上述した第17の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、互いに直交するX軸およびY軸を有するXY二次元座標系上にマトリックス状に配置された画素についてそれぞれ所定の画素値を定義した平面画像データを格納し、
画素値修正部が、1つの対象画素についての画素値を修正する際に、対象画素に対するX軸方向の距離をx、Y軸方向の距離をyとしたときに、
w(x,y)=1/(2πσ)・exp (−(x+y)/2σ
で与えられるw(x,y)を重みとするガウシアンフィルタ(但し、σは、対象画素の偏差ΔDに対応する分散であり、偏差ΔDに対して単調増加する値として定義される)を用いた平滑化処理を行うようにしたものである。
(20) 本発明の第20の態様は、上述した第18または第19の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
画素値修正部が、三原色RGBの各画素値について、それぞれ別個独立した平滑化処理を行うようにしたものである。
(21) 本発明の第21の態様は、上述した第17〜第20の態様に係る三次元画像の疑似的提示装置において、
焦点面奥行値Dfを変化させる機能を有する焦点調節部を更に備えるようにしたものである。
(22) 本発明の第22の態様は、上述した第21の態様に係る三次元画像の疑似的提示装置において、
焦点調節部が、オペレータの指示入力を受け付け、受け付けた指示入力に基づいて焦点面奥行値Dfを変更するようにしたものである。
(23) 本発明の第23の態様は、上述した第21の態様に係る三次元画像の疑似的提示装置において、
焦点調節部が、焦点面奥行値Dfを所定速度で自動的に増加もしくは減少させるようにしたものである。
(24) 本発明の第24の態様は、上述した第23の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報格納部が、0≦D≦1なる範囲内の奥行値が定義された奥行画像データを格納し、
焦点調節部が、時間をt、周期をTとして、Df=0.5+1/2・sin(2π・t/T)なる式を用いて、焦点面奥行値Df(0≦Df≦1)を周期的に変化させるようにしたものである。
(25) 本発明の第25の態様は、上述した第1〜第24の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報入力部が、互いに視差をもった左眼用画像データと右眼用画像データとを含む三次元画像情報を入力し、これを平面画像データと奥行画像データとを含む三次元画像情報に変換して三次元画像格納部へ引き渡すようにしたものである。
(26) 本発明の第26の態様は、上述した第1〜第25の態様に係る三次元画像の疑似的提示装置において、
三次元画像情報入力部が、時系列的に連続した複数の三次元画像情報からなる動画情報を入力し、
三次元画像情報格納部が、入力した個々の三次元画像情報を順次格納し、
画素値修正部が、個々の三次元画像情報に基づいて、それぞれ修正平面画像データを作成し、
修正平面画像データ格納部が、作成された個々の修正平面画像データを順次格納し、
画像表示部が、個々の修正平面画像データを順次ディスプレイ装置に与え、二次元画面上に動画を表示させるようにしたものである。
(27) 本発明の第27の態様は、上述した第1〜第26の態様に係る三次元画像の疑似的提示装置を、コンピュータに専用プログラムを組み込むことにより実現したものである。
(28) 本発明の第28の態様は、ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示する三次元画像の疑似的提示方法において、
コンピュータが、外部から与えられる三次元画像情報を受け付け、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなる平面画像データと、個々の画素についてそれぞれ定義された奥行値の集合からなる奥行画像データと、の集合体として格納する段階と、
コンピュータが、奥行値に基づいて画素値を修正する所定の画素値修正アルゴリズムを利用して、平面画像データに含まれる個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データを作成する段階と、
コンピュータが、修正平面画像データをディスプレイ装置に与え、二次元画面上に表示させる段階と、
を行うようにしたものである。
本発明では、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなる平面画像データと、これら個々の画素についてそれぞれ定義された奥行値の集合からなる奥行画像データと、の集合体からなる三次元画像情報が用意される。このような形式の三次元画像情報は、左眼用画像データと右眼用画像データとからなる一般的な3Dコンテンツデータから生成することが可能であるので、本発明は極めて高い汎用性を有している。
本発明の根本原理は、用意された平面画像データに含まれる個々の画素の画素値に対して、奥行画像データに含まれる奥行値を用いて修正を施し、修正された画素値をもつ修正平面画像データを作成し、作成したデータを用いて修正平面画像をディスプレイ画面上に表示することにある。ディスプレイ画面上に表示される修正平面画像は、あくまでも二次元画像であるから、三次元画像表示機能をもたない通常のディスプレイ装置によって表示させることが可能である。しかも、この修正平面画像は、奥行値を用いて修正が施された画像であるため、もとの平面画像に比べて立体感に富んだ画像になり、擬似的に三次元画像情報を提示することが可能になる。すなわち、本発明によって提示される修正平面画像は、正確な立体視を生じさせる三次元画像ではないが、平面画像に比べれば、奥行きの情報が加味された画像であり、観察者に対して、擬似的に奥行き感を与える効果を奏する。
奥行値に基づいて画素値を修正する第1の手法は、色情報を変化させる方法である。人間の視覚には、色相に関して、寒色は遠く、暖色は近くに感じる特性があるため、奥行値に応じて色相を変化させることにより、観察者に対して奥行き感を与えることができる。たとえば、奥行値の大きな画素について寒色である青味を強める色相修正を施せば、二次元画像として提示したとしても、当該画素が奥に位置するように感じさせる効果が得られる。同様に、奥行値の小さな画素について暖色である赤味を強める色相修正を施せば、二次元画像として提示したとしても、当該画素が手前に位置するように感じさせる効果が得られる。
また、彩度を変化させることも有効である。人間の視覚には、彩度の高い物は手前に、彩度の低い物は奥に感じる特性があるため、奥行値の大きな画素について彩度を低下させる修正を施せば、二次元画像として提示したとしても、当該画素が奥に位置するように感じさせる効果が得られる。
あるいは、色を平均化させる修正も有効である。人間の視覚には、視野において、平均的な色をもつ物は奥に感じ、特異な色をもつ物は手前に感じる特性があるため、奥行値の大きな画素について色を平均化させる修正(画像全体の平均色に近づける修正)を施せば、二次元画像として提示したとしても、当該画素が奥に位置するように感じさせる効果が得られる。
なお、色情報を修正する場合、修正の度合いを定めるパラメータを設定しておき、このパラメータを手動もしくは自動で増減させるようにして、修正の度合いを時間的に変化させるようにするのが好ましい。修正の度合いが時間的に変化すれば、観察者に提示される二次元画像(修正画像)において、擬似的に表現された奥行成分が時間的に変化することになり、観察者に対して、より効果的な奥行き感を与えることが可能になる。
奥行値に基づいて画素値を修正する第2の手法は、画素近傍の空間周波数を変化させる方法である。一般に、高周波成分を多く含む画像はシャープな印象を与える画像となり、観察者には、ピントがしっかりと合った合焦画像として認識される。これに対して、高周波成分の少ない画像は、ピントが外れたピンボケ画像として認識される。そこで、三次元空間上に焦点面Fを設定し、この焦点面Fの奥行位置を焦点面奥行値Dfとして定める。そして、個々の画素の奥行値Dについて焦点面奥行値Dfに対する偏差ΔDを求め、偏差ΔDの大きな画素ほど、当該画素近傍の画素値の空間周波数の高周波成分が低減するように、当該画素の画素値に対する修正を施すようにする。そうすれば、偏差ΔDの大きな部分ほどピントがボケた効果が得られるので、あたかも、特定の焦点面Fにピントを合わせて撮影したような二次元画像を表示することが可能になり、二次元画像でありながら、立体感の富んだ表現ができる。
この場合、焦点面Fの位置(焦点面奥行値Dfの値)を手動もしくは自動で調節させるようにして、焦点面Fの位置が時間的に変化するようにするのが好ましい。焦点面Fの位置を変化させると、得られる二次元画像上で、ピントが合った部分が時間的に変化することになるので、あたかも、カメラのファインダーを覗きながら、レンズ系を操作して焦点調節を行っている状態を擬似的に表現できる。したがって、観察者に対して、より効果的な奥行き感を与えることが可能になる。
本発明の第1の実施形態に係る三次元画像の疑似的提示装置の基本構成を示すブロック図である。 視差に基づく立体画像提示に適した三次元画像情報(左眼用画像データ10と右眼用画像データ20)の構成を示す平面図である。 本発明で利用する三次元画像情報(平面画像データ30と奥行画像データ40)のデータ構成を示す平面図である。 図3に示す三次元画像情報(平面画像データ30と奥行画像データ40)の意味合いを示す斜視図である。 図2に示す三次元画像情報に含まれる具体的な情報内容を示す斜視図である。 図3に示す三次元画像情報に含まれる具体的な情報内容を示す平面図(図(a) )および上面図(図(b) )である。 人間の奥行き感と色相との関係を示す平面図である。 図1に示す提示装置の画素値修正部130が利用する色相修正に基づく画素値修正アルゴリズムの具体例を示す図である。 三原色RGBを用いた色空間上での色表現を、色相H,彩度S,明度Vを用いたHSV色空間上の色表現に変換するための変換式を示す図である。 図1に示す提示装置の画素値修正部130が利用する画素値修正アルゴリズムの別な例を示す図である。 色相H,彩度S′,明度Vを用いたHS′V色空間上の色表現を、三原色RGBを用いた色空間上での色表現に変換するための変換式を示す図である。 図1に示す提示装置の画素値修正部130が利用する画素値修正アルゴリズムにおいて、奥行値に応じて画素値を単調に変化させる一般概念を示す図である。 図1に示す提示装置の画素値修正部130が利用する画素値修正アルゴリズムの更に別な例を示す図である。 本発明の第2の実施形態に係る三次元画像の疑似的提示装置の基本構成を示すブロック図である。 図14に示す提示装置の画素値修正部135が修正に利用する焦点面奥行値Dfに対する偏差ΔDを示す図である。 図14に示す提示装置の画素値修正部135が行う平滑化処理の一例を説明するための平面図である。 図14に示す提示装置の画素値修正部135が行う平滑化処理の別な一例を説明するための平面図である。 図17に示す平滑化処理で用いられるガウシアンフィルタの具体例を示す平面図である。 図14に示す提示装置の三次元画像情報格納部120内に用意された平面画像30および奥行画像40の具体例を示す平面図である。 図19(b) に示す奥行画像40の濃淡パターンと奥行値Dとの関係を示す図である。 図14に示す提示装置の焦点調節部145によって焦点調節操作を行った場合にディスプレイ装置200に表示される二次元画像のバリエーションを示す平面図である。
以下、本発明を図示する実施形態に基づいて説明する。
<<< §1.本発明の第1の実施形態の基本構成 >>>
はじめに、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る三次元画像の疑似的提示装置100の基本構成を示すブロック図である。この提示装置100は、左眼用画像データ10と右眼用画像データ20とを入力し、ディスプレイ装置200の二次元画面上に修正平面画像を表示する機能を有している。ここで、ディスプレイ装置200は、三次元画像表示機能をもたない通常のディスプレイ装置であり(いわゆるプロジェクタであってもよい)、画面上に表示される画像は、あくまでも二次元画像である。ただ、修正平面画像は、奥行きの情報を参酌して修正された画像であるため、観察者に対して、擬似的に奥行き感を与えることができ、三次元画像情報を擬似的に提示することができる。
図示のとおり、この第1の実施形態に係る提示装置100は、一点鎖線で囲まれた構成要素、すなわち、三次元画像情報入力部110,三次元画像情報格納部120,画素値修正部130,パラメータ設定部140,修正平面画像データ格納部150,画像表示部160によって構成されている。これらの各構成要素は、実際には、コンピュータに専用のプログラムを組み込むことによって実現できる。したがって、この提示装置100は、専用のプログラムをインストールした汎用のコンピュータによって構成することができる。
三次元画像情報入力部110は、外部から与えられる三次元画像情報を入力し、これを三次元画像格納部120へ引き渡す機能を果たす構成要素である。ここに示す例の場合、外部から与えられる三次元画像情報は、互いに視差をもった左眼用画像データ10と右眼用画像データ20とによって構成されている。図2は、左眼用画像10と右眼用画像20の構成を示す平面図である。いずれの画像も、二次元平面上に配置された多数の画素から構成されており、画像データは、これら各画素の画素値を示すデータになっている。なお、本願では、便宜上、「画像データ」と「当該画像データによって表示される画像」とを同じ符号で示すことにする(たとえば、「左眼用画像データ」と「左眼用画像」とは、いずれも同じ符号「10」で示す)。
図2に示すとおり、各画像は、横方向にX軸、縦方向にY軸をとったXY二次元座標系上に定義され、各画像上には、縦横のマトリックス状に多数の画素が所定ピッチで配置されている。左眼用画像データ10は、座標値(x,y)で特定される任意の画素Q1(x,y)について、画素値(R,G,B)を定義したデータであり、右眼用画像データ20は、座標値(x,y)で特定される任意の画素Q2(x,y)について、画素値(R,G,B)を定義したデータである。ここで、R,G,Bは、三原色のR(赤),G(緑),B(青)の各画素値であり(本願では、記号「R」,「G」,「B」を、色そのものを示す記号として用いるとともに、その画素値を示す記号としても用いる)、左眼用画像データ10と右眼用画像データ20は、いずれもカラーの二次元画像を示すデータということになる。但し、左眼用画像10は、左眼位置から観察した画像であり、右眼用画像20は、右眼位置から観察した画像である。したがって、同じ座標値(x,y)で示される位置に配置された画素であっても、画素Q1(x,y)と画素Q2(x,y)とでは、定義された画素値(R,G,B)は異なる。
左眼用画像10と右眼用画像20とは、左右両眼の位置偏差に対応する視差を含んだ画像となっているため、左眼用画像10を観察者の左眼に提示し、右眼用画像20を観察者の右眼に提示すれば、観察者は立体感のある三次元画像を認識することができる。ただ、観察者の左右両眼にそれぞれ別々の画像を提示するためには、既に述べたとおり、何らかの特殊な付加装置が必要になる。本発明の特徴は、このような特殊な付加装置を用いることなしに、通常のディスプレイ装置200の画面上に二次元画像を表示しつつ、観察者に擬似的な立体感を与えることにある。
そのため、ここでは、左眼用画像データ10と右眼用画像データ20とによって構成される三次元画像情報を、平面画像データ30と奥行画像データ40とによって構成される三次元画像情報に変換する処理を行う。変換後の平面画像データ30は、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなるデータであり、奥行画像データ40は、個々の画素についてそれぞれ定義された奥行値の集合からなるデータである。
図3は、この平面画像データ30と奥行画像データ40の構成を示す平面図である。ここでも、画像の横方向にX軸、縦方向にY軸をとったXY二次元座標系が定義され、縦横のマトリックス状に多数の画素が所定ピッチで配置されている。平面画像データ30は、本質的には、図2に示す左眼用画像データ10や右眼用画像データ20と同様に、カラーの二次元画像を示すデータであり、座標値(x,y)で特定される任意の画素Q3(x,y)について、画素値(R,G,B)を定義したデータである。これに対して、奥行画像データ40は、各画素の奥行を示す奥行値Dを定義したデータである。すなわち、奥行画像データ40において画素Q4(x,y)に定義された奥行値Dは、平面画像データ30における同じ座標値(x,y)で示される位置に配置された対応画素Q3(x,y)の奥行き(Z軸方向の位置)を示している。
図4は、図3に示す三次元画像情報(平面画像データ30と奥行画像データ40)の意味合いを示す斜視図である。ここでは、図示のとおり、XYZ三次元座標系が定義されている(説明の便宜上、慣習的なXYZ軸のとり方とは異なり、Z軸の向きを紙面に対して奥方向にとって示す)。図3に示す平面画像データ30および奥行画像データ40は、このXYZ三次元座標系において、それぞれXY平面上に配置された画素Q3(x,y)および画素Q4(x,y)の画素値を示すデータになる。ただ、画素Q3(x,y)について定義された画素値(R,G,B)は、このXY平面上に形成される平面画像30の座標(x,y)の位置における三原色R,G,Bの画素値であるのに対して、画素Q4(x,y)に定義された画素値(D)は、画素Q3(x,y)に対応する三次元空間上の画素Q5(x,y,z)のZ座標値zを示す値になる。すなわち、図示のとおり、平面画像30上の画素Q3(x,y)は、三次元画像上の画素Q5(x,y,z)のXY平面上への正射影投影像になる。
平面画像30上の画素Q3(x,y)と奥行画像40上の画素Q4(x,y)とは互いに1対1に対応しているため、平面画像30上のすべての画素Q3について、それぞれ対応する画素Q4が存在し、当該対応画素Q4についての奥行値Dが与えられる。したがって、XY平面上に定義された平面画像30上のすべての画素Q3は、それぞれ奥行きの情報をもっており、画素Q3を奥行値DだけZ軸方向に移動させた位置に対応する画素Q5を得ることができる。結局、図3に示す三次元画像情報は、XYZ三次元座標系上に定義された画素Q5(x,y,z)の集合体からなる三次元画像を示す情報ということになる。
このように、奥行画像40上の画素Q4(x,y)について定義された画素値Dは、画素本来の濃淡や色合いを示す情報ではなく、画素の奥行き(Z軸方向に関する位置)を示す情報であるため、本願では、「画素値D」と呼ぶ代わりに「奥行値D」と呼ぶことにする。なお、奥行画像データ40は、このような「奥行値D」の集合体からなるデータであり、表示対象となる画像の濃淡や色合いを示す本来の「画像データ」ではないが、ここでは便宜上、奥行「画像データ」と呼ぶことにする。
図1に示す三次元画像情報格納部120は、図3に示す平面画像データ30と奥行画像データ40との集合体を、三次元画像情報として格納する機能を果たす。そのため、三次元画像情報入力部110は、入力した左眼用画像データ10と右眼用画像データ20とを含む三次元画像情報を、平面画像データ30と奥行画像データ40とを含む三次元画像情報に変換して三次元画像格納部120へ引き渡す処理を行う。このような変換処理は、公知の幾何学的な演算アルゴリズムによって行うことが可能である。
図5は、図2に示す三次元画像情報に含まれる具体的な情報内容を示す斜視図である。上述したとおり、左眼用画像10は、左眼用視点ELから観察した画像であり、右眼用画像20は、右眼用視点ERから観察した画像である。具体的には、図示のような立体原画像60を用意し、これを左眼用視点ELから撮影することにより左眼用画像10を得ることができ、右眼用視点ERから撮影することにより右眼用画像20を得ることができる。
したがって、左眼用原画像60Lと右眼用原画像60Rとを解析し、互いに対応する画像点を認識することができれば、各視点EL,ERの位置を参酌した幾何学的な方法により、立体原画像60上の各画像点の三次元空間上での位置を求めることができる。たとえば、図示のとおり、左眼用原画像60L上の画像点61L近傍の特徴と、右眼用原画像60R上の画像点61R近傍の特徴とが一致すれば、画像点61Lと61Rとが互いに対応する画像点であることが認識できる。そこで、視点ELと画像点61Lとを結ぶ線と、視点ERと画像点61Rとを結ぶ線と、を求め、両者の交差点として、立体原画像60上の画像点61の位置座標を幾何学演算によって求めることができる。このように、左眼用原画像60Lと右眼用原画像60Rとを解析することにより、元の立体原画像60を復元することが可能である。このような方法は、一般にステレオビジョンと呼ばれている。
こうして、立体原画像60が復元できたら、これを所定位置(たとえば、視点ELと視点ERとの中点)から撮影した場合に得られるであろう平面画像30と、当該平面画像30上の各画素の本来の奥行を示す奥行画像40と、を幾何学演算によって作成することができる。図6(a) は、こうして作成された平面画像30の平面図、図6(b) は、こうして作成された奥行画像40と奥行Dとの関係を示す上面図である。図6(a) に示す平面画像30は、図5に示す立体原画像60を正面から撮影することにより得られる画像に相当し、平面原画像60M上の画素61Mの位置は、図5に示す画像点61を、所定の投影面(XY平面)に投影した正射影像として求めることができる。
一方、図6(b) に示す奥行画像40(紙面に垂直な平面上に定義された画像)上の各画素には、立体原画像60との距離が画素値として与えられる。たとえば、図示の画素61Dには、原画像上の画像点61までの距離を示す奥行値Dが画素値として与えられることになる。したがって、復元された立体原画像60と、奥行画像40を含む平面(XY平面)との位置関係に基づいて、奥行画像40を構成する全画素についての画素値(奥行値)を決定することができる。
以上、三次元画像情報入力部110が、入力した左眼用画像データ10と右眼用画像データ20とを含む三次元画像情報を、平面画像データ30と奥行画像データ40とを含む三次元画像情報に変換する処理の基本原理を簡単に説明した。このような基本原理に基づく具体的な変換処理のアルゴリズムは、公知の技術であり、たとえば、「ビジュアル情報処理−CG・画像処理入門−」,財団法人画像情報教育振興協会(CG−ARTS協会),2004年刊行,p166〜p168「6.6.2 ステレオビジョン」等の文献に開示されている技術であるため、ここでは詳しい説明は省略する。
さて、このような変換処理を行うことにより、三次元画像情報格納部120には、図1に示されているとおり、平面画像データ30と奥行画像データ40との集合体からなる三次元画像情報が格納される。ここに示す第1の実施形態では、上述したとおり、平面画像データ30は個々の画素について画素値(R,G,B)を定義するデータであり、色情報を含んだ平面画像データ30が格納されることになる。
画素値修正部130は、奥行画像データ40に含まれる個々の画素の奥行値Dに基づいて、平面画像データ30に含まれる個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データ50を作成し、これを修正平面画像データ格納部150に引き渡す処理を行う。ここに示す第1の実施形態では、平面画像30は、色情報をもったカラー画像であり、画素値修正部130は、所定の画素値修正アルゴリズムを利用して、奥行値Dに応じて色情報を変化させる修正を施す処理を行う。パラメータ設定部140は、この画素値修正アルゴリズムに用いられるパラメータ値を設定する機能を果たす。なお、具体的な画素値修正アルゴリズムについては、§2で詳述する。
こうして作成された修正平面画像データ50は、修正平面画像データ格納部150に格納される。画像表示部160は、この修正平面画像データ格納部150に格納された修正平面画像データ50をディスプレイ装置200に与え、二次元画面上に画像を表示させる機能を果たす。ディスプレイ装置200は、三次元画像表示機能をもたない通常のディスプレイ装置であり、修正平面画像50を二次元カラー画像として表示する。
修正前の平面画像30も、修正後の修正平面画像50も、三原色についての画素値(R,G,B)をもった画素の集合体からなる二次元カラー画像である。ただ、修正平面画像50は、奥行画像40に含まれる奥行値Dに基づいて修正された画素値をもつ画像であるため、もとの平面画像30に比べて立体感に富んだ画像になり、擬似的に三次元画像情報を提示することが可能になる。別言すれば、ディスプレイ装置200によって表示される二次元カラー画像には、平面画像30のみならず、奥行画像40の情報が含まれていることになる。したがって、修正平面画像50は、平面画像30に比べれば、奥行きの情報が加味された画像になり、観察者に対して、擬似的に奥行き感を与える効果を奏する。
<<< §2.具体的な画素値修正アルゴリズム >>>
ここでは、図1に示す画素値修正部130によって行われる画素値修正処理の具体的なアルゴリズムについて説明する。上述したように、本発明の第1の実施形態で行う画素値修正処理は、平面画像30のもつ色情報を変化させる修正である。
一般に、人間が視覚的に感じる奥行き感は、左右両眼の視差に基づいて生じるものとされているが、視差だけでなく、色による影響も受けることが経験的に知られている。本発明の第1の実施形態は、このような経験則として得られた人間の奥行きに関する知覚特性を利用して、元の平面画像30の色情報を奥行き値に応じて修正することにより、人間が感じる奥行き感を支援するものである。以下、いくつかの具体的な修正方法を順に述べる。
<§2−1:色相の修正>
人間の視覚には、色相に関して、寒色は遠く、暖色は近くに感じる特性があることが知られている。たとえば、図7に示すように、ディスプレイ装置の二次元画面210上に、赤色(暖色)で「PATENT」なる文字を表示し、青色(寒色)で「OFFICE」なる文字を表示した場合、前者は手前に、後者は奥に、それぞれ配置されているような錯覚が生じることが経験則として知られている。このような経験則は、「遠くの背景には青色を用いる」というように、絵画を描く手法でも採り入れられている。したがって、元の平面画像30を構成する個々の画素について、青味を強める色相修正を施せば、当該画素が奥に位置するように感じさせる効果が得られ、赤味を強める色相修正を施せば、当該画素が手前に位置するように感じさせる効果が得られる。
このような人間の色に関する視覚的な特性を利用すれば、平面画像30に対して、奥行き感を強調する修正を施すことが可能である。すなわち、画素値修正部130が、奥行値の大きな画素ほど「人間が奥に感じる色相」に近づける色相修正を施すか、奥行値の小さな画素ほど「人間が手前に感じる色相」に近づける色相修正を施すか、または、これら双方の色相修正を施すようにすればよい。
§1で述べた例では、三次元画像情報格納部120が、個々の画素について三原色RGBの各画素値を定義した平面画像データ30を格納している。このように、三原色RGBの画素値をもった画素の集合体からなるカラー画像の場合、「人間が奥に感じる色相」として寒色のBを用い、「人間が手前に感じる色相」として暖色のRを用いればよい。具体的には、奥行値Dの大きな画素について青味を強める色相修正を施せば、当該画素が奥に位置するように感じさせる効果が得られ、奥行値Dの小さな画素について赤味を強める色相修正を施せば、当該画素が手前に位置するように感じさせる効果が得られる。ここで述べる色相修正は、このような原理に基づくものである。
図8は、このような色相修正に基づく画素値修正アルゴリズムの具体例を示す図である。まず、式(1)として、「B′=B+P・D」(但し、B′>Amax となるときは、B′=Amax )なるアルゴリズムが示されている。このアルゴリズムは、奥行値Dに対して単調増加する補正値を定め、個々の画素についてその奥行値Dに応じて、原色Bの画素値Bに当該補正値を加算する色相修正を行うものである。但し、加算結果が画素値の最大許容値Amax を超える場合は、当該最大許容値Amax を修正後の値とする。上記式(1)において、変数Pは所定のパラメータ値(正の値)であり、奥行値Dにパラメータ値Pを乗じた積P・Dは、奥行値Dに対して単調増加する補正値になる。したがって、上記式(1)は、画素値Bに補正値P・Dを加算することにより、修正後の画素値B′を得る式である。
以下、説明の便宜上、各原色の画素値R,G,Bが0〜1の範囲内の数値で定義されており、奥行値Dも、0〜1の範囲内の数値で定義されているものとする。もちろん、実用上は、たとえば各画素値や奥行値を8ビットのデータで表現した場合、画素値や奥行値がとる範囲は0〜255になるが、ここでは、範囲を0〜1に規格化して考えることにする。したがって、画素値R,G,Bおよび奥行値Dの最小許容値Amin は0になり、最大許容値Amax は1になる。
一方、パラメータ値Pは、修正の度合いを調整する変数であり、パラメータ値を大きく設定すれば、より大きな修正効果が得られる。たとえば、P=1に設定すれば、修正後の画素値B′は、B′=B+Dで与えられることになるが、P=1/2に設定すれば、修正後の画素値B′は、B′=B+D/2で与えられることになる。修正後の画素値B′は、最大許容値Amax が上限となるので、パラメータ値Pをあまり大きな値に設定すると、多くの画素の修正後の画素値がAmax となる飽和現象が生じてしまうので、実用上は、パラメータ値Pを好ましい修正効果が得られる範囲(たとえば、0<P≦1)に設定するようにする。
画素値修正部130が、平面画像30を構成する個々の画素の画素値Bに対して、式(1)に基づく修正を行えば、得られる修正平面画像50では、奥行値Dの大きな画素ほど青味が強調され、より奥に位置する画素として認識されることになる。かくして、人間が感じる奥行き感を支援する効果が得られる。
また、図8には、式(2)として、「R′=R−P・D」,「G′=G−P・D」(但し、R′<Aminとなるときは、R′=Amin 、G′<Aminとなるときは、G′=Amin )なるアルゴリズムが示されている。このアルゴリズムは、奥行値Dに対して単調増加する補正値を定め、個々の画素についてその奥行値Dに応じて、原色R,Gの画素値R,Gに当該補正値を減算する色相修正を行うものである。但し、減算結果が画素値の最小許容値Amin 未満となる場合は、当該最小許容値Amin を修正後の値とする。上記式(2)においても、変数Pは所定のパラメータ値(正の値)であり、奥行値Dにパラメータ値Pを乗じた積P・Dは、奥行値Dに対して単調増加する補正値になる。したがって、上記式(2)は、画素値R,Gに補正値P・Dを減算することにより、修正後の画素値R′,G′を得る式である。
画素値R,Gを減少させる修正を行うと、結果的に、画素値Bが画素値R,Gに対して相対的に増加するので、得られる修正平面画像50では、式(1)に基づく修正と同様に、奥行値Dの大きな画素ほど青味が強調され、より奥に位置する画素として認識されることになる。したがって、式(1)に基づく修正と同様の効果を得ることができる。もちろん、必要に応じて、式(1)に基づく修正と式(2)に基づく修正との双方の色相修正を施すようにしてもよい。
更に、図8には、式(3)として、「R′=R+P・(1−D)」(但し、R′>Amax となるときは、R′=Amax )なるアルゴリズムが示されている。このアルゴリズムは、0≦D≦1の範囲に規格化された奥行値Dに対して単調減少する補正値を定め、個々の画素についてその奥行値Dに応じて、原色Rの画素値Rに当該補正値を加算する色相修正を行うものである。但し、加算結果が画素値の最大許容値Amax を超える場合は、当該最大許容値Amax を修正後の値とする。この式(3)においても、変数Pは所定のパラメータ値(正の値)であり、「1−D」にパラメータ値Pを乗じた積P・(1−D)は、奥行値Dに対して単調減少する補正値になる。したがって、上記式(3)は、画素値Rに補正値P・(1−D)を加算することにより、修正後の画素値R′を得る式である。
画素値修正部130が、平面画像30を構成する個々の画素の画素値Rに対して、式(3)に基づく修正を行えば、得られる修正平面画像50では、奥行値Dの小さな画素ほど赤味が強調され、より手前に位置する画素として認識されることになる。かくして、人間が感じる奥行き感を支援する効果が得られる。
図8の最後には、式(4)として、「G′=G−P・(1−D)」,「B′=B−P・(1−D)」(但し、G′<Aminとなるときは、G′=Amin 、B′<Aminとなるときは、B′=Amin )なるアルゴリズムが示されている。このアルゴリズムは、奥行値Dに対して単調減少する補正値を定め、個々の画素についてその奥行値Dに応じて、原色G,Bの画素値G,Bに当該補正値を減算する色相修正を行うものである。但し、減算結果が画素値の最小許容値Amin 未満となる場合は、当該最小許容値Amin を修正後の値とする。上記式(4)においても、変数Pは所定のパラメータ値(正の値)であり、「1−D」にパラメータ値Pを乗じた積P・(1−D)は、奥行値Dに対して単調減少する補正値になる。したがって、上記式(4)は、画素値G,Bに補正値P・(1−D)を減算することにより、修正後の画素値G′,B′を得る式である。
画素値G,Bを減少させる修正を行うと、結果的に、画素値Rが画素値G,Bに対して相対的に増加するので、得られる修正平面画像50では、式(3)に基づく修正と同様に、奥行値Dの小さな画素ほど赤味が強調され、より手前に位置する画素として認識されることになる。したがって、式(3)に基づく修正と同様の効果を得ることができる。もちろん、必要に応じて、式(3)に基づく修正と式(4)に基づく修正との双方の色相修正を施すようにしてもよい。
また、式(1)もしくは(2)に基づく修正またはその双方(奥行値Dの大きな画素ほど青味を強調する修正)を施した上に、更に、式(3)もしくは(4)に基づく修正またはその双方(奥行値Dの小さな画素ほど赤味を強調する修正)を施すことも可能である。
なお、上記式(1)〜(4)では、奥行値Dもしくは(1−D)にパラメータ値Pを乗じることにより、Dもしくは(1−D)に比例した補正値を求めているが、補正値は必ずしもDもしくは(1−D)に比例した値にする必要はない。すなわち、上記式(1),(2)に示すように、奥行値Dの大きな画素ほど青味を強調する修正を行うのであれば、奥行値に対して単調増加する補正値を定め、画素値Bに当該補正値を加算する色相修正もしくは画素値R,Gに当該補正値を減算する色相修正を行えばよい。同様に、上記式(3),(4)に示すように、奥行値Dの小さな画素ほど赤味を強調する修正を行うのであれば、奥行値に対して単調減少する補正値を定め、画素値Rに当該補正値を加算する色相修正もしくは画素値G,Bに当該補正値を減算する色相修正を行えばよい。
<§2−2:彩度の修正>
ここでは、彩度を修正することにより、奥行き感を生じさせる例を述べる。人間の視覚には、彩度の高い物は手前に、彩度の低い物は奥に感じる特性がある。これは、「遠くのものほど霞んで見える」という経験則に起因するものと考えられており、絵画の分野においても、空気遠近法という技法として古くから知られている。この空気遠近法の大雑把な概念は、遠くのものほど「ぼんやり」として曖昧に感じられるので、奥にあるものほど曖昧に表現すればよい、というものである。これは、遠いものほど注意して見ないという、視覚における一般的な傾向にも合致するものである。
このような人間の視覚的な特性を利用すれば、画素値修正部130により、奥行値Dの大きな画素ほど彩度を低下させる彩度修正を施すようにすれば、奥行値Dの大きな画素ほど奥に位置するように感じさせる効果が得られる。
これまで述べたように、三次元画像情報格納部120が、個々の画素について三原色RGBの各画素値を定義した平面画像データ30を格納している場合は、まず、三原色RGBを用いたRGB色空間上の座標値(R,G,B)と、色相H,彩度S,明度Vを用いたHSV色空間上の座標値(H,S,V)と、の間の座標変換式を用いて、個々の画素の画素値(R,G,B)を画素値(H,S,V)に変換する処理を行えばよい。図9に示す式(5),(6),(7)は、座標値(R,G,B)から座標値(H,S,V)への変換式を示している。ここで、Wmax は、座標値R,G,Bのうちの最大値を示し、Wmin は、座標値R,G,Bのうちの最小値を示している(最大値や最小値をとる座標値が複数ある場合は、いずれをとってもかまわない)。この変換式によって得られる色相Hは0〜360の範囲の値をとり、彩度Sは0〜1の範囲の値をとり、明度Vは0〜Amax (画素値の最大許容値)の範囲の値をとる。画素値修正部130は、これらの座標変換式を用いて、平面画像30を構成する個々の画素の画素値(R,G,B)を画素値(H,S,V)に変換することになる。
次に、奥行値Dに対して単調増加する補正値を定め、個々の画素の画素値Sに対して、当該画素の奥行値Dを用いて定められた補正値を減算した結果を修正画素値S′とする。具体的には、たとえば、図10に示す式(8)「S′=S−P・D」なる演算式により、修正画素値S′を求めることができる。ここで、パラメータ値Pは、これまで述べた例と同様に、修正の度合いを調整する変数であり、たとえば、0<P≦1の範囲内の任意の値に設定すればよい。なお、上記演算によって、修正画素値S′が画素値の最小許容値Amin 未満となる場合は、当該最小許容値Amin を修正画素値S′とする。実際には、彩度Sは0〜1の範囲の値をとるため、最小許容値Amin は0になる。
このような修正を行えば、奥行値Dが大きい画素ほど、彩度が低下することになる。結局、彩度SはS′に修正されるが、色相Hおよび明度Vは変化せず、修正後の画素値は(H,S′,V)になる。そこで、この画素値(H,S′,V)を再び座標変換式を用いて、三原色RGBを用いた画素値(R′,G′,B′)に変換する処理を行い、変換後の画素値(R′,G′,B′)により修正平面画像データ50を作成する処理を行えばよい。
HSV色空間上の座標値(H,S,V)をRGB色空間上の座標値(R,G,B)に変換する座標変換式は、図9に示す式(5),(6),(7)の逆関数として与えられる式になる。具体的には、上例の場合、図11の式(9)〜(19)に示すように、画素値(H,S′,V)を画素値(R′,G′,B′)に変換する式を用いることになる。ここで、式(9)は、「色相Hを60で除した値H/60」を更に6で除したときの商Hiを求める式であり(Hiは、0,1,2,3,4,5,のいずれか)、式(10)は、「f=H/60−Hi」なる演算によって変数fを求める式である。そして、式(11)〜(13)は、変数f,修正後の彩度値S′,明度Vに基づいて、変数p,q,tを求める式である。そして、最後に、式(14)〜(19)に示すとおり、変数Hiの値に応じて、修正後の画素値(R′,G′,B′)の値が決定される。
かくして、修正前の画素値(R,G,B)で示される色に比べて、修正後の画素値(R′,G′,B′)で示される色は、彩度のみが低下していることになる。しかも、彩度の低下度合いは、個々の画素の奥行値Dに応じて定まり、奥行値Dが大きい画素ほど、彩度の低下は大きい。したがって、修正平面画像50が二次元画像として提示されたとしても、奥行値Dの大きい画素ほど奥に位置するように感じさせる効果が得られる
以上、色相Hおよび明度Vを維持したまま彩度Sのみを低下させるアルゴリズムを述べた。このように色相Hおよび明度Vを維持すれば、もとの平面画像30の色合いおよび明るさを保ちながら、彩度だけを低下させて灰色に近づけてゆくことができる。ただ、色合いおよび明るさを保つ必要がない場合には、彩度Sを低下させる際に、色相Hおよび明度Vの変化が生じてもかまわないので、次のようなアルゴリズムを用いることもできる。
いま、図12に示すように、横軸に奥行きを示すZ軸をとり、縦軸に画素値をとったグラフを考え、Z軸上の0〜1の範囲の任意の位置に、奥行値Dを定義する。そして、Z=0の位置(最も手前の位置)に画素値Aを与え、Z=1の位置(最も奥の位置)に画素値Mを与えて、その中間位置Z=Dにおける画素値A′を、図示のとおり、AとMとの間の線形補間値として求めることを考える。この場合、位置Z=0から位置Z=Dまでの距離はDであり、位置Z=Dから位置Z=1までの距離はD−1であるから、画素値A′は、「A′=A・(1−D)+M・D」なる線形補間式によって与えられる。
そこで、平面画像30が、Z=0の位置に配置された画像であり、奥行画像40上に定義された奥行値Dが、図12のグラフのZ軸上の座標値であり、平面画像30を構成する個々の画素の画素値(R,G,B)が、位置Z=0の位置の画素値Aであるものとして、各画素の彩度が、奥行値Dが大きくなる(1に近くなる)にしたがって低下するように、画素値(R,G,B)のそれぞれについて、上記線形補間式を用いて修正を施すことを考えてみる。
まず、位置Z=1における彩度Sを最低値0にするために、灰色画素値Mを設定し、位置Z=1(最も奥の位置)では、各画素値R,G,Bがいずれも灰色画素値Mに等しくなるようにする。ここで、灰色画素値Mは、各画素値R,G,Bのとる範囲内の任意の値でかまわない。たとえば、各画素値R,G,Bの範囲が0〜1の場合であれば、灰色画素値Mも0〜1の範囲内の所定値に設定すればよい。位置Z=1では、R=G=B=Mとなるが、このような関係を満たす画素値(R,G,B)で表される色は灰色(無彩色:彩度S=0)になる。たとえば、M=0の場合は黒、M=1の場合は白になり、Mが小さければ小さいほど黒に近い灰色になり、Mが大きければ大きいほど白に近い灰色になる。
上述したとおり、三次元画像情報格納部120には、個々の画素について画素値(R,G,B)を定義した平面画像データ30と、個々の画素について奥行値D(0≦D≦1に規格化されている)を定義した奥行画像データ40とが格納されている。そこで、奥行値D=0の画素については、もとの画素値(R,G,B)のままとして彩度を維持し、奥行値D=1の画素については、画素値(M,M,M)に修正して灰色に修正し、奥行値Dが、0<D<1の画素については、奥行値Dが大きくなるにしたがって、画素値(R,G,B)が画素値(M,M,M)に近づくような線形補間を行えば、彩度Sを徐々に低下させることができる。
具体的には、画素値修正部130は、所定の灰色画素値M(但し、画素値の最小許容値Amin ≦M≦画素値の最大許容値Amax )に基づいて、図13の式(20)に示すように、
R′=R・(1−D)+M・D
G′=G・(1−D)+M・D
B′=B・(1−D)+M・D
なる演算により、平面画像データ30を構成する個々の画素の画素値(R,G,B)を、奥行画像データ40によって示される奥行値Dを利用して、新たな画素値(R′,G′,B′)に修正し、修正後の画素値(R′,G′,B′)により修正平面画像データ50を作成する処理を行えばよい。この式(20)は、図12に示す線形補間式を、画素値(R,G,B)に適用したものであり、奥行値D=0をもった画素(最も手前の画素)では平面画像30の色がそのまま維持され、奥行値D=1をもった画素(最も奥の画素)は灰色になる。
なお、実用上は、所定のパラメータ値P(但し、0<P≦1)を設定し、図13の式(21)に示すように、
R′=R・(1−P・D)+M・P・D
G′=G・(1−P・D)+M・P・D
B′=B・(1−P・D)+M・P・D
なる演算により修正を行うのが好ましい。式(20)は、式(21)におけるパラメータ値Pを1に設定した場合の式に相当する。パラメータ値Pは、修正の度合いを示すものであり、P=1に設定すると、奥行値D=1をもった画素は灰色、すなわち、完全無彩色(S=0)になるが、P<1に設定すれば、奥行値D=1をもった画素であっても、彩度S=0にはならず、色味が残ることになる。修正平面画像50に、完全無彩色の領域が生じるのを避けたい場合は、P<1に設定すればよい。
<§2−3:色の平均化による>
最後に、色を平均化する修正を加えることにより、奥行き感を生じさせる例を述べる。人間の視覚には、視野において、平均的な色をもつ物は奥に感じ、特異な色をもつ物は手前に感じる特性がある。この特性は、基本的には、遠くのものほど「ぼんやり」として曖昧に感じられる、という根本的な原理に基づくものと考えられる。そこで、奥行値の大きな画素について色を平均化させる修正(画像全体の平均色に近づける修正)を施せば、二次元画像として提示したとしても、当該画素が奥に位置するように感じさせる効果が得られる。上述した彩度を修正する方法の場合、奥行きのレンジが狭いシーンの撮影画像(たとえば、室内の撮影画像や静物などの撮影画像など)では、背景部分の彩度低下により違和感が生じる可能性があるが、ここで述べる色の平均化による修正を行う方法では、そのような弊害は生じない。
色の平均化による修正を行うには、画素値修正部130が、平面画像データ30に含まれる全画素の平均色を求め、奥行値Dの大きな画素ほど、当該平均色に近づける色平均化処理を行うようにすればよい。
上述したとおり、三次元画像情報格納部120には、個々の画素について画素値(R,G,B)を定義した平面画像データ30と、個々の画素について奥行値D(0≦D≦1に規格化されている)を定義した奥行画像データ40とが格納されている。そこで、画素値修正部130は、まず、平面画像データ30に含まれる全画素について、画素値Rの平均値Rav,画素値Gの平均値Gav,画素値Bの平均値Bavを求める。続いて、図13の式(22)に示すように、
R′=R・(1−P・D)+Rav・P・D
G′=G・(1−P・D)+Gav・P・D
B′=B・(1−P・D)+Bav・P・D
なる演算により、平面画像データ30を構成する個々の画素の画素値(R,G,B)を、新たな画素値(R′,G′,B′)に修正し、修正後の画素値(R′,G′,B′)により修正平面画像データ50を作成する処理を行えばよい。
この式(22)は、式(21)における灰色画素値Mを、それぞれの色の平均値Rav,Gav,Bavに置き換えたものであり、奥行値D=0をもった画素(最も手前の画素)では平面画像30の色がそのまま維持され、奥行値D=1をもった画素(最も奥の画素)は画面全体の平均色に近づくことになる。ここで、パラメータ値P(但し、0<P≦1)は、これまで述べてきた例と同様に、修正の度合いを示す値である。P=1に設定すると、奥行値D=1をもった画素の画素値は、(Rav,Gav,Bav)となり、全画面の平均色に完全に一致する。
<<< §3.パラメータ値の変更 >>>
図1に示す提示装置100には、パラメータ設定部140が設けられている。このパラメータ設定部140の役割は、§2で述べた種々の画素値修正アルゴリズムに用いられるパラメータ値Pを設定するとともに、当該パラメータ値Pを変化させることにある。
既に述べたとおり、画素値修正部130が、色相の修正を行う場合には、図8に示す式(1)〜式(4)に基づく演算が行われ、彩度の修正を行う場合には、図10に示す式(8)や図13に示す式(21)に基づく演算が行われ、色の平均化処理を行う場合には、図13に示す式(22)に基づく演算が行われる。これらの式は、いずれも修正の度合いを示すパラメータ値P(0<P≦1)を含んでおり、パラメータ値Pの設定を変えれば、得られる修正平面画像50の内容も変わってくる。したがって、パラメータ値Pを時間的に変化させると、ディスプレイ装置200の画面上に表示される二次元画像(修正平面画像50)も時間的に変化することになる。
本願発明者が行った実験によると、このようにパラメータ値Pを時間的に変化させることにより、ディスプレイ装置200に表示される二次元画像(修正平面画像50)を変化させると、観察者に提示される画像において、擬似的に表現された奥行成分が時間的に変化することになり、観察者に対して、より効果的な奥行き感を与えることが可能になることが確認できた。これは、1枚の修正平面画像50を単体の静的画像として表示するよりも、連続的に変化する修正平面画像50を動的画像として表示した方が、「手前の物体と奥にある物体とで、変化態様が異なる」という特有の現象が時間的な変化として知覚できるようになるためと考えられる。すなわち、観察者は、動的画像を観察しながら、変化の少ない恒久的な領域と、変化の多い過渡的な領域とで、異なる奥行きを認識するものと思われる。
別の観点から言えば、本来の三次元画像情報を提示する機能をもたない通常の二次元ディスプレイ装置であっても、時間的な画像変化を表現する性能は有しているので、当該性能を積極的に活用することにより、三次元画像情報を擬似的に提示する効果を向上させることができるのである。すなわち、奥行きの情報を二次元画像の時間的な変化を併用して表現していることになる。
パラメータ値Pは、手動で増減して変更することもできるし、自動で増減して変更することもできる。手動で変更する構成を採る場合は、パラメータ設定部140が、オペレータの指示入力を受け付け、受け付けた指示入力に基づいてパラメータ値Pを変更するようにすればよい。具体的には、パラメータ設定部140に、ディスプレイ装置200の画面上に操作つまみを表示させる機能と、この操作つまみを移動させるオペレータの指示入力(たとえば、マウスによるドラッグ操作入力)を受け付ける機能とを設けておき、操作つまみの位置に応じて、パラメータ値Pを0〜1に変化させるようにすればよい。
このように、パラメータ設定部140に、パラメータ値Pを手動調節する機能を設けておけば、オペレータは、パラメータ値Pを自由に変化させながら、ディスプレイ装置200に表示された修正平面画像50の変化を確認することができ、奥行きの情報を修正平面画像50の時間的な変化に基づいて認識できるようになる。
一方、パラメータ設定部140に、パラメータ値Pを所定速度で自動的に増加もしくは減少させる機能をもたせておいてもよい。具体的には、たとえば、時間をt、周期をTとして、P=0.5+1/2・sin(2π・t/T)なる式を用いて、周期的なパラメータ値P(0≦P≦1)を発生させるようにする。この式を用いれば、0〜1の間を周期Tで往復するパラメータ値Pを自動設定することができ、観察者には、周期Tで変化する修正平面画像50を提示することが可能になる。
なお、パラメータ値P=0に設定した場合、画素値修正部130による実質的な修正処理は全く行われず、修正平面画像50は元の平面画像30と同じ画像になる。したがって、1枚の修正平面画像50を単体の静的画像として表示する場合、P=0という設定は意味をもたない。しかしながら、パラメータ値Pを時間的に変化させる場合は、P=0の時点で平面画像30がそのまま表示されることになっても何ら支障は生じないので、パラメータ値Pの変化範囲は、0≦P≦1として、P=0を含むようにしてかまわない。
<<< §4.本発明の第2の実施形態 >>>
続いて、本発明の第2の実施形態について説明する。図14は、本発明の第2の実施形態に係る三次元画像の疑似的提示装置100′の基本構成を示すブロック図である。この提示装置100′の大部分の構成は、図1に示す第1の実施形態に係る提示装置100の構成と同じである。もちろん、この提示装置100′も、提示装置100と同様に、実用上は、コンピュータに専用のプログラムを組み込むことによって構成することができる。
図1の提示装置100と図14の提示装置100′との相違点は、前者の画素値修正部130が後者では画素値修正部135に置き換わっている点、前者のパラメータ設定部140が後者では焦点調節部145に置き換わっている点、そして、前者では、平面画像30がカラー画像であることを前提としていたのに対して、後者では、平面画像30がモノクロ画像であってもかまわない点だけである。よって、以下、この相違点のみについて説明を行い、その余の構成要素についての説明は省略する。
両者の最も重要な相違点は、画素値修正部130と135の違いである。いずれも、奥行画像データ40に含まれる個々の画素の奥行値Dに基づいて、平面画像データ30に含まれる個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データ50を作成し、これを修正平面画像データ格納部150に引き渡す処理を行う構成要素である点は共通している。
ただ、両者では、奥行きの情報を表現する上での基本的なアプローチが異なっている。すなわち、図1に示す画素値修正部130は、§2で詳述したとおり、奥行値Dに応じて色情報を変化させる修正を施す。すなわち、人間の視覚おける色と奥行きとの関係特性を利用して、平面画像30の色を修正することにより奥行きの情報を表現するというアプローチを採っている。これに対して、図14に示す画素値修正部135は、個々の画素の奥行値Dに基づいて、当該画素近傍の画素値の空間周波数成分を変化させる修正を施し、空間周波数成分の違いにより奥行きの情報を表現するというアプローチを採る。
一般に、カメラによる撮影では、光学系によって定まる所定の焦点面に一致する被写体にピントが合い、この焦点面からのずれに応じて、被写体の撮影画像はぼやけることになる。このため、撮影時には、レンズを調節して所望の被写体にピントを合わせる焦点調節作業が必要になり、そのプロセスにおいて、被写体の特定部分のピンボケ具合が連続的に変化することは、誰でもが日常的に経験できる事項である。また、人間が肉眼で物を見る場合にも、注視する対象物の位置に焦点面をもってゆくために、水晶体を調整する作業が無意識のうちに行われている。そして、焦点面より奥もしくは手前にある物体は、ぼやけて見えることになる。
このように、人間は、日常生活において、意識する/しないにかかわらず、ピント合わせの作業を経験している。そして、注視対象物に焦点を合わせるピント合わせの作業では、ぼやけている状態から、被写体が徐々に鮮明になってゆき、最終的な合焦状態が得られることを経験則として把握している。本願発明者は、この人間の経験則を利用して、「画像のぼやけ具合」により、奥行き情報を表現できる点に着目した。このような奥行き表現は、映像表現のひとつとしても多用されている。
ここで、「画像のぼやけ具合」は、物理的には、画像の空間周波数に関係して定まる概念であり、一般に、高周波成分を多く含む画像は「ピントが合った鮮明な画像」として把握され、高周波成分の少ない画像は「ピンボケした不鮮明な画像」として把握される。別言すれば、焦点面に位置する被写体の撮影画像は最も高周波成分を多く含み、焦点面から外れれば外れるほど、その被写体の撮影画像に含まれる高周波成分は少なくなる。
そこで、ここで述べる第2の実施形態では、三次元空間上に焦点面Fを設定し、この焦点面Fの奥行位置を焦点面奥行値Dfとして定める。そして、画素値修正部135が、個々の画素の奥行値Dについて焦点面奥行値Dfに対する偏差ΔDを求め、偏差ΔDの大きな画素ほど、当該画素近傍の画素値の高周波成分が低減するように、当該画素の画素値に対する修正を施すようにする。そうすれば、偏差ΔDの大きな部分ほどピントがボケた効果が得られるので、あたかも、特定の焦点面Fにピントを合わせて撮影したような二次元画像を表示することが可能になり、二次元画像でありながら、立体感の富んだ表現ができる。
もちろん、元の平面画像30が、光学系を用いた撮影画像であれば、この平面画像30自身にも、既にボケの情報が含まれており、このボケの情報に基づく立体感が生じることになるが、図14に示す提示装置100′では、奥行画像40を利用して、奥行値Dに応じたボケの効果を更に付加する修正処理が施されることになる。
図15は、焦点面Fとこれに対する偏差ΔDの一例を示す図であり、図4を側面から見た図に相当する。図の左端にはXY平面(図の紙面に垂直な平面)が示されており、図の右方向に奥行きを示すZ軸が示されている。奥行値Dは、このZ軸上の0〜1の区間に定義される。図示の例では、XY平面上に3つの画素Qa,Qb,Qcが示されており、ここでは、これら各画素について、それぞれ奥行値Da,Db,Dcが定義されているものとする。
いま、図示のとおり、焦点面Fを奥行値Dbの位置に設定した場合を考える。ここでは、この焦点面Fの位置に対応する奥行値を焦点面奥行値Dfと呼ぶことにする(この例では、Df=Dbということになる)。このような位置に焦点面Fを設定した場合、個々の画素Qa,Qb,Qcの奥行値Da,Db,Dcについての焦点面奥行値Dfに対する偏差(絶対値で示す)は、図示のとおり、それぞれΔDa,ΔDb,ΔDcになる。ここで、ΔDa=|Df−Da|,ΔDb=|Df−Db|=0,ΔDc=|Df−Dc|である。
焦点面Fにピントを合わせて撮影した二次元画像であれば、偏差が0となる画素Qb(すなわち、奥行値Dbが焦点面Fの位置を示している画素)の近傍の画素値の空間周波数は高周波成分を多く含み、この部分の画像は非常に鮮明な画像になる。したがって、画素Qbについては、高周波成分を低減する修正は不要である。これに対して、偏差ΔDが大きくなればなるほど、焦点面Fから外れた奥行値をもつ画素ということになるので、当該画素近傍の画素値の高周波成分を低減し、ピンボケにする修正を施すようにする。図示の例の場合、0<ΔDa<ΔDcであるから、画素Qaについては、高周波成分を低減する修正を行い、画素Qcについては、高周波成分を更に低減する修正を行えばよい。
特定の画素近傍の高周波成分を低減する画像処理方法としては、平滑化フィルタを用いた平滑化処理が一般に知られている。この平滑化処理は、画素値の修正対象となる対象画素を含めて、当該対象画素を中心とする周辺領域(フィルタのサイズに含まれる領域)の複数の画素について、それぞれ各画素値に所定の重みを乗じた加重平均(畳み込み積分)を求め、得られた加重平均値を当該修正対象画像の新たな画素値とする処理であり、結果的に、ローパスフィルタによるフィルタリング効果を得ることができる。一般的には、フィルタのサイズを大きくすればするほど、ローパスフィルタリングの効果が大きくなる。平滑化フィルタの代表として、平均化フィルタとガウシアンフィルタとが挙げられる。ここでは、この2通りの平滑化フィルタを用いた具体的な平滑化処理の実施形態を説明する。
まず、平均化フィルタを用いた平滑化処理では、修正対象となる対象画素を中心とした一定範囲のフィルタ領域内に所属する画素の画素値を平均する処理が行われる。この場合、各画素値に乗じられる重みは等しく設定され、単純平均が求められる。本発明にこの平均化フィルタを用いた平滑化処理を適用する場合は、高周波成分を低減する度合い(すなわち、偏差ΔDの大きさ)に応じてフィルタ領域の大きさを調整するようにし、低下度合いが大きいほど(偏差ΔDが大きいほど)、より大きなフィルタ領域を設定するようにすればよい。
具体的には、三次元画像情報格納部120が、二次元マトリックス状に配置された画素についてそれぞれ所定の画素値を定義した平面画像データ30を格納している場合、画素値修正部135は、偏差ΔDに対して単調増加する整数nを定め、画素値の修正対象となる対象画素を中心として、n×n画素(平均化フィルタの領域)の画素値の平均値を、当該対象画素の修正後の画素値とする平滑化処理を行うようにすればよい。
図16は、このような平滑化処理の一例を説明するための平面図である。図16(a) ,(b) ,(c) は、それぞれn=1,3,5に設定した場合の平均化フィルタの領域を構成する画素配列を示しており、いずれも中央の太線で囲った画素が、画素値の修正対象となる対象画素に対応する。各画素の内部に記載した数値は、各画素値に乗じられる重みを示している。平均化フィルタの場合、各画素値に乗じられる重みは、いずれも1/nに設定され、積の総和により単純平均が求められることになる。
n=1の場合は、図16(a) に示すように、対象画素それ自身の画素値がそのまま平均値となるので、実質的には、画素値の修正は何ら行われない。これに対して、n=3の場合は、図16(b) に示すように、対象画素を含めた合計9画素の各画素値に重み1/9を乗じた合計、すなわち、9画素の画素値の平均値が求められ、当該平均値が、対象画素の修正後の画素値となる。同様に、n=5の場合は、図16(c) に示すように、対象画素を含めた合計25画素の各画素値に重み1/25を乗じた合計、すなわち、25画素の画素値の平均値が求められ、当該平均値が、対象画素の修正後の画素値となる。
ここで、平均化フィルタのサイズnは、偏差ΔDに対して単調増加する値として設定される。図15に示す例の場合、偏差は、ΔDb<ΔDa<ΔDcであるから、たとえば、偏差ΔDbについてn=1,偏差ΔDaについてn=3,偏差ΔDcについてn=5という設定がなされたとすれば、画素Qbについては、実質的な画素値修正はなされず(n=1)、画素Qaについては、合計9画素の平均画素値とする修正がなされ(n=3)、画素Qcについては、合計25画素の平均画素値とする修正がなされる(n=5)。かくして、焦点面Fから若干外れた奥行値Daをもつ画素Qa近傍の画像にはボケ成分が付加され、焦点面Fから更に外れた奥行値Dcをもつ画素Qc近傍の画像には更に大きなボケ成分が付加されることになる。
なお、この第2の実施形態では、画素の色情報を修正するわけではないので、平面画像30は、カラー画像ではなく、モノクロ画像であってもかまわない。平面画像30が、個々の画素について三原色RGBの各画素値(R,G,B)を定義したカラー画像であった場合、画素値修正部130が、三原色RGBの各画素値(R,G,B)について、それぞれ別個独立した平滑化処理を行うようにすればよい。
一方、ガウシアンフィルタを用いた平滑化処理では、修正対象となる対象画素を中心とした一定範囲に存在する各画素の画素値に、二次元ガウス分布に従った重みを乗じ、その総和を当該対象画素の新たな画素値とする修正が行われる。本発明にこのガウシアンフィルタを用いた平滑化処理を適用する場合は、高周波成分を低減する度合い(すなわち、偏差ΔDの大きさ)に応じて、用いるガウシアンフィルタの分散σを決定すればよい。
具体的には、三次元画像情報格納部120が、互いに直交するX軸およびY軸を有するXY二次元座標系上にマトリックス状に配置された画素についてそれぞれ所定の画素値を定義した平面画像データ30を格納している場合、画素値修正部135は、1つの対象画素についての画素値を修正する際に、当該対象画素に対するX軸方向の距離をx、Y軸方向の距離をyとしたときに、
w(x,y)=1/(2πσ)・exp (−(x+y)/2σ
で与えられるw(x,y)を重みとするガウシアンフィルタ(但し、σは、対象画素の偏差ΔDに対応する分散であり、偏差ΔDに対して単調増加する値として定義される)を用いた平滑化処理を行うようにすればよい。
図17は、このような平滑化処理の一例を説明するための図である。いま、図示のとおり、XY平面上にカラー平面画像30が定義されており、画素Qの画素値(R,G,B)に対して修正を加える場合を考える。この場合、修正対象となる対象画素Qを中心とした一定範囲(ガウシアンフィルタによって定義される重みが所定基準値以上となる範囲)に存在する画素を参照画素として、これら参照画素の画素値の重みづけ平均を求める演算が行われる。図示の画素Qiは、第i番目の参照画素を示す。この例のように、平面画像30がカラー画像の場合は、前述したとおり、各色の画素値R,G,Bのそれぞれについて、別個独立した平滑化処理が行われる。
具体的には、対象画素Qの各色成分についての新たな画素値Q(R′),Q(G′),Q(B′)は、図17に示すとおり、
Q(R′)=Σi=1, n w(x,y)・Qi(R)
Q(G′)=Σi=1, n w(x,y)・Qi(G)
Q(B′)=Σi=1, n w(x,y)・Qi(B)
なる式によって算出される。
ここで、Qi(R),Qi(G),Qi(B)は、第i番目の参照画素Qiのもつ各色成分についての画素値であり、演算子「Σi=1, n 」は、第1番目の参照画素Q1〜第n番目の参照画素Qnまで、合計n個の参照画素についての総和を示す。また、w(x,y)は、上述したとおり、第i番目の参照画素Qiの対象画素Qに対するX軸方向の距離をx、Y軸方向の距離をyとしたときに、
w(x,y)=1/(2πσ)・exp (−(x+y)/2σ
なる式で得られる重みであり、σは、偏差ΔD(図15に示すように、対象画素Qの奥行値Dと焦点面奥行値Dfとの差)に対して単調増加する値として定義された分散であり、たとえば、比例定数kを用いて、σ=k・ΔDのような定義を行えばよい。
図18は、図17に示す平滑化処理で用いられるガウシアンフィルタの具体例を示す平面図である。図18(a) は、分散σ=0.64(σ=0.8)の場合の参照画素の重みw(x,y)を示しており、図18(b) は、分散σ=1(σ=1)の場合の参照画素の重みw(x,y)を示している(分数による近似値を示す)。いずれも中央の太線で囲った画素が、画素値の修正対象となる対象画素に対応する。図18(a) の例では、合計9個の参照画素(対象画素を含む)が選択され、図18(b) の例では、合計25個の参照画素(対象画素を含む)が選択されている。これらの参照画素の更に外側に位置する画素は、重みw(x,y)が所定の基準値に満たないため、参照画素としては選択されない。分散σが大きくなればなるほど、重みw(x,y)は広範囲に分布することになり、選択される参照画素の数は増える。
図18に示す各参照画素の内部に記載した数値は、各画素値に乗じられる重みを示している。ガウシアンフィルタの場合、各画素値に乗じられる重みは、中心ほど大きく、周囲へゆくほど小さくなる二次元ガウス分布をとる。この二次元ガウス分布曲面で囲まれる三次元領域の体積は1になるように規格化されているため(別言すれば、図18(a) もしくは(b) の各参照画素の内部に記載した数値の総和は1になるため)、最終的に得られる画素値Q(R′),Q(G′),Q(B′)は、それぞれ参照画素の各画素値に重みを乗じた加重平均値(畳み込み積分値)になる。
続いて、図14に示す提示装置100′を用いた場合に、ディスプレイ装置200の画面上に得られる修正平面画像50の実例を示そう。ここでは、単純な実例として、図19(a) に示す平面画像30と図19(b) に示す奥行画像40とを用いた場合を考える。平面画像30は、図19(a) に示すように、四角形、楕円、円という3種類の図形を並べた単純な画像である。これらの図形は、実際には、何らかの色をもった図形であってかまわないが、ここでは便宜上、いずれの図形も黒色で示すことにする(この第2の実施形態では、色情報を修正するわけではないので、色について考慮する必要はない)。
一方、奥行画像40も、図19(b) に示すように、四角形、楕円、円という3種類の図形を並べた単純な画像である。ただ、この奥行画像40は、画像本来の濃淡や色合いを示す情報ではなく、画素の奥行値Dを示す情報である。ここでは、図20に、グラデーションパターンとして示すように、座標軸Zの0〜1の区間に奥行値Dをとり、奥行値D=0を白、奥行値D=1を黒、その中間値をグレーで示すことにする。したがって、図19(b) の奥行画像40は、手前から奥に向かって、四角形、楕円、円、背景の順に並んでいることを示している。図20の上段に示した文字も、各図形の奥行方向(Z軸方向)の位置を示している。
図14に示す提示装置100′の画素値修正部135は、このような平面画像30および奥行画像40に基づいて、修正平面画像50を作成する機能を有している。そのためには、図15に示すように、Z軸上の0〜1の区間に焦点面Fを定める必要があり、焦点面Fをどこに定義するかによって、得られる修正平面画像50の内容は変わってくる。図21(a) ,(b) ,(c) は、焦点面Fを、それぞれ四角形の位置、楕円の位置、円の位置に定義したときに得られる修正平面画像50を示す図である。
図21(a) では、一番手前の四角形の位置に焦点面Fが定義されているため、四角形はピントが合った鮮明な状態で表示されているが、楕円はピントが若干ぼけており、円は更にピンボケの画像となっている。これに対して、図21(b) では、楕円の位置に焦点面Fが定義されているため、楕円はピントが合った鮮明な状態で表示されているが、四角形および円はピントが若干ぼけている。また、図21(c) では、一番奥の円の位置に焦点面Fが定義されているため、円はピントが合った鮮明な状態で表示されているが、楕円はピントが若干ぼけており、四角形は更にピンボケの画像となっている。
このように、図21(a) ,(b) ,(c) に示す修正平面画像50では、いずれも奥行きの情報がピントの合焦具合として表現されている。したがって、ディスプレイ装置200の画面上に、図19(a) に示す平面画像30をそのまま表示しただけでは、観察者に対して単なる二次元画像情報しか伝えることができないが、図21(a) ,(b) ,(c) のいずれかに示す修正平面画像50を表示した場合は、観察者に対して、図19(b) に示す奥行画像40のもつ奥行の情報の一部を伝えることが可能になり、三次元画像情報を擬似的に提示することが可能になる。
しかも、図14に示す提示装置100′には、焦点調節部145が設けられており、焦点調節操作が可能になる。すなわち、焦点調節部145は、図15に示す焦点面奥行値Dfを変化させる機能を有し、焦点面Fの位置を時間的に変化させることができる。焦点面奥行値Dfは、手動で増減して変更することもできるし、自動で増減して変更することもできる。
手動で変更する構成を採る場合は、焦点調節部145が、オペレータの指示入力を受け付け、受け付けた指示入力に基づいて焦点面奥行値Dfを変更するようにすればよい。具体的には、焦点調節部145に、ディスプレイ装置200の画面上に操作つまみを表示させる機能と、この操作つまみを移動させるオペレータの指示入力(たとえば、マウスによるドラッグ操作入力)を受け付ける機能とを設けておき、操作つまみの位置に応じて焦点面奥行値Dfを0〜1に変化させるようにすればよい。
このように、焦点調節部145に、焦点面奥行値Dfを手動調節する機能を設けておけば、オペレータは、焦点面奥行値Dfを自由に変化させながら、ディスプレイ装置200に表示された修正平面画像50の変化を確認することができ、奥行きの情報を修正平面画像50の時間的な変化に基づいて認識できるようになる。別言すれば、焦点面奥行値Dfを手動調節する操作は、あたかもカメラで撮影する際に、レンズを調節して所望の被写体にピントを合わせる焦点調節を行う操作に似ており、観察者は、このような日常的に経験した焦点調節操作に類似する手動調節操作を行うことにより、擬似的な奥行き感を得ることができるようになる。たとえば、前掲の例の場合、手動調節操作により、ディスプレイ装置200に表示される修正平面画像50は、図21(a) →(b) →(c) のように変化することになり、観察者は、奥行方向に並んだ3つの図形のいずれかにピントを合わせる操作を行っているような実感を得ることができる。
一方、焦点調節部145に、焦点面奥行値Dfを所定速度で自動的に増加もしくは減少させる機能をもたせておいてもよい。具体的には、たとえば、時間をt、周期をTとして、Df=0.5+1/2・sin(2π・t/T)なる式を用いて、焦点面奥行値Df(0≦P≦1)を発生させるようにする。この式を用いれば、0〜1の間を周期Tで往復する焦点面奥行値Dfを自動設定することができる。
前掲の例でこのような自動設定を行うと、ディスプレイ装置200に表示される修正平面画像50は、図21(a) →(b) →(c) →(b) →(a) →(b) →(c) ...のように自動的に変化することになり、観察者は、奥行方向に並んだ3つの図形のいずれかにピントを合わせる自動調節操作が行われているような実感を得ることができる。
<<< §5.その他の変形例 >>>
以上、本発明を第1の実施形態および第2の実施形態について、それぞれ具体的な実施例を例示して述べたが、本発明は、これらの実施例に限定されるものではない。以下、いくつかの変形例を述べておく。
<§5−1:コンピュータを用いた装置構成>
既に述べたとおり、図1に示す第1の実施形態に係る三次元画像の疑似的提示装置100や、図14に示す第2の実施形態に係る三次元画像の疑似的提示装置100′は、実用上は、コンピュータに専用のプログラムを組み込むことによって構成することができる。このコンピュータは、ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示する三次元画像の疑似的提示方法を実行する機能を有する。
より具体的に説明すれば、この三次元画像の疑似的提示方法は、コンピュータが、外部から与えられる三次元画像情報を受け付け、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなる平面画像データと、個々の画素についてそれぞれ定義された奥行値の集合からなる奥行画像データと、の集合体として格納する段階と、コンピュータが、奥行値に基づいて画素値を修正する所定の画素値修正アルゴリズムを利用して、平面画像データに含まれる個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データを作成する段階と、コンピュータが、この修正平面画像データをディスプレイ装置に与え、二次元画面上に表示させる段階と、によって構成される。
<§5−2:動画の提示>
これまで述べてきた実施例は、1枚の静止画を観察者に提示する例であるが、本発明は、動画を提示する際にも利用することが可能である。本発明を動画提示に利用する場合は、三次元画像情報入力部110が、時系列的に連続した複数の三次元画像情報からなる動画情報を入力し、三次元画像情報格納部120が、入力した個々の三次元画像情報を順次格納し、画素値修正部130,135が、個々の三次元画像情報に基づいて、それぞれ修正平面画像データを作成し、修正平面画像データ格納部150が、作成された個々の修正平面画像データを順次格納し、画像表示部160が、個々の修正平面画像データを順次ディスプレイ装置200に与え、二次元画面上に動画を表示させるようにすればよい。
なお、動画を提示する場合、パラメータ設定部140や焦点調節部145によって、パラメータ値Pや焦点面奥行値Dfを変更しても、その変更結果を、同一の静止画上で確認することはできないかもしれないが、一般的な動画は、類似した静止画を時系列的に並べたものであるから、観察者は、パラメータ値Pや焦点面奥行値Dfの変更結果を動画上で確認することができ、これまで説明した実施例と同様に、奥行き感を認識することができる。
<§5−3:画像データの形式>
図2に示す左眼用画像10や右眼用画像20、そして図3に示す平面画像30は、いずれも1つの画素に画素値(R,G,B)を定義した画像データの形式で示してあるが、画像データの形式は、必ずしもこのような形式である必要はない。たとえば、1つの画素に画素値Rを定義したRプレーンと、1つの画素に画素値Gを定義したGプレーンと、1つの画素に画素値Bを定義したBプレーンと、をそれぞれ別個にもち、3つのプレーンの集合体により、1組の画像データを構成する形式をとってもかまわない。
また、これまでの説明では、便宜上、図3に示すように、画素値(R,G,B)が定義された平面画像30と、奥行値(D)が定義された奥行画像40とを、それぞれ別個の画像データとして取り扱う例を述べたが、1つの画素に4つの画素値(R,G,B,D)が定義された統合画像データの形式で、平面画像30と奥行画像40とを統合するようにしてもかまわない。
<§5−4:画像情報変換機能の省略>
§1では、三次元画像情報入力部110が、互いに視差をもった左眼用画像データ10と右眼用画像データ20とを含む三次元画像情報を入力し、これを平面画像データ30と奥行画像データ40とを含む三次元画像情報に変換して三次元画像格納部120へ引き渡す機能を有している点を述べたが、当該画像情報変換機能は、必須のものではない。
本発明では、三次元画像情報格納部120内に、平面画像データ30と奥行画像データ40とを含む三次元画像情報が格納されている必要があるので、外部から与えられる三次元画像情報が、左眼用画像データ10と右眼用画像データ20とを含む三次元画像情報であった場合には、三次元画像情報入力部110による上記画像情報変換機能が必要になる。しかしながら、外部から与えられる三次元画像情報が、平面画像データ30と奥行画像データ40とを含む三次元画像情報である場合には、三次元画像情報入力部110は、この三次元画像情報を入力して、そのまま三次元画像格納部120へ引き渡す処理を行えばよいので、上記画像情報変換機能は不要になる。
もっとも、現在普及している3D映画,3Dテレビ,3D対応パソコン,3D対応ゲーム機など、多くの3D対応機器では、左眼用画像データ10と右眼用画像データ20とを含むデータ形式を、三次元画像情報の標準フォーマットとして採用しているため、実用上は、上記画像情報変換機能を設けておくのが好ましい。
<§5−5:パラメータ設定部および焦点調節部の省略>
図1に示すパラメータ設定部140は、画素値修正部130で行われる画素値修正処理に用いられるパラメータ値Pを変化させる機能を果たす構成要素であるが、パラメータ値Pを変化させない運用を採る場合には、画素値修正部130内に予め固定のパラメータ値Pを用意しておくようにし、パラメータ設定部140を省略することも可能である。ただ、既に述べたとおり、パラメータ値Pを手動もしくは自動で増減させるようにして、修正の度合いを時間的に変化させれば、観察者に対して、より効果的な奥行き感を与えることが可能になるので、実用上は、パラメータ設定部140を設けるようにするのが好ましい。
同様に、図14に示す焦点調節部145は、画素値修正部135で行われる画素値修正処理に用いられる焦点面奥行値Dfを変化させる機能を果たす構成要素であるが、焦点面Fを変化させない運用を採る場合には、画素値修正部135内に予め固定の焦点面奥行値Dfを用意しておくようにし、焦点調節部145を省略することも可能である。ただ、既に述べたとおり、焦点面Fの位置(焦点面奥行値Dfの値)を手動もしくは自動で調節させるようにして、焦点面Fの位置を時間的に変化させると、得られる修正平面画像上で、ピントが合った部分が時間的に変化することになる。このため、あたかも、カメラのファインダーを覗きながら、レンズ系を操作して焦点調節を行っている状態を擬似的に表現でき、観察者に対して、より効果的な奥行き感を与えることが可能になるので、実用上は、焦点調節部145を設けるようにするのが好ましい。
本発明に係る三次元画像の疑似的提示装置は、上述したとおり、コンピュータに専用のプログラムを組み込むことにより実現することが可能であり、コンピュータ用のプログラムとして提供することができる。具体的には、パソコンやスマートフォンなどのOS上で動作する「三次元画像の簡易ビューワープログラム」として提供することが可能になる。このプログラムをインストールしたパソコンやスマートフォンでは、Eメールで受信したりサイトからダウンロードしたりして入手した立体画像コンテンツを、通常のディスプレイ装置の画面上に二次元画像として表示することができ、しかも、三次元情報を擬似的に表示させることができる。また、上記プログラムは、Webブラウザ用のプラグインソフトウエアとして提供することも可能であり、この場合は、Webページ上で提供されている三次元画像を、二次元のWebブラウザ画面上で擬似的に立体表示させることが可能になる。
近年は、個人的に撮影した画像を、家庭のパソコン等に保存したり、プリントしたりして楽しむだけでなく、Web上のサイトにアップロードしたり、他人と共有したりする利用形態も広がってきている。このような利用形態では、個人が撮影した画像を不特定多数の者に公開して楽しむことができる。今後は、3D撮影機能が備わったカメラが普及し、三次元画像がWeb上で公開されるケースが予想される。しかしながら、公開された三次元画像をダウンロードしても、当該利用者が使用しているパソコンやスマートフォンの閲覧環境(ディスプレイ装置)が、三次元画像表示に対応していなければ、せっかくの三次元画像も、単なる二次元画像として表示されるだけであり、三次元情報が活用されることはない。ところが、本発明を利用した「三次元画像の簡易ビューワープログラム」をインストールしておけば、三次元の立体画像そのものを表示することはできないまでも、三次元情報として含まれている奥行き感を味わうことができるようになり、三次元情報の有効活用を図ることができるようになる。
今後は、3D表示に対応したディスプレイ装置が徐々に普及してゆき、3D表示に対応したWebブラウザも開発されるものと思われる。このため、Webサイト側でも、同一のコンテンツを、2D用サイトと3D用サイトとに分けて併設することが一般化するものと予想される。これは、パソコン用サイトと携帯電話用サイトとが併設されている現在の状況に似ている。もちろん、この場合、2D表示にしか対応していないディスプレイ装置をもった端末から3D用サイトにアクセスできたとしても、その恩恵を享受することはできない。おそらく、この場合、Webブラウザ側では、互換性を確保するために、3D画像の奥行きの情報を欠落させて2D表示する、などの対応を採ることになろう。このような場合でも、本発明を利用した「三次元画像の簡易ビューワープログラム」をインストールしておけば、奥行き情報を欠落させることなく、観察者に擬似的に伝えることが可能になる。
また、今後普及すると予想される電子書籍や電子チラシなどの分野においても、3D表示用のコンテンツが提供されることになろう。本発明は、このような利用分野においても十分に利用可能である。
10:左眼用画像/左眼用画像データ
20:右眼用画像/右眼用画像データ
30:平面画像/平面画像データ
40:奥行画像/奥行画像データ
50:修正平面画像/修正平面画像データ
60:立体原画像
60R:右眼用原画像
60L:左眼用原画像
60M:平面原画像
61:原画像上の画像点
61D:奥行画像上の画素
61R:右眼用原画像上の画像点
61L:左眼用原画像上の画像点
61M:平面原画像上の画素
100:三次元画像の疑似的提示装置(第1の実施形態)
100′:三次元画像の疑似的提示装置(第2の実施形態)
110:三次元画像情報入力部
120:三次元画像情報格納部
130:画素値修正部
135:画素値修正部
140:パラメータ設定部
145:焦点調整部
150:修正平面画像データ格納部
160:画像表示部
200:ディスプレイ装置
210:二次元画面
A:画素値
A′:修正後の画素値
Amax:画素値の最大許容値
Amin:画素値の最小許容値
B:三原色の青色/その画素値
B′:修正後の青色画素値
Bav:青色平均値
D:奥行値
Da〜Dc:奥行値
Df:焦点面奥行値
ER:右眼用視点
EL:左眼用視点
F:焦点面
f:係数値
G:三原色の緑色/その画素値
G′:修正後の緑色画素値
Gav:緑色平均値
H:色相値
Hi:色相剰余値
k:比例定数
M:灰色画素値
n:整数
O:座標系の原点
P:パラメータ値
p:係数値
Q:XY平面上の画素
Q1(x,y):左眼用画像データ10上の画素
Q2(x,y):右眼用画像データ20上の画素
Q3(x,y):平面画像データ30上の画素
Q4(x,y):奥行画像データ40上の画素
Q5(x,y,z):三次元空間上の画素
Qa〜Qc,Qi:XY平面上の画素
Qi(R),Qi(G),Qi(B):画素Qiの画素値
Q(R′),Q(G′),Q(B′):画素Qの修正後の画素値
q:係数値
R:三原色の赤色/その画素値
R′:修正後の赤色画素値
Rav:赤色平均値
S:彩度値
S′:修正後の彩度値
t:係数値/時間
T:周期
V:明度値
Wmax:画素値R,G,Bのうちの最大値
Wmin:画素値R,G,Bのうちの最小値
w(x,y):座標(x,y)の位置の重み
X,Y,Z:XYZ三次元座標系の各座標軸
x,y,z:XYZ三次元座標系の各座標値/距離
ΔD,ΔDa〜ΔDc:偏差
σ:分散

Claims (28)

  1. ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示する三次元画像の疑似的提示装置であって、
    外部から与えられる三次元画像情報を入力する三次元画像情報入力部と、
    入力した三次元画像情報を、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなる平面画像データと、前記個々の画素についてそれぞれ定義された奥行値の集合からなる奥行画像データと、の集合体として格納する三次元画像情報格納部と、
    前記奥行値に基づいて前記画素値を修正する所定の画素値修正アルゴリズムを利用して、前記平面画像データに含まれる前記個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データを作成する画素値修正部と、
    前記修正平面画像データを格納する修正平面画像データ格納部と、
    前記修正平面画像データをディスプレイ装置に与え、二次元画面上に画像を表示させる画像表示部と、
    を備えることを特徴とする三次元画像の疑似的提示装置。
  2. 請求項1に記載の提示装置において、
    三次元画像情報格納部が、色情報を含んだ平面画像データを格納し、
    画素値修正部が、奥行値に応じて前記色情報を変化させる修正を施すことを特徴とする三次元画像の疑似的提示装置。
  3. 請求項2に記載の提示装置において、
    画素値修正部が、奥行値の大きな画素ほど「人間が奥に感じる色相」に近づける色相修正を施すか、奥行値の小さな画素ほど「人間が手前に感じる色相」に近づける色相修正を施すか、または、これら双方の色相修正を施すことを特徴とする三次元画像の疑似的提示装置。
  4. 請求項3に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
    画素値修正部が、奥行値に対して単調増加する補正値を定め、個々の画素についてその奥行値に応じて、原色Bの画素値に前記補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色R,Gの画素値に前記補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施すことを特徴とする三次元画像の疑似的提示装置。
  5. 請求項3に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
    画素値修正部が、奥行値に対して単調減少する補正値を定め、個々の画素についてその奥行値に応じて、原色Rの画素値に前記補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色G,Bの画素値に前記補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施すことを特徴とする三次元画像の疑似的提示装置。
  6. 請求項3に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
    画素値修正部が、奥行値に対して単調増加する第1の補正値を定め、個々の画素についてその奥行値に応じて、原色Bの画素値に前記第1の補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色R,Gの画素値に前記第1の補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施し、
    更に、奥行値に対して単調減少する第2の補正値を定め、個々の画素についてその奥行値に応じて、原色Rの画素値に前記第2の補正値を加算する色相修正(但し、加算結果が画素値の最大許容値を超える場合は、当該最大許容値とする)もしくは原色G,Bの画素値に前記第2の補正値を減算する色相修正(但し、減算結果が画素値の最小許容値未満となる場合は、当該最小許容値とする)、または、これら双方の色相修正を施すことを特徴とする三次元画像の疑似的提示装置。
  7. 請求項2に記載の提示装置において、
    画素値修正部が、奥行値の大きな画素ほど彩度を低下させる彩度修正を施すことを特徴とする三次元画像の疑似的提示装置。
  8. 請求項7に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
    画素値修正部が、三原色RGBを用いたRGB色空間上の座標値(R,G,B)と、色相H,彩度S,明度Vを用いたHSV色空間上の座標値(H,S,V)と、の間の座標変換式を用いて、個々の画素の画素値(R,G,B)を画素値(H,S,V)に変換し、奥行値に対して単調増加する補正値を定め、画素値Sに対して前記補正値を減算した結果を修正画素値S′とし(但し、修正画素値S′が画素値の最小許容値未満となる場合は、当該最小許容値とする)、画素値(H,S′,V)を前記座標変換式を用いて、三原色RGBを用いた画素値(R′,G′,B′)に変換する処理を行い、変換後の画素値(R′,G′,B′)により修正平面画像データを作成することを特徴とする三次元画像の疑似的提示装置。
  9. 請求項7に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データと、個々の画素について奥行値D(但し、0≦D≦1)を定義した奥行画像データと、を格納し、
    画素値修正部が、所定の灰色画素値M(但し、画素値の最小許容値≦M≦画素値の最大許容値)および所定のパラメータ値P(但し、0<P≦1)に基づいて、
    R′=R・(1−P・D)+M・P・D
    G′=G・(1−P・D)+M・P・D
    B′=B・(1−P・D)+M・P・D
    なる演算を行うことにより、前記平面画像データを構成する個々の画素の画素値(R,G,B)を新たな画素値(R′,G′,B′)に修正し、修正後の画素値(R′,G′,B′)により修正平面画像データを作成することを特徴とする三次元画像の疑似的提示装置。
  10. 請求項2に記載の提示装置において、
    画素値修正部が、平面画像データに含まれる全画素の平均色を求め、奥行値の大きな画素ほど、前記平均色に近づける色平均化処理を行うことにより画素値の修正を行うことを特徴とする三次元画像の疑似的提示装置。
  11. 請求項10に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値(R,G,B)を定義した平面画像データと、個々の画素について奥行値D(但し、0≦D≦1)を定義した奥行画像データと、を格納し、
    画素値修正部が、前記平面画像データに含まれる全画素について、画素値Rの平均値Rav,画素値Gの平均値Gav,画素値Bの平均値Bavを求め、所定のパラメータ値P(但し、0<P≦1)に基づいて、
    R′=R・(1−P・D)+Rav・P・D
    G′=G・(1−P・D)+Gav・P・D
    B′=B・(1−P・D)+Bav・P・D
    なる演算を行うことにより、前記平面画像データを構成する個々の画素の画素値(R,G,B)を新たな画素値(R′,G′,B′)に修正し、修正後の画素値(R′,G′,B′)により修正平面画像データを作成することを特徴とする三次元画像の疑似的提示装置。
  12. 請求項2〜11のいずれかに記載の提示装置において、
    画素値修正アルゴリズムに用いられるパラメータ値を設定し、かつ、当該パラメータ値を変化させる機能を有するパラメータ設定部を更に備えることを特徴とする三次元画像の疑似的提示装置。
  13. 請求項12に記載の提示装置において、
    パラメータ設定部が、オペレータの指示入力を受け付け、受け付けた指示入力に基づいてパラメータ値を変更することを特徴とする三次元画像の疑似的提示装置。
  14. 請求項12に記載の提示装置において、
    パラメータ設定部が、パラメータ値を所定速度で自動的に増加もしくは減少させることを特徴とする三次元画像の疑似的提示装置。
  15. 請求項14に記載の提示装置において、
    パラメータ設定部が、時間をt、周期をTとして、P=0.5+1/2・sin(2π・t/T)なる式を用いて、周期的なパラメータ値P(0≦P≦1)を発生させることを特徴とする三次元画像の疑似的提示装置。
  16. 請求項1に記載の提示装置において、
    画素値修正部が、個々の画素の奥行値に基づいて、当該画素近傍の画素値の空間周波数成分を変化させる修正を施すことを特徴とする三次元画像の疑似的提示装置。
  17. 請求項16に記載の提示装置において、
    画素値修正部が、個々の画素の奥行値Dについて、所定の焦点面奥行値Dfに対する偏差ΔDを求め、前記偏差ΔDの大きな画素ほど、当該画素近傍の画素値の空間周波数の高周波成分が低減するように、当該画素の画素値に対する修正を施すことを特徴とする三次元画像の疑似的提示装置。
  18. 請求項17に記載の提示装置において、
    三次元画像情報格納部が、二次元マトリックス状に配置された画素についてそれぞれ所定の画素値を定義した平面画像データを格納し、
    画素値修正部が、偏差ΔDに対して単調増加する整数nを定め、画素値の修正対象となる対象画素を中心として、n×n画素の画素値の平均値を、当該対象画素の修正後の画素値とする平滑化処理を行うことを特徴とする三次元画像の疑似的提示装置。
  19. 請求項17に記載の提示装置において、
    三次元画像情報格納部が、互いに直交するX軸およびY軸を有するXY二次元座標系上にマトリックス状に配置された画素についてそれぞれ所定の画素値を定義した平面画像データを格納し、
    画素値修正部が、1つの対象画素についての画素値を修正する際に、前記対象画素に対するX軸方向の距離をx、Y軸方向の距離をyとしたときに、
    w(x,y)=1/(2πσ)・exp (−(x+y)/2σ
    で与えられるw(x,y)を重みとするガウシアンフィルタ(但し、σは、前記対象画素の偏差ΔDに対応する分散であり、偏差ΔDに対して単調増加する値として定義される)を用いた平滑化処理を行うことを特徴とする三次元画像の疑似的提示装置。
  20. 請求項18または19に記載の提示装置において、
    三次元画像情報格納部が、個々の画素について三原色RGBの各画素値を定義した平面画像データを格納し、
    画素値修正部が、三原色RGBの各画素値について、それぞれ別個独立した平滑化処理を行うことを特徴とする三次元画像の疑似的提示装置。
  21. 請求項17〜20のいずれかに記載の提示装置において、
    焦点面奥行値Dfを変化させる機能を有する焦点調節部を更に備えることを特徴とする三次元画像の疑似的提示装置。
  22. 請求項21に記載の提示装置において、
    焦点調節部が、オペレータの指示入力を受け付け、受け付けた指示入力に基づいて焦点面奥行値Dfを変更することを特徴とする三次元画像の疑似的提示装置。
  23. 請求項21に記載の提示装置において、
    焦点調節部が、焦点面奥行値Dfを所定速度で自動的に増加もしくは減少させることを特徴とする三次元画像の疑似的提示装置。
  24. 請求項23に記載の提示装置において、
    三次元画像情報格納部が、0≦D≦1なる範囲内の奥行値が定義された奥行画像データを格納し、
    焦点調節部が、時間をt、周期をTとして、Df=0.5+1/2・sin(2π・t/T)なる式を用いて、焦点面奥行値Df(0≦Df≦1)を周期的に変化させることを特徴とする三次元画像の疑似的提示装置。
  25. 請求項1〜24のいずれかに記載の提示装置において、
    三次元画像情報入力部が、互いに視差をもった左眼用画像データと右眼用画像データとを含む三次元画像情報を入力し、これを平面画像データと奥行画像データとを含む三次元画像情報に変換して三次元画像格納部へ引き渡すことを特徴とする三次元画像の疑似的提示装置。
  26. 請求項1〜25のいずれかに記載の提示装置において、
    三次元画像情報入力部が、時系列的に連続した複数の三次元画像情報からなる動画情報を入力し、
    三次元画像情報格納部が、入力した個々の三次元画像情報を順次格納し、
    画素値修正部が、個々の三次元画像情報に基づいて、それぞれ修正平面画像データを作成し、
    修正平面画像データ格納部が、作成された個々の修正平面画像データを順次格納し、
    画像表示部が、前記個々の修正平面画像データを順次ディスプレイ装置に与え、二次元画面上に動画を表示させることを特徴とする三次元画像の疑似的提示装置。
  27. 請求項1〜26のいずれかに記載の三次元画像の疑似的提示装置としてコンピュータを機能させるためのプログラム。
  28. ディスプレイ装置の二次元画面上に三次元画像情報を擬似的に提示する三次元画像の疑似的提示方法であって、
    コンピュータが、外部から与えられる三次元画像情報を受け付け、二次元平面上に配置された個々の画素についてそれぞれ定義された画素値の集合からなる平面画像データと、前記個々の画素についてそれぞれ定義された奥行値の集合からなる奥行画像データと、の集合体として格納する段階と、
    コンピュータが、前記奥行値に基づいて前記画素値を修正する所定の画素値修正アルゴリズムを利用して、前記平面画像データに含まれる前記個々の画素の画素値に対して修正を施し、修正された画素値をもつ修正平面画像データを作成する段階と、
    コンピュータが、前記修正平面画像データをディスプレイ装置に与え、二次元画面上に表示させる段階と、
    を有することを特徴とする三次元画像の疑似的提示方法。
JP2010238219A 2010-10-25 2010-10-25 三次元画像の疑似的提示装置 Pending JP2012094953A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010238219A JP2012094953A (ja) 2010-10-25 2010-10-25 三次元画像の疑似的提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010238219A JP2012094953A (ja) 2010-10-25 2010-10-25 三次元画像の疑似的提示装置

Publications (1)

Publication Number Publication Date
JP2012094953A true JP2012094953A (ja) 2012-05-17

Family

ID=46387865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010238219A Pending JP2012094953A (ja) 2010-10-25 2010-10-25 三次元画像の疑似的提示装置

Country Status (1)

Country Link
JP (1) JP2012094953A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN114723894A (zh) * 2022-04-28 2022-07-08 北京百度网讯科技有限公司 一种三维坐标获取方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN114723894A (zh) * 2022-04-28 2022-07-08 北京百度网讯科技有限公司 一种三维坐标获取方法、装置及电子设备
CN114723894B (zh) * 2022-04-28 2023-10-13 北京百度网讯科技有限公司 一种三维坐标获取方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
EP3035681B1 (en) Image processing method and apparatus
US7679641B2 (en) Vertical surround parallax correction
Terzić et al. Methods for reducing visual discomfort in stereoscopic 3D: A review
EP2340534B1 (en) Optimal depth mapping
AU2010202382B2 (en) Parallax scanning through scene object position manipulation
US20130057644A1 (en) Synthesizing views based on image domain warping
US9087406B2 (en) Automated stereoscopic computer-animation techniques for determining scaled stereo parameters
US20130293531A1 (en) User perception of visual effects
CN108287609B (zh) 用于ar眼镜的图像绘制方法
Stavrakis et al. Image-based stereoscopic painterly rendering
JP2012094953A (ja) 三次元画像の疑似的提示装置
Mangiat et al. Disparity remapping for handheld 3D video communications
CN103514593B (zh) 图像处理方法及装置
JP6457964B2 (ja) 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
Smith et al. Perception of size and shape in stereoscopic 3d imagery
Ebner et al. Off-Axis Layered Displays: Hybrid Direct-View/Near-Eye Mixed Reality with Focus Cues
Höckh et al. Exploring crosstalk perception for stereoscopic 3D head‐up displays in a crosstalk simulator
WO2020207579A1 (en) Device and method for enhancing images
Gurrieri Improvements in the visualization of stereoscopic 3D imagery
Tian et al. Comfort evaluation of 3D movies based on parallax and motion
CN116567191A (zh) 一种面向舒适度提升的立体视觉内容视差调节方法
JP2019013012A (ja) データ構造
Schemali et al. ChromoStereoscopic rendering for trichromatic displays
Byalmarkova et al. Approaches in Creation of 3D Content for Autostereoscopic Displays