JP2014199289A - 表示装置及びプログラム - Google Patents

表示装置及びプログラム Download PDF

Info

Publication number
JP2014199289A
JP2014199289A JP2013074099A JP2013074099A JP2014199289A JP 2014199289 A JP2014199289 A JP 2014199289A JP 2013074099 A JP2013074099 A JP 2013074099A JP 2013074099 A JP2013074099 A JP 2013074099A JP 2014199289 A JP2014199289 A JP 2014199289A
Authority
JP
Japan
Prior art keywords
image
display
edge
information
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013074099A
Other languages
English (en)
Inventor
英範 栗林
Hidenori Kuribayashi
英範 栗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013074099A priority Critical patent/JP2014199289A/ja
Publication of JP2014199289A publication Critical patent/JP2014199289A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】複数の画像の位置合わせを容易に行う。【解決手段】表示装置は、第1画像を表示する第1表示部と、第1画像内の領域のうち第1領域に対応する領域の鮮鋭度と、第1画像内の領域のうち第2領域に対応する領域の鮮鋭度とが相違する画像であって、第1画像に対応して表示される第2画像を表示する第2表示部とを備える。【選択図】図1

Description

本発明は、表示装置及びプログラムに関する。
近年、3次元画像の奥行き位置に応じて輝度比を付けた二つの画像を、奥行き位置の異なる手前の表示面と奥の表示面とに表示して両眼視差を生じさせることにより、ユーザに立体感を知覚させる表示方法が知られている(例えば、特許文献1を参照)。
特許第3464633号公報
しかしながら、上記のような表示方法においては、複数の画像を重ね合わせて表示するため、画像の位置合わせを精度よく行う必要があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、複数の画像の位置合わせを容易に行うことができる表示装置を提供することにある。
本発明の一実施形態は、第1画像を表示する第1表示部と、前記第1画像内の領域のうち第1領域に対応する領域の鮮鋭度と、前記第1画像内の領域のうち第2領域に対応する領域の鮮鋭度とが相違する画像であって、前記第1画像に対応して表示される第2画像を表示する第2表示部とを備えることを特徴とする表示装置である。
また、本発明の一実施形態は、表示装置が備えるコンピュータに、第1画像を表示する第1表示ステップと、前記第1画像内の領域のうち第1領域に対応する領域の鮮鋭度と、前記第1画像内の領域のうち第2領域に対応する領域の鮮鋭度とが相違する画像であって、前記第1画像に対応して表示される第2画像を表示する第2表示ステップとを実行させるためのプログラムである。
この発明によれば、複数の画像を重ね合わせるための演算量を低減することができる。
本発明の実施形態における表示装置の構成の概要の一例を示す概要図である。 第1画像と第2画像とによって生じる立体像の奥行き位置の一例を示す模式図である。 本実施形態の表示装置が表示する画像の一例を示す模式図である。 本実施形態の輪郭補正部が補正するエッジ画像の一例を示す模式図である。 本実施形態の表示装置の具体的な構成の一例を示す模式図である。 本実施形態の輪郭補正部が中心からの距離に基づいて補正するエッジ画像の一例を示す模式図である。 本実施形態の第1画像の一例を示す模式図である。 本実施形態の第2画像の一例を示す模式図である。 本実施形態における第1画像と第2画像と視点位置との位置関係の一例を示す模式図である。 本実施形態における観察者の眼に見える光学像の一例を示す模式図である。 本実施形態の視点位置における光学像の明るさの一例を示すグラフである。 本実施形態における観察者が光学像に基づいて知覚する第1画像の輪郭部の一例を示すグラフである。 本実施形態の表示装置における画素値の補正動作の一例を示すフローチャートである。 本実施形態の第1画像の単位領域ごとの空間周波数の出現頻度の一例を示すグラフである。
以下、図面を参照して、本発明の実施形態を説明する。
図1は、本発明の実施形態における表示装置100の構成の概要の一例を示す概要図である。以下、各図の説明においてはXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。表示装置100が画像を表示している方向をZ軸の正の方向とし、当該Z軸方向に垂直な平面上の直交方向をそれぞれX軸方向及びY軸方向とする。ここでは、X軸方向は、表示装置100の水平方向とし、Y軸方向は表示装置100の鉛直上方向とする。以下、この表示装置100の構成の概要について説明する。
本実施形態の表示装置100は、表示部10としての第1表示部11と、第2表示部12とを備えている。第1表示部11は、奥行き位置Z1に画像を表示する第1表示面11Sを備えている。第2表示部12は、奥行き位置Z2に画像を表示する第2表示面12Sを備えている。ユーザ1(以下の説明において、観察者ともいう。)は、奥行き位置ZVPに予め定められている視点位置VPから、この第1表示面11Sと、第2表示面12Sとを見る。この第1表示面11Sおよび第2表示面12Sとは、例えば、液晶ディスプレイや液晶プロジェクタなどのスクリーン、もしくはヘッドマウントディスプレイのような装着して視聴できるような表示面である。このうち、第1表示面11Sは、透過型のスクリーンであるため、ユーザ1が視点位置VPから第1表示面11S見た場合に、第1表示面11Sが表示する画像と、第2表示面12Sが表示する画像とが重なるように見える。表示装置100は、この第1表示面11Sに表示する画像と第2表示面12Sに表示する画像とを重ねて表示することによって、第1表示面11Sに表示する表示対象OBJに立体感を与える。以下、この表示装置100が表示対象OBJに立体感を与える仕組みの概要について説明する。
ここでは、一例として、表示対象OBJが、図1に示す四角形である場合について説明する。第1表示面11Sは、表示対象OBJとしての四角形の画像と、表示対象OBJ(ここでは、四角形)の背景を示す背景画像BGPとを含む画像P11(第1画像)を表示する。ここで、背景画像BGPとは、表示対象OBJの輪郭部の画素値と、この輪郭部の近傍の(例えば、この輪郭部に接する)背景画像BGPの画素値とが相違している画像である。すなわち、背景画像BGPとは、ユーザ1が表示対象OBJの画像と当該背景画像BGPとを見た場合に、表示対象OBJの画像と当該背景画像BGPとを区別することが可能な画像である。この背景画像BGPの具体例については後述する。
第2表示面12Sは、表示対象OBJの輪郭部を示すエッジ画像PE(輪郭画像)を含む画像P12を表示する。この第2表示面12Sは、ユーザ1が視点位置VPから第1表示面11Sと第2表示面12Sとを重ねて見た場合に、エッジ画像PEが示す四角形の各辺と、第1表示面11Sが表示する画像P11が示す四角形の各辺とが重なるようにして、エッジ画像PEを表示する。例えば、第2表示面12Sは、第1表示面11Sが表示する四角形の左上の頂点の位置Pt1と、エッジ画像PEの左上の頂点の位置Pt2とが、視点位置VPから見た場合に重なるように、エッジ画像PEを表示する。ここで、左上の頂点とは、各表示面上において、X座標が最も小さく、Y座標が最も大きい位置にある頂点である。
なお、第2表示面12Sが表示する画像P12は、エッジ画像PEだけでなく表示対象OBJをそのまま示す画像を含んでいてもよく、また表示対象OBJの輪郭部(エッジ部分)を強調して示す画像を含んでいてもよい。また、このエッジ画像PEとは、表示対象OBJを表示する画素値の周波数成分のうち、高周波部分の画像であってもよい。以下、画像P12が、エッジ画像PEのみを含む場合について説明する。
ユーザ1が、視点位置VPから画像P11と画像P12とを重ねて見ると、ユーザ1の左眼Lと右眼Rとの間において、四角形の各辺の重なりかたに差が生じる。すなわち、ユーザ1が、視点位置VPから奥行き位置が相違する画像P11と画像P12とを重ねて見ると、両眼視差が生じる。この両眼視差によって、ユーザ1は、四角形の立体像を知覚する。
なお、ここでは第1表示面11Sが、透過型スクリーンであって、視点位置VPから見て第2表示面12Sよりも奥行き位置の手前側(+Z側)に位置するとして説明したが、これに限られない。例えば、第2表示面12Sが、透過型スクリーンであって、視点位置VPから見て第1表示面11Sよりも奥行き位置の手前側(+Z側)に位置していてもよい。以下の説明においても、同様に第1表示面11Sの奥行き位置と、第2表示面12Sの奥行き位置とが入れ替わっていてもよい。次に、図2を参照して、ユーザ1が知覚する立体像の奥行き位置について説明する。
図2は、画像P11(第1画像)と画像P12(第2画像)とによって生じる立体像SIの奥行き位置の一例を示す模式図である。上述したように、第1表示面11Sは、奥行き位置Z1に画像P11を表示する。この第1表示面11Sは、画像P11に基づく第1光束R11を発する。第1表示面11Sから発せられた第1光束R11は、視点位置VPにいる観察者に画像P11の光学像として観察される。同様に、第2表示面12Sは、奥行き位置Z2に画像P12を表示する。この第2表示面12Sは、画像P12に基づく第2光束R12を発する。第2表示面12Sから発せられた第2光束R12は、視点位置VPにいる観察者に画像P12の光学像として観察される。観察者は、視点位置VPにおいて、第1光束R11と第2光束R12とを同時に観察することにより、表示対象が立体表示された立体像SIを認識する。この観察者が立体像SIを認識する仕組みについては、後述する。
ここで、立体像SIの奥行き位置とは、観察者が認識する立体像SIのZ軸方向(奥行き方向)の位置である。具体的には、立体像SIの奥行き位置は、第2表示面12Sの奥行き位置を基準にしたZ方向の距離によって示される。例えば、第1表示面11Sと第2表示面12Sとの間のZ軸方向の距離が距離Lである場合、立体像SIの奥行き位置は、第2表示面12Sの奥行き位置Z2を距離La=0とし、第1表示面11Sの奥行き位置Z1を距離La=Lとした距離Laによって示される。
この立体像SIの奥行き位置は、第2表示面12Sが表示するエッジ画像PEの画素値(例えば、明るさ)に依存する。例えば、第2表示面12Sが表示するエッジ画像PEの明るさをより明るくすると、立体像SIの奥行き位置は、距離La=0(すなわち、第2表示面12S)に近づく。逆に、第2表示面12Sが表示するエッジ画像PEの明るさをより暗くすれば、立体像SIの奥行き位置は、距離La=L(すなわち、第1表示面11S)に近づく。このように、立体像SIの奥行き位置は、エッジ画像PEの明るさに応じて、距離La=0〜Lの間において変化する。
具体的には、表示装置100は、図5を参照して後述するように輪郭補正部13を備えている。この輪郭補正部13は、表示対象OBJと背景画像BGPとの境界部分にある画素の画素値に基づいて、エッジ画像PEの画素値を補正(算出)する。この輪郭補正部13が、エッジ画像PEの画素値を補正する仕組みについて、図3および図4を参照して説明する。
図3は、本実施形態の表示装置100が表示する画像の一例を示す模式図である。図3(a)は、第1表示面11Sが表示する画像P11の一例を示す模式図である。具体的には、第1表示面11Sは、表示対象OBJとしての人物の画像と、背景画像BGPとしての空、地面および山の風景の画像を表示する。この背景画像BGPには、空を示す背景画像BGP1と、山を示す背景画像BGP2および背景画像BGP3と、地面を示す背景画像BGP4および背景画像BGP5とが含まれる。この例において、図3(a)に示す表示対象OBJ(この例においては、人物の画像)に対してエッジ画像PEを重ねて表示することにより、この表示対象OBJを立体的に表示する場合について説明する。
図3(b)は、第1表示面11Sの画素のうち、表示対象OBJの画像と、山を示す背景画像BGP3との境界部分の画素の一例を示す模式図である。具体的には、第1表示面11Sが備える複数の画素Pxのうち、画素Px1と画素Px2とが表示対象OBJの画像を表示する。このうち、画素Px2が表示対象OBJの輪郭部の画像を表示する。また、画素Px3が山を示す背景画像BGP3を表示する。
表示対象OBJを立体的に表示する場合、第2表示面12Sは、図3(c)に示すように、表示対象OBJの輪郭部を示すエッジ画像PEを表示する。図3(c)は、第2表示面12Sが表示する画像P12の一例を示す模式図である。この例においては、第2表示面12Sは、表示対象OBJとしての人物の画像のエッジ画像PEを表示する。
図3(d)は、第2表示面12Sの画素のうち、表示対象OBJの輪郭部を示すエッジ画像PEを表示する画素の一例を示す模式図である。図5を参照して後述するように、第2表示部12には、画像情報供給装置2から輪郭補正部13を介して画像情報D12が供給される。この画像情報D12とは、表示対象OBJの輪郭部を示すエッジ画像PEを表示するための画像情報である。画像情報供給装置2は、この図3(d)に示すような1画素ぶんの幅を有するエッジ画像PEを含む画像情報D12を表示装置100に供給する。したがって、輪郭補正部13がエッジ画像PEを補正しない場合には、第2表示面12Sには、すべての画像領域において1画素ぶんの幅を有するエッジ画像PEが表示される。
このエッジ画像PEの幅は、表示対象OBJの輪郭部と、この表示対象OBJの輪郭部を示すエッジ画像PEとを重ねて表示する際の位置合わせに求められる精度に影響する。具体的には、エッジ画像PEの幅が広い場合には、表示対象OBJの輪郭部の位置と、この表示対象OBJの輪郭部を示すエッジ画像PEの位置とが重なる範囲が広いため、多少ずれて表示されたとしても立体感が損なわれにくい。例えば、エッジ画像PEの幅が5画素ぶんの場合には、表示対象OBJの輪郭部の位置と、この表示対象OBJの輪郭部を示すエッジ画像PEの位置とが4画素ぶんずれたとしても、立体感が損なわれない。一方、エッジ画像PEの幅が狭い場合には、表示対象OBJの輪郭部の位置と、この表示対象OBJの輪郭部を示すエッジ画像PEの位置とが重なる範囲が狭いため、ずれて表示された場合に立体感が損なわれやすい。例えば、エッジ画像PEの幅が1画素ぶんの場合には、表示対象OBJの輪郭部の位置と、この表示対象OBJの輪郭部を示すエッジ画像PEの位置とが1画素ぶんずれただけで、立体感が損なわれることがある。すなわち、エッジ画像PEの幅が広い画像領域においては、表示対象OBJの輪郭部の位置と、この表示対象OBJの輪郭部を示すエッジ画像PEの位置との位置合わせが容易になる。
そこで、輪郭補正部13は、エッジ画像PEの各画像領域に応じてエッジ画像PEの鮮鋭度(例えば、エッジ画像PEの幅)を補正する。すなわち、輪郭補正部13は、この第2表示面12Sが表示する画像P12のうち第1の画像領域に表示されるエッジ画像PEの鮮鋭度と第2の画像領域に表示されるエッジ画像PEの鮮鋭度とが相違するように、エッジ画像PEの鮮鋭度を補正する。
次に、図4を参照して、輪郭補正部13が補正するエッジ画像PEの一例について説明する。
図4は、本実施形態の輪郭補正部13が補正するエッジ画像PEの一例を示す模式図である。輪郭補正部13は、この図4(a)に示す1画素分の幅を有するエッジ画像PEを、図4(b)〜(c)に示すエッジ画像PE’、エッジ画像PE’’、またはエッジ画像PE’’’に補正する。具体的には、輪郭補正部13には、1画素分の幅を有するエッジ画像PEを示す画像情報が入力される。輪郭補正部13は、入力された画像情報が示すエッジ画像PEの幅を広げる補正を行うことにより、複数画素分の幅を有するエッジ画像PE’(図4(b)を参照。)を生成する。また、輪郭補正部13は、入力された画像情報が示すエッジ画像PEの幅を広げ、かつエッジ画像PEに濃淡のグラデーションを付加する補正を行うことにより、エッジ画像PE’’(図4(c)を参照。)を生成する。また、輪郭補正部13は、入力された画像情報が示すエッジ画像PEの幅を表示対象OBJの輪郭部よりも外側に広げ、かつエッジ画像PEに濃淡のグラデーションを付加する補正を行うことにより、エッジ画像PE’’’(図4(d)を参照。)を生成する。ここで、エッジ画像PEの幅が広いとエッジ画像PEの鮮鋭度が低く、エッジ画像PEの幅が狭いとエッジ画像PEの鮮鋭度は高くなる。すなわち、輪郭補正部13は、画像P12に含まれるエッジ画像PEの鮮鋭度を補正する。
また、輪郭補正部13は、上述のようにして生成したエッジ画像PE’(または、エッジ画像PE’’、エッジ画像PE’’’)を示す画像情報を第2表示部12に出力する。これにより、第2表示部12は、補正されたエッジ画像PE’(または、エッジ画像PE’’、エッジ画像PE’’’)を表示する。次に、図5を参照して、表示装置100の具体的な構成について説明する。
図5は、本実施形態の表示装置100の具体的な構成の一例を示す模式図である。表示装置100は、第1表示部11と、第2表示部12と、輪郭補正部13とを備えている。表示装置100は、画像情報供給装置2が供給する画像情報に基づく画像を表示する。
画像情報供給装置2は、第1表示部11に画像情報D11を供給する。第1表示部11は、第1表示面11Sを備えており、画像情報供給装置2から供給される画像情報D11を画像P11に変換して第1表示面11Sに表示する。この画像情報D11とは、例えば、表示対象OBJの画像と、背景画像BGPとを表示するための画像情報である。第1表示部11は、第1表示面11Sに画像P11を表示することにより、第1光束R11をユーザ1に対して射出する。すなわち、第1表示部11は、複数の画素を備え、表示対象OBJの画像を少なくとも含む画像P11(第1画像)を表示する。
また、画像情報供給装置2は、画像情報D11を算出部14および輪郭補正部13に供給する。また、画像情報供給装置2は、画像情報D12を輪郭補正部13に供給する。
輪郭補正部13は、供給された画像情報D11と、画像情報D11とに基づいて画像情報D12を補正し、補正した画像情報D12を補正画像情報D12Cとして第2表示部12に供給する。この画像情報D12とは、例えば、表示対象OBJの輪郭部を示す補正前のエッジ画像PEの画像情報である。また、補正画像情報D12Cとは、輪郭補正部13が画像情報D12を補正した、補正後のエッジ画像PEの画像情報である。
第2表示部12は、第2表示面12Sを備えており、輪郭補正部13から供給される補正画像情報D12Cを画像P12に変換して第2表示面12S表示する。第2表示部12は、この第2表示面12Sに画像P12を表示することにより、第2光束R12をユーザ1に対して射出する。この第2光束R12は、透過型スクリーンである第1表示面11Sを透過して、ユーザ1に到達する。すなわち、第2表示部12は、複数の画素を備え、画像P11が表示される奥行き位置とは異なる奥行き位置に、表示対象OBJの輪郭部を示すエッジ画像PE(輪郭画像)を少なくとも含む画像P12を表示する。
以下、輪郭補正部13がエッジ画像PEを補正する具体例について説明する。
この輪郭補正部13は、画像P11に関する情報に基づいて、エッジ画像PEの鮮鋭度を補正する。以下、輪郭補正部13がエッジ画像PEの鮮鋭度を補正する具体例について説明する。
ここで、エッジ画像PEの鮮鋭度とは、例えば、エッジ画像PEの幅である。ここで、エッジ画像PEの幅が細い場合には、エッジ画像PEの幅が太い場合に比べてエッジ画像PEが画像P11と重なる範囲が小さいことから、エッジ画像PEが目立ちにくくなる。このため、エッジ画像PEの幅が細い場合には、エッジ画像PEの幅が太い場合に比べて画像P11の精細感を損なう程度が小さくなる。すなわち、エッジ画像PEの幅が細いほうが、画像P11の精細感を損なわないようにすることができる。一方で、エッジ画像PEの幅が細い場合には、エッジ画像PEの幅が太い場合に比べてエッジ画像PEが画像P11と重なる範囲が小さい。このため、エッジ画像PEの幅が細い場合には、エッジ画像PEの表示位置が少しでもずれると、画像P11とエッジ画像PEとが分離してしまい立体感が得られなくなることがある。したがって、エッジ画像PEの幅が細い場合には、画像P11に重ねるための表示位置の精度を高くすることが求められる。すなわち、エッジ画像PEの幅が細い場合には、エッジ画像PEの表示位置の演算量が多くなることがある。したがって、画像P11の精細感が要求されない部分について、エッジ画像PEの幅を太くすることにより、エッジ画像PEの表示位置の演算量を低減することができる。
ここで、画像P11の精細感が要求されない部分の一例として、画像P11の周辺部分がある。この場合には、輪郭補正部13は、画像P11の中心部分と、周辺部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。この具体例について、以下説明する。
一例として、画像P11に関する情報が、第1表示部11が表示する画像P11の中心からの距離を示す情報である場合について説明する。この場合、輪郭補正部13は、第1表示部11が表示する画像P11の中心からの距離に基づいて、画像P12の鮮鋭度を補正する。ここでの画像P11に関する情報とは、第1表示部11の第1表示面11Sの中心から外周部分に向かって画像P11に重み付けをする重み付け情報である。この第1表示面11Sの中心とは、第1表示面11SのX軸方向の中点と、Y軸方向の中点との交点である。例えば、重み付け情報とは、第1表示面11Sの中心を重み0に、第1表示面11Sの頂点を重み1にして同心円状に正規化された重み付けを示す情報である。この輪郭補正部13が、画像P11の中心からの距離に基づいてエッジ画像PEを補正する具体例について、図6を参照して説明する。
図6は、本実施形態の輪郭補正部13が中心からの距離に基づいて補正するエッジ画像の一例を示す模式図である。輪郭補正部13は、画像情報供給装置2から供給される画像情報D11に基づいて、第1表示部11が表示する画像P11の中心の座標を算出する。また、輪郭補正部13は、画像情報供給装置2から供給される画像情報D12に基づいて、第1表示部11が表示する画像P11の中心の座標に対応する画像P12の中心POの座標を算出する。また、輪郭補正部13は、画像情報D12に含まれるエッジ画像PEを構成する各画素PxPEについて、第2表示面12Sにおける座標を算出する。
そして、輪郭補正部13は、算出した画像P12の中心POの座標と、算出したエッジ画像PEを構成する各画素PxPEの座標とに基づいて、エッジ画像PEを構成する各画素PxPEと中心POとの距離を算出する。より具体的には、輪郭補正部13は、エッジ画像PEを構成する画素PxPE1と中心POとの距離L1を算出する。また、輪郭補正部13は、エッジ画像PEを構成する画素PxPE2と中心POとの距離L2を算出する。また、輪郭補正部13は、エッジ画像PEを構成する画素PxPE3と中心POとの距離L3を算出する。この例においては、距離L1<距離L2<距離L3である。
また、輪郭補正部13は、算出した距離L1〜L3と、上述の重み付け情報とに基づいて、エッジ画像PEの幅を補正する。具体的には、輪郭補正部13は、距離L1にあるエッジ画像PEの幅を1画素ぶんする補正を行う。なお、画像情報D12に含まれる補正前のエッジ画像PEの幅が1画素ぶんであるため、距離L1にあるエッジ画像PEについては、輪郭補正部13は補正を行わない。また、輪郭補正部13は、距離L2にあるエッジ画像PEの幅を2画素ぶんに補正して、補正後のエッジ画像PE’2を生成する。また、輪郭補正部13は、距離L3にあるエッジ画像PEの幅を3画素ぶんに補正して、補正後のエッジ画像PE’3を生成する。
すなわち、輪郭補正部13は、この画像P11に関する重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、第2表示面12Sの外周部のエッジ画像PEの幅が、第2表示面12Sの中心部のエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、第2表示面12Sの中心部から外周部に向かって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。このようにして表示装置100は、エッジ画像PEを補正して、エッジ画像PEの幅を太くすることにより、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
また、この重み付けは、人間の眼の解像度にあわせて行ってもよい。画像P11の中心を視野中心にして、画像P11の中心から距離が離れるに従って、周辺視野にあわせた重み付けをおこなってもよい。すなわち、輪郭補正部13は、周辺視野にあわせて中心部から外周部に向かって徐々に幅が広くなるようにエッジ画像PEを補正してもよい。
また、この重み付けは、画像P11の画像領域ごとに分割して行ってもよい。ここで、画像領域とは、例えば、表示面11Sを格子状に区切った領域や、画像P11に複数の表示対象OBJが含まれる場合に、表示対象OBJごとに区切った領域である。すなわち、輪郭補正部13は、画像P11の中心からの距離が近い画像領域には、画像領域内において一定の小さな重み付け(例えば0.2)を行い、画像P11の中心からの距離が近い画像領域には、画像領域内において一定の大きな重み付け(例えば0.7)を行ってもよい。
なお、画像P11の中心部分よりも周辺部分について精細感が要求される場合には、輪郭補正部13は、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
また、画像P11の精細感が要求されない部分の一例として、画像P11の着目点から離れた部分がある。この場合には、輪郭補正部13は、画像P11の着目点と、着目点から離れた部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。以下、画像P11に関する情報が、画像P11内の着目点からの距離を示す情報である場合について説明する。
ここで、画像P11内の着目点とは、観察者1が画像P11を見た場合に着目する位置である。この着目点の一例として、画像P11に含まれる表示対象OBJの中心部分や、画像P11のうちの動きがある部分、画像P11のうちの目立つ色が付された部分などがある。この場合、輪郭補正部13は、第1表示部11が表示する画像P11内の着目点からの距離に基づいて、画像P12の鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11内の着目点を検出し、検出した着目点を中心にした重み付け情報を生成する。この重み付け情報とは、着目点を重み0に、着目点から最も離れた第1表示面11S内の点を重み1にして同心円状に正規化された重み付けを示す情報である。また、輪郭補正部13は、生成した重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、着目点から離れた位置のエッジ画像PEの幅が、着目点に近い位置のエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、着目点から離れるにしたがって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。
なお、画像P11の着目点よりも着目点から離れた部分について精細感が要求される場合には、輪郭補正部13は、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
また、画像P11の精細感が要求されない部分の一例として、画像P11の立体像のうち、奥に表示される部分がある。この場合には、輪郭補正部13は、画像P11の立体像のうち、手前に表示される部分と、奥に表示される部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。以下、輪郭補正部13が、画像P11の立体像のデプスマップに基づいて画像P12の鮮鋭度を補正する場合について説明する。すなわち、画像P11に関する情報が、画像P12によって生じる画像P11の立体像の奥行き位置を示す情報である場合について説明する。
この画像P12によって生じる画像P11の立体像の奥行き位置を示す情報とは、画像P11の立体像のデプスマップである。また、このデプスマップとは、画像P11に含まれる表示対象OBJの立体像が生じるZ軸方向の位置を示す情報である。このデプスマップは、輪郭補正部13に供給される画像情報D12に含まれている。輪郭補正部13は、画像情報D12に含まれているデプスマップに基づいて、画像P12の鮮鋭度を補正する。具体的には、輪郭補正部13は、供給される画像情報D12からデプスマップを抽出し、抽出したデプスマップに基づいて、重み付け情報を生成する。この重み付け情報とは、距離La(図2を参照。)に基づく重み付けを示す情報である。例えば、重み付け情報とは、デプスマップが示す立体像の奥行き位置が、距離La=0である場合を重み1に、距離La=Lである場合を重み0に正規化された重み付けを示す情報である。また、輪郭補正部13は、生成した重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、表示対象OBJの立体像について、奥の位置に立体像を表示するためのエッジ画像PEの幅が、手前の位置に立体像を表示する為のエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、表示対象OBJの立体像の奥行き位置について、手前から奥に向かって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。
なお、画像P11の立体像の手前に表示される部分よりも奥に表示される部分について精細感が要求される場合には、輪郭補正部13は、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
また、画像P11の精細感が要求されない部分の一例として、画像P11の空間周波数が低い部分がある。この場合には、輪郭補正部13は、画像P11のうち、空間周波数が高い部分と、空間周波数が低い部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。以下、輪郭補正部13が、画像P11の空間周波数の分布に基づいて画像P12の鮮鋭度を補正する場合について説明する。すなわち、画像P11に関する情報が、画像P11の空間周波数の分布を示す情報である場合について説明する。
この場合、輪郭補正部13は、供給される画像P11についての空間周波数の分布を算出し、算出した空間周波数の分布に基づいて、画像P11を空間周波数が高い部分と低い部分とに領域分割する。また、輪郭補正部13は、領域分割した画像P11について、重み付け情報を生成する。この重み付け情報とは、画像P11の空間周波数の分布に基づく重み付けを示す情報である。例えば、重み付け情報とは、画像P11のうち、空間周波数が最も高い領域を重み0に、空間周波数が最も低い領域を重み1に正規化された重み付けを示す情報である。また、輪郭補正部13は、生成した重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、画像P11のうち空間周波数が低い領域のエッジ画像PEの幅が、空間周波数が高い領域のエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、画像P11のうち、空間周波数が高い領域から低い領域に向かって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。
なお、画像P11の空間周波数が高い部分よりも低い部分について精細感が要求される場合には、輪郭補正部13は、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
なお、ここでは、輪郭補正部13が画像領域を分割する構成について説明したが、これに限られない。例えば、画像P11は、格子状に予め領域分割されていてもよい。すなわち、輪郭補正部13は、格子状に予め領域分割されている画像領域のそれぞれについて、空間周波数を求めてもよい。
また、複数の表示対象OBJがある場合に、これらの表示対象OBJごとに予め領域分割されていてもよい。すなわち、輪郭補正部13は、複数の表示対象OBJがある場合に、これらの表示対象OBJごとに予め領域分割されている画像領域のそれぞれについて、空間周波数を求めてもよい。
また、画像P11の精細感が要求されない部分の一例として、画像P11のうち画素の明るさが暗い部分がある。この場合には、輪郭補正部13は、画像P11のうち、画素の明るさが明るい部分と、暗い部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。以下、輪郭補正部13が、画像P11内の画素の明るさの分布に基づいて画像P12の鮮鋭度を補正する場合について説明する。すなわち、画像P11に関する情報が、第1画像P11内の明るさの分布を示す情報である場合について説明する。
この場合、輪郭補正部13は、供給される画像P11について、画素の明るさを画素ごとに抽出し、抽出した画素ごとの明るさに基づいて、画像P11の画素の明るさの分布を算出する。ここで、輪郭補正部13は、画像P11のある領域内に含まれる画素の明るさの平均値を、画像P11の領域ごとに算出することにより、画像P11の画素の明るさの分布を算出する。この画像P11の領域とは、例えば、格子状に予め区切られた領域や、画像P11が表示する表示対象OBJの形状に基づいて区切られた領域である。また、輪郭補正部13は、複数の領域に分割された画像P11について、重み付け情報を生成する。この重み付け情報とは、画像P11内の画素の明るさの分布に基づく重み付けを示す情報である。例えば、重み付け情報とは、画像P11内の領域のうち、平均の明るさが最も明るい領域を重み0に、平均の明るさが最も暗い領域を重み1に正規化された重み付けを示す情報である。また、輪郭補正部13は、生成した重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、画像P11内の領域のうち、平均の明るさが暗い領域のエッジ画像PEの幅が、平均の明るさが明るい領域のエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、画像P11内の領域のうち、平均の明るさが明るい領域から暗い領域に向かって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。
なお、画像P11のうち画素の明るさが暗い部分について精細感が要求される場合には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
また、画像P11の精細感が要求されない部分の一例として、画像P11のうち鮮鋭度が高い部分がある。この場合には、輪郭補正部13は、画像P11のうち、鮮鋭度が高い部分と、低い部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。以下、輪郭補正部13が、画像P11内の画像の鮮鋭度の分布に基づいて画像P12の鮮鋭度を補正する場合について説明する。すなわち、画像P11に関する情報が、画像P11内の鮮鋭度の分布を示す情報である場合について説明する。
この場合、輪郭補正部13は、供給される画像P11の各領域について画像の鮮鋭度を算出する。この画像P11の領域とは、例えば、格子状に予め区切られた領域や、画像P11が表示する表示対象OBJの形状に基づいて区切られた領域である。また、輪郭補正部13は、複数の領域に分割された画像P11について、重み付け情報を生成する。この重み付け情報とは、画像P11内の鮮鋭度の分布に基づく重み付けを示す情報である。例えば、重み付け情報とは、画像P11内の領域のうち、平均の鮮鋭度が最も高い領域を重み0に、平均の鮮鋭度が最も低い領域を重み1に正規化された重み付けを示す情報である。また、輪郭補正部13は、生成した重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、画像P11内の領域のうち、平均の鮮鋭度が低い領域のエッジ画像PEの幅が、平均の鮮鋭度が高い領域のエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、画像P11内の領域のうち、平均の鮮鋭度が高い領域から低い領域に向かって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。
なお、画像P11のうち鮮鋭度が低い部分について精細感が要求される場合には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
また、画像P11の精細感が要求されない部分の一例として、画像P11の立体像の表面の凹凸が単純な部分がある。この場合には、輪郭補正部13は、画像P11の立体像の表面の凹凸が複雑な部分と、単純な部分とについてそれぞれエッジ画像PEの幅が相違するようにエッジ画像PEを補正する。以下、輪郭補正部13が、画像P11の立体像のデプスマップの変化の細かさに基づいて画像P12の鮮鋭度を補正する場合について説明する。すなわち、画像P11に関する情報が、画像P12によって生じる画像P11の立体像の奥行き位置の変化の程度を示す情報である場合について説明する。
ここで、画像P12によって生じる画像P11の立体像には、奥行き位置の変化の程度が大きい領域と、奥行き位置の変化の程度が小さい領域とがある。ここで、立体像の表面の凹凸が複雑であれば、奥行き位置の変化の程度が大きく、立体像の表面の凹凸が単純であれば、奥行き位置の変化の程度が小さい。例えば、画像P11の立体像が人形の形状である場合に、人形の顔の部分は凹凸が複雑であるため、奥行き位置の変化の程度が大きく、人形の体幹の部分は凹凸が単純であるため、奥行き位置の変化の程度が小さい。輪郭補正部13は、供給される画像P11の各領域について立体像の奥行き位置の変化の程度を算出し、領域ごとに算出した立体像の奥行き位置の変化の程度に基づいて、重み付け情報を生成する。この重み付け情報とは、奥行き位置の変化の程度に基づく重み付けを示す情報である。例えば、重み付け情報とは、画像P11の立体像の領域のうち、奥行き位置の変化の程度が最も大きい領域を重み0に、奥行き位置の変化の程度が最も小さい領域を重み1に正規化された重み付けを示す情報である。また、輪郭補正部13は、生成した重み付け情報に基づいて、エッジ画像PEの鮮鋭度を補正する。具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが大きいほど幅を広くする補正を行う。より具体的には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み0〜1の部分のエッジ画像PEの幅を、例えば、それぞれ1倍〜10倍にする補正を行う。これにより、第2表示部12は、表示対象OBJの立体像について、立体像の表面の凹凸が単純である領域を表示するためのエッジ画像PEの幅が、立体像の表面の凹凸が複雑である領域を表示するためのエッジ画像PEの幅よりも広く補正された、補正後のエッジ画像PEを表示する。すなわち、第2表示部12は、表示対象OBJの立体像の表面の凹凸について、複雑な領域から単純な領域に向かって徐々に幅が広くなるように補正された補正後のエッジ画像PEを表示する。
なお、画像P11の立体像の表面の凹凸が単純な部分について精細感が要求される場合には、輪郭補正部13は、画像P11に対応するエッジ画像PEに対して、重み付け情報が示す重みが小さいほど幅を広くする補正を行ってもよい。このように構成しても、表示装置100は、画像P11とエッジ画像PEとの位置合わせのための演算量を低減することができる。
このようにして、表示装置100は、表示対象OBJの画像を含む画像P11と、その表示対象OBJの輪郭部を示すエッジ画像PEとを重ねて表示する。これにより、ユーザ1が観察する表示対象OBJに立体感を与えることができる。つまり、ユーザ1は、画像P12と、その表示対象OBJの輪郭部を示す輪郭画像とを重ねて見た場合、表示対象OBJがZ軸方向に飛び出すような立体像を知覚する。この表示装置100が表示する画像によってユーザ1に立体感を与える仕組みについて、図7〜図12を参照して説明する。
図7は、本実施形態の画像P11(第1画像)の一例を示す模式図である。ここでは一例として、表示対象OBJが四角形である場合について、以下説明する。第1表示面11Sは、表示対象OBJとしての四角形の画像と、背景画像BGPとを表示する。この四角形とは、等しい長さの4辺が各頂点においてそれぞれ直角に交わる図形である。この四角形は、四角形の外部と内部とを分ける輪郭線としての4辺を有している。この四角形を見る観察者は、四角形の外部と内部との明るさの差が大きい場合に、この輪郭線を、四角形のエッジ部分Eであると知覚する。つまり、エッジ部分Eとは、表示対象OBJのうち、周囲の明るさの差が他の部分の明るさの差に比して相対的に大きい部分である。四角形の場合、各辺がエッジ部分Eになりうるが、ここでは、各エッジ部分Eのうち、四角形のY軸方向に平行な2辺を、それぞれエッジ部分E1およびエッジ部分E2として説明する。
次に、図8を参照して、この四角形に対応する画像P12の一例について説明する。
図8は、本実施形態の画像P12(第2画像)の一例を示す模式図である。上述したように表示対象OBJが四角形である場合、画像P12とは、四角形の左辺のエッジ部分E1を示すエッジ画像PE1、および四角形の右辺のエッジ部分E2を示すエッジ画像PE2を含む画像である。
すなわち、表示対象OBJが四角形である場合、第2表示面12Sは、そのエッジ部分E1およびエッジ部分E2にそれぞれ対応するエッジ画像PE1およびエッジ画像PE2を含む画像P12を表示する。
なお、ここでは一例として、エッジ画像PEとは、四角形の左辺および右辺のエッジ部分を示す画像であるとして説明するが、これに限られない。例えば、エッジ画像PEとは、四角形の上辺および下辺のエッジ部分を示す画像であってもよく、また四角形のすべての各辺のエッジ部分を示す画像であってもよい。
次に、図9を参照して、表示対象OBJとしての四角形の位置と、エッジ画像PE1およびエッジ画像PE2を含む画像P12の位置と、観察者の視点位置VPとの位置関係について説明する。
図9は、本実施形態における画像P11と画像P12と視点位置VPとの位置関係の一例を示す模式図である。観察者は、奥行き位置ZVPにある視点位置VPから、奥行き位置Z2にある画像P12と、奥行き位置Z1にある画像P11とを重ねて見る。この画像P12とは、上述したように、エッジ画像PE1と、エッジ画像PE2とを含む画像である。
第2表示面12Sは、第1表示面11Sが表示する四角形のエッジ部分E1と、画像P12のエッジ画像PE1とが視点位置VPにおいて重なって見えるように、画像P12を表示する。具体的には、第2表示面12Sは、四角形のエッジ部分E1に対応するエッジ画像PE1を、X方向の位置X1から位置X2の範囲に表示する。また、第2表示面12Sは、第1表示面11Sが表示する四角形のエッジ部分E2と、画像P12のエッジ画像PE2とが視点位置VPにおいて重なって見えるように、画像P12を表示する。具体的には、第2表示面12Sは、四角形のエッジ部分E2に対応するエッジ画像PE2を、X方向の位置X5から位置X6の範囲に表示する。このようにして表示される画像P12と、表示対象OBJ(例えば、四角形)を示す画像P11とを、観察者が重ねて見ると、観察者の網膜像上において認識できないくらいの微小な輝度の段差ができる。このような場合においては、明るさ(例えば、輝度)の段差間に仮想的な輪郭(エッジ)を知覚して、画像P12と画像P11とを1つの画像として知覚する。このとき、左眼Lが見る光学像IMLと、右眼Rが見る光学像IMRとには両眼視差が生ずるため、この仮想的な輪郭にも少しだけずれが生じて両眼視差として知覚して、画像P11の見かけの奥行き位置が変化する。以下、この左眼Lが見る光学像IML、右眼Rが見る光学像IMRの順に説明し、あわせて表示対象OBJの見かけの奥行き位置が変化する仕組みについて説明する。
図10は、本実施形態における観察者の眼に見える光学像IMの一例を示す模式図である。このうち、図10(L)は、観察者の左眼Lに見える光学像IMLの一例を示す模式図である。同図に示すように、奥行き位置ZVPにある視点位置VPの左眼Lの位置において、画像P11と画像P12とを重ねて見ると、エッジ画像PE1が四角形のエッジ部分E1の外側(−X方向)に見える。また、奥行き位置ZVPにある視点位置VPの左眼Lの位置において、画像P11と画像P12とを重ねて見ると、エッジ画像PE2とエッジ部分E2とが、位置X5〜位置X6の範囲において重なって見える。すなわち、エッジ画像PE2が四角形のエッジ部分E2の内側(−X方向)に、四角形と重なって見える。
このとき、観察者の左眼Lの位置における光学像の明るさについて、図11を参照して説明する。
図11は、本実施形態の視点位置VPにおける光学像IMの明るさの一例を示すグラフである。このうち、図11(L)は、視点位置VPの左眼Lの位置における光学像IMLの明るさの一例を示すグラフである。
ここで、表示対象OBJ(ここでは、四角形)の明るさと、背景画像BGPの明るさとが相違する(例えば、明るさの比が大きい)場合について説明する。ここでは、表示対象OBJの明るさが、明るさBR2であり、背景画像BGPの明るさが、明るさ0(ゼロ)である。この明るさBR2は、明るさ0(ゼロ)よりも明るい。すなわち、表示対象OBJの明るさが背景画像BGPの明るさよりも明るい場合について、以下説明する。
視点位置VPの左眼Lの位置においては、左眼Lの位置から画像P11を見た場合の画像P11Lと、画像P12とが重なるようにして見える。この画像P11Lには、表示対象OBJである四角形と、背景画像BGPとが含まれる。また、画像P12には、エッジ画像PE1と、エッジ画像PE2とが含まれる。
このとき、視点位置VPから見るユーザ1の左眼Lには、画像P11L内の表示対象OBJおよび背景画像BGPの明るさと、画像P12内のエッジ画像PE1およびエッジ画像PE2の明るさとが合成された明るさの光学像IMLが生じる。ここで、画像P11Lの明るさ、および画像P12の明るさの具体例について説明する。視点位置VPから見た画像P11Lの四角形の内部の明るさは、明るさBR2である。また、視点位置VPから見た画像P11Lの四角形の外部の明るさは、明るさ0(ゼロ)である。ここで、左眼Lの位置から四角形のエッジ部分E1を見た場合に、エッジ部分E1の奥行き位置Z2における見た目の位置は、位置X2である。また、左眼Lの位置から四角形のエッジ部分E2を見た場合に、エッジ部分E2の奥行き位置Z2における見た目の位置は、位置X6である。したがって、画像P11Lの視点位置VPから見た明るさは、位置X2〜位置X6において明るさBR2であり、位置X2から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)である。
また、画像P12のエッジ画像PE1の視点位置VPから見た明るさは、明るさBR1である。同様に、画像P12のエッジ画像PE2の視点位置VPから見た明るさは、明るさBR1である。このエッジ画像PE1は、位置X1〜位置X2の範囲に表示される。また、エッジ画像PE2は、位置X5〜位置X6の範囲に表示される。したがって、画像P12の視点位置VPから見た明るさは、位置X1〜X2および位置X5〜位置X6において明るさBR1であり、その他のX方向の位置において明るさ0(ゼロ)である。
したがって、画像P11Lと画像P12とを視点位置VPにおいて重ねて見た場合、その光学像IMLの明るさは、次に説明するようになる。すなわち光学像IMLの明るさは、位置X1〜位置X2が明るさBR1、位置X2〜位置X5が明るさBR2、位置X5〜位置X6が明るさBR3、位置X1から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)である。
次に、光学像IMLを見た観察者が画像P11Lの輪郭部を知覚する仕組みについて説明する。
図12は、本実施形態における観察者が光学像IMに基づいて知覚する画像P11の輪郭部の一例を示すグラフである。このうち、図12(L)は、観察者の左眼Lの位置における光学像IMLに基づいて、観察者が知覚する画像P11Lの輪郭部の一例を示すグラフである。ここで、画像P11Lの輪郭部とは、画像P11Lを示す光学像の部分のうち、明るさの変化が周囲の部分の明るさの変化に比して大きい部分である。視点位置VPにいる観察者の左眼Lの網膜上に結像された光学像IMLによって、観察者に認識される画像の明るさの分布は、図12(L)の波形WLのようになる。このとき、観察者は、認識した光学像IMLの明るさの変化が最大になる(つまり、波形WLの傾きが最大になる)X軸上の位置を、観察している画像P11Lの輪郭部であると知覚する。具体的には、光学像IMLを観察している観察者は、図12(L)に示すXELの位置(つまり、X軸の原点Oから距離LELの位置)を四角形の輪郭部であると知覚する。
ここまで、観察者の左眼Lに見える光学像IMLと、光学像IMLによる輪郭部の位置とについて説明した。次に、観察者の右眼Rに見える光学像IMRと、光学像IMRによる輪郭部の位置とについて説明する。
図10(R)に示すように、奥行き位置ZVPにある視点位置VPの右眼Rの位置において、画像P11Rと画像P12とを見ると、エッジ画像PE2が四角形のエッジ部分E2の外側(+X方向)に見える。ここで、画像P11Rとは、右眼Rの位置から画像P11を見た場合の画像である。また、奥行き位置ZVPにある視点位置VPの右眼Rの位置において、画像P11Rと画像P12とを見ると、エッジ画像PE1とエッジ部分E1とが、位置X1〜位置X2の範囲において重なって見える。すなわち、エッジ画像PE1が四角形のエッジ部分E1の内側(+X方向)に、四角形と重なって見える。これは、観察者の左眼Lには、エッジ画像PE2とエッジ部分E2とが、エッジ部分E2よりも四角形の内側(−X方向)の位置において重なって見えることと相違する。
視点位置VPの右眼Rの位置においては、画像P11Rと、画像P12とが重なるようにして見える。この画像P11Rには、表示対象OBJである四角形が含まれる。このとき、観察者の右眼Rの位置における光学像の明るさについて、図11(R)を参照して説明する。
図11(R)は、視点位置VPの右眼Rの位置における光学像IMRの明るさの一例を示すグラフである。視点位置VPから見るユーザ1の右眼Rには、画像P11R内の表示対象OBJおよび背景画像BGPの明るさと、画像P12内のエッジ画像PE1およびエッジ画像PE2の明るさとが合成された明るさの光学像IMRが生じる。ここで、画像P11Rの明るさ、および画像P12の明るさの具体例について説明する。視点位置VPから見た画像P11Rの四角形の内部の明るさは、明るさBR2である。また、視点位置VPから見た画像P11Rの四角形の外部の明るさは、明るさ0(ゼロ)である。ここで、右眼Rの位置から四角形のエッジ部分E1を見た場合に、エッジ部分E1の奥行き位置Z2における見た目の位置は、位置X1である。また、右眼Rの位置から四角形のエッジ部分E2を見た場合に、エッジ部分E2の奥行き位置Z2における見た目の位置は、位置X5である。したがって、視点位置VPから見た画像P11Rの明るさは、位置X1〜位置X5において明るさBR2であり、位置X1から(−X)方向、および位置X5から(+X)方向の位置において明るさ0(ゼロ)である。これは、画像P11Lの視点位置VPから見た明るさが、位置X2〜位置X6において明るさBR2であり、位置X2から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)であることと相違する。
また、視点位置VPから見たエッジ画像PE1の明るさは、明るさBR1である。同様に、視点位置VPから見たエッジ画像PE2の明るさは、明るさBR1である。このエッジ画像PE1は、位置X1〜位置X2の範囲において、四角形のエッジ部分E1と重なるように表示される。また、エッジ画像PE2は、位置X5〜位置X6の範囲に表示される。すなわち、画像P12の視点位置VPから見た明るさは、位置X1〜X2および位置X5〜位置X6において明るさBR1であり、その他のX方向の位置において明るさ0(ゼロ)である。
したがって、画像P11Rと画像P12とを視点位置VPにおいて重ねて見た場合、その光学像IMRの明るさは、次に説明するようになる。すなわち光学像IMRの明るさは、位置X1〜位置X2が明るさBR3、位置X2〜位置X5が明るさBR2、位置X5〜位置X6が明るさBR1、位置X1から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)である。これは、光学像IMLの明るさが、位置X1〜位置X2が明るさBR1、位置X2〜位置X5が明るさBR2、位置X5〜位置X6が明るさBR3であることと相違する。
次に、光学像IMRを見た観察者が、画像P11Rの輪郭部を知覚する仕組みについて説明する。図12(R)は、観察者の右眼Rの位置における光学像IMRに基づいて、観察者が知覚する画像P11Rの輪郭部の一例を示すグラフである。視点位置VPにいる観察者の右眼Rの網膜上に結像された光学像IMRによって、観察者に認識される画像の明るさの分布は、図12(R)の波形WRのようになる。このとき、観察者は、認識した光学像IMRの明るさの変化が最大になる(つまり、波形WRの傾きが最大になる)X軸上の位置を、観察している画像P11Rの輪郭部であると知覚する。具体的には、光学像IMRを観察している観察者は、図12(R)に示すXERの位置(つまり、X軸の原点Oから距離LERの位置)を四角形の輪郭部であると知覚する。これは、光学像IMLを観察している観察者は、X軸の原点Oから距離LELの位置を四角形の輪郭部であると知覚することと相違する。
これにより、観察者は、左眼Lが観察する四角形の輪郭部の位置XELと、右眼Rが観察する四角形の輪郭部の位置XERとを両眼視差として知覚する。そして、観察者は、輪郭部の両眼視差に基づいて四角形を立体像SI(3次元画像)として知覚する。
次に、この輪郭補正部13がエッジ画像PEの画素値を補正する動作の具体例について、図13を参照して説明する。ここでは、一例として、第1表示部11が表示する画像P11の中心からの距離に基づいて、輪郭補正部13が画像P12の鮮鋭度を補正する場合の具体例について説明する。
図13は、本実施形態の表示装置100における画素値の補正動作の一例を示すフローチャートである。輪郭補正部13は、画像情報供給装置2から供給される画像情報D11と画像情報D12とを取得する(ステップS10)。この画像情報D11には、エッジ画像PEを補正するための重み付け情報が含まれている。ここで、重み付け情報とは、第1表示面11Sの中心を重み0に、第1表示面11Sの頂点を重み1にして同心円状に正規化された重み付けを示す情報である。
次に、輪郭補正部13は、ステップS10において取得した画像情報D11から、重み付け情報を抽出する(ステップS20)。
次に、輪郭補正部13は、ステップS30において抽出した重み付け情報に基づいて、ステップS10において取得した画像情報D12が示す表示対象OBJの輪郭部の画像の画素値を補正して補正画像情報D12Cを生成する(ステップS30)。
次に、輪郭補正部13は、ステップS30において生成した補正画像情報D12Cを第2表示部12に出力する(ステップS40)。
第2表示部12の第2表示面12Sは、このようにして輪郭補正部13によって補正された補正画像情報D12Cに基づく画像を表示する。また、第1表示部11の第1表示面11Sは、画像情報D11に基づく画像を表示する。このようにして、表示装置100は、表示対象OBJの立体像SIを表示する。
以上、説明したように、本実施形態の表示装置100は、第1表示部11と、第2表示部12と、輪郭補正部13とを備えている。この輪郭補正部13を備えることにより、表示装置100は、エッジ画像PEを補正するための演算量を低減することができる。
なお、これまでの説明において、エッジ画像PEは、画像情報供給装置2から供給される画像情報D12に含まれているものとして説明したが、これに限られない。例えば、輪郭補正部13は、画像情報供給装置2から供給される画像情報D11に基づいて、エッジ画像PEを生成してもよい。例えば、輪郭補正部13は、既知の微分フィルタ(例えば、ラプラシアンフィルタ)を画像情報D11に施すことによって表示対象OBJの輪郭部の画像をエッジ画像として抽出する。また、輪郭補正部13は、図14に示すようなバンドパスフィルタによってエッジ画像PEを生成することもできる。
図14は、本実施形態の画像P11の単位領域ごとの空間周波数fの出現頻度の一例を示すグラフである。単位領域ごとに、この単位領域内の画素値の空間周波数fを求め、求めた空間周波数fの出現頻度をグラフ化すると、例えば、図14に示す波形WFのようになる。この単位領域とは、例えば、X軸方向に5画素、Y軸方向に5画素の25画素からなる領域である。ここで、画像P11が示す表示対象OBJの輪郭部について、単位領域ごとに空間周波数fを求めると、求めた空間周波数fが、例えば、空間周波数f1から空間周波数f2までの間に分布する場合がある。すなわち、画像P11の空間周波数fの出現頻度を求めることにより、表示対象OBJの輪郭部を抽出できる場合がある。この例の場合には、輪郭補正部13は、画像P11の空間周波数fの出現頻度を求め、求めた空間周波数fの出現頻度に対して空間周波数f1から空間周波数f2の間を抽出するバンドパスフィルタを適用することにより、この空間周波数fの範囲に含まれる画像を、エッジ画像PEとして抽出する。このように構成することによっても、輪郭補正部13は、画像P11に基づいて、エッジ画像PEを生成することができる。
なお、輪郭補正部13は、エッジ画像PEの画素値を補正するものとして説明したがこれに限られない。輪郭補正部13は、エッジ画像PEの画素値を補正するだけでなく、表示対象OBJの輪郭部の画素値を補正してもよい。
また、表示装置100の輪郭補正部13が補正するエッジ画像PEとは、エッジ画像PEを構成する画素のRGB各色の階調値、彩度、もしくは色度のいずれか、または、これらの組み合わせが含まれる。
なお、ここまでの説明において、表示装置100は、第1表示面11Sが表示対象OBJの画像と背景画像BGPとを表示し、第2表示面12Sがエッジ画像PEを表示する構成について説明したが、これに限られない。例えば、第1表示面11Sがエッジ画像PEを表示し、第2表示面12Sが表示対象OBJの画像と背景画像BGPとを表示する構成であってもよい。すなわち、表示装置100において、表示対象OBJの画像の奥行き位置と、エッジ画像PEの奥行き位置とのいずれが手前であってもよい。また、表示対象OBJの画像と背景画像BGPとが必ずしも同じ表示面に表示されていなくてもよい。例えば、第1表示面11Sが表示対象OBJの画像を表示し、第2表示面12Sが背景画像BGPとエッジ画像PEとを表示する構成であってもよい。上述のいずれの構成であっても、エッジ画像PEの補正を行うための演算量を低減することができる。
また、表示装置100は、背景画像BGPの奥行き位置を、表示対象OBJの画像の奥行き位置よりも手前側にして各画像を表示することにより、表示対象OBJの立体像SIに奥行き感を与えることができる。この場合において、エッジ画像PEは第1表示面11Sが表示してもよく、第2表示面12Sが表示してもよい。例えば、廊下の画像を表示する場合において、廊下の最も奥にある(例えば、廊下の突き当たりにある)壁の画像を表示対象OBJの画像にし、天井、床および左右の壁の画像を背景画像BGPにして表示することができる。この場合、第1表示面11Sは、背景画像BGPとしての天井、床および左右の壁の画像を、第2表示面12Sは表示対象OBJの画像としての廊下の最も奥にある(例えば、廊下の突き当たりにある)壁の画像を、それぞれ表示する。表示装置100は、このように廊下の画像を表示することにより、廊下の最も奥にある(例えば、廊下の突き当たりにある)壁の画像の立体像SIに奥行き感を与えることができる。
また、第1表示面11Sに表示される画像P11とは、虚像であってもよい。例えば、画像P11とは、第1表示面11Sがヘッドマウントディスプレイである場合において、このヘッドマウントディスプレイが表示する虚像であってもよい。この場合には、表示装置100は、第2表示面12Sに表示される画像P12と、このヘッドマウントディスプレイが表示する画像P11としての虚像とを重ねて表示することにより、このヘッドマウントディスプレイを装着する観察者Uに対して、立体感のある画像を表示する。
また、第2表示面12Sに表示される画像P12とは、虚像であってもよい。例えば、画像P12とは、第2表示面12Sがヘッドマウントディスプレイである場合において、このヘッドマウントディスプレイが表示する虚像であってもよい。この場合には、表示装置100は、第1表示面11Sに表示される画像P11と、このヘッドマウントディスプレイが表示する画像P12としての虚像とを重ねて表示することにより、このヘッドマウントディスプレイを装着する観察者Uに対して、立体感のある画像を表示する。
また、第1表示面11Sに表示される画像P11と第2表示面12Sに表示される画像P12とは共に虚像であってもよい。
また、第1表示面11Sに表示される画像P11と、第2表示面12Sに表示される画像P12とは、奥行き方向に所定の間隔をあけて表示される。この所定の間隔とは、観察者Uの眼の焦点が合う範囲に調整することが望ましい。
また、第1表示面11Sの奥行き位置が第2表示面12Sの奥行き位置よりも手前にある場合において、第1表示面11Sに表示される画像P11は、第2表示面12Sに表示される画像P12の大きさよりも小さくして表示することが好ましい。また、第1表示面11Sがヘッドマウントディスプレイである場合において虚像を表示する場合には、このヘッドマウントディスプレイに表示される画像P11の大きさを、画像P12の大きさよりも小さくして表示することが好ましい。また、第2表示面12Sがヘッドマウントディスプレイである場合において虚像を表示する場合には、このヘッドマウントディスプレイに表示される画像P12の大きさを、画像P11の大きさよりも小さくして表示することが好ましい。また、表示される虚像の大きさを、画像P11の大きさよりも小さくして表示することが好ましい。これにより、表示装置100は、観察者Uに対して表示対象OBJと、この表示対象OBJの輪郭部を示すエッジ画像PEとの見かけの大きさを揃えて表示することができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
なお、上記の実施形態における表示装置100が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、表示装置100が備える各部は、メモリおよびCPU(中央演算装置)により構成され、表示装置100が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、表示装置100が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
11…第1表示部、12…第2表示部、13…輪郭補正部、100…表示装置

Claims (12)

  1. 第1画像を表示する第1表示部と、
    前記第1画像内の領域のうち第1領域に対応する領域の鮮鋭度と、前記第1画像内の領域のうち第2領域に対応する領域の鮮鋭度とが相違する画像であって、前記第1画像に対応して表示される第2画像を表示する第2表示部と
    を備えることを特徴とする表示装置。
  2. 前記第2表示部は、前記第2画像を前記第1画像とは異なる奥行き位置に表示する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記第2表示部は、観察者に対して、前記第2画像の前記第1領域に対応する領域と前記第1画像の前記第1領域とが重畳するように表示する
    ことを特徴とする請求項1または請求項2に記載の表示装置。
  4. 前記第1画像に関する情報に基づいて、前記第2画像の鮮鋭度を補正する補正部と
    をさらに備えることを特徴とする請求項1から請求項3のいずれか一項に記載の表示装置。
  5. 前記第1画像に関する情報は、前記第1画像の中心からの距離を示す情報であり、
    前記補正部は、
    前記第1表示部が表示する前記第1画像の中心からの距離に基づいて、前記第2画像の鮮鋭度を補正する
    ことを特徴とする請求項4に記載の表示装置。
  6. 前記第1画像に関する情報は、前記第1画像内の着目点からの距離を示す情報であり、
    前記補正部は、
    前記第1表示部が表示する前記第1画像内の前記着目点からの距離に基づいて、前記第2画像の鮮鋭度を補正する
    ことを特徴とする請求項4または請求項5に記載の表示装置。
  7. 前記第1画像に関する情報は、前記第2画像によって生じる前記第1画像の立体像の奥行き位置を示す情報であり、
    前記補正部は、
    前記第2画像によって生じる前記第1画像の立体像の奥行き位置に基づいて、前記第2画像の鮮鋭度を補正する
    ことを特徴とする請求項4から請求項6のいずれか一項に記載の表示装置。
  8. 前記第1画像に関する情報は、前記第1画像の空間周波数の分布を示す情報であり、
    前記補正部は、
    前記第1画像の空間周波数の分布に基づいて、前記第2画像の鮮鋭度を補正する
    ことを特徴とする請求項4から請求項7のいずれか一項に記載の表示装置。
  9. 前記第1画像に関する情報は、前記第1画像内の明るさの分布を示す情報であり、
    前記補正部は、
    前記第1画像内の明るさの分布に基づいて、前記第2画像の鮮鋭度を補正する
    ことを特徴とする請求項4から請求項8のいずれか一項に記載の表示装置。
  10. 前記第1画像に関する情報は、前記第2画像によって生じる前記第1画像の立体像の奥行き位置の変化の程度を示す情報であり、
    前記補正部は、
    前記第2画像によって生じる前記第1画像の立体像の奥行き位置の変化の程度に基づいて、前記第2画像の鮮鋭度を補正する
    ことを特徴とする請求項4から請求項9のいずれか一項に記載の表示装置。
  11. 前記第2表示部は、前記第2画像を前記第1画像に対応して表示することにより立体感を付与する
    ことを特徴とする請求項1から請求項10のいずれか一項に記載の表示装置。
  12. 表示装置が備えるコンピュータに、
    第1画像を表示する第1表示ステップと、
    前記第1画像内の領域のうち第1領域に対応する領域の鮮鋭度と、前記第1画像内の領域のうち第2領域に対応する領域の鮮鋭度とが相違する画像であって、前記第1画像に対応して表示される第2画像を表示する第2表示ステップと、
    を実行させるためのプログラム。
JP2013074099A 2013-03-29 2013-03-29 表示装置及びプログラム Pending JP2014199289A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013074099A JP2014199289A (ja) 2013-03-29 2013-03-29 表示装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013074099A JP2014199289A (ja) 2013-03-29 2013-03-29 表示装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2014199289A true JP2014199289A (ja) 2014-10-23

Family

ID=52356251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013074099A Pending JP2014199289A (ja) 2013-03-29 2013-03-29 表示装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2014199289A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020022288A1 (ja) * 2018-07-27 2021-08-12 京セラ株式会社 表示装置および移動体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020022288A1 (ja) * 2018-07-27 2021-08-12 京セラ株式会社 表示装置および移動体
US11276360B2 (en) 2018-07-27 2022-03-15 Kyocera Corporation Display device and mobile body

Similar Documents

Publication Publication Date Title
JP5366547B2 (ja) 立体視表示装置
US10511823B2 (en) Video display apparatus, video display system, and video display method
TWI665905B (zh) 立體影像產生方法、成像方法與系統
KR101732836B1 (ko) 셰이더 기반의 그래픽스 콘텐츠에 대한 뷰잉 배향에 의한 입체 변환
US9123171B1 (en) Enhancing the coupled zone of a stereoscopic display
US20140035907A1 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
US9710955B2 (en) Image processing device, image processing method, and program for correcting depth image based on positional information
US11659158B1 (en) Frustum change in projection stereo rendering
US10136121B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
US10672311B2 (en) Head tracking based depth fusion
CN109782452B (zh) 立体影像产生方法、成像方法与系统
US10382738B2 (en) Method and apparatus for processing image
WO2014119555A1 (ja) 画像処理装置、表示装置及びプログラム
JP2014150401A (ja) 表示装置及びプログラム
JP2014150402A (ja) 表示装置及びプログラム
JP2014199289A (ja) 表示装置及びプログラム
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP2013168781A (ja) 表示装置
JP6198157B2 (ja) プログラム、記録媒体、画像処理装置及び画像処理方法
WO2013089249A1 (ja) 表示装置、表示制御装置、表示制御プログラム、およびプログラム
WO2013146385A1 (ja) 表示装置及びプログラム
JP2013145373A (ja) 表示装置、表示制御装置、および表示制御プログラム
JP2009237310A (ja) 疑似3次元表示方法および疑似3次元表示装置