JP2014150402A - 表示装置及びプログラム - Google Patents
表示装置及びプログラム Download PDFInfo
- Publication number
- JP2014150402A JP2014150402A JP2013017971A JP2013017971A JP2014150402A JP 2014150402 A JP2014150402 A JP 2014150402A JP 2013017971 A JP2013017971 A JP 2013017971A JP 2013017971 A JP2013017971 A JP 2013017971A JP 2014150402 A JP2014150402 A JP 2014150402A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- displayed
- contour
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】立体表示する処理の負荷を低減する。
【解決手段】表示装置は、複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、複数の画素を備え、第1画像が表示される奥行き位置とは異なる奥行き位置に、表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部と、第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、表示対象の背景を示す背景画像の画素値を、背景画像を構成する画像領域毎に算出する算出部と、算出部が前記画像領域毎にそれぞれ算出した背景画像の画素値と、第1表示部が備える複数の画素のうち表示対象の輪郭部を示す各画素の画素値とに基づいて、第1表示部が表示する表示対象の輪郭部を示す画素と、第2表示部が表示する第2画像に含まれる輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正部とを備える。
【選択図】図1
【解決手段】表示装置は、複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、複数の画素を備え、第1画像が表示される奥行き位置とは異なる奥行き位置に、表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部と、第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、表示対象の背景を示す背景画像の画素値を、背景画像を構成する画像領域毎に算出する算出部と、算出部が前記画像領域毎にそれぞれ算出した背景画像の画素値と、第1表示部が備える複数の画素のうち表示対象の輪郭部を示す各画素の画素値とに基づいて、第1表示部が表示する表示対象の輪郭部を示す画素と、第2表示部が表示する第2画像に含まれる輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正部とを備える。
【選択図】図1
Description
本発明は、表示装置及びプログラムに関する。
近年、例えば、立体像(3次元画像)の奥行き位置に応じた明るさ(例えば、輝度)の比を付けた複数の画像を、奥行き位置の異なる複数の表示面(例えば、手前の表示面と、奥の表示面)に表示することによって、これら複数の画像を重ねて見たユーザに立体感を知覚させる表示方法が知られている(例えば、特許文献1を参照)。
しかしながら、上記のような表示方法において、手前の表示面に表示される画像の明るさと、奥の表示面に表示される画像の明るさとの比を各画素について演算すると、演算処理の負荷が大きくなってしまうことがある。この場合には、上記のような表示方法によると、立体表示する処理の負荷を低減することができないという問題があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、立体表示する処理の負荷を低減することができる表示装置を提供することにある。
本発明の一実施形態は、複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、複数の画素を備え、前記第1画像が表示される奥行き位置とは異なる奥行き位置に、前記表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部と、前記第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、前記表示対象の背景を示す背景画像の画素値を、前記背景画像を構成する画像領域毎に算出する算出部と、前記算出部が前記画像領域毎にそれぞれ算出した前記背景画像の画素値と、前記第1表示部が備える複数の画素のうち前記表示対象の輪郭部を示す各画素の画素値とに基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正部とを備えることを特徴とする表示装置である。
また、本発明の一実施形態は、複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、複数の画素を備え、前記第1画像が表示される奥行き位置とは異なる奥行き位置に、前記表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部と、前記第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、当該画像の輪郭部の内側の画像領域である第1領域と、当該画像の輪郭部の外側の画像領域である第2領域とのうち、いずれかの画像領域の画素値の代表値を算出する算出部と、前記算出部が算出した前記代表値に基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正部とを備えることを特徴とする表示装置である。
また、本発明の一実施形態は、複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、複数の画素を備え、前記第1画像が表示される奥行き位置とは異なる奥行き位置に、前記表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部とを備える表示装置のコンピュータに、前記第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、前記表示対象の背景を示す背景画像の画素値を、前記背景画像を構成する画像領域毎に算出する算出ステップと、前記算出ステップにおいて前記画像領域毎にそれぞれ算出された前記背景画像の画素値と、前記第1表示部が備える複数の画素のうち前記表示対象の輪郭部を示す各画素の画素値とに基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正ステップとを実行させるためのプログラムである。
この発明によれば、立体表示する処理の負荷を低減することができる。
[実施形態]
以下、図面を参照して、本発明の実施形態を説明する。
図1は、本発明の実施形態における表示装置100の構成の概要の一例を示す概要図である。以下、各図の説明においてはXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。表示装置100が画像を表示している方向をZ軸の正の方向とし、当該Z軸方向に垂直な平面上の直交方向をそれぞれX軸方向及びY軸方向とする。ここでは、X軸方向は、表示装置100の水平方向とし、Y軸方向は表示装置100の鉛直上方向とする。以下、この表示装置100の構成の概要について説明する。
以下、図面を参照して、本発明の実施形態を説明する。
図1は、本発明の実施形態における表示装置100の構成の概要の一例を示す概要図である。以下、各図の説明においてはXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。表示装置100が画像を表示している方向をZ軸の正の方向とし、当該Z軸方向に垂直な平面上の直交方向をそれぞれX軸方向及びY軸方向とする。ここでは、X軸方向は、表示装置100の水平方向とし、Y軸方向は表示装置100の鉛直上方向とする。以下、この表示装置100の構成の概要について説明する。
本実施形態の表示装置100は、表示部10としての第1表示部11と、第2表示部12とを備えている。第1表示部11は、奥行き位置Z1に画像を表示する第1表示面11Sを備えている。第2表示部12は、奥行き位置Z2に画像を表示する第2表示面12Sを備えている。ユーザ1(以下の説明において、観察者ともいう。)は、奥行き位置ZVPに予め定められている視点位置VPから、この第1表示面11Sと、第2表示面12Sとを見る。この第1表示面11Sおよび第2表示面12Sとは、例えば、液晶ディスプレイや液晶プロジェクタなどのスクリーンである。このうち、第1表示面11Sは、透過型のスクリーンであるため、ユーザ1が視点位置VPから第1表示面11S見た場合に、第1表示面11Sが表示する画像と、第2表示面12Sが表示する画像とが重なるように見える。
ここでは、一例として、表示対象OBJが、図1に示す四角形である場合について説明する。第1表示面11Sは、表示対象OBJとしての四角形の画像と、表示対象OBJ(ここでは、四角形)の背景を示す背景画像BGPとを含む画像P11(第1画像)を表示する。ここで、背景画像BGPとは、表示対象OBJの輪郭部の画素値と、この輪郭部の近傍の(例えば、この輪郭部に接する)背景画像BGPの画素値とが相違している画像である。すなわち、背景画像BGPとは、ユーザ1が表示対象OBJの画像と当該背景画像BGPとを見た場合に、表示対象OBJの画像と当該背景画像BGPとを区別することが可能な画像である。この背景画像BGPの具体例については後述する。
第2表示面12Sは、表示対象OBJの輪郭部を示すエッジ画像PE(輪郭画像)を含む画像P12を表示する。この第2表示面12Sは、ユーザ1が視点位置VPから第1表示面11Sと第2表示面12Sとを重ねて見た場合に、エッジ画像PEが示す四角形の各辺と、第1表示面11Sが表示する画像P11が示す四角形の各辺とが重なるようにして、エッジ画像PEを表示する。例えば、第2表示面12Sは、第1表示面11Sが表示する四角形の左上の頂点の位置Pt1と、エッジ画像PEの左上の頂点の位置Pt2とが、視点位置VPから見た場合に重なるように、エッジ画像PEを表示する。ここで、左上の頂点とは、各表示面上において、X座標が最も小さく、Y座標が最も大きい位置にある頂点である。
なお、第2表示面12Sが表示する画像P12は、エッジ画像PEだけでなく表示対象OBJをそのまま示す画像を含んでいてもよく、また表示対象OBJの輪郭部分(エッジ部分)を強調して示す画像を含んでいてもよい。以下、画像P12が、エッジ画像PEのみを含む場合について説明する。
ユーザ1が、視点位置VPから画像P11と画像P12とを重ねて見ると、ユーザ1の左眼Lと右眼Rとの間において、四角形の各辺の重なりかたに差が生じる。すなわち、ユーザ1が、視点位置VPから奥行き位置が相違する画像P11と画像P12とを重ねて見ると、両眼視差が生じる。この両眼視差によって、ユーザ1は、四角形の立体像を知覚する。
なお、ここでは第1表示面11Sが、透過型スクリーンであって、視点位置VPから見て第2表示面12Sよりも奥行き位置の手前側(+Z側)に位置するとして説明したが、これに限られない。例えば、第2表示面12Sが、透過型スクリーンであって、視点位置VPから見て第1表示面11Sよりも奥行き位置の手前側(+Z側)に位置していてもよい。以下の説明においても、同様に第1表示面11Sの奥行き位置と、第2表示面12Sの奥行き位置とが入れ替わっていてもよい。次に、図2を参照して、ユーザ1が知覚する立体像の奥行き位置について説明する。
図2は、画像P11(第1画像)と画像P12(第2画像)とによって生じる立体像SIの奥行き位置の一例を示す模式図である。上述したように、第1表示面11Sは、奥行き位置Z1に画像P11を表示する。この第1表示面11Sは、画像P11に基づく第1光束R11を発する。第1表示面11Sから発せられた第1光束R11は、視点位置VPにいる観察者に画像P11の光学像として観察される。同様に、第2表示面12Sは、奥行き位置Z2に画像P12を表示する。この第2表示面12Sは、画像P12に基づく第2光束R12を発する。第2表示面12Sから発せられた第2光束R12は、視点位置VPにいる観察者に画像P12の光学像として観察される。観察者は、視点位置VPにおいて、第1光束R11と第2光束R12とを同時に観察することにより、表示対象が立体表示された立体像SIを認識する。この観察者が立体像SIを認識する仕組みについては、後述する。
ここで、立体像SIの奥行き位置とは、観察者が認識する立体像SIのZ軸方向(奥行き方向)の位置である。具体的には、立体像SIの奥行き位置は、第2表示面12Sの奥行き位置を基準にしたZ方向の距離によって示される。例えば、第1表示面11Sと第2表示面12Sとの間のZ軸方向の距離が距離Lである場合、立体像SIの奥行き位置は、第2表示面12Sの奥行き位置Z2を距離La=0とし、第1表示面11Sの奥行き位置Z1を距離La=Lとした距離Laによって示される。
この立体像SIの奥行き位置は、第2表示面12Sが表示するエッジ画像PEの画素値(例えば、明るさ)に依存する。例えば、第2表示面12Sが表示するエッジ画像PEの明るさをより明るくすると、立体像SIの奥行き位置は、距離La=0(すなわち、第2表示面12S)に近づく。逆に、第2表示面12Sが表示するエッジ画像PEの明るさをより暗くすれば、立体像SIの奥行き位置は、距離La=L(すなわち、第1表示面11S)に近づく。このように、立体像SIの奥行き位置は、エッジ画像PEの明るさに応じて、距離La=0〜Lの間において変化する。
また、立体像SIの奥行き位置は、表示対象OBJの輪郭部の画素値、および、この輪郭部に接する背景画像BGPの画素値にも依存している。上述したように、表示対象OBJのエッジ画像PEは、表示対象OBJの輪郭部と、この輪郭部に接する背景画像BGPとに重なるように表示されるため、これらの画素値の差が両眼視差の量に影響するためである。したがって、表示装置100は、表示対象OBJの輪郭部の画素値と、この輪郭部に接する背景画像BGPの画素値とに基づいて算出された画素値のエッジ画像PEを表示することにより、ある奥行き位置に表示対象OBJの立体像SIを表示することができる。すなわち、表示装置100は、表示対象OBJの輪郭部の画素値と、この輪郭部に接する背景画像BGPの画素値とに基づく演算を行うことにより、この演算結果に基づいた奥行き位置に、表示対象OBJの画像を立体的に表示することができる。ここで、表示対象OBJの画像を立体的に表示するとは、表示対象OBJの画像の立体像SIの奥行き位置を、背景画像BGPの奥行き位置とは異なる奥行き位置に表示することである。
具体的には、表示装置100は、図4を参照して後述するように輪郭補正部13を備えている。この輪郭補正部13は、表示対象OBJと背景画像BGPとの境界部分にある画素の画素値に基づいて、エッジ画像PEの画素値を補正(算出)する。この輪郭補正部13が、エッジ画像PEの画素値を補正する仕組みについて、図3を参照して説明する。
図3は、本実施形態の表示装置100が表示する画像の一例を示す模式図である。図3(A)は、第1表示面11Sが表示する画像P11の一例を示す模式図である。具体的には、第1表示面11Sは、表示対象OBJとしての人物の画像と、背景画像BGPとしての空、地面および山の風景の画像を表示する。この背景画像BGPには、空を示す背景画像BGP1と、山を示す背景画像BGP2および背景画像BGP3と、地面を示す背景画像BGP4および背景画像BGP5とが含まれる。この例において、図3(A)に示す表示対象OBJ(この例においては、人物の画像)を立体的に表示する場合について説明する。
表示対象OBJを立体的に表示する場合、第2表示面12Sは、図3(B)に示すように、表示対象OBJの輪郭部を示すエッジ画像PEを表示する。このエッジ画像PEの画素値は、輪郭補正部13によって補正される。輪郭補正部13が、エッジ画像PEの画素値を補正する仕組みの具体例について、図3(C)を参照して説明する。
図3(C)は、第1表示面11Sの画素のうち、表示対象OBJの画像と、山を示す背景画像BGP3との境界部分の画素の一例を示す模式図である。具体的には、第1表示面11Sが備える複数の画素Pxのうち、画素Px1と画素Px2とが表示対象OBJの画像を表示する。このうち、画素Px2が表示対象OBJの輪郭部の画像を表示する。また、画素Px3が山を示す背景画像BGP3を表示する。輪郭補正部13は、図3(D)に示す第2表示面12Sが表示するエッジ画像PEの画素のうち、第1表示面11Sの画素Px2に対応する画素PxPEの画素値を、画素Px2の画素値と、画素Px3の画素値とに基づいて補正する。
輪郭補正部13は、表示対象OBJの輪郭部の各画素について、この輪郭部の画素に対応するエッジ画像PEの画素値の補正を繰り返し行うことにより、表示対象OBJの画像の輪郭部の複数の(例えば、すべての)画素に対応するエッジ画像PEの画素値を補正する。
このとき、輪郭補正部13は、背景画像BGPを構成する1または複数の画像領域毎に背景画像BGPの画素値を算出する。ここで、背景画像BGPを構成する画像領域とは、上述の例においては、背景画像BGP1〜BGP5である。表示装置100は、背景画像BGPの画像領域毎にエッジ画像PEの画素値を算出することにより、背景画像BGPの各画素についてエッジ画像PEの画素値を算出する場合に比べて、演算量を低減することができる。この表示装置100が演算量を低減する具体的な仕組みについては後述する。
なお、一例として、第1表示部11が背景画像BGPを表示するものとして説明するが、これに限られない。例えば、第2表示部12が背景画像BGPを表示してもよく、また、第1表示部11と第2表示部12とがそれぞれ背景画像BGPを表示してもよい。
次に、図4を参照して、表示装置100の具体的な構成について説明する。
図4は、本実施形態の表示装置100の具体的な構成の一例を示す模式図である。表示装置100は、第1表示部11と、第2表示部12と、輪郭補正部13と、算出部14とを備えている。
図4は、本実施形態の表示装置100の具体的な構成の一例を示す模式図である。表示装置100は、第1表示部11と、第2表示部12と、輪郭補正部13と、算出部14とを備えている。
画像情報供給装置2は、第1表示部11に画像情報D11を供給する。第1表示部11は、第1表示面11Sを備えており、画像情報供給装置2から供給される画像情報D11を画像P11に変換して第1表示面11Sに表示する。この画像情報D11とは、例えば、表示対象OBJの画像と、背景画像BGPとを表示するための画像情報である。第1表示部11は、第1表示面11Sに画像P11を表示することにより、第1光束R11をユーザ1に対して射出する。すなわち、第1表示部11は、複数の画素を備え、表示対象OBJの画像を少なくとも含む画像P11(第1画像)を表示する。
また、画像情報供給装置2は、画像情報D11を算出部14および輪郭補正部13に供給する。また、画像情報供給装置2は、画像情報D12を輪郭補正部13に供給する。
算出部14は、画像情報供給装置2から供給された画像情報D11に基づいて、背景画像BGPの画素値を背景画像BGPの画像領域毎に算出し、算出した背景画像BGPの画素値を画像情報D11BGPとして輪郭補正部13に供給する。すなわち、算出部14は、表示対象OBJの背景を示す背景画像BGPの画素値を、背景画像BGPを構成する1または複数の画像領域毎に算出する。
輪郭補正部13は、供給された画像情報D11と、画像情報D11BGPとに基づいて画像情報D12を補正し、補正した画像情報D12を補正画像情報D12Cとして第2表示部12に供給する。この画像情報D12とは、例えば、表示対象OBJの輪郭部分を示す補正前のエッジ画像の画像情報である。また、補正画像情報D12Cとは、輪郭補正部13が画像情報D12を補正したエッジ画像PEの画像情報である。すなわち、輪郭補正部13は、算出部14が画像領域毎にそれぞれ算出した背景画像BGPの画素値と、第1表示部11が備える複数の画素のうち表示対象OBJの輪郭部を示す画素の画素値とに基づいて、第1表示部11が表示する表示対象OBJの輪郭部を示す画素と、第2表示部12が表示する画像P12(第2画像)に含まれるエッジ画像PE(輪郭画像)を示す画素とのうち少なくともいずれかの画素の画素値を補正する。
第2表示部12は、第2表示面12Sを備えており、輪郭補正部13から供給される補正画像情報D12Cを画像P12に変換して第2表示面12S表示する。第2表示部12は、この第2表示面12Sに画像P12を表示することにより、第2光束R12をユーザ1に対して射出する。この第2光束R12は、透過型スクリーンである第1表示面11Sを透過して、ユーザ1に到達する。すなわち、第2表示部12は、複数の画素を備え、画像P11が表示される奥行き位置とは異なる奥行き位置に、表示対象OBJの輪郭部を示すエッジ画像PE(輪郭画像)を少なくとも含む画像P12を表示する。
このようにして、表示装置100は、表示対象OBJの画像を含む画像P11と、その表示対象OBJの輪郭部分を示すエッジ画像PEとを重ねて表示する。これにより、ユーザ1が観察する表示対象OBJに立体感を与えることができる。つまり、ユーザ1は、画像P12と、その表示対象OBJの輪郭部分を示す輪郭画像とを重ねて見た場合、表示対象OBJがZ軸方向に飛び出すような立体像を知覚する。この表示装置100が表示する画像によってユーザ1に立体感を与える仕組みについて、図5〜図10を参照して説明する。
図5は、本実施形態の画像P11(第1画像)の一例を示す模式図である。ここでは一例として、表示対象OBJが四角形である場合について、以下説明する。第1表示面11Sは、表示対象OBJとしての四角形の画像と、背景画像BGPとを表示する。この四角形とは、等しい長さの4辺が各頂点においてそれぞれ直角に交わる図形である。この四角形は、四角形の外部と内部とを分ける輪郭線としての4辺を有している。この四角形を見る観察者は、四角形の外部と内部との明るさの差が大きい場合に、この輪郭線を、四角形のエッジ部分Eであると知覚する。つまり、エッジ部分Eとは、表示対象OBJのうち、周囲の明るさの差が他の部分の明るさの差に比して相対的に大きい部分である。四角形の場合、各辺がエッジ部分Eになりうるが、ここでは、各エッジ部分Eのうち、四角形のY軸方向に平行な2辺を、それぞれエッジ部分E1およびエッジ部分E2として説明する。
次に、図6を参照して、この四角形に対応する画像P12の一例について説明する。
図6は、本実施形態の画像P12(第2画像)の一例を示す模式図である。上述したように表示対象OBJが四角形である場合、画像P12とは、四角形の左辺のエッジ部分E1を示すエッジ画像PE1、および四角形の右辺のエッジ部分E2を示すエッジ画像PE2を含む画像である。
図6は、本実施形態の画像P12(第2画像)の一例を示す模式図である。上述したように表示対象OBJが四角形である場合、画像P12とは、四角形の左辺のエッジ部分E1を示すエッジ画像PE1、および四角形の右辺のエッジ部分E2を示すエッジ画像PE2を含む画像である。
すなわち、表示対象OBJが四角形である場合、第2表示面12Sは、そのエッジ部分E1およびエッジ部分E2にそれぞれ対応するエッジ画像PE1およびエッジ画像PE2を含む画像P12を表示する。
なお、ここでは一例として、エッジ画像PEとは、四角形の左辺および右辺のエッジ部分を示す画像であるとして説明するが、これに限られない。例えば、エッジ画像PEとは、四角形の上辺および下辺のエッジ部分を示す画像であってもよく、また四角形のすべての各辺のエッジ部分を示す画像であってもよい。
次に、図7を参照して、表示対象OBJとしての四角形の位置と、エッジ画像PE1およびエッジ画像PE2を含む画像P12の位置と、観察者の視点位置VPとの位置関係について説明する。
図7は、本実施形態における画像P11と画像P12と視点位置VPとの位置関係の一例を示す模式図である。観察者は、奥行き位置ZVPにある視点位置VPから、奥行き位置Z2にある画像P12と、奥行き位置Z1にある画像P11とを重ねて見る。この画像P12とは、上述したように、エッジ画像PE1と、エッジ画像PE2とを含む画像である。
第2表示面12Sは、第1表示面11Sが表示する四角形のエッジ部分E1と、画像P12のエッジ画像PE1とが視点位置VPにおいて重なって見えるように、画像P12を表示する。具体的には、第2表示面12Sは、四角形のエッジ部分E1に対応するエッジ画像PE1を、X方向の位置X1から位置X2の範囲に表示する。また、第2表示面12Sは、第1表示面11Sが表示する四角形のエッジ部分E2と、画像P12のエッジ画像PE2とが視点位置VPにおいて重なって見えるように、画像P12を表示する。具体的には、第2表示面12Sは、四角形のエッジ部分E2に対応するエッジ画像PE2を、X方向の位置X5から位置X6の範囲に表示する。このようにして表示される画像P12と、表示対象OBJ(例えば、四角形)を示す画像P11とを、観察者が重ねて見ると、観察者の網膜像上において認識できないくらいの微小な輝度の段差ができる。このような場合においては、明るさ(例えば、輝度)の段差間に仮想的な輪郭(エッジ)を知覚して、画像P12と画像P11とを1つの画像として知覚する。このとき、左眼Lが見る光学像IMLと、右眼Rが見る光学像IMRとには両眼視差が生ずるため、この仮想的な輪郭にも少しだけずれが生じて両眼視差として知覚して、画像P11の見かけの奥行き位置が変化する。以下、この左眼Lが見る光学像IML、右眼Rが見る光学像IMRの順に説明し、あわせて表示対象OBJの見かけの奥行き位置が変化する仕組みについて説明する。
図8は、本実施形態における観察者の眼に見える光学像IMの一例を示す模式図である。このうち、図8(L)は、観察者の左眼Lに見える光学像IMLの一例を示す模式図である。同図に示すように、奥行き位置ZVPにある視点位置VPの左眼Lの位置において、画像P11と画像P12とを重ねて見ると、エッジ画像PE1が四角形のエッジ部分E1の外側(−X方向)に見える。また、奥行き位置ZVPにある視点位置VPの左眼Lの位置において、画像P11と画像P12とを重ねて見ると、エッジ画像PE2とエッジ部分E2とが、位置X5〜位置X6の範囲において重なって見える。すなわち、エッジ画像PE2が四角形のエッジ部分E2の内側(−X方向)に、四角形と重なって見える。
このとき、観察者の左眼Lの位置における光学像の明るさについて、図9を参照して説明する。
図9は、本実施形態の視点位置VPにおける光学像IMの明るさの一例を示すグラフである。このうち、図9(L)は、視点位置VPの左眼Lの位置における光学像IMLの明るさの一例を示すグラフである。
図9は、本実施形態の視点位置VPにおける光学像IMの明るさの一例を示すグラフである。このうち、図9(L)は、視点位置VPの左眼Lの位置における光学像IMLの明るさの一例を示すグラフである。
ここで、表示対象OBJ(ここでは、四角形)の明るさと、背景画像BGPの明るさとが相違する(例えば、明るさの比が大きい)場合について説明する。ここでは、表示対象OBJの明るさが、明るさBR2であり、背景画像BGPの明るさが、明るさ0(ゼロ)である。この明るさBR2は、明るさ0(ゼロ)よりも明るい。すなわち、表示対象OBJの明るさが背景画像BGPの明るさよりも明るい場合について、以下説明する。
視点位置VPの左眼Lの位置においては、左眼Lの位置から画像P11を見た場合の画像P11Lと、画像P12とが重なるようにして見える。この画像P11Lには、表示対象OBJである四角形と、背景画像BGPとが含まれる。また、画像P12には、エッジ画像PE1と、エッジ画像PE2とが含まれる。
このとき、視点位置VPから見るユーザ1の左眼Lには、画像P11L内の表示対象OBJおよび背景画像BGPの明るさと、画像P12内のエッジ画像PE1およびエッジ画像PE2の明るさとが合成された明るさの光学像IMLが生じる。ここで、画像P11Lの明るさ、および画像P12の明るさの具体例について説明する。視点位置VPから見た画像P11Lの四角形の内部の明るさは、明るさBR2である。また、視点位置VPから見た画像P11Lの四角形の外部の明るさは、明るさ0(ゼロ)である。ここで、左眼Lの位置から四角形のエッジ部分E1を見た場合に、エッジ部分E1の奥行き位置Z2における見た目の位置は、位置X2である。また、左眼Lの位置から四角形のエッジ部分E2を見た場合に、エッジ部分E2の奥行き位置Z2における見た目の位置は、位置X6である。したがって、画像P11Lの視点位置VPから見た明るさは、位置X2〜位置X6において明るさBR2であり、位置X2から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)である。
また、画像P12のエッジ画像PE1の視点位置VPから見た明るさは、明るさBR1である。同様に、画像P12のエッジ画像PE2の視点位置VPから見た明るさは、明るさBR1である。このエッジ画像PE1は、位置X1〜位置X2の範囲に表示される。また、エッジ画像PE2は、位置X5〜位置X6の範囲に表示される。したがって、画像P12の視点位置VPから見た明るさは、位置X1〜X2および位置X5〜位置X6において明るさBR1であり、その他のX方向の位置において明るさ0(ゼロ)である。
したがって、画像P11Lと画像P12とを視点位置VPにおいて重ねて見た場合、その光学像IMLの明るさは、次に説明するようになる。すなわち光学像IMLの明るさは、位置X1〜位置X2が明るさBR1、位置X2〜位置X5が明るさBR2、位置X5〜位置X6が明るさBR3、位置X1から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)である。
次に、光学像IMLを見た観察者が画像P11Lの輪郭部を知覚する仕組みについて説明する。
図10は、本実施形態における観察者が光学像IMに基づいて知覚する画像P11の輪郭部の一例を示すグラフである。このうち、図10(L)は、観察者の左眼Lの位置における光学像IMLに基づいて、観察者が知覚する画像P11Lの輪郭部の一例を示すグラフである。ここで、画像P11Lの輪郭部とは、画像P11Lを示す光学像の部分のうち、明るさの変化が周囲の部分の明るさの変化に比して大きい部分である。視点位置VPにいる観察者の左眼Lの網膜上に結像された光学像IMLによって、観察者に認識される画像の明るさの分布は、図10(L)の波形WLのようになる。このとき、観察者は、認識した光学像IMLの明るさの変化が最大になる(つまり、波形WLの傾きが最大になる)X軸上の位置を、観察している画像P11Lの輪郭部であると知覚する。具体的には、光学像IMLを観察している観察者は、図10(L)に示すXELの位置(つまり、X軸の原点Oから距離LELの位置)を四角形の輪郭部であると知覚する。
図10は、本実施形態における観察者が光学像IMに基づいて知覚する画像P11の輪郭部の一例を示すグラフである。このうち、図10(L)は、観察者の左眼Lの位置における光学像IMLに基づいて、観察者が知覚する画像P11Lの輪郭部の一例を示すグラフである。ここで、画像P11Lの輪郭部とは、画像P11Lを示す光学像の部分のうち、明るさの変化が周囲の部分の明るさの変化に比して大きい部分である。視点位置VPにいる観察者の左眼Lの網膜上に結像された光学像IMLによって、観察者に認識される画像の明るさの分布は、図10(L)の波形WLのようになる。このとき、観察者は、認識した光学像IMLの明るさの変化が最大になる(つまり、波形WLの傾きが最大になる)X軸上の位置を、観察している画像P11Lの輪郭部であると知覚する。具体的には、光学像IMLを観察している観察者は、図10(L)に示すXELの位置(つまり、X軸の原点Oから距離LELの位置)を四角形の輪郭部であると知覚する。
ここまで、観察者の左眼Lに見える光学像IMLと、光学像IMLによる輪郭部の位置とについて説明した。次に、観察者の右眼Rに見える光学像IMRと、光学像IMRによる輪郭部の位置とについて説明する。
図8(R)に示すように、奥行き位置ZVPにある視点位置VPの右眼Rの位置において、画像P11Rと画像P12とを見ると、エッジ画像PE2が四角形のエッジ部分E2の外側(+X方向)に見える。ここで、画像P11Rとは、右眼Rの位置から画像P11を見た場合の画像である。また、奥行き位置ZVPにある視点位置VPの右眼Rの位置において、画像P11Rと画像P12とを見ると、エッジ画像PE1とエッジ部分E1とが、位置X1〜位置X2の範囲において重なって見える。すなわち、エッジ画像PE1が四角形のエッジ部分E1の内側(+X方向)に、四角形と重なって見える。これは、観察者の左眼Lには、エッジ画像PE2とエッジ部分E2とが、エッジ部分E2よりも四角形の内側(−X方向)の位置において重なって見えることと相違する。
視点位置VPの右眼Rの位置においては、画像P11Rと、画像P12とが重なるようにして見える。この画像P11Rには、表示対象OBJである四角形が含まれる。このとき、観察者の右眼Rの位置における光学像の明るさについて、図9(R)を参照して説明する。
図9(R)は、視点位置VPの右眼Rの位置における光学像IMRの明るさの一例を示すグラフである。視点位置VPから見るユーザ1の右眼Rには、画像P11R内の表示対象OBJおよび背景画像BGPの明るさと、画像P12内のエッジ画像PE1およびエッジ画像PE2の明るさとが合成された明るさの光学像IMRが生じる。ここで、画像P11Rの明るさ、および画像P12の明るさの具体例について説明する。視点位置VPから見た画像P11Rの四角形の内部の明るさは、明るさBR2である。また、視点位置VPから見た画像P11Rの四角形の外部の明るさは、明るさ0(ゼロ)である。ここで、右眼Rの位置から四角形のエッジ部分E1を見た場合に、エッジ部分E1の奥行き位置Z2における見た目の位置は、位置X1である。また、右眼Rの位置から四角形のエッジ部分E2を見た場合に、エッジ部分E2の奥行き位置Z2における見た目の位置は、位置X5である。したがって、視点位置VPから見た画像P11Rの明るさは、位置X1〜位置X5において明るさBR2であり、位置X1から(−X)方向、および位置X5から(+X)方向の位置において明るさ0(ゼロ)である。これは、画像P11Lの視点位置VPから見た明るさが、位置X2〜位置X6において明るさBR2であり、位置X2から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)であることと相違する。
また、視点位置VPから見たエッジ画像PE1の明るさは、明るさBR1である。同様に、視点位置VPから見たエッジ画像PE2の明るさは、明るさBR1である。このエッジ画像PE1は、位置X1〜位置X2の範囲において、四角形のエッジ部分E1と重なるように表示される。また、エッジ画像PE2は、位置X5〜位置X6の範囲に表示される。すなわち、画像P12の視点位置VPから見た明るさは、位置X1〜X2および位置X5〜位置X6において明るさBR1であり、その他のX方向の位置において明るさ0(ゼロ)である。
したがって、画像P11Rと画像P12とを視点位置VPにおいて重ねて見た場合、その光学像IMRの明るさは、次に説明するようになる。すなわち光学像IMRの明るさは、位置X1〜位置X2が明るさBR3、位置X2〜位置X5が明るさBR2、位置X5〜位置X6が明るさBR1、位置X1から(−X)方向、および位置X6から(+X)方向の位置において明るさ0(ゼロ)である。これは、光学像IMLの明るさが、位置X1〜位置X2が明るさBR1、位置X2〜位置X5が明るさBR2、位置X5〜位置X6が明るさBR3であることと相違する。
次に、光学像IMRを見た観察者が、画像P11Rの輪郭部を知覚する仕組みについて説明する。図10(R)は、観察者の右眼Rの位置における光学像IMRに基づいて、観察者が知覚する画像P11Rの輪郭部の一例を示すグラフである。視点位置VPにいる観察者の右眼Rの網膜上に結像された光学像IMRによって、観察者に認識される画像の明るさの分布は、図10(R)の波形WRのようになる。このとき、観察者は、認識した光学像IMRの明るさの変化が最大になる(つまり、波形WRの傾きが最大になる)X軸上の位置を、観察している画像P11Rの輪郭部であると知覚する。具体的には、光学像IMRを観察している観察者は、図10(R)に示すXERの位置(つまり、X軸の原点Oから距離LERの位置)を四角形の輪郭部であると知覚する。これは、光学像IMLを観察している観察者は、X軸の原点Oから距離LELの位置を四角形の輪郭部であると知覚することと相違する。
これにより、観察者は、左眼Lが観察する四角形の輪郭部の位置XELと、右眼Rが観察する四角形の輪郭部の位置XERとを両眼視差として知覚する。そして、観察者は、輪郭部の両眼視差に基づいて四角形を立体像SI(3次元画像)として知覚する。
ここまで、表示装置100が、視点位置VPにいるユーザ1に表示対象OBJの立体像を認識させる仕組みについて説明した。以下、この表示装置100の算出部14と輪郭補正部13とが輪郭画像を補正する仕組みの詳細について説明する。
図2〜3を参照して上述したように、表示対象OBJの立体像SIの奥行き位置は、エッジ画像PEの画素値に依存する。また、エッジ画像PEの画素値は、表示対象OBJの輪郭部の画素値と、この輪郭部に接する背景画像BGPの画素値とに依存する。すなわち、立体像SIの奥行き位置は、表示対象OBJの輪郭部の画素値と、この輪郭部に接する背景画像BGPの画素値とに依存する。したがって、エッジ画像PEの画素ごとに、表示対象OBJの輪郭部の画素値と、この輪郭部に接する背景画像BGPの画素値とに基づいてエッジ画像PEの画素値を求める演算を行うことにより、ある奥行き位置に表示対象OBJの立体像SIを生じさせることができる。
ここで、エッジ画像PEの画素値を求めるためには、まず、輪郭部に接する背景画像BGPの画素値を求め、次に、求めた背景画像BGPの画素値と、表示対象OBJの輪郭部の画素値とに基づいてエッジ画像PEの画素値を求める、という手順によって演算を行う。この背景画像BGPの画素値は、一般的には、背景画像BGPの画素毎に相違する。仮に、背景画像BGPの画素ごとに、エッジ画像PEの画素値を求めるための演算を行うことにすると、エッジ画像PEの画素値を求めるための演算回数は、少なくとも輪郭部に接する背景画像BGPの画素数に応じた回数になる。例えば、輪郭部に接する背景画像BGPの画素数が100画素である場合には、背景画像BGPの画素値を求めるための演算を少なくとも100回行うことになる。すなわち、仮に、輪郭部に接する背景画像BGPの画素ごとに背景画像BGPの画素値を求めるための演算を行うことにすると、エッジ画像PEの画素値を求めるための演算量が輪郭部に接する背景画像BGPの画素数に応じた回数よりも低減させることができない。
そこで、本実施形態の表示装置100は、エッジ画像PEの画素値を求めるための演算量を低減することができる算出部14と輪郭補正部13とを備える。以下、算出部14および輪郭補正部13が演算量を低減する構成について説明する。
上述したように算出部14は、背景画像BGPの画素値を、背景画像BGPを構成する1または複数の画像領域毎に算出する。この画像領域とは、上述したように、例えば、図3に示す背景画像BGP1〜BGP5である。この例においては、背景画像BGPは、背景画像BGP1〜BGP5の5つの画像領域に分けられている。このとき、算出部14は、山を示す背景画像BGP3について、その背景画像BGP3の画素値の代表値を算出する。ここで、画素値の代表値には、背景画像BGP3の各画素値の平均値、最頻値、中央値など、背景画像BGP3の各画素値を統計的に演算して求めた値が含まれる。ここでは一例として、算出部14は、背景画像BGP3の画素値の平均値を算出する。算出部14は、背景画像BGP1〜2、および背景画像BGP4〜5について、背景画像BGP3と同様にして画素値の平均値を算出する。すなわち、算出部14は、画像領域に含まれる画素の画素値の代表値を、画像領域の画素値として画像領域毎に算出する。
輪郭補正部13は、算出部14が算出した平均値を背景画像BGPの画素値として、この平均値と、表示対象OBJの輪郭部の画素値とに基づいてエッジ画像PEの画素値を求めることにより、エッジ画像PEの画素値を補正する。すなわち、輪郭補正部13は、
画像領域の画素値として算出部14が算出した代表値と、第1表示部11が備える複数の画素のうち表示対象OBJの輪郭部を示す各画素の画素値とに基づいて、第1表示部11が表示する表示対象OBJの輪郭部を示す画素と、第2表示部12が表示する画像P12に含まれるエッジ画像PE(輪郭画像)を示す画素とのうち少なくともいずれかの画素の画素値を補正する。
画像領域の画素値として算出部14が算出した代表値と、第1表示部11が備える複数の画素のうち表示対象OBJの輪郭部を示す各画素の画素値とに基づいて、第1表示部11が表示する表示対象OBJの輪郭部を示す画素と、第2表示部12が表示する画像P12に含まれるエッジ画像PE(輪郭画像)を示す画素とのうち少なくともいずれかの画素の画素値を補正する。
このように輪郭補正部13は、算出部14が算出した平均値を背景画像BGPの画素値としてエッジ画像PEの画素値を求めることができるため、背景画像BGPの画素値を背景画像BGPの画素ごとに算出することなく、エッジ画像PEの画素値を求めることができる。したがって、算出部14および輪郭補正部13によれば、背景画像BGPの画素ごとに求めた背景画像BGPの画素値に基づいてエッジ画像PEの画素値を求める場合に比べて、エッジ画像PEの画素値を求めるための演算量を低減することができる。すなわち、表示装置100は、算出部14と、輪郭補正部13とを備えることにより、エッジ画像PEの画素値を求めるための演算量を低減することができる。
次に、この輪郭補正部13がエッジ画像PEの画素値を補正する動作の具体例について、図11を参照して説明する。
図11は、本実施形態の表示装置100における画素値の補正動作の一例を示すフローチャートである。算出部14は、画像情報供給装置2から供給される画像情報D11を取得する。また、輪郭補正部13は、画像情報供給装置2から供給される画像情報D11と画像情報D12とを取得する。(ステップS10)。この画像情報D11には、背景画像BGPの画像領域を示す情報と、立体像SIの奥行き位置を示す奥行き位置情報とが含まれている。この背景画像BGPの画像領域を示す情報とは、背景画像BGPの画像領域の数に応じた画像領域を識別する情報(例えば、画像領域ID)と、背景画像BGPを構成する各画素の座標情報とが関連付けられている情報である。例えば、画像領域としての背景画像BGP1〜5には、画像領域ID1〜5が割り当てられている。背景画像BGP1に含まれる各画素の座標情報には、画像領域IDとしてID1が関連付けられている。
次に、算出部14は、ステップS10において取得した画像情報D11から、背景画像BGPの画像領域を示す情報を抽出する(ステップS20)。算出部14は、抽出した背景画像BGPの画像領域を示す情報に基づいて、各画像領域(例えば、背景画像BGP1〜5)含まれる画素の座標情報を取得する。
次に、算出部14は、各画像領域に含まれる画素の画素値の代表値(例えば、平均値)を、画像領域ごとに算出する(ステップS30)。例えば、算出部14は、背景画像BGP1〜5の画素値の平均値をそれぞれ算出する。
次に、輪郭補正部13は、ステップS10において取得した画像情報D11から、表示対象OBJの輪郭部の画像を抽出する(ステップS40)。ここでは、輪郭補正部13は、既知の微分フィルタ(例えば、ラプラシアンフィルタ)を画像情報D11に施すことによって表示対象OBJの輪郭部の画像を抽出する。
次に、輪郭補正部13は、ステップS10において取得した画像情報D11から、立体像SIの奥行き位置情報を抽出する(ステップS50)。
次に、輪郭補正部13は、ステップS30において算出部14が算出した代表値と、ステップS50において取得した立体像SIの奥行き位置情報とに基づいて、ステップS40において抽出した表示対象OBJの輪郭部の画像の画素値を補正して補正画像情報D12Cを生成する(ステップS60)。
次に、輪郭補正部13は、ステップS60において生成した補正画像情報D12Cを第2表示部12に出力する(ステップS70)。
第2表示部12の第2表示面12Sは、このようにして輪郭補正部13によって補正された補正画像情報D12Cに基づく画像を表示する。また、第1表示部11の第1表示面11Sは、画像情報D11に基づく画像を表示する。このようにして、表示装置100は、表示対象OBJの立体像SIを表示する。
以上、説明したように、本実施形態の表示装置100は、第1表示部11と、第2表示部12と、算出部14と、輪郭補正部13とを備えている。この算出部14と、輪郭補正部13を備えることにより、表示装置100は、エッジ画像PEを補正するための演算量を低減することができる。
また、表示装置100の算出部14は、画像領域に含まれる画素の画素値の代表値を、画像領域の画素値として画像領域毎に算出する。これにより、表示装置100は、エッジ画像PEを補正するための演算量をさらに低減することができる。
なお、算出部14は、画像情報D11の情報量が低減された画像情報に基づいて、画像領域に含まれる画素値の代表値を算出してもよい。例えば、算出部14は、画像情報D11の解像度が低減された画像情報に基づいて、画像領域に含まれる画素値の代表値を算出する。これにより、算出部14が代表値を算出するための演算量が低減するため、表示装置100は、エッジ画像PEを補正するための演算量をさらに低減することができる。
また、輪郭補正部13は、エッジ画像PEの画素値を補正するものとして説明したがこれに限られない。輪郭補正部13は、エッジ画像PEの画素値を補正するだけでなく、表示対象OBJの輪郭部の画素値を補正してもよい。
また、表示装置100の輪郭補正部13が補正する画素値には、RGB各色の階調値、彩度、もしくは色度のいずれか、または、これらの組み合わせが含まれる。ここで、エッジ画像PEの明るさ以外の画素値の変化によっても、立体像SIの奥行き位置が変化する。例えば、立体像SIの奥行き位置は、表示対象OBJの画像の色度と、背景画像BGPの色度とのうち、エッジ画像PEの画素値(例えば、色度)との色度の差が大きい画像の近くになる場合がある。この場合、具体的には、赤色の表示対象OBJの画像が第1表示面11Sに表示され、緑色の背景画像BGPが第2表示面12Sに表示されている場合において、エッジ画像PEの色を緑にすれば、立体像SIの奥行き位置は、一方の表示面(第1表示面11S、または第2表示面12S)の奥行き位置に近づく。輪郭補正部13は、表示対象OBJの明るさと、背景画像BGPの明るさとの比が小さい場合であっても、明るさ以外の画素値をも補正することにより、ユーザに知覚される立体感を向上させることができる。
また、上述において、山や空などの被写体ごとに画像領域が分割されている例について説明したが、これに限られない。例えば、画像領域とは、背景画像BGPを格子状に分割した領域であってもよい。また、画像領域とは、背景画像BGPの各画素のうち画素値が類似する画素を含むようにして、背景画像BGPを分割した領域であってもよい。
また、算出部14は、さらに演算量を低減することもできる。例えば、背景画像BGPとは、複数のフレームからなる動画像である場合に、算出部14は、背景画像BGPの画像領域のうち、背景画像BGPのフレーム間差分が所定のしきい値を超える画像領域について、代表値を算出するようにしてもよい。これにより、算出部14は、代表値の算出頻度を低減させることができる。よって、表示装置100は、エッジ画像PEの画素値を求めるための演算量をさらに低減することができる。
なお、ここまでの説明において、表示装置100は、第1表示面11Sが表示対象OBJの画像と背景画像BGPとを表示し、第2表示面12Sがエッジ画像PEを表示する構成について説明したが、これに限られない。例えば、第1表示面11Sがエッジ画像PEを表示し、第2表示面12Sが表示対象OBJの画像と背景画像BGPとを表示する構成であってもよい。すなわち、表示装置100において、表示対象OBJの画像の奥行き位置と、エッジ画像PEの奥行き位置とのいずれが手前であってもよい。また、表示対象OBJの画像と背景画像BGPとが必ずしも同じ表示面に表示されていなくてもよい。例えば、第1表示面11Sが表示対象OBJの画像を表示し、第2表示面12Sが背景画像BGPとエッジ画像PEとを表示する構成であってもよい。上述のいずれの構成であっても、エッジ画像PEの補正を行うための演算量を低減することができる。
また、表示装置100は、背景画像BGPの奥行き位置を、表示対象OBJの画像の奥行き位置よりも手前側にして各画像を表示することにより、表示対象OBJの立体像SIに奥行き感を与えることができる。この場合において、エッジ画像PEは第1表示面11Sが表示してもよく、第2表示面12Sが表示してもよい。例えば、廊下の画像を表示する場合において、廊下の最も奥にある(例えば、廊下の突き当たりにある)壁の画像を表示対象OBJの画像にし、天井、床および左右の壁の画像を背景画像BGPにして表示することができる。この場合、第1表示面11Sは、背景画像BGPとしての天井、床および左右の壁の画像を、第2表示面12Sは表示対象OBJの画像としての廊下の最も奥にある(例えば、廊下の突き当たりにある)壁の画像を、それぞれ表示する。表示装置100は、このように廊下の画像を表示することにより、廊下の最も奥にある(例えば、廊下の突き当たりにある)壁の画像の立体像SIに奥行き感を与えることができる。
[第1の変形例]
次に、変形例である表示装置100aについて図12を参照して説明する。
図12は、本実施形態の変形例である表示装置100aの構成の一例を示す構成図である。表示装置100aは、画像情報D11に代えて画像情報D11’が供給されるとともに、領域分割部15を備える点において、上述した表示装置100と異なる。ここで画像情報D11’とは、背景画像BGPの画像領域を示す情報が含まれていない画像情報である。すなわち、画像情報D11と画像情報D11’とは、背景画像BGPの画像領域を示す情報が含まれているか否かの点において相違する。以下、この領域分割部15について説明する。なお、上述した実施形態と同一の構成については、同一の符号を付してその説明を省略する。
次に、変形例である表示装置100aについて図12を参照して説明する。
図12は、本実施形態の変形例である表示装置100aの構成の一例を示す構成図である。表示装置100aは、画像情報D11に代えて画像情報D11’が供給されるとともに、領域分割部15を備える点において、上述した表示装置100と異なる。ここで画像情報D11’とは、背景画像BGPの画像領域を示す情報が含まれていない画像情報である。すなわち、画像情報D11と画像情報D11’とは、背景画像BGPの画像領域を示す情報が含まれているか否かの点において相違する。以下、この領域分割部15について説明する。なお、上述した実施形態と同一の構成については、同一の符号を付してその説明を省略する。
領域分割部15は、1または複数の画像領域に背景画像BGPを領域分割する。具体的には、領域分割部15は、背景画像BGPに含まれる被写体の形状に基づいて、当該被写体毎に当該背景画像BGPを領域分割する。例えば、領域分割部15は、図3に示したように、背景画像BGPに空を示す背景画像BGP1と、山を示す背景画像BGP2および背景画像BGP3と、地面を示す背景画像BGP4および背景画像BGP5とが含まれる場合に、背景画像BGP1〜5をそれぞれ画像領域として分割する。算出部14は、このようにして領域分割部15が領域分割した画像領域毎に背景画像BGPの画素値を算出する。
これにより、表示装置100aは、画像情報供給装置2から供給される画像情報に背景画像BGPの画像領域を示す情報が含まれていない場合であっても、背景画像BGPを領域分割部15によって領域分割することができる。したがって、表示装置100aは、画像情報供給装置2から供給される画像情報に背景画像BGPの画像領域を示す情報が含まれていない場合であっても、表示装置100と同様にしてエッジ画像PEの補正を行うための演算量を低減することができる。
なお、領域分割部15は、背景画像BGPの画素値に基づいて、類似する画素値を含む画像領域毎に当該背景画像BGPを領域分割するように構成してもよい。このように構成することによっても表示装置100aは、表示装置100と同様にしてエッジ画像PEの補正を行うための演算量を低減することができる。
また、領域分割部15は、背景画像BGPが表示される奥行き位置を示すデプスマップに基づいて、所定の奥行き範囲に表示される画像領域毎に当該背景画像BGPを領域分割するように構成してもよい。このように構成することによっても表示装置100aは、表示装置100と同様にしてエッジ画像PEの補正を行うための演算量を低減することができる。
[第2の変形例]
上述の実施形態および第1の変形例においては、立体像SIの奥行き位置は、第2表示面12Sの奥行き位置Z2を距離La=0とし、第1表示面11Sの奥行き位置を距離La=Lとした距離Laによって示されるものとして説明したが、これに限られない。本変形例においては、図13に示すように、立体像SIの奥行き位置は、第1表示面11Sの奥行き位置Z1を距離La=0とし、第2表示面12Sの奥行き位置を距離La=Lとした距離Laによって示される。なお、上述した実施形態および変形例と同一の構成については、同一の符号を付してその説明を省略する。
上述の実施形態および第1の変形例においては、立体像SIの奥行き位置は、第2表示面12Sの奥行き位置Z2を距離La=0とし、第1表示面11Sの奥行き位置を距離La=Lとした距離Laによって示されるものとして説明したが、これに限られない。本変形例においては、図13に示すように、立体像SIの奥行き位置は、第1表示面11Sの奥行き位置Z1を距離La=0とし、第2表示面12Sの奥行き位置を距離La=Lとした距離Laによって示される。なお、上述した実施形態および変形例と同一の構成については、同一の符号を付してその説明を省略する。
図13は、本変形例における画像P11(第1画像)と画像P12(第2画像)とによって生じる立体像の奥行き位置の一例を示す模式図である。ここで、立体像SIの奥行き位置とは、ユーザ1(観察者)が認識する立体像SIのZ軸方向(奥行き方向)の位置である。具体的には、立体像SIの奥行き位置は、第1表示面11Sの奥行き位置を基準にした(−Z)方向の距離によって示される。例えば、第1表示面11Sと第2表示面12Sとの間のZ軸方向の距離が距離Lである場合、立体像SIの奥行き位置は、第1表示面11Sの奥行き位置を距離La=0とし、第2表示面12Sの奥行き位置を距離La=Lとした距離Laによって示される。
この立体像SIの奥行き位置は、第1表示面11Sが表示する画像の明るさと、第2表示面12Sが表示する画像の明るさとに依存する。例えば、第2表示面12Sが表示するエッジ画像PEの明るさを、第1表示面11Sが表示する画像の明るさに近づけると、立体像SIの奥行き位置は、距離La=0(すなわち、第1表示面11S)に近づく。逆に、第2表示面12Sが表示するエッジ画像PEの明るさを、第2表示面12Sが表示する画像の明るさに近づけると、立体像SIの奥行き位置は、距離La=L(すなわち、第2表示面12S)に近づく。
ここでは一例として、第1表示面11Sが表示する表示対象OBJ(ここでは、四角形)の明るさが、第2表示面12Sが表示する背景画像BGPの明るさよりも明るい場合について説明する。この場合、第2表示面12Sが表示するエッジ画像PEの明るさを明るくすると、立体像SIの奥行き位置は、距離La=0(すなわち、第1表示面11S)に近づく。またこの場合、第2表示面12Sが表示するエッジ画像PEの明るさを暗くすれば、立体像SIの奥行き位置は、距離La=L(すなわち、第2表示面12S)に近づく。このように、立体像SIの奥行き位置は、エッジ画像PEの明るさが、第1表示面11Sが表示する表示対象OBJの明るさと、第2表示面12Sが表示する背景画像BGPの明るさとのいずれの明るさに近いかによって、距離La=0〜Lの間において変化する。このように構成した場合においても、表示装置100(または表示装置100a)は、エッジ画像PEの補正を行うための演算量を低減することができる。
[第3の変形例]
上述の実施形態および各変形例においては、算出部14が、背景画像BGPの画像領域について、その画素値を算出したが、これに限られない。例えば、算出部14は、背景画像BGPに代えて、表示対象OBJの画像の画素値を算出してもよい。なお、上述した実施形態および各変形例と同一の構成については、同一の符号を付してその説明を省略する。
上述の実施形態および各変形例においては、算出部14が、背景画像BGPの画像領域について、その画素値を算出したが、これに限られない。例えば、算出部14は、背景画像BGPに代えて、表示対象OBJの画像の画素値を算出してもよい。なお、上述した実施形態および各変形例と同一の構成については、同一の符号を付してその説明を省略する。
具体的には、上述のステップS20において、算出部14は、ステップS10において取得した画像情報D11から、表示対象OBJの画像を示す情報(例えば、表示対象OBJの輪郭部の座標情報)を抽出する。例えば、算出部14は、既知の微分フィルタ(例えば、ラプラシアンフィルタ)を画像情報D11に施すことによって表示対象OBJの輪郭部の画像を抽出する。
次に、上述のステップS30において、算出部14は、表示対象OBJの輪郭部の内側の画素について、それらの画素の画素値の代表値(例えば、平均値)を算出する。これにより算出部14は、表示対象OBJの画像の動きに合わせて、表示対象OBJの画像の代表値を算出することができる。
次に、輪郭補正部13は、上述のステップS40〜ステップS70と同様にして、補正画像情報D12Cを生成し、生成した補正画像情報D12Cを第2表示部12に出力する。第2表示部12の第2表示面12Sは、このようにして輪郭補正部13によって補正された補正画像情報D12Cに基づく画像を表示する。また、第1表示部11の第1表示面11Sは、画像情報D11に基づく画像を表示する。このようにして、表示装置100は、表示対象OBJの立体像SIを表示する。このように構成した場合においても、表示装置100(または表示装置100a)は、エッジ画像PEの補正を行うための演算量を低減することができる。
なお、上記において、立体像SIの奥行き位置は、エッジ画像PEの明るさに応じて、距離La=0〜Lの間において変化するとしたが、これに限られない。立体像SIの奥行き位置は、エッジ画像PEの明るさに応じて、距離La=0〜Lの範囲外において変化する場合もありうる。すなわち、立体像SIの奥行き位置は、手前にある表示面よりも手前の奥行き位置の範囲、または奥にある表示面よりも奥の奥行き位置の範囲において変化する場合もありうる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
なお、上記の実施形態における表示装置100(または、表示装置100a。以下の説明において同じ。)が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、表示装置100が備える各部は、メモリおよびCPU(中央演算装置)により構成され、表示装置100が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、表示装置100が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
11…第1表示部、12…第2表示部、13…輪郭補正部、14…算出部、15…領域分割部、100…表示装置
Claims (9)
- 複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、
複数の画素を備え、前記第1画像が表示される奥行き位置とは異なる奥行き位置に、前記表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部と、
前記第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、前記表示対象の背景を示す背景画像の画素値を、前記背景画像を構成する画像領域毎に算出する算出部と、
前記算出部が前記画像領域毎にそれぞれ算出した前記背景画像の画素値と、前記第1表示部が備える複数の画素のうち前記表示対象の輪郭部を示す画素の画素値とに基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正部と
を備えることを特徴とする表示装置。 - 前記算出部は、
前記画像領域に含まれる画素の画素値の代表値を、前記画像領域の画素値として前記画像領域毎に算出し、
前記輪郭補正部は、
前記画像領域の画素値として前記算出部が算出した前記代表値と、前記第1表示部が備える複数の画素のうち前記表示対象の輪郭部を示す各画素の画素値とに基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する
ことを特徴とする請求項1に記載の表示装置。 - 前記背景画像とは、複数のフレームからなる動画像であって、
前記算出部は、
前記画像領域のうち、前記背景画像のフレーム間差分が所定のしきい値を超える画像領域について、前記代表値を算出する
ことを特徴とする請求項2に記載の表示装置。 - 1または複数の画像領域に前記背景画像を領域分割する領域分割部
を備え、
前記算出部は、
前記領域分割部が領域分割した前記画像領域毎に前記背景画像の画素値を算出する
ことを特徴とする請求項1から請求項3のいずれか一項に記載の表示装置。 - 前記領域分割部は、
前記背景画像に含まれる被写体の形状に基づいて、当該被写体毎に当該背景画像を領域分割する
ことを特徴とする請求項4に記載の表示装置。 - 前記領域分割部は、
前記背景画像の画素値に基づいて、類似する画素値を含む画像領域毎に当該背景画像を領域分割する
ことを特徴とする請求項4または請求項5に記載の表示装置。 - 前記領域分割部は、
前記背景画像が表示される奥行き位置を示すデプスマップに基づいて、所定の奥行き範囲に表示される画像領域毎に当該背景画像を領域分割する
ことを特徴とする請求項4から請求項6のいずれか一項に記載の表示装置。 - 複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、
複数の画素を備え、前記第1画像が表示される奥行き位置とは異なる奥行き位置に、前記表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部と、
前記第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、当該画像の輪郭部の内側の画像領域である第1領域と、当該画像の輪郭部の外側の画像領域である第2領域とのうち、いずれかの画像領域の画素値の代表値を算出する算出部と、
前記算出部が算出した前記代表値に基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正部と
を備えることを特徴とする表示装置。 - 複数の画素を備え、表示対象の画像を少なくとも含む第1画像を表示する第1表示部と、複数の画素を備え、前記第1画像が表示される奥行き位置とは異なる奥行き位置に、前記表示対象の輪郭部を示す輪郭画像を少なくとも含む第2画像を表示する第2表示部とを備える表示装置のコンピュータに、
前記第1表示部と前記第2表示部との少なくともいずれかが表示する画像であって、前記表示対象の背景を示す背景画像の画素値を、前記背景画像を構成する画像領域毎に算出する算出ステップと、
前記算出ステップにおいて前記画像領域毎にそれぞれ算出された前記背景画像の画素値と、前記第1表示部が備える複数の画素のうち前記表示対象の輪郭部を示す各画素の画素値とに基づいて、前記第1表示部が表示する前記表示対象の輪郭部を示す画素と、前記第2表示部が表示する前記第2画像に含まれる前記輪郭画像を示す画素とのうち少なくともいずれかの画素の画素値を補正する輪郭補正ステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013017971A JP2014150402A (ja) | 2013-01-31 | 2013-01-31 | 表示装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013017971A JP2014150402A (ja) | 2013-01-31 | 2013-01-31 | 表示装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014150402A true JP2014150402A (ja) | 2014-08-21 |
Family
ID=51573058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013017971A Pending JP2014150402A (ja) | 2013-01-31 | 2013-01-31 | 表示装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014150402A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018537731A (ja) * | 2015-10-26 | 2018-12-20 | コン リアン | 没入型ディスプレイエンクロージャ |
US10616569B2 (en) | 2015-01-30 | 2020-04-07 | Mitsubishi Electric Corporation | Image processing apparatus, image display apparatus, and image processing method |
CN111045213A (zh) * | 2020-01-02 | 2020-04-21 | 京东方科技集团股份有限公司 | 一种光场显示装置及其显示方法 |
-
2013
- 2013-01-31 JP JP2013017971A patent/JP2014150402A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10616569B2 (en) | 2015-01-30 | 2020-04-07 | Mitsubishi Electric Corporation | Image processing apparatus, image display apparatus, and image processing method |
JP2018537731A (ja) * | 2015-10-26 | 2018-12-20 | コン リアン | 没入型ディスプレイエンクロージャ |
CN111045213A (zh) * | 2020-01-02 | 2020-04-21 | 京东方科技集团股份有限公司 | 一种光场显示装置及其显示方法 |
CN111045213B (zh) * | 2020-01-02 | 2022-06-07 | 京东方科技集团股份有限公司 | 一种光场显示装置及其显示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6443654B2 (ja) | 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム | |
CN109495734B (zh) | 用于自动立体三维显示器的图像处理方法和设备 | |
US9280951B2 (en) | Stereoscopic image display device, image processing device, and stereoscopic image processing method | |
JP5366547B2 (ja) | 立体視表示装置 | |
KR101732836B1 (ko) | 셰이더 기반의 그래픽스 콘텐츠에 대한 뷰잉 배향에 의한 입체 변환 | |
US20160284132A1 (en) | Apparatus and method for providing augmented reality-based realistic experience | |
US9710955B2 (en) | Image processing device, image processing method, and program for correcting depth image based on positional information | |
KR101675961B1 (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
EP3350989B1 (en) | 3d display apparatus and control method thereof | |
US20170324944A1 (en) | Video display apparatus, video display system, and video display method | |
RU2562759C2 (ru) | Морфологическое сглаживание (мс) при повторном проецировании двухмерного изображения | |
US9467685B2 (en) | Enhancing the coupled zone of a stereoscopic display | |
US9681122B2 (en) | Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort | |
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
US11310487B1 (en) | Frustum change in projection stereo rendering | |
US8619094B2 (en) | Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image | |
TW201408352A (zh) | 娛樂顯示系統及其互動式立體顯示方法 | |
JP2014150402A (ja) | 表示装置及びプログラム | |
WO2013031807A1 (ja) | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 | |
WO2014119555A1 (ja) | 画像処理装置、表示装置及びプログラム | |
JP2014150401A (ja) | 表示装置及びプログラム | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
US20150130910A1 (en) | Three-dimensional image display device and method of displaying three dimensional image | |
JP2014199289A (ja) | 表示装置及びプログラム | |
JP2013168781A (ja) | 表示装置 |