JP2015050482A - 画像処理装置、立体画像表示装置、画像処理方法およびプログラム - Google Patents
画像処理装置、立体画像表示装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2015050482A JP2015050482A JP2013178561A JP2013178561A JP2015050482A JP 2015050482 A JP2015050482 A JP 2015050482A JP 2013178561 A JP2013178561 A JP 2013178561A JP 2013178561 A JP2013178561 A JP 2013178561A JP 2015050482 A JP2015050482 A JP 2015050482A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic image
- unit
- division
- divisions
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
Abstract
【課題】ピクセルマッピングにより発生するボケや多重像の発生を抑制しつつ処理速度を向上する。【解決手段】実施形態にかかる立体画像表示装置は、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、を備える。【選択図】図1
Description
本発明の実施形態は、画像処理装置、立体画像表示装置、画像処理方法およびプログラムに関する。
近年、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置などの医用画像診断装置の分野では、3次元の医用画像(ボリュームデータ)を生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されておいる。そこで近年では、ボリュームデータを複数の視点からレンダリングして、立体画像表示装置に立体的に表示することが検討されている。
立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像(以下ではそれぞれの画像を視差画像とよぶ)を表示する。表示された視差画像の光線は、光学的開口部(例えばパララックスバリア、レンチキュラレンズなど)によって制御される。したがって、表示する画像は、光学的開口部を通して覗いた場合に意図した方向で意図した画像が観察されるようにピクセルが並びかえられたものである必要がある。この並べ替え方法を、以下ではピクセルマッピングと呼ぶ。
以上のように、光学的開口部とそれに合わせたピクセルマッピングとによって制御された光線は、視聴者の両眼に導かれる。その際、視聴者の観察位置が適切であれば、視聴者は、立体像を認識することができる。このように、視聴者が立体像を観察可能な領域を視域という。
ただし、視差画像を生成する際の視点数はあらかじめ決められているが、一般には、表示パネルのすべてのピクセルの輝度情報を決定するのに十分の数の視点が規定されているとは限らない。そのため、視差画像から輝度情報が決定されないピクセルについては、最も近い視点の視差画像の輝度情報を利用する方法や、近傍の視点の視差画像の輝度情報をもとに線形補間を行う方法などにより輝度値が決定される。
しかしながら、本来ない情報を補間処理により求める方法では、異なる視点の視差画像がブレンドされるため、本来1つであった画像のエッジ部分が2つ以上に重なって見えたり(以下、多重像という)、画像全体がぼけて見えたりするなどの現象が発生する場合がある。
たとえば、あらかじめ視点数を決めず、観察者の視点に基づいてサブピクセルとレンズとの組み合わせを求めたのち、それらの位置関係を基にサブピクセルからレンズを通して射出される光線の方向を求め、その光線の方向に忠実に3次元モデルをレンダリングする方法が考えられる。この方法では、補間処理が介在しないため、高画質な立体表示を行うことが可能になる。しかしながら、全てのサブピクセルに対して独立に光線方向の計算とレンダリングとを行うため、高解像度のパネルになるに従って計算コストが大きくなり、リアルタイムでのレンダリング処理が困難になる場合がある。
C. V. Berkel, "Image preparation for 3D-LCD," Proc. SPIE, Stereoscopic Displays and Virtual Reality Systems, vol. 3639, pp. 84-91, 1999.
以下の実施形態では、ピクセルマッピングにより発生するボケや多重像の発生を抑制しつつ処理速度を向上することが可能な画像処理装置、立体画像表示装置、画像処理方法およびプログラムを提供することを目的とする。
実施形態にかかる立体画像表示装置は、立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、を備える。
実施形態にかかる画像処理方法は、複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に、立体物の形状が表現されたモデルデータから生成された立体画像を表示する画像処理方法であって、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成し、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成し、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定することを含む。
実施形態にかかるプログラムは、複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成するようにコンピュータを動作させるためのプログラムであって、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割処理と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成処理と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価処理とを前記コンピュータに実行させる。
実施形態にかかる画像処理装置は、複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成する画像処理装置であって、異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、を備える。
以下、添付図面を参照しながら、例示する実施形態にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。
〔第1実施形態〕
まず、実施形態1にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。
まず、実施形態1にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。
(構成)
図1は、実施形態1にかかる立体画像表示装置の構成例を示すブロック図である。図1に示すように、立体画像表示装置1は、画像処理装置10と表示装置20とを備える。
図1は、実施形態1にかかる立体画像表示装置の構成例を示すブロック図である。図1に示すように、立体画像表示装置1は、画像処理装置10と表示装置20とを備える。
画像処理装置10は、クラスタリング処理部110と立体画像生成部120とモデルデータ取得部130と評価部140とを備える。図1に例示する各装置は、通信網を介して直接的又は間接的に通信することが可能である。また、各装置は、医用画像等を相互に送受信することが可能である。通信網の種類は任意である。たとえば、各装置は、病院内に設置されたLAN(Local Area Network)を介して、相互に通信可能であってもよい。また、例えば各装置は、インターネット等のネットワーク(クラウドを含む)を介して、相互に通信可能であってもよい。
クラスタリング処理部110は、分割部111とサブピクセル選択部112とを備える。クラスタリング処理部110では、光学的開口部によって制御された光線が似通った方向に射出されるサブピクセルを1つのまとまり(以下ではサブピクセルグループという)として選択する処理を行う。分割部111は、決められた分割数にしたがって、サブピクセルグループに対応するパネル上での範囲を示すパラメータ(以下では範囲パラメータという)を算出する。サブピクセル選択部112は、範囲パラメータに基づき、サブピクセルを選択する。
評価部140は、モデルデータの特徴を表す第2のモデルデータ(以下では評価用モデルデータという)を生成し、評価用の立体画像を生成する際の分割数(以下では評価対象分割数という)をクラスタリング処理部110に送信する。また、評価部140は、生成した評価用モデルデータを立体画像生成部120に送信する。さらに、評価部140は、立体画像生成部120で生成された1つ以上の立体画像を取得し、それらのうち基準となる立体画像とその他の立体画像との間の類似度を評価することで、クラスタリング処理部110で用いるべき分割数を決定する。
画像処理装置10は、代表光線算出部121と輝度算出部122とサブピクセル輝度算出部123とを備える。代表光線算出部121は、サブピクセルグループを代表する光線の方向(以下では代表光線方向という)を算出する。輝度算出部122は、代表光線方向に基づいて光線の始点位置と方向ベクトル(以下光線情報)とを算出し、モデルデータと光線情報とから各サブピクセルの輝度値を算出する。サブピクセル輝度算出部123は、算出した輝度値を元に対応するサブピクセルグループ内の各サブピクセルの輝度値を算出して立体画像を生成する。生成された立体画像は、表示装置20に入力されて表示される。これにより、観察者に立体像が表示される。なお、本説明におけるモデルデータは、3次元の医用画像データとして用いられることが多いボリュームデータとする。
つぎに、図1に示す各部(装置)について、より具体的に説明する。
・表示装置
図2は、図1における表示装置の概略構成例を示す正面図である。図3は、図2に示す表示装置の光学的開口と表示素子との関係を示す図である。なお、以下の説明において、観察者が表示装置20によって表示された立体画像を立体視可能な範囲(領域)を視域という。
図2は、図1における表示装置の概略構成例を示す正面図である。図3は、図2に示す表示装置の光学的開口と表示素子との関係を示す図である。なお、以下の説明において、観察者が表示装置20によって表示された立体画像を立体視可能な範囲(領域)を視域という。
図2および図3に示すように、表示装置20は、実空間上において、複数の画素22がマトリクス状に2次元配列した表示素子(以下、パネルという)21と、パネル21の前面(観察者側)に配置された光学的開口部23とを備える。観察者は、光学的開口部(開口制御部ともいう)23を介して表示素子(パネル)21を観察することで、表示装置20に表示された立体画像を視認する。なお、以下の説明では、パネル表示面(ディスプレイ面ともいう)の中心を原点とし、ディスプレイ面の水平方向をX軸、ディスプレイ面の鉛直方向をY軸、ディスプレイ面の法線方向をZ軸とする。この場合、高さ方向とはY軸方向を指す。ただし、実空間に対する座標系の設定方法は、これに限定されるものではない。
パネル21は、立体画像を立体視可能に表示する。パネル21としては、直視型2次元ディスプレイ、たとえば有機EL(Organic Electro Luminescence)、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投影型ディスプレイなどを用いることができる。
画素22は、たとえばRGB各色のサブピクセルを1つずつ含むまとまりを1単位としている。1つの画素22内に含まれるRGB各色のサブピクセルは、たとえばX軸に沿って配列している。ただし、これに限定されるものではなく、たとえば4色のサブピクセルを1画素としたり、RGB各色の内たとえばB成分のサブピクセルを2つ含むまとまりを1画素としたりなど、種々変形することができる。
光学的開口部23は、パネル21の各画素22からその前方(−Z方向)に向けて発散される光線を、開口部を介して所定方向に向けて出射させる。光学的開口部23には、たとえばレンチキュラレンズやパララックスバリアなどの光学素子を適用することができる。たとえばレンチキュラレンズは、微細な細長いシリンドリカルレンズが短手方向に複数配列した構成を備える。
図3に示すように、表示装置20の視域内に存在する観察者は、光学的開口部23を介することで、たとえばパネル21中の画素22の内、G成分のサブピクセルを右目R1で観察し、B成分のサブピクセルを左目L1で観察することになる。そこで、図2に示すように、光学的開口部23は、これを構成する各光学素子の延在方向がパネル21(たとえばY軸方向)に対して所定角度(たとえばθ)傾斜するように構成される。表示装置20は、この傾きによって生じる光線方向の変化に基づいて各サブピクセルの画素値が算出された立体画像を表示することで、観察者に画像を立体視させることができる。
・画像処理装置
つづいて、図1における画像処理装置10の各部の構成について、図面を参照して詳細に説明する。
つづいて、図1における画像処理装置10の各部の構成について、図面を参照して詳細に説明する。
・・モデルデータ取得部
画像処理装置10におけるモデルデータ取得部130は、外部からモデルデータを取得する。外部としては、たとえばハードディスクやCD(Compact Disc)などの記憶メディアに限らず、通信網で接続されたサーバなどが含まれてよい。また、モデルデータとしては、ボリュームデータや境界表現モデルなどが挙げられる。
画像処理装置10におけるモデルデータ取得部130は、外部からモデルデータを取得する。外部としては、たとえばハードディスクやCD(Compact Disc)などの記憶メディアに限らず、通信網で接続されたサーバなどが含まれてよい。また、モデルデータとしては、ボリュームデータや境界表現モデルなどが挙げられる。
モデルデータ取得部130と通信網を介して接続されるサーバとしては、たとえば医用画像診断装置などが挙げられる。医用画像診断装置は、3次元の医用画像データ(ボリュームデータ)を生成可能な装置である。医用画像診断装置としては、たとえばX線診断装置、X線CT装置、MRI装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission Computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、またはこれらの装置群等が挙げられる。
医用画像診断装置は、被検体を撮影することによりボリュームデータを生成する。たとえば、医用画像診断装置は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数(例えば300〜500枚)のスライス画像(断面画像)を再構成することで、ボリュームデータを生成する。つまり、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。また、医用画像診断装置により撮影された被検体の投影データやMR信号等自体をボリュームデータとしてもよい。また、医用画像診断装置により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体の画像(以下、オブジェクトと呼ぶ)が含まれてもよい。さらに、ボリュームデータは、等値面を多角形のポリゴンや曲面などの幾何的要素の集合で表現したデータを含んでもよい。
・・クラスタリング処理部
つづいて、画像処理装置10におけるクラスタリング処理部110の各部について説明する。
つづいて、画像処理装置10におけるクラスタリング処理部110の各部について説明する。
・・・分割部
分割部111は、評価部140より与えられた分割数に基づいてパネル21上で同一のサブピクセルグループとなる範囲(量子化単位領域)を定義する。具体的には、3Dピクセル領域内を分割数Dnに基づいて分割した領域のX軸方向の幅Tdを算出する。分割数の初期値は、任意の自然数であってよい。たとえば、あらかじめ決められた最大の分割数を分割数の初期値とすることができる。
分割部111は、評価部140より与えられた分割数に基づいてパネル21上で同一のサブピクセルグループとなる範囲(量子化単位領域)を定義する。具体的には、3Dピクセル領域内を分割数Dnに基づいて分割した領域のX軸方向の幅Tdを算出する。分割数の初期値は、任意の自然数であってよい。たとえば、あらかじめ決められた最大の分割数を分割数の初期値とすることができる。
ここで、3Dピクセル領域について説明する。図4は、3Dピクセル領域を説明するための図である。図4に示すように、3Dピクセル領域40とは、光学的開口部23の延伸方向に対してX軸を基準とした場合の水平幅Xnおよび垂直幅Ynの領域である。各3Dピクセル領域40は、光学的開口部23の延伸方向と平行な方向に分割線41ができるように、Dn個の領域(量子化単位領域)に分割される。たとえば分割数Dn=8の場合、7本の分割線41が定義される。各分割線41は、3Dピクセル領域40の境界線のうちY軸方向の成分を持った側辺40cおよび40dと平行である。また、隣り合う分割線41は、等間隔となるように配列される。隣り合う分割線41の間隔Tdは、たとえば以下の式(1)で求めることができる。なお、間隔Tdは、X軸と平行な方向における長さである。
ここで、1つの分割線41は、3Dピクセル領域40のX座標が小さい側の境界線である側辺40cからの距離が一定である。これは、すべての分割線41に関して同じである。そのため、各分割線41上を介して射出される光の光線方向は、同一の方向となる。そこで、以下の説明では、3Dピクセル領域40の側辺40cまたは40dと、これに隣接する分割線41と、3Dピクセル領域40のX軸方向に平行な境界線(以下、上辺40aおよび下辺40bという)とで囲まれた領域42、ならびに、隣接する2つ分割線41と3Dピクセル領域40の上辺40aおよび下辺40bとで囲まれた領域42を、それぞれサブピクセルグループを構成する際の単位とし、これを量子化単位領域と称する。算出された量子化単位領域42の情報は、サブピクセルグループに対応するパネル上での範囲を示す範囲パラメータとしてサブピクセル選択部112に入力される。
なお、3Dピクセル領域40を区画した結果、パネル21の左端や右端に3Dピクセル領域1つ分を構成するには不十分な大きさの領域が余る場合がある。その場合、この余り部分については、例えば横方向に隣接する3Dピクセル領域40の一部を構成するものとみなし、この拡張された3Dピクセル領域40の拡張部分(余り部分)がパネル21の外側にはみ出るように3Dピクセル領域40を定義して、他の3Dピクセル領域40と同様に処理してもよい。また、その他の方法として、余り部分については黒や白などの単色を設定することにしてもよい。
また、図4中では、水平幅Xnを、光学的開口部23を構成する個々の光学素子(以下、レンズまたはバリアという)のX軸方向に沿った幅と同じとしたが、必ずしも同じである必要はない。さらに、上述の式(1)では、間隔Tdを常に一定としたが、必ずしも一定である必要はない。たとえば、3Dピクセル領域40の上辺40aまたは下辺40bに近いほど間隔Tdが大きくし、遠ざかるほど、すなわち3Dピクセル領域40の中心に近いほど、間隔Tdが小さくなるように構成してもよい。
さらに、図4には、光学的開口部23を構成する個々のレンズ(バリア)の境界とパネル21の左上隅とが一致している場合を例示しているが、これらがずれている場合も考えられる。そのような場合には、各3Dピクセル領域40が定義される位置を同様の量だけずらせばよい。3Dピクセル領域40の位置シフトによって左端や右端に発生する余り領域ついては、前述した処理と同様に、隣接する3Dピクセル領域40を拡張して考える方法や、生じた余り部分に単色を設定する方法などを適用することができる。
・・・サブピクセル選択部
サブピクセル選択部112は、入力された範囲パラメータで示される量子化単位領域42に基づいて、それぞれの光線方向を同一方向と見なす1つ以上のサブピクセルを選定し、これらを1つのサブピクセルグループとしてグループ化する。具体的には、図5に示すように、ある量子化単位領域42について、代表点がこの量子化単位領域42に含まれるサブピクセルを全て選択する。代表点とは、たとえば各サブピクセルの左上隅や中心など、予め定められた位置であってよい。なお、図5では、各サブピクセルの左上隅を代表点とした場合を例示している。
サブピクセル選択部112は、入力された範囲パラメータで示される量子化単位領域42に基づいて、それぞれの光線方向を同一方向と見なす1つ以上のサブピクセルを選定し、これらを1つのサブピクセルグループとしてグループ化する。具体的には、図5に示すように、ある量子化単位領域42について、代表点がこの量子化単位領域42に含まれるサブピクセルを全て選択する。代表点とは、たとえば各サブピクセルの左上隅や中心など、予め定められた位置であってよい。なお、図5では、各サブピクセルの左上隅を代表点とした場合を例示している。
サブピクセルを選択する際、サブピクセル選択部112は、この量子化単位領域42の垂直幅Ynの範囲内に属するY座標Ytそれぞれに関して、量子化単位領域42の側辺40cのX座標Xtを求める。このX座標Xtから間隔Tdの範囲(Xt+Td)内に代表点が含まれている全てのサブピクセルが、グループ化の対象となるサブピクセルである。したがって、たとえばX座標Xtがサブピクセル単位で定義されている場合、Xt+Tdの範囲内に含まれる整数値が、選択されるサブピクセルのX座標となる。たとえば、Xt=1.2、Td=2、Yt=3の場合、選択されるサブピクセルの座標は(2,3)および(3,3)の2つとなる。サブピクセル選択部112は、このような選択を垂直幅Ynの範囲内のすべてのY座標Ytについて行うことで、各量子化単位領域42に関して、それぞれに代表点が属する全てのサブピクセルを選定し、これらを量子化単位領域42に対応するサブピクセルグループとする。
・・立体画像生成部
つづいて、画像処理装置10における立体画像生成部120の各部について説明する。
つづいて、画像処理装置10における立体画像生成部120の各部について説明する。
・・・代表光線算出部
代表光線算出部121は、各サブピクセルグループに属する各サブピクセルの光線番号を算出する。また、代表光線算出部121は、算出した各サブピクセルの光線番号からサブピクセルグループごとに1つの代表光線番号を算出し、算出した代表光線番号をもとに代表光線情報を算出する。
代表光線算出部121は、各サブピクセルグループに属する各サブピクセルの光線番号を算出する。また、代表光線算出部121は、算出した各サブピクセルの光線番号からサブピクセルグループごとに1つの代表光線番号を算出し、算出した代表光線番号をもとに代表光線情報を算出する。
ここで、光線番号とは、パネル21の各サブピクセルから射出される光線が、光学的開口部23を介して指し示す方向であり、表示装置20が設計された段階で決定されるものである。この光線番号は、たとえば、基準視点数をNとし、光学的開口部23の延伸方向に対してX軸を基準とした3Dピクセル領域40(水平幅Xnおよび垂直幅Ynの領域)を定義し、その3Dピクセル領域40の負側の側辺40cに対応する位置から射出される光が飛ぶ方向を‘0’とし、その側辺40cからXn/Nだけ離れた位置から射出される光が飛ぶ方向を‘1’というように、順に定義することで算出することができる。その結果、各サブピクセルから射出された光の光線に対して、それぞれが光学的開口部23を介して指し示す方向を表す番号が光線番号として与えられる。なお、予め設定される複数の基準視点は、パネル21の中心Oを通る垂線と垂直に交わり、且つ、X軸方向と平行な線上に、たとえば等間隔に配列しているものとする。
ただし、光学的開口部23の構成要素である各光学素子のX軸方向に沿った幅と水平幅Xnとが一致していない場合、光線方向を表す光線番号は、同一の3Dピクセル領域40内でのみの通し番号となる。すなわち、ある3Dピクセル領域40の光線番号は、他の3Dピクセル領域40における同じ光線番号とは同一の方向とならない。しかしながら、同様の光線番号を1つの集合にまとめた場合、各集合に属する光線番号に対応する光線は、集合毎に異なる点(以下、集光点という)で集光することになる。つまり、ある点で集光する光線同士は同じ光線番号を持ち、これとは異なる光線番号の集合に属する光線同士は、上記集光点とは異なる同一の集光点に集光する。
一方、光学的開口部23の構成要素である各光学素子のX軸方向に沿った幅と水平幅Xnとが一致する場合、同じ光線番号を持つ光線同士は平行光線に限りなく近くなる。そのため、全ての3Dピクセル領域40における同一の光線番号の光線が同一の方向を差すことになる。また、このときの各集合に属する光線番号に対応する光線の集光点は、パネル21から無限遠の位置に存在することになる。
また、基準視点とは、レンダリングしたい空間(以下、レンダリング空間という)に対して一定の間隔で定義された複数の視点(コンピュータグラフィクス分野ではカメラと称される場合がある)である。複数の基準視点と光線番号とを対応付ける方法としては、たとえば、パネル21と向かい合わせで考えた場合に最も右にある視点から順に小さい光線番号を対応付ければよい。この場合、最も右に位置する基準視点に光線番号‘0’が対応づけられ、その次に右側に存在する基準視点に光線番号‘1’が対応づけられることになる。
図6は、パネル(レンダリング空間)に対して水平方向(X軸方向)に配列する基準視点のうち最も右にある基準視点から順に小さい光線番号を対応付けた場合のパネルと視点との水平方向の位置関係を示す図である。図6に示すように、パネル21(レンダリング空間24)に対して#0〜#3の4つの基準視点30を設定した場合、最も右に位置する基準視点#0から順に、整数の光線番号‘0’〜‘3’を対応付ける。隣接する基準視点30間の間隔を大きくするほど視差が大きくなり、それにより、観察者に対してより立体感のある立体画像を表示することができる。つまり、基準視点#0〜#3の間隔を調整することで、立体画像の飛び出し量を制御することが可能である。
ここで、サブピクセルグループに含まれるn個のサブピクセルの光線番号をそれぞれv1〜vnとした場合、代表光線番号v’は例えば、以下の式(2)で求めることができる。式(2)において、v1〜vnはサブピクセルグループ内の各サブピクセルの光線番号を示し、nはサブピクセルグループに属するサブピクセルの数を示す。
ただし、各量子化単位領域42の代表光線番号の求め方は、上記式(2)を用いた方法に限定されない。たとえば、上記式(2)を用いる方法のような、光線番号の中央値を代表光線番号とするという単純な平均を用いる代わりに、重み付き平均を用いて決定するなど、種々の方法が考えられる。重み付け平均を用いる場合、その重みは、たとえばサブピクセルの色成分の種類によって予め決定されていてもよい。その際、一般にはG成分の視感度が高いため、G成分を表すサブピクセルの光線番号の重みを大きくしてもよい。
つづいて、代表光線情報の算出手順を、図7〜図9を用いて詳細に説明する。図7は、レンダリング空間と代表光線の始点位置(視点)および終点位置(基準点)との水平方向(レンダリング空間の幅方向)における位置関係を示す図である。また、図8は、レンダリング空間と代表光線の始点位置(視点)および終点位置(基準点)との垂直方向(レンダリング空間の高さ方向)における位置関係を示す図である。図9は、パネルの中心と3Dピクセル領域の基準点との位置関係を示す図である。なお、以下の説明では、簡略化のため、レンダリング空間24の幅Wwおよびパネル21の幅、ならびに、レンダリング空間24の高さWhおよびパネル21の高さが、それぞれ一致する場合を例に挙げる。その場合、パネル21の中心Oと、レンダリング空間24の中心Oとは、一致する。また、図9に示す例では、3Dピクセル領域40の基準点25が、たとえば3Dピクセル領域40の左上隅に設定されているものとする。
代表光線番号の算出では、まず、代表光線番号から光線の始点位置を算出する。代表光線番号が整数の場合、基準視点をそのまま採用し、代表光線番号が少数値を持つ場合、代表光線番号に対応する視点位置(図7および図8中の視点31の位置)を近傍の基準視点30から線形補間により算出する。図7に示す例では、光線番号‘2’に対応する基準視点#2の位置と光線番号‘3’に対応する基準視点#3の位置とに対して線形補間を行うことで、代表光線番号#2.5に対応する視点31の水平方向の位置が算出される。なお、図8に示すように、基準視点30の垂直方向の位置、すなわちパネル21から各視点30までの垂直方向の距離は同等であるため、視点31の垂直方向の位置は、基準視点30の垂直方向の位置をそのまま用いることができる。
次に、図9に示すように、パネル21の中心Oから計算対象の3Dピクセル領域40の左端までのベクトルDv=(Dx,Dy)を求める。つづいて、3Dピクセル領域40の左端がレンダリング空間24のどの位置にあるかを表すベクトルDv’=(Dx’,Dy’)を求める。これは、ベクトルDvのX成分をパネルの横幅で、Y成分をパネルの縦幅で、それぞれ正規化し、その後、レンダリング空間24の横幅Wwと縦幅Whとをそれぞれ乗算することで求めることができる。その結果得られた位置が代表光線の終点位置となり、これにより、始点位置と終点位置から代表光線の方向ベクトルを求めることができる。
以上の処理により、各量子化単位領域42の代表光線番号に対応する代表光線情報を算出することができる。
なお、上述した代表光線情報の算出手順は、透視投影に基づくものであるが、本実施形態はそれに限るものではなく、たとえば平行投影を用いることも可能である。その場合、代表光線の始点位置にベクトルDv’が加算される。また、平行投影と透視投影とを組み合わせることも可能である。その場合、ベクトルDv’の成分のうち透視投影としたい成分(X成分またはY成分)を代表光線の始点位置に加算すればよい。
また、前述した例では、レンズ(またはバリア)の1つ1つを光学的開口部23としたが、それに限定されるものではなく、複数のレンズ(またはバリア)をまとめて1つの仮想的なレンズ(またはバリア)とし、この仮想的な1つのレンズ(またはバリア)を光学的開口部23として扱ってもよい。この場合でも、上述と同様の処理を行うことが可能である。
さらに、上述では、3Dピクセル領域40の左端を基準としたが、それに限定されるものではなく、3Dピクセル領域40の左端と右端との位置座標の平均により求められる中心などを、3Dピクセル領域40を代表する点としてもよい。
さらにまた、パネル21の中心とレンダリング空間24の中心O(0,0,0)とが対応する場合を例に説明したが、これらがずれている場合でも、適切な座標変換を行うことで同様に処理することが可能である。さらにまた、パネル21の横幅およびレンダリング空間24の幅Ww、ならびに、パネル21の縦幅およびレンダリング空間24の高さWhがそれぞれ一致する場合を例示したが、これに限られるものではなく、適切な座標変換を行うことで同様に処理することが可能である。さらにまた、代表光線番号が少数値を持つ場合には線形補間によって代表光線の始点位置を求めたが、補間方法はこれに限るものではなく、他の関数が用いられてもよい。たとえば、シグモイド関数のように線形ではない関数を用いることも可能である。
・・・輝度算出部
輝度算出部122は、代表光線算出部121で算出された代表光線情報と、モデルデータ取得部130が取得したボリュームデータとから、量子化単位領域42ごとの輝度値を算出する。輝度値の算出方法としては、コンピュータグラフィクスの分野で広く知られているレイキャスティングやレイトレーシングなどの手法を用いることができる。レイキャスティングとは、視点から光線を追跡し、光線と物体の交点における色情報を積算することでレンダリングを行う方法である。レイトレーシングとは、レイキャスティングの手法においてさらに反射光を考慮する手法である。これらは一般的な手法であるため、ここでは詳細な説明を省略する。なお、本実施形態ではモデルデータとしてボリュームデータを用いたが、これに限定されるものではなく、境界表現モデルなどコンピュータグラフィクス分野で一般的なその他のモデルも同様に用いることが可能である。その場合にも、同様にレイキャスティングやレイトレーシングを用いてレンダリングを行うことができる。
輝度算出部122は、代表光線算出部121で算出された代表光線情報と、モデルデータ取得部130が取得したボリュームデータとから、量子化単位領域42ごとの輝度値を算出する。輝度値の算出方法としては、コンピュータグラフィクスの分野で広く知られているレイキャスティングやレイトレーシングなどの手法を用いることができる。レイキャスティングとは、視点から光線を追跡し、光線と物体の交点における色情報を積算することでレンダリングを行う方法である。レイトレーシングとは、レイキャスティングの手法においてさらに反射光を考慮する手法である。これらは一般的な手法であるため、ここでは詳細な説明を省略する。なお、本実施形態ではモデルデータとしてボリュームデータを用いたが、これに限定されるものではなく、境界表現モデルなどコンピュータグラフィクス分野で一般的なその他のモデルも同様に用いることが可能である。その場合にも、同様にレイキャスティングやレイトレーシングを用いてレンダリングを行うことができる。
・・・サブピクセル輝度算出部
サブピクセル輝度算出部123は、輝度算出部122で算出された量子化単位領域42ごとの輝度値に基づいて、各量子化単位領域42に対応するサブピクセルグループ内の各サブピクセルの輝度値を決定する。具体的には、図10に示すように、各量子化単位領域42に対して輝度算出部122が算出した輝度値の色成分41r、41gおよび41bで、サブピクセルグループ内の各サブピクセル43r1、43r2、43g1、43g2および43b1の値を置き換える。たとえば、サブピクセルグループ内のサブピクセル43g1および43g2がG成分を表現するものである場合、輝度算出部122で算出された輝度値のG成分41gをそのサブピクセル43g1および43g2のG成分とする。このような処理を全ての量子化単位領域42に対して実行することで、立体画像が生成される。
サブピクセル輝度算出部123は、輝度算出部122で算出された量子化単位領域42ごとの輝度値に基づいて、各量子化単位領域42に対応するサブピクセルグループ内の各サブピクセルの輝度値を決定する。具体的には、図10に示すように、各量子化単位領域42に対して輝度算出部122が算出した輝度値の色成分41r、41gおよび41bで、サブピクセルグループ内の各サブピクセル43r1、43r2、43g1、43g2および43b1の値を置き換える。たとえば、サブピクセルグループ内のサブピクセル43g1および43g2がG成分を表現するものである場合、輝度算出部122で算出された輝度値のG成分41gをそのサブピクセル43g1および43g2のG成分とする。このような処理を全ての量子化単位領域42に対して実行することで、立体画像が生成される。
・・評価部
つぎに、画像処理装置10における評価部140について説明する。図1に示したように、評価部140は、解析用モデルデータ生成部141と、類似度評価部142とを備える。
つぎに、画像処理装置10における評価部140について説明する。図1に示したように、評価部140は、解析用モデルデータ生成部141と、類似度評価部142とを備える。
・・・解析用モデルデータ生成部
解析用モデルデータ生成部141は、モデルデータ取得部130が取得したモデルデータを周波数解析することで、代表的な周波数を決定し、その周波数に対応する評価用モデルデータを生成する。また、解析用モデルデータ生成部141は、生成した評価用モデルデータを立体画像生成部120とクラスタリング処理部110とへそれぞれ送信する。
解析用モデルデータ生成部141は、モデルデータ取得部130が取得したモデルデータを周波数解析することで、代表的な周波数を決定し、その周波数に対応する評価用モデルデータを生成する。また、解析用モデルデータ生成部141は、生成した評価用モデルデータを立体画像生成部120とクラスタリング処理部110とへそれぞれ送信する。
・・・類似度評価部
類似度評価部142は、立体画像生成部120が評価用モデルデータから生成した分割数ごとの立体画像を受信し、それらのうち基準となる立体画像とその他の立体画像との間の類似度をそれぞれ評価することで、クラスタリング処理部110で用いるべき分割数(最適な分割数ともいう)を決定する。決定された分割数は、クラスタリング処理部110の分割部111に入力され、クラスタリング処理部110において表示装置20に表示させる立体画像を生成する際に用いられる。なお、基準となる立体画像は、たとえば最大の分割数を用いて生成した立体画像であってよい。
類似度評価部142は、立体画像生成部120が評価用モデルデータから生成した分割数ごとの立体画像を受信し、それらのうち基準となる立体画像とその他の立体画像との間の類似度をそれぞれ評価することで、クラスタリング処理部110で用いるべき分割数(最適な分割数ともいう)を決定する。決定された分割数は、クラスタリング処理部110の分割部111に入力され、クラスタリング処理部110において表示装置20に表示させる立体画像を生成する際に用いられる。なお、基準となる立体画像は、たとえば最大の分割数を用いて生成した立体画像であってよい。
(動作)
つぎに、実施形態1にかかる画像処理装置10の動作について、図面を参照して詳細に説明する。図11は、画像処理装置の全体動作例を示すフローチャートである。図11に示すように、画像処理装置10は、モデルデータ取得部130によって新たなモデルデータが取得されたか否かを判定し(ステップS101)、新たなモデルデータが取得されている場合(ステップS101;YES)、新たなモデルデータを解析用モデルデータ生成部141に入力して、ステップS102へ進む。一方、新たなモデルデータが取得されていない場合(ステップS101;NO)、画像処理装置10は、ステップS109へ進む。なお、モデルデータ取得部130によって取得されたモデルデータは、不図示の記憶部等に保存されていてもよい。
つぎに、実施形態1にかかる画像処理装置10の動作について、図面を参照して詳細に説明する。図11は、画像処理装置の全体動作例を示すフローチャートである。図11に示すように、画像処理装置10は、モデルデータ取得部130によって新たなモデルデータが取得されたか否かを判定し(ステップS101)、新たなモデルデータが取得されている場合(ステップS101;YES)、新たなモデルデータを解析用モデルデータ生成部141に入力して、ステップS102へ進む。一方、新たなモデルデータが取得されていない場合(ステップS101;NO)、画像処理装置10は、ステップS109へ進む。なお、モデルデータ取得部130によって取得されたモデルデータは、不図示の記憶部等に保存されていてもよい。
ステップS102では、解析用モデルデータ生成部141は、入力された新たなモデルデータから評価用モデルデータを生成する。具体的には、解析用モデルデータ生成部141は、新たなモデルデータに対して周波数解析を行い、代表的な周波数である代表周波数を決定する。代表周波数は、たとえば、周波数解析によって得られた周波数成分のうち、最も高い周波数成分であってよい。つぎに、解析用モデルデータ生成部141は、代表周波数に対応して正弦波を持つ評価用モデルデータ(正弦波モデルデータともいう)を生成する。これは、たとえばモデルデータがボリュームデータの場合、3軸あるうちの1軸を固定し、それ以外の2軸で構成される2次元濃度データに対して、輝度変動が正弦波の形になるように濃度値を与えることで生成可能である。その後、解析用モデルデータ生成部141は、生成された評価用モデルデータを立体画像生成部120に入力するとともに、評価用モデルデータのレンダリングに用いる分割数である複数の評価対象分割数をクラスタリング処理部110に入力する。
クラスタリング処理部110の分割部111は、入力された複数の評価対象分割数のうち最大の分割数を立体画像生成に用いる分割数dとして選択する(ステップS103)。その後、画像処理装置10は、分割部111によって選択された分割数dを用いて、評価用モデルデータに対する立体画像の生成処理を実行する(ステップS104)。なお、ステップS104の詳細については、以下に図12を用いて説明する。
分割数dを用いて評価用モデルデータに対する立体画像を生成すると、つぎに、画像処理装置10は、複数の評価対象分割数の全てに対してそれぞれ評価用モデルデータから立体画像を生成したか否かを判定し(ステップS105)、未だ立体画像の生成に用いていない評価対象分割数が残っている場合(ステップS105;NO)、分割部111は、分割数dを残っている評価対象分割数に更新し(ステップS106)、ステップS104へリターンする。一方、全ての評価対象分割数を用いて立体画像を生成済の場合(ステップS105;YES)、画像処理装置10は、ステップS107へ進む。
ここで、複数の評価対象分割数は、たとえば、1より大きな数の範囲で、あらかじめ決められた最大の分割数から一定量ずつ分割数を減少させていく手法により決定することができる。たとえば、最大の分割数を16とし、減少のステップを2とした場合、評価対象分割数は、16、14、12、10、8、6、4、2の8パターンとなる。その場合、上述したステップS104は8回繰り返される。その結果、評価用モデルデータに対して8種類の立体画像が生成される。
ステップS107では、類似度評価部142が、評価対象分割数の種類数分(ここでは8種類分)の立体画像に対して光学的な輝度混ざり込み(以下、クロストークという)シミュレーション(以下、クロストークシミュレーションという)を実行することで、クロストークが考慮された立体画像を生成する。ここでのクロストークシミュレーションとは、各サブピクセルをそれぞれの視差番号で表される方向から観察した場合に、観察しているサブピクセル以外のサブピクセルに由来する輝度が混ざり込んだ結果、観察対象のサブピクセルが本来持つ輝度情報とは異なる情報を持つサブピクセルとして観察されてしまう状態をシミュレートしたものである。このクロストークシミュレーションとしては、たとえば、あらかじめ各視差番号に対応するサブピクセルを点灯した状態で角度と輝度との関係を計測することでサブピクセル間でのクロストークの度合いを計測しておき、シミュレーション時にその値を混合比率とする重み付き線形和を算出する方法がある。
つぎに、類似度評価部142は、クロストークシミュレーション前の最大の分割数で生成された立体画像と、クロストークシミュレーション後の分割数ごとの立体画像との間で画像の類似度を評価する(ステップS108)。この類似度の評価は、より好適にはサブピクセル単位で行われる。類似度の算出には、たとえば画像の劣化度合いの評価指標として一般に用いられているPSNR(Peak Signal−to−Noise Ratio)を用いることができる。
つぎに、類似度評価部142は、分割数ごとの立体画像(シミュレーションあり)のうち、最大の分割数で生成された立体画像(シミュレーション無し)との類似度が予め決められた閾値以上で、かつ、分割数が最も小さい立体画像(シミュレーションあり)に対応づけられた分割数(評価対象分割数)d_minを選択する(ステップS109)。たとえば、前述の例において、類似度が予め決められた閾値以上となる立体画像(シミュレーション無し)に対応づけられた評価対象分割数が10、12、14および16である場合、ステップS108では、その中の最小分割数である10が分割数d_minとして選択される。選択された分割数d_minは、分割部111に入力される。
ステップS110では、画像処理装置10は、分割部111によって選択された分割数d_minを用いて、モデルデータに対する立体画像の生成処理を実行する。なお、ステップS110の詳細については、ステップS104の詳細とともに、以下に図12を用いて説明する。
つぎに、画像処理装置10は、ステップS110で生成された立体画像を表示装置20に入力することで、モデルデータから分割数d_minで生成された立体画像を表示装置20に表示させる(ステップS111)。その後、画像処理装置10は、図11に示す動作を週領してもよい。
以上の説明において、代表周波数の決定方法は、前述した方法に限るものではない。たとえば、最も周波数成分が多い周波数を代表周波数とする方法や、最も高周波なものに対して重みwを乗算したものを代表周波数とする方法や、「1mmのものが視認できるようにしたい」など観察者の要望から表現に必要な周波数を求めてそれを代表周波数とする方法などを適用することが可能である。
また、クロストークの度合いを計測する方法としては、上述した方法の他に、視差番号が一定の範囲に含まれる複数のサブピクセルを点灯させて計測し、計測された値を点灯したサブピクセルのクロストークの度合いとすることも可能である。さらに、類似度には、PSNR以外の画像処理の分野で一般的な種々の評価値を用いることが可能である。さらにまた、クロストークシミュレーションは、必須ではない。たとえば、クロストークの量が十分に小さいことが予め分かっているなど、クロストークの有無によって類似度の値の傾向があまり変化しない場合には、この処理を省略してもよい。
つぎに、図11のステップS104またはS110に示す立体画像生成処理について、図12を用いて詳細に説明する。図12は、図11のステップS104またはS110に示す立体画像生成処理の一例を示すフローチャートである。図12に示すように、分割数dまたはd_minを用いた評価用モデルデータまたはモデルデータに対する立体画像生成処理では、まず、クラスタリング処理部110の分割部111が、分割数dまたはd_minから決定される分割線41に従ってパネル21のディスプレイ面(パネル領域)を分割することで、複数の量子化単位領域(小領域ともいう)42を算出する(ステップS201)。具体的には、分割部111は、分割数dまたはd_minに応じて3Dピクセル領域40に対する分割線41を算出し、算出した分割線41に基づいて3Dピクセル領域40を区画することで、複数の量子化単位領域42を算出する。算出された複数の量子化単位領域42の情報は、範囲パラメータとしてサブピクセル選択部112に入力される。なお、算出の際の基準となる3Dピクセル領域40の定義は前述の通りであってよい。その際、3Dピクセル領域40は、各々の光学的開口部に対応して重なりが起きないように定義される。
つぎに、サブピクセル選択部112は、算出された量子化単位領域42の内、未選択の量子化単位領域42を1つ選択する(ステップS202)。量子化単位領域42の選択方法には、たとえばラウンドロビンなど、種々の方法を用いることができる。つづいて、サブピクセル選択部112は、選択した量子化単位領域42に代表点が含まれる全てのサブピクセルを選択し、これらをグループ化してサブピクセルグループを決定する(ステップS203)。決定された各量子化単位領域42に対するサブピクセルグループの情報は、立体画像生成部120に入力される。
つぎに、立体画像生成部120の代表光線算出部121が、選択された量子化単位領域42の代表光線番号を算出する(ステップS204)。この代表光線番号の算出方法は、前述の通りであってよい。
つぎに、代表光線算出部121は、算出した代表光線番号から代表光線に関する代表光線情報を算出する。具体的には、代表光線算出部121は、まず、算出された代表光線番号と、予め設定されている基準視点30の位置とから、選択中の量子化単位領域42に対する代表光線の始点位置(視点位置)を算出する(ステップS205)。つづいて、代表光線算出部121は、パネル21の中心Oから選択中の量子化単位領域42に対応する3Dピクセル領域40の基準点(たとえば左上隅)までのベクトルDvを算出する(ステップS206)。つづいて、代表光線算出部121は、パネル21に対して算出されたベクトルDvを、レンダリング空間24でのベクトルDv’=(Dx’,Dy’)に変換する(ステップS207)。すなわち、3Dピクセル領域40の基準点がレンダリング空間24のどの位置にあるかを表すベクトルDv’=(Dx’,Dy’)を求める。
ここで、上述したように、レンダリング空間24の幅Wwとパネル21の幅と、および、レンダリング空間24の高さWhとパネル21の高さとが、それぞれ一致し、パネル21の中心Oとレンダリング空間24の中心Oとが一致する。そのため、ベクトルDv’は、ベクトルDvのX座標をパネル21の横幅で正規化するとともに、ベクトルDvのY座標をパネル21の縦幅で正規化し、その後、レンダリング空間24の横幅Wwと縦幅Whとを正規化後のX座標およびY座標にそれぞれ乗算することで求めることができる。
つづいて、代表光線算出部121は、変換後のベクトルDv’から、代表光線の終点位置を算出し、算出した終点位置と、ステップS303で算出した始点位置とから、代表光線のベクトルを取得する。これにより、代表光線算出部121において、選択中の量子化単位領域42の代表光線番号に対応する代表光線情報が生成される(ステップS208)。なお、この代表光線情報には、代表光線の始点位置と終点位置とが含まれていてもよい。また、この始点位置と終点位置とは、レンダリング空間24における座標であってもよい。
また、ステップS208の処理は透視投影に相当するが、それに限るものではなく、たとえば平行投影を用いることも可能である。その場合、代表光線の始点位置にベクトルDv’が加算される。また、平行投影と透視投影を組み合わせることも可能である。その場合、ベクトルDv’の成分のうち透視投影とする成分のみを代表光線の始点位置に加算すればよい。
このように、代表校線情報を算出すると、つぎに、輝度算出部122が、代表光線情報とボリュームデータとから量子化単位領域42ごとの輝度値を算出する(ステップS209)。輝度値の算出方法は、上述したレイキャスティングやレイトレーシングなどの手法を用いてよい。
つぎに、サブピクセル輝度算出部123が、輝度算出部122で算出された量子化単位領域42ごとの輝度値に基づいて、選択中の量子化単位領域42に対応するサブピクセルグループ内の各サブピクセルの輝度値を決定する(ステップS210)。各サブピクセルに対する輝度値の決定方法は、上述において図10を用いて説明した方法と同様であってよい。
その後、立体画像生成部120は、全ての量子化単位領域42に対して上述の処理を完了したか否かを判定し(ステップS211)、完了していない場合(ステップS211;NO)、ステップS202へリターンし、以降の動作を全ての量子化単位領域42に対する処理が完了するまで実行する。一方、全ての量子化単位領域42に対する処理が完了している場合(ステップS211;YES)、サブピクセル輝度算出部123は、決定された輝度値を用いて立体画像を生成し(ステップS212)、その後、図11に示す動作へリターンする。
ここで、一般的に、3Dピクセル領域40は複数存在する。また、各3Dピクセル領域40は、さらに所定の分割数で分割される。そのため、実際の処理の単位である量子化単位領域42は、複数存在することになる。例えば、3Dピクセル領域40が100個、分割数が8である場合、100×8=800セットの量子化単位領域42が存在する。そのため、図12のS202〜S210は800回繰り返されることになる。つまり、実施形態1における計算量は表示装置20のサブピクセル数ではなく、3Dピクセル領域40の数と分割数とによって決定される。そのため、実施形態1では、計算量を任意に調整することが可能である。たとえば、表示装置20が10000個のサブピクセルを備えている場合、一般的な手法におけるレンダリング回数は、サブピクセル数と同様の10000回となる。一方、実施形態1では、レンダリングが量子化単位領域42あたり1回行われるため、800回のレンダリングで立体画像を生成することが可能である。また、実施形態1では、表示装置20のサブピクセル数が増加した場合でも、1つの量子化単位領域42に含まれるサブピクセル数が増加するが、レンダリング回数は変化しない。これは、ハードウェアを設計するために処理コストを見積もる上で好ましい特徴である。さらに、実施形態1における処理は、量子化単位領域42を単位として独立しているため、並列処理の効果が大きいことも特徴である。
なお、一般に3Dピクセル領域40は光学的開口部の設計によって予め決定される。そのため、実施形態1における計算量は、分割数によって調整することが可能である。たとえば分割数を小さくすれば量子化単位領域42のX軸方向の幅Tdが大きくなり、その結果、量子化単位領域42のセット数が減少するため、計算量が減少して処理速度が高速になる。一方、分割数を大きくした場合、量子化単位領域42のセット数が増加するため、視点の移動に対してより高画質の画像を表示することが可能となる。
このように、実施形態1では、分割数を調整することで処理速度と視点移動時の画質との関係を調整することが可能であり、非力なデバイスでは処理速度を優先するように調整し、パーソナルコンピュータなどの計算能力が潤沢なデバイスでは画質を優先するように調整するなど、柔軟な調整が可能である。
また、分割数を調整することで、視点が静止している場合の画質を調整することも可能である。3Dディスプレイにおいてある視点での画質を考えた場合、クロストークの程度はハードウェアの設計によって決定されるため、完全に無くすことは困難である。そこで、実施形態1において分割数を小さくした場合、近傍に射出される光線に同じ情報を持たせることが可能となるため、クロストークが映像ボケとして視認されず、結果として静止している場合の画質を向上させることが可能となる。つまり、実施形態1において、分割数の低減は光線計算能力が潤沢で処理速度に問題がない場合にも用いるメリットがある。このように、実施形態1では、静止時の画質と視点移動時の画質との関係を調整することも可能である。
以上のように、実施形態1によれば、処理のいずれのプロセスにおいても補間処理が介在していないため、視差画像を補間しながら立体画像を生成する従来の方法に比べて、観察者に高品質な立体像を提供することが可能となる。また、サブピクセル単位で処理しないため、デバイスの計算能力に応じて画質と処理速度とのバランスを調整することが可能である。さらに、そのバランスは表現したい周波数の画質によって決定されるため、常に所望の画質を保ったまま処理速度の高速化が可能である。
(実施形態1の変形例1)
実施形態1で例示した評価部140の動作のうち、図11のステップS102〜S108までの動作は、予め実行されてもよい。その場合、先行実行によって取得された類似度データは、所定の記憶領域に保存され、状況に応じて適用的に取り出される。以下に、実施形態1の変形例1にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを、図面を参照して詳細に説明する。
実施形態1で例示した評価部140の動作のうち、図11のステップS102〜S108までの動作は、予め実行されてもよい。その場合、先行実行によって取得された類似度データは、所定の記憶領域に保存され、状況に応じて適用的に取り出される。以下に、実施形態1の変形例1にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを、図面を参照して詳細に説明する。
図13は、変形例1にかかる立体画像表示装置の構成例を示すブロック図である。図13に示すように、変形例1にかかる立体画像表示装置1Aは、図1に示す立体画像表示装置1と同様の構成において、評価部140が解析用モデルデータ生成部141が省略された評価部140Aに置き換えられるとともに、類似度データ取得部150をさらに備える。
・類似度データ取得部
類似度データ取得部150は、予め決められた幅で、周波数ごとに記憶されている類似度データを取得する。類似度データは、代表周波数を一定間間隔で変化させながら、図11のステップS102〜S108の処理を行うことで得られる類似度を代表周波数ごとにまとめたものである。周波数ごとに評価対象分割数と同等の数だけ類似度が算出されるため、たとえば評価対象分割数が8パターンであり且つ代表周波数が5パターンである場合、8×5=40個の類似度が記憶されることになる。
類似度データ取得部150は、予め決められた幅で、周波数ごとに記憶されている類似度データを取得する。類似度データは、代表周波数を一定間間隔で変化させながら、図11のステップS102〜S108の処理を行うことで得られる類似度を代表周波数ごとにまとめたものである。周波数ごとに評価対象分割数と同等の数だけ類似度が算出されるため、たとえば評価対象分割数が8パターンであり且つ代表周波数が5パターンである場合、8×5=40個の類似度が記憶されることになる。
類似度データ取得部150は、前述したステップS102の場合と同様に、代表周波数を決定し、類似度データのうち、もっとも近い周波数に対応する類似度を取得する。その結果、たとえば上記の例の場合、8個の類似度が取得される。
・評価部
また、変形例1における評価部140は、図11のステップS109の処理を実行する。
また、変形例1における評価部140は、図11のステップS109の処理を実行する。
以上のように、変形例1によれば、実施形態1ではモデルデータの読み込み時に行っていた処理の一部を事前に実行しておくため、新たなモデルデータを読み込む際のコストを削減することが可能となる。なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。
(実施形態1の変形例2)
実施形態1において処理対象とするモデルデータは、上述したように、ボリュームデータに限るものではない。本変形例では、モデルデータが、1視点の画像(以下、参照画像という)とそれに対応するデプスデータとの組み合わせである場合について説明する。
実施形態1において処理対象とするモデルデータは、上述したように、ボリュームデータに限るものではない。本変形例では、モデルデータが、1視点の画像(以下、参照画像という)とそれに対応するデプスデータとの組み合わせである場合について説明する。
本変形例にかかる立体画像表示装置は、図1に示す立体画像表示装置1と同様の構成を備えてよい。ただし、本変形例では、代表光線算出部121と輝度算出部122とが、それぞれ以下のような動作を実行する。
・代表光線算出部
本変形例において、代表光線算出部121は、実施形態1における図12のステップS202〜S208に示した動作と同様の動作を実行する。ただし、代表光線算出部121は、基準視点30の代わりにカメラ位置を用いる。すなわち、代表光線算出部121は、量子化単位領域ごとのカメラ位置を用いて代表光線のカメラ位置(始点位置)を算出するとともに、このカメラ位置とパネル21の中心Oとの距離を算出する。
本変形例において、代表光線算出部121は、実施形態1における図12のステップS202〜S208に示した動作と同様の動作を実行する。ただし、代表光線算出部121は、基準視点30の代わりにカメラ位置を用いる。すなわち、代表光線算出部121は、量子化単位領域ごとのカメラ位置を用いて代表光線のカメラ位置(始点位置)を算出するとともに、このカメラ位置とパネル21の中心Oとの距離を算出する。
・輝度算出部
また、輝度算出部122は、代表光線算出部121で求めたカメラ位置とパネル21の中心Oからの距離とに基づいて、参照画像と参照画像の各ピクセルに対応するデプスデータとから各サブピクセルの輝度値を算出する。以下に、本変形例における輝度算出部122の動作を説明する。なお、以下の説明では、簡略化のため、参照画像が光線番号‘0’に対応する画像であり、レンダリング空間24の幅Wwに参照画像の横幅が一致し、レンダリング空間24の高さWhに参照画像の縦幅が一致し、さらに、参照画像の中心がレンダリング空間24の中心Oと一致する場合、つまり、パネル21と参照画像とが同じスケールでレンダリング空間24に配置された場合を例に挙げる。
また、輝度算出部122は、代表光線算出部121で求めたカメラ位置とパネル21の中心Oからの距離とに基づいて、参照画像と参照画像の各ピクセルに対応するデプスデータとから各サブピクセルの輝度値を算出する。以下に、本変形例における輝度算出部122の動作を説明する。なお、以下の説明では、簡略化のため、参照画像が光線番号‘0’に対応する画像であり、レンダリング空間24の幅Wwに参照画像の横幅が一致し、レンダリング空間24の高さWhに参照画像の縦幅が一致し、さらに、参照画像の中心がレンダリング空間24の中心Oと一致する場合、つまり、パネル21と参照画像とが同じスケールでレンダリング空間24に配置された場合を例に挙げる。
図14は、本変形例における輝度算出部の処理を説明するための図である。図14に示すように、本変形例1では、輝度算出部122は、まず、参照画像の各ピクセル(以下、参照ピクセル群)における視差ベクトルdを求める。視差ベクトルdとは、所望の飛び出し量を得るためにピクセルをどちらの方向にどの程度平行移動させる必要があるかを示すベクトルである。あるピクセルに対する視差ベクトルdは、以下の式(3)で求めることができる。
式(3)において、Lzはレンダリング空間24の奥行きサイズ、zmaxはデプスデータの取り得る最大値、zdはデプスデータ、z0はレンダリング空間24での飛び出し距離、bは隣接するカメラ位置間のベクトル、zsはレンダリング空間24におけるカメラ位置から参照画像(パネル21)までの距離をそれぞれ表す。また、図14において、F0はデプスデータの取り得る最大値に対応する面の位置、F1はデプスデータにおける対象物Bの位置、F2はパネル21の位置、F3はデプスデータの取り得る最小値に対応する面の位置、F4は基準視点(v+1、v、…)が配列される面の位置をそれぞれ表す。
つぎに、輝度算出部122は、参照画像をデプスデータに応じて平行移動した後の各ピクセルのレンダリング空間24における位置ベクトルp’(x,y)を求める。位置ベクトルP’は、たとえば下記の式(4)を用いて求めることができる。
式(4)において、x,yはそれぞれ参照画像のピクセル単位のX座標およびY座標であり、nvは輝度値を求めたいサブピクセルの光線番号であり、p(x,y)はシフト前の各ピクセルのレンダリング空間24における位置ベクトルであり、d(x,y)は座標(x,y)のピクセルに対応するデプスデータから算出された視差ベクトルdを示す。
その後、輝度算出部122は、求めた位置ベクトルp’(x,y)のうち、位置座標がDx’に最も近くなる位置ベクトルP’を特定し、それに対応するピクセルを決定する。そのピクセルのサブピクセルに対応する色成分が、求める輝度値である。ここで、最も近くなるピクセルが複数存在する場合、飛び出し量が最も大きなものを採用するとよい。
なお、本変形例では、参照画像の全てのピクセルに対して視差ベクトルdを求めたが、必ずしもこれに限るものではなく、たとえばカメラ位置がX軸に沿って配列している場合は、代表光線算出部121が求めたベクトルDv’におけるX成分Dx’を含むピクセルを求め、画像の座標系においてそのピクセルと同様のY座標を持つピクセルを用いて視差ベクトルdを求めてもよい。一方、カメラ位置がY軸に沿って配列している場合は、X成分Dx’を含むピクセルを求め、画像の座標系においてそのピクセルと同様のX座標を持つピクセルを用いて視差ベクトルdを求めてもよい。
また、参照画像中で最大となる視差ベクトルdの絶対値|d|が分かっている場合、X成分Dx’から±|d|の領域に含まれるピクセルを用いて視差ベクトルdを求めてもよい。さらに、上記の方法を組み合わせることで、視差ベクトルを算出する領域を限定してもよい。
以上のように、本変形例によれば、モデルデータが1視点の画像とそれに対応するデプスデータとの組み合わせであって、正確な三次元データでない場合でも、最小限の補間処理で立体画像を生成することが可能となる。それにより、観察者に高品質な立体像を提供することが可能となる。なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。
〔実施形態2〕
つぎに、実施形態2にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。なお、以下の説明において、上述した実施形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
つぎに、実施形態2にかかる画像処理装置、立体画像表示装置、画像処理方法およびプログラムを詳細に説明する。なお、以下の説明において、上述した実施形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
実施形態2では、観察者の視聴位置を取得し、それに基づいて常に観察者が視域内に含まれるようにパネル21のパラメータを補正する。
図15は、実施形態2におけるパネルと光学的開口部における光学素子との位置関係を示す図である。パネル21および光学的開口部23における光学素子23aが図15(A)に示す状態にあるとき、パネル21と光学的開口部23とを水平方向(X方向)にずらすと、図15(B)に示すように、ずらした方向に視域が移動する。図15(B)に示す例では、光学的開口部23を紙面に沿って左にシフトしたことで、光線がηだけ、図15(A)の場合よりも左に寄り、これによって視域も左にシフトしている。つまり、パネル21と光学素子23aとが物理的にずれている場合、視域が正面に構成されず、いずれかの方向にシフトしてしまう。そのため例えば非特許文献1のピクセルマッピングは、ずれ量koffsetを考慮に入れることで、両者が相対的にずれた場合でも、パネル21の正面に視域が構成されるようになっている。本実施形態では、物理的なずれ量koffsetをさらに補正することで観察者の視聴位置に視域をシフトする。これには、前述したパネル21と光学素子23aの位置関係のずれによる視域のシフトを利用する。前述したパネル21と光学素子23aとの位置関係による視域のシフトは、レンズの位置をもとの位置で固定して考えた場合、視域が逆方向にシフトするのと等価と考えることが可能である。そのため、koffsetを補正して意図的に視域をシフトさせ、観察者の視聴位置に合わせる。
また、パネル21および光学的開口部23が図15(A)に示す状態にあるときに、図15(C)に示すように、1つの光学的開口部23に対応するパネル21上での幅Xnを広げると、視域はパネル21に近くなる(つまり、図15(C)では図15(A)よりも要素画像幅が大きくなる)。したがって、幅Xnの値を実際の値よりも増減させるように補正することで、ピクセルマッピングによる視域の垂直方向(Z軸方向)の位置補正の程度を連続的に(細かく)できる。これにより、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった垂直方向(Z軸方向)における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の垂直位置(Z軸方向の位置)にいる場合に、適切に視域を合わせることが可能となる。
以上より、ずれ量koffsetと幅Xnとを適切に補正することで、水平方向および垂直方向のいずれにも視域の位置を連続的に変化させることができる。よって、観察者の任意の位置にいる場合でも、その位置に合わせた視域を設定することが可能となる。
図16は、実施形態2にかかる立体画像表示装置の構成例を示すブロック図である。図16に示すように、実施形態2にかかる立体画像表示装置2は、図1に示す立体画像表示装置1と同様の構成に加え、視聴位置取得部211と、光線方向算出部212とをさらに備える。
・視聴位置取得部
視聴位置取得部211は、視聴領域内の実空間における観察者の位置を3次元座標値として取得する。視聴者の位置の取得には、例えば、可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。視聴位置取得部211は、これらの機器で得られた情報(カメラの場合には撮影画像)から、公知の技術を用いて、視聴者の位置を取得する。
視聴位置取得部211は、視聴領域内の実空間における観察者の位置を3次元座標値として取得する。視聴者の位置の取得には、例えば、可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。視聴位置取得部211は、これらの機器で得られた情報(カメラの場合には撮影画像)から、公知の技術を用いて、視聴者の位置を取得する。
例えば、可視カメラを用いた場合には、撮像によって得た画像を画像解析することで、視聴者の検出および視聴者の位置の算出を行う。また、レーダを用いた場合には、得られたレーダ信号を信号処理することで、視聴者の検出及び視聴者の位置の算出を行う。
人物検出・位置算出における視聴者の検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。視聴者の目の位置を検出してもよい。なお、視聴者の位置の取得方法は、上記の方法に限定されるものではない。
・光線方向算出部
光線方向算出部212には、視聴位置取得部211が取得した観察者の視聴位置に関する情報と、パネルパラメータとが入力される。光線方向算出部212は、入力された視聴位置に関する情報に基づいてパネルパラメータを補正する。
光線方向算出部212には、視聴位置取得部211が取得した観察者の視聴位置に関する情報と、パネルパラメータとが入力される。光線方向算出部212は、入力された視聴位置に関する情報に基づいてパネルパラメータを補正する。
ここで、パネルパラメータを視聴位置に関する情報に基づいて補正する方法について説明する。パネルパラメータの補正では、視聴位置をもとにパネル21と光学的開口部23とのX軸方向のずれ量koffsetと、光学的開口部23を構成する1つの光学素子(レンチキュラレンズやパララックスバリア等)のパネル21上での水平幅Xnとが補正される。このような補正によって、立体画像表示装置1による視域を移動することが可能となる。
たとえば非特許文献1の方法をピクセルマッピングに用いる場合、以下の式(5)のようにパネルパラメータを補正することで、視域を所望の位置に移動させることができる。
式(5)において、r_koffsetは、ずれ量koffsetに対する補正量を表す。r_Xnは、水平幅Xnに対する補正量を表す。これらの補正量の算出方法については、後述する。
上記の式(5)では、ずれ量koffsetを光学的開口部23に対するパネル21のずれ量と定義した場合を示しているが、パネル21に対する光学的開口部23のずれ量と定義した場合は、以下の式(6)のようになる。なお、式(6)において、Xnに対する補正は、上記式(5)と同様である。
補正量r_koffsetおよび補正量r_Xn(以下、マッピング制御パラメータ)は、以下のようにして算出される。
補正量r_koffsetは、視聴位置のX座標から算出する。具体的には、現在の視聴位置のX座標と、視聴位置からパネル21(またはレンズ)までの距離である視距離Lと、光学的開口部23(レンズの場合は主点P)からパネル21までの距離であるギャップgとを用いて、以下の式(7)で補正量r_koffsetが算出される。なお、現在の視聴位置は、たとえばCCDカメラや対物センサなどや、重力方向を検出する加速度センサなどで得られた情報に基づいて取得することができる。
また、補正量r_Xnは、視聴位置のZ座標から、以下の式(8)を用いて算出することができる。なお、lens_widthは、光学的開口部23をX軸方向(レンズの長手方向)に沿って切断した場合の幅である。
・立体画像生成部
立体画像生成部120は、光線方向算出部212によって算出された各サブピクセルの光線番号と、サブピクセルグループの情報とから、補正後のパネルパラメータを用いて、各サブピクセルグループの代表光線を算出し、以降、実施形態1と同様の動作を実行する。
立体画像生成部120は、光線方向算出部212によって算出された各サブピクセルの光線番号と、サブピクセルグループの情報とから、補正後のパネルパラメータを用いて、各サブピクセルグループの代表光線を算出し、以降、実施形態1と同様の動作を実行する。
ただし、実施形態1の変形例のように、モデルデータが参照画像というデプスデータとの組み合わせである場合、輝度算出部122は、デプスデータと代表光線番号とに基づいて、参照画像をシフトし、シフト後の参照画像から各サブピクセルグループの輝度値を算出する。
以上のように、実施形態2では、観察者のパネル21に対する視聴位置に基づいて光線番号が補正されるため、観察者がどの位置から視聴しても高品質な立体画像を提供することが可能となる。なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。
〔実施形態3〕
また、上述した実施形態にかかる立体画像表示装置は、たとえば人間や動物や植物などの被検体を観察または診断する際のモニタ装置としても用いることができる。その場合、観察または診断する部位や方法に応じて、表示される立体画像に対して要求される解像度等が変化する場合がある。そこで、上述した実施形態において、観察または診断する部位や方法に応じて、分割数や代表周波数やS/Nの評価値を適宜切り替えるように構成することも可能である。
また、上述した実施形態にかかる立体画像表示装置は、たとえば人間や動物や植物などの被検体を観察または診断する際のモニタ装置としても用いることができる。その場合、観察または診断する部位や方法に応じて、表示される立体画像に対して要求される解像度等が変化する場合がある。そこで、上述した実施形態において、観察または診断する部位や方法に応じて、分割数や代表周波数やS/Nの評価値を適宜切り替えるように構成することも可能である。
実施形態3にかかる立体画像表示装置は、上述した実施形態と同様であってよい。ただし、分割部111に与えられる評価対象分割数、および、解析用モデルデータ生成部141において決定される代表周波数、類似度評価部142において算出されるクロストークシミュレーションの評価値が、観察者によって選択された観察または診断の部位や方法に応じて適宜切り替えられる。
図17は、実施形態3において表示装置が表示する画面の一例を示す図である。図17に示すように、表示装置20に表示される表示画面320には、画像処理装置10で生成された立体画像を立体視可能に表示する第1表示領域321と、観察者が操作を入力するためのインタフェースを表示する第2表示領域322とが含まれる。
第2表示領域322に表示されるユーザインタフェースとしては、たとえば、観察または診断の部位を観察者に選択させる部位選択ボタン323や、観察または診断の方法を観察者に選択させる方法選択ボタン324や、表示画像の解像度を観察者が調整するための解像度調整スライダ325などが含まれてよい。
観察者は、たとえばマウスやタッチパネルなどのポインティングデバイスを用いて、部位選択ボタン323や方法選択ボタン324や解像度調整スライダ325を適宜操作することで、表示される立体画像を目的の観察又は診断に応じて適宜調整することが可能である。
観察者から入力された操作情報は、画像処理装置10に入力される。画像処理装置10は、入力された操作情報に応じて適宜、分割部111が使用する分割数や、解析用モデルデータ生成部141が決定する代表周波数や、類似度評価部142が決定する評価値等を適宜調整する。
なお、その他の構成および動作は、上述した実施形態と同様であるため、ここでは詳細な説明を省略する。
なお、上記実施形態およびその変形例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施形態が可能であることは上記記載から自明である。例えば実施形態に対して適宜例示した変形例は、他の実施形態と組み合わせることも可能であることは言うまでもない。
1,1A,2…立体画像表示装置、10,210…画像処理装置、20…表示装置、21…パネル、22…画素、23…光学的開口部、24…レンダリング空間、25…基準点、30…基準視点、31…代表視点、40…3Dピクセル領域、40a…上辺、40b…下辺、40c,40d…側辺、41…分割線、41r,41g,41b…色成分、42…量子化単位領域、43r1,43r2,43g1,43g2,43b1…サブピクセル、110…クラスタリング処理部、111…分割部、112…サブピクセルグループ選択部、120…立体画像生成部、121…代表光線算出部、122…輝度算出部、123…サブピクセル輝度算出部、130…モデルデータ取得部、140…評価部、141…類似度評価部、142…解析用モデルデータ生成部、211…視聴位置取得部、212…光線方向算出部
Claims (13)
- 立体物の形状が表現されたモデルデータから生成される立体画像を表示可能な立体画像表示装置であって、
複数のサブピクセルを含む表示パネルと、前記表示パネルと対向して設けられる光学的開口部とを有する表示部と、
異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、
前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、
前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、
を備える立体画像表示装置。 - 前記評価部は、前記分割数ごとの前記立体画像間の類似度を算出し、算出された前記類似度に基づいて前記分割部が前記表示用の立体画像生成に用いるべき前記分割数を決定する類似度評価部を含む
請求項1に記載の立体画像表示装置。 - 前記評価部は、前記取得部から出力された前記モデルデータの周波数解析を行うことで評価用モデルデータを生成する解析用モデルデータ生成部を含み、
前記生成部は、前記分割数に応じた前記小領域に基づいて前記評価用モデルデータから前記分割数ごとの前記立体画像を生成するとともに、前記類似度評価部で決定された前記分割数に基づいて前記パネル上の前記領域を分割することで生成された前記小量域に基づいて前記モデルデータから前記表示用の立体画像を生成する
請求項1に記載の立体画像表示装置。 - 前記類似度評価部は、前記分割数ごとの前記立体画像間の前記類似度を表す数値データを取得し、取得した前記類似度に基づいて前記分割部が前記表示用の立体画像生成に用いるべき前記分割数を決定する
請求項2に記載の立体画像表示装置。 - 前記類似度評価部は、物理的な光線の空間中への広がり由来するクロストークを考慮して前記立体画像を補正し、補正後の前記分割数ごとの前記立体画像を用いて前記類似度を算出する
請求項2に記載の立体画像表示装置。 - 前記分割数は、1より大きい自然数である
請求項1に記載の立体画像表示装置。 - 前記類似度評価部は、前記類似度が所定の閾値以下となる分割数のうち最小の分割数を前記分割部が前記表示用の立体画像生成に用いるべき前記分割数として決定する
請求項2に記載の立体画像表示装置。 - 前記類似度評価部は、PSNR(Peak Signal−to−Noise Ratio)を用いて前記類似度を算出する
請求項2に記載の立体画像表示装置。 - 前記モデルデータは、空間分割モデル、境界表現モデル、奥行き情報と少なくとも1つ以上の視点の画像との組み合わせのうち少なくとも1つである
請求項1に記載の立体画像表示装置。 - 前記生成部は、前記小領域に対応する1つ以上のサブピクセルを代表する代表光線を決定する代表光線算出部と、前記モデルデータと前記代表光線とが交差する部分の色情報に基づいて前記小領域に対応する1つ以上のサブピクセルの輝度を決定する輝度算出部とを含む
請求項1に記載の立体画像表示装置。 - 複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に、立体物の形状が表現されたモデルデータから生成された立体画像を表示する画像処理方法であって、
異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成し、
前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成し、
前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する
ことを含む画像処理方法。 - 複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成するようにコンピュータを動作させるためのプログラムであって、
異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割処理と、
前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成処理と、
前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価処理と
を前記コンピュータに実行させるためのプログラム。 - 複数のサブピクセルを含む表示パネルと前記表示パネルと対向して設けられる光学的開口部とを備える表示装置に表示するための立体画像を、立体物の形状が表現されたモデルデータから生成する画像処理装置であって、
異なる分割数それぞれに従って前記表示パネル上の領域を分割することで前記分割数に応じた小領域をそれぞれ生成する分割部と、
前記分割数に応じた前記小領域に基づいて前記分割数ごとの立体画像を生成する生成部と、
前記分割数ごとの前記立体画像を評価することで前記分割部が表示用の立体画像生成に用いるべき分割数を決定する評価部と、
を備える画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013178561A JP2015050482A (ja) | 2013-08-29 | 2013-08-29 | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム |
US14/469,663 US20150062119A1 (en) | 2013-08-29 | 2014-08-27 | Image processing device, 3d-image display device, method of image processing and program product thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013178561A JP2015050482A (ja) | 2013-08-29 | 2013-08-29 | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015050482A true JP2015050482A (ja) | 2015-03-16 |
Family
ID=52582549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013178561A Pending JP2015050482A (ja) | 2013-08-29 | 2013-08-29 | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150062119A1 (ja) |
JP (1) | JP2015050482A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180061545A (ko) * | 2016-11-29 | 2018-06-08 | 엘지디스플레이 주식회사 | 무안경 방식의 입체영상 표시장치 |
CN110119731A (zh) * | 2018-02-05 | 2019-08-13 | 广达电脑股份有限公司 | 三维图像处理的装置及方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6253053B2 (ja) * | 2013-11-29 | 2017-12-27 | 富士通株式会社 | データ探索装置、データ探索装置の制御方法およびデータ探索装置の制御プログラム |
KR102185130B1 (ko) * | 2015-05-21 | 2020-12-01 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
KR102547821B1 (ko) | 2016-11-25 | 2023-06-26 | 삼성전자주식회사 | 3d 디스플레이 장치 |
-
2013
- 2013-08-29 JP JP2013178561A patent/JP2015050482A/ja active Pending
-
2014
- 2014-08-27 US US14/469,663 patent/US20150062119A1/en not_active Abandoned
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180061545A (ko) * | 2016-11-29 | 2018-06-08 | 엘지디스플레이 주식회사 | 무안경 방식의 입체영상 표시장치 |
KR102522397B1 (ko) | 2016-11-29 | 2023-04-17 | 엘지디스플레이 주식회사 | 무안경 방식의 입체영상 표시장치 |
CN110119731A (zh) * | 2018-02-05 | 2019-08-13 | 广达电脑股份有限公司 | 三维图像处理的装置及方法 |
JP2019135483A (ja) * | 2018-02-05 | 2019-08-15 | 廣達電腦股▲ふん▼有限公司 | 3次元画像処理装置及び方法 |
US10440217B2 (en) | 2018-02-05 | 2019-10-08 | Quanta Computer Inc. | Apparatus and method for processing three dimensional image |
CN110119731B (zh) * | 2018-02-05 | 2022-11-15 | 广达电脑股份有限公司 | 三维图像处理的装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150062119A1 (en) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650573B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
US9479753B2 (en) | Image processing system for multiple viewpoint parallax image group | |
JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
US9596444B2 (en) | Image processing system, apparatus, and method | |
JP2013005052A (ja) | 画像処理システム、装置、方法及びプログラム | |
US9426443B2 (en) | Image processing system, terminal device, and image processing method | |
JP5793243B2 (ja) | 画像処理方法および画像処理装置 | |
JP5871705B2 (ja) | 画像表示装置、方法及びプログラム | |
JP6245840B2 (ja) | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JP2015119203A (ja) | 画像処理装置、立体画像表示装置および画像処理方法 | |
JP2015050482A (ja) | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム | |
US9202305B2 (en) | Image processing device, three-dimensional image display device, image processing method and computer program product | |
JP5802767B2 (ja) | 画像処理装置、立体画像表示装置、および、画像処理方法 | |
US20140047378A1 (en) | Image processing device, image display apparatus, image processing method, and computer program medium | |
US20130257870A1 (en) | Image processing apparatus, stereoscopic image display apparatus, image processing method and computer program product | |
JP6846165B2 (ja) | 画像生成装置、画像表示システム及びプログラム | |
JP2014216719A (ja) | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム | |
JP2014236340A (ja) | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 | |
JP2016016072A (ja) | 画像処理装置及び立体画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |