JP2023121138A - 3次元画像表示機能を有する表示装置及び3次元画像表示方法 - Google Patents
3次元画像表示機能を有する表示装置及び3次元画像表示方法 Download PDFInfo
- Publication number
- JP2023121138A JP2023121138A JP2023015743A JP2023015743A JP2023121138A JP 2023121138 A JP2023121138 A JP 2023121138A JP 2023015743 A JP2023015743 A JP 2023015743A JP 2023015743 A JP2023015743 A JP 2023015743A JP 2023121138 A JP2023121138 A JP 2023121138A
- Authority
- JP
- Japan
- Prior art keywords
- paths
- ray
- display device
- pixels
- eye coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 210000001747 pupil Anatomy 0.000 claims description 34
- 230000001179 pupillary effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000005266 casting Methods 0.000 abstract description 4
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 28
- 239000010410 layer Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 239000012790 adhesive layer Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】良好な3次元画像表示機能を有する表示装置及び3次元画像表示方法を提供する。【解決手段】3次元画像表示方法は、第1のボリュームデータを取得し、表示装置座標系において第1のボリュームデータ内の複数のボクセルの複数の座標を定義して、第2のボリュームデータを生成するステップと、2つの第1の眼座標を取得し、2つの第1の眼座標を表示装置座標系に変換して、2つの第2の眼座標を生成するステップと、表示装置の複数の画素に対応する複数の光線経路を計算するステップと、複数の光線経路を2つの第2の眼座標と一致させて、複数の光線投射経路を決定ステップと、第2のボリュームデータ及び光線投射経路に従って、複数の画素に対応する複数のサンプリングデータを決定し、表示データを生成するステップと、を含む。【選択図】図3
Description
本発明は、画像表示技術に関する。特に、本発明は、3次元画像表示機能を有する表示装置及び3次元画像表示方法に関する。
従来の医用画像表示技術において、ほとんどの場合、表示装置は、コンピュータ断層撮影(CT)スキャンによって得られた2次元医用画像を表示するために適用され、スキャン対象全体のスキャン結果を取得するために、医療従事者による複雑な操作が必要とされる。したがって、医療従事者は、表示装置に表示された2次元医用画像を介して必要な情報を迅速かつ瞬時に取得し、同時に他の操作を行うことができない。
本発明は、良好な3次元画像表示機能を実現するために、3次元画像表示機能を有する表示装置及び3次元画像表示方法を提供する。
本発明の一実施形態は、以下のステップを含む3次元画像表示方法を提供する。第1のボリュームデータが取得され、表示装置座標系において第1のボリュームデータ内の複数のボクセルの複数の座標が定義され、第2のボリュームデータを生成される。2つの第1の眼座標が取得され、2つの第1の眼座標が表示装置座標系に変換されて、2つの第2の眼座標が生成される。表示装置の複数の画素に対応する複数の光線経路が計算される。光線経路は、2つの第2の眼座標と一致されて、複数の光線投射経路が決定される。画素に対応する複数のサンプリングデータが、第2のボリュームデータ及び光線投射経路に従って決定され、表示データが生成される。
本発明の一実施形態は、3次元画像表示機能を有する表示装置を提供し、表示装置は、プロセッサ及びセンサを含む。プロセッサは、第1のボリュームデータを取得し、表示装置座標系において第1のボリュームデータ内の複数のボクセルの複数の座標をそれぞれ定義して、第2のボリュームデータを生成するように構成される。センサは、プロセッサに結合され、2つの第1の眼座標を取得するように構成される。プロセッサは、2つの第1の眼座標を表示装置座標系に変換して、2つの第2の眼座標を生成し、表示装置の複数の画素に対応する複数の光線経路を計算する。プロセッサは、光線経路を2つの第2の眼座標と一致させて、複数の光線投射経路を決定し、第2のボリュームデータ及び光線投射経路に従って、画素に対応する複数のサンプリングデータを決定して、表示データを生成する。
本発明の1つまたは複数の実施形態で提供される3次元画像表示機能を有する表示装置及び3次元画像表示方法によれば、観察者の目の位置が自動的に感知される。表示装置における複数の画素の複数の光線投射経路は、観察者の目の位置に従って決定されるので、表示装置は、観察者に3次元表示効果を提供することができる。
本発明の特徴及び利点をより理解できるようにするために、以下の特定の実施形態を図面と併せて詳細に説明する。
添付の図面は、本発明のさらなる理解を提供するためのものであり、本明細書に組み込まれ、本明細書の一部を構成する。図面は、本発明の例示的な実施形態を示し、説明とともに、本発明の原理を説明するのに役立つ。
本発明の一実施形態による表示装置の回路を示す概略図である。
本発明の一実施形態による表示パネルを示す概略図である。
本発明の一実施形態による3次元画像表示方法のフローチャートである。
本発明の一実施形態による目と表示装置との位置関係を示す概略図である。
本発明の一実施形態に係るボリュームデータを示す概略図である。
本発明の一実施形態によるサンプリングデータの変化を示す概略図である。
本発明の一実施形態に係る表示装置が表示する実際の表示画像を示す概略図である。
本発明の一実施形態に係る表示装置が表示する実際の表示画像を示す概略図である。
本発明の一実施形態による複数の光線投射経路決定のフローチャートである。
本発明の別の実施形態による目と表示装置との位置関係を示す概略図である。
本発明の一実施形態による観察者の一方の目によって観察される結果の表示画像を示す概略図である。
本発明の一実施形態による観察者の他方の目によって観察される結果の表示画像を示す概略図である。
本発明の別の実施形態による観察者の一方の目によって観察される結果の表示画像を示す概略図である。
本発明の別の実施形態による観察者の他方の目によって観察される結果の表示画像を示す概略図である。
本発明の一実施形態による視点の調整の概略図である。
本発明のさらに別の実施形態による観察者の一方の目によって観察される結果の表示画像を示す概略図である。
本発明のさらに別の実施形態による観察者の他方の目によって観察される結果の表示画像を示す概略図である。
発明の詳細な説明及び特許請求の範囲全体に記載される特定の用語は、特定の構成要素を指すのに役立つ。当業者には理解されるように、電子装置の製造業者は、構成要素を異なる名前で示す場合がある。機能ではなく名前で異なる構成要素を区別することを意図したものではない。以下の発明の詳細な説明及び特許請求の範囲において、「含む」、「備える」、「有する」などの用語は、開放形式の用語であるため、「…を含むが、これに限定されない」を意味すると解釈されるべきである。
本発明のいくつかの実施形態において、「結合される」及び「相互接続」等の結合及び接続に関連する用語は、特に明記しない限り、2つの構造が直接接触していること、または2つの構造が直接接触しておらず、2つの構造の間に他の構造が配置されることを意味し得る。さらに、結合及び接続に関連する用語は、両方の構造が可動であるか、両方の構造が固定されている状況を指しても良い。さらに、本明細書で使用される「結合される」という用語は、任意の直接的または間接的な電気接続手段を含む。
発明の詳細な説明及び特許請求の範囲で使用される用語「第1の」、「第2の」等の構成要素を限定するために使用される序数は、1つまたは複数の構成要素の前に序数が付けられていることを暗示したり、ある構成要素と別の構成要素の順番、または製造方法における順番を表すものでではなく、ある名称の構成要素と同一の名称の別の構成要素を明確に区別するために使用される。請求項と発明の詳細な説明では異なる用語が使用される場合があり、したがって、発明の詳細な説明の第1の構成要素が請求項の第2の構成要素である場合がある。以下の実施形態において、いくつかの異なる実施形態で提供される技術的特徴は、本発明の精神から逸脱することなく、他の実施形態を完成するために、置換、再構成、及び混合され得ることに留意されたい。
図1は、本発明の一実施形態による表示装置の回路を示す概略図である。図1を参照すると、表示装置100は、プロセッサ110と、記憶部120と、表示パネル130と、センサ140と、を含む。
プロセッサ110は、記憶部120と、表示パネル130と、センサ140と、に結合される。表示装置100は、3次元画像表示機能を有する裸眼3次元画像表示装置であってもよい。一実施形態において、プロセッサ110及び記憶部120は、外部ホスト装置に統合されてもよく、表示パネル130及びセンサ140は、表示装置に統合されてもよい。外部ホスト装置と表示装置とは、有線または無線方式で接続されてもよい。
本実施形態において、プロセッサ110は、例えば、中央処理装置(CPU)または任意の他のプログラマブル汎用または専用マイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、その他の同様の処理回路、またはそれらの組み合わせを含んでも良い。本実施形態において、記憶部120は、メモリ及び/またはデータベースを含んでも良い。記憶部120は、例えば、不揮発性メモリ(NVM)であってもよい。記憶部120は、本発明の1つまたは複数の実施形態を実現するように構成された関連プログラム、モジュール、システム、またはアルゴリズムを格納することができる。これにより、プロセッサ110は、そのような実現のために、本発明の1つまたは複数の実施形態で説明されている関連する機能及び操作にアクセスして実行することができる。
本実施形態において、表示パネル130は、例えば、液晶及び発光ダイオード(LED)を含んでも良い。LEDは、例えば、有機LED(OLED)、ミニLED、マイクロLED、量子ドットLED(QLEDまたはQDLED)、蛍光、蛍光体、または任意の他の適切な材料を含んでも良い。これらの材料は、任意の方法で配置及び組み合わせることができるが、本発明を限定するものとして解釈されるべきではない。
本実施形態において、センサ140は、アイトラッカー、画像センサ、赤外線(IR)センサなどであっても良く、センサ140は、人間の目の位置を追跡するように構成されている。センサ140は、対応する座標情報をプロセッサ110に直接送信するか、プロセッサ110に可視光画像またはIR画像を提供し、これによって、プロセッサ110は、可視光画像またはIR画像を分析して、対応する座標情報を取得することができる。
本発明の一実施形態による表示パネルを示す概略図である。図2を参照すると、本発明で提供される表示パネルは、図2に示される表示パネル230の形で実現されても良い。表示パネル230は、アクティブ領域(AA)231及び周辺領域232を含んでも良い。表示パネル230は、AA231に配置された画素アレイを含んでも良い。画素アレイは複数の画素P_1~P_Nを含み、各画素P_1~P_Nは、複数のサブ画素(赤サブ画素、緑サブ画素、青サブ画素など)を含んでも良い。ここでNは正の整数である。本実施形態において、センサ140は、表示パネル230の周辺領域232内の任意の位置に配置されて、表示装置を見ている観察者の人間の目の位置を感知して観察することができる。しかしながら、これは本発明を限定するものとして解釈されるべきではない。一実施形態において、センサ140は、表示パネル230のAA231の中間位置または別の位置に配置しても良い。
図3は、本発明の一実施形態による3次元画像表示方法のフローチャートである。図1及び図3を参照すると、表示装置100は、3次元画像表示機能を達成するために、以下のステップS310からS350に従って動作することができる。ステップS310において、プロセッサ110は、第1のボリュームデータを取得し、表示装置座標系において第1のボリュームデータ内の複数のボクセルの複数の座標を定義して、第2のボリュームデータを生成することができる。本実施形態において、第1のボリュームデータは、多層2次元医用画像データから構成されてもよいが、本発明を限定するものとして解釈されるべきではない。一実施形態において、第1ボリュームデータは、他の応用分野の画像データであっても良く、これにより、表示装置100は、他の応用分野の3次元画像を表示することができる。2次元医用画像データは、例えば、CTスキャン画像、磁気共鳴画像法(MRI)画像、自動乳房超音波診断装置(ABUS)画像などであって良い。ここで、プロセッサ110は、まず、外部から入力された異なる高さ(連続した高さ)にそれぞれ対応する多層2次元医用画像を受信して、第1ボリュームデータを取得することができる。第1のボリュームデータは、2次元医用画像の空間結合後に作成された3次元画像の各ボクセルに対応する放射線吸収値のデータであって良いが、本発明を限定するものとして解釈されるべきではない。現在閲覧されている医用画像コンテンツの視角に従って第1のボリュームデータに対して立体データ再構成演算を実行することができ、これにより、表示装置座標系の各ボクセルに座標パラメータを書き込み、第2のボリュームデータを生成することができる。
なお、本実施形態における「3次元」とは、第1の方向、第2の方向、第3の方向を含み、3方向は3つの面を定義しても良い。詳細には、第1の方向、第2の方向、及び第3の方向は、互いに直交しても良い。あるいは、第1の方向と第2の方向は互いに垂直であり、第3の方向は第1の方向に対しても第2の方向に対しても垂直でなくても良い。別の代替的な実施形態では、第1の方向、第2の方向、及び第3の方向は互いに垂直ではないが、本発明を限定するものとして解釈されるべきではない。.
ステップS320において、プロセッサ110は、2つの第1の眼座標を取得し、2つの第1の眼座標を表示装置座標系に変換して、2つの第2の眼座標を生成することができる。本実施形態において、プロセッサ110は、センサ140を介して観察者の両目の位置を感知して、両目の瞳孔の中心の位置に対応する2つの第1の眼座標を取得することができる。図4は、本発明の一実施形態による目と表示装置との位置関係を示す概略図である。なお、図4は、表示装置100の概略側面図であり、実際の3次元空間における観察者の両眼の位置と表示装置との関係は、そこから推測することができる。本実施形態において、センサ140は、観察者の目411及び目412の位置を感知し、目411及び目412の2つの第1の目座標をプロセッサ110に返すことができ、ここで、2つの第1の目座標は、センサ座標系に基づいて生成される。一実施形態において、センサ140は、観察者の目411及び目412との中間位置を感知し、所定の瞳孔間距離に従って、目411及び目412の2つの第1の目座標をさらに計算することができる。本実施形態において、プロセッサ110は、対応する座標変換計算を実行して、2つの第1の眼の座標をセンサ座標系から表示装置座標系に変換し、表示装置座標系において2つの第2の眼座標を生成することができる。
ステップS330において、プロセッサ110は、表示装置100の複数の画素に対応する複数の光線経路を計算することができる。図4を参照すると、本実施形態において、表示装置100の表示パネル130は、図4に示された表示パネル430の構造を有しても良い。表示パネル430は、上下の偏光板401及び405、上下のガラス基板402及び404、表示層403、接着層406、レンズ基板407、及びレンズ408(光分割構造)を含んでも良い。表示層403は、アレイ状に配列された複数の画素を含んでも良い。本実施形態において、プロセッサ110は、まず、表示層403内のレンズ408を通過する各画素の光線経路を計算することができる。一実施形態において、光線経路は、表示層403内の画素の複数のサブ画素に対応しても良い。
ステップS340において、プロセッサ110は、光線経路を2つの第2の眼座標と一致させて、複数の光線投射経路を決定することができる。図4に示すように、本実施形態において、プロセッサ110は、まず、2つの目の瞳孔の中心にそれぞれ対応する2つの第2の眼座標の視点411_2及び412_2を定義することができる。次に、プロセッサ110は、表示層403内の画素を2つの第2の眼座標の視点411_2及び視点412_2にそれぞれ位置合わせして、複数の光線投射経路を決定することができ、これにより、表示層403内の画素の少なくとも一部は、光線投射経路に沿って視点411_2及び視点412_2に向けて画像を放出することができる。しかし、一実施形態において、プロセッサ110は、基準線413に沿った2つの第2の眼座標にそれぞれ対応する複数の視点411_1~411_3及び412_1~412_3を定義することができる。次に、プロセッサ110は、表示層403内の画素を2つの第2の眼座標の視点411_1~411_3及び412_1~412_3にそれぞれ位置合わせして、複数の光線投射経路を決定し、これにより、表示層403内の画素の少なくとも一部は、光線投射経路に沿って視点411_1-411_3及び412_1~1-412_3に向けて画像を放出することができる。視点411_1~411_3及び412_1~412_3は、それぞれ瞳孔の範囲内に位置しても良いが、本発明を限定するものとして解釈されるべきではない。いくつかの実施形態において、基準線413は、2点間の延長接続線または2点間のベクトルであってもよいが、本発明を限定するものとして解釈されるべきではない。例えば、基準線413は、観察者の両目の瞳孔の中心を結ぶ線、またはシステムによって設定された始点及び終点のベクトルであってもよい。
ステップS350において、プロセッサ110は、第2のボリュームデータ及び光線投射経路に従って画素に対応する複数のサンプリングデータを決定し、表示データを生成することができる。図5は、本発明の一実施形態によるボリュームデータを示す概略図である。本実施形態において、プロセッサ110は、第2のボリュームデータにおける表示装置座標系に対応する座標パラメータに従って、3次元画像521、表示パネルの表示面501、及び観察者の目511の間の位置関係を学習することができる。なお、図5は、3次元画像521、表示パネルの表示面501、及び観察者の目511の位置関係を示す概略側面図であり、観察者の両目と表示装置との位置関係がそこから推測できる。プロセッサ110は、3次元画像521の第2のボリュームデータ内の各光線投射経路を通過するボクセル522に対応する複数の数値を計算して、これにより、画素に対応する複数の複合データを生成し、合成データを表示データに変換する。図5に示すように、1つの光線投射経路514が例として挙げられる。プロセッサ110は、3次元画像521を通過する位置を決定し、3次元画像内の開始位置515から終了位置516まで光線投射経路514を通過するボクセルに対応する複数の数値をサンプリングすることができる。ここで、数値は、例えば放射線吸収値であって良いが、本発明を限定するものとして解釈されるべきではない。
図6を参照すると、図6は、本発明の一実施形態によるサンプリングデータの変化を示す概略図である。光線投射経路514において3次元画像521における開始位置515から終了位置516までを通過するボクセルに対応する数値は、深さと共に変化しても良く、数値の変化が図6に例示的に示されている。ここで、プロセッサ110は、所定の深さにおける第1の値D_F、平均値D_AV、所定の深さの範囲内の累積値D_AC、または最大値D_IMを、画素に対応するサンプリングデータとし、また画素に対応する表示データとして採用しても良い。なお、本実施形態における「深さ」は、1つの単一の軸方向(例えば、Z方向)に限定されず、「深さ」は、例えば、光線投射経路において、開始位置515を通過するボクセルのベクトルであって良いことに留意されたい。ただし、本発明を限定するものとして解釈されるべきではない。
図7A及び図7Bは、本発明の一実施形態に係る表示装置が表示する実際の表示画像を示す概略図である。図1及び図7Aを参照すると、プロセッサ110は、各光線投射経路の合成データを組み合わせて、実際の表示画面710(すなわち、平面表示画面上に表示される実際の3次元画像の結果)を生成することができる。例えば、図7Aに示すように、例えば、3次元画像700と表示パネル430との光線投射経路から、3次元画像700内の対象画像701及び対象画像702が、実際の表示画面710内の異なる対応する位置にそれぞれ表示され得ることが分かる。図1及び図7Bを参照すると、マイクロレンズは、5つの異なる視角で光線投射経路を通過しても良く、これは例として取り上げられる。表示パネル430において、第1の視角V1における各マイクロレンズの画素の表示結果は、サブ画像711の表示結果であって良い。同様に、表示パネル430において、各マイクロレンズに対する第2~5の視角V2~V5のそれぞれの画素の表示結果は、サブ画像712~715の表示結果であって良い。これにより、サブ画像711~715が重畳された後、表示パネル430は、図7Bに示すように、実際の表示画像710の結果を表示することができる。したがって、観察者は、表示パネル430によって表示される実際の表示画面710を通して、3次元対象画像701及び3次元対象画像702を有する3次元表示画像を見ることができる。
図8は、本発明の一実施形態による複数の光線投射経路決定のフローチャートである。図9Aは、本発明の別の実施形態による目と表示装置との位置関係を示す概略図である。図9Bは、本発明の一実施形態による観察者の一方の目によって観察される結果の表示画像を示す概略図である。図9Cは、本発明の一実施形態による観察者の他方の目によって観察される結果の表示画像を示す概略図である。図1~図8を参照すると、ステップS810及びステップS820は、上述のステップS340の別の実施方法であっても良い。ステップS810において、プロセッサ110は、瞳孔の範囲に従って、2つの第2の眼座標にそれぞれ対応する複数の視点を定義することができる。図1に示すように、図9Aに示すように、プロセッサ110は、基準線913に沿った2つの第2の眼座標にそれぞれ対応する複数の視点911_1~911_9及び912_1~912_9を定義することができる。基準線913は、例えば、観察者の両眼の瞳孔中心を結ぶ線であっても良い。本実施形態において、視点911_1-911_3, 911_7-911_9, 912_1-912_3、及び912_7~912_9は、対応する瞳孔の範囲外にそれぞれ位置しても良く、視点911_4~911_6及び912_4~912_6は、対応する瞳孔の範囲内にそれぞれ位置しても良い。表示層403の各画素が発する表示光は、発光角度(例えば、0.8度)を有するので、対応する瞳孔の範囲外の視点911_1-911_3, 911_7-911_9, 912_1-912_3及び912_7-912_9に向かう発光する表示光は、観察者の瞳孔によって依然として受け取られる可能性がある(つまり、残光効果)。
ステップS820において、プロセッサ110は、2つの第2の眼座標にそれぞれ対応する視点911_1~911_9及び912_1~912_9に複数の画素を位置合わせをして、複数の光線投射経路を決定することができる。したがって、図1図9Bに示すように、観察者の一方の目911は、視点911_1~911_9及び対応する光線投射経路からサブ画像931~939をそれぞれ得ることができ、サブ画像931~939はそれぞれ2つのサブ対象を有することができ、例えば、2つのサブ対象は、サブ画像931~939内でそれぞれ異なる位置を有する。したがって、観察者の目911は、サブ画像931~939が重畳された後に、表示画像930を実際に見ることができる。また、図9Cにすように、観察者の他方の目922は、視点912_1~912_9及び対応する光線投射経路からサブ画像941~949をそれぞれ得ることができ、サブ画像941~949は、また、それぞれ2つのサブ対象を有することができ、例えば、2つのサブ対象は、サブ画像941~949内でそれぞれ異なる位置を有する。したがって、観察者の目912は、サブ画像941~949が重畳された後に、表示画像940を実際に見ることができる。
しかし、一実施形態において、プロセッサ110は、光線経路の一部を瞳孔の範囲外に配置することもできるが、光線経路の一部の光線の範囲は瞳孔の範囲の境界をカバーし、光線経路の一部にそれぞれ対応する画素がオフになる。図10A及び図10Bを参照すると、図10Aは、本発明の別の実施形態による観察者の一方の目によって観察される結果の表示画像を示す概略図である。図10Bは、本発明の別の実施形態による観察者の他方の目によって観察される結果の表示画像を示す概略図である。一実施形態において、表示パネル430の表示層403内の各画素によって発光される表示光は、発光角度を有し、瞳孔の範囲外の光線投射経路に対応するサブ画像は、依然として観察者の瞳孔によって受け取られ得る(すなわち、残光効果)。例えば、発光角度0度の画素(またはサブ画素)の光線は、瞳孔の範囲外に投影され、発光角度±0.3~±1.2度の画素(またはサブ画素)の光線は、瞳孔の範囲内に投影される。これにより人間の目の瞳孔が画素(またはサブ画素)の光線を受け取ることができるが、本発明を限定するものとして解釈されるべきではない。これにより、図9A及び図9Bに示すように、プロセッサ110は、例えば、表示パネル430の瞳孔の範囲外の視点911_1~911_3及び911_7~911_9に対応するサブ画像931~933及び937~939を表示するように構成された画素をオフにすることができる。これにより、観察者の目911は、サブ画像934~936が重畳された後、ビュークロストークの少ない表示画像1030を実際に見ることができる。また、図9A及び図9Bに示すように、プロセッサ110は、例えば、表示パネルの瞳孔の範囲外の視点921_1~921_3及び921_7~921_9に対応するサブ画像941~943及び947~949を表示するように構成された画素をオフにすることができる。これにより、観察者の目912は、サブ画像944~946が重畳された後、ビュークロストークの少ない表示画像1040を実際に見ることができる。したがって、観察者の目は、相対的に鮮明な表示画像1030及び1040をそれぞれ見ることができる。
しかしながら、一実施形態において、プロセッサ110は、視点921_1~921_3及び921_7~921_9の位置を線形または非線形の方法で再定義しても良く、これにより、再定義された視点に対応する光線投射経路がすべて瞳孔の範囲内になる。図11A~図11Cを参照すると、本発明の一実施形態による視点の調整の概略図である。図11Bは、本発明のさらに別の実施形態による観察者の一方の目によって観察される結果の表示画像を示す概略図である。図11Cは、本発明のさらに別の実施形態による観察者の他方の眼によって観察される結果の表示画像を示す概略図である。図1及び図11Aに示すように、一実施形態において、プロセッサ110は、以前に定義された視点911_1~911_9及び921_1~921_9の位置をさらに調整することができる。図11Aおいて、プロセッサ110は、基準線913に沿って以前に定義された視点911_1~911_9及び912_1~912_9の少なくとも一部の位置を再定義することができる。具体的には、視点911_1~911_9及び912_1~912_9の位置は、視点1111_1~1111_9及び1121_1~1121_9の位置として、直線的に再配置することができる。視点1111_1~1111_9は、等距離かつ順に配置されてもよく、視点1111_1~1111_9はすべて、瞳孔の同一範囲内に位置する。視点1121_1~1121_9は、等距離かつ順に配置されても良く、視点1121_1~1121_9はすべて、瞳孔の別の範囲内に位置する。別の実施形態において、視点911_1~911_9及び912_1~912_9の位置は非線形に再配置され、これにより、再配置された視点が非等距離かつ順に配置されることができる。
これにより、図11A及び図11Bに示すように、表示パネル内の視点1111_1~1111_9に対応する画素によって表示されるサブ画像1131~1139内の2つのサブ対象間の距離差はさらに小さくなり、したがって、観察者の目は、サブ画像1131~1139が重畳された後、ビュークロストークの少ない表示画像1130を実際に見ることができる。図11A及び図11Cに示すように、表示パネル内の視点1121_1~1121_9に対応する画素によって表示されるサブ画像1141~1149内の2つのサブ対象間の距離差はさらに小さくなり、したがって、観察者の目は、サブ画像1141~1149が重畳された後、ビュークロストークの少ない表示画像1140を実際に見ることができる。したがって、観察者の目は、より鮮明な画面コンテンツで表示画面1130及び表示画面1140をそれぞれ見ることができる。
また、別の実施形態において、プロセッサ110は、光線投射経路が瞳孔の範囲内に位置するように、光線投射経路の少なくとも一部を再定義することもできる。図9Aは例として挙げられ、プロセッサ110は、投影を視点911_4~911_6に集中させるために、元は視点911_1~911_3及び911_7~911_9に対応する複数の光線投射経路を再定義することができ、プロセッサ110は、投影を視点921_4~921_6に集中させるために、元は視点921_1~921_3及び921_7~921_9に対応する複数の光線投射経路を再定義する。これにより、観察者の両目は、それぞれ、図11B及び図11Bに示したものと類似の、より鮮明なコンテンツを有する表示画像1130及び表示画像1140を見ることができる。
まとめると、本発明の1つまたは複数の実施形態で提供される、3次元画像表示機能を有する3次元画像表示装置及び3次元画像表示方法によれば、2次元画像を積層して、3次元画像データを生成し、観察者の目の位置が自動的に感知されて、観察者の目の位置に対応する光線投射経路が計算される。本発明の1つまたは複数の実施形態で提供される表示装置及び表示方法によれば、光線投射経路に対応する表示データをそれぞれ計算することができ、表示装置は、表示データに従って光線投射経路に沿って、異なるテキスト及び画像を観察者の目にそれぞれ投影することができ、これにより、観察者は立体的な表示効果で3次元画像を見ることができる。
本発明の実施形態及びその利点が以上のように開示されたが、当業者であれば、本発明の精神及び範囲、ならびに本発明の特徴から逸脱することなく、変更、置換、及び修正を行うことができ、実施形態の特徴は、任意に混合および置換して、他の新しい実施形態を形成することができることを理解されたい。また、本発明の保護範囲は、発明の詳細な説明に記載された特定の実施形態におけるプロセス、機器、製造、材料組成、装置、方法、及びステップに限定されない。当業者であれば、本明細書に記載の実施形態において実質的に同一の機能を実施するか、実質的に同一の効果を達成することができる限り、本発明の内容から、従来のまたは将来開発されるプロセス、機器、製造物、材料組成、装置、方法、及びステップを理解することができる。したがって、本発明の保護範囲は、前記プロセス、機器、製造物、材料組成、装置、方法、及びステップを含む。また、各請求項は別個の実施形態を構成し、本発明の保護範囲は、請求項と実施形態との組み合わせをさらに含む。本発明の保護範囲は、添付の特許請求の範囲によって定義されるべきである。
本発明の3次元画像表示機能を有する表示装置及び3次元画像表示方法によれば、観察者は、立体表示効果のある3次元画像を見ることができる。
100: 表示装置
110: プロセッサ
120: 記憶部
130, 430: 表示パネル
140: センサ
230: 表示パネル
231: アクティブ領域(AA)
232: 周辺領域
411, 412, 511, 911, 912: 目
411_1~411_3, 412_1~412_3, 911_1~911_9, 912_1~912_9, 1111_1~1111_9, 1121_1~1121_9: 視点
401, 405: 偏光板
402, 404: ガラス基板
403: 表示層
406: 接着層
407: レンズ基板
408: レンズ
501: 表示面
514: 光線投射経路
515: 開始位置
516: 終了位置
521: 3次元画像
522: ボクセル
700: 3次元画像
701, 702: 対象画像
710: 実際の表示画面
711-715, 931-939, 941-949, 1131-1139, 1141-1149: サブ画像
930, 940, 1030, 1040, 1130, 1140: 表示画像
V1-V5: 視角
P_1-P_N: 画素
S310-S350, S810-S820: ステップ
D_IM: 最大値
D_AC: 累積値
D_AV: 平均値
D_F: 第1の値
110: プロセッサ
120: 記憶部
130, 430: 表示パネル
140: センサ
230: 表示パネル
231: アクティブ領域(AA)
232: 周辺領域
411, 412, 511, 911, 912: 目
411_1~411_3, 412_1~412_3, 911_1~911_9, 912_1~912_9, 1111_1~1111_9, 1121_1~1121_9: 視点
401, 405: 偏光板
402, 404: ガラス基板
403: 表示層
406: 接着層
407: レンズ基板
408: レンズ
501: 表示面
514: 光線投射経路
515: 開始位置
516: 終了位置
521: 3次元画像
522: ボクセル
700: 3次元画像
701, 702: 対象画像
710: 実際の表示画面
711-715, 931-939, 941-949, 1131-1139, 1141-1149: サブ画像
930, 940, 1030, 1040, 1130, 1140: 表示画像
V1-V5: 視角
P_1-P_N: 画素
S310-S350, S810-S820: ステップ
D_IM: 最大値
D_AC: 累積値
D_AV: 平均値
D_F: 第1の値
Claims (20)
- 第1のボリュームデータを取得し、表示装置座標系において前記第1のボリュームデータ内の複数のボクセルの複数の座標をそれぞれ定義して、第2のボリュームデータを生成するステップと、
2つの第1の眼座標を取得し、前記2つの第1の眼座標を前記表示装置座標系に変換して、2つの第2の眼座標を生成するステップと、
前記表示装置の複数の画素に対応する複数の光線経路を計算するステップと、
前記複数の光線経路を前記2つの第2の眼座標と一致させて、複数の光線投射経路を決定ステップと、
前記第2のボリュームデータ及び前記複数の光線投射経路に従って、前記複数の画素に対応する複数のサンプリングデータを決定し、表示データを生成するステップと、を含む、3次元画像表示方法。 - 前記第1のボリュームデータは、多層2次元医用画像データから構成される、請求項1に記載の3次元画像表示方法。
- 前記2つの第1の眼座標を取得するステップは、
センサにより観察者の両目の位置を検出して、前記観察者の前記両目の位置に対応する前記2つの第1の眼座標を取得するステップを含む、請求項1に記載の3次元画像表示方法。 - 前記複数の光線経路は、前記複数の画素の複数のサブ画素に対応する、請求項1に記載の3次元画像表示方法。
- 前記複数の光線投射経路を決定するステップは、
前記2つの第2の眼座標に対応する視点をそれぞれ定義するステップと、
前記2つの第2の眼座標にそれぞれ対応する視点に前記複数の画素を位置合わせして、前記複数の光線投射経路を決定するステップと、を含み、
前記視点は瞳孔の範囲内に位置する、請求項1に記載の3次元画像表示方法。 - 前記複数の画素に対応する前記複数のサンプリングデータを計算する前記ステップは、
前記第2のボリュームデータ内の前記複数の光線投射経路のそれぞれを通過する前記複数のボクセルに対応する複数の数値を計算して、前記複数の画素に対応する複数の合成データを生成するステップと、
前記複数の合成データを前記表示データに変換するステップと、を含む、
請求項1に記載の3次元画像表示方法。 - 前記複数の光線投射経路を決定する前記ステップは、
瞳孔の範囲に従って、前記2つの第2の眼座標にそれぞれ対応する複数の視点を定義するステップと、
前記複数の画素を、前記2つの第2の眼座標にそれぞれ対応する前記複数の視点にそれぞれ位置合わせして、前記複数の光線投射経路を決定するステップと、を含む、
請求項1に記載の3次元画像表示方法。 - 前記複数の光線投射経路を決定するステップは、さらに、
前記複数の光線投射経路が前記瞳孔の範囲内に位置するように、前記複数の光線投射経路の少なくとも一部を再定義するステップを含む、請求項7に記載の3次元画像表示方法。 - 前記複数の視点の位置が線形または非線形の方法で再定義され、これにより、前記再定義された複数の視点に対応する前記複数の光線投射経路は、前記瞳孔の範囲内に位置する、請求項7に記載の3次元画像表示方法。
- 前記複数の光線投射経路を決定するステップは、さらに、
前記複数の光線経路の一部にそれぞれ対応する前記複数の画素をオフにする、を含み、
前記複数の光線経路の一部は前記瞳孔の範囲外に位置するが、前記複数の光線経路の一部の光線の範囲は前記瞳孔の範囲の境界をカバーする、請求項7に記載の3次元画像表示方法。 - 第1のボリュームデータを取得し、表示装置座標系において前記第1のボリュームデータ内の複数のボクセルの複数の座標をそれぞれ定義して、第2のボリュームデータを生成するように構成されたプロセッサと、と
前記プロセッサに結合され、2つの第1の眼座標を取得するように構成されたセンサと、
を備え、
前記プロセッサは、前記2つの第1の眼座標を前記表示装置座標系に変換して、2つの第2の眼座標を生成し、前記表示装置の複数の画素に対応する複数の光線経路を計算し、
前記プロセッサは、前記複数の光線経路を前記2つの第2の眼座標と一致させて、複数の光線投射経路を決定し、前記第2のボリュームデータ及び前記複数の光線投射経路に従って、前記複数の画素に対応する複数のサンプリングデータ決定し、表示データを生成する、
3次元画像表示機能を有する表示装置。 - 前記第1のボリュームデータは、多層2次元医用画像データから構成される、請求項11に記載の表示装置。
- 前記センサは、観察者の両目の位置を検出して、前記両目の位置に対応する前記2つの第1の眼座標を取得する、請求項11に記載の表示装置。
- 前記複数の光線経路は、前記複数の画素の複数のサブ画素に対応する、請求項11に記載の表示装置。
- 前記プロセッサは、前記2つの第2の眼座標に対応する視点をそれぞれ定義し、前記複数の画素を前記2つの第2の眼座標にそれぞれ対応する前記視点に位置合わせして、前記複数の光線投射経路を決定し、
前記視点は瞳孔の範囲内に位置する、請求項11に記載の表示装置。 - 前記プロセッサは、前記第2のボリュームデータにおける前記複数の光線投射経路のそれぞれを通過する前記複数のボクセルに対応する複数の数値を計算して、前記複数の画素に対応する複数の合成データを生成して、前記複数の合成データを表示データに変換する、請求項11に記載の表示装置。
- 前記プロセッサは、瞳孔の範囲に従って、前記2つの第2の眼座標にそれぞれ対応する複数の視点を定義し、前記2つの第2の眼座標に対応する前記複数の視点に前記複数の画素をそれぞれ位置合わせして、前記複数の光線投射経路を決定する、請求項11に記載の表示装置。
- 前記プロセッサは、前記複数の光線投射経路が前記瞳孔の範囲内に位置するように、前記複数の光線投射経路の少なくとも一部を再定義する、請求項17に記載の表示装置。
- 前記プロセッサは、線形または非線形の方法で前記複数の視点の位置を再定義し、これにより、前記再定義された複数の視点に対応する前記複数の光線投射経路は、前記瞳孔の範囲内に位置する、請求項17に記載の表示装置。
- 前記プロセッサは、前記複数の光線経路の一部にそれぞれ対応する前記複数の画素をオフにし、
前記複数の光線経路の一部は、前記瞳孔の範囲外に位置するが、前記複数の光線経路の一部の光線の範囲は、前記瞳孔の範囲の境界をカバーする、請求項17に記載の表示装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263311454P | 2022-02-18 | 2022-02-18 | |
US63/311,454 | 2022-02-18 | ||
CN202211519451.7A CN116634119A (zh) | 2022-02-18 | 2022-11-30 | 具有三维图像显示功能的显示装置及三维图像显示方法 |
CN202211519451.7 | 2022-11-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023121138A true JP2023121138A (ja) | 2023-08-30 |
Family
ID=84981423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023015743A Pending JP2023121138A (ja) | 2022-02-18 | 2023-02-04 | 3次元画像表示機能を有する表示装置及び3次元画像表示方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230267673A1 (ja) |
EP (1) | EP4270946A1 (ja) |
JP (1) | JP2023121138A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5631329B2 (ja) * | 2010-04-21 | 2014-11-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 立体映像表示装置、立体映像表示方法 |
WO2013102500A1 (en) * | 2012-01-06 | 2013-07-11 | Ultra-D Coöperatief U.A. | Display processor for 3d display |
KR101316795B1 (ko) * | 2012-02-02 | 2013-10-11 | 한국과학기술연구원 | 시역 평탄화 및 동적 크로스토크 최소화를 위한 무안경식 3차원 영상표시장치 |
KR101856568B1 (ko) * | 2013-09-16 | 2018-06-19 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 제어 방법 |
-
2023
- 2023-01-13 EP EP23151503.2A patent/EP4270946A1/en active Pending
- 2023-01-18 US US18/156,348 patent/US20230267673A1/en active Pending
- 2023-02-04 JP JP2023015743A patent/JP2023121138A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230267673A1 (en) | 2023-08-24 |
EP4270946A1 (en) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5808146B2 (ja) | 画像処理システム、装置及び方法 | |
US9578303B2 (en) | Image processing system, image processing apparatus, and image processing method for displaying a scale on a stereoscopic display device | |
JP6058290B2 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
US10417808B2 (en) | Image processing system, image processing apparatus, and image processing method | |
CN106456252A (zh) | 手术场景的定量三维成像 | |
CN106535806A (zh) | 来自多端口视角的手术场景的定量三维成像 | |
JP5818531B2 (ja) | 画像処理システム、装置及び方法 | |
US9426443B2 (en) | Image processing system, terminal device, and image processing method | |
WO2012137947A1 (ja) | 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム | |
US20130009957A1 (en) | Image processing system, image processing device, image processing method, and medical image diagnostic device | |
WO2013012070A1 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
JP2013005152A (ja) | 画像処理システム及び方法 | |
JP2013003783A (ja) | 画像処理システム、装置及び方法 | |
US9628773B2 (en) | Image processing apparatus, image processing method, and medical image diagnosis apparatus | |
JP2013123227A (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
JP2023121138A (ja) | 3次元画像表示機能を有する表示装置及び3次元画像表示方法 | |
CN112055194B (zh) | 三维空间激光投影切片显示装置 | |
JP2012244420A (ja) | 画像処理システム、装置及び方法 | |
TW202335491A (zh) | 具有三維影像顯示功能的顯示裝置及三維影像顯示方法 | |
US20230267674A1 (en) | Three-dimensional image display method and display device with three-dimensional image display function | |
JP5835980B2 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
TW202335492A (zh) | 三維影像顯示方法及具有三維影像顯示功能的顯示裝置 | |
CN116630498A (zh) | 三维图像显示方法及具有三维图像显示功能的显示装置 | |
JP2012234498A (ja) | 3d表示処理システム | |
JP2012231235A (ja) | 画像処理システム、装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |