JP2020526123A - 表示装置及び三次元画像のレンダリング方法 - Google Patents

表示装置及び三次元画像のレンダリング方法 Download PDF

Info

Publication number
JP2020526123A
JP2020526123A JP2019572442A JP2019572442A JP2020526123A JP 2020526123 A JP2020526123 A JP 2020526123A JP 2019572442 A JP2019572442 A JP 2019572442A JP 2019572442 A JP2019572442 A JP 2019572442A JP 2020526123 A JP2020526123 A JP 2020526123A
Authority
JP
Japan
Prior art keywords
pixel
display device
display
position value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019572442A
Other languages
English (en)
Other versions
JP7163325B2 (ja
Inventor
ムハメット クルシャット サリアースラン
ムハメット クルシャット サリアースラン
Original Assignee
ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベステル エレクトロニク サナイー ベ ティカレト エー.エス., ベステル エレクトロニク サナイー ベ ティカレト エー.エス. filed Critical ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Publication of JP2020526123A publication Critical patent/JP2020526123A/ja
Application granted granted Critical
Publication of JP7163325B2 publication Critical patent/JP7163325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/393Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the volume being generated by a moving, e.g. vibrating or rotating, surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

表示装置(100)は、表示面に配列されて画像データ(330)にしたがって三次元画像をレンダリングする複数の表示素子(101)を有する。各表示素子は、ピクセル(120)と、ピクセルを表示面の法線方向に動かすアクチュエータ(130)とを備える。各表示素子のアクチュエータは、ピクセルの位置値の入力に応じて、位置値にしたがってピクセルを表示面の法線方向に動かすよう動作可能である。

Description

本願開示は、表示装置および三次元画像のレンダリング方法に関する。
通常、ユーザの両目に異なる画像を提供して、立体感を通じて奥行きの錯覚を生じさせることにより三次元(「3D」)画像を生成する様々な装置が存在する。例えば、仮想現実ヘッドセット装置などのように、異なる画像を直接それぞれの目に提供してもよい。
あるいは、ユーザの目に届く前に、単一の入力画像の異なる成分を分離してもよい。これは、当業種で公知の、偏光メガネ、赤青メガネ等、数多くの異なる方法で実現可能である。
画像を見る者に、ヘッドセットを装着する必要なく3D画像を生成可能な他の装置も存在する。これらの装置は、通常一枚以上の特殊なパネルを備え、3D効果が得られる鑑賞領域は限定される。したがって、このような装置では、複数のユーザが同時に満足のいく3D効果を有する画像を生成するのは困難、または不可能である可能性がある。
本明細書に記載の第一の側面によれば、画像データにしたがって三次元画像をレンダリングする表示装置であって、表示面内に配列され、それぞれピクセルと前記ピクセルを前記表示面の法線方向に移動するためのアクチュエータとを備える複数の表示素子を備え、各表示素子の前記アクチュエータは、位置値の入力に応じて、前記位置値にしたがって前記ピクセルを前記表示面の法線方向に動かすよう動作可能である表示装置が提供される。
一例では、各表示素子は、前記ピクセルの移動を前記表示面の法線方向の固定距離内に限定するピクセルガイドを備える。
一例では、前記ピクセルガイドは透明である。
一例では、各表示素子の前記ピクセルは、輝度値の入力を受けて、輝度値にしたがって光を出力するよう動作可能である。
一例では、複数のピクセルは複数のカラーピクセルであり、各表示素子のカラーピクセルは、さらに色値の入力を受け、色値にしたがって光を出力するよう動作可能である。
一例では、各表示素子の前記ピクセルは、磁性を有し、または磁石を担持し、各表示素子の前記アクチュエータは、通電して前記ピクセルを移動させることのできる電磁コイルを備える。
一例では、表示装置は、さらに画像データと前記ピクセルの位置値とを含む画像ファイルの入力を受け、前記画像ファイルから前記ピクセルの位置値を抽出するよう構成されるピクセル位置抽出部を備える。
一例では、表示装置は、画像データの入力を受け、位置値生成アルゴリズムを前記画像データに適用することにより前記位置値を抽出するよう構成されるピクセル位置抽出部を備える。
一例では、前記位置値生成アルゴリズムは、前記画像の検出されたエッジ上のピクセルのセットを判定するエッジ検出アルゴリズムを含み、前記ピクセル位置抽出部は、前記セット中のピクセルにより大きな位置値を生成するよう構成される。
一例では、表示装置はさらに画像ファイルの入力を受け、そこからピクセルの輝度値を抽出するよう構成される輝度値抽出部を備える。
本明細書に記載の第二の側面によれば、表示面内に配列され、それぞれピクセルと前記ピクセルを前記表示面の法線方向に移動するためのアクチュエータとを備える複数の表示素子を備える表示装置上に三次元画像をレンダリングする方法であって、前記表示装置の少なくとも一つの表示素子のピクセルの位置値を入力し、前記少なくとも一つの表示素子の前記アクチュエータを制御して、前記位置値にしたがって前記ピクセルを前記表示面の法線方向に動かす方法が提供される。
一例では、各表示素子は、前記ピクセルの移動を前記表示面の法線方向の固定距離内に限定するピクセルガイドを備える。
一例では、前記ピクセルガイドは透明である。
一例では、各表示素子の前記ピクセルは、磁性を有し、または磁石を担持し、各表示素子の前記アクチュエータは、通電して前記ピクセルを移動させることのできる電磁コイルを備え、前記アクチュエータを制御して前記ピクセルを動かす工程は、前記電磁コイルに電流を制御可能に流す工程を含む。
一例では、この方法は、画像データと前記ピクセルの位置値とを含む画像ファイルを入力する工程を備え、前記ピクセルの位置値を入力する工程は、前記ピクセルの位置値を前記画像ファイルから抽出する工程を含む。
一例では、この方法は画像データを入力する工程を備え、前記ピクセルの位置値を入力する工程は、前記画像データに位置値生成アルゴリズムを適用して前記位置値を生成する工程を含む。
一例では、前記位置値生成アルゴリズムは、前記画像の検出されたエッジ上のピクセルのセットを判定するエッジ検出アルゴリズムを含み、前記ピクセル位置抽出部は、前記セット中のピクセルにより大きな位置値を生成するよう構成される。
一例では、この方法は、前記表示装置の少なくとも一つの表示素子のピクセルの輝度値を入力し、前記少なくとも一つの表示素子の前記ピクセルを制御して、前記輝度値にしたがって光を出力する工程を備える。
本願開示の理解を促進し、どのように実施形態が効果を奏するのかを示すため、例示として添付の図面が参照される。
ユーザによって見られる表示装置の例を示す。 図1の表示装置の模式的断面図である。 表示装置を含むコントロールシステムの例を示す。
既存の三次元(「3D」)表示装置は、人間のユーザが見る際に立体感の錯覚を生じさせるだけのものである。すなわち、実際に3D画像ないし映像を生成する表示装置はない。代わりに、ヘッドセット、パネル、及び/又はその他の装置により、通常右側と左側とで別々の画像を提供し、これらをユーザの脳内で効果的に組み合わされて画像が3Dであるとの錯覚が生じるように、ユーザのそれぞれの目に届く光を慎重に制御するのみである。これらの方法の問題点としては、メガネなどの頭部装着具が必要となること、及び/又は画質が低いことが挙げられる。
さらに、これら公知の方法は、これらの画像を見る人々の数にうまく対応することができない。(偏光メガネを使った3D映画などのように)3D画像それ自体が複数の人々に対して適切にレンダリング可能な場合であっても、わずかに異なる位置にいるにも関わらず各人は同じ3D画像を見ることになり、移動してもこの3D画像の見た目は変化しない。現実の3Dオブジェクトはこのような挙動をせず、見る角度に応じて見た目が異なる。
先行システムの別の問題は、特にそれぞれの目に提供される画像にわずかなずれ(mis−calibration)があった場合に、人によっては頭痛などを生じる可能性があることである。
本明細書に開示されるのは、(単なる立体的錯覚ではなく、画像の異なる部分の奥行を実際に変化可能という意味で)現実の3D画像をレンダリング可能な表示装置である。本願の表示装置により生成される3D画像は、したがって、同時に複数のユーザに三次元に見え、現実の三次元オブジェクトについて予期されるように見る角度により変化する点で上述の課題を克服する。これらの画像は、さらに、ユーザの視覚系をだますように設計された錯覚ではなく、ユーザが現実に3Dオブジェクトを見ていることから、ユーザに頭痛を生じさせない。
図1は、本明細書で述べられる側面にかかる、表示装置100の例を示す。この表示装置100は、テレビ、携帯電話、タブレット、コンピュータモニタスクリーン、またはディスプレイないしスクリーンの電子装置又はディスプレイないしスクリーンを備える他の電子装置に含まれてもよい。
表示装置100は、表示面上に配列された複数の表示素子101を備える。図2に示されるように、この表示装置100は、ユーザ200によって一方の側(視認側)から見られるように設計される。すなわち、この表示装置100は、ユーザ200により視認側から視認可能な画像を提供するよう構成される。
各表示素子101には、ピクセルが含まれる(下記詳述)。本明細書で用いられる「ピクセル」という用語は、表示装置100の個別の画素、すなわち、表示される画像の対応する画素を生成する表示装置の素子を意味する。このピクセルは、個別に特定の強度及び/又は色の光を出力するように制御可能である。したがって、ユーザ200に画像を表示するため、表示装置100に含まれる複数のピクセルは、それぞれ所望の画像がレンダリングされるように特定の性質の光を出力するように制御される。このように、表示装置100は静止画及び/又は動画であってもよい画像を表示するのに用いられる。
画像をレンダリングするための様々な種類のピクセルが当業種で公知である。液晶表示(LCD)装置等のような、いくつかの種類のピクセルは、バックライトとフィルタとを備え、光を選択的に透過して画像を生成する。有機発光ダイオード(OLED)等のような別の種類のピクセルはフィルタを備えず、直接光を発する。
表示装置100のピクセルは、表示面の法線方向に移動可能であり、これにより現実の3D画像をレンダリング可能である。図1は、表示装置100の4x4表示素子部分の分解図であり、3つの表示素子101x−zの各ピクセルは異なる色を出力し、かつ表示面に対して異なる高さまで上昇している。表示素子101zのピクセルは、表示面から移動しておらず、ゼロ「高さ」にとどまっている。表示素子101yのピクセルは、表示面からわずかに(ユーザ200側に、視認方向に)移動しており、したがって表示素子101Zのピクセルよりもユーザ200に近い。表示素子101xのピクセルは、図中で「最も高く」(表示面から最も遠い)、したがってユーザ200に最も近い。したがって、これらのピクセルがユーザ200から視認可能な3D画像を生成することが理解される。
図2は、表示装置100の一部の断面を示す。この図には、表示装置100の6つの表示素子101a−fが示される。
各表示素子101は、ピクセル120とアクチュエータ130とを備える。ピクセル120はピクセルガイド110内に配置され、ピクセルガイド110内で上下移動可能である。図1は、これを説明するため、各ピクセルガイド110a−f内で各種の異なる位置にあるピクセル120a−fを示す。
ピクセル120は、ユーザ200によって全体として見た場合に、表示装置100によって表示される画像の要素にしたがって光を発するように構成される。また、ピクセル120はピクセルガイド110内を(アクチュエータ130によって制御された状態で)自由に移動するよう構成される。要素を出力するため、ピクセル130は、例えばOLED等の光を発するよう構成されるピクセルを備えてもよい。ピクセル120はそれ自体で発光せず、バックライト等から発せられた光をフィルタするものでもよい。これらの場合、各ピクセル120は、それ自身のバックライトを備えるか、または表示装置100が、二つ以上のピクセル120にバックライトを提供する一つ以上のバックライトを備えてもよい。例えば、これらの場合、ピクセル120はLCDピクセルでもよい。表示装置100に含まれる複数のピクセル120は、全て同じ種類(例えば、全てOLEDピクセル)であってもよく、あるいは二つ以上の種類(例えば、いくつかのOLEDピクセルといくつかのLCDピクセルとが、同じ表示装置100に含まれる)であってもよい。
図2に示される例では、ピクセルガイド110は、プラスチック、金属、ガラス等の任意の適切な材料からなってもよい中空チューブであり、これによりアクチュエータ130(下記参照)により駆動された際、ピクセル120がピクセルガイド110内の空間を自由に移動可能となる。ピクセルガイド110は、上部(図2に示されるように、視認方向において、ユーザ200側、アクチュエータと反対側)が開口されても、閉じられていてもよい。ピクセルガイドが閉じられている場合、ピクセルガイドは封止され、またピクセルガイド110の内部が真空となるように真空状態とされてもよい。閉じられている場合、各ピクセルガイド110の少なくとも上部は、ピクセル120によって発生した光が透過してユーザ200の目に届くように透明とされる。最低限必要なのは、ユーザ200がピクセル120の強度の変化を識別可能となるよう、所定のピクセルガイド110の上部が内部に封止されるピクセル120によって発生する波長の光を十分に透過することである。
ピクセルガイド110の側面も同様であるのが好ましい。しかし、不透明な側面であっても、ユーザ200はピクセル120を自身の視野の中で異なる高さで視認可能であることから、3D画像を形成可能であろう。
ピクセルガイド110は短尺(例えば、1ないし2ミリメートル)であっても、より長尺(例えば、1ないし2センチメートル以上、10センチメートル以下)であってもよい。ピクセルガイド110の長さにより、ピクセル120が表示面の法線方向に移動可能な最大距離を決定可能であり、したがって表示装置100上でレンダリング可能な奥行の最大値も決定される。
図2に示されるようにアクチュエータ130をピクセルガイド110中に配置してもよく、あるいはピクセルガイド110の外部に配置してもよい。別の例では、所定の表示素子101のアクチュエータ130はピクセルガイド110と一体化されてもよい。重要なのは、アクチュエータ130が各ピクセルガイド110内で各ピクセル120を動かすよう動作可能であることである。
本明細書で用いられる「アクチュエータ」という用語は、ピクセルガイド110内でのピクセル120の位置を制御可能とする構造を指す。図2の例では、アクチュエータ130は、ピクセルガイド110の底部に配置された電磁コイルとされる。この例では、ピクセル120は(例えば、ピクセル120の底部に固定された永久磁石などの永久磁石部を含むことにより)磁性を有し、各ピクセル120の底部(アクチュエータ側)がアクチュエータ130に対してN極とされる。本明細書に記載される、電磁誘導によりピクセル120を動かすことに関する原理は、アクチュエータ130に対するS極となるピクセルにも同様に当てはまることが理解される。全てのピクセル120がアクチュエータ130に対して同じ磁極とされる必要がないことも理解されよう。
アクチュエータ130の電磁コイルに流れる電流により、磁石式ピクセル120が反応する磁場が誘導される。したがって、アクチュエータ130の電磁コイルを流れる電流を制御することにより、ピクセル120に加えられる力、したがってピクセルガイド110内のピクセル120の位置をこの電流により制御可能である。なお、電流の方向を逆転することで、誘導された磁場の極性が逆転し、したがって、ピクセル120の磁性が一定であることから、ピクセル120に加わる力の方向も逆転する。
図2の例では、アクチュエータ130を流れる電流は、図示された最初の3つの表示素子101a−cが各アクチュエータ130(各アクチュエータはS極を生じ、ピクセルのN極を引き付ける)に引き付けられるように設定される。図示された他の3つの表示素子101d−fのアクチュエータを流れる電流は、表示素子101a−cとは反対側に流れる。したがって、これらのアクチュエータは、各ピクセルと反発するN極を生じる。ピクセルガイド110内の各ピクセル120の高さは、アクチュエータ130に流れる電流の大きさを変化させることで制御可能である。この例では、一つのアクチュエータの磁場と隣接する磁場との干渉を減らすため、ピクセルガイド110を磁気シールドとなる材料から構成するのが好ましい。
ピクセル120を動かすのに利用可能なアクチュエータ130の他の例としては、微小電気機械システム(MEMS)およびナノマシンが挙げられる。表示装置100内の複数のアクチュエータ130は、複数の同じ種類のアクチュエータ130を含んでもよいし、2種類以上の異なる種類のアクチュエータを含んでもよい。
表示装置100の全てのセクションが移動可能である必要はない。すなわち、表示装置100のいくつかの表示素子110は、固定ピクセル、すなわち対応するアクチュエータを有さず、したがって表示面に対して移動しない通常のピクセルを備えてもよい。例えば、表示装置100の一つ以上のサブセクション中のいくつかの表示素子101(すなわち、各ピクセルの位置を変えるための対応するアクチュエータを有する表示素子101のみ)が3D効果を提供可能であり、他の表示素子は可能でないものとされてもよい。3Dレンダリング能力を有するサブセクションは、連続的であっても不連続であってもよい。例えば、表示装置100の中央サブセクションは、移動可能であり、したがって3D効果を提供可能なピクセルを有する表示素子101を備え、表示装置100の縁側の領域は、2D画像しか提供できない通常(固定)ピクセル素子を備えてもよい。
図3は、(図1及び図2を参照して上述された)表示装置100、コントローラ300、及びメディアソース320を含むシステムの例を示す。
コントローラ300は、一つ以上の有線または無線接続手段を介して表示装置100に接続される。コントローラ300は、別個の装置として提供されてもよく、あるいは表示装置100と一体的に提供されてもよい。コントローラ300は、メディアソース320にも接続される。メディアソース320は、例えばコントローラ300のローカルメモリまたはデータ記憶装置であってもよく、メモリ320は、コントローラ300に直接接続されるのが好ましい(例、ハードウェア接続手段)。
メディアソース320は、画像ファイル330を記憶する記憶位置またはデータ記憶装置を表す。メディアソース320は、CD、DVD、ブルーレイ(登録商標)ディスク、ハードディスク、フラッシュメモリ等の画像ファイル330を記憶しコントローラ300によりアクセス可能なコンピュータ読み取り可能な記憶媒体であってもよい。このような場合、メディアソース320は、コントローラ300に直接接続されてもよい。あるいは、メディアソース320は、インターネットなどのネットワークを介してアクセス可能な、データ記憶機能を有する一つ以上のサーバであってもよい。
画像ファイル330は、表示装置100上に提供される画像のパラメータを定義するコンピュータ読み取り可能なファイルである。これは、静止画(例えば、写真または他のグラフィック)であってもよく、または動画(例えば、フィルム/映画、又はその他の動画)であってもよい。
通常の画像ファイルは、当業種で公知であるように、少なくともディスプレイスクリーン上の複数のピクセルにより提供される個別の輝度値を定義する輝度情報を含み、色度またはその他の色情報をも定義してもよい。これらの値は、画像ファイル330内に記憶される際、符号化及び/又は圧縮されてもよい。
本明細書に記載される表示装置100によってレンダリングされる画像ファイル330は、本明細書に記載されるように、表示装置100を画像ファイル330によって定義される画像をレンダリングするよう制御する際にコントローラ300によって用いられるピクセル位置情報(ピクセル高さ情報)をさらに定義する点で、通常の画像ファイルと異なってもよい。あるいは、画像ファイル330は通常の画像ファイルであってもよく、ピクセル位置情報は、下記の例のように画像ファイル330から生成されてもよい。
コントローラ300は、入力部301と、画像データ抽出部302と、ピクセル位置データ抽出部303と、出力部304とを備える。入力部301は、画像データ抽出部302とピクセル位置データ抽出部303とのそれぞれに動作可能に接続される。画像データ抽出部302とピクセル位置データ抽出部303とは、それぞれ出力部304に動作可能に接続される。
図3に示されるコントローラ300とその部品は、コントローラ300の機能を説明するための目的で模式的ブロック図としてあらわされる。したがって、コントローラ300の各部品は、本明細書中で付与される機能を実行するための機能ブロックであると理解される。各部品は、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせとして実装されてよい。加えて、コントローラ300の別個の部品として記載されるものの、機能のいくつかまたはすべてを単一のハードウェア、ソフトウェア、またはファームウェアとして実行してもよい。例えば、画像データ抽出部302およびピクセル位置データ抽出部303は、一つ以上のプロセッサ上で実行される単一のソフトウェアとして実装されてもよい。
入力部は、メディアソース320からのデータを受け取るための一つ以上の物理的(例えば、ネットワークポート)または論理的(例えば、ハードワイヤード接続手段)入力モジュールを備える。動作時、入力部301には画像ファイル330が入力され、この画像ファイル330を画像データ抽出部302とピクセル位置データ抽出部303とのそれぞれに提供する。入力部301は、画像ファイル330を画像データ抽出部302及びピクセル位置データ抽出部303に提供する前に、圧縮などの一つ以上の事前処理を画像ファイル330に行ってもよい。
画像データ抽出部302は、入力部301から画像ファイル330を受け取り、これを処理して少なくとも表示装置100のピクセル120に適用される輝度情報及び、選択的に色情報を抽出するよう構成される。これは、画像ファイル330から、ピクセル120の一部または全部について出力された輝度を表す値を決定して画像のレンダリングに寄与する工程を含んでもよい。当業種で公知の標準画像ファイルでは、これは、(映像ファイルについては時間経過とともに変化する成分を含む)各ピクセルの8ビット値(0−255の間)等の値を記憶することにより実現される。この値は、ピクセルをどれだけ明るく制御すべきか(例えば、0の値は「off」または「最小輝度」を表し、255の値は「最大輝度」を表す)を定義する。同様の原理がカラー画像の色値にも当てはまる。画像ファイル330は、これら公知の方法のいずれによって画像データを記憶してもよい。画像データ抽出部302は、したがって、画像ファイルを復号し、ディスプレイのピクセルを制御して(二次元)画像の輝度及び色を発するよう制御する画像復号器の通常の機能を表す。
ピクセル位置抽出部303は、入力部301から画像ファイル330を受け取り、これを処理して表示装置100のピクセル120の少なくとも一部に適用される位置情報を抽出するよう構成される。位置情報は、ディスプレイの平面内のピクセルの位置を指すのではなく、ピクセルの表示面からの(表示面の法線方向の)出入りを指すことから、「高さ」情報と呼んでもよい。したがって、「より高い」位置のピクセルは、表示装置100の視認側において「より低い」位置のピクセルよりもユーザ200により近い。
この高さ情報は、上述の画像情報とともに画像ファイル330内に符号化されてもよい。例えば、高さ値は、(映像ファイルについては時間経過とともに変化する成分を含む)各ピクセルの8ビット値(0−255の間)等の値として符号化されてもよい。この値は、ピクセルを表示面からどれだけ遠く制御すべきか(例えば、0の値は「ゼロ」または「最小高さ」を表し、255の値は「最大高さ」を表す)を定義する。
あるいは、ピクセル位置抽出部303は、通常の画像ファイル(すなわち、このような高さを明示的に定義しない画像ファイル)からピクセル高さ値を抽出してもよい。これは、例えば画像にエッジ検出処理を施し、検出されたエッジ上の全てのピクセル120に最大高さを設定するよう定義するピクセル高さ情報を生成することによって実現されてもよい。例えば、モバイル装置のアイコン及びその他のボタンの輪郭をスクリーンの表面から浮き上がらせ、ユーザ200がより容易に感知し選択できるようにしてもよい。別の例として、テキストの輪郭をスクリーンの表面から浮き上がらせてもよい。これは、視覚障碍者であるユーザにとって特に有益である。テキストは、例えば点字テキストであってもよい。
抽出された画像及び高さ情報は、出力部304に提供され、有線又は無線接続手段を介して表示装置100の複数の表示素子110に送られる。これにより、コントローラ300は、表示素子110を制御して画像情報中で定義された対応する輝度を出力し、またそのピクセル120を制御して高さ情報中で定義された高さに移動させ、表示装置100上で現実の3D画像をレンダリングする。
上記の大部分は、カラーディスプレイを記載することなく説明されている。しかし、各表示素子101のピクセル120は、特定の色光を出力するように設けられてもよい。したがって、本明細書に記載された原理は、カラーピクセルの単一のカラーユニットにも直接適用される。すなわち、本明細書に記載された表示素子101の赤・緑・青の三つの組で単一のカラーピクセルを構成してもよい。したがって、表示装置100によりフルカラー3D画像をレンダリング可能である。
プロセッサ、プロセシングシステムまたは回路と本明細書に記載されるものは、実務上、単一のチップまたは集積回路により実装されても、複数のチップまたは集積回路により実装されてもよく、あるいはチップセット、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、デジタル・シグナル・プロセッサ(DSP)、グラフィクス・プロセッシング・ユニット(GPUs)等によって実装されてもよい。このチップまたは複数のチップは、実施形態にしたがって動作するよう構成可能な少なくとも一つ以上のデータプロセッサおよび少なくとも一つ以上のデジタル・シグナル・プロセッサを実装するための回路(ならびに場合によってファームウェア)を備えてもよい。この点に関し、例示的実施形態は、少なくとも部分的に(不揮発性)メモリーに記憶されプロセッサにより実行可能なコンピュータソフトウェア、ハードウェア、または実体的に記憶されたソフトウェアとハードウェア(および実体的に記憶されたファームウェア)との組み合わせにより実装されてもよい。
データ記憶用のデータ記憶装置について本明細書に記載する。これは、単一の装置または複数の装置により提供されてもよい。適切な装置としては、例えばハードディスクおよび不揮発性半導体メモリーが挙げられる。
本明細書に記載される例は、本発明の実施形態を説明するための例として理解されるべきである。別の実施形態および例が想定される。一つの例または実施形態に関して記載される任意の特徴は、単独で、またはほかの特徴と組み合わせて使用可能である。加えて、一つの例または実施形態に関連して記載された任意の特徴は、他の例または実施形態、または他の例または実施形態の任意の組み合わせのいずれかの特徴と組み合わせても使用可能である。さらに、本明細書に記載されない均等物および変形例も、請求項に定義される本発明の範囲内で利用可能である。

Claims (15)

  1. 画像データにしたがって三次元画像をレンダリングする表示装置であって、
    表示面内に配列され、それぞれピクセルと前記ピクセルを前記表示面の法線方向に移動させるためのアクチュエータとを備える複数の表示素子を備え、
    各表示素子の前記アクチュエータは、位置値の入力に応じて、前記位置値にしたがって前記ピクセルを前記表示面の法線方向に動かすよう動作可能であることを特徴とする表示装置。
  2. 請求項1に記載の表示装置であって、各表示素子は、前記ピクセルの移動を前記表示面の法線方向の固定距離内に限定するピクセルガイドを備えることを特徴とする表示装置。
  3. 請求項2に記載の表示装置であって、前記ピクセルガイドは透明であることを特徴とする表示装置。
  4. 請求項1から請求項3のいずれか一項に記載の表示装置であって、各表示素子の前記ピクセルは、磁性を有し、または磁石を担持し、各表示素子の前記アクチュエータは、通電して前記ピクセルを移動させることのできる電磁コイルを備えることを特徴とする表示装置。
  5. 請求項1から請求項4のいずれか一項に記載の表示装置であって、画像データと前記ピクセルの位置値とを含む画像ファイルの入力を受け、前記画像ファイルから前記ピクセルの位置値を抽出するよう構成されるピクセル位置抽出部を備えることを特徴とする表示装置。
  6. 請求項1から請求項5のいずれか一項に記載の表示装置であって、画像データの入力を受け、位置値生成アルゴリズムを前記画像データに適用することにより前記位置値を抽出するよう構成されるピクセル位置抽出部を備えることを特徴とする表示装置。
  7. 請求項6に記載の表示装置であって、前記位置値生成アルゴリズムは、前記画像の検出されたエッジ上のピクセルのセットを判定するエッジ検出アルゴリズムを含み、前記ピクセル位置抽出部は、前記セット中のピクセルにより大きな位置値を生成するよう構成されることを特徴とする表示装置。
  8. 表示面内に配列され、それぞれピクセルと前記ピクセルを前記表示面の法線方向に移動させるためのアクチュエータとを備える複数の表示素子を備える表示装置上に三次元画像をレンダリングする方法であって、
    前記表示装置の少なくとも一つの表示素子のピクセルの位置値を入力し、
    前記少なくとも一つの表示素子の前記アクチュエータを制御して、前記位置値にしたがって前記ピクセルを前記表示面の法線方向に動かすことを特徴とする方法。
  9. 請求項8に記載の方法において、各表示素子は、前記ピクセルの移動を前記表示面の法線方向の固定距離内に限定するピクセルガイドを備えることを特徴とする方法。
  10. 請求項9に記載の方法であって、前記ピクセルガイドは透明であることを特徴とする方法。
  11. 請求項8から請求項10のいずれか一項に記載の方法であって、各表示素子の前記ピクセルは、磁性を有し、または磁石を担持し、各表示素子の前記アクチュエータは、通電して前記ピクセルを移動させることのできる電磁コイルを備え、前記アクチュエータを制御して前記ピクセルを動かす工程は、前記電磁コイルに電流を制御可能に流す工程を含むことを特徴とする方法。
  12. 請求項8から請求項11のいずれか一項に記載の方法であって、画像データと前記ピクセルの位置値とを含む画像ファイルを入力する工程を備え、前記ピクセルの位置値を入力する工程は、前記ピクセルの位置値を前記画像ファイルから抽出する工程を含むことを特徴とする方法。
  13. 請求項8から請求項12のいずれか一項に記載の方法であって、画像データを入力する工程を備え、前記ピクセルの位置値を入力する工程は、前記画像データに位置値生成アルゴリズムを適用して前記位置値を生成する工程を含むことを特徴とする方法。
  14. 請求項13に記載の方法であって、前記位置値生成アルゴリズムは、前記画像の検出されたエッジ上のピクセルのセットを判定するエッジ検出アルゴリズムを含み、前記ピクセル位置抽出部は、前記セット中のピクセルにより大きな位置値を生成するよう構成されることを特徴とする方法。
  15. 請求項8から請求項14のいずれか一項に記載の方法であって、
    前記表示装置の少なくとも一つの表示素子のピクセルの輝度値を入力し、
    前記少なくとも一つの表示素子の前記ピクセルを制御して、前記輝度値にしたがって光を出力することを特徴とする方法。
JP2019572442A 2017-07-03 2017-12-28 表示装置及び三次元画像のレンダリング方法 Active JP7163325B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17179371.4 2017-07-03
EP17179371.4A EP3425907B1 (en) 2017-07-03 2017-07-03 Display device and method for rendering a three-dimensional image
PCT/EP2017/084723 WO2019007539A1 (en) 2017-07-03 2017-12-28 DISPLAY DEVICE AND METHOD FOR RENDERING A THREE DIMENSIONAL IMAGE

Publications (2)

Publication Number Publication Date
JP2020526123A true JP2020526123A (ja) 2020-08-27
JP7163325B2 JP7163325B2 (ja) 2022-10-31

Family

ID=59298254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019572442A Active JP7163325B2 (ja) 2017-07-03 2017-12-28 表示装置及び三次元画像のレンダリング方法

Country Status (7)

Country Link
US (1) US11259011B2 (ja)
EP (1) EP3425907B1 (ja)
JP (1) JP7163325B2 (ja)
KR (1) KR102461211B1 (ja)
CN (1) CN110832853A (ja)
TR (1) TR201711013A2 (ja)
WO (1) WO2019007539A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311384A (ja) * 1987-06-15 1988-12-20 稲本 肇 3次元ディスプレイ装置
JPH0414086A (ja) * 1990-05-08 1992-01-20 Sony Corp 立体表示装置
JP2001514767A (ja) * 1997-03-03 2001-09-11 リチャード・ジェイ・ホーガン 可動3次元ディスプレイ
JP2002044685A (ja) * 1995-01-04 2002-02-08 Visualabs Inc 符号化方法
JP2002525990A (ja) * 1998-09-22 2002-08-13 ホルガー チェルズィッヒ アルフ 3次元画面描画装置
US6462840B1 (en) * 1999-05-17 2002-10-08 Grigory Kravtsov Three dimensional monitor and tactile scanner

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001126085A (ja) * 1999-08-16 2001-05-11 Mitsubishi Electric Corp 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法
US8289274B2 (en) * 2004-01-13 2012-10-16 Sliwa John W Microdroplet-based 3-D volumetric displays utilizing emitted and moving droplet projection screens
US7298370B1 (en) * 2005-04-16 2007-11-20 Apple Inc. Depth ordering of planes and displaying interconnects having an appearance indicating data characteristics
US8698844B1 (en) * 2005-04-16 2014-04-15 Apple Inc. Processing cursor movements in a graphical user interface of a multimedia application
US8038304B2 (en) * 2006-07-03 2011-10-18 Panasonic Corporation Projector system and video projection method
US20080043003A1 (en) * 2006-08-17 2008-02-21 Vogsland Robin O Smart display pixel
US20100118117A1 (en) * 2006-10-26 2010-05-13 Seereal Technologies S.A. 3d content generation system
WO2008049912A1 (en) * 2006-10-26 2008-05-02 Seereal Technologies S.A. Holographic display device
US8573979B2 (en) * 2007-11-21 2013-11-05 Intel-Ge Care Innovations Llc Tactile display to allow sight impaired to feel visual information including color
JP4760892B2 (ja) * 2008-10-10 2011-08-31 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
WO2010061689A1 (ja) * 2008-11-26 2010-06-03 日本電気株式会社 表示装置、端末装置および表示方法
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
WO2011029409A1 (zh) 2009-09-14 2011-03-17 Wang Xiaoguang 裸眼3d立体图像还原显示方法
US8552883B1 (en) * 2010-02-04 2013-10-08 George C. Su Electronic three-dimensional surface device
US8943541B2 (en) * 2010-10-11 2015-01-27 Eldon Technology Limited Holographic 3D display
JP5289416B2 (ja) * 2010-11-10 2013-09-11 株式会社東芝 立体画像表示装置、方法およびプログラム
KR101221513B1 (ko) * 2010-12-13 2013-01-21 가천대학교 산학협력단 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법
JP5414946B2 (ja) * 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
EP2618586B1 (en) * 2012-01-18 2016-11-30 Nxp B.V. 2D to 3D image conversion
US9225972B2 (en) * 2012-08-10 2015-12-29 Pixtronix, Inc. Three dimensional (3D) image generation using electromechanical display elements
JP6029394B2 (ja) * 2012-09-11 2016-11-24 株式会社キーエンス 形状測定装置
JP6057647B2 (ja) * 2012-09-27 2017-01-11 三菱電機株式会社 表示装置
GB201218024D0 (en) * 2012-10-08 2012-11-21 Moya Lledo Oscar A Screen in three dimensions
WO2014130039A1 (en) 2013-02-21 2014-08-28 Navteq B.V. Relaying 3d information by depth simulation using 2d pixel displacement
US8994828B2 (en) * 2013-02-28 2015-03-31 Apple Inc. Aligned video comparison tool
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
US10592064B2 (en) * 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
TWI526990B (zh) * 2014-09-15 2016-03-21 三緯國際立體列印科技股份有限公司 用以轉換二維影像為三維模型的影像處理方法
CN104571511B (zh) * 2014-12-30 2018-04-27 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法
CN205643887U (zh) * 2016-03-25 2016-10-12 许家琪 一种场真立体显示装置
US10096106B2 (en) * 2016-11-10 2018-10-09 General Electric Company Combined medical imaging
US10453193B2 (en) * 2017-05-05 2019-10-22 General Electric Company Methods and system for shading a two-dimensional ultrasound image
JP6970551B2 (ja) * 2017-07-31 2021-11-24 株式会社キーエンス 形状測定装置及び形状測定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311384A (ja) * 1987-06-15 1988-12-20 稲本 肇 3次元ディスプレイ装置
JPH0414086A (ja) * 1990-05-08 1992-01-20 Sony Corp 立体表示装置
JP2002044685A (ja) * 1995-01-04 2002-02-08 Visualabs Inc 符号化方法
JP2001514767A (ja) * 1997-03-03 2001-09-11 リチャード・ジェイ・ホーガン 可動3次元ディスプレイ
JP2002525990A (ja) * 1998-09-22 2002-08-13 ホルガー チェルズィッヒ アルフ 3次元画面描画装置
US6462840B1 (en) * 1999-05-17 2002-10-08 Grigory Kravtsov Three dimensional monitor and tactile scanner

Also Published As

Publication number Publication date
US20200221072A1 (en) 2020-07-09
CN110832853A (zh) 2020-02-21
EP3425907B1 (en) 2022-01-05
JP7163325B2 (ja) 2022-10-31
KR102461211B1 (ko) 2022-10-31
US11259011B2 (en) 2022-02-22
KR20200020936A (ko) 2020-02-26
TR201711013A2 (tr) 2019-01-21
WO2019007539A1 (en) 2019-01-10
EP3425907A1 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
US10366642B2 (en) Interactive multiplane display system with transparent transmissive layers
US8711061B2 (en) Multiplanar image displays and media formatted to provide 3D imagery without 3D glasses
KR102185130B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
US9524700B2 (en) Method and system for displaying images of various formats on a single display
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
US11310487B1 (en) Frustum change in projection stereo rendering
JP2015127799A (ja) 表示装置、及び表示装置用枠
US10636125B2 (en) Image processing apparatus and method
CN107430287A (zh) 主动式快门头戴式显示器
CN104836998A (zh) 显示设备及其控制方法
KR102175813B1 (ko) 입체 영상 표시 장치 및 영상 처리 방법
Sandnes et al. Head-mounted augmented reality displays on the cheap: a DIY approach to sketching and prototyping low-vision assistive technologies
US11375179B1 (en) Integrated display rendering
KR20210092228A (ko) 밝기 제어 환경에서 로컬 디밍을 위한 장치 시스템 및 방법
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
US11936840B1 (en) Perspective based green screening
JP7163325B2 (ja) 表示装置及び三次元画像のレンダリング方法
CN108241478B (zh) 显示装置和显示方法
JP2019144572A (ja) 表示装置
CN102883174A (zh) 一种2d转3d的方法
KR102334031B1 (ko) 무안경 입체영상표시장치 및 그 구동방법
KR101690218B1 (ko) 인터랙티브 다 시점 영상 컨텐츠 제공 시스템
US11682162B1 (en) Nested stereoscopic projections
KR20190085567A (ko) 멀티레이어 기반 입체화상 형성장치
CN102630030A (zh) 一种图像2d 到3d 转换方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220304

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150