JP2017522591A - 画素配分最適化を用いた方法およびディスプレイ装置 - Google Patents

画素配分最適化を用いた方法およびディスプレイ装置 Download PDF

Info

Publication number
JP2017522591A
JP2017522591A JP2016573551A JP2016573551A JP2017522591A JP 2017522591 A JP2017522591 A JP 2017522591A JP 2016573551 A JP2016573551 A JP 2016573551A JP 2016573551 A JP2016573551 A JP 2016573551A JP 2017522591 A JP2017522591 A JP 2017522591A
Authority
JP
Japan
Prior art keywords
display device
image
viewer
optical component
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016573551A
Other languages
English (en)
Other versions
JP2017522591A5 (ja
JP6684728B2 (ja
Inventor
テイエボー,シルバイン
ブロンデ,ローレント
タピエ,テイエリー
ドラジツク,バルター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2017522591A publication Critical patent/JP2017522591A/ja
Publication of JP2017522591A5 publication Critical patent/JP2017522591A5/ja
Application granted granted Critical
Publication of JP6684728B2 publication Critical patent/JP6684728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • G06T3/053
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22Circuits for controlling dimensions, shape or centering of picture on screen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

ディスプレイ装置(100)上に画像を提示する方法は、視聴者に対し、ディスプレイ装置上の画像の或る領域を画像のその他の領域よりも高い画素密度で提示するように、画像に幾何学的変換を適用することによって画像を修正すること(S18)を含む。【選択図】図10

Description

一般的には、本願の開示内容は、画素配分最適化を用いたディスプレイ装置に関する。ディスプレイ装置は、ヘッド・マウント・ディスプレイ(HMD)などのユーザが身につけることのできるディスプレイ装置であってもよいが、このような類のディスプレイ装置に限られるものではない。
これらのHMD装置は、主に、ディスプレイ・モジュール(例えば、LCDまたはOLED)および光学器で構成される。この光学器は、通常、光を、(とても近くに置かれた画面に対して眼による遠近調節を可能にするために)あたかもこの光が視聴者から無限遠の場所、または、長距離(例えば、人間の眼の過焦点距離)離れた場所で生成されたかのように光を修正し、視野を拡大して没入感を向上させるように設計されている。
HMD装置は、ユーザの頭部のポジションを測定する慣性測定ユニット(IMU)などのセンサに結合されていてもよい。このセンサのおかげで、ディスプレイを介してユーザに提供される映像コンテンツは、ユーザの頭部の方向によって異なることができ、ユーザは、仮想世界で移動し、没入感を得ることができる。
米国特許出願公開第2012/0154277号(US2012/0154277A1)は、ユーザの焦点領域を判定し、最適化された画像の部分をユーザの焦点領域に結びつけるために、ユーザの頭部および眼のポジションを追跡することを開示している。しかしながら、ディスプレイ装置に出力すべき画像の画素配分を最適化するコンセプトは、米国特許出願公開第2012/0154277号では考慮されていない。
本願の開示内容の一態様によれば、ディスプレイ装置上に画像を提示する方法が提供される。この方法は、視聴者に対し、ディスプレイ装置上の画像の或る領域が画像のその他の領域よりも高い画素密度で提示されるように、画像に幾何学的変換を適用することによって画像を修正することを含む。
本願の開示内容の別の態様によれば、プロセッサを備えた、画像を提示するディスプレイ装置が提供される。このプロセッサは、視聴者に対し、ディスプレイ装置上の画像の或る領域が画像のその他の領域よりも高い画素密度で提示されるように、画像に幾何学的変換を適用することによって画像を修正するように構成されている。
本願の開示内容の目的および利点は、請求の範囲に具体的に規定された要素および組み合わせによって実現、達成される。
上述した一般的な説明および後述する詳細な説明は例示的に説明したものであり、請求の範囲に記載の開示内容を限定するものではないことが理解できよう。
本願の開示内容の態様、特徴および利点は、添付図面と関連した以下の説明から明らかになるであろう。
中心窩の周囲の角度位置に依存する視力を表す図である。 本願の開示内容の一実施形態の概略図である。 光学素子によって適用される歪みを表す図である。 本願の開示内容の一実施形態による、画像に適用される幾何学的変換処理を表す図である。 オリジナルのシステムと同様の機能を有するレンズの設計を表す図である。 本願の一実施形態によるHMD装置の光学システム全体を示す図である。 ディスプレイ上のフィールド位置に応じてプロットされる、知覚される視野を示す図である。 本発明の開示内容の一実施形態に係るディスプレイ装置を模式的に表す図であり、図8(a)は、ディスプレイ装置の平面図をであり、図8(b)は、ディスプレイ装置の正面図である。 図8に示された制御モジュールのコンポーネントを示すブロック図である。 本発明の開示内容の一実施形態に係るディスプレイ装置によって実行される処理の例を示すフローチャートである。
以下の説明において、本願の開示内容の例示的な実施形態の種々の実施態様について記載する。説明の目的で、完全な理解が得られるように、特定の構成および詳細を記載する。しかしながら、当業者にとっては、本願の開示内容が本明細書に記載された特定の詳細に限定されることなく実施される場合があることも明らかであろう。
本願の開示内容の実施形態のコンセプトの理解を容易にするために、まず、人間の視覚システムの幾らかの特徴について紹介する。
図1は、ウィキペディア(Wikipedia)の「中心窩(fovea centralis)」に関連するページから引用した中心窩の角度位置に依存する視力を表している。中心窩は、錐体細胞の密度が最高となる眼の中心領域である。この領域は、視力が最大限となる2,3°に相当する。この視力は、視野が拡大すると急激に低下する(図1参照)。これは、視聴者にイマージョンの感覚(没入感)を持たせるには大きな視野が必要であっても、周辺視野では詳細を知覚できないことを意味する。
分離した別個の画素によって画像を生成するディスプレイ装置の解像度は、この視力特性に基づいている。すなわち、観察の距離に依存して、画素は、その空間周波数が眼の分解能よりも高い場合には、知覚することができない。
人間の眼は、中心窩領域では、1分の弧角によって分離された2つの点を概ね区別することができる。これは、例えば、93cmの幅を有する1920×1080画素42インチのHD(高精細度)画面を、視力に概ね対応して、中心領域では1度毎に60画素の画素密度を有するように、166cmの距離で視聴できることを意味する。
ここで、1280×800画素の解像度を有する例示的なHMD装置に関連した例について述べる。この例において、水平視野は、概ね90°(またはソースに依存して、110°)であり、1つの眼毎の理論的な画素数は、640である(しかしながら、実際には500に近くなることが多い)。500個の画素が90°にわたって分布していることは、1度毎に5個未満の画素が存在する画素密度となることを示唆している。すなわち、1分の角度の視力に対し、ナイキストの標本化定理で必要とされるものの10分の1となる。このHMDの次世代版が1920×1080画素を有するディスプレイに基づくものとする場合であっても、解像度が中心窩領域における視力をはるかに下回るものとすべきである。
逆に言えば、視力は視野周辺部では大幅に減少するため、周辺視野領域における画素密度は、人間の眼で知覚するには高すぎることとなる。
本開示内容は、ディスプレイの或る領域で画素密度を増加させ、画素密度が増加した領域の周辺領域でこの密度を減少させるHMD装置などのディプレイ装置を例示的に記載するものである。眼は、ディスプレイによって提供されるコンテンツ内で移動可能であるため、密度のこの増加は、中心窩に対応する極端に狭い領域に限定されるものではないが、頭部を動かすまでにはいたらない、平均的な眼の動きに対応する領域に適用される。これは、ユーザが高密度情報を有する領域の周囲に自己の視線を動かし、密度の低い情報を提供する広視野により、没入感を楽しめることを意味する。
慣性測定ユニット(IMU)に結合されたHMD装置の場合には、ユーザは、自己の頭部を周辺部の低解像度で知覚された物体または領域の中心に動かし、次に、この物体または領域上の解像度を劇的に増加させることができる。
オキュラス・リフト(Oculus Rift)HMDなどの現在利用可能なHMD装置上で、ディスプレイ装置によって生成された画素は、光学器によって、視野全体にわたってほとんど一定の密度になるように配分させられる。この光学器はシンプルであるため、表示されるべき映像コンテンツに逆変換を適用することによって、信号処理によって補償されなければならない強いピンクッション歪を導入する。視聴者は、HMDの中心領域においても、大きな視野を有するが解像度の低い、映像またはグラフィックの没入感のあるコンテンツを知覚することができる。
「中心窩(foveation)」と呼ばれるものは、画像取得の技術分野において知られている。画像は、センサの中心領域においてフォトサイトの密度が高くなっている中心窩センサによって取得することができ、または、中心窩レンズに関連付けられた標準的なセンサを用いて取得することもできる。
中心窩イメージングは、画像圧縮、画像送信、または、視線追従型ディスプレイにわたった信号処理の技術分野においても知られている。この最後に挙げた用途では、視線追跡装置は、ユーザが見ている場所を検出し、この領域内に、周辺部(低周波のみ、ブレ)と比べて、より多くの情報(高周波を含む画像部分)が動的に表示される。
本開示内容において、ディスプレイ上の或る領域における画素密度を増加させ、ディスプレイ上のこの領域の周辺の領域における画素密度を減少させるように構成された(または、適応された)システムが提案される。しかしながら、詳細(高周波)が関心領域に表示され、ブレ情報(または低周波のみ)が一定の画素密度で周辺部に表示される中心窩画像とは異なり、提案されるシステムは、画素密度自体を修正することに留意されたい。
画素の配分は、光学器によって適用される変換Tによって修正することができる。この場合、表示されるべきコンテンツは、逆幾何学的変換T−1によって修正される必要がある。そして、画素密度の増加により知覚される輝度が増加し、画素密度の減少により知覚される輝度が減少する。輝度のこの修正は、ディスプレイによって、または、表示されるべき画像に適用される信号処理によって、全体的に、または、部分的に、補償される必要がある。
図2は、本願の開示内容の一実施形態に係る概略図を示している。
従来の光学素子は、視聴者の眼による遠近調節を可能にするために、光を修正し、あたかもこの光が視聴者から無限遠の場所(または、有限であるが長距離離れた場所)で生成されたかのようにする。これにより、さらに、ディスプレイの視野が拡大し、視聴者による没入感を改善することができる。
従来技術に追加して、本願の開示内容の非限定的な実施形態は、光学素子が(図3に示されているような)歪みを適用し、中心に対する距離に依存して、知覚される画素密度を修正することを提案する。距離は、水平軸によって、径方向の場合もあれば、軸方向の場合もある。図4から分かるように、本願の開示内容の実施形態の光学素子によって引き起こされる歪みは、画素の配分をもたらし、すなわち、ディスプレイ上に表示される画素の一定の密度が修正された画素密度に変換され、増加した画素密度が視野の中心領域で知覚される。
図4は、本願の開示内容の一実施形態による、画像に適用される幾何学的変換処理を示している。入力画像Iは、ディスプレイに供給される前に、関数T−1(I)によって変換され、中心領域内の詳細を保持する。この変換は、本願の開示内容の実施形態の光学素子によって適用される逆変換関数に対応していなければならない。これは、例えば、多項式関数によって近似化できる。光学素子は、視野の中心である(図4参照)中心領域(βの周辺)の情報が高密度となるように画像Iを視聴者に提供するために、歪みT(I1)を適用する。
視聴者によって知覚される画素密度は、図4の曲線によって表される。「α」は、βの周辺の位置を表しており、一定の画素密度と比べると、画素密度が増加または減少する制限位置を規定している。この曲線は、光学的な変換に依存し、ここでは、例として与えられている。知覚される画素の密度は、例えば、最大の視野に達するまで連続的に減少する。
知覚される密度が最大値となる位置βは、ここでは、1/2FOV(視野:Field of View)に置かれる。この位置は、眼が動く場合には変化し、HMD装置上の視線追跡システムによって追跡されてもよい。視線追跡システムの出力信号からの出力に依存して、光学素子は、左右上下にシフトされ、最大密度領域を所与の眼の光軸に合わせることが可能である。画像信号は、変更された光学的な構成に関連付けられた新たなT/T−1変換に従って修正される。視線が追跡され、光学素子がこれに応じてシフトすると、光学設計において、値αが減少され、中心窩の拡張に限定されるが、静的な構成において考慮される眼球運動のマージンが除外される。
提案される解決法は、角セクタ毎の相対的に知覚される画素密度の比較のために、標準的な実施態様と比較されなければならない。
図5は、従来のシステムと同様の機能のレンズの設計を示している。
光学システムの寸法は、約95°の合計視野を有るように決められ、物体の視野幅は、2×37.5mmであり、これは、画面の幅である。図5は、軸方向視野点、中間点、および周辺視野に対する光線追跡を示している。このシステムは、画像空間内でアフォーカル系のデザインを有し、瞳孔は、4mmであり、最終光学面のサグから10mmの距離にある。周辺視野点でのMTF(Modulation Transfer Function:変調伝達関数)は、瞳孔に到達する非コリメート式の赤いサブビームから推論することができるように、勿論、非常に悪い。画像空間において知覚される視野は、±29°である。
知覚される角画素密度を修正するために、レンズを物体面の近傍でセットアップする必要がある。その視野レンズは、外側の画素と比べて画像空間でより高い角密度で、光軸の周囲のディスプレイの中心部の画素をマッピングするものとする。このような特性を有する光学面は、必ず偶数次の非球面となる。それは、球面からの偏差の多項式展開によって記述される、回転対称の多項式非球面表面である。偶数次の非球面表面モデルは、非球面性を記述するための動径座標の偶数次数のみを使用する。表面サグは、以下のように与えられる。
Figure 2017522591
ここでcは、曲率であり、rは、レンズ・ユニットの動径座標であり、kは、円錐定数である。視野レンズは、視野ポイントの異なる部位を別個に変調するために、両方の前面が非球面になる必要があり、さらに、各主光線を本実施形態のHMD装置の光学システムの入射瞳孔に向かって仕向けるために、後方が非球面を有する必要がある。
図6は、軸近傍の角解像度を改良する本実施形態のHMD装置の光学システム全体を示している。第1のレンズは、画像空間において、視野ポイントを相異なる角密度に屈曲させるものである。第1のレンズの形状は、複雑であるように見えるが、SHOTT AG社によってB270(商標)ガラスで製造され、大量に、且つ、低コストで成形可能であり、主レンズもまた、同様の材料で製造され、2つの非球面状の表面を有するため、成形される必要がある。
レンズの度数の仕様は、以下の通りである。
表面データの概要:
Figure 2017522591
表面データの詳細:


表面 OBJ STANDARD(標準)

表面 1 EVENASPH
Figure 2017522591

表面 2 EVENASPH
Figure 2017522591
表面 STO STANDARD(標準)

表面 4 EVENASPH

Figure 2017522591

表面 5 EVENASPH
Figure 2017522591
光学システムのこの構成によって得られる副次的効果として、MTFの改善がある。
最終的に、図6に示された光学システムが本開示内容に記載された機能を有することを示すために、知覚される視野を、図7に示されているように、ディスプレイ上での視野位置に応じてプロットすることができる。図7から分かるように、改善されたシステムは、実際上、図4に示された理論的な形状のような曲線を有し、結果的には、光軸方向の近傍で知覚される画素密度が高くなる。
図8は、本願の開示内容の一実施形態に係るディスプレイ装置を模式的に表しており、図8(a)は、装置の平面図であり、図8(b)は、装置の正面図である。
図8に示されているように、ディスプレイ装置100は、ディスプレイ・モジュール105を含んでいてもよく、ディスプレイ・モジュール105は、例えば、光源を有するLCD(液晶ディスプレイ)またはOLED(有機発光ディスプレイ)であってもよい。テンプル・アームなどの固定要素110がディスプレイ装置100の両側に取り付けられており、装置100を適切な位置に保持するのに役立つように視聴者の耳の上にそれぞれ延在している。代替的には、固定要素110は、視聴者の頭上に装置100を保持する伸長バンドとすることができる。
ディスプレイ装置100は、さらに、光学部品120およびこの光学部品120を移動するためのアクチュエータ115を含む。光学部品120は、図6に関連して説明したように構成された2つの光学素子を有していてもよい。光学部品120は、接続部材125を介してアクチュエータ115に接続されている。アクチュエータ115は、固定要素110に取り付けられ、光学部品120は、ディスプレイ・モジュール105の前方にある接続部材125によって支持されている。これらのアクチュエータ115、光学部品120、および接続部材125は、それぞれ、固定要素110の両側に取り付けられている。アクチュエータ115により、図8(b)の矢印によってそれぞれ示されているように、光学部品120を上下左右に動かすことができる。なお、光学部品120の各光学要素は、代替的には、光学素子がより薄型且つ軽量になるように、フレネルレンズの形態を有していてもよいことに留意されたい。
ディスプレイ装置100には、視聴者の注視点を検出するための視線追跡型センサ130が設けられている。視線追跡型センサ130は、例えば、センサ130によって引き起こされる可能性のあるディスプレイ画面のシェーディングを防止するために、ディスプレイ・モジュール105の上側または下側の部分に取り付けることができる。さらに、ディスプレイ装置100には、ディスプレイ装置100が取り付けられる視聴者の頭部のポジションを測定するために、慣性測定ユニット(IMU)などのポジションセンサ145が設けられる。
さらに、ディスプレイ装置100は、ディスプレイ・モジュール105、アクチュエータ115、視線追跡型センサ130、およびポジションセンサ145を制御する制御モジュール140を含む。制御モジュール140は、無線接続または有線接続を通じてこれらの要素に接続される。さらに、制御モジュール140は、有線接続または無線接続を通じて外部装置(図示せず)に接続される。外部装置は、ディスプレイ装置100に提供される画像または映像を記憶する。画像または映像は、外部装置から制御モジュール140に提供され、そして、制御モジュール140は、受信された画像または映像をディスプレイ・モジュール105に出力する。
ディスプレイ装置100は、視聴者の視野内を暗所にするために、ディスプレイ・モジュール105の周辺を囲むフード(図示せず)を有していてもよく、これにより、視聴者に対して良好な没入感を与えることができる。
図9は、図8に示された制御モジュールのコンポーネントを示すブロック図である。
図9に示されているように、制御モジュール200は、I/Oインタフェース210およびメモリ装置220を含む。インタフェース210およびメモリ装置220は、ディスプレイ・モジュール105に出力されるべき画像および映像を受信、記憶するように構成されている(図8)。
モジュール200は、さらに、プロセッサ230を含む。プロセッサ230は、視線追跡型センサ130からの入力に基づいて視聴者の注視点を検出し、検出された注視点に応じてアクチュエータ115を起動させ、外部装置から受信された画像または映像をディスプレイ・モジュール105上に出力し、ポジションセンサ145によって検出され、入力された視聴者の頭部のポジションに応じて、ディスプレイ・モジュール105上で画像または映像をスクロールする。
プロセッサ230は、さらに、図4を参照して説明される幾何学的変換T−1(I)を適用することによって、画像または映像を修正し、ディスプレイ105(図8)上の検出された注視点の周囲の領域における画像または映像の情報密度が増加するようにする。プロセッサ230は、さらに、輝度補償を行って、幾何学的変換T−1(I)によって生じる可能性のある画像または映像における輝度の変化を補償する。メモリ装置220は、さらに、上述した処理を行うためのプロセッサ230によって実行されるべき少なくとも1つのプログラムを記憶するように構成される。
図10は、本願の開示内容の一実施形態に係るディスプレイ装置によって行われる処理の例を示すフローチャートである。
ステップS10において、ディスプレイ装置100の制御モジュール140;200は、I/Oインタフェース210を介して外部装置(図示せず)から没入感のある画像または映像コンテンツを受信する。受信されたコンテンツは、メモリ・モジュール230に記憶される。没入感のあるコンテンツは、360°のコンテンツを表示する(または、360°未満であるが、HMDの表示画面によって表示可能な範囲を超える角度)ためにHMD装置が利用可能なコンテンツ全体とすることができ、換言すれば、没入感のあるコンテンツは、HMDの表示画面の領域よりも広い領域を有する。このような没入感のあるコンテンツにより、視聴者は、HMD装置上に表示された仮想的な世界に没入することができ、自己の頭部を動かし、見たいと望む360°のコンテンツ全体のうちの一部を選択することができる。
ステップS12において、視聴者の頭部のポジションは、ポジションセンサ145によって検出され、次に、ステップS14において、HMD装置上で表示されるべき360°のコンテンツのうちの一部がプロセッサ220によって選択される。視聴者が見ることを望む360°のコンテンツのうちの一部は、検出された頭部のポジションに対応する。
ステップS16において、ディスプレイ装置100が取り付けられる視聴者の眼の注視位置が視線追跡型センサ130によって決定される。検出された情報は、センサ130から制御モジュール200のプロセッサ220に出力される。検出された情報に基づいて、プロセッサ220は、ディスプレイ・モジュール105上の視聴者の眼の注視位置を特定するための分析を行う。換言すれば、ディスプレイ・モジュール105上のどの領域を視聴者が視聴しているかを特定するための分析を行う。なお、ステップS16は、ステップS10〜S14の間に行うことができる。
代替的には、ステップS16において、視線追跡型センサ130による注視位置の検出の代わりに、コンテンツにおける関心領域(ROI:Region of Interest)の情報は、視聴者の眼の注視位置を判定するために使用することができる。この場合、コンテンツ(各画像または映像の各フレーム)における関心領域ROIは、テスト・ユーザによって前もって判定することもできるし、既知の専用のROI分析ソフトウェアによって判定することもでき、コンテンツに組み込まれたメタデータを介してコンテンツに関連付けられる。コンテンツにおける関心領域ROIは、推定された注視位置とすることができる。その理由は、視聴者は、コンテンツにおける関心領域ROIに注意を支払うことが想定され、したがって、視線は、これらの関心領域ROIになおさら引き寄せられることになるからである。
ステップS18において、プロセッサ220は、メモリ・モジュール230に記憶された画像または映像を読み出し、この画像または映像を修正し、ディスプレイ105上で特定された注視位置で画像または映像のより高密度の情報が形成されるようにする。画像または映像の修正は、光学部品120によって適用される逆変換関数に対応する幾何学的変換を適用することによって実行することができる(図4)。そして、プロセッサ220は、修正された画像または映像コンテンツをディスプレイ装置105上に出力する。
ステップS20において、ディスプレイ105上の特定された注視位置に応じて、プロセッサ220は、アクチュエータ115を制御して各々の光学部品120を動かし、視聴者が光学部品120を通じてディスプレイ105を見ることができるようにする。例えば、ディスプレイ105上の注視位置と光学部品120の各々の対応する位置との間の関連付けは、前もって設定され、メモリ・モジュール230に記憶することができる。この場合、プロセッサ220は、アクチュエータ115で光学部品120を関連付けにしたがった検出された注視位置に対応する位置に移動する。
光学部品120は、ディスプレイ105上に出力された画像または映像に対して行われる変換を補償する歪みT(I1)を適用するため、光学部品120を介して視聴者によって知覚される画像コンテンツまたは映像コンテンツは、注視位置では、注視位置の周辺部と比べて情報が高密度である。
ステップS12〜S20は、画像コンテンツまたは映像コンテンツがディスプレイ105上に出力されている間に繰り返すことができる。これにより、画像または映像上の密度の高い情報領域(コンテンツの残余の部分よりも高密度の情報を有する画像コンテンツまたは映像コンテンツの領域)を変更し、さらに、リアルタイムに検出された注視位置に応じて光学部品120の位置を変更することができる。
本実施形態によれば、ディスプレイ105上の注視領域において利用可能な情報の密度が劇的に増加するため、より詳細な情報をこの領域で提供可能である。その一方で、周辺視野では視力がより一層低下するため、大きな視野によってもたらされた没入感を維持することができる。
代替的には、例えば、画像または映像上の高密度情報および光学部品120の位置を固定してもよい。画像または映像上の高密度情報領域をディスプレイ105上の画像または映像の中心領域に固定することができ、光学部品120の位置を対応する位置とすることができる。この場合、上述したステップS12およびS16を省略することができる。
さらに、代替的には、ステップS14において、プロセッサ220は、外部装置から直接受信した画像または映像を修正し、修正された画像または映像をディスプレイ装置105に出力してもよい。この場合、受信した画像コンテンツまたは映像コンテンツをメモリ・モジュール230に記憶してもよい。
本明細書に記載された全ての例および条件付の文言は、本開示内容を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではなく、明細書におけるこのような例の構成が本開示内容の優劣を示すことに関わるものではない。

Claims (14)

  1. ディスプレイ装置(100)上に画像を提示する方法であって、
    視聴者に対し、前記ディスプレイ装置上の前記画像の或る領域が前記画像のその他の領域よりも高い画素密度で提示されるように、前記画像に幾何学的変換を適用することによって前記画像を修正すること(S18)を含む、前記方法。
  2. 前記画像に適用された前記幾何学的変換に対応する逆変換を適用する光学部品(120)を介して、前記視聴者に対し、前記ディスプレイ装置上に前記画像を提示すること(S18)をさらに含む、請求項1に記載の方法。
  3. 前記視聴者の注視位置を判定すること(S16)と、
    前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域および前記光学部品の位置を変更すること(S18,S20)と、をさらに含む、請求項2に記載の方法。
  4. 前記より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域の位置が前記ディスプレイ装置上の所定の位置に固定されている(S18)、請求項1または2に記載の方法。
  5. 前記ディスプレイ装置は、ヘッド・マウント・ディスプレイ装置(HMD)である、請求項1〜4のいずれか1項に記載の方法。
  6. 前記コンテンツは、前記ディスプレイ装置上で表示可能なものよりも広い領域を有し、前記方法は、
    前記視聴者の頭部のポジションを検出すること(S12)と、
    前記検出された頭部のポジションに応じて、前記ディスプレイ装置上に表示されるべき前記画像の一部分を選択すること(S14)と、をさらに含む、請求項5に記載の方法。
  7. 画像を提示するディスプレイ装置(100)であって、
    視聴者に対し、前記ディスプレイ装置上の前記画像の或る領域を前記画像のその他の領域よりも高い画素密度で提示されるように、前記画像に幾何学的変換を適用することによって前記画像を修正するように構成された少なくともプロセッサ(230)を含む、前記ディスプレイ装置。
  8. 光学部品(120)をさらに含み、当該光学部品を介して、前記視聴者に対し、前記ディスプレイ装置上の前記画像が提示され、前記光学部品は、前記画像に適用された前記幾何学的変換に対応する逆変換を適用するように構成されている、請求項7に記載のディスプレイ装置。
  9. 視線追跡型センサ(130)をさらに含み、
    前記プロセッサは、さらに、
    前記視線追跡型センサと協働して前記視聴者の注視位置を判定し、
    前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の領域および前記光学部品の前記位置を変更するように構成されている、請求項8に記載の前記ディスプレイ装置。
  10. 前記プロセッサは、
    前記コンテンツに含まれる関心領域の情報に基づいて前記視聴者の注視位置を判定し、
    前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域および前記光学部品の位置を変更するようにさらに構成されている、請求項8に記載のディスプレイ装置。
  11. 前記光学部品を移動させるアクチュエータをさらに含み、前記光学部品の前記位置は、前記判定された注視位置に応じて前記アクチュエータを動作させることによって変更される、請求項9または10に記載のディスプレイ装置。
  12. 前記より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域の位置が前記ディスプレイ装置上の所定の位置に固定されている、請求項7または8に記載のディスプレイ装置。
  13. 前記ディスプレイ装置は、ヘッド・マウント・ディスプレイ装置(HMD)である、請求項7〜11のいずれか1項に記載のディスプレイ装置。
  14. 前記視聴者の頭部のポジションを検出する位置センサ(145)をさらに含み、前記画像は、前記ディスプレイ装置上で表示可能なものよりも広い領域を有し、前記プロセッサは、
    前記位置センサと協働して前記視聴者の頭部のポジションを検出し、
    前記検出された頭部のポジションに応じて、前記ディスプレイ装置上に表示されるべき前記画像の一部分を選択するように構成されている、請求項13に記載のディスプレイ装置。
JP2016573551A 2014-06-17 2015-06-16 画素配分最適化を用いた方法およびディスプレイ装置 Active JP6684728B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305923.6 2014-06-17
EP14305923.6A EP2958074A1 (en) 2014-06-17 2014-06-17 A method and a display device with pixel repartition optimization
PCT/EP2015/063435 WO2015193287A1 (en) 2014-06-17 2015-06-16 A method and a display device with pixel repartition optimization

Publications (3)

Publication Number Publication Date
JP2017522591A true JP2017522591A (ja) 2017-08-10
JP2017522591A5 JP2017522591A5 (ja) 2018-06-21
JP6684728B2 JP6684728B2 (ja) 2020-04-22

Family

ID=51162628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573551A Active JP6684728B2 (ja) 2014-06-17 2015-06-16 画素配分最適化を用いた方法およびディスプレイ装置

Country Status (10)

Country Link
US (1) US11593914B2 (ja)
EP (2) EP2958074A1 (ja)
JP (1) JP6684728B2 (ja)
KR (1) KR102503029B1 (ja)
CN (1) CN106461951B (ja)
CA (1) CA2952710C (ja)
MX (1) MX371370B (ja)
RU (1) RU2693329C2 (ja)
TW (1) TWI660201B (ja)
WO (1) WO2015193287A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221105A1 (ja) * 2018-05-15 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 表示装置
JP2021526236A (ja) * 2018-05-22 2021-09-30 ルムス エルティーディー. 光視野均一性の改善のための光学システムと方法
WO2021241073A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 表示装置及び表示方法
US20240036317A1 (en) * 2022-07-29 2024-02-01 Htc Corporation Head mounted display, display device and image display method thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
CN106293047B (zh) * 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US10958834B2 (en) 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
EP3602583A4 (en) * 2017-03-22 2020-07-29 Magic Leap, Inc. DISPLAY SYSTEM WITH DYNAMIC FIELD OF VIEW AND VARIABLE FOCUS
US10764552B2 (en) 2017-05-26 2020-09-01 Google Llc Near-eye display with sparse sampling super-resolution
WO2018227100A1 (en) * 2017-06-09 2018-12-13 Sony Interactive Entertainment Inc. Optimized shadows and adaptive mesh skinning in a foveated rendering system
US20190079284A1 (en) * 2017-09-08 2019-03-14 Mediatek Inc. Variable DPI Across A Display And Control Thereof
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
JP7228584B2 (ja) 2017-10-22 2023-02-24 ラマス リミテッド 光学ベンチを用いるヘッドマウント拡張現実デバイス
WO2020261279A1 (en) 2019-06-27 2020-12-30 Lumus Ltd. Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
IL290719B2 (en) 2019-12-08 2023-09-01 Lumus Ltd Optical systems with a compact image projector
WO2022031572A1 (en) * 2020-08-03 2022-02-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Perceptual-driven foveated displays
JP2024502701A (ja) 2020-12-20 2024-01-23 ルムス エルティーディー. 空間光変調器上のレーザ走査による画像プロジェクタ

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) * 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JPH0713497A (ja) * 1993-06-14 1995-01-17 Atr Tsushin Syst Kenkyusho:Kk 画像表示装置
JPH07104210A (ja) * 1993-10-04 1995-04-21 Nec Corp 頭部搭載型画像表示装置
JPH07134542A (ja) * 1993-11-11 1995-05-23 Mitsubishi Precision Co Ltd 潜望鏡映像表示装置
JPH08237636A (ja) * 1995-02-28 1996-09-13 Shimadzu Corp テレビジョンシステム
JP2000310747A (ja) * 1999-02-26 2000-11-07 Mr System Kenkyusho:Kk 画像観察装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
US20040227703A1 (en) * 2003-05-13 2004-11-18 Mcnc Research And Development Institute Visual display with increased field of view
JP2009510540A (ja) * 2006-10-31 2009-03-12 ビ−エイイ− システムズ パブリック リミテッド カンパニ− 画像表示システム
KR20090067123A (ko) * 2007-12-20 2009-06-24 레이던 컴퍼니 촬상 시스템
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734838B1 (en) 1998-05-18 2004-05-11 Dimension Technologies Inc. Enhanced resolution for image generation
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP2004523795A (ja) 2001-02-21 2004-08-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号を処理する表示システム
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US20060145945A1 (en) 2002-01-07 2006-07-06 Lewis John R Scanned beam system with distortion compensation
RU2322771C2 (ru) 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9529191B2 (en) * 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP5414946B2 (ja) * 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US8749892B2 (en) * 2011-06-17 2014-06-10 DigitalOptics Corporation Europe Limited Auto-focus actuator for field curvature correction of zoom lenses
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130215147A1 (en) 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术(北京)有限公司 头戴式显示设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01252993A (ja) * 1988-04-01 1989-10-09 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法
JPH0638219A (ja) * 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
JPH0713497A (ja) * 1993-06-14 1995-01-17 Atr Tsushin Syst Kenkyusho:Kk 画像表示装置
JPH07104210A (ja) * 1993-10-04 1995-04-21 Nec Corp 頭部搭載型画像表示装置
JPH07134542A (ja) * 1993-11-11 1995-05-23 Mitsubishi Precision Co Ltd 潜望鏡映像表示装置
JPH08237636A (ja) * 1995-02-28 1996-09-13 Shimadzu Corp テレビジョンシステム
JP2000310747A (ja) * 1999-02-26 2000-11-07 Mr System Kenkyusho:Kk 画像観察装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
US20040227703A1 (en) * 2003-05-13 2004-11-18 Mcnc Research And Development Institute Visual display with increased field of view
JP2009510540A (ja) * 2006-10-31 2009-03-12 ビ−エイイ− システムズ パブリック リミテッド カンパニ− 画像表示システム
KR20090067123A (ko) * 2007-12-20 2009-06-24 레이던 컴퍼니 촬상 시스템
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221105A1 (ja) * 2018-05-15 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 表示装置
CN112106132A (zh) * 2018-05-15 2020-12-18 索尼半导体解决方案公司 显示单元
JPWO2019221105A1 (ja) * 2018-05-15 2021-07-08 ソニーセミコンダクタソリューションズ株式会社 表示装置
US11328643B2 (en) 2018-05-15 2022-05-10 Sony Semiconductor Solutions Corporation Display unit
JP7325408B2 (ja) 2018-05-15 2023-08-14 ソニーセミコンダクタソリューションズ株式会社 表示装置
JP2021526236A (ja) * 2018-05-22 2021-09-30 ルムス エルティーディー. 光視野均一性の改善のための光学システムと方法
JP7360178B2 (ja) 2018-05-22 2023-10-12 ルムス エルティーディー. 光視野均一性の改善のための光学システムと方法
WO2021241073A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 表示装置及び表示方法
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method
US20240036317A1 (en) * 2022-07-29 2024-02-01 Htc Corporation Head mounted display, display device and image display method thereof
US11899215B1 (en) * 2022-07-29 2024-02-13 Htc Corporation Head mounted display, display device and image display method thereof

Also Published As

Publication number Publication date
RU2693329C2 (ru) 2019-07-02
RU2017101239A (ru) 2018-07-17
TW201600887A (zh) 2016-01-01
EP2958074A1 (en) 2015-12-23
KR20170020351A (ko) 2017-02-22
CA2952710A1 (en) 2015-12-23
MX371370B (es) 2020-01-28
KR102503029B1 (ko) 2023-02-23
EP3158531A1 (en) 2017-04-26
CN106461951B (zh) 2020-07-17
TWI660201B (zh) 2019-05-21
MX2016016718A (es) 2017-04-13
US11593914B2 (en) 2023-02-28
CN106461951A (zh) 2017-02-22
JP6684728B2 (ja) 2020-04-22
EP3158531B1 (en) 2024-04-24
RU2017101239A3 (ja) 2018-12-13
WO2015193287A1 (en) 2015-12-23
US20170132757A1 (en) 2017-05-11
CA2952710C (en) 2024-01-02

Similar Documents

Publication Publication Date Title
JP6684728B2 (ja) 画素配分最適化を用いた方法およびディスプレイ装置
US9191658B2 (en) Head-mounted display and position gap adjustment method
CN107850777B (zh) 光学像差校正的方法和装置
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US20180157045A1 (en) Ocular Video Stabilization
US9911214B2 (en) Display control method and display control apparatus
US10082867B2 (en) Display control method and display control apparatus
US20180032133A1 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
US20180130227A1 (en) Computer program and head-mounted display device
CN106663336B (zh) 图像生成装置和图像生成方法
US10867174B2 (en) System and method for tracking a focal point for a head mounted device
US11301969B1 (en) Context aware dynamic distortion correction
WO2019217260A1 (en) Dynamic foveated display
US10679589B2 (en) Image processing system, image processing apparatus, and program for generating anamorphic image data
US10083675B2 (en) Display control method and display control apparatus
JP6932526B2 (ja) 画像表示装置、画像表示方法及びプログラム
US20230410414A1 (en) Method and system for video transformation for video see-through augmented reality
US20240062483A1 (en) Method and device for direct passthrough in video see-through (vst) augmented reality (ar)
Hwang et al. Augmented Edge Enhancement on Google Glass for Vision‐Impaired Users

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190926

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6684728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250