JP2018109745A - 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法 - Google Patents

表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法 Download PDF

Info

Publication number
JP2018109745A
JP2018109745A JP2017226384A JP2017226384A JP2018109745A JP 2018109745 A JP2018109745 A JP 2018109745A JP 2017226384 A JP2017226384 A JP 2017226384A JP 2017226384 A JP2017226384 A JP 2017226384A JP 2018109745 A JP2018109745 A JP 2018109745A
Authority
JP
Japan
Prior art keywords
image
focus
display
projection
rendered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017226384A
Other languages
English (en)
Inventor
ウルホ コンットリ
Urho Konttori
ウルホ コンットリ
クラウス メラカリ
Melakari Klaus
クラウス メラカリ
オイヴァ アルヴォ オスカリ サールステン
Oiva Arvo Oskari Sahlsten
オイヴァ アルヴォ オスカリ サールステン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Varjo Technologies Oy
Original Assignee
Varjo Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Varjo Technologies Oy filed Critical Varjo Technologies Oy
Publication of JP2018109745A publication Critical patent/JP2018109745A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
    • G02B2027/0163—Electric or electronic control thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electroluminescent Light Sources (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】人間の視覚系を忠実に模倣するための堅牢で使いやすい表示装置を提供する。
【解決手段】コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイと、レンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、視線方向を検出する手段と、少なくとも１つの光コンバイナおよび視線方向を検出する手段と通信するように接続される処理部と、を備える。レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。
【選択図】図４Ａ

Description

本願で開示される事項は概してバーチャルリアリティに関し、より具体的には、表示装置、およびコンテキストディスプレイと、フォーカスディスプレイと、光コンバイナとを備える該表示装置を介した表示方法に関する。
背景
近年、模擬環境（またはバーチャルワールド）をユーザに提示するための、バーチャルリアリティ、拡張現実などの技術の利用が急速に増加している。特に模擬環境は、立体視などの現代の技術を用いて模擬環境への没入感をユーザに提供することにより、ユーザ周囲の現実の経験を向上させる。
一般的にユーザは、そのような模擬環境を体験するために、バーチャルリアリティ装置などの装置を用いる場合がある。バーチャルリアリティ装置の例として、ユーザの片眼ごとに１つのディスプレイを備える両眼視バーチャルリアリティ装置が挙げられる。具体的には、両眼視バーチャルリアリティ装置の両方のディスプレイは、ユーザの眼ごとに異なる２次元画像（立体像とも呼ばれる）を表示して、その異なる２次元画像の組合せにより奥行きの錯覚を作り出すことができる。任意で、このようなバーチャルリアリティ装置は近接ディスプレイを備えることがある。このようなバーチャルリアリティ装置として、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡などが挙げられる。また、バーチャルリアリティ装置の視野は一般的に約６０度から１５０度であるが、人間の視野はそれよりも広い（約１８０度）。視野をより広くすることによって、より高い没入感が得られ、周囲環境をよりよく認知することができる。
しかしながら、従来のバーチャルリアリティ装置には一定の制限がある。例えば、人間の眼の視力を忠実に模倣するのに適切なディスプレイのサイズは、従来入手可能なバーチャルリアリティ装置内に収容するには大きすぎる。具体的には、人の眼とほぼ同等の視野を有するディスプレイの寸法は非常に大きくなる。別の例として、フォーカスプラスコンテキストスクリーン（focus plus context screen）などの比較的小さいサイズのディスプレイでは、高解像度のディスプレイが低解像度のディスプレイに埋め込まれている。しかしながら、そのようなフォーカスプラスコンテキストスクリーン内における高解像度のディスプレイの位置は固定されており、高解像度ディスプレイ上にレンダリングされる画像は、高解像度ディスプレイと低解像度ディスプレイそれぞれの縁部で非連続的に見えることが多い。そのため、そのようなフォーカスプラスコンテキストスクリーンは、バーチャルリアリティ装置内での用途向けには十分に開発されていない。したがって、従来のバーチャルリアリティ装置の、人間の視覚系を模倣する能力は制限されている。
前述の説明を鑑みて、バーチャルリアリティ装置に用いられる従来のディスプレイに関する前述の欠点を克服する必要がある。
摘要
本開示は、表示装置を提供することを目標とする。本開示はまた、コンテキストディスプレイ、フォーカスディスプレイ、および光コンバイナを備える表示装置を介した表示方法を提供することを目標とする。本開示は、従来のバーチャルリアリティ装置に用いられるディスプレイにおける、物理的なサイズ制限と画像の不連続性という既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、人間の視覚系を忠実に模倣するための堅牢で使いやすい表示装置を提供する解決策を提供することである。
一態様では、本願に開示される実施例は表示装置を提供する。前記表示装置は、
コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイと、
前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、
視線方向を検出する手段と、
前記少なくとも１つの光コンバイナおよび前記視線方向を検出する手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
- 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
- 前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイに、かつ前記フォーカス画像を前記少なくとも１つのフォーカスディスプレイに、同時的にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる。
別の態様では、本願に開示される実施例は、少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカスディスプレイと、少なくとも１つの光コンバイナと、視線方向を検出する手段とを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）前記少なくとも１つのコンテキストディスプレイにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカスディスプレイにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
- 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせることと、を含む。
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される。
本願に開示される実施例は、従来技術における前述の問題を実質的に排除または少なくとも部分的に対処し、視線随伴性（gaze contingency）を用いて前記表示装置内で能動的な中心窩視を実行できるようにする。
本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施例の図面および詳細な説明から明らかにされるであろう。
本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。
前記の摘要と、下記の例示的な実施例の詳細説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。
以下、本開示における実施例を、単なる例示として、かつ添付の図面を参照して説明する。
図１は、本開示の一実施例による表示装置を使用するための環境の概略図である。
本開示の異なる実施例による表示装置のアーキテクチャのブロック図である。 本開示の異なる実施例による表示装置のアーキテクチャのブロック図である。
本開示の異なる実施例による表示装置の、眼に対する例示的な動作を示す概略図である。 本開示の異なる実施例による表示装置の、眼に対する例示的な動作を示す概略図である。
本開示の一実施例による表示装置のコンテキストディスプレイおよびフォーカスディスプレイの例示的な図である。
本開示の様々な実施例による表示装置の例示的な実装を示す図である。 本開示の様々な実施例による表示装置の例示的な実装を示す図である。 本開示の様々な実施例による表示装置の例示的な実装を示す図である。
本開示の一実施例による表示装置を介した表示方法のステップを示す図である。
添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。
実施例の詳細説明
以下の詳細な説明は、本願に開示される実施例およびそれらの実施例を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施例も可能であることを当業者は認識されるであろう。
一態様では、本願に開示される実施例は表示装置を提供する。前記表示装置は、
コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイと、
前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、
視線方向を検出する手段と、
前記少なくとも１つの光コンバイナおよび前記視線方向を検出する手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
- 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
- 前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイに、かつ前記フォーカス画像を前記少なくとも１つのフォーカスディスプレイに、同時的にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる。
別の態様では、本願に開示される実施例は、少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカスディスプレイと、少なくとも１つの光コンバイナと、視線方向を検出する手段とを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）前記少なくとも１つのコンテキストディスプレイにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカスディスプレイにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
- 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、
を含む、処理することと、
（ｖｉ）前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせることと、を含む。
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される。
本開示は、表示装置と、該表示装置を介した表示方法とを提供する。本明細書に記述する表示装置の動作は、フォーカスディスプレイおよびコンテキストディスプレイのサイズによって制限されない。したがって、該表示装置は、バーチャルリアリティ装置などの小型の装置に容易に実装可能である。また、該表示装置は眼の視線方向を検出し、人の眼のサッカードおよびマイクロサッカードを考慮することによって人間の視覚系の能動的な中心窩視をシミュレートする。さらに、前述の表示装置を用いて表示された画像は、それを構成する投影を光コンバイナによって適切に組み合わせることにより、連続的に表示される。したがって、前述の表示装置は、視線随伴性を忠実に模倣することによって人間の視覚系を模倣する。また、該表示装置の構成要素は安価であり、製造も容易である。さらに、該表示装置を用いた表示方法も同様に実行が容易であり、能動的な中心窩視を確実に実行できる。
該表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイと、該レンダリングされたコンテキスト画像の投影と該レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナとを備える。該レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、該レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。具体的には、該視覚的シーンは、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどの装置のユーザに提示される模擬環境内のシーンに相当してもよい。さらに具体的には、該視覚的シーンはユーザの眼に投影されてもよい。その場合、該装置は本明細書に記載する表示装置を備えてもよい。
任意で、該レンダリングされたコンテキスト画像の投影の角度幅は２２０度より大きくてもよい。その場合、該コンテキスト画像をレンダリングするための該コンテキストディスプレイの角度寸法は２２０度より大きくてもよい。一実施例によると、該レンダリングされたコンテキスト画像の投影の角度幅は、例えば４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、または１７０度から、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、２００、２１０、または２２０度までであってもよい。別の実施例によると、該レンダリングされたフォーカス画像の投影の角度幅は、例えば５、１０、１５、２０、２５、３０、３５、４０、４５、または５０度から、１５、２０、２５、３０、３５、４０、４５、５０、５５、または６０度までであってもよい。
一実施例では、該コンテキスト画像は、該表示装置を介してレンダリングおよび投影される視覚的シーンの広角画像に関連する。具体的には、該コンテキスト画像の上記角度幅は、ユーザの眼の動きに関連するサッカードに対応する。別の実施例では、該フォーカス画像は、該表示装置を介してレンダリングおよび投影される画像に関連する。具体的には、該フォーカス画像の上記角度幅は、ユーザの眼の動きに関連するマイクロサッカードに対応する。また、該フォーカス画像の寸法は該コンテキスト画像よりも小さい。さらに、該コンテキスト画像および該フォーカス画像それぞれの投影を組み合わせることで、該コンテキスト画像と該フォーカス画像によって集合的に視覚的シーンが構成される。
一実施例では、本明細書で用いる「コンテキストディスプレイ」という用語は、該コンテキスト画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つのコンテキストディスプレイを、該コンテキスト画像が投影されるように構成してもよい。一実施例によると、該少なくとも１つのコンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択してもよい。
一実施例では、本明細書で用いる「フォーカスディスプレイ」という用語は、該フォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つのフォーカスディスプレイを、該フォーカス画像が投影されるように構成してもよい。一実施例によると、該少なくとも１つのフォーカスディスプレイは、ＬＣＤ、ＬＥＤベースディスプレイ、ＯＬＥＤベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳベースディスプレイからなる群から選択してもよい。
任意で、該少なくとも１つのコンテキストディスプレイおよび／または該少なくとも１つのフォーカスディスプレイは、少なくとも１つのプロジェクタおよび少なくとも１つの投影スクリーンを用いて実装してもよい。例えば１つのコンテキストディスプレイは、１つのプロジェクタおよび該１つのプロジェクタに関連付けられた１つの投影スクリーンを用いて実装してもよい。
一実施例によると、該少なくとも１つのコンテキストディスプレイを静的に設けてもよい。また、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれを所望のように投影するために、該少なくとも１つのフォーカスディスプレイを移動可能にしてもよい。具体的には、該レンダリングされたフォーカス画像の投影の位置を調整するために、該少なくとも１つのフォーカスディスプレイを移動してもよい。あるいは、該少なくとも１つのコンテキストディスプレイと該少なくとも１つのフォーカスディスプレイを位置的に入れ替えてもよい。具体的には、その場合、該少なくとも１つのコンテキストディスプレイを移動可能にし、該少なくとも１つのフォーカスディスプレイを静的に設けてもよい。
一実施例では、該少なくとも１つのコンテキストディスプレイの寸法は、該少なくとも１つのフォーカスディスプレイの寸法より大きい。具体的には、該少なくとも１つのフォーカスディスプレイのサイズは、該少なくとも１つのコンテキストディスプレイよりかなり小さくてもよい。したがって、該少なくとも１つのフォーカスディスプレイは該少なくとも１つのコンテキストディスプレイより容易に移動できることは明らかであろう。
該表示装置は、該レンダリングされたコンテキスト画像の投影と、該レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための、該少なくとも１つの光コンバイナを備える。本開示の一実施例によると、本明細書で用いる「光コンバイナ」という用語は、該レンダリングされたコンテキスト画像の投影と、該レンダリングされたフォーカス画像の投影とを組み合わせて該視覚的シーンを構成するための機器（光学素子など）に関する。具体的には、該少なくとも１つの光コンバイナを、人間の視覚系の能動的な中心窩視をシミュレートするように構成してもよい。
該表示装置は、視線方向を検出する手段と、該少なくとも１つの光コンバイナおよび該視線方向を検出する手段と通信するように接続される処理部とをさらに備える。
一実施例では、該処理部は、該表示装置の動作の制御に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。具体的には、該処理部は、該視覚的シーンを処理してユーザの眼に表示（または投影）する該表示装置の動作を制御してもよい。該表示装置を、ユーザに関連付けられた装置内で用いる場合、該処理部は該装置の外側にあってもそうでなくてもよい。
任意で、該処理部は記憶部と通信可能に接続してもよい。一実施例では、該記憶部は、該処理部によって処理される画像の格納に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。
一実施例では、該視線方向を検出する手段は、アイトラッカーなどの、眼の視線方向および眼の動きを測定する特別な機器に関する。具体的には、視線方向を正確に検出することで、該表示装置が視線随伴性を忠実に実現できるようにしてもよい。また、該視線方向を検出する手段は、眼と接触するように、または接触しないように配置してもよい。該視線方向を検出する手段の例として、センサ付コンタクトレンズ、眼の瞳の位置をモニタするカメラなどが挙げられる。
該処理部は、入力画像を受信し、該検出された視線方向を用いて該入力画像の高精度視領域を決定するように構成される。一実施例によると、本明細書で用いる「入力画像」という用語は、該表示装置を介して表示される画像（該視覚的シーンの画像など）に関する。一実施例では、該入力画像は、ユーザに関連付けられた該装置に接続された画像センサから受信してもよい。具体的には、該画像センサは、眼に投影される該入力画像として、実世界の環境の画像を取得してもよい。例として、該処理部は、ユーザが居るコーヒーショップの入力画像を、該ユーザと関連付けられたヘッドマウントバーチャルリアリティ装置の画像センサから受信する。別の実施例では、該入力画像は、該処理部と通信可能に接続された該記憶部から受信してもよい。具体的には、該記憶部を、ＭＰＥＧ（Moving Pictures Experts Group）、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（Bitmap file format）を含むがこれらに限らない、適切なフォーマットの該入力画像を格納するように構成してもよい。
前述の実施例では、該処理部は該検出された視線方向を用いて該入力画像の高精度視領域を決定してもよい。一実施例では、該高精度視領域は、該検出された眼の視線方向が焦点を結ぶことができる、該入力画像の領域に関する。具体的には、該高精度視領域は、該入力画像内の関心領域（または凝視点）であってもよく、眼の中心窩に投影されてもよい。また、該高精度視領域は、該入力画像内の焦点領域であってもよい。したがって、該高精度視領域は、該入力画像が人間の視覚系によって見られるときに、該入力画像の他の領域よりもさらに詳細に解像される領域に関することが明らかであろう。
また、該処理部は、該入力画像の該高精度視領域の決定後、第１解像度を有する該コンテキスト画像と、第２解像度を有する該フォーカス画像とを生成するために該入力画像を処理するように構成される。該第２解像度は該第１解像度より高い。該フォーカス画像は、該入力画像の該高精度視領域に実質的に相当する。具体的には、該コンテキスト画像は、該入力画像を低解像度で表現したものに相当する。したがって、該コンテキスト画像は、該入力画像の該高精度視領域ならびに該入力画像の残りの領域を含む。より具体的には、該コンテキスト画像のサイズは該フォーカス画像のサイズより大きい。該フォーカス画像は、該検出された眼の視線方向が焦点を結ぶことができる、該コンテキスト画像の一部分のみに相当するからである。
一実施例では、該第１解像度および該第２解像度は、角分解能の観点から理解されるであろう。具体的には、該第２解像度を示す角画素密度は、該第１解像度を示す角画素密度よりも高い。例として、ユーザの眼の中心窩は２度の視野に相当し、５７角画素密度で１１４画素に等しい角断面幅の該フォーカス画像の投影を受ける。したがって、該フォーカス画像に相当する角画素サイズは、２／１１４すなわち０．０１７である。また、この例では、眼の網膜は１８０度の視野に相当し、１５角画素密度で２７００画素に等しい角断面幅の該コンテキスト画像の投影を受ける。したがって、該コンテキスト画像に相当する角画素サイズは、１８０／２７００すなわち０．０６７である。計算のとおり、該コンテキスト画像に相当する角画素サイズは、該フォーカス画像に相当する角画素サイズよりかなり大きいことが明らかである。ただし、知覚される角分解能を総画素数で示したものが、該フォーカス画像より該コンテキスト画像のほうが大きいのは、該フォーカス画像が、該入力画像の該高精度視領域に相当する該コンテキスト画像の一部分のみに相当するためである。
さらに、該コンテキスト画像および該フォーカス画像の生成と共に、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。また、該フォーカス画像は該入力画像の該高精度視領域に実質的に相当し、該第２解像度は該第１解像度より高い。具体的には、該マスクは、該処理部によって該入力画像の該高精度視領域に相当する該コンテキスト画像の領域を隠す（または隠蔽する）ことによって実行してもよい。例えば、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を暗くしてマスクしてもよい。
該処理部は、該入力画像の処理後、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイに、かつ該フォーカス画像を該少なくとも１つのフォーカスディスプレイに、それぞれ同時的にレンダリングし、一方で、該少なくとも１つの光コンバイナを制御して、該レンダリングされたフォーカス画像の投影が、該レンダリングされたコンテキスト画像の該マスクされた領域の投影と実質的に重なるように、該レンダリングされたコンテキスト画像の投影と該レンダリングされたフォーカス画像の投影を組み合わせるように構成される。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像それぞれの投影を組み合わせて、集合的に該入力画像の投影を構成してもよい。該コンテキスト画像および該フォーカス画像を同時的にレンダリングするのは、それらの投影の組合せにおける時間の遅延を防ぐためであることは明らかであろう。
該レンダリングされたコンテキスト画像の投影の角度幅は、該レンダリングされたフォーカス画像の投影の角度幅よりも大きい。これは、該レンダリングされたフォーカス画像は通常、眼の中心窩およびその周囲に投影され、該レンダリングされたコンテキスト画像は眼の網膜に投影されることに起因するであろう。眼の網膜において、中心窩はほんの小さな部分である。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像とを組み合わせて該入力画像を構成し、それを眼に投影することで該入力画像を投影してもよい。
該コンテキスト画像をレンダリングすることと、該フォーカス画像をレンダリングすることと、該少なくとも１つの光コンバイナを制御して、該レンダリングされたコンテキスト画像の投影と該レンダリングされたフォーカス画像の投影を組み合わせることは、同時的に実行される。
該少なくとも１つの光コンバイナが、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の該マスクされた領域の投影とを実質的に重ねることで、該入力画像の該高精度視領域のゆがみを防止する。具体的には、該入力画像の該高精度視領域が、低解像度の該レンダリングされたコンテキスト画像と、高解像度の該レンダリングされたフォーカス画像の両方の中で表現される。同じ領域の低解像度画像と高解像度画像それぞれの投影を重ねる（重畳する）と、該同じ領域の外観にゆがみが生じる。また、高解像度の該レンダリングされたフォーカス画像は、低解像度の該レンダリングされたコンテキスト画像より、該入力画像の該高精度視領域に関する情報をより多く含む場合がある。したがって、高解像度の該レンダリングされたフォーカス画像をゆがみなしで投影するために、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。
さらに、該処理部を、該入力画像の該高精度視領域と、該入力画像の残りの領域との間の遷移領域の継ぎ目（すなわち縁部）が最小になるように、該入力画像の該高精度視領域に相当する該コンテキスト画像の領域をマスクするように構成してもよい。該表示された入力画像の該高精度視領域は該フォーカス画像の投影（および該コンテキスト画像の該マスクされた領域）に相当し、該表示された入力画像の残りの領域は該コンテキスト画像の投影に相当することを理解されたい。具体的には、該重畳されたコンテキスト画像およびフォーカス画像との間の該遷移領域の継ぎ目を最小にして、該表示された入力画像が連続的に表示されるように、該マスクは徐々に段階的に変化するように実行するべきである。例えば、該処理部は、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を大幅に暗くし、該入力画像の該高精度視領域からの距離が増すにつれて、該画素の暗さの程度を徐々に減じてもよい。
任意で、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域のマスクは、該遷移領域において、該コンテキスト画像と該フォーカス画像との間で逆の値を有する線形の透明マスクブレンド、ユーザの眼に自然に感知されにくい形状を含むステルス（またはカムフラージュ）パターンなどを用いて実行してもよい。該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの位置合せおよび外観が不適切および／または不連続である場合、該入力画像の投影も同様に不適切になるであろう。
一実施例では、該処理部は、該少なくとも１つのコンテキストディスプレイおよび該少なくとも１つのフォーカスディスプレイのうち、少なくとも１つに対して画像処理機能を実行してもよい。具体的には、該画像処理機能は、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイに、および該少なくとも１つのフォーカス画像を該フォーカスディスプレイにレンダリングする前に実行してもよい。より具体的には、そのような画像処理機能を実行することで、該レンダリングされたコンテキスト画像およびフォーカス画像の品質を最適化してもよい。したがって、該少なくとも１つのコンテキストディスプレイおよび該少なくとも１つのフォーカスディスプレイのうち、少なくとも１つのものの性質と、該入力画像の性質とを考慮して、該画像処理機能を選択してもよい。
一実施例によると、該少なくとも１つのコンテキストディスプレイに対する画像処理機能は、知覚されるコンテキスト画像品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、低域フィルタリング、色処理、およびガンマ補正からなる群から選択される。一実施例では、該少なくとも１つのコンテキストディスプレイに対する該画像処理機能は、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚されるゆがみを最小化するための、エッジ処理をさらに含んでもよい。
別の実施例によると、該少なくとも１つのフォーカスディスプレイに対する画像処理機能は、知覚されるフォーカス画像品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、切抜き、画像鮮鋭化、色処理、およびガンマ補正からなる群から選択される。一実施例では、該少なくとも１つのフォーカスディスプレイに対する該画像処理機能は、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚されるゆがみを最小化するための、エッジ処理をさらに含んでもよい。
一実施例では、該少なくとも１つの光コンバイナは、該レンダリングされたコンテキスト画像の投影を実質的に通過させ、該レンダリングされたフォーカス画像の投影を実質的に反射するか、または、該レンダリングされたフォーカス画像の投影を実質的に通過させ、該レンダリングされたコンテキスト画像の投影を実質的に反射するか、のいずれかのように配置された少なくとも１つの第１光学素子を含んでもよい。具体的には、該少なくとも１つの第１光学素子は、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の光路を結合するように配置してもよい。該少なくとも１つの第１光学素子をそのように配置することにより、該レンダリングされたフォーカス画像を眼の中心窩およびその周囲に投影し、該レンダリングされたコンテキスト画像を眼の網膜に投影することが容易になることは明らかであろう。眼の網膜において、中心窩はほんの小さな部分である。一実施例では、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子を、ハーフミラー、半透明膜、プリズム、偏光子、および光導波路のうち少なくとも１つを用いて実装してもよい。
例えば、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子は、光導波路として実装してもよい。そのような例では、該光導波路は、該レンダリングされたフォーカス画像の投影を反射することで、ユーザの眼の視野へと導くように配置してもよい。また、そのような例では、該光導波路は、該少なくとも１つのコンテキストディスプレイ（および具体的には、コンテキスト画像）がそれを通して可視であるように、透明であってもよい。したがって、該光導波路は半透明であってもよい。あるいは、該光導波路は、該レンダリングされたコンテキスト画像の投影を反射することで、ユーザの眼の視野へと導くように配置してもよい。また、該光導波路は、該少なくとも１つのフォーカスディスプレイ（および具体的には、フォーカス画像）がそれを通して可視であるように、透明であってもよい。そのような実装は、該少なくとも１つのフォーカスディスプレイを、関連付けられた駆動部を用いて移動可能な該少なくとも１つのプロジェクタを用いて実装する場合に用いてもよい。
一実施例では、該光導波路はマイクロプリズム、ミラー、回折光学素子などの光学素子を内部にさらに備えてもよい。任意で、該光導波路は傾斜可能および／または移動可能であってもよい。
一実施例によると、該少なくとも１つの光コンバイナは、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子に対して、該少なくとも１つのフォーカスディスプレイを移動させるための少なくとも１つの第１駆動部を備えてもよく、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、該少なくとも１つの第１駆動部は、眼の視線方向がある方向から別の方向にシフトするときに、該少なくとも１つのフォーカスディスプレイを移動させてもよい。そのような場合、該少なくとも１つの光学素子および該少なくとも１つのフォーカスディスプレイの配置によっては、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されなくなることがある。したがって、視線方向がシフトしても該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されるように、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの第１光学素子に対して該少なくとも１つのフォーカスディスプレイを移動させて、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第１駆動部を制御してもよい。
例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカスディスプレイを該少なくとも１つの第１光学素子に近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカスディスプレイを該少なくとも１つの第１光学素子に対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカスディスプレイを該少なくとも１つの第１光学素子に対して傾斜および／または回転させてもよい。
別の実施例によると、該少なくとも１つの光コンバイナは、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの第２光学素子と、該少なくとも１つの第１光学素子に対して該少なくとも１つの第２光学素子を移動させるための少なくとも１つの第２駆動部とを備えてもよい。そのような実施例では、該少なくとも１つの第２光学素子を、レンズ、プリズム、ミラー、およびビームスプリッタからなる群から選択してもよい。また、そのような実施例では、該処理部は、該少なくとも１つの第２駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の光路を該第２光学素子が変更してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第２駆動部を制御してもよい。
例えば、該ハーフミラー（該少なくとも１つの第１光学素子）と該少なくとも１つのフォーカスディスプレイとの間の光路上に２つのプリズムを設けてもよい。具体的には、該ハーフミラー上の該レンダリングされたフォーカス画像の投影の場所を調整するために、該レンダリングされたフォーカス画像の投影の光路が、該２つのプリズムを通過した後に変わるようにしてもよい。また、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの第２駆動部によって該２つのプリズムを縦方向および／または横方向に移動、回転、傾斜などさせてもよい。
本開示の一実施例では、該少なくとも１つの光コンバイナは、該少なくとも１つの第１光学素子を移動させるための少なくとも１つの第３駆動部を備えてもよく、該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの第３駆動部によって該少なくとも１つの第１光学素子を移動させてもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第３駆動部を制御してもよい。
例として、該少なくとも１つの第３駆動部は、該少なくとも１つの第１光学素子を該少なくとも１つのフォーカスディスプレイに近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの第１光学素子を該少なくとも１つのフォーカスディスプレイに対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの第１光学素子を傾斜および／または回転させてもよい。
一実施例によると、該表示装置は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの焦点レンズと、該少なくとも１つのフォーカスディスプレイに対して該少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部とを備えてもよい。そのような実施例では、該処理部を、該少なくとも１つの第４駆動部を制御して、該レンダリングされたフォーカス画像の投影の焦点を調整するように構成してもよい。具体的には、該少なくとも１つの焦点レンズは、その特定の性質を利用して、該レンダリングされたフォーカス画像の投影の光路を変更することで、その投影の焦点を調整してもよい。より具体的には、視度調整、非点収差補正などに対応するために、該レンダリングされたフォーカス画像の投影の焦点を調整してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第４駆動部を制御してもよい。
別の実施例によると、該表示装置は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する該少なくとも１つの焦点レンズを備えてもよく、該処理部は、該少なくとも１つの焦点レンズに制御信号を適用することで、該少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される。具体的には、該少なくとも１つの焦点レンズの該有効な光学特性には、焦点距離、光パワーなどが含まれてもよいが、それらに限らない。また、そのような実施例では、該制御信号は電気信号、油圧などであってもよい。
一実施例では、該少なくとも１つの焦点レンズは液晶（Liquid Crystal：ＬＣ）レンズなどであってもよい。任意で、該少なくとも１つの焦点レンズは、該少なくとも１つの第１光学素子と該少なくとも１つのコンテキストディスプレイとの間の光路上に位置してもよい。
該少なくとも１つのコンテキストディスプレイおよびフォーカスディスプレイの物理サイズ（または寸法）は、本明細書に上述した該表示装置の動作を制限するものではないことを理解されたい。具体的には、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの光路に拡大レンズと共に物理的にサイズの小さいコンテキストディスプレイおよびフォーカスディスプレイを用いることで、それぞれの画像を所望のサイズで投影できるようにしてもよい。
任意で、前述の表示装置を用いて、別の入力画像を受信し、該別の入力画像を処理して別のフォーカス画像およびコンテキスト画像を生成し、該別のフォーカス画像およびコンテキスト画像をレンダリングする一方で、該レンダリングされた別のフォーカス画像およびコンテキスト画像それぞれの投影を組み合わせてもよい。例として、該別の入力画像は、ユーザに関連付けられたヘッドマウントバーチャルリアリティ装置のビデオカメラから受信してもよい。
本説明は、前述の方法にも関する。前述の様々な実施例およびその変形は、該方法にも同様に当てはまる。
より具体的には、該方法は、該レンダリングされたコンテキスト画像の投影を実質的に通過させ、該レンダリングされたフォーカス画像の投影を実質的に反射するか、または、該レンダリングされたフォーカス画像の投影を実質的に通過させ、該レンダリングされたコンテキスト画像の投影を実質的に反射するように、該少なくとも１つの光コンバイナの少なくとも１つの第１光学素子を配置することをさらに含んでもよい。
別の実施例によると、該方法は、該少なくとも１つの第１光学素子上の該レンダリングされたフォーカス画像の投影の場所を調整することをさらに含むことができる。該調整することは、該少なくとも１つの光コンバイナの少なくとも１つの第１駆動部を制御して、該少なくとも１つの光コンバイナの該少なくとも１つの第１光学素子に対して該少なくとも１つのフォーカスディスプレイを移動させることによって行うことができる。該調整することは、該少なくとも１つの光コンバイナの少なくとも１つの第２駆動部を制御して、該少なくとも１つの第１光学素子に対して、該少なくとも１つの光コンバイナの該少なくとも１つの第２光学素子を移動させることによって行うこともでき、ここで該少なくとも１つの第２光学素子は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する。さらに別の実施例では、該調整することは、該少なくとも１つの光コンバイナの少なくとも１つの第３駆動部を制御して、該少なくとも１つの第１光学素子を移動させることによって行う。
該方法は、該表示装置の少なくとも１つの第４駆動部を制御して、該少なくとも１つのフォーカスディスプレイに対して、該表示装置の少なくとも１つの焦点レンズを移動させて、該レンダリングされたフォーカス画像の投影の焦点を調整することをさらに含んでもよく、ここで該少なくとも１つの焦点レンズは、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する。
図面の詳細な説明
図１を参照すると、本開示の一実施例による表示装置を使用するための環境１００の概略図が示されている。環境１００には、ヘッドマウントバーチャルリアリティ装置などの装置１０４を装着しているユーザ１０２が含まれる。例示的環境１００において、装置１０４は仮想環境を実現可能である。また、装置１０４は、能動的な中心窩視を実行するための表示装置（図示しない）を備える。さらに、装置１０４の動作は処理装置１０８によって制御される。図示のとおり、ユーザ１０２はハンドヘルド駆動部１０６Ａおよび１０６Ｂを把持して仮想環境と相互作用する。したがって、環境１００は、装置１０４およびハンドヘルド駆動部１０６Ａと１０６Ｂの空間座標を識別するための空間ロケータ１１０Ａおよび１１０Ｂも含む。空間ロケータ１１０Ａおよび１１０Ｂは、識別された空間座標を処理装置１０８に送信するように構成される。
図２を参照すると、本開示の一実施例による表示装置２００（図１の装置１０４の表示装置など）のアーキテクチャのブロック図が示されている。表示装置２００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイ２０２と、フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイ２０４と、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナ２０６とを備える。
図３を参照すると、本開示の別の実施例による表示装置３００（図１の装置１０４の表示装置など）のアーキテクチャのブロック図が示されている。表示装置３００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイ３０２と、フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナ３０６と、視線方向を検出する手段３０８と、処理部３１０とを備える。光コンバイナ３０６は、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成する。図示のとおり、処理部３１０は少なくとも１つのコンテキストディスプレイ３０２および少なくとも１つのフォーカスディスプレイ３０４に接続される。また、処理部３１０は、少なくとも１つの光コンバイナ３０６および視線方向を検出する手段３０８と通信するように接続される。
図４Ａを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の、眼４０２に対する例示的な動作が示されている。図示のとおり、眼の視線方向はまっすぐ（すなわち前方方向）である。視線４０６は、眼４０２に投影される視線方向に沿った視野の中心を表すことが明らかであろう。また、中心窩４０４は、眼４０２の網膜の中心部にあるくぼみ状の領域である。視線方向に沿った視野の入力画像は、図示の表示装置を用いて眼４０２に投影される。この表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの第１光学素子３０６Ａおよび少なくとも１つの第１駆動部３０６Ｂなどの少なくとも１つの光コンバイナ３０６とを備える。例として、少なくとも１つの第１光学素子３０６Ａはハーフミラーである。少なくとも１つの第１駆動部３０６Ｂは、少なくとも１つの光コンバイナ３０６の少なくとも１つの第１光学素子３０６Ａに対して、少なくとも１つのフォーカスディスプレイ３０４を移動させるように動作可能である。少なくとも１つのフォーカスディスプレイ３０４は、少なくとも１つの第１光学素子３０６Ａおよび少なくとも１つの第１駆動部３０６Ｂを用いてフォーカス画像を中心窩４０４に投影する。具体的には、少なくとも１つの第１光学素子３０６Ａは、少なくとも１つのフォーカスディスプレイ３０４からの光線を中心窩４０４に向けて反射する。少なくとも１つのコンテキストディスプレイ３０２は、少なくとも１つの第１光学素子３０６Ａを実質的に通して、コンテキスト画像を眼４０２に投影する。少なくとも１つの第１光学素子３０６Ａおよび少なくとも１つの第１駆動部３０６Ｂは、フォーカス画像の投影がコンテキスト画像のマスクされた領域４０８の投影と実質的に重なるように、コンテキスト画像の投影とフォーカス画像の投影を組み合わせるように配置される。図示のとおり、マスクされた領域４０８は、少なくとも１つのコンテキストディスプレイ３０２の一部であり、この部分は、フォーカス画像の投影とコンテキスト画像の投影との間のゆがみを防ぐために、コンテキスト画像の中心窩４０４への投影中に暗くされる。
図４Ｂを参照すると、図４Ａと比較して横方向にシフトされた眼の視線方向が示されている。視線方向（視線４０６として示す）に沿った視野の画像は、図示の表示装置を用いて眼４０２に投影される。この表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの第１光学素子３０６Ａおよび少なくとも１つの第１駆動部３０６Ｂなどの少なくとも１つの光コンバイナ３０６とを備える。図示のとおり、視線方向のシフトのため、少なくとも１つのフォーカスディスプレイ３０４は少なくとも１つの第１駆動部３０６Ｂによって少なくとも１つの第１光学素子３０６Ａに対して横方向に移動され、中心窩４０４へのフォーカス画像の投影を継続する。したがって、少なくとも１つのコンテキストディスプレイ３０２上のマスクされた領域４０８も、視線方向のシフトに対応して移動される。
図５を参照すると、本開示の一実施例による表示装置３００の少なくとも１つのコンテキストディスプレイ３０２および少なくとも１つのフォーカスディスプレイ３０４の例示的な図が示されている。具体的には、少なくとも１つのコンテキストディスプレイ３０２は低解像度のディスプレイであり、少なくとも１つのフォーカスディスプレイ３０４は高解像度のディスプレイである。図示のとおり、少なくとも１つのコンテキストディスプレイ３０２の寸法は、少なくとも１つのフォーカスディスプレイ３０４の寸法より大きい。また、少なくとも１つのフォーカスディスプレイ３０４にレンダリングされたフォーカス画像は、視線方向の焦点が結ばれる、入力画像の高精度視領域５０２に実質的に相当する。
図６Ａから図６Ｉを参照すると、本開示の様々な実施例による（図３に示すような）表示装置３００の例示的な実装が示されている。図６Ａから図６Ｉは、明確さのために表示装置３００の実装の配置を簡略化したものであり、本明細書の請求の範囲を不当に制限するものではないことを当業者は理解されるであろう。当業者は、本願に開示される実施例の多様な変形、変更、修正を認識されるであろう。
図６Ａを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは少なくとも１つの第１光学素子３０６Ａを備える。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。焦点レンズ６０２は、拡大レンズか縮小レンズのいずれかである。
図６Ｂを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは、少なくとも１つの第１光学素子３０６Ａと、少なくとも１つの第１駆動部３０６Ｂとを備える。少なくとも１つの第１駆動部３０６Ｂは、少なくとも１つの光コンバイナの少なくとも１つの第１光学素子３０６Ａに対して、少なくとも１つのフォーカスディスプレイ３０４を移動させる。表示装置の処理部（図３に示す処理部３１０など）は、少なくとも１つの第１駆動部３０６Ｂを制御して、少なくとも１つの第１光学素子３０６Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するように構成される。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｃを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは、少なくとも１つの第１光学素子３０６Ａと、少なくとも１つの第２光学素子３０６Ｃ（２つのプリズム６０４および６０６など）と、少なくとも１つの第２駆動部（図示しない）とを備える。図示のとおり、少なくとも１つの第２光学素子３０６Ｃ、具体的には２つのプリズム６０４および６０６は、少なくとも１つの第１光学素子３０６Ａと少なくとも１つのフォーカスディスプレイ３０４との間の光路上に位置する。少なくとも１つの第２駆動部（図示しない）は、少なくとも１つの第１光学素子３０６Ａに対して２つのプリズム６０４および６０６を移動させる。表示装置の処理部（図３に示す処理部３１０など）は、少なくとも１つの第２駆動部（図示しない）を制御して、少なくとも１つの第１光学素子３０６Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するように構成される。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｄを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは、少なくとも１つの第１光学素子３０６Ａと、少なくとも１つの第２光学素子３０６Ｃ（ミラー６０８など）と、少なくとも１つの第２駆動部（図示しない）とを備える。図示のとおり、ミラー６０８は、少なくとも１つの第１光学素子３０６Ａと少なくとも１つのフォーカスディスプレイ３０４との間の光路上に位置する。少なくとも１つの第２駆動部（図示しない）は、少なくとも１つの第１光学素子３０６Ａに対してミラー６０８を傾斜させる。表示装置の処理部（図３に示す処理部３１０など）は、少なくとも１つの第２駆動部（図示しない）を制御して、少なくとも１つの第１光学素子３０６Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するように構成される。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｅを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは、少なくとも１つの第１光学素子３０６Ａと、この少なくとも１つの第１光学素子３０６Ａを少なくとも１つの軸に沿って回転させるための少なくとも１つの第３駆動部（図示しない）とを備える。表示装置の処理部（図３に示す処理部３１０など）は、少なくとも１つの第３駆動部（図示しない）を制御して、少なくとも１つの第１光学素子３０６Ａ上のレンダリングされたフォーカス画像の投影の場所を調整するように構成される。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｆを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは、少なくとも１つの第１光学素子３０６Ａと、少なくとも１つの第１光学素子３０６Ａと少なくとも１つのフォーカスディスプレイ３０４との間の光路上に位置する少なくとも１つの焦点レンズ３０６Ｄと、少なくとも１つの焦点レンズ３０６Ｄを少なくとも１つのフォーカスディスプレイ３０４に対して移動させるための少なくとも１つの第４駆動部３０６Ｅとを備える。表示装置の処理部（図３に示す処理部３１０など）は、少なくとも１つの第４駆動部３０６Ｅを制御して、レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。図示のとおり、少なくとも１つのコンテキストディスプレイ３０２と少なくとも１つの第１光学素子３０６Ａとの間の光路に、追加のレンズ６１０を任意で設けてもよい。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｇを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、プロジェクタ６１２に関連付けられた投影スクリーンなどの少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは少なくとも１つの第１光学素子３０６Ａを備える。プロジェクタ６１２が、表示装置の処理部（図３に示す処理部３１０など）の代わりにフォーカス画像の生成に用いられることは明らかであろう。また、プロジェクタ６１２と、フォーカス画像をレンダリングする少なくとも１つのフォーカスディスプレイ３０４との間の光路に、プリズム６１４が設けられる。例として、プロジェクタ６１２および／または少なくとも１つのフォーカスディスプレイ３０４は、駆動部を用いて移動されてもよい。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｈを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、プロジェクタ６１２に関連付けられた投影スクリーンなどの少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは少なくとも１つの第１光学素子３０６Ａを備える。プロジェクタ６１２が、表示装置の処理部（図３に示す処理部３１０など）の代わりにフォーカス画像の生成に用いられることは明らかであろう。また、プロジェクタ６１２と、フォーカス画像をレンダリングする少なくとも１つのフォーカスディスプレイ３０４との間の光路に、回転可能なミラー６１６が設けられる。例として、プロジェクタ６１２、回転可能なミラー６１６、および／または少なくとも１つのフォーカスディスプレイ３０４は、駆動部を用いて移動されてもよい。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図６Ｉを参照すると、本開示の一実施例による表示装置（図３に示す表示装置３００など）の別の例示的な実装が示されている。図示の表示装置は、少なくとも１つのコンテキストディスプレイ３０２と、少なくとも１つのフォーカスディスプレイ３０４と、少なくとも１つの光コンバイナとを備える。この光コンバイナは、レンダリングされたコンテキスト画像の投影を実質的に通過させ、レンダリングされたフォーカス画像の投影を実質的に反射するように配置された光導波路６１８などの少なくとも１つの光学素子を備える。図示のとおり、光導波路６１８はマイクロプリズム、ミラー、回折光学素子などの光学素子６２０を内部に備える。あるいは、光導波路６１８は、レンダリングされたフォーカス画像の投影を実質的に通過させ、レンダリングされたコンテキスト画像の投影を実質的に反射するように配置してもよい。また、表示装置は、コンテキスト画像およびフォーカス画像それぞれの投影の光路上に位置する焦点レンズ６０２を備える。
図７を参照すると、本開示の一実施例による表示装置３００を介した表示方法７００のステップが示されている。ステップ７０２において、少なくとも１つのコンテキストディスプレイにコンテキスト画像をレンダリングする。ここで、レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲である。ステップ７０４において、少なくとも１つのフォーカスディスプレイにフォーカス画像をレンダリングする。ここで、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。ステップ７０６において、少なくとも１つの光コンバイナを用いて、レンダリングされたコンテキスト画像の投影と、レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成する。
ステップ７０２から７０６は単なる例示であり、本明細書の請求の範囲から逸脱することなく、１つ以上のステップを追加したり、１つ以上のステップを省略したり、１つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。例えば、表示装置は視線方向を検出する手段をさらに備えてもよく、方法７００は、視線方向を検出し、検出された視線方向を用いて入力画像の高精度視領域を決定することと、第１解像度を有するコンテキスト画像と、第１解像度より高い第２解像度を有するフォーカス画像とを生成するために入力画像を処理することであって、入力画像の高精度視領域に実質的に相当するコンテキスト画像の領域をマスクすることと、入力画像の高精度視領域に実質的に相当するフォーカス画像を生成することとを含む、処理することと、少なくとも１つの光コンバイナを制御して、レンダリングされたフォーカス画像の投影が、レンダリングされたコンテキスト画像のマスクされた領域の投影と実質的に重なるように、レンダリングされたコンテキスト画像の投影とレンダリングされたフォーカス画像の投影を組み合わせることと、をさらに含んでもよい。例として、方法７００は、レンダリングされたコンテキスト画像の投影を実質的に通過させ、レンダリングされたフォーカス画像の投影を実質的に反射するか、または、レンダリングされたフォーカス画像の投影を実質的に通過させ、レンダリングされたコンテキスト画像の投影を実質的に反射するように、光コンバイナの少なくとも１つの第１光学素子を配置することを含んでもよい。別の例として、方法７００は、少なくとも１つの第１光学素子上のレンダリングされたフォーカス画像の投影の場所を調整することをさらに含んでもよい。例えば、方法７００において、調整することは、少なくとも１つの光コンバイナの少なくとも１つの第１駆動部を制御して、少なくとも１つの光コンバイナの少なくとも１つの第１光学素子に対して少なくとも１つのフォーカスディスプレイを移動させることによって行ってもよい。さらに別の例として、方法７００において、調整することは、少なくとも１つの光コンバイナの少なくとも１つの第２駆動部を制御して、少なくとも１つの第１光学素子に対して、少なくとも１つの光コンバイナの少なくとも１つの第２光学素子を移動させることによって行ってもよく、ここで少なくとも１つの第２光学素子は、少なくとも１つの第１光学素子と少なくとも１つのフォーカスディスプレイとの間の光路上に位置する。例えば、方法７００において、調整することは、少なくとも１つの光コンバイナの少なくとも１つの第３駆動部を制御して、少なくとも１つの第１光学素子を移動させることによって行ってもよい。任意で、方法７００は、表示装置の少なくとも１つの第４駆動部を制御して、少なくとも１つのフォーカスディスプレイに対して、表示装置の少なくとも１つの焦点レンズを移動させて、レンダリングされたフォーカス画像の投影の焦点を調整することをさらに含んでもよく、ここで少なくとも１つの焦点レンズは、少なくとも１つの第１光学素子と少なくとも１つのフォーカスディスプレイとの間の光路上に位置する。
添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本願に開示される実施例への修正が可能である。

Claims (17)

  1. コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、
    フォーカス画像をレンダリングするための少なくとも１つのフォーカスディスプレイと、
    前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成するための少なくとも１つの光コンバイナと、
    視線方向を検出する手段と、
    前記少なくとも１つの光コンバイナおよび前記視線方向を検出する手段と通信するように接続される処理部と、を備え、
    前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
    前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
    前記処理部は、
    （ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
    （ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
    - 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
    - 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
    - 前記第２解像度は、前記第１解像度よりも高く、
    （ｃ）前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイに、かつ前記フォーカス画像を前記少なくとも１つのフォーカスディスプレイに、同時的にレンダリングし、一方で、前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせる、
    表示装置。
  2. 前記少なくとも１つの光コンバイナは、
    前記レンダリングされたコンテキスト画像の投影を実質的に通過させ、前記レンダリングされたフォーカス画像の投影を実質的に反射するか、または
    前記レンダリングされたフォーカス画像の投影を実質的に通過させ、前記レンダリングされたコンテキスト画像の投影を実質的に反射するか、
    のいずれかのように配置された少なくとも１つの第１光学素子を備える、請求項１に記載の表示装置。
  3. 前記少なくとも１つの光コンバイナの前記少なくとも１つの第１光学素子は、ハーフミラー、半透明膜、プリズム、偏光子、および光導波路のうち少なくとも１つを用いて実装される、請求項２に記載の表示装置。
  4. 前記少なくとも１つの光コンバイナは、前記少なくとも１つの光コンバイナの前記少なくとも１つの第１光学素子に対して、前記少なくとも１つのフォーカスディスプレイを移動させるための少なくとも１つの第１駆動部を備え、前記処理部は、前記少なくとも１つの第１駆動部を制御して、前記少なくとも１つの第１光学素子上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項２または３に記載の表示装置。
  5. 前記少なくとも１つの光コンバイナは、
    前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの第２光学素子であって、レンズ、プリズム、ミラー、およびビームスプリッタからなる群から選択される第２光学素子と、
    前記少なくとも１つの第１光学素子に対して前記少なくとも１つの第２光学素子を移動させるための少なくとも１つの第２駆動部と、
    を備え、前記処理部は、前記少なくとも１つの第２駆動部を制御して、前記少なくとも１つの第１光学素子上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項２から４のいずれかに記載の表示装置。
  6. 前記少なくとも１つの光コンバイナは、前記少なくとも１つの第１光学素子を移動させるための少なくとも１つの第３駆動部を備え、
    前記処理部は、前記少なくとも１つの第３駆動部を制御して、前記少なくとも１つの第１光学素子上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項２から５のいずれかに記載の表示装置。
  7. 前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの焦点レンズと、
    前記少なくとも１つのフォーカスディスプレイに対して前記少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部と、
    を備え、前記処理部は、前記少なくとも１つの第４駆動部を制御して、前記レンダリングされたフォーカス画像の投影の焦点を調整するように構成される、請求項２から６のいずれかに記載の表示装置。
  8. 前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの焦点レンズを備え、
    前記処理部は、前記少なくとも１つの焦点レンズに制御信号を適用することで、前記少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される、請求項２から６のいずれかに記載の表示装置。
  9. 前記少なくとも１つのコンテキストディスプレイおよび／または前記少なくとも１つのフォーカスディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択される、請求項１から８のいずれかに記載の表示装置。
  10. 前記少なくとも１つのコンテキストディスプレイおよび／または前記少なくとも１つのフォーカスディスプレイは、少なくとも１つのプロジェクタおよび少なくとも１つの投影スクリーンを用いて実装される、請求項１から９のいずれかに記載の表示装置。
  11. 少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカスディスプレイと、少なくとも１つの光コンバイナと、視線方向を検出する手段とを備える表示装置を介した表示方法であって、
    （ｉ）前記少なくとも１つのコンテキストディスプレイにコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
    （ｉｉ）前記少なくとも１つのフォーカスディスプレイにフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
    （ｉｉｉ）前記少なくとも１つの光コンバイナを用いて、前記レンダリングされたコンテキスト画像の投影と、前記レンダリングされたフォーカス画像の投影とを組み合わせて視覚的シーンを作成することと、
    （ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
    （ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
    - 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
    - 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
    （ｖｉ）前記少なくとも１つの光コンバイナを制御して、前記レンダリングされたフォーカス画像の投影が、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影と実質的に重なるように、前記レンダリングされたコンテキスト画像の投影と前記レンダリングされたフォーカス画像の投影を組み合わせることと、を含み、
    ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される、
    方法。
  12. 前記レンダリングされたコンテキスト画像の投影を実質的に通過させ、前記レンダリングされたフォーカス画像の投影を実質的に反射するか、または
    前記レンダリングされたフォーカス画像の投影を実質的に通過させ、前記レンダリングされたコンテキスト画像の投影を実質的に反射するか、
    のいずれかのように前記少なくとも１つの光コンバイナの少なくとも１つの第１光学素子を配置することをさらに含む、請求項１１に記載の方法。
  13. 前記少なくとも１つの第１光学素子上の前記レンダリングされたフォーカス画像の投影の場所を調整することをさらに含む、請求項１２に記載の方法。
  14. 前記調整することは、前記少なくとも１つの光コンバイナの少なくとも１つの第１駆動部を制御して、前記少なくとも１つの光コンバイナの前記少なくとも１つの第１光学素子に対して前記少なくとも１つのフォーカスディスプレイを移動させることによって行う、請求項１３に記載の方法。
  15. 前記調整することは、前記少なくとも１つの光コンバイナの少なくとも１つの第２駆動部を制御して、前記少なくとも１つの第１光学素子に対して、前記少なくとも１つの光コンバイナの前記少なくとも１つの第２光学素子を移動させることによって行い、ここで前記少なくとも１つの第２光学素子は、前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する、請求項１３または１４に記載の方法。
  16. 前記調整することは、前記少なくとも１つの光コンバイナの少なくとも１つの第３駆動部を制御して、前記少なくとも１つの第１光学素子を移動させることによって行う、請求項１３から１５のいずれかに記載の方法。
  17. 前記表示装置の少なくとも１つの第４駆動部を制御して、前記少なくとも１つのフォーカスディスプレイに対して、前記表示装置の少なくとも１つの焦点レンズを移動させて、前記レンダリングされたフォーカス画像の投影の焦点を調整することをさらに含み、ここで前記少なくとも１つの焦点レンズは、前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する、請求項１３から１６のいずれかに記載の方法。
JP2017226384A 2016-12-01 2017-11-27 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法 Pending JP2018109745A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/366,424 US9711072B1 (en) 2016-12-01 2016-12-01 Display apparatus and method of displaying using focus and context displays
US15/366,424 2016-12-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019001594A Division JP2019091051A (ja) 2016-12-01 2019-01-09 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法

Publications (1)

Publication Number Publication Date
JP2018109745A true JP2018109745A (ja) 2018-07-12

Family

ID=59296286

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017226384A Pending JP2018109745A (ja) 2016-12-01 2017-11-27 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
JP2019001594A Pending JP2019091051A (ja) 2016-12-01 2019-01-09 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019001594A Pending JP2019091051A (ja) 2016-12-01 2019-01-09 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法

Country Status (7)

Country Link
US (2) US9711072B1 (ja)
EP (1) EP3330771B1 (ja)
JP (2) JP2018109745A (ja)
KR (1) KR20180062946A (ja)
CN (1) CN107783298B (ja)
HK (1) HK1245897B (ja)
SG (1) SG10201709770SA (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650461A (zh) * 2020-12-15 2021-04-13 广州舒勇五金制品有限公司 一种基于相对位置的展示系统
JP2022511456A (ja) * 2018-11-30 2022-01-31 マジック リープ， インコーポレイテッド 拡張現実デバイスにおける高効率接眼レンズのための方法およびシステム
WO2023111790A1 (ja) * 2021-12-17 2023-06-22 株式会社半導体エネルギー研究所 電子機器
WO2023139445A1 (ja) * 2022-01-21 2023-07-27 株式会社半導体エネルギー研究所 電子機器

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2018113933A1 (en) * 2016-12-20 2018-06-28 Vestel Elektronik Sanayi Ve Ticaret A.S. Data transmission method and data transmission device
EP3602181A4 (en) 2017-03-27 2020-05-13 Avegant Corp. STEERABLE FOVEA DISPLAY
CN110574099B (zh) * 2017-05-01 2022-07-12 安波福技术有限公司 基于头部跟踪的场序跳视分离减少
US10602033B2 (en) * 2017-05-02 2020-03-24 Varjo Technologies Oy Display apparatus and method using image renderers and optical combiners
US10495895B2 (en) * 2017-06-14 2019-12-03 Varjo Technologies Oy Display apparatus and method of displaying using polarizers
US10371998B2 (en) 2017-06-29 2019-08-06 Varjo Technologies Oy Display apparatus and method of displaying using polarizers and optical combiners
CN108762483B (zh) * 2018-04-16 2021-02-09 广景视睿科技（深圳）有限公司 一种互动投影仪及互动投影方法
US10764581B2 (en) 2018-05-24 2020-09-01 Lockhead Martin Corporation Multi-resolution regionalized data transmission
KR20210097190A (ko) 2018-12-07 2021-08-06 아브간트 코포레이션 조향 가능한 위치 설정 요소
KR20240042166A (ko) 2019-01-07 2024-04-01 아브간트 코포레이션 제어 시스템 및 렌더링 파이프라인
CN109637418B (zh) * 2019-01-09 2022-08-30 京东方科技集团股份有限公司 一种显示面板及其驱动方法、显示装置
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
US11586049B2 (en) 2019-03-29 2023-02-21 Avegant Corp. Steerable hybrid display using a waveguide
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US20200413032A1 (en) * 2019-06-27 2020-12-31 Texas Instruments Incorporated Methods and apparatus to render 3d content within a moveable region of display screen
CN113966482A (zh) 2019-11-22 2022-01-21 苹果公司 具有用于执行凹的多个光路径的显示系统
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
RU2741256C1 (ru) * 2020-02-04 2021-01-22 Олег Леонидович Головков Виртуальный шлем с использованием фокусных и контекстных дисплеев
US11170678B2 (en) 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11348514B2 (en) 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11056030B1 (en) * 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
US11307410B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
US11308900B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
WO2022041162A1 (en) * 2020-08-29 2022-03-03 Citrix Systems, Inc. Mask including moveable window for viewing content
KR20220081162A (ko) * 2020-12-08 2022-06-15 삼성전자주식회사 포비티드 디스플레이 장치
RU207960U1 (ru) * 2021-07-21 2021-11-26 Общество с ограниченной ответственностью "СтендАп Инновации" Мобильное интерактивное проекционное устройство
US11899215B1 (en) * 2022-07-29 2024-02-13 Htc Corporation Head mounted display, display device and image display method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US931683A (en) 1908-06-06 1909-08-17 George S Cox And Brother Haircloth-loom.
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
US5394203A (en) * 1994-06-06 1995-02-28 Delco Electronics Corporation Retracting head up display with image position adjustment
JPH11109278A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
EP1190571A1 (en) * 1999-04-08 2002-03-27 New York University Extremely high resolution foveated display
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7488072B2 (en) * 2003-12-04 2009-02-10 New York University Eye tracked foveal display by controlled illumination
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8638498B2 (en) * 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
KR102391405B1 (ko) * 2013-03-15 2022-04-27 퍼셉트 테크놀러지스, 아이엔씨. 개선된 광학적 및 지각적 디지털 안경류
CA2939928C (en) * 2014-02-19 2021-06-22 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
US10054797B2 (en) * 2015-02-12 2018-08-21 Google Llc Combining a high resolution narrow field display and a mid resolution wide field display
US9619712B2 (en) * 2015-05-18 2017-04-11 Daqri, Llc Threat identification system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2001281594A (ja) * 2000-03-30 2001-10-10 Denso Corp 網膜走査ディスプレイ装置及び光走査装置
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022511456A (ja) * 2018-11-30 2022-01-31 マジック リープ， インコーポレイテッド 拡張現実デバイスにおける高効率接眼レンズのための方法およびシステム
JP7390378B2 (ja) 2018-11-30 2023-12-01 マジック リープ， インコーポレイテッド 拡張現実デバイスにおける高効率接眼レンズのための方法およびシステム
US11994680B2 (en) 2018-11-30 2024-05-28 Magic Leap, Inc. Methods and systems for high efficiency eyepiece in augmented reality devices
CN112650461A (zh) * 2020-12-15 2021-04-13 广州舒勇五金制品有限公司 一种基于相对位置的展示系统
WO2023111790A1 (ja) * 2021-12-17 2023-06-22 株式会社半導体エネルギー研究所 電子機器
WO2023139445A1 (ja) * 2022-01-21 2023-07-27 株式会社半導体エネルギー研究所 電子機器

Also Published As

Publication number Publication date
US9711072B1 (en) 2017-07-18
CN107783298B (zh) 2018-10-09
HK1245897B (zh) 2019-08-02
EP3330771A1 (en) 2018-06-06
SG10201709770SA (en) 2018-07-30
KR20180062946A (ko) 2018-06-11
EP3330771B1 (en) 2020-06-03
CN107783298A (zh) 2018-03-09
JP2019091051A (ja) 2019-06-13
US9710887B1 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
JP2018109745A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
TWI565971B (zh) 近眼微透鏡陣列顯示器
TWI516803B (zh) 近眼視差屏障顯示器
TWI516802B (zh) 近眼光學去迴旋積顯示器
CN113711107A (zh) 根据用户的视线方向调整聚焦区域的增强现实设备及其操作方法
US10602033B2 (en) Display apparatus and method using image renderers and optical combiners
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
US20190004350A1 (en) Display apparatus and method of displaying using polarizers and optical combiners
WO2018100242A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
CN110088662B (zh) 成像系统和产生背景图像和聚焦图像的方法
JP6741643B2 (ja) 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
Wetzstein et al. State of the art in perceptual VR displays
CN117957479A (zh) 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180118

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180118

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181009