JP2018109746A - 表示装置、およびプロジェクタを用いた表示方法 - Google Patents

表示装置、およびプロジェクタを用いた表示方法 Download PDF

Info

Publication number
JP2018109746A
JP2018109746A JP2017226385A JP2017226385A JP2018109746A JP 2018109746 A JP2018109746 A JP 2018109746A JP 2017226385 A JP2017226385 A JP 2017226385A JP 2017226385 A JP2017226385 A JP 2017226385A JP 2018109746 A JP2018109746 A JP 2018109746A
Authority
JP
Japan
Prior art keywords
image
projection
context
focus
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017226385A
Other languages
English (en)
Other versions
JP6423945B2 (ja
Inventor
ウルホ コンットリ
Urho Konttori
ウルホ コンットリ
クラウス メラカリ
Melakari Klaus
クラウス メラカリ
オイヴァ アルヴォ オスカリ サールステン
Oiva Arvo Oskari Sahlsten
オイヴァ アルヴォ オスカリ サールステン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Varjo Technologies Oy
Original Assignee
Varjo Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Varjo Technologies Oy filed Critical Varjo Technologies Oy
Publication of JP2018109746A publication Critical patent/JP2018109746A/ja
Application granted granted Critical
Publication of JP6423945B2 publication Critical patent/JP6423945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Abstract

【課題】表示装置と、前記表示装置を介した表示方法とを提供する。【解決手段】前記表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段と、前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部とを備える。前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である。前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。【選択図】図５

Description

本願で開示される事項は、概して視覚情報の提示に関し、より具体的には、コンテキスト画像プロジェクタまたはコンテキストディスプレイと、フォーカス画像プロジェクタとを備える表示装置に関する。また、本開示は前述の表示装置を介した表示方法にも関する。
背景
近年、ゲーム、教育、軍事訓練、保健医療の外科手術訓練などの用途における、仮想環境のシミュレーションのための技術が急速に進歩している。具体的には、バーチャルリアリティ、拡張現実などの技術は、装置のユーザに模擬環境（「バーチャルワールド」とも呼ばれる）を提示する。この模擬環境は、シミュレートされたものを構成する画像を、装置内のディスプレイ上にレンダリングすることによって提示される。このような装置として、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどが挙げられる。このような装置は、立体視などの現代の技術を用いて模擬環境への没入感をユーザに提示するように構成される。多くの場合、そのような装置の視野は一般的に約１００度であり、これは一般的に約１８０度である人間の視野より大幅に狭い。
また、そのような既存の装置には一定の制限がある。例として、そのような装置に用いられる従来のディスプレイはサイズが小さい。具体的には、そのようなディスプレイによって提供される画素密度は約１５角画素密度であるが、人の眼の中心窩の画素密度は約６０角画素密度である。したがって、画素密度の低さにより、そのようなディスプレイは人の眼の視力を模倣することができない。また、画素密度の高いディスプレイは、そのような装置に収容するには寸法が大きすぎる。別の例として、そのような装置に用いられるフォーカスプラスコンテキストスクリーンなどの従来のディスプレイでは、高解像度のディスプレイが低解像度のディスプレイに埋め込まれている。しかしながら、そのようなフォーカスプラスコンテキストスクリーン内における高解像度のディスプレイの位置は、特定の位置に固定されていることが多い。また、そのようなフォーカスプラスコンテキストディスプレイ上にレンダリングされる画像は、高解像度ディスプレイと低解像度ディスプレイそれぞれの縁部で非連続的に見える。そのため、そのような既存の装置は十分に開発されておらず、人間の視覚系を模倣する能力は制限されている。
前述の説明を鑑みて、模擬環境を実現するための装置に用いられる従来のディスプレイに関する前述の欠点を克服する必要がある。
摘要
本開示は、表示装置を提供することを目標とする。本開示はまた、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタとを備える表示装置を介した表示方法を提供することを目標とする。本開示は、模擬環境を実現するための装置に用いられる従来のディスプレイにおける、画素密度と物理サイズのトレードオフと、画像の不連続性という既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、人間の視覚系を忠実に模倣する表示装置を提供する解決策を提供することである。
一態様では、本願に開示される実施例は表示装置を提供する。前記表示装置は、
コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
少なくとも１つの投影面と、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
- 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
- 前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記少なくとも１つのコンテキスト画像プロジェクタを介して、前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイまたは前記少なくとも１つの投影面にレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整し、
ここで、前記処理部は（ｃ）、（ｄ）、および（ｅ）を同時的に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
別の態様では、本願に開示される実施例は、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段とを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）前記少なくとも１つのコンテキスト画像プロジェクタまたは前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
- 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される。
本願に開示される実施例は、従来技術における前述の問題を実質的に排除または少なくとも部分的に対処し、人間の視覚系を模倣するために、模擬環境を実現するための装置に用いられる表示装置内で能動的な中心窩視を実行できるようにする。
本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施例の図面および詳細な説明から明らかにされるであろう。
本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。
前記の摘要と、下記の例示的な実施例の詳細な説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。
以下、本開示における実施例を、単なる例示として、かつ添付の図面を参照して説明する。
本開示の一実施例による表示装置の例示的アーキテクチャのブロック図である。 本開示の一実施例による表示装置の例示的アーキテクチャのブロック図である。
本開示の様々な実施例による表示装置の例示的な実装を示す図である。 本開示の様々な実施例による表示装置の例示的な実装を示す図である。 本開示の様々な実施例による表示装置の例示的な実装を示す図である。 本開示の様々な実施例による表示装置の例示的な実装を示す図である。 本開示の様々な実施例による表示装置の例示的な実装を示す図である。
本開示の一実施例による表示装置を介した表示方法のステップを示す図である。
添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。
実施例の詳細説明
以下の詳細説明は、本願に開示される実施例およびそれらの実施例を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施例も可能であることを当業者は認識されるであろう。
一態様では、本願に開示される実施例は表示装置を提供する。前記表示装置は、
コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
少なくとも１つの投影面と、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
- 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
- 前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記少なくとも１つのコンテキスト画像プロジェクタを介して、前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイまたは前記少なくとも１つの投影面にレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整し、
ここで、前記処理部は（ｃ）、（ｄ）、および（ｅ）を同時的に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
別の態様では、本願に開示される実施例は、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段とを備える表示装置を介した表示方法を提供する。前記方法は、
（ｉ）前記少なくとも１つのコンテキスト画像プロジェクタまたは前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
- 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される。
本開示は、表示装置と、プロジェクタを用いる該表示装置を介した表示方法とを提供する。本明細書に記述する表示装置の動作は、コンテキスト画像および／またはフォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）のサイズによって制限されない。したがって、該表示装置は、バーチャルリアリティ装置などの小型の装置に容易に実装可能である。また、該表示装置は、装置のユーザの眼の視線方向を検出することによって、人間の視覚系の能動的な中心窩視をシミュレートする。さらに、前述の表示装置を用いて表示された画像は、フォーカス画像およびコンテキスト画像それぞれの投影の光路を適切に最適化することにより、連続的に表示される。具体的には、フォーカス画像およびコンテキスト画像それぞれの投影の光路は、２つ以上のプロジェクタを用いて個別に最適化してもよい。したがって、前述の表示装置は、人間の視覚系に類似する視線随伴性を忠実に模倣するように動作可能である。前述の表示装置を用いた表示方法は実行が容易であり、能動的な中心窩視を確実に実行できる。また、該表示装置は安価であり、製造も容易である。
該表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタとを備える。また、該レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、該レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。具体的には、該視覚的シーンは、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどの装置のユーザに提示される模擬環境内のシーンに相当してもよい。さらに具体的には、該視覚的シーンはユーザの眼に投影されてもよい。その場合、該装置は該表示装置を備えてもよい。
任意で、該レンダリングされたコンテキスト画像の投影の角度幅は２２０度より大きくてもよい。その場合、該コンテキスト画像をレンダリングするための該コンテキストディスプレイの角度寸法は２２０度より大きくてもよい。一実施例によると、該レンダリングされたコンテキスト画像の投影の角度幅は、例えば４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、または１７０度から、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、２００、２１０、または２２０度までであってもよい。別の実施例によると、該レンダリングされたフォーカス画像の投影の角度幅は、例えば５、１０、１５、２０、２５、３０、３５、４０、４５、または５０度から、１５、２０、２５、３０、３５、４０、４５、５０、５５、または６０度までであってもよい。
該少なくとも１つのコンテキスト画像プロジェクタまたは該少なくとも１つのコンテキストディスプレイと、該少なくとも１つのフォーカス画像プロジェクタとを配置することによって、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の投影とを適切に組み合わせることが容易になる。前述の組合せが最適ではない場合、作成される視覚的シーンはゆがんで見えることがある。
一実施例では、該コンテキスト画像は、ユーザの眼の動きに関連するサッカードに対応するために、前述の角度幅内で該表示装置を介してレンダリングおよび投影される広角画像に関する。別の実施例では、該フォーカス画像は、ユーザの眼の動きに関連するマイクロサッカードに対応するために、前述の角度幅内で該表示装置を介してレンダリングおよび投影される画像に関する。具体的には、該フォーカス画像の寸法は該コンテキスト画像よりも小さい。また、該コンテキスト画像および該フォーカス画像それぞれの投影を組み合わせることで、該コンテキスト画像と該フォーカス画像によって集合的に視覚的シーンが構成される。
一実施例では、本明細書で用いる「コンテキストディスプレイ」という用語は、該コンテキスト画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つのコンテキストディスプレイを、該コンテキスト画像が投影されるように構成してもよい。一実施例によると、該コンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択してもよい。
別の実施例では、本明細書で用いる「コンテキスト画像プロジェクタ」という用語は、関連付けられたディスプレイ（またはスクリーン）に該コンテキスト画像をレンダリングするための光学装置に関する。一実施例によると、該コンテキスト画像プロジェクタは、ＬＣＤベースプロジェクタ、ＬＥＤベースプロジェクタ、ＯＬＥＤベースプロジェクタ、ＬＣｏＳベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択してもよい。
一実施例では、該少なくとも１つのコンテキスト画像プロジェクタを用いて、ユーザの左眼と右眼に個別のコンテキスト画像を投影してもよい。該個別のコンテキスト画像は集合的に該コンテキスト画像を構成すると理解されてもよい。一実施例によると、該少なくとも１つのコンテキスト画像プロジェクタは、少なくとも２つのコンテキスト画像プロジェクタを備えてもよい。該少なくとも２つのコンテキスト画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つのコンテキスト画像プロジェクタを、ユーザの片眼への該コンテキスト画像のレンダリング専用に（すなわち全面的に）用いるように、該少なくとも２つのコンテキスト画像プロジェクタを用いてもよい。該少なくとも２つのコンテキスト画像プロジェクタによって、該コンテキスト画像を構成する該個別のコンテキスト画像（例えば、ユーザの左眼用のコンテキスト画像とユーザの右眼用のコンテキスト画像）の光路を個別に最適化することができる。
別の実施例では、該少なくとも１つのコンテキスト画像プロジェクタを、ユーザの左眼と右眼で共有して用いるように配置してもよい。例えば、１つのコンテキスト画像プロジェクタを共有して用いて、それに関連付けられたディスプレイ（またはスクリーン）に該コンテキスト画像をレンダリングしてもよい。そのような例では、該１つのコンテキスト画像プロジェクタは、それに関連付けられるディスプレイ（またはスクリーン）上に、該コンテキスト画像を集合的に構成する個別（ユーザの左眼用と右眼用）のコンテキスト画像を投影してもよい。
任意の時点で、該少なくとも１つのコンテキストディスプレイと該少なくとも１つのコンテキスト画像プロジェクタのうち１つのみが、該コンテキスト画像のレンダリングに用いられることを理解されたい。具体的には、任意の時点で、該コンテキスト画像は、該コンテキストディスプレイか、該少なくとも１つのコンテキスト画像プロジェクタに関連付けられた該ディスプレイ（またはスクリーン）かのいずれかにレンダリングされてもよい。
一実施例によると、本明細書で用いる「フォーカス画像プロジェクタ」という用語は、関連付けられたディスプレイ（またはスクリーン）に該フォーカス画像を投影するための光学装置に関する。一実施例によると、該フォーカス画像プロジェクタは、ＬＣＤベースプロジェクタ、ＬＥＤベースプロジェクタ、ＯＬＥＤベースプロジェクタ、ＬＣｏＳベースプロジェクタ、ＤＬＰベースプロジェクタ、およびレーザープロジェクタからなる群から選択してもよい。
一実施例では、該少なくとも１つのコンテキスト画像プロジェクタに関連付けられた該ディスプレイ（またはスクリーン）と、該少なくとも１つのフォーカス画像プロジェクタに関連付けられた該ディスプレイ（またはスクリーン）は、同じ（すなわちプロジェクタ間で共有）であってもよい。具体的には、そのような実施例では、共通／共有ディスプレイ（またはスクリーン）に、該少なくとも１つのコンテキスト画像プロジェクタによって該コンテキスト画像を、該少なくとも１つのフォーカス画像プロジェクタによって該フォーカス画像を、レンダリングしてもよい。
本開示の一実施例では、該少なくとも１つのフォーカス画像プロジェクタは、少なくとも２つのフォーカス画像プロジェクタを備えてもよい。該少なくとも２つのフォーカス画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つのフォーカス画像プロジェクタを、ユーザの片眼への該フォーカス画像のレンダリング専用に（すなわち全面的に）用いるように、該少なくとも２つのフォーカス画像プロジェクタを用いてもよい。該少なくとも２つのフォーカス画像プロジェクタによって、該フォーカス画像を構成する個別のフォーカス画像（例えば、ユーザの左眼用のフォーカス画像とユーザの右眼用のフォーカス画像）の光路を個別に最適化することができる。
任意で、該少なくとも１つのフォーカス画像プロジェクタがレーザープロジェクタである場合、該少なくとも１つのフォーカス画像プロジェクタをユーザの両眼に用いるように配置してもよい。具体的には、ユーザの両眼用の個別のフォーカス画像が同時的に投影されるように、該レーザープロジェクタを操作してもよい。例えば、１つのレーザープロジェクタを該少なくとも１つのフォーカス画像プロジェクタとして用いて、（ユーザの左眼と右眼それぞれに対する）個別のフォーカス画像を同時的に投影してもよい。
該表示装置は、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段と、該画像操作部および該視線方向を検出するための手段と通信するように接続される処理部とをさらに備える。
一実施例では、該処理部は、該表示装置の動作を制御するように構成されるハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。具体的には、該処理部は、該視覚的シーンを処理してユーザの眼に表示（または投影）する該表示装置の動作を制御してもよい。該表示装置を、ユーザに関連付けられた装置内で用いる場合、該処理部は該装置の外側にあってもそうでなくてもよい。
任意で、該処理部は記憶部と通信するように接続してもよい。一実施例では、該記憶部は、該処理部によって処理され表示される、視覚的シーンの画像および／または該コンテキスト画像と該フォーカス画像の格納に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。そのような実施例では、該記憶部は該装置内にあっても、遠隔に配置してもよい。
一実施例では、該視線方向を検出するための手段は、アイトラッカーなどの、ユーザの眼の視線方向および眼の動きを測定する特別な機器に関するものであってもよい。具体的には、視線方向を正確に検出することで、該表示装置が視線随伴性を忠実に実現できるようにしてもよい。また、該視線方向を検出するための手段は、眼と接触するように、または接触しないように配置してもよい。該視線方向を検出するための手段の例として、モーションセンサ付コンタクトレンズ、眼の瞳の位置をモニタするカメラなどが挙げられる。
該処理部は、入力画像を受信し、該検出された視線方向を用いて該入力画像の高精度視領域を決定するように構成される。一実施例では、本明細書で用いる「入力画像」という用語は、該表示装置を介して表示される該視覚的シーンの画像に関する。例えば、該入力画像はユーザの眼に表示されてもよい。一実施例では、該入力画像は、ユーザに関連付けられた該装置に接続された画像センサから受信してもよい。具体的には、該画像センサ（パススルーデジタルカメラの画像センサなど）は、眼に投影される該入力画像として、実世界の環境の画像を取得してもよい。別の実施例では、該入力画像は、該処理部と通信するように接続された該記憶部から受信してもよい。具体的には、該記憶部を、ＭＰＥＧ（Moving Picture Experts Group）、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（Bitmap file format）を含むがこれらに限らない、適切なフォーマットの該入力画像を格納するように構成してもよい。そのような実施例では、該入力画像は任意でコンピュータ生成画像であってもよい。
該入力画像の受信後、該処理部は該検出された視線方向を用いて該入力画像の高精度視領域を決定する。一実施例では、該高精度視領域は、該検出された眼の視線方向が焦点を結ぶことができる、該入力画像の領域に関する。具体的には、該高精度視領域は、該入力画像内の関心領域（または凝視点）であってもよく、眼の中心窩に投影されてもよい。また、該高精度視領域は、該入力画像内の焦点領域であってもよい。したがって、該高精度視領域は、該入力画像が人間の視覚系によって見られるときに、該入力画像の他の領域よりもさらに詳細に解像される領域に関することが明らかであろう。
また、該処理部は、該入力画像の該高精度視領域の決定後、第１解像度を有する該コンテキスト画像と、第２解像度を有する該フォーカス画像とを生成するために該入力画像を処理するように構成される。該第２解像度は該第１解像度より高い。該フォーカス画像は、該入力画像の該高精度視領域に実質的に相当する。また、該コンテキスト画像は、該入力画像を低解像度で表現したものに相当する。したがって、該コンテキスト画像は、該入力画像の該高精度視領域ならびに該入力画像の残りの領域を含む。具体的には、該コンテキスト画像のサイズは該フォーカス画像のサイズより大きい。該フォーカス画像は、該検出された眼の視線方向が焦点を結ぶことができる、該コンテキスト画像の一部分のみに相当するからである。
一実施例では、該第１解像度および該第２解像度は、角分解能の観点から理解されるであろう。具体的には、該第２解像度を示す角画素密度は、該第１解像度を示す角画素密度よりも高い。例として、ユーザの眼の中心窩は２度の視野に相当し、５７角画素密度で１１４画素に等しい角断面幅の該フォーカス画像の投影を受ける。したがって、該フォーカス画像に相当する角画素サイズは、２／１１４すなわち０．０１７である。また、この例では、眼の網膜は１８０度の視野に相当し、１５角画素密度で２７００画素に等しい角断面幅の該コンテキスト画像の投影を受ける。したがって、該コンテキスト画像に相当する角画素サイズは、１８０／２７００すなわち０．０６７である。計算のとおり、該コンテキスト画像に相当する角画素サイズは、該フォーカス画像に相当する角画素サイズよりかなり大きいことが明らかである。ただし、知覚される角分解能を総画素数で示したものが、該フォーカス画像より該コンテキスト画像のほうが大きいのは、該フォーカス画像が、該入力画像の該高精度視領域に相当する該コンテキスト画像の一部分のみに相当するためである。
該コンテキスト画像および該フォーカス画像の生成と共に、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。具体的には、該マスクは、該処理部によって該入力画像の該高精度視領域に相当する該コンテキスト画像の領域を隠す（または隠蔽する）ことによって実行してもよい。例えば、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を暗く（または黒く）してマスクしてもよい。また、該フォーカス画像は該入力画像の該高精度視領域に実質的に相当し、該第２解像度は該第１解像度より高い。
該処理部は、該入力画像の処理後、該少なくとも１つのコンテキスト画像プロジェクタを介して、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイまたは該少なくとも１つの投影面にレンダリングするように構成される。また、該処理部は、該少なくとも１つのフォーカス画像プロジェクタを介して、該フォーカス画像を該少なくとも１つの投影面にレンダリングするように構成される。任意の時点で、該少なくとも１つのコンテキストディスプレイか、該少なくとも１つの投影面および該少なくとも１つのコンテキスト画像プロジェクタかのいずれかを、該コンテキスト画像のレンダリングに用いてもよいことを理解されたい。
一実施例によると、本明細書で用いる「投影面」という用語は、該コンテキスト画像および該フォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つの投影面は、該コンテキスト画像および該フォーカス画像の光学的なレンダリングに適切な透過率と反射率の仕様を有してもよい。例として、該少なくとも１つの投影面は非透過（すなわち不透明な）面であってもよい。別の例では、該少なくとも１つの投影面は半透明面であってもよい。任意で、該少なくとも１つの投影面は、偏光子、位相子、光学フィルムのうち少なくとも１つを用いて実装してもよい。
一実施例では、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像の投影を実質的に通過させ、該レンダリングされたフォーカス画像の投影を実質的に反射するように配置してもよい。そのような実施例では、該コンテキスト画像は、該少なくとも１つの投影面の裏側から該投影面に投影されてもよく、該フォーカス画像は該少なくとも１つの投影面の表側から該投影面に投影されてもよい。別の実施例では、該少なくとも１つの投影面は、該レンダリングされたフォーカス画像の投影を実質的に通過させ、該レンダリングされたコンテキスト画像の投影を実質的に反射するように配置してもよい。そのような実施例では、該フォーカス画像は、該少なくとも１つの投影面の裏側から該投影面に投影されてもよく、該コンテキスト画像は該少なくとも１つの投影面の表側から該投影面に投影されてもよい。
一実施例によると、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像とフォーカス画像両方の投影を実質的に通過させるように配置してもよい。そのような実施例では、該コンテキスト画像と該フォーカス画像の両方を、該少なくとも１つの投影面の裏側から該投影面に投影してもよい。別の実施例によると、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像とフォーカス画像両方の投影を実質的に反射するように配置してもよい。そのような実施例では、該コンテキスト画像と該フォーカス画像の両方を、該少なくとも１つの投影面の表側から該投影面に投影してもよい。
本開示の一実施例によると、該少なくとも１つの投影面は、少なくとも２つの投影面を含んでもよい。該少なくとも２つの投影面のうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、該少なくとも２つの投影面のうち少なくとも１つを、ユーザの左眼用のコンテキスト画像およびフォーカス画像のレンダリングに用いてもよい。同様に、該少なくとも２つの投影面のうち少なくとも１つを、ユーザの右眼用のコンテキスト画像およびフォーカス画像のレンダリングに用いてもよい。任意で、該コンテキスト画像および／または該フォーカス画像それぞれの投影を通過させるために、該少なくとも２つの投影面のうち少なくとも１つを半透明にしてもよい。
一実施例では、該少なくとも１つの投影面を、該少なくとも１つのコンテキストディスプレイの一部として実装する。そのような実施例では、該処理部によって、該少なくとも１つのコンテキスト画像プロジェクタを用いることなく、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイにレンダリングしてもよい。また、そのような実施例では、該少なくとも１つのコンテキストディスプレイを、該フォーカス画像のレンダリングを促進するように構成してもよい。
該処理部は、該コンテキスト画像および該フォーカス画像のレンダリング後、該画像操作部を制御して、該少なくとも１つの投影面上の、該レンダリングされたコンテキスト画像の該マスクされた領域の投影に、該レンダリングされたフォーカス画像の投影が実質的に重なるように、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。さらに、該処理部は、該コンテキスト画像のレンダリングと、該フォーカス画像のレンダリングと、該画像操作部の制御を同時的に実行するように構成される。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像それぞれの投影を組み合わせて、該入力画像の投影を構成してもよい。該コンテキスト画像および該フォーカス画像を同時的にレンダリングするのは、それらの投影の組合せにおける時間の遅延を防ぐためである。
該レンダリングされたコンテキスト画像の投影の角度幅は、該レンダリングされたフォーカス画像の投影の角度幅よりも大きい。これは、該レンダリングされたフォーカス画像は通常、眼の中心窩およびその周囲に投影され、該レンダリングされたコンテキスト画像は眼の網膜に投影されることに起因するであろう。眼の網膜において、中心窩はほんの小さな部分である。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像とを組み合わせて該入力画像を構成し、それを眼に投影することで該入力画像を投影してもよい。
一実施例では、本明細書で用いる「画像操作部」という用語は、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影を制御するための機器（光学素子、機構部品など）に関する。具体的には、該画像操作部は少なくとも１つの素子／部品を含んでもよい。任意で、該画像操作部は、該少なくとも１つの投影面上の該レンダリングされた該コンテキスト画像の投影を制御するために動作可能であってもよい。
前述の実施例では、該画像操作部が、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の該マスクされた領域の投影とを実質的に重ねることで、該入力画像の該高精度視領域のゆがみを防止する。具体的には、該入力画像の該高精度視領域が、低解像度の該レンダリングされたコンテキスト画像と、高解像度の該レンダリングされたフォーカス画像の両方の中で表現される。同じ領域の低解像度画像と高解像度画像それぞれの投影を重ねる（重畳する）と、該同じ領域の外観にゆがみが生じる。また、高解像度の該レンダリングされたフォーカス画像は、低解像度の該レンダリングされたコンテキスト画像より、該入力画像の該高精度視領域に関する情報をより多く含む場合がある。したがって、高解像度の該レンダリングされたフォーカス画像をゆがみなしで投影するために、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。
一実施例において前述したように、該処理部を、該表示された入力画像の該高精度視領域と、該表示された入力画像の残りの領域との間の遷移領域の継ぎ目（すなわち縁部）が最小になるように、該入力画像の該高精度視領域に相当する該コンテキスト画像の領域をマスクするように構成してもよい。該表示された入力画像の該高精度視領域は該フォーカス画像の投影（および該コンテキスト画像の該マスクされた領域）に相当し、該表示された入力画像の残りの領域は該コンテキスト画像の投影に相当することを理解されたい。具体的には、該コンテキスト画像と該フォーカス画像を重畳する際に該遷移領域の継ぎ目を最小にして、該表示された入力画像が連続的に表示されるように、該マスクは徐々に段階的に変化するように実行するべきである。例えば、該処理部は、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を大幅に暗くし、該入力画像の該高精度視領域からの距離が増すにつれて、該画素の暗さの程度を徐々に減じてもよい。該レンダリングされたコンテキスト画像およびフォーカス画像の投影の重畳（または重なり）の位置合せおよび外観が不適切および／または不連続である場合、該表示された入力画像も同様に不適切になるであろう。
任意で、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域のマスクは、該遷移領域において、該コンテキスト画像と該フォーカス画像との間で逆の値を有する線形の透明マスクブレンド、ユーザの眼に自然に感知されにくい形状を含むステルス（またはカムフラージュ）パターンなどを用いて実行してもよい。
一実施例では、該画像操作部は、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させるための少なくとも１つの第１駆動部を備えてもよく、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、該少なくとも１つの第１駆動部は、眼の視線方向がある方向から別の方向にシフトするときに、該フォーカス画像プロジェクタを移動させてもよい。そのような場合、該フォーカス画像プロジェクタおよび該少なくとも１つの投影面の配置によっては、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されなくなることがある。したがって、視線方向がシフトしても該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されるように、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させて、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第１駆動部を制御してもよい。
例として、該少なくとも１つの第１駆動部は、該フォーカス画像プロジェクタを該少なくとも１つの投影面に近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第１駆動部は、該フォーカス画像プロジェクタを該少なくとも１つの投影面に対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第１駆動部は、該フォーカス画像プロジェクタを該少なくとも１つの投影面に対して傾斜および／または回転させてもよい。
一実施例によると、該画像操作部は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの光学素子と、該少なくとも１つのフォーカス画像プロジェクタに対して該少なくとも１つの光学素子を移動させるための少なくとも１つの第２駆動部とを備えてもよい。該少なくとも１つの光学素子は、レンズ、プリズム、ミラー、ビームスプリッタ、および光導波路からなる群から選択される。そのような実施例では、該処理部は、該少なくとも１つの第２駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の光路を該少なくとも１つの光学素子が変更してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第２駆動部を制御してもよい。
例えば、投影面とフォーカス画像プロジェクタとの間の光路にプリズムを設けてもよい。具体的には、該投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するために、該レンダリングされたフォーカス画像の投影の光路が、該プリズムを通過した後に変わるようにしてもよい。また、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、第２駆動部によって該プリズムを縦方向および／または横方向に移動、回転、傾斜などさせてもよい。
例えば、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する該少なくとも１つの光学素子は、光導波路であってもよい。具体的には、該光導波路は、該フォーカス画像の投影を通過させ、該少なくとも１つの投影面上の該レンダリングされたフォーカス画象の投影の場所を調整するように配置してもよい。したがって、該光導波路は半透明であってもよい。一実施例では、該光導波路はマイクロプリズム、ミラー、回折光学素子などの光学素子を内部にさらに備えてもよい。
一実施例では、該画像操作部は、該少なくとも１つの投影面を移動させるための少なくとも１つの第３駆動部を備え、該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成されてもよい。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの第３駆動部によって該少なくとも１つの投影面を移動させてもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第３駆動部を制御してもよい。
例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を該少なくとも１つのフォーカス画像プロジェクタに近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を該少なくとも１つのフォーカス画像プロジェクタに対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を傾斜および／または回転させてもよい。
一実施例によると、該表示装置は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの焦点レンズと、該少なくとも１つのフォーカス画像プロジェクタに対して該少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部とを備えてもよい。また、そのような実施例では、該処理部は、該少なくとも１つの第４駆動部を制御して、該レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。具体的には、該少なくとも１つの焦点レンズは、その特定の性質を利用して、該レンダリングされたフォーカス画像の投影の光路を変更することで、その投影の焦点を調整してもよい。より具体的には、視度調整、非点収差補正などに対応するために、該レンダリングされたフォーカス画像の投影の焦点を調整してもよい。また、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第４駆動部を制御してもよい。
別の実施例によると、該表示装置は、該少なくとも１つの第１光学素子と該少なくとも１つのフォーカスディスプレイとの間の光路上に位置する該少なくとも１つの焦点レンズを備えてもよく、該処理部は、該少なくとも１つの焦点レンズに制御信号を適用することで、該少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される。具体的には、該少なくとも１つの焦点レンズの該有効な光学特性には、焦点距離、光パワーなどが含まれてもよいが、それらに限らない。また、そのような実施例では、該制御信号は電気信号、油圧などであってもよい。
一実施例では、該少なくとも１つの焦点レンズは液晶（Liquid Crystal：ＬＣ）レンズなどであってもよい。任意で、該少なくとも１つの焦点レンズは、該少なくとも１つの第１光学素子と該少なくとも１つのコンテキストディスプレイとの間の光路上に位置してもよい。
一実施例では、該処理部は、該少なくとも１つの投影面に対して画像処理機能を実行してもよい。具体的には、該画像処理機能は、該コンテキスト画像および該フォーカス画像を該少なくとも１つの投影面にレンダリングする前に実行してもよい。より具体的には、そのような画像処理機能を実行することで、該レンダリングされたコンテキスト画像およびフォーカス画像の品質を最適化してもよい。したがって、該少なくとも１つの投影面の性質と、該入力画像の性質とを考慮して、該画像処理機能を選択してもよい。
一実施例によると、該少なくとも１つの投影面に対する画像処理機能は、知覚されるコンテキスト画像および／またはフォーカス画像の品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、低域フィルタリング、色処理、およびガンマ補正からなる群から選択される。一実施例では、該少なくとも１つの投影面に対する該画像処理機能は、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚されるゆがみを最小化するための、エッジ処理をさらに含んでもよい。
本説明は、前述の方法にも関する。前述の様々な実施例およびその変形は、該方法にも同様に当てはまる。より具体的には、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させることによって調整することができる。
別の実施例によると、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第２駆動部を制御して、該少なくとも１つのフォーカス画像プロジェクタに対して、該画像操作部の少なくとも１つの光学素子を移動させることによって調整され、ここで該少なくとも１つの光学素子は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置し、および／または、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第３駆動部を制御して、該少なくとも１つの投影面を移動させることによって調整される。
該方法は、該表示装置の少なくとも１つの第４駆動部を制御して、該少なくとも１つのフォーカス画像プロジェクタに対して、該表示装置の少なくとも１つの焦点レンズを移動させることによって、該レンダリングされたフォーカス画像の投影の焦点を調整することを含んでもよく、ここで該少なくとも１つの焦点レンズは、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。
図面の詳細な説明
図１を参照すると、本開示の一実施例による表示装置１００の例示的アーキテクチャのブロック図が示されている。表示装置１００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイ１０２と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタ１０４とを備える。レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
図２を参照すると、本開示の別の実施例による表示装置２００の例示的アーキテクチャのブロック図が示されている。表示装置２００は、少なくとも１つの投影面２０２と、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイ２０４と、少なくとも１つのフォーカス画像プロジェクタ２０６と、画像操作部２０８と、視線方向を検出するための手段２１０と、処理部２１２とを備える。処理部２１２は、画像操作部２０８および視線方向を検出するための手段２１０と通信するように接続される。また、処理部２１２は、少なくとも１つの投影面２０２、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイ２０４、および少なくとも１つのフォーカス画像プロジェクタ２０６と接続されてもよい。
図３を参照すると、本開示の一実施例による表示装置３００の例示的実装が示されている。図示のとおり、表示装置３００は、少なくとも１つの投影面（投影面３０２として図示）と、少なくとも１つのコンテキスト画像プロジェクタ（コンテキスト画像プロジェクタ３０４として図示）と、少なくとも１つのフォーカス画像プロジェクタ（フォーカス画像プロジェクタ３０６として図示）と、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部とを備える。画像操作部は、少なくとも１つの第１駆動部（図示しない）と、少なくとも１つの光学素子（光学素子３０８として図示）と、少なくとも１つの第２駆動部（図示しない）とを備える。例えば、光学素子３０８は、レンズ、プリズム、ミラー、ビームスプリッタ、および光導波路からなる群から選択される。表示装置３００の処理部は、コンテキスト画像プロジェクタ３０４を介して投影面３０２にコンテキスト画像３１０をレンダリングし、フォーカス画像プロジェクタ３０６を介して投影面３０２にフォーカス画像３１２をレンダリングするように構成される。また、表示装置３００の処理部は、第２駆動部（図示しない）を制御して、投影面３０２上のレンダリングされたフォーカス画像３１２の投影の場所を調整するように構成される。図示のとおり、コンテキスト画像３１０とフォーカス画像３１２の両方は、投影面３０２の同じ側から投影される。
図４を参照すると、本開示の別の実施例による表示装置４００の例示的実装が示されている。図示のとおり、表示装置４００は、少なくとも１つの投影面（投影面４０２として図示）と、少なくとも１つのコンテキスト画像プロジェクタ（コンテキスト画像プロジェクタ４０４として図示）と、少なくとも１つのフォーカス画像プロジェクタ（フォーカス画像プロジェクタ４０６として図示）と、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。表示装置４００の処理部は、コンテキスト画像プロジェクタ４０４を介して投影面４０２にコンテキスト画像４０８をレンダリングし、フォーカス画像プロジェクタ４０６を介して投影面４０２にフォーカス画像４１０をレンダリングするように構成される。図示のとおり、コンテキスト画像４０８は投影面４２０の表側から投影され、フォーカス画像４１０は投影面４０２の裏側から投影される。
図５を参照すると、本開示の別の実施例による表示装置５００の例示的実装が示されている。図示のとおり、表示装置５００は、少なくとも２つの投影面（投影面５０２Ａおよび５０２Ｂとして図示）を含む少なくとも１つの投影面と、少なくとも１つのコンテキスト画像プロジェクタ（コンテキスト画像プロジェクタ５０４として図示）と、少なくとも２つのフォーカス画像プロジェクタ（２つのフォーカス画像プロジェクタ５０６Ａおよび５０６Ｂとして図示）を含む少なくとも１つのフォーカス画像プロジェクタと、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。また、少なくとも２つの投影面の投影面５０２Ａはユーザの左眼に用いるように配置され、少なくとも２つの投影面の投影面５０２Ｂはユーザの右眼に用いるように配置される。さらに、少なくとも２つのフォーカス画像プロジェクタのうち、フォーカス画像プロジェクタ５０６Ａはユーザの左眼に用いるように配置され、フォーカス画像プロジェクタ５０６Ｂはユーザの右眼に用いるように配置される。表示装置５００の処理部は、コンテキスト画像プロジェクタ５０４を介して、コンテキスト画像（２つのコンテキスト画像５０８Ａおよび５０８Ｂとして図示）を２つの投影面５０２Ａおよび５０２Ｂにそれぞれレンダリングするように構成される。その場合、コンテキスト画像５０８Ａはユーザの左眼に用いられ、コンテキスト画像５０８Ｂはユーザの右眼に用いられる。また、表示装置５００の処理部は、２つのフォーカス画像プロジェクタ５０６Ａおよび５０６Ｂを介して、フォーカス画像（２つのフォーカス画像５１０Ａおよび５１０Ｂとして図示）を２つの投影面５０２Ａおよび５０２Ｂにそれぞれレンダリングするように構成される。その場合、フォーカス画像５１０Ａはユーザの左眼に用いられ、フォーカス画像５１０Ｂはユーザの右眼に用いられる。図示のとおり、コンテキスト画像５０８Ａおよび５０８Ｂとフォーカス画像５１０Ａおよび５１０Ｂのすべては、少なくとも１つの投影面の同じ側から投影される。
図６を参照すると、本開示の別の実施例による表示装置６００の例示的実装が示されている。図示のとおり、表示装置６００は、少なくとも１つのコンテキストディスプレイ（コンテキストディスプレイ６０２として図示）の一部として実装される少なくとも１つの投影面と、少なくとも２つのフォーカス画像プロジェクタ（２つのフォーカス画像プロジェクタ６０４Ａおよび６０４Ｂとして図示）を含む少なくとも１つのフォーカス画像プロジェクタと、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。表示装置６００の処理部は、コンテキスト画像６０６をコンテキストディスプレイ６０２にレンダリングするように構成される。また、表示装置６００の処理部は、２つのフォーカス画像プロジェクタ６０４Ａおよび６０４Ｂを介して、フォーカス画像（２つのフォーカス画像６０８Ａおよび６０８Ｂとして図示）を、コンテキストディスプレイ６０２の一部として実装される少なくとも１つの投影面にそれぞれレンダリングするように構成される。その場合、フォーカス画像６０８Ａはユーザの左眼に用いられ、フォーカス画像６０８Ｂはユーザの右眼に用いられる。図示のとおり、フォーカス画像６０８Ａと６０８Ｂの両方は、コンテキストディスプレイ６０２の一部として実装された少なくとも１つの投影面の同じ側から投影される。
図７を参照すると、本開示の別の実施例による表示装置７００の例示的実装が示されている。図示のとおり、表示装置７００は、少なくとも１つのコンテキストディスプレイの一部として実装された少なくとも１つの投影面７０２と、少なくとも１つのフォーカス画像プロジェクタ７０４とを備える。また、表示装置７００は画像操作部を備える。この画像操作部は、少なくとも１つの投影面７０２と少なくとも１つのフォーカス画像プロジェクタ７０４との間の光路に位置する少なくとも１つの光学素子７０６を備える。図示のとおり、少なくとも１つの光学素子７０６は光導波路である。また、表示装置７００の処理部は、少なくとも１つの第２駆動部（図示しない）を制御して、少なくとも１つの投影面７０２上のレンダリングされたフォーカス画像の投影の場所を調整するように構成される。少なくとも１つの光導波路７０６（または図示された光導波路）は、マイクロプリズム、ミラー、回折光学素子などの光学素子７０８を内部にさらに備える。
図８を参照すると、本開示の一実施例による表示装置（図１の表示装置１００など）を介した表示方法８００のステップが示されている。ステップ８０２において、少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングする。ここで、レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲である。ステップ８０４において、少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングする。ここで、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。ステップ８０６において、レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。
ステップ８０２から８０６は単なる例示であり、本明細書の請求の範囲から逸脱することなく、１つ以上のステップを追加したり、１つ以上のステップを省略したり、１つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。例として、方法８００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第１駆動部を制御して、少なくとも１つの投影面に対してフォーカス画像プロジェクタを移動させることによって調整してもよい。別の例として、方法８００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第２駆動部を制御して、少なくとも１つのフォーカス画像プロジェクタに対して、画像操作部の少なくとも１つの光学素子を移動させることによって調整してもよく、ここで少なくとも１つの光学素子は、少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。さらに別の例として、方法８００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第３駆動部を制御して、少なくとも１つの投影面を移動させることによって調整してもよい。任意で、方法８００は、表示装置の少なくとも１つの第４駆動部を制御して、少なくとも１つのフォーカス画像プロジェクタに対して、表示装置の少なくとも１つの焦点レンズを移動させることによって、レンダリングされたフォーカス画像の投影の焦点を調整することを含んでもよく、ここで少なくとも１つの焦点レンズは、少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。
添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本願に開示される実施例への修正が可能である。

Claims (18)

  1. コンテキスト画像をレンダリングするための少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、
    フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
    少なくとも１つの投影面と、
    画像操作部と、
    視線方向を検出するための手段と、
    前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
    前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
    前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
    前記処理部は、
    （ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
    （ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
    - 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
    - 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
    - 前記第２解像度は、前記第１解像度よりも高く、
    （ｃ）前記少なくとも１つのコンテキスト画像プロジェクタを介して、前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイまたは前記少なくとも１つの投影面にレンダリングし、
    （ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
    （ｅ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整し、
    ここで、前記処理部は（ｃ）、（ｄ）、および（ｅ）を同時的に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる、表示装置。
  2. 前記少なくとも１つのフォーカス画像プロジェクタは、少なくとも２つのフォーカス画像プロジェクタを備え、前記少なくとも２つのフォーカス画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される、請求項１に記載の表示装置。
  3. 前記少なくとも１つのコンテキスト画像プロジェクタは、少なくとも２つのコンテキスト画像プロジェクタを備え、前記少なくとも２つのコンテキスト画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される、請求項１または２に記載の表示装置。
  4. 前記少なくとも１つのコンテキスト画像プロジェクタは、ユーザの左眼と右眼で共有して用いるように配置される、請求項１または２に記載の表示装置。
  5. 前記少なくとも１つの投影面は、少なくとも２つの投影面を含み、前記少なくとも２つの投影面のうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される、請求項１から４のいずれかに記載の表示装置。
  6. 前記少なくとも１つの投影面は、前記少なくとも１つのコンテキストディスプレイの一部として実装される、請求項１、２、または５に記載の表示装置。
  7. 前記少なくとも１つの投影面は、偏光子、位相子、光学フィルムのうち少なくとも１つを用いて実装される、請求項１から６のいずれかに記載の表示装置。
  8. 前記画像操作部は、前記少なくとも１つの投影面に対して前記フォーカス画像プロジェクタを移動させるための少なくとも１つの第１駆動部を備え、前記処理部は、前記少なくとも１つの第１駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から７のいずれかに記載の表示装置。
  9. 前記画像操作部は、
    前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの光学素子であって、レンズ、プリズム、ミラー、ビームスプリッタ、および光導波路からなる群から選択される光学素子と、
    前記少なくとも１つのフォーカス画像プロジェクタに対して前記少なくとも１つの光学素子を移動させるための少なくとも１つの第２駆動部と、
    を備え、前記処理部は、前記少なくとも１つの第２駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から８のいずれかに記載の表示装置。
  10. 前記画像操作部は、前記少なくとも１つの投影面を移動させるための少なくとも１つの第３駆動部を備え、
    前記処理部は、前記少なくとも１つの第３駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から９のいずれかに記載の表示装置。
  11. 前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの焦点レンズと、
    前記少なくとも１つのフォーカス画像プロジェクタに対して前記少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部と、を備え
    前記処理部は、前記少なくとも１つの第４駆動部を制御して、前記レンダリングされたフォーカス画像の投影の焦点を調整するように構成される、請求項１から１０のいずれかに記載の表示装置。
  12. 前記少なくとも１つの第１光学素子と前記少なくとも１つのフォーカスディスプレイとの間の光路上に位置する少なくとも１つの焦点レンズを備え、
    前記処理部は、前記少なくとも１つの焦点レンズに制御信号を適用することで、前記少なくとも１つの焦点レンズの少なくとも１つの有効な光学特性を制御するように構成される、請求項２から１０のいずれかに記載の表示装置。
  13. 前記少なくとも１つのコンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択される、請求項１から１２のいずれかに記載の表示装置。
  14. 前記コンテキスト画像プロジェクタおよび／または前記フォーカス画像プロジェクタはそれぞれ独立して、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）ベースプロジェクタ、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースプロジェクタ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースプロジェクタ、ＬＣｏＳ（Liquid Crystal on Silicon）ベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択される、請求項１から１３のいずれかに記載の表示装置。
  15. 少なくとも１つのコンテキスト画像プロジェクタまたは少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、少なくとも１つの投影面と、画像操作部と、視線方向を検出するための手段とを備える表示装置を介した表示方法であって、
    （ｉ）前記少なくとも１つのコンテキスト画像プロジェクタまたは前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
    （ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
    （ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
    （ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
    （ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
    - 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
    - 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
    （ｖｉ）前記画像操作部を制御して、前記少なくとも１つの投影面上の、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
    ここで（ｉ）、（ｉｉ）、および（ｖｉ）は同時的に実行される、
    方法。
  16. 前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第１駆動部を制御して、前記少なくとも１つの投影面に対して前記フォーカス画像プロジェクタを移動させることによって調整される、請求項１５に記載の方法。
  17. 前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第２駆動部を制御して、前記少なくとも１つのフォーカス画像プロジェクタに対して、前記画像操作部の少なくとも１つの光学素子を移動させることによって調整され、ここで前記少なくとも１つの光学素子は、前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置し、および／または、
    前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第３駆動部を制御して、前記少なくとも１つの投影面を移動させることによって調整される、請求項１５または１６に記載の方法。
  18. 前記表示装置の少なくとも１つの第４駆動部を制御して、前記少なくとも１つのフォーカス画像プロジェクタに対して、前記表示装置の少なくとも１つの焦点レンズを移動させることによって、前記レンダリングされたフォーカス画像の投影の焦点を調整することを含み、ここで前記少なくとも１つの焦点レンズは、前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する、請求項１５から１７のいずれかに記載の方法。
JP2017226385A 2016-12-01 2017-11-27 表示装置、およびプロジェクタを用いた表示方法 Active JP6423945B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/366,497 US9711114B1 (en) 2016-12-01 2016-12-01 Display apparatus and method of displaying using projectors
US15/366,497 2016-12-01

Publications (2)

Publication Number Publication Date
JP2018109746A true JP2018109746A (ja) 2018-07-12
JP6423945B2 JP6423945B2 (ja) 2018-11-14

Family

ID=59297841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017226385A Active JP6423945B2 (ja) 2016-12-01 2017-11-27 表示装置、およびプロジェクタを用いた表示方法

Country Status (7)

Country Link
US (1) US9711114B1 (ja)
EP (1) EP3330772B1 (ja)
JP (1) JP6423945B2 (ja)
KR (1) KR101977903B1 (ja)
CN (1) CN107959837B (ja)
HK (1) HK1247014B (ja)
SG (1) SG10201709781TA (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11785192B2 (en) 2019-09-09 2023-10-10 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10602033B2 (en) * 2017-05-02 2020-03-24 Varjo Technologies Oy Display apparatus and method using image renderers and optical combiners
US10495895B2 (en) * 2017-06-14 2019-12-03 Varjo Technologies Oy Display apparatus and method of displaying using polarizers
US10371998B2 (en) 2017-06-29 2019-08-06 Varjo Technologies Oy Display apparatus and method of displaying using polarizers and optical combiners
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
US10614734B2 (en) * 2018-03-06 2020-04-07 Varjo Technologies Oy Display apparatus and method of displaying using controllable scanning mirror
EP3891546A4 (en) 2018-12-07 2022-08-24 Avegant Corp. STEERING POSITIONING ELEMENT
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
US20200225734A1 (en) * 2019-01-11 2020-07-16 Varjo Technologies Oy Display apparatus and method of indicating level of immersion using visual indicator
US10764567B2 (en) 2019-01-22 2020-09-01 Varjo Technologies Oy Display apparatus and method of displaying
US10725304B1 (en) * 2019-03-28 2020-07-28 Facebook Technologies, Llc Compensatory image during swift-eye movement
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
CN110764342A (zh) * 2019-11-19 2020-02-07 四川长虹电器股份有限公司 智能投影显示装置及其投影画面的调整方法
CN114930226A (zh) 2020-01-06 2022-08-19 阿维甘特公司 具有颜色特定调制的头戴式系统
CN111294579B (zh) * 2020-02-19 2021-12-28 母国标 投影画面与幕布中心对准方法和系统
FR3107611B1 (fr) 2020-02-26 2022-03-04 Aledia Ecran d’affichage à résolution multiple et procédé de réalisation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02291787A (ja) * 1989-05-02 1990-12-03 A T R Tsushin Syst Kenkyusho:Kk 広視野表示装置
JPH04156584A (ja) * 1990-10-19 1992-05-29 Nec Kagoshima Ltd 表示装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JPH11109278A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
JP2005202221A (ja) * 2004-01-16 2005-07-28 Toshiba Corp 表示装置
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2014059432A (ja) * 2012-09-18 2014-04-03 Seiko Epson Corp 画像表示システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US931683A (en) 1908-06-06 1909-08-17 George S Cox And Brother Haircloth-loom.
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
US5394203A (en) * 1994-06-06 1995-02-28 Delco Electronics Corporation Retracting head up display with image position adjustment
US5956180A (en) * 1996-12-31 1999-09-21 Bass; Robert Optical viewing system for asynchronous overlaid images
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
WO2005057248A2 (en) * 2003-12-04 2005-06-23 New York University Eye tracked foveal display by controlled illumination
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
HU0900478D0 (en) * 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8638498B2 (en) * 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
WO2016187352A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Threat identification system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02291787A (ja) * 1989-05-02 1990-12-03 A T R Tsushin Syst Kenkyusho:Kk 広視野表示装置
JPH04156584A (ja) * 1990-10-19 1992-05-29 Nec Kagoshima Ltd 表示装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JPH11109278A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
JP2005202221A (ja) * 2004-01-16 2005-07-28 Toshiba Corp 表示装置
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
JP2014059432A (ja) * 2012-09-18 2014-04-03 Seiko Epson Corp 画像表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11785192B2 (en) 2019-09-09 2023-10-10 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method

Also Published As

Publication number Publication date
HK1247014B (zh) 2019-09-13
EP3330772B1 (en) 2020-06-03
KR20180062947A (ko) 2018-06-11
JP6423945B2 (ja) 2018-11-14
KR101977903B1 (ko) 2019-05-13
SG10201709781TA (en) 2018-07-30
EP3330772A1 (en) 2018-06-06
CN107959837A (zh) 2018-04-24
US9711114B1 (en) 2017-07-18
CN107959837B (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
US9710887B1 (en) Display apparatus and method of displaying using context display and projectors
Itoh et al. Towards indistinguishable augmented reality: A survey on optical see-through head-mounted displays
TWI516802B (zh) 近眼光學去迴旋積顯示器
TWI516803B (zh) 近眼視差屏障顯示器
TWI565971B (zh) 近眼微透鏡陣列顯示器
KR20210104171A (ko) 동적 시야 가변 초점 디스플레이 시스템
CN106415364A (zh) 立体渲染至眼睛位置
US10602033B2 (en) Display apparatus and method using image renderers and optical combiners
WO2018100239A1 (en) Imaging system and method of producing images for display apparatus
EP3497508A1 (en) A near-eye display system including a modulation stack
JP2020515090A (ja) 画像レンダラと光コンバイナとを用いる表示装置および表示方法
WO2018100242A1 (en) Display apparatus and method of displaying using optical combiners and context and focus image renderers
CN114365027A (zh) 显示具有景深的物体的系统与方法
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
US10775617B2 (en) Eye tracked lens for increased screen resolution
JP2020501424A (ja) 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法
JP6741643B2 (ja) 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法
Wetzstein et al. State of the art in perceptual VR displays
CN117957479A (zh) 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件
JP2022548346A (ja) ニアアイディスプレイにおける画像フレーム同期
TWI802826B (zh) 顯示一個具有景深的物體的系統與方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181019

R150 Certificate of patent or registration of utility model

Ref document number: 6423945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250