JP2018113675A - 表示装置、およびコンテキストディスプレイとプロジェクタを用いた表示方法 - Google Patents

Abstract

【課題】人間の視覚系を忠実に模倣する表示装置を提供する。【解決手段】表示装置と、表示装置を介した表示方法とを開示する。表示装置は、少なくとも１つの投影面を有する、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、画像操作部と、視線方向を検出するための手段と、画像操作部および視線方向を検出するための手段と通信するように接続される処理部と、を備える。レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。【選択図】図３

Description

本明細書に開示される事項は概して視覚情報の提示に関し、より具体的には、コンテキストディスプレイと、フォーカス画像プロジェクタとを備える表示装置に関する。また、本開示は前述の表示装置を介した表示方法にも関する。

背景

近年、日常生活においてバーチャルリアリティ、拡張現実などの最新技術の利用が急速に増加している。例えば、そのような技術はゲーム、教育、軍事訓練、保健医療の外科手術訓練などの用途に利用される場合がある。具体的には、そのような技術は、装置のユーザに模擬環境（「バーチャルワールド」とも呼ばれる）を提示する。この模擬環境は、それを構成する画像を、装置内のディスプレイ上にレンダリングすることによって提示される。このような装置として、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどが挙げられるが、このかぎりではない。このような装置は、立体視などの現代の技術を用いて模擬環境への没入感をユーザに提示するように構成される。

しかしながら、そのような既存の装置には一定の制限がある。例として、そのような装置に用いられる従来のディスプレイはサイズが小さい。具体的には、そのようなディスプレイの画素密度は、人の眼の視力を模倣するのに十分ではない。また、より画素密度の高いディスプレイは、そのような装置に収容するには寸法が大きすぎる。別の例として、既存の装置に用いられるディスプレイは、人間の視覚系のような視線随伴性を実現しながら模擬環境を適切にレンダリングするには、多数の光学素子を必要とする。具体的には、そのようなサイズと数の光学素子をそのような装置に収容するのは困難である。そのため、そのような既存の装置は十分に開発されておらず、人間の視覚系を模倣する能力は制限されている。

前述の説明を鑑みて、模擬環境を実現するための装置に用いられる従来のディスプレイに関する前述の欠点を克服する必要がある。

摘要

本開示は、表示装置を提供することを目標とする。本開示はまた、少なくとも１つの投影面を有する少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタとを備える表示装置を介した表示方法を提供することを目標とする。本開示は、模擬環境を実現するための装置に用いられる従来のディスプレイにおける、画素密度と物理サイズのトレードオフと、画像の不連続性という既存の問題に対する解決策を提供することを目標とする。本開示の目的は、従来技術に見られる問題を少なくとも部分的に克服し、人間の視覚系を忠実に模倣する表示装置を提供する解決策を提供することである。

一態様では、本開示の実施例は表示装置を提供する。前記表示装置は、
少なくとも１つの投影面を有し、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
- 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
- 前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイにレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整する、
ように構成され、更に前記処理部は（ｃ）、（ｄ）、および（ｅ）を実質的に同時に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。

別の態様では、本開示の実施例は表示方法を提供する。前記表示方法は、少なくとも１つの投影面を有する少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、画像操作部と、視線方向を検出するための手段と、前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部とを備える表示装置を介した表示方法であって、
（ｉ）前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
- 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、を含み、
ここで（ｉ）、（ｉｉ）、および（ｖｉ）は実質的に同時に実行される。

本開示の実施例は、従来技術における前述の問題を実質的に排除または少なくとも部分的に対処し、人間の視覚系を模倣するために、模擬環境を実現するための装置に用いられる表示装置内で能動的な中心窩視を実行できるようにする。

本開示の別の態様、利点、特徴、および目的は、以下に添付する特許請求の範囲と併せて解釈される、例示的実施例の図面および詳細な説明から明らかにされるであろう。

本開示の特徴は、添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、様々に組合せ可能であることを理解されたい。

前記の摘要と、下記の例示的な実施例の詳細な説明は、添付の図面と共に読むことでよりよく理解される。本開示の説明の目的で、本開示の例示的な構成を図面に示している。しかしながら、本開示は、ここに開示する具体的な方法および手段に限定されるわけではない。また、図面は縮尺に従ったものではないことを、当業者は理解されるであろう。可能なかぎり、同様の要素は同番号で示している。

以下、本開示における実施例を、単なる例示として、かつ添付の図面を参照して説明する。

開示の一実施例による表示装置の例示的アーキテクチャのブロック図である。 本開示の一実施例による表示装置の例示的アーキテクチャのブロック図である。

本開示の一実施例による表示装置の例示的な実装を示す図である。

本開示の一実施例による例示的コンテキストディスプレイの分解図である。

本開示の一実施例による例示的コンテキストディスプレイの層の概略図である。 本開示の一実施例による例示的コンテキストディスプレイの層の概略図である。

本開示の一実施例による表示装置を介した表示方法のステップを示す図である。

添付図面において下線の引かれた番号は、その番号が位置するアイテムやその番号が隣接するアイテムを表すために使用される。下線が引かれていない番号は、その番号と線で結ばれて特定されるアイテムに関連している。番号に下線が引かれず矢印と共に記されている場合、その番号は矢印が指すアイテム全般を特定するために使用される。

実施例の詳細説明

以下の詳細な説明は、本開示の実施例およびそれらの実施例を実装できる方法について説明している。本開示を実行する態様の一部を開示しているが、本開示を実行または実践する他の実施例も可能であることを当業者は認識されるであろう。

一態様では、本開示の実施例は表示装置を提供する。前記表示装置は、
少なくとも１つの投影面を有し、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、
フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
画像操作部と、
視線方向を検出するための手段と、
前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、
を備え、
前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
前記処理部は、
（ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
（ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
- 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
- 前記第２解像度は、前記第１解像度よりも高く、
（ｃ）前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイにレンダリングし、
（ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
（ｅ）前記画像操作部を制御して、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整する、
ように構成され、更に前記処理部は（ｃ）、（ｄ）、および（ｅ）を実質的に同時に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。

別の態様では、本開示の実施例は表示方法を提供する。前記表示方法は、少なくとも１つの投影面を有する少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、画像操作部と、視線方向を検出するための手段と、前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部とを備える表示装置を介した表示方法であって、
（ｉ）前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
（ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
（ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
（ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
（ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
- 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
- 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
（ｖｉ）前記画像操作部を制御して、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、
を含み、ここで（ｉ）、（ｉｉ）、および（ｖｉ）は実質的に同時に実行される。

本開示は表示装置を提供する。また、コンテキストディスプレイとプロジェクタを用いる該表示装置を介した表示方法を提供する。本明細書に記述する表示装置の動作は、模擬環境をレンダリングする光学素子のサイズと数によって制限されない。したがって、該表示装置は、バーチャルリアリティ装置などの小型の装置に容易に実装可能である。また、該表示装置は、装置のユーザの眼の視線方向を検出することによって、人間の視覚系の能動的な中心窩視をシミュレートする。さらに、前述の表示装置を用いて表示された画像は、該レンダリングされたコンテキスト画像とフォーカス画像との間の遷移領域の継ぎ目を適切に最小化することにより、連続的に表示される。したがって、前述の表示装置は、人間の視覚系に類似する視線随伴性を忠実に模倣するように動作可能である。前述の表示装置を用いた表示方法は実行が容易であり、能動的な中心窩視を確実に実行できる。本明細書に記述する方法では、該コンテキスト画像および該フォーカス画像はユーザの眼からほぼ等間隔にレンダリングされるため、眼の負担が軽減される。また、含まれる光学素子が少ないため、該表示装置は安価であり、製造も容易である。

該表示装置は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタとを備える。該少なくとも１つのコンテキストディスプレイは少なくとも１つの投影面を有する。該レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲であり、該レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。さらに、該表示装置では、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。

任意で、該レンダリングされたコンテキスト画像の投影の角度幅は２２０度より大きくてもよい。その場合、該コンテキスト画像をレンダリングするための該コンテキストディスプレイの角度寸法は２２０度より大きくてもよい。一実施例によると、該レンダリングされたコンテキスト画像の投影の角度幅は、例えば４０、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、または１７０度から、７０、８０、９０、１００、１１０、１２０、１３０、１４０、１５０、１６０、１７０、１８０、１９０、２００、２１０、または２２０度までであってもよい。別の実施例によると、該レンダリングされたフォーカス画像の投影の角度幅は、例えば５、１０、１５、２０、２５、３０、３５、４０、４５、または５０度から、１５、２０、２５、３０、３５、４０、４５、５０、５５、または６０度までであってもよい。

一実施例では、該視覚的シーンは、ヘッドマウントバーチャルリアリティ装置、バーチャルリアリティ眼鏡、拡張現実ヘッドセットなどの装置のユーザに提示される模擬環境内のシーンに相当してもよい。このシーンには、コーヒーショップ環境、お化け屋敷、森のシーンなどがある。さらに具体的には、該視覚的シーンは、ユーザが該装置を使用中にユーザの眼に投影されてもよい。その場合、該装置は該表示装置を備えてもよい。また、該少なくとも１つのコンテキストディスプレイの前述の配置には、該少なくとも１つの投影面が含まれる。また、該少なくとも１つのフォーカス画像プロジェクタによって、該レンダリングされたコンテキスト画像とフォーカス画像それぞれの投影を適切に組み合わせることが容易になる。前述の組合せが最適でない（または不適切である）場合、作成される視覚的シーンはゆがんで見えることがある。

一実施例では、該コンテキスト画像は、ユーザの眼の動きに関連するサッカードに対応するために、前述の角度幅内で該表示装置を介してレンダリングおよび表示される視覚的シーンの画像に関する。別の実施例では、該フォーカス画像は、ユーザの眼の動きに関連するサッカード運動に対応するために、前述の角度幅内で該表示装置を介してレンダリングおよび投影される画像に関する。具体的には、該フォーカス画像の寸法は該コンテキスト画像よりも小さい。また、該コンテキスト画像および該フォーカス画像それぞれの投影を組み合わせることで、該コンテキスト画像と該フォーカス画像によって集合的に視覚的シーンが構成される。

一実施例では、本明細書で用いる「コンテキストディスプレイ」という用語は、該コンテキスト画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つのコンテキストディスプレイは、コンテキスト画像をレンダリングするコンテキスト領域を設けるために用いてもよい。一実施例によると、該コンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択してもよい。

別の実施例では、該少なくとも１つのコンテキストディスプレイは、少なくとも２つのコンテキストディスプレイを備えてもよい。該少なくとも２つのコンテキストディスプレイのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つのコンテキストディスプレイを、ユーザの片眼への個別コンテキスト画像のレンダリング専用に用いるように、該少なくとも２つのコンテキストディスプレイを用いてもよい。より具体的には、ユーザの左眼および右眼それぞれに個別のコンテキスト画像によって、該コンテキスト画像を集合的に構成してもよい。

さらに別の実施例では、該少なくとも１つのコンテキストディスプレイを、ユーザの両眼で共有して用いてもよい。具体的には、そのような実施例では、該少なくとも１つのコンテキストディスプレイを共有して用いて、ユーザの左眼と右眼に個別のコンテキスト画像をレンダリングしてもよい。

前述のとおり、該少なくとも１つのコンテキストディスプレイは少なくとも１つの投影面を有する。一実施例では、本明細書で用いる「投影面」という用語は、該フォーカス画像のレンダリングを促進するように構成されたディスプレイ（またはスクリーン）に関する。具体的には、該少なくとも１つの投影面は、該フォーカス画像の投影を受けて該フォーカス画像をレンダリングするために適切な透過率と反射率の仕様を有してもよい。別の実施例では、該フォーカス画像は、該少なくとも１つの投影面の表側と裏側のいずれかまたは両方から、該少なくとも１つの投影面に投影されてもよい。

例として、該少なくとも１つの投影面は、少なくとも２つの投影面を含んでもよい。該少なくとも２つの投影面のうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つの投影面を、ユーザの片眼への個別フォーカス画像のレンダリング専用に用いるように、該少なくとも２つの投影面を用いてもよい。より具体的には、ユーザの左眼および右眼それぞれに個別のフォーカス画像によって、該フォーカス画像を集合的に構成してもよい。

さらに別の実施例では、該少なくとも１つの投影面を、ユーザの両眼で共有して用いてもよい。具体的には、そのような実施例では、該少なくとも１つの投影面を共有して用いて、ユーザの左眼と右眼に個別のフォーカス画像をレンダリングしてもよい。

一実施例によると、本明細書で用いる「フォーカス画像プロジェクタ」という用語は、該少なくとも１つの投影面に該フォーカス画像を投影するための光学装置に関する。一実施例によると、該フォーカス画像プロジェクタは、ＬＣＤベースプロジェクタ、ＬＥＤベースプロジェクタ、ＯＬＥＤベースプロジェクタ、ＬＣｏＳベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択してもよい。

本開示の一実施例では、該少なくとも１つのフォーカス画像プロジェクタは、少なくとも２つのフォーカス画像プロジェクタを備えてもよい。該少なくとも２つのフォーカス画像プロジェクタのうち、少なくとも１つはユーザの左眼に用いるように配置され、少なくとも１つはユーザの右眼に用いるように配置される。具体的には、少なくとも１つのフォーカス画像プロジェクタを、ユーザの片眼への該フォーカス画像のレンダリング専用に（すなわち全面的に）用いるように、該少なくとも２つのフォーカス画像プロジェクタを用いてもよい。該少なくとも２つのフォーカス画像プロジェクタによって、該フォーカス画像を集合的に構成する個別のフォーカス画像（例えば、ユーザの左眼用のフォーカス画像とユーザの右眼用のフォーカス画像）の光路を個別に最適化することができる。

例えば、該少なくとも１つのフォーカス画像プロジェクタがレーザープロジェクタである場合、１つのフォーカス画像プロジェクタをユーザの両眼に用いるように配置してもよい。具体的には、ユーザの両眼用の個別のフォーカス画像が実質的に同時に投影されるように、該１つのレーザープロジェクタを操作してもよい。例えば、該１つのレーザープロジェクタの動作速度は高速であるため、該１つのレーザープロジェクタを該少なくとも１つのフォーカス画像プロジェクタとして用いて、（ユーザの左眼と右眼それぞれに対する）個別のフォーカス画像を投影してもよい。

該表示装置は、画像操作部と、視線方向を検出するための手段と、該画像操作部および該視線方向を検出するための手段と通信するように接続される処理部とをさらに備える。

一実施例では、該処理部は、該表示装置の動作を制御するように構成されるハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。具体的には、該処理部は、該視覚的シーンを処理してユーザの眼に表示（または投影）する該表示装置の動作を制御してもよい。該表示装置をユーザに関連付けられた装置内で用いる場合、該処理部は該装置の外側にあってもそうでなくてもよい。

任意で、該処理部は記憶部と通信するように接続してもよい。一実施例では、該記憶部は、該処理部によって処理され、該表示装置を介して表示される、視覚的シーンの画像および／または該コンテキスト画像と該フォーカス画像の格納に適切なハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せであってもよい。そのような実施例では、該記憶部は該装置内にあっても、遠隔に配置してもよい。

一実施例では、該視線方向を検出するための手段は、アイトラッカーなどの、ユーザの眼の視線方向を測定し、眼の動きを検出する特別な機器に関するものであってもよい。具体的には、視線方向を正確に検出することで、該表示装置が視線随伴性を忠実に実現できるようにしてもよい。また、該視線方向を検出するための手段は、眼と接触するように、または接触しないように配置してもよい。該視線方向を検出するための手段の例として、モーションセンサ付コンタクトレンズ、眼の瞳の位置をモニタするカメラなどが挙げられる。

該処理部は、入力画像を受信し、該検出された視線方向を用いて該入力画像の高精度視領域を決定するように構成される。一実施例によると、本明細書で用いる「入力画像」という用語は、該表示装置を介して表示される該視覚的シーンの画像に関する。具体的には、該入力画像はユーザの眼に表示されてもよい。一実施例では、該入力画像は、ユーザに関連付けられた該装置に接続された画像センサから受信してもよい。具体的には、該画像センサ（パススルーデジタルカメラの画像センサなど）は、眼に投影される該入力画像として、実世界の環境の画像を取得してもよい。別の実施例では、該入力画像は、該処理部と通信するように接続された該記憶部から受信してもよい。具体的には、該記憶部を、ＭＰＥＧ（Motion Picture Experts Group）、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）、ＢＭＰ（Bitmap file format）を含むがこれらに限らない、適切なフォーマットの該入力画像を格納するように構成してもよい。そのような実施例では、該入力画像は任意でコンピュータ生成画像であってもよい。

該入力画像の受信と共に、該処理部は該検出された視線方向を用いて該入力画像の高精度視領域を決定する。一実施例では、該高精度視領域は、該検出されたユーザの眼の視線方向が焦点を結ぶことができる、該入力画像の領域に関する。具体的には、該高精度視領域は、該入力画像内の関心領域（または凝視点）であってもよく、ユーザの両眼それぞれの中心窩に投影されてもよい。また、該高精度視領域は、該入力画像内の焦点領域であってもよい。したがって、該高精度視領域は、該入力画像が人間の視覚系によって見られるときに、該入力画像の他の領域よりもさらに詳細に解像される領域に関することが明らかであろう。

また、該処理部は、該入力画像の該高精度視領域の決定後、第１解像度を有する該コンテキスト画像と、第２解像度を有する該フォーカス画像とを生成するために該入力画像を処理するように構成される。該第２解像度は該第１解像度より高い。該フォーカス画像は、該入力画像の該高精度視領域に実質的に相当する。また、該コンテキスト画像は、該入力画像を低解像度で表現したものに相当する。したがって、該コンテキスト画像は、該入力画像の該高精度視領域ならびに該入力画像の残りの領域を含む。具体的には、該コンテキスト画像のサイズは該フォーカス画像のサイズより大きい。該フォーカス画像は、該検出された眼の視線方向が焦点を結ぶことができる、該コンテキスト画像の一部分のみに相当するからである。

一実施例では、該第１解像度および該第２解像度は、角分解能の観点から理解されるであろう。具体的には、該第２解像度を示す角画素密度は、該第１解像度を示す角画素密度よりも高い。例として、ユーザの眼の中心窩は２度の視野に相当し、５７角画素密度で１１４画素に等しい角断面幅の該フォーカス画像の投影を受ける。したがって、該フォーカス画像に相当する角画素サイズは、２／１１４すなわち０．０１７である。また、この例では、眼の網膜は１８０度の視野に相当し、１５角画素密度で２７００画素に等しい角断面幅の該コンテキスト画像の投影を受ける。したがって、該コンテキスト画像に相当する角画素サイズは、１８０／２７００すなわち０．０６７である。計算のとおり、該コンテキスト画像に相当する角画素サイズは、該フォーカス画像に相当する角画素サイズよりかなり大きいことが明らかである。ただし、知覚される角分解能を総画素数で示したものが、該フォーカス画像より該コンテキスト画像のほうが大きいのは、該フォーカス画像が、該入力画像の該高精度視領域に相当する該コンテキスト画像の一部分のみに相当するためである。

該コンテキスト画像および該フォーカス画像の生成と共に、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。具体的には、該マスクは、該処理部によって該入力画像の該高精度視領域に相当する該コンテキスト画像の領域を隠す（または隠蔽する）ことによって実行してもよい。より具体的には、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域をマスクすることは、該少なくとも１つのコンテキストディスプレイ上にレンダリングされた内容（具体的には、コンテキスト画像）を、該少なくとも１つの投影面の輝度および／または色差の特性を変えずに修正することに関する。例えば、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を暗く（または黒く）してマスクしてもよい。また、該フォーカス画像は該入力画像の該高精度視領域に実質的に相当し、該第２解像度は該第１解像度より高い。

また、該処理部は、該少なくとも１つのコンテキストディスプレイに該コンテキスト画像をレンダリングし、該少なくとも１つのフォーカス画像プロジェクタを介して、該少なくとも１つの投影面に該フォーカス画像をレンダリングするように構成される。

さらに、該処理部は、該画像操作部を制御して、該レンダリングされたコンテキスト画像の該マスクされた領域の投影に、該レンダリングされたフォーカス画像の投影が実質的に重なるように、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。該処理部は、該コンテキスト画像および該フォーカス画像のレンダリングと、該画像操作部の制御を実質的に同時に実行するように構成される。具体的には、該レンダリングされたコンテキスト画像の投影に該フォーカス画像の投影を重ねて、集合的に該入力画像の投影を構成してもよい。該コンテキスト画像および該フォーカス画像を実質的に同時にレンダリングするのは、それらの投影を重ねる（または重畳する）際の時間の遅延を防ぐためである。

前述のとおり、該レンダリングされたコンテキスト画像の投影の角度幅は、該レンダリングされたフォーカス画像の投影の角度幅よりも大きい。これは、該レンダリングされたフォーカス画像は通常、眼の中心窩およびその周囲に投影され、該レンダリングされたコンテキスト画像は眼の網膜に投影されることに起因するであろう。眼の網膜において、中心窩はほんの小さな部分である。具体的には、該レンダリングされたコンテキスト画像とフォーカス画像とを組み合わせて該入力画像を構成し、それを眼に投影することで該入力画像を投影してもよい。

一実施例では、本明細書で用いる「画像操作部」という用語は、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を制御するための機器（光学素子、機構部品など）に関する。具体的には、該画像操作部は少なくとも１つの素子／部品を含んでもよい。任意で、該画像操作部は、該少なくとも１つのコンテキストディスプレイにレンダリングされた該コンテキスト画像の投影を制御するために動作可能であってもよい。

前述の実施例では、該画像操作部が、該レンダリングされたフォーカス画像の投影と、該レンダリングされたコンテキスト画像の該マスクされた領域の投影とを実質的に重ねることで、該入力画像の該高精度視領域のゆがみを防止する。具体的には、該入力画像の該高精度視領域が、低解像度の該レンダリングされたコンテキスト画像と、高解像度の該レンダリングされたフォーカス画像の両方の中で表現される。同じ領域の低解像度画像と高解像度画像それぞれの投影を重ねる（重畳する）と、該同じ領域の外観にゆがみが生じる。また、高解像度の該レンダリングされたフォーカス画像は、低解像度の該レンダリングされたコンテキスト画像より、該入力画像の該高精度視領域に関する情報をより多く含む場合がある。したがって、高解像度の該レンダリングされたフォーカス画像をゆがみなしで投影するために、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域がマスクされる。

一実施例において前述したとおり、該処理部は、該入力画像の該高精度視領域に相当する該コンテキスト画像の領域をマスクするように構成されてもよい。具体的には、該表示された入力画像の該高精度視領域と、該入力画像の残りの領域との間の遷移領域の継ぎ目（すなわち縁部）が最小になるように、該マスクを行ってもよい。該表示された入力画像の該高精度視領域は該フォーカス画像の投影（および該コンテキスト画像の該マスクされた領域）に相当し、該表示された入力画像の残りの領域は該コンテキスト画像の投影に相当することを理解されたい。具体的には、該コンテキスト画像と該フォーカス画像それぞれの投影を重ねる（または重畳する）際に該遷移領域の継ぎ目を最小にして、該表示された入力画像が連続的に表示されるように、該マスクは徐々に段階的に変化するように実行するべきである。例えば、該処理部は、該入力画像の該高精度視領域に相当する該コンテキスト画像の画素を大幅に暗くし、該入力画像の該高精度視領域からの距離が増すにつれて、該画素の暗さの程度を徐々に減じてもよい。該レンダリングされたコンテキスト画像およびフォーカス画像の投影の重畳（または重なり）の位置合せおよび外観が不適切および／または不連続である場合、該表示された入力画像も同様に不適切になるであろう。

任意で、該入力画像の該高精度視領域に実質的に相当する該コンテキスト画像の領域のマスクは、該遷移領域において、該コンテキスト画像と該フォーカス画像との間で逆の値を有する線形の透明マスクブレンド、ユーザの眼に自然に感知されにくい形状を含むステルス（またはカムフラージュ）パターンなどを用いて実行してもよい。

一実施例によると、該少なくとも１つのコンテキストディスプレイは多層構造を有してもよい。この場合、該少なくとも１つの投影面は該多層構造の少なくとも１つの層によって実装される。具体的には、該少なくとも１つの投影面の実装に用いる該少なくとも１つの層は、該少なくとも１つのコンテキストディスプレイの多層構造における他の層に機械的に結合および／または電気的に接続されてもよい。より具体的には、該少なくとも１つの投影面の実装に用いる該少なくとも１つの層は、該フォーカス画像のレンダリングを促進する特定の透過率と反射率の仕様を有してもよい。そのような特定の透過率と反射率の仕様は、本明細書の後半において説明するように、該フォーカス画像が投影される側（表側および／または裏側など）によって異なってもよい。例として、該少なくとも１つの投影面は非透過（すなわち不透明な）面であってもよい。別の例では、該少なくとも１つの投影面は半透明面であってもよい。

一実施例では、該フォーカス画像は、該少なくとも１つの投影面の該少なくとも１つの層に、その表側から投影されてもよい。その場合、該少なくとも１つの投影面の実装用の該少なくとも１つの層は、該フォーカス画像の投影を実質的に反射するように配置してもよい。別の実施例では、該フォーカス画像は、該少なくとも１つの投影面の該少なくとも１つの層に、その裏側から投影されてもよい。その場合、該少なくとも１つの投影面の実装用の該少なくとも１つの層は、該フォーカス画像の投影を実質的に通過させるように配置してもよい。さらに別の実施例では、該フォーカス画像は、該少なくとも１つの投影面の該少なくとも１つの層に、その表側と裏側の両方から投影されてもよい。その場合、該少なくとも１つの投影面の実装用の該少なくとも１つの層は、該フォーカス画像の投影の一部を反射し、一部を実質的に通過させるように配置してもよい。任意で、該少なくとも１つの投影面の実装用の該少なくとも１つの層は、該フォーカス画像の投影の少なくとも一部を吸収するように配置してもよい。

任意で、該少なくとも１つのコンテキストディスプレイの多層構造は、カラーフィルタ、封止ガラス、基板上に設けられたバックプレーン（ガラス、ポリイミドなど）、保護フィルム、上側および／または下側偏光子などの層を含むが、このかぎりではない。具体的には、そのような層の特性（または性質）は調整可能であってもよく、該少なくとも１つのコンテキストディスプレイの該少なくとも１つの投影面上への該フォーカス画像の投影を向上させるものであってもよい。

一実施例によると、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像の投影を実質的に通過させるように配置してもよい。別の実施例によると、該少なくとも１つの投影面は、該レンダリングされたコンテキスト画像の投影を実質的に反射するように配置してもよい。

一実施例では、該少なくとも１つの投影面は、該少なくとも１つのコンテキストディスプレイの表側または裏側に、光学皮膜を施すことによって実装してもよい。具体的には、該光学皮膜は、該フォーカス画像のレンダリングに適切な特定の透過率と反射率の仕様を満たすために用いてもよい。より具体的には、該光学皮膜のそのような特定の透過率と反射率の仕様は、該少なくとも１つのコンテキストディスプレイの、該光学皮膜が実装される側に応じて異なってもよい。例として、該光学皮膜を該少なくとも１つのコンテキストディスプレイの表側に実装した場合、該フォーカス画像の投影を実質的に反射してもよい。別の例として、該光学皮膜を該少なくとも１つのコンテキストディスプレイの裏側に実装した場合、該フォーカス画像の投影を実質的に通過させてもよい。任意で、該光学皮膜は、該少なくとも１つのコンテキストディスプレイの上側に実装してもよい。

別の実施例では、該少なくとも１つの投影面を、偏光子または位相子によって実装してもよい。具体的には、偏光子や位相子のような光学装置に固有の性質により、該光学装置を用いて該少なくとも１つの投影面上の該フォーカス画像のレンダリングすることが促進される場合もある。例えば、該少なくとも１つの投影面を、吸収型直線偏光子によって実装してもよい。そのような例では、該吸収型直線偏光子は、該少なくとも１つのフォーカス画像プロジェクタからの該フォーカス画像の投影の偏光方向が、該吸収型直線偏光子の偏光方向に相当する場合、該レンダリングされたフォーカス画像の投影を実質的に反射するという固有の性質を有してもよい。またそのような例では、該吸収型直線偏光子は、該少なくとも１つのフォーカス画像プロジェクタからの該フォーカス画像の投影の偏光方向が、該吸収型直線偏光子の偏光方向に相当しない場合、該レンダリングされたフォーカス画像の投影を吸収するという固有の性質を有してもよい。

本開示の一実施例によると、該少なくとも１つのコンテキストディスプレイは、該レンダリングされたフォーカス画像の投影を実質的に通過させる画素配置を有する層を備えてもよい。具体的には、該画素配置は、該少なくとも１つのコンテキストディスプレイの画素をグリッド状に配置したものであってもよい。一実施例では、該画素配置は、隣り合う画素同士の間に半透明の領域が形成されるように配置された複数の画素を含んでもよい。具体的には、該複数の画素は該グリッド状の配置内でまばらに分散していてもよく、該隣り合う画素同士の間が大きく離れていてもよい。該隣り合う画素同士の間隔は、それらの間にある該半透明の領域を構成する。したがって、前述の画素配置を有する該少なくとも１つのコンテキストディスプレイの層は、画素解像度が低い（画素密度が低いともいえる）。また、前述の層は、該レンダリングされたフォーカス画像の投影を実質的に通過させる。具体的には、該層の裏側から投影された高解像度のフォーカス画像の投影が、該層を通して投影されるように、該該処理部によって該フォーカス画像を処理してもよい。より具体的には、マクロレンズ、マイクロプリズムなどの光学素子を用いて、該裏側から投影された高解像度のフォーカス画像を、該画素配置の上に表示してもよい。

一実施例では、該少なくとも１つのコンテキストディスプレイは、該レンダリングされたフォーカス画像の投影を実質的に通過させる光導波路を含む少なくとも１つの層を備える。具体的には、該光導波路は半透明であることによって、該フォーカス画像の投影を通過させてもよい。任意で、光導波路を含む該少なくとも１つの層は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置してもよい。一実施例では、該光導波路はマイクロプリズム、マイクロレンズ、ミラー、回折光学素子などの光学素子を内部にさらに備えてもよい。

一実施例では、該画像操作部は、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させるための少なくとも１つの第１駆動部を備えてもよく、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成されてもよい。具体的には、該少なくとも１つの第１駆動部は、眼の視線方向がある方向から別の方向にシフトするときに、該少なくとも１つのフォーカス画像プロジェクタを移動させてもよい。そのような場合、該少なくとも１つのフォーカス画像プロジェクタおよび該少なくとも１つの投影面の配置によっては、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に最適に投影されなくなることがある。したがって、視線方向がシフトしても該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に投影されるように、該処理部は、該少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面に対して該少なくとも１つのフォーカス画像プロジェクタを移動させて、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第１駆動部を制御してもよい。

例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカス画像プロジェクタを該少なくとも１つの投影面に近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカス画像プロジェクタを該少なくとも１つの投影面に対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第１駆動部は、該少なくとも１つのフォーカス画像プロジェクタを該少なくとも１つの投影面に対して傾斜および／または回転させてもよい。

一実施例によると、該画像操作部は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの光学素子と、該少なくとも１つのフォーカス画像プロジェクタに対して該少なくとも１つの光学素子を移動させるための少なくとも１つの第２駆動部とを備えてもよい。該少なくとも１つの光学素子を、レンズ、プリズム、ミラー、およびビームスプリッタからなる群から選択してもよい。また、そのような実施例では、該処理部は、該少なくとも１つの第２駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の光路を該少なくとも１つの光学素子が変更してもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第２駆動部を制御してもよい。

例えば、投影面とフォーカス画像プロジェクタとの間の光路にプリズムを設けてもよい。具体的には、該投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するために、該レンダリングされたフォーカス画像の投影の光路が、該プリズムを通過した後に変わるようにしてもよい。また、ユーザの視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、第２駆動部によって該プリズムを縦方向および／または横方向に移動、回転、傾斜などさせてもよい。

一実施例では、電子制御された光学アセンブリを用いて、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整してもよい。該電子制御された光学アセンブリは例えば、該少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する１つ以上の液晶（Liquid Crystal：ＬＣ）レンズなどである。

別の実施例によると、該画像操作部は、該少なくとも１つの投影面を移動させるための少なくとも１つの第３駆動部を備えてもよく、該処理部は、該少なくとも１つの第３駆動部を制御して、該少なくとも１つの投影面上の該レンダリングされたフォーカス画像の投影の場所を調整するように構成される。具体的には、視線方向がシフトしても、該レンダリングされたフォーカス画像が眼の中心窩およびその周囲に容易に投影されるように、該少なくとも１つの第３駆動部によって該少なくとも１つの投影面を移動させてもよい。より具体的には、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第３駆動部を制御してもよい。

例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を該少なくとも１つのフォーカス画像プロジェクタに近づけたり遠ざけたりするように移動させてもよい。別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を該少なくとも１つのフォーカス画像プロジェクタに対して横方向に移動させてもよい。さらに別の例として、該少なくとも１つの第３駆動部は、該少なくとも１つの投影面を傾斜および／または回転させてもよい。

一実施例では、該表示装置は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの焦点レンズと、該少なくとも１つのフォーカス画像プロジェクタに対して該少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部とを備えてもよい。そのような実施例では、該処理部は、該少なくとも１つの第４駆動部を制御して、該レンダリングされたフォーカス画像の投影の焦点を調整するように構成される。具体的には、該少なくとも１つの焦点レンズは、その特定の性質を利用して、該レンダリングされたフォーカス画像の投影の光路を変更することで、その投影の焦点を調整してもよい。より具体的には、視度調整、非点収差補正などに対応するために、該レンダリングされたフォーカス画像の投影の焦点を調整してもよい。また、該処理部は、駆動信号（電流、油圧など）を生成することによって該少なくとも１つの第４駆動部を制御してもよい。

一実施例では、該少なくとも１つの焦点レンズは液晶（Liquid Crystal：ＬＣ）レンズや他の電子制御された光学素子であってもよい。

一実施例では、該処理部は、該少なくとも１つの投影面に対して画像処理機能を実行してもよい。具体的には、該画像処理機能は、該コンテキスト画像を該少なくとも１つのコンテキストディスプレイにレンダリングする前に、および該フォーカス画像を該少なくとも１つの投影面にレンダリングする前に、実行してもよい。より具体的には、そのような画像処理機能を実行することで、該レンダリングされたコンテキスト画像およびフォーカス画像の品質を最適化してもよい。したがって、該少なくとも１つの投影面、該少なくとも１つのコンテキストディスプレイ、および該入力画像それぞれの性質を考慮して、該画像処理機能を選択してもよい。

一実施例によると、該少なくとも１つの投影面に対する画像処理機能は、知覚されるコンテキスト画像および／またはフォーカス画像の品質を最適化するための少なくとも１つの機能を含んでもよく、該少なくとも１つの機能は、低域フィルタリング、色処理、およびガンマ補正からなる群から選択される。一実施例では、該少なくとも１つの投影面に対する該画像処理機能は、該レンダリングされたコンテキスト画像およびフォーカス画像それぞれの投影の組合せの境界上に知覚されるゆがみを最小化するための、エッジ処理をさらに含んでもよい。

任意で、前述の表示装置を用いて、別の入力画像を受信し、該別の入力画像を処理して別のフォーカス画像およびコンテキスト画像を生成し、該別のフォーカス画像およびコンテキスト画像をレンダリングする一方で、該レンダリングされた別のフォーカス画像およびコンテキスト画像それぞれの投影を組み合わせて視覚的シーンを作成するための配置をしてもよい。例として、該別の入力画像は、ユーザに関連付けられたヘッドマウントバーチャルリアリティ装置のビデオカメラから受信してもよい。

本説明は、前述の方法にも関する。前述の様々な実施例およびその変形は、該方法にも同様に当てはまる。より具体的には、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第１駆動部を制御して、該少なくとも１つの投影面に対して該フォーカス画像プロジェクタを移動させることによって調整することができる。該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第２駆動部を制御して、該少なくとも１つのフォーカス画像プロジェクタに対して、該画像操作部の少なくとも１つの光学素子を移動させることによって調整することもでき、ここで該少なくとも１つの光学素子は、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。

別の実施例によると、該レンダリングされたフォーカス画像の投影の場所は、該画像操作部の少なくとも１つの第３駆動部を制御して、該少なくとも１つの投影面を移動させることによって調整する。該方法は、該表示装置の少なくとも１つの第４駆動部を制御して、該少なくとも１つのフォーカス画像プロジェクタに対して、該表示装置の少なくとも１つの焦点レンズを移動させることによって、該レンダリングされたフォーカス画像の投影の焦点を調整することをさらに含んでもよく、ここで該少なくとも１つの焦点レンズは、該少なくとも１つの投影面と該少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。

図面の詳細な説明

図１を参照すると、本開示の一実施例による表示装置１００の例示的アーキテクチャのブロック図が示されている。表示装置１００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイ１０２と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタ１０６とを備える。少なくとも１つのコンテキストディスプレイ１０２は少なくとも１つの投影面１０４を有する。レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。

図２を参照すると、本開示の別の実施例による表示装置２００の例示的アーキテクチャのブロック図が示されている。表示装置２００は、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイ２０２と、フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタ２０６と、画像操作部２０８と、視線方向を検出するための手段２１０と、処理部２１２とを備える。少なくとも１つのコンテキストディスプレイ２０２は少なくとも１つの投影面２０４を有する。処理部２１２は、画像操作部２０８および視線方向を検出するための手段２１０と通信するように接続される。また、処理部２１２は少なくとも１つのコンテキストディスプレイ２０２および少なくとも１つのフォーカス画像プロジェクタ２０６に接続される。

図３を参照すると、本開示の一実施例による表示装置３００の例示的実装が示されている。図示のとおり、表示装置３００は、少なくとも１つの投影面（図示しない）を有する少なくとも１つのコンテキストディスプレイ（コンテキストディスプレイ３０２として図示）と、少なくとも２つのフォーカス画像プロジェクタ（２つのフォーカス画像プロジェクタ３０４Ａおよび３０４Ｂとして図示）を含む少なくとも１つのフォーカス画像プロジェクタと、視線方向を検出するための手段（図示しない）と、処理部（図示しない）と、画像操作部（図示しない）とを備える。ここに示すコンテキストディスプレイ３０２はユーザの両眼で共有して用いられる。表示装置３００の処理部は、コンテキスト画像３０６をコンテキストディスプレイ３０２にレンダリングするように構成される。具体的には、コンテキスト画像３０６は、ユーザの片眼ごとに個別のコンテキスト画像によって集合的に構成してもよい。また、表示装置３００の処理部は、２つのフォーカス画像プロジェクタ３０４Ａおよび３０４Ｂを介して、フォーカス画像（２つのフォーカス画像３０８Ａおよび３０８Ｂとして図示）を少なくとも１つの投影面（図示しない）にそれぞれレンダリングするように構成される。その場合、フォーカス画像３０８Ａはユーザの左眼に用いられ、フォーカス画像３０８Ｂはユーザの右眼に用いられる。図示のとおり、フォーカス画像３０８Ａは、コンテキストディスプレイ３０２に含まれる少なくとも１つの投影面の表側から投影され、フォーカス画像３０８Ｂは、該少なくとも１つの投影面の裏側から投影される。

図４を参照すると、本開示の一実施例による例示的コンテキストディスプレイ４００の分解図が示されている。図示のとおり、コンテキストディスプレイ４００は多層構造（層４０２、４０４、４０６、４０８、および４１０として図示）を有する。また、層４０２はコンテキストディスプレイ４００の表側に配置され、層４１０はコンテキストディスプレイ４００の裏側に配置される。コンテキストディスプレイ４００は少なくとも１つの投影面を有する。この投影面は、多層構造の少なくとも１つの層（層４０２および層４０４として図示）によって実装される。具体的には、少なくとも１つの投影面は、コンテキストディスプレイ４００の表側に施す、層４０２の光学皮膜によって実装される。この少なくとも１つの投影面は、層４０４として示す偏光子によっても実装される。層４０６はカラーフィルタまたは封止ガラスである。層４０８は、ガラス、ポリイミドなどの基板上に設けられたバックプレーンである。また、層４１０は、下側偏光子、上側偏光子、または保護フィルムのいずれかである。任意で、層４０２は、光学的に透明で硬質の皮膜であってもよい。この皮膜は耐擦傷性であってもよく、これによってコンテキストディスプレイ４００を保護する。その場合、少なくとも１つの投影面は、図示する例示的なコンテキストディスプレイ４００の層４０４のみによって実装される。

図５を参照すると、本開示の一実施例による例示的コンテキストディスプレイ（図４の例示的コンテキストディスプレイ４００など）の層５００の概略図が示されている。図示のとおり、層５００の画素の配置は、５０２、５０４、および５０６として図示する複数の画素を含んでいる。具体的には、この画素配置は、複数の画素５０２、５０４、および５０６をグリッド状に配置したものである。また、複数の画素５０２、５０４、および５０６は、隣り合う画素同士の間に半透明の領域が形成されるように配置される。したがって、図示の画素配置を有する例示的コンテキストディスプレイの層５００は、画素解像度が低い（画素密度が低いともいえる）。

図６を参照すると、本開示の一実施例による、図５のコンテキストディスプレイの層５００の概略図が示されている。図示のとおり、層５００は、レンダリングされたフォーカス画像の投影を実質的に通過させる。具体的には、フォーカス画像は層５００の裏側および／または表側から投影してもよい。より具体的には、レンダリングされたフォーカス画像の投影には、６０２、６０４、６０６、および６０８として図示する複数の画素が含まれる。これらの画素の解像度（または密度）は、層５００の複数の画素５０２、５０４、および５０６より高い。具体的には、複数の画素６０２、６０４、６０６、および６０８は、複数の画素５０２、５０４、および５０６の上に表示される。例として、画素６０６および６０８は画素５０２の上に表示される。

図７を参照すると、本開示の一実施例による表示装置（図１の表示装置１００など）を介した表示方法７００のステップが示されている。ステップ７０２において、少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングする。ここで、レンダリングされたコンテキスト画像の投影の角度幅は４０度から２２０度までの範囲である。ステップ７０４において、少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングする。ここで、レンダリングされたフォーカス画像の投影の角度幅は５度から６０度までの範囲である。ステップ７０６において、レンダリングされたフォーカス画像の投影と、レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる。

ステップ７０２から７０６は単なる例示であり、本明細書の請求の範囲から逸脱することなく、１つ以上のステップを追加したり、１つ以上のステップを省略したり、１つ以上のステップを異なる順序で提供したりすることにより、他のステップを提供することも可能である。例として、方法７００は、視線方向を検出し、検出した視線方向を用いて入力画像の高精度視領域を決定することと、第１解像度を有するコンテキスト画像と、第１解像度より高い第２解像度を有するフォーカス画像とを生成するために入力画像を処理することと、画像操作部を制御して、レンダリングされたコンテキスト画像のマスクされた領域の投影に、レンダリングされたフォーカス画像の投影が実質的に重なるように、少なくとも１つの投影面上のレンダリングされたフォーカス画像の投影の場所を調整することと、をさらに含んでもよい。該処理することは、入力画像の高精度視領域に実質的に相当するコンテキスト画像の領域をマスクすることと、入力画像の高精度視領域に実質的に相当するフォーカス画像を生成することと、を含む。また、フォーカス画像およびコンテキスト画像をレンダリングすることと、画像操作部を制御することは、実質的に同時に実行される。任意で、方法７００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第１駆動部を制御して、少なくとも１つの投影面に対してフォーカス画像プロジェクタを移動させることによって調整してもよい。また任意で、方法７００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第２駆動部を制御して、少なくとも１つのフォーカス画像プロジェクタに対して、画像操作部の少なくとも１つの光学素子を移動させることによって調整してもよく、ここで少なくとも１つの光学素子は、少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。例として、方法７００において、レンダリングされたフォーカス画像の投影の場所は、画像操作部の少なくとも１つの第３駆動部を制御して、少なくとも１つの投影面を移動させることによって調整してもよい。別の例として、方法７００は、表示装置の少なくとも１つの第４駆動部を制御して、少なくとも１つのフォーカス画像プロジェクタに対して、表示装置の少なくとも１つの焦点レンズを移動させることによって、レンダリングされたフォーカス画像の投影の焦点を調整することをさらに含んでもよく、ここで少なくとも１つの焦点レンズは、少なくとも１つの投影面と少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する。

添付の特許請求の範囲に定められる本開示の範囲を逸脱することなく、前述した本開示の実施例への修正が可能である。

Claims (18)

1. 少なくとも１つの投影面を有し、コンテキスト画像をレンダリングするための少なくとも１つのコンテキストディスプレイと、
   フォーカス画像をレンダリングするための少なくとも１つのフォーカス画像プロジェクタと、
   画像操作部と、
   視線方向を検出するための手段と、
   前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部と、
   を備える表示装置であって、
   前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲であり、
   前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲であり、
   前記処理部は、
   （ａ）入力画像を受信し、前記検出された視線方向を用いて前記入力画像の高精度視領域を決定し、
   （ｂ）第１解像度を有する前記コンテキスト画像と、第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理し、ここで
   - 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域はマスクされ、
   - 前記フォーカス画像は、前記入力画像の前記高精度視領域に実質的に相当し、
   - 前記第２解像度は、前記第１解像度よりも高く、
   （ｃ）前記コンテキスト画像を前記少なくとも１つのコンテキストディスプレイにレンダリングし、
   （ｄ）前記少なくとも１つのフォーカス画像プロジェクタを介して、前記フォーカス画像を前記少なくとも１つの投影面にレンダリングし、
   （ｅ）前記画像操作部を制御して、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整する、
   ように構成され、更に前記処理部は、（ｃ）、（ｄ）、および（ｅ）を実質的に同時に実行するように構成され、前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置がなされる、表示装置。
2. 前記少なくとも１つのコンテキストディスプレイは多層構造を有し、ここで前記少なくとも１つの投影面は、前記多層構造の少なくとも１つの層によって実装される、請求項１に記載の表示装置。
3. 前記少なくとも１つの投影面は、前記少なくとも１つのコンテキストディスプレイの表側に施された光学皮膜、または前記少なくとも１つのコンテキストディスプレイの裏側に施された光学皮膜によって実装される、請求項１または２に記載の表示装置。
4. 前記少なくとも１つの投影面は、偏光子または位相子によって実装される、請求項１から３のいずれかに記載の表示装置。
5. 前記少なくとも１つのコンテキストディスプレイは、前記レンダリングされたフォーカス画像の投影を実質的に通過させる画素配置を有する層を備える、請求項１から４のいずれかに記載の表示装置。
6. 前記画素配置は、隣り合う画素同士の間に半透明の領域が形成されるように配置された複数の画素を含む、請求項５に記載の表示装置。
7. 前記少なくとも１つのコンテキストディスプレイは、前記レンダリングされたフォーカス画像の投影を実質的に通過させる光導波路を含む少なくとも１つの層を備える、請求項１から６のいずれかに記載の表示装置。
8. 前記画像操作部は、前記少なくとも１つの投影面に対して前記フォーカス画像プロジェクタを移動させるための少なくとも１つの第１駆動部を備え、前記処理部は、前記少なくとも１つの第１駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から７のいずれかに記載の表示装置。
9. 前記画像操作部は、
   前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの光学素子であって、レンズ、プリズム、ミラー、およびビームスプリッタからなる群から選択される光学素子と、
   前記少なくとも１つのフォーカス画像プロジェクタに対して前記少なくとも１つの光学素子を移動させるための少なくとも１つの第２駆動部と、
   を備え、前記処理部は、前記少なくとも１つの第２駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から８のいずれかに記載の表示装置。
10. 前記画像操作部は、前記少なくとも１つの投影面を移動させるための少なくとも１つの第３駆動部を備え、
    前記処理部は、前記少なくとも１つの第３駆動部を制御して、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整するように構成される、請求項１から９のいずれかに記載の表示装置。
11. 前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する少なくとも１つの焦点レンズと、
    前記少なくとも１つのフォーカス画像プロジェクタに対して前記少なくとも１つの焦点レンズを移動させるための少なくとも１つの第４駆動部と、
    を備え、前記処理部は、前記少なくとも１つの第４駆動部を制御して、前記レンダリングされたフォーカス画像の投影の焦点を調整するように構成される、請求項１から１０のいずれかに記載の表示装置。
12. 前記少なくとも１つのコンテキストディスプレイは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースディスプレイ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースディスプレイ、マイクロＯＬＥＤベースディスプレイ、およびＬＣｏＳ（Liquid Crystal on Silicon）ベースディスプレイからなる群から選択される、請求項１から１１のいずれかに記載の表示装置。
13. 前記フォーカス画像プロジェクタは、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）ベースプロジェクタ、発光ダイオード（Light Emitting Diode：ＬＥＤ）ベースプロジェクタ、有機ＬＥＤ（Organic LED：ＯＬＥＤ）ベースプロジェクタ、ＬＣｏＳ（Liquid Crystal on Silicon）ベースプロジェクタ、ＤＬＰ（Digital Light Processing）ベースプロジェクタ、およびレーザープロジェクタからなる群から選択される、請求項１から１２のいずれかに記載の表示装置。
14. 少なくとも１つの投影面を有する少なくとも１つのコンテキストディスプレイと、少なくとも１つのフォーカス画像プロジェクタと、画像操作部と、視線方向を検出するための手段と、前記画像操作部および前記視線方向を検出するための手段と通信するように接続される処理部とを備える表示装置を介した表示方法であって、
    （ｉ）前記少なくとも１つのコンテキストディスプレイを介してコンテキスト画像をレンダリングすることであって、前記レンダリングされたコンテキスト画像の投影の角度幅が４０度から２２０度までの範囲である、レンダリングすることと、
    （ｉｉ）前記少なくとも１つのフォーカス画像プロジェクタを介してフォーカス画像をレンダリングすることであって、前記レンダリングされたフォーカス画像の投影の角度幅が５度から６０度までの範囲である、レンダリングすることと、
    （ｉｉｉ）前記レンダリングされたフォーカス画像の投影と、前記レンダリングされたコンテキスト画像の投影とを組み合わせて視覚的シーンを作成するための配置をすることと、
    （ｉｖ）視線方向を検出し、前記検出した視線方向を用いて入力画像の高精度視領域を決定することと、
    （ｖ）第１解像度を有する前記コンテキスト画像と、前記第１解像度より高い第２解像度を有する前記フォーカス画像とを生成するために前記入力画像を処理することであって、
    - 前記入力画像の前記高精度視領域に実質的に相当する前記コンテキスト画像の領域をマスクすることと、
    - 前記入力画像の前記高精度視領域に実質的に相当する前記フォーカス画像を生成することと、を含む、処理することと、
    （ｖｉ）前記画像操作部を制御して、前記レンダリングされたコンテキスト画像の前記マスクされた領域の投影に、前記レンダリングされたフォーカス画像の投影が実質的に重なるように、前記少なくとも１つの投影面上の前記レンダリングされたフォーカス画像の投影の場所を調整することと、
    を含み、ここで（ｉ）、（ｉｉ）、および（ｖｉ）は実質的に同時に実行される、方法。
15. 前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第１駆動部を制御して、前記少なくとも１つの投影面に対して前記フォーカス画像プロジェクタを移動させることによって調整される、請求項１４に記載の方法。
16. 前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第２駆動部を制御して、前記少なくとも１つのフォーカス画像プロジェクタに対して、前記画像操作部の少なくとも１つの光学素子を移動させることによって調整し、ここで前記少なくとも１つの光学素子は、前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する、請求項１４または１５に記載の方法。
17. 前記レンダリングされたフォーカス画像の投影の場所は、前記画像操作部の少なくとも１つの第３駆動部を制御して、前記少なくとも１つの投影面を移動させることによって調整する、請求項１４から１６のいずれかに記載の方法。
18. 前記表示装置の少なくとも１つの第４駆動部を制御して、前記少なくとも１つのフォーカス画像プロジェクタに対して、前記表示装置の少なくとも１つの焦点レンズを移動させることによって、前記レンダリングされたフォーカス画像の投影の焦点を調整することを含み、ここで前記少なくとも１つの焦点レンズは、前記少なくとも１つの投影面と前記少なくとも１つのフォーカス画像プロジェクタとの間の光路上に位置する、請求項１４から１７のいずれかに記載の方法。

Images