JP2021517763A - 仮想現実および拡張現実低持続性のためのアクティブlcdシャッタ - Google Patents

仮想現実および拡張現実低持続性のためのアクティブlcdシャッタ Download PDF

Info

Publication number
JP2021517763A
JP2021517763A JP2020545466A JP2020545466A JP2021517763A JP 2021517763 A JP2021517763 A JP 2021517763A JP 2020545466 A JP2020545466 A JP 2020545466A JP 2020545466 A JP2020545466 A JP 2020545466A JP 2021517763 A JP2021517763 A JP 2021517763A
Authority
JP
Japan
Prior art keywords
display screen
active
shutters
image
photodiode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020545466A
Other languages
English (en)
Other versions
JP7292294B2 (ja
Inventor
ペロー,ジョン・ディ
ファン,ジョナサン
リュル,パトリック
ウォン,エイドリアン
レガキス,ジャスティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2021517763A publication Critical patent/JP2021517763A/ja
Application granted granted Critical
Publication of JP7292294B2 publication Critical patent/JP7292294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Sustainable Development (AREA)
  • Inorganic Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ヘッドマウントディスプレイ(HMD)デバイス(100)は、1つ以上のアクティブシャッタ(128、130)と、同期信号を検出するように構成された第1のフォトダイオード(132、502、504、506、612)と、同期信号に基づいて1つ以上のアクティブシャッタを制御するように構成されたコントローラ(412、508)とを含む。1つ以上のアクティブシャッタは、HMDデバイスの内部に位置決めされたモバイルデバイス(120)の表示画面(122、406、506、604)のデューティサイクルを減少させるために、光を透過する開状態と光を遮断する閉状態とを交互に繰返すように構成される。同期信号は、表示画面の画素のサブセットに対応する表示更新の持続時間中に表示画面からの光を遮断するタイミングを提供する。

Description

背景
ヘッドマウントディスプレイ(HMD)デバイスは、仮想現実(VR)コンテンツ、拡張現実(AR)コンテンツなどのさまざまな種類のコンテンツを作成および表示するために、モバイルデバイスまたは表示パネルおよびその他の電子コンピューティングコンポーネントを組込んでいる場合がある。VRシステムおよびARシステムで用いられる表示画面の中には低持続性で駆動されるものがあり、この場合、画面持続性は、表示画面の画素が実際に点灯しているビデオフレーム持続時間の百分率である。高持続性で駆動される表示画面もあり、この場合、現在表示されている画像の画素は、次の画像が表示のために提示されるまで点灯して見え続けている。
添付の図面を参照することによって、本開示がよりよく理解され得、その多くの特徴および利点が当業者に明白になり得る。異なる図面における同じ参照符号の使用は、類似のまたは同一の項目を示す。
いくつかの実施形態に従う、アクティブシャッタが開構成にあるHMDデバイスの斜視図である。 いくつかの実施形態に従う、表示画面のローリング更新と同期したアクティブシャッタの開閉の交互の繰返しを示す図である。 いくつかの実施形態に従う、表示画面のローリング更新と同期したローリングアクティブシャッタの開閉の交互の繰返しを示す図である。 いくつかの実施形態に従うアクティブシャッタ同期を示す図である。 いくつかの実施形態に従う、表示画面更新ダイナミクスの検出に基づくアクティブシャッタ同期を示す図である。 いくつかの実施形態に従う、同期画素の表示位置と対応するフォトダイオード検出器との位置合わせを示す図である。 いくつかの実施形態に従う、表示されたVRコンテンツのデューティサイクルを減少させる方法を示すフロー図である。
詳細な説明
異なる種類の表示画面は、ディスプレイに送られた各画像がそのディスプレイ上にどれだけ長く留まるかの尺度である画像持続性に差があることが多く、そのような差はユーザ体験に影響を及ぼし得る。たとえば、画像内のオブジェクトが当該画像を横切って移動する場合、ユーザの脳はそれが滑らかに行われることを期待する。高持続性または完全持続性ディスプレイ(すなわち、各画像は次の画像が到着するまでディスプレイ上に留まる)では、オブジェクトはフレーム更新ごとに画面を「ジャンプ」して、各フレームの持続時間中は静止している。これらのジャンプはユーザ体験をかなり劣化させ得る。たとえば、第1のフレームと第2のフレームとの中間にある場合、ユーザの脳は、オブジェクトを第1のフレーム内のオブジェクトの位置と第2のフレーム内のオブジェクトの位置との中間に見つけることを期待する。しかしながら、表示は完全持続表示でまだ更新されていないため、オブジェクトは第1のフレーム内のオブジェクトの場所に表示されたままである。オブジェクトの予測位置と実際の位置とのこの不一致はモーションブラーの原因となる。
一般に、持続性が低下すると動きが明瞭になる。しかしながら、HMDシステムによって採用されることが多いモバイルデバイスは、表示の低持続性モードを提供するように構成されていない。結果として生じるモーションブラーによって、特に液晶ディスプレイ(LCD)または有機発光ダイオード(OLED)ディスプレイなどの高持続性ディスプレイでは、これらのデバイスのVR/ARに大きな視覚的アーティファクトが生じ得る。たとえば、LCDディスプレイは完全持続性を用いるのが一般的である。バックライトの光は液晶を通り、液晶は偏光フィルタと共に各画素を着色する。バックライトは常に点灯したままであり、液晶は各フレームの持続時間中は同じ構成のままであり、次のフレームが表示されるまでシーン内のオブジェクトの記録された点サンプルを表示し続ける。すなわち、LCDディスプレイの画素がアドレス指定されると、その画素は値でロードされ、次にアドレス指定されるまでその光出力値に留まる。低持続性は目への全輝度を低下させるため、従来のモバイルデバイスは低持続性サポートをネイティブに提供しないことが多い。さらに、応答時間もモーションブラーの一因となる。たとえば、LCDデバイスでは、応答時間は1フレームの持続時間を超える場合がある。
本明細書でさらに説明するように、低持続性サポートをさらなるモバイルデバイスに拡張するために、さまざまな実施形態は、同期モジュールに結合された1つ以上のアクティブシャッタを有するヘッドマウントディスプレイ(HMD)デバイスを含む。同期モジュールは、同期信号を検出して1つ以上のアクティブシャッタの動作を制御するように構成された第1のフォトダイオードを含む。1つ以上のアクティブシャッタは、HMDデバイスの内部に位置決めされたモバイルデバイスの表示画面のデューティサイクルを減少させるために、光を透過する開状態と光を遮断する閉状態とを交互に繰返すように構成される。同期信号は、表示画面の画素のサブセットに対応する表示更新の持続時間中に表示画面からの光を遮断するタイミングを提供する。このデューティサイクルの減少により、表示画面からの画像が鮮明になり、知覚可能なモーションブラーが減少し、それによって、アクティブシャッタ光学部品はHMDデバイス筐体に統合されているので、モバイルデバイス自体にはいかなる変更も必要とせずに低持続性視聴が提供される。
図1は、いくつかの実施形態に従う、アクティブシャッタが開構成にあるHMDデバイス100の斜視図である。HMDデバイス100は、ヒンジ108およびファスナ110によってHMD筐体106のデバイス対向面104に結合されたHMDドアコンポーネント102を含む。ファスナ110は、ファスナ110を把持すること、およびファスナをHMD筐体106の外面116上のポストまたはペグ114にかけることを容易にするタグ112を含む。別の例では、ストラップがファスナ110の代わりとなってもよく、フック・アンド・ループファスナ(ファスナの一方の表面がストラップ上にあり、ファスナの他方の表面が外面116上にある)がファスナ110をペグ114にかける固定機構の代わりとなる。HMD筐体106はストラップ118によってユーザの頭に保持される。
図1に示すように、モバイルデバイス120は、HMDデバイスが閉構成にある(たとえば、ファスナ110がペグ114に締結されている)ときにモバイルデバイス120の表示画面122がHMD筐体106のデバイス対向面104に面するように、HMDドアコンポーネント102のデバイス対向面(図示せず)上に位置決めされる。たとえば、ファスナ110のタグ112はペグ114の上に配置されて、HMDドアコンポーネント102を閉位置に位置決めし、HMDデバイス100の内部でモバイルデバイス120に対して力または圧力を作用させる。
モバイルデバイス120は、ヘッドマウントディスプレイ、タブレットコンピュータ、コンピューティング対応の携帯電話(たとえば「スマートフォン」)、ノートブック型コンピュータ、携帯情報端末(PDA)など、1人以上のユーザによって操作されるさまざまな携帯用電子機器のうちのいずれかを含み得る。表示画面122は、レンダリングされた画像を表示するための画素のアレイを含む。いくつかの実施形態では、表示画面122は、単位時間当たりに表示されるビデオフレームの数と、対応するフレーム持続時間とを指定するリフレッシュレート(たとえば、リフレッシュレートが100Hzである場合、100フレームが毎秒表示され、フレーム持続時間は10ミリ秒(ms)である)に従って動作する。図示した例では、モバイルデバイス120は典型的に、ユーザの目が表示画面122を向くようにユーザに対して方向付けられる。
したがって、参照しやすいように、この例示的な向きを反映して、図1においてモバイルデバイス120が位置決めされる表面は本明細書ではHMDドアコンポーネント102の「ユーザ対向」面と称される場合もあり、HMD筐体106のデバイス対向面104は「デバイス対向」面と称される場合もあるが、これら表面の向きはこれら相対的な名称によって限定されない。HMDドアコンポーネント102のユーザ対向面は、閉じられると、HMD筐体106のデバイス対向面104に可逆的に嵌合または結合される。モバイルデバイス120の背面(たとえば、表示画面122の表面と反対側の表面)はHMDドアコンポーネント102のユーザ対向面に接して配置され、モバイルデバイスの前面(たとえば、表示画面122)はHMD筐体106のデバイス対向面104に接して配置される。
HMDデバイス100は、ユーザがHMDデバイス100を装着すると表示画面122がユーザの顔に向かう方向において光学部品に向けて方向付けられるようにHMD筐体106の内部に配置されたさまざまな光学部品を含む。HMD筐体106は、第1または右チャンバ124と第2または左チャンバ126とに分けられる。HMDドアコンポーネント102が閉じられると、ユーザはチャンバ124、126の各々を通して表示画面122のそれぞれの部分を見ることができる。たとえば、さまざまな実施形態において、チャンバ124、126の各々は、ユーザの両目に画像を提示するための1つ以上のレンズ(図示せず)などの光学部品を含む。
モーションブラーを減少させるために、さまざまな実施形態において、HMDデバイス100は、知覚のためにユーザの目に送られる光の全フレーム時間(たとえば、画像フレームごとの露光時間)を減少させるように動作可能な1つ以上のアクティブシャッタを含む。図1に示すように、HMDデバイス100は、モバイルデバイス120によって表示されるVRビデオコンテンツのデューティサイクル(たとえば、信号がアクティブである1周期の数分の1)を減少させるために、右チャンバ124内に位置決めされた第1または右アクティブシャッタ128と、左チャンバ126内に位置決めされた第2または左アクティブシャッタ130とを含む。すなわち、モバイルデバイス120の表示画面122は高持続性または完全持続性ディスプレイ(たとえばOLEDディスプレイ)であってもよいが、アクティブシャッタ128、130は、表示画面122が発する光の一部を時間的に変化するように遮断して、ユーザの目が知覚する照明時間を減少させる。右アクティブシャッタ128および左アクティブシャッタ130を閉じることで、表示画面122のデューティサイクルを減少させ、それによって各ユーザに対する露光時間を減少させることにより、ユーザの目への光子量の減少を犠牲にして画像が鮮明になりモーションブラーが減少する。
いくつかの実施形態では、アクティブシャッタ128、130は液晶(LC)シャッタ(LCDシャッタとしても公知)で実現される。LCシャッタに電圧を印加して、開状態(当該シャッタが透明または透光性である)と閉状態(当該シャッタが不透光性である)とを切換える。たとえば、ねじれネマチック、超ねじれネマチック、またはパイセル技術をベースとするLCシャッタを用いてもよい。LCシャッタは、切替え可能な偏光回転子として動作し、印加電圧に起因するその偏光状態に応じて選択的に光を通過させるか遮断する。本明細書において記載する「開状態」という用語は、アクティブシャッタが光透過性であるようにアクティブシャッタが全体的に開いている(たとえば、大部分が開いている)ことを指すが、アクティブシャッタが100%光透過性であることを必ずしも意味しない。同様に、「閉状態」という用語は、アクティブシャッタが不透光性であるように全体的に閉じている(たとえば、大部分が閉じている)ことを指すが、アクティブシャッタが100%不透光性であることを必ずしも意味しない。
ここでは主にLCシャッタの文脈で説明しているが、当業者は、本開示の範囲から逸脱することなくさまざまな他のシャッタシステムがHMDデバイス100において用いられ得ることを認識するであろう。たとえば、いくつかの実施形態では、アクティブシャッタ128、130は、機械的または物理的シャッタ、電気泳動、電気光学、MEMSなどであってもよい。他の実施形態では、強誘電性LCシャッタを用いてもよい。さまざまなシャッタは異なる一連の駆動特性を有し得る。しかしながら、一般に、アクティブシャッタ128、130は、HMDデバイス100のディスプレイ光学部品を覆って露光を調節可能な任意のシャッタ技術を含み得る。
図1の実施形態では右アクティブシャッタ128および左アクティブシャッタ130がディスプレイ光学部品の前に(すなわち、モバイルデバイス120とディスプレイ光学部品との間に)位置決めされていると示しているが、当業者は、他の実施形態では、右アクティブシャッタ128および左アクティブシャッタ130が、表示画面122から発せられた光がまずディスプレイ光学部品を通過した後に右アクティブシャッタ128および左アクティブシャッタ130を通過するかまたは当該シャッタによって遮断されるように、ディスプレイ光学部品の後ろに(すなわち、ディスプレイ光学部品とユーザの目との間に)位置決めされることを認識するであろう。
HMDデバイス100の表示画面122は、さまざまな実施形態によると、画像の表示が1行の画素ごとに更新されるローリング更新方式で一般に更新される。すなわち、任意の所与の画像についてのすべての画像画素がグローバルリフレッシュを介して一度に到着するのではなく、すべての画像更新は行ごとに順次ロールアウトされる。これにより、高速オブジェクトは水平および/または垂直せん断を示す。したがって、HMDデバイス100はローリング更新(本明細書では「ローリング表示」または「ローリングリフレッシュ」とも称される)と同期し、更新中のフレームがユーザの目に見えないように右アクティブシャッタ128および左アクティブシャッタ130の開閉のタイミングを互い違いにずらす。HMDデバイス100は、表示画面122が発する同期画素134のセットを検出してアクティブシャッタ128、130をモバイルデバイス120の表示画面122と同期させるフォトダイオード132または他の光検出器を含む。HMDデバイス100はまた、HMD筐体106のデバイス対向面104から突出する2つ以上のタッチ点136を含み、当該2つ以上のタッチ点136は、モバイルデバイス120がHMDドアコンポーネント102とHMD筐体106のデバイス対向面104との間に位置決めされるようにHMDデバイス100が閉構成にあるときに、モバイルデバイス120の表示画面122と接触する。以下により詳細に説明するように、2つ以上のタッチ点136と表示画面122との接触位置に基づいて、HMDデバイス100は、フォトダイオード132に対するモバイルデバイス120およびその関連する同期画素134の位置合わせを決定する。さらに、以下により詳細に説明するように、同期画素134のセットに基づいて、HMDデバイス100は、モバイルデバイスのレンダリングシステムによって規定される間隔でアクティブシャッタ128、130を閉じる。別々の左右画像(すなわち、立体画像対)の表示を交互に繰返すことにより、表示されるVRコンテンツのデューティサイクルが減少するため、ユーザの頭が動く際に知覚されるモーションブラーが減少する。
図2は、いくつかの実施形態に従う、表示画面のローリング更新と同期したアクティブシャッタの開閉の交互の繰返しを示す図である。この例では、表示画面はローリング更新方式で左から右に更新され、アクティブシャッタの開閉のタイミングは、更新中に前のフレームを表示しないように互い違いにずらされる。図2に示すように、第1の画像202の左画像(たとえば、立体画像対の左画像)が行単位で更新されているとき、左シャッタ(たとえば、図1の左アクティブシャッタ130)は、更新中に第1の画像202の左画像からの光が通過してユーザの目に届かないように閉じている。一方、右シャッタ(たとえば、図1の右アクティブシャッタ128)は、第1の画像202の前の画像の光が通過してユーザが光を受けるように開いている。第1の画像202の左画像が更新され、第1の画像202の右画像(たとえば、立体画像対の右画像)が行単位の更新を開始した後は、右シャッタは、更新中に第1の画像202の右画像からの光が通過してユーザの目に届かないように閉じている。一方、左シャッタは、更新の終了直後の第1の画像202の左画像の光が通過してユーザが光を受けるように開いている。
その後、第1の画像202が表示画面122上での更新を終了した後、第2の画像204の左画像が行単位で更新されているとき、左シャッタ(たとえば、図1の左アクティブシャッタ130)は、更新中に第2の画像204の左画像からの光が通過してユーザの目に届かないように閉じている。一方、右シャッタ(たとえば、図1の右アクティブシャッタ128)は、第1の画像202の右画像の光が通過してユーザが光を受けるように開いている。第2の画像204の左画像が更新され、第2の画像204の右画像が行単位の更新を開始した後は、右シャッタは、更新中に第2の画像204の右画像からの光が通過してユーザの目に届かないように閉じている。一方、左シャッタは、更新の終了直後の第2の画像204の左画像の光が通過してユーザが光を受けるように開いている。
左画像が更新されているとき、ローリング更新の境界が表示画面を横切り、表示画面の左部分からの光がユーザの目に達しないため、左シャッタは閉じられる。左画像の更新終了後、左シャッタを開けて、右画像の更新中に右シャッタを閉じた状態で左画像を視聴のためにユーザに見せる。このように、HMDデバイス100は、右アクティブシャッタ128の特性を透光性から不透光性に、そして透光性に交互に変化させ、左アクティブシャッタ130の特性を不透光性から透光性に、そして不透光性に交互に変化させる。
図3は、いくつかの実施形態に従う、表示画面のローリング更新と同期したローリングアクティブシャッタの開閉の交互の繰返しを示す図である。この例では、ローリング更新中に一対のアクティブシャッタを交互に繰返して左画像または右画像の全体を遮るのではなく、HMDデバイス100は、表示画面のローリング更新と同期するシャッタのアレイを含む。図2に関連して先に説明したように、左画像または右画像の全体を遮るのではなく、シャッタのアレイの各アクティブシャッタの開閉を、更新中の特定の行(または列)がユーザの目に見えないように、表示画面のローリング更新と同期させる。
図3に示すように、第1の画像302が行単位で更新されているとき、複数のアクティブシャッタ304(N)(たとえば、N個のアクティブシャッタ)のうちの1つのアクティブシャッタ304(1)は、更新中、第1の画像302の特定の1行以上の画素に対応する時間tにおいて閉じられる。アクティブシャッタ304(1)が閉じている間、第1の画像302からの当該特定の1行以上の画素からの光は通過せずユーザの目に届かない。一方、複数のアクティブシャッタ304(N)の他のすべては、第1の画像302に対応する表示画面の他のすべての行の画素からの光が通過してユーザが光を受けるように、時間tにおいて開く。その後、第1の画像302の異なる1行以上の画素に対応する時間tにおいて、複数のアクティブシャッタ304(N)のうちの異なるアクティブシャッタ304(2)が閉じられる。一方、アクティブシャッタ304(2)以外の複数のアクティブシャッタ304(N)のすべては、第1の画像302に対応する表示画面の他のすべての行の画素からの光が通過してユーザが光を受けるように、時間tにおいて開く。したがって、アクティブシャッタ304(2)に対応する異なる1行以上の画素からの光は、更新中は通過せずユーザの目に届かない。このローリング更新プロセスは、表示画面の全体が更新されて第1の画像302を表示するまで、時間tにわたって継続する。
その後、第1の画像302が更新された後、第2の画像306が表示画面の先頭行で更新を開始する。第2の画像306が行単位で更新されているとき、複数のアクティブシャッタ304(N)(たとえば、N個のアクティブシャッタ)のうちの1つのアクティブシャッタ304(1)は、更新中、第2の画像306の特定の1行以上の画素に対応する時間tにおいて閉じられる。アクティブシャッタ304(1)が閉じている間、第2の画像306からの当該特定の1行以上の画素からの光は通過せずユーザの目に届かない。一方、複数のアクティブシャッタ304(N)の他のすべては、第2の画像306に対応する表示画面の他のすべての行の画素からの光が通過してユーザが光を受けるように、時間tにおいて開く。その後、第2の画像306の異なる1行以上の画素に対応する時間tにおいて、複数のアクティブシャッタ304(N)のうちの異なるアクティブシャッタ304(2)が閉じられる。一方、アクティブシャッタ304(2)以外の複数のアクティブシャッタ304(N)のすべては、第2の画像306に対応する表示画面の他のすべての行の画素からの光が通過してユーザが光を受けるように、時間tにおいて開く。したがって、アクティブシャッタ304(2)に対応する異なる1行以上の画素からの光は、更新中は通過せずユーザの目に届かない。このプロセスは、表示画面の全体が更新されて第2の画像306を表示するまで、ローリング更新の後に継続する。このように、複数のアクティブシャッタ304(N)が表示画面のローリング更新に合わせて開閉されることにより、表示のデューティサイクルは図2の実施形態よりも低い程度まで減少する。
ここではアクティブシャッタを電話のディスプレイのローリング更新と同期させるという文脈で説明しているが、当業者は、当該デューティサイクルは、知覚されるモーションブラーを減少させるために他の表示画面ダイナミクスにも適用され得ることを認識するであろう。たとえば、他の実施形態では、表示画面は、全画素が同時に更新されるグローバル更新ディスプレイである。このような実施形態では、アクティブシャッタの開閉をローリング更新と一致するように同期させる必要はない。したがって、HMDデバイスは、各画像フレームの表示時間の一部の間にわたって閉じられることによってデューティサイクルを減少させるように動作可能な単一のグローバルシャッタを含む。あるいは、図2〜図3で説明したような1つ以上のアクティブシャッタを用いてもよい。しかしながら、アクティブシャッタの開閉を交互に繰返す代わりに、すべてのシャッタが各画像フレームの表示時間の一部の間にわたって閉じられる(すなわち、複数のアクティブシャッタが単一のグローバルシャッタとして効果的に動作する)。
さらに、ここでは左から右への行のローリング更新に基づいてアクティブシャッタを電話のディスプレイのローリング更新と同期させるという文脈で説明しているが、当業者は、表示画面は列、行、または両方としてローリング方式で構成および起動され得ることを認識するであろう。さまざまな実施形態において、各個々のモバイルデバイスは、表示画面がどのように更新されるかに関するそれぞれ固有のダイナミクスを含む。たとえば、上記の実施形態では、表示画面のローリング更新は左から右に行われる。他の実施形態では、ローリング更新は右から左に行われ、さらに、ユーザがモバイルデバイスをHMDデバイス100の内部に位置決めする向きに依存し得る。さらに、異なるモバイルデバイスは、異なるフレームレート、異なる画像更新間のタイミングまたは遅延、製造業者間のタイミング特異性などを有する表示画面を含む。
したがって、図1で先に示したように、HMDデバイス100は、表示画面122が発する同期画素134の対応するセットを検出してアクティブシャッタ128、130をモバイルデバイス120の表示画面122と同期させるフォトダイオード132または他の光検出器を含む。理想的には、図2の文脈において、左画像の更新中に左シャッタが閉じられると同時に右シャッタが開いて右画像を表示し、右画像の更新中に右シャッタが閉じられると同時に左シャッタが開いて左画像を表示する。
図4はいくつかの実施形態に従うアクティブシャッタ同期を示す図である。図4の表示画面対向ビュー400は、表示画面406(図1の表示画面122など)上での表示のために提示される立体画像対の左画像402および右画像404を示す。さまざまな実施形態において、本明細書に記載のアクティブシャッタは、表示画面406の隅における表示のために提示される同期画素410(図1の同期画素134など)のセクションを検出するように位置決めされるHMDデバイスの可視光スペクトルダイオード408(図1のフォトダイオード132など)を含む同期システムに接続される。
同期画素410は、左画像402および右画像404などのVRコンテンツの表示中に提示され、モバイルデバイスとHMDデバイスとの間の有線接続を必要とすることなく、アクティブシャッタに結合されたコントローラモジュール412に同期データを提供する。一実施形態では、同期画素410は、HMDデバイスの内部に位置決めされたモバイルデバイスの特定のモデルを識別するパルスシーケンスを提供する。同期画素410によって提供されたモデル識別情報に基づいて、コントローラモジュール412は、さまざまなモバイルデバイスモデルについて測定された更新ダイナミクスおよび関連するアクティブシャッタ動作パラメータを含むルックアップテーブルを介するなどして、モバイルデバイスのその特定のモデルの固有の更新ダイナミクスを判定する。同期画素を符号化するか複数の表示フレームに拡散して、アクティブシャッタを表示画面406と同期させることができることが理解されるであろう。さらに、同期画素410は、グレースケールパルスシーケンス、フルカラー画素ディスプレイなどのいずれかとして提示されてもよい。
ここでは同期画素410を表示画面406の隅に表示するために提示するという文脈で説明しているが、当業者は、同期画素410は、関連する可視光スペクトルダイオード408によって検出可能な表示画面406の任意の部分における表示のために提示されてもよいことを認識するであろう。たとえば、他の実施形態では、同期画素410は、立体左画像402と右画像404との間の表示画面406の中央に表示される。さらに、同期画素410は画素の矩形状アレイとして示されているが、任意のサイズ、形状、または構成(たとえば、細い棒、球形などとして)の画素としての表示のために提示されてもよい。一般に、VRコンテンツを表示するために用いられていない任意の画素が同期画素410を表示するために用いられ得る。
コントローラモジュール412のシステムクロックは、VRコンテンツを表示するモバイルデバイスのシステムクロックと厳密に一致する可能性は低い。というのも、それらは互いにわずかに異なる周波数で動作する可能性が高いからである。したがって、HMDデバイスのモバイルデバイスおよびコントローラモジュール412の動作周波数の知識があっても、表示画面406の表示更新に対するアクティブシャッタの開閉間の同期は時間とともに互いにずれる場合がある。同期画素410は、コントローラモジュール412がある期間にわたって蓄積された位相誤差を再同期させることを可能にするデータを提供する。たとえば、一実施形態では、同期画素410は、4秒ごとにコントローラモジュール412を表示画面406と再同期させる。しかしながら、さまざまな他の実施形態では、同期画素410は、コントローラモジュール412のシステムクロックとモバイルデバイスのシステムクロックとが互いにどれだけ近いかに応じて、より短い間隔またはより長い間隔でコントローラモジュール412を表示画面406と再同期させる。
動作時、モバイルデバイスが(図1に示すように)HMDデバイス内に位置決めされた後、表示画面406は、同期画素410を画面の隅における同期信号として送信しながら、表示画面406の他の部分においてVRコンテンツ出力をレンダリングする。コントローラモジュール412は、図2に関連して先に説明したように、モバイルデバイスのレンダリングシステムと同期するように規定される間隔でアクティブシャッタを閉じるようにアクティブシャッタに信号伝達する。したがって、モバイルデバイスのレンダリングシステムおよびコントローラモジュール412は、同期画素410によって提供されるタイミングデータを介して、少なくとも画像更新期間(たとえば、LCDディスプレイのLCD液晶移行期間)中はアクティブシャッタを閉じ、その後再び開く。モバイルデバイスによるスキャンラインレーシング(たとえば、ローリング更新)と同時に起こるように左右のアクティブシャッタを閉じるタイミングを交互に繰返すことにより、特に高持続性ディスプレイで、表示画面406のデューティサイクルが減少し、見かけ上の目に見える待ち時間が減ることでモーションブラーの知覚が減少する。
他の実施形態では、上記のように同期画素410および関連する可視光スペクトルダイオード408を介して同期データを光学的に提供するのではなく、HMDデバイスは、モバイルデバイスとコントローラモジュール412との間の物理的な有線接続を含む。アクティブシャッタシステムのコントローラモジュール412をモバイルデバイスに物理的にテザリングすることにより、コントローラモジュール412は、同期画素410の使用を必要とすることなくモバイルデバイスと通信し、更新ダイナミクスに関するデータ(たとえば、垂直同期(Vsync)データ)などの同期データをモバイルデバイスから直接受信することができる。
別の実施形態において、図5は、いくつかの実施形態に従う、表示画面更新ダイナミクスの検出に基づくアクティブシャッタ同期を示す図である。図5の表示画面対向ビュー500は、表示画面506の両側を向くように位置決めされたHMDデバイスの第1の可視光スペクトルダイオード502および第2の可視光スペクトルダイオード504を含む同期システムを示す。したがって、(図1および図4に示すように)表示画面に面するようにHMDデバイス内に位置決めされた単一のフォトダイオードではなく、図5の例はHMDデバイス内に位置決めされた一対のフォトダイオードを含む。
一対の可視光スペクトルダイオード502、504は、表示画面506に表示された同期画素を介して、符号化された同期データを受信しない。むしろ、可視光スペクトルダイオード502、504は、ローリングシャッタ方向と、HMDデバイスのアクティブシャッタの位相遅延を制御するタイミングとの直接測定を実行する。たとえば、図5に示すように、第1の可視光スペクトルダイオード502は第1の時間tにおいて画素の表示更新を検出し、第2の可視光スペクトルダイオード504は第2の時間tにおいて画素の表示更新を検出する。この情報に基づいて、コントローラモジュール508は、表示画面506のローリング更新が左から右に進行すると判定する。さらに、コントローラモジュール508は、表示画面に関連するさまざまな表示更新ダイナミクスを判定する。たとえば、第1の可視光スペクトルダイオード502による次の表示更新の検出に基づいて、コントローラモジュール508は、フレーム間の表示バッファのロードなどに起因する画像フレーム更新間の遅延を判定する。別の例として、複数のフレームにわたる第1および第2の可視光スペクトルダイオード502、504による表示更新の繰返し検出に基づいて、コントローラモジュール508は表示画面506のフレームレートを判定する。
このように、コントローラモジュール508は、HMDデバイスの内部に現在位置決めされているモバイルデバイスが(図4に関連して説明したように)同期画素を表示する必要なしに、またはユーザが電話のモデルに関するデータを手動で提供する必要なしに、モバイルデバイスについての特定の更新ダイナミクスを判定するために必要なデータ点を得ることができる。さらに、このフォトダイオードを用いる表示更新パラメータの検出によってユーザ体験が容易になる。ユーザがモバイルデバイス識別情報を手動で入力する必要性をなくすことに加えて、ユーザはモバイルデバイスを挿入する向きを心配する必要もない。たとえば、図5に示す向きの代わりに、ユーザがモバイルデバイスを反転させてHMDデバイス内に位置決めした場合、コントローラモジュール508は表示画面506のローリング更新が右から左に進行すると判定し、それに応じてアクティブシャッタを表示画面506と同期させることになる。
図6は、いくつかの実施形態に従う、同期画素の表示位置と対応するフォトダイオード検出器との位置合わせを示す図である。図6の表示画面対向ビュー600は、モバイルデバイスの表示画面604に対するHMD筐体のデバイス対向面602(図1のデバイス対向面104など)の位置合わせ不良を示す。したがって、タッチ点606(図1のタッチ点136など)は、モバイルデバイスがたとえばデバイス対向面602と位置合わせされるように図1に示すようにHMDデバイスの内部で中心に置かれた場合に接触するようには、表示画面604の中心608と接触していない。たとえば、モバイルデバイスの表示画面604上の接触位置610における接触に基づいて、モバイルデバイスは位置合わせ不良を識別し、HMD筐体のフォトダイオード612が表示画面604によって表示される同期画素614を検出できないと判定する。接触位置610の知識などによる、HMD筐体に対する表示画面604の向きを用いて、同期画素614の表示位置がフォトダイオードと位置合わせされるように表示画面604上の画像のレンダリングを更新する。この同期画素614の表示位置の移動により、ユーザがVRコンテンツ視聴のためにモバイルデバイス120をHMDデバイス100に挿入する際に必要な正確さが低下する。
図7は、いくつかの実施形態に従う、表示されたVRコンテンツのデューティサイクルを減少させる方法700を示すフロー図である。方法700は、ブロック702において、表示画面更新ダイナミクスデータのセットを含む同期信号を同期モジュールにおいて受信することで開始する。いくつかの実施形態では、同期信号を受信することは、モバイルデバイスの表示画面によって表示される同期画素のセットを第1のフォトダイオードにおいて検出することを含む。たとえば、図4に関連してより詳細に上述したように、同期画素410のセクションが表示画面406の隅における表示のために提示される。同期画素410はVRコンテンツの表示中に提示される。一実施形態では、同期画素410は、HMDデバイスの内部に位置決めされたモバイルデバイスの特定のモデルを識別するパルスシーケンスを提供する。同期画素410によって提供されたモデル識別情報に基づいて、コントローラモジュール412は、さまざまなモバイルデバイスモデルについて測定された更新ダイナミクスおよび関連するアクティブシャッタ動作パラメータを含むルックアップテーブルを介するなどして、モバイルデバイスのその特定のモデルの固有の更新ダイナミクスを判定し、それにより、モバイルデバイスとHMDデバイスとの間の有線接続を必要とすることなく、アクティブシャッタに結合されたコントローラモジュール412に表示画面更新ダイナミクスデータを提供する。
他の実施形態では、同期信号を受信することは、第1の画像を提示する表示更新の第1のタイミングを第1のフォトダイオードにおいて検出することと、第1の画像を提示する表示更新の第2のタイミングを第2のフォトダイオードにおいて検出することとを含む。たとえば、図5に関連してより詳細に上述したように、一対のフォトダイオードが、ローリングシャッタ方向と、HMDデバイスのアクティブシャッタの位相遅延を制御するタイミングとの直接測定を実行する。たとえば、図5に示すように、第1の可視光スペクトルダイオード502は第1の時間tにおいて画素の表示更新を検出し、第2の可視光スペクトルダイオード504は第2の時間tにおいて画素の表示更新を検出する。この情報に基づいて、コントローラモジュール508は、表示画面506のローリング更新方向が左から右に進行すると判定する。さらに、コントローラモジュール508は、表示画面に関連するさまざまな表示更新ダイナミクスを判定する。たとえば、第1の可視光スペクトルダイオード502による次の表示更新の検出に基づいて、コントローラモジュール508は、フレーム間の表示バッファのロードなどに起因する画像フレーム更新間の遅延を判定する。別の例として、複数のフレームにわたる第1および第2の可視光スペクトルダイオード502、504による表示更新の繰返し検出に基づいて、コントローラモジュール508は表示画面506のフレームレートを判定する。このように、コントローラモジュール508は、HMDデバイスの内部に現在位置決めされているモバイルデバイスが同期画素を表示する必要なしに、モバイルデバイスについての特定の更新ダイナミクスを判定するために必要なデータ点を得ることができる。
ブロック704において、方法700は続いて、表示画面のデューティサイクルを減少させるために、受信したブロック702の表示画面更新ダイナミクスデータのセットに基づいて1つ以上のアクティブシャッタの動作を制御する。一実施形態では、図2に関連してより詳細に上述したように、1つ以上のアクティブシャッタの動作を制御することは、1つ以上のアクティブシャッタの、表示画面から発せられた光を透過する開状態と、表示画面から発せられた光を遮断して表示画面のローリング更新を一致させる閉状態との交互の繰返しを同期させることを含む。これは、1つ以上のアクティブシャッタのうちの第1のアクティブシャッタに関連付けられた表示画面の第1の部分が第1の画像を提示するために更新されている間、第1のアクティブシャッタに閉状態に入るように信号伝達することと、第1のアクティブシャッタに関連付けられた表示画面の第2の部分が第1の画像を提示するために更新されている間、1つ以上のアクティブシャッタのうちの第2のアクティブシャッタに閉状態に入るように信号伝達することとを含む。さらに、第2のアクティブシャッタに関連付けられた表示画面の第2の部分が第1の画像を提示するために更新されている間、第1のアクティブシャッタに開状態に入るように信号伝達する。その後、第1のアクティブシャッタに関連付けられた表示画面の第1の部分が第2の画像を提示するために更新されている間、第1のアクティブシャッタに閉状態に入るように信号伝達し、第2のアクティブシャッタに開状態に入るように信号伝達することによって、それらの開閉を交互に繰返す。
たとえば、図2に示すように、第1の画像202の左画像が行単位で更新されているとき、左シャッタは、更新中に第1の画像202の左画像からの光が通過してユーザの目に届かないように閉じている。一方、右シャッタは、第1の画像202の前の画像の光が通過してユーザが光を受けるように開いている。第1の画像202の左画像が更新され、第1の画像202の右画像が行単位の更新を開始した後は、右シャッタは、更新中に第1の画像202の右画像からの光が通過してユーザの目に届かないように閉じている。一方、左シャッタは、更新の終了直後の第1の画像202の左画像の光が通過してユーザが光を受けるように開いている。
その後、第1の画像202が表示画面122上での更新を終了した後、第2の画像204の左画像が行単位で更新されているとき、左シャッタは、更新中に第2の画像204の左画像からの光が通過してユーザの目に届かないように閉じている。一方、右シャッタは、第1の画像202の右画像の光が通過してユーザが光を受けるように開いている。第2の画像204の左画像が更新され、第2の画像204の右画像が行単位の更新を開始した後は、右シャッタは、更新中に第2の画像204の右画像からの光が通過してユーザの目に届かないように閉じている。一方、左シャッタは、更新の終了直後の第2の画像204の左画像の光が通過してユーザが光を受けるように開いている。
図3に関連してより詳細に上述したような別の実施形態では、ブロック704において1つ以上のアクティブシャッタの動作を制御することは、ローリングアクティブシャッタの開閉を表示画面のローリング更新と同期して交互に繰返すことを含む。左画像または右画像の全体を遮るのではなく、シャッタのアレイの各アクティブシャッタの開閉を、更新中の特定の行(または列)がユーザの目に見えないように、表示画面のローリング更新と同期させる。図3に示すように、第1の画像302が行単位で更新されているとき、複数のアクティブシャッタ304(N)(たとえば、N個のアクティブシャッタ)のうちの1つのアクティブシャッタ304(1)は、更新中、第1の画像302の特定の1行以上の画素に対応する時間tにおいて閉じられる。アクティブシャッタ304(1)が閉じている間、第1の画像302からの当該特定の1行以上の画素からの光は通過せずユーザの目に届かない。一方、複数のアクティブシャッタ304(N)の他のすべては、第1の画像302に対応する表示画面の他のすべての行の画素からの光が通過してユーザが光を受けるように、時間tにおいて開く。その後、第1の画像302の異なる1行以上の画素に対応する時間tにおいて、複数のアクティブシャッタ304(N)のうちの異なるアクティブシャッタ304(2)が閉じられる。一方、アクティブシャッタ304(2)以外の複数のアクティブシャッタ304(N)のすべては、第1の画像302に対応する表示画面の他のすべての行の画素からの光が通過してユーザが光を受けるように、時間tにおいて開く。したがって、アクティブシャッタ304(2)に対応する異なる1行以上の画素からの光は、更新中は通過せずユーザの目に届かない。このローリング更新プロセスは、表示画面の全体が更新されて第1の画像302を表示するまで、時間tにわたって継続する。
他の実施形態では、同期画素の応答時間は、非常に高いレート(たとえば、−kHz以上)でサンプリングされるフォトダイオード信号から直接外挿される。これにより、任意の所与のモバイルデバイスについてのフレームの終わりがどこであるかについて、より正確なタイミングが可能になる。これは、応答時間が遅いために特にLCD表示装置に関連する。
ここで説明するシステムおよび方法は、さまざまな実施形態において、グラフィックスレンダリングシステムを有するモバイルデバイスがHMDデバイス(ドロップインVRビューアなど)の内部に位置決めされるVR視聴システムを提供する。当該HMDデバイスは、電話の画面の隅にある画素のセクションを読取るように配置された可視光スペクトルダイオードを含む同期システムに接続されたアクティブシャッタを含む。モバイルデバイスの表示画面は、同期画素の形態で表示画面の隅に同期信号を送信しながら、表示画面の残りの部分にVR歪み出力を表示する。モバイルデバイスのレンダリングシステムによって規定される間隔でHMDデバイスのアクティブシャッタを閉じ、表示画像の更新期間中はシャッタを閉じたままにすることによって、ユーザの頭が動く際のモーションブラーの出現が減少するため、より応答性の高い改善された視覚的経験がユーザに提供される。
いくつかの実施形態では、本明細書で説明するシステムは、HMD筐体の光学部品を通して見たときにモバイルの表示画面上にレンダリングされる画像データの三次元ビューを可能にするシャッタ光学部品および/またはシャッタ制御ロジックを含む。たとえば、さまざまな実施形態において、筐体に統合されたシャッタ光学部品を含む、仮想現実コンテンツをレンダリングするためのシステムが提供される。ディスプレイ光学部品は、筐体がユーザの頭に取り付けられるとユーザの目に向けて方向付けられるように構成された筐体の内側において方向付けられる。一例では、モバイルデバイスの画面は筐体のディスプレイ光学部品に向けて方向付けられる。スマートフォンは、筐体の電子機器とスマートフォンの電子機器との間のデータ通信を可能にするためにホルダとのデータ接続を有する。シャッタ制御ロジックは筐体の電子機器とインタフェースされる。光学部品制御ロジックはシャッタ光学部品とインタフェースされる。プロセッサはシャッタ制御ロジックおよび光学部品制御ロジックとインタフェースするように構成される。いくつかの実装例では、当該システムは、スマートフォンを筐体に接続するためのデバイスインターフェース(有線または無線)も含む。
いくつかの実施形態では、上述の技法のある局面は、ソフトウェアを実行する処理システムの1つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的なコンピュータ可読記憶媒体上に格納されるかそうでなければ有形に具現化される実行可能な命令の1つ以上のセットを備える。ソフトウェアは、1つ以上のプロセッサによって実行されると、当該1つ以上のプロセッサを操作して上述の技法の1つ以上の局面を実行させる、命令および特定のデータを含み得る。非一時的なコンピュータ可読記憶媒体は、たとえば、磁気または光ディスク記憶装置、フラッシュメモリ、キャッシュ、ランダムアクセスメモリ(RAM)または他の1つ以上の不揮発性メモリ装置などの固体記憶装置などを含み得る。非一時的なコンピュータ可読記憶媒体上に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または1つ以上のプロセッサによって解釈されるかそうでなければ実行可能である他の命令フォーマットであってもよい。
コンピュータ可読記憶媒体は、命令および/またはデータをコンピュータシステムに提供するために、使用中にコンピュータシステムがアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含んでもよい。そのような記憶媒体は、光媒体(たとえば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスク)、磁気媒体(たとえば、フロッピー(登録商標)ディスク、磁気テープ、もしくは磁気ハードドライブ)、揮発性メモリ(たとえば、ランダムアクセスメモリ(RAM)もしくはキャッシュ)、不揮発性メモリ(たとえば、読出専用メモリ(ROM)もしくはフラッシュメモリ)、または微小電気機械システム(MEMS)ベースの記憶媒体を含み得るが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋込まれてもよく(たとえば、システムのRAMまたはROM)、コンピューティングシステムに固定的に取り付けられてもよく(たとえば、磁気ハードドライブ)、コンピューティングシステムに取外し可能に取り付けられてもよく(たとえば、光ディスクまたはユニバーサルシリアルバス(USB)ベースのフラッシュメモリ)、有線または無線ネットワークを介してコンピュータシステムに結合されてもよい(たとえば、ネットワークアクセス可能ストレージ(NAS))。
なお、一般的な説明において上述した要素のすべてが必須であるわけではなく、特定の例示的な装置の一部は不要な場合もあり、説明したものに加えて、1つ以上のさらに他の要素が含まれてもよい。さらにまた、特徴または構成要素が本明細書で説明した例および図面において現れる順序は、当該特徴および構成要素が本明細書で一般的に説明した装置を作成するために組合せられ得る多くの方法のうちのいくつかに過ぎない。特定の実施形態を参照して概念を説明した。しかしながら、当業者は、下記の特許請求の範囲に記載されるような本開示の範囲から逸脱することなく、さまざまな修正および変更が可能であることを認識する。したがって、本明細書および図面は限定的ではなく例示的に考慮されるべきであり、そのような修正はすべて本開示の範囲内に含まれることが意図される。
利益、他の利点、および問題に対する解決策を特定の実施形態に関して上記に説明した。しかしながら、任意の利益、利点、または問題に対する解決策を生じさせ得るまたはより顕著にし得る当該利益、利点、問題に対する解決策、および任意の特徴は、任意のまたはすべての請求項の決定的な、必要な、または必須の特徴として解釈されるべきではない。さらに、開示した主題は、本明細書の教示の利益を享受する当業者に明らかな、異なるが同等の方法で修正および実践され得るため、上記に開示した特定の実施形態は例示に過ぎない。下記の特許請求の範囲に記載されているもの以外に、本明細書に示されている構造または設計の詳細に対する限定は意図されていない。したがって、上記に開示された特定の実施形態は変更または修正されてもよいことが明らかであり、すべてのそのような変形例は開示された主題の範囲内にあると見なされる。したがって、本明細書において求められる保護は下記の特許請求の範囲に記載の通りである。

Claims (20)

  1. 装置であって、
    ヘッドマウントディスプレイ(HMD)デバイス(100)を備え、前記HMDデバイスは、
    1つ以上のアクティブシャッタ(128、130)と、
    同期信号を検出するように構成された第1のフォトダイオード(132、502、504、506、612)と、
    前記1つ以上のアクティブシャッタおよび前記第1のフォトダイオードに結合され、検出された前記同期信号に基づいて前記1つ以上のアクティブシャッタの動作を制御するように構成されたコントローラ(412、508)とを含む、装置。
  2. 前記1つ以上のアクティブシャッタは、前記HMDデバイスの内部に位置決めされたモバイルデバイス(120)の表示画面(122、406、506、604)のデューティサイクルを減少させるように構成される、請求項1に記載の装置。
  3. 前記1つ以上のアクティブシャッタは、検出された前記同期信号に基づいて、光を透過する開状態と光を遮断する閉状態とを交互に繰返す一対のLCDシャッタを備え、
    前記一対のLCDシャッタのうちの第1のLCDシャッタが前記開状態にある間、前記一対のLCDシャッタのうちの第2のLCDシャッタは前記閉状態にある、請求項2に記載の装置。
  4. 前記1つ以上のアクティブシャッタは複数のLCDシャッタを備え、
    前記複数のLCDシャッタの各々は、前記表示画面の画素のサブセットに対応する表示更新の持続時間中に前記同期信号に基づいて光を遮断するように構成される、請求項2または3に記載の装置。
  5. 前記第1のフォトダイオードは、前記表示画面によって表示される同期画素(134、410、614)のセットとして前記同期信号を検出するように位置決めされる、請求項2から4のいずれか1項に記載の装置。
  6. 第2のフォトダイオード(132、502、504、506、612)をさらに備え、
    前記第1のフォトダイオードおよび前記第2のフォトダイオードは、前記モバイルデバイスの前記表示画面の両側に表示される画素を検出するように前記HMDデバイスの内部に位置決めされる、請求項2から5のいずれか1項に記載の装置。
  7. 前記第1のフォトダイオードおよび前記第2のフォトダイオードは、表示更新と画像フレームとの間のタイミング差に基づいて前記同期信号を検出するように位置決めされる、請求項6に記載の装置。
  8. ヘッドマウントディスプレイシステム(100)であって、
    光を透過する開状態と光を遮断する閉状態とを各々が交互に繰返す1つ以上のアクティブシャッタ(128、130)と、
    同期信号を検出するように構成された第1のフォトダイオード(132、502、504、506、612)と、
    前記第1のフォトダイオードおよび前記1つ以上のアクティブシャッタに結合され、検出された前記同期信号に基づいて前記1つ以上のアクティブシャッタの動作を制御するように構成されたコントローラ(412、508)とを備える、ヘッドマウントディスプレイシステム。
  9. 1つ以上のアクティブシャッタは一対のLCDシャッタを備え、さらに、
    前記一対のLCDシャッタのうちの第1のLCDシャッタが前記開状態にある間、前記一対のLCDシャッタのうちの第2のLCDシャッタは前記閉状態にある、請求項8記載のヘッドマウントディスプレイシステム。
  10. 前記1つ以上のアクティブシャッタは複数のLCDシャッタを備え、
    前記複数のLCDシャッタの各々は、前記ヘッドマウントディスプレイシステムの内部で表示するために位置決めされたモバイルデバイスの表示画面の画素のサブセットに対応する表示更新の持続時間中に前記同期信号に基づいて光を遮断するように構成される、請求項9に記載のヘッドマウントディスプレイシステム。
  11. 前記第1のフォトダイオードは、前記ヘッドマウントディスプレイシステムの内部で表示するために位置決めされたモバイルデバイス(120)によって表示される同期画素(134、410、614)のセットとして前記同期信号を検出するように位置決めされる、請求項8から10のいずれか1項に記載のヘッドマウントディスプレイシステム。
  12. 第2のフォトダイオード(132、502、504、506、612)をさらに備え、
    前記第1のフォトダイオードおよび前記第2のフォトダイオードは、前記ヘッドマウントディスプレイシステムの内部で表示するために位置決めされたモバイルデバイス(120)の表示画面(122、406、506、604)の両側に表示される画素を検出するように位置決めされる、請求項8から11のいずれか1項に記載のヘッドマウントディスプレイシステム。
  13. 前記第1のフォトダイオードおよび前記第2のフォトダイオードは、表示更新と画像フレームとの間のタイミング差に基づいて前記同期信号を検出するように位置決めされる、請求項12に記載のヘッドマウントディスプレイシステム。
  14. 方法であって、
    第1のフォトダイオード(132、502、504、506、612)を用いて、表示画面更新ダイナミクスデータのセットを備える同期信号を検出することと、
    前記同期信号に基づいて、表示画面(122、406、506、604)のデューティサイクルを減少させるために前記表示画面更新ダイナミクスデータのセットに基づいて1つ以上のアクティブシャッタ(128、130)の動作を制御することとを備える、方法。
  15. 前記同期信号を受信することは、
    前記表示画面によって表示される同期画素(134、410、614)のセットを前記第1のフォトダイオードにおいて検出することを備える、請求項14に記載の方法。
  16. 前記1つ以上のアクティブシャッタの動作を制御することは、
    前記1つ以上のアクティブシャッタの各々の、前記表示画面から発せられた光を透過する開状態と、前記表示画面から発せられた光を遮断する閉状態とを交互に繰返すことを同期させることを備え、
    前記交互に繰返すことを同期させることは、前記表示画面のローリング更新を一致させることを含む、請求項14または15に記載の方法。
  17. 前記1つ以上のアクティブシャッタのうちの第1のアクティブシャッタに関連付けられた前記表示画面の第1の部分が第1の画像(202、302)を提示するために更新されている間、前記第1のアクティブシャッタに前記閉状態に入るように信号伝達することと、
    前記第1のアクティブシャッタに関連付けられた前記表示画面の第2の部分が前記第1の画像を提示するために更新されている間、前記1つ以上のアクティブシャッタのうちの第2のアクティブシャッタに前記閉状態に入るように信号伝達することとをさらに備える、請求項16に記載の方法。
  18. 前記第2のアクティブシャッタに関連付けられた前記表示画面の前記第2の部分が前記第1の画像を提示するために更新されている間、前記第1のアクティブシャッタに前記開状態に入るように信号伝達することをさらに備える、請求項17に記載の方法。
  19. 前記第1のアクティブシャッタに関連付けられた前記表示画面の前記第1の部分が第2の画像(204、306)を提示するために更新されている間、前記第1のアクティブシャッタに前記閉状態に入るように信号伝達することと、
    前記第1のアクティブシャッタに関連付けられた前記表示画面の前記第1の部分が前記第2の画像を提示するために更新されている間、前記第2のアクティブシャッタに前記開状態に入るように信号伝達することとをさらに備える、請求項18に記載の方法。
  20. 前記第1のフォトダイオードを用いて、第1の画像を提示する表示更新の第1のタイミングを検出することと、
    第2のフォトダイオード(132、502、504、506、612)を用いて、前記第1の画像を提示する前記表示更新の第2のタイミングを検出することと、
    前記第1のタイミングおよび前記第2のタイミングに基づいて前記表示更新のローリング更新方向を判定することとをさらに備える、請求項14から19のいずれか1項に記載の方法。
JP2020545466A 2018-03-01 2019-02-15 仮想現実および拡張現実低持続性のためのアクティブlcdシャッタ Active JP7292294B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862636892P 2018-03-01 2018-03-01
US62/636,892 2018-03-01
US16/144,025 2018-09-27
US16/144,025 US10827164B2 (en) 2018-03-01 2018-09-27 Active LCD shutters for virtual and augmented reality low persistence
PCT/US2019/018168 WO2019168684A1 (en) 2018-03-01 2019-02-15 Active lcd shutters for virtual and augmented reality low persistence

Publications (2)

Publication Number Publication Date
JP2021517763A true JP2021517763A (ja) 2021-07-26
JP7292294B2 JP7292294B2 (ja) 2023-06-16

Family

ID=67767818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020545466A Active JP7292294B2 (ja) 2018-03-01 2019-02-15 仮想現実および拡張現実低持続性のためのアクティブlcdシャッタ

Country Status (7)

Country Link
US (1) US10827164B2 (ja)
EP (1) EP3586188A1 (ja)
JP (1) JP7292294B2 (ja)
KR (2) KR20230066656A (ja)
CN (1) CN111727400B (ja)
TW (1) TWI706163B (ja)
WO (1) WO2019168684A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067809B1 (en) * 2019-07-29 2021-07-20 Facebook Technologies, Llc Systems and methods for minimizing external light leakage from artificial-reality displays
US11933988B2 (en) 2020-05-07 2024-03-19 Sony Group Corporation Information processing apparatus, information processing method, head mounted display housing, and head mounted display system
US20230229231A1 (en) * 2022-01-19 2023-07-20 Prilit Optronics, Inc. Mixed reality display system
TWI804345B (zh) * 2022-04-22 2023-06-01 新鉅科技股份有限公司 光學透鏡組及頭戴式電子裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995013684A1 (fr) * 1993-11-11 1995-05-18 Hisato Sugawara Procede de projection tridimensionnelle en temps partage permettant de projeter une image en trois dimensions et signal d'affichage supplementaire
JPH0843766A (ja) * 1994-07-31 1996-02-16 Gutsudo House:Kk 立体映像システムと複合映像描写システム及びこれらの装置
JP2000146553A (ja) * 1998-11-17 2000-05-26 Univ Kyoto 視線方向検出方法及びその検出装置
JP2011142606A (ja) * 2009-12-11 2011-07-21 Mitsubishi Electric Corp 立体視映像視聴制限装置及び方法、立体視映像視聴制限通知装置及び方法、映像視聴装置及び方法、並びに映像視聴システム
JP2012205301A (ja) * 2011-03-25 2012-10-22 Samsung Electronics Co Ltd シャッタメガネ制御方法及びそれを遂行する表示システム
WO2016052061A1 (ja) * 2014-09-30 2016-04-07 コニカミノルタ株式会社 ヘッドマウントディスプレイ
WO2016081697A1 (en) * 2014-11-20 2016-05-26 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing wirtual or augmented reality environments

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678091B2 (en) * 2000-02-16 2004-01-13 Matthew Bruce Tropper System and method to synchronize one or more shutters with a sequence of images
EP1884819A1 (en) * 2006-08-02 2008-02-06 Swiss Medical Technology GmbH Eyewear with segmented look-through elements
US8434909B2 (en) * 2007-10-09 2013-05-07 Flex Lighting Ii, Llc Light emitting display with light mixing within a film
US8237780B2 (en) * 2007-10-29 2012-08-07 The Boeing Company Method and apparatus for 3D viewing
JP2011041035A (ja) * 2009-08-12 2011-02-24 Sony Corp シャッタメガネおよびシャッタ制御方法
US20110187839A1 (en) * 2010-02-01 2011-08-04 VIZIO Inc. Frame based three-dimensional encoding method
US8432437B2 (en) * 2010-08-26 2013-04-30 Sony Corporation Display synchronization with actively shuttered glasses
JP5460536B2 (ja) * 2010-09-24 2014-04-02 富士フイルム株式会社 電子内視鏡システム
US8848040B2 (en) * 2010-10-08 2014-09-30 3Dv Co., Ltd. 3D display system with active shutter plate
JP2012099964A (ja) * 2010-10-29 2012-05-24 Sharp Corp 表示制御装置、シャッターメガネ、情報記録媒体、制御プログラム、コンピュータ読み取り可能な記録媒体、表示制御装置の制御方法、表示装置及び立体映像観賞システム
US8836772B2 (en) * 2010-11-17 2014-09-16 Sony Computer Entertainment, Inc. 3D shutter glasses with frame rate detector
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012204980A (ja) * 2011-03-24 2012-10-22 Canon Inc 立体映像表示システム
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
US10025111B2 (en) * 2011-07-01 2018-07-17 Intel Corporation Backlight modulation to provide synchronization between shutter glasses and three dimensional (3D) display
CA2848748A1 (en) * 2011-09-16 2013-03-21 Alan Boate System and method for assessing retinal functionality
GB2501768A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
US20160011423A1 (en) 2014-03-10 2016-01-14 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
WO2015138266A1 (en) * 2014-03-10 2015-09-17 Ion Virtual Technology Corporation Modular and convertible virtual reality headset system
US9786255B2 (en) * 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN104049438B (zh) * 2014-07-10 2017-05-24 王金志 一种矫正透视变形照相机
EP3046397A1 (en) * 2015-01-15 2016-07-20 Nokia Technologies OY Control of a periodic light source illuminating a room shared by two users wearing shutter glasses synchronized with the light source
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
CN107431798A (zh) * 2015-05-04 2017-12-01 谷歌公司 捕获图像的直通显示
US9651786B1 (en) * 2015-05-05 2017-05-16 SA Photonics, Inc. Systems and methods for augmented reality devices with light security
WO2016191467A1 (en) * 2015-05-27 2016-12-01 Google Inc. Capture and render of panoramic virtual reality content
US9936194B2 (en) 2015-05-29 2018-04-03 Google Llc Active shutter head mounted display
JP6525740B2 (ja) * 2015-06-01 2019-06-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラム
KR102570950B1 (ko) 2015-12-28 2023-08-25 엘지디스플레이 주식회사 개인 몰입형 장치의 표시장치
KR102470377B1 (ko) 2015-12-31 2022-11-23 엘지디스플레이 주식회사 개인 몰입형 기기의 표시장치
CN105828063B (zh) * 2016-04-22 2018-01-19 上海乐相科技有限公司 一种显示方法、移动终端及虚拟现实vr眼镜
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995013684A1 (fr) * 1993-11-11 1995-05-18 Hisato Sugawara Procede de projection tridimensionnelle en temps partage permettant de projeter une image en trois dimensions et signal d'affichage supplementaire
JPH0843766A (ja) * 1994-07-31 1996-02-16 Gutsudo House:Kk 立体映像システムと複合映像描写システム及びこれらの装置
JP2000146553A (ja) * 1998-11-17 2000-05-26 Univ Kyoto 視線方向検出方法及びその検出装置
JP2011142606A (ja) * 2009-12-11 2011-07-21 Mitsubishi Electric Corp 立体視映像視聴制限装置及び方法、立体視映像視聴制限通知装置及び方法、映像視聴装置及び方法、並びに映像視聴システム
JP2012205301A (ja) * 2011-03-25 2012-10-22 Samsung Electronics Co Ltd シャッタメガネ制御方法及びそれを遂行する表示システム
WO2016052061A1 (ja) * 2014-09-30 2016-04-07 コニカミノルタ株式会社 ヘッドマウントディスプレイ
WO2016081697A1 (en) * 2014-11-20 2016-05-26 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing wirtual or augmented reality environments

Also Published As

Publication number Publication date
JP7292294B2 (ja) 2023-06-16
US20190273911A1 (en) 2019-09-05
TWI706163B (zh) 2020-10-01
KR20230066656A (ko) 2023-05-16
CN111727400B (zh) 2022-09-16
KR20200119869A (ko) 2020-10-20
TW201945788A (zh) 2019-12-01
WO2019168684A1 (en) 2019-09-06
US10827164B2 (en) 2020-11-03
CN111727400A (zh) 2020-09-29
EP3586188A1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
JP7292294B2 (ja) 仮想現実および拡張現実低持続性のためのアクティブlcdシャッタ
EP2504998B1 (en) Method and apparatus for displaying 3-dimensional image and method and apparatus for controlling shutter glasses
KR101301322B1 (ko) 입체 영상표시장치와 그 구동방법
EP2257076B1 (en) Video data signal, system and method for controlling shutter glasses
EP2442298A1 (en) Image display device, image display observing system, image display method, and program
JP2009232249A (ja) 立体映像表示装置、立体映像表示方法及び液晶ディスプレイ
JP2010210712A (ja) 画像表示装置、画像表示観察システム及び画像表示方法
US20120147158A1 (en) Video display apparatus which collaborates with three-dimensional glasses for presenting stereoscopic images and control method applied to the video display apparatus
US20110187840A1 (en) Three dimensional display and method thereof
US20150172644A1 (en) Display device and display method thereof
JP5702063B2 (ja) 表示装置、表示方法及びコンピュータプログラム
US8854440B2 (en) Three dimensional image display device and a method of driving the same
KR101310459B1 (ko) 입체적인 디스플레이 콘텐츠를 디스플레이하는 디스플레이 장치의 백라이트를 활성화시키기 위한 시스템, 방법, 및 컴퓨터 프로그램 제품
EP3596724B1 (en) Low latency tearing without user perception
US20110216172A1 (en) Cross talk reduction technique
JP2011075668A (ja) 画像表示装置およびその駆動方法
KR101724023B1 (ko) 입체영상 표시 장치 및 그 구동 방법, 입체영상 표시 장치를 위한 데이터 구동 장치 및 셔터 안경
JP2016062093A (ja) シャッター眼鏡、シャッター眼鏡の駆動方法およびこれを用いた表示装置
TW201316749A (zh) 三維影像處理方法及投影系統
KR20130014194A (ko) 입체영상 액정표시장치 및 이의 구동방법
CN102291590A (zh) 立体显示器
JP2011109605A (ja) 画像表示装置、画像表示観察システム及び画像表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230606

R150 Certificate of patent or registration of utility model

Ref document number: 7292294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150