JP2020174384A - 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理 - Google Patents

仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理 Download PDF

Info

Publication number
JP2020174384A
JP2020174384A JP2020117784A JP2020117784A JP2020174384A JP 2020174384 A JP2020174384 A JP 2020174384A JP 2020117784 A JP2020117784 A JP 2020117784A JP 2020117784 A JP2020117784 A JP 2020117784A JP 2020174384 A JP2020174384 A JP 2020174384A
Authority
JP
Japan
Prior art keywords
video rendering
image
computing device
virtual reality
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020117784A
Other languages
English (en)
Other versions
JP7095030B2 (ja
Inventor
ベイバー,クレイトン・ウッドワード,ジュニア
Woodward Bavor Clayton Jr
ウィーバー,ジョシュア
Weaver Joshua
ファーボーグ,アレクサンダー・ジェイムズ
James Faaborg Alexander
ペリ,エリーザー
Peli Eliezer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020174384A publication Critical patent/JP2020174384A/ja
Application granted granted Critical
Publication of JP7095030B2 publication Critical patent/JP7095030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type

Abstract

【課題】仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理を提供する。【解決手段】コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行し510、ビデオレンダリングの性能が閾値未満であると判断し520、当該判断に基づいて、第1の更新レートで画像の第1の部分を更新することによって、かつ、第1の更新レート未満の第2の更新レートで画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行する530。また、瞬目期間中に、左眼画像および右眼画像の一方または両方を移動させて、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を減少させる。【選択図】図5

Description

関連出願との相互参照
本願は、2015年12月22日に出願された米国出願番号第14/978,320号の継続出願であって当該米国出願に基づく優先権を主張し、当該米国出願の開示全体を引用により含むものである。
本説明は画像処理および仮想現実コンテンツのレンダリングに関し、特に、レンダリング性能に基づく仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理に関連した技術に関する。
背景
ビデオレンダリングを実行すると大量のコンピューティングリソースが消費され得る。場合によっては、コンピューティングデバイス上で実行される多数のアプリケーションがコンピューティングリソースを共有し得、これによって1つ以上のアプリケーションの性能が低下し得る。
また、現実世界では、調節デマンドと輻輳デマンドとの間に矛盾はめったにない。しかし、画面に表示されるVR(仮想現実)画像または立体画像については、調節デマンドと輻輳デマンドとの間に差異または矛盾がある場合がある。表示画面については、ユーザの眼が表示画面上に合焦しているため、調節デマンドは典型的に固定されている(たとえば、眼から画面までの距離が固定されている)。しかし、場合によっては、立体画像の左に見える画像と右に見える画像との間の視差(または距離または分離)が不定の輻輳デマンドを作り出す場合があり、場合によっては、この輻輳デマンドは調節デマンドと異なり得る。調節デマンドと輻輳デマンドとの間のこの矛盾はユーザの眼精疲労を引起こし得る。
要約
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、ある更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、ビデオレンダリングの性能が閾値未満であると判断することと、当該判断に基づいて、当該更新レートで画像の一部のみを更新することによって第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む。
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、ビデオレンダリングの性能が閾値未満であると判断することと、当該判断に基づいて、第1の更新レートで画像の第1の部分を更新することによって、かつ第1の更新レート未満の第2の更新レー
トで画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む。
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1のビデオレンダリング速度でビデオレンダリングを実行することと、ビデオレンダリングの性能が閾値未満であると判断することと、当該判断に基づいて、第1の解像度で画像の第1の部分を更新することによって、かつ第1の解像度と異なる第2の解像度で画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む。
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、符号化ビデオ信号を受信することと、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいて第1のビデオレンダリング速度でビデオレンダリングを実行して第1のセットの表示フレームをコンピューティングデバイスの画面に表示することと、第1のセットの表示フレームを表示するビデオレンダリングの性能を測定することと、測定したビデオレンダリングの性能に基づいて、第2のセットの表示フレームを表示するために用いられることになる画面の一部を少なくとも調整することに基づいて第2のビデオレンダリング速度を求めることと、符号化ビデオ信号に基づいて第2のビデオレンダリング速度でビデオレンダリングを実行して第2のセットの表示フレームを画面の調整部分上に表示することとを含む。
例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、符号化ビデオ信号を受信させ、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいて第1のビデオレンダリング速度でビデオレンダリングを実行させて第1のセットの表示フレームをコンピューティングデバイスの画面に表示させ、第1のセットの表示フレームを表示するビデオレンダリングの性能を測定させ、測定したビデオレンダリングの性能に基づいて、第2のセットの表示フレームを表示するために用いられることになる画面の一部を少なくとも調整することに基づいて第2のビデオレンダリング速度を求めさせ、符号化ビデオ信号に基づいて第2のビデオレンダリング速度でビデオレンダリングを実行させて第2のセットの表示フレームを画面の調整部分上に表示させる。
例示的な実現例によると、方法は、符号化ビデオ信号を受信することと、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行して第1のセットの表示フレームをコンピューティングデバイスの画面に表示することと、コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、仮想現実アプリケーションからコンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることとを含み得る。
例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、符号化ビデオ信号を受信させ、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行させて第1のセットの表示フレームをコンピューティングデバイスの画面に表示させ、コンピューティングデバイスのユーザの瞬目期間の開始を検
出させ、瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、仮想現実アプリケーションからコンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てさせる。
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、ある更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、画面の動きまたは移動を検出することと、当該検出に基づいて、当該更新レートで画像の一部のみを更新することによって第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む。
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、画面の動きまたは移動を検出することと、当該検出に基づいて、第1の更新レートで画像の第1の部分を更新することによって、かつ第1の更新レートと異なる第2の更新レートで画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む。
例示的な実現例によると、非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法が提供され、当該方法は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1のビデオレンダリング速度でビデオレンダリングを実行することと、画面の動きまたは移動を検出することと、当該検出に基づいて、第1の解像度で画像の第1の部分を更新することによって、かつ第1の解像度と異なる第2の解像度で画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む。
別の例示的な実現例によると、方法は、符号化ビデオ信号を受信することと、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行して仮想現実コンテンツの第1のセットの表示フレームをコンピューティングデバイスの画面に表示することと、コンピューティングデバイスの動きまたは移動を検出することと、動きまたは移動を検出したことに応答して、少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを調整することとを含み得る。
別の例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、符号化ビデオ信号を受信させ、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行させて仮想現実コンテンツの第1のセットの表示フレームをコンピューティングデバイスの画面に表示させ、コンピューティングデバイスの動きまたは移動を検出させ、動きまたは移動を検出したことに応答して、少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを調整させる。
別の例示的な実現例によると、方法は、右眼画像および左眼画像を含む立体画像をコン
ピューティングデバイスの画面に表示することを含み、左眼画像および右眼画像の各々は1つ以上のオブジェクトを表わしており、当該方法はさらに、コンピューティングデバイスのユーザから見える、見えるオブジェクトを判定することを含み、見えるオブジェクトは、左眼画像の一部である左に見えるオブジェクト、および右眼画像の一部である右に見えるオブジェクトを含み、当該方法はさらに、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を測定することと、コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、瞬目期間中に、左眼画像および右眼画像の一方または両方を移動させて、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を減少させることとを含む。
別の例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、右眼画像および左眼画像を含む立体画像をコンピューティングデバイスの画面に表示させ、左眼画像および右眼画像の各々は1つ以上のオブジェクトを表わしており、当該命令は当該装置にさらに、コンピューティングデバイスのユーザから見える、見えるオブジェクトを判定させ、見えるオブジェクトは、左眼画像の一部である左に見えるオブジェクト、および右眼画像の一部である右に見えるオブジェクトを含み、当該命令は当該装置にさらに、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を測定させ、コンピューティングデバイスのユーザの瞬目期間の開始を検出させ、瞬目期間中に、左眼画像および右眼画像の一方または両方を移動させて、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を減少させる。
1つ以上の実現例の詳細を添付の図面および以下の説明に述べる。他の特徴は当該説明および図面から、かつ請求項から明らかになるであろう。
例示的な実現例に係るシステムを示すブロック図である。 例示的な実現例に係る、フレームを表示するために用いられる表示画面130の一部が調整され得る当該表示画面の図である。 例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 例示的な実現例に係るコンピューティングデバイスのブロック図である。 例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 例示的な実現例に係る調節デマンドと輻輳デマンドとの間の例示的な矛盾を示す図である。 例示的な実現例に係る、見えるオブジェクトについての調節デマンドと輻輳デマンドとの間の矛盾が減少したかまたは除去された例を示す図である。 例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートの図である。 本明細書に記載の技術とともに用いられ得る、一般的なコンピュータデバイスおよび一般的なモバイルコンピュータデバイスの例を示す図である。
詳細な説明
図1は、例示的な実現例に係るシステム100を示すブロック図である。図1を参照して、オーディオ/ビデオソース106がオーディオ信号およびビデオ信号を生成して出力し得、当該信号はネットワーク104を介して1つ以上のコンピューティングデバイスに分散または送信され得る。例示的な実現例では、オーディオ/ビデオソース106が出力するオーディオ/ビデオ信号は、1つ以上のコンピューティングデバイスにストリームまたは配信される仮想現実(VR)コンテンツの一部として提供され得る。説明的かつ例示的な実現例によると、没入型マルチメディアまたはコンピュータシミュレートされた生活とも称され得る仮想現実(VR)は、少なくともいくつかの場合、現実世界または想像上の世界もしくは環境のさまざまな場所に環境または物理的存在をさまざまな程度に複製またはシミュレートし得る。ネットワーク104は、インターネット、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、および/またはその他のネットワークであり得る。コンピューティングデバイス105はたとえばオーディオ/ビデオ信号を受信し得、当該信号は説明的かつ例示的な実現例ではVRコンテンツの一部として提供され得る。
さまざまな例示的な実現例では、コンピューティングデバイス105はたとえばVRグラスまたはVRゴーグル110を含み得、これは、たとえば、ユーザが表示画面上で仮想現実コンテンツ(たとえばVRコンテンツからレンダリングされた表示画像)を見ることができ、たとえばスピーカ上で仮想現実コンテンツから音声を聞くことができるようにすることによって、仮想現実(VR)体験をユーザに提供し得る。説明的かつ例示的な実現例では、VRゴーグル110は、典型的にユーザの左眼によって見られ得る左眼画像、および典型的にユーザの右眼によって見られ得る右眼画像を含む立体画像を表示し得る。コンピューティングデバイス105は、たとえば、モバイルデバイス108、ラップトップ、ノートブック、PC、コンピュータ、ポータブルもしくはハンドヘルドコンピュータもしくはコンピューティングデバイス、またはその他のコンピューティングデバイスも含み得る。モバイルデバイス108は、たとえば、携帯電話、スマートフォン、PDA(携帯情報端末)、または他のモバイルコンピューティングデバイスを含み得る。例示的な実現例では、コンピューティングデバイス105は、VRコンテンツをユーザに提供または出力しつつ、並行して1つ以上の非VRアプリケーションを動作させるように構成され得るモバイルデバイス(たとえばスマートフォン)であり得る。
コンピューティングデバイス105は、たとえば、命令またはソフトウェアを実行するかまたは動作させるためのプロセッサと、命令およびデータを記憶するためのメモリと、表示フレームまたは画像もしくは他の情報を表示または出力するための表示画面130(たとえばタッチセンシティブスクリーンまたはタッチスクリーンであり得る)と、スピーカおよびマイクロフォンおよびまたは他の入出力デバイスとを含み得る。コンピューティングデバイス105のプロセッサ/CPUおよびメモリは、図1ではコンピューティングリソース132として示され得る。コンピューティングリソース132は、命令を実行するかもしくはデータを処理するCPUサイクルなどのCPUもしくはプロセッサリソースと、および/または命令もしくはデータを記憶するコンピュータメモリと、付加的なコンピューティングリソースとを含み得る。
図1を参照して、コンピューティングデバイス105はVRアプリケーション120を含み得、VRアプリケーション120は、オーディオ/ビデオソース106から信号を受信し得、表示画面130、スピーカ(図示せず)、または他の出力デバイスなどのコンピューティングデバイス105の1つ以上の出力デバイスを介してVRコンテンツをユーザに提示または提供し得る。表示画面130は、たとえば、LCD(液晶ディスプレイ)画面、タッチスクリーン、またはたとえば画像もしくは情報をユーザに表示するためのその他の画面もしくはディスプレイを含み得る。コンピューティングデバイス105は、コンピューティングデバイス105および/もしくは表示画面130の動きもしくは移動または加速を検出し得るたとえば加速度計またはその他のセンサなどの、コンピューティングデバイス105の動きまたは移動を検出する1つ以上のセンサ128も含み得る。
VRアプリケーション124は、たとえばオーディオ/ビデオコンテンツをコンピューティングデバイス105上にレンダリングするためのVRレンダリングモジュール122と、VRレンダリングモジュール122および/またはVRアプリケーション120の動作を制御するための制御モジュール124とを含み得る。VRレンダリングモジュール122はオーディオ/ビデオソース106からオーディオ/ビデオ信号を受信し得、仮想現実コンテンツのオーディオレンダリングおよび/またはビデオレンダリングを実行し得る。たとえば、VRレンダリングモジュール122はVRコンテンツのオーディオ信号を受信し得、コンピューティングデバイス105の一部として設けられるスピーカ(図示せず)にオーディオ信号を出力し得る。
VRレンダリングモジュール122はさらに、オーディオ/ビデオソース106から符号化ビデオ信号を受信し得、符号化ビデオ信号に基づいてビデオレンダリングを実行して1セットの(または複数の)表示フレームをコンピューティングデバイス105の表示画面130に表示し得る。説明的かつ例示的な実現例では、ビデオレンダリングは、コンピュータまたはコンピューティングデバイスがコード化データソースからの情報を処理し、その情報を用いて画面に表示する画像を生成して表示する処理を含み得る。たとえば、ビデオレンダリングは、受信した符号化ビデオ信号を復号することと、1つ以上の表示フレームを生成することと、各表示フレームをフレームバッファに出力して表示画面130上に出力または表示することとを含み得る。ビデオレンダリングは、たとえば受信する符号化信号のタイプに依存して、付加的な機能またはタスクを含み得る。いくつかの場合、ビデオレンダリングは計算的に集約的またはリソース集約的であり得、コンピューティングデバイス105内の大量のコンピューティングリソース132を必要とし得る。
例示的な実現例によると、ビデオレンダリングは、たとえば、命令もしくはソフトウェアを実行して、ビデオ復号化などのビデオレンダリングと関連付けられているさまざまなタスクもしくは機能を実行するプロセッサもしくはCPUによって、および/またはグラフィックスプロセッサユニット(GPU)などの専用のハードウェアによって実行され得る。たとえば、GPUが存在する場合は、いくつかのビデオレンダリングタスクがメインプロセッサ/CPUからGPUにオフロードされ得る。コンピューティングリソース132は、CPU実行時間/サイクル、メモリ、またはデータを処理するために用いられ得るコンピューティングデバイス105内のその他のリソースなどのCPUリソースを含み得る。コンピューティングデバイス105は例示的な実現例ではGPUを含み得る。
コンピューティングデバイス105は、レンダリング性能を測定するかもしくはビデオレンダリング速度を求めるなどのVRアプリケーション120の性能を測定するための、またはVRレンダリングモジュール122および/もしくはVRアプリケーション120の他の性能測定のための性能測定モジュール126も含み得る。たとえば、レンダリング性能は、時間量当たりにレンダリングされるデータ量として測定され得、たとえば、レン
ダリング速度は、毎秒レンダリングされる画素(たとえば画素レンダリング速度)、毎秒レンダリングされるビット(たとえばビットレンダリング速度)、フレームレートもしくはフレームレンダリング速度(たとえばフレーム/秒)、または他のレンダリング性能測定として測定され得る。
例示的な実現例では、制御モジュール124はVRアプリケーション120のビデオレンダリング性能を閾値と比較し得、次いで当該比較に基づいて、VRアプリケーション120またはVRレンダリングモジュール122のビデオレンダリング速度を調整し(たとえば増加または減少させ)得る。たとえば、VRアプリケーション120のビデオレンダリング速度が閾値未満である場合は、たとえば、VRアプリケーション120は閾値ビデオレンダリング速度性能を果たすまたは満たすことができなかったため、制御モジュール124は、以前のビデオレンダリング速度未満であり得る更新されたビデオレンダリング速度を求め得る。例示的な実現例では、たとえば測定したビデオレンダリング速度が閾値レンダリング速度よりも速い場合は、制御モジュール124は、以前のビデオレンダリング速度よりも速い場合がある更新または調整されたビデオレンダリング速度を求め得る。換言すれば、例示的な実現例によると、測定したビデオレンダリング速度性能が閾値ビデオレンダリング速度を超えると、VRアプリケーション120のビデオレンダリング速度が増加し得る。以下により詳細に説明するように、VRアプリケーション120は多数の異なる技術を用いてビデオレンダリング速度を調整または更新し得、当該技術は、たとえば、VRコンテンツの1つ以上の画像を表示するために用いられ得る表示画面130の一部を調整すること、および/または(表示画面のすべてもしくは一部について)更新レートを調整すること、および/または1つ以上の画像もしくは表示フレームの表示(のすべてもしくは一部)についての解像度を調整することなどである。たとえば、画像の第1の部分(たとえば中央部)を画像の第2の(たとえば周辺)部分よりも高いレートで更新することができるように、画像の異なる部分(たとえば中央部対周辺部)がたとえば異なる更新レートで更新され得る。同様に、画像の第1の(たとえば中央)部分は第1の解像度(たとえば高解像度)で更新され得るのに対して、画像の第2の(たとえば周辺)部分は第1の解像度より低い第2の解像度で更新され得る。他の技術が用いられてもよい。このように、1つ以上の例示的な技術を用いてビデオレンダリング速度が調整され得る。例示的な実現例によると、リフレッシュレートは表示画面がリフレッシュされる割合であり得、このリフレッシュレートは画面に基づいて(少なくともいくつかの場合は)固定され得る。更新レートは、新たな画像データが表示画面に書込まれる割合であり得る。フレームレートはフレームが更新される割合であり得、これはリフレッシュレートと同一であることが多い。また、1つの例示的な実現例では、更新レートとフレームレートとは同一のレートであり得る。
上述のように、コンピューティングデバイス105はたとえば1つ以上のコンピューティングリソース132を含み得、コンピューティングリソース132は、命令を実行するかもしくはデータを処理するCPUサイクルなどのCPUもしくはプロセッサリソース、および/または命令もしくはデータを記憶するコンピュータメモリを含み得る。例示的な実現例によると、より多くの利用可能なコンピューティングリソース132をVRアプリケーション120に割当てると、VRアプリケーション120がより速いビデオレンダリング速度でビデオレンダリングを実行することが可能になり得る。他方では、十分なコンピューティングリソース132がVRアプリケーション120に割当てられない場合は、VRアプリケーション120の性能(たとえば、VRアプリケーション120が達成するビデオレンダリング速度を含む)が、そのような制限されたコンピューティングリソース132に基づいて阻害または制限されることが考えられる。この結果、VRアプリケーション120に割当てられるコンピューティングリソース132が不十分である場合は、VRアプリケーション120のビデオレンダリング性能は、少なくともいくつかの場合、たとえば目標または閾値ビデオレンダリング速度を達成できない場合がある。
VRアプリケーション120に加えて、コンピューティングデバイス105はさまざまな非VRアプリケーション134も含み得る。説明的かつ例示的な実現例では、非VRアプリケーション134は、VRコンテンツをコンピューティングデバイス105のユーザに提示するためのレンダリングまたは他の信号の処理に関与しない任意のアプリケーションを含み得る。たとえば、非VRアプリケーション134は、たとえば、電子メールを送受信する電子メールプログラム、ソーシャルメディアアプリケーション、気象情報を受信する天気アプリケーション、他のユーザとメッセージを送受信するテキスティングもしくはメッセージングアプリケーション、歌もしくは音楽を再生する音楽プレーヤもしくは音楽アプリケーション、ウェブページをダウンロードするウェブブラウザ、またはコンピューティングデバイス105上で実行もしくは提供され得る他のアプリケーションを含み得る。いくつかの場合、コンピューティングリソース132は、コンピューティングデバイス105上で並列に実行され得る多数のアプリケーション同士の間で割当てられ得るかまたは共有され得、たとえば、コンピューティングリソースは、たとえばVRアプリケーション120および1つ以上の非VRアプリケーション134によって共有され得る。
図2は、例示的な実現例に係る、フレームまたは画像を表示するために用いられる表示画面130の一部が調整され得る当該表示画面の図である。図2を参照して、画面130の全表示境界210は、画像を表示するための画面130の全領域/部分の外側境界を規定し得る。画面130の一部表示境界212は、全表示境界210よりも小さい画面130の表示領域の境界を特定する。したがって、全表示境界210はこの表示画面130のすべての画素(画像素子)を含む外側境界を提供し得るのに対して、一部表示境界212は表示画面130の画素のサブセット(またはすべての画素よりも少ない画素)を含む画面の一部についての外側境界を規定し得る。たとえば、画像の中央部224は一部表示境界212内に設けられ得るのに対して、画像の周辺部222は全表示境界210と一部表示境界212との間に設けられ得る。ゆえに、たとえば、画面130の(全表示境界210内の)全領域/部分は、(一部表示境界212内の)中央部224と、境界210と212との間に位置する周辺部222とを含み得る。
例示的な実現例によると、VRアプリケーション120の制御モジュール124は、VRレンダリングモジュール122によって実行されるビデオレンダリングの性能を測定し得る。たとえば、制御モジュール124は、たとえば1セットのフレームを表示するためにVRレンダリングモジュール122によって達成されるビデオレンダリング速度を測定することによって、ビデオレンダリング性能を測定し得る。制御モジュール124はさらに、たとえば、ビデオレンダリングの性能(たとえば測定した第1のビデオレンダリング速度)を閾値と比較し得る。たとえば、制御モジュール124は、測定した第1のビデオレンダリング速度と閾値との比較に基づいて、1セットの表示フレームをVRコンテンツの一部として表示するために用いられることになる第2のまたは調整されたビデオレンダリング速度を求め得る。たとえば、第2のまたは調整されたビデオレンダリング速度は、たとえばフレームを表示するために表示画面130の一部を調整または変更する(または調整部分を選択する)ことに基づいて求められ得る。この説明的な例では1つの閾値しか記載されていないが、多数の閾値を用いてビデオレンダリング速度を比較し、次いで、たとえば当該比較に基づいてビデオレンダリング速度を調整するために、または更新されたもしくは第2のビデオレンダリング速度を選択するために、1つ以上の表示フレームを表示するために用いるべき表示画面の選択部分または調整部分を求めてもよい。
たとえば、例示的な実現例によると、ビデオレンダリングの性能(または測定したビデオレンダリング速度)が閾値未満である場合は、制御モジュール124は、初期のまたは第1のレンダリング速度未満の調整されたまたは第2のビデオレンダリング速度を求め得る。たとえば、1つ以上の表示フレームを表示するために用いられる表示画面130の一
部を調整するかまたは調整部分を選択することによって、より低い(または減少した)ビデオレンダリング速度が達成され得る。図2を参照して、例示的な実現例によると、第1のビデオレンダリング速度でVRコンテンツの画像を表示するために、初めは全表示境界210(図2)内の表示画面130が用いられ得る。この説明的な例では、測定した第1のビデオレンダリング速度が閾値未満であるという判断に応答して、制御モジュール124は、(たとえば)一部表示境界212内の中央部224などの、表示画面130の全部分よりも小さい部分を含む画面130の調整部分を選択して(または当該部分を調整して)、第1のビデオレンダリング速度未満の第2のビデオレンダリング速度に従って1つ以上の表示フレームを表示し得る。このように、たとえば、VRアプリケーション120のビデオレンダリング速度は、フレームを表示するために用いられる画面130の一部を少なくとも減少させることによって減少(たとえば、全表示境界210内の画面130の一部から、一部表示境界212内の画面130のより小さい部分に減少)し得、これによって、たとえばレンダリングすべき1フレーム当たりのデータ量(または1フレーム当たりの画素)が減少し得、これによって、ビデオレンダリングモジュール122によって目標フレームレートを達成することができ得る。いくつかの例示的な実現例では、(たとえば、フレームレートを減少させるおよび/または画像もしくは表示フレーム解像度を減少させることによって)ビデオレンダリング速度を減少させる他のステップが取られてもよい。これによって、たとえば、ビデオレンダリング速度が減少し得、たとえば、これは、VRアプリケーション120またはVRレンダリングモジュール122が閾値ビデオレンダリング速度を達成できない場合に有用または有利であり得る。上述のように、1つ以上の非VRアプリケーション134がかなりのコンピューティングリソース132を占めているまたは使用している場合は、これはVRアプリケーション120またはVRレンダリングモジュール122の性能低下に繋がり得る。そのような場合、たとえば、1つの解決策は、たとえば、1表示フレーム当たりにレンダリングされる画素量を減少させることによって、1表示フレーム当たりにレンダリングされるデータ量を減少させてビデオレンダリング速度を減少させることであり得、たとえばこれによって目標フレームレートを達成することができ得る。これは、たとえば、1つ以上の表示フレームを表示するために用いられる画面132の調整部分(例として、一部表示境界212内の中央部224に対応し得る)を選択することによって達成され得る。
たとえば、目標または閾値フレームレート(フレーム/秒のフレームレンダリング速度)がたとえば不十分なリソースに基づいてビデオレンダリングモジュール122によって達成できない場合は、表示画面130の調整部分を調整または選択する(たとえば、表示画面のより小さい部分を選択することによって、表示する1表示フレーム当たりの画素量を減少させる)ことによって、各(または1つ以上の)表示フレームのビデオレンダリング負荷(1フレーム当たりの画素)が減少し得、これによって全体的なビデオレンダリング速度が減少し得る。
別の例示的な実現例によると、たとえば、ビデオレンダリングの性能(または測定したビデオレンダリング速度)が閾値よりも高い場合は、制御モジュール124は、初期のまたは第1のレンダリング速度よりも速い調整されたまたは第2のビデオレンダリング速度を求め得る。例示的な実現例では、より速い(または増加した)ビデオレンダリング速度は、たとえば、同一のまたは同様のフレームレートを維持しつつ、1つ以上の表示フレームを表示するために用いられる表示画面130の一部を調整するかまたは調整部分を選択することによって達成され得る。図2を参照して、例示的な実現例によると、第1のビデオレンダリング速度でVRコンテンツの画像を表示するために、初めは一部表示境界212(図2)内の表示画面130の全部分が用いられ得る。この説明的な例では、測定した第1のビデオレンダリング速度が閾値よりも高いという判断に応答して、制御モジュール124は画面130の調整部分を選択し(または当該部分を調整し、たとえば増加させ)得、当該部分は、一部表示境界212内の一部よりも大きい領域または部分またはより多
くの画素を含み得、たとえば、これは(たとえば)全表示境界210内の画面の全部分に対応し得、第1のビデオレンダリング速度よりも速い第2のビデオレンダリング速度に従って1つ以上の表示フレームが表示され得る。ゆえに、たとえば、画像を表示するために用いられる画面130の一部は、全表示境界210内の画面の全部分または部分全体を用いて画像が表示されるようになり得るように、周辺部222(境界212と210との間に設けられる)を中央部224に追加することによって増加し得る。したがって、この例では、より高いまたは増加したレンダリング速度は、例示的な実現例によると、1表示フレーム当たりにレンダリングされる画素の量または数を増加させることによって、たとえば、画面130の選択部分を一部表示境界212内の画面130の中央部224から全表示境界210内の画面の全部分に増加させることによってなどで、フレームを表示するために用いられる画面130の部分を増加させることによって達成または遂行され得る(たとえば、画面の当該部分または画素数の増加は、一部表示境界212と全表示境界210との間に周辺部222を追加することによるものである)。たとえば、1つ以上の表示フレームの表示用のフレームレートを増加させることによって、および/または画面130に表示される画像の解像度もしくは表示フレームを増加させることによってなどで、ビデオレンダリング速度を増加させる他のステップが取られてもよい。
また、ビデオレンダリング速度を増加させることは典型的に、ビデオレンダリング速度のそのような増加に対処するために利用可能なリソース(たとえば、計算リソース、メモリリソース等)が十分ある場合に実行され得る。別の例示的な実現例によると、第1のビデオレンダリング速度が閾値未満であるという判断に応答して、コンピューティングリソース132が1つ以上の非VRアプリケーション134からVRアプリケーション120に割当てられ得、たとえばこれによって、VRアプリケーション120またはVRレンダリングモジュール122によって達成される性能またはビデオレンダリング速度を増加または向上させることができ得る。同様に、VRアプリケーション120のビデオレンダリング速度またはビデオレンダリング性能が閾値よりも高い場合は、いくつかの場合、たとえば、非VRアプリケーション134がいくらかのデータを処理できるように、少なくともある期間にわたってコンピューティングリソース132がVRアプリケーション120から1つ以上の非VRアプリケーション134に割当てられ得、その後、そのようなリソースはVRアプリケーション120に再割当てされる。
いくつかの場合、ビデオレンダリング性能が不十分であるか、または最小(もしくは閾値)ビデオレンダリング速度を達成しない場合は、VRコンテンツを見ているまたは体験しているユーザはかなりの待ち時間または遅れを体験し得る。たとえば、VRアプリケーション120またはVRレンダリングモジュール122の性能が悪い(たとえば性能の閾値を満たしていない)場合、ユーザは、ユーザの動きまたは行動に応答して表示されるVRコンテンツの変化または更新にかなりの遅れまたは待ち時間を体験し得る。いくつかの場合、VRアプリケーションの、たとえばVRコンテンツのレンダリングのかなりの待ち時間は、ユーザの酔いまたは吐き気の原因となり得る。したがって、可能であれば、ユーザが体験する待ち時間を減少させることが望ましい場合がある。いくつかの場合、体験するVR待ち時間は、(たとえば)VRアプリケーション120またはVRレンダリングモジュール122のより低い(または不十分な)実行に少なくとも部分的に起因し得、これは、たとえば、非VRアプリケーション134によるコンピューティングリソース132の使用または要求に基づいて、VRアプリケーション120に利用可能であるかまたは割当てられるコンピューティングリソース132が不十分であることに起因し得る。したがって、例示的な実現例によると、ユーザが体験するようなVRコンテンツの待ち時間または遅れまたは遅延は、1つ以上の画像を表示するための全表示画面未満(たとえば全表示境界210内の領域未満)であり得る表示画面130の調整されたより小さい表示部分(たとえば一部表示境界212内の中央部224)を選択することによってなどで、レンダリングデータの量が減少すると減少し得る。このように、レンダリング性能の向上(たと
えば、およびVRコンテンツの出力の待ち時間の減少)は、各表示フレームのビデオレンダリング負荷/負担を減少させることによって、たとえば、全表示境界210内の領域未満(より少ない画素)であり得る表示画面130の調整部分(一部表示境界212内の中央部224など)を調整または選択することによって達成され得る。さらに、VRコンテンツの出力の待ち時間の減少および/またはVRアプリケーション120/VRレンダリングモジュール122の性能の向上は、少なくともいくつかの場合、少なくともある期間にわたって、コンピューティングリソース132を1つ以上の非VRアプリケーション134からVRアプリケーション120に割当てることによって達成され得る。
図3は、例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作310は、符号化ビデオ信号を受信することを含み得る。動作320は、コンピューティングデバイス上に提供される仮想現実(VR)アプリケーションによって、符号化ビデオ信号に基づいて第1のビデオレンダリング速度でビデオレンダリングを実行して第1のセットの表示フレームをコンピューティングデバイスの画面に表示することを含み得る。動作330は、第1のセットの表示フレームを表示するビデオレンダリングの性能を測定することを含み得る。動作340は、測定したビデオレンダリングの性能に基づいて、第2のセットの表示フレームを表示するために用いられることになる画面の一部を少なくとも調整することに基づいて第2のビデオレンダリング速度を求めることを含み得る。そして、動作350は、符号化ビデオ信号に基づいて第2のビデオレンダリング速度でビデオレンダリングを実行して第2のセットの表示フレームを画面の調整部分上に表示することを含み得る。
図3に示す方法の例示的な実現例によると、求めることは、ビデオレンダリングの性能を第1の閾値と比較することと、ビデオレンダリングの性能が第1の閾値未満である場合は、第1のレンダリング速度未満の第2のビデオレンダリング速度を求めることとを含み得、画面の一部を調整することは、第2のセットの表示フレームを表示するために用いられることになる画面の一部を減少させることを含む。
図3に示す方法の例示的な実現例によると、求めることは、ビデオレンダリングの性能を第2の閾値と比較することと、ビデオレンダリングの性能が第2の閾値よりも高い場合は、第1のレンダリング速度よりも速い第2のビデオレンダリング速度を求めることとをさらに含み得、画面の一部を調整することは、第2のセットの表示フレームを表示するために用いられることになる画面の一部を増加させることを含む。
図3に示す方法の例示的な実現例によると、測定することは、データの量または表示フレームの数を表示するために必要な時間量またはプロセッササイクルの数を求めることを含み得る。
図3に示す方法の例示的な実現例によると、測定したビデオレンダリングの性能に基づいて、第2のセットの表示フレームを表示するために用いられることになる画面の一部を少なくとも調整することに基づいて第2のビデオレンダリング速度を求めることは、測定したビデオレンダリングの性能に基づいて、第2のセットの表示フレームの各表示フレームを表示するために用いられることになる画面内の画素の数を少なくとも調整することに基づいて第2のビデオレンダリング速度を求めることを含み得る。
図3に示す方法の例示的な実現例によると、第2のビデオレンダリング速度を求めることは、少なくとも第2のセットの表示フレームを画面に表示するためのフレームレートを調整することをさらに含み得る。
図3に示す方法の例示的な実現例によると、第2のビデオレンダリング速度を求めるこ
とは、少なくとも第2のセットの表示フレームを画面に表示するための表示フレームまたは画像解像度を調整することをさらに含み得る。
図3に示す方法の例示的な実現例によると、当該方法は、ビデオレンダリングの性能を第1の閾値と比較することと、ビデオレンダリングの性能が第1の閾値未満であると判断することと、コンピューティングデバイスのコンピューティングリソースを、コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションから仮想現実アプリケーションに割当てることとをさらに含み得る。
図3に示す方法の例示的な実現例によると、当該方法は、コンピューティングデバイスのユーザの瞬目期間を推定することと、瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、仮想現実アプリケーションからコンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割り当てることとをさらに含み得る。図3に示す方法の例示的な実現例によると、推定することは、コンピューティングデバイスのユーザの瞬目期間の少なくとも開始を予測すること、およびコンピューティングデバイスのユーザの瞬目または瞬目期間の開始を検出することの少なくとも一方を含み得る。
図3に示す方法の例示的な実現例によると、当該方法は、VR表示装置の動きまたは移動を検出することと、検出後の少なくともある期間にわたって、1つ以上の表示フレームを画面に表示するための視野を調整する(たとえば増加または減少させる)こととをさらに含み得る。
図3に示す方法の例示的な実現例によると、当該方法は、コンピューティングデバイスの動きまたは移動を検出することと、検出後の少なくともある期間にわたって、1つ以上の表示フレームを画面に表示するためのフレームレートを調整する(たとえば増加または減少させる)こととをさらに含み得る。
別の例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、符号化ビデオ信号を受信させ、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいて第1のビデオレンダリング速度でビデオレンダリングを実行させて第1のセットの表示フレームをコンピューティングデバイスの画面に表示させ、第1のセットの表示フレームを表示するビデオレンダリングの性能を測定させ、測定したビデオレンダリングの性能に基づいて、第2のセットの表示フレームを表示するために用いられることになる画面の一部を少なくとも調整することに基づいて第2のビデオレンダリング速度を求めさせ、符号化ビデオ信号に基づいて第2のビデオレンダリング速度でビデオレンダリングを実行させて第2のセットの表示フレームを画面の調整部分上に表示させる。
例示的な実現例によると、リフレッシュレート(またはフレームレート)は、画面130が画面データをリフレッシュする割合を指し得る。画像(または新たな画像)が画面130に更新/表示される割合である更新レートも存在する。典型的に、リフレッシュレートは画像更新レートと同一であり得る。しかし、さまざまな例示的な実現例によると、コンピューティングデバイス105上のビデオレンダリング速度(およびレンダリング負荷)を減少させるように更新レートが調整され(たとえば減少し)得る状況があり得る。そのような場合は、画像の更新レートは画面130のリフレッシュレート未満であり得る。
例示的な実現例によると、ビデオレンダリング速度/負荷が減少し得るいくつかの例示的な状況があり得る。たとえば、ビデオレンダリング性能が閾値未満である場合は、たと
えば、少なくともいくつかの場合、他のタスクに使用できるようにリソースを解放するように、またはビデオレンダリングに現在利用可能なリソースにさらに好適なビデオレンダリング速度を選択するように、ビデオレンダリング速度/負荷を調整する(たとえば増加または減少させる)1つ以上の技術が用いられ得る。また、画面130の動きが検出された場合は、ビデオレンダリング速度を調整する(たとえば増加または減少させる)1つ以上の技術が用いられ得る。
ビデオレンダリング速度を減少させるためのいくつかの付加的な例示的な技術を簡潔に説明する。まず、図2に示すように、表示画面130は、画像の中央部224および画像の周辺部222を含む画像を表示し得る。中央部224は、たとえば、少なくとも画像の中央にまたは中央の近くに(または中央に近接して)設けられ得、一部表示境界212内に設けられ得る。画像の中央部224は典型的にユーザの中心窩の周りに位置する可能性が高くなり得る。画像の周辺部222はユーザの中心窩の近くに位置する可能性が低くなり得る。中心窩は、視力が最も高い眼の網膜の小さい窪みである。視野の中心は、網膜錐体が特に集中するこの領域内に合焦する。ゆえに、さまざまな例示的な実現例によると、たとえば、画像の周辺部222について、中心窩の外側の低視力を利用し得るビデオレンダリング速度を減少させるいくつかの技術が用いられ得る。
第1の例示的な実現例によると、ビデオレンダリング速度/負荷は、画像の一部のみを更新することによって減少し得る。たとえば、ビデオレンダリング速度を減少させるために、画像の中央部224のみが更新されるのに対して、周辺部222は(たとえば、少なくともある期間にわたって)更新されない。ゆえに、更新が必要な画素が少なくなるので、これによってビデオレンダリング負荷/速度が減少し得る。
第2の例示的な実現例によると、ビデオレンダリング速度は、第1の更新レートで画像の第1の部分を更新することによって、かつ第1の更新レート未満の第2の更新レートで画像の第2の部分を更新することによって減少し得る。たとえば、画像の中央部224(たとえば、ユーザの中心窩の周りに存在し得る少なくとも一部)は第1の更新レート(たとえば、少なくともいくつかの例ではリフレッシュレートと同一であり得る)で更新され得るのに対して、画像の周辺部222は第1の更新レート未満の第2の更新レートで更新され得る。ゆえに、この例では、画像の周辺部222は、たとえば、画像の中央部224よりも低いレートで更新され得(またはある期間にわたって全く更新されず)、これによって全体的なビデオレンダリング速度/負荷が減少し得る。この例では、減少した更新レートを周辺部222に用いてもユーザにとって目立たない場合がある。なぜなら、少なくともいくつかの場合、たとえば、ユーザがたとえば中央部224内の一点を眺めているかまたは見ていると仮定すれば、周辺部222(または、たとえばその少なくとも一部)はユーザの中心窩の外側のさらに遠くに存在し得るからである。
第3の例示的な実現例によると、ビデオレンダリング速度は、画像の異なる部分に異なる解像度を用いることによって減少し得る。たとえば、減少したビデオレンダリング速度は、第1の解像度で画像の第1の部分(たとえば中央部224)を更新し、第1の解像度よりも低い第2の解像度で画像の第2の部分(たとえば周辺部222)を更新することによって得られ得る。本明細書に記載のこれらのさまざまな技術および他の技術は、さまざまな組合せに組合せることもできる。ゆえに、ビデオについての画像の一部(たとえば周辺部222)を更新するのに低解像度を用いると、ビデオレンダリング速度が減少することになる。
図4は、例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作410は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、ある更新レートでコンピューティングデバイスの画面上の画像全体を
更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することを含む。動作420は、ビデオレンダリングの性能が閾値未満であると判断することを含む。そして、動作430は、当該判断に基づいて、当該更新レートで画像の一部のみを更新することによって第2のビデオレンダリング速度でビデオレンダリングを実行することを含む。
図4の方法の例示的な実現例によると、第2のビデオレンダリング速度でビデオレンダリングを実行することは、当該判断に基づいて、当該更新レートで画像の中央部のみを更新し、画像の周辺部は更新しないことによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み得る。
図5は、別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作510は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することを含む。動作520は、ビデオレンダリングの性能が閾値未満であると判断することを含む。動作530は、当該判断に基づいて、第1の更新レートで画像の第1の部分を更新することによって、かつ第1の更新レート未満の第2の更新レートで画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む。
図5の方法の例示的な実現例によると、第2のビデオレンダリング速度でビデオレンダリングを実行することは、当該判断に基づいて、第1の更新レートで画像の中央部を更新することによって、かつ第1の更新レート未満の第2の更新レートで画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み得る。
図5の方法の例示的な実現例によると、第2のビデオレンダリング速度でビデオレンダリングを実行することは、当該判断に基づいて、第1の更新レートおよび第1の画像解像度で画像の中央部を更新することによって、かつ第2の更新レートおよび第1の画像解像度未満の第2の画像解像度で画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み得、第2の更新レートは第1の更新レート未満である。
図6は、別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作610は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1のビデオレンダリング速度でビデオレンダリングを実行することを含む。動作620は、ビデオレンダリングの性能が閾値未満であると判断することを含む。動作630は、当該判断に基づいて、第1の解像度で画像の第1の部分を更新することによって、かつ第1の解像度未満の第2の解像度で画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む。
図6の方法の例示的な実現例によると、第1の部分は画像の中央部を含み得、第2の部分は画像の周辺部を含み得る。
図7は、例示的な実現例に係るコンピューティングデバイス105のブロック図である。例示的な実現例によると、コンピューティングデバイス105(図1、図7)はVRアプリケーション120および1つ以上の非VRアプリケーション134の両方を含み得、これらはコンピューティングリソース132を共有し得る。いくつかの場合、VRアプリ
ケーション120の動作と関連付けられているビデオレンダリングおよび/または他のタスクの要求が厳しい性質のために、例示的な実現例では、VRアプリケーション120が実行されているおよび/またはビデオレンダリングを行なっている間にコンピュータリソース132のすべてまたは少なくとも大部分をVRアプリケーション120に割当てることが望ましい場合がある。しかし、コンピューティングリソース132のすべてまたは大部分をVRアプリケーション120に割当てることによって、VRアプリケーション120が実行されている期間中も1つ以上の非VRアプリケーション134の動作が完全にまたは少なくとも部分的に阻害され得る。なぜなら、この期間中にそのような非VRアプリケーション134に十分なコンピューティングリソース132が利用可能でない場合があるためである。
さらに、例示的な実現例によると、非VRアプリケーション134がアプリケーションタスクを実行する/データを処理することができるように、コンピューティングリソース132の少なくとも一部がVRアプリケーション120から1つ以上の非VRアプリケーション134に割当てられ得る。しかし、上述のように、リソースをVRアプリケーション120から非VRアプリケーション134に割当てるとVRアプリケーション120の性能が劣化し得、これはたとえば、VRレンダリングモジュール122のビデオレンダリング性能の低下を含み得、これによって都合の悪いことにかなりの待ち時間が生じ得るかもしくは引起こされ得、またはそうでなければユーザのVR体験が劣化し得る。
したがって、例示的な実現例によると、コンピューティングデバイス105は、たとえば、ユーザが瞬きをしているかまたは眼をつぶっている瞬目期間の開始を検出し得る。例示的な実現例によると、ユーザの瞬目期間の少なくとも一部の間にこれらの非VRアプリケーション134が動作するかまたはデータを処理することができるように、瞬目期間の間、リソースがVRアプリケーション120から1つ以上の非VRアプリケーション134に割当てられて得る。例示的な実現例によると、この瞬目期間中にコンピューティングリソース132をVRアプリケーション120から非VRアプリケーション134に割当てるとVRアプリケーション120の性能が低下し得、および/またはVRコンテンツのVRレンダリングの待ち時間が増加し得るが、ユーザは瞬目期間中は眼を閉じているので、この待ち時間の増加(またはレンダリング性能の低下)はコンピューティングデバイス105のユーザによって典型的に検出不可能である。したがって、たとえば、瞬目期間を用いて、リソースが非VRアプリケーションタスクに割当てられ得、および/または非VRアプリケーション134が動作するかもしくはデータを処理することが可能になり得る。
たとえば、リソース割当てモジュール716は、ユーザの瞬目期間の少なくとも一部の間にコンピューティングリソース132をVRアプリケーション120から1つ以上の非VRアプリケーション134に割当て得る。同様に、VRアプリケーション120および/またはVRレンダリングモジュール122は、たとえば、ユーザの瞬目期間の少なくとも一部の間に、VRコンテンツについてのビデオレンダリング速度を減少させ得、および/またはさらにはビデオレンダリングを停止し得るかもしくはビデオレンダリングを休止し得、これによって、たとえば、瞬目期間中にコンピューティングリソース132を非VRアプリケーション134に割当てることが可能になり得、および/または非VRアプリケーション134がデータを処理することが可能になり得る。
図7に示すように、コンピューティングデバイス105は1つ以上のカメラ718または他のセンサを含み得、これらを用いて、たとえば、瞬目期間(たとえばユーザが眼を一時的に閉じること)の開始を判定または検出するために、ユーザの眼から(またはユーザの眼と関連付けられている)画像、写真、ビデオまたは他の信号が捕捉または受信され得る。例示的な実現例によると、カメラ718または他のセンサによって捕捉または受信さ
れる、ユーザの眼の画像もしくは写真、または他の信号は、瞬目推定モジュール710に転送され得る。瞬目推定モジュール710は、ユーザが瞬きをした(たとえば両眼を一時的に閉じた)ときを検出または推定し得る画像処理ロジックまたはソフトウェアを含み得る。瞬目推定モジュール710は、たとえば、カメラ718またはセンサから受信した画像または写真に基づいてユーザの眼における色の変化を検出得る画像処理ロジックまたはソフトウェアに基づいて、瞬目期間(またはユーザが眼を閉じること/つぶること)の開始を検出するための瞬目検出モジュール714を含み得る。
瞬目推定モジュール710は、ユーザが瞬目し得るときを予測するための瞬目予測モジュール712も含み得、および/またはユーザの瞬目期間を予測もしくは推定し得る。たとえば、カメラ718または他のセンサから受信したユーザの眼の画像またはビデオに基づいて、瞬目推定モジュール712は、たとえば、ユーザについての平均瞬目率(たとえば、23瞬目/分などの、1分当たりの瞬目回数)、平均瞬目期間(たとえば、200msなどの、瞬目中に眼が閉じている持続期間または期間)、瞬目同士の間の平均時間(たとえば7秒)、および/または他の統計などの、ユーザの瞬目(または一時的に眼をつぶること/閉じること)に関連したさまざまな統計を求め得る。例示的な実現例によると、瞬目予測モジュール712は、たとえばユーザについてのさまざまな瞬目統計に基づいて、ユーザが次に瞬目する可能性が高いときを予測もしくは推定し得、またはユーザが瞬目する可能性が高い次の時点を求め得る。たとえば、瞬目同士の間の期間または間隔が増加してユーザについての瞬目同士の間の平均時間に近づく(および/またはさらには超える)と、この説明的な例では、ユーザが瞬目する確率は典型的に増加し得る。
したがって、例示的な実現例によると、瞬目検出モジュール714は、たとえば眼を閉じること/つぶることを検出することによって瞬目期間の開始を検出し得る。瞬目予測モジュール712は、瞬目期間の長さを予測し得る。リソース割当てモジュール716は、瞬目期間の開始の通知または指示に応答して、たとえば瞬目期間の少なくとも一部の間にコンピューティングリソース132の少なくとも一部をVRアプリケーション120から1つ以上の非VRアプリケーション134に割当て得る。さらに、またはあるいは、VRアプリケーション120および/またはVRレンダリングモジュール122は、瞬目期間の少なくとも一部の間にビデオレンダリングの速度を減少させ得、およびまたはさらにはビデオレンダリングを休止もしくは停止し得、非VRアプリケーション134の1つ以上は、瞬目期間の少なくとも一部の間に実行されるかまたは動作してデータを処理し得る。
説明的な例によると、VRアプリケーション120およびVRレンダリングモジュール122は、初期期間中はすべてのまたはかなりの量/部分のコンピューティングリソース132に基づいて動作してビデオレンダリングを実行し得るのに対して、1つ以上の非VRアプリケーション134はこの初期期間中は動作せず、および/またはコンピューティングリソース132をほとんど受信しない。たとえば、電子メールアプリケーションおよび/またはテキスティングアプリケーション(または他の非VRアプリケーション)の動作は、たとえば、より多くのコンピューティングリソース132をVRアプリケーション120に割当てることができるように、この初期期間中は中断(一時的に停止)または減速され得、これによって、この初期期間中にVRアプリケーション120のビデオレンダリング性能が増加し得、それによって、この初期期間中にユーザが体験するVRアプリケーション120の待ち時間が減少し得る。したがって、説明的な例によると、この初期期間中、電子メールアプリケーションおよび/またはテキスティングアプリケーションに割当てられているコンピューティングリソースがない(または少ない)ことに基づいて、たとえば、電子メールアプリケーションは電子メールを送受信せず、テキスティングアプリケーションはテキストメッセージを送受信しない(または少なくともこの初期期間中に送受信される電子メールが減少し、送受信されるテキストメッセージが減少する)。ゆえに、たとえば、この初期期間中、たとえば、より多くのリソースをビデオレンダリングのた
めにおよび/またはVRアプリケーション120および/またはVR処理(ビデオレンダリングなど)に割当てることができるように、1つ以上の非VRアプリケーション(電子メール、メッセージング/テキスティングアプリケーションなど)の動作は中断され(たとえば一時的に停止/中断され)得るか、または減少し得る。
瞬目検出モジュール714がコンピューティングデバイス105のユーザの瞬目期間の開始を検出すると、リソース割当てモジュール716は、たとえば瞬目期間の少なくとも一部にわたって、コンピューティングリソース132の少なくとも一部をVRアプリケーション120から、電子メールアプリケーションおよびテキスティングアプリケーション、ウェブブラウザなどの1つ以上の非VRアプリケーションに割当て得る。たとえば、ユーザは、約50msから400msの、たとえば平均で約200〜300msであり得る持続期間にわたって瞬目し(たとえば眼を一時的に閉じ/つぶり)得る。これらの数字は説明的な例に過ぎず、瞬目持続期間は異なる期間であってもよい。ゆえに、300ms(説明的な例として)の瞬目期間中、1つ以上の非VRアプリケーションが処理を再開し得、たとえば、電子メールアプリケーションは処理されるのを待機していた可能性がある多数の電子メールを送信および/または受信し得、テキスティング/メッセージングアプリケーションは処理されるのを待機していた可能性がある多数のテキストまたはメッセージを送信および/または受信し得る。さらに、VRアプリケーション120は、(たとえば、以前はVR処理/ビデオレンダリングに使用されていたリソースを、このような瞬目期間中に非VRアプリケーションに割当てるために)瞬目期間の少なくとも一部の間、ビデオレンダリング速度を減少させ得、およびまたはさらには動作もしくはVRレンダリングを休止もしくは一時的に停止(もしくは中断)し得る。例示的な実現例によると、ユーザは瞬目期間中は眼を閉じているので、瞬目期間中のVRアプリケーション120の待ち時間の増加または性能の劣化(またはさらには不実行)はユーザには検出され得ない/検出不可能であり得るか、またはユーザには見えない場合がある。瞬目期間の終わりにまたは終わり間近に、リソース割当てモジュール716は、たとえば、VRアプリケーション120が増量したコンピューティングリソース132を受信することができ、VRアプリケーション120/VRレンダリングモジュール122がそのビデオレンダリング速度を増加させるおよび/または許容可能なビデオレンダリング速度でビデオレンダリングの実行を再開することができるように、たとえば、コンピューティングリソース132の一部を電子メールアプリケーションおよびテキスティングアプリケーション(非VRアプリケーション134)からVRアプリケーション120に再割当てし得る。なぜなら、ユーザは既に眼を開けており、いずれの待ち時間またはVRアプリケーション120による性能の劣化もユーザによって検出可能であり得るからである。
図8は、例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作810は、符号化ビデオ信号を受信することを含み得る。動作820は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行して第1のセットの表示フレームをコンピューティングデバイスの画面に表示することを含み得る。動作830は、コンピューティングデバイスのユーザの瞬目期間の開始を検出することを含み得る。そして、動作840は、瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、仮想現実アプリケーションからコンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることを含み得る。
図8に示す方法の例示的な実現例によると、推定することは、コンピューティングデバイスのユーザの瞬目期間の少なくとも開始を検出すること、およびコンピューティングデバイスのユーザの瞬目期間を推定することの少なくとも一方を含み得る。
図8に示す方法の例示的な実現例によると、当該方法は、仮想現実アプリケーションに
よって、瞬目期間の少なくとも一部にわたってビデオレンダリングを停止することと、コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションによって、瞬目期間の少なくとも一部の間に1つ以上の非ビデオレンダリングタスクを実行することとをさらに含み得る。
図8に示す方法の例示的な実現例によると、当該方法は、仮想現実アプリケーションによって、瞬目期間の少なくとも一部にわたってビデオレンダリング速度を減少させることと、瞬目期間の少なくとも一部にわたって、少なくともいくらかのコンピューティングリソースを、仮想現実アプリケーションからコンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることと、コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションによって、瞬目期間の少なくとも一部の間に1つ以上の非ビデオレンダリングタスクを実行することとをさらに含み得る。
図8に示す方法の例示的な実現例によると、当該方法は、瞬目期間の終わりにまたは終わり間近に、少なくともいくらかのコンピューティングリソースを、コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションから仮想現実アプリケーションに再割当てすることと、仮想現実アプリケーションによってビデオレンダリング速度を増加させることとを実行することをさらに含み得る。
別の例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、符号化ビデオ信号を受信させ、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行させて第1のセットの表示フレームをコンピューティングデバイスの画面に表示させ、コンピューティングデバイスのユーザの瞬目期間の開始を検出させ、瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、仮想現実アプリケーションからコンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てさせる。
例示的な実現例では、センサ128(図1)は、表示画面130またはコンピューティングデバイス105の動き、移動または加速を検出し得る。別の例示的な実現例によると、表示画面130の動き、移動または加速を検出したことに応答して、コンピューティングデバイス105は画面130に表示される1つ以上の表示画面の視野を調整し(たとえば増加もしくは減少させ)得、および/またはコンピューティングデバイス105は表示画像のフレームレートを調整し(たとえば増加もしくは減少させ)得る。視野(FOV)(視界とも称される)は、任意の所与の瞬間に見える観測可能な世界/環境の範囲を含み得る。たとえば、VR体験内では、視野は、任意の所与の瞬間にディスプレイ上に見えるVR世界/環境の範囲を含み得る。
例示的な実現例によると、コンピューティングデバイス105は眼球追跡デバイス142を含み得、眼球追跡デバイス142は、コンピューティングデバイス105のユーザの眼球または視線を追跡し、ユーザがどの画素またはオブジェクト(たとえば、画面130上の一群の関連画素)を見ているかを判断する。
ユーザが移動している、回転している、自身の見る方向を変更している場合は、視野を調整すること(たとえば増加または減少させること)によって、少なくともいくつかの場合、画面130に表示される表示画像のブレまたは歪みの量が減少し得る。また、ユーザの移動中は高いフレームレートは不要であり得る。なぜなら、少なくともいくつかの場合、表示画面130のそのような動き中に画面130上でユーザに表示される画像は、見えるまたは表示されるフレーム/画像をブレさせ得るかまたは歪ませ得るからである。ゆえ
に、そのようなユーザ/コンピューティングデバイス/画面の動き中に画面130に表示されるこれらの表示フレームの多くは、結局ブレ得るかまたは歪み得るため、コンピューティングデバイス105がかなりのコンピューティングリソース132を費やして高いまたは閾値のビデオレンダリング速度でビデオレンダリングを実行することは割に合わない場合がある。ゆえに、表示画面130またはコンピューティングデバイスのユーザが移動している期間中は、フレームレートおよび/またはビデオレンダリング速度が調整され(たとえば増加または減少し)得、視野が調整され(たとえば増加または減少し)得る。
図9は、例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作910は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、ある更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することを含む。動作920は、画面の動きまたは移動を検出することを含む。そして、動作930は、当該検出に基づいて、当該更新レートで画像の一部のみを更新することによって第2のビデオレンダリング速度でビデオレンダリングを実行することを含む。
図9の方法の例示的な実現例によると、第2のビデオレンダリング速度でビデオレンダリングを実行することは、当該検出に基づいて、当該更新レートで画像の中央部のみを更新することによって第2のビデオレンダリング速度でビデオレンダリングを実行することを含み得る。
図10は、別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作1010は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートでコンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することを含む。動作1020は、画面の動きまたは移動を検出することを含む。そして、動作1030は、当該検出に基づいて、第1の更新レートで画像の第1の部分を更新することによって、かつ第1の更新レートと異なる(たとえば第1の更新レートよりも大きいまたは小さい)第2の更新レートで画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む。
図10の方法の例示的な実現例によると、第2のビデオレンダリング速度でビデオレンダリングを実行することは、当該判断に基づいて、第1の更新レートで画像の中央部を更新することによって、かつ第1の更新レートと異なる(たとえば第1の更新レートよりも大きいまたは小さい)第2の更新レートで画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み得る。
図10の方法の例示的な実現例によると、第2のビデオレンダリング速度でビデオレンダリングを実行することは、当該検出に基づいて、第1の更新レートおよび第1の画像解像度で画像の中央部を更新することによって、かつ第2の更新レートおよび第1の画像解像度未満の第2の画像解像度で画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み得、第2の更新レートは第1の更新レート未満である。
図11は、別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作1110は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1のビデオレンダリング速度でビデオレンダリングを実行することを含む。動作1120は、画面の動きまたは移動を検出することを含む。動作1130は、当該検出に基づいて、第1の解像度で画像の第1の部分を更新することによって、かつ第1の解像度と異なる(たとえば第1の解像度よりも大きいまたは小さい)第2
の解像度で画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む。
図11の方法の例示的な実現例によると、第1の部分は画像の中央部を含み得、第2の部分は画像の周辺部を含み得る。
図12は、別の例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャートである。動作1210は、符号化ビデオ信号を受信することを含み得る。動作1220は、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行して仮想現実コンテンツの第1のセットの表示フレームをコンピューティングデバイスの画面に表示することを含み得る。動作1230は、画面の動きまたは移動を検出することを含み得る。動作1240は、動きまたは移動を検出したことに応答して、少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを調整する(たとえば増加または減少させる)ことを含み得る。
図12に示す方法の例示的な実現例によると、動作1240は、動きまたは移動を検出したことに応答して、少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを減少させることを含み得る。
図12に示す方法の例示的な実現例によると、動作1240は、動きまたは移動を検出したことに応答して、少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを増加させることを含み得る。
図12に示す方法の例示的な実現例によると、当該方法は、コンピューティングデバイスの動きまたは移動が停止したことを検出することと、コンピューティングデバイスの表示画面の動きまたは移動が停止したことを検出したことに応答して、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを増加させることとをさらに含み得る。
図12に示す方法の例示的な実現例によると、当該方法は、コンピューティングデバイスの表示画面の動きまたは移動を検出した後の少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するための視野を調整する(たとえば増加または減少させる)ことをさらに含み得る。
図12に示す方法の例示的な実現例によると、当該方法は、コンピューティングデバイスの表示画面の動きまたは移動が停止したことを検出することと、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するための視野を調整する(たとえば減少または増加させる)こととをさらに含み得る。
例示的な実現例によると、装置は、少なくとも1つのプロセッサと、コンピュータ命令を含む少なくとも1つのメモリとを含み得、当該命令は、当該少なくとも1つのプロセッサによって実行されると、当該装置に、符号化ビデオ信号を受信させ、コンピューティングデバイス上に提供される仮想現実アプリケーションによって、符号化ビデオ信号に基づいてビデオレンダリングを実行させて仮想現実コンテンツの第1のセットの表示フレームをコンピューティングデバイスの画面に表示させ、表示装置の動きまたは移動を検出させ、動きまたは移動を検出したことに応答して、少なくともある期間にわたって、仮想現実コンテンツの1つ以上の表示フレームを画面に表示するためのフレームレートを調整させる。
上述のように、説明的かつ例示的な実現例では、VRゴーグル110(図1)は、たとえば、VRゴーグル110の左アパーチャまたは左眼開口部を通してユーザが見ることができる左眼画像と、VRゴーグル110の右アパーチャまたは右眼開口部を通してユーザが見ることができる右眼画像とを含む立体画像を表示し得る。例示的な実現例によると、左眼画像および右眼画像は、画面130に表示される1つ以上のオブジェクトを含み得る。これらのオブジェクトは、たとえば、画面130に表示される1つの画素であり得るか、または一群の関連画素であり得る。各オブジェクトは、人物、動物、物、または他の物体などの任意のオブジェクトであり得る。見える画像は、右眼画像および左眼画像の両方に基づいて表示され得る。閉塞(あるオブジェクトが別のオブジェクトを遮っているかまたは閉塞している)、サイズ、遠近感などのさまざまな奥行き手がかりを用いてユーザに奥行き情報が伝えられ得る。
例示的な実現例では、説明的な立体画像において、1つ以上のオブジェクトについての奥行き情報はさらに、左に見えるオブジェクト(左眼画像の一部)と右に見えるオブジェクト(右眼画像の一部)との間の視差(または距離/分離)を介してユーザに提供または通信され得る。
輻輳とは、人の(ユーザの)眼が観察される/見られるオブジェクトに向けられたときに形成される角度についての言及であり得る。調節とは、見られる/観察されるオブジェクト上に合焦しているユーザの眼についての言及である。調節デマンドは、オブジェクトまでの距離と反比例する。
現実世界では、調節デマンドと輻輳デマンドとの間に矛盾はめったにない。しかし、画面(画面130など)に表示されるVR(仮想現実)画像または立体画像については、調節デマンドと輻輳デマンドとの間に差異または矛盾がある場合がある。表示画面については、眼が表示画面上に合焦しているため、調節デマンドは固定されている(たとえば、眼から画面までの距離が固定されている)。(VR HMDシステム内のディスプレイはレンズによって形成される仮想ディスプレイである。この場合の調節デマンドは、レンズによって形成されるディスプレイの仮想画像までの距離である。)しかし、場合によっては、左に見える画像と右に見える画像との間の視差(または距離)が不定の輻輳デマンドを作り出す場合があり、場合によっては、この輻輳デマンドは調節デマンドと異なり得る。調節デマンドと輻輳デマンドとの間のこの矛盾は、ユーザの緊張および不快感、または眼精疲労を引起こし得る。
図13は、例示的な実現例に係る調節デマンドと輻輳デマンドとの間の例示的な矛盾を示す図である。ステレオ(立体)画像1312が画面130に表示され得る。画像1312は多数のオブジェクトを含み得、各オブジェクトは画像1312の一部であり、画像1312は、人物、動物、物、またはその他の物体を表示し得る1つの画素または一群の関連画素を含み得る。画面130に表示される説明的かつ例示的なステレオ画像1312では、オブジェクトは、たとえば、犬オブジェクト1318、傘オブジェクト1316、および恐竜オブジェクト1314を含み得る。これらはいくつかの例示的なオブジェクトに過ぎない。左眼1310Lおよび右眼1310Rを含むユーザの眼が図13に示されており、ユーザがこの説明的な例では恐竜オブジェクト1314を見ていることを示すように向けられて輻輳している。
ステレオ画像1312を提示するために、左眼画像がユーザの左眼1310Lに示され、右眼画像がユーザの右眼1310Rに示される。左眼画像は、左の犬オブジェクト1318L、左の傘オブジェクト(図示せず)、および左の恐竜オブジェクト1314Lを含む。右眼画像は、右の犬オブジェクト1318R、右の傘オブジェクト(図示せず)、および右の恐竜オブジェクト1314Rを含む。
図13に示す説明的な例によると、左の傘オブジェクトと右の傘オブジェクト(図13には図示せず)とが同じ位置で重ね合わせられ、つまり、左の傘オブジェクトと右の傘オブジェクトとの間に視差が存在しない。左の傘オブジェクトと右の傘オブジェクト1316との間に視差が存在しないため、傘1316は画面130のある距離/奥行きに位置している。ユーザは典型的に、画像のオブジェクトが合焦するように画面130上に合焦することになる(調節)。ゆえに、これは、図13では、現実世界と同様に、傘オブジェクト1316についての輻輳デマンドが調節デマンドと同一であることを意味する。ゆえに、輻輳デマンドが調節デマンドと同一であるため、ユーザが傘オブジェクト1316を見る際に矛盾または緊張が存在しない(図13に示すように、傘オブジェクト1316については視差が存在しないため、ユーザはこの例では画面130の当該奥行きで合焦および輻輳して傘オブジェクト1316を見る)。
図13に示す例示的な実現例によると、犬オブジェクト1318について交差視差が存在する。交差視差とは、右眼の犬オブジェクト1318Rが左側に示され、左眼の犬オブジェクト1318Lが右側に示されることを意味する。そのような交差視差(この例では犬オブジェクト1318)については、オブジェクトは画面130の前に、または画面130よりも見ている人の近くに(画面130よりも小さい奥行きに)あるように見える。
また、図13に示す例示的な実現例によると、恐竜オブジェクト1314について非交差視差1320(左右の恐竜オブジェクト1314L,1314Rの間の距離)が存在する。右眼の恐竜オブジェクト1314Rは右側にあり、左眼の恐竜オブジェクト1314Lは左側にあるため、恐竜オブジェクトについてのこの視差1320は交差していない。つまり、恐竜オブジェクト1314は画面130の後ろに(画面130よりもさらに遠くに、または画面130よりも大きい奥行きに)あるようにユーザには見える。ゆえに、たとえば、ユーザが恐竜オブジェクト1314または犬オブジェクト1318のいずれか一方を見ると、調節デマンドと輻輳デマンドとの間に矛盾または緊張が存在することになる。この理由は、たとえば、恐竜オブジェクト1314を見ているユーザは典型的に、恐竜オブジェクト1314が合焦するように画面130上に合焦することになるが、輻輳デマンドは視差1320のために異なるからである。
図13に示す例では、眼球追跡デバイス142(図1)が表示装置105内に用いられて、ユーザが恐竜オブジェクト1314を見ていると判断され得る。上述のように、画面130上の焦点、および恐竜オブジェクト1314についての視差1320(または左右の恐竜オブジェクト1314L,1314Rの間の距離)のために、ユーザが恐竜オブジェクト1314を見ると調節デマンドと輻輳デマンドとの間に矛盾または緊張が生じることになる。この矛盾または緊張はユーザにとって非常に不快であり得、特に、見えるオブジェクト(たとえば恐竜オブジェクト1314)の相対的な奥行きを画像1312内の他のオブジェクト(たとえば傘オブジェクト1316、犬オブジェクト1318)と比較して維持しつつこの矛盾を減少させることができる場合は、矛盾を減少させることが望ましい場合がある。この相対的な奥行きとは、犬オブジェクト1318が最も近いオブジェクト(これらのオブジェクトの中で最小の奥行きを有する)としてユーザに見え、続いて傘オブジェクト1316があり、それに続いて恐竜オブジェクト1314がユーザから最も遠いオブジェクト(これらのオブジェクトの中で最大の奥行きを有する)としてあることを意味する。
説明的かつ例示的な実現例によると、眼球追跡デバイス142(図1)は、ユーザの視線の角度(ユーザが眺めている/見ている角度または方向)を判定し得る。また、たとえば、VRアプリケーション120は、ユーザが眺めているオブジェクトを判定するために、ユーザの視線の角度で3Dシーン内に投影またはレイキャストして、当該レイキャスト
に交差するオブジェクトを判定し得る。
したがって、例示的な実現例によると、見えるオブジェクトについての調節デマンドと輻輳デマンドとの間の矛盾/緊張を減少させる技術が記載される。例示的な実現例によると、この矛盾の減少は、たとえば、見えるオブジェクトの相対的な奥行きを画像内の他のオブジェクトに対して維持しつつ、かつ他のオブジェクト同士の間の相対的な奥行きを維持しつつ行なわれ得る。
例示的な実現例によると、左に見えるオブジェクト(たとえば左の恐竜オブジェクト1314L)と右に見えるオブジェクト(たとえば右の恐竜オブジェクト1314R)との間の視差1320は、たとえば距離(たとえばインチ)で、または画素で測定、計算または判定され得る。瞬目検出モジュール714は、ユーザの瞬目期間の開始を検出し得る。コンピューティングデバイス105は次いで、瞬目期間の間、右眼画像および左眼画像の一方または両方を視差(または視差距離)の分だけ移動させて、左に見えるオブジェクト(たとえば1314L)と右に見えるオブジェクト(たとえば1314R)との間の視差を減少させ得る。たとえば、左眼画像のみを移動させて、または右眼画像のみを移動させて、または左眼画像および右眼画像の両方を移動させて、矛盾/緊張を減少させてもよい。いくつかの場合、左に見えるオブジェクトおよび右に見えるオブジェクトの一方または両方を互いに向かって移動させてもよく、ならびに/または視差が除去されるように移動させてもよい(これは、右に見えるオブジェクトと左に見えるオブジェクトとが同じ位置で重ね合わせられると達成される)。左眼画像および/または右眼画像を視差の分(視差量)だけ移動させると、左に見える画像と右に見える画像(たとえば1314L,1314R)との間の緊張/矛盾が減少することになる(完全に移動させる場合は、除去されるはずである)。同時に、この場合の他のオブジェクト(たとえば傘オブジェクトおよび犬オブジェクト)の視差は、恐竜オブジェクトに対するそれらの相対的な表示される奥行きが維持されるように、それに応じて変化することになる。
例示的な実現例によると、左右の眼の画像の移動は、たとえばこの変化がユーザによって検出され得ないかまたはほとんど検出され得ないように、瞬目期間中に有利に行なわれ得る。また、例示的な実現例では、見えるオブジェクトの視差1320を減少させるように、かつ画像1312内のオブジェクトの相対的な奥行きが維持されるように、左眼画像全体および右眼画像全体(たとえばそれらの上のすべてのオブジェクトを含む)が移動し得る。したがって、2つの画像(左眼画像、および/または右眼画像)は、見えるオブジェクトに対して他のオブジェクトの相対的な奥行きを維持するように、全体として移動すべきである。また、各オブジェクトの絶対的な奥行きは典型的に、この移動に基づいて変化することになる。つまり、画像1312上の左右のオブジェクト(それぞれ左右の画像の一部である)のすべては、左右の恐竜オブジェクト1314L,1314Rがそれぞれ移動するのと同じ量だけ移動することになる。ゆえに、たとえば、左および/または右の傘オブジェクト1316L,1316Rも(恐竜オブジェクト1314に対して測定される距離視差1320の分だけ)移動して、当該オブジェクト同士の間に視差を有するようになる。同様に、左および/または右の犬オブジェクト1318L,1318Rも(恐竜オブジェクト1314に対して測定される)視差1320に等しい距離だけ移動することになり、左右の犬オブジェクト1318L,1318R同士の間により大きい視差を有し得る。短期の目標は、ユーザが恐竜オブジェクト1314を見ている間のみに見える恐竜オブジェクト1314について調節デマンドと輻輳デマンドとの間の矛盾を減少させることであるため、これは知覚的に許容可能である。
図14は、例示的な実現例に係る、見えるオブジェクトについての調節デマンドと輻輳デマンドとの間の矛盾が減少したかまたは除去された例を示す図である。図14に示すこの例では、左右の恐竜オブジェクト1314L,1314Rの間の視差1320(図13
)を(少なくともいくつかの場合は)除去するために、たとえば瞬目期間中に、左眼画像が右に移動しており、および/または右眼画像が左に移動している。ゆえに、この移動後、図14に示すように、左右の恐竜オブジェクト1314L,1314Rは同じ位置で重ね合わせられて、視差1320が除去され、恐竜が画面130のある深さに位置しているという見かけが与えられる。ゆえに、図14に示すように、視差1320に基づいて左眼画像および/または右眼画像を移動させた後、恐竜オブジェクト1314についての輻輳デマンドと調節デマンドとは同一である(これらのデマンド同士の間に矛盾/緊張がない)。また、この説明的な例では、左右の傘オブジェクト1316L,1316Rの間に交差視差が存在するようになり(たとえば、これによって傘オブジェクト1316が画面130よりも近くに見えるようになり)、左右の犬オブジェクト1318L,1318Rの間の交差視差は図13のこれらのオブジェクトについて示した視差よりもさらに大きい。上述のように、この説明的な例における目標または目的は、シーン内のさまざまなオブジェクト同士の間の相対的な奥行きを維持しつつ、見える恐竜オブジェクト1314についての視差を減少させ、いくつかの場合は除去することであるので、1つ以上の見えないオブジェクトについての視差を増加させることは許容可能であり、実際に望ましい。
例示的な実現例では、VRアプリケーションは3Dゲームエンジンを含み得る。VRアプリケーションは、アプリケーションプログラミングインターフェイス(API)を介して、視差を減少させる/除去する要求を3Dゲームエンジンに送信し得、当該量の視差1320を含み得る。例示的な実現例では、3Dゲームエンジンは視差を知っている場合があり、または視差を判定可能である場合があり、VRアプリケーションはユーザの視線方向を3Dゲームエンジンに送信し得る。3Dゲームエンジンは次いで視線方向を用いて、見えているオブジェクトおよびその視差を特定し得る。3Dゲームエンジンは次いで、見えるオブジェクトについてのこの差異を減少させるまたは除去するためには左右の眼の画像をどれほど調整すべきか/移動させるべきかを判断し得る。VRアプリケーションおよび/または3Dゲームエンジンは次いで、左右の眼の画像の一方または両方を移動させることによって視差を減少させ(またはさらには除去し)得る。
また、例示的な実現例によると、表示されるオブジェクトのサイズは左および/または右の画像の移動に基づいて変化しない。ゆえに、見えるオブジェクトの知覚される絶対距離は絶対視差の変化に影響されず、(画像内の他のオブジェクトに対して)固定された相対的な奥行きは、表示空間の安定した知覚もサポートする。
上述のように、左眼画像および/または右眼画像は、移動がユーザによって検出されないように、たとえば瞬目期間中に移動して視差を減少させ得るかまたはさらには除去し得る。別の例示的な実現例によると、左眼画像および/または右眼画像は、ユーザが眼を開けているときに(非瞬目期間中に)多数のフレームにわたって移動または画像調整を徐々に実行できるようにすることによって、(非瞬目期間中の)この移動または画像調整がユーザにとって目立たなくなるように、多数のフレームの各々について視差1320の一部だけ移動し得る。たとえば、視差が1インチである場合は、左右の恐竜オブジェクトが同じ(またはほぼ同じ)位置で重ね合わせられて視差1320を減少させるかまたはさらには場合によっては除去するように、右眼画像は100個のフレームのフレーム毎に左に0.01インチ移動し得る。同様に、左眼画像および右眼画像の各々は、左右の恐竜オブジェクト1314L,1314Rが近付くまで、または視差720が除去されるかもしくは少なくとも減少するまで、100個のフレームのフレーム毎に互いに向かって0.005インチ移動し得る。
また、別の例示的な実現例によると、左眼画像および/または右眼画像は(たとえば視差の減少を開始するために)非瞬目期間中に視差1320の一部(たとえば30%)だけ移動し得るか、または、ユーザが新たなオブジェクトを見ていることもしくは見えるオブ
ジェクトが移動したことを眼球追跡デバイス142が判断したときにまたは判断した後に、多数のフレームにわたって視差を減少させ得る。そして、次いで瞬目期間の開始を検出した後、瞬目に紛れて視差720をさらに減少させるために左右の眼の画像の移動が完了し得る。
例示的な実現例によると、VRアプリケーションまたはコンピューティングデバイスは、瞬目期間の前に、左眼画像および右眼画像の一方または両方を第1の(遅い)移動速度で(遅く)移動させて、瞬目期間の前に左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を部分的に減少させ得る。次いで、瞬目期間の開始が検出される。VRアプリケーションまたはコンピューティングデバイスは、瞬目期間中に第2の(速い)移動速度で左眼画像および右眼画像の一方または両方の移動を継続して、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差をさらに減少させ得、第2の移動速度は第1の移動速度よりも速い。ゆえに、VRアプリケーションは、画像移動がユーザに知覚されにくくなり得るように、瞬目期間の前に左眼画像および/または右眼画像を第1の移動速度で遅く移動させ得、次いで、瞬目期間中に第2の(速い)移動速度で移動させることによって画像の移動を完了し得る。ゆえに、ユーザはこの瞬目期間中は画像/画面を見ていないため、瞬目期間中は速い移動速度が用いられ得る。たとえば、画像は、瞬目期間の前に.005インチ/フレームの第1の移動速度で移動し得(たとえば移動の一部を実行する)、次いで、(たとえば瞬目期間中に移動を完了するために)瞬目期間中に.05インチ/フレームの第2の移動速度で移動し得る。これらは説明のために用いられるいくつかの例示的な数字に過ぎず、他の移動速度が用いられてもよい。
この処理は、ユーザが新たなオブジェクトを見るたびに、またはオブジェクトの位置が移動すると、または見えるオブジェクトについての視差が視差を変更すると、または周期的に、たとえば.5秒毎に反復され得る。ビデオは、たとえば、時間とともに移動する多数のオブジェクトを示し得る。たとえば、周期的に、たとえば0.1秒、0.2秒、0.5秒、0.7秒毎に、または他の周期で、眼球追跡デバイス142はユーザが見ているオブジェクト(新たなオブジェクトであり得るか、または同一のオブジェクトであり得、視差は以前の視差測定から変化している場合がある)を特定し得る。コンピューティングデバイス105は、そのような見えるオブジェクトについての視差1320を測定し得る。瞬目検出モジュール715は瞬目期間の開始を検出し得る。コンピューティングデバイス105は、瞬目期間中に左右の眼の画像の一方または両方を移動させて、見えるオブジェクトについての視差を減少させ得るおよび/または除去し得る。
例示的な実現例によると、瞬目期間の開始を検出した後、コンピューティングシステムはユーザの非優位眼の画像のみを移動させ得る。ユーザの眼優位性は眼球追跡デバイス142によって確立され得る。たとえば、眼球追跡デバイス142は、ターゲット/オブジェクトが横方向および深さ方向の両方に急速に移動する較正段階中のユーザの(左右両眼の)眼球運動を記録し得る。説明的かつ例示的な実現例では、眼球追跡デバイス142は、衝動性運動を用いて、どちらの眼の方が新たなターゲット位置に早く動くか(優位眼となる)を判断し得る。ゆえに、画像の移動が(ユーザの眼が開いている)非瞬目期間中に行なわれる場合は、非優位眼の画像のみを移動させることが有利であり得る。なぜなら、たとえば、非優位眼の画像のみが移動している間は優位眼は静止画像上に固定されることになるので、非優位眼におけるこの画像移動は目立たなくなるからである。ゆえに、たとえば非瞬目期間中に、非優位眼についての画像のみを移動させることによって、および/または優位眼の画像の移動量よりも大きい移動量だけ非優位眼についての画像を移動させることによって、画像移動のすべてまたは一部が実行されて視差が減少し得る/除去され得る。
図15は、例示的な実現例に係るコンピューティングデバイスの動作を示すフローチャ
ートである。動作1510は、コンピューティングデバイスの画面に、右眼画像および左眼画像を含む立体画像を表示することを含み、左眼画像および右眼画像の各々は1つ以上のオブジェクトを表わしている。動作1520は、コンピューティングデバイスのユーザから見える、見えるオブジェクトを判定することを含み、見えるオブジェクトは、左眼画像の一部である左に見えるオブジェクト、および右眼画像の一部である右に見えるオブジェクトを含む。動作1530は、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を計算または測定することを含む。動作1540は、コンピューティングデバイスのユーザの瞬目期間の開始を検出することを含む。そして、動作1550は、瞬目期間中に、左眼画像および右眼画像の一方または両方を移動させて、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を減少させることを含む。
図15の方法の例示的な実現例によると、移動させることは、瞬目期間中に、左眼画像および右眼画像の一方または両方を移動させて、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を除去することを含み得る。
図15の方法の例示的な実現例によると、移動させることは、瞬目期間の前に、左眼画像および右眼画像の一方または両方の移動を開始して、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を減少させることと、瞬目期間中に、左眼画像および右眼画像の一方または両方の移動を継続して、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差をさらに減少させることとを含み得る。
図15の方法の例示的な実現例によると、当該方法は、ユーザのどちらの眼が非優位眼であるかを判断することと、非瞬目期間中に、ユーザの非優位眼の眼画像のみを移動させて、左に見えるオブジェクトと右に見えるオブジェクトとの間の視差を減少させることとをさらに含み得る。
図15の方法の例示的な実現例によると、見えるオブジェクトは第1の見えるオブジェクトを含み、立体画像は第1の立体画像を含み、瞬目期間は第1の瞬目期間を含み、当該方法はさらに、コンピューティングデバイスの画面に、第2の右眼画像および第2の左眼画像を含む第2の立体画像を表示することと、コンピューティングデバイスのユーザから見える、第2の見えるオブジェクトを判定することとを含み、第2の見えるオブジェクトは、第2の左眼画像の一部である第2の左に見えるオブジェクト、および第2の右眼画像の一部である第2の右に見えるオブジェクトを含み、当該方法はさらに、第2の左に見えるオブジェクトと第2の右に見えるオブジェクトとの間の視差を測定することと、コンピューティングデバイスのユーザの第2の瞬目期間の開始を検出することと、第2の瞬目期間中に、第2の左眼画像および第2の右眼画像の一方または両方を移動させて、第2の左に見えるオブジェクトと第2の右に見えるオブジェクトとの間の視差を減少させることとを含む。
図16は、本明細書に記載の技術とともに用いられ得る一般的なコンピュータデバイス1600および一般的なモバイルコンピュータデバイス1650の例を示す。コンピューティングデバイス1600は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータといった、さまざまな形態のデジタルコンピュータを表わすことを意図している。コンピューティングデバイス1650は、携帯情報端末、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスといった、さまざまな形態のモバイルデバイスを表わすことを意図している。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は例示であることが意図されているに過ぎず、本文書に記載のおよび/または請求項に記載の本発明の実現例を限定することを意図していない。
コンピューティングデバイス1600は、プロセッサ1602、メモリ1604、記憶装置1606、メモリ1604および高速拡張ポート1610に接続している高速インターフェイス1608、ならびに低速バス1614および記憶装置1606に接続している低速インターフェイス1612を含む。コンポーネント1602,1604,1606,1608,1610および1612の各々はさまざまなバスを用いて相互に接続されており、共通のマザーボード上にまたは他の態様で適宜搭載され得る。プロセッサ1602は、コンピューティングデバイス1600内で実行される命令を処理可能であり、この命令には、GUIのためのグラフィカル情報を高速インターフェイス1608に結合されているディスプレイ1616などの外部入出力デバイス上に表示するためにメモリ1604内または記憶装置1606上に記憶されている命令が含まれる。他の実現例では、複数のプロセッサおよび/または複数のバスが、複数のメモリおよび複数種類のメモリとともに必要に応じて用いられ得る。また、複数のコンピューティングデバイス1600が接続され得、各デバイスは(たとえばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)必要な動作の一部を提供する。
メモリ1604は情報をコンピューティングデバイス1600内に記憶する。一実現例では、メモリ1604は1つまたは複数の揮発性メモリユニットである。別の実現例では、メモリ1604は1つまたは複数の不揮発性メモリユニットである。また、メモリ1604は、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能な媒体であってもよい。
記憶装置1606は、コンピューティングデバイス1600に大容量記憶を提供可能である。一実現例では、記憶装置1606は、フロッピー(登録商標)ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含む多数のデバイスといった、コンピュータ読取可能な媒体であってもよく、または当該コンピュータ読取可能な媒体を含んでいてもよい。コンピュータプログラムプロダクトが情報担体内に有形に具体化され得る。また、コンピュータプログラムプロダクトは、実行されると上述のような1つ以上の方法を実行する命令を含み得る。情報担体は、メモリ1604、記憶装置1606、またはプロセッサ1602上のメモリといった、コンピュータ読取可能な媒体または機械読取可能な媒体である。
高速コントローラ1608はコンピューティングデバイス1600のための帯域幅集約的な動作を管理するのに対して、低速コントローラ1612はより低い帯域幅集約的な動作を管理する。そのような機能の割当ては例示に過ぎない。一実現例では、高速コントローラ1608はメモリ1604、ディスプレイ1616に(たとえばグラフィックスプロセッサまたはアクセラレータを介して)、およびさまざまな拡張カード(図示せず)を受付け得る高速拡張ポート1610に結合される。当該実現例では、低速コントローラ1612は記憶装置1606および低速拡張ポート1614に結合される。さまざまな通信ポート(たとえばUSB、ブルートゥース(登録商標)、イーサネット(登録商標)、無線イーサネット)を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータといったネットワーキングデバイスなどの1つ以上の入出力デバイスに、たとえばネットワークアダプタを介して結合され得る。
コンピューティングデバイス1600は、図に示すように多数の異なる形態で実現されてもよい。たとえば、コンピューティングデバイス1600は標準的なサーバ1620として、またはそのようなサーバのグループ内で複数回実現されてもよい。また、コンピューティングデバイス1600はラックサーバシステム1624の一部として実現されてもよい。さらに、コンピューティングデバイス1600はラップトップコンピュータ162
2などのパーソナルコンピュータにおいて実現されてもよい。あるいは、コンピューティングデバイス1600からのコンポーネントは、デバイス1650などのモバイルデバイス(図示せず)内の他のコンポーネントと組合されてもよい。そのようなデバイスの各々がコンピューティングデバイス1600,1650の1つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス1600,1650で構成されてもよい。
コンピューティングデバイス1650は、数あるコンポーネントの中でも特に、プロセッサ1652、メモリ1664、ディスプレイ1654などの入出力デバイス、通信インターフェイス1666、およびトランシーバ1668を含む。また、デバイス1650には、マイクロドライブまたは他のデバイスなどの記憶装置が提供されて付加的なストレージが提供されてもよい。コンポーネント1650,1652,1664,1654,1666および1668の各々はさまざまなバスを用いて相互に接続されており、当該コンポーネントのいくつかは共通のマザーボード上にまたは他の態様で適宜搭載され得る。
プロセッサ1652は、メモリ1664に記憶されている命令を含む、コンピューティングデバイス1650内の命令を実行可能である。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイス、デバイス1650が実行するアプリケーション、およびデバイス1650による無線通信の制御といった、デバイス1650の他のコンポーネントの協調を提供し得る。
プロセッサ1652は、ディスプレイ1654に結合された制御インターフェイス1658およびディスプレイインターフェイス1656を介してユーザと通信し得る。ディスプレイ1654は、たとえば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)もしくはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス1656は、ディスプレイ1654を駆動してグラフィカル情報および他の情報をユーザに提示するための適切な回路を含み得る。制御インターフェイス1658はユーザからコマンドを受信し、当該コマンドをプロセッサ1652に提出するために変換し得る。さらに、外部インターフェイス1662が、デバイス1650と他のデバイスとの隣接通信を可能にするために、プロセッサ1652と通信した状態で提供されてもよい。外部インターフェイス1662は、たとえば、ある実現例では有線通信を提供し、他の実現例では無線通信を提供してもよく、また、複数のインターフェイスが用いられてもよい。
メモリ1664は情報をコンピューティングデバイス1650内に記憶する。メモリ1664は、1つもしくは複数のコンピュータ読取可能な媒体、1つもしくは複数の揮発性メモリユニット、または1つもしくは複数の不揮発性メモリユニットの1つ以上として実現され得る。さらに、拡張メモリ1674が提供され、たとえばSIMM(Single In Line Memory Module)カードインターフェイスを含み得る拡張インターフェイス1672を介してデバイス1650に接続されてもよい。このような拡張メモリ1674はデバイス1650に余分のストレージスペースを提供し得るか、またはデバイス1650のためのアプリケーションもしくは他の情報をさらに記憶し得る。具体的には、拡張メモリ1674は上述のプロセスを実行または補足するための命令を含み得、さらにセキュア情報を含み得る。ゆえに、たとえば、拡張メモリ1674はデバイス1650のためのセキュリティモジュールとして提供されてもよく、デバイス1650のセキュアな使用を許可する命令でプログラムされてもよい。さらに、ハッキング不可能なようにSIMMカード上に識別情報を置くといったように、セキュアなアプリケーションが付加的な情報とともにSIMMカードを介して提供されてもよい。
メモリは、以下に記載のように、たとえばフラッシュメモリおよび/またはNVRAMメモリを含み得る。一実現例では、コンピュータプログラムプロダクトが情報担体内に有形に具体化される。コンピュータプログラムプロダクトは、実行されると上述のような1つ以上の方法を実行する命令を含む。情報担体は、たとえばトランシーバ1668または外部インターフェイス1662上で受信され得る、メモリ1664、拡張メモリ1674、またはプロセッサ1652上のメモリといった、コンピュータ読取可能な媒体または機械読取可能な媒体である。
デバイス1650は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス1666を介して無線通信し得る。通信インターフェイス1666は、とりわけ、GSM(登録商標)音声電話、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSといった、さまざまなモードまたはプロトコル下の通信を提供し得る。そのような通信は、たとえば無線周波数トランシーバ1668を介して起こり得る。さらに、ブルートゥース、Wi−Fi、または他のそのようなトランシーバ(図示せず)を用いるなどして、短距離通信が起こり得る。さらに、GPS(全地球測位システム)レシーバモジュール1670が付加的なナビゲーション関連および位置関連の無線データをデバイス1650に提供し得、当該データはデバイス1650上で実行されるアプリケーションによって適宜用いられ得る。
また、デバイス1650は、ユーザから口頭情報を受信して当該情報を使用可能なデジタル情報に変換し得るオーディオコーデック1660を用いて可聴的に通信し得る。オーディオコーデック1660も同様に、たとえばデバイス1650のハンドセット内で、スピーカを介すなどしてユーザに可聴音を生成し得る。そのような音は音声電話からの音を含んでいてもよく、録音された音(たとえば音声メッセージ、音楽ファイル等)を含んでいてもよく、さらに、デバイス1650上で実行されるアプリケーションが生成する音を含んでいてもよい。
コンピューティングデバイス1650は、図に示すように多数の異なる形態で実現されてもよい。たとえば、コンピューティングデバイス1650はセルラー電話1680として実現されてもよい。また、コンピューティングデバイス1650は、スマートフォン1682、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。
本明細書に記載のシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実現され得る。これらのさまざまな実現例は、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実現例を含んでいてもよく、当該プロセッサは専用であっても一般的であってもよく、ストレージシステム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信するように、かつこれらにデータおよび命令を送信するように結合されている。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても公知)はプログラマブルプロセッサのための機械命令を含んでおり、高レベル手続きおよび/もしくはオブジェクト指向プログラミング言語で、ならびに/またはアセンブリ/機械言語で実現され得る。本明細書において使用する「機械読取可能な媒体」「コンピュータ読取可能な媒体」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために用いられる任意のコンピュータプ
ログラムプロダクト、装置および/またはデバイス(たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械命令を機械読取可能な信号として受信する機械読取可能な媒体を含む。「機械読取可能な信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。
ユーザとの対話を提供するために、本明細書に記載のシステムおよび技術は、情報をユーザに表示するための表示装置(たとえばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)と、ユーザが入力をコンピュータに提供する際に使用可能なキーボードおよびポインティングデバイス(たとえばマウスまたはトラックボール)とを有するコンピュータ上で実現され得る。他の種類のデバイスを用いてユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック(たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信され得る。
本明細書に記載のシステムおよび技術は、バックエンドコンポーネントを(たとえばデータサーバとして)含む、またはミドルウェアコンポーネント(たとえばアプリケーションサーバ)を含む、またはフロントエンドコンポーネント(たとえば、ユーザが本明細書に記載のシステムおよび技術の実現例と対話する際に使用可能なグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ)、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムにおいて実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信(たとえば通信ネットワーク)によって相互に接続され得る。通信ネットワークの例として、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが挙げられる。
コンピューティングシステムはクライアントおよびサーバを含み得る。クライアントおよびサーバは一般に互いにリモートであり、典型的に通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されて互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。
多数の実施形態を説明した。しかしながら、本発明の精神および範囲から逸脱することなくさまざまな変更がなされ得ることが理解されるであろう。
さらなる実現例を以下の例において要約する。
例1:非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法であって、上記方法は、
コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートで上記コンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、
上記ビデオレンダリングの性能が閾値未満であると判断することと、
上記判断に基づいて、上記第1の更新レートで上記画像の第1の部分を更新することによって、かつ上記第1の更新レート未満の第2の更新レートで上記画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む、方法。
例2:上記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
上記判断に基づいて、上記第1の更新レートで上記画像の中央部を更新することによっ
て、かつ上記第1の更新レート未満の第2の更新レートで上記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む、例1に記載の方法。
例3:上記ビデオレンダリングを実行することは、
上記判断に基づいて、上記第1の更新レートおよび第1の画像解像度で上記画像の中央部を更新することによって、かつ上記第2の更新レートおよび上記第1の画像解像度未満の第2の画像解像度で上記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み、上記第2の更新レートは上記第1の更新レート未満である、例2に記載の方法。
例4:上記第2のビデオレンダリング速度でビデオレンダリングを実行することは、1つ以上の表示フレームを表示するために用いられることになる上記画面内の画素の数を調整することをさらに含む、例1,2または3に記載の方法。
例5:上記第2のビデオレンダリング速度でビデオレンダリングを実行することは、1つ以上の表示フレームを上記画面に表示するための表示フレームまたは画像解像度を調整することをさらに含む、例1,2または3に記載の方法。
例6:上記コンピューティングデバイスのコンピューティングリソースを、上記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションから上記仮想現実アプリケーションに割当てることをさらに含む、例1から5のいずれかに記載の方法。
例7:上記コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、
上記検出に応答して、上記瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、上記仮想現実アプリケーションから上記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることとをさらに含む、例1から6のいずれかに記載の方法。
例8:上記画面の移動を検出することと、
上記検出の後の少なくともある期間にわたって、1つ以上の表示フレームを上記画面に表示するための視野を調整することとをさらに含む、例1から7のいずれかに記載の方法。
例9:コンピュータによって実行される方法であって、
符号化ビデオ信号を受信することと、
コンピューティングデバイス上に提供される仮想現実アプリケーションによって、上記符号化ビデオ信号に基づいてビデオレンダリングを実行して第1のセットの表示フレームを上記コンピューティングデバイスの画面に表示することと、
上記コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、
上記瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、上記仮想現実アプリケーションから上記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることとを含む、方法。
例10:上記仮想現実アプリケーションによって、上記瞬目期間の少なくとも一部にわたってビデオレンダリングを停止することと、
上記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションによって、上記瞬目期間の少なくとも一部の間に1つ以上の非ビデオレンダリングタスクを実行することとをさらに含む、例9に記載の方法。
例11:上記仮想現実アプリケーションによって、上記瞬目期間の少なくとも一部にわたってビデオレンダリング速度を減少させることと、
上記瞬目期間の少なくとも一部にわたって、少なくともいくらかのコンピューティングリソースを、上記仮想現実アプリケーションから上記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることと、
上記コンピューティングデバイス上で実行される上記1つ以上の非仮想現実アプリケーションによって、上記瞬目期間の少なくとも一部の間に1つ以上の非ビデオレンダリングタスクを実行することとをさらに含む、例9に記載の方法。
例12:上記瞬目期間の終わりにまたは終わり間近に、
少なくともいくらかのコンピューティングリソースを、上記コンピューティングデバイス上で実行される上記1つ以上の非仮想現実アプリケーションから上記仮想現実アプリケーションに再割当てすること、および
上記仮想現実アプリケーションによってビデオレンダリング速度を増加させること
の1つ以上を実行することをさらに含む、例11に記載の方法。
例13:非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法であって、上記方法は、
コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートで上記コンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、
上記画面の移動を検出することと、
上記検出に基づいて、上記第1の更新レートで上記画像の第1の部分を更新することによって、かつ上記第1の更新レートと異なる第2の更新レートで上記画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを含む、方法。
例14:上記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
上記判断に基づいて、上記第1の更新レートで上記画像の中央部を更新することによって、かつ上記第1の更新レート未満の第2の更新レートで上記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む、例13に記載の方法。
例15:上記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
上記検出に基づいて、上記第1の更新レートおよび第1の画像解像度で上記画像の中央部を更新することによって、かつ上記第2の更新レートおよび上記第1の画像解像度未満の第2の画像解像度で上記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み、上記第2の更新レートは上記第1の更新レート未満である、例13に記載の方法。
例16:上記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
上記検出に基づいて、第1の解像度で上記画像の第1の部分を更新することによって、かつ上記第1の解像度と異なる第2の解像度で上記画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む、例13に記載の方法。
例17:非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法であって、上記方法は、
右眼画像および左眼画像を含む立体画像をコンピューティングデバイスの画面に表示す
ることを含み、上記左眼画像および上記右眼画像の各々は1つ以上のオブジェクトを表わしており、上記方法はさらに、
上記コンピューティングデバイスのユーザから見える、見えるオブジェクトを判定することを含み、上記見えるオブジェクトは、上記左眼画像の一部である左に見えるオブジェクト、および上記右眼画像の一部である右に見えるオブジェクトを含み、上記方法はさらに、
上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の視差を測定することと、
上記コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、
上記瞬目期間中に、上記左眼画像および上記右眼画像の一方または両方を移動させて、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差を減少させることとを含む、方法。
例18:上記移動させることは、
上記瞬目期間中に、上記左眼画像および上記右眼画像の一方または両方を移動させて、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差を除去することを含む、例17に記載の方法。
例19:上記移動させることは、
上記瞬目期間の前に、上記左眼画像および上記右眼画像の一方または両方の移動を開始して、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差を減少させることと、
上記瞬目期間中に、上記左眼画像および上記右眼画像の一方または両方の移動を継続して、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差をさらに減少させることとを含む、例17に記載の方法。
例20:上記移動させることは、
上記瞬目期間の前に、上記左眼画像および上記右眼画像の一方または両方を第1の移動速度で移動させて、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差を減少させることと、
上記瞬目期間中に、上記左眼画像および上記右眼画像の一方または両方の第2の移動速度での移動を継続して、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差をさらに減少させることとを含み、上記第2の移動速度は上記第1の移動速度よりも速い、例17から19のいずれかに記載の方法。
例21:上記ユーザのどちらの眼が非優位眼であるかを判断することと、
非瞬目期間中に、上記ユーザの非優位眼の画像のみを移動させて、上記左に見えるオブジェクトと上記右に見えるオブジェクトとの間の上記視差を減少させることとをさらに含む、例17から20のいずれかに記載の方法。
また、図面に示す論理フローは、所望の結果を達成するために、示されている特定の順序、または順番を必要としない。また、記載のフローとは他のステップが提供されてもよく、または当該フローからステップが除去されてもよく、記載のシステムに他のコンポーネントが追加されてもよく、または当該システムからコンポーネントが除去されてもよい。したがって、他の実施形態も以下の請求項の範囲内にある。

Claims (21)

  1. 非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法であって、前記方法は、
    コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートで前記コンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、
    前記ビデオレンダリングの性能が閾値未満であると判断することと、
    前記判断に基づいて、前記第1の更新レートで前記画像の第1の部分を更新することによって、かつ前記第1の更新レート未満の第2の更新レートで前記画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを備える、方法。
  2. 前記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
    前記判断に基づいて、前記第1の更新レートで前記画像の中央部を更新することによって、かつ前記第1の更新レート未満の第2の更新レートで前記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む、請求項1に記載の方法。
  3. 前記ビデオレンダリングを実行することは、
    前記判断に基づいて、前記第1の更新レートおよび第1の画像解像度で前記画像の中央部を更新することによって、かつ前記第2の更新レートおよび前記第1の画像解像度未満の第2の画像解像度で前記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み、前記第2の更新レートは前記第1の更新レート未満である、請求項2に記載の方法。
  4. 前記第2のビデオレンダリング速度でビデオレンダリングを実行することは、1つ以上の表示フレームを表示するために用いられることになる前記画面内の画素の数を調整することをさらに含む、請求項1から3のいずれか1項に記載の方法。
  5. 前記第2のビデオレンダリング速度でビデオレンダリングを実行することは、1つ以上の表示フレームを前記画面に表示するための表示フレームまたは画像解像度を調整することをさらに含む、請求項1から4のいずれか1項に記載の方法。
  6. 前記コンピューティングデバイスのコンピューティングリソースを、前記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションから前記仮想現実アプリケーションに割当てることをさらに備える、請求項1から5のいずれか1項に記載の方法。
  7. 前記コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、
    前記検出に応答して、前記瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、前記仮想現実アプリケーションから前記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることとをさらに備える、請求項1から6のいずれか1項に記載の方法。
  8. 前記画面の移動を検出することと、
    前記検出の後の少なくともある期間にわたって、1つ以上の表示フレームを前記画面に表示するための視野を調整することとをさらに備える、請求項1から7のいずれか1項に記載の方法。
  9. コンピュータによって実行される方法であって、
    符号化ビデオ信号を受信することと、
    コンピューティングデバイス上に提供される仮想現実アプリケーションによって、前記符号化ビデオ信号に基づいてビデオレンダリングを実行して第1のセットの表示フレームを前記コンピューティングデバイスの画面に表示することと、
    前記コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、
    前記瞬目期間の少なくとも一部にわたって、コンピューティングリソースを、前記仮想現実アプリケーションから前記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることとを備える、方法。
  10. 前記仮想現実アプリケーションによって、前記瞬目期間の少なくとも一部にわたってビデオレンダリングを停止することと、
    前記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションによって、前記瞬目期間の少なくとも一部の間に1つ以上の非ビデオレンダリングタスクを実行することとをさらに備える、請求項9に記載の方法。
  11. 前記仮想現実アプリケーションによって、前記瞬目期間の少なくとも一部にわたってビデオレンダリング速度を減少させることと、
    前記瞬目期間の少なくとも一部にわたって、少なくともいくらかのコンピューティングリソースを、前記仮想現実アプリケーションから前記コンピューティングデバイス上で実行される1つ以上の非仮想現実アプリケーションに割当てることと、
    前記コンピューティングデバイス上で実行される前記1つ以上の非仮想現実アプリケーションによって、前記瞬目期間の少なくとも一部の間に1つ以上の非ビデオレンダリングタスクを実行することとをさらに備える、請求項9から10のいずれか1項に記載の方法。
  12. 前記瞬目期間の終わりにまたは終わり間近に、
    少なくともいくらかのコンピューティングリソースを、前記コンピューティングデバイス上で実行される前記1つ以上の非仮想現実アプリケーションから前記仮想現実アプリケーションに再割当てすること、および
    前記仮想現実アプリケーションによってビデオレンダリング速度を増加させること
    の1つ以上を実行することをさらに備える、請求項11に記載の方法。
  13. 非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法であって、前記方法は、
    コンピューティングデバイス上に提供される仮想現実アプリケーションによって、第1の更新レートで前記コンピューティングデバイスの画面上の画像全体を更新することに基づいて第1のビデオレンダリング速度でビデオレンダリングを実行することと、
    前記画面の移動を検出することと、
    前記検出に基づいて、前記第1の更新レートで前記画像の第1の部分を更新することによって、かつ前記第1の更新レートと異なる第2の更新レートで前記画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することとを備える、方法。
  14. 前記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
    前記判断に基づいて、前記第1の更新レートで前記画像の中央部を更新することによって、かつ前記第1の更新レート未満の第2の更新レートで前記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む、請求項13に記載の方法。
  15. 前記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
    前記検出に基づいて、前記第1の更新レートおよび第1の画像解像度で前記画像の中央部を更新することによって、かつ前記第2の更新レートおよび前記第1の画像解像度未満の第2の画像解像度で前記画像の周辺部を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含み、前記第2の更新レートは前記第1の更新レート未満である、請求項13から14のいずれか1項に記載の方法。
  16. 前記第2のビデオレンダリング速度でビデオレンダリングを実行することは、
    前記検出に基づいて、第1の解像度で前記画像の第1の部分を更新することによって、かつ前記第1の解像度と異なる第2の解像度で前記画像の第2の部分を更新することによって、第2のビデオレンダリング速度でビデオレンダリングを実行することを含む、請求項13から15のいずれか1項に記載の方法。
  17. 非一時的なコンピュータ読取可能な記憶媒体上に記憶される命令を実行するためのコンピュータによって実行される方法であって、前記方法は、
    右眼画像および左眼画像を含む立体画像をコンピューティングデバイスの画面に表示することを備え、前記左眼画像および前記右眼画像の各々は1つ以上のオブジェクトを表わしており、前記方法はさらに、
    前記コンピューティングデバイスのユーザから見える、見えるオブジェクトを判定することを備え、前記見えるオブジェクトは、前記左眼画像の一部である左に見えるオブジェクト、および前記右眼画像の一部である右に見えるオブジェクトを含み、前記方法はさらに、
    前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の視差を測定することと、
    前記コンピューティングデバイスのユーザの瞬目期間の開始を検出することと、
    前記瞬目期間中に、前記左眼画像および前記右眼画像の一方または両方を移動させて、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差を減少させることとを備える、方法。
  18. 前記移動させることは、
    前記瞬目期間中に、前記左眼画像および前記右眼画像の一方または両方を移動させて、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差を除去することを含む、請求項17に記載の方法。
  19. 前記移動させることは、
    前記瞬目期間の前に、前記左眼画像および前記右眼画像の一方または両方の移動を開始して、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差を減少させることと、
    前記瞬目期間中に、前記左眼画像および前記右眼画像の一方または両方の移動を継続して、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差をさらに減少させることとを含む、請求項17から18のいずれか1項に記載の方法。
  20. 前記移動させることは、
    前記瞬目期間の前に、前記左眼画像および前記右眼画像の一方または両方を第1の移動速度で移動させて、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差を減少させることと、
    前記瞬目期間中に、前記左眼画像および前記右眼画像の一方または両方の第2の移動速度での移動を継続して、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差をさらに減少させることとを含み、前記第2の移動速度は前記第1の移動速度よりも速い、請求項17から19のいずれか1項に記載の方法。
  21. 前記ユーザのどちらの眼が非優位眼であるかを判断することと、
    非瞬目期間中に、前記ユーザの非優位眼の画像のみを移動させて、前記左に見えるオブジェクトと前記右に見えるオブジェクトとの間の前記視差を減少させることとをさらに備える、請求項17から20のいずれか1項に記載の方法。
JP2020117784A 2015-12-22 2020-07-08 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理 Active JP7095030B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/978,320 2015-12-22
US14/978,320 US10229540B2 (en) 2015-12-22 2015-12-22 Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018513628A Division JP6732893B2 (ja) 2015-12-22 2016-12-20 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理

Publications (2)

Publication Number Publication Date
JP2020174384A true JP2020174384A (ja) 2020-10-22
JP7095030B2 JP7095030B2 (ja) 2022-07-04

Family

ID=57797003

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018513628A Active JP6732893B2 (ja) 2015-12-22 2016-12-20 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理
JP2020117784A Active JP7095030B2 (ja) 2015-12-22 2020-07-08 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018513628A Active JP6732893B2 (ja) 2015-12-22 2016-12-20 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理

Country Status (8)

Country Link
US (2) US10229540B2 (ja)
EP (1) EP3394835B1 (ja)
JP (2) JP6732893B2 (ja)
KR (2) KR102241405B1 (ja)
CN (2) CN108140262B (ja)
AU (1) AU2016378555B2 (ja)
CA (1) CA2998904C (ja)
WO (1) WO2017112692A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443719B2 (en) 2018-03-29 2022-09-13 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569883B2 (en) * 2013-12-12 2017-02-14 Intel Corporation Decoupled shading pipeline
KR102193036B1 (ko) * 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR20190049784A (ko) * 2016-09-22 2019-05-09 애플 인크. 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
US10306180B2 (en) * 2016-10-21 2019-05-28 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
WO2018167532A1 (fr) * 2017-03-13 2018-09-20 Spondeo Group Sa Procédé de génération de données multimédia associée à un système de sport
US10591971B2 (en) * 2017-04-01 2020-03-17 Intel Corporation Adaptive multi-resolution for graphics
US10649521B2 (en) 2017-04-24 2020-05-12 Intel Corporation Compensating for high head movement in head-mounted displays
CN113923438A (zh) * 2017-04-27 2022-01-11 谷歌有限责任公司 合成立体视觉图像内容捕获
US10880086B2 (en) * 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences
US10572761B1 (en) * 2017-06-05 2020-02-25 Google Llc Virtual reality system using super-resolution
US11158126B1 (en) * 2017-06-30 2021-10-26 Apple Inc. Redirected walking in virtual reality environments
US10460527B2 (en) * 2017-06-30 2019-10-29 Tobii Ab Systems and methods for displaying images in a virtual world environment
WO2019006650A1 (zh) * 2017-07-04 2019-01-10 腾讯科技(深圳)有限公司 虚拟现实内容的显示方法和装置
CN107390868A (zh) * 2017-07-13 2017-11-24 三星电子(中国)研发中心 一种虚拟现实的逃离方法及装置
US10423632B2 (en) * 2017-07-19 2019-09-24 Facebook, Inc. Systems and methods for incrementally downloading augmented-reality effects
JP2019033339A (ja) * 2017-08-07 2019-02-28 キヤノン株式会社 情報処理装置、投影装置、情報処理方法、及び、プログラム
CN109388448B (zh) 2017-08-09 2020-08-04 京东方科技集团股份有限公司 图像显示方法、显示系统以及计算机可读存储介质
GB2566013B (en) * 2017-08-24 2022-12-07 Displaylink Uk Ltd Compressing image data for transmission to a display
GB2607455B (en) * 2017-08-24 2023-02-15 Displaylink Uk Ltd Compressing image data for transmission to a display
CN111052046B (zh) * 2017-09-29 2022-06-03 苹果公司 使用现实界面访问外部设备的功能
EP3467617A1 (en) * 2017-10-03 2019-04-10 Nokia Technologies Oy Apparatus and associated methods for reducing a likely sickness of a viewer of immersive visual content
BR112020008073A2 (pt) 2017-10-12 2020-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. otimização de fornecimento de áudio para aplicativos de realidade virtual
US10979744B2 (en) 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
GB2571300B (en) 2018-02-23 2020-05-27 Sony Interactive Entertainment Inc Eye tracking method and apparatus
EP3540566B1 (en) 2018-03-12 2022-06-08 Nokia Technologies Oy Rendering a virtual scene
USD868108S1 (en) * 2018-03-16 2019-11-26 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
US20190302881A1 (en) * 2018-03-29 2019-10-03 Omnivision Technologies, Inc. Display device and methods of operation
CN108810554B (zh) * 2018-06-15 2021-06-22 腾讯科技(深圳)有限公司 虚拟场景的场景图像传输方法、计算机设备及存储介质
US10802585B2 (en) 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
US20200023157A1 (en) * 2018-07-17 2020-01-23 Limbix Health, Inc. Dynamic digital content delivery in a virtual environment
US10600236B2 (en) * 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US11726320B2 (en) 2018-08-29 2023-08-15 Sony Corporation Information processing apparatus, information processing method, and program
JP7414731B2 (ja) 2018-12-04 2024-01-16 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
US10901502B2 (en) 2019-06-27 2021-01-26 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
US20220335693A1 (en) * 2019-07-31 2022-10-20 Nippon Telegraph And Telephone Corporation Mixed reality space sharing system, sharing information management server, mixed reality terminal, mixed reality space sharing method, and sharing information management program
CN110471731B (zh) * 2019-08-09 2022-08-05 网易(杭州)网络有限公司 显示界面绘制方法、装置、电子设备及计算机可读介质
US20230169712A1 (en) * 2020-02-28 2023-06-01 Nippon Telegraph And Telephone Corporation Resource estimation apparatus, resource estimation method and program
CN111556305B (zh) * 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN111626915B (zh) * 2020-05-29 2024-03-26 大陆汽车车身电子系统(芜湖)有限公司 一种图像显示方法
CN112230776A (zh) * 2020-10-29 2021-01-15 北京京东方光电科技有限公司 虚拟现实显示方法、装置及存储介质
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法
CN113362450B (zh) * 2021-06-02 2023-01-03 聚好看科技股份有限公司 一种三维重建方法、装置及系统
CN113791687B (zh) * 2021-09-15 2023-11-14 咪咕视讯科技有限公司 Vr场景中的交互方法、装置、计算设备及存储介质
CN115278288B (zh) * 2022-09-23 2022-12-20 腾讯科技(深圳)有限公司 一种显示处理方法、装置、计算机设备及可读存储介质
US20240103596A1 (en) * 2022-09-23 2024-03-28 Qualcomm Incorporated Providing runtime power profile tuning based on eye state in processor-based extended reality (xr) devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080111833A1 (en) * 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
WO2014197873A2 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Transitioning gameplay on a head-mounted display
WO2014197226A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20140364228A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Sharing three-dimensional gameplay
WO2015001754A1 (ja) * 2013-07-05 2015-01-08 株式会社スクウェア・エニックス 画面提供装置、画面提供システム、制御方法、プログラム、及び記録媒体
US20150348511A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Display Refresh Rate Based On Device Motion

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6717578B1 (en) * 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
JP2000193910A (ja) * 1998-10-20 2000-07-14 Matsushita Electric Works Ltd ディスプレイ装置
KR20040005290A (ko) 2002-07-09 2004-01-16 엘지전자 주식회사 이동통신 단말기의 영상신호 코딩 방법
US7817829B2 (en) * 2004-03-15 2010-10-19 Koninklijke Philips Electronics N.V. Image visualization
US7519845B2 (en) * 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering
US7605794B2 (en) 2005-12-22 2009-10-20 Nokia Corporation Adjusting the refresh rate of a display
DE102006032239A1 (de) * 2006-07-12 2008-01-17 Patrick Fischer Seilbahn mit veränderbarer Tragseillage
US8243141B2 (en) 2007-08-20 2012-08-14 Greenberger Hal P Adjusting a content rendering system based on user occupancy
US8810511B2 (en) 2007-09-11 2014-08-19 Gm Global Technology Operations, Llc Handheld electronic device with motion-controlled cursor
US8214750B2 (en) * 2007-10-31 2012-07-03 International Business Machines Corporation Collapsing areas of a region in a virtual universe to conserve computing resources
US7910228B2 (en) 2007-11-16 2011-03-22 Academia Sinica Materials for organic light-emitting diodes
WO2010062479A1 (en) 2008-11-02 2010-06-03 David Chaum System and apparatus for eyeglass appliance platform
US8291460B1 (en) 2010-02-12 2012-10-16 Adobe Systems Incorporated Rate adaptation based on dynamic performance monitoring
CN103202010B (zh) * 2010-11-09 2014-12-03 富士胶片株式会社 增强现实感提供设备
US8910228B2 (en) 2010-11-09 2014-12-09 Vmware, Inc. Measurement of remote display performance with image-embedded markers
US9111326B1 (en) * 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
JP5953714B2 (ja) * 2011-11-24 2016-07-20 セイコーエプソン株式会社 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
JP5936379B2 (ja) * 2012-02-07 2016-06-22 シャープ株式会社 画像表示装置
JP2013214234A (ja) * 2012-04-03 2013-10-17 Sony Corp 移動制御装置、移動制御方法、およびプログラム
US8937591B2 (en) * 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
US9123142B2 (en) 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
US20140152676A1 (en) * 2012-11-30 2014-06-05 Dave Rohn Low latency image display on multi-display device
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US10685487B2 (en) * 2013-03-06 2020-06-16 Qualcomm Incorporated Disabling augmented reality (AR) devices at speed
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
TWI486630B (zh) 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
KR102081933B1 (ko) 2013-08-28 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US9529195B2 (en) * 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9652893B2 (en) * 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US20180004288A1 (en) * 2015-01-29 2018-01-04 Kyocera Corporation Electronic device
KR102274743B1 (ko) * 2015-01-30 2021-07-08 삼성전자주식회사 전자 장치 및 전자 장치의 화면 영역 처리 방법
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101713735B1 (ko) * 2015-07-10 2017-03-08 현대자동차 주식회사 친환경 차량의 저전압 직류 변환기의 출력 제어 방법, 및 친환경 차량의 저전압 직류 변환기
US9978183B2 (en) * 2015-09-18 2018-05-22 Fove, Inc. Video system, video generating method, video distribution method, video generating program, and video distribution program
WO2017053974A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
WO2017051564A1 (ja) * 2015-09-25 2017-03-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
EP3362991A1 (en) * 2015-10-17 2018-08-22 Arivis AG Direct volume rendering in virtual and/or augmented reality
KR20180011539A (ko) * 2016-07-25 2018-02-02 삼성전자주식회사 영상의 처리를 위한 전자 장치
US20180095531A1 (en) * 2016-10-05 2018-04-05 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Non-uniform image resolution responsive to a central focus area of a user

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080111833A1 (en) * 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
WO2014197873A2 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Transitioning gameplay on a head-mounted display
WO2014197226A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20140364228A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Sharing three-dimensional gameplay
WO2015001754A1 (ja) * 2013-07-05 2015-01-08 株式会社スクウェア・エニックス 画面提供装置、画面提供システム、制御方法、プログラム、及び記録媒体
US20150348511A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Display Refresh Rate Based On Device Motion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443719B2 (en) 2018-03-29 2022-09-13 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
CA2998904C (en) 2022-08-30
KR102088472B1 (ko) 2020-04-20
US10229540B2 (en) 2019-03-12
KR102241405B1 (ko) 2021-04-16
EP3394835A2 (en) 2018-10-31
CN108140262B (zh) 2022-03-29
JP6732893B2 (ja) 2020-07-29
WO2017112692A4 (en) 2017-09-14
CN108140262A (zh) 2018-06-08
JP7095030B2 (ja) 2022-07-04
JP2019507509A (ja) 2019-03-14
AU2016378555B2 (en) 2019-03-21
KR20200027060A (ko) 2020-03-11
CN114758045A (zh) 2022-07-15
US20170178408A1 (en) 2017-06-22
EP3394835B1 (en) 2021-02-03
US11100714B2 (en) 2021-08-24
AU2016378555A1 (en) 2018-03-22
KR20180039723A (ko) 2018-04-18
US20190206139A1 (en) 2019-07-04
WO2017112692A3 (en) 2017-08-10
CA2998904A1 (en) 2017-06-29
WO2017112692A2 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
JP7095030B2 (ja) 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理
US11244512B2 (en) Hybrid rendering for a wearable display attached to a tethered computer
US10068553B2 (en) Enhanced rendering by a wearable display attached to a tethered computer
US10546364B2 (en) Smoothly varying foveated rendering
US10559065B2 (en) Information processing apparatus and information processing method
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
US11960091B2 (en) Method and device for controlling display of content
US11375244B2 (en) Dynamic video encoding and view adaptation in wireless computing environments
WO2023116016A1 (zh) 增强现实设备的图像优化方法、装置、电子设备及系统
US11138804B2 (en) Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing
US11979657B1 (en) Power efficient object tracking
US11706383B1 (en) Presenting video streams on a head-mountable device
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
US20240029363A1 (en) Late stage occlusion based rendering for extended reality (xr)
US20240103705A1 (en) Convergence During 3D Gesture-Based User Interface Element Movement
TW202001695A (zh) 預測軌跡的方法及裝置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R150 Certificate of patent or registration of utility model

Ref document number: 7095030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150