JP2021185409A - Ar/vrディスプレイシステムにおける電流ドレイン低減 - Google Patents

Ar/vrディスプレイシステムにおける電流ドレイン低減 Download PDF

Info

Publication number
JP2021185409A
JP2021185409A JP2021110759A JP2021110759A JP2021185409A JP 2021185409 A JP2021185409 A JP 2021185409A JP 2021110759 A JP2021110759 A JP 2021110759A JP 2021110759 A JP2021110759 A JP 2021110759A JP 2021185409 A JP2021185409 A JP 2021185409A
Authority
JP
Japan
Prior art keywords
display
user
display system
eye
current drain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021110759A
Other languages
English (en)
Other versions
JP7280922B2 (ja
Inventor
モル タル
Mor Tal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021185409A publication Critical patent/JP2021185409A/ja
Priority to JP2022148941A priority Critical patent/JP7387843B2/ja
Application granted granted Critical
Publication of JP7280922B2 publication Critical patent/JP7280922B2/ja
Priority to JP2023194132A priority patent/JP2024020401A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • G09G3/3648Control of matrices with row and column drivers using an active matrix
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)
  • Electronic Switches (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】仮想現実および拡張現実システム内の電力管理を提供すること【解決手段】いくつかの実施形態では、眼追跡が、ARディスプレイシステムまたはVRディスプレイシステム上で使用され、ディスプレイシステムのユーザが瞬目中であるかまたは別様に見えていないかを判定する。それに応答して、ディスプレイシステムと関連付けられたディスプレイの電流ドレインまたは電力使用量が、例えば、ディスプレイと関連付けられた光源を減光もしくはオフにすることによって、または指定された数のフレームをスキップするようにグラフィックドライバを構成する、もしくは指定された期間にわたってリフレッシュレートを低減させることによって、低減されてもよい。【選択図】なし

Description

(関連出願の相互参照)
本願は、2016年3月4日に出願された米国仮出願第62/304,098号の利益を主張するものであり、これは、全体が参照により本明細書中に援用される。
(分野)
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、仮想現実および拡張現実システム内の電力管理に関する。
(関連技術の説明)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、それらが現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張として、デジタルまたは仮想画像情報の提示を伴う。
本開示のシステムおよび方法は、それぞれがいくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない。種々の例示的システムおよび方法が、以下に提供される。
実施形態1:低減された電力使用量を伴うディスプレイシステムであって、
内向きに面したセンサと、
ディスプレイと、
内向きに面したセンサおよびディスプレイと通信している処理電子機器であって、
内向きに面したセンサを使用して、ユーザの眼のステータスにおける変化を検出することと、
ユーザの眼のステータスにおける変化が検出されたときに基づいて、ディスプレイシステムの電流ドレインを低減させることと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
実施形態2:ユーザの眼のステータスにおける変化は、瞬目(blink)またはサッケード(saccade)である、実施形態1に記載のディスプレイシステム。
実施形態3:ディスプレイは、光源を備え、ディスプレイの電流ドレインを低減させることは、ディスプレイの光源を減光することを含む、実施形態1−2のいずれかに記載のディスプレイシステム。
実施形態4:ディスプレイは、光源を備え、ディスプレイの電流ドレインを低減させることは、光源をオフにすることを含む、実施形態1−2のいずれかに記載のディスプレイシステム。
実施形態5:ディスプレイの電流ドレインを低減させることは、ディスプレイによって消費される電力の量を低減させるようにディスプレイと関連付けられたグラフィックドライバを構成することを含む、実施形態1−4のいずれかに記載のディスプレイシステム。
実施形態6:グラフィックドライバは、指定された数のフレームをスキップするように構成され、指定された数のフレームは、眼が瞬目またはサッケードする時間の長さに基づく、実施形態5に記載のディスプレイシステム。
実施形態7:ディスプレイは、LCDディスプレイを備える、実施形態1−6のいずれかに記載のディスプレイシステム。
実施形態8:ディスプレイシステムは、拡張現実または仮想現実ディスプレイを備える、実施形態1−7のいずれかに記載のディスプレイシステム。
実施形態9:内向きに面したセンサは、カメラを備える、実施形態1−8のいずれかに記載のディスプレイシステム。
実施形態10:内向きに面したセンサは、眼追跡カメラを備える、実施形態1−9のいずれかに記載のディスプレイシステム。
実施形態11:処理電子機器は、ディスプレイと関連付けられたリフレッシュレートを低減させることによって、ディスプレイの電流ドレインを低減させるように構成される、実施形態1−10のいずれかに記載のディスプレイシステム。
実施形態12:グラフィックドライバをさらに備え、ディスプレイシステムの電流ドレインを低減させることは、グラフィックドライバの電力消費量を低減させることを含む、実施形態1−11のいずれかに記載のディスプレイシステム。
実施形態13:ディスプレイシステムの電力の使用量を低減させるための方法であって、
内向きに面したセンサを使用して、ユーザの眼のステータスにおける変化を検出するステップと、
ユーザの眼のステータスにおける変化が検出されたときに基づいて、ディスプレイシステムの電流ドレインを低減させるステップと
を含む、方法。
実施形態14:ユーザの眼のステータスにおける変化は、瞬目またはサッケードである、実施形態13に記載の方法。
実施形態15:ディスプレイシステムは、光源を備え、ディスプレイシステムの電流ドレインを低減させるステップは、ディスプレイシステムの光源を減光するステップを含む、実施形態13−14のいずれかに記載の方法。
実施形態16:ディスプレイシステムは、光源を備え、ディスプレイシステムの電流ドレインを低減させるステップは、ディスプレイの光源をシャットオフするステップを含む、実施形態13−14のいずれかに記載の方法。
実施形態17:ディスプレイシステムの電流ドレインを低減させるステップは、ディスプレイシステムによって消費される電力の量を低減させるようにディスプレイシステムと関連付けられたグラフィックドライバを構成するステップを含む、実施形態13−16のいずれかに記載の方法。
実施形態18:グラフィックドライバは、指定された数のフレームをスキップするように構成され、指定された数のフレームは、瞬目の長さまたは眼が見えていない時間の長さに基づく、実施形態17に記載の方法。
実施形態19:グラフィックドライバは、瞬目の長さまたは眼が見えていない時間の長さに基づく指定された期間にわたって、ディスプレイシステムによって消費される電力の量を低減させるように構成される、実施形態17に記載の方法。
実施形態20:ディスプレイシステムは、LCDディスプレイを備える、実施形態13−19のいずれかに記載の方法。
実施形態21:ディスプレイシステムは、拡張現実または仮想現実ディスプレイを備える、実施形態13−20のいずれかに記載の方法。
実施形態22:内向きに面したセンサは、眼追跡カメラを備える、実施形態13−21のいずれかに記載の方法。
実施形態23:ディスプレイシステムの電流ドレインを低減させるステップは、ディスプレイと関連付けられたリフレッシュレートを低減させるステップを含む、実施形態13−22のいずれかに記載の方法。
実施形態24:ディスプレイシステムの電流ドレインを低減させるステップは、グラフィックドライバの電力消費量を低減させるステップを含む、実施形態13−23のいずれかに記載の方法。
実施形態25:ディスプレイシステムであって、
内向きに面したカメラと、
ディスプレイと、
内向きに面したカメラおよびディスプレイと通信しているハードウェア処理電子機器であって、
カメラを使用して、ディスプレイのユーザが瞬目中であるときを判定することと、
ユーザが瞬目中であることの判定に応答して、ディスプレイシステムの電流ドレインを低減させることと
を行うようにプログラムされる、ハードウェア処理電子機器と
を備える、ディスプレイシステム。
実施形態26:ディスプレイは、光源を備え、ディスプレイの電流ドレインを低減させることは、ディスプレイの光源を減光することを含む、実施形態25に記載のディスプレイシステム。
実施形態27:光源は、バックライトを備える、実施形態25−26のいずれかに記載のディスプレイシステム。
実施形態28:ディスプレイの電流ドレインを低減させることは、ディスプレイによって消費される電力の量を低減させるようにディスプレイと関連付けられたグラフィックドライバを構成することを含む、実施形態25−27のいずれかに記載のディスプレイシステム。
実施形態29:グラフィックドライバは、指定された数のフレームをスキップするように構成され、指定された数のフレームは、瞬目の長さに基づく、実施形態28に記載のディスプレイシステム。
実施形態30:グラフィックドライバは、瞬目の長さに基づく指定された期間にわたって、ディスプレイによって消費される電力の量を低減させるように構成される、実施形態28に記載のディスプレイシステム。
実施形態31:ディスプレイは、LCDディスプレイを備える、実施形態25−30のいずれかに記載のディスプレイシステム。
実施形態32:ディスプレイは、拡張現実または仮想現実ディスプレイを備える、実施形態25−31のいずれかに記載のディスプレイシステム。
実施形態33:ディスプレイ内の電流ドレインを低減させるための方法であって、
内向きに面したカメラを使用して、ディスプレイシステムのユーザが瞬目中であるときを判定するステップと、
ユーザが瞬目中であることの判定に応答して、ディスプレイの電流ドレインを低減させるステップと
を含む、方法。
実施形態34:ディスプレイは、光源を備え、ディスプレイの電流ドレインを低減させるステップは、ディスプレイの光源を減光するステップを含む、実施形態33に記載の方法。
実施形態35:光源は、バックライトを備える、実施形態34に記載の方法。
実施形態36:ディスプレイの電流ドレインを低減させるステップは、ディスプレイによって消費される電力の量を低減させるようにディスプレイと関連付けられたグラフィックドライバを構成するステップを含む、実施形態33−35のいずれかに記載の方法。
実施形態37:グラフィックドライバは、指定された数のフレームをスキップするように構成され、指定された数のフレームは、瞬目の長さに基づく、実施形態36に記載の方法。
実施形態38:グラフィックドライバは、瞬目の長さに基づく指定された期間にわたって、ディスプレイによって消費される電力の量を低減させるように構成される、実施形態36に記載の方法。
実施形態39:ディスプレイは、LCDディスプレイを備える、実施形態33−38のいずれかに記載の方法。
実施形態40:ディスプレイは、拡張現実または仮想現実ディスプレイを備える、実施形態33−39のいずれかに記載の方法。
実施形態41:カメラは、眼追跡カメラを備える、実施形態33−40のいずれかに記載の方法。
実施形態42:カメラは、眼追跡カメラを備える、実施形態25−32のいずれかに記載のディスプレイシステム。
実施形態43:ディスプレイは、頭部搭載型ディスプレイを備える、実施形態1−12のいずれかに記載のディスプレイシステム。
実施形態44:ディスプレイをユーザの眼の正面に支持するように構成される、フレームをさらに備える、実施形態1−12または43のいずれかに記載のディスプレイシステム。
実施形態45:ディスプレイシステムは、画像コンテンツが異なる深度に位置するようにユーザに現れるように、異なる発散量を伴って画像コンテンツをユーザに提供するように構成されるARシステムまたはVRシステムを備える、実施形態1−12または43−44のいずれかに記載のディスプレイシステム。
実施形態46:ディスプレイシステムは、頭部搭載型ディスプレイを備える、実施形態13−23のいずれかに記載の方法。
実施形態47:ディスプレイシステムはさらに、ディスプレイをユーザの眼の正面に支持するように構成される、フレームを備える、実施形態13−23または46のいずれかに記載の方法。
実施形態48:ディスプレイシステムは、画像コンテンツが異なる深度に位置するようにユーザに現れるように、異なる発散量を伴って画像コンテンツをユーザに提供するように構成されるARシステムまたはVRシステムを備える、実施形態13−23または46−47のいずれかに記載の方法。
本発明は、例えば、以下を提供する。
(項目1)
低減された電力使用量を伴うディスプレイシステムであって、
内向きに面したセンサと、
ディスプレイと、
前記内向きに面したセンサおよび前記ディスプレイと通信している処理電子機器であって、前記処理電子機器は、
前記内向きに面したセンサを使用して、ユーザの眼のステータスにおける変化を検出することと、
前記ユーザの眼のステータスにおける変化が検出されたときに基づいて、前記ディスプレイシステムの電流ドレインを低減させることと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目2)
前記ユーザの眼のステータスにおける変化は、瞬目またはサッケードである、項目1に記載のディスプレイシステム。
(項目3)
前記ディスプレイは、光源を備え、前記ディスプレイの電流ドレインを低減させることは、前記ディスプレイの光源を減光することを含む、項目1に記載のディスプレイシステム。
(項目4)
前記ディスプレイは、光源を備え、前記ディスプレイの電流ドレインを低減させることは、光源をオフにすることを含む、項目1に記載のディスプレイシステム。
(項目5)
前記ディスプレイの電流ドレインを低減させることは、前記ディスプレイによって消費される電力の量を低減させるように前記ディスプレイと関連付けられたグラフィックドライバを構成することを含む、項目1に記載のディスプレイシステム。
(項目6)
前記グラフィックドライバは、指定された数のフレームをスキップするように構成され、前記指定された数のフレームは、前記眼が瞬目またはサッケードする時間の長さに基づく、項目5に記載のディスプレイシステム。
(項目7)
前記ディスプレイは、LCDディスプレイを備える、項目1に記載のディスプレイシステム。
(項目8)
前記内向きに面したセンサは、カメラを備える、項目1に記載のディスプレイシステム。
(項目9)
前記処理電子機器は、前記ディスプレイと関連付けられたリフレッシュレートを低減させることによって、前記ディスプレイの電流ドレインを低減させるように構成される、項目1に記載のディスプレイシステム。
(項目10)
グラフィックドライバをさらに備え、前記ディスプレイシステムの電流ドレインを低減させることは、グラフィックドライバの電力消費量を低減させることを含む、項目1に記載のディスプレイシステム。
(項目11)
ディスプレイシステムの電力の使用量を低減させるための方法であって、
内向きに面したセンサを使用して、ユーザの眼のステータスにおける変化を検出するステップと、
前記ユーザの眼のステータスにおける変化が検出されたときに基づいて、前記ディスプレイシステムの電流ドレインを低減させるステップと
を含む、方法。
(項目12)
前記ユーザの眼のステータスにおける変化は、瞬目またはサッケードである、項目11に記載の方法。
(項目13)
前記ディスプレイシステムは、光源を備え、前記ディスプレイシステムの電流ドレインを低減させるステップは、前記ディスプレイシステムの光源を減光するステップを含む、項目11に記載の方法。
(項目14)
前記ディスプレイシステムは、光源を備え、前記ディスプレイシステムの電流ドレインを低減させるステップは、前記ディスプレイシステムの光源をシャットオフするステップを含む、項目11に記載の方法。
(項目15)
前記ディスプレイシステムの電流ドレインを低減させるステップは、前記ディスプレイシステムによって消費される電力の量を低減させるように前記ディスプレイシステムと関連付けられたグラフィックドライバを構成するステップを含む、項目11に記載の方法。(項目16)
前記グラフィックドライバは、指定された数のフレームをスキップするように構成され、前記指定された数のフレームは、瞬目の長さまたは前記眼が見えていない時間の長さに基づく、項目15に記載の方法。
(項目17)
前記グラフィックドライバは、瞬目の長さまたは前記眼が見えていない時間の長さに基づく指定された期間にわたって、前記ディスプレイシステムによって消費される電力の量を低減させるように構成される、項目15に記載の方法。
(項目18)
前記ディスプレイシステムは、LCDディスプレイを備える、項目11に記載の方法。(項目19)
前記ディスプレイシステムの電流ドレインを低減させるステップは、前記ディスプレイと関連付けられたリフレッシュレートを低減させるステップ含む、項目11に記載の方法。
(項目20)
前記ディスプレイシステムの電流ドレインを低減させるステップは、グラフィックドライバの電力消費量を低減させるステップを含む、項目11に記載の方法。
図1は、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
図2は、ウェアラブルディスプレイシステムの実施例を図示する。
図3は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図4は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。
図5A−5Cは、曲率半径と焦点半径との間の関係を図示する。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図7は、導波管によって出力された出射ビームの実施例を図示する。
図8は、ディスプレイシステムの電流ドレインを低減させるためのプロセスのフローチャートを図示する。
図面は、例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではないことを理解されたい。同様の参照番号は、全体を通して同様の特徴を指す。
(例示的ディスプレイシステム)
図1を参照すると、拡張現実場面100が、描写される。現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示されることを理解されたい。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。図1は、AR技術のユーザに、背景における人々、木々、建物を特徴とする実世界公園状設定110と、コンクリートプラットフォーム120とが見える、そのような場面の実施例を示す。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とを「見ている」と知覚するが、これらの要素130、150は、実世界には存在しない。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VR技術またはAR技術の生成は、困難である。
図2は、ウェアラブルディスプレイシステム200の実施例を図示する。ディスプレイシステム200は、ディスプレイ208と、そのディスプレイ208の機能をサポートするための種々の機械的および電子モジュールならびにシステムとを含む。ディスプレイ208は、フレーム212に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者201によって装着可能であって、ディスプレイ208をユーザ201の眼の正面に位置付けるように構成される。ディスプレイ208は、いくつかの実施形態では、アイウェアと見なされてもよい。いくつかの実施形態では、スピーカ216が、フレーム212に結合され、ユーザ201の外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。いくつかの実施形態では、ディスプレイシステムはまた、1つまたはそれを上回るマイクロホン(図示せず)または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが、入力またはコマンドをシステム200に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。
図2を継続して参照すると、ディスプレイ208は、有線導線または無線コネクティビティ等によって、ローカルデータ処理モジュール224に動作可能に結合され、これは、フレーム212に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ201に除去可能に取り付けられる(例えば、リュック式構成、ベルト結合式構成において)等、種々の構成で搭載されてもよい。ローカル処理およびデータモジュール224は、ハードウェアプロセッサまたは処理電子機器もしくは回路ならびに不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のセンサ(例えば、フレーム212に動作可能に結合される、または別様にユーザ201に取り付けられ得る)から捕捉された、および/またはb)可能性として処理または読出後にディスプレイ208への通過のための遠隔処理モジュール228および/または遠隔データリポジトリ232を使用して取得および/または処理された、データを含む。ローカル処理およびデータモジュール224は、これらの遠隔モジュール228、232が相互に動作可能に結合され、ローカル処理およびデータモジュール224に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク236、240によって、遠隔処理モジュール228および遠隔データリポジトリ232に動作可能に結合されてもよい。いくつかの実施形態では、場所処理およびデータモジュール224は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つもしくはそれを上回るものは、フレーム212に取り付けられてもよい、または有線もしくは無線通信経路によってローカル処理およびデータモジュール224と通信している独立構造であってもよい。
図2を継続して参照すると、いくつかの実施形態では、遠隔処理モジュール228は、データおよび/または画像情報を分析ならびに処理するように構成される、1つまたはそれを上回るプロセッサもしくは処理電子機器もしくは回路を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ232は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ232は、情報、例えば、拡張現実コンテンツを生成するための情報をローカル処理およびデータモジュール224および/または遠隔処理モジュール228に提供する、1つまたはそれを上回る遠隔サーバを含んでもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的な使用を可能にする。
「3次元」または「3−D」としての画像の知覚は、視認者の各眼への画像の若干異なる提示を提供することによって達成され得る。図3は、ユーザに関する3次元画像をシミュレートするための従来のディスプレイシステムを図示する。(眼302、304毎に1つの)2つの明確に異なる画像306、308が、ユーザに出力される。画像306、308は、視認者の視線と平行な光学軸またはz−軸に沿って距離310だけ眼302、304から離間される。画像306、308は、平坦であって、眼302、304は、単一の遠近調節された状態をとることによって、画像上に合焦し得る。そのようなシステムは、ヒト視覚系に依拠し、画像306、308を組み合わせ、組み合わせられた画像の深度の知覚を提供する。
しかしながら、ヒト視覚系は、より複雑であって、深度の現実的知覚を提供することは、より困難であることを理解されたい。例えば、理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動(vergence)および遠近調節(accommodation)の組み合わせに起因して、オブジェクトを「3次元」として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動の移動(すなわち、眼の視線を収束させ、オブジェクトに固定させるための相互に向かった、またはそこから離れる瞳孔の転動移動)は、眼の水晶体を集束させること(または「遠近調節」)と密接に関連付けられる。通常条件下では、1つのオブジェクトから異なる距離における別のオブジェクトに減衰を偏移させるとき、眼の輻輳・開散運動の変化は、「遠近調節−輻輳・開散運動反射」として知られる関係下、眼の水晶体の集束または眼の遠近調節における整合的変化を自動的に生じさせるであろう。同様に、遠近調節における変化は、正常条件下では、輻輳・開散運動における整合的変化を誘起するであろう。本明細書に記載されるように、多くの立体視または「3−D」ディスプレイシステムは、3次元視点がヒト視覚系によって知覚されるように、各眼への若干異なる提示(したがって、若干異なる画像)を使用して、場面を表示する。しかしながら、そのようなシステムは、とりわけ、単に、場面の異なる提示を提供するが、眼が全画像情報を単一の遠近調節された状態において視認すると、「遠近調節−輻輳・開散運動反射」に対抗して機能するため、多くの視認者にとって不快であり得る。遠近調節と輻輳・開散運動との間のより優れた整合を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図4は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。z−軸上の眼302、304からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼302、304によって遠近調節される。眼(302および304)は、特定の遠近調節された状態をとり、z−軸に沿って異なる距離においてオブジェクトに合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面のための遠近調節された状態にあるとき合焦するように、関連付けられた焦点距離を有する、深度平面402のうちの特定の1つと関連付けられると言え得る。いくつかの実施形態では、3次元画像は、眼302、304毎に画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによってシミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼302、304の視野は、例えば、z−軸に沿った距離が増加するにつれて重複し得ることを理解されたい。加えて、例証を容易にするために、平坦として示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。
オブジェクトと眼302または304との間の距離はまた、その眼によって視認されるようなそのオブジェクトからの光の発散の量を変化させることができる。図5A−5Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼302との間の距離は、減少距離R1、R2、およびR3の順序で表される。図5A−5Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼302との間の距離の減少に伴って増加する。その結果、異なる深度平面では、光線の発散度もまた、異なり、発散度は、深度平面と視認者の眼302との間の距離の減少に伴って増加する。単眼302のみが、例証を明確にするために、図5A−5Cおよび本明細書の他の図に図示されるが、眼302に関する議論は、視認者の両眼302および304に適用され得ることを理解されたい。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。異なる提示は、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面のための異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および/または焦点がずれている異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ててもよい。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム600は、複数の導波管620、622、624、626、628を使用して3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ605を含む。いくつかの実施形態では、ディスプレイシステム600は、図2のシステム200であって、図6は、そのシステム200のいくつかの部分をより詳細に図式的に示す。例えば、導波管アセンブリ605は、図2のディスプレイ208の一部であってもよい。
図6を継続して参照すると、導波管アセンブリ1240はまた、複数の特徴630、632、634、636を導波管間に含んでもよい。いくつかの実施形態では、特徴630、632、634、636は、レンズであってもよい。導波管620、622、624、626、628および/または複数のレンズ630、632、634、636は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス640、642、644、646、648は、導波管のための光源として機能してもよく、画像情報を導波管620、622、624、626、628の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼302に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。異なる源を使用することによって、光源自体が、所望に応じて、深度平面毎に照明をオンまたはオフに切り替えることによって、深度平面を切り替えするように作用する。光は、画像投入デバイス640、642、644、646、648の出力表面650、652、654、656、658から出射し、導波管620、622、624、626、628の対応する入力表面670、672、674、676、678の中に投入される。いくつかの実施形態では、入力表面670、672、674、676、678はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界610または視認者の眼302に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、クローン化されたコリメートビームの全体場を出力してもよく、これは、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼302に向かって指向される。いくつかの実施形態では、画像投入デバイス640、642、644、646、648のうちの単一の1つは、複数(例えば、3つ)の導波管620、622、624、626、628と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス640、642、644、646、648はそれぞれ、それぞれ対応する導波管620、622、624、626、628の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、例えば、画像投入デバイス640、642、644、646、648は、走査ファイバまたは走査ファイバディスプレイデバイスを備える。いくつかの他の実施形態では、画像投入デバイス640、642、644、646、648は、例えば、画像情報を1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して画像投入デバイス640、642、644、646、648のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス640、642、644、646、648によって提供される画像情報は、異なる波長または色(例えば、異なる原色)の光を含んでもよいことを理解されたい。
いくつかの実施形態では、導波管620、622、624、626、628の中に投入される光は、バックライト614b等の光源を含み得る、光出力モジュール614によって提供される。バックライト614bは、1つまたはそれを上回る発光ダイオード(LED)等の1つまたはそれを上回るエミッタを備えてもよい。バックライト614bからの光は、光変調器614a、例えば、空間光変調器によって修正されてもよい。光変調器614aは、導波管620、622、624、626、628の中に投入された光の知覚される強度を変化させるように構成されてもよい。空間光変調器の実施例は、液晶ディスプレイ(LCD)およびデジタル光処理(DLP)ディスプレイを含む。いくつかの実施形態では、光出力モジュールは、エミッタからの光を光変調器614aに出力するように構成される(例えば、光を伝送および/または反射させることによって)、1つまたはそれを上回る光ガイド、光パ一方、または反射体を含んでもよい。
コントローラ612は、画像投入デバイス640、642、644、646、648、光エミッタ614b、および/または光変調器614aの動作を含む、スタックされた導波管アセンブリ1240の1つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ612は、ローカルデータ処理モジュール224の一部である。コントローラ612は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管620、622、624、626、628への画像情報のタイミングおよびプロビジョニングを調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラ612は、ユーザの眼を撮像する、1つまたはそれを上回るカメラもしくはセンサ(例えば、内向きに面したカメラ)の動作および/またはそこから受信される入力を制御するように構成されてもよく、光エミッタ614bおよび/または光変調器614aの動作は、少なくとも部分的に、眼の画像および/または眼が瞬目または移動中であるときの判定等の関連付けられた画像データに基づいてもよい。いくつかの実施形態では、コントローラは、単一の一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ612は、いくつかの実施形態では、処理モジュールまたは電子機器224もしくは228(図2)および/または他の処理電子機器ならびに回路の一部であってもよい。
図6を継続して参照すると、導波管620、622、624、626、628、190は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管620、622、624、626、628はそれぞれ、主要な上部および底部表面ならびにそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管620、622、624、626、628はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼4に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素660、662、664、666、628を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素660、662、664、666、628は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明の容易性および図面の明確性のために、導波管620、622、624、626、628の底部主要表面に配置されるように図示されるが、いくつかの実施形態では、外部結合光学要素660、662、664、666、628は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよい、ならびに/もしくは導波管620、622、624、626、628の体積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素660、662、664、666、628は、透明基板に取り付けられ、導波管620、622、624、626、628を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管620、622、624、626、628は、材料のモノリシック部品であってもよく、外部結合光学要素660、662、664、666、628は、材料のその部品の表面上および/またはその内部に形成されてもよい。
図6を継続して参照すると、本明細書に議論されるように、各導波管620、622、624、626、628は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管620は、そのような導波管620の中に投入されるにつれて、眼302にコリメートされた光を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管622は、眼302に到達し得る前に、第1のレンズ630(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ630は、眼/脳が、その次の上方の導波管622から生じる光を光学無限遠から眼302に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管624は、眼302に到達する前に、その出力光を第1のレンズ630および第2のレンズ632の両方を通して通過させる。第1のレンズ630および第2のレンズ632の組み合わせられた屈折力は、眼/脳が、第3の導波管624から生じる光が次の上方の導波管622からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層626、628およびレンズ634、636も同様に構成され、スタック内の最高導波管628は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ605の他側の世界610から生じる光を視認/解釈するとき、レンズ630、632、634、636のスタックを補償するために、補償レンズ層638が、スタックの上部に配置され、下方のレンズスタック630、632、634、636の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面の両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
いくつかの実施形態では、導波管620、622、624、626、628のうちの2つまたはそれを上回るものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管620、622、624、626、628が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管620、622、624、626、628の複数のサブセットが、深度平面毎に1つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供することができる。
図6を継続して参照すると、外部結合光学要素660、662、664、666、628は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向することと、本光を適切な量の発散またはコリメーションを伴って出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素660、662、664、666、628の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素660、662、664、666、628は、立体または表面特徴であってもよく、これは、具体的角度において光を出力するように構成されてもよい。例えば、光抽出光学要素660、662、664、666、628は、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴630、632、634、636は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ(例えば、クラッディング層および/または空隙を形成するための構造)であってもよい。
いくつかの実施形態では、外部結合光学要素660、662、664、666、628は、回折パターンまたは「回折光学要素」(また、本明細書では、「DOE」とも称される)を形成する、回折特徴である。種々の実施形態では、DOEは、ビームの光の一部のみがDOEの各交差点を用いて眼302に向かって偏向される一方、残りが全内部反射を介して導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射するいくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼302に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折させる)。
図7は、導波管によって出力された出射ビームの実施例を示す。1つの導波管が図示されるが、導波管アセンブリ605内の他の導波管も同様に機能し得、導波管アセンブリ605は、複数の導波管を含むことを理解されたい。光700が、導波管620の入力表面670において導波管620の中に投入され、TIRによって導波管620内を伝搬する。光700がDOE660上に衝突する点では、光の一部は、導波管から出射ビーム702として出射する。出射ビーム7は、略平行として図示されるが、本明細書に議論されるように、また、導波管620と関連付けられた深度平面に応じて、ある角度(例えば、発散出射ビームを形成する)において眼302に伝搬するように再指向されてもよい。略平行出射ビームは、眼302からの遠距離(例えば、光学無限遠)における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼302がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼302に近い距離からの光として脳によって解釈されるであろう。
(電流ドレインの低減)
いくつかの実施形態では、前述のようなディスプレイシステム600は、バッテリによって給電されてもよい。電流ドレイン低減または電力低減は、バッテリからのより長いランタイムを提供するために、またはデバイスの加熱を低減させるために望ましくあり得る。いくつかの実施形態では、ディスプレイシステム200内の電流は、ディスプレイシステム620のディスプレイを点灯するために引き込まれ得る(例えば、バックライト614b、可能性として、1つまたはそれを上回る走査ファイバもしくは走査ファイバディスプレイデバイス等の画像投入デバイス640、642、644、646、648を使用して)。加えて、電流は、ディスプレイ(例えば、コントローラ612のグラフィックプロセッサまたはドライバ)を制御するためにも採用される。
本明細書に説明されるように、ある電流ドレイン低減または電力低減が、例えば、ディスプレイを減光またはオフにする(例えば、ディスプレイバックライトを減光またはオフにする)、ディスプレイ更新またはリフレッシュレートを低減させる、またはユーザ相互作用の欠如に基づいて、あるタイムアウト期間後、ディスプレイを減光もしくはシャットオフすることによって、達成されることができる。
本明細書に説明されるような拡張現実または仮想現実デバイスのいくつかの実施形態では、カメラ(または他の方法)が、眼移動を追跡するために使用されてもよい。ディスプレイシステム600は、ユーザの顔に対して内向きに、特に、ユーザの眼(例えば、眼302)に向かって指向される、内向きに面したカメラ616を備えてもよい。ある場合には、本眼追跡は、例えば、ディスプレイシステム600によって表示されているビューを調節するために行われてもよい。例えば、カメラ616は、眼302の画像を捕捉するために使用されてもよく、そこから眼の瞳孔または虹彩の状態または位置が、追跡されることができる。眼の瞳孔または虹彩の状態または位置は、デバイスのユーザが見ている場所を判定し、ディスプレイが適宜調節されることを可能にするために使用されてもよい。
いくつかの実施形態では、眼追跡は、ユーザの眼がユーザが一時的に見えていない状態にあるかどうかを判定するために使用されることができる。例えば、ユーザは、ユーザが瞬目中であるとき、見えていない場合がある。加えて、ユーザは、ユーザの眼がサッケード(例えば、凝視点間の眼の高速移動)を受けているとき、見えていない場合がある。
いくつかの実施形態では、眼追跡カメラまたは内向きに面したカメラ(または他のセンサもしくはセンサシステム)が、ユーザの瞳孔または虹彩が部分的または完全にビューからブロックされているかどうかを判定することによって、ユーザが瞬目中であるかどうかを判定するために使用されることができる。例えば、カメラは、ユーザの眼の虹彩を背景(例えば、ユーザの白眼)内の暗色円形として追跡してもよい。代替として、カメラは、ユーザの瞳孔を虹彩内のより暗色の円形として追跡してもよい。ユーザが瞬目中であるとき、虹彩または瞳孔によって画定された円形の一部または全部は、覆隠または断絶され得る。コントローラ612は、ユーザの虹彩または瞳孔に対応する円形パターンが部分的または全体的に欠落していることに応答して、瞬目を「グラフィック的に」検出してもよい。例えば、いくつかの実施形態では、円形パターンが可視である量が、閾値に対して比較されてもよく、可視(例えば、円形)パターンの量が閾値を満たさない場合、ユーザは、瞬目中であると判定される。いくつかの実施形態では、閾値は、ユーザ試験に基づいて、事前に構成されてもよい。
いくつかの実施形態では、コントローラ612は、カメラ616のビューから計算されるコントラストの量に基づいて、ユーザが瞬目中であるかどうかを検出してもよい。例えば、コントラストが閾値を満たすかどうかに関して、判定が行われてもよい。いくつかの実施形態では、ユーザの眼が開放され、ユーザの虹彩または瞳孔が可視であるとき、(例えば、眼または眼および眼瞼の組み合わせから)反射され、カメラによって捕捉された画像内には、高コントラスト量が存在し得る。一方、ユーザの眼が閉鎖される(例えば、ユーザの眼瞼が眼を被覆する)と、コントラスト量は、ユーザの眼が開放(例えば、少なくとも部分的に開放)されるときと比較してはるかに低くなり得る。したがって、コントローラ612は、コントラストが閾値より低いとき、瞬目を検出し得る。
いくつかの実施形態では、コントローラ612が、ユーザの虹彩または瞳孔の位置を検出不能である場合がある。例えば、コントローラ612は、ユーザの虹彩または瞳孔が検出されることができない場合、「エラー」状態を生成してもよく、これもまた、瞬目検出としての役割を果たし得る。
いくつかの実施形態では、コントローラ612は、ユーザによるサッケードを検出してもよい。ユーザの眼が、サッケードの状態にあるとき、ユーザは、ユーザの眼が開放しているにもかかわらず、任意の視覚的情報を知覚しない場合がある。いくつかの実施形態では、コントローラ612は、内向きに面したカメラ616を使用して、ユーザの虹彩または瞳孔の場所(例えば、前述のように、暗色円形として)を追跡することによって、サッケードを検出してもよい。あるレートを上回るユーザの虹彩または瞳孔の移動が、検出される場合、ユーザは、サッケード状態にあると見なされ得る。
いくつかの実施形態では、瞬目またはサッケードの期間は、所定の期間であってもよい。所定の期間は、ユーザ研究からの実験的データに基づいて判定されてもよい。いくつかの実施形態では、瞬目またはサッケードの期間は、前述のように、眼開放/閉鎖基準または眼移動基準に基づいて、ディスプレイシステム600の1つまたはそれを上回るセンサ(例えば、内向きに面したカメラ616)によって測定されてもよい。眼が、閉鎖されている、またはある期間にわたってサッケードを被っている場合、システムは、より低いエネルギー状態に設定され、電力を節約してもよい。
前述の議論は、主に、カメラを使用して、ユーザが見えていない(例えば、瞬目またはサッケードに起因して)状態を判定することに言及するが、ユーザの眼の状態を検出するために使用され得る、他のタイプのセンサシステム等、任意のタイプのハードウェアが、使用されてもよい。ある場合には、新しいハードウェアの追加によって消費されるであろう電力消費を低減させるために、ディスプレイシステム600とすでに統合されているハードウェア(例えば、ディスプレイシステム600内で他の目的を果たすために設計されるハードウェア)を利用することが望ましくあり得る。カメラまたは他のタイプのセンサシステムは、可視光の使用に限定されず、赤外線(IR)光を採用してもよい。
いくつかの実施形態では、ディスプレイシステム600は、ユーザが見えていない(例えば、瞬目またはサッケードに起因して)期間の間、その電流または電力ドレインを低減させてもよい。例えば、ディスプレイの電流ドレインまたは電力使用量は、ディスプレイと関連付けられたディスプレイのための光源(例えば、バックライト)を減光またはオフにすることを含み得る、1つまたはそれを上回る電流ドレインまたは電力低減技法を採用することによって低減されることができる。いくつかの実施形態では、ディスプレイシステム600の光源(例えば、バックライト)614bは、減光またはオフにされてもよい。他の実施形態(例えば、バックライトを有していないOLEDディスプレイを使用するディスプレイシステム)では、電流ドレインまたは電力使用量は、ディスプレイの1つまたはそれを上回るアクティブピクセルを減光またはオフにすることによって低減されてもよい。他のタイプのディスプレイコンポーネントまたはディスプレイは、眼が見えていないとき(例えば、瞬目またはサッケードの間)、オフにされる、減光される、またはより低い電力消費モードに設定されてもよい。
代替または組み合わせにおいて、ディスプレイと関連付けられたグラフィックドライバまたはプロセッサまたは処理電子機器は、いくつかのフレームを「スキップ」する、またはグラフィックドライバが、新しい画像を提供する、または画像をリフレッシュする場合より電力を少なく消費させる状態にある、指定された期間にわたって待機する。例えば、グラフィックドライバは、グラフィックプロセッサに、表示される画像のリフレッシュを一時停止させる、またはディスプレイのリフレッシュレートを低減させ、したがって、通常動作と比較して、より少ない電力を消費させることができる。いくつかの実装では、電流ドレインが低減される、フレームの数または期間は、瞬目またはサッケードの長さに対応するように構成されてもよい。瞬目の期間は、例えば、典型的には、100〜400ミリ秒である。
本明細書で議論される電流ドレイン低減技法のいずれかは、独立して、または相互に組み合わせて実施されてもよいことを理解されたい。例えば、いくつかの実施形態では、瞬目またはサッケードの検出に応答して、コントローラ612は、バックライト614bを減光させ、かつグラフィックドライバに、指定された数のフレームをスキップさせてもよい。他の実施形態では、コントローラ612は、グラフィックドライバに、バックライト614bを減光させずに、指定された数のフレームをスキップさせる、またはその逆であってもよい。
図8は、いくつかの実施形態による、電流ドレインまたは電力使用量を低減させるための例示的プロセスのフローチャートを図示する。本フローチャートの任意の部分は、処理電子機器または回路等の電子機器によって実行されてもよい。ブロック802では、ディスプレイシステムのユーザが見えていない状態(例えば、ユーザによる瞬目またはサッケード)が検出されるかどうかに関して、判定が行われる。いくつかの実施形態では、これは、ユーザの瞳孔または虹彩が、ビューからブロックされている、または高速移動を被っているかどうかを判定する、眼追跡もしくは内向きに面したカメラまたは他のセンサもしくはセンサシステムを使用して行われてもよい。瞬目またはサッケードが、検出される場合、プロセスは、ブロック804に進んでもよい。そうでなければ、プロセスは、例えば、ディスプレイシステムのユーザによる瞬目またはサッケードを検出するために、眼の監視を継続してもよい。
ブロック804では、ディスプレイと関連付けられた光源は、減光またはオフにされる。例えば、光源は、低電力モードに入る、または無効にされるように構成されてもよい。いくつかの実施形態では、光源は、バックライト614bを備えてもよい。他の実施形態では、光源は、ディスプレイ(例えば、OLEDディスプレイ)の複数のアクティブピクセルを備えてもよい。他の光源およびディスプレイ構成も、可能性として考えられる。
ブロック806では、ディスプレイシステムと関連付けられたグラフィックドライバは、消費される電力の量を低減させてもよい。例えば、グラフィックドライバは、X数のフレームをスキップする、または期間Yにわたって待機してもよく、XおよびYは、瞬目(例えば、100〜400ミリ秒)またはサッケードの期間に基づいて判定される。いくつかの実施形態では、グラフィックドライバは、ディスプレイのリフレッシュレートを低減させてもよい。
ブロック808では、ディスプレイと関連付けられた光源(例えば、バックライト614b、ディスプレイのアクティブピクセル、および/または同等物)またはディスプレイの他のコンポーネントは、オンに戻される、または減光解除され、ディスプレイシステムは、通常動作を再開する。本フローチャートに図示されるプロセスは、実施例であって、そのステップは、除外される、追加される、および/または並べ替えられてもよいことを理解されたい。
図8は、ディスプレイと関連付けられた光源を減光/オフにすることと(ブロック804、808)、グラフィックドライバまたはプロセッサの電力消費を低減させることと(ブロック806)の両方を図示するが、他の実施形態では、ディスプレイシステム600は、電流ドレインまたは電力低減技法の任意の組み合わせを実施してもよいことを理解されたい。例えば、いくつかの実施形態では、ディスプレイシステム600は、ディスプレイの光源を減光/オフにすることのみ、グラフィックドライバまたはプロセッサの電力消費を低減させることのみ(例えば、フレームをスキップする、リフレッシュレートを低減させる、および/または同等物)、または両方を実施してもよい。電力節約はまた、他のコンポーネントから生じてもよい。例えば、空間光変調器または1つもしくはそれを上回る走査ファイバもしくは走査ファイバディスプレイデバイスをより低い電力状態に設定することもまた、電力消費を低減させることができる。
平均的な人は、2〜10秒に約1回、100〜400ミリ秒の期間にわたって瞬目する。したがって、より低頻度のシナリオでは、眼は、時間の約1%にわたって閉鎖される。より典型的シナリオに関して、眼は、時間の2%〜5%にわたって閉鎖されるであろう。したがって、数パーセントの低減が、可能性として、光源(例えば、バックライトまたはアクティブピクセル)および/またはグラフィックドライバ/プロセッサを使用してディスプレイを点灯することと関連付けられた電流ドレインにおいて達成されることができる。
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例を参照する。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の精神および範囲から逸脱することなく、均等物が置換されてもよい。例えば、有利には、複数の深度平面を横断して画像を提供する、ARディスプレイとともに利用されるが、本明細書に開示される拡張現実コンテンツはまた、画像を単一深度平面上に提供するシステムによって表示されてもよい。
特定の状況、材料、組成物、プロセス、プロセスの行為またはステップを、本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることを目的としている。
本発明は、本デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、ユーザによって行われてもよい。換言すると、「提供する」行為は、本方法において必要デバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、起動する、電源投入する、または別様に作用するようにユーザに要求するにすぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。
加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、(本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず)均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることが理解される。
また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つまたはそれを上回る特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「1つの(a、an)」、「該(said)」、および「該(the)」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および/または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の範囲のみによって限定されるものとする。

Claims (10)

  1. 低減された電力使用量を伴うディスプレイシステムであって、前記ディスプレイシステムは、
    内向きに面したセンサと、
    ユーザによって装着されるように構成された頭部搭載型ディスプレイであって、前記ディスプレイは、前記ディスプレイを支持するように構成されたフレーム上に配置され、前記ディスプレイは、前記ユーザの視野に拡張現実画像コンテンツを表示するために光を前記ユーザの眼に投影するように構成され、前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記フレームを装着すると前記ユーザの眼の正面の位置に配置され、これにより、前記透明な部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光を前記ユーザの眼まで透過することにより、前記ユーザおよび前記頭部搭載型ディスプレイの正面の前記環境の前記一部のビューを提供する、ディスプレイと、
    前記内向きに面したセンサおよび前記ディスプレイと通信している処理電子機器であって、前記処理電子機器は、
    前記内向きに面したセンサを使用して、ユーザの眼のステータスにおける第1の変化を検出することであって、前記第1の変化は、前記ユーザの眼の閉じた状態に関連付けられたインジケーションを含む、ことと、
    ユーザの眼のステータスにおける第2の変化を検出することであって、前記第2の変化は、前記ユーザの眼の開いた状態に関連付けられたインジケーションを含む、ことと、
    前記ユーザの眼のステータスにおける前記変化に応答して、前記ディスプレイシステムの電流ドレインを低減させることであって、前記ディスプレイの電流ドレインを低減させることは、前記ディスプレイをオフにすることなく、複数のフレームにわたって前記ディスプレイによって消費される電力の量を低減させるように前記ディスプレイと関連付けられたグラフィックドライバを構成することを含む、ことと
    を行うように構成される、処理電子機器と
    を備える、ディスプレイシステム。
  2. 前記ディスプレイは、光源を備え、前記ディスプレイの電流ドレインを低減させることは、前記ディスプレイの光源を減光することを含む、請求項1に記載のディスプレイシステム。
  3. 前記グラフィックドライバは、指定された数のフレームをスキップするように構成され、前記指定された数のフレームは、前記ユーザが見えていない時間の長さに基づく、請求項1に記載のディスプレイシステム。
  4. 前記処理電子機器は、前記ディスプレイと関連付けられたリフレッシュレートを低減させることによって、前記ディスプレイの電流ドレインを低減させるようにさらに構成される、請求項1に記載のディスプレイシステム。
  5. ディスプレイシステムの電力使用量を低減させるための方法であって、
    内向きに面したセンサを使用してユーザの眼のステータスにおける第1の変化を検出することであって、前記第1の変化は、前記ユーザの眼の閉じた状態に関連付けられたインジケーションを含む、ことと、
    前記ユーザの眼のステータスにおける第2の変化を検出することであって、前記第2の変化は、前記ユーザの眼の開いた状態に関連付けられたインジケーションを含む、ことと、
    前記ユーザの眼のステータスにおける前記第1の変化を検出したことに応答して、前記ディスプレイシステムの電流ドレインを低減させることであって、前記ディスプレイの電流ドレインを低減させることは、前記ディスプレイをオフにすることなく、複数のフレームにわたって前記ディスプレイによって消費される電力の量を低減させるように前記ディスプレイと関連付けられたグラフィックドライバを構成することを含む、ことと、
    前記ユーザの眼のステータスにおける前記第2の変化を検出したことに応答して、前記ディスプレイシステムの電流ドレインを増加させることと
    を含む、方法。
  6. 前記ユーザの眼のステータスにおける前記第1の変化および前記第2の変化は、瞬目に対応する、請求項5に記載の方法。
  7. 前記ディスプレイの電流ドレインを低減させることは、光源をオフにすることをさらに含む、請求項5に記載の方法。
  8. 前記ディスプレイの電流ドレインを低減させることは、前記ディスプレイの光源を減光することをさらに含む、請求項5に記載の方法。
  9. 前記グラフィックドライバは、指定された数のフレームをスキップするように構成され、前記指定された数のフレームは、前記ユーザが見えていない時間の長さに基づく、請求項5に記載の方法。
  10. 前記グラフィックドライバは、前記ディスプレイと関連付けられたリフレッシュレートを低減させることによって前記ディスプレイの電流ドレインを低減させるようにさらに構成されている、請求項5に記載の方法。
JP2021110759A 2016-03-04 2021-07-02 Ar/vrディスプレイシステムにおける電流ドレイン低減 Active JP7280922B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022148941A JP7387843B2 (ja) 2016-03-04 2022-09-20 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2023194132A JP2024020401A (ja) 2016-03-04 2023-11-15 Ar/vrディスプレイシステムにおける電流ドレイン低減

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662304098P 2016-03-04 2016-03-04
US62/304,098 2016-03-04
JP2018545667A JP7190903B2 (ja) 2016-03-04 2017-03-02 Ar/vrディスプレイシステムにおける電流ドレイン低減

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018545667A Division JP7190903B2 (ja) 2016-03-04 2017-03-02 Ar/vrディスプレイシステムにおける電流ドレイン低減

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022148941A Division JP7387843B2 (ja) 2016-03-04 2022-09-20 Ar/vrディスプレイシステムにおける電流ドレイン低減

Publications (2)

Publication Number Publication Date
JP2021185409A true JP2021185409A (ja) 2021-12-09
JP7280922B2 JP7280922B2 (ja) 2023-05-24

Family

ID=59722695

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2018545667A Active JP7190903B2 (ja) 2016-03-04 2017-03-02 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2020033116A Active JP7274435B2 (ja) 2016-03-04 2020-02-28 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2021110759A Active JP7280922B2 (ja) 2016-03-04 2021-07-02 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2022148941A Active JP7387843B2 (ja) 2016-03-04 2022-09-20 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2023194132A Pending JP2024020401A (ja) 2016-03-04 2023-11-15 Ar/vrディスプレイシステムにおける電流ドレイン低減

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018545667A Active JP7190903B2 (ja) 2016-03-04 2017-03-02 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2020033116A Active JP7274435B2 (ja) 2016-03-04 2020-02-28 Ar/vrディスプレイシステムにおける電流ドレイン低減

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022148941A Active JP7387843B2 (ja) 2016-03-04 2022-09-20 Ar/vrディスプレイシステムにおける電流ドレイン低減
JP2023194132A Pending JP2024020401A (ja) 2016-03-04 2023-11-15 Ar/vrディスプレイシステムにおける電流ドレイン低減

Country Status (10)

Country Link
US (5) US11320900B2 (ja)
EP (1) EP3424038A4 (ja)
JP (5) JP7190903B2 (ja)
KR (3) KR20230109789A (ja)
CN (2) CN114690881A (ja)
AU (2) AU2017225977C1 (ja)
CA (1) CA3016032A1 (ja)
IL (3) IL307287A (ja)
NZ (2) NZ745738A (ja)
WO (1) WO2017151974A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ745738A (en) 2016-03-04 2020-01-31 Magic Leap Inc Current drain reduction in ar/vr display systems
KR102550587B1 (ko) 2016-03-25 2023-06-30 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
GB2607455B (en) * 2017-08-24 2023-02-15 Displaylink Uk Ltd Compressing image data for transmission to a display
GB2566013B (en) * 2017-08-24 2022-12-07 Displaylink Uk Ltd Compressing image data for transmission to a display
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
US10802585B2 (en) * 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
US20200073465A1 (en) * 2018-08-30 2020-03-05 Qualcomm Incorporated Load reduction in a visual rendering system
CN115100020A (zh) * 2019-01-18 2022-09-23 奇跃公司 虚拟、增强和混合现实系统以及方法
CN110658904A (zh) * 2019-09-19 2020-01-07 Oppo广东移动通信有限公司 控制终端电流的方法、装置、终端及存储介质
US11568242B2 (en) 2019-12-05 2023-01-31 International Business Machines Corporation Optimization framework for real-time rendering of media using machine learning techniques
US11960345B2 (en) 2021-05-25 2024-04-16 Samsung Electronics Co., Ltd. System and method for controlling operational modes for XR devices for performance optimization
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08266468A (ja) * 1994-10-31 1996-10-15 Taisho Pharmaceut Co Ltd 瞬き検出システム
JPH08271953A (ja) * 1995-03-30 1996-10-18 Olympus Optical Co Ltd ファインダ装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2009267733A (ja) * 2008-04-24 2009-11-12 Sharp Corp 撮像装置および撮像制御方法
JP2012203127A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
JP2013162407A (ja) * 2012-02-07 2013-08-19 Sharp Corp 画像表示装置
WO2015081313A2 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2015205114A (ja) * 2014-04-23 2015-11-19 アルプス電気株式会社 眼鏡型電子機器
WO2016018487A2 (en) * 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH09105853A (ja) 1995-10-06 1997-04-22 Canon Inc 光学装置及び撮影装置
JP3651204B2 (ja) 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
JP4129972B2 (ja) 2002-02-18 2008-08-06 オリンパス株式会社 偏心光学系
AU2003209553A1 (en) 2002-03-13 2003-09-22 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7656853B2 (en) 2004-12-27 2010-02-02 Microsoft Corporation Reducing power consumption of a wireless device
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8514215B2 (en) 2008-11-12 2013-08-20 International Business Machines Corporation Dynamically managing power consumption of a computer with graphics adapter configurations
US8965152B2 (en) 2008-12-12 2015-02-24 Bae Systems Plc Waveguides
JP5212155B2 (ja) 2009-02-10 2013-06-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20110085700A1 (en) 2009-07-13 2011-04-14 Lee Hans C Systems and Methods for Generating Bio-Sensory Metrics
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP5308305B2 (ja) 2009-10-20 2013-10-09 株式会社トーメーコーポレーション 網膜電位測定装置
US20110106025A1 (en) 2009-10-29 2011-05-05 Hall Gary S Ophthalmic fluid pump
US8345984B2 (en) 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
WO2011110728A1 (en) 2010-03-12 2011-09-15 Nokia Corporation Light-guiding structures
JP2012022150A (ja) 2010-07-14 2012-02-02 Nikon Corp 表示装置および表示方法
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
NZ725592A (en) 2010-12-24 2018-05-25 Magic Leap Inc An ergonomic head mounted display device and optical system
US9081416B2 (en) * 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元仮想現実および拡張現実表示システム
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
KR102223290B1 (ko) 2012-04-05 2021-03-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
NZ702897A (en) 2012-06-11 2017-03-31 Magic Leap Inc Multiple depth plane three-dimensional display using a wave guide reflector array projector
US8437513B1 (en) 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
CN104813218A (zh) 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学系统
US9207760B1 (en) 2012-09-28 2015-12-08 Google Inc. Input detection
JP6525880B2 (ja) 2012-10-18 2019-06-05 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ アドレス指定可能な焦点手がかりを用いた立体視ディスプレイ
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
KR102141992B1 (ko) 2013-01-15 2020-08-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
US20140247232A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
EP4193906A1 (en) 2013-03-11 2023-06-14 Magic Leap, Inc. Method for augmented and virtual reality
CN107656618B (zh) 2013-03-15 2021-03-23 奇跃公司 显示系统和方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9389683B2 (en) * 2013-08-28 2016-07-12 Lg Electronics Inc. Wearable display and method of controlling therefor
US9470906B2 (en) 2013-10-16 2016-10-18 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
JP5620562B1 (ja) 2013-10-23 2014-11-05 株式会社光波 単結晶蛍光体及び発光装置
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9651784B2 (en) * 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
CN106233189B (zh) 2014-01-31 2020-06-26 奇跃公司 多焦点显示系统和方法
KR20150098162A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 멀티미디어 데이터와 관련된 동작 제어 방법 및 장치
KR102302439B1 (ko) 2014-02-21 2021-09-15 삼성전자주식회사 전자 장치
EP3111421A1 (en) 2014-02-25 2017-01-04 EyeVerify Inc. Eye gaze tracking
NZ724518A (en) 2014-03-05 2021-12-24 Univ Arizona Wearable 3d augmented reality display
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN106537219B (zh) 2014-05-30 2021-03-16 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
NZ727350A (en) 2014-05-30 2020-08-28 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US9606622B1 (en) 2014-06-26 2017-03-28 Audible, Inc. Gaze-based modification to content presentation
JP2014222909A (ja) 2014-07-02 2014-11-27 パナソニック株式会社 表示装置、表示制御方法及び半導体装置
JP6573755B2 (ja) 2014-07-10 2019-09-11 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9946361B2 (en) * 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US20160131904A1 (en) 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
EP3216023A4 (en) 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US20160131905A1 (en) 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
IL309492A (en) 2015-03-16 2024-02-01 Magic Leap Inc Methods and systems for diagnosing and treating diseases
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
EP3109689A1 (en) 2015-06-22 2016-12-28 Nokia Technologies Oy Transition from a display power mode to a different display power mode
JP2017058853A (ja) 2015-09-15 2017-03-23 株式会社コーエーテクモゲームス 情報処理装置、動作制御方法、及び動作制御プログラム
WO2017139667A1 (en) 2016-02-11 2017-08-17 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
NZ745738A (en) 2016-03-04 2020-01-31 Magic Leap Inc Current drain reduction in ar/vr display systems
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
KR102550587B1 (ko) 2016-03-25 2023-06-30 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
KR20190026651A (ko) 2016-04-08 2019-03-13 비짜리오 인코포레이티드 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템
CA3032567A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN109147715A (zh) 2018-08-28 2019-01-04 武汉华星光电技术有限公司 用于降低显示面板功耗的方法及低功耗的显示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08266468A (ja) * 1994-10-31 1996-10-15 Taisho Pharmaceut Co Ltd 瞬き検出システム
JPH08271953A (ja) * 1995-03-30 1996-10-18 Olympus Optical Co Ltd ファインダ装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2009267733A (ja) * 2008-04-24 2009-11-12 Sharp Corp 撮像装置および撮像制御方法
JP2012203127A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置の制御のためのコンピュータープログラム
JP2013162407A (ja) * 2012-02-07 2013-08-19 Sharp Corp 画像表示装置
WO2015081313A2 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2015205114A (ja) * 2014-04-23 2015-11-19 アルプス電気株式会社 眼鏡型電子機器
WO2016018487A2 (en) * 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Also Published As

Publication number Publication date
IL307287A (en) 2023-11-01
JP2019510412A (ja) 2019-04-11
NZ756561A (en) 2023-04-28
US11402898B2 (en) 2022-08-02
KR20230109789A (ko) 2023-07-20
KR102370445B1 (ko) 2022-03-03
JP7190903B2 (ja) 2022-12-16
IL291915B2 (en) 2024-03-01
JP7280922B2 (ja) 2023-05-24
CN114690881A (zh) 2022-07-01
US11320900B2 (en) 2022-05-03
CA3016032A1 (en) 2017-09-08
IL261394B (en) 2022-05-01
AU2023202546B2 (en) 2024-05-09
US20200379553A1 (en) 2020-12-03
WO2017151974A1 (en) 2017-09-08
AU2017225977B2 (en) 2023-02-02
JP7387843B2 (ja) 2023-11-28
US20220261077A1 (en) 2022-08-18
CN109074785A (zh) 2018-12-21
AU2017225977A1 (en) 2018-09-13
IL291915B1 (en) 2023-11-01
KR20220027303A (ko) 2022-03-07
US10649527B2 (en) 2020-05-12
US20230333647A1 (en) 2023-10-19
JP2022173311A (ja) 2022-11-18
US20170255259A1 (en) 2017-09-07
KR20180118203A (ko) 2018-10-30
CN109074785B (zh) 2022-05-10
JP2020109522A (ja) 2020-07-16
AU2023202546A1 (en) 2023-05-11
AU2017225977C1 (en) 2023-08-03
EP3424038A1 (en) 2019-01-09
IL261394A (en) 2018-10-31
KR102556320B1 (ko) 2023-07-14
NZ745738A (en) 2020-01-31
EP3424038A4 (en) 2019-10-23
JP2024020401A (ja) 2024-02-14
JP7274435B2 (ja) 2023-05-16
IL291915A (en) 2022-06-01
US11775062B2 (en) 2023-10-03
US20190369724A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP7280922B2 (ja) Ar/vrディスプレイシステムにおける電流ドレイン低減
JP7404472B2 (ja) 周囲光源からの光を操作するためのシステムおよび方法
KR102550587B1 (ko) 가상 및 증강 현실 시스템들 및 방법들
KR102547307B1 (ko) 음향-광학 제어 디바이스를 사용하는 광 프로젝터
JP7357094B2 (ja) コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
CN113728267A (zh) 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法
CA3016032C (en) Current drain reduction in ar/vr display systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230512

R150 Certificate of patent or registration of utility model

Ref document number: 7280922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150