JP2022087104A - 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化 - Google Patents

拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化 Download PDF

Info

Publication number
JP2022087104A
JP2022087104A JP2022039089A JP2022039089A JP2022087104A JP 2022087104 A JP2022087104 A JP 2022087104A JP 2022039089 A JP2022039089 A JP 2022039089A JP 2022039089 A JP2022039089 A JP 2022039089A JP 2022087104 A JP2022087104 A JP 2022087104A
Authority
JP
Japan
Prior art keywords
user
image
head
mounted display
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022039089A
Other languages
English (en)
Inventor
ユー. ロバイナ ナスターシャ
U Robaina Nastashja
エリザベス サメック ニコル
Elizabeth Samec Nicole
エム. ハリセス クリストファー
M Harrises Christopher
アボビッツ ロニー
Abovitz Rony
ベーレンロッド マーク
Baerenrodt Mark
ロイド シュミット ブライアン
Lloyd Schmidt Brian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022087104A publication Critical patent/JP2022087104A/ja
Priority to JP2023111338A priority Critical patent/JP2023126317A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/258User interfaces for surgical systems providing specific settings for specific users
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Architecture (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Urology & Nephrology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化の提供。【解決手段】ディスプレイシステムは、光をユーザの眼に投影し、拡張現実画像コンテンツをユーザに表示するように構成される、頭部搭載型ディスプレイを含むことができる。本ディスプレイシステムは、ユーザを感知するように構成される、1つまたはそれを上回るユーザセンサを含むことができ、かつユーザの周囲を感知するように構成される、1つまたはそれを上回る環境センサを含むことができる。本ディスプレイシステムはまた、ディスプレイ、1つまたはそれを上回るユーザセンサ、および1つまたはそれを上回る環境センサと通信する、処理電子機器を含むことができる。【選択図】図12B

Description

(優先権主張)
本願は、2016年7月25日に出願された米国仮出願第62/366,599号、2016年9月16日に出願された米国仮出願第62/396,071号、2016年12月29日に出願された米国仮出願第62/440,332号に対する35 U.S.C.
119(e)のもとでの優先権の利益を主張するものである。これらの優先権ドキュメントの各々の全体の開示は、参照により本明細書中に援用される。
(参照による援用)
本願は、
2016年7月25日に出願された米国仮出願第62/366,555号、2016年7月20日に出願された米国仮出願第62/352,539号、2016年5月9日に出願された米国仮出願第62/333,734号、2014年3月14日に出願された米国出願第14/212,961号、2014年7月14日に出願された米国出願第14/331,218号、2016年3月16日に出願された米国出願第15/072,290号、2016年2月11日に出願された米国仮出願第62/294,147号の各々の全体を参照により援用する。
本開示は、ディスプレイシステムに関し、より具体的には、拡張現実ディスプレイシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの発達を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオでは、AR画像コンテンツは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚され得る。
図1Aを参照すると、拡張現実場面1が、描写され、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム1120を特徴とする、実世界公園状設定1100が見える。これらのアイテムに加え、AR技術のユーザはまた、これらの要素1130、1110が実世界内に存在しないにもかかわらず、実世界プラットフォーム1120上に立っているロボット像1110と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ1130等の「仮想コンテンツ」を「見ている」と知覚する。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術を生産することは、困難である。
本明細書に開示されるシステムおよび方法は、ARまたはVR技術に関連する種々の課題に対処する。
本開示は、ディスプレイシステムの種々の実施例を提供する。そのような実施例は、限定ではないが、以下の実施例を含む。
1.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、ユーザの眼からの異なる距離から投影されるかのように、異なる発散量において拡張現実画像コンテンツをユーザの視野内に表示するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの周囲を感知するように構成される、1つまたはそれを上回る環境センサと、
ディスプレイおよび1つまたはそれを上回る環境センサと通信する、処理電子機器であって、
増加されたユーザ注目を伴う状況を感知し、
少なくとも部分的に、増加された焦点の感知に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
2.処理電子機器は、オブジェクトを備える画像コンテンツを改変することによって、ユーザの視野内の仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1に記載のディスプレイシステム。
3.処理電子機器は、オブジェクトを第1の場所から第2の場所に移動させることによって、オブジェクトのユーザ知覚を改変するように構成される、実施例1または2に記載のディスプレイシステム。
4.第1の場所は、周辺領域であって、第2の場所は、中心領域である、または第1の場所は、中心領域であって、第2の場所は、周辺領域である、実施例3に記載のディスプレイシステム。
5.画像コンテンツを改変することは、オブジェクトを備える画像コンテンツのコントラスト、不透明度、色、色飽和、カラーバランス、サイズ、明度、縁、または鮮明度のうちの少なくとも1つを改変することを含む、実施例2-4のいずれかに記載のディスプレイシステム。
6.アラートをユーザに提供するようにさらに構成される、実施例1-5のいずれかに記載のディスプレイシステム。
7.アラートは、視覚的アラートまたは聴覚的アラートである、実施例6に記載のディスプレイシステム。
8.1つまたはそれを上回る環境センサは、深度センサ、一対の両眼世界カメラ、地理位置センサ、近接度センサ、またはGPSを備える、実施例1-7のいずれかに記載のディスプレイシステム。
9.ユーザを感知するように構成される、1つまたはそれを上回るユーザセンサをさらに備え、該処理電子機器は、該1つまたはそれを上回るユーザセンサと通信する、実施例1-8のいずれかに記載のディスプレイシステム。
10.1つまたはそれを上回るユーザセンサは、1つまたはそれを上回るカメラを備える、実施例9に記載のディスプレイシステム。
11.頭部搭載型ディスプレイは、光を導波管から抽出することによって、光を出力するように構成される、回折光学要素を備える、導波管を備え、導波管は、導波管のスタックのうちの1つであって、導波管のスタックの異なる導波管は、異なる波面発散を伴って光を出力するように構成される、実施例1-10のいずれかに記載のディスプレイシステム。
12.処理電子機器はさらに、状況に対するユーザ意図を判定し、少なくとも部分的に、該判定された意図に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1-11のいずれかに記載のディスプレイシステム。
13.処理電子機器はさらに、少なくとも部分的に、増加された焦点の感知に基づいて、状況に対するユーザ意図を判定し、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1-12のいずれかに記載のディスプレイシステム。
14.該環境センサは、無線信号を検出するように構成される、センサを備える、実施例1-13のいずれかに記載のディスプレイシステム。
15.該環境センサは、自動車からのBluetooth(登録商標)信号を検出するように構成される、センサを備える、実施例1-14のいずれかに記載のディスプレイシステム。
16.増加されたユーザ注目を伴う該状況は、自動車両を運転することを含む、実施例1-15のいずれかに記載のディスプレイシステム。
17.該処理電子機器は、少なくとも部分的に、ユーザに関する1つまたはそれを上回るデータ記録に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成され、該1つまたはそれを上回るデータ記録は、該ユーザの運転記録を含む、実施例16に記載のディスプレイシステム。
18.処理電子機器は、背景を改変することによって、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1-17のいずれかに記載のディスプレイシステム。
19.背景を改変することは、背景の均質性を増加させ、それによって、背景内の可視特徴を低減させることを含む、実施例18に記載のディスプレイシステム。
20.背景の均質性を増加させることは、背景内の特徴をウォッシュアウトまたはペイントオーバーすることを含む、実施例19に記載のディスプレイシステム。
21.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、背景内の光の強度を増加させることによって、背景を改変するように構成される、実施例18-20のいずれかに記載のディスプレイシステム。
22.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、光の強度を増加させるように構成される、実施例1-21のいずれかに記載のディスプレイシステム。
23.ユーザの視野内のオブジェクトのユーザ知覚を改変することは、オブジェクトをハイライトすることを含む、実施例1-22のいずれかに記載のディスプレイシステム。
24.オブジェクトをハイライトすることは、部分的に透明な色をオブジェクトにわたって重畳することを含む、実施例23に記載のディスプレイシステム。
25.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1-24のいずれかに記載のディスプレイシステム。
26.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例1-25のいずれかに記載のディスプレイシステム。
27.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例25に記載のディスプレイシステム。
28.該光源は、ファイバ走査プロジェクタを備える、実施例25-27のいずれかに記載のディスプレイシステム。
29.該1つまたはそれを上回る環境センサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉システムを備える、実施例1-28のいずれかに記載のディスプレイシステム。
30.該環境センサは、1つまたはそれを上回る外向きに面したカメラを備える、実施例1-29に記載のディスプレイシステム。
31.1つまたはそれを上回る環境センサは、距離測定システムを備える、実施例1-30のいずれかに記載のディスプレイシステム。
32.該距離測定システムは、レーザ測距計を備える、実施例31に記載のディスプレイシステム。
33.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡システムをさらに備える、実施例1-32のいずれかに記載のディスプレイシステム。
34.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉システムをさらに備える、実施例1-33のいずれかに記載のディスプレイシステム。
35.頭部搭載型ディスプレイシステムは、ユーザの視野の第2の部分に提示される画像コンテンツと比較して、ユーザの視野の少なくとも第1の部分に提示される画像コンテンツを異なるように処理するように構成される、実施例1-34のいずれかに記載のディスプレイシステム。
36.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを異なるように処理するように構成される、実施例1-35のいずれかに記載のディスプレイシステム。
37.該ユーザ知覚を改変することは、増強または強調解除することを含む、実施例1-37のいずれかに記載のディスプレイシステム。
38.該処理電子機器によって提供される増強は、画像コンテンツを拡大することを含む、実施例37に記載のディスプレイシステム。
39.該処理電子機器によって提供される増強または強調解除は、明度を改変することを含む、実施例37-38のいずれかに記載のディスプレイシステム。
40.該処理電子機器によって提供される増強は、明度を増加させることを含む、実施例37-39のいずれかに記載のディスプレイシステム。
41.該処理電子機器によって提供される強調解除は、明度を減少させることを含む、実施例37-40のいずれかに記載のディスプレイシステム。
42.該処理電子機器によって提供される強調解除は、明度を増加させることを含む、実施例37-41のいずれかに記載のディスプレイシステム。
43.該処理電子機器によって提供される増強または強調解除は、コントラストを改変することを含む、実施例37-42のいずれかに記載のディスプレイシステム。
44.該処理電子機器によって提供される増強は、コントラストを増加させることを含む、実施例37-43のいずれかに記載のディスプレイシステム。
45.該処理電子機器によって提供される強調解除は、コントラストを減少させることを含む、実施例37-44のいずれかに記載のディスプレイシステム。
46.該処理電子機器によって提供される増強または強調解除は、色飽和を改変することを含む、実施例37-45のいずれかに記載のディスプレイシステム。
47.該処理電子機器によって提供される増強は、色飽和を増加させることを含む、実施例37-46のいずれかに記載のディスプレイシステム。
48.該処理電子機器によって提供される強調解除は、色飽和を減少させることを含む、実施例37-47のいずれかに記載のディスプレイシステム。
49.該処理電子機器によって提供される増強または強調解除は、鮮明度を改変することを含む、実施例37-48のいずれかに記載のディスプレイシステム。
50.該処理電子機器によって提供される増強は、鮮明度を増加させることを含む、実施例37-49のいずれかに記載のディスプレイシステム。
51.該処理電子機器によって提供される強調解除は、鮮明度を減少させることを含む、実施例37-50のいずれかに記載のディスプレイシステム。
52.該処理電子機器によって提供される増強または強調解除は、不透明度を改変することを含む、実施例37-51のいずれかに記載のディスプレイシステム。
53.該処理電子機器によって提供される増強は、不透明度を増加させることを含む、実施例37-52のいずれかに記載のディスプレイシステム。
54.該処理電子機器によって提供される強調解除は、不透明度を減少させることを含む、実施例37-53のいずれかに記載のディスプレイシステム。
55.該処理電子機器によって提供される強調解除は、不透明度を増加させることを含む、実施例37-54のいずれかに記載のディスプレイシステム。
56.増強は、縁増強特徴を含む、実施例37-55のいずれかに記載のディスプレイシステム。
57.該処理電子機器によって提供される増強または強調解除は、カラーバランスを偏移させることを含む、実施例37-56のいずれかに記載のディスプレイシステム。
1.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、
ユーザの眼が視認している場所を判定するように構成される、1つまたはそれを上回る眼追跡センサと、
該ディスプレイ、該外向きに面したカメラ、および該眼追跡センサと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器であって、
画像コンテンツを該ユーザの視野に表示し、
眼が指向されているオブジェクトを判定し、
眼が指向されているオブジェクトのレンダリングの増強または眼が指向されているオブジェクトを囲繞する1つまたはそれを上回る特徴の強調解除のうちの少なくとも1つを行う、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
2.処理電子機器は、オブジェクトをディスプレイ上に表示し、オブジェクトのレンダリングを増強させるように構成される、実施例1に記載のディスプレイシステム。
3.処理電子機器は、ディスプレイ上に、オブジェクトを囲繞する該1つまたはそれを上回る特徴を表示し、ディスプレイ上にレンダリングされるような眼が指向されているオブジェクトを囲繞する該1つまたはそれを上回る特徴を強調解除するように構成される、実施例1または2に記載のディスプレイシステム。
4.オブジェクトを囲繞する該1つまたはそれを上回る特徴は、ユーザおよび頭部搭載型ディスプレイシステムの正面の環境内の実特徴を備え、処理電子機器は、眼が指向されているオブジェクトを囲繞する該1つまたはそれを上回る実特徴を強調解除するように構成される、実施例1-3のいずれかに記載のディスプレイシステム。
5.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の該1つまたはそれを上回る実特徴がユーザにあまり目立たないように、眼の中に指向される光の強度を増加させることによって、眼が指向されているオブジェクトを囲繞する該1つまたはそれを上回る実特徴を強調解除するように構成される、実施例4に記載のディスプレイシステム。
6.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、眼の中に投影される光の強度を増加させるように構成される、実施例1-4のいずれかに記載のディスプレイシステム。
7.該強調解除は、該透明部分を通した環境のビューの明度、可視性、鮮明度、またはコントラストの減少または該透明部分を通した環境の色の改変のうちの1つまたはそれを上回るものを含む、実施例1-6のいずれかに記載のディスプレイシステム。
8.処理電子機器は、画像を該ディスプレイ上に表示すること以外によって、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、眼の中に投影される光の強度を増加させるように構成される、実施例1-7のいずれかに記載のディスプレイシステム。
9.該強調解除は、不透明度を増加させ、該透明部分を通した環境のビューを減衰させることを含む、実施例1-8のいずれかに記載のディスプレイシステム。
10.該強調解除は、画像を該ディスプレイ上に表示すること以外によって、該透明部分を通した環境のビューの明度、可視性、鮮明度、またはコントラストの減少または該透明部分を通した環境の色の改変のうちの1つまたはそれを上回るものを含む、実施例1-9のいずれかに記載のディスプレイシステム。
11.該強調解除は、画像を該ディスプレイ上に表示すること以外によって、不透明度を増加させ、該透明部分を通した環境のビューを減衰させることを含む、実施例1-10のいずれかに記載のディスプレイシステム。
12.処理電子機器は、背景を改変することによって、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1-11のいずれかに記載のディスプレイシステム。
13.背景を改変することは、背景の均質性を増加させ、それによって、背景内の可視特徴を低減させることを含む、実施例12に記載のディスプレイシステム。
14.背景の均質性を増加させることは、背景内の特徴をウォッシュアウトまたはペイントオーバーすることを含む、実施例13に記載のディスプレイシステム。
15.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、背景内の光の強度を増加させることによって、背景を改変するように構成される、実施例12-14のいずれかに記載のディスプレイシステム。
16.処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを増強させるように構成される、実施例1-15のいずれかに記載のディスプレイシステム。
17.処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを強調解除するように構成される、実施例1-16のいずれかに記載のディスプレイシステム。
18.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
該ディスプレイと通信する、処理電子機器であって、
画像コンテンツを該ユーザの視野に表示し、
該ディスプレイによって表示される画像コンテンツのレンダリングの増強または画像コンテンツのレンダリングの強調解除のうちの少なくとも1つを行う、
ように構成され、
該増強は、コントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の増加、ハイライト、またはディスプレイによって表示される他の画像コンテンツに対するレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含み、
該強調解除は、コントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の減少、またはディスプレイによって表示される他の画像コンテンツに対するレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含む、
処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
19.処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを増強させるように構成される、実施例18に記載のディスプレイシステム。
20.処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを強調解除するように構成される、実施例18または19に記載のディスプレイシステム。
21.処理電子機器は、ディスプレイによって表示される周囲画像コンテンツに対して該ディスプレイによって表示される画像コンテンツのレンダリングを増強させるように構成される、実施例18-20のいずれかに記載のディスプレイシステム。
22.処理電子機器は、該強調解除された画像コンテンツによって囲繞されるディスプレイによって表示される画像コンテンツに対して該ディスプレイによって表示される画像コンテンツのレンダリングを強調解除するように構成される、実施例18-21のいずれかに記載のディスプレイシステム。
23.ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラをさらに備える、実施例18-22のいずれかに記載のディスプレイシステム。
24.ユーザの眼が視認している場所を判定するように構成される、1つまたはそれを上回る眼追跡センサをさらに備える、実施例18-23のいずれかに記載のディスプレイシステム。
25.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、
該ディスプレイおよび該外向きに面したカメラと通信する、処理電子機器であって、
画像コンテンツを該ユーザの視野に表示し、
オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、
該オブジェクト認識に基づいて、該ディスプレイによって表示される画像コンテンツのレンダリングの増強または画像コンテンツのレンダリングの強調解除のうちの少なくとも1つを行う、
ように構成され、
該増強は、コントラスト、色飽和、明度、縁可視性、不透明度、鮮明度、ハイライトの増加、またはレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含み、
該強調解除は、コントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の減少、またはレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含む、
処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
26.1つまたはそれを上回る外向きに面したカメラは、該フレーム上に配置される、実施例25に記載のディスプレイシステム。
27.処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを増強させるように構成される、実施例25または26に記載のディスプレイシステム。
28.処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを強調解除するように構成される、実施例25-27のいずれかに記載のディスプレイシステム。
29.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、
該ディスプレイおよび該外向きに面したカメラと通信する、処理電子機器であって、
画像コンテンツを該ユーザの視野に表示し、
オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、
該オブジェクト認識に基づいて、該透明部分を通したユーザの眼へのユーザの正面の該環境のビューの少なくとも一部を強調解除する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
30.該強調解除は、該透明部分を通した環境のビューの明度、可視性、鮮明度、またはコントラストの減少または該透明部分を通した環境の色の改変のうちの1つまたはそれを上回るものを含む、実施例29に記載のディスプレイシステム。
31.該強調解除は、不透明度を増加させ、該透明部分を通した環境のビューを減衰させることを含む、実施例29または30に記載のディスプレイシステム。
32.該強調解除は、画像を該ディスプレイ上に表示すること以外によって、該透明部分を通した環境のビューの明度、可視性、鮮明度、またはコントラストの減少または該透明部分を通した環境の色の改変のうちの1つまたはそれを上回るものを含む、実施例29-31のいずれかに記載のディスプレイシステム。
33.該強調解除は、画像を該ディスプレイ上に表示すること以外によって、不透明度を増加させ、該透明部分を通した環境のビューを減衰させることを含む、実施例29-32のいずれかに記載のディスプレイシステム。
34.処理電子機器は、背景を改変することによって、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例29-33のいずれかに記載のディスプレイシステム。
35.背景を改変することは、背景の均質性を増加させ、それによって、背景内の可視特徴を低減させることを含む、実施例34に記載のディスプレイシステム。
36.背景の均質性を増加させることは、背景内の特徴をウォッシュアウトまたはペイントオーバーすることを含む、実施例35に記載のディスプレイシステム。
37.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、背景内の光の強度を増加させることによって、背景を改変するように構成される、実施例29-36のいずれかに記載のディスプレイシステム。
38.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、光の強度を増加させるように構成される、実施例29-37のいずれかに記載のディスプレイシステム。
39.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
ユーザの環境を感知するための1つまたはそれを上回る外向きに面したセンサと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
該ディスプレイおよびユーザに関するデータ記録を含む1つまたはそれを上回る記憶システムと通信する、処理電子機器であって、
画像コンテンツを該ユーザの視野に表示し、
該1つまたはそれを上回る外向きに面したセンサからの出力およびユーザに関する該1つまたはそれを上回るデータ記録に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
40.該1つまたはそれを上回る外向きに面したセンサは、フレーム上に配置される、1つまたはそれを上回る外向きに面したカメラを備える、実施例39に記載のディスプレイシステム。
41.該1つまたはそれを上回る外向きに面したカメラは、ユーザの環境内のオブジェクトを結像するように構成され、該処理電子機器は、オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、該オブジェクト認識に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例39または40に記載のディスプレイシステム。
42.該処理電子機器は、ユーザ注目を伴う状況を感知し、状況に対するユーザ意図を判定し、少なくとも部分的に、該ユーザ意図に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例39-41のいずれかに記載のディスプレイシステム。
43.ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変することは、ユーザの視野内の実または仮想オブジェクトのユーザ知覚の増強または強調解除のうちの少なくとも1つを行うことを含む、実施例39-42のいずれかに記載のディスプレイシステム。
44.該1つまたはそれを上回る外向きに面したカメラは、ユーザの環境内のオブジェクトを結像するように構成され、該処理電子機器は、オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、該オブジェクト認識に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚の増強または強調解除のうちの少なくとも1つを行うように構成される、実施例39-43のいずれかに記載のディスプレイシステム。
45.該データ記録は、ユーザの運転記録を含む、実施例39-44のいずれかに記載のディスプレイシステム。
46.該データ記録は、ユーザが運転違反を行なったかどうかを含む、実施例45のいずれかに記載のディスプレイシステム。
47.該データ記録は、ユーザの年齢およびユーザが10代のドライバであるかどうかのうちの少なくとも1つを含む、実施例45または46のいずれかに記載のディスプレイシステム。
48.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、
該ディスプレイおよび該外向きに面したカメラと通信する、処理電子機器であって、
画像コンテンツを該ユーザの視野に表示し、
オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、
該オブジェクト認識に基づいて、該透明部分を通したユーザの眼へのユーザの正面の該環境のビューの少なくとも一部をハイライトする、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
49.オブジェクトをハイライトすることは、部分的に透明な色をオブジェクトにわたって重畳することを含む、実施例48に記載の頭部搭載型ディスプレイシステム。
50.オブジェクトをハイライトすることは、該1つまたはそれを上回る外向きに面したカメラからの画像を表示すること以外によって、オブジェクトをハイライトすることを含む、実施例48または49に記載の頭部搭載型ディスプレイシステム。
51.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、外向きに面したカメラと、
該ディスプレイおよび該外向きに面したカメラと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器であって、
ユーザが車両を動作中であることを判定し、
ユーザの視野内のオブジェクトを増強させる、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
52.ユーザの視野内のオブジェクトを増強させることは、オブジェクトの画像コンテンツをユーザの視野内の第1の場所から第2の場所に移動させることを含む、実施例51に記載のディスプレイシステム。
53.ユーザの視野内のオブジェクトを増強させることは、増強を伴わずに、オブジェクトのオリジナル色に対してオブジェクトの知覚される色を改変することを含む、実施例51または52に記載のディスプレイシステム。
54.ユーザの視野内のオブジェクトを増強させることは、表示される画像コンテンツのコントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の増加のうちの1つまたはそれを上回るものを含む、実施例51-53のいずれかに記載のディスプレイシステム。
55.ユーザの視野内のオブジェクトを増強させることは、部分的に透明な色をオブジェクトにわたって重畳することによって、オブジェクトをハイライトすることを含む、実施例51-54のいずれかに記載のディスプレイシステム。
56.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
1つまたはそれを上回るユーザ記録を含有するように構成される、データベースと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
該ディスプレイおよび該データベースと通信する、処理電子機器であって、ユーザの1つまたはそれを上回る記録に基づいて、表示される画像コンテンツの量を低減させるように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
57.1つまたはそれを上回るユーザ記録は、運転記録、事故記録、是正勧告記録、学業記録、犯罪記録、または逮捕記録のうちの少なくとも1つを含む、実施例56に記載のディスプレイシステム。
58.1つまたはそれを上回るユーザ記録は、ユーザの年齢を含む、実施例56または57に記載のディスプレイシステム。
59.ユーザの1つまたはそれを上回る記録に基づいて、表示される画像コンテンツの量を低減させることは、表示される画像コンテンツへのユーザアクセスを選択的に有効にすることを含む、実施例56-58のいずれかに記載のディスプレイシステム。
60.ユーザの1つまたはそれを上回る記録に基づいて、表示される画像コンテンツの量を低減させることは、画像コンテンツを表示しないことを含む、実施例56-59のいずれかに記載のディスプレイシステム。
61.ユーザの1つまたはそれを上回る記録に基づいて、表示される画像コンテンツの量を低減させることは、画像コンテンツを実質的に表示しないことを含む、実施例56-59のいずれかに記載のディスプレイシステム。
62.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
該ディスプレイと通信する、処理電子機器であって、
少なくとも部分的に、車両のプロセッサとの確立された通信リンクに基づいて、ユーザが車両に近接していることを判定し、
確立された通信リンクに基づいて、表示される画像コンテンツの量を低減させる、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
63.ユーザが車両に近接していることを判定することは、無線周波数信号または赤外線信号の送信および/または受信のうちの少なくとも1つを含む、実施例62に記載の頭部搭載型ディスプレイシステム。
64.ユーザが車両に近接していることを判定することは、無線周波数信号の送信および/または受信のうちの少なくとも1つを含む、実施例62に記載の頭部搭載型ディスプレイシステム。
65.ユーザが車両に近接していることを判定することは、無線信号の送信および/または受信のうちの少なくとも1つを含む、実施例62に記載の頭部搭載型ディスプレイシステム。
66.ユーザが車両に近接していることを判定することは、Bluetooth(登録商標)信号の送信および/または受信のうちの少なくとも1つを含む、実施例62に記載の頭部搭載型ディスプレイシステム。
67.確立された通信リンクに基づいて、表示される画像コンテンツの量を低減させることは、任意の画像コンテンツを表示しないことを含む、実施例62または66のいずれかに記載の頭部搭載型ディスプレイシステム。
68.確立された通信リンクに基づいて、表示される画像コンテンツの量を低減させることは、実質的に任意の画像コンテンツを表示しないことを含む、実施例62または66のいずれかに記載の頭部搭載型ディスプレイシステム。
69.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、外向きに面したカメラと、
オブジェクトの1つまたはそれを上回る位置を識別するように構成される、環境センサと、
該ディスプレイ、該外向きに面したカメラ、および該環境センサと通信する、処理電子機器であって、
ユーザが車両を動作中であるかどうかを判定し、
車両がオブジェクトと衝突するおよびオブジェクトが車両と衝突するリスクのうちの少なくとも1つを判定し、
判定されたリスクに基づいて、表示される画像コンテンツの量を低減させる、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
70.衝突リスクを判定することは、環境センサによって識別されるオブジェクトの1つまたはそれを上回る位置に基づいて、オブジェクトおよび車両が近づきつつある率を判定することを含む、実施例69に記載の頭部搭載型ディスプレイシステム。
71.該オブジェクトの1つまたはそれを上回る位置を識別するように構成される、環境センサは、レーザ測距計、LIDAR、レーダ距離計、または超音波測距デバイスのうちの少なくとも1つを備える、実施例69または70に記載の頭部搭載型ディスプレイシステム。
72.光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に伝送し、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
ユーザの環境内のオブジェクトを結像するように構成される、外向きに面したカメラと、
該ディスプレイおよび該外向きに面したカメラと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器であって、
ユーザが車両を動作中であることを判定し、
ユーザの眼からの異なる距離から投影されるかのように、異なる発散量において画像コンテンツを該ユーザの視野に表示し、
ユーザが車両を動作中であることの判定に基づいて、表示される画像コンテンツの量を低減させる、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
前述の実施例のいずれも、以下に記載される特徴のうちの任意の1つまたはそれを上回るものを含み、以下の実施例のいずれかを生産してもよい。
73.処理電子機器は、オブジェクトを備える画像コンテンツを改変することによって、ユーザの視野内の仮想オブジェクトのユーザ知覚を改変するように構成されてもよい、実施例1-72のいずれかに記載のディスプレイシステム。
74.画像コンテンツを改変することは、オブジェクトを備える画像コンテンツのコントラスト、不透明度、色、色飽和、カラーバランス、サイズ、明度、縁、または鮮明度のうちの少なくとも1つを改変することを含む、実施例73に記載のディスプレイシステム。
75.処理電子機器は、オブジェクトを第1の場所から第2の場所に移動させることによって、オブジェクトのユーザ知覚を改変するように構成されてもよい、実施例1-74のいずれかに記載のディスプレイシステム。
76.第1の場所は、周辺領域であって、第2の場所は、中心領域である、または第1の場所は、中心領域であって、第2の場所は、周辺領域である、実施例75に記載のディスプレイシステム。
77.アラートをユーザに提供するようにさらに構成される、実施例1-76のいずれかに記載のディスプレイシステム。
78.アラートは、視覚的アラートまたは聴覚的アラートである、実施例77に記載のディスプレイシステム。
79.1つまたはそれを上回る環境センサをさらに備える、実施例1-78のいずれかに記載のディスプレイシステム。
80.1つまたはそれを上回る環境センサは、深度センサ、一対の両眼世界カメラ、地理位置センサ、近接度センサ、またはGPSを備える、実施例1-79のいずれかに記載のディスプレイシステム。
81.1つまたはそれを上回るユーザセンサをさらに備える、実施例1-79のいずれかに記載のディスプレイシステム。
82.1つまたはそれを上回るユーザセンサは、1つまたはそれを上回るカメラを備える、実施例1-81のいずれかに記載のディスプレイシステム。
83.頭部搭載型ディスプレイは、光を導波管から抽出することによって、光を出力するように構成される、回折光学要素を備える、導波管を備え、導波管は、導波管のスタックのうちの1つであって、導波管のスタックの異なる導波管は、異なる波面発散を伴って光を出力するように構成される、実施例1-82のいずれかに記載のディスプレイシステム。
84.処理電子機器はさらに、状況に対するユーザ意図を判定し、少なくとも部分的に、判定されたユーザ意図に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1-83のいずれかに記載のディスプレイシステム。
85.処理電子機器はさらに、少なくとも部分的に、増加された焦点の感知に基づいて、状況に対するユーザ意図を判定し、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、実施例1-84のいずれかに記載のディスプレイシステム。
86.該環境センサは、無線信号を検出するように構成される、センサを備える、実施例1-85のいずれかに記載のディスプレイシステム。
87.該環境センサは、自動車からのBluetooth(登録商標)信号を検出するように構成される、センサを備える、実施例1-86のいずれかに記載のディスプレイシステム。
88.該処理電子機器は、ユーザが自動車両を運転中であるかどうかを判定するように構成される、実施例1-87のいずれかに記載のディスプレイシステム。
89.該処理電子機器は、少なくとも部分的に、ユーザに関する1つまたはそれを上回るデータ記録に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成され、該1つまたはそれを上回るデータ記録は、該ユーザの運転記録を含む、実施例1-88のいずれかに記載のディスプレイシステム。
90.処理電子機器は、背景を改変するように構成される、実施例1-89に記載のディスプレイシステム。
91.背景を改変することは、背景の均質性を増加させ、それによって、背景内の可視特徴を低減させることを含む、実施例90に記載のディスプレイシステム。
92.背景の均質性を増加させることは、背景をウォッシュアウトまたはペイントオーバーすることを含む、実施例91に記載のディスプレイシステム。
93.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、背景内の光の強度を増加させることによって、背景を改変するように構成される、実施例1-92のいずれかに記載のディスプレイシステム。
94.処理電子機器は、ユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴がユーザにあまり目立たないように、光の強度を増加させるように構成される、実施例1-93のいずれかに記載のディスプレイシステム。
95.処理電子機器は、オブジェクトをハイライトすることによって、ユーザの視野内のオブジェクトのユーザ知覚を改変するように構成される、実施例1-94のいずれかに記載のディスプレイシステム。
96.オブジェクトをハイライトすることは、部分的に透明な色をオブジェクトにわたって重畳することを含む、実施例95に記載のディスプレイシステム。
97.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1-96のいずれかに記載のディスプレイシステム。
98.該1つまたはそれを上回る光源は、光を1つまたはそれを上回る導波管の中に指向するように構成される、実施例97に記載のディスプレイシステム。
99.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例97または98のいずれかに記載のディスプレイシステム。
100.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例1-99のいずれかに記載のディスプレイシステム。
101.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、実施例1-100のいずれかに記載のディスプレイシステム。
102.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉システムを備える、実施例101に記載のディスプレイシステム。
103.該該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉システムは、1つまたはそれを上回る外向きに面したカメラを備える、実施例102に記載のディスプレイシステム。
104.1つまたはそれを上回るセンサは、距離測定システムを備える、実施例101-103のいずれかに記載のディスプレイシステム。
105.該距離測定システムは、レーザ測距計を備える、実施例104に記載のディスプレイシステム。
106.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡システムをさらに備える、実施例1-105のいずれかに記載のディスプレイシステム。
107.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉システムをさらに備える、実施例1-106のいずれかに記載のディスプレイシステム。
108.頭部搭載型ディスプレイシステムは、ユーザの視野の第2の部分に提示される画像コンテンツと比較して、ユーザの視野の少なくとも第1の部分に提示される画像コンテンツを異なるように処理するように構成される、実施例1-107のいずれかに記載のディスプレイシステム。
109.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを異なるように処理するように構成される、実施例1-108のいずれかに記載のディスプレイシステム。
110.該処理電子機器によって提供される増強は、画像コンテンツを拡大することを含む、実施例1-109のいずれかに記載のディスプレイシステム。
111.該処理電子機器によって提供される増強または強調解除は、明度を改変することを含む、実施例1-110のいずれかに記載のディスプレイシステム。
112.該処理電子機器によって提供される増強は、明度を増加させることを含む、実施例1-111のいずれかに記載のディスプレイシステム。
113.該処理電子機器によって提供される強調解除は、明度を減少させることを含む、実施例1-112のいずれかに記載のディスプレイシステム。
114.該処理電子機器によって提供される強調解除は、明度を増加させることを含む、実施例1-113のいずれかに記載のディスプレイシステム。
115.該処理電子機器によって提供される増強または強調解除は、コントラストを改変することを含む、実施例1-114のいずれかに記載のディスプレイシステム。
116.該処理電子機器によって提供される増強は、コントラストを増加させることを含む、実施例1-115のいずれかに記載のディスプレイシステム。
117.該処理電子機器によって提供される強調解除は、コントラストを減少させることを含む、実施例1-116のいずれかに記載のディスプレイシステム。
118.該処理電子機器によって提供される増強または強調解除は、色飽和を改変することを含む、実施例1-117のいずれかに記載のディスプレイシステム。
119.該処理電子機器によって提供される増強は、色飽和を増加させることを含む、実施例1-118のいずれかに記載のディスプレイシステム。
120.該処理電子機器によって提供される強調解除は、色飽和を減少させることを含む、実施例1-119のいずれかに記載のディスプレイシステム。
121.該処理電子機器によって提供される増強または強調解除は、鮮明度を改変することを含む、実施例1-120のいずれかに記載のディスプレイシステム。
122.該処理電子機器によって提供される増強は、鮮明度を増加させることを含む、実施例1-121のいずれかに記載のディスプレイシステム。
123.該処理電子機器によって提供される強調解除は、鮮明度を減少させることを含む、実施例1-122のいずれかに記載のディスプレイシステム。
124.該処理電子機器によって提供される増強または強調解除は、不透明度を改変することを含む、実施例1-123のいずれかに記載のディスプレイシステム。
125.該処理電子機器によって提供される増強は、不透明度を増加させることを含む、実施例1-124のいずれかに記載のディスプレイシステム。
126.該処理電子機器によって提供される強調解除は、不透明度を減少させることを含む、実施例1-125のいずれかに記載のディスプレイシステム。
127.該処理電子機器によって提供される強調解除は、不透明度を増加させることを含む、実施例1-126のいずれかに記載のディスプレイシステム。
128.増強は、縁増強特徴を含む、実施例1-127のいずれかに記載のディスプレイシステム。
129.該処理電子機器によって提供される増強または強調解除は、カラーバランスを偏移させることを含む、実施例1-128のいずれかに記載のディスプレイシステム。
付加的実施例が、以下に提供される。
実施例セットIA
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して増強された画像コンテンツをユーザの視野の該周辺領域に提示するように構成される、頭部搭載型ディスプレイシステム。
2.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1に記載のシステム。
3.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例1または2に記載のシステム。
4.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例3に記載のシステム。
5.該光源は、ファイバ走査プロジェクタを備える、実施例2-4のいずれかに記載のシステム。
6.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
7.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例6に記載のシステム。
8.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例7に記載のシステム。
9.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例6-8のいずれかに記載のシステム。
10.該距離測定システムは、レーザ測距計を備える、実施例9に記載のシステム。
11.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
12.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1または11に記載のシステム。
13.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを異なるように処理するように構成される、前述の実施例のいずれかに記載のシステム。
14.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを拡大することによって、画像コンテンツを異なるように処理するように構成される、実施例13に記載のシステム。
15.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツにおける明度を増加させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-14のいずれかに記載のシステム。
16.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツのコントラストを増加させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-15のいずれかに記載のシステム。
17.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツの色飽和を増加させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-16のいずれかに記載のシステム。
18.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツの鮮明化によって、画像コンテンツを異なるように処理するように構成される、実施例13-17のいずれかに記載のシステム。
19.鮮明化は、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツにおける縁増強特徴を含む、実施例18に記載のシステム。
20.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツのカラーバランスを偏移させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-19のいずれかに記載のシステム。
21.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心および周辺領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して強調解除された画像コンテンツをユーザの視野の中心領域に提示するように構成される、頭部搭載型ディスプレイシステム。
22.光をユーザの眼の中に指向し、画像を該眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例21に記載のシステム。
23.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例21または22に記載のシステム。
24.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例23に記載のシステム。
25.該光源は、ファイバ走査プロジェクタを備える、実施例22-24のいずれかに記載のシステム。
26.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、実施例21-25のいずれかに記載のシステム。
27.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例26に記載のシステム。
28.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例27に記載のシステム。
29.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例26-28のいずれかに記載のシステム。
30.該距離測定デバイスは、レーザ測距計を備える、実施例29に記載のシステム。
31.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、実施例21-30のいずれかに記載のシステム。
32.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例21-31に記載のシステム。
33.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツを異なるように処理するように構成される、実施例21-32のいずれかに記載のシステム。
34.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツをぼかすことによって、画像コンテンツを異なるように処理するように構成される、実施例33に記載のシステム。
35.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツを暗化または減衰させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-34のいずれかに記載のシステム。
36.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツのコントラストを低減させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-35のいずれかに記載のシステム。
37.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツの色飽和を低減させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-36のいずれかに記載のシステム。
38.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツの鮮明度を低減させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-37のいずれかに記載のシステム。
39.鮮明度を減少させることは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツ内の特徴の縁を増強解除することを含む、実施例38に記載のシステム。
40.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツのカラーバランスを偏移させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-39のいずれかに記載のシステム。
41.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツを収縮させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-40のいずれかに記載のシステム。
42.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例14に記載のシステム。
43.該ぼかしは、同一色を使用して、該ユーザの視野の中心領域の少なくとも一部に提示される該画像コンテンツをぼかすことを含む、実施例34に記載のシステム。
44.該同一色は、該ユーザの視野の該周辺領域に提示される画像コンテンツ内の色と比較して、高コントラスト色を備える、実施例44に記載のシステム。
45.システムは、アラートをユーザに提供し、提示される画像が増強されたことを示すように構成される、実施例1-20または42のいずれかに記載のシステム。
46.システムは、アラートをユーザに提供し、提示される画像が強調解除されたことを示すように構成される、実施例21-41のいずれかまたは実施例43-44のいずれかに記載のシステム。
47.アラートは、視覚的アラートである、実施例45または46のいずれかに記載のシステム。
48.アラートは、聴覚的アラートである、実施例45または46のいずれかに記載のシステム。
49.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
50.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
51.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例50に記載のシステム。
52.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例50-51のいずれかに記載のシステム。
53.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
54.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例53に記載のシステム。
55.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例54に記載のシステム。
56.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
57.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
58.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
59.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
61.第1の画像モダリティは、MRI走査を備える、実施例60に記載のシステム。
62.第2の画像モダリティは、超音波を備える、実施例60-61のいずれかに記載のシステム。
63.第1の画像モダリティは、X線走査を備える、実施例60-62のいずれかに記載のシステム。
64.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
65.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
66.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
67.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
68.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
69.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例68に記載のシステム。
70.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
71.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
72.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例71に記載のシステム。
73.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
74.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
75.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例75に記載のシステム。
77.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
78.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
79.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
80.ユーザの医療パラメータは、バイタルサインを含む、実施例79に記載のシステム。
81.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
82.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
83.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
84.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
85.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例16に記載のシステム。
86.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例16に記載のシステム。
87.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
88.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
89.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例88に記載のシステム。
90.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例88または89に記載のシステム。
実施例セットIB
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に、ユーザの視野の周辺領域に提示される画像コンテンツと比較して増強された画像コンテンツを提示するように構成される、頭部搭載型ディスプレイシステム。
2.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1に記載のシステム。
3.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例1または2に記載のシステム。
4.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例3に記載のシステム。
5.該光源は、ファイバ走査プロジェクタを備える、実施例2-4のいずれかに記載のシステム。
6.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
7.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例6に記載のシステム。
8.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例7に記載のシステム。
9.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例6-8のいずれかに記載のシステム。
10.該距離測定デバイスは、レーザ測距計を備える、実施例9に記載のシステム。
11.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
12.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1または11に記載のシステム。
13.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツを異なるように処理するように構成される、前述の実施例のいずれかに記載のシステム。
14.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツを拡大することによって、画像コンテンツを異なるように処理するように構成される、実施例13に記載のシステム。
15.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツにおける明度を増加させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-14のいずれかに記載のシステム。
16.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツのコントラストを増加させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-15のいずれかに記載のシステム。
17.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツの色飽和を増加させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-16のいずれかに記載のシステム。
18.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツの鮮明化によって、画像コンテンツを異なるように処理するように構成される、実施例13-17のいずれかに記載のシステム。
19.鮮明化は、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツにおける縁増強特徴を含む、実施例18に記載のシステム。
20.頭部搭載型ディスプレイシステムは、ユーザの視野の周辺領域に提示される画像コンテンツと比較して、ユーザの視野の中心領域の少なくとも一部に提示される画像コンテンツのカラーバランスを偏移させることによって、画像コンテンツを異なるように処理するように構成される、実施例13-19のいずれかに記載のシステム。
21.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心および周辺領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して強調解除された画像コンテンツをユーザの視野の該周辺領域に提示するように構成される、頭部搭載型ディスプレイシステム。
22.光をユーザの眼の中に指向し、画像を該眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例21に記載のシステム。
23.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例21または22に記載のシステム。
24.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例23に記載のシステム。
25.該光源は、ファイバ走査プロジェクタを備える、実施例22-24のいずれかに記載のシステム。
26.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、実施例21-25のいずれかに記載のシステム。
27.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例26に記載のシステム。
28.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例27に記載のシステム。
29.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例26-28のいずれかに記載のシステム。
30.該距離測定デバイスは、レーザ測距計を備える、実施例29に記載のシステム。
31.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、実施例21-30のいずれかに記載のシステム。
32.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例21-31に記載のシステム。
33.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを異なるように処理するように構成される、実施例21-32のいずれかに記載のシステム。
34.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツをぼかすことによって、画像コンテンツを異なるように処理するように構成される、実施例33に記載のシステム。
35.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを暗化または減衰させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-34のいずれかに記載のシステム。
36.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツのコントラストを低減させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-35のいずれかに記載のシステム。
37.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツの色飽和を低減させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-36のいずれかに記載のシステム。
38.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツの鮮明度を低減させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-37のいずれかに記載のシステム。
39.鮮明度を減少させることは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツ内の特徴の縁を増強解除することを含む、実施例38に記載のシステム。
40.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツのカラーバランスを偏移させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-39のいずれかに記載のシステム。
41.頭部搭載型ディスプレイシステムは、ユーザの視野の中心領域に提示される画像コンテンツと比較して、ユーザの視野の該周辺領域の少なくとも一部に提示される画像コンテンツを収縮させることによって、画像コンテンツを異なるように処理するように構成される、実施例33-40のいずれかに記載のシステム。
42.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例14に記載のシステム。
43.該ぼかしは、同一色を使用して、該ユーザの視野の該周辺領域の少なくとも一部に提示される該画像コンテンツをぼかすことを含む、実施例34に記載のシステム。
44.該同一色は、ユーザの視野の中心領域に提示される該画像コンテンツ内の色と比較して高コントラスト色を備える、実施例44に記載のシステム。
45.システムは、アラートをユーザに提供し、提示される画像が増強されたことを示すように構成される、実施例1-20または42のいずれかに記載のシステム。
46.システムは、アラートをユーザに提供し、提示される画像が強調解除されたことを示すように構成される、実施例21-41のいずれかまたは実施例43-44のいずれかに記載のシステム。
47.アラートは、視覚的アラートである、実施例45または46のいずれかに記載のシステム。
48.アラートは、聴覚的アラートである、実施例45または46のいずれかに記載のシステム。
49.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
50.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
51.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例50に記載のシステム。
52.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例50-51のいずれかに記載のシステム。
53.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
54.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例53に記載のシステム。
55.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例54に記載のシステム。
56.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
57.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
58.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
59.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
61.第1の画像モダリティは、MRI走査を備える、実施例60に記載のシステム。
62.第2の画像モダリティは、超音波を備える、実施例60-61のいずれかに記載のシステム。
63.第1の画像モダリティは、X線走査を備える、実施例60-61のいずれかに記載のシステム。
64.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
65.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
66.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
67.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
68.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
69.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例68に記載のシステム。
70.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
71.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
72.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例71に記載のシステム。
73.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
74.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
75.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例76に記載のシステム。
77.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
78.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
79.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
80.ユーザの医療パラメータは、バイタルサインを含む、実施例79に記載のシステム。
81.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
82.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
83.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
84.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
85.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例16に記載のシステム。
86.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例16に記載のシステム。
87.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
88.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
89.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例88に記載のシステム。
90.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例88または89に記載のシステム。
実施例セットIIA
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを複数の深度平面上でユーザに提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、1つまたはそれを上回る導波管を備え、該1つまたはそれを上回る導波管は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置され、ユーザの眼の視野の中心領域は、ユーザの正面の環境内の中心領域に対応し、ユーザの眼の視野の周辺領域は、ユーザの正面の環境内の周辺領域に対応する、ディスプレイと、
少なくともユーザの正面の環境の該部分を結像するように構成される、外向きに面した画像捕捉デバイスと、
ユーザの正面の環境の少なくとも該部分内のオブジェクトまでの距離を測定するように構成される、1つまたはそれを上回るセンサと、
入力を該ユーザから受信するように構成される、1つまたはそれを上回る入力デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、該1つまたはそれを上回る入力デバイスによって受信された入力に基づいて、ユーザの視野の周辺領域に対応する環境内のオブジェクトを選択するように構成され、該1つまたはそれを上回るセンサは、該選択後、該オブジェクトまでの距離を測定するように構成され、該外向きに面した画像捕捉デバイスは、該オブジェクトの画像を取得するように構成され、該ディスプレイは距離を測定するように構成される該1つまたはそれを上回るセンサによって測定された該距離に基づいて、該オブジェクトの増強された画像を判定された深度平面に提示するように構成され、該増強された画像は、視野の他の部分と比較して増強され、該増強された画像は、ユーザの視野の周辺領域内の場所に提示される、頭部搭載型ディスプレイシステム。
2.光を人物の眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1に記載のシステム。
3.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例2に記載のシステム。
4.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例2または3に記載のシステム。
5.該深度平面は、第1の遠深度平面と、第2の近深度平面とを備え、該第1の遠深度平面は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該第2の近深度平面より該ユーザの眼から遠い、実施例1に記載のシステム。
6.該増強された画像は、該遠深度平面上に提示される、実施例5に記載のシステム。
7.該ディスプレイは、該眼の中に投影される光が該第2の近深度平面から画像コンテンツを提示するように発散するような屈折力を有する、光学要素を備える、実施例5または6に記載のシステム。
8.屈折力を有する、光学要素は、レンズを備える、実施例7に記載のシステム。
9.屈折力を有する、光学要素は、回折光学要素を備える、実施例7または8に記載のシステム。
10.該頭部搭載型ディスプレイシステムは、該増強された画像コンテンツを該オブジェクトが位置する環境内の周辺領域内の場所に対応するユーザの視野の該周辺領域内の場所に提示するように構成される、実施例1に記載のシステム。
11.該頭部搭載型ディスプレイシステムは、該増強された画像コンテンツを該オブジェクトが位置する環境内の周辺領域に対応しないユーザの視野の該周辺領域内の場所に移動させるように構成される、実施例1に記載のシステム。
12.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例1に記載のシステム。
13.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例12に記載のシステム。
14.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例1のいずれかに記載のシステム。
15.距離測定デバイスは、レーザ測距計を備える、実施例14に記載のシステム。
16.入力を該ユーザから受信するように構成される、該1つまたはそれを上回る入力デバイスは、該ユーザの眼を結像し、その移動を追跡するように配置される、内向きに面した眼追跡カメラを備える、実施例1に記載のシステム。
17.該増強された画像を提示することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像を異なるように処理することを含む、前述の実施例のいずれかに記載のシステム。
18.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像を拡大することを含む、実施例17に記載のシステム。
19.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像内の明度を増加させることを含む、実施例17-18のいずれかに記載のシステム。
20.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像のコントラストを増加させることを含む、実施例17-19のいずれかに記載のシステム。
21.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像の色飽和を増加させることを含む、実施例17-20のいずれかに記載のシステム。
22.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像を鮮明化することを含む、実施例17-21のいずれかに記載のシステム。
23.該鮮明化することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像の縁増強特徴を含む、実施例22に記載のシステム。
24.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像のカラーバランスを偏移させることを含む、実施例17-23のいずれかに記載のシステム。
25.視野の該他の部分は、該視野の該周辺領域の他の部分を備える、前述の実施例のいずれかに記載のシステム。
26.視野の該他の部分は、該視野の該中心領域の少なくとも一部を備える、前述の実施例のいずれかに記載のシステム。
27.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを複数の深度平面上でユーザに提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、1つまたはそれを上回る導波管を備え、該1つまたはそれを上回る導波管は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置され、ユーザの眼の視野の中心領域は、ユーザの正面の環境内の中心領域に対応し、ユーザの眼の視野の周辺領域は、ユーザの正面の環境内の周辺領域に対応する、ディスプレイと、
ユーザの正面の環境の少なくとも該部分を結像するように構成される、外向きに面した画像捕捉デバイスと、
ユーザの正面の環境の少なくとも該部分内のオブジェクトまでの距離を測定するように構成される、1つまたはそれを上回るセンサと、
入力を該ユーザから受信するように構成される、1つまたはそれを上回る入力デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、該1つまたはそれを上回る入力デバイスによって受信された入力に基づいて、ユーザの視野の周辺領域に対応する環境内のオブジェクトを選択するように構成され、該1つまたはそれを上回るセンサは、該選択後、該オブジェクトまでの距離を測定するように構成され、該外向きに面した画像捕捉デバイスは、該オブジェクトの画像を取得するように構成され、該ディスプレイは、該オブジェクトの画像を距離を測定するように構成される該1つまたはそれを上回るセンサによって測定された該距離に基づいて判定された深度平面に提示するように構成され、該オブジェクトの画像は、ユーザの視野の周辺領域内の場所に提示され、該ディスプレイは、該オブジェクトの画像と比較して、視野の他の部分内に形成される画像を強調解除するように構成される、頭部搭載型ディスプレイシステム。
28.光を人物の眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例27に記載のシステム。
29.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例28に記載のシステム。
30.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例28または29に記載のシステム。
31.該深度平面は、第1の遠深度平面と、第2の近深度平面とを備え、該第1の遠深度平面は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該第2の近深度平面より該ユーザの眼から遠い、実施例27に記載のシステム。
32.該オブジェクトの画像は、該遠深度平面上に提示される、実施例31に記載のシステム。
33.該ディスプレイは、該眼の中に投影される光が該第2の近深度平面から画像コンテンツを提示するように発散するような屈折力を有する、光学要素を備える、実施例31または32に記載のシステム。
34.屈折力を有する、光学要素は、レンズを備える、実施例33に記載のシステム。
35.屈折力を有する、光学要素は、回折光学要素を備える、実施例33または34に記載のシステム。
36.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像を該オブジェクトが位置する環境内の周辺領域内の場所に対応するユーザの視野の該周辺領域内の場所に提示するように構成される、実施例27に記載のシステム。
37.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像を該オブジェクトが位置する環境内の周辺領域に対応しないユーザの視野の該周辺領域内の場所に移動させるように構成される、実施例27に記載のシステム。
38.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例27に記載のシステム。
39.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例38に記載のシステム。
40.該1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例27のいずれかに記載のシステム。
41.該距離測定デバイスは、レーザ測距計を備える、実施例40に記載のシステム。
42.入力を該ユーザから受信するように構成される、該1つまたはそれを上回る入力デバイスは、該ユーザの眼を結像し、その移動を追跡するように配置される、内向きに面した眼追跡カメラを備える、実施例27に記載のシステム。
43.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と異なるように、該オブジェクトの画像が形成される場所以外の、該ユーザの視野の他の部分内に形成される画像を処理するように構成される、実施例27-42のいずれかに記載のシステム。
44.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像のサイズを収縮または低減させることによって、画像を異なるように処理するように構成される、実施例43に記載のシステム。
45.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像を暗化または減衰させることによって、画像を異なるように処理するように構成される、実施例43-44のいずれかに記載のシステム。
46.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像のコントラストを低減させることによって、画像を異なるように処理するように構成される、実施例43-45のいずれかに記載のシステム。
47.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像の色飽和を減少させることによって、画像を異なるように処理するように構成される、実施例43-46のいずれかに記載のシステム。
48.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像の鮮明度を減少させることによって、画像を異なるように処理するように構成される、実施例43-47のいずれかに記載のシステム。
49.該鮮明度を減少させることは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像内の特徴の縁を増強解除することを含む、実施例48に記載のシステム。
50.該鮮明度を減少させることは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像をぼかすことを含む、実施例48または49に記載のシステム。
51.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像のカラーバランスを偏移させることによって、画像を異なるように処理するように構成される、実施例48-50のいずれかに記載のシステム。
52.視野の該他の部分は、該視野の該周辺領域の他の部分を備える、実施例27-51のいずれかに記載のシステム。
53.視野の該他の部分は、該視野の該中心領域の少なくとも一部を備える、実施例27-52のいずれかに記載のシステム。
54.該増強された画像は、該近深度平面上に提示される、実施例5に記載のシステム。
55.該ディスプレイは、該眼の中に投影される光が画像コンテンツを該第1の遠深度平面から提示するように発散するような屈折力を有する、光学要素を備える、実施例5または54に記載のシステム。
56.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例18に記載のシステム。
57.該オブジェクトの画像は、該近深度平面上に提示される、実施例31に記載のシステム。
58.該ディスプレイは、該眼の中に投影される光が画像コンテンツを該第1の遠深度平面から提示するように発散するような屈折力を有する、光学要素を備える、実施例31または57に記載のシステム。
59.該ぼかしは、同一色を使用して、該ユーザの視野の他の部分内に形成される該画像をぼかすことを含む、実施例50に記載のシステム。
60.該同一色は、該オブジェクトの画像内の色と比較して高コントラスト色を備える、実施例59に記載のシステム。
61.システムは、アラートをユーザに提供し、提示される画像が増強されたことを示すように構成される、実施例1-26のいずれかまたは実施例54-56のいずれかに記載のシステム。
62.システムは、アラートをユーザに提供し、提示される画像が強調解除されたことを示すように構成される、実施例27-53のいずれかまたは実施例57-60のいずれかに記載のシステム。
63.アラートは、視覚的アラートである、実施例61または62のいずれかに記載のシステム。
64.アラートは、聴覚的アラートである、実施例61または62のいずれかに記載のシステム。
65.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
66.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
67.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例66に記載のシステム。
68.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例66-67のいずれかに記載のシステム。
69.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
70.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例69に記載のシステム。
71.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例70に記載のシステム。
72.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
73.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
74.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
75.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
77.第1の画像モダリティは、MRI走査を備える、実施例76に記載のシステム。
78.第2の画像モダリティは、超音波を備える、実施例76-77のいずれかに記載のシステム。
79.第1の画像モダリティは、X線走査を備える、実施例76-78のいずれかに記載のシステム。
80.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
81.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
82.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
83.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
84.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
85.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例84に記載のシステム。
86.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
87.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
88.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例87に記載のシステム。
89.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
90.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
91.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
92.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例91に記載のシステム。
93.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
94.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
95.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
96.ユーザの医療パラメータは、バイタルサインを含む、実施例95に記載のシステム。
97.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
98.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
99.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
100.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
101.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例20に記載のシステム。
102.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例20に記載のシステム。
103.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
104.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
105.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例104に記載のシステム。
106.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例104または105に記載のシステム。
実施例セットIIB
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを複数の深度平面上でユーザに提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、1つまたはそれを上回る導波管を備え、該1つまたはそれを上回る導波管は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置され、ユーザの眼の視野の中心領域は、ユーザの正面の環境内の中心領域に対応し、ユーザの眼の視野の周辺領域は、ユーザの正面の環境内の周辺領域に対応する、ディスプレイと、
少なくともユーザの正面の環境の該部分を結像するように構成される、外向きに面した画像捕捉デバイスと、
ユーザの正面の環境の少なくとも該部分内のオブジェクトまでの距離を測定するように構成される、1つまたはそれを上回るセンサと、
入力を該ユーザから受信するように構成される、1つまたはそれを上回る入力デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、該1つまたはそれを上回る入力デバイスによって受信された入力に基づいて、ユーザの視野の中心領域に対応する環境内のオブジェクトを選択するように構成され、該1つまたはそれを上回るセンサは、該選択後、該オブジェクトまでの距離を測定するように構成され、該外向きに面した画像捕捉デバイスは、該オブジェクトの画像を取得するように構成され、該ディスプレイは、距離を測定するように構成される該1つまたはそれを上回るセンサによって測定された該距離に基づいて、該オブジェクトの増強された画像を判定された深度平面に提示するように構成され、該増強された画像は、視野の他の部分と比較して増強され、該増強された画像は、ユーザの視野の中心領域内の場所に提示される、頭部搭載型ディスプレイシステム。
2.光を人物の眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1に記載のシステム。
3.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例2に記載のシステム。
4.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例2または3に記載のシステム。
5.該深度平面は、第1の遠深度平面と、第2の近深度平面とを備え、該第1の遠深度平面は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該第2の近深度平面より該ユーザの眼から遠い、実施例1に記載のシステム。
6.該増強された画像は、該遠深度平面上に提示される、実施例5に記載のシステム。
7.該ディスプレイは、該眼の中に投影される光が該第2の近深度平面から画像コンテンツを提示するように発散するような屈折力を有する、光学要素を備える、実施例5または6に記載のシステム。
8.屈折力を有する、光学要素は、レンズを備える、実施例7に記載のシステム。
9.屈折力を有する、光学要素は、回折光学要素を備える、実施例7または8に記載のシステム。
10.該頭部搭載型ディスプレイシステムは、該増強された画像コンテンツを該オブジェクトが位置する環境内の中心領域内の場所に対応するユーザの視野の中心領域内の場所に提示するように構成される、実施例1に記載のシステム。
11.該頭部搭載型ディスプレイシステムは、該増強された画像コンテンツを該オブジェクトが位置する環境内の中心領域に対応しないユーザの視野の中心領域内の場所に移動させるように構成される、実施例1に記載のシステム。
12.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例1に記載のシステム。
13.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例12に記載のシステム。
14.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例1のいずれかに記載のシステム。
15.距離測定デバイスは、レーザ測距計を備える、実施例14に記載のシステム。
16.入力を該ユーザから受信するように構成される、該1つまたはそれを上回る入力デバイスは、該ユーザの眼を結像し、その移動を追跡するように配置される、内向きに面した眼追跡カメラを備える、実施例1に記載のシステム。
17.該増強された画像を提示することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像を異なるように処理することを含む、前述の実施例のいずれかに記載のシステム。
18.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像を拡大することを含む、実施例17に記載のシステム。
19.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像内の明度を増加させることを含む、実施例17-18のいずれかに記載のシステム。
20.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像のコントラストを増加させることを含む、実施例17-19のいずれかに記載のシステム。
21.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像の色飽和を増加させることを含む、実施例17-20のいずれかに記載のシステム。
22.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像を鮮明化することを含む、実施例17-21のいずれかに記載のシステム。
23.該鮮明化することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像の縁増強特徴を含む、実施例22に記載のシステム。
24.該画像を異なるように処理することは、該オブジェクトの画像が形成される該ユーザの視野の他の部分と比較して、該オブジェクトの画像のカラーバランスを偏移させることを含む、実施例17-23のいずれかに記載のシステム。
25.視野の該他の部分は、該視野の該中心領域の他の部分を備える、前述の実施例のいずれかに記載のシステム。
26.視野の該他の部分は、該視野の該周辺領域の少なくとも一部を備える、前述の実施例のいずれかに記載のシステム。
27.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを複数の深度平面上でユーザに提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、1つまたはそれを上回る導波管を備え、該1つまたはそれを上回る導波管は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置され、ユーザの眼の視野の中心領域は、ユーザの正面の環境内の中心領域に対応し、ユーザの眼の視野の周辺領域は、ユーザの正面の環境内の周辺領域に対応する、ディスプレイと、
ユーザの正面の環境の少なくとも該部分を結像するように構成される、外向きに面した画像捕捉デバイスと、
ユーザの正面の環境の少なくとも該部分内のオブジェクトまでの距離を測定するように構成される、1つまたはそれを上回るセンサと、
入力を該ユーザから受信するように構成される、1つまたはそれを上回る入力デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、該1つまたはそれを上回る入力デバイスによって受信された入力に基づいて、ユーザの視野の中心領域に対応する環境内のオブジェクトを選択するように構成され、該1つまたはそれを上回るセンサは、該選択後、該オブジェクトまでの距離を測定するように構成され、該外向きに面した画像捕捉デバイスは、該オブジェクトの画像を取得するように構成され、該ディスプレイは、該オブジェクトの画像を距離を測定するように構成される該1つまたはそれを上回るセンサによって測定された該距離に基づいて判定された深度平面に提示するように構成され、該オブジェクトの画像は、ユーザの視野の中心領域内の場所に提示され、該ディスプレイは、該オブジェクトの画像と比較して、視野の他の部分内に形成される画像を強調解除するように構成される、頭部搭載型ディスプレイシステム。
28.光を人物の眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例27に記載のシステム。
29.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例28に記載のシステム。
30.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例28または29に記載のシステム。
31.該深度平面は、第1の遠深度平面と、第2の近深度平面とを備え、該第1の遠深度平面は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該第2の近深度平面より該ユーザの眼から遠い、実施例27に記載のシステム。
32.該オブジェクトの画像は、該遠深度平面上に提示される、実施例31に記載のシステム。
33.該ディスプレイは、該眼の中に投影される光が該第2の近深度平面から画像コンテンツを提示するように発散するような屈折力を有する、光学要素を備える、実施例31または32に記載のシステム。
34.屈折力を有する、光学要素は、レンズを備える、実施例33に記載のシステム。
35.屈折力を有する、光学要素は、回折光学要素を備える、実施例33または34に記載のシステム。
36.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像を該オブジェクトが位置する環境内の中心領域内の場所に対応するユーザの視野の中心領域内の場所に提示するように構成される、実施例27に記載のシステム。
37.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像を該オブジェクトが位置する環境内の中心領域に対応しないユーザの視野の中心領域内の場所に移動させるように構成される、実施例27に記載のシステム。
38.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例27に記載のシステム。
39.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例38に記載のシステム。
40.該1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例27のいずれかに記載のシステム。
41.該距離測定デバイスは、レーザ測距計を備える、実施例40に記載のシステム。
42.入力を該ユーザから受信するように構成される、該1つまたはそれを上回る入力デバイスは、該ユーザの眼を結像し、その移動を追跡するように配置される、内向きに面した眼追跡カメラを備える、実施例27に記載のシステム。
43.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と異なるように、該オブジェクトの画像が形成される場所以外の、該ユーザの視野の他の部分内に形成される画像を処理するように構成される、実施例27-42のいずれかに記載のシステム。
44.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像のサイズを収縮または低減させることによって、画像を異なるように処理するように構成される、実施例43に記載のシステム。
45.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像を暗化または減衰させることによって、画像を異なるように処理するように構成される、実施例43-44のいずれかに記載のシステム。
46.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像のコントラストを低減させることによって、画像を異なるように処理するように構成される、実施例43-45のいずれかに記載のシステム。
47.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像の色飽和を減少させることによって、画像を異なるように処理するように構成される、実施例43-46のいずれかに記載のシステム。
48.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像の鮮明度を減少させることによって、画像を異なるように処理するように構成される、実施例43-47のいずれかに記載のシステム。
49.該鮮明度を減少させることは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像内の特徴の縁を増強解除することを含む、実施例48に記載のシステム。
50.該鮮明度を減少させることは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像をぼかすことを含む、実施例48または49に記載のシステム。
51.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像と比較して、該オブジェクトの画像が形成される場所以外の該ユーザの視野の他の部分内に形成される画像のカラーバランスを偏移させることによって、画像を異なるように処理するように構成される、実施例48-50のいずれかに記載のシステム。
52.視野の該他の部分は、該視野の該中心領域の他の部分を備える、実施例27-51のいずれかに記載のシステム。
53.視野の該他の部分は、該視野の該周辺領域の少なくとも一部を備える、実施例27-52のいずれかに記載のシステム。
54.該増強された画像は、該近深度平面上に提示される、実施例5に記載のシステム。
55.該ディスプレイは、該眼の中に投影される光が画像コンテンツを該第1の遠深度平面から提示するように発散するような屈折力を有する、光学要素を備える、実施例5または54に記載のシステム。
56.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例18に記載のシステム。
57.該オブジェクトの画像は、該近深度平面上に提示される、実施例31に記載のシステム。
58.該ディスプレイは、該眼の中に投影される光が画像コンテンツを該第1の遠深度平面から提示するように発散するような屈折力を有する、光学要素を備える、実施例31または57に記載のシステム。
59.該ぼかしは、同一色を使用して、該ユーザの視野の他の部分内に形成される該画像をぼかすことを含む、実施例50に記載のシステム。
60.該同一色は、該オブジェクトの画像内の色と比較して高コントラスト色を備える、実施例59に記載のシステム。
61.システムは、アラートをユーザに提供し、提示される画像が増強されたことを示すように構成される、実施例1-26のいずれかまたは実施例54-56のいずれかに記載のシステム。
62.システムは、アラートをユーザに提供し、提示される画像が強調解除されたことを示すように構成される、実施例27-53のいずれかまたは実施例57-60のいずれかに記載のシステム。
63.アラートは、視覚的アラートである、実施例61または62のいずれかに記載のシステム。
64.アラートは、聴覚的アラートである、実施例61または62のいずれかに記載のシステム。
65.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
66.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
67.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例66に記載のシステム。
68.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例66-67のいずれかに記載のシステム。
69.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
70.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例69に記載のシステム。
71.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例70に記載のシステム。
72.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
73.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
74.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
75.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
77.第1の画像モダリティは、MRI走査を備える、実施例76に記載のシステム。
78.第2の画像モダリティは、超音波を備える、実施例76-77のいずれかに記載のシステム。
79.第1の画像モダリティは、X線走査を備える、実施例76-78のいずれかに記載のシステム。
80.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
81.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
82.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
83.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
84.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
85.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例84に記載のシステム。
86.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
87.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
88.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例87に記載のシステム。
89.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
90.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
91.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
92.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例91に記載のシステム。
93.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
94.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
95.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
96.ユーザの医療パラメータは、バイタルサインを含む、実施例95に記載のシステム。
97.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
98.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
99.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
100.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
101.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例20に記載のシステム。
102.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例20に記載のシステム。
103.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
104.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
105.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例104に記載のシステム。
106.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例104または105に記載のシステム。
実施例セットIII
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを複数の深度平面上でユーザに提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、1つまたはそれを上回る導波管を備え、該1つまたはそれを上回る導波管は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置され、ユーザの眼の視野の中心領域は、ユーザの正面の環境内の中心領域に対応し、ユーザの眼の視野の周辺領域は、ユーザの正面の環境内の周辺領域に対応する、ディスプレイと、
ユーザの正面の環境の少なくとも該部分を結像するように構成される、外向きに面した画像捕捉デバイスと、
入力を該ユーザから受信するように構成される、1つまたはそれを上回る入力デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、
該深度平面は、第1の深度平面と、第2の深度平面とを備え、該オブジェクトまでの該距離は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該第2の深度平面より該第1の深度平面に対応し、
該頭部搭載型ディスプレイシステムは、該1つまたはそれを上回る入力デバイスによって受信された入力に基づいて、ユーザの視野内の環境内のオブジェクトを選択するように構成され、該外向きに面した画像捕捉デバイスは、該オブジェクトの画像を取得するように構成され、該ディスプレイは、該オブジェクトの画像を該第2の深度に提示するように構成される、
平面頭部搭載型ディスプレイシステム。
2.入力を該ユーザから受信するように構成される、該1つまたはそれを上回る入力デバイスは、該ユーザの眼を結像し、その移動を追跡するように配置される、内向きに面した眼追跡カメラを備える、実施例1に記載のシステム。
3.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、前述の実施例のいずれかに記載のシステム。
4.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例3に記載のシステム。
5.ユーザの正面の環境の少なくとも該部分内のオブジェクトまでの距離を測定するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
6.該1つまたはそれを上回るセンサは、該オブジェクトの選択後、該オブジェクトまでの距離を測定するように構成される、実施例5に記載のシステム。
7.1つまたはそれを上回るセンサは、距離測定デバイスを備える、実施例5-6のいずれかに記載のシステム。
8.距離測定デバイスは、レーザ測距計を備える、実施例7に記載のシステム。
9.該第1の深度平面は、遠深度平面を備え、該第2の深度平面は、近深度平面を備え、該遠深度平面は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該近深度平面より該ユーザの眼から遠い、前述の実施例のいずれかに記載のシステム。
10.該第1の深度平面は、近深度平面を備え、該第2の深度平面は、遠深度平面を備え、該遠深度平面は、該頭部搭載型ディスプレイが該ユーザによって装着されるとき、該近深度平面より該ユーザの眼から遠い、実施例1-8のいずれかに記載のシステム。
11.該ディスプレイは、付加的画像コンテンツを該第2の深度平面に提示するように構成される、前述の実施例のいずれかに記載のシステム。
12.該付加的画像は、選択されたオブジェクトである、実施例11に記載のシステム。
13.該第2の深度平面に提示される該オブジェクトの画像は、拡大される、前述の実施例のいずれかに記載のシステム。
14.該第2の深度平面に提示される該オブジェクトの画像は、拡大されない、前述の実施例のいずれかに記載のシステム。
15.該第2の深度平面に提示される該オブジェクトの画像は、サイズが低減される、実施例15に記載のシステム。
16.入力を該ユーザから受信するように構成される、該1つまたはそれを上回る入力デバイスは、頭部姿勢センサを備える、前述の実施例のいずれかに記載のシステム。
17.該頭部姿勢センサは、加速度計またはIMUを備える、実施例16に記載のシステム。
18.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像を該中心領域内に提示するように構成される、前述の実施例のいずれかに記載のシステム。
19.該頭部搭載型ディスプレイシステムは、該オブジェクトの画像を該周辺領域内に提示するように構成される、前述の実施例のいずれかに記載のシステム。
20.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
21.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
22.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例21に記載のシステム。
23.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例21-22のいずれかに記載のシステム。
24.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
25.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例24に記載のシステム。
26.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例25に記載のシステム。
27.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
28.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
29.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
30.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
31.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
32.第1の画像モダリティは、MRI走査を備える、実施例31に記載のシステム。
33.第2の画像モダリティは、超音波を備える、実施例31-32のいずれかに記載のシステム。
34.第1の画像モダリティは、X線走査を備える、実施例31-33のいずれかに記載のシステム。
35.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
36.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
37.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
38.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
39.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
40.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例39に記載のシステム。
41.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
42.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
43.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例42に記載のシステム。
44.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
46.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
47.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例46に記載のシステム。
48.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
49.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
50.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
51.ユーザの医療パラメータは、バイタルサインを含む、実施例50に記載のシステム。
52.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
54.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
55.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
56.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
57.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例56に記載のシステム。
58.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例56または57に記載のシステム。
実施例セットIV
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて増強される、画像コンテンツをユーザの視野に提示するように構成される、頭部搭載型ディスプレイシステム。
2.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例1に記載のシステム。
3.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例1または2に記載のシステム。
4.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例3に記載のシステム。
5.該光源は、ファイバ走査プロジェクタを備える、実施例2-4のいずれかに記載のシステム。
6.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-5のいずれかに記載のシステム。
7.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例6に記載のシステム。
8.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-5のいずれかに記載のシステム。
9.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例8に記載のシステム。
10.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
11.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
12.該距離測定デバイスは、レーザ測距計を備える、実施例11に記載のシステム。
13.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
14.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-13のいずれかに記載のシステム。
15.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを拡大するように構成される、前述の実施例のいずれかに記載のシステム。
16.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例15に記載のシステム。
17.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の明度を増加させるように構成される、前述の実施例のいずれかに記載のシステム。
18.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内のコントラストを増加させるように構成される、前述の実施例のいずれかに記載のシステム。
19.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の色飽和を増加させるように構成される、前述の実施例のいずれかに記載のシステム。
20.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを鮮明化するように構成される、前述の実施例のいずれかに記載のシステム。
21.鮮明化することは、少なくとも部分的に、環境の照明条件に基づいて、縁増強特徴を画像コンテンツ内に追加することを含む、実施例20に記載のシステム。
22.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのカラーバランスを偏移させるように構成される、前述の実施例のいずれかに記載のシステム。
23.システムは、アラートをユーザに提供し、画像コンテンツが増強されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
24.アラートは、視覚的アラートである、実施例23に記載のシステム。
25.アラートは、聴覚的アラートである、実施例23に記載のシステム。
26.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて強調解除される、画像コンテンツをユーザの視野に提示するように構成される、頭部搭載型ディスプレイシステム。
27.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、実施例26に記載のシステム。
28.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、実施例26または27に記載のシステム。
29.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例28に記載のシステム。
30.該光源は、ファイバ走査プロジェクタを備える、実施例27-29のいずれかに記載のシステム。
31.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例26-30のいずれかに記載のシステム。
32.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例31に記載のシステム。
33.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例26-30のいずれかに記載のシステム。
34.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例33に記載のシステム。
35.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、実施例26-34のいずれかに記載のシステム。
36.距離測定デバイスをさらに備える、実施例26-35のいずれかに記載のシステム。
37.該距離測定デバイスは、レーザ測距計を備える、実施例36に記載のシステム。
38.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、実施例26-37のいずれかに記載のシステム。
39.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例26-38のいずれかに記載のシステム。
40.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのサイズを低減させるように構成される、実施例26-39のいずれかに記載のシステム。
41.該サイズ低減は、少なくとも部分的に、眼の分解能に基づく、実施例40に記載のシステム。
42.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを暗化または減衰させるように構成される、実施例26-41のいずれかに記載のシステム。
43.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内のコントラストを低減させるように構成される、実施例26-42のいずれかに記載のシステム。
44.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の色飽和を減少させるように構成される、実施例26-43のいずれかに記載のシステム。
45.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツの鮮明度を減少させるように構成される、実施例26-44のいずれかに記載のシステム。
46.鮮明度を減少させることは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の特徴の縁を増強解除することを含む、実施例45に記載のシステム。
47.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのカラーバランスを偏移させるように構成される、実施例26-46のいずれかに記載のシステム。
48.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツをぼかすように構成される、実施例26-47のいずれかに記載のシステム。
49.該ぼかしは、同一色を使用して、該画像コンテンツをぼかすことを含む、実施例48に記載のシステム。
50.システムは、アラートをユーザに提供し、画像コンテンツが強調解除されたことを示すように構成される、実施例26-49のいずれかに記載のシステム。
51.アラートは、視覚的アラートである、実施例50に記載のシステム。
52.アラートは、聴覚的アラートである、実施例50に記載のシステム。
53.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
54.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
55.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例54に記載のシステム。
56.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例54-55のいずれかに記載のシステム。
57.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
58.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例57に記載のシステム。
59.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例58に記載のシステム。
60.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
61.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
62.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
63.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
65.第1の画像モダリティは、MRI走査を備える、実施例64に記載のシステム。
66.第2の画像モダリティは、超音波を備える、実施例64-65のいずれかに記載のシステム。
67.第1の画像モダリティは、X線走査を備える、実施例64-66のいずれかに記載のシステム。
68.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
69.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
70.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
71.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
72.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
73.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例72に記載のシステム。
74.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
75.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例75に記載のシステム。
77.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
78.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
79.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
80.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例79に記載のシステム。
81.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
82.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
83.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
84.ユーザの医療パラメータは、バイタルサインを含む、実施例83に記載のシステム。
85.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
86.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
87.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
88.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
89.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例18に記載のシステム。
90.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例18に記載のシステム。
91.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
92.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
93.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例92に記載のシステム。
94.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例92または93に記載のシステム。
実施例セットIVA
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて増強される、画像コンテンツをユーザの視野の中心領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、頭部搭載型ディスプレイシステム。
2.明所視照明条件下、画像コンテンツは、錐体の投影された光場所の密度に基づいて反比例して増強される、実施例1に記載のシステム。
3.環境の明所視照明条件は、輝度10cd/m~10cd/mを有する、実施例2に記載のシステム。
4.暗所視照明条件下、画像コンテンツは、桿体の投影された光場所の密度に基づいて反比例して増強される、実施例1に記載のシステム。
5.環境の暗所視照明条件は、輝度10-3.5cd/m~10-6cd/mを有する、実施例4に記載のシステム。
6.薄明視照明条件下、画像コンテンツは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて増強される、実施例1に記載のシステム。
7.環境の薄明視照明条件は、輝度10-3cd/m~100.5cd/mを有する、実施例6に記載のシステム。
8.システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成される、実施例6または7に記載のシステム。
9.画像コンテンツは、錐体がユーザの眼内で優勢であるとき、錐体の投影された光場所の密度に基づいて反比例して増強される、実施例6-8のいずれかに記載のシステム。
10.画像コンテンツは、桿体がユーザの眼内で優勢であるとき、ユーザの眼の桿体の投影された光場所の密度に基づいて反比例して増強される、実施例6-8のいずれかに記載のシステム。
11.システムは、照明条件下で費やされた時間を監視するためのタイマまたはクロックを備える、前述の実施例のいずれかに記載のシステム。
12.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
13.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
14.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例13に記載のシステム。
15.該光源は、ファイバ走査プロジェクタを備える、実施例12-14のいずれかに記載のシステム。
16.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-15のいずれかに記載のシステム。
17.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例16に記載のシステム。
18.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-15のいずれかに記載のシステム。
19.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例18に記載のシステム。
20.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
21.1つまたはそれを上回る捕捉デバイスは、ピクセルのアレイを備える、検出器アレイを備え、検出器アレイは、ピクセルにわたって光レベルを積分し、照明条件を捕捉するように構成される、前述の実施例のいずれかに記載のシステム。
22.1つまたはそれを上回る捕捉デバイスは、瞳孔サイズを検出し、照明条件を捕捉するように構成される、1つまたはそれを上回る内向きに面したカメラを備える、前述の実施例のいずれかに記載のシステム。
23.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
24.該距離測定デバイスは、レーザ測距計を備える、実施例23に記載のシステム。
25.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
26.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-25のいずれかに記載のシステム。
27.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを拡大するように構成される、前述の実施例のいずれかに記載のシステム。
28.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例27に記載のシステム。
29.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の明度を増加させるように構成される、前述の実施例のいずれかに記載のシステム。
30.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内のコントラストを増加させるように構成される、前述の実施例のいずれかに記載のシステム。
31.頭部搭載型ディスプレイシステムは、少なくとも部分的に、眼のコントラスト感度に基づいて、コントラストを増加させるように構成される、実施例30に記載のシステム。
32.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の色飽和を増加させるように構成される、前述の実施例のいずれかに記載のシステム。
33.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを鮮明化するように構成される、前述の実施例のいずれかに記載のシステム。
34.鮮明化することは、少なくとも部分的に、環境の照明条件に基づいて、縁増強特徴を画像コンテンツ内に追加することを含む、実施例33に記載のシステム。
35.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのカラーバランスを偏移させるように構成される、前述の実施例のいずれかに記載のシステム。
36.システムは、アラートをユーザに提供し、画像コンテンツが増強されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
37.アラートは、視覚的アラートである、実施例36に記載のシステム。
38.アラートは、聴覚的アラートである、実施例36に記載のシステム。
39.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
40.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
41.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例40に記載のシステム。
42.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例41に記載のシステム。
43.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
44.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
46.第1の画像モダリティは、MRI走査を備える、実施例45に記載のシステム。
47.第2の画像モダリティは、超音波を備える、実施例45-46のいずれかに記載のシステム。
48.第1の画像モダリティは、X線走査を備える、実施例45-47のいずれかに記載のシステム。
49.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
50.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
51.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
52.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
54.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例53に記載のシステム。
55.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
56.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
57.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例56に記載のシステム。
58.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
59.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
61.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例60に記載のシステム。
62.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
63.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
65.医療パラメータは、バイタルサインを含む、実施例64に記載のシステム。
66.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
67.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
68.検出器アレイは、環境を結像するように構成される、外向きに面したカメラを備える、実施例21に記載のシステム。
69.該頭部搭載型ディスプレイシステムは、周辺領域の一部に提示される画像コンテンツに対して増強される、画像コンテンツをユーザの視野の中心領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
70.該頭部搭載型ディスプレイシステムは、中心領域の別の部分に提示される画像コンテンツに対して増強される、画像コンテンツをユーザの視野の中心領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
71.前システムは、少なくとも部分的に、環境の照明条件の時間的側面に基づいて、画像コンテンツをユーザの眼内に提示する方法を判定するように構成される、述の実施例のいずれかに記載のシステム。
72.該ディスプレイは、該画像コンテンツが異なる深度から生じるかのように該画像コンテンツを提示するように、異なる発散量において光を該ユーザの眼の中に投影するように構成される、前述の実施例のいずれかに記載のシステム。
73.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例30に記載のシステム。
74.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例30に記載のシステム。
75.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
77.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例76に記載のシステム。
78.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例76または77に記載のシステム。
実施例セットIVB
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の該周辺領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて増強される、画像コンテンツをユーザの視野の周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、頭部搭載型ディスプレイシステム。
2.明所視照明条件下、画像コンテンツは、錐体の投影された光場所の密度に基づいて反比例して増強される、実施例1に記載のシステム。
3.環境の明所視照明条件は、輝度10cd/m~10cd/mを有する、実施例2に記載のシステム。
4.暗所視照明条件下、画像コンテンツは、桿体の投影された光場所の密度に基づいて反比例して増強される、実施例1に記載のシステム。
5.環境の暗所視照明条件は、輝度10-3.5cd/m~10-6cd/mを有する、実施例4に記載のシステム。
6.薄明視照明条件下、画像コンテンツは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて増強される、実施例1に記載のシステム。
7.環境の薄明視照明条件は、輝度10-3cd/m~100.5cd/mを有する、実施例6に記載のシステム。
8.システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成される、実施例6または7に記載のシステム。
9.画像コンテンツは、錐体がユーザの眼内で優勢であるとき、錐体の投影された光場所の密度に基づいて反比例して増強される、実施例6-8のいずれかに記載のシステム。
10.画像コンテンツは、桿体がユーザの眼内で優勢であるとき、ユーザの眼の桿体の投影された光場所の密度に基づいて反比例して増強される、実施例6-8のいずれかに記載のシステム。
11.システムは、照明条件下で費やされた時間を監視するためのタイマまたはクロックを備える、前述の実施例のいずれかに記載のシステム。
12.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
13.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
14.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例13に記載のシステム。
15.該光源は、ファイバ走査プロジェクタを備える、実施例12-14のいずれかに記載のシステム。
16.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-15のいずれかに記載のシステム。
17.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例16に記載のシステム。
18.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-15のいずれかに記載のシステム。
19.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例18に記載のシステム。
20.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
21.1つまたはそれを上回る捕捉デバイスは、ピクセルのアレイを備える、検出器アレイを備え、検出器アレイは、ピクセルにわたって光レベルを積分し、照明条件を捕捉するように構成される、前述の実施例のいずれかに記載のシステム。
22.1つまたはそれを上回る捕捉デバイスは、瞳孔サイズを検出し、照明条件を捕捉するように構成される、1つまたはそれを上回る内向きに面したカメラを備える、前述の実施例のいずれかに記載のシステム。
23.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
24.該距離測定デバイスは、レーザ測距計を備える、実施例23に記載のシステム。
25.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
26.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-25のいずれかに記載のシステム。
27.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを拡大するように構成される、前述の実施例のいずれかに記載のシステム。
28.該拡大は、少なくとも部分的に、眼の分解能に基づく、実施例27に記載のシステム。
29.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の明度を増加させるように構成される、前述の実施例のいずれかに記載のシステム。
30.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内のコントラストを増加させるように構成される、前述の実施例のいずれかに記載のシステム。
31.頭部搭載型ディスプレイシステムは、少なくとも部分的に、眼のコントラスト感度に基づいて、コントラストを増加させるように構成される、実施例30に記載のシステム。
32.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の色飽和を増加させるように構成される、前述の実施例のいずれかに記載のシステム。
33.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツを鮮明化するように構成される、前述の実施例のいずれかに記載のシステム。
34.鮮明化することは、少なくとも部分的に、環境の照明条件に基づいて、縁増強特徴を画像コンテンツ内に追加することを含む、実施例33に記載のシステム。
35.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのカラーバランスを偏移させるように構成される、前述の実施例のいずれかに記載のシステム。
36.システムは、アラートをユーザに提供し、画像コンテンツが増強されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
37.アラートは、視覚的アラートである、実施例36に記載のシステム。
38.アラートは、聴覚的アラートである、実施例36に記載のシステム。
39.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
40.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
41.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例40に記載のシステム。
42.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例41に記載のシステム。
43.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
44.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
46.第1の画像モダリティは、MRI走査を備える、実施例45に記載のシステム。
47.第2の画像モダリティは、超音波を備える、実施例45-46のいずれかに記載のシステム。
48.第1の画像モダリティは、X線走査を備える、実施例45-47のいずれかに記載のシステム。
49.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
50.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
51.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
52.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
54.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例53に記載のシステム。
55.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
56.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
57.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例56に記載のシステム。
58.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
59.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
61.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例60に記載のシステム。
62.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
63.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
65.医療パラメータは、バイタルサインを含む、実施例64に記載のシステム。
66.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
67.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
68.検出器アレイは、環境を結像するように構成される、外向きに面したカメラを備える、実施例21に記載のシステム。
69.該頭部搭載型ディスプレイシステムは、中心領域の一部に提示される画像コンテンツに対して増強される、画像コンテンツをユーザの視野の周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
70.該頭部搭載型ディスプレイシステムは、周辺領域の別の部分に提示される画像コンテンツに対して増強される、画像コンテンツをユーザの視野の周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
71.システムは、少なくとも部分的に、環境の照明条件の時間的側面に基づいて、画像コンテンツをユーザの眼内に提示する方法を判定するように構成される、前述の実施例のいずれかに記載のシステム。
72.該ディスプレイは、該画像コンテンツが異なる深度から生じるかのように該画像コンテンツを提示するように、異なる発散量において光を該ユーザの眼の中に投影するように構成される、前述の実施例のいずれかに記載のシステム。
73.コントラストを増加させることは、該画像コンテンツの少なくとも1つの色の明度または暗度を調節することを含む、実施例30に記載のシステム。
74.コントラストを増加させることは、黒色、灰色、白色、または他の色を該画像コンテンツの少なくとも1つの色に追加することを含む、実施例30に記載のシステム。
75.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
76.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
77.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例76に記載のシステム。
78.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例76または77に記載のシステム。
実施例セットIVC
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツをユーザの視野の第1の部分からユーザの視野の第2の部分に提示するように構成され、環境の照明条件下、第2の部分は、第1の部分より高い視力を有するユーザの眼の場所に対応する、頭部搭載型ディスプレイシステム。
2.明所視照明条件下、第2の部分は、第1の部分より高い密度の錐体を有するユーザの眼の場所に対応する、実施例1に記載のシステム。
3.環境の明所視照明条件は、輝度10cd/m~10cd/mを有する、実施例2に記載のシステム。
4.第1の部分は、周辺領域内の一部から成り、第2の部分は、中心領域内の一部から成る、実施例2または3に記載のシステム。
5.第1の部分は、中心領域内の一部から成り、第2の部分は、中心領域内の別の部分から成る、実施例2または3に記載のシステム。
6.第1の部分は、周辺領域内の一部から成り、第2の部分は、周辺領域内の別の部分から成る、実施例2または3に記載のシステム。
7.暗所視照明条件下、第2の部分は、第1の部分より高い密度の桿体を有するユーザの眼の場所に対応する、実施例1に記載のシステム。
8.環境の暗所視照明条件は、輝度10-3.5cd/m~10-6cd/mを有する、実施例7に記載のシステム。
9.第1の部分は、中心領域内の一部から成り、第2の部分は、周辺領域内の領域から成る、実施例7または8に記載のシステム。
10.第1の部分は、周辺領域内の一部から成り、第2の部分は、周辺領域内の別の領域から成る、実施例7または8に記載のシステム。
11.薄明視照明条件下、システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、画像コンテンツを第1の部分から第2の部分に提示するように構成される、実施例1に記載のシステム。
12.環境の薄明視照明条件は、輝度10-3cd/m~100.5cd/mを有する、実施例11に記載のシステム。
13.システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成される、実施例11または12に記載のシステム。
14.第2の部分は、錐体がユーザの眼内で優勢であるとき、第1の部分より高い密度の錐体を有するユーザの眼の場所に対応する、実施例11-13のいずれかに記載のシステム。
15.第1の部分は、周辺領域内の一部から成り、第2の部分は、中心領域内の一部から成る、実施例14に記載のシステム。
16.第1の部分は、中心領域内の一部から成り、第2の部分は、中心領域内の別の部分から成る、実施例14に記載のシステム。
17.第1の部分は、周辺領域内の一部から成り、第2の部分は、周辺領域内の別の部分から成る、実施例14に記載のシステム。
18.第2の部分は、桿体がユーザの眼内で優勢であるとき、第1の部分より高い密度の桿体を有するユーザの眼の場所に対応する、実施例11-13のいずれかに記載のシステム。
19.第1の部分は、中心領域内の一部から成り、第2の部分は、周辺領域内の一部から成る、実施例18に記載のシステム。
20.第1の部分は、周辺領域内の一部から成り、第2の部分は、周辺領域内の別の部分から成る、実施例18に記載のシステム。
21.システムは、照明条件下で費やされた時間を監視するためのタイマまたはクロックを備える、前述の実施例のいずれかに記載のシステム。
22.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
23.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
24.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例23に記載のシステム。
25.該光源は、ファイバ走査プロジェクタを備える、実施例22-24のいずれかに記載のシステム。
26.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-25のいずれかに記載のシステム。
27.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例26に記載のシステム。
28.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-25のいずれかに記載のシステム。
29.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例28に記載のシステム。
30.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
31.1つまたはそれを上回る捕捉デバイスは、ピクセルのアレイを備える、検出器アレイを備え、検出器アレイは、ピクセルにわたって光レベルを積分し、照明条件を捕捉するように構成される、前述の実施例のいずれかに記載のシステム。
32.1つまたはそれを上回る捕捉デバイスは、瞳孔サイズを検出し、照明条件を捕捉するように構成される、1つまたはそれを上回る内向きに面したカメラを備える、前述の実施例のいずれかに記載のシステム。
33.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
34.該距離測定デバイスは、レーザ測距計を備える、実施例33に記載のシステム。
35.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
36.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-35のいずれかに記載のシステム。
37.システムは、アラートをユーザに提供し、画像コンテンツが第1の部分から第2の部分に変位されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
38.アラートは、視覚的アラートである、実施例37に記載のシステム。
39.アラートは、聴覚的アラートである、実施例37に記載のシステム。
40.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
41.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
42.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例41に記載のシステム。
43.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例42に記載のシステム。
44.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
46.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
47.第1の画像モダリティは、MRI走査を備える、実施例46に記載のシステム。
48.第2の画像モダリティは、超音波を備える、実施例46-47のいずれかに記載のシステム。
49.第1の画像モダリティは、X線走査を備える、実施例46-48のいずれかに記載のシステム。
50.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
51.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
52.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
54.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
55.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例54に記載のシステム。
56.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
57.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
58.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例57に記載のシステム。
59.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
61.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
62.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例61に記載のシステム。
63.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
65.頭部搭載型ディスプレイは、医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
66.医療パラメータは、バイタルサインを含む、実施例65に記載のシステム。
67.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
68.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
69.検出器アレイは、環境を結像するように構成される、外向きに面したカメラを備える、実施例31に記載のシステム。
70.システムは、少なくとも部分的に、環境の照明条件の時間的側面に基づいて、画像コンテンツをユーザの眼内に提示する方法を判定するように構成される、前述の実施例のいずれかに記載のシステム。
71.該ディスプレイは、該画像コンテンツが異なる深度から生じるかのように該画像コンテンツを提示するように、異なる発散量において光を該ユーザの眼の中に投影するように構成される、前述の実施例のいずれかに記載のシステム。
72.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
73.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例72に記載のシステム。
74.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例72または73に記載のシステム。
実施例セットIVD
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツをユーザの視野の一部に提示するように、光をユーザの眼の場所に投影するように構成される、頭部搭載型ディスプレイシステム。
2.明所視照明条件下、投影された光場所は、錐体の投影された光場所の密度に基づく、実施例1に記載のシステム。
3.環境の明所視照明条件は、輝度10cd/m~10cd/mを有する、実施例2に記載のシステム。
4.ユーザの視野の一部は、中心領域を備える、実施例2-3のいずれかに記載のシステム。
5.投影された光場所は、中心窩から0~5度ずれた範囲内にある、実施例2-4のいずれかに記載のシステム。
6.暗所視照明条件下、投影された光場所は、桿体の投影された光場所の密度に基づく、実施例1に記載のシステム。
7.環境の暗所視照明条件は、輝度10-3.5cd/m~10-6cd/mを有する、実施例6に記載のシステム。
8.ユーザの視野の一部は、周辺領域を備える、実施例6-7のいずれかに記載のシステム。
9.投影された光場所は、中心窩から15~20度ずれた範囲内にある、実施例6-8のいずれかに記載のシステム。
10.投影された光場所は、中心窩から25~35度ずれた範囲内にある、実施例6-8のいずれかに記載のシステム。
11.薄明視照明条件下、投影された光場所は、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づく、実施例1に記載のシステム。
12.環境の薄明視照明条件は、輝度10-3cd/m~100.5cd/mを有する、実施例11に記載のシステム。
13.システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成される、実施例11または12に記載のシステム。
14.投影された光場所は、錐体がユーザの眼内で優勢であるとき、錐体の投影された光場所の密度に基づく、実施例11-13のいずれかに記載のシステム。
15.ユーザの視野の一部は、中心領域を備える、実施例14に記載のシステム。
16.投影された光場所は、中心窩から0~5度ずれた範囲内にある、実施例14に記載のシステム。
17.投影された光場所は、桿体がユーザの眼内で優勢であるとき、ユーザの眼の桿体の投影された光場所の密度に基づく、実施例11-13のいずれかに記載のシステム。
18.ユーザの視野の一部は、周辺領域を備える、実施例17に記載のシステム。
19.投影された光場所は、中心窩から15~20度ずれた範囲内にある、実施例17に記載のシステム。
20.投影された光場所は、中心窩から25~35度ずれた範囲内にある、実施例17に記載のシステム。
21.システムは、照明条件下で費やされた時間を監視するためのタイマまたはクロックを備える、前述の実施例のいずれかに記載のシステム。
22.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
23.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
24.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例23に記載のシステム。
25.該光源は、ファイバ走査プロジェクタを備える、実施例22-24のいずれかに記載のシステム。
26.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-25のいずれかに記載のシステム。
27.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例26に記載のシステム。
28.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-25のいずれかに記載のシステム。
29.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例28に記載のシステム。
30.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
31.1つまたはそれを上回る捕捉デバイスは、ピクセルのアレイを備える、検出器アレイを備え、検出器アレイは、ピクセルにわたって光レベルを積分し、照明条件を捕捉するように構成される、前述の実施例のいずれかに記載のシステム。
32.1つまたはそれを上回る捕捉デバイスは、瞳孔サイズを検出し、照明条件を捕捉するように構成される、1つまたはそれを上回る内向きに面したカメラを備える、前述の実施例のいずれかに記載のシステム。
33.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
34.該距離測定デバイスは、レーザ測距計を備える、実施例33に記載のシステム。
35.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
36.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-35のいずれかに記載のシステム。
37.システムは、アラートをユーザに提供し、画像コンテンツが提示されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
38.アラートは、視覚的アラートである、実施例37に記載のシステム。
39.アラートは、聴覚的アラートである、実施例37に記載のシステム。
40.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
41.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
42.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例41に記載のシステム。
43.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例42に記載のシステム。
44.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
46.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
47.第1の画像モダリティは、MRI走査を備える、実施例46に記載のシステム。
48.第2の画像モダリティは、超音波を備える、実施例46-47のいずれかに記載のシステム。
49.第1の画像モダリティは、X線走査を備える、実施例46-48のいずれかに記載のシステム。
50.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
51.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
52.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
54.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
55.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例54に記載のシステム。
56.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
57.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
58.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例57に記載のシステム。
59.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
61.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
62.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例61に記載のシステム。
63.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
65.頭部搭載型ディスプレイは、医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
66.医療パラメータは、バイタルサインを含む、実施例65に記載のシステム。
67.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
68.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
69.検出器アレイは、環境を結像するように構成される、外向きに面したカメラを備える、実施例31に記載のシステム。
70.システムは、少なくとも部分的に、環境の照明条件の時間的側面に基づいて、画像コンテンツをユーザの眼内に提示する方法を判定するように構成される、前述の実施例のいずれかに記載のシステム。
71.該頭部搭載型ディスプレイシステムは、少なくとも部分的に、光受容体の投影された光場所の密度に基づいて、画像コンテンツをユーザの視野の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
72.該ディスプレイは、該画像コンテンツが異なる深度から生じるかのように該画像コンテンツを提示するように、異なる発散量において光を該ユーザの眼の中に投影するように構成される、前述の実施例のいずれかに記載のシステム。
73.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
74.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例73に記載のシステム。
75.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例73または74に記載のシステム。
実施例セットIVE
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の中心領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて強調解除される、画像コンテンツをユーザの視野の中心領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、頭部搭載型ディスプレイシステム。
2.明所視照明条件下、画像コンテンツは、錐体の投影された光場所の密度に基づいて、強調解除される、実施例1に記載のシステム。
3.環境の明所視照明条件は、輝度10cd/m~10cd/mを有する、実施例2に記載のシステム。
4.暗所視照明条件下、画像コンテンツは、桿体の投影された光場所の密度に基づいて、強調解除される、実施例1に記載のシステム。
5.環境の暗所視照明条件は、輝度10-3.5cd/m~10-6cd/mを有する、実施例4に記載のシステム。
6.薄明視照明条件下、画像コンテンツは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、強調解除される、実施例1に記載のシステム。
7.環境の薄明視照明条件は、輝度10-3cd/m~100.5cd/mを有する、実施例6に記載のシステム。
8.システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成される、実施例6または7に記載のシステム。
9.画像コンテンツは、錐体がユーザの眼内で優勢であるとき、錐体の投影された光場所の密度に基づいて、強調解除される、実施例6-8のいずれかに記載のシステム。
10.画像コンテンツは、桿体がユーザの眼内で優勢であるとき、ユーザの眼の桿体の投影された光場所の密度に基づいて、強調解除される、実施例6-8のいずれかに記載のシステム。
11.システムは、照明条件下で費やされた時間を監視するためのタイマまたはクロックを備える、前述の実施例のいずれかに記載のシステム。
12.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
13.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
14.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例13に記載のシステム。
15.該光源は、ファイバ走査プロジェクタを備える、実施例12-14のいずれかに記載のシステム。
16.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-15のいずれかに記載のシステム。
17.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例16に記載のシステム。
18.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-15のいずれかに記載のシステム。
19.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例18に記載のシステム。
20.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
21.1つまたはそれを上回る捕捉デバイスは、ピクセルのアレイを備える、検出器アレイを備え、検出器アレイは、ピクセルにわたって光レベルを積分し、照明条件を捕捉するように構成される、前述の実施例のいずれかに記載のシステム。
22.1つまたはそれを上回る捕捉デバイスは、瞳孔サイズを検出し、照明条件を捕捉するように構成される、1つまたはそれを上回る内向きに面したカメラを備える、前述の実施例のいずれかに記載のシステム。
23.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
24.該距離測定デバイスは、レーザ測距計を備える、実施例23に記載のシステム。
25.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
26.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-25のいずれかに記載のシステム。
27.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのサイズを低減させるように構成される、前述の実施例のいずれかに記載のシステム。
28.該サイズの低減は、少なくとも部分的に、眼の分解能に基づく、実施例27に記載のシステム。
29.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の明度を減少させるように構成される、前述の実施例のいずれかに記載のシステム。
30.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内のコントラストを減少させるように構成される、前述の実施例のいずれかに記載のシステム。
31.頭部搭載型ディスプレイシステムは、少なくとも部分的に、眼のコントラスト感度に基づいて、コントラストを減少させるように構成される、実施例30に記載のシステム。
32.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の色飽和を減少させるように構成される、前述の実施例のいずれかに記載のシステム。
33.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツの鮮明度を低減させるように構成される、前述の実施例のいずれかに記載のシステム。
34.鮮明化することは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の特徴の縁を強調解除することを含む、実施例33に記載のシステム。
35.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのカラーバランスを偏移させるように構成される、前述の実施例のいずれかに記載のシステム。
36.システムは、アラートをユーザに提供し、画像コンテンツが強調解除されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
37.アラートは、視覚的アラートである、実施例36に記載のシステム。
38.アラートは、聴覚的アラートである、実施例36に記載のシステム。
39.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
40.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
41.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例40に記載のシステム。
42.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例41に記載のシステム。
43.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
44.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
46.第1の画像モダリティは、MRI走査を備える、実施例45に記載のシステム。
47.第2の画像モダリティは、超音波を備える、実施例45-46のいずれかに記載のシステム。
48.第1の画像モダリティは、X線走査を備える、実施例45-47のいずれかに記載のシステム。
49.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
50.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
51.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
52.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
54.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例53に記載のシステム。
55.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
56.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
57.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例56に記載のシステム。
58.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
59.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
61.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例60に記載のシステム。
62.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
63.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
65.医療パラメータは、バイタルサインを含む、実施例64に記載のシステム。
66.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
67.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
68.検出器アレイは、環境を結像するように構成される、外向きに面したカメラを備える、実施例21に記載のシステム。
69.該頭部搭載型ディスプレイシステムは、周辺領域の一部に提示される画像コンテンツに対して強調解除される、画像コンテンツをユーザの視野の中心領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
70.該頭部搭載型ディスプレイシステムは、中心領域の別の部分に提示される画像コンテンツに対して強調解除される、画像コンテンツをユーザの視野の中心領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
71.システムは、少なくとも部分的に、環境の照明条件の時間的側面に基づいて、画像コンテンツをユーザの眼内に提示する方法を判定するように構成される、前述の実施例のいずれかに記載のシステム。
72.該ディスプレイは、該画像コンテンツが異なる深度から生じるかのように該画像コンテンツを提示するように、異なる発散量において光を該ユーザの眼の中に投影するように構成される、前述の実施例のいずれかに記載のシステム。
73.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
74.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
75.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例74に記載のシステム。
76.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例74または75に記載のシステム。
実施例セットIVF
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、画像コンテンツを該ユーザの視野の該周辺領域に提示するように、光を該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイシステムを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
環境の照明条件を捕捉するように構成される、1つまたはそれを上回る捕捉デバイスと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備え、該頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて強調解除される、画像コンテンツをユーザの視野の周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、頭部搭載型ディスプレイシステム。
2.明所視照明条件下、画像コンテンツは、錐体の投影された光場所の密度に基づいて、強調解除される、実施例1に記載のシステム。
3.環境の明所視照明条件は、輝度10cd/m~10cd/mを有する、実施例2に記載のシステム。
4.暗所視照明条件下、画像コンテンツは、桿体の投影された光場所の密度に基づいて、強調解除される、実施例1に記載のシステム。
5.環境の暗所視照明条件は、輝度10-3.5cd/m~10-6cd/mを有する、実施例4に記載のシステム。
6.薄明視照明条件下、画像コンテンツは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、強調解除される、実施例1に記載のシステム。
7.環境の薄明視照明条件は、輝度10-3cd/m~100.5cd/mを有する、実施例6に記載のシステム。
8.システムは、少なくとも部分的に、薄明視照明条件下で費やされた時間に基づいて、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成される、実施例6または7に記載のシステム。
9.画像コンテンツは、錐体がユーザの眼内で優勢であるとき、錐体の投影された光場所の密度に基づいて、強調解除される、実施例6-8のいずれかに記載のシステム。
10.画像コンテンツは、桿体がユーザの眼内で優勢であるとき、ユーザの眼の桿体の投影された光場所の密度に基づいて、強調解除される、実施例6-8のいずれかに記載のシステム。
11.システムは、照明条件下で費やされた時間を監視するためのタイマまたはクロックを備える、前述の実施例のいずれかに記載のシステム。
12.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
13.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、光をユーザに投影するように構成される、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
14.該1つまたはそれを上回る光源は、光を該1つまたはそれを上回る導波管の中に指向するように構成される、実施例13に記載のシステム。
15.該光源は、ファイバ走査プロジェクタを備える、実施例12-14のいずれかに記載のシステム。
16.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る画像捕捉デバイスを備える、実施例1-15のいずれかに記載のシステム。
17.1つまたはそれを上回る画像捕捉デバイスは、1つまたはそれを上回るカメラを備える、実施例16に記載のシステム。
18.1つまたはそれを上回る捕捉デバイスは、1つまたはそれを上回る光センサを備える、実施例1-15のいずれかに記載のシステム。
19.1つまたはそれを上回る光センサは、1つまたはそれを上回る照度計を備える、実施例18に記載のシステム。
20.1つまたはそれを上回る捕捉デバイスは、環境の輝度を測定するように構成される、前述の実施例のいずれかに記載のシステム。
21.1つまたはそれを上回る捕捉デバイスは、ピクセルのアレイを備える、検出器アレイを備え、検出器アレイは、ピクセルにわたって光レベルを積分し、照明条件を捕捉するように構成される、前述の実施例のいずれかに記載のシステム。
22.1つまたはそれを上回る捕捉デバイスは、瞳孔サイズを検出し、照明条件を捕捉するように構成される、1つまたはそれを上回る内向きに面したカメラを備える、前述の実施例のいずれかに記載のシステム。
23.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
24.該距離測定デバイスは、レーザ測距計を備える、実施例23に記載のシステム。
25.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
26.該ユーザの眼を結像するように構成される、1つまたはそれを上回る内向きに面した画像捕捉デバイスをさらに備える、実施例1-25のいずれかに記載のシステム。
27.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのサイズを低減させるように構成される、前述の実施例のいずれかに記載のシステム。
28.該サイズの低減は、少なくとも部分的に、眼の分解能に基づく、実施例27に記載のシステム。
29.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の明度を減少させるように構成される、前述の実施例のいずれかに記載のシステム。
30.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内のコントラストを減少させるように構成される、前述の実施例のいずれかに記載のシステム。
31.頭部搭載型ディスプレイシステムは、少なくとも部分的に、眼のコントラスト感度に基づいて、コントラストを減少させるように構成される、実施例30に記載のシステム。
32.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の色飽和を減少させるように構成される、前述の実施例のいずれかに記載のシステム。
33.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツの鮮明度を低減させるように構成される、前述の実施例のいずれかに記載のシステム。
34.鮮明化することは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツ内の特徴の縁を強調解除することを含む、実施例33に記載のシステム。
35.頭部搭載型ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツのカラーバランスを偏移させるように構成される、前述の実施例のいずれかに記載のシステム。
36.システムは、アラートをユーザに提供し、画像コンテンツが強調解除されたことを示すように構成される、前述の実施例のいずれかに記載のシステム。
37.アラートは、視覚的アラートである、実施例36に記載のシステム。
38.アラートは、聴覚的アラートである、実施例36に記載のシステム。
39.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、前述の実施例のいずれかに記載のシステム。
40.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
41.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例40に記載のシステム。
42.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例41に記載のシステム。
43.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
44.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
45.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
46.第1の画像モダリティは、MRI走査を備える、実施例45に記載のシステム。
47.第2の画像モダリティは、超音波を備える、実施例45-46のいずれかに記載のシステム。
48.第1の画像モダリティは、X線走査を備える、実施例45-47のいずれかに記載のシステム。
49.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
50.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
51.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
52.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
53.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
54.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例53に記載のシステム。
55.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
56.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
57.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例56に記載のシステム。
58.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
59.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
60.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
61.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例60に記載のシステム。
62.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
63.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
64.頭部搭載型ディスプレイは、医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
65.医療パラメータは、バイタルサインを含む、実施例64に記載のシステム。
66.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
67.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
68.検出器アレイは、環境を結像するように構成される、外向きに面したカメラを備える、実施例21に記載のシステム。
69.該頭部搭載型ディスプレイシステムは、中心領域の一部に提示される画像コンテンツに対して強調解除される、画像コンテンツをユーザの視野の周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
70.該頭部搭載型ディスプレイシステムは、周辺領域の別の部分に提示される画像コンテンツに対して強調解除される、画像コンテンツをユーザの視野の周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成される、前述の実施例のいずれかに記載のシステム。
71.システムは、少なくとも部分的に、環境の照明条件の時間的側面に基づいて、画像コンテンツをユーザの眼内に提示する方法を判定するように構成される、前述の実施例のいずれかに記載のシステム。
72.該ディスプレイは、該画像コンテンツが異なる深度から生じるかのように該画像コンテンツを提示するように、異なる発散量において光を該ユーザの眼の中に投影するように構成される、前述の実施例のいずれかに記載のシステム。
73.頭部搭載型ディスプレイは、ある程度の不透明度を提示される画像コンテンツの少なくとも近傍に提供するように構成される、前述の実施例のいずれかに記載のシステム。
74.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
75.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例74に記載のシステム。
76.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例74または75に記載のシステム。
実施例セットV
1.光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される、医療処置および/または診断において使用するための頭部搭載型ディスプレイシステムであって、該ユーザの眼は、中心領域と、該中心領域を中心として配置される周辺領域を有する、視野を有し、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、該ディスプレイは、光を複数の深度平面上において該ユーザの眼の中に投影するように構成され、該ディスプレイの少なくとも一部は、透明部分が、ユーザの正面の環境の一部からの光をユーザの眼に伝送し、ユーザの正面の環境の該部分のビューを提供するように、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、ディスプレイと、
該ディスプレイと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と、
を備える、頭部搭載型ディスプレイ。
2.該頭部搭載型ディスプレイシステムは、ユーザの正面の環境の少なくとも該部分の3D表現を構築し、環境の少なくとも該部分の表現を解釈するように構成され、該環境の該部分は、患者を含み、該頭部搭載型ディスプレイはさらに、患者と関連付けられた第1の構造を患者と関連付けられた第2の構造から区別するように構成される、実施例1に記載のシステム。
3.透明であって、ユーザの眼の正面の場所に配置される、該ディスプレイの少なくとも該部分は、1つまたはそれを上回る導波管を備える、前述の実施例のいずれかに記載のシステム。
4.光を該1つまたはそれを上回る導波管の中に指向するように構成される、1つまたはそれを上回る光源を備え、導波管は、光をユーザの眼の中に指向するように構成される、実施例3に記載のシステム。
5.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、実施例3-4のいずれかに記載のシステム。
6.環境を監視するように構成される、1つまたはそれを上回るセンサをさらに備える、前述の実施例のいずれかに記載のシステム。
7.該1つまたはそれを上回るセンサは、該環境を結像するように構成される、1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、実施例6に記載のシステム。
8.該環境を結像するように構成される、該1つまたはそれを上回る外向きに面した画像捕捉デバイスは、1つまたはそれを上回る外向きに面したカメラを備える、実施例7に記載のシステム。
9.距離測定デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
10.該ユーザの眼の位置および/または移動を追跡するように構成される、眼追跡デバイスをさらに備える、前述の実施例のいずれかに記載のシステム。
11.頭部搭載型ディスプレイは、ユーザの視野内のヒト組織の体積を推定するように構成される、前述の実施例のいずれかに記載のシステム。
12.頭部搭載型ディスプレイは、環境内の2つのオブジェクト間の距離を測定するように構成される、前述の実施例のいずれかに記載のシステム。
13.頭部搭載型ディスプレイは、ディスプレイ上に提示される第1の画像モダリティと第2の画像モダリティとの間でトグルするように構成される、前述の実施例のいずれかに記載のシステム。
14.第1の画像モダリティは、MRI走査を備える、実施例13に記載のシステム。
15.第2の画像モダリティは、超音波を備える、実施例13-14のいずれかに記載のシステム。
16.第1の画像モダリティは、X線走査を備える、実施例13-15のいずれかに記載のシステム。
17.超音波音波を生産するように適合される、電子エミッタをさらに備える、前述の実施例のいずれかに記載のシステム。
18.超音波音波を電気信号に変換するように適合される、センサをさらに備える、前述の実施例のいずれかに記載のシステム。
19.頭部搭載型ディスプレイは、ユーザが、仮想基準マーカをユーザの眼に対してユーザの正面の環境の一部上に設置することを可能にするように構成される、前述の実施例のいずれかに記載のシステム。
20.頭部搭載型ディスプレイは、画像が環境内の実世界オブジェクトに添付されて現れるように、画像をディスプレイ上に投影するように構成される、前述の実施例のいずれかに記載のシステム。
21.頭部搭載型ディスプレイは、仮想切断ガイドラインが切断されるべきヒト身体領域上にオーバーレイされるようにユーザに現れるように、仮想切断ガイドラインを表示するように構成される、または切断されるべき部分へのアクセスを与える、前述の実施例のいずれかに記載のシステム。
22.仮想切断ガイドラインの見掛け場所は、患者の身体部分の位置に関連するように現れる、実施例21に記載のシステム。
23.頭部搭載型ディスプレイは、信号を放出し、ユーザの正面の環境の一部内のオブジェクトの位置に関するデータを取得するように構成される、前述の実施例のいずれかに記載のシステム。
24.頭部搭載型ディスプレイは、オブジェクト場所のデータベースを使用して、ユーザの正面の環境の一部内のオブジェクトの位置を取得するように構成される、前述の実施例のいずれかに記載のシステム。
25.頭部搭載型ディスプレイは、該オブジェクト場所のデータベースに基づいて、基準点を設定し、画像が基準点に対して固定されて現れるように、画像をユーザの眼の中に投影するように構成される、実施例24に記載のシステム。
26.頭部搭載型ディスプレイは、ユーザ入力に基づいて、オブジェクトの3D画像のビューを軸を中心として回転させるように構成される、前述の実施例のいずれかに記載のシステム。
27.頭部搭載型ディスプレイは、ユーザ入力に基づいて、3Dオブジェクトの画像のビューを平行移動させるように構成される、前述の実施例のいずれかに記載のシステム。
28.頭部搭載型ディスプレイは、オブジェクトの3D画像の第1のスライスを表示するように構成される、前述の実施例のいずれかに記載のシステム。
29.頭部搭載型ディスプレイは、3D画像の第1のスライスの画像および第2のスライスの画像を通してシーケンス化するように構成される、実施例28に記載のシステム。
30.頭部搭載型ディスプレイは、頭部搭載型ディスプレイの第2のユーザが伝送される環境の該部分の該画像を視認し得るように、ユーザの正面の環境の一部の画像を伝送するように構成される、前述の実施例のいずれかに記載のシステム。
31.頭部搭載型ディスプレイは、ユーザに医療手技におけるステップをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
32.頭部搭載型ディスプレイは、ユーザの医療パラメータを監視し、医療パラメータに基づいて、アラートを提供するように構成される、前述の実施例のいずれかに記載のシステム。
33.ユーザの医療パラメータは、バイタルサインを含む、実施例32に記載のシステム。
34.頭部搭載型ディスプレイは、超音波を放出し、該超音波から生じる信号を測定するように構成され、頭部搭載型ディスプレイはさらに、信号に基づいて、超音波画像を形成するように構成される、前述の実施例のいずれかに記載のシステム。
35.頭部搭載型ディスプレイは、ユーザにユーザの視野外のオブジェクトおよび/またはイベントをアラートするように構成される、前述の実施例のいずれかに記載のシステム。
36.光を該ユーザの眼の中に指向し、画像を眼内に形成するように構成される、1つまたはそれを上回る光源をさらに備える、前述の実施例のいずれかに記載のシステム。
37.該1つまたはそれを上回る光源は、ファイバ走査プロジェクタを備える、前述の実施例のいずれかに記載のシステム。
38.頭部搭載型ディスプレイは、エネルギーを患者に向かって放出し、返されるエネルギーを感知するように構成される、前述の実施例のいずれかに記載のシステム。
39.エネルギーは、超音波を備える、実施例38に記載のシステム。
40.頭部搭載型ディスプレイは、第1の画像モダリティと第1の画像モダリティと異なる第2の画像モダリティを組み合わせるように構成される、前述の実施例のいずれかに記載のシステム。
41.第1の画像モダリティおよび第2の画像モダリティはそれぞれ、MRI、CT、PET、MRA、またはCTA走査からの画像を備える、実施例40に記載のシステム。
42.頭部搭載型ディスプレイは、第1および第2の画像モダリティの組み合わせられた画像を患者の実際の解剖学的構造にわたって整合させるように構成される、実施例40または41に記載のシステム。
本発明は、例えば、以下を提供する。
(項目1)
光をユーザの眼に投影し、拡張現実画像コンテンツを前記ユーザの視野内に表示するように構成される、頭部搭載型ディスプレイシステムであって、前記頭部搭載型ディスプレイシステムは、
ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、前記ユーザの眼からの異なる距離から投影されるかのように、異なる発散量において拡張現実画像コンテンツをユーザの視野内に表示するように構成され、前記ディスプレイの少なくとも一部分は、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部分からの光をユーザの眼に伝送し、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の前記一部分のビューを提供するように、透明であり、かつ、前記ユーザが前記頭部搭載型ディスプレイデバイスを装着すると、前記ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
前記ユーザを感知するように構成される、1つまたはそれを上回るユーザセンサと、
前記ユーザの周囲を感知するように構成される、1つまたはそれを上回る環境センサと、
前記ディスプレイ、前記1つまたはそれを上回るユーザセンサ、および前記1つまたはそれを上回る環境センサと通信する処理電子機器であって、前記処理電子機器は、
増加されたユーザ注目を伴う状況を感知することと、
少なくとも部分的に、前記増加された焦点の感知に基づいて、前記ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変することと
を行うように構成される、処理電子機器と
を備える、頭部搭載型ディスプレイシステム。
(項目2)
前記処理電子機器は、前記オブジェクトを備える画像コンテンツを改変することによって、前記ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、項目1に記載のディスプレイシステム。
(項目3)
画像コンテンツを改変することは、前記オブジェクトの画像コンテンツを第1の場所から第2の場所に移動させることを含む、項目2に記載のディスプレイシステム。
(項目4)
前記第1の場所は、周辺領域であり、前記第2の場所は、中心領域である、または前記第1の場所は、前記中心領域であり、前記第2の場所は、前記周辺領域である、項目3に記載のディスプレイシステム。
(項目5)
画像コンテンツを改変することは、前記オブジェクトを備える画像コンテンツのコントラスト、不透明度、色、色飽和、カラーバランス、サイズ、背景、明度、縁、または鮮明度のうちの少なくとも1つを改変することを含む、項目2に記載のディスプレイシステム。
(項目6)
前記1つまたはそれを上回る環境センサは、深度センサ、一対の両眼世界カメラ、地理位置センサ、近接度センサ、またはGPSを備える、項目1-7のいずれかに記載のディスプレイシステム。
(項目7)
前記1つまたはそれを上回るユーザセンサは、1つまたはそれを上回るカメラを備える、項目1-6のいずれかに記載のディスプレイシステム。
(項目8)
前記処理電子機器はさらに、少なくとも部分的に、前記増加された焦点の感知に基づいて、前記状況に対するユーザ意図を判定し、前記ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成される、項目1-7のいずれかに記載のディスプレイシステム。
(項目9)
増加されたユーザ注目を伴う前記状況は、自動車両を運転することを含む、項目1-8のいずれかに記載のディスプレイシステム。
(項目10)
前記環境センサは、無線信号を検出するように構成されるセンサを備える、項目9に記載のディスプレイシステム。
(項目11)
前記環境センサは、自動車からのBluetooth(登録商標)信号を検出するように構成されるセンサを備える、項目10に記載のディスプレイシステム。
(項目12)
前記処理電子機器は、少なくとも部分的に、前記ユーザに関する1つまたはそれを上回るデータ記録に基づいて、前記ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成され、前記1つまたはそれを上回るデータ記録は、前記ユーザの運転記録を含む、項目9に記載のディスプレイシステム。
(項目13)
光をユーザの眼に投影し、拡張現実画像コンテンツを表示するように構成される頭部搭載型ディスプレイシステムであって、前記ユーザの眼は、中心領域と、前記中心領域を中心として配置される周辺領域を有する、視野を有し、前記頭部搭載型ディスプレイシステムは、
ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、画像コンテンツを前記ユーザの視野の中心領域に提示するように、光を前記ユーザの眼の中に投影するように構成され、前記ディスプレイの少なくとも一部分は、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部分からの光をユーザの眼に伝送し、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の前記一部分のビューを提供するように、透明であり、かつ、前記ユーザが前記頭部搭載型ディスプレイデバイスを装着すると、前記ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
前記ディスプレイと通信し、前記ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器と
を備え、
前記頭部搭載型ディスプレイシステムは、前記ユーザの視野の中心領域に、前記ユーザの視野の周辺領域に提示される画像コンテンツと比較して増強された画像コンテンツを提示するように構成される、頭部搭載型ディスプレイシステム。
(項目14)
前記環境を監視するように構成される1つまたはそれを上回るセンサをさらに備える、項目10に記載のシステム。
(項目15)
前記1つまたはそれを上回るセンサは、前記環境を結像するように構成される1つまたはそれを上回る外向きに面した画像捕捉デバイスを備える、項目11に記載のシステム。(項目16)
1つまたはそれを上回るセンサは、距離測定デバイスを備える、項目11または12に記載のシステム。
(項目17)
前記ユーザの眼の位置および/または移動を追跡するように構成される眼追跡デバイスをさらに備える、項目10-13のいずれかに記載のシステム。
(項目18)
前記頭部搭載型ディスプレイデバイスは、前記ユーザの視野の周辺領域に提示される画像コンテンツと比較して、前記ユーザの視野の中心領域の少なくとも一部分に提示される画像コンテンツを異なるように処理するように構成される、項目10-15のいずれかに記載のシステム。
(項目19)
前記頭部搭載型ディスプレイデバイスは、前記ユーザの視野の周辺領域に提示される画像コンテンツと比較して、前記ユーザの視野の中心領域の少なくとも一部分に提示される画像コンテンツを拡大することによって、画像コンテンツを異なるように処理するように構成される、項目16に記載のシステム。
(項目20)
前記頭部搭載型ディスプレイデバイスは、前記ユーザの視野の周辺領域に提示される画像コンテンツと比較して、前記ユーザの視野の中心領域の少なくとも一部分に提示される画像コンテンツにおける明度を増加させることによって、画像コンテンツを異なるように処理するように構成される、項目16または17に記載のシステム。
図1Aは、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
図1Bは、人物の視野および動眼視野を図示する。
図1C-1および1C-2は、中心視野および周辺視野の場所が含み得る、場面の部分の第1の人物の視点を図示する。
図1Dは、ヒトの眼の断面を図示する。
図1Eおよび1Fは、それぞれ、典型的ヒトの眼内の錐体および桿体の相対的密度および分解能を図示する。 図1Eおよび1Fは、それぞれ、典型的ヒトの眼内の錐体および桿体の相対的密度および分解能を図示する。
図1Gは、異なる照明条件下の視機能を図示する。
図2は、ウェアラブルディスプレイシステムの実施例を図示する。
図3は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図4は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。
図5A-5Cは、曲率半径と焦点半径との間の関係を図示する。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図7は、導波管によって出力された出射ビームの実施例を図示する。
図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。
図9Aは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
図9Bは、図9Aの複数のスタックされた導波管の実施例の斜視図を図示する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。
図10Aは、環境およびユーザセンサを備える、拡張現実システムの種々のコンポーネントの実施例の概略図を示す。
図10Bは、環境およびユーザセンサを備える、拡張現実システムの種々のコンポーネントの別の実施例の概略図を示す。
図11Aは、環境の画像コンテンツのユーザビューを増強させるための方法の実施例を図示する、フローチャートである。
図11Bは、環境の画像コンテンツのユーザビューを増強させるための方法の別の実施例を図示する、フローチャートである。
図12Aは、画像修正のための方法の実施例を図示する、フローチャートである。
図12Bは、本明細書に説明されるいくつかの実施形態の例示的用途を図示する。
図12Cは、場所に基づく画像修正の実施例を図示する。
図13Aは、ウェアラブルシステムの実施例のブロック図である。
図13Bは、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図13Cは、ウェアラブルシステムの別の実施例のブロック図である。
図14は、少なくとも部分的に、ユーザ意図に基づいて、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するための方法の実施例を図示する、フローチャートである。
眼は、環境から反射および放出される光を収集および感知し、周囲のオブジェクトの形状、特徴、および場所等の有用な情報を提供する、複雑な器官である。眼を用いてオブジェクトを知覚する能力を改善することは、広範囲の試行を追求することに役立ち得る。増強された視覚が特に有益であり得る、一実施例は、外科手術、診断、および/または処置等の医療タスクを実施する際の外科医等の医療従事者のためのものである。増強された視覚はまた、自動車両または他の車両を動作させる等の集中を要求する日々のタスクにとっても有用であり得る。
任意の所与の瞬時における人物が有する世界またはその周囲環境のビューは、領域および周辺領域を有する、視野中心によって特徴付けられる。本視野は、人物が動き回る、その頭部を移動させる、またはその眼もしくは視線を移動させるにつれて変化し得る。図1Bは、中心および周辺領域を含む、そのような視野1755を示す。図1Bはまた、動眼視野1765を示し、これは、例えば、その頭部を旋回させる、またはその視線を再指向することによって、人物60によって知覚可能な人物60の周囲の環境の一部を備える。人物60の眼の視野1755の中心部分は、中心視野1745と称され得る。視野1755内であるが、中心視野1745外の領域は、周辺視野と称され得る。
中心視野は、人物に、環境ビューの中心領域内のオブジェクトの対応するビューを提供するであろう。同様に、周辺視野は、人物に、環境ビューの周辺領域内のオブジェクトの対応するビューを提供するであろう。この場合、中心と見なされるものと周辺と見なされるものは、人物が見ている方向、故に、その視野の関数である。
図1C-1および1C-2は、中心視野および周辺視野が含み得る、場面の部分の第1の人物の視点を図示する。例えば、図1C-1は、人物にその視野1755内で見えるものの実施例を図示する。視野1755は、オブジェクト1721、1722を含んでもよい。図1C-2に示されるように、中心視野1745は、オブジェクト1721を含む一方、図1C-1に示される他のオブジェクト1722は、周辺視野(例えば、陰影領域)内にある。
図1Dに示されるように、ヒトの眼1100の概略断面図が、角膜42、虹彩44、レンズ、すなわち、「水晶体」46、強膜48、脈絡膜層50、黄斑52、網膜54、および脳までの視神経経路56を特徴として描写される。角膜42および水晶体46は、光を網膜54に向かって屈折および合焦させる。黄斑52は、網膜54の中心である。黄斑52の中心には、「中心窩」と称される、網膜54の一部がある。網膜54は、錐体および桿体として知られる光受容体細胞を含有する。網膜54の内側表面の近傍には、視覚的情報を受信し、錐体および桿体から脳に伝送する、神経節細胞がある。視覚的情報は、画像を形成するための情報を含むことができる。
中心窩は、網膜54の任意の他の部分より多くの光受容体(視度あたり約120錐体)を含有する。図1Eは、網膜の中心(例えば、光学軸から眼のレンズを通して網膜の中心まで測定される)からの角度の関数としてプロットされる、典型的ヒトの眼内の錐体および桿体の相対的密度を図示する。図1Eは、錐体1852の相対的密度が網膜の中心(例えば、中心窩)において最高であって、その中心から数度後、劇的に減少することを示す。対照的に、中心内には、実質的に桿体が存在しないが、桿体1856の密度は、中心から数度後、劇的に増加し、網膜にわたって減少する。
図1Fは、網膜を横断して同一角度スペクトルにわたる錐体および桿体の相対的分解能を示す。図1Fに示されるように、錐体の密度と同様に、錐体1842の分解能は、中心窩において最高であって、中心窩からの角度が増加するにつれて減少する。桿体の密度と同様に、桿体1846の分解能は、次第に衰える前に、最初に増加する。
中心窩は、眼の中心に位置するため、中心視野は、中心窩上にある。錐体は、概して、色(例えば、l-錐体または長波長に敏感な錐体は、赤色波長のために使用され得、m-錐体または中波長に敏感な錐体は、緑色波長のために使用され得、s-錐体または短波長に敏感な錐体は、青色波長のために使用され得る)および空間分解能に関与する。桿体は、色に敏感ではなく、概して、基本空間分解能に関与する(例えば、形状および移動の検出のため)。中心窩は、最高密度の錐体を含有するため、人物の中心視野内に位置するオブジェクトのための高分解能を提供する。中心窩から離れるように移動すると、錐体密度は、減少し、人物の周辺視野内に位置するオブジェクトのための分解能も同様である(例えば、近周辺視野から遠周辺視野に)。中心窩からの錐体密度の減少のため、周辺視野は、概して、中心視野のものと比較して、劣った画質と関連付けられ得る。しかしながら、眼を中心視野(例えば、図1Bにおける1745)内のオブジェクトに心合させ、また、周辺視野内のオブジェクトを見ることを可能にすることが望ましくあり得る。
故に、本明細書に説明されるディスプレイシステムの種々の実施形態は、有利には、ユーザの周辺視野内の1つまたはそれを上回るオブジェクトの改善されたユーザビューを提供し得る。例えば、ある実施形態は、ユーザが、ユーザの中心視野内の1つのオブジェクトに合焦し、同時に、増加された可視性を伴って、ユーザの周辺視野内に位置する別のオブジェクトを視認することを可能にし得る。実施例として、典型的外科手術設定では、外科医は、患者または手術台からある距離に位置する医療画像のいずれかに合焦される。外科医は、患者および医療画像のうちの一方が、外科医の中心視野内にあって、他方が、外科医の周辺視野内のより低い分解能(またはさらに可能性として、外科医の視野外)にあるように、その2つの間を往復してその眼(および/または頭部)を移動させ得る。本明細書に説明される種々の実施形態では、ディスプレイシステムは、外科医に、患者および医療画像の両方を同時に、かつ十分な視力(例えば、十分な分解能)を伴って見えるように、画像コンテンツを提示し得る。例えば、いくつかの実施形態は、増強される、すなわち、患者のより近くに移動される、医療画像の拡張または仮想画像を提示するように構成されることができる。いくつかのそのような実施形態は、患者と医療画像との間で注意を偏移させるために費やされる時間を短縮させ、したがって、より多くの時間が、患者を観察し、医療的注意を提供することに費やされることを可能にし得る。本明細書に説明される種々の実施形態はまた、有利には、ユーザの中心視野内の1つまたはそれを上回るオブジェクトの改善されたユーザビューを提供し得る。例えば、いくつかの実施形態は、灰色背景を提供し、外科手術部位および/または医療画像に対して、手術室の残りを強調解除するように構成されることができる。
3つの異なるタイプの視覚、すなわち、明所視、薄明視、および暗所視が、存在する。明所視、薄明視、および暗所視は、それぞれ、比較的に明るい(例えば、いくつかのインスタンスでは、10~10cd/m)、中間(例えば、いくつかのインスタンスでは、10-3cd/m~100.5cd/m)、および低光(例えば、いくつかのインスタンスでは、10-3.5cd/m~10-6cd/m)条件下における眼の視覚である。例えば、周囲光輝度に応じて、錐体、桿体、または両方が、活性化され得る。錐体および桿体は、異なる照明条件の間、活性化されにつれて、反比例して関連され得る。図1Gに示されるように、錐体は、高光条件下で活性化される一方、桿体は、低光条件の間に活性化される。したがって、明所視のために、錐体が、主に、使用され、暗所視のために、桿体が、主に、使用される。薄明視は、錐体および桿体の両方を利用する。視力は、錐体および/または桿体の分解能または密度に依存し得るため、視力はまた、照明レベルの関数であり得る。故に、本明細書に説明される種々の実施形態は、1つまたはそれを上回る捕捉デバイス(例えば、1つまたはそれを上回るカメラ、光センサ、照度計等)を含み、照明条件を捕捉してもよく、および/または少なくとも部分的に、照明条件に基づいて、画像コンテンツの少なくとも一部を提示または修正(例えば、増強、強調解除、移動等)してもよい。
明所視が、薄明視に変わるにつれて、桿体が、より活性となるが、必ずしも、線形関係によってではない。例えば、関係は、暗環境内で費やされた時間に依存し得る。環境が暗いほど、錐体の活性から桿体の活性により高速で遷移し得る。暗所視が、薄明視に変わるにつれて、その反対のことが、生じ得る。時間、輝度レベル、および輝度レベル変化を監視することによって、利用されている錐体および/または桿体の量が、判定されることができる。故に、本明細書に説明される種々の実施形態は、1つまたはそれを上回るタイミングデバイス(例えば、1つまたはそれを上回るクロックまたはタイマ)を含み、時間を監視してもよく、および/または少なくとも部分的に、照明条件に、および/または少なくとも部分的に、照明条件下における時間に基づいて、画像コンテンツの少なくとも一部を提示または修正(例えば、増強、強調解除、移動等)してもよい。
医療コンテキストに限定されないが、本明細書に説明されるある実施形態は、医療結像、表示、および可視化のために実装されてもよい。例えば、健康医療サービス専門家は、それらが提供する医療サービスと関連して、その物理的および精神的能力に関する大きな需要を受けている。そのような専門家は、例えば、医師、外科医、看護師、技術者、歯科医、眼科医、ホーム医療サービス提供者、臨床医、および/または他の健康医療提供者を含むことができる。多くの状況では、健康医療の需要は、迅速応答および精密なアクションを要求する。医療コンテキスト外の専門家(例えば、運動選手、機械工、およびシェフ)もまた、本明細書に説明される種々の実施形態から利点を享受し得る。さらに、情報を複数の場所から要求しながら、手の使用を要求する、職業および趣味を伴う者も、本明細書に開示される方法およびシステムから利点を享受し得る。さらに、本明細書に説明される種々の実施形態は、自動車両または他の車両を動作させる等のユーザ注目および集中を要求し得る、日々のアクティビティ、例えば、タスクにおいても使用されることができる。
有利には、いくつかの実施形態では、本明細書に開示される拡張現実(AR)ディスプレイシステムは、健康医療提供者をその業務において補助するように構成されてもよい(例えば、ユーザの周辺および/または中心視野内の1つまたはそれを上回るオブジェクトの増強されたユーザビューを提供するため)。ARシステムは、依然として、ユーザがその周囲の世界を見えることを可能にしながら、仮想コンテンツをユーザまたは視認者に表示し得る。好ましくは、本コンテンツは、例えば、アイウェアの一部として、画像情報をユーザの眼に投影する、頭部搭載型ディスプレイ上に表示される。加えて、ディスプレイはまた、周囲環境からの光をユーザの眼に伝送し、その周囲環境のビューをもたらしてもよい。本明細書で使用されるように、「頭部搭載型」ディスプレイは、視認者の頭部上に搭載され得る、ディスプレイであることを理解されたい。
本明細書に説明されるような頭部搭載型拡張現実ディスプレイシステムまたはデバイスを装着する人物は、外部環境内のオブジェクトが直接視認され得るように、外部環境内のそれらのオブジェクトからの光が透明光学を通してユーザの眼に通過することを可能にする、透明光学、例えば、ウィンドウ、レンズ、導波管等を通して、外部世界または環境のビューを提供されてもよい。頭部搭載型拡張現実ディスプレイを装着する人物は、頭部搭載型ディスプレイの透明要素を通して外部世界を直接視認するとき、図1Bに示されるような視野を有する。ARシステムは、加えて、例えば、変調された光源からの光をユーザの眼の中に投影させることによって、画像を頭部搭載型ディスプレイを装着するユーザに提示してもよい。これらの画像は、これらの「仮想」画像が、頭部搭載型ディスプレイの透明要素を通して眼に通過し、オブジェクトの画像を網膜上に形成する、外部世界内のオブジェクトからの光からではなく、ディスプレイによって生成されるため、「仮想」画像と称され得る。
さらに以下に議論されるように、多くのVR、AR、およびMRディスプレイデバイスは、画像情報を表示するとき、遠近調節-輻輳・開散運動(vergence)不整合に悩まされる。そのような不整合は、ユーザに不快感を生じさせ得、デバイスの長期装着を実行不可能にし得る。有利には、本明細書における実施形態による、ディスプレイデバイスは、とりわけ、ユーザにおける遠近調節と輻輳・開散運動との間の正しい整合を提供することによって、デバイスの長期装着を可能にする。その結果、デバイスのユーザは、25%を超える、20%を超える、15%を超える、10%を超える、または5%を超える持続時間にわたってデバイスを除去せずに、3時間またはそれを上回る、4時間またはそれを上回る、5時間またはそれを上回る、6時間またはそれを上回る持続時間にわたって、もしくは1日中、実質的に持続的にデバイスを装着および使用することが可能となり得る。いくつかの実施形態では、ディスプレイデバイスは、前述の持続時間にわたって実質的に持続的に拡張現実画像を表示してもよい。
本明細書に開示されるディスプレイシステムの装着能力および装着能力の長期性質は、(センサ系コンポーネントを含む)ディスプレイシステムのユーザに対する近接近度と結合され、有利には、医療手技および処置の前、間、および後、ディスプレイシステムまたはデバイスの使用を促進する。いくつかの実施形態では、ディスプレイシステムは、ユーザの視野内の実世界オブジェクト(例えば、ユーザの正面の環境内の有形オブジェクト等)の画像を提供するように構成されてもよい。ある実施形態では、ディスプレイシステムは、視認者のために、実世界オブジェクトの画像を増強された画像としてレンダリングすることができる。増強された画像は、例えば、頭部搭載型ディスプレイを装着するユーザの正面の環境内の実際の実世界オブジェクトの画像に対して、および/またはディスプレイによって提供される他の画像ならびに/もしくは頭部搭載型ディスプレイを装着するユーザの正面の環境内の他のオブジェクトに対して、拡大、ユーザの視野内の場所、深度平面配分、色飽和、コントラスト、明度、鮮明度、測定割合、ホワイトバランス、陰影、ハイライト、ユーザに対する画像配向、色または陰影バランス、および/または明確性を改善した、光源によって眼の中に投影される画像を含んでもよい。例えば、ディスプレイシステムは、実世界内のオブジェクトを識別し、オブジェクトの拡大された画像を表示するように構成されてもよい。種々の実施形態では、ディスプレイシステムは、画像の他の部分または頭部搭載型ディスプレイの透明光学要素(ウィンドウ、レンズ、導波管)を通して前方の環境内のオブジェクトを視認しているユーザの視野内の他のオブジェクトと比較して、画像の一部を拡大するように構成されてもよい。
いくつかの実施形態では、ディスプレイシステムは、オブジェクトがユーザからであるように現れる、近似距離を判定するように構成されてもよい。ある実施形態では、ディスプレイシステムは、少なくとも部分的に、近似判定距離に基づいて、オブジェクトの画像を被写界深度にレンダリングすることができる。ディスプレイシステムは、眼毎に、視覚的コンテンツを表示してもよく、視覚的コンテンツの場所、コンテンツが表示される深度平面、視覚的コンテンツへの露光の持続時間等を含む、種々の視覚的パラメータを変動させてもよいことを理解されたい。視覚的コンテンツおよびこれらの視覚的パラメータを変動させることによって、実世界オブジェクトは、ディスプレイシステムによって、本明細書に説明されるような種々の様式においてレンダリングされることができる。いくつかの実施形態では、ディスプレイシステムは、環境内の他のオブジェクトおよび/または周囲環境に関する視覚的コンテンツの種々の視覚的パラメータを改変してもよい。
ヒト視覚系は、受動センサタイプのシステムではない。すなわち、環境を能動的に走査するように構成される。画像を捕捉するためのフラットベッドスキャナの使用または紙から点字を読み取る指の使用に幾分類似する様式において、眼の光受容体は、刺激の一定状態に一定に応答するのではなく、刺激の変化に応答して発火する。
脳の視覚野は、本明細書に議論されるように、相互に対する両眼およびその構成要素の運動から貴重な知覚情報を得る。さらに、眼を格納する、頭部の移動もまた、オブジェクトの可視化に重要な影響を及ぼす。ヒトは、その頭部を移動させ、その周囲の世界を可視化する。多くの場合、着目オブジェクトに対して、非常に一定した頭部の再位置付けおよび再配向の状態にある。さらに、大部分の人々は、その眼視線が、特定のオブジェクトに合焦させるために中心から約20度を上回って移動する必要があるとき、その頭部を移動させることを好む(例えば、人々は、典型的には、「眼の隅から」物を見ることを好まない)。ヒトはまた、典型的には、音に連動してその頭部を走査または移動させ、オーディオ信号捕捉を改善し、頭部に対する耳の幾何学形状を利用する。ヒトの視覚系は、頭部の運動および眼の輻輳・開散運動距離の関数として、異なる距離におけるオブジェクトの相対運動に関連する、「頭部運動視差」と呼ばれるものから優れた深度のキューを得る(例えば、人物が、その頭部を横方向に移動させ、オブジェクトへの固視を維持する場合、そのオブジェクトからより遠いアイテムも、頭部と同一方向に移動するであろう。そのオブジェクトの正面のアイテムは、頭部運動と反対に移動するであろう。これらは、人物に対する環境内の空間的場所に位置するものの場所に関する非常に顕著なキューであって、おそらく、立体視と同等に優れている)。頭部運動はまた、当然ながら、オブジェクトを見渡すためにも利用される。
しかしながら、ユーザによる頭部移動への依拠は、ユーザが高レベルの合焦、集中、および/または注意を要求する状況(例えば、外科手術の間または車を運転中)では、不利であり得る。そのような状況では、ユーザは拡大される、より中心に置く、例えば、その中心視野により近づける、もしくは光学軸および/または中心窩により近づける、または本明細書に説明されるような他の方法において等、画像をより便宜的に提示(例えば、ユーザのためにパーソナライズされる)または増強させることが有利であることを見出し得る。ユーザはまた、可能性として、サイズが低減される、または周縁に移動される等、強調解除されたコンテンツから注意を逸らさせることが有利であることを見出し得る。
いくつかの実施形態では、ディスプレイシステムが画像を複数の深度平面上に表示する能力は、有利には、直接ユーザ入力または脳活動を測定するための複雑な外部計器を要求せずに、有利には、視認者が感知または反応している複数の画像のうちの画像を判定するために適用されてもよい。例えば、実世界画像が、ディスプレイシステムの異なる深度平面上にレンダリングされてもよく、ユーザの眼の遠近調節および/または輻輳・開散運動が、測定されてもよい(例えば、ディスプレイデバイス上の眼追跡カメラを使用して)。視認者によって知覚される異なる深度平面上の画像は、眼に異なる遠近調節および/または輻輳・開散運動状態をとらせるであろうことを理解されたい。その結果、ユーザによって知覚される画像が、1)ユーザの眼の遠近調節および/または輻輳・開散運動状態を判定し、2)その遠近調節および/または輻輳・開散運動状態と表示されている画像または画像の深度平面を合致させることによって、推測され得る。ユーザの測定された遠近調節および/または輻輳・開散運動状態に対応する画像は、次いで、ユーザによって知覚された画像であると解釈される。いくつかの実施形態では、画像は、広く異なる深度平面(例えば、無限遠およびディスプレイシステムによって出力される最近傍深度平面)上に表示され、画像間の遠近調節および/または輻輳・開散運動状態における予期される差異を増加させてもよい。いくつかの実施形態では、ユーザが画像を固視する持続時間(例えば、ユーザの眼が特定の遠近調節および/または輻輳・開散運動状態をとる時間の量)もまた、測定され、ユーザが能動的に特定の画像を知覚しているかどうか、もしくは遠近調節および/または輻輳・開散運動状態の変化が、例えば、不随意の反射の結果であるかどうかを推測してもよい。ユーザ知覚を検出するためのそのようなスキームは、限定ではないが、闘争、優勢および/または抑制、後方マスキング、ならびに前方マスキングに関連する試験を含む、種々の知覚試験のために利用されてもよいことを理解されたい。
前述のように、動眼視野は、ユーザによって知覚可能なユーザの周囲の環境の一部を備える。故に、頭部搭載型拡張現実デバイス(ARD)を装着するユーザに関して、動眼視野は、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、装着者を囲繞する4πステラジアン立体角の実質的に全てを含み得る。他のコンテキストでは、ユーザの移動は、より狭められ得、故に、ユーザの動眼視野は、より小さい立体角に対し得る。
図1Bでは、動眼視野1765は、オブジェクト(例えば、オブジェクト1721、1722、1727)のグループを含有することができ、これは、ARシステムを装着するユーザによって知覚されることができる。いくつかの実施形態では、オブジェクト1729は、頭部搭載型ディスプレイの透明光学を通して見ると、ユーザの視野外にあり得るが、それにもかかわらず、潜在的に、ARシステム上の少なくとも1つのセンサ(例えば、カメラ)によって知覚され(その場所および視野に応じて)、ユーザ60のために表示され得る。
ARシステムは、仮想要素を頭部搭載型ディスプレイの透明光学を通して視認される既存の物理的オブジェクトに追加し、それによって、物理的オブジェクトとのユーザ相互作用を可能にすることができる。例えば、ARシステムは、手術室内の医療モニタと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ARシステムを使用して、医療結像機器または投薬制御をオンもしくは調節するためのオプションを与えてもよい。
故に、ディスプレイは、ユーザの正面の環境内のオブジェクトの仮想画像に加え、付加的仮想画像コンテンツを装着者に提示してもよい。仮想オブジェクトは、例えば、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等、例えば、オペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。
視野1755は、複数のオブジェクト(例えば、オブジェクト1721、1722)を含有することができる。視野1755は、ARシステムのサイズまたは光学特性、例えば、光がユーザの正面の実世界からユーザの眼に通過する、頭部搭載型ディスプレイの透明ウィンドウまたはレンズのクリア開口サイズに依存し得る。いくつかの実施形態では、ユーザ60の姿勢(例えば、頭部姿勢、身体姿勢、および/または眼姿勢)が変化するにつれて、視野1755は、対応して変化することができ、視野1755内のオブジェクトもまた、変化し得る。本明細書に説明されるように、ARシステムは、動眼視野1765内のオブジェクトならびに視野1755内のオブジェクトを監視または結像する、カメラ等のセンサを含んでもよい。いくつかのそのような実施形態では、ARシステムは、ユーザに、ユーザの視野1755内で生じる、および/または外側ユーザの視野内であるが、動眼視野1765内で生じる、気付いていないオブジェクトまたはイベントをアラートしてもよい。いくつかの実施形態では、ARシステムはまた、ユーザ60が注意を向けているものと向けていないものを区別することができる。
図2は、ウェアラブルディスプレイシステム80の実施例を図示する。ディスプレイシステム80は、ディスプレイ62と、そのディスプレイ62の機能をサポートするための種々の機械的および電子的モジュールならびにシステムとを含む。ディスプレイ62は、フレーム64に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者60によって装着可能であって、ディスプレイ62をユーザ60の眼の正面に位置付けるように構成される。ディスプレイ62は、いくつかの実施形態では、アイウェアと見なされ得る。いくつかの実施形態では、スピーカ66が、フレーム64に結合され、ユーザ60の外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他の外耳道に隣接して位置付けられ、ステレオ/調節可能音制御を提供する)。いくつかの実施形態では、ディスプレイシステムはまた、1つまたはそれを上回るマイクロホン67または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが、入力またはコマンド(例えば、音声メニューコマンドの選択、自然言語質問等)をシステム80に提供することを可能にするように構成され、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータを持続的に収集してもよい(例えば、ユーザおよび/または環境から受動的に収集するため)。そのようなオーディオデータは、荒い息づかい等のユーザ音または近傍イベントを示す大騒動等の環境音を含んでもよい。ディスプレイシステムはまた、周辺センサ30aを含んでもよく、これは、フレーム64と別個であって、ユーザ60の身体(例えば、ユーザ60の頭部、胴体、四肢等上)に取り付けられてもよい。周辺センサ30aは、本明細書にさらに説明されるように、いくつかの実施形態では、ユーザ60に関するデータを入手するように構成されてもよい。
図2を継続して参照すると、ディスプレイ62は、有線導線または無線コネクティビティ等の通信リンク68によって、ローカルデータ処理モジュール70に動作可能に結合され、これは、フレーム64に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に内蔵される、または別様に、ユーザ60に除去可能に取り付けられる(例えば、リュック式構成、ベルト結合式構成において)等、種々の構成において搭載されてもよい。同様に、センサ30aは、通信リンク30b、例えば、有線導線または無線コネクティビティによって、ローカルプロセッサおよびデータモジュール70に動作可能に結合されてもよい。ローカル処理およびデータモジュール70は、ハードウェアプロセッサと、不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリとを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、深度センサ、対の両眼世界カメラ、地理位置センサ、近接度センサ、および/または本明細書に開示される他のセンサ等のセンサ(例えば、フレーム64に動作可能に結合される、または別様に、ユーザ60に取り付けられてもよい)から捕捉され、および/またはb)可能性として、処理または読出後、ディスプレイ62への通過のために、遠隔処理モジュール72および/または遠隔データリポジトリ74(仮想コンテンツに関連するデータを含む)を使用して、入手および/または処理される、データを含む。ローカル処理およびデータモジュール70は、これらの遠隔モジュール72、74が、相互に動作可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク76、78によって、遠隔処理モジュール72および遠隔データリポジトリ74に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール70は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、深度センサ、対の両眼世界カメラ、地理位置センサ、近接度センサ等のうちの1つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム64に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール70と通信する、独立型構造であってもよい。
図2を継続して参照すると、いくつかの実施形態では、遠隔処理モジュール72は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ74は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ74は、1つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツを生成するための情報をローカル処理およびデータモジュール70および/または遠隔処理モジュール72に提供する。いくつかの実施形態では、全てのデータは、記憶および全ての算出は、ローカル処理およびデータモジュール内で実施され、遠隔モジュールからの完全に自律的使用を可能にする。
「3次元」または「3-D」であるような画像の知覚は、画像の若干異なる提示を視認者の各眼に提供することによって達成されてもよい。図3は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。眼4、6毎に1つの2つの明確に異なる画像5、7が、ユーザに出力される。画像5、7は、視認者の視線と平行な光学またはz-軸に沿って、距離10だけ眼4、6から離間される。画像5、7は、平坦であって、眼4、6は、単一遠近調節状態をとることによって、画像に合焦させ得る。そのようなシステムは、ヒト視覚系が、画像5、7を組み合わせ、組み合わせられた画像のための深度および/またはスケールの知覚を提供することに依拠する。
しかしながら、ヒト視覚系は、より複雑であって、深度の現実的知覚の提供は、より困難であることを理解されるであろう。例えば、従来の「3-D」ディスプレイシステムの多くの視認者は、そのようなシステムを不快であると見出す、または深度の感覚を全く知覚しない場合がある。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動移動(すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転)は、眼のレンズおよび瞳孔の合焦(または「遠近調節」)と緊密に関連付けられる。通常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節-輻輳・開散運動反射」ならびに散瞳または縮瞳として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、レンズ形状および瞳孔サイズの遠近調節の整合変化を誘起するであろう。本明細書に記載されるように、多くの立体視、すなわち、「3-D」ディスプレイシステムは、3次元視点がヒト視覚系によって知覚されるように、若干異なる提示(したがって、若干異なる画像)を使用して、場面を各眼に表示する。しかしながら、そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供するが、眼が全ての画像情報を単一遠近調節状態で視認する状態では、「遠近調節-輻輳・開散運動反射」に反発するため、多くの視認者にとって不快である。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し、増加された持続時間の装着、ひいては、診断および療法プロトコルへのコンプライアンスに寄与し得る。
図4は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図4を参照すると、z-軸上の眼4、6から種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼4、6によって遠近調節される。眼(4および6)は、特定の遠近調節状態をとり、オブジェクトをz-軸に沿って異なる距離に合焦させる。その結果、特定の遠近調節状態は、眼がその深度平面のための遠近調節状態にあるとき、特定の深度平面内のオブジェクトまたはオブジェクトの一部が合焦するように、関連付けられた焦点距離を有する、深度平面14の特定のうちの1つと関連付けられると言え得る。いくつかの実施形態では、3次元画像は、眼4、6毎に画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼4、6の視野は、例えば、z-軸に沿った距離が増加するにつれて、重複し得ることを理解されるであろう。加えて、例証の容易性のために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されるであろう。
オブジェクトと眼4または6との間の距離もまた、その眼によって視認されるように、オブジェクトからの光の発射量を変化させ得る。図5A-5Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼4との間の距離は、減少距離R1、R2、およびR3の順序で表される。図5A-5Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率が増加すると、オブジェクトと眼4の間の距離が減少する。その結果、異なる深度平面では、光線の発散の程度もまたは、異なり、発散の程度は、深度平面と視認者の眼4との間の距離の減少に伴って増加する。単眼4のみが、図5A-5Cおよび本明細書における他の図では、例証を明確にするために図示されるが、眼4に関する議論は、視認者の両眼4および6に適用され得ることを理解されるであろう。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像(例えば、場面)の異なる提示を提供することによって達成され得る。異なる提示は、視認者の眼によって別個に合焦され、それによって、異なる深度平面上に位置する場面のための異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および/または焦点外にある異なる深度平面上の異なる画像特徴の観察に基づいて、ユーザに深度キューを提供することに役立ち得る。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム1000は、複数の導波管182、184、186、188、190を使用して3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ178を含む。いくつかの実施形態では、ディスプレイシステム1000は、図2のシステム80であって、図6は、そのシステム80のいくつかの部分をより詳細に図式的に示す。例えば、導波管アセンブリ178は、図2のディスプレイ62の一部であってもよい。ディスプレイシステム1000は、いくつかの実施形態では、ライトフィールドディスプレイと見なされ得ることを理解されるであろう。
図6を継続して参照すると、導波管アセンブリ178はまた、複数の特徴198、196、194、192を導波管間に含んでもよい。いくつかの実施形態では、特徴198、196、194、192は、1つまたはそれを上回るレンズであってもよい。導波管182、184、186、188、190および/または複数のレンズ198、196、194、192は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス200、202、204、206、208は、導波管のための光源として機能してもよく、画像情報を導波管182、184、186、188、190の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼4に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス200、202、204、206、208の出力表面300、302、304、306、308から出射し、導波管182、184、186、188、190の対応する入力表面382、384、386、388、390の中に投入される。いくつかの実施形態では、入力表面382、384、386、388、390はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界144または視認者の眼4に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、クローン化されたコリメートビームの全体場を出力してもよく、これは、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼4に向かって指向される。いくつかの実施形態では、画像投入デバイス200、202、204、206、208のうちの単一の1つは、複数(例えば、3つ)の導波管182、184、186、188、190と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス200、202、204、206、208はそれぞれ、それぞれ対応する導波管182、184、186、188、190の中への投入のために画像情報を生産する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス200、202、204、206、208は、例えば、画像情報を1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して画像投入デバイス200、202、204、206、208のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス200、202、204、206、208によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるように、異なる原色)の光を含んでもよいことを理解されたい。
いくつかの実施形態では、導波管182、184、186、188、190の中に投入される光は、光プロジェクタシステム2000によって提供され、これは、光モジュール2040を備え、これは、発光ダイオード(LED)等の光エミッタを含んでもよい。光モジュール2040からの光は、ビームスプリッタ2050を介して、光変調器2030、例えば、空間光変調器によって指向および修正されてもよい。光変調器2030は、導波管182、184、186、188、190の中に投入される光の知覚される強度を変化させるように構成されてもよい。光変調器2030は、導波管182、184、186、188、190の中に投入される光の知覚される強度を変化させるように構成されてもよい。空間光変調器の実施例は、シリコン上液晶(LCOS)ディスプレイを含む、液晶ディスプレイ(LCD)を含む。
いくつかの実施形態では、ディスプレイシステム1000は、光を種々のパターン(例えば、ラスタ走査、螺旋走査、リサジューパターン等)で1つまたはそれを上回る導波管182、184、186、188、190の中に、最終的には、視認者の眼4に投影するように構成される、1つまたはそれを上回る走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス200、202、204、206、208は、光を1つまたは複数の導波管182、184、186、188、190の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス200、202、204、206、208は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管182、184、186、188、190のうちの関連付けられた1つの中に投入するように構成される。1つまたはそれを上回る光ファイバは、光を光モジュール2040から1つまたはそれを上回る導波管182、184、186、188、190に透過するように構成されてもよいことを理解されたい。1つまたはそれを上回る介在光学構造が、走査ファイバまたは複数のファイバと、1つまたはそれを上回る導波管182、184、186、188、190との間に提供され、例えば、走査ファイバから出射する光を1つまたはそれを上回る導波管182、184、186、188、190の中に再指向してもよいことを理解されたい。
コントローラ210は、画像投入デバイス200、202、204、206、208、光源2040、および光変調器2030の動作を含む、スタックされた導波管アセンブリ178のうちの1つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ210は、ローカルデータ処理モジュール70の一部である。コントローラ210は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管182、184、186、188、190への画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ210は、いくつかの実施形態では、処理モジュール70または72(図2)の一部であってもよい。
図6を継続して参照すると、導波管182、184、186、188、190は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管182、184、186、188、190はそれぞれ、主要な上部および底部表面ならびにそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管182、184、186、188、190はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼4に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素282、284、286、288、290を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素光はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力される。外部結合光学要素282、284、286、288、290は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明の容易性および図面の明確性のために、導波管182、184、186、188、190の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素282、284、286、288、290は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよい、ならびに/もしくは導波管182、184、186、188、190の体積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素282、284、286、288、290は、透明基板に取り付けられ、導波管182、184、186、188、190を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管182、184、186、188、190は、材料のモノリシック部品であってもよく、外部結合光学要素282、284、286、288、290は、材料のその部品の表面上および/またはその内部に形成されてもよい。
図6を継続して参照すると、本明細書に議論されるように、各導波管182、184、186、188、190は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管182は、眼4にコリメートされた光(そのような導波管182の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管184は、眼4に到達し得る前に、第1のレンズ192(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管184から生じる光を光学無限遠から眼4に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管186は、眼4に到達する前に、その出力光を第1の192および第2の194レンズの両方を通して通過させる。第1の192および第2の194レンズの組み合わせられた屈折力は、眼/脳が、第3の導波管186から生じる光が次の上方の導波管184からの光であった光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層188、190およびレンズ196、198も同様に構成され、スタック内の最高導波管190は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ178の他側の世界144から生じる光を視認/解釈するとき、レンズ198、196、194、192のスタックを補償するために、補償レンズ層180が、スタックの上部に配置され、下方のレンズスタック198、196、194、192の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
いくつかの実施形態では、導波管182、184、186、188、190のうちの2つまたはそれを上回るものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管182、184、186、188、190が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管182、184、186、188、190の複数のサブセットが、深度平面毎に1つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
図6を継続して参照すると、外部結合光学要素282、284、286、288、290は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素282、284、286、288、290の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素282、284、286、288、290は、体積または表面特徴であってもよく、これは、具体的角度で光を出力するように構成されてもよい。例えば、光抽出光学要素282、284、286、288、290は、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴198、196、194、192は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ(例えば、クラッディング層および/または空隙を形成するための構造)であってもよい。
いくつかの実施形態では、外部結合光学要素282、284、286、288、290は、回折パターンまたは「回折光学要素」(また、本明細書では、「DOE」とも称される)を形成する、回折特徴である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差点を用いて眼4に向かって偏向される一方、残りが全内部反射を介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼4に向かって非常に均一パターンの出射放出となる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、カメラアセンブリ500(例えば、可視光および赤外線光カメラを含む、デジタルカメラ)が、提供され、眼4および/または眼4の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出してもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ500は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブ500は、フレーム64(図2)に取り付けられてもよく、カメラアセンブリ500からの画像情報を処理し得る、処理モジュール70および/または72と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ500が、眼毎に利用され、各眼を別個に監視してもよい。
ここで図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ178(図6)内の他の導波管も同様に機能し得、導波管アセンブリ178は、複数の導波管を含むことを理解されたい。光400が、導波管182の入力表面382において導波管182の中に投入され、TIRによって導波管182内を伝搬する。光400がDOE282上に衝突する点では、光の一部は、導波管から出射ビーム402として出射する。出射ビーム402は、略平行として図示されるが、本明細書に議論されるように、また、導波管182と関連付けられた深度平面に応じて、ある角度(例えば、発散出射ビーム形成)において眼4に伝搬するように再指向されてもよい。略平行出射ビームは、眼4からの遠距離(例えば、光学無限遠)における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼4がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼4に近い距離からの光として脳によって解釈されるであろう。
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度平面において形成されてもよい。図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度平面14a-14fを示すが、より多いまたはより少ない深度もまた、検討される。各深度平面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられた3つまたはそれを上回る原色画像を有してもよい。異なる深度平面は、文字G、R、およびBに続くジオプタに関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動してもよい。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および/または色収差を減少させ得る。
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度平面は、それと関連付けられた複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、深度平面毎に提供されてもよく、3つの原色画像が、深度平面毎に提供される。各深度平面と関連付けられた導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度平面毎に提供され得るように、同一導波管によって出力されてもよい。
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられた他の色も、赤色、緑色、もしくは青色のうちの1つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。いくつかの実施形態では、特徴198、196、194、および192は、視認者の眼への周囲環境からの光を選択的に遮断するように構成される、能動または受動光学フィルタであってもよい。
本開示全体を通した所与の光の色の言及は、視認者によってその所与の色であるように知覚される、光の波長の範囲内の1つまたはそれを上回る波長の光を包含するものと理解されるであろうことを認識されたい。例えば、赤色光は、約620~780nmの範囲内の1つまたはそれを上回る波長の光を含んでもよく、緑色光は、約492~577nmの範囲内の1つまたはそれを上回る波長の光を含んでもよく、青色光は、約435~493nmの範囲内の1つまたはそれを上回る波長の光を含んでもよい。
いくつかの実施形態では、光源2040(図6)は、視認者の視覚的知覚範囲外の1つまたはそれを上回る波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ1000の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および/または他の用途のために、本光をディスプレイからユーザの眼4に向かって指向および放出するように構成されてもよい。
ここで図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット1200のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つもしくはそれを上回る異なる波長または1つもしくはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック1200は、スタック178(図6)に対応してもよく、スタック1200の図示される導波管は、複数の導波管182、184、186、188、190の一部に対応してもよいが、画像投入デバイス200、202、204、206、208のうちの1つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
スタックされた導波管の図示されるセット1200は、導波管1210、1220、および1230を含む。各導波管は、関連付けられた内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素1212は、導波管1200の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素1224は、導波管1220の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素1232は、導波管1230の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素1212、1222、1232のうちの1つまたはそれを上回るものは、個別の導波管1210、1220、1230の底部主要表面上に配置されてもよい(特に、1つまたはそれを上回る内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素1212、1222、1232は、その個別の導波管1210、1220、1230の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素1212、1222、1232は、個別の導波管1210、1220、1230の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素1212、1222、1232は、他の光の波長を透過しながら、1つまたはそれを上回る光の波長を選択的に再指向するような波長選択的である。その個別の導波管1210、1220、1230の片側または角に図示されるが、内部結合光学要素1212、1222、1232は、いくつかの実施形態では、その個別の導波管1210、1220、1230の他の面積内に配置されてもよいことを理解されたい。
図示されるように、内部結合光学要素1212、1222、1232は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素1212、1222、1232は、図6に示されるように、光を異なる画像投入デバイス200、202、204、206、および208から受光するように構成されてもよく、光を内部結合光学要素1212、1222、1232の他のものから実質的に受光しないように、他の内部結合光学要素1212、1222、1232から分離されてもよい(例えば、側方に離間される)。
各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素1214は、導波管1210の主要表面(例えば、上部主要表面)上に配置され、光分散要素1224は、導波管1220の主要表面(例えば、上部主要表面)上に配置され、光分散要素1234は、導波管1230の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素1214、1224、1234は、それぞれ、関連付けられた導波管1210、1220、1230の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素1214、1224、1234は、それぞれ、関連付けられた導波管1210、1220、1230の上部および底部両方の主要表面上に配置されてもよい、または光分散要素1214、1224、1234は、それぞれ、異なる関連付けられた導波管1210、1220、1230内の上部および底部主要表面の異なるもの上に配置されてもよい。
導波管1210、1220、1230は、例えば、材料のガス、液体、および/または固体層によって離間ならびに分離されてもよい。例えば、図示されるように、層1218aは、導波管1210および1220を分離してもよく、層1218bは、導波管1220および1230を分離してもよい。いくつかの実施形態では、層1218aおよび1218bは、低屈折率材料(すなわち、導波管1210、1220、1230の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層1218a、1218bを形成する材料の屈折率は、導波管1210、1220、1230を形成する材料の屈折率を0.05もしくはそれを上回って、または0.10もしくはそれを下回る。有利には、より低い屈折率層1218a、1218bは、導波管1210、1220、1230を通して光の全内部反射(TIR)(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層1218a、1218bは、空気から形成される。図示されないが、導波管の図示されるセット1200の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
好ましくは、製造および他の考慮点を容易にするために、導波管1210、1220、1230を形成する材料は、類似または同一であって、層1218a、1218bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管1210、1220、1230を形成する材料は、1つまたはそれを上回る導波管間で異なってもよい、および/または層1218a、1218bを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
図9Aを継続して参照すると、光線1240、1242、1244が、導波管のセット1200に入射する。光線1240、1242、1244は、1つまたはそれを上回る画像投入デバイス200、202、204、206、208(図6)によって導波管1210、1220、1230の中に投入されてもよいことを理解されたい。
いくつかの実施形態では、光線1240、1242、1244は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素1212、1222、1232はそれぞれ、光がTIRによって導波管1210、1220、1230のうちの個別の1つを通して伝搬するように、入射光を偏向させる。
例えば、内部結合光学要素1212は、第1の波長または波長範囲を有する、光線1240を偏向させるように構成されてもよい。同様に、伝送される光線1242は、第2の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素1222に衝突し、それによって偏向される。同様に、光線1244は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素1232によって偏向される。
図9Aを継続して参照すると、偏向された光線1240、1242、1244は、対応する導波管1210、1220、1230を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素1212、1222、1232は、光をその対応する導波管1210、1220、1230の中に偏向させ、光を対応する導波管の中に内部結合する。光線1240、1242、1244は、光をTIRによって個別の導波管1210、1220、1230を通して伝搬させる角度で偏向される。光線1240、1242、1244は、導波管の対応する光分散要素1214、1224、1234に衝突するまで、TIRによって個別の導波管1210、1220、1230を通して伝搬する。
ここで図9Bを参照すると、図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。前述のように、内部結合された光線1240、1242、1244は、それぞれ、内部結合光学要素1212、1222、1232によって偏向され、次いで、それぞれ、導波管1210、1220、1230内でTIRによって伝搬する。光線1240、1242、1244は、次いで、それぞれ、光分散要素1214、1224、1234に衝突する。光分散要素1214、1224、1234は、それぞれ、外部結合光学要素1250、1252、1254に向かって伝搬するように、光線1240、1242、1244を偏向させる。
いくつかの実施形態では、光分散要素1214、1224、1234は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素1250、1252、1254に偏向または分散させることと、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させることの両方を行う。いくつかの実施形態では、例えば、ビームサイズがすでに所望のサイズである場合、光分散要素1214、1224、1234は、省略されてもよく、内部結合光学要素1212、1222、1232は、光を直接外部結合光学要素1250、1252、1254に偏向させるように構成されてもよい。例えば、図9Aを参照すると、光分散要素1214、1224、1234は、それぞれ、外部結合光学要素1250、1252、1254と置換されてもよい。いくつかの実施形態では、外部結合光学要素1250、1252、1254は、光を視認者の眼4(図7)内に指向する、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。
故に、図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット1200は、原色毎に、導波管1210、1220、1230と、内部結合光学要素1212、1222、1232と、光分散要素(例えば、OPE)1214、1224、1234と、外部結合光学要素(例えば、EP)1250、1252、1254とを含む。導波管1210、1220、1230は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素1212、1222、1232は、入射光をその導波管の中に再指向または偏向させる(異なる内部結合光学要素は、異なる波長の光を受光する)。光は、次いで、個別の導波管1210、1220、1230内でTIRをもたらすであろう、角度で伝搬する。示される実施例では、光線1240(例えば、青色光)は、先に説明された様式において、第1の内部結合光学要素1212によって偏向され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)1214、次いで、外部結合光学要素(例えば、EP)1250と相互作用する。光線1242および1244(例えば、それぞれ、緑色および赤色光)は、導波管1210を通して通過し、光線1242は、内部結合光学要素1222に衝突し、それによって偏向される。光線1242は、次いで、TIRを介して、導波管1220を辿ってバウンスし、その光分散要素(例えば、OPE)1224、次いで、外部結合光学要素(例えば、EP)1252に進む。最後に、光線1244(例えば、赤色光)は、導波管1220を通して通過し、導波管1230の光内部結合光学要素1232に衝突する。光内部結合光学要素1232は、光線が、TIRによって、光分散要素(例えば、OPE)1234に、次いで、TIRによって、外部結合光学要素(例えば、EP)1254に伝搬するように、光線1244を偏向させる。外部結合光学要素1254は、次いで、最後に、光線1244を視認者に外部結合し、視認者はまた、他の導波管1210、1220から外部結合された光も受光する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管1210、1220、1230は、各導波管の関連付けられた光分散要素1214、1224、1234および関連付けられた外部結合光学要素1250、1252、1254とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素1212、1222、1232は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
ここで、ユーザセンサ24、28、30、32、および環境センサ34を備える、拡張現実ディスプレイシステムの種々のコンポーネントの実施例の概略図を示す、図10Aを参照する。いくつかの実施形態では、拡張現実ディスプレイシステムは、複合現実ディスプレイシステムであってもよい。示されるように、ユーザセンサ24、28、30、32は、ユーザの状態に関するデータを検出するように構成されてもよく、環境センサ34は、ユーザの外部のパラメータに関するデータを収集するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザに送達されるARコンテンツに関連する、および/またはそれを特徴付けるデータ(例えば、ARコンテンツの時間、場所、色構成、音量等)を記憶するように構成されてもよい。
ユーザセンサが、最初に、議論されるであろう。図示されるように、拡張現実ディスプレイシステム2010は、種々のユーザセンサを含んでもよい。拡張現実ディスプレイシステム2010は、図2のシステム80に対応してもよく、視認者結像システム22を含んでもよい。システム22は、ユーザ(例えば、ユーザの眼2001、2002および/または周囲組織)に指向され、それを監視するように構成される、光源26(例えば、赤外線光源)とペアリングされる、カメラ24(例えば、赤外線、UV、および/または可視光カメラ)を含んでもよい。カメラ24および光源26は、ローカル処理モジュール70に動作可能に結合されてもよい。そのようなカメラ24は、個別の眼の瞳孔(瞳孔サイズを含む)もしくは虹彩、および/または眼瞼もしくは眉毛等の眼を囲繞する組織の配向、形状、および対称性のうちの1つまたはそれを上回るものを監視し、本明細書に開示される種々の分析を行うように構成されてもよい。いくつかの実施形態では、眼の虹彩および/または網膜の結像が、ユーザのセキュアな識別のために使用されてもよい。
図10Aを継続して参照すると、カメラ24はさらに、中心窩または眼底の特徴等の網膜特徴の場所に基づく診断目的および/または配向追跡のために、個別の眼の網膜を結像するように構成されてもよい。虹彩および網膜結像または走査は、例えば、ユーザデータと特定のユーザを正しく関連付けるために、および/またはプライベート情報を適切なユーザに提示するために、ユーザのセキュアな識別のために実施されてもよい。いくつかの実施形態では、カメラ24に加え、またはその代替として、1つまたはそれを上回るカメラ28が、ユーザの状況の種々の他の側面を検出および/または監視するように構成されてもよい。例えば、1つまたはそれを上回るカメラ28は、内向きに面し、ユーザの眼以外の特徴の形状、位置、移動、色、および/または他の性質、例えば、1つまたはそれを上回る顔特徴(例えば、顔の表情、随意的移動、不随意的チック)を監視するように構成されてもよい。別の実施例では、1つまたはそれを上回るカメラ28は、下向きに面し、ユーザの腕、手、脚、足、および/または胴体の位置、移動、および/または他の特徴もしくは性質を監視するように構成されてもよい。
いくつかの実施形態では、本明細書に開示されるように、ディスプレイシステム2010は、ファイバスキャナ(例えば、図6における画像投入デバイス200、202、204、206、208)を通して、光ビームをユーザの網膜を横断して可変に投影させ、画像を形成する、空間光変調器を含んでもよい。いくつかの実施形態では、ファイバスキャナは、カメラ24または28と併せて、またはその代わりに使用され、例えば、ユーザの眼を追跡または結像してもよい。例えば、光を出力するように構成される走査ファイバの代替として、またはそれに加え、健康システムは、別個の受光デバイスを有し、ユーザの眼から反射された光を受光し、その反射された光と関連付けられたデータを収集してもよい。
図10Aを継続して参照すると、カメラ24、28および光源26は、フレーム64上に搭載されてもよく、これはまた、導波管スタック2005、2006を保持してもよい。いくつかの実施形態では、ディスプレイシステム2010のセンサおよび/または他の電子デバイス(例えば、カメラ24、28および光源26)は、通信リンク76、70を通して、ローカル処理およびデータモジュール70と通信するように構成されてもよい。
いくつかの実施形態では、ユーザに関するデータの提供に加え、カメラ24および28の一方または両方が、眼を追跡し、ユーザ入力を提供するために利用されてもよい。例えば、視認者結像システム22は、本明細書に開示される種々の試験および分析においてユーザ応答を提供するため等、仮想メニュー上のアイテムを選択し、および/または他の入力をディスプレイシステム2010に提供するために利用されてもよい。
いくつかの実施形態では、ディスプレイシステム2010は、1つまたはそれを上回る加速度計、ジャイロスコープ、ジェスチャセンサ、歩行センサ、平衡センサ、および/またはIMUセンサ等の運動センサ32を含んでもよい。センサ30は、音と、検出された音の強度およびタイプ、複数の信号の存在、および/または信号場所を含む、それらの音の種々の性質とを検出するように構成される、1つまたはそれを上回る内向きに指向される(ユーザに指向される)マイクロホンを含んでもよい。
センサ30は、フレーム64に接続されるように図式的に図示される。本接続は、フレーム64への物理的取付の形態をとってもよく、ユーザの耳にわたって延在する、フレーム64のつるの端部を含む、フレーム64上の任意の場所であってもよいことを理解されたい。例えば、センサ30は、フレーム64とユーザとの間の接触点における、フレーム64のつるの端部に搭載されてもよい。いくつかの他の実施形態では、センサ30は、フレーム64から延在し、ユーザ60(図9D)に接触してもよい。さらに他の実施形態では、センサ30は、フレーム64に物理的に取り付けられなくてもよい。むしろ、センサ30は、周辺センサ30a(図2)の形態をとってもよく、これは、フレーム64から離間されてもよい。
いくつかの実施形態では、ディスプレイシステム2010はさらに、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、1つまたはそれを上回る環境センサ34を含んでもよい。例えば、環境センサ34は、1つまたはそれを上回るカメラ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、光センサ(例えば、照度計)、タイミングデバイス(例えば、クロックまたはカレンダ)、タイミングデバイス(例えば、クロックまたはカレンダ)、またはその任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、複数の(例えば、2つの)マイクロホンが、離間され、音源場所判定を促進してもよい。環境感知カメラを含む、種々の実施形態では、カメラは、例えば、ユーザの通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに面して(例えば、前向きに)位置してもよい。環境センサはさらに、レーザ、可視光、不可視波長の光、音(例えば、可聴音、超音波、または他の周波数)等の信号を受信するように構成される、放出デバイスを含んでもよい。いくつかの実施形態では、1つまたはそれを上回る環境センサ(例えば、カメラまたは光センサ)は、環境の周囲光(例えば、輝度)を測定するように構成されてもよい(例えば、環境の照明条件を捕捉するため)。歪みゲージ、カーブフィーラ、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。
いくつかの実施形態では、ディスプレイシステム2010はさらに、GPS場所データ、天候データ、日付および時間、または他の利用可能な環境データ等の他の環境入力を受信するように構成されてもよく、これは、インターネット、衛星通信、または他の好適な有線または無線データ通信方法から受信されてもよい。処理モジュール70は、花粉数、母集団統計、空気汚染、環境毒素、スマートサーモスタットからの情報、生活様式統計、または他のユーザ、建物、もしくは保健医療提供者との近接度等のユーザの場所を特徴付けるさらなる情報にアクセスするように構成されてもよい。いくつかの実施形態では、場所を特徴付ける情報は、クラウドベースまたは他の遠隔データベースを使用してアクセスされてもよい。処理モジュール70は、そのようなデータを取得し、および/または環境センサの任意の1つまたは組み合わせからのデータをさらに分析するように構成されてもよい。
ディスプレイシステム2010は、長期間にわたって、上記に説明されるセンサおよび/または入力のいずれかを通して取得されるデータを収集および記憶するように構成されてもよい。デバイスにおいて受信されたデータは、ローカル処理モジュール70および/または遠隔(例えば、図2に示されるように、遠隔処理モジュール72または遠隔データリポジトリ74)で処理および/または記憶されてもよい。いくつかの実施形態では、日付および時間、GPS場所、または他のグローバルデータ等の付加的データは、直接、ローカル処理モジュール70において受信されてもよい。画像、他の視覚的コンテンツ、または聴覚的コンテンツ等のシステムによってユーザに送達されているコンテンツに関するデータも同様に、ローカル処理モジュール70において受信されてもよい。
図10Bは、別の例示的拡張現実ディスプレイシステムを示す。いくつかの実施形態では、ディスプレイシステム2010は、超音波を伝送および受信し、超音波情報に基づいて、患者の画像を提示してもよい。図10Aと同様に、図10Bにおける実施例は、環境34およびユーザ24、28、30、32センサを備える。加えて、図10Bに示されるように、ディスプレイシステム2010はさらに、直接音響エネルギーを患者の身体に指向するように構成される、1つまたはそれを上回る外向きに面した超音波プローブ1081を含むことができる。1つまたはそれを上回るプローブ1081は、超音波をユーザの身体の種々の領域に伝送し、かつユーザの身体の種々の領域から反射された超音波を受信するように構成されてもよい。例えば、1つまたはそれを上回るプローブ1081は、超音波エネルギーを患者の身体に放出するように構成される、超音波送信機1077と、患者の身体の種々の構造から反射および/または後方散乱された超音波エネルギーを受信するように構成される、超音波受信機1079とに接続されてもよい。いくつかの実施形態では、1つまたはそれを上回るプローブ1081は、超音波送信機および受信機の両方を組み合わせる、超音波送受信機1075に接続されてもよい。種々の実施形態は、反射された情報に基づいて、患者の画像を提示してもよい。いくつかの実施形態では、ディスプレイシステム2010は、反射された超音波に基づいて、患者の組織密度を判定するように構成されてもよい。いくつかの実施形態では、ディスプレイシステム2010は、反射された超音波に基づいて、血流(例えば、血管を通る血流の速度)をマッピングするように構成されてもよい。
増強された視野
本明細書に開示されるように、外向きに面したカメラおよび/または光センサ等のユーザおよび/または環境センサを組み込む、ディスプレイシステムは、有利には、例えば、ユーザの周辺視野(例えば、ユーザの視野の周辺領域)内の環境の画像コンテンツの改善されたユーザビューを提供し得る。例えば、ある実施形態は、ユーザが、ユーザの中心視野(例えば、ユーザの視野の中心領域)内の1つのオブジェクトに合焦し、同時に、増加された可視性を伴って、ユーザの周辺視野内に位置する別のオブジェクトを視認することを可能にしてもよい。
種々の実施形態では、ユーザの視野の中心領域は、中心窩の中心(または瞳孔の中心からの光学軸)から0~15度、1~15度、2~15度、5~15度、0~12度、1~12度、2~12度、5~12度、0~10度、1~10度、2~10度、5~10度の範囲(半角において)、これらの範囲の任意の組み合わせ、または中心窩の中心から0~15度の任意の値によって形成される任意の範囲(例えば、中心窩の中心から0~7度、1~7度、2~7度等)内のエリアを含んでもよい。
ユーザの視野の周辺領域は、中心領域の対応するエリア外の視野の外側エリアを含んでもよい。例えば、ユーザの視野の周辺領域は、中心窩の中心(または瞳孔の中心からの光学軸)から16~60度、18~60度、20~60度、25~60度、30~60度、35~60度、40~60度、45~60度、50~60度、55~60度の範囲(半角において)、これらの範囲の任意の組み合わせ、または中心窩の中心から16~60度の任意の値によって形成される任意の範囲(例えば、中心窩の中心から16~50度、20~50度、16~55度、30~55度等)内の視野のエリアを含んでもよい。
いくつかの実施形態では、ユーザの視野の中心領域は、ユーザの視野の1~5パーセント、1~10パーセント、5~10パーセント、1~15パーセント、5~15パーセント、5~20パーセント、10~20パーセント、5~25パーセント、10~25パーセント、これらの範囲の任意の組み合わせ、またはユーザの視野の0~25パーセントの任意の値によって形成される任意の範囲(例えば、ユーザの視野の1~17パーセント、3~18パーセント、7~25パーセント、15~25パーセント等)を含んでもよい。
ユーザの視野の周辺領域は、ユーザの視野の残りのパーセントを含んでもよい。例えば、ユーザの視野の周辺領域は、ユーザの視野の75~99.9パーセント、75~99パーセント、75~95パーセント、75~90パーセント、80~99.9パーセント、80~99パーセント、80~95パーセント、80~90パーセント、これらの範囲の任意の組み合わせ、またはユーザの視野の75~99.9パーセントの任意の値によって形成される任意の範囲(例えば、ユーザの視野の77~98パーセント、75~85パーセント、85~95パーセント等)を含んでもよい。
ここで図11Aを参照すると、ディスプレイシステムを使用して、例えば、ユーザの周辺視野内の環境の画像コンテンツの少なくとも一部のユーザビューを改善する、例示的方法3000が、図示される。ディスプレイシステムは、それぞれ、図2、6、および10A-10Bにおける、ディスプレイシステム80、1000、または2010を含んでもよい。ディスプレイシステムは、例えば、画像コンテンツをユーザの眼に投影する、頭部搭載型ディスプレイデバイスを含んでもよい。
いくつかの実施形態では、頭部搭載型ディスプレイデバイスは、ディスプレイを使用して、ユーザに拡張現実画像コンテンツを提示するように構成される。ある実施形態では、ディスプレイは、頭部搭載型ディスプレイのフレーム上に配置される。本明細書に説明されるように、ディスプレイは、ユーザの眼の正面の場所に配置される、1つまたはそれを上回る透明導波管を含むことができる。故に、ユーザは、ディスプレイを通して見ることが可能であり得る。頭部搭載型ディスプレイデバイスを装着するユーザの正面の環境内のオブジェクトからの光は、ユーザの正面の環境の画像またはその少なくとも一部がユーザの眼の網膜上に形成されるように、ディスプレイを通して、例えば、1つまたはそれを上回る透明導波管を通して、ユーザ眼の中に伝送される。ユーザの視覚は、中心領域と、周辺領域とを有する、視野によって特徴付けられ得る。周辺領域は、中心領域の周囲またはそれを中心として配置されることができる。中心領域および周辺領域は、本明細書に議論されるように、それぞれ、中心視野および周辺視野に対応することができる。ユーザの視野の中心領域は、例えば、ユーザの視線が直接正面に指向される場合、ユーザの直接正面の環境の一部を含み得る。同様に、ユーザの眼の視野の周辺領域は、そのような実施例では、ユーザの正面の環境内の周辺領域に対応することができる。ユーザの視線の正面の環境の部分の中心内のオブジェクトは、中心場内に含まれ得る一方、ユーザの視線の正面の環境の部分の周縁内のオブジェクトは、周辺場内に含まれ得る。例えば、ユーザは、外科手術を視認し得、ユーザは、外科手術部位等の手術されている患者に注意が向けている。患者、特に、外科手術部位は、例えば、ユーザの視野のユーザの中心領域に対応し得る。同様に、本実施例では、ユーザには、視野の周辺領域内に、医療スタッフの他のメンバ、外科手術部位を囲繞する患者の解剖学的構造、外科手術オブジェクト(例えば、器具)をその上に伴う、テーブルおよび/またはトレイ等の手術室内の家具、他の外科手術および/または診断機器、手術室の壁および/または床、ならびに/もしくは環境の周辺領域(例えば、場面)内の光および他のアイテムが見える。
ブロック3010では、ディスプレイシステムまたはデバイスは、環境の1つまたはそれを上回る画像を捕捉するように構成されてもよい。例えば、本明細書に説明されるように、種々の実施形態は、外向きに面し、ユーザの通常の視野の少なくとも一部に類似する画像を捕捉する、1つまたはそれを上回る画像捕捉デバイス(例えば、ビデオカメラ)等の1つまたはそれを上回る環境センサ34を含んでもよい。言い換えると、外向きに面した画像捕捉デバイスは、環境のユーザのビューに対応する画像を捕捉してもよい。そのようなカメラは、例えば、ユーザの正面の環境の画像を捕捉するように、正面に面してもよい。しかしながら、これらのカメラは、種々の実施形態では、少なくとも部分的に、直接正面に面した方向に対して傾斜または角度付けられてもよい。これらのカメラはまた、個々におよび/またはともに、ユーザの眼の視野より大きいまたはより小さくあり得る、視野を有してもよい。
故に、本明細書に議論されるように、頭部搭載型ディスプレイデバイスは、ユーザの正面の環境の一部を結像または走査するように構成され得る、外向きに面した画像捕捉デバイスを含むことができる。いくつかの実施形態では、外向きに面したカメラは、ユーザの動眼視野内であるが、ユーザの視野内ではない、オブジェクトまたは画像等、ユーザの正面ではない、ユーザの環境の部分を走査するように構成される。ある場合には、例えば、頭部搭載型ディスプレイシステムは、ユーザの正面の環境の部分に向かってより指向される1つまたはそれを上回るビデオカメラおよびユーザの側面の環境の部分に向かってより指向される1つまたはそれを上回るビデオカメラ等、複数のカメラを含むことができる。ある場合には、頭部搭載型ディスプレイシステムは、ユーザの背後の環境の部分に向かって指向される1つまたはそれを上回るカメラを含むことができる。ある実施形態では、外向きに面したカメラは、長期間にわたって、病院、手術室、または他の環境内のアクティビティ等のビデオを捕捉するように持続的に動作するように構成されることができる。いくつかの構成では、外向きに面したカメラは、環境内のオブジェクト等、ユーザがその視線を指向している対象を判定することができる。いくつかの実施形態では、頭部搭載型ディスプレイデバイスは、1つまたはそれを上回る捕捉デバイスを含み、環境に関する情報を捕捉してもよい。例えば、カメラまたは光センサ(例えば、照度計)が、環境の光条件を捕捉するために使用されてもよい。
ブロック3020では、種々の実施形態は、環境の画像を処理してもよい。例えば、画像は、図2に示されるローカル処理およびデータモジュール70または遠隔処理モジュール72を使用して処理されてもよい。いくつかのそのような実施形態では、処理電子機器が、ディスプレイ62と通信し、ディスプレイへの画像コンテンツの提示を制御してもよい。ディスプレイは、図6に示される導波管アセンブリ178を含み、光をユーザの眼の中に投影し、1つまたはそれを上回る外向きに面したビデオカメラからの環境の画像等の画像を視認するために提示してもよい。本明細書に説明されるように、導波管アセンブリ178はまた、透明導波管アセンブリを通してユーザの眼の網膜に伝搬する環境内のオブジェクトからの光を介して、頭部搭載型ディスプレイデバイスを装着するユーザの正面の環境の一部の直接ビューを提供するように、光学的に透過性、例えば、透明であることができる。
図11Aを継続して参照すると、ブロック3030では、ディスプレイシステムは、例えば、周辺視野内の環境の少なくとも一部の可視性を改善するように構成されてもよい(例えば、環境の一部の拡張現実画像を提示することによって、環境の画像コンテンツの少なくとも一部の可視性を増加させるため)。いくつかの実施形態は、眼内の光受容体細胞密度に対して画像修正を提供してもよい(例えば、中心視覚のための中心窩内の最高錐体密度および周辺視覚のための中心窩から離れるように錐体密度の減少)。図1Eおよび1Fに図示されるように、眼内の錐体密度に基づいて、視力は、概して、中心窩(例えば、眼の中心)において最高であって、中心窩から離れるように移動して低下する。例えば、視力は、眼の中心(例えば、光学軸から眼のレンズを通して網膜の中心まで測定される)から2.5度ずつ眼の中心(例えば、本光学軸)から約30度まで離れるにつれて約50%減少し得る。さらにより高い角度(例えば、本光学軸に対して)の光線に関して、視力の低下は、はるかに大きくなり得る(例えば、双曲線関数)。最高錐体密度および視力を有する、中心窩は、中心視野内で視認するために使用される。中心窩から離れるように移動すると、錐体密度および視力が低下するにつれて、視認は、中心視野から周辺視野に移動する。
したがって、概して、ユーザの中心視野内のオブジェクトよりユーザの周辺視野内のオブジェクトの詳細を区別することが困難である。また、概して、ユーザの近周辺視野内のオブジェクトよりユーザの遠周辺視野のオブジェクトの詳細を区別することが困難である。分解能の観点から、眼によって分解され得る、2点の区別のための最小距離(例えば、2つの特徴を区別するための最小間隔)は、中心窩からの距離に伴って増加する(および空間分解能が減少する)。したがって、一般に、視野の中心からより遠くで眼に提示される画像コンテンツは、それらが見えるために、より大きくある必要があり得る。加えて、眼からより遠いオブジェクトも、より大きくある必要があり得る(例えば、拡大される)。本明細書に説明されるように、画像コンテンツは、これらの関係のうちの1つまたはそれを上回るものに基づいて修正されてもよい。
種々の実施形態では、ディスプレイシステムは、コンテンツがユーザによって別様に(例えば、増強されない場合に)知覚されるであろう状態に関連して増強される(例えば、1つまたはそれを上回る点において)、画像コンテンツを、例えば、ユーザの周辺視野に提示するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザの中心視野に提示される画像コンテンツと比較して増強される、画像コンテンツを、例えば、ユーザの周辺視野に提示するように構成されてもよい。種々の実施形態では、実世界コンテンツを含み得る、ユーザによって知覚されるコンテンツは、1つまたはそれを上回る拡張画像を使用することによって、および/または実際の実世界コンテンツと組み合わせた1つまたはそれを上回る拡張画像を使用することによって、増強されて現れることができる。いくつかの実施形態では、ディスプレイシステムは、程度の不透明度(例えば、30%、40%、50%、60%、70%、80%、90%、95%等)を有する、1つまたはそれを上回る拡張画像を提示することができる。ある程度の不透明度を有する、提示される画像は、いくつかのインスタンスでは、実際の実世界コンテンツの一部を曖昧にすることができる。いくつかの実施形態では、増強された画像コンテンツは、1つまたはそれを上回る仮想画像として、眼に提示されることができる(例えば、実際の実世界コンテンツは、不透明度または実質的不透明度(例えば、98%、99%、または100%不透明度)によって曖昧にされる)。いくつかの実施形態では、増強の程度は、少なくとも部分的に、視野の中心および/または中心窩からの距離、眼からの距離、および/または2点区別のための最小距離、および/または眼の空間分解能との反比例関係、および/または錐体密度との反比例関係、桿体密度、神経節細胞密度、および/または眼の視力に基づいてもよい。例えば、中心窩から離れるように移動すると、2点区別のための最小距離は、増加する一方、細胞密度および/または眼の視力は、減少する。いくつかのそのような実施形態では、近周辺領域(例えば、中心領域に最も近い)に提示される画像コンテンツより多くの増強が、遠周辺領域(例えば、中心領域から最も遠く、細胞密度および視力は、減少し、2点区別のための最小距離は、増加する)に提示される画像コンテンツに提供されてもよい。
実施例として、ユーザの周辺視野に提示される画像コンテンツは、サイズが増強されてもよい。例えば、いくつかの実施形態では、画像コンテンツは、ディスプレイシステムを使用せずに視認されるとき(例えば、拡大されない場合)のコンテンツと比較して、拡大されてもよい。別の実施例として、ディスプレイシステムは、ユーザの中心視野に提示される画像コンテンツと比較して、ユーザの周辺視野に提示される画像コンテンツの少なくとも一部を拡大するように構成されてもよい。周辺視野に提示される画像コンテンツは、拡大されてもよいため、ある実施形態は、そのような画像コンテンツの可視性を増加させ得る。拡大の量は、少なくとも部分的に、眼からの距離、視野の中心からの距離(例えば、中心窩からの距離)、および/または2点区別のための最小距離、および/または眼の空間分解能との反比例関係、および/または細胞密度および/または眼の視力との反比例関係に基づいてもよい。例えば、より多くの拡大が、遠周辺領域に提示される画像コンテンツに提供されてもよく、より少ない拡大が、近周辺領域に提示される画像コンテンツに提供されてもよい。
別の実施例として、ユーザの周辺視野に提示される画像コンテンツは、コンテンツを強化せずに(例えば、光強度を増加させずに)コンテンツが現れるであろう状態に関連して、および/またはユーザの中心視野に提示される画像コンテンツと比較して、光強度または明度を改変(例えば、増加)させることによって、増強されてもよい。いくつかのそのような実施形態では、1つまたはそれを上回る光源が、画像コンテンツの光強度または明度を増加させるために使用されてもよい。一般に、より明るい画像は、より容易に見え得る。周辺視野に提示される画像コンテンツは、より明るくあり得るため、ある実施形態は、そのような画像コンテンツの可視性を増加させ得る。いくつかの実施形態では、より多くの光強度または明度が、遠周辺領域に提示される画像コンテンツに提供されてもよく、より少ない強度または明度が、近周辺領域に提示される画像コンテンツに提供されてもよい。いくつかの実施形態では、光強度は、少なくとも部分的に、眼からの距離および/または細胞密度(例えば、桿体密度)および/または眼の視力との反比例関係(例えば、視野の中心または中心窩からの距離に伴って)に基づいてもよい。
別の実施例として、ユーザの周辺視野に提示される画像コンテンツは、コントラストを増加させずにコンテンツが現れるであろう状態に関連して、および/またはユーザの中心視野に提示される画像コンテンツと比較して、コントラストを増加させることによって、増強されてもよい。コントラストの増加は、コントラスト比の比較によって示され得る。いくつかのそのような実施形態では、コントラスト比は、最明色と最暗色の輝度間の比率に基づいてもよい。いくつかの実施形態では、増加量は、コントラスト比が眼がコントラストを区別するための閾値を上回るようなものであってもよい。例えば、網膜は、静的コントラスト比約100:1を有し得、最大約10:1まで拡大し得る。故に、種々の実施形態は、提示される画像の少なくとも一部内のコントラスト比を約100:1、10:1、10:1、10:1、または10:1、もしくはこれらの値の任意の組み合わせ間の任意の範囲まで増加させてもよい。コントラスト比の増加量は、ユーザの周辺視野に提示されるであるう画像コンテンツおよび/またはユーザの中心視野に提示される画像コンテンツ内の既存のコントラスト比に基づいてもよい。
コントラストの増加は、隣接する色(例えば、高コントラスト色)の明度および/または暗度を調節することによって提供されてもよい。いくつかの実施形態では、黒色(例えば、値0)を白色(例えば、8ビットグレースケールにおいて値255)の隣に提供することが、使用されてもよい。例えば、黒色オブジェクトまたは背景に隣接する灰色オブジェクトは、白色オブジェクトまたは背景に隣接する場合よりも明るく現れ得る。いくつかの実施形態では、提示される画像コンテンツは、実際の実世界コンテンツと組み合わせて、調節を伴わずにコンテンツが現れるであろう状態と比較して、および/またはユーザの視野の他の部分に提示される画像コンテンツと比較して、調節されたコントラスト比を提供する、拡張画像を含んでもよい。いくつかの実施例では、隣接する色の明度および/または暗度は、少なくとも1つの色の明度および/または暗度を調節する(例えば、オブジェクトの色の明度および/または暗度、少なくとも2つの隣接するオブジェクトの色、背景の色、オブジェクトの色および背景の色、オブジェクトの一部の色、オブジェクトの2つの隣接する部分の色等を調節する)ことによって、調節されてもよい。いくつかのインスタンスでは、色の明度および/または暗度は、実際の実世界コンテンツとともに視認されると、実および付加的色の組み合わせが調節されたコントラスト比を提供するように、付加的色または複数の色(例えば、黒色、灰色、白色、または他の色等)をオブジェクトまたは背景に提供することによって、調節されてもよい。いくつかのインスタンスでは、色の明度および/または暗度は、曖昧にされた実際の実世界コンテンツとともに視認されると、組み合わせが調節されたコントラスト比を提供するように、ある程度の不透明度(例えば、30%、40%、50%、60%、70%、80%、90%、95%等)を有する1つまたはそれを上回る拡張画像を提供することによって、調節されてもよい。
いくつかの実施形態では、提示される画像コンテンツは、調節を伴わずにコンテンツが現れるであろう状態と比較して、および/またはユーザの視野の他の部分に提示される画像コンテンツと比較して、調節されたコントラスト比を伴う、仮想画像(例えば、実際の実世界コンテンツの一部は、不透明度または実質的不透明度によって曖昧にされる)を含んでもよい。いくつかの実施例では、隣接する色の明度および/または暗度は、少なくとも1つの色の明度および/または暗度を調節する(例えば、オブジェクトの色の明度および/または暗度、少なくとも2つの隣接するオブジェクトの色、背景の色、オブジェクトの色および背景の色、オブジェクトの一部の色、オブジェクトの2つの隣接する部分の色等を調節する)ことによって、調節されてもよい。色の明度および/または暗度は、黒色、灰色、白色、または他の色を色に加算することによって、もしくは黒色、灰色、白色、または他の色を色から減算することによって、調節されてもよい。色の明度および/または暗度は、加えて、または代替として、色を黒色、灰色、白色、または他の色で代用することによって、調節されてもよい。
より多くのコントラストを伴う画像は、より容易に見られ得るため、周辺視野に提示されるより高いコントラスト比を伴う画像コンテンツは、そのような画像コンテンツの可視性を増加させ得る。実施例として、外科医が、外科手術部位(例えば、外科医の中心視野内)を視認し得る間、患者が、他の場所(例えば、外科医の周辺視野内)で出血し始め得る。いくつかの実施形態は、赤色血液が外科医に「飛び出す」ように、周辺エリア内のコントラスト比を増加させることができる。例えば、本明細書に説明されるように、いくつかの実施形態は、ユーザによって知覚される周辺エリアが増強されるように、拡張画像を提示し、付加的赤色を提供することができる。別の実施例として、いくつかの実施形態は、血液を囲繞する背景を血液との大コントラストを生産する色で輪郭を描いてもよい。別の実施例として、いくつかの実施形態は、増加されたコントラスト比を伴う周辺エリアの仮想画像(例えば、実際の血液および血液を囲繞するエリアと比較して高コントラストまたは増加されたコントラストを生産する、血液および血液を囲繞するエリアのグラフィック画像)を提示することができる。外科医は、外科手術部位および付加的出血場所の両方に目を配ることができる。いくつかの実施形態では、コントラスト増加量は、少なくとも部分的に、本明細書に説明されるように、細胞密度(眼の神経節細胞密度、錐体密度、および/または桿体密度)との反比例関係に基づいてもよい。例えば、より多くのコントラストが、遠周辺領域に提示される画像コンテンツに提供されてもよく、より少ないコントラストが、近周辺領域に提示される画像コンテンツに提供されてもよい。
別の実施例として、ユーザの周辺視野に提示される画像コンテンツは、増強された色または色飽和を伴わずにコンテンツが現れるであろう状態に関連して、および/またはユーザの中心視野に提示される画像コンテンツと比較して、色または色飽和によって増強されてもよい。いくつかのそのような実施形態では、1つまたはそれを上回る光源が、画像コンテンツ内の色飽和を増加させるために使用されてもよい。一般に、より高い色飽和を伴う画像は、より容易に見え得る。周辺視野に提示される画像コンテンツは、中心視野に提示される画像コンテンツと比較して、より高い色飽和または色飽和の増加を有し得るため、ある実施形態は、そのような画像コンテンツの可視性を増加させ得る。いくつかの実施形態では、色飽和の量は、少なくとも部分的に、本明細書に説明されるように、眼からの距離、視野の中心(または中心窩)からの距離、および/または細胞密度および/または眼の視力との反比例関係に基づいてもよい。例えば、より多くの色飽和が、遠周辺領域に提示される画像コンテンツに提供されてもよく、より少ない色飽和が、近周辺領域に提示される画像コンテンツに提供されてもよい(例えば、錐体密度内の反比例に基づいて)。
例えば、増強を伴わずにコンテンツが現れるであろう状態に関連して、および/またはユーザの中心視野に提示される画像コンテンツと比較して、網膜によって感知され得る周辺画像を増強させるような様式においてユーザの周辺視野に提供される、画像コンテンツの処理の他の実施例も、可能性として考えられる。例えば、ユーザの周辺視野に提示される画像コンテンツは、カラーバランス(例えば、赤色/緑色バランス)、および/またはホワイトバランス(例えば、色温度)を偏移させることによって、増強されてもよい。一般に、色は、異なる光源(例えば、蝋燭光対蛍光オフィス光)下、異なる色に隣接して、および/または異なる背景に対して、異なるように現れる。視覚系は、色および強度の変動を遠近調節するための信号の眼の感覚応答および脳の解釈に基づき得る。白色が、正しく知覚される場合、他の色もまた、正しく知覚されることができる。故に、いくつかの実施形態は、カラーバランスを偏移させることによって、増強されてもよい。
さらに、特殊効果もまた、周辺視野または視界に提供される画像コンテンツを増強させるために使用されてもよい。例えば、いくつかの実施形態は、鮮明化を伴わずにコンテンツが現れるであろう状態に関連して、および/またはユーザの中心視野に提示される画像コンテンツと比較して、ユーザの周辺視野に提示される画像コンテンツを鮮明化するように構成されてもよい。例えば、画像コンテンツは、縁拡張を含んでもよい。いくつかのそのような実施形態では、ディスプレイシステムは、環境内の縁を識別するように構成される、縁検出器または処理電子機器を含んでもよい。例えば、構成される縁検出器または処理電子機器は、色の急変を検出することによって、強度の急変を検出することによって、および/またはk-平均法クラスタリングアルゴリズムを適用することによって、縁を識別するように構成されてもよい。提示される画像コンテンツは、アウトライン、輪郭、背景、および/またはコントラスト技法を含め、ある縁、形状、および/または特徴を増強させることによって、鮮明化されてもよい。別の実施例として、提示される画像コンテンツは、提示される画像コンテンツの少なくとも近傍において、ユーザが、主に、提示される画像コンテンツを視認するように(例えば、周囲実世界コンテンツが強調解除される)ように、背景(例えば、いくつかのインスタンスでは、周囲バックスクリーン)に対して提示されてもよい。いくつかのインスタンスでは、背景は、ある程度の不透明度を、および/またはいくつかのインスタンスでは、不透明度または実質的不透明度を提供されることができる。他の実施例として、ユーザの周辺視野に提示される画像コンテンツは、露光、明るさ、陰影、ハイライト、フリッピング(例えば、反転)、直線化、回転、画像部分の測定(例えば、体積を含む)、および/または他の技法の使用に基づいて、増強されてもよい。いくつかの実施形態では、画像コンテンツは、より便宜的にユーザに提示されてもよい。例えば、画像は、頭部と整合されるとき、視認がより容易であり得る。故に、いくつかの実施形態は、ユーザの頭部姿勢に基づいて、画像コンテンツを直線化および/または回転させることによって、画像コンテンツを増強させてもよい。故に、ユーザの周辺視野に提示される画像コンテンツは、ユーザの中心視野に提示される画像コンテンツと比較して、異なるように処理される画像であってもよい。
増強を伴わずにコンテンツが現れるであろう状態に関連して、および/またはユーザの中心視野に提示される画像コンテンツと比較して増強される、画像コンテンツをユーザの周辺視野に提示する代わりに(またはそれと組み合わせて)、種々の実施形態は、強調解除を伴わずにコンテンツが現れるであろう状態に関連して、および/またはユーザの周辺視野に提示される画像コンテンツと比較して強調解除される、画像コンテンツをユーザの中心視野に提示するように構成されてもよいことを理解されるであろう。実施例として、ユーザの中心視野に提示される画像コンテンツは、ユーザの周辺視野に提示される画像コンテンツと比較して、サイズを低減させる(例えば、収縮させる)、ぼかす、暗化/減衰させる、コントラストを低減させる、色飽和を減少させる、鮮明度を減少させる、曖昧にする、および/または縁を増強解除することによって、強調解除されてもよい。ぼかしの一実施例は、画像コンテンツをユーザの中心視野に実質的に同一色で提示することを含む。画像は、例えば、青色または緑色等の類似色のトーン内で変動を含んでもよい。したがって、画像は、中心場では、モノトーンで現れ得、中心場内の画像は、判別可能なままである。ユーザは、周辺視野内のオブジェクトのビューを増強させながら、依然として、中心視野内のコンテンツを視認可能であり得る(例えば、オブジェクトの縁によって)。ユーザの中心視野に提示される画像コンテンツはまた、露光、明るさ、陰影、ハイライト、フリッピング(例えば、反転)、直線化、回転、画像部分の測定(例えば、体積を含む)、カラーバランス(またはホワイトバランス)の偏移、および/または他の技法の使用に基づいて、強調解除されてもよい。明るさ、露光、陰影、ハイライト等の使用またはこれらの任意の組み合わせは、いくつかのインスタンスでは、コントラストを増加させることに役立ち得る。故に、ユーザの中心視野に提示される画像コンテンツは、ユーザの周辺視野に提示される画像コンテンツと比較して、異なるように処理される画像であってもよい。あるタイプの画像処理は、例えば、画像処理の当業者に公知の一般的技法を含むことができる。いくつかの実施形態は、種々の増強および/または強調解除技法の組み合わせを使用してもよい。
画像が増強または強調解除されると、ある実施形態は、修正のインジケータをユーザに提供してもよい。いくつかのインスタンスでは、提示される画像自体が、アラートを提供し、修正された画像コンテンツにユーザの注意を引いてもよい(例えば、高速サイズ成長、提示される画像内の高コントラスト、1つの色での画像コンテンツのぼかし、フラッシュ等)。他の実施例として、いくつかの実施形態は、視覚的(例えば、ポップアップアラートまたは点滅光)または聴覚的アラート(例えば、ベルまたは音声)をユーザに提供してもよい。
ある構成では、増強の程度は、種々の要因に基づくことができる。例えば、増強の程度は、ユーザからのオブジェクトの距離によって判定されることができる。いくつかの実施形態では、増強の程度は、少なくとも部分的に、オブジェクトから受光された光の量またはディスプレイ内の他の近傍オブジェクトから受光された光の量に基づくことができる。
本明細書に説明されるある実施例は、ユーザの周辺視野に提示される画像コンテンツの増強および/またはユーザの中心視野に提示される画像コンテンツの強調解除(例えば、ユーザの周辺視野内の環境の画像コンテンツの可視性を増加させるため)を開示するが、種々の実施形態は、本明細書に説明される増強および/または強調解除技法を使用して、ユーザの中心視野に提示される画像コンテンツを増強させ、および/またはユーザの周辺視野に提示される画像コンテンツを強調解除してもよい(例えば、ユーザの中心視野内の環境の画像コンテンツの可視性を増加させるため)。例えば、放射線技師または他の医療従事者は、その中心視野内でX線または蛍光で結像されるコンテンツ(例えば、染色された細胞、腫瘍、アミロイドプラーク等)を視認し得る。いくつかの実施形態は、ユーザの中心視野に提示される画像コンテンツのコントラストを増加させる、光強度を増加させる、サイズを増加させる、背景を曖昧にする等、および/またはユーザの周辺視野に提示される画像コンテンツのコントラストを減少させる、光強度を減少させる、サイズを低減させる、ぼかす、暗化させる、曖昧にする等を行ってもよい。いくつかの実施形態はまた、本明細書に説明されるように、画像コンテンツのカラーバランス(例えば、赤色/緑色バランス)を偏移させてもよい。そのような実施例では、X線または蛍光で結像されるコンテンツ内の詳細は、より容易に見られ得る。別の実施例として、いくつかの実施形態は、ユーザが外科手術部位の増強されたビューを有し得る(例えば、視覚的混雑を除去する)ように、ぼかされた背景(例えば、ユーザの周辺視野内)に対しアクティブな外科手術部位(例えば、ユーザの中心視野内)のビューを提供してもよい。さらに別の実施例として、いくつかの実施形態は、アクティブな外科手術部位が可視であって、実世界の残りが曖昧にされるように、背景内のコンテンツを曖昧にしてもよい(例えば、背景の一部が、ある程度の不透明度を有する、または不透明度/実質的不透明度を有する)。
さらに、付加的「仮想」画像コンテンツが、周辺および/または中心視野に提示されることができる。そのような付加的、すなわち、「拡張」コンテンツはまた、テキスト、矢印、ユーザコマンド、複製画像等をさらに含むことができる。ある場合には、そのような付加的、すなわち、「拡張」コンテンツは、X線、CT、MRI、PET、超音波画像、または結像技術からの他の画像等の2次元(2D)または3次元(3D)画像等の画像を備えることができる。そのような付加的画像コンテンツはまた、診断監視デバイスまたは他の器具ならびに他のソースからからのデータを含むことができる。
ここで図11Bを参照すると、ディスプレイシステムを使用して、環境の画像コンテンツの少なくとも一部のユーザビューを改善する、別の例示的方法3500が、図示される。ディスプレイシステムは、それぞれ、図2、6、および10A-10Bにおけるディスプレイシステム80、1000、または2010を含んでもよい。ディスプレイシステムは、例えば、画像コンテンツをユーザの眼に投影する、頭部搭載型ディスプレイデバイスを含んでもよい。
ブロック3510では、ディスプレイシステムは、環境の条件を捕捉するように構成されてもよい。本明細書に説明されるように、いくつかの実施形態は、1つまたはそれを上回る捕捉デバイスを含み、環境の条件を捕捉してもよい。一実施例として、ディスプレイシステムは、1つまたはそれを上回るカメラまたは光センサ(例えば、照度計)を含み、環境の照明条件を感知してもよい。1つまたはそれを上回るカメラまたは光センサは、周囲光の輝度を測定してもよい。
ブロック3520では、種々の実施形態は、少なくとも部分的に、条件に基づいて、環境の画像コンテンツの少なくとも一部を修正してもよい。例えば、種々の実施形態は、環境内の照明条件に基づいて、画像コンテンツを修正してもよい。
本明細書に説明されるように、錐体は、概して、色および空間分解能に関与する。桿体は、色に敏感ではなく、概して、基本空間分解能に関与する。錐体は、明るい光条件下で最も活性化する一方、桿体は、低光条件下でより活性化する。したがって、照明条件(例えば、輝度)が減少するにつれて、錐体の分解能もまた、減少する。
故に、いくつかの実施形態は、少なくとも部分的に、照明条件との反比例関係に基づいて、画像コンテンツを提示してもよい。いくつかの実施例では、ユーザに提示される画像コンテンツは、本明細書に説明される技法を用いて増強されてもよい。増強の程度は、少なくとも部分的に、環境の輝度との反比例関係に基づいてもよい。例えば、本明細書に説明されるような拡大、増加された明度、増加されたコントラスト、または他のタイプの増強、もしくはそれらの組み合わせ等のより多くの増強が、より低い照明条件を伴う環境内の画像コンテンツに提供されてもよい。本明細書に説明されるように、画像コンテンツの異なる部分はまた、少なくとも部分的に、照明条件に基づいて、強調解除されてもよい。有利には、本明細書に説明されるある実施形態は、照明条件に基づいて、本明細書に説明されるような種々の増強/強調解除技法のうちの1つまたはそれを上回るものを通して、画像コンテンツを増強させてもよい。例えば、暗環境内のディスプレイに提示される画像コンテンツの明度を増加させることによって、ユーザは、ディスプレイを通して視認されている実世界環境の可視性が減少され得る。故に、種々の実施形態は、照明条件に基づいて、画像コンテンツを増強させる(例えば、サイズを増加させる、コントラストを増加させる、色飽和を増加させる、鮮明度を増加させる、背景を組み込む等、明度を増加させる以外)、または強調解除する(例えば、サイズを低減させる、ぼかす、コントラストを低減させる、色飽和を減少させる、鮮明度を減少させる、曖昧にする等)ための他の技法のうちの1つまたはそれを上回るものを利用してもよい。ある場合には、より多くの増強または強調解除が、より低い照明条件を伴う環境下の画像コンテンツに提供されてもよい。
ある実施形態はまた、有利には、環境の照明条件下の視機能に基づいて、画像コンテンツを増強させてもよい(例えば、図1G参照)。例えば、種々の実施形態は、異なる照明条件のために、ユーザの眼内の錐体および/または桿体の使用における変動を活用してもよい。いくつかのそのような実施形態では、ディスプレイシステムは、少なくとも部分的に、ユーザが、明所視、薄明視、または暗所視を使用するかどうかに基づいて増強される、画像コンテンツをユーザの視野の中心または周辺領域の一部に提示するように、光をユーザの眼の場所に投影するように構成されてもよい。明所視、薄明視、および暗所視は、それぞれ、比較的に明るい、中間、および低光条件下における眼の視覚である。明所視のために、錐体が、主に、使用され、暗所視のために、桿体が、主に、使用される。薄明視は、錐体および桿体の両方を利用する。本明細書に説明されるように、対応する照明条件は、明所視、薄明視、または暗所視照明条件と称され得る。ある照明条件下では、錐体活性が眼内で桿体活性より優勢であるとき、いくつかの実施形態は、本明細書に説明されるように、対応する錐体密度に基づいて、画像コンテンツを増強させてもよい。いくつかのそのようなインスタンスでは、画像コンテンツは、錐体の密度に基づいて、反比例して増強されてもよい。例えば、より多くの増強(例えば、サイズ、コントラスト、色飽和、鮮明度等のより多くの増加)が、より低い錐体密度を有する眼の場所に提示される画像コンテンツに提供されてもよい。加えて、ある照明条件下、桿体活性が眼内で錐体活性より優勢であるとき、いくつかの実施形態は、本明細書に説明されるように、対応する桿体密度に基づいて、画像コンテンツを増強させてもよい。いくつかのそのようなインスタンスでは、画像コンテンツは、桿体の密度に基づいて、反比例して増強されてもよい。例えば、より多くの増強(例えば、サイズ、コントラスト、色飽和、鮮明度等のより多くの増加)が、より低い桿体密度を有する眼の場所に提示される画像コンテンツに提供されてもよい。
本明細書に説明されるように、いくつかの実施形態は、1つまたはそれを上回る捕捉デバイスを含み、環境に関する情報を捕捉してもよい。例えば、画像捕捉デバイス(例えば、カメラ)が、環境の光条件(例えば、輝度)を捕捉するために使用されてもよい。別の実施例として、ピクセルのアレイ(例えば、光センサのアレイ、検出器、またはアクティブセンサエリア)を備える、検出器アレイが、環境の照明条件を捕捉するために使用されてもよい(例えば、ピクセルにわたって光レベルを積分し、環境の照明条件を捕捉することによって)。さらに別の実施例として、1つまたはそれを上回る捕捉デバイスは、内向きに面した画像捕捉デバイスまたは眼追跡デバイスを含み、瞳孔サイズを検出してもよい。輝度に応じて、瞳孔サイズは、変化し得る。低光条件に関して、瞳孔は、膨張し得る一方、高光条件に関して、瞳孔は、収縮し得る。故に、いくつかの実施形態は、少なくとも部分的に、瞳孔サイズに基づいて、照明条件を判定してもよい。いくつかの実施形態は、1つまたはそれを上回るタイミングデバイス(例えば、クロックまたはタイマ)を含み、照明条件下で費やされた時間を監視してもよい。タイミングデバイスのうちの1つまたはそれを上回るものは、処理電子機器(例えば、図2に示されるローカル処理およびデータモジュール70または遠隔処理モジュール72)等のデバイスの電子機器内に組み込まれる、タイミングデバイス(例えば、クロック)を含んでもよい。
明所視照明条件下、輝度は、10cd/mを上回るまたはそれと等しい、12cd/mを上回るまたはそれと等しい、15cd/mを上回るまたはそれと等しい、20cd/mを上回るまたはそれと等しい、50cd/mを上回るまたはそれと等しい、もしくはその間の任意の値を上回るまたはそれと等しくあり得る(例えば、10.5cd/mを上回るまたはそれと等しい、13cd/mを上回るまたはそれと等しい等)。輝度範囲は、10cd/m~10cd/m、12cd/m~10cd/m、15cd/m~10cd/m、10cd/m~10cd/m、12cd/m~10cd/m、15cd/m~10cd/m、10cd/m~10cd/m、または10cd/m~10cd/m(例えば、10.5cd/m~10cd/m、10.5cd/m~10cd/m等)の任意の値によって形成される任意の範囲であり得る。
いくつかのそのような照明条件下では、錐体が活性化されるため、画像コンテンツは、錐体の投影された光場所の密度に基づいて、反比例して増強されてもよい(例えば、拡大される、明度が増加される、コントラストが増加される、色飽和が増加される、鮮明度が増加される等)。例えば、より少ない錐体密度を伴う(例えば、中心窩からより遠い)投影された光場所(例えば、中心または周辺視野に対応する)では、より多くの増強(例えば、サイズ、コントラスト、色飽和、鮮明度等のより多くの増加)が、必要とされ得る。
暗所視照明条件下、輝度は、10-3.5cd/m未満またはそれと等しい、10-3.6cd/m未満またはそれと等しい、10-3.7cd/m未満またはそれと等しい、10-3.8cd/m未満またはそれと等しい、10-4cd/m未満またはそれと等しい、10-4.5cd/m未満またはそれと等しい、もしくは10-3.5cd/m未満の任意の値未満またはそれと等しくあり得る(例えば、10-3.9cd/m未満またはそれと等しい、10-5cd/m未満またはそれと等しい等)。輝度範囲は、10-3.5cd/m~10-6cd/m、10-3.6cd/m~10-6cd/m、10-3.7cd/m~10-6cd/m、10-3.8cd/m~10-6cd/m、10-4cd/m~10-6cd/m、10-4.5cd/m~10-6cd/m、10-3.5cd/m~10-5cd/m、10-3.6cd/m~10-5cd/m、10-3.6cd/m~10-5cd/m、10-4cd/m~10-5cd/m、または10-3.5cd/m~10-6cd/mの任意の値によって形成される任意の範囲の(例えば、10-3.9cd/m~10-6cd/m、10-4.2cd/m~10-6cd/m、10-5cd/m~10-6cd/m等)であり得る。
いくつかのそのような照明条件下では、桿体が、活性化されるため、画像コンテンツは、桿体の投影された光場所の密度に基づいて、反比例して増強されてもよい。より少ない桿体密度(およびより多くの錐体密度)を伴う投影された光場所(例えば、中心視野内に対応する)では、より多くの増強(例えば、サイズ、コントラスト、色飽和、鮮明度等のより多くの増加)が、例えば、桿体および/または錐体を「覚醒」させるために必要とされ得る。例えば、桿体および錐体は、差異に基づいて、活性化され得る。移動または形状上の縁は、桿体によって検出され得る、差異であり得る。任意のそのような差異の提示は、桿体を覚醒させ、可能性として、桿体をより敏感にし、画像を検出することができる。錐体は、色に関与するが、暗所視のために活性化されないため、暗所視の間の、例えば、中心領域内における錐体への色またはコントラストが増強された画像(例えば、増加された色飽和またはコントラストを伴う画像)の提示は、いくつかの実施形態では、錐体を活性化し得る。さらに、桿体密度は、中心窩の中心から約18度でピークとなり、中心窩の中心から約30度でより小さいピークを伴い得る。いくつかの実施形態では、増強は、少なくとも部分的に、これらのピークのうちの1つからの距離に基づいてもよい。例えば、これらのピークのうちの1つからより遠い投影された光場所(例えば、周辺視野内に対応する)では、より多くの増強が、必要とされ得る。
薄明視照明条件下、輝度は、10-3cd/m~100.5cd/m、10-2.9cd/m~100.5cd/m、10-2.8cd/m~100.5cd/m、10-3cd/m~100.45cd/m、10-2.9cd/m~100.45cd/m、10-2.8cd/m~100.45、または10-3cd/m~100.5cd/mの任意の値によって形成される任意の範囲のであり得る(例えば、10-2.9cd/m~100.4cd/m、10-2.8cd/m~100.4cd/m、10-2cd/m~100.4cd/m等)。
いくつかのそのような照明条件下では、錐体および桿体の両方が、使用され得る。照明条件が暗いほど(例えば、明所視から薄明視に進む)、より多くの桿体(およびより少ない錐体)が、活性化され得る。加えて、いくつかのそのようなインスタンスでは、薄明視照明条件下で費やされた時間が長いほど、より多くの桿体(およびより少ない錐体)が、活性化され得る。照明条件がより明るいほど(例えば、暗所視から薄明視に進む)、より多くの錐体(およびより少ない桿体)が、活性化され得る。いくつかのそのようなインスタンスでは、薄明視照明条件下で費やされた時間が長いほど、より多くの錐体(およびより少ない桿体)が、活性化され得る。時間(例えば、リアルタイムで)および輝度レベルを監視することによって、ある実施形態は、活性である錐体および桿体の量および/または錐体または桿体がユーザの眼内で優勢であるかどうかを判定することができる。概して、環境がより暗いほど、桿体が錐体より優勢により高速に遷移し得る。また、輝度の変化が大きい(例えば、より暗いまたはより明るい)ほど、桿体または錐体は、より迅速に活性化され得る。
故に、いくつかの実施形態では、画像コンテンツは、少なくとも部分的に、照明条件、かつ少なくとも部分的に、照明条件(例えば、薄明視照明条件)下で費やされた時間に基づいて、増強されてもよい。錐体が優勢であるとき、画像コンテンツは、例えば、明所視条件におけるように、錐体の投影された光場所の密度に基づいて反比例して増強されてもよい。例えば、より多くの増強(例えば、サイズ、コントラスト、色飽和、鮮明度等のより多くの増加)が、より低い錐体密度を有する眼の場所に提示される画像コンテンツに提供されてもよい。桿体が優勢であるとき、画像コンテンツは、例えば、暗所視条件におけるように、桿体の投影された光場所の密度に基づいて反比例して増強されてもよい。例えば、より多くの増強(例えば、サイズ、コントラスト、色飽和、鮮明度等のより多くの増加)が、より低い桿体密度を有する眼の場所に提示される画像コンテンツに提供されてもよい。
加えて、増強は、少なくとも部分的に、活性光受容体(例えば、明所視のための錐体、暗所視のための桿体、および薄明視のための錐体および/または桿体)の分解能に基づいてもよい。画像コンテンツの2つの点の分解は、眼の空間および/またはコントラスト感度(または空間分解能)に依存し得る。加えて、眼が感知し得る、最小空間距離および/または最小コントラストは、輝度レベルに依存し得る。例えば、眼が感知し得る、最小空間距離および/または最小コントラストは、暗環境と比較して、良好に照明された環境に関しては、より小さくなり得る。故に、種々の実施形態は、少なくとも部分的に、所与の照明条件に関する眼の分解能に基づいて眼によって分解されるために、画像コンテンツを増強させてもよい。例えば、画像コンテンツは、少なくとも活性錐体および/または桿体の最小空間分解能を満たす程度まで、拡大されてもよい。別の実施例として、画像コンテンツは、少なくとも活性錐体および/または桿体の最小コントラスト感度を満たす程度まで、増加されたコントラストを有してもよい。いくつかの実施形態は、増強させるための1つを上回る技法を利用してもよい(例えば、拡大する、明度を増加させる、コントラストを増加させる、色飽和を増加させる、鮮明度を増加させる、背景を追加する等)。
種々の実施形態は、環境の照明条件下の視機能に基づいて、および/または活性光受容体の分解能に基づいて、画像コンテンツを強調解除するための1つまたはそれを上回る技法を利用してもよいことを理解されるであろう(例えば、サイズを低減させる、ぼかす、暗化/減衰させる、コントラストを低減させる、色飽和を減少させる、鮮明度を減少させる、曖昧にする等)。例えば、より高い輝度レベル(例えば、より低い輝度レベルと比較して)では、錐体が、より敏感であり得る。いくつかのそのような場合では、高錐体密度を有する光投影された場所に対応するユーザの視野の一部に提示される画像コンテンツは、強調解除され、依然として、検出されることができる。故に、明所視照明条件下では、いくつかの実施形態は、ユーザが、依然として、中心視野に提示される強調解除された画像コンテンツを視認可能でありながら、周辺視野に提示される画像コンテンツをより良好に視認可能であり得るように、中心視野に提示される画像コンテンツを強調解除してもよい。より低い輝度レベル(例えば、より高い輝度レベルと比較して)では、桿体が、より敏感であり得る。いくつかのそのような場合では、高桿体密度を有する光投影された場所に対応するユーザの視野の一部に提示される画像コンテンツは、強調解除され、依然として、検出されることができる。故に、暗所視照明条件下では、いくつかの実施形態は、ユーザが、依然として、周辺視野に提示される強調解除された画像コンテンツを視認可能でありながら、中心視野に提示される画像コンテンツをより良好に視認可能であり得るように、周辺視野に提示される画像コンテンツを強調解除してもよい。加えて、薄明視照明条件下では、いくつかの実施形態は、錐体または桿体がユーザの眼内で優勢であるかどうかを判定し(例えば、少なくとも部分的に、照明条件下で費やされた時間に基づいて)、適宜、画像コンテンツを提示してもよい。例えば、いくつかの実施形態は、例えば、明所視条件下におけるように、錐体が優勢であるときの錐体の密度に基づいて、画像コンテンツを強調解除することができる。いくつかの実施形態は、例えば、暗所視条件下におけるように、桿体が優勢であるときの桿体の密度に基づいて、画像コンテンツを強調解除することができる。さらに、本明細書に説明されるようないくつかの実施形態は、有利には、ユーザに、視覚的または聴覚的アラートを介して、増強/強調解除された画像コンテンツをアラートしてもよい。
画像修正
ここで図12Aおよび12Bを参照すると、ユーザおよび/または環境センサを組み込む、ディスプレイシステムは、有利には、環境内のオブジェクトの画像修正を提供することができる。言い換えると、ある実施形態は、ユーザが、より良好な可視性を伴って、ユーザの視野内に位置するオブジェクトを視認することを可能にし得る。
図12Aおよび12Bは、ディスプレイシステムを使用したユーザの視野内のオブジェクトの画像修正の例示的方法4000を図示する。ディスプレイシステムは、それぞれ、図2、6、および10A-10Bにおけるディスプレイシステム80、1000、または2010を含んでもよい。図11Aのブロック3010および3020と同様に、ディスプレイシステムは、ブロック4010に示されるように、1つまたはそれを上回る環境の画像を捕捉するように構成されてもよく、ブロック4020に示されるように、環境の画像を処理してもよい。いくつかの実施形態では、捕捉デバイスは、環境に関する他の情報を捕捉してもよい(例えば、カメラまたは光センサが、環境の照明条件(例えば、平均明度)を捕捉するために使用されることができる)。
ブロック4030では、種々の実施形態は、環境内の着目オブジェクトを判定してもよい。いくつかの実施形態では、着目オブジェクトは、ユーザの周辺視野内のオブジェクトであってもよい。一般に、ユーザは、典型的には、その注意をユーザの中心視野内のオブジェクトまたは複数のオブジェクトに集中させるであろう。いくつかのそのような実施形態では、ディスプレイシステムは、ユーザの周辺視野内に位置する、ユーザが着目するオブジェクトを自動的に判定してもよい。
種々の実施形態は、例えば、ユーザが着目し得る、ユーザの周辺視野内の環境の少なくとも一部を識別してもよい(例えば、1つまたはそれを上回るオブジェクト、1つまたはそれを上回るオブジェクトの一部、またはオブジェクトの少なくともの一部およびその近接環境の一部)。いくつかの実施形態では、ディスプレイシステムは、ユーザを監視し、ユーザが視認することに着目する環境の部分を判定することによって、環境の一部を自動的に識別してもよい。ユーザがある視認方向において合焦する、時間および/または労力は、ユーザの着目レベルとして解釈され得る。例えば、ユーザの周辺視野内の特定の領域に着目するユーザは、複数の機会において、その頭部および/または眼をある方向に向かって指向し得、および/またはその方向を視認することにより長い時間周期を費やし得る。別の実施例として、環境の特定の部分に着目するユーザは、ある方向において観察するとき、例えば、その方向に位置する、低分解能を有し得るオブジェクトを視認しようとする際、その眼を細めて、労力/着目を示し得る。ユーザはまた、遠近調節することに苦労し得る。眼内のレンズの遠近調節の測定は、したがって、ユーザが、オブジェクトを見ようと試みるが、ある程度の困難を有するかどうかを確認するために監視されてもよい。
故に、図10A-10Bに示されるように、ディスプレイシステムは、入力をユーザから受信するように構成される、1つまたはそれを上回る入力デバイスを含んでもよい。入力デバイスは、眼位置、移動、視線、または瞳孔サイズを検出するため等、眼追跡のための内向きに面したカメラ24、28および/またはセンサを含んでもよい。内向きに面したカメラ24、28および/またはセンサはさらに、眼瞼位置、周囲眼組織位置、顔筋移動(例えば、顔筋を収縮または圧縮させる、眼を細める等)、または他の顔位置もしくは移動等の他の顔インジケータを監視するように構成されてもよい。本明細書に説明されるようなセンサおよび/またはカメラ(例えば、加速度計、ジャイロスコープ、IMU、および/またはカメラ24、28、30、32、34等の頭部姿勢センサ)が、頭部が位置付けられる方向(例えば、水平に対して直線または傾斜)等のユーザの頭部姿勢を判定するために使用されてもよい。そのような情報のうちの1つまたはそれを上回るもの(例えば、眼追跡、顔インジケータ、および/または頭部姿勢に関する情報)を外向きに面したカメラ34からのユーザ環境に関する情報と併せて使用することによって、ローカル処理およびデータモジュール70(および/または図2からの遠隔処理モジュール72)は、ユーザの周辺視野内の着目領域を判定するように構成されてもよい。
いくつかの実施形態では、ディスプレイシステムは、ユーザが着目領域を能動的に示すことによって、ユーザの周辺視野内の環境の一部を識別してもよい。例えば、内向きに面したセンサおよび/またはカメラ24、28は、検出システムを含み、あるユーザ眼ベースのコマンドを検出してもよい。例えば、いくつかの実施形態は、視線、眼を細めること、もしくは1つまたはそれを上回るウィンクまたは瞬目のパターンを伴う、ユーザコマンドを用いて、着目領域を選択してもよい。他の実施例として、ディスプレイシステムは、物理的ユーザインターフェース(例えば、タッチパッド等のタッチセンサ、マウス、ポインティングデバイス、もしくはディスプレイシステムの表面上の1つまたはそれを上回るボタン)、仮想ユーザインターフェース(例えば、仮想タッチパッド、仮想マウス、仮想ポインティングデバイス、もしくは仮想タッチスクリーン上の1つまたはそれを上回るアイコン)、オーディオ認識システム(例えば、音声コマンド、溜息、欠伸等を検出するための1つまたはそれを上回るマイクロホン)、ジェスチャ認識システム(例えば、ジェスチャを識別するためのビデオカメラおよび処理電子機器)、および/または移動認識システム(例えば、運動検出器)を含み、ユーザが着目領域を選択することを可能にしてもよい。
いくつかの実施形態は、1つまたはそれを上回るインジケータまたはデバイスアラート(例えば、フラッシュ光またはポップアップアラートもしくはオーディオ信号の使用)を含み、周辺視野内の状況(例えば、周辺領域内の気付かれていない出血)にユーザの注意を引いてもよい。それに応答して、ユーザは、ユーザの周辺視野内の関連部分の画像を増強させるかどうかを能動的に選択してもよい。いくつかのそのような実施形態では、ユーザは、瞬間中心視野から視線を離さずに、周辺視野と相互作用してもよい(音声コマンドまたは手を振ることで周縁内のポップアップアラートを閉じる等)。
種々の実施形態では、ユーザの周辺視野内の環境の識別された部分は、1つまたはそれを上回る物理的オブジェクト、1つまたはそれを上回る物理的オブジェクトの一部、もしくは物理的オブジェクトの少なくとも一部およびその近傍環境の一部を含んでもよい。例えば、識別された部分は、近傍テーブル上の1つまたはそれを上回るツールを含んでもよい。別の実施例として、オブジェクトは、手術室内の物理的画面上に提示される、事前に記録されたまたはリアルタイムの医療画像を含んでもよい。医療画像は、データファイル、コンピュータ断層撮影(CT)走査(またはコンピュータ軸方向断層撮影(CAT)走査として知られる)、磁気共鳴結像(MRI)、電子放出断層撮影(PET)走査、超音波結像、X線の情報を含んでもよい。いくつかのそのような実施例では、環境の一部は、必ずしも、画面上に画像全体を含まず、画像の一部を構成し得る。さらに、ディスプレイシステムは、環境の1つを上回る非隣接部分(例えば、外科医の左側の医療画像および外科医の右側の異なる医療画像)を識別するように構成されてもよい。
種々の実施形態では、1つまたはそれを上回る外向きに面したセンサ34は、環境の識別された部分内の着目オブジェクトまでの距離を測定するように構成されてもよい。1つまたはそれを上回るセンサ34は、距離測定デバイス(例えば、レーザ測距計)を含んでもよい。着目オブジェクトまでの距離は、オブジェクトの画像コンテンツを提示する、深度平面を判定するために使用されてもよい。
図12Aを参照すると、ブロック4040では、ディスプレイシステムは、オブジェクトの画像に対応する環境の画像の一部を修正するように構成されてもよい。ブロック4041に示されるように、ディスプレイシステムは、オブジェクトの増強された画像(例えば、少なくとも部分的に、オブジェクトまでの距離、および/または2点区別のための最小距離、および/または眼の空間分解能との反比例関係に基づいて判定された深度平面において拡大された画像)を提示してもよい、またはブロック4042に示されるように、ディスプレイシステムは、オブジェクトの画像を異なる場所に提示してもよい。図12Bは、いくつかのそのような実施形態の例示的用途を示す。図12Bでは、外科医は、その中心視野内で患者に手術し得る。手術台からある程度離れた距離にあるのは、医療画像4045(例えば、心臓モニタ上の心電図)であってもよい。いくつかの実施形態は、図12Bにおける4041によって示されるように、有利には、増強された医療画像を提示してもよい(例えば、本実施例では、サイズが増強される)。いくつかのインスタンスでは、増強された画像は、実際の医療画像と実質的に同一場所に現れ得る(明確にするために、増強された画像は、図12Bでは、同一場所に示されていない)。例えば、医療画像は、その実際の場所またはそれを中心として留まり得るが、増強されて現れ得る(例えば、その実際のサイズより大きいまたはより小さい)。外科医が、増強された医療画像を見るとき、外科医は、より良好な可視性を伴って、医療画像を見ることが可能であり得る。いくつかの実施形態は、図12Bにおける4042によって示されるように、有利には、医療画像の場所を変化させてもよい。例えば、外科医の周辺視野内にあった医療画像は、外科医が持続的に頭部姿勢を調節する必要がないように、患者のより近くに変位されてもよい。このように、外科医は、患者および医療画像の両方を同時に見ることが可能であり得る。種々の実施形態はまた、付加的画像をユーザに提示してもよい。例えば、図12Bに示されるように、付加的AR画像4047が、提供されてもよい(例えば、患者の近くに提示される心臓の3D画像)。
図12Aのブロック4041に戻って参照すると、本明細書に説明されるように、オブジェクトの画像は、オブジェクトの対応する深度平面と同一深度平面またはオブジェクトに対応する深度平面に近い深度平面上で増強されてもよい。例えば、いくつかの実施形態では、ディスプレイシステムは、着目オブジェクトの増強された画像を、少なくとも部分的に、オブジェクトまでの距離に基づいて判定された深度平面に提示するように構成されてもよい。画像が投影される深度平面は、ユーザから実世界内のオブジェクトまでの距離と正確に一致しなくてもよい。代わりに、ある場合には、利用可能である、すなわち、頭部搭載型ディスプレイデバイスが画像を提供するように構成される、1つまたはそれを上回る他の深度平面より少なくとも近い近接深度平面等、ユーザからの実世界内のオブジェクトの距離に近い、深度平面が、選択される。ユーザの周辺視野内の着目オブジェクトの画像は、増強されるため、ユーザは、ユーザの視野をそのオブジェクトに向かって再指向する必要なく、そのオブジェクトのより良好な可視性を有し得る。図12Bに示される実施例では、オブジェクト4045の画像4041は、拡大されるが、オブジェクト4045の画像4041は、他の方法で増強されてもよい。
種々の方法が、ユーザから実世界内のオブジェクトまでの距離を測定するために使用されることができる。例えば、米国仮出願第62/294,147号は、物理的測定を行う1つの方法を説明する。いくつかの実施形態では、頭部搭載型ディスプレイデバイスは、環境内のオブジェクトまでの距離を測定するように構成される、1つまたはそれを上回るセンサを含んでもよい。そのようなセンサは、例えば、レーザ測距計(例えば、LIDAR)、レーダ距離計、超音波測距デバイス(例えば、ソナーまたはエコー音を使用する)等の距離測定デバイスまたは測距デバイスであり得る。三角測量等の他の方法もまた、可能性として、使用されてもよい。本明細書に説明されるように、オブジェクトの画像は、頭部搭載型ディスプレイ上に表示され、ユーザに、オブジェクトの画像が実場所と同一場所に現れる効果をもたらすことができる。本効果は、結像されるオブジェクトがオブジェクトの実際の場所と同一距離に位置して現れるように提示され得る、深度平面を判定することによって、達成されることができる。頭部搭載型ディスプレイが提供する深度平面は、オブジェクトまでの距離に正確に合致する必要はなくてもよい。その距離に近似する深度平面が、選択されてもよい。または、おそらく、最も好適な深度平面は、頭部搭載型ディスプレイデバイスによって提供され得る他の深度平面よりユーザからオブジェクトまでの距離に近い、頭部搭載型ディスプレイデバイスによって提供され得る、深度平面である。いくつかの実施形態では、例えば、ディスプレイデバイスは、少なくとも2つの深度平面、すなわち、遠深度平面と、近深度平面とを含む。最も好適な深度平面は、オブジェクトからユーザまでの距離に応じて選択されてもよい。例えば、オブジェクトからユーザまでの距離が、特定の頭部搭載型ディスプレイによって提供される第2の深度平面ではなく、第1の深度平面により近い場合、そのオブジェクトの画像は、第1の深度平面上に提示されてもよい。いくつかの実施形態では、遠深度平面は、ユーザから閾値距離より遠くに現れる、オブジェクトの画像を表示してもよく、近深度平面は、閾値距離より近くに現れる、オブジェクトの画像を表示してもよい。種々の実施形態では、2つのみを上回る深度平面が、画像を提示するために利用可能である。再び、上記に説明されるように、そのような実施形態では、最も好適な深度平面は、実世界内のオブジェクトに対応する深度平面により近いように選択されてもよい。
いくつかの実施形態では、ディスプレイシステムは、少なくとも部分的に、オブジェクトまでの距離、および/または2点区別のための最小距離、および/または眼の空間分解能との反比例関係に基づいて、オブジェクトの画像コンテンツを拡大し、その拡大された画像を深度平面上に提示するように構成されてもよい。ある実施形態では、ディスプレイシステムは、拡大(または増強)を伴わずにオブジェクトが現れるであろう状態に関連して、拡大された(または増強された)オブジェクトの画像を提示してもよい。いくつかの実施形態では、画像の拡大(または増強)は、実世界内の周囲オブジェクトおよび/またはディスプレイ上に提示される他の画像に関連することができる。
ここで図12Aにおけるブロック4042を参照すると、本明細書に説明されるように、ディスプレイシステムは、着目オブジェクトの画像をオブジェクトと異なる場所に提示してもよい。いくつかの実施例では、ディスプレイシステムは、オブジェクトの画像を、ブロック4042aに示されるように、オブジェクトまでの距離に対応する同一深度平面における異なる場所に、またはブロック4042bに示されるように、オブジェクトまでの距離に対応する深度平面と異なる深度平面に提示してもよい。例えば、ブロック4042aは、図12Cを参照して図示され得る。図12Cは、片眼6からの図4からの深度平面を示す。着目オブジェクトは、元々、場所A(例えば、ユーザから10フィート)における深度平面4100と関連付けられ得る。図12Cに示されるように、ディスプレイシステムは、オブジェクトの画像を、場所Aから側方に変位されるが、同一深度平面4100にある、場所A’に提示してもよい(例えば、光線が発出するオブジェクトがユーザから10フィートに位置するかのように、またはいくつかの実施形態では、光の光線を網膜の中に投影する)。実施例として、医療画像は、外科医の視野のほぼ外側(例えば、周辺視野内)に位置してもよい。いくつかの実施形態では、医療画像は、医療画像が外科医の中心視野のより近くに現れるように、側方に変位された場所に提示されてもよい。いくつかのそのような実施形態では、外科医は、医療画像が側方に変位された場所に提示されない場合より良好な可視性を伴って、医療画像を見ることが可能であり得る。
ブロック4042bもまた、図12Cを参照して図示され得る。前述のように、着目オブジェクトは、元々、場所Aにおける深度平面4100と関連付けられ得る。図12Cに示されるように、ディスプレイシステムは、オブジェクトの画像を、場所Aと関連付けられた深度平面と異なる深度平面4200である、場所A’’に提示してもよい。実施例として、場所Aに位置する医療画像は、患者および/または外科手術部位(例えば、場所Bにおける)と関連付けられた深度平面4200により近い、異なる深度平面4200に提示されてもよい。
種々の実施形態では、医療画像を、同一ではないにしても、より近い深度平面上に提示することによって、患者と関連付けられた深度平面は、外科医における遠近調節を容易にし得る(例えば、医療画像の遠近調節状態を患者のものにより近づける)。加えて、外科医は、医療画像が異なる場所に提示されない場合より良好な可視性を伴って、医療画像を見ることが可能であり得る。例えば、医療画像は、患者に隣接して提示されてもよい。別の実施例として、医療画像は、患者上に重畳されてもよい。いくつかのインスタンスでは、患者上に重畳された画像は、外科手術の間、ガイドを外科医に提供し得る。
いくつかの実施形態では、着目オブジェクトの画像は、眼6により近いまたはそこからより遠い深度平面に提示されてもよい。例えば、深度平面は、遠深度平面4100および近深度平面4200を含んでもよい。遠深度平面4100は、近深度平面4200よりユーザの眼6から遠くあり得る。本明細書に説明されるように、種々の実施形態は、着目オブジェクトまでの距離を判定するように構成される、1つまたはそれを上回る外向きに面したセンサ34を含んでもよい。着目オブジェクトまでの距離は、近深度平面4200より遠深度平面4100に対応し得る。いくつかのインスタンスでは、オブジェクトの画像は、近深度平面4200に提示されてもよい。近深度平面4200に提示されるオブジェクトの画像は、ある場合には、ユーザの中心視野にまたはそこに近接して提示されてもよい。提示される画像は、拡大(または別様に増強)される場合とそうではない場合がある。いくつかの他の実施形態では、着目オブジェクトは、遠深度平面4100より近深度平面4200に対応し得、オブジェクトの画像は、遠深度平面4100に提示されてもよい(例えば、注意散漫または着目オブジェクト近傍の乱雑を導入する、あまりに多くの結像される詳細によって生じる視覚的混雑を低減させるため)。さらに、いくつかの実施形態では、オブジェクトの画像は、オブジェクトと対応する深度平面と同一深度平面において側方に変位されてもよい(例えば、周辺視野から中心視野に側方に変位される)。いくつかの実施形態は、オブジェクトの対応する深度平面と同一深度平面において側方に変位される、増強された画像を提示してもよい。一実施例として、ユーザの周辺視野内のボトルのラベルの拡大された画像が、実際のラベル貼付されたボトルの上方に側方に変位されて提示されてもよい。
着目オブジェクトのための画像は、拡大および/または場所以外の(またはそれと組み合わせた)側面に基づいて、修正されてもよいことを理解されるであろう。例えば、オブジェクトの画像に対応する環境の画像の部分(例えば、周辺視野内)は、修正を伴わずにオブジェクトが現れるであろう状態に関連して、および/または環境の画像の別の部分(例えば、修正された画像または中心視野内の環境の画像の一部に近接するもの等、周辺視野内の環境の画像の別の部分)と比較して増強されるように、強度/明度、コントラスト、色飽和、鮮明度、縁拡張、背景の組込、カラーバランス、および/またはホワイトバランスにおいて修正されてもよい。オブジェクトの画像に対応する環境の画像の一部はまた、露光、明るさ、陰影、ハイライト、フリッピング、直線化、回転、画像部分の測定、および/または他のアプローチの使用に基づいて、増強されてもよい。故に、種々の実施形態では、オブジェクトの画像に対応する環境の画像の一部は、環境の画像の別の部分と比較して異なるように処理されてもよい。提示される画像コンテンツは、付加的拡張コンテンツである、および/または付加的拡張コンテンツ(例えば、テキスト、矢印、ユーザコマンド、複製画像、操作され得る器官等のオブジェクトの3D-画像等)をさらに含むことができる。
また、着目オブジェクトに対応する環境の画像またはビューの一部を修正する代わりに、またはそれに加え、環境の別の部分は、環境の画像またはビューもしくはディスプレイによって表示される他の画像を収縮させる、ぼかす、暗化/減衰させる、コントラストを低減させる、色飽和を減少させる、鮮明度を減少させる、縁を増強解除する、曖昧にする等によって、強調解除されてもよいことを理解されるであろう。例えば、そのような画像コンテンツは、ぼかされ、視覚的混雑または乱雑を低減させてもよい。いくつかの実施形態は、画像の隣接する部分を実質的に全て同一色(例えば、モノトーン)で提示することによって、コンテンツをぼかしてもよい。いくつかのそのようなインスタンスでは、色は、着目オブジェクトに対応する画像の部分内の色と高コントラストを伴う、色であってもよい。環境またはディスプレイによって表示される他の画像の強調解除された画像またはビューもまた、露光、明るさ、陰影、ハイライト、フリッピング(例えば、反転)、直線化または直線化の低減、回転、画像部分の測定(例えば、体積を含む)、カラーバランス(またはホワイトバランス)の偏移、および/または別様に、着目オブジェクトの画像に対応する環境の画像の部分と比較して異なるように処理される画像に基づいて、遂行されてもよい。
さらに、着目されていると判定されたオブジェクトは、ユーザの中心視野内のオブジェクトに対応し得、オブジェクトの画像に対応する環境の画像の部分は、本明細書に説明されるように、増強および/または場所が移動されてもよいことを理解されるであろう。さらに、環境の画像の別の部分は、本明細書に説明されるように、強調解除されてもよい。
さらに別の実施例として、いくつかの実施形態は、オブジェクトの画像をユーザの中心視野からユーザの中心視野内の別の場所に提示してもよい。遠深度平面からの画像コンテンツは、ユーザの中心視野内の増加された可視性のために、近深度平面にもたらされてもよい。また、近深度平面に対応する画像コンテンツは、遠深度平面にもたらされ、例えば、ユーザの近視野内の乱雑および/または視覚的混雑を低減させてもよい。いくつかの実施形態はまた、オブジェクトの画像をユーザの中心視野からユーザの周辺視野に提示してもよい(例えば、視覚的混雑を低減させるため)。
図12Aを継続して参照すると、ブロック4050では、いくつかの実施形態は、オブジェクトの修正された画像に近接する環境の画像の一部を修正するように構成されてもよい。例えば、いくつかの実施形態は、オブジェクトの修正された画像に近接する環境の画像の側面を強調解除してもよい(例えば、サイズを低減させる、色飽和を減少させる、強度を減少させる、コンテンツの画像をぼかし、画像コンテンツを暗化/減衰させる、色または色相を変化させる等)(例えば、注意を逸らす視覚的詳細または視覚的混雑を低減させるため)。別の実施例として、いくつかの実施形態は、オブジェクトの修正された画像に近接する環境の画像の一部を調節し、任意の下層画像を被覆してもよい。例えば、オブジェクトの修正された画像が、異なる場所に変位される、および/または拡大された画像である場合、ある実施形態は、修正された画像の真下の領域を調節し、二重画像の提示を防止してもよい。いくつかのインスタンスでは、環境の画像はまた、オブジェクトの修正された画像を囲繞する境界を含むように修正されてもよい。境界の提供は、ユーザが、自身が実際の世界内に存在するようなオブジェクトの画像ではなく、オブジェクトの修正された画像(例えば、拡張仮想画像)を視認していることを把握することに役立ち得る。図12Bにさらに示されるように、付加的拡張現実画像(例えば、事前に計画された外科手術ガイド、命令等)が、オブジェクトの修正された画像の近傍に提示されてもよい。
本明細書に説明されるように、ディスプレイデバイスは、ユーザの周囲の環境内のオブジェクトの画像をハイライトするように構成されることができる。そのようなオブジェクトは、ユーザの視野内等のユーザの種々の感知領域内に現れてもよい。そのようなインスタンスでは、オブジェクトは、ユーザの中心視野または周辺視野内にあってもよい。代替として、オブジェクトは、ユーザの動眼視野内であるが、ユーザの視野視野外にあってもよい。例えば、いくつかの実施形態では、ユーザの視野外のオブジェクトの画像をユーザの視野の中にもたらすことは、ユーザにアラートするために有用であり得る。外科手術の場合、注意を外科手術部位上に集中するとき、外科医の視野内にない画面は、患者のバイタルサインを含んでもよい。そのようなバイタルサインが、あるレベルに到達すると、外科医は、頭部搭載型ディスプレイデバイスディスプレイ上の画面の画像を提供することによって、アラートされてもよい。本画面は、頭部搭載型ディスプレイデバイス上に設置されたビデオカメラによって結像されてもよい。本カメラ(または複数のカメラ)は、正面に指向されるカメラまたは可能性としてさらに側方指向されるカメラもしくは背面に指向されるカメラであってもよい。別の実施例として、アラートは、アイコン(例えば、画像のコピー)またはオーディオを含み、潜在的状況を外科医に示してもよい。さらに別の実施例として、アイコン(例えば、心臓または温度計)が、ディスプレイ上に現れ、外科医に患者のあるバイタルサイン(例えば、心拍数または温度)をチェックすることをリマインドしてもよい。小アイコンは、より少ない注意散漫を提供し得る。外科医は、次いで、その頭部を移動させ、実際のオブジェクトを視認すること、またはオブジェクトをAR画像として視認することのいずれかを選定してもよい。
別の実施例として、緊急の場合(例えば、空港では)、着目オブジェクトは、除細動器であってもよい。ディスプレイデバイスは、ネットワークシステムまたはオブジェクト認識アルゴリズムを通して、除細動器を位置特定し、その場所への一般的方向(例えば、視覚的、聴覚的、テキスト等)を提供してもよい。外向きに面したカメラが除細動器を位置特定した(例えば、ユーザの動眼視野内)後、ディスプレイデバイスは、除細動器の増強された画像(例えば、その拡大された画像)を除細動器へのより精密な方向(例えば、矢印、テキスト等)等の付加的拡張画像とともに提示してもよい。さらに、除細動器を使用するとき、ディスプレイデバイスは、指示書の増強された画像を患者の隣に提示してもよい。付加的コンテンツもまた、患者の近傍に提示されてもよい(例えば、除細動器パッドを設置すべき場所)。多数の他の実施例も、可能性として考えられる。前述のように、ネットワークシステムとの通信は、本実施例では、除細動器の場所等の付加的情報を提供するために有用であり得る。処理電子機器等によって提供されるパターン認識が、外向きに面したカメラによって捕捉された画像を処理し、例えば、本実施例では、除細動器等のオブジェクトの場所を判定する、またはそれを識別するために使用されてもよい。
照明条件に基づく画像修正のさらなる実施形態
本明細書に説明されるように、ある実施形態は、少なくとも部分的に、照明条件に基づいて、環境の画像コンテンツの少なくとも一部を修正してもよい(例えば、図11B参照)。また、本明細書に説明されるように、種々の実施形態は、環境内の着目オブジェクトを識別し、オブジェクトに対応する環境の画像の一部を修正してもよい(例えば、図12A-12Bに示されるように、オブジェクトの増強された画像を提示する、またはオブジェクトの画像を異なる場所に提示する)。画像の一部は、少なくとも部分的に、照明条件に基づいて、修正されてもよい。
画像コンテンツが異なる場所に提示される、いくつかの実施形態では、ディスプレイシステムは、少なくとも部分的に、環境の照明条件に基づいて、画像コンテンツをユーザの視野の第1の部分からユーザの視野の第2の部分に提示するように構成されてもよい。環境の照明条件下、第2の部分は、第1の部分より高い視力を有する、ユーザの眼の投影された光場所に対応し得る。画像コンテンツをより高い視力を有するユーザの眼の投影された光場所に対応する場所に移動させることによって、本明細書に説明されるある実施形態は、画像コンテンツの明度を増加させる必要なく、画像コンテンツをディスプレイに提示し得る。有利には、暗環境内のいくつかのそのような実施形態の使用は、自然暗環境内でディスプレイを通して実世界を視認するユーザの能力を維持し得る。
明所視照明条件下、錐体が、活性化されるため、第2の部分は、第1の部分より高い錐体の密度を有する、ユーザの眼の投影された光場所に対応し得る。例えば、第1の部分は、周辺領域の一部を備え得、第2の部分は、中心領域内の一部を備え得る。別の実施例として、第1の部分は、中心領域内の一部を備え得、第2の部分は、中心領域内の別の部分(例えば、中心窩により近いユーザの眼の投影された光場所に対応する)を備え得る。さらに別の実施例として、第1の部分は、周辺領域内の一部を備え得、第2の部分は、周辺領域内の別の部分(例えば、中心窩により近いユーザの眼の投影された光場所に対応する)を備え得る。第2の部分は、いくつかのインスタンスでは、錐体が最適視認のための最高視力を有する、中心窩におけるユーザの眼の投影された光場所に対応し得る。いくつかの実施例では、第2の部分は、中心窩の中心から0~10度、1~10度、2~10度、0~8度、1~8度、2~8度、0~5度、1~5度、2~5度、または0~10度の任意の値によって形成される中心窩の中心から任意の範囲の(例えば、中心窩の中心から1~4度、1~6度、2~7度等)の範囲内にある、ユーザの眼の投影された光場所に対応し得る。
暗所視照明条件下、桿体が、活性化されるため、第2の部分は、第1の部分より高い桿体の密度を有する、ユーザの眼の投影された光場所に対応し得る。例えば、人物は、薄暗い光の中では、そらし目を使用して、詳細を見ようとし得る。中心窩には、桿体が実質的に存在しないため、人物は、着目オブジェクトに集中しながら、視線を周辺視覚に変化させることができる。故に、第1の部分は、中心領域内の一部を備え得、第2の部分は、周辺領域内の一部を備え得る。
本明細書に説明されるように、桿体密度は、中心窩の中心から約18度でピークとなり、中心窩の中心から約30度でより小さいピークを伴い得る。いくつかの実施例では、第1の部分は、周辺領域内の一部を備え得、第2の部分は、周辺領域内の別の部分(例えば、桿体密度ピークのうちの1つにより近いユーザの眼の投影された光場所に対応する)を備え得る。いくつかのインスタンスでは、第2の部分は、最適視認のための桿体密度ピークのうちの1つにおけるユーザの眼の投影された光場所に対応し得る。いくつかの実施例では、第2の部分は、中心窩の中心から10~25度、12~22度、15~20度、または中心窩の中心から10~25度の任意の値によって形成される任意の範囲の(例えば、中心窩の中心から13~23度、14~22度、16~20度等)の範囲内にある、ユーザの眼の投影された光場所に対応し得る。いくつかの実施例では、第2の部分は、中心窩の中心から20~40度、22~38度、25~35度、または中心窩の中心から20~40度の任意の値によって形成される任意の範囲(例えば、中心窩の中心から23~37度、26~32度、27~33度等)の範囲内にある、ユーザの眼の投影された光場所に対応し得る。
薄明視照明条件下、錐体および桿体の両方が、使用されることができる。いくつかの実施形態では、薄明視照明条件下、デバイスは、少なくとも部分的に、照明条件に、かつ少なくとも部分的に、照明条件下で費やされた時間に基づいて、画像コンテンツを第1の部分から第2の部分に提示するように構成されてもよい。照明条件が暗いほど、より多くの桿体(およびより少ない錐体)が、活性化され得る。加えて、薄明視照明条件下で費やされた時間が長いほど、より多くの桿体(およびより少ない錐体)が、活性化され得る。時間(例えば、リアルタイムで)および輝度レベルを監視することによって、ある実施形態は、使用されている錐体および桿体の量と、錐体または桿体がユーザの眼内で優勢であるかどうかとを判定することができる。概して、環境が暗いほど、桿体が錐体より優勢により高速に遷移する。
錐体がユーザの眼内で優勢であるとき、第2の部分は、例えば、明所視条件下におけるように、第1の部分より高い錐体の密度を有する、ユーザの眼の投影された光場所に対応し得る。例えば、第1の部分は、周辺領域内の一部を備え得、第2の部分は、中心領域内の一部を備え得る。別の実施例として、第1の部分は、中心領域内の一部を備え得、第2の部分は、中心領域内の別の部分(例えば、中心窩により近いユーザの眼の投影された光場所に対応する)を備え得る。さらに別の実施例として、第1の部分は、周辺領域内の一部を備え得、第2の部分は、周辺領域内の別の部分(例えば、中心窩により近いユーザの眼の投影された光場所に対応する)を備え得る。いくつかのインスタンスでは、第2の部分は、例えば、明所視条件に関して本明細書に説明されるように、錐体が最適視認のための最高視力を有する中心窩における、ユーザの眼の投影された光場所に対応し得る。
桿体がユーザの眼内で優勢であるとき、第2の部分は、例えば、暗所視条件におけるように、第1の部分より高い桿体の密度を有する、ユーザの眼の投影された光場所に対応し得る。例えば、第1の部分は、中心領域内の一部を備え得、第2の部分は、周辺領域内の一部を備え得る。いくつかの実施例では、第1の部分は、周辺領域内の一部を備え得、第2の部分は、周辺領域内の別の部分(例えば、暗所視条件に関して説明されるように、桿体密度ピークにより近い、またはそのうちの1つにおける、ユーザの眼の投影された光場所に対応する)を備え得る。
ディスプレイシステムは、画像コンテンツをユーザの視野の第1の部分からユーザの視野の第2の部分に提示するように構成され得るため、いくつかの実施形態は、有利には、ユーザに、視覚的または聴覚的アラートを介して、変化された画像コンテンツをアラートしてもよい。
いくつかの実施形態は、必ずしも、画像コンテンツを1つの場所から別の場所に移動させなくてもよく、本明細書に説明される類似原理を使用して、少なくとも部分的に、環境の照明条件に、かつ少なくとも部分的に、光受容体の投影された光場所の密度(例えば、照明条件における最適視認のため)に基づいて、拡張画像コンテンツを提示するための場所を判定してもよいことを理解されるであろう。
例えば、明所視照明条件下、画像コンテンツは、錐体の投影された光場所の密度に基づいて、ユーザの視野の一部に提示されてもよい。画像コンテンツは、比較的に高密度の錐体を有するユーザの眼の場所に対応する、ユーザの視野の一部に提示されてもよい。いくつかのインスタンスでは、光は、画像コンテンツをユーザの視野の中心領域に提示するように、ユーザの眼の場所に投影されてもよい。いくつかのインスタンスでは、投影された光場所は、中心窩にまたはそれに近接してあってもよい。
別の実施例として、暗所視照明条件下、画像コンテンツは、本明細書に説明されるように、桿体の投影された光場所の密度に基づいて、ユーザの視野の一部に提示されてもよい。画像コンテンツは、比較的に高密度の桿体を有するユーザの眼の場所に対応する、ユーザの視野の一部に提示されてもよい。いくつかのインスタンスでは、光は、画像コンテンツをユーザの視野の周辺領域に提示するように、ユーザの眼の場所に投影されてもよい。いくつかのインスタンスでは、投影された光場所は、桿体密度ピークのうちの1つにまたはそれに近接してあってもよい。
さらに別の実施例として、薄明視照明条件下、ある実施形態は、照明条件下、錐体または桿体がユーザの眼内で優勢であるかどうかを判定するように構成されてもよい。本明細書に説明されるように、本判定は、照明条件下で費やされた時間に基づいてもよい。錐体がユーザの眼内で優勢であるとき、画像コンテンツは、明所視条件に関して説明されるような場所に提示されてもよい。桿体がユーザの眼内で優勢であるとき、画像コンテンツは、暗所視条件に関して説明されるような場所に提示されてもよい。また、本明細書に説明されるように、いくつかの実施形態は、有利には、ユーザに、視覚的または聴覚的アラートを介して、提示される拡張画像コンテンツをアラートしてもよい。
医療結像、ディスプレイ、および可視化のための例示的ディスプレイシステム
多くの個人は、その人生におけるある時点において、診断および処置を要求する医学的状態または疾患を体験する。これらの状態は、とりわけ、例えば、心疾患、癌、脊柱疾患、および整形外科的傷害を含む、多数の形態をとり得る。有利には、いくつかの実施形態では、本明細書に開示される拡張現実(AR)ディスプレイシステムは、医療専門家のその患者の査定および処置を補助するように構成されてもよく、任意の治療段階において、それを行なってもよい。ARディスプレイシステムは、医療結像、医療表示、および/または医療可視化が有用である、任意の好適なコンテキストにおいて使用されてもよい。例えば、ARディスプレイシステムは、緊急処置室、手術室、医院、医師のオフィス、患者の自宅、および同等物において使用されてもよい。いくつかの実施形態では、ARディスプレイシステムは、結像し、画像を表示し、画像を操作し、疾患および異常を診断し、処置オプションを提供し、ある健康問題を防止し、および/または医療手技の間、補助を提供するように構成されてもよい。ARディスプレイシステムは、任意の好適な様式において、1人またはそれを上回る医療専門家を補助もしくは補完してもよいことを理解されるであろう。医療コンテキストでは、自宅における患者およびユーザもまた、種々の実施形態から利点を享受し得る。
いくつかの実施形態では、ディスプレイシステムは、「接眼」ディスプレイ、例えば、ユーザの眼に近接し、その正面に位置付けられ得る、ディスプレイであってもよい。ディスプレイは、例えば、網膜を横断して種々のパターンで変動する焦点距離を伴って、強度変調された光のビームを走査することによって、画像を直接ユーザの眼の中に投影する、3次元立体ディスプレイであってもよい。走査パターンは、とりわけ、ラスタ、スパイラル、および/またはリサジューを含んでもよい。そのような種々のパターンを眼に投影するために、ディスプレイは、1つまたはそれを上回る走査ファイバを含む、走査ファイバディスプレイを備えてもよい。ディスプレイは、コリメートおよび発散ビームの両方を眼に生成することによって、画像を種々の深度に生産してもよく、これは、有利には、オブジェクトを視認者に表示するとき、より正常な遠近調節を可能にすることができる。いくつかの実施形態では、画像の深度または焦点距離は、光学要素、機械的構造、処理アルゴリズム、または任意のそれらの組み合わせによって、調節されてもよい。ディスプレイは、視認者が、透明ウィンドウ、レンズ、および/または他の透明光学を通して、正面の環境を見ることを可能にし、また、その環境のビューに、光を眼の中に指向し、そのような付加的、すなわち、「拡張」画像の形成を可能にする、光源を備える、ディスプレイによって提示される画像を追加し得る、拡張現実ディスプレイを備えてもよい。
以下に議論されるように、付加的画像は、X線、CT、PET、またはMRI走査、超音波画像等の医療画像を含んでもよい。いくつかの実施形態では、医療画像のコントラストレベルは、調節されることができる。例えば、医療画像は、グレースケールであることができ、グレースケールのレベルは、組織タイプに固有であり得る。時として、医療画像のレベル数は、ヒトの眼が区別し得るものを上回り得る。例えば、8ビット画像は、256レベルを有することができ、これは、ヒトの眼が区別し得るものを上回り得る。いくつかの実施形態は、ヒトの眼によって区別され得るように、コントラストレベルを調節することができる。
付加的画像はまた、例えば、医療計器または他のソースからの医療データまたは他の情報を備えてもよい。いくつかの実施形態では、ディスプレイシステム内に含まれる画像処理および/またはマシンビジョン技術は、形状を輪郭付けし、および/またはその体積の変化を測定し、ならびに/もしくはそのような画像または他の信号もしくはデータに基づいて、流体流量を測定するように構成されてもよい。他のタイプの情報もまた、表示されることができる。ディスプレイシステムは、そのような結像および感知されるデータのリアルタイムおよび/または後処理のために構成されてもよい。これは、有利には、ディスプレイシステムが、例えば、命令、測定、計算、および他の可視画像等の関連情報とともに、リアルタイム画像および/または視認後画像を拡張させることを可能にすることができる。
本明細書に説明されるように、ディスプレイシステムは、1つまたはそれを上回る外向きに面したカメラを含んでもよい。いくつかの実施形態では、マシンビジョンは、ユーザの環境からの視覚的コンテンツを分析するために使用されてもよく、例えば、他の特徴またはコンポーネントの中でもとりわけ、色センサ、深度センサ、パターン認識装置、縁検出器、および/または世界カメラのうちの1つまたはそれを上回るものを含んでもよい。これらの1つまたはそれを上回るカメラからの画像は、ディスプレイ上に提示されてもよい。上記および本明細書のいずれかに議論されるように、ディスプレイ技術は、ユーザに、コンテンツが明確に見え、本明細書に議論されるように、種々の場合において地面を根拠とし得るように、深度平面、離散コンテンツ視認、および画像設置を使用してもよい(ピクセルスティック)。
そのようなシステムは、加えて、例えば、画像センサ、加速度計、ジャイロスコープ、温度センサ、電極、圧力センサ等の1つまたはそれを上回るセンサを含んでもよい。いくつかの実施形態では、ディスプレイシステムは、高度計、気圧計、化学センサ、湿度/温度センサ、マイクロホン、スピーカ、GPSシステム、天候マップ、カレンダ、および/または他の情報源を含んでもよく、それぞれ、ユーザが、そのデバイス上で見て、それと相互作用する、コンテンツのタイプに寄与し得る。
システムは、加えて、1つまたはそれを上回るレコーダおよび/または1つまたはそれを上回る他の外部入力ならびに/もしくは出力を含んでもよい。前述のように、マシンビジョンは、ディスプレイシステムが、マシンビジョンシステムの種々の入力(例えば、センサ)に対応する入力を受信し、それらをユーザの視野内に表示することを可能にし得る。画像および他の情報は、記憶および/または他のユーザに通過されてもよい。
いくつかの実施形態では、結果は、同時にまたは履歴データの比較を通してのいずれかにおいて、収集および/または分析されてもよい。いくつかの実施形態では、ディスプレイシステムは、マシンビジョン技術を含み、医学的状態を診断してもよい。いくつかの実施形態では、例えば、外向きに面したカメラは、患者の状態に関する情報を集めるために使用されてもよい。また、いくつかの実施形態では、超音波、X線、MRI、PET、CT、結像が、分析され、診断を提供してもよい。いくつかの実施形態では、例えば、デバイスは、超音波を超音波放出源としての変換器から出力し、返される超音波を測定し、組織密度を応答として判定し、患者についての情報を取得してもよい。例えば、図10Bを参照されたい。故に、いくつかの実施形態では、頭部搭載型ディスプレイデバイスは、超音波源を含んでもよい。頭部搭載型ディスプレイはまた、放出される超音波からの戻り信号を受信、測定、および/または解釈するように構成される、受信機を含んでもよい。いくつかの実施形態は、受信された信号の測定および/または解釈の一部として、ドップラー効果または飛行時間を使用する。ある実施形態では、ディスプレイシステムは、超音波音波を電気信号に変換するように適合される、センサを備える。処理電子機器が、本明細書に開示されるように、そのような信号を処理するために使用されてもよい。いくつかの実施形態では、ソースおよび/または受信機は、1つまたはそれを上回る変換器を備えることができる。いくつかの実施形態では、ソースおよび/または受信機の1つまたはそれを上回る変換器は、ディスプレイシステム上に搭載されることができる。いくつかの実施形態では、ディスプレイデバイスは、伝搬媒体(例えば、空気、皮膚、液体、ゲル等)を通して伝搬するように、超音波を放出するように構成される。他の入力はまた、インポートされたデータ、例えば、画像、患者履歴ファイル、緊急医療記録、または外科手術症例メモを含んでもよく、これは、後に使用され、診断に役立てることができる。いくつかの実施形態では、デバイスは、パターン認識および処理電子機器を使用して、例えば、測定(例えば、病変長、超音波からの飛行時間データ)を実施し、患者の状態を評価してもよい。ある実施形態では、母集団標準が、デバイスによって行われるリアルタイム測定および/または観察と比較するために使用され得るように、記憶されることができる。そのような比較によって受信された情報を使用することによって、ある実施形態は、異常を画像データから識別することができる。そのような診断および/または判定は、放出、応答、測定、および/または分析プロセスのうちの1つまたはそれを上回るものを採用してもよい。そのような診断はまた、ある健康問題が生じないように防止するためにも使用されることができる。いくつかの実施形態では、集められた情報(例えば、履歴ベースの反応、母集団標準等)は、オブジェクト(例えば、骨構造)のより正確な表現および/または画像を形成する際に使用されることができる。収集および/または分析されるデータに応答して、ディスプレイシステムは、いくつかの実施形態では、情報キューを提供する、アラートを送信する、または他の応答を開始するように構成されてもよい。ディスプレイシステムの感知および表示能力は、任意の好適な様式において(例えば、センサおよび/または他のデバイスを用いて)、研究者、臨床医、患者、消費者、および同等物によって使用される任意の医療および消費者用途において有用性を有するように修正されてもよいことを理解されるであろう。
1つまたはそれを上回る内向きに面したカメラは、ユーザの入力を検出するように構成されることができる。いくつかの実施形態では、1つまたはそれを上回る内向きに面したカメラは、眼移動、周囲眼組織を追跡する、および/またはユーザの瞳孔を追跡するように構成されてもよい。内向きに面したカメラは、ユーザの入力を検出するように構成される、網膜カメラを含んでもよい。いくつかのインスタンスでは、フィードバックが、ユーザパフォーマンスを査定し、適宜、コンテンツ(例えば、色、サイズ、場所等)を表示するために使用されることができる。例えば、目を細めることまたは眼瞼の下垂は、ユーザ疲労の兆候を示し得る。いくつかの実施形態のディスプレイシステムは、あるコンテンツをズームインし、および/またはコントラストを増加させ、ユーザをタスクに再従事させることによって、ディスプレイコンテンツを自動的に調節するように構成されることができる。別の実施例として、いくつかの実施形態では、瞳孔がオブジェクトに合焦されたままである時間は、測定されてもよく、ユーザの着目レベルとして解釈されてもよい。ディスプレイシステムは、ジェスチャ認識を含んでもよい。1つまたはそれを上回る外向きに面したカメラは、例えば、マシンビジョン、縁検出、オブジェクト認識、および/または慣性測定ユニット(IMU)等を使用し、ユーザのジェスチャ、頭部姿勢、移動パターン等を理解してもよい。いくつかの実施形態では、ディスプレイシステムは、例えば、1つまたはそれを上回る信号、1つまたはそれを上回る信号の場所、オーディオ(例えば、音声)入力、および/または雑音の強度を認識可能なマイクロホンを含んでもよい。いくつかの実施形態では、ディスプレイシステムは、オーディオフィードバックを、例えば、ユーザに提供するためのスピーカを含んでもよい。
患者医療走査からの3D仮想画像の生成
前述のように、ディスプレイシステムは、種々の医療結像モダリティ(例えば、CT、MRI、PET、および/または超音波等)と組み合わせられ、例えば、骨、器官、軟骨、血液、癌性組織等を含む、種々の解剖学的特徴を可視化してもよい。例えば、いくつかの実施形態では、ディスプレイシステムは、組織体積(例えば、腫瘍体積)を測定し、健康対非健康組織の程度(例えば、健康対非健康組織の比率またはパーセンテージを取得する)を測定するように構成されてもよい。いくつかの実施形態では、可視化される組織の種々の側面が、分析および表示されてもよい。1つまたはそれを上回る医療結像モダリティと組み合わせられると、ディスプレイシステムは、有利には、医療用途のために、1つまたはそれを上回る3Dデータセットからのオブジェクトの3D仮想画像を生成し、それらをユーザに表示してもよい。これは、例えば、より現実的画像、視認者のためのより正確かつ自然な視認体験(例えば、オブジェクト画像が3Dで現れるため)、および医療手技における改善された正確度を可能にすることができる。例えば、いくつかのそのような組み合わせられた実施形態では、医師は、より精密な術前計画および手術のために、ディスプレイシステムを使用してもよい。手技精度の増加は、有利には、患者回復時間を低減させ、かつより多くの周囲健康組織を保存し得る。
実施例として、全摘出等の侵襲的外科手術介入は、大部分の良性脳腫瘍のための標準的処置を担っている。1つまたはそれを上回る結像モダリティと組み合わせて、ディスプレイシステムを使用した、腫瘍場所の正確な術前走査および計画は、より局所化された腫瘍切除および健康な周囲組織のより多くの温存を可能にし得る。別の実施例として、本明細書に説明されるシステムは、関節障害を診断するために使用されてもよい。例えば、生成された関節画像において、医師は、ズームし、関節の内側の流体を視認可能であり得る。医師は、関節痛と診断し得る。例えば、医師は、流体サンプルを採取してもよく、これは、流体中のバクテリアを露見させ得る(関節痛が感染症に起因し得ることを示す)。いくつかの実施形態では、ディスプレイシステムは、画像および/または画像との医師の相互作用に基づいて、流体サンプルが採取されることを推奨するように構成されてもよい。
上記に説明されるように、ディスプレイシステムは、CT、MRI、PET、超音波、またはそのような結像モダリティの組み合わせ(例えば、MRIおよびPET、CTおよびPET、MRIおよび超音波、および/または任意の他の好適な組み合わせ)等の患者走査モダリティと組み合わせられ、種々の3D仮想画像を生成してもよい。ディスプレイデバイスを伴わない状況では、医師は、これまで、2D画像を視認し、真の3D画像をその想像上に「構築」していた。本明細書に説明されるディスプレイシステムは、有利には、患者の解剖学的構造のように見える、または患者の実際の解剖学的構造のレンダリングである、3D画像をレンダリングするように構成されてもよい。これらの3D画像は、医学的状態を診断するために、かつ学生が異なる視点からのこれらの2D画像をその頭の中で3Dモデルにレンダリングすることが困難であり得る、教育目的のために有益であり得る。
いくつかの実施形態では、ディスプレイシステムは、人工知能を含み、患者走査モダリティから生成された画像を分析してもよい。このように、とりわけ、癌、糖尿病、または鬱血性心不全等の疾患が、例えば、機械学習技術を使用して、早期に診断され得る。いくつかの実施形態では、ディスプレイシステムは、母集団標準が識別された母集団の1つまたはそれを上回るデータベースをダウンロードする、またはそれにアクセスすることができる。母集団標準は、画像と比較され、例えば、病気の診断、症状の分析、および/または治療薬の処方を補助することができる。
3D仮想画像操作および相互作用
前述のように、ディスプレイシステムは、例えば、複数の深度平面および導波管スタックを使用して、3次元画像を表示してもよい。これは、ユーザに、適切な遠近調節および輻輳・開散運動を用いて、眼からの種々の距離にあるかのようにレンダリングされるオブジェクトの画像に合焦する能力を与え得る。
いくつかの実施形態では、ユーザは、遠隔装置または指を使用して、ディスプレイフィールド内の仮想コンテンツを操作する必要がない。代わりに、上記に説明されるように、ディスプレイデバイスは、眼移動、周囲眼組織を追跡する、瞳孔を追跡する、および同等物が可能な1つまたはそれを上回る内向きに面したカメラを含んでもよい。いくつかの実施形態では、ディスプレイシステムは、網膜カメラを含み、ユーザ入力を検出する。瞳孔がオブジェクトに合焦したままである時間は、ユーザの着目レベルとして解釈されることができる。いくつかの実施形態では、眼追跡技術は、ユーザが、眼の視線、眼を細めること、および/または1回またはそれを上回る瞬目を用いて、ならびに/もしくは他の方法において、仮想コンテンツを操作することを可能にすることができる。ある実施形態では、ディスプレイデバイスは、遠近調節および/または輻輳・開散運動における変動を検出することができる。本情報は、ユーザが画像を視認することに苦労していることを識別するために使用されることができる。いくつかの構成では、ディスプレイデバイスは、本情報を使用して、画像の一部を選択し、増強させる(例えば、拡大する)ことができる。マイクロホンおよび/またはスピーカ入力も、仮想コンテンツを操作するために使用されることができる。
様々な3D視覚的操作が、可能性として考えられ、そのような操作は、多くの用途を有する。例えば、いくつかの実施形態では、ユーザは、仮想解剖学的画像をセグメント化し(例えば、白質または腫瘍の周囲に輪郭を描く)、身体部分を抽出し、身体部分の一部を抽出し、組織層を選択し、走査内のある解剖学的構造に合焦させ(例えば、骨のみを示し、軟質組織を示さない)、ズームし、平行移動させ、回転させ、および/または再位置付けし、それを修正し、および/またはそれを精密に検査することが可能であり得る。いくつかの実施形態は、医療結像結果から集められた情報を使用して、異なる組織タイプをカテゴリ化および/またはセグメント化することができる。例えば、種々のインスタンスでは、画像のグレースケールの類似値は、類似組織タイプを示す。故に、同一組織タイプを備えるエリアは、識別されることができる。いくつかの構成では、例えば、k平均法クラスタリングが、ある組織または共通特徴を共有する組織を識別、ハイライト、および/またはセグメントするために使用されることができる。例えば、いくつかの実施形態は、ユーザが、組織の選択されたセクションを「オフ」にする(例えば、暗くする)ことを可能にする。例えば、血液および血管のみが示されることが所望される場合、他の組織およびセクションは、表示される必要はない。これ等の仮想画像操作は、例えば、脊柱外科手術の場合、特に有益であり得、本明細書に説明される画像操作は、ユーザが、切開およびその器具の軌道を正確に計画することを可能にし得る。別の実施例として、ユーザは、心臓の仮想画像を回転させ、閉塞された動脈がより良好に見え得る。ユーザは、その好みに合わせて、心臓の画像を拡大または移動させてもよい。MRI、CT、PET結像モダリティを使用して、いくつかの実施形態では、ディスプレイシステムは、迅速、効率的、かつ低侵襲的視覚的参照のために、異常の場所(例えば、閉塞された動脈の場所)を仮想3D画像内に表示するように構成されてもよく、これは、有利には、より高速の手技および医師がより多くの情報を持つことにつながり得る。3D視覚的操作の使用はまた、例えば、他の医療用途の中でもとりわけ、ステント留置、除去のための腫瘍の位置特定、生検サンプルの採取のために有益であり得る。
いくつかの実施形態では、3D視覚的操作特徴は、並置された3Dおよび2D画像の一部を画面上で操作することによって(例えば、横並、重畳等)、埋込計画のために使用されてもよい。正確な2Dおよび3D画像は、有利には、ユーザが、特に、脊柱のような重要なエリアにおいて、インプラントをより安全に位置付けることを可能にし得る。別の実施例として、3D視覚的操作特徴は、より正確な整形外科的インプラント留置および計画を可能にし得る。例えば、患者の腰/膝/脚の、医療結像の規格である、医用におけるデジタル画像と通信(DICOM)に基づく、画像セットの3Dレンダリングおよび/または操作が、参照され、2D CT画像を用いた計画と比較して、脚長、オフセット、および使用されるべき寛骨臼カップのバージョンをより良好に計画し、腰に埋め込まれるための人工コンポーネントをより正確に選択し得る。ディスプレイシステムは、有利には、ユーザが、その術前計画を3Dで見て、より詳しい情報が与えられた状態に保つことを可能にし得る。前述はまた、インプラント除去計画ならびに他の医療手技に適用されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザインターフェースを含んでもよい。例えば、いくつかの実施形態では、ユーザインターフェースは、メニューのように使用され、インプラントサイズ、位置、傾斜、バージョン、回転、平行移動、留置方略、および/または同等物を調節することができる。
前述のように、ディスプレイシステムは、血液循環を含む、医学的状態、解剖学的および生理学的移動、および/または身体の内側の相互作用をリアルタイムで(および/または後処理を介して)診断するために使用されてもよい。実施例として、糖尿病合併症は、多くの場合、神経損傷および血液循環不良を含む。これらの問題は、迅速に悪化し、処置することが困難になり得る、皮膚潰瘍を足に被らせ得る。非治癒潰瘍は、爪先、足、または脚の一部の切断を要求し得る。慎重な足の治療が、概して、したがって、潰瘍を防止するために重要である。本明細書に説明されるディスプレイシステムは、センサまたは結像システム(例えば、超音波結像)を含むことができ、データを評価するための処理電子機器は、循環を監視し、ユーザが、潰瘍形成前または後に、循環不良をタイムリーに識別することを可能にするように構成されてもよい。例えば、ディスプレイシステムは、患者内の血流集中のためのMRI走査および/または血液のリアルタイム血流のための超音波に依拠することができる。いくつかの実施形態では、ディスプレイシステムを使用した循環不良の早期検出は、有利には、医師が、医療循環関連合併症が発症する(例えば、糖尿病または喫煙から)前に、循環増強補助剤を処方することを可能にし得る。
画像スライシング
上記に説明されるように、ディスプレイシステムは、ユーザが、種々の患者走査モダリティ(例えば、MRI、CT、PET等)のスライスを通してナビゲートし、各スライスが明確に見え得るように、画像を1つまたはそれを上回る深度平面として提供するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、ユーザが、画像に適切に合焦し、それによって、疲労および/または眼精疲労を低減させることを可能にする、深度平面を用いて構成されてもよい、および/またはそれを使用するように構成されてもよい。異なる深度平面から生じるかのように異なる深度と関連付けられた異なる画像コンテンツの提示は、適切な遠近調節および輻輳・開散運動を助長し、それによって、眼精疲労および/または疲労を低減させることができる。付加的利点は、ユーザが、可能性として、患者走査の各スライスまたは少なくとも複数のスライスを通して「スライス毎」に通過させることによって、画像を操作可能であり得ることである。ユーザは、例えば、別個のスライスを、異なる時間、可能性として、異なる深度平面および/またはスライス角度において視認してもよい。ユーザは、スライスを順序通りまたは順序から外れて視認してもよい。いくつかの実施形態では、1つを上回る患者走査が、ディスプレイシステムに提示されることができる。ユーザは、1つまたはそれを上回る患者走査の種々のスライスを通して、ナビゲートおよびトグル可能であり得る。ユーザは、ある場合には、ユーザが3D画像の2Dスライスを通してスクロールすることが可能な3D画像を提示されてもよい。本特徴は、例えば、より正確なインプラントの位置付けを可能にし得る。本「スライス毎」アプローチは、例えば、複数の組織層を横断して腫瘍を視認する際、または種々の脳異常を視認するために有益であり得るが、任意の好適な用途が、理解される。
患者上方の画像ディスプレイ
いくつかの実施形態では、ディスプレイシステムは、2Dおよび/または3D画像を患者の解剖学的構造の上方に表示してもよい。例えば、図12Bを参照されたい。いくつかの実施形態では、2Dおよび/または3D仮想画像は、世界(例えば、環境、不動患者等)を根拠としてもよい。仮想画像を患者の適切な解剖学的構造部位の上方に表示するために、ディスプレイシステム上の1つまたはそれを上回る外向きに面したカメラが、患者の解剖学的構造の種々の側面を結像するように構成されてもよく、処理電子機器が、画像処理を用いて、それを認識するように構成されてもよい。例えば、ディスプレイシステムは、上記に説明される結像モダリティ(例えば、CT、PET、MRI等)のうちの1つまたはそれを上回るものの補助の有無にかかわらず、種々の系(例えば、循環系、大脳辺縁系、神経系システム)、器官(例えば、肝臓、胃、心臓、肺、脳、胆嚢、膵臓、盲腸、腎臓等)、四肢(例えば、腕、脚)、組織(例えば、骨、筋肉、脂肪等)、または任意の他の好適な解剖学的特徴もしくは属性を識別可能であり得る。いくつかの実施形態では、ディスプレイシステムは、各身体部分、器官等が位置する場所を把握し、解剖学的構造、環境等に従って、仮想画像を正確に設置するように構成されてもよい。例えば、いくつかの実施形態では、ディスプレイシステムは、縁検出(例えば、1つまたはそれを上回るカメラまたは結像デバイスおよび/または処理電子機器のうちの1つまたはそれを上回るものと統合される)を含み、仮想画像を患者に対して(例えば、器官または関連する解剖学的構造の上方に)正しく位置付けてもよい。いくつかの実施形態では、1人またはそれを上回るユーザが、仮想画像をその視点の仮想画像に対して(例えば、各ユーザが立っている/画像を視認している場所から)視認してもよい。
いくつかの実施形態では、2Dおよび/または3D画像は、上記に説明されるように、操作されてもよい。例えば、外科医は、外科手術(または任意の他の手技)の間、画像を操作し、より良好な可視化を提供可能であり得る。いくつかの実施例として、画像は、医師が、外科手術に先立って、および/または外科手術の間、仮想画像を回転させ、動脈内の閉塞または脊椎円板への損傷をより良好に見ることを可能にするように構成されてもよい。
いくつかの実施形態では、上記に説明されるように、ユーザは、別個のコンピュータ画面を見る必要なく、かつ手ジェスチャまたは遠隔制御を使用する必要なく、2Dおよび/または3D画像を操作してもよい。これは、特に、手技の間の滅菌性が重要である場合、外科医にとって有益であり得る。例えば、いくつかの実施形態では、ディスプレイシステムは、ユーザが、その眼または口頭(例えば、音声)通信を使用して、例えば、仮想画像上の照明、仮想画像と環境との間のコントラスト、画像の配向、画像のサイズ、または任意の他の好適な特徴を含む、仮想画像の種々の特徴を調節することを可能にするように構成されてもよい。いくつかの実施形態では、1人またはそれを上回るユーザが、同時に、同一画像を視認および操作してもよい。ある場合には、1人のユーザが、仮想画像を操作する場合、他の視認者には、その仮想画像が操作された通りに見える。ある場合には、しかしながら、異なるユーザは、他の視認者の仮想画像のビューに影響を及ぼさずに、独立して、仮想画像を操作することができる。
いくつかの実施形態では、例えば、乳房、前立腺、および心臓等の軟組織器官の画像は、患者の上方で視認および操作され、ユーザが、付随し得る手技を可視化し、および/または他の器官、腫瘍場所、正しい解剖学的構造等との空間関係等の重要な情報を提供することに役立ち得る。別の実施例として、破損または断裂椎骨の1つまたはそれを上回る画像が、患者の解剖学的構造の上方で視認および操作され、脊柱損傷に関連するより正確な測定および診断を可能にし得るが、任意のタイプの骨破損/断裂が、理解される。例えば、距離および角度の測定が、取得されてもよい。有利には、ディスプレイシステムは、ユーザが、破損骨を理論的に再整合させ、画像を実際の解剖学的構造にわたって重畳させ、手技および/または予期される外科手術転帰をシミュレートすることを可能にするように構成されてもよい。例えば、脊柱外科医は、外科手術を開始する前またはその後の任意の時間に、その標的転帰をその患者の破損椎骨にわたって重畳させることが可能であり得る。別の実施例として、美容整形手術を検討している患者は、その新しい見た目を「試す」手段として、拡張をその実際の解剖学的構造にわたって重畳させ得る。いくつかの実施形態では、仮想コンテンツはまた、ユーザがメニューを使用して仮想コンテンツ(例えば、サイズ、位置、形状等)を操作し得る、メニューから成ってもよい。いくつかの実施形態では、本特徴は、ユーザが、手術し得る椎骨を見ることを可能にし得る。破損または断裂骨に関して、例えば、X線、MRI等の好適な結像モダリティからの画像および処理電子機器を介した好適な画像処理を提供して、ディスプレイシステムは、画像から、骨を検出し、次いで、異常を検出し、測定を取得してもよい。ディスプレイシステムはまた、シミュレートされた正しい骨整合(術前計画を用いて)を患者の解剖学的構造にわたって投影し、ユーザが破損を修復することを補助するように構成されてもよい。別の実施例として、ディスプレイシステムは、ユーザが、骨セメントが1つまたはそれを上回る椎骨の中に注入される、断裂椎骨のための疼痛軽減手技である、椎骨形成術を行うことを補助するために使用されてもよい。ディスプレイシステムの結像は、有利には、椎骨内へのより精密なセメント留置を可能にし得る。
患者にわたる拡張および/または仮想コンテンツの表示は、画像の組み合わせ(例えば、患者走査の組み合わせ)として表示されてもよい。例えば、いくつかの実施形態は、医療画像と異なる診断モダリティを整合させ(例えば、画像間位置合わせ)、組み合わせられた情報をユーザに提供するように構成されてもよい。いくつかのインスタンスでは、MRI、CT、PET、単一光子放射断層撮影(SPECT)、磁気共鳴血管画像(MRA)、コンピュータ断層血管造影法(CTA)等からの1つまたはそれを上回る画像は、組み合わせられてもよい(例えば、重畳される)。一実施例として、MRIおよびPET画像は、1つの画像内にオーバーレイされた解剖学的情報および代謝活性を表示してもよい。そのような組み合わせられた情報は、ユーザが、異常をより迅速かつ正確に診断することを補助することができる。種々の実施形態は、アルゴリズムを含み、複数の結像モダリティをユーザが視認するための組み合わせられた仮想視覚的画像の中に調和させ、いくつかのインスタンスでは、操作することができる。いくつかの実施形態では、組み合わせられた画像はまた、本明細書に説明されるように、患者の実際の解剖学的構造と整合されることができる。
いくつかの実施形態では、ディスプレイシステムは、ユーザが画面と外科手術部位との間を往復して見る必要がないように、仮想画像を患者のユーザの視野内に人間工学的に投影してもよい(例えば、画像ナビゲーションのため、または患者目印を求め、患者の実際の解剖学的構造に位置合わせするため)。例えば、画像は、患者の解剖学的構造の直上に投影され、図12Bに示されるように、手技の容易性および効率を増加させてもよい。これは、治療奉仕者(例えば、医師)が、より多くの注意および時間を患者に向けることを可能にすることができる。他の実施形態では、画像は、患者の解剖学的構造(例えば、実際の患者の解剖学的構造上の位置合わせ点表示)上に投影されてもよく、したがって、医師は、解剖学的構造をプローブ/位置合わせすべき箇所を把握する。
いくつかの実施形態では、ディスプレイシステムは、ユーザが、手動全膝置換を行うことを補助するように構成されてもよく、これは、例えば、大腿部における5箇所の切断と、脛骨における1箇所の切断とを含み得る。大腿部における5箇所の切断のために、残りの4箇所の切断は、最初の切断に基づいてもよい。本理由から、最初の切断のために、切断ブロックを正確に位置付けることが、重要であり得る。ディスプレイシステムは、有利には、リアルタイム位置付け補助を提供し、術前計画に従って、手動切除ブロックを位置付けてもよい。種々の実施形態は、ディスプレイシステムが膝の解剖学的構造を認識するように構成され得るため、仮想コンテンツの位置付けを補助するために使用されてもよい。いくつかの実施形態はまた、切断ブロックの位置付けのために使用されてもよい。例えば、いくつかの実施形態では、切断ガイドラインは、膝に対するユーザの位置が非関連であるように、世界(例えば、膝)を根拠としてもよい。いくつかの実施形態では、仮想コンテンツは、基準点(例えば、膝)から投影されてもよい。縁検出または他の画像処理技法も、例えば、ディスプレイシステムが適切な設置のために患者の骨の縁を認識し得るように、使用されてもよい。縁検出の別の実施例は、外科手術ツール先端(例えば、メス、ドリル先端等)の縁を認識するデバイスに適用されてもよい。
いくつかの実施形態は、有利には、仮想コンテンツを関連解剖学的特徴等の患者の解剖学的構造の上方に表示し(例えば、オブジェクト/解剖学的構造を認識することによって)、切開ガイドラインを、ユーザではなく、患者を根拠としてもよい。いくつかの実施形態では、切開ガイドラインは、より精密な切開のために、患者にわたって投影されてもよく、これは、回復時間を短縮させ得る。例えば、いくつかの実施形態では、仮想画像コンテンツは、患者の解剖学的構造の1つまたはそれを上回る部分の上方に表示される、もしくはその上に重畳され、切断すべき場所を示してもよく、異なる切断のためのラベル(例えば、5mmポート、5mmアシスタントポート、10mmカメラポート等)を含んでもよい。他の用途もまた、可能性として考えられる。
リアルタイム仮想結像およびディスプレイ
ディスプレイシステムの種々の実施形態は、ユーザに、実オブジェクトのリアルタイム3D画像を提供することができる。前述のように、画像のための信号は、外向きに面したビデオカメラ、および/または電磁波または音波等の他のエネルギー源を利用して、ヒト身体の一部等の標的をプローブする、器具もしくはセンサから受信されてもよい。いくつかの実施形態では、ディスプレイシステムは、超音速または超音波情報に基づいて、オブジェクトの画像を提示してもよい。例えば、図10Bを参照されたい。超音波を生成する超音波源は、それらの超音波を結像されるべきオブジェクト上に指向するために配置されてもよい。超音波に敏感な変換器は、オブジェクトに指向された後、受信された超音波を検出および測定してもよい。本オブジェクトは、患者であってもよく、これらの超音波は、ヒト身体の解剖学的構造および/または生理学を結像するために採用されてもよい。例えば、いくつかの実施形態では、ディスプレイデバイスは、超音波技術を使用して、人物の血管を通る血流を感知することができる。ディスプレイデバイスは、したがって、人物の血流を結像するように構成されてもよい。その結果、ディスプレイは、潜在的に、ユーザが、人物に物理的に接触せずに、個人の脈を見るおよび/または測定することを可能にし得る。前述のように、ディスプレイデバイスは、3Dであるようにユーザに現れる、画像を提示するように構成されてもよい。本画像は、ある場合には、リアルタイム画像であってもよく、および/または患者上にオーバーレイされて現れてもよい。加えて、前述のように、ユーザは、潜在的に、画像を操作し、例えば、レンダリングされる画像の所望のビューを選択することができる。
前述のように、ディスプレイデバイスは、オブジェクトの複数の画像および/または走査(例えば、X線画像、CT、PET、またはMRI走査等)からのデータを組み合わせ、オブジェクトの3D画像をレンダリングすることができる。ある場合には、3D画像は、同一結像モダリティ内の複数の画像から、または同一タイプの走査(例えば、超音波またはX線)から取得されるデータから作成される。いくつかのインスタンスでは、複数のモダリティからの情報(例えば、超音波に加え、MRI走査データ)が、組み合わせられ、3D画像をレンダリングすることができる。前述のように、ディスプレイデバイスは、ユーザの視野内のオブジェクトまたは複数のオブジェクトのタイプを検出するように構成されてもよい。いくつかの実施形態では、ディスプレイデバイスは、ユーザの所望または必要性に好適であろう、画像モダリティを判定することができる。例えば、医療手技の間、頸部を結像するとき、ディスプレイデバイスは、3Dリアルタイム画像をユーザに提供することが外科手術の間の使用のための最良モダリティであることを自動的に検出するように構成されてもよい。ディスプレイシステムはまた、超音波、X線、MRI等を使用して、ユーザの視野(例えば、中心視野)内の特定の解剖学的特徴を結像すべきかどうか等、モダリティを選択するように構成されてもよい。画像モダリティは、ある設計のために、自動的におよび/または事前に判定されることができる。本画像は、ある場合には、リアルタイム画像であってもよい。いくつかの実施形態では、ディスプレイデバイスは、前の結像モダリティ(例えば、MRI)に基づいて、オブジェクトの3Dレンダリングを構築してもよく、新しいデータ(例えば、超音波)に基づいて、3Dレンダリングをリアルタイムで更新することができる。X線もまた、例えば、血管造影法およびステント留置等において、リアルタイムで使用されることができる。
上記に説明されるように、ディスプレイデバイスは、特定のオブジェクトの画像が表す、身体部分を自動的に判定するように構成されてもよい。例えば、ディスプレイデバイスは、異なる器官、骨、または他の解剖学的部分を判別可能であることができる。別の実施例として、ディスプレイデバイスは、癌組織と健康組織を判別可能であることができる。いくつかの実施形態では、ディスプレイデバイスは、固有の品質(例えば、組織密度、吸収率、減衰)および結像の間の得られた影響(例えば、画像のグレースケール)に基づいて、近隣組織の境界を判別することができる。別の実施例として、ディスプレイデバイスは、破損骨、腫瘍、および/またはポリープ等の身体中の異常を判別可能であることができる。
いくつかの実施形態では、ディスプレイデバイスは、オブジェクトに追加またはそこから除去された物質量を検出および測定することができる。例えば、いくつかの実施形態では、ディスプレイデバイスは、外科手術の間に除去された癌組織の量を自動的に確認することができ(例えば、切断ツールの角度および/または軌道に基づいて)、除去されるべき残っている癌性組織の量を判定することができる。ある実施形態では、ディスプレイデバイスは、手技が不完全である場合(例えば、全ての癌組織が除去されていない場合)、フィードバック(例えば、視覚的、聴覚的等)をユーザに提供することができる。
ディスプレイデバイスは、種々の外部デバイスと連動するように構成されることができる。いくつかの実施形態では、ディスプレイデバイスは、データを外部デバイスから受信し、それをユーザに表示することができる。例えば、いくつかの実施形態では、医師は、癌性ポリープのために、内視鏡を使用して、鼻腔を視認してもよい。この場合、ディスプレイデバイスは、結像データを内視鏡から受信し、内視鏡画像をユーザのためにディスプレイ上にレンダリングし、および/または内視鏡の位置を追跡する(例えば、内視鏡に取り付けられる6DOFデバイスを使用して)ように構成されることができる。いくつかの実施形態では、画像は、他のタスクを実施(例えば、医療手術を実施)しながら、オーバーレイされた画像を見ることの困難を低減または最小限にするように、ディスプレイ上の便宜的場所に投影されることができる。ディスプレイデバイスは、リアルタイム画像をレンダリングし、および/または鼻腔ポリープを除去するための手技が進行するにつれて、更新を医師に提供し得る。別の実施例では、ディスプレイデバイスのある実施形態は、患者の血管系の一部を結像することができる。そのような結像は、ディスプレイデバイスを通して、ユーザの患者のビューにわたる重畳として、リアルタイムで表示され得る。本リアルタイム画像は、外科手術部位または患者の身体の関連部分に対して(例えば、それに隣接して)並置されてもよい。これは、例えば、手技(例えば、ある投薬量の薬物の送達、外科手術ナビゲーション等)を実施する際、ユーザを補助し得る。類似実施例では、妊婦の腹部または中央部の上方の胎児の超音波画像が、医療従事者のディスプレイによって、眼の中に投影され、超音波のリアルタイム3D画像を提供することができる。前述のように、いくつかの実施形態では、ユーザは、例えば、本明細書に説明されるように、眼移動、表情、指移動、または他の信号を使用したコマンドを用いて、オーバーレイされた画像を操作することができる。ある場合には、ユーザは、任意の軸(またはそれらの組み合わせ)を中心として回転させる、またはそれに沿って平行移動させることによって、オブジェクトを操作することができる。したがって、いくつかの実施形態では、ユーザは、6自由度を使用して、画像を操作することができる。
仮想コンテンツの共有
ある実施形態では、ディスプレイデバイスによって受信された情報は、そのようなデバイスの他のユーザまたは非ユーザに伝送されることができる。いくつかの実施形態では、ディスプレイデバイスは、オブジェクトの画像(例えば、ディスプレイデバイス上の外向きに面したカメラまたは他のセンサもしくは結像システムを使用して)をレンダリングし、本画像を複数のユーザに同時に提供することができる。ある場合には、画像は、例えば、X線、MRI、CT技術から集められたもののような2D走査からコンパイルされた3D画像であってもよい。いくつかの実施形態では、各ディスプレイデバイスは、各ユーザがオブジェクトをオブジェクトに対して異なる位置から視認しているかのように、同一オブジェクトの画像を各ユーザに提示することができる。例えば、医師のグループは、画像がピクセルスティックを介して地面を根拠とされるであろうため、立っている場所からの視点から、そのデバイスのそれぞれにおいて、患者走査の仮想画像、解剖学的構造等を視認することができる。これは、複数の意見、教育/訓練補助、専門家助言、外科手術計画等を有することによって、診断を補助するであろう。いくつかの構成では、ユーザは、オブジェクトを視認している場所から、仮想場所をオブジェクトに対して選択することができる。例えば、ユーザは、ユーザが外科手術のために存在していない場合でも、手術を実施している外科医の直接背後またはその近傍からであるように、外科手術を視認し得る。さらに、そのような実施形態では、ユーザの仮想場所は、異なる視認角度を達成するように、ユーザの方向に変化され得る。種々の実施形態では、したがって、頭部搭載型ディスプレイは、相互に通信する、または他のコンポーネントを含む場合とそうではない場合がある、ネットワークに接続されてもよい。ユーザのディスプレイデバイスから取得される画像ならびに他の情報は、非ユーザにも同様に電子的に伝送され得る。例えば、1つまたはそれを上回る頭部搭載型ディスプレイ上に搭載される1つまたはそれを上回るカメラは、環境内のオブジェクトおよび場所のデータベースを構築するように、環境(例えば、手術室)を結像し、環境内のオブジェクト(手術台、器具、患者、周囲の人々等)の場所に関する情報を集めることができる(可能性として、測距計または距離測定システムを使用して)。例えば、頭部搭載型ディスプレイデバイスの既知の位置(例えば、GPSを使用して)およびオブジェクトから頭部搭載型ディスプレイまでの距離を用いて、3D空間(例えば、x、y、z座標)内のオブジェクトの場所が、把握され、データベース内に記憶されることができる。異なる頭部搭載型デバイスは、疎点のマップを送信し、環境の3Dマップを構築することができる。データベースは、環境内でより多くの時間が費やされるほど成長する。ある場合には、縁検出は、オブジェクト、例えば、手術台、器具トレイ、機器、または患者を判定することができる。
種々のインスタンスでは、ディスプレイデバイスは、空間関係を割り当てる、および/または計算するための参照点を実世界内に設定することができる。例えば、ディスプレイデバイスは、手術室内の着目点(例えば、患者の胸部または膝)を識別し、着目点に関連して、ある構成において、測定を判定可能であり得る。そのオブジェクト(例えば、膝インプラントの3Dグラフィックレンダリング)と関連付けられた画像コンテンツは、同様に手術室内のユーザおよび他のオブジェクトに対するそのオブジェクトの位置を把握して提示されることができる。そのような画像コンテンツは、参照点またはオブジェクトに対して固定されることができる。例えば、膝インプラントの3Dグラフィックは、膝が移動される場合でも、膝の上方に固定されることができる。また、そのような頭部搭載型ディスプレイを装着する異なる視認者にもまた、参照点(例えば、膝)に対して固定される画像コンテンツ(例えば、3Dグラフィック)が見えるが、異なる視認者が、異なる場所に位置し、および/または異なるように配向されるため、異なる視点からの3D画像コンテンツであり得る、画像コンテンツが見える。また、図12Bと、心臓のグラフィックが、患者の上方の具体的場所の上方に固定され、ある場合には、患者が移動する場合、患者とともに移動し得る、患者の上方に配置される心臓のグラフィックとを参照されたい。前述のように、場所のデータベースを組み立てるために、ディスプレイデバイスのいくつかの実施形態は、信号を放出し(例えば、疎点マッピングにおけるように)、実世界内の空間位置および/または移動に関するデータを取得することができる。事実上、頭部搭載型ディスプレイデバイスは、環境内のオブジェクトを結像し、その場所をデータベース内に記録することができ、場所(例えば、患者の膝または胸部)のそのデータベース内の場所は、1つまたはそれを上回る表示される画像の場所および配向が基準のフレームに対するその選択された視点/場所に基づいて判定される、基準のフレームとして使用されることができる。オブジェクトに対して異なる場所、故に、視点を伴う、異なるユーザにはまた、その場所に応じて、異なる画像コンテンツまたはそのビューが見える。
同様に、いくつかの実施形態では、複数のユーザが、共通仮想オブジェクトを操作し得る。例えば、いくつかの実施形態では、他の仮想ユーザとともに外科手術を視認するユーザは、オブジェクトの特定の着目領域を示し得る(例えば、ハイライト、拡大することによって)。そのようなインジケーションは、同時におよび/または自動的に、他のユーザの各ディスプレイ上にも表示され得る。このように、1人のユーザは、有利には、他のユーザとの視覚的信号を通して、精密なオブジェクトについて通信し得る。いくつかの実施形態では、ユーザは、回転または平行移動等によって、表示されるオブジェクトを操作してもよい。そのような操作は、他のユーザのディスプレイ上に表示され、したがって、2人またはそれを上回るユーザが、3Dであるように現れる、結像されるオブジェクトについて議論する、方法を容易にし得る。同様に、ディスプレイデバイスは、ユーザが、音声チャット、テキストによって等、他の媒体を使用して、または別様に、通信することを可能にするように構成されることができる。いくつかの実施形態では、ディスプレイデバイスは、手技(例えば、外科手術)を実施するとき、ユーザが行なっている段階を検出するように構成され得る。例えば、ある実施形態は、医師の次に生じるであろう外科手術における段階を検出し得、今後の段階を手術室内の他のユーザに表示し得る。同様に、ディスプレイデバイスは、外科手術の特定の段階を通して医師を補助するために、コンテンツ(例えば、ビデオ、オーディオ、画像、テキスト等)を提示し得る。
画像下治療
ある実施形態では、ディスプレイデバイスは、医療従事者が、画像下治療用の画像を視認および解釈することを補助することができる。例えば、いくつかの実施形態では、デバイスは、1つまたはそれを上回る結像モダリティ(例えば、CT、X線、MRI等)を使用して、手技の前または間、画像をディスプレイ上にレンダリングするように構成されることができる。種々の方法(例えば、機械学習、手動アルゴリズム)を使用して、いくつかの実施形態では、ディスプレイデバイスは、非健康または異常走査または画像と比較して、正常または健康患者、組織、器官、解剖学的構造等の走査または画像を適切に識別するように訓練されることができる。故に、種々の実施形態では、ディスプレイデバイスは、患者画像(例えば、走査)が異常であるかどうかを自動的に判定し、潜在的に、画像の医療および/または病理学的有意性を判定し、そこから結論または診断を引き出すことができる。例えば、ある実施形態では、デバイスは、断裂骨、腫瘍等の脳走査内の異常、およびX線に基づく余剰歯、または画像に基づく腫瘍増殖の場所を認識することができる。
いくつかの実施形態では、ディスプレイデバイスは、表面上(例えば、毛髪、膝の縁等の場所)および/または皮膚下(例えば、骨、器官、または血管)の身体部分の縁を検出することができる。ディスプレイデバイスは、外科手術を実施しながら、身体部分の画像をユーザのディスプレイ上にレンダリング可能であり得る。ユーザは、仮想マーカ(例えば、基準マーカ)をオブジェクトの画像にわたって設置し、例えば、放射処置を受けるべき部分、外科手術切断のための場所等を示すことが可能であり得る。ユーザ(例えば、医師)は、仮想マーカの場所を判定してもよいが、ディスプレイシステムのある実施形態は、基準マーカを識別および/または設置することができる。頭部搭載型ディスプレイデバイスと関連付けられた処理電子機器は、パターン認識を使用して、構造の場所および基準マーカを設置すべき場所を識別することができる。さらなる実施例として、ディスプレイデバイスは、造影剤が患者の中に注入され、MRIまたはX線を用いて走査された後、血管内の閉塞物の3D画像をディスプレイ上にレンダリングすることができる。前述のように、ディスプレイシステムは、閉塞物の異なる部分と関連付けられた複数の深度を表示する(例えば、異なるスライスとして)。スライスとしての3D画像の提示は、医師が正確な術前決定を行うことを補助することができる。そのような画像はまた、外科手術後、外科手術およびその後の患者の進行度を評価するために有用であって、後続保険医療決定を行うために使用されてもよい。
故に、ディスプレイデバイスは、オブジェクトの3D画像をレンダリングすることによって、種々の医療手技の前、間、および/または後に、ユーザ(例えば、医師、看護師、技術者、学生)を補助することができる。ある場合には、そのような画像は、患者に対して並置される、例えば、外科手術または処置部位もしくは診断試験が行われている場所の近傍の場所に隣接して、またはその上に重畳されてもよい。いくつかの実施形態では、本レンダリングは、複数のタイプの走査(例えば、超音波に加え、MRI)からの情報に基づき、手技の間、リアルタイムで提供されることができる。1つの用途は、肺動静脈奇形または血管異常(例えば、脳内)のためのものである。別の用途は、バルーンが、動脈または血管の狭窄/詰まりを取り除くために、血管内に挿入および膨張される、バルーン血管形成術を可視化するためのものである。別の用途は、ステントが、挿入され、閉塞されている導管を開放し、胆汁を肝臓から排出することを可能にする、胆管ドレナージおよびステント留置のためのものである。別の実施例は、内出血の場合であって、その場合、デバイスは、内出血のエリアを位置特定し、および/またはユーザが、ゲル、発泡体、またはコイル等の凝固物質を挿入することを補助するように構成され得る。別の用途は、抗癌剤が直接癌腫瘍の部位に送達される、化学塞栓術のためのものである。ディスプレイデバイスはまた、患者内の適切な場所における胃瘻管の挿入(または挿入の仮想練習)において有用であり得る。
ディスプレイデバイスはまた、ユーザが他の手技を実施または準備することを補助し得る。1つのそのような用途は、血管形成術または血栓溶解が、腎不全の際、閉塞されたグラフトを開放するために使用される、血液透析アクセスを維持することである。別の用途は、放射エネルギーが、癌性腫瘍を蒸解および死滅させるために使用される、高周波アブレーションである。別の用途は、カテーテルが、ステントを位置付け、詰まった血管または他の通路を開放する、ステントの留置である。別の用途は、医師が、人工チャネルを流入門脈と流出肝静脈との間の肝臓内に留置する、救命手技である、経頸静脈的肝内門脈大循環短絡術(TIPS)である。さらなる実施例として、デバイスは、ユーザが、医師が筋腫に供給する血液を遮断し、したがって、筋腫を収縮および死滅させる、子宮筋腫閉塞を行うことを支援し得る。本手技では、医師は、カテーテルを大腿動脈内に留置し、造影剤をカテーテルの中に注入し、カテーテルを動脈を通して誘導し、血液を筋腫に供給している動脈を見出す。同様に、デバイスは、有利には、医療手技に備えて、その間、または後、改善された可視化のために、3D画像のビューを提供することができる。
コンピュータビジョンおよびオブジェクト検出
オブジェクトは、種々の技法を使用して検出されることができる。例えば、オブジェクトは、コンピュータビジョン技法を使用して検出されることができる。例えば、ディスプレイデバイスは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。1つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
これらのコンピュータビジョン技法のうちの1つまたはそれを上回るものはまた、他の環境センサ(例えば、マイクロホン、温度センサ、光センサ、タイミングデバイス、物理的接触センサ等)から入手されたデータとともに、オブジェクトの存在を検出するために使用されることができる。
オブジェクトは、1つまたはそれを上回る基準に基づいて検出されてもよい。これらの基準は、ユーザ(または別の人物)によって定義されてもよい。例えば、ユーザは、ユーザの環境(例えば、手術室)内の心臓モニタを可能性として考えられる着目オブジェクトとして設定してもよい。ユーザは、心臓モニタの信号がある値未満になる際または心臓モニタがビープ音を発するときの基準を定義してもよい。したがって、デバイスが、コンピュータビジョンアルゴリズムを使用して、および/または1つまたはそれを上回る環境センサから受信されたデータを使用して、心臓モニタが基準を満たすことを検出すると、デバイスは、次いで、心臓モニタの存在(例えば、アラートとしてのアイコン)を信号伝達する、および/または自動的に、心臓モニタの増強されたビュー(例えば、心臓モニタの拡大された画像)を提供することができる。
図13Aは、複合現実(「MR」)環境700の実施例のブロック図である。MR環境700は、入力(例えば、ユーザのウェアラブルシステムからの視覚的入力702、手術室カメラ等の定常入力704、種々のセンサからの感覚入力706、ジェスチャ、トーテム、眼追跡、ユーザ入力デバイス504からのユーザ入力等)を1つまたはそれを上回るユーザウェアラブルシステム(例えば、ウェアラブルシステム80またはディスプレイシステム62)または定常手術室システム(例えば、手術室カメラ等)から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ(例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、GPSセンサ、内向きに面した結像システム、外向きに面した結像システム等)を使用して、ユーザの環境の場所および種々の他の属性を判定することができる。本情報はさらに、画像または種々のキューを異なる視点から提供し得る、手術室内の定常カメラからの情報で補完されてもよい。カメラ(手術室カメラおよび/または外向きに面した結像システムのカメラ等)によって入手された画像データは、マッピング点のセットにまとめられてもよい。
1つまたはそれを上回るオブジェクト認識装置708は、受信されたデータ(例えば、点の集合)を通してクローリングし、点を認識またはマッピングし、画像にタグ付けし、マップデータベース710を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース710は、種々の点経時的に収集される種々の点と、その対応するオブジェクトとを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク(例えば、LAN、WAN等)を通して、相互に接続され、クラウドにアクセスすることができる。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置708a-708nは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報(例えば、ドアが、ヒンジを有し、ヒンジを中心として90度移動を有する)を結び付けてもよい。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が手術室内のオブジェクトの画像を反射させ得る反射表面を有するという、意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム(ローカルで常駐し得る、または無線ネットワークを通してアクセス可能であり得る)が世界からのより多くのデータを蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、1つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、MR環境700は、Californiaにおける場所についての情報を含んでもよい。環境700は、New Yorkにおける1人またはそれを上回るユーザに伝送されてもよい。FOVカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第2のユーザに正確に「パス」され得るように、種々の画像から収集される点をマッピングする、オブジェクトを認識すること等を行うことができる。環境700はまた、位置特定目的のために、トポロジマップを使用してもよい。
図13Bは、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法800の実施例のプロセスフロー図である。方法800は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、場面から地理的に遠隔に存在してもよい。例えば、ユーザは、New Yorkに存在し得るが、Californiaの現在の状況の場面を視認することを所望し得る、またはCaliforniaに住んでいる友人と散歩に行くことを所望し得る。
ブロック810では、ARシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスを通して達成され、その知識は、マップデータベース内にすでに所有されている場合もある。ユーザのFOVカメラ、センサ、GPS、眼追跡等が、ブロック810において、情報をシステムに伝達する。システムは、ブロック820において、本情報に基づいて、疎点を判定してもよい。疎点は、ユーザの周囲内の種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ(例えば、頭部姿勢、眼姿勢、身体姿勢、または手ジェスチャ)を判定する際に使用されてもよい。オブジェクト認識装置708a-708nは、ブロック830において、これらの収集される点を通してクローリングし、マップデータベースを使用して、1つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック840において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック850において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面(例えば、CAにおけるユーザ)は、New Yorkにおける種々のオブジェクトおよびユーザの他の周囲に関連して、適切な配向、位置等に表示されてもよい。
図13Cは、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム900は、マップを備え、これは、世界に関するマップデータを含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所(例えば、クラウドシステム内)に常駐してもよい。姿勢プロセス910が、ウェアラブルコンピューティングアーキテクチャ(例えば、処理モジュール260またはコントローラ460)上で実行され、マップからのデータを利用して、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を判定してもよい。姿勢データは、システムを体験し、世界内で動作するにつれて、オンザフライで収集されるデータから算出されてもよい。データは、画像、センサ(概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等)からのデータ、および実または仮想環境内のオブジェクトに関連する表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング(入力が画像/視覚専用である構成を指す、SLAMまたはV-SLAM)プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。
疎点位置は、多焦点AR、VR、またはMR体験を生産するために補完されてもよい。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、深度情報が三角測量または飛行時間感知等の技法を使用して判定される、ステレオ940と称されるプロセスから算出されてもよい。画像情報およびアクティブパターン(アクティブプロジェクタを使用して作成される赤外線パターン等)は、ステレオプロセス940への入力としての役割を果たし得る。有意な量の深度マップ情報は、ともに融合されてもよく、このうちの一部は、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的(例えば、大点群に対して)かつ要約しやすい入力であり得る。したがって、立体視プロセス(例えば、深度マップ)940の出力は、融合プロセス930において組み合わせられてもよい。姿勢は同様に、本融合プロセス930への入力でもあり得、融合930の出力は、マップ取込プロセス920への入力となる。サブ表面は、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス960における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図13Cに描写される実施形態では、ゲームパラメータが、システムのユーザが、手術室の周囲の種々の場所における1人またはそれを上回る仮想医師とともに、外科手術を実施していることを判定するために入力されてもよい。仮想医師は、手術室内の種々の条件に反応してもよい。世界マップは、複合現実への別の貴重な入力である、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム900への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム900に、行うことを所望する対象に関して命令する必要があり得る。単に、空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。トーテム(例えば、ユーザ入力デバイス)または外科手術器具等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行う相互作用の種類を理解するように構成されるであろう(例えば、トーテムまたはオブジェクトが、一対の外科手術用鋏である場合、システムは、場所および配向と、ユーザがIMU等のセンサを装備し得るハンドルを握っているかどうか(そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を判定することを補助し得る)とを理解するように構成されてもよい。)
手ジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム900は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、1つの構成では、ユーザは、非ゲーム環境において、電子メールもしくはカレンダを捲る、もしくは別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム900は、最小量の手ジェスチャを活用するように構成されてもよく、これは、動的である場合とそうではない場合がある。例えば、ジェスチャは、停止を示すために手を広げる、OKを示すために親指を上げる、OKではないことを示すために親指を下げる、または指向性コマンドを示すために左右もしくは上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である(例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする)。眼の輻輳・開散運動は、三角測量を使用して判定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動/遠近調節モデルを使用して、遠近調節が、判定されてもよい。
カメラシステムに関して、図13Cに示される例示的ウェアラブルシステム900は、3つの対のカメラ、すなわち、ユーザの顔の側面に配列される相対的広FOVまたは受動SLAM対のカメラ、ユーザの正面に配向され、ステレオ結像プロセス940をハンドリングし、また、手ジェスチャおよびユーザの顔の正面のトーテム/オブジェクト追跡を捕捉する、異なる対のカメラを含むことができる。FOVカメラおよびステレオプロセス940のための対のカメラは、1つまたはそれを上回る外向きに面した結像センサ34(図10Aに示される)の一部であってもよい。ウェアラブルシステム900は、眼ベクトルおよび他の情報を三角測量するためにユーザの眼に向かって配向される、眼追跡カメラ(図10Aに示されるユーザセンサ24、28、30、32のうちの1つまたはそれを上回るものであってもよい)を含むことができる。ウェアラブルシステム900はまた、1つまたはそれを上回るテクスチャ化された光プロジェクタ(赤外線(IR)プロジェクタ等)を備え、テクスチャを場面の中に投入してもよい。
別の実施例として、着目オブジェクトは、除細動器であってもよい。ユーザは、除細動器が一般にどのようなものであるかを説明してもよい、または具体的除細動器を説明してもよい。いくつかのインスタンスでは、デバイスは、除細動器の写真を含む、内部または外部システムにアクセスしてもよい。したがって、デバイスが、コンピュータビジョンアルゴリズムを使用して、および/または1つまたはそれを上回る環境センサから受信されたデータを使用して、除細動器を検出すると、デバイスは、次いで、除細動器の存在を信号伝達し、除細動器の場所の増強されたビューを自動的に提供することができる。種々の実施形態では、デバイスはまた、将来的使用のために、除細動器の画像および/またはその場所をメモリ内に記憶することができる。
そのようなアルゴリズムおよび方法ならびに類似のものは、本明細書に説明される種々の用途および/または実施形態のいずれかに適用されてもよい。
機械学習
種々の機械学習アルゴリズムは、いくつかの実施形態では、可能性として考えられる着目オブジェクト(例えば、ある値を下回る信号を有する心臓モニタ)を検出するために実装されることができる。いったん訓練されると、機械学習アルゴリズムは、デバイスによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、Bayesianアルゴリズム(例えば、Naive Bayes等)、クラスタ化アルゴリズム(例えば、k-平均クラスタ化等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、ディープ学習アルゴリズム(例えば、ディープBoltzmannマシン、またはディープニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、スタック汎化等)、および/または他の機械学習アルゴリズムを含む、教師ありまたは教師なし機械学習アルゴリズムを含むことができる。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶することができる。基本モデルは、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成する開始点として使用されてもよい。いくつかの実施形態では、ウェアラブルデバイスは、複数の技法を利用し、集約されたデータの分析のためのモデルを生成するように構成されてもよい。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
基準は、閾値条件を含むことができる。環境センサによって入手されたデータの分析が、閾値条件を超えたことを示す場合、デバイスは、着目オブジェクトの存在を検出し得る。閾値条件は、定量的および/または定質的測定を伴ってもよい。例えば、閾値条件は、着目オブジェクトの尤度と関連付けられたスコアまたはパーセンテージを含むことができる。デバイスは、環境センサのデータから計算されたスコアと閾値スコアを比較することができる。スコアが、閾値レベルより高い場合、デバイスは、着目オブジェクトの存在を検出し得る。他の実施形態では、デバイスは、スコアが閾値より低い場合、着目オブジェクトの存在を信号伝達してもよい。
閾値条件はまた、「A」、「B」、「C」、「D」等の文字グレードを含んでもよい。各グレードは、状況の深刻度を表し得る。例えば、「A」は、最も深刻であり得る(例えば、心臓モニタがピーブ音を発する)一方、「D」は、最も深刻ではないものであり得る。デバイスが、ユーザの環境内のイベントが十分に深刻であることを判定すると(閾値条件と比較して)、デバイスは、着目オブジェクトまたはイベントの存在を示し、措置を講じてもよい(例えば、アラートまたは着目オブジェクト/イベントの増強されたビューを提供する)。
閾値条件は、ユーザの物理的環境内のオブジェクト(または人々)に基づいて判定されてもよい。例えば、閾値条件は、患者の血液損失、患者の心拍数、または他の生理学的パラメータに基づいてもよい。図2および10A-10Bを参照して説明されるように、デバイスは、患者のデータを環境センサ(例えば、外科手術部位を結像する、外向きに面したカメラ)または外部ソース(例えば、心電図または心臓モニタによって監視されるECGデータ等)から入手することができる。
閾値条件はまた、ユーザの環境内の実世界オブジェクトまたはユーザに表示されている仮想オブジェクトに基づいて、判定されてもよい。一実施例として、閾値条件は、オブジェクトとのユーザの相互作用(例えば、ユーザがオブジェクトを一瞥した回数、ユーザがオブジェクトを鑑賞している持続時間等)に基づいてもよい。例えば、閾値条件は、ユーザの眼追跡に基づいて、判定されてもよい。
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストのために特殊であってもよい。例えば、外科手術コンテキストでは、コンピュータビジョンアルゴリズムは、ある外科手術イベントを検出するために特殊であってもよい。別の実施例として、デバイスは、顔または身体認識アルゴリズムを実行し、ユーザの環境内の人物(例えば、患者または他の医療従事者)を検出してもよい。
そのようなアルゴリズムおよび方法ならびに類似のものは、本明細書に説明される種々の用途および/または実施形態のいずれかに適用されてもよい。
ユーザ意図に基づく知覚改変
種々の実施形態では、ディスプレイシステムは、有利には、少なくとも部分的に、ユーザ意図に基づいて、実または仮想コンテンツのユーザ知覚を改変してもよい。例えば、ある実施形態は、ユーザが、画像コンテンツを増強させる(または強調解除する)、および/または画像コンテンツを異なる場所に提示することによって、状況またはタスクに合焦することを可能にし得る。
ここで図14を参照すると、少なくとも部分的に、ユーザ意図および/または知覚されたユーザ意図に基づいて、ディスプレイシステムを使用して、実または仮想オブジェクトのユーザ知覚を改変する例示的方法5000が、図示される。知覚されたユーザ意図の判定は、例えば、ユーザの環境内の1つまたはそれを上回るオブジェクトを結像し、ユーザの眼が視認している場所を判定し、および/またはユーザの眼が指向されているオブジェクトを判定すること含んでもよい。ディスプレイシステムは、それぞれ、図2、6、および10A-10Bにおけるディスプレイシステム80、1000、または2010等の本明細書に説明されるディスプレイシステムのいずれかを含んでもよい。ディスプレイシステムはまた、本明細書に説明される特徴のいずれかを含んでもよい。例えば、本明細書に説明されるように、いくつかの実施形態では、頭部搭載型ディスプレイデバイスは、ディスプレイを使用して、ユーザに拡張現実画像コンテンツを提示するように構成されることができる。頭部搭載型ディスプレイは、ユーザの頭部上に搭載可能であることができる。ある実施形態では、ディスプレイは、例えば、アイウェアの一部として、フレーム(例えば、図2および10A-10Bにおけるフレーム64)上に配置されることができる。
頭部搭載型ディスプレイは、依然として、ユーザが、実世界を見て、それと相互作用することを可能にすることを可能にしながら、仮想画像コンテンツをユーザの眼に投影することができる。例えば、ディスプレイは、ユーザの眼の正面の場所に配置される、1つまたはそれを上回る透明導波管(例えば、図6における導波管アセンブリ178および/または図9A-9Cにおける導波管スタック1200)を含むことができる。ディスプレイは、ユーザが、ディスプレイを通して見ることを可能にすることができる。ディスプレイは、環境の画像がユーザの網膜上に形成され得るように、実世界環境からの光をユーザの眼に伝送してもよい。ディスプレイはまた、例えば、変調された光源からの光を投影させることによって、拡張および/または仮想画像コンテンツをユーザの眼に投影することができる。例えば、導波管アセンブリ内の導波管は、画像情報とともに投入されてもよく、画像情報をユーザの眼に指向することができる。
いくつかの実施形態では、導波管は、異なる波面発散を伴って、画像情報を送信するように構成されることができる。頭部搭載型ディスプレイは、ユーザの眼からの異なる距離から投影されるかのように、異なる発散量において光をユーザの眼に投影し、拡張現実画像コンテンツをユーザに表示するように構成されることができる。故に、導波管は、光が、画像コンテンツを異なる深度(例えば、異なる深度平面上)から提供し、例えば、快適な3次元深度知覚を提供することを補助し得るように、1つまたはそれを上回る深度平面と関連付けられることができる。いくつかの実施形態では、導波管は、導波管からの光(例えば、導波管内を伝搬する光)をユーザの眼(例えば、図7)の中に再指向するように構成される、1つまたはそれを上回る光学要素(例えば、図6における外部結合光学要素282、284、286、288、290)を含んでもよい。いくつかのインスタンスでは、1つまたはそれを上回る光学要素は、光を導波管から抽出するように構成される、1つまたはそれを上回る回折光学要素を含むことができる。しかしながら、設計は、導波管および/または回折光学要素の使用に限定される必要はない。なお、種々の実施形態では、頭部搭載型ディスプレイは、光をユーザの眼に投影し、拡張現実画像コンテンツをユーザに表示するように構成されることができる。
ユーザの視覚は、中心領域と、周辺領域とを有する、視野によって特徴付けられ得る。周辺領域は、中心領域の周囲またはそれを中心として配置されることができる。中心領域および周辺領域は、本明細書に議論されるように、それぞれ、中心視野および周辺視野に対応し得る。
ディスプレイシステムまたはデバイスは、ユーザを感知するように構成される、1つまたはそれを上回るユーザセンサ(例えば、図10Aおよび10Bにおけるユーザセンサ24、28、30、32)を含む、および/またはそれに結合されることができる。いくつかの実施形態では、1つまたはそれを上回るユーザセンサは、ディスプレイシステムのフレーム上に配置される。1つまたはそれを上回るユーザセンサは、1つまたはそれを上回る内向きに面したおよび/または下向きに面したセンサを含むことができる。1つまたはそれを上回るユーザセンサは、ユーザの眼が視認している場所を判定するように構成されることができる。ユーザセンサの実施例は、カメラ等の画像捕捉デバイスを含むことができる。本明細書に説明されるように、そのようなセンサは、ユーザの眼、顔特徴、および/または腕、手、脚部等の他の身体部分を監視することを含む、ユーザを監視することができる。1つまたはそれを上回るユーザセンサは、例えば、眼および/または顔を結像する、内向きに面したカメラを備えてもよく、眼追跡を提供してもよい。他のタイプの眼追跡デバイスもまた、使用されることができる。ユーザセンサ(例えば、眼追跡センサ)は、ディスプレイシステムのディスプレイ上への画像コンテンツの提示を制御することを補助するように構成されることができる。画像コンテンツの提示の制御は、例えば、感覚画像を処理電子機器に送信することを含んでもよく、これは、次いで、画像コンテンツの提示、表示される画像コンテンツ、画像の場所および特性、例えば、コントラスト、鮮明度、明度、色、カラーバランス、色飽和、不透明度等を制御する。
ディスプレイシステムまたはデバイスはまた、ユーザの周囲を感知するように構成される1つまたはそれを上回る環境センサ(例えば、図10Aおよび10Bにおける環境センサ34)、を含む、および/またはそれに結合されることができる。1つまたはそれを上回る環境センサは、1つまたはそれを上回る外向きに面したセンサを含むことができる。1つまたはそれを上回る環境センサは、ユーザの環境内の1つまたはそれを上回るオブジェクトを結像するように構成されることができる。環境センサの実施例は、深度センサ、一対の両眼世界カメラ等の1つまたはそれを上回るカメラ、地理位置センサ、近接度センサ、GPS等を含むことができる。1つまたはそれを上回る環境センサはまた、環境内の音を感知するように構成される、マイクロホン(例えば、図2におけるマイクロホン67)を含むことができる。本明細書に説明されるように、環境センサは、ユーザの環境内のオブジェクト、運動、および/または音を検出および/または監視し、例えば、ユーザが注意を向ける、および/または相互作用し得る対象を判定することに役立ち得る。そのようなセンサは、ユーザが着手し得るアクションのインジケーションおよび/またはアクションに着手するユーザの意図を提供することができる。また、本明細書に説明されるように、いくつかの実施形態は、1つまたはそれを上回る光センサを含み、例えば、環境の光条件を判定してもよい。
種々の実施形態は、ディスプレイ、1つまたはそれを上回るユーザセンサ、および/または1つまたはそれを上回る環境センサと通信する、処理電子機器を有する、1つまたはそれを上回るプロセッサ(例えば、図2におけるローカル処理およびデータモジュール70および/または遠隔処理モジュール72)を含む、および/またはそれに結合されることができる。いくつかの実施形態では、本明細書に説明されるように、処理電子機器はまた、ネットワークシステムと通信することができる。処理電子機器は、1つまたはそれを上回るユーザおよび/または環境センサから取得される情報を分析し、例えば、ユーザに表示する画像コンテンツに関する命令をディスプレイに提供するように構成されることができる。例えば、処理電子機器は、図14に示される例示的方法5000を実施するように構成されることができる。処理電子機器は、増加されたユーザ注目を伴う状況を感知し、随意に、状況に対するユーザ意図を判定し、少なくとも部分的に、ユーザの増加された注目および/またはユーザ意図に基づいて、ユーザの視野内の画像コンテンツ(例えば、実または仮想オブジェクト)のユーザ知覚を改変するように構成されることができる。さらなる実施例として、処理電子機器は、これは、ユーザの眼が指向されているオブジェクトを判定するように構成されることができる。いくつかの実施形態では、処理電子機器は、眼が指向されている1つを上回るオブジェクト(例えば、中心視野および/または周辺視野内)を判定するように構成される。ユーザの眼が指向されているオブジェクトの判定は、オブジェクト認識を1つまたはそれを上回る環境センサ(例えば、外向きに面したカメラ)から受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識することを含んでもよい。ユーザのビューが特に指向されているオブジェクトの識別は、ユーザが増加された注目を有することの判定を促進し得、および/またはユーザ意図を判定することを補助し得る。また、または代替として、ユーザが見ているオブジェクトの識別は、処理電子機器が、例えば、そのオブジェクトの知覚を増強させることによって、および/または他のオブジェクトの知覚を強調解除することによって、そのオブジェクトをより容易に視認させることを可能にし得る。オブジェクト認識は、単に、オブジェクトの存在を判定する、および/またはオブジェクトを周囲特徴から隔離することを含んでもよい。オブジェクト認識は、代替として、または加えて、オブジェクトの内容および/またはオブジェクトの特性もしくは機能の認識等、オブジェクトと何らかの意味を関連付けることを含んでもよい。例えば、オブジェクト認識は、単に、あるオブジェクトが背景と別個の前景に存在することを判定してもよい。しかしながら、別の実施例では、オブジェクト認識は、加えて、本オブジェクトが、人物顔、心臓モニタ、ハンドルであること等、オブジェクトの内容を判定し、可能性として、特性および/または意味とそのオブジェクトを関連付けることを含んでもよい。より高性能レベルの分析は、複数のオブジェクトの判定を結合し、環境のより高度な理解を発展させることであってもよい。例えば、処理電子機器が、メス、心拍数モニタ、および台の上の腹臥位の人物を認識する場合、結論は、ユーザが手術室内に存在することであり得る。ユーザの正面および中心におけるハンドル、ダッシュボード、フロントガラス、および/またはフロントガラスをわずかに越えた車のボンネット等の他のオブジェクト認識および/または入力の組み合わせ、ならびに可能性として、Bluetooth(登録商標)信号の受信等の他の入力信号は、ユーザが、車両の運転席に存在し、可能性として、自動車両を運転または出発させる準備ができていることを示し得る。
故に、ブロック5010では、処理電子機器は、随意に、ユーザ注目を伴う状況を感知するように構成されることができる。前述のように、ユーザ注目を伴う状況の感知は、1つまたはそれを上回るオブジェクトを、例えば、1つまたはそれを上回るユーザおよび/または環境センサによって提供される情報から検出することを含むことができる。ユーザ注目を伴う状況の感知は、(少なくとも、概して)ユーザの眼が指向されているオブジェクトを判定することを含むことができる。処理電子機器は、本明細書に説明されるもの等(例えば、上記参照)のコンピュータビジョンおよびオブジェクト検出技法のいずれかを使用して、オブジェクトを検出するように構成されてもよい。ユーザ注目を伴う状況の感知はまた、1つまたはそれを上回る運動または音を、例えば、1つまたはそれを上回るユーザおよび/または環境センサによって提供される情報から検出することを含むことができる。ユーザ注目を伴う状況の感知はまた、無線またはRF信号(例えば、車によって放出されるBluetooth(登録商標)信号)等の1つまたはそれを上回る他のタイプの信号を検出することを含むことができる。異なる部屋室内で放出される無線信号はまた、ユーザが特定の部屋に存在することを知らせることができ、ユーザが着手し得るアクションのインジケーションを提供し得る。ユーザ注目を伴う状況の感知はさらに、1つまたはそれを上回る検出されたオブジェクト、運動、および/または音が、アクションまたはユーザ注目を伴う状況等の特定の状況と関連付けられるかどうかを判定することを含むことができる。代替として、または加えて、ユーザ注目を伴う状況の感知は、着目される種々のユーザ注目を伴う状況を提供し、例えば、それらの状況と関連付けられたあるオブジェクト、運動、および/または音に関して、1つまたはそれを上回るユーザおよび/または環境センサによって提供される情報内で検索することを含んでもよい。
実施例として、頭部搭載型ディスプレイデバイスを装着するユーザが、手術室に入室し得る。ユーザおよび/または環境センサのうちの1つまたはそれを上回るものによって捕捉される画像は、手術室および/または関連付けられたオブジェクト(例えば、手術台、ガントリ、トレイ、外科手術器具、心臓モニタ、患者、医療アシスタント等)の画像を含んでもよい。処理電子機器は、外科医が、その眼を、例えば、外科手術器具に指向していることを判定し得る。外科医は、外科手術器具をその手に有し得る。外科手術器具は、患者に作用し得る。検出されたオブジェクト、検出された特定の状況(例えば、患者に接近する外科手術器具)、および/または外科医がその眼を指向している場所に基づいて、処理電子機器は、ユーザが、これから始まる外科手術に関わることを感知し得る。
上記に説明されるように、ディスプレイシステムまたはデバイスの種々の設計は、あるコンテキストのために構成されてもよく、それらのコンテキストにおけるある状況を感知することができる。例えば、医療従事者のために構成されるディスプレイシステムまたはデバイスは、医療コンテキスト(例えば、医療診断または手技)における状況を感知するように構成されてもよい。いくつかのインスタンスでは、ディスプレイシステムまたはデバイスは、特定のユーザのためにカスタマイズされる場合とそうではない場合がある。機械学習アルゴリズムは、本明細書に説明されるように、いくつかの実施形態では、使用されることができる。
ユーザ注目を伴う状況が、感知された後、処理電子機器は、ブロック5020に進むことができる。いくつかの実施形態では、処理電子機器はまた、ユーザ注目を伴う他の状況を感知することに進むことができる。
ブロック5020では、処理電子機器は、随意に、状況に対するユーザ意図を判定するように構成されることができる。ユーザ意図の判定は、作用するためのユーザの意図を示す、1つまたはそれを上回るオブジェクト、運動、および/または音(例えば、1つまたはそれを上回るユーザおよび/または環境センサによって提供される情報から)を検出することを含むことができる。代替として、または加えて、ユーザ意図の判定は、例えば、データベース内の作用するためのユーザの意図を示す、種々の可能性として考えられるオブジェクト、運動、および/または音を提供し、例えば、それらのオブジェクト、運動、および/または音に関して、1つまたはそれを上回るユーザおよび/または環境センサによって提供される情報内を検索することを含むことができる。いくつかの設計に関して、および/またはいくつかの状況では、ディスプレイシステムまたはデバイスは、ユーザ意図が判定されるまで、検出されたオブジェクト、運動、および/または音に基づいて、作用する場合とそうではない場合がある。
実施例として、ユーザは、外科手術アシスタントと短く会話し得る。マイクロホンが、外科医とアシスタントとの間の会話を捕捉してもよい。オーディオデータは、これから始まる外科手術を確認し得るが、行われるべき任意のアクションをトリガしなくてもよい。ユーザは、次いで、患者に近づき、外科手術器具を取り上げてもよい。そのようなアクションを1つまたはそれを上回るユーザおよび/または環境センサによって提供される情報から判定することに基づいて、処理電子機器は、手術を開始するユーザ意図を判定し得る。そのようなアクションは、処理電子機器がブロック5030に進むことをトリガし得る。本明細書に説明されるように、いくつかの設計は、特定のユーザのためにカスタマイズされてもよい。例えば、特定の外科医は、外科手術を実施する前に、ある習慣、儀式、または手技を有し得(例えば、「始めます」と言う)、そのような習慣、手技、または儀式は、ディスプレイシステムまたはデバイス上に記憶されてもよい。
ユーザ意図が判定された後、処理電子機器は、ブロック5030に従って、実施を継続することができる。いくつかの実施形態では、処理電子機器はまた、感知される状況における他のユーザ意図の判定を継続することができる。
ブロック5030では、処理電子機器は、可能性として、少なくとも部分的に、ユーザ意図および/またはユーザ注目等に基づいて、例えば、ユーザの視野内の実または仮想オブジェクトのユーザ知覚を改変するように構成されることができる。そのような実または仮想オブジェクトは、アイウェアを通して眼に伝送する、光が反射または放出される、頭部搭載型ディスプレイの正面のユーザの環境内の実オブジェクト、またはディスプレイによって表示される仮想コンテンツを備えてもよい。処理電子機器は、例えば、本明細書に説明される画像修正技法のいずれかを使用して、仮想オブジェクトを備える仮想画像コンテンツを改変することによって、実または仮想コンテンツのユーザ知覚を改変するように構成されることができる。実または仮想コンテンツのユーザ知覚の改変は、眼が指向されているオブジェクトのレンダリングの増強または眼が指向されているオブジェクト(例えば、実または仮想オブジェクト)を囲繞する1つまたはそれを上回る特徴の強調解除のうちの少なくとも1つを含んでもよい。実施例として、ディスプレイシステムまたはデバイスは、例えば、処理電子機器によって提供される命令を介して画像コンテンツを異なる場所に提示するように構成されることができる。いくつかのインスタンスでは、ユーザの周辺視野内の実または仮想オブジェクトは、例えば、より容易な視認のために、ユーザの中心視野内に提示または再レンダリングされてもよい。代替として、ユーザの中心視野内の実または仮想オブジェクトは、ユーザの周辺視野に再レンダリングまたは提示され、例えば、乱雑を除去してもよい。ユーザの周辺視野内の実または仮想オブジェクトはまた、ユーザの周辺視野の別の領域内に提示またはレンダリングされてもよい(例えば、遠周辺視野から近周辺視野またはその逆もしくは遠中心視野から近中心視野またはその逆)。いくつかのインスタンスでは、ディスプレイシステムまたはデバイスは、例えば、処理電子機器によって提供される命令を介して、画像コンテンツを第1の深度平面から第2の深度平面(例えば、より遠い深度平面からより近い深度平面またはその逆)に提示するように構成されることができる。また、本明細書に説明されるように、画像コンテンツは、同一深度平面上で側方に変位されてもよい(例えば、ユーザのより近いまたはより遠い中心視野に側方に変位される)。
別の実施例として、ディスプレイシステムまたはデバイスは、例えば、処理電子機器によって提供される命令を介して、本明細書に説明される技法増強(または強調解除)のいずれかを使用して、画像コンテンツを修正するように構成されることができる。例えば、処理電子機器は、画像コンテンツ(実または仮想オブジェクトを備える画像コンテンツ等)のコントラスト、不透明度、色、色飽和、カラーバランス、サイズ、背景、明度、縁可視性、鮮明度等の1つまたはそれを上回る画像属性を改変(例えば、増加、減少)させるように構成されることができる。画像コンテンツの強調は、画像コンテンツの1つまたはそれを上回る画像属性のあるもの(例えば、明度、鮮明度、コントラスト等)を増加させることを含んでもよい。例えば、画像コンテンツの強調は、画像コンテンツの色を改変する、画像コンテンツの不透明度を増加させることを含んでもよい。画像コンテンツの強調解除は、該1つまたはそれを上回る画像属性(例えば、明度、鮮明度、コントラスト等)のあるものを減少させることを含んでもよい。例えば、画像コンテンツの強調解除は、画像コンテンツの色を改変する、画像コンテンツの不透明度を減少させることを含んでもよい。ある場合には、オブジェクトを囲繞する特徴は、強調解除され、オブジェクトをより顕著にしてもよい。オブジェクトを囲繞する特徴の強調解除は、周囲画像コンテンツの1つまたはそれを上回る画像属性のあるものを減少させることを含んでもよい。例えば、周囲特徴の強調解除は、周囲仮想画像コンテンツを強調解除し、および/または周囲仮想画像コンテンツの不透明度を増加させ、それによって、ユーザの頭部搭載型ディスプレイの正面の周囲環境のビューを減衰させることを含んでもよい。
いくつかの設計では、画像コンテンツは、ユーザから異なる深度(例えば、異なる深度平面)において生じるかのように、画像コンテンツを表示することによって、強調(例えば、増強)または強調解除されることができる。例えば、画像コンテンツの強調は、画像コンテンツをより近い深度上に表示し、および/または周囲画像コンテンツをより遠い深度に表示することを含んでもよい。画像コンテンツの強調解除は、画像コンテンツをより遠い深度に表示し、および/または周囲画像コンテンツをより近い深度に表示することを含んでもよい。知覚される深度は、可能性として、少なくとも部分的に、光の発散を変動させることによって提供されてもよい。いくつかのインスタンスでは、画像コンテンツは、コンテンツが別様にユーザによって知覚されるであろう状態(例えば、増強または強調解除されない場合)と比較して、および/またはユーザの視野内の他のオブジェクトと組み合わせて、増強または強調解除されることができる。例えば、ユーザの周辺視野内の画像コンテンツおよび/またはオブジェクトは、ユーザの中心視野内の画像コンテンツおよび/またはオブジェクトに対して強調解除されてもよい。本明細書に説明されるように、拡張または強調解除の程度は、少なくとも部分的に、中心視野または中心窩からの距離、2点区別のための最小距離、眼の空間分解能、錐体密度、桿体密度、照明条件等のうちの1つまたはそれを上回るものに基づくことができる。
増強の他の実施例は、ハイライトを含む。例えば、黄色ハイライトが外向きに面したカメラおよびディスプレイを使用して再レンダリングされる、環境内のオブジェクトの画像等の仮想オブジェクトにわたって重畳されてもよい。別の実施例は、黄色ハイライトを透過ディスプレイを通して見える実オブジェクトの正面に重畳することである。黄色ハイライトは、透過ディスプレイを通して見えるオブジェクト(例えば、速度制限標識)をウォッシュアウトするように、明るすぎ得ず、透過ディスプレイを通したオブジェクトのビューを補完するために十分であり得るが、黄色仮想コンテンツ(ハイライト)と実オブジェクトである速度制限標識の組み合わせは、ユーザの注意を速度制限標識に向け得る。
さらに、ある実施形態は、ユーザ注目を伴う所与の状況に関して、ブロック5020および5030を繰り返し、状況における他のユーザ意図を判定し、それらの他のユーザ意図に基づいて、画像コンテンツのユーザ知覚を改変することができる。
実施例として、外科手術の実施を開始するユーザ意図に基づいて、灰色背景が、ユーザが外科手術部位上に合焦し、外科手術部位に対して手術室の残りを強調解除することに役立つように提供されることができる。十分に強度のある灰色光は、背景特徴を別様に構成するであろう、実オブジェクトまたはユーザおよび頭部搭載型ディスプレイの正面の環境内の特徴が、ユーザにあまり目立たないように、眼の中に投影されることができる。本灰色背景はまた、注意を逸らす詳細を低減または除去するように、均質であることができる。他の画像/他の仮想画像コンテンツ等の背景内の他の画像コンテンツの投影も同様に、低減または除去されることができる。このように、背景内の特徴は、そのような特徴が外科手術部位上で外科手術を実施するユーザに注意散漫とならないように十分にウォッシュアウトまたはペイントオーバーされることができる。
外科手術の間の別のユーザ意図は、周辺に位置する心臓モニタ上の医療画像の視認を含んでもよい(例えば、眼追跡に基づいて)。そのようなユーザ意図に基づいて、ある実施形態は、より容易な視認のために、医療画像の画像を外科手術部位のより近くに提示することができる。
本明細書に説明される種々の実施例は、医療コンテキストにおけるものである。種々の実施形態はまた、例えば、日々のアクティビティおよびタスクを含む、他のコンテキストにも適用されることができる。一実施例は、車両(例えば、車、タクシー、バス、オートバイ、電車、建設車両、トラクタ、農業機器、船舶、航空機等)を動作させることを含み、これは、ユーザ注目および集中がオペレータおよびオペレータの周囲の者にとって有用であり得る。例えば、一時停止標識、交通信号、横断歩道、および他の交通特徴を強調させることによって、拡張現実拡張は、運転手に、そうでなければ見えないまたは気付かない場合がある状況をアラートし、それによって、安全性を改善することができる。
図14を継続して参照すると、ブロック5010では、処理電子機器は、ユーザ注目を伴う状況を感知してもよい。ユーザ注目を伴う状況の感知は、ユーザの眼が指向されているオブジェクトを判定することを含んでもよい。これは、ユーザの眼が指向されているオブジェクトの判定は、ユーザの眼が視認している場所を判定するように構成される、眼追跡センサから受信された感覚情報の一部に基づいてもよい。例えば、頭部搭載型ディスプレイデバイスを装着するユーザが、その家から出て、車両(例えば、車)に向かって歩き得る。ユーザおよび/または環境センサのうちの1つまたはそれを上回るものによって捕捉された画像は、建物の内側の画像、ドアとの相互作用、屋外の画像、および/または車両を含んでもよい。そのような画像は、行われるべき任意のアクションをトリガする場合とそうではない場合がある。ユーザは、次いで、車両ドアを開放し得る。1つまたはそれを上回るユーザまたは環境センサによって提供される情報に基づいて、処理電子機器は、ユーザ注目を伴う状況を感知し得る。ディスプレイシステムは、オブジェクトを結像してもよく、オブジェクト認識が、使用され、それらのオブジェクトと、可能性として、それらのオブジェクトの移動とを識別してもよい。ディスプレイシステムは、例えば、オブジェクト認識を使用して、運転手が、車両を始動させる、すなわち、車両のギア(例えば、ドライブまたはバック)を入れていることを識別してもよい。ディスプレイシステムは、無線インターネット(例えば、WiFi)、Bluetooth(登録商標)、および/または他の情報収集システムを取得してもよい。ディスプレイシステムは、Bluetooth(登録商標)接続を通して、車両に接続(例えば、それと「ペアリングされる」)されてもよく、これは、ユーザが車両内に存在する(または少なくとも車両に近接している)ことのインジケーションであり得る。ディスプレイシステムは、ディスプレイシステムが本特定の車両と以前にペアリングしたことがあるかどうかを検出することが可能であり得る。ディスプレイシステムは、単に、無線信号(例えば、Bluetooth(登録商標))または他の無線もしくはRF信号等の他の信号を検出し、ユーザが車の中に存在する、またはそこに近接していることを判定してもよい。ディスプレイシステムは、例えば、ユーザのビューおよびビュー内のオブジェクトを認識することによって、ユーザが、車を運転しようとしている、または車を運転中であることを判定してもよい。他のタイプのセンサもまた、運転手が運転中である、または運転する意図があることを判定するために使用されてもよい。車のナビゲーションシステムまたは他の制御システム(例えば、ヒータおよび/またはクーラ)への音声コマンド、車をロックする音、またはエンジンをかける音等のオーディオの感知は、ユーザが車の運転を開始しようとしていることを示し得る。GPSまたは加速度計からの加速および/または運動データも、車両が静止または運動中であるかどうかを判定するために使用されてもよい。ハンドルまたは運転手側からフロントガラスを通したビューを示す、頭部搭載型ディスプレイの外向きに面したカメラからの画像と結合される、オーディオ入力(エンジン開始の音)等の入力の組み合わせは、ユーザが運転しようとしている、または運転中であることを示し得る。
処理電子機器は、ユーザが車の運転に関わっていることを判定し、および/または運転と関連付けられた状況、例えば、ユーザが急停止しようとしていることを識別してもよい。1つまたはそれを上回るユーザおよび/または環境センサは、前方の車両が、徐々に減速しつつある、または急停止したこと等を検出してもよい。測距計(レーザ測距計)、LIDAR、レーダ、超音波測距デバイス、または他の位置感知システム等のオブジェクトの位置を判定する、センサは、位置および/または位置の変化を判定可能であり得る。オブジェクトおよびユーザまたはユーザの車両が徐々に近づいている率が、判定された環境センサによって識別されるオブジェクトの1つまたはそれを上回る位置(例えば、位置の変化)に基づいて、判定されてもよい。ユーザまたはユーザの車両がオブジェクトと衝突する、またはオブジェクトがユーザまたはユーザの車両と衝突するリスクのうちの少なくとも1つが、確認されてもよい。ディスプレイシステムは、画像コンテンツを表示する、および/または必要に応じて、オブジェクトまたは画像コンテンツを増強ならびに/もしくは強調解除することができる。例えば、仮想一時停止、警告、またはアラート標識が、表示されてもよく、かつ増強されてもよく、および/または他のオブジェクトもしくは画像コンテンツは、強調解除されることができる。加えて、表示される画像コンテンツの量は、判定されたリスクに基づいて、低減されることができる。例えば、画像コンテンツは、ある場合には、全くまたは実質的に全く表示されず、注意散漫の尤度を低減させ、ユーザが状況(措置が講じられない、例えば、ブレーキが踏まれない、車がオブジェクトから離れるように操向されない場合の可能性として考えられる衝突)に注目することを可能にしてもよい。
いくつかの実施形態では、処理電子機器は、自動的に受信された信号に基づいて、状況が注目を伴うことを判定してもよい。例えば、処理電子機器は、両手が車のハンドル上にあることがユーザ注目を伴う状況を示すことを判定し得る。眼追跡センサまたはカメラ等の内向きに面したセンサ等の1つまたはそれを上回るセンサは、少なくとも、視線方向の変化の最小頻度を検出してもよい。センサは、例えば、眼を細めること、閾値音量を上回る発話、ユーザの身体(例えば、ハンドルをきつく握持する)によって付与される閾値レベルを上回る圧力に起因する皮膚色の変化、および/または例えば、1つまたはそれを上回る環境または内向きに指向されるセンサによって判定されるような心拍数の上昇等、ユーザによる注目を示し得る、ユーザによるアクションを検出するように構成されてもよい。さらなる実施例として、ディスプレイシステムのセンサは、ユーザが車両(例えば、車、建設車両)の1つまたはそれを上回る特定の制御を握持していることを検出し得、これは、状況が増加されたユーザ注目を伴うことを示し得る。
ブロック5010の一部として、ディスプレイシステムは、ユーザ注目を感知する際、車両の動作を囲繞する1つまたはそれを上回る条件を考慮可能であり得る。ディスプレイシステムは、ユーザについてのデータ記録等の情報を記憶する、メモリ記憶デバイス(例えば、ハードドライブ、RAM)を含んでもよい。ディスプレイシステムの1つまたはそれを上回るセンサはまた、ユーザの1つまたはそれを上回る特性を感知可能であり得る。メモリデバイスは、ユーザの年齢、ユーザのサイズおよび/または身長、ユーザの識別、ユーザの運転証明書(例えば、運転免許証、仮免許証、限定使用許可)、ユーザの運転記録(例えば、是正勧告/違反切符、逮捕、および/または免許の停止、制限、ならびに/もしくは取消の回数および/または原因)、実績記録(例えば、学業GPA、犯罪記録)、および/またはユーザの能力(例えば、物理的および/または精神学的病気もしくは限界の有無)等のユーザの1つまたはそれを上回るデータ記録および/または特性を保持してもよい。
1つまたはそれを上回るセンサは、上記に列挙されたもの等のユーザの特性および/または1つまたはそれを上回る特性に関連するデータを検出するように構成されてもよい。外向きに面したカメラを含む、他の実施例は、ユーザの運転証明書(例えば、仮免許証)を走査し、ユーザ位置および/または配向(例えば、ユーザが運転手席に存在するかどうか)を検出し、および/またはユーザの物理的および/または精神的特性(例えば、身長、体重等)を感知してもよい。処理電子機器は、潜在的に、これらの要因のうちの1つまたはそれを上回るものが注目を伴う状況を示すことを判定してもよく、より完全に以下に説明されるように、システムアプリケーション(例えば、電子メール、テキスト等)へのユーザアクセス許可を調節してもよい。
ブロック5020では、処理電子機器は、随意に、状況に対するユーザ意図を判定するように構成されることができる。例えば、ユーザは、車内に着座し得る。そのような情報は、行われるべき任意のアクションをトリガする場合とそうではない場合がある。いくつかの実施形態では、1つまたはそれを上回るセンサは、あるオブジェクトの存在およびユーザとの相対的位置を検出および/または検索し、ユーザが車両を動作させる(例えば、車を運転する)位置に存在するかどうかを確認してもよい。例えば、処理電子機器は、ユーザが運転手席に存在することを示す、オブジェクトの存在および相対的位置を判定してもよい(例えば、運転手側ドアおよび/またはユーザの左側のサイドミラー、ユーザの右側の助手席、ユーザの正面のダッシュボードおよびハンドル、ユーザの右上のバックミラー等)。処理電子機器は、1つまたはそれを上回るセンサが運転を開始しようとしている意図と一致する情報を提供するとき(例えば、ユーザがエンジンをかける、エンジンの音、ユーザが車をドライブまたはバックに入れる、ユーザが後方、バックミラー、またはバックカメラ画像を凝視する等)、ユーザがそのような状態であることを判定し得る。
ブロック5030では、処理電子機器は、少なくとも部分的に、増加されたユーザ注目および/または少なくとも部分的に、ユーザ意図に基づいて、例えば、ユーザの視野内の実または仮想オブジェクト(頭部搭載型ディスプレイの正面の環境内の実オブジェクトまたは仮想コンテンツ等)のユーザ知覚を改変するように構成されることができる。種々のディスプレイシステムは、例えば、1つまたはそれを上回るセンサを介して、ユーザに強調することが有用であり得るオブジェクトを持続的に監視することができる。例えば、ディスプレイシステムまたはデバイスは、交通標識、道路標識、横断歩道、および/または他のオブジェクト(例えば、交通信号、一時停止標識、速度制限標識等)を検索し、拡張または仮想コンテンツをユーザの視野に追加してもよい。例えば、標識は、増強および/または再レンダリング、可能性として、増強されてもよく、可能性として、中心視野のより近くに提示され、運転手がより安全に運転することに役立ち得る。前述のように、標識は、色ハイライトで強調されてもよい。ディスプレイシステムはまた、例えば、アラート(例えば、電子メール、電話呼、テキストまたは他のメッセージ、ソーシャルメディア通知)、オーディオおよび/またはビデオ提示、および/または周辺音等の注意散漫となるものを強調解除してもよい。注意散漫となるものの強調解除は、注意散漫となるものへのアクセスを限定または除去することを含んでもよい。例えば、あるソフトウェアアプリケーション(例えば、「アプリ」)、インターネット、および/または他の通信サービス(例えば、電子メール、電話)の機能性ならびに/もしくはそこへのアクセスは、あるアクション(例えば、車両を動作させる)の間および/またはある状況下(例えば、ある年齢を下回るオペレータ)では、低減、制限、または禁止されてもよい。注意散漫となるものの強調解除は、(例えば、ディスプレイシステム上に表示することからの)視覚的刺激を調光もしくは除去する、および/または聴覚的刺激(例えば、歌、トーン、音声)の音量を低下もしくは静穏にすることを含んでもよい。仮想コンテンツは、したがって、ある場合には、除去または低減され得る一方、他の仮想コンテンツは、ある場合には、追加され得る。故に、ディスプレイシステムは、車両(例えば、車)の動作の安全性を増強させるように構成され得る。
図14におけるブロック図は、ユーザ注目を伴う状況を感知し、ユーザ意図を判定することを参照するが、これらのいずれかまたは両方とも、随意に、含まれてもよい、または両方とも、除外されてもよい。
いくつかの設計では、処理電子機器は、自動車両の動作の間に許可される複数のアプリケーション(例えば、システムアプリケーション、第三者アプリケーション)および/または許可されない複数のアプリケーションを判定してもよい。処理電子機器は、前述の1つまたはそれを上回る要因(例えば、ユーザ特性、環境読取値)に基づいて、利用可能である、および/または低減されたアクセス/機能性を有する、アプリケーションを判定してもよい。例えば、ある年齢を下回る、ある年齢を上回る、または車両を動作させる許可証明書を有していない、ユーザは、ディスプレイシステムのアプリケーションへの制限されるアクセスを有し得る。1つまたはそれを上回るセンサは、運動中の車または人々のようなオブジェクト等の運動を検出するように構成されてもよい。実施例として、検出された運動に基づいて、処理電子機器は、急停止する車両、減速車両、自転車、および/または歩行者の存在を判定するように構成されてもよい。そのような潜在的に危険な状況では、関連コンテンツは、増強されて(および/または周囲等のあまり関連しない詳細は、強調解除される)、運転手が事故を回避することに役立ち得る。着目オブジェクト、例えば、車両、自転車、歩行者は、例えば、高コントラストを提供する色で明るく再レンダリングされ得る。アラームはまた、アイウェアが状況を検出することに基づいて、発報してもよい。他の背景特徴は、例えば、明るい色の光を眼内に投影し、実環境内のそれらの特徴または特徴仮想コンテンツの特徴をウォッシュアウトまたはペイントオーバーすることによって、強調解除されてもよい。均質領域が、注意散漫詳細を低減させるために提供されてもよい。他の実施例も、可能性として考えられる。
種々の実施形態はまた、本明細書に説明されるような他の特徴を含んでもよい。例えば、ディスプレイシステムまたはデバイスは、アラートをユーザに提供し、例えば、画像コンテンツの変化を示してもよい。アラートは、視覚的アラート(例えば、ポップアップ、アイコン、点滅光等)、感覚的アラート(例えば、振動)、および/または聴覚的アラート(例えば、ベル、音楽、音声等)を含んでもよい。
故に、設計に応じて、頭部搭載型ディスプレイデバイスは、ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、該ディスプレイおよび該外向きに面したカメラと通信する、処理電子機器とを備えてもよい。処理電子機器は、画像コンテンツをユーザの視野に表示し、オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、該オブジェクト認識に基づいて、画像コンテンツのレンダリングの増強またはディスプレイによって表示される画像コンテンツのレンダリングの強調解除のうちの少なくとも1つを行うように構成されてもよい。増強は、コントラスト、色飽和、明度、縁可視性、不透明度、鮮明度の増加、またはレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含んでもよい。強調解除は、コントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の減少、またはレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含んでもよい。1つまたはそれを上回る外向きに面したカメラは、フレーム上に配置されてもよい。
いくつかの設計では、頭部搭載型ディスプレイデバイスは、ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、ディスプレイおよび外向きに面したカメラと通信する、処理電子機器とを備える。処理電子機器は、画像コンテンツをユーザの視野に表示し、オブジェクト認識を1つまたはそれを上回る外向きに面したカメラから受信された画像に適用することによって、ユーザの環境内の1つまたはそれを上回るオブジェクトを認識し、該オブジェクト認識に基づいて、該透明部分を通したユーザの眼へのユーザの正面の環境のビューの少なくとも一部を強調解除するように構成されてもよい。強調解除は、透明部分を通した環境のビューの明度、可視性、鮮明度、またはコントラストの低減、または該透明部分を通した環境の色の改変のうちの1つまたはそれを上回るものを含んでもよい。強調解除は、該1つまたはそれを上回る外向きに面したカメラからの画像を表示すること以外によって、不透明度または明度を増加させ、該透明部分を通した環境のビューを減衰させることを含んでもよい。
また、いくつかの頭部搭載型ディスプレイ設計では、処理電子機器は、ディスプレイと通信してもよく、処理電子機器は、画像コンテンツをユーザの視野に表示し、ディスプレイによって表示される画像コンテンツのレンダリングの増強または画像コンテンツのレンダリングの強調解除のうちの少なくとも1つを行うように構成される。増強は、コントラスト、色飽和、明度、縁可視性、不透明度、鮮明度の増加、またはディスプレイによって表示される他の画像コンテンツに対するレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含んでもよい。強調解除は、コントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の減少、またはディスプレイによって表示される他の画像コンテンツに対するレンダリングされる画像コンテンツの色またはカラーバランスの改変のうちの1つまたはそれを上回るものを含んでもよい。故に、処理電子機器は、ディスプレイによって表示される画像コンテンツのレンダリングを増強させるように構成されることができる。代替として、または加えて、処理電子機器は、該ディスプレイによって表示される画像コンテンツのレンダリングを強調解除するように構成される。処理電子機器は、ディスプレイによって表示される周囲画像コンテンツに対して、該ディスプレイによって表示される画像コンテンツのレンダリングを増強させるように構成されることができる。処理電子機器は、強調解除された画像コンテンツによって囲繞されるディスプレイによって表示される画像コンテンツに対して、ディスプレイによって表示される画像コンテンツのレンダリングを強調解除するように構成されることができる。
また、頭部搭載型ディスプレイデバイスの設計に応じて、デバイスは、ユーザの環境内のオブジェクトを結像するように構成される、1つまたはそれを上回る外向きに面したカメラと、ユーザの眼が視認している場所を判定するように構成される、1つまたはそれを上回る眼追跡センサと、ディスプレイ、外向きに面したカメラ、および眼追跡センサと通信し、該ディスプレイ上での画像コンテンツの提示を制御する、処理電子機器とを含んでもよい。処理電子機器は、画像コンテンツを該ユーザの視野に表示し、眼が指向されているオブジェクトを判定し、眼が指向されているオブジェクトのレンダリングの増強または眼が指向されているオブジェクトを囲繞するディスプレイ上の画像内の1つまたはそれを上回る特徴の強調解除のうちの少なくとも1つを行うように構成されてもよい。ディスプレイデバイスは、したがって、ユーザが合焦しているオブジェクトを識別することができ、ディスプレイ上にレンダリングされるようなそのオブジェクトを増強させ、および/またはディスプレイ上にレンダリングされる他のオブジェクトを強調解除することができる。処理電子機器は、ディスプレイ上に、ユーザが合焦しているオブジェクトを囲繞する1つまたはそれを上回る特徴を表示するが、ディスプレイ上にレンダリングされるような眼が指向されているオブジェクトを囲繞する該1つまたはそれを上回る特徴を強調解除するように構成されることができる。
前述のように、オブジェクト認識は、単に、オブジェクトおよび背景を判別することを含んでもよい。他の形態のオブジェクト認識は、オブジェクトの内容と、それと関連付けられた機能および/または特性とを識別することを含んでもよい。
様々な他の変形例および設計も、可能性として考えられる。例えば、ディスプレイシステムは、ユーザの環境内のオブジェクトを結像するように構成される、外向きに面したカメラを含んでもよい。ディスプレイシステムはさらに、本明細書(例えば、上記)に説明されるディスプレイおよび/または外向きに面したカメラと通信する、処理電子機器を含んでもよい。処理電子機器は、ユーザが車両(例えば、車)を動作中であることを判定するように構成されてもよい。処理電子機器は、ユーザの視野内のオブジェクトを増強させるように構成されてもよい。ユーザの視野内のオブジェクトを増強させることは、オブジェクトの画像コンテンツをユーザの視野内の第1の場所から第2の場所に移動させることを含んでもよい。代替として、または加えて、ユーザの視野内のオブジェクトを増強させることは、増強を伴わずに、オブジェクトのオリジナル色に対してオブジェクトの知覚される色を改変することを含んでもよい。ユーザの視野内のオブジェクトを増強させることは、表示される画像コンテンツのコントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度の増加のうちの1つまたはそれを上回るものを含んでもよい。ユーザの視野内のオブジェクトを増強させることは、部分的に透明な色をオブジェクトにわたって重畳することによって、オブジェクトをハイライトすることを含んでもよい。
強調解除もまた、潜在的に、提供されてもよい。そのような環境内の実オブジェクトの強調解除は、実オブジェクトがあまり可視ではないように、十分な明度の光を眼の中に指向することを含んでもよい。仮想オブジェクトの強調解除は、表示される仮想画像コンテンツのコントラスト、色飽和、明度、縁可視性、不透明度、または鮮明度を低減させることを含んでもよい。
設計に応じて、頭部搭載型ディスプレイデバイスは、1つまたはそれを上回るユーザ記録(例えば、実績記録)を含有するように構成される、データベースを含んでもよい。ディスプレイデバイスはまた、1つまたはそれを上回るユーザ記録に基づいて、表示される画像コンテンツの量を低減させるように構成される、処理電子機器を含んでもよい。処理電子機器は、1つまたはそれを上回るユーザ記録に基づいて、1つまたはそれを上回るシステムおよび/またはユーザアプリケーションへのユーザアクセスを可能にする場合とそうではない場合がある。そのようなアプリケーションの実施例は、電子メール、テキスト、電話コール、ソーシャルメディア接続等を含んでもよい。処理電子機器は、1つまたはそれを上回るユーザ記録に基づいて、画像コンテンツの指定される量が表示されることを可能にしてもよい。例えば、アクセス証明書の判定がない場合、ユーザは、使用されることができるアプリケーションが制限され得る。代替として、または加えて、アクセス証明書の判定がない場合、画像コンテンツの指定される量は、表示されないように制限され得る。ユーザアクセス証明書に基づいて、表示される画像コンテンツの量は、低減されてもよい。1つまたはそれを上回るユーザ記録は、限定ではないが、運転記録、事故記録、是正勧告記録、学業記録、犯罪記録、または逮捕記録のうちの少なくとも1つを含んでもよい。代替として、または加えて、記録は、ユーザの年齢の記録を含んでもよい。1つまたはそれを上回るユーザ記録に基づいて、表示される画像コンテンツの量を低減させることは、表示される画像コンテンツへのユーザアクセスを選択的に有効にすることを含んでもよい(例えば、あるアプリケーションまたは仮想コンテンツへのユーザアクセスを可能にするが、その他は可能にしない)。ある場合には、表示される画像コンテンツの量を低減させることは、画像コンテンツを全くまたは画像コンテンツを実質的に全く表示しないことを含んでもよい。
ディスプレイデバイスは、少なくとも部分的に、車両のプロセッサとの確立された通信リンクに基づいて、ユーザが車両に近接していることを判定するように構成される、処理電子機器を含んでもよい。処理電子機器は、確立された通信リンクに基づいて、表示される画像コンテンツの量を低減させるように構成されてもよい。ユーザが車両に近接していることを判定することは、ユーザが車両内に存在し、および/またはユーザが車両を動作中であることを判定することを含んでもよい。ユーザが車両を動作中であることを判定することは、ユーザが車両(例えば、車、ボート)を運転中であることを判定することを含んでもよい。処理電子機器は、部分的に、環境のセンサ、例えば、無線受信機、光学受信機のうちの1つによって受信された信号に基づいて、ユーザが車両に近接していることを判定してもよい。ユーザが車両に近接していることを判定することは、無線周波数信号の受信および/または送信もしくは赤外線信号の送信のうちの少なくとも1つを含んでもよい。処理電子機器はまた、通信リンクの確立とともに、1つまたはそれを上回る外向きに面した画像センサ(例えば、カメラ)のうちの1つによって受信された画像を使用して、ユーザが車両に近接していることを判定してもよい。確立された通信リンクに基づいて、表示される画像コンテンツの量を低減させることは、任意の画像コンテンツを表示しない、または実質的に任意の画像コンテンツを表示しないことを含んでもよい。
ディスプレイデバイスの設計に従って、ディスプレイデバイスは、ユーザの環境内のオブジェクトを結像するように構成される、外向きに面したセンサ(例えば、カメラ)を含んでもよい。ディスプレイデバイスは、オブジェクトの1つまたはそれを上回る位置を識別するように構成される、1つまたはそれを上回る環境センサを含んでもよい。ディスプレイデバイス内の処理電子機器は、ユーザが車両を動作中であるかどうかを判定するように構成されてもよい。処理電子機器は、車両がオブジェクトと衝突するおよびオブジェクトが車両と衝突するリスクのうちの少なくとも1つを判定するように構成されてもよい。代替として、または加えて、処理電子機器は、ユーザが車両内に存在すると判定される間、表示される画像コンテンツの量を低減させるように構成されることができる。設計に応じて、処理電子機器は、判定された衝突リスクに基づいて、表示される画像コンテンツの量を低減させるように構成されることができる。衝突リスクを判定することは、1つまたはそれを上回る環境センサによって識別されるオブジェクトの1つまたはそれを上回る位置に基づいて、オブジェクトおよび車両が近づきつつある率を判定することを含んでもよい。
ディスプレイの設計に従って、デバイスは、ユーザの環境内のオブジェクトを結像するように構成される、外向きに面したカメラと、ディスプレイおよび外向きに面したカメラと通信し、ディスプレイ上への画像コンテンツの提示を制御する、処理電子機器とを含んでもよい。処理電子機器は、ユーザが車両を動作中であることを判定し、ユーザの眼からの異なる距離から投影されるかのように、異なる発散量において画像コンテンツをユーザの視野に表示し、ユーザが車両を動作中であることの判定に基づいて、表示される画像コンテンツの量を低減させるように構成される。
故に、設計における様々な変形例が、可能性として考えられる。いくつかの設計では、例えば、1つまたはそれを上回るアプリケーション(例えば、ユーザアプリケーション、システムアプリケーション)の機能性および/またはそこへのアクセスならびに/もしくは表示される画像コンテンツの量は、アクセス管理システムによって管理されてもよい。アクセス管理システムは、1つまたはそれを上回るアプリケーションが使用され得る前に、および/または画像コンテンツが表示され得る前に、ログインおよび/またはパスワードを要求するように構成されてもよい。加えて、または代替として、アクセス管理システムは、システム設定に基づいて、ユーザへのアクセスを限定してもよい。アクセス管理システムは、異なるアクセス許可のセット(例えば、使用され得るアプリケーション、表示されるであろう画像コンテンツ)を与えるように構成されてもよい。アクセス許可は、「ホワイトリスト」(例えば、アプリケーションおよび/または表示される画像コンテンツが可能にされるリスト)および/または「ブラックリスト」(例えば、制限されるアプリケーションおよび/または表示される画像コンテンツのリスト)として提供されてもよい。設計に従って、アクセス管理システムは、変更されることができない、アクセス許可を有してもよい。アクセス許可は、より上位のアクセス許可によって上書きされてもよい。例えば、両親は、子供のアクセス許可を上書きしてもよい。代替として、アクセス許可は、上書き不能であってもよい。設計に応じて、緊急上書きは、あるアプリケーションおよび/または画像コンテンツへのユーザアクセス(例えば、限定されたアクセス)を可能にしてもよい。アクセス管理システムは、少なくとも部分的に、動作中の車両のタイプに基づいて、あるアプリケーションおよび/または画像コンテンツへのアクセスを付与してもよい。例えば、車の運転の間、可能にされないであろう、ある機能性は、ユーザがボートを運転するためには提供され得る。アクセス管理システムは、ユーザ記録(例えば、年齢、運転記録、学業平均値(GPA)、犯罪記録、DWD逮捕等)に基づいて、ユーザ特有のアクセス許可を付与してもよい。アクセス管理システムは、限定ではないが、車両タイプ、ユーザ、デバイス、地方管轄権の法律、上書き制御ポリシ、場所の人口密度、ユーザアクティビティの程度(例えば、ユーザが車を運転する代わりに、車内に着座している)等を含む、種々の要因に基づいて、アプリケーションおよび/または画像コンテンツへのアクセスを付与する場合とそうではない場合がある。
加えて、本明細書に説明される、ならびに/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つもしくはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクおよび用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール70、遠隔処理モジュール72、および遠隔データリポジトリ74のうちの1つまたはそれを上回るものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つもしくはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証的と見なされるべきである。
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に例示され得るが、例示される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されてもよく、例示される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および/もしくはステップが、1つもしくはそれを上回る実施形態に対していかようにも要求されること、または1つもしくはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される実施例で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の実施例の範囲内である。いくつかの場合では、実施例に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
故に、本開示は、本明細書に示される実施形態または実施例に限定されることを意図するものではなく、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。例えば、本開示内の多くの実施例は、医療分野における医療用途に対して提供されるが、ある本明細書に説明される実施形態は、様々な他の用途のため、および/または多数の他の状況において実装されてもよい。

Claims (1)

  1. 明細書に記載された発明。
JP2022039089A 2016-07-25 2022-03-14 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化 Withdrawn JP2022087104A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023111338A JP2023126317A (ja) 2016-07-25 2023-07-06 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662366599P 2016-07-25 2016-07-25
US62/366,599 2016-07-25
US201662396071P 2016-09-16 2016-09-16
US62/396,071 2016-09-16
US201662440332P 2016-12-29 2016-12-29
US62/440,332 2016-12-29
PCT/US2017/043555 WO2018022523A1 (en) 2016-07-25 2017-07-24 Imaging modification, display and visualization using augmented and virtual reality eyewear
JP2019503537A JP7182538B2 (ja) 2016-07-25 2017-07-24 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019503537A Division JP7182538B2 (ja) 2016-07-25 2017-07-24 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023111338A Division JP2023126317A (ja) 2016-07-25 2023-07-06 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Publications (1)

Publication Number Publication Date
JP2022087104A true JP2022087104A (ja) 2022-06-09

Family

ID=61016802

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019503537A Active JP7182538B2 (ja) 2016-07-25 2017-07-24 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
JP2022039089A Withdrawn JP2022087104A (ja) 2016-07-25 2022-03-14 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
JP2023111338A Pending JP2023126317A (ja) 2016-07-25 2023-07-06 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019503537A Active JP7182538B2 (ja) 2016-07-25 2017-07-24 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023111338A Pending JP2023126317A (ja) 2016-07-25 2023-07-06 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化

Country Status (9)

Country Link
US (4) US10838210B2 (ja)
EP (2) EP3488283B1 (ja)
JP (3) JP7182538B2 (ja)
KR (3) KR102461953B1 (ja)
CN (1) CN109791295A (ja)
AU (3) AU2017301435B2 (ja)
CA (1) CA3031771A1 (ja)
IL (4) IL298851B2 (ja)
WO (1) WO2018022523A1 (ja)

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11918375B2 (en) * 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
US10646289B2 (en) * 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
TWI589274B (zh) * 2016-07-05 2017-07-01 da-quan Ye 心理臨床應用的虛擬實境系統
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
WO2018052966A1 (en) * 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
EP3343957B1 (en) * 2016-12-30 2022-07-06 Nokia Technologies Oy Multimedia content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
JP7083837B2 (ja) * 2017-03-06 2022-06-13 イー インク コーポレイション カラー画像をレンダリングするための方法および装置
JP7189939B2 (ja) 2017-05-05 2022-12-14 ストライカー・ユーロピアン・オペレーションズ・リミテッド 手術ナビゲーションシステム
US11221823B2 (en) * 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
CN107272202A (zh) * 2017-06-16 2017-10-20 北京灵犀微光科技有限公司 光学装置和波导显示装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
EP3667625A4 (en) * 2017-08-09 2020-08-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US20190061617A1 (en) * 2017-08-29 2019-02-28 GM Global Technology Operations LLC Audio Control Systems And Methods Based On Driver Helmet Use
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
CA3084811A1 (en) 2017-12-10 2019-06-13 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11266849B2 (en) * 2017-12-12 2022-03-08 Eb Neuro S.P.A. Control device and a machine for interactive cerebral and bodily navigation with real-time anatomical display and control functions
US11124136B2 (en) * 2017-12-19 2021-09-21 GM Global Technology Operations LLC Controlling vehicle modules based on media content
CN111712751B (zh) 2017-12-20 2022-11-01 奇跃公司 用于增强现实观看设备的插入件
US10665023B2 (en) * 2017-12-26 2020-05-26 Disney Enterprises, Inc. System and method for providing improved augmented reality content
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11304763B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US20190246946A1 (en) * 2018-02-15 2019-08-15 Covidien Lp 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
US11417071B1 (en) 2018-02-23 2022-08-16 Red Pacs, Llc Virtual toolkit for radiologists
US11589915B2 (en) 2018-03-08 2023-02-28 Cilag Gmbh International In-the-jaw classifier based on a model
EP3764932A4 (en) * 2018-03-13 2021-05-26 Intuitive Surgical Operations, Inc. MANUAL MOVEMENT GUIDANCE PROCESSES OF MEDICAL SYSTEMS
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
EP3765943A4 (en) * 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
US10922862B2 (en) * 2018-04-05 2021-02-16 Lenovo (Singapore) Pte. Ltd. Presentation of content on headset display based on one or more condition(s)
US10872470B2 (en) 2018-04-05 2020-12-22 Lenovo (Singapore) Pte. Ltd. Presentation of content at headset display based on other display not being viewable
US10565718B2 (en) * 2018-04-18 2020-02-18 Faro Technologies, Inc. System and method of scanning an environment
US10504290B2 (en) * 2018-05-04 2019-12-10 Facebook Technologies, Llc User interface security in a virtual reality environment
US10916065B2 (en) * 2018-05-04 2021-02-09 Facebook Technologies, Llc Prevention of user interface occlusion in a virtual reality environment
JP7319303B2 (ja) * 2018-05-31 2023-08-01 マジック リープ, インコーポレイテッド レーダ頭部姿勢位置特定
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display
US20190377538A1 (en) 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
WO2019241340A1 (en) * 2018-06-12 2019-12-19 Current Lighting Solutions, Llc Integrated management of sensitive controlled environments and items contained therein
WO2019245543A1 (en) * 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US11430215B2 (en) 2018-06-20 2022-08-30 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
JP7008220B2 (ja) * 2018-06-21 2022-01-25 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
JP7026325B2 (ja) * 2018-06-21 2022-02-28 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル, インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US10991148B2 (en) * 2018-08-13 2021-04-27 Canon Medical Systems Corporation Medical image rendering method and apparatus
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ, インコーポレイテッド 患者視認システム
JP2021533940A (ja) * 2018-08-24 2021-12-09 ダグラス,デイヴィッド,バイロン 放射線科医向けの仮想ツールキット
US11030813B2 (en) * 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US11508127B2 (en) * 2018-11-13 2022-11-22 Disney Enterprises, Inc. Capturing augmented reality on a head mounted display
CN114879840A (zh) * 2018-11-23 2022-08-09 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN113330484A (zh) 2018-12-20 2021-08-31 斯纳普公司 虚拟表面修改
EP3899613A4 (en) 2018-12-21 2022-09-07 Magic Leap, Inc. AIR POCKET STRUCTURES TO PROMOTE TOTAL INTERNAL REFLECTION IN A WAVEGUIDE
US10970935B2 (en) * 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US11023769B2 (en) * 2019-01-16 2021-06-01 Lenovo (Singapore) Pte. Ltd. Modifying an image based on identifying a feature
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
WO2020191643A1 (en) 2019-03-27 2020-10-01 Intel Corporation Smart display panel apparatus and related methods
US20200315734A1 (en) * 2019-04-04 2020-10-08 The Board Of Regents Of The University Of Oklahoma Surgical Enhanced Visualization System and Method of Use
US11024096B2 (en) 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN110376737B (zh) * 2019-05-28 2022-09-30 京东方科技集团股份有限公司 光学显示系统、显示控制装置和增强现实设备
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
CN110457990B (zh) * 2019-06-19 2020-06-12 特斯联(北京)科技有限公司 一种机器学习的安防监控视频遮挡智能填补方法与系统
TW202129357A (zh) 2019-06-23 2021-08-01 以色列商魯姆斯有限公司 具有中央凹光學校正的顯示器
US10976816B2 (en) 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
WO2021011239A1 (en) * 2019-07-12 2021-01-21 Neuralink Corp. Optical coherence tomography for robotic brain surgery
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
CN110364096B (zh) * 2019-08-12 2024-04-05 张枫 一种体三维显示装置
US20210065374A1 (en) * 2019-08-26 2021-03-04 Organize Everything Inc. System and method for extracting outlines of physical objects
US11462000B2 (en) * 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
CN114286643A (zh) * 2019-10-30 2022-04-05 未艾医疗技术(深圳)有限公司 一种基于vrds ai的肝脏肿瘤和血管分析方法及相关产品
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
CN110930811B (zh) * 2019-11-11 2020-10-16 北京交通大学 一种适用于无人驾驶决策学习和训练的系统
EP4058936A4 (en) 2019-11-14 2023-05-03 Magic Leap, Inc. SYSTEMS AND METHODS FOR VIRTUAL AND AUGMENTED REALITY
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ, インコーポレイテッド 外科手術環境において使用するための視認システム
WO2021108327A1 (en) 2019-11-26 2021-06-03 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
CN110989203A (zh) * 2019-11-28 2020-04-10 四川泛华航空仪表电器有限公司 一种360度视野的眼镜及其使用方法
US20210161596A1 (en) * 2019-12-02 2021-06-03 SG Devices LLC Augmented reality display of surgical imaging
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11886001B2 (en) * 2019-12-20 2024-01-30 Snap Inc. Optical waveguide fabrication process
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11983256B2 (en) * 2019-12-31 2024-05-14 Atlassian Pty Ltd. Illumination-based user authentication
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021140886A1 (ja) * 2020-01-10 2021-07-15 パナソニックIpマネジメント株式会社 三次元モデル生成方法、情報処理装置およびプログラム
US11789688B1 (en) 2020-03-26 2023-10-17 Apple Inc. Content presentation based on environmental data
WO2021211986A1 (en) * 2020-04-17 2021-10-21 Activ Surgical, Inc. Systems and methods for enhancing medical images
US11641460B1 (en) 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11922581B2 (en) * 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US20230186574A1 (en) * 2020-05-11 2023-06-15 Intuitive Surgical Operations, Inc. Systems and methods for region-based presentation of augmented content
US20210390882A1 (en) * 2020-06-16 2021-12-16 Venu Iyengar Blind assist eyewear with geometric hazard detection
EP4172957A4 (en) 2020-06-29 2024-07-24 Snap Inc ANALYSIS OF AUGMENTED REALITY CONTENT USAGE DATA
CN111831118B (zh) * 2020-07-10 2022-12-30 清华大学 一种基于增强现实的三维脑电显示方法及其显示系统
KR20220008118A (ko) * 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
US11816887B2 (en) * 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
CN114114518A (zh) 2020-08-28 2022-03-01 中强光电股份有限公司 光波导、光波导的制作方法以及头戴式显示装置
CN112037340A (zh) * 2020-09-09 2020-12-04 中电建冀交高速公路投资发展有限公司 基于增强现实技术的隧道衬砌病害查看方法及穿戴式设备
JP7484613B2 (ja) * 2020-09-23 2024-05-16 セイコーエプソン株式会社 表示制御装置および表示制御プログラム
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
TWI756944B (zh) * 2020-11-27 2022-03-01 國立臺北科技大學 融合混增實境及虛擬實境之教學系統及其方法
CN114721497A (zh) * 2020-12-22 2022-07-08 鸿富成精密电子(成都)有限公司 基于混合现实的培训方法、电子设备及存储介质
WO2022146169A1 (en) * 2020-12-30 2022-07-07 Ringcentral, Inc., (A Delaware Corporation) System and method for noise cancellation
US11831665B2 (en) 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment
CN117043843A (zh) * 2021-01-15 2023-11-10 索尼半导体解决方案公司 图像显示设备与图像显示方法
TW202229978A (zh) * 2021-01-27 2022-08-01 美商菲絲博克科技有限公司 用於擴增實境和虛擬實境裝置的反向透視眼鏡
US11736679B2 (en) * 2021-01-27 2023-08-22 Meta Platforms Technologies, Llc Reverse pass-through glasses for augmented reality and virtual reality devices
JP2022133176A (ja) * 2021-03-01 2022-09-13 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11669159B2 (en) * 2021-03-22 2023-06-06 Microsoft Technology Licensing, Llc Eye tracker illumination through a waveguide
CN112734939A (zh) * 2021-03-23 2021-04-30 济南浪潮高新科技投资发展有限公司 基于ar可穿戴设备和视觉拥挤神经机制的优化显示方法
JP7345866B2 (ja) * 2021-03-23 2023-09-19 国立大学法人 東京大学 情報処理システム、情報処理方法及びプログラム
CN113297723B (zh) * 2021-04-22 2022-11-08 哈尔滨理工大学 基于均值漂移-灰色关联分析的电主轴温度测点优化方法
KR20240004999A (ko) * 2021-05-07 2024-01-11 스냅 인코포레이티드 증강 현실 체험들을 위한 가상 시음 및 가이드 투어들
CN113297789B (zh) * 2021-05-17 2024-03-19 南京大学 一种基于机器学习的声涡旋分束器设计方法
CN115373064A (zh) 2021-05-20 2022-11-22 中强光电股份有限公司 光波导
US20220374543A1 (en) * 2021-05-24 2022-11-24 Samsung Electronics Co., Ltd. Method and apparatus for removing privacy sensitive objects in an augmented reality system
KR102615906B1 (ko) * 2021-07-16 2023-12-21 고려대학교 산학협력단 의료 환경의 가상 현실을 구현하기 위한 전자 장치
WO2023009853A1 (en) * 2021-07-29 2023-02-02 Meta Platforms Technologies, Llc User interface to select field of view of a camera in smart glasses
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US12014465B2 (en) 2022-01-06 2024-06-18 Htc Corporation Tracking system and method
US20230239707A1 (en) * 2022-01-24 2023-07-27 Qualcomm Incorporated Wireless communication techniques employing beamforming based on spatial relationship to human tissue
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
US12005919B2 (en) * 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
WO2023205145A1 (en) * 2022-04-18 2023-10-26 Mobeus Industries, Inc. Interactive reality computing experience using multi-layer projections to create an illusion of depth
WO2024145341A1 (en) * 2022-12-29 2024-07-04 Intuitive Surgical Operations, Inc. Systems and methods for generating 3d navigation interfaces for medical procedures
CN117541471B (zh) * 2023-11-09 2024-06-07 西安电子科技大学 基于sph启发的pg-spect图像超分辨重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211651A (ja) * 2003-06-30 2014-11-13 イー インク コーポレイション 電気光学ディスプレイを駆動するための方法
WO2015081313A2 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
JP3058004B2 (ja) * 1994-03-23 2000-07-04 キヤノン株式会社 目視制御画像表示装置
US5913079A (en) * 1995-07-31 1999-06-15 Canon Kabushiki Kaisha Optical apparatus having a line of sight detection device
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP3492942B2 (ja) 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
DE10331592A1 (de) * 2003-07-08 2005-02-03 Carl Zeiss Meditec Ag Augenuntersuchungsgerät
JP4281462B2 (ja) 2003-08-08 2009-06-17 日産自動車株式会社 車両用表示装置
US8778022B2 (en) 2004-11-02 2014-07-15 E-Vision Smart Optics Inc. Electro-active intraocular lenses
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP5036177B2 (ja) 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
EP1966767A2 (en) * 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2009288529A (ja) 2008-05-29 2009-12-10 Keio Gijuku 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム
ES2459440T3 (es) 2008-07-11 2014-05-09 Tomtom Global Content B.V. Aparato y método para presentar una vista de cruce
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8482562B2 (en) 2009-12-03 2013-07-09 International Business Machines Corporation Vision-based computer control
US8847972B2 (en) * 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
EP2383695A1 (en) * 2010-04-28 2011-11-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Apparent display resolution enhancement for moving images
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
KR101890328B1 (ko) 2010-12-24 2018-08-21 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
DE102011015136A1 (de) * 2011-03-25 2012-09-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Bestimmen einer Darstellung digitaler Objekte in einem dreidimensionalen Darstellungsraum
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US8988474B2 (en) 2011-07-18 2015-03-24 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
CA3164530C (en) 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元仮想現実および拡張現実表示システム
WO2013085193A1 (ko) 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
CA3111134A1 (en) 2012-04-05 2013-10-10 Magic Leap, Inc. Wide-field of view (fov) imaging devices with active foveation capability
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
EP2847648A4 (en) 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
CN107817555A (zh) 2012-06-11 2018-03-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9247779B1 (en) * 2012-11-08 2016-02-02 Peter Aloumanis Enhanced global positioning system (GPS) based functionality for helmets
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
JP6375591B2 (ja) 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
GB201301958D0 (en) * 2013-02-04 2013-03-20 Polyphotonix Ltd Medical apparatus,system and method
US9030103B2 (en) 2013-02-08 2015-05-12 Cree, Inc. Solid state light emitting devices including adjustable scotopic / photopic ratio
IL308285B1 (en) 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
CA3160567A1 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US9596508B2 (en) * 2013-03-15 2017-03-14 Sony Corporation Device for acquisition of viewer interest when viewing content
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9965062B2 (en) 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
CA2927818C (en) 2013-10-16 2021-11-30 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
WO2015077766A1 (en) * 2013-11-25 2015-05-28 Pcms Holdings, Inc. Systems and methods for providing augmenting reality information associated with signage
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
TWI516804B (zh) * 2014-01-02 2016-01-11 廣達電腦股份有限公司 頭戴式顯示裝置及其背光調整方法
US9651784B2 (en) * 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
KR102207799B1 (ko) 2014-01-31 2021-01-26 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20150317956A1 (en) * 2014-04-30 2015-11-05 International Business Machines Corporation Head mounted display utilizing compressed imagery in the visual periphery
EP3140780B1 (en) * 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
US9472023B2 (en) * 2014-10-06 2016-10-18 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
JP6277933B2 (ja) * 2014-10-10 2018-02-14 株式会社デンソー 表示制御装置、表示システム
US10539788B2 (en) 2014-10-21 2020-01-21 Signify Holding B.V. System, method and computer program for hands-free configuration of a luminous distribution
US20160131905A1 (en) 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
US10121063B2 (en) 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
CN107645921B (zh) 2015-03-16 2021-06-22 奇跃公司 用于诊断和治疗健康疾病的方法和系统
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10241350B1 (en) * 2015-07-06 2019-03-26 Peter Davis Poulsen Mapping a central visual field onto a peripheral visual sensor
IL307648A (en) 2015-10-20 2023-12-01 Magic Leap Inc Selection of virtual objects in three-dimensional space
CN108605120A (zh) * 2016-01-29 2018-09-28 惠普发展公司,有限责任合伙企业 基于关于显示器的眼调节的观看设备调整
AU2017264695B2 (en) 2016-05-09 2022-03-31 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
AU2017301435B2 (en) 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
EP3488284B1 (en) 2016-07-25 2023-06-28 Magic Leap, Inc. Light field processor system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211651A (ja) * 2003-06-30 2014-11-13 イー インク コーポレイション 電気光学ディスプレイを駆動するための方法
WO2015081313A2 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods

Also Published As

Publication number Publication date
IL264350A (en) 2019-02-28
IL292427A (en) 2022-06-01
KR102461953B1 (ko) 2022-10-31
CA3031771A1 (en) 2018-02-01
NZ750172A (en) 2023-08-25
AU2017301435A1 (en) 2019-02-07
IL298851B1 (en) 2023-08-01
IL298851A (en) 2023-02-01
US20240053612A1 (en) 2024-02-15
US20220107502A1 (en) 2022-04-07
IL292427B2 (en) 2023-05-01
IL304145A (en) 2023-09-01
EP3488283B1 (en) 2024-02-14
EP3488283A1 (en) 2019-05-29
AU2023214273A1 (en) 2023-08-31
IL264350B (en) 2022-06-01
IL298851B2 (en) 2023-12-01
KR20190027930A (ko) 2019-03-15
KR102577634B1 (ko) 2023-09-11
EP3488283A4 (en) 2020-04-08
EP4345831A2 (en) 2024-04-03
AU2017301435B2 (en) 2022-07-14
CN109791295A (zh) 2019-05-21
US11327312B2 (en) 2022-05-10
US20190011703A1 (en) 2019-01-10
JP2019533824A (ja) 2019-11-21
JP7182538B2 (ja) 2022-12-02
KR20220149632A (ko) 2022-11-08
KR20230133940A (ko) 2023-09-19
AU2022252723A1 (en) 2022-11-03
JP2023126317A (ja) 2023-09-07
EP4345831A3 (en) 2024-04-24
US11808943B2 (en) 2023-11-07
US20200183171A1 (en) 2020-06-11
IL292427B1 (en) 2023-01-01
US10838210B2 (en) 2020-11-17
AU2022252723B2 (en) 2023-08-24
WO2018022523A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
US11808943B2 (en) Imaging modification, display and visualization using augmented and virtual reality eyewear
US11195340B2 (en) Systems and methods for rendering immersive environments
EP3709861B1 (en) Systems for visual field analysis
JP7021110B2 (ja) ユーザ健康分析のための拡張現実システムおよび方法
CN112584789A (zh) 具有配准虚拟模型的物理标记的混合现实外科手术系统
CN116230153A (zh) 医疗助理
CN109788901A (zh) 光场处理器系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20231207