CN115867238A - 视觉辅助 - Google Patents

视觉辅助 Download PDF

Info

Publication number
CN115867238A
CN115867238A CN202180050355.XA CN202180050355A CN115867238A CN 115867238 A CN115867238 A CN 115867238A CN 202180050355 A CN202180050355 A CN 202180050355A CN 115867238 A CN115867238 A CN 115867238A
Authority
CN
China
Prior art keywords
viewer
image
view
field
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180050355.XA
Other languages
English (en)
Inventor
J·M·阿舍
P·B·希巴德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Essex Enterprises Ltd
Original Assignee
University of Essex Enterprises Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Essex Enterprises Ltd filed Critical University of Essex Enterprises Ltd
Publication of CN115867238A publication Critical patent/CN115867238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

公开了一种方法、装置和计算机程序。方法包括：从与所述场景的图像相关联的图像数据中选择图像数据的子集，所述图像数据的子集指示在观看者的视野的至少一个遮蔽区域中的场景的特征，在所述遮蔽区域中所述视野是被遮蔽的；以及在位于所述视野中的至少一个显示屏上显示基于所选择的图像数据的子集而生成的至少一个观看者支持图像，其中，所述观看者支持图像显示在所述显示屏上，使得所述观看者支持图像出现在所述视野中的预定区域中，所述预定区域与所述视野中的遮蔽区域间隔开。

Description

视觉辅助
本发明涉及一种帮助为场景的观看者提供视觉辅助的方法和装置。具体地但非排他地，本发明涉及一种在显示屏幕上提供观看者支持图像的方法和设备，该图像可被场景的观看者观看，并且包含关于观看者视野中遮蔽区域中的场景的特征。
已知对于人类或动物使用者来说，拥有真实场景的清晰或有意义的视野有时是有帮助的。这种视野有时会以某些方式被遮蔽。例如，物件被放置在覆盖部分场景的位置上。或者，健康问题可干扰眼睛的正常功能。
还已知有时人类或动物观看者可能希望观看非真实场景，例如通过计算机程序生成的房间或空间。由此方式生成的场景的遮蔽部分会妨碍享受或导致风险。
就可能导致场景的某个区域被遮蔽的可能健康问题而言，这些问题可能是先天性的，也可能是由改变生活的事件引起的。例如，每年，英国约有152000人患有中风(每五分钟超过一人)，全球约有1700万首次病例。英国大约有120万中风幸存者，全球大约有8000万中风幸存者。视觉问题是中风最常见和最使人衰弱的后果，仅次于手臂或腿的衰弱。视觉问题包括视野中某些区域的丧失。据估计，视野缺陷会影响20％到57％的中风患者。这些视力问题被认为报告不足，因此患病率可能高于这一估计值。视野丧失的程度因人而异。如果这影响到视野的一半，它被称为偏盲(hemianopia)。如果这是每只眼睛的同侧，它被称为同侧偏盲。
与运动皮层受损的中风患者可用的强化治疗相比，视觉皮层的皮质损伤被认为是永久性的，只有有限的治疗可帮助恢复失去的视力。因此，对有视力问题的中风幸存者的护理非常有限。失明的影响，无论是因中风还是其他成因，对日常生活都有极大的破坏性，严重损害阅读、行动、独立性和参与康复的能力，并造成抑郁和焦虑。现有的干预措施可分为复原、补偿和替代。
复原是试图帮助恢复缺失的视野。这些干预措施包括知觉训练——重复观察和对简单视觉刺激的反应，以减少丢失视野的大小或增加已减少的视野的对比敏感度。训练也用于改善双眼视象融合，双眼视象融合可能由于视野丧失而受损，导致复视(double-vision)和缺乏双眼深度知觉。复原还包括重复刺激受损的视野，试图重新激活大脑的相应视觉区域。虽然这些研究取得了一些有希望的结果，但目前还没有足够的证据对它们的有效性得出结论。因此，复原疗法不能为目前生活在视野丧失影响下的人提供解决方案。
补偿干预的目的不是以任何方式减少视野缺损，而是训练人们最大限度地利用他们剩余的视力。这包括训练快速扫视的眼球运动、视觉搜索策略、阅读时的眼球运动和在日常活动中利用诸如颜色等线索的新策略。所有这些的重点是改变视力未受损害时生活形成的策略，使得它们可针对那个人的新视野进行优化。
替代干预利用光学设备或改变环境来改善视觉功能。这些包括在眼镜中使用光学棱镜，其作用是偏移视野，以及使用助视器来引导眼球运动以便于阅读。然而，基于诸如菲涅耳棱镜(Fresnel prisms)形式的固定的、简单的光学器件的替代会导致数个问题。例如，当棱镜用于视野扩展时，该装置会产生由棱镜光学器件引起的视觉失真、非连贯的视野、视野位置和视觉方向之间的不正确对应、通过顶端暗点的一些视觉信息的损失、潜在的复视和视觉混乱。因此，很少有证据表明棱镜提供有效的替代。至多，有证据表明，棱镜对日常生活(包括阅读)或生活质量没有影响，尽管有证据表明扫视能力有所提高。更令人担忧的是，有证据表明会产生副作用，包括头痛。此外，固定的、简单的光学器件的影响总是存在于视野中，并且不能被开启和关闭或调整大小。
本发明的目的是至少部分地减轻上述问题的自己至少一个。
本发明的某些实施例的目的是帮助向场景的观看者提供视觉辅助。
本发明的某些实施例的目的是帮助向场景的观看者提供图像，该图像包含有关位于观看者视野遮蔽区域中的场景的信息。
本发明的某些实施例的目的是向观看者提供视觉辅助，该视觉辅助有助于向观看者提供视野中被遮蔽的有关现实生活场景或计算机生成(即虚拟)场景的特征的信息。
本发明的某些实施例的目的是有助于向场景的观看者提供观看者视野中的图像，同时限制观看者视野的光学失真并防止视觉混乱。
本发明的某些实施例的目的是有助于向观看者提供场景的图像，该图像指示观看者视野中遮蔽区域中的场景的特征，并且可被视为在3D空间中具有明确指定位置的独特对象。与表征棱镜影响的视觉重映射(remapping of the field)和视觉混乱的组合相比，这是有益的。
本发明的某些实施例的目的是有助于向场景的观看者提供在他们视野中场景的图像，该图像具有可实时操纵的对比度、锐度、亮度、透明度、尺寸和位置。这有助于允许在相同的视觉方向上看到显示屏和真实世界(并且没有空间混淆，因为双目视差将明确地限定屏幕在3D空间中的位置)。
根据本发明的第一方面，提供了一种向场景的观看者提供视觉辅助的方法，包括以下步骤：从与场景的图像相关联的图像数据中选择图像数据的子集，所述图像数据的子集指示在观看者的视野中的至少一个遮蔽区域中的场景的特征，在所述遮蔽区域中，所述视野是被遮蔽的；以及在位于所述视野中的至少一个显示屏上显示基于所述所选择的图像数据的子集而生成的至少一个观看者支持图像，其中，所述观看者支持图像显示在所述显示屏上，使得所述观看者支持图像出现在所述视野中的预定区域中，所述预定区域与所述视野中的遮蔽区域间隔开。
适当地，所述至少一个显示屏设置为提供立体显示屏。
适当地，所述遮蔽区域是所述视野中的模糊区域或盲区。
适当地，所述方法还包括响应于观看者的预选输入，确定所述预定区域。
适当地，所述视野中的遮蔽区域是由于观看者的视力缺陷而出现的视觉受损区域。
适当地，对于每个相应的观看者来说，每个遮蔽区域都位于所述视野中的恒定位置。
适当地，所述方法还包括通过选择指示在所述遮蔽区域中和在所述视野的至少部分围绕所述遮蔽区域的至少一个周围区域中场景的特征的图像数据，选择所述图像数据的子集。
适当地，所述方法还包括响应于访问至少一个存储元件，选择所述图像数据的子集，所述至少一个存储元件存储表示所述视野中遮蔽区域的坐标集合的一个或多个记录。
适当地，所述观看者支持图像占据所述视野中的可见区域，所述可见区域是观看者的总视野的1％至50％。
适当地，所述观看者支持图像的透明度在0％至100％的值之间可调节。
适当地，所述观看者支持图像的对比度和/或锐度可调节。
适当地，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可调节。
适当地，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可实时调节。
适当地，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度可通过移动应用和/或观看者的设备特定控制和/或通过观看者的手势和/或语音控制来调整。
适当地，所述方法还包括通过支撑显示屏的抬头显示器在观看者前方设置显示屏；并且可选地，其中，所述抬头显示器是增强现实耳机。
适当地，所述方法还包括在位于观看者左眼前方的第一显示屏和位于观看者右眼前方的第二显示屏上，显示所述观看者支持图像；以及在所述第一和第二显示屏的不同区域中显示所述观看者支持图像，从而提供深度感知。
适当地，所述方法还包括在所述显示屏上显示所述场景的图像，使得所述图像基本上占据所述视野的全部；以及将所述观看者支持图像覆盖在所述场景的显示图像上。
适当地，所述方法还包括在至少一个部分透明的显示屏上显示所述观看者支持图像，使得经由观看者的眼睛和所述场景之间的直接视线，提供在所述视野中与所述观看者支持图像相关联的区域之外的剩余视野。
适当地，所述场景是真实场景或虚拟场景。
适当地，所述方法还包括经由至少一个图像捕获设备，捕获场景的至少一个图像；以及从与所述捕获图像相关联的图像数据，选择所述图像数据的子集。
适当地，所述至少一个捕获图像是包括多个捕获图像的视频馈送，并且对于每个捕获图像，显示在显示屏上的所述观看者支持图像被逐帧更新。
适当地，所述图像捕获设备是摄像机、数码相机等。
适当地，该方法还包括通过耳机提供所述图像捕获设备，所述耳机支撑所述图像捕获设备并被固定到观看者的头部。
根据本发明的第二方面，提供了一种用于向场景的观看者提供视觉辅助的装置，包括：至少一个处理器，配置为从与所述场景的图像相关联的图像数据中选择图像数据的子集，所述图像数据的子集指示在观看者的视野中的至少一个遮蔽区域中的场景的特征，在所述遮蔽区域中，所述视野是被遮蔽的；以及至少一个显示屏，位于所述视野中，显示基于所述所选择的图像数据的子集而生成的至少一个观看者支持图像，其中，所述观看者支持图像显示在所述显示屏上，使得所述观看者支持图像出现在所述视野中的预定区域中，所述预定区域与所述视野中的遮蔽区域间隔开。
适当地，所述至少一个显示屏设置为提供立体显示屏。
适当地，所述遮蔽区域是所述视野中的模糊区域或盲区。
适当地，所述处理器配置为响应于观看者的预选输入，确定所述预定区域。
适当地，所述视野中的遮蔽区域是由于观看者的视力缺陷而出现的视觉受损区域。
适当地，对于每个相应的观看者来说，每个遮蔽区域都位于所述视野中的恒定位置。
适当地，所述处理器配置为通过选择指示在所述遮蔽区域在和在所述视野的至少部分围绕所述遮蔽区域的至少一个周围区域中场景的特征的图像数据，选择所述图像数据的子集。
适当地，所述装置还包括至少一个存储元件，存储表示所述视野中遮蔽区域的坐标集合的一个或多个记录；并且其中，所述处理器配置为响应于访问存储元件，选择所述图像数据的子集。
适当地，所述观看者支持图像占据所述视野中的可见区域，所述可见区域是观看者的总视野的1％至50％。
适当地，所述观看者支持图像的透明度在0％至100％的值之间可调节。
适当地，所述观看者支持图像的对比度和/或锐度可调节。
适当地，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可调节。
适当地，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可实时调节。
适当地，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度可通过移动应用和/或观看者的设备特定控制和/或通过观看者的手势和/或语音控制来调整。
适当地，所述显示屏通过支撑显示屏的抬头显示器设置在观看者面前；并且可选地，其中抬头显示器是增强现实耳机。
适当地，所述观看者支持图像在位于观看者左眼前方的第一显示屏和位于观看者右眼前方的第二显示屏上显示；并且其中，所述观看者支持图像在所述第一和第二显示屏的不同区域中显示，从而提供深度感知。
适当地，所述显示屏是至少部分透明的。
适当地，所述显示屏显示所述场景的图像，使得所述图像基本上占据所述视野的全部；并且其中，所述观看者支持图像被覆盖在所述场景的显示图像上。
适当地，所述显示屏是至少部分透明的，并且显示所述观看者支持图像，使得经由观看者的眼睛和所述场景之间的直接视线，提供在所述视野中与所述观看者支持图像相关联的区域之外的剩余视野。
适当地，所述场景是真实场景或虚拟场景。
适当地，所述装置还包括：至少一个图像捕获设备，配置为捕获场景的至少一个图像；其中，所述处理器配置为从与所述捕获图像相关联的图像数据，选择所述图像数据的子集。
适当地，所述至少一个捕获图像是包括多个捕获图像的视频馈送，并且其中，可选地，显示在显示屏上的所述观看者支持图像被逐帧更新。
适当地，所述图像捕获设备是摄像机、数码相机等。
适当地，所述图像捕获设备通过耳机提供，所述耳机支撑图像捕获设备并被固定到观看者的头部。
根据本发明的第三方面，提供了一种计算机程序，所述计算机程序包括指令，当所述计算机程序由计算机执行时，所述指令致使所述计算机执行根据本发明第一方面的方法。
本发明的某些实施例有助于向场景的观看者提供视觉辅助。
本发明的某些实施例有助于向场景的观看者提供包含有关出现在观看者视野的遮蔽区域中的场景的信息的图像。
本发明的某些实施例有助于向场景的观看者提供观看者视野中的图像，这有助于限制观看者视野的光学失真，从而有助于防止视觉混乱。
本发明的某些实施例有助于向观看者提供场景的图像，该图像指示观看者视野中遮蔽区域中的场景的特征，并且可被视为在3D空间中具有明确指定位置的独特对象。与表征棱镜影响的视觉重映射和视觉混乱的组合相比，这是有益的。
本发明的某些实施例有助于向场景的观看者提供他们视野中场景的图像，该图像的对比度、锐度、亮度、透明度、大小和位置可被实时操纵。这有助于允许在相同的视觉方向上看到显示屏和真实世界(并且没有空间混淆，因为双目视差将明确地定义屏幕在3D空间中的位置)。
本发明的某些实施例向观看者提供了视觉辅助，该视觉辅助有助于向观看者提供有关视野被遮蔽的现实生活场景或计算机生成的(即虚拟的)场景的特征的信息。
下文将参照附图，通过仅作为示例的方式描述本发明的某些实施例，其中：
图1示出了用于提供视觉辅助的系统；
图2示出了在具有视力缺陷的观看者的视野中显示的观看者支持图像；
图3示出了佩戴头戴式设备的观看者，该设备可实时提供视觉辅助；
图4A示出了直接观看现实生活场景和通过显示屏观看视觉辅助的观看者的眼睛；
图4B示出了通过显示屏观看现实生活场景和视觉辅助的观看者的眼睛；
图5示出了场景中的视觉特征的角位置和摄像机传感器上的视觉特征的位置之间的关系；
图6示出了观看者的遮蔽区域在水平和垂直方向上的角宽度，以及观看者支持图像的角宽度；
图7示出了观看者支持图像在位于观看者左眼和右眼前方的单独显示屏上的定位；
图8示出了包括呈现给观看者的屏幕集合的示例，示出了不被遮蔽的屏幕、被遮蔽的屏幕和具有观看者支持图像的被遮蔽的屏幕；
图9示出了执行图8所示实验性示例的结果；以及
图10示出了具有盲区的观看者的视野的例子。
在附图中，相同的附图标记表示相同的部件。
图1示出了可提供视觉辅助的系统100的某些元件。系统100包括增强现实耳机102和移动设备104。增强现实耳机102包括多个处理器110、多个存储元件120、两个显示屏130、三个摄像机140和无线接口150。耳机102可包括对本领域技术人员来说显而易见的附加特征，例如头部支架、透镜、电源等，尽管出于理解本发明的目的，这些特征没有被示出。作为示例，如本领域技术人员将理解的，耳机102可以是微软HoloLens 2或类似的增强现实耳机。
图1所示的耳机102可固定到观看者的头部，使得第一显示屏130位于观看者的左眼前方，第二显示屏130位于观看者的右眼前方。然而，根据本发明的某些其他实施例，可仅使用一个显示屏，该显示屏例如可以是仅在观看者的一只眼睛前方延伸或者在观看者的左眼和右眼前方延伸的单一显示屏(unitary display screen)。显示屏130可向观看者显示图像，使得图像出现在观看者的视野中，因此观看者能够观察到所显示的图像。在关于图1示出和公开的系统中，显示屏被设置为向观看者的左眼和右眼显示不同的图像，使得它们一起形成立体显示屏。这有助于允许两个显示屏通过用于双目视觉的立体视觉向观看者传递深度感知。然而，应当理解的是，根据本发明的某些其他实施例，可使用其他类型的显示屏。例如，在某些实施例中，可为单目视觉只提供一个显示屏。这可能是必要的，例如当观看者只有一只眼睛的视觉时。显示屏可以是LED显示屏、LCD显示屏、QLED显示屏、OLED显示屏等。图1所示的显示屏是部分透明的，使得观看者能够直接观看显示屏远端的场景。换句话说，来自现实生活场景的光可穿过显示屏并进入观看者的眼睛。可替代地，根据本发明的某些其他实施例，显示屏可以不是透明的，但是可以是半透明或不透明的，使得基本上不允许光穿过显示屏。在这些替代实施例中，现实生活场景的图像将改为在显示屏上显示给观看者，使得观看者的视野主要被显示屏上的场景图像占据。然后，观看者通过观看显示屏来观看场景。作为另一种选择，计算机生成的或虚拟场景的图像可显示在显示屏上，而不是现实生活场景的图像。例如，这种计算机生成的场景可在训练观看者如何使用被配置为显示观看者支持图像的增强现实耳机或显示屏时使用。
在图1所示的系统中，摄像机140被固定到头戴式耳机102上，从而可捕获观看者正在观看的场景的图像。摄像机是图像捕获设备的示例。可替代地，如本领域的技术人员将理解的，图像捕获设备140可以是可捕获场景的图像的任何其它类型的相机。此外，应当理解的是，耳机上的不同的图像捕获装置不一定需要是相同类型的图像捕获装置。摄像机140位于耳机上，使得摄像机捕获的视野基本上对应于观看者的视野。摄像机140能够捕获出现在摄像机视野中的场景的图像。然后，摄像机140可以将与捕获的图像相关联的图像数据传输到处理器110，以便处理器操作图像数据和/或将图像数据传输到显示屏，从而捕获的图像的全部或部分可显示在一个显示屏或两个显示屏130上。本领域的技术人员将理解的是，执行图像数据操作和/或传输图像数据的处理器不一定是如图1中所示的与摄像机140分离的处理器，而是可以是与摄像机140中的任一者集成的处理器，或者可以是作为移动设备104的部分的处理器，如下文将更详细论述。还应当理解的是，在本发明的某些其他实施例中，可使用任何数量的摄像机，包括仅一个摄像机。例如，可利用大约位于观看者左眼和右眼中间的单个摄像机，或者可利用与佩戴耳机的观看者的每只眼睛相关联的摄像机。在图1所示的系统中，一个摄像机位于左眼附近，一个摄像机位于右眼附近，一个摄像机位于左右眼的大致中间。此外，虽然图1中所示的系统已经针对由摄像机提供的真实场景的捕获图像进行了描述，但是应当理解的是，本发明的某些其他实施例可能不需要摄像机或任何其他图像捕获设备。例如，在本发明的某些其他实施例中，观看者可能正在观看虚拟场景(例如通过虚拟现实耳机(VR headset))，并且与虚拟场景相关联的图像可能不一定需要由任何图像捕获设备捕获，而是可以经由可在计算机上执行的计算机程序直接渲染在显示屏上。换句话说，观看者将看到计算机生成的场景图像。
如上所述，图1所示的耳机102具有多个处理器110，并包括CPU和GPU。然而，根据本发明的某些其他实施例，耳机可仅包括单个处理器，例如CPU或GPU。然而，应当理解的是，可使用任何数量的处理器，包括仅一个处理器，如本领域技术人员将理解的。处理器110可接收与由一个(或多个)摄像机140捕获的图像相关联的图像数据，并操作该图像数据以创建观看者支持图像。例如，处理器110可与存储元件120通信，以访问一个或多个记录，该记录指示与观看者视野中存在的遮蔽区域相关联的坐标集合。例如，遮蔽区域可以是观看者的视野受到视觉损害的区域。这些坐标可通过标准的验光测试而确定，例如视野检查评估，该评估确定对于该特定观看者来说观看者视野中受损的位置。然后，这些确定的坐标存储在存储元件中。可替代地，对观看者视野中受损区域的评估可通过使用增强现实耳机并使用该耳机进行视力测试来确定。在本发明的某些其他实施例中，观看者可改为具体选择他们视野中被遮蔽的区域，并将该区域设置为遮蔽区域。该遮蔽区域可根据特定观看者的需要进行设置和重新设置。例如，观看者可指定场景中在视野之外或不可见的区域，并将该区域设置为遮蔽区域。
处理器110选择与所捕获的图像相关联的图像数据的子集，该子集指示遮蔽区域中的场景的特征。然后，图像数据的子集用于生成观看者支持图像。因此，应当理解的是，观看者支持图像包含有关观看者的视野区域中的场景的视觉信息，该视觉信息对于观看者是不可见的或者观看者由于他们的视觉受损而不能清楚地看到。因此，观看者支持图像可作为视觉辅助。本领域技术人员还将理解的是，摄像机140和/或处理器110和/或显示屏130可帮助生成观看者支持图像。生成的观看者支持图像可显示在每个显示屏130上，使得观看者可在他们的视野中观看。例如，观看者支持图像显示在视野的区域中，该区域与和视野的遮蔽区域相关联的区域间隔开。与观看者支持图像相关联的区域之外的视野的剩余部分可通过观看者的眼睛和场景之间的直接视线来提供，在这种情况下，显示屏将是至少部分透明的，以允许来自场景的光穿过显示屏并进入观看者的眼睛，从而照射到观看者的视网膜上。这种配置可被称为光学透视(optical see through)和/或混合现实视图(mixed realityview)。可替代地，场景的原始图像(或其边缘尺寸调整的版本)可显示在位于观看者眼睛前方的显示屏的基本全部范围上，使得观看者观察显示屏上的场景图像，而不是直接观看场景本身。在这种情况下，观看者支持图像可覆盖在原始图像上，使得与观看者支持图像相关联的区域之外的剩余视野由显示在显示屏上的原始捕获图像提供。该配置可被称为视频透视(video see through)和/或虚拟现实视图(virtual reality view)。
包括指令的计算机程序可由计算机(例如耳机102)执行，以实施一种方法，该方法包括以下步骤：从场景的图像中选择图像数据的子集，该图像数据的子集指示观看者的视野中的遮蔽区域中的场景的特征。该方法还可包括在显示屏上位于观看者视野内并与遮蔽区域间隔开的预定区域中，显示观看者支持图像。
转向图1所示的移动设备104，将会看到该移动设备还包括多个处理器160、多个存储元件170和无线接口180。应当理解的是，移动设备还可包括一个或多个显示屏(未示出)。此外，移动设备104可包括对本领域技术人员来说显而易见的附加特征，例如电源、键盘、触摸屏等，尽管出于理解本发明的目的，这些特征没有被示出。在图1所示的系统中，移动设备104是移动电话。然而，根据本发明的某些其他实施例，移动设备可改为平板电脑、膝上型电脑、PC等。佩戴耳机102的观看者可使用移动设备104来控制显示屏130上显示的观看者支持图像的某些方面。例如，移动设备的存储元件170可存储移动应用程序(未示出)，当在处理器160上运行时，该移动应用程序使得观看者能够与移动应用程序交互，以控制观看者支持图像。例如，在图1所示的系统中，观看者可经由移动设备的触摸屏(未示出)或者经由键盘(未示出)提供用户输入，以与移动应用交互。本领域的技术人员还将理解其它用户输入，例如语音控制和/或可由与耳机102相关联的摄像机140和/或与移动设备104相关联的成像设备(未示出)检测的手势。在输入用户输入时，处理器160使得移动设备经由无线接口180向耳机传输命令。该命令由耳机102的相应无线接口150接收，然后被传递给实施该命令的处理器110。此外，本领域的技术人员将理解的是，可在耳机与移动设备之间使用任何通信方法。例如，耳机102和移动设备104可经由有线接口连接。
由观看者提供的用户输入可引起对观看者支持图像的各种调节。例如，观看者可调节观看者支持图像在观看者视野中的位置，这将因此导致图像在显示屏130上显示的位置被调节。
观看者也可调节观看者支持图像的大小。换句话说，观看者可在观看者的视野中，调节观看者支持图像的可视区域。例如，观看者可在观看者总视野的1％到50％的值之间，调节支持图像所占据的区域。例如，在观看者支持图像的原始宽度和高度(如在照相机的图像传感器上捕获的)分别是W0和H0像素，并且(观看者支持图像的)期望宽度和高度分别是W1和H1的情况下，可使用双线性插值，由此在调整大小的图像中的每个像素位置(xi，yi)经由以下等式被用于计算原始图像中的像素位置(xj，yj)：
Figure BDA0004079230590000091
然后使用下面的等式：
Figure BDA0004079230590000092
x1＝x0+1/>
Figure BDA0004079230590000093
y1＝y0+1
距离p＝yj-y0和q＝xj-x0以及调整大小的图像中的像素强度值I1(xi，yi)由原始图像强度I0确定如下：
I1(xi,yi)＝(1-p)(1-q)I0(x0,y0)+(1-p)qI0(x1,y0)+(1-q)pI0(x0,y1)+pqI0(x1,y1)
将会理解的是，可使用用于调整图像大小的其他算法。
观看者也可增强观看者支持图像的边缘。例如，可使用诸如反锐化掩模(unsharpmasking)的锐化算法来增强边缘。例如，可通过用具有标准差s的高斯滤波器(Gaussianfilter)对原始观看者支持图像O进行卷积，修改原始观看者支持图像O，以创建支持图像的模糊版本B。因此，可以通过S0＝O+A(O-B)获取此时初始锐化图像S0，其中A是增强的量。然后，通过应用阈值T获得最终锐化图像S。例如，对于图像中的每个像素，计算原始图像和初始锐化图像中的像素值之间的差值，如果差值的大小大于阈值T，则最终锐化图像S中的像素值是在S0中的值。否则，原始图像O中的像素值将用于锐化图像S中。
观看者支持图像的对比度也可被调节。对比度的一个示例度量是迈克尔逊对比度(Michelson contrast)，它是图像中最亮和最暗像素之间的亮度差。然而，应当理解的是，其他对比度度量也是可用的。最低和最高强度值分别指定为LMIN和LMAX。为帮助最大化支持图像的对比度，亮度强度值被缩放，使得最暗的可能像素强度值为0，最高的可能像素强度值为1。然后，对于每个像素，其原始亮度强度L0遵循以下等式被重新缩放到新值L1：
Figure BDA0004079230590000101
然后可如下调制观看者支持图像中的整体对比度和亮度。如果原始观看者支持图像被指定为P0并且P0中所有像素的平均值为Pmean，则亮度和对比度可根据以下等式变化以产生调制的观看者支持图像P1：
P1＝M+C(P0-Pmean)
其中M是所得图像的平均亮度，C是对比度增益。
观看者也可在0％和100％的值之间调节支持图像的透明度。这可能是所希望的，因为观看者将随后能够决定他们何时希望观看被观看者支持图像所占据的他们的视野区域相对应的场景区域，或者观看者支持图像，或者两者。
观看者也可选择从他们的视野中移除观看者支持图像，使得观看者支持图像不再显示在显示屏上。例如，当观看者想要检视位于观看者视野中支持图像正被显示的场景区域时，这可能是所希望的，否则该区域会被观看者支持图像所遮蔽。
图2示出了观看者通过部分透明的显示屏观看的示例性场景200，并且还示出了观看者支持图像210如何呈现在观看者的视野220中。例如，在图2中，观看者支持图像210显示在位于观看者眼睛前方的单个显示屏上，使得图像210出现在他们的视野中。从图2中可以看出，观看者支持图像显示为使得它出现在没有或只有很少感兴趣特征的视野区域中。这通常在视野的上半部分，然而，根据观看者的需要，观看者支持图像可显示在任何位置，并且观看者可实时调节支持图像的位置。基于支持图像210的位置可在显示之前被确定，观看者支持图像210出现在视野中的预定区域。例如，图像的位置可由包括显示屏的耳机的制造商确定，或者由负责生成观看者支持图像的软件的经销商确定。该位置也可由观看者在耳机开启之前确定。然而，应当理解的是，支持图像的位置不是固定的，并且观看者可实时调节支持图像的位置。还应当理解的是，该位置可由软件根据观看者正在观看的场景的具体特征以自动确定。这可称为观看者支持图像的智能重新定位。例如，可通过图像分析算法分析场景的原始图像，以确定原始图像的一个或多个区域(基本上对应于观看者的视野)，在这些区域没有或只有很少的感兴趣的特征和/或观看者的视野没有被遮蔽。这种图像分析算法将被本领域技术人员所理解。然后，观看者支持图像可被显示在该确定的区域中。此外，使用这种图像分析算法可使得观看者支持图像随着观看者改变他们的视野(例如通过旋转他们的头部)而实时自动改变位置。
适当地，观看者支持图像的智能重新定位可基于用户视野的最佳位置和/或场景的显著性。
当基于使用者的剩余视野智能地重新定位观看者支持图像时，图像分析算法可使用诸如瞳孔间距(IPD)、临床视野和/或体积视野的参数，基于用户的(未被盲区遮蔽的)剩余视野以建立3D空间中的(一个或多个)最佳位置，如本领域技术人员将理解的。应当理解的是，该最佳定位对于每个个体将是唯一的，取决于他们在视角和3D体积方面的视野损失程度。支持图像的定位将使用功能性双目视觉来识别3D视野内的区域，并使用IPD作为向导以选择适当的定位深度。图10示出了具有左眼1010、右眼1020和瞳孔间距(IPD)1030的观看者的示例性视野1000。观看者在其视野中具有盲区1040(即遮蔽区域)。这主要是在观看者的左视野中。视野还包括左眼1010只能看到右视野的第一区域1050、右眼1020只能看到右视野的第二区域1060、左眼1010和右眼1020都能看到右视野的第三区域1070以及左眼1010和右眼1020都能看到左视野和右视野的第四区域1080。图10还示出了观看者的注视平面1090。
当基于场景的显著性智能地重新定位观看者支持图像时，重新定位可使用图像分析算法促进将观看者支持图像重新定位在最佳位置，以避免遮蔽视野中的显著目标。也就是说，图像分析算法可配置为基于场景的特征以重新定位观看者支持图像。例如，这可能涉及动态地重新定位观看者支持图像。这种动态重新定位可以是自动的并且实时发生。图像分析算法还可配置为根据场景的特征增加观看者支持图像的透明度和/或临时移除观观看者支持图像。应当理解的是，这种方法可防止观看者支持图像遮蔽显著的物体和特征，尤其是在近空间中。更详细地，图像分析算法可用于识别观看者支持图像何时不再被需要、可被移动或者可被变得更加透明。例如，这可发生在近距离面对面讨论时，或者在混乱或繁忙的环境中。如本领域技术人员将理解的，图像分析算法可适当地配置为确定显著图、3D场景重建、图像分割以及对象、面部和场景识别，以确定观看者支持图像的最佳位置。
图像显著性算法确定潜在重要图像特征所在的图像区域。可使用卷积人工神经网络中的线性滤波级联实时自动计算显著性。该网络将视频输入与调谐到多个尺度和预定特征(例如方向、颜色和亮度)的线性滤波器进行卷积。然后，这些卷积的输出被归一化并被馈送到第二迭代卷积阶段(其在不同图像位置之间具有抑制性连接，并且卷积的每个周期的输出被半波整流)。通过对跨尺度的结果进行求和、执行卷积的附加迭代阶段以及对跨多个特征的结果进行求和，创建最终显著图。
使用适当训练的深度卷积神经网络，可以实时进行3D场景重建、图像分割以及对象、场景和面部识别。作为示例性的实施方式，可使用深度神经网络架构进行3D场景重建、图像分割和对象识别，该深度神经网络架构包括五种类型的层：卷积、批量归一化、最大池化、上采样、softmax和跳过连接/残差单元。从这些层的适当排列创建的网络可被训练，以估计场景的3D布局，将场景分割成单独的对象，并且通过在被标注的参考标准数据集(labelled ground-truth data sets)上的训练以识别每个对象。面部和对象检测算法也可通过使用深度递归卷积神经网络架构创建，使用被标注的参考标准数据集进行预训练。
观看者支持图像210被显示，使得它出现在与遮蔽区域230间隔开的观看者视野区域中。如图2所示的遮蔽区域230对应于观看者的视野受到损害的观看者视野区域。通过显示支持图像210，使得它出现在图2所示区域的视野中，因此它可以被观看者观看，并且它本身不会经由遮蔽区域230而被隐藏。如本领域技术人员将理解的，观看者的视野220是当眼睛向前看时观看者可以看到的区域，包括使用周边视觉看到的区域。视野可因观看者而异。在图2所示的视野中，遮蔽区域230出现在观看者视野的左侧。这是观看者看不到场景特征的区域。本领域的技术人员将理解的是，观看者的视力缺陷可能是偏盲，并且因此遮蔽区域230可能位于观看者视野中的恒定位置。还应当理解的是，图2中所示的遮蔽区域230是模糊区域，并且观看者的眼睛可从该区域收集光，尽管他们的视力缺陷导致该区域被模糊(由于视觉损伤是通过脑损伤而不是眼睛损伤表现出来的)。然而，根据其他视力缺陷，遮蔽区域可能不模糊，而是可能是盲区，其中尽管观看者的眼睛能够收集来自该区域的光，但是由于脑损伤，他们的视力缺陷导致该区域在其视野中完全隐藏(即遮蔽区域可能是变黑的或变暗的区域)。还应当理解的是，由于对眼睛的直接伤害，可能会出现其他视力缺陷。
图2中还示出了至少部分围绕观看者视野220中的遮蔽区域的周围区域240。当从场景的图像中选择图像数据的子集以帮助生成观看者支持图像210时，可能期望选择使得遮蔽区域230和周围区域240中的场景特征都被包括的子集。这有助于向图2中场景的观看者提供在观看者的受损区域之外的场景中的物体的一些环境，从而有助于向观看者提供观看者在其视野中可以看到的物体和在其视野中他们看不到的那些物体之间的关系。从图2中可以理解的是，观看者支持图像210代表与在视野220的左下侧中所示的加框区域相关联的区域，该区域包含观看者的视野220中的遮蔽区域230和周围区域240。然而，本领域的技术人员将理解的是，周围区域可不显示在观看者视野中的显示屏上，并且可仅显示遮蔽区域230的图像。此外，虽然在图2中仅示出了一个遮蔽区域230，但是应当理解的是，其他观看者在其视野中可能具有不止一个遮蔽区域。
此外，应当理解的是，虽然图2中示出了真实生活场景，但是根据本发明的某些其他实施例，该场景可以是计算机生成的(即虚拟的)场景，并且观看者可观看该场景的计算机生成的图像。在这种情况下，由于视力缺陷，观看者的视野中可能仍然有遮蔽区域，或者可能仍然存在在观看者视野之外或对于观看者不可见的的场景区域。这样，仍然可基于与在被遮蔽区域中的计算机生成的场景相关联的图像生成观看者支持图像。然后，该图像可显示在观看者视野中的显示屏(也可显示虚拟场景)上，以向观看者提供视觉辅助。
图3示出了佩戴耳机310的观看者302的俯视图300和侧视图305，耳机310可向观看者实时提供视觉辅助。如图3所示，耳机310包括单个摄像机320，该摄像机320从观看者300的视角逐帧捕获场景的图像。观看者可以是人或动物观看者。耳机310还包括形式为抬头显示器的在观看者左眼350前方的第一显示屏330和在观看者右眼360前方的第二显示屏340。摄像机320可捕获场景的图像，然后将图像数据传输至耳机310内的处理器(未示出)，用于处理图像数据。具体地，处理器从与所捕获的图像相关联的图像数据中选择图像数据的子集，并且所选择的图像数据子集然后可用于生成观看者支持图像。可替代地，图像数据可被传输至移动设备(未示出)，并且图像数据可在被传输回耳机310之前由移动设备操作，使得观看者支持图像可基于由移动设备确定的图像数据子集而被呈现在显示屏330、340上。可为每个图像执行选择图像数据子集的过程，使得显示在显示屏330、340上的观看者支持图像被实时更新。观看者支持图像可显示在第一显示屏330、第二显示屏340或者同时显示在第一和第二显示屏上。这样，观看者将能够在他们的视野中看到观看者支持图像。
耳机310还包括第一支撑臂380和第二支撑臂390，其提供了将耳机310固定到观看者头部的装置。支撑臂380、390从位于相应显示屏330、340附近的固定点395延伸，并沿着观看者头部的侧面延伸，以钩在观看者相应耳朵的后方。可替代地，根据本发明的某些其他实施例，代替设置支撑臂，带子可从每个固定点延伸并围绕观看者头部的整个圆周延伸，以提供单个可调节的支撑带子。还应当理解的是，根据本发明的某些其他实施例，可使用任何合适的耳机或其他设备。
图4A示出了直接观看现实生活场景和通过显示屏观看视觉辅助的观看者的眼睛。例如，在图4A中，显示屏410是部分透明的，并允许光穿过显示屏410传播，然后进入人类的眼睛415。人类是场景观看者的示例。这样，由观看者所观察的场景中所包含的物体发出和/或反射的光可穿过显示屏，使得观看者可直接观看这些物体。换句话说，观看者可具有这些物体的直接视线。源自观看者正在直接观看的场景的部分的光线在图4A中以实线箭头420示出。此外，观看者支持图像可显示在显示屏410上，使得光也从显示屏410传播到观看者的眼睛415中。这样，除直接观看场景中的对象以外，观看者还看到由显示屏提供的观看者支持图像。源自显示屏410的光线被示为虚线430。因此，应当理解的是，图4A中所示的显示屏类型有助于提供混合现实方法，并且在显示屏上仅向观看者示出观看者支持图像，而他们视野的其余部分通过观看者对场景的直接的、无辅助的观看提供。
图4B示出了通过显示屏观看现实生活场景和视觉辅助的观看者的眼睛425。例如，在图4B中，显示屏440是不透明的，并且不允许光穿过显示屏440传播进入观看者的眼睛425。相反，场景的图像基本上在显示屏440的整个范围上提供，使得观看者的视野主要被显示屏上显示的场景的图像占据。因此，应当理解的是，观看者看到的是场景的虚拟呈现，而不是场景本身。源自显示屏440上呈现的场景图像的光线被示为实线450。此外，观看者支持图像也可显示在显示屏440上，使得观看者支持图像覆盖在场景的原始图像上。这样，除观看完整场景的图像以外，观看者还看到由显示屏440提供的观看者支持图像。源自与观看者支持图像相关联的区域中的显示屏440的光线被示为虚线460。因此，应当理解的是，图4B所示的显示屏类型有助于提供虚拟现实方法，并且在显示屏上同时向观看者显示完整场景的图像和覆盖的观看者支持图像。
图5有助于示出场景中的视觉特征的角位置和在图像捕获设备的传感器上的视觉特征的位置之间的关系。例如，图像捕获设备可具有焦距F，并且具有由角度A表示的宽度的视野。图像捕获设备还可具有宽度为W的图像传感器。使用这些已知的量，可获得从用户的视角来看的任何可见特征的视觉方向与图像中的位置之间的映射。F、A和W之间的关系在顶部图510中示出。应当理解的是，照相机视野的角宽度被投影到图像传感器(例如数码照相机的电荷耦合设备)上，使得A和W之间的映射由照相机的焦距F确定。
图5中所示的下部图520示出了俯视图，其中，在水平方向上呈现了特定视角至图像传感器上相应位置的示例映射。视觉特征的视觉角方向(由角度D示出)和该视觉特征聚焦在其上的图像传感器上的位置(由距图像传感器中心的距离X示出)之间的关系使用等式X＝Ftan(D)来提供。因此，通过确定与特定观看者相关联的遮蔽区域，该关系使得能够对应于像素位置的列表来确定映射，由此与特定观看者的遮蔽区域相关联的场景的特征将被图像传感器捕获。然后，这些坐标可被存储在存储器中，并随后在需要时调用，以允许生成代表遮蔽区域的观看者支持图像。
图6示出了观看者605的遮蔽区域在水平方向610和垂直方向620上的角宽度以及用于观看者支持图像的角宽度。如图6所示，在水平角度范围，遮蔽区域615由角度h表示；在垂直角度范围，遮蔽区域625由角度v表示。如上文关于图5所讨论的，通过已经为观看者生成的映射，这些角度值将使得能够确定在捕获观看者所观看场景的图像的成像设备的传感器上的像素位置。换句话说，该映射可用于计算将用于观看者支持图像的捕获图像的子区域，并且处理器可配置为从原始捕获图像中选择与该子区域相关联的图像数据的子集。该映射作为坐标列表存储在存储器中，如前面参照图1和5所述。图6还示出了当选择观看者支持图像的图像数据子集时，可选择(由H表示的)水平区域范围630和(由V表示的)垂直区域范围640。这些分布范围包括对应于遮蔽区域615、625的区域，但也包括如先前参考图2所述的周围区域。周围区域有助于向观看者提供遮蔽区域的环境视图。如图5所示，与周围区域相关联的像素值也可通过映射确定。这些像素值也可作为列表存储在存储器中，当生成观看者支持图像时可被调用。如本领域技术人员将理解的，周围区域的大小可根据观看者的期望来调节，并且可以是任何合适的大小。可替代地，当生成观看者支持图像时，可不使用对应于周围区域的图像数据，并且可仅使用与遮蔽区域相关联的数据。
图7示出了观看者支持图像在位于观看者左眼和右眼前方的不同显示屏上的定位，从而提供深度感知。例如，观看者支持图像的双目呈现可用于确定其在3D空间中的表观位置。线710示出了观看者支持图像在3D空间中(即在他们的视野中)的感知位置。从图7中可以看出，该图像出现在离观看者705有一些距离的地方，并且在观看者705的右侧。通过从支持图像在3D空间中的感知位置追踪到观看者的左眼或右眼，如图7所示的每个显示屏上的位置相交，从而允许确定在每个屏幕上显示支持图像的适当位置。这意味着，在左眼和右眼前方的不同显示屏上，观看者支持图像的位置和可视区域可能不同。换句话说，观看者支持图像显示在左眼和右眼前方的显示屏的不同区域中。线720示出了观看者相应眼睛前方的显示屏。线730示出了在上述确定之后支持图像在不同显示屏上的位置。应当理解的是，这种双目呈现也可使用单一显示屏来实现。
图8示出了包括呈现给观看者的屏幕集合的实验性示例，示出了不被遮蔽的屏幕、被遮蔽的屏幕和具有观看者支持图像的被遮蔽的屏幕。该实验通过对具有正常视力的参与者使用模拟盲点(通过使用眼球跟踪来遮蔽他们的视野区域)来进行。还模拟了观看者支持图像的呈现。使用线等分任务测试表现，在该任务中，线呈现在屏幕上，观看者通过移动鼠标光标来指示其感知的中点。这被选择作为简单和完善的、用于理解中风中视野丧失的影响的任务。测试了三个条件。在基准测试810中，没有人工盲点，也没有观看者支持图像。在人工盲点测试820中，模拟盲点825是通过遮蔽视野的区域创建的，该区域位于要被等分的线的部分上。在具有观看者支持图像的人工盲点测试830中，除盲点以外，还提供了窗口视图835，使得可在窗口内完整地看到线(和空间参考)。预计相对于基准测试810，观看者的表现在人工盲点测试820中会显著受损，并且在具有观看者支持图像的人工盲点测试830中，应该预期在具有观看者支持图像的人工盲点测试830中回复到基准测试表现。在实验开始之前，观看者被随机分配到左盲或右盲组。在每次试验中，注视十字850呈现在右盲者中心的左侧，以及左盲者中心的右侧。每个观看者的目标线总是出现在同一侧(左或右)。额外的参考线860呈现在目标下方。小的垂直光标870呈现在屏幕上。在每次试验中，观看者水平移动光标，直到他们认为它看起来等分目标线。呈现了一系列目标线的长度(分为短、中和长)。观看者被要求保持他们的眼睛注视着注视十字。如果他们移开视线，目标、参照物和光标都会从视野中消失，并且他们无法做出反应。一旦十字被重新注视，刺激物再次出现。在盲点测试820中，灰色椭圆(其边缘被高斯亮度轮廓(Gaussian luminance profile)平滑)被叠加，以遮蔽目标线的部分。参考线没有被遮蔽，但是，光标当落在人工盲点825的区域内时是不可见的。在测试830中，人工盲点仍然存在，并且额外在注视上方呈现目标和参考线的图像。光标不出现在该观看者支持窗口中，以确保任务在刺激空间中完成，而不仅仅是在窗口中。在原始空间和窗口中参照物的可见性允许它被用作参照物——在窗口内，观看者应该能够看到目标(相对于参照物)的长度和位置——即使它被人工盲点所遮挡。所有观看者首先完成基准任务。然后，一半的观看者完成人工盲点测试，随后是具有观看者支持图像的人工盲点测试，而另一半的观看者以相反的顺序完成这些测试。
图9示出了执行图8所示实验性示例的结果。每个柱910代表目标线中一条的长度(x轴上的视角长度和y轴上的屏幕像素长度)。最右边的星形标记920指示每条线的真实中心。对于每条线的长度，靠近星形标记920的圆形数据点930示出了在图8的基准测试中与完美表现的平均偏差。图表最左侧的圆形数据点940示出了在图8的人工盲点测试中的表现。与基准条件930相比，数据点940基本上更加远离真实值，这表明了由人工盲点导致的较大误差。方形数据点950表示在图8的人工盲点和观看者支持图像测试中的表现。这些被预测为位于圆形点940和圆形点930之间(返回到基准表现)。发现所有线长度的表现都所提高，观看者支持图像在近周边(即对于最短的线)特别有效。
鉴于以上所述，应当理解的是，这种方法有许多有助于提供优于现有技术方法的益处的不同之处。例如，根据本发明的某些实施例，图像可能没有光学失真。同时，观看者支持图像本身将被视为独特的对象(即投影屏幕或“窗口”)，在3D空间中具有明确指定的位置。与表征棱镜影响的视觉重映射和视觉混乱的组合相比，这是有益的。此外，支持图像的透明度可被实时操纵。这有助于允许在相同的视觉方向上看到显示屏和真实世界(并且没有空间混淆，因为双目视差将明确地定义屏幕在3D空间中的位置)。此外，支持图像可实时移动以适应每个用户，图像可以在显示屏内放大，并且支持图像可根据需要被调用和取消，使得当它扰乱视觉认知时可以被移除。同时，可见和不可见信息的存在使得能够相对直接地理解其他不可见物体位置的映射(以同样的方式我们能够通过挡风玻璃、后视镜和外后视镜拼凑出我们的视图，并利用其来确定其余的盲点)。它还能够帮助增强图像，而不是提供简单的副本(具体地，使得对比度可被增强)，而且机器视觉和人工智能可用于检测边缘和分割场景并突显显著的分割边缘。危险检测和警告(例如警告快速移动的物体，如车辆)也可内置到软件中。
在本说明书的整个描述以及其权利要求中，词语“包括”和“包含”及其变体表示“包括但不限于”，并且它们不旨在排除(和不排除)其他部分、添加物、部件、整体或步骤。在本说明书的整个描述和权利要求中，除非上下文另有要求，单数包括复数。特别地，在使用不定冠词的情况下，除非上下文另有要求，说明书应被理解为考虑复数和单数。
结合本发明的特定方面、实施例或示例描述的特征、整体、特性或组应被理解为适用于本文描述的任何其他方面、实施例或示例，除非与其不兼容。本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征，和/或如此公开的任何方法或过程的所有步骤，可以以任何组合进行结合，除了其中至少一些特征和/或步骤相互排斥的组合。本发明不限于任何前述实施例的任何细节。本发明延伸到本说明书(包括任何所附权利要求、摘要和附图)中所公开特征的任何新颖特征或新颖组合，或者延伸到如此公开的任何方法或过程的步骤的任何新颖特征或新颖组合。
读者的注意力被引向与本申请相关的本说明书同时提交或先于本说明书提交的所有论文和文献，这些论文和文献与本说明书一同向公众公开，并且所有这些论文和文献的内容通过引用并入本文。

Claims (25)

1.一种向场景的观看者提供视觉辅助的方法，包括以下步骤：
从与所述场景的图像相关联的图像数据中选择图像数据的子集，所述图像数据的子集指示在观看者的视野的至少一个遮蔽区域中的场景的特征，在所述遮蔽区域中，所述视野是被遮蔽的；以及
在位于所述视野中的至少一个显示屏上，显示基于所选择的图像数据的子集而生成的至少一个观看者支持图像，
其中，所述观看者支持图像显示在所述显示屏上，使得所述观看者支持图像出现在所述视野的预定区域中，所述预定区域与所述视野中的遮蔽区域间隔开。
2.根据权利要求1所述的方法，其中，所述至少一个显示屏设置为提供立体显示屏。
3.根据权利要求1或2所述的方法，其中，所述遮蔽区域是所述视野中的模糊区域或盲区。
4.根据前述权利要求中任一项所述的方法，还包括：
响应于观看者的预选输入，确定所述预定区域。
5.根据前述权利要求中任一项所述的方法，其中，所述视野中的遮蔽区域是由于观看者的视力缺陷而出现的视觉受损区域。
6.根据前述权利要求中任一项所述的方法，还包括：
通过选择指示在所述遮蔽区域中场景的特征的图像数据和在所述视野的至少部分围绕所述遮蔽区域的至少一个周围区域中场景的特征的图像数据，选择所述图像数据的子集。
7.根据前述权利要求中任一项所述的方法，还包括：
响应于访问至少一个存储元件，选择所述图像数据的子集，所述至少一个存储元件存储表示所述视野中遮蔽区域的坐标集合的一个或多个记录。
8.根据前述权利要求中任一项所述的方法，其中，所述观看者支持图像占据所述视野中的可见区域，所述可见区域是观看者的总视野的1％至50％，和/或其中，所述观看者支持图像的透明度在0％至100％的值之间可调节，和/或其中，所述观看者支持图像的对比度和/或锐度可调节，并且可选地其中，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可调节，并且进一步可选地其中，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可实时调节。
9.根据前述权利要求中任一项所述的方法，还包括：
在位于观看者左眼前方的第一显示屏和位于观看者右眼前方的第二显示屏上，显示所述观看者支持图像；以及
在所述第一显示屏和所述第二显示屏的不同区域中显示所述观看者支持图像，从而提供深度感知。
10.根据前述权利要求中任一项所述的方法，还包括：
在所述显示屏上显示所述场景的图像，使得所述图像基本上占据所述视野的全部；以及
将所述观看者支持图像覆盖在所述场景的显示图像上。
11.根据权利要求1至9任一项所述的方法，还包括：
在至少一个部分透明的显示屏上显示所述观看者支持图像，使得经由所述观看者的眼睛和所述场景之间的直接视线，提供在所述视野中与所述观看者支持图像相关联的区域之外的剩余视野。
12.根据前述权利要求中任一项所述的方法，还包括：
经由至少一个图像捕获设备，捕获场景的至少一个图像；以及
从与所述捕获图像相关联的图像数据，选择所述图像数据的子集。
13.一种向场景的观看者提供视觉辅助的装置，包括：
至少一个处理器，配置为从与所述场景的图像相关联的图像数据中选择图像数据的子集，所述图像数据的子集指示在观看者的视野中的至少一个遮蔽区域中的场景的特征，在所述遮蔽区域中，所述视野是被遮蔽的；以及
至少一个显示屏，位于所述视野中，显示基于所选择的图像数据的子集而生成的至少一个观看者支持图像，
其中，所述观看者支持图像显示在所述显示屏上，使得所述观看者支持图像出现在所述视野中的预定区域中，所述预定区域与所述视野中的遮蔽区域间隔开。
14.根据权利要求13所述的装置，其中，所述至少一个显示屏设置为提供立体显示屏。
15.根据权利要求13或14所述的装置，其中，所述遮蔽区域是所述视野中的模糊区域或盲区。
16.根据权利要求13至15中任一项所述的装置，其中，所述处理器配置为：
响应于观看者的预选输入，确定所述预定区域。
17.根据权利要求13至16中任一项所述的装置，其中，所述视野中的遮蔽区域是由于观看者的视力缺陷而出现的视觉受损区域。
18.根据权利要求13至17中任一项所述的装置，其中，所述处理器配置为通过选择指示在所述遮蔽区域中场景的特征的图像数据和在所述视野的至少部分围绕所述遮蔽区域的至少一个周围区域中场景的特征的图像数据，选择所述图像数据的子集。
19.根据权利要求13至18中任一项所述的装置，还包括：
至少一个存储元件，存储表示所述视野中遮蔽区域的坐标集合的一个或多个记录；并且其中，
所述处理器配置为响应于访问所述存储元件，选择所述图像数据的子集。
20.根据权利要求13至19中任一项所述的装置，其中，所述观看者支持图像占据所述视野中的可见区域，所述可见区域是观看者的总视野的1％至50％，和/或其中，所述观看者支持图像的透明度在0％至100％的值之间可调节，和/或其中，所述观看者支持图像的对比度和/或锐度可调节，并且可选地其中，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可调节，并且进一步可选地其中，所述可见区域、所述观看者支持图像的透明度、对比度和/或锐度由观看者可实时调节。
21.根据权利要求13至20中任一项所述的装置，其中，所述观看者支持图像在位于观看者左眼前方的第一显示屏和位于观看者右眼前方的第二显示屏上显示；以及
其中，所述观看者支持图像在所述第一显示屏和所述第二显示屏的不同区域中显示，从而提供深度感知。
22.根据权利要求13至21中任一项所述的装置，其中，所述显示屏显示所述场景的图像，使得所述图像基本上占据所述视野的全部；并且其中，所述观看者支持图像被覆盖在所述场景的显示图像上。
23.根据权利要求13至21中任一项所述的装置，其中，所述显示屏是至少部分透明的，并且显示所述观看者支持图像，使得经由观看者的眼睛和所述场景之间的直接视线，提供在所述视野中与所述观看者支持图像相关联的区域之外的剩余视野。
24.根据权利要求13至23中任一项所述的装置，还包括：
至少一个图像捕获设备，配置为捕获场景的至少一个图像；其中，
所述处理器配置为从与所述捕获图像相关联的图像数据，选择所述图像数据的子集。
25.一种包括指令的计算机程序，当所述计算机程序由计算机执行时，所述指令致使所述计算机执行根据权利要求1至12中任一项所述的方法。
CN202180050355.XA 2020-06-23 2021-06-22 视觉辅助 Pending CN115867238A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB2009562.6A GB202009562D0 (en) 2020-06-23 2020-06-23 Visual assistance
GB2009562.6 2020-06-23
PCT/GB2021/051584 WO2021260368A1 (en) 2020-06-23 2021-06-22 Visual assistance

Publications (1)

Publication Number Publication Date
CN115867238A true CN115867238A (zh) 2023-03-28

Family

ID=71838254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180050355.XA Pending CN115867238A (zh) 2020-06-23 2021-06-22 视觉辅助

Country Status (6)

Country Link
US (1) US20230244307A1 (zh)
EP (1) EP4167826A1 (zh)
KR (1) KR20230029782A (zh)
CN (1) CN115867238A (zh)
GB (1) GB202009562D0 (zh)
WO (1) WO2021260368A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
WO2015002885A1 (en) * 2013-07-01 2015-01-08 Rwd Consulting, Inc. Vehicle visibility improvement system
CN113192374B (zh) * 2015-03-06 2023-09-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
US11956414B2 (en) * 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
CN107847354A (zh) * 2015-05-12 2018-03-27 新加坡科技研究局 用于显示视频图像的系统和方法
GB201605137D0 (en) * 2016-03-25 2016-05-11 Jaguar Land Rover Ltd Virtual overlay system and method for occluded objects
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US10748426B2 (en) * 2017-10-18 2020-08-18 Toyota Research Institute, Inc. Systems and methods for detection and presentation of occluded objects
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information

Also Published As

Publication number Publication date
KR20230029782A (ko) 2023-03-03
US20230244307A1 (en) 2023-08-03
WO2021260368A1 (en) 2021-12-30
EP4167826A1 (en) 2023-04-26
GB202009562D0 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
US10129520B2 (en) Apparatus and method for a dynamic “region of interest” in a display system
JP6873096B2 (ja) イメージ形成における及びイメージ形成に関する改良
EP2621169B1 (en) An apparatus and method for augmenting sight
CN106484116B (zh) 媒体文件的处理方法和装置
EP3230825B1 (en) Device for and method of corneal imaging
WO2016151506A1 (en) Combining video-based and optic-based augmented reality in a near eye display
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US11212502B2 (en) Method of modifying an image on a computational device
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
US11543655B1 (en) Rendering for multi-focus display systems
KR101817952B1 (ko) 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법
US20230244307A1 (en) Visual assistance
JP2016532147A (ja) 眼科レンズの視覚的効果を特定する方法
Hwang et al. 23.4: Augmented Edge Enhancement for Vision Impairment using Google Glas
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法
CN115834858A (zh) 显示方法、装置、头戴显示设备及存储介质
CN115877573A (zh) 显示方法、头戴显示设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination