CN111586395A - 用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置 - Google Patents

用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置 Download PDF

Info

Publication number
CN111586395A
CN111586395A CN202010090696.7A CN202010090696A CN111586395A CN 111586395 A CN111586395 A CN 111586395A CN 202010090696 A CN202010090696 A CN 202010090696A CN 111586395 A CN111586395 A CN 111586395A
Authority
CN
China
Prior art keywords
subject
por
interest
feedback signal
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010090696.7A
Other languages
English (en)
Inventor
安德鲁·拉特克利夫
丹尼尔·约翰森·托尼尔斯
亨瑞克·安德尔森
伊莱·伦德伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN111586395A publication Critical patent/CN111586395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式装置通过以下方式来辅助主体获取关于周围环境的空间信息：分别从眼睛追踪器接收注视数据以及从距离传感器接收空间数据。注视数据描述主体的所估计的关注点，并且空间数据描述参考点与周围环境中的对象之间的距离。提供反馈信号，其指示从主体到周围环境中的所述对象的距离。反馈信号是基于所估计的关注点和空间数据而生成的，并且可反映到对象的表面元素的距离，所述表面元素与主体的眼基线和所估计的关注点之间的直线横交，所述表面元素沿着所述直线的位置比在周围环境中的对象的任何其它表面元素更接近眼基线。

Description

用于辅助主体获取关于环境的空间信息的方法、计算机程序 和头戴式装置
技术领域
本发明总的来说涉及空间关系的视觉印象的自动放大。明确地说，本发明涉及辅助主体获取关于周围环境的空间信息的方法、用于执行此方法的处理电路以及含有所提出的处理电路的头戴式装置。本发明还涉及计算机程序产品和非易失性数据载体。
背景技术
眼睛/注视追踪是测量眼睛相对于头部的运动和/或位置或测量注视点的过程。眼睛追踪器是用于测量眼睛位置和眼睛移动的装置。眼睛追踪器用于许多不同应用中。存在用于测量眼睛移动的各种方法。最流行的变化形式使用视频图像，其中眼睛位置是从所述视频图像提取。其它方法使用搜索线圈或基于眼动图。最初，眼睛追踪技术用于对视觉系统的研究中，用于心理学中，用于心理语言学中，用于市场营销中以及用于产品设计中。如今，我们看到眼睛追踪器作为输入装置日益广泛在各种装置和设备(从智能电话到飞机)中用于人机互动。许多时候，眼睛追踪器对于说话的能力降低和/或不能够经由常规接口而输入计算机命令的人来说是有效互动方式。
US 9,185,352描述了一类系统和方法，这类系统和方法涉及用户从移动位置使用眼睛装置而将输入提供到计算装置。此处，为用户安装实景相机以使得系统收集与用户正看着的位置相关的图像信息。在计算装置的监视器上或其它视域上提供指示，以表示监视器或视域的识别区域的存在和位置。为用户安装的眼睛相机收集与眼睛的注视方向相关的用户眼睛的图像信息。当用户的被追踪的眼睛的注视方向与监视器或视域的识别区域相交时，用于控制计算装置的适当眼睛追踪方法可用于将指令发送到计算装置。
US 2015/0049012示出将反馈提供给具有光学透视头戴式显示器(HMD)的增强现实(AR)装置的用户的方法、设备和计算机程序产品。设备获得HMD上对应于用户与HMD上所显示的对象互动的位置。对象可以是HMD上的图标，并且用户互动可以是用户通过眼睛注视或示意动作而选择图标的尝试。设备确定用户互动的位置与对象之间的空间关系是否满足标准，并且在标准得以满足时，输出感官指示，例如，视觉显示、声音、振动。设备可被配置成在用户互动成功(例如，图标被选择)时输出感官指示。或者，设备可被配置成在用户互动失败时输出感官指示。
因此，存在不同技术解决方案，它们识别用户的关注点，并且按视觉显示、声音和振动的形式提供关于用户与设备的互动的反馈。
发明内容
然而，尚不存在辅助用户的视觉感官获得关于用户周围的整体环境的增强的空间认知的有效方式。
因此，本发明的一个目标是提供使主体能够通过以下方式而获取关于周围环境的空间信息的解决方案：使用主体自身的眼睛活动以获得比主体的眼睛自身可提供的细节多的细节。
根据本发明的一个方面，此目标由一种在处理电路中执行的方法实现，所述方法涉及接收描述关于主体的所估计的关注点的注视数据。所述方法涉及：接收描述参考点与周围环境中的对象之间的距离的空间数据；以及生成向主体提供的反馈信号，其中所述反馈信号是基于所估计的关注点和空间数据而生成的。反馈信号指示从主体到周围环境中的对象的距离。
此方法是有利的，这是因为所述方法能够放大各种视觉刺激和/或将视觉刺激替换为一个或更多个其它感官刺激(例如，与听觉和/或触觉相关的感官刺激)。随后，具有任何程度的视力(即，从全盲到视力完全正常)的人可按强健且可靠的方式获得关于其所在环境的增强的空间信息。
根据本发明的此方面的一个实施例，反馈信号还指示对象相对于主体的移动。例如，可按第一方式指示正接近的对象，同时可按第二方式指示固定对象。当然，可按第三方式指示正远离的对象。因此，用户可识别并避免其所在环境中的可能有害的对象。
反馈信号优选被配置成导致至少一个第一感官刺激按听觉信号、触觉信号和/或视觉信号的形式施加到主体。因此，主体可除了其自身的视觉印象之外或作为其自身的视觉印象的补充而经由声音提示和/或触觉致动器(例如，腕带)“关注”其周围环境。
根据本发明的此方面的另一实施例，至少一个第一感官刺激的强度反映到对象的第一表面元素的距离，该第一表面元素与主体的眼基线和所估计的关注点之间的直线横交。这里，第一表面元素沿着所述直线的位置比周围环境中的对象的任何其它表面元素更接近眼基线。优选地，对于相当短的距离，反馈信号的强度相对高，且反之亦然。这意味所估计的关注点“看到”位置最接近主体的对象。换句话说，按自然且直观的方式模仿正常视觉。
根据本发明的此方面的其它实施例，参考点或位于眼基线上或位于由主体戴着的头戴式装置的几何中心处。前者容易实施。在后一状况下，假设头戴式装置包含生成注视数据的眼睛追踪器。几何中心表示在安装在主体上时头戴式装置围绕其旋转的所估计的点。这转而提供良好且一致的用户体验。
根据本发明的此方面的又一实施例，除了距离信息之外或作为对距离信息的替代，空间数据描述从周围环境中的至少一个对象反映的颜色和光强度信息。所述方法涉及从空间数据获得所述至少一个对象中的至少一个的至少一个视觉质量；以及生成反馈信号以使得其反映所述至少一个视觉质量。因此，例如，至少一个视觉质量可表示描述对象的颜色、表面纹理和/或对象类别。反馈信号可被配置成导致至少一个第二感官刺激被施加到主体，所述至少一个第二感官刺激反映颜色、表面纹理和/或对象类别，并且不同于至少一个第一刺激。因此，例如，与指示距离的触觉反馈同时地，主体可听到说出“绿皮书”的音频信号。当然，对于视力受损的人来说，这是极其有用的信息。
根据本发明的此方面的又一实施例，生成反馈信号涉及以确认特定对象处的所估计的关注点在周围环境中的位置的眼睛提示的形式向主体呈现视觉信号。眼睛提示由至少一个图形元素表示，所述至少一个图形元素在一定位置处被示出在主体的视域中，以使得至少一个图形元素叠加在所估计的关注点上。因此，正在看的人即使具有极差的视力也可被有效导引遍历整个场景。
作为附加或替代，所述方法可涉及向主体呈现听觉信号，所述听觉信号提供确认特定对象处的所估计的关注点在周围环境中的位置的声音提示。这里，声音提示经由三维位置音频效果而模拟位于所估计的关注点处的声源。因此，主体将“听到”其正看着的对象。对于盲人或视力严重受损的人来说，当他/她自己朝向一定区域时，这给予了极好的导引。
根据本发明的又一方面，所述目标由一种计算机程序实现，所述计算机程序含有在处理电路中执行时导致处理电路执行上述方法的指令。
根据本发明的另一方面，所述目标由一种非易失性数据载体实现，所述数据载体含有此计算机程序。
根据本发明的再一方面，上述目标由一种处理电路实现，所述处理电路被配置成包含在头戴式装置中以用于辅助主体获取关于周围环境的空间信息。所述处理电路含有第一和第二输入接口以及输出接口。
第一输入接口被配置成从眼睛追踪器接收注视数据，所述注视数据描述主体的所估计的关注点。第二输入接口被配置成接收描述参考点与周围环境中的对象之间的距离的空间数据。输出接口被配置成提供指示从主体到周围环境中的对象的距离的反馈信号。反馈信号是基于所估计的关注点和空间数据而生成的。此处理电路及其优选实施例的优点从上文关于上述方法的论述中变得显而易见。
根据本发明的又一方面，上述方面由一种头戴式装置实现，所述头戴式装置含有所提出的处理电路、眼睛追踪器、距离传感器和至少一个反馈单元。眼睛追踪器被配置成生成注视数据，该注视数据描述戴着头戴式装置的主体的所估计的关注点。距离传感器(例如，包含3D相机)被配置成生成描述参考点与周围环境中的对象之间的距离的空间数据。至少一个反馈单元被配置成向主体呈现反馈信号，所述反馈信号是基于所估计的关注点和空间数据而生成的。反馈信号指示从主体到周围环境中的对象的距离。此头戴式装置及其优选实施例的优点从上文关于上述方法的论述中变得显而易见。
本发明的其它优点、有利特征和应用将从具体实施方式和从属权利要求中变得显而易见。
附图说明
现将通过作为实例公开的优选实施例并参照附图来更贴切地解释本发明。
图1根据本发明的一个实施例通过实例图示主体可如何使用头戴式装置以获取关于周围环境的信息；
图2根据本发明的一个实施例示出处理电路和一组反馈接口的框图；
图3根据本发明的一个实施例图示眼睛提示如何作为对主体的关注点的确认而向主体呈现；
图4根据本发明的一个实施例图示听觉信号如何作为对主体的关注点的确认而向主体呈现；以及
图5通过流程图图示根据本发明的一般方法。
具体实施方式
图1根据本发明的一个实施例示出主体U可如何使用头戴式装置A以获取关于周围环境的信息。
头戴式装置A含有处理电路210、眼睛追踪器110、距离传感器130以及一个或更多个反馈单元115R、115L、121和122。
眼睛追踪器110被配置成生成注视数据，该注视数据描述正戴着头戴式装置A的主体U的所估计的关注点。在图1中，所估计的关注点由第一对象141上的第一关注点PoR1和第二对象142上的第二关注点PoR2示范。眼睛追踪器110优选使用基于视频图像的技术以确定主体U的眼睛位置和所估计的关注点。然而，根据本发明，任何替代眼睛追踪器技术都适用，例如，这些技术基于搜索线圈、眼动图或超声测量。
距离传感器130被配置成生成空间数据，该空间数据描述参考点与主体U周围的环境中的视域/检测范围VF内的至少一个对象之间的相应距离。因此，距离传感器130可包含深度图相机(诸如，例如使用立体三角测量/立体或摄影测量法的飞行时间(TOF)相机或3D相机)、结构光3D扫描仪、激光测距仪、声学测距仪(例如，使用超声)和/或用于获得深度数据的雷达。图1图示分别在主体U的眼基线上的参考点P与第一、第二和第三对象141、142和143之间的三个距离d1、d2和d3。这里，第一距离d1还表示到第一注视点PoR1的距离；并且，类似地，第二距离d2表示到第二注视点PoR2的距离。根据本发明，参考点P可以是相对于距离传感器130的任何良好定义的位置，例如，头戴式装置A的几何中心。此参考点P是大体上有利的，这是因为其表示估计的点，当主体U移动其头部(即，向旁边看和/或向上看/向下看)时头戴式装置A围绕该估计的点旋转。
至少一个反馈单元中的每一个被配置成向主体U呈现反馈信号。反馈信号是基于所估计的关注点(例如，PoR1或PoR2)以及由距离传感器130产生的空间数据而生成的。反馈信号指示从主体U到主体U周围的若干对象中的特定对象(例如，141或142)的距离。适当反馈单元的实例是例如头戴式显示器/头盔显示器(HMD)或电子取景器(EVF)形式的显示器，其或作为两只眼睛的共同单元或作为相应每只眼睛115R和115L的独立单元。作为此显示器的附加或替代，反馈单元可由一个或更多个头戴式耳机/耳机121和/或触觉致动器(例如，呈触觉腕带122和/或电子盲文板的形式)表示。
根据本发明的一个实施例，反馈信号还指示对象相对于主体U的移动。所述移动则可按速度和方向来表达。这意味，可按第一方式指示正接近的对象，而可按第二方式指示固定对象和/或可按第三方式指示正远离的对象。此外，对象的速度优选由反馈信号的量值反映。因此，可辅助用户U识别并避免其所在环境中的可能有害的对象。
现参照图2，可以看到处理电路210的框图。图2还示出一组示范性反馈驱动器221、222和223以及含有体现计算机程序215的计算机可执行指令的数据载体214。数据载体214或可包含在处理电路210中或与其通信连接(如图2所示)。在任何状况下，数据载体214是计算机可读存储介质，诸如，随机存取存储器(RAM)、闪速存储器等，并且计算机程序215被配置成当计算机可执行指令在处理电路210中执行时，导致处理电路210根据如本文所述的本发明的实施例来执行。处理电路210可例如包括一个或更多个通用处理器。处理电路210还含有第一输入接口211、第二输入接口212以及输出接口213。
第一输入接口211被配置成从眼睛追踪器110接收注视数据DGT。注视数据DGT描述主体U的所估计的关注点，例如，PoR1或PoR2。第二输入接口212被配置成从距离传感器130接收空间数据Dspat。空间数据Dspat描述参考点P与周围环境中的至少一个对象(例如，141和142)之间的至少一个距离(例如，d1和d2)。输出接口213被配置成提供反馈信号SFB，该反馈信号SFB指示从主体U到其中一个所述对象(例如，141或142)的距离。反馈信号SFB是基于所估计的关注点(例如，PoR1或PoR2)和空间数据Dspat而生成的。
处理电路210被配置成以一种方式控制头戴式装置A的整体功能，以辅助主体U获取关于主体U周围的环境的空间信息。特别是，根据本发明的一个实施例，这意味，处理电路210控制输出接口213生成反馈信号SFB以导致至少一个第一感官刺激被施加到主体U。至少一个第一感官刺激则可呈听觉信号SFB-A、触觉信号SFB-H和/或视觉信号SFB-V的形式。具体来说，第一反馈驱动器221可被配置成生成经由扬声器、头戴式耳机和/或耳机(例如，121)而呈现的听觉信号SFB-A；第二反馈驱动器222可被配置成生成经由触觉致动器(例如，触觉腕带122)而呈现的触觉信号SFB-H；并且第三反馈驱动器223可被配置成生成经由显示器(例如，115、115R和/或115L)而呈现的视觉信号SFB-V。
优选地，至少一个第一感官刺激的强度反映到第一表面元素的距离(即，d1)，该第一表面元素与主体U的眼基线和所估计的关注点PoR1之间的直线横交。这里，第一表面元素沿着所述直线的位置比周围环境中的对象的任何其它表面元素更接近眼基线。换句话说，所估计的关注点PoR1按对应于视觉感官如何对视力正常的人起作用的方式“看到”对象。为了提供直观的用户体验，优选的是，对于相当短的距离，至少一个第一感官刺激的强度相对高，并且对于相当长的距离该强度相对低。例如，与主体U的所估计的关注点PoR2位于第二距离d2处的第二对象142上时相比，在主体U的所估计的关注点PoR1位于第一距离d1处的第一对象141上时在头戴式耳机121中生成的声音的音量可能较强，这是因为第二距离d2比第一距离d1更长。类似地，与主体U的所估计的关注点PoR2位于第二对象142上时相比，在主体U的所估计的关注点PoR1位于第一对象141上时由触觉腕带122生成的触觉力和/或触觉频率可能较强/较高。作为附加或替代，可生成视觉信号SFB-V，所述视觉信号SFB-V表示d1与d2之间的距离差。例如，稍短的到第一对象141的距离d1可经由以下方式来表示：与所估计的关注点PoR2位于较长距离d2处的第二对象142处时相比，显示器115R、115L和/或115较亮地发光和/或示出具有较高对比度的图案。
如果距离传感器130含有图像暂存装置(例如，基于电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)技术的电子传感器)，那么空间数据Dspat可进一步描述从周围环境中的对象141、142和143反映的光强度和/或颜色信息。如果此图像相关信息在空间数据Dspat中可用，那么处理电路210优选被配置成从空间数据Dspat获得至少一个所述对象的至少一个视觉质量。处理电路210优选被进一步配置成生成反馈信号SFB，以使得其进一步反映至少一个视觉质量。例如，至少一个视觉质量可表达颜色、表面纹理和/或对象类别。
此处，反馈信号SFB可通过以下方式来反映至少一个视觉质量：导致至少一个第二感官刺激(即，不同于至少一个第一感官刺激的刺激)被应用到主体U。这意味，如果例如第一感官刺激是由触觉腕带122产生的触觉反馈，那么第二感官刺激可以是由头戴式耳机121生成的听觉反馈，优选与触觉反馈同时生成。例如，在触觉反馈表示到第二对象142的第二距离d2的同时，头戴式耳机121可向主体U呈现说出“闪亮蓝色”的音频消息。对象类别可表达在所估计的关注点处检测的任何对象的归类(例如，通过在处理电路210中使用图像处理匹配算法进行检测)。因此，倘若第二对象142已被归类为属于对象类别“杯子”，那么头戴式耳机121可按说出“闪亮蓝色杯子”的音频消息的形式反馈第二感官刺激。
图3图示本发明的一个实施例，其中眼睛提示342作为对主体U在对象142上的关注点PoR2的确认而向主体U呈现。这里，处理电路210被配置成导致输出接口213递送视觉信号SFB-V以在至少一个显示器115R、115L和/或115上呈现，所述视觉信号SFB-V向主体U提供眼睛提示342。眼睛提示342可由至少一个图形元素表示，所述至少一个图形元素在一定位置处示出在主体U的视域中，以使得至少一个图形元素叠加在所估计的关注点PoR2上。在图3中，视域被概括为显示器115的物理范围。
在图4，可以看到根据本发明的一个实施例可如何向主体U呈现提示的另一实例。这里，处理电路210被配置成作为对主体U在对象142上的关注点PoR2的确认而生成听觉信号SFB-A。更精确地说，经由输出接口213，第一反馈驱动器221导致所连接的一个扬声器121生成听觉信号SFB-A，所述听觉信号SFB-A向主体U提供声音提示。声音提示确认对象142处的所估计的关注点PoR2的位置。优选地，为了辅助视力受损的人或盲人以充分地确定对象142的位置，声音提示通过使用三维位置音频效果而模拟位于所估计的关注点PoR2处的声源442。声源442则可例如产生重复提示音或连续音调。
概括地说，并且参照图5中的流程图，现将描述根据本发明的用于辅助主体获取关于周围环境的空间信息的一般方法。
在第一步骤510中，接收描述主体的所估计的关注点的注视数据。在后续或更优选地并行的步骤520中，接收描述参考点与周围环境中的对象之间的相应距离的空间数据。
接着，在步骤530中，生成向主体呈现的反馈信号。反馈信号是基于所估计的关注点和空间数据而生成的。反馈信号指示从主体到周围环境中的多个对象中的一个对象的距离。优选地，反馈信号指示到与对象的表面元素的距离，所述表面元素与主体的眼基线和所估计的关注点之间的直线交叉横交，其中所述表面元素沿着所述直线的位置比任何其它表面元素更接近眼基线。
此后，程序再次返回到步骤510和520。
上文参照图5所述的所有过程步骤以及这些过程步骤的任何子序列可通过至少一个经编程的处理器来控制。此外，虽然上文参照附图所述的本发明的实施例包括处理器以及在至少一个处理器中执行的过程，但本发明因此也延伸到适用于将本发明付诸实践的计算机程序，明确地说，载体上或载体中的计算机程序。程序可呈源代码、目标代码、代码中间源和目标代码(诸如，呈部分编译的形式)的形式，或呈适用于根据本发明的过程的实施的任何其它形式。程序或可以是操作系统的一部分或是独立应用程序。载体可以是能够携载程序的任何实体或装置。例如，载体可包括：存储介质，诸如，闪速存储器、只读存储器(ROM)，例如，数字视频/通用光盘(DVD)、压缩光盘(CD)或半导体ROM、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)；或磁性记录介质，例如，软盘或硬盘。此处，载体可以是可传输载体，诸如，经由电缆或光缆或通过无线电或其它手段输送的电信号或光信号。当程序体现在可直接通过缆线或其它装置或手段输送的信号中时，载体可由此缆线或装置或手段构成。或者，载体可以是其中体现了程序的集成电路，所述集成电路适用于执行相关过程或用于执行相关过程。
术语“包括/包含”在用于本说明书中时用于指定所陈述的特征、整体、步骤或部件的存在。然而，所述术语不排除一个或更多个额外特征、整体、步骤或部件或其群组的存在或附加。
本发明不限于附图中的所描述的实施例，而是可在权利要求书的范围内自由变化。

Claims (25)

1.一种在处理电路(210)中执行以用于辅助主体(U)获取关于周围环境的空间信息的方法，其特征在于：
接收描述所述主体(U)的所估计的关注点(PoR1、PoR2)的注视数据(DGT)；
接收描述参考点(P)与所述周围环境中的对象(141、142、143)之间的距离(d1、d2、d3)的空间数据(Dspat)；以及
生成向所述主体(U)呈现的反馈信号(SFB)，所述反馈信号(SFB)是基于所述所估计的关注点(PoR1、PoR2)和所述空间数据(Dspat)而生成的，所述反馈信号(SFB)指示从所述主体(U)到所述周围环境中的所述对象(141、142)的距离。
2.根据权利要求1所述的方法，其中所述反馈信号(SFB)指示所述对象相对于所述主体(U)的移动。
3.根据权利要求1或2中任一项所述的方法，其中所述反馈信号(SFB)被配置成导致至少一个第一感官刺激按听觉信号(SFB-A)、触觉信号(SFB-H)和视觉信号(SFB-V)中的至少一种形式施加到所述主体(U)。
4.根据权利要求3所述的方法，其中所述至少一个第一感官刺激的强度反映到对象的第一表面元素的距离(d1)，所述第一表面元素与所述主体(U)的眼基线和所述所估计的关注点(PoR1)之间的直线横交，所述第一表面元素沿着所述直线的位置比所述周围环境中的所述对象(141、142、143)的任何其它表面元素更接近所述眼基线。
5.根据权利要求4所述的方法，其中所述强度对于相当短的距离相对高，并且对于相当长的距离相对低。
6.根据权利要求4或5中任一项所述的方法，其中所述参考点(P)位于所述眼基线上。
7.根据权利要求4或5中任一项所述的方法，其中所述参考点(P)位于包含眼睛追踪器(110)的头戴式装置(A)的几何中心处，所述眼睛追踪器(110)被配置成生成所述注视数据(DGT)，所述几何中心表示所述头戴式装置(A)在安装在所述主体(U)上时围绕所述几何中心旋转的所估计的点。
8.根据前述权利要求中任一项所述的方法，其中所述空间数据(Dspat)描述从所述周围环境中的至少一个对象(141、142、143)反映的颜色和光强度信息，并且所述方法包括：
从所述空间数据(Dspat)获得所述至少一个对象中的至少一个的至少一个视觉质量；以及
生成所述反馈信号(SFB)，以使得其反映所述至少一个视觉质量。
9.根据权利要求8所述的方法，其中所述至少一个视觉质量包括描述所述至少一个对象的颜色、表面纹理和对象类别中的至少一个，并且所述反馈信号(SFB)被配置成导致至少一个第二感官刺激施加到所述主体(U)，所述至少一个第二感官刺激反映所述颜色、所述表面纹理和所述对象类别中的至少一个，并且所述至少一个第二感官刺激不同于所述至少一个第一刺激。
10.根据权利要求3到9中任一项所述的方法，其中生成所述反馈信号(SFB)包括向所述主体(U)呈现视觉信号(SFB-V)，所述视觉信号(SFB-V)提供眼睛提示，所述眼睛提示确认所述对象中的特定对象(142)处的所述所估计的关注点(PoR2)在所述周围环境中的位置，所述眼睛提示由至少一个图形元素(342)表示，所述至少一个图形元素(342)在一定位置处示出在所述主体(U)的视域中，以使得所述至少一个图形元素叠加在所述所估计的关注点(PoR2)上。
11.根据权利要求3到10中任一项所述的方法，其中生成所述反馈信号(SFB)包括向所述主体(U)呈现听觉信号(SFB-A)，所述听觉信号(SFB-A)提供声音提示，所述声音提示确认所述对象中的特定对象(142)处的所述所估计的关注点(PoR2)在所述周围环境中的位置，所述声音提示经由三维位置音频效果而模拟位于所述所估计的关注点(PoR2)处的声源(442)。
12.一种计算机程序产品(215)，所述计算机程序产品(215)可加载到通信连接到所述处理电路(210)的非易失性数据载体(214)中，所述计算机程序产品(215)包括用于在所述计算机程序产品(215)在所述处理电路(210)上运行时执行根据权利要求1到10中任一项所述的方法的软件。
13.一种非易失性数据载体(214)，所述非易失性数据载体(214)含有根据权利要求12所述的计算机程序产品(215)。
14.一种处理电路(210)，所述处理电路(210)被配置成包含在头戴式装置(A)中以用于辅助主体(U)获取关于周围环境的空间信息，所述处理电路(210)包括：
第一输入接口(111)，所述第一输入接口(111)被配置成从眼睛追踪器(110)接收注视数据(DGT)，所述注视数据(DGT)描述所述主体(U)的所估计的关注点(PoR1、PoR2)；
第二输入接口(212)，所述第二输入接口(212)被配置成接收空间数据(Dspat)，所述空间数据(Dspat)描述参考点(P)与所述周围环境中的对象(141、142、143)之间的距离(d1、d2、d3)；以及
输出接口(213)，所述输出接口(213)被配置成提供反馈信号(SFB)，所述反馈信号(SFB)指示从所述主体(U)到所述周围环境中的所述对象(141、142)的距离,所述反馈信号(SFB)是基于所述所估计的关注点(PoR1、PoR2)和所述空间数据(Dspat)而生成的。
15.根据权利要求14所述的处理电路(210)，其中所述反馈信号(SFB)指示所述对象相对于所述主体(U)的移动。
16.根据权利要求14或15中任一项所述的处理电路(210)，其中所述输出接口(213)被配置成生成所述反馈信号(SFB)以导致至少一个第一感官刺激按听觉信号(SFB-A)、触觉信号(SFB-H)和视觉信号(SFB-V)中的一种的形式施加到所述主体(U)。
17.根据权利要求16所述的处理电路(210)，其中所述所述输出接口(213)被配置成生成所述反馈信号(SFB)以使得所述至少一个第一感官刺激的强度反映到对象的第一表面元素的距离(d1)，所述第一表面元素与所述主体(U)的眼基线和所述所估计的关注点(PoR1)之间的直线横交，所述第一表面元素沿着所述直线的位置比所述周围环境中的对象(141、142、143)的任何其它表面元素更接近所述眼基线。
18.根据权利要求17所述的处理电路(210)，其中所述强度对于相当短的距离相对高，并且对于相当长的距离相对低。
19.根据权利要求16或17中任一项所述的处理电路(210)，其中所述参考点(P)位于所述眼基线上。
20.根据权利要求16或17中任一项所述的处理电路(210)，其中所述参考点(P)位于包含眼睛追踪器(110)的头戴式装置(A)的几何中心处，所述眼睛追踪器被配置成生成所述注视数据(DGT)，所述几何中心表示所述头戴式装置(A)在安装在所述主体(U)上时围绕其旋转的所估计的点。
21.根据权利要求14到20中任一项所述的处理电路(210)，其中所述空间数据(Dspat)描述从所述周围环境中的对象(141、142、143)反映的颜色和光强度信息，并且所述处理电路(210)被配置成：
从所述空间数据(Dspat)获得所述对象中的至少一个的至少一个视觉质量；并且
生成所述反馈信号(SFB)，以使得其反映所述至少一个视觉质量。
22.根据权利要求21所述的处理电路(210)，其中所述至少一个视觉质量包括描述所述至少一个对象的颜色、表面纹理和对象类别中的至少一个，并且所述输出接口(213)被配置成提供所述反馈信号(SFB)以导致至少一个第二感官刺激被施加到所述主体(U)，所述至少一个第二感官刺激反映所述颜色、所述表面纹理和所述对象类别中的至少一个，并且不同于所述至少一个第一刺激。
23.根据权利要求15到22中任一项所述的处理电路(210)，其中所述输出接口(213)被配置成连接到至少一个显示器(115、115R、115L)，所述至少一个显示器(115、115R、115L)被配置成向所述主体(U)呈现视觉信号(SFB-V)，所述视觉信号(SFB-V)提供眼睛提示，所述眼睛提示确认所述对象中的特定对象(142)处的所述所估计的关注点(PoR2)在所述周围环境中的位置，所述眼睛提示由至少一个图形元素(342)表示，所述至少一个图形元素(342)在一定位置处示出在所述主体(U)的视域中，以使得所述至少一个图形元素叠加在所述所估计的关注点(PoR2)上。
24.根据权利要求15到23中任一项所述的处理电路(210)，其中所述输出接口(213)被配置成连接到至少一个扬声器(121)，所述至少一个扬声器(121)被配置成向所述主体(U)生成听觉信号(SFB-A)，所述听觉信号(SFB-A)提供声音提示，所述声音提示确认所述对象中的特定对象(142)处的所述所估计的关注点(PoR2)在所述周围环境中的位置，所述声音提示经由三维位置音频效果而模拟位于所述所估计的关注点(PoR2)处的声源(442)。
25.一种头戴式装置(A)，包括：
根据权利要求14到24中任一项所述的处理电路(210)，
眼睛追踪器(110)，所述眼睛追踪器(110)被配置成生成注视数据(DGT)，所述注视数据(DGT)描述戴着所述头戴式装置(A)的主体(U)的所估计的关注点(PoR1、PoR2)，
距离传感器(130)，所述距离传感器(130)被配置成生成空间数据(Dspat)，所述空间数据(Dspat)描述参考点(P)与周围环境中的对象(141、142、143)之间的距离(d1、d2、d3)，以及
至少一个反馈单元(115R、115L、121、122)，所述至少一个反馈单元(115R、115L、121、122)被配置成向所述主体(U)呈现反馈信号(SFB)，所述反馈信号(SFB)是基于所述所估计的关注点(PoR1、PoR2)和所述空间数据(Dspat)而生成的，所述反馈信号(SFB)指示从所述主体(U)到所述周围环境中的所述对象(141、142)的距离。
CN202010090696.7A 2019-02-19 2020-02-13 用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置 Pending CN111586395A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1950209-5 2019-02-19
SE1950209A SE543332C2 (en) 2019-02-19 2019-02-19 Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment

Publications (1)

Publication Number Publication Date
CN111586395A true CN111586395A (zh) 2020-08-25

Family

ID=69740098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090696.7A Pending CN111586395A (zh) 2019-02-19 2020-02-13 用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置

Country Status (4)

Country Link
US (1) US11586281B2 (zh)
EP (1) EP3699735A1 (zh)
CN (1) CN111586395A (zh)
SE (1) SE543332C2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11402634B2 (en) * 2020-12-30 2022-08-02 Facebook Technologies, Llc. Hand-locked rendering of virtual objects in artificial reality

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS549488A (en) * 1977-04-05 1979-01-24 Ducommun Georges Aid for identifying outside for blind
US20070041600A1 (en) * 2005-08-22 2007-02-22 Zachman James M Electro-mechanical systems for enabling the hearing impaired and the visually impaired
US20080088469A1 (en) * 2005-01-13 2008-04-17 Siemens Aktiengesellschaft Device for Communicating Environmental Information to a Visually Impaired Person
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
RO130467A2 (ro) * 2014-02-21 2015-08-28 Ioan Moldovan Ochelari pentru nevăzători
WO2016131793A1 (en) * 2015-02-18 2016-08-25 Technische Universität München Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
US20180101223A1 (en) * 2015-03-31 2018-04-12 Sony Corporation Information processing apparatus, information processing method, and computer program
CN108351522A (zh) * 2015-08-07 2018-07-31 托比股份公司 注视方向映射

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS549488B2 (zh) 1971-09-16 1979-04-25
US9185352B1 (en) 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
US9380287B2 (en) 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US10914951B2 (en) 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US20160048019A1 (en) 2014-08-12 2016-02-18 Osterhout Group, Inc. Content presentation in head worn computing
RO130945A2 (ro) 2014-06-16 2016-02-26 Cornel Marian Amariei Metodă şi sistem de asistare a persoanelor cu deficienţă sau lipsă de vedere
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
KR102403861B1 (ko) 2015-01-06 2022-05-30 데이비드 버톤 모바일 웨어러블 모니터링 시스템
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US10838488B2 (en) * 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS549488A (en) * 1977-04-05 1979-01-24 Ducommun Georges Aid for identifying outside for blind
US20080088469A1 (en) * 2005-01-13 2008-04-17 Siemens Aktiengesellschaft Device for Communicating Environmental Information to a Visually Impaired Person
US20070041600A1 (en) * 2005-08-22 2007-02-22 Zachman James M Electro-mechanical systems for enabling the hearing impaired and the visually impaired
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
RO130467A2 (ro) * 2014-02-21 2015-08-28 Ioan Moldovan Ochelari pentru nevăzători
WO2016131793A1 (en) * 2015-02-18 2016-08-25 Technische Universität München Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons
US20180101223A1 (en) * 2015-03-31 2018-04-12 Sony Corporation Information processing apparatus, information processing method, and computer program
CN108351522A (zh) * 2015-08-07 2018-07-31 托比股份公司 注视方向映射
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters

Also Published As

Publication number Publication date
US20200387221A1 (en) 2020-12-10
EP3699735A1 (en) 2020-08-26
SE1950209A1 (en) 2020-08-20
SE543332C2 (en) 2020-12-01
US11586281B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
US11889289B2 (en) Providing binaural sound behind a virtual image being displayed with a wearable electronic device (WED)
CN104765444B (zh) 车载手势交互空间音频系统
EP3096730B1 (en) Audio navigation assistance
JP6017664B1 (ja) 情報処理方法及び情報処理プログラム
US20190313201A1 (en) Systems and methods for sound externalization over headphones
EP3399398B1 (en) An apparatus and associated methods for presentation of spatial audio
EP3507679A1 (en) Dynamic augmentation of real-world sounds into a virtual reality sound mix
EP3576427A1 (en) Haptics device for producing directional sound and haptic sensations
US20210081047A1 (en) Head-Mounted Display With Haptic Output
KR102190072B1 (ko) 콘텐츠 발견
CN111586395A (zh) 用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置
JP2020042369A (ja) 情報処理装置、情報処理方法及び記録媒体
EP4124053A1 (en) Display system and method
JP2017120619A (ja) 情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination