CN117270193A - 一种光学透射式头戴显示设备及调节方法 - Google Patents

一种光学透射式头戴显示设备及调节方法 Download PDF

Info

Publication number
CN117270193A
CN117270193A CN202210672408.8A CN202210672408A CN117270193A CN 117270193 A CN117270193 A CN 117270193A CN 202210672408 A CN202210672408 A CN 202210672408A CN 117270193 A CN117270193 A CN 117270193A
Authority
CN
China
Prior art keywords
user
distance
virtual image
eyes
mapping relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210672408.8A
Other languages
English (en)
Inventor
程德文
段家喜
侯起超
姚成
侯伟洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ned+ Ar Display Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Beijing Ned+ Ar Display Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ned+ Ar Display Technology Co ltd, Beijing Institute of Technology BIT filed Critical Beijing Ned+ Ar Display Technology Co ltd
Priority to CN202210672408.8A priority Critical patent/CN117270193A/zh
Publication of CN117270193A publication Critical patent/CN117270193A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及头戴显示技术领域，尤其涉及一种光学透射式头戴显示设备及调节方法，其中，该设备包括：眼动监测模块，用于动态监测用户双眼位置，确定用户双眼瞳间距数据；光学成像模块，用于在用户眼前建立虚像，以及调节虚像距；主控模块，与所述眼动监测模块、所述光学成像模块连接，用于根据所述眼动监测模块确定的用户双眼瞳间距数据生成相应的调节指令，并发送至所述光学成像模块，以实时调节虚像距与用户观看距离匹配。本发明方案能够根据用户观看距离实时调节虚像距，提升用户使用体验。

Description

一种光学透射式头戴显示设备及调节方法
技术领域
本发明涉及头戴显示技术领域，尤其涉及一种光学透射式头戴显示设备及调节方法、计算机设备、计算机可读存储介质。
背景技术
头戴显示设备从是否可以看到外界环境图像通常分为不透射、光学透射式、和视频透射式三种。现有的增强现实(AR)头戴显示设备大多数为光学透射式。光学透射式头戴显示设备将显示器所呈现的内容形成虚像，叠加在现实世界上，用户需要同时看清楚设备所成虚像和现实世界的真实场景。一般情况下，光学透射式头戴显示设备所成虚像位于固定的虚像距平面处，当用户注视真实场景，观看距离发生改变的时候，想要看清虚像，就需要不断调节眼睫肌从远处或近处聚焦到虚像距平面，如此来回不停的调节，不断形成视觉辐辏调节冲突，会造成眼疲劳及眩晕感，影响用户体验。
发明内容
有鉴于此，本发明的主要目的在于提供一种能够根据用户观看距离实时调节虚像距的光学透射式头戴显示设备及调节方法，以便让虚像距和用户观看距离保持同步，从而提升用户使用体验。
为了实现上述目的，本发明的技术方案是这样实现的：
一种光学透射式头戴显示设备，包括：
眼动监测模块，用于动态监测用户双眼位置，确定用户双眼瞳间距数据；
光学成像模块，用于在用户眼前建立虚像，以及调节虚像距；
主控模块，与所述眼动监测模块、所述光学成像模块连接，用于根据所述眼动监测模块确定的用户双眼瞳间距数据生成相应的调节指令，并发送至所述光学成像模块，以实时调节虚像距与用户观看距离匹配。
可选地，所述主控模块根据所述眼动监测模块确定的用户双眼瞳间距数据生成相应的调节指令，包括执行如下操作：
获取用户双眼瞳间距与虚像距调节变量之间的映射关系；
根据所述眼动监测模块实际确定的用户双眼瞳间距数据，通过用户双眼瞳间距与虚像距调节变量之间的映射关系，计算得到相应的虚像距调节变量数据；
基于计算得到的虚像距调节变量数据，生成相应的调节指令。
可选地，所述用户双眼瞳间距与虚像距调节变量之间的映射关系，通过如下方式确定：
通过标定，确定用户双眼瞳间距与观看距离之间的映射关系；
获取虚像距调节变量与虚像距之间的映射关系；
令虚像距等于用户的观看距离，建立用户双眼瞳间距与虚像距调节变量之间的映射关系。
可选地，所述通过标定，确定用户双眼瞳间距与观看距离之间的映射关系，包括：
对于一个用户，通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据；
基于得到的多组观看距离及对应的用户双眼瞳间距数据，通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系。
可选地，所述用户双眼瞳间距与虚像距调节变量之间的映射关系，通过如下方式确定：
通过标定，确定与预设观看距离相对应的用户双眼瞳间距；
基于确定的用户双眼瞳间距进行分级；
根据分级结果，从预先建立的映射关系数据库中，调用相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
可选地，所述映射关系数据库，通过如下方式建立；
获取不同用户在不同观看距离下的多组用户双眼瞳间距数据与对应的虚像距调节变量数据；
以标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分；
对划分得到的每一个层级，均进行如下操作：
构建卷积神经网络模型；
基于该层级用户的多组用户双眼瞳间距数据与对应的虚像距调节变量数据，对所述卷积神经网络模型进行训练；
以完成训练的所述卷积神经网络模型表征该层级的映射关系，存入所述映射关系数据库。
可选地，所述眼动监测模块包括第一处理单元、第二处理单元和至少两个摄像头；
所述摄像头朝向用户双眼，用于拍摄人眼图像；
所述第一处理单元用于基于拍摄的所述人眼图像，确定用户双眼位置；
所述第二处理单元用于根据用户双眼位置，计算得到用户双眼瞳间距数据。
可选地，所述第一处理单元基于拍摄的所述人眼图像，确定用户双眼位置，包括执行如下操作：
基于拍摄的所述人眼图像，分别确定用户双眼的瞳孔区域；
基于确定的所述瞳孔区域，分别定位得到用户双眼的瞳孔中心点，作为用户双眼位置。
一种光学透射式头戴显示设备的调节方法，包括如下步骤：
获取用户双眼瞳间距与虚像距调节变量之间的映射关系；
监测得到用户双眼瞳间距数据；
基于监测得到的所述用户双眼瞳间距数据，通过用户双眼瞳间距与虚像距调节变量之间的映射关系，计算相应的虚像距调节变量数据；
基于计算得到的所述虚像距调节变量数据，实时调节所述光学透射式头戴显示设备，令虚像距与用户观看距离匹配。
可选地，所述获取用户双眼瞳间距与虚像距调节变量之间的映射关系，包括：
通过标定，建立用户双眼瞳间距与观看距离之间的映射关系；
对于所述光学透射式头戴显示设备，获取虚像距调节变量与虚像距之间的映射关系；
令虚像距等于用户的观看距离，建立用户双眼瞳间距与虚像距调节变量之间的映射关系。
可选地，所述通过标定，确定用户双眼瞳间距与观看距离之间的映射关系，包括：
对于一个用户，通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据；
基于得到的多组观看距离及对应的用户双眼瞳间距数据，通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系。
可选地，所述获取用户双眼瞳间距与虚像距调节变量之间的映射关系，包括：
通过标定，确定与预设观看距离相对应的用户双眼瞳间距；
基于确定的用户双眼瞳间距进行分级；
根据分级结果，从预先建立的映射关系数据库中，调用相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
可选地，所述映射关系数据库，通过如下方式建立；
获取不同用户在不同观看距离下的多组用户双眼瞳间距数据与对应的虚像距调节变量数据；
以标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分；
对划分得到的每一个层级，均进行如下操作：
构建卷积神经网络模型；
基于该层级用户的多组用户双眼瞳间距数据与对应的虚像距调节变量数据，对所述卷积神经网络模型进行训练；
以完成训练的所述卷积神经网络模型表征该层级的映射关系，存入所述映射关系数据库。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述调节方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述调节方法的步骤。
根据本发明的光学透射式头戴显示设备及调节方法、计算机设备、计算机可读存储介质，可通过动态监测用户双眼瞳间距确定用户当前观看距离，以便及时调节所成虚像的虚像距，使得虚像距和用户当前观看距离保持同步，从而有效解决目前光学透射式头戴显示设备存在的视觉辐辏调节冲突问题，降低用户眼疲劳及眩晕感，提升用户使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种光学透射式头戴显示设备结构示意图；
图2是本发明实施例中一种光学透射式头戴显示设备的调节方法步骤示意图；
图3是本发明实施例中另一种光学透射式头戴显示设备的调节方法步骤示意图。
图中：101：光学成像模块；201：眼动监测模块；301：主控模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中，表述“第一”和“第二”等可以修饰本发明的多种组成元件，但是不限制对应的组成元件。例如，表述不限制对应的组成元件的顺序和/或重要性等。表述可以用于将一个组成元件与另一组成元件区分开来。例如，第一用户装置和第二用户装置全部为用户装置，且代表不同的用户装置。例如，第一组成元件可以被命名为第二组成元件而不脱离本发明的精神和范围。相同地，即使第二组成元件也可以被命名为第一组成元件。表述方法包括的“步骤”中表示的标号仅用于区分不同的步骤，并不代表步骤的顺序限制。本领域技术人员应知道，上述步骤的序号是为了阐述方便和简洁，在没有引用结果限定的情况下，可以同时执行，也可以先后执行，此处并不限制。
如前所述，光学透射式头戴显示设备所显示的虚像通常位于固定的虚像距平面处，当用户注视真实场景，用户的观看距离(也即双眼聚焦位置到用户双眼中点的距离)发生改变的时候，再想要看清虚像，就需要不断调节眼睫肌从远处或近处聚焦到虚像距平面，如此来回不停的调节，不断形成视觉辐辏调节冲突，会造成眼疲劳及眩晕感，影响用户体验。有鉴于此，本发明提供了一种能够根据用户观看距离实时调节虚像距的光学透射式头戴显示设备及调节方法，且调节的依据是用户双眼瞳间距，能够快捷、有效地确定用户双眼聚焦的观看距离，进而调节虚像距与观看距离匹配。
下面描述以上构思的具体实现方式。
如图1所示，本发明实施例提供的一种光学透射式头戴显示设备，包括：光学成像模块101、眼动监测模块201和主控模块301；具体地，其中，眼动监测模块201用于动态监测用户双眼位置，确定用户双眼瞳间距数据；光学成像模块101用于在用户的眼前建立虚像，以及调节虚像距，即，光学成像模块101所成虚像远近可调；主控模块301与所述眼动监测模块201、所述光学成像模块101均连接，主控模块301用于根据所述眼动监测模块201确定的用户双眼瞳间距数据，生成相应的调节指令，并发送至所述光学成像模块101，以实时调节虚像距与用户观看距离匹配。所述光学成像模块101响应于主控模块301发送的指令。
人眼观察近距离目标时，双眼瞳孔向中间汇聚，而在观察远距离目标时，双眼瞳孔相对分离。本发明上述实施例通过动态监测用户双眼瞳间距数据，实时确定当前用户观看距离，据此调节光学成像模块101所成虚像的虚像距，使得虚像距和用户观看距离保持同步，有效解决目前光学透射式头戴显示设备存在的视觉辐辏调节冲突问题。本发明能够提升用户使用体验，并且，由于本发明采用了用户双眼瞳间距作为虚像距调节依据参量，易于实现，且可靠性强，有利于控制成本，并能够适用于不同的用户及使用场景。
可选地，所述眼动监测模块201包括第一处理单元、第二处理单元和至少两个摄像头；其中，所述摄像头朝向用户双眼，用于拍摄人眼图像，即包含用户双眼瞳孔区域的图像；所述第一处理单元用于基于拍摄的所述人眼图像，确定用户双眼位置；所述第二处理单元用于根据用户双眼位置，计算得到用户双眼瞳间距数据。
上述实施例通过设置多个能够进行眼动追踪的摄像头，在整个眼球运动区域范围内追踪到眼瞳的运动，拍摄相应的人眼图像。进一步地，该光学透射式头戴显示设备中，眼动监测模块201的摄像头可靠近人眼位置安装，位于所述光学成像模块101所在区域的边缘，以避免干扰建立虚像，并确保能够追踪眼瞳。第一处理单元、第二处理单元可以和摄像头设置在一起，也可以和主控模块301设置在一起。
进一步地，所述第一处理单元基于拍摄的所述人眼图像，确定用户双眼位置，包括执行如下操作：
基于拍摄的所述人眼图像，分别确定用户双眼的瞳孔区域；
基于确定的所述瞳孔区域，分别定位得到用户双眼的瞳孔中心点，作为用户双眼位置。
上述实施例基于用户的两个瞳孔中心点数据确定用户双眼位置，瞳孔中心点这一参量不受用户瞳孔大小的干扰，能够较为准确地反应用户目视情况，并且，易于以坐标的形式表示及存储。确定用户双眼瞳间距数据时，根据两个瞳孔中心点的坐标差即可进行求解，便于计算。进一步地，若以坐标的形式存储用户双眼位置，则一组用户双眼位置包括两个瞳孔中心点数据，每个瞳孔中心点数据可以包括一组水平向坐标和竖直向坐标，也可以仅包括水平向坐标，相比于竖直向坐标，水平向坐标在确定用户双眼瞳间距数据时更加重要。设第i个时刻用户双眼位置包括左、右双眼的水平向坐标α右i、α左i，则用户双眼瞳间距数据Ci＝α右i-α左i，或用户双眼瞳间距数据Ci＝α左i-α右i，或用户双眼瞳间距数据Ci＝|α右i-α左i|。
可选地，主控模块301根据所述眼动监测模块201确定的用户双眼瞳间距数据生成相应的调节指令，包括执行如下操作：
获取用户双眼瞳间距C与虚像距调节变量A之间的映射关系A＝f1(C)；
根据所述眼动监测模块201实际确定的用户双眼瞳间距数据Ci，通过用户双眼瞳间距C与虚像距调节变量A之间的映射关系A＝f1(C)，计算得到相应的虚像距调节变量数据Ai，Ai＝f1(Ci)；
基于上述计算得到的虚像距调节变量数据Ai，生成相应的调节指令。
本发明上述实施例中，通过建立用户双眼瞳间距C与虚像距调节变量A之间的映射关系，结合眼动监测模块201实时确定的、当前实际的用户双眼瞳间距数据Ci，即可确定相应的虚像距调节变量数据Ai，进而可依据虚像距调节变量数据Ai得到调节指令，调节所成虚像的虚像距。根据所述光学成像模块101建立虚像及调节虚像距的原理不同，虚像距调节变量可能是不同的变量，例如，对于依赖机械调节的光学成像模块101，虚像距调节变量可以是透镜组焦距，而对于采用压电液体透镜的、依赖电控调节的光学成像模块101，虚像距调节变量可以是对压电液体透镜施加的电压。
用户双眼瞳间距C与虚像距调节变量A之间的映射关系可通过调用存储的数据实现。若没有存储的数据，可选地，用户双眼瞳间距C与虚像距调节变量A之间的映射关系A＝f1(C)可通过如下方式确定：
通过标定，确定用户双眼瞳间距C与观看距离B之间的映射关系B＝f2(C)；
获取虚像距调节变量A与虚像距D之间的映射关系D＝f3(A)；
令虚像距D等于用户的观看距离B，建立用户双眼瞳间距C与虚像距调节变量A之间的映射关系A＝f3-1(f2(C))。
需要说明的是，上述映射关系A＝f1(C)、B＝f2(C)、D＝f3(A)、A＝f3-1(f2(C))可以用函数的形式表示，也可以用图像、数列等其他的形式表示。
本发明上述实施例基于标定建立用户双眼瞳间距与观看距离之间的映射关系，令虚像距等于用户的观看距离，结合虚像距调节变量与虚像距之间的映射关系，最终确定用户双眼瞳间距与虚像距调节变量之间的映射关系。对于不同的用户，用户双眼瞳间距与虚像距调节变量之间的映射关系可能不同，该设备能够很好地适应不同用户的需求。
可选地，所述通过标定，确定用户双眼瞳间距与观看距离之间的映射关系，包括：
对于一个用户，通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据；即，标定用户在不同观看距离条件下的用户双眼瞳间距数据；
基于得到的多组观看距离及对应的用户双眼瞳间距数据，通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系。
本发明上述实施例通过标定及拟合，确定用户双眼瞳间距与观看距离之间的映射关系，所述映射关系的适用范围根据参与标定的观看距离决定，即，所述映射关系成立范围的上、下限应分别对应实测的用户观看距离上、下限。
可选地，所述通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据，包括：
确定观看距离为0.5m时所对应的用户双眼瞳间距数据；
确定观看距离为5.0m时所对应的用户双眼瞳间距数据；
至少确定一个观看距离介于0.5m与5.0m之间时所对应的用户双眼瞳间距数据，即，确定观看距离为x m时所对应的用户双眼瞳间距数据，x∈(0.5,5.0)，x至少包括一个数据点。x优选等于2.5m。
通常情况下，有效的用户观看距离为0.5m至5.0m，观看距离过小，可能增加眼睛负担或者无法双眼对3D立体图像合像，观看距离5.0m及以上，用户双眼瞳间距数据变化很小，可认为观看距离5.0m相当于远视，近似于虚像显示在无穷远处的情况，再结合至少一个观看距离介于0.5m与5.0m之间所对应的用户双眼瞳间距数据，即可用于建立用户双眼瞳间距与观看距离之间的映射关系，所述映射关系成立范围为观看距离0.5m至5.0m。
优选地，为确保建立的用户双眼瞳间距与观看距离之间映射关系的可靠性，所述至少确定一个观看距离介于0.5m与5.0m之间时所对应的用户双眼瞳间距数据，包括：
至少确定两个观看距离介于1.5m与3.5m之间时所对应的用户双眼瞳间距数据，即，确定观看距离为y m时所对应的用户双眼瞳间距数据，y∈[1.5,3.5]，y至少包括两个数据点。例如，y优选等于2m和3m。
上述实施例通过增加数据点，并令数据点间隔分布，可增加建立的映射关系的准确性。
进一步地，拟合方法可采用最小二乘法线性回归、拉格郎日插值或分段线性插值等，即，所述通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系，包括：
采用最小二乘法线性回归公式，拟合用户双眼瞳间距与观看距离之间的映射关系；或
采用拉格郎日插值公式，拟合用户双眼瞳间距与观看距离之间的映射关系；或
采用分段线性插值公式，拟合用户双眼瞳间距与观看距离之间的映射关系。
采用上述实施例，能够利用较少的数据建立用户双眼瞳间距与观看距离之间的映射关系，从而快速确定所述映射关系的适用范围内任意观看距离所对应的用户双眼瞳间距。
可选地，所述用户双眼瞳间距与虚像距调节变量之间的映射关系，通过如下方式确定：
通过标定，确定与预设观看距离相对应的用户双眼瞳间距；
基于确定的用户双眼瞳间距进行分级；
根据分级结果，从预先建立的映射关系数据库中，调用相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
上述实施例通过用户观看预设观看距离时的用户双眼瞳间距进行分级，预设观看距离及具体的分级结果可根据实际需要设置，例如可选2.5m，进行分级的规则可包括48-56mm为儿童组、56-72mm为成人组等，并且可选地，在不同的分组内还可以根据双眼瞳间距范围做进一步的细分以提高控制精度，根据分级结果，即可调用预先存储的、相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
进一步地，所述映射关系数据库，通过如下方式建立；
获取不同用户在不同观看距离下的多组用户双眼瞳间距数据与对应的虚像距调节变量数据；
以标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分；
对划分得到的每一个层级，均进行如下操作：
构建卷积神经网络模型；
基于该层级用户的多组用户双眼瞳间距数据与对应的虚像距调节变量数据，对所述卷积神经网络模型进行训练；
以完成训练的所述卷积神经网络模型表征该层级的映射关系，存入所述映射关系数据库。
上述实施例以预先选定的标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分，例如标准观看距离可为2.5m，则选择观看2.5m时不同瞳距(如从48-72mm)的人群，以10mm瞳距为间距进行划分(如40-50mm、50-60mm等)，每个层级获得不同用户的多组训练样本，训练样本包括用户双眼瞳间距数据与对应的虚像距调节变量数据，尽可能覆盖较大的观看距离范围，通过卷积神经网络深度学习进行训练，即可确定每一个层级范围内所对应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
上述实施例采用训练后的所述卷积神经网络模型表征用户双眼瞳间距与虚像距调节变量之间的映射关系，可以更好的预测未经过神经网络训练使用人群(测试集)用户双眼瞳间距与虚像距调节变量之间的关系，从而进一步提升使用人群(测试集)的使用时虚像距和用户观看距离匹配的准确度。
上述实施例基于神经网络确定用户双眼瞳间距与观看距离之间的映射关系，需要更多的数据，但建立的映射关系更贴近实际情况，能够让用户观看距离不同时，相对应的虚像显示位置更加准确。
如图2所示，本发明还提供了一种光学透射式头戴显示设备的调节方法，包括如下步骤：
步骤200，获取用户双眼瞳间距与所述光学透射式头戴显示设备的虚像距调节变量之间的映射关系；
步骤202，监测得到当前的用户双眼瞳间距数据；
步骤204，基于监测得到的所述用户双眼瞳间距数据，通过用户双眼瞳间距与虚像距调节变量之间的映射关系，计算相应的虚像距调节变量数据；
步骤206，基于计算得到的所述虚像距调节变量数据，实时调节所述光学透射式头戴显示设备，令虚像距与用户观看距离匹配。
本发明上述实施例基于当前的用户双眼瞳间距数据，利用用户双眼瞳间距与所述光学透射式头戴显示设备的虚像距调节变量之间的映射关系，计算获取虚像距调节变量数据，进而调节所述光学透射式头戴显示设备，提升用户使用体验。
进一步地，步骤200包括：
通过标定，建立用户双眼瞳间距与观看距离之间的映射关系；
对于所述光学透射式头戴显示设备，获取虚像距调节变量与虚像距之间的映射关系；
令虚像距等于用户的观看距离，建立用户双眼瞳间距与虚像距调节变量之间的映射关系。
可选地，所述通过标定，确定用户双眼瞳间距与观看距离之间的映射关系，包括：
对于一个用户，通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据；
基于得到的多组观看距离及对应的用户双眼瞳间距数据，通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系。
可选地，所述通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据，包括：
确定观看距离为0.5m时所对应的用户双眼瞳间距数据；
确定观看距离为5.0m时所对应的用户双眼瞳间距数据；
至少确定一个观看距离介于0.5m与5.0m之间时所对应的用户双眼瞳间距数据，即，确定观看距离为x m时所对应的用户双眼瞳间距数据，x∈(0.5,5.0)，x至少包括一个数据点。x优选等于2.5m。
可选地，标定时，令用户佩戴所述光学透射式头戴显示设备，从近到远进行标定，先观看0.5m处的目标，获得对应的用户双眼瞳间距数据，再观看x m处的目标，获得对应的用户双眼瞳间距数据，最后观看5.0m处的目标，获得对应的用户双眼瞳间距数据，或，从远到近进行标定。
优选地，为确保建立用户双眼瞳间距与观看距离之间的映射关系的可靠性，所述至少确定一个观看距离介于0.5m与5.0m之间时所对应的用户双眼瞳间距数据，包括：
至少确定两个观看距离介于1.5m与3.5m之间时所对应的用户双眼瞳间距数据，即，确定观看距离为y m时所对应的用户双眼瞳间距数据，y∈[1.5,3.5]，y至少包括两个数据点。例如，y优选等于2m和3m。
可选地，所述获取用户双眼瞳间距与虚像距调节变量之间的映射关系，包括：
通过标定，确定与预设观看距离相对应的用户双眼瞳间距；
基于确定的用户双眼瞳间距进行分级；
根据分级结果，从预先建立的映射关系数据库中，调用相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
进一步地，所述映射关系数据库，通过如下方式建立；
获取不同用户在不同观看距离下的多组用户双眼瞳间距数据与对应的虚像距调节变量数据；
以标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分；
对划分得到的每一个层级，均进行如下操作：
构建卷积神经网络模型；
基于该层级用户的多组用户双眼瞳间距数据与对应的虚像距调节变量数据，对所述卷积神经网络模型进行训练；
以完成训练的所述卷积神经网络模型表征该层级的映射关系，存入所述映射关系数据库。
如图3所示，本发明提供的一种光学透射式头戴显示设备的调节方法，包括如下步骤：
步骤300，通过标定，建立用户双眼瞳间距与观看距离之间的映射关系；
步骤302，对于所述光学透射式头戴显示设备，获取虚像距调节变量与虚像距之间的映射关系；
步骤304，令虚像距等于用户的观看距离，建立用户双眼瞳间距与虚像距调节变量之间的映射关系；
步骤306，监测得到用户双眼瞳间距数据；
步骤308，基于监测得到的所述用户双眼瞳间距数据，通过用户双眼瞳间距与虚像距调节变量之间的映射关系，计算相应的虚像距调节变量数据；
步骤310，基于计算得到的所述虚像距调节变量数据，实时调节所述光学透射式头戴显示设备，令虚像距与用户观看距离匹配。
本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种光学透射式头戴显示设备及调节方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种光学透射式头戴显示设备及调节方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种光学透射式头戴显示设备，其特征在于，包括：
眼动监测模块，用于动态监测用户双眼位置，确定用户双眼瞳间距数据；
光学成像模块，用于在用户眼前建立虚像，以及调节虚像距；
主控模块，与所述眼动监测模块、所述光学成像模块连接，用于根据所述眼动监测模块确定的用户双眼瞳间距数据生成相应的调节指令，并发送至所述光学成像模块，以实时调节虚像距与用户观看距离匹配。
2.根据权利要求1所述的光学透射式头戴显示设备，其特征在于，
所述主控模块根据所述眼动监测模块确定的用户双眼瞳间距数据生成相应的调节指令，包括执行如下操作：
获取用户双眼瞳间距与虚像距调节变量之间的映射关系；
根据所述眼动监测模块实际确定的用户双眼瞳间距数据，通过用户双眼瞳间距与虚像距调节变量之间的映射关系，计算得到相应的虚像距调节变量数据；
基于计算得到的虚像距调节变量数据，生成相应的调节指令。
3.根据权利要求2所述的光学透射式头戴显示设备，其特征在于，
所述用户双眼瞳间距与虚像距调节变量之间的映射关系，通过如下方式确定：
通过标定，确定用户双眼瞳间距与观看距离之间的映射关系；
获取虚像距调节变量与虚像距之间的映射关系；
令虚像距等于用户的观看距离，建立用户双眼瞳间距与虚像距调节变量之间的映射关系。
4.根据权利要求3所述的光学透射式头戴显示设备，其特征在于，
所述通过标定，确定用户双眼瞳间距与观看距离之间的映射关系，包括：
对于一个用户，通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据；
基于得到的多组观看距离及对应的用户双眼瞳间距数据，通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系。
5.根据权利要求2所述的光学透射式头戴显示设备，其特征在于，
所述用户双眼瞳间距与虚像距调节变量之间的映射关系，通过如下方式确定：
通过标定，确定与预设观看距离相对应的用户双眼瞳间距；
基于确定的用户双眼瞳间距进行分级；
根据分级结果，从预先建立的映射关系数据库中，调用相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
6.根据权利要求5所述的光学透射式头戴显示设备，其特征在于，
所述映射关系数据库，通过如下方式建立；
获取不同用户在不同观看距离下的多组用户双眼瞳间距数据与对应的虚像距调节变量数据；
以标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分；
对划分得到的每一个层级，均进行如下操作：
构建卷积神经网络模型；
基于该层级用户的多组用户双眼瞳间距数据与对应的虚像距调节变量数据，对所述卷积神经网络模型进行训练；
以完成训练的所述卷积神经网络模型表征该层级的映射关系，存入所述映射关系数据库。
7.根据权利要求1所述的光学透射式头戴显示设备，其特征在于，
所述眼动监测模块包括第一处理单元、第二处理单元和至少两个摄像头；
所述摄像头朝向用户双眼，用于拍摄人眼图像；
所述第一处理单元用于基于拍摄的所述人眼图像，确定用户双眼位置；
所述第二处理单元用于根据用户双眼位置，计算得到用户双眼瞳间距数据。
8.根据权利要求7所述的光学透射式头戴显示设备，其特征在于，
所述第一处理单元基于拍摄的所述人眼图像，确定用户双眼位置，包括执行如下操作：
基于拍摄的所述人眼图像，分别确定用户双眼的瞳孔区域；
基于确定的所述瞳孔区域，分别定位得到用户双眼的瞳孔中心点，作为用户双眼位置。
9.一种光学透射式头戴显示设备的调节方法，其特征在于，包括如下步骤：
获取用户双眼瞳间距与虚像距调节变量之间的映射关系；
监测得到用户双眼瞳间距数据；
基于监测得到的所述用户双眼瞳间距数据，通过用户双眼瞳间距与虚像距调节变量之间的映射关系，计算相应的虚像距调节变量数据；
基于计算得到的所述虚像距调节变量数据，实时调节所述光学透射式头戴显示设备，令虚像距与用户观看距离匹配。
10.根据权利要求9所述的方法，其特征在于：
所述获取用户双眼瞳间距与虚像距调节变量之间的映射关系，包括：
通过标定，建立用户双眼瞳间距与观看距离之间的映射关系；
对于所述光学透射式头戴显示设备，获取虚像距调节变量与虚像距之间的映射关系；
令虚像距等于用户的观看距离，建立用户双眼瞳间距与虚像距调节变量之间的映射关系。
11.根据权利要求10所述的方法，其特征在于：
所述通过标定，确定用户双眼瞳间距与观看距离之间的映射关系，包括：
对于一个用户，通过标定，得到至少三组不同观看距离及对应的用户双眼瞳间距数据；
基于得到的多组观看距离及对应的用户双眼瞳间距数据，通过数据拟合，建立用户双眼瞳间距与观看距离之间的映射关系。
12.根据权利要求9所述的方法，其特征在于：
所述获取用户双眼瞳间距与虚像距调节变量之间的映射关系，包括：
通过标定，确定与预设观看距离相对应的用户双眼瞳间距；
基于确定的用户双眼瞳间距进行分级；
根据分级结果，从预先建立的映射关系数据库中，调用相应的用户双眼瞳间距与虚像距调节变量之间的映射关系。
13.根据权利要求12所述的方法，其特征在于：
所述映射关系数据库，通过如下方式建立；
获取不同用户在不同观看距离下的多组用户双眼瞳间距数据与对应的虚像距调节变量数据；
以标准观看距离所对应的用户双眼瞳间距为基准，对不同用户进行层级划分；
对划分得到的每一个层级，均进行如下操作：
构建卷积神经网络模型；
基于该层级用户的多组用户双眼瞳间距数据与对应的虚像距调节变量数据，对所述卷积神经网络模型进行训练；
以完成训练的所述卷积神经网络模型表征该层级的映射关系，存入所述映射关系数据库。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9-13中任一项所述调节方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求9-13中任一项所述调节方法的步骤。
CN202210672408.8A 2022-06-15 2022-06-15 一种光学透射式头戴显示设备及调节方法 Pending CN117270193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210672408.8A CN117270193A (zh) 2022-06-15 2022-06-15 一种光学透射式头戴显示设备及调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210672408.8A CN117270193A (zh) 2022-06-15 2022-06-15 一种光学透射式头戴显示设备及调节方法

Publications (1)

Publication Number Publication Date
CN117270193A true CN117270193A (zh) 2023-12-22

Family

ID=89205011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210672408.8A Pending CN117270193A (zh) 2022-06-15 2022-06-15 一种光学透射式头戴显示设备及调节方法

Country Status (1)

Country Link
CN (1) CN117270193A (zh)

Similar Documents

Publication Publication Date Title
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
CN108600733B (zh) 一种基于人眼跟踪的裸眼3d显示方法
JP2021093206A (ja) 仮想および拡張現実システムならびに方法
CN110187855A (zh) 近眼显示设备的避免全息影像阻挡视线的智能调节方法
IL308780A (en) Improved positioning for a display device
CN110325895A (zh) 聚焦调整多平面头戴式显示器
CN102300110A (zh) 显示设备
US11570426B2 (en) Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
JP7491926B2 (ja) 拡張現実ヘッドセットの動的収束調整
CN106648075B (zh) 一种虚拟现实设备的控制方法及虚拟现实设备
KR20210128467A (ko) 시각 작업에 대한 시각 장비의 성능을 평가하기 위한 디바이스 및 방법
KR20120099976A (ko) 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법
WO2021169853A1 (zh) 一种显示方法、装置、终端设备及存储介质
CN107155102A (zh) 3d自动对焦显示方法及其系统
CN117270193A (zh) 一种光学透射式头戴显示设备及调节方法
US11934571B2 (en) Methods and systems for a head-mounted device for updating an eye tracking model
KR20240040727A (ko) 광학 제품 시뮬레이션 방법
CN111654688B (zh) 一种获取目标控制参数的方法与设备
US11517195B2 (en) Panum's area measurement method, apparatus, and wearable display device
Wu et al. Depth-disparity calibration for augmented reality on binocular optical see-through displays
KR101808758B1 (ko) 입체 영상 표시 장치 및 그 오정렬 보정 방법
US20230393655A1 (en) Electronic apparatus
RU2815753C1 (ru) Способ и устройство отображения, оконечное устройство и носитель для хранения данных
CN114859561B (zh) 一种可穿戴显示设备及其控制方法、存储介质
KR102174465B1 (ko) 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination