CN114578954A - 一种增强现实显示装置及其显示控制方法 - Google Patents

一种增强现实显示装置及其显示控制方法 Download PDF

Info

Publication number
CN114578954A
CN114578954A CN202011365227.8A CN202011365227A CN114578954A CN 114578954 A CN114578954 A CN 114578954A CN 202011365227 A CN202011365227 A CN 202011365227A CN 114578954 A CN114578954 A CN 114578954A
Authority
CN
China
Prior art keywords
virtual
augmented reality
image
reality display
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011365227.8A
Other languages
English (en)
Inventor
钟正杰
张元�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Guangzhili Technology Co ltd
Original Assignee
Shanghai Guangzhili Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Guangzhili Technology Co ltd filed Critical Shanghai Guangzhili Technology Co ltd
Priority to CN202011365227.8A priority Critical patent/CN114578954A/zh
Publication of CN114578954A publication Critical patent/CN114578954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种增强现实显示装置及其显示控制方法，包括：可调节框架，用于用户佩戴；所述可调节框架套设于用户头部；安装槽，用于安装移动终端；所述安装槽设置于所述可调节框架的第一端；增强现实显示屏，用于向用户提供增强现实显示画面；所述增强现实显示屏设置于所述可调节框架的第二端；移动终端，用于控制所述增强现实显示屏；所述移动终端设置于所述安装槽中，且与所述增强现实显示屏相对。本申请提供的一种增强现实显示装置及其显示控制方法，将手机与AR/VR/MR的光学组件刚性地连接到一起，通过Visual SLAM的技术获取手机在空间中的体姿，通过空间坐标换算获得人眼位置，并根据双眼体姿输出画面到光学组件上。

Description

一种增强现实显示装置及其显示控制方法
技术领域
本发明属于增强现实技术领域，具体涉及一种增强现实显示装置及其显示控制方法。
背景技术
在VR/AR/MR设备领域中，术语Inside Out是指通过头戴设备上固定的传感器实现头戴设备的6DoF定位追踪，而术语Outside In是指通过外置固定在空间中的传感器实现头戴设备的6DoF定位追踪。目前通过Inside Out实现头戴设备的6DoF定位追踪的AR/VR/MR设备分为一体机(例如Hololens/Occulus Quest)和连线分体机(例如MagicLeap/Nreal)。
但是不论上述何种设备，它们都没有利用手机传感器实现6DoF定位追踪的功能，而是另外再配置深度摄像头或者ToF摄像头来实现6DoF定位追踪的功能，并未充分利用智能手机的能力而是额外采用一套独立的设备会极大增加VR/AR/MR设备的成本。
发明内容
为解决上述问题，本发明提供了一种增强现实显示装置，包括：
可调节框架，用于用户佩戴；所述可调节框架套设于用户头部；
安装槽，用于安装移动终端；所述安装槽设置于所述可调节框架的第一端；
增强现实显示屏，用于向用户提供增强现实显示画面；所述增强现实显示屏设置于所述可调节框架的第二端；
移动终端，用于控制所述增强现实显示屏；所述移动终端设置于所述安装槽中，且与所述增强现实显示屏相对；
其中，所述移动终端包括相对的第一面和第二面，所述移动终端的第一面上设置有显示模块而第二面上设置有图像采集模块，当所述移动终端适配安装于所述安装槽中时，所述显示模块与所述增强现实显示屏正相对；所述移动终端还包括处理模块，所述处理模块用于处理所述图像采集模块采集得到的实时图像并通过所述显示模块传送给所述增强现实显示屏后显示在所述增强现实显示屏上；所述处理模块分别与所述显示模块和所述图像采集模块连接；所述处理模块具体包括：
惯性测量单元，用于采集用户实时运动数据；
位姿处理单元，用于根据所述图像采集模块采集到的实时图像和相应时刻的所述实时运动数据确定所述移动终端的当前位姿；所述位姿处理单元与所述惯性测量单元连接；
图像处理单元，用于根据所述移动终端的当前位姿在所述增强现实显示屏上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏上的所述虚拟可视范围中；所述图像处理单元与所述位姿处理单元连接。
优选地，所述处理模块包括：
特征点获取单元，用于获取所述实时图像中的特征点；
特征点处理单元，用于根据所述特征点获取单元中所述特征点分析所述特征点对应的覆盖区域，并根据分析结果将所述特征点输出至所述位姿处理单元；所述特征点处理模块分别连接所述图像采集模块和所述位姿处理单元；
所述位姿处理单元包括：
位姿确定单元，用于根据所述特征点对应的所述覆盖区域和对应时刻的所述实时运动数据确定所述移动终端的当前位姿；所述位姿确定单元与所述特征点处理单元和所述惯性测量单元连接。
优选地，所述图像处理单元包括：
虚拟角度信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，确定所述图像采集模块的空间转动角度，以及所述空间转动角度与所述用户之间的夹角，并根据所述空间转动角度和所述夹角生成虚拟角度信息；所述虚拟角度信息生成单元与所述位姿处理单元连接；
第一虚拟图像生成单元，用于根据所述虚拟角度信息生成第一虚拟图像，并将所述第一虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏显示所述第一虚拟图像；所述第一虚拟图像生成单元与所述虚拟角度信息生成单元连接。
优选地，所述虚拟角度信息的表达式为：
θ＝(θX,θY-α,θZ)，
其中，θ表示所述虚拟角度信息；θX表示所述空间转动角度中的俯仰角；θY表示所述空间转动角度中的偏航角；α表示所述夹角；θZ表示所述空间转动角度中的翻滚角。
优选地，所述图像处理单元包括：
虚拟位置信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，选取用户眉心作为预设参考点，并根据所述移动终端与所述预设参考点之间的偏移量以及所述用户的瞳距生成虚拟位置信息；所述虚拟位置信息生成单元与所述位姿处理单元连接；
第二虚拟图像生成单元，用于根据所述虚拟位置信息生成第二虚拟图像，并将所述第二虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏显示所述第二虚拟图像；所述第二虚拟图像生成单元与所述虚拟位置信息生成单元连接。
优选地，所述虚拟位置信息生成单元包括：
第一虚拟位置信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的所述空间直角坐标系，选取所述用户的眉心作为预设参考点，并根据所述图像采集模块与所述预设参考点之间的偏移量生成第一虚拟位置信息。
优选地，所述第一虚拟位置信息的表达式为：
χ′＝(-BX,-BY,-BZ)，
其中，χ′表示所述第一虚拟位置信息；BX表示所述偏移量在X轴上的投影；BY表示所述偏移量在Y轴上的投影；BZ表示所述偏移量在Z轴上的投影。
优选地，所述虚拟位置信息生成单元包括：
第二虚拟位置信息生成单元，用于根据所述用户的瞳距对所述第一虚拟位置信息调节生成第二虚拟位置信息，并将所述第二虚拟位置信息作为所述虚拟位置信息输出；
其中，所述第二虚拟位置信息包括左眼位置信息和右眼位置信息；所述第二虚拟位置信息的表达式为：
Figure BDA0002805216150000031
其中，χ″1表示所述左眼位置信息；χ″2表示所述右眼位置信息；BX表示所述偏移量在X轴上的投影；BY表示所述偏移量在Y轴上的投影；I表示所述用户的所述瞳距；BZ表示所述偏移量在Z轴上的投影。
优选地，所述图像处理单元包括：
第三虚拟图像生成单元，用于生成第三虚拟图像；
虚拟视场角信息生成单元，用于根据所述第三虚拟图像的曲面边缘与所述用户之间的位置差值生成虚拟视场角信息；所述虚拟视场角信息生成单元与所述第三虚拟图像生成单元连接；
第四虚拟图像生成单元，用于根据所述虚拟视场角信息生成第四虚拟图像，并将所述第四虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏显示所述第四虚拟图像；所述第四虚拟图像生成单元与所述虚拟视场角信息生成单元连接。
本发明还提供了一种增强现实显示装置显示控制方法，所述增强现实显示装置包括如上述中任一所述的增强现实显示装置，所述方法包括步骤：
所述图像采集模块采集得到所述移动终端预设方向的实时图像；
所述惯性测量单元采集得到用户实时运动数据；
所述位姿处理单元根据所述实时图像和所述实时运动数据处理得到所述移动终端的当前位姿；
在所述增强现实显示屏上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏上的所述虚拟可视范围中
所述图像处理单元根据所述当前位姿在所述增强现实显示屏上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像；
所述显示模块将所述虚拟图像显示在所述增强现实显示屏上的所述虚拟可视范围中。
本申请提供的一种增强现实显示装置及其显示控制方法，将手机与AR/VR/MR的光学组件刚性地连接到一起，通过Visual SLAM的技术获取手机在空间中的体姿，通过空间坐标换算获得人眼位置，并根据双眼体姿输出画面到光学组件上。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种增强现实显示装置的结构示意图；
图2是本发明提供的一种增强现实显示装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1-2，在本申请实施例中，本发明提供了一种增强现实显示装置，包括：
可调节框架1，用于用户佩戴；所述可调节框架1套设于用户头部；
安装槽2，用于安装移动终端4；所述安装槽2设置于所述可调节框架1的第一端；
增强现实显示屏3，用于向用户提供增强现实显示画面；所述增强现实显示屏3设置于所述可调节框架1的第二端；
移动终端4，用于控制所述增强现实显示屏3；所述移动终端4设置于所述安装槽2中，且与所述增强现实显示屏3相对；
其中，所述移动终端4包括相对的第一面和第二面，所述移动终端4的第一面上设置有显示模块而第二面上设置有图像采集模块，当所述移动终端4适配安装于所述安装槽2中时，所述显示模块与所述增强现实显示屏3正相对；所述移动终端4还包括处理模块，所述处理模块用于处理所述图像采集模块采集得到的实时图像并通过所述显示模块传送给所述增强现实显示屏3后显示在所述增强现实显示屏3上；所述处理模块分别与所述显示模块和所述图像采集模块连接；所述处理模块具体包括：
惯性测量单元，用于采集用户实时运动数据；
位姿处理单元，用于根据所述图像采集模块采集到的实时图像和相应时刻的所述实时运动数据确定所述移动终端4的当前位姿；所述位姿处理单元与所述惯性测量单元连接；
图像处理单元，用于根据所述移动终端4的当前位姿在所述增强现实显示屏3上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏3上的所述虚拟可视范围中；所述图像处理单元与所述位姿处理单元连接。
当使用此增强现实显示装置时，可调节框架1佩戴于用户头部，可调节框架1呈环状，长度可以根据用户头部大小而调整。移动终端4通过图像采集模块采集实时图像，惯性测量单元采集实时运动数据，随后通过位姿处理单元和图像处理单元确定当前位姿，并根据当前位姿在所述增强现实显示屏3上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏3上的所述虚拟可视范围中，用户通过增强现实显示屏3上观察到虚拟画面和现实环境实现虚拟画面和现实环境之间叠加融合，达到增强现实的目的。
在本申请实施例中，所述处理模块包括：
特征点获取单元，用于获取所述实时图像中的特征点；
特征点处理单元，用于根据所述特征点获取单元中所述特征点分析所述特征点对应的覆盖区域，并根据分析结果将所述特征点输出至所述位姿处理单元；所述特征点处理模块分别连接所述图像采集模块和所述位姿处理单元；
所述位姿处理单元包括：
位姿确定单元，用于根据所述特征点对应的所述覆盖区域和对应时刻的所述实时运动数据确定所述移动终端4的当前位姿；所述位姿确定单元与所述特征点处理单元和所述惯性测量单元连接。
在本申请实施例中，处理模块包括特征点获取单元和特征点处理单元，而位姿处理单元包括位姿确定单元，特征点获取单元获取所述实时图像中的特征点；特征点处理单元根据所述特征点获取单元中所述特征点分析所述特征点对应的覆盖区域，并根据分析结果将所述特征点输出至所述位姿处理单元；位姿确定单元根据所述特征点对应的所述覆盖区域和对应时刻的所述实时运动数据确定所述移动终端4的当前位姿。
在本申请实施例中，所述图像处理单元包括：
虚拟角度信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，确定所述图像采集模块的空间转动角度，以及所述空间转动角度与所述用户之间的夹角，并根据所述空间转动角度和所述夹角生成虚拟角度信息；所述虚拟角度信息生成单元与所述位姿处理单元连接；
第一虚拟图像生成单元，用于根据所述虚拟角度信息生成第一虚拟图像，并将所述第一虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏3显示所述第一虚拟图像；所述第一虚拟图像生成单元与所述虚拟角度信息生成单元连接。
在本申请实施例中，图像处理单元包括虚拟角度信息生成单元和第一虚拟图像生成单元，虚拟角度信息生成单元可以根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，确定所述图像采集模块的空间转动角度，以及所述空间转动角度与所述用户之间的夹角，并根据所述空间转动角度和所述夹角生成虚拟角度信息；所述虚拟角度信息生成单元与所述位姿处理单元连接，第一虚拟图像生成单元可以根据所述虚拟角度信息生成第一虚拟图像，并将所述第一虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏3显示所述第一虚拟图像；所述第一虚拟图像生成单元与所述虚拟角度信息生成单元连接。
在本申请实施例中，所述虚拟角度信息的表达式为：
θ＝(θX,θY-α,θZ)，
其中，θ表示所述虚拟角度信息；θX表示所述空间转动角度中的俯仰角；θY表示所述空间转动角度中的偏航角；α表示所述夹角；θZ表示所述空间转动角度中的翻滚角。
在本申请实施例中，所述图像处理单元包括：
虚拟位置信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，选取用户眉心作为预设参考点，并根据所述移动终端4与所述预设参考点之间的偏移量以及所述用户的瞳距生成虚拟位置信息；所述虚拟位置信息生成单元与所述位姿处理单元连接；
第二虚拟图像生成单元，用于根据所述虚拟位置信息生成第二虚拟图像，并将所述第二虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏3显示所述第二虚拟图像；所述第二虚拟图像生成单元与所述虚拟位置信息生成单元连接。
在本申请实施例中，图像处理单元包括虚拟位置信息生成单元和第二虚拟图像生成单元，虚拟位置信息生成单元可以根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，选取用户眉心作为预设参考点，并根据所述移动终端4与所述预设参考点之间的偏移量以及所述用户的瞳距生成虚拟位置信息；所述虚拟位置信息生成单元与所述位姿处理单元连接，第二虚拟图像生成单元可以根据所述虚拟位置信息生成第二虚拟图像，并将所述第二虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏3显示所述第二虚拟图像；所述第二虚拟图像生成单元与所述虚拟位置信息生成单元连接。
在本申请实施例中，所述虚拟位置信息生成单元包括：
第一虚拟位置信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的所述空间直角坐标系，选取所述用户的眉心作为预设参考点，并根据所述图像采集模块与所述预设参考点之间的偏移量生成第一虚拟位置信息。
在本申请实施例中，虚拟位置信息生成单元包括第一虚拟位置信息生成单元，第一虚拟位置信息生成可以根据所述当前位姿构建以所述图像采集模块为原心的所述空间直角坐标系，选取所述用户的眉心作为预设参考点，并根据所述图像采集模块与所述预设参考点之间的偏移量生成第一虚拟位置信息。
在本申请实施例中，所述第一虚拟位置信息的表达式为：
χ′＝(-BX,-BY,-BZ)，
其中，χ′表示所述第一虚拟位置信息；BX表示所述偏移量在X轴上的投影；BY表示所述偏移量在Y轴上的投影；BZ表示所述偏移量在Z轴上的投影。
在本申请实施例中，所述虚拟位置信息生成单元包括：
第二虚拟位置信息生成单元，用于根据所述用户的瞳距对所述第一虚拟位置信息调节生成第二虚拟位置信息，并将所述第二虚拟位置信息作为所述虚拟位置信息输出；
其中，所述第二虚拟位置信息包括左眼位置信息和右眼位置信息。
在本申请实施例中，所述虚拟位置信息生成单元包括第二虚拟位置信息生成单元，第二虚拟位置信息生成单元根据所述用户的瞳距对所述第一虚拟位置信息调节生成第二虚拟位置信息，并将所述第二虚拟位置信息作为所述虚拟位置信息输出；所述第二虚拟位置信息包括左眼位置信息和右眼位置信息。
在本申请实施例中，所述第二虚拟位置信息的表达式为：
Figure BDA0002805216150000081
其中，χ″1表示所述左眼位置信息；χ″2表示所述右眼位置信息；BX表示所述偏移量在X轴上的投影；BY表示所述偏移量在Y轴上的投影；I表示所述用户的所述瞳距；BZ表示所述偏移量在Z轴上的投影。
在本申请实施例中，所述图像处理单元包括：
第三虚拟图像生成单元，用于生成第三虚拟图像；
虚拟视场角信息生成单元，用于根据所述第三虚拟图像的曲面边缘与所述用户之间的位置差值生成虚拟视场角信息；所述虚拟视场角信息生成单元与所述第三虚拟图像生成单元连接；
第四虚拟图像生成单元，用于根据所述虚拟视场角信息生成第四虚拟图像，并将所述第四虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏3显示所述第四虚拟图像；所述第四虚拟图像生成单元与所述虚拟视场角信息生成单元连接。
在本申请实施例中，所述图像处理单元包括虚拟视场角信息生成单元和第四虚拟图像生成单元，虚拟视场角信息生成单元可以根据所述第三虚拟图像的曲面边缘与所述用户之间的位置差值生成虚拟视场角信息；所述虚拟视场角信息生成单元与所述第三虚拟图像生成单元连接；第四虚拟图像生成单元可以根据所述虚拟视场角信息生成第四虚拟图像，并将所述第四虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏3显示所述第四虚拟图像；所述第四虚拟图像生成单元与所述虚拟视场角信息生成单元连接。
本发明还提供了一种增强现实显示装置显示控制方法，所述增强现实显示装置包括如上述中所述的增强现实显示装置，所述方法包括步骤：
所述图像采集模块采集得到所述移动终端4预设方向的实时图像；
所述惯性测量单元采集得到用户实时运动数据；
所述位姿处理单元根据所述实时图像和所述实时运动数据处理得到所述移动终端4的当前位姿；
在所述增强现实显示屏3上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏3上的所述虚拟可视范围中
所述图像处理单元根据所述当前位姿在所述增强现实显示屏3上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像；
所述显示模块将所述虚拟图像显示在所述增强现实显示屏3上的所述虚拟可视范围中。
本申请提供的一种增强现实显示装置及其显示控制方法，将手机与AR/VR/MR的光学组件刚性地连接到一起，通过Visual SLAM的技术获取手机在空间中的体姿，通过空间坐标换算获得人眼位置，并根据双眼体姿输出画面到光学组件上。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种增强现实显示装置，其特征在于，包括：
可调节框架，用于用户佩戴；所述可调节框架套设于用户头部；
安装槽，用于安装移动终端；所述安装槽设置于所述可调节框架的第一端；
增强现实显示屏，用于向用户提供增强现实显示画面；所述增强现实显示屏设置于所述可调节框架的第二端；
移动终端，用于控制所述增强现实显示屏；所述移动终端设置于所述安装槽中，且与所述增强现实显示屏相对；
其中，所述移动终端包括相对的第一面和第二面，所述移动终端的第一面上设置有显示模块而第二面上设置有图像采集模块，当所述移动终端适配安装于所述安装槽中时，所述显示模块与所述增强现实显示屏正相对；所述移动终端还包括处理模块，所述处理模块用于处理所述图像采集模块采集得到的实时图像并通过所述显示模块传送给所述增强现实显示屏后显示在所述增强现实显示屏上；所述处理模块分别与所述显示模块和所述图像采集模块连接；所述处理模块具体包括：
惯性测量单元，用于采集用户实时运动数据；
位姿处理单元，用于根据所述图像采集模块采集到的实时图像和相应时刻的所述实时运动数据确定所述移动终端的当前位姿；所述位姿处理单元与所述惯性测量单元连接；
图像处理单元，用于根据所述移动终端的当前位姿在所述增强现实显示屏上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏上的所述虚拟可视范围中；所述图像处理单元与所述位姿处理单元连接。
2.根据权利要求1所述的增强现实显示装置，其特征在于，所述处理模块包括：
特征点获取单元，用于获取所述实时图像中的特征点；
特征点处理单元，用于根据所述特征点获取单元中所述特征点分析所述特征点对应的覆盖区域，并根据分析结果将所述特征点输出至所述位姿处理单元；所述特征点处理模块分别连接所述图像采集模块和所述位姿处理单元；
所述位姿处理单元包括：
位姿确定单元，用于根据所述特征点对应的所述覆盖区域和对应时刻的所述实时运动数据确定所述移动终端的当前位姿；所述位姿确定单元与所述特征点处理单元和所述惯性测量单元连接。
3.根据权利要求1所述的增强现实显示装置，其特征在于，所述图像处理单元包括：
虚拟角度信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，确定所述图像采集模块的空间转动角度，以及所述空间转动角度与所述用户之间的夹角，并根据所述空间转动角度和所述夹角生成虚拟角度信息；所述虚拟角度信息生成单元与所述位姿处理单元连接；
第一虚拟图像生成单元，用于根据所述虚拟角度信息生成第一虚拟图像，并将所述第一虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏显示所述第一虚拟图像；所述第一虚拟图像生成单元与所述虚拟角度信息生成单元连接。
4.根据权利要求3所述的增强现实显示装置，其特征在于，所述虚拟角度信息的表达式为：
θ＝(θX,θY-α,θZ)，
其中，θ表示所述虚拟角度信息；θX表示所述空间转动角度中的俯仰角；θY表示所述空间转动角度中的偏航角；α表示所述夹角；θZ表示所述空间转动角度中的翻滚角。
5.根据权利要求1所述的增强现实显示装置，其特征在于，所述图像处理单元包括：
虚拟位置信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的空间直角坐标系，选取用户眉心作为预设参考点，并根据所述移动终端与所述预设参考点之间的偏移量以及所述用户的瞳距生成虚拟位置信息；所述虚拟位置信息生成单元与所述位姿处理单元连接；
第二虚拟图像生成单元，用于根据所述虚拟位置信息生成第二虚拟图像，并将所述第二虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏显示所述第二虚拟图像；所述第二虚拟图像生成单元与所述虚拟位置信息生成单元连接。
6.根据权利要求5所述的增强现实显示装置，其特征在于，所述虚拟位置信息生成单元包括：
第一虚拟位置信息生成单元，用于根据所述当前位姿构建以所述图像采集模块为原心的所述空间直角坐标系，选取所述用户的眉心作为预设参考点，并根据所述图像采集模块与所述预设参考点之间的偏移量生成第一虚拟位置信息。
7.根据权利要求6所述的增强现实显示装置，其特征在于，所述第一虚拟位置信息的表达式为：
χ′＝(-BX,-BY,-BZ)，
其中，χ′表示所述第一虚拟位置信息；BX表示所述偏移量在X轴上的投影；BY表示所述偏移量在Y轴上的投影；BZ表示所述偏移量在Z轴上的投影。
8.根据权利要求5所述的增强现实显示装置，其特征在于，所述虚拟位置信息生成单元包括：
第二虚拟位置信息生成单元，用于根据所述用户的瞳距对所述第一虚拟位置信息调节生成第二虚拟位置信息，并将所述第二虚拟位置信息作为所述虚拟位置信息输出；
其中，所述第二虚拟位置信息包括左眼位置信息和右眼位置信息；所述第二虚拟位置信息的表达式为：
Figure FDA0002805216140000031
其中，χ″1表示所述左眼位置信息；χ″2表示所述右眼位置信息；BX表示所述偏移量在X轴上的投影；BY表示所述偏移量在Y轴上的投影；I表示所述用户的所述瞳距；BZ表示所述偏移量在Z轴上的投影。
9.根据权利要求1所述的增强现实显示装置，其特征在于，所述图像处理单元包括：
第三虚拟图像生成单元，用于生成第三虚拟图像；
虚拟视场角信息生成单元，用于根据所述第三虚拟图像的曲面边缘与所述用户之间的位置差值生成虚拟视场角信息；所述虚拟视场角信息生成单元与所述第三虚拟图像生成单元连接；
第四虚拟图像生成单元，用于根据所述虚拟视场角信息生成第四虚拟图像，并将所述第四虚拟图像输出至所述显示模块，并通过所述显示模块和所述增强现实显示屏显示所述第四虚拟图像；所述第四虚拟图像生成单元与所述虚拟视场角信息生成单元连接。
10.一种增强现实显示装置显示控制方法，其特征在于，所述增强现实显示装置包括如权利要求1-9中任一所述的增强现实显示装置，所述方法包括步骤：
所述图像采集模块采集得到所述移动终端预设方向的实时图像；
所述惯性测量单元采集得到用户实时运动数据；
所述位姿处理单元根据所述实时图像和所述实时运动数据处理得到所述移动终端的当前位姿；
在所述增强现实显示屏上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像，并将所述虚拟图像通过所述显示模块显示在所述增强现实显示屏上的所述虚拟可视范围中
所述图像处理单元根据所述当前位姿在所述增强现实显示屏上确定虚拟可视范围，以及在所述显示模块上生成虚拟图像；
所述显示模块将所述虚拟图像显示在所述增强现实显示屏上的所述虚拟可视范围中。
CN202011365227.8A 2020-11-28 2020-11-28 一种增强现实显示装置及其显示控制方法 Pending CN114578954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011365227.8A CN114578954A (zh) 2020-11-28 2020-11-28 一种增强现实显示装置及其显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011365227.8A CN114578954A (zh) 2020-11-28 2020-11-28 一种增强现实显示装置及其显示控制方法

Publications (1)

Publication Number Publication Date
CN114578954A true CN114578954A (zh) 2022-06-03

Family

ID=81768279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011365227.8A Pending CN114578954A (zh) 2020-11-28 2020-11-28 一种增强现实显示装置及其显示控制方法

Country Status (1)

Country Link
CN (1) CN114578954A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CN111491159A (zh) * 2020-05-29 2020-08-04 上海鸿臣互动传媒有限公司 一种增强现实的显示系统及方法
CN212012916U (zh) * 2020-05-29 2020-11-24 上海鸿臣互动传媒有限公司 一种增强现实的显示设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置
CN111491159A (zh) * 2020-05-29 2020-08-04 上海鸿臣互动传媒有限公司 一种增强现实的显示系统及方法
CN212012916U (zh) * 2020-05-29 2020-11-24 上海鸿臣互动传媒有限公司 一种增强现实的显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
煤炭工业部《中国煤炭工业年鉴》编审委员会: "《拓展训练的基础理论和实践》", 东北师范大学出版社, pages: 120 - 40 *

Similar Documents

Publication Publication Date Title
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
US9401050B2 (en) Recalibration of a flexible mixed reality device
EP3531274B1 (en) Management of content in a 3d holographic environment
US9728010B2 (en) Virtual representations of real-world objects
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
US11941167B2 (en) Head-mounted VR all-in-one machine
WO2016122991A1 (en) Automatic generation of virtual materials from real-world materials
CN106663336B (zh) 图像生成装置和图像生成方法
JP2013258614A (ja) 画像生成装置および画像生成方法
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
US20210004081A1 (en) Information processing apparatus, information processing method, and program
US10296098B2 (en) Input/output device, input/output program, and input/output method
US20200159339A1 (en) Desktop spatial stereoscopic interaction system
CN116205980A (zh) 一种移动空间内虚拟现实定位追踪方法及装置
CN115914603A (zh) 图像渲染方法、头戴显示设备和可读存储介质
CN114578954A (zh) 一种增强现实显示装置及其显示控制方法
CN114742977A (zh) 一种基于ar技术的视频透视方法
WO2021237952A1 (zh) 一种增强现实的显示系统及方法
US11954269B2 (en) Information processing apparatus, information processing method, and program for generating location data
EP4374242A1 (en) Screen interaction using eog coordinates
CN114742872A (zh) 一种基于ar技术的视频透视系统
CN117730298A (zh) 使用eog坐标的屏幕交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220603

RJ01 Rejection of invention patent application after publication