CN112988020B - 一种头戴式增强现实显示方法及设备 - Google Patents

一种头戴式增强现实显示方法及设备 Download PDF

Info

Publication number
CN112988020B
CN112988020B CN202110422760.1A CN202110422760A CN112988020B CN 112988020 B CN112988020 B CN 112988020B CN 202110422760 A CN202110422760 A CN 202110422760A CN 112988020 B CN112988020 B CN 112988020B
Authority
CN
China
Prior art keywords
signal
head
augmented reality
scene
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110422760.1A
Other languages
English (en)
Other versions
CN112988020A (zh
Inventor
夏显忠
冯绪清
李华
李昀
彭宏程
潘旭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aerospace Jiecheng Electronic Equipment Co ltd
Original Assignee
Hunan Aerospace Jiecheng Electronic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aerospace Jiecheng Electronic Equipment Co ltd filed Critical Hunan Aerospace Jiecheng Electronic Equipment Co ltd
Priority to CN202110422760.1A priority Critical patent/CN112988020B/zh
Publication of CN112988020A publication Critical patent/CN112988020A/zh
Application granted granted Critical
Publication of CN112988020B publication Critical patent/CN112988020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种增强现实的技术领域，揭露了一种头戴式增强现实显示方法，包括：利用基于信号分布的信号降噪方法进行环境信号的降噪处理；利用基于直方图对比度的算法进行显著信号的增强处理；基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，增强用户在不同虚拟领域下的真实体验感和操作感。本发明还提供了一种头戴式增强现实显示设备。本发明实现了增强现实。

Description

一种头戴式增强现实显示方法及设备
技术领域
本发明涉及增强现实的技术领域，涉及一种头戴式增强现实显示方法及设备，尤其是一种可实现全方位信息集成的头戴式增强现实显示显示设备，以及应用该设备进行增强现实显示的方法。
背景技术
增强现实（Augmented Reality，AR）是设备根据所处的环境采集信息并生成虚拟的信息实时的展现在眼前，同时可以看到外部环境，达到虚实结合增强显示的目的，重点强调的是实时性和虚实结合。增强现实显示技术综合了计算机图形、计算机仿真、传感器、导航、实时跟踪注册、视频显示及控制等光电子、微电子、精密机械以及信号处理多种技术于一身的全新现代显示技术，能将虚拟的信息叠加到真实世界被人感知，在工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域有着广泛的应用前景，成为当前研究的热门话题。
目前，现有环境移动物体检测算法的计算方式主要利用图像差分方法将运动目标从序列图像中提取出来，算法复杂，运算及提取的速度低，影响检测的实时性。现有的头戴式增强现实设备没有考虑到周围移动物体的识别、检测以及参数计算，也没有通过增强现实显示设备收集的信息三维空间重建，检测并计算移动物体的移动参数的应用。
鉴于此，如何将周围环境信息与领域场景信息进行融合，增强用户在不同虚拟领域下的真实体验感和真实操作感，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种头戴式增强现实显示方法，通过利用头戴式设备的传感器获取环境信号，并将环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，同时基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，进行头戴设备内三维场景的重建，同时利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
为实现上述目的，本发明提供的一种头戴式增强现实显示方法，包括：
利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号；
将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号；
对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；
利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
可选地，所述利用基于信号分布的信号降噪方法进行环境信号的降噪处理，包括：
所述头戴式增强现实显示设备包括主体头盔、设置于所述主体头盔后方的增强现实开关按钮、设置于所述主体头盔前方的前置摄像头及前置传感器，同时，还包括设置于所述主体头盔顶部的顶置摄像头、顶置传感器以及设置于所述主体头盔后部的后置摄像头、后置传感器，通过开启所述增强现实开关按钮，则利用传感器进行环境信息的感知以及实现结合虚拟领域的增强现实，若关闭所述增强现实开关按钮，头戴式增强现实显示设备显示的内容即为摄像头中所采集的内容；
所述基于信号分布的信号降噪方法流程为：
遍历所采集的环境信号中信号值低于阈值T的信号x；
对每个信号x设置一个 15×15信号数大小的窗口，对每个窗口X利用下式进行信号降噪处理：
Figure 627484DEST_PATH_IMAGE002
其中：
Figure 100002_DEST_PATH_IMAGE003
为信号降噪后的窗口；
k为尺度系数，将其设置为0.4；
Figure 100002_DEST_PATH_IMAGE005
为Sobel算子，
Figure DEST_PATH_IMAGE006
为Laplace算子。
可选地，所述将降噪后的环境信号转换为直方图信号，包括：
将环境信号的转换表示为目标优化问题，所述目标优化函数公式为：
Figure DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE014
其中：
S为直方图信号，由若干Si组成；
Ii为环境信号；
ε为较小的正数，将其设置为0.02；
α为变差系数，将其设置为0.2；
Figure DEST_PATH_IMAGE016
为信号i在x方向、y方向以及z方向的总变差；
Figure DEST_PATH_IMAGE018
为信号i在x方向、y方向以及z方向的偏差；
h为以信号i为中心的邻近信号集合的索引；
Figure DEST_PATH_IMAGE020
为信号h和信号i在x方向的值；
Figure DEST_PATH_IMAGE022
为信号h和信号i在y方向的值；
σ为信号总方差；
通过最小化目标优化函数，求得环境信号的直方图信号S。
可选地，所述利用基于直方图对比度的算法进行显著信号的增强处理，包括：
所述显著信号增强处理公式为：
Figure DEST_PATH_IMAGE024
其中：
n为所采集的信号总数；
D为信号i与它的n/3个信号值最接近的信号j之间的距离；
F(c i ,c j )为信号i与信号j的颜色距离度；
f h 为信号值为c h 在环境信号直方图中出现的概率；
S(i)为对信号i进行信号处理后的结果。
可选地，所述基于分布式协同传输策略将环境信号传输到头戴设备中，包括：
1）头戴设备将信号传输指令发送到源传感器P，源传感器将显著信号进行压缩编码；所述源传感器为头戴设备中性能更好的传感器，在本发明实施例中，所述源传感器为主体头盔顶部的顶置传感器，所述压缩编码公式为：
Figure DEST_PATH_IMAGE026
其中：
N为待压缩编码信号总数；
S j 表示待压缩编码信号；
X为压缩编码结果；
2）将非显著信号进行区域划分，在本发明一个具体实施例中，将区域划分为东、南、西、北四个区域，每个区域所对应的非源传感器对非显著信号进行压缩编码处理，并将压缩编码结果传输到源传感器；
3）源传感器将显著信号的编码结果以及非显著信号的编码结果分别发送到头戴设备中。
可选地，所述利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，包括：
所述领域场景虚拟信息包括工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域的虚拟人物、物品信息；
所述基于领域语义的三维场景重建方法为：
1）获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品，例如在旅游及展览领域中的风景、建筑物、虚拟人物等；
2）利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE030
其中：
Figure DEST_PATH_IMAGE032
为第i个目标
Figure DEST_PATH_IMAGE034
属于某个类别的概率；
x表示目标类别的随机变量；
Z为归一化因子；
Figure DEST_PATH_IMAGE036
为条件随机场一元势函数，表示随机场图节点标注类别的概率；
3）提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据；
4）将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S′；
5）构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中：
Figure DEST_PATH_IMAGE038
其中：
R为重建后三维场景的分辨率；
S′为三维场景重建信号；
X 0 为八叉树结构的中心位置，将其设置为用户所处的位置。
可选地，所述利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，包括：
1）计算领域虚拟三维场景c(x,y,z)在各方向的二阶偏导数，得到领域虚拟三维场景c的Hessian矩阵H(c)：
Figure DEST_PATH_IMAGE040
其中：
矩阵中的值为领域虚拟三维场景c在不同方向的二阶偏导数；
2）将Hessian矩阵H(c)进行特征分解，得到Hessian矩阵的三个特征值
Figure DEST_PATH_IMAGE042
；
3）利用结构增强公式对领域虚拟三维场景进行结构增强处理，所述结构增强公式为：
Figure DEST_PATH_IMAGE044
其中：
V(c)为结构增强公式，c为领域虚拟三维场景；
Figure DEST_PATH_IMAGE042A
为领域虚拟三维场景的三个Hessian矩阵特征值；
Figure 100002_DEST_PATH_IMAGE045
,β为特征值敏感度值，将
Figure 987957DEST_PATH_IMAGE045
设置为2，将β设置为1。
此外，为实现上述目的，本发明还提供一种头戴式增强现实显示设备，所述设备包括：
环境信号获取装置，用于利用头戴式增强现实显示设备的传感器获取环境信号；
数据处理器，用于利用基于信号分布的信号降噪方法进行环境信号的降噪处理，将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理, 对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
增强现实装置，用于利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，并利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有增强现实程序指令，所述增强现实程序指令可被一个或者多个处理器执行，以实现如上所述的头戴式增强现实显示的实现方法的步骤。
相对于现有技术，本发明提出一种头戴式增强现实显示方法，该技术具有以下优势：
首先，相较于传统技术，本发明所述显著信号增强算法将环境信号的转换表示为目标优化问题，根据信号对应像素的纹理信息以及图像结构建立目标优化函数，所述目标优化函数公式为：
Figure DEST_PATH_IMAGE008A
Figure DEST_PATH_IMAGE010A
Figure DEST_PATH_IMAGE012A
Figure DEST_PATH_IMAGE014A
其中：S为直方图信号，由若干Si组成；Ii为环境信号；ε为较小的正数；α为变差系数；
Figure DEST_PATH_IMAGE047
为信号i在x方向、y方向以及z方向的总变差；
Figure DEST_PATH_IMAGE049
为信号i在x方向、y方向以及z方向的偏差；h为以信号i为中心的邻近信号集合的索引；
Figure DEST_PATH_IMAGE051
为信号h和信号i在x方向的值；
Figure DEST_PATH_IMAGE053
为信号h和信号i在y方向的值；σ为信号总方差；通过最小化目标优化函数，求得环境信号的直方图信号S；并根据不同信号对应颜色的距离度差异特征，颜色差异越大的信号便认为是显著性信号，其增强值也就越大，从而基于直方图对比度的算法进行显著信号的增强处理，所述显著信号增强处理公式为：
Figure DEST_PATH_IMAGE024A
其中：n为所采集的信号总数；D为信号i与它的n/3个信号值最接近的信号j之间的距离； F(c i ,c j )为信号i与信号j的颜色距离度；f h 为信号值为c h 在环境信号直方图中出现的概率；S(i)为对信号i进行信号处理后的结果。
同时本发明提出一种基于领域语义的三维场景重建方法，通过获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品，例如在旅游及展览领域中的风景、建筑物、虚拟人物等；并利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure DEST_PATH_IMAGE028A
Figure DEST_PATH_IMAGE030A
其中：
Figure DEST_PATH_IMAGE055
为第i个目标
Figure DEST_PATH_IMAGE057
属于某个类别的概率；x表示目标类别的随机变量；Z为归一化因子；
Figure DEST_PATH_IMAGE059
为条件随机场一元势函数，表示随机场图节点标注类别的概率；通过提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据，并将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S′；最终构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中，最终映射的结果即为增强现实场景，并通过将领域虚拟三维场景转换为Hessian矩阵，利用结构增强公式对领域虚拟三维场景进行结构增强处理，增强用户在不同虚拟领域下的真实体验感和操作感，所述结构增强公式为：
Figure DEST_PATH_IMAGE044A
其中：V(c)为结构增强公式，c为领域虚拟三维场景；λ1λ2λ3为领域虚拟三维场景的三个Hessian矩阵特征值；
Figure 568412DEST_PATH_IMAGE045
,β为特征值敏感度值，将
Figure 816991DEST_PATH_IMAGE045
设置为2，将β设置为1。
附图说明
图1为本发明一实施例提供的一种头戴式增强现实显示方法的流程示意图；
图2为本发明一实施例提供的一种头戴式增强现实显示设备的结构示意图。
附图标记：1、头戴式增强现实显示设备；11、环境信号获取装置；12、数据处理器；13、增强现实装置；14、通信总线；15、网络接口；16、增强现实程序指令。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过利用头戴式设备的传感器获取环境信号，并将环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，同时基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，进行头戴设备内三维场景的重建，同时利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。参照图1所示，为本发明一实施例提供的头戴式增强现实显示方法示意图。
在本实施例中，头戴式增强现实显示方法包括：
S1、利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号。
首先，本发明利用头戴式增强现实显示设备的传感器获取环境信号，所述头戴式增强现实显示设备包括主体头盔、设置于所述主体头盔后方的增强现实开关按钮、设置于所述主体头盔前方的前置摄像头及前置传感器，同时，还包括设置于所述主体头盔顶部的顶置摄像头、顶置传感器以及设置于所述主体头盔后部的后置摄像头、后置传感器，通过开启所述增强现实开关按钮，则利用传感器进行环境信息的感知以及实现结合虚拟领域的增强现实，若关闭所述增强现实开关按钮，头戴式增强现实显示设备显示的内容即为摄像头中所采集的内容；
进一步地，本发明利用基于信号分布的信号降噪方法进行环境信号的降噪处理，所述基于信号分布的信号降噪方法流程为：
遍历所采集的环境信号中信号值低于阈值T的信号x；
对每个信号x设置一个15×15信号数大小的窗口，对每个窗口X利用下式进行信号降噪处理：
Figure DEST_PATH_IMAGE002A
其中：
Figure DEST_PATH_IMAGE061
为信号降噪后的窗口；
k为尺度系数，将其设置为0.4；
Figure 933239DEST_PATH_IMAGE005
为Sobel算子，
Figure 216453DEST_PATH_IMAGE006
为Laplace算子。
S2、将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号。
进一步地，本发明将环境信号转换为直方图信号，在本发明一个具体实施例中，本发明将环境信号的转换表示为目标优化问题，所述目标优化函数公式为：
Figure DEST_PATH_IMAGE008AA
Figure DEST_PATH_IMAGE010AA
Figure DEST_PATH_IMAGE012AA
Figure DEST_PATH_IMAGE014AA
其中：
S为直方图信号，由若干Si组成；
Ii为环境信号；
ε为较小的正数，将其设置为0.02；
α为变差系数，将其设置为0.2；
Figure DEST_PATH_IMAGE063
为信号i在x方向、y方向以及z方向的总变差；
Figure DEST_PATH_IMAGE065
为信号i在x方向、y方向以及z方向的偏差；
h为以信号i为中心的邻近信号集合的索引；
Figure DEST_PATH_IMAGE067
为信号h和信号i在x方向的值；
Figure DEST_PATH_IMAGE069
为信号h和信号i在y方向的值；
σ为信号总方差；
通过最小化目标优化函数，求得环境信号的直方图信号S；
进一步地，本发明利用基于直方图对比度的算法进行显著信号的增强处理，所述显著信号增强处理公式为：
Figure DEST_PATH_IMAGE024AA
其中：
n为所采集的信号总数；
D为信号i与它的n/3个信号值最接近的信号j之间的距离；
F(c i ,c j )为信号i与信号j的颜色距离度；
f h 为信号值为c h 在环境信号直方图中出现的概率；
S(i)为对信号i进行信号处理后的结果。
S3、对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中。
进一步地，对于增强后的环境信号，本发明基于分布式协同传输策略将环境信号传输到头戴设备中，所述分布式协同传输策略流程为：
1）头戴设备将信号传输指令发送到源传感器P，源传感器将显著信号进行压缩编码；所述源传感器为头戴设备中性能更好的传感器，在本发明实施例中，所述源传感器为主体头盔顶部的顶置传感器，所述压缩编码公式为：
Figure DEST_PATH_IMAGE026A
其中：
N为待压缩编码信号总数；
S j 表示待压缩编码信号；
X为压缩编码结果；
2）将非显著信号进行区域划分，在本发明一个具体实施例中，将区域划分为东、南、西、北四个区域，每个区域所对应的非源传感器对非显著信号进行压缩编码处理，并将压缩编码结果传输到源传感器；
3）源传感器将显著信号的编码结果以及非显著信号的编码结果分别发送到头戴设备中。
S4、头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景。
进一步地，头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，所述领域场景虚拟信息包括工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域的虚拟人物、物品信息；
所述基于领域语义的三维场景重建方法为：
1）获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品，例如在旅游及展览领域中的风景、建筑物、虚拟人物等；
2）利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure DEST_PATH_IMAGE028AA
Figure DEST_PATH_IMAGE030AA
其中：
Figure DEST_PATH_IMAGE055A
为第i个目标
Figure DEST_PATH_IMAGE057A
属于某个类别的概率；
x表示目标类别的随机变量；
Z为归一化因子；
Figure DEST_PATH_IMAGE059A
为条件随机场一元势函数，表示随机场图节点标注类别的概率；
3）提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据；
4）将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S′；
5）构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中：
Figure DEST_PATH_IMAGE038A
其中：
R为重建后三维场景的分辨率；
S′为三维场景重建信号；
X 0 为八叉树结构的中心位置，将其设置为用户所处的位置。
S5、利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
进一步地，本发明利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，所述领域场景虚拟信息包括工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域的虚拟人物、物品信息；
所述基于Hessian矩阵的结构增强算法流程为：
1）计算领域虚拟三维场景c(x,y,z)在各方向的二阶偏导数，得到领域虚拟三维场景c的Hessian矩阵H(c)：
Figure DEST_PATH_IMAGE040A
其中：
矩阵中的值为领域虚拟三维场景c在不同方向的二阶偏导数；
2）将Hessian矩阵H(c)进行特征分解，得到Hessian矩阵的三个特征值
Figure DEST_PATH_IMAGE042AA
；
3）利用结构增强公式对领域虚拟三维场景进行结构增强处理，所述结构增强公式为：
Figure DEST_PATH_IMAGE044AA
其中：
V(c)为结构增强公式，c为领域虚拟三维场景；
Figure DEST_PATH_IMAGE042AAA
为领域虚拟三维场景的三个Hessian矩阵特征值；
Figure 86187DEST_PATH_IMAGE045
,β为特征值敏感度值，将
Figure 822062DEST_PATH_IMAGE045
设置为2，将β设置为1。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R) Core(TM) i7-6700K CPU，软件为Matlab2018a；对比方法为基于LSTM的增强现实方法以及基于随机森林的增强现实方法。
在本发明所述算法实验中，数据集为10G的传感器监测环境信号数据。本实验通过将传感器监测环境信号数据输入到算法模型中，将增强现实的完成度作为算法可行性的评价指标，其中增强现实的完成度越高，则说明算法能更好实现虚拟场景信息同现实环境的融合，使得用户在不同虚拟领域下具有更高的真实体验感和真实操作感。
根据实验结果，基于LSTM的增强现实方法的增强现实完成度为75.1%，基于随机森林的增强现实方法的增强现实完成度为80.11%，本发明所述方法的增强现实完成度为86.25%，相较于对比算法，本发明所提出的头戴式增强现实显示方法能够实现更高的增强现实完成度。
发明还提供一种头戴式增强现实显示设备。参照图2所示，为本发明一实施例提供的头戴式增强现实显示设备的内部结构示意图。
在本实施例中，所述头戴式增强现实显示设备 1至少包括环境信号获取装置11、数据处理器12、增强现实装置13，通信总线14，以及网络接口15。
其中，环境信号获取装置11可以是PC（Personal Computer，个人电脑），或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
数据处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是头戴式增强现实显示设备1的内部存储单元，例如该头戴式增强现实显示设备1的硬盘。数据处理器12在另一些实施例中也可以是头戴式增强现实显示设备1的外部存储设备，例如头戴式增强现实显示设备1上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，数据处理器12还可以既包括头戴式增强现实显示设备1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于头戴式增强现实显示设备1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
增强现实装置13在一些实施例中可以是一中央处理器（Central ProcessingUnit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行数据处理器12中存储的程序代码或处理数据，例如增强现实程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在头戴式增强现实显示设备1与其他电子设备之间建立通信连接。
可选地，头戴式增强现实显示设备1还可以包括用户接口，用户接口可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在头戴式增强现实显示设备1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及头戴式增强现实显示设备1，本领域技术人员可以理解的是，图1示出的结构并不构成对头戴式增强现实显示设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，数据处理器12中存储有增强现实程序指令16；增强现实装置13执行数据处理器12中存储的增强现实程序指令16的步骤，与头戴式增强现实显示方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有增强现实程序指令16，所述增强现实程序指令16可被一个或多个处理器执行，以实现如下操作：
利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号；
将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号；
对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；
利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。

Claims (7)

1.一种头戴式增强现实显示方法，其特征在于，所述方法包括：利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号；
将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号；
对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；
利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感；
利用基于信号分布的信号降噪方法进行环境信号的增强处理，包括：
所述基于信号分布的信号降噪方法流程为：
遍历所采集的环境信号中信号值低于阈值T的信号x；
对每个信号x设置一个 15×15信号数大小的窗口，对每个窗口X利用下式进行信号降噪处理：
Figure RE-DEST_PATH_IMAGE002
其中：
Figure DEST_PATH_IMAGE003
为信号降噪后的窗口；k为尺度系数，将其设置为0.4；
Figure RE-DEST_PATH_IMAGE004
为Sobel算子，
Figure DEST_PATH_IMAGE005
为Laplace算子。
2.如权利要求1所述的一种头戴式增强现实显示方法，其特征在于，所述将降噪后的环境信号转换为直方图信号，包括：
将环境信号的转换表示为目标优化问题，所述目标优化函数公式为：
Figure DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE009
Figure DEST_PATH_IMAGE011
Figure DEST_PATH_IMAGE013
其中：
S为直方图信号，由若干Si组成；
Ii为环境信号；
ε为正数，将其设置为0.02；
α为变差系数，将其设置为0.2；
Figure DEST_PATH_IMAGE015
为信号i在x方向、y方向以及z方向的总变差；
Figure DEST_PATH_IMAGE017
为信号i在x方向、y方向以及z方向的偏差；
h为以信号i为中心的邻近信号集合的索引；
Figure DEST_PATH_IMAGE019
为信号h和信号i在x方向的值；
Figure DEST_PATH_IMAGE021
为信号h和信号i在y方向的值；σ为信号总方差；
通过最小化目标优化函数，求得环境信号的直方图信号S。
3.如权利要求2所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于直方图对比度的算法进行显著信号的增强处理，包括：
所述显著信号增强处理公式为：
Figure DEST_PATH_IMAGE023
其中：n为所采集的信号总数；
D为信号i与它的n/3个信号值最接近的信号j之间的距离；
F(c i ,c j )为信号i与信号j的颜色距离度；f h 为信号值为c h 在环境信号直方图中出现的概率；
S(i)为对信号i进行信号处理后的结果。
4.如权利要求3所述的一种头戴式增强现实显示方法，其特征在于，所述基于分布式协同传输策略将环境信号传输到头戴设备中，包括：
1）头戴设备将信号传输指令发送到源传感器P，源传感器将显著信号进行压缩编码；所述源传感器为头戴设备中性能更好的传感器；
所述压缩编码公式为：
Figure RE-DEST_PATH_IMAGE025
其中：N为待压缩编码信号总数；S j 表示待压缩编码信号；X为压缩编码结果；
2）将非显著信号进行区域划分，将区域划分为东、南、西、北四个区域，每个区域所对应的非源传感器对非显著信号进行压缩编码处理，并将压缩编码结果传输到源传感器；
3）源传感器将显著信号的编码结果以及非显著信号的编码结果分别发送到头戴设备中。
5.如权利要求4所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，包括：
所述基于领域语义的三维场景重建方法为：
1）获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品；
2）利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure RE-DEST_PATH_IMAGE027
Figure RE-DEST_PATH_IMAGE029
其中：
Figure RE-DEST_PATH_IMAGE031
为第i个目标
Figure RE-DEST_PATH_IMAGE033
属于某个类别的概率；
x表示目标类别的随机变量；
Z为归一化因子；
Figure RE-DEST_PATH_IMAGE035
为条件随机场一元势函数，表示随机场图节点标注类别的概率；
3）提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据；
4）将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S′；
5）构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中：
Figure RE-DEST_PATH_IMAGE037
其中：R为重建后三维场景的分辨率；
S′为三维场景重建信号； X 0 为八叉树结构的中心位置，将其设置为用户所处的位置。
6.如权利要求5所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，包括：
1）计算领域虚拟三维场景c(x,y,z)在各方向的二阶偏导数，得到领域虚拟三维场景c的Hessian矩阵H(c)：
Figure DEST_PATH_IMAGE039
其中：矩阵中的值为领域虚拟三维场景c在不同方向的二阶偏导数；
2）将Hessian矩阵H(c)进行特征分解，得到Hessian矩阵的三个特征值
Figure DEST_PATH_IMAGE041
；
3）利用结构增强公式对领域虚拟三维场景进行结构增强处理，所述结构增强公式为：
Figure DEST_PATH_IMAGE043
其中：V(c)为结构增强公式，c为领域虚拟三维场景；
Figure DEST_PATH_IMAGE045
为领域虚拟三维场景的三个Hessian矩阵特征值；
Figure RE-DEST_PATH_IMAGE046
,β为特征值敏感度值，将
Figure 765988DEST_PATH_IMAGE046
设置为2，将β设置为1。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有增强现实程序指令，所述增强现实程序指令可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的一种头戴式增强现实显示方法的步骤。
CN202110422760.1A 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备 Active CN112988020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110422760.1A CN112988020B (zh) 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110422760.1A CN112988020B (zh) 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备

Publications (2)

Publication Number Publication Date
CN112988020A CN112988020A (zh) 2021-06-18
CN112988020B true CN112988020B (zh) 2021-09-07

Family

ID=76341251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110422760.1A Active CN112988020B (zh) 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备

Country Status (1)

Country Link
CN (1) CN112988020B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040247A (zh) * 2017-12-29 2018-05-15 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示设备及方法
CN108734629A (zh) * 2017-04-17 2018-11-02 英特尔公司 感官增强的增强现实和虚拟现实装置
CN108986223A (zh) * 2017-05-31 2018-12-11 上海拆名晃信息科技有限公司 一种三维场景重建的方法与装置
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN111193841A (zh) * 2018-11-14 2020-05-22 深圳晨芯时代科技有限公司 一种增强现实系统
CN111344644A (zh) * 2018-08-01 2020-06-26 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN112419510A (zh) * 2020-12-10 2021-02-26 苏州涵蓝轩文化科技有限公司 一种虚拟现实与增强现实的展厅互动方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
CN105212418A (zh) * 2015-11-05 2016-01-06 北京航天泰坦科技股份有限公司 基于红外夜视功能的增强现实智能头盔研制

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN108734629A (zh) * 2017-04-17 2018-11-02 英特尔公司 感官增强的增强现实和虚拟现实装置
CN108986223A (zh) * 2017-05-31 2018-12-11 上海拆名晃信息科技有限公司 一种三维场景重建的方法与装置
CN108040247A (zh) * 2017-12-29 2018-05-15 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示设备及方法
CN111344644A (zh) * 2018-08-01 2020-06-26 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN111193841A (zh) * 2018-11-14 2020-05-22 深圳晨芯时代科技有限公司 一种增强现实系统
CN112419510A (zh) * 2020-12-10 2021-02-26 苏州涵蓝轩文化科技有限公司 一种虚拟现实与增强现实的展厅互动方法

Also Published As

Publication number Publication date
CN112988020A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
Chen et al. Tom-net: Learning transparent object matting from a single image
CN112530019B (zh) 三维人体重建方法、装置、计算机设备和存储介质
US20210035325A1 (en) Pose estimation method, pose estimation apparatus, and training method for pose estimation
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN105843386A (zh) 一种商场虚拟试衣系统
KR20120054550A (ko) 비디오 스트림에서 움직이고 있는 비정형 물체들을 실시간으로 검출 및 추적하여, 사용자가 컴퓨터 시스템과 상호 작용할 수 있게 해주는 방법 및 디바이스
CN111553247B (zh) 一种基于改进骨干网络的视频结构化系统、方法及介质
CN103617413B (zh) 一种在图像中识别物体的方法
CN111240476A (zh) 基于增强现实的交互方法、装置、存储介质和计算机设备
CN114998934A (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN114092670A (zh) 一种虚拟现实显示方法、设备以及存储介质
CN112988020B (zh) 一种头戴式增强现实显示方法及设备
Su et al. Smart training: Mask R-CNN oriented approach
CN111739086A (zh) 测量面积的方法及装置、电子设备及存储介质
CN109359543B (zh) 一种基于骨骼化的人像检索方法及装置
CN112651351B (zh) 一种数据处理的方法和装置
CN111739098B (zh) 测速方法及装置、电子设备及存储介质
CN113628148A (zh) 红外图像降噪方法和装置
CN113240723A (zh) 一种单目深度估计方法、装置以及深度评估设备
Song et al. Landscape Fusion Method Based on Augmented Reality and Multiview Reconstruction
CN108121963B (zh) 视频数据的处理方法、装置及计算设备
CN113191462A (zh) 信息获取方法、图像处理方法、装置及电子设备
US20230410461A1 (en) Efficient multi-scale orb without image resizing
CN111724442B (zh) 图像处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant