CN112988020A - 一种头戴式增强现实显示方法及设备 - Google Patents

一种头戴式增强现实显示方法及设备 Download PDF

Info

Publication number
CN112988020A
CN112988020A CN202110422760.1A CN202110422760A CN112988020A CN 112988020 A CN112988020 A CN 112988020A CN 202110422760 A CN202110422760 A CN 202110422760A CN 112988020 A CN112988020 A CN 112988020A
Authority
CN
China
Prior art keywords
signal
head
augmented reality
scene
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110422760.1A
Other languages
English (en)
Other versions
CN112988020B (zh
Inventor
夏显忠
冯绪清
李华
李昀
彭宏程
潘旭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aerospace Jiecheng Electronic Equipment Co ltd
Original Assignee
Hunan Aerospace Jiecheng Electronic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Aerospace Jiecheng Electronic Equipment Co ltd filed Critical Hunan Aerospace Jiecheng Electronic Equipment Co ltd
Priority to CN202110422760.1A priority Critical patent/CN112988020B/zh
Publication of CN112988020A publication Critical patent/CN112988020A/zh
Application granted granted Critical
Publication of CN112988020B publication Critical patent/CN112988020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种增强现实的技术领域，揭露了一种头戴式增强现实显示方法，包括：利用基于信号分布的信号降噪方法进行环境信号的降噪处理；利用基于直方图对比度的算法进行显著信号的增强处理；基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，增强用户在不同虚拟领域下的真实体验感和操作感。本发明还提供了一种头戴式增强现实显示设备。本发明实现了增强现实。

Description

一种头戴式增强现实显示方法及设备
技术领域
本发明涉及增强现实的技术领域，涉及一种头戴式增强现实显示方法及设备，尤其是一种可实现全方位信息集成的头戴式增强现实显示显示设备，以及应用该设备进行增强现实显示的方法。
背景技术
增强现实（Augmented Reality，AR）是设备根据所处的环境采集信息并生成虚拟的信息实时的展现在眼前，同时可以看到外部环境，达到虚实结合增强显示的目的，重点强调的是实时性和虚实结合。增强现实显示技术综合了计算机图形、计算机仿真、传感器、导航、实时跟踪注册、视频显示及控制等光电子、微电子、精密机械以及信号处理多种技术于一身的全新现代显示技术，能将虚拟的信息叠加到真实世界被人感知，在工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域有着广泛的应用前景，成为当前研究的热门话题。
目前，现有环境移动物体检测算法的计算方式主要利用图像差分方法将运动目标从序列图像中提取出来，算法复杂，运算及提取的速度低，影响检测的实时性。现有的头戴式增强现实设备没有考虑到周围移动物体的识别、检测以及参数计算，也没有通过增强现实显示设备收集的信息三维空间重建，检测并计算移动物体的移动参数的应用。
鉴于此，如何将周围环境信息与领域场景信息进行融合，增强用户在不同虚拟领域下的真实体验感和真实操作感，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种头戴式增强现实显示方法，通过利用头戴式设备的传感器获取环境信号，并将环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，同时基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，进行头戴设备内三维场景的重建，同时利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
为实现上述目的，本发明提供的一种头戴式增强现实显示方法，包括：
利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号；
将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号；
对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；
利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
可选地，所述利用基于信号分布的信号降噪方法进行环境信号的降噪处理，包括：
所述头戴式增强现实显示设备包括主体头盔、设置于所述主体头盔后方的增强现实开关按钮、设置于所述主体头盔前方的前置摄像头及前置传感器，同时，还包括设置于所述主体头盔顶部的顶置摄像头、顶置传感器以及设置于所述主体头盔后部的后置摄像头、后置传感器，通过开启所述增强现实开关按钮，则利用传感器进行环境信息的感知以及实现结合虚拟领域的增强现实，若关闭所述增强现实开关按钮，头戴式增强现实显示设备显示的内容即为摄像头中所采集的内容；
所述基于信号分布的信号降噪方法流程为：
遍历所采集的环境信号中信号值低于阈值T的信号x；
对每个信号x设置一个 15×15信号数大小的窗口，对每个窗口X利用下式进行信号降噪处理：
Figure 322048DEST_PATH_IMAGE001
其中：
Figure 645713DEST_PATH_IMAGE002
为信号降噪后的窗口；
k为尺度系数，将其设置为0.4；
S1为Sobel算子，S2为Laplace算子。
可选地，所述将降噪后的环境信号转换为直方图信号，包括：
将环境信号的转换表示为目标优化问题，所述目标优化函数公式为：
Figure 956609DEST_PATH_IMAGE003
Figure 758343DEST_PATH_IMAGE004
Figure 103874DEST_PATH_IMAGE005
Figure 67282DEST_PATH_IMAGE006
其中：
S为直方图信号，由若干Si组成；
Ii为环境信号；
ε为较小的正数，将其设置为0.02；
α为变差系数，将其设置为0.2；
Figure 865473DEST_PATH_IMAGE007
为信号i在x方向、y方向以及z方向的总变差；
Figure 969433DEST_PATH_IMAGE008
为信号i在x方向、y方向以及z方向的偏差；
h为以信号i为中心的邻近信号集合的索引；
Figure 169470DEST_PATH_IMAGE009
为信号h和信号i在x方向的值；
Figure 569359DEST_PATH_IMAGE010
为信号h和信号i在y方向的值；
σ为信号总方差；
通过最小化目标优化函数，求得环境信号的直方图信号S。
可选地，所述利用基于直方图对比度的算法进行显著信号的增强处理，包括：
所述显著信号增强处理公式为：
Figure 854847DEST_PATH_IMAGE011
其中：
n为所采集的信号总数；
D为信号i与它的n/3个信号值最接近的信号j之间的距离；
F(c i ,c j )为信号i与信号j的颜色距离度；
f h 为信号值为c h 在环境信号直方图中出现的概率；
S(i)为对信号i进行信号处理后的结果。
可选地，所述基于分布式协同传输策略将环境信号传输到头戴设备中，包括：
1）头戴设备将信号传输指令发送到源传感器P，源传感器将显著信号进行压缩编码；所述源传感器为头戴设备中性能更好的传感器，在本发明实施例中，所述源传感器为主体头盔顶部的顶置传感器，所述压缩编码公式为：
Figure 998383DEST_PATH_IMAGE012
其中：
N为待压缩编码信号总数；
S j 表示待压缩编码信号；
X为压缩编码结果；
2）将非显著信号进行区域划分，在本发明一个具体实施例中，将区域划分为东、南、西、北四个区域，每个区域所对应的非源传感器对非显著信号进行压缩编码处理，并将压缩编码结果传输到源传感器；
3）源传感器将显著信号的编码结果以及非显著信号的编码结果分别发送到头戴设备中。
可选地，所述利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，包括：
所述领域场景虚拟信息包括工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域的虚拟人物、物品信息；
所述基于领域语义的三维场景重建方法为：
1）获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品，例如在旅游及展览领域中的风景、建筑物、虚拟人物等；
2）利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure 52927DEST_PATH_IMAGE013
Figure 889296DEST_PATH_IMAGE014
其中：
Figure 662080DEST_PATH_IMAGE015
为第i个目标
Figure 842263DEST_PATH_IMAGE016
属于某个类别的概率；
x表示目标类别的随机变量；
Z为归一化因子；
Figure 16893DEST_PATH_IMAGE017
为条件随机场一元势函数，表示随机场图节点标注类别的概率；
3）提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据；
4）将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S；
5）构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中：
Figure 758584DEST_PATH_IMAGE018
其中：
R为重建后三维场景的分辨率；
S为三维场景重建信号；
X 0 为八叉树结构的中心位置，将其设置为用户所处的位置。
可选地，所述利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，包括：
1）计算领域虚拟三维场景c(x,y,z)在各方向的二阶偏导数，得到领域虚拟三维场景c的Hessian矩阵H(c)：
Figure 18664DEST_PATH_IMAGE019
其中：
矩阵中的值为领域虚拟三维场景c在不同方向的二阶偏导数；
2）将Hessian矩阵H(c)进行特征分解，得到Hessian矩阵的三个特征值λ1λ2λ3；
3）利用结构增强公式对领域虚拟三维场景进行结构增强处理，所述结构增强公式为：
Figure 504003DEST_PATH_IMAGE020
其中：
V(c)为结构增强公式，c为领域虚拟三维场景；
λ1λ2λ3为领域虚拟三维场景的三个Hessian矩阵特征值；
α,β为特征值敏感度值，将α设置为2，将β设置为1。
此外，为实现上述目的，本发明还提供一种头戴式增强现实显示设备，所述设备包括：
环境信号获取装置，用于利用头戴式增强现实显示设备的传感器获取环境信号；
数据处理器，用于利用基于信号分布的信号降噪方法进行环境信号的降噪处理，将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理, 对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
增强现实装置，用于利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，并利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有增强现实程序指令，所述增强现实程序指令可被一个或者多个处理器执行，以实现如上所述的头戴式增强现实显示的实现方法的步骤。
相对于现有技术，本发明提出一种头戴式增强现实显示方法，该技术具有以下优势：
首先，相较于传统技术，本发明所述显著信号增强算法将环境信号的转换表示为目标优化问题，根据信号对应像素的纹理信息以及图像结构建立目标优化函数，所述目标优化函数公式为：
Figure 533139DEST_PATH_IMAGE003
Figure 508048DEST_PATH_IMAGE004
Figure 363746DEST_PATH_IMAGE005
Figure 777410DEST_PATH_IMAGE006
其中：S为直方图信号，由若干Si组成；Ii为环境信号；ε为较小的正数；α为变差系数；
Figure 864315DEST_PATH_IMAGE021
为信号i在x方向、y方向以及z方向的总变差；
Figure 10125DEST_PATH_IMAGE022
为信号i在x方向、y方向以及z方向的偏差；h为以信号i为中心的邻近信号集合的索引；
Figure 854585DEST_PATH_IMAGE023
为信号h和信号i在x方向的值；
Figure 806360DEST_PATH_IMAGE024
为信号h和信号i在y方向的值；σ为信号总方差；通过最小化目标优化函数，求得环境信号的直方图信号S；并根据不同信号对应颜色的距离度差异特征，颜色差异越大的信号便认为是显著性信号，其增强值也就越大，从而基于直方图对比度的算法进行显著信号的增强处理，所述显著信号增强处理公式为：
Figure 685454DEST_PATH_IMAGE011
其中：n为所采集的信号总数；D为信号i与它的n/3个信号值最接近的信号j之间的距离； F(c i ,c j )为信号i与信号j的颜色距离度；f h 为信号值为c h 在环境信号直方图中出现的概率；S(i)为对信号i进行信号处理后的结果。
同时本发明提出一种基于领域语义的三维场景重建方法，通过获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品，例如在旅游及展览领域中的风景、建筑物、虚拟人物等；并利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure 330062DEST_PATH_IMAGE013
Figure 154493DEST_PATH_IMAGE014
其中：
Figure 909960DEST_PATH_IMAGE025
为第i个目标
Figure 377981DEST_PATH_IMAGE026
属于某个类别的概率；x表示目标类别的随机变量；Z为归一化因子；
Figure 193491DEST_PATH_IMAGE027
为条件随机场一元势函数，表示随机场图节点标注类别的概率；通过提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据，并将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S；最终构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中，最终映射的结果即为增强现实场景，并通过将领域虚拟三维场景转换为Hessian矩阵，利用结构增强公式对领域虚拟三维场景进行结构增强处理，增强用户在不同虚拟领域下的真实体验感和操作感，所述结构增强公式为：
Figure 12542DEST_PATH_IMAGE020
其中：V(c)为结构增强公式，c为领域虚拟三维场景；λ1λ2λ3为领域虚拟三维场景的三个Hessian矩阵特征值；α,β为特征值敏感度值，将α设置为2，将β设置为1。
附图说明
图1为本发明一实施例提供的一种头戴式增强现实显示方法的流程示意图；
图2为本发明一实施例提供的一种头戴式增强现实显示设备的结构示意图。
附图标记：1、头戴式增强现实显示设备；11、环境信号获取装置；12、数据处理器；13、增强现实装置；14、通信总线；15、网络接口；16、增强现实程序指令。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过利用头戴式设备的传感器获取环境信号，并将环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，同时基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，进行头戴设备内三维场景的重建，同时利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。参照图1所示，为本发明一实施例提供的头戴式增强现实显示方法示意图。
在本实施例中，头戴式增强现实显示方法包括：
S1、利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号。
首先，本发明利用头戴式增强现实显示设备的传感器获取环境信号，所述头戴式增强现实显示设备包括主体头盔、设置于所述主体头盔后方的增强现实开关按钮、设置于所述主体头盔前方的前置摄像头及前置传感器，同时，还包括设置于所述主体头盔顶部的顶置摄像头、顶置传感器以及设置于所述主体头盔后部的后置摄像头、后置传感器，通过开启所述增强现实开关按钮，则利用传感器进行环境信息的感知以及实现结合虚拟领域的增强现实，若关闭所述增强现实开关按钮，头戴式增强现实显示设备显示的内容即为摄像头中所采集的内容；
进一步地，本发明利用基于信号分布的信号降噪方法进行环境信号的降噪处理，所述基于信号分布的信号降噪方法流程为：
遍历所采集的环境信号中信号值低于阈值T的信号x；
对每个信号x设置一个15×15信号数大小的窗口，对每个窗口X利用下式进行信号降噪处理：
Figure 571699DEST_PATH_IMAGE001
其中：
Figure 159807DEST_PATH_IMAGE028
为信号降噪后的窗口；
k为尺度系数，将其设置为0.4；
S1为Sobel算子，S2为Laplace算子。
S2、将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号。
进一步地，本发明将环境信号转换为直方图信号，在本发明一个具体实施例中，本发明将环境信号的转换表示为目标优化问题，所述目标优化函数公式为：
Figure 880638DEST_PATH_IMAGE003
Figure 685521DEST_PATH_IMAGE004
Figure 782790DEST_PATH_IMAGE005
Figure 490983DEST_PATH_IMAGE006
其中：
S为直方图信号，由若干Si组成；
Ii为环境信号；
ε为较小的正数，将其设置为0.02；
α为变差系数，将其设置为0.2；
Figure 117136DEST_PATH_IMAGE029
为信号i在x方向、y方向以及z方向的总变差；
Figure 910780DEST_PATH_IMAGE030
为信号i在x方向、y方向以及z方向的偏差；
h为以信号i为中心的邻近信号集合的索引；
Figure 811740DEST_PATH_IMAGE031
为信号h和信号i在x方向的值；
Figure 108860DEST_PATH_IMAGE032
为信号h和信号i在y方向的值；
σ为信号总方差；
通过最小化目标优化函数，求得环境信号的直方图信号S；
进一步地，本发明利用基于直方图对比度的算法进行显著信号的增强处理，所述显著信号增强处理公式为：
Figure 437073DEST_PATH_IMAGE011
其中：
n为所采集的信号总数；
D为信号i与它的n/3个信号值最接近的信号j之间的距离；
F(c i ,c j )为信号i与信号j的颜色距离度；
f h 为信号值为c h 在环境信号直方图中出现的概率；
S(i)为对信号i进行信号处理后的结果。
S3、对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中。
进一步地，对于增强后的环境信号，本发明基于分布式协同传输策略将环境信号传输到头戴设备中，所述分布式协同传输策略流程为：
1）头戴设备将信号传输指令发送到源传感器P，源传感器将显著信号进行压缩编码；所述源传感器为头戴设备中性能更好的传感器，在本发明实施例中，所述源传感器为主体头盔顶部的顶置传感器，所述压缩编码公式为：
Figure 950969DEST_PATH_IMAGE012
其中：
N为待压缩编码信号总数；
S j 表示待压缩编码信号；
X为压缩编码结果；
2）将非显著信号进行区域划分，在本发明一个具体实施例中，将区域划分为东、南、西、北四个区域，每个区域所对应的非源传感器对非显著信号进行压缩编码处理，并将压缩编码结果传输到源传感器；
3）源传感器将显著信号的编码结果以及非显著信号的编码结果分别发送到头戴设备中。
S4、头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景。
进一步地，头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，所述领域场景虚拟信息包括工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域的虚拟人物、物品信息；
所述基于领域语义的三维场景重建方法为：
1）获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品，例如在旅游及展览领域中的风景、建筑物、虚拟人物等；
2）利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure 655620DEST_PATH_IMAGE013
Figure 72826DEST_PATH_IMAGE014
其中：
Figure 571940DEST_PATH_IMAGE025
为第i个目标
Figure 74597DEST_PATH_IMAGE026
属于某个类别的概率；
x表示目标类别的随机变量；
Z为归一化因子；
Figure 317359DEST_PATH_IMAGE027
为条件随机场一元势函数，表示随机场图节点标注类别的概率；
3）提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据；
4）将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S；
5）构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中：
Figure 589072DEST_PATH_IMAGE033
其中：
R为重建后三维场景的分辨率；
S为三维场景重建信号；
X 0 为八叉树结构的中心位置，将其设置为用户所处的位置。
S5、利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
进一步地，本发明利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，所述领域场景虚拟信息包括工业制造和维修、工业设计、模拟训练、医疗、教育、旅游及展览等领域的虚拟人物、物品信息；
所述基于Hessian矩阵的结构增强算法流程为：
1）计算领域虚拟三维场景c(x,y,z)在各方向的二阶偏导数，得到领域虚拟三维场景c的Hessian矩阵H(c)：
Figure 259087DEST_PATH_IMAGE019
其中：
矩阵中的值为领域虚拟三维场景c在不同方向的二阶偏导数；
2）将Hessian矩阵H(c)进行特征分解，得到Hessian矩阵的三个特征值λ1λ2λ3；
3）利用结构增强公式对领域虚拟三维场景进行结构增强处理，所述结构增强公式为：
Figure 747575DEST_PATH_IMAGE020
其中：
V(c)为结构增强公式，c为领域虚拟三维场景；
λ1λ2λ3为领域虚拟三维场景的三个Hessian矩阵特征值；
α,β为特征值敏感度值，将α设置为2，将β设置为1。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R) Core(TM) i7-6700K CPU，软件为Matlab2018a；对比方法为基于LSTM的增强现实方法以及基于随机森林的增强现实方法。
在本发明所述算法实验中，数据集为10G的传感器监测环境信号数据。本实验通过将传感器监测环境信号数据输入到算法模型中，将增强现实的完成度作为算法可行性的评价指标，其中增强现实的完成度越高，则说明算法能更好实现虚拟场景信息同现实环境的融合，使得用户在不同虚拟领域下具有更高的真实体验感和真实操作感。
根据实验结果，基于LSTM的增强现实方法的增强现实完成度为75.1%，基于随机森林的增强现实方法的增强现实完成度为80.11%，本发明所述方法的增强现实完成度为86.25%，相较于对比算法，本发明所提出的头戴式增强现实显示方法能够实现更高的增强现实完成度。
发明还提供一种头戴式增强现实显示设备。参照图2所示，为本发明一实施例提供的头戴式增强现实显示设备的内部结构示意图。
在本实施例中，所述头戴式增强现实显示设备 1至少包括环境信号获取装置11、数据处理器12、增强现实装置13，通信总线14，以及网络接口15。
其中，环境信号获取装置11可以是PC（Personal Computer，个人电脑），或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
数据处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是头戴式增强现实显示设备1的内部存储单元，例如该头戴式增强现实显示设备1的硬盘。数据处理器12在另一些实施例中也可以是头戴式增强现实显示设备1的外部存储设备，例如头戴式增强现实显示设备1上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，数据处理器12还可以既包括头戴式增强现实显示设备1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于头戴式增强现实显示设备1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
增强现实装置13在一些实施例中可以是一中央处理器（Central ProcessingUnit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行数据处理器12中存储的程序代码或处理数据，例如增强现实程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在头戴式增强现实显示设备1与其他电子设备之间建立通信连接。
可选地，头戴式增强现实显示设备1还可以包括用户接口，用户接口可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在头戴式增强现实显示设备1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及头戴式增强现实显示设备1，本领域技术人员可以理解的是，图1示出的结构并不构成对头戴式增强现实显示设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，数据处理器12中存储有增强现实程序指令16；增强现实装置13执行数据处理器12中存储的增强现实程序指令16的步骤，与头戴式增强现实显示方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有增强现实程序指令16，所述增强现实程序指令16可被一个或多个处理器执行，以实现如下操作：
利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号；
将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号；
对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；
利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。

Claims (9)

1.一种头戴式增强现实显示方法，其特征在于，所述方法包括：利用头戴式增强现实显示设备的传感器获取环境信号，利用基于信号分布的信号降噪方法进行环境信号的降噪处理，得到降噪后的环境信号；
将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理，得到增强后的环境信号；
对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；头戴设备通过结合领域场景虚拟信息以及环境信号，利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景；
利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，以增强用户在不同虚拟领域下的真实体验感和操作感。
2.如权利要求1所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于信号分布的信号降噪方法进行环境信号的增强处理，包括：
所述基于信号分布的信号降噪方法流程为：
遍历所采集的环境信号中信号值低于阈值T的信号x；
对每个信号x设置一个 15×15信号数大小的窗口，对每个窗口X利用下式进行信号降噪处理：
Figure 696060DEST_PATH_IMAGE001
其中：
Figure 167493DEST_PATH_IMAGE002
为信号降噪后的窗口；k为尺度系数，将其设置为0.4；S1为Sobel算子，S2为Laplace算子。
3.如权利要求2所述的一种头戴式增强现实显示方法，其特征在于，所述将降噪后的环境信号转换为直方图信号，包括：
将环境信号的转换表示为目标优化问题，所述目标优化函数公式为：
Figure 159719DEST_PATH_IMAGE003
Figure 792826DEST_PATH_IMAGE004
Figure 752561DEST_PATH_IMAGE005
Figure 762105DEST_PATH_IMAGE006
其中：
S为直方图信号，由若干Si组成；
Ii为环境信号；
ε为较小的正数，将其设置为0.02；
α为变差系数，将其设置为0.2；
Figure 608838DEST_PATH_IMAGE007
为信号i在x方向、y方向以及z方向的总变差；
Figure 678425DEST_PATH_IMAGE008
为信号i在x方向、y方向以及z方向的偏差；
h为以信号i为中心的邻近信号集合的索引；
Figure 859877DEST_PATH_IMAGE009
为信号h和信号i在x方向的值；
Figure 407533DEST_PATH_IMAGE010
为信号h和信号i在y方向的值；σ为信号总方差；
通过最小化目标优化函数，求得环境信号的直方图信号S。
4.如权利要求3所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于直方图对比度的算法进行显著信号的增强处理，包括：
所述显著信号增强处理公式为：
Figure 108773DEST_PATH_IMAGE011
其中：n为所采集的信号总数；
D为信号i与它的n/3个信号值最接近的信号j之间的距离；
F(c i ,c j )为信号i与信号j的颜色距离度；f h 为信号值为c h 在环境信号直方图中出现的概率；
S(i)为对信号i进行信号处理后的结果。
5.如权利要求4所述的一种头戴式增强现实显示方法，其特征在于，所述基于分布式协同传输策略将环境信号传输到头戴设备中，包括：
1）头戴设备将信号传输指令发送到源传感器P，源传感器将显著信号进行压缩编码；所述源传感器为头戴设备中性能更好的传感器；
所述压缩编码公式为：
Figure 349261DEST_PATH_IMAGE012
其中：N为待压缩编码信号总数；S j 表示待压缩编码信号；X为压缩编码结果；
2）将非显著信号进行区域划分，将区域划分为东、南、西、北四个区域，每个区域所对应的非源传感器对非显著信号进行压缩编码处理，并将压缩编码结果传输到源传感器；
3）源传感器将显著信号的编码结果以及非显著信号的编码结果分别发送到头戴设备中。
6.如权利要求5所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，包括：
所述基于领域语义的三维场景重建方法为：
1）获取不同领域的领域场景图像以及视频，利用YOLO网络进行目标信息的检测和追踪，所述目标信息包括领域场景图像中的关键人物以及关键物品；
2）利用条件随机场进行目标信息的类别概率判别，所述类别概率判别的公式为：
Figure 18009DEST_PATH_IMAGE013
Figure 369356DEST_PATH_IMAGE014
其中：
Figure 190681DEST_PATH_IMAGE015
为第i个目标
Figure 588689DEST_PATH_IMAGE016
属于某个类别的概率；
x表示目标类别的随机变量；
Z为归一化因子；
Figure 495465DEST_PATH_IMAGE017
为条件随机场一元势函数，表示随机场图节点标注类别的概率；
3）提取所判别的目标特征以及对应的目标类别，将同一领域的目标特征以及目标类别作为目标特征集中的目标特征数据；
4）将压缩编码后的环境信号进行解码处理，将目标特征集中的目标特征数据映射到解码后的环境信号中，得到三维场景重建信号S；
5）构建16层深度的八叉树结构，八叉树的每个非叶子节点都包含八个子节点，用根节点代表整个场景的三维空间，将空间分为八个均匀的子空间作为根节点的子节点，划分出的子空间可以根据需求继续向下划分成更小的空间；将三维场景重建信号映射到八叉树结构中：
Figure 650503DEST_PATH_IMAGE018
其中：R为重建后三维场景的分辨率；
S为三维场景重建信号； X 0 为八叉树结构的中心位置，将其设置为用户所处的位置。
7.如权利要求6所述的一种头戴式增强现实显示方法，其特征在于，所述利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强，包括：
1）计算领域虚拟三维场景c(x,y,z)在各方向的二阶偏导数，得到领域虚拟三维场景c的Hessian矩阵H(c)：
Figure 60756DEST_PATH_IMAGE019
其中：矩阵中的值为领域虚拟三维场景c在不同方向的二阶偏导数；
2）将Hessian矩阵H(c)进行特征分解，得到Hessian矩阵的三个特征值λ1λ2λ3；
3）利用结构增强公式对领域虚拟三维场景进行结构增强处理，所述结构增强公式为：
Figure 892314DEST_PATH_IMAGE020
其中：V(c)为结构增强公式，c为领域虚拟三维场景；
λ1λ2λ3为领域虚拟三维场景的三个Hessian矩阵特征值；α,β为特征值敏感度值，将α设置为2，将β设置为1。
8.一种头戴式增强现实显示设备，其特征在于，所述设备包括：
环境信号获取装置，用于利用头戴式增强现实显示设备的传感器获取环境信号；
数据处理器，用于利用基于信号分布的信号降噪方法进行环境信号的增强处理, 将降噪后的环境信号转换为直方图信号，利用基于直方图对比度的算法进行显著信号的增强处理, 对于增强后的环境信号，基于分布式协同传输策略将环境信号传输到头戴设备中；
增强现实装置，用于利用基于领域语义的三维场景重建方法在头戴设备内重建结合领域场景的增强现实场景，并利用基于Hessian矩阵的结构增强算法进行领域场景虚拟信息的结构增强。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有增强现实程序指令，所述增强现实程序指令可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的一种头戴式增强现实显示的实现方法的步骤。
CN202110422760.1A 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备 Active CN112988020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110422760.1A CN112988020B (zh) 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110422760.1A CN112988020B (zh) 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备

Publications (2)

Publication Number Publication Date
CN112988020A true CN112988020A (zh) 2021-06-18
CN112988020B CN112988020B (zh) 2021-09-07

Family

ID=76341251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110422760.1A Active CN112988020B (zh) 2021-04-20 2021-04-20 一种头戴式增强现实显示方法及设备

Country Status (1)

Country Link
CN (1) CN112988020B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105212418A (zh) * 2015-11-05 2016-01-06 北京航天泰坦科技股份有限公司 基于红外夜视功能的增强现实智能头盔研制
US20170323481A1 (en) * 2015-07-17 2017-11-09 Bao Tran Systems and methods for computer assisted operation
CN108040247A (zh) * 2017-12-29 2018-05-15 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示设备及方法
CN108734629A (zh) * 2017-04-17 2018-11-02 英特尔公司 感官增强的增强现实和虚拟现实装置
CN108986223A (zh) * 2017-05-31 2018-12-11 上海拆名晃信息科技有限公司 一种三维场景重建的方法与装置
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN111193841A (zh) * 2018-11-14 2020-05-22 深圳晨芯时代科技有限公司 一种增强现实系统
CN111344644A (zh) * 2018-08-01 2020-06-26 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN112419510A (zh) * 2020-12-10 2021-02-26 苏州涵蓝轩文化科技有限公司 一种虚拟现实与增强现实的展厅互动方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323481A1 (en) * 2015-07-17 2017-11-09 Bao Tran Systems and methods for computer assisted operation
CN105212418A (zh) * 2015-11-05 2016-01-06 北京航天泰坦科技股份有限公司 基于红外夜视功能的增强现实智能头盔研制
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN108734629A (zh) * 2017-04-17 2018-11-02 英特尔公司 感官增强的增强现实和虚拟现实装置
CN108986223A (zh) * 2017-05-31 2018-12-11 上海拆名晃信息科技有限公司 一种三维场景重建的方法与装置
CN108040247A (zh) * 2017-12-29 2018-05-15 湖南航天捷诚电子装备有限责任公司 一种头戴式增强现实显示设备及方法
CN111344644A (zh) * 2018-08-01 2020-06-26 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN111193841A (zh) * 2018-11-14 2020-05-22 深圳晨芯时代科技有限公司 一种增强现实系统
CN112419510A (zh) * 2020-12-10 2021-02-26 苏州涵蓝轩文化科技有限公司 一种虚拟现实与增强现实的展厅互动方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘洞波等: "《移动机器人粒子滤波定位与地图创建》", 30 September 2016 *
柳杨: "《数字图像物体识别理论详解与实战》", 31 March 2018 *

Also Published As

Publication number Publication date
CN112988020B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
Chen et al. Tom-net: Learning transparent object matting from a single image
US11488320B2 (en) Pose estimation method, pose estimation apparatus, and training method for pose estimation
CN112530019B (zh) 三维人体重建方法、装置、计算机设备和存储介质
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN111240476B (zh) 基于增强现实的交互方法、装置、存储介质和计算机设备
KR20120054550A (ko) 비디오 스트림에서 움직이고 있는 비정형 물체들을 실시간으로 검출 및 추적하여, 사용자가 컴퓨터 시스템과 상호 작용할 수 있게 해주는 방법 및 디바이스
CN111553247B (zh) 一种基于改进骨干网络的视频结构化系统、方法及介质
CN112200187A (zh) 一种目标检测方法、装置、机器可读介质及设备
CN103617413B (zh) 一种在图像中识别物体的方法
Tsai et al. Design of wireless vision sensor network for smart home
CN114998934A (zh) 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN117975188A (zh) 一种面向电力作业测距任务的样本扩充方法及系统
CN112988020B (zh) 一种头戴式增强现实显示方法及设备
Xu et al. Frescoes restoration via virtual-real fusion: Method and practice
CN112651351B (zh) 一种数据处理的方法和装置
CN117036658A (zh) 一种图像处理方法及相关设备
CN111192271B (zh) 一种图像分割方法及装置
CN113628148A (zh) 红外图像降噪方法和装置
Mancas et al. Applications of saliency models
CN111739098A (zh) 测速方法及装置、电子设备及存储介质
US20230410461A1 (en) Efficient multi-scale orb without image resizing
CN114827706B (zh) 图像处理的方法、计算机程序产品、电子设备及存储介质
CN117036788B (zh) 图像分类方法、训练图像分类模型的方法及装置
Bellamine et al. Track color space-time interest points in video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant