CN113721771A - 一种基于虚拟现实的图像大数据交互控制系统 - Google Patents

一种基于虚拟现实的图像大数据交互控制系统 Download PDF

Info

Publication number
CN113721771A
CN113721771A CN202111040660.9A CN202111040660A CN113721771A CN 113721771 A CN113721771 A CN 113721771A CN 202111040660 A CN202111040660 A CN 202111040660A CN 113721771 A CN113721771 A CN 113721771A
Authority
CN
China
Prior art keywords
image
dimensional
dimensional image
corner
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111040660.9A
Other languages
English (en)
Inventor
李帮音
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111040660.9A priority Critical patent/CN113721771A/zh
Publication of CN113721771A publication Critical patent/CN113721771A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种虚拟现实的技术领域，公开了一种基于虚拟现实的图像大数据交互控制方法，包括：获取图像数据，对图像进行图像滤波以及图像锐化的预处理，得到预处理完成后的图像；利用三维图像重建算法对二维图像进行重建；利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息；利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征；建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。本发明还提供了一种基于虚拟现实的图像大数据交互控制系统。本发明实现了图像大数据交互控制。

Description

一种基于虚拟现实的图像大数据交互控制系统
技术领域
本发明涉及虚拟现实的技术领域，尤其涉及一种基于虚拟现实的图像大数据交互控制系统。
背景技术
随着电子技术产业和多媒体信息技术的蓬勃发展，人们已经不再满足于简单的视觉体验，而逐渐兴起的基于体感的虚拟现实交互技术，很好地弥补了技术与需求上的空白，被广泛地应用到教育辅助、电影制作、医学康复治疗和直播互动等领域，如何利用虚拟现实技术对图像数据进行交互成为当前研究领域的热门话题，而目前虚拟现实交互系统存在动作捕捉装置复杂、价格昂贵、功能单一、环境要求严苛等问题。
鉴于此，如何实现基于虚拟现实的图像交互控制，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于虚拟现实的图像大数据交互控制方法，通过利用三维图像重建算法对二维图像进行重建，得到三维图像，并利用角点定位算法对三维图像进行图像角点特征定位，得到三维图像的角点特征信息；利用肌电传感器采集大量用户手掌上肌电信号，并标注每一肌电信号的手势类别，提取肌电信号特征，建立肌电信号特征和图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
为实现上述目的，本发明提供的一种基于虚拟现实的图像大数据交互控制方法，包括：
获取图像数据，对图像进行图像滤波以及图像锐化的预处理，得到预处理完成后的图像；
利用三维图像重建算法对二维图像进行重建，得到三维图像模型；
利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息；
利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征；
建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
可选地，所述对图像进行图像滤波以及图像锐化的预处理，包括：
1)将图像数据转换为N×N的像素矩阵；
2)利用平滑模板对像素矩阵进行平滑处理，像素矩阵中的每个像素值根据平滑模板与周围像素进行灰度叠加，灰度叠加后的像素值作为该像素位置新的像素值，对所有像素点进行平滑处理，得到平滑滤波后的图像，其中每个像素值同平滑模板的中心值对应，平滑模板的其余值为周围像素进行灰度叠加的权重；在本发明一个具体实施例中，所选取的8邻域平滑模板为：
Figure BDA0003249086290000011
3)对平滑滤波后的图像进行锐化处理，所述锐化处理公式为：
Figure BDA0003249086290000012
Figure BDA0003249086290000013
Figure BDA0003249086290000021
其中：
f(x,y)表示像素矩阵中位置(x,y)的像素值；
f'(x,y)表示锐化处理后像素矩阵中位置(x,y)的像素值。
可选地，所述利用三维图像重建算法对二维图像进行重建，包括：
1)将二维图像中的物体图像在X轴和Y轴方向进行投影，若存在两个或多个物体图像的投影线段在X轴以及Y轴存在交集，则说明物体在三维环境下存在碰撞；并使用包围框将存在碰撞的物体包围起来，在本发明一个具体实施例中，所述包围框为二维的多边形；
2)将二维图像转换为二维网格图像，选取二维网格图像边缘位置的一个像素点发射射线，检测射线是否与包围框相交，若相交，则计算出入框点和出框点，并首先从入盒点开始进行采样操作，设置采样的向前步长大小为4个像素，向后步长大小为8个像素；在本发明一个具体实施例中所选取的边缘位置像素点的位置为网格图像上下左右四个方向的四个随机位置；
即从入盒点开始按照每步四个像素大小进行跳跃，当遇到第一个非空像素后，先对这个像素进行三次线性插值重采样处理，然后向后按照向后步长大小一个个进行采样，当采样完本次的8个像素之后，回到起始的非空像素重新按照四个像素步长向前采样，重复以上跳跃追踪，直到射线到达出框点或者射线上的不透明度累加达到1时，便不再对此条射线进行采样计算，并开始下一条射线的采样工作；当不透明度逐渐累加直至接近1的时候，表示此条射线后的三维像素点已经完全不透明，后面的像素点不再对三维图像模型重建有所贡献，因此可以使采样操作提前终止；
所述基于射线实现二维网格图像像素点采样的公式为：
Figure BDA0003249086290000022
其中：
g表示射线到达入框点的光照强度；
d表示射线发出点与入框点之间的距离；
α(t)表示光照强度的衰减系数；
g(h)表示射线在包围框中位置h的光照强度，当h为0，即表示入框点；
Figure BDA0003249086290000023
表示射线穿入包围框，到达人眼视觉系统的光照强度值；根据到达人眼视觉系统的光照强度值大小，对重建后三维像素点的Z轴高度进行量化，其中到达人眼视觉系统的光照强度值越小，则说明有较多光照被阻挡，则重建后三维像素点Z轴高度越高；
Figure BDA0003249086290000024
表示到人眼视觉系统的距离小于或等于s时，其他光源对光照强度的贡献值；由于在采样过程中，图像中的光照强度包括发出的射线光照强度以及图像本身的光照强度，所述其他光源对光照强度的贡献值即表示重建后三维图像不同区域的光照对比度，其中光源对光照强度的贡献值越高，表明重建后当前包围框中的亮度越高；
3)获取每个包围框中像素点的Z轴高度信息、亮度信息以及颜色信息，并根据像素点在二维网格图像中的坐标位置，将二维图像像素点转换为三维图像像素点；同时对二维网格图像中的非包围框背景区域进行立体化处理，将立体化的背景区域同包围框进行组合，得到三维图像模型。
可选地，所述利用角点定位算法对三维图像模型进行图像角点特征定位，包括：
设置大小为M×N×V像素的三维窗口块，将三维窗口块在三维图像模型上进行均匀滑动，其中三维窗口块在X轴、Y轴、Z轴上的滑动偏量为(a,b,c)；
计算三维窗口块滑动前后，三维窗口块内像素点灰度值变化情况：
Figure BDA0003249086290000031
其中：
(x,y,z)表示三维图像模型中像素的坐标；
I(x,y,z)表示坐标为(x,y,z)的像素的像素值大小；
对上式进行泰勒展开处理：
Figure BDA0003249086290000032
其中：
Ix(x,y,z),Iy(x,y,z),Iz(x,y,z)表示像素点(x,y,z)在X轴、Y轴、Z轴方向上的梯度大小；
提取泰勒展开式中的特征矩阵：
Figure BDA0003249086290000033
计算特征矩阵中的两个特征值λ1和λ2；
若λ1和λ2均大于角点阈值T，且近似相等，即Ix,Iy,Iz均较大，表明窗口块内存在角点，并将λ1和λ2作为角点特征；
若λ1和λ2均小于角点阈值T，且近似相等，即Ix,Iy,Iz均较小，表明窗口块内存在三维图像块边缘。
可选地，所述提取肌电信号特征，包括：
利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，在本发明一个具体实施例中，所选定的手势类别包括放大、缩小以及旋转等，得到不同手势类别对应的肌电信号组{x1,x2,…,xt}，其中xt表示在t时刻的手掌肌电信号；
提取不同手势类别对应的肌电信号的肌电信号特征，所述肌电信号特征的提取流程为：
1)提取肌电信号{x1,x2,…,xt}的绝对均值：
Figure BDA0003249086290000034
其中：
xi表示在i时刻肌电传感器所采集的手掌肌电信号；
2)提取肌电信号的方差：
Figure BDA0003249086290000035
3)提取肌电信号的过零次数：
Figure BDA0003249086290000036
所述肌电信号的过零次数表示肌电信号的幅值在原点附近波动的频次；
4)将不同手势类别的肌电信号特征表示为F＝[MA,VA,ZC]。
可选地，所述建立肌电信号特征和三维图像角点特征的映射模型，包括：
利用建立肌电信号特征与三维图像角点特征之间的映射模型：
Figure BDA0003249086290000037
其中：
y表示肌电信号特征F与三维图像角点特征λ的映射函数，即若超平面wF+b在某个取值范围内，y则对三维图像角点特征λ进行α的交互控制；
α表示对三维图像角点特征进行的交互控制操作，在本发明一个具体实施例中，所述交互控制操作包括放大、缩小、旋转等；
w表示超平面wF+b的线性权重；
b表示超平面wF+b的偏置值；
用户可利用虚拟现实设备的传感器获取手掌的肌电信号，据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
此外，为实现上述目的，本发明还提供一种基于虚拟现实的图像大数据交互控制系统，所述系统包括：
图像数据获取装置，用于利用虚拟现实装置获取图像；
数据处理器，用于对图像进行图像滤波以及图像锐化的预处理，利用三维图像重建算法对二维图像进行重建，并利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息；
图像交互控制装置，用于利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征，建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像交互控制程序指令，所述图像交互控制程序指令可被一个或者多个处理器执行，以实现如上所述的基于虚拟现实的图像大数据交互控制系统的实现方法的步骤。
相对于现有技术，本发明提出一种基于虚拟现实的图像大数据交互控制方法，该技术具有以下优势：
首先，传统三维图像重建算法需要提供三维模型的多个角度的二维图像，根据不同角度二维图像之间的关系实现三维图像重建，相较于传统算法，本发明提出一种三维图像重建算法，利用单张二维网格图像便可实现三维图像模型的重建，实现基于虚拟现实的三维图像模型交互控制，所述三维图像重建算法流程为：将二维图像中的物体图像在X轴和Y轴方向进行投影，若存在两个或多个物体图像的投影线段在X轴以及Y轴存在交集，则说明物体在三维环境下存在碰撞；并使用包围框将存在碰撞的物体包围起来；将二维图像转换为二维网格图像，选取二维网格图像边缘位置的一个像素点发射射线，检测射线是否与包围框相交，若相交，则计算出入框点和出框点，并首先从入盒点开始进行采样操作，设置采样的向前步长大小为4个像素，向后步长大小为8个像素，即从入盒点开始按照每步四个像素大小进行跳跃，当遇到第一个非空像素后，先对这个像素进行三次线性插值重采样处理，然后向后按照向后步长大小一个个进行采样，当采样完本次的8个像素之后，回到起始的非空像素重新按照四个像素步长向前采样，重复以上跳跃追踪，直到射线到达出框点或者射线上的不透明度累加达到1时，便不再对此条射线进行采样计算，并开始下一条射线的采样工作，由于当射线的不透明度逐渐累加直至接近1的时候，表示此条射线后的三维像素点已经完全不透明，后面的像素点不再对三维图像模型重建有所贡献，因此可以使采样操作提前终止；所述基于射线实现二维网格图像像素点采样的公式为：
Figure BDA0003249086290000041
其中：g表示射线到达入框点的光照强度；d表示射线发出点与入框点之间的距离；α(t)表示光照强度的衰减系数；g(h)表示射线在包围框中位置h的光照强度，当h为0，即表示入框点；
Figure BDA0003249086290000042
表示射线穿入包围框，到达人眼视觉系统的光照强度值；根据到达人眼视觉系统的光照强度值大小，对重建后三维像素点的Z轴高度进行量化，其中到达人眼视觉系统的光照强度值越小，则说明有较多光照被阻挡，则重建后三维像素点Z轴高度越高；
Figure BDA0003249086290000051
表示到人眼视觉系统的距离小于或等于s时，其他光源对光照强度的贡献值；由于在采样过程中，图像中的光照强度包括发出的射线光照强度以及图像本身的光照强度，所述其他光源对光照强度的贡献值即表示重建后三维图像不同区域的光照对比度，其中光源对光照强度的贡献值越高，表明重建后当前包围框中的亮度越高；获取每个包围框中像素点的Z轴高度信息、亮度信息以及颜色信息，并根据像素点在二维网格图像中的坐标位置，将二维图像像素点转换为三维图像像素点；同时对二维网格图像中的非包围框背景区域进行立体化处理，将立体化的背景区域同包围框进行组合，得到三维图像模型。
同时，传统角点特征提取算法仅适用于二维图像，本发明对应用在二维图像的角点特征提取算法进行改进，通过设置大小为M×N×V像素的三维窗口块，将三维窗口块在三维图像模型上进行均匀滑动，其中三维窗口块在X轴、Y轴、Z轴上的滑动偏量为(a,b,c)，并计算三维窗口块滑动前后，三维窗口块内像素点灰度值变化情况：
Figure BDA0003249086290000052
其中：(x,y,z)表示三维图像模型中像素的坐标；I(x,y,z)表示坐标为(x,y,z)的像素的像素值大小，对上式进行泰勒展开处理：
Figure BDA0003249086290000053
其中：Ix(x,y,z),Iy(x,y,z),Iz(x,y,z)表示像素点(x,y,z)在X轴、Y轴、Z轴方向上的梯度大小；提取泰勒展开式中的特征矩阵：
Figure BDA0003249086290000054
计算特征矩阵中的两个特征值λ1和λ2；若λ1和λ2均大于角点阈值T，且近似相等，即Ix,Iy,Iz均较大，表明窗口块内存在角点，并将λ1和λ2作为角点特征；若λ1和λ2均小于角点阈值T，且近似相等，即Ix,Iy,Iz均较小，表明窗口块内存在三维图像块边缘。根据所提取的三维图像角点特征，本发明建立三维图像角点特征与用户手势信号的映射模型：
Figure BDA0003249086290000055
其中：y表示肌电信号特征F与三维图像角点特征λ的映射函数，即若超平面wF+b在某个取值范围内，y则对三维图像角点特征λ进行α的交互控制；α表示对三维图像角点特征进行的交互控制操作，在本发明一个具体实施例中，所述交互控制操作包括放大、缩小、旋转等；w表示超平面wF+b的线性权重；b表示超平面wF+b的偏置值；在虚拟现实环境下，用户可利用虚拟现实视觉装置将二维图像重建显示为三维图像模型，并利用虚拟现实装置传感器检测到用户手势信号，根据所建立的映射模型，利用所检测得到的用户手势信号实现对三维图像角点特征的交互控制。
附图说明
图1为本发明一实施例提供的一种基于虚拟现实的图像大数据交互控制方法的流程示意图；
图2为本发明一实施例提供的一种基于虚拟现实的图像大数据交互控制系统的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过利用三维图像重建算法对二维图像进行重建，得到三维图像，并利用角点定位算法对三维图像进行图像角点特征定位，得到三维图像的角点特征信息；利用肌电传感器采集大量用户手掌上肌电信号，并标注每一肌电信号的手势类别，提取肌电信号特征，建立肌电信号特征和图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。参照图1所示，为本发明一实施例提供的基于虚拟现实的图像大数据交互控制方法示意图。
在本实施例中，基于虚拟现实的图像大数据交互控制方法包括：
S1、获取图像数据，对图像进行图像滤波以及图像锐化的预处理，得到预处理完成后的图像。
首先，本发明获取图像数据，对图像进行图像滤波以及图像锐化的预处理，所述预处理流程为：
1)将图像数据转换为N×N的像素矩阵；
2)利用平滑模板对像素矩阵进行平滑处理，像素矩阵中的每个像素值根据平滑模板与周围像素进行灰度叠加，灰度叠加后的像素值作为该像素位置新的像素值，对所有像素点进行平滑处理，得到平滑滤波后的图像，其中每个像素值同平滑模板的中心值对应，平滑模板的其余值为周围像素进行灰度叠加的权重；在本发明一个具体实施例中，所选取的8邻域平滑模板为：
Figure BDA0003249086290000061
3)对平滑滤波后的图像进行锐化处理，所述锐化处理公式为：
Figure BDA0003249086290000062
Figure BDA0003249086290000063
Figure BDA0003249086290000064
其中：
f(x,y)表示像素矩阵中位置(x,y)的像素值；
f'(x,y)表示锐化处理后像素矩阵中位置(x,y)的像素值。
S2、利用三维图像重建算法对二维图像进行重建，得到三维图像模型。
进一步地，本发明利用三维图像重建算法对二维图像进行重建，所述三维图像重建算法流程为：
1)将二维图像中的物体图像在X轴和Y轴方向进行投影，若存在两个或多个物体图像的投影线段在X轴以及Y轴存在交集，则说明物体在三维环境下存在碰撞；并使用包围框将存在碰撞的物体包围起来，在本发明一个具体实施例中，所述包围框为二维的多边形；
2)将二维图像转换为二维网格图像，选取二维网格图像边缘位置的一个像素点发射射线，检测射线是否与包围框相交，若相交，则计算出入框点和出框点，并首先从入盒点开始进行采样操作，设置采样的向前步长大小为4个像素，向后步长大小为8个像素；在本发明一个具体实施例中所选取的边缘位置像素点的位置为网格图像上下左右四个方向的四个随机位置；
即从入盒点开始按照每步四个像素大小进行跳跃，当遇到第一个非空像素后，先对这个像素进行三次线性插值重采样处理，然后向后按照向后步长大小一个个进行采样，当采样完本次的8个像素之后，回到起始的非空像素重新按照四个像素步长向前采样，重复以上跳跃追踪，直到射线到达出框点或者射线上的不透明度累加达到1时，便不再对此条射线进行采样计算，并开始下一条射线的采样工作；当不透明度逐渐累加直至接近1的时候，表示此条射线后的三维像素点已经完全不透明，后面的像素点不再对三维图像模型重建有所贡献，因此可以使采样操作提前终止；
所述基于射线实现二维网格图像像素点采样的公式为：
Figure BDA0003249086290000071
其中：
g表示射线到达入框点的光照强度；
d表示射线发出点与入框点之间的距离；
α(t)表示光照强度的衰减系数；
g(h)表示射线在包围框中位置h的光照强度，当h为0，即表示入框点；
Figure BDA0003249086290000072
表示射线穿入包围框，到达人眼视觉系统的光照强度值；根据到达人眼视觉系统的光照强度值大小，对重建后三维像素点的Z轴高度进行量化，其中到达人眼视觉系统的光照强度值越小，则说明有较多光照被阻挡，则重建后三维像素点Z轴高度越高；
Figure BDA0003249086290000073
表示到人眼视觉系统的距离小于或等于s时，其他光源对光照强度的贡献值；由于在采样过程中，图像中的光照强度包括发出的射线光照强度以及图像本身的光照强度，所述其他光源对光照强度的贡献值即表示重建后三维图像不同区域的光照对比度，其中光源对光照强度的贡献值越高，表明重建后当前包围框中的亮度越高；
3)获取每个包围框中像素点的Z轴高度信息、亮度信息以及颜色信息，并根据像素点在二维网格图像中的坐标位置，将二维图像像素点转换为三维图像像素点；同时对二维网格图像中的非包围框背景区域进行立体化处理，将立体化的背景区域同包围框进行组合，得到三维图像模型。
S3、利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息。
进一步地，本发明利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息，所述角点定位算法流程为：
设置大小为M×N×V像素的三维窗口块，将三维窗口块在三维图像模型上进行均匀滑动，其中三维窗口块在X轴、Y轴、Z轴上的滑动偏量为(a,b,c)；
计算三维窗口块滑动前后，三维窗口块内像素点灰度值变化情况：
Figure BDA0003249086290000074
其中：
(x,y,z)表示三维图像模型中像素的坐标；
I(x,y,z)表示坐标为(x,y,z)的像素的像素值大小；
对上式进行泰勒展开处理：
Figure BDA0003249086290000075
其中：
Ix(x,y,z),Iy(x,y,z),Iz(x,y,z)表示像素点(x,y,z)在X轴、Y轴、Z轴方向上的梯度大小；
提取泰勒展开式中的特征矩阵：
Figure BDA0003249086290000081
计算特征矩阵中的两个特征值λ1和λ2；
若λ1和λ2均大于角点阈值T，且近似相等，即Ix,Iy,Iz均较大，表明窗口块内存在角点，并将λ1和λ2作为角点特征；
若λ1和λ2均小于角点阈值T，且近似相等，即Ix,Iy,Iz均较小，表明窗口块内存在三维图像块边缘。
S4、利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征。
进一步地，本发明利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，在本发明一个具体实施例中，所选定的手势类别包括放大、缩小以及旋转等，得到不同手势类别对应的肌电信号组{x1,x2,…,xt}，其中xt表示在t时刻的手掌肌电信号；
提取不同手势类别对应的肌电信号的肌电信号特征，所述肌电信号特征的提取流程为：
1)提取肌电信号{x1,x2,…,xt}的绝对均值：
Figure BDA0003249086290000082
其中：
xi表示在i时刻肌电传感器所采集的手掌肌电信号；
2)提取肌电信号的方差：
Figure BDA0003249086290000083
3)提取肌电信号的过零次数：
Figure BDA0003249086290000084
所述肌电信号的过零次数表示肌电信号的幅值在原点附近波动的频次；
4)将不同手势类别的肌电信号特征表示为F＝[MA,VA,ZC]。
S5、建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
进一步地，本发明利用建立肌电信号特征与三维图像角点特征之间的映射模型：
Figure BDA0003249086290000085
其中：
y表示肌电信号特征F与三维图像角点特征λ的映射函数，即若超平面wF+b在某个取值范围内，y则对三维图像角点特征λ进行α的交互控制；
α表示对三维图像角点特征进行的交互控制操作，在本发明一个具体实施例中，所述交互控制操作包括放大、缩小、旋转等；
w表示超平面wF+b的线性权重；
b表示超平面wF+b的偏置值；
用户可利用虚拟现实设备的传感器获取手掌的肌电信号，据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为Matlab2018b；对比方法为基于LSTM的图像大数据交互控制系统以及基于GAN的图像大数据交互控制系统。
在本发明所述算法实验中，数据集为10T的图像数据。本实验通过将图像数据输入到算法模型中，将图像交互控制的准确率作为算法可行性的评价指标，其中图像交互控制的准确率越高，则说明算法的有效性、可行性越高。
根据实验结果，基于LSTM的图像大数据交互控制系统的图像交互控制准确率为65.32％，基于GAN的图像大数据交互控制系统的图像交互控制准确率为74.99％，本发明所述方法的图像交互控制准确率为85.78％，相较于对比算法，本发明所提出的基于虚拟现实的图像大数据交互控制方法能够实现更有效的图像交互控制。
发明还提供一种基于虚拟现实的图像大数据交互控制系统。参照图2所示，为本发明一实施例提供的基于虚拟现实的图像大数据交互控制系统的内部结构示意图。
在本实施例中，所述基于虚拟现实的图像大数据交互控制系统1至少包括图像数据获取装置11、数据处理器12、图像交互控制装置13，通信总线14，以及网络接口15。
其中，图像数据获取装置11可以是虚拟现实头盔，或者是虚拟现实眼镜等。
数据处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是基于虚拟现实的图像大数据交互控制系统1的内部存储单元，例如该基于虚拟现实的图像大数据交互控制系统1的硬盘。数据处理器12在另一些实施例中也可以是基于虚拟现实的图像大数据交互控制系统1的外部存储设备，例如基于虚拟现实的图像大数据交互控制系统1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，数据处理器12还可以既包括基于虚拟现实的图像大数据交互控制系统1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于基于虚拟现实的图像大数据交互控制系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
图像交互控制装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，包括监控单元，用于运行数据处理器12中存储的程序代码或处理数据，例如图像交互控制程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。
可选地，基于虚拟现实的图像大数据交互控制系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于虚拟现实的图像大数据交互控制系统1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及基于虚拟现实的图像大数据交互控制系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于虚拟现实的图像大数据交互控制系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的基于虚拟现实的图像大数据交互控制系统1实施例中，数据处理器12中存储有图像交互控制程序指令16；图像交互控制装置13执行数据处理器12中存储的图像交互控制程序指令16的步骤，与基于虚拟现实的图像大数据交互控制方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像交互控制程序指令，所述图像交互控制程序指令可被一个或多个处理器执行，以实现如下操作：
获取图像数据，对图像进行图像滤波以及图像锐化的预处理，得到预处理完成后的图像；
利用三维图像重建算法对二维图像进行重建，得到三维图像模型；
利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息；
利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征；
建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于虚拟现实的图像大数据交互控制方法，其特征在于，所述方法包括：
获取图像数据，对图像进行图像滤波以及图像锐化的预处理，得到预处理完成后的图像；
利用三维图像重建算法对二维图像进行重建，得到三维图像模型；
利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息；
利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征；
建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
2.如权利要求1所述的一种基于虚拟现实的图像大数据交互控制方法，其特征在于，所述对图像进行图像滤波以及图像锐化的预处理，包括：
1)将图像数据转换为N×N的像素矩阵；
2)利用平滑模板对像素矩阵进行平滑处理，像素矩阵中的每个像素值根据平滑模板与周围像素进行灰度叠加，灰度叠加后的像素值作为该像素位置新的像素值，对所有像素点进行平滑处理，得到平滑滤波后的图像，其中每个像素值同平滑模板的中心值对应，平滑模板的其余值为周围像素进行灰度叠加的权重；
3)对平滑滤波后的图像进行锐化处理，所述锐化处理公式为：
Figure FDA0003249086280000011
Figure FDA0003249086280000012
Figure FDA0003249086280000013
其中：
f(x，y)表示像素矩阵中位置(x，y)的像素值；
f′(x，y)表示锐化处理后像素矩阵中位置(x，y)的像素值。
3.如权利要求2所述的一种基于虚拟现实的图像大数据交互控制方法，其特征在于，所述利用三维图像重建算法对二维图像进行重建，包括：
1)将二维图像中的物体图像在X轴和Y轴方向进行投影，若存在两个或多个物体图像的投影线段在X轴以及Y轴存在交集，则说明物体在三维环境下存在碰撞；并使用包围框将存在碰撞的物体包围起来，在本发明一个具体实施例中，所述包围框为二维的多边形；
2)将二维图像转换为二维网格图像，选取二维网格图像边缘位置的一个像素点发射射线，检测射线是否与包围框相交，若相交，则计算出入框点和出框点，并首先从入盒点开始进行采样操作，设置采样的向前步长大小为4个像素，向后步长大小为8个像素；
即从入盒点开始按照每步四个像素大小进行跳跃，当遇到第一个非空像素后，先对这个像素进行三次线性插值重采样处理，然后向后按照向后步长大小一个个进行采样，当采样完本次的8个像素之后，回到起始的非空像素重新按照四个像素步长向前采样，重复以上跳跃追踪，直到射线到达出框点或者射线上的不透明度累加达到1时，便不再对此条射线进行采样计算，并开始下一条射线的采样工作；
所述基于射线实现二维网格图像像素点采样的公式为：
Figure FDA0003249086280000014
其中：
g表示射线到达入框点的光照强度；
d表示射线发出点与入框点之间的距离；
α(t)表示光照强度的衰减系数；
g(h)表示射线在包围框中位置h的光照强度，当h为0，即表示入框点；
Figure FDA0003249086280000021
表示射线穿入包围框，到达人眼视觉系统的光照强度值；
Figure FDA0003249086280000022
表示到人眼视觉系统的距离小于或等于s时，其他光源对光照强度的贡献值；
3)获取每个包围框中像素点的Z轴高度信息、亮度信息以及颜色信息，并根据像素点在二维网格图像中的坐标位置，将二维图像像素点转换为三维图像像素点；同时对二维网格图像中的非包围框背景区域进行立体化处理，将立体化的背景区域同包围框进行组合，得到三维图像模型。
4.如权利要求3所述的一种基于虚拟现实的图像大数据交互控制方法，其特征在于，所述利用角点定位算法对三维图像模型进行图像角点特征定位，包括：
设置大小为M×N×V像素的三维窗口块，将三维窗口块在三维图像模型上进行均匀滑动，其中三维窗口块在X轴、Y轴、Z轴上的滑动偏量为(a，b，c)；
计算三维窗口块滑动前后，三维窗口块内像素点灰度值变化情况：
Figure FDA0003249086280000023
其中：
(x，y，z)表示三维图像模型中像素的坐标；
I(x，y，z)表示坐标为(x，y，z)的像素的像素值大小；
对上式进行泰勒展开处理：
Figure FDA0003249086280000024
其中：
Ix(x，y，z)，Iy(x，y，z)，Iz(x，y，z)表示像素点(x，y，z)在X轴、Y轴、Z轴方向上的梯度大小；
提取泰勒展开式中的特征矩阵：
Figure FDA0003249086280000025
计算特征矩阵中的两个特征值λ1和λ2；
若λ1和λ2均大于角点阈值T，且近似相等，即Ix，Iy，Iz均较大，表明窗口块内存在角点，并将λ1和λ2作为角点特征；
若λ1和λ2均小于角点阈值T，且近似相等，即Ix，Iy，Iz均较小，表明窗口块内存在三维图像块边缘。
5.如权利要求4所述的一种基于虚拟现实的图像大数据交互控制方法，其特征在于，所述提取肌电信号特征，包括：
提取不同手势类别对应的肌电信号的肌电信号特征，所述肌电信号特征的提取流程为：
1)提取肌电信号{x1，x2，...，xt}的绝对均值：
Figure FDA0003249086280000026
其中：
xi表示在i时刻肌电传感器所采集的手掌肌电信号；
2)提取肌电信号的方差：
Figure FDA0003249086280000031
3)提取肌电信号的过零次数：
Figure FDA0003249086280000032
所述肌电信号的过零次数表示肌电信号的幅值在原点附近波动的频次；
4)将不同手势类别的肌电信号特征表示为F＝[MA，VA，ZC]。
6.如权利要求5所述的一种基于虚拟现实的图像大数据交互控制方法，其特征在于，所述建立肌电信号特征和三维图像角点特征的映射模型，包括：
利用建立肌电信号特征与三维图像角点特征之间的映射模型：
Figure FDA0003249086280000033
其中：
y表示肌电信号特征F与三维图像角点特征λ的映射函数，即若超平面wF+b在某个取值范围内，y则对三维图像角点特征λ进行α的交互控制；
α表示对三维图像角点特征进行的交互控制操作，在本发明一个具体实施例中，所述交互控制操作包括放大、缩小、旋转等；
w表示超平面wF+b的线性权重；
b表示超平面wF+b的偏置值；
用户可利用虚拟现实设备的传感器获取手掌的肌电信号，据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
7.一种基于虚拟现实的图像大数据交互控制系统，其特征在于，所述系统包括：
图像数据获取装置，用于利用虚拟现实装置获取图像；
数据处理器，用于对图像进行图像滤波以及图像锐化的预处理，利用三维图像重建算法对二维图像进行重建，并利用角点定位算法对三维图像模型进行图像角点特征定位，得到三维图像模型的角点特征信息；
图像交互控制装置，用于利用肌电传感器采集大量用户手掌上的肌电信号，并标注每一组肌电信号的手势类别，提取肌电信号特征，建立肌电信号特征和三维图像角点特征的映射模型，根据肌电信号特征和图像角点特征的映射模型进行三维图像的交互控制。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像交互控制程序指令，所述图像交互控制程序指令可被一个或者多个处理器执行，以实现如上所述的基于虚拟现实的图像大数据交互控制系统的实现方法的步骤。
CN202111040660.9A 2021-09-06 2021-09-06 一种基于虚拟现实的图像大数据交互控制系统 Withdrawn CN113721771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111040660.9A CN113721771A (zh) 2021-09-06 2021-09-06 一种基于虚拟现实的图像大数据交互控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040660.9A CN113721771A (zh) 2021-09-06 2021-09-06 一种基于虚拟现实的图像大数据交互控制系统

Publications (1)

Publication Number Publication Date
CN113721771A true CN113721771A (zh) 2021-11-30

Family

ID=78681991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040660.9A Withdrawn CN113721771A (zh) 2021-09-06 2021-09-06 一种基于虚拟现实的图像大数据交互控制系统

Country Status (1)

Country Link
CN (1) CN113721771A (zh)

Similar Documents

Publication Publication Date Title
CN110221690B (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
Kollorz et al. Gesture recognition with a time-of-flight camera
TWI506563B (zh) A method and apparatus for enhancing reality of two - dimensional code
KR20210015972A (ko) 병소 검출 방법, 장치, 기기 및 기억 매체
KR20140033025A (ko) 비전 기반 손 추적기를 초기화하기 위한 고속 손가락끝 검출
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN111027407B (zh) 针对遮挡情况的彩色图像手部姿态估计方法
CN104537705A (zh) 基于增强现实的移动平台三维生物分子展示系统和方法
CN110262763B (zh) 基于增强现实的显示方法和装置以及存储介质和电子设备
CN112614234A (zh) 对混合现实三维场景进行编辑的方法及混合现实设备
CN111680670B (zh) 一种跨模态人头检测方法及装置
CN115409951B (zh) 图像处理方法、装置、电子设备及存储介质
CN113721771A (zh) 一种基于虚拟现实的图像大数据交互控制系统
CN112860060B (zh) 一种图像识别方法、设备及存储介质
Lee et al. Hand gesture recognition using blob detection for immersive projection display system
CN113554748A (zh) 一种医疗器械三维建模方法及装置
Xu et al. Gesture recognition and hand tracking for anti-counterfeit palmvein recognition
Winnemoller Perceptually-motivated non-photorealistic graphics
Nahar et al. 3D Human Pose Estimation Via Deep Learning Methods
CN117036788B (zh) 图像分类方法、训练图像分类模型的方法及装置
CN112988020B (zh) 一种头戴式增强现实显示方法及设备
CN117423161A (zh) 手势识别方法、装置、设备及存储介质
Rao et al. Vision based pointing error estimation for mobile eye-tracking system
CN118351092A (zh) 一种牙齿图像处理分析方法及其相关设备
CN113160337A (zh) 一种ar/vr虚拟现实融合相机控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211130