CN117251087B - 基于虚拟现实的煤矿安全模拟交互方法 - Google Patents
基于虚拟现实的煤矿安全模拟交互方法 Download PDFInfo
- Publication number
- CN117251087B CN117251087B CN202311533355.2A CN202311533355A CN117251087B CN 117251087 B CN117251087 B CN 117251087B CN 202311533355 A CN202311533355 A CN 202311533355A CN 117251087 B CN117251087 B CN 117251087B
- Authority
- CN
- China
- Prior art keywords
- suspected target
- coal mine
- kth
- target point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004088 simulation Methods 0.000 title claims abstract description 28
- 230000003993 interaction Effects 0.000 title claims abstract description 27
- 230000014759 maintenance of location Effects 0.000 claims abstract description 72
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及电数字数据处理技术领域，具体涉及基于虚拟现实的煤矿安全模拟交互方法。方法包括：获取煤矿区域的灰度图像及其关键点；利用不同高斯尺度的核对灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标，进而筛选疑似目标点；根据每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标；基于保留性指标和结构性指标筛选目标关键点，进而确定重点渲染区域。本发明提升了虚拟现实的煤矿安全模拟交互体验。
Description
技术领域
本发明涉及电数字数据处理技术领域，具体涉及基于虚拟现实的煤矿安全模拟交互方法。
背景技术
虚拟现实的煤矿安全模拟交互方法可以有效地提高煤矿安全交互的效果，帮助煤矿工人更好地了解煤矿安全知识和操作技能。虚拟现实的煤矿安全模拟交互方法的主要手段为：使用VR技术创建一个逼真的煤矿环境，包括地下和地表设施，以提高用户的沉浸式体验感。为了达到上述目的，通常使用尺度不变特征变换（Scale Invariant FeatureTransform，SIFT）算子提取原VR场景关键点，并将关键点周围环境作为关键环境，用以提高逼真感。虚拟现实模块中，较为重要的是真实感，真实感直接关系到用户的体验。为了增加真实感，需要确定场景下较为重要的区域，使用SIFT算子提取相应的关键点，并将依据关键点提供的特征信息确定出较为重要的真实点。将关键点转化到真实点的过程中，如果选取存在误差或未能有效结合场景特征，会使得到的真实点不能够有效渲染场景真实感，导致交互体验较差。
发明内容
为了解决现有的虚拟现实的煤矿安全模拟交互方法在确定真实点时存在误判的现象，进而使得到的真实点不能够有效渲染场景真实感，导致交互体验较差的问题，本发明的目的在于提供一种基于虚拟现实的煤矿安全模拟交互方法，所采用的技术方案具体如下：
本发明提供了一种基于虚拟现实的煤矿安全模拟交互方法，该方法包括以下步骤：
获取煤矿区域的灰度图像及其关键点；
利用不同高斯尺度的核对所述灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标；基于所述保留性指标筛选疑似目标点；
根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标；基于所述保留性指标和所述结构性指标，筛选目标关键点；
基于所述目标关键点的位置确定重点渲染区域。
优选的，所述根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标，包括：
对于第i个关键点：
在任一高斯尺度下的煤矿图像中，以第i个关键点为中心，构建第i个关键点对应的窗口，计算第i个关键点对应的窗口内所有像素点的平均灰度值；
计算第i个关键点在最大高斯滤波尺度的煤矿图像中与在最小高斯滤波尺度的煤矿图像的灰度差异，记为第一差异；
计算第i个关键点在每两个相邻高斯滤波尺度的煤矿图像中的灰度差异，记为第二差异；
根据所述平均灰度值、所述第一差异和所述第二差异，获得第i个关键点对应的保留性指标。
优选的，采用如下公式计算第i个关键点对应的保留性指标：
其中，表示第i个关键点对应的保留性指标，表示第i个关键点在最大高
斯滤波尺度的煤矿图像中的灰度值，表示第i个关键点在最小高斯滤波尺度的煤矿图
像中的灰度值，表示高斯滤波尺度的数量，表示第i个关键点在第j个高斯滤波尺度的煤
矿图像中的灰度值，表示第i个关键点在第j+1个高斯滤波尺度的煤矿图像中的灰度
值，表示第i个关键点在第j+1个高斯滤波尺度的煤矿图像中对应的窗口内所有像素点
的平均灰度值，exp( )表示以自然常数为底数的指数函数，表示取绝对值符号，norm( )
表示归一化函数，表示预设调整参数，大于0。
优选的，所述根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标，包括：
将所有疑似目标点的横坐标的均值作为质心的横坐标，将所有疑似目标点的纵坐标的均值作为质心的纵坐标，基于所述质心的横坐标和所述质心的纵坐标确定质心；
根据每个疑似目标点与质心的坐标之间的差异，获得每个疑似目标点对应的质心夹角；
对于第k个疑似目标点：
将第k个疑似目标点与其邻域内的疑似目标点对应的质心夹角之间的差异和第k个疑似目标点与其邻域内对应疑似目标点之间的欧式距离的比值，作为第k个疑似目标点邻域内对应疑似目标点的第一比值；
根据第k个疑似目标点对应的质心夹角、第k个疑似目标点与质心之间的欧式距离、第k个疑似目标点邻域内所有疑似目标点的第一比值，计算第k个疑似目标点对应的结构性指标。
优选的，根据每个疑似目标点与质心的坐标之间的差异，获得每个疑似目标点对应的质心夹角，包括：
对于第k个疑似目标点：
将第k个疑似目标点的横坐标与质心的横坐标的差值作为横坐标差异，将第k个疑似目标点的纵坐标与质心的纵坐标的差值作为纵坐标差异；将所述横坐标差异和所述纵坐标差异代入方位角函数中，获得第k个疑似目标点对应的质心夹角。
优选的，采用如下公式计算第k个疑似目标点对应的结构性指标：
其中，表示第k个疑似目标点对应的结构性指标，表示第k个疑似目标点
对应的质心夹角，表示第k个疑似目标点与质心之间的欧式距离，表示第k个疑似
目标点邻域内所有疑似目标点的第一比值的方差。
优选的，所述基于所述保留性指标和所述结构性指标，筛选目标关键点，包括：
对于第k个疑似目标点：根据第k个疑似目标点对应的保留性指标和结构性指标，计算第k个疑似目标点的特征指标；
分别判断每个疑似目标点的特征指标是否小于预设阈值，若小于，则判定对应疑似目标点为目标关键点。
优选的，所述根据第k个疑似目标点对应的保留性指标和结构性指标，计算第k个疑似目标点的特征指标，包括：
对第k个疑似目标点对应的保留性指标和结构性指标加权求和，将和值的归一化结果作为第k个疑似目标点的特征指标；其中，保留性指标的权值与结构性指标的权值之和为1，保留性指标的权值小于结构性指标的权值。
优选的，所述基于所述目标关键点的位置确定重点渲染区域，包括：
将目标关键点及其预设邻域内的像素点所在的位置确定为重点渲染区域。
优选的，所述基于所述保留性指标筛选疑似目标点，包括：
分别判断每个关键点的保留性指标是否大于第一保留性阈值且小于第二保留性阈值，若是，则判定对应关键点为疑似目标点；其中，第一保留性阈值小于第二保留性阈值。
本发明至少具有如下有益效果：
本发明首先利用现有的关键点检测算法对煤矿区域的灰度图像的关键点进行了检测，考虑到在关键点检测过程中，可能会将噪声点误判为关键点，进而使得后续真实点的选取存在误差，使得到的真实点不能够有效渲染场景真实感，导致交互体验较差，本发明为了消除误判带来的影响，根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到了每个关键点对应的保留性指标，初步基于保留性指标从所有目标点中筛选出疑似目标点；又根据灰度图像中每个疑似目标点的位置分布，得到了每个疑似目标点对应的结构性指标，进而结合保留性指标和结构性指标筛选出了目标关键点，也即真实点，基于真实点所在位置确定了重点渲染区域，起到了增加VR场景真实性的作用，提升了虚拟现实的煤矿安全模拟交互体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例所提供的基于虚拟现实的煤矿安全模拟交互方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于虚拟现实的煤矿安全模拟交互方法进行详细说明如下。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于虚拟现实的煤矿安全模拟交互方法的具体方案。
基于虚拟现实的煤矿安全模拟交互方法实施例：
本实施例所针对的具体场景为：虚拟现实的煤矿安全模拟交互过程中，需要提取煤矿区域的灰度图像中的关键点，考虑到在采用SIFT算子对煤矿区域的灰度图像进行关键点检测时，会将一些非关键点提取出来，进而影响虚拟现实的煤矿安全模拟交互的真实感，本实施例将首先采用SIFT算子对煤矿区域的灰度图像进行关键点提取，然后再结合提取到的关键点与其周围像素点的分布特征，从中筛选出目标关键点，也即真正的关键点，进而能够提高关键点的提取精度，保证虚拟现实的煤矿安全模拟交互的真实感。
本实施例提出了基于虚拟现实的煤矿安全模拟交互方法，如图1所示，本实施例的基于虚拟现实的煤矿安全模拟交互方法包括以下步骤：
步骤S1，获取煤矿区域的灰度图像及其关键点。
本实施例首先采用现有的帧差法确定煤矿区域的VR关键帧，也即获得了煤矿区域的图像，此时获取到的煤矿区域的图像为RGB图像，对煤矿区域的图像进行灰度化处理，将灰度化处理后的图像记为煤矿区域的灰度图像。图像的灰度化处理为现有技术，此处不再过多赘述。
地下煤矿包括井道（垂直通道）和巷道（水平通道），以便矿工进入和离开工作面。矿井内通常还包括通风系统、排水系统和电力供应系统等基础设施，在这些设施中，为了使得采用VR可以获得更为真实的场景，需要将其具体特征进行归纳。通过分析上述特点，可以确定此类场景最为主要的特征就是结构的规则性，即主要线条之间的组合可以构成一系列较为规整的结构，关键点的位置一般会处于规则的角点处。并且此类角点为较重要的特征区域的像素点，那么处于此类区域的关键点是需要筛选出来的真实点。基于此，目标关键点的获取需要考虑其结构性和保留性，保留性是为了确定关键点的尺度不变性，将二者结合是为了得到较为客观的真实点。
本实施例采用SIFT算子提取煤矿区域的灰度图像中的关键点，SIFT算子为现有技术，此处不再过多赘述。
步骤S2，利用不同高斯尺度的核对所述灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标；基于所述保留性指标筛选疑似目标点。
利用不同高斯尺度的核对煤矿区域的灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；本实施例中高斯尺度分别为0.2、0.4、0.6、0.8、1.0、1.2、1.4、1.6、2.0，在具体应用中，实施者可根据具体情况进行设置。利用不同高斯尺度的核对图像进行滤波处理为现有技术，此处不再过多赘述。
为了避免噪声关键点对于真实关键点的筛选产生影响，需要排除噪声关键点。对比正常关键点，噪声关键点不具备较大程度上的尺度不变性，即通过关键点的获取方式对噪声关键点进行排除，越是具备着更高的尺度不变性，其保留性就越高，因为其越能反映出原图中较为重要的边缘。
本实施例已经获取了煤矿区域的灰度图像中的关键点，关键点在煤矿区域的灰度图像中具备位置信息，定位每个关键点的位置。将每个关键点的位置对应到每个高斯尺度的煤矿图像中，获得每个关键点在每个高斯尺度的煤矿图像中的位置。本实施例将根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标。
具体地，对于第i个关键点：
在任一高斯尺度下的煤矿图像中，以第i个关键点为中心，构建预设大小的窗口，并将构建的窗口作为第i个关键点对应的窗口；本实施例中预设大小为5*5，在具体应用中，实施者可根据具体情况进行设置。计算第i个关键点对应的窗口内所有像素点的平均灰度值；计算第i个关键点在最大高斯滤波尺度的煤矿图像中与在最小高斯滤波尺度的煤矿图像的灰度差异，记为第一差异；计算第i个关键点在每两个相邻高斯滤波尺度的煤矿图像中的灰度差异，记为第二差异；根据所述平均灰度值、所述第一差异和所述第二差异，获得第i个关键点对应的保留性指标。第i个关键点对应的保留性指标的具体计算公式为：
其中，表示第i个关键点对应的保留性指标，表示第i个关键点在最大高
斯滤波尺度的煤矿图像中的灰度值，表示第i个关键点在最小高斯滤波尺度的煤矿图
像中的灰度值，表示高斯滤波尺度的数量，表示第i个关键点在第j个高斯滤波尺度的煤
矿图像中的灰度值，表示第i个关键点在第j+1个高斯滤波尺度的煤矿图像中的灰度
值，表示第i个关键点在第j+1个高斯滤波尺度的煤矿图像中对应的窗口内所有像素点
的平均灰度值，exp( )表示以自然常数为底数的指数函数，表示取绝对值符号，norm( )
表示归一化函数，表示预设调整参数，大于0。
本实施例在保留性指标的计算公式的分母中引入预设调整参数是为了防止分母
为0，本实施例中预设调整参数的值为2，在具体应用中，实施者可根据具体情况进行设置。表示第一差异，一般情况下，经过高斯滤波后像素点会产生变化，高低尺度下
的灰度差异越小，则说明保留度越高。表示第二差异，SIFT算子关键点的获取
是以煤矿区域的灰度图像中特征较为集中的区域为标准，那么对应到煤矿区域的灰度图像
中，此像素点对于特征的贡献是最大的，在不同高斯尺度下，若此点依然能够具备着较高的
特征，即它自身灰度值保持不变，那么就认为此点是边缘的特征点，它能够在不同尺度下依
然保持不变，所以理论上为0。表示第i个关键点在第j个高斯
滤波尺度的煤矿图像中对应的窗口内所有像素点的灰度方差，也即考虑了关键点邻域像素
点的灰度分布特征，灰度方差之和越小，说明在进行不同高斯尺度的核进
行滤波处理后，第i个关键点像素点依然保持原有特征，也即保留性越高。
采用上述方法，能够获得每个关键点对应的保留性指标，保留性指标越接近1，其为噪声概率就会越大；设置第一保留性阈值和第二保留性阈值，其中第一保留性阈值小于第二保留性阈值，分别判断每个关键点的保留性指标是否大于第一保留性阈值且小于第二保留性阈值，若是，则判定对应关键点为疑似目标点。本实施例中第一保留性阈值为0.66，第二保留性阈值为0.8，在具体应用中，实施者可根据具体情况进行设置。
至此，采用本实施例提供的方法从所有关键点中筛选了疑似目标点。
步骤S3，根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标；基于所述保留性指标和所述结构性指标，筛选目标关键点。
本实施例基于保留性指标从所有关键点筛选出了疑似目标点，消除了噪声关键点带来的影响，去除噪声影响后，为了使得该方法更适用于煤矿场景，并且联系到真实性的特征，此处需要考虑到不同疑似目标点的结构性，煤矿区域的灰度图像中主要线条之间的组合可以构成一系列较为规整的结构。本实施例将根据煤矿区域的灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标。
将所有疑似目标点的横坐标的均值作为质心的横坐标，将所有疑似目标点的纵坐标的均值作为质心的纵坐标，基于所述质心的横坐标和所述质心的纵坐标确定质心。
对于第k个疑似目标点：
将第k个疑似目标点的横坐标与质心的横坐标的差值作为横坐标差异，将第k个疑似目标点的纵坐标与质心的纵坐标的差值作为纵坐标差异；将所述横坐标差异和所述纵坐标差异代入方位角函数中，获得第k个疑似目标点对应的质心夹角。将第k个疑似目标点与其邻域内的疑似目标点对应的质心夹角之间的差异和第k个疑似目标点与其邻域内对应疑似目标点之间的欧式距离的比值，作为第k个疑似目标点邻域内对应疑似目标点的第一比值；根据第k个疑似目标点对应的质心夹角、第k个疑似目标点与质心之间的欧式距离、第k个疑似目标点邻域内所有疑似目标点的第一比值，计算第k个疑似目标点对应的结构性指标。第k个疑似目标点对应的质心夹角和结构性指标的具体计算公式分别为：
其中，表示第k个疑似目标点对应的结构性指标，表示第k个疑似目标点
对应的质心夹角，P表示第k个疑似目标点的邻域内疑似目标点的数量，表示第k个疑似
目标点的邻域内第p个疑似目标点的纵坐标，表示第k个疑似目标点的邻域内第p个疑似
目标点的横坐标，atan2( )表示求取方位角函数，表示第k个疑似目标点与质心之间的
欧式距离，表示第k个疑似目标点邻域内所有疑似目标点的第一比值的方差。
理想情况下，质心夹角越接近0，代表疑似目标点之间构成的几何形状越规则，此角度的量化是为了确定出疑似目标点之间的位置关系，当它们的位置关系越规则，得到每个疑似目标点的质心夹角就越接近0，说明其越具有着相应特征。
第k个疑似目标点的邻域内的疑似目标点位置越接近质心，其结构性就越强，那么得分也就越高，第k个疑似目标点对应的结构性指标越小。第k个疑似目标点邻域内所有疑似目标点的第一比值越接近，它们之间的分布是越规律的，因此第k个疑似目标点邻域内所有疑似目标点的第一比值的方差越小，说明第k个疑似目标点邻域内的关键点分布的越规则，结构性越强，第k个疑似目标点对应的结构性指标越小。
采用上述方法，能够获得每个疑似目标点对应的结构性指标，接下来本实施例基于每个疑似目标点对应的保留性指标和结构性指标，筛选目标关键点。
具体地，对于第k个疑似目标点：对第k个疑似目标点对应的保留性指标和结构性指标加权求和，将和值的归一化结果作为第k个疑似目标点的特征指标；其中，保留性指标的权值与结构性指标的权值之和为1，保留性指标的权值小于结构性指标的权值。第k个疑似目标点的特征指标的具体计算公式为：
其中，表示第k个疑似目标点的特征指标，表示第k个疑似目标点对应的
保留性指标，表示第k个疑似目标点对应的结构性指标，表示保留性指标的权值，表示结构性指标的权值，norm( )表示归一化函数。
本实施例中的取值为0.3，因此保留性指标的权值为0.7，目的是放大结构性指标
所占的比重，使得最终筛选出的真实关键点更倾向于结构性，在具体应用中，实施者可根据
具体情况进行设置。
采用本实施例提供的方法能够获得每个疑似目标点的特征指标，特征指标越小，说明对应疑似目标点越可能为真实的关键点，因此本实施例分别判断每个疑似目标点的特征指标是否小于预设阈值，若小于，则判定对应疑似目标点为目标关键点。本实施例中的预设阈值为0.2，在具体应用中，实施者可根据具体情况进行设置。
至此，采用本实施例提供的方法，筛选出了目标关键点，也即真实的关键点。
步骤S4，基于所述目标关键点的位置确定重点渲染区域。
本实施例已经筛选出了目标关键点，接下来将目标关键点及其预设邻域内的像素点所在的位置确定为重点渲染区域。本实施例中此处的预设邻域为以目标关键点为窗口中心，大小为101*101的窗口中除目标关键点外所在位置外的其他所有位置，因此本实施例中对于任一目标关键点，以该目标关键点为窗口中心，大小为101*101的窗口区域即为重点渲染区域。在具体应用中，实施者可根据具体情况设置邻域大小。采用该方法，能够获得所有的重点渲染区域。
本实施例获取重点渲染区域的目的是增加场景的真实感和用户的沉浸式体验感，增加了煤矿安全模拟交互效率，并能够提高以下三方面，1、实时反馈：VR系统可以提供实时反馈，用户可以在虚拟环境中立即看到他们的行动结果。这对于培训和模拟任务的即时纠正非常有用；2、安全性：虚拟环境中的模拟可以在没有真实风险的情况下进行，这对危险的任务和培训尤为重要。用户可以在虚拟环境中犯错误而不会导致实际危险；3、个性化学习：VR系统可以根据用户的行为和需求进行个性化调整，以提供更适合用户的学习体验，这有助于更高效的学习和技能提升。
本实施例首先利用现有的关键点检测算法对煤矿区域的灰度图像的关键点进行了检测，考虑到在关键点检测过程中，可能会将噪声点误判为关键点，进而使得后续真实点的选取存在误差，使得到的真实点不能够有效渲染场景真实感，导致交互体验较差，本实施例为了消除误判带来的影响，根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到了每个关键点对应的保留性指标，初步基于保留性指标从所有目标点中筛选出疑似目标点；又根据灰度图像中每个疑似目标点的位置分布，得到了每个疑似目标点对应的结构性指标，进而结合保留性指标和结构性指标筛选出了目标关键点，也即真实点，基于真实点所在位置确定了重点渲染区域，起到了增加VR场景真实性的作用，提升了虚拟现实的煤矿安全模拟交互体验。
需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于虚拟现实的煤矿安全模拟交互方法，其特征在于，该方法包括以下步骤：
获取煤矿区域的灰度图像及其关键点；
利用不同高斯尺度的核对所述灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标；基于所述保留性指标筛选疑似目标点；
根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标；基于所述保留性指标和所述结构性指标，筛选目标关键点；
基于所述目标关键点的位置确定重点渲染区域；
所述根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标，包括：
对于第i个关键点：
在任一高斯尺度下的煤矿图像中，以第i个关键点为中心，构建第i个关键点对应的窗口，计算第i个关键点对应的窗口内所有像素点的平均灰度值；
计算第i个关键点在最大高斯滤波尺度的煤矿图像中与在最小高斯滤波尺度的煤矿图像的灰度差异，记为第一差异；
计算第i个关键点在每两个相邻高斯滤波尺度的煤矿图像中的灰度差异，记为第二差异；
根据所述平均灰度值、所述第一差异和所述第二差异，获得第i个关键点对应的保留性指标；
采用如下公式计算第i个关键点对应的保留性指标：
其中，表示第i个关键点对应的保留性指标，/>表示第i个关键点在最大高斯滤波尺度的煤矿图像中的灰度值，/>表示第i个关键点在最小高斯滤波尺度的煤矿图像中的灰度值，/>表示高斯滤波尺度的数量，/>表示第i个关键点在第j个高斯滤波尺度的煤矿图像中的灰度值，/>表示第i个关键点在第j+1个高斯滤波尺度的煤矿图像中的灰度值，/>表示第i个关键点在第j+1个高斯滤波尺度的煤矿图像中对应的窗口内所有像素点的平均灰度值，exp( )表示以自然常数为底数的指数函数，/>表示取绝对值符号，norm( )表示归一化函数，/>表示预设调整参数，/>大于0；
所述根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标，包括：
将所有疑似目标点的横坐标的均值作为质心的横坐标，将所有疑似目标点的纵坐标的均值作为质心的纵坐标，基于所述质心的横坐标和所述质心的纵坐标确定质心；
根据每个疑似目标点与质心的坐标之间的差异，获得每个疑似目标点对应的质心夹角；
对于第k个疑似目标点：
将第k个疑似目标点与其邻域内的疑似目标点对应的质心夹角之间的差异和第k个疑似目标点与其邻域内对应疑似目标点之间的欧式距离的比值，作为第k个疑似目标点邻域内对应疑似目标点的第一比值；
根据第k个疑似目标点对应的质心夹角、第k个疑似目标点与质心之间的欧式距离、第k个疑似目标点邻域内所有疑似目标点的第一比值，计算第k个疑似目标点对应的结构性指标；
根据每个疑似目标点与质心的坐标之间的差异，获得每个疑似目标点对应的质心夹角，包括：
对于第k个疑似目标点：
将第k个疑似目标点的横坐标与质心的横坐标的差值作为横坐标差异，将第k个疑似目标点的纵坐标与质心的纵坐标的差值作为纵坐标差异；将所述横坐标差异和所述纵坐标差异代入方位角函数中，获得第k个疑似目标点对应的质心夹角；
采用如下公式计算第k个疑似目标点对应的结构性指标：
其中，表示第k个疑似目标点对应的结构性指标，/>表示第k个疑似目标点对应的质心夹角，/>表示第k个疑似目标点与质心之间的欧式距离，/>表示第k个疑似目标点邻域内所有疑似目标点的第一比值的方差。
2.根据权利要求1所述的基于虚拟现实的煤矿安全模拟交互方法，其特征在于，所述基于所述保留性指标和所述结构性指标，筛选目标关键点，包括：
对于第k个疑似目标点：根据第k个疑似目标点对应的保留性指标和结构性指标，计算第k个疑似目标点的特征指标；
分别判断每个疑似目标点的特征指标是否小于预设阈值，若小于，则判定对应疑似目标点为目标关键点。
3.根据权利要求2所述的基于虚拟现实的煤矿安全模拟交互方法，其特征在于，所述根据第k个疑似目标点对应的保留性指标和结构性指标，计算第k个疑似目标点的特征指标，包括：
对第k个疑似目标点对应的保留性指标和结构性指标加权求和，将和值的归一化结果作为第k个疑似目标点的特征指标；其中，保留性指标的权值与结构性指标的权值之和为1，保留性指标的权值小于结构性指标的权值。
4.根据权利要求1所述的基于虚拟现实的煤矿安全模拟交互方法，其特征在于，所述基于所述目标关键点的位置确定重点渲染区域，包括：
将目标关键点及其预设邻域内的像素点所在的位置确定为重点渲染区域。
5.根据权利要求1所述的基于虚拟现实的煤矿安全模拟交互方法，其特征在于，所述基于所述保留性指标筛选疑似目标点，包括：
分别判断每个关键点的保留性指标是否大于第一保留性阈值且小于第二保留性阈值，若是，则判定对应关键点为疑似目标点；其中，第一保留性阈值小于第二保留性阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311533355.2A CN117251087B (zh) | 2023-11-17 | 2023-11-17 | 基于虚拟现实的煤矿安全模拟交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311533355.2A CN117251087B (zh) | 2023-11-17 | 2023-11-17 | 基于虚拟现实的煤矿安全模拟交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117251087A CN117251087A (zh) | 2023-12-19 |
| CN117251087B true CN117251087B (zh) | 2024-02-09 |
Family
ID=89126824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311533355.2A Active CN117251087B (zh) | 2023-11-17 | 2023-11-17 | 基于虚拟现实的煤矿安全模拟交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117251087B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455800B (zh) * | 2023-12-22 | 2024-03-15 | 肥城新查庄地质勘查有限公司 | 基于计算机视觉的煤矿钻探定位方法 |
| CN118212381A (zh) * | 2024-03-12 | 2024-06-18 | 中工科创文化传媒(北京)有限公司 | 基于虚拟现实技术的技能培训教学虚拟仿真展示方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101482969A (zh) * | 2009-01-16 | 2009-07-15 | 西安电子科技大学 | 基于同质点计算的sar图像去斑方法 |
| CN102682432A (zh) * | 2012-05-11 | 2012-09-19 | 中国科学院半导体研究所 | 基于三高斯滤波的低质指纹灰度图像增强方法 |
| CN104915929A (zh) * | 2014-03-14 | 2015-09-16 | 电子科技大学 | 一种图像滤波处理方法 |
| KR101752742B1 (ko) * | 2015-12-29 | 2017-06-30 | 서울대학교산학협력단 | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 |
| CN109523527A (zh) * | 2018-11-12 | 2019-03-26 | 北京地平线机器人技术研发有限公司 | 图像中脏污区域的检测方法、装置和电子设备 |
| CN115641337A (zh) * | 2022-12-23 | 2023-01-24 | 中科慧远视觉技术(北京)有限公司 | 一种线状缺陷检测方法、装置、介质、设备及系统 |
| CN115841624A (zh) * | 2023-02-23 | 2023-03-24 | 山东洲蓝环保科技有限公司 | 基于红外图像的高炉煤气流分布识别方法 |
| CN116993724A (zh) * | 2023-09-26 | 2023-11-03 | 卡松科技股份有限公司 | 一种基于图像滤波的煤矿工业齿轮油视觉检测方法 |
| CN117011560A (zh) * | 2023-07-31 | 2023-11-07 | 中国矿业大学 | 基于阈值和权重Census变换的煤矿井下图像立体匹配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8233716B2 (en) * | 2008-06-27 | 2012-07-31 | Palo Alto Research Center Incorporated | System and method for finding stable keypoints in a picture image using localized scale space properties |
-
2023
- 2023-11-17 CN CN202311533355.2A patent/CN117251087B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101482969A (zh) * | 2009-01-16 | 2009-07-15 | 西安电子科技大学 | 基于同质点计算的sar图像去斑方法 |
| CN102682432A (zh) * | 2012-05-11 | 2012-09-19 | 中国科学院半导体研究所 | 基于三高斯滤波的低质指纹灰度图像增强方法 |
| CN104915929A (zh) * | 2014-03-14 | 2015-09-16 | 电子科技大学 | 一种图像滤波处理方法 |
| KR101752742B1 (ko) * | 2015-12-29 | 2017-06-30 | 서울대학교산학협력단 | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 |
| CN109523527A (zh) * | 2018-11-12 | 2019-03-26 | 北京地平线机器人技术研发有限公司 | 图像中脏污区域的检测方法、装置和电子设备 |
| CN115641337A (zh) * | 2022-12-23 | 2023-01-24 | 中科慧远视觉技术(北京)有限公司 | 一种线状缺陷检测方法、装置、介质、设备及系统 |
| CN115841624A (zh) * | 2023-02-23 | 2023-03-24 | 山东洲蓝环保科技有限公司 | 基于红外图像的高炉煤气流分布识别方法 |
| CN117011560A (zh) * | 2023-07-31 | 2023-11-07 | 中国矿业大学 | 基于阈值和权重Census变换的煤矿井下图像立体匹配方法 |
| CN116993724A (zh) * | 2023-09-26 | 2023-11-03 | 卡松科技股份有限公司 | 一种基于图像滤波的煤矿工业齿轮油视觉检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Fast Image Sensor System with an Efficient Multi-Scale Gaussian Filtering Circuit;Yamaji Yuki等;《 人工生命とロボットに関する国際会議予稿集》;第513-518页 * |
| 一种基于相似度与改进高斯函数的滤波新方法;冯茜茜;《哈尔滨商业大学学报(自然科学版)》;第37-43页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117251087A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117251087B (zh) | 基于虚拟现实的煤矿安全模拟交互方法 | |
| CN109948566B (zh) | 一种基于权重融合与特征选择的双流人脸反欺诈检测方法 | |
| CN104851112B (zh) | 一种基于数据集补偿的运动目标检测跟踪算法的评估方法 | |
| CN107451999A (zh) | 基于图像识别的异物检测方法和装置 | |
| CN109448326B (zh) | 一种基于快速图像识别的地质灾害智能群防监测系统 | |
| CN105518709A (zh) | 用于识别人脸的方法、系统和计算机程序产品 | |
| CN111401246B (zh) | 一种烟雾浓度检测方法、装置、设备及存储介质 | |
| CN108664939A (zh) | 一种基于hog特征与深度学习的遥感图像飞机识别方法 | |
| CN106600613B (zh) | 基于嵌入式gpu的改进lbp红外目标检测方法 | |
| CN110197185B (zh) | 一种基于尺度不变特征变换算法监测桥下空间的方法和系统 | |
| CN111798404B (zh) | 基于深度神经网络的虹膜图像质量评估方法及评估系统 | |
| CN107729794A (zh) | 火焰检测方法、火焰检测装置和电子设备 | |
| CN107610321A (zh) | 一种鉴别纸币真伪方法、装置、设备及存储介质 | |
| CN112541404A (zh) | 一种面向交通信息感知的物理攻击对抗样本生成方法 | |
| CN104851102B (zh) | 一种基于人类视觉系统的红外小目标检测方法 | |
| CN117789090A (zh) | 一种高空安全带检测方法、系统、设备和介质 | |
| CN110766001B (zh) | 基于cnn和rnn的银行卡卡号定位与端到端识别方法 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN108197540A (zh) | 一种基于surf的火灾图像特征提取与识别方法 | |
| CN110909819A (zh) | 基于时域的电磁信息泄漏检测方法、终端设备及存储介质 | |
| CN115424249A (zh) | 一种复杂背景下空中弱小目标自适应检测方法 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
| CN114612994A (zh) | 训练皱纹检测模型的方法、装置及检测皱纹的方法、装置 | |
| CN112800941A (zh) | 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统 | |
| CN112883889A (zh) | 一种适用于电力施工场景下违章行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |