CN116416417B - 基于增强现实的卫生间隐藏式排水结构辅助检修系统 - Google Patents
基于增强现实的卫生间隐藏式排水结构辅助检修系统 Download PDFInfo
- Publication number
- CN116416417B CN116416417B CN202310681894.4A CN202310681894A CN116416417B CN 116416417 B CN116416417 B CN 116416417B CN 202310681894 A CN202310681894 A CN 202310681894A CN 116416417 B CN116416417 B CN 116416417B
- Authority
- CN
- China
- Prior art keywords
- dimension
- sequence
- topological
- region
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 21
- 230000001427 coherent effect Effects 0.000 claims abstract description 47
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 32
- 238000012423 maintenance Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 7
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000007418 data mining Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Abstract
本发明涉及图像处理技术领域,具体涉及基于增强现实的卫生间隐藏式排水结构辅助检修系统,包括:获取规范目标区域和若干个块区域上的关键点;根据规范目标区域和每个块区域的理想拓扑序列的余弦相似度获得候选区域,获得规范目标区域和每个候选区域的拓扑同调条形图,获得规范目标区域的拓扑同调条形图中每个关键点的所属维度序列和维度贡献变化序列,获取每个维度的相似度权值;计算每个候选区域与规范目标区域的相似度,获得实际图像上的目标区域,通过机器学习对目标区域检修。本发明通过拓扑结构减小了计算量和光照等环境因素对匹配结果的影响,提高了相似度计算精度,得到准确的检修区域,提高了机器学习的效率和准确性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及基于增强现实的卫生间隐藏式排水结构辅助检修系统。
背景技术
基于增强现实的卫生间隐藏式排水结构辅助检修系统是通过机器学习对实际环境的图像和三维模型进行匹配,机器学习具体是指基于度量学习的卷积神经网络模型,可以快速且高效地找到实际环境中与三维模型对应的部分,并呈现给用户,进而确定实际环境中需要检修的部分,用户能够更加准确且快速地找到问题的根源并进行相应的检修操作。
但是实际环境中的需要检修区域往往较小,和三维模型进行匹配时的计算量较大,且用户拍摄图片与模型构建时采用的图片的光照情况不同,导致存在匹配误差,最终导致通过机器学习对实际环境的图像和三维模型进行匹配时,计算量大且匹配结果不准确。基于此,本发明提出了一种基于增强现实的卫生间隐藏式排水结构辅助检修系统,通过数据挖掘相关操作,对实际环境的实际图像和三维模型的系统图像进行定位匹配、规则抽取和相关性度量,通过粗匹配,筛除大量的非匹配区域,对于候选区域进行精确定位匹配,进而得到需要检修的目标区域,通过机器学习对目标区域进行检修。
发明内容
本发明提供基于增强现实的卫生间隐藏式排水结构辅助检修系统,以解决现有的问题。
本发明的基于增强现实的卫生间隐藏式排水结构辅助检修系统采用如下技术方案:
本发明提供了基于增强现实的卫生间隐藏式排水结构辅助检修系统,所述系统包括:
数据获取模块,获取系统图像上的规范目标区域和实际图像上的若干个块区域,获得规范目标区域和每个块区域上的关键点;
候选区域获取模块,获得规范目标区域和每个块区域的理想拓扑序列,计算每个块区域与规范目标区域的理想拓扑序列的余弦相似度,将余弦相似度大于阈值的块区域作为候选区域;
相似度权值获取模块,根据半径范围分别获得规范目标区域和每个候选区域的拓扑同调条形图,每个拓扑同调条形图包括每种半径下每个关键点的所属维度以及每个维度下的若干个条形;
根据规范目标区域的拓扑同调条形图中每种半径下每个关键点的所属维度,获得每个关键点的所属维度序列;根据所属维度序列获得每个关键点的维度贡献变化序列;根据维度贡献变化序列获得每个关键点在每个维度的权值,根据每个关键点在每个维度的权值和每个维度下的所有条形的长度,获取每个维度的相似度权值;
相似度获取模块,获得规范目标区域和每个候选区域的每个维度的长度序列;根据每个维度的相似度权值,对规范目标区域和每个候选区域的所有维度的长度序列的相似性加权求和,获得每个候选区域与规范目标区域的相似度;
目标区域获取检修模块,将与规范目标区域的相似度最大的候选区域作为实际图像上的目标区域,通过机器学习对目标区域进行检修。
进一步地,所述获得每个关键点的所属维度序列;根据所属维度序列获得每个关键点的维度贡献变化序列,包括的具体步骤如下:
将每种半径下每个关键点的所属维度按照半径从小到大的顺序组成的序列,记为每个关键点的所属维度序列,表征半径扩大过程中每个关键点的所属维度的变化情况;将每个关键点的所属维度序列中,连续相同的所属维度的数量与所属维度序列的长度的比值组成的序列,记为每个关键点的维度贡献变化序列。
进一步地,所述获取每个维度的相似度权值,包括的具体步骤如下:
将每个关键点在维度贡献变化序列中的每个贡献值作为每个关键点在每个维度的权值;将任意一个维度记为目标维度,将目标维度中的所有条形的长度进行线性归一化,将归一化后的结果作为每个条形的整体权值;将目标维度中的任意一个条形记为目标条形,将组成目标条形的所有关键点在目标维度的权值的和,与目标条形的整体权值的乘积作为目标条形的初始权值;将目标维度中的所有条形的初始权值进行线性归一化,将归一化后的结果作为目标维度中每个条形的权值;将目标维度中所有条形的权值之和作为目标维度的权值,将所有维度的权值进行线性归一化,将归一化后的结果作为每个维度的相似度权值。
进一步地,所述获得规范目标区域和每个候选区域的每个维度的长度序列,包括的具体步骤如下:
将规范目标区域的拓扑同调条形图中每个维度下所有条形的长度按照顺序组成的序列记为规范目标区域的每个维度的长度序列;将每个候选区域的拓扑同调条形图中每个维度下所有条形的长度按照顺序组成的序列记为每个候选区域的每个维度的长度序列。
进一步地,所述获得每个候选区域与规范目标区域的相似度,包括的具体步骤如下:
每个候选区域与规范目标区域的相似度的计算公式为:
,
式中,表示第i个维度的相似度权值,/>表示第j个候选区域的第i个维度的长度序列的长度,/>表示规范目标区域的第i个维度的长度序列的长度,/>表示第j个候选区域的第i个维度的长度序列和规范目标区域的第i个维度的长度序列的余弦相似度。
进一步地,所述余弦相似度的获取方法如下:
对于第j个候选区域的第i个维度的长度序列和规范目标区域的第i个维度的长度序列,将两个长度序列中长度较长的长度序列的长度记为L,通过最邻近插值法将两个长度序列中长度较短的长度序列转换为长度等于L的序列,计算转换后的序列与两个长度序列中长度较短的长度序列的余弦相似度。
进一步地,所述获得规范目标区域和每个块区域的理想拓扑序列,包括的具体步骤如下:
将规范目标区域中的若干个关键点作为节点,将节点之间的距离作为边权值,通过Delaunay三角剖分方法构建所有关键点的三角网结构,记为图结构;将图结构转化为线图,通过Brandes算法计算线图中每个节点的介数中心性,将最大的介数中心性对应的节点作为初始节点;通过Dijkstra算法计算从初始节点遍历所有节点的最短路径,得到节点序列;获得节点序列中所有相邻的两个节点在图结构中的边组成的序列,记为边序列;计算边序列中相邻的两个边之间的夹角,获得边序列中所有相邻的两个边的夹角组成的序列,记为夹角序列;将夹角序列作为规范目标区域的关键点的拓扑表示,记为规范目标区域的理想拓扑序列;
同理,获得每个块区域的理想拓扑序列。
进一步地,所述根据半径范围分别获得规范目标区域和每个候选区域的拓扑同调条形图,包括的具体步骤如下:
获得规范目标区域的拓扑同调条形图,包括:获取规范目标区域中每两个节点的距离,将距离的最小值和最大值组成的范围记为半径范围,将半径范围内的所有整数作为半径;将规范目标区域作为拓扑空间,建立拓扑结构,获得每种半径下的同调群信息,包括每种半径下每个关键点的所属维度,以及每种维度下的拓扑特征:将同调群信息以条形图的方式呈现,横轴为半径,纵轴为不同维度下的拓扑特征,每个条形代表同调群在该维度上的贡献;
同理,获得每个候选区域的拓扑同调条形图。
进一步地,所述获取系统图像上的规范目标区域和实际图像上的若干个块区域,包括的具体步骤如下:
获取系统图像和实际图像,人为标注获得系统图像的目标区域,获得系统图像的目标区域的最小外接矩形,将最小外接矩形对应的区域记为规范目标区域;根据最小外接矩形的大小对实际图片进行分块,得到若干个块区域。
本发明的技术方案的有益效果是:本发明通过对三维模型上需要检修的规范目标区域的拓扑结构,以及实际图像中块区域的拓扑结构进行计算,对规范目标区域和所有块区域进行粗匹配,获得与规范目标区域相似的候选区域,大大减小了通过机器学习对实际环境的图像和三维模型进行匹配时的计算量,同时通过拓扑结构的粗匹配计算,减小了光照等环境因素对匹配结果的影响,避免了通过机器学习对实际环境的图像和三维模型进行匹配时的匹配结果不准确的问题;根据规范目标区域和每个候选区域的拓扑同调条形图,获得每个关键点在每个维度的权值,根据每个关键点在每个维度的权值和每个维度下的所有条形的长度,获取每个维度的相似度权值;根据每个维度的相似度权值,对规范目标区域和每个候选区域的所有维度的长度序列的相似性加权求和,获得每个候选区域与规范目标区域的相似度;进而获得实际图像的目标区域,实现精准匹配,通过计算不同维度的相似度权值,避免了原始的拓扑同调条形图计算相似度时,不同维度的数据之间信息的重叠情况,大大提高了相似度计算精度,得到实际图像上更加精确的检修区域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于增强现实的卫生间隐藏式排水结构辅助检修系统的系统框图;
图2为规范目标区域的拓扑同调条形图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于增强现实的卫生间隐藏式排水结构辅助检修系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于增强现实的卫生间隐藏式排水结构辅助检修系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于增强现实的卫生间隐藏式排水结构辅助检修系统,该系统包括以下模块:
数据获取模块S101,用于获取系统图像上的规范目标区域和实际图像上的若干个块区域,获得规范目标区域和每个块区域上的所有关键点。
需要说明的是,基于增强现实的卫生间隐藏式排水结构辅助检修系统是通过机器学习对实际环境的图像和三维模型进行匹配,机器学习具体是指基于度量学习的卷积神经网络模型,可以快速且高效地找到实际环境中与三维模型对应的部分,并呈现给用户,进而确定实际环境中需要检修的部分,用户能够更加准确且快速地找到问题的根源并进行相应的检修操作。但是实际环境中的需要检修区域往往较小,和三维模型进行匹配时的计算量较大,且用户拍摄图片与模型构建时采用的图片的光照情况不同,导致存在匹配误差,最终导致通过机器学习对实际环境的图像和三维模型进行匹配时,计算量大且匹配结果不准确。基于此,本发明通过数据挖掘相关操作,对实际环境的实际图像和三维模型的系统图像进行定位匹配、规则抽取和相关性度量,通过粗匹配,筛除大量的非匹配区域,对于候选区域进行精确定位匹配,进而得到需要检修的目标区域,通过机器学习对目标区域进行检修。
具体的,获取卫生间施工时排水结构的三维模型,将三维模型的俯视图记为系统图像,人为标记系统图像上需要进行检修的区域,记为系统图像的目标区域,通过旋转卡壳算法获得系统图像的目标区域的最小外接矩形,将最小外接矩形对应的区域记为规范目标区域;对于施工完成的卫生间,通过摄像机以俯视视角拍摄卫生间排水结构的图像,记为实际图像,根据最小外接矩形的大小对实际图片进行分块,得到若干个块区域。
进一步,通过Sift角点检测算法,分别获得规范目标区域和若干个块区域中的关键点。
旋转卡壳算法、Sift角点检测算法均为现有技术,在此不再进行赘述。
候选区域获取模块S102,用于获取规范目标区域和每个块区域的理想拓扑序列,根据获取规范目标区域和每个块区域的理想拓扑序列的余弦相似度,获得候选区域。
需要说明的是,通过系统图像和实际图像之间的匹配,基于增强现实的卫生间隐藏式排水结构辅助检修系统可以快速高效地找到实际环境中与设计对应的部分,并将其呈现在用户的视野中。这样,用户就能够更加准确地找到问题的根源并进行相应的操作。但是三维模型计算量较大,而检修区域在用户拍摄图片中往往只是一个小区域,同时三维模型是通过当初拍摄的图像构建得到的,与用户实际拍摄图像的光照情况不同,导致存在匹配误差,而拓扑结构受光照变化影响较小。因此首先通过局部的拓扑结构的匹配得到候选区域,即可能存在检修区域的区域。
具体的,获得规范目标区域的理想拓扑序列,包括:将规范目标区域中的若干个关键点作为节点,将节点之间的距离作为边权值,通过Delaunay三角剖分方法构建所有关键点的三角网结构,记为图结构;将图结构转化为线图,通过Brandes算法计算线图中每个节点的介数中心性,将最大的介数中心性对应的节点作为初始节点;通过Dijkstra算法计算从初始节点遍历所有节点的最短路径,得到节点序列;获得节点序列中所有相邻的两个节点在图结构中的边组成的序列,记为边序列;计算边序列中相邻的两个边之间的夹角,获得边序列中所有相邻的两个边的夹角组成的序列,记为夹角序列;将夹角序列作为规范目标区域的关键点的拓扑表示,记为规范目标区域的理想拓扑序列。
同理,获得每个块区域的理想拓扑序列。
Delaunay三角剖分方法、Brandes算法和Dijkstra算法均为现有技术,在此不再进行赘述。
进一步,计算每个块区域与规范目标区域的理想拓扑序列的余弦相似度,将余弦相似度大于阈值的块区域作为候选区域。
相似度权值获取模块S103,用于获得规范目标区域和每个候选区域的拓扑同调条形图,获得规范目标区域的拓扑同调条形图中每个关键点的所属维度序列和维度贡献变化序列,获取每个维度的相似度权值。
需要说明的是,拓扑同调条形图是一种用于描述拓扑空间的工具,它将一个拓扑空间的同调群信息可视化为一张条形图,可以用来比较不同空间之间的差异。在拓扑同调条形图中,每个条形表示了一个拓扑空间的一个维度上的某个拓扑特征。由于拓扑结构是递归的,高维中的某些特征可能包含了低维中的一些特征。例如:对于一个二维平面上的环形区域,其在零维上的拓扑特征是连接性,一维上的拓扑特征是回路,而在二维上的拓扑特征是孔洞。因此,拓扑同调条形图中的二维条形中包含了一维和零维的部分拓扑特征。
进一步需要说明的是,传统方法计算拓扑同调条形图的相似度时,直接根据条形的相似度来计算,但不同维度下的特征存在子集关系,因此直接根据条形的相似度计算存在较大误差。基于此,本专利通过计算不同维度下特征之间的子集包含关系,得到每个条的相似度权重,进而对任意两个拓扑同调条形图进行相似度的计算。
1.获得规范目标区域和每个候选区域的拓扑同调条形图。
具体的,获得规范目标区域的拓扑同调条形图,包括:获取规范目标区域中每两个节点的距离,将距离的最小值和最大值组成的范围记为半径范围,将半径范围内的所有整数作为半径;将规范目标区域作为拓扑空间,建立拓扑结构,获得每种半径下的同调群信息,包括每种半径下每个关键点的所属维度,以及每种维度下的拓扑特征:将同调群信息以条形图的方式呈现,横轴为半径,纵轴为不同维度下的拓扑特征,每个条形代表同调群在该维度上的贡献。
需要说明的是,在实际操作中,有许多软件可以帮助生成拓扑同调条形图,比如R语言中的TDA包、Java程序中的Javaplex等。这些软件提供了方便的接口和图形界面,简化了计算和可视化过程,使得拓扑同调条形图的生成更加容易。
同理,获得每个候选区域的拓扑同调条形图。
例如,请参阅图2,其示出了规范目标区域的拓扑同调条形图,其中,图2中的横坐标表示半径,纵坐标表示不同维度下的拓扑特征,每个条形的长度表示每个拓扑特征的贡献。
2.获得规范目标区域的拓扑同调条形图中每个关键点的所属维度序列和维度贡献变化序列。
需要说明的是,对于拓扑结构中的每个关键点,该关键点在半径扩大过程中,升维速度越快,该关键点之前维度在两个拓扑同调条形图的计算过程中,对应条形的相似度权重越小。
具体的,对于规范目标区域的拓扑同调条形图中的所有关键点,将每种半径下每个关键点的所属维度按照半径从小到大的顺序组成的序列,记为每个关键点的所属维度序列,表征半径扩大过程中每个关键点的所属维度的变化情况;将每个关键点的所属维度序列中,连续相同的所属维度的数量与所属维度序列的长度的比值组成的序列,记为每个关键点的维度贡献变化序列,每个关键点的维度贡献变化序列包括每个关键点在每个维度的贡献值。
例如:关键点A在半径扩大过程中的所属维度序列为,连续相同的所属维度的数量分别为3、3、1,则对应的维度变化序列为:/>,第一个元素/>表示关键点A在H0维度中的贡献值,第二个元素/>表示关键点A在H1维度中的贡献值,第三个元素/>表示关键点A在H2维度中的贡献值。
3.获取每个维度的相似度权值。
需要说明的是,在H0中,属于同一个条形的关键点意味着它们在空间中属于同一个连通分量,即它们可以通过路径相连;在H1中,两个点之间需要沿着环上的路径循环,因此,尽管这些点是连通的,但如果它们所在的连通分量内没有闭合的轨迹,则它们不会属于同一个条形,因此,在H1中属于同一个条形的关键点意味着它们围成的面积是相等的,即这些构建点围成的环具有相同的拓扑结构;然而,在H2中,这些关键点所围成的区域需要满足一定条件,即其边界为闭合环,并且该区域本身没有被其他区域包含,如果这些点所围成的区域不满足这些条件,则它们不会属于同一个条形。综上,H0中属于同一个条形的点在H1中不一定属于同一个条形,而H1中属于同一个条形的点在H2中也不一定属于同一个条形。
进一步需要说明的是,H0中关键点A所在条形的长度越短,说明关键点A的维度上升速度越快,在升维过程中,H1维度表示的是不同关键点的集合,H2维度是连通区域;每个连通区域是由若干个关键点构成的,因此构成每个连通区域的关键点的性质决定了该连通区域的性质。每个条形的长度表示关键点形成的拓扑特征的贡献值,每个关键点的升维速度不同,因此通过整体角度和个体角度来计算得到每个条形的权重。
具体的,对于规范目标区域的拓扑同调条形图中的所有关键点,将每个关键点在维度贡献变化序列中的每个贡献值作为每个关键点在每个维度的权值;将任意一个维度记为目标维度,将目标维度中的所有条形的长度进行线性归一化,将归一化后的结果作为每个条形的整体权值;将目标维度中的任意一个条形记为目标条形,将组成目标条形的所有关键点在目标维度的权值的和,与目标条形的整体权值的乘积作为目标条形的初始权值;将目标维度中的所有条形的初始权值进行线性归一化,将归一化后的结果作为目标维度中每个条形的权值;将目标维度中所有条形的权值之和作为目标维度的权值,将所有维度的权值进行线性归一化,将归一化后的结果作为每个维度的相似度权值。
相似度获取模块S104,用于计算每个候选区域与规范目标区域的相似度。
具体的,将规范目标区域的拓扑同调条形图中每个维度下所有条形的长度按照顺序组成的序列记为规范目标区域的每个维度的长度序列;将每个候选区域的拓扑同调条形图中每个维度下所有条形的长度按照顺序组成的序列记为每个候选区域的每个维度的长度序列。
进一步,计算每个候选区域与规范目标区域的相似度,具体计算公式为:
,
式中,表示第i个维度的相似度权值,/>表示第j个候选区域的第i个维度的长度序列的长度,/>表示规范目标区域的第i个维度的长度序列的长度,/>表示第j个候选区域的第i个维度的长度序列和规范目标区域的第i个维度的长度序列的余弦相似度。
第j个候选区域的第i个维度的长度序列和规范目标区域的第i个维度的长度序列的余弦相似度的获取方法为:将两个长度序列中长度较长的长度序列的长度记为L,通过最邻近插值法将两个长度序列中长度较短的长度序列转换为长度等于L的序列,计算转换后的序列与两个长度序列中长度较短的长度序列的余弦相似度。
目标区域获取检修模块S105,用于获得实际图像上的目标区域,通过机器学习对目标区域进行检修。
将与规范目标区域的相似度最大的候选区域作为实际图像上的目标区域。
对于实际图像上的目标区域,通过机器学习对目标区域和三维模型进行匹配,获得检修区域,进而实现对实际环境的检修。
需要说明的是,本实施例采用的机器学习模型为基于度量学习的卷积神经网络模型,基于度量学习的卷积神经网络模型是现有技术,此处不再进行赘述。
本发明的系统包括数据获取模块、候选区域获取模块、相似度权值获取模块、相似度获取模块和目标区域获取检修模块。本发明通过对三维模型上需要检修的规范目标区域的拓扑结构,以及实际图像中块区域的拓扑结构进行计算,对规范目标区域和所有块区域进行粗匹配,获得与规范目标区域相似的候选区域,大大减小了通过机器学习对实际环境的图像和三维模型进行匹配时的计算量,同时通过拓扑结构的粗匹配计算,减小了光照等环境因素对匹配结果的影响,避免了通过机器学习对实际环境的图像和三维模型进行匹配时的匹配结果不准确的问题;根据规范目标区域和每个候选区域的拓扑同调条形图,获得每个关键点在每个维度的权值,根据每个关键点在每个维度的权值和每个维度下的所有条形的长度,获取每个维度的相似度权值;根据每个维度的相似度权值,对规范目标区域和每个候选区域的所有维度的长度序列的相似性加权求和,获得每个候选区域与规范目标区域的相似度;进而获得实际图像的目标区域,实现精准匹配,通过计算不同维度的相似度权值,避免了原始的拓扑同调条形图计算相似度时,不同维度的数据之间信息的重叠情况,大大提高了相似度计算精度,得到实际图像上更加精确的检修区域。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.基于增强现实的卫生间隐藏式排水结构辅助检修系统,其特征在于,所述系统包括:
数据获取模块,获取系统图像上的规范目标区域和实际图像上的若干个块区域,获得规范目标区域和每个块区域上的关键点;
候选区域获取模块,获得规范目标区域和每个块区域的理想拓扑序列,计算每个块区域与规范目标区域的理想拓扑序列的余弦相似度,将余弦相似度大于阈值的块区域作为候选区域;
相似度权值获取模块,根据半径范围分别获得规范目标区域和每个候选区域的拓扑同调条形图,每个拓扑同调条形图包括每种半径下每个关键点的所属维度以及每个维度下的若干个条形;
根据规范目标区域的拓扑同调条形图中每种半径下每个关键点的所属维度,获得每个关键点的所属维度序列;根据所属维度序列获得每个关键点的维度贡献变化序列;根据维度贡献变化序列获得每个关键点在每个维度的权值,根据每个关键点在每个维度的权值和每个维度下的所有条形的长度,获取每个维度的相似度权值;
相似度获取模块,获得规范目标区域和每个候选区域的每个维度的长度序列;根据每个维度的相似度权值,对规范目标区域和每个候选区域的所有维度的长度序列的相似性加权求和,获得每个候选区域与规范目标区域的相似度;
目标区域获取检修模块,将与规范目标区域的相似度最大的候选区域作为实际图像上的目标区域,通过机器学习对目标区域进行检修;
所述获得每个关键点的所属维度序列;根据所属维度序列获得每个关键点的维度贡献变化序列,包括的具体步骤如下:
将每种半径下每个关键点的所属维度按照半径从小到大的顺序组成的序列,记为每个关键点的所属维度序列,表征半径扩大过程中每个关键点的所属维度的变化情况;将每个关键点的所属维度序列中,连续相同的所属维度的数量与所属维度序列的长度的比值组成的序列,记为每个关键点的维度贡献变化序列;
所述获取每个维度的相似度权值,包括的具体步骤如下:
将每个关键点在维度贡献变化序列中的每个贡献值作为每个关键点在每个维度的权值;将任意一个维度记为目标维度,将目标维度中的所有条形的长度进行线性归一化,将归一化后的结果作为每个条形的整体权值;将目标维度中的任意一个条形记为目标条形,将组成目标条形的所有关键点在目标维度的权值的和,与目标条形的整体权值的乘积作为目标条形的初始权值;将目标维度中的所有条形的初始权值进行线性归一化,将归一化后的结果作为目标维度中每个条形的权值;将目标维度中所有条形的权值之和作为目标维度的权值,将所有维度的权值进行线性归一化,将归一化后的结果作为每个维度的相似度权值;
所述根据半径范围分别获得规范目标区域和每个候选区域的拓扑同调条形图,包括的具体步骤如下:
获得规范目标区域的拓扑同调条形图,包括:获取规范目标区域中每两个节点的距离,将距离的最小值和最大值组成的范围记为半径范围,将半径范围内的所有整数作为半径;将规范目标区域作为拓扑空间,建立拓扑结构,获得每种半径下的同调群信息,包括每种半径下每个关键点的所属维度,以及每种维度下的拓扑特征:将同调群信息以条形图的方式呈现,横轴为半径,纵轴为不同维度下的拓扑特征,每个条形代表同调群在该维度上的贡献;
同理,获得每个候选区域的拓扑同调条形图。
2.根据权利要求1所述的基于增强现实的卫生间隐藏式排水结构辅助检修系统,其特征在于,所述获得规范目标区域和每个候选区域的每个维度的长度序列,包括的具体步骤如下:
将规范目标区域的拓扑同调条形图中每个维度下所有条形的长度按照顺序组成的序列记为规范目标区域的每个维度的长度序列;将每个候选区域的拓扑同调条形图中每个维度下所有条形的长度按照顺序组成的序列记为每个候选区域的每个维度的长度序列。
3.根据权利要求1所述的基于增强现实的卫生间隐藏式排水结构辅助检修系统,其特征在于,所述获得每个候选区域与规范目标区域的相似度,包括的具体步骤如下:
每个候选区域与规范目标区域的相似度的计算公式为:
,
式中,表示第i个维度的相似度权值,/>表示第j个候选区域的第i个维度的长度序列的长度,/>表示规范目标区域的第i个维度的长度序列的长度,/>表示第j个候选区域的第i个维度的长度序列和规范目标区域的第i个维度的长度序列的余弦相似度。
4.根据权利要求3所述的基于增强现实的卫生间隐藏式排水结构辅助检修系统,其特征在于,所述余弦相似度的获取方法如下:
对于第j个候选区域的第i个维度的长度序列和规范目标区域的第i个维度的长度序列,将两个长度序列中长度较长的长度序列的长度记为L,通过最邻近插值法将两个长度序列中长度较短的长度序列转换为长度等于L的序列,计算转换后的序列与两个长度序列中长度较短的长度序列的余弦相似度。
5.根据权利要求1所述的基于增强现实的卫生间隐藏式排水结构辅助检修系统,其特征在于,所述获得规范目标区域和每个块区域的理想拓扑序列,包括的具体步骤如下:
将规范目标区域中的若干个关键点作为节点,将节点之间的距离作为边权值,通过Delaunay三角剖分方法构建所有关键点的三角网结构,记为图结构;将图结构转化为线图,通过Brandes算法计算线图中每个节点的介数中心性,将最大的介数中心性对应的节点作为初始节点;通过Dijkstra算法计算从初始节点遍历所有节点的最短路径,得到节点序列;获得节点序列中所有相邻的两个节点在图结构中的边组成的序列,记为边序列;计算边序列中相邻的两个边之间的夹角,获得边序列中所有相邻的两个边的夹角组成的序列,记为夹角序列;将夹角序列作为规范目标区域的关键点的拓扑表示,记为规范目标区域的理想拓扑序列;
同理,获得每个块区域的理想拓扑序列。
6.根据权利要求1所述的基于增强现实的卫生间隐藏式排水结构辅助检修系统,其特征在于,所述获取系统图像上的规范目标区域和实际图像上的若干个块区域,包括的具体步骤如下:
获取系统图像和实际图像,人为标注获得系统图像的目标区域,获得系统图像的目标区域的最小外接矩形,将最小外接矩形对应的区域记为规范目标区域;根据最小外接矩形的大小对实际图片进行分块,得到若干个块区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310681894.4A CN116416417B (zh) | 2023-06-09 | 2023-06-09 | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310681894.4A CN116416417B (zh) | 2023-06-09 | 2023-06-09 | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116416417A CN116416417A (zh) | 2023-07-11 |
CN116416417B true CN116416417B (zh) | 2023-09-05 |
Family
ID=87051336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310681894.4A Active CN116416417B (zh) | 2023-06-09 | 2023-06-09 | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116416417B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447488A (zh) * | 2015-12-15 | 2016-03-30 | 西安电子科技大学 | 基于素描线段拓扑结构的sar图像目标检测方法 |
CN107633543A (zh) * | 2017-08-21 | 2018-01-26 | 浙江工商大学 | 考虑局部拓扑结构的线条形状对应方法 |
CN112183477A (zh) * | 2020-10-28 | 2021-01-05 | 太原师范学院 | 一种基于持续同调的脑电信号持续特征提取方法 |
CN114287950A (zh) * | 2021-12-27 | 2022-04-08 | 北京理工大学 | 基于持续同调和傅里叶变换的心脏病计算机辅助分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220160228A1 (en) * | 2019-03-20 | 2022-05-26 | Carl Zeiss Meditec Ag | A patient tuned ophthalmic imaging system with single exposure multi-type imaging, improved focusing, and improved angiography image sequence display |
-
2023
- 2023-06-09 CN CN202310681894.4A patent/CN116416417B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447488A (zh) * | 2015-12-15 | 2016-03-30 | 西安电子科技大学 | 基于素描线段拓扑结构的sar图像目标检测方法 |
CN107633543A (zh) * | 2017-08-21 | 2018-01-26 | 浙江工商大学 | 考虑局部拓扑结构的线条形状对应方法 |
CN112183477A (zh) * | 2020-10-28 | 2021-01-05 | 太原师范学院 | 一种基于持续同调的脑电信号持续特征提取方法 |
CN114287950A (zh) * | 2021-12-27 | 2022-04-08 | 北京理工大学 | 基于持续同调和傅里叶变换的心脏病计算机辅助分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116416417A (zh) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107123164B (zh) | 保持锐利特征的三维重建方法及系统 | |
CN107038717A (zh) | 一种基于立体栅格自动分析3d点云配准误差的方法 | |
CN108376408B (zh) | 一种基于曲率特征的三维点云数据快速加权配准方法 | |
CN104778688A (zh) | 点云数据的配准方法及装置 | |
CN110111375B (zh) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 | |
CN111540005B (zh) | 基于二维栅格地图的回环检测方法 | |
CN103729643A (zh) | 多模式场景中的三维对象的识别和姿势确定 | |
CN111080684A (zh) | 一种点邻域尺度差异描述的点云配准方法 | |
CN113327275B (zh) | 一种基于多约束点到局部曲面投影的点云双视角精配准方法 | |
CN104050675B (zh) | 基于三角形描述的特征点匹配方法 | |
CN111027140A (zh) | 基于多视角点云数据的飞机标准件模型快速重构方法 | |
CN113450269A (zh) | 一种基于3d视觉的点云关键点提取方法 | |
CN110110946A (zh) | 基于各向异性Delaunay剖分的水质预测预警系统及其实现方法 | |
CN112381862A (zh) | 一种cad模型与三角网格全自动配准方法和装置 | |
CN116664892A (zh) | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 | |
CN116416417B (zh) | 基于增强现实的卫生间隐藏式排水结构辅助检修系统 | |
CN105631860A (zh) | 基于局部排序方向直方图描述子的图像同名点提取方法 | |
CN117053779A (zh) | 一种基于冗余关键帧去除的紧耦合激光slam方法及装置 | |
KR101091061B1 (ko) | 수치지도 상 공간객체의 위치유사도 측정방법 및 이를 이용한 지도 매칭방법 | |
CN113610906B (zh) | 一种基于融合图像引导的多视差图像序列配准方法 | |
Peng et al. | Proximity-distance mapping and Jaya optimization algorithm based on localization for wireless sensor network | |
CN111652801B (zh) | 一种点云精准拼接方法 | |
CN115082547A (zh) | 一种基于点云数据的轮廓度测量方法、存储介质 | |
CN113554036A (zh) | 一种改进orb算法的特征点提取与匹配方法 | |
CN117152374B (zh) | 基于三维激光点云的高效索穹顶结构数字孪生建立方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |