CN116664681B - 基于语义感知的电力作业智能协同增强现实系统及方法 - Google Patents
基于语义感知的电力作业智能协同增强现实系统及方法 Download PDFInfo
- Publication number
- CN116664681B CN116664681B CN202310920451.6A CN202310920451A CN116664681B CN 116664681 B CN116664681 B CN 116664681B CN 202310920451 A CN202310920451 A CN 202310920451A CN 116664681 B CN116664681 B CN 116664681B
- Authority
- CN
- China
- Prior art keywords
- pose
- augmented reality
- point
- target
- collaborative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 42
- 230000008447 perception Effects 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000008030 elimination Effects 0.000 claims abstract description 8
- 238000003379 elimination reaction Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000000844 transformation Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于语义感知的电力作业智能协同增强现实系统及方法，包括获取世界坐标系下增强现实设备AR1和AR2在各自运动空间的运动位姿；获取目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，得到分割后的点云；对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换；根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到之间的协同位姿估计；在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图。
Description
技术领域
本发明涉及增强现实领域，具体是基于语义感知的电力增强现实智能协同方法与系统。
背景技术
电力设备维护过程中，不同场景（或位置）下电力作业人员之间需要进行协同工作。而单个的电力作业人员只能够获取在视线内的设备状态；如何将不同的电力作业人员获取的在视线内的设备状态，通过增强现实（AR）眼镜与其他电力作业人员获取的视线内的设备状态电力场景下的信息进行融合，以便于电力操作，是当下研究人员需要研究的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供基基于语义感知的电力增强现实系统智能协同方法，包括如下步骤：
步骤一，获取世界坐标系下增强现实设备AR1和AR2在各自运动空间的运动位姿和/>，其中R为旋转参数矩阵，t为平移参数矩阵；
步骤二，获取目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，采用基于KD树的邻域点搜索方法对目标的边缘像素点进行处理，得到分割后的点云；
步骤三，对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换；
步骤四，根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到/>之间的协同位姿估计；
步骤五，在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图。
进一步的，所述的获取目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，采用基于KD树的邻域点搜索方法对目标的边缘像素点进行处理，得到分割后的点云，包括：采用deeplabv3+语义分割法获取场景中的目标像素分割结果，采用基于KD树的邻域点搜索方法对目标像素边缘部分进行进一步分割处理，提高边缘部分像素点的提取精度，结合像素点的深度信息，将目标三维信息转换成点云数据格式，即得到分割后的点云。
进一步的，所述的对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换，包括：
点云的质心坐标，将质心坐标作为目标点，/>分别为增强现实设备AR1和AR2的位姿变换，AR1满足以下关系：
AR2满足以下关系：
。
进一步的，所述的根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到/>之间的协同位姿估计，包括：
分别为不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，j、k为运动参数，则/>之间的协同位姿为：
进一步的，所述的在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图，包括：由于每一次的协同位姿估计都会产生误差，通过对相邻帧的图像进行相似性评分，当大于设置值时即完成了回环检测，然后测量回环的准确率和召回率，根据具体数值判断是否有回环，从而对累积误差进行消除，得到轨迹图。
本发明的有益效果是：本发明通过分析影响语义协同过程精度、稳定性的因素，解决目前场景信息提取和语义协同位姿估计等关键技术中存在的问题。通过分析场景特征信息对协同位姿精度的影响，建立智能协同估计模型，并满足算法对实时性与稳定性的要求，从而保证增强现实系统的稳定性。
附图说明
图1为基于语义感知的电力增强现实系统智能协同方法的流程示意图；
图2为协同位姿估计流程示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1所示，基于语义感知的电力增强现实系统智能协同方法，包括如下步骤：
步骤一，获取世界坐标系下增强现实设备AR1和AR2在各自运动空间的运动位姿和/>，其中R为旋转参数矩阵，t为平移参数矩阵；
步骤二，获取目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，采用基于KD树的邻域点搜索方法对目标的边缘像素点进行处理，得到分割后的点云；
步骤三，对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换；
步骤四，根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到/>之间的协同位姿估计；
步骤五，在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图。
所述的获取目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，采用基于KD树的邻域点搜索方法对目标的边缘像素点进行处理，得到分割后的点云，包括：采用deeplabv3+语义分割法获取场景中的目标像素分割结果，采用基于KD树的邻域点搜索方法对目标像素边缘部分进行进一步分割处理，提高边缘部分像素点的提取精度，结合像素点的深度信息，将目标三维信息转换成点云数据格式，即得到分割后的点云。
所述的对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换，包括：
点云的质心坐标，将质心坐标作为目标点，/>分别为增强现实设备AR1和AR2的位姿变换，AR1满足以下关系：
AR2满足以下关系：
所述的根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到/>之间的协同位姿估计，包括：
分别为不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，j、k为运动参数，则/>之间的协同位姿为：
所述的在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图，包括：由于每一次的协同位姿估计都会产生误差，通过对相邻帧的图像进行相似性评分，当大于设置值时即完成了回环检测，然后测量回环的准确率和召回率，根据具体数值判断是否有回环，从而对累积误差进行消除，得到轨迹图。
具体的，系统应用的场景为两个或多个电力作业场景，可以是室内或者室外。
针对不同环境建立语义分割数据集，获取场景中的像素级语义点云分类结果，得到多层次特征。
提出结合语义分割的智能协同理论模型，通过对点云空间中任意点的邻域进行统计学分析，获取协同位姿。
通过分析影响语义协同位姿的估计精度因素，建立优化模型，提出减小累积误差新方法。
本发明旨在通过分析影响语义协同过程精度、稳定性的因素，解决目前场景信息提取和语义协同位姿估计等关键技术中存在的问题。通过分析场景特征信息对协同位姿精度的影响，建立智能协同估计模型，并满足算法对实时性与稳定性的要求，从而保证增强现实系统的稳定性。
本发明拟对基于语义感知的增强现实协同方法进行研究。
稳定的协同注册需要首先从场景中提取特征信息，再对设备的协同位姿变化进行估计。
基于特征点的注册方法有一定的局限性，在稀疏场景中易发生特征丢失。
通过分析影响注册精度的因素，利用深度学习语义分割算法获取场景中的目标信息，语义分割能够得到场景的像素级分割结果，在获取目标所属类别的同时，得到目标的像素级分割结果。
结合不同场景中的语义信息对协同位姿进行估计，通过建立语义协同位姿估计模型，得到协同位姿的估计结果。
提取出场景的语义目标后，为了节省人工标定的成本，获得精确的标签，在完成位置识别后，利用位姿优化算法将位姿和场景三维坐标进行优化，以得到稳定的语义协同注册结果。
基于国内外的研究进展情况，由于场景的纹理、目标数量、结构复杂度等因素，对设备之间的协同的处理都有一定的影响，增强现实系统的稳定性有望提高。本发明重点解决语义协同位姿估计问题：
（1）语义场景信息提取
由于环境的变化性与多样性，在电力作业场景下，需要对电力场景进行理解，对电力场景中的电力设备等信息，获取其图像特征（如目标的特征点或特征点云），从而保证注册的稳定性与准确性，是其中一个难点。语义分割,通过深度卷积神经网络将目标进行提取，通过训练的方式在网络终端输出目标的分类结果，以及目标的分割结果，结合此目标的深度信息，从而得到目标的分类及分割点云。
（2）语义协同位姿估计
在不同的场景中，各个设备之间需要对多个视图进行对齐和融合，这就需要能够在不同时间下获得场景的实时姿态信息，并且能够形成环境的全局跟踪注册模型。语义协同的位姿估计能够实时地获取不同设备的运动姿态，是增强现实关键技术中的一个重要科学问题。通过对点云空间中任意点的邻域进行统计学分析，保留运动主体在当前时刻和过去时刻的位姿，结合语义分割的结果，获取语义协同位姿。
设世界坐标系为W，假设有两个增强现实设备（增强现实眼镜），分别为AR眼镜1和AR眼镜2，两个眼镜分别观察不同的场景，要想让两个场景融合得到全局地图，需要获取两个设备之间的协同位姿。
假设AR眼镜1在场景中运动，其在世界坐标系W中的运动位姿为R，t，其中R为旋转参数矩阵，t为平移参数矩阵。根据坐标系之间的映射关系，将AR眼镜1的姿态变化映射到AR眼镜2的运动空间中。
在获取运动点时，语义分割方法采用deeplabv3+语义分割方法，首先对场景中的目标进行提取，点云边缘部分容易出现分割误差，此时对点云空间的邻域进行统计学分析，以提高点云分割的精度，语义分割的像素点具有一定的不确定度，针对此问题，采用基于KD树的邻域点搜索方法对目标边缘的像素点进行处理，从而预测像素分类的准确程度。
对点云处理之后，利用质心计算公式得到点云的质心坐标。将质心坐标作为目标点。/>分别为AR眼镜1和2的位姿变换。此时，AR眼镜1满足以下关系：
AR眼镜2满足以下关系：
若分别为不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，j、k为运动参数，则/>之间的协同位姿为：
至此得到了带有语义信息的协同位姿。
在语义协同位姿估计的过程中，在每一次的估计之后都会产生误差，长时间的误差累积会造成三维跟踪注册算法的失效，因此要在语义协同位姿估计之后对累积误差进行消除，消除时需要对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图，以得到语义协同位姿的闭环。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (5)
1.基于语义感知的电力增强现实系统智能协同方法，其特征在于，包括如下步骤：
步骤一，获取世界坐标系下增强现实设备AR1和AR2在各自运动空间的运动位姿和/>，其中R为旋转参数矩阵，t为平移参数矩阵；
步骤二，获取三维目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，采用基于KD树的邻域点搜索方法对目标的边缘像素点进行处理，得到分割后的点云；
步骤三，对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换；
步骤四，根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到/>之间的协同位姿估计；
步骤五，在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图。
2.根据权利要求1所述的基于语义感知的电力增强现实系统智能协同方法，其特征在于，所述的获取三维目标像素点，采用deeplabv3+语义分割法，对场景中的目标进行像素点提取，采用基于KD树的邻域点搜索方法对目标的边缘像素点进行处理，得到分割后的点云，包括：采用deeplabv3+语义分割法获取场景中的目标像素分割结果，采用基于KD树的邻域点搜索方法对目标像素边缘部分进行进一步分割处理，提高边缘部分像素点的提取精度，结合像素点的深度信息，将目标三维信息转换成点云数据格式，即得到分割后的点云。
3.根据权利要求1所述的基于语义感知的电力增强现实系统智能协同方法，其特征在于，所述的对点云处理之后，利用质心计算公式得到点云的质心坐标C，质心坐标C即为目标点，根据目标点分别得到增强现实设备AR1和AR2的位姿变换，包括：
点云的质心坐标，将质心坐标作为目标点，/>分别为增强现实设备AR1和AR2的位姿变换，AR1满足以下关系：
AR2满足以下关系：
。
4.根据权利要求1所述的基于语义感知的电力增强现实系统智能协同方法，其特征在于，所述的根据增强现实设备AR1和AR2的位姿变换，以及不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，得到/>之间的协同位姿估计，包括：
分别为不同时刻下目标点C相对于世界坐标系中x和y轴的旋转角度，j、k为运动参数，则/>之间的协同位姿为：
。
5.根据权利要求4所述的基于语义感知的电力增强现实系统智能协同方法，其特征在于，所述的在协同位姿估计之后对累积误差进行消除，消除时对每一个协同位姿进行回环检测，根据回环检测的约束，得到轨迹图，包括：由于每一次的协同位姿估计都会产生误差，通过对相邻帧的图像进行相似性评分，当大于设置值时即完成了回环检测，然后测量回环的准确率和召回率，根据具体数值判断是否有回环，从而对累积误差进行消除，得到轨迹图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310920451.6A CN116664681B (zh) | 2023-07-26 | 2023-07-26 | 基于语义感知的电力作业智能协同增强现实系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310920451.6A CN116664681B (zh) | 2023-07-26 | 2023-07-26 | 基于语义感知的电力作业智能协同增强现实系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664681A CN116664681A (zh) | 2023-08-29 |
| CN116664681B true CN116664681B (zh) | 2023-10-10 |
Family
ID=87720876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310920451.6A Active CN116664681B (zh) | 2023-07-26 | 2023-07-26 | 基于语义感知的电力作业智能协同增强现实系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664681B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920000A (zh) * | 2019-03-04 | 2019-06-21 | 杭州师范大学 | 一种基于多相机协同的无死角的增强现实方法 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建系统及方法 |
| WO2022047828A1 (zh) * | 2020-09-07 | 2022-03-10 | 南京翱翔信息物理融合创新研究院有限公司 | 一种工业增强现实组合定位系统 |
| CN114169546A (zh) * | 2021-11-24 | 2022-03-11 | 中国船舶重工集团公司第七一六研究所 | 一种基于深度学习的mr远程协同装配系统及方法 |
| CN114419154A (zh) * | 2022-01-17 | 2022-04-29 | 北京科技大学 | 基于视觉与人机协同的机械臂双模式控制方法及系统 |
| CN115761465A (zh) * | 2022-11-03 | 2023-03-07 | 长春工程学院 | 一种用于水下环境电力作业的辅助方法、系统及装置 |
| CN116429112A (zh) * | 2023-03-27 | 2023-07-14 | 哈尔滨工业大学（深圳） | 多机器人协同定位方法和装置、设备及存储介质 |
| CN116486051A (zh) * | 2023-04-13 | 2023-07-25 | 中国兵器装备集团自动化研究所有限公司 | 一种多用户展示协同方法、装置、设备及存储介质 |
-
2023
- 2023-07-26 CN CN202310920451.6A patent/CN116664681B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920000A (zh) * | 2019-03-04 | 2019-06-21 | 杭州师范大学 | 一种基于多相机协同的无死角的增强现实方法 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建系统及方法 |
| WO2022047828A1 (zh) * | 2020-09-07 | 2022-03-10 | 南京翱翔信息物理融合创新研究院有限公司 | 一种工业增强现实组合定位系统 |
| CN114169546A (zh) * | 2021-11-24 | 2022-03-11 | 中国船舶重工集团公司第七一六研究所 | 一种基于深度学习的mr远程协同装配系统及方法 |
| CN114419154A (zh) * | 2022-01-17 | 2022-04-29 | 北京科技大学 | 基于视觉与人机协同的机械臂双模式控制方法及系统 |
| CN115761465A (zh) * | 2022-11-03 | 2023-03-07 | 长春工程学院 | 一种用于水下环境电力作业的辅助方法、系统及装置 |
| CN116429112A (zh) * | 2023-03-27 | 2023-07-14 | 哈尔滨工业大学（深圳） | 多机器人协同定位方法和装置、设备及存储介质 |
| CN116486051A (zh) * | 2023-04-13 | 2023-07-25 | 中国兵器装备集团自动化研究所有限公司 | 一种多用户展示协同方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于语义分割的增强现实图像配准技术;卞贤掌;费海平;李世强;;电子技术与软件工程(第23期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664681A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| CN107025668B (zh) | 一种基于深度相机的视觉里程计的设计方法 | |
| CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| CN103325112B (zh) | 动态场景中运动目标快速检测方法 | |
| CN103268480B (zh) | 一种视觉跟踪系统及方法 | |
| CN105740945B (zh) | 一种基于视频分析的人群计数方法 | |
| CN104036524A (zh) | 一种改进sift算法的快速目标跟踪方法 | |
| CN110458025B (zh) | 一种基于双目摄像头的目标识别与定位方法 | |
| CN110287907B (zh) | 一种对象检测方法和装置 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN106952312B (zh) | 一种基于线特征描述的无标识增强现实注册方法 | |
| CN115035260A (zh) | 一种室内移动机器人三维语义地图构建方法 | |
| CN110599522A (zh) | 一种视频序列中动态目标检测剔除方法 | |
| CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| CN112446882A (zh) | 一种动态场景下基于深度学习的鲁棒视觉slam方法 | |
| CN104715251A (zh) | 一种基于直方图线性拟合的显著目标检测方法 | |
| CN104301585A (zh) | 一种运动场景中特定种类目标实时检测方法 | |
| CN113077519A (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
| CN111709982B (zh) | 一种动态环境三维重建方法 | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN110967020B (zh) | 一种面向港口自动驾驶的同时制图与定位方法 | |
| CN113837044B (zh) | 基于环境亮度的器官定位方法及相关设备 | |
| CN115035089A (zh) | 适用于二维脑图像数据的脑解剖结构定位方法 | |
| CN104715476A (zh) | 一种基于直方图幂函数拟合的显著目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |