CN111967542A - 一种基于深度特征点的表计识别二次定位方法 - Google Patents

一种基于深度特征点的表计识别二次定位方法 Download PDF

Info

Publication number
CN111967542A
CN111967542A CN202011142705.9A CN202011142705A CN111967542A CN 111967542 A CN111967542 A CN 111967542A CN 202011142705 A CN202011142705 A CN 202011142705A CN 111967542 A CN111967542 A CN 111967542A
Authority
CN
China
Prior art keywords
pictures
depth
meter
feature point
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011142705.9A
Other languages
English (en)
Other versions
CN111967542B (zh
Inventor
黄丽莉
于洪洲
宁仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Xiaoma Robot Co ltd
Original Assignee
Jiangxi Xiaoma Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Xiaoma Robot Co ltd filed Critical Jiangxi Xiaoma Robot Co ltd
Priority to CN202011142705.9A priority Critical patent/CN111967542B/zh
Publication of CN111967542A publication Critical patent/CN111967542A/zh
Application granted granted Critical
Publication of CN111967542B publication Critical patent/CN111967542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度特征点的表计识别二次定位方法，属于图像识别技术领域，具体包括以下步骤：从后台数据库拿出表计的模板图片，并通过ROS从云台得到实际拍摄图片；采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度。该种基于深度特征点的表计识别二次定位方法，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。

Description

一种基于深度特征点的表计识别二次定位方法
技术领域
本发明涉及图像识别技术领域，具体为一种基于深度特征点的表计识别二次定位方法。
背景技术
在变电站巡检机器人识别表计的过程中，由于原始视角过大，云台摄像头需要调整位姿与焦距，对表计进行二次定位，将表计放大并定位到图像的正中央。现阶段，各家二次定位算法都基于传统的ORB，SIFT特征点检测与Ransac匹配方法，将实际拍摄的图像与模板图像进行匹配，得到两张图片的变换矩阵，继而云台根据变换矩阵进行相应的调整。但是传统特征点检测对光照变换、低纹理场景缺乏稳定性和鲁棒性，并且由于传统特征点只代表了局部的特征，无法提取图像的高维特征，因此在实际运用中，存在模板与实际拍摄图像匹配不上的情况。
发明内容
本发明的目的是提供一种基于深度特征点的表计识别二次定位方法，以解决上述提到的问题。
本发明具体采用如下技术方案：
一种基于深度特征点的表计识别二次定位方法，其流程如图1所示，具体包括以下步骤：
步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；
步骤二：采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；
步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，以得到两张图片的深度特征点与描述子；
步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵；
步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合。
进一步的，步骤二中，backbone网络为SOTA的基于efficientnet的backbone特征提取网络。
进一步的，步骤二中，两张图片的宽和高均被缩放至原始大小的三十二分之一。
进一步的，步骤三中，基于SegNet的特征点提取网络中穿插有Residual Block，并运用channel-wise的softmax来压缩backbone网络输出的矩阵深度。
进一步的，步骤三中，输入至基于SegNet的特征点提取网络中被还原之后的两张图片得到宽*高*1的图像矩阵，其中为1的像素点为选出的深度特征点。
进一步的，步骤三中，在基于SegNet的特征点描述子提取网络中穿插ResidualBlock，并运用Bi-cubic interpolation来固定backbone网络输出的矩阵深度。
进一步的，步骤三中，输入至基于SegNet的特征点描述子提取网络中被还原之后的两张图片得到宽*高*256的图像矩阵，其中每一个像素中的256位为该像素的描述子。
进一步的，步骤四中，深度特征点的匹配与两张图像坐标系变换矩阵的计算采用SIFT匹配与矩阵计算，并采用Ransac去除离群值。
综上所述，本发明具有以下有益效果：
该种基于深度特征点的表计识别二次定位方法，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种基于深度特征点的表计识别二次定位方法，具体包括以下步骤：
步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；
步骤二：采用SOTA（state of the art）的基于efficientnet的backbone特征提取网络提取两张图片的高维特征作为接下来特征点提取网络与描述子提取网络的输入，并进行下采样，将两张图片进行缩放，两张图片的宽（W）和高（H）均被缩放至原始大小的三十二分之一，其中基于efficientnet的backbone特征提取网络具有网络参数小，速度快，易于训练的优点；
步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中，基于SegNet的特征点提取网络中穿插有Residual Block，并且其网络结构与SegNet的Decoder部分类似，运用channel-wise的softmax来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，被还原之后的两张图片得到宽（W）*高（H）*1的图像矩阵，其中为1的像素点为选出的深度特征点；同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中，基于SegNet的特征点描述子提取网络中穿插Residual Block，并运用Bi-cubic interpolation来固定backbone网络输出的矩阵深度，并且进行上采样，将两张图片进行还原，被还原之后的两张图片得到宽（W）*高（H）*256的图像矩阵，其中每一个像素中的256位为该像素的描述子；通过上述步骤以得到两张图片的深度特征点与描述子；
步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵，深度特征点的匹配与两张图像坐标系变换矩阵的计算采用SIFT匹配与矩阵计算，并采用Ransac去除离群值；
步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合，从而达到表计识别二次定位效果。
本发明运用深度学习中的深度特征点替换了传统的特征点来进行表计的二次定位，运用深度学习方法，提取图像的高维特征点，进而增强了二次定位匹配在光照变换、低纹理场景下的稳定性和鲁棒性。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (8)

1.一种基于深度特征点的表计识别二次定位方法，该方法具体步骤如下：
步骤一：从后台数据库拿出表计的模板图片，并通过ROS从变电站巡检机器人上的云台得到实际拍摄图片；
步骤二：采用backbone网络提取两张图片的高维特征，并进行下采样，将两张图片进行缩放；
步骤三：将缩放之后的两张图片输入至基于SegNet的特征点提取网络中来压缩backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，同时也将缩放之后的两张图片输入至基于SegNet的特征点描述子提取网络中来固定backbone网络输出的矩阵深度，并进行上采样，将两张图片进行还原，以得到两张图片的深度特征点与描述子；
步骤四：根据两张图片中的深度特征点与描述子，对深度特征点进行匹配，并计算图片坐标系的变换矩阵；
步骤五：变电站巡检机器人上的云台根据计算出的图片坐标系的变换矩阵进行焦距与角度的变换，使得云台图片的坐标系与模板坐标系重合。
2.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤二中，backbone网络为SOTA的基于efficientnet的backbone特征提取网络。
3.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤二中，两张图片的宽和高均被缩放至原始大小的三十二分之一。
4.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，基于SegNet的特征点提取网络中穿插有Residual Block，并运用channel-wise的softmax来压缩backbone网络输出的矩阵深度。
5.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，输入至基于SegNet的特征点提取网络中被还原之后的两张图片得到宽*高*1的图像矩阵，其中为1的像素点为选出的深度特征点。
6.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，在基于SegNet的特征点描述子提取网络中穿插Residual Block，并运用Bi-cubicinterpolation来固定backbone网络输出的矩阵深度。
7.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤三中，输入至基于SegNet的特征点描述子提取网络中被还原之后的两张图片得到宽*高*256的图像矩阵，其中每一个像素中的256位为该像素的描述子。
8.如权利要求1所述的一种基于深度特征点的表计识别二次定位方法，其特征在于：步骤四中，深度特征点的匹配与两张图像坐标系变换矩阵的计算采用SIFT匹配与矩阵计算，并采用Ransac去除离群值。
CN202011142705.9A 2020-10-23 2020-10-23 一种基于深度特征点的表计识别二次定位方法 Active CN111967542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011142705.9A CN111967542B (zh) 2020-10-23 2020-10-23 一种基于深度特征点的表计识别二次定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011142705.9A CN111967542B (zh) 2020-10-23 2020-10-23 一种基于深度特征点的表计识别二次定位方法

Publications (2)

Publication Number Publication Date
CN111967542A true CN111967542A (zh) 2020-11-20
CN111967542B CN111967542B (zh) 2021-01-29

Family

ID=73387606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011142705.9A Active CN111967542B (zh) 2020-10-23 2020-10-23 一种基于深度特征点的表计识别二次定位方法

Country Status (1)

Country Link
CN (1) CN111967542B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
CN103106252A (zh) * 2013-01-16 2013-05-15 浙江大学 利用手持设备的平面区域定位方法
US8885887B1 (en) * 2012-01-23 2014-11-11 Hrl Laboratories, Llc System for object detection and recognition in videos using stabilization
CN105404886A (zh) * 2014-09-16 2016-03-16 株式会社理光 特征模型生成方法和特征模型生成装置
CN107862267A (zh) * 2017-10-31 2018-03-30 天津科技大学 基于完全对称局部韦伯描述子的人脸识别特征提取算法
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
KR20180094453A (ko) * 2017-02-15 2018-08-23 동명대학교산학협력단 다중채널 가버 필터와 중심대칭지역 이진 패턴기반 얼굴인식기술
CN108965687A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN109104578A (zh) * 2018-09-21 2018-12-28 维沃移动通信有限公司 一种图像处理方法及移动终端
CN110134964A (zh) * 2019-05-20 2019-08-16 中国科学技术大学 一种基于层次化卷积神经网络和注意力机制的文本匹配方法
CN110222668A (zh) * 2019-06-17 2019-09-10 苏州大学 基于生成对抗网络的多姿态面部表情识别方法
CN110298831A (zh) * 2019-06-25 2019-10-01 暨南大学 一种基于分块深度学习的医学图像处理系统及其方法
CN110766025A (zh) * 2019-10-09 2020-02-07 杭州易现先进科技有限公司 绘本识别方法、装置、系统及存储介质
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111582142A (zh) * 2020-04-30 2020-08-25 中国人民解放军战略支援部队信息工程大学 一种影像匹配方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
US8885887B1 (en) * 2012-01-23 2014-11-11 Hrl Laboratories, Llc System for object detection and recognition in videos using stabilization
CN103106252A (zh) * 2013-01-16 2013-05-15 浙江大学 利用手持设备的平面区域定位方法
CN105404886A (zh) * 2014-09-16 2016-03-16 株式会社理光 特征模型生成方法和特征模型生成装置
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
KR20180094453A (ko) * 2017-02-15 2018-08-23 동명대학교산학협력단 다중채널 가버 필터와 중심대칭지역 이진 패턴기반 얼굴인식기술
CN108965687A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN107862267A (zh) * 2017-10-31 2018-03-30 天津科技大学 基于完全对称局部韦伯描述子的人脸识别特征提取算法
CN109104578A (zh) * 2018-09-21 2018-12-28 维沃移动通信有限公司 一种图像处理方法及移动终端
CN110134964A (zh) * 2019-05-20 2019-08-16 中国科学技术大学 一种基于层次化卷积神经网络和注意力机制的文本匹配方法
CN110222668A (zh) * 2019-06-17 2019-09-10 苏州大学 基于生成对抗网络的多姿态面部表情识别方法
CN110298831A (zh) * 2019-06-25 2019-10-01 暨南大学 一种基于分块深度学习的医学图像处理系统及其方法
CN110766025A (zh) * 2019-10-09 2020-02-07 杭州易现先进科技有限公司 绘本识别方法、装置、系统及存储介质
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111582142A (zh) * 2020-04-30 2020-08-25 中国人民解放军战略支援部队信息工程大学 一种影像匹配方法及装置

Also Published As

Publication number Publication date
CN111967542B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
CN110443892B (zh) 一种基于单张图像的三维网格模型生成方法及装置
CN110059698A (zh) 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN110659573B (zh) 一种人脸识别方法、装置、电子设备及存储介质
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
KR101567792B1 (ko) 이미지 윤곽 묘사 시스템 및 방법
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
CN110619334A (zh) 基于深度学习的人像分割方法、架构及相关装置
CN110765339A (zh) 一种基于生成对抗网络的残缺中文书法修复补全方法
CN110930383A (zh) 基于深度学习语义分割和图像分类的注射器缺陷检测方法
CN111967542B (zh) 一种基于深度特征点的表计识别二次定位方法
CN104252715B (zh) 一种基于单幅线条图像的三维立体重建方法
CN111814508B (zh) 一种文字识别方法、系统及设备
CN110969163A (zh) 一种检测图像中文本信息的方法
CN111079749A (zh) 一种带姿态校正的端到端商品价签文字识别方法和系统
CN107358200B (zh) 一种基于稀疏学习的多摄像机非重叠视域行人匹配方法
CN111461959B (zh) 人脸情绪合成方法及装置
CN115082966A (zh) 行人重识别模型训练方法、行人重识别方法、装置和设备
CN114463734A (zh) 文字识别方法、装置、电子设备及存储介质
CN114639156B (zh) 基于轴向注意力权重分配网络的俯角人脸识别方法及系统
CN117036665B (zh) 一种基于孪生神经网络的旋钮开关状态识别方法
CN112884664B (zh) 图像处理方法、装置、电子设备及存储介质
CN116645578B (zh) 多模态数据融合方法及其三维目标检测方法
CN114818992B (zh) 图像数据解析方法、场景估计方法、3d融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant