CN106709452B - 一种基于智能巡检机器人的仪表位置检测方法 - Google Patents

一种基于智能巡检机器人的仪表位置检测方法 Download PDF

Info

Publication number
CN106709452B
CN106709452B CN201611208019.0A CN201611208019A CN106709452B CN 106709452 B CN106709452 B CN 106709452B CN 201611208019 A CN201611208019 A CN 201611208019A CN 106709452 B CN106709452 B CN 106709452B
Authority
CN
China
Prior art keywords
image
sample
samples
instrument
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611208019.0A
Other languages
English (en)
Other versions
CN106709452A (zh
Inventor
于慧敏
施成燕
黄伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201611208019.0A priority Critical patent/CN106709452B/zh
Publication of CN106709452A publication Critical patent/CN106709452A/zh
Application granted granted Critical
Publication of CN106709452B publication Critical patent/CN106709452B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于智能巡检机器人的仪表位置检测方法。该方法通过智能巡检机器人的云台摄像头，获得仪表图像，统一图像的亮度和大小后，遍历图像获得样本集，并提取每个样本的视觉特征，放入SVM分类器中计算分数，获得仪表的粗略位置。在粗略位置处对图像进行缩放搜索获得样本集，进一步获得仪表的精确位置。本发明采集背景区域(即非仪表区域)作为负样本训练，有效地利用了背景信息，减弱背景中与目标相似的物体对算法的影响。进一步采取先遍历搜索，再尺度搜索的方式，优化了算法的性能，有效地提高了分类器的检测准确率。

Description

一种基于智能巡检机器人的仪表位置检测方法
技术领域
本发明属于自动识别技术领域，特别地涉及一种基于智能巡检机器人的仪表位置检测方法。图像预处理部分，涉及了对比度和亮度调节算法。模型训练部分，涉及了SVM分类器和视觉特征。搜索部分，涉及了遍历和尺度变换结合的搜索策略。
背景技术
目标检测是计算机视觉和图像处理中最基础也是最重要的任务之一，其中包括基于视频的目标检测和基于静态图片的目标检测。
基于静态图片的目标检测即在一张图像上进行物体的检测。本发明中的仪表检测即为基于静态图片的目标检测。
对于基于静态图片的目标检测，一种研究路线是将目标检测问题转为分类问题，基本方法是构建一种特征描述子，而后在图像范围内各个位置多个尺度进行检测。这些算法一般会在每个子窗上提取合适的特征，并使用合适的分类器，即可以完成目标检测。
研究的另一条路线是基于部件的可变模型。在这些模型中，一个物体被假设为若干个基本部件的组合配置，每个组件可以表示为一个点，而组件间的衔接表示为边，那么目标模型就简化为一个已知连接的无向图，而检测即是将此无向图配置到最合适的位置。
在工业和控制领域的工程应用中，如何提高目标检测的识别率和提高算法的性能是非常重要的研究内容。
发明内容
本发明的目的在于提供了一种基于智能巡检机器人的仪表位置检测方法，采用了对比度和亮度调节算法进行图像预处理，SVM分类器和视觉特征进行分类器训练，以及遍历和尺度变换结合的搜索策略，使得目标检测的识别率达到95％以上。
为实现上述目的，本发明的技术方案为：一种基于智能巡检机器人的仪表位置检测方法，其特征在于，通过智能巡检机器人的云台摄像头获得仪表图像I，然后对图像I进行以下步骤处理：
步骤1：对图像I进行图像预处理，获得图像I′。
步骤2：对图像I′遍历搜索，获得多个图像样本，组成样本集M，对M中的样本通过SVM分类器进行分数计算，分数最高的样本的位置即为仪表的粗略位置。
步骤3：以粗略位置的中心点为缩放中心，对图像I′缩放搜索，获得多个图像样本，组成样本集M′，对M′中的样本通过SVM分类器进行分数计算，分数最高的样本的位置即为仪表的精确位置。
进一步地，步骤1中所述的图像预处理具体为：
(1.1)对图像I进行对比度和亮度调节，使得图像I的对比度和亮度与SVM分类器中的训练样本保持基本一致。
(1.2)通过插值法，将图像归化到统一的大小m×n。
进一步地，步骤2中的样本集M通过以下方法得到：从像素点(0，0)开始，选取图像样本，组成样本集M；图像样本Pij的位置为：
Figure BDA0001190400210000022
其中(ai，bj)为图像样本的左上角坐标，w为图像样本的宽度，h为图像样本的高度，a为x轴方向的像素步进单位，b为y轴方向的像素步进单位。
进一步地，步骤3中的样本集M′通过以下方法得到：以粗略位置的中心点为缩放中心，对粗略位置的大小进行缩放，缩放系数为(1-α)～(1+α)，步进为β，共得到2α/β个新的图像样本，组成样本集M′。
进一步地，步骤2和步骤3中所述的SVM分类器分数计算方法为：
(a)提取样本集中的每个样本的视觉特征，每个样本得到d维的特征向量S＝[S1，S2，…，Sd]。
(b)将S作为SVM分类器的输入，通过计算，SVM分类器输出一个分数。
进一步地，SVM分类器通过以下方法得到：
(3.1)使用智能巡检机器人的云台摄像头，分别拍摄l张图像Ik，k＝1，2，3，…，l，使得仪表分别处于图像的不同位置。
(3.2)调节每张图像的对比度和亮度，使得l张图像的对比度和亮度一致，然后将l张图像归化到统一的大小m×n。
(3.3)针对每个图像Ik，框取图像Ik中的仪表，作为正样本，并记录正样本的位置信息((xk，yk)，wk，hk)。其中(xk，yk)是正样本左上角的坐标位置，wk为正样本的宽度，hk为正样本的高度。令正样本的标签为1。其中l个正样本的宽度w1，w2，...，wl的均值上取整为w，l个正样本的高度h1，h2，...，hl的均值上取整为h。
遍历图像Ik，选取负样本，负样本P′ki′j′选取的位置为
Figure BDA0001190400210000023
Figure BDA0001190400210000024
其中，(a′i′，b′j′)为负样本左上角的坐标位置，wk为负样本的宽度，hk为负样本的高度，a′为x方向的像素步进单位，b′为y方向的像素步进单位。令负样本的标签为负样本P′ki′j′与该图像中正样本的位置重合度
Figure BDA0001190400210000021
(3.4)提取所有正样本和负样本的视觉特征，获得特征向量，将特征向量与对应的标签输入到SVM分类器中进行训练，得到训练后的SVM分类器。
本发明的有益效果是：
(1)采集背景区域(即非仪表区域)作为负样本训练，有效地利用了背景信息，减弱背景中与目标相似的物体对算法的影响。
(2)优化了目标检测的搜索策略，采取先遍历搜索，再尺度搜索的方式，优化了算法的性能。
(3)通过对比度和亮度调节的图像预处理算法，获得良好的视觉特征，有效地提高了分类器的检测准确率。
附图说明
图1为本发明实施例的基于智能巡检机器人的仪表位置检测方法的步骤流程图；
图2为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于右上角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像；
图3为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于右下角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像；
图4为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于左下角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像；
图5为本发明实施例的基于智能巡检机器人拍摄的待测仪表位于左上角的图像经过限制对比度自适应直方图均衡化、归化和正样本选取后的图像；
图6为本发明实施例的基于智能巡检机器人的摄像头拍摄的仪表图像；
图7为本发明实施例的基于智能巡检机器人的仪表位置检测方法的仪表精确位置检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述可以完全理解本发明。
参考图1，所示为本发明实施例的基于智能巡检机器人的仪表位置检测方法的步骤流程图。
通过智能巡检机器人的云台摄像头获得仪表图像I，然后进行以下方法处理：
1.利用haar-like特征，训练SVM分类器。
(1.1)使用智能巡检机器人的云台摄像头，分别拍摄4张图像Ik，k＝1，2，3，4，使得仪表分别处于图像的左上角，右上角，左下角，右下角。
(1.2)对图像I1，I2，I3，I4，首先进行限制对比度自适应直方图均衡化，使得4张图像的对比度和亮度一致，然后将图像归化到统一的大小480×270。
(1.3)针对每个图像Ik，框取图像Ik中的待测仪表作为正样本，如图2，3，4，5中的矩形框所示，并记录正样本的位置信息。图像I1的正样本位置为((409，3)，70，70)，如图2所示，图像I2的正样本位置为((404，200)，73，68)，如图3所示，图像I3的正样本位置为((2，202)，78，66)，如图4所示，图像I4的正样本位置为((3，5)，86，77)，如图5所示，令正样本的标签为1。进一步计算得到
Figure BDA0001190400210000043
遍历图像Ik，选取负样本，负样本P′ki′j′选取的位置为((4i′，4j′)，wk，hk)，i′＝0，1，…，119，j′＝0，1，…，66。令负样本的标签为负样本P′ki′j′与该图像中的正样本的位置重合度
Figure BDA0001190400210000041
Figure BDA0001190400210000042
(1.4)使用积分图法计算所有正样本和负样本的haar-like特征，每个样本获得192的特征向量S＝[S1，S2，…，S192]，并将特征向量S与对应的标签输入到SVM分类器中进行训练，得到训练后的SVM分类器。
2.对图像I，如图6所示，进行以下步骤处理：
步骤1：对图像I进行限制对比度自适应直方图均衡化，使得图像I的对比度和亮度与SVM分类器中的训练样本保持基本一致，然后通过双线性插值法，将图像归化到统一的大小480×270，获得图像I′。
步骤2：对图像I′遍历搜索：从像素点(0，0)开始，选取图像样本，组成样本集M；图像样本Pij的位置为：((3i，3j)，77，71)，i＝0，1，…，159，j＝0，1，…，89。对M中的样本通过SVM分类器进行分数计算，分数最高的样本的位置即为仪表的粗略位置。
步骤3：以粗略位置的中心点为缩放中心，对粗略位置的大小进行缩放，缩放系数为0.8～1.2，步进为0.02，共得到20个新的图像样本，组成样本集M′。对M′中的样本通过SVM分类器进行分数计算，分数最高的样本的位置即为仪表的精确位置，如图7所示。
步骤2和步骤3中所述的SVM分类器分数计算方法为：
(a)使用积分图法计算样本集中每个样本的haar-like特征，得到192维的特征向量S′＝[S′1，S′2，…，S′192]。
(b)将特征向量S′作为SVM分类器的输入，通过计算，SVM分类器输出一个分数。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于智能巡检机器人的仪表位置检测方法，其特征在于，通过智能巡检机器人的云台摄像头获得仪表图像I，然后对图像I进行以下步骤处理：
步骤1:对图像I进行图像预处理，获得图像I′；
步骤2:对图像I′遍历搜索，获得多个图像样本，组成样本集M，对M中的样本通过SVM分类器进行分数计算，分数最高的样本的位置即为仪表的粗略位置；样本集M通过以下方法得到：从像素点(0,0)开始，选取图像样本，组成样本集M；图像样本Pij的位置为：((ai,bj),w,h),i＝0,1,…,
Figure FDA0002412191940000011
j＝0,1,…,
Figure FDA0002412191940000012
其中(ai,bj)为图像样本的左上角坐标，w为图像样本的宽度，h为图像样本的高度，a为x轴方向的像素步进单位，b为y轴方向的像素步进单位；
步骤3:以粗略位置的中心点为缩放中心，对图像I′缩放搜索，获得多个图像样本，组成样本集M′，对M′中的样本通过SVM分类器进行分数计算，分数最高的样本的位置即为仪表的精确位置；
所述样本集M′通过以下方法得到：以粗略位置的中心点为缩放中心，对粗略位置的大小进行缩放，缩放系数为(1-α)～(1+α)，步进为β，共得到2α/β个新的图像样本，组成样本集M′；
所述SVM分类器通过以下方法得到：
(3.1)使用智能巡检机器人的云台摄像头，分别拍摄l张图像Ik,k＝1,2,3,…,l，使得仪表分别处于图像的不同位置；
(3.2)调节每张图像的对比度和亮度，使得l张图像的对比度和亮度一致，然后将l张图像归化到统一的大小m×n；
(3.3)针对每个图像Ik，框取图像Ik中的仪表，作为正样本，并记录正样本的位置信息((xk,yk),wk,hk)；其中(xk,yk)是正样本左上角的坐标位置，wk为正样本的宽度，hk为正样本的高度；令正样本的标签为1；其中l个正样本的宽度w1,w2,...,wl的均值向上取整为w，l个正样本的高度h1,h2,...,hl的均值向上取整为h；
遍历图像Ik，选取负样本，负样本P′ki′j′选取的位置为((a′i′,b′j′),wk,hk),i′＝0,1,…,
Figure FDA0002412191940000013
j′＝0,1,…,
Figure FDA0002412191940000014
其中，(a′i′,b′j′)为负样本左上角的坐标位置，wk为负样本的宽度，hk为负样本的高度，a′为x方向的像素步进单位，b′为y方向的像素步进单位；令负样本的标签为负样本P′ki′j′与该图像中正样本的位置重合度
Figure FDA0002412191940000015
(3.4)提取所有正样本和负样本的视觉特征，获得特征向量，将特征向量与对应的标签输入到SVM分类器中进行训练，得到训练后的SVM分类器。
2.根据权利要求1所述的方法，其特征在于，步骤1中所述的图像预处理具体为：
(1.1)对图像I进行对比度和亮度调节，使得图像I的对比度和亮度与SVM分类器中的训练样本保持基本一致；
(1.2)通过插值法，将图像归化到统一的大小m×n。
CN201611208019.0A 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法 Expired - Fee Related CN106709452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208019.0A CN106709452B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208019.0A CN106709452B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法

Publications (2)

Publication Number Publication Date
CN106709452A CN106709452A (zh) 2017-05-24
CN106709452B true CN106709452B (zh) 2020-07-07

Family

ID=58895601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208019.0A Expired - Fee Related CN106709452B (zh) 2016-12-23 2016-12-23 一种基于智能巡检机器人的仪表位置检测方法

Country Status (1)

Country Link
CN (1) CN106709452B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610097A (zh) * 2017-08-16 2018-01-19 深圳市天益智网科技有限公司 仪表定位方法、装置和终端设备
CN107729906B (zh) * 2017-10-24 2021-11-02 国网江苏省电力公司南京供电公司 一种基于智能机器人的巡检点电表数值识别方法
CN108422432A (zh) * 2018-05-07 2018-08-21 哈工大（张家口）工业技术研究院 一种巡检机器人及具有该机器人的地下管廊信息管理系统
CN108582107A (zh) * 2018-05-07 2018-09-28 哈工大（张家口）工业技术研究院 一种基于物联网技术的综合管廊信息系统
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN111177811A (zh) * 2019-12-24 2020-05-19 武汉理工光科股份有限公司 一种应用于云平台的消防点位自动布图的方法
CN111639530B (zh) * 2020-04-24 2023-05-16 国网浙江宁海县供电有限公司 一种输电线路的输电塔和绝缘子的检测和识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609720A (zh) * 2012-01-31 2012-07-25 中国科学院自动化研究所 一种基于位置校正模型的行人检测方法
CN104463240A (zh) * 2013-09-23 2015-03-25 深圳市朗驰欣创科技有限公司 一种控制列表界面的方法及装置
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609720A (zh) * 2012-01-31 2012-07-25 中国科学院自动化研究所 一种基于位置校正模型的行人检测方法
CN104463240A (zh) * 2013-09-23 2015-03-25 深圳市朗驰欣创科技有限公司 一种控制列表界面的方法及装置
CN105678245A (zh) * 2015-12-31 2016-06-15 杭州晨鹰军泰科技有限公司 一种基于哈尔特征的靶位识别方法

Also Published As

Publication number Publication date
CN106709452A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106709452B (zh) 一种基于智能巡检机器人的仪表位置检测方法
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN105512683B (zh) 基于卷积神经网络的目标定位方法及装置
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN103577815B (zh) 一种人脸对齐方法和系统
CN106384126B (zh) 基于轮廓曲率特征点和支持向量机的服装款式识别方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
Srivatsa et al. Salient object detection via objectness measure
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
CN104537689B (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN107886539B (zh) 一种工业场景下高精度齿轮视觉检测方法
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN109816698A (zh) 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法
CN111340873A (zh) 一种多视角图像的物体最小外包络尺寸测算方法
CN105046278B (zh) 基于Haar特征的Adaboost检测算法的优化方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN108664970A (zh) 一种快速目标检测方法、电子设备、存储介质及系统
CN107358189A (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN106886754B (zh) 一种基于三角面片的三维场景下的物体识别方法及系统
CN107330363B (zh) 一种快速的互联网广告牌检测方法
CN112200163A (zh) 水下底栖生物检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200707