CN111723643B - 一种基于固定区域周期性图像采集的目标检测方法 - Google Patents

一种基于固定区域周期性图像采集的目标检测方法 Download PDF

Info

Publication number
CN111723643B
CN111723643B CN202010282576.7A CN202010282576A CN111723643B CN 111723643 B CN111723643 B CN 111723643B CN 202010282576 A CN202010282576 A CN 202010282576A CN 111723643 B CN111723643 B CN 111723643B
Authority
CN
China
Prior art keywords
dom
image
similarity
sample
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010282576.7A
Other languages
English (en)
Other versions
CN111723643A (zh
Inventor
罗旭
廖亚东
罗易智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanjianyandi Technology Co ltd
Original Assignee
Sichuan Chuanjianyandi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanjianyandi Technology Co ltd filed Critical Sichuan Chuanjianyandi Technology Co ltd
Priority to CN202010282576.7A priority Critical patent/CN111723643B/zh
Publication of CN111723643A publication Critical patent/CN111723643A/zh
Application granted granted Critical
Publication of CN111723643B publication Critical patent/CN111723643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于固定区域周期性图像采集的目标检测方法，包括初始采集、人工标定、样本训练、监测采集、重新生成DOM、获取候选区域、图像检测等。本发明根据油气管道的巡护具有固定区域、周期性采集影像的特定对Faster R‑CNN检测技术作了改善，具有以下优点：（1）开创对监测影像中的信息自动挖掘的，节约了人力成本。（2）通过自动学习，系统运行时间越长自动检测能力愈强。（3）系统自动学习掌握的技能可以复制到其他单位，有利于技术推广。（4）通过自动目标检测持续获取客观、可靠的目标变化信息，为管道完整性管理提供数据支持。（5）通过保存目标、样本的存储，可以释放海量原始影像、视频信息，节约存储空间。

Description

一种基于固定区域周期性图像采集的目标检测方法
技术领域
本发明涉及一种图像检测方法，尤其涉及一种基于固定区域周期性图像采集的目标检测方法。
背景技术
对线路和站场进行周期性调查是石油天然气采集、加工、储存、运输企业的基础工作，目前有两种方式技术完成调查工作：
人工巡护技术：设专职人员，沿管道线路察看途经的管带、构筑物、标志，中线两侧200范围内的地形、地貌、地质的情况，采用GPS、电子地图完成巡护记录，必要时录音、录像。
无人机巡护：外业采用油动固定翼小飞机，搭载数码相机、GPS，沿线路录像并测量飞机的轨迹。内业人工察看录录像，以判别异常，并记录识别结果。
人工巡护存在以下问题及缺陷：
1.巡护效率很低，每人每天巡护约5公里线路；2.巡护人员注意力有限，无法同时关注10平方公里内的所有目标的变化；3.过渡依赖巡护队伍的稳定，人员变动引起巡护暂时失效；4.人力成本高；5.人员巡护危险性大,有负荷重、温差大、沟壑多、野生动物侵害等危险因素；6、遭遇突发事件，不能快速响应。
无人机巡护的问题及缺陷：
1.采集影像需要回放，靠人工解读识别；2.解读人员注意力有限,无法同时关注10平方公里内的所有目标的变化；3.影像中的目标无法快速在实地定位；4.长时间枯燥解读引起麻痹、疲劳，识别效率低下；5.视频数据快速积累，占用大量硬盘，但是信息密度低、特征数据少、数据重复率高；6.大数据缺乏挖掘手段，信息化表达程度低，受时间限制反复解读可能性小，且大数据无法起到洞察秋毫、总结经验的作用。
发明内容
本发明的目的就在于提供一种解决上述问题的，无需进行影像回放，无需全靠人工解读识别，能快速定位变化区域，并能不段自我学习，运行时间越长自动检测能力愈强的一种基于固定区域周期性图像采集的目标检测方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种基于固定区域周期性图像采集的目标检测方法，包括以下步骤：
(1)初始采集：对一管道线路进行初次航空摄影测量，生成数字表面模型DSM、数字正射影像数据DOM；
(2)人工标定：在DOM上勾绘像控点、和感兴趣目标，记录像控点的坐标和SURF特征向量，记录感兴趣目标的类型和范围，全部保存到数据库中；
(3)样本训练：选择DOTA数据集、和(2)中勾绘过的DOM作为训练集，采用Fast R-CNN神经网络对训练集进行训练，调整其卷积层、池化层、全连接层的权值，得到训练模型，所述训练模型能识别感兴趣目标、输出其类型和置信度；
(4)监测采集：设置摄影周期，定期对管道线路进行航空摄影测量，定期对管道线路进行航空摄影，每次测量得到监测影像集和曝光点坐标；
(5)重新生成DOM：从监测影像集中提取数个SURF特征向量，在数据库中查找其对应的像控点，得到数个像控点后，采用后方交会法重新生成本次摄影周期的DOM；
(6)获取候选区域：将本次周期的DOM与上一周期的DOM进行对比，查找变化的区域，作为候选区域输出；
(7)图像检测：
(71)输入本次周期的DOM，送入经步骤(2)调整好权值的卷积层中做卷积运算，得到DOM映射图像；
(72)将步骤(6)得到的候选区域，进行选区旋转检测，计算候选区域内图像沿灰度的最小转动惯量的方向；
(73)重采样：在DOM映射图像中，找到与候选区域对应的区域，将其旋平；
(74)将(73)得到的区域送入经步骤(2)调整好权值的池化层中做池化运算；
(75)池化运算后的区域，分别送入全连接层和回归层，在全连接层中，处理后输出感兴趣目标的类型和置信度，在回归层中，求出区域的边界坐标，用于准确定位；
(76)设置置信度阈值，低于阈值的标记为负样本，进行人工分割，形成新样本，将新样本送入步骤(3)中训练，优化训练模型。
作为优选：所述感兴趣目标包括植被、水体、道路、房屋、独立地物、和/或管道及其附属物。
作为优选：所述样本训练具体为：
(31)将DOTA数据集、和(2)中勾选过候选区的DOM作为训练集，选择训练集中的样本图片，依次送入Fast R-CNN神经网络；
(32)样本图片在Fast R-CNN神经网络中，经图片旋平、卷积层、池化层、全连接层后，输出类型和置信度；
(33)设置置信度阈值，低于阈值标记为负样本，其余为正样本；
(34)将负样本进行人工分割，形成新样本；
(34)将新样本送入Fast R-CNN神经网络中，重复步骤(32)-(34)，直至输出正样本；
(35)训练集中样本图片用尽，完成样本训练，得到训练模型。
作为优选：所述步骤(6)具体包括以下步骤：
(61)获取本次DOM，及上一周期的DOM；
(62)分别对最新DOM和上一次的DOM进行均值滤波，滤除影像灰度的高频部分；
(63)分块比较相似度：按相同的网格分别把两张DOM分成1000块，每一块都有最新影像N和上次影像L，用N的全部灰度组成向量NP，L的全部灰度也组成向量LP，求LP与NP夹角的余弦作为相似度；
(64)作相似度直方图，确定相似度阈值：统计每个相似度的块数，再按相似度由大到小排序，按相似度由大到小，依次序累加相似度的块个数，当个数刚超过800的时候遇到的相似度作为相似度阈值；
(65)继续细分不相似的块：将相似度小于相似度阈值的块标记为不相似，其余为相似，将不相似的块，分为2*2块，继续计算相似度，相似度小于相似度阈值的块标记为不相似，其余为相似，直到不相似的块像素小于3*3为止；
(66)合并相邻不相似块：将相邻连成一片的不相似块被作为一个候选区域；
(67)输出候选区域：沿逆时针方向提取每个候选区域的边界坐标，形成单个候选区域的坐标数据，将所有候选区域坐标数据输出。
步骤(1)中：本发明主要应用于油气管道的巡护，首先对从未采集过数据的管道线路进行初次航空摄影测量，获取DSM、DOM。DSM、DOM这两项数据，都是是航空摄影测量的成果。在进行测量时，我们需要摄影相机、GPS-RTK测量系统。摄影相机要求是定焦距、单镜头、数码相机，摄影相机的畸变差要求稳定、可检测、可纠正。GPS-RTK测量系统为全球实时动态卫星定位系统，该系统分为星座部分、中心控制部分、地面测控部分、地面用户部分四个子系统。GPS-RTK测量系统的特殊部分是地面用户系统，它又分为固定站、流动站均由GPS接收机担任，还有通信链路主要是自备电台或移动通信网络。其中通信链路和固定站可以用第三方CORS服务代替。
步骤(2)中：在DOM上勾绘像控点、和感兴趣目标。
像控点是从摄影后照片中选择的特征点。每个特征点由影像中心点及其毗邻像素组成，这些像素对应的物点近似分布在同一水平面上。特征点具有成像清晰、无季节性变化、辨识度高的特点。像控点分布满足三个条件，首先要三度重叠即沿中线拍摄的连续三张照片都应该出现同一个特征点；其次，像控点尽量远离中线，沿中线拍摄的每隔五张照片必须选择一对像控点，分别位于中线两侧；最后，航带的四个角必须要有像控点。在实际测量的操作中，GPS-RTK的流动站与摄影相机固连，流动站就是一台GPS接收机处于流动站工作模式。于摄影相机曝光的瞬间流动站同时采集大地坐标，该坐标可以作为一个像控点的大地坐标使用，这样在每张照片的镜头中心点附近都可以产生一个像控点。
感兴趣目标，是指用户定义和关注的任何目标，可以包括植被、水体、道路、房屋、独立地物、和/或管道及其附属物。
步骤(2)在实际操作中，勾绘像控点后，需记录像控点的坐标和SURF特征向量，勾绘感兴趣目标后，需要记录其类型和范围，类型就是指植被、水体、道路、房屋、独立地物等等。
步骤(3)中：进行样本训练时，这里需要用到DOTA数据集，以及步骤(2)勾绘过的DOM作为训练集。DOTA是公开的航空影像的样本集，该步骤是让训练模型获得目标识别能力，能在输入图像后，识别图中感兴趣目标、并输出其类型和置信度。本步骤还有个用处，就是调整好内部卷积层、池化层、全连接层的权值，以便为后续步骤可用。
步骤(4)：得到训练模型，调整好权值后，便进行后续的周期性摄影采集的阶段。本步骤中，根据需要进行周期性采集，例如一周1次、一周2次、四天一次等。为了节约成本和时间，不需要搞航空摄影测量，只需要进行航空摄影，每次摄影得到监测影像集和曝光度点的坐标即可。
步骤(5)：该步骤是重新生成DOM，这里和步骤(1)不同，不需要测量相控点，而是从监测影像集中检测SURF特征向量，与数据库中的SURF特征向量对比，再去查找这些SURF特征向量对应的像控点。一般获取到6个以上的像控点后，采用后方交会法即可解算监测影像集的外方位元素。获取监测影像集的外方位元素后，可以计算监测影像集中每个像素的空间射线，该射线与DSM的焦点即为像素点的大地坐标。所有的像素点的大地坐标及其灰度值构成了点云。点云通过坐标与灰度重采样生成DOM。每次周期会生成一个对应该周期的DOM，为了便于描述和区分，按采集周期，我们将最近测量生成的DOM称为本次周期的DOM，本次周期之前的一次，称为上一周期的DOM；
步骤(6)实际是查找变化区域，也就是通过计算机来查找相邻两次测量中有变化的区域。经过这个步骤，我们抛弃了无变化的区域，重点关注变化区域，从而减少了监控区域，有效提高监控效率和准确性。
步骤(7)的目的是自动检测变化区域的目标类型，对于置信度较高的识别结果自动予以确认，置信度低的目标人工确认。在该步骤中，用到卷积层、池化层、全连接层，都是基于步骤(3)中，已经调整好权值的卷积层、池化层、全连接层的。在这里，最后对于负样本会输出送入到训练模型中再次训练，从而不断的优化训练模型。
另外，更具体的，步骤(3)中：
Fast R-CNN神经网络：分为卷积层、池化层、全连结层。卷积层的神经元只对相邻的2*2像素的灰度值带权求和并触发信号到下一层，这一层作用就是泛化图像细节。池化层的神经元只对选区内的卷积层结果作神经元卷积计算，每个选区都会产生一个固定长度的特征向量，这一层的作用就是降低卷积层的采样个数扩展每个采样的特征向量的维数。全连结层的每个神经元将池化层输出的所有特征向量全部连接进行卷积运算，输出分类结果。
样本训量就是确定每个神经元的输入端的权值w，最初的权值是随机设定。然后从输入端逐个输入样本，经过卷积层、池化层、全连结层计算等到一个分类结果的估计值R^,但是R^与实际结果R存偏差E。于是用这个E去改正改正每个神经元的输入端的权值。同样用下一个样本继续改正每个神经元的输入端的权值，直至用尽测试集中的所有样本，这样就完成了样本训练。
训练集中的图像：本发明训练集中图像来源有三处，1、DOTA，2、人工勾绘过的DOM，3、人工分割的负样本。
图片旋平：同一张图片经过不同的旋转可以产生多个样本，为了保持样本与旋转无关的特性且防止过度拟合，将图片沿灰度的最小转动惯量的方向旋转到水平方向。
人工分割负样本：样本图片内目标有重复、背景干扰大、目标不突出时，目标监测出现错误，这种样本叫负样本。负样本需要被重新截图、旋转，生成新样本。负样本也需要训练，因为以前被作为正样本输入，导致以前训练样本犯了错，现在要删除影响。
步骤(6)中，获取候选区域，本发明采用的手段为步骤(61)-(67)。
步骤(7)中，图像检测，本发明采用的手段为步骤(71)-(76)，步骤(75)中提到了回归层。回归层就是利用池化层向量，求出目标边框坐标。
设样本经过池化层输出向量为PkX1,X2nX1为n个点的边界坐标组成的向量：
A2nXk为回归系数矩阵，B2nX1为常数矩阵，
回归表达式为X2nX1＝A2nXk PkX1+B2nX1
在检测阶段上述表达A2nXk和B2nX1为已知，上述表达式用于确定目标的多边形边框坐标；在训练时PKX1和X2nX1为已知，在大量样本的支持下，采用多元回归法求参数A2nXk和B2nX1。
与现有技术相比，本发明的优点在于：本发明根据油气管道的巡护具有固定区域、周期性采集影像的特定对Faster R-CNN检测技术作了改善，从而使本发明具有以下优点：
(1)开创对监测影像中的信息自动挖掘的，节约了人力成本。
(2)通过自动学习，系统运行时间越长自动检测能力愈强。
(3)系统自动学习掌握的技能可以复制到其他单位，有利于技术推广。
(4)通过自动目标检测持续获取客观、可靠的目标变化信息，为管道完整性管理提供数据支持。
(5)通过保存目标、样本的存储，可以释放海量原始影像、视频信息，节约存储空间。
Faster R-CNN检测技术的改进主要体现在：
(1)不直接对照片影像进行目标检测，而是先将照片制成固定比例尺和分辨率的数字正射影像数据DOM，优点如下：
a.经过正射纠正后统一了影像的尺度和方向,使影像的特征更加稳定，加快机器学习速度。
b.经过正射纠正后使每个像素都应空间参考，不同时间的图像可以直接比较，不需要在数以百计的平方公里的历史库中查找对应图像。
(2)对样本和目标的方向不是采取自由放任，而是自我定向。优点如下：
a.使样本和目标特征与拍摄采集的角度无关，使计算机视觉能够排除目标转动形成的干扰。
b.在没采用旋平技术时必须进行样本增强，也就是将每个样本按多个角度旋转制成多个样本。采取自我定向后，节省了样本增强的工作量、样本存储空间、训练时间。
(3)根据图象变化产生候选区域，并非采用selective search或是RPN，优点如下：
a.selective search产生候选区域的困难是难以确定向量相似度准则，对于纹理相似，以及多元纹理结构相似都没有效准则可用。RPN是采用提名区域金字塔网络，采用大量比例和方向网格试探，但是仍然存在选区漏洞。本发明利用相邻周期的变化区域作为提名区域不仅速度快，而且稳定好，提名区域数量较少。由于目标基本上是整体运动、或整体变化，所以变化区作为目标区域可行的。
b.变化区域是仅仅包含目标的多边形，基本上排除了背景目标造成的干扰，有利于提取高质量的特征向量。selective search和RPN都采用矩形区域作为候选区域，机器识别同一类目标时需要大量的样本学习才能抑制背景干扰。
附图说明
图1为本发明流程图；
图2为图1中样本训练流程图；
图3为图1中图像检测流程图；
图4为图1中获取候选选区流程图；
图5为实施例3施工期初次采集后的DOM图；
图6为实施例3中竣工图像。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1-图4，一种基于固定区域周期性图像采集的目标检测方法，包括以下步骤：
(1)初始采集：对一管道线路进行初次航空摄影测量，生成数字表面模型DSM、数字正射影像数据DOM；
(2)人工标定：在DOM上勾绘像控点、和感兴趣目标，记录像控点的坐标和SURF特征向量，记录感兴趣目标的类型和范围，全部保存到数据库中；
(3)样本训练：选择DOTA数据集、和(2)中勾绘过的DOM作为训练集，采用Fast R-CNN神经网络对训练集进行训练，调整其卷积层、池化层、全连接层的权值，得到训练模型，所述训练模型能识别感兴趣目标、输出其类型和置信度；
(4)监测采集：设置摄影周期，定期对管道线路进行航空摄影测量，每次测量得到监测影像集；
(5)重新生成DOM：从监测影像集中提取数个SURF特征向量，在数据库中查找其对应的像控点，得到数个像控点后，采用后方交会法重新生成本次摄影周期的DOM；
(6)获取候选区域：将本次周期的DOM与上一周期的DOM进行对比，查找变化的区域，作为候选区域输出；
(7)图像检测：
(71)输入本次周期的DOM，送入经步骤(2)调整好权值的卷积层中做卷积运算，得到DOM映射图像；
(72)将步骤(6)得到的候选区域，进行选区旋转检测，计算候选区域内图像沿灰度的最小转动惯量的方向；
(73)重采样：在DOM映射图像中，找到与候选区域对应的区域，将其旋平；
(74)将(73)得到的区域送入经步骤(2)调整好权值的池化层中做池化运算；
(75)池化运算后的区域，分别送入全连接层和回归层，在全连接层中，处理后输出感兴趣目标的类型和置信度，在回归层中，求出区域的边界坐标，用于准确定位；
(76)设置置信度阈值，低于阈值的标记为负样本，进行人工分割，形成新样本，将新样本送入步骤(3)中训练，优化训练模型。
实施例2：参见图1到图4：本实施例在实施例1的基础上进行进一步改进，具体的：所述感兴趣目标包括植被、水体、道路、房屋、独立地物、和/或管道及其附属物。
步骤(3)中样本训练具体为：(31)将DOTA数据集、和(2)中勾选过候选区的DOM作为训练集，选择训练集中的样本图片，依次送入Fast R-CNN神经网络；
(32)样本图片在Fast R-CNN神经网络中，经图片旋平、卷积层、池化层、全连接层后，输出类型和置信度；
(33)设置置信度阈值，低于阈值标记为负样本，其余为正样本；
(34)将负样本进行人工分割，形成新样本；
(34)将新样本送入Fast R-CNN神经网络中，重复步骤(32)-(34)，直至输出正样本；
(35)训练集中样本图片用尽，完成样本训练，得到训练模型。
步骤(6)具体包括以下步骤：
(61)获取本次DOM，及上一周期的DOM；
(62)分别对最新DOM和上一次的DOM进行均值滤波，滤除影像灰度的高频部分；
(63)分块比较相似度：按相同的网格分别把两张DOM分成1000块，每一块都有最新影像N和上次影像L，用N的全部灰度组成向量NP，L的全部灰度也组成向量LP，求LP与NP夹角的余弦作为相似度；
(64)作相似度直方图，确定相似度阈值：统计每个相似度的块数，再按相似度由大到小排序，按相似度由大到小，依次序累加相似度的块个数，当个数刚超过800的时候遇到的相似度作为相似度阈值；
(65)继续细分不相似的块：将相似度小于相似度阈值的块标记为不相似，其余为相似，将不相似的块，分为2*2块，继续计算相似度，相似度小于相似度阈值的块标记为不相似，其余为相似，直到不相似的块像素小于3*3为止；
(66)合并相邻不相似块：将相邻连成一片的不相似块被作为一个候选区域；
(67)输出候选区域：沿逆时针方向提取每个候选区域的边界坐标，形成单个候选区域的坐标数据，将所有候选区域坐标数据输出。
实施例3：参见图5和图6，我们针对一条具体的管道项目来进行描述，本实施例中，初次采集的数字正射影像数据DOM如图5。图5中能看出，管道已经焊接、等待下沟。且图5中的目标已经人工勾绘范围且标定了类型。
此时，我们设置竣工后为下一次拍摄周期，所以竣工后，我们按照实施例1的步骤(4)(5)(6)，重新生成DOM。并输出候选区域。在这里，变化的区域由计算机自动勾绘，且只标注了变化部分的范围和类型变化情况。
然后再进行步骤(7)图像检测，检测时，会在步骤(76)标记负样本，输出负样本表格如下：
表1：负样本判定表
由于有很多的负样本，所以我们对负样本进行人工分割，形成新样本，将新样本送入步骤(3)中训练，优化训练模型。
采用本发明方法，我们第一次重复检测正确率达到50％，还有50％需要机器继续学习。本实施例影像分辨率比DOTA高一个数量级，且DOTA的数据集合主要采集环境是港口、机场、体育场，且样本绝大多数为车辆、飞机、轮船，DOTA数据集对本实施例作用不大。
可以预见在管道后期的监测中，至少有50％的目标会提交给人工识别，同类目标至少要出现7个样本以上，机器才有自动检测目标能力。对缺乏形状特征的目标识别能力较弱，这也会增加人工识别的工作量。
本发明中，对变化区域发现能力较强可达到80％，能够满足自动发现异常目标的需求。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于固定区域周期性图像采集的目标检测方法，其特征在于：包括以下步骤：
（1）初始采集：对一管道线路进行初次航空摄影测量，生成数字表面模型DSM、数字正射影像数据DOM；
（2）人工标定：在DOM上勾绘像控点和感兴趣目标，记录像控点的坐标和SURF特征向量，记录感兴趣目标的类型和范围，全部保存到数据库中；
（3）样本训练：选择DOTA数据集和（2）中勾绘过的DOM作为训练集，采用Fast R-CNN神经网络对训练集进行训练，调整其卷积层、池化层、全连接层的权值，得到训练模型，所述训练模型能识别感兴趣目标、输出其类型和置信度；
（4）监测采集：设置摄影周期，定期对管道线路进行航空摄影，每次测量得到监测影像集和曝光点坐标；
（5）重新生成DOM：从监测影像集中提取数个SURF特征向量，在数据库中查找其对应的像控点，得到数个像控点后，采用后方交会法重新生成本次摄影周期的DOM；
（6）获取候选区域：将本次周期的DOM与上一周期的DOM进行对比，查找变化的区域，作为候选区域输出；
（7）图像检测：
（71）输入本次周期的DOM，送入经步骤（3）调整好权值的卷积层中做卷积运算，得到DOM映射图像；
（72）将步骤（6）得到的候选区域，进行选区旋转检测，计算候选区域内图像沿灰度的最小转动惯量的方向；
（73）重采样：在DOM映射图像中，找到与候选区域对应的区域，将其沿灰度的最小转动惯量的方向旋平；
（74）将（73）得到的区域送入经步骤（3）调整好权值的池化层中做池化运算；
（75）池化运算后的区域，分别送入全连接层和回归层，在全连接层中，处理后输出感兴趣目标的类型和置信度，在回归层中，求出区域的边界坐标，用于准确定位；
（76）设置置信度阈值，低于阈值的标记为负样本，进行人工分割，形成新样本，将新样本送入步骤（3）中训练，优化训练模型。
2.根据权利要求1所述的一种基于固定区域周期性图像采集的目标检测方法，其特征在于：所述感兴趣目标包括植被、水体、道路、房屋、独立地物、和/或管道及其附属物。
3.根据权利要求1所述的一种基于固定区域周期性图像采集的目标检测方法，其特征在于：所述样本训练具体为：
（31）将DOTA数据集和（2）中勾选过候选区的DOM作为训练集，选择训练集中的样本图片，依次送入Fast R-CNN神经网络；
（32）样本图片在Fast R-CNN神经网络中，经图片旋平、卷积层、池化层、全连接层后，输出类型和置信度；
（33）设置置信度阈值，低于阈值标记为负样本，其余为正样本；
（34）将负样本进行人工分割，形成新样本；
（35）将新样本送入Fast R-CNN神经网络中，重复步骤（32）-（34），直至输出正样本；
（36）训练集中样本图片用尽，完成样本训练，得到训练模型。
4.根据权利要求1所述的一种基于固定区域周期性图像采集的目标检测方法，其特征在于：所述步骤（6）具体包括以下步骤：
（61）获取本次DOM，及上一周期的DOM；
（62）分别对最新DOM和上一次的DOM进行均值滤波，滤除影像灰度的高频部分；
（63）分块比较相似度：按相同的网格分别把两张DOM分成1000块，每一块都有最新影像N和上次影像L，用N的全部灰度组成向量NP，L的全部灰度也组成向量LP，求LP与NP 夹角的余弦作为相似度；
（64）作相似度直方图，确定相似度阈值：统计每个相似度的块数，再按相似度由大到小排序，按相似度由大到小，依次序累加相似度的块个数，当个数刚超过800的时候遇到的相似度作为相似度阈值；
（65）继续细分不相似的块：将相似度小于相似度阈值的块标记为不相似，其余为相似，将不相似的块，分为2*2块，继续计算相似度，相似度小于相似度阈值的块标记为不相似，其余为相似，直到不相似的块像素小于3*3为止；
（66）合并相邻不相似块：将相邻连成一片的不相似块被作为一个候选区域；
（67）输出候选区域：沿逆时针方向提取每个候选区域的边界坐标，形成单个候选区域的坐标数据，将所有候选区域坐标数据输出。
CN202010282576.7A 2020-04-12 2020-04-12 一种基于固定区域周期性图像采集的目标检测方法 Active CN111723643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282576.7A CN111723643B (zh) 2020-04-12 2020-04-12 一种基于固定区域周期性图像采集的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282576.7A CN111723643B (zh) 2020-04-12 2020-04-12 一种基于固定区域周期性图像采集的目标检测方法

Publications (2)

Publication Number Publication Date
CN111723643A CN111723643A (zh) 2020-09-29
CN111723643B true CN111723643B (zh) 2024-03-01

Family

ID=72564106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282576.7A Active CN111723643B (zh) 2020-04-12 2020-04-12 一种基于固定区域周期性图像采集的目标检测方法

Country Status (1)

Country Link
CN (1) CN111723643B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965812B (zh) * 2022-12-13 2024-01-19 桂林理工大学 无人机影像对湿地植被物种和地物分类的评估方法
CN117523501B (zh) * 2024-01-04 2024-03-15 四川省铁路建设有限公司 一种管线巡检机器人控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135354A (zh) * 2019-05-17 2019-08-16 武汉大势智慧科技有限公司 一种基于实景三维模型的变化检测方法
JP2020027405A (ja) * 2018-08-10 2020-02-20 コニカミノルタ株式会社 物体検出プログラム、および物体検出装置
CN110837839A (zh) * 2019-11-04 2020-02-25 嘉兴职业技术学院 一种高精度无人机正射影像制作及数据采集方法
RU2716477C1 (ru) * 2019-05-30 2020-03-11 Дмитрий Михайлович Михайлов Система мониторинга лесопользования и лесопатологических изменений

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027405A (ja) * 2018-08-10 2020-02-20 コニカミノルタ株式会社 物体検出プログラム、および物体検出装置
CN110135354A (zh) * 2019-05-17 2019-08-16 武汉大势智慧科技有限公司 一种基于实景三维模型的变化检测方法
RU2716477C1 (ru) * 2019-05-30 2020-03-11 Дмитрий Михайлович Михайлов Система мониторинга лесопользования и лесопатологических изменений
CN110837839A (zh) * 2019-11-04 2020-02-25 嘉兴职业技术学院 一种高精度无人机正射影像制作及数据采集方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘文华 ; 刘洋 ; 李宁 ; .智能识别算法在无人机巡线中的应用研究.中国管理信息化.2018,(第11期),全文. *
王万国 等.基于RCNN的无人机巡检图像电力小部件识别研究.地球信息科学学报.2017,(第02期),全文. *

Also Published As

Publication number Publication date
CN111723643A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN108109437B (zh) 一种基于地图特征的无人机自主航线提取生成方法
CN112800911B (zh) 一种路面损伤快速检测及自然数据集构建方法
CN107885795B (zh) 一种卡口数据的数据校验方法、系统和装置
CN107527328B (zh) 一种兼顾精度与速度的无人机影像几何处理方法
US20160133008A1 (en) Crack data collection method and crack data collection program
CN111723643B (zh) 一种基于固定区域周期性图像采集的目标检测方法
EP3023912A1 (en) Crack data collection apparatus and server apparatus to collect crack data
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110894704A (zh) 一种基于无人机的公路路面病害的定位方法
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN116539004A (zh) 一种采用无人机测绘的通信线路工程勘察设计方法与系统
CN116448773B (zh) 一种图像-振动特征融合的路面病害检测方法及系统
CN114241332A (zh) 一种基于深度学习的固废场识别方法、装置以及存储介质
CN113486779A (zh) 输电线路全景智能巡检系统
CN109883400B (zh) 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN111460866B (zh) 车道线检测及驾驶控制方法、装置和电子设备
Feng et al. Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection
CN111476062A (zh) 车道线检测方法、装置、电子设备及驾驶系统
CN110636248A (zh) 目标跟踪方法与装置
Saifizi et al. Using Unmanned Aerial Vehicle in 3D Modelling of UniCITI Campus to Estimate Building Size
CN115294040A (zh) 基于DDRNets的路面裂痕检测方法、无人机、计算机可读介质
CN110969875B (zh) 一种用于道路交叉口交通管理的方法及系统
Sun et al. UAV photogrammetry-based accident assessment road condition analysis using image classification
CN113159089A (zh) 一种路面损伤识别方法、系统、计算机设备和存储介质
Fakhri et al. Comparison of UAV image spatial resolution based on the Siemens star target

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant