CN109492586B - 一种基于人工智能和无人机的移动通信维护对象检测方法 - Google Patents

一种基于人工智能和无人机的移动通信维护对象检测方法 Download PDF

Info

Publication number
CN109492586B
CN109492586B CN201811336709.3A CN201811336709A CN109492586B CN 109492586 B CN109492586 B CN 109492586B CN 201811336709 A CN201811336709 A CN 201811336709A CN 109492586 B CN109492586 B CN 109492586B
Authority
CN
China
Prior art keywords
aim
image
cls
mobile communication
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811336709.3A
Other languages
English (en)
Other versions
CN109492586A (zh
Inventor
郭立强
黄志军
马启亮
朱文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changxun Communications Services Co Ltd
Original Assignee
Changxun Communications Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changxun Communications Services Co Ltd filed Critical Changxun Communications Services Co Ltd
Priority to CN201811336709.3A priority Critical patent/CN109492586B/zh
Publication of CN109492586A publication Critical patent/CN109492586A/zh
Application granted granted Critical
Publication of CN109492586B publication Critical patent/CN109492586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Abstract

本发明提供一种基于人工智能和无人机的移动通信维护对象检测方法，所述方法包括：采集各种移动通信维护对象的整体图像；设相机光轴与水平面夹角为θh，其采集的图像应围绕着对象垂直中线旋转一周，并涵盖仰视范围θh∈(0,θtu]、俯瞰范围θh∈(0,θtd]、平视θh＝0；在所有训练图像中标记上对象的范围、对象的类型，并计算出实际对象的长度、高度等物理参数；将所有已标注完成的图像输入Faster‑RCNN中通过响应图像的预测值与响应图像之间的交叉熵；区域预测值、真实值交叉熵作为loss函数进行训练；将检测图像输入训练完成的卷积神经网络，网络将输出有检测对象的范围
Figure DDA0001861378240000011
检测对象类型
Figure DDA0001861378240000012
检测对象物理参数
Figure DDA0001861378240000013

Description

一种基于人工智能和无人机的移动通信维护对象检测方法
技术领域
本发明涉及移动通信维护对象检测，尤其涉及人工智能和无人机的移动通信维护对象检测方法。
背景技术
移动通信设备维护需要周期性进行巡检与维护，传统通过人工周期性巡检来解决，这耗费大量人力物力，尤其对于部分设立于荒山野外的移动通信设备还可能导致巡检人员人身危险。
无人机使得远程巡检成为可能，若与人工智能相结合，还能实现巡检的自动化、智能化。本发明基于深度学习能有效地检出各种移动通信维护对象，输出在图像中存在维护对象的种类、位置与规格尺寸；提出的样本构建方法、改进的loss函数，能有效在小样本量下训练出准确识别各种移动通信维护对象的网络。
发明内容
为解决上述存在的问题与缺陷，本发明基于深度学习能有效地检出各种移动通信维护对象，输出在图像中存在维护对象的种类、位置与规格尺寸；提出的样本构建方法、改进的loss函数，能有效在小样本量下训练出准确识别各种移动通信维护对象的网络。
本发明的目的通过以下的技术方案来实现：
一种基于人工智能和无人机的移动通信维护对象检测方法，该方法包括如下步骤：
步骤A采集各种移动通信维护对象的整体图像；设相机光轴与水平面夹角为θh，采集的图像围绕着对象垂直中线旋转一周，并涵盖仰视范围θh∈(0,θtu]、俯瞰范围θh∈(0,θtd]及平视θh＝0；
步骤B若总共有Ncls种需要识别的对象，在所有训练图像中标记上对象的范围Aim＝(xst,yst,xend,yend)、对象的类型
Figure BDA0001861378220000021
并计算出实际对象的长度与高度物理参数为Paim＝(haim,vaim)，在每张标注完成的图像上保留下所有参数S＝{Iim,Aim,pcls,Paim}；
步骤C将所有已标注完成的图像输入Faster-RCNN中进行训练，训练的输入为图像Iim，目标为由Aim、pcls构成的响应图像Iaim，训练输出为响应图像的预测值
Figure BDA0001861378220000022
通过响应图像的预测值
Figure BDA0001861378220000023
与响应图像Iaim之间的交叉熵
Figure BDA0001861378220000024
与区域预测值、真实值交叉熵
Figure BDA0001861378220000025
作为loss函数
Figure BDA0001861378220000026
进行训练；
步骤D将检测图像输入训练完成的卷积神经网络，网络将输出有检测对象的范围
Figure BDA0001861378220000027
检测对象类型
Figure BDA0001861378220000028
检测对象物理参数
Figure BDA0001861378220000029
本发明有益效果是：
基于深度学习能有效地检出各种移动通信维护对象，输出在图像中存在维护对象的种类、位置与规格尺寸；提出的样本构建方法、改进的loss函数，能有效在小样本量下训练出准确识别各种移动通信维护对象的网络。
附图说明
图1是本发明所述的基于人工智能和无人机的移动通信维护对象检测方法流程框图；
图2是本发明所述的移动通信维护对象仰视平视样本示意图；
图3是本发明所述的移动通信维护对象俯视平视样本示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述。
本发明是一种基于人工智能和无人机的移动通信维护对象检测方法，如图1所示，该方法包括如下步骤：
步骤10样本采集，采集各种移动通信维护对象的整体图像；设相机光轴与水平面夹角为θh，其采集的图像应围绕着对象垂直中线旋转一周，并涵盖仰视范围θh∈(0,θtu](如图2所示，范围如(0,0]、(0,15]、(0,30]、(-30,0]、 (-30,15]、(0,30]、(-60,0]、(-60,15]、(60,30]等)、俯瞰范围θh∈(0,θtd] (如图3，范围如(0,-15]、(0,-30]、(0,-45]、(0,-60]、(-30,-15]、(-30,-30]、 (-30,-45]、(-30,-60]、(-60,-15]、(-60,-30]、(-60,-45]、(-60,-60]等)、平视θh＝0(如图2)；
步骤20样本标注阶段；若总共有Ncls种需要识别的对象，由人工在所有训练图像中标记上对象的范围Aim＝(xst,yst,xend,yend)、对象的类型
Figure BDA0001861378220000038
并计算出实际对象的长度、高度等物理参数为 Paim＝(haim,vaim)，则在每张标注完成的图像上最终保留下所有参数 S＝{Iim,Aim,pcls,Paim}。
若总共有Ncls种需要识别的对象，则加上非识别对象的背景，在算法中有Ncls+1种需要识别的模式；pcls为Ncls+1维单位向量，
Figure BDA0001861378220000037
其具体为：
Figure BDA0001861378220000031
并计算出实际对象的长度、高度、长高比等物理参数为Paim＝(haim,vaim,raim)，
Figure BDA0001861378220000032
则在每张标注完成的图像上最终保留下所有参数为 S＝{Iim,Aim,pcls,Paim}＝{Iim,(xst,yst,xend,yend),pcls,(haim,vaim,raim)}，它描述了图像中在什么范围存在检测对象，是哪种检测对象，该对象物参数如何。
步骤30网络训练阶段；将所有已标注完成的图像输入Faster-RCNN中进行训练，训练的输入为图像Iim，目标为由Aim、pcls构成的响应图像Iaim，训练输出为响应图像的预测值
Figure BDA0001861378220000033
通过响应图像的预测值
Figure BDA0001861378220000034
与响应图像Iaim之间的交叉熵
Figure BDA0001861378220000035
与区域预测值、真实值交叉熵
Figure BDA0001861378220000036
作为loss函数
Figure BDA0001861378220000041
进行训练；
Figure BDA0001861378220000042
步骤40网络使用阶段；将检测图像输入训练完成的卷积神经网络，网络将输出有检测对象的范围
Figure BDA0001861378220000043
检测对象类型
Figure BDA0001861378220000044
检测对象物理参数
Figure BDA0001861378220000045
Figure BDA0001861378220000046
虽然本发明所揭露的实施方式如上。但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (3)

1.一种基于人工智能和无人机的移动通信维护对象检测方法，其特征在于，所述方法包括样本采集阶段，样本标注阶段，网络训练阶段和网络使用阶段；所述方法具体包括如下步骤：
步骤A采集各种移动通信维护对象的整体图像；设相机光轴与水平面夹角为θh，采集的图像围绕着对象垂直中线旋转一周，并涵盖仰视范围θh∈(0,θtu]、俯瞰范围θh∈(0,θtd]、平视θh＝0；
步骤B若总共有Ncls种需要识别的对象，在所有训练图像中标记上对象的范围Aim＝(xst,yst,xend,yend)、对象的类型
Figure FDA00031265335900000114
并计算出实际对象的长度与高度物理参数为Paim＝(haim,vaim)，在每张标注完成的图像上保留下所有参数S＝{Iim,Aim,pcls,Paim}；
步骤C将所有已标注完成的图像输入Faster-RCNN中进行训练，训练的输入为图像Iim，目标为由Aim、pcls构成的响应图像Iaim，训练输出为响应图像的预测值
Figure FDA0003126533590000011
通过响应图像的预测值
Figure FDA0003126533590000012
与响应图像Iaim之间的交叉熵
Figure FDA0003126533590000013
与区域预测值、真实值交叉熵
Figure FDA0003126533590000014
作为loss函数
Figure FDA0003126533590000015
进行训练；
步骤D将检测图像输入训练完成的卷积神经网络，网络将输出有检测对象的范围
Figure FDA0003126533590000016
检测对象类型
Figure FDA0003126533590000017
检测对象物理参数
Figure FDA0003126533590000018
所述步骤C中：通过响应图像的预测值
Figure FDA0003126533590000019
与响应图像Iaim之间的交叉熵
Figure FDA00031265335900000110
区域预测值Aim、真实值
Figure FDA00031265335900000111
的交叉熵
Figure FDA00031265335900000112
loss函数
Figure FDA00031265335900000113
的计算方法为：
Figure FDA0003126533590000021
2.如权利要求1所述的基于人工智能和无人机的移动通信维护对象检测方法，其特征在于，所述步骤B中：
若总共有Ncls种需要识别的对象，则加上非识别对象的背景，在算法中有Ncls+1种需要识别的模式；pcls为Ncls+1维单位向量，
Figure FDA0003126533590000028
其具体为：
Figure FDA0003126533590000022
并计算出实际对象的长度、高度、长高比等物理参数为Paim＝(haim,vaim,raim)，
Figure FDA0003126533590000023
则在每张标注完成的图像上最终保留下所有参数为S＝{Iim,Aim,pcls,Paim}＝{Iim,(xst,yst,xend,yend),pcls,(haim,vaim,raim)}，它描述了图像中在什么范围存在检测对象，是哪种检测对象及检测对象物参数如何。
3.如权利要求1所述的基于人工智能和无人机的移动通信维护对象检测方法，其特征在于，所述步骤D中：检测对象的范围
Figure FDA0003126533590000024
检测对象类型
Figure FDA0003126533590000025
检测对象物理参数
Figure FDA0003126533590000026
包括如下参数；
Figure FDA0003126533590000027
共同描述了在图像中什么位置存在哪种维护对象及具体规格尺寸如何。
CN201811336709.3A 2018-11-12 2018-11-12 一种基于人工智能和无人机的移动通信维护对象检测方法 Active CN109492586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811336709.3A CN109492586B (zh) 2018-11-12 2018-11-12 一种基于人工智能和无人机的移动通信维护对象检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811336709.3A CN109492586B (zh) 2018-11-12 2018-11-12 一种基于人工智能和无人机的移动通信维护对象检测方法

Publications (2)

Publication Number Publication Date
CN109492586A CN109492586A (zh) 2019-03-19
CN109492586B true CN109492586B (zh) 2021-08-17

Family

ID=65695496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811336709.3A Active CN109492586B (zh) 2018-11-12 2018-11-12 一种基于人工智能和无人机的移动通信维护对象检测方法

Country Status (1)

Country Link
CN (1) CN109492586B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046785B (zh) * 2019-12-10 2023-07-11 长讯通信服务有限公司 一种基于卷积神经网络的无人机巡检视频关键目标识别的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN107222467A (zh) * 2017-05-16 2017-09-29 三维通信股份有限公司 一种移动通信基站全景运维系统的实现方法
CN107644229A (zh) * 2017-08-31 2018-01-30 浙江工业大学 基于多传感器信息融合的室内异常行为检测方法
CN108073854A (zh) * 2016-11-14 2018-05-25 中移(苏州)软件技术有限公司 一种现场巡检的检测方法及装置
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
CN108765389A (zh) * 2018-05-18 2018-11-06 浙江大学 一种微观晶圆表面缺陷图像检测方法
CN108776777A (zh) * 2018-05-25 2018-11-09 武汉理工大学 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755149B2 (en) * 2017-05-05 2020-08-25 Hrl Laboratories, Llc Zero shot machine vision system via joint sparse representations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN108073854A (zh) * 2016-11-14 2018-05-25 中移(苏州)软件技术有限公司 一种现场巡检的检测方法及装置
CN107222467A (zh) * 2017-05-16 2017-09-29 三维通信股份有限公司 一种移动通信基站全景运维系统的实现方法
CN107644229A (zh) * 2017-08-31 2018-01-30 浙江工业大学 基于多传感器信息融合的室内异常行为检测方法
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
CN108765389A (zh) * 2018-05-18 2018-11-06 浙江大学 一种微观晶圆表面缺陷图像检测方法
CN108776777A (zh) * 2018-05-25 2018-11-09 武汉理工大学 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Fast and Accurate, Convolutional Neural Network Based Approach for Object Detection from UAV》;Xiaoliang Wang等;《arXiv》;20180816;第1-5页 *
《卫星通信在无人机监管中的应用》;于春雷;《科技传播》;20171130;第9卷(第22期);第100-101页 *
《基于无人机航拍图像的公路标线检测算法》;王立春 等;《计算机技术与发展》;20180930;第28卷(第09期);第138-142页 *
《移动运营商全业务工程项目管理模式优化对策》;朱文宇;《通讯世界》;20170331(第06期);第73-74页 *

Also Published As

Publication number Publication date
CN109492586A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN113744270B (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
US20200320659A1 (en) Segmentation and prediction of low-level temporal plume patterns
CN108334844B (zh) 一种输电线路巡检的沿线自动跟踪方法
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
GB2569751A (en) Static infrared thermal image processing-based underground pipe leakage detection method
CN112183788A (zh) 一种域自适应设备运检系统和方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN107527037A (zh) 基于无人机遥感数据的蓝藻识别与分析系统
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN109815800A (zh) 基于回归算法的目标检测方法及系统
CN112395972B (zh) 一种基于无人机图像处理的电力系统绝缘子串识别方法
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN111597901A (zh) 非法广告牌监控方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
Fondevik et al. Image segmentation of corrosion damages in industrial inspections
CN109492586B (zh) 一种基于人工智能和无人机的移动通信维护对象检测方法
CN107274374B (zh) 一种基于计算机视觉技术的烟雾监测方法
CN114187511A (zh) 一种输电全景大数据智能监控方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN106023199A (zh) 一种基于图像分析技术的烟气黑度智能检测方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN111340772A (zh) 一种基于移动终端的钢筋混凝土桥梁损伤检测系统及方法
CN111597900A (zh) 非法遛狗识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant