CN113033355B - 一种基于密集输电通道的异常目标识别方法和装置 - Google Patents
一种基于密集输电通道的异常目标识别方法和装置 Download PDFInfo
- Publication number
- CN113033355B CN113033355B CN202110265524.3A CN202110265524A CN113033355B CN 113033355 B CN113033355 B CN 113033355B CN 202110265524 A CN202110265524 A CN 202110265524A CN 113033355 B CN113033355 B CN 113033355B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- optical fiber
- vision
- suspicious
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 67
- 230000005540 biological transmission Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013307 optical fiber Substances 0.000 claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 11
- 238000002834 transmittance Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001994 activation Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于密集输电通道的异常目标识别方法和装置，所述方法包括：接收视觉装置、光纤装置和雷达装置发送的探测到的图像；若在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；对存在所述可疑目标的图像进行图像增强；基于预设的端到端卷积神经网络模型获取进行图像增强后的图像中可疑目标的位置信息以及置信度；若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标，向云端服务器发送检测到异常目标的消息，并在所述消息中携带异常目标的位置信息。该方法能够提高密集输电通道中识别异常目标的时效性。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于密集输电通道的异常目标识别方法和装置。
背景技术
密集输电通道是重要电力能源专线枢纽，输电线路作为电力系统的重要组成部分，承担着电能传输的重要功能，为整个地区提供电力支持，一旦遭破坏，后果不堪设想。因此输电通道的监控、预警及处理系统是其重要的、不可分割的组成部分，它直接关系到输电通道安全、高效的运转。
目前，主要通过可视化系统来进行监控，工作人员通过查看监控分析现场的情况，当发现异常目标时，发出警报并使得相关人员前往现场进行处理。
密集输电通道的监控对实时性还有着极高的要求。但是由于输电线路输送距离长，覆盖面积广等因素，将大量的视频数据传送数据中心会占据大量带宽，会产生相当高的延时，高延时也就意味着不能及时进行处理异常情况，给输电通道的可靠探测带来极大挑战。
如何提高对密集输电通道的异常目标识别的时效性，是亟待解决的技术问题。
发明内容
有鉴于此，本申请提供一种基于密集输电通道的异常目标识别方法和装置，能够提高密集输电通道中识别异常目标的时效性。
为解决上述技术问题，本申请的技术方案是这样实现的：
在一个实施例中，提供了一种基于密集输电通道的异常目标识别方法，应用于针对高架塔部署边缘装置、视觉装置、光纤装置和雷达装置的密集输电通道中的边缘装置上；所述方法包括：
接收视觉装置、光纤装置和雷达装置发送的探测到的图像；
若在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；
对存在所述可疑目标的图像进行图像增强；
基于预设的端到端卷积神经网络模型获取进行图像增强后的图像中可疑目标的位置信息以及置信度；
若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标，向云端服务器发送检测到异常目标的消息，并在所述消息中携带异常目标的位置信息。
在另一个实施例中，提供了一种基于密集输电通道的异常目标识别装置，针对密集输电通道中的每个高架塔部署边缘装置、视觉装置、光纤装置和雷达装置；所述边缘装置与所述识别装置为同一装置；所述装置包括：接收单元、分析单元、控制单元、处理单元、识别单元和发送单元；
所述接收单元，用于接收视觉装置、光纤装置和雷达装置发送的探测到的图像；
所述分析单元，用于当所述接收单元接收到图像时，分析探测到的图像中是否发现可疑目标；
所述控制单元，用于若所述分析单元在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；
所述处理单元，用于对所述分析单元分析存在所述可疑目标的图像进行图像增强；
所述识别单元，用于基于预设的端到端卷积神经网络模型获取所述处理单元进行图像增强后的图像中可疑目标的位置信息以及置信度；若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标；
所述发送单元，用于向云端服务器发送检测到异常目标的消息，并在所述消息中携带所述识别单元识别出的异常目标的位置信息。
在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于密集输电通道的异常目标识别方法的步骤。
在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于密集输电通道的异常目标识别方法的步骤。
由上面的技术方案可见，上述实施例中通过在密集输电通道中增加边缘装置、视觉装置、光纤装置和雷达装置，能够通过多种检测方式收集多种图像数据，通过增加的边缘装置基于获取的多种图像数据识别异常目标，并在识别出异常目标时通知云端服务器。该方案能够提高密集输电通道中识别异常目标的时效性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中基于密集输电通道的异常目标识别系统示意图；
图2为ROS分布式网络示意图；
图3为socket数据发送示意图；
图4为socket数据接收示意图；
图5为本申请实施例中基于密集输电通道的异常目标识别流程示意图；
图6为多留扩张残差稠密网络示意图；
图7为本申请实施例中应用于上述技术的装置结构示意图；
图8为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施例中提供一种基于密集输电通道的异常目标识别方法，通过在密集输电通道中增加边缘装置、视觉装置、光纤装置和雷达装置，能够通过多种检测方式收集多种图像数据，通过增加的边缘装置基于获取的多种图像数据识别异常目标，并在识别出异常目标时通知云端服务器。该方案能够提高识别异常目标的时效性。
本申请实施例中针对密集输电通道中的每个高架塔部署一个边缘装置、视觉装置、光纤装置和雷达装置。
具体实现时，有多少个高架台可以部署多少个边缘装置、视觉装置、光纤装置和雷达装置为宜，也可以根据实际应用场景确定一个密集输电通道中的边缘装置、视觉装置、光纤装置和雷达装置的个数。
在具体部署时，边缘装置部署可以部署在高架塔上，也可以是任意可以放置所述边缘装置的地方，视觉装置通常通过摄像头实现，可以部署在可以扫描到所在区域的位置，光纤装置和雷达装置通常部署在地面，具体实现时，部署在适宜的地面位置即可。
参见图1，图1为本申请实施例中基于密集输电通道的异常目标识别系统示意图。
图1中以在密集输电通道部署N个边缘装置、视觉装置、光纤装置和雷达装置为例。每组边缘装置、视觉装置、光纤装置和雷达装置中，视觉装置、光纤装置和雷达装置同边缘装置进行通信，边缘装置与云端服务器通信。
边缘装置与视觉装置、光纤装置和雷达装置之间的通信采用机器人操作系统(Robot Operating System，ROS)分布式通信。具体实现如下：
ROS会创建一个连接到所有进程的网络。在系统中的任何节点都可以访问此网络，并通过该网络与其他节点交互，获取其他节点发布的信息，并且将自身数据发布到网络上。ROS的通信节点，称为nodelet。这类特殊节点可以在单个进程中运行多个节点，其中每个nodelet为一个线程(轻量级进程)。这样，可以在不使用ROS网络的情况下与其他节点通信，通信效率更高，并避免网络堵塞。nodelet对于摄像头和3D传感器这类数据传输量非常大的设备特别有用。
参见图2，图2为ROS分布式网络示意图。图2以4个Node为例，在具体实现时视觉装置、光纤装置和雷达装置对应Node a、Node b、Node c，Node对应边缘装置。
边缘装置与云端服务器之间的通信采用基于传输控制协议(TransmissionControl Protocol，TCP)TCP的申请式的协议实现。
传输视频其实也就是传输一幅幅图片，因此接下来的任务就是在云端和边缘服务器之间传输图片。此时，采用申请式的协议，服务器发送一个图片请求，边缘服务器就传送一副图片，如果没有任何请求，服务器将什么也不做。
在系统开始时定义2个事件，分别是对应对socket读和写的事件。
参见图3，图3为socket数据发送示意图；
图3所示的具体流程为监听(Listen)信息，当接收(Accept)到信息后，读取(Read)数据，并进行解码(Decode)操作，并将操作结果显示(Display)。
参见图4，图4为socket数据接收示意图。
图4所示的具体流程为建立连接(Connect)，然后进行数据捕获(Capture)，对捕获的数据进行编码(Encode)，将编码结果写入(Write)，或发送。
当socket创建之后，显然是立马就可以写的(发送数据)，因此我们初始化之后先添加读事件，等待服务器的请求，当收到请求之后，开始处理请求，这个时候把读事件关闭(挂起接收请求的任何)，把写事件打开(开始传输数据)，当传输结束后再把读事件打开、写事件关闭，这样就可以实现有序的传输图片。也就是说socket在传输时，是对socket文件描述符进行写和读，所以在发送端只需把要保存到文件中的数据写进socket文件里，在接收端只需从socket文件中读去数据就行了。
下面结合附图，详细描述本申请实施例中基于密集输电通道的异常目标识别过程。
参见图5，图5为本申请实施例中基于密集输电通道的异常目标识别流程示意图。具体步骤为：
步骤501，边缘装置接收视觉装置、光纤装置和雷达装置发送的探测到的图像。
各探测装置(视觉装置、光纤装置和雷达装置)进行自动巡航扫描，并将扫描到的图像数据发送给边缘装置。
步骤502，该边缘装置若在探测到的图像中发现目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像。
边缘装置处理同一时间收到的三种探测装置发送的图像，如果哪张图像中先出现异常，则确定哪张图像先发现目标，即发送这张图像的探测装置先发现目标，下面针对不同探测装置先发现目标的具体处理给出详细过程。
本步骤中若在探测到的图像中发现目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪，包括：
确定最先发现目标的图像；
若确定最先发现目标的图像由雷达装置发送，则控制雷达装置的雷达天线的扫描方位跟踪目标，并调用视觉装置进行视觉关联取证；
具体实现时，边缘装置通过数据计算需要变动的坐标、变焦情况，生成对应的指令，来控制雷达装置的雷达天线的扫描方位跟踪目标，并调用视觉装置的变焦模块进行视觉关联取证。
若确定最先发现目标的图像由视觉装置发送，则控制所述视觉装置的扫描方位，并通过变焦实现目标多尺度数据获取；
若确定最先发现目标的图像由视觉装置发送，则说明目标为无视距遮挡的目标，直接控制视觉装置进行目标跟踪即可。
若确定最先发现目标的图像由光纤装置发送，则通过所述光纤装置的光纤震动反馈的振动点控制视觉装置进行定点关注，并控制视觉装置启动所视角和变焦成像。
若确定最先发现目标的图像由光纤装置发送，则说明目标被地面视距遮挡，则需要通过光纤振动反馈的振动点控制视觉装置进行定点关注，同时启动多视角和变焦成像，获取目标的更多细节信息。
步骤503，对存在所述可疑目标的图像进行图像增强。
由于密集输电通道部署在露天、野外，尤其是天气恶劣的环境场景中对探测装置会带来极大挑战；尤其在雨、雾的环境下，会使采集的图像可见度下降，对比度不足，明亮度不够等问题，严重影响图像的后续处理。通过图像增强，可极大改善图像的细节和纹理表观特征，对后续异常目标检测任务的提供高质量的图像数据。
下面给出本申请实施例中给出的图像增强的具体实现过程：
对存在所述可疑目标的图像进行图像增强，包括下述之一或任意组合：
基于预设大气散射模型处理所述图像；其中，所述预设大气散射模型针对所述图像所处环境建立；
基于以暗原色先验理论为基础的预设分析模型对所述图像进行处理；
基于预设大气光估算模型对所述图像进行处理；
基于预设滤波模型对所述图像进行处理。
在具体实现时，配置实现使用哪几种或其中一种来进行图像处理实现图像增强根据具体应用场景配置，本申请实施例中对此不进行限制。
其中，针对雪、雾、霾、沙尘等受干扰图像建立预设大气散射模型具体如下：
I(x)＝J(x)t(x)+A(x)(1-t(x)) (1)
其中I表示受干扰图像；J表示无干扰图像；A表示全局大气光；变量t表示介质的传输率；x代表像素空间坐标。因为雾的存在，景物在相机上的成像衰减为J(x)t(x)，投射到相机的大气光幕为V(x)＝A(x)(1-t(x))。
预设分析模型是以暗原色先验理论为基础的雨、雪、雾、霾、沙尘模型分析，具体如下：
在大气散射模型中，由于全局大气光A和透射率t未知，恢复J本身属于一个病态问题。为了求解J，必须设置相关假设或利用部分先验知识。根据大气散射模型式(1)可知：
I(x)≥A(x)(1-t(x)) (2)
根据公式(2)可推导出：
t(x)≥1-I(x)/A(x) (3)
暗原色先验理论指出：在非天空区域的一个邻域内，图像的红、绿、蓝三个通道中存在亮度值接近0的像素，根据此先验知识，同时为了确保去干扰后图像的真实感，式(3)调整为：
t(x)＝1-εminc∈(r,g,b)(miny∈Ω(x)(Ic(y)/Ac(y))) (4)
其中，c代表RGB三个颜色通道；Ω(x)代表以x为中心图像的区域。
预设大气光估算模型的建立具体如下：
根据暗原色先验理论可以估算出透射率，根据式(5)可以完成图像的恢复：
为防止t(x)为0，可设置t0为下限透射率。根据式(5)可知，为了恢复图像，还需要获取全局大气光强A。在全局大气光的估算中，使用四叉树搜索的方法以估算全局大气光，可对暗通道中亮度排序，前0.1％所对应像素点的最大值即为全局大气光。
项目拟采用最大值滤波作为全局大气光的初始值，并对全局图像分块，然后利用Retinex策略求解亮度，最终使用高斯滤波获取分块图像的全局大气光。在采用的Retinex策略中，亮度可以使用有雾图像与环绕函数做卷积运算获取，卷积过程如式(6)所示：
其中，环绕函数拟采用高斯函数G(x，y)。系数L和W表示滑动窗口的大小。在估算亮度时，窗口直接选取为全局图像的尺寸。由于在本项目拟采用分块处理方法，故窗口与分块图像大小相同。对高斯滤波后的分块图像做最大值滤波获取局部大气光ALocal，对分块图像最小值获取暗点像素，局部透射率如式(7)所示：
项目假设分块中各像素点的RGB三通道的大气光相同，取值都为ALocal；同时各像素点的透射率也都为tLocal(x)。
预设滤波模型的建立具体如下：
由于采用分块方式处理图像，块与块之间的大气光和透射率不同，块与块之间亮度不均匀，存在块状现象，边界出现跳跃。为解决此问题，采用导向滤波分别对大气光做平滑处理，对透射率边缘保留滤波。拟构建引导滤波如下：
式中：Ii为导向图像；qi为滤波输出图像；wk为导向图像K像素点邻域窗口。如果为了使输出图像与输入图像接近，同时具备导向图像的纹理特征，必须使得损失函数式(9)差值最小。系数ak和bk通过使用最小二乘法的方法获取。
为平滑图像块之为平滑图像块之间的大气光，将图像块局部的大气光ALocal拼接成完整图像的大气光AGlobal作为输入图像，对全局图像最大值滤波再做高斯滤波，其结果作为导向滤波图像，滤波过程如式(10)所示：
A(x)＝Guidfilter(Gaussian(maxc∈(r,g,b)(maxy∈Ω(x)(Ic(y)))),AGlbal,r,ε) (10)
将图像块局部透率ALocal拼接成完整图像的透射率AGlobal并作为导向滤波图像和输入图像，细化过程如式(11)所示：
t(x)＝Guidfilter(tGlobal(x),tLocal(x),r,ε) (11)
在式(10)和式(11)中，ε的取值一般建议为10-3；r代表滤波半径，该值越大，块状效应消除得越明显，边缘过渡更自然。
若处于雨天，则还需要进行如下图像增强处理，具体如下：
若当前处于雨天探测到的图像，对图像基于多流扩展残差稠密网络进行去雨增强处理。
雨水的存在会改变图像内容和色彩，造成图像成像模糊、图像色彩偏暗等问题。传统的算法建模复杂，计算量大，去雨效果不理想。考虑到现有图像去雨算法的局限性，提出了基于多流扩张残差稠密网络的图像去雨增强算法来进行去雨处理。
雨条纹大都存在于图像的高频部分，首先采用滤波器将雨图像分解为细节层和基础层，采用带有不同扩张因子的扩张卷积层提取细节层中的雨条纹特征，通过扩张残差稠密连接网络进行去除。采用亮度增强网络对基础层进行增亮处理，提高背景层能见度。最后，将去雨后的细节层与增亮后的基础层进行叠加，重建出既无雨又增亮的图像。
参见图6，图6为多留扩张残差稠密网络示意图。图6中3条支路分别采用扩张因子为1、2、3的扩张卷积来提取特征，使用扩张卷积提取具有参数更少、更容易训练和效果更好的优点。然后，我们在网络中使用密集连接块(Dense block)结构，在Dense block中前面每一层的输出都会通过短连接的方式输入到后面的每一层中，处于网络后面的卷积层也能够利用前面卷积层所提取到的特征。
步骤504，基于预设的端到端卷积神经网络模型获取进行图像增强后的图像中的可疑目标的位置信息以及置信度。
当有异常目标入侵时，整个系统必须快速地识别目标并进行判断，需要进行目标识别，确定有异常目标时，既要进行数据上传，又要确定其方位，所以整个系统有着高实时性的要求。
本申请为了能够应用于复杂场景、复杂气候下也能快速识别可疑目标，建立了预设的端到端卷积神经网络模型来进行异常目标识别。其中，端到端卷积神经网络也可以称为多尺度多特征目标回归网络。
利用该技术可实现对输入的任意大小的图像，可直接快速得到图像中的异常目标位置信息与置信度。识别和定位合二为一的网络设计也使得训练和预测可以端到端的进行，非常简便，可及其方便地用于实时系统。
同时，为了提高整个系统的速度与准确率，本申请实施例中在原有框架的基础上进行剪枝处理。对于一个训练好的模型来说，可以发现某些部分卷积核的权重很小，因此相应的激活也会很小，这部分卷积核的贡献其实是很小的，裁剪这些卷积核后再微调是可以恢复到之前的精度，这是在未作任何限制情况下，如果对权重做某些限制，如L1正则，那么训练的参数会比较稀疏，更加利于裁剪。
在BN层的Scale层其实相当于对激活的一个线性变换，那么Scale层的Gamma做一个L1正则，会学习到比较稀疏的Gamma，这部分Gamma会导致卷积通过BN的Scale层后输出很小，这样的通道是可以裁剪掉的，这就是对S框架进行剪裁的核心思想。
具体裁剪流程为：
使用信道稀疏正则化对原始的，或经过训练的端到端卷积神经网络进行训练，修剪通道小比例因子，即修剪通道占比小的因子，调整修剪后的网络；若未达到预期识别效率可以再次使用信道稀疏正则化进行训练，直到达到预期识别效率。
然后使用剪枝结束后的端到端卷积神经网络来建立预设的端到端卷积神经网络模型。
剪裁后的模型参数虽然会少依然可以获得良好的性能，是因为本申请实施例中检测任务相对单一和简单，类别比较少，原始的模型庞大，能够处理更多的复杂(COCO等)的检测任务，对于简单任务则不需要那么多参数。
步骤505，若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标，向云端服务器发送检测到异常目标的消息，并在所述消息中携带异常目标的位置信息。
若确定所述图像中的可疑目标的置信度不大于预设置信度，则确定所述可疑目标不为异常目标，即未识别出异常目标，则不向云端服务器发送消息。
本申请实施例中通过预设布置的多种不同传感器对输电区域进行全天候、通道的数据采集。并将不同种类的信号传输至边缘节点进行数据处理；通过多模图像融合技术、图像增加技术对采集图像信息进行预处理，保证在不同气候和照度条件下对目标的可靠探测；将图像信息输入深度学习网络对数据信息进行识别。并解算目标坐标实现实时跟踪；将异常信息发送给云端，发出指示信号进行报警。
本申请实施例提供的基于密集输电通道的异常目标识别方案具有自动化程度高、实时性高、目标识别准确率高，可实现全天候、多感知、高精度的异常目标识别。对敏感区域进行实时、高精度的异常目标检测，保障输电线路安全，具有广阔的发展前景和应用价值。
基于同样的发明构思，本申请实施例中还提供一种基于密集输电通道的异常目标识别装置。针对密集输电通道中的每个高架塔部署边缘装置、视觉装置、光纤装置和雷达装置；所述边缘装置与所述识别装置为同一装置。参见图7，图7为本申请实施例中应用于上述技术的装置结构示意图。所述装置包括：接收单元701、分析单元702、控制单元703、处理单元704、识别单元705和发送单元706；
接收单元701，用于接收视觉装置、光纤装置和雷达装置发送的探测到的图像；
分析单元702，用于当接收单元701接收到图像时，分析探测到的图像中是否发现可疑目标；
控制单元703，用于若分析单元702在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；
处理单元704，用于对分析单元702分析存在所述可疑目标的图像进行图像增强；
识别单元705，用于基于预设的端到端卷积神经网络模型获取处理单元704进行图像增强后的图像中可疑目标的位置信息以及置信度；若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标；
发送单元706，用于向云端服务器发送检测到异常目标的消息，并在所述消息中携带识别单元705识别出的异常目标的位置信息。
优选地，
分析单元702，进一步用于确定最先发现目标的图像；
控制单元703，具体用于若分析单元702确定最先发现目标的图像由雷达装置发送，则控制雷达装置的雷达天线的扫描方位跟踪目标，并调用视觉装置进行视觉关联取证；若分析单元702确定最先发现目标的图像由视觉装置发送，则控制所述视觉装置的扫描方位，并通过变焦实现目标多尺度数据获取；若分析单元702确定最先发现目标的图像由光纤装置发送，则通过所述光纤装置的光纤震动反馈的振动点控制视觉装置进行定点关注，并控制视觉装置启动所视角和变焦成像。
优选地，
处理单元704，具体用于对存在所述可疑目标的图像进行图像增强时包括下述之一或任意组合；基于预设大气散射模型处理所述图像；其中，所述预设大气散射模型针对所述图像所处环境建立；基于以暗原色先验理论为基础的预设分析模型对所述图像进行处理；基于预设大气光估算模型对所述图像进行处理；基于预设滤波模型对所述图像进行处理。
优选地，
处理单元704，进一步用于若当前处于雨天探测到的图像，对图像基于多流扩展残差稠密网络进行去雨增强处理。
优选地，所述预设的端到端卷积神经网络模型为基于剪枝后的端到端卷积神经网络建立的模型。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
在另一个实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于密集输电通道的异常目标识别方法的步骤。
在另一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现所述基于密集输电通道的异常目标识别方法中的步骤。
图8为本发明实施例提供的电子设备的实体结构示意图。如图8所示，该电子设备可以包括：处理器(Processor)810、通信接口(Communications Interface)820、存储器(Memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：
接收视觉装置、光纤装置和雷达装置发送的探测到的图像；
若在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；
对存在所述可疑目标的图像进行图像增强；
基于预设的端到端卷积神经网络模型获取进行图像增强后的图像中可疑目标的位置信息以及置信度；
若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标，向云端服务器发送检测到异常目标的消息，并在所述消息中携带异常目标的位置信息。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (9)
1.一种基于密集输电通道的异常目标识别方法，其特征在于，应用于针对每个高架塔部署边缘装置、视觉装置、光纤装置和雷达装置的密集输电通道中的边缘装置上；所述方法包括：
接收视觉装置、光纤装置和雷达装置发送的探测到的图像；
若在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；
对存在所述可疑目标的图像进行图像增强；
基于预设的端到端卷积神经网络模型获取进行图像增强后的图像中可疑目标的位置信息以及置信度；
若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标，向云端服务器发送检测到异常目标的消息，并在所述消息中携带异常目标的位置信息；
其中，所述若在探测到的图像中发现目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪，包括：
确定最先发现目标的图像；
若确定最先发现目标的图像由雷达装置发送，则控制雷达装置的雷达天线的扫描方位跟踪目标，并调用视觉装置进行视觉关联取证；
若确定最先发现目标的图像由视觉装置发送，则控制所述视觉装置的扫描方位，并通过变焦实现目标多尺度数据获取；
若确定最先发现目标的图像由光纤装置发送，则通过所述光纤装置的光纤震动反馈的振动点控制视觉装置进行定点关注，并控制视觉装置启动所视角和变焦成像。
2.根据权利要求1所述的方法，其特征在于，所述对存在所述可疑目标的图像进行图像增强，包括下述之一或任意组合：
基于预设大气散射模型处理所述图像；其中，所述预设大气散射模型针对所述图像所处环境建立；
基于以暗原色先验理论为基础的预设分析模型对所述图像进行处理；
基于预设大气光估算模型对所述图像进行处理；
基于预设滤波模型对所述图像进行处理。
3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
若当前处于雨天探测到的图像，对图像基于多流扩展残差稠密网络进行去雨增强处理。
4.根据权利要求1所述的方法，其特征在于，所述预设的端到端卷积神经网络模型为基于剪枝后的端到端卷积神经网络建立的模型。
5.根据权利要求1-4任一项所述的方法，其特征在于，
边缘装置与视觉装置、光纤装置和雷达装置之间的通信采用ROS分布式通信。
6.根据权利要求1-4任一项所述的方法，其特征在于，
边缘装置与云端服务器之间的通信采用基于传输控制协议TCP的申请式的协议实现。
7.一种基于密集输电通道的异常目标识别装置，其特征在于，针对密集输电通道中的每个高架塔部署边缘装置、视觉装置、光纤装置和雷达装置；所述边缘装置与所述识别装置为同一装置；所述装置包括：接收单元、分析单元、控制单元、处理单元、识别单元和发送单元；
所述接收单元，用于接收视觉装置、光纤装置和雷达装置发送的探测到的图像；
所述分析单元，用于当所述接收单元接收到图像时，分析探测到的图像中是否发现可疑目标；
所述控制单元，用于若所述分析单元在探测到的图像中发现可疑目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪并发送探测到的图像；
所述处理单元，用于对所述分析单元分析存在所述可疑目标的图像进行图像增强；
所述识别单元，用于基于预设的端到端卷积神经网络模型获取所述处理单元进行图像增强后的图像中可疑目标的位置信息以及置信度；若确定所述图像中的可疑目标的置信度大于预设置信度，则确定所述可疑目标为异常目标；
所述发送单元，用于向云端服务器发送检测到异常目标的消息，并在所述消息中携带所述识别单元识别出的异常目标的位置信息；
其中，
所述控制单元，具体用于若在探测到的图像中发现目标，控制视觉装置、光纤装置和雷达装置进行目标跟踪时，确定最先发现目标的图像；若确定最先发现目标的图像由雷达装置发送，则控制雷达装置的雷达天线的扫描方位跟踪目标，并调用视觉装置进行视觉关联取证；若确定最先发现目标的图像由视觉装置发送，则控制所述视觉装置的扫描方位，并通过变焦实现目标多尺度数据获取；若确定最先发现目标的图像由光纤装置发送，则通过所述光纤装置的光纤震动反馈的振动点控制视觉装置进行定点关注，并控制视觉装置启动所视角和变焦成像。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110265524.3A CN113033355B (zh) | 2021-03-11 | 2021-03-11 | 一种基于密集输电通道的异常目标识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110265524.3A CN113033355B (zh) | 2021-03-11 | 2021-03-11 | 一种基于密集输电通道的异常目标识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033355A CN113033355A (zh) | 2021-06-25 |
| CN113033355B true CN113033355B (zh) | 2023-04-07 |
Family
ID=76469710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110265524.3A Active CN113033355B (zh) | 2021-03-11 | 2021-03-11 | 一种基于密集输电通道的异常目标识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033355B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923401A (zh) * | 2021-08-16 | 2022-01-11 | 杜鹢 | 图像分析运维实现方法及图像分析运维系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108920995A (zh) * | 2018-04-08 | 2018-11-30 | 华中科技大学 | 智能安防视频监控方法及其系统及监控终端 |
| CN109410496A (zh) * | 2018-10-25 | 2019-03-01 | 北京交通大学 | 入侵预警方法、装置及电子设备 |
| CN112150748A (zh) * | 2020-09-08 | 2020-12-29 | 成都红云鼎科技有限公司 | 一种基于毫米波雷达的周界防范报警系统 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8767071B1 (en) * | 2011-03-03 | 2014-07-01 | The United States Of America As Represented By The Secretary Of The Air Force | High voltage power line multi-sensor system |
| CN104020467A (zh) * | 2014-06-18 | 2014-09-03 | 国家电网公司 | 一种输电线入侵异物跟踪检测装置及其方法 |
| CN106204491B (zh) * | 2016-07-12 | 2019-02-01 | 中国科学技术大学 | 一种基于暗通道先验的自适应图像去雾方法 |
| CN106971152B (zh) * | 2017-03-16 | 2020-04-17 | 天津大学 | 一种基于航拍图像的检测输电线路中鸟巢的方法 |
| CN107424373A (zh) * | 2017-08-02 | 2017-12-01 | 国网北京市电力公司 | 外力入侵检测方法和装置及系统 |
| CN107711816A (zh) * | 2017-11-29 | 2018-02-23 | 国网浙江省电力公司湖州供电公司 | 一种基于雷达和三色激光驱鸟器融合的输电线路驱鸟装置 |
| CN108415332A (zh) * | 2018-03-23 | 2018-08-17 | 成都蓉创智谷科技有限公司 | 一种基于激光雷达的家用防盗系统 |
| US10754025B2 (en) * | 2018-06-20 | 2020-08-25 | Rapsodo Pte. Ltd. | Radar and camera-based data fusion |
| CN109447121B (zh) * | 2018-09-27 | 2020-11-06 | 清华大学 | 一种视觉传感器网络多目标跟踪方法、装置及系统 |
| CN109920185A (zh) * | 2019-04-16 | 2019-06-21 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于毫米波雷达与视频数据融合检测移动目标的方法 |
| CN210402607U (zh) * | 2019-10-25 | 2020-04-24 | 西安航科慧联信息技术有限公司 | 一种围界告警装置 |
| CN110944150A (zh) * | 2019-11-19 | 2020-03-31 | 广东森旭通用设备科技有限公司 | 一种电力专用的防外破智能识别方法 |
| CN111582016A (zh) * | 2020-03-18 | 2020-08-25 | 宁波送变电建设有限公司永耀科技分公司 | 基于云边协同深度学习的智能免维护电网监控方法及系统 |
| CN111831430A (zh) * | 2020-06-15 | 2020-10-27 | 国网上海市电力公司 | 一种基于边缘计算的电力设备缺陷识别系统 |
-
2021
- 2021-03-11 CN CN202110265524.3A patent/CN113033355B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108920995A (zh) * | 2018-04-08 | 2018-11-30 | 华中科技大学 | 智能安防视频监控方法及其系统及监控终端 |
| CN109410496A (zh) * | 2018-10-25 | 2019-03-01 | 北京交通大学 | 入侵预警方法、装置及电子设备 |
| CN112150748A (zh) * | 2020-09-08 | 2020-12-29 | 成都红云鼎科技有限公司 | 一种基于毫米波雷达的周界防范报警系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033355A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102661954B1 (ko) | 이미지 처리 방법 및 이를 수행하는 장치들 | |
| CN105745687B (zh) | 情景感知移动目标检测 | |
| CN111144337B (zh) | 火灾检测方法、装置及终端设备 | |
| CN112446246B (zh) | 一种图像遮挡检测方法及车载终端 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN116665080B (zh) | 基于目标识别的无人机劣化绝缘子检测方法及系统 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| WO2024051067A1 (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| CN110348343A (zh) | 一种暴力行为监测方法、装置、存储介质及终端设备 | |
| Schiopu et al. | Pothole detection and tracking in car video sequence | |
| CN110399831A (zh) | 一种巡检方法及装置 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN113033355B (zh) | 一种基于密集输电通道的异常目标识别方法和装置 | |
| CN115965934A (zh) | 一种停车位检测方法及装置 | |
| CN114037087B (zh) | 模型训练方法及装置、深度预测方法及装置、设备和介质 | |
| WO2021056501A1 (zh) | 提取特征点的方法、可移动平台及存储介质 | |
| FAN et al. | Robust lane detection and tracking based on machine vision | |
| CN114359830A (zh) | 图像检测方法、设备及计算机存储介质 | |
| CN117152949A (zh) | 一种基于无人机的交通事件识别方法及系统 | |
| CN116778143A (zh) | 鱼眼图像的目标检测方法及装置 | |
| CN114332682B (zh) | 一种海上全景去雾目标识别方法 | |
| CN103455998A (zh) | 视频图像中阴影的检测方法及装置 | |
| CN111985497B (zh) | 架空输电线路下吊车作业识别方法及系统 | |
| CN112767446A (zh) | 一种提高红外图像跟踪的目标跟踪准确率的图像跟踪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |