CN112565178B - 基于流媒体技术的无人机电力设备巡检系统 - Google Patents

基于流媒体技术的无人机电力设备巡检系统 Download PDF

Info

Publication number
CN112565178B
CN112565178B CN202011134046.4A CN202011134046A CN112565178B CN 112565178 B CN112565178 B CN 112565178B CN 202011134046 A CN202011134046 A CN 202011134046A CN 112565178 B CN112565178 B CN 112565178B
Authority
CN
China
Prior art keywords
video image
module
noise
value
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011134046.4A
Other languages
English (en)
Other versions
CN112565178A (zh
Inventor
李清
冯薇玺
黄安子
周子强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Co ltd
Original Assignee
Shenzhen Power Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Co ltd filed Critical Shenzhen Power Supply Co ltd
Priority to CN202011134046.4A priority Critical patent/CN112565178B/zh
Publication of CN112565178A publication Critical patent/CN112565178A/zh
Application granted granted Critical
Publication of CN112565178B publication Critical patent/CN112565178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20Checking timed patrols, e.g. of watchman
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本发明提供基于流媒体技术的无人机电力设备巡检系统,包括无人机单元、云服务器单元和管理终端;无人机单元用于实时采集电力设备的视频数据,并将获取的视频数据通过无线网络上传至云服务器单元;云服务器单元用于对无人机单元实时采集的电力设备的视频数据进行存储,并基于实时流媒体的视频输通信协议将该电力设备的视频数据传输到管理终端;管理终端用于访问云服务器单元获取电力设备的视频数据,并显示相应的视频画面。本发明能够实现电力设备的远程巡检,有效降低巡检所需的人力成本和提高了巡检效率。

Description

基于流媒体技术的无人机电力设备巡检系统
技术领域
本发明涉及流媒体技术领域,特别是基于流媒体技术的无人机电力设备巡检系统。
背景技术
随着城市的现代化发展,城市电力设备的布置呈现分散范围广的特点,各式各样的电力设备分布在城市各处;目前针对电力设备的日常运维和巡检工作,通常是有技术人员分别到达相应的电力设备现场进行检测维护。但是上述通过人管到达现场的巡检方式需要投入大量人力而且效率较低,而且巡检周期较长,不能够满足现代电力设备巡检的需要。
发明内容
针对上述人工巡检效率不高的技术问题,本发明旨在提供基于流媒体技术的无人机电力设备巡检系统。
本发明的目的采用以下技术方案来实现:
发明示出基于流媒体技术的无人机电力设备巡检系统,包括无人机单元、云服务器单元和管理终端;
无人机单元用于实时采集电力设备的视频数据,并将获取的视频数据通过无线网络上传至云服务器单元;
云服务器单元用于对无人机单元实时采集的电力设备的视频数据进行存储,并基于实时流媒体的视频输通信协议将该电力设备的视频数据传输到管理终端;
管理终端用于访问云服务器单元获取电力设备的视频数据,并显示相应的视频画面。
一种实施方式中,无人机单元包括搭载在无人机上的采集模块、定位模块和通信模块;
采集模块用于采集电力设备的视频数据;
定位模块用于获取无人机当前的定位信息;
通信模块用于将获取的视频数据通过无线网络传输到云服务器单元。
一种实施方式中,云服务器单元包括接收模块、存储模块和流媒体服务模块;
接收模块用于接收由无人机单元上传的电力设备的视频数据;
存储单元用于对接收的视频数据进行存储;
流媒体服务模块用于对接收到的视频数据进行压缩编码和协议封装成RTMP包(RTMP:Real Time Messaging Protocol,实时消息传送协议),并将RTMP包发送至管理终端。
一种实施方式中,管理终端包括获取模块和流媒体播放模块;
获取模块用于获取由云服务器单元发送的RTMP包;
流媒体播放模块用于对该RTMP包进行解码并播放视频数据。
一种实施方式中,流媒体播放模块包括视频图像播放子模块和音频播放子模块;
视频图像播放子模块用于播放视频数据中的视频图像数据;
音频播放子模块用于播放视频数据中的音频数据。
一种实施方式中,流媒体播放模块还包括视频图像预处理子模块;
视频图像预处理子模块用于对流媒体播放模块中经过解码后获得的视频图像数据进行预处理,包括画面增强和除噪声处理,输出预处理后的视频图像数据到视频图像播放子模块进行播放。
一种实施方式中,流媒体播放模块还包括音频预处理子模块;
音频预处理子模块用于对流媒体播放模块中经过解码后获得的音频信息进行预处理,包括语音增强处理,输出预处理后的音频信息到音频播放子模块进行播放。
本发明的有益效果为:通过构建无人机单元、云服务器单元和管理终端组成的基于无人机的巡检系统,控制无人机单元飞行至电力设备所在的场所,通过设置在无人机单元的采集实时采集电力设备的视频数据,同时无人机单元将采集的视频数据上传至云服务器单元;云服务器单元基于实时流媒体技术对该视频数据进行推流,使得管理终端能够通过访问云服务器单元获取视频画面并实时播放,有助于运维人员或管理人员通过管理终端观看视频数据从而了解电力设备的工作状态,并针对性地进行评估工作输出巡检结果,或制定下一步的工作安排。该巡检系统能够实现电力设备的远程巡检,有效降低巡检所需的人力成本和提高了巡检效率。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1为本发明的框架结构图;
图2为本发明一种实施方式中的巡检系统框架结构图;
图3为本发明管理终端的框架结构图。
附图标记:
无人机单元1、云服务器单元2、管理终端3、采集模块11定位模块12、通信模块13、接收模块21、存储模块22、流媒体服务模块23、获取模块31、流媒体播放模块32、视频图像播放子模块321、音频播放子模块322、视频图像预处理子模块323、音频预处理子模块324
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1,其示出一种基于流媒体技术的无人机电力设备巡检系统,包括无人机单元1、云服务器单元2和管理终端3;
无人机单元1用于实时采集电力设备的视频数据,并将获取的视频数据通过无线网络上传至云服务器单元2;
云服务器单元2用于对无人机单元1实时采集的电力设备的视频数据进行存储,并基于实时流媒体的视频输通信协议将该电力设备的视频数据传输到管理终端3;
管理终端3用于访问云服务器单元2获取电力设备的视频数据,并显示相应的视频画面。
上述实施方式中,通过构建无人机单元1、云服务器单元2和管理终端3组成的基于无人机的巡检系统,控制无人机单元1飞行至电力设备所在的场所,通过设置在无人机单元1的采集实时采集电力设备的视频数据,同时无人机单元1将采集的视频数据上传至云服务器单元2;云服务器单元2基于实时流媒体技术对该视频数据进行推流,使得管理终端3能够通过访问云服务器单元2获取视频画面并实时播放,有助于运维人员或管理人员通过管理终端3观看视频数据从而了解电力设备的工作状态,并针对性地进行评估工作输出巡检结果,或制定下一步的工作安排。该巡检系统能够实现电力设备的远程巡检,有效降低巡检所需的人力成本和提高了巡检效率。
一种实施方式中,参见图2,无人机单元1包括搭载在无人机上的采集模块11、定位模块12和通信模块13;
采集模块11用于采集电力设备的视频数据;
定位模块12用于获取无人机当前的定位信息;
通信模块13用于将获取的视频数据通过无线网络传输到云服务器单元2。
无人机单元1上设置有定位模块12,将定位信息标识到视频数据中,有助于对实时的视频数据进行根据时间或地点标识的分类存储,方便云服务器单元2对视频数据的分类存储管理。
一种实施方式中,采集模块11包括设置在无人机上的360度全景摄像头和声音采集设备,其中该视频数据包括视频图像数据和音频数据,该360度全景摄像头用于采集电力设备的视频图像数据,该声音采集设备用于采集电力设备所在环境的音频数据。
一种实施方式中,无人机为遥控无人机。在一种场景中,技术人员通过遥控器控制遥控无人机飞行到指定的地方,通过无人机的采集模块11获取指定地点的电力设备的视频图像并上传至云服务器中,技术人员通过访问云服务器获取该视频数据并进行观看,以根据视频的画面对该电力设备进行检查,同时也可以根据获取的音频数据判断电力设备是否存在异响,提高了针对电力设备巡检的效率和质量。
其中,无人机单元1也可以同采用基于流媒体技术的数据传输方式,将获取的视频数据发送到云服务器单元2中。
一种实施方式中,云服务器单元2包括接收模块21、存储模块22和流媒体服务模块23;
接收模块21用于接收由无人机单元1上传的电力设备的视频数据;
存储单元用于对接收的视频数据进行存储;
流媒体服务模块23用于对接收到的视频数据进行压缩编码和协议封装成RTMP包,并将RTMP包发送至管理终端3。
一种实施方式中,管理终端3包括获取模块31和流媒体播放模块32;
获取模块31用于获取由云服务器单元2发送的RTMP包;
流媒体播放模块32用于对该RTMP包进行解码并播放视频数据。
一种实施方式中,参见图3,流媒体播放模块32包括视频图像播放子模块321和音频播放子模块322;
视频图像播放子模块321用于播放视频数据中的视频图像数据;
音频播放子模块322用于播放视频数据中的音频数据。
云服务器单元2中,设置流媒体服务模块23,将接收到的视频数据进行压缩,同时采用目前先进的RTMP协议(Real Time Messaging Protocol)对视频数据进行封装,并RTMP包发送到管理终端3,供管理终端3能够根据该RTMP包访问云服务器单元2获取相应的视频数据。
一种实施方式中,流媒体播放模块32还包括视频图像预处理子模块323;
视频图像预处理子模块323用于对流媒体播放模块32中经过解码后获得的视频图像数据进行预处理,包括画面增强和除噪声处理,输出预处理后的视频图像数据到视频图像播放子模块321进行播放。
一种实施方式中,流媒体播放模块32还包括音频预处理子模块324;
音频预处理子模块324用于对流媒体播放模块32中经过解码后获得的音频信息进行预处理,包括语音增强处理,输出预处理后的音频信息到音频播放子模块322进行播放。
针对无人机单元1与云服务器单元2之间,以及云服务器单元2与管理终端3之间的视频数据传输过程中,由于采用基于无线网络的数据传输方式,在数据的传输过程中容易受到噪声的干扰,影响视频数据的质量的技术问题;因此在管理终端3的流媒体播放模块32中,还专门设有针对视频图像数据和音频数据进行预处理的子模块,通过对接收的视频数据分别进行视频图像预处理和音频预处理,能够有效提高视频数据的质量,同时将预处理后的视频图像数据和音频数据进行播放,有助于提高提高管理终端3播放电力设备视频数据的质量,有助于技术人员或管理者对视频数据中的电力设备进行准确的检查分析。
其中,针对视频图像数据的预处理,本申请还提出一种改进的专门针对视频图像数据进行预处理的技术方案,以提高视频图像数据的质量。一种实施方式中,视频图像预处理子模块323,对流媒体播放模块32中经过解码后获得的视频图像数据进行预处理,具体包括:
1)对获取的视频图数据像进行分帧处理,获取各帧视频图像;
2)针对各帧视频图像进行视频图像增强处理,包括:
21)对当前帧的视频图像中各像素点进行噪声点检测,获取视频图像中的噪声点并将图像中的噪声点归集到噪声点集合{Z}中,并将视频图像中的非噪声点归集到非噪声点集合{F}中;
针对视频图像中的噪声点,对噪声点进行灰度增强处理,其中采用的灰度增强函数为:
Figure BDA0002736090160000051
式中,H′(Zi)表示噪声点集合{Z}中的第i个噪声点Zi的灰度值估计,σF(Zi)表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度方差,Wσ表示设定的方差阈值,
Figure BDA0002736090160000052
表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度值集合,
Figure BDA0002736090160000053
表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度中值;H-1(Zi)表示前一帧视频图像中与该第i个噪声点同一位置的像素点的灰度值,
Figure BDA0002736090160000054
表示前一帧视频图像中与该第i个噪声点同一位置的3×3范围中像素点的灰度均值;h(x)表示集合
Figure BDA0002736090160000055
中的其中一个灰度值,
Figure BDA0002736090160000056
表示使得目标函数
Figure BDA0002736090160000057
取值最小时对应的h(x)的灰度值;
Figure BDA0002736090160000058
表示集合
Figure BDA0002736090160000059
的灰度均值;
对噪声点Zi采用其对应的灰度值估计H′(Zi)对其进行更新,并将该噪声点Zi从噪声点集合{Z}中剔除;
分别对噪声点集合{Z}中各像素点进行灰度值更新,直到噪声点集合{Z}为空集;输出除噪声处理后的当前帧视频图像;
对除噪声处理后的当前帧视频图像进行亮度调节处理,输出亮度调节处理后的前帧视频图像为预处理后的当前帧视频图像;
22)继续对下一帧视频图像进行上述视频图像增强处理,直到完成所有视频图像帧的视频图像增强处理。
上述实施方式中,提供了一种改进的专门针对视频图像数据进行预处理的技术方案,该技术方案中,针对获取的视频图像数据,首先对其进行分帧处理,分别获取每一帧的视频图像;然后针对每一帧视频图像依次进行增强处理,其中首先检测视频图像中存在的噪声点,然后针对检测到的噪声点对该噪声点进行灰度估计,并采用估计的灰度值来替换原噪声点,并提出了一种改进的灰度增强函数来准确估计噪声点的灰度值,其中该灰度增强函数中以噪声点的邻域中的非噪声点的灰度方差作为依据,来评估该噪声点所处的位置,当噪声点所处位置为灰度平坦区域时,则直接根据邻域像素点的灰度中值来估计噪声点的灰度值,计算速度快;而噪声点所处的位置为灰度变化区域时,则根据提出的灰度增强函数,以邻域灰度均值,以及前一帧视频图像(可以选择经过增强处理后的前一帧视频图像,提高光暗,也可以选择未经过增强处理前的前一帧视频图像,以贴近实际情况)中同一位置的灰度特性来对噪声点进行灰度估计,能够针对传输过程中受到的噪声特性,准确对噪声点进行还原,提高视频图像的质量。同时在噪声点还原处理后,进一步对视频图像进行亮度调节处理,以提高视频图像的观感。采用上述方式依次对视频图像数据的各帧视频图像进行处理,每处理完一帧图像即可输出该帧图像进行播放,能够贴合流媒体传输技术,提高了视频图像播放质量。
一种实施方式中,视频图像预处理子模块323中,对除噪声处理后的当前帧视频图像进行亮度调节处理,具体包括:
1)将除噪声处理后的当前帧视频图像从RGB颜色空间转换到LAB颜色空间,分别获取视频图像的亮度分量L、颜色分量A和颜色分量B;
2)针对亮度分量L,分别获取每个像素点对应的亮度分量值L(p),其中L(p)表示第p个像素点的亮度分量值,其中p=1,2,...,P,P表示视频图像中像素点的总数;
3)针对各像素点的亮度分量值进行亮度调节处理,其中采用的亮度调节函数为:
Figure BDA0002736090160000061
式中,L′(p)表示亮度调节后第p个像素点的亮度分量值,L(p)表示亮度调节前第p个像素点的亮度分量值,Lm表示除噪声处理后的当前帧视频图像各像素点的亮度分量值的均值,
Figure BDA0002736090160000071
表示除噪声处理后的前一帧视频图像各像素点的亮度分量值的均值,L-1(p)表示表示除噪声处理后的前一帧视频图像中第p个像素点的亮度分量值,α和β分别表示设定的亮度调节权重因子;
4)根据亮度调节后各像素点的亮度分量值组成新的亮度分量L′,并结合颜色分量A和颜色分量B进行LAB颜色空间逆变换,获取亮度调节处理后的当前帧视频图像。
一种实施方式中,针对第一帧视频图像可以将其作为起始图像,从而不对其不进行亮度调节处理。
上述实施方式中,提出了一种针对视频图像进行亮度调节的技术方案,该方案中基于LAB颜色空间获取视频图像的亮度分量,并以此作为基础对视频图像的亮度信息进行调节,提出了一种改进的亮度调节函数,该函数中特别加入了以前一帧视频图像同一像素点位置的亮度信息作为基础对图像进行亮度调节,使得视频图像在播放过程中的亮度更加平滑,避免了传统视频播放中可能出现的突亮或突暗的情况,提高了视频图像的播放质量。
在一种实施方式中,视频图像预处理子模块323中,对当前帧的视频图像中各像素点进行噪声点检测,具体包括:
采用3×3的滑动检测窗口依次遍历当前帧的视频图像中的各像素点;
并同步计算滑动检测窗口中心像素点与其他像素点的灰度值差的方差,当获取的灰度值差的方差大于设定的阈值时,则判断滑动检测窗口当前位置对应的中心像素点为噪声点。
其中针对视频图像的噪声点检测,可以采用常规的根据灰度差值的方差来进行判断,以提高检测效率。
在一种实施方式中,视频图像预处理子模块323中,对当前帧的视频图像中各像素点进行噪声点检测,具体包括:
采用3×3的滑动检测窗口依次遍历当前帧的视频图像中的各像素点;
在遍历过程中计算滑动检测窗口当前位置(中心位置)对应的噪声点检测值,其中采用的噪声点检测值计算函数为:
Figure BDA0002736090160000072
式中,y表示滑动检测窗口当前中心像素点的噪声点检测值,hz表示滑动检测窗口中心像素点的灰度值,hΦ表示滑动检测窗口的灰度均值,
Figure BDA0002736090160000073
表示滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第二最大值,
Figure BDA0002736090160000074
表示滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第三最大值;
当噪声点检测值y大于设定的阈值时,则判断当前滑动检测窗口中心位置的像素点为噪声点,并将其添加到噪声点集合{Z}中。
上述实施方式中,提出了一种针对视频图像中存在的噪声点进行检测的技术方案,以提高噪声点的检测精确度,该方案中具体提出了一种噪声点检测值计算函数,该函数中引入了滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第二最大值和第三最大值作为基础来对目标像素点的灰度值进行评价,该噪声点检测值能够准确反映目标像素点所处区域的特性,避免了传统的噪声点检测方法容易将灰度变化较大的正常像素点误判为噪声点的情况,能够适应目标像素点的情况进行判断,提高噪声点的检测效果。
一种实施方式中,管理终端3还包括控制模块;
控制模块用于通过云服务器向无人机单元1发送控制指令,以控制无人机单元1根据控制指令执行相应的操作。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当分析,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (2)

1.基于流媒体技术的无人机电力设备巡检系统,其特征在于,包括无人机单元、云服务器单元和管理终端;
所述无人机单元用于实时采集电力设备的视频数据,并将采集的视频数据通过无线网络上传至所述云服务器单元;
所述云服务器单元用于对所述无人机单元实时采集的电力设备的视频数据进行存储,并基于实时流媒体的视频输通信协议将该电力设备的视频数据传输到管理终端;
所述管理终端用于访问所述云服务器单元获取电力设备的视频数据,并显示相应的视频画面;
所述无人机单元包括搭载在无人机上的采集模块、定位模块和通信模块;
所述采集模块用于采集所述视频数据;
所述定位模块用于获取无人机当前的定位信息;
所述通信模块用于将获取的视频数据通过所述无线网络传输到所述云服务器单元;
所述云服务器单元包括接收模块、存储模块和流媒体服务模块;
所述接收模块用于接收由所述无人机单元上传的所述视频数据;
所述存储单元用于对接收的电力设备的视频数据进行存储;
所述流媒体服务模块用于对接收到的所述电力设备的视频数据进行压缩编码和协议封装成RTMP包,并将RTMP包发送至所述管理终端;
所述管理终端包括获取模块和流媒体播放模块;
所述获取模块用于获取由所述云服务器单元发送的所述RTMP包;
所述流媒体播放模块用于对RTMP包进行解码并播放所述视频数据;
其中所述流媒体播放模块包括视频图像播放子模块和音频播放子模块;
所述视频图像播放子模块用于播放视频数据中的视频图像数据;
所述音频播放子模块用于播放视频数据中的音频数据;
所述流媒体播放模块还包括视频图像预处理子模块;
所述视频图像预处理子模块用于对所述流媒体播放模块中经过解码后获得的所述视频图像数据进行预处理,包括画面增强和除噪声处理,输出预处理后的视频图像数据到所述视频图像播放子模块进行播放;
所述视频图像预处理子模块中,对所述流媒体播放模块中经过解码后获得的视频图像数据进行预处理,具体包括:
1)对获取的视频图数据像进行分帧处理,获取各帧视频图像;
2)针对各帧视频图像进行视频图像增强处理,包括:
21)对当前帧的视频图像中各像素点进行噪声点检测,获取视频图像中的噪声点并将图像中的噪声点归集到噪声点集合{Z}中,并将视频图像中的非噪声点归集到非噪声点集合{F}中,包括:采用3×3的滑动检测窗口依次遍历当前帧的视频图像中的各像素点;
在遍历过程中计算滑动检测窗口当前位置(中心位置)对应的噪声点检测值,其中采用的噪声点检测值计算函数为:
Figure FDA0004068238640000021
式中,y表示滑动检测窗口当前中心像素点的噪声点检测值,hz表示滑动检测窗口中心像素点的灰度值,hΦ表示滑动检测窗口的灰度均值,
Figure FDA0004068238640000022
表示滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第二最大值,
Figure FDA0004068238640000023
表示滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第三最大值;
当噪声点检测值y大于设定的阈值时,则判断当前滑动检测窗口中心位置的像素点为噪声点,并将其添加到噪声点集合{Z}中;
针对视频图像中的噪声点,对噪声点进行灰度增强处理,其中采用的灰度增强函数为:
Figure FDA0004068238640000024
式中,H′(Zi)表示噪声点集合{Z}中的第i个噪声点Zi的灰度值估计,σF(Zi)表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度方差,Wσ表示设定的方差阈值,
Figure FDA0004068238640000025
表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度值集合,
Figure FDA0004068238640000026
表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度中值;H-1(Zi)表示前一帧视频图像中与该第i个噪声点同一位置的像素点的灰度值,
Figure FDA0004068238640000027
表示前一帧视频图像中与该第i个噪声点同一位置的3×3范围中像素点的灰度均值;h(x)表示集合
Figure FDA0004068238640000028
中的其中一个灰度值,
Figure FDA0004068238640000029
表示使得目标函数
Figure FDA00040682386400000210
取值最小时对应的h(x)的灰度值;
Figure FDA00040682386400000211
表示集合
Figure FDA00040682386400000212
的灰度均值;
对噪声点Zi采用其对应的灰度值估计H′(Zi)对其进行更新,并将该噪声点Zi从噪声点集合{Z}中剔除;
分别对噪声点集合{Z}中各像素点进行灰度值更新,直到噪声点集合{Z}为空集;输出除噪声处理后的当前帧视频图像;
对除噪声处理后的当前帧视频图像进行亮度调节处理,输出亮度调节处理后的前帧视频图像为预处理后的当前帧视频图像,包括:
将除噪声处理后的当前帧视频图像从RGB颜色空间转换到LAB颜色空间,分别获取视频图像的亮度分量L、颜色分量A和颜色分量B;
针对亮度分量L,分别获取每个像素点对应的亮度分量值L(p),其中L(p)表示第p个像素点的亮度分量值,其中p=1,2,…,P,P表示视频图像中像素点的总数;
针对各像素点的亮度分量值进行亮度调节处理,其中采用的亮度调节函数为:
Figure FDA0004068238640000031
式中,L′(p)表示亮度调节后第p个像素点的亮度分量值,L(p)表示亮度调节前第p个像素点的亮度分量值,Lm表示除噪声处理后的当前帧视频图像各像素点的亮度分量值的均值,
Figure FDA0004068238640000032
表示除噪声处理后的前一帧视频图像各像素点的亮度分量值的均值,L-1(p)表示表示除噪声处理后的前一帧视频图像中第p个像素点的亮度分量值,α和β分别表示设定的亮度调节权重因子;
根据亮度调节后各像素点的亮度分量值组成新的亮度分量L′,并结合颜色分量A和颜色分量B进行LAB颜色空间逆变换,获取亮度调节处理后的当前帧视频图像;
22)继续对下一帧视频图像进行上述视频图像增强处理,直到完成所有视频图像帧的视频图像增强处理。
2.根据权利要求1所述的基于流媒体技术的无人机电力设备巡检系统,其特征在于,所述流媒体播放模块还包括音频预处理子模块;
所述音频预处理子模块用于对所述流媒体播放模块中经过解码后获得的音频信息进行预处理,包括语音增强处理,输出预处理后的音频信息到所述音频播放子模块进行播放。
CN202011134046.4A 2020-10-21 2020-10-21 基于流媒体技术的无人机电力设备巡检系统 Active CN112565178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011134046.4A CN112565178B (zh) 2020-10-21 2020-10-21 基于流媒体技术的无人机电力设备巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011134046.4A CN112565178B (zh) 2020-10-21 2020-10-21 基于流媒体技术的无人机电力设备巡检系统

Publications (2)

Publication Number Publication Date
CN112565178A CN112565178A (zh) 2021-03-26
CN112565178B true CN112565178B (zh) 2023-04-28

Family

ID=75041301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011134046.4A Active CN112565178B (zh) 2020-10-21 2020-10-21 基于流媒体技术的无人机电力设备巡检系统

Country Status (1)

Country Link
CN (1) CN112565178B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115188091B (zh) * 2022-07-13 2023-10-13 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检系统及方法
CN115348422A (zh) * 2022-08-12 2022-11-15 亿航智能设备(广州)有限公司 无人机图传方法、系统及计算机可读存储介质
CN116320290A (zh) * 2023-01-30 2023-06-23 国网江苏省电力有限公司南京供电分公司 一种用于电力巡检的无人机高清图像实时传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355052A (zh) * 2011-07-30 2012-02-15 山东电力研究院 基于变电站智能机器人巡检系统及其变电站操作监护方法
CN102665034A (zh) * 2012-03-16 2012-09-12 江苏华枫物联网科技有限公司 一种针对摄像机采集视频的夜间效果去除方法
CN110417120A (zh) * 2019-06-26 2019-11-05 广东康云科技有限公司 一种变电站实景三维智能巡检系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355052A (zh) * 2011-07-30 2012-02-15 山东电力研究院 基于变电站智能机器人巡检系统及其变电站操作监护方法
CN102665034A (zh) * 2012-03-16 2012-09-12 江苏华枫物联网科技有限公司 一种针对摄像机采集视频的夜间效果去除方法
CN110417120A (zh) * 2019-06-26 2019-11-05 广东康云科技有限公司 一种变电站实景三维智能巡检系统及方法

Also Published As

Publication number Publication date
CN112565178A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112565178B (zh) 基于流媒体技术的无人机电力设备巡检系统
JP6247324B2 (ja) 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法
CN101953153B (zh) 摄像装置和摄像方法
US20090238542A1 (en) Capturing event information using a digital video camera
CN112415922B (zh) 一种基于流媒体的变电站监控系统
US9251423B2 (en) Estimating motion of an event captured using a digital video camera
CN112200807B (zh) 一种视频质量诊断方法与系统
CN116320321B (zh) 农业信息传输方法、装置、电子设备及存储介质
CN111612796A (zh) 图像处理方法及装置
US9256789B2 (en) Estimating motion of an event captured using a digital video camera
Fort et al. Quasi-real time remote video surveillance unit for lorawan-based image transmission
CN116245962A (zh) 用于无线传输到区块链服务器的数据提取系统及方法
JP2019092154A (ja) 監視カメラシステム
CN116582693B (zh) 一种基于视频资源池的摄像头调用管控方法
CN115314717B (zh) 视频传输方法、装置、电子设备和计算机可读存储介质
CN115086572A (zh) 一种图像传输方法及装置、电子设备
CN113743235B (zh) 基于边缘计算的电力巡检图像处理方法、装置和设备
CN115278189A (zh) 图像色调映射方法及装置、计算机可读介质和电子设备
CN114866763A (zh) 一种视频质量的评估方法、装置、终端设备和存储介质
WO2021118149A1 (en) Electronic apparatus and control method thereof
CN114677719A (zh) 图像信号处理的方法、装置和计算机可读存储介质
CN116996749B (zh) 多监控画面下的远程目标对象跟踪系统和方法
CN112261474A (zh) 一种多媒体视频图像处理系统及处理方法
CN110704530A (zh) 基于大数据分析技术的一种城市中心区配电网可视化系统
CN111145219A (zh) 一种基于Codebook原理的高效视频移动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230328

Address after: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong

Applicant after: Shenzhen Power Supply Co.,Ltd.

Address before: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong

Applicant before: Shenzhen Power Supply Co.,Ltd.

Applicant before: China Southern Power Grid Shenzhen Digital Power Grid Research Institute Co.,Ltd.

GR01 Patent grant
GR01 Patent grant