发明内容
针对上述人工巡检效率不高的技术问题,本发明旨在提供基于流媒体技术的无人机电力设备巡检系统。
本发明的目的采用以下技术方案来实现:
发明示出基于流媒体技术的无人机电力设备巡检系统,包括无人机单元、云服务器单元和管理终端;
无人机单元用于实时采集电力设备的视频数据,并将获取的视频数据通过无线网络上传至云服务器单元;
云服务器单元用于对无人机单元实时采集的电力设备的视频数据进行存储,并基于实时流媒体的视频输通信协议将该电力设备的视频数据传输到管理终端;
管理终端用于访问云服务器单元获取电力设备的视频数据,并显示相应的视频画面。
一种实施方式中,无人机单元包括搭载在无人机上的采集模块、定位模块和通信模块;
采集模块用于采集电力设备的视频数据;
定位模块用于获取无人机当前的定位信息;
通信模块用于将获取的视频数据通过无线网络传输到云服务器单元。
一种实施方式中,云服务器单元包括接收模块、存储模块和流媒体服务模块;
接收模块用于接收由无人机单元上传的电力设备的视频数据;
存储单元用于对接收的视频数据进行存储;
流媒体服务模块用于对接收到的视频数据进行压缩编码和协议封装成RTMP包(RTMP:Real Time Messaging Protocol,实时消息传送协议),并将RTMP包发送至管理终端。
一种实施方式中,管理终端包括获取模块和流媒体播放模块;
获取模块用于获取由云服务器单元发送的RTMP包;
流媒体播放模块用于对该RTMP包进行解码并播放视频数据。
一种实施方式中,流媒体播放模块包括视频图像播放子模块和音频播放子模块;
视频图像播放子模块用于播放视频数据中的视频图像数据;
音频播放子模块用于播放视频数据中的音频数据。
一种实施方式中,流媒体播放模块还包括视频图像预处理子模块;
视频图像预处理子模块用于对流媒体播放模块中经过解码后获得的视频图像数据进行预处理,包括画面增强和除噪声处理,输出预处理后的视频图像数据到视频图像播放子模块进行播放。
一种实施方式中,流媒体播放模块还包括音频预处理子模块;
音频预处理子模块用于对流媒体播放模块中经过解码后获得的音频信息进行预处理,包括语音增强处理,输出预处理后的音频信息到音频播放子模块进行播放。
本发明的有益效果为:通过构建无人机单元、云服务器单元和管理终端组成的基于无人机的巡检系统,控制无人机单元飞行至电力设备所在的场所,通过设置在无人机单元的采集实时采集电力设备的视频数据,同时无人机单元将采集的视频数据上传至云服务器单元;云服务器单元基于实时流媒体技术对该视频数据进行推流,使得管理终端能够通过访问云服务器单元获取视频画面并实时播放,有助于运维人员或管理人员通过管理终端观看视频数据从而了解电力设备的工作状态,并针对性地进行评估工作输出巡检结果,或制定下一步的工作安排。该巡检系统能够实现电力设备的远程巡检,有效降低巡检所需的人力成本和提高了巡检效率。
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1,其示出一种基于流媒体技术的无人机电力设备巡检系统,包括无人机单元1、云服务器单元2和管理终端3;
无人机单元1用于实时采集电力设备的视频数据,并将获取的视频数据通过无线网络上传至云服务器单元2;
云服务器单元2用于对无人机单元1实时采集的电力设备的视频数据进行存储,并基于实时流媒体的视频输通信协议将该电力设备的视频数据传输到管理终端3;
管理终端3用于访问云服务器单元2获取电力设备的视频数据,并显示相应的视频画面。
上述实施方式中,通过构建无人机单元1、云服务器单元2和管理终端3组成的基于无人机的巡检系统,控制无人机单元1飞行至电力设备所在的场所,通过设置在无人机单元1的采集实时采集电力设备的视频数据,同时无人机单元1将采集的视频数据上传至云服务器单元2;云服务器单元2基于实时流媒体技术对该视频数据进行推流,使得管理终端3能够通过访问云服务器单元2获取视频画面并实时播放,有助于运维人员或管理人员通过管理终端3观看视频数据从而了解电力设备的工作状态,并针对性地进行评估工作输出巡检结果,或制定下一步的工作安排。该巡检系统能够实现电力设备的远程巡检,有效降低巡检所需的人力成本和提高了巡检效率。
一种实施方式中,参见图2,无人机单元1包括搭载在无人机上的采集模块11、定位模块12和通信模块13;
采集模块11用于采集电力设备的视频数据;
定位模块12用于获取无人机当前的定位信息;
通信模块13用于将获取的视频数据通过无线网络传输到云服务器单元2。
无人机单元1上设置有定位模块12,将定位信息标识到视频数据中,有助于对实时的视频数据进行根据时间或地点标识的分类存储,方便云服务器单元2对视频数据的分类存储管理。
一种实施方式中,采集模块11包括设置在无人机上的360度全景摄像头和声音采集设备,其中该视频数据包括视频图像数据和音频数据,该360度全景摄像头用于采集电力设备的视频图像数据,该声音采集设备用于采集电力设备所在环境的音频数据。
一种实施方式中,无人机为遥控无人机。在一种场景中,技术人员通过遥控器控制遥控无人机飞行到指定的地方,通过无人机的采集模块11获取指定地点的电力设备的视频图像并上传至云服务器中,技术人员通过访问云服务器获取该视频数据并进行观看,以根据视频的画面对该电力设备进行检查,同时也可以根据获取的音频数据判断电力设备是否存在异响,提高了针对电力设备巡检的效率和质量。
其中,无人机单元1也可以同采用基于流媒体技术的数据传输方式,将获取的视频数据发送到云服务器单元2中。
一种实施方式中,云服务器单元2包括接收模块21、存储模块22和流媒体服务模块23;
接收模块21用于接收由无人机单元1上传的电力设备的视频数据;
存储单元用于对接收的视频数据进行存储;
流媒体服务模块23用于对接收到的视频数据进行压缩编码和协议封装成RTMP包,并将RTMP包发送至管理终端3。
一种实施方式中,管理终端3包括获取模块31和流媒体播放模块32;
获取模块31用于获取由云服务器单元2发送的RTMP包;
流媒体播放模块32用于对该RTMP包进行解码并播放视频数据。
一种实施方式中,参见图3,流媒体播放模块32包括视频图像播放子模块321和音频播放子模块322;
视频图像播放子模块321用于播放视频数据中的视频图像数据;
音频播放子模块322用于播放视频数据中的音频数据。
云服务器单元2中,设置流媒体服务模块23,将接收到的视频数据进行压缩,同时采用目前先进的RTMP协议(Real Time Messaging Protocol)对视频数据进行封装,并RTMP包发送到管理终端3,供管理终端3能够根据该RTMP包访问云服务器单元2获取相应的视频数据。
一种实施方式中,流媒体播放模块32还包括视频图像预处理子模块323;
视频图像预处理子模块323用于对流媒体播放模块32中经过解码后获得的视频图像数据进行预处理,包括画面增强和除噪声处理,输出预处理后的视频图像数据到视频图像播放子模块321进行播放。
一种实施方式中,流媒体播放模块32还包括音频预处理子模块324;
音频预处理子模块324用于对流媒体播放模块32中经过解码后获得的音频信息进行预处理,包括语音增强处理,输出预处理后的音频信息到音频播放子模块322进行播放。
针对无人机单元1与云服务器单元2之间,以及云服务器单元2与管理终端3之间的视频数据传输过程中,由于采用基于无线网络的数据传输方式,在数据的传输过程中容易受到噪声的干扰,影响视频数据的质量的技术问题;因此在管理终端3的流媒体播放模块32中,还专门设有针对视频图像数据和音频数据进行预处理的子模块,通过对接收的视频数据分别进行视频图像预处理和音频预处理,能够有效提高视频数据的质量,同时将预处理后的视频图像数据和音频数据进行播放,有助于提高提高管理终端3播放电力设备视频数据的质量,有助于技术人员或管理者对视频数据中的电力设备进行准确的检查分析。
其中,针对视频图像数据的预处理,本申请还提出一种改进的专门针对视频图像数据进行预处理的技术方案,以提高视频图像数据的质量。一种实施方式中,视频图像预处理子模块323,对流媒体播放模块32中经过解码后获得的视频图像数据进行预处理,具体包括:
1)对获取的视频图数据像进行分帧处理,获取各帧视频图像;
2)针对各帧视频图像进行视频图像增强处理,包括:
21)对当前帧的视频图像中各像素点进行噪声点检测,获取视频图像中的噪声点并将图像中的噪声点归集到噪声点集合{Z}中,并将视频图像中的非噪声点归集到非噪声点集合{F}中;
针对视频图像中的噪声点,对噪声点进行灰度增强处理,其中采用的灰度增强函数为:
式中,H′(Z
i)表示噪声点集合{Z}中的第i个噪声点Z
i的灰度值估计,σ
F(Z
i)表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度方差,W
σ表示设定的方差阈值,
表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度值集合,
表示该第i个噪声点的3×3邻域范围内的非噪声点的灰度中值;H
-1(Z
i)表示前一帧视频图像中与该第i个噪声点同一位置的像素点的灰度值,
表示前一帧视频图像中与该第i个噪声点同一位置的3×3范围中像素点的灰度均值;h(x)表示集合
中的其中一个灰度值,
表示使得目标函数
取值最小时对应的h(x)的灰度值;
表示集合
的灰度均值;
对噪声点Zi采用其对应的灰度值估计H′(Zi)对其进行更新,并将该噪声点Zi从噪声点集合{Z}中剔除;
分别对噪声点集合{Z}中各像素点进行灰度值更新,直到噪声点集合{Z}为空集;输出除噪声处理后的当前帧视频图像;
对除噪声处理后的当前帧视频图像进行亮度调节处理,输出亮度调节处理后的前帧视频图像为预处理后的当前帧视频图像;
22)继续对下一帧视频图像进行上述视频图像增强处理,直到完成所有视频图像帧的视频图像增强处理。
上述实施方式中,提供了一种改进的专门针对视频图像数据进行预处理的技术方案,该技术方案中,针对获取的视频图像数据,首先对其进行分帧处理,分别获取每一帧的视频图像;然后针对每一帧视频图像依次进行增强处理,其中首先检测视频图像中存在的噪声点,然后针对检测到的噪声点对该噪声点进行灰度估计,并采用估计的灰度值来替换原噪声点,并提出了一种改进的灰度增强函数来准确估计噪声点的灰度值,其中该灰度增强函数中以噪声点的邻域中的非噪声点的灰度方差作为依据,来评估该噪声点所处的位置,当噪声点所处位置为灰度平坦区域时,则直接根据邻域像素点的灰度中值来估计噪声点的灰度值,计算速度快;而噪声点所处的位置为灰度变化区域时,则根据提出的灰度增强函数,以邻域灰度均值,以及前一帧视频图像(可以选择经过增强处理后的前一帧视频图像,提高光暗,也可以选择未经过增强处理前的前一帧视频图像,以贴近实际情况)中同一位置的灰度特性来对噪声点进行灰度估计,能够针对传输过程中受到的噪声特性,准确对噪声点进行还原,提高视频图像的质量。同时在噪声点还原处理后,进一步对视频图像进行亮度调节处理,以提高视频图像的观感。采用上述方式依次对视频图像数据的各帧视频图像进行处理,每处理完一帧图像即可输出该帧图像进行播放,能够贴合流媒体传输技术,提高了视频图像播放质量。
一种实施方式中,视频图像预处理子模块323中,对除噪声处理后的当前帧视频图像进行亮度调节处理,具体包括:
1)将除噪声处理后的当前帧视频图像从RGB颜色空间转换到LAB颜色空间,分别获取视频图像的亮度分量L、颜色分量A和颜色分量B;
2)针对亮度分量L,分别获取每个像素点对应的亮度分量值L(p),其中L(p)表示第p个像素点的亮度分量值,其中p=1,2,...,P,P表示视频图像中像素点的总数;
3)针对各像素点的亮度分量值进行亮度调节处理,其中采用的亮度调节函数为:
式中,L′(p)表示亮度调节后第p个像素点的亮度分量值,L(p)表示亮度调节前第p个像素点的亮度分量值,L
m表示除噪声处理后的当前帧视频图像各像素点的亮度分量值的均值,
表示除噪声处理后的前一帧视频图像各像素点的亮度分量值的均值,L
-1(p)表示表示除噪声处理后的前一帧视频图像中第p个像素点的亮度分量值,α和β分别表示设定的亮度调节权重因子;
4)根据亮度调节后各像素点的亮度分量值组成新的亮度分量L′,并结合颜色分量A和颜色分量B进行LAB颜色空间逆变换,获取亮度调节处理后的当前帧视频图像。
一种实施方式中,针对第一帧视频图像可以将其作为起始图像,从而不对其不进行亮度调节处理。
上述实施方式中,提出了一种针对视频图像进行亮度调节的技术方案,该方案中基于LAB颜色空间获取视频图像的亮度分量,并以此作为基础对视频图像的亮度信息进行调节,提出了一种改进的亮度调节函数,该函数中特别加入了以前一帧视频图像同一像素点位置的亮度信息作为基础对图像进行亮度调节,使得视频图像在播放过程中的亮度更加平滑,避免了传统视频播放中可能出现的突亮或突暗的情况,提高了视频图像的播放质量。
在一种实施方式中,视频图像预处理子模块323中,对当前帧的视频图像中各像素点进行噪声点检测,具体包括:
采用3×3的滑动检测窗口依次遍历当前帧的视频图像中的各像素点;
并同步计算滑动检测窗口中心像素点与其他像素点的灰度值差的方差,当获取的灰度值差的方差大于设定的阈值时,则判断滑动检测窗口当前位置对应的中心像素点为噪声点。
其中针对视频图像的噪声点检测,可以采用常规的根据灰度差值的方差来进行判断,以提高检测效率。
在一种实施方式中,视频图像预处理子模块323中,对当前帧的视频图像中各像素点进行噪声点检测,具体包括:
采用3×3的滑动检测窗口依次遍历当前帧的视频图像中的各像素点;
在遍历过程中计算滑动检测窗口当前位置(中心位置)对应的噪声点检测值,其中采用的噪声点检测值计算函数为:
式中,y表示滑动检测窗口当前中心像素点的噪声点检测值,h
z表示滑动检测窗口中心像素点的灰度值,h
Φ表示滑动检测窗口的灰度均值,
表示滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第二最大值,
表示滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第三最大值;
当噪声点检测值y大于设定的阈值时,则判断当前滑动检测窗口中心位置的像素点为噪声点,并将其添加到噪声点集合{Z}中。
上述实施方式中,提出了一种针对视频图像中存在的噪声点进行检测的技术方案,以提高噪声点的检测精确度,该方案中具体提出了一种噪声点检测值计算函数,该函数中引入了滑动检测窗口中各像素点灰度值与灰度均值的差值集合中的第二最大值和第三最大值作为基础来对目标像素点的灰度值进行评价,该噪声点检测值能够准确反映目标像素点所处区域的特性,避免了传统的噪声点检测方法容易将灰度变化较大的正常像素点误判为噪声点的情况,能够适应目标像素点的情况进行判断,提高噪声点的检测效果。
一种实施方式中,管理终端3还包括控制模块;
控制模块用于通过云服务器向无人机单元1发送控制指令,以控制无人机单元1根据控制指令执行相应的操作。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当分析,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。