CN106454263A - 基于图像智能感知物联网技术的现场巡视系统 - Google Patents

Abstract

本发明涉及一种基于图像智能感知物联网技术的现场巡视系统，通过可见光摄像头和红外摄像头采集的巡视现场的图像数据，由视频采集编码处理单元编码得到视频数据，并网络接口传送至分析处理单元解码并进行图像分析，从而对存在于解码后视频中各帧图像上的安全生产隐患特征进行识别，并通过手持终端展示。事故追忆单元分别与视频采集编码处理单元、分析处理单元、声音采集单元和环境采集单元连接进行数据记录，便于进行历史数据趋势性分析。本发明使用方便，可以应用于电网施工现场安全生产巡视，对电网智能化水平的发展和提高具有一定的促进作用。

Description

基于图像智能感知物联网技术的现场巡视系统

技术领域

本发明属于电网施工现场建设领域，特别涉及一种基于图像智能感知物联网技术的施工现场安全生产分析巡视系统。

背景技术

近年来，随着视频技术的不断发展，视频技术对安防、生产、管理、运维等各个业务部门起到了越来越重要的作用，各业务部门能够通过视频及时了解现场状况、设备运行、安防等情况，为日常运行、应急处理、事故分析等工作提供直观可视的决策依据。各项应用业务对视频的需求也在不断提高，要求视频具有高智能化、高可靠性、高可用性。

针对施工现场安全生产的管理监督，通常采用定期的人工巡视方式，通过人工的方式对安全生产运行状态进行检查，通过该方法及时发现安全生产存在的安全隐患及设备故障。然而人员巡视方式维护工作量大、无法提升巡视质量、无法记录故障时的音视频、环境数据，不能做到对事故的追忆。

发明内容

针对现有技术的不足，本发明提供了一种基于图像智能感知物联网技术的现场巡视系统，能够在巡视人员对施工现场安全生产的巡视过程中，对施工现场安全隐患进行自动识别并记录，同时还能通过语音告警及时提示巡视人员需重点关注的巡视内容。

为了达到上述目的，本发明的技术方案是提供一种基于图像智能感知物联网技术的现场巡视系统，其包含：

可见光摄像头和红外摄像头，分别采集巡视现场的图像数据；

视频采集编码处理单元，其接收所述可见光摄像头和红外摄像头分别通过视频模拟线发送的图像数据进行编码得到视频数据；

分析处理单元，其接收所述视频采集编码处理单元通过网络接口发送的视频数据进行解码，并通过图像分析对存在于解码后视频中各帧图像上的安全生产隐患特征进行识别；

手持终端，其接收所述分析处理单元发送的图像分析后的数据进行展示。

优选地，所述视频采集编码处理单元及所述分析处理单元与事故追忆单元连接，分别向其发送图像数据、分析结果进行记录。

优选地，所述现场巡视系统还包含分别与事故追忆单元连接的声音采集单元和环境采集单元。

优选地，所述可见光摄像头与红外摄像头安装在巡视员的安全帽上；

所述视频采集编码处理单元、分析处理单元、声音采集单元、环境采集单元、事故追忆单元以及对其各自供电的蓄电池，安装在巡视员的背包中；

所述手持终端是PDA或手机。

优选地，所述视频采集编码处理单元包含ARM芯片，和分别与之连接的内存模块、闪存模块、硬盘接口模块、硬件调试接口模块、串口模块、视频输入处理模块、网络模块、电源模块。

优选地，所述视频输入处理模块是双路视频解码器，通过其采集可见光视频模拟数据和红外视频模拟数据，并对数据进行实时编码，编码格式为H.264，编码帧数为25pps，编码图像质量为D1。

优选地，所述分析处理单元包含ARM A15芯片，和分别与之连接的内存模块、闪存模块、硬盘接口模块、硬件调试接口模块、串口模块、网络模块、电源模块。

优选地，所述分析处理单元通过采用SIP+SDP和RTP/RTCP协议的网络模块来获取视频数据。

本发明的有益效果在于： 本发明不仅通过见光摄像头采集数据，还通过红外摄像头对巡视过程中的温度进行实时采集，同时可以采集到巡视过程中的声音数据、湿度、风向等数据，扩大了巡视过程中的数据内容，提升了巡视质量，为巡视人员准确判断安全生产运行状态提供了直接可靠的数据；同时，通过对巡视数据的记录，便于对温度的历史数据趋势性分析，为排查设备故障及设备隐患提供了数据支撑；通过视频采集编码处理单元、分析处理单元所获取的实时数据和分析结果数据，通过USB接口直接发送至PDA/手机，巡视人员在巡视过程中，可以通过PDA/手机查看巡视过程中的分析结果数据，有效便于巡视人员检查当前的设备状态和进行记录数据的准确性分析。本发明方便进行应用和推广，不受变电站规模和电压等级的影响。

附图说明

图1为本发明的结构示意图；

图2为本发明的数据接口图；

图3为视频采集编码处理单元的结构示意图；

图4为分析处理单元的结构示意图；

图5为视频采集编码的处理流程图。

具体实施方式

下面将结合附图对本发明作进一步说明。

如图1-图5所示，本发明提供一种基于图像智能感知物联网技术的现场巡视系统，包含可见光摄像头、红外摄像头、视频采集编码处理单元、分析处理单元、声音采集单元、环境采集单元、事故追忆单元、手持终端和蓄电池。

如图1-图2所示，所述可见光摄像头与红外摄像头均与视频采集编码处理单元连接，视频采集编码处理单元、分析处理单元各自均与事故追忆单元和蓄电池连接，声音采集单元和环境采集单元也均与事故追忆单元连接，手持终端与分析处理单元连接。

在施工现场进行安全生产巡视的时候，巡视人员随身携带本发明的系统，其中可见光摄像头与红外摄像头均安装在巡视员所佩戴的安全帽上，这两个摄像头将采集到的图像数据通过视频模拟线送至视频采集编码处理单元，视频采集编码处理单元对视频数据进行基本的处理后，再将处理后的视频数据发送分析处理单元。

分析处理单元为本系统的核心处理单元，采用二维码图像识别技术、图像分析处理技术等，通过内部逻辑处理，将巡视过程中的图像化数据转换为信息化数据，并将图像和信息化数据再发送至巡视人员所携带的PDA或手机进行实时展示，从而用于巡视人员在巡视过程中实时检查巡视内容。本发明中的可见光摄像机镜头和红外热成像摄像机镜头安装于巡视人员的安全帽上，视频采集编码处理单元、分析处理单元、声音采集单元、环境采集单元、事故追忆单元、蓄电池安装于巡视人员的便携式背包或其他穿戴设备中，PDA/手机由巡视人员直接手持携带。

如图3所示，视频采集编码处理单元主要包含：ARM芯片，和分别与之连接的内存模块、闪存模块、硬盘接口模块、硬件调试接口模块、串口模块、视频输入处理模块、网络模块。

其中，支持视频编码功能的ARM芯片，是视频采集编码处理单元的核心处理单元，实现对所有处理过程的逻辑控制以及视频的编码处理，输入的视频数据为模拟视频数据，通过该芯片对模拟视频数据进行编码，便于视频数据在网络中的传输；

所述内存模块，采用DDR2，为内存处理单元；

所述闪存模块，采用FLASH，用于储存文件系统和系统上的应用程序；

所述硬盘接口模块，采用SATA，用于外接硬盘，存储视频数据；

所述硬件调试接口模块，采用JTAB（Joint Test Action Group），为硬件调试接口；

所述串口模块，采用USB，为串口调试接口；

所述视频输入处理模块，采用双路视频解码器（2 Channel Video Decoder），其将通过模拟线传输过来的视频数据，通过A/D转换，将模拟视频数据转换为数字视频数据，用于ARM芯片对视频数据的处理；

所述网络模块，采用PHY，提供该视频采集编码处理单元与外部单元之间的网络接口；

所述电源模块（POWER），为该视频采集编码处理单元提供外部电源输入接口。

如图4所示，分析处理单元中设置的ARM A15芯片，是该分析处理单元的核心处理单元，实现对所有处理过程的逻辑控制以及视频的编码处理，输入接口为网络接口，通过网络接口获取视频数据，通过该芯片对视频数据进行解码和图像分析。

所述分析处理单元还包含分别与ARM A15芯片连接的内存模块、闪存模块、硬盘接口模块、硬件调试接口模块、串口模块、网络模块以及电源模块，这些模块与视频采集编码处理单元中的同名模块作用类似，不一一赘述。

如图5所示，通过本发明进行巡检的过程大体如下：

可见光摄像头和红外摄像头均通过模拟视频线连接至编码处理单元；视频采集编码处理单元将编码后的视频数据通过网络接口发送至分析处理单元，分析处理单元对视频数据处理完成后，将处理结果数据通过USB接口传输至PDA/手机；PDA/手机通过USB接口接收数据后，对分析结果、声音、环境数据和图像数据进行展示；对于视频采集编码处理单元、分析处理单元通过蓄电池的5V电源统一供电。系统测得的可见光图片、红外热成像图片、声音数据、环境数据及分析结果等巡视数据，都通过事故追忆单元进行记录，便于进行历史数据趋势性分析。

其中，视频采集编码处理流程如下：

（1）通过视频输入处理模块的物理接口（双路视频解码器），从可见光摄像头和红外摄像头处，分别接收采集得的可见视频模拟数据和红外热成像视频模拟数据。

（2）通过ARM芯片，对采集的视频数据进行实时编码，编码格式为H.264，编码帧数为25pps，编码图像质量为D1。

（3）对于编码后的视频数据，为了网络设备能够通过网络接口直接获取视频数据，采用SIP+SDP接口协议，为外部网络设备提供通信接口进行会话协商，并设置默认的可见光视频模拟数据端口为1，设置默认的红外热成像视频模拟数据端口为2。

（4）对编码后的视频数据采用RTP/RTCP协议封装，用于通过网络方式获取视频数据，即通过SIP+SDP接口协议与本设备单元协商完成后，通过RTP/RTCP接口将视频数据发送至网络请求端。

（5）通过上述处理完成后，即可用于接收分析处理单元的视频数据请求，该请求通过SIP+SDP协议进行协商。

（6）请求成功后，通过RTP/RTCP接口将视频数据发送至分析处理单元。

（7）至此，视频采集编码处理单元的处理流程完成。

分析处理单元接收到视频数据后的处理流程如下：

1）通过网络接口SIP+SDP、RTP/RTCP协议获取网络视频数据，其协议交互流程为：

a)分析处理单元对视频采集编码处理单元中指定的摄像机发起实时视频调阅请求，分析处理单元发送INVITE消息，携带SDP内容到视频采集编码处理单元。

b)按照SIP要求，视频采集编码处理单元在0.5 s内未能处理该请求，则先发送1xx临时响应给分析处理单元。

c)视频采集编码处理单元的前端设备接受了调阅请求的操作，则发送携带SDP（会话描述协议，用于描述会话中的媒体传输格式）的200 OK(SIP协议的中的消息头，表示接收成功)响应到分析处理单元。

d)分析处理单元发送ACK（SIP协议的消息头为ACK消息）给视频采集编码处理单元，确认会话建立。

e)实时视频流从视频采集编码处理单元中传输到分析处理单元的用户，用户根据相应的解码插件，解码并展示视频图像。

f)用户结束会话，分析处理单元发送BYE消息（SIP协议的消息头为BYE，表示发送结束会话的消息）到视频采集编码处理单元。

g)视频采集编码处理单元发送确认，将媒体通道拆线，会话结束。

2）分析处理单元获取网络视频后，对视频进行解码，解码后获取图像中的某一帧图片数据，该图片数据作为后续图像分析的数据源。

3）对获取的某一帧图片（可见光图片和/或红外热成像图片）进行图像智能分析：

如果图片中检测到二维码，则根据二维码的识别特征，采用图像灰度化、图像滤波、图像二值化、图像匹配等技术进行处理；

如果图片中检测到人脸后，对比数据库中的人脸数据，如果没有匹配则进行告警；

如果图片中检测到人脸后，检测头部以上位置是否有安全帽，如果没有则进行告警；

如果图片中检测到火灾，进行火灾告警；

如果图片中检测到烟雾，进行烟雾告警；

如果图片中检测到设备，对比数据库中的设备外观，若发现设备破损，进行告警。

4）图像分析后将相应的数据，通过USB接口发送至PDA/手机，所述数据包含了分析结果、可见光图片、红外热成像图片、声音数据、环境数据，PDA/手机接收到数据后，对结果数据进行展示。

本发明的系统使用方便，可以主要应用于电网施工现场安全生产巡视，对电网智能化水平的发展和提高具有一定的促进作用。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于图像智能感知物联网技术的现场巡视系统，其特征在于，包含：

可见光摄像头和红外摄像头，分别采集巡视现场的图像数据；

视频采集编码处理单元，其接收所述可见光摄像头和红外摄像头分别通过视频模拟线发送的图像数据进行编码得到视频数据；

分析处理单元，其接收所述视频采集编码处理单元通过网络接口发送的视频数据进行解码，并通过图像分析对存在于解码后视频中各帧图像上的安全生产隐患特征进行识别；

手持终端，其接收所述分析处理单元发送的图像分析后的数据进行展示。

2.如权利要求1所述的现场巡视系统，其特征在于，

所述视频采集编码处理单元及所述分析处理单元与事故追忆单元连接，分别向其发送图像数据、分析结果进行记录。

3.如权利要求2所述的现场巡视系统，其特征在于，

所述现场巡视系统还包含分别与事故追忆单元连接的声音采集单元和环境采集单元。

4.如权利要求3所述的现场巡视系统，其特征在于，

所述可见光摄像头与红外摄像头安装在巡视员的安全帽上；

所述视频采集编码处理单元、分析处理单元、声音采集单元、环境采集单元、事故追忆单元以及对其各自供电的蓄电池，安装在巡视员的背包中；

所述手持终端是PDA或手机。

5.如权利要求1~3中任意一项所述的现场巡视系统，其特征在于，

所述视频采集编码处理单元包含ARM芯片，和分别与之连接的内存模块、闪存模块、硬盘接口模块、硬件调试接口模块、串口模块、视频输入处理模块、网络模块、电源模块。

6.如权利要求5所述的现场巡视系统，其特征在于，

所述视频输入处理模块是双路视频解码器，通过其采集可见光视频模拟数据和红外视频模拟数据，并对数据进行实时编码，编码格式为H.264，编码帧数为25pps，编码图像质量为D1。

7.如权利要求1~3中任意一项所述的现场巡视系统，其特征在于，

所述分析处理单元包含ARM A15芯片，和分别与之连接的内存模块、闪存模块、硬盘接口模块、硬件调试接口模块、串口模块、网络模块、电源模块。

8.如权利要求7所述的现场巡视系统，其特征在于，

所述分析处理单元通过采用SIP+SDP和RTP/RTCP协议的网络模块来获取视频数据。