CN112866686A - 一种应用于移动设备端的视频分析系统及其方法 - Google Patents

Abstract

本发明涉及一种应用于移动设备端的视频分析系统及其方法，该系统，包括：视频采集设备、视频处理装置以及云端处理系统，所述视频采集设备与所述视频处理装置之间通讯连接，所述视频处理装置与所述云端处理系统之间通讯连接，所述视频处理装置具有运算卡，该运算卡包括解协议模块、解封装模块、解码模块、检测模块以及业务逻辑模块，分别处理对视频流的解协议、解封装、解码、检测算法以及业务逻辑。本发明能够实现离线检测，不依赖外部网络，可以提高检测能力。

Description

一种应用于移动设备端的视频分析系统及其方法

技术领域

本发明涉及视频技术领域，特别涉及一种应用于移动设备端的视频分析系统及其方法。

背景技术

近几年人工智能技术不断发展，视频分析技术越来越多地被应用于生产生活中，如监控领域，交通领域，无人化生产等等。在给我们生活带来便利的同时，还带来了一些应用上的困扰。

如在移动设备领域，例如巡逻车，机器人等，使用传统方式多少存在一些弊端，如网络带宽有限，延迟高，成本高等。

现有技术中存在一种集成边缘计算芯片的智能网络摄像头，是将检测任务直接在设备自身处理，通常用于智能交通、智能家居等功能需求较为单一的领域，如交通违章、流量监控、安防摄像头。但是这种产品存在如下缺陷：1、边缘计算芯片处理能力不高，只能运行轻量级模型，精度不高。2、只能运行少数通用的场景，功能单一。3、接口API不完善，难以二次开发。

现有技术中还存在一种方式是使用云端视频检测业务，通常由大的网络服务供应商作为PAAS、SAAS提供，通过服务商提供的API，用户传输待检测数据到云端，云端检测完成后将结果下发至用户设备端，或直接接入用户的云平台。用户设备接收到结果后进行相关业务逻辑操作，用户云平台接收结果后进行云端管理。但是此种方式存在如下缺陷：该应用方案对网络要求高，而在移动设备端，如巡逻车、机器人，通常使用WIFI、4G等通讯方式连接网络，往往不能满足云端对于源数据的带宽，延迟需求。

因此，如何将上述问题加以解决，而研发出一种应用于移动设备端的视频分析系统及其方法，即为本发明的研究方向所在。

发明内容

发明所要解决的问题

本发明的主要目的是提供一种应用于移动设备端的视频分析系统及其方法，解决移动设备端视频检测效率低，功能单一的问题。

用于解决问题的方案

本发明的一方式是提供一种应用于移动设备端的视频分析系统，包括：视频采集设备、视频处理装置以及云端处理系统，所述视频采集设备与所述视频处理装置之间通讯连接，所述视频处理装置与所述云端处理系统之间通讯连接，所述视频处理装置具有运算卡，该运算卡包括解协议模块、解封装模块、解码模块、检测模块以及业务逻辑模块，分别处理对视频流的解协议、解封装、解码、检测算法以及业务逻辑。

优选地，所述解协议模块通过FFMPEG库实现：网络初始化—打开RTS P流—获取流信息—根据网络流信息初始化输出流信息—循环写入流。

优选地，所述解封装模块通过FFMPEG库实现，将封装的视频文件分离为音频、视频。

优选地，所述解码模块获取单帧原始图像，解码操作使用GPU完成。

优选地，所述检测模块包括人脸识别检测模块和物体识别检测模块，所述人脸识别检测模块和所述物体识别检测模块分别集成人脸识别和物体识别两种检测算法。

优选地，所述人脸识别检测模块和所述物体识别检测模块分别具有跟踪单元，所述跟踪单元具有跟踪功能，保证图像视野中的目标不丢失，ID连续。

优选地，所述业务逻辑模块包括：数据流获取单元，其获取所述数据采集设备输出的数据流；数据交互单元，其与所述云端处理系统进行数据交互；以及本地web管理界面，其用于对本系统进行配置。

优选地，所述云端处理系统部署在远程，包括数据交互模块、应答模块、心跳包模块以及校准模块，所述数据交互模块通过基于tcp的通讯协议，实现数据交互；所述应答模块中，交互方式采用“请求-响应”的模式，支持对每条消息进行应答；所述心跳包模块中，通过心跳包，以获取视频处理终端的运行状态；所述校准模块中，协议支持云端统一校准时间。

优选地，所述云端处理系统还包括：远程管理模块，其对所有视频处理装置进行远程管理；分析管理及展示模块，其对视频处理装置返回的数据进行分析管理及展示；以及触发告警模块，其根据预设的告警条件，若检测结果触发条件，则生成告警提示信息。

本发明另一方式是一种应用于移动设备端的视频分析方法，包括如下步骤：

步骤S1：将视频采集设备和视频处理装置接入本地网络，通过视频处理装置的本地web管理界面配置工作模式，视频源地址；

步骤S2：注册设备信息，即启动视频处理装置，并登录云端处理系统，注册即将使用的设备；

步骤S3：设备注册后，位于移动端的视频处理装置开始接收视频流数据，并对数据信息片段进行解封装操作，分离出视频信息，并对视频信息进行解码，以获取原始视频信息；

步骤S4：将原始视频帧送往检测模块检测，检测模块检测出结果，保存相应结果数据及log，并回传给云端处理系统；

步骤S5：云端处理系统接收到检测结果，保存相应信息并通过交互界面可以进行查询操作。

发明的效果

本发明的一种应用于移动设备端的视频分析系统及其方法具有如下有益效果：

与其它离线检测的方案相比较，在所述的移动设备领域，本发明在保证检测效果的同时，提高了检测速度，支持更大的检测流量，因此可以接入更多的视频源或提高视频检测帧率。

由于检测装置与接入系统的硬件独立性，因此集成灵活，升级维护更加便利。

因此，本发明能实现离线检测，不依赖外部网络。在移动设备端应用领域，提高检测能力。

附图说明

图1是本发明一种应用于移动设备端的视频分析系统的框图。

图2是本发明视频处理装置示意图。

图3是本发明业务逻辑模块的示意图。

图4是本发明云端处理系统的示意图。

图5是本发明将视频分析系统应用于巡逻车的场景的示意图。

图6是本发明将视频分析系统应用于机器人的场景的示意图。

图7是本发明一种应用于移动设备端的视频分析方法流程示意图。

附图标记说明

1：视频分析系统；11：视频采集设备；12：视频处理装置；13：云端处理系统；21：运算卡；22：扩展板；23：散热装置；31：解协议模块；32：解封装模块；33：解码模块；34：检测模块；35：业务逻辑模块；41：数据流获取单元；42：数据交互单元；43：本地web管理界面；51：数据交互模块；52：应答模块；53：心跳包模块；54：校准模块；55：远程管理模块；56：分析管理及展示模块；57：触发告警模块。

具体实施方式

下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。并且，在此处需要进一步强调的是，以下的具体实施例提供的优选的技术方案，各方案(实施例)之间是可以相互配合或结合使用的。

如图1所示，为本发明一种应用于移动设备端的视频分析系统的框图，本发明的一种应用于移动设备端的视频分析系统1包括视频采集设备11、视频处理装置12、云端处理系统13。视频采集设备11与视频处理装置12之间通讯连接，例如使用网络设备(交换机、路由器)通过网线连接，视频处理装置12与云端处理系统13之间通讯连接，例如通过无线网络(WIFI、4G)连接。

视频处理装置12与视频采集设备11之间通过rtsp协议获取压缩格式的视频流。视频采集设备11与云端处理系统13之间通过特定协议进行双向数据传输，支持心跳。视频采集设备11可以是一个或多个视频源，例如多个rtsp流。

如图2所示，为本发明视频处理装置示意图，视频处理装置12具有运算卡21、扩展板22以及散热装置23，运算卡21基于X86架构CPU设计，所使用CPU具有高主频的特点，运算卡21包括解协议模块31、解封装模块32、解码模块33、检测模块34以及业务逻辑模块35，分别处理对视频流的解协议、解封装、解码、检测算法以及业务逻辑。

解协议模块31处理对视频流的解协议：本系统支持接入RTSP流摄像头，即从RTSP流中解析出视频流，如H264，MPEG4流，通过FFMPEG库实现：网络初始化—打开RTSP流—获取流信息—根据网络流信息初始化输出流信息—循环写入流。

解封装模块32处理对视频流的解封装：当对视频进行检测时，检测模块34只能解析纯视频或者纯音频数据，不能直接处理封装的数据。如果要实现对视频的检测，必须将封装的视频文件分离为音频、视频和字幕等其他辅助信息。因此当获取到的流为音视频封装的格式，如mpeg4时，此时需要通过解封装模块32进行解封装操作，将视频分离出来，这种解封装操作依然使用FFMPEG库实现。

解码模块33处理对视频流的解码：由于检测模块的输入多为未经压缩的原始格式数据，例如图像的YUV原始数据，因此，需要通过解码模块33对视频流解码，获取单帧原始图像。为提高解码效率，减少对CPU的过度消耗，解码操作使用GPU完成，由于使用GPU解码，使得本系统可以轻松处理多路视频，实时性高。

检测模块34处理对视频流的检测算法：检测模块34包括人脸识别检测模块和物体识别检测模块，该两种模块分别集成人脸识别与物体识别两种检测算法，并且分别具有跟踪单元，该跟踪单元实现跟踪功能，保证图像视野中的目标不丢失，ID连续，本检测模块34还支持多路检测。

如图3所示，为本发明业务逻辑模块的示意图，业务逻辑模块35处理对视频流的业务逻辑：包括：数据流获取单元41，其获取数据采集设备输出的数据流；数据交互单元42，其与云端处理系统13进行数据交互；以及本地w eb管理界面43，其用于对本系统进行配置。通过从视频采集设备11获取视频流并由解封装模块32进行解封装后，系统会同时存储压缩的视频流；与云端处理系统13交互的数据主要包括控制(配置)数据，心跳数据，检测结果数据。本地web管理界面43主要用于对本系统进行配置，包括摄像头配置，网络配置，运行参数配置；同时提供固件升级以及视频回放功能。

如图4所示，为本发明云端处理系统的示意图，本发明的云端处理系统13部署在远程，包括数据交互模块51、应答模块52、心跳包模块53以及校准模块54，其中，数据交互模块51通过基于tcp的通讯协议，实现数据交互；应答模块52中，交互方式采用“请求-响应”的模式，支持对每条消息进行应答；心跳包模块53中，通过心跳包，以获取视频处理终端的运行状态；校准模块54中，协议支持云端统一校准时间，即通过协议下发时间等配置，以统一设备端与云端时间。

还包括：远程管理模块55，对所有视频处理装置12进行远程管理，如增加设备、删除设备，主要通过设备MAC地址作为唯一识别码以识别设备；分析管理及展示模块56，其对视频处理装置12返回的数据进行分析管理及展示，当检测模块34检测出结果并上传后，云端处理系统13将数据生成记录并存入数据库，以备查询使用；以及触发告警模块57，其根据预设的告警条件，若检测结果触发条件，则生成告警提示信息。

如图5所示，是本发明将视频分析系统应用于巡逻车的场景的示意图。当此视频分析系统1运用于巡逻车平台时，得益于本系统支持多路检测，为使巡逻车能检测所有区域，视频采集设备11使用了6目摄像头，6组相同的摄像头按60度间隔环形排列，每个摄像头检测范围60度，可以达到全景效果，因此可以在不调整本体姿态的情况下便可以达到无缝检测，相比于使用独立摄像头加云台实现的方案，结构更简单稳定。6目摄像头以及视频处理装置12通过网线连接到巡逻车的4G无线传输单元，视频处理装置12分别解析6路rt sp流，提取各自的视频数据，并分别进行人脸检测，车牌检测识别。

当系统检测到人脸、车牌并识别出车牌内容，向云端处理系统13发送检测结果及原始图像，云端处理系统13生成检测记录并入库备查；

其中，远程管理模块55内设比对库，可预先录入待比对的人脸库或车牌信息库，当收到视频处理装置12发送的检测结果时，进行比对，可直接出发告警信息；这种应用方式十分适用于在安防，巡检等类似应用场景。

同时比对库可更新到视频处理装置12，如车牌信息比对，当发现未知车辆时直接出发告警操作。

如图6所示，是本发明将视频分析系统应用于机器人的场景的示意图，当该视频分析系统运用于机器人平台时，与车载的应用场景略有不同，类似服务机器人重点关注定向服务，以及保持跟踪。因此检测结果的帧率不能太低、响应延迟不能太高，否则容易丢失目标，同时又要求输出信息的丰富性，以达到提高交互能力的效果。若采用传统的云端处理方式，显然网络传输是一大瓶颈，而若使用自身资源，由于其本体导航模块，交互模块等已占用绝大部分系统资源，因此不可能承载检测这种重量级应用。

本发明的视频分析系统的应用就是一种很好的解决方案，既有接口简单，维护方便的特点，又由于各功能模块物理上就是分离的，因此系统更加可靠。如图所示，机器人本体的摄像头可直接接入视频处理装置12，连接方式可以通过网线、USB等媒介，通过RTSP或设备自身协议解析出视频流数据，解码后送往检测模块，检测模块持续输出检测结果，例如：对于人脸数据，持续输出人脸在摄像头画面内的相对坐标，并进行跟踪，即目标在视野范围内保持固定的id。机器人获取输出信息后，可进行相关业务交互。

如图7所示，是本发明一种应用于移动设备端的视频分析方法流程示意图，包括如下步骤：

步骤S1：将视频采集设备11和视频处理装置12接入本地网络，通过视频处理装置的web管理界面配置工作模式，视频源地址等信息；

步骤S2：注册设备信息，即启动视频处理装置12，并登录云端处理系统13，注册即将使用的设备；

步骤S3：获取视频数据流、解封装并解码，具体是设备注册后，位于移动端的视频处理装置12开始接收视频流数据，并对数据信息片段进行解封装操作，分离出视频信息，并对视频信息进行解码，以获取原始视频信息(Y UV)；

步骤S4：对人脸、物体(车牌等)等进行检测，具体是将原始视频帧送往检测模块34检测，检测模块34检测出结果，保存相应结果数据及log，并回传给云端处理系统。

步骤S5：接收检测结果，保存视频码流，回传结果，具体是云端处理系统13接收到检测结果，保存相应信息并通过交互界面可以进行查询操作。

综上所述，本发明的一种应用于移动设备端的视频分析系统及其方法具有如下有益效果：

与其它离线检测的方案相比较，在所述的移动设备领域，本发明在保证检测效果的同时，提高了检测速度，支持更大的检测流量，因此可以接入更多的视频源或提高视频检测帧率。

由于检测装置与接入系统的硬件独立性，因此集成灵活，升级维护更加便利。

因此，本发明能实现离线检测，不依赖外部网络。在移动设备端应用领域，提高检测能力。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种应用于移动设备端的视频分析系统，其特征在于，包括：视频采集设备、视频处理装置以及云端处理系统，所述视频采集设备与所述视频处理装置之间通讯连接，所述视频处理装置与所述云端处理系统之间通讯连接，所述视频处理装置具有运算卡，该运算卡包括解协议模块、解封装模块、解码模块、检测模块以及业务逻辑模块，分别处理对视频流的解协议、解封装、解码、检测算法以及业务逻辑。

2.根据权利要求1所述的应用于移动设备端的视频分析系统，其特征在于，所述解协议模块通过FFMPEG库实现：网络初始化—打开RTSP流—获取流信息—根据网络流信息初始化输出流信息—循环写入流。

3.根据权利要求1所述的应用于移动设备端的视频分析系统，其特征在于，所述解封装模块通过FFMPEG库实现，将封装的视频文件分离为音频、视频。

4.根据权利要求1所述的应用于移动设备端的视频分析系统，其特征在于，所述解码模块获取单帧原始图像，解码操作使用GPU完成。

5.根据权利要求1所述的应用于移动设备端的视频分析系统，其特征在于，所述检测模块包括人脸识别检测模块和物体识别检测模块，所述人脸识别检测模块和所述物体识别检测模块分别集成人脸识别和物体识别两种检测算法。

6.根据权利要求5所述的应用于移动设备端的视频分析系统，其特征在于，所述人脸识别检测模块和所述物体识别检测模块分别具有跟踪单元，所述跟踪单元具有跟踪功能，保证图像视野中的目标不丢失，ID连续。

7.根据权利要求1所述的应用于移动设备端的视频分析系统，其特征在于，所述业务逻辑模块包括：数据流获取单元，其获取所述数据采集设备输出的数据流；数据交互单元，其与所述云端处理系统进行数据交互；以及本地web管理界面，其用于对本系统进行配置。

8.根据权利要求1所述的应用于移动设备端的视频分析系统，其特征在于，所述云端处理系统部署在远程，包括数据交互模块、应答模块、心跳包模块以及校准模块，所述数据交互模块通过基于tcp的通讯协议，实现数据交互；所述应答模块中，交互方式采用“请求-响应”的模式，支持对每条消息进行应答；所述心跳包模块中，通过心跳包，以获取视频处理终端的运行状态；所述校准模块中，协议支持云端统一校准时间。

9.根据权利要求8所述的应用于移动设备端的视频分析系统，其特征在于，所述云端处理系统还包括：远程管理模块，其对所有视频处理装置进行远程管理；分析管理及展示模块，其对视频处理装置返回的数据进行分析管理及展示；以及触发告警模块，其根据预设的告警条件，若检测结果触发条件，则生成告警提示信息。

10.一种应用于移动设备端的视频分析方法，其特征在于，包括如下步骤：

步骤S1：将视频采集设备和视频处理装置接入本地网络，通过视频处理装置的本地web管理界面配置工作模式，视频源地址；

步骤S2：注册设备信息，即启动视频处理装置，并登录云端处理系统，注册即将使用的设备；

步骤S3：设备注册后，位于移动端的视频处理装置开始接收视频流数据，并对数据信息片段进行解封装操作，分离出视频信息，并对视频信息进行解码，以获取原始视频信息；

步骤S4:将原始视频帧送往检测模块检测，检测模块检测出结果，保存相应结果数据及log，并回传给云端处理系统；

步骤S5：云端处理系统接收到检测结果，保存相应信息并通过交互界面进行查询操作。

Images