CN107005679B - 一种基于云服务的智能目标识别装置、系统及方法 - Google Patents

Abstract

本发明公开了一种基于云服务的智能目标识别装置、系统及方法。该智能目标识别装置根据数据分类方法对视频数据分类，并将识别结果发送至监控终端；监控终端根据用户的选择将识别有误的视频特征信息反馈至云服务器；云服务器处理视频特征信息，训练生成新的数据分类方法，并向智能目标识别装置发送更新通知；智能目标识别装置接收通知，下载并更新数据分类方法配置文件。本发明通过持续性地获得用户反馈，动态更新数据分类方法，为用户提供适应其监控环境的智能目标识别装置，可以有效降低视频监控成本和误报率，提高智能视频监控系统的识别精度。

Description

一种基于云服务的智能目标识别装置、系统及方法

技术领域

本发明涉及一种基于云服务的智能目标识别装置，同时还涉及一种采用该装置的智能目标识别系统和相应的智能目标识别方法，属于视频监控技术领域。

背景技术

现有的视频监控系统已具有简单的运动检测、报警功能，但并不具备目标识别、行为理解、事件识别等能力，而真正要起到安全防范作用则需要人去实时观察、分析图像，从而得到场景的安全性评价。为了提高视频监控系统的智能性，将人从枯燥的现场监视中解放出来，许多学者将光电数字图像处理及分析、模式识别、计算机视觉、人工智能等技术与视频监控相结合，提出智能视觉监控研究方向，在运动目标的检测、跟踪、分类、识别、目标行为理解及事件识别等领域开展了深入的研究。

视频监控系统的监控效果与其采用的数据分类方法直接相关，而数据分类方法通过数据样本训练分析获得。在现有技术中，数据样本的获取方式通常有两种：一是通过公用数据库。参见图1，该方式中由于数据样本与实际使用场景存在很大区别，在实际应用过程中易造成漏报、误报现象；二是直接通过用户的监控视频。该方式将实时监控视频直接传送至云服务器上，由云服务器对视频特征数据进行训练分析。该方式中，视频数据虽然来自于真实应用场景的，然而却有以下弊端：首先，云服务器综合不同场合的所有数据，即所有用户共用一个数据分类方法。而视频监控系统通常用于某一特定场景，那么共用的数据分类方法会使得检测准确率随机性比较大；其次，云服务器中需要处理并存放大量的无效视频信息(如场景中未有异常)，将损耗大量的带宽和服务器成本。

例如公开号为US2014043480的美国发明申请，公开了一种视频监控系统及方法，其前端数据采集设备采集视频图像，将视频图像数据传输给前端接入设备；前端接入设备将前端数据采集设备传输的视频图像数据传输给云系统；云系统对视频图像数据进行分析，在前端数据采集设备采集到的视频图像中目标的行为出现异常时，产生报警。该发明通过云系统对视频图像数据进行分析处理，所有用户共用一个视频分析服务器，监控的精确度可能存在一定的误差，同时服务器的成本也是比较高的。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种基于云服务的智能目标识别装置。

本发明所要解决的另一技术问题在于提供一种采用上述智能目标识别装置的智能目标识别系统。

本发明所要解决的又一技术问题在于提供一种基于上述智能目标识别系统的智能目标识别方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种基于云服务的智能目标识别装置，包括视频分析模块、数据分类模块、存储模块、通信模块以及控制模块；其中所述控制模块负责各个模块之间的信息交互；

所述视频分析模块对通信模块传输的视频数据进行分析处理；所述数据分类模块根据分析模块处理的图像信息判断监控环境是否异常，并通过所述通信模块向监控终端发送报警信息；所述存储模块用于存储采集的视频数据；

所述控制模块一方面接收监控终端的视频查看指令，通知所述存储模块将视频数据传输给所述监控终端，另一方面通过所述通信模块下载并更新所述数据分类模块中的配置文件。

一种基于云服务的智能目标识别系统，包括上述智能目标识别装置、视频采集装置、监控终端以及云服务器；该智能目标识别装置分别与所述视频采集装置、所述监控终端和所述云服务器通过网络相连接；

所述视频采集装置实时采集监控环境的视频信息；

所述智能目标识别装置用于视频的分析和数据分类，并将识别结果以及所述视频发送至监控终端；

所述监控终端将判定有误的识别结果及视频提炼的数据样本发送至云服务器；

所述云服务器将终端设备发送识别结果和视频提炼的数据样本作为数据样本，训练生成用于更新所述智能目标识别装置数据分类的配置文件。

一种基于云服务的智能目标识别方法，基于上述智能目标识别系统实现，包括如下步骤：

智能目标识别装置根据数据分类方法对视频数据分类，并将识别结果发送至监控终端；

监控终端根据用户的选择将识别有误的视频特征信息反馈至云服务器；

所述云服务器处理所述视频特征信息，训练生成新的数据分类方法，并向所述智能目标识别装置发送更新通知；

所述智能目标识别装置接收所述通知，下载并更新数据分类方法配置文件。

本发明将数据分类方法的实际使用与数据训练过程分开。在使用时，智能目标识别装置布置于监控环境中，用户将识别有误的数据分类结果发送至云服务器。云服务器只需根据用户反馈的视频特征数据训练生成用于更新智能目标识别装置的数据分类方法。因此本发明尤其适合单独的用户监控环境，可以有效降低误报率，提高视频监控系统的识别精度。

附图说明

图1为数据分类方法的生成和使用流程图；

图2为本发明所提供的智能目标识别装置的结构示意图；

图3为本发明所提供的智能目标识别系统的结构示意图；

图4为本发明所提供的智能目标识别方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。

参见图2，本发明所提供的智能目标识别装置位于用户的监控环境中，与视频采集装置相互配合使用。其中，该智能目标识别装置对视频采集装置采集的视频进行分析，并判断当前环境是否有异常情况。当有异常情况时，通过网络向用户推送报警通知。当有配置更新时，该装置还可以自动更新数据分类方法。在本发明的一个实施例中，智能目标识别装置包括视频分析模块、数据分类模块、存储模块、通信模块以及控制模块。控制模块分别与各个模块相连接。通信模块分别与视频分析模块、数据分类模块相连接。

视频分析模块用于对采集的视频数据分析处理，具体包括顺序连接的运动目标检测与提取、目标分割以及特征提取三个单元。这些单元可以以软件或者固件方式实现。其中，运动目标检测与提取单元可以采用帧差法、光流法以及动态自适应背景法等算法，使得能够区分出背景和运动的物体。运动目标检测与提取单元提取检测到的物体后，由目标分割单元对目标进行分割。其中目标分割可以采用Otsu法(最大类间方差法)、迭代法、最大熵法等。特征提取单元通过对分割的目标进行跟踪，提取图像的特征信息，例如颜色、形状、运动轨迹等特征。其中图像特征信息通常以特征向量形式进行保存。

数据分类模块根据分析模块处理的图像信息判断监控环境是否异常。数据分类模块需要内置初始化的数据分类方法配置文件(通常采用常驻内存或者固件方式)。初始化的数据分类方法配置文件是由大量标杆样本数据获得的。数据分类方法可以理解为一个映射关系，会自动将输入的特征向量映射为+1或-1。本发明中用+1和-1分别表示“有人入侵的重要事件”和“有动静的非重要事件”两类识别结果。数据分类器识别出当前视频属于哪一类后，将识别结果发送至用户的监控终端。通过用户不断反馈数据，云服务器训练生成新的数据分类方法。该方法用于更新的数据分类模块中的配置文件。这样数据分类模块可以不断的更新的数据分类方法。而新的数据分类方法是自适应当前监控环境的，因此采用新的分类方法进行识别分类，可以有效减少误报率。

存储模块用于存储采集的视频数据，便于用户的查看和回放。存储模块可以采用Flash Memory、DDR SDRAM等实现。

通信模块用于本智能目标识别装置与视频采集装置、监控终端和云服务器之间的信息交互。该通信模块包括视频接入单元、数据交互单元。其中视频接入单元用于接入采集的视频，并将视频发送至视频分析模块和存储模块中。其中视频接入单元为视频解码电路，用于视频采集装置采集的视频数据进行解码。数据交互单元一方面用于本智能目标识别装置与监控终端之间的数据交互，将数据分类模块的分类结果发送至监控终端，同时接收监控终端发送的视频查看信息；另一方面用于本智能目标识别装置与云服务器之间的信息交互。云服务器通过训练视频特征数据，通知本智能目标识别装置更新数据分类模块中的分类配置文件。数据交互单元可以采用有线网络通信或无线网络通信方式中的任意一种，例如有线网络可以采用以太网接口等，无线网络通讯可以为WIFI和3G/4G等。

控制模块为本智能目标识别装置的核心功能模块，分别控制各个模块之间的数据通信和交互。该控制模块可以由单片机或者微控制器(MCU)等实现，一方面接收监控终端的视频查看指令后，通知存储模块将视频数据传输给监控终端，另一方面通过通信模块下载云服务器中用于更新数据分类模块中数据分类方法的配置文件。

对于视频分析模块、数据分类模块和控制模块等，本领域普通技术人员可以理解实现上述实施例可以以软件、硬件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本实施例的系统及其组件可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

参见图3，本发明还提供了一种采用上述智能目标识别装置，基于云服务的智能目标识别系统。该智能目标识别系统进一步包括视频采集装置、监控终端以及云服务器。其中，视频采集装置为摄像头。该摄像头通过有线或者无线上网方式与智能目标识别装置相连接，用于实时采集监控环境的视频信息，并将采集的视频传输至智能目标识别装置进行处理。

监控终端分别与智能目标识别装置和云服务器通过网络相连接，用于用户对监控情况的查看。监控终端接收智能目标识别装置发送的识别结果信息，并将判定有误的视频特征信息发送至云服务器中进行训练。本发明中的监控终端为具有人机交互功能的智能终端设备，包括智能手机、电脑以及有交互功能的电视等。

云服务器分别与智能目标识别装置和监控终端通过网络相连接，用于视频特征数据的训练，根据用户反馈的信息，动态更新数据分类方法。云服务器包括视频分析服务器、存储服务器、控制服务器。其中存储服务器包括视频存储区、特征数据库以及数据分类方法配置文件。特征数据库包括人体数据特征库和非人体特征数据库。分析服务器根据监控终端发送的视频片段提取特征信息，并将特征信息、分类结果存入特征数据库作为新的样本。控制服务器用于对监控终端发来的指令进行解析，并根据更新特征数据库训练数据，并生成新的数据分类方法配置文件，同时向智能目标识别装置发送更新通知。

参见图4，本发明所提供的基于上述智能目标识别系统的智能目标识别方法，具体包括如下步骤：

步骤1，智能目标识别装置将获取的监控视频处理分析及识别分类，并通过网络向用户持有的监控终端发送报警信息。智能目标识别装置布置于监控环境中，检测并判断当前环境中是否有异常。一旦监控环境中异常，该装置中的分析模块对当前获取的视频信息进行目标检测、目标分割和特征提取等处理。数据分类模块根据配置数据分类方法对获取的特征信息进行识别分类，并将识别结果发送至监控终端。根据数据分类方法对图像特征向量进行识别分类，判断当前监控视频为重要事件还是非重要事件。智能目标识别装置计算出识别结果通过网络向用户的监控终端推送报警信息。

步骤2，监控终端接收智能目标识别装置的报警通知。用户根据识别结果查看该视频，并判断识别结果是否正确；如果识别结果判断有误，用户将修改该视频片段的识别结果，并将该视频片段所提取的特征数据、修改后的识别结果传输到云服务器上。

两类识别结果以不同的警告标志发送至用户的监控终端。用户接收到警告标志后，根据警告标志向智能目标识别装置发送视频查看指令。智能目标识别装置根据监控终端传递过来的设备信息，对存储模块传送过来的视频进行转换，并向监控终端发送适合该终端的监控视频。用户点击浏览两种事件的视频，若发现视频片段与识别结果不相符，认为标记为重要的事件其实并不重要，或者某类标记为非重要事件是重要的，则用户可以修改当前事件的标记。在移动终端处理事件时，通常将重要的事件标记为1，非重要的为-1。用户修改该标记，则把1改为-1或把-1改为1。修改完成后，监控终端会自动将该视频片段提取的特征数据以及相应的识别结果(1或-1)上传给云服务器。

在本发明中，将用户的反馈数据作为生成新的数据分类方法的训练样本。与单纯采用公用数据库中的数据进行训练分析的现有技术相比较，本发明中的数据样本是与实际使用场景相一致的，使得数据分类方法更适合实际的应用场景。此外，每个用户的反馈数据只作为当前生成当前监控环境的数据分类方法的数据样本，因此生成的数据分类方法只适用于当前监控的真实场景，可以有效提高视频监控的准确性。

步骤3，云服务器接收并处理监控终端发送的视频特征信息，该视频特征信息作为样本数据训练并生成新的数据分类方法，同时通知智能目标识别设备更新配置文件。

首先，云服务器根据终端信息将视频特征信息存入每个用户独立的存储区中。在智能目标识别系统工作前，用户通过监控终端向云服务器发送注册信息。云服务器根据每个用户注册的用户名，单独建立一个存储区，用于存储视频特征数据库以及数据分类方法。监控终端在发送视频特征信息时，同时将用户的注册信息发送至云服务器中。云服务器根据用户注册的用户名将视频提炼的特征信息存入其对应的存储区域中。在生成数据分类方法时，只采用该用户存储区的训练样本，不涉及其他用户的存储的信息。因此本发明云服务器生成的是针对该用户特定场景的数据分类方法，而非针对所有用户的数据分类方法。

现有技术中与网络摄像头直连的云服务器，需要处理用户的所有的监控信息，包括异常和正常状态下的视频数据。本发明中的云服务器只存储用户标记过重要的视频信息，没有存储场景里没有物体动的正常状态下的视频以及有动静但非重要的视频，因此可以有效减少因大量的无效信息占用的云服务器大量带宽及成本。

其次，根据分类标记将训练样本存入相应的特征数据库中。在分类时，特征向量及其分类标记作为输入，在简单的分类函数中运算。该分类函数仅根据识别结果(+1和-1)将特征向量分为正样本或者负样本。特征数据库包括人体特征数据库和非人体特征数据库。在系统初始化时，特征数据库中包含生成初始分类方法的特征数据。用户反馈的新特征数据与初始的特征数据进行合并。如果用户标记了重要，则将这些特征作为正样本填加到人体特征数据库中，否则，作为负样本加到非人体特征数据库中。随后根据合并后新的特征数据库，训练生成新的数据分类方法。

然后，根据更新的特征数据库，训练数据并生成新的数据分类方法。更新的样本信息通过训练数据分类方法计算，可以优化决策边界的边缘，减少分类的误差。本发明训练数据分类方法采用SVM(支持向量机)，因此对于离群的数据样本，还需引入惩罚因子予以矫正，最终生成比较准确区别两类样本的新的数据分类方法。数据分类方法的最新配置文件通过网络发送至智能目标识别装置。

步骤4，智能目标识别装置下载数据分类配置文件，并更新数据分类方法。每个智能目标识别装置有独立的ID。用户通过监控终端向云服务器发送注册信息时，云服务器根据注册信息将智能目标识别装置ID与注册的用户名绑定。云服务器生成新的数据分类方法后，通过根据用户注册的用户名查找与该用户名绑定的智能目标识别装置ID。通过装置的ID，云服务器将更新通知发送指定的智能目标识别装置中。并发送更新请求。智能目标识别装置根据云服务端的更新信息，自动读取云服务器中配置文件并更新数据分类模块中的数据分类方法。智能目标识别装置根据更新的数据分类方法，继续处理监控视频数据。

综上所述，本发明将数据分类方法的实际使用与数据的训练过程分开，由用户提供训练数据所需的视频特征。这样持续更新的数据分类方法是与每个用户的监控环境相适应的。具体的智能目标识别装置与监控摄像头配置于监控环境中，监控终端通过网络从获取数据分类结果，并将分析错误的结果通过网络发送至云服务器中。云服务器将用户反馈的视频特征数据加入训练样本中，并根据更新的数据样本训练生成新的数据分类方法。而新的数据分类方法针对某个用户的监控环境持续优化，可以有效降低误报率，提高智能视频监控系统的识别精度。

上面对本发明所提供的基于云服务的智能目标识别装置、系统及方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种基于云服务的智能目标识别系统，其特征在于包括视频采集装置、监控终端、云服务器以及智能目标识别装置；所述智能目标识别装置分别与所述视频采集装置、所述监控终端和所述云服务器通过网络相连接；

所述视频采集装置实时采集单独用户的监控环境的视频；

所述智能目标识别装置用于视频分析和数据分类，并将识别结果以及视频发送至监控终端；

所述监控终端将判定有误的识别结果及视频发送至云服务器；

所述云服务器针对该用户，将所述智能目标识别装置和所述监控终端发送的识别结果和视频作为数据样本，训练生成用于更新所述智能目标识别装置的数据分类方法配置文件，并通知所述智能目标识别装置更新所述数据分类方法配置文件；其中，由该用户提供训练数据所需的视频特征，并将该用户的反馈数据作为生成新的数据分类方法配置文件的训练样本；新的数据分类方法配置文件只适用于该用户的监控环境，以针对该用户的监控环境持续优化。

2.如权利要求1所述的智能目标识别系统，其特征在于：

所述监控终端为具有人机交互功能的智能终端设备，包括智能手机、电脑或者电视。

3.如权利要求1所述的智能目标识别系统，其特征在于：

所述云服务器包括视频分析服务器、存储服务器、控制服务器；

其中，所述存储服务器包括视频存储区、特征数据库以及数据分类方法配置文件；

所述分析服务器用于对监控终端发送视频的分析，并将分析结果作为新的数据样本存入所述特征数据库中；

控制服务器根据所述特征数据库训练并生成新的数据分类方法配置文件。

4.如权利要求1所述的智能目标识别系统，其特征在于：

所述智能目标识别装置包括视频分析模块、数据分类模块、存储模块、通信模块以及控制模块；其中所述控制模块控制各个模块之间的信息交互；

所述视频分析模块对通信模块传输的视频数据进行分析处理；所述数据分类模块根据分析模块处理的图像信息判断监控环境是否异常，并通过所述通信模块向监控终端发送报警信息；所述存储模块用于存储采集的视频数据；

所述控制模块一方面接收监控终端的视频查看指令，通知所述存储模块将视频数据传输给所述监控终端，另一方面通过所述通信模块下载并更新所述数据分类模块中的数据分类方法配置文件。

5.如权利要求4所述的智能目标识别系统，其特征在于：

所述视频分析模块包括顺序连接的运动目标检测与提取单元、目标分割单元以及目标特征提取单元；其中，所述运动目标检测与提取单元提取检测到的物体后，由所述目标分割单元对目标进行分割，所述特征提取单元通过对分割的目标进行跟踪。

6.如权利要求4所述的智能目标识别系统，其特征在于：

所述数据分类模块以固件方式内置初始化的数据分类方法配置文件。

7.一种基于云服务的智能目标识别方法，基于权利要求1～6中任意一项所述的智能目标识别系统实现，其特征在于包括如下步骤：

智能目标识别装置根据数据分类方法对视频数据分类，并将识别结果发送至监控终端；

所述监控终端根据用户的选择将识别有误的视频特征信息反馈至云服务器；

所述云服务器处理所述视频特征信息，训练生成与每个用户监控环境相适应的新的数据分类方法，并向所述智能目标识别装置发送更新通知；

所述智能目标识别装置接收所述通知，下载并更新数据分类方法配置文件。

8.如权利要求7所述的智能目标识别方法，其特征在于所述云服务器处理视频特征信息进一步包括如下步骤：

将所述视频特征信息存入所述用户的存储区中；

根据分类标记将所述特征信息划分正样本或负样本，并将新样本存入特征数据库；

根据更新的特征数据库，训练生成新的数据分类方法。

9.如权利要求7所述的智能目标识别方法，其特征在于：

在所述智能目标识别系统工作前，用户通过监控终端向云服务器发送注册信息，所述云服务器根据所述注册信息将所述智能目标识别装置与所述监控终端绑定。

10.如权利要求9所述的智能目标识别方法，其特征在于：

所述云服务器根据所述注册信息查找绑定的智能目标识别装置，并将所述更新通知发送至所述智能目标识别装置。

Images