CN108270999A - 一种目标检测方法、图像识别服务器及系统 - Google Patents

Abstract

本发明公开了一种目标检测方法、图像识别服务器及系统，方法包括：S1. 接收监测图像，所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，所述第一压缩率小于所述第二压缩率；S2. 通过预设的图像识别模型对所述监测图像进行图像识别，并根据所述图像识别的结果向所述监测图像的发送端设备发送调整所述第一压缩率和/或第二压缩率的压缩率更新参数。本发明具有可大大降低数据传输量，网络要求低，极大的降低网络成本，提高图像检测的效率，响应速度快，检测精度高等优点。

Description

一种目标检测方法、图像识别服务器及系统

技术领域

本发明涉及图像目标检测领域，尤其涉及一种目标检测方法、图像识别服务器及系统，尤其适用于物联网的分布式监控系统的目标检测。

背景技术

智能视频监控技术是在计算机视觉和图像处理技术上，结合其它相关技术和理论发展起来的一个较新的研究领域，旨在利用计算机或智能处理单元的数据分析能力，自动实现视频场景中静态或动态实物的感知、描述以及分析，满足日常生产、生活中智能安防、智能交通以及城市智慧化建设等多领域的需要。

图像目标检测系统从计算模式上区分集中式和分布式两种：

1）集中式图像目标检测系统

集中式目标检测系统都是通过将摄像头或相机记录的高清视频或照片实时地传送到监控中心进行集中式的远程监视和管理。然而，实时的视频和照片传送会持续产生大规模的数据流，有统计数据显示，监控8通道高速公路的车流量状况需要高达40Gb/s的数据传输速度，因此，过去多通过铺设高成本的专用光纤网络来满足监控应用中多媒体数据传输的高吞吐量需求。

随着人工智能的发展，越来越多的智能视频监控应用利用机器学习的知识来增强其功能，例如，目标检测和目标追踪。为了从大量的多媒体数据中获取有用信息，人们往往将数据全部上传到云端去进行庞大而复杂的数据计算。而物联网时代的到来，使得移动设备和物联网服务出现地爆炸式增长，据统计，2020年预计将有超过500亿的联网设备，每年将会产生44ZB的数据。移动终端和无线服务无时无刻产生的海量数据给云端带来了艰巨的挑战，若仍将这么多设备、传感器产生的数据全部传送到云端，会给网络通信带来巨大的负担，同时云端的计算能力同样很难满足海量数据持续增长的需要。而且数据中心离用户距离较远，数据传输颇受带宽等因素的限制。而实时性要求高的计算服务，需要等待远端云数据中心的反馈，通常这样会引起长距离往返延时、网络拥塞、服务质量下降等问题。

2）分布式图像目标检测系统

分布式图像目标检测系统，是多层次的系统，连接拍摄设备，边缘服务器甚至是云端。考虑到大多数监控终端的计算能力有限，监控终端一般进行完整的目标检测，监控终端只进行简单的图像预处理，再将处理后的数据传给边缘服务器，或者监控终端不对图像进行处理直接将原始数据传给边缘服务器。边缘服务器接受终端传送过来的数据，进行目标检测。若出现边缘服务器不能处理的情况，边缘服务器再请求云端进行辅助检测。

分布式图像目标检测系统，利用靠近物或数据源头的一侧边缘服务器，就近提供最近端服务。能产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求，同时可以极大地缓解云端的压力。

目前使用的智能监控应用大都属于集中式图像目标检测系统，还没有设计成熟的分布式图像目标检测系统。哈佛大学的Surat Teerapittayanon等人2017年在IEEE 37thInternational Conference on Distributed Computing Systems上提出了“DistributedDeep Neural Networks over the Cloud， the Edge and End Devices”利用了分布式的系统构架，但是只能对含有单个物体的图像进行分类，由于目标检测要求对图像中的物体进行分类和定位，所以上述系统不能算作严格意义上的分布式图像目标检测系统。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种可大大降低数据传输量，网络要求低，极大的降低网络成本，提高图像检测的效率，响应速度快，检测精度高的目标检测方法、图像识别服务器及系统。

为解决上述技术问题，本发明提出的技术方案为：一种目标检测方法，包括如下步骤：S1. 接收监测图像，所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，所述第一压缩率小于所述第二压缩率；

S2. 通过预设的图像识别模型对所述监测图像进行图像识别，并根据所述图像识别的结果向所述监测图像的发送端设备发送调整所述第一压缩率和/或第二压缩率的压缩率更新参数。

进一步地，当识别到所述监测图像中存在未知目标时，将所述监测图像上传至云端进行识别，并接收云端识别的结果。

进一步地，当所述监测图像中没有被识别的区域的热力图的总分数大于预设的阈值时，则判断所述没有被识别的区域中包含有未知目标。

进一步地，还包括图像识别模型更新步骤S3：通过网络共享图像识别模型参数，并且从网络中接收图像识别模型参数来更新图像识别模型。

进一步地，在所述步骤S2中，还包括根据所述图像识别的结果，向所述监测图像的发送端设备发送用于调整所述发送端设备的RoI提取模型的RoI参数。

一种图像识别服务器，包括处理器和存储器，所述存储器上存储上图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一项所述的目标检测方法的步骤。

一种图像识别服务器，包括通讯模块和识别模块；

所述通讯模块用于接收监测图像，所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，所述第一压缩率小于所述第二压缩率；并用于向所述监测图像的发送端设备发送调整所述第一压缩率和/或第二压缩率的压缩率更新参数；

所述识别模块用于通过预设的图像识别模型对所述监测图像进行图像识别，并根据所述图像识别的结果确定压缩率更新参数。

进一步地，所述识别模块在进行图像识别时，当所述监测图像中没有被识别的区域的热力图的总分数大于预设的阈值时，则判断所述没有被识别的区域中包含有未知目标；

所述通讯模块还用于当识别到所述监测图像中存在未知目标时，将所述监测图像上传至云端进行识别，并接收云端识别的结果。

进一步地，还包括更新模块，用于从网络中接收图像识别模型参数来更新图像识别模型；

所述识别模块还用于根据所述图像识别的结果确定用于调整所述发送端设备的RoI提取模型的RoI参数；所述通讯模块还用于向所述监测图像的发送端设备发送所述RoI参数。

一种监测图像处理系统，包括多个图像获取终端和多个如上任一项所述的图像识别服务器；所述任一个图像获取终端与一台图像识别服务器网络连接，所述图像识别服务器之间网络连接；

所述图像获取终端用于获取监测图像，将所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，并将所述监测图像发送给所述图像识别服务器，所述第一压缩率小于所述第二压缩率。

与现有技术相比，本发明的优点在于：

1、本发明监测图像的发送端设备将监测图像进行RoI区域提取，对RoI区域和非RoI区域以不同的压缩率进行压缩传送，识别端设备根据对监测图像的识别结果调整压缩率，一方面保证了压缩后的图像满足图像识别的要求，另一方面，又大大降低了图像的大小，大大降低了网络的数据传输量，降低了对网络带宽的要求，从而极大的降低了网络建设成本。

2、本发明采用参数共享的方式，即通过网络共享自身的图像识别模型参数，同时，还从网络中接收其它个体所共享的图像识别模型参数来更新自身的图像识别模型，可以保证图像识别模型能够快速、高效、准确的识别出监测图像中的各类目标。

3、本发明对于监测图像中含有未知目标时，通过将云端对未知目标进行识别并接收识别结果，一方面可以减轻识别装置自身的量级，另一方面又保证了较强的识别能力，同时，还降低了云端的识别压力。

附图说明

图1为本发明具体实施例流程示意图。

图2为本发明具体实施例数据流转示意图。

图3为本发明具体实施例结构示意图。

图4为本发明具体实施例RoI区域示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1和图2所示，本实施例的目标检测方法，包括如下步骤：S1. 接收监测图像，监测图像分为RoI区域和非RoI区域，RoI区域以第一压缩率压缩，非RoI区域以第二压缩率压缩，第一压缩率小于第二压缩率；S2. 通过预设的图像识别模型对监测图像进行图像识别，并根据图像识别的结果向监测图像的发送端设备发送调整第一压缩率和/或第二压缩率的压缩率更新参数。

在本实施例中，以智能监测的一个具体应用场景为例进行说明，如图3所示，对于每一个监测区域（如小区、车站、收费站等）设置有多个监测终端（监测图像的发送端设备）和一个图像识别服务器，监测终端与图像识别服务器之间通过网络连接，监测终端用于采集获取监测图像，图像识别服务器用于对本监测区域内监测终端所采集的监测图像进行识别。不同监测区域的图像识别服务器均与云端连接。

监测终端采集获得监测图像，并通过预设在监测终端上的RoI提取模型对监测图像进行RoI区域提取，得到RoI区域和非RoI区域。监测终端将RoI区域以较小压缩率的第一压缩率进行压缩，压缩后的图像仍具有较高的清晰度，图像失真较小，但压缩后的数据量仍然较大。将非RoI区域以较大压缩率的第二压缩率进行压缩，压缩后的图像相对于以第一压缩率压缩的RoI区域，清晰度较低，图像失真较大，但压缩后的图像数据量较小。通过对RoI区域和非RoI区域进行有差别的压缩，一方面既可以保证监测图像的RoI区域的清晰度，保证图像识别具有较高的精度、准确性，另一方面又可以使得监测图像的数据量大大的降低，从而只需要较小的带宽需求，通过较短的时间就可以通过网络将监测终端采集的监测图像发送至图像识别服务器。

本实施例中，图像识别是指对图像中的目标进行检测，识别出每个目标。RoI提取模型为根据目标驱动的RoI提取模型。根据目标驱动的RoI提取模型是指根据监测终端的应用场景而进行大量训练得到的RoI提取模型，如针对小区人行通道的监测终端，其RoI提取模型是通过大量人行通道的图像进行训练，对于初始训练好的RoI提取模型，能够很好的将图像中的行人作为RoI区域提取出来，而对于不会出现在人行通道的飞机，则不会作为RoI区域提取出来。本实施例中，RoI提取模型的训练过程为选择大量的人行通道的图像，通过人工等方式将行人作为RoI目标进行标记，再将标记好的图像输入训练模型，从而是训练出针对人行通道的RoI提取模型。同理，对收费端进行监测的RoI提取模型，其RoI目标主要是各种类型的车辆，通过训练后的RoI模型，则可以很好的对车辆进行RoI区域的提取。RoI提取模型的训练不在监测终端上进行，同时， RoI提取模型根其应用场景调度相关，只需要对该场景相关的目标进行RoI提取，所训练好的RoI提取模型可以做实现轻量化，满足可在监测终端上只具有低运行间、低能耗、低运算能力的情况下运行。

在本实施例中，监测终端的RoI提取模型是一任务驱动的RoI提取模型，是通过大量的现有图像进行机器学习、训练后得到的RoI提取模型。因此，对于监测终端采集获取得到的监测图像，通过该RoI提取模型，即可提取出监测图像中的RoI区域和非RoI区域。由于监测终端分别布设在不同的监测区域，监测的目标也各不相同，如布设小区人行通道的监测终端主要是对行人进行监测，因此，进行RoI提取时，监测图像中的人是RoI区域；而布设在车行通道的监测终端，如高速公路收费通道的监测终端，监测图像中的RoI区域不仅包括人的脸部区域，还包括车辆的车牌区域，或者是车辆区域。

在本实施例中，监测终端的RoI提取模型具体可采用多种不同的算法，如基于BING算法改进的RoI提取方法，BinaryNet等。对提取后的RoI区域和非RoI区域以不同的压缩率进行压缩，采用分层编码技术，具体可采用Maxshift，BbBShift，GBbBShft等。

在本实施例中，图像识别服务器上的图像识别模型为一个通过大量图像数据已经训练好的模型，如基于卷积神经网络的模型，具体可以是Faster R-CNN、YOLO、Mask R-CNN等。由于图像识别服务器按照监测区域布置，负责处理本监测区域中各监测终端所采集的监测图像，因此，在初始状态，图像识别服务器的图像识别模型可只针对该监测区域的常见目标类别进行训练，如布设在小区的图像识别服务器，其图像识别模型主要对人脸进行识别，识别出人员个体，而布设在高速公路收费站的图像识别服务器，其图像识别模型不仅用于人脸识别，还用于车辆识别，车牌识别。

在本实施例中，图像识别服务器通过图像识别模型进行图像识别，当监测图像的清晰度不满足图像识别的要求时，如图像识别率低于预设的阈值时，图像识别服务器向监测终端发送压缩率更新参数，使得监测终端根据该压缩率更新参数降低第一压缩率和/或第二压缩率，通过降低压缩率来提高图像的清晰度；当图像识别率高于预设的阈值，但传输的数据量较大时，通过压缩率更新参数，使得监测终端提高第一压缩率和/或第二压缩率，通过提高压缩率来降低数据传输量，提高图像识别的实时性。

在本实施例的步骤S2中，还包括根据图像识别的结果，向监测图像的发送端设备发送用于调整发送端设备的RoI提取模型的RoI参数。由于监测图像的RoI区域具有较高的清晰度，RoI区域是图像识别的主要区域，图像识别服务器的识别结果与RoI区域的提取息息相关，因此，需要根据识别的结果动态的对RoI提取模型进行调整。如图4所示，当提取得到的RoI区域过大，图像识别的目标在RoI区域中的占比较小，可通过调整RoI提取模型，缩小RoI区域的范围，调整前对目标1的RoI区域为RoI-1，调整后对目标1的RoI区域为RoI-2。从而一方面可以缩小监测图像传输的数据量，另一方面可以提高图像识别的效率。当提取得到的RoI区域过小，即RoI区域没有完整的目标，此时，需要扩大RoI区域的范围，以保证图像识别的精确性，如图4中，调整前对目标1的RoI区域为RoI-3，调整后对目标1的RoI区域为RoI-2。或者，在非RoI区域中发现有需要识别的目标，此时，也需要更新RoI提取模型，以保证全部目标都在RoI区域中，如图4中，调整前并没有识别出目标2的RoI区域，调整后，对目标2的RoI区域为RoI-4。

在本实施例中，当识别到监测图像中存在未知目标时，将监测图像上传至云端进行识别，并接收云端识别的结果。当监测图像中没有被识别的区域的热力图的总分数大于预设的阈值时，则判断没有被识别的区域中包含有未知目标。图像识别服务器通过图像识别模型对监测图像进行目标识别，对于识别完成后，监测图像中没有被识别的区域，判断该没有被识别的区域的热力图的总分数是否大于预设的阈值，大于时判断该监测图像中仍然存在未识别的未知目标，否则判断该监测图像中不存在未知目标。当图像识别服务器判断监测图像中存在未知目标时，则将该监测图像上传到云端，通过云端的图像识别模型对监测图像进行识别，并接收云端返回的识别结果。由于云端相对于图像识别服务器，其计算能力更强大，可以构建更加强大的图像识别模型，因此，通过云端来识别图像识别服务器无法识别的目标，可以进一步提高识别的准确性和精度，同时，图像识别服务器只将无法识别的监测图像上传至云端，也很好的节约了云端保贵的资源，降低了云端的负荷，很好的达到了性能与效率的优化分配。

在本实施例中，还包括图像识别模型更新步骤S3：通过网络共享图像识别模型参数，并且从网络中接收图像识别模型参数来更新图像识别模型。具体在本实施例中，一方面，云端接收各图像服务器无法识别的监测图像，识别出其中的未知目标；另一方面，云端通过收集各图像服务器的图像识别模型及数据，不断丰富自己的数据库，训练大模型。由于各图像识别服务器只负责本监测区域内监测图像的识别，其图像识别模型的训练并不完全一致，如对于卡车这一目标，对于小区的图像识别服务器，就是不能识别的未知目标，而对于高速收费站的图像识别服务器，就是可识别的目标。那么，当小区的图像识别服务器的监测图像中出现卡车时，由于小区的图像识别服务器无法识别出卡车，就需要将该监测图像上传到云端进行识别。在本实施例中，小区的图像识别服务器可从云端接收图像识别模型参数对自身的图像识别模型进行更新、训练。更新图像识别模型后，小区的图像识别服务器即可识别出卡车，无需要再将监测图像上传到云端进行识别，使得图像识别服务器具有新物体的识别能力。

在本实施例中，图像识别服务器可按照时间定时更新图像识别模型参数，也可以在出现未知目标时，或未知目标出现次数大于预设值时，才更新图像识别模型参数。同时，图像识别服务器可以从云端获取图像识别模型参数，也可以从其它图像识别服务器处获取图像识别模型参数。并且，图像识别服务器也可以自身的图像识别模型参数进行共享，分享给云端或其它图像识别服务器。

本实施例的图像识别服务器，包括处理器和存储器，存储器上存储上图像处理程序，图像处理程序被处理器执行时实现如上任一项的目标检测方法的步骤。

本实施例的图像识别服务器，包括通讯模块和识别模块；通讯模块用于接收监测图像，监测图像分为RoI区域和非RoI区域，RoI区域以第一压缩率压缩，非RoI区域以第二压缩率压缩，第一压缩率小于第二压缩率；并用于向监测图像的发送端设备发送调整第一压缩率和/或第二压缩率的压缩率更新参数；识别模块用于通过预设的图像识别模型对监测图像进行图像识别，并根据图像识别的结果确定压缩率更新参数。

在本实施例中，识别模块在进行图像识别时，当监测图像中没有被识别的区域的热力图的总分数大于预设的阈值时，则判断没有被识别的区域中包含有未知目标；通讯模块还用于当识别到监测图像中存在未知目标时，将监测图像上传至云端进行识别，并接收云端识别的结果。

在本实施例中，还包括更新模块，用于从网络中接收图像识别模型参数来更新图像识别模型；识别模块还用于根据图像识别的结果确定用于调整发送端设备的RoI提取模型的RoI参数；通讯模块还用于向监测图像的发送端设备发送RoI参数。

如图3所示，本实施例的监测图像处理系统，包括多个图像获取终端和多个如上任一项的图像识别服务器；任一个图像获取终端与一台图像识别服务器网络连接，图像识别服务器之间网络连接；图像获取终端用于获取监测图像，将监测图像分为RoI区域和非RoI区域，RoI区域以第一压缩率压缩，非RoI区域以第二压缩率压缩，并将监测图像发送给图像识别服务器，第一压缩率小于第二压缩率。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种目标检测方法，其特征在于：

S1. 接收监测图像，所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，所述第一压缩率小于所述第二压缩率；

S2. 通过预设的图像识别模型对所述监测图像进行图像识别，并根据所述图像识别的结果向所述监测图像的发送端设备发送调整所述第一压缩率和/或第二压缩率的压缩率更新参数。

2.根据权利要求1所述的目标检测方法，其特征在于：当识别到所述监测图像中存在未知目标时，将所述监测图像上传至云端进行识别，并接收云端识别的结果。

3.根据权利要求1所述的目标检测方法，其特征在于：当所述监测图像中没有被识别的区域的热力图的总分数大于预设的阈值时，则判断所述没有被识别的区域中包含有未知目标。

4.根据权利要求1所述的目标检测方法，其特征在于：还包括图像识别模型更新步骤S3：通过网络共享图像识别模型参数，并且从网络中接收图像识别模型参数来更新图像识别模型。

5.根据权利要求1至4任一项所述的目标检测方法，其特征在于：在所述步骤S2中，还包括根据所述图像识别的结果，向所述监测图像的发送端设备发送用于调整所述发送端设备的RoI提取模型的RoI参数。

6.一种图像识别服务器，其特征在于：包括处理器和存储器，所述存储器上存储上图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至5任一项所述的目标检测方法的步骤。

7.一种图像识别服务器，其特征在于：包括通讯模块和识别模块；

所述通讯模块用于接收监测图像，所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，所述第一压缩率小于所述第二压缩率；并用于向所述监测图像的发送端设备发送调整所述第一压缩率和/或第二压缩率的压缩率更新参数；

所述识别模块用于通过预设的图像识别模型对所述监测图像进行图像识别，并根据所述图像识别的结果确定压缩率更新参数。

8.根据权利要求7所述的图像识别服务器，其特征在于：所述识别模块在进行图像识别时，当所述监测图像中没有被识别的区域的热力图的总分数大于预设的阈值时，则判断所述没有被识别的区域中包含有未知目标；

所述通讯模块还用于当识别到所述监测图像中存在未知目标时，将所述监测图像上传至云端进行识别，并接收云端识别的结果。

9.根据权利要求8所述的图像识别服务器，其特征在于：还包括更新模块，用于从网络中接收图像识别模型参数来更新图像识别模型；

所述识别模块还用于根据所述图像识别的结果确定用于调整所述发送端设备的RoI提取模型的RoI参数；所述通讯模块还用于向所述监测图像的发送端设备发送所述RoI参数。

10.一种监测图像处理系统，其特征在于：包括多个图像获取终端和多个如权利要求6至9任一项所述的图像识别服务器；所述任一个图像获取终端与一台图像识别服务器网络连接，所述图像识别服务器之间网络连接；

所述图像获取终端用于获取监测图像，将所述监测图像分为RoI区域和非RoI区域，所述RoI区域以第一压缩率压缩，所述非RoI区域以第二压缩率压缩，并将所述监测图像发送给所述图像识别服务器，所述第一压缩率小于所述第二压缩率。