CN110414361A - 分布式机器视觉数据采集分析方法和系统 - Google Patents

Abstract

本发明公开了一种分布式机器视觉数据采集分析方法和系统，所述分布式机器视觉数据采集方法包括以下步骤：各采集点分别采集客流视频信息；采集点本地处理图像信息并识别出其中客流信息，统计出客流数据；周期性将所述客流统计数据以文本形式发送至总处理设备，避免长距离传输视频，所述总处理设备将所接收的所有客流数据汇总。本方法，通过分别在各采集点进行本地实时处理客流视频信息，统计出客流数据，其只需要向总处理设备传输统计结果即可，传输数据量小，对网速没有要求；对总处理设备的要求低，无需价格昂贵的服务器；风险小，可靠性高，成本低，鲁棒性高，扩展灵活。

Description

分布式机器视觉数据采集分析方法和系统

技术领域

本发明属于数据统计技术领域，具体地说，涉及一种基于开源硬件的分布式机器视觉数据采集方法和系统。

背景技术

基于机器视觉的客流采集系统在各类公共场所的应用十分广泛，目前采取的方案通常由单台本地服务器与数量有限的摄像头组成，以便构成前端采集，后端分析的架构，缺点是由于本地服务器计算能力有限，视频采集装置无法根据需求持续扩展增加。而且，由于当前解决方案中的本地服务器成本较高，即使仅需单个计数点位，也需至少购置一台本地服务器，所以目前计数系统的硬件选型方案不够灵活，且具有一定的门槛，因此不适用于小型场景和超大型场景。

此外，视频由以太网传播，由于视频格式较大，占用带宽较大，影响传输速度，也会影响视频的实时处理速度；当视频采集装置过多时，单台本地服务器算力有限，无法一直进行扩容，必须购买多个价格昂贵的服务器以满足更多的算力要求；单组系统由多台摄像头和单台服务器构成，当服务器宕机时，所有视频将无法被分析，系统鲁棒性较差。

目前解决方案通常为品牌定制，因此开放性不足，无法进行二次软件开发和硬件采集器和传感器扩展。

发明内容

本发明针对现有技术中各采集点直接向服务器上传所采集的客流视频信息，存在传递数据量大、占用带宽高、要求必须采用高速网络协议的技术问题，提出了一种分布式机器视觉数据采集方法及分析系统，可以解决上述问题。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种分布式机器视觉数据采集分析方法，包括以下步骤：

各采集点分别采集客流视频信息；

采集点本地处理识别所述客流视频信息，统计出客流数据；

周期性将所述客流数据发送至总处理设备，所述总处理设备将所接收的所有客流数据汇总分析。

进一步的，所述客流数据采用字符串或者数字的形式发送至所述总处理设备。

进一步的，还包括将所统计的客流数据进行本地存储的步骤。

进一步的，本地处理识别所述客流视频信息的方法包括：

a1、将客流视频信息进行灰度处理，得到各帧的灰度图像；

a2、将灰度图像进行降维模糊处理；

a3、提取灰度图像中所有移动区域；

a4、对移动区域进行面积范围判断，筛选人影为目标区域；

a5、分别计算当前帧图像中的各目标区域与前一帧图像中所有目标区域之间的距离；

a6、将所述距离与第一设定阈值进行比较，若不大于设定阈值，判断为该目标区域为同一目标，进行客流计数判断,否则，不做处理。

进一步的，客流数据判断统计的方法为：

划定水平的统计线，判断所述目标在当前帧图像中与所述统计线的上下位置关系，并且查找出该目标在前一帧图像中与所述统计线的上下位置关系，判断所述目标在当前帧图像中和前一帧图像中与所述统计线的上下位置关系是否发生变化，若发生变化，则统计客流数据加一。

进一步的，各采集点分别采集客流视频信息步骤之前，还包括检测该采集点的处理帧速的步骤，并将所述处理帧速与第二设定阈值进行比较，若所述处理帧速不大于所述第二设定阈值，则采用一台处理装置处理该采集点的客流视频信息，否则，采用两台或者以上处理装置处理该采集点的客流视频信息。

进一步的，采用两台或者以上处理装置处理该采集点的客流视频信息时，由视频分配器将客流视频信息分别分配至该采集点的所有处理装置，划定竖直的分配线，将各帧图像划定成均匀的或者不均匀的若干处理区域，所述处理区域与该采集点的处理装置一一对应，各处理装置仅处理其所对应处理区域中的信息，然后将所有处理装置统计的客流数据进行合并。

本发明同时提出了一种分布式机器视觉数据采集系统，包括若干个采集点和一个总处理设备，所述采集点设置有：

视频采集装置，其用于采集客流视频信息；

处理装置，其具有一个或者多个，用于本地处理识别所述客流视频信息以及统计客流数据，所述处理装置通过有线或者无线的方式与所述总处理设备通信连接，并周期性将所述客流数据发送至总处理设备；当所述处理装置通过有线方式与所述视频采集装置连接时，支持GIGE、USB、CSI通信接口协议；

所述总处理设备将所接收的所有客流数据汇总分析。

进一步的，所述处理装置与所述总处理设备采用消息队列遥测传输标准进行通信，包括：

所述总处理设备为发布端，其周期性向订阅端发布读取数据的请求消息，

所述处理装置为订阅端，其接收所述发布端发送的消息，并反馈应答信息，所述应答信息由固定头部和可变头部组成，所述处理装置所统计的客流数据插入至所述可变头部中传输。

进一步的，所述采集点还设置有分别与所述处理装置连接的温度传感器和/或湿度传感器。

与现有技术相比，本发明的优点和积极效果是：本发明的分布式机器视觉数据采集方法，通过分别在各采集点进行本地实时处理识别所述客流视频信息，统计出客流数据，其只需要向总处理设备传输统计结果即可，优点主要体现在：1、传输数据量小，基本不占用带宽，对网速没有要求；2、总处理设备的计算量小，无需采用高性能服务器，采用普通计算机或卡片式计算机即可实现，节约成本；3、各采集点的处理装置分别与总处理设备连接，即采用分布式连接，若个别采集点的处理装置出现故障，不影响其他采集点的数据处理统计。较传统只依赖于服务器进行计算处理的方式，风险小，可靠性高；4、由于传输数据量小，总处理设备的计算量小，可以根据实际需要任意扩展增加采集点的数量，不会给带宽以及总处理设备的处理量带来压力，本方案更加灵活。5、由于可以依赖无线的方式将客流统计信息从采集点处理装置传递至总处理设备，不需要针对现场进行重新布线等大型整改工作，改造成本小。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1 是本发明提出的分布式机器视觉数据采集分析方法的一种实施例流程图；

图2是本发明提出的分布式机器视觉数据采集分析系统的一种实施例方框图；

图3是实施例一中在图像中划定的统计线示意图；

图4是实施例一中在图像中划定的统计线的再一种示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例一，本实施例提出了一种分布式机器视觉数据采集方法，如图1所示，包括以下步骤：

各采集点分别采集客流视频信息；

采集点本地处理识别所述客流视频信息，统计出客流数据；

周期性将所述客流数据发送至总处理设备，所述总处理设备将所接收的所有客流数据汇总分析。

本实施例的分布式机器视觉数据采集方法，通过分别在各采集点进行本地处理识别所述客流视频信息，统计出客流数据，其只需要向总处理设备传输统计结果即可，优点主要体现在：1、传输数据量小，基本不占用带宽，对网速没有要求；2、总处理设备的计算量小，无需采用高性能服务器，采用普通计算机或卡片式计算机即可实现，节约成本；3、各采集点的处理装置分别与总处理设备连接，即采用分布式连接，若个别采集点的处理装置出现故障，不影响其他采集点的数据处理统计，较传统只依赖于服务器进行计算处理的方式，风险小，可靠性高；4、由于传输数据量小，总处理设备的计算量小，可以根据实际需要任意扩展增加采集点的数量，不会给带宽以及总处理设备的处理量带来压力，本方案更加灵活。

由于采集点与总处理设备之间仅需传递统计结果，仅需要几十字节，因此，客流数据采用字符串或者数字的形式发送至总处理设备即可，基本不占用带宽。因此可以采用无线通信方式将客流统计信息从采集点处理装置传递至总处理设备，不需要针对现场进行重新布线等大型整改工作，改造成本小。

为了防止当停电或者网络中断时，采集点无法正常向总处理设备发送信息，还包括采集点将所统计的客流数据进行本地备份存储的步骤，本地备份可根据需求设定保留天数。在采集点的处理装置中可通过部署了一个小型本地数据库，数据库可采用SQLite型数据库，该数据库对硬件要求不高，统计数据会先暂存入SQLite本地数据库，每间隔一段时间就将统计信息上传到云端服务器中的数据库，使用这种机制有两个优点，第一可以是减少通信频率，降低带宽压力。第二可以防止网络传输中断时的统计数据的遗失。除了处理统计步骤，还包括两个并行处理方案，第一个方案为处理统计步骤的定时启动和关闭程序，该方案同时具有看门狗功能，可以检查分析处理程序的意外停机，并重启整个程序。第二个方案为人流识别模型与分析程序的更新程序，该方案在每次开机时检查分析程序的版本是否为最新版本，若发现新版本识别模型或新更新的分析程序，则将新的模型或软件从总处理设备中下载，并进行替换，以保持整个系统为最新版本。

本地处理识别所述客流视频信息的方法包括：

a1、将客流视频信息进行灰度处理，得到各帧的灰度图像；

a2、将灰度图像进行降维模糊处理；

a3、提取灰度图像中所有移动区域；

a4、对移动区域进行面积范围判断，筛选人影为目标区域；

a5、分别计算当前帧图像中的各目标区域与前一帧图像中所有目标区域之间的距离；

a6、将所述距离与第一设定阈值进行比较，若不大于设定阈值，判断为该目标区域为同一目标，进行客流计数判断,否则，不做处理。

为了减小数据计算量，在步骤a2将灰度图像进行降维的步骤，减小图像的维度，可以采用高斯模糊处理的方式实现，当然，不限于高斯模糊处理的方式，还可以采用其他降维方式。由于第一设定阈值为表征绝对距离的常量，可以理解的，第一设定阈值大于0。

在当前帧图像中的各移动区域与前一帧图像中所有移动区域之间的距离比较之前，还包括确定各移动区域在图像中的所在位置，其确定方式是采用计算各移动区域的中心点，该中心点的方式具有多种，例如将移动区域内的所有像素坐标取平均的方式，计算各移动区域与前一帧图像中所有移动区域之间的距离也即计算两者中心点之间的距离。

优选在本实施例中，客流数据判断统计的方法为：

如图3所示，划定水平的统计线，判断目标在当前帧图像中与统计线的上下位置关系，并且查找出该目标在前一帧图像中与统计线的上下位置关系，判断目标在当前帧图像中和前一帧图像中与统计线的上下位置关系是否发生变化，若发生变化，则统计客流数据加一。视频采集装置一般安装在门口位置，可以朝向门内侧，也可以朝向门外侧，对于来往的客流在图像画面中体现的移动方向一般为从图像上端移动至下端，或者从图像下端移动至上端，为了方便统计计数，本方案通过在图像中划定水平的统计线，无论目标是进入还是离开，其只要越过统计线，即可计入一人次，至于目标是进入还是离开，需要结合视频采集装置的安装朝向，例如，若视频采集装置朝向门外侧，则目标在图像中从统计线上端移动到下端即判定为进入，否则判定为离开，反之，若视频采集装置朝向门内侧，则目标在图像中从统计线上端移动到下端即判定为离开，否则判定为进入。

为了防止进出的客流造成互相干扰，影响进入客流和离开客流的统计判断，如图4所示，本方案中优选在各帧图像中划定两个水平的统计线，且该两个统计线不重叠，分别用于进入客流统计和离开客流统计，可以降低进出的客流造成互相干扰，提高统计精度。优选其中一个统计线位于图像的1/3位置处，另外一个统计线位于图像的2/3位置处。

为了节约成本，本方案中采集点的处理装置可采用较低配置即可，当应用于采集视场较宽的场合时，为了防止单个处理装置的处理能力无法满足，本方案还包括以下步骤：各采集点分别采集客流视频信息步骤之前，还包括检测该采集点的处理帧速的步骤，并将处理帧速与第二设定阈值进行比较，若处理帧速不大于所述第二设定阈值，则采用一台处理装置处理该采集点的客流视频信息，否则，采用两台或者以上处理装置处理该采集点的客流视频信息。也即，当单个处理装置的处理能力无法满足时，通过增加处理装置数量的方式，分别进行处理，本实施例中的处理装置成本很低，几百元即可实现，即便是增加数量，较传统方案配置的动辄数万或者数十万的服务器而言，基本可以忽略不计，而且并非所有采集点都需要增加处理装置的数量，由以上可知，本方案的配置方式及其灵活，绝不会造成资源浪费，由于所设定的第二设定阈值为用于表征帧速的客观常量，可以理解的，其取值范围大于0。

采用两台或者以上处理装置处理该采集点的客流视频信息时，由视频分配器将客流视频信息分别分配至该采集点的所有处理装置，划定竖直的分配线，将各帧图像划定成均匀的或者不均匀的若干处理区域，所述处理区域与该采集点的处理装置一一对应，各处理装置仅处理其所对应处理区域中的信息，然后将所有处理装置统计的客流数据进行合并。各处理装置处理其所对应处理区域的视频信息，处理方式与处理整幅图像的方式相同，计数时采用划统计线的方式，具体可参见前面所记载，在此不做赘述。最后将同一采集点的所有处理装置的统计客流量求和计算，即该采集点的客流量。

实施例二，本实施例提出了一种分布式机器视觉数据采集分析系统，如图2所示，包括若干个采集点和一个总处理设备，采集点设置有：

视频采集装置，其用于采集客流视频信息；

处理装置，其具有一个或者多个，用于本地处理识别所述客流视频信息以及统计客流数据，处理装置通过有线或者无线的方式与总处理设备通信连接，并周期性将客流数据发送至总处理设备；当处理装置通过有线方式与总处理设备通信连接时，支持GIGE、USB、CSI通信接口协议；由于本方案中采集点处理装置与总处理设备间需要传输的统计数据量极其小，基本上任何一种传输速率的通信方式都可以支持，若采用无线的通信方式，可以更加灵活，无需布设、连接复杂的网线，若采用有线通信的方式，可支持低速的GIGE网络通信协议，传统的需要传输视频的方式一般是是无法采用GIGE千兆以太网通信协议传递的。

总处理设备将所接收的所有客流数据汇总分析。

本方案中的处理装置设置在各采集点，可采用卡片计算机实现，卡片计算机是构建在单个电路板上的完整计算机，具有微处理器，存储器，输入/输出（I/O）和功能计算机所需的其他功能，成本较低。其具有USB接口、与以太网网口和若干GPIO管脚，支持相应接口的摄像头，扩展连接温湿度等传感器。总处理设备可为云端服务设备器、普通电脑或卡片计算机，当采用云服务作为为数据汇总方式设备，可采用MSSQL数据库或其它相似的关系型数据库，以便进行诸如在线数据可视化的二次开发。

本方案配置灵活，若需要扩展采集点时，可以通过增加处理装置和视频采集装置的搭配来实现，理论上可以无限扩展采集点，由于上传云端的格式为文本格式，而非视频格式，基本不占用带宽，因此上传云端也不存在传输瓶颈。对于单个采集点而言，当一个处理装置无法满足其计算需求时，可以为该采集点增加处理装置，根据需求配置处理装置的数量，不会造成资源浪费，另外处理装置可以搭配各类USB或者以太网口的摄像头，因此视频采集设备兼容性高，性价比高，利用已有视频采集设备改造成本低。

本专利基于Linux系统，与硬件具有较高的兼容性，且系统免费。视觉分析库为OpenCV3.4，OpenCV是一个开源的针对计算机视觉的函数库，是机器视觉研发必备的工具，具有跨平台的优点，支持Linux系统，许可证为开源BSD，允许修改源代码，并将修改后的代码作为开源或者商用软件再次发布。编程语言选用的是Python3.6版本，是主流的视频处理编程语言，具有跨平台优点，可以在Linux操作系统中进行部署。

由于本系统采用开源软件与开源硬件，因此支持二次开发，是一种开放式的系统。本系统依托机器视觉边缘计算在卡片机中构建出一套可大规模扩展部署的解决方案，是一种鲁棒性、准确性、开源性与性价比都非常高的方案。

由于客流数可以采用字符串或者数字的形式发送，处理装置与总处理设备采用消息队列遥测传输标准（MQTT）进行通信，包括：

总处理设备为发布端，其周期性向订阅端发布读取数据的消息，

处理装置为订阅端，其接收发布端发送的消息，并反馈应答信息，应答信息由固定头部和可变头部组成，处理装置所统计的客流数据插入至可变头部中传输。本方案中与传统的相比，进行了通信端逻辑的调整。传统方案中，数据信息与控制命令发出端为发布端，例如中央控制器发出关闭阀门的消息，若干电子阀门作为订阅端接受关闭消息执行关闭动作，并发送应答消息给发布端；当发出温度调节消息时，若干温度控制器作为订阅端接受温度设定消息，设定具体温度并发送应答消息给发布端。而本方案中，采集点处理装置作为统计数据信息的发出者不是发布端而变为了订阅端，总处理设备作为数据接收者不是订阅端而变为发布端，调整通信逻辑的目的是避免过多的订阅频道，由于采集点与总处理设备是多对一的关系，若采用传统模式，总处理设备将订阅与采集点数量相同的订阅频道数量以便获取统计信息，而本方案调换订阅端与发布端位置，统计数据通过被动的方式传入总处理设备，所用采集点处理装置仅需要订阅统一的订阅频道监听总处理设备发出的消息。只有在总处理设备索要数据时，采集点才能够向总处理装置发送数据，防止网络被破解时恶意向总处理设备发送垃圾数据，导致总处理设备瘫痪，而且，本方案与传统方案不同之处在于使用应答消息的方式，传统方案中订阅端向发布端传递的应答消息不包括数据信息，仅作为心跳反馈以便确认订阅频道消息通畅。由于本方案中采集点处理装置由于反馈的统计数据较小，因此处理装置可以通过将统计数据插入至应答消息的可变头部中反馈至总处理设备。

采集点还设置有分别与处理装置连接的温度传感器和/或湿度传感器，还可以采用其他具有某些检测功能的传感器，在此不一一列举，传感器所检测的物理参数信息可以采用同样的方式发送给总处理装置。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (10)

1.一种分布式机器视觉数据采集分析方法，其特征在于，包括以下步骤：

各采集点分别采集客流视频信息；

采集点本地处理识别所述客流视频信息，统计出客流数据；

周期性将所述客流数据发送至总处理设备，所述总处理设备将所接收的所有客流数据汇总分析。

2.根据权利要求1所述的机器视觉数据采集分析方法，其特征在于，所述客流数据采用字符串或者数字的形式发送至所述总处理设备。

3.根据权利要求1所述的机器视觉数据采集分析方法，其特征在于，还包括将所统计的客流数据进行本地存储的步骤。

4.根据权利要求1-3任一项所述的机器视觉数据采集分析方法，其特征在于，本地处理识别所述客流视频信息的方法包括：

a1、将客流视频信息进行灰度处理，得到各帧的灰度图像；

a2、将灰度图像进行降维模糊处理；

a3、提取灰度图像中所有移动区域；

a4、对移动区域进行面积范围判断，筛选人影为目标区域；

a5、分别计算当前帧图像中的各目标区域与前一帧图像中所有目标区域之间的距离；

a6、将所述距离与第一设定阈值进行比较，若不大于设定阈值，判断为该目标区域为同一目标，进行客流计数判断,否则，不做处理。

5.根据权利要求4所述的机器视觉数据采集分析方法，其特征在于，客流数据判断统计的方法为：

划定水平的统计线，判断所述目标在当前帧图像中与所述统计线的上下位置关系，并且查找出该目标在前一帧图像中与所述统计线的上下位置关系，判断所述目标在当前帧图像中和前一帧图像中与所述统计线的上下位置关系是否发生变化，若发生变化，则统计客流数据加一。

6.根据权利要求1-3任一项所述的机器视觉数据采集分析方法，其特征在于，各采集点分别采集客流视频信息步骤之前，还包括检测该采集点的处理帧速的步骤，并将所述处理帧速与第二设定阈值进行比较，若所述处理帧速不大于所述第二设定阈值，则采用一台处理装置处理该采集点的客流视频信息，否则，采用两台或者以上处理装置处理该采集点的客流视频信息。

7.根据权利要求6所述的机器视觉数据采集分析方法，其特征在于，采用两台或者以上处理装置处理该采集点的客流视频信息时，由视频分配器将客流视频信息分别分配至该采集点的所有处理装置，划定竖直的分配线，将各帧图像划定成均匀的或者不均匀的若干处理区域，所述处理区域与该采集点的处理装置一一对应，各处理装置仅处理其所对应处理区域中的信息，然后将所有处理装置统计的客流数据进行合并。

8.一种分布式机器视觉数据采集分析系统，其特征在于，包括若干个采集点和一个总处理设备，所述采集点设置有：

视频采集装置，其用于采集客流视频信息；

处理装置，其具有一个或者多个，用于本地处理识别所述客流视频信息以及统计客流数据，所述处理装置通过有线或者无线的方式与所述总处理设备通信连接，并周期性将所述客流数据发送至总处理设备；当所述处理装置通过有线方式与所述视频采集装置连接时，支持GIGE、USB、CSI通信接口协议；

所述总处理设备将所接收的所有客流数据汇总分析。

9.根据权利要求8所述的系统，其特征在于，所述处理装置与所述总处理设备采用消息队列遥测传输标准进行通信，包括：

所述总处理设备为发布端，其周期性向订阅端发布读取数据的请求消息，

所述处理装置为订阅端，其接收所述发布端发送的消息，并反馈应答信息，所述应答信息由固定头部和可变头部组成，所述处理装置所统计的客流数据插入至所述可变头部中传输。

10.根据权利要求8所述的系统，其特征在于，所述采集点还设置有分别与所述处理装置连接的温度传感器和/或湿度传感器。