CN111447259A - 一种自适应式数据协同采集方法及系统 - Google Patents

Abstract

本发明公开了一种自适应式数据协同采集方法及系统，包括采集集群构建、采集场景感知、采集模式制定、设备自动配置、数据协同采集五个步骤，能够解决当前数据采集无序采集、重复采集、高成本采集等难题，通过采集场景智能感知及场景分类，确定相应的采集模式，提升了对恶劣条件下的数据采集抗干扰能力，结合数据采集作业要求、硬件资源状况与环境，动态支持抗干扰模式、故障触发模式、目标跟踪模式和成本敏感模式等典型模式，通过协同数据采集控制器和执行器间信息交互，实现数据采集设备间分工协作，提高了数据采集的有序性，设备间协作信息的接收方可基于欧式空间距离等方式计算得出，确保协作信息在适当范围传送，避免过度和不必要信息交互。

Description

一种自适应式数据协同采集方法及系统

技术领域

本发明属于大数据采集与处理技术领域，具体涉及一种自适应式数据协同采集方法及系统。

背景技术

近年来，随着城市信息化进程的不断推进，物联网、大数据及人工智能技术的不断发展，各类温湿度传感器、烟雾告警传感器、视频监控设备、人脸识别设备等大量普及。海量数据通过泛在采集、汇聚共享、挖掘分析及深度应用，为智慧社区、智慧园区及智慧城市其他重要行业智能化提供了强大的技术支持，也给行业带来新的难题和挑战。

数据采集作为数据处理与应用的前提，一直是业界关注和探索的热点。目前，针对单一场景或者单一信号源的数据采集技术取得了长足进步，采集精确度、可采集时空范围等数据采集能力有了大幅提升。尤其是近年来，随着机器学习等人工智能技术应用，提高了采集设备的智能化水平及环境适应能力。

但是，由于当前采集设备之间缺乏联动，数据采集整体呈分割化、重复化和低效化等缺陷，具体表现在：

(1)针对同一场景下，同类或者类似设备同时和持续采集，例如城市道路线杆上装配的各种视频监控设备，使得信息被重复采集，增大了网络传输和数据存储要求。

(2)在应急指挥或者目标布控等特定场景下，由于设备间缺乏协作，无法从不同空间角度、不同时段进行数据采集，信息感知的全面性和准确性大打折扣。

(3)在设备离线或者故障情况下，如果缺乏其他设备辅助，将导致特定时段的信息遗漏，不利于信息分析及目标跟踪。

(4)在环保监测等场景下，高耗材设备(如化工试剂监测类)与低耗材设备(例如视频监控设备)联动不足，导致高耗材设备持续运行，提高了监测成本。

其他，数据采集的无序性，降低了数据的有效性和质量，使得数据之间缺乏关联，给后续的数据分析带来了困难。

发明内容

本发明提出了一种自适应式数据协同采集方法及系统，以解决上述背景技术中提出的问题。本发明的技术方案是这样实现的：

一种自适应式数据协同采集方法，包括采集集群构建、采集场景感知、采集模式制定、设备自动配置、数据协同采集五个步骤，

步骤一：采集集群构建

数据采集设备启动，协同采集执行器加载运行，搜索协同采集中心控制器，协同采集中心控制器存在，则向其注册本数据采集相关参数，包括但不限于采集类型、采集时间、设备位置、仰视角，注册成功后，协同采集执行器定时向协同采集中心控制器发送握手信号，更新采集环境数据，包括但不限于天气、光照、时间戳、数据变化幅度，协同采集中心控制器负责汇总并维护协同采集执行器相关信息，构建、更新和发布设备信息列表；

步骤二：采集场景感知

协同采集中心控制器根据收集到的周围环境信息，经比对、整理形成环境信息表，并分类形成一般型场景、强干扰型场景及故障型场景；

步骤三：采集模式确定

协同采集中心控制器根据提交的数据采集作业，按时间段解析成为若干个任务集，形成数据采集任务表，结合当前数据采集任务及环境信息，自动确定协同采集模式，典型的协同采集模式包括抗干扰模式、故障触发模式、目标跟踪模式和成本敏感模式，如果未进入上述协同采集模式，则自动进入独立采集模式；

步骤四：采集设备配置

协同采集模式确定以后，协同采集中心控制器将根据设备信息表，制定具体的协同采集方案，并将方案下发至与本次协同采集相关的协同采集执行器，并调用感知设备接口完成设备参数配置并启动生效，如果设备配置不成功，则自动返回独立采集模式；

步骤五：采集任务执行

感知设备根据协同采集要求，执行数据采集任务，协同采集执行器实时监控数据采集过程，向协同采集中心控制器上报状态信息，向其他协同采集执行器发送协作信息。

在本发明的自适应式数据协同采集方法中，步骤一中，数据采集设备启动，协同采集执行器加载运行，搜索协同采集中心控制器，协同采集中心控制器不存在，则启动自动组网模式，协商确定某一数据采集设备作为协同采集中心控制器。

在本发明的自适应式数据协同采集方法中，步骤二中所述的强干扰型场景指因恶劣天气、光照不足、噪声干扰等影响数据采集的特殊场景，故障型感知场景指因感知设备故障影响数据采集的特殊场景，除强干扰型场景、故障型感知场景之外的场景为一般型场景。

在本发明的自适应式数据协同采集方法中，步骤三中所述的时间段指周、天、小时等多种时间粒度。

在本发明的自适应式数据协同采集方法中，步骤五中，为避免过度和不必要的信息扩散，将信息限制在一定范围内，协作信息接收目标群体为：

式(1)中，f_{1,距离空间}用于表示协作信息发送者X₀与可能的协作信息接收者之间距离，用欧式空间距离或者曼哈顿等距离来计算，f_{2,距离空间}用于表示根据目标移动速度、时间间隔等参数计算得到的最大覆盖范围，实际场景根据需要选择欧式空间距离等计算方式。

一种自适应式数据协同采集系统，包括协同采集中心控制器和协同采集执行器，

协同采集中心控制器由资源调度单元、感知集群管理单元组成，负责接收数据采集作业并根据作业要求和资源状况，确定采集模式并形成具体的数据采集方案，协同采集中心控制器既能运行于独立的服务器中，也能运行于某一数据采集设备之上；

协同采集执行器运行于感知设备中，主要由信息交互单元、参数配置单元和状态收集单元组成，信息交互单元负责与协同采集中心控制器及其他协同采集执行器进行控制类和状态类信息交互，参数配置单元根据协同采集中心控制器下发的数据采集方案，调用感知设备的API接口，实现对底层传感器参数的在线配置，状态收集单元实时收集感知设备状态信息，通过“心跳”方式向协同采集中心控制器反馈。

实施本发明的这种自适应式数据协同采集方法及系统，具有以下有益效果：

本发明提出的以自适应协作为核心的新型数据采集方法，涵盖采集集群构建、采集场景感知、采集模式制定、设备自动配置、数据协同采集等5个核心步骤，能够解决当前数据采集无序采集、重复采集、高成本采集等难题，其中，通过采集场景智能感知及场景分类，确定相应的采集模式，提升了对恶劣条件下的数据采集抗干扰能力；结合数据采集作业要求、硬件资源状况与环境，动态支持抗干扰模式、故障触发模式、目标跟踪模式和成本敏感模式等典型模式；通过协同数据采集控制器和执行器间信息交互，实现数据采集设备间分工协作，提高了数据采集的有序性，减少了重复采集和过度采集；设备间协作信息的接收方可基于欧式空间距离等方式计算得出，从而确保协作信息在适当范围传送，避免了过度和不必要信息交互；可实现基于目标移动各数据采集设备持续性聚焦采集，增大数据采集的全面性和准确性；通过数据采集设备对数据标签化操作，增强了数据间的关联性，打通了数据间壁垒，方便了后续的数据分析和处理。

附图说明

图1为本发明自适应数据协同感知的系统图；

图2为本发明自适应数据协同感知的流程图；

图3为本发明协同采集模式确定图；

图4为本发明实施例2的协同数据采集在园区安防应用图；

图5为本发明实施例2的协同数据采集应用图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：

如图2和3所所示的一种自适应式数据协同采集方法，包括采集集群构建、采集场景感知、采集模式制定、设备自动配置、数据协同采集五个步骤，

步骤一：采集集群构建

数据采集设备启动，协同采集执行器加载运行，搜索协同采集中心控制器，如数据采集设备启动，协同采集执行器加载运行，搜索协同采集中心控制器，协同采集中心控制器不存在，则启动自动组网模式，协商确定某一数据采集设备作为协同采集中心控制器；如协同采集中心控制器存在，则向其注册本数据采集相关参数，包括但不限于采集类型、采集时间、设备位置、仰视角，注册成功后，协同采集执行器定时向协同采集中心控制器发送握手信号，更新采集环境数据，包括但不限于天气、光照、时间戳、数据变化幅度，协同采集中心控制器负责汇总并维护协同采集执行器相关信息，构建、更新和发布设备信息列表。

步骤二：采集场景感知

协同采集中心控制器根据收集到的周围环境信息，经比对、整理形成环境信息表，并分类形成一般型场景、强干扰型场景及故障型场景，强干扰型场景指因恶劣天气、光照不足、噪声干扰等影响数据采集的特殊场景，故障型感知场景指因感知设备故障影响数据采集的特殊场景，除强干扰型场景、故障型感知场景之外的场景为一般型场景。

步骤三：采集模式确定

协同采集中心控制器根据提交的数据采集作业，按时间段(周、天、小时等多种时间粒度)解析成为若干个任务集，形成数据采集任务表，结合当前数据采集任务及环境信息，自动确定协同采集模式，典型的协同采集模式包括抗干扰模式、故障触发模式、目标跟踪模式和成本敏感模式，如果未进入上述协同采集模式，则自动进入独立采集模式。

步骤四：采集设备配置

协同采集模式确定以后，协同采集中心控制器将根据设备信息表，制定具体的协同采集方案，并将方案下发至与本次协同采集相关的协同采集执行器，并调用感知设备接口完成设备参数配置并启动生效，如果设备配置不成功，则自动返回独立采集模式。

步骤五：采集任务执行

感知设备根据协同采集要求，执行数据采集任务，协同采集执行器实时监控数据采集过程，向协同采集中心控制器上报状态信息，向其他协同采集执行器发送协作信息。

为避免过度和不必要的信息扩散，将信息限制在一定范围内，协作信息接收目标群体为：

式(1)中，f_{1,距离空间}用于表示协作信息发送者X₀与可能的协作信息接收者之间距离，用欧式空间距离或者曼哈顿等距离来计算，f_{2,距离空间}用于表示根据目标移动速度、时间间隔等参数计算得到的最大覆盖范围，实际场景根据需要选择欧式空间距离等计算方式。

如图1所示的一种自适应式数据协同采集系统，自适应数据协同感知主要由协同采集中心控制器及协同采集执行器两大类实体组成，

协同采集中心控制器由资源调度单元、感知集群管理单元组成，负责接收数据采集作业并根据作业要求和资源状况，确定采集模式并形成具体的数据采集方案，协同采集中心控制器既能运行于独立的服务器中，也能运行于某一数据采集设备之上；

协同采集执行器运行于感知设备中，主要由信息交互单元、参数配置单元和状态收集单元组成，信息交互单元负责与协同采集中心控制器及其他协同采集执行器进行控制类和状态类信息交互，参数配置单元根据协同采集中心控制器下发的数据采集方案，调用感知设备的API接口，实现对底层传感器参数的在线配置，状态收集单元实时收集感知设备状态信息，通过“心跳”方式向协同采集中心控制器反馈。

实施例2：

园区周边建有周界防范系统，在园区出入口及卡口建有摄像头等视频监控设备，在园区主要道路建有WiFi探针(电围设备)，每个楼栋建有智能门禁出入系统。在现有独立数据采集方式下，大量信息被重复和无序地采集，信息间缺乏关联。尤其在特定事件如非法/可疑目标进入后，设备之间缺乏联动，相关信息不能全面、准确地采集，给后期查证带来困难。

在此情况下，根据场景需要，如图4，自动将独立式数据采集切换为协同式数据采集，通过视频监控设备、WiFi探针及门禁设备等设备相互协作，将有效减轻数据重复、无序采集影响。

具体地，如图5，将协同采集中心控制器部署于园区专有服务器或者部署于视频监控系统中，通过局域网将各类数据采集设备连接，组建数据采集集群。协同采集中心控制器接收数据采集作业要求(需要对特殊人群进行关注)，结合环境信息确定协同采集模式为目标跟踪模式，确定具体的协同采集方案后，由协同采集执行器分别对视频监控等设备进行配置。

当某类特殊人员进入园区后，出入口摄像头通过人物信息采集后，识别出为某类特殊关注群体成员，迅速提取目标视频属性特征、目标行进方向和速度，并告知其他数据采集设备。为避免过度的信息扩散，协作信息接收方通过公式(1)进行计算。将相关视频信息进行全局唯一ID(假定为KKK_ID)标注后，保存入库。

与此同时，相邻的WiFi探针进行数据采集。在收到来自入口摄像头协作信息后，和视频图像进行第一次匹配，生成列表P1(视频目标X1，视频目标X2，…，视频目标XM；WiFi目标Y1，WiFi目标Y2，…，WiFi目标YN)。

附近的摄像头根据收到目标信息，自动进行摄像头云台控制，对准目标可能出现方向。一旦目标出现，且经过特征匹配符合后，持续对该目标进行跟踪，并再次提取目标视频属性特征、目标行进方向和速度，告知其他感知设备。相应地，相关视频信息进行KKK_ID标注后，保存入库。

当WiFi探针和视频设备距离较近时，进行第二次匹配，生成列表P2(视频目标X1，视频目标X4，…视频目标XM；WiFi目标Y2，WiFi目标YN，…WiFi目标YN+K)。

通过列表P1和列表P2(或者更多的表)的相与操作，可知视频目标X1和WiFi目标Y2两次以上同时出现，可确认视频目标X1和WiFi目标Y2为同一关注对象。相应地，将WiFi目标Y2相关信息用KKK_ID标注在存储入库。

随着目标在园区内位置的移动，通过数据采集设备间信息交互和协作，目标在园区内相关信息被较完整地采集，且通过KKK_ID进行数据关联，打通了数据之间壁垒。后续进行信息查证时，可通过KKK_ID直接、快速查询到相关数据。

实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种自适应式数据协同采集方法，其特征在于，包括采集集群构建、采集场景感知、采集模式制定、设备自动配置、数据协同采集五个步骤，

步骤一：采集集群构建

数据采集设备启动，协同采集执行器加载运行，搜索协同采集中心控制器，协同采集中心控制器存在，则向其注册本数据采集相关参数，包括但不限于采集类型、采集时间、设备位置、仰视角，注册成功后，协同采集执行器定时向协同采集中心控制器发送握手信号，更新采集环境数据，包括但不限于天气、光照、时间戳、数据变化幅度，协同采集中心控制器负责汇总并维护协同采集执行器相关信息，构建、更新和发布设备信息列表；

步骤二：采集场景感知

协同采集中心控制器根据收集到的周围环境信息，经比对、整理形成环境信息表，并分类形成一般型场景、强干扰型场景及故障型场景；

步骤三：采集模式确定

协同采集中心控制器根据提交的数据采集作业，按时间段解析成为若干个任务集，形成数据采集任务表，结合当前数据采集任务及环境信息，自动确定协同采集模式，典型的协同采集模式包括抗干扰模式、故障触发模式、目标跟踪模式和成本敏感模式，如果未进入上述协同采集模式，则自动进入独立采集模式；

步骤四：采集设备配置

协同采集模式确定以后，协同采集中心控制器将根据设备信息表，制定具体的协同采集方案，并将方案下发至与本次协同采集相关的协同采集执行器，并调用感知设备接口完成设备参数配置并启动生效，如果设备配置不成功，则自动返回独立采集模式；

步骤五：采集任务执行

感知设备根据协同采集要求，执行数据采集任务，协同采集执行器实时监控数据采集过程，向协同采集中心控制器上报状态信息，向其他协同采集执行器发送协作信息。

2.根据权利要求1所述的自适应式数据协同采集方法，其特征在于，步骤一中，数据采集设备启动，协同采集执行器加载运行，搜索协同采集中心控制器，协同采集中心控制器不存在，则启动自动组网模式，协商确定某一数据采集设备作为协同采集中心控制器。

3.根据权利要求1所述的自适应式数据协同采集方法，其特征在于，步骤二中所述的强干扰型场景指因恶劣天气、光照不足、噪声干扰等影响数据采集的特殊场景，故障型感知场景指因感知设备故障影响数据采集的特殊场景，除强干扰型场景、故障型感知场景之外的场景为一般型场景。

4.根据权利要求1所述的自适应式数据协同采集方法，其特征在于，步骤三中所述的时间段指周、天、小时等多种时间粒度。

5.根据权利要求1所述的自适应式数据协同采集方法，其特征在于，步骤五中，为避免过度和不必要的信息扩散，将信息限制在一定范围内，协作信息接收目标群体为：

式(1)中，f_{1,距离空间}用于表示协作信息发送者X₀与可能的协作信息接收者之间距离，用欧式空间距离或者曼哈顿等距离来计算，f_{2,距离空间}用于表示根据目标移动速度、时间间隔等参数计算得到的最大覆盖范围，实际场景根据需要选择欧式空间距离等计算方式。

6.一种自适应式数据协同采集系统，其特征在于，包括协同采集中心控制器和协同采集执行器，

协同采集中心控制器由资源调度单元、感知集群管理单元组成，负责接收数据采集作业并根据作业要求和资源状况，确定采集模式并形成具体的数据采集方案，协同采集中心控制器既能运行于独立的服务器中，也能运行于某一数据采集设备之上；

协同采集执行器运行于感知设备中，主要由信息交互单元、参数配置单元和状态收集单元组成，信息交互单元负责与协同采集中心控制器及其他协同采集执行器进行控制类和状态类信息交互，参数配置单元根据协同采集中心控制器下发的数据采集方案，调用感知设备的API接口，实现对底层传感器参数的在线配置，状态收集单元实时收集感知设备状态信息，通过“心跳”方式向协同采集中心控制器反馈。

Images