CN116092169A - 一种以采集频率与范围为权重的数据关联度计算方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，尤其涉及一种以采集频率与范围为权重的数据关联度计算方法，具体包括：实时接入采集的原始轨迹数据A和原始轨迹数据B；对原始轨迹数据A进行分组处理；对原始轨迹数据A进行排序和批次划分，并去重；筛选得到目标设备采集范围内的原始轨迹数据B的关联设备；对原始轨迹数据B的关联设备采集的数据进行筛选，提取得到同一时间段范围内的数据集合；根据目标设备采集的数据和关联设备采集的数据，计算总关联度。本发明提出的计算方法，根据每个设备的有效采集范围和采集频率作为影响因子，将采集设备的差异性作为权重因素进行量化并带入计算，对关联的数据关联度进行加权修正，具有可靠性高、动态可调的优点。

Description

一种以采集频率与范围为权重的数据关联度计算方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种以采集频率与范围为权重的数据关联度计算方法。

背景技术

公开了申请号为CN202210063001.5的一种图码关联强度计算方法、装置、设备及存储介质，在预设区域内实时采集人脸图片和手机IMSI轨迹，生成人脸集合和IMSI集合；遍历人脸集合，得到目标人员的关联IMSI集合；遍历IMSI集合，得到目标手机的关联人脸集合；根据点式互信息计算人脸图片和手机IMSI的关联强度。

在上述的算法中，区域是预先设置的，不支持根据设备的采集范围进行动态调整，然而在实际应用中，每个设备因为制式的不同，其采集范围和采集频率都不一样；同时对数据去重时没有考虑设备的采集频率，会出现不是同一个采集周期内的数据被去重的情况，这会影响数据关联度计算结果的准确性。

发明内容

针对现有技术的不足，本发明提出了一种以采集频率与范围为权重的数据关联度计算方法，其目的是能够根据每个设备的有效采集范围和采集频率作为影响因子，对关联的数据关联度进行加权修正，以得到准确的关联度结果。

为了实现上述目的，本发明通过如下的技术方案来实现：

一种以采集频率与范围为权重的数据关联度计算方法，所述方法包括：

实时接入采集的原始轨迹数据A和原始轨迹数据B；

对原始轨迹数据A进行分组处理；

对原始轨迹数据A进行排序和批次划分，并去重；

筛选得到目标设备采集范围内的原始轨迹数据B的关联设备；

对原始轨迹数据B的关联设备采集的数据进行筛选，提取得到同一时间段范围内的数据集合；

根据目标设备采集的数据和关联设备采集的数据，计算总关联度。

作为本发明的一种优选方案，所述原始轨迹数据A和原始轨迹数据B为车辆轨迹数据、原始人脸图片数据和原始IMSI轨迹数据中的任意两种。

作为本发明的一种优选方案，对原始轨迹数据A进行分组处理，具体包括：对原始轨迹数据A进行预处理，根据设备编号对所述原始轨迹数据A进行分组，分组后的数据集合记为A={A₁,A₂,...,A_n}；其中A₁表示设备编号为1采集的数据集合，A₂表示设备编号为2采集的数据集合，A_n表示设备编号为n采集的数据集合。

作为本发明的一种优选方案，对原始轨迹数据A进行排序和批次划分，并去重，具体包括：设目标设备的编号为i，根据编号i获取目标设备的基本信息，所述基本信息包括采集半径、采集频率和上报周期；

提取编号为i的目标设备采集的数据集合A_i，对数据集合A_i内的原始轨迹数据按采集时间由小到大进行排序；再根据采集频率和上报周期，对排序之后的数据集合A_i内的原始轨迹数据进行批次划分，并对同一批次内的原始轨迹数据进行去重，得到无重复数据的批次集合A_i={A_i1,A_i2,...,A_in}；其中，A_i1为数据集合A_i内第1个数据的批次集合，A_i2为数据集合A_i内第2个数据的批次集合，A_in为数据集合A_i内第n个数据的批次集合；

提取数据集合A_i内第f个数据的批次集合A_if，生成批次的开始时间fs和结束时间fe。

作为本发明的一种优选方案，筛选得到目标设备采集范围内的原始轨迹数据B的关联设备，具体包括：根据目标设备的采集半径，筛选得到目标设备有效采集范围内的原始轨迹数据B的采集设备集合B_m={B_k,B_j...} ，其中B_k表示设备编号为k的采集设备，B_j表示设备编号为j的采集设备。

作为本发明的一种优选方案，对原始轨迹数据B的关联设备采集的数据进行筛选，提取得到同一时间段范围内的数据集合，具体包括：对原始轨迹数据B的采集设备集合B_m进行筛选，提取得到fs~fe时间段范围内的所有原始轨迹数据B的数据集合B_f。

作为本发明的一种优选方案，根据目标设备采集的数据和关联设备采集的数据，计算总关联度，具体包括：根据目标设备的批次集合A_if和关联设备的数据集合B_f，分别计算单组合单批次和单组合多批次的关联度；单组合单批次的关联度

的计算公式为：

其中：

表示编号为i的目标设备的第f个数据的批次集合A_if，关联任意一个原始轨迹数据B的关联度；

表示在fs~fe时间段范围内，关联的原始轨迹数据B去重之后的总数；

表示编号为i的目标设备的采集半径对应的权重系数；单组合多批次的关联度

的计算公式为：

其中：

表示关联度

在目标设备采集的批次集合A_i中所占的权重系数；

根据单组合单批次和单组合多批次的关联度计算总关联度

，计算公式为：

。本发明的有益效果是：本发明提出的数据关联度计算方法，在计算关联数据之间关联度时，根据每个设备的有效采集范围和采集频率作为影响因子，将采集设备的差异性作为权重因素进行量化并带入计算，对关联的数据关联度进行加权修正，具有可靠性高、动态可调的优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本发明优选实施例中的方法流程图。

实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：如图1所示，该实施例提供了一种以采集频率与范围为权重的数据关联度计算方法，包括如下步骤：

步骤S1：实时接入采集的原始轨迹数据A和原始轨迹数据B；

原始轨迹数据A和原始轨迹数据B为车辆轨迹数据、原始人脸图片数据和原始IMSI轨迹数据中的任意两种。

步骤S2：对原始轨迹数据A进行分组处理；

对原始轨迹数据A进行预处理，根据设备编号对原始轨迹数据A进行分组，分组后的数据集合记为A={A₁,A₂,...,A_n}；其中A₁表示设备编号为1采集的数据集合，A₂表示设备编号为2采集的数据集合，A_n表示设备编号为n采集的数据集合。

步骤S3：对原始轨迹数据A进行排序和批次划分，并去重；

设目标设备的编号为i，根据编号i获取目标设备的基本信息，基本信息包括采集半径、采集频率和上报周期；

提取编号为i的目标设备采集的数据集合A_i，对数据集合A_i内的原始轨迹数据按采集时间由小到大进行排序；再根据采集频率和上报周期，对排序之后的数据集合A_i内的原始轨迹数据进行批次划分，并对同一批次内的原始轨迹数据进行去重，得到无重复数据的批次集合A_i={A_i1,A_i2,...,A_in}；其中，A_i1为数据集合A_i内第1个数据的批次集合，A_i2为数据集合A_i内第2个数据的批次集合，A_in为数据集合A_i内第n个数据的批次集合；

提取数据集合A_i内第f个数据的批次集合A_if，生成批次的开始时间fs和结束时间fe。

步骤S4：筛选得到目标设备采集范围内的原始轨迹数据B的关联设备；

根据目标设备的采集半径，筛选得到目标设备有效采集范围内的原始轨迹数据B的采集设备集合B_m={B_k,B_j...} ，其中B_k表示设备编号为k的采集设备，B_j表示设备编号为j的采集设备。

步骤S5：对原始轨迹数据B的关联设备采集的数据进行筛选，提取得到同一时间段范围内的数据集合；

对原始轨迹数据B的采集设备集合B_m进行筛选，提取得到fs~fe时间段范围内的所有原始轨迹数据B的数据集合B_f。

步骤S6：根据目标设备采集的数据和关联设备采集的数据，计算总关联度。

根据目标设备的批次集合A_if和关联设备的数据集合B_f，分别计算单组合单批次和单组合多批次的关联度；单组合单批次的关联度

的计算公式为：

其中：

表示编号为i的目标设备的第f个数据的批次集合A_if，关联任意一个原始轨迹数据B的关联度；

表示在fs~fe时间段范围内，关联的原始轨迹数据B去重之后的总数；

表示编号为i的目标设备的采集半径对应的权重系数；

单组合多批次的关联度

的计算公式为：

其中：

表示关联度

在目标设备采集的批次集合A_i中所占的权重系数；

根据单组合单批次和单组合多批次的关联度计算总关联度

，计算公式为：

。

实施例2：参考图1及上述方法，该实施例提供了以人像数据和IMSI数据为例的数据关联度计算方法，具体过程如下：

实时接入采集的原始人脸图片数据、原始IMSI轨迹数据；

对原始人脸图片数据进行预处理，根据设备编号对原始人脸图片数据进行分组，分组后的人脸图片数据集合记为A={A₁,A₂,...,A_n}；其中A₁表示设备编号为1采集的人脸图片集合，A₂表示设备编号为2采集的人脸图片集合，A_n表示设备编号为n采集的人脸图片集合；

设目标设备的编号为i，根据编号i获取目标设备的基本信息，基本信息包括采集半径、采集频率和上报周期；

提取编号为i的目标设备采集的人脸图片集合A_i，对人脸图片集合A_i内的人脸图片数据按采集时间由小到大进行排序；再根据采集频率和上报周期，对排序之后的人脸图片集合A_i内的人脸图片数据进行批次划分，并对同一批次内的人脸图片数据进行去重，得到无重复数据的批次集合A_i={A_i1,A_i2,...,A_in}；其中，A_i1为人脸图片集合A_i内第1个数据的批次集合，A_i2为人脸图片集合A_i内第2个数据的批次集合，A_in为人脸图片集合A_i内第n个数据的批次集合；提取人脸图片集合A_i内第f个数据的批次集合A_if，生成批次的开始时间fs和结束时间fe；

根据目标设备的采集半径，筛选得到目标设备有效采集范围内关联的侦码类型的采集设备集合B_m={B_k,B_j...} ，其中B_k表示设备编号为k的侦码设备，B_j表示设备编号为j的侦码设备；

从IMSI的原始轨迹中，对侦码设备集合B_m进行筛选，提取得到fs~fe时间段范围内的所有IMSI轨迹数据的数据集合B_f；

根据目标设备的批次集合A_if和关联的侦码设备的数据集合B_f，分别计算单组合单批次和单组合多批次的关联度；

单组合单批次的关联度

的计算公式为：

其中：

表示编号为i的目标设备的第f个数据的批次集合A_if，关联任意一个IMSI轨迹数据的关联度；表示在fs~fe时间段范围内，关联的IMSI轨迹数据去重之后的总数；表示编号为i的目标设备的采集半径对应的权重系数；

单组合多批次的关联度

的计算公式为：

其中：

表示关联度

在目标设备采集的批次集合A_i中所占的权重系数；

根据单组合单批次和单组合多批次的关联度计算总关联度

，计算公式为：

。

综上所述，本发明提出的数据关联度计算方法，在计算关联数据之间关联度时，根据每个设备的有效采集范围和采集频率作为影响因子，将采集设备的差异性作为权重因素进行量化并带入计算，对关联的数据关联度进行加权修正，具有可靠性高、动态可调的优点。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现，计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，所述方法包括：

实时接入采集的原始轨迹数据A和原始轨迹数据B；对原始轨迹数据A进行分组处理；对原始轨迹数据A进行排序和批次划分，并去重；筛选得到目标设备采集范围内的原始轨迹数据B的关联设备；对原始轨迹数据B的关联设备采集的数据进行筛选，提取得到同一时间段范围内的数据集合；根据目标设备采集的数据和关联设备采集的数据，计算总关联度。

2.如权利要求1所述的一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，所述原始轨迹数据A和原始轨迹数据B为车辆轨迹数据、原始人脸图片数据和原始IMSI轨迹数据中的任意两种。

3.如权利要求2所述的一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，对原始轨迹数据A进行分组处理，具体包括：

对原始轨迹数据A进行预处理，根据设备编号对所述原始轨迹数据A进行分组，分组后的数据集合记为A={A₁,A₂,...,A_n}；其中A₁表示设备编号为1采集的数据集合，A₂表示设备编号为2采集的数据集合，A_n表示设备编号为n采集的数据集合。

4.如权利要求3所述的一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，对原始轨迹数据A进行排序和批次划分，并去重，具体包括：设目标设备的编号为i，根据编号i获取目标设备的基本信息，所述基本信息包括采集半径、采集频率和上报周期；提取编号为i的目标设备采集的数据集合A_i，对数据集合A_i内的原始轨迹数据按采集时间由小到大进行排序；再根据采集频率和上报周期，对排序之后的数据集合A_i内的原始轨迹数据进行批次划分，并对同一批次内的原始轨迹数据进行去重，得到无重复数据的批次集合A_i={A_i1,A_i2,...,A_in}；其中，A_i1为数据集合A_i内第1个数据的批次集合，A_i2为数据集合A_i内第2个数据的批次集合，A_in为数据集合A_i内第n个数据的批次集合；提取数据集合A_i内第f个数据的批次集合A_if，生成批次的开始时间fs和结束时间fe。

5.如权利要求4所述的一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，筛选得到目标设备采集范围内的原始轨迹数据B的关联设备，具体包括：根据目标设备的采集半径，筛选得到目标设备有效采集范围内的原始轨迹数据B的采集设备集合B_m={B_k,B_j...} ，其中B_k表示设备编号为k的采集设备，B_j表示设备编号为j的采集设备。

6.如权利要求5所述的一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，对原始轨迹数据B的关联设备采集的数据进行筛选，提取得到同一时间段范围内的数据集合，具体包括：对原始轨迹数据B的采集设备集合B_m进行筛选，提取得到fs~fe时间段范围内的所有原始轨迹数据B的数据集合B_f。

7.如权利要求6所述的一种以采集频率与范围为权重的数据关联度计算方法，其特征在于，根据目标设备采集的数据和关联设备采集的数据，计算总关联度，具体包括：根据目标设备的批次集合A_if和关联设备的数据集合B_f，分别计算单组合单批次和单组合多批次的关联度；单组合单批次的关联度

的计算公式为：

其中：

表示编号为i的目标设备的第f个数据的批次集合A_if，关联任意一个原始轨迹数据B的关联度；

表示在fs~fe时间段范围内，关联的原始轨迹数据B去重之后的总数；

表示编号为i的目标设备的采集半径对应的权重系数；单组合多批次的关联度

的计算公式为：

其中：

表示关联度

在目标设备采集的批次集合

中所占的权重系数；根据单组合单批次和单组合多批次的关联度计算总关联度

，计算公式为：

。

Images