CN111177195A - 一种数据比对碰撞方法和装置 - Google Patents

一种数据比对碰撞方法和装置 Download PDF

Info

Publication number
CN111177195A
CN111177195A CN201911309548.3A CN201911309548A CN111177195A CN 111177195 A CN111177195 A CN 111177195A CN 201911309548 A CN201911309548 A CN 201911309548A CN 111177195 A CN111177195 A CN 111177195A
Authority
CN
China
Prior art keywords
data
time
space
entity
spatiotemporal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911309548.3A
Other languages
English (en)
Inventor
梁秀钦
于霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201911309548.3A priority Critical patent/CN111177195A/zh
Publication of CN111177195A publication Critical patent/CN111177195A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据比对碰撞方法和装置，该方法包括：获取指定的时空范围；对时空范围内的轨迹数据进行数据处理；数据处理包括：将轨迹数据标准化为时空数据以及对时空数据进行时空索引处理获取时空特征索引数据；对时空特征索引数据进行时空特征去噪处理获取去燥时空特征索引数据；时空特征去噪处理包括：从时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在；根据去燥时空特征索引数据中的时空索引维度从预先设置的时空特征库中提取待比对碰撞数据；将轨迹数据与待比对碰撞数据进行轨迹相似度计算完成时空数据比对碰撞。通过该实施例方案，快速的完成了数据提取，减少了计算量，并提高了比对准确率。

Description

一种数据比对碰撞方法和装置
技术领域
本文涉及数据处理技术，尤指一种数据比对碰撞方法和装置。
背景技术
轨迹比对碰撞问题是一个轨迹相关性比对和搜索的问题。为公安业务场景中的找到人或物等实体之间的相关性，通过这种相关性来找到实际研究、判断、分析时的线索，为公安破案、情报等工作提供技术支撑。
当前技术一般使用规则计算的方式，通过给定数据碰撞规则，直接计算原轨迹数据，按照时间和空间的规则匹配性来完成客户的轨迹比对碰撞需求，计算量大并且比对速度较慢。
而且上述的轨迹碰撞计算方法中，直接基于原始轨迹数据通过实际规则来完成轨迹碰撞，这些原始轨迹数据中有大量的数据因为感知设备采集数据的不稳定会出现异常错误，这些异常值在实际轨迹比对碰撞中会影响具体轨迹相似度计算值。
发明内容
本申请提供了一种数据比对碰撞方法和装置，能够快速的完成数据提取，减少计算量，实现实时轨迹的快速比对碰撞，并提高比对准确率。
本申请提供了一种数据比对碰撞方法，所述方法可以包括：
获取指定的时空范围；
对所述时空范围内的轨迹数据进行数据处理；所述数据处理可以包括：将所述轨迹数据标准化为时空数据以及对所述时空数据进行时空索引处理获取时空特征索引数据；
对所述时空特征索引数据进行时空特征去噪处理，获取去燥时空特征索引数据；所述时空特征去噪处理包括：从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在；所述时空参数项包括实体ID、等分时段和/或空间位置；
根据所述去燥时空特征索引数据中的时空索引维度从预先设置的时空特征库中提取待比对碰撞数据；
将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算，完成时空数据比对碰撞。
在本申请的示例性实施例中，所述将所述轨迹数据标准化为时空数据可以包括：
将与所述轨迹数据相关的行为实体赋予唯一的实体身份标识ID；
将所述轨迹数据中的每个空间位置定义为一个唯一的空间地点ID；
将所述轨迹数据中的采集时间按照预设的时间间隔对全部轨迹数据进行等分。
在本申请的示例性实施例中，所述将所述轨迹数据标准化为时空数据还可以包括：将所述时空数据进行表格化；
所述将所述时空数据进行表格化可以包括：
将实体ID作为表格的第一项目录；
将所述空间地点ID作为第二项目录；
将所述采集时间作为第三项目录；其中，每一个等分时段按照时间顺序依次列于第三项目录中。
在本申请的示例性实施例中，所述时空索引维度可以包括以下任意一种或多种：实体维度、时间维度和空间维度；
所述对所述时空数据进行时空索引处理可以包括：将所述时空数据按照预设的一个或多个时空索引维度进行存储。
在本申请的示例性实施例中，将所述时空数据按照实体维度进行存储可以包括：将每个实体ID对应的全部空间位置存储到预设的第一地点分片中，将每个实体ID对应的全部等分时段的数据存储到预设的第一时间分片中，并将每个实体ID对应的第一地点分片和第一时间分片压缩到第一文件中；
将所述时空数据按照空间维度进行存储包括：将每个空间位置对应的全部实体ID存储到预设的第一实体分片中，将每个空间位置对应的全部等分时段的数据存储到预设的第二时间分片中，并将每个空间位置对应的第一实体分片和第二时间分片压缩到第二文件中；
将所述时空数据按照时间维度进行存储包括：将每个等分时段对应的全部实体ID存储到预设的第二实体分片中，将每个等分时段对应的全部空间位置存储到预设的第二地点分片中，并将每个等分时段对应的第二实体分片和第二地点分片压缩到第三文件中。
在本申请的示例性实施例中，所述从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在包括：对按照任意的一个时空索引维度存储所获取的时空特征索引数据中的每个实体ID、等分时段和/或空间位置进行标记；以区分出所述时空特征索引数据中针对一个实体ID、一个等分时段和/或一个空间位置是否存在相应数据。
在本申请的示例性实施例中，所述对按照任意的一个时空索引维度存储所获取的时空特征索引数据中的全部实体ID、等分时段和/或空间位置进行标记可以包括：
将存在的实体ID、等分时段和/或空间位置标记为第一符号；
将不存在的实体ID、等分时段和/或空间位置标记为第二符号。
在本申请的示例性实施例中，所述方法还可以包括：预先对实时采集的每一个轨迹数据进行所述数据处理，并将数据处理后获得的时空索引数据存储到指定的数据库，构成所述时空特征库。
在本申请的示例性实施例中，所述将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算可以包括：
获取所述轨迹数据的第一轨迹向量以及所述待比对碰撞数据的第二轨迹向量；
根据余弦相似度算法计算所述第一轨迹向量和所述第二轨迹向量的相似度；
将计算结果与预设的相似度阈值相比较，根据比较结果确定所述轨迹数据对应的第一时空轨迹与所述待比对碰撞数据对应的第二时空轨迹是否相似。
本申请还提供了一种数据比对碰撞装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一项所述的数据比对碰撞方法。
与相关技术相比，本申请包括：获取指定的时空范围；对所述时空范围内的轨迹数据进行数据处理；所述数据处理可以包括：将所述轨迹数据标准化为时空数据以及对所述时空数据进行时空索引处理获取时空特征索引数据；对所述时空特征索引数据进行时空特征去噪处理，获取去燥时空特征索引数据；所述时空特征去噪处理包括：从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在；所述时空参数项包括实体ID、等分时段和/或空间位置；根据所述去燥时空特征索引数据中的时空索引维度从预先设置的时空特征库中提取待比对碰撞数据；将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算，完成时空数据比对碰撞。通过该实施例方案，快速的完成了数据提取，减少了计算量，实现了实时轨迹的快速比对碰撞，并提高了比对准确率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本发明实施例的数据比对碰撞方法流程图；
图2为本发明实施例的数据比对碰撞方法示意图；
图3为本发明实施例的数据比对碰撞装置组成框图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请提供了一种数据比对碰撞方法，如图1、图2所示，所述方法可以包括S101-S105：
S101、获取指定的时空范围。
在本发明的示例性实施例中，该时空范围可以是电子地图上圈选的时空范围，也可以是通过时空范围数据和/或名称(例如，时间段、经纬度、地点等)给出的时空范围。
S102、对所述时空范围内的轨迹数据进行数据处理；所述数据处理可以包括：将所述轨迹数据标准化为时空数据以及对所述时空数据进行时空索引处理获取时空特征索引数据。
在本发明的示例性实施例中，可以把圈选的电子地图上的时空范围和/或或给定的时空范围表示成一个时空索引(或称时空维度索引)，以通过这个时空维度索引到相应的索引文件(如下述的时空特征库)中获取所需的轨迹记录(即待比对碰撞数据)，从而找到碰撞的轨迹记录。
在本申请的示例性实施例中，所述将所述轨迹数据标准化为时空数据可以包括：
将与所述轨迹数据相关的行为实体赋予唯一的实体身份标识ID；
将所述轨迹数据中的每个空间位置定义为一个唯一的空间地点ID；
将所述轨迹数据中的采集时间按照预设的时间间隔对全部轨迹数据进行等分。
在本申请的示例性实施例中，所述将所述轨迹数据标准化为时空数据还可以包括：将所述时空数据进行表格化；
所述将所述时空数据进行表格化可以包括：
将实体ID作为表格的第一项目录；
将所述空间地点ID作为第二项目录；
将所述采集时间作为第三项目录；其中，每一个等分时段按照时间顺序依次列于第三项目录中。
在本申请的示例性实施例中，轨迹数据标准化成时空数据，是把轨迹数据按照确定的实体ID、时间、地点ID的形式存储。
在本申请的示例性实施例中，轨迹数据的标准化，目的是把轨迹数据格式上、数据的时间间隔上做标准化处理，以为后面时空特征提取提供统一的输入。标准的轨迹数据的格式可以如表一和表二所示，其中，表一为无线保真Wifi围栏数据样例，表二为电子围栏数据样例：
表一
物理地址MAC 开始时间STARTTIME 地点LOCATION
DA:A1:19:17:AC:12 2019-08-06 16:20:13 地点ID1
DA:A5:11:19:AC:10 2019-08-05 16:20:12 地点ID2
表二
Figure BDA0002324140210000071
在本发明的示例性实施例中，针对上述的轨迹数据，可以按照空间和时间来做分区存储。每个行为实体(如汽车、人员等)可以赋予唯一的实体ID，把这个实体ID作为第一项目录，每个空间地点定义为一个空间地点ID，把这个空间地点ID作为第二项目录，然后按照预设的时间间隔(如每天24小时)来等分数据，每个等分时段(如每个小时)的数据存储在一个条目下，这里每个等分时段(如一个小时)内的数据是去除了重复数据的，这样就大大减少了数据存储的数量。当然这里的按小时存储是可以调整的，比如可以调整成按照天、分钟等进行存储。通过这种转换就可以通过不同的项目路径找到一个轨迹中不同的具体数据。具体分区存储情况可以如表三所示：
表三
Figure BDA0002324140210000072
Figure BDA0002324140210000081
在本申请的示例性实施例中，所述时空索引维度可以包括以下任意一种或多种：实体维度、时间维度和空间维度；
所述对所述时空数据进行时空索引处理可以包括：将所述时空数据按照预设的一个或多个时空索引维度进行存储。
在本申请的示例性实施例中，时空索引处理即时空数据分片存储，具体是把时空数据按照定义的属性和格式处理数据，然后把处理好的数据按照定义的实体、地点和时间来做分片处理，最后把相应的数据存储到对应的分片中。
在本申请的示例性实施例中，时空数据构建时空维度索引，目的是按照实体、时间或空间等维度对时空数据建立维度索引，以通过维度索引的方法加快数据搜索。
在本申请的示例性实施例中，在时空轨迹比对碰撞中有一类计算是针对多个不同类型的实体ID的轨迹数据相似度的计算，比如：给定了一个部分轨迹的某个车的数据，通过这部分轨迹数据来找到和某个车相关的其他车的相似轨迹或者通过卡口采集的IMSI号的轨迹。也就是说轨迹比对碰撞可以比对碰撞相同实体类型的轨迹，也可以比对碰撞不同实体类型的轨迹。通过轨迹相似度计算来找到和查询轨迹相似的轨迹数据来。
在本申请的示例性实施例中，针对上述的对不同类型的实体ID的轨迹数据进行比对碰撞的场景，可以将时空索引维度确定为实体维度，将所述时空数据按照实体维度进行存储。
在本申请的示例性实施例中，将所述时空数据按照实体维度进行存储可以包括：将每个实体ID对应的全部空间位置存储到预设的第一地点分片中，将每个实体ID对应的全部等分时段的数据存储到预设的第一时间分片中，并将每个实体ID对应的第一地点分片和第一时间分片压缩到第一文件中。
在本申请的示例性实施例中，上述方案主要是把每个实体ID对应的时空位置转换成了时空轨迹存储分片，然后把这些信息进行压缩并存储在一个文件中，以便能快速检索具体实体ID的时空点。具体存储结构如表四所示：
表四
Figure BDA0002324140210000091
在本申请的示例性实施例中，针对不同的应用场景，还可以将所述时空数据按照时间维度和空间维度进行存储，以便于根据不同的维度实现快速搜索。
在本申请的示例性实施例中，将所述时空数据按照空间维度进行存储可以包括：将每个空间位置对应的全部实体ID存储到预设的第一实体分片中，将每个空间位置对应的全部等分时段的数据存储到预设的第二时间分片中，并将每个空间位置对应的第一实体分片和第二时间分片压缩到第二文件中。
在本申请的示例性实施例中，将所述时空数据按照时间维度进行存储可以包括：将每个等分时段对应的全部实体ID存储到预设的第二实体分片中，将每个等分时段对应的全部空间位置存储到预设的第二地点分片中，并将每个等分时段对应的第二实体分片和第二地点分片压缩到第三文件中。
S103、对所述时空特征索引数据进行时空特征去噪处理，获取去燥时空特征索引数据；所述时空特征去噪处理包括：从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在；所述时空参数项包括实体ID、等分时段和/或空间位置。
在本申请的示例性实施例中，在前述的实施例中：给定了一个部分轨迹的某个车的数据，通过这部分轨迹数据来找到和某个车相关的其他车的相似轨迹或者通过卡口采集的IMSI号的轨迹。也就是说轨迹比对碰撞可以比对碰撞相同实体类型的轨迹，也可以比对碰撞不同实体类型的轨迹。通过轨迹相似度计算来找到和查询轨迹相似的轨迹数据来。这种针对轨迹碰撞的使用场景，因为一个点可能没有采集到数据，直接导致轨迹相似度计算出现较大偏差。
在本申请的示例性实施例中，按照上述场景，可以把这种因为采集数据出错的情况下计算时空轨迹的相似度问题转换成一个去噪后的时空轨迹特征化表示，然后再通过向量的相似度计算来实现上述场景问题，可以通过下述方案转换成一个去噪后的时空轨迹数据为时空特征向量表示。
在本申请的示例性实施例中，所述从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在包括：对按照任意的一个时空索引维度存储所获取的时空特征索引数据中的每个实体ID、等分时段和/或空间位置进行标记；以区分出所述时空特征索引数据中针对一个实体ID、一个等分时段和/或一个空间位置是否存在相应数据。
在本申请的示例性实施例中，所述对按照任意的一个时空索引维度存储所获取的时空特征索引数据中的全部实体ID、等分时段和/或空间位置进行标记可以包括：
将存在的实体ID、等分时段和/或空间位置标记为第一符号；
将不存在的实体ID、等分时段和/或空间位置标记为第二符号。
在本申请的示例性实施例中，可以通过时空索引将时空特征索引数据抽取成具体的时空特征，获取去燥时空特征索引数据。
在本申请的示例性实施例中，例如，可以定义某个实体ID在一个时空数据中出现时表示为1，没有出现时表示为0。从而把时空特征索引数据表示成每个实体ID的一个轨迹的时空特征向量，这个特征向量就是时空特征空间。该方案可以方便忽略特定时间点或者位置的时空特征，能够在查询时动态地组合需要的时空特征。
在本申请的示例性实施例中，具体实现方式可以如表五和表六所示，其中表五为时空特征索引数据的一个实施例，由表五中的数据可以表示出表六的去燥时空特征索引数据。
表五
Figure BDA0002324140210000111
表六
Figure BDA0002324140210000112
在本申请的示例性实施例中，设置时空参数项可以设置相似度去噪个数、具体指定去噪时间段和/或位置点。从而能够实现时空特征选取是按照去噪要求来选择时空特征。
在本申请的示例性实施例中，在实际设计过程中可以把给定的查询轨迹快速的转换成时空特征向量表示的形式，然后按照去噪要求处理，最后通过特征向量到特征向量集中搜索相似度大的轨迹。
S104、根据所述去燥时空特征索引数据中的时空索引维度从预先设置的时空特征库中提取待比对碰撞数据。
在本申请的示例性实施例中，所述方法还可以包括：预先对实时采集的每一个轨迹数据进行所述数据处理，并将数据处理后获得的时空索引数据存储到指定的数据库，构成所述时空特征库。
在本发明的示例性实施例中，对实时采集的大量轨迹数据进行数据处理时，可以将标准化的时空数据按照实体维度、时间维度和空间维度中的任意一种或多种进行存储，以便于根据不同的维度快速从时空特征库中提取数据。
在本发明的示例性实施例中，在具体比对碰撞的实际场景中，直接通过电子地图圈选或时空范围的给定获取相应的时空范围后，可以通过数据标准化以及时空索引处理完成时空数据的相应维度处理，从而通过该维度从时空特征库中提取相应数据，作为待比对碰撞数据。
S105、将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算，完成时空数据比对碰撞。
在本申请的示例性实施例中，所述将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算可以包括：
获取所述轨迹数据的第一轨迹向量以及所述待比对碰撞数据的第二轨迹向量；
根据余弦相似度算法计算所述第一轨迹向量和所述第二轨迹向量的相似度；
将计算结果与预设的相似度阈值相比较，根据比较结果确定所述轨迹数据对应的第一时空轨迹与所述待比对碰撞数据对应的第二时空轨迹是否相似。
在本发明的示例性实施例中，可以预先设置相似度阈值，为相似度计算提供依据，加快查找时空特征向量，从而快速的实现时空轨迹的比对碰撞。
在本发明的示例性实施例中，可以当计算出的相似度大于或等于该相似度阈值时确定两个时空轨迹相似。即，将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算实质上是通过特征向量的比对，到特征向量集中搜索相似度大于或等于设定的相似度阈值的轨迹。
在本发明的示例性实施例中，可以使用余弦相似度算法来完成两个时空特征向量的相似度计算，即，通过给定查询轨迹的向量表示和向量集中搜索出轨迹的向量表示分别进行余弦相似度计算，获取两个向量表示的相似度。
在本发明的示例性实施例中，通过本发明实施例方案，快速的将给定的或电子地图圈选的时空范围中的轨迹数据映射到时空维度索引空间，进而通过轨迹相似度计算来完成时空维度比对碰撞计算，实现了快速的完成数据提取，减少计算量，实现了实时轨迹的快速比对碰撞，并提高了碰撞准确性。
本发明实施例提供了一种数据比对碰撞装置1，如图3所示，可以包括处理器11和计算机可读存储介质12，所述计算机可读存储介质12中存储有指令，当所述指令被所述处理器11执行时，实现上述任意一项所述的数据比对碰撞方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种数据比对碰撞方法，其特征在于，所述方法包括：
获取指定的时空范围；
对所述时空范围内的轨迹数据进行数据处理；所述数据处理包括：将所述轨迹数据标准化为时空数据以及对所述时空数据进行时空索引处理获取时空特征索引数据；
对所述时空特征索引数据进行时空特征去噪处理，获取去燥时空特征索引数据；所述时空特征去噪处理包括：从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在；所述时空参数项包括实体ID、等分时段和/或空间位置；
根据所述去燥时空特征索引数据中的时空索引维度从预先设置的时空特征库中提取待比对碰撞数据；
将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算，完成时空数据比对碰撞。
2.根据权利要求1所述的数据比对碰撞方法，其特征在于，所述将所述轨迹数据标准化为时空数据包括：
将与所述轨迹数据相关的行为实体赋予唯一的实体身份标识ID；
将所述轨迹数据中的每个空间位置定义为一个唯一的空间地点ID；
将所述轨迹数据中的采集时间按照预设的时间间隔对全部轨迹数据进行等分。
3.根据权利要求2所述的数据比对碰撞方法，其特征在于，所述将所述轨迹数据标准化为时空数据还包括：将所述时空数据进行表格化；
所述将所述时空数据进行表格化包括：
将实体ID作为表格的第一项目录；
将所述空间地点ID作为第二项目录；
将所述采集时间作为第三项目录；其中，每一个等分时段按照时间顺序依次列于第三项目录中。
4.根据权利要求2所述的数据比对碰撞方法，其特征在于，所述时空索引维度包括以下任意一种或多种：实体维度、时间维度和空间维度；
所述对所述时空数据进行时空索引处理包括：将所述时空数据按照预设的一个或多个时空索引维度进行存储。
5.根据权利要求4所述的数据比对碰撞方法，其特征在于，将所述时空数据按照实体维度进行存储包括：将每个实体ID对应的全部空间位置存储到预设的第一地点分片中，将每个实体ID对应的全部等分时段的数据存储到预设的第一时间分片中，并将每个实体ID对应的第一地点分片和第一时间分片压缩到第一文件中；
将所述时空数据按照空间维度进行存储包括：将每个空间位置对应的全部实体ID存储到预设的第一实体分片中，将每个空间位置对应的全部等分时段的数据存储到预设的第二时间分片中，并将每个空间位置对应的第一实体分片和第二时间分片压缩到第二文件中；
将所述时空数据按照时间维度进行存储包括：将每个等分时段对应的全部实体ID存储到预设的第二实体分片中，将每个等分时段对应的全部空间位置存储到预设的第二地点分片中，并将每个等分时段对应的第二实体分片和第二地点分片压缩到第三文件中。
6.根据权利要求5所述的数据比对碰撞方法，其特征在于，所述从所述时空特征索引数据中标记出一个或多个时空参数项中的相应数据是否存在包括：对按照任意的一个时空索引维度存储所获取的时空特征索引数据中的每个实体ID、等分时段和/或空间位置进行标记；以区分出所述时空特征索引数据中针对一个实体ID、一个等分时段和/或一个空间位置是否存在相应数据。
7.根据权利要求6所述的数据比对碰撞方法，其特征在于，所述对按照任意的一个时空索引维度存储所获取的时空特征索引数据中的全部实体ID、等分时段和/或空间位置进行标记包括：
将存在的实体ID、等分时段和/或空间位置标记为第一符号；
将不存在的实体ID、等分时段和/或空间位置标记为第二符号。
8.根据权利要求1-7任意一项所述的数据比对碰撞方法，其特征在于，所述方法还包括：预先对实时采集的每一个轨迹数据进行所述数据处理，并将数据处理后获得的时空索引数据存储到指定的数据库，构成所述时空特征库。
9.根据权利要求1-7任意一项所述的数据比对碰撞方法，其特征在于，所述将所述轨迹数据与所述待比对碰撞数据进行轨迹相似度计算包括：
获取所述轨迹数据的第一轨迹向量以及所述待比对碰撞数据的第二轨迹向量；
根据余弦相似度算法计算所述第一轨迹向量和所述第二轨迹向量的相似度；
将计算结果与预设的相似度阈值相比较，根据比较结果确定所述轨迹数据对应的第一时空轨迹与所述待比对碰撞数据对应的第二时空轨迹是否相似。
10.一种数据比对碰撞装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1-9任意一项所述的数据比对碰撞方法。
CN201911309548.3A 2019-12-18 2019-12-18 一种数据比对碰撞方法和装置 Withdrawn CN111177195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911309548.3A CN111177195A (zh) 2019-12-18 2019-12-18 一种数据比对碰撞方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911309548.3A CN111177195A (zh) 2019-12-18 2019-12-18 一种数据比对碰撞方法和装置

Publications (1)

Publication Number Publication Date
CN111177195A true CN111177195A (zh) 2020-05-19

Family

ID=70652047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911309548.3A Withdrawn CN111177195A (zh) 2019-12-18 2019-12-18 一种数据比对碰撞方法和装置

Country Status (1)

Country Link
CN (1) CN111177195A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704342A (zh) * 2021-07-30 2021-11-26 济南浪潮数据技术有限公司 一种轨迹伴随分析的方法、系统、设备和存储介质
CN114071347A (zh) * 2020-07-28 2022-02-18 中移(苏州)软件技术有限公司 一种多信令轨迹的时空匹配方法及装置
CN118396577A (zh) * 2024-07-01 2024-07-26 贵州云腾志远科技发展有限公司 一种涉案人员全息档案及多案件碰撞方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590250A (zh) * 2017-09-18 2018-01-16 广州汇智通信技术有限公司 一种时空轨迹生成方法及装置
CN109165215A (zh) * 2018-07-27 2019-01-08 苏州视锐信息科技有限公司 一种云环境下时空索引的构建方法、装置及电子设备
CN110275885A (zh) * 2019-06-12 2019-09-24 南京邮电大学 基于Hadoop的多层次轨迹数据存储装置
CN110287391A (zh) * 2019-06-12 2019-09-27 南京邮电大学 基于Hadoop的多层次轨迹数据存储方法、存储介质和终端
CN110543539A (zh) * 2019-08-29 2019-12-06 河海大学 一种分布式的路网环境下移动对象轨迹相似性查询方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590250A (zh) * 2017-09-18 2018-01-16 广州汇智通信技术有限公司 一种时空轨迹生成方法及装置
CN109165215A (zh) * 2018-07-27 2019-01-08 苏州视锐信息科技有限公司 一种云环境下时空索引的构建方法、装置及电子设备
CN110275885A (zh) * 2019-06-12 2019-09-24 南京邮电大学 基于Hadoop的多层次轨迹数据存储装置
CN110287391A (zh) * 2019-06-12 2019-09-27 南京邮电大学 基于Hadoop的多层次轨迹数据存储方法、存储介质和终端
CN110543539A (zh) * 2019-08-29 2019-12-06 河海大学 一种分布式的路网环境下移动对象轨迹相似性查询方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071347A (zh) * 2020-07-28 2022-02-18 中移(苏州)软件技术有限公司 一种多信令轨迹的时空匹配方法及装置
CN114071347B (zh) * 2020-07-28 2024-04-09 中移(苏州)软件技术有限公司 一种多信令轨迹的时空匹配方法及装置
CN113704342A (zh) * 2021-07-30 2021-11-26 济南浪潮数据技术有限公司 一种轨迹伴随分析的方法、系统、设备和存储介质
CN118396577A (zh) * 2024-07-01 2024-07-26 贵州云腾志远科技发展有限公司 一种涉案人员全息档案及多案件碰撞方法与装置

Similar Documents

Publication Publication Date Title
CN111177195A (zh) 一种数据比对碰撞方法和装置
CN110737786A (zh) 一种数据比对碰撞方法和装置
CN110751042B (zh) 一种基于时间分区的人像与imsi信息关联方法及系统
CN110727756A (zh) 时空轨迹数据的管理方法和装置
EP2973034B1 (en) Methods and systems for arranging and searching a database of media content recordings
CN110781336B (zh) 基于全局建档的人像数据与手机特征数据融合方法及系统
CN107729935A (zh) 相似图片的识别方法和装置、服务器、存储介质
CA2905385C (en) Methods and systems for arranging and searching a database of media content recordings
US20140297167A1 (en) Vehicle position indexing
CN111008323A (zh) 一种身份标识的伴随关系确定方法及装置
CN111709303A (zh) 一种人脸图像的识别方法和装置
CN111583332B (zh) 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置
CN110851675A (zh) 一种数据提取方法、装置及介质
CN115422479A (zh) 轨迹关联方法、装置、电子设备及机器可读存储介质
CN108920592A (zh) 数据库字段关联方法及装置
CN110942034A (zh) 用于检测多类型深度网络生成图像的方法、系统、装置
CN111367956A (zh) 数据统计方法及装置
CN110765221A (zh) 时空轨迹数据的管理方法和装置
CN112243225B (zh) 楼宇室内用户识别方法、装置、设备和存储介质
CN109828991B (zh) 一种多时空条件下查询排序方法、装置、设备和存储介质
US20210064660A1 (en) Graph search using index vertices
CN111984812B (zh) 一种特征提取模型生成方法、图像检索方法、装置及设备
CN104463627A (zh) 数据处理方法和装置
US20200364591A1 (en) Method and apparatus for performing block retrieval on block to be processed of urine sediment image
CN109408727B (zh) 基于多维感知数据的用户关注信息智能推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200519