CN110990665B - 数据处理方法、装置、系统、电子设备及存储介质 - Google Patents

数据处理方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN110990665B
CN110990665B CN201911264489.2A CN201911264489A CN110990665B CN 110990665 B CN110990665 B CN 110990665B CN 201911264489 A CN201911264489 A CN 201911264489A CN 110990665 B CN110990665 B CN 110990665B
Authority
CN
China
Prior art keywords
server
track information
servers
individuals
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911264489.2A
Other languages
English (en)
Other versions
CN110990665A (zh
Inventor
梁秀钦
白格
齐云飞
丁杰超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201911264489.2A priority Critical patent/CN110990665B/zh
Publication of CN110990665A publication Critical patent/CN110990665A/zh
Application granted granted Critical
Publication of CN110990665B publication Critical patent/CN110990665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置、系统、电子设备及存储介质，所述数据处理方法包括：获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储；接收所述多个第二服务器返回的所述轨迹信息的计算结果；合并所述计算结果。本申请实现了群体时空特征分布式计算，提高了计算效率。

Description

数据处理方法、装置、系统、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种数据处理方法、装置、系统、电子设备及存储介质。
背景技术
时空数据是指同时具有时间和空间维度的数据，时空特征包括了时空数据在时间维度上的特征和在空间维度上的特征。在公安场景中，常常通过对群体进行时空特征计算，来分析群体的行为。时空特征计算是一套非通用计算，需要自定义数据编码，在时空索引的基础上实现群体时空特征计算。目前，当时空数据的数据量较小时，可以直接利用单台服务器进行群体时空特征计算，如果数据量超出了单台服务器计算能力的范围，则需要引入分布式计算框架，但是由于底层数据和任务的分布式处理都是基于通用分布式计算平台的能力，没有做针对群体时空特征计算的处理，因此对大量时空数据进行群体时空特征计算时效率低下。
发明内容
本申请实施例的目的在于提供一种数据处理方法、装置和系统，用以实现群体时空特征的分布式计算，提高计算效率。
本申请实施例第一方面提供了一种数据处理方法，包括：获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储；接收所述多个第二服务器返回的所述轨迹信息的计算结果；合并所述计算结果。
于一实施例中，所述根据所述群体信息，划分所诉述轨迹信息，分别发送至多个第二服务器进行存储，包括：根据所述群体信息，采用动态规划法将所述多个群体中的个体与所述第二服务器进行匹配，使得每个所述第二服务器匹配到的所述个体的数量相等，并且属于同一所述群体的所述个体匹配到同一所述第二服务器；对所述轨迹信息进行时空索引，得到每个所述个体的索引数据；发送所述个体的索引数据至与所述个体匹配的所述第二服务器，以使所述第二服务器可以将每个所述群体中所有所述个体的索引数据合并成索引数据集进行存储。
于一实施例中，所述接收所述多个第二服务器返回的所述轨迹信息的计算结果，包括：获取所述轨迹信息的至少一个特征计算任务的类型标识；读取具有相同所述类型标识的预设代码发送至所述多个第二服务器；接收所述多个第二服务器返回的执行所述预设代码得到的计算结果。
于一实施例中，所述合并所述计算结果，包括：经过预设时间后，判断所述多个第二服务器是否全部返回所述计算结果；当所述多个第二服务器全部返回所述计算结果时，合并所述计算结果，标记所述特征计算任务为已完成。
于一实施例中，当存在所述第二服务器未返回所述计算结果时，重新启动未返回所述计算结果的所述第二服务器执行所述预设代码。
本申请实施例第二方面提供了一种数据处理方法，包括：第一服务器获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；所述第一服务器根据所述群体信息，划分所诉轨迹信息，分别发送至多个第二服务器进行存储；所述多个第二服务器分别对存储的所述轨迹信息进行特征计算，并返回所述轨迹信息的计算结果给所述第一服务器；所述第一服务器接收所述多个第二服务器返回的所述轨迹信息的计算结果；所述第一服务器合并所述计算结果。
本申请实施例第三方面提供了一种数据处理装置，包括：获取模块，用于获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；发送模块，用于根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储；接收模块，用于接收所述多个第二服务器返回的所述轨迹信息的计算结果；合并模块，用于合并所述计算结果。
于一实施例中，所述发送模块用于：根据所述群体信息，采用动态规划法将所述多个群体中的个体与所述第二服务器进行匹配，使得每个所述第二服务器匹配到的所述个体的数量相等，并且属于同一所述群体的所述个体匹配到同一所述第二服务器；对所述轨迹信息进行时空索引，得到每个所述个体的索引数据；发送所述个体的索引数据至与所述个体匹配的所述第二服务器，以使所述第二服务器可以将每个所述群体中所有所述个体的索引数据合并成索引数据集进行存储。
于一实施例中，所述接收模块用于：获取所述轨迹信息的至少一个特征计算任务的类型标识；读取具有相同所述类型标识的预设代码发送至所述多个第二服务器；接收所述多个第二服务器返回的执行所述预设代码得到的计算结果。
于一实施例中，所述合并模块用于：经过预设时间后，判断所述多个第二服务器是否全部返回所述计算结果；当所述多个第二服务器全部返回所述计算结果时，合并所述计算结果，标记所述特征计算任务为已完成。
于一实施例中，所述合并模块还用于：当存在所述第二服务器未返回所述计算结果时，重新启动未返回所述计算结果的所述第二服务器执行所述预设代码。
本申请实施例第四方面提供了一种数据处理系统，包括：第一服务器和多个第二服务器，所述第一服务器与所述多个第二服务器通过网络连接；所述第一服务器用于获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；所述第一服务器用于根据所述群体信息，划分所诉轨迹信息，分别发送至所述多个第二服务器进行存储；所述多个第二服务器用于分别对存储的所述轨迹信息进行特征计算，并返回所述轨迹信息的计算结果给所述第一服务器；所述第一服务器用于接收所述多个第二服务器返回的所述轨迹信息的计算结果；所述第一服务器用于合并所述计算结果。
本申请实施例第五方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法。
本申请实施例第六方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例的电子设备的结构示意图；
图2为本申请一实施例的第一服务器和多个第二服务器进行交互的示意图；
图3为本申请一实施例的数据处理方法的流程示意图；
图4为本申请一实施例的数据处理方法的流程示意图；
图5为本申请一实施例的数据处理方法的流程示意图；
图6为本申请一实施例的数据处理装置的结构示意图。
附图标记：
100-电子设备，110-总线，120-处理器，130-存储器，200-数据处理系统，210-第一服务器，220-第二服务器，230-网络，600-数据处理装置，610-获取模块，620-发送模块，630-接收模块，640-合并模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。
请参看图1，其为本申请一实施例的电子设备100的结构示意图，包括：至少一个处理器120和存储器130，图1中以一个处理器为例。处理器120和存储器130通过总线110连接，存储器130存储有可被至少一个处理器120执行的指令，指令被至少一个处理器120执行，以使至少一个处理器120执行如下述实施例中的数据处理方法。
如图2所示，其为本申请一实施例的第一服务器210和多个第二服务器220进行交互的示意图，数据处理系统200包括第一服务器210、多个第二服务器220，第一服务器210和多个第二服务器220通过网络230连接，网络230包括但不限于有线、无线通信链路或者光纤电缆等等。第一服务器210和多个第二服务器220之间通过网络230进行交互，以发送或接收数据信息。
第一服务器210用于获取预设场景下多个群体的群体信息和群体中每个个体的轨迹信息。第一服务器210还用于根据群体信息，划分所诉轨迹信息，分别发送至多个第二服务器220进行存储。多个第二服务器220用于分别对存储的轨迹信息进行特征计算，并返回轨迹信息的计算结果给第一服务器210。第一服务器210还用于接收多个第二服务器220返回的轨迹信息的计算结果。第一服务器210还用于合并计算结果。
如图3所示，其为本申请一实施例的数据处理方法的流程示意图，该方法可由图1所示的电子设备100来执行，以实现群体时空特征计算。该方法包括如下步骤：
步骤310：获取预设场景下多个群体的群体信息和群体中每个个体的轨迹信息。
在上述步骤中，预设场景下的多个群体可以包括上访群体、犯罪群体等，群体信息包括群体类型、群体中的个体数量和个体的身份信息，群体中每个个体的轨迹信息则是指公安收集到的人像卡口轨迹、车辆卡口轨迹、电子围栏轨迹、WIFI围栏轨迹、人证核查核录轨迹等。
步骤320：根据群体信息，划分轨迹信息，分别发送至多个第二服务器进行存储。
在上述步骤中，根据群体信息，对所有群体中的个体进行分配，使得属于同一群体的所有个体分配在同一第二服务器上，并且每个第二服务器分配到的个体数量相等，将每个个体的轨迹信息分别发送至与该个体对应的第二服务器，使得第二服务器可以将属于同一群体的个体的轨迹信息合并存储。
步骤330：接收多个第二服务器返回的轨迹信息的计算结果。
在上述步骤中，多个第二服务器分别对各自存储的轨迹信息进行群体时空特征计算，并将计算结果返回给第一服务器，第一服务器接收多个多个第二服务器返回的轨迹信息的计算结果。
步骤340：合并计算结果。
在上述步骤中，第一服务器在接受到所有第二服务器返回的计算结果后，合并所有计算结果，得到群体的时空特征。
如图4所示，其为本申请一实施例的数据处理方法的流程示意图，该方法可由图1所示的电子设备100来执行，以实现群体时空特征计算。该方法包括如下步骤：
步骤410：获取预设场景下多个群体的群体信息和群体中每个个体的轨迹信息。详细参见上述实施例中对步骤310的描述。
步骤420：根据群体信息，划分轨迹信息，分别发送至多个第二服务器进行存储。详细参见上述实施例中对步骤320的描述。
步骤430：获取轨迹信息的至少一个特征计算任务的类型标识。
步骤440：读取具有相同类型标识的预设代码发送至多个第二服务器。
在上述步骤中，第一服务器中预存有与特征计算任务一一对应的预设代码，该预设代码可以是一组由字符、符号或信号码元以离散形式表示信息的明确的规则体系，也可以是其他表示计算任务执行逻辑的规则文件，根据步骤430中获取的至少一个特征计算任务的类型标识，读取具有相同类型标识的预设代码发送至多个第二服务器，以使多个第二服务器可以分别执行预设代码，对各自存储的群体轨迹信息进行时空特征计算，并返回计算结果给第一服务器。
步骤450：接收多个第二服务器返回的执行预设代码得到的计算结果。
在上述步骤中，第一服务器接收多个第二服务器返回的执行预设代码得到的计算结果。
步骤460：经过预设时间后，判断多个第二服务器是否全部返回计算结果。
在上述步骤中，预设时间为第二服务器执行预设代码所需的最长时间，经过预设时间后，判断多个第二服务器是否全部返回计算结果，若多个第二服务器全部返回计算结果，则继续执行步骤470，若存在第二服务器未返回计算结果，则继续执行步骤480。
步骤470：合并计算结果，标记特征计算任务为已完成。
在上述步骤中，第一服务器在接受到所有第二服务器返回的计算结果后，合并所有计算结果，得到群体的时空特征，标记该特征计算任务为已完成。
步骤480：重新启动未返回计算结果的第二服务器执行预设代码。
于一实施例中，重新启动未返回计算结果的第二服务器执行预设代码，然后继续重新执行步骤450至步骤460，直到重复执行步骤480三次以后，仍有第二服务器未返回计算结果，则不再继续执行步骤480，直接合并当前接收到的计算结果，标记未返回计算结果的第二服务器执行失败。
于一实施例中，步骤420：根据群体信息，划分轨迹信息，分别发送至多个第二服务器进行存储，可以包括以下步骤：
步骤421：根据群体信息，采用动态规划法将多个群体中的个体与第二服务器进行匹配，使得每个第二服务器匹配到的个体的数量相等，并且属于同一群体的个体匹配到同一第二服务器。
于一实施例中，根据每个群体中的个体数量，对群体进行分类，个体数量小于10的群体为第一类别，个体数量大于或等于10小于20的群体为第二类别，个体数量大于或等于20小于30的群体为第三类别，在此分类基础上，采用动态规划法将多个群体中的个体与第二服务器进行匹配，使得每个第二服务器匹配到的个体的数量相等，并且属于同一群体的个体匹配到同一第二服务器。
步骤422：对轨迹信息进行时空索引，得到每个个体的索引数据。
在上述步骤中，对轨迹信息进行时空索引是指将轨迹信息按空间和时间分别进行划分编码，采用例如四叉树、八叉树等树形索引结构建立索引，得到每个个体的索引数据。
步骤423：发送个体的索引数据至与个体匹配的第二服务器，以使第二服务器可以将每个群体中所有个体的索引数据合并成索引数据集进行存储。
在上述步骤中，第一服务器发送个体的索引数据至与个体匹配的第二服务器，第二服务器将属于同一群体的个体的索引数据合并成群体的索引数据集，并存储索引数据集。
如图5所示，其为本申请一实施例的数据处理方法的流程示意图，该方法包括如下步骤：
步骤510：第一服务器获取预设场景下多个群体的群体信息和群体中每个个体的轨迹信息。
步骤520：第一服务器根据群体信息，划分所诉轨迹信息，分别发送至多个第二服务器进行存储。
步骤530：多个第二服务器分别对存储的轨迹信息进行特征计算，并返回轨迹信息的计算结果给第一服务器。
步骤540：第一服务器接收多个第二服务器返回的轨迹信息的计算结果。
步骤550：第一服务器合并计算结果。
上述数据处理方法，把进行群体时空特征计算所需的数据按照所属群体，分别存储至多个第二服务器，把不同群体的时空特征计算任务分配到与群体对应的第二服务器上进行计算，然后把计算结果合并到第一服务器中，实现了计算数据本地化，提高了群体时空特征计算的效率。
如图6所示，其为本申请一实施例的数据处理装置600的结构示意图，该装置可应用于图1所示的电子设备100，该装置包括：获取模块610，发送模块620、接收模块630和合并模块640，各个模块的原理关系如下：
获取模块610，用于获取预设场景下多个群体的群体信息和群体中每个个体的轨迹信息。详细参见上述实施例中对步骤310的描述。
发送模块620，用于根据群体信息，划分轨迹信息，分别发送至多个第二服务器进行存储。详细参见上述实施例中对步骤320的描述。
接收模块630，用于接收多个第二服务器返回的轨迹信息的计算结果。详细参见上述实施例中对步骤330的描述。
合并模块640，用于合并计算结果。详细参见上述实施例中对步骤340的描述。
于一实施例中，发送模块620用于：根据群体信息，采用动态规划法将多个群体中的个体与第二服务器进行匹配，使得每个第二服务器匹配到的个体的数量相等，并且属于同一群体的个体匹配到同一第二服务器；对轨迹信息进行时空索引，得到每个个体的索引数据；发送个体的索引数据至与个体匹配的第二服务器，以使第二服务器可以将每个群体中所有个体的索引数据合并成索引数据集进行存储。详细参见上述实施例中对步骤421至步骤423的描述。
于一实施例中，接收模块630用于：获取轨迹信息的至少一个特征计算任务的类型标识；读取具有相同类型标识的预设代码发送至多个第二服务器；接收多个第二服务器返回的执行预设代码得到的计算结果。详细参见上述实施例中对步骤430至步骤450的描述。
于一实施例中，合并模块640用于：经过预设时间后，判断多个第二服务器是否全部返回计算结果；当多个第二服务器全部返回计算结果时，合并计算结果，标记特征计算任务为已完成。详细参见上述实施例中对步骤460至步骤470的描述。
于一实施例中，合并模块640还用于：当存在第二服务器未返回计算结果时，重新启动未返回计算结果的第二服务器执行预设代码。详细参见上述实施例中对步骤480的描述。
上述数据处理装置600的详细描述，请参见上述实施例中相关方法步骤的描述。
本发明实施例还提供了一种电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。
以上仅为本申请的优选实施例而已，并不用于限制本申请。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种数据处理方法，其特征在于，包括：
获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；
根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储；
接收所述多个第二服务器返回的所述轨迹信息的计算结果；
合并所述计算结果，得到群体的时空特征；
所述根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储，包括：
根据所述群体信息，采用动态规划法将所述多个群体中的个体与所述第二服务器进行匹配，使得每个所述第二服务器匹配到的所述个体的数量相等，并且属于同一所述群体的所述个体匹配到同一所述第二服务器；
对所述轨迹信息进行时空索引，得到每个所述个体的索引数据；所述对所述轨迹信息进行时空索引是将所述轨迹信息按空间和时间分别进行划分编码，采用树形索引结构建立索引；
发送所述个体的索引数据至与所述个体匹配的所述第二服务器，以使所述第二服务器将每个所述群体中所有所述个体的索引数据合并成索引数据集进行存储。
2.根据权利要求1所述的方法，其特征在于，所述接收所述多个第二服务器返回的所述轨迹信息的计算结果，包括：
获取所述轨迹信息的至少一个特征计算任务的类型标识；
读取具有相同所述类型标识的预设代码发送至所述多个第二服务器；
接收所述多个第二服务器返回的执行所述预设代码得到的计算结果。
3.根据权利要求2所述的方法，其特征在于，所述合并所述计算结果，包括：
经过预设时间后，判断所述多个第二服务器是否全部返回所述计算结果；
当所述多个第二服务器全部返回所述计算结果时，合并所述计算结果，标记所述特征计算任务为已完成。
4.根据权利要求3所述的方法，其特征在于，还包括：
当存在所述第二服务器未返回所述计算结果时，重新启动未返回所述计算结果的所述第二服务器执行所述预设代码。
5.一种数据处理方法，其特征在于，包括：
第一服务器获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；
所述第一服务器根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储；
所述多个第二服务器分别对存储的所述轨迹信息进行特征计算，并返回所述轨迹信息的计算结果给所述第一服务器；
所述第一服务器接收所述多个第二服务器返回的所述轨迹信息的计算结果；
所述第一服务器合并所述计算结果，得到群体的时空特征；
所述第一服务器根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储，包括：
所述第一服务器根据所述群体信息，采用动态规划法将所述多个群体中的个体与所述第二服务器进行匹配，使得每个所述第二服务器匹配到的所述个体的数量相等，并且属于同一所述群体的所述个体匹配到同一所述第二服务器；
所述第一服务器对所述轨迹信息进行时空索引，得到每个所述个体的索引数据；所述对所述轨迹信息进行时空索引是将所述轨迹信息按空间和时间分别进行划分编码，采用树形索引结构建立索引；
所述第一服务器发送所述个体的索引数据至与所述个体匹配的所述第二服务器，以使所述第二服务器将每个所述群体中所有所述个体的索引数据合并成索引数据集进行存储。
6.一种数据处理装置，其特征在于，包括：
获取模块，用于获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；
发送模块，用于根据所述群体信息，划分所述轨迹信息，分别发送至多个第二服务器进行存储；
接收模块，用于接收所述多个第二服务器返回的所述轨迹信息的计算结果；
合并模块，用于合并所述计算结果，得到群体的时空特征；
所述发送模块用于：
根据所述群体信息，采用动态规划法将所述多个群体中的个体与所述第二服务器进行匹配，使得每个所述第二服务器匹配到的所述个体的数量相等，并且属于同一所述群体的所述个体匹配到同一所述第二服务器；
对所述轨迹信息进行时空索引，得到每个所述个体的索引数据；所述对所述轨迹信息进行时空索引是将所述轨迹信息按空间和时间分别进行划分编码，采用树形索引结构建立索引；
发送所述个体的索引数据至与所述个体匹配的所述第二服务器，以使所述第二服务器将每个所述群体中所有所述个体的索引数据合并成索引数据集进行存储。
7.根据权利要求6所述的装置，其特征在于，所述接收模块用于：
获取所述轨迹信息的至少一个特征计算任务的类型标识；
读取具有相同所述类型标识的预设代码发送至所述多个第二服务器；
接收所述多个第二服务器返回的执行所述预设代码得到的计算结果。
8.根据权利要求7所述的装置，其特征在于，所述合并模块用于：
经过预设时间后，判断所述多个第二服务器是否全部返回所述计算结果；
当所述多个第二服务器全部返回所述计算结果时，合并所述计算结果，标记所述特征计算任务为已完成。
9.根据权利要求8所述的装置，其特征在于，所述合并模块还用于：
当存在所述第二服务器未返回所述计算结果时，重新启动未返回所述计算结果的所述第二服务器执行所述预设代码。
10.一种数据处理系统，其特征在于，所述系统包括：第一服务器和多个第二服务器，所述第一服务器与所述多个第二服务器通过网络连接；
所述第一服务器用于获取预设场景下多个群体的群体信息和所述群体中每个个体的轨迹信息；
所述第一服务器用于根据所述群体信息，划分所述轨迹信息，分别发送至所述多个第二服务器进行存储；
所述多个第二服务器用于分别对存储的所述轨迹信息进行特征计算，并返回所述轨迹信息的计算结果给所述第一服务器；
所述第一服务器用于接收所述多个第二服务器返回的所述轨迹信息的计算结果；
所述第一服务器用于合并所述计算结果，得到群体的时空特征；
所述第一服务器具体用于：
根据所述群体信息，采用动态规划法将所述多个群体中的个体与所述第二服务器进行匹配，使得每个所述第二服务器匹配到的所述个体的数量相等，并且属于同一所述群体的所述个体匹配到同一所述第二服务器；
对所述轨迹信息进行时空索引，得到每个所述个体的索引数据；所述对所述轨迹信息进行时空索引是将所述轨迹信息按空间和时间分别进行划分编码，采用树形索引结构建立索引；
发送所述个体的索引数据至与所述个体匹配的所述第二服务器，以使所述第二服务器将每个所述群体中所有所述个体的索引数据合并成索引数据集进行存储。
11.一种电子设备，其特征在于，包括：
存储器，用以存储计算机程序；
处理器，用以执行如权利要求1至4中任一项所述的方法。
12.一种非暂态电子设备可读存储介质，其特征在于，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行权利要求1至4中任一项所述的方法。
CN201911264489.2A 2019-12-11 2019-12-11 数据处理方法、装置、系统、电子设备及存储介质 Active CN110990665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911264489.2A CN110990665B (zh) 2019-12-11 2019-12-11 数据处理方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911264489.2A CN110990665B (zh) 2019-12-11 2019-12-11 数据处理方法、装置、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110990665A CN110990665A (zh) 2020-04-10
CN110990665B true CN110990665B (zh) 2023-08-25

Family

ID=70092174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911264489.2A Active CN110990665B (zh) 2019-12-11 2019-12-11 数据处理方法、装置、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110990665B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117785499A (zh) * 2022-09-22 2024-03-29 华为技术有限公司 聚合通信中的数据传输方法以及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036139A (zh) * 2014-06-12 2014-09-10 中国科学院软件研究所 一种移动对象轨迹监测方法
WO2015096582A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 一种时空数据的索引建立方法、查询方法、装置及设备
CN105893605A (zh) * 2016-04-25 2016-08-24 济南大学 面向时空数据k近邻查询的分布式计算平台及查询方法
CN110008017A (zh) * 2018-12-06 2019-07-12 阿里巴巴集团控股有限公司 一种分布式处理系统及方法、一种计算设备及存储介质
CN110287391A (zh) * 2019-06-12 2019-09-27 南京邮电大学 基于Hadoop的多层次轨迹数据存储方法、存储介质和终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096582A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 一种时空数据的索引建立方法、查询方法、装置及设备
CN104036139A (zh) * 2014-06-12 2014-09-10 中国科学院软件研究所 一种移动对象轨迹监测方法
CN105893605A (zh) * 2016-04-25 2016-08-24 济南大学 面向时空数据k近邻查询的分布式计算平台及查询方法
CN110008017A (zh) * 2018-12-06 2019-07-12 阿里巴巴集团控股有限公司 一种分布式处理系统及方法、一种计算设备及存储介质
CN110287391A (zh) * 2019-06-12 2019-09-27 南京邮电大学 基于Hadoop的多层次轨迹数据存储方法、存储介质和终端

Also Published As

Publication number Publication date
CN110990665A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN111090807B (zh) 一种基于知识图谱的用户识别方法及装置
CN106469276B (zh) 数据样本的类型识别方法及装置
CN112668632B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112000730A (zh) 基于区块链的溯源信息写入、溯源信息验证的方法、系统
CN111476685B (zh) 行为分析方法、装置及设备
CN112905667A (zh) 无人驾驶信息存储和回放方法、装置及存储介质
CN110990665B (zh) 数据处理方法、装置、系统、电子设备及存储介质
CN114527721B (zh) 聚pvc改性电缆粒料在线生产监控方法、系统及云平台
CN114140127B (zh) 一种基于区块链的支付处理方法及系统
CN110909263B (zh) 一种身份特征的伴随关系确定方法及装置
CN111159107B (zh) 数据处理方法和服务器集群
CN117079309A (zh) 一种ReID模型训练方法、ReID行人识别方法、设备及介质
CN114244611B (zh) 异常攻击检测方法、装置、设备及存储介质
CN112579539B (zh) 企业集群大数据的管理方法及系统
CN113869431A (zh) 虚假信息检测方法、系统、计算机设备及可读存储介质
CN110825701A (zh) 一种文件类型确定方法、装置、电子设备及可读存储介质
US11934928B2 (en) Decision tree learning with missing data
CN109389542A (zh) 预测酒驾高发地区的方法、装置、计算机设备及存储介质
CN113313505B (zh) 异常定位方法、装置及计算设备
CN106649427B (zh) 一种信息识别的方法及装置
CN115942320A (zh) 终端群识别方法、装置、存储介质及终端
CN116842984A (zh) 一种图形码的解码方法及其制码方法
CN116738079A (zh) 同行人查询方法、系统、装置、计算机设备和存储介质
CN116562277A (zh) 根因定位方法、装置、设备、可读存储介质及程序产品
WO2022215063A1 (en) A machine learning model blind-spot detection system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant