CN112115147A

CN112115147A - 数据处理的方法、装置、设备和存储介质

Info

Publication number: CN112115147A
Application number: CN202011025360.9A
Authority: CN
Inventors: 崔轩
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2020-12-22
Anticipated expiration: 2040-09-25
Also published as: CN112115147B

Abstract

本申请公开了数据处理的方法、装置、设备和存储介质，涉及数据处理中的大数据、智能搜索、数据分析等领域，通过获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；将所有设备信息转换为对应的结构化信息存储到设备信息表，将所有记录数据转换为对应的结构化数据存储到记录数据表中，实现将多种类型的媒体设备的数据统一聚合到设备信息表和记录数据表，成为一个大的数据源，既能够区分出不同数据的采集来源，还可以进行统一数据处理。在应用时，根据目标的多种身份标识，查询设备信息表和记录数据表，得到目标相关的查询结果，实现统一地数据处理，更近便捷，效率更高。

Description

数据处理的方法、装置、设备和存储介质

技术领域

本申请涉及数据处理中的大数据、智能搜索、数据分析等，尤其涉及一种数据处理的方法、装置、设备和存储介质。

背景技术

在特定场景中，想要发现嫌疑人或者查询某人(如嫌疑人)出现的地方时，通常需要对交通系统，各个酒店、办公楼、超市等不同场所的监控系统，车辆上的行车记录仪等多种媒体设备采集的数据进行分析和处理。

但是，不同类型的媒体设备的数据源的数据结构和格式不同，无法进行统一合并处理，对于不同类型的媒体设备的数据源，需要分别采用多套不同的方案进行数据查询、分析和统计，效率很低。

发明内容

本申请提供了一种数据处理的方法、装置、设备和存储介质。

根据本申请的一方面，提供了一种数据处理的方法，包括：

获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；

将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中；

将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中；

响应于查询请求，根据目标的多种身份标识，查询所述设备信息表和记录数据表，得到所述目标相关的查询结果。

根据本申请的另一方面，提供了一种数据处理的装置，包括：

数据获取模块，用于获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；

设备信息聚合模块，用于将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中；

记录数据聚合模块，用于将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中；

数据查询模块，用于响应于查询请求，根据目标的多种身份标识，查询所述设备信息表和记录数据表，得到所述目标相关的查询结果。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述所述的方法。

根据本申请的技术解决了不同类型的媒体设备的数据源的数据结构和格式不同，无法进行统一合并处理的问题。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是将本申请提供的数据处理方法应用于特定场景的示意图；

图2是本申请第一实施例提供的数据处理的方法流程图；

图3是本申请第二实施例提供的数据处理的方法流程图；

图4是本申请第二实施例提供的数据处理的总体流程示意图；

图5是本申请第三实施例提供的数据处理的装置示意图；

图6是用来实现本申请实施例的数据处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请提供的数据处理的方法至少可以应用于特定场景，在特定场景下，需要追踪或者排查目标(例如嫌疑人或者逃犯等)时，需要对交通系统中的监控设备，各个酒店、办公楼、超市等不同场所的监控系统、打卡设备、收银设备，车辆上的行车记录仪等等多种不同类型的媒体设备的相关数据进行分析和处理。但是不同的媒体设备的数据源的数据结构和数据格式可能不同，无法将不同的媒体设备的数据源直接进行统一合并处理。相应工作人员需要分别针对每种类型的媒体设备的数据进行分析和统计，数据处理的效率很低，给相应工作人员对目标的追踪和排查带来很大的不便。

本申请提供一种数据处理的方法、装置、设备和存储介质，应用于数据处理领域中的大数据、智能搜索、数据分析等技术，以将多种类型的媒体设备的相关数据进行统一合并处理，提高数据处理的效率。

图1是将本申请提供的数据处理方法应用于特定场景的示意图。如图1所示，通过本申请提供的数据处理的方法，可以将交通系统、酒店、办公楼、超市等不同场所的监控系统、车辆上的行车记录仪等不同系统中的多种类型的媒体设备的设备信息和采集的记录数据，分别聚合到设备信息表和记录数据表中。在需要对目标的相关数据进行分析和统计时，通过查询设备信息表和记录数据表，即可得到所有媒体设备的数据中与目标相关的数据，提高了数据处理的效率，能够大大提升系统中数据的扩展性和兼容性，同时为后续新增数据源兼容提供便利。

例如，交通系统中的监控设备、ETC设备等媒体设备；各个酒店、办公楼、超市等不同场所的监控系统、打卡设备、收银设备；车辆上的行车记录仪等等。

图2是本申请第一实施例提供的数据处理的方法流程图。本实施例的方法可以由数据处理的装置执行，其中，数据处理的装置可以具体为例如台式电脑、平板电脑、笔记本等具备一定算力的客户端、或服务器、或服务器集群(以下统称为“电子设备”)，或者，该装置还可以为电子设备内的芯片，等等，本实施例此处不做具体限定。

如图2所示，该方法具体步骤如下：

步骤S101、获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同。

其中，不同类型的媒体设备可以包括射频识别(Radio FrequencyIdentification，简称RFID)采集设备，人脸采集设备等，其中射频识别采集设备根据功能不同又可以包括各种电子证件识别设备，车辆或者人的电子标签的识别设备，付费设备等等。人脸采集设备可以是能够采集人脸图像并识别出对应人脸ID的设备。其中人脸ID用于区别不同人的人脸图像，能够唯一标识一个自然人的人脸图像。

RFID采集设备采集到的记录数据中用于标识目标身份的信息可以是RFID编号，例如工号、身份证号、银行卡号等等。人脸采集设备采集到的记录数据中用于标识目标身份的信息可以是人脸ID。

在特定场景中需要对多种不同类型的媒体设备进行分析和统计，其中同一类型的媒体设备也可能有多个。多种不同类型的采集设备有多种数据来源，只能单独使用，无法进行统一合并处理，给后续新增媒体设备带来了不变，也给后续系统的扩展性和兼容性带来了挑战。

步骤S102、将多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到设备信息表中。

本实施例中，将媒体设备的相关数据分为两类，一类是设备信息，另一类是设备的记录数据。

该步骤中，将所有的媒体设备的设备信息统一规范化为设备信息表的第一表结构对应的结构化信息，并统一存储到设备信息表中，从而将多种类型的媒体设备的设备信息聚合到一个设备信息表中。

这样，后续使用设备信息时，可以通过一种处理方式处理多种类型的媒体设备的设备信息。并且，新增一种媒体设备时，可以直接将新增媒体设备的设备信息转换为对应结构化信息，并插入设备信息表中，不影响后续对设备信息表的处理逻辑。

步骤S103、将多种类型的媒体设备采集的记录数据转换为与记录数据表的第二表结构对应的结构化数据，存储到记录数据表中。

该步骤中，将所有媒体设备的记录数据统一规范化为记录数据表的第二表结构对应的结构化数据，并统一存储到记录数据表中，从而将多种类型的媒体设备的记录数据聚合到一个记录数据表中。

这样，后续使用记录数据时，可以通过一种处理方式处理多种类型的媒体设备的记录数据。并且，新增一种媒体设备时，可以直接将新增媒体设备的记录数据转换为对应结构化数据，并插入记录数据表中，不影响后续对记录数据表的处理逻辑。

本实施例通过将多种类型的媒体设备的相关数据聚合成为设备信息表和记录数据表，使得跨媒体设备的多个数据源能够聚合为一个大的数据源，在聚合数据源中既能够区分出不同数据的采集来源，还可以作为一种数据源进行统一处理。

步骤S104、响应于查询请求，根据目标的多种身份标识，查询设备信息表和记录数据表，得到目标相关的查询结果。

在需要进行数据查询时，根据查询请求中想要查询的目标的多种身份标识，查询设备信息表和记录数据表中各种身份标识对应的目标的记录数据及采集设备的信息。进一步地，通过查询条件可以实现数据筛选、分析和统计，从而得到用户想要的目标相关的查询结果。

本申请实施例通过获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同；将多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到设备信息表中；将多种类型的媒体设备采集的记录数据转换为与记录数据表的第二表结构对应的结构化数据，存储到记录数据表中；能够将多种类型的媒体设备的相关数据聚合成为设备信息表和记录数据表，使得跨媒体设备的多个数据源能够聚合为一个大的数据源，在聚合数据源中既能够区分出不同数据的采集来源，还可以作为一种数据源进行统一处理。进一步地，响应于查询请求，根据目标的多种身份标识，查询设备信息表和记录数据表，得到目标相关的查询结果，将多种类型的媒体设备聚合成的设备信息表和记录数据表作为一种数据源，进行统一地查询、分析和统计，提高数据查询、分析和统计的便捷性和效率。

图3是本申请第二实施例提供的数据处理的方法流程图。在上述第二实施例的基础上，本实施例中，在媒体设备采集的记录数据的数据量很大时，可以将记录数据表中的结构化数据按照至少两个基础字段进行分区存储，这样可以提高记录数据表的查询效率，也便于向记录数据表中增加数据。

如图3所示，该方法具体步骤如下：

步骤S201、获取多种类型的媒体设备的设备信息及采集的记录数据。

其中，不同类型的媒体设备可以包括RFID采集设备，人脸采集设备等，其中射频识别采集设备根据功能不同又可以包括各种电子证件识别设备，车辆或者人的电子标签的识别设备，付费设备等等。人脸采集设备可以是能够采集人脸图像并识别出对应人脸ID的设备。其中人脸ID用于区别不同人的人脸图像，能够唯一标识一个自然人的人脸图像。

本实施例中，设备信息表的第一表结构包含多个基础字段和一个指定字段，第一表结构对应的结构化信息包括多个基础字段和一个指定字段的对应信息。通过抽象出多种类型的媒体设备的设备信息中共有的字段作为设备信息表的基础字段，将设备信息中除基础字段对应信息之外的所有字段的信息统一进行序列化，存储到设备信息表的一个指定字段中。例如，指定字段可以是“其他字段”。

示例性地，将多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到设备信息表中，可以通过以下步骤S202-S204实现。

步骤S202、对于每条设备信息，提取出设备信息表中每个基础字段的对应信息。

可选地，设备信息表的第一表结构包括以下至少一个基础字段：

设备的标识，设备的标识类型，设备的安装地址，设备安装位置的经度，设备安装位置的纬度。

其中，设备的标识类型用于区分不同类型的媒体设备，例如RFID采集设备，人脸采集设备等。

设备的标识用于区分不同的设备，即使同一类型的多个不同的媒体设备的标识也不同。

设备的安装地址可以是设备安装位置的地址信息，例如，某一监控摄像头的安装地址可以是某市某城区某门牌号的大门口。

另外，设备信息表中还可以包括设备的名称等字段，每个媒体设备都有一个名称，在展示设备信息时，通过展示设备名称，便于用户查看和理解。其中不同媒体设备的名称可以相同也可以不同。

示例性地，设备信息表的第一表结构可以如下表1所示：

表1

其中，“其他字段”为设备信息表的指定字段，“采集设备id”，“采集设备的id类型”，“采集设备的名称”，“采集设备安装地址”，“采集设备安装位置纬度”，“采集设备安装位置经度”为设备信息表的基础字段。

可选地，设备信息表的指定字段可以统一序列化成json格式。

步骤S203、将除对应信息之外的设备信息序列化生成指定字段的对应信息。

本实施例中，对于每个媒体设备的设备信息，从中提取出设备信息表的基础字段的对应信息，填入对应基础字段。然后将除基础字段对应信息之外的设备信息，全部序列化存储到设备信息表的一个指定字段中。

在实际应用中，设备信息中包含媒体设备的各种信息，不同媒体设备带有多种不同的额外信息。通过将除基础字段对应信息之外的设备信息，全部序列化存储到一个指定字段中，可以将这些额外的信息放在指定字段中，方便后续兼容性处理。

可选地，将除对应信息之外的设备信息序列化生成指定字段的对应信息，可以采用如下方式实现：

将除对应信息之外的设备信息中每个字段的名称和内容转换为键值对，将键值对序列化，得到指定字段的对应信息。

这样，统一将除基础字段对应信息之外的设备信息以原始kv形式序列化后放入到指定字段中，指定字段内容的可读性更好，便于后续查询、分析和统计处理。

例如，指定字段中除基础字段对应信息之外的设备信息，可以存储为以下形式“key＝字段1，value＝内容1；key＝字段2，value＝内容2；key＝字段3，value＝内容3……”。

可选地，除对应信息之外的设备信息序列化生成指定字段的对应信息，还可以直接序列化后存储到指定字段。

例如，指定字段中除基础字段对应信息之外的设备信息，可以存储为以下形式“字段1：内容1；字段2：内容2；字段3：内容3……”。

另外，将除对应信息之外的设备信息序列化生成的指定字段的对应信息的格式，可以根据实际应用场景进行设置，本实施例此处不做具体限定。

步骤S204、将多个基础字段和一个指定字段的对应信息构成的结构化信息插入设备信息表中。

在对设备信息经过数据清洗最终统一规范化为设备信息表对应的结构化信息后，可以将结构化信息插入设备信息表中，实现设备信息的统一规范化存储。

进一步地，在将设备信息对应的结构化信息插入设备信息表中之前，可以再次进行数据清洗，过滤掉结构化信息中的脏数据。这样，可以提高设备信息表中信息的可用性和有效性。

其中，脏数据至少包括：缺失至少一个基础字段的对应信息的结构化信息。

另外，脏数据还可以包括明细错误或者没有实际意义的数据。例如，设备安装位置的经度或者纬度超出正常经纬度范围，设备的标识类型不是当前应用场景所需要的，等等。

例如，如果某一设备信息中不存在某一个或者多个基础字段对应的信息，那么生成的设备信息对应的结构化信息中，会缺失某一个或者多个基础字段的对应信息，那么该结构化信息为脏数据，不将该结构化信息存储到设备信息表中。

本实施例中，数据记录表的第二表结构包含多个基础字段和一个指定字段，第一表结构对应的结构化数据包括多个基础字段和一个指定字段的对应数据。通过抽象出多种类型的媒体设备的记录数据中共有的字段作为记录数据表的基础字段，将记录数据中除基础字段对应数据之外的所有字段的数据统一进行序列化，存储到记录数据表的一个指定字段中。例如，指定字段可以是“其他字段”。

本实施例中，可以在将所有媒体设备的记录数据统一规范化为对应的结构化数据，过滤掉脏数据之后，将保留的结构化数据统一导入记录数据表中。

将多种类型的媒体设备采集的记录数据转换为与记录数据表的第二表结构对应的结构化数据，存储到记录数据表中，具体可以采用如下步骤S205-S207实现。

步骤S205、对于每条记录数据，提取出数据记录表中每个基础字段的对应数据。

可选地，记录数据表的第二表结构包括以下至少一个基础字段：

采集对象的标识，采集对象的标识类型，采集时间，采集设备的标识，采集设备的标识类型，采集日期，采集时段，采集数据来源。

其中，采集对象是指媒体设备采集的数据对象，例如，人脸图像，RFID数据等等。

采集对象的标识用于区分不同的采集对象，例如各个人脸图像对应的人脸id，或者RFID信息对应的标识等，其中不同的人脸图像对应的人脸id不同，不同的RFID信息对应的标识也不同。

采集对象的标识类型用于区分不同的类型的采集对象，包括人脸图像，RFID信息等类型。例如，不同的人脸图像对应的标识类型均是人脸图像。

采集时间是指记录数据采集的时间，可以包括采集开始时间和/或采集结束时间。

采集设备的标识类型用于区分不同类型的媒体设备，例如RFID采集设备，人脸采集设备等。

采集设备的标识用于区分不同的设备，即使同一类型的多个不同的媒体设备的标识也不同。

采集日期是指采集时间所在的日期(哪一天)，可以是采集开始时间或者采集结束时间所在的日期。

将一天划分为多个时段，采集时段是指采集时间在采集日期中的哪个时段，可以是采集开始时间或者采集结束时间所在的采集日期中的时段。

可选地，可以每小时作为一个时段。另外，一天中时段的划分可以根据实际应用场景需要进行设置，本实施例此处不做具体限定。

采集数据来源用于标示记录数据的来源。采集数据来源可以包含记录数据的采集设备、采集设备的类型、采集设备隶属的管理部门等等信息中的一种或者多种。

示例性地，记录数据表的第二表结构可以如下表2所示：

表2

其中，“其他字段”为记录数据表的指定字段，“采集对象id”，“采集对象的id类型”，“采集开始时间”，“采集结束时间”，“采集设备的id”，“采集设备的id类型”，“采集时间(天)”，“采集时间(小时)”，“采集数据来源”为记录数据表的基础字段。

可选地，记录数据表的指定字段可以统一序列化成json格式。

步骤S206、将除对应数据之外的记录数据序列化生成指定字段的对应数据。

本实施例中，对于每个媒体设备的记录数据，从中提取出记录数据表的基础字段的对应数据，填入对应基础字段。然后将除基础字段对应数据之外的记录数据，全部序列化存储到记录数据表的一个指定字段中。

在实际应用中，记录数据中包含媒体设备所采集的各种数据，不同媒体设备能够采集的记录数据的有很大的不同。通过将除基础字段对应数据之外的记录数据，全部序列化存储到一个指定字段中，可以将这些媒体设备独有的数据放在指定字段中，方便后续兼容性处理。

可选地，将除对应数据之外的记录数据序列化生成指定字段的对应数据，可以采用如下方式实现：

将除对应数据之外的记录数据中每个字段的名称和内容转换为键值对，将键值对序列化，得到指定字段的对应数据。

这样，统一将除基础字段对应数据之外的记录数据以原始键值对(key-value)形式序列化后放入到指定字段中，指定字段内容的可读性更好，便于后续查询、分析和统计处理。

例如，指定字段中除基础字段对应数据之外的记录数据，可以存储为以下形式“key＝字段a，value＝数据a；key＝字段b，value＝数据b；key＝字段c，value＝数据c……”。

可选地，除对应数据之外的记录数据序列化生成指定字段的对应数据，还可以直接序列化后存储到指定字段。

例如，指定字段中除基础字段对应数据之外的记录数据，可以存储为以下形式“字段a：数据a；字段b：数据b；字段c：数据c……”。

另外，将除对应数据之外的记录数据序列化生成的指定字段的对应数据的格式，可以根据实际应用场景进行设置，本实施例此处不做具体限定。

步骤S207、将每个基础字段和指定字段的对应数据构成的结构化数据插入记录数据表中。

在对记录数据表经过数据清洗最终统一规范化为记录数据表表对应的结构化数据后，可以将结构化数据插入记录数据表表中，实现记录数据的统一规范化存储。

进一步地，在将结构化数据插入记录数据表中之前，还可以再次对结构化数据进行数据清洗，过滤掉结构化数据中的脏数据。

其中，脏数据至少包括：缺失至少一个基础字段的对应数据的结构化数据。这样，能够提高记录数据表中数据的可用性和有效性。

另外，脏数据还可以包括明细错误或者没有实际意义的数据。例如，采集时段不在指定若干时段内，采集数据来源明显无意义，等等。

在实际应用中，多种类型的媒体设备的记录数据的数据量通常很大，并且是源源不断产生和近来的。在一种优选地实施方式中，对于大数据场景下的记录数据，可以将记录数据的结构化数据按照至少两个基础字段进行分区存储。这样可以提高记录数据表的查询效率，也便于向记录数据表中增加数据。

可选地，将照采集日期，采集时段和采集数据来源作为分区字段，将结构化数据进行分区存储。这样，可以细化分区，并且可以随着时间的变化，将新的数据存储到新的分区，后续可以按时间读取和使用记录数据，也更加便于向记录数据表中增加数据。

这样，对大数据场景下的记录数据进行分区处理，使用将记录数据按照采集日期，采集时段和采集数据来源这三个字段作为分区字段进行分区处理，便于后续按时间读取使用，也便于增加数据。

示例性地，如图4所示数据处理的总体流程，对多媒体设备的设备信息和记录数据的聚合处理的过程都包含字段清洗，脏数据过滤和数据导入对应数据表的过程。在对记录数据的聚合过程中，还可以对记录数据进行分区处理，也即是将记录数据分区导入记录数据表。对媒体设备的设备信息进行聚合处理的过程(上述步骤S202-S204)，与对媒体设备的记录数据进行聚合处理的过程(上述步骤S205-S207)，这两个处理过程可以并行地进行。

另外，这两个过程还可以以先后顺序进行，若两个过程以先后顺序进行时，则具体先后顺序可以调整，本实施例此处不做具体限定。

步骤S208、响应于查询请求，根据目标的多种身份标识，查询设备信息表和记录数据表，得到目标相关的查询结果。

本实施例中，将多种类型的媒体设备的相关数据聚合成为设备信息表和记录数据表，使得跨媒体设备的多个数据源能够聚合为一个大的数据源，在聚合数据源中既能够区分出不同数据的采集来源，还可以作为一种数据源进行统一处理。

在一种可能的应用场景中，可以设定查询的地域范围。查询请求包括地域范围，响应于查询请求，根据目标的多种身份标识，从设备信息表和记录数据表中，查询在地域范围内的设备所采集的记录数据中与目标相关的查询结果；根据查询结果，确定目标在地域范围内出现的次数。

可选地，将在指定地域范围内出现的次数大于一定阈值的目标确定为嫌疑人。

另一种可能的应用场景中，可以设定查询的时间范围。查询请求包括时间范围，响应于查询请求，根据目标的多种身份标识，在记录数据表中查询采集时间在时间范围内且与目标相关的目标记录数据；根据目标记录数据中的设备标识，查询设备信息表，确定目标记录数据的采集地点，得到目标在时间范围内出现的地点。

可选地，若采集时间包括采集开始时间和采集结束时间，可以在记录数据表中查询采集开始时间和/或采集结束时间在时间范围内，且与目标相关的目标记录数据。

可选地，在得到目标在时间范围内出现的地点之后，还可以生成目标在时间范围内的活动轨迹。

另一种可能的应用场景中，还可以结合时间范围和地点范围，进行数据的查询、分析和统计。

另外，本实施例不依赖于某一产品，可以用于任何搭建跨媒体设备数据源的服务器应用，也可以是一个独立的模块或开放解决方案，提供给下游APP、服务使用。通过整合多种媒体设备数据源，使得其各自发挥有效作用，并且对下层用户透明，能够大大提升系统的扩展性和兼容性，同时为后续新增数据源兼容提供便利。

本申请实施例通过将多种类型的媒体设备的相关数据聚合成为设备信息表和记录数据表，使得跨媒体设备的多个数据源能够聚合为一个大的数据源，在聚合数据源中既能够区分出不同数据的采集来源，还可以作为一种数据源进行统一处理；。进一步地，对于大数据场景下的记录数据，可以将记录数据的结构化数据按照至少两个基础字段进行分区存储。这样可以提高记录数据表的查询效率，也便于向记录数据表中增加数据。

图5是本申请第三实施例提供的数据处理的装置示意图。本申请实施例提供的数据处理的装置可以执行数据处理的方法实施例提供的处理流程。如图5所示，该数据处理的装置30包括：数据获取模块301，设备信息聚合模块302，记录数据聚合模块303和数据查询模块304。

具体地，数据获取模块301用于获取多种类型的媒体设备的设备信息及采集的记录数据，其中不同类型的媒体设备的记录数据中采集对象的身份标识不同。

设备信息聚合模块302用于将多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到设备信息表中。

记录数据聚合模块303用于将多种类型的媒体设备采集的记录数据转换为与记录数据表的第二表结构对应的结构化数据，存储到记录数据表中。

数据查询模块304用于响应于查询请求，根据目标的多种身份标识，查询设备信息表和记录数据表，得到目标相关的查询结果。

本申请实施例提供的装置可以具体用于执行上述第一实施例提供的方法实施例，具体功能此处不再赘述。

在上述第三实施例的基础上，本实施例中，第一表结构包含多个基础字段和一个指定字段，第一表结构对应的结构化信息包括多个基础字段和一个指定字段的对应信息。

设备信息聚合模块还用于：

对于每条设备信息，提取出每个基础字段的对应信息；将除对应信息之外的设备信息序列化生成指定字段的对应信息；将结构化信息插入设备信息表中。

在一种可选地实施方式中，设备信息聚合模块还用于：

过滤掉结构化信息中的脏数据，脏数据至少包括：缺失至少一个基础字段的对应信息的结构化信息。

在一种可选地实施方式中，第一表结构包括以下至少一个基础字段：

在一种可选地实施方式中，第二表结构包含多个基础字段和一个指定字段，第一表结构对应的结构化数据包括多个基础字段和一个指定字段的对应数据。

记录数据聚合模块还用于：

对于每条记录数据，提取出每个基础字段的对应数据；将除对应数据之外的记录数据序列化生成指定字段的对应数据；将结构化数据插入记录数据表中。

在一种可选地实施方式中，记录数据聚合模块还用于：

过滤掉结构化数据中的脏数据，脏数据至少包括：缺失至少一个基础字段的对应数据的结构化数据。

在一种可选地实施方式中，记录数据聚合模块还用于：

将结构化数据按照至少两个基础字段进行分区存储。

在一种可选地实施方式中，记录数据聚合模块还用于：

按照采集日期，采集时段和采集数据来源，将结构化数据进行分区存储。

在一种可选地实施方式中，第二表结构包括以下至少一个基础字段：

在一种可选地实施方式中，所述查询请求包括地域范围，数据查询模块还用于：

根据目标的多种身份标识，从设备信息表和记录数据表中，查询在地域范围内的设备所采集的记录数据中与目标相关的查询结果；根据查询结果，确定目标在地域范围内出现的次数。

在一种可选地实施方式中，所述查询请求包括时间范围，数据查询模块还用于：

根据目标的多种身份标识，在记录数据表中查询采集时间在时间范围内且与目标相关的目标记录数据；根据目标记录数据中的设备标识，查询设备信息表，确定目标记录数据的采集地点，得到目标在时间范围内出现的地点。

本申请实施例提供的装置可以具体用于执行上述第二实施例提供的方法实施例，具体功能此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的数据处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器Y01为例。

存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的数据处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据处理的方法。

存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据处理的方法对应的程序指令/模块(例如，附图5所示的数据获取模块301，设备信息聚合模块302，记录数据聚合模块303和数据查询模块304)。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据处理的方法。

存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据处理的电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据处理的方法的电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置Y03可接收输入的数字或字符信息，以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种数据处理的方法，包括：

将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中；并将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中；

2.根据权利要求1所述的方法，其中，所述将所述多种类型的媒体设备的设备信息转换为与设备信息表的第一表结构对应的结构化信息，存储到所述设备信息表中，包括：

所述第一表结构包含多个基础字段和一个指定字段，所述第一表结构对应的结构化信息包括所述多个基础字段和一个指定字段的对应信息；

对于每条设备信息，提取出每个所述基础字段的对应信息；

将除所述对应信息之外的设备信息序列化生成所述指定字段的对应信息；

将所述结构化信息插入所述设备信息表中。

3.根据权利要求2所述的方法，其中，所述将除所述对应信息之外的设备信息序列化生成所述指定字段的对应信息，包括：

将除所述对应信息之外的设备信息中每个字段的名称和内容转换为键值对，将所述键值对序列化，得到所述指定字段的对应信息。

4.根据权利要求2所述的方法，其中，所述将所述结构化信息插入所述设备信息表中之前，还包括：

过滤掉所述结构化信息中的脏数据，所述脏数据至少包括：缺失至少一个基础字段的对应信息的结构化信息。

5.根据权利要求2至4中任一项所述的方法，其中，所述第一表结构包括以下至少一个基础字段：

6.根据权利要求1所述的方法，其中，所述将所述多种类型的媒体设备采集的记录数据转换为与所述记录数据表的第二表结构对应的结构化数据，存储到所述记录数据表中，包括：

所述第二表结构包含多个基础字段和一个指定字段，所述第一表结构对应的结构化数据包括所述多个基础字段和一个指定字段的对应数据；

对于每条记录数据，提取出每个所述基础字段的对应数据；

将除所述对应数据之外的记录数据序列化生成所述指定字段的对应数据；

将所述结构化数据插入所述记录数据表中。

7.根据权利要求6所述的方法，其中，所述将除所述对应数据之外的记录数据序列化生成所述指定字段的对应数据，包括：

将除所述对应数据之外的记录数据中每个字段的名称和内容转换为键值对，将所述键值对序列化，得到所述指定字段的对应数据。

8.根据权利要求6所述的方法，其中，所述将所述结构化数据插入所述记录数据表中之前，还包括：

过滤掉所述结构化数据中的脏数据，所述脏数据至少包括：缺失至少一个基础字段的对应数据的结构化数据。

9.根据权利要求6所述的方法，其中，所述将所述结构化数据插入所述记录数据表中，包括：

将所述结构化数据按照至少两个基础字段进行分区存储。

10.根据权利要求9所述的方法，其中，所述将所述结构化数据按照至少两个基础字段进行分区存储，包括：

按照采集日期，采集时段和采集数据来源，将所述结构化数据进行分区存储。

11.根据权利要求6至10中任一项所述的方法，其中，所述第二表结构包括以下至少一个基础字段：

12.根据权利要求1至4任一项所述的方法，其中，所述查询请求包括地域范围，所述方法还包括：

根据所述目标的多种身份标识，从所述设备信息表和记录数据表中，查询在所述地域范围内的设备所采集的记录数据中与所述目标相关的查询结果；

根据所述查询结果，确定所述目标在所述地域范围内出现的次数。

13.根据权利要求1至4任一项所述的方法，其中，所述查询请求包括时间范围，所述方法还包括：

根据所述目标的多种身份标识，在所述记录数据表中查询采集时间在所述时间范围内且与所述目标相关的目标记录数据；

根据所述目标记录数据中的设备标识，查询所述设备信息表，确定所述目标记录数据的采集地点，得到所述目标在所述时间范围内出现的地点。

14.一种数据处理的装置，包括：

15.根据权利要求14所述的装置，其中，所述第一表结构包含多个基础字段和一个指定字段，所述第一表结构对应的结构化信息包括所述多个基础字段和一个指定字段的对应信息；

所述设备信息聚合模块还用于：

对于每条设备信息，提取出每个所述基础字段的对应信息；将除所述对应信息之外的设备信息序列化生成所述指定字段的对应信息；将所述结构化信息插入所述设备信息表中。

16.根据权利要求15所述的装置，其中，所述设备信息聚合模块还用于：

17.根据权利要求15所述的装置，其中，所述设备信息聚合模块还用于：

18.根据权利要求15至17中任一项所述的装置，其中，所述第一表结构包括以下至少一个基础字段：

19.根据权利要求14所述的装置，其中，所述第二表结构包含多个基础字段和一个指定字段，所述第一表结构对应的结构化数据包括所述多个基础字段和一个指定字段的对应数据；

所述记录数据聚合模块还用于：

对于每条记录数据，提取出每个所述基础字段的对应数据；将除所述对应数据之外的记录数据序列化生成所述指定字段的对应数据；将所述结构化数据插入所述记录数据表中。

20.根据权利要求19所述的装置，其中，所述记录数据聚合模块还用于：

21.根据权利要求19所述的装置，其中，所述记录数据聚合模块还用于：

22.根据权利要求19所述的装置，其中，所述记录数据聚合模块还用于：

将所述结构化数据按照至少两个基础字段进行分区存储。

23.根据权利要求19所述的装置，其中，所述记录数据聚合模块还用于：

24.根据权利要求19至23中任一项所述的装置，其中，所述第二表结构包括以下至少一个基础字段：

25.根据权利要求14至17中任一项所述的装置，其中，所述查询请求包括地域范围，所述数据查询模块还用于：

26.根据权利要求14至17中任一项所述的装置，其中，所述查询请求包括时间范围，所述数据查询模块还用于：

27.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至13中任一项所述的方法。

28.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1至13中任一项所述的方法。