CN108062379B - 数据处理方法、平台、装置和计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种数据处理方法、平台、装置和计算机可读存储介质，涉及大数据处理技术领域。该方法包括：从原始数据中获取各对象、各属性以及各对象与各属性的对应关系；将各对象归类到相应的各对象类型；将各属性归类到相应的各属性类型；根据对应关系，确定与各对象类型相关的各属性类型；在各对象类型中指定源对象对应的源对象类型和目标对象对应的目标对象类型；在与源对象类型相关的各属性类型中指定源属性类型；在与目标对象类型相关的各属性类型中指定目标属性类型；根据源属性类型和目标属性类型，确定源对象和目标对象之间的连接类型。本公开的技术方案能够提高数据关联的领域适用性，从而降低开发成本。

Description

数据处理方法、平台、装置和计算机可读存储介质

技术领域

本公开涉及大数据处理技术领域，特别涉及一种数据处理方法、数据处理平台、数据处理装置和计算机可读存储介质。

背景技术

随着信息技术和网络技术的高速发展，可以通过多种途径方便地获取海量数据。通过对海量数据中的信息进行统计、汇总，可以建立人物、机构、事件等对象数据之间的关联关系，用以进行大数据分析。

在相关技术中，针对目标领域(如金融、通讯、安全等领域)的原始数据设计特定的数据模式(Schema)、数据结构和数据物理存储，从而实现单一领域的数据关联。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：只能针对某一特定领域开发数据关联模型，无法适用于多种不同领域，从而导致数据关联方案的开发成本高。针对上述问题中的至少一个问题，本公开提出了一种数据处理的技术方案，能够提高数据关联的领域适用性，从而降低开发成本。

根据本公开的一些实施例，提供了一种数据处理方法，包括：从原始数据中获取各对象、各属性以及所述各对象与所述各属性的对应关系；将所述各对象归类到相应的各对象类型；将所述各属性归类到相应的各属性类型；根据所述对应关系，确定与各对象类型相关的各属性类型；在各对象类型中指定源对象类型和目标对象类型；在与所述源对象类型相关的各属性类型中指定源属性类型；在与所述目标对象类型相关的各属性类型中指定目标属性类型；根据所述源属性类型和所述目标属性类型，确定所述源对象类型和所述目标对象类型之间的连接类型。

可选地，根据所述各对象的名称，通过第一映射关系将所述各对象归类到相应的各对象类型。

可选地，根据所述各属性的名称，通过第二映射关系将所述各属性归类到相应的各属性类型。

可选地，将所述各对象类型存储于对象数据结构中，所述对象数据结构中还包括根据所述对应关系设置的属性指针，所述属性指针指向与对象相关的属性。

可选地，将所述各属性类型存储于属性数据结构中，所述属性数据结构中还包括根据所述对应关系设置的对象指针，所述对象指针指向与属性相关的对象。

可选地，根据所述源属性类型和所述目标属性类型，通过第三映射关系确定所述源对象类型和所述目标对象类型之间的连接类型。

可选地，所述对象类型、所述属性类型和所述连接类型是可编辑的。

根据本公开的另一些实施例，提供一种数据处理平台，包括：数据导入接口，用于导入用户提供的原始数据；数据指定接口，用于为所述用户提供各对象类型和各属性类型，供所述用户从其中指定源对象类型、目标对象类型、源属性类型和目标属性类型，所述各对象类型与从所述原始数据获取的各对象相对应，所述各属性类型与从所述原始数据获取的各属性相对应，所述源属性类型为所述用户在与所述源对象类型相关的各属性类型中指定，所述目标属性类型为在与所述目标对象类型相关的各属性类型中指定，所述相关的各属性类型为根据从所述原始数据中获取的各对象与各属性的对应关系确定；数据交互接口，用于为所述用户提供所述源对象类型和所述目标对象类型之间的连接类型，所述连接类型为根据所述源属性类型和所述目标属性类型确定。

可选地，所述数据交互接口还用于为用户提供编辑所述源对象类型、所述目标对象类型、所述连接类型的功能。

可选地，所述数据交互接口还用于向用户提供根据所述源对象类型、所述目标对象类型和所述连接类型生成的知识图谱。

根据本公开的又一些实施例，提供一种数据处理装置，包括：执行上述任一个实施例中的数据处理方法的模块。

根据本公开的再一些实施例，提供一种数据处理装置，包括：存储器以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例所述的数据处理方法。

根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例所述的数据处理方法。

在上述实施例中，通过将原始数据中对象和属性分别归类到同一对象类型和同一属性类型下，实现了对不同数据来源中的同类对象和和属性的统一化处理。而且，基于对象相关的指定属性建立对象之间的连接，实现了不同领域数据的自动关联。从而提高了数据关联的领域适用性，降低了开发成本。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1示出本公开的数据处理方法的一些实施例的流程图。

图2示出对象与对象类型的映射关系的示意图。

图3示出属性与属性类型的映射关系的示意图。

图4示出本公开的数据处理平台的一些实施例的结构图。

图5示出本公开的数据处理装置的一些实施例的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出本公开的数据处理方法的一些实施例的流程图。

如图1所示，该方法包括：步骤110，获取对象、属性及其对应关系；步骤120，分别对属性和对象进行归类；步骤130，确定对象类型和属性类型之间的关联；步骤140，指定源对象类型和目标对象类型；步骤150，指定源属性类型和目标属性类型；步骤160，确定源对象类型和目标对象类型之间的连接类型。

在步骤110中，从原始数据中获取各对象、各属性以及各对象与各属性的对应关系。

在一些实施例中，原始数据可以是用户导入数据处理系统的数据，可以在数据库中以各种结构数据保存，如数据表、链表、数据树等。例如，原始数据可以包含表1和表2中的信息。

表1学生信息表

学生姓名	学生电话
		张三	61223456
李四	45332212

表2通话记录表

呼出	呼入	通话时间
			61223456	45332212	7

可以通过提取关键字结合预设的数据结构等方法，从表1和表2中获取原始数据中的对象的名称为“学生”和“通话记录”。进一步通过表1可以获取与对象“学生”对应的属性的名称为“学生姓名”和“学生电话”；通过表2可以获取与对象“通话记录”对应的属性为“呼出”、“呼入”和“通话时间”。从表1中还可以获取属性“学生姓名”的属性值为“张三”和“李四”，属性“学生电话”的属性值为“61223456”和“45332212”。从表2中还可以获取属性“呼出”的属性值为“61223456”，属性“呼入”的属性值为“45332212”，属性“通话时间”的属性值为“7”。

这样就可以从原始数据中抽取出关键信息，并确定这些关键信息之间的联系，从而将无序、孤立的信息关联起来以便进一步的数据处理和分析。

在步骤120中，将各对象归类到相应的各对象类型，将各属性归类到相应的各属性类型。

在一些实施例中，可以构建对象类型数据库，对象类型数据库中包含多个对象类型，各对象类型能够表征一类对象的共同特征。还可以设置第一映射关系，通过第一映射关系可以根据从原始数据中获取的对象的名称将各对象归类到各对象类型中。

例如，图2示出对象与对象类型的映射关系的示意图。

如图2所示，对象类型数据库21中包含的对象类型有“人物”、“机构”、“通话”和“消费”；对象集合22中包含所有从原始数据中获取的对象，例如“学生”、“警察”、“学校”、“商场”、“打电话”、“打手机”、“网购”和“购物”。

根据预设的第一映射关系将对象类型数据库21和对象集合22中的数据进行匹配，从而将对象“学生”和“警察”归类为对象类型“人物”，将对象“学校”和“商场”归类为对象类型“机构”，将对象“打电话”和“打手机”归类为对象类型“通话”，将对象“网购”和“购物”归类为对象类型“消费”。还可以将对象类型进一步归类为实体对象类型和事件对象类型。实体对象类型包括“人物”、“机构”等具体事物，事件对象类型包括“通话”、“消费”等行为。

在另一些实施例中，可以构建属性类型数据库，属性类型数据库中包含多个属性类型，各属性类型能够表征一类属性的共同特征。还可以设置第二映射关系，通过第二映射关系可以根据从原始数据中获取的属性的名称将各属性归类到各属性类型中。

例如，图3示出属性与属性类型的映射关系的示意图。

如图3所示，属性类型数据库31中包含的属性类型有“姓名”和“主叫号码”；属性集合32中包含所有从原始数据中获取的对象，例如“学生姓名”、“警察姓名”、“呼入”和“发起通话”。

根据预设的第二映射关系将属性类型数据库31和对象集合32中的数据进行匹配，从而将属性“学生姓名”和“警察姓名”归类为属性类型“姓名”，将属性“呼入”和“发起通话”归类为属性类型“主叫号码”。

这样就可以将不同领域的原始数据中特征相同或相近的数据统一为相同的表示形式——对象类型和属性类型。从而将针对不同业务需求的数据整合为相同的结构化数据，填补了从数据到业务需求之间的空白，提高了数据关联的领域适用性。通过上述步骤将对象和属性归类后，就可以通过图1中的步骤130-160实现数据关联了。

在步骤130中，根据从原始数据中获取的对象与属性之间的对应关系，确定与各对象类型相关的各属性类型。例如，根据表1中的信息，可知与对象“学生”对应的属性为“学生姓名”和“学生电话”，根据步骤120的处理结果，可知对象“学生”被归类为对象类型“人物”，属性“学生姓名”被归类为属性类型“姓名”，属性“学生电话”被归类为属性类型“电话”。根据上述对应关系，可以确定与对象类型“人物”相关的属性类型有“姓名”和“电话”。

在一些实施例中，可以将各对象类型存储于对象数据结构中，对象数据结构中还包括根据对应关系设置的属性指针，属性指针指向与对象相关的属性。还可以将各属性类型存储于属性数据结构中，属性数据结构中还包括根据对应关系设置的对象指针，对象指针指向与属性相关的对象。属性指针和对象指针表征了对象类型与属性类型之间的相关关系。例如，可以将对象数据结构和属性数据结构设置为表3和表4的数据表形式。

表3对象数据结构

对象ID	对象类型	属性指针
			A	人物	1、2
B	人物	3、4
			C	通话	5、6、7

表4属性数据结构

属性ID	属性类型	对象指针	属性值
				1	姓名	A	张三
2	电话	A	61223456
				3	姓名	B	李四
4	电话	B	45332212
				5	主叫号码	C	61223456
6	被叫号码	C	45332212
				7	时长	C	7

如表3所示，对象数据结构中可以包括对象ID字段，对象类型字段和属性指针字段。对象ID字段用于区分不同对象，对象类型字段用于存储对象属于的对象类型，属性指针字段用于指向对象对应属性的属性ID。

如表4所示，属性数据结构中可以包括属性ID字段，属性类型字段和对象指针字段。属性ID字段用于区分不同属性，属性类型字段用于存储属性属于的属性类型，对象指针字段用于指向属性对应对象的对象ID。性数据结构中还可以包括各属性对应的属性值。

在步骤140中，想要建立两个对象之间的连接，可以在各对象类型中指定源对象对应的源对象类型和目标对象对应的目标对象类型。例如，想要建立表3中对象A和对象C之间的连接，则可以选择源对象类型为“人物”，目标对象类型为“通话”。

在步骤150中，在与源对象类型相关的各属性类型中指定源属性类型，在与目标对象类型相关的各属性类型中指定目标属性类型。例如，想要建立对象A和对象C之间的通话关系，则可以在源对象类型“人物”的相关属性类型中选择源属性类型“电话”，在目标对象类型为“通话”的相关属性类型中选择对象属性类型“主叫号码”。

在步骤160中，根据源属性类型和目标属性类型，确定源对象和所述目标对象之间的连接类型。例如，根据源属性类型“电话”和对象属性类型“主叫号码”，通过预设的第三映射关系可以确定源对象和目标对象之间的连接类型为“通话主叫”。

在一些实施例中，可以将连接类型存储于连接数据结构中，例如可以将连接数据结构建立为表5中的数据表。

表5连接数据结构

源对象ID	目标对象ID	连接类型
			C	A	通话主叫
C	B	通话被叫

连接数据结构中可以包括源对象ID字段、目标对象ID字段和连接类型字段。在一些实施例中，对象类型、属性类型和连接类型是可编辑的。例如，将对象和属性归类为相应的对象类型和属性类型后，用户可以根据需要编辑对象类型和属性类型，在确定了连接类型后，用户也可以对连接类型进行编辑。这样可以借助用户的本领域专业知识完善数据的关联。

在上述实施例中，通过将原始数据中对象和属性分别归类到同一对象类型和同一属性类型下，实现了对不同数据来源中的同类对象和和属性的统一化处理。而且，基于对象相关的指定属性建立对象之间的连接，实现了不同领域数据的自动关联。从而提高了数据关联的领域适用性，降低了开发成本。

图4示出本公开的数据处理平台的一些实施例的结构图。

如图4所示，数据处理平台4包括数据导入接口41、数据指定接口42和数据交互接口43。

数据导入接口41用于导入用户提供的原始数据。

数据指定接口42用于为用户提供各对象类型和各属性类型，供用户从其中指定源对象对应的源对象类型、目标对象对应的目标对象类型、源属性类型和目标属性类型。

各对象类型与从原始数据获取的各对象相对应。各属性类型与从原始数据获取的各属性相对应。源属性类型为用户在与源对象类型相关的各属性类型中指定。目标属性类型为在与目标对象类型相关的各属性类型中指定。相关的各属性类型为根据从原始数据中获取的各对象与各属性的对应关系确定。

数据交互接口43用于为用户提供源对象和目标对象之间的连接类型，连接类型为根据源属性类型和目标属性类型确定。数据交互接口43还用于为用户提供编辑源对象类型、目标对象类型、连接类型的功能。数据交互接口还用于向用户提供根据源对象类型、目标对象类型和连接类型生成的知识图谱。

在上述实施例中，通过将原始数据中对象和属性分别归类到同一对象类型和同一属性类型下，实现了对不同数据来源中的同类对象和和属性的统一化处理。而且，基于对象相关的指定属性建立对象之间的连接，实现了不同领域数据的自动关联。从而提高了数据关联的领域适用性，降低了开发成本。

图5示出本公开的数据处理装置的一些实施例的结构图。

如图5所示，该实施例的装置5包括：存储器51和耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一些实施例中的数据处理方法。

存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

至此，已经详细描述了根据本公开的数据处理方法、平台、装置和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种数据处理方法，包括：

从原始数据中获取各对象、各属性以及所述各对象与所述各属性的对应关系；

将所述各对象归类到相应的各对象类型；

将所述各属性归类到相应的各属性类型；

根据所述对应关系，确定与各对象类型相关的各属性类型；

在各对象类型中指定源对象对应的源对象类型和目标对象对应的目标对象类型；

在与所述源对象类型相关的各属性类型中指定源属性类型；

在与所述目标对象类型相关的各属性类型中指定目标属性类型；

根据所述源属性类型和所述目标属性类型，确定所述源对象和所述目标对象之间的连接类型；

其中，所述根据所述源属性类型和所述目标属性类型，确定所述源对象和所述目标对象之间的连接类型包括：

根据所述源属性类型和所述目标属性类型，通过第三映射关系确定所述源对象和所述目标对象之间的连接类型。

2.根据权利要求1所述的数据处理方法，其中，

所述将所述各对象归类到相应的各对象类型包括：

根据所述各对象的名称，通过第一映射关系将所述各对象归类到相应的各对象类型；或

所述将所述各属性归类到相应的各属性类型包括：

根据所述各属性的名称，通过第二映射关系将所述各属性归类到相应的各属性类型。

3.根据权利要求1所述的数据处理方法，还包括：

将所述各对象类型存储于对象数据结构中，所述对象数据结构中还包括根据所述对应关系设置的属性指针，所述属性指针指向与对象相关的属性；

和/或

将所述各属性类型存储于属性数据结构中，所述属性数据结构中还包括根据所述对应关系设置的对象指针，所述对象指针指向与属性相关的对象。

4.根据权利要求1-3任一项所述的数据处理方法，其中，

所述对象类型、所述属性类型和所述连接类型是可编辑的。

5.一种数据处理平台，包括：

数据导入接口，用于导入用户提供的原始数据；

数据指定接口，用于为所述用户提供各对象类型和各属性类型，供所述用户从其中指定源对象对应的源对象类型、目标对象对应的目标对象类型、源属性类型和目标属性类型，所述各对象类型与从所述原始数据获取的各对象相对应，所述各属性类型与从所述原始数据获取的各属性相对应，所述源属性类型为所述用户在与所述源对象类型相关的各属性类型中指定，所述目标属性类型为在与所述目标对象类型相关的各属性类型中指定，所述相关的各属性类型为根据从所述原始数据中获取的各对象与各属性的对应关系确定；

数据交互接口，用于为所述用户提供所述源对象和所述目标对象之间的连接类型，所述连接类型为根据所述源属性类型和所述目标属性类型确定；

所述连接类型根据所述源属性类型和所述目标属性类型，通过第三映射关系确定。

6.根据权利要求5所述的数据处理平台，其中，

所述数据交互接口还用于为用户提供编辑所述源对象类型、所述目标对象类型、所述连接类型的功能。

7.根据权利要求5所述的数据处理平台，其中，

所述数据交互接口还用于向用户提供根据所述源对象类型、所述目标对象类型和所述连接类型生成的知识图谱。

8.一种数据处理装置，包括：

执行如权利要求1-4任一项所述的数据处理方法的模块。

9.一种数据处理装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行如权利要求1-4中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-4中任一项所述的数据处理方法。

Images