CN108984626A - 一种数据处理方法、装置及服务器 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置及服务器，本发明所提出的数据处理方法包括获取对象查询请求，所述查询请求包括待查询对象的特征数据子集；获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合；判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据；若存在，则输出所述目标对象。本发明能够将对原本需要对多个数据表的遍历查询变为仅仅对象描述集合进行一次查询，从而显著减少了IO操作，提升了查询效率。

Description

一种数据处理方法、装置及服务器

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置及服务器。

背景技术

在现实生活中，通常描述一个对象可以有多个维度，因此，对象具备多个属性。在现有技术中，通常使用多个数据表来描述对象的多个属性，各个属性与对象之间建立一一映射的关系，但是采用这种架构带来的问题是，为了进行对象的查询必然需要对所述多个数据表均进行遍历，因此，在进行对象查询时不可避免需要进行频繁多次的数据库操作，IO密集型操作产生较大的性能开销，导致查询效率低下。

此外，在查询过程中利用关系数据库自带的字符串比较功能，读取需要比较的各个字段进行逻辑比较。这种方式不仅会导致检索性能下降还会造成检索内容扩展的不便。

发明内容

为了解决上述技术问题，本发明提出了一种数据处理方法、装置及服务器。本发明具体是以如下技术方案实现的：

第一方面，一种数据处理方法，所述方法包括：

获取对象查询请求，所述查询请求包括待查询对象的特征数据子集；

获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合；

判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据；

若存在，则输出所述目标对象。

第二方面，一种数据处理装置，所述装置包括：

对象查询请求获取模块，用于获取对象查询请求，所述查询请求包括待查询对象的特征数据子集；

对象描述集合获取模块，用于获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合；

查询模块，用于判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据；

输出模块，用于输出所述目标对象。

第三方面，一种服务器，所述服务器包括上述的装置。

本发明提供了一种数据处理方法、装置及服务器，具有如下有益效果：

本发明提供的一种数据处理方法、装置及服务器，能够将对原本需要对多个数据表的遍历查询变为仅仅对象描述集合进行一次查询，从而显著减少了IO操作，提升了查询效率。对象描述集合中的元素可以灵活的进行扩展，解决了现有技术中检索内容扩展不便的弊端。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种数据处理方法的应用环境图；

图2是本发明实施例提供的一种数据处理方法流程图；

图3(1)是本发明实施例提供的现有技术查询方法示意图；

图3(2)是本发明实施例提供的本发明实施例查询方法示意图；

图4是本发明实施例提供的数据预处理方法流程图；

图5是本发明实施例提供的基于权重值的查询方法流程图；

图6是本发明实施例提供的一种数据处理装置框图；

图7是本发明实施例提供的对象描述集合生成模块框图；

图8是本发明实施例提供的查询模块框图；

图9是本发明实施例提供的一种服务器结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供了一种数据处理方法的应用环境图，所述数据处理方法可以应用于常见的客户端-服务器架构的系统，也可以应用于如图1所示的由终端110和服务器集群120构成的分布式系统之中。服务器集群120可以包括多个服务器节点。终端110可以有多个，比如终端110(1)和终端110(2)，所述数据可以使用数据库进行管理。

在上述的应用环境中，本发明实施例提供一种数据处理方法，如图2所示，包括：

S101.获取对象查询请求，所述查询请求包括待查询对象的特征数据子集。

所述特征数据子集中有一个或多个特征数据。

具体地，所述特征数据为可以描述对象的属性的数据，所述属性可以是自然属性也可以是社会属性。

对于社会属性，以企业员工为例，描述企业员工的社会属性可以有多个维度，比如中文名、英文名、姓名简拼、移动电话号码、昵称、备注名等均可能会被用来描述企业员工。

对于自然属性，以企业员工为例，描述企业员工的自然属性可以有多个维度，比如身高、体重、年龄。

S102.获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合。

具体地，所述元素可以为某个对象对应的特征字符串，所述特征字符串中囊括了该对象的全部特征数据，所述特征字符串因此可以被认为是所述对象在机器中的完备表达，定位到所述特征字符串即可定为到具体对象。

S103.判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据。

具体地，所述目标对象的数量可以为一个或多个。

以特征数据子集为{A；B}为例，若某个对象的特征字符串为{A；D；B；C}，则所述对象中存在与特征数据子集为{A；B}完全匹配的目标特征数据子集，因此，这个对象即是目标对象。

比如，若对象查询请求中，请求查询移动电话号码是150开头的员工，则特征数据子集可以为{“移动电话号码”：“150*”}，目标对象为移动电话号码是150开头的员工构成的集合；若查询请求中，请求查询移动电话是150开头的员工并且是优秀员工，则特征数据子集为{“移动电话号码”：“150*”；“备注”：“优秀员工”}，目标对象是移动电话号码是150开头的资深员工构成的集合。

具体检索过程中，可以将待查询对象的特征数据子集与对象描述集合中的特征字符串进行匹配，判断是否有特征字符串能够命中所述待查询对象的特征数据子集中的全部特征数据，若有，则检索到目标对象，所述目标对象即为所述对象查询请求的查询结果。

S104.若存在，则输出所述目标对象。

具体地，输出目标对象的步骤中可以输出所述目标对象的全部或部分特征数据。比如，以企业员工为例，可以输出目标对象的姓名、联系方式和职务。

具体地，可以按照预设格式输出目标对象，比如：

目标对象1：张三，15015457986，网络工程师；

目标对象2：李四，15068945326，网关工程师。

具体地，还可以以列表或者文件形式输出目标对象。

在一个可行的实施方式中，还可以按照用户预设的方式输出目标对象，即对于目标对象的内容进行转换，使得输出结果以更为友好的方式呈现。比如，在进行国际交流时，可以将目标对象的中文名称翻译为姓名全拼，并直接呈现出来。进一步地，还可以将得到的姓名全拼作为新的特征数据，并将其添加至目标对象对应的元素中以使得在后续的查询中，用户仅仅通过姓名全拼就可以查询到目标对象，从而通过不断的查询提升元素对于对象的描述能力，进而提升本发明中技术方案对于模糊查询的支持能力。

如图3(1)(2)所示，其示出了本发明实施例与现有技术在查询方法上的区别。如图3(1)所示，用户的特征数据对应的字段为中文名称、英文名称、姓名全拼、手机号码、座机号码、昵称和备注7个字段，则在数据库中对应存储7个数据源，若输入一个查询请求，则需要遍历上述7个数据源进行查询。比如，对于英文名为debby的用户，若输入的关键字为debby，系统也需要对于上述7个数据源进行查询，并最终得到查询结果。如图3(2)，在本发明实施例中，若用户的特征数据对应的字段为中文名称、英文名称、姓名全拼、手机号码、座机号码、昵称和备注7个字段，则将上述7个字段对应的值进行综合，得到能够描述用户的元素，对于每个查询请求，只需要查询各个元素构成的对象描述集合即可。比如，对于英文名为debby的用户，若输入的关键字为debby，则只需要对于对象描述集合进行一次查询，即可最终得到查询结果。

可见，相较于现有技术，本发明实施例将查询的搜索次数从多次变成了一次。有统计学资料指出，数据库增删查改性能正线性相关于磁盘IO的次数。多次查询变成了一次查询显著提升了查询效率，也减少了硬件设备的耗电。

为了执行上述数据处理方法，本发明实施例进一步提供了一种数据预处理方法，所述数据预处理方法用于生成对象描述集合中的元素，所述数据预处理方法如图4所示，包括：

S201.获取对象，并提取所述对象的特征数据。

具体地，不同类别的对象，其对应的特征数据可以相同也可以不同，即具体的特征数据的属性可以根据实际情况进行定制。

在一个可行的实施方式中，所述对象是社交网络中的用户，则对象的特征数据可以为中文名、英文名、姓名全拼、姓名简拼、移动电话号码、昵称何备注名等字段。

在另一个可行的实施方式中，所述对象是企业员工，则对象的特征数据的字段可以根据其所在的部门不同进行定制。

比如，若对象是技术部的员工，则对象的特征数据的字段为中文名、英文名、姓名全拼、姓名简拼、移动电话号码、座机、所在的工作小组名称、具体职位和工作性质；若对象是法务部的员工，则对象的特征数据的字段为中文名、英文名、姓名全拼、姓名简拼、移动电话号码、座机、负责的法务类别名称和法务职位。

S202.根据所述特征数据生成特征字符串。

具体地，在一个可行的实施方式中，可以把提取出来的对应于各个字段的特征数据拼接在一起后，每个字段间用分隔符进行间隔，以便于在对特征字符串进行索引的时候能够准确的区分特征字符串中各个特征数据实际逻辑上的各种关系。

比如，一个员工的特征数据为：

中文名：王五；

英文名：disica；

姓名全拼：wangwu；

姓名简拼：ww；

移动电话号码：18995643226；

座机：889966592；

所在的工作小组名称：网关组；

具体职位：网关工程师；

工作性质：研发；

则所述员工的特征字符串为{“王五”，“disica”，“wangwu”，“ww”，“18995643226”，“网关组”，“网关工程师”，“研发”}。

通过上述示例可知，特征字符串中按照预设顺序对对象的特征数据进行拼接，并且特征字符串中的每项数据也是字符串的形式，这也为后期基于字符串的匹配带来了便利。

产生待检索的特征字符串之后，还可以在把得到的特征字符串放入一个单独的数据库字段中保存的同时对字符串进行索引，即对象描述集合可以通过索引进行管理。在所述对象描述集合中能够真正的建立一种虚拟对象和其可能对应的搜索关键字集合的“逻辑关系”。所述索引可以进一步加快查询速度，比如，若使用B-Tree作为索引，则可以从算法复杂度上有效的减少计算量，并且得益于B-Tree剪枝特性缩短检索路径，从而在IO操作上降低需要读取数据的次数，进一步提高检索的效率。

需要提出的是，对于每个特征字符串，其对应的字段可以相同也可以不同，并且可以对每个特征字符串的内容进行动态变动，这并不影响对象查询请求的执行。得益于特征字符串与对象之间的一一对应的逻辑关系，可以很方便地根据具体对象的实际情况对特征字符串中的字段进行增加、删除、变更、插入等动态操作。

比如，普通员工的特征字符串存储的字段被规定为中文姓名、英文简称、职位和员工性质，高级员工的特征字符串存储的字段被规定为中文姓名、英文简称、年资、职位、员工性质和备注。对于某个员工张三，其尚在实习期，还没有正式职位，则其特征字符串的具体内容可以为{“张三”；“dolly”；“研发工程师”；“”}，在其转正后，特征字符串的内容可以被修改为{“张三”；“dolly”；“研发工程师”；“正式员工”}；若员工张三在工作三年后称为了高级员工，则其对应的特征字符串的内容可以被修改为{“张三”；“dolly”；“3”；“研发工程师”；“正式员工”、“曾获得三次技术标兵”}。上述举例说明，在本发明实施例中，并不对特征字符串的具体内容进行限制，其可以根据实际需要灵活的进行定制，使其能够满足对于对象的描述要求。

相较于本发明实施例，现有技术中对于数据的修改就较为繁琐。依然使用上述举例，假设普通员工的信息需要通过第一数据表进行记录，所述第一数据表分别记录中文姓名、英文简称、职位和员工性质四个字段及其内容，高级员工的信息需要通过第二数据表进行记录，第二数据表分别记录中文姓名、英文简称、年资、职位、员工性质和备注六个字段及其内容。对于员工张三，其成为高级员工后，需要在第一数据表中将员工张三的记录删除，再在第二数据表中重新录入，显然需要进行多次数据的查询、修改并进行多次IO。而本发明实施例中仅仅需要定位员工张三对应的特征字符串，并对特征字符串进行简单修改即可，显然数据修改更为简单，灵活性可定制性均显著优于现有技术。

本发明实施例的高可定制性在实际应用中可以为用户带来较大的便利。以企业为例，当产品经理需要增加需要检索的字段时，只需要将原始的特征字符串取出后将增加的内容拼接在其后，再将修改后的特征字符串入库，就完成了增加需要检索的字段的工作，减少需要检索的字段原理也很类似，不再赘述。

若将用于描述对象的特征数据比作“信息孤岛”，则现有技术中为了进行对象的查询，就需要遍历各个“信息孤岛”；而本发明中的特征数据串则可以被比作为一条从多个“信息孤岛”到对象之间的“高速公路”。而且这条“高速公路”不仅仅体现它快速，它还拥有灵活的对可检索信息字段的增加和删除能力。对于特征字符串可以进行灵活的配置，这种灵活的配置方式可以使得企业内部的IT管理人员很方便地为员工设置各种标签，从而方便企业成员间打通“信息孤岛”。

进一步地，为了提升查询效率，还可以进一步对特征字符串中的各个字段赋予权重值，并根据权重值进行查询，基于权重值的查询方法如图5所示，包括：

P1.获取特征字符串中各个字段的权值。

具体地，所述权值表征了特征字符串中各个字段被命中的概率，所述权值可以根据经验进行设定，也可以根据实际的查询情况进行调整，也可以根据实际查询结果进行自适应变动。

在一个可行的实施方式中，权值与被命中次数相等，比如在一次查询过程中，目标特征字符串中的第二个字段与待查询对象的特征数据完全匹配，则所述目标特征字符串中的第二个字段的权重加1，表征了该字段在以后被查询时被命中的可能性也相应提升。

进一步地，若特征字符串中的各个字段的排序都是一致的，则其它特征字符串的第二字段的权重也加1，表征该字段在以后被查询时候被命中的可能性也相应提升。

P2.根据权值将待查询对象的特征数据子集的特征数据与特征字符串中的各个字段的值进行匹配。

权重越高说明被命中的概率越高，因此为了提升查询速度，提升命中率，在匹配环节则应该优先匹配权重高的字段。

记录特征字符串中各个字段被命中的次数，并按照命中次数得到字符串中各个字段的权值，并在查询过程中根据权值进行匹配。

在一个可行的实施方式中，为了达到按照权值进行匹配的目的，可以定期或不定期对特征字符串中的各个字段按照权值进行排序，权值高的字段在前面，权重低的字段在后面，从而在实际查询过程中按照固有顺序依次匹配特征字符串中的各个字段的值即可得到P2的技术效果。

本发明实施例进一步提供了一种数据处理装置，如图6所示，所述装置包括：

对象查询请求获取模块301，用于获取对象查询请求，所述查询请求包括待查询对象的特征数据子集。

对象描述集合获取模块302，用于获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合。

查询模块303，用于判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据。

输出模块304，用于输出所述目标对象。

对象描述集合生成模块305，用于生成对象描述集合中的元素。

所述元素为对象对应的特征字符串，如图7所示，所述对象描述集合生成模块305包括：

对象获取单元3051，用于获取对象，并提取所述对象的特征数据。

特征字符串生成单元3052，用于根据所述特征数据生成特征字符串。

进一步地，特征字符串中的各个字段被赋予权重值，所述查询模块303如图8所示，包括：

权值获取单元3031，用于获取特征字符串中各个字段的权值。

匹配单元3032，用于根据权值将待查询对象的特征数据子集的特征数据与特征字符串中的各个字段的值进行匹配。

所述匹配单元3032包括：

排序子单元30321，用于按照权值对特征字符串中的各个字段进行排序。

匹配子单元30322，用于将待查询对象的特征数据子集的特征数据与特征字符串中的字段的值依次进行匹配。

本发明的装置实施例中所述的装置均与方法实施例基于同样地发明构思。

具体地，图9是本发明实施例提供的一种服务器结构示意图，所述服务器结构可以设置于上述装置之中。该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器800上执行存储介质830中的一系列指令操作。服务器800还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，和/或，一个或一个以上操作系统841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。上述方法实施例所执行的步骤可以基于该图8所示的服务器结构。

需要说明的是：上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：

获取对象查询请求，所述查询请求包括待查询对象的特征数据子集；

获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合；

判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据；

若存在，则输出所述目标对象。

2.根据权利要求1所述的方法，其特征在于，对象描述集合中的元素为对象对应的特征字符串，生成对象描述集合中的元素的方法包括：

获取对象，并提取所述对象的特征数据；

根据所述特征数据生成特征字符串。

3.根据权利要求2所述的方法，其特征在于，所述根据所述特征数据生成特征字符串包括：

把提取出来的对应于各个字段的特征数据拼接在一起，每个字段间用分隔符进行间隔。

4.根据权利要求2所述的方法，其特征在于，所述对象描述集合使用B-Tree作为索引。

5.根据权利要求2所述的方法，其特征在于，还包括：

对特征字符串中的各个字段进行增加、删除、变更、插入和/或排序。

6.根据权利要求2所述的方法，其特征在于，还包括对特征字符串中的各个字段赋予权重值，并根据权重值进行查询，所述根据权重值进行查询包括：

获取特征字符串中各个字段的权值；

根据权值将待查询对象的特征数据子集的特征数据与特征字符串中的各个字段的值进行匹配。

7.根据权利要求6所述的方法，其特征在于，所述根据权值将待查询对象的特征数据子集的特征数据与特征字符串中的各个字段的值进行匹配包括：

按照权值对特征字符串中的各个字段进行排序；

将待查询对象的特征数据子集的特征数据与特征字符串中的字段的值依次进行匹配。

8.一种数据处理装置，其特征在于，所述装置包括：

对象查询请求获取模块，用于获取对象查询请求，所述查询请求包括待查询对象的特征数据子集；

对象描述集合获取模块，用于获取对象描述集合，所述对象描述集合中的元素与对象一一对应，所述元素为某个对象的特征数据的集合；

查询模块，用于判断所述对象描述集合中是否存在目标对象，在所述目标对象对应的元素中能够命中所述特征数据子集中的全部特征数据；

输出模块，用于输出所述目标对象。

9.根据权利要求8所述的装置，其特征在于，还包括：

对象描述集合生成模块，用于生成对象描述集合中的元素，所述元素为对象对应的特征字符串；所述对象描述集合生成模块包括：

对象获取单元，用于获取对象，并提取所述对象的特征数据；

特征字符串生成单元，用于根据所述特征数据生成特征字符串。

10.根据权利要求9所述的装置，其特征在于，特征字符串中的各个字段被赋予权重值，所述查询模块包括：

权值获取单元，用于获取特征字符串中各个字段的权值；

匹配单元，用于根据权值将待查询对象的特征数据子集的特征数据与特征字符串中的各个字段的值进行匹配。

11.根据权利要求10所述的装置，其特征在于，所述匹配单元包括：

排序子单元，用于按照权值对特征字符串中的各个字段进行排序；

匹配子单元，用于将待查询对象的特征数据子集的特征数据与特征字符串中的字段的值依次进行匹配。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序用于实现权利要求1中所述的一种数据处理方法。

13.一种服务器，其特征在于，所述服务器包括权利要求8中所述的装置。