CN110046155B

CN110046155B - 特征数据库的更新、数据特征的确定方法、装置及设备

Info

Publication number: CN110046155B
Application number: CN201811495126.5A
Authority: CN
Inventors: 豆亮亮
Original assignee: Advanced New Technologies Co Ltd
Current assignee: Advanced New Technologies Co Ltd; Advantageous New Technologies Co Ltd
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2023-06-20
Anticipated expiration: 2038-12-07
Also published as: CN110046155A

Abstract

本说明书提供一种特征数据库的更新、数据特征的确定方法、装置及设备，针对待存储的目标数据特征，能够基于哈希值的一致性，与特征数据库中已存储的数据特征进行比对，进而根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。本实施例中，数据特征通过哈希值进行区分，能够保证数据特征的唯一性，使得特征数据库能够存储精确的数据特征。另外，在编写拦截条件时，利用本说明实施例方案可以快速地查询到待拦截的业务数据的目标数据特征是否是唯一区别于其他业务数据的特征。

Description

特征数据库的更新、数据特征的确定方法、装置及设备

技术领域

本说明书涉及数据处理技术领域，尤其涉及特征数据库的更新、数据特征的确定方法、装置及设备。

背景技术

在互联网技术领域中，业务服务方往往需要对业务数据建立特征数据库，该特征数据库有多种用途，例如，在进行精细化监控运营时，需要利用特征数据库供产品或技术做特征筛查和统计；或者，在线上发生问题时需要进行请求拦截，而编写拦截条件时可以从特征数据库中查询数据特征。可见，特征数据库中的数据对于业务处理具有重要意义。

发明内容

为克服相关技术中存在的问题，本说明书提供了特征数据库的更新、数据特征的确定方法、装置及设备。

根据本说明书实施例的第一方面，提供一种特征数据库的更新方法，包括：

获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；

计算所述目标数据特征的哈希值；

基于所述哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比；

根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。

可选的，所述获取业务数据的至少一个数据属性，包括：

从业务系统发送的结构化日志中获取业务数据的至少一个数据属性。

可选的，所述结构化日志中记录的业务数据的数据属性为key-value格式，所述key为数据属性名，所述value为数据属性值。

可选的，所述根据对比结果确定是否利用所述目标数据特征更新所述特征数据库，包括：

若所述目标数据特征与所述已存储数据特征相同，则确定不需更新所述特征数据库；

若所述目标数据特征与特征数据库中已存储数据特征都不同，则在所述特征数据库中新增所述目标数据特征。

可选的，所述计算所述目标数据特征的哈希值，包括：

将所述目标数据特征转换为字符串后，计算所述字符串的哈希值。

可选的，所述结构化日志中包括多条业务数据，在从结构化日志中获取业务数据的至少一个数据属性之前，所述方法还包括：

将结构化日志中的每条业务数据的数据属性名进行排序，对比排序后的各条业务数据，将相同的多余业务数据删除。

根据本说明书实施例的第二方面，提供一种数据特征的确定方法，包括：

计算所述目标数据特征的哈希值；

根据对比结果确定所述目标数据特征是否是唯一区别于其他业务数据的数据特征。

可选的，所述获取业务数据的至少一个数据属性，包括：

可选的，所述根据对比结果确定所述目标数据特征是否是唯一区别于其他业务数据的数据特征，包括：

若所述目标数据特征与所述已存储数据特征相同，则确定所述目标数据特征不是唯一区别于其他业务数据的数据特征；

若所述目标数据特征与特征数据库中已存储数据特征都不同，则确定所述目标数据特征是唯一区别于其他业务数据的数据特征。

可选的，所述计算所述目标数据特征的哈希值，包括：

根据本说明书实施例的第三方面，提供一种特征数据库的更新装置，包括：

获取模块，用于：获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；

计算模块，用于：计算所述目标数据特征的哈希值；

对比模块，用于：基于所述哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比；

更新模块，用于：根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。

可选的，所述获取模块，用于：

可选的，所述更新模块，用于：

可选的，所述计算模块，用于：

可选的，所述结构化日志中包括多条业务数据，所述获取模块还用于：在从结构化日志中获取业务数据的至少一个数据属性之前，将结构化日志中的每条业务数据的数据属性名进行排序，对比排序后的各条业务数据，将相同的多余业务数据删除。

根据本说明书实施例的第四方面，提供一种数据特征的确定装置，包括：

计算模块，用于：计算所述目标数据特征的哈希值；

确定模块，用于：根据对比结果确定是否所述目标数据特征是否是唯一区别于其他业务数据的数据特征。

可选的，所述获取模块，用于：

可选的，所述确定模块，用于：

可选的，所述计算模块，用于：

根据本说明书实施例的第五方面，提供一种特征数据库的更新设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如下方法：

计算所述目标数据特征的哈希值；

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例中，针对待存储的目标数据特征，能够基于哈希值的一致性，与特征数据库中已存储的数据特征进行比对，进而根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。本实施例中，数据特征通过哈希值进行区分，能够保证数据特征的唯一性，使得特征数据库能够存储精确的数据特征。

本说明书实施例中，可应用于编写拦截条件等场景中，在编写拦截条件时，可以快速地查询到待拦截的业务数据的目标数据特征是否是唯一区别于其他业务数据的特征。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1A是本说明书根据一示例性实施例示出的一种业务场景示意图。

图1B是本说明书根据一示例性实施例示出的一种特征数据库的更新方法的流程图。

图2是本说明书根据一示例性实施例示出的一种数据特征的确定方法的流程图。

图3是本说明书实施例特征数据库的更新装置/数据特征的确定装置所在计算设备的一种硬件结构图。

图4是本说明书根据一示例性实施例示出的一种特征数据库的更新装置的框图。

图5是本说明书根据一示例性实施例示出的一种数据特征的确定装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1A所示，是本说明书根据一示例性实施例示出的一种业务场景示意图，图1A中包括业务系统、特征数据库以及针对特征数据库的数据服务器。其中，业务系统用于向业务发起方提供业务服务，具体的，业务系统的功能可以包括：承接业务发起方发起的业务请求、进行业务请求的处理以及产生业务数据并存储。

业务系统在业务处理过程中，线上可能会发生问题，一种处理方案是及时对出现问题的业务请求进行拦截，以将拦截到的有问题的业务请求引导至其他处理通道。可以理解，业务系统会面临大量的业务请求，此时，需要针对出现问题的业务请求编写对应的拦截条件。例如，假设出现问题的业务请求是某个业务模块的某个业务功能，需要拦截某个用户发起的针对该业务模块的该业务功能的业务请求，则拦截条件中包括有该需要拦截的业务请求所具有的特征，例如该条业务请求是由哪个请求方发起的、发起的业务类型是什么或业务需求有哪些等等。可以理解，在编写拦截条件时需要快速准确地确定拦截条件中所携带的数据特征，如果拦截条件中的数据特征不够准确，可能会将其他正常的不需要拦截的业务请求也拦截了。如果在拦截前对拦截条件采用线下测试验证的方式，则有可能造成处理时间过长而无法及时应急的情况。在一些例子中，业务方构建有存储数据特征的特征数据库，以供用户查询所需的数据特征。另外，在进行精细化监控运营时，特征数据库也需要提供数据特征供产品或技术做特征筛查和统计。因此，特征数据库如何更新数据特征、提供准确的数据特征，将影响到业务处理的效率及准确性。

基于此，本说明书实施例提供一种特征数据库的更新方案，该方案针对待存储的目标数据特征，能够基于哈希值的一致性，与特征数据库中已存储的数据特征进行比对，进而根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。本实施例中，数据特征通过哈希值进行区分，能够保证数据特征的唯一性，使得特征数据库能够存储精确的数据特征。接下来对本说明书实施例的方案进行详细说明。

如图1B所示，是本说明书根据一示例性实施例示出的特征数据库的更新方法的流程图，包括：

在步骤102中，获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成。

在步骤104中，计算所述目标数据特征的哈希值。

在步骤106中，基于哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比。

在步骤108中，根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。

以图1A所示场景为例，本说明书实施例的方案可应用于数据服务器中，由数据服务器对特征数据库进行更新；在其他例子中，也可以是特征数据库应用本说明书实施例的方案，对自身存储的数据特征进行更新。当然，实际应用中，任何有特征数据库更新需求的场景均可应用本说明书实施例的方案，本实施例对此不做限定。

实际应用中，业务系统会接收到业务请求并持续产生业务数据，并将业务数据存储于业务数据库中。业务数据中包含有多种数据维度，数据维度也可以理解为数据属性，包括属性名和属性值。以一条有关订单请求的业务数据为例，该条业务数据中包含的数据维度/数据属性可以包括：订单标识、买方标识、卖方标识、产品标识、产品类型、支付方式、金额或购买时间等等。其中，部分或全部的数据属性组合后的值能唯一区别于其他业务数据，则这些数据属性的组合可以作为该条业务数据的数据特征。

在步骤102中，需要获取业务数据的至少一个数据属性，可选的，可以是实时获取数据，例如在业务系统产生业务数据后获取业务数据，进而获取业务数据的数据属性；还可以是业务系统将业务数据存储至业务数据库中，周期性或非周期性地从业务数据库中获取业务数据，并获取业务数据的至少一个数据属性。在获取到业务数据后，可以读取该业务数据，获得业务数据的数据属性。

在其他例子中，为了提高业务数据中数据属性的获取效率，可以是将业务系统所产生的业务数据按照结构化方式打印日志，将日志按照同步或异步的方式传输给本实施例更新方法的执行主体。例如，业务系统可以按照一定周期，利用日志打印的处理方式统一将较多的业务数据打印至日志中，因此本实施例方案的执行主体可以一次性获取到较多的业务数据。另外，由于不同业务系统所产生的业务数据可能采用不同格式，利用结构化日志的方式，可以保证将不同业务系统所产生的业务数据都统一打印为相同的格式。

可选的，可以预先配置日志的打印方式，以保证业务数据可以按结构化的方式打印，从而可以从日志中快速地获取到数据属性。在一些例子中，业务数据本身可能是其他格式，本实施例中，可以将业务数据转换为字符串格式的数据并记录于日志中，以方便后续的数据读取和解析。作为例子，可以采用toString方法将业务数据进行日志打印，因此一般的业务请求或者是领域模型model对象等都可采用统一的toString方法进行日志打印。

由前述分析可知，业务数据中包括有多个数据属性，可选的，为了进一步提高数据属性的获取效率，本实施例中结构化日志中记录的业务数据的数据属性为key-value格式，所述key为数据属性名，所述value为数据属性值。基于此，在接收到业务系统发送的结构化日志，可以快速地获取到业务数据的数据属性。作为例子，由于日志已经按照结构化的方式打印出来，对日志解析后，可以通过key-value格式快速获得数据属性名和数据属性值，进而确定业务数据的各个数据属性。可选的，对于获取到的数据属性，可以采用Map的格式存储。Map是一种通用的数据结构，其特点是可以存储多对key-value，Map格式中采用key-value值的形式存储数据，例如：key1＝value,key2＝value。其中，对于嵌套有多层key-value的业务数据，例如JSON格式等业务数据，可以基于已有JSON格式的要求，进行层次解析获得嵌套有多层key-value的键值对。

可选的，业务数据中可能还携带了类似id、ip、time等不表征数据特征的属性，可以对这部分数据属性进行过滤，保证Map中留存的都是关键的数据特征。

结构化日志中通常打印有多条业务数据，实际应用中，有可能由于重复请求等多种原因，造成多条相同业务数据的情况，基于此，本实施例还提供了对业务数据的筛选方案。可选的，在从结构化日志中获取业务数据的至少一个数据属性之前，将结构化日志中的每条业务数据的数据属性名进行排序，对比排序后的各条业务数据，将相同的多余业务数据删除。可以理解，假设两条业务数据相同，则两条业务数据的数据属性将全部相同，然而，业务数据中的数据属性的前后排列关系有可能是不固定的，有可能出现两条实质相同的业务数据，但两条业务数据中各数据属性的排列顺序不同，因此本实施例可以将每条业务数据中多个数据属性进行排列，排列方式可以包括字母升序或降序等方式，在排序后，即可快速地进行业务数据之间的对比，从而判断是否出现多条相同的业务数据，将相同的多余业务数据删除，例如有3条相同的业务数据，可删除多余的两条，剩余一条即可。

在从日志获取到业务数据的数据属性后，可以采用Map等方式存储业务数据的数据属性，之后，可利用一个或多个数据属性确定业务数据的目标数据特征，可选的，可以通过对数据属性的多种组合方式确定目标数据特征，例如，假设数据属性有3个(A、B和C)，则目标数据特征可以是A、B、C、A+B、A+C或A+B+C等多种可能。可以理解，有可能其中的某个数据特征已记录在特征数据库中、已登记为其他业务数据的数据特征。因此需要对业务数据的目标数据特征与特征数据库中的其他数据特征进行比对。由于数据特征中包括多个数据属性，可为了保证对比效率，本实施例中的比对方式为哈希值对比，基于哈希值的一致性确定目标数据特征是否是唯一区别于其他业务数据的数据特征，以及是否利用目标数据特征更新所述特征数据库。

可选的，可以对目标数据特征计算对应的哈希值，计算方式可以采用哈希算法实现。通过计算哈希值，可以更为快速地将所述目标数据特征与特征数据库中已存储数据特征进行对比，获得对比结果。作为例子，可以将哈希值hashcode和特征数据库中已存储的数据特征的hashcode进行比较，如果已存在相同的hashcode，则说明目标数据特征与特征数据库中已存储的数据特征相同，则可忽略该业务数据的数据特征，不需要更新特征数据库；如果特征数据库中没有相同的hashcode，则说明目标数据特征与特征数据库中已存储数据特征都不同，因此可以在特征数据库中新增该业务数据的数据特征，具体的，可以将hashcode和对应的各对key-value都存入到特征数据库里。可选的，特征数据库中，各个特征数据可以与对应的hashcode绑定。

本说明实施例还提供一种数据特征的确定方法，如图2所示，包括如下步骤：

在步骤202中，获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；

在步骤204中，计算所述目标数据特征的哈希值；

在步骤206中，基于哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比；

在步骤208中，根据对比结果确定是否所述目标数据特征是否是唯一区别于其他业务数据的数据特征。

可选的，所述获取业务数据的至少一个数据属性，包括：

可选的，所述计算所述目标数据特征的哈希值，包括：

本实施例的数据特征对比方案，可应用于实时编写拦截条件等场景中，在编写拦截条件时，可以查询待拦截的业务数据的目标数据特征是否是唯一区别于其他业务数据的特征。其中，具体实施例可参考前述图1B所述实施例的内容，本实施例在此不再赘述。

与前述特征数据库的更新方法/数据特征的确定方法的实施例相对应，本说明书还提供了特征数据库的更新装置/数据特征的确定装置及其所应用的设备的实施例。

本说明书特征数据库的更新装置/数据特征的确定装置的实施例可以应用在计算设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在特征数据库的更新/数据特征的确定的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书实施例特征数据库的更新装置/数据特征的确定装置所在计算设备的一种硬件结构图，除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外，实施例中装置331所在的服务器或电子设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图4所示，图4是本说明书根据一示例性实施例示出的一种特征数据库的更新装置的框图，所述装置包括：

获取模块41，用于：获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；

计算模块42，用于：计算所述目标数据特征的哈希值；

对比模块43，用于：基于所述哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比；

更新模块44，用于：根据对比结果确定是否利用所述目标数据特征更新所述特征数据库。

可选的，所述获取模块，用于：

可选的，所述更新模块，用于：

可选的，所述计算模块，用于：

如图5所示，图5是本说明书根据一示例性实施例示出的一种数据特征的确定装置的框图，包括：

获取模块51，用于：获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；

计算模块52，用于：计算所述目标数据特征的哈希值；

对比模块53，用于：基于所述哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比；

确定模块54，用于：根据对比结果确定所述目标数据特征是否是唯一区别于其他业务数据的数据特征。

可选的，所述获取模块，用于：

可选的，所述确定模块，用于：

可选的，所述计算模块，用于：

相应的，本说明书还提供一种计算设备，所述计算设备包括有处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

计算所述目标数据特征的哈希值；

基于哈希值的一致性，将所述目标数据特征与特征数据库中已存储数据特征进行对比；

上述特征数据库的更新装置/数据特征的确定装置中各个模块的功能和作用的实现过程具体详见上述特征数据库的更新装置/数据特征的确定装置中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims

1.一种特征数据库的更新方法，包括：

获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；所述数据属性包括属性名和属性值；

计算所述目标数据特征的哈希值；

根据对比结果确定是否利用所述目标数据特征更新所述特征数据库；

获取已编写拦截条件中携带的数据特征，查询获取的数据特征是否存储于所述特征数据库中，以确定所述已编写拦截条件中携带的数据特征是否准确。

2.根据权利要求1所述的方法，所述获取业务数据的至少一个数据属性，包括：

3.根据权利要求2所述的方法，所述结构化日志中记录的业务数据的数据属性为key-value格式，所述key为数据属性名，所述value为数据属性值。

4.根据权利要求3所述的方法，所述结构化日志中包括多条业务数据，在从结构化日志中获取业务数据的至少一个数据属性之前，所述方法还包括：

5.根据权利要求1所述的方法，所述计算所述目标数据特征的哈希值，包括：

6.根据权利要求1所述的方法，所述根据对比结果确定是否利用所述目标数据特征更新所述特征数据库，包括：

7.一种数据特征的确定方法，包括：

计算所述目标数据特征的哈希值；

根据对比结果确定所述目标数据特征是否是唯一区别于其他业务数据的数据特征；

8.一种特征数据库的更新装置，包括：

获取模块，用于：获取业务数据的至少一个数据属性，确定所述业务数据的目标数据特征，所述目标数据特征由一个或多个数据属性构成；所述数据属性包括属性名和属性值；

计算模块，用于：计算所述目标数据特征的哈希值；

更新模块，用于：根据对比结果确定是否利用所述目标数据特征更新所述特征数据库；

查询模块，用于：获取已编写拦截条件中携带的数据特征，查询获取的数据特征是否存储于所述特征数据库中，以确定所述已编写拦截条件中携带的数据特征是否准确。

9.一种数据特征的确定装置，包括：

计算模块，用于：计算所述目标数据特征的哈希值；

确定模块，用于：根据对比结果确定是否所述目标数据特征是否是唯一区别于其他业务数据的数据特征；

10.一种特征数据库的更新设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7任一所述的方法。