CN111178536B - 一种数据信息处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种数据信息处理方法，包括：获取目标领域的数据元以及原始数据；对所述目标领域的数据元进行解析，以获取相应的数据类型信息；根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。本发明实施例还提供了数据信息处理装置、电子设备及存储介质，本发明能够节省了提取特征的时间，同时减轻了用户的操作负担，所产生的特征宽表其准确性更高，并且可以作为机器学习算法的输入特征向量，提升机器学习算法的准确性。

Description

一种数据信息处理方法、装置、电子设备及存储介质

技术领域

本发明涉及信息处理技术，尤其涉及数据信息处理方法、装置、电子设备及存储介质。

背景技术

随着生活和生产的自动化程度的不断提高，在各方面的应用中，需要通过计算机等机器进行数据处理的数据对象的种类和数目也越来越多，比如，公安系统的数据处理，但是面对复杂且体量巨大的数据，传统的人工提取特征非常的耗时，并且人工处理中，无法从数据的角度构造特征，难以构造出与业务相关的强特征，影响了后续处理中的数据的使用。

发明内容

有鉴于此，本发明实施例提供一种数据信息处理方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：

本发明实施例通过了一种数据信息处理方法，包括：

获取目标领域的数据元以及原始数据；

对所述目标领域的数据元进行解析，以获取相应的数据类型信息；

根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；

对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

本发明实施例还提供了一种数据信息处理装置，所述装置包括：

信息传输模块，用于获取目标领域的数据元以及原始数据；

信息处理模块，用于对所述目标领域的数据元进行解析，以获取相应的数据类型信息；

所述信息处理模块，用于根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；

所述信息处理模块，用于对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

上述方案中，

所述信息处理模块，用于对对所述目标领域的数据元进行解析，确定与所述数据元相对应的标签信息；

所述信息处理模块，用于根据与所述数据元相对应的标签信息，确定所述数据元中的标准数据所分别对应的数据类型信息。

上述方案中，

所述信息处理模块，用于响应于所述数据类型信息，对所述原始数据进行数据分离处理；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的基础特征向量；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的时间特征向量；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的时间特征向量；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的关系特征向量；

所述信息处理模块，用于对所述基础特征向量、所述时间特征向量和关系特征向量进行向量融合处理，形成与所述数据元相匹配的融合特征向量。

上述方案中，

所述信息处理模块，用于确定与所述原始数据的使用环境相匹配的动态噪声阈值；

所述信息处理模块，用于根据所述动态噪声阈值对所述原始数据进行去噪处理，并触发与所述动态噪声阈值相匹配的第一分词策略；

所述信息处理模块，用于根据与所述动态噪声阈值相匹配的第一分词策略，对所述原始数据进行分词处理，形成与所述原始数据相匹配的数据参数。

上述方案中，

所述信息处理模块，用于确定与所述原始数据相对应的固定噪声阈值；

所述信息处理模块，用于根据所述固定噪声阈值对所述原始数据进行去噪处理，并触发与所述固定噪声阈值相匹配的第二分词策略；

所述信息处理模块，用于根据与所述固定噪声阈值相匹配的第二分词策略，对所述原始数据进行分词处理，形成与所述原始数据相匹配的数据参数。

上述方案中，

所述信息处理模块，用于确定与所述目标领域相适配的重要度参数；

所述信息处理模块，用于根据与所述目标领域相适配的重要度参数，对所述融合特征向量中的不同

度的特征向量进行排序；

所述信息处理模块，用于根据所述融合特征向量中的不同维度的特征向量的排序结果，筛选相应数量的不同维度的特征向量；

所述信息处理模块，用于通过所筛选的相应数量的不同维度的特征向量组成与所述目标领域相适配的特征宽表。

上述方案中，

所述信息处理模块，用于基于所述数据元、所述原始数据以及所形成的特征宽表，生成目标区块，并将所述目标区块加入区块链网络中，以

实现通过所述区块链网络中的不同区块保存所述数据元、所述原始数据以及所述特征宽表。

本发明实施例还提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前序的数据信息处理方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的数据信息处理方法。

本发明实施例具有以下有益效果：

本发明实施例所示的技术方案通过获取目标领域的数据元以及原始数据；对所述目标领域的数据元进行解析，以获取相应的数据类型信息；根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表，由此，不但节省了提取特征的时间，同时减轻了用户的操作负担，所产生的特征宽表其准确性更高，并且可以作为机器学习算法的输入特征向量，提升机器学习算法的准确性。

附图说明

图1为本发明实施例提供的数据信息处理方法的使用场景示意图；

图2为本发明实施例提供的电子设备的组成结构示意图；

图3为本发明实施例提供的数据信息处理方法一个可选的流程示意图；

图4为本发明实施例提供的数据信息处理方法一个可选的流程示意图；

图5是本发明实施例提供的数据信息处理装置100的架构示意图；

图6是本发明实施例提供的区块链网络200中区块链的结构示意图；

图7是本发明实施例提供的区块链网络200的功能架构示意图；

图8A为本发明实施例所提供的数据信息处理方法的应用环境示意图；

图8B为本发明实施例所提供的数据信息处理方法的应用环境示意图；

图9为本发明实施例所提供的数据信息处理方法的处理过程示意图；

图10为本发明实施例所提供的数据信息处理方法的处理过程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)API：全称Application Programming Interface，可翻译成应用程序接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问原码，或理解内部工作机制的细节。

2)SDK：全称Software Development Kit，可翻译成软件开发工具包，是为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合广义上包括辅助开发某一类软件的相关文档、范例和工具的集合。

3)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

4)数据元(Data Element)，也称为数据元素，是用一组属性描述其定义、标识、表示和允许值的数据单元，在一定语境下，通常用于构建一个语义正确、独立且无歧义的特定概念语义的信息单元。公安领域数据元可以理解为公安工作中数据的基本单元，将若干具有相关性的数据元按一定的次序组成一个整体结构。

5)终端，包括但不限于：普通终端、专用终端，其中所述普通终端与发送通道保持长连接和/或短连接，所述专用终端与所述发送通道保持长连接。

6)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行线上数据处理的功能或者是在线数据收发功能

7)交易(Transaction)，等同于计算机术语“事务”，交易包括了需要提交到区块链网络执行的操作，并非单指商业语境中的交易，鉴于在区块链技术中约定俗成地使用了“交易”这一术语，本发明实施例遵循了这一习惯。

例如，部署(Deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用；调用(Invoke)交易用于通过调用智能合约在区块链中追加交易的记录，并对区块链的状态数据库进行操作，包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。

8)区块链(Blockchain)，是由区块(Block)形成的加密的、链式的交易的存储结构。

例如，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，从而基于哈希值实现区块中交易的防篡改和防伪造；新产生的交易被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长。

9)区块链网络(Blockchain Network)，通过共识的方式将新区块纳入区块链的一系列的节点的集合。

10)账本(Ledger)，是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。

其中，区块链是以文件系统中的文件的形式来记录交易；状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易，用于支持对区块链中交易的快速查询。

11)智能合约(Smart Contracts)，也称为链码(Chaincode)或应用代码，部署在区块链网络的节点中的程序，节点执行接收的交易中所调用的智能合约，来对账本数据库的键值对数据进行更新或查询的操作。

12)共识(Consensus)，是区块链网络中的一个过程，用于在涉及的多个节点之间对区块中的交易达成一致，达成一致的区块将被追加到区块链的尾部，实现共识的机制包括工作量证明(PoW，Proof of Work)、权益证明(PoS，Proof of Stake)、股份授权证明(DPoS，Delegated Proof-of-Stake)、消逝时间量证明(PoET，Proof of Elapsed Time)等。

13)特征宽表：由一个个特征按列拼接形成的一个总集

图1为本发明实施例提供的数据信息处理方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中利用不同的业务进程获取不同的数据进行浏览，也可以向服务器200发送不同的原始数据，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的网页类型并不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取相关领域的信息，也可以通过网络300从相应的服务器200中获取仅包括文字或图像的相应数据元进行浏览。服务器200中可以保存有不同类型的原始数据或者标领域的数据元信息。在本发明的一些实施例中，服务器200中所保存的不同领域的原始数据可以是在不同编程语言的软件代码中所编写(或者转化)的，代码对象可以是不同类型的代码实体。例如，在C语言的软件代码中，一个代码对象可以是一个函数。在JAVA语言的软件代码中，一个代码对象可以是一个类，IOS端OC语言中可以是一段目标代码。在C++语言的软件代码中，一个代码对象可以是一个类或一个函数。其中本申请中不再对不同领域的原始数据的1编译环境进行区分。

服务器200通过网络300向终端(终端10-1和/或终端10-2)发送不同领域的原始数据的过程中服务器200需要形成相应的与所述目标领域相适配的特征宽表，因此。作为一个事例，服务器200用于获取目标领域的数据元以及原始数据；对所述目标领域的数据元进行解析，以获取相应的数据类型信息；根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

下面对本发明实施例的服务器的结构做详细说明，服务器可以各种形式来实施，如带有数据信息处理功能的专用终端例如网关，也可以为带有数据信息处理功能的服务器，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了服务器的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

本发明实施例提供的服务器包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备20中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的数据信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的数据信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的数据信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

作为本发明实施例提供的数据信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的数据信息处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的数据信息处理方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的数据信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的数据信息处理方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操作。这些数据的示例包括：用于在电子设备20上操作的任何可执行指令，如可执行指令，实现本发明实施例的从数据信息处理方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的数据信息处理装置可以采用软件方式实现，图2示出了存储在存储器202中的数据信息处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括数据信息处理装置2020，数据信息处理装置2020中包括以下的软件模块：信息传输模块2081、信息处理模块2082。当数据信息处理装置2020中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的数据信息处理方法，下面对数据信息处理装置2020中各个软件模块的功能进行介绍：

信息传输模块2081，用于获取目标领域的数据元以及原始数据；

信息处理模块2082，用于对所述目标领域的数据元进行解析，以获取相应的数据类型信息；

所述信息处理模块2082，用于根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；

所述信息处理模块2082，用于对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

结合图2示出的电子设备20说明本发明实施例提供的数据信息处理方法，参见图3，图3为本发明实施例提供的数据信息处理方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行数据信息处理装置的各种服务器执行，例如可以是如带有数据信息处理功能的专用终端、服务器或者服务器集群。下面针对图3示出的步骤进行说明。

步骤301：数据信息处理装置获取目标领域的数据元以及原始数据。

步骤302：数据信息处理装置对所述目标领域的数据元进行解析，以获取相应的数据类型信息。

在本发明的一些实施例中，对所述目标领域的数据元进行解析，以获取相应的数据类型信息，可以通过以下方式实现：

对所述目标领域的数据元进行解析，确定与所述数据元相对应的标签信息；

根据与所述数据元相对应的标签信息，确定所述数据元中的标准数据所分别对应的数据类型信息。

步骤303：数据信息处理装置根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量。

继续结合图2示出的电子设备20说明本发明实施例提供的数据信息处理方法，参见图4，图4为本发明实施例提供的数据信息处理方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行数据信息处理装置的各种服务器执行，例如可以是如带有数据信息处理功能的专用终端、服务器或者服务器集群。下面针对图4示出的步骤进行说明。

步骤3031：响应于所述数据类型信息，对所述原始数据进行数据分离处理。

在本发明的一些实施例中，响应于所述数据类型信息，对所述原始数据进行数据分离处理，可以通过以下方式实现：

确定与所述原始数据的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值对所述原始数据进行去噪处理，并触发与所述动态噪声阈值相匹配的第一分词策略；根据与所述动态噪声阈值相匹配的第一分词策略，对所述原始数据进行分词处理，形成与所述原始数据相匹配的数据参数。其中，由于原始数据的来源通常为用户采集所形成，因此，原始数据往往具有较大的噪声，由于目标领域的实际环境不同，与数据信息处理装置的使用环境相匹配的动态噪声阈值也不相同，例如，学术翻译的使用环境中，与所述指令信息的使用环境相匹配的动态噪声阈值需要小于公共场所环境中采集原始数据时的动态噪声阈值。

在本发明的一些实施例中，响应于所述数据类型信息，对所述原始数据进行数据分离处理，可以通过以下方式实现：

确定与所述原始数据相对应的固定噪声阈值；根据所述固定噪声阈值对所述原始数据进行去噪处理，并触发与所述固定噪声阈值相匹配的第二分词策略；根据与所述固定噪声阈值相匹配的第二分词策略，对所述原始数据进行分词处理，形成与所述原始数据相匹配的数据参数。其中，由于原始数据的来源通常为用户采集所形成，因此，原始数据往往具有较大的噪声，由于目标领域的实际环境不同，与数据信息处理装置的使用环境相匹配的固定噪声值也不相同，其中，当数据信息处理装置固化于相应的硬件机构中，使用环境为公共场所采集原始数据时，通过固定与目标领域的使用环境相对应的固定噪声阈值，能够有效提数据信息处理装置的工作速度，减少用户的等待时间。

步骤3032：根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的基础特征向量。

在本发明的一些实施例中，原始数据中的基础数值型的数据可以保持不变，将其他数值型数据进行离散化等处理。例如将数字编码信息转化成所属地区然后进行one-hot编码，形成相对应的基础特征向量。

步骤3033：根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的时间特征向量。

在本发明的一些实施例中，可以根据对所述原始数据进行数据分离处理的结果，对所述原始数据中的时间向量进行提取与合并，以实现统计不同目标对象在不同时间节点或者时间周期内的特征，最终形成所述原始数据相对应的时间特征向量。

步骤3034：根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的时间特征向量。

步骤3035：根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的关系特征向量。

步骤3036：对所述基础特征向量、所述时间特征向量和关系特征向量进行向量融合处理，形成与所述数据元相匹配的融合特征向量。

步骤304：数据信息处理装置对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

在本发明的一些实施例中，对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表，可以通过以下方式实现：

确定与所述目标领域相适配的重要度参数；根据与所述目标领域相适配的重要度参数，对所述融合特征向量中的不同维度的特征向量进行排序；根据所述融合特征向量中的不同维度的特征向量的排序结果，筛选相应数量的不同维度的特征向量；通过所筛选的相应数量的不同维度的特征向量组成与所述目标领域相适配的特征宽表。

在本发明的一些实施例中，所述方法还包括：

基于所述数据元、所述原始数据以及所形成的特征宽表，生成目标区块，并将所述目标区块加入区块链网络中，以实现通过所述区块链网络中的不同区块保存所述数据元、所述原始数据以及所述特征宽表。其中，保存在区块链网络中的数据元、所述原始数据以及所述特征宽表不能被篡改，有助于分析提升进程控制的安全性，同时区块链网络中的不同节点可以获取区块中所保存的信息，以作为机器学习算法的输入特征向量，提升机器学习算法的准确性。

继续参见图5，图5是本发明实施例提供的数据信息处理装置100的架构示意图，包括区块链网络200(示例性示出了共识节点210-1至共识节点210-3)、认证中心300、业务主体400和业务主体500，下面分别进行说明。

区块链网络200的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户终端和服务器，都可以在不需要授权的情况下接入区块链网络200；以联盟链为例，业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络200，此时，成为区块链网络200中的客户端节点。

在一些实施例中，客户端节点可以只作为区块链网络200的观察者，即提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络200的共识节点210的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中，通过区块链网络200实现数据和业务处理过程的可信和可追溯。

区块链网络200中的共识节点接收来自不同业务主体(例如图1中示出的业务主体400和业务主体500)的客户端节点(例如，图1中示出的归属于业务主体400的客户端节点410、以及归属于业务主体500的客户端节点510)提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。

例如，客户端节点410/510可以订阅区块链网络200中感兴趣的事件，例如区块链网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端节点410/510，从而触发客户端节点410/510中相应的业务逻辑。

下面以多个业务主体接入区块链网络以实现对指令信息以及与所述指令信息相匹配的业务进程管理为例，说明区块链网络的示例性应用。

参见图5，管理环节涉及的多个业务主体，如业务主体400可以是基于人工智能的数据信息处理装置，业务主体500可以是带有数据信息处理装功能的显示系统，从认证中心300进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息，区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络200请求接入而成为客户端节点。

业务主体400的客户端节点410用于获取目标领域的数据元以及原始数据；对所述目标领域的数据元进行解析，以获取相应的数据类型信息；根据所述数据类型信息对所述原始数据进行处理，以形成与所述数据元相匹配的融合特征向量；对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表，并将所述数据元、所述原始数据以及所形成的特征宽表发送至区块链网络200。

其中，将相应的所述数据元、所述原始数据以及所形成的特征宽表发送至区块链网络200，可以预先在客户端节点410设置业务逻辑，当形成相应的三维地图时，客户端节点410将待处理的所述数据元、所述原始数据以及所形成的特征宽表自动发送至区块链网络200，也可以由业务主体400的业务人员在客户端节点410中登录，手动打包所述数据元、所述原始数据以及所形成的特征宽表，并将其发送至区块链网络200。在发送时，客户端节点410根据所述数据元、所述原始数据以及所形成的特征宽表生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点410的数字证书、签署的数字签名(例如，使用客户端节点410的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。

区块链网络200中的共识节点210中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体400的身份，确认业务主体400是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名(例如，使用节点210-1的私钥对交易的摘要进行加密得到)，并继续在区块链网络200中广播。

区块链网络200中的共识节点210接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络200中的共识节点210广播的新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交更新所述数据元、所述原始数据以及所形成的特征宽表的交易，在状态数据库中添加所述数据元、所述原始数据以及所形成的特征宽表息相匹配的键值对。

业务主体500的业务人员在客户端节点510中登录，输入所述数据元、所述原始数据以及所形成的特征宽表查询请求，客户端节点510根据所述数据元、所述原始数据以及所形成的特征宽表查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名(例如，使用客户端节点510的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。

区块链网络200中的共识节点210中接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新某一所述数据元、所述原始数据以及所形成的特征宽表的交易，根据更新状态数据库中该原始数据以及所形成的特征宽表键值对；对于提交的查询特征宽表信息的交易，从状态数据库中查询所述数据元、所述原始数据以及所形成的特征宽表对应的键值对，并返回交易结果。

值得说明的是，在图5中示例性地示出了将所述数据元、所述原始数据以及所形成的特征宽表以及相应的进程触发信息直接上链的过程，但在另一些实施例中，对于所述数据元、所述原始数据以及所形成的特征宽表数据量较大的情况，客户端节点410可所述数据元、所述原始数据以及所形成的特征宽表的哈希以及相应的所述数据元、所述原始数据以及所形成的特征宽表的哈希成对上链，将所述数据元、所述原始数据以及所形成的特征宽表以及相应的进程触发信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到所述数据元、所述原始数据以及所形成的特征宽表以及相应的进程触发信息后，可结合区块链网络200中对应的哈希进行校验，从而减少上链操作的工作量。

作为区块链的示例，参见图6，图6是本发明实施例提供的区块链网络200中区块链的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长，区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。

下面说明本发明实施例提供的区块链网络的示例性的功能架构，参见图7，图7是本发明实施例提供的区块链网络200的功能架构示意图，包括应用层201、共识层202、网络层203、数据层204和资源层205，下面分别进行说明。

资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。

数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。

网络层203封装了点对点(P2P，Point to Point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。

其中，P2P网络协议实现区块链网络200中节点210之间的通信，数据传播机制保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点210之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限(例如能够发起的交易的类型)。

共识层202封装了区块链网络200中的节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法，支持共识算法的可插拔。

交易管理用于验证节点210接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息)；对于获得接入区块链网络200的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。

账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号(例如交易的哈希值)查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号(向量号)查询业务主体的账号数据；根据通道名称查询通道中的区块链。

应用层201封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。

下面对公安系统的数据元为例对本申请所提供数据信息处理方法的进行说明，图8A为本发明实施例所提供的数据信息处理方法的应用环境示意图，公安系统的数据处理，但是面对复杂且体量巨大的数据，传统的人工提取特征非常的耗时，并且人工处理中，无法从数据的角度构造特征，其中，参考图8A，终端(包括终端10-1和终端10-2)上设置有展示和采集数据的客户端，用户通过所设置的软件客户端可以采集公安系统所需要的原始数据，当然该客户端也可以接收对与所述数据元相匹配的融合特征向量进行处理，以形成相应的特征宽表，并将所形成相应的特征宽表向用户进行展示；图8B为本发明实施例所提供的数据信息处理方法的应用环境示意图，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。

图9为本发明实施例所提供的数据信息处理方法的处理过程示意图，具体包括以下步骤：

步骤901：获取目标领域(公安领域)的数据元以及原始数据。

其中，在公安领域的预防电信诈骗的工作中，通过本申请所提供的信息处理方法，可以时间通过诈骗案件的历史的诈骗数据，通过数据元对犯罪嫌疑人特征进行自动构建，通过自动构建的犯罪嫌疑人的特征，对嫌疑人进行预测；

进一步地，还可以通过诈骗案件的历史的诈骗数据，用于自动构建诈骗案件中受害人特征，通过自动构建的受害人特征，对受害人群体进行预警。

为实现以上功能需要首先获取公安领域的数据元以及原始数据(可以由不同警察用户通过终端上传)。

步骤902：解析公安领域的数据元，获取相应的标准参数。

其中，数据元(Data Element)，也称为数据元素，是用一组属性描述其定义、标识、表示和允许值的数据单元，在一定语境下，通常用于构建一个语义正确、独立且无歧义的特定概念语义的信息单元。公安领域数据元可以理解为公安工作中数据的基本单元，将若干具有相关性的数据元按一定的次序组成一个整体结构。

步骤903：根据所述标准参数，对所述原始数据进行处理，以确定相应的数据类型。

步骤904：响应于所述公安领域的数据元，对所述原始数据构建基础特征集合。

其中，原始数据中的基础数值型数据保持不变，其他数值型数据进行离散化等处理，具体包括：

1)如果是类型数据直接进行数字转换，例如性别转换成0和1，其他多类型例如案件类型进行统计转换成数字。

2)将基础信息进行转换，例如身份证号码、车牌、电话号码、上网ip根据对照表转化成所属地区然后进行one-hot编码。

3)通过对数值型数据进行对数、求和、求最小值、求最大值等操作构建特征。

步骤905：响应于所述公安领域的数据元，对所述原始数据构建时间相关信息特征。

其中，结合前序的公安领域的数据处理功能，具体包括：

1)时间信息转化，将时间信息转化为与业务强相关数据，例如，在公安领域的预防电信诈骗的工作中，因为不同的年龄段对犯罪类别以及是否犯罪有一定的倾向性，受害人在年龄上也有一定的区分度(例如老年人是被诈骗的高发人群)所以对于出生年月数据，获取当前时间然后利用获取的当前时间减去出生日期获得年龄，然后根据年龄区间规则进行转换成三个区间，然后进行one-hot编码。

2)对所有时间信息进行统计，例如统计不同时间段的信息，例如个人晚上十二点住宿情况、晚上十点到晚上十二点的通话及短信频率、晚上十二点到早上六点的电话及短信频率、以及晚上十二点到早上六点的上网频率和消费总额等时间相关信息。

3)周期内行为统计，例如分别统计一天内、一周内以及一个月内网吧上网次数、住宿次数、出入娱乐场所次数等。

步骤906：响应于所述公安领域的数据元，对所述原始数据中的不同对象建立关系相关特征。

其中，结合前序步骤901-905，可以分别统计根据公安数据元中的关系类属性等信息构建的一度关系中犯罪情况。分别统计与一度关系中的犯罪人员的出现同行、同住、通联等情况。

步骤907：根据前序步骤901至906的处理结果，形成相应的特征宽表。

其中，图10为本发明实施例所提供的数据信息处理方法的处理过程示意图，结合前序步骤901至步骤906中构建的特征进行聚合运行以及比值计算，当涉及到多表关联聚合时可采用开源框架Feature tool中的深度特征合成功能。

进一步地，可以对所有特征基于皮尔逊系数进行相关性分析，删除相关性高的特征，其中，皮尔逊相关系数(Pearson correlation coefficient)，又称皮尔逊积矩相关系数(Pearson product-moment correlation coefficient，简称PPMCC或PCCs)，是用于度量两个变量X和Y之间的相关(线性相关)，其值介于-1与1之间，以实现扩大样本特征的覆盖范围。

进一步地，还可以对所有特征进行特征重要度排序，根据特征重要度排序分别选取前10％、20％、30％以及100％构建成四组不同的特征宽表，具体的，可以根据前序的特征重要度排序分别将这四组不同的特征宽表进行训练以及预测，根据评估结果选择最好的特征宽表，输出该特征宽表，同时，输出的特征宽表可以作为机器学习算法的输入特征向量，以提升相应的机器学习算法的准确性。

有益技术效果：

1)、相比于传统技术中所使用传统的人工提取特征的方式，对原始数据的数据处理中，面对复杂且体量巨大的原始数据，传统的人工提取特征非常的耗时，并且人工处理中，无法从数据的角度构造特征，难以构造出与业务相关的强特征，影响了后续处理中的数据的使用，但是通过本申请所提供的数据处理方法，不但节省了提取特征的时间，同时减轻了用户的操作负担，所产生的特征宽表其准确性更高，并且可以作为机器学习算法的输入特征向量，提升机器学习算法的准确性。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种数据信息处理方法，其特征在于，所述方法包括：

获取目标领域的数据元以及原始数据；

对所述目标领域的数据元进行解析，以获取相应的数据类型信息；

响应于所述数据类型信息，对所述原始数据进行数据分离处理；

根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的基础特征向量；

根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的时间特征向量；

根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的关系特征向量；

对所述基础特征向量、所述时间特征向量和关系特征向量进行向量融合处理，形成与所述数据元相匹配的融合特征向量；

对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标领域的数据元进行解析，以获取相应的数据类型信息，包括：

对所述目标领域的数据元进行解析，确定与所述数据元相对应的标签信息；

根据与所述数据元相对应的标签信息，确定所述数据元中的标准数据所分别对应的数据类型信息。

3.根据权利要求1所述的方法，其特征在于，所述响应于所述数据类型信息，对所述原始数据进行数据分离处理，包括：

确定与所述原始数据的使用环境相匹配的动态噪声阈值；

根据所述动态噪声阈值对所述原始数据进行去噪处理，并触发与所述动态噪声阈值相匹配的第一分词策略；

根据与所述动态噪声阈值相匹配的第一分词策略，对所述原始数据进行分词处理，形成与所述原始数据相匹配的数据参数。

4.根据权利要求1所述的方法，其特征在于，所述响应于所述数据类型信息，对所述原始数据进行数据分离处理，包括：

确定与所述原始数据相对应的固定噪声阈值；

根据所述固定噪声阈值对所述原始数据进行去噪处理，并触发与所述固定噪声阈值相匹配的第二分词策略；

根据与所述固定噪声阈值相匹配的第二分词策略，对所述原始数据进行分词处理，形成与所述原始数据相匹配的数据参数。

5.根据权利要求1所述的方法，其特征在于，所述对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表，包括：

确定与所述目标领域相适配的重要度参数；

根据与所述目标领域相适配的重要度参数，对所述融合特征向量中的不同维度的特征向量进行排序；

根据所述融合特征向量中的不同维度的特征向量的排序结果，筛选相应数量的不同维度的特征向量；

通过所筛选的相应数量的不同维度的特征向量组成与所述目标领域相适配的特征宽表。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

基于所述数据元、所述原始数据以及所形成的特征宽表，生成目标区块，并将所述目标区块加入区块链网络中，以

实现通过所述区块链网络中的不同区块保存所述数据元、所述原始数据以及所述特征宽表。

7.一种数据信息处理装置，其特征在于，所述装置包括：

信息传输模块，用于获取目标领域的数据元以及原始数据；

信息处理模块，用于对所述目标领域的数据元进行解析，以获取相应的数据类型信息；

所述信息处理模块，用于响应于所述数据类型信息，对所述原始数据进行数据分离处理；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的基础特征向量；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的时间特征向量；

所述信息处理模块，用于根据对所述原始数据进行数据分离处理的结果，构建所述原始数据相对应的关系特征向量；

所述信息处理模块，用于对所述基础特征向量、所述时间特征向量和关系特征向量进行向量融合处理，形成与所述数据元相匹配的融合特征向量；

所述信息处理模块，用于对与所述数据元相匹配的融合特征向量进行处理，以形成相应的与所述目标领域相适配的特征宽表。

8.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至6任一项所述的数据信息处理方法。

9.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至6任一项所述的数据信息处理方法。

Images