CN110674123B - 数据预处理方法、装置、设备及介质 - Google Patents

Abstract

本发明提供一种数据预处理方法、装置、设备及介质，该方法包括：获取用户需求；在知识网络库内匹配与所述用户需求相适应的知识网络；如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。在数据预处理阶段，结合与用户需求相适应的知识网络，对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集，而不是在每次有需求时，耗费大量时间重复过滤无用数据，简化了计算过程，本发明提高了数据预处理的效率，并降低了数据预处理的操作成本。

Description

数据预处理方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据预处理方法、装置、设备及介质。

背景技术

随着计算机、互联网和物联网等技术在各个领域的大规模应用，产生的数据量也随之增多。由于数据源产生的数据类型多样，格式不一，因此，在处理数据之前，要先对数据进行预处理。然而，现有的预处理方式，为了抽取合适的数据，需要重复过滤大量的无用数据，造成数据平台反应速度过慢，导致数据预处理的过程操作耗时，效率低，操作成本高。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供数据预处理方法、装置、设备及介质，用于解决传统数据预处理方式，对数据预处理的过程操作耗时，效率低，操作成本高的问题。

为实现上述目的及其他相关目的，本发明提供一种数据预处理方法，包括：

获取用户需求；

在知识网络库内匹配与所述用户需求相适应的知识网络；

如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；

如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

本发明的另一目的在于提供一种数据预处理装置，包括：

获取模块，用于获取用户需求；

匹配模块，用于在知识网络库内匹配与所述用户需求相适应的知识网络；

第一预处理模块，用于如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；

第二预处理模块，用于如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

本发明的另一目的在于一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述一个或多个所述的方法。

本发明的还有一目的在于提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述一个或多个所述的方法。

如上所述，本发明提供的一种数据预处理方法、装置、设备及介质，具有以下有益效果：

在数据预处理阶段，结合与用户需求相适应的知识网络，对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集，而不是在每次有需求时，耗费大量时间重复过滤无用数据，简化了计算过程，本发明提高了数据预处理的效率，并降低了数据预处理的操作成本。

附图说明

图1为本发明实施例提供的数据预处理方法流程图；

图2为本发明一实施例提供的数据预处理方法流程图；

图3为本发明一实施例提供的数据预处理装载结构图；

图4为本发明另一实施例提供的数据预处理装载结构图；

图5为本发明一实施例提供的终端设备的硬件结构示意图；

图6为本发明另一实施例提供的终端设备的硬件结构示意图；

图7为本发明一实施例提供的根据风险监控匹配的知识点结构图；

图8为本发明一实施例提供的根据风险监控建立的知识点关联的数据集。

元件标号说明

1 获取模块

2 匹配模块

3 第一预处理模块

4 第二预处理模块

5 知识网络模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明实施例提供的一种数据预处理方法流程图，包括：

步骤S1，获取用户需求；

步骤S2，在知识网络库内匹配与所述用户需求相适应的知识网络；

步骤S3，如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；

步骤S4，如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

在本实施例中，用户通过客户端(个人、企业终端设备)输入相应的需求，获取到该用户需求，在数据库内已有的知识网络中匹配与该用户需求相适应的知识网络，其中，先确定所述用户需求的主题；按照所述用户需求的主题在数据库匹配与其相适应的知识网络，而主题包括：字段内标题长度、标题内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种，例如，知识点标题为“如何还款”的扩展标题“还款规则”，从而在数据库中匹配到至少一个知识网络。

另外，在用户需求匹配到相应的知识网络时，由于数据源的类型多样，格式不同，在通过ETL(extract transform load)技术对数据抽取、转换、加载的流程，特别是在数据加载过程中，按照知识网络对数据源分类组合并将封装到目标结构中，从而在数据之间根据知识网络建立知识点相关联的数据集。结合知识网络对数据进行预处理，不会重复筛选无用数据，将数据集内的数据按照知识点相互关联进行标注和封装，在后续的数据预处理过程中，简化平台的计算量，大大提高了平台的工作效率。

例如，在实际应用大数据平台(卧龙大数据平台)，其包括：数据层、信息层、知识网络层和应用层，而数据预处理主要在数据层和信息层。而当用户需求为风控监测时，在数据库的知识网络库中匹配与该风控监测相关的知识网络，按照风控监测相应主题的内容(标题长度、标题内容的敏感度、知识点标题与扩展标题之间的语义相似度中至少一种)在知识网络库中匹配到至少一种知识网络，而匹配到知识网络按如下知识点：当月转呆量、呆账回收量、逾期天数、负债比率等数据建立关联，利用通用唯一识别码将对应的风险各项指标关联形成表关系视图，便于专业人员能够根据表关系视图迅速做出准确判断。

如图7所示，本发明一实施例提供的根据风险监控匹配的知识点结构图；其中，图内按照风险监控进行过滤，得到的表结构cw_risk_query、kwp_user、ncc_loan，三者之间依靠通用唯一识别码关联形成知识点相互关联的表关系视图，用于风险部门相关人员监测资产的风险状况。

如图8所示，本发明一实施例提供的根据风险监控建立的知识点关联的数据集，其中，按照风险监控检索风险监控的预警明细，将预警信息按企业名称、编号、规则大类、规则详细描述、规则名称、建议措施、手机号、预警触发时间进行表类显示，以供专职人员查看。

而在数据库中无法匹配到相应的知识网络时，则根据用户需求对常规数据进行预处理，而常规数据预处理(在主要的处理以前对数据进行的一些处理)，例如，可采用数据清理、数据集成、数据变换和数据规约等方式进行预处理。

请参阅图2，本发明一实施例提供的一种数据预处理方法流程图，包括：

在上述实施例基础，不同在于：

利用所述数据源进行业务逻辑运算形成知识点；所述知识点根据推理学习形成行业的知识网络。即，如何在数据库的知识网络库内形成相应的知识网络。

在本实施例中，所述知识点为信息中的基本单元，至少包括理论、原理、概念、定义、范例和结论等，而所述知识点的相关属性包括性质属性、作用及相互关系中的一维或几维，例如，本实施例中优选性质属性。例如，对数据源进行分析和整理，抽取出各个数据的实体类、对象属性和数据属性等本体的相关概念，按照数据之间的相关概念的属性融合生成知识点。知识点根据推理学习形成行业的知识网络，例如，采用推理机，根据各知识点之间关键词判别概念之间是否存在上下位关系；例如，采用推理机对个体类别做完整性推理，补充该盖体的缺失类别，其中，还可采用SWRL(Semantic Web Rule Language)描述用户自定义规则，用户通过定义推理规则库来实现规则推理。

在本实施例中，利用卧龙大数据平台采集行业数据，经过复杂的业务逻辑运算计算，形成无数的知识点，在经过推理学习，形成大量的知识网络，将其应用于各种复杂的业务场景，提升银行人员对业务的认知。

例如，在实际应用中，根据实际需求调用系统内预设模版将数据源转换成相应的知识网络，其中，预设模版为开发人员或技术人员提前编写的脚本，而通过数据源进行业务逻辑运算形成知识点，输出通用性的信息，根据推理学习形成行业的知识网络保存于知识网络库，便于用户了解使用。

而知识点构成相应的知识网络，在数据预处理过程中，根据知识网络将数据源分类组合构成相应的数据结构，其中，按照知识点相互关联的方式在数据之间添加标签，建立数据之间的联系，便于数据在预处理过程中，避免后续根据需求重复筛选数据，从而降低了平台反应速度。

其中，知识点相互关联的关系包括：父子关系、前导关系、后续关系、平行关系，例如，父子关系，将知识点以一定的顺序串接起来形成复合知识点，则复合知识点与子知识点的关系即为父子关系。前导关系，在学习某一知识点之前必须先学习相关的另一知识点，这两者之间的关系为前导关系。后续关系，在学习某一知识点之后，由本知识点直接支持的知识点，这两者之间就直接构成了后续关系。平行关系，处于同一层上，知识点之间无父子关系或明显相互关联关系，学习时可不分先后次序，它们之间就构成平行关系。

请参阅图3，为本发明一实施例提供的一种数据预处理装载结构图，包括：

获取模块1，用于获取用户需求；

匹配模块2，用于在知识网络库内匹配与所述用户需求相适应的知识网络；

其中，确定所述用户需求的主题；按照所述用户需求的主题在数据库匹配与其相适应的知识网络。具体地，所述主题包括：标题长度、标题内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种。

第一预处理模块3，用于如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，在数据预处理过程中建立数据之间知识点相互关联的数据集；

具体地，如果匹配到与所述用户需求相适应的知识网络时，按照所述知识网络中知识点的性质属性对数据源分类，利用ETL技术将数据按照知识点互相关联方式封装到目标结构中形成知识点之间相关联数据集。

所述知识点相互关联方式包括父子关系、前导关系、后续关系、平行关系中的至少一种。

第二预处理模块4，用于如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

请参阅图4，为本发明另一实施例提供的一种数据预处理装载结构图，包括：

知识网络模块5，利用所述数据源进行业务逻辑运算形成知识点；所述知识点根据推理学习形成行业的知识网络。

在本实施例中，该数据预处理装置执行上述方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。

图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图4所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种数据预处理方法，其特征在于，

获取用户需求；

在知识网络库内匹配与所述用户需求相适应的知识网络，对数据源进行分析和整理，抽取出各个数据的实体类、对象属性和数据属性，根据各个数据相关性进行业务逻辑运算形成知识点，所述知识点利用推理学习形成行业的知识网络；采用推理机对个体类别做完整性推理，补充该个体的缺失类别，采用SWRL描述用户自定义规则，通过定义推理规则库来实现规则推理；

如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，利用ETL技术将数据按照知识点互相关联方式封装到目标结构中形成知识点之间相关联数据集；其中，按照所述用户需求筛选知识网络库，得到表结构为cw_risk_query、kwp_user、ncc_loan，利用唯一识别码关联表结构形成知识点相互关联的表关系视图；

如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

2.根据权利要求1所述的数据预处理方法，其特征在于，所述在知识网络库 内匹配与所述用户需求相适应的知识网络的步骤，包括：

确定所述用户需求的主题；按照所述用户需求的主题在数据库匹配与其相适应的知识网络。

3.根据权利要求2所述的数据预处理方法，其特征在于，所述主题包括：标题长度、标题内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种。

4.根据权利要求1所述的数据预处理方法，其特征在于，所述知识点互相关联方式包括父子关系、前导关系、后续关系、平行关系中的至少一种。

5.一种数据预处理装置，其特征在于，

获取模块，用于获取用户需求；

匹配模块，用于在知识网络库内匹配与所述用户需求相适应的知识网络，对数据源进行分析和整理，抽取出各个数据的实体类、对象属性和数据属性，根据各个数据相关性进行业务逻辑运算形成知识点，所述知识点利用推理学习形成行业的知识网络；采用推理机对个体类别做完整性推理，补充该个体的缺失类别，采用SWRL描述用户自定义规则，通过定义推理规则库来实现规则推理；

第一预处理模块，用于如果匹配到与该用户需求相适应的知识网络时，则按照所述知识网络对数据源分类组合，利用ETL技术将数据按照知识点互相关联方式封装到目标结构中形成知识点之间相关联数据集；其中，按照所述用户需求筛选知识网络库，得到表结构为cw_risk_query、kwp_user、ncc_loan，利用唯一识别码关联表结构形成知识点相互关联的表关系视图；

第二预处理模块，用于如果无法匹配到该用户需求相适应的知识网络时，则按所述用户需求预处理相关数据。

6.根据权利要求5所述的数据预处理装置，其特征在于，所述匹配模块进一步包括：

确定所述用户需求的主题；按照所述用户需求的主题在数据库匹配与其相适应的知识网络。

7.根据权利要求6所述的数据预处理装置，其特征在于，所述主题包括：标题长度、标题内容的敏感度、知识点标题与扩展标题之间的语义相似度中的至少一种。

8.根据权利要求5所述的数据预处理装置，其特征在于，所述知识点互相关联方式包括父子关系、前导关系、后续关系、平行关系中的至少一种。

9.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-4中一个或多个所述的方法。

10.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-4中一个或多个所述的方法。

Images