CN114565443B - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：若消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据；调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。采用本方法能够及时的对交易风险做出提示。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及交易鉴证技术领域，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着交易鉴证技术的发展，出现了交易鉴证平台，通过一个统一的中台为支点，为各个财税相关业务、面向监管侧的或者被监管侧的项目，提供监管科技相关的技术服务能力。

然而当前的交易鉴证平台，在财税领域交易过程的合规监测过程中，缺乏实时性，导致信息无法及时的提醒和上报，最终导致无法规避风险。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据监测实时性的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种数据处理方法，所述方法包括：

若消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据；

调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。

在其中一个实施例中，所述调用存储于所述数据湖中的风险规则之前，包括：

基于规则引擎，确定电子交易场景中的风险规则；

将所述风险规则写入业务数据库；

通过数据工具读取所述业务数据库中的所述风险规则，并写入所述消息系统；

从所述消息系统中读取所述风险规则，并写入所述数据湖。

在其中一个实施例中，所述方法还包括：

若接收到用户发送的非结构化数据，调用所述数据湖的对象存储系统的文件存储接口，将所述非结构化数据直接存储至所述对象存储系统，所述非结构化数据包括交易文档数据。

在其中一个实施例中，所述将所述非结构化数据直接存储至所述对象存储系统之后，包括：

通过光学字符识别工具，将所述对象存储系统中的所述非结构化数据转换为结构化数据，获得所述非结构化数据对应的元数据。

在其中一个实施例中，所述对所述实时电子交易鉴证元数据进行风险匹配之前，包括：

调用存储于所述数据湖中的商户基本信息；

从所述实时电子交易鉴证元数据提取商户信息；

通过所述商户基本信息，对所述商户信息进行身份核验，确定所述商户信息对应的商户的信用或资质；

若所述信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息。

在其中一个实施例中，所述调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果，包括：

从所述实时电子交易鉴证元数据提取时间标识，确定待处理的实时电子交易鉴证元数据；

提取所述待处理的实时电子交易鉴证元数据的消费者信息、市场信息、订单信息、支付信息以及发票信息，实时计算累计交易金额、累计交易次数以及各次交易金额；

基于所述风险规则，对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果。

在其中一个实施例中，所述基于所述风险规则，对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果，包括：

将所述累计交易金额、累计交易次数以及各次交易金额分别与所述风险规则进行匹配；

若所述累计交易金额、累计交易次数以及各次交易金额中，存在任意一个与所述风险规则匹配，确定存在风险。

第二方面，本申请还提供了一种数据处理装置，所述装置包括：

数据处理模块，用于若消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据；

风险匹配模块，用于调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法的步骤。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据处理方法的步骤。

上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品，一方面，当确定消息系统中存在有实时电子交易鉴证数据时，流式计算引擎则会从消息系统中读取电子交易鉴证数据，并调用数据湖存储规范接口，对实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据，不需要达到某一具体要求后才对数据进行处理，从而实现实时电子交易鉴证数据的实时入湖，可以有效的提高数据处理的及时性，另一方面，在电子交易鉴证数据入湖后，流式计算引擎会调用数据湖中的风险规则，以此对实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果，实现风险实时提醒，帮商户有效规避风险，有助于监管机构及时有效监管。

附图说明

图1为一个实施例中数据处理方法的应用环境图；

图2为一个实施例中数据处理方法的流程示意图；

图3为一个实施例中数据处理装置的结构框图；

图4为一个实施例中计算机设备的内部结构图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的数据处理方法，可以应用于如图1所示的交易鉴证平台中。其中，交易鉴证平台，主要是通过对可信存证和风控引擎相关的技术底层能力的实现和应用，其中在涉及到财税行业时，可以为各个财税相关业务，面向监管侧或者被监管侧（如商户）的项目，提供监管科技相关的技术服务能力，以此实现财务领域交易的合规监测。

其中，交易鉴证平台可以由消息系统102、流式计算引擎104以及数据湖106等构成。其中，消息系统102可以理解为一个中间件，在交易鉴证平台与多个商户端建立了交易鉴证连接时，各商户端发送过来的实时电子交易鉴证数据可以推送至消息系统102中暂存，流式计算引擎104可以不断查询消息系统102中是否有实时电子交易鉴证数据，若查询到消息系统102中存在实时电子交易鉴证数据，流式计算引擎104可以根据数据湖106流式读取的特性，按照数据湖106的存储规范，获得实时电子交易鉴证元数据，从而实现实时入湖，并实时取出刚入湖的实时电子交易鉴证元数据，根据业务逻辑对实时电子交易鉴证元数据进行实时处理得到处理结果，最后将结果回写数据湖106等。本申请实施例中涉及到的交易鉴证平台可以运行于交易鉴证方的终端设备上，也可以运行于交易鉴证方的服务器上，其中，终端设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在其中一个实施例中，各不同的商户可以与交易鉴证平台建立交易鉴证连接，从而可以将实时电子交易鉴证数据发送至交易鉴证平台的消息系统中，当流式计算引擎查询到消息系统中存在有实时电子交易鉴证数据时，则会从消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据；最后再调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。

在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的流式计算引擎104为例进行说明，包括以下步骤：

步骤S202，若消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据。

其中，消息系统可以理解为一个中间件，在交易鉴证平台与多个商户建立了交易鉴证数据连接时，商户端发送过来的实时电子交易鉴证数据可以推送至消息系统中暂存，实时电子交易鉴证数据中可以包括商户本身的商户信息（如商户的名称、纳税识别码等），还可以包括在交易过程中涉及到的消费者信息、订单信息、支付信息、发票信息以及市场信息等，实时电子交易鉴证数据可以由商户端发送至交易鉴证平台。

其中，数据湖存储规范接口对外约定了技术规范和外部访问接口，若需要将数据存入数据湖，需要调用数据湖的数据湖存储规范接口，按照数据湖的规范和格式，对实时电子交易鉴证数据进行格式处理，具体的，在对实时电子交易鉴证数据进行处理时，可以将实时电子交易鉴证数据转换成实时电子交易鉴证元数据，其中，元数据是指按照内容结构、句法结构以及语义结构等来描述数据的结构化数据，例如，针对实时电子交易鉴证数据，可以按照元数据的定义规则，对实时电子交易鉴证数据中涉及的信息按照元素属性、数据类型、字段等进行描述。

在其中一个实施例中，流式计算引擎会不断查询消息系统中是否存在有实时电子交易鉴证数据，当确定有实时电子交易鉴证数据时，即会从消息系统中读取实时电子交易鉴证数据，并调用数据湖存储规范接口，对实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据，此时代表数据入湖完成。

步骤S204，调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。

其中，风险规则是指设定的用于判断商户端传输过来的实时电子交易鉴证数据是否存在风险的规则，风险规则可以根据交易场景（如农贸交易场景、餐饮交易场景等）下可能涉及到的交易信息（农贸交易场景涉及到的交易信息可以为单次交易额度、月交易额度、年交易额度等，餐饮交易场景涉及到的交易信息可以为单次交易额度、月交易额度、年交易额度等）进行制定，即风险规则是根据多种交易场景、以及多种交易场景下涉及到的交易信息制定的规则，由此可以对不同的实时电子交易鉴证元数据进行风险匹配。

在其中一个实施例中，以农贸市场中可能涉及到的交易信息进行风险规则的制定，相应的，风险规则可以为：农贸交易场景下单次交易金额大于5000，存在交易风险、农贸交易场景下年累计交易金额大于100万存在交易风险，若实时电子交易鉴证元数据涉及到的是农贸交易场景，则农贸交易场景下，实时电子交易鉴证元数据满足上述风险规则中的任意一个，则说明与风险规则匹配，表示存在交易风险，从而做出风险提示，具体的，对农贸交易场景下的实时电子交易鉴证元数据进行风险匹配，当存在有单次交易金额大于5000的情况时，则说明实时电子交易鉴证元数据与风险规则匹配。

其中，风险规则可以是不变的，也可以在设定一段时间后进行更新，具体的，风险规则可以预先存储于数据湖中，当实时计算引擎需要进行风险匹配时，直接从数据湖中调用即可。

由此，在其中一个实施例中，所述调用存储于所述数据湖中的风险规则之前，包括：基于规则引擎，确定电子交易场景中的风险规则；将所述风险规则写入业务数据库；通过数据工具读取所述业务数据库中的所述风险规则，并写入所述消息系统；从所述消息系统中读取所述风险规则，并写入所述数据湖。

其中，规则引擎可以是指一种嵌入在应用程序中的组件，规则引擎可以将风险规则从应用程序代码中分离出来，并使用预定义的语义模块编写风险规则，规则引擎可以接受数据输入，解释风险规则，并根据风险规则做出业务决策等。其中，业务数据库可以是指用于存储风险规则的数据库，其与规则引擎建立有数据传输通道，当规则引擎确定了电子交易场景中的风险规则后，则可以将风险规则写入业务数据库。

其中，存储于业务数据库中的风险规则，可以采用数据实时增量同步工具（如CDC工具），将风险规则拉入消息系统中，然后流式计算引擎读取消息系统中的风险规则，实现风险规则的处理，其中，CDC工具适用于需要高可用性和对数据源影响小的场景，可以捕获数据变更，以及实时获取数据，具体的，CDC工具通过将业务数据库中的风险规则进行复制，从而复制到消息系统中。

上述数据处理方法中，一方面，当确定消息系统中存在有实时电子交易鉴证数据时，流式计算引擎则会从消息系统中读取电子交易鉴证数据，并调用数据湖存储规范接口，对实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据，不需要达到某一具体要求后才对数据进行处理，从而实现实时电子交易鉴证数据的实时入湖，可以有效的提高数据处理的及时性，另一方面，在电子交易鉴证数据入湖后，流式计算引擎会调用数据湖中的风险规则，以此对实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果，实现风险实时提醒，帮商户有效规避风险，有助于监管机构及时有效监管。

在其中一个实施例中，所述方法还包括：若接收到用户发送的非结构化数据，调用所述数据湖的对象存储系统的文件存储接口，将所述非结构化数据直接存储至所述对象存储系统，所述非结构化数据包括交易文档数据。

其中，在交易场景中，非结构化数据一般是交易文档数据，如电子发票文档，格式一般为PDF或OFD，非结构化数据不像结构化数据，具备流式特点，由于数据湖的对象存储系统可以存储文档形式的数据，因此，非结构化数据一般存储进数据湖的对象存储系统中，具体的，当商户端发送过来的数据为非结构数据时，则可以直接调用对象存储系统的文件存储接口，将非结构化数据存储在对象存储系统中。其中，对象存储系统作为底层存储，一是可以实现真正的存算分离，二是比HDFS（分布式文件系统）更节省存储空间，对象存储系统使用开源系统MinIO，这是一个兼容S3协议的对象存储系统，支持私有部署和多租户部署，非结构化数据入湖后，可以起到一个存档作用，以备后期取证。

在其中一个实施例中，所述将所述非结构化数据直接存储至所述对象存储系统之后，包括：通过光学字符识别工具，将所述对象存储系统中的所述非结构化数据转换为结构化数据，获得所述非结构化数据对应的元数据。

其中，在将非结构化数据直接存储至数据湖的对象存储系统之后，可以通过光学字符识别工具（OCR工具），将对象存储系统中的非结构化数据转换为结构化数据，获得非结构化数据对应的元数据，具体的，可以采用OCR工具提取出电子发票文档中的开票金额、税额等数据，这些提取出来就是结构化数据，在结构化数据的基础上得到元数据，最终得到非结构化数据对应的元数据，从而可以使得非结构化数据也可以供分析应用。

在其中一个实施例中，所述对所述实时电子交易鉴证元数据进行风险匹配之前，包括：调用存储于所述数据湖中的商户基本信息；从所述实时电子交易鉴证元数据提取商户信息；通过所述商户基本信息，对所述商户信息进行身份核验，确定所述商户信息对应的商户的信用或资质；若所述信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息。

其中，商户基本信息可以包括多个商户的身份标识信息（如纳税识别码），以及多个商户的身份标识信息对应的职业信用数据、从业资质、违法记录以及行为检测数据等，其中，商户可以为企业，也可以为个体商家。实时电子交易凭证元数据中的商户信息是指可以用于区分不同商户的身份的信息。预设信用要求可以是指预先设定的商户的信用应当满足的信用等级，若商户的信用和资质不满足预设信用要求，则可以直接结束对该商户的风险匹配，并输出预警信息。

其中，在进行风险匹配之前，可以对实时电子交易凭证元数据中涉及到的商户进行信用或资质的验证，从而针对信用和资质不符的商户，直接无需进行风险匹配，在数据容量大的情况下，可以一定程度上减少数据量，提高数据处理效率。

在其中一个实施例中，在通过商户基本信息，对商户信息进行身份核验，确定商户信息对应的商户的信用或资质时，可以首先将商户基本信息中，涉及到的身份标识信息和实时电子交易凭证元数据中涉及到的商户的身份标识信息进行匹配，从而确定出实时电子交易鉴证元数据中，涉及到的商户对应的职业信用数据、从业资质、违法记录以及行为检测数据等，以行为检测数据为例，行为检测数据可以是商户的贷款次数，若该商户的贷款次数在某个时间段（如一个月内）大于预设的次数，则确定该商户的信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息，又如，以信用数据为例，若该商户的信用卡还贷逾期次数在某个时间段（如一年内）超过预设的次数，则确定该商户的信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息。

在其中一个实施例中，所述调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果，包括：从所述实时电子交易鉴证元数据提取时间标识，确定待处理的实时电子交易鉴证元数据；提取所述待处理的实时电子交易鉴证元数据的消费者信息、市场信息、订单信息、支付信息以及发票信息，实时累计交易金额、累计交易次数以及各次交易金额；基于所述风险规则，对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果。

其中，实时电子交易鉴证元数据携带时间标识，时间标识可以用于标识实时电子交易鉴证元数据的入湖时间，从而在进行风险匹配时，可以按照时间顺序对电子交易鉴证元数据进行风险匹配，市场信息用于反映市场的种类的信息，如餐饮市场、农贸市场等，订单信息、发票信息以及支付信息都是指涉及到的交易金额。累计交易金额是指从订单信息、发票信息以及支付信息中统计出的汇总的金额，累计交易次数是指从订单信息、发票信息以及支付信息中统计出的汇总的交易次数，各次交易金额是指从订单信息、发票信息以及支付信息中统计出的每一次的交易金额。累计交易金额以及累计交易次数可以是月累计交易金额以及月累计交易次数，也可以是年累计交易金额以及年累计交易次数，在具体计算时，可以根据实际需求(如按照年，季度，月，日等时间段)展开计算。针对每一个商户，可以计算得到，该商户在相应的市场下，累计交易金额、累计交易次数以及各次交易金额。

在其中一个实施例中，以计算月累计交易金额为例，对计算过程进行说明，月累计交易金额就是将月交易金额求和，可以通过SQL语句实现，具体的，SQL语句可以为selectsum(交易金额) from 交易记录表 where 月份=当前月。

在其中一个实施例中，所述基于所述风险规则，对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果，包括：将所述累计交易金额、累计交易次数以及各次交易金额分别与所述风险规则进行匹配；若所述累计交易金额、累计交易次数以及各次交易金额中，存在任意一个与所述风险规则匹配，确定存在风险。

其中，若实时电子交易鉴证元数据中的市场信息为农贸市场，则根据农贸市场相关信息制定的风险规则，对计算出的农贸市场中的累计交易金额、累计交易次数以及各次交易金额进行风险匹配，风险规则可以为：农贸交易场景下单次交易金额大于5000，存在交易风险、农贸交易场景下一年累计交易金额大于100万，存在交易风险，若满足上述其中的任意一个，则说明与风险规则匹配，表示存在交易风险，从而做出风险提示。

以下实施例为一个具体实施例中的数据处理方法的过程说明：

本实施例中涉及到交易鉴证平台以及商户端，商户端与交易鉴证平台建立有交易鉴证连接。

当商户需要进行交易鉴证时，可以向交易鉴证平台发送实时电子交易鉴证数据，具体的，实时电子交易鉴证数据中可以包括商户本身的商户信息（如商户的名称、纳税识别码等），还可以包括在产生交易的过程中涉及到的消费者信息、订单信息、支付信息以及发票信息，还可以包括市场信息等。

商户端传输过来的实时电子交易鉴证数据可以先发送至消息系统，流式计算引擎会不断查询消息系统中是否存在有实时电子交易鉴证数据，当确定有实时电子交易鉴证数据时，即会从消息系统中读取实时电子交易鉴证数据，并调用数据湖存储规范接口，对实时电子交易鉴证数据进行格式处理，具体的，在对实时电子交易鉴证数据进行格式处理时，可以将实时电子交易鉴证数据转换成实时电子交易鉴证元数据，其中，元数据是指按照内容结构、句法结构以及语义结构等来描述数据的结构化数据，例如，针对实时电子交易鉴证数据，可以按照元数据的定义规则，对实时电子交易鉴证数据中涉及的信息按照元素属性、数据类型、字段等进行描述。获得实时电子交易鉴证元数据，此时代表数据入湖完成。

然后实时计算引擎可以对实时电子交易凭证元数据中涉及到的商户进行信用或资质的验证，从而针对信用和资质不符的商户，直接无需进行风险匹配，在数据容量大的情况下，可以一定程度上减少数据量，提高数据处理效率。具体的，在通过商户基本信息，对商户信息进行身份核验，确定商户信息对应的商户的信用或资质时，可以首先将商户基本信息中的涉及到的身份标识信息和实时电子交易凭证元数据中涉及到的商户的身份标识信息进行匹配，从而确定出实时电子交易鉴证元数据中，涉及到的商户对应的职业信用数据、从业资质、违法记录以及行为检测数据等，以行为检测数据为例，行为检测数据可以是商户的贷款次数，若该商户的贷款次数大于预设次数（预设次数可以为10次），则确定该商户的信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息，又如，以信用数据为例，若该商户的信用卡还贷逾期次数超过预设次数（预设次数可以为3次），则确定该商户的信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息。

最后，调用存储于所述数据湖中的风险规则，对实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。其中，其中，风险规则是指设定的用于判断商户端传输过来的实时电子交易鉴证数据是否存在风险的规则，风险规则可以根据交易场景（如农贸交易场景、餐饮交易场景等）下可能涉及到的交易信息（农贸交易场景涉及到的交易信息可以为单次交易额度、月交易额度、年交易额度等，餐饮交易场景涉及到的交易信息可以为单次交易额度、月交易额度、年交易额度等）进行制定，即风险规则是根据多种交易场景、以及多种交易场景下涉及到的交易信息制定的规则，由此可以对不同的实时电子交易鉴证元数据进行风险匹配。以农贸市场中可能涉及到的交易信息进行风险规则的制定，相应的，风险规则可以为：农贸交易场景下单次交易金额大于5000，存在交易风险、农贸交易场景下年累计交易金额大于100万存在交易风险，若实时电子交易鉴证元数据涉及到的是农贸交易场景，则农贸交易场景下，实时电子交易鉴证元数据满足上述风险规则中的任意一个，则说明与风险规则匹配，表示存在交易风险，从而做出风险提示，具体的，对农贸交易场景下的实时电子交易鉴证元数据进行风险匹配，当存在有单次交易金额大于5000的情况时，则说明实时电子交易鉴证元数据与风险规则匹配。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种数据处理装置，包括：数据处理模块和风险匹配模块；

数据处理模块302，用于若消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据。

风险匹配模块304，用于调用存储于所述数据湖中的风险规则，对所述实时电子交易鉴证元数据进行风险匹配，获得风险匹配结果。

在其中一个实施例中，所述装置还包括：风险规则入湖模块；

所述风险规则入湖模块，用于基于规则引擎，确定电子交易场景中的风险规则；将所述风险规则写入业务数据库；通过数据工具读取所述业务数据库中的所述风险规则，并写入所述消息系统；从所述消息系统中读取所述风险规则，并写入所述数据湖。

在其中一个实施例中，所述装置还包括：非结构化数据入湖模块；

所述非结构化数据入湖模块，用于若接收到用户发送的非结构化数据，调用所述数据湖的对象存储系统的文件存储接口，将所述非结构化数据直接存储至所述对象存储系统，所述非结构化数据包括交易文档数据。

在其中一个实施例中，所述装置还包括：数据转换模块；

所述数据转换模块，用于通过光学字符识别工具，将所述对象存储系统中的所述非结构化数据转换为结构化数据，获得所述非结构化数据对应的元数据。

在其中一个实施例中，所述装置还包括：信用鉴证模块；所述信用鉴证模块，用于调用存储于所述数据湖中的商户基本信息；从所述实时电子交易鉴证元数据提取商户信息；通过所述商户基本信息，对所述商户信息进行身份核验，确定所述商户信息对应的商户的信用或资质；若所述信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息。

在其中一个实施例中，所述风险匹配模块，用于从所述实时电子交易鉴证元数据提取时间标识，确定待处理的实时电子交易鉴证元数据；提取所述待处理的实时电子交易鉴证元数据的消费者信息、市场信息、订单信息、支付信息以及发票信息，实时计算累计交易金额、累计交易次数以及各次交易金额；基于所述风险规则，对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果。

在其中一个实施例中，所述风险匹配模块，用于将所述累计交易金额、累计交易次数以及各次交易金额分别与所述风险规则进行匹配；若所述累计交易金额、累计交易次数以及各次交易金额中，存在任意一个与所述风险规则匹配，确定存在风险。

上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储风险规则数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4和图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述数据处理方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述数据处理方法的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据处理方法的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，其特征在于，应用于交易鉴证平台中的流式计算引擎，所述交易鉴证平台还包括消息系统和数据湖，所述方法包括：

所述流式计算引擎不断查询消息系统中是否存在有实时电子交易鉴证数据；其中，所述交易鉴证平台与多个商户端建立了交易鉴证连接时，各商户端发送过来的实时电子交易鉴证数据被推送至所述消息系统中暂存；

若流式计算引擎查询到消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据；

所述流式计算引擎从所述实时电子交易鉴证元数据的提取时间标识，确定待处理的实时电子交易鉴证元数据，所述时间标识用于标识实时电子交易鉴证元数据的入湖时间；

所述流式计算引擎提取所述待处理的实时电子交易鉴证元数据的消费者信息、市场信息、订单信息、支付信息以及发票信息，实时计算累计交易金额、累计交易次数以及各次交易金额；

所述流式计算引擎调用存储于所述数据湖中的风险规则，根据所述待处理的实时电子交易鉴证元数据所属交易场景对应制定的风险规则，按照时间顺序对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果；

其中，所述风险规则的生成步骤包括：

基于规则引擎，确定交易场景中的风险规则，并将所述风险规则写入业务数据库；所述风险规则为根据多个交易场景、以及与各所述交易场景下涉及到的交易信息制定的规则；通过数据工具读取所述业务数据库中的所述风险规则，并写入所述消息系统；

所述流式计算引擎从所述消息系统中读取所述风险规则，并写入所述数据湖。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若接收到用户发送的非结构化数据，调用所述数据湖的对象存储系统的文件存储接口，将所述非结构化数据直接存储至所述对象存储系统，所述非结构化数据包括交易文档数据。

3.根据权利要求2所述的方法，其特征在于，所述将所述非结构化数据直接存储至所述对象存储系统之后，包括：

通过光学字符识别工具，将所述对象存储系统中的所述非结构化数据转换为结构化数据，获得所述非结构化数据对应的元数据。

4.根据权利要求1所述的方法，其特征在于，所述对所述实时电子交易鉴证元数据进行风险匹配之前，包括：

调用存储于所述数据湖中的商户基本信息；

从所述实时电子交易鉴证元数据提取商户信息；

通过所述商户基本信息，对所述商户信息进行身份核验，确定所述商户信息对应的商户的信用或资质；

若所述信用或资质不满足预设信用要求，结束风险匹配，并输出预警信息。

5.根据权利要求1所述的方法，其特征在于，所述基于所述风险规则，对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果，包括：

将所述累计交易金额、累计交易次数以及各次交易金额分别与所述风险规则进行匹配；

若所述累计交易金额、累计交易次数以及各次交易金额中，存在任意一个与所述风险规则匹配，确定存在风险。

6.一种数据处理装置，其特征在于，应用于交易鉴证平台中的流式计算引擎，所述交易鉴证平台还包括消息系统和数据湖，所述装置包括：

数据处理模块，用于不断查询消息系统中是否存在有实时电子交易鉴证数据；其中，所述交易鉴证平台与多个商户端建立了交易鉴证连接时，各商户端发送过来的实时电子交易鉴证数据被推送至所述消息系统中暂存，若消息系统中存在实时电子交易鉴证数据，从所述消息系统中读取所述实时电子交易鉴证数据，并调用数据湖存储规范接口，对所述实时电子交易鉴证数据进行格式处理，获得实时电子交易鉴证元数据；

风险匹配模块，用于从所述实时电子交易鉴证元数据的提取时间标识，所述时间标识用于标识实时电子交易鉴证元数据的入湖时间，确定待处理的实时电子交易鉴证元数据；提取所述待处理的实时电子交易鉴证元数据的消费者信息、市场信息、订单信息、支付信息以及发票信息，实时计算累计交易金额、累计交易次数以及各次交易金额；调用存储于所述数据湖中的风险规则，根据所述待处理的实时电子交易鉴证元数据所属交易场景对应制定的风险规则，按照时间顺序对所述累计交易金额、累计交易次数以及各次交易金额进行风险匹配，获得风险匹配结果，所述风险规则为根据多个交易场景、以及与各所述交易场景下涉及到的交易信息制定的规则；

所述风险规则入湖模块，用于基于规则引擎，确定交易场景中的风险规则，并将所述风险规则写入业务数据库；所述风险规则为根据多个交易场景、以及与各所述交易场景下涉及到的交易信息制定的规则；通过数据工具读取所述业务数据库中的所述风险规则，并写入所述消息系统；从所述消息系统中读取所述风险规则，并写入所述数据湖。

7.根据权利要求6所述的数据处理装置，其特征在于，所述装置还包括：非结构化数据入湖模块；所述非结构化数据入湖模块，用于若接收到用户发送的非结构化数据，调用所述数据湖的对象存储系统的文件存储接口，将所述非结构化数据直接存储至所述对象存储系统，所述非结构化数据包括交易文档数据。

8.根据权利要求6所述的数据处理装置，其特征在于，所述装置还包括：数据转换模块；所述数据转换模块，用于通过光学字符识别工具，将对象存储系统中的非结构化数据转换为结构化数据，获得所述非结构化数据对应的元数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images