CN109784736A - 一种基于大数据的分析决策系统 - Google Patents

Abstract

本发明公开了一种基于大数据的分析决策系统，包括客户端录入单元，大数据获取单元，大数据清洗单元，大数据分配单元，大数据监控单元，分析决策单元和大数据整合输出单元，客户端录入单元用于接入业务流程中用户提交的各项数据的终端前端页面，大数据监控单元对重要业务数据进行实时监控，大数据获取单元接收数据信息进行预处理，生成任务订单并进行区分，向大数据监控单元请求相应业务数据，大数据清洗单元将大数据获取单元获得原始数据存入数据仓库中。该基于大数据的分析决策系统，能够利用自身内部系统和三方的海量数据通过多样性的规则集来对提高分析系统的分析决策能力，所需时效更短，效率更高。

Description

一种基于大数据的分析决策系统

技术领域

本发明属于互联网科技技术领域，具体涉及一种基于大数据的分析决策系统。

背景技术

随着互联网的蓬勃发展，大数据引起了产业界、科技界和政府部门的高度关注。由于大数据隐含着巨大的社会、经济、科研价值，已引起了各行各业的高度重视。大数据时代的到来对各行各业提出了更高的挑战。

由于大数据具备量大、价值稀疏、时效性强等特点，对以往的信息架构和系统的冲击是不言而喻。大数据的来源广泛和类型复杂，在实际应用时依据大数据进行的分析决策需要更加快速。

发明内容

本发明的目的在于提供一种基于大数据的分析决策系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于大数据的分析决策系统，包括客户端录入单元，大数据获取单元，大数据清洗单元，大数据分配单元，大数据监控单元，分析决策单元和大数据整合输出单元；

客户端录入单元：用于接入业务流程中用户提交的各项数据的终端前端页面；

大数据监控单元：对已在线上运行的用户、商户的重要业务数据进行实时监控，将异常商户、用户进行标记，并将监控数据应用到分析决策单元中；

大数据获取单元：分为三部分，第一部分接收客户端用户提交的各类数据信息以及订单请求并对接收到的数据进行预处理，根据请求及数据信息生成任务订单；第二部分根据生成的订单类型进行区分，向第三方平台请求相应数据，用到分析决策单元中；第三部分根据生成的订单类型进行区分，向大数据监控单元请求相应业务数据，用到分析决策单元中；

大数据清洗单元：将大数据获取单元获得的三部分原始数据中的字段格式按照输出要求转换为内部规定格式，依据业务要求对原始数据中的字段进行拆解，对拆解后的字段进行格式验证，对原始数据依据业务要求将无法匹配的数据转换成相应的默认值，将数据存入数据仓库中，以关系型数据结构存储，并将敏感数据进行加密处理；

大数据分配单元：指后台系统根据订单上包含的各类属以相应的逻辑算法进行归类，将交易数据按照所属的分析决策规则流程分发到部署有对应的规则集的处理节点中进行匹配处理；

分析决策单元：各分析决策节点在接收到大数据分配单元输入的数据后，对数据进行逻辑加工，依据策略模型组合成多维度，再通过预先设置的分析策略，规则对每一个维度进行判断处理，从不同维度预估出用户未知信息的轨迹和内容，将判断和预估的结果以规定的格式输入到大数据统计整合单元；

大数据整合输出单元：接收到大数据统计整合单元输入的分析结果后，按照特定算法包括额度算法、期望最大化算法、线性模型算法、疏松时间序列算法中的一种或多种，对各维度的分析结果进行整合输出，将输出结果发送到客户终端。

优选的，该分析决策系统步骤包括：

S1：用户从客户端应用软件中发起业务申请，并填写相关资料，包括用户基本信息、本人及相关人员联系方式、工作信息，在获取到用户的相关数据后，获得基础分析结果；

S2：客户端请求服务端，将获取到的基础数据上传至服务端，传输过程中对数据进行加密处理，加密方式包括但不限于AES、RSA，之后以用户为维度创建请求订单；

S3：订单请求创建后，系统还需向三方平台和内部线上业务数据接口获取进一步的分析数据，获取到相应数据后，整合清洗各类分析数据，汇总到对应到数据表；

S4：分析决策数据清洗存储后，以订单上的某一些属性为维度，对订单进行分类，以发送订单到不同的决策规则集中；

S5：订单被分配到所属决策节点后，系统开始对用户的各种信息进行评判；

S6：评判完成根据决策结果生成报告，随后服务端将决策结果发送到S1中的客户端，用户接收到决策结果后，整个大数据分析决策流程结束。

本发明的技术效果和优点：该基于大数据的分析决策系统，从客户端用户、三方数据平台、数据仓库来获取分析大数据，并将这些数据以一定的格式存入分析数据仓库，从中提取出符合分析决策规则集的策略数据，再将数据以不同的规则组合成多个维度，以多个维度来判断分析，最后生成分析决策报告，分析决策报告输出到用户终端，能够利用自身内部系统和三方的海量数据通过多样性的规则集来对提高分析系统的分析决策能力，所需时效更短，效率更高。

附图说明

图1为本发明分析决策方法应用流程图；

图2为本发明的系统结构框图；

图3为本发明分析决策方法的子步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，但是，这并不是固定的运用模式，对其中加以修改可以组合成新的实施案列。所以，以本发明为基础作一些修改调整，均属于本发明要求保护的范围。

本发明提供了如图1-3所示的一种基于大数据的分析决策系统，包括客户端录入单元，大数据获取单元，大数据清洗单元，大数据分配单元，大数据监控单元，分析决策单元和大数据整合输出单元；

客户端录入单元：用于接入业务流程中用户提交的各项数据的终端前端页面；

大数据监控单元：对已在线上运行的用户、商户的重要业务数据进行实时监控，将异常商户、用户进行标记，并将监控数据应用到分析决策单元中，以此丰富整个分析模型，更好的控制风险；

大数据获取单元：分为三部分，第一部分接收客户端用户提交的各类数据信息以及订单请求并对接收到的数据进行预处理，根据请求及数据信息生成任务订单；第二部分根据生成的订单类型进行区分，向第三方平台请求相应数据，用到分析决策单元中；第三部分根据生成的订单类型进行区分，向大数据监控单元请求相应业务数据，用到分析决策单元中；

大数据清洗单元：将大数据获取单元获得的三部分原始数据中的字段格式按照输出要求转换为内部规定格式，依据业务要求对原始数据中的字段进行拆解，对拆解后的字段进行格式验证，对原始数据依据业务要求将无法匹配的数据转换成相应的默认值，将数据存入数据仓库中，以关系型数据结构存储，并将敏感数据进行加密处理；

大数据分配单元：指后台系统根据订单上包含的各类属以相应的逻辑算法进行归类，将交易数据按照所属的分析决策规则流程分发到部署有对应的规则集的处理节点中进行匹配处理；

分析决策单元：各分析决策节点在接收到大数据分配单元输入的数据后，对数据进行逻辑加工，依据策略模型组合成多维度，再通过预先设置的分析策略，规则对每一个维度进行判断处理，从不同维度预估出用户未知信息的轨迹和内容，将判断和预估的结果以规定的格式输入到大数据统计整合单元；

大数据整合输出单元：接收到大数据统计整合单元输入的分析结果后，按照特定算法包括额度算法、期望最大化算法、线性模型算法、疏松时间序列算法中的一种或多种，对各维度的分析结果进行整合输出，将输出结果发送到客户终端。

具体的，该分析决策系统步骤包括：

S1：用户从客户端应用软件中发起业务申请，并填写相关资料，客户端可以是各种终端设置，比如智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备，包括用户基本信息(年龄、性别、民族、学历、人像照片、省份等)、本人及相关人员联系方式、消费记录(消费方式、是否有过信贷业务、个人资产、履约等)、工作信息(职业、收入、工作地点、公司性质、行业等)，在获取到用户的相关数据后，获得基础分析结果；

S2：客户端请求服务端，将获取到的基础数据上传至服务端(服务端可以是单一服务器，也可以是多个服务器组成的集群)，由于用户的基础数据涉及到个人详细信息，所以出于信息安全的考虑，传输过程中对数据进行加密处理，加密方式包括但不限于AES(高级加密标准)、RSA(非对称加密算法)，之后以用户为维度创建请求订单，具体实施中，可以根据用户使用场景开发出相应的软件系统，客户端软件可以是APP(手机应用软件)，也可以是网页服务形式，且需要开发出一套业务后台系统安装在服务器中，前两步便可交互完成；

S3：订单请求创建后，系统还需向三方平台和内部线上业务数据接口获取进一步的分析数据，获取到相应数据后，整合清洗各类分析数据，汇总到对应到数据表；

其中，对数据进行清洗的步骤至少为以下的一种：

1、对从三方平台获取的数据进行有规则的格式存储，比如调取用户手机在网时长，消费档次等数据，多个平台输出的结果有可能不同，这时就在内部系统需要对这些字段进行格式转换；

2、如果用户提交的数据中有空值字段存在，则需要将空值字段替换为特定数据；

3、对于时间，数值或者其余特殊类型格式字段，内部系统需要按照规则的格式转换再存储；

4、一些特殊的字段需要将其进行拆分存储才具有实际意义，比如用户的身份证号码，拆分后前六位代表省市区，中间可以计算年龄，第十七位可以判断性别，又或者用户提交的地址信息，拆分后验证格式，手机号码也可进行拆分，以此判断区域和所属运营商。

S4：分析决策数据清洗存储后，以订单上的某一些属性为维度，对订单进行分类，以发送订单到不同的决策规则集中；

S5：订单被分配到所属决策节点后，系统开始按照分析决策引擎对用户的各种信息进行评判，针对不同类型的业务，设置不同类型的分析规则，规则集，处理节点，分析决策引擎是一堆分析规则的集合，通过不同的分支、层层规则的递进关系进行运算。在大数据的背景之下，分析决策引擎的目的是梳理众多的数据来源，根据不同的业务场景和业务模式灵活配置，是辅助风险审批的一种系统化的工具；

S6：评判完成根据决策结果生成报告，随后服务端将决策结果发送到S1中的客户端，用户接收到决策结果后，整个大数据分析决策流程结束。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于大数据的分析决策系统，包括客户端录入单元，大数据获取单元，大数据清洗单元，大数据分配单元，大数据监控单元，分析决策单元和大数据整合输出单元，其特征在于：

客户端录入单元：用于接入业务流程中用户提交的各项数据的终端前端页面；

大数据监控单元：对已在线上运行的用户、商户的重要业务数据进行实时监控，将异常商户、用户进行标记，并将监控数据应用到分析决策单元中；

大数据获取单元：分为三部分，第一部分接收客户端用户提交的各类数据信息以及订单请求并对接收到的数据进行预处理，根据请求及数据信息生成任务订单；第二部分根据生成的订单类型进行区分，向第三方平台请求相应数据，用到分析决策单元中；第三部分根据生成的订单类型进行区分，向大数据监控单元请求相应业务数据，用到分析决策单元中；

大数据清洗单元：将大数据获取单元获得的三部分原始数据中的字段格式按照输出要求转换为内部规定格式，依据业务要求对原始数据中的字段进行拆解，对拆解后的字段进行格式验证，对原始数据依据业务要求将无法匹配的数据转换成相应的默认值，将数据存入数据仓库中，以关系型数据结构存储，并将敏感数据进行加密处理；

大数据分配单元：指后台系统根据订单上包含的各类属以相应的逻辑算法进行归类，将交易数据按照所属的分析决策规则流程分发到部署有对应的规则集的处理节点中进行匹配处理；

分析决策单元：各分析决策节点在接收到大数据分配单元输入的数据后，对数据进行逻辑加工，依据策略模型组合成多维度，再通过预先设置的分析策略，规则对每一个维度进行判断处理，从不同维度预估出用户未知信息的轨迹和内容，将判断和预估的结果以规定的格式输入到大数据统计整合单元；

大数据整合输出单元：接收到大数据统计整合单元输入的分析结果后，按照特定算法包括额度算法、期望最大化算法、线性模型算法、疏松时间序列算法中的一种或多种，对各维度的分析结果进行整合输出，将输出结果发送到客户终端。

2.根据权利要求1所述的一种基于大数据的分析决策系统，其特征在于：该分析决策系统步骤包括：

S1：用户从客户端应用软件中发起业务申请，并填写相关资料，包括用户基本信息、本人及相关人员联系方式、工作信息，在获取到用户的相关数据后，获得基础分析结果；

S2：客户端请求服务端，将获取到的基础数据上传至服务端，传输过程中对数据进行加密处理，加密方式包括但不限于AES、RSA，之后以用户为维度创建请求订单；

S3：订单请求创建后，系统还需向三方平台和内部线上业务数据接口获取进一步的分析数据，获取到相应数据后，整合清洗各类分析数据，汇总到对应到数据表；

S4：分析决策数据清洗存储后，以订单上的某一些属性为维度，对订单进行分类，以发送订单到不同的决策规则集中；

S5：订单被分配到所属决策节点后，系统开始对用户的各种信息进行评判；

S6：评判完成根据决策结果生成报告，随后服务端将决策结果发送到S1中的客户端，用户接收到决策结果后，整个大数据分析决策流程结束。