CN109918389B - 基于消息流和图数据库的数据风控方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于消息流和图数据库的数据风控方法，包括：接收目标用户发起的数据源查询指令，根据数据源查询指令抓取数据队列流；以抓取到的数据队列流形成数据源列表，并根据数据源列表确认所述目标用户进行数据处理的目标数据源；接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；将执行所述数据获取计划得到的数据结果存储至预设的图数据库。本发明还公开了一种基于消息流和图数据库的数据风控装置及存储介质。本发明应用实时数据队列流实现基于数据源的风控指标、关键数据的实时查询更新，同时，将查询结果存储至图数据中以利用图数据库可以对数据之间的关系进行数据挖掘及分析，以实现提高数据风控效率的有益效果。

Description

基于消息流和图数据库的数据风控方法、装置及存储介质

技术领域

本发明涉及数据管理领域，尤其涉及一种基于消息流和图数据库的数据风控方法、装置及存储介质。

背景技术

传统大数据架构下，因数据量大，统计指标多，计算耗时长导致风控指标、关键数据的更新常有一定的延后性，对风控效果造成了一定的影响，而传统的数据库在面对团伙作案的分析、挖掘时也显得无所适从，需要编写大量的代码并且无法及时得到结果。因而在实现数据风控时，其风控效果低下不能满足用户使用。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于消息流和图数据库的数据风控方法，旨在解决现有技术中传统的大数据架构，在进行基于消息流和图数据库的数据风控时由于数据架构复杂造成的风控效率低下的技术问题。

为实现上述目的，本发明提供一种基于消息流和图数据库的数据风控方法，包括以下内容：

接收目标用户发起的数据源查询指令，根据所述数据源查询指令抓取数据队列流；

以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源；

接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；

将执行所述数据获取计划得到的数据结果存储至预设的图数据库。

优选地，所述以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源的步骤，还包括：

接收目标用户的数据源新建指令；

根据所述数据源新建指令创建所述目标用户进行数据处理的目标数据源。

优选地，所述接收所述目标用户基于所述目标数据源发起的数据获取计划并执行的步骤，还包括：

获取所述数据获取计划对应的SQL语句，其中，所述SQL语句包括编写SQL语句及预设的封装SQL语句；

执行获取到的所述SQL语句。

优选地，所述将执行所述数据获取计划得到的数据结果存储至预设的图数据库的步骤，还包括：

接收数据结果存储指令，根据所述数据结果存储指令将所述数据结果存储至预设的图数据库。

优选地，所述将执行所述数据获取计划得到的数据结果存储至预设的图数据库的步骤，还包括：

以预设格式显示执行所述数据获取计划的得到的数据结果。

优选地，所述以预设格式显示执行所述数据获取计划的得到的数据结果的步骤，还包括：

确认所述数据结果的数据量；

在确认所述数据量大于预设数量时，以预设方式显示所述数据结果。

优选地，所述基于消息流和图数据库的数据风控方法，还包括：

获取所述目标用户的登录信息，根据所述登录信息确认所述目标用户的数据操作权限；

根据所述数据操作权限抓取数据队列流。

此外，为实现上述目的，本发明还提供一种基于消息流和图数据库的数据风控装置，所述基于消息流和图数据库的数据风控装置包括：存储器、处理器，所述存储器上存储有能够被处理器调用的计算机程序，所述计算机程序被所述处理器执行时实现如上所述基于消息流和图数据库的数据风控方法的步骤。

本发明还提供一种存储介质，所述存储介质上存储有基于消息流和图数据库的数据风控程序，所述基于消息流和图数据库的数据风控程序被处理器执行时实现如上所述基于消息流和图数据库的数据风控方法的步骤。

本发明实施例提出的一种基于消息流和图数据库的数据风控方法，目标用户在登录后发起数据源查询指令，根据目标用户发起的数据源查询指令抓取数据队列流；以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源；接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；将执行所述数据获取计划得到的数据结果存储至预设的图数据库。其中，数据队列流为实时的，因此，在应用时由于网络情况可能包括离线批处理和实时流处理。如此，通过离线批处理和实时流处理抓取数数据队列流，进而通过数据队列流实现基于数据源的风控指标、关键数据的实时查询及更新，同时，将查询结果存储至图数据中以利用图数据库可以对数据之间的关系进行更深层次的数据挖掘及分析，进而实现提高基于消息流和图数据库的数据风控效率的有益效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；

图2为本发明基于消息流和图数据库的数据风控方法第一实施例的流程示意图；

图3为本发明基于消息流和图数据库的数据风控方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：接收目标用户发起的数据源查询指令，根据所述数据源查询指令抓取数据队列流；以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源；接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；将执行所述数据获取计划得到的数据结果存储至预设的图数据库。

由于现有技术中传统的大数据架构，在进行数据风控时由于数据架构复杂造成的风控效率低下。

本发明提供一种解决方案，通过数据队列流的形式使用户确定处理的目标数据源，使得应用实时数据队列流实现基于数据源的风控指标、关键数据的实时查询及更新，同时，将查询结果存储至图数据中以利用图数据库可以对数据之间的关系进行更深层次的数据挖掘及分析，进而实现提高数据风控效率的有益效果。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器，便携计算机等可移动式或不可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于消息流和图数据库的数据风控程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于消息流和图数据库的数据风控程序，并执行以下操作：

接收目标用户发起的数据源查询指令，根据所述数据源查询指令抓取数据队列流；

以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源；

接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；

将执行所述数据获取计划得到的数据结果存储至预设的图数据库。

进一步地，处理器1001可以调用存储器1005中存储的基于消息流和图数据库的数据风控程序，还执行以下操作：

接收目标用户的数据源新建指令；

根据所述数据源新建指令创建所述目标用户进行数据处理的目标数据源。

进一步地，处理器1001可以调用存储器1005中存储的基于消息流和图数据库的数据风控程序，还执行以下操作：

获取所述数据获取计划对应的SQL语句，其中，所述SQL语句包括编写SQL语句及预设的封装SQL语句；

执行获取到的所述SQL语句。

进一步地，处理器1001可以调用存储器1005中存储的基于消息流和图数据库的数据风控程序，还执行以下操作：

接收数据结果存储指令，根据所述数据结果存储指令将所述数据结果存储至预设的图数据库。

进一步地，处理器1001可以调用存储器1005中存储的基于消息流和图数据库的数据风控程序，还执行以下操作：

以预设格式显示执行所述数据获取计划的得到的数据结果。

进一步地，处理器1001可以调用存储器1005中存储的基于消息流和图数据库的数据风控程序，还执行以下操作：

确认所述数据结果的数据量；

在确认所述数据量大于预设数量时，以预设方式显示所述数据结果。

进一步地，处理器1001可以调用存储器1005中存储的基于消息流和图数据库的数据风控程序，还执行以下操作：

获取所述目标用户的登录信息，根据所述登录信息确认所述目标用户的数据操作权限；

根据所述数据操作权限抓取数据队列流。

参照图2，图2为本发明基于消息流和图数据库的数据风控方法第一实施例的流程示意图，所述基于消息流和图数据库的数据风控方法包括：

步骤S10，接收目标用户发起的数据源查询指令，根据所述数据源查询指令抓取数据队列流；

目标用户在登录后发起数据源查询指令，所述数据源查询指令为基于当前的消息队列抓取页面所发起的。在接收到所述目标用户发起的数据源查询指令后，根据所述数据源查询指令抓取数据队列流。其中，所述数据队列流，指线性表形式的数据流，一般具备实时的特性，如此，在实际应用中，目标用户发起数据源查询指令后，根据所述数据源查询指令的发起时间抓取符合所述发起时间的数据队列流。

步骤S20，以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源；

在抓取到相关的数据队列流后，将所述数据队列流形成数据源列表，在实际应用中，以数据队列流形成数据源列表的方式，可定义为以文字实现所述数据队列流的内容的方式。因此，所述数据队列流形成的数据源列表，为符合目标用户进行数据处理的数据队列流的数据内容。进一步的，为所述目标用户显示所述数据源列表，以使所述目标用户根据所述数据源列表确认需进行数据处理的目标数据源，其目标用户确认进行数据处理的目标数据源的方式，可通过所述目标用户直接选取显示的数据源列表中的某一数据源作为目标数据源；或者，在所述目标用户确认当前的数据源列表中没有需进行数据处理的目标数据源时，可发起数据源新建指令用以新建目标数据源。

如上所述，目标用户通过发起数据源新建指令以创建目标数据源，即所述以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源的步骤，还包括：

接收目标用户的数据源新建指令；

根据所述数据源新建指令创建所述目标用户进行数据处理的目标数据源。

接收目标用户发起的数据源新建指令，根据所述数据源新建指令创建所述目标用户需新建的目标数据源，进一步的，在新建所述目标数据源时，可通过显示数据源新建页面实现所述目标数据源的新建操作，且所述数据源新建页面，为基于当前数据源具备的信息所构建的，因此，在所述数据源新建页面中可新建完成的数据源，以新建的数据源作为所述目标用户进行数据处理的数据源。

步骤S30，接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；

根据已选定的目标数据源，接收目标用户基于所述目标数据源发起的数据获取计划，所述数据获取计划为基于当前已选定的目标数据源所创建的数据操作内容，因此，其数据获取计划可包括但不限于对所述数据源的数据操作、数据获取、数据编辑等。如此，根据接收到的所述数据获取计划，执行所述数据获取计划的计划内容，在实际应用中，数据存储及数据操作一般以数据库的形式表现，因此，在目标用户需执行数据获取计划对目标数据源进行数据操作时，可通过执行对应的SQL语句实现，而SQL语句SQL即结构化查询语言(Structured Query Language)，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名，如此，SQL语句在实际应用中具备专业性，即目标用户需具备一定的编程能力才能编写，考虑到目标用户的受众，其实现所述数据获取计划的SQL语句可包括当前编写的具备针对性及专业性的SQL语句以及实现数据获取计划的预先封装的SQL语句，如此，在实现所述数据获取计划时，通过获取所述数据获取计划对应的SQL语句并执行实现，即所述接收所述目标用户基于所述目标数据源发起的数据获取计划并执行的步骤，还包括：

获取所述数据获取计划对应的SQL语句，其中，所述SQL语句包括编写SQL语句及预设的封装SQL语句；

执行获取到的所述SQL语句。

根据接收到的所述数据获取计划，获取所述数据获取计划对应的SQL语句，如上所述，考虑到数据处理的受众，其获取到的SQL语句包括编写的SQL语句以及预设的封装SQL语句，执行获取到的所述SQL语句实现所述数据计划的数据操作内容。

步骤S40，将执行所述数据获取计划得到的数据结果存储至预设的图数据库。

根据当前执行的数据获取计划，将所述数据获取计划的执行结果，即得到的数据结果存储在预设的图数据库中，以通过图数据库的特性对执行所述数据获取计划得到的所述操作结果进行深层次的业务风险预警和数据分析等操作，所述图数据库，也定义为图形数据库，图形数据库是NoSQL数据库的一种类型，它应用图形理论存储实体之间的关系信息。图形数据库是一种非关系型数据库，它应用图形理论存储实体之间的关系信息。在将执行所述数据获取计划得到的数据结果存储至预设的图数据库时，需确认目标用户的操作实现，即需用户发起数据存储指令，以实现所述数据结果的存储，在发起数据存储指令时，可通过预设的数据存储按钮或者命令实现，即所述将执行所述数据获取计划得到的数据结果存储至预设的图数据库的步骤，还包括：

接收数据结果存储指令，根据所述数据结果存储指令将所述数据结果存储至预设的图数据库。

另外，在执行所述数据获取计划得到数据结果时，考虑到目标用户的使用，需显示得到的所述数据结果，即所述将执行所述数据获取计划得到的数据结果存储至预设的图数据库的步骤，还包括：

以预设格式显示执行所述数据获取计划的得到的数据结果。

在执行数据获取计划后，将得到的数据结果以预设格式显示，其中，考虑到数据显示的压力，为保证目标用户得到良好的使用感，一般可通过验证数据结果的数据量确定当前数据结果的显示数量，如此，所述以预设格式显示执行所述数据获取计划的得到的数据结果的步骤，还包括：

确认所述数据结果的数据量；

在确认所述数据量大于预设数量时，以预设方式显示所述数据结果。

统计执行数据获取计划得到的数据结果的数据量大小，并确认所述数据量是否大于预设数量，在确认所述数据量大于预设数量时，以预设方式显示所述数据结果，其中，所述预设方式包括但不限于显示所述数据结果的部分内容，以保证数据显示的即时性。进一步的，所述预设数量，为已限定的基于当前的数据显示压力的极限数值。

在本实施例中，通过数据队列流的形式使用户确定处理的目标数据源，使得应用实时数据队列流实现基于数据源的风控指标、关键数据的实时查询及更新，同时，将查询结果存储至图数据中以利用图数据库可以对数据之间的关系进行更深层次的数据挖掘及分析，进而实现提高基于消息流和图数据库的数据风控效率的有益效果。

参考图3，图3为本发明基于消息流和图数据库的数据风控方法第二实施例的流程示意图，基于上述图2所示的第一实施例，所述基于消息流和图数据库的数据风控方法，还包括：

步骤S40，获取所述目标用户的登录信息，根据所述登录信息确认所述目标用户的数据操作权限；

步骤S50，根据所述数据操作权限抓取数据队列流。

本实施例中，在当前有用户登录进行数据源处理操作时，确认所述用户为目标用户，获取所述目标用户的登录信息，以通过所述登录信息确认所述目标用户的数据操作权限，进一步的，考虑到数据源的保密性，在实际应用中，在目标用户发起数据源查询指令时，根据所述目标用户的数据操作权限抓取数据队列流，进而实现所述目标用户对当前数据源进行数据操作的需求。另外，考虑到数据队列流抓取的抓取控制，在接收到目标用户发起的数据操作权限时，可直接对所有数据队列流进行抓取，并在显示抓取到的数据队列流形成的数据源列表时，控制符合所述目标用户的数据操作权限的数据源信息显示，以避免出现超出所述目标用户的数据操作权限之外的其他数据源信息。进一步的，在通过数据操作权限实现当前数据队列流抓取时，可通过相关的技术人员设定对应的控制方式以满足所述目标用户的数据操作权限的数据源操作。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于消息流和图数据库的数据风控程序，所述基于消息流和图数据库的数据风控程序被处理器执行时实现如下操作：

接收目标用户发起的数据源查询指令，根据所述数据源查询指令抓取数据队列流；

以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源；

接收所述目标用户基于所述目标数据源发起的数据获取计划并执行；

将执行所述数据获取计划得到的数据结果存储至预设的图数据库。

进一步地，所述基于消息流和图数据库的数据风控程序被处理器执行时还实现如下操作：

接收目标用户的数据源新建指令；

根据所述数据源新建指令创建所述目标用户进行数据处理的目标数据源。

进一步地，所述基于消息流和图数据库的数据风控程序被处理器执行时还实现如下操作：

获取所述数据获取计划对应的SQL语句，其中，所述SQL语句包括编写SQL语句及预设的封装SQL语句；

执行获取到的所述SQL语句。

进一步地，所述基于消息流和图数据库的数据风控程序被处理器执行时还实现如下操作：

接收数据结果存储指令，根据所述数据结果存储指令将所述数据结果存储至预设的图数据库。

进一步地，所述基于消息流和图数据库的数据风控程序被处理器执行时还实现如下操作：

以预设格式显示执行所述数据获取计划的得到的数据结果。

进一步地，所述基于消息流和图数据库的数据风控程序被处理器执行时还实现如下操作：

确认所述数据结果的数据量；

在确认所述数据量大于预设数量时，以预设方式显示所述数据结果。

进一步地，所述基于消息流和图数据库的数据风控程序被处理器执行时还实现如下操作：

获取所述目标用户的登录信息，根据所述登录信息确认所述目标用户的数据操作权限；

根据所述数据操作权限抓取数据队列流。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、药品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、药品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、药品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于消息流和图数据库的数据风控方法，其特征在于，所述基于消息流和图数据库的数据风控方法包括以下步骤：

接收目标用户发起的数据源查询指令，根据所述数据源查询指令的发起时间抓取符合所述发起时间的数据队列流，所述数据源查询指令为基于当前的消息队列抓取页面发起的，所述数据队列流为线性表形式的实时数据流；

以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源，所述数据源列表为符合所述目标用户进行数据处理的数据队列流的数据内容；

接收所述目标用户基于所述目标数据源发起的数据获取计划并执行，所述数据获取计划为基于当前已选定的所述目标数据源所创建的数据操作内容，包括对所述目标数据源的数据操作、数据获取及数据编辑；

将执行所述数据获取计划得到的数据结果存储至预设的图数据库。

2.如权利要求1所述的基于消息流和图数据库的数据风控方法，其特征在于，所述以抓取到的所述数据队列流形成数据源列表，并根据所述数据源列表确认所述目标用户进行数据处理的目标数据源的步骤，还包括：

接收目标用户的数据源新建指令；

根据所述数据源新建指令创建所述目标用户进行数据处理的目标数据源。

3.如权利要求1所述的基于消息流和图数据库的数据风控方法，其特征在于，所述接收所述目标用户基于所述目标数据源发起的数据获取计划并执行的步骤，还包括：

获取所述数据获取计划对应的SQL语句，其中，所述SQL语句包括编写SQL语句及预设的封装SQL语句；

执行获取到的所述SQL语句。

4.如权利要求1所述的基于消息流和图数据库的数据风控方法，其特征在于，所述将执行所述数据获取计划得到的数据结果存储至预设的图数据库的步骤，还包括：

接收数据结果存储指令，根据所述数据结果存储指令将所述数据结果存储至预设的图数据库。

5.如权利要求1所述的基于消息流和图数据库的数据风控方法，其特征在于，所述将执行所述数据获取计划得到的数据结果存储至预设的图数据库的步骤，还包括：

以预设格式显示执行所述数据获取计划的得到的数据结果。

6.如权利要求5所述的基于消息流和图数据库的数据风控方法，其特征在于，所述以预设格式显示执行所述数据获取计划的得到的数据结果的步骤，还包括：

确认所述数据结果的数据量；

在确认所述数据量大于预设数量时，以预设方式显示所述数据结果。

7.如权利要求1至6任一项所述的基于消息流和图数据库的数据风控方法，其特征在于，所述基于消息流和图数据库的数据风控方法，还包括：

获取所述目标用户的登录信息，根据所述登录信息确认所述目标用户的数据操作权限；

根据所述数据操作权限抓取数据队列流。

8.一种基于消息流和图数据库的数据风控装置，其特征在于，所述基于消息流和图数据库的数据风控装置包括：存储器、处理器，所述存储器上存储有能够被处理器调用的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于消息流和图数据库的数据风控方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有基于消息流和图数据库的数据风控程序，所述基于消息流和图数据库的数据风控程序被处理器执行时实现如权利要求1至7中任一项所述的基于消息流和图数据库的数据风控方法的步骤。