CN111897790A - 风控日志采集方法、装置、电子设备及存储介质 - Google Patents
风控日志采集方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111897790A CN111897790A CN202010762814.4A CN202010762814A CN111897790A CN 111897790 A CN111897790 A CN 111897790A CN 202010762814 A CN202010762814 A CN 202010762814A CN 111897790 A CN111897790 A CN 111897790A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- wind control
- processed
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000011835 investigation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 14
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及数据处理技术领域，提供一种风控日志采集方法、装置、电子设备及存储介质，该方法包括：对接收到的日志采集指令所指示的数据源进行数据采集，获得采集数据；对所述采集数据进行数据整理，获得整理数据；将所述整理数据输入至风控系统中，获得风控参数以及风控结果；将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志；对所述待处理日志进行数据转换，获得目标日志；将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。本发明能提高日志文件的查询效率。此外，本申请还涉及区块链技术，所述分布式风控日志可存储于区块链中。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种风控日志采集方法、装置、电子设备及存储介质。
背景技术
目前，各种应用或系统都会记录并生成日志文件，但在实践中发现，日志文件和应用存储在一台服务器，日志文件会占用服务器大量空间，而且日志文件存储比较分散，这使得日志查询很不方便。
因此，如何提高日志文件的查询效率是一个亟需解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种风控日志采集方法、装置、电子设备及存储介质，能够提高日志数据的查询速度。
本发明的第一方面提供一种风控日志采集方法，所述风控日志采集方法包括：
当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据；
对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据；
将所述整理数据输入至风控系统中，获得风控参数以及风控结果；
将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志；
对所述待处理日志进行数据转换，获得目标日志；
将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
在一种可能的实现方式中，所述对所述待处理日志进行数据转换，获得目标日志包括：
对所述待处理日志进行预设字符格式转换，获得预设字符格式数据；
对所待处理日志进行字段映射，获得映射数据，其中，所述待处理日志包括多种字段的数据，所述映射数据包括两种不同字段中指定的数据组合；
对所述待处理日志进行统计，获得统计数据；
将所述预设字符格式数据、所述映射数据以及所述统计数据确定为所述目标日志。
在一种可能的实现方式中，所述对所述待处理日志进行统计，获得统计数据包括：
对所述待处理日志进行聚合统计，获得目标字段的次数；
对所述待处理日志进行词频统计，获得目标词汇的频率；
对所述待处理日志进行特征统计，获得目标特征的频率；
将所述目标字段的次数、所述目标词汇的频率以及所述目标特征的频率确定为统计数据。
在一种可能的实现方式中，所述对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据包括：
根据预设的数据格式，对所述采集数据进行数据格式转换，获得格式数据；
根据预设的过滤规则，对所述格式数据进行冗余过滤、错误过滤以及异常过滤，以删除所述格式数据中的冗余数据、错误数据以及异常数据，获得过滤数据；
根据预设的预运算公式，对所述采集数据进行预运算，获得预运算数据，其中，所述预运算数据包括多个数据的和、多个数据的均值以及满足预设条件的多个数据组成的数据集；
将所述过滤数据以及所述预运算数据确定为所述整理数据。
在一种可能的实现方式中，所述将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志之后，所述风控日志采集方法还包括：
通过分布式查询，获得目标日志数据；
根据所述目标日志数据，生成目标表格；
输出所述目标表格。
在一种可能的实现方式中，所述数据源包括征信数据、黑名单数据、身份信息数据、联系人数据。
在一种可能的实现方式中，所述消息队列中的所述采集数据对应多个主题，一种数据源的采集数据对应一个主题；所述消息队列中的所述整理数据对应多个主题，一种数据源的整理数据对应一个主题；所述整理数据与所述采集数据对应不同的主题。
本发明的第二方面提供一种风控日志采集装置，所述风控日志采集装置包括：
采集模块，用于当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据；
整理模块，用于对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据；
输入模块，用于将所述整理数据输入至风控系统中，获得风控参数以及风控结果；
发送模块，用于将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志；
转换模块，用于对所述待处理日志进行数据转换，获得目标日志。
存储模块，用于将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的风控日志采集方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的风控日志采集方法。
由以上技术方案，本发明中，可以从数据源中采集日志数据，并对采集到的日志数据进行各种处理，获得多种日志数据，即，将日志数据精细化，方便后续查询等操作以及管理，将日志数据输入至消息队列中，可以解除日志与应用程序之间的耦合，提高系统性能，而且精细化后的日志进行分布式存储，进一步提高了日志数据的查询速度。
附图说明
图1是本发明公开的一种风控日志采集方法的较佳实施例的流程图。
图2是本发明公开的一种风控日志采集装置的较佳实施例的功能模块图。
图3是本发明实现风控日志采集方法的较佳实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例的风控日志采集方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。
其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种风控日志采集方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。其中，所述风控日志采集方法的执行主体可以是电子设备。
S11、当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据。
其中，所述数据源可以包括征信数据、黑名单数据、身份信息数据、联系人数据等数据源。
其中，所述征信数据可以是指调查数据及其经过分类、整理之后的信用信息，反映企业信用状况的称为企业信用信息，反映个人信用状况的称个人信用信息，比如信用卡逾期次数。所述黑名单数据可以是机构或企业公布的黑名单数据，可以反应企业或个人在一些领域的风评。所述身份信息数据可以是设备指纹等表示个人身份的信息，可以用于判断是否存在个人冒充身份的情况出现。所述联系人数据包括个人交往群体的学历、收入等数据，可以从一定程度上反映个人的可信度。
所述数据源可以从多个方面反映个人或组织的信用信息，对所述数据源进行数据采集，可以获得更加全面的风控日志数据。
S12、对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据。
具体的，所述对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据包括：
根据预设的数据格式，对所述采集数据进行数据格式转换，获得格式数据；
根据预设的过滤规则，对所述格式数据进行冗余过滤、错误过滤以及异常过滤，以删除所述格式数据中的冗余数据、错误数据以及异常数据，获得过滤数据；
根据预设的预运算公式，对所述采集数据进行预运算，获得预运算数据，其中，所述预运算数据包括多个数据的和、多个数据的均值以及满足预设条件的多个数据组成的数据集；
将所述过滤数据以及所述预运算数据确定为所述整理数据。
其中，所述过滤整理可以是对数据进行重新审查和校验的过程，所述预处理可以包括但不限于删除冗余数据、删除错误数据、删除异常数据等。
在该可选的实施方式中，可以删除所述采集数据中的冗余数据、错误数据以及异常数据等，提高数据的准确性，减少数据的体积。可以按照风控系统对输入数据的格式要求对所述整理数据进行数据格式转换处理，还可以根据具体的业务需求(预设的预运算公式)以及所述采集数据，生成新数据，比如求和、求平均、满足预设条件的数据组合等，求和获得的总值以及求平均获得的平均值都可以看作是数据的某些特征，将这些特征作为日志数据的一部分，可以丰富日志数据的内容，提高了日志数据的可分析性，节省后续的一部分运算，提高对日志数据的分析效率。
S13、将所述整理数据输入至风控系统中，获得风控参数以及风控结果。
其中，所述风控参数可以是所述风控系统在运行的过程中产生的参数，所述风控结果可以是所述风控系统在运行的过程中产生的中间结果以及最终结果。即所述风控参数以及所述风控结果可以用来表示所述风控系统的运行过程，即风控的完整轨迹。
本发明实施例中，所述风控参数以及所述风控结果可以用来评估所述风控系统最终获得的风控结论的准确性，所述风控参数以及所述风控结果作为日志数据的一部分，将日志按照风控全流程划分为更加精细的粒度，提高了日志的记录的详细度。
S14、将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志。
本发明实施例中，将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志，可以使得日志记录是异步的，解除日志记录与应用的耦合，提高了系统的性能。
其中，所述消息队列中的所述采集数据对应多个主题，一种数据源的采集数据对应一个主题。
其中，所述消息队列中的所述整理数据对应多个主题，一种数据源的整理数据对应一个主题。
其中，所述整理数据与所述采集数据对应不同的主题。
其中，所述待处理日志可以是指在消息队列中的所述采集数据、所述整理数据、所述风控参数以及所述风控结果，所述消息队列中的数据可以被看作消息，所述多个主题可以是指对消息的分类，可以通过订阅不同的主题来获得不同类型的消息，即所述日志数据，从而日志数据的获取过程也是解耦的，并提高了系统的性能。
其中，所述消息队列可以是在消息的传输过程中保存消息的容器，消息队列是分布式系统中重要的组件，使用消息队列能够通过异步处理提高系统性能和削峰、降低系统耦合性。
其中，所述消息可以是系统生成的数据。
S15、对所述待处理日志进行数据转换，获得目标日志。
具体的，所述对所述待处理日志进行数据转换，获得目标日志包括：
对所述待处理日志进行预设字符格式转换，获得预设字符格式数据；
对所待处理日志进行字段映射，获得映射数据，其中，所述待处理日志包括多种字段的数据，所述映射数据包括两种不同字段中指定的数据组合；
对所述待处理日志进行统计，获得统计数据；
将所述预设字符格式数据、所述映射数据以及所述统计数据确定为所述目标日志。
在该可选的实施方式中，可以使用流处理框架(Flink)对所述待处理日志进行加工(数据转换)，所述预设字符格式转换可以是对日期进行转换，保留小数点预设位数，去除特殊字符等；对所待处理日志进行字段映射，获得映射数据，其中，所述待处理日志包括多种字段的数据，所述映射数据包括两种不同字段中指定的数据组合，比如大学学历(一种字段)的数据与个人月收入(另一种字段)的数据组合(建立了两种数据的关联，即存在映射关系)。所述统计可以是聚合统计、词频统计、特征统计等。通过数据转换，可以从日志中挖掘更多有用的信息，扩展了日志记录的数据，使得日志更加详细，这些挖掘出来的信息也可以直接被查询调用，不需要每次再对日志进行运算，节约系统的计算资源，提高了系统的性能。
具体的，对所述待处理日志进行统计，获得统计数据包括：
对所述待处理日志进行聚合统计，获得目标字段的次数；
对所述待处理日志进行词频统计，获得目标词汇的频率；
对所述待处理日志进行特征统计，获得目标特征的频率；
将所述目标字段的次数、所述目标词汇的频率以及所述目标特征的频率确定为统计数据。
在该可选的实施方式中，可以对所述待处理日志中的数据进行聚合统计，统计目标字段出现的次数；对所述待处理日志中的数据进行词频统计，获得目标词汇的频率；对所述待处理日志中的数据进行特征统计，获得目标特征的频率，比如每年的还款逾期的频率；将所述目标字段的次数、所述目标词汇的频率以及所述目标特征的频率确定为统计数据。
S16、将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
本发明实施例中，可以将所述待处理日志以及所述目标日志存储至分布式数据库(hbase)中，能够实现大规模的日志存储以及快速检索，提高日志的检索速度。
其中，所述分布式数据库(hbase)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，主要用来存储非结构化和半结构化的松散数据。能够处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由大量行数据和大量列元素组成的数据表。
作为一种可选的实施方式，所述将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志之后，所述方法还可以包括：
通过分布式查询，获得目标日志数据；
根据所述目标日志数据，生成目标表格；
输出所述目标表格。
在该可选的实施方式中，可以对日志作一些报表统计，提供给业务参考。可以记录不同类型的日志数据被用作报表统计的次数，预先将常用的日志数据生成常用报表，可以提高报表的生成速度。
需要强调的是，为进一步保证上述分布式风控日志的私密和安全性，上述分布式风控日志还可以存储于一区块链的节点中。
在图1所描述的方法流程中，可以从数据源中采集日志数据，并对采集到的日志数据进行各种处理，获得多种日志数据，即将日志数据精细化，方便后续查询等操作以及管理，将日志数据输入至消息队列中，可以解除日志与应用程序之间的耦合，提高系统性能，而且精细化后的日志进行分布式存储，进一步提高了日志数据的查询速度。
图2是本发明公开的一种风控日志采集装置的较佳实施例的功能模块图。
请参见图2，所述风控日志采集装置20运行于电子设备中。所述风控日志采集装置20可以包括多个由程序代码段所组成的功能模块。所述风控日志采集装置20中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的风控日志采集方法中的部分或全部步骤。
本实施例中，所述风控日志采集装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：采集模块201、整理模块202、输入模块203、发送模块204、转换模块205及存储模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
采集模块201，用于当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据。
其中，所述数据源可以包括征信数据、黑名单数据、身份信息数据、联系人数据等数据源。
其中，所述征信数据可以是指调查数据及其经过分类、整理之后的信用信息，反映企业信用状况的称为企业信用信息，反映个人信用状况的称个人信用信息，比如信用卡逾期次数。所述黑名单数据可以是机构或企业公布的黑名单数据，可以反应企业或个人在一些领域的风评。所述身份信息数据可以是设备指纹等表示个人身份的信息，可以用于判断是否存在个人冒充身份的情况出现。所述联系人数据包括个人交往群体的学历、收入等数据，可以从一定程度上反映个人的可信度。
所述数据源可以从多个方面反映个人或组织的信用信息，对所述数据源进行数据采集，可以获得更加全面的风控日志数据。
整理模块202，用于对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据。
输入模块203，用于将所述整理数据输入至风控系统中，获得风控参数以及风控结果。
其中，所述风控参数可以是所述风控系统在运行的过程中产生的参数，所述风控结果可以是所述风控系统在运行的过程中产生的中间结果以及最终结果。即所述风控参数以及所述风控结果可以用来表示所述风控系统的运行过程，即风控的完整轨迹。
本发明实施例中，所述风控参数以及所述风控结果可以用来评估所述风控系统最终获得的风控结论的准确性，所述风控参数以及所述风控结果作为日志数据的一部分，将日志按照风控全流程划分为更加精细的粒度，提高了日志的记录的详细度。
发送模块204，用于将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志。
本发明实施例中，将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志，可以使得日志记录是异步的，解除日志记录与应用的耦合，提高了系统的性能。
其中，所述消息队列中的所述采集数据对应多个主题，一种数据源的采集数据对应一个主题。
其中，所述消息队列中的所述整理数据对应多个主题，一种数据源的整理数据对应一个主题。
其中，所述整理数据与所述采集数据对应不同的主题。
其中，所述待处理日志可以是指在消息队列中的所述采集数据、所述整理数据、所述风控参数以及所述风控结果，所述消息队列中的数据可以被看作消息，所述多个主题可以是指对消息的分类，可以通过订阅不同的主题来获得不同类型的消息，即所述日志数据，从而日志数据的获取过程也是解耦的，并提高了系统的性能。
其中，所述消息队列可以是在消息的传输过程中保存消息的容器，消息队列是分布式系统中重要的组件，使用消息队列能够通过异步处理提高系统性能和削峰、降低系统耦合性。
其中，所述消息可以是系统生成的数据。
转换模块205，用于对所述待处理日志进行数据转换，获得目标日志。
存储模块206，用于将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
本发明实施例中，可以将所述待处理日志以及所述目标日志存储至分布式数据库(hbase)中，能够实现大规模的日志存储以及快速检索，提高日志的检索速度。
其中，所述分布式数据库(hbase)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，主要用来存储非结构化和半结构化的松散数据。能够处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由大量行数据和大量列元素组成的数据表。
作为一种可选的实施方式，所述转换模块205对所述待处理日志进行数据转换，获得目标日志的方式具体为：
对所述待处理日志进行预设字符格式转换，获得预设字符格式数据；
对所待处理日志进行字段映射，获得映射数据，其中，所述待处理日志包括多种字段的数据，所述映射数据包括两种不同字段中指定的数据组合；
对所述待处理日志进行统计，获得统计数据；
将所述预设字符格式数据、所述映射数据以及所述统计数据确定为所述目标日志。
在该可选的实施方式中，可以使用流处理框架(Flink)对所述待处理日志进行加工(数据转换)，所述预设字符格式转换可以是对日期进行转换，保留小数点预设位数，去除特殊字符等；对所待处理日志进行字段映射，获得映射数据，其中，所述待处理日志包括多种字段的数据，所述映射数据包括两种不同字段中指定的数据组合，比如大学学历(一种字段)的数据与个人月收入(另一种字段)的数据组合(建立了两种数据的关联，即存在映射关系)。所述统计可以是聚合统计、词频统计、特征统计等。通过数据转换，可以从日志中挖掘更多有用的信息，扩展了日志记录的数据，使得日志更加详细，这些挖掘出来的信息也可以直接被查询调用，不需要每次再对日志进行运算，节约系统的计算资源，提高了系统的性能。
作为一种可选的实施方式，所述转换模块205对所述待处理日志进行统计，获得统计数据的方式具体为：
对所述待处理日志进行聚合统计，获得目标字段的次数；
对所述待处理日志进行词频统计，获得目标词汇的频率；
对所述待处理日志进行特征统计，获得目标特征的频率；
将所述目标字段的次数、所述目标词汇的频率以及所述目标特征的频率确定为统计数据。
在该可选的实施方式中，可以对所述待处理日志中的数据进行聚合统计，统计目标字段出现的次数；对所述待处理日志中的数据进行词频统计，获得目标词汇的频率；对所述待处理日志中的数据进行特征统计，获得目标特征的频率，比如每年的还款逾期的频率；将所述目标字段的次数、所述目标词汇的频率以及所述目标特征的频率确定为统计数据。
作为一种可选的实施方式，所述整理模块202对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据的方式具体为：
根据预设的数据格式，对所述采集数据进行数据格式转换，获得格式数据；
根据预设的过滤规则，对所述格式数据进行冗余过滤、错误过滤以及异常过滤，以删除所述格式数据中的冗余数据、错误数据以及异常数据，获得过滤数据；
根据预设的预运算公式，对所述采集数据进行预运算，获得预运算数据，其中，所述预运算数据包括多个数据的和、多个数据的均值以及满足预设条件的多个数据组成的数据集；
将所述过滤数据以及所述预运算数据确定为所述整理数据。
其中，所述过滤整理可以是对数据进行重新审查和校验的过程，所述预处理可以包括但不限于删除冗余数据、删除错误数据、删除异常数据等。
在该可选的实施方式中，可以删除所述采集数据中的冗余数据、错误数据以及异常数据等，提高数据的准确性，减少数据的体积。可以按照所述风控系统对输入数据的格式要求对所述整理数据进行数据格式转换处理，还可以根据具体的业务需求(预设的预运算公式)以及所述采集数据，生成新数据，比如求和、求平均、满足预设条件的数据组合等，求和获得的总值以及求平均获得的平均值都可以看作是数据的某些特征，将这些特征作为日志数据的一部分，可以丰富日志数据的内容，提高了日志数据的可分析性，节省后续的一部分运算，提高对日志数据的分析效率。
作为一种可选的实施方式，所述风控日志采集装置20还可以包括：
查询模块，用于所述存储模块206将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志之后，通过分布式查询，获得目标日志数据；
生成模块，用于根据所述目标日志数据，生成目标表格；
输出模块，用于输出所述目标表格。
在该可选的实施方式中，可以对日志作一些报表统计，提供给业务参考。可以记录不同类型的日志数据被用作报表统计的次数，预先将常用的日志数据生成常用报表，可以提高报表的生成速度。
在图2所描述的风控日志采集装置20中，可以从数据源中采集日志数据，并对采集到的日志数据进行各种处理，获得多种日志数据，即将日志数据精细化，方便后续查询等操作以及管理，将日志数据输入至消息队列中，可以解除日志与应用程序之间的耦合，提高系统性能，而且精细化后的日志进行分布式存储，进一步提高了日志数据的查询速度。
需要强调的是，为进一步保证上述分布式风控日志的私密和安全性，上述分布式风控日志还可以存储于一区块链的节点中。
如图3所示，图3是本发明实现风控日志采集方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据等。此外，存储器31可以包括易失性和非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种风控日志采集方法，所述处理器32可执行所述多个指令从而实现：
当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据；
对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据；
将所述整理数据输入至风控系统中，获得风控参数以及风控结果；
将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志；
对所述待处理日志进行数据转换，获得目标日志；
将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的电子设备3中，可以从数据源中采集日志数据，并对采集到的日志数据进行各种处理，获得多种日志数据，即将日志数据精细化，方便后续查询等操作以及管理，将日志数据输入至消息队列中，可以解除日志与应用程序之间的耦合，提高系统性能，而且精细化后的日志进行分布式存储，进一步提高了日志数据的查询速度。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器(RAM，Random Access Memory)等。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种风控日志采集方法，其特征在于，所述风控日志采集方法包括：
当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据；
对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据；
将所述整理数据输入至风控系统中，获得风控参数以及风控结果；
将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志；
对所述待处理日志进行数据转换，获得目标日志；
将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
2.根据权利要求1所述的风控日志采集方法，其特征在于，所述对所述待处理日志进行数据转换，获得目标日志包括：
对所述待处理日志进行预设字符格式转换，获得预设字符格式数据；
对所待处理日志进行字段映射，获得映射数据，其中，所述待处理日志包括多种字段的数据，所述映射数据包括两种不同字段中指定的数据组合；
对所述待处理日志进行统计，获得统计数据；
将所述预设字符格式数据、所述映射数据以及所述统计数据确定为所述目标日志。
3.根据权利要求2所述的风控日志采集方法，其特征在于，所述对所述待处理日志进行统计，获得统计数据包括：
对所述待处理日志进行聚合统计，获得目标字段的次数；
对所述待处理日志进行词频统计，获得目标词汇的频率；
对所述待处理日志进行特征统计，获得目标特征的频率；
将所述目标字段的次数、所述目标词汇的频率以及所述目标特征的频率确定为统计数据。
4.根据权利要求1所述的风控日志采集方法，其特征在于，所述对所述采集数据进行格式整理、过滤整理以及预运算整理，获得整理数据包括：
根据预设的数据格式，对所述采集数据进行数据格式转换，获得格式数据；
根据预设的过滤规则，对所述格式数据进行冗余过滤、错误过滤以及异常过滤，以删除所述格式数据中的冗余数据、错误数据以及异常数据，获得过滤数据；
根据预设的预运算公式，对所述采集数据进行预运算，获得预运算数据，其中，所述预运算数据包括多个数据的和、多个数据的均值以及满足预设条件的多个数据组成的数据集；
将所述过滤数据以及所述预运算数据确定为所述整理数据。
5.根据权利要求1至4中任一项所述的风控日志采集方法，其特征在于，所述将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志之后，所述风控日志采集方法还包括：
通过分布式查询，获得目标日志数据；
根据所述目标日志数据，生成目标表格；
输出所述目标表格。
6.根据权利要求1至4中任一项所述的风控日志采集方法，其特征在于，所述数据源包括征信数据、黑名单数据、身份信息数据、联系人数据。
7.根据权利要求1至4中任一项所述的风控日志采集方法，其特征在于，所述消息队列中的所述采集数据对应多个主题，一种数据源的采集数据对应一个主题；所述消息队列中的所述整理数据对应多个主题，一种数据源的整理数据对应一个主题；所述整理数据与所述采集数据对应不同的主题。
8.一种风控日志采集装置，其特征在于，所述风控日志采集装置包括：
采集模块，用于当接收到日志采集指令时，对所述日志采集指令所指示的数据源进行数据采集，获得采集数据；
整理模块，用于对所述采集数据进行过滤整理、格式整理以及预运算整理，获得整理数据；
输入模块，用于将所述整理数据输入至风控系统中，获得风控参数以及风控结果；
发送模块，用于将所述采集数据、所述整理数据、所述风控参数以及所述风控结果发送至消息队列中，获得待处理日志；
转换模块，用于对所述待处理日志进行数据转换，获得目标日志；
存储模块，用于将所述待处理日志以及所述目标日志进行分布式存储，获得分布式风控日志。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的风控日志采集方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的风控日志采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010762814.4A CN111897790A (zh) | 2020-07-31 | 2020-07-31 | 风控日志采集方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010762814.4A CN111897790A (zh) | 2020-07-31 | 2020-07-31 | 风控日志采集方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111897790A true CN111897790A (zh) | 2020-11-06 |
Family
ID=73183081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010762814.4A Pending CN111897790A (zh) | 2020-07-31 | 2020-07-31 | 风控日志采集方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111897790A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364163A (zh) * | 2020-11-10 | 2021-02-12 | 平安普惠企业管理有限公司 | 日志的缓存方法、装置以及计算机设备 |
| CN113807632A (zh) * | 2021-01-21 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 风控数据处理方法和装置 |
| CN113902469A (zh) * | 2021-09-17 | 2022-01-07 | 作业帮教育科技（北京）有限公司 | 一种广告诊断平台、装置及电子设备 |
| CN115168030A (zh) * | 2022-06-24 | 2022-10-11 | 天翼爱音乐文化科技有限公司 | 一种动态调控的日志采集、处理方法、装置及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106452819A (zh) * | 2015-08-13 | 2017-02-22 | 腾讯科技（深圳）有限公司 | 数据采集系统及数据采集方法 |
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
| CN107092683A (zh) * | 2017-04-21 | 2017-08-25 | 北京奇艺世纪科技有限公司 | 一种日志处理系统和方法 |
| CN107122898A (zh) * | 2017-04-18 | 2017-09-01 | 格罗斯产业链服务（深圳）有限公司 | 一种基于数据统计的贸易端到端SaaS风控方法 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
| CN109582537A (zh) * | 2018-11-07 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 业务安全防护方法及其系统 |
| CN109617869A (zh) * | 2018-12-06 | 2019-04-12 | 中铁程科技有限责任公司 | 跨网日志实时采集方法及终端 |
| CN109800259A (zh) * | 2018-12-11 | 2019-05-24 | 深圳市金证科技股份有限公司 | 数据采集方法、装置及终端设备 |
| CN109902072A (zh) * | 2019-02-21 | 2019-06-18 | 云南电网有限责任公司红河供电局 | 一种日志处理系统 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-31 CN CN202010762814.4A patent/CN111897790A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106452819A (zh) * | 2015-08-13 | 2017-02-22 | 腾讯科技（深圳）有限公司 | 数据采集系统及数据采集方法 |
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
| CN107122898A (zh) * | 2017-04-18 | 2017-09-01 | 格罗斯产业链服务（深圳）有限公司 | 一种基于数据统计的贸易端到端SaaS风控方法 |
| CN107092683A (zh) * | 2017-04-21 | 2017-08-25 | 北京奇艺世纪科技有限公司 | 一种日志处理系统和方法 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
| CN109582537A (zh) * | 2018-11-07 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 业务安全防护方法及其系统 |
| CN109617869A (zh) * | 2018-12-06 | 2019-04-12 | 中铁程科技有限责任公司 | 跨网日志实时采集方法及终端 |
| CN109800259A (zh) * | 2018-12-11 | 2019-05-24 | 深圳市金证科技股份有限公司 | 数据采集方法、装置及终端设备 |
| CN109902072A (zh) * | 2019-02-21 | 2019-06-18 | 云南电网有限责任公司红河供电局 | 一种日志处理系统 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364163A (zh) * | 2020-11-10 | 2021-02-12 | 平安普惠企业管理有限公司 | 日志的缓存方法、装置以及计算机设备 |
| CN113807632A (zh) * | 2021-01-21 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 风控数据处理方法和装置 |
| CN113902469A (zh) * | 2021-09-17 | 2022-01-07 | 作业帮教育科技（北京）有限公司 | 一种广告诊断平台、装置及电子设备 |
| CN115168030A (zh) * | 2022-06-24 | 2022-10-11 | 天翼爱音乐文化科技有限公司 | 一种动态调控的日志采集、处理方法、装置及存储介质 |
| CN115168030B (zh) * | 2022-06-24 | 2023-10-20 | 天翼爱音乐文化科技有限公司 | 一种动态调控的日志采集、处理方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111897790A (zh) | 风控日志采集方法、装置、电子设备及存储介质 | |
| CN109271411B (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
| CN111488363B (zh) | 数据处理方法、装置、电子设备及介质 | |
| CN107123047B (zh) | 基于债券交易的数据采集系统及其数据采集方法 | |
| CN107870981B (zh) | 电子装置、数据表归档处理的方法及存储介质 | |
| CN111475513B (zh) | 表单生成方法、装置、电子设备及介质 | |
| CN107688645B (zh) | 一种保单数据处理方法及终端设备 | |
| WO2022134466A1 (zh) | 数据处理方法及相关设备 | |
| CN103838867A (zh) | 日志处理方法和装置 | |
| JP2022118108A (ja) | ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム | |
| CN112163412A (zh) | 数据校验方法、装置、电子设备及存储介质 | |
| CN111415067A (zh) | 企业及个人信用评级系统 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN116993523A (zh) | 配置化对账方法、装置、设备及存储介质 | |
| CN111104259A (zh) | 一种数据库恢复方法、装置及存储介质 | |
| CN116361571A (zh) | 基于人工智能的商户画像生成方法、装置、设备及介质 | |
| CN113742386B (zh) | 一种对区块链账本的区块数据的加工解析方法 | |
| CN1588405A (zh) | 用于风险控制系统的数据处理装置及方法 | |
| CN111026705B (zh) | 建筑工程文件管理方法、系统及终端设备 | |
| CN114817867A (zh) | 基于互联网的出版物发行平台 | |
| CN114297236A (zh) | 一种数据血缘分析方法、终端设备及存储介质 | |
| CN109063097B (zh) | 基于区块链的数据对比及共识方法 | |
| CN104951869A (zh) | 一种基于工作流的舆情监控方法及装置 | |
| CN110889090B (zh) | 一种财政收支评估系统 | |
| CN112686760B (zh) | 基于大数据的金融业务处理方法及平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |