CN118134636A - 一种金融机构反洗钱异常数据的自查预警引擎工具 - Google Patents

Abstract

本申请公开了一种金融机构反洗钱异常数据的自查预警引擎工具。其包括规则管理模块，用于管理多个针对不同金融机构数据质量治理的校验规则；数据校验模块，用于从接收目录读取目标数据文件，根据校验规则，通过跑批对目标数据文件进行批量校验，对目标数据文件中不符合校验规则的异常数据进行提取，生成校验结果；数据治理模块，用于对异常数据，按照数据归属进行治理任务分配，并将治理任务发送给相应归属金融机构；接收治理任务的相应归属金融机构反馈的治理结果和办结操作。通过本申请能够对不符合规则的异常数据进行提取，实现对异常数据的主动定位、跟踪，提前摸清数据质量，督促机构内部事先整改，达到数据质量的内部治理。

Description

一种金融机构反洗钱异常数据的自查预警引擎工具

技术领域

本申请涉及金融技术领域，特别是涉及一种金融机构反洗钱异常数据的自查预警引擎工具。

背景技术

数据治理的重点就是在客户和交易两部分，这意味着每个机构都要面临庞大的数据量，让人无从下手。从数据本身来说，一方面数据涉及客户信息及交易信息，数据量庞大，分布散、业务场景复杂等；另一方面是历史数据存储混乱、信息收集标准变更、系统切换、数据处理不到位等多方面带来的数据质量问题，难以抽丝剥茧、追溯根源。从机构层面来说，一方面部分机构对数据治理的认识不到位，未投入资源或者投入资源有限，导致专业力量较弱、相关部门不配合，另一方面数据治理是一项长期工作，效果难以立竿见影，尚未建立起专属的“数据文化”。

在一个传统的反洗钱合规流程中，数据往往在需要使用时才发现问题，例如监管报表、模型跑批等，合规人员将这些问题零零散散地向技术人员进行反馈，随后采取打补丁式地进行修正，金融机构缺乏能够系统性地主动查找问题数据根源的工具。

发明内容

本申请提供一种金融机构反洗钱异常数据的自查预警引擎工具，旨在帮助金融机构系统性地主动查找问题数据。

第一方面，一种金融机构反洗钱异常数据的自查预警引擎工具，包括：

规则管理模块，用于管理多个针对不同金融机构数据质量治理的校验规则；

数据校验模块，用于接收待检查金融机构的目标数据文件，根据所述目标数据文件创建校验任务和与所述校验任务一一对应的协议文件，将所述目标数据文件和协议文件存放到接收目录下；从所述接收目录读取所述目标数据文件，根据所述校验规则，通过跑批对所述目标数据文件进行批量校验，对所述目标数据文件中不符合所述校验规则的异常数据进行提取，生成校验结果；

数据治理模块，用于对所述异常数据，按照数据归属进行治理任务分配，并将所述治理任务发送给相应归属金融机构；接收治理任务的相应归属金融机构反馈的治理结果和办结操作。

上述方案中，可选地，所述校验规则包括初始化的内置校验规则和金融机构根据自身实际需要灵活配置的校验规则；所述初始化的内置校验规则基于监管机构对金融机构反洗钱现场检查数据要求总结得到。

上述方案中，可选地，所述校验规则包括格式类校验规则、内容合规类校验规则和逻辑合理性校验规则。

上述方案中，可选地，所述目标数据文件的格式为csv文本文件，所述目标数据文件中的内容格式为UTF-8编码，每个所述目标数据文件中的数据量小于或等于3000千万；在所述目标数据文件中，字段内容加半角双引号，字段间以半角单竖线或逗号分割；所述协议文件中的内容采用json格式数据，所述协议文件的名称使用中英文、数字、下划线、中划线，且名称长度小于或等于20个字符。

上述方案中，可选地，在数据校验模块中，当接收到多个目标数据文件，创建得到多个校验任务和协议文件时，将所有目标数据文件全部存放到接收目录中以当前日期命名的文件夹下，将每个协议文件分别根据相应校验任务命名，并将每个协议文件存放到接收目录中的预先约定的扫描目录下。

上述方案中，可选地，所述数据治理模块还用于：

将所述异常数据的异常概况和明细发送给相应归属金融机构；

向相应归属金融机构发送任务处理期限提醒。

上述方案中，可选地，所述自查预警引擎工具还包括：

校验结果统计模块，用于对所述校验结果进行可视化展示，在可视化展示时展示所述异常数据的具体分布；接收选定的展示维度，根据所述展示维度对所述校验结果进行统计和可视化展示。

上述方案中，进一步可选地，所述校验结果统计模块还用于：

在可视化展示时，对于校验不通过的目标数据文件和字段显示校验不通过的具体原因；

接受输入的导出条件，将所述校验结果中符合所述导出条件的异常数据进行批量导出。

上述方案中，可选地，所述自查预警引擎工具还包括：

任务比对模块，用于将所述异常数据和治理结果进行比对，并将比对结果进行可视化展示；接收选定的两个校验任务，所述两个校验任务对应不同时间段的相同目标数据文件，对所述两个校验任务的相应校验结果进行数据对比，将相同目标数据文件在不同校验任务中的异常数据分别进行可视化展示。

上述方案中，可选地，所述自查预警引擎工具采用B/S架构，所述自查预警引擎工具支持多法人、总-分-支架构，所述自查预警引擎工具的前端交互界面采用VUE技术组件开发，所述自查预警引擎工具的数据存储采用MySQL数据库。

相比现有技术，本申请至少具有以下有益效果：

基于监管机构对银行、支付、保险、证券、期货等金融机构反洗钱现场检查数据要求，总结出针对不同金融机构数据质量治理的校验规则，形成一种金融机构反洗钱异常数据的自查预警引擎工具；利用该自查预警引擎工具，在对目标检查数据的扫描读取后，通过系统的跑批对金融机构反洗钱数据进行系统批量校验，能够对不符合规则的异常数据进行提取，实现对异常数据的主动定位、跟踪，提前摸清数据质量，督促机构内部事先整改，达到数据质量的内部治理；使金融机构在主动应对监管检查的同时，做到金融机构内部反洗钱数据的自检自查，及早发现机构内部数据不准确、不完整等问题，从而针对性完善数据、提高数据质量，减少监管检查的处罚；同时，通过该自查预警引擎工具可以释放人工劳动力，极大地减少人工工作量，使人工的主要精力能够集中在后期的整改或者其他更重要的事情上，大大提高了机构数据治理的效率。

附图说明

图1为本申请一个实施例提供的一种金融机构反洗钱异常数据的自查预警引擎工具的技术架构示意图；

图2为本申请一个实施例提供的一种金融机构反洗钱异常数据的自查预警引擎工具的模块架构框图；

图3为本申请一个实施例中目标数据文件的内容示意图；

图4为本申请一个实施例中多个扫描任务时的文件存放示意图；

图5为本申请一个实施例提供的一种金融机构反洗钱异常数据的自查预警引擎工具的数据架构示意图；

图6为本申请一个实施例提供的一种金融机构反洗钱异常数据的自查预警引擎工具的处理流程示意图；

图7为本申请一个实施例提供的一种金融机构反洗钱异常数据的自查预警引擎工具的部署架构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请的描述中：除非另有说明，“包括”、“包含”、“具有”等表述方式，同时还意味着“不限于”(某些单元、部件、材料、步骤等)。

在一个实施例中，如图1所示，提供了一种金融机构反洗钱异常数据的自查预警引擎工具，该自查预警引擎工具采用B/S架构、使用主流开发框架与开发语言，支持多法人，支持总-分-支架构，适应不同金融机构战略发展要求。其具有java跨平台部署的优点，部署及维护方便且运行稳定。前端交互界面采用VUE技术组件开发，页面易于维护且兼容多种主流浏览器。数据存储采用MySQL数据库，开源免费且运行速度快、密码加密安全系数高，可部署于linux和windows多种主流服务器。

该自查预警引擎工具的目标检查数据是基于目前监管针对银行、支付机构、证券、期货、保险等行业发布的现场检查数据提取接口规范要求为基础数据文件，每个数据文件都有相应的协议文件来做说明。

具体来说，如图2所示，该自查预警引擎工具包括以下程序模块：

规则管理模块201，用于管理多个针对不同金融机构数据质量治理的校验规则；

数据校验模块202，用于接收待检查金融机构的目标数据文件，根据目标数据文件创建校验任务和与所述校验任务一一对应的协议文件，将目标数据文件和协议文件存放到接收目录下；从接收目录读取目标数据文件，根据校验规则，通过跑批对所述目标数据文件进行批量校验，对目标数据文件中不符合校验规则的异常数据进行提取，生成校验结果；

数据治理模块203，用于对异常数据，按照数据归属进行治理任务分配，并将治理任务发送给相应归属金融机构；接收治理任务的相应归属金融机构反馈的治理结果和办结操作。

进一步地，校验规则包括初始化的内置校验规则和金融机构根据自身实际需要灵活配置的校验规则；初始化的内置校验规则基于监管机构对金融机构反洗钱现场检查数据要求总结得到。校验规则包括格式类校验规则、内容合规类校验规则和逻辑合理性校验规则。

换句话说，上述的自查预警引擎工具，是基于监管机构对反洗钱不同业务场景的要求进行的提炼、总结和归类，提炼的校验规则分为格式类校验、内容合规类校验和逻辑合理性校验，初始化的规则总数超过一千余条，覆盖了反洗钱场景的诸多方面。

规则中涉及参数的规则将提前将参数值设置到系统中，参数的设置一般是在法规制度要求的范围内，根据不同体量的金融机构进行适当的调整。例如，监管要求针对高风险的客户下次重新评级的时间周期为6个月，有的机构设置为6个月，有的则设置为3个月，机构根据自身的实际业务需要在规则参数设置时进行灵活配置即可，只要不超过6个月均为合规范围内。

进一步地，目标数据文件的格式为csv文本文件，目标数据文件中的内容格式为UTF-8编码，每个目标数据文件中的数据量小于或等于3000千万；在目标数据文件中，字段内容加半角双引号，字段间以半角单竖线或逗号分割；协议文件中的内容采用json格式数据，协议文件的名称使用中英文、数字、下划线、中划线，且名称长度小于或等于20个字符。

换句话说，数据文件格式使用csv文本文件。其中文件的内容格式为UTF-8编码。文件的名称和发文源表的表名称一致(不区分大小写)。如{table_name}.csv或{table_name}_{num}.csv。其中{table_name}为发文原表名称，{num}为正整数。如：

tb_company.csv

tb_company_1.csv

tb_company_2.csv

自查预警引擎工具可校验数据文件为UTF-8编码格式的csv的文本文件。文件中的字段内容加半角双引号，以“|”或“,”分割(分隔符使用英文半角)。如：机构对照表数据文件命名为：TB_BANK.csv，内容如图3所示。

单个文件数据量不超过3000千万，若单个文件数据量超过3000千万，则需要将文件拆分为3000千万一个csv文件。如“信用卡账户金融交易数据表tb_cred_txn”一年产生了8000千万条数据，则可以拆分为3个文件。即：

tb_cred_txn_1.csv(3000千万数据)

tb_cred_txn_2.csv(3000千万数据)

tb_cred_txn_3.csv(2000千万数据)

协议文件的名称作为任务名称展示在任务列表中。协议文件命名：仅可使用中英文、数字、下划线、中划线，且长度小于或等于20个字符。

协议文件的内容采用json格式数据。在相同的目录下协议文件名称不能重复。同一天需要创建多个校验任务时，需要对每个校验任务创建一个协议文件(即多个校验任务对应多个协议文件)。

文件参数说明：

进一步地，在数据校验模块中，当接收到多个目标数据文件，创建得到多个校验任务和协议文件时，将所有目标数据文件全部存放到接收目录中以当前日期命名的文件夹下，将每个协议文件分别根据相应校验任务命名，并将每个协议文件存放到接收目录中的预先约定的扫描目录下。

换句话说，有多个扫描任务的时候，协议文件和数据文件的存放，可参考图4的结构存放。协议文件存放到约定的扫描目录下，数据文件全部存放到以当前日期命名的文件夹下。在协议文件中标明任务需要用到的数据文件。

如2020年9月7日欲使用2020年1-3月数据生成一批数据作为一个任务；使用2020年4-6月数据生成一批数据作为一个任务。此时可生成2个协议文件分别以《202001-03.ok》《202004-06.ok》命名。生成2020年1-3月的数据文件为tb_bank_1.csv、tb_bank_2.csv、tb_bank_3.csv、tb_acc_1.csv。生成2020年4-6月的数据文件为tb_bank_4.csv、tb_acc_2.csv。将所有的csv文件放到20200927文件夹下之后，将《202001-03.ok》《202004-06.ok》放到约定的扫描目录下。

部署人员配置扫描文件路径，参数为dqc.scan.path。默认的路径是/home/kaifa/receive。在部署的时候确认好该路径，使该路径具备读取权限。在应用服务器接收目录/home/appuser/amldqc/fsdisk/receive下接收从其他系统通过文件传输系统BTP传输过来的存放在YYYYMMDD目录下的csv数据文件和相应的YYYYMMDD.ok协议文件，比如今天是2020年9月8日。

其他系统通过BTP文件传输系统传输文件夹20200908和20200908.ok(红色字体标注的文件夹需要文件数据提供的厂商负责创建)，并且务必保证先传输csv数据文件所在的文件夹再传输20200908.ok文件；将数据文件存放到上一个步骤中的目录下，等待扫描任务执行；扫描任务会在10分钟[或配置的时间间隔内]内取任务；手动配置扫描任务方法如下：

①登录应用服务器(主服务器10.190.42.202和备服务器10.190.42.203)，进入/home/appuser/amldqc/dqc-server-1.0.0-SNAPSHOT/config目录下，使用vi命令修改主服务器下的application-release.yml文件【备服务器下的application-release-bak.yml】内的dqc.scan.cron配置；

②当协议文件被扫描到，并且能够正确解析那么与协议相关的数据文件将会被移走；如果相关数据文件长时间存在，则说明此次任务执行失败；

③每天23点后不建议将数据文件与协议文件上传到当日的目录下，避免在跨天的时候出现漏扫；

④协议文件必须在所有数据文件传输到接收目录后，再传输到接收目录下。否则将会出现任务因无法找到数据文件而执行失败。

进一步地，数据治理模块203还用于：

将异常数据的异常概况和明细发送给相应归属金融机构；

向相应归属金融机构发送任务处理期限提醒。

进一步地，该自查预警引擎工具还包括：

校验结果统计模块，用于对校验结果进行可视化展示，在可视化展示时展示异常数据的具体分布；接收选定的展示维度，根据展示维度对校验结果进行统计和可视化展示。

校验结果统计模块还用于：

在可视化展示时，对于校验不通过的目标数据文件和字段显示校验不通过的具体原因；

接受输入的导出条件，将校验结果中符合导出条件的异常数据进行批量导出。

进一步地，该自查预警引擎工具还包括：

任务比对模块，用于将异常数据和治理结果进行比对，并将比对结果进行可视化展示；接收选定的两个校验任务，两个校验任务对应不同时间段的相同目标数据文件，对两个校验任务的相应校验结果进行数据对比，将相同目标数据文件在不同校验任务中的异常数据分别进行可视化展示。

自查预警引擎工具读取扫描到固定位置下的待校验文件，通过提前内置的校验规则进行跑批生成校验结果，对于校验不通过的表及字段可查看校验不通过的具体原因。

检查结果可按规则、按字段检索定位，可批量导出。从规则的角度导出的格式内容，可查看触发同一规则的客户情况；从客户的角度导出的格式内容，可查看与客户相关的每个字段触发的规则情况。

通过数字和图表方式，可以对校验结果进行比对，并且可以展示数据表在不同任务中的触发规则和错误数据情况，直观前后数值质量差异，得出反洗钱数据质量治理的成效。

综上，如图1和图5所示，该自查预警引擎工具主要包括数据校验、规则管理、数据治理、任务比对、数据表管理、码表管理、校验结果统计等模块。

在“规则管理”模块中内置不同的校验规则，通过系统跑批校验将现场检查的问题数据在“数据校验”模块中进行展示。“数据治理”将筛选出的问题数据，按照数据归属自动进行治理任务分配与整改。错误数据归属机构在处理治理任务时，可查看与本机构有相关的错误概况和明细，方便定位问题及后续治理；完成上游数据治理后，可对治理任务进行办结操作，反馈治理结果，实现整体数据治理的闭环处理。

在“任务比对”模块中可以选择两次不同的校验任务，进行校验结果的数据比对。比对内容适用于不同时间段的相同业务数据对比，也适用干同一批数据的治理前后比对。创建任务比对时只能选择两次任务均包含的数据源表，避免无效比对。比对后通过数字和图表方式，展示报告中每张数据表在不同任务中的触发规则和错误数据情况，直观前后数值质量差异，并支持将报告数据导出为excel。通过“校验结果统计”可以查看异常数据的具体分布，支持按任务、数据文件、数据表等不同维度对校验结果进行统计和展现。“任务比对”和“校验结果统计”模块均是对数据治理后的深度分析，便于直观查看问题的分布和治理的效果。“数据表管理”和“码表管理”等其他模块均是基础性的支撑模块，主要是用于基础信息的配置。

上述的自查预警引擎工具，读取方式分为人工&自动两种。人工即为人工选取被检查的目标数据然后进行系统校验；自动即为把目标数据放在指定位置，上述的自查预警引擎工具即会到指定位置进行自动读取，并且可以设置定时任务，比如可以按照金融机构的实际需要以“天”为单位进行读取，或者每季度自动读取一次等，该方式可以满足不同时间周期的读取校验需求。

该自查预警引擎工具的部署架构示意图可参见图6，处理流程示意图可参见图7。

为了克服反洗钱数据范围广、分布散、质量差、历史数据多、业务场景复杂等问题，本申请实施例按照监管的发文要求进行梳理对应的数据要求，并将这些要求分类提炼出不同的数据校验规则和模型，内置到系统中，形成一种基于多维度规则模型筛查反洗钱异常数据的自查预警引擎工具，进而通过系统的跑批对金融机构反洗钱数据进行系统批量校验，对不符合规则的异常数据进行提取，督促机构内部事先整改，达到数据质量的内部治理，减少监管检查的处罚，同时也极大地减少人工工作量，大大提高了机构数据治理的效率。

本次所采用的技术方案是：基于监管机构对银行、支付、保险、证券、期货等金融机构反洗钱现场检查数据要求，总结出针对不同金融机构数据质量治理的校验规则，并支持金融机构根据自身实际需要进行校验规则的灵活配置，通过系统初始化的内置规则和机构自定义的规则，形成一种基于多维度规则模型筛查反洗钱异常数据的自查预警引擎工具，通过对目标检查数据的扫描读取，实现对异常数据的定位、跟踪，提前摸清数据质量，主动应对监管检查的同时，做到金融机构内部反洗钱数据的自检自查，及早发现机构内部数据不准确、不完整等问题，从而针对性完善数据、提高数据质量。

本申请所提供的自查预警引擎工具，加强了反洗钱合规等方面的科技融合和运用，找到了人工和科技的平衡点，以智能促效能，提升反洗钱数据治理的高效性和准确性。反洗钱涵盖全量客户和交易数据，连接各个业务系统与客户管理系统，具有一定的特殊性，做反洗钱数据治理时，单纯通过人工进行发现或者通过不同系统中个别功能进行零散的数据检查，对于反洗钱数据治理工作来讲只能是杯水车薪。通过本自查预警引擎工具可以释放人工劳动力，把人工的主要精力集中在后期的整改或者其他更重要的事情上。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，包括：

规则管理模块，所述规则管理模块用于管理多个针对不同金融机构数据质量治理的校验规则；

数据校验模块，用于接收待检查金融机构的目标数据文件，根据所述目标数据文件创建校验任务和与所述校验任务一一对应的协议文件，将所述目标数据文件和协议文件存放到接收目录下；从所述接收目录读取所述目标数据文件，根据所述校验规则，通过跑批对所述目标数据文件进行批量校验，对所述目标数据文件中不符合所述校验规则的异常数据进行提取，生成校验结果；

数据治理模块，用于对所述异常数据，按照数据归属进行治理任务分配，并将所述治理任务发送给相应归属金融机构；接收治理任务的相应归属金融机构反馈的治理结果和办结操作。

2.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述校验规则包括初始化的内置校验规则和金融机构根据自身实际需要灵活配置的校验规则；所述初始化的内置校验规则基于监管机构对金融机构反洗钱现场检查数据要求总结得到。

3.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述校验规则包括格式类校验规则、内容合规类校验规则和逻辑合理性校验规则。

4.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述目标数据文件的格式为csv文本文件，所述目标数据文件中的内容格式为UTF-8编码，每个所述目标数据文件中的数据量小于或等于3000千万；在所述目标数据文件中，字段内容加半角双引号，字段间以半角单竖线或逗号分割；所述协议文件中的内容采用json格式数据，所述协议文件的名称使用中英文、数字、下划线、中划线，且名称长度小于或等于20个字符。

5.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，在数据校验模块中，当接收到多个目标数据文件，创建得到多个校验任务和协议文件时，将所有目标数据文件全部存放到接收目录中以当前日期命名的文件夹下，将每个协议文件分别根据相应校验任务命名，并将每个协议文件存放到接收目录中的预先约定的扫描目录下。

6.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述数据治理模块还用于：

将所述异常数据的异常概况和明细发送给相应归属金融机构；

向相应归属金融机构发送任务处理期限提醒。

7.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述自查预警引擎工具还包括：

校验结果统计模块，用于对所述校验结果进行可视化展示，在可视化展示时展示所述异常数据的具体分布；接收选定的展示维度，根据所述展示维度对所述校验结果进行统计和可视化展示。

8.根据权利要求7所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述校验结果统计模块还用于：

在可视化展示时，对于校验不通过的目标数据文件和字段显示校验不通过的具体原因；

接受输入的导出条件，将所述校验结果中符合所述导出条件的异常数据进行批量导出。

9.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述自查预警引擎工具还包括：

任务比对模块，用于将所述异常数据和治理结果进行比对，并将比对结果进行可视化展示；接收选定的两个校验任务，所述两个校验任务对应不同时间段的相同目标数据文件，对所述两个校验任务的相应校验结果进行数据对比，将相同目标数据文件在不同校验任务中的异常数据分别进行可视化展示。

10.根据权利要求1所述的金融机构反洗钱异常数据的自查预警引擎工具，其特征在于，所述自查预警引擎工具采用B/S架构，所述自查预警引擎工具支持多法人、总-分-支架构，所述自查预警引擎工具的前端交互界面采用VUE技术组件开发，所述自查预警引擎工具的数据存储采用MySQL数据库。