CN112995155B - 金融异常报文识别方法及装置 - Google Patents
金融异常报文识别方法及装置 Download PDFInfo
- Publication number
- CN112995155B CN112995155B CN202110176723.7A CN202110176723A CN112995155B CN 112995155 B CN112995155 B CN 112995155B CN 202110176723 A CN202110176723 A CN 202110176723A CN 112995155 B CN112995155 B CN 112995155B
- Authority
- CN
- China
- Prior art keywords
- message
- abnormal
- training
- establishing
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于人工智能技术领域,本发明提供了一种金融异常报文识别方法及装置,所述金融异常报文识别方法包括:获取待识别报文,所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构;根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。本发明采用历史数据的自动采集与学习、实现了异常报文的自动识别;避免了系统受到异常报文的冲击、减少柜员处理异常报文的工作量、防止客户收到广告推送的骚扰,不仅可以保障金融机构系统的可用性,也可以大量节省工作人员的人力。
Description
技术领域
本申请涉及人工智能技术领域,具体涉及一种基于金融异常报文识别方法及装置。
背景技术
现有技术中,在各种金融业务场景中,例如:基于转账汇款、查询查复等业务,背后都由各商业银行的报文交互系统支撑。但在现实中,除了正常的业务往来之外,还可能有各种异常报文的产生。这类异常报文通常发生在以下场景:
一、机构利用报文进行广告推送;利用报文附言发送广告。收款银行自动给客户发送入账短信,展现附言。
二、防止发起人利用报文进行攻击;发起人利用收款人名称与账号不符,大批量发送进行攻击。占用了接收方的系统资源,对接收方造成压力,或需要人工落地处理,造成多余的工作量。
三、对手行机构系统发生异常,导致发送异常报文。这种情况非故意人为,但可能对接收方系统造成压力等影响。
对于金融机构的接收方,如果不能识别这些异常报文,可能会造成信誉下降、信息系统瘫痪、增加业务人员手工操作等影响。但由于异常报文的多样性、不断变化,有可能造成识别准确性低,漏判、误判等问题。
发明内容
本发明属于人工智能技术领域,针对现有技术中的问题,本发明采用历史数据的自动采集与学习、实现了异常报文的自动识别;避免了系统受到异常报文的冲击、减少柜员处理异常报文的工作量、防止客户收到广告推送的骚扰,不仅可以保障金融机构系统的可用性,也可以大量节省工作人员的人力,同时保障了商业银行在客户群体中的声誉。
为解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供一种金融异常报文识别方法,包括:
获取待识别报文;
根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。
一实施例中,建立所述随机森林异常报文识别模型包括以下步骤:
利用随机森林算法建立所述随机森林异常报文识别模型的初始模型;
根据已识别的异常报文、正常报文建立所述初始模型的训练集以及测试集;
利用所述训练集对所述初始模型进行训练;
利用所述测试集对训练结果进行验证,以生成验证结果;
根据预设验证阈值以及所述验证结果建立随机森林异常报文识别模型。
一实施例中,所述根据已识别的异常报文数据、正常报文建立所述初始模型的训练集以及测试集,包括:
对报文进行标记,以确定所述异常报文以及正常报文;
根据异常报文、正常报文以及预设比例生成训练集以及测试集。
一实施例中,所述对报文进行标记,以确定所述异常报文以及正常报文包括:
根据异常报文中的异常特征值对所述报文进行标记;
所述异常特征值包括:所述异常报文的时间段特征、金额特征以及附言中关键词;
所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构。
第二方面,本发明提供一种金融异常报文识别装置,该装置包括:
报文获取单元,用于获取待识别报文;
报文识别单元,用于根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。
一实施例中,金融异常报文识别装置还包括:模型建立单元,用于建立所述随机森林异常报文识别模型,所述模型建立单元包括:
初始模型建立模块,用于利用随机森林算法建立所述随机森林异常报文识别模型的初始模型;
数据集建立模块,用于根据已识别的异常报文、正常报文建立所述初始模型的训练集以及测试集;
模型训练模块,用于利用所述训练集对所述初始模型进行训练;
训练结果验证模块,用于利用所述测试集对训练结果进行验证,以生成验证结果;
识别模型建立模块,用于根据预设验证阈值以及所述验证结果建立随机森林异常报文识别模型。
一实施例中,所述数据集建立模块包括:
报文标记模块,用于对报文进行标记,以确定所述异常报文以及正常报文;
报文拆分模块,用于根据异常报文、正常报文以及预设比例生成训练集以及测试集。
一实施例中,所述报文标记模块包括:
报文标记子模块,用于根据异常报文中的异常特征值对所述报文进行标记;
所述异常特征值包括:所述异常报文的时间段特征、金额特征以及附言中关键词;
所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构。
第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现金融异常报文识别方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现金融异常报文识别方法的步骤。
从上述描述可知,本发明实施例提供一种金融异常报文识别方法及装置,首先获取待识别报文,待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构;根据报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对待识别报文进行识别。本发明采用历史数据的自动采集与学习、预测实现了异常报文的自动识别;避免了系统受到异常报文的压力冲击、减少柜员处理异常报文的工作量、防止客户收到广告推送的骚扰,不仅可以保障金融机构系统的可用性,也可以大量节省工作人员的人力,同时保障了商业银行在客户群体中的声誉。另一方面,本发明所提供的金融异常报文识别方法及装置具有自适应化,不断学习、更新模型的特点,能灵活地、动态地进行自更新;优于以前通过设置规则库的方式。
综上所述,发明不仅降低了金融机构的系统压力、节省了人力成本,也为客户减少了垃圾报文的骚扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种金融异常报文识别系统的第一种结构示意图;
图2为本申请实施例的一种金融异常报文识别系统的第二种结构示意图;
图3为本发明的实施例中金融异常报文识别方法的流程示意图一;
图4为本发明的实施例中金融异常报文识别方法的流程示意图二;
图5为本发明的实施例中步骤300的流程示意图;
图6为本发明的实施例中步骤302的流程示意图;
图7为本发明的实施例中步骤3021的流程示意图;
图8为本发明的具体实施方式中金融异常报文识别方法的流程示意图;
图9为本发明的具体实施方式中金融异常报文识别装置的方块图;
图10为本发明的实施例中金融异常报文识别装置的结构示意图一;
图11为本发明的实施例中金融异常报文识别装置的结构示意图一;
图12为本发明的实施例中模型建立单元的结构示意图;
图13为本发明的实施例中数据集建立模块的结构示意图;
图14为本发明的实施例中报文标记模块的结构示意图;
图15为本发明的实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供一种金融异常报文识别系统,该系统包含有一种金融异常报文识别装置,参见图1,该装置可以为一种服务器A1,该服务器A1可以与多个报文接收端B1通信连接,服务器A1还可以与多个数据库分别通信连接,或者如图2所示,这些数据库也可以之间设置在服务器A1中。其中,报文接收端B1用于接收报文收到时间、金额、报文发起人、报文附言以及报文发起机构。服务器A1在收取待识别报文之后,对对应的待识别报文进行实时识别,并将识别结果通过客户端C1显示给用户。
可以理解的是,报文接收端B1可以为一种数据接口,客户端C1可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中,进行金融异常报文识别的部分可以在如上述内容的服务器A1侧执行,即,如图1或图2所示的架构,也可以所有的操作都在客户端C1设备中完成。具体可以根据客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在客户端设备中完成,客户端设备还可以包括处理器,用于进行对金融异常报文识别结果的处理等操作。
上述的客户端C1设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与服务器的数据传输。服务器可以包括金融异常报文识别一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与金融异常报文识别服务器有通信链接的第三方服务器平台的服务器。的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
服务器与客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,网络协议例如还可以包括在上述协议之上使用的RPC协议(RemoteProcedure Call Protocol,远程过程调用协议)、REST协议(Representational StateTransfer,表述性状态转移协议)等。
由于异常报文不具有一般性的识别特征,现有的商业银行系统,大多基于已经发生的异常进行人工识别后,再通过黑名单设置的方式进行禁用。这种方式一是需要人工设置规则,且需要基于个人经验,容易产生误判。二是人为设置,时效性不强。
在金融领域的报文中,由于特征的多样性与变化性,在训练过程中模型容易学习到噪声,从而产生过拟合。在人工智能算法中,常用的多层神经网络在层数较多时容易产生过拟合的问题,降低泛化能力,从而对新报文的适应性较差。基于此,本发明的实施例提供一种金融异常报文识别方法的具体实施方式,参见图3,其具体包括如下内容:
步骤100:获取待识别报文。
待识别报文所包含的信息包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构;另外需要说明的是,由于异常报文的周期性以及通常是由于重大节日出发,报文收到时间又可以进一步分为时分以及日期,例如09:15以及2020年2月5日。
步骤200:根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。
可以理解的是,随机森林算法,属于决策树的优化。深度无限制的单棵决策树,会产生过拟合的结果,而深度有限制的单颗决策树,则会产生不准确的结果。随机森林算法采用多颗限制深度的决策树,每棵决策树在特征集中选取随机的几个特征进行训练,最终多颗决策树合并成森林,采用进行投票的机制确定结果,既消除了过拟合,又保证了较高的准确性。故单模型的算法容易产生错误结果,本实施例随机森林算法采用多个模型,可以有效的纠正单个的错误,从而产生更准确的预测结果。具体地,将待识别报文的相关数据(报文收到时间、金额、报文发起人、报文发起机构)输入至随机森林异常报文识别模型中,可对该待识别报文进行异常识别,对于识别结果为“异常”的报文,系统将自动进行拒绝处理,无需人工二次处理。
从上述描述可知,为解决金融机构间异常报文的识别问题,本发明实施例提供一种金融异常报文识别方法,通过对报文进行各个特征的识别,结合随机森林算法,对报文的性质进行智能归类和识别。
一实施例中,参见图4,金融异常报文识别方法还包括:
步骤300:建立所述随机森林异常报文识别模型。
进一步地,参见图5,步骤300还包括以下步骤:
步骤301:利用随机森林算法建立所述随机森林异常报文识别模型的初始模型;具体地,可使用随机森林算法分类器python skllearn.ensemble中的RamdomForestClassifier来创建步骤301中的初始模型。对随机森林中树的数量,可暂定定为1000(该参数支持灵活调整),以生成模型Model=RandomForestClassifier(1000)。优选地,也可以根据待识别报文的体量以及预设的验证阈值确定随机森林中数的数量。
步骤302:根据已识别的异常报文、正常报文建立所述初始模型的训练集以及测试集;
首先需要对异常报文以及正常报文中的报文收到时间、金额、报文发起人、报文附言以及报文发起机构进行数据转换,具体如下:
(1)报文收到时间,如09:15、12:30、23:59等等,为了使决策树便于识别时间的平滑递增关系,转化为当前时刻相对于00:00所经过的分钟数。取收到报文的当前系统时间,即可计算。比如,00:15,转换为15;01:05转换为65
节假日、节假日前夕、普通工作日的报文可以展现为不同的行为,所以日期为重要的参考特征。
直接取收到报文的当前系统日期,并转换提取为以下两个特征。特征一:当前日期属于一年中的第几天(Day of Year)。比如:2020年2月5号,转化为36。特征二:当前日期是星期几(Day of Week)比如:2020年2月5号,转化为3(星期三)。
(2)金额
金额在恶意攻击中是一个明显的特征,如广告报文经常采用最小金额。直接获取报文中的金额字段作为特征,无需转换。
(3)报文发起人
对于恶意攻击,报文发起人可能在特定的范围内,可以作为识别的重要特征。直接获取报文中的报文发起人字段,并使用通用字符处理算法转换为byte格式,最终转换为数值型格式。
(4)报文发起机构
不同报文发起机构的报文组包规则是不一样的,可以作为识别的重要特征。直接获取报文中的报文发起机构字段作为特征,字段本身为数值型,无需转换。
(5)其他特征值
除以上在金融系统中普遍的显著特征以外,系统支持对其他特征进行自动通用性自动提取,以提升识别的准确率。对于数值型的字段,无需转换。对于字符型的字段,使用通用字符处理算法转换为byte格式,最终转换为数值型格式。
接着,将转换后的数据依据预设比例拆分为训练集以及测试集,例如该比例为总体数据的75%的记录作为训练集,25%的记录作为测试集。
步骤303:利用所述训练集对所述初始模型进行训练;
步骤304:利用所述测试集对训练结果进行验证,以生成验证结果;
步骤305:根据预设验证阈值以及所述验证结果建立随机森林异常报文识别模型。
可以理解的是,步骤303至步骤305是一个循环过程,具体地,利用训练集对初始模型进行第一轮训练,根据测试集对第一轮训练的训练结果进行验证,并计算出准确率,接着,将准确率与预设阈值进行对比,当准确率小于预设阈值时(即没有达到期望值),利用训练集对初始模型进行第二轮训练,直至准确率不小于预设阈值,优选地,可以在训练初始时,设置训练次数,当训练轮数达到该次数时,在利用测试集和训练结果进行验证,以节约资源及提高时效。
一实施例中,参见图6,步骤302进一步包括:
步骤3021:对报文进行标记,以确定所述异常报文以及正常报文;
根据异常报文的特有属性对报文进行标记,即对异常报文与正常报文进行特征标记,以示区别。具体地,可用预导入的规则库进行系统自动标注,规则库包含按经验总结的异常报文的常见特征,包括时间段特征、金额特征和附言关键词库。符合预设的时间段、金额、以及附言命中关键词库的,会自动标注为“异常”。其他则默认标注为“正常”。以理解的是,利用这种方法可替代80%以上的第一轮人工标注工作量。对自动标识的结果,可进行人工修正,使标注结果更加准确。
步骤3022:根据异常报文、正常报文以及预设比例生成训练集以及测试集。
在步骤302中的数据转换之后,即转换后特征值、目标值生成数据集,生成特征值以及目标值之间的映射关系,具体地:将转换后的特征值、目标值映射到数组中,在内存中创建一个二维数组,如表1所示。
表1
将以上数组分隔为特征数组features、目标数组labels。接着,将特征数组features、目标数组labels再分隔为训练集、测试集。随机取数组中75%的记录作为训练集,25%的记录作为测试集。分隔之后,分别存到四个数组中:Train_features:用来训练的特征集;Train_labels:用来训练的目标集;Test_features:用来验证的特征集Test_labels:用来验证的目标集。
一实施例中,参见图7,步骤3021进一步包括:
步骤30211:根据异常报文中的异常特征值对所述报文进行标记;
异常特征值包括:所述异常报文的时间段特征、金额特征以及附言中关键词。采用预导入的规则库进行系统自动标注,规则库包含按经验总结的异常报文的常见特征,包括时间段特征、金额特征和附言关键词库。符合预设的时间段、金额、以及附言命中关键词库的,会自动标注为“异常”。其他则默认标注为“正常”。使用规则库对数据进行初步分类,人工标记用于系统的自学习,需要一定的积累作为学习样本;故在系统启用之初,柜员和客户会有一定的标注工作量(规则库自动标注步骤已经节省了大部分的工作量);系统进行第一轮学习后,系统即具备智能判断能力,此时系统智能判断为异常的,也会自动标注为“异常”。故随着系统的智能学习和不断完善,理论上需要人工进行标记的报文会逐渐减少。定时间内未被人工标记或智能标记为异常的,将作为正常报文处理。标记结果更新数据库,报文进入“可推送”状态,即正常报文。
在一种具体实施方式中,本发明还提供金融异常报文识别方法中的具体实施方式,参见图8。
参见图9,在本具体实施方式中,还提供一种金融异常报文识别装置,该装置包括:数据采集服务器100、柜员机终端200、手机银行300以及数据训练学习与识别服务器400,具体地:
数据采集服务器100获取生产金融系统中发起的报文,并储存到本地数据库中。报文数据按照银行已有的业务处理流程进行处理后,网点柜员可以在柜员机终端200中查看到报文交易记录,客户也可以在手机银行300(网上银行)等系统中看到与自己相关的报文交易记录。网点柜员、客户可将报文进行异常标记。如果训练准确率达标,则数据训练学习服务器400将模型进行更新(替代旧模型),并投入预测使用。数据采集服务器100,定期收集系统中“可推送”状态的报文,通过消息队列推送至数据训练学习与识别服务器400,推送完毕后,将对应的记录置为“已推送”状态。
步骤S1:生成随机森林异常报文识别模型的初始模型。
具体地,该模型依赖于基尼不纯度(Gini Impurity)的算法,基尼不纯度指根据节点中样本的分布对样本分类时,从节点中随机选择的样本被分错的概率。越小的基尼不纯度代表预测结果越准确。
在构造的决策树过程中中,决策树是逐层往下生成的,每个节点生成左右两个子节点时,都需要选取其中一个输入特征进行划分。计算中,采用每个特征代入不纯度的公式进行计算,最后选取最小的一个。基尼不纯度的计算公式:
其中,J为分类数量,在本发明中为2,即“异常/正常”。pi为第i个分类在样本中的出现概率。
每一层中基尼不纯度的加权计算公式:
使用以上最终可得到计算模型。
步骤S2:训练初始模型,以生成随机森林异常报文识别模型。
具体地,构造训练集之后,启动随机森林的训练Model.fit(Train_features,Train_labels);训练完毕后,模型将会生成1000棵决策树,用于后续的预测。
步骤S3:验证训练成功率。
根据验证的特征集进行验证:Predicted_labels=model.predict(Test_features);
在此过程中,上一步生成的模型,将会把数据代入1000棵决策树中逐一进行结果预测,并使用投票机制取多数决策树的预测结果作为最终结果。以上算法已经封装好,只需要简单调用即可。得到了验证数据集的预测结果,存放在Predicted_labels中。
接下来进行预测结果的准确率验证(用之前的用来验证的目标集,与预测的结果进行比对,计算准确率)。
Accuracy=accuracy_score(Test_labels,Predicted_labels)
得到的Accuracy是一个百分比,如80%、95%等等。对于金融机构来说,可以设定一个准确率的目标值。如90%。则,如果训练出来的模型,准确率未达到90%,则认为不够准确,不采用其训练结果。如果准确率达到90%,才会进行下一步的数据预测,进行预测。如果训练准确率达标,则将模型进行更新(替代旧模型),并投入预测使用。
步骤S4:根据随机森林异常报文识别模型对待识别报文进行异常识别。
对待识别报文进行特征提取(转换方法如步骤302所示),接着,将结果放到“当前报文特征集”(Current_features)中:CurrentPredicted_labels=
model.predict(Current_features),此时得到的“当前报文预测结果(CurrentPredicted_labels)是两个值之一:0--代表正常报文;1--代表异常报文。根据识别结果,对于预测为“异常”的报文,系统将自动进行拒绝处理,无需人工二次处理。
从上述描述可知,本发明实施例提供一种金融异常报文识别方法,采用历史数据的自动采集与学习、预测实现了异常报文的自动识别;避免了系统受到异常报文的压力冲击、减少柜员处理异常报文的工作量、防止客户收到广告推送的骚扰,不仅可以保障金融机构系统的可用性,也可以大量节省工作人员的人力,同时保障了商业银行在客户群体中的声誉。另一方面,本发明所提供的金融异常报文识别方法具有自适应化,不断学习、更新模型的特点,能灵活地、动态地进行自更新;优于以前通过设置规则库的方式。
基于同一发明构思,本申请实施例还提供了一种金融异常报文识别装置,可以用于实现上述实施例所描述的方法,如下面的实施例。由于金融异常报文识别装置解决问题的原理与金融异常报文识别方法相似,因此金融异常报文识别装置的实施可以参见金融异常报文识别方法实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本发明的实施例提供一种能够实现金融异常报文识别方法的金融异常报文识别装置的具体实施方式,参见图10,金融异常报文识别装置具体包括如下内容:
报文获取单元10;用于获取待识别报文;
报文识别单元20,用于根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。
一实施例中,参见图11,金融异常报文识别装置还包括:模型建立单元30,用于建立所述随机森林异常报文识别模型,参见图12,所述模型建立单元30包括:
初始模型建立模块301,用于利用随机森林算法建立所述随机森林异常报文识别模型的初始模型;
数据集建立模块302,用于根据已识别的异常报文、正常报文建立所述初始模型的训练集以及测试集;
模型训练模块303,用于利用所述训练集对所述初始模型进行训练;
训练结果验证模块304,用于利用所述测试集对训练结果进行验证,以生成验证结果;
识别模型建立模块305,用于根据预设验证阈值以及所述验证结果建立随机森林异常报文识别模型。
一实施例中,参见图13,所述数据集建立模块302包括:
报文标记模块3021,用于对报文进行标记,以确定所述异常报文以及正常报文;
报文拆分模块3021,用于根据异常报文、正常报文以及预设比例生成训练集以及测试集。
一实施例中,参见图14,所述报文标记模块3021包括:
报文标记子模块30211,用于根据异常报文中的异常特征值对所述报文进行标记;
所述异常特征值包括:所述异常报文的时间段特征、金额特征以及附言中关键词;
所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构。
从上述描述可知,本发明实施例提供一种金融异常报文识别装置,首先获取待识别报文,待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构;根据报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对待识别报文进行识别。本发明采用历史数据的自动采集与学习、预测实现了异常报文的自动识别;避免了系统受到异常报文的压力冲击、减少柜员处理异常报文的工作量、防止客户收到广告推送的骚扰,不仅可以保障金融机构系统的可用性,也可以大量节省工作人员的人力,同时保障了商业银行在客户群体中的声誉。另一方面,本发明所提供的金融异常报文识别装置具有自适应化,不断学习、更新模型的特点,能灵活地、动态地进行自更新;优于以前通过设置规则库的方式。
综上所述,发明不仅降低了金融机构的系统压力、节省了人力成本,也为客户减少了垃圾报文的骚扰。
本申请的实施例还提供能够实现上述实施例中的金融异常报文识别方法中全部步骤的一种电子设备的具体实施方式,参见图15,电子设备具体包括如下内容:
处理器(processor)1201、存储器(memory)1202、通信接口(CommunicationsInterface)1203和总线1204;
其中,处理器1201、存储器1202、通信接口1203通过总线1204完成相互间的通信;通信接口1203用于实现服务器端设备、报文接收端以及客户端设备等相关设备之间的信息传输;
处理器1201用于调用存储器1202中的计算机程序,处理器执行计算机程序时实现上述实施例中的金融异常报文识别方法中的全部步骤,例如,处理器执行计算机程序时实现下述步骤:
步骤100:获取待识别报文,所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构;
步骤200:根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。
本申请的实施例还提供能够实现上述实施例中的金融异常报文识别方法中全部步骤的一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的金融异常报文识别方法的全部步骤,例如,处理器执行计算机程序时实现下述步骤:
步骤100:获取待识别报文,所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构;
步骤200:根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。
Claims (6)
1.一种金融异常报文识别方法,其特征在于,包括:
获取待识别报文;
根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别;
建立所述随机森林异常报文识别模型包括以下步骤:
利用随机森林算法建立所述随机森林异常报文识别模型的初始模型;根据已识别的异常报文、正常报文建立所述初始模型的训练集以及测试集;
利用所述训练集对所述初始模型进行训练;
利用所述测试集对训练结果进行验证,以生成验证结果;
根据预设验证阈值以及所述验证结果建立随机森林异常报文识别模型;
所述利用随机森林算法建立所述随机森林异常报文识别模型的初始模型包括:
根据基尼不纯度的算法建立所述初始模型,在构造的决策树过程中,决策树是逐层往下生成的,每个节点生成左右两个子节点时,都需要选取其中一个输入特征进行划分;计算中,采用每个特征代入不纯度的公式进行计算,最后选取最小的一个;基尼不纯度的计算公式:
其中,J为分类数量,等于2,即“异常/正常”;pi为第i个分类在样本中的出现概率;
每一层中基尼不纯度的加权计算公式:
使用以上最终可得到初始模型;
所述根据已识别的异常报文数据、正常报文建立所述初始模型的训练集以及测试集,包括:
对报文进行标记,以确定所述异常报文以及正常报文;
根据异常报文、正常报文以及预设比例生成训练集以及测试集;
所述根据异常报文、正常报文以及预设比例生成训练集以及测试集,包括:
根据转换后特征值、目标值生成数据集,生成特征值以及目标值之间的映射关系:将转换后的特征值、目标值映射到数组中,在内存中创建一个二维数组,将以上数组分隔为特征数组features、目标数组labels;接着,将特征数组features、目标数组labels再分隔为训练集、测试集;随机取数组中75%的记录作为训练集,25%的记录作为测试集;分隔之后,分别存到四个数组中:Train_features:用来训练的特征集;Train_labels:用来训练的目标集;Test_features:用来验证的特征集Test_labels:用来验证的目标集。
2.如权利要求1所述的金融异常报文识别方法,其特征在于,所述对报文进行标记,以确定所述异常报文以及正常报文包括:
根据异常报文中的异常特征值对所述报文进行标记;
所述异常特征值包括:所述异常报文的时间段特征、金额特征以及附言中关键词;
所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构。
3.一种金融异常报文识别装置,其特征在于,包括:
报文获取单元,用于获取待识别报文;
报文识别单元,用于根据所述报文收到时间、金额、报文发起人、报文发起机构以及预先建立的随机森林异常报文识别模型对所述待识别报文进行识别;
模型建立单元,用于建立所述随机森林异常报文识别模型,所述模型建立单元包括:
初始模型建立模块,用于利用随机森林算法建立所述随机森林异常报文识别模型的初始模型;
数据集建立模块,用于根据已识别的异常报文、正常报文建立所述初始模型的训练集以及测试集;
模型训练模块,用于利用所述训练集对所述初始模型进行训练;
训练结果验证模块,用于利用所述测试集对训练结果进行验证,以生成验证结果;
识别模型建立模块,用于根据预设验证阈值以及所述验证结果建立随机森林异常报文识别模型;
所述初始模型建立模块具体用于根据基尼不纯度的算法建立所述初始模型,在构造的决策树过程中,决策树是逐层往下生成的,每个节点生成左右两个子节点时,都需要选取其中一个输入特征进行划分;计算中,采用每个特征代入不纯度的公式进行计算,最后选取最小的一个;基尼不纯度的计算公式:
其中,J为分类数量,等于2,即“异常/正常”;pi为第i个分类在样本中的出现概率;
每一层中基尼不纯度的加权计算公式:
所述数据集建立模块包括:
报文标记模块,用于对报文进行标记,以确定所述异常报文以及正常报文;
报文拆分模块,用于根据异常报文、正常报文以及预设比例生成训练集以及测试集;
所述报文拆分模块具体用于根据转换后特征值、目标值生成数据集,生成特征值以及目标值之间的映射关系:将转换后的特征值、目标值映射到数组中,在内存中创建一个二维数组,将以上数组分隔为特征数组features、目标数组labels;接着,将特征数组features、目标数组labels再分隔为训练集、测试集;随机取数组中75%的记录作为训练集,25%的记录作为测试集;分隔之后,分别存到四个数组中:Train_features:用来训练的特征集;Train_labels:用来训练的目标集;Test_features:用来验证的特征集Test_labels:用来验证的目标集。
4.如权利要求3所述的金融异常报文识别装置,其特征在于,所述报文标记模块包括:
报文标记子模块,用于根据异常报文中的异常特征值对所述报文进行标记;
所述异常特征值包括:所述异常报文的时间段特征、金额特征以及附言中关键词;
所述待识别报文包括:报文收到时间、金额、报文发起人、报文附言以及报文发起机构。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至2任一项所述金融异常报文识别方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至2任一项所述金融异常报文识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176723.7A CN112995155B (zh) | 2021-02-09 | 2021-02-09 | 金融异常报文识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176723.7A CN112995155B (zh) | 2021-02-09 | 2021-02-09 | 金融异常报文识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112995155A CN112995155A (zh) | 2021-06-18 |
CN112995155B true CN112995155B (zh) | 2023-04-07 |
Family
ID=76392542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110176723.7A Active CN112995155B (zh) | 2021-02-09 | 2021-02-09 | 金融异常报文识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112995155B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134208A (zh) * | 2022-07-11 | 2022-09-30 | 中信百信银行股份有限公司 | 报文转换方法、装置、电子设备及存储介质 |
CN116364178B (zh) * | 2023-04-18 | 2024-01-30 | 哈尔滨星云生物信息技术开发有限公司 | 一种体细胞序列数据分类方法及相关设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106991437A (zh) * | 2017-03-20 | 2017-07-28 | 浙江工商大学 | 基于随机森林预测污水水质数据的方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106372938A (zh) * | 2015-07-21 | 2017-02-01 | 华为技术有限公司 | 异常账号识别方法及系统 |
CN105898722B (zh) * | 2016-03-31 | 2019-07-26 | 联想(北京)有限公司 | 一种非正常短信息的鉴别方法、装置和电子设备 |
CN108960833B (zh) * | 2018-08-10 | 2022-03-11 | 哈尔滨工业大学(威海) | 一种基于异构金融特征的异常交易识别方法,设备及存储介质 |
CN109327479A (zh) * | 2018-12-14 | 2019-02-12 | 锐捷网络股份有限公司 | 加密流的识别方法及装置 |
CN109635873A (zh) * | 2018-12-19 | 2019-04-16 | 佛山科学技术学院 | 一种ups故障预测方法 |
CN110188196B (zh) * | 2019-04-29 | 2021-10-08 | 同济大学 | 一种基于随机森林的文本增量降维方法 |
CN111444769B (zh) * | 2020-02-25 | 2022-07-01 | 华中科技大学 | 一种基于多尺度自适应随机森林的激光雷达检测人腿方法 |
CN111444767B (zh) * | 2020-02-25 | 2022-06-21 | 华中科技大学 | 一种基于激光雷达的行人检测和追踪方法 |
CN111935140B (zh) * | 2020-08-10 | 2022-10-28 | 中国工商银行股份有限公司 | 异常报文识别方法及装置 |
-
2021
- 2021-02-09 CN CN202110176723.7A patent/CN112995155B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106991437A (zh) * | 2017-03-20 | 2017-07-28 | 浙江工商大学 | 基于随机森林预测污水水质数据的方法及系统 |
Non-Patent Citations (1)
Title |
---|
裴晓伟等.基于机器学习的P2P网络借贷违约风险识别模型比较――以"人人贷"为例.江苏科技信息.2020,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112995155A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20080155527A1 (en) | System and method for optimizing changes of data sets | |
CN112995155B (zh) | 金融异常报文识别方法及装置 | |
CN106997431B (zh) | 一种数据处理方法及装置 | |
CN111291125B (zh) | 一种数据处理方法及相关设备 | |
CN113239249A (zh) | 一种对象关联识别方法、装置和存储介质 | |
CN114186626A (zh) | 一种异常检测方法、装置、电子设备及计算机可读介质 | |
CN112328657A (zh) | 特征衍生方法、装置、计算机设备及介质 | |
CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
CN112308173A (zh) | 基于多评价因子融合的多目标对象评价方法及其相关设备 | |
CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
CN115186151A (zh) | 简历筛选方法、装置、设备及存储介质 | |
CN114387103A (zh) | 一种交易风险识别方法和装置 | |
CN117291722A (zh) | 对象管理方法、相关设备及计算机可读介质 | |
CN112417886A (zh) | 意图实体信息抽取方法、装置、计算机设备及存储介质 | |
CN113536121A (zh) | 基于大数据的数据处理方法及云计算服务器 | |
CN111832661A (zh) | 分类模型构建方法、装置、计算机设备及可读存储介质 | |
CN117036001A (zh) | 交易业务的风险识别处理方法、装置、设备及存储介质 | |
CN111831817A (zh) | 问卷生成分析方法、装置、计算机设备及可读存储介质 | |
CN113536087B (zh) | 作弊站点的识别方法、装置、设备、存储介质及程序产品 | |
CN114048512B (zh) | 一种处理敏感数据的方法及装置 | |
CN113392920B (zh) | 生成作弊预测模型的方法、装置、设备、介质及程序产品 | |
CN113254672A (zh) | 异常账号的识别方法、系统、设备及可读存储介质 | |
CN113076450A (zh) | 一种目标推荐列表的确定方法和装置 | |
CN111459990A (zh) | 对象处理方法、系统及计算机可读存储介质和计算机设备 | |
CN117332212B (zh) | 一种基于混沌工程故障实验的智能化风险探索方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |