CN115422047A - 基于lstm网络的仿真交易生成方法、装置及可读存储介质 - Google Patents
基于lstm网络的仿真交易生成方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN115422047A CN115422047A CN202210988419.7A CN202210988419A CN115422047A CN 115422047 A CN115422047 A CN 115422047A CN 202210988419 A CN202210988419 A CN 202210988419A CN 115422047 A CN115422047 A CN 115422047A
- Authority
- CN
- China
- Prior art keywords
- transaction
- simulated
- lstm network
- real
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了基于LSTM网络的仿真交易生成方法、装置及可读存储介质,该方法包括:利用LSTM网络训练出多个交易类型分别对应的多个交易模型;根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易;判断仿真交易与相同交易类型的真实交易的差异值是否超过预设阈值;在仿真交易和真实交易之间的差异值未超过预设阈值的情况下,输出仿真交易进行测试。利用上述方法,能够生成仿真效果更好、与真实交易相似程度更高的仿真交易。
Description
技术领域
本发明属于计算机领域,具体涉及一种基于LSTM网络的仿真交易生成方法、装置及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在目前的交易系统中开发完成后,通常都需要进行完整的案例回归测试,在回归测试没有问题的前提下再进行性能和持久性测试,但是即使经过上述测试后,在生产环境中依然会偶尔出现问题,原因在于生产环境系统收到的是实际交易,而上述测试环境下使用的是人工制造的假交易,
因此,测试环境无法囊括生产环境中的很多异常情况,因此需要寻找到一种优化的仿真交易生成方法,用以产生类似实际生产环境的仿真交易,使得测试环境更加接近于生产,让问题在开发测试阶段就可以暴露并解决。
发明内容
针对上述现有技术中存在的问题,提出了一种基于LSTM网络的仿真交易生成方法、装置及计算机可读存储介质,利用这种方法、装置及计算机可读存储介质,能够解决上述问题。
本发明提供了以下方案。
第一方面,提供一种基于LSTM网络的仿真交易生成方法,包括:利用LSTM网络训练出多个交易类型分别对应的多个交易模型;根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易;判断仿真交易与真实交易的差异值是否超过预设阈值;在仿真交易和真实交易之间的差异值未超过预设阈值的情况下,输出仿真交易进行测试。
在一种实施方式中,还包括:将预设校验模板中的固定字段,对应替换仿真交易中的生成的部分仿真字段。
在一种实施方式中,还包括:在仿真交易和真实交易之间的差异值超过预设阈值时,基于真实交易对仿真交易的每个字段进行字段相似性修正;以及,判断修正后的仿真交易与真实交易的差异值是否超过预设阈值。
在一种实施方式中,利用LSTM网络训练出多个交易类型分别对应的多个交易模型,还包括:按照交易类型对交易数据进行分类;对每个交易类型下交易数据进行预处理,得到对应的字符集;根据每个交易类型对应的字符集,将每个交易类型下的交易数据的报文内容映射为字符集数据;将每个交易类型下的交易数据的字符集数据输入LSTM网络进行训练,得到每个交易类型对应的交易模型。
在一种实施方式中,LSTM网络为双向LSTM网络。
在一种实施方式中,还包括:利用正向LSTM网络,学习前序标签内容对后序标签内容的正向影响;利用反向LSTM网络,学习后序标签内容对前序标签内容的反向影响;将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合。
在一种实施方式中,还包括:利用以下公式将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合:Pout=α·pl+β·pr,其中,其中α代表正向LSTM系数,β代表反向LSTM系数,pl代表正向节点的输出,pr代表反向节点输出。
在一种实施方式中,根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易,还包括:根据需要生成的目标交易类型确定对应的交易模型;基于输入的初始标签及内容递归调用交易模型,生成仿真交易。
在一种实施方式中,判断仿真交易与真实交易的差异值是否超过预设阈值,还包括:将仿真交易与真实交易送入判别器,计算损失值作为差异值;根据损失值和预设阈值判断仿真交易是否合格;其中,判别器基于CNN网络和损失函数构造。
在一种实施方式中,还包括:利用判别器判断至少两笔真实交易之间的损失值,利用至少两笔真实交易之间的损失值确定预设阈值。
在一种实施方式中,字段相似性修正,包括:利用编辑距离算法计算仿真交易的每个字段跟真实交易的对应字段的相似度距离;将相似度距离大于预设距离的问题字段重新输入交易模型,生成问题字段的替换字段。
在一种实施方式中,利用编辑距离算法计算仿真交易的每个字段跟真实交易的对应字段的相似程度,包括:利用编辑距离算法计算使仿真交易的每个字段转换成真实交易的对应字段需要的最少操作次数;根据最少操作次数确定相似度距离。
在一种实施方式中,依据以下公式确定字段间的相似度距离Si:其中,i代表字段中对应字符,n代表仿真交易与实际交易第i个字段长度的较大值,b1代表同类差异系数,b2代表不同类差异系数,Ci当i字符为同类差异时为1,当i字符为不同类差异时为0,Ei当i字符为同类差异时为0,当i字符为不同类差异时为1。
第二方面,提供一种基于LSTM网络的仿真交易生成装置,包括:交易训练模块,用于利用LSTM网络训练出多个交易类型分别对应的多个交易模型;交易生成模块,用于根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易;交易评价模块,用于判断仿真交易与真实交易的差异值是否超过预设阈值;交易测试模块,用于在仿真交易和真实交易之间的差异值未超过预设阈值的情况下,输出仿真交易进行测试。
在一种实施方式中,还包括:模板校验模块,用于将预设校验模板中的固定字段,对应替换仿真交易中的生成的部分仿真字段。
在一种实施方式中,还包括:字段修正模块,用于在仿真交易和真实交易之间的差异值超过预设阈值时,基于真实交易对仿真交易的每个字段进行字段相似性修正;以及,
交易评价模块,还用于判断修正后的仿真交易与真实交易的差异值是否超过预设阈值。
在一种实施方式中,交易训练模块还用于:按照交易类型对交易数据进行分类;对每个交易类型下交易数据进行预处理,得到对应的字符集;根据每个交易类型对应的字符集,将每个交易类型下的交易数据的报文内容映射为字符集数据;将每个交易类型下的交易数据的字符集数据输入LSTM网络进行训练,得到每个交易类型对应的交易模型。
在一种实施方式中,LSTM网络为双向LSTM网络。
在一种实施方式中,交易训练模块还用于:利用正向LSTM网络,学习前序标签内容对后序标签内容的正向影响;利用反向LSTM网络,学习后序标签内容对前序标签内容的反向影响;将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合。
在一种实施方式中,交易训练模块还用于:利用以下公式将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合:Pout=α·pl+β·pr,其中,其中α代表正向LSTM系数,β代表反向LSTM系数,pl代表正向节点的输出,pr代表反向节点输出。
在一种实施方式中,交易生成模块,还用于:根据需要生成的目标交易类型确定对应的交易模型;基于输入的初始标签及内容递归调用交易模型,生成仿真交易,
在一种实施方式中,交易评价模块,还用于:将仿真交易与真实交易送入判别器,计算损失值作为差异值;根据损失值和预设阈值判断仿真交易是否合格;其中,判别器基于CNN网络和损失函数构造。
在一种实施方式中,交易评价模块,还用于:利用判别器判断至少两笔真实交易之间的损失值,利用至少两笔真实交易之间的损失值确定预设阈值。
在一种实施方式中,字段修正模块,还用于:利用编辑距离算法计算仿真交易的每个字段跟真实交易的对应字段的相似度距离;将相似度距离大于预设距离的问题字段重新输入交易模型,生成问题字段的替换字段。
在一种实施方式中,字段修正模块,还用于:利用编辑距离算法计算使仿真交易的每个字段转换成真实交易的对应字段需要的最少操作次数;根据最少操作次数确定相似度距离。
在一种实施方式中,字段修正模块,还用于:依据以下公式确定字段间的相似度距离Si:其中,i代表字段中对应字符,n代表仿真交易与实际交易第i个字段长度的较大值,b1代表同类差异系数,b2代表不同类差异系数,Ci当i字符为同类差异时为1,当i字符为不同类差异时为0,Ei当i字符为同类差异时为0,当i字符为不同类差异时为1。
第三方面,提供一种基于LSTM网络的仿真交易生成装置,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:如第一方面的方法。
第四方面,提供一种计算机可读存储介质,计算机可读存储介质存储有程序,当程序被多核处理器执行时,使得多核处理器执行如第一方面的方法。
上述实施方式的优点之一,能够生成与真实交易相似程度更高的仿真交易。
本发明的其他优点将配合以下的说明和附图进行更详细的解说。
应当理解,上述说明仅是本发明技术方案的概述,以便能够更清楚地了解本发明的技术手段,从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举例说明本发明的具体实施方式。
附图说明
通过阅读下文的示例性实施方式的详细描述,本领域普通技术人员将明白本文所述的优点和益处以及其他优点和益处。附图仅用于示出示例性实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的标号表示相同的部件。在附图中:
图1为根据本发明一实施方式的基于LSTM网络的仿真交易生成设备的结构示意图;
图2为根据本发明一实施方式的基于LSTM网络的仿真交易生成方法的流程示意图;
图3为根据本发明一实施方式的图1为根据本发明一实施方式的基于LSTM网络的仿真交易系统的结构示意图;
图4为根据本发明一实施方式的对交易数据进行预处理的数据示意图;
图5为LSTM网络的工作原理示意图;
图6为根据本发明一实施方式的正向LSTM网络的运行示意图;
图7为根据本发明一实施方式的双向LSTM网络的运行示意图;
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在本申请实施方式的描述中,应理解,诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施方式的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为清楚阐述本申请实施方式,首先将介绍一些后续实施方式中可能会出现的概念。
概念描述
LSTM,长短期记忆网络(LSTM,Long Short-Term Memory)是一种时间循环神经网络,是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型(HMM)更好,比如用在不分段连续手写识别上。
首先参见图1,其示意性示出了其中可以使用根据本公开的示例性实现方式的环境100的示意图。
图1示出了根据本公开的实施方式的计算设备100的示例的示意图。需要说明的是,图1即可为基于LSTM网络的仿真交易生成方法的硬件运行环境的结构示意图。本发明实施方式基于XX设备可以是PC,便携计算机等终端设备。
如图1所示,该基于LSTM网络的仿真交易生成设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的基于LSTM网络的仿真交易生成设备结构并不构成对基于LSTM网络的仿真交易生成设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于LSTM网络的仿真交易生成程序。其中,操作系统是管理和控制XX设备硬件和软件资源的程序,支持基于LSTM网络的仿真交易生成程序以及其它软件或程序的运行。
在图1所示的基于LSTM网络的仿真交易生成设备中,用户接口1003主要用于接收第一终端、第二终端和监管终端发送的请求、数据等;网络接口1004主要用于连接后台服务器与后台服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的XX程序,并执行以下操作:
基于多个交易类型的交易数据,利用LSTM网络训练出多个交易类型分别对应的多个交易模型。根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易。判断仿真交易与真实交易的差异值是否超过预设阈值。在仿真交易和真实交易之间的差异值未超过预设阈值的情况下,输出仿真交易进行测试。
由此,能够生成仿真效果更好,与真实交易数据相似程度更高的仿真交易。
图2示出了根据本公开的实施方式的用于执行基于LSTM网络的仿真交易生成方法的流程图。该方法例如可以由如图1所示的计算设备100来执行。应当理解的是,方法200还可以包括未示出的附加框和/或可以省略所示出的框,本公开的范围在此方面不受限制。
步骤210,基于多个交易类型的交易数据,利用LSTM网络训练出多个交易类型分别对应的多个交易模型。
步骤220,根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易。
步骤230,判断仿真交易与真实交易的差异值是否超过预设阈值。
步骤240,在仿真交易和真实交易之间的差异值未超过预设阈值的情况下,输出仿真交易进行测试。
本实施例的基于LSTM网络的仿真交易生成方案中,利用大量实际交易数据训练出LSTM(长短期记忆网络),利用该网络来生成接近生产环境的仿真交易由于不同的交易类型拥有不同的标签且标签内容的特性可能有所不同,因此为了使LSTM网络生成的仿真交易更加准确,本实施例采用以交易类型为维度对网络进行训练,使得不同的交易类型对应不同的训练模型。进而能够生成基于该不同交易类型的交易模型生成不同交易类型的仿真交易。进一步地,为了验证生成的仿真交易是否符合要求,将前述交易模型生成的仿真交易与真实交易送入判别器计算差异值,利用差异值与预设阈值判断该仿真交易是否合格。在仿真交易和真实交易的差异较小的情况下,可以判定为生成了仿真程度较高的仿真交易,可以进一步将该仿真交易输出至测试工具用于系统测试。
进一步地,在步骤220和步骤230之间,还包括:将预设校验模板中的固定字段,对应替换仿真交易中的生成的部分仿真字段。为了使得提升仿真交易的真实度,在以LSTM网络作为生成器网络生成仿真交易的同时提供模板替换功能,为了提高对联机系统测试的覆盖率,可以在模板中配置某些校验字段,确保仿真交易通过。
在一个示例中,可以依据用户的个性化模板对交易模型生成的初始的、粗糙的仿真交易进行校验。例如,该个性化模板比如可以包括商户机构号,该字段通常会在待测系统中配置白名单,如果直接由LSTM网络生成很可能无法命中白名单,会使得联机校验商户机构号失败直接拒绝交易,造成大量失败交易,所以为了使得生成的交易在联机系统中拥有更高的业务覆盖率,所以必须允许用户通过配置文件的形式,修改部分字段。
进一步地,在步骤230之后,在仿真交易和真实交易之间的差异值超过预设阈值的情况下,基于真实交易对仿真交易的每个字段进行字段相似性修正;以及,判断修正后的仿真交易与真实交易的差异值是否超过预设阈值。
参考图3,在一个具体示例中,测试工具与仿真交易系统交互过程如下:可以先将生产数据分类生成对应交易类型的不同文件,对文件做编码预处理,用来做数据集训练改进的LSTM网络生成器;测试工具调用交易生成模块,生成初始化的仿真交易;将初始化的仿真交易送入模板校验模块,用模板中固定填入的字段替换初始化交易中的部分字段,用户可以通过模板将部分字段的内容替换为期望值,以此让仿真交易可以走入更多的联机系统分支中并保证交易对系统的覆盖率;之后,将替换后交易送入交易评价模块中与真实交易做比对计算损失值,如果差异较小即小于两笔正常交易的损失值则评价通过送入测试工具中,如果差异过大则送入字段修正模块;字段修改模块比如可以利用Edit Distance-BasedMetrics算法计算每个字段跟真实字段是否相似,不相似则是问题字段送入生成器对问题字段进行修正后,再进行评价,直到评价通过送入测试工具中。
可选地,上述实施例所示出的方法可以适用于多种领域,包括但不限于自动化测试领域和交易探测等领域。
在一种实施方式中,步骤210进一步包括:按照交易类型对交易数据进行分类;对每个交易类型下交易数据进行预处理,得到对应的字符集;根据每个交易类型对应的字符集,将每个交易类型下的交易数据的报文内容映射为字符集数据;将每个交易类型下的交易数据的字符集数据输入LSTM网络进行训练,得到每个交易类型对应的交易模型。
一个示例中,参考图4,步骤210的作用主要是将用于训练的交易数据进行分类,由于每种交易数据的结构都是不同的,为了利用LSTM网络训练出更加准确的模型,可以将生产的实际交易按照交易类型进行分类,然后对分类后的交易数据进行预处理即先统计出交易数据对应的字符集vocab,再将交易数据映射为字符集数据,如图4所示。
进一步地,将交易数据集按照交易类型分类及预处理完成后,可以分类送入LSTM网络进行训练,由于LSTM网络在较长的时间尺度上可以记忆更多的特征,比如交易数据中的银行标签为工行,该标签可能会对应某些固定的商户和卡号标签,通过LSTM长短期记忆网络则可以更好的将一笔交易中所包含的不同标签之间的关系对应起来,使得生成的交易更加接近于实际情况。
参考图5,LSTM网络的设计分为3部分,输入门、遗忘门和输出门。其中输入门是生成下一个字段的内容,遗忘门是决定下一个字段是否需要填内容,而输出门则是决定输入门产生的内容里哪一个最合适,将最合适的输出,LSTM会通过乘法和加法等运算对信息进行局部的修改,因此通过LSTM,信息流会选择性地通过单位状态选择性的记忆或者遗忘某些特性。
参考图6,以xml格式报文预测为例,示出了该LSTM网络对生成字符的预测过程。该流程为LSTM网络的正常训练过程,但上述LSTM网络只利用前序标签内容生成后序标签内容,这样使得网络只学习到前序标签内容对后序标签内容的影响,但实际情况下后序标签内容对前序标签内容也有影响。
基于此,在上述步骤210的具体实现中,LSTM网络为双向LSTM网络。
在一种实施方式中,在上述步骤210的进一步具体实现中,可以利用正向LSTM网络,学习前序标签内容对后序标签内容的正向影响;利用反向LSTM网络,学习后序标签内容对前序标签内容的反向影响;将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合。
参考图7,本实施例在正向LSTM网络的基础上,新增反向LSTM网络,将标签内容反向输入进行训练,并将每个反向LSTM节点生成的内容与正向LSTM节点内容送入系统叠加层将内容叠加得到字段内容输出。
在一种实施方式中,在上述步骤210的进一步具体实现中,可以利用以下公式将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合:Pout=α·pl+β·pr,其中,其中α代表正向LSTM系数,β代表反向LSTM系数,pl代表正向节点的输出,pr代表反向节点输出。
可选地,由于前序标签对后续标签的影响往往比后续对前序的影响大,所以设计不同的系数进行叠加融合,比如α大于β。
可选地,上述LSTM网络当然也可以是单向LSTM网络,可以根据生成交易的需求,单独设置正向LSTM网络或反向LSTM网络。
在一种实施方式中,在上述步骤220的具体实现中,可以根据需要生成的目标交易类型确定对应的交易模型;基于输入的初始标签及内容递归调用交易模型,生成仿真交易。该步骤220用来生成初始的、粗糙的仿真交易,通过需要生成的目标交易类型判断所需要调用的交易模型,然后给定一个初始标签及内容,送入该交易模型逐个生成仿真交易的每一个字段,生成完整的仿真交易。
在一种实施方式中,在上述步骤230的具体实现中,可以将仿真交易与相同交易类型的真实交易送入判别器,计算损失值作为差异值;根据损失值和预设阈值判断仿真交易是否合格;其中,判别器基于CNN网络和损失函数构造。由此,可以首先有效过滤出与真实交易差距较大的仿真交易,提升仿真效果。
在一种实施方式中,在上述步骤230的进一步具体实现中,还包括:利用判别器判断至少两笔真实交易之间的损失值,利用至少两笔真实交易之间的损失值确定预设阈值。其中,该两笔真实交易与该仿真交易相同交易类型。
具体地,可以计算多笔真实交易两两之间的损失值均值作为该预设阈值。也可以计算出多笔真实交易两两之间的损失值最大值作为该预设阈值。本申请实施例对于该预设阈值的具体计算方式不作限定。
在一种实施方式中,在前文中相应介绍了,在步骤230之后,在仿真交易和真实交易之间的差异值超过预设阈值的情况下,可以基于真实交易对仿真交易的每个字段进行字段相似性修正。进一步地,该字段相似性修正具体可以包括:利用编辑距离(EditDistance-Based Metrics)算法计算仿真交易的每个字段跟真实交易的对应字段的相似度距离;将相似度距离大于预设距离的问题字段重新输入交易模型,生成问题字段的替换字段。对仿真交易中与实际情况差距过大的字段进行修正。
在一种实施方式中,在上述字段相似性修正的进一步具体实现中,可以利用编辑距离算法计算仿真交易的每个字段跟真实交易的对应字段的相似程度,包括:利用编辑距离算法计算使仿真交易的每个字段转换成真实交易的对应字段需要的最少操作次数;根据最少操作次数确定相似度距离。
具体地,该字段相似性修正对编辑距离(Edit Distance-Based Metrics)算法进行了个性化改动,用于将上述判断为不合格的仿真交易进行修正。首先,可以计算使得仿真交易中的字段文本A变成真实交易中对应的字段文本B,所需要的最少的操作次数。基于编辑距离评估方法通过操作次数的多少来评价相似的程度,操作次数越多,距离越大,越不相似。例如,仿真交易的生成可能涉及到三种类型的不同字符间的变化,分别为字母、汉字、数字,基于此,当同一类型字符的变化时,如a变为b时差异系数记为1,当不同类型字符变化时,如数字6变为b时差异系数记为2,如果字段长度不同如字符变为空时差异系数记为1。可以基于该差异系数进行诸如累加等计算操作来确定最少操作次数,并得到该相似度距离。
在一种实施方式中,在上述字段相似性修正的进一步具体实现中,可以依据以下公式确定字段间的相似度距离Si:
其中,i代表字段中对应字符,n代表仿真交易与实际交易第i个字段长度的较大值,b1代表同类差异系数,b2代表不同类差异系数,Ci当i字符为同类差异时为1为不同类差异时为0,Ei当i字符为同类差异时为0为不同类差异时为1。具体地,可以将前述判断的仿真交易中差异化最大的n个字段重新送入交易生成模块对单个字段逐一重新生成并替换掉不合格仿真交易中的该字段内容,n个字段全部替换完成后再送入重新进行评价计算,如果依然不合格则继续进行字段相似性修正,进行修正直到可以评价通过成为合格的仿真交易送入测试工具中。
需要说明的是,本实施方式中未作详细说明的步骤可以参考图1所示实施方式中相关步骤中的描述,此处不再赘述。
在本说明书的描述中,参考术语“一些可能的实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
关于本申请实施方式的方法流程图,将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如,由在计算机设备上运行的软件、硬件(例如,处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。
基于相同的技术构思,本发明实施方式还提供一种基于LSTM网络的仿真交易生成装置,用于执行上述任一实施方式所提供的基于LSTM网络的仿真交易生成方法。图3为本发明实施方式提供的一种基于LSTM网络的仿真交易生成装置结构示意图。
如图3所示,装置包括:
交易训练模块,利用LSTM网络训练出多个交易类型分别对应的多个交易模型;
交易生成模块,用于根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易;交易评价模块,用于判断仿真交易与真实交易的差异值是否超过预设阈值;交易测试模块,用于在仿真交易和真实交易之间的差异值未超过预设阈值的情况下,输出仿真交易进行测试。
在一种实施方式中,还包括:模板校验模块,用于将预设校验模板中的固定字段,对应替换仿真交易中的生成的部分仿真字段。
在一种实施方式中,还包括:字段修正模块,用于在仿真交易和真实交易之间的差异值超过预设阈值时,基于真实交易对仿真交易的每个字段进行字段相似性修正;以及,
交易评价模块,还用于判断修正后的仿真交易与真实交易的差异值是否超过预设阈值。
在一种实施方式中,交易训练模块还用于:按照交易类型对交易数据进行分类;对每个交易类型下交易数据进行预处理,得到对应的字符集;根据每个交易类型对应的字符集,将每个交易类型下的交易数据的报文内容映射为字符集数据;将每个交易类型下的交易数据的字符集数据输入LSTM网络进行训练,得到每个交易类型对应的交易模型。
在一种实施方式中,LSTM网络为双向LSTM网络。
在一种实施方式中,交易训练模块还用于:利用正向LSTM网络,学习前序标签内容对后序标签内容的正向影响;利用反向LSTM网络,学习后序标签内容对前序标签内容的反向影响;将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合。
在一种实施方式中,交易训练模块还用于:利用以下公式将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合:Pout=α·pl+β·pr,其中,其中α代表正向LSTM系数,β代表反向LSTM系数,pl代表正向节点的输出,pr代表反向节点输出。
在一种实施方式中,交易生成模块,还用于:根据需要生成的目标交易类型确定对应的交易模型;基于输入的初始标签及内容递归调用交易模型,生成仿真交易,
在一种实施方式中,交易评价模块,还用于:将仿真交易与真实交易送入判别器,计算损失值作为差异值;根据损失值和预设阈值判断仿真交易是否合格;其中,判别器基于CNN网络和损失函数构造。
在一种实施方式中,交易评价模块,还用于:利用判别器判断至少两笔真实交易之间的损失值,利用至少两笔真实交易之间的损失值确定预设阈值。
在一种实施方式中,字段修正模块,还用于:利用编辑距离算法计算仿真交易的每个字段跟真实交易的对应字段的相似度距离;将相似度距离大于预设距离的问题字段重新输入交易模型,生成问题字段的替换字段。
在一种实施方式中,字段修正模块,还用于:利用编辑距离算法计算使仿真交易的每个字段转换成真实交易的对应字段需要的最少操作次数;根据最少操作次数确定相似度距离。
在一种实施方式中,字段修正模块,还用于:依据以下公式确定字段间的相似度距离Si:其中,i代表字段中对应字符,n代表仿真交易与实际交易第i个字段长度的较大值,b1代表同类差异系数,b2代表不同类差异系数,Ci当i字符为同类差异时为1为不同类差异时为0,Ei当i字符为同类差异时为0为不同类差异时为1。
需要说明的是,本申请实施方式中的装置可以实现前述方法的实施方式的各个过程,并达到相同的效果和功能,这里不再赘述。
根据本申请的一些实施方式,提供了基于LSTM网络的仿真交易生成方法的非易失性计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令设置为在由处理器运行时执行:上述实施方式所述的方法。
本申请中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,对于装置、设备和计算机可读存储介质实施方式而言,由于其基本相似于方法实施方式,所以其描述进行了简化,相关之处可参见方法实施方式的部分说明即可。
本申请实施方式提供的装置、设备和计算机可读存储介质与方法是一一对应的,因此,装置、设备和计算机可读存储介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述装置、设备和计算机可读存储介质的有益技术效果。
本领域内的技术人员应明白,本发明的实施方式可提供为方法、装置(设备或系统)、或计算机可读存储介质。因此,本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机可读存储介质的形式。
本发明是参照根据本发明实施方式的方法、装置(设备或系统)、和计算机可读存储介质的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (28)
1.一种基于LSTM网络的仿真交易生成方法,其特征在于,包括:
利用LSTM网络训练出多个交易类型分别对应的多个交易模型;
根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易;
判断所述仿真交易与相同交易类型的真实交易的差异值是否超过预设阈值;
在所述仿真交易和所述真实交易之间的差异值未超过预设阈值的情况下,输出所述仿真交易进行测试。
2.根据权利要求1所述的方法,其特征在于,还包括:
将预设校验模板中的固定字段,对应替换所述仿真交易中的生成的部分仿真字段。
3.根据权利要求1所述的方法,其特征在于,还包括:
在所述仿真交易和所述真实交易之间的所述差异值超过所述预设阈值时,基于所述真实交易对所述仿真交易的每个字段进行字段相似性修正;以及,
判断修正后的所述仿真交易与所述真实交易的所述差异值是否超过所述预设阈值。
4.根据权利要求1所述的方法,其特征在于,利用LSTM网络训练出多个交易类型分别对应的多个交易模型,还包括:
按照交易类型对交易数据进行分类;
对每个交易类型下所述交易数据进行预处理,得到对应的字符集;
根据每个交易类型对应的所述字符集,将每个交易类型下的所述交易数据的报文内容映射为字符集数据;
将每个交易类型下的所述交易数据的所述字符集数据输入LSTM网络进行训练,得到每个交易类型对应的交易模型。
5.根据权利要求1所述的方法,其特征在于,所述LSTM网络为双向LSTM网络。
6.根据权利要求5所述的方法,其特征在于,还包括:
利用正向LSTM网络,学习前序标签内容对后序标签内容的正向影响;
利用反向LSTM网络,学习后序标签内容对前序标签内容的反向影响;
将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合。
7.根据权利要求6所述的方法,其特征在于,还包括:
利用以下公式将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合:
Pout=α·pl+β·pr
其中,其中α代表正向LSTM系数,β代表反向LSTM系数,pl代表正向节点的输出,pr代表反向节点输出。
8.根据权利要求1所述的方法,其特征在于,根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易,还包括:
根据需要生成的目标交易类型确定对应的交易模型;
基于输入的初始标签及内容递归调用所述交易模型,生成所述仿真交易。
9.根据权利要求1所述的方法,其特征在于,判断所述仿真交易与真实交易的差异值是否超过预设阈值,还包括:
将所述仿真交易与所述真实交易送入判别器,计算损失值作为所述差异值;
根据所述损失值和所述预设阈值判断所述仿真交易是否合格;
其中,所述判别器基于CNN网络和损失函数构造。
10.根据权利要求9所述的方法,其特征在于,还包括:
利用所述判别器判断至少两笔真实交易之间的损失值,利用所述至少两笔真实交易之间的损失值确定所述预设阈值。
11.根据权利要求3所述的方法,其特征在于,所述字段相似性修正,包括:
利用编辑距离算法计算所述仿真交易的每个字段跟所述真实交易的对应字段的相似度距离;
将相似度距离大于预设距离的问题字段重新输入所述交易模型,生成所述问题字段的替换字段。
12.根据权利要求11所述的方法,其特征在于,利用编辑距离算法计算所述仿真交易的每个字段跟所述真实交易的对应字段的相似程度,包括:
利用编辑距离算法计算使所述仿真交易的每个字段转换成所述真实交易的对应字段需要的最少操作次数;
根据所述最少操作次数确定所述相似度距离。
14.一种基于LSTM网络的仿真交易生成装置,其特征在于,包括:
交易训练模块,用于利用LSTM网络训练出多个交易类型分别对应的多个交易模型;
交易生成模块,用于根据输入数据和目标交易类型调用对应的交易模型,生成仿真交易;
交易评价模块,用于判断所述仿真交易与真实交易的差异值是否超过预设阈值;
交易测试模块,用于在所述仿真交易和所述真实交易之间的差异值未超过预设阈值的情况下,输出所述仿真交易进行测试。
15.根据权利要求14所述的装置,其特征在于,还包括:
模板校验模块,用于将预设校验模板中的固定字段,对应替换所述仿真交易中的生成的部分仿真字段。
16.根据权利要求14所述的装置,其特征在于,还包括:
字段修正模块,用于在所述仿真交易和所述真实交易之间的所述差异值超过所述预设阈值时,基于所述真实交易对所述仿真交易的每个字段进行字段相似性修正;以及,
所述交易评价模块,还用于判断修正后的所述仿真交易与所述真实交易的所述差异值是否超过所述预设阈值。
17.根据权利要求14所述的装置,其特征在于,所述交易训练模块还用于:
按照交易类型对交易数据进行分类;
对每个交易类型下所述交易数据进行预处理,得到对应的字符集;
根据每个交易类型对应的所述字符集,将每个交易类型下的所述交易数据的报文内容映射为字符集数据;
将每个交易类型下的所述交易数据的所述字符集数据输入LSTM网络进行训练,得到每个交易类型对应的交易模型。
18.根据权利要求14所述的装置,其特征在于,所述LSTM网络为双向LSTM网络。
19.根据权利要求18所述的装置,其特征在于,所述交易训练模块还用于:
利用正向LSTM网络,学习前序标签内容对后序标签内容的正向影响;
利用反向LSTM网络,学习后序标签内容对前序标签内容的反向影响;
将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合。
20.根据权利要求19所述的装置,其特征在于,所述交易训练模块还用于:
利用以下公式将每个正向LSTM网络节点和每个反向LSTM网络节点的输出叠加融合:
Pout=α·pl+β·pr
其中,其中α代表正向LSTM系数,β代表反向LSTM系数,pl代表正向节点的输出,pr代表反向节点输出。
21.根据权利要求14所述的装置,其特征在于,所述交易生成模块,还用于:
根据需要生成的目标交易类型确定对应的交易模型;
基于输入的初始标签及内容递归调用所述交易模型,生成所述仿真交易。
22.根据权利要求14所述的装置,其特征在于,所述交易评价模块,还用于
将所述仿真交易与所述真实交易送入判别器,计算损失值作为所述差异值;
根据所述损失值和所述预设阈值判断所述仿真交易是否合格;
其中,所述判别器基于CNN网络和损失函数构造。
23.根据权利要求22所述的装置,其特征在于,所述交易评价模块,还用于:
利用所述判别器判断至少两笔真实交易之间的损失值,利用所述至少两笔真实交易之间的损失值确定所述预设阈值。
24.根据权利要求16所述的装置,其特征在于,所述字段修正模块,还用于:
利用编辑距离算法计算所述仿真交易的每个字段跟所述真实交易的对应字段的相似度距离;
将相似度距离大于预设距离的问题字段重新输入所述交易模型,生成所述问题字段的替换字段。
25.根据权利要求24所述的装置,其特征在于,所述字段修正模块,还用于:
利用编辑距离算法计算使所述仿真交易的每个字段转换成所述真实交易的对应字段需要的最少操作次数;
根据所述最少操作次数确定所述相似度距离。
27.一种基于LSTM网络的仿真交易生成装置,其特征在于,包括:
至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:如权利要求1-13中任意一项所述的方法。
28.一种计算机可读存储介质,所述计算机可读存储介质存储有程序,当所述程序被多核处理器执行时,使得所述多核处理器执行如权利要求1-13中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210988419.7A CN115422047A (zh) | 2022-08-17 | 2022-08-17 | 基于lstm网络的仿真交易生成方法、装置及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210988419.7A CN115422047A (zh) | 2022-08-17 | 2022-08-17 | 基于lstm网络的仿真交易生成方法、装置及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115422047A true CN115422047A (zh) | 2022-12-02 |
Family
ID=84197965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210988419.7A Pending CN115422047A (zh) | 2022-08-17 | 2022-08-17 | 基于lstm网络的仿真交易生成方法、装置及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115422047A (zh) |
-
2022
- 2022-08-17 CN CN202210988419.7A patent/CN115422047A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063886B (zh) | 一种异常检测方法、装置以及设备 | |
WO2019095782A1 (zh) | 一种数据样本标签处理方法及装置 | |
CN108418825A (zh) | 风险模型训练、垃圾账号检测方法、装置以及设备 | |
CN110119860B (zh) | 一种垃圾账号检测方法、装置以及设备 | |
CN111080304A (zh) | 一种可信关系识别方法、装置及设备 | |
EP3640814A1 (en) | User-friendly explanation production using generative adversarial networks | |
CN112182508A (zh) | 一种合规业务指标的异常监测方法及装置 | |
KR102330423B1 (ko) | 이미지 인식 딥러닝 알고리즘을 이용한 온라인 부도 예측 시스템 | |
CN112214652B (zh) | 一种报文生成方法、装置及设备 | |
CN111027591B (zh) | 一种面向大规模集群系统的节点故障预测方法 | |
CN111507726A (zh) | 一种报文生成方法、装置及设备 | |
CN118446744A (zh) | 基于人工智能的权益数据转换方法及系统 | |
CN116542673B (zh) | 应用于机器学习的欺诈行为识别方法及系统 | |
CN111061870B (zh) | 文章的质量评价方法及装置 | |
CN115422047A (zh) | 基于lstm网络的仿真交易生成方法、装置及可读存储介质 | |
CN116245630A (zh) | 一种反欺诈检测方法、装置、电子设备及介质 | |
CN115062799A (zh) | 电网问题管理方法及装置 | |
WO2021115269A1 (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
CN114692767A (zh) | 异常检测方法和装置、计算机可读存储介质、电子设备 | |
Lu et al. | A similarity measurement based on structure of business process | |
CN112784420A (zh) | 一种风控策略的仿真评估方法、装置及设备 | |
CN111523995A (zh) | 一种模型迁移的特征值确定方法、装置及设备 | |
CN109903165A (zh) | 一种模型合并方法和装置 | |
CN116561764B (zh) | 计算机信息数据交互处理系统及方法 | |
CN112631930B (zh) | 动态系统测试方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |