具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种基于机器学习的数字商品交易风险防控方法。
参见图1,图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
步骤S100、获取数字商品交易数据,数字商品交易数据包括交易金额、波动性数据和交易参与方信用等级。
在本步骤中,数字商品交易数据是指包含了数字商品交易的各种信息的数据集合,主要包括交易金额、波动性数据和交易参与方信用等级。交易金额是指在一次数字商品交易中涉及的资金金额,是评估交易风险的重要指标之一;波动性数据是指交易中资金流动的波动情况,包括交易时间、频率、周期等,对交易风险的评估也有很大的影响;交易参与方信用等级则是指交易参与方的信用评级,包括信用记录、历史交易记录等信息,是评估交易风险的重要因素。
步骤S200、使用预设的机器学习数学模型对数字商品交易数据进行预测分析,得到风险预测模型和期望泛化误差评估结果。
在预测分析过程中,该模型会利用数字商品交易数据中的交易金额、波动性数据和交易参与方信用等级等信息,对每笔交易进行风险预测。预测结果会考虑到数据的实时性和多样性,同时结合历史交易数据进行训练和预测。其中,风险预测模型用于对未知交易进行风险预测,期望泛化误差评估结果则是对模型的准确性进行评估,用于衡量模型的泛化能力。需要说明的是,步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210、将数字商品交易数据进行预处理后转换为力导向布局图形式的数字商品交易图,数字商品交易图由节点和边组成,节点表示数字商品交易中的参与方,边表示交易记录,边的权重表示交易金额。
在本步骤中,从交易数据中提取出节点(参与方)和边(交易记录)信息,其中边的权重表示交易金额,使用预设的转换算法将数字商品交易数据转换成力导向布局图形式。将数字商品交易数据转化为力导向布局图,该图以图形化方式展示了数字商品交易中的参与方和交易记录之间的关系,以及交易金额的大小。该图可视化了数字商品交易数据,使得风险预测模型可以更加直观地分析和预测不同参与方之间的交易风险。需要说明的是,步骤S210包括步骤S211、步骤S212、步骤S213、步骤S214和步骤S215。
步骤S211、将数字商品交易数据进行特征提取得到特征数据。
在数字商品交易数据中,可以提取出很多特征,如交易金额的方差、标准差、均值等。此外,还可以提取出时间序列特征,比如交易时间、交易周期等。优选地,在本步骤中使用基于统计学的方法得到数字商品交易数据的特征数据。这可以为后续的数字商品交易图构建和风险预测提供更加准确、全面的数据基础,从而提高整个风险防控模型的准确性和可靠性。
步骤S212、将特征数据进行节点和边的构建操作,得到初始交易图。
在本步骤中,特征数据被用于构建初始的交易图。首先,将参与数字商品交易的各方(包括买家和卖家)作为节点添加到交易图中;然后,将交易记录作为边添加到交易图中;边的权重表示交易金额。通过建立交易图,可以将数字商品交易数据表示为图形式,从而方便后续的数据分析和处理。
步骤S213、根据波动性数据计算得到弹簧系数集合。
在本步骤中,弹簧系数集合是根据数字商品交易数据的波动性计算得到的。计算公式如下:
其中,i为交易笔数;k
i为第i笔交易的弹簧系数;C为一个常数,用于控制弹簧的松紧度;
为第i笔交易的波动性。
步骤S214、根据交易参与方信用等级计算得到斥力数据集合。
在本步骤中,需要计算每个节点之间的斥力大小,用于调整节点的位置。斥力的大小与节点之间的距离成反比,同时还要考虑节点的信用等级对斥力的影响。计算公式如下:
其中,i和j为交易参与方;Fi,j表示双方之间的斥力大小;ke为弹簧系数;rij为参与方i和j之间的距离;kc为信用系数;Ci和Cj分别为参与方i和j的信用等级;kd为时间系数;∆t为时间差;dij为参与方i和j之间的空间距离;σ为标准差;∆Cij为参与方i和j的信用等级差。该公式综合考虑了交易金额、时间和参与方信用等级等因素,能够准确计算斥力大小,为后续的力导向布局计算提供了准确的数据基础。
步骤S215、根据弹簧系数集合、斥力数据集合和预设的力导向布局数学模型计算并调整初始交易图中节点的位置,得到数字商品交易图。
优选地,在本步骤中使用力学模拟的方法,对节点之间的相互作用进行建模,进而计算节点的位置信息。需要说明的是,步骤S215包括步骤S2151、步骤S2152和步骤S2153。
步骤S2151、根据弹簧系数集合和斥力数据集合,对初始交易图中的节点和边进行力学模拟,得到节点的位置信息和边的长度信息。
可以理解的是,在本步骤中,弹簧模型和斥力模型是力导向布局的基础模型,其中弹簧模型用于模拟节点间的经济联系,而斥力模型用于模拟节点间的排斥作用。在弹簧模型中,节点间的连接关系通过弹簧来表示,弹簧的弹性系数反映了交易参与方之间的经济联系强度。斥力模型中,节点间的排斥作用通过斥力来表示,斥力的大小与节点间的距离成反比,节点间的距离越近,斥力越大。
步骤S2152、根据位置信息、长度信息和预设的力导向布局数学模型,进行迭代优化计算,得到节点位置的最终调整结果。
在本步骤可不断更新节点的位置信息,直到满足预设的收敛条件,即得到最终的节点位置信息。
步骤S2153、根据最终调整结果重新构建初始交易图,得到数字商品交易图。
可以理解的是,在本步骤中,通过数字商品交易图,可以更加清晰地了解参与方之间的交易关系和交易金额,为后续的风险预测和风险防控提供更加准确的基础数据。
步骤S220、使用预设的交叉验证数学模型将数字商品交易图划分为训练集和测试集。
在本步骤中,将交易图随机分成n个子图,其中n为交叉验证数,每次将其中一个子图作为测试集,其余子图作为训练集,进行模型训练和测试。
步骤S230、根据训练集和预设的图神经常微分方程模型构建得到风险预测模型。
图神经常微分方程是一种用于处理动态图数据的深度学习方法,可以对图中节点和边的状态进行建模和预测。在本步骤中,将数字商品交易图作为一个动态图数据集,其中节点和边的状态随着时间变化而变化。通过训练集中的数据,构建得到风险预测模型,用于预测数字商品交易图中节点和边的状态。
步骤S240、使用验证集对风险预测模型进行评估,并根据评估结果计算得到期望泛化误差评估结果。
在本步骤中,期望泛化误差是指模型在处理新的数据时,预测结果与实际结果之间的误差。该指标反映了模型的泛化能力,即模型对未知数据的预测能力。
步骤S300、根据风险预测模型和期望泛化误差评估结果,使用预设的主成分分析数学模型进行数据降维处理,得到降维数据。
在本步骤中,主成分分析是一种常用的数据降维方法,它通过线性变换将原始数据映射到新的空间中,使得映射后的数据具有最大的方差,从而保留了原始数据中的主要特征。通过主成分分析处理,可以得到降维后的数据,从而更好地进行风险预测和评估。需要说明的是,步骤S300包括步骤S310、步骤S320、步骤S330和步骤S340。
步骤S310、根据风险预测模型和期望泛化误差评估结果对数字商品交易数据进行标准化处理得到原始数据集。
在数字商品交易中,交易金额、波动性数据和交易参与方信用等级等数据可能具有不同的度量单位和量纲,这会对分析造成困难。通过标准化处理,可以将所有数据转化为统一的标准分布,从而更好地进行分析和比较。
步骤S320、根据原始数据集构建得到协方差矩阵,并计算得到协方差矩阵的特征值和特征向量。
在本步骤中,协方差矩阵的特征值和特征向量是在数据降维中常用的重要概念。特征值表示方差大小,特征向量表示协方差矩阵的主要方向。通过计算协方差矩阵的特征值和特征向量,可以得到数据的主成分以便更好地进行分析和处理。
步骤S330、将特征值从大到小排序,并选择排列在前面的至少一个特征向量构建得到投影空间。
在本步骤中,将协方差矩阵的特征值按从大到小的顺序进行排序,然后选取排在前面的至少一个特征向量,将它们作为投影空间的基向量。
步骤S340、根据原始数据集和投影空间得到降维数据。
在本步骤中,将原始数据集和投影空间相结合,得到降维数据。这些数据具有更低的维度,并且仍然保留了原始数据的主要信息,以便于后续的风险预测和分析。
步骤S400、根据降维数据,使用预设的多元统计分析数学模型进行异常检测,识别得到异常信息,异常信息包括异常行为和异常行为对应的异常数据。
多元统计分析是一种研究多个变量之间关系的数学方法,可以从数据中提取出不同的因素并进行分析,以发现数据中的模式和规律。需要说明的是,步骤S400包括步骤S410、步骤S420、步骤S430和步骤S440。
步骤S410、根据降维数据构建得到多元统计分析模型。
通过计算降维后的数据集的协方差矩阵,然后对该矩阵进行特征值分解,得到特征向量和特征值。根据特征值大小,可以选取前n个特征向量作为主成分,构建多元统计分析模型。优选地,将这些主成分可以被视为新的数据集轴,用于描述数据集的变化和差异。对于异常检测,使用这些主成分可以更好地捕捉异常模式,并提高模型的检测准确性。
步骤S420、根据多元统计分析模型,计算每一笔交易记录的多元正态分布的概率密度函数,得到异常概率值集合,异常概率值集合包括至少一笔交易记录及对应的概率密度值。
多元正态分布是指多个随机变量满足正态分布的联合分布,用于描述多个变量之间的相关性。在本步骤中,通过计算每个交易记录的多元正态分布的概率密度函数,可以得到一个异常概率值集合,其中每个值代表相应交易记录的异常程度。
步骤S430、根据预设的阈值,对每一笔交易记录的概率密度值进行比较,判断是否为异常点。
优选地,将预设的阈值设定为一个固定的值,例如0.05,如果某一笔交易记录的概率密度值小于0.05就认为它是一个异常点,需要进行后续的风险提示或其他相应的业务处理。反之,如果概率密度值大于或等于0.05,认为它是一个正常点,不需要进行额外的处理。
步骤S440、将异常点从数据集中剔除并记录得到异常信息。
在进行异常检测后,可以得到一些异常点的信息,这些异常点可能代表着数字商品交易中存在的一些异常行为或者欺诈行为。根据异常点的信息,将其从原始的数据集中剔除,并记录得到异常信息,例如异常点对应的交易记录、异常类型、异常程度等信息。这些异常信息可以作为进一步分析和处理的依据。
步骤S500、根据风险预测模型、期望泛化误差评估结果和异常信息得到风险防控措施,风险防控措施包括至少一种应对不同风险类别以及风险等级的风险防控方案。
由此本步骤可以针对不同风险类别和风险等级,通过一系列的规则或策略来防范或减轻风险,如阻止异常交易行为、强制进行额外身份验证等。通过这些风险防控措施的实施,可以有效降低数字商品交易的风险。需要说明的是,步骤S500包括步骤S510、步骤S520、步骤S530和步骤S540。
步骤S510、根据风险预测模型对每笔交易进行预测,得到针对该笔交易的风险预测结果。
在本步骤中,使用已经训练好的风险预测模型对每笔交易进行预测,风险预测模型可以根据输入的交易数据(如交易金额、参与方信息等)预测该交易的风险等级,例如低风险、中风险、高风险等。
步骤S520、根据期望泛化误差评估结果对风险进行分类和分级得到风险评估结果。
在本步骤中,风险分类和分级根据实际情况进行调整和优化,以充分考虑业务需求和交易特征。
步骤S530、对异常信息中的风险行为和异常数据进行分析得到风险原因。
在本步骤中,通过对异常数据的统计和分析,了解风险行为和异常数据的具体特征、规律和背后的逻辑,找出问题的根源。例如,对于交易金额异常的情况,可以通过分析交易参与方的历史交易记录、交易时间、交易渠道等信息,找出导致交易异常的具体原因,例如欺诈、技术故障等。通过深入分析和探究,可以识别并修复数字商品交易系统中存在的漏洞和问题,从而提高系统的风险防控能力。
步骤S540、根据风险预测结果、风险评估结果、风险原因和预设的风险防控数学模型得到风险防控措施,风险防控数学模型为通过数字商品交易数据和业务规则训练得到。
根据前面步骤得到的风险预测结果、风险评估结果和异常信息,结合预设的风险防控数学模型,通过对数字商品交易数据和业务规则的训练,得到针对不同风险类别和风险等级的风险防控措施。这些风险防控措施可以包括各种应对措施,例如增加风险提示、进行人工审核、采取限制措施等等,以保障数字商品交易的安全和稳定。同时,预设的风险防控数学模型也需要不断地根据实际情况进行更新和优化,以提高风险防控效果和精度。
实施例2:
如图2所示,本实施例提供了一种基于机器学习的数字商品交易风险防控装置,装置包括:
获取模块1,用于获取数字商品交易数据,数字商品交易数据包括交易金额、波动性数据和交易参与方信用等级。
分析模块2,使用预设的机器学习数学模型对数字商品交易数据进行预测分析,得到风险预测模型和期望泛化误差评估结果。
处理模块3,用于根据风险预测模型和期望泛化误差评估结果,使用预设的主成分分析数学模型进行数据降维处理,得到降维数据。
检测模块4,用于根据降维数据,使用预设的多元统计分析数学模型进行异常检测,识别得到异常信息,异常信息包括异常行为和异常行为对应的异常数据。
输出模块5,用于根据风险预测模型、期望泛化误差评估结果和异常信息得到风险防控措施,风险防控措施包括至少一种应对不同风险类别以及风险等级的风险防控方案。
在本公开的一种具体实施方式中,分析模块2包括:
第一转换单元21,用于将数字商品交易数据进行预处理后转换为力导向布局图形式的数字商品交易图,数字商品交易图由节点和边组成,节点表示数字商品交易中的参与方,边表示交易记录,边的权重表示交易金额。
第一处理单元22,使用预设的交叉验证数学模型将数字商品交易图划分为训练集和测试集。
第一构建单元23,用于根据训练集和预设的图神经常微分方程模型构建得到风险预测模型。
第一评估单元24,使用验证集对风险预测模型进行评估,并根据评估结果计算得到期望泛化误差评估结果。
在本公开的一种具体实施方式中,第一转换单元21包括:
第二处理单元211,用于将数字商品交易数据进行特征提取得到特征数据。
第二构建单元212,用于将特征数据进行节点和边的构建操作,得到初始交易图。
第一计算单元213,用于根据波动性数据计算得到弹簧系数集合。
第二计算单元214,用于根据交易参与方信用等级计算得到斥力数据集合。
第三计算单元215,用于根据弹簧系数集合、斥力数据集合和预设的力导向布局数学模型计算并调整初始交易图中节点的位置,得到数字商品交易图。
在本公开的一种具体实施方式中,第三计算单元215包括:
第一模拟单元2151,用于根据弹簧系数集合和斥力数据集合,对初始交易图中的节点和边进行力学模拟,得到节点的位置信息和边的长度信息。
第四计算单元2152,用于根据位置信息、长度信息和预设的力导向布局数学模型,进行迭代优化计算,得到节点位置的最终调整结果。
第三处理单元2153,用于根据最终调整结果重新构建初始交易图,得到数字商品交易图。
在本公开的一种具体实施方式中,处理模块3包括:
第四处理单元31,用于根据风险预测模型和期望泛化误差评估结果对数字商品交易数据进行标准化处理得到原始数据集。
第五计算单元32,用于根据原始数据集构建得到协方差矩阵,并计算得到协方差矩阵的特征值和特征向量。
第一排序单元33,用于将特征值从大到小排序,并选择排列在前面的至少一个特征向量构建得到投影空间。
第一投影单元34,用于根据原始数据集和投影空间得到降维数据。
在本公开的一种具体实施方式中,检测模块4包括:
第三构建单元41,用于根据降维数据构建得到多元统计分析模型。
第六计算单元42,用于根据多元统计分析模型,计算每一笔交易记录的多元正态分布的概率密度函数,得到异常概率值集合,异常概率值集合包括至少一笔交易记录及对应的概率密度值。
第一判断单元43,用于根据预设的阈值,对每一笔交易记录的概率密度值进行比较,判断是否为异常点。
第五处理单元44,用于将异常点从数据集中剔除并记录得到异常信息。
在本公开的一种具体实施方式中,输出模块5包括:
第一预测单元51,用于根据风险预测模型对每笔交易进行预测,得到针对该笔交易的风险预测结果。
第六处理单元52,用于根据期望泛化误差评估结果对风险进行分类和分级得到风险评估结果。
第一分析单元53,用于对异常信息中的风险行为和异常数据进行分析得到风险原因。
第七处理单元54,用于根据风险预测结果、风险评估结果、风险原因和预设的风险防控数学模型得到风险防控措施,风险防控数学模型为通过数字商品交易数据和业务规则训练得到。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。