CN111985937A - 交易商价值信息评估方法、系统、存储介质、计算机设备 - Google Patents
交易商价值信息评估方法、系统、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN111985937A CN111985937A CN202010828359.3A CN202010828359A CN111985937A CN 111985937 A CN111985937 A CN 111985937A CN 202010828359 A CN202010828359 A CN 202010828359A CN 111985937 A CN111985937 A CN 111985937A
- Authority
- CN
- China
- Prior art keywords
- value
- trader
- information
- label
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于数据处理技术领域,公开了一种交易商价值信息评估方法、系统、存储介质、计算机设备,获取交易商各预设维度的信息资源;将信息资源进行归纳统计整理,得到企业画像;建立大宗商品交易商价值评估模型;对大宗商品交易商进行价值评估。本发明通过获取一个大宗商品交易商在所有大宗商品交易平台的交易数据,以及其基于大宗商品市场外部的各预设维度的资源,进行归纳统计处理后,建立完整的企业画像系统,实现大宗商品交易商宏观洞察的统一标准,提升交易商全方位信息的分类整理能力。本发明通过相关机器学习算法,对大宗商品交易商综合价值进行评估量化。大宗商品交易平台可以以此为交易商设计个性化和差异化的产品和服务。
Description
技术领域
本发明属于数据处理技术领域,尤其涉及一种交易商价值信息评估方法、系统、存储介质、计算机设备。
背景技术
近年来大宗商品电子商务市场由恶意主体导致的风险事件频繁发生,呈现高隐蔽的趋势,缺少针对市场交易商的价值评价技术。对于大宗商品市场而言,交易商的优劣直接影响到市场的稳定、繁荣。因此,科学、合理、客观地评价交易商的价值是释放国内大宗商品市场的潜力的重点工作之一。
随着大数据时代的到来,用户画像作为一种快速、精准分析用户行为模式、习惯等信息的数据分析工具,为各行各业进行精准营销、内容推荐、提升用户体验奠定了基础。企业画像类似于用户画像,基于特定的场景,对企业的信息进行研究提取出企业的特征标签,实现对企业的精准分析。在大数据时代,企业的数据呈现一种散乱、无序、碎片化的状态,通过企业画像,可以将多源异构的企业数据进行整合,进一步实现从宏观、中观、微观角度对企业进行分析,提升对企业全方位研究。
通过上述分析,现有技术存在的问题及缺陷为:现有技术所存在的技术困难、价值评估不全面、不准确、不及时,导致无法有效评估大宗商品市场交易商的价值。
解决以上问题及缺陷的难度为:要保证收集到尽可能多的与交易商价值相关的数据以及整合这些多源异构数据的难度大,同时要保证这些评价指标的时效性困难。
解决以上问题及缺陷的意义为:实现准确有效地对交易商进行价值评估,进而提高大宗商品交易市场的安全性及可靠性。
发明内容
针对现有技术存在的问题,本发明提供了一种交易商价值信息评估方法、系统、存储介质、计算机设备。
本发明是这样实现的,一种交易商价值信息评估方法,所述交易商价值信息评估方法包括:
从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中。
从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库。
从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集。利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
进一步,获取企业各预设维度的信息资源包括:获取企业的工商信息、经营信息、财务信息、风险信息、行政监管信息、信用信息以及企业交易信息;
企业交易信息具体指企业类交易商唯一身份标识下在所有大宗商品交易平台的交易信息;
进一步,企业画像包括五个大的维度,其中包括:行业状况、企业素质、财务状况、信用状况、交易状况;企业画像要根据交易商最新的数据,进行归纳统计整理,提取出相对应的标签信息,并于企业画像进行数据合并,形成企业的动态画像。
进一步,价值评估模型应包括交易商在大宗商品平台内部价值指标模型、交易商基于大宗商品平台外部价值指标模型;
交易商在大宗商品交易平台内部价值指标是指基于交易商唯一身份标识下在所有大宗商品平台上的动态交易信息得来的评价指标;
交易商基于大宗商品平台外部价值指标是指基于大宗商品交易平台以外的信息得来的评价指标;
进一步,交易商在大宗商品交易平台内部价值指标模型,基于K-means聚类方法对企业画像的交易状况中的部分标签进行聚类处理。
交易商基于大宗商品平台外部价值指标模型,基于外部价值评价标签,构建预测交易商外部价值决策树预测模型。
进一步,所述交易商价值信息评估方法的交易商在大宗商品交易平台内部价值指标模型构建过程为:
1)提取交易状况中的盈利能力标签、活跃度标签以及贡献度标签;
2)将标签数据向量化,比如x1表示盈利能力标签、x2表示活跃度标签、 x3表示贡献度标签,那么标签数据向量化表示为(x1,x2,x3);
3)利用K-Means算法将向量数据聚为四类:A类、B类、C类、D类,赋予每类样本一个分值,作为交易商在大宗商品交易平台内部评价指标;
4)将每类的质心与未知类别样本之间的距离作为度量未知类别样本的类别的标准。
进一步,所述交易商价值信息评估方法交易商基于大宗商品平台外部价值指标模型构建过程为:
1)提取行业状况、企业素质、财务状况的所有标签作为评价标签;
2)对用于构建交易商基于大宗商品平台外部价值指标模型的标签数据进行预处理,其中,预处理包括:填补缺漏的数据值、平滑噪声数据、识别或更替异常值;
3)基于专家标注交易商的优、良、中、差四个等级,生成用于构建交易商基于大宗商品平台外部价值指标模型的样本集,抽取其中的3/4作为训练集,其余作为测试集;交易商的四个等级优、良、中、差分别赋予它们一个分值,作为交易商基于大宗商品交易平台外部评价指标;
4)采用CART决策树的思想:根据给定的训练集构建分类树,具体为:计算每中标签的GINI系数,选择GINI系数最小的标签作为分类的根节点;利用上述GINI系数方法递归的建立子树的根节点,循环直到全部节点中的样本属于同类或没有可以选择作为分裂的标签为止;
5)对决策树进行剪枝操作,得到最终的CART决策树模型。
进一步,价值评价模块将待预测样本输入价值评估模型单元,得到交易商基于大宗商品交易平台外部评价指标和交易商大宗商品交易平台内部评价指标两个分值,采用加权求和方式,得到大宗商品交易商价值分数。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中;
从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库;
从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集。利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中;
从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库;
从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集。利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
本发明的另一目的在于提供一种运行所述商品价值信息评估方法的商品价值信息评估系统,所述商品价值信息评估系统包括:
获取模块,用于获取交易商各预设维度的信息资源;
画像模块,用于将信息资源进行归纳统计整理,得到企业画像;
评估模型建立模块,用于建立大宗商品交易商价值评估模型;
价值评价模块,用于对大宗商品交易商进行价值评估。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明通过获取一个大宗商品交易商在所有大宗商品交易平台的交易数据,以及其基于大宗商品市场外部的各预设维度的资源,进行归纳统计处理后,建立完整的企业画像系统,实现大宗商品交易商宏观洞察的统一标准,提升交易商全方位信息的分类整理能力。
本发明通过相关机器学习算法(聚类和决策树),对大宗商品交易商综合价值进行评估量化。大宗商品交易平台可以以此为交易商设计个性化和差异化的产品和服务,或对不同价值等级的交易商采用更具针对性的监管措施。
本发明设计了一套适用于大宗商品交易商价值评估的企业画像体系框架,企业画像是对企业的持续性、实时性研究、随着业务数据增长以及数据的不断获取和分析,刻画画像的维度会得到不断的修正和完善,保证随后根据企业画像做出的价值评估具有时效性。
本发明通过获取一个大宗商品交易商在其注册交易过的大宗商品交易平台的交易数据,以及其基于大宗商品市场外部的各预设维度的资源,进行归纳统计处理后,建立完整的企业画像系统,实现大宗商品交易商宏观洞察的统一标准,提升交易商全方位信息的分类整理能力。本发明通过相关机器学习算法,对大宗商品交易商综合价值进行评估量化。大宗商品交易平台可以以此为交易商设计个性化和差异化的产品和服务,或对不同价值等级的交易商采用更具针对性的监管措施。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的商品价值信息评估方法流程图。
图2是本发明实施例提供的商品价值信息评估系统的结构示意图;
图2中:1、获取模块;2、画像模块;3、评估模型建立模块;4、价值评价模块。
图3是本发明实施例提供的获取模块流程图。
图4是本发明实施例提供的画像模块流程图。
图5是本发明实施例提供的内部价值的评估模型建立模块流程图。
图6是本发明实施例提供的外部价值的评估模型建立模块流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种交易商价值信息评估方法、系统、存储介质、计算机设备,下面结合附图对本发明作详细的描述。
如图1所示,本发明提供的交易商价值信息评估方法包括以下步骤:
S101:从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中;
S102:从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库;
S103:从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集。利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
S104:从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
在本发明中,获取企业各预设维度的信息资源;
具体的,该单元的主要目的是为了整合企业各维度信息资源。其中包括,获取企业的工商信息、经营信息、财务信息、风险信息、信用信息、行政监管信息以及企业交易信息。
在本发明中,企业交易信息具体指企业类交易商唯一身份标识下在所有大宗商品交易平台的交易信息。
在本发明中,企业画像包括五个大的维度,其中包括:行业状况、企业素质、财务状况、信用状况、交易状况;
在本发明中,企业画像要根据交易商最新的数据,进行归纳统计整理,提取出相对应的标签信息,并于企业画像进行数据合并,形成企业的动态画像。
在本发明中,价值评估模型应包括交易商在大宗商品平台内部价值指标模型、交易商基于大宗商品平台外部价值指标模型。
在本发明中,交易商在大宗商品交易平台内部价值指标是指基于交易商唯一身份标识下在所有大宗商品平台上的动态交易信息得来的评价指标。
在本发明中,交易商基于大宗商品平台外部价值指标是指基于大宗商品交易平台以外的信息得来的评价指标。
在本发明中,交易商在大宗商品交易平台内部价值指标模型,基于K-means 聚类方法对企业画像的交易状况中的部分标签进行聚类处理。
在本发明中,交易商基于大宗商品平台外部价值指标模型,基于外部价值评价标签,构建预测交易商外部价值决策树预测模型。
在本发明中,构建交易商基于大宗商品平台外部价值指标模型包括:
S11,提取与外部评价相关的画像标签;
S12,对用于构建企业外部价值决策树预测模型的样本集进行预处理,其中,所述预处理包括:填补缺漏的数据值、平滑噪声数据、识别或更替异常值;
S13,构建决策树;
S14,对决策树进行剪枝操作。
S15,根据构建的企业外部价值决策树预测模型,预测用户的外部价值等级结果,基于用户的外部价值等级分类结果,给企业分级别评定价值分值
在本发明中,交易商价值评估单元,将待预测样本输入价值评估模型单元,得到交易商基于大宗商品交易平台外部评价指标和交易商大宗商品交易平台内部评价指标两个分值,采用加权求和方式,得到大宗商品交易商价值分数。
本发明的获取模块1中,获取交易商相关维度资源不限于发明内容中预设的维度。构建价值评估模型模块3,用到了机器学习中的聚类算法和决策树算法,这两种算法可由其他有相同效果的机器学习算法代替。
下面结合具体实施例对本发明的技术方案作进一步的描述。
本发明提供的交易商价值信息评估方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的大宗商品交易商价值信息评估方法仅仅是一个具体实施例而已。
如图2所示,本发明实施例提供的交易商价值信息评估系统包括:
获取模块1,用于获取交易商各预设维度的信息资源;
画像模块2,用于将信息资源进行归纳统计整理,得到企业画像;
评估模型建立模块3,用于建立大宗商品交易商价值评估模型;
价值评价模块4,用于对大宗商品交易商进行价值评估。
本发明实施例中,将从交易商基于大宗商品交易平台外部价值和交易商大宗商品交易平台内部价值两方面评价大宗商品交易商的价值,所以获取资源两大维度包括:基于大宗商品外部的信息与大宗商品内部的信息。相应的,外部信息包括:工商信息、经营信息、财务信息、风险信息、行政监管信息、信用信息;内部信息包括:企业交易信息,具体指企业类交易商唯一身份标识下在所有大宗商品交易平台的交易信息。
本发明实施例中,获取的外部信息中的工商信息可以包括企业营业执照照面信息、主要人员、股东或合伙人、企业变更、联系方式以及工商年报信息等信息。经营信息可以包括商标信息、专利信息、行政许可、招聘信息、招标信息、中标信息、产品信息、经营异常、企业著作权、软件著作权、企业域名以及资质证书等信息。财务信息可以包括利润标、现金流量表以及资产负债表等信息。风险信息可以包括裁判文书、开庭公告被执行人公告、法院公告、失信公告、司法拍卖、动产抵押、股权出质、融资信息等。行政监管信息可以包括欠税公示信息、行政处罚信息等信息。信用信息可以包括优良记录、负面记录、受惩戒黑名单、是否被执行人、企业经营异常名录、重大税收违法案件当事人名单以及政府采购严重违法失信名单等信息。
本发明实施例中,获取的内部信息中的交易信息可以包括交易商注册信息、成交数据、委托数据、交收数据、资金数据。
本发明实施例中,画像模块2,用于将信息资源进行归纳统计处理,得到企业画像;其中,企业画像包括:行业状况、企业素质、财务状况、信用状况、交易状况。
本发明实施例中,行业状况用来评估企业从事行业在国内经济环境的状况,其中包括:行业政策标签、行业在区域中的地位标签、行业景气性标签;企业素质用来评估企业整体的经营状况,其中包括:企业竞争力标签、经营风险标签;财务状况用来评估企业整体的财务状况,其中包括:经营效率标签、发展速度标签、财务结构标签、盈利能力标签、现金流量标签、短期偿债能力标签、长期偿债能力标签。信用状况用来评估企业的征信状况,其中包括:企业信用标签;交易状况用来评估交易商在大宗商品市场的表现,其中包括:运营能力标签、盈利能力标签、资金实力标签、活跃度标签、贡献度标签、成长性标签、风险偏好标签。
表1 企业画像标签数据
本发明实施例中,如表2所示,交易状况中运营能力可以通过交易商在交易市场交易的规模来确定;资金能力可以通过可用资金、保证金以及是否需要追加保证金等来确定;盈利能力由投资收益率来确定;活跃度由换手率和账户最长交易间隔来确定;贡献度由手续及权益的占比来确定;成长性由手续费、成交额、评价单日申报交收额的增长幅度来确定;风险偏好由追加保证金天数、最大连续追加保证金次数等来确定。
表2 交易状况各标签描述
本发明实施例中,企业画像的动态更新包括如下步骤:1、依据动态数据的更新频率,设置标签更新周期;2当标签需要更新时,从用户的相关信息资源中获取于企业画像标签相关的数据。3、提取出标签后,与企业画像进行数据合并,形成企业的动态画像。
本发明实施例中。基于企业画像结果,采用“交易商在大宗商品平台内部价值+交易商基于大宗商品平台外部价值”两大交易商价值评价维度,所构建的价值评估模型如附图所示。所述交易商在大宗商品交易平台内部价值指标具体是指基于交易商唯一身份标识下在所有大宗商品平台上的动态交易信息得来的评价指标,所述交易商基于大宗商品平台外部价值指标是指基于大宗商品交易平台以外的信息得来的评价指标。
本发明实施例中,如图6所示,交易商在大宗商品交易平台内部价值指标模型构建过程为:
1)提取交易状况中的盈利能力标签、活跃度标签以及贡献度标签;
2)将标签数据向量化,比如x1表示盈利能力标签、x2表示活跃度标签、 x3表示贡献度标签,那么标签数据向量化表示为(x1,x2,x3);
3)利用K-Means算法将向量数据聚为四类:A类、B类、C类、D类,赋予每类样本一个分值,作为交易商在大宗商品交易平台内部评价指标;
4)将每类的质心与未知类别样本之间的距离作为度量未知类别样本的类别的标准。
本发明实施例中,内部价值指标数据的量级是不同的,因此在训练内部价值预测模型之前,需对指标数据进行归一化,将所有指标统一在一个量级。因为内部预测指标均为数值型指标,可以直接套用一套归一化公式预处理,即 yi=(xi-xmin)/(xmax-xmin),其中,xi、yi分别表示处理前后的指标项,xmin表示该项指标的最小值,xmax表示该项指标的最大值。
本发明实施例中,为了构建内部价值预测模型,利用了K-Means聚类算法,其中,K-Means聚类算法的详细步骤为:
1)设定聚类个数k;
2)选择k个初始聚类质心;
3)距离计算,计算数据集中所有数据对象到k各聚类中心的距离;
4)划分,将每个数据对象划分到距离最近的聚类之心,第一次形成k各簇;
6)迭代,重复3)-5),直至达到了余弦设定的迭代次数或者聚类质心不在发生变化,这里提到的不再发生变化引用了一个衡量聚类质量的目标函数,即SSE(sum of thesquared errors)误差的平方和,即公式:
本发明实施例中,交易商基于大宗商品平台外部价值指标模型构建过程为:
1)提取行业状况、企业素质、财务状况、信用状况的所有标签作为评价标签;
2)对用于构建交易商基于大宗商品平台外部价值指标模型的标签数据进行预处理,其中,预处理包括:填补缺漏的数据值、平滑噪声数据、识别或更替异常值;具体的,将字段空缺、数据错误的指标从指标库中删除;缺漏的数据值、噪声数据、异常值用数据中位数代替;遇到指标时间周期不适用情况,以平均数补足。
3)基于专家标注交易商的优、良、中、差四个等级,对数据集进行标注,生成用于构建交易商基于大宗商品平台外部价值指标模型的样本集,抽取其中的3/4作为训练集,其余作为测试集;
4)采用CART决策树的思想:根据给定的训练集构建分类树,具体为:计算每中标签的GINI系数,选择GINI系数最小的标签作为分类的根节点;利用上述GINI系数方法递归的建立子树的根节点,循环直到全部节点中的样本属于同类或没有可以选择作为分裂的标签为止;
5)对决策树进行剪枝操作,得到最终的CART决策树模型。
其中,交易商的四个等级优、良、中、差分别赋予它们一个分值,作为交易商基于大宗商品交易平台外部评价指标。
其中,为了方法的可实现性,人工标注以数据量和标注结果简化为特点,以求能快速巨量的获取专家标注结果,用以学习内部规律。因此本实施例再标注时不同于普通人工标注打出高低分的方式,而是基于AHP层次分析法,计算外部评价指标体系中各指标的权重,然后基于计算得来的外部价值分数所属的区间确定优、良、中、差四个等级。从而生成用于构建外部价值决策树预测模型的样本集。
其中,层次分析法的分析过程大致分为五个基本步骤:
1)整理待处理问题涉及的因素,将所有因素分组,每一组作为一个层次,并按照递增的方式整理为目标层、中间层和方案层。总的目标层下时若干各中间层要素,每个中间层要素下时若干个备选方案。
2)比较同一层次下没两个因素之间的重要性,并对重要性进行定量的赋值,赋值范围为数字1到数字9,赋值的依据参考表3中给出的两两比较的saaty 标度表。通过对重要性的判断与赋值,可以得到一组两两比较的判断矩阵,若由n个因素相互比较,则构成的判断矩阵用数学公式可以表示为A=(aij)n*n,从公式中可以看出,此矩阵时一个正互反矩阵。
表3
3)通过上一步得到的矩阵,计算每个因素对上一层的权重,即方案层对中间层的权重,中间层对目标曾的权重。而该权重的计算可归结为对矩阵 A=(aij)n*n最大特征根和特征向量的计算。
计算方法如下:
a)计算判断矩阵A中每行所有元素的乘积的n次方Vi,得到向量:
V=(V1,V2......VN)T
b)对向量V进行归一化处理,得到权重向量:
W=(W1,W2......WN)T,
c)计算判断矩阵A的最大特征根:
4)在上一层中,只得到了每层因素对自身上一层因素的权重,还需计算每层因素对总目标的权重,即方案层各因素对总目标的权重,中间层各因素对总目标的权重,通过自上而下的加权计算即可得到该权重指标。
5)对上文计算出的判断矩阵进行一致性校验。由于判断矩阵中的每一个 aij时人为赋值的,因素较多时可能人为判断可能出现逻辑上矛盾的,如出现因素A比因素B重要,因素B比因素C重要,因素C比因素A重要的逻辑错误,所以要对矩阵进行一致性的校验,发现错误后对赋值进行修正,知道达到一个可接受的一致性标准值。
本发明实施例中,为了构建外部价值决策树预测模型,需计算评价外部价值的指标体系中所有指标的基尼(GINI)系数,根据指标的连续性和GINI系数选取合适的分割阈值,将训练集分成两个子集,对分割后的两个子集继续用上一步的方法取分割阈值划分指标,直到所有的样本都有一个分类结果,所述构建外部价值决策树预测模型的具体步骤可以包括:
步骤1:根据用于构建外部价值决策树预测模型的训练集(在步骤1、2、3、 4中简称训练集)中的数据,对评价外部价值的指标体系中的每一个指标,利用分类回归树(Classification And Regression Tree,CART)算法计算该指标上不同分割方法的GINI系数,选择GINI系数最小的指标作为分裂的根节点。然后比较所有候选指标上最小划分的GINI系数,拥有最下划分的GINI系数的指标成为根节点;
步骤2:若分裂指标时连续型数据,则按照分割后得到的最小GINI系数,将训练集分为两个子集。若分裂指标是连续性数据,则按照分割后得到的最小 GINI系数,将训练集分成两个子集;
步骤3:对决策树的根节点的分裂指标对应的两个子集,采用与步骤1相同的方法递归地建立根节点的子节点,如此循环下去,直至全部子节点中的样本属于同类或没有可以选作分裂指标的指标为止;
步骤4:运用错误率降低剪枝法(Reduced-Error Pruning,REP)对决策时进行剪枝操作。该方法考虑将决策树上的每一个节点作为剪枝得候选对象,决定是否剪枝这个节点的大致步骤为:删除以此节点为根得子树,使其成为叶子节点,这样就产生一个新的相对简化的决策树;比较两个决策树,如果新的决策树的分类性能不比原来的决策树差,就剪掉这个节点。
如表4所示,通过将一个交易商输入模型,从而验证了大宗商品交易商价值评估模型的可用性。
表4 一个交易商企业画像标签
经过对企业画像标签提取,然后输入训练好的外部价值评估模型和内部价值评估模型,最终得到这个交易商的外部价值评价为优,内部价值评价为优。其中,外部价值评价结果与已知交易商外部价值评级结果一致。
本发明实施例中,交易商价值评估单元,将待预测样本输入训练好的价值评估模型,得到交易商基于大宗商品交易平台外部评价指标和交易商大宗商品交易平台内部评价指标两个分值,将它们加权平均值作为大宗商品交易商价值分数。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种交易商价值信息评估方法,其特征在于,所述交易商价值信息评估方法包括:
从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中;
从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库;
从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集;利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
2.如权利要求1所述的交易商价值信息评估方法,其特征在于,获取企业类交易商各预设维度的信息资源包括:获取交易商的工商信息、经营信息、财务信息、风险信息、信用信息、行政监管信息以及交易商交易信息;
交易商交易信息具体指企业类交易商唯一身份标识下在所有大宗商品交易平台的交易信息。
3.如权利要求1所述的交易商价值信息评估方法,其特征在于,所述企业画像包括五个大的维度,其中包括:行业状况、企业素质、财务状况、信用状况、交易状况;企业画像要根据交易商最新的数据,进行归纳统计整理,提取出相对应的标签信息,并于已有企业画像进行数据合并,形成企业的动态画像。
4.如权利要求1所述的交易商价值信息评估方法,其特征在于,价值评估模型应包括交易商在大宗商品平台内部价值指标模型、交易商基于大宗商品平台外部价值指标模型;
交易商在大宗商品交易平台内部价值指标是指基于交易商唯一身份标识下在所有大宗商品平台上的动态交易信息得来的评价指标;
交易商基于大宗商品平台外部价值指标是指基于大宗商品交易平台以外的信息得来的评价指标。
5.如权利要求1所述的交易商价值信息评估方法,其特征在于,交易商在大宗商品交易平台内部价值指标模型,基于K-means聚类方法对企业画像的交易状况中的部分标签进行聚类处理;
交易商基于大宗商品平台外部价值指标模型,基于外部价值评价标签,构建预测交易商外部价值决策树预测模型。
6.如权利要求1所述的交易商价值信息评估方法,其特征在于,所述商品价值信息评估方法的交易商在大宗商品交易平台内部价值指标模型构建过程为:
1)提取交易状况中的盈利能力标签、活跃度标签以及贡献度标签;
2)将标签数据向量化,比如x1表示盈利能力标签、x2表示活跃度标签、x3表示贡献度标签,那么标签数据向量化表示为(x1,x2,x3);
3)利用K-Means算法将向量数据聚为四类:A类、B类、C类、D类,赋予每类样本一个分值,作为交易商在大宗商品交易平台内部评价指标;
4)将每类的质心与未知类别样本之间的距离作为度量未知类别样本的类别的标准;
所述交易商价值信息评估方法中交易商基于大宗商品平台外部价值指标模型构建过程为:
1)提取行业状况、企业素质、财务状况的所有标签作为评价标签;
2)对用于构建交易商基于大宗商品平台外部价值指标模型的标签数据进行预处理,其中,预处理包括:填补缺漏的数据值、平滑噪声数据、识别或更替异常值;
3)基于专家标注交易商的优、良、中、差四个等级,生成用于构建交易商基于大宗商品平台外部价值指标模型的样本集,抽取其中的3/4作为训练集,其余作为测试集;交易商的四个等级优、良、中、差分别赋予它们一个分值,作为交易商基于大宗商品交易平台外部评价指标;
4)采用CART决策树的思想:根据给定的训练集构建分类树,具体为:计算每种标签的GINI系数,选择GINI系数最小的标签作为分类的根节点;利用上述GINI系数方法递归的建立子树的根节点,循环直到全部节点中的样本属于同类或没有可以选择作为分裂的标签为止;
5)对决策树进行剪枝操作,得到最终的CART决策树模型。
7.如权利要求1所述的交易商价值信息评估方法,其特征在于,所述对交易商进行价值评估,将待预测样本输入价值评估模型单元,得到交易商基于大宗商品交易平台外部评价指标和交易商大宗商品交易平台内部评价指标两个分值,采用加权求和方式,得到交易商价值分数。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中;
从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库;
从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集;利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
从第三方以及大宗商品交易平台数据库中获取交易商各预设维度的信息资源,并对信息资源进行预处理,且将预处理后的数据存储到资源数据库中;
从资源数据库中提取与企业画像标签相关的字段进行归纳统计整理,得到精炼的特征标识,并存入企业画像数据库;
从企业画像数据库中获取与内部价值相关的标签,进行预处理,且将预处理后的内部价值标签存储为内部价值数据集;从画像数据库中获取与外部价值相关的标签,进行预处理和人工标注,且将其存储为外部价值数据集;利用内部价值数据集训练K-Means模型,利用外部价值数据集训练决策树模型建立大宗商品交易商价值评估模型;
从画像数据库中获取待预测大宗商品交易商的相关标签,并进行预处理,将预处理后的标签输入至训练好的K-Means模型和决策树模型中,获得模型预测的内部价值和外部价值,将内部价值和外部价值相加计算得到待预测大宗商品交易商的综合价值。
10.一种运行权利要求1~7任意一项所述交易商价值信息评估方法的商品价值信息评估系统,其特征在于,所述交易商价值信息评估系统包括:
获取模块,用于获取交易商各预设维度的信息资源;
画像模块,用于将信息资源进行归纳统计整理,得到企业画像;
评估模型建立模块,用于建立大宗商品交易商价值评估模型;
价值评价模块,用于对大宗商品交易商进行价值评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010828359.3A CN111985937A (zh) | 2020-08-13 | 2020-08-13 | 交易商价值信息评估方法、系统、存储介质、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010828359.3A CN111985937A (zh) | 2020-08-13 | 2020-08-13 | 交易商价值信息评估方法、系统、存储介质、计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111985937A true CN111985937A (zh) | 2020-11-24 |
Family
ID=73434573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010828359.3A Pending CN111985937A (zh) | 2020-08-13 | 2020-08-13 | 交易商价值信息评估方法、系统、存储介质、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111985937A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434884A (zh) * | 2020-12-12 | 2021-03-02 | 广东电力信息科技有限公司 | 一种供应商分类画像的建立方法及装置 |
CN113256308A (zh) * | 2021-05-26 | 2021-08-13 | 福建腾艺文化艺术有限公司 | 一种艺术品电商交易平台及交易方法 |
CN113449019A (zh) * | 2021-08-30 | 2021-09-28 | 帕特思科技咨询(杭州)有限公司 | 一种产业资源综合数字化平台搭建方法 |
CN113723811A (zh) * | 2021-08-30 | 2021-11-30 | 平安国际智慧城市科技股份有限公司 | 基于机器学习的设备维保单位评估方法、装置及电子设备 |
CN113822727A (zh) * | 2021-11-23 | 2021-12-21 | 中通服建设有限公司 | 基于智能分析技术的客户关系管理系统 |
CN115203496A (zh) * | 2022-05-16 | 2022-10-18 | 广东省技术经济研究发展中心 | 基于大数据的项目智能预测及评估方法、系统及可读存储介质 |
CN115409419A (zh) * | 2022-09-26 | 2022-11-29 | 河南星环众志信息科技有限公司 | 业务数据的价值评估方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-13 CN CN202010828359.3A patent/CN111985937A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434884A (zh) * | 2020-12-12 | 2021-03-02 | 广东电力信息科技有限公司 | 一种供应商分类画像的建立方法及装置 |
CN113256308A (zh) * | 2021-05-26 | 2021-08-13 | 福建腾艺文化艺术有限公司 | 一种艺术品电商交易平台及交易方法 |
CN113449019A (zh) * | 2021-08-30 | 2021-09-28 | 帕特思科技咨询(杭州)有限公司 | 一种产业资源综合数字化平台搭建方法 |
CN113449019B (zh) * | 2021-08-30 | 2021-11-26 | 帕特思科技咨询(杭州)有限公司 | 一种产业资源综合数字化平台搭建方法 |
CN113723811A (zh) * | 2021-08-30 | 2021-11-30 | 平安国际智慧城市科技股份有限公司 | 基于机器学习的设备维保单位评估方法、装置及电子设备 |
CN113822727A (zh) * | 2021-11-23 | 2021-12-21 | 中通服建设有限公司 | 基于智能分析技术的客户关系管理系统 |
CN113822727B (zh) * | 2021-11-23 | 2022-03-01 | 中通服建设有限公司 | 基于智能分析技术的客户关系管理系统 |
CN115203496A (zh) * | 2022-05-16 | 2022-10-18 | 广东省技术经济研究发展中心 | 基于大数据的项目智能预测及评估方法、系统及可读存储介质 |
CN115409419A (zh) * | 2022-09-26 | 2022-11-29 | 河南星环众志信息科技有限公司 | 业务数据的价值评估方法、装置、电子设备及存储介质 |
CN115409419B (zh) * | 2022-09-26 | 2023-12-05 | 河南星环众志信息科技有限公司 | 业务数据的价值评估方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111985937A (zh) | 交易商价值信息评估方法、系统、存储介质、计算机设备 | |
US9075848B2 (en) | Methods, systems, and computer program products for generating data quality indicators for relationships in a database | |
CN109409677A (zh) | 企业信用风险评估方法、装置、设备及存储介质 | |
CN109035003A (zh) | 基于机器学习的反欺诈模型建模方法和反欺诈监控方法 | |
Chen | Classifying credit ratings for Asian banks using integrating feature selection and the CPDA-based rough sets approach | |
CN108711107A (zh) | 智能融资服务推荐方法及其系统 | |
CN111401600A (zh) | 基于关联关系的企业信用风险评价方法和系统 | |
CN112750029A (zh) | 信用风险预测方法、装置、电子设备及存储介质 | |
CN111861487A (zh) | 金融交易数据处理方法、欺诈行为的监测方法和装置 | |
CN110689437A (zh) | 一种基于随机森林的通信施工项目财务风险预测方法 | |
CN115082225A (zh) | 一种企业融资风险的评估方法和装置 | |
CN115526700A (zh) | 风险的预测方法、装置及电子设备 | |
CN115545886A (zh) | 逾期风险识别方法、装置、设备及存储介质 | |
CN112102006A (zh) | 基于大数据分析的目标客户获取方法、搜索方法及装置 | |
Gupta et al. | Feature selection for dimension reduction of financial data for detection of financial statement frauds in context to Indian companies | |
KR20110114181A (ko) | 예측 정확성이 향상된 대출 심사 방법 | |
Sebt et al. | Implementing a data mining solution approach to identify the valuable customers for facilitating electronic banking | |
CN115809930A (zh) | 基于数据融合匹配的反欺诈分析方法、装置、设备及介质 | |
Chen et al. | Predicting a corporate financial crisis using letters to shareholders | |
CN114626940A (zh) | 数据分析方法、装置及电子设备 | |
Lee et al. | Application of machine learning in credit risk scorecard | |
CN112634048A (zh) | 一种反洗钱模型的训练方法及装置 | |
KR100686466B1 (ko) | 자산 평가 제공 방법 및 시스템과, 수익성에 대한 안정성 분석 제공 시스템 | |
US20210312577A1 (en) | User-centric patent valuation-transaction system | |
CN118071482A (zh) | 构建零售信用风险预测模型的方法和消费信贷业务Scorebetad模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |