CN111311128A - 一种基于第三方数据的消费金融信用评分卡开发方法 - Google Patents
一种基于第三方数据的消费金融信用评分卡开发方法 Download PDFInfo
- Publication number
- CN111311128A CN111311128A CN202010236413.5A CN202010236413A CN111311128A CN 111311128 A CN111311128 A CN 111311128A CN 202010236413 A CN202010236413 A CN 202010236413A CN 111311128 A CN111311128 A CN 111311128A
- Authority
- CN
- China
- Prior art keywords
- model
- variable
- data
- value
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Abstract
本发明提供了一种基于第三方数据的消费金融信用评分卡开发方法,包括目标变量定义、数据获取、探索性数据分析、数据预处理、特征工程、模型开发、模型开发和信用评分;所述特征工程包括变量分箱、WOE转换、信息值IV和变量相关系数计算、根据信息值IV和变量相关系数进行特征筛选,所述变量分箱包括:通过卡方分箱选出对逾期状态影响最显著的字段、针对特征变量进性自动化分箱;所述模型评估,包括根据模型评估指标评估模型的拟合能力,并利用逻辑回归的参数调参训练。实施本发明技术方案,首先,增加了第三方数据,从而增加了风险识别的维度;再次,增加了变量之间的相关性检验,一方面能够防止进入模型的变量过多,增加计算成本,另一方面能够防止模型过拟合,为模型构建增加稳定性;最后,通过模型评估和调参,增强了模型的准确性。
Description
技术领域
本发明涉及消费金融行业评分卡模型开发构建技术,特别涉及一种基于第三方数据的消费金融信用评分卡开发方法。
背景技术
据有关数据显示:2018年我国消费金融市场(不含房贷)规模为8.45万亿元,市场渗透率为22.36%,预计到2020年我国消费金融市场规模将达到12万亿元,届时渗透率将达25.05%。由此可以判断,我国消费金融行业处于发展初期,仍有较大增长空间。传统金融风控进行风险控制所使用的数据维度主要为:人行征信、银行流水、平台申请的个人基本属性数据,对于大数据风控要求,数据维度及风险把握不足。
目前,金融大数据使用了更多的第三方数据,主要包括多头借贷行为、互联网、网上购物、第三方支付、反欺诈等数据,极大丰富了信用评估的可用数据维度,这使得全方位有效的进行信用评估成为可能,但同时也对评分卡模型的特征处理性能提出了更高的要求。金融信贷机构特征集合普遍具有数量多、纬度高的特点,但评分卡应关注的并不是数据规模本身,而是这些海量数据中有价值的特征,按照传统的方式人工进行特征筛选已不能很好的适用当前的信贷场景。
另外,传统的数据处理当中的分箱方法主要利用操作较为简单的等频分箱和等距分箱,而这两种无监督的分箱方法不足之处在于:忽略了实例所属的类型,落在正确区间里的偶然性很大。分箱数量主要靠主观经验,未必是合适的数量。分箱后,每个区间的合理性,缺乏科学的评估和调整。
发明内容
为了解决上述技术问题,本发明中披露了一种基于第三方数据的消费金融信用评分卡开发方法,本发明的技术方案是这样实施的:
一种基于第三方数据的消费金融信用评分卡开发方法,包括以下步骤:
步骤一:目标变量定义,根据vintage分析,观察各月份平均逾期的走势,确定表现窗口的时间跨度,将表现期内逾期天数超过90天的用户定义为“坏用户”,将表现期内逾期天数未超过90天的用户定义为“好用户”;
步骤二:数据获取,选取建模的客户,获取金融机构自身的字段和客户授权获取的第三方数据字段;
步骤三:探索性数据分析,对所述金融机构自身的字段和所述第三方数据字段进行分类,了解数据的大体情况,包括每个字段的缺失值情况、异常值情况、平均值、中位数、最大值、最小值以及分布情况;
步骤四:数据预处理,包括脏数据清洗、缺失值处理和异常值处理;
步骤五:特征工程,包括变量分箱、WOE转换、信息值IV和变量相关系数计算、根据信息值IV和变量相关系数进行特征筛选;
步骤六、数据集划分,随机或跨时间划分训练集、验证集;
步骤七:模型开发,以特征筛选后获得的特征变量为基础,构建模型,运用逻辑回归算法,进行模型拟合;对拟合后的变量系数进行检查,删掉符号相反的变量,后再次进行模型拟合;循环以上步骤,直到变量系数全部正确;最后删除相关系数矩阵较高的特征变量或者VIF较高的特征变量,排除变量之间的多重共线性;
步骤八:模型评估,利用逻辑回归的参数调参训练,并根据模型评估指标评估模型的拟合能力;所述模型评估指标包括ROC曲线、AUC及KS;所述逻辑回归的参数包括正则化选择参数、优化算法选择参数、分类方式选择参数、类型权重参数、样本权重参数、正则化参数C、迭代次数;
步骤九:信用评分,根据逻辑回归的模型系数和WOE得到评分刻度,制成标准评分卡。
进一步地,所述步骤二中的金融机构自身的字段包括客户的年龄、户籍、性别、收入、负债比以及在本机构的借款行为;所述步骤二中的第三方数据字段包括多头借贷、APP行为特征、网购行为、第三方支付、反欺诈数据。
进一步地,所述步骤四中的缺失值处理包括删除缺失率较大的样本、根据样本值的相似性或者变量之间的关系填补缺失值;所述步骤四中的异常值处理包括单变量异常值检测、局部离群值因子检测。
进一步地,所述步骤五中的变量分箱包括:通过卡方分箱选出对逾期状态影响最显著的字段、针对特征变量进性自动化分箱、根据分箱后的特征变量进行评分卡评估;所述自动化分箱实现方法为,将数据等频切分为p个区间,设定最大的分箱个数n,计算每一相邻区间的卡方值,将卡方值最小的一对区间合并;统计现存的数据区间数量q,如果q>n,重复执行计算,直至q≤n。
进一步地,所述步骤五中的WOE转换为对每个特征变量分箱后的每组进行WOE转换,其计算公式为:
该式中,WOEi表示第i个分箱的WOE值,good表示为“好用户”;#good(i)表示第i个分箱中标签为“好用户”的数量;#good(T)为标签为“好用户”的总数量;bad表示为“坏用户”;#bad(i)表示第i个分箱标签为“坏用户”的数量,#bad(T)为标签为“坏用户”的总数量。
进一步地,所述步骤五中的信息值IV相当于WOE的加权求和,衡量自变量的预测能力,信息值IV的计算公式如下:
实施本发明的技术方案,有以下有益效果:
(1)本发明技术方案增加了第三方数据,从而增加了风险识别的维度;
(2)本发明技术方案在特征工程中利用有监督作用的卡方风箱,达到了最优的分箱目标;
(3)本发明在特征筛选时,在现有技术上,增加了变量之间的相关性检验,一方面能够防止进入模型的变量过多,增加计算成本,另一方面能够防止模型过拟合,为模型构建增加稳定性;
(4)本发明通过模型评估和调参,增强了模型的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一种实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于第三方数据的消费金融信用评分卡开发方法,结合图1所示,包括一下步骤:
步骤一:目标变量定义,根据vintage分析,观察各月份平均逾期的走势,确定表现窗口的时间跨度,将表现期内逾期天数超过90天的用户定义为“坏用户”,将表现期内逾期天数未超过90天的用户定义为“好用户”;
步骤二:数据获取,选取建模的客户,获取金融机构自身的字段和客户授权获取的第三方数据字段;
步骤三:探索性数据分析,对所述金融机构自身的字段和所述第三方数据字段进行分类,了解数据的大体情况,包括每个字段的缺失值情况、异常值情况、平均值、中位数、最大值、最小值以及分布情况;
步骤四:数据预处理,包括脏数据清洗、缺失值处理和异常值处理;
步骤五:特征工程,包括变量分箱、WOE转换、信息值IV和变量相关系数计算、根据信息值IV和变量相关系数进行特征筛选;
步骤六、数据集划分,随机或跨时间划分训练集、验证集;
步骤七:模型开发,以特征筛选后获得的特征变量为基础,构建模型,运用逻辑回归算法,进行模型拟合;对拟合后的变量系数进行检查,删掉符号相反的变量,后再次进行模型拟合;循环以上步骤,直到变量系数全部正确;最后删除相关系数矩阵较高的特征变量或者VIF较高的特征变量,排除变量之间的多重共线性;
步骤八:模型评估,利用逻辑回归的参数调参训练,并根据模型评估指标评估模型的拟合能力;所述模型评估指标包括ROC曲线、AUC及KS;所述逻辑回归的参数包括正则化选择参数、优化算法选择参数、分类方式选择参数、类型权重参数、样本权重参数、正则化参数C、迭代次数;
步骤九:信用评分,根据逻辑回归的模型系数和WOE得到评分刻度,制成标准评分卡。
在该实施方式中,变量相关系数(CORR)是指两个变量之间的相互关系及其相关方向,可以避免多重共线性,变量根据IV排序逐一进入模型,后续变量的与已进入模型变量的相关系数需小于阈值之后才能进入模型。
在一种优选的实施方式中,前述步骤二中的金融机构自身的字段包括客户的年龄、户籍、性别、收入、负债比以及在本机构的借款行为;所述步骤二中的第三方数据字段包括多头借贷、APP行为特征、网购行为、第三方支付、反欺诈数据。
在一种优选的实施方式中,前述步骤四中的缺失值处理包括删除缺失率较大的样本、根据样本值的相似性或者变量之间的关系填补缺失值,如平均值或中位数填充,或使用随机森林来预测该值进行填充;所述步骤四中的异常值处理包括单变量异常值检测、局部离群值因子检测。
在一种优选的实施方式中,所述步骤五中的变量分箱包括:通过卡方分箱选出对逾期状态影响最显著的字段、针对特征变量进性自动化分箱、根据分箱后的特征变量进行评分卡评估;所述自动化分箱实现方法为,将数据等频切分为p个区间,设定最大的分箱个数n,计算每一相邻区间的卡方值,将卡方值最小的一对区间合并;统计现存的数据区间数量q,如果q>n,重复执行计算,直至q≤n。所述步骤五中的WOE转换为对每个特征变量分箱后的每组进行WOE转换,其计算公式为:
该式中,WOEi表示第i个分箱的WOE值,good表示为“好用户”;#good(i)表示第i个分箱中标签为“好用户”的数量;#good(T)为标签为“好用户”的总数量;bad表示为“坏用户”;#bad(i)表示第i个分箱标签为“坏用户”的数量,#bad(T)为标签为“坏用户”的总数量。在该实施方式中,卡方分箱是自底向上的(即基于合并的)数据离散化方法。它依赖于卡方检验,具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则,步骤包括:预先设定一个卡方的阈值;初始化:根据要离散的属性对区间进行排序;合并区间:计算每一对相邻区间分卡方值,再将卡方值最小的一对区间合并。
在一种优选的实施方式中,所述步骤五中的信息值IV相当于WOE的加权求和,衡量自变量的预测能力,信息值IV的计算公式如下:
需要指出的是,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于第三方数据的消费金融信用评分卡开发方法,其特征在于,包括一下步骤:
步骤一:目标变量定义,根据vintage分析,观察各月份平均逾期的走势,确定表现窗口的时间跨度,将表现期内逾期天数超过90天的用户定义为“坏用户”,将表现期内逾期天数未超过90天的用户定义为“好用户”;
步骤二:数据获取,选取建模的客户,获取金融机构自身的字段和客户授权获取的第三方数据字段;
步骤三:探索性数据分析,对所述金融机构自身的字段和所述第三方数据字段进行分类,了解数据的大体情况,包括每个字段的缺失值情况、异常值情况、平均值、中位数、最大值、最小值以及分布情况;
步骤四:数据预处理,包括脏数据清洗、缺失值处理和异常值处理;
步骤五:特征工程,包括变量分箱、WOE转换、信息值IV和变量相关系数计算、根据信息值IV和变量相关系数进行特征筛选;
步骤六、数据集划分,随机或跨时间划分训练集、验证集;
步骤七:模型开发,以特征筛选后获得的特征变量为基础,构建模型,运用逻辑回归算法,进行模型拟合;对拟合后的变量系数进行检查,删掉符号相反的变量,后再次进行模型拟合;循环以上步骤,直到变量系数全部正确;最后删除相关系数矩阵较高的特征变量或者VIF较高的特征变量,排除变量之间的多重共线性;
步骤八:模型评估,利用逻辑回归的参数调参训练,并根据模型评估指标评估模型的拟合能力;所述模型评估指标包括ROC曲线、AUC及KS;所述逻辑回归的参数包括正则化选择参数、优化算法选择参数、分类方式选择参数、类型权重参数、样本权重参数、正则化参数C、迭代次数;
步骤九:信用评分,根据逻辑回归的模型系数和WOE得到评分刻度,制成标准评分卡。
2.根据权利要求1所述的一种基于第三方数据的消费金融信用评分卡开发方法,其特征在于,所述步骤二中的金融机构自身的字段包括客户的年龄、户籍、性别、收入、负债比以及在本机构的借款行为;所述步骤二中的第三方数据字段包括多头借贷、APP行为特征、网购行为、第三方支付、反欺诈数据。
3.根据权利要求1所述的一种基于第三方数据的消费金融信用评分卡开发方法,所述步骤四中的缺失值处理包括删除缺失率较大的样本、根据样本值的相似性或者变量之间的关系填补缺失值;所述步骤四中的异常值处理包括单变量异常值检测、局部离群值因子检测。
4.根据权利要求1所述的一种基于第三方数据的消费金融信用评分卡开发方法,其特征在于,所述步骤五中的变量分箱包括:通过卡方分箱选出对逾期状态影响最显著的字段、针对特征变量进性自动化分箱;所述自动化分箱实现方法为,将数据等频切分为p个区间,设定最大的分箱个数n,计算每一相邻区间的卡方值,将卡方值最小的一对区间合并;统计现存的数据区间数量q,如果q>n,重复执行计算,直至q≤n。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010236413.5A CN111311128A (zh) | 2020-03-30 | 2020-03-30 | 一种基于第三方数据的消费金融信用评分卡开发方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010236413.5A CN111311128A (zh) | 2020-03-30 | 2020-03-30 | 一种基于第三方数据的消费金融信用评分卡开发方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111311128A true CN111311128A (zh) | 2020-06-19 |
Family
ID=71158993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010236413.5A Withdrawn CN111311128A (zh) | 2020-03-30 | 2020-03-30 | 一种基于第三方数据的消费金融信用评分卡开发方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311128A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232951A (zh) * | 2020-12-17 | 2021-01-15 | 中证信用云科技(深圳)股份有限公司 | 基于多维度交叉特征的信用评价方法、装置、设备及介质 |
CN112330280A (zh) * | 2020-11-04 | 2021-02-05 | 山大地纬软件股份有限公司 | 一种人力资源市场主体信用查询方法及系统 |
CN112434886A (zh) * | 2020-12-17 | 2021-03-02 | 北京环信简益科技有限公司 | 一种预测客户抵押贷款违约概率的方法 |
CN113487414A (zh) * | 2021-07-07 | 2021-10-08 | 广东中盈盛达数字科技有限公司 | 一种风控评分卡建模区间的划分方法及其划分系统 |
CN113919933A (zh) * | 2021-08-25 | 2022-01-11 | 北京睿知图远科技有限公司 | 一种基于好坏标签的客户评分验证方法 |
CN115423603A (zh) * | 2022-08-31 | 2022-12-02 | 厦门国际银行股份有限公司 | 一种基于机器学习的风控模型建立方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636591A (zh) * | 2018-12-28 | 2019-04-16 | 浙江工业大学 | 一种基于机器学习的信用评分卡开发方法 |
CN110648215A (zh) * | 2019-08-15 | 2020-01-03 | 上海新颜人工智能科技有限公司 | 分布式评分卡模型建立方法 |
CN110659817A (zh) * | 2019-09-16 | 2020-01-07 | 上海云从企业发展有限公司 | 一种数据处理方法、装置、机器可读介质及设备 |
CN110807700A (zh) * | 2019-11-05 | 2020-02-18 | 浪潮卓数大数据产业发展有限公司 | 一种基于政府数据的无监督融合模型个人信用评分方法 |
CN110866819A (zh) * | 2019-10-18 | 2020-03-06 | 华融融通(北京)科技有限公司 | 一种基于元学习的自动化信贷评分卡生成方法 |
-
2020
- 2020-03-30 CN CN202010236413.5A patent/CN111311128A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636591A (zh) * | 2018-12-28 | 2019-04-16 | 浙江工业大学 | 一种基于机器学习的信用评分卡开发方法 |
CN110648215A (zh) * | 2019-08-15 | 2020-01-03 | 上海新颜人工智能科技有限公司 | 分布式评分卡模型建立方法 |
CN110659817A (zh) * | 2019-09-16 | 2020-01-07 | 上海云从企业发展有限公司 | 一种数据处理方法、装置、机器可读介质及设备 |
CN110866819A (zh) * | 2019-10-18 | 2020-03-06 | 华融融通(北京)科技有限公司 | 一种基于元学习的自动化信贷评分卡生成方法 |
CN110807700A (zh) * | 2019-11-05 | 2020-02-18 | 浪潮卓数大数据产业发展有限公司 | 一种基于政府数据的无监督融合模型个人信用评分方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330280A (zh) * | 2020-11-04 | 2021-02-05 | 山大地纬软件股份有限公司 | 一种人力资源市场主体信用查询方法及系统 |
CN112232951A (zh) * | 2020-12-17 | 2021-01-15 | 中证信用云科技(深圳)股份有限公司 | 基于多维度交叉特征的信用评价方法、装置、设备及介质 |
CN112434886A (zh) * | 2020-12-17 | 2021-03-02 | 北京环信简益科技有限公司 | 一种预测客户抵押贷款违约概率的方法 |
CN113487414A (zh) * | 2021-07-07 | 2021-10-08 | 广东中盈盛达数字科技有限公司 | 一种风控评分卡建模区间的划分方法及其划分系统 |
CN113919933A (zh) * | 2021-08-25 | 2022-01-11 | 北京睿知图远科技有限公司 | 一种基于好坏标签的客户评分验证方法 |
CN115423603A (zh) * | 2022-08-31 | 2022-12-02 | 厦门国际银行股份有限公司 | 一种基于机器学习的风控模型建立方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dumitrescu et al. | Machine learning for credit scoring: Improving logistic regression with non-linear decision-tree effects | |
CN111311128A (zh) | 一种基于第三方数据的消费金融信用评分卡开发方法 | |
CN107563428B (zh) | 基于生成对抗网络的极化sar图像分类方法 | |
Chung et al. | Insolvency prediction model using multivariate discriminant analysis and artificial neural network for the finance industry in New Zealand | |
Delen | Predicting student attrition with data mining methods | |
Kim et al. | Ordinal classification of imbalanced data with application in emergency and disaster information services | |
CN105354595A (zh) | 一种鲁棒视觉图像分类方法及系统 | |
CN106952159A (zh) | 一种不动产抵押品风险控制方法、系统及存储介质 | |
CN108305240A (zh) | 图像质量检测方法及装置 | |
CN111311402A (zh) | 一种基于XGBoost的互联网金融风控模型 | |
Adetunji et al. | House price prediction using random forest machine learning technique | |
CN104850868A (zh) | 一种基于k-means和神经网络聚类的客户细分方法 | |
Dumitrescu et al. | Machine Learning or Econometrics for Credit Scoring: Let's Get the Best of Both Worlds | |
AU2018101523A4 (en) | A personal credit scoring model based on machine learning method | |
CN112700324A (zh) | 基于CatBoost与受限玻尔兹曼机结合的用户借贷违约预测方法 | |
WO2015064713A1 (ja) | 情報提示方法、装置、及びプログラム | |
CN107016416A (zh) | 基于邻域粗糙集和pca融合的数据分类预测方法 | |
Tohill et al. | Quantifying non-parametric structure of high-redshift galaxies with deep learning | |
CN110084812A (zh) | 一种太赫兹图像缺陷检测方法、装置、系统及存储介质 | |
Matharaarachchi et al. | Assessing feature selection method performance with class imbalance data | |
CN112183652A (zh) | 一种联邦机器学习环境下的边缘端偏见检测方法 | |
Andrić et al. | An insight into the effects of class imbalance and sampling on classification accuracy in credit risk assessment | |
CN113177733B (zh) | 基于卷积神经网络的中小微企业数据建模方法及系统 | |
Gonzalez-Martel et al. | Identifying business misreporting in VAT using network analysis | |
Roigé et al. | Self-organizing maps for analysing pest profiles: Sensitivity analysis of weights and ranks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200619 |
|
WW01 | Invention patent application withdrawn after publication |