CN113298264A - 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备 - Google Patents
基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备 Download PDFInfo
- Publication number
- CN113298264A CN113298264A CN202110475415.4A CN202110475415A CN113298264A CN 113298264 A CN113298264 A CN 113298264A CN 202110475415 A CN202110475415 A CN 202110475415A CN 113298264 A CN113298264 A CN 113298264A
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- model
- rejection
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000694 effects Effects 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 23
- 238000007477 logistic regression Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- XOOUIPVCVHRTMJ-UHFFFAOYSA-L zinc stearate Chemical compound [Zn+2].CCCCCCCCCCCCCCCCCC([O-])=O.CCCCCCCCCCCCCCCCCC([O-])=O XOOUIPVCVHRTMJ-UHFFFAOYSA-L 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 10
- 238000011156 evaluation Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
一种基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备。所述方法包括：采用无监督的异常数据识别算法，剔除极端数据，以及信息增益过少的无标签数据，保证自学习的稳定性；通过迭代阈值分位数，给无标签样本进行打标；结合确定标签的无标签样本和有标签的通过样本，重新训练整理模型，以达到修正模型打分分布的作用。本发明以机器学习的算法，最大限度避免了人为的主观臆测，给出了一种新的评价标准来为拒绝推断的有效性进行评估，使设备认证的鲁棒性和精确性都得到很大的提高。
Description
技术领域
本发明涉及互联网平台的设备认证技术领域，更具体的涉及一种基于浅层自学习算法的拒绝推断的设备认证方法及系统、电子设备和计算机存储介质。
背景技术
对于基于互联网平台的移动应用，用户若要办理具体的网络业务，往往需要对接入的设备进行认证，只有认证后的设备才资格申请相关业务。为了避免风险，平台往往需要对新设备进行预先评估，只有通过评估的设备才被允许进行后续的业务申请。例如，对于基于互联网平台的出行业务(打车、共享单车、导航)，外送业务(叫快递、点外卖)、金融业务(理财、借款、保险)、购物(在线商志愿、团购、拼单等)，都需要对接入的设备及与该设备关联的信息(设备信息、用户信息、地域信息等)进行预先处理，以对明显具有不良记录的设备拒绝接入。为了应对海量的接入请求，现有技术往往通过机器学习技术来进行处理设备认证问题。
随着网络和人工智能的发展，机器学习技术亦随之水涨船高。在机器学习技术中，需要设置标签并进行不断地迭代。而在有一类机器迭代中，由于不断的策略迭代，使得只有通过某些条件的数据才能取得标签值，从而评分模型只能建立在通过条件的接受样本中，与实际运用在全体样本(拒绝+通过)分布不同，从而造成了样本偏差问题。
解决这一类样本偏差问题的方法通常叫作拒绝推断方法，传统的拒绝推断方法例如包括借助阈值、比例进行推断的硬截断法，以及外包法等，但是这些方法或多或少都存在一些不足，比如太机械，或者太过于偏向主观臆测，迫切需要研究开发一种更加精确的拒绝推断方法。
发明内容
有鉴于此，本发明的主要目的在于提出一种基于浅层自学习算法的拒绝推断的设备认证方法及系统、电子设备和计算机存储介质，以期至少部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的第一方面，提供了一种基于自学习算法拒绝推断的设备认证方法，包括如下步骤：
采集首次认证后被拒绝的设备数据，采用无监督的异常数据识别算法，对输入的首次认证后被拒绝的设备数据剔除无效数据，其中，首次认证是采用机器自学习的模型进行的；通过迭代阈值分位数，给无标签样本进行打标；结合确定标签的无标签样本和有标签的通过样本，重新训练整理所述模型，以达到修正模型打分分布的作用；采用修正好的模型对新设备进行设备认证。
根据本发明的一种实施方式，所述剔除无效数据包括：剔除所述模型输入样本的特征空间中与Xa特征空间差异较大的样本；其中，定义总体样本X中包含
接受样本，即Xa为接受样本。
根据本发明的一种实施方式，所述剔除无效数据包括：剔除所述模型输入样本中的特征空间与Xa最为接近的一部分拒绝样本。
根据本发明的一种实施方式，所述剔除的步骤采用孤立森林算法实现。
根据本发明的一种实施方式，所述剔除步骤具体包括：
子步骤1，用Xa训练孤立森林模型记为g(x)；
子步骤2，使用g(x)为Xr样本进行打分；
子步骤3，根据事先定义的阈值上下限[δ1,δ2]，小于阈值和大于阈值部分的样本剔除；得到用于继续打标的拒绝样本Xr*；
其中，定义
拒绝样本，即Xr样本为拒绝样本；接受样本能观察一定MOB的逾期表现，样本的逾期表现记为
而拒绝样本则为无标签样本。
根据本发明的一种实施方式，所述模型使用带正则项的逻辑回归模型。
根据本发明的一种实施方式，步骤2中打标的步骤具体包括：
对于经过孤立森林算法筛选出的样本Xr*
子步骤1，使用Xa训练出一个带惩罚项的逻辑回归基模型f(x)；
子步骤2，对每个样本
使用f(x)对其打分；
子步骤3，根据给定的超参数α、θ，确定阈值cb,cg，使得
筛选出符合阈值范围的无标签拒绝样本组成的集合为X*；其中α、θ为超参数，θ表示正负样本之间的倍数；P()表示满足括号中条件的概率。
根据本发明的一种实施方式，α、θ通过交叉验证法进行调整，和/或，根据业务的经验给出θ的取值。
根据本发明的一种实施方式，阈值cb,cg能够通过正负样本的更新，动态对基分类器进行更新，从而动态对拒绝样本进行打标。
根据本发明的一种实施方式，上述打标的步骤还包括：
设置迭代次数为k，每一次迭代重复上述的算法，将每次迭代筛选出的X*加入到Xa中，重新训练基模型，并进行阈值更新。
根据本发明的一种实施方式，引入剔除率指标来衡量使用拒绝推断后的模型的效果，
所述剔除率K定义为：
其中，通过样本组成的测试集为Ta，仅用通过样本Xa训练的模型记为Ma，用自学习方法训练的拒绝推断模型集为MRI；同时使用Ma、MRI对Ta进行预测，在一定的通过率R的情况下：A1为通过率为R时，Ma对Ta预测为通过的样本集合；A2为通过率为R时，MRI对Ta预测为通过的样本集合；通过比较A1,A2的样本，KB为A2相比于A1剔除的坏样本，KG为A2相比于A1剔除的好样本，SB为A1中所有负样本的总数，P(B)为A1中坏样本的比例；
其中，当A2剔除A1中所有的负样本时，K取值为1；当A2剔除A1中所有的正样本时，K取值为-1。
本发明第二方面提出一种基于自学习算法的拒绝推断的设备认证系统，包括：
数据采集模块，用于采集首次认证后被拒绝的设备数据，其中，首次认证是采用机器自学习的模型进行的；
剔除模块，用于采用无监督的异常数据识别算法，在数据采集模块输入的样本数据中剔除无效数；
打标模块，用于通过迭代阈值分位数，给剔除模块处理后得到的无标签样本进行打标；
模型训练模块，用于结合确定标签的无标签样本和有标签的通过样本，重新训练整理模型，以达到修正模型打分分布的作用。
设备认证模块，用于采用修正好的模型对新设备进行设备认证。
本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机可执行程序被所述处理器执行时，所述处理器执行如上所述的方法。
本发明第四方面还提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如上所述的方法。
基于上述技术方案可知，本发明的基于浅层自学习算法的拒绝推断的设备认证方法及系统、电子设备和计算机存储介质相对于现有技术至少具有如下有益效果之一：
本发明的基于自学习算法的拒绝推断框架，以机器学习的算法，最大限度避免了人为的主观臆测；
本发明的拒绝推断的设备认证方法给出了一种新的评价标准来为拒绝推断的有效性进行评估，使得设备认证的鲁棒性和精确性都得到很大的提高；
本发明针对如何评估拒绝推断效果的难题，给出了一种评价指标，“剔除率”指标来衡量使用拒绝推断后的模型的效果，模型精度得到了提高，运行速率也不慢，在设备认证方面取得了较满意的效果。
附图说明
图1是本发明应用的互联网平台的设备设证场景示意图。
图2是本发明的基于浅层自学习算法的拒绝推断的设备认证方法的方框流程图；
图3是本发明的基于浅层自学习算法的拒绝推断的设备认证系统的框架示意图；
图4是本发明的电子设备的结构示意图；
图5是本发明的计算机可读记录介质的示意图。
具体实施方式
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本发明中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
本说明书中一些技术术语含义如下：
拒绝推断
对于部分机器学习建模的情形，例如在做申请评分卡建模时，使用的标签是是否逾期，逾期的前提是已经审批授信的用户；而评分卡的预测数据是授信申请用户，这里就存在“样本偏差”的问题。因为训练使用的人群只是预测人群的一部分，建立的评分卡并没有考虑授信拒绝的用户信息。因此在对总体样本评估时，会有偏差，有可能会对一些“好人”造成误伤，若能在建模时，使用拒绝样本与接收样本一起建模，就是所说的“拒绝推断”。
超参数
在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。在实际使用中，超参数通常定义关于模型的更高层次的概念，如复杂性或学习能力，且不能直接从标准模型培训过程的数据中学习，需要预先定义。此外，超参数可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定。
孤立森林
孤立森林，由周志华教授等人于2008年在第八届IEEE数据挖掘国际会议上提出。在孤立森林(iForest)中，异常(anomaly detection)被定义为“容易被孤立的离群点”，可以将其理解为分布稀疏且离密度高的群体较远的点。在特征空间里，分布稀疏的区域表示事件发生在该区域的概率很低，因而可以认为落在这些区域里的数据是异常的。孤立森林是一种适用于连续数据的无监督异常检测方法，即不需要有标记的样本来训练，但特征需要是连续的。在孤立森林中，递归地随机分割数据集，直到所有的样本点都是孤立的。在这种随机分割的策略下，异常点通常具有较短的路径。孤立森林凭借其线性的时间复杂度与优秀的准确率被广泛应用于工业界中结构化数据的异常检测。
本发明涉及一种基于浅层自学习算法的拒绝推断的设备认证方法。
图1是本发明应用的互联网平台的设备设证场景示意图。如图1所示，用户若要办理具体的网络业务，往往需要对接入的设备进行认证，只有认证后的设备才资格申请相关业务。为了避免风险，平台往往需要对新设备进行预先评估，只有通过评估的设备才被允许进行后续的业务申请，对明显具有不良记录的设备拒绝接入。为了应对海量的接入请求，现有技术往往通过机器学习技术来进行处理设备认证问题。
本发明公开了一种基于自学习算法的拒绝推断的设备认证方法，其是一种机器学习的算法，最大限度避免人为的主观臆测；其也是一种迭代的自适应算法，通过设置算法的超参数，不断迭代样本，对无标签的样本进行打标，从而确定出拒绝样本中的正负标签。同时，本发明还给出一种新的评价标准来为拒绝推断的有效性进行评估，进一步提高了模型预测精度，以对设备认证的有效性进行评估。
具体地，如图2所示，本发明的基于自学习算法的拒绝推断的设备认证方法主要分为3步进行：
步骤1，采集首次认证后被拒绝的设备数据，采用无监督的异常数据识别算法，对输入的首次认证后被拒绝的设备数据剔除极端数据，以及信息增益过少的无标签数据，以保证自学习的稳定性；
步骤2，通过迭代阈值分位数，给无标签样本进行打标；
步骤3，结合确定标签的无标签样本和有标签的通过样本，重新训练整理模型，以达到修正模型打分分布的作用；
步骤4，采用修正好的模型对所述资源数据进行机器学习，得到解决实际问题且修正了拒绝推断误差的模型。
其中，步骤1中的集首次认证后被拒绝的设备数据，采用无监督的异常数据识别算法，对输入的首次认证后被拒绝的设备数据剔除无效数据，其中，首次认证是采用机器自学习的模型进行的。
其中，步骤1中需要剔除的极端数据包括特征空间中与Xa特征空间差异较大的样本；其中，定义总体样本X中包含
接受样本，即Xa为接受样本。
其中，步骤1中的信息增益过少的无标签数据为特征空间与Xa最为接近的一部分拒绝样本。
其中，步骤1中剔除的步骤采用孤立森林算法实现。
其中，步骤1中剔除异常拒绝样本的步骤具体包括：
子步骤1，用Xa训练孤立森林模型记为g(x)；
子步骤2，使用g(x)为Xr样本进行打分；
子步骤3，根据事先定义的阈值上下限[δ1,δ2]，小于阈值和大于阈值部分的样本剔除；得到用于继续打标的拒绝样本Xr*；
其中，定义
拒绝样本，即Xr样本为拒绝样本；接受样本能观察一定MOB的逾期表现，样本的逾期表现记为
而拒绝样本则为无标签样本。
其中，所述自学习算法基于如下假设：有无标签的样本，在特征空间上有相同的分布。
其中，步骤2中在给无标签拒绝样本打标之前，使用Xa训练一个基模型f(x)。
其中，所述基模型使用带正则项的逻辑回归模型。
其中，步骤2中的打标并不是对步骤1中筛选后的所有拒绝样本，而是通过设定“接受阈值”和“拒绝阈值”，筛选出满足条件的样本好坏样本。
其中，步骤2中打标的步骤具体包括：
对于经过孤立森林算法筛选出的样本Xr*
子步骤1，使用Xa训练出一个带惩罚项的逻辑回归基模型f(x)；
子步骤2，对每个样本
使用f(x)对其打分；
子步骤3，根据给定的超参数α、θ，确定阈值cb,cg，使得
筛选出符合阈值范围的无标签拒绝样本组成的集合为X*；其中α、θ为超参数，θ表示正负样本之间的倍数；P()表示满足括号中条件的概率。
其中，α、θ通过交叉验证法进行调整，和/或，根据业务的经验给出θ的取值。
其中，阈值cb,cg能够通过正负样本的更新，动态对基分类器进行更新，从而动态对拒绝样本进行打标。
其中，上述打标的步骤还包括：
设置迭代次数为k，每一次迭代重复上述的算法，将每次迭代筛选出的X*加入到Xa中，重新训练基模型，并进行阈值更新。
其中，步骤3中引入剔除率指标来衡量使用拒绝推断后的模型的效果，
所述剔除率K定义为：
其中，通过样本组成的测试集为Ta，仅用通过样本Xa训练的模型记为Ma，用自学习方法训练的拒绝推断模型集为MRI；同时使用Ma、MRI对Ta进行预测，在一定的通过率R的情况下：A1为通过率为R时，Ma对Ta预测为通过的样本集合；A2为通过率为R时，MRI对Ta预测为通过的样本集合；通过比较A1,A2的样本，KB为A2相比于A1剔除的坏样本，KG为A2相比于A1剔除的好样本，SB为A1中所有负样本的总数，P(B)为A1中坏样本的比例；
其中，当A2剔除A1中所有的负样本时，K取值为1；当A2剔除A1中所有的正样本时，K取值为-1。
本发明还公开了一种基于自学习算法的拒绝推断的设备认证系统，该系统通常布署在互联网平台的服务器或服务器集群中，如图3所示，所述系统包括：
数据采集模块，用于采集首次认证后被拒绝的设备数据，其中，首次认证是采用机器自学习的模型进行的；
剔除模块，用于采用无监督的异常数据识别算法，在数据采集模块输入的样本数据中剔除极端数据，以及信息增益过少的无标签数据；
打标模块，用于通过迭代阈值分位数，给剔除模块处理后得到的无标签样本进行打标；
模型训练模块，用于结合确定标签的无标签样本和有标签的通过样本，重新训练整理模型，以达到修正模型打分分布的作用。
设备认证模块，用于用于采用修正好的模型对新设备进行设备认证。
其中，剔除模块剔除的极端数据包括特征空间中与Xa特征空间差异较大的样本；其中，定义总体样本X中包含
接受样本，即Xa为接受样本。
其中，剔除模块剔除的信息增益过少的无标签数据为特征空间与Xa最为接近的一部分拒绝样本。
其中，剔除模块采用孤立森林算法。
其中，剔除模块剔除异常拒绝样本的步骤具体包括：
子步骤1，用Xa训练孤立森林模型记为g(x)；
子步骤2，使用g(x)为Xr样本进行打分；
子步骤3，根据事先定义的阈值上下限[δ1,δ2]，小于阈值和大于阈值部分的样本剔除；得到用于继续打标的拒绝样本Xr*；
其中，定义
拒绝样本，即Xr样本为拒绝样本；接受样本能观察一定MOB的逾期表现，样本的逾期表现记为
而拒绝样本则为无标签样本。
其中，打标模块采用的自学习算法基于如下假设：有无标签的样本，在特征空间上有相同的分布。
其中，打标模块在给无标签拒绝样本打标之前，使用Xa训练一个基模型f(x)。
其中，所述基模型使用带正则项的逻辑回归模型。
其中，打标模块执行的打标并不是对剔除模块筛选后的所有拒绝样本，而是通过设定“接受阈值”和“拒绝阈值”，筛选出满足条件的样本好坏样本。
其中，打标模块进行打标的步骤具体包括：
对于经过孤立森林算法筛选出的样本Xr*
子步骤1，使用Xa训练出一个带惩罚项的逻辑回归基模型f(x)；
子步骤2，对每个样本
使用f(x)对其打分；
子步骤3，根据给定的超参数α、θ，确定阈值cb,cg，使得
筛选出符合阈值范围的无标签拒绝样本组成的集合为X*；其中α、θ为超参数，θ表示正负样本之间的倍数；P()表示满足括号中条件的概率。
其中，α、θ通过交叉验证法进行调整，和/或，根据业务的经验给出θ的取值。
其中，阈值cb,cg能够通过正负样本的更新，动态对基分类器进行更新，从而动态对拒绝样本进行打标。
其中，上述打标的步骤还包括：
设置迭代次数为k，每一次迭代重复上述的算法，将每次迭代筛选出的X*加入到Xa中，重新训练基模型，并进行阈值更新。
其中，模型训练模块引入剔除率指标来衡量使用拒绝推断后的模型的效果，
所述剔除率K定义为：
其中，通过样本组成的测试集为Ta，仅用通过样本Xa训练的模型记为Ma，用自学习方法训练的拒绝推断模型集为MRI；同时使用Ma、MRI对Ta进行预测，在一定的通过率R的情况下：A1为通过率为R时，Ma对Ta预测为通过的样本集合；A2为通过率为R时，MRI对Ta预测为通过的样本集合；通过比较A1,A2的样本，KB为A2相比于A1剔除的坏样本，KG为A2相比于A1剔除的好样本，SB为A1中所有负样本的总数，P(B)为A1中坏样本的比例；
其中，当A2剔除A1中所有的负样本时，K取值为1；当A2剔除A1中所有的正样本时，K取值为-1。
本发明还公开了一种电子设备，其包括处理器和存储器，所述存储器用于存储计算机可执行程序，其中当所述计算机可执行程序被所述处理器执行时，所述处理器执行如上所述的基于自学习算法的拒绝推断的设备认证方法。
图4是本发明的该实施例的电子设备的结构示意图，如图4所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。
所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。
可选的，该实施例中，电子设备还包括有I/O接口，其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解，图4显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。
图5是本发明的该实施例的计算机可读记录介质的示意图。如图5所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明如上所述的基于自学习算法的拒绝推断的设备认证方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Python、Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等，本发明也可以由包含上述系统或部件的至少一部分的车辆来实现。本发明也可以由执行本发明的方法的计算机软件来实现，例如由机车端的微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现，例如计算机程序执行的某些方法步骤可以在机车端执行，另一部分可以在移动终端或智能头盔等中执行。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
实施例
本实施例公开了一种基于自学习算法的拒绝推断的设备认证方法，其中采用了一种自学习框架，下面从三个阶段介绍本实施例的自学习框架。
首先设总体样本X中包含
接受样本，以及
拒绝样本，其中接受样本能观察一定MOB的逾期表现(PD)，样本的PD表现记为
而拒绝样本则为无标签样本，接下来展示自学习框架的步骤：
1、通过异常识别去除部分无标签的拒绝样本，以降低拒绝推断带来的方差。
本发明的自学习框架基于的第一个假设为：有无标签的样本，在特征空间上有相同的分布；在传统的信用评分卡系统中，Xa与Xr是假设来自不同的分布，因此信用评分卡通过特征的分布来区分好坏样本。但是这个假设对自学习框架来说有负面的影响，因为最初的基模型是在全部有标签的通过样本中进行训练的，因此训练模型中涵盖的样本是有偏的。Xa中表示好坏样本的特征空间差异不是能真正区分好坏样本的分布；因此自学习框架为了修正在Xa训练模型带来的偏差，维持此假设。此时，首先对拒绝样本的处理需要去除特征空间中与Xa特征空间差异较大的样本，去除特征空间差异的大的样本，可以减少反向传播的误差。此外，也应该去除特征空间中与Xa最为接近的一部分拒绝样本，因为这部分样本提供了更少的信息增益，并且可能会带来一定噪声；因此去除异常拒绝样本是在给该样本打标之前，此步骤可以采用孤立森林等无监督算法进行；实施去除异常拒绝样本的算法如下：
Step1：用Xa训练孤立森林模型记为g(x)；
Step2：使用g(x)为Xr样本进行打分；
Step3：根据事先定义的阈值上下限[δ1,δ2]，小于阈值和大于阈值部分的样本剔除；得到用于继续打标的拒绝样本Xr*；
2、通过迭代阈值分位数，给无标签样本打上“好”、“坏”标签。
在给无标签拒绝样本打标之前，使用Xa训练一个基模型f(x)，基模型使用带正则项的逻辑回归模型，主要考虑到逻辑回归模型基于的正态性假设，使得预测分数更接近于正态分布，从而不需要对分数进行更多的校准，因此在迭代过程中使用带正则项的逻辑回归模型，可以减少传导误差。这是因为传导误差多产生于复杂的模型，如Xgboost模型，因为模型的自由度偏大，打分的结果范围在不同的训练下，会产生较大的差异，如果用此作为迭代的分类器，则使用固定阈值的方法就会造成偏差。
自学习框架的打标并不是对步骤1中筛选后的所有拒绝样本，而是通过设定“接受阈值”和“拒绝阈值”，筛选出满足条件的样本好坏样本。在自学习框架中假设，拒绝样本的坏账率要高于非坏的比例，也就是通过基模型f(x)给无标签拒绝样本打分后，筛选出的坏样本数要高于好样本数。基模型对拒绝样本的评分从低到高排序，那么若选取分数序列中α％分位数对应的分数作为阈值，则小于该阈值的可标记为正样本，那么额外引入参数θ作为限定坏样本与好样本的倍数水平，一般取θ>1；使用参数α、θ的好处是，相比于直接限制阈值的硬截断法，这两个参数可以通过后续的超参数调优进行优化；并且控制了好坏样本打标的比率；更加符合业务场景。自学习框架的迭代代表算法步骤如下：
对于经过孤立森林算法筛选出的样本Xr*
Step1:使用Xa训练出一个简单的带惩罚项的逻辑回顾基模型f(x)；
Step2:对每个样本
使用f(x)对其打分；
Step3:根据给定的超参数α、θ，确定阈值cb,cg，使得
筛选出符合阈值范围的无标签拒绝样本组成的集合为X*；其中α、θ，是打标的关键。α、θ即可以通过交叉验证法进行调整，同时也可以根据业务的经验，给出θ的取值，即正负样本之间的倍数；此外，自学习框架的阈值cb,cg可以通过正负样本的更新，动态对基分类器进行更新，从而动态对拒绝样本进行打标。当设置迭代次数为k时；每一次迭代重复上述的算法，将每次迭代筛选出的X*加入到Xa中，重新训练基模型，并进行阈值更新。
3、将打标后的X*样本与Xa样本结合，使用强分类器(如Xgboost)进行重新训练，即可得到使用拒绝推断的模型。通过自学习框架更新的拒绝推断模型需要进行评估，目前对拒绝推断的评估，仍是业界研究的问题；通常仅使用通过样本的评估并不准确。常用的方法是开放一小部分的流量，不进行策略干预，因此得到少量的无偏样本对拒绝推断的样本进行评估。但大多数的情况是没有无偏样本的，并且随着策略的迭代，也很难得到完全无偏的样本。本发明使用的一种评估方法，是只要基于通过样本的标签即可计算的指标。剔除率K定义为：
记通过样本组成的测试集为Ta，仅用通过样本Xa训练的模型记为Ma，用自学习框架的训练的拒绝推断模型集为MRI；同时使用Ma、MRI对Ta进行预测，在一定的通过率R(或拒绝率)的情况下。A1为通过率为R时，Ma对Ta预测为通过的样本集合。A2为通过率为R时，MRI对Ta预测为通过的样本集合。通过比较A1,A2的样本，KB为A2相比于A1剔除的坏样本，KG为A2相比于A1剔除的好样本，SB为A1中所有负样本的总数，P(B)为A1中坏样本的比例；当A2剔除A1中所有的负样本时，K取值为1，当A2剔除A1中所有的正样本时，K取值为-1。因此K越大，表示更新的模型效果更好。
实际运用：将动态自学习框架的方法用于实际互金信贷行业的授信阶段进行建模，由于有多条产品线，对于一种产品的授信端拒绝的样本，可以通过观察其在其他产品线通过后的好坏表现，只不过这部分样本较少，因此可以作为一部分有标签的拒绝样本进行对拒绝模型进行评估；
使用动态自适应框架训练的拒绝推断模型：
自学习推断中的超参数优化，可以参考剔除率进行。
综上，从实验结果可以看出，自学习框架的拒绝推断算法能够有效地优化模型的判别效果，修正样本偏差造成模型的误判，提升模型对全体申请样本的预测能力。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种基于自学习算法拒绝推断的设备认证方法，其特征在于，包括如下步骤：
采集首次认证后被拒绝的设备数据，采用无监督的异常数据识别算法，对输入的首次认证后被拒绝的设备数据剔除无效数据，其中，首次认证是采用机器自学习的模型进行的；
通过迭代阈值分位数，给无标签样本进行打标；
结合确定标签的无标签样本和有标签的通过样本，重新训练整理所述模型，以达到修正模型打分分布的作用；
采用修正好的模型对新设备进行设备认证。
2.根据权利要求1所述的方法，其特征在于，
所述剔除无效数据包括：剔除所述模型输入样本的特征空间中与Xa特征空间差异较大的样本；其中，定义总体样本X中包含
接受样本，即Xa为接受样本。
3.根据权利要求1所述的方法，其特征在于，
所述剔除无效数据包括：剔除所述模型输入样本中的特征空间与Xa最为接近的一部分拒绝样本。
4.根据权利要求1至3中任一项所述的方法，其特征在于，
所述剔除的步骤采用孤立森林算法实现。
5.根据权利要求4所述的方法，其特征在于，
所述剔除步骤具体包括：
子步骤1，用Xa训练孤立森林模型记为g(x)；
子步骤2，使用g(x)为Xr样本进行打分；
子步骤3，根据事先定义的阈值上下限[δ1,δ2]，小于阈值和大于阈值部分的样本剔除；得到用于继续打标的拒绝样本Xr*；
其中，定义
拒绝样本，即Xr样本为拒绝样本；接受样本能观察一定MOB的逾期表现，样本的逾期表现记为
而拒绝样本则为无标签样本。
6.根据权利要求1所述的方法，其特征在于，
所述模型使用带正则项的逻辑回归模型。
7.根据权利要求1至3中任一项所述的方法，其特征在于，
所述的打标的步骤具体包括：
对于经过孤立森林算法筛选出的样本Xr*
子步骤1，使用Xa训练出一个带惩罚项的逻辑回归基模型f(x)；
子步骤2，对每个样本
使用f(x)对其打分；
子步骤3，根据给定的超参数α、θ，确定阈值cb,cg，使得
筛选出符合阈值范围的无标签拒绝样本组成的集合为X*；其中α、θ为超参数，θ表示正负样本之间的倍数；P()表示满足括号中条件的概率。
8.根据权利要求7所述的方法，其特征在于，
α、θ通过交叉验证法进行调整，和/或，根据业务的经验给出θ的取值。
9.根据权利要求7所述的方法，其特征在于，
阈值cb,cg能够通过正负样本的更新，动态对基分类器进行更新，从而动态对拒绝样本进行打标。
10.根据权利要求7所述的方法，其特征在于，
上述打标的步骤还包括：
设置迭代次数为k，每一次迭代重复上述的算法，将每次迭代筛选出的X*加入到Xa中，重新训练基模型，并进行阈值更新。
11.根据权利要求1所述的方法，其特征在于，
引入剔除率指标来衡量使用拒绝推断后的模型的效果，
所述剔除率K定义为：
其中，通过样本组成的测试集为Ta，仅用通过样本Xa训练的模型记为Ma，用自学习方法训练的拒绝推断模型集为MRI；同时使用Ma、MRI对Ta进行预测，在一定的通过率R的情况下：A1为通过率为R时，Ma对Ta预测为通过的样本集合；A2为通过率为R时，MRI对Ta预测为通过的样本集合；通过比较A1,A2的样本，KB为A2相比于A1剔除的坏样本，KG为A2相比于A1剔除的好样本，SB为A1中所有负样本的总数，P(B)为A1中坏样本的比例；
其中，当A2剔除A1中所有的负样本时，K取值为1；当A2剔除A1中所有的正样本时，K取值为-1。
12.一种基于自学习算法拒绝推断的设备认证系统，其特征在于，包括：
数据采集模块，用于采集首次认证后被拒绝的设备数据，其中，首次认证是采用机器自学习的模型进行的；
剔除模块，用于采用无监督的异常数据识别算法，在数据采集模块输入的样本数据中剔除无效数；
打标模块，用于通过迭代阈值分位数，给剔除模块处理后得到的无标签样本进行打标；
模型训练模块，用于结合确定标签的无标签样本和有标签的通过样本，重新训练整理模型，以达到修正模型打分分布的作用。
设备认证模块，用于采用修正好的模型对新设备进行设备认证。
13.一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，其特征在于：
当所述计算机可执行程序被所述处理器执行时，所述处理器执行如权利要求1-11中任一项所述的基于自学习算法拒绝推断的的设备认证方法。
14.一种计算机可读介质，存储有计算机可执行程序，其特征在于，所述计算机可执行程序被执行时，实现如权利要求1-11中任一项所述的基于自学习算法拒绝推断的设备认证方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110475415.4A CN113298264A (zh) | 2021-04-29 | 2021-04-29 | 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110475415.4A CN113298264A (zh) | 2021-04-29 | 2021-04-29 | 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113298264A true CN113298264A (zh) | 2021-08-24 |
Family
ID=77320522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110475415.4A Pending CN113298264A (zh) | 2021-04-29 | 2021-04-29 | 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298264A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331696A (zh) * | 2021-12-31 | 2022-04-12 | 北京瑞莱智慧科技有限公司 | 风险评估方法、装置及存储介质 |
| CN116935290A (zh) * | 2023-09-14 | 2023-10-24 | 南京邮电大学 | 机场场景下高分辨率阵列摄像机异构目标检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200027157A1 (en) * | 2018-07-17 | 2020-01-23 | Adobe Inc. | Generating synthetic data using reject inference processes for modifying lead scoring models |
| CN112488817A (zh) * | 2020-10-21 | 2021-03-12 | 上海旻浦科技有限公司 | 一种基于拒绝推断的金融违约风险评估方法及系统 |
| CN112508580A (zh) * | 2021-02-03 | 2021-03-16 | 北京淇瑀信息科技有限公司 | 基于拒绝推断方法的模型构建方法、装置和电子设备 |
-
2021
- 2021-04-29 CN CN202110475415.4A patent/CN113298264A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200027157A1 (en) * | 2018-07-17 | 2020-01-23 | Adobe Inc. | Generating synthetic data using reject inference processes for modifying lead scoring models |
| CN112488817A (zh) * | 2020-10-21 | 2021-03-12 | 上海旻浦科技有限公司 | 一种基于拒绝推断的金融违约风险评估方法及系统 |
| CN112508580A (zh) * | 2021-02-03 | 2021-03-16 | 北京淇瑀信息科技有限公司 | 基于拒绝推断方法的模型构建方法、装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| NIKITA KOZODOI ET AL.: "SHALLOW SELF-LEARNING FOR REJECT INFERENCE IN CREDIT SCORING", 《ARXIV:1909.06108V1 [STAT.ML]》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331696A (zh) * | 2021-12-31 | 2022-04-12 | 北京瑞莱智慧科技有限公司 | 风险评估方法、装置及存储介质 |
| CN116935290A (zh) * | 2023-09-14 | 2023-10-24 | 南京邮电大学 | 机场场景下高分辨率阵列摄像机异构目标检测方法及系统 |
| CN116935290B (zh) * | 2023-09-14 | 2023-12-12 | 南京邮电大学 | 机场场景下高分辨率阵列摄像机异构目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583332B (zh) | 人脸识别方法、人脸识别系统、介质及电子设备 | |
| Almarashdeh et al. | An overview of technology evolution: Investigating the factors influencing non-bitcoins users to adopt bitcoins as online payment transaction method | |
| WO2021179839A1 (zh) | 保护用户隐私的用户分类系统的构建方法及装置 | |
| Maldonado et al. | Profit-based churn prediction based on minimax probability machines | |
| US10936868B2 (en) | Method and system for classifying an input data set within a data category using multiple data recognition tools | |
| CN111582150A (zh) | 一种人脸质量评估的方法、装置和计算机存储介质 | |
| US11481707B2 (en) | Risk prediction system and operation method thereof | |
| CN113298264A (zh) | 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备 | |
| US20220036178A1 (en) | Dynamic gradient aggregation for training neural networks | |
| US11250368B1 (en) | Business prediction method and apparatus | |
| US11948102B2 (en) | Control system for learning to rank fairness | |
| CN111783997A (zh) | 一种数据处理方法、装置及设备 | |
| Baker et al. | Ensemble Learning with Supervised Machine Learning Models to Predict Credit Card Fraud Transactions. | |
| US20220207861A1 (en) | Methods, devices, and computer readable storage media for image processing | |
| Kiruthika et al. | Image quality assessment based fake face detection | |
| US20220148290A1 (en) | Method, device and computer storage medium for data analysis | |
| Abdeldayem | Intrusion detection system based on pattern recognition | |
| CN111639688A (zh) | 一种基于线性核svm的物联网智能模型的局部解释方法 | |
| CN111652713B (zh) | 权益风控建模方法和装置 | |
| US20230023148A1 (en) | System and method for performing face recognition | |
| CN112396507A (zh) | 基于阴影划分的集成svm个人信用评估方法 | |
| Park et al. | PaloBoost: An overfitting-robust TreeBoost with out-of-bag sample regularization techniques | |
| CN113111957B (zh) | 基于特征去噪的防伪方法、装置、设备、产品及介质 | |
| CN114065867B (zh) | 一种数据分类方法、系统及电子设备 | |
| Cao et al. | Out-of-distribution detection and generalization to enhance fairness in age prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: Zhong Guo Address after: Room 1109, No. 4, Lane 800, Tongpu Road, Putuo District, Shanghai, 200062 Applicant after: Shanghai Qiyue Information Technology Co.,Ltd. Address before: Room a2-8914, 58 Fumin Branch Road, Hengsha Township, Chongming District, Shanghai, 201500 Applicant before: Shanghai Qiyue Information Technology Co.,Ltd. Country or region before: Zhong Guo |
|
| CB02 | Change of applicant information |