CN111191893B - 风控文本处理方法、装置及电子设备 - Google Patents
风控文本处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111191893B CN111191893B CN201911328087.4A CN201911328087A CN111191893B CN 111191893 B CN111191893 B CN 111191893B CN 201911328087 A CN201911328087 A CN 201911328087A CN 111191893 B CN111191893 B CN 111191893B
- Authority
- CN
- China
- Prior art keywords
- user
- risk
- wind control
- text
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 11
- 239000013598 vector Substances 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000013058 risk prediction model Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 25
- 238000003066 decision tree Methods 0.000 claims description 18
- 238000003058 natural language processing Methods 0.000 claims description 18
- 230000002457 bidirectional effect Effects 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
Abstract
本公开涉及一种风控文本处理方法、装置、电子设备及计算机可读介质。该方法包括：获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；将所述风控文本输入文本向量化模型中，生成风控向量；将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及基于所述风险类别和其对应的风险概率生成所述用户的风险策略。本公开涉及的风控文本处理方法、装置、电子设备及计算机可读介质，能够对用户的风控文本进行自动处理，确定用户的风险分类，还能够自动对异常用户文本信息监测，实现自适应的用户风险预判。
Description
技术领域
本公开涉及计算机信息处理领域，具体而言，涉及一种风控文本处理方法、装置、电子设备及计算机可读介质。
背景技术
在风险防控中，管理人员会收集已经定性为风险案件中的相关数据，进而进行更深层次的分析，以寻找措施避免类似案件发生。在这些已定性的案件里，管理人员除了用户的个人特征之外，往往还会关注多种不同的风险手法、风险类型。在实际风控中，提前预知和得到相应的风险手法往往是必要的和有价值的。主要原因在于不同风险手法有相应的风控手段，比如用户逾期风险，当用户在文本中表现出对贷款和资金情况偏向的信息，进而调整该用户的金融服务策略。对风险手法、风险类型的分析，能够帮助业务人员弥补金融服务条款或者金融服务策略上的漏洞，完善金融服务系统，其中，风险案件中的风险手法和风险类别可为已有的风险手法和未知的风险手法
现有的技术对于文本的风险感知没有任何处理，每次出现一个新的案件后，主要通过审理人员查看案件的方式，判断案件是否是属于已知的风险，并挖掘可能出现的未知风险。这样导致的结果是过度的使用了人力，而且人力可能会过度疲劳导致出错。另外人工抽样的样本量每天是有限的，很多在数学和其他统计上可能能统计出异常的样本点，因为抽样的偏度可能会被忽略。
因此，需要一种新的风控文本处理方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本公开提供一种风控文本处理方法、装置、电子设备及计算机可读介质，能够对用户的风控文本进行自动处理，确定用户的风险分类，还能够自动对异常用户文本信息监测，实现自适应的用户风险预判。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一方面，提出一种风控文本处理方法，该方法包括：获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；将所述风控文本输入文本向量化模型中，生成风控向量；将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
可选地，还包括：通过预设的自然语言处理模型进行调整以生成所述文本向量化模型，所述自然语言处理模型包括双向编解码模型。
可选地，通过预设的自然语言处理模型进行调整以生成所述文本向量化模型，包括：确定初始双向编解码模型；基于历史用户的风控文本对所述初始双向编解码模型的参数进行微调，生成更新参数；以及基于所述更新参数生成所述文本向量化模型。
可选地，还包括：通过历史用户的风控向量对机器学习模型进行训练，以生成所述风险预测模型，所述机器学习模型包括极端梯度提升决策树模型。
可选地，还包括：获取历史用户的风控向量；为所述风控向量确定风险类别标签；以及通过所述风控向量及其对应的风险类别标签对极端梯度提升决策树模型进行训练以生成所述风险预测模型。
可选地，获取历史用户的风控向量，包括：通过所述文本向量化模型对历史用户的风控文本进行处理，生成历史用户的所述风控向量。
可选地，还包括：在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别。
可选地，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别，包括：在所述相似度数值大于等于阈值时，确定所述用户的风控向量的类别为低风险类别。
可选地，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别，包括：将所述用户的风控向量与预设向量进行相似度对比，生成相似度数值；以及在所述相似度数值小于阈值时，确定所述用户的风控向量为新风险类别。
可选地，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别，还包括：对新风险类别的用户的行为进行监督；并基于所述新风险类别对应的风险向量对所述文本向量化模型进行更新。
根据本公开的一方面，提出一种风控文本处理装置，该装置包括：文本模块，用于获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；向量模块，用于将所述风控文本输入文本向量化模型中，生成风控向量；预测模块，用于将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及策略模块，用于基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
可选地，还包括：调整模块，用于通过预设的自然语言处理模型进行调整以生成所述文本向量化模型，所述自然语言处理模型包括双向编解码模型。
可选地，所述调整模块，包括：模型单元，用于确定初始双向编解码模型；参数单元，用于基于历史用户的风控文本对所述初始双向编解码模型的参数进行微调，生成更新参数；以及更新单元，用于基于所述更新参数生成所述文本向量化模型。
可选地，还包括：训练模块，用于通过历史用户的风控向量对机器学习模型进行训练，以生成所述风险预测模型，所述机器学习模型包括极端梯度提升决策树模型。
可选地，所述训练模块，包括：历史单元，用于获取历史用户的风控向量；标签单元，用于为所述风控向量确定风险类别标签；以及训练单元，用于通过所述风控向量及其对应的风险类别标签对极端梯度提升决策树模型进行训练以生成所述风险预测模型。
可选地，所述历史单元，还用于通过所述文本向量化模型对历史用户的风控文本进行处理，生成历史用户的所述风控向量。
可选地，还包括：对比模块，用于在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别。
可选地，所述对比模块，包括：阈值单元，用于在所述相似度数值大于等于阈值时，确定所述用户的风控向量的类别为低风险类别。
可选地，所述对比模块，包括：对比单元，用于将所述用户的风控向量与预设向量进行相似度对比，生成相似度数值；以及类别单元，用于在所述相似度数值小于阈值时，确定所述用户的风控向量为新风险类别。
可选地，所述类别单元，还用于对新风险类别的用户的行为进行监督；并基于所述新风险类别对应的风险向量对所述文本向量化模型进行更新。
根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
根据本公开的风控文本处理方法、装置、电子设备及计算机可读介质，获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；将所述风控文本输入文本向量化模型中，生成风控向量；将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及基于所述风险类别和其对应的风险概率生成所述用户的风险策略的方式，能够对用户的风控文本进行自动处理，确定用户的风险分类，还能够自动对异常用户文本信息监测，实现自适应的用户风险预判。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种风控文本处理方法及装置的系统框图。
图2是根据一示例性实施例示出的一种风控文本处理方法的流程图。
图3是根据另一示例性实施例示出的一种风控文本处理方法的流程图。
图4是根据另一示例性实施例示出的一种风控文本处理方法的流程图。
图5是根据另一示例性实施例示出的一种风控文本处理方法的流程图。
图6是根据一示例性实施例示出的一种风控文本处理装置的框图。
图7是根据另一示例性实施例示出的一种风控文本处理装置的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
图9是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。
本公开涉及的名称解释如下：
Bert：Bidirectional Encoder Representation from Transformers，即双向的Transformer编码器，模型通过pre-train，使用MLM(MaskedLM)捕捉词语级别的特征。
自然语言处理：NLP，自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
fine-tuning：是微调的意思，是用别人训练好的模型(即pre-trained model)，加上自己的数据，来训练新的模型。
xgboost：XGBoost是一个开源软件库，它为C++、Java、Python、R、和Julia提供了一个梯度提升框架，适用于Linux、Windows、和mac os。
神经网络：人工神经网络(英语：Artificial Neural Network，ANN)，简称神经网络(Neural Network，NN)或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。
本发明专利提出一种通过分析客户的文本信息来预防新的风险与已有风险的系统，做到自助感知风险，提前防范风险，做好相应的风险布控，从而减少新的风险对于整体所带来的不良影响。在实际风控中，当用户在文本中表现出对贷款和资金情况偏向的信息，通过文本向量化模型可以有效捕捉用户信息在语意风险层面的变化和波动，进而可以将该用户文本向量放入模型和策略中进行分析和处置。本发明可代替人工进行案件的自主审查。
下面结合具体的实施例对本公开的内容进行详细描述。
图1是根据一示例性实施例示出的一种风控文本处理方法及装置的系统框图。
如图1所示，系统架构10可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如金融服务类应用、购物类应用、网页浏览器应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的金融服务类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的用户数据进行分析等处理，并将处理结果(例如风险分类结果)反馈给金融服务网站的管理员。
服务器105可例如获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；服务器105可例如将所述风控文本输入文本向量化模型中，生成风控向量；服务器105可例如将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；服务器105可例如基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
服务器105还可例如通过预设的自然语言处理模型进行调整以生成所述文本向量化模型，所述自然语言处理模型包括双向编解码模型。
服务器105还可例如通过历史用户的风控向量对机器学习模型进行训练，以生成所述风险预测模型，所述机器学习模型包括极端梯度提升决策树模型。
服务器105还可例如在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别。
服务器105可以是一个实体的服务器，还可例如为多个服务器组成，需要说明的是，本公开实施例所提供的风控文本处理方法可以由服务器105执行，相应地，风控文本处理装置可以设置于服务器105中。而提供给用户进行金融服务平台浏览的网页端一般位于终端设备101、102、103中。
根据本公开的风控文本处理方法，可以将风控文本无需任何人工干预，直接输入文本向量化模型中，即可得出用户的文本信息向量表示，之后输入训练好的神经网络之中，即可获得用户已知风险信息的分类，同时基于已有的正常用户文本向量库，通过计算用户未知风险情况向量与正常用户向量之间的距离或差异可以实现自主异常用户文本信息监测，实现自适应的用户风险预判。
图2是根据一示例性实施例示出的一种风控文本处理方法的流程图。风控文本处理方法20至少包括步骤S202至S208。
如图2所示，在S202中，获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本。其中，风控文本信息为在客户端收集的各类用户文本信息，包括不限于客户的app列表信息，客户的其他列表文本信息。
在S204中，将所述风控文本输入文本向量化模型中，生成风控向量。文本向量化模型可为BERT模型，可将风控文本直接输入通过BERT模型训练生成的文本向量化模型中，生成该风控文本的向量化表示。
文本向量化模型可学习句子/句对关系表示，句子级负采样。首先给定的一个句子，下一句子正例(正确词)，随机采样一句负例(随机采样词),句子级上来做二分类(即判断句子是当前句子的下一句还是噪声)。进而循环计算生成所述风控文本的向量表示。
在S206中，将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率。其中，风险预测模型可为极端梯度提升决策树模型。极端梯度提升决策树是通过不断迭代、不断构造回归树进行决策，而且每一个回归的样本数据均来自上一个回归树所产生的残差。残差就是真实值与预测值之差。
在S208中，基于所述风险类别和其对应的风险概率生成所述用户的风险策略。可例如，将不同风险分类的用户分组，然后基于此组别设定不同的风险策略，还可基于此组别对用户进行详细的风险分析，以提炼出金融系统改进措施。
根据本公开的风控文本处理方法，获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；将所述风控文本输入文本向量化模型中，生成风控向量；将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及基于所述风险类别和其对应的风险概率生成所述用户的风险策略的方式，能够对用户的风控文本进行自动处理，确定用户的风险分类，还能够自动对异常用户文本信息监测，实现自适应的用户风险预判。
应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。
图3是根据另一示例性实施例示出的一种风控文本处理方法的流程图。图3所示的流程是“通过预设的自然语言处理模型进行调整以生成所述文本向量化模型，所述自然语言处理模型包括双向编解码模型”的详细描述。
如图3所示，在S302中，确定初始双向编解码模型。初始双向编解码模型可为BERT模型。BERT模型是一个新的语言表达模型。可以理解为是一个通用的NLU(NaturalLanguage Understanding)模型，为不同的NLP任务提供支持。在实际使用时，只需要根据具体任务额外加入一个输出层进行微调即可，而不用为特定任务来修改模型结构。这是预训练的BERT模型的主要优点。
在S304中，基于历史用户的风控文本对所述初始双向编解码模型的参数进行微调，生成更新参数。
可通过两种策略来使用预训练的语言表达形式(language representation)为下游任务提供支持：feature-based和fine-tuning。Feature-based方法需要根据不同任务设定模型结构，把预训练的表达形式当作额外特征使用。例如word embedding就是feature-based方法，以及随后出现的更大粒度的embedding方式，如sentence embedding，paragraph embedding。而Fine-tuning方法则是使用尽量少的特定任务参数，在下游具体任务使用时仅需要微调预训练参数即可，在本公开中，文本向量模型是通过fine-tuning方法生成的。
通过微调Bert模型来进一步获得适用于风险信息表达的模型权重，从而实现文本向量化模型。
在S306中，基于所述更新参数生成所述文本向量化模型。
图4是根据另一示例性实施例示出的一种风控文本处理方法的流程图。图4所示的流程是对“通过历史用户的风控向量对机器学习模型进行训练，以生成所述风险预测模型，所述机器学习模型包括极端梯度提升决策树模型”的详细描述。
如图4所示，在S402中，获取历史用户的风控向量。包括：通过所述文本向量化模型对历史用户的风控文本进行处理，生成历史用户的所述风控向量。
在S404中，为所述风控向量确定风险类别标签。获取历史上已确定的风险用户，依据其具体的风险类别，为其对应的风控向量确定分析类别标签。风险类别标签可为“欺诈”、“违约”、“多头”、“中介”、“欠款”等等。
在S406中，通过所述风控向量及其对应的风险类别标签对极端梯度提升决策树模型进行训练以生成所述风险预测模型。通过带有标签的风控向量对极端梯度提升决策树模型进行训练，计算残差值，并通过残差值对模型进行更新迭代，直至满足阈值位置，获得风险预测模型。
图5是根据另一示例性实施例示出的一种风控文本处理方法的流程图。图5所示的流程是“在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别”的详细描述。
如图5所示，在S502中，将所述用户的风控向量与预设向量进行相似度对比，生成相似度数值。计算与正常用户之间的距离，得出用户的异常分数，从而对用户行为进行性异常打分。
在S504中，将相似度数值与阈值进行比较。
在S506中，在所述相似度数值大于等于阈值时，确定所述用户的风控向量的类别为低风险类别。
在S508中，在所述相似度数值小于阈值时，确定所述用户的风控向量为新风险类别。
在一个实施例中，还包括：对新风险类别的用户的行为进行监督；并基于所述新风险类别对应的风险向量对所述文本向量化模型进行更新。通过监督，可及时的发现未知的风险类别，并进行及时的挽救或者预防。
本公开的风控文本处理方法，可以使用Bert模型对用用户文本信息进行向量化表示，并通过神经网络来进行已知风险的判断。
本公开的风控文本处理方法，可以使用bert模型对用户的文本类信息可以直接进行处理，无需人工经验干扰，即可获得用户的文本向量。
在本公开的风控文本处理方法中，除神经网络对已知风险分类以外，该系统提供了异常文本信息监测的方法，可以有效地监测用户异常文本信息，从而采取针对性应对策略。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图6是根据一示例性实施例示出的一种风控文本处理装置的框图。如图6所示，风控文本处理装置60包括：文本模块602，向量模块604，预测模块606，策略模块608。
文本模块602用于获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；
向量模块604用于将所述风控文本输入文本向量化模型中，生成风控向量；
预测模块606用于将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及
策略模块608用于基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
图7是根据另一示例性实施例示出的一种风控文本处理装置的框图。如图7所示，风控文本处理装置70包括：调整模块702，训练模块704，
调整模块702用于通过预设的自然语言处理模型进行调整以生成所述文本向量化模型，所述自然语言处理模型包括双向编解码模型。所述调整模块702包括：模型单元，用于确定初始双向编解码模型；参数单元，用于基于历史用户的风控文本对所述初始双向编解码模型的参数进行微调，生成更新参数；以及更新单元，用于基于所述更新参数生成所述文本向量化模型。
训练模块704用于通过历史用户的风控向量对机器学习模型进行训练，以生成所述风险预测模型，所述机器学习模型包括极端梯度提升决策树模型。所述训练模块704包括：历史单元，用于获取历史用户的风控向量；所述历史单元，还用于通过所述文本向量化模型对历史用户的风控文本进行处理，生成历史用户的所述风控向量。标签单元，用于为所述风控向量确定风险类别标签；以及训练单元，用于通过所述风控向量及其对应的风险类别标签对极端梯度提升决策树模型进行训练以生成所述风险预测模型。
对比模块706用于在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别。所述对比模块706包括：对比单元，用于将所述用户的风控向量与预设向量进行相似度对比，生成相似度数值；阈值单元，用于在所述相似度数值大于等于阈值时，确定所述用户的风控向量的类别为低风险类别；以及类别单元，用于在所述相似度数值小于阈值时，确定所述用户的风控向量为新风险类别。所述类别单元，还用于对新风险类别的用户的行为进行监督；并基于所述新风险类别对应的风险向量对所述文本向量化模型进行更新。
根据本公开的风控文本处理装置，获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；将所述风控文本输入文本向量化模型中，生成风控向量；将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及基于所述风险类别和其对应的风险概率生成所述用户的风险策略的方式，能够对用户的风控文本进行自动处理，确定用户的风险分类，还能够自动对异常用户文本信息监测，实现自适应的用户风险预判。
图8是根据一示例性实施例示出的一种电子设备的框图。
下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图2，图3，图4，图5中所示的步骤。
所述存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
所述存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备800’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器860可以通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图9所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：获取用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；将所述风控文本输入文本向量化模型中，生成风控向量；将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (14)
1.一种风控文本处理方法，其特征在于，包括：
通过预设的自然语言处理模型进行调整以生成文本向量化模型，所述自然语言处理模型包括双向编解码模型，包括：确定初始双向编解码模型；基于历史用户的风控文本对所述初始双向编解码模型的参数进行微调，生成更新参数，其中，对所述初始双向编解码模型的参数进行微调具体为：利用预训练的语言表达形式来支持下游任务，采用尽量少的特定任务参数在下游具体任务使用时微调预训练参数；基于所述更新参数微调所述初始双向编解码模型获得适用于风险信息表达的模型权重，生成文本向量化模型；
通过历史用户的风控向量对机器学习模型进行训练，以生成风险预测模型，所述机器学习模型包括极端梯度提升决策树模型，包括：获取历史用户的风控向量；获取历史用户中已确定的风险用户的风险类别，为风险用户对应的所述风控向量确定风险类别标签；以及通过所述风控向量及其对应的风险类别标签对极端梯度提升决策树模型进行训练并计算残差值来对所述极端提升决策树模型进行更新迭代直至满足预设阈值为止，以生成风险预测模型；
获取客户端收集的用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；
将所述风控文本输入文本向量化模型中，生成风控向量；
将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及
基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
2.如权利要求1所述的方法，其特征在于，获取历史用户的风控向量，包括：
通过所述文本向量化模型对历史用户的风控文本进行处理，生成历史用户的所述风控向量。
3.如权利要求1或2所述的方法，其特征在于，还包括：
在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别。
4.如权利要求3所述的方法，其特征在于，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别，包括：
将所述用户的风控向量与预设向量进行相似度对比，生成相似度数值；
在所述相似度数值大于等于阈值时，确定所述用户的风控向量的类别为低风险类别。
5.如权利要求4所述的方法，其特征在于，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别，还包括：
在所述相似度数值小于阈值时，确定所述用户的风控向量为新风险类别。
6.如权利要求5所述的方法，其特征在于，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别，还包括：
对新风险类别的用户的行为进行监督；
并基于所述新风险类别对应的风险向量对所述文本向量化模型进行更新。
7.一种风控文本处理装置，其特征在于，包括：
调整模块，用于通过预设的自然语言处理模型进行调整以生成文本向量化模型，所述自然语言处理模型包括双向编解码模型，具体包括：
模型单元，用于确定初始双向编解码模型；
参数单元，用于基于历史用户的风控文本对所述初始双向编解码模型的参数进行微调，生成更新参数，其中，对所述初始双向编解码模型的参数进行微调具体为：利用预训练的语言表达形式来支持下游任务，采用尽量少的特定任务参数在下游具体任务使用时微调预训练参数；
更新单元，用于基于所述更新参数微调所述初始双向编解码模型获得适用于风险信息表达的模型权重，生成文本向量化模型；
训练模块，用于通过历史用户的风控向量对机器学习模型进行训练，以生成风险预测模型，所述机器学习模型包括极端梯度提升决策树模型，具体包括：
历史单元，用于获取历史用户的风控向量；
标签单元，用于获取历史用户中已确定的风险用户的风险类别，为风险用户对应的所述风控向量确定风险类别标签；以及
训练单元，用于通过所述风控向量及其对应的风险类别标签对极端梯度提升决策树模型进行训练并计算残差值来对所述极端提升决策树模型进行更新迭代，直至满足预设阈值为止，以生成风险预测模型；
文本模块，用于获取客户端收集的用户的风控文本，所述风控文本包括用户描述文本、应用列表、金融记录文本；
向量模块，用于将所述风控文本输入文本向量化模型中，生成风控向量；
预测模块，用于将所述风控向量输入风险预测模型中以确定所述用户的风险类别和其对应的风险概率；以及
策略模块，用于基于所述风险类别和其对应的风险概率生成所述用户的风险策略。
8.如权利要求7所述的装置，其特征在于，所述历史单元，还用于通过所述文本向量化模型对历史用户的风控文本进行处理，生成历史用户的所述风控向量。
9.如权利要求7或8所述的装置，其特征在于，还包括：
对比模块，用于在所述风险类别为未知风险时，将所述用户的风控向量与预设向量进行对比以确定所述用户的风险类别。
10.如权利要求9所述的装置，其特征在于，所述对比模块，包括：
阈值单元，用于在相似度数值大于等于阈值时，确定所述用户的风控向量的类别为低风险类别；
对比单元，用于将所述用户的风控向量与预设向量进行相似度对比，生成相似度数值。
11.如权利要求10所述的装置，其特征在于，所述对比模块，还包括：
类别单元，用于在所述相似度数值小于阈值时，确定所述用户的风控向量为新风险类别。
12.如权利要求11所述的装置，其特征在于，所述类别单元，还用于对新风险类别的用户的行为进行监督；并基于所述新风险类别对应的风险向量对所述文本向量化模型进行更新。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911328087.4A CN111191893B (zh) | 2019-12-20 | 2019-12-20 | 风控文本处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911328087.4A CN111191893B (zh) | 2019-12-20 | 2019-12-20 | 风控文本处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191893A CN111191893A (zh) | 2020-05-22 |
| CN111191893B true CN111191893B (zh) | 2024-03-26 |
Family
ID=70707507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911328087.4A Active CN111191893B (zh) | 2019-12-20 | 2019-12-20 | 风控文本处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191893B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348660B (zh) * | 2020-10-21 | 2023-09-26 | 上海淇玥信息技术有限公司 | 生成风险警示信息的方法、装置及电子设备 |
| CN112017043B (zh) * | 2020-10-26 | 2021-11-12 | 北京淇瑀信息科技有限公司 | 一种基于应用下载列表的风险预警方法、装置、及电子设备 |
| CN114612104B (zh) * | 2020-12-09 | 2024-08-13 | 支付宝(杭州)信息技术有限公司 | 风险识别方法、装置和电子设备 |
| CN112907360B (zh) * | 2021-03-25 | 2024-06-07 | 深圳前海微众银行股份有限公司 | 风险评估方法、设备、存储介质及程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544166A (zh) * | 2018-11-05 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 一种风险识别方法和装置 |
| CN109615153A (zh) * | 2017-09-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 商家风险评估方法、装置、设备及存储介质 |
| CN110209805A (zh) * | 2018-04-26 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、存储介质和计算机设备 |
| CN110263157A (zh) * | 2019-05-24 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 一种数据风险预测方法、装置及设备 |
| CN110489521A (zh) * | 2019-07-15 | 2019-11-22 | 北京三快在线科技有限公司 | 文本类别检测方法、装置、电子设备和计算机可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106611375A (zh) * | 2015-10-22 | 2017-05-03 | 北京大学 | 一种基于文本分析的信用风险评估方法及装置 |
-
2019
- 2019-12-20 CN CN201911328087.4A patent/CN111191893B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615153A (zh) * | 2017-09-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 商家风险评估方法、装置、设备及存储介质 |
| CN110209805A (zh) * | 2018-04-26 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、存储介质和计算机设备 |
| CN109544166A (zh) * | 2018-11-05 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 一种风险识别方法和装置 |
| CN110263157A (zh) * | 2019-05-24 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 一种数据风险预测方法、装置及设备 |
| CN110489521A (zh) * | 2019-07-15 | 2019-11-22 | 北京三快在线科技有限公司 | 文本类别检测方法、装置、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191893A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191893B (zh) | 风控文本处理方法、装置及电子设备 | |
| Su et al. | Large language models for forecasting and anomaly detection: A systematic literature review | |
| US10936949B2 (en) | Training machine learning models using task selection policies to increase learning progress | |
| US10824815B2 (en) | Document classification using attention networks | |
| US20230289476A1 (en) | Systems and methods for managing privacy policies using machine learning | |
| CN112348660B (zh) | 生成风险警示信息的方法、装置及电子设备 | |
| CN111210335B (zh) | 用户风险识别方法、装置及电子设备 | |
| US20180115464A1 (en) | Systems and methods for monitoring and analyzing computer and network activity | |
| CN111178687B (zh) | 金融风险分类方法、装置及电子设备 | |
| US10737904B2 (en) | Elevator condition monitoring using heterogeneous sources | |
| US20210073255A1 (en) | Analyzing the tone of textual data | |
| CN111145009A (zh) | 用户贷后风险评估方法、装置及电子设备 | |
| CN110705255A (zh) | 检测语句之间的关联关系的方法和装置 | |
| CN111191677B (zh) | 用户特征数据生成方法、装置及电子设备 | |
| US11645540B2 (en) | Deep graph de-noise by differentiable ranking | |
| US20200175024A1 (en) | Identifying and scoring data values | |
| US11182721B2 (en) | Healthcare risk analytics | |
| CN111190967A (zh) | 用户多维度数据处理方法、装置及电子设备 | |
| CN110796170A (zh) | 客户动支模型生成方法、装置及电子设备 | |
| CN109933926B (zh) | 用于预测航班可靠性的方法和装置 | |
| CN116737927A (zh) | 一种用于序列标注的引力场约束模型蒸馏方法、系统、电子设备和存储介质 | |
| CN113568739B (zh) | 用户资源额度分配方法、装置及电子设备 | |
| CN116244146A (zh) | 日志异常检测方法、日志异常检测模型的训练方法及装置 | |
| US20230186197A1 (en) | Effective performance assessment | |
| US20190122159A1 (en) | Service deployment system based on service ticket data mining and agent profiles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |