CN113723288A - 基于多模态混合模型的业务数据处理方法及装置 - Google Patents
基于多模态混合模型的业务数据处理方法及装置 Download PDFInfo
- Publication number
- CN113723288A CN113723288A CN202111007560.6A CN202111007560A CN113723288A CN 113723288 A CN113723288 A CN 113723288A CN 202111007560 A CN202111007560 A CN 202111007560A CN 113723288 A CN113723288 A CN 113723288A
- Authority
- CN
- China
- Prior art keywords
- modal
- policy
- underwriting
- hybrid
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 89
- 230000006870 function Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000013499 data model Methods 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002902 bimodal effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请提供一种基于多模态混合模型的业务数据处理方法及装置，涉及人工智能技术领域，主要目的在于改善现有利用针对单一模态数据的单独模型进行多模态的数据处理导致的各个模态之间的处理无关联性，从而降低了保单数据处理的整体性准确率和业务数据处理效率的问题。包括：解析保单业务信息中的图像数据、以及文本数据；基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果；根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
Description
技术领域
本申请涉及一种人工智能技术领域，特别是涉及一种基于多模态混合模型的业务数据处理方法及装置。
背景技术
随着人工智能的快速发展，人工智能已经在医疗保险业务的大数据领域全面普及。其中，为了减少人为对保单的处理误差，可以通过人工智能对保单业务进行数据处理，以实现承保的准确性、高效性。
目前，现有对保单、承保的数据处理过程仅仅是对单一模态数据进行单一地模型数据处理，从而得到对保单的数据处理结果，但是，由于保单中包含的是多模态的数据，仅仅针对单一模态数据的单独模型进行数据处理，会导致各个模态之间处理无关联性，影响保单的数据处理的整体性准确率，从而业务数据的处理效率。
发明内容
有鉴于此，本申请提供一种基于多模态混合模型的业务数据处理方法及装置，主要目的在于改善现有利用针对单一模态数据的单独模型进行多模态的数据处理导致的各个模态之间的处理无关联性，从而降低了保单数据处理的整体性准确率和业务数据处理效率的技术问题。
依据本申请一个方面，提供了一种基于多模态混合模型的业务数据处理方法，包括：
解析保单业务信息中的图像数据、以及文本数据；
基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；
根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；
当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
优选的，所述基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果之前，所述方法还包括：
获取多模态训练样本集，所述多模态训练样本集中包含至少两个单模态训练样本组；
构建多模态混合网络结构，并获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象，所述单模态输入参数的个数之和小于或等于多模态输入参数个数；
基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型，所述多模态混合模型的损失函数为基于混合模态方式确定的。
优选的，所述基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型之前，所述方法还包括：
对所述多模态训练样本集进行单模态训练样本组类别个数划分；
根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；
所述获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象包括：
确定与所述单模态输入参数匹配的至少一个模态替换对象，按照所述替换权重值从所述模态替换对象中筛选唯一匹配所述单模态输入参数的模态替换对象。
优选的，所述对所述多模态训练样本集进行单模态训练样本组类别个数划分之前，所述方法还包括：
按照预设时间间隔、保单业务更新状态对所述多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。
优选的，所述所述标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象，所述根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件包括：
将对所述多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与所述保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；
若匹配，则将承保启动触发事件配置于所述保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行所述承保启动触发事件的触发操作。
优选的，所述启动对所述保单业务信息的承保操作包括：
调取承保线程，并解析所述保单业务信息中的承保参数，所述承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态；
将所述承保参数引入所述承保线程中的承保操作执行指令中，以使按照所述承保操作执行指令执行承保业务。
优选的，所述解析保单业务信息中的图像数据、以及文本数据之后，所述方法还包括：
按照图像清晰度、图像像素配比、图像大小对所述图像数据进行筛选，确定待进行多模态混合识别处理的图像数据；
根据自然语言处理数据库对所述文本数据进行异常词语筛选，确定待进行多模态混合识别处理的文本数据。
依据本申请另一个方面，提供了一种基于多模态混合模型的业务数据处理装置，包括：
解析模块，用于解析保单业务信息中的图像数据、以及文本数据；
处理模块，用于基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；
分类模块，用于根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；
启动模块，用于当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
优选的，所述处理模块之前，所述装置还包括：
获取模块，用于获取多模态训练样本集，所述多模态训练样本集中包含至少两个单模态训练样本组；
构建模块，用于构建多模态混合网络结构，并获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象，所述单模态输入参数的个数之和小于或等于多模态输入参数个数；
训练模块，用于基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型，所述多模态混合模型的损失函数为基于混合模态方式确定的。
优选的，所述训练模块之前，所述装置还包括：
划分模块，用于对所述多模态训练样本集进行单模态训练样本组类别个数划分；
配置模块，用于根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；
所述构建模块包括：
确定单元，用于确定与所述单模态输入参数匹配的至少一个模态替换对象，按照所述替换权重值从所述模态替换对象中筛选唯一匹配所述单模态输入参数的模态替换对象。
优选的，所述划分模块之前，所述装置还包括：
更新模块，用于按照预设时间间隔、保单业务更新状态对所述多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。
优选的，所述所述标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象，所述分类模块包括：
匹配单元，用于将对所述多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与所述保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；
触发单元，用于若匹配，则将承保启动触发事件配置于所述保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行所述承保启动触发事件的触发操作。
优选的，所述启动模块包括：
调取单元，用于调取承保线程，并解析所述保单业务信息中的承保参数，所述承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态；
执行单元，用于将所述承保参数引入所述承保线程中的承保操作执行指令中，以使按照所述承保操作执行指令执行承保业务。
优选的，所述解析模块之后，所述装置还包括：
筛选模块，用于按照图像清晰度、图像像素配比、图像大小对所述图像数据进行筛选，确定待进行多模态混合识别处理的图像数据；
确定模块，用于根据自然语言处理数据库对所述文本数据进行异常词语筛选，确定待进行多模态混合识别处理的文本数据。
根据本申请的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于多模态混合模型的业务数据处理方法对应的操作。
根据本申请的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于多模态混合模型的业务数据处理方法对应的操作。
借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：
本申请提供了一种基于多模态混合模型的业务数据处理方法及装置，与现有技术相比，本申请实施例通过解析保单业务信息中的图像数据、以及文本数据；基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作，使各个模态之间处理具有关联性，提高了保单数据处理的整体性准确率，从而提高了业务数据的处理效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种基于多模态混合模型的业务数据处理方法流程图；
图2示出了本申请实施例提供双模态输入格式示意图；
图3示出了本申请实施例提供单模态数据输入格式H1’示意图；
图4示出了本申请实施例提供单模态数据输入格式H2’示意图；
图5示出了本申请实施例提供的一种基于多模态混合模型的业务数据处理装置组成框图；
图6示出了本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
目前，在保司对保单或承保业务进行数据处理时，普遍仅仅针对单一模态数据的单独模型进行数据处理，然而由于实际的保单中大多是包含多模态数据的，这样容易导致各个模态之间的处理无关联性，降低了保单的数据处理的整体性准确率和业务数据的处理效率。
为了改善上述问题，本申请实施例提供了一种基于多模态混合模型的业务数据处理方法，如图1所示，以该方法应用于服务器等计算机设备为例进行说明，其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，如智能医疗系统、数字医疗平台等。上述方法包括以下步骤：
101、解析保单业务信息中的图像数据、以及文本数据。
本申请实施例中，智能医疗系统中会嵌入保单数据处理模块，以在医疗诊断后直接调取保单业务进行处理，从而使医疗与保单承保建立完整业务链，因此，作为当前执行端的终端可以为单独的处理服务端，也可以为嵌入在智能医疗系统中的单独一个处理单元，本发明实施例不做具体限定。其中，在对保单中的业务信息进行识别处之前，首先针对保单业务信息中的图像数据以及文本数据进行解析。其中，保单业务信息中可以包括扫描的图像信息以及录入的文本数据。因此，在对保单业务信息进行处理时，需要对保单业务信息中的图像数据以及文本数据进行解析，分别得到需要进行多模态融合识别的图像数据以及文本数据。
需要说明的是，保单业务信息可以从保司的保单信息数据库中获取，其中，数据库中的数据可以由业务人员在为用户办理业务时进行录入，可以包括图像数据以及文本数据等。例如，业务人员将用户填写的订单经过扫描或拍照，并将图片存储在数据库中，也可以由业务人员将用户的基本信息和选择的业务信息，录入系统生成电子保单，并存储在数据库中。本申请实施例不做具体限定。由于数据库中的数据呈多样性，因此，在进行智能人工识别处理前，需要先解析得到需要进行多模态融合识别的图像数据以及文本数据。
102、基于完成训练的多模态混合模型对图像数据、文本数据进行多模态混合识别处理，得到多模态混合处理结果。
其中，多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象并以混合模态方式确定损失函数完成模型训练的；
本申请实施例中，多模态混合模型可以是一种进行识别处理的人工智能数据处理模型，利用完成训练的多模态混合模型对图像数据、文本数据进行多模态混合识别处理，得到多模态混合处理结果。处理结果为对不同图像数据、不同文本数据进行多模态混合识别处理得到的业务分类内容，可作为对保单业务信息进行标签分类的内容，例如，保单产品，用户对象，签订时间，承保期限等，本申请实施例不做具体限定。其中，完成训练的多模态混合模型可以基于多模态输入参数的个数分别配置模态替换对象并以混合模态方式确定损失函数完成模型训练得到的，即利用模态替换对象以及单模态训练样本组多模态混合网络结构进行模型训练，得到的多模态混合模型。
需要说明的是，单模态模型负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态模型是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。
103、根据多模态混合处理结果对保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件。
本申请实施例中，为了提高业务数据的效率，在得到多模态混合处理结果之后，根据处理结果对该保单业务信息进行标签分类，并解析保单业务需求与标签分类的保单业务信息相匹配，确定承保启动触发事件。其中，标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象等。保单业务需求可以包括：核保需求、状态追踪需求、抽样评估需求等。承保启动触发事件用于表征基于保单信息，保司需要作出的处理操作，如调取承保业务流程，以承保业务有序进行等。
示例性的，经过对保单进行多模态混合识别处理得出该保单为2019年3月份签订的保单，保险期限为1年，经过解析后，该保单已完成承保，需要对其进行抽样评估。
104、当检测到承保启动触发事件，则启动对保单业务信息的承保操作。
本申请实施例中，通过步骤103中将保单的多模态混合处理结果与保单信息业务需求经过匹配后，如果匹配到需要进行的下一步操作，则执行下一步操作。
优选的，可以在检测到承保启动触发事件时，通过解析保单业务信息中各个承保阶段阶段的承保状态，使其按照承保流程执行承保业务。
在本发明实施例中，为了进一步说明及限定，基于完成训练的多模态混合模型对图像数据、文本数据进行多模态混合识别处理，得到多模态混合处理结果之前，本实施方法还包括：获取多模态训练样本集，该多模态训练样本集中包含至少两个单模态训练样本组；构建多模态混合网络结构，并获取多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象；基于模态替换对象、单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型。
其中，单模态输入参数的个数之和小于或等于多模态输入参数个数；多模态混合模型的损失函数为基于混合模态方式确定的。
其中，多模态训练样本集为经过解析的保单业务信息中的相关数据，至少包含两个单模态训练样本组，如图像数据训练样本组以及文本数据训练样本组。优选的，在构建多模态混合网络结构时，获取至少一个模态替换对象用于替换该多模态混合网络结构中的单模态输入参数，也可根据多模态训练样本集中的单模态训练样本组的个数获取多个，只需保证单模态输入参数的个数之和小于或等于多模态输入参数个数即可，本申请实施例不做具体限定。进一步的，基于获取的模态替换对象以及单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型。
示例性的，以双模态混模型为例，模态1为文本数据，模态2为图像数据。首先构建双模态输入格式，如图2所示，分别在每个模态后面拼接[sep]字符进行区分，然后拼接起输入给模型，由于transformer的输入长度是固定的，一般设置为512，所以拼接起来长度大于512时，进行截断，少于512时，添加[pad]字符补全至512个。其次，分别构建单模态数据输入格式H1’，如图3所示，以及单模态数据输入格式H2’，图4所示。由于transformer的输入长度是固定的，一般设置为512，所以在只有单模态的情况下后单模态特征后首先添加[sep]，然后添加[pad]字符补全至512个。分别将两个单模态训练样本组的数据分别输入Transformer架构，取出最后一层网络[sep]位置对应的向量。H1表示双模态输入时模态1的特征向量表示，H2表示双模态输入时模态2的特征向量表示，H1’表示单模态输入时模态1的特征向量表示，H2’表示单模态输入时模态2的特征向量表示。进一步的，为了使H1和H1’、以及H2和H2’的向量表示尽可能相同，定义如下损失函数L1，L1＝|H1-H1’|2+|H2-H2’|2。其中||2表示向量见的二范数。优选的，对模态1和模态2是否来自于同一样本进行准确分类，即在构建训练样本时，会有一半的样本由同一样本的模态1和模态2构成，一半的样本由不同样本的模态1和模态2构成，需要模型预测前者类别为1，后者类别为0。具体步骤包括：b1)首先拼接通过transformer架构后H1，H2向量；b2)通过全连接层转换成2维，通过softmax操作得到对每个类别的预测概率，简记为S；b3)计算预测概率向量S和真实类别所对应的one-hot编码Y之间的交叉熵损失函数得到L2
其中，共有K个样本，(l)表示向量的第l维，one-hot编码指向量中真实单词所在的位置为1，其余位置均为0的表示方法。最终的损失函数为L＝L1+L2。
采用随机梯度下降算法(SGD)和pytorch框架进行模型的建模，参数的更新，完成模型训练。
为了更清晰的说明模态替换对象的获取过程，本申请实施例中，优选的，在基于模态替换对象、单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型之前，本实施例方法还包括：对所述多模态训练样本集进行单模态训练样本组类别个数划分；根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象包括：确定与单模态输入参数匹配的至少一个模态替换对象，按照替换权重值从模态替换对象中筛选唯一匹配该单模态输入参数的模态替换对象。
具体的，承接上述示例，对于模态1与模态2的原始训练数据进行预处理，提取相应的特征信息。其中，针对文本数据，首先进行jieba分词处理,采用预训练好的Word2vec或者GloVe将分词后的每个词转换成词向量，例如，分词后有m个字，那最终特征维度为[m,300]，其中300为词向量维度。针对图像数据，可选的，可以通过VGG等预训练好的模型，提取指定层(例如fc7)的特征，提取后的维度大小为[7,7,2048]，通过python的reshape操作将其转换成维度[49,2048]，即可以理解为一共提取出49个特征，每个特征2048维；也可以通过Faster RCNN等预训练好的模型提取图片中预定义类别的特征信息，最终维度大小是[n,2048],其中每张图片的n都是不一样的，本申请实施例不做具体限定。
进一步优选的，在对多模态训练样本集进行单模态训练样本组类别个数划分之前，本实施例方法还包括：按照预设时间间隔、保单业务更新状态对多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。
具体的，为了使训练样本的数据更准确，在对多模态训练样本集进行单模态训练样本组类别个数划分之前，还可以按照预设的规则对样本数据进行更新，进一步的，根据更新后的样本数据确定各模态替换对象的替换权重值，例如，预设更新时间间隔对样本数据进行更新，或者根据保单业务更新状态对样本数据进行更新。
示例性的，设置每隔30天对样本数据进行更新，相应的根据更新后样本数据对各模态的替换权重值进行更新，进一步得到更符合当前实际情况的多模态混合模型，以使得保单业务信息识别处理结果更准确。
本申请实施例中，进一步的，根据多模态混合处理结果对保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件包括：将对多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；若匹配，则将承保启动触发事件配置于保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行承保启动触发事件的触发操作。
具体的，通过多模态混合处理可以得到对保单业务进行分类的内容进行标签分类，可以包括保单产品标识、时间标识、主体对象标识等，将其与保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配，若匹配，则将承保启动触发事件配置于保单业务信息中，以指示执行对应的操作。其中，标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象等。产品标识用于表征产品类别，例如车险，人身保险等。时间标识用于表征保单签订时间或保单生效时间等。主体对象用于表征用户群体。核保需求用于表征用户签订订单，保司审查阶段。状态追踪需求用于表征保单处于有效期内，保司承保过程中对保单业务状态的实时确认。抽样评估需求用于表征对保单完成质量的抽样评估调查。
本申请实施例中，进一步的，启动对保单业务信息的承保操作包括：调取承保线程，并解析保单业务信息中的承保参数；将承保参数引入承保线程中的承保操作执行指令中，以使按照承保操作执行指令执行承保业务。
其中，承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态。
需要说明的是，根据保险产品类别的不同，保司会制定相应的承保线程，以指示保险业务有序的进行。在触发了承保启动操作后，首先调取承保线程，并将保单务信息中承保参数引入承保线程中的操作执行指令中，以使得承保业务按照指令有序进行。
另外，由于保单业务信息中的图像数据、以及文本数据可以从保司的保单信息数据库中获取，而数据库中的数据可以由业务人员在为用户办理业务时进行录入，包含业务人员将用户填写的订单经过扫描或拍照获得的图像数据以及文本数据，因此会存在图像不清晰，或录入误差等问题，从而影响多模态混合识别的准确度。
为了避免这一问题，本申请实施例中，可选的，解析保单业务信息中的图像数据、以及文本数据之后，本实施例方法还包括：按照图像清晰度、图像像素配比、图像大小对图像数据进行筛选，确定待进行多模态混合识别处理的图像数据；根据自然语言处理数据库对文本数据进行异常词语筛选，确定待进行多模态混合识别处理的文本数据。
具体的，在对保单业务信息数据进行多模态混合识别处理前，可以对数据进行筛选。针对图像数据，优选的，可以按照图像清晰度、图像像素配比、图像大小对其进行筛选，以确定待处理的图像数据；针对文本数据，优选的，可以根据自然语言处理数据库对文本数据进行异常词语筛选，以确定待处理的文本数据，例如，NLP自然语言处理模型，本申请实施例不做具体限定。
本申请提供了一种基于多模态混合模型的业务数据处理方法，与现有技术相比，本申请实施例通过解析保单业务信息中的图像数据、以及文本数据；基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作，使各个模态之间处理具有关联性，提高了保单数据处理的整体性准确率，从而提高了业务数据的处理效率。
进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种基于多模态混合模型的业务数据处理装置，如图5所示，该装置包括：
解析模块21，处理模块22，分类模块23，启动模块24。
解析模块21，用于解析保单业务信息中的图像数据、以及文本数据；
处理模块22，用于基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；
分类模块23，用于根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；
启动模块24，用于当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
在具体的应用场景中，所述处理模块22之前，所述装置还包括：
获取模块，用于获取多模态训练样本集，所述多模态训练样本集中包含至少两个单模态训练样本组；
构建模块，用于构建多模态混合网络结构，并获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象，所述单模态输入参数的个数之和小于或等于多模态输入参数个数；
训练模块，用于基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型，所述多模态混合模型的损失函数为基于混合模态方式确定的。
在具体的应用场景中，所述训练模块之前，所述装置还包括：
划分模块，用于对所述多模态训练样本集进行单模态训练样本组类别个数划分；
配置模块，用于根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；
在具体的应用场景中，所述构建模块包括：
确定单元，用于确定与所述单模态输入参数匹配的至少一个模态替换对象，按照所述替换权重值从所述模态替换对象中筛选唯一匹配所述单模态输入参数的模态替换对象。
在具体的应用场景中，所述划分模块之前，所述装置还包括：
更新模块，用于按照预设时间间隔、保单业务更新状态对所述多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。
在具体的应用场景中，所述所述标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象，所述分类模块23包括：
匹配单元，用于将对所述多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与所述保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；
触发单元，用于若匹配，则将承保启动触发事件配置于所述保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行所述承保启动触发事件的触发操作。
在具体的应用场景中，所述启动模块24包括：
调取单元，用于调取承保线程，并解析所述保单业务信息中的承保参数，所述承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态；
执行单元，用于将所述承保参数引入所述承保线程中的承保操作执行指令中，以使按照所述承保操作执行指令执行承保业务。
在具体的应用场景中，所述解析模块21之后，所述装置还包括：
筛选模块，用于按照图像清晰度、图像像素配比、图像大小对所述图像数据进行筛选，确定待进行多模态混合识别处理的图像数据；
确定模块，用于根据自然语言处理数据库对所述文本数据进行异常词语筛选，确定待进行多模态混合识别处理的文本数据。
本申请提供了一种基于多模态混合模型的业务数据处理装置，与现有技术相比，本申请实施例通过解析保单业务信息中的图像数据、以及文本数据；基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作，使各个模态之间处理具有关联性，提高了保单数据处理的整体性准确率，从而提高了业务数据的处理效率。
根据本申请一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于多模态混合模型的业务数据处理方法。
图6示出了根据本申请一个实施例提供的一种计算机设备的结构示意图，本申请具体实施例并不对计算机设备的具体实现做限定。
如图6所示，该计算机设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线508。
其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器302，用于执行程序310，具体可以执行上述基于多模态混合模型的业务数据处理方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序310具体可以用于使得处理器302执行以下操作：
解析保单业务信息中的图像数据、以及文本数据；
基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；
根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；
当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
Claims (10)
1.一种基于多模态混合模型的业务数据处理方法，其特征在于，包括：
解析保单业务信息中的图像数据、以及文本数据；
基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；
根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；
当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
2.根据权利要求1所述的方法，其特征在于，所述基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果之前，所述方法还包括：
获取多模态训练样本集，所述多模态训练样本集中包含至少两个单模态训练样本组；
构建多模态混合网络结构，并获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象，所述单模态输入参数的个数之和小于或等于多模态输入参数个数；
基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型，所述多模态混合模型的损失函数为基于混合模态方式确定的。
3.根据权利要求2所述的方法，其特征在于，所述基于所述模态替换对象、所述单模态训练样本组对多模态混合网络结构进行模型训练，得到多模态混合模型之前，所述方法还包括：
对所述多模态训练样本集进行单模态训练样本组类别个数划分；
根据划分的类别个数之间的比值配置各模态替换对象的替换权重值；
所述获取所述多模态混合网络结构中替换至少一个单模态输入参数的模态替换对象包括：
确定与所述单模态输入参数匹配的至少一个模态替换对象，按照所述替换权重值从所述模态替换对象中筛选唯一匹配所述单模态输入参数的模态替换对象。
4.根据权利要求3所述的方法，其特征在于，所述对所述多模态训练样本集进行单模态训练样本组类别个数划分之前，所述方法还包括：
按照预设时间间隔、保单业务更新状态对所述多模态训练样本集中单模态训练样本组进行更新，以更新各模态替换对象的替换权重值。
5.根据权利要求1所述的方法，其特征在于，所述所述标签分类用于表征标记不同保单业务信息所对应的保单产品、时间、主体对象，所述根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件包括：
将对所述多模态混合处理结果标记的保单产品标识、时间标识、主体对象标识与所述保单业务需求中的核保需求、状态追踪需求、抽样评估需求进行匹配；
若匹配，则将承保启动触发事件配置于所述保单业务信息执行核保操作、状态追踪操作、抽样评估操作完成后，以执行所述承保启动触发事件的触发操作。
6.根据权利要求5所述的方法，其特征在于，所述启动对所述保单业务信息的承保操作包括：
调取承保线程，并解析所述保单业务信息中的承保参数，所述承保参数用于标识不同承保时间段、不同承保业务阶段的承保状态；
将所述承保参数引入所述承保线程中的承保操作执行指令中，以使按照所述承保操作执行指令执行承保业务。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述解析保单业务信息中的图像数据、以及文本数据之后，所述方法还包括：
按照图像清晰度、图像像素配比、图像大小对所述图像数据进行筛选，确定待进行多模态混合识别处理的图像数据；
根据自然语言处理数据库对所述文本数据进行异常词语筛选，确定待进行多模态混合识别处理的文本数据。
8.一种基于多模态混合模型的业务数据处理装置，其特征在于，包括：
解析模块，用于解析保单业务信息中的图像数据、以及文本数据；
处理模块，用于基于完成训练的多模态混合模型对所述图像数据、所述文本数据进行多模态混合识别处理，得到多模态混合处理结果，所述多模态混合模型为基于多模态输入参数的个数分别配置模态替换对象进行构建，并以混合模态方式确定损失函数完成模型训练得到的；
分类模块，用于根据所述多模态混合处理结果对所述保单业务信息进行标签分类，并解析标签分类后各标签分类的保单业务需求以及承保启动触发事件；
启动模块，用于当检测到所述承保启动触发事件，则启动对所述保单业务信息的承保操作。
9.一种存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于多模态混合模型的业务数据处理方法对应的操作。
10.一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于多模态混合模型的业务数据处理方法对应的操作。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111007560.6A CN113723288B (zh) | 2021-08-30 | 2021-08-30 | 基于多模态混合模型的业务数据处理方法及装置 |
| PCT/CN2022/071442 WO2023029353A1 (zh) | 2021-08-30 | 2022-01-11 | 基于多模态混合模型的业务数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111007560.6A CN113723288B (zh) | 2021-08-30 | 2021-08-30 | 基于多模态混合模型的业务数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723288A true CN113723288A (zh) | 2021-11-30 |
| CN113723288B CN113723288B (zh) | 2023-10-27 |
Family
ID=78679329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111007560.6A Active CN113723288B (zh) | 2021-08-30 | 2021-08-30 | 基于多模态混合模型的业务数据处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113723288B (zh) |
| WO (1) | WO2023029353A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023029353A1 (zh) * | 2021-08-30 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308960B (zh) * | 2023-03-27 | 2023-11-21 | 杭州绿城信息技术有限公司 | 基于数据分析的智慧园区物业防控管理系统及其实现方法 |
| CN117079299B (zh) * | 2023-10-12 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN117097797B (zh) * | 2023-10-19 | 2024-02-09 | 浪潮电子信息产业股份有限公司 | 云边端协同方法、装置、系统、电子设备及可读存储介质 |
| CN117349027B (zh) * | 2023-12-04 | 2024-02-23 | 环球数科集团有限公司 | 一种降低算力需求的多模态大模型构建系统和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507850A (zh) * | 2020-03-25 | 2020-08-07 | 上海商汤智能科技有限公司 | 核保方法及相关装置、设备 |
| EP3754548A1 (en) * | 2019-06-17 | 2020-12-23 | Sap Se | A method for recognizing an object in an image using features vectors of an encoding neural network |
| CN112418302A (zh) * | 2020-11-20 | 2021-02-26 | 清华大学 | 一种任务预测方法及装置 |
| US20210201266A1 (en) * | 2019-12-31 | 2021-07-01 | DataInfoCom USA, Inc. | Systems and methods for processing claims |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723288B (zh) * | 2021-08-30 | 2023-10-27 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
-
2021
- 2021-08-30 CN CN202111007560.6A patent/CN113723288B/zh active Active
-
2022
- 2022-01-11 WO PCT/CN2022/071442 patent/WO2023029353A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3754548A1 (en) * | 2019-06-17 | 2020-12-23 | Sap Se | A method for recognizing an object in an image using features vectors of an encoding neural network |
| US20210201266A1 (en) * | 2019-12-31 | 2021-07-01 | DataInfoCom USA, Inc. | Systems and methods for processing claims |
| CN111507850A (zh) * | 2020-03-25 | 2020-08-07 | 上海商汤智能科技有限公司 | 核保方法及相关装置、设备 |
| CN112418302A (zh) * | 2020-11-20 | 2021-02-26 | 清华大学 | 一种任务预测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023029353A1 (zh) * | 2021-08-30 | 2023-03-09 | 平安科技（深圳）有限公司 | 基于多模态混合模型的业务数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723288B (zh) | 2023-10-27 |
| WO2023029353A1 (zh) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113723288B (zh) | 基于多模态混合模型的业务数据处理方法及装置 | |
| CN109740620B (zh) | 人群画像分类模型的建立方法、装置、设备和存储介质 | |
| CN112613501A (zh) | 信息审核分类模型的构建方法和信息审核方法 | |
| CN111931664A (zh) | 混贴票据图像的处理方法、装置、计算机设备及存储介质 | |
| US11822568B2 (en) | Data processing method, electronic equipment and storage medium | |
| CN112988963B (zh) | 基于多流程节点的用户意图预测方法、装置、设备及介质 | |
| CN111415336B (zh) | 一种图像篡改识别方法、装置、服务器及存储介质 | |
| CN110738102A (zh) | 一种人脸识别方法及系统 | |
| CN110377733A (zh) | 一种基于文本的情绪识别方法、终端设备及介质 | |
| CN114492601A (zh) | 资源分类模型的训练方法、装置、电子设备及存储介质 | |
| CN113822847A (zh) | 基于人工智能的图像评分方法、装置、设备及存储介质 | |
| CN116484867A (zh) | 命名实体识别方法及装置、存储介质、计算机设备 | |
| CN115222443A (zh) | 客户群体划分方法、装置、设备及存储介质 | |
| JP6926032B2 (ja) | 製造管理システム及び方法 | |
| CN113963446A (zh) | 一种基于人体骨架的行为识别方法及系统 | |
| CN113516251A (zh) | 一种机器学习系统及模型训练方法 | |
| CN116052848B (zh) | 一种医学成像质控的数据编码方法及系统 | |
| CN113408265B (zh) | 基于人机交互的语义解析方法、装置、设备及存储介质 | |
| CN114170484A (zh) | 图片属性预测方法、装置、电子设备和存储介质 | |
| CN114676705A (zh) | 一种对话关系处理方法、计算机及可读存储介质 | |
| CN112988957B (zh) | 案件预判结果生成方法、装置、电子设备 | |
| CN112232320B (zh) | 印刷品文字的校对方法及相关设备 | |
| CN117390455B (zh) | 数据处理方法和装置、存储介质及电子设备 | |
| CN116797904A (zh) | 一种图像识别不确定性知识蒸馏方法与系统 | |
| CN116071768A (zh) | 表格识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |