CN112346567B - 基于ai的虚拟交互模型生成方法、装置及计算机设备 - Google Patents
基于ai的虚拟交互模型生成方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112346567B CN112346567B CN202011209226.4A CN202011209226A CN112346567B CN 112346567 B CN112346567 B CN 112346567B CN 202011209226 A CN202011209226 A CN 202011209226A CN 112346567 B CN112346567 B CN 112346567B
- Authority
- CN
- China
- Prior art keywords
- target
- text
- visited
- information
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013473 artificial intelligence Methods 0.000 title abstract description 70
- 239000013598 vector Substances 0.000 claims description 136
- 230000002452 interceptive effect Effects 0.000 claims description 80
- 238000013145 classification model Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000006854 communication Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 25
- 238000004088 simulation Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000003999 initiator Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于AI的虚拟交互模型生成方法、装置、计算机设备及存储介质，涉及人工智能技术，先调用第一分类模型，以获取与目标用户画像和客户用户画像对应的第一分类结果，根据第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将目标讲解文本发送至用户端，之后获取本地已存储的AI虚拟交互模型库中与第二分类结果相对应的目标AI虚拟交互模型，最后调用预先存储的信息推荐策略，根据请求人信息、待拜访人信息及信息推荐策略，生成请求人推荐信息及待拜访人推荐信息，基于服务器根据用户画像推荐的目标讲解文本进行学习和练习，无需人工整理目标讲解文本，提高了目标讲解文本的获取效率。
Description
技术领域
本发明涉及人工智能的语音语义技术领域，尤其涉及一种基于AI的虚拟交互模型生成方法、装置、计算机设备及存储介质。
背景技术
目前，在线视频会议这一用户沟通方式得到了越来越广泛的应用，例如因间隔距离较远（如需要沟通的用户分别位于不同的城市）或是不方便见面当面沟通时，则可以选择在线视频会议进行远距离在线沟通。比如在新冠疫情仍未结束的情况下，人们之间的线下当面沟通存在一定的安全风险，线上视频沟通的需求日渐增多。一般视频会议发起方在向视频会议接收方进行视频会议邀请之前，需要先获取视频会议接收方的信息获取需求，之后根据信息获取需求人工搜集并整理会议沟通资料，最后视频会议发起方在对会议沟通资料熟悉后与视频会议接收方进行视频会议。通过这一方式获取会议沟通资料，不仅效率低下，会议沟通资料与本次视频会议的难以准确相关，而且视频会议发起方在对会议沟通资料熟悉时只能依靠低效率的人工记忆。
发明内容
本发明实施例提供了一种基于AI的虚拟交互模型生成方法、装置、计算机设备及存储介质，旨在解决现有技术中视频会议发起方根据视频会议接收方的信息获取需求人工整理会议沟通资料，不仅效率低下，会议沟通资料与本次视频会议的难以准确相关的问题。
第一方面，本发明实施例提供了一种基于AI的虚拟交互模型生成方法，其包括：
若检测到用户端发送的虚拟交互对象生成指令，获取本地已存储的与所述用户端对应的目标用户画像，并随机获取本地已存储的客户用户画像；
调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端；
接收所述用户端发送的讲解文本练习语音数据，将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数；
根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，将所述特征集根据所调用的第二分类模型进行分类得到第二分类结果；
获取本地已存储的AI虚拟交互模型库中与所述第二分类结果相对应的目标AI虚拟交互模型；
接收所述用户端与所述目标AI虚拟交互模型之间对应的交互语音数据；
将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数；
若检测到所述用户端上传的待拜访人资料获取指令，获取与所述待拜访人资料获取指令对应的请求人信息和待拜访人信息；其中，所述请求人信息包括所述第一熟练度参数、所述第二熟练度参数和所述目标用户画像，所述待拜访人信息包括待拜访人用户画像和待拜访人产品需求信息；以及
调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息；其中，所述信息推荐策略用于提取所述目标用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述请求人推荐信息，以及提取所述待拜访人用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述待拜访人推荐信息。
第二方面，本发明实施例提供了一种基于AI的虚拟交互模型生成装置，其包括：
用户画像获取单元，用于若检测到用户端发送的虚拟交互对象生成指令，获取本地已存储的与所述用户端对应的目标用户画像，并随机获取本地已存储的客户用户画像；
第一分类单元，用于调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端；
第一参数获取单元，用于接收所述用户端发送的讲解文本练习语音数据，将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数；
第二分类单元，用于根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，将所述特征集根据所调用的第二分类模型进行分类得到第二分类结果；
虚拟交互模型获取单元，用于获取本地已存储的AI虚拟交互模型库中与所述第二分类结果相对应的目标AI虚拟交互模型；
交互语音获取单元，用于接收所述用户端与所述目标AI虚拟交互模型之间对应的交互语音数据；
第二参数获取单元，用于将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数；
拜访信息获取单元，用于若检测到所述用户端上传的待拜访人资料获取指令，获取与所述待拜访人资料获取指令对应的请求人信息和待拜访人信息；其中，所述请求人信息包括所述第一熟练度参数、所述第二熟练度参数和所述目标用户画像，所述待拜访人信息包括待拜访人用户画像和待拜访人产品需求信息；以及
推荐信息生成单元，用于调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息；其中，所述信息推荐策略用于提取所述目标用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述请求人推荐信息，以及提取所述待拜访人用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述待拜访人推荐信息。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于AI的虚拟交互模型生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于AI的虚拟交互模型生成方法。
本发明实施例提供了一种基于AI的虚拟交互模型生成方法、装置、计算机设备及存储介质，先是调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端，之后获取本地已存储的AI虚拟交互模型库中与第二分类结果相对应的目标AI虚拟交互模型，最后调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息，基于服务器根据用户画像推荐的目标讲解文本进行学习和练习，无需人工整理目标讲解文本，提高了目标讲解文本的获取效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于AI的虚拟交互模型生成方法的应用场景示意图；
图2为本发明实施例提供的基于AI的虚拟交互模型生成方法的流程示意图；
图3为本发明实施例提供的基于AI的虚拟交互模型生成装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于AI的虚拟交互模型生成方法的应用场景示意图；图2为本发明实施例提供的基于AI的虚拟交互模型生成方法的流程示意图，该基于AI的虚拟交互模型生成方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S101~S109。
S101、若检测到用户端发送的虚拟交互对象生成指令，获取本地已存储的与所述用户端对应的目标用户画像，并随机获取本地已存储的客户用户画像。
在本实施例中，为了更清楚的理解本申请的技术方案，下面对所涉及的终端进行详细介绍。本申请是在服务器的角度描述技术方案。
一是用户端，其使用者是拜访人，其可与待拜访人（也可以理解为被拜访人）通过建立在线视频进行在线沟通。
二是另一用户端，其使用者是待拜访人，其可与拜访人通过建立在线视频进行在线沟通。其中，用户端和另一用户端在进行在线视频沟通时，其均与服务器通讯连接。
三是服务器，在服务器中可以在拜访人与被拜访人之间的在线视频沟通之前，可以生成目标讲解文本以供拜访人进行视频会议前的资料学习，也可以生成目标AI虚拟交互模型以与拜访人进行仿真视频会议交互练习，还可以生成与拜访人与被拜访人之间的在线视频沟通之前推送至待拜访人查看的待拜访人推荐信息。
其中，拜访人在与被拜访人之间进行在线视频沟通之前，可以结合与待拜访人对应的客户用户画像，以及与拜访人对应的目标用户画像，依据分类模型，向拜访人推送个性化讲解方案（也即后续的目标讲解文本）。拜访人可对该个性化讲解方案进行学习，并由服务器记录这个过程中拜访人对个性化讲解方案的掌握程度。
S102、调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端。
在本实施例中，为了更精准的向拜访人推送目标讲解文本，此时可以结合所述目标用户画像和所述客户用户画像中包括的标签组成的标签集合作为第一分类模型的输入，从而计算得到对应的第一分类结果。由于在服务器的本地已预先存储有与多种分类结果相对应的讲解文本，故在获取了第一分类结果后，即可获取与所述第一分类结果相对应的目标讲解文本，之后发送至用户端，这样拜访人可以查看该目标讲解文本之后进行讲解练习。
在一实施例中，步骤S102包括：
获取所述目标用户画像和所述客户用户画像中包括的标签以组成标签关键词集，将所述标签关键词集根据所调用的第一分类模型进行分类得到第一分类结果；其中，所述第一分类模型是卷积神经网络模型；
获取本地已存储的讲解文本库中与所述第一分类结果相对应的目标讲解文本，将所述目标讲解文本发送至所述用户端。
在本实施例中，由于所述目标用户画像中包括多个标签对应的关键词，而且所述客户用户画像中也包括多个标签对应的关键词，可以调用预先设置的关键词筛选策略获取上述关键词中的核心关键词以组成标签关键词集。
之后标签关键词集中的每一标签关键词均转化为词向量后，可以将这些词向量根据每一词向量的权重值，将标签关键词集转化成标签语义向量后以输入至所述第一分类模型进行计算，从而得到第一分类结果。其中，所述第一分类模型是一个卷积神经网络模型，可以准确的进行分类。
当获取了第一分类结果后，服务器获取本地已存储的讲解文本库中与所述第一分类结果相对应的目标讲解文本，将所述目标讲解文本发送至用户端。拜访人则可以在用户端的显示器上直观查看所述目标讲解文本，实现拜访前的资料预习过程。
S103、接收所述用户端发送的讲解文本练习语音数据，将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数。
在本实施例中，当用户端接收了所述目标讲解文本后，可以在用户端上开启练习模式，即开启用户端上的录音录像功能后，拜访人根据所述目标讲解文本进行朗读，这样用户端所采集到的声音数据则是与所述目标讲解文本对应的讲解文本练习语音数据。当完成某一次的完整练习后，用户端将讲解文本练习语音数据发送至服务器，以评估本次练习的熟练程度。为了量化数量程度标准，在本申请中可以将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数。
在一实施例中，步骤S103包括：
调用预先训练的语音识别模型以对所述讲解文本练习语音数据进行语音识别，得到所述语音识别文本；
获取所述目标讲解文本的分节符，以将所述语音识别文本对应进行分节得到语音文本分节集，并获取所述目标讲解文本的目标文本分节集；其中，所述语音文本分节集中包括多个子语音文本，所述目标文本分节集包括多个目标子语音文本，所述语音文本分节集中子语音文本的总个数与所述目标文本分节集中目标子语音文本的总个数相同；
将各子语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与各子语音文本分别对应的子文本语义向量，以串接组成文本语义向量；
将各目标子语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与各目标子语音文本分别对应的目标子文本语义向量，以串接组成目标文本语义向量；
计算所述文本语义向量与所述目标文本语义向量之间的欧式距离，以作为所述第一熟练度参数。
在本实施例中，当服务器接收了所述讲解文本练习语音数据后，为了计算其对应的语音识别文本与目标讲解文本之间的相似度，可以先通过语音识别模型（例如N-gram模型，也即多元模型）对所述讲解文本练习语音数据进行语音识别，得到所述语音识别文本，这样计算获取语音识别文本与目标讲解文本之间的相似度则是计算文本之间的相似度。
由于文本中存在一些非关键词（如语气词、连接词等），为了提炼文本的核心关键词组成语义向量进行文本相似度的计算，可以采用将文本进行分段处理的方式来计算文本的综合相似度。在所述目标讲解文本中以段落之间的分隔符作为分节符，所述目标讲解文本中则是可以根据分节符划分为多个段落（即多个目标子语音文本，上述多个目标子语音文本组成目标文本分节集）。由于拜访人在根据目标讲解文本进行练习的过程中，所录音得到的讲解文本练习语音数据相对应的语音识别文本应与所述目标讲解文本大致相同，那么在对语音识别文本进行划分分段的时候也可参考所述目标讲解文本的分节符，以将所述语音识别文本对应进行分节得到语音文本分节集（所述语音文本分节集中包括多个子语音文本）。
之后将各子语音文本依次进行分词（通过基于统计的分词方法进行分词，）、关键词提取（通过TF-IDF模型进行关键词提取）、词向量转化（通过word2vec模型进行词向量转化）和语义向量获取，得到与各子语音文本分别对应的子文本语义向量，以串接组成文本语义向量。其中，在根据多个词向量获取语音向量时，是先获取各词向量对应的权重值，再计算各词向量的权重和，从而得到语义向量。
之后再计算目标讲解文本对应的目标文本语义向量时，可以参考根据语音识别文本语义向量的过程。当完成了文本语义向量和目标文本语义向量后，即可计算两者之间的欧氏距离以作为所述第一熟练度参数。其中，两者之间的欧氏距离越小，表示两者越近似。
S104、根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，将所述特征集根据所调用的第二分类模型进行分类得到第二分类结果。
在本实施例中，当拜访人根据目标讲解文本完成了文本练习后，为了进一步进行仿真模拟对话练习，在服务器中可以根据所述第一熟练度参数、所述目标用户画像及随机获取的客户用户画像进行特征提取以得到特征集，之后将所述特征集根据预先训练的第二分类模型进行分类，从而得到第二分类结果。其中，所述第二分类模型也为卷积神经网络模型。
由于参考了第一熟练度参数、所述目标用户画像及随机获取的客户用户画像，故提炼出来的特征集更能反应拜访人对目标讲解文本掌握的熟练程度和拜访人擅长的讲解领域。
在一实施例中，步骤S104包括：
调用预先存储的第一用户画像挑选策略，以获取与所述目标用户画像对应的第一关键词集合；
将所述第一关键词集合中各关键词均转化为对应的词向量，以串接组成第一关键词向量；
调用预先存储的第二用户画像挑选策略，以获取与所述客户用户画像对应的第二关键词集合；
将所述第二关键词集合中各关键词均转化为对应的词向量，以串接组成第二关键词向量；
将所述第一熟练度参数、所述第一关键词向量和所述第二关键词向量依序串接组成所述特征集。
在本实施例中，为了获得作为第二分类模型输入的特征集，此时可以先调用第一用户画像挑选策略，以获取与所述目标用户画像对应的第一关键词集合，同时调用预先存储的第二用户画像挑选策略，以获取与所述客户用户画像对应的第二关键词集合。在获取了上述两个关键词集合后，均对应转化为词向量，从而结合所述第一熟练度参数、所述第一关键词向量和所述第二关键词向量依序串接组成特征集。通过这一数据处理方式，能够提炼出参考维度更多的特征集。
S105、获取本地已存储的AI虚拟交互模型库中与所述第二分类结果相对应的目标AI虚拟交互模型。
在本实施例中，由于服务器本地的AI虚拟交互模型库中存储有多个分类结果分别对应的AI虚拟交互模型。例如，第二分类结果等于0.5，则获取的是第一AI虚拟交互模型，其适合对目标讲解文本熟练程度不高的待拜访人进行AI仿真模拟对话练习；第二分类结果等于0.7，则获取的是第二AI虚拟交互模型，其适合对目标讲解文本熟练程度中等的待拜访人进行AI仿真模拟对话练习；第二分类结果等于0.9，则获取的是第三AI虚拟交互模型，其适合对目标讲解文本熟练程度较高的待拜访人进行AI仿真模拟对话练习。该目标AI虚拟交互模型本质上可以理解成一个智能客服，可与用户进行语音互动和沟通，从而实现了仿真模拟对话以模拟练习讲解的效果。
S106、接收所述用户端与所述目标AI虚拟交互模型之间对应的交互语音数据。
在本实施例中，由于用户端与所述目标AI虚拟交互模型进行语音互动时，用户端可采集交互语音数据，在完成了本轮模拟仿真互动练习后，将交互语音数据上传至服务器，以进一步进行练习熟练程度的评估。
S107、将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数。
在本实施例中，在拜访人与服务器中所述目标AI虚拟交互模型完成了虚拟仿真交互练习后，为了评估拜访人对目标讲解文本在仿真交互练习过程中的熟练程度，也是可以参考计算第一熟练度参数的过程。具体是将所述交互语音数据转化为对应的语义向量后，与由目标标准语音数据对应转化的语义向量之间计算向量相似度，从而作为第二熟练度参数。
在一实施例中，步骤S107包括：
调用预先训练的语音识别模型以对所述交互语音数据进行语音识别，得到交互语音文本；
调用所述语音识别模型以对所述目标标准语音数据进行语音识别，得到目标标准语音文本；
将所述交互语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与交互语音文本对应的交互语音文本语义向量；
将所述目标标准语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与目标标准语音文本对应的目标标准语音文本语义向量；
计算所述交互语音文本语义向量与所述目标标准语音文本语义向量之间的欧式距离，以作为所述第二熟练度参数。
在本实施例中，当服务器接收了所述交互语音数据以及调用了本地的目标标准语音数据后，为了计算交互语音文本与目标标准语音文本之间的相似度，可以先通过语音识别模型（例如N-gram模型，也即多元模型）对所述交互语音数据进行语音识别得到交互语音文本，也对所述目标标准语音数据进行语音识别，得到目标标准语音文本，这样计算交互语音文本与目标标准语音文本之间的相似度则是计算文本之间的相似度。计算文本之间的相似度，则可以参考步骤S103的具体实施步骤。通过这一方式量化了用户对目标讲解文本的掌握熟练程度。
在步骤S101-S103实现了拜访人的讲解文本初始学习过程，在步骤S104-S107则实现了拜访人的模拟仿真交互练习的练习过程。上述过程是基于服务器根据用户画像推荐的目标讲解文本进行学习和练习，无需人工整理目标讲解文本，提高了目标讲解文本的获取效率。
S108、若检测到所述用户端上传的待拜访人资料获取指令，获取与所述待拜访人资料获取指令对应的请求人信息和待拜访人信息；其中，所述请求人信息包括所述第一熟练度参数、所述第二熟练度参数和所述目标用户画像，所述待拜访人信息包括待拜访人用户画像和待拜访人产品需求信息。
在本实施例中，当拜访人基于服务器提供的目标讲解文本提供了学习和练习后，此时可以与待拜访人建立在线视频会议连接后，基于服务器自动推荐的文本与待拜访人进行沟通。
具体的，当服务器检测到用户端上传的待拜访人资料获取指令时，表示之前用户端还未与另一用户端建立视频连接以进行在线会议，此时为了辅助用户端的使用者更好的与另一用户端的使用者高效的进行在线视频会议沟通，可先由用户端向服务器发送待拜访人资料获取指令。当服务器检测到用户端发送的待拜访人资料获取指令时，由服务器根据所述待拜访人资料获取指令对应的请求人信息和待拜访人信息。
其中，所述请求人信息包括第一熟练度参数、第二熟练度参数和目标用户画像。因为在服务器中存储了关于用户端使用者以及另一用户端使用者的大量历史数据，以这些历史数据为数据基础，可以处理得到用户端使用者对应的用户画像（可对应上述的目标用户画像），且得到与另一用户端使用者对应的用户画像（可对应上述的待拜访人用户画像）。待拜访人产品需求信息是该另一用户端使用者在与用户端使用者进行电话沟通、或是通过通讯软件沟通（如微信、QQ等）时在对话记录中有记载，这一待拜访人产品需求信息可以理解为待拜访人的产品购买意向。
例如，若用户端使用者对应业务人员，另一用户端使用者对应消费者，此时业务人员可以通过在线会议的方式向消费者推荐一些产品。此时目标用户画像中一般有该业务员精通哪一类型产品的销售的标签，待拜访人用户画像一般有该消费者的用户标签（例如属于哪一年龄段、属于职业群体、工资收入属于哪一收入范围群体），而且在服务器中可以根据待拜访人资料获取指令获取对应待拜访人产品需求信息。通过上述方式，是在服务器中自动根据待拜访人资料获取指令识别或检索出对应数据，无需用户上传过多数据，简化了数据获取流程。
S109、调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息；其中，所述信息推荐策略用于提取所述目标用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述请求人推荐信息，以及提取所述待拜访人用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述待拜访人推荐信息。
在本实施例中，为了更好的辅助第一类型智能终端使用者向第二类型智能终端使用者推荐若干产品，在两者进行视频连线之前，在服务器中可以为第一类型智能终端使用者生成请求人推荐信息及待拜访人推荐信息。
在一实施例中，步骤S109包括：
获取所述信息推荐策略中的第一推荐信息生成策略，根据所述目标用户画像、所述待拜访人产品需求信息及所述第一推荐信息生成策略，以生成所述请求人推荐信息；
获取所述信息推荐策略中的第二推荐信息生成策略，根据所述待拜访人用户画像、所述待拜访人产品需求信息及所述第二推荐信息生成策略，以生成所述待拜访人推荐信息。
在本实施例中，所述请求人推荐信息可以理解为在服务器中根据目标用户画像及待拜访人产品需求信息生成请求人推荐信息，也即可根据信息推荐策略筛选出目标用户画像中的关键标签（如精通寿险A产品），还获取了待拜访人产品需求信息（例如也是寿险A产品），此时可以基于目标用户画像中的关键标签和待拜访人产品需求信息在服务器的本地数据库中搜索与该待拜访人产品需求信息的产品介绍信息（例如是寿险A产品的投保规则、投保费用、投保年限、险种详细介绍）以作为请求人推荐信息。
所述待拜访人推荐信息可以理解为在服务器中根据待拜访人用户画像及待拜访人产品需求信息生成待拜访人推荐信息，也即可以根据信息推荐策略筛选出待拜访人用户画像中的关键标签（如中年人，收入范围是月薪20000-30000等），还获取了待拜访人产品需求信息（例如也是寿险A产品），此时可以基于待拜访人用户画像中的关键标签和待拜访人产品需求信息在服务器的本地数据库中搜索针对该类用户标签的话术（该话术可以引导第一类型智能终端使用者按照指定语句顺序与第二类型智能终端使用者进行沟通）以作为待拜访人推荐信息。
在服务器中所生成的请求人推荐信息和待拜访人推荐信息，可以作为第一类型智能终端使用者与第二类型智能终端使用者进行沟通过程的引导数据，这些引导数据的获取是在服务器中自动生成获取，无需用户手动检索，提高了数据获取效率。
该方法实现了基于服务器根据用户画像推荐的目标讲解文本进行学习和练习，无需人工整理目标讲解文本，提高了目标讲解文本的获取效率。
本发明实施例还提供一种基于AI的虚拟交互模型生成装置，该基于AI的虚拟交互模型生成装置用于执行前述基于AI的虚拟交互模型生成方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于AI的虚拟交互模型生成装置的示意性框图。该基于AI的虚拟交互模型生成装置100可以配置于服务器中。
如图3所示，基于AI的虚拟交互模型生成装置100包括：用户画像获取单元101、第一分类单元102、第一参数获取单元103、第二分类单元104、虚拟交互模型获取单元105、交互语音获取单元106、第二参数获取单元107、拜访信息获取单元108、推荐信息生成单元109。
用户画像获取单元101，用于若检测到用户端发送的虚拟交互对象生成指令，获取本地已存储的与所述用户端对应的目标用户画像，并随机获取本地已存储的客户用户画像。
在本实施例中，拜访人在与被拜访人之间进行在线视频沟通之前，可以结合与待拜访人对应的客户用户画像，以及与拜访人对应的目标用户画像，依据分类模型，向拜访人推送个性化讲解方案（也即后续的目标讲解文本）。拜访人可对该个性化讲解方案进行学习，并由服务器记录这个过程中拜访人对个性化讲解方案的掌握程度。
第一分类单元102，用于调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端。
在本实施例中，为了更精准的向拜访人推送目标讲解文本，此时可以结合所述目标用户画像和所述客户用户画像中包括的标签组成的标签集合作为第一分类模型的输入，从而计算得到对应的第一分类结果。由于在服务器的本地已预先存储有与多种分类结果相对应的讲解文本，故在获取了第一分类结果后，即可获取与所述第一分类结果相对应的目标讲解文本，之后发送至用户端，这样拜访人可以查看该目标讲解文本之后进行讲解练习。
在一实施例中，第一分类单元102包括：
标签关键词集获取单元，用于获取所述目标用户画像和所述客户用户画像中包括的标签以组成标签关键词集，将所述标签关键词集根据所调用的第一分类模型进行分类得到第一分类结果；其中，所述第一分类模型是卷积神经网络模型；
目标讲解文本获取单元，用于获取本地已存储的讲解文本库中与所述第一分类结果相对应的目标讲解文本，将所述目标讲解文本发送至所述用户端。
在本实施例中，由于所述目标用户画像中包括多个标签对应的关键词，而且所述客户用户画像中也包括多个标签对应的关键词，可以调用预先设置的关键词筛选策略获取上述关键词中的核心关键词以组成标签关键词集。
之后标签关键词集中的每一标签关键词均转化为词向量后，可以将这些词向量根据每一词向量的权重值，将标签关键词集转化成标签语义向量后以输入至所述第一分类模型进行计算，从而得到第一分类结果。其中，所述第一分类模型是一个卷积神经网络模型，可以准确的进行分类。
当获取了第一分类结果后，服务器获取本地已存储的讲解文本库中与所述第一分类结果相对应的目标讲解文本，将所述目标讲解文本发送至用户端。拜访人则可以在用户端的显示器上直观查看所述目标讲解文本，实现拜访前的资料预习过程。
第一参数获取单元103，用于接收所述用户端发送的讲解文本练习语音数据，将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数。
在本实施例中，当用户端接收了所述目标讲解文本后，可以在用户端上开启练习模式，即开启用户端上的录音录像功能后，拜访人根据所述目标讲解文本进行朗读，这样用户端所采集到的声音数据则是与所述目标讲解文本对应的讲解文本练习语音数据。当完成某一次的完整练习后，用户端将讲解文本练习语音数据发送至服务器，以评估本次练习的熟练程度。为了量化数量程度标准，在本申请中可以将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数。
在一实施例中，第一参数获取单元103包括：
语音识别文本获取单元，用于调用预先训练的语音识别模型以对所述讲解文本练习语音数据进行语音识别，得到所述语音识别文本；
目标文本分节集获取单元，用于获取所述目标讲解文本的分节符，以将所述语音识别文本对应进行分节得到语音文本分节集，并获取所述目标讲解文本的目标文本分节集；其中，所述语音文本分节集中包括多个子语音文本，所述目标文本分节集包括多个目标子语音文本，所述语音文本分节集中子语音文本的总个数与所述目标文本分节集中目标子语音文本的总个数相同；
文本语义向量获取单元，用于将各子语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与各子语音文本分别对应的子文本语义向量，以串接组成文本语义向量；
目标文本语义向量获取单元，用于将各目标子语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与各目标子语音文本分别对应的目标子文本语义向量，以串接组成目标文本语义向量；
第一熟练度参数计算单元，用于计算所述文本语义向量与所述目标文本语义向量之间的欧式距离，以作为所述第一熟练度参数。
在本实施例中，当服务器接收了所述讲解文本练习语音数据后，为了计算其对应的语音识别文本与目标讲解文本之间的相似度，可以先通过语音识别模型（例如N-gram模型，也即多元模型）对所述讲解文本练习语音数据进行语音识别，得到语音识别文本，这样计算获取语音识别文本与目标讲解文本之间的相似度则是计算文本之间的相似度。
由于文本中存在一些非关键词（如语气词、连接词等），为了提炼文本的核心关键词组成语义向量进行文本相似度的计算，可以采用将文本进行分段处理的方式来计算文本的综合相似度。在所述目标讲解文本中以段落之间的分隔符作为分节符，所述目标讲解文本中则是可以根据分节符划分为多个段落（即多个目标子语音文本，上述多个目标子语音文本组成目标文本分节集）。由于拜访人在根据目标讲解文本进行练习的过程中，所录音得到的讲解文本练习语音数据相对应的语音识别文本应与所述目标讲解文本大致相同，那么在对语音识别文本进行划分分段的时候也可参考所述目标讲解文本的分节符，以将所述语音识别文本对应进行分节得到语音文本分节集（所述语音文本分节集中包括多个子语音文本）。
之后将各子语音文本依次进行分词（通过基于统计的分词方法进行分词，）、关键词提取（通过TF-IDF模型进行关键词提取）、词向量转化（通过word2vec模型进行词向量转化）和语义向量获取，得到与各子语音文本分别对应的子文本语义向量，以串接组成文本语义向量。其中，在根据多个词向量获取语音向量时，是先获取各词向量对应的权重值，再计算各词向量的权重和，从而得到语义向量。
之后再计算目标讲解文本对应的目标文本语义向量时，可以参考根据语音识别文本语义向量的过程。当完成了文本语义向量和目标文本语义向量后，即可计算两者之间的欧氏距离以作为所述第一熟练度参数。其中，两者之间的欧氏距离越小，表示两者越近似。
第二分类单元104，用于根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，将所述特征集根据所调用的第二分类模型进行分类得到第二分类结果。
在本实施例中，当拜访人根据目标讲解文本完成了文本练习后，为了进一步进行仿真模拟对话练习，在服务器中可以根据所述第一熟练度参数、所述目标用户画像及随机获取的客户用户画像进行特征提取以得到特征集，之后将所述特征集根据预先训练的第二分类模型进行分类，从而得到第二分类结果。其中，所述第二分类模型也为卷积神经网络模型。
由于参考了第一熟练度参数、所述目标用户画像及随机获取的客户用户画像，故提炼出来的特征集更能反应拜访人对目标讲解文本掌握的熟练程度和拜访人擅长的讲解领域。
在一实施例中，第二分类单元104包括：
第一关键词集合获取单元，用于调用预先存储的第一用户画像挑选策略，以获取与所述目标用户画像对应的第一关键词集合；
第一关键词向量获取单元，用于将所述第一关键词集合中各关键词均转化为对应的词向量，以串接组成第一关键词向量；
第二关键词集合获取单元，用于调用预先存储的第二用户画像挑选策略，以获取与所述客户用户画像对应的第二关键词集合；
第二关键词向量获取单元，用于将所述第二关键词集合中各关键词均转化为对应的词向量，以串接组成第二关键词向量；
特征集拼接单元，用于将所述第一熟练度参数、所述第一关键词向量和所述第二关键词向量依序串接组成所述特征集。
在本实施例中，为了获得作为第二分类模型输入的特征集，此时可以先调用第一用户画像挑选策略，以获取与所述目标用户画像对应的第一关键词集合，同时调用预先存储的第二用户画像挑选策略，以获取与所述客户用户画像对应的第二关键词集合。在获取了上述两个关键词集合后，均对应转化为词向量，从而结合所述第一熟练度参数、所述第一关键词向量和所述第二关键词向量依序串接组成特征集。通过这一数据处理方式，能够提炼出参考维度更多的特征集。
虚拟交互模型获取单元105，用于获取本地已存储的AI虚拟交互模型库中与所述第二分类结果相对应的目标AI虚拟交互模型。
在本实施例中，由于服务器本地的AI虚拟交互模型库中存储有多个分类结果分别对应的AI虚拟交互模型。例如，第二分类结果等于0.5，则获取的是第一AI虚拟交互模型，其适合对目标讲解文本熟练程度不高的待拜访人进行AI仿真模拟对话练习；第二分类结果等于0.7，则获取的是第二AI虚拟交互模型，其适合对目标讲解文本熟练程度中等的待拜访人进行AI仿真模拟对话练习；第二分类结果等于0.9，则获取的是第三AI虚拟交互模型，其适合对目标讲解文本熟练程度较高的待拜访人进行AI仿真模拟对话练习。该目标AI虚拟交互模型本质上可以理解成一个智能客服，可与用户进行语音互动和沟通，从而实现了仿真模拟对话以模拟练习讲解的效果。
交互语音获取单元106，用于接收所述用户端与所述目标AI虚拟交互模型之间对应的交互语音数据。
在本实施例中，由于用户端与所述目标AI虚拟交互模型进行语音互动时，用户端可采集交互语音数据，在完成了本轮模拟仿真互动练习后，将交互语音数据上传至服务器，以进一步进行练习熟练程度的评估。
第二参数获取单元107，用于将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数。
在本实施例中，在拜访人与服务器中所述目标AI虚拟交互模型完成了虚拟仿真交互练习后，为了评估拜访人对目标讲解文本在仿真交互练习过程中的熟练程度，也是可以参考计算第一熟练度参数的过程。具体是将所述交互语音数据转化为对应的语义向量后，与由目标标准语音数据对应转化的语义向量之间计算向量相似度，从而作为第二熟练度参数。
在一实施例中，第二参数获取单元107包括：
交互语音文本获取单元，用于调用预先训练的语音识别模型以对所述交互语音数据进行语音识别，得到交互语音文本；
目标标准语音文本获取单元，用于调用所述语音识别模型以对所述目标标准语音数据进行语音识别，得到目标标准语音文本；
交互语音文本语义向量获取单元，用于将所述交互语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与交互语音文本对应的交互语音文本语义向量；
目标标准语音文本语义向量获取单元，用于将所述目标标准语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与目标标准语音文本对应的目标标准语音文本语义向量；
第二熟练度参数计算单元，用于计算所述交互语音文本语义向量与所述目标标准语音文本语义向量之间的欧式距离，以作为所述第二熟练度参数。
在本实施例中，当服务器接收了所述交互语音数据以及调用了本地的目标标准语音数据后，为了计算交互语音文本与目标标准语音文本之间的相似度，可以先通过语音识别模型（例如N-gram模型，也即多元模型）对所述交互语音数据进行语音识别得到交互语音文本，也对所述目标标准语音数据进行语音识别，得到目标标准语音文本，这样计算交互语音文本与目标标准语音文本之间的相似度则是计算文本之间的相似度。计算文本之间的相似度，则可以参考第一参数获取单元103的具体实施方式。通过这一方式量化了用户对目标讲解文本的掌握熟练程度。
在用户画像获取单元101、第一分类单元102及第一参数获取单元103中实现了拜访人的讲解文本初始学习过程，在第二分类单元104、虚拟交互模型获取单元105、交互语音获取单元106及第二参数获取单元107中则实现了拜访人的模拟仿真交互练习的练习过程。上述过程是基于服务器根据用户画像推荐的目标讲解文本进行学习和练习，无需人工整理目标讲解文本，提高了目标讲解文本的获取效率。
拜访信息获取单元108，用于若检测到所述用户端上传的待拜访人资料获取指令，获取与所述待拜访人资料获取指令对应的请求人信息和待拜访人信息；其中，所述请求人信息包括所述第一熟练度参数、所述第二熟练度参数和所述目标用户画像，所述待拜访人信息包括待拜访人用户画像和待拜访人产品需求信息。
在本实施例中，当拜访人基于服务器提供的目标讲解文本提供了学习和练习后，此时可以与待拜访人建立在线视频会议连接后，基于服务器自动推荐的文本与待拜访人进行沟通。
具体的，当服务器检测到用户端上传的待拜访人资料获取指令时，表示之前用户端还未与另一用户端建立视频连接以进行在线会议，此时为了辅助用户端的使用者更好的与另一用户端的使用者高效的进行在线视频会议沟通，可先由用户端向服务器发送待拜访人资料获取指令。当服务器检测到用户端发送的待拜访人资料获取指令时，由服务器根据所述待拜访人资料获取指令对应的请求人信息和待拜访人信息。
其中，所述请求人信息包括第一熟练度参数、第二熟练度参数和目标用户画像。因为在服务器中存储了关于用户端使用者以及另一用户端使用者的大量历史数据，以这些历史数据为数据基础，可以处理得到用户端使用者对应的用户画像（可对应上述的目标用户画像），且得到与另一用户端使用者对应的用户画像（可对应上述的待拜访人用户画像）。待拜访人产品需求信息是该另一用户端使用者在与用户端使用者进行电话沟通、或是通过通讯软件沟通（如微信、QQ等）时在对话记录中有记载，这一待拜访人产品需求信息可以理解为待拜访人的产品购买意向。
例如，若用户端使用者对应业务人员，另一用户端使用者对应消费者，此时业务人员可以通过在线会议的方式向消费者推荐一些产品。此时目标用户画像中一般有该业务员精通哪一类型产品的销售的标签，待拜访人用户画像一般有该消费者的用户标签（例如属于哪一年龄段、属于职业群体、工资收入属于哪一收入范围群体），而且在服务器中可以根据待拜访人资料获取指令获取对应待拜访人产品需求信息。通过上述方式，是在服务器中自动根据待拜访人资料获取指令识别或检索出对应数据，无需用户上传过多数据，简化了数据获取流程。
推荐信息生成单元109，用于调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息；其中，所述信息推荐策略用于提取所述目标用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述请求人推荐信息，以及提取所述待拜访人用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述待拜访人推荐信息。
在本实施例中，为了更好的辅助第一类型智能终端使用者向第二类型智能终端使用者推荐若干产品，在两者进行视频连线之前，在服务器中可以为第一类型智能终端使用者生成请求人推荐信息及待拜访人推荐信息。
在一实施例中，推荐信息生成单元109包括：
请求人推荐信息生成单元，用于获取所述信息推荐策略中的第一推荐信息生成策略，根据所述目标用户画像、所述待拜访人产品需求信息及所述第一推荐信息生成策略，以生成所述请求人推荐信息；
待拜访人推荐信息生成单元，用于获取所述信息推荐策略中的第二推荐信息生成策略，根据所述待拜访人用户画像、所述待拜访人产品需求信息及所述第二推荐信息生成策略，以生成所述待拜访人推荐信息。
在本实施例中，所述请求人推荐信息可以理解为在服务器中根据目标用户画像及待拜访人产品需求信息生成请求人推荐信息，也即可根据信息推荐策略筛选出目标用户画像中的关键标签（如精通寿险A产品），还获取了待拜访人产品需求信息（例如也是寿险A产品），此时可以基于目标用户画像中的关键标签和待拜访人产品需求信息在服务器的本地数据库中搜索与该待拜访人产品需求信息的产品介绍信息（例如是寿险A产品的投保规则、投保费用、投保年限、险种详细介绍）以作为请求人推荐信息。
所述待拜访人推荐信息可以理解为在服务器中根据待拜访人用户画像及待拜访人产品需求信息生成待拜访人推荐信息，也即可以根据信息推荐策略筛选出待拜访人用户画像中的关键标签（如中年人，收入范围是月薪20000-30000等），还获取了待拜访人产品需求信息（例如也是寿险A产品），此时可以基于待拜访人用户画像中的关键标签和待拜访人产品需求信息在服务器的本地数据库中搜索针对该类用户标签的话术（该话术可以引导第一类型智能终端使用者按照指定语句顺序与第二类型智能终端使用者进行沟通）以作为待拜访人推荐信息。
在服务器中所生成的请求人推荐信息和待拜访人推荐信息，可以作为第一类型智能终端使用者与第二类型智能终端使用者进行沟通过程的引导数据，这些引导数据的获取是在服务器中自动生成获取，无需用户手动检索，提高了数据获取效率。
该装置实现了基于服务器根据用户画像推荐的目标讲解文本进行学习和练习，无需人工整理目标讲解文本，提高了目标讲解文本的获取效率。
上述基于AI的虚拟交互模型生成装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于AI的虚拟交互模型生成方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于AI的虚拟交互模型生成方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于AI的虚拟交互模型生成方法。
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于AI的虚拟交互模型生成方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于AI的虚拟交互模型生成方法，其特征在于，包括：
若检测到用户端发送的虚拟交互对象生成指令，获取本地已存储的与所述用户端对应的目标用户画像，并随机获取本地已存储的客户用户画像；
调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端；
接收所述用户端发送的讲解文本练习语音数据，将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数；
根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，将所述特征集根据所调用的第二分类模型进行分类得到第二分类结果；
获取本地已存储的AI虚拟交互模型库中与所述第二分类结果相对应的目标AI虚拟交互模型；
接收所述用户端与所述目标AI虚拟交互模型之间对应的交互语音数据；
将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数；
若检测到所述用户端上传的待拜访人资料获取指令，获取与所述待拜访人资料获取指令对应的请求人信息和待拜访人信息；其中，所述请求人信息包括所述第一熟练度参数、所述第二熟练度参数和所述目标用户画像，所述待拜访人信息包括待拜访人用户画像和待拜访人产品需求信息；以及
调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息；其中，所述信息推荐策略用于提取所述目标用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述请求人推荐信息，以及提取所述待拜访人用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述待拜访人推荐信息。
2.根据权利要求1所述的基于AI的虚拟交互模型生成方法，其特征在于，所述调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端，包括：
获取所述目标用户画像和所述客户用户画像中包括的标签以组成标签关键词集，将所述标签关键词集根据所调用的第一分类模型进行分类得到第一分类结果；其中，所述第一分类模型是卷积神经网络模型；
获取本地已存储的讲解文本库中与所述第一分类结果相对应的目标讲解文本，将所述目标讲解文本发送至所述用户端。
3.根据权利要求1所述的基于AI的虚拟交互模型生成方法，其特征在于，所述将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数，包括：
调用预先训练的语音识别模型以对所述讲解文本练习语音数据进行语音识别，得到所述语音识别文本；
获取所述目标讲解文本的分节符，以将所述语音识别文本对应进行分节得到语音文本分节集，并获取所述目标讲解文本的目标文本分节集；其中，所述语音文本分节集中包括多个子语音文本，所述目标文本分节集包括多个目标子语音文本，所述语音文本分节集中子语音文本的总个数与所述目标文本分节集中目标子语音文本的总个数相同；
将各子语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与各子语音文本分别对应的子文本语义向量，以串接组成文本语义向量；
将各目标子语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与各目标子语音文本分别对应的目标子文本语义向量，以串接组成目标文本语义向量；
计算所述文本语义向量与所述目标文本语义向量之间的欧式距离，以作为所述第一熟练度参数。
4.根据权利要求1所述的基于AI的虚拟交互模型生成方法，其特征在于，所述根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，包括：
调用预先存储的第一用户画像挑选策略，以获取与所述目标用户画像对应的第一关键词集合；
将所述第一关键词集合中各关键词均转化为对应的词向量，以串接组成第一关键词向量；
调用预先存储的第二用户画像挑选策略，以获取与所述客户用户画像对应的第二关键词集合；
将所述第二关键词集合中各关键词均转化为对应的词向量，以串接组成第二关键词向量；
将所述第一熟练度参数、所述第一关键词向量和所述第二关键词向量依序串接组成所述特征集。
5.根据权利要求1所述的基于AI的虚拟交互模型生成方法，其特征在于，所述将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数，包括：
调用预先训练的语音识别模型以对所述交互语音数据进行语音识别，得到交互语音文本；
调用所述语音识别模型以对所述目标标准语音数据进行语音识别，得到目标标准语音文本；
将所述交互语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与交互语音文本对应的交互语音文本语义向量；
将所述目标标准语音文本依次进行分词、关键词提取、词向量转化和语义向量获取，得到与目标标准语音文本对应的目标标准语音文本语义向量；
计算所述交互语音文本语义向量与所述目标标准语音文本语义向量之间的欧式距离，以作为所述第二熟练度参数。
6.根据权利要求1所述的基于AI的虚拟交互模型生成方法，其特征在于，所述调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息，包括：
获取所述信息推荐策略中的第一推荐信息生成策略，根据所述目标用户画像、所述待拜访人产品需求信息及所述第一推荐信息生成策略，以生成所述请求人推荐信息；
获取所述信息推荐策略中的第二推荐信息生成策略，根据所述待拜访人用户画像、所述待拜访人产品需求信息及所述第二推荐信息生成策略，以生成所述待拜访人推荐信息。
7.根据权利要求1所述的基于AI的虚拟交互模型生成方法，其特征在于，还包括：
接收另一用户端所发送的与所述待拜访人推荐信息相对应的用户回复语音数据并存储。
8.一种基于AI的虚拟交互模型生成装置，其特征在于，包括：
用户画像获取单元，用于若检测到用户端发送的虚拟交互对象生成指令，获取本地已存储的与所述用户端对应的目标用户画像，并随机获取本地已存储的客户用户画像；
第一分类单元，用于调用第一分类模型，以获取与所述目标用户画像和所述客户用户画像对应的第一分类结果，根据所述第一分类结果在本地已存储的讲解文本库中获取对应的目标讲解文本，将所述目标讲解文本发送至所述用户端；
第一参数获取单元，用于接收所述用户端发送的讲解文本练习语音数据，将所述讲解文本练习语音数据对应的语音识别文本与所述目标讲解文本进行相似度计算，得到与所述用户端对应的第一熟练度参数；
第二分类单元，用于根据所述第一熟练度参数、所述目标用户画像及随机获取的所述客户用户画像进行特征提取以得到特征集，将所述特征集根据所调用的第二分类模型进行分类得到第二分类结果；
虚拟交互模型获取单元，用于获取本地已存储的AI虚拟交互模型库中与所述第二分类结果相对应的目标AI虚拟交互模型；
交互语音获取单元，用于接收所述用户端与所述目标AI虚拟交互模型之间对应的交互语音数据；
第二参数获取单元，用于将所述交互语音数据与所述目标AI虚拟交互模型对应的目标标准语音数据进行相似度计算，得到与所述用户端对应的第二熟练度参数；
拜访信息获取单元，用于若检测到所述用户端上传的待拜访人资料获取指令，获取与所述待拜访人资料获取指令对应的请求人信息和待拜访人信息；其中，所述请求人信息包括所述第一熟练度参数、所述第二熟练度参数和所述目标用户画像，所述待拜访人信息包括待拜访人用户画像和待拜访人产品需求信息；以及
推荐信息生成单元，用于调用预先存储的信息推荐策略，根据所述请求人信息、所述待拜访人信息及所述信息推荐策略，生成请求人推荐信息及待拜访人推荐信息；其中，所述信息推荐策略用于提取所述目标用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述请求人推荐信息，以及提取所述待拜访人用户画像中的若干个关键标签以与所述待拜访人产品需求信息生成所述待拜访人推荐信息。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于AI的虚拟交互模型生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于AI的虚拟交互模型生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011209226.4A CN112346567B (zh) | 2020-11-03 | 2020-11-03 | 基于ai的虚拟交互模型生成方法、装置及计算机设备 |
| PCT/CN2021/091300 WO2022095380A1 (zh) | 2020-11-03 | 2021-04-30 | 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011209226.4A CN112346567B (zh) | 2020-11-03 | 2020-11-03 | 基于ai的虚拟交互模型生成方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112346567A CN112346567A (zh) | 2021-02-09 |
| CN112346567B true CN112346567B (zh) | 2022-12-06 |
Family
ID=74356169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011209226.4A Active CN112346567B (zh) | 2020-11-03 | 2020-11-03 | 基于ai的虚拟交互模型生成方法、装置及计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112346567B (zh) |
| WO (1) | WO2022095380A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112346567B (zh) * | 2020-11-03 | 2022-12-06 | 平安科技（深圳）有限公司 | 基于ai的虚拟交互模型生成方法、装置及计算机设备 |
| CN112989022B (zh) * | 2021-03-16 | 2022-11-25 | 中国平安人寿保险股份有限公司 | 虚拟文本智能选取方法、装置以及计算机设备 |
| CN113591489B (zh) * | 2021-07-30 | 2023-07-18 | 中国平安人寿保险股份有限公司 | 语音交互方法、装置及相关设备 |
| CN114218363B (zh) * | 2021-11-23 | 2023-04-18 | 深圳市领深信息技术有限公司 | 基于大数据和ai的服务内容生成方法及人工智能云系统 |
| CN114816064A (zh) * | 2022-04-27 | 2022-07-29 | 深圳微言科技有限责任公司 | 用于解释人工智能模型的方法、装置及系统 |
| CN115857704A (zh) * | 2023-03-03 | 2023-03-28 | 北京黑油数字展览股份有限公司 | 一种基于元宇宙的展览系统、交互方法以及电子设备 |
| CN116737936B (zh) * | 2023-06-21 | 2024-01-02 | 圣风多媒体科技(上海)有限公司 | 一种基于人工智能的ai虚拟人物语言库分类管理系统 |
| CN116976821B (zh) * | 2023-08-03 | 2024-02-13 | 广东企企通科技有限公司 | 企业问题反馈信息处理方法、装置、设备及介质 |
| CN116741143B (zh) * | 2023-08-14 | 2023-10-31 | 深圳市加推科技有限公司 | 基于数字分身的个性化ai名片的交互方法及相关组件 |
| CN117274421B (zh) * | 2023-11-06 | 2024-04-02 | 北京中数文化科技有限公司 | 一种基于ai智能终端的交互场景照片制作方法 |
| CN117422002B (zh) * | 2023-12-19 | 2024-04-19 | 利尔达科技集团股份有限公司 | 一种基于aigc的嵌入式产品生成方法、系统及存储介质 |
| CN117909600B (zh) * | 2024-03-13 | 2024-06-14 | 苏州元脑智能科技有限公司 | 交互对象的推荐的方法和装置、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146610A (zh) * | 2018-07-16 | 2019-01-04 | 众安在线财产保险股份有限公司 | 一种智能保险推荐方法、装置及智能保险机器人设备 |
| CN109670110A (zh) * | 2018-12-20 | 2019-04-23 | 蒋文军 | 一种教育资源推荐方法、装置、设备及存储介质 |
| US10467792B1 (en) * | 2017-08-24 | 2019-11-05 | Amazon Technologies, Inc. | Simulating communication expressions using virtual objects |
| CN110503502A (zh) * | 2018-05-17 | 2019-11-26 | 中国移动通信集团有限公司 | 一种业务推荐方法、设备、装置和计算机可读存储介质 |
| US10691897B1 (en) * | 2019-08-29 | 2020-06-23 | Accenture Global Solutions Limited | Artificial intelligence based virtual agent trainer |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110347863B (zh) * | 2019-06-28 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 话术推荐方法和装置及存储介质 |
| CN110610705B (zh) * | 2019-09-20 | 2023-07-25 | 上海数鸣人工智能科技有限公司 | 一种基于人工智能的语音交互提示器 |
| CN110782318A (zh) * | 2019-10-21 | 2020-02-11 | 五竹科技(天津)有限公司 | 基于音频交互的营销方法、装置以及存储介质 |
| CN111259132A (zh) * | 2020-01-16 | 2020-06-09 | 中国平安财产保险股份有限公司 | 话术推荐方法、装置、计算机设备和存储介质 |
| CN112346567B (zh) * | 2020-11-03 | 2022-12-06 | 平安科技（深圳）有限公司 | 基于ai的虚拟交互模型生成方法、装置及计算机设备 |
-
2020
- 2020-11-03 CN CN202011209226.4A patent/CN112346567B/zh active Active
-
2021
- 2021-04-30 WO PCT/CN2021/091300 patent/WO2022095380A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10467792B1 (en) * | 2017-08-24 | 2019-11-05 | Amazon Technologies, Inc. | Simulating communication expressions using virtual objects |
| CN110503502A (zh) * | 2018-05-17 | 2019-11-26 | 中国移动通信集团有限公司 | 一种业务推荐方法、设备、装置和计算机可读存储介质 |
| CN109146610A (zh) * | 2018-07-16 | 2019-01-04 | 众安在线财产保险股份有限公司 | 一种智能保险推荐方法、装置及智能保险机器人设备 |
| CN109670110A (zh) * | 2018-12-20 | 2019-04-23 | 蒋文军 | 一种教育资源推荐方法、装置、设备及存储介质 |
| US10691897B1 (en) * | 2019-08-29 | 2020-06-23 | Accenture Global Solutions Limited | Artificial intelligence based virtual agent trainer |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022095380A1 (zh) | 2022-05-12 |
| CN112346567A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112346567B (zh) | 基于ai的虚拟交互模型生成方法、装置及计算机设备 | |
| JP6799574B2 (ja) | 音声対話の満足度の確定方法及び装置 | |
| CN109360550A (zh) | 语音交互系统的测试方法、装置、设备和存储介质 | |
| CN111159414B (zh) | 文本分类方法及系统、电子设备、计算机可读存储介质 | |
| CN111179935B (zh) | 一种语音质检的方法和设备 | |
| CN110309114A (zh) | 媒体信息的处理方法、装置、存储介质和电子装置 | |
| CN108960574A (zh) | 问答的质量确定方法、装置、服务器和存储介质 | |
| CN110399473B (zh) | 为用户问题确定答案的方法和装置 | |
| US20190295199A1 (en) | Intelligent legal simulator | |
| CN111985243B (zh) | 情感模型的训练方法、情感分析方法、装置及存储介质 | |
| CN112995690B (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
| CN111177307A (zh) | 一种基于语义理解相似度阀值配置的测试方案及系统 | |
| CA3147634A1 (en) | Method and apparatus for analyzing sales conversation based on voice recognition | |
| CN111222837A (zh) | 智能化面试的方法、系统、设备及计算机存储介质 | |
| CN114218488A (zh) | 基于多模态特征融合的信息推荐方法、装置及处理器 | |
| CN117520503A (zh) | 基于llm模型的金融客服对话生成方法、装置、设备及介质 | |
| CN112053205A (zh) | 通过机器人情绪识别的产品推荐方法及装置 | |
| CN112507095A (zh) | 基于弱监督学习的信息识别方法及相关设备 | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN112069833A (zh) | 日志分析方法、日志分析装置及电子设备 | |
| CN111883111B (zh) | 话术训练处理方法、装置、计算机设备和可读存储介质 | |
| CN114138954A (zh) | 用户咨询问题推荐方法、系统、计算机设备及存储介质 | |
| CN113590772A (zh) | 异常评分的检测方法、装置、设备及计算机可读存储介质 | |
| CN112597295A (zh) | 摘要提取方法、装置、计算机设备和存储介质 | |
| CN111340329A (zh) | 演员评估方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |