CN104461525B - 一种可自定义的智能咨询平台生成系统 - Google Patents
一种可自定义的智能咨询平台生成系统 Download PDFInfo
- Publication number
- CN104461525B CN104461525B CN201410705828.7A CN201410705828A CN104461525B CN 104461525 B CN104461525 B CN 104461525B CN 201410705828 A CN201410705828 A CN 201410705828A CN 104461525 B CN104461525 B CN 104461525B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mfrac
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种可自定义的智能咨询平台生成系统,包括:三维数字人建模单元、存储单元、汉语问答引擎单元、汉语问答背景去噪单元、虚拟人驱动引擎、虚拟人展示单元、多媒体数据库、数字多媒体展示单元、多媒体数据库管理单元、多媒体数据库管理子单元、云数据库单元、远程客户端等,该系统应用广泛、触摸式人机交互因其界面友好、操作简单、体验性强。
Description
技术领域
本发明涉及一种可自定义智能咨询平台生成系统,涉及自然语言理解、三维动画、虚拟现实、语音识别等多个学科领域。
背景技术
随着信息科学和计算机技术的飞速发展与普及,信息资源逐步走向数字化。人们信息咨询的方式已不是传统意义上的人与人之间的交流,用机器代替人的人机交流亦成为信息咨询的必然选择。利用计算机合成生动活泼的虚拟人像,并辅之以丰富、自然的语言、表情及口型等人类习惯的自然方式与人们进行交流,这无疑会使人机交互更人性化。
本发明结合自然语言理解技术和3D动画技术研究3D虚拟人智能咨询技术,使虚拟人能够用自然语言与用户问答交流,并能在交流过程中根据情绪语义模仿人的表情及口型,该发明分为智能语言理解问答、真实感面部表情动画合成算法和语音与口型动画同步匹配算法三个部分,涉及自然语言理解、三维动画、虚拟现实、语音识别等多个学科领域,同时,伴随智能手机的应用与普及,物联网概念和智慧城市建设的推进,以及自助终端在各行业的广泛应用,触摸式人机交互因其界面友好、操作简单、体验性强等,得到越来越多用户的青睐。
发明内容
本发明的目的在于克服现有技术的不足,提供一种可自定义的智能咨询平台生成系统,包括:
三维数字人建模单元,用于构造虚拟人模型,进行人体建模和显示,并建立人体的各种运动库;
存储单元,用于存储三维数字人建模单元构造的虚拟人模型和建立的人体的各种运动库数据;
汉语问答引擎单元,用于汉语语言交互问答,用户输入的问题文本进入该引擎,该引擎智能搜索数据库中问题集并反馈找到问题对应的文本答案,同时将语义传递给数字人驱动引擎;
汉语问答背景去噪单元,用于从输入的问题文本中获得与输入的问题文本同步的输入背景噪声,对输入背景噪声进行分析,进行输入背景噪声平滑处理,得到输入背景噪声,基于综合加权算法,获得噪声时间控制比例,添加噪声权重值因子,计算输入背景噪声的噪声同步时间;
数字人驱动引擎,与知识库组织结构相关,用于采用领域层次知识组织形式,多叉树层次智能检索算法,语义匹配方面采用基于最大关键词有序序列的加权语句相似度算法;
问答知识自动采集单元,用于在用户咨询过程中收集用户问题,如果用户的问题在系统中不存在,则记录这些问题并提交相应的专家解决;还用于计算问题集中问题的访问频率,在问句检索时优先检索用户访问频率高的问题;还用于将采集的数据传输到多媒体数据库;
虚拟人驱动引擎单元,用于驱动虚拟人动作,所述虚拟人驱动引擎单元通过语言问答引擎输出的语义对虚拟人驱动,根据回答的文字语言,进行口型匹配,并伴有肢体动作,其中所述虚拟人驱动引擎单元与数据库中动画库组织结构相关,发音口型根据文字发声的声母和韵母发声口型,提取口型运动、手势和动作数据,根据人体捕捉动画数据采用算法使提取的数据自动合成,使虚拟人能够与用户进行动作、表情、手势上交互;
多媒体数据库,用于存储口型动画数据、手势动画数据、领域知识数据和/或多媒体数据;还用于接收来自问答知识自动采集单元采集的数据,并存储;还用于将存储的所有数据以无线的方式传递给云数据库单元,并且能够从云数据库单元下载备份数据;
数字多媒体展示单元,用于兼容显示数字多媒体,所述数字多媒体为文本、图像、视频、和/或flash动画,数字多媒体展示模块与多媒体数据库相关联,在进行问答咨询时根据汉语问答引擎单元返回的答案内容调用相应的多媒体数据,在系统空闲时展示设定的内容或随机显示多媒体数据库中的内容;
多媒体数据库管理单元,用于管理口型动画数据、手势动画数据、领域知识数据和/或多媒体数据,并用于建立层次结构的领域关键词库,并根据虚拟人手势与口型动画按照相关性与知识库建立映射关系;
多媒体数据库管理子单元,用于根据展示的需求,基于所述输入背景噪声的噪声同步时间选择控制添加输入背景噪声和/或添加背景图像;
云数据库单元,用于接收来自多媒体数据库传输的所述存储的所有数据,并将接收来自多媒体数据库传输的所述存储的所有数据存储后作为备份数据,供远程客户端和/或多媒体数据库下载;
远程客户端,用于远程控制系统中的各个单元和引擎;还用于下载云数据库单元中存储的数据,进行自定义编辑,将自定义编辑后的数据回传至云数据库单元和/或多媒体数据库,对云数据库单元和多媒体数据库的数据进行更新。
优选地,运动库为表情库和/或手势库。
优选地,系统还包括文本及语音输出单元,用于语音输出问题的答案。
优选地,系统还包括输入模块,用于输入用户问题。
优选地,输入模块为语音输入模块和/或键盘输入模块。
优选地,数字多媒体展示单元包括一显示模块,用于显示。
优选地,显示模块为触摸显示屏。
优选地,触摸显示屏包括答案区、多媒体显示区、问题区、数字人显示区、功能按钮区。
优选地,语义匹配方面采用基于概念对象模型的问句相似度算法,具体为通过分析领域问句特点从中抽取领域概念、领域对象、概念属性和对象属性、及它们之间的关系,得到领域概念集合、领域对象集合、属性集合及关系集合,经分析关系集合中的关系定义关系的表示形式,其中概念与属性之间的关系、概念与概念间的继承关系、概念与对象之间的关系分别单独表示,最后建立领域概念对象模型,具体如下:
抽取领域概念,建立领域概念集合Concepts={C1,C2,…Cn};
抽取领域对象,建立领域对象集合Objects={O1,O2,…,Om};
抽取概念属性和对象属性,建立属性集合Attributes={A1,A2,…,Ak};
抽取领域概念、领域对象、概念属性和对象属性之间的关系,建立关系集合Relations={R1,R2,…,Rl};
定义概念、属性和对象之间的关系、概念与属性之间的关系、概念与概念间的继承关系、概念与对象之间的关系和其他关系的表示形式,建立领域概念对象模型;
其中,问句相似度计算分解为问句包含的对象之间的相似度计算、对象属性之间的相似度计算、对象关系之间的相似度计算、其余部分相似度计算四部分;其中各部分的计算均看作是对应的两个集合的相似度计算,依次从一个集合中选取一个元素分别与另一个集合中的元素计算相似度,挑选出最大相似度的元素对,循环直到第一个集合为空;然后把挑选出的这些元素对的相似度相加,除以第一个集合包含的元素个数;最后将分别以两个集合为基础计算的结果平均得到两个集合的相似度,问句之间的相似度计算由四部分计算结果加权计算得到。
问句的相似度计算具体为:
对象部分相似度计算:
式中sim(Ou,Ov)为对象Ou和Ov的相似度,如果为同一个对象,其值为1,否则为0,Ou和Ov分别是Q'obj,Qobj中的关系,n1和m1分别是Q'obj,Qobj中关系的个数;
属性部分相似度计算:
式中sim(Au,Av)为属性Au和属性Av的相似度,如果为同一个属性,其值为1,否则为0,属性Au和属性Av分别是Q'att,Qatt中的关系,n2和m2分别是Q'att,Qatt中关系的个数;
关系之间的相似度计算:
式中sim(Ru,Rv)为关系Ru和关系Rv的相似度,如果为同一个关系,其值为1否则为0,Ru和Rv分别是Q'rel,Qrel中的关系,n3和m3分别是Q'rel,Qrel中关系的个数;
其余部分相似度计算:
式中sim(Wu,Wv)为词Wu和词Wv的相似度,其计算方法基于语义计算方式,Wu和Wv分别是Q'res和Qres中的词,n4和m4分别是Q'rest和Qrest中词的个数;
步骤4.5:最终问句的相似度计算:
SIM(Q',Q)=a1SIMqobj(Q'obj,Qobj)+a2SIMqatt(Q'att,Qatt)
+a3SIMqrel(Q'rel,Qrel)+a4SIMqres(Q'res,Qres)
其中,a1+a2+a3+a4=1,a1,a2,a3,a4分别代表各相似度的分配系数。
可自定义的智能咨询平台生成技术,可以通过重新设置表情动画库、手势动画库、口型动画库、体型动画库、领域问答知识库、领域知识模型等方法,可以在一个新的领域中快速的构建一个新的智能咨询平台。
本发明的有益效果为:
(1)发明成果服务于公共咨询服务行业,应用在医院、科技馆、交通等领域的部分企事业单位,运行效果良好。今后将进一步推广到如图书馆、博物馆、会展、旅游景点、城乡社区文化场所等文化服务单位,同时在机场、车站、银行、商场、教育、娱乐等公共社会服务领域也有广阔的应用前景。
(2)可以添加背景图像,使得动画可以根据需求来选择不同的背景图像,从而将动画呈现在不同的场景下,动画更加生动,真实。
(3)对噪声的处理和添加,使得根据不同的场景需要,可以调整噪声的级别,例如在会议时,可以选择不添加噪声或者降低噪声的级别,使得会议可以在比较安静,观众可以清晰听见语音的环境下进行;当需要呈现出背景噪声时,可以将背景噪声呈现或者以需要的噪声级别呈现,例如需要伴随有背景环境中的水声、鸟叫声等,使得动画更加生动,真实,效果更好;
(7)利用综合加权算法对噪声进行处理,使得动画合成和同步灵活,合成和同步后更贴近需求的合成需求,系统展示画面更加生动,真实,效果好;
(9)云数据库单元的使用,使得整个系统的数据备份份数更多,更有保障,并且利用了云计算端大的存储容量,优越的运算能力和更广的数据网络,系统功能更加强大,系统某一部分出现故障,对系统影响变小,系统可以正常运作,并且结合远程客户端,可以对数据进行自定义编辑后更新,而且能够集中操作显示和方便查询控制,可控性更强,系统更加灵活多变,适应性更强。
附图说明
图1可自定义的智能咨询平台框架示意图
图2智能语言引擎问答信息处理流程图。
具体实施方式
下面详细说明本发明的具体实施,有必要在此指出的是,以下实施只是用于本发明的进一步说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出的一些非本质的改进和调整,仍然属于本发明的保护范围。
系统开发环境及系统配置要求,
系统开发环境:
本项目以Windows系统为操作系统环境,以Microsoft Visual Studio 2008为开发环境,应用VC++、Ogre、CEGUI等技术进行研发。
系统配置需求
硬件环境:
①PC Pentium 4处理器,内存2G,硬盘60G以上;
②1280×1024分辨率大屏幕触摸彩色显示器。
软件环境:Windows操作系统;
系统环境要求:windows2000以上版本操作系统、微软Speech SDK5.0语音运行环境、SQL Server2000版本数据库。
图1为本发明提出的一种可自定义的智能咨询平台框架示意图,主要包括:系统输入输出单元、智能语言引擎单元、虚拟人驱动单元、多媒体展示单元、三维虚拟人建模单元及数据库管理单元。
系统输入输出单元,系统的输入主要采用两种方式,一种是直接文字问题输入,直接利用键盘或者软键盘在输入框中输入用户要提问的问题,一种是以语音方式输入,语音输入采用微软的Speech SDK5.1进行语音输入操作,并对其API函数的研究,实现了领域知识的添加。系统输出采用多种输出形式,文本输出直接以文本形式显示用户问题的答案,语音的输出采用微软的Speech SDK5.1进行语音输出操作,并伴随语音输出虚拟人演示一些相应的动作,如果有对应的多媒体信息,由多媒体展示区同时展示对应的多媒体信息,虚拟人动作由虚拟人驱动单元根据具体输出的语音驱动完成。
智能语言引擎单元,语言交互由语言引擎完成,如果通过说话的方式与虚拟人进行交流,语音转化为文本进入语言引擎,语言引擎智能搜索反馈答案,输出文本并通过朗读功能用语音回答,同时将语义传递给虚拟人驱动引擎。通过语音识别引擎转化为文本,输出的文本通过文本朗读引擎朗读出来,实现用户与虚拟人交流,本发明采用微软的SpeechSDK5.1进行语音输入输出的操作,并过对其API函数的研究,实现了智能添加领域问题,方便后面用户的识别。
应用语言引擎切词划分的算法及智能检索的算法,并应用基于统计的自然语言理解方法,从多元性表现和内涵两个方面来描述概念,合理建立各种词库、知识库等数据库,将用户所说内容与知识库中问题相匹配,搜索最接近的答案,实现虚拟人的智能反馈。本单元采用中文问答系统普遍采用的中国科学院计算技术研究所研究的分词组件ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System),进行句子分词和词性标注。ICTCLAS的最主要特点在于采用了层叠隐马尔可夫模型(HierarchicalHidden Markov Model),将汉语词法分析的主要问题(汉语分词、未定义词识别和词性标注)都统一到了一个完整的理论框架中。并采用哈工大同义词词林结合领域知识提取同义词表,建立同义词库。最后应用基于最大关键词有序序列的问句匹配方法及基于概念对象模型的问句相似度计算方法,对问句进行分析、相似度匹配,得到正确答案。
图2为智能语言引擎问答信息处理流程图。
虚拟人驱动引擎单元,即通过语言引擎输出的语义对虚拟人驱动,包括表情匹配、动作匹配等驱动,达到表情和行为的交互,通过输入和回答的内容,做出面部表情的变化,根据回答的文字语言,进行口型匹配,并伴有手部的动作等,对于头部的动作,如抬头、点头、摇头、眼睛的眨动等,采用统计的办法建立动作对应模型,发音口型根据文字发声的声母和韵母发声口型,提取口型运动,采用B样条方法建立一种口型的平滑动作过度,使得虚拟解说员更加活灵活现。
本发明发明采用BVH格式存储通过运动采集得到的人体动作轨迹,并将其与三维模型相结合得到三维人体动作。
本发明发明采用拼音发音进行口型匹配,对拼音重新进行定义,对每个汉字的拼音都定义为两部分:Ⅰ部和Ⅱ部。Ⅰ部和Ⅱ部分别对应一种口型状态,在制作口型动画时,人物每说一个汉字时,口型就由Ⅰ部关键帧过度变形为Ⅱ部关键帧。Ⅱ部的动画时长要大于Ⅰ部也就是说口型的最终外观效果主要是体现在Ⅱ部。完成拼音的I部与Ⅱ部定义后接下来就是转换工作,就是将汉字的标准拼音转换成由I部与Ⅱ部符号组成。为了以后MAXScript脚本编写方便我们把I部与Ⅱ部的口型记号简化一下,去掉前面的Ⅰ和Ⅱ只写成一个字母简化后字母共有六个:a、o、e、u、b、d。
三维数字人建模,构造虚拟人模型,进行人体建模和显示,并建立人体的各种运动库,如表情库、手势库,使虚拟人能够与用户进行动作、表情、手势上交互。本发明采用3DMAX进行人体建模,利用Ogre引擎进行模型动作、表情、口型的渲染。
后台数据库管理开发,开发管理知识数据库以及虚拟人的几何数据、运动数据、表情数据和手势数据的接口,提供虚拟人显示及运动控制的功能,即构建并管理控制虚拟人载入,运动及显示的应用程序开发包,方便根据需要进行二次开发,同时后台还将开发对数字人进行训练,“教”给他如何做如何说的机制,方便使用者定制咨询系统的面向受众。
在进行人机交互的过程中,有一些知识是需要相应的场景进行展示的,为了提供更良好的人机交互效果,以便于咨询者能够更好的理解相关的交流信息,本发明在主页面实现过程中添加了视频展示设计,在该区域可以展示与交流内容相适应的视频,再加上虚拟人物的动作、口型和表情等信息,使得本发明中的虚拟人交互更加贴近现实。
另外,设计该模块的另一个重要用途是在系统处于静默状态时,系统可以自适应地播放相应的动画视频,这在银行、政府服务大厅等公共场所是十分必要的。
通过总体分析,将界面主要分为五个区:数字人显示区、多媒体显示区、问题区(选择和备选答案)、答案输出区、功能按钮区。
数字人展示区将展示数字人的各种行为动作;多媒体显示区显示与答案相关的各种数字媒体文件,包括视频、图片等,用以辅助问题解释;问题区中问题被选区给出模糊搜索得到问题集,供用户选取,并给出一个匹配问题;答案区显示问题答案文本;功能按钮区进行语音与触摸屏的输入切换等其他操作。
1.基本显示区域功能
(1)数字人展示区
数字人展示区将展示数字人的各种行为动作。在该区域将展示在智能交互过程中三维虚拟人的手势动作、口型匹配和眨眼等动作。为智能人机交互添加几分真实感的生机。
(2)多媒体显示区
在进行人机交互的过程中,有一些知识是需要相应的场景进行展示的,为了提供更良好的人机交互效果,以便于咨询者能够更好的理解相关的交流信息,本系统在主页面实现过程中添加了视频展示设计,在该区域可以展示与交流内容相适应的视频,再加上虚拟人物的动作、口型和表情等信息,使得本系统中的虚拟人交互更加贴近现实。
另外,设计该模块的另一个重要用途是在系统处于静默状态时,系统可以自适应地播放相应的动画视频,这在银行、政府服务大厅等公共场所是十分必要的。
(3)答案区
答案区显示问题答案文本,主要显示数据库中与咨询者进行交流中,系统智能匹配值最高的问题的答案,即该部分表示的答案与问题匹配列表中的第一项相对应。
(4)问题区
问题区中问题被选区给出模糊搜索得到问题集,供用户选取,并给出一个匹配问题。当用户输入文本或语音交互时,该模块负责实现现实交互问题匹配度最高的前十个问题,其中问题由上至下按照匹配度由大到小的顺序进行排序,为了摒弃不合理的匹配效果,本系统采用智能截取阈值方法,动态调整问题列表中显示的问题数目。
2.功能按钮
功能按钮:可以实现视频播放、视频停止、切换媒体、全屏播放等功能。为了方便咨询者的交流,该区域同时设计了视频全屏、视频暂停、视频停止、视频开始播放四个视频控制按钮。
3.输入方式选择区
输入方式选择区:可以进行问题输入方式选择,用户自由选择语音输入和键盘输入两种方式。界面设计过程中,为方便人们进行充分的人机交互,系统设计了文本信息交互和语音智能交互两种交互手段,为咨询者提供了更多的交互方式。
4.语音按钮
语音按钮:可以选择是否使用语音作为问题答案的输出。如果在嘈杂的环境下,咨询者听不清楚虚拟人的信息反馈时,咨询者可关闭虚拟人的声音交互等,选择文本查看的方式。
5.退出系统
通过系统中的退出功能正常退出,具体操作步骤是:点击主界面中右上角的推出按钮,即可退出公共服务智能咨询系统。
尽管为了说明的目的,已描述了本发明的示例性实施方式,但是本领域的技术人员将理解,不脱离所附权利要求中公开的发明的范围和精神的情况下,可以在形式和细节上进行各种修改、添加和替换等的改变,而所有这些改变都应属于本发明所附权利要求的保护范围,并且本发明要求保护的产品各个部门和方法中的各个步骤,可以以任意组合的形式组合在一起。因此,对本发明中所公开的实施方式的描述并非为了限制本发明的范围,而是用于描述本发明。相应地,本发明的范围不受以上实施方式的限制,而是由权利要求或其等同物进行限定。
Claims (8)
1.一种可自定义的智能咨询平台生成系统,其特征在于,包括:
三维数字人建模单元,用于构造虚拟人模型,进行人体建模和显示,并建立人体的各种运动库;
存储单元,用于存储三维数字人建模单元构造的虚拟人模型和建立的人体的各种运动库数据;
汉语问答引擎单元,用于汉语语言交互问答,用户输入的问题文本进入该引擎,该引擎智能搜索数据库中问题集并反馈找到问题对应的文本答案,同时将语义传递给数字人驱动引擎;
汉语问答背景去噪单元,用于从输入的问题文本中获得与输入的问题文本同步的输入背景噪声,对输入背景噪声进行分析,进行输入背景噪声平滑处理,得到输入背景噪声,基于综合加权算法,获得噪声时间控制比例,添加噪声权重值因子,计算输入背景噪声的噪声同步时间;
数字人驱动引擎,与知识库组织结构相关,用于采用领域层次知识组织形式,多叉树层次智能检索算法,语义匹配方面采用基于最大关键词有序序列的加权语句相似度算法和/或基于概念对象模型的问句相似度算法;
问答知识自动采集单元,用于在用户咨询过程中收集用户问题,如果用户的问题在系统中不存在,则记录这些问题并提交相应的专家解决;还用于计算问题集中问题的访问频率,在问句检索时优先检索用户访问频率高的问题;还用于将采集的数据传输到多媒体数据库;
虚拟人驱动引擎单元,用于驱动虚拟人动作,所述虚拟人驱动引擎单元通过语言问答引擎输出的语义对虚拟人驱动,根据回答的文字语言,进行口型匹配,并伴有肢体动作,其中所述虚拟人驱动引擎单元与数据库中动画库组织结构相关,发音口型根据文字发声的声母和韵母发声口型,提取口型运动、手势和动作数据,根据人体捕捉动画数据采用算法使提取的数据自动合成,使虚拟人能够与用户进行动作、表情、手势上交互;
多媒体数据库,用于存储口型动画数据、手势动画数据、领域知识数据和/或多媒体数据;还用于接收来自问答知识自动采集单元采集的数据,并存储;还用于将存储的所有数据以无线的方式传递给云数据库单元,并且能够从云数据库单元下载备份数据;
数字多媒体展示单元,用于兼容显示数字多媒体,所述数字多媒体为文本、图像、视频、和/或flash动画,数字多媒体展示模块与多媒体数据库相关联,在进行问答咨询时根据汉语问答引擎单元返回的答案内容调用相应的多媒体数据,在系统空闲时展示设定的内容或随机显示多媒体数据库中的内容;
多媒体数据库管理单元,用于管理口型动画数据、手势动画数据、领域知识数据和/或多媒体数据,并用于建立层次结构的领域关键词库,并根据虚拟人手势与口型动画按照相关性与知识库建立映射关系;
多媒体数据库管理子单元,用于根据展示的需求,基于所述输入背景噪声的噪声同步时间选择控制添加输入背景噪声和/或添加背景图像;
云数据库单元,用于接收来自多媒体数据库传输的所述存储的所有数据,并将接收来自多媒体数据库传输的所述存储的所有数据存储后作为备份数据,供远程客户端和/或多媒体数据库下载;
远程客户端,用于远程控制系统中的各个单元和引擎;还用于下载云数据库单元中存储的数据,进行自定义编辑,将自定义编辑后的数据回传至云数据库单元和/或多媒体数据库,对云数据库单元和多媒体数据库的数据进行更新;
其中所述语义匹配方面采用基于概念对象模型的问句相似度算法,具体为通过分析领域问句特点从中抽取领域概念、领域对象、概念属性和对象属性、及它们之间的关系,得到领域概念集合、领域对象集合、属性集合及关系集合,经分析关系集合中的关系定义关系的表示形式,其中概念与属性之间的关系、概念与概念间的继承关系、概念与对象之间的关系分别单独表示,最后建立领域概念对象模型,具体如下:
抽取领域概念,建立领域概念集合Concepts={C1,C2,…Cn};
抽取领域对象,建立领域对象集合Objects={O1,O2,…,Om};
抽取概念属性和对象属性,建立属性集合Attributes={A1,A2,…,Ak};
抽取领域概念、领域对象、概念属性和对象属性之间的关系,建立关系集合Relations={R1,R2,…,Rl};
定义概念、属性和对象之间的关系、概念与属性之间的关系、概念与概念间的继承关系、概念与对象之间的关系和其他关系的表示形式,建立领域概念对象模型;
其中,问句相似度计算分解为问句包含的对象之间的相似度计算、对象属性之间的相似度计算、对象关系之间的相似度计算、其余部分相似度计算四部分;其中各部分的计算均看作是对应的两个集合的相似度计算,依次从一个集合中选取一个元素分别与另一个集合中的元素计算相似度,挑选出最大相似度的元素对,循环直到第一个集合为空;然后把挑选出的这些元素对的相似度相加,除以第一个集合包含的元素个数;最后将分别以两个集合为基础计算的结果平均得到两个集合的相似度,问句之间的相似度计算由四部分计算结果加权计算得到;
问句的相似度计算具体为:
对象部分相似度计算:
<mrow>
<msub>
<mi>SIMq</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>Q</mi>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>v</mi>
<mo><</mo>
<mi>m</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>O</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>O</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>v</mi>
<mo><</mo>
<mi>n</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>O</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>O</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
式中sim(Ou,Ov)为对象Ou和Ov的相似度,如果为同一个对象,其值为1,否则为0,Ou和Ov分别是Q'obj,Qobj中的关系,n1和m1分别是Q'obj,Qobj中关系的个数;
属性部分相似度计算:
<mrow>
<msub>
<mi>SIMq</mi>
<mrow>
<mi>a</mi>
<mi>t</mi>
<mi>t</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>t</mi>
<mi>t</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>t</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>v</mi>
<mo><</mo>
<mi>m</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>A</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>A</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>u</mi>
<mo><</mo>
<mi>n</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>A</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>A</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
式中sim(Au,Av)为属性Au和属性Av的相似度,如果为同一个属性,其值为1,否则为0,属性Au和属性Av分别是Q'att,Qatt中的关系,n2和m2分别是Q'att,Qatt中关系的个数;
关系之间的相似度计算:
<mrow>
<msub>
<mi>SIMq</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>l</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>l</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>Q</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mn>3</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>3</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>v</mi>
<mo><</mo>
<mi>m</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>R</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mn>3</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>m</mi>
<mn>3</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>u</mi>
<mo><</mo>
<mi>n</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>R</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>R</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
式中sim(Ru,Rv)为关系Ru和关系Rv的相似度,如果为同一个关系,其值为1否则为0,Ru和Rv分别是Q′rel,Qrel中的关系,n3和m3分别是Q′rel,Qrel中关系的个数;
其余部分相似度计算:
<mrow>
<msub>
<mi>SIMq</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>Q</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mn>4</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mn>4</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>v</mi>
<mo><</mo>
<mi>m</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>W</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>m</mi>
<mn>4</mn>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>m</mi>
<mn>4</mn>
</msub>
</munderover>
<munder>
<mi>max</mi>
<mrow>
<mn>1</mn>
<mo><</mo>
<mi>u</mi>
<mo><</mo>
<mi>n</mi>
</mrow>
</munder>
<mo>(</mo>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>W</mi>
<mi>u</mi>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>v</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
式中sim(Wu,Wv)为词Wu和词Wv的相似度,其计算方法基于语义计算方式,Wu和Wv分别是Q′res和Qres中的词,n4和m4分别是Q′rest和Qrest中词的个数;
步骤4.5:最终问句的相似度计算:
SIM(Q',Q)=a1SIMqobj(Q'obj,Qobj)+a2SIMqatt(Q'att,Qatt)
+a3SIMqrel(Q′rel,Qrel)+a4SIMqres(Q′res,Qres)
其中,a1+a2+a3+a4=1,a1,a2,a3,a4分别代表各相似度的分配系数。
2.根据权利要求1所述的可自定义的智能咨询平台生成系统,其特征在于,所述运动库为表情库和/或手势库。
3.根据权利要求1所述的可自定义的智能咨询平台生成系统,其特征在于,还包括文本及语音输出单元,用于语音输出问题的答案。
4.根据权利要求1所述的可自定义的智能咨询平台生成系统,其特征在于,还包括输入模块,用于输入用户问题。
5.根据权利要求4所述的可自定义的智能咨询平台生成系统,其特征在于,输入模块为语音输入模块和/或键盘输入模块。
6.根据权利要求4所述的可自定义的智能咨询平台生成系统,其特征在于,数字多媒体展示单元包括一显示模块,用于显示。
7.根据权利要求6所述的可自定义的智能咨询平台生成系统,其特征在于,显示模块为触摸显示屏。
8.根据权利要求7所述的可自定义的智能咨询平台生成系统,其特征在于,触摸显示屏包括答案区、多媒体显示区、问题区、数字人显示区、功能按钮区。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410705828.7A CN104461525B (zh) | 2014-11-27 | 2014-11-27 | 一种可自定义的智能咨询平台生成系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410705828.7A CN104461525B (zh) | 2014-11-27 | 2014-11-27 | 一种可自定义的智能咨询平台生成系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104461525A CN104461525A (zh) | 2015-03-25 |
CN104461525B true CN104461525B (zh) | 2018-01-23 |
Family
ID=52907636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410705828.7A Active CN104461525B (zh) | 2014-11-27 | 2014-11-27 | 一种可自定义的智能咨询平台生成系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104461525B (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104767980B (zh) * | 2015-04-30 | 2018-05-04 | 深圳市东方拓宇科技有限公司 | 一种实时情绪演示方法、系统、装置和智能终端 |
CN105429855A (zh) * | 2015-11-26 | 2016-03-23 | 成都微讯云通科技有限公司 | 一种基于语音的通信方法 |
CN105447157A (zh) * | 2015-12-01 | 2016-03-30 | 无锡颖检企业管理咨询有限公司 | 一种在线信息咨询检索系统 |
CN105632251B (zh) * | 2016-01-20 | 2018-04-20 | 华中师范大学 | 具有语音功能的3d虚拟教师系统及其方法 |
CN106341398A (zh) * | 2016-08-25 | 2017-01-18 | 刘华英 | 平台信息交互方法、装置和系统 |
CN106407428A (zh) * | 2016-09-27 | 2017-02-15 | 生活立方家(武汉)科技有限公司 | 一种网络请求应对系统 |
CN107357416A (zh) * | 2016-12-30 | 2017-11-17 | 长春市睿鑫博冠科技发展有限公司 | 一种人机交互装置及交互方法 |
CN106709018A (zh) * | 2016-12-27 | 2017-05-24 | 羽意互动咨询(北京)有限公司 | 命中预设问题的方法及装置 |
CN107329990A (zh) * | 2017-06-06 | 2017-11-07 | 北京光年无限科技有限公司 | 一种用于虚拟机器人的情绪输出方法以及对话交互系统 |
CN107688950B (zh) * | 2017-08-31 | 2022-03-11 | 广东美的制冷设备有限公司 | 家电售后咨询方法、电子设备和计算机可读存储介质 |
CN108415995B (zh) * | 2018-02-13 | 2022-04-22 | 北京百度网讯科技有限公司 | 搜索方法和装置 |
CN108961431A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 人物表情的生成方法、装置及终端设备 |
CN108922534A (zh) * | 2018-07-04 | 2018-11-30 | 北京小米移动软件有限公司 | 控制方法、装置、设备及存储介质 |
CN108958050A (zh) * | 2018-07-12 | 2018-12-07 | 李星仪 | 用于智能生活应用的展示平台系统 |
CN109118562A (zh) * | 2018-08-31 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 虚拟形象的讲解视频制作方法、装置以及终端 |
CN109841213A (zh) * | 2018-12-25 | 2019-06-04 | 南京硅基智能科技有限公司 | 基于二维码对展会内商品进行语音交互系统 |
CN109858298A (zh) * | 2018-12-25 | 2019-06-07 | 南京硅基智能科技有限公司 | 一种二维码扫码进行语音交互的装置 |
CN110287294A (zh) * | 2018-12-27 | 2019-09-27 | 厦门智融合科技有限公司 | 知识产权概念自动解答方法及系统 |
CN109947911B (zh) * | 2019-01-14 | 2023-06-16 | 达闼机器人股份有限公司 | 一种人机交互方法、装置、计算设备及计算机存储介质 |
CN110277086B (zh) * | 2019-06-25 | 2021-11-19 | 中国科学院自动化研究所 | 基于电网调度知识图谱的语音合成方法、系统及电子设备 |
CN110288683B (zh) * | 2019-06-28 | 2024-05-28 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
CN110674398A (zh) * | 2019-09-05 | 2020-01-10 | 深圳追一科技有限公司 | 虚拟人物形象交互方法、装置、终端设备及存储介质 |
CN111063024A (zh) * | 2019-12-11 | 2020-04-24 | 腾讯科技(深圳)有限公司 | 三维虚拟人驱动方法、装置、电子设备及存储介质 |
CN112270986A (zh) * | 2020-10-27 | 2021-01-26 | 深圳市妇幼保健院 | 分娩镇痛多媒体自助咨询诊疗系统 |
CN113641442A (zh) * | 2021-08-31 | 2021-11-12 | 京东方科技集团股份有限公司 | 交互方法、电子设备及存储介质 |
CN117519483A (zh) * | 2023-11-22 | 2024-02-06 | 艾迪普科技股份有限公司 | 基于数字虚拟的媒体动态交互方法、系统和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101174259A (zh) * | 2007-09-17 | 2008-05-07 | 张琰亮 | 一种智能互动式问答系统 |
CN101373532A (zh) * | 2008-07-10 | 2009-02-25 | 昆明理工大学 | 旅游领域faq中文问答系统实现方法 |
CN101685454A (zh) * | 2008-09-28 | 2010-03-31 | 华为技术有限公司 | 人机交互方法及系统 |
CN102955848A (zh) * | 2012-10-29 | 2013-03-06 | 北京工商大学 | 一种基于语义的三维模型检索系统和方法 |
CN103279528A (zh) * | 2013-05-31 | 2013-09-04 | 俞志晨 | 一种基于人机结合的问答系统及方法 |
CN103902652A (zh) * | 2014-02-27 | 2014-07-02 | 深圳市智搜信息技术有限公司 | 自动问答系统 |
-
2014
- 2014-11-27 CN CN201410705828.7A patent/CN104461525B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101174259A (zh) * | 2007-09-17 | 2008-05-07 | 张琰亮 | 一种智能互动式问答系统 |
CN101373532A (zh) * | 2008-07-10 | 2009-02-25 | 昆明理工大学 | 旅游领域faq中文问答系统实现方法 |
CN101685454A (zh) * | 2008-09-28 | 2010-03-31 | 华为技术有限公司 | 人机交互方法及系统 |
CN102955848A (zh) * | 2012-10-29 | 2013-03-06 | 北京工商大学 | 一种基于语义的三维模型检索系统和方法 |
CN103279528A (zh) * | 2013-05-31 | 2013-09-04 | 俞志晨 | 一种基于人机结合的问答系统及方法 |
CN103902652A (zh) * | 2014-02-27 | 2014-07-02 | 深圳市智搜信息技术有限公司 | 自动问答系统 |
Non-Patent Citations (3)
Title |
---|
受限领域内基于中文问句语义相关度计算的智能问答系统研究;王新磊;《中国优秀硕士学位论文全文数据库信息科技辑》;中国学术期刊电子杂志社;20140815(第08期);I138-1537 * |
基于中文带权关键词树的受限域问答系统研究;李长进;《中国优秀硕士学位论文全文数据库信息科技辑》;中国学术期刊电子杂志社;20110715(第07期);I138-998 * |
虚拟教师研究综述;赵慧勤 等;《微型机与应用》;20100310(第05期);第1-5页,第2.2.4节第1段,第3.2.3节第2段 第2.1.3节第2段,第2.2.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN104461525A (zh) | 2015-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104461525B (zh) | 一种可自定义的智能咨询平台生成系统 | |
US11645547B2 (en) | Human-machine interactive method and device based on artificial intelligence | |
CN109478205B (zh) | 用于计算机学习和理解的体系结构和方法 | |
US11210836B2 (en) | Applying artificial intelligence to generate motion information | |
Sharma et al. | Speech-gesture driven multimodal interfaces for crisis management | |
CN111339246B (zh) | 查询语句模板的生成方法、装置、设备及介质 | |
CN110490213A (zh) | 图像识别方法、装置及存储介质 | |
CN106570106A (zh) | 一种输入过程中将语音信息转化为表情的方法和装置 | |
Nishida et al. | Conversational informatics | |
CN107491929A (zh) | 数据驱动的自然语言事件检测和分类 | |
CN107680165A (zh) | 基于HoloLens的电脑操作台全息展现与自然交互应用方法 | |
CN107590153A (zh) | 使用卷积神经网络的对话相关性建模 | |
CN108628935A (zh) | 一种基于端到端记忆网络的问答方法 | |
CN108280218A (zh) | 一种基于检索和生产混合问答的流程系统 | |
US20240070397A1 (en) | Human-computer interaction method, apparatus and system, electronic device and computer medium | |
CN109409255A (zh) | 一种手语场景生成方法及装置 | |
CN117055724B (zh) | 虚拟教学场景中生成式教学资源系统的工作方法 | |
CN110245253A (zh) | 一种基于环境信息的语义交互方法及系统 | |
CN115348458A (zh) | 虚拟直播控制方法以及系统 | |
Zhang | Voice keyword retrieval method using attention mechanism and multimodal information fusion | |
CN103714248A (zh) | 一种竞聘演讲的训练系统 | |
Farella et al. | Question Answering with BERT: designing a 3D virtual avatar for Cultural Heritage exploration | |
CN117011875A (zh) | 多媒体页面的生成方法、装置、设备、介质和程序产品 | |
CN116820242A (zh) | 一种数字化展厅系统 | |
CN111949773A (zh) | 一种阅读设备、服务器以及数据处理的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |