CN111651582A - 一种模拟用户发言的方法和系统 - Google Patents
一种模拟用户发言的方法和系统 Download PDFInfo
- Publication number
- CN111651582A CN111651582A CN202010587169.7A CN202010587169A CN111651582A CN 111651582 A CN111651582 A CN 111651582A CN 202010587169 A CN202010587169 A CN 202010587169A CN 111651582 A CN111651582 A CN 111651582A
- Authority
- CN
- China
- Prior art keywords
- historical
- customer service
- conversation
- dialog
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书的实施例公开了一种模拟用户发言的方法和系统,该方法包括:获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略。基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;所述对话字典基于历史对话中任意轮对话生成,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。
Description
技术领域
本申请涉及自然语言处理领域,特别涉及一种模拟用户发言的方法和系统。
背景技术
随着人工智能的发展,智能机器人在各行各业中逐渐扮演了重要的角色。例如,在客服服务应用场景中,机器人可以代替人工客服与用户对话。为了提升机器人的服务质量,需要模拟用户的发言,保证机器人在线上应用时,能够为用户提供优质的客服服务。例如,通过模拟不同场景下用户的发言,使得对话的数量和内容均较丰富,将这些对话作为训练数据训练客服机器人,使得机器人可以根据用户的发言做出好的回应。又例如,对于配置的对话流程而言,可以通过模拟用户的发言,对该流程进行质检,保证配置的客服回应策略或话术是准确的。
因此,有必要提供一种模拟用户发言的方法和系统。
发明内容
本说明书一个方面提供一种模拟用户发言的方法,所述方法包括:获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略;基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;所述对话字典基于历史对话中任意轮对话生成,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配;将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。
本说明书另一个方面提供一种模拟用户发言的系统,所述系统包括:第一确定模块,可以用于获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略;第二确定模块,可以用于基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配;字典生成模块,可以用于基于历史对话中任意轮对话生成所述对话字典,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;第三确定模块,可以用于将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。
本说明书另一个方面提供一种模拟用户发言的装置,包括至少一个存储介质和至少一个处理器;所述至少一个存储介质用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令以实现模拟用户发言的方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的模拟用户发言的系统的示例性应用场景示意图;
图2是根据本说明书一些实施例所示的模拟用户发言的方法的示例性流程图;
图3是根据本说明书一些实施例所示的对话字典的示例性示意图;
图4是根据本说明书一些实施例所示的确定历史客服对话策略和历史用户意图的方法示例性示意图;
图5是根据本说明书一些实施例所示的确定目标用户发言的方法的另一示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的模拟用户发言的系统的示例性应用场景示意图。如图1所示,本说明书所涉及的应用场景中可以包括第一计算系统130和/或第二计算系统160。
模拟用户发言的系统100可以应用于智能客服领域。例如,模拟用户发言的系统100可以用于测试基于复杂流程(例如,有限状态机流程)所配置的机器人的对话能力,以保证所配置的机器人在多样、复杂的各种对话场景下,与用户的对话能够更加准确、真实。又例如,模拟用户发言的系统100还可以用于生成可以训练客服机器人的训练数据,以提升客服机器人的在各种对话场景下的应对能力。
在一个典型的应用中,第二计算系统160可以获取待模拟对话150,并基于待模拟对话150确定待模拟客服对话策略;第二计算系统160可以基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;第二计算系统160可以将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果170。
例如,待模拟对话150为已经发生的对话:配置的客服机器人发言为“你好,你的花呗逾期了,请尽快处理”,用户回答为“可以延期吗”,客服机器人继续发言为“不能延期了,会影响征信”。第二计算系统160根据待模拟对话150确定待模拟客服对话策略,并可以基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言,例如,“好的,我尽快处理”;第二计算系统160可以将确定的目标用户发言作为待模拟对话的用户发言的模拟结果,与配置的客服机器人进行模拟对话。
第一计算机系统130可以基于历史对话120建立对话字典。例如,第一计算机系统130可以基于历史对话中的任意轮对话,确定历史客服对话策略和用户历史发言之间的映射关系,并基于所述映射关系建立对话字典。在一些实施例中,对话字典中目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。
第一计算系统130可以获取历史对话120,历史对话120是真实用户和人工客服和/或客服机器人之间的对话。历史对话120可以通过终端110获取。历史对话120可以通过各种常见的方式进入第一计算系统130。
第二计算机系统160可以获取待模拟对话150。待模拟对话150的客服发言可以通过人工输入、客服机器人输入等方式获取。待模拟对话150可以通过各种常见的方式进入第二计算系统160。
第一计算系统130和第二计算系统160可以相同也可以不同。第一计算系统130和第二计算系统160是指具有计算能力的系统,可以包括各种计算机,比如服务器、个人计算机,也可以是由多台计算机以各种结构连接组成的计算平台。
第一计算系统130和第二计算系统160中可以包括处理设备,处理设备可以执行程序指令。处理设备可以包括各种常见的通用中央处理器(central processing unit,CPU),图形处理器(Graphics Processing Unit ,GPU),微处理器,特殊应用集成电路(application-specific integrated circuit,ASIC),或其他类型的集成电路。
第一计算系统130和第二计算系统160中可以包括存储介质,存储介质可以存储指令,也可以存储数据。例如,存储介质可以存储对话字典。存储介质可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。
第一计算系统130和第二计算系统160还可以包括用于内部连接和与外部连接的网络。也可以包括用于输入或输出的终端110。网络可以是有线网络或无线网络中的任意一种或多种。
终端110可以包括各类具有信息接收和/或发送功能的设备,如手机110-1、平板电脑110-2、计算机110-3、文字扫描设备(未示出)、显示设备(未示出)、打印机(未示出)等。
存储设备140可以存储数据和/或指令。在一些实施例中,存储设备140可以存储对话字典、历史对话、待模拟对话等。在一些实施例中,存储设备140可以存储第一计算系统130生成的数据,例如,对话字典、模型参数等。在一些实施例中,存储设备140可以存储供第一计算系统130和/或第二计算系统160执行或使用的数据和/或指令,第一计算系统130和/或第二计算系统160可以通过执行或使用所述数据和/或指令以实现本说明书中的示例性方法。在一些实施例中,存储设备140可以是第一计算系统130和/或第二计算系统160的一部分。在一些实施例中,存储设备140可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。在一些实施例中,存储设备140可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
关于历史对话、待模拟对话和对话字典的更多细节参见图2-图4,此处不再赘述。
在一些实施例中,该系统100中可以包括第一确定模块、第二确定模块、字典生成模块以及第三确定模块。
第一确定模块,可以用于获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略。更多细节可以参见步骤202,此处不再赘述。
第二确定模块,可以用于基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。在一些实施例中,所述对话字典还包括:基于所述任意轮对话的历史用户发言确定的历史用户意图,所述历史客服对话策略和所述历史用户发言之间的映射关系包括所述历史客服对话策略、所述历史用户意图和所述历史用户发言之间的对应关系。更多细节可以参见步骤204,此处不再赘述。
在一些实施例中,该系统100还可以包括:获取模块,用于获取预设用户意图。所述第二确定模块还可以用于:基于所述预设用户意图和所述待模拟客服对话策略,从对话字典中确定至少一条目标用户发言;在所述对话字典中,所述目标用户发言对应的历史用户意图与所述预设用户意图匹配,所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。更多细节可以参见图5,此处不再赘述。
字典生成模块,可以用于基于历史对话中任意轮对话生成所述对话字典,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系。在一些实施例中,所述字典生成模块还可以用于:基于历史对话中任意轮对话,以及该轮对话的对话上文生成所述对话字典;其中,所述对话上文包含:该轮对话的历史客服发言,以及所述历史对话中发生在该历史客服发言之前的对话内容。在一些实施例中,所述字典生成模块还可以用于:从所述历史对话中获取任意轮对话的对话上文;基于所述对话上文确定所述历史客服对话策略。在一些实施例中,所述字典生成模块还可以用于:按发言发生的顺序,依次拼接该轮对话的上文中的历史客服发言和历史用户发言,将拼接后的结果输入策略分类模型,确定所述历史客服对话策略。在一些实施例中,所述字典生成模块还可以用于将所述历史用户发言输入用户意图分类模型,确定所述历史用户意图。更多细节可以参见图2-图4,此处不再赘述。
第三确定模块,可以用于将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。更多细节可以参见步骤206,此处不再赘述。
图2是根据本说明书一些实施例所示的模拟用户发言的方法的示例性流程图。如图2所示,该模拟用户发言的方法200可以包括:
步骤202,获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略。具体地,该步骤202可以由第一确定模块执行。
待模拟对话可以是指需要模拟用户发言的任意对话。例如,用户与客服的对话。例如,待模拟对话为a1b1a2b2a3,其中,a代表客服,b代表用户,则需要模拟用户对最新客服发言a3的回答。
用户发言可以是用户在对话中说的话,例如,用户主动说的话,或回答客服的话。客服发言可以是客服在对话中说的话,例如,客服主动说的话,或响应(或回答)用户发言说的话。客服可以是人工客服或机器人客服。
在一些实施例中,第一确定模块可以从存储设备(例如,存储设备140)或客服日志中获取待模拟对话。
待模拟客服对话策略可以是指待模拟对话中,客服响应用户发言的策略。在一些实施例中,待模拟客服对话策略可以基于待模拟对话中客服最新发言确定。继续以上述示例为例,待模拟对话为a1b1a2b2a3,则待模拟客服对话策略可以基于最新客服发言a3确定。待模拟客服对话策略还可以基于整个待模拟对话中客服的所有发言确定。待模拟客服对话策略还可以基于整个待模拟对话确定。在一些实施例中,第一确定模块可以通过策略分类模型确定所述待模拟客服对话策略。例如,策略分类模型的输入可以是最新客服发言,还可以是待模拟对话中所有的客服发言,还可以是整个待模拟对话,策略分类模型的输出为待模拟客服对话策略。其中,若输入是所有客服发言时,则按待模拟对话中发言发生的顺序,依次拼接客服发言,将拼接后的结果输入策略分类模型;若输入是整个待模拟对话时,则按待模拟对话中发言发生的顺序,依次拼接用户发言和客服发言,将拼接后的结果输入策略分类模型。继续以上述示例为例,待模拟对话为a1b1a2b2a3,则依次拼接a1-b1-a2-b2-a3。关于策略分类模型的更多描述可以参见图3和图4的相关说明,此处不再赘述。
步骤204,基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;所述对话字典基于历史对话中任意轮对话生成,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。具体地,该步骤204可以由第二确定模块执行。
在一些实施例中,对话字典可以反映历史对话的历史客服对话策略与历史用户发言之间的对应关系。例如,每一个历史客服对话策略,在对话字典中都有一个或多个历史用户发言与其对应。在一些实施例中,对话字典还可以反映历史对话的历史客服对话策略、历史用户意图与历史用户发言之间的对应关系。例如,每一个历史客服对话策略,在对话字典中都对应一个或多个历史用户意图,每一个历史用户意图都对应一个或多个历史用户发言。
历史对话是指已经发生的对话(例如,用户与客服之间已经发生的对话),其中,历史对话中用户说的话为历史用户发言,历史对话中客服说的话为历史客服发言。历史对话可以包含一轮或多轮对话,一轮对话是由一次历史用户发言和一次历史客服发言构成。以图4所示为例,图4是根据本说明书一些实施例所示的确定历史客服对话策略和历史用户意图的方法示例性示意图,在400中,历史对话41包含3轮对话,其中,客服发言“请问你是张三吗”和用户发言“对啊,是我”为第一轮,客服发言“你的花呗逾期了,请尽快处理”和用户发言“最近比较困难,可以下周吗”为第二轮,客服发言“不能再延期了,逾期影响征信,请尽快处理”和用户发言“好的,我找朋友周转一下”为第三轮。
对话字典是基于历史对话生成的。具体的,基于历史对话中任意轮对话,或基于历史对话中任意轮对话及该轮对话的对话上文,构建历史客服对话策略、历史用户意图和历史用户发言之间的对应关系。其中,该轮对话的对话上文包括:该轮对话的历史客服发言、历史对话中发生在该轮历史客服发言之前的对话内容。具体可以参见图3和图4,及其相关说明,此处不再赘述。需要说明的是,在本说明书实施例中,对应关系也可以理解为映射关系,两者可以相互替代。
目标用户发言可以是指对话字典中满足要求的历史用户发言,目标用户发言可以作为待模拟对话的用户发言模拟结果的备用。
在一些实施例中,第二确定模块可以将待模拟客服对话策略与对话字典中的历史客服对话策略进行匹配,若匹配,则可以基于该历史客服对话策略与历史用户发言之间的映射关系,将历史客服对话策略所对应的一个或多个历史用户发言作为所述目标用户发言。其中,匹配可以是指待模拟客服对话策略与历史客服对话策略完全相同,也可以是语义相同或相近,也可以是关键词匹配等任意方式。
以图3所示的对话字典为例,若待模拟客服对话策略为“告知逾期”,则可以从对话字典中将“最近比较困难”、“工资还没发”、“资金周转有困难”和“我明天还”,均作为目标用户发言。
在一些实施例中,还可以预设目标用户意图,目标用户意图可以是根据实际需要(例如,应用场景)自定义的用户意图。进一步的,第二确定模块可以基于预设目标用户意图和待模拟客服对话策略,从对话字典中确定至少一条目标用户发言。具体的,在对话字典中,若某个历史用户发言对应的历史客服对话策略和对应的历史用户意图,同时与待模拟客服对话策略和预设目标用户意图匹配时,则可以该历史用户发言确定为目标用户发言。若可以确定满足上述要求的多个历史用户发言,则目标用户发言也为多个。更多的细节可以参见图5及其相关描述,此处不再赘述。
以图3所示的对话字典为例,若待模拟客服对话策略为“告知逾期”,且目标用户意图为“承诺还款时间”,则可以从对话字典中将“我明天还”作为目标用户发言。
步骤206,将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。具体地,该步骤206可以由第三确定模块执行。
模拟结果即为待模拟对话中最终模拟的用户发言。例如,仍以步骤202中的待模拟对话为例,待模拟对话为a1b1a2b2a3,模拟结果则为最终模拟的用户对待模拟对话a3的后续发言b3。
在一些实施例中,第三确定模块可以选择至少一条目标用户发言中的任意一条或多条作为最终模拟的用户发言。在一些实施例中,第三确定模块可以从至少一条目标用户发言中随机选择最终模拟的用户发言,也可以按照目标用户发言的排列顺序依次选择,本说明书实施例对此不作限定。
本说明书实施例中,可以根据待模拟客服对话策略,从对话字典中选择与待模拟客服对话策略匹配的历史客服对话策略所对应的历史用户发言作为目标用户发言,并从中任意选择一条目标用户发言作为所述待模拟对话的用户后续发言,因此,可以实现模拟结果的随机性,例如,可以在测试配置的对话流程场景中,达到对配置的对话流程进行测试的目的。同时,由于历史用户发言是基于已经发生的对话中的真实用户的发言,因此,实现了模拟的用户发言的真实性。
如前所述,对话字典中还包含用户意图,从而可以预设目标用户意图,使得模拟的用户发言符合目标用户意图。换言之,通过用户意图实现对模拟的用户发言的控制,以达到特定的需求。
图3是根据本说明书一些实施例所示的对话字典的示例性示意图。如图3所示,在一些实施例中,对话字典300中可以包括历史客服对话策略310、历史用户意图320和历史用户发言330。而且,历史客服对话策略310、历史用户意图320和历史用户发言330三者之间存在对应关系。例如,历史客服对话策略“告知逾期”对应的历史用户意图包括“承诺还款时间”、“还款困难”和“询问逾期天数”,而历史用户意图“还款困难”对应的历史用户发言包括“最近比较困难”、“工资还没发”、“资金周转有困难”,历史用户意图“承诺还款时间”对应的历史用户发言包括“我明天还”。又例如,历史客服对话策略“施压还款”,对应的历史用户意图包括“询问工号”和“扬言投诉”等。
在一些实施例中,对话字典300中可以只包括历史客服对话策略310、和历史用户发言330,不包括历史用户意图320。而且,历史客服对话策略310和历史用户发言330之间直接对应。例如,历史客服对话策略“告知逾期”,直接与历史用户发言“最近比较困难”、“工资还没发”、“资金周转有困难”和“我明天还”对应。
与步骤202所述的待模拟客服对话策略类似,历史客服对话策略为历史对话中,客服响应历史用户发言的策略。历史客服对话策略可以是历史客服发言代表的目的或想法。历史用户意图是指历史用户发言所表达的目的或想法。
对话字典可以基于历史对话生成。在一些实施例中,可以基于历史对话中任意轮对话生成对话字典。具体的,基于任意轮对话中历史客服发言确定该轮的历史客服对话策略,基于该轮对话中历史用户发言确定该轮的历史用户意图,从而,在对话字典中,建立该轮的历史客服对话策略、该轮的历史用户意图和该轮的历史用户发言的对应关系,或建立该轮的历史客服对话策略和该轮的历史用户发言的对应关系。以图4所示的历史对话为例,基于第三轮对话中的客服发言“不能再延期了,逾期影响征信,请尽快处理”,确定第三轮的历史客服对话策略为“施压还款”,基于第三轮的历史用户发言“好的,我找朋友周转一下”确定第三轮的历史用户意图为“借钱还款”,因此,可以在对话字典中建立“施压还款”-“借钱还款”-“好的,我找朋友周转一下”对应关系,或者,建立“施压还款”-“好的,我找朋友周转一下”对应关系。
在一些实施例中,对话字典可以基于历史对话中任意轮对话,以及该轮对话的对话上文生成。其中,该轮对话的对话上文包括:该轮对话的历史客服发言,以及历史对话中发生在该历史客服发言之前的对话内容。以图4为例,第一轮对话的对话上文为“请问你是张三吗”,第二轮对话的对话上文为“请问你是张三吗”至“你的花呗逾期了,请尽快处理”所有对话内容,以此类推。具体的,可以基于历史对话中任意轮对话的对话上文确定该轮对话的历史客服对话策略,该轮对话的历史用户发言确定该轮的历史用户意图,从而,在对话字典中,建立该轮的历史客服对话策略、该轮的历史用户意图和该轮的历史用户发言的对应关系,或建立该轮的历史客服对话策略和该轮的历史用户发言的对应关系。以图4所示的历史对话为例,基于第三轮对话的对话上文,即“请问你是张三吗”至“不能再延期了,逾期影响征信,请尽快处理”所有对话内容,确定第三轮的历史客服对话策略为“建议还款”,基于第三轮的历史用户发言“好的,我找朋友周转一下”确定第三轮的历史用户意图为“借钱还款”,因此,可以在对话字典中建立“建议还款”-“借钱还款”-“好的,我找朋友周转一下”对应关系,或者,建立“建议还款”-“好的,我找朋友周转一下”对应关系。
在一些实施例中,可以基于模型(如图4所示的用户意图分类模型43),确定历史用户意图。具体的,将某轮的历史用户发言输入用户意图分类模型,得到该轮的历史用户意图。
在一些实施例中,可以基于多个带有第一标签的第一训练样本训练初始意图分类模型,得到用户意图分类模型。其中,每个第一训练样本可以是任意轮对话中的历史用户发言,第一标签可以是标注的历史用户意图。
在一些实施例中,可以基于模型(如图4所述的策略分类模型42),确定历史客服对话策略。例如,将某轮的历史客服发言输入策略分类模型,得到该轮的历史用户意图。又例如,将某轮的对话上文输入策略分类模型,得到该轮的历史用户意图,其中,具体的,按发言发生的顺利,依次拼接该轮对话的上文中的历史客服发言和历史用户发言,将拼接后的结果输入策略分类模型,确定该轮对应的历史客服对话策略。示例的,将图4中第二轮的对话上文按顺序拼接,即“请问你是张三吗”-“对啊,我是”-“你的花呗逾期了,请尽快处理”,将拼接后的结果输入模型中,确定第二轮的历史客服对话策略为“告知逾期”。
在一些实施例中,可以基于多个带有第二标签的第二训练样本训练初始策略分类模型,得到策略分类模型。其中,每个第二训练样本可以是任意轮对话中的历史客服发言,也可以是任意轮对话的对话上文,第二标签可以是标注的历史客服对话策略。
在一些实施例中,获取第一训练样本和第二训练样本的方式可以是从线上平台(例如,网站、应用程序等)获取,也可以是直接从存储了大量历史对话的存储设备中读取。在一些实施例中,还可以采用其他任意方式获取第一训练样本和第二训练样本,本实施例不做限制。
在一些实施例中,第一标签和第二标签的获取方式可以是人工标记,也可以是其他方式,本实施例不作限制。
在一些实施例中,策略分类模型和用户意图分类模型可以是逻辑回归模型、朴素贝叶斯分类模型、高斯分布贝叶斯分类模型、决策树模型、随机森林模型、KNN分类模型、神经网络模型等。在一些实施例中,用户意图分类模型的类型可以与策略分类模型的类型相同或不同。
在一些实施例中,将文本(例如,历史用户发言、历史客服发言等)输入模型(例如,用户意图分类模型或策略分类模型)之前,对文本进行编码,从而,将编码得到的对应的向量输入模型,确定对应的意图或策略。其中,可以通过编码模型实现编码,例如,BERT或LSTM等。
可以理解,若历史对话包含多轮对话,则可以确定多个历史客服对话策略、对应的历史用户发言和对应的历史用户意图。基于多个历史对话,则可以确定大量的历史客服对话策略、对应的历史用户发言和对应的历史用户意图,从而构成了对话字典。
从图3中可以得知,在对话字典的映射关系中,是以历史客服对话策略为起点,从历史客服对话策略映射到历史用户意图,再从历史用户意图映射到历史用户发言。因此,在确定了待模拟对话客服对话策略之后,通过从对话字典中选择与待模拟对话客服对话策略匹配的历史客服对话策略,即可根据相应映射关系确定至少一个历史用户意图,进一步地,根据历史用户意图与历史用户发言的映射关系,从历史用户发言中确定至少一个目标用户发言。
如前所述,在本实施例中,基于某轮对话的对话上文确定历史客服对话策略,相较于基于该轮对话中的历史客服发言确定历史客服对话策略,可以综合考虑到上下文的语义信息,使得确定的结果更加准确,因为当历史对话有多轮时,对话中后面的客服发言往往是根据前面的对话情况确定的,可以理解,后面的客服对话策略需要根据前面的对话情况确定。例如,结合上述示例,若直接将历史客服发言“你的花呗逾期了,请尽快处理”输入至策略分类模型,策略分类模型根据该句话可能输出的历史客服对话策略为“施压还款”或“催促还款”等,可以理解,“施压还款”和“催促还款”都具有较强烈的语义,以督促欠款人还款。而如果将对话上文输入至策略分类模型,在综合考虑上下文的语义信息后,例如,在历史客服发言“你的花呗逾期了,请尽快处理”之前,还向用户发言询问“请问你是张三吗”,综合之下,历史客服发言的语义相对柔和,则策略分类模型输出的历史客服对话策略为“告知逾期”,在该历史对话场景下,可以仅仅是向用户告知花呗逾期,而不是向用户施压还款,从而使得历史客服对话策略的确定可以更加准确。
图5是根据本说明书一些实施例所示的确定目标用户发言的方法的示例性流程图。如图5所示,确定目标用户发言的方法500可以包括:
步骤502,获取预设用户意图。具体地,该步骤502可以由获取模块执行。
预设用户意图可以是指预先确定的想要模拟的一个或多个用户意图。在一些实施例中,预设用户意图可以是预设类型的用户的发言意图。例如,在欠款催收对话场景中,预设类型的用户可以包括遗忘型用户、经济困难型用户、恶意逾期型用户等。可以根据测试需求,预设用户意图的选择范围(例如,选择经济困难型的用户发言所对应的用户意图),选择与预设用户意图对应的历史用户发言用于模拟对话,以此实现对用户类型的设定,满足特定的测试需求。
在一些实施例中,获取模块可以直接从存储设备或人工输入的内容中获取预设用户意图,也可以通过调用相关接口或其他方式获取预设用户意图。
步骤504,基于所述预设用户意图和所述待模拟客服对话策略,从对话字典中确定至少一条目标用户发言。具体地,该步骤504可以由第二确定模块执行。
在一些实施例中,如上文图3中对对话字典的相关描述,在所述对话字典中,可以包括历史客服对话策略、历史用户意图以及历史用户发言之前的对应关系。因此,第二确定模块还可以基于所述预设用户意图和所述待模拟客服对话策略,确定目标用户发言。例如,第二确定模块可以首先将所述待模拟客服对话策略与对话字典中的历史客服对话策略进行匹配,然后根据匹配的历史客服对话策略与历史用户意图之间的映射关系,确定一个或多个候选历史用户意图;进一步地,第二确定模块可以将预设用户意图与候选历史用户意图进行匹配,得到匹配的历史用户意图;最后可以基于匹配的历史用户意图与历史用户发言之间的映射关系,确定至少一条目标用户发言。又例如,同时与对话字典中的历史客服对话策略和历史用户意图进行匹配,将两者都匹配对应的历史用户发言作为目标用户发言。
进一步的,可以随机从历史用户发言中确定目标用户发言,也可以按照对话字典中历史用户发言的排列顺序依次确定目标用户发言。本说明书实施例对此不作限定。
由上述内容可知,可以基于预设用户意图和待模拟客户对话策略,准确地确定想要模拟的类型的用户在待模拟对话场景下的发言,提高测试时模拟用户发言的可控性,达到提高测试的效果的目的。
本说明书实施例还提供一种模拟用户发言的装置,包括至少一个存储介质和至少一个处理器;所述至少一个存储介质用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令以实现模拟用户发言的方法。所述方法可以包括:获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略;基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;所述对话字典基于历史对话中任意轮对话生成,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配;将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的处理设备或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (15)
1.一种模拟用户发言的方法,包括:
获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略;
基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;所述对话字典基于历史对话中任意轮对话生成,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;在所述对话字典中,所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配;
将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。
2.根据权利要求1所述的方法,所述对话字典还包括:基于所述任意轮对话的历史用户发言确定的历史用户意图,所述历史客服对话策略和所述历史用户发言之间的映射关系包括:
所述历史客服对话策略、所述历史用户意图和所述历史用户发言之间的对应关系。
3.根据权利要求2所述的方法,所述方法还包括:
获取预设用户意图;
基于所述预设用户意图和所述待模拟客服对话策略,从对话字典中确定至少一条目标用户发言;在所述对话字典中,所述目标用户发言对应的历史用户意图与所述预设用户意图匹配,所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。
4.根据权利要求1所述的方法,所述方法还包括:
所述对话字典基于历史对话中任意轮对话,以及该轮对话的对话上文生成;
其中,所述对话上文包含:该轮对话的历史客服发言,以及所述历史对话中发生在该历史客服发言之前的对话内容。
5.根据权利要求4所述的方法,确定所述历史客服对话策略包括:
从所述历史对话中获取任意轮对话的对话上文;
基于所述对话上文确定所述历史客服对话策略。
6.根据权利要求5所述的方法,所述基于所述对话上文确定所述历史客服对话策略,包括:
按发言发生的顺序,依次拼接该轮对话的上文中的历史客服发言和历史用户发言,将拼接后的结果输入策略分类模型,确定所述历史客服对话策略。
7.根据权利要求2所述的方法,所述基于所述历史用户发言确定的历史用户意图,包括:
将所述历史用户发言输入用户意图分类模型,确定所述历史用户意图。
8.一种模拟用户发言的系统,包括:
第一确定模块,用于获取待模拟对话,基于所述待模拟对话确定待模拟客服对话策略;
第二确定模块,用于基于所述待模拟客服对话策略从对话字典中确定至少一条目标用户发言;在所述对话字典中所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配;
字典生成模块,用于基于历史对话中任意轮对话生成所述对话字典,所述对话字典包括历史客服对话策略和历史用户发言之间的映射关系;
第三确定模块,用于将所述至少一条目标用户发言作为所述待模拟对话的用户发言的模拟结果。
9.根据权利要求8所述的系统,所述对话字典还包括:基于所述任意轮对话的历史用户发言确定的历史用户意图,所述历史客服对话策略和所述历史用户发言之间的映射关系包括:
所述历史客服对话策略、所述历史用户意图和所述历史用户发言之间的对应关系。
10.根据权利要求9所述的系统,所述系统还包括:
获取模块,用于获取预设用户意图;
所述第二确定模块还用于:基于所述预设用户意图和所述待模拟客服对话策略,从对话字典中确定至少一条目标用户发言;在所述对话字典中,所述目标用户发言对应的历史用户意图与所述预设用户意图匹配,所述目标用户发言对应的历史客服对话策略与所述待模拟客服对话策略匹配。
11.根据权利要求8任一所述的系统,所述字典生成模块还用于:
基于历史对话中任意轮对话,以及该轮对话的对话上文生成所述对话字典;其中,所述对话上文包含:该轮对话的历史客服发言,以及所述历史对话中发生在该历史客服发言之前的对话内容。
12.根据权利要求11所述的系统,所述字典生成模块还用于:
从所述历史对话中获取任意轮对话的对话上文;
基于所述对话上文确定所述历史客服对话策略。
13.根据权利要求12所述的系统,所述字典生成模块还用于:
按发言发生的顺序,依次拼接该轮对话的上文中的历史客服发言和历史用户发言,将拼接后的结果输入策略分类模型,确定所述历史客服对话策略。
14.根据权利要求9所述的系统,所述字典生成模块还用于:
将所述历史用户发言输入用户意图分类模型,确定所述历史用户意图。
15.一种模拟用户发言的装置,包括至少一个存储介质和至少一个处理器,所述至少一个存储介质用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令以实现如权利要求1~7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010587169.7A CN111651582B (zh) | 2020-06-24 | 2020-06-24 | 一种模拟用户发言的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010587169.7A CN111651582B (zh) | 2020-06-24 | 2020-06-24 | 一种模拟用户发言的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111651582A true CN111651582A (zh) | 2020-09-11 |
CN111651582B CN111651582B (zh) | 2023-06-23 |
Family
ID=72344300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010587169.7A Active CN111651582B (zh) | 2020-06-24 | 2020-06-24 | 一种模拟用户发言的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111651582B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113407689A (zh) * | 2021-06-15 | 2021-09-17 | 北京三快在线科技有限公司 | 一种模型训练和业务执行的方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160259775A1 (en) * | 2015-03-08 | 2016-09-08 | Speaktoit, Inc. | Context-based natural language processing |
CN107870994A (zh) * | 2017-10-31 | 2018-04-03 | 北京光年无限科技有限公司 | 用于智能机器人的人机交互方法及系统 |
CN110046221A (zh) * | 2019-03-01 | 2019-07-23 | 平安科技(深圳)有限公司 | 一种机器对话方法、装置、计算机设备及存储介质 |
WO2019147039A1 (ko) * | 2018-01-26 | 2019-08-01 | 주식회사 머니브레인 | 대화 이해 ai 서비스 시스템과 연관된 대화 세션 중의 특정 시점에서 목표 달성을 위한 최적의 대화 패턴을 결정하는 방법, 목표 달성 예측 확률을 결정하는 방법, 및 컴퓨터 판독가능 기록 매체 |
CN110580282A (zh) * | 2018-05-22 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 通过仿真用户与客服交互的方法及装置 |
CN110647621A (zh) * | 2019-09-27 | 2020-01-03 | 支付宝(杭州)信息技术有限公司 | 机器人客服引导对话中选择话术的方法和装置 |
CN111241357A (zh) * | 2020-01-14 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 对话训练方法、装置、系统及存储介质 |
US20210350209A1 (en) * | 2018-09-28 | 2021-11-11 | Jin Wang | Intent and context-aware dialogue based virtual assistance |
-
2020
- 2020-06-24 CN CN202010587169.7A patent/CN111651582B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160259775A1 (en) * | 2015-03-08 | 2016-09-08 | Speaktoit, Inc. | Context-based natural language processing |
CN107870994A (zh) * | 2017-10-31 | 2018-04-03 | 北京光年无限科技有限公司 | 用于智能机器人的人机交互方法及系统 |
WO2019147039A1 (ko) * | 2018-01-26 | 2019-08-01 | 주식회사 머니브레인 | 대화 이해 ai 서비스 시스템과 연관된 대화 세션 중의 특정 시점에서 목표 달성을 위한 최적의 대화 패턴을 결정하는 방법, 목표 달성 예측 확률을 결정하는 방법, 및 컴퓨터 판독가능 기록 매체 |
CN110580282A (zh) * | 2018-05-22 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 通过仿真用户与客服交互的方法及装置 |
US20210350209A1 (en) * | 2018-09-28 | 2021-11-11 | Jin Wang | Intent and context-aware dialogue based virtual assistance |
CN110046221A (zh) * | 2019-03-01 | 2019-07-23 | 平安科技(深圳)有限公司 | 一种机器对话方法、装置、计算机设备及存储介质 |
CN110647621A (zh) * | 2019-09-27 | 2020-01-03 | 支付宝(杭州)信息技术有限公司 | 机器人客服引导对话中选择话术的方法和装置 |
CN111241357A (zh) * | 2020-01-14 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 对话训练方法、装置、系统及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113407689A (zh) * | 2021-06-15 | 2021-09-17 | 北京三快在线科技有限公司 | 一种模型训练和业务执行的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111651582B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160514B (zh) | 一种对话的方法和系统 | |
CN109003624B (zh) | 情绪识别方法、装置、计算机设备及存储介质 | |
CN112988991B (zh) | 一种通过人机对话进行反欺诈干预的方法和系统 | |
CN105723362B (zh) | 自然表达处理方法、处理及回应方法、设备及系统 | |
CN110990547B (zh) | 一种话术生成方法和系统 | |
CN111212190B (zh) | 一种基于话术策略管理的对话管理方法、装置和系统 | |
CN111339309B (zh) | 一种用户意图的语料扩展方法和系统 | |
CN112084318B (zh) | 一种对话辅助方法、系统及装置 | |
US11995523B2 (en) | Systems and methods for determining training parameters for dialog generation | |
CN110704618B (zh) | 确定对话数据对应的标准问题的方法及装置 | |
CN113010653B (zh) | 一种对话策略模型训练、对话的方法和系统 | |
CN111914077A (zh) | 定制化话术推荐方法、装置、计算机设备及存储介质 | |
CN112102807A (zh) | 语音合成方法、装置、计算机设备和存储介质 | |
CN114817507A (zh) | 基于意图识别的回复推荐方法、装置、设备和存储介质 | |
CN111402864A (zh) | 语音处理方法及电子设备 | |
CN113051388B (zh) | 一种智能问答方法、装置、电子设备及存储介质 | |
CN111651582B (zh) | 一种模拟用户发言的方法和系统 | |
US11706337B1 (en) | Artificial intelligence assistant for customer service representatives | |
US11651439B2 (en) | System and method for pre-qualifying a consumer for life and health insurance products or services, benefits products or services based on eligibility and referring a qualified customer to a licensed insurance agent, producer or broker to facilitate the enrollment process | |
CN116561284A (zh) | 智能应答方法、装置、电子设备及介质 | |
CN111444308B (zh) | 一种模拟用户发言的方法和系统 | |
CN114969295A (zh) | 基于人工智能的对话交互数据处理方法、装置及设备 | |
CN111782775B (zh) | 对话方法、装置、设备和介质 | |
CN113688222A (zh) | 基于上下文语义理解的保险销售任务话术推荐方法、系统以及设备 | |
CN111241261A (zh) | 一种识别用户行为的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |