CN111339266A - 聊天机器人的开发系统和聊天机器人模块 - Google Patents

聊天机器人的开发系统和聊天机器人模块 Download PDF

Info

Publication number
CN111339266A
CN111339266A CN202010090536.2A CN202010090536A CN111339266A CN 111339266 A CN111339266 A CN 111339266A CN 202010090536 A CN202010090536 A CN 202010090536A CN 111339266 A CN111339266 A CN 111339266A
Authority
CN
China
Prior art keywords
module
chat robot
data
developer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010090536.2A
Other languages
English (en)
Inventor
胡上峰
李进峰
韩晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Renma Interactive Technology Co Ltd
Original Assignee
Shenzhen Renma Interactive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Renma Interactive Technology Co Ltd filed Critical Shenzhen Renma Interactive Technology Co Ltd
Priority to CN202010090536.2A priority Critical patent/CN111339266A/zh
Publication of CN111339266A publication Critical patent/CN111339266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/41Compilation

Abstract

本发明实施例公开了一种聊天机器人的开发系统,所述系统包括:语义识别模型,用于从对话信息中提取对应的语义信息;对话模型,基于问答知识库,用于根据对话信息和/或意图确定对应的回答信息;开发人员配置模块,用于接收开发人员输入的相关指令,并对聊天机器人模块所对应的数据或模块进行配置和更改。此外,本发明实施例还公开了一种基于聊天机器人的开发系统的聊天机器人模块。采用本发明实施例,可提高聊天机器人的开发效率。

Description

聊天机器人的开发系统和聊天机器人模块
技术领域
本发明涉及计算机技术领域和自然语言处理技术领域,尤其涉及一种聊天机器人的开发系统和聊天机器人模块。
背景技术
人机对话系统,例如聊天机器人,可以用于网络沟通交流平台,例如即时通讯平台、网络客户服务平台以及以文字为主的信息服务平台。人机对话系统通过在对对话知识库(例如,对话数据库、语义知识网络、人工神经网络等)进行搜索,匹配和/或计算来实现人机对话。
一般来讲,开发人员在进行聊天机器人的开发过程中,需要分别对聊天机器人的各个模型、知识库以及各个模块进行编写、定义等,才能实现聊天机器人的开发。一般情况下,开发人员可以通过各种开发工具进行功能代码或程序包的编写,然后进行编译和运行。
因为聊天机器人所包含的各个模块以及功能对应的内容较多,导致了开发周期较长,使得对应的开发效率低下。
发明内容
基于此,有必要针对上述问题,提出了一种聊天机器人的开发系统和聊天机器人模块。
一种聊天机器人的开发系统,所述系统包括:
语义识别模型,用于从对话信息中提取对应的语义信息;
对话模型,基于问答知识库,用于根据对话信息和/或意图确定对应的回答信息;
开发人员配置模块,用于接收开发人员输入的相关指令,并对聊天机器人模块所对应的数据或模块进行配置和更改。
可选的,所述系统还包括编译模块和执行模块,其中:
所述编译模块用于将开发人员定义的聊天机器人模块编译成脚本文件或可执行代码;
所述执行模块用于执行所述编译模块编译成的脚本文件或可执行代码,以实现基于聊天机器人模块的多轮对话。
可选的,所述执行模块在执行所述编译模块编译的脚本文件或可执行代码时,还调用语义识别模型和对话模型。
可选的,所述语义识别模型从对话信息中提取的语义信息还包括意图信息,所述意图信息以三元组、三元组的组合、意图三元组或意图三元组的组合形式展示。
可选的,所述聊天机器人模块还包括状态数据库,用于存储与聊天机器人模块对应的状态数据;
所述开发人员配置模块还用于接收开发人员输入的状态数据更新指令,并对状态数据库进行更新。
可选的,所述开发人员配置模块还用于接收开发人员输入的状态数据表单,根据所述状态数据表单对所述状态数据库进行更新。
可选的,所述状态数据库还包括变量数据库,用于存储环境变量、和/或、自定义变量;
所述开发人员配置模块还用于接收变量更新指令,并根据所述变量更新指令对变量数据库进行更新。
可选的,所述聊天机器人模块还包括自定义词组数据库,用于存储开发人员定义的至少一个自定义词组,所述至少一个自定义词组与一个或多个聊天机器人模块对应;
所述开发人员配置模块还用于接收词组自定义指令,根据所述词组自定义指令对自定义词组数据库进行更新。
可选的,所述开发人员配置模块还用于:
获取开发人员输入的模型合并指令,确定与所述模型合并指令对应的至少2个聊天机器人模块;
根据至少2个聊天机器人模块生成与模型合并指令对应的目标聊天机器人模块,所述目标聊天机器人模块包括了至少2个聊天机器人模块对应的数据或模块。
可选的,所述系统还包括错误反馈模块,用于在所述系统运行或调试的过程中获取开发人员输入的错误反馈消息,并将获取到的错误反馈信息反馈给预设的平台管理人员。
可选的,所述系统还包括数据备份模块,用于周期性地获取当前聊天机器人模块对应的数据,并存储至预设的备份存储区域,以用于故障情况下的数据恢复。
可选的,所述数据备份模块还用于:
接收开发人员输入的数据导入指令/数据导出指令;
根据所述数据导入指令获取与所述数据导入指令对应的数据,并导入至当前聊天机器人模块;
或,
根据所述数据导出指令在当前聊天机器人模块中获取与所述数据导出指令对应的数据,并存储至与所述数据导出指令对应的存储区域。
可选的,所述系统还包括系统调试模块,用于在聊天机器人模块被执行的情况下,向开发人员展示调试日志。
可选的,所述系统调试模块还用于获取开发人员输入的调试数据,并将开发人员输入的调试数据写入聊天机器人模块。
一种聊天机器人模块,基于如前所述的聊天机器人的开发系统,所述聊天机器人模块由开发人员根据所述聊天机器人的开发系统进行开发所得到;
所述聊天机器人模块包括:
交互模块,用于接收和监听使用人员输入的对话信息、并调用语义识别模型和对话模型以实现对话操作;所述交互模块包括至少一个语境单元,所述语境单元用于标识与所述对话单元对应的当前对话语境;所述交互模块实现的对话操作还包括根据语义识别模型提取的语义信息和/或与所述聊天机器人模块对应的历史信息,并根据当前语境单元,激活下一个语境单元;
全局监听模块,用于对任何语境下对话信息进行监听,并确定在全局状态下的对话操作,所述全局监听模块确定的对话操作包括:通过语义识别模型和对话模型确定与监听到的对话信息对应的回答信息并返回给使用人员;或,通过语义识别模型从对话信息中提取对应的语义信息,在该语义信息满足预设的条件的情况下激活下一个语境单元、进行交互模块的转换或聊天机器人模块的转换。
可选的,所述语境单元包括定位标识,所述语境单元还用于确定下一个语境单元的定位标识,并根据该定位标识激活下一个语境单元将下一个语境单元作为当前语境单元进行对话。
可选的,所述聊天机器人模块还包括条件判断模块,用于对对话信息和/或语义识别模型提取的语义信息是否满足预设的条件进行判断,以确定与对话信息和/或语义识别模型提取的语义信息对应的对话操作。
可选的,所述聊天机器人模块还包括状态数据库,用于存储与所述聊天机器人模块对应的状态数据;
所述交互模块还用于根据使用人员输入的对话信息,提取所述使用人员输入的对话信息中的状态数据,并根据提取到的状态数据对所述状态数据库进行更新。
可选的,所述聊天机器人模块还包括对话存档单元,用于获取当前聊天机器人模块下的对话信息、状态数据以及当前语境单元的定位标识作为与当前聊天机器人模块对应的存档文件,并存储至与当前聊天机器人模块对应的预设的存档存储区域;
在当前聊天机器人模块在关闭后被再次打开的情况下,读取所述预设的存档存储区域中对应的数据并继续进行对话。
可选的,在聊天机器人模块被执行的情况下,判断是否存在与所述当前聊天机器人模块对应的存档文件;在存在与所述当前聊天机器人模块对应的存档文件的情况下,读取存档文件并根据存档文件继续进行对话。
可选的,所述聊天机器人模块还包括配置文件加载模块,用于获取与聊天机器人模块对应的基础配置文件和/或开发人员配置的自定义配置文件并进行加载。
采用本发明实施例,具有如下有益效果:
采用本发明实施例提供的聊天机器人的开发系统,可以直接基于该开发系统对聊天机器人模块进行开发,通过开发人员配置模块对聊天机器人模块的数据和功能模块进行定义,避免了开发人员自行进行聊天机器人开发的效率低下的问题,提高了聊天机器人模块的开发效率。
进一步的,通过本发明实施例提供的聊天机器人的开发系统所开发得到的聊天机器人模块在运行的过程中,可以通过局部的交互模块以及全部的全局监听模块分别对对话过程中的对话信息等数据进行监听,以确定对应的局部的对话操作或全部的对话操作,实现任意场景下的对话信息的有效监听和确定的对话操作的有效性,提高了使用人员的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中一种聊天机器人的开发系统的结构示意图;
图2为一个实施例中一种聊天机器人的开发系统的结构示意图;
图3为一个实施例中一种聊天机器人模块的结构示意图;
图4为一个实施例中交互单元的结构示意图;
图5为一个实施例中一种聊天机器人模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本实施例中,为了解决上述聊天机器人的开发效率低下的问题,提出了一种聊天机器人的开发系统,开发人员可以直接通过该开发系统对聊天机器人模型进行配置和定义,提高了聊天机器人的开发效率。
在一个具体的实施例中,如图1所示,提供了一种聊天机器人的开发系统,用于开发聊天机器人模块,在聊天机器人模块被运行的情况下,可以实现基于该聊天机器人模块的人机对话。
例如,该聊天机器人的开发系统可以是一个用户开发聊天机器人的开发平台,开发人员可以通过该开发平台进行聊天机器人的开发。
如图1所示,该聊天机器人的开发系统10包括:
开发人员配置模块40,用于接收开发人员输入的相关指令,并对聊天机器人模块所对应的数据或模块进行配置和更改。
开发人员可以通过该开发系统,对聊天机器人模块的功能、数据等进行定义、更改或配置。
进一步的,为了实现聊天机器人模块的基本的自然语言处理的功能,在本实施例中,上述开发系统10还包括了:语义识别模型20和对话模型30,其中,语义识别模型20用于从对话信息中提取对应的语义信息;对话模型30基于问答知识库,用于根据对话信息和/或意图确定对应的回答信息。开发人员在进行聊天机器人模块的开发过程中,可以基于上述语义识别模型20和对话模型30对聊天机器人模块进行定义、更改和配置,并且,还可以通过开发人员配置模块40对语义识别模型20和对话模型30进行更改。
具体的,下面首先对语义识别模型20和对话模型30进行说明。
语义识别模型为开发系统对应的,在开发所得到的聊天机器人模块中所用到的语义识别模型也为该语义识别模型。并且,在该开发系统中,开发人员还可以对该语义识别模型进行自定义的配置和更改,以实现当前需要开发的聊天机器人模块所需要具备的功能或效果。
具体的,语义识别模型20从对话信息中提取的语义信息可以是标识对话信息对应的用户意图的意图信息,并且,在一个具体的实施例中,意图信息以三元组、三元组的组合、意图三元组或意图三元组的组合形式展示。
其中,三元组指的是(x,y,z)形式下的结构数据,用以标识x、y、z以及对应的关系。在本实施例中,三元组由一个句法/语义关系以及两个概念、实体、词或词组组成。意图三元组为以三元组的形式存储的用户意图,为标识完整意图中的一个小的单元,可以标识为(subject,relation,object),其中,subject为第一实体,relation表示subject和object之间的关系,object表示第二实体。
对话模型为开发系统对应的,在开发所得到的聊天机器人模块中所用到的对话模型也为该对话模型,用于确定与对话信息或用于意图对应的回答信息,该回答信息用于返回给使用者,以实现人机对话。其中,对话模型可以为以问答模型,用于确定与问答信息对应的回答信息。
对话模型在确定回答信息的过程中,是基于问答知识库进行确定的,问答知识库可以是对相应的对话模型进行训练的知识库。
开发人员配置模块为开发人员在开发系统中对已有的聊天机器人模块的相关数据以及模块进行配置和更改的模块。例如,在开发过程中,通过开发人员配置模块数据、或功能模块进行定义和配置。具体的,例如,开发人员可以通过开发人员配置模块对聊天机器人模块进行合并、或者对聊天机器人模块的对话实现的具体逻辑或者条件等进行自定义设置、对相关数据的提取逻辑或取值范围进行定义等等。在后面针对开发人员配置模块的具体功能的实现的说明中会进行详细的描述。
进一步的,为了实现开发系统10对于聊天机器人模块的完整的开发功能,开发系统不仅具备了聊天机器人模块的配置功能,还可以进行对应的编译和执行、以及调试,以提高开发人员可以基于一个系统完成聊天机器人模块的全部开发过程。
具体的,在一个实施例中,如图2所示,上述聊天机器人的开发系统10还包括编译模块50和执行模块60,其中:所述编译模块50用于将开发人员定义的聊天机器人模块编译成脚本文件或可执行代码;所述执行模块60用于执行所述编译模块编译成的脚本文件或可执行代码,以实现基于聊天机器人模块的多轮对话。
开发人员在开发系统中进行聊天机器人的开发时,可以直接通过开发平台的功能模块进行相对简单的定义和设置,但是,在开发所得到的聊天机器人模块在被运行之前,还需要将其转换成可执行代码,例如脚本文件或其它可执行代码。
具体的,编译模块50用于将开发人员通过开发系统10开发所得到的聊天机器人模块编译成对应的脚本文件或其它可执行代码,该脚本文件或其它可执行代码可以直接被执行以运行对应的聊天机器人模块。然后,执行模块60对该脚本文件或其它可执行代码进行执行,以实现聊天机器人模块的运行,从而实现基于聊天机器人模块的多轮对话。
需要说明的是,语义识别模型和对话模型为开发系统中的一部分,在聊天机器人模块被编译和执行的情况下,需要调用语义识别模型和对话模型以实现对应的功能。即,执行模块60在执行所述编译模块编译的脚本文件或可执行代码时,还调用语义识别模型和对话模型,以实现人机对话过程中的语义识别和回答信息的确定。
具体的,如图2所示,上述聊天机器人的开发系统10还包括系统调试模块90,用于在聊天机器人模块被执行的情况下,向开发人员展示调试日志。其中,向开发人员展示的调试日志可以包括聊天机器人模块被执行的过程的各个被调用的参数以及数据更新情况等等。
进一步的,开发人员还可以通过系统调试模块90对开发的聊天机器人模块进行调试和修改。具体的,系统调试模块90还可以获取开发人员输入的调试数据,并将开发人员输入的调试数据写入聊天机器人模块,以实现调试过程中的数据修改和调试,提高开发效率和实用体验。
在本实施例中,开发系统可以支持开发人员在一边对话的情况下,一边查看开发的聊天机器人模块在运行时的开发系统的调试日志。
在本实施例中,开发系统10还具备错误反馈的功能。具体的,如图2所示,开发系统10还包括错误反馈模块70,用于在开发系统运行或调试的过程中获取开发人员输入的错误反馈消息,并将获取到的错误反馈信息反馈给预设的平台管理人员。其中,错误反馈模块70包括了错误信息的编写、提交、撤销以及管理员意见反馈等功能。开发人员可以根据开发过程中发现的错误向开发系统提交错误反馈信息,然后开发系统将开发人员提交的错误反馈信息提交给预设的平台管理人员,以使平台管理人员可以根据反馈的错误信息进行回答、系统修改等,以提高开发系统功能的完善性。
下面对开发人员配置模块40可以实现的相关配置功能进行详细的描述。
开发人员可以通过开发人员配置模块对多个话题或功能的聊天机器人模块进行合并操作。
一般来讲,一个聊天机器人模块可以进行某一个话题或者功能的人机对话。在实际应用场景用,聊天机器人所需要实现的话题或功能往往不止一个,而不同的话题或功能的聊天机器人模块的开发是不同的开发人员进行开发的,从而可以提高开发效率。而为了得到具备多个话题或功能的聊天机器人模块的组合或聊天机器人系统,在本实施例中,开发系统还可以根据开发人员的配置,将多个聊天机器人模块进行合并。
具体的,在聊天机器人模块的开发过程中,开发人员还可以通过开发系统输入模型合并指令,从而使得开发人员配置模块40可以获取开发人员输入的模型合并指令,并执行对应的聊天机器人模块的合并操作。
具体的,确定与模型合并指令对应的至少2个聊天机器人模块;根据至少2个聊天机器人模块生成合并后的目标聊天机器人模块。其中,合并后的目标聊天机器人模块包括了与模型合并指令对应的至少2个聊天机器人模块对应的数据或模块,也能实现该至少2个聊天机器人模块对应的功能或话题对应的人机对话,从而大大的提高了聊天机器人模块的开发效率。
开发人员可以通过开发人员配置模块进行针对聊天机器人模块的数据导入和导出。
对于聊天机器人模块的开发,可以根据需要以及功能的完善,存在版本的迭代。在这种情况下,就需要对聊天机器人模块对应的数据进行备份或者数据导入和导出。
具体的,在一个实施例中,如图2所示,上述开发系统10还包括数据备份模块80,用于周期性地获取当前聊天机器人模块对应的数据,并存储至预设的备份存储区域,以用于故障情况下的数据恢复。例如,每隔一定时间(例如1min)对正在进行开发的当前聊天机器人模块对应的数据进行获取,并存储至预设的备份存储区域,在出现故障的情况下,可以通过备份存储区域中存储的当前聊天机器人模块对应的数据进行数据恢复,避免错误操作或者系统故障引起的数据丢失。
进一步的,除了自动周期性的对开发的聊天机器人模块的数据进行备份之外,还可以根据开发人员的指令,对开发的聊天机器人模块的数据导入和导出。
具体的,数据备份模块80还用于:接收开发人员输入的数据导入指令/数据导出指令;根据所述数据导入指令获取与所述数据导入指令对应的数据,并导入至当前聊天机器人模块;或,根据所述数据导出指令在当前聊天机器人模块中获取与所述数据导出指令对应的数据,并存储至与所述数据导出指令对应的存储区域。
例如,在进行聊天机器人模块的开发过程中,开发人员可以将通过数据导入指令,将其它聊天机器人模块对应的数据导入到当前进行开发的聊天机器人模块中。或者,开发人员可以在版本迭代或功能更新的情况下,通过数据导出指令对数据进行备份,以便于后续在需要进行版本回退的情况下,重新进行数据恢复。从而提高了聊天机器人模块的开发效率。
开发人员可以通过开发人员配置模块,对聊天机器人模块对应的相关数据或变量进行定义和修改,例如,状态数据、自定义变量等。
具体的,聊天机器人模块中还包括状态数据库,该状态数据库可以用来存储与聊天机器人模块对应的状态数据。需要说明的人,聊天机器人模块对应的状态数据的获取,可以是在聊天机器人模块被执行的过程中根据对话过程确定的,也可以是在开发阶段由开发人员进行定义或者更新的。
在一个具体的实施例中,开发人员配置模块40还用于接收开发人员输入的状态数据更新指令,并对状态数据库进行更新。例如,开发人员可以通过表单(状态数据表单)的形式向开发系统提交状态数据更新指令,以使得开发系统可以对状态数据库中的数据进行更新,例如,增加、修改、删除等。
进一步的,聊天机器人模块对应的状态数据库还包括变量数据库,用于存储环境变量、和/或、自定义变量。环境变量由开发人员进行定义,然后在聊天机器人模块被执行的过程中,按照预设的途径(例如,网络)获取对应的变量值。自定义变量为在开发人员在进行聊天机器人模块进行开发过程中进行定义的。并且,变量数据库中的环境变量和自定义变量也可根据开发人员的指令进行更新,具体的,开发人员配置模块40还用于接收变量更新指令,并根据变量更新指令对变量数据库中对应的变量进行增加、删除以及修改等更新操作。
进一步的,在一个实施例中,开发系统10开发得到的聊天机器人模块还可以包括自定义词组数据库,其中存储开发人员定义的至少一个自定义词组/宏,开发人员可以根据聊天机器人模块开发的具体需求,进行宏/词组的定义。其中,自定义词组/宏可以是与当前一个聊天机器人模块对应的,也可以是与多个聊天机器人模块是对应的(即在多个聊天机器人模块中通用)。在一个具体的实施例中,优选的,自定义词组可以对应多个聊天机器人模块,自定义宏仅对应当前的聊天机器人模块,并不是通用的。在具体的开发过程中,开发人员可以根据需求,对自定义词组/宏进行定义。具体的,开发人员配置模块40还用于接收词组自定义指令,根据所述词组自定义指令对自定义词组数据库进行更新。
为了实现聊天机器人模块的人机对话功能,开发人员还可以通过开发人员配置模块对基于聊天机器人模块实现的对话过程中的语义识别、回答信息的获取以及语境单元或交互模块的跳转的条件等进行设置。
具体的,开发人员可以通过开发人员配置模块对各种优先级进行设置。
首先,开发人员可以通过开发人员配置模块对对话信息进行识别获取的意图(例如意图三元组)对应的优先级进行设置,以确定根据对话信息确定的多个意图或意图三元组之间的意图优先级应该如何进行确定,以便于在回答信息的确定过程中以根据意图优先级确定对应的回答信息。
其次,开发人员还可以通过开发人员配置模块对语境单元的转换/跳转过程对应的分支优先级如何确定进行定义。其中,语境单元之间、以及二者之间的关系,可以确定一个分支。从一个语境单元跳转至另一个语境单元继续进行交互的过程为进入与对应的语境单元对应的分支的过程。确定进入哪一个分支的过程可以是根据每一个分支对应的分支优先级确定的。开发人员可以通过开发人员配置模块对分支优先级进行定义。
上述意图优先级或分支优先级可以分为条件优先级和辅助优先级。条件优先级是根据是否满足预设的条件来确定对应的条件优先级,并且,满足的条件数量多的优先级更高。辅助优先级为相应的对话系统的开发人员设置的优先级范围,在该优先级范围内则确定为优先级。并且,在某一个意图三元组既满足条件优先级、也满足辅助优先级的情况下,首先比较辅助优先级的级别,根据辅助优先级来确定;在辅助优先级相同的情况,比较条件优先级的级别。
需要说明的是,在本实施例中,开发人员可以通过开发人员配置模块对聊天机器人模块所实现的多轮人机对话的过程中的每个环节以及对应的逻辑、条件等进行定义。具体可参见后面对于聊天机器人模块的具体描述。
综上,在上述聊天机器人的开发系统中,开发人员可以通过开发人员配置模块对对话过程中的数据、功能以及逻辑进行定义,具体包括了如何构建对话对应的基于多个语境单元对应的有向图(多个语境单元以及对应的连接关系形成的有向图)、以及各个语境单元或者其他模块之间的跳转逻辑、回答数据的确定方法、以及回答信息对应的文本数据的写入、意图或意图三元组的取值范围等数据,连接各个语境单元,生成对应的可执行代码并执行对应的聊天机器人模块进行人机对话。
在本实施例中,还提供了一种基于如前所述的聊天机器人的开发系统进行开发所得到的聊天机器人模块。在聊天机器人模块被执行的情况下,使用人员可以通过该聊天机器人模块实现人机对话。或者,在开发人员通过开发系统进行试运行或调试的过程中,可以通过该聊天机器人模块实现人机对话。
下面对该聊天机器人模块所能实现的功能进行说明。
通过上述开发系统开发的聊天机器人模块可以基于自然语言识别将用户输入的对话信息对应的意图以及环境数据作为条件来连接各个语境单元,从而形成与对话过程对话的语境单元的连接关系,附加全局的监听在全局的语境单元限制的语境单元之间的跳转,从而实现多轮人机对话。
在开发系统中进行运行或调试、或者在其它平台或系统运行的情况下,聊天机器人模块得以被运行。运行的聊天机器人模块相当与一个对话系统,该对话系统可以实现多轮人机对话。
需要说明的是,在本实施例中,聊天机器人模块还可以调用语义识别模型和对话模型。且语义识别模型和对话模型可以是当前聊天机器人模块所包含的子模块,也可以是通过访问链接访问外部的语义识别模型和对话模型。
具体的,如图3所示,上述聊天机器人模块100包括交互模块200和全局监听模块300。
需要说明的是,在本实施例中,在聊天机器人模块被执行的情况下,还需要加在对应的配置文件,以实现对聊天机器人模块的配置。
具体的,如图5所示,聊天机器人模块100还包括配置文件加载模块400,获取与聊天机器人模块对应的基础配置文件和/或开发人员配置的自定义配置文件,然后对获取到的基础配置文件或自定义配置文件进行加载,以实现对机器人模块的记载,以实现聊天机器人模块的执行。
下面对聊天机器人模块实现人机对话的交互模块200和全局监听模块300进行详细描述。
交互模块200,用于接收和监听使用人员输入的对话信息、并调用语义识别模型和对话模型以实现对话操作;如图4所示,交互模块200包括至少一个语境单元2001,语境单元用于标识与对话过程对应的当前对话语境;交互模块实现的对话操作还包括根据语义识别模型提取的语义信息和/或与聊天机器人模块对应的历史信息,并根据当前语境单元,激活下一个语境单元。
其中,交互模块为针对当前对话进行处理并给出对应的回答信息或其它对话处理的模块。在本实施例中,交互模块为一个局部模块(相对于全局监听模块),用于对对话信息进行局部的监听和处理,具体可以调用语义识别模块对使用人员输入的对话信息进行语义和/或语法识别,然后根据语义和/或语法识别的结果,调用对话模型确定与使用人员输入的对话信息对应的对话操作。
在一个具体的实施例中,对话操作包括了调用对话模型确定与用户输入的对话信息对应的回答信息,并返回给使用人员。
在本实施例中,交互模块200还将对话过程构成成多个交互节点,其中每个交互节点为一个语境单元,也就是说,交互模块200包括了与对话过程对应的至少一个语境单元2001,每一个语境单元指的是对话过程中的一个交互节点,用以标识一个单轮对话过程、或数据更新过程、或节点的转换过程;且一个语境单元对应了对话过程中的一个对话语境或者一个状态,例如,当用户输入的对话信息包含了需要询问的信息或者其它信息的情况下,对话过程对应的对话语境和对话状态就发生了改变了,对应的语境单元也会发生改变。在对话过程中,一个对话过程对应了多个语境单元,每一个语境单元为整个对话过程中对应的多个交互节点中的一个。当前语境单元是指的是在当前的对话执行的语境单元。在本实施例中,语境单元可以调用对话系统的相关模型以及知识库,对用户输入的对话信息给出相应的回答。
在另一个具体的实施例中,交互模块实现的对话操作还包括根据语义识别模型提取的语义信息和/或与聊天机器人模块对应的历史信息,并根据当前语境单元,激活下一个语境单元。
针对用户输入的对话信息进行语义和/语法识别提取的语义信息,以及聊天机器人模块对应的历史信息(包括历史对话信息以及根据历史对话信息确定的状态数据)确定下一个进行交互的目标语境单元,然后激活目标语境单元并将目标语境单元作为当前语境单元继续进行交互,从而实现语境单元的转换。
全局监听模块300,用于对任何语境下对话信息进行监听,并确定在全局状态下的对话操作,所述全局监听模块确定的对话操作包括:通过语义识别模型和对话模型确定与监听到的对话信息对应的回答信息并返回给使用人员;或,通过语义识别模型从对话信息中提取对应的语义信息,在该语义信息满足预设的条件的情况下激活下一个语境单元、进行交互模块的转换或聊天机器人模块的转换。
不同于一般的聊天机器人或者人机对话系统,仅有针对当前对话信息进行监听和处理的功能,在本实施例中,除了进行局部的监听和处理的交互模块200之外,还包括了可以全局对对话过程进行监听和处理的全局监听模块300,也可以理解为全局监听模块300为一自由监听模块,可以对对话过程中的任意一个交互节点(语境单元)进行监听。
具体的,全局监听模块300可以在任何语境单元的情况下,对对话进行进行监听,并且,根据监听得到的对话信息,确定是否需要执行全局状态下的对话操作。其中,全局状态下的对话操作也包括了前述交互模块对应的确定回答信息以及语境单元的转换,并且还包含了聊天机器人模块的转换(例如,在监测到的对话信息对应的话题或功能发生改变时,当前聊天机器人模块无法实现对应的话题的人机对话,则需要转换至相应的聊天机器人模块继续进行对话)。
在上述交互模块以及全局监听模块中,在确定并激活下一个语境单元并转至该下一个语境单元继续进行交互的过程中,还需要确定下一个语境单元对应的定位标识。其中,定位标识用于标识每一个语境单元,以确定下一个语境单元并进行激活,然后将激活的下一个语境单元作为当前语境单元继续进行对话,以完成语境单元的跳转。
在上述交互模块以及全局监听模块根据使用人员输入的对话信息确定对应的对话操作的过程中,还需要考虑各种其他因素以确定与使用人员输入的对话信息匹配的对话操作,以提供较好的用户体验下的对话操作。
在一个具体的实施例中,在确定对话操作的过程中,还需要进行是否满足预设的条件的判断。具体的,如图5所示,聊天机器人模块100还包括条件判断模块500,用于对对话信息和/或语义识别模型提取的语义信息是否满足预设的条件进行判断,以确定与对话信息和/或语义识别模型提取的语义信息对应的对话操作。其中,对于满足预设的条件的情况下,直接返回预设的回答信息、或确定下一个语境单元并跳转至下一个语境单元继续进行对话过程的交互。
在一个具体的实施例中,在确定定对话操作的过程中,还需要考虑状态数据。具体的,状态数据是存储在聊天机器人模块中的状态数据库中的,用以表示与环境相关的状态数据或者与聊天机器人模块对应的状态数据。其中,与聊天机器人模块对应的状态数据提取自对话过程中的对话信息,用以表示当前对话过程的状态。
在聊天机器人模块被执行以实现对话的过程中,交互模块中还根据使用人员输入的对话信息,提取所述使用人员输入的对话信息中的状态数据,并根据提取到的状态数据对所述状态数据库进行更新。
在人机对话的过程中,因为系统故障或网络故障等情况,相应的对话过程可能出现故障。一般情况下,在出现故障的时候会重启聊天机器人模块重新进行对话。但是,在该种解决方案下,会丢失之前的对话信息,对于使用人员来讲,造成使用上的不便。
在本实施例中,聊天机器人模块100还包括对话存档单元600。对话存档单元600可以实时或定时获取当前聊天机器人模块下的对话信息、状态数据以及当前语境单元的定位标识等聊天机器人模块被执行的过程数据,将该过程数据作为与当前聊天机器人模块对应的存档文件,然后存储至与当前聊天机器人模块对应的预设的存档存储区域,以使得后续可以根据相应的过程数据继续进行对话。
需要说明的是,为了保证使用人员良好的使用体验,在本实施例中,需要实时或定时获取当前聊天机器人模块下过程数据,即获取最新的过程数据进行存档和备份。
在对应的聊天机器人模块因为故障或者其他原因被关闭之后,当前聊天机器人模块下的对话信息、状态数据以及当前语境单元的定位标识等聊天机器人模块被执行的过程数据已经被存档,根据该存档的过程数据可以恢复上一次对话的节点。也就是说,在当前聊天机器人模块在关闭后被再次打开的情况下,通过读取预设的存档存储区域中存储的与当前聊天机器人模块对应的过程数据,将对话恢复至关闭之前的对话状态,并继续进行对话。
进一步的,为了防止系统在打开聊天机器人模块时不知道该聊天机器人模块之前是否存在对话过程对应的存档文件,从而导致并没有恢复之前的对话过程。在本实施例中,在聊天机器人模块被执行的情况下,还需要判断是否存在与当前聊天机器人模块对应的存档文件。并且,在存在与当前聊天机器人模块对应的存档文件的情况下,读取存档文件并根据存档文件继续进行对话,只有在不存在对应的存档文件的情况下,才打开新的对话。
采用本发明实施例提供的聊天机器人的开发系统,可以直接基于该开发系统对聊天机器人模块进行开发,通过开发人员配置模块对聊天机器人模块的数据和功能模块进行定义,避免了开发人员自行进行聊天机器人开发的效率低下的问题,提高了聊天机器人模块的开发效率。
进一步的,通过本发明实施例提供的聊天机器人的开发系统所开发得到的聊天机器人模块在运行的过程中,可以通过局部的交互模块以及全部的全局监听模块分别对对话过程中的对话信息等数据进行监听,以确定对应的局部的对话操作或全部的对话操作,实现任意场景下的对话信息的有效监听和确定的对话操作的有效性,提高了使用人员的使用体验。
本领域普通技术人员可以理解实现上述实施例方法或模块、功能中的全部或部分,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述实施例。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (21)

1.一种聊天机器人的开发系统,其特征在于,所述系统包括:
语义识别模型,用于从对话信息中提取对应的语义信息;
对话模型,基于问答知识库,用于根据对话信息和/或意图确定对应的回答信息;
开发人员配置模块,用于接收开发人员输入的相关指令,并对聊天机器人模块所对应的数据或模块进行配置和更改。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括编译模块和执行模块,其中:
所述编译模块用于将开发人员定义的聊天机器人模块编译成脚本文件或可执行代码;
所述执行模块用于执行所述编译模块编译成的脚本文件或可执行代码,以实现基于聊天机器人模块的多轮对话。
3.根据权利要求2所述的系统,其特征在于,所述执行模块在执行所述编译模块编译的脚本文件或可执行代码时,还调用语义识别模型和对话模型。
4.根据权利要求1所述的系统,其特征在于,所述语义识别模型从对话信息中提取的语义信息还包括意图信息,所述意图信息以三元组、三元组的组合、意图三元组或意图三元组的组合形式展示。
5.根据权利要求1所述的系统,其特征在于,所述聊天机器人模块还包括状态数据库,用于存储与聊天机器人模块对应的状态数据;
所述开发人员配置模块还用于接收开发人员输入的状态数据更新指令,并对状态数据库进行更新。
6.根据权利要求5所述的系统,其特征在于,所述开发人员配置模块还用于接收开发人员输入的状态数据表单,根据所述状态数据表单对所述状态数据库进行更新。
7.根据权利要求5所述的系统,其特征在于,所述状态数据库还包括变量数据库,用于存储环境变量、和/或、自定义变量;
所述开发人员配置模块还用于接收变量更新指令,并根据所述变量更新指令对变量数据库进行更新。
8.根据权利要求1所述的系统,其特征在于,所述聊天机器人模块还包括自定义词组数据库,用于存储开发人员定义的至少一个自定义词组,所述至少一个自定义词组与一个或多个聊天机器人模块对应;
所述开发人员配置模块还用于接收词组自定义指令,根据所述词组自定义指令对自定义词组数据库进行更新。
9.根据权利要求1所述的系统,其特征在于,所述开发人员配置模块还用于:
获取开发人员输入的模型合并指令,确定与所述模型合并指令对应的至少2个聊天机器人模块;
根据至少2个聊天机器人模块生成与模型合并指令对应的目标聊天机器人模块,所述目标聊天机器人模块包括了至少2个聊天机器人模块对应的数据或模块。
10.根据权利要求1所述的系统,其特征在于,所述系统还包括错误反馈模块,用于在所述系统运行或调试的过程中获取开发人员输入的错误反馈消息,并将获取到的错误反馈信息反馈给预设的平台管理人员。
11.根据权利要求1所述的系统,其特征在于,所述系统还包括数据备份模块,用于周期性地获取当前聊天机器人模块对应的数据,并存储至预设的备份存储区域,以用于故障情况下的数据恢复。
12.根据权利要求11所述的系统,其特征在于,所述数据备份模块还用于:
接收开发人员输入的数据导入指令/数据导出指令;
根据所述数据导入指令获取与所述数据导入指令对应的数据,并导入至当前聊天机器人模块;
或,
根据所述数据导出指令在当前聊天机器人模块中获取与所述数据导出指令对应的数据,并存储至与所述数据导出指令对应的存储区域。
13.根据权利要求1所述的系统,其特征在于,所述系统还包括系统调试模块,用于在聊天机器人模块被执行的情况下,向开发人员展示调试日志。
14.根据权利要求13所述的系统,其特征在于,所述系统调试模块还用于获取开发人员输入的调试数据,并将开发人员输入的调试数据写入聊天机器人模块。
15.一种聊天机器人模块,其特征在于,基于如权利要求1至14任一所述的聊天机器人的开发系统,所述聊天机器人模块由开发人员根据所述聊天机器人的开发系统进行开发所得到;
所述聊天机器人模块包括:
交互模块,用于接收和监听使用人员输入的对话信息、并调用语义识别模型和对话模型以实现对话操作;所述交互模块包括至少一个语境单元,所述语境单元用于标识与所述对话单元对应的当前对话语境;所述交互模块实现的对话操作还包括根据语义识别模型提取的语义信息和/或与所述聊天机器人模块对应的历史信息,并根据当前语境单元,激活下一个语境单元;
全局监听模块,用于对任何语境下对话信息进行监听,并确定在全局状态下的对话操作,所述全局监听模块确定的对话操作包括:通过语义识别模型和对话模型确定与监听到的对话信息对应的回答信息并返回给使用人员;或,通过语义识别模型从对话信息中提取对应的语义信息,在该语义信息满足预设的条件的情况下激活下一个语境单元、进行交互模块的转换或聊天机器人模块的转换。
16.根据权利要求15所述的聊天机器人模块,其特征在于,所述语境单元包括定位标识,所述语境单元还用于确定下一个语境单元的定位标识,并根据该定位标识激活下一个语境单元将下一个语境单元作为当前语境单元进行对话。
17.根据权利要求15所述的聊天机器人模块,其特征在于,所述聊天机器人模块还包括条件判断模块,用于对对话信息和/或语义识别模型提取的语义信息是否满足预设的条件进行判断,以确定与对话信息和/或语义识别模型提取的语义信息对应的对话操作。
18.根据权利要求15所述的聊天机器人模块,其特征在于,所述聊天机器人模块还包括状态数据库,用于存储与所述聊天机器人模块对应的状态数据;
所述交互模块还用于根据使用人员输入的对话信息,提取所述使用人员输入的对话信息中的状态数据,并根据提取到的状态数据对所述状态数据库进行更新。
19.根据权利要求15所述的聊天机器人模块,其特征在于,所述聊天机器人模块还包括对话存档单元,用于获取当前聊天机器人模块下的对话信息、状态数据以及当前语境单元的定位标识作为与当前聊天机器人模块对应的存档文件,并存储至与当前聊天机器人模块对应的预设的存档存储区域;
在当前聊天机器人模块在关闭后被再次打开的情况下,读取所述预设的存档存储区域中对应的数据并继续进行对话。
20.根据权利要求19所述的聊天机器人模块,其特征在于,在聊天机器人模块被执行的情况下,判断是否存在与所述当前聊天机器人模块对应的存档文件;在存在与所述当前聊天机器人模块对应的存档文件的情况下,读取存档文件并根据存档文件继续进行对话。
21.根据权利要求15所述的聊天机器人模块,其特征在于,所述聊天机器人模块还包括配置文件加载模块,用于获取与聊天机器人模块对应的基础配置文件和/或开发人员配置的自定义配置文件并进行加载。
CN202010090536.2A 2020-02-13 2020-02-13 聊天机器人的开发系统和聊天机器人模块 Pending CN111339266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090536.2A CN111339266A (zh) 2020-02-13 2020-02-13 聊天机器人的开发系统和聊天机器人模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090536.2A CN111339266A (zh) 2020-02-13 2020-02-13 聊天机器人的开发系统和聊天机器人模块

Publications (1)

Publication Number Publication Date
CN111339266A true CN111339266A (zh) 2020-06-26

Family

ID=71181520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090536.2A Pending CN111339266A (zh) 2020-02-13 2020-02-13 聊天机器人的开发系统和聊天机器人模块

Country Status (1)

Country Link
CN (1) CN111339266A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287262A (zh) * 2020-10-29 2021-01-29 腾讯科技(深圳)有限公司 会话展示方法、装置、计算机设备和存储介质
CN112306572A (zh) * 2020-10-29 2021-02-02 北京字节跳动网络技术有限公司 信息处理方法、系统及存储介质
CN112929499A (zh) * 2021-02-02 2021-06-08 深圳追一科技有限公司 对话交互方法和装置、计算机设备、计算机可读存储介质
CN115374266A (zh) * 2022-10-27 2022-11-22 深圳市人马互动科技有限公司 基于剧情交互节点的交互方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160149488A (ko) * 2015-06-18 2016-12-28 한국전자통신연구원 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법
CN106997399A (zh) * 2017-05-24 2017-08-01 海南大学 一种基于数据图谱、信息图谱、知识图谱和智慧图谱关联架构的分类问答系统设计方法
CN107748757A (zh) * 2017-09-21 2018-03-02 北京航空航天大学 一种基于知识图谱的问答方法
CN108427707A (zh) * 2018-01-23 2018-08-21 深圳市阿西莫夫科技有限公司 人机问答方法、装置、计算机设备和存储介质
CN109074402A (zh) * 2016-04-11 2018-12-21 脸谱公司 基于示例会话使用自然语言机器学习来响应用户请求的技术
CN109597607A (zh) * 2018-10-31 2019-04-09 拓科(武汉)智能技术股份有限公司 任务型人机对话系统及其实现方法、装置与电子设备
CN110704582A (zh) * 2019-09-20 2020-01-17 联想(北京)有限公司 一种信息处理方法及装置、设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160149488A (ko) * 2015-06-18 2016-12-28 한국전자통신연구원 대화 상황 및 주제에 따른 대화 순서 관리 장치 및 방법
CN109074402A (zh) * 2016-04-11 2018-12-21 脸谱公司 基于示例会话使用自然语言机器学习来响应用户请求的技术
CN106997399A (zh) * 2017-05-24 2017-08-01 海南大学 一种基于数据图谱、信息图谱、知识图谱和智慧图谱关联架构的分类问答系统设计方法
CN107748757A (zh) * 2017-09-21 2018-03-02 北京航空航天大学 一种基于知识图谱的问答方法
CN108427707A (zh) * 2018-01-23 2018-08-21 深圳市阿西莫夫科技有限公司 人机问答方法、装置、计算机设备和存储介质
CN109597607A (zh) * 2018-10-31 2019-04-09 拓科(武汉)智能技术股份有限公司 任务型人机对话系统及其实现方法、装置与电子设备
CN110704582A (zh) * 2019-09-20 2020-01-17 联想(北京)有限公司 一种信息处理方法及装置、设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287262A (zh) * 2020-10-29 2021-01-29 腾讯科技(深圳)有限公司 会话展示方法、装置、计算机设备和存储介质
CN112306572A (zh) * 2020-10-29 2021-02-02 北京字节跳动网络技术有限公司 信息处理方法、系统及存储介质
CN112306572B (zh) * 2020-10-29 2023-09-12 抖音视界有限公司 信息处理方法、系统及存储介质
CN112287262B (zh) * 2020-10-29 2024-02-06 腾讯科技(深圳)有限公司 会话展示方法、装置、计算机设备和存储介质
CN112929499A (zh) * 2021-02-02 2021-06-08 深圳追一科技有限公司 对话交互方法和装置、计算机设备、计算机可读存储介质
CN115374266A (zh) * 2022-10-27 2022-11-22 深圳市人马互动科技有限公司 基于剧情交互节点的交互方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN111339266A (zh) 聊天机器人的开发系统和聊天机器人模块
CN111897570B (zh) 一种基于Maven插件的多依赖项文件提取方法及装置
CN111368029B (zh) 基于意图三元组的交互方法、装置、设备及存储介质
EP1416383A1 (en) Identifying solutions to computer problems in client/server system
CN112783568A (zh) 应用程序的初始化方法、装置、设备和存储介质
US7735090B2 (en) On demand software contract modification and termination in running component assemblies
Hue et al. USLTG: test case automatic generation by transforming use cases
CN112988124B (zh) 多视图平台无关模型系统
WO2004040510A2 (en) Identifying solutions to computer problems by expert system using contexts and distinguishing versions
CN112948610B (zh) 图查询语言的结果行为验证方法和系统
Bauer et al. Reusing system states by active learning algorithms
Evrard et al. Automatic distributed code generation from formal models of asynchronous concurrent processes
US7403933B2 (en) Identifying solutions to computer problems in main system by service system
US7543274B2 (en) System and method for deriving a process-based specification
CN112181951B (zh) 一种异构数据库数据迁移方法、装置及设备
CN115033212A (zh) 航电系统图元模型一体化构建方法、装置、计算机设备
CN113448852A (zh) 一种测试案例的获取方法、装置、电子设备及存储介质
Busch et al. A cross-disciplinary language for change propagation rules
US20120047485A1 (en) Method for assisting in the development or use of a complex system
CN114020604A (zh) 一种基于工作流的自动化测试方法及装置
Fall et al. LAMEME Use Case: The Example of Apache Tomcat Complex System
Drechsler et al. Automated and quality-driven requirements engineering
US20220334954A1 (en) Automated verification of a test model for a plurality of defined bdd test scenarios
US11822903B2 (en) Instinctive cipher compilation and implementation
CN115562649B (zh) 一种计算机混合程序语言源代码辅助编写方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626