CN113254619A - 针对用户询问的自动答复方法、装置和电子设备 - Google Patents
针对用户询问的自动答复方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113254619A CN113254619A CN202110683060.8A CN202110683060A CN113254619A CN 113254619 A CN113254619 A CN 113254619A CN 202110683060 A CN202110683060 A CN 202110683060A CN 113254619 A CN113254619 A CN 113254619A
- Authority
- CN
- China
- Prior art keywords
- question
- sql
- statement
- text
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种针对用户询问的自动答复方法、装置和电子设备,包括:确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。本发明提供的方法、装置和电子设备,实现了针对用户询问的自动答复,且提高了答复中使用智能数据库的便捷性和高效性。
Description
技术领域
本发明涉及智能数据库技术领域,尤其涉及一种针对用户询问的自动答复方法、装置和电子设备。
背景技术
现有的自然语言语句文本转结构化查询语句(Structured Query Language,SQL)Text-to-SQL任务大多是基于Seq2Seq的模型框架,即将该任务看作是相似于神经网络中的机器翻译任务。Seq2Seq模型中加入自注意机制以及拷贝等机制将Text-to-SQL任务类似于机器翻译认为中序列到序列的生成任务。基于Seq2Seq的模型框架虽然在单领域数据集情况下可以解决大多数问题,但在多领域数据集情况下并未达到较好效果。主要原因在于Seq2Seq架构并不能满足SQL这种形式定义的程序语言规则。SQL语言对于问句中的限定条件,聚类条件,语法及语义的要求较为严格,很多情况下有可能会出现失之毫厘差之千里的结果,而对于简单的Seq2Seq模型架构并不能将这些信息涵盖到模型中,所以就需要对Seq2Seq模型架构进行优化改进,通过更强的表示,更好的结构等措施来改进Seq2Seq模型架构本身的缺陷。
但即便是有更好更强的增强方式,Text-to-SQL任务依然需要基于海量样本标注,投入极大的人力成本,并且Text-to-SQL任务对于训练数据集的质量具有强依赖特性。
因此,基于现有技术中的Text-to-SQL任务的智能数据库问答系统由于Text-to-SQL模型的训练需要大量人力参与海量训练数据集的标注,导致智能数据库问答系统的无法被简易高效的使用。
因此,如何避免现有的智能数据库问答系统中的Text-to-SQL模型训练时需要投入大量人力进行训练数据集的人工标注导致智能数据库的使用并不便捷高效的情况,仍然是本领域技术人员亟待解决的问题。
发明内容
本发明提供一种针对用户询问的自动答复方法、装置和电子设备,用以解决现有的智能数据库问答系统中的Text-to-SQL模型训练时需要投入大量人力进行训练数据集的人工标注导致智能数据库的使用并不便捷高效的问题,通过样本提问语句和对应的提问SQL语句标签进行SQL转换模型的训练,将训练好的SQL转换模型用于本发明提供的针对用户询问的自动答复方法中,关键的用户输入的自然语言文本自动转SQL语句通过上述训练好的SQL转换模型处理,将SQL模型输出的提问SQL语句作为查询语句去预设数据库中进行查询,得到的查询结果拼接成自然语言回复语句后输出;其中,所述样本提问语句和对应的提问SQL语句标签是以预设规则自动构建的,避免了传统方式中需要人工参与训练数据集的标准构建造成的人工成本高的问题,提高了智能数据库的应用的便捷性和高效性。
本发明提供一种针对用户询问的自动答复方法,包括:
确定用户输入询问的提问语句文本;
将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;
其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;
使用所述提问SQL语句在预设数据库中进行查询输出查询结果;
将所述查询结果拼接自然回复语句并输出。
根据本发明提供的一种针对用户询问的自动答复方法,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
提取预设数据库中的目标信息,所述目标信息包括目标库名、目标表名、数据表目标字段以及数据表之间目标关联关系;
基于所述目标信息排列组合生成样本提问语句文本,基于所述样本提问语句进行后台SQL拼接生成对应的提问SQL语句标签,或者,
基于所述目标信息进行后台SQL拼接生成提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
根据本发明提供的一种针对用户询问的自动答复方法,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
基于所述预设数据库中记录的历史提问SQL语句确定提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
根据本发明提供的一种针对用户询问的自动答复方法,所述SQL转换模型的训练过程中的神经网络结构为SQLNet模型框架。
根据本发明提供的一种针对用户询问的自动答复方法,所述SQL转换模型的训练过程包括初始完成阶段和反馈更正阶段;
其中,所述反馈更正阶段的训练是将系统使用过程中对查询结果数据进行更正或择优形成新的数据集加入反馈更正训练集继续训练所述SQL转换模型。
根据本发明提供的一种针对用户询问的自动答复方法,所述使用所述提问SQL语句在预设数据库中进行查询输出查询结果,具体包括:
将所述提问SQL语句转换为对应于预设数据库的目标提问SQL语句;
使用所述目标提问SQL语句在所述预设数据库中进行查询输出查询结果。
根据本发明提供的一种针对用户询问的自动答复方法,还包括:
经过多轮次问答之后,
将当前轮次提问语句文本关联所有历史问答文本,得到目标连续提问语句文本;
将所述目标连续提问语句文本输入所述SQL转换模型,输出对应的连续提问SQL语句;
使用所述连续提问SQL语句在预设数据库中进行查询输出连续查询结果;
将所述连续查询结果拼接自然回复语句并输出。
本发明还提供一种针对用户询问的自动答复装置,包括:
确定单元,用于确定用户输入询问的提问语句文本;
转换单元,用于将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;
其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;
查询单元,用于使用所述提问SQL语句在预设数据库中进行查询输出查询结果;
拼接单元,用于将所述查询结果拼接自然回复语句并输出。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的针对用户询问的自动答复方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的针对用户询问的自动答复方法的步骤。
本发明提供的针对用户询问的自动答复方法、装置和电子设备,通过确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。由于样本提问语句和对应的提问SQL语句标签进行SQL转换模型的训练,将训练好的SQL转换模型用于本发明提供的针对用户询问的自动答复方法中,关键的用户输入的自然语言文本自动转SQL语句通过上述训练好的SQL转换模型处理,将SQL模型输出的提问SQL语句作为查询语句去预设数据库中进行查询,得到的查询结果拼接成自然语言回复语句后输出;其中,所述样本提问语句和对应的提问SQL语句标签是以预设规则自动构建的,避免了传统方式中需要人工参与训练数据集的标准构建造成的人工成本高的问题,提高了智能数据库的应用的便捷性和高效性。因此,本发明实施例提供的方法、装置和电子设备,实现了针对用户询问的自动答复,且提高了答复中使用智能数据库的便捷性和高效性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种针对用户询问的自动答复方法的流程示意图;
图2为本发明提供的SQL转换模型训练流程图;
图3为本发明提供的数据库信息示例图;
图4为本发明提供的数据表信息示例图;
图5为本发明提供的数据表字段信息示例图;
图6为本发明提供的数据表间关系示例图;
图7为本发明提供的SQLNet模型框架中的Sketch原理示意图;
图8为本发明提供的问题答案生成流程图;
图9为本发明提供的多轮自动问答机制结果展示示例图;
图10为本发明提供的针对用户询问的自动答复装置的结构示意图;
图11为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于现有的智能数据库问答系统中的Text-to-SQL模型训练时普遍存在需要投入大量人力进行训练数据集的人工标注导致智能数据库的使用并不便捷高效的问题。下面结合图1至图7描述本发明的一种针对用户询问的自动答复方法。图1为本发明提供的一种针对用户询问的自动答复方法的流程示意图,如图1所示,该方法包括:
步骤110,确定用户输入询问的提问语句文本。
具体地,本发明提供的方法的执行主体是一种针对用户真正数据源询问的自动答复装置,即一种配置存储指定数据领域范围的智能数据库,因此,该自动答复装置只能针对该特定领域的问题进行答复。故,首先确定用户输入询问的提问语句文本,该确认操作还包括验证处理,即验证提问语句文本中的内容是否与所述自动答复装置中的智能数据库的预先配置存储的数据属于同一领域,例如,电信公司和电力公司都有各自的问答系统,当用户找错平台,去电力系统咨询平台询问自己上个月的通话记录,或者去电信系统咨询平台询问自己家里上个记录用电量,这两个用户输入询问的提问语句文本就不会通过该验证处理,被所述自动答复装置认定为非正常提问语句文本,采用系统默认的回复语句向用户展示,例如“抱歉,您提问的问题本平台无法回答”。
步骤120,将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;
其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的。
具体地,在步骤110已经验证过所述提问语句文本与所述自动答复装置中智能数据库存储的数据内容匹配时,则将所述提问语句文本输入至预先训练好的SQL转换模型,输出对应的提问SQL语句。此处对于本发明提供的智能数据库进行进一步说明,“智能”即体现在该自动回复装置能将输入的提问语句文本自动转换为数据库能识别的SQL语句,即自动实现自然语言转机器代码。而该自动转换的操作是基于预先训练好的SQL转换模型进行的,将提问语句文本输入至所述SQL转换模型,输出对应的提问SQL语句。其中,所述SQL转换模型是基于大量的样本提问语句文本和对应的提问SQL语句标签组成的训练数据进行训练得到的,大量数据的训练能保证训练好的SQL转换模型的准确率;此处需要说明的是,样本提问语句文本与所述自动答复装置中智能数据库配置存储的数据所属领域范围一致。此处进一步限定,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,避免传统方案中使用人工参与训练数据集的构建,即人工标注提问文本语句和提问SQL语句,而本发明中是以预设规则自动构建的,预设规则包括多种方式,可以依据已有历史提问语句文本自动构建对应SQL语句,也可以根据已有历史SQL语句进行对应体问文本的自动构建,既而生成训练数据集。也可以使用人工标注数据作为训练数据集。以预设规则构建训练数据集可以实现更快捷批量生成训练数据集。
图2为本发明提供的SQL转换模型训练流程图,如图2所示,首先是包括规则初筛和自动化模型反馈两个步骤的训练数据集模块,用于构建参与所述SQL转换模型训练的训练数据集,其中,所述自动化模型反馈模块用于系统使用过程中对查询结果数据进行更正或择优形成新的数据集,作为反馈更正训练集定期定量的进行所述SQL转换模型训练,如此得到训练数据集合,该集合中的每一数据结构为<问题,sql语句>,即样本提问语句文本和对应的提问SQL语句;以不断提高模型预测的准确率。
步骤130,使用所述提问SQL语句在预设数据库中进行查询输出查询结果。
具体地,对于步骤120将提问语句文本转换得到的提问SQL语句,就可以使用预设数据库的“官方语言”SQL语句进行预设数据库中的内容查询。此处需要说明的是,训练过程中使用的提问SQL语句标签的SQL规则及语法是以MySql数据库的SQL语句为标准,但是使用SQL转换模型输出的提问SQL语句进行在预设数据库中的内容查询之前,需要判定预设数据库使用的数据库软件的语言规则是否需要对SQL语句进行简单转换,因为数据库软件有Oracle、MySQL等等,它们之间的SQL语句的语言规则也有些许区别,例如,日期/时间数据格式化函数,Oracle使用的是TO_CHAR函数,MySql使用的是DATE_FORMAT函数;日期差值方式,Oracle使用(date1,date2),MySql使用DATEDIFF(date1,date2),因此,再将提问SQL语句输入至预设数据库之前,还需要将提问SQL语句转换为对应于所述预设数据库的数据库软件的目标提问SQL语句,再使用所述目标提问SQL语句在预设数据库中进行查询。
步骤140,将所述查询结果拼接自然回复语句并输出。
具体地,将预设数据库返回的查询结果进行拼接,以得到用户方便理解的自然语言,拼接方式包括基于预设语言模板对查询结果进行拼接,或者以预设语言模块对查询结果进行填充连接等等,此处不作具体限定。
本发明提供的方法,通过确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。由于样本提问语句和对应的提问SQL语句标签进行SQL转换模型的训练,将训练好的SQL转换模型用于本发明提供的针对用户询问的自动答复方法中,关键的用户输入的自然语言文本自动转SQL语句通过上述训练好的SQL转换模型处理,将SQL模型输出的提问SQL语句作为查询语句去预设数据库中进行查询,得到的查询结果拼接成自然语言回复语句后输出;其中,所述样本提问语句和对应的提问SQL语句标签是以预设规则自动构建的,避免了传统方式中需要人工参与训练数据集的标准构建造成的人工成本高的问题,提高了智能数据库的应用的便捷性和高效性。因此,本发明实施例提供的方法,实现了针对用户的自然语言询问结构化的数据库数据的自动答复,极大提高了答复中使用结构化数据库的易用性和高效性。
基于上述实施例,该方法中,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
提取预设数据库中的目标信息,所述目标信息包括目标库名、目标表名、数据表目标字段以及数据表之间目标关联关系;
基于所述目标信息排列组合生成样本提问语句文本,基于所述样本提问语句进行后台SQL拼接生成对应的提问SQL语句标签,或者,
基于所述目标信息进行后台SQL拼接生成提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
具体地,对以预设规则自动构建样本提问语句文本和对应的提问SQL语句标签进行进一步地限定:基于规则识别机制收集的数据集以及模型效果反馈的数据集,即基于规则识别机制对指定结构化数据进行关键要素(数据库名,表名,列名等)预加载,对于问题进行SQL拼接加以人工校验生成可用的训练数据集。
其中规则识别机制,使用预设规则识别查询语句中的关键要素进行后台SQL拼接,亦可使用SQL语句进行查询语句生成,两种方式均可快速批量生成数据集。
对于规则识别查询语句生成SQL语句,图3为本发明提供的数据库信息示例图,图4为本发明提供的数据表信息示例图,图5为本发明提供的数据表字段信息示例图,图6为本发明提供的数据表间关系示例图,如图3至图6所示,规则机制中预先加载数据库信息,数据表信息(表名,列名等),数据表重要字段内容,数据表之间关联关系等实际在查询中会涉及到的信息。假设现有供电区域资产表(poc_psb_region_month_assets)有列字段:region_name(区域名称),income(营收入),time_data(时间)等。
方式一,查询语句:“A区2019年3月的营收入是多少”,其中“A区”属于供电区域资产表(poc_psb_region_month_assets)中region_name列中字段值,“营收入”是供电区域资产表(poc_psb_region_month_assets)的income列名值,“2019年3月”时间字段通常作为约束条件(WHERE条件),依据以上信息甄别进行初步SQL语句拼接,查询目标供电区域资产表(poc_psb_region_month_assets)的“营收入”,所有SELECT部分有:SELECT income FROMpoc_psb_region_month_assets,约束条件有:时间“2019年3月”和供电区域资产表(poc_psb_region_month_assets)中region_name列(区域名称)“A区”,所以最终SQL语句为:SELECT income FROM poc_psb_region_month_assets WHERE region_name = “A区” ANDtime_data >= '2019-01-01 00:00:00' AND time_data <= '2019-12-31 23:59:59'。
方式二,使用SQL语句进行查询语句生成查询语句,原理与方式一相同,只是推理反向。例如,有SQL语句SELECT income FROM poc_psb_region_month_assets WHEREregion_name = “A区” AND time_data >= '2019-03-01 00:00:00' AND time_data <= '2019-3-31 23:59:59' ,其中SELECT 语句为目标查询语句,WHERE条件为限制条件,将对应的数据库字段名转换成对应的中文字段名,转换结果为:营收入A区2019年3月1日到2019年3月31号,可调整条件顺序,合并时间范围,最终结果转化结果为:A区2019年3月内的营收入。
因此,上述两个例子给出了以预设规则自动快捷批量生成训练数据的方法:基于给定的预设数据库中的目标信息自动生成提问SQL语句标签,并以进行后台预先编写好的脚本程序基于提问SQL语句标签生成对应的提问语句文本;或者,基于给定的预设数据库中的目标信息自动生成提问语句文本,以后台预先编写好的脚本程序将提问语句文本拼接生成对应的提问SQL语句标签。
基于上述实施例,该方法中,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
基于所述预设数据库中记录的历史提问SQL语句确定提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
具体地,还可以基于自动答复装置使用过程中预设数据库记录的用户询问的提问语句文本以及对应的提问SQL语句作为训练数据集,其中,记录的提问SQL语句可能是之前自动答复装置使用过程中通过人工方式转的SQL语句,但是本发明只是使用了已有的历史数据,不需要临时花费人工资源去标记构建,故该方式也避免了传统的人工参与标记创建大量训练数据集造成的人力成本过高智能数据库的使用低效且不便捷。
基于上述实施例,该方法中,所述SQL转换模型的训练过程中的神经网络结构为SQLNet模型框架。
具体地,本发明采用SQLNet模型框架,为解决Seq2Seq模型框架本身对于Text-to-SQL任务无法解决的问题,SQLNet模型框架中加入一个sketch结构,sketch是一个通用的SQL语法结构,在sketch中会申明所有需要预测的slot。实质上就等同于将Text-to-SQL任务转化成填充槽位的问题,解决Text-to-SQL任务问题就相当于将sketch中各个slot填上。
SQLNet模型框架使用图来表示各个sketch的slot间依赖关系,在预测具体某个slot时并不是用全部上下文信息,而是只会用到与当前token预测相关的信息。其中为了达到这个目的,需利用两种技巧,sequence-to-set和column attention。
1)Sketch
图7为本发明提供的SQLNet模型框架中的Sketch原理示意图,如图7所示,图7左侧即为SQLNet模型框架中的sketch,不同的slot使用$表示,图7右侧使用有向图表示各个slot之间的依赖关系。例如预测where的部分,OP1的预测会依赖于 Column1和 Question本身。图7展示了本发明使用的SQL草图。粗体标记(即SELECT、WHERE和AND)表示SQL关键字。以“$”开头的令牌表示要填充的槽。“$”后面的名称表示预测的类型。例如,$AGG槽可以用空令牌或聚合操作符之一填充,如SUM和MAX。$COLUMN和$VALUE槽需要分别用问题的列名和子字符串填充。$OP槽可以取{=,<,>}的值。∗使用正则表达式来指示零或多个AND子句,草图的依赖关系图如图7右侧所示。
2)Sequence-to-Set
由于在SQL语法中where语句里如果包含不同条件,不同条件之间大多数情况下是同级并列的关系,各个条件之间的顺序不会影响SQL语句查询的结果,所以自然不必执着于以序列化的方式来预测SQL语句的结果。如果可以拓宽思路,那自然可以将序列化问题简化为预测where语句中包含了哪些关键要素(columns)。以下给出每个column出现的概率:
3)Column attention
上述公式中的 只会用到Question本身的信息,但在大多数的实际情况中
Question的不同不在在对于各个column的预测中不同自然是会起到不一样的作用,所以在
这里便增加Attention机制用于这种关联关系的表示,即将上述公式中的 用
来表示。为改善模型准确性故调整公式为:
SQLNet模型框架总体流程实质上是将SQL语句的预测划分成对SQL语句中SELECT和WHERE两个部分的预测,每个部分设置不同slots,将预测问题转化成预测每个slot的结果。在SQLNet的WHERE部分预测中利用sequence-to-set(由序列生成集合)机制来选择WHERE语句中可能出现的列,对每个可能列给一个可能的概率,最后使用注意力机制进行分类得到最终的操作符和条件值。
基于上述实施例,该方法中,所述SQL转换模型的训练过程包括初始完成阶段和反馈更正阶段;
其中,所述反馈更正阶段的训练是将系统使用过程中对查询结果数据进行更正或择优形成新的数据集加入反馈更正训练集继续训练所述SQL转换模型。
具体地,为持续不断提高系统预测的准确率,采用自动化效果反馈机制持续不断收集错误并更正的结果作为更正集,更正或直接汇入训练集中,定期或定量进行模型优化训练。
基于上述实施例,图8为本发明提供的问题答案生成流程图,如图8所示,对于训练完成的SQL转换模型应用于智能问答系统时,首先将用户询问的提问文本语句输入至自动化模型反馈知识库,然后判断该反馈知识库中已经存储有语义相似的问题以及对应的问题SQL语句,如果有,则直接以所述问题SQL语句进行SQL转换并去数据库进行查询得到问题答案,如果没有,则需要将提问语句文本输入至SQL转换模型用于预测对应的提问SQL语句,然后将提问SQL语句去数据库进行查询得到问题答案;其中,预测过程中还包括有规则实体不断判断纠正重新训练更新所述SQL转换模型的补丁程序。
基于上述实施例,该方法中,所述使用所述提问SQL语句在预设数据库中进行查询输出查询结果,具体包括:
将所述提问SQL语句转换为对应于预设数据库的目标提问SQL语句;
使用所述目标提问SQL语句在所述预设数据库中进行查询输出查询结果。
具体地,对于不同数据库SQL语法大致相同,但依然存在部分区别,在预测最终SQL语句并使用中对于不同数据库的SQL语句需要进行各自调整使用,本发明再次增加SQL语法转化模块更加合理方便在各类数据库中使用。
基于上述实施例,该方法中,还包括:
经过多轮次问答之后,
将当前轮次提问语句文本关联所有历史问答文本,得到目标连续提问语句文本;
将所述目标连续提问语句文本输入所述SQL转换模型,输出对应的连续提问SQL语句;
使用所述连续提问SQL语句在预设数据库中进行查询输出连续查询结果;
将所述连续查询结果拼接自然回复语句并输。
具体地,为更加智能化自动化实现数据库的问答效果再次增加多轮自动问答机制,该机制中可以支持用户持续化简易化使用数据库数据,支持无限轮次的连续问询能力,连续对话过程中,自动关联上文问法和实体。图9为本发明提供的多轮自动问答机制结果展示示例图,如图9所示,进过多轮答复之后,自动答复装置可以基于当前轮次输入的提问语句文本结合历史答复内容进行当前轮次答复。
下面对本发明提供的针对用户询问的自动答复装置进行描述,下文描述的装置与上文描述的一种针对用户询问的自动答复方法可相互对应参照。
图10为本发明提供的针对用户询问的自动答复装置的结构示意图,如图10所示,该装置包括生成确定单元1010、转换单元1020、查询单元1030和拼接单元1040,其中,
所述确定单元1010,用于确定用户输入询问的提问语句文本;
所述转换单元1020,用于将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;
其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;
所述查询单元1030,用于使用所述提问SQL语句在预设数据库中进行查询输出查询结果;
所述拼接单元1040,用于将所述查询结果拼接自然回复语句并输出。
本发明提供的装置,通过确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。由于样本提问语句和对应的提问SQL语句标签进行SQL转换模型的训练,将训练好的SQL转换模型用于本发明提供的针对用户询问的自动答复方法中,关键的用户输入的自然语言文本自动转SQL语句通过上述训练好的SQL转换模型处理,将SQL模型输出的提问SQL语句作为查询语句去预设数据库中进行查询,得到的查询结果拼接成自然语言回复语句后输出;其中,所述样本提问语句和对应的提问SQL语句标签是以预设规则自动构建的,避免了传统方式中需要人工参与训练数据集的标准构建造成的人工成本高的问题,提高了智能数据库的应用的便捷性和高效性。因此,本发明实施例提供的装置,实现了针对用户询问的自动答复,且提高了答复中使用智能数据库的便捷性和高效性。
在上述实施例的基础上,该装置中,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
提取预设数据库中的目标信息,所述目标信息包括目标库名、目标表名、数据表目标字段以及数据表之间目标关联关系;
基于所述目标信息排列组合生成样本提问语句文本,基于所述样本提问语句进行后台SQL拼接生成对应的提问SQL语句标签,或者,
基于所述目标信息进行后台SQL拼接生成提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
在上述实施例的基础上,该装置中,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
基于所述预设数据库中记录的历史提问SQL语句确定提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
在上述实施例的基础上,该装置中,所述SQL转换模型的训练过程中的神经网络结构为SQLNet模型框架。
在上述实施例的基础上,该装置中,所述SQL转换模型的训练过程包括初始完成阶段和反馈更正阶段;
其中,所述反馈更正阶段的训练是将系统使用过程中对查询结果数据进行更正或择优形成新的数据集加入反馈更正训练集继续训练所述SQL转换模型。
在上述实施例的基础上,该装置中,所述查询单元,具体用于:
将所述提问SQL语句转换为对应于预设数据库的目标提问SQL语句;
使用所述目标提问SQL语句在所述预设数据库中进行查询输出查询结果。
在上述实施例的基础上,还包括连续问答单元,具体用于:
经过多轮次问答之后,
将当前轮次提问语句文本关联所有历史问答文本,得到目标连续提问语句文本;
将所述目标连续提问语句文本输入所述SQL转换模型,输出对应的连续提问SQL语句;
使用所述连续提问SQL语句在预设数据库中进行查询输出连续查询结果;
将所述连续查询结果拼接自然回复语句并输出。
图11为本发明提供的一种电子设备的实体结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令,以执行针对用户询问的自动答复方法,该方法包括:确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。
此外,上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的针对用户询问的自动答复方法,该方法包括:确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的针对用户询问的自动答复方法,该方法包括:确定用户输入询问的提问语句文本;将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;使用所述提问SQL语句在预设数据库中进行查询输出查询结果;将所述查询结果拼接自然回复语句并输出。
以上所描述的服务器实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种针对用户询问的自动答复方法,其特征在于,包括:
确定用户输入询问的提问语句文本;
将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;
其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;
使用所述提问SQL语句在预设数据库中进行查询输出查询结果;
将所述查询结果拼接自然回复语句并输出。
2.根据权利要求1所述的针对用户询问的自动答复方法,其特征在于,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
提取预设数据库中的目标信息,所述目标信息包括目标库名、目标表名、数据表目标字段以及数据表之间目标关联关系;
基于所述目标信息排列组合生成样本提问语句文本,基于所述样本提问语句进行后台SQL拼接生成对应的提问SQL语句标签,或者,
基于所述目标信息进行后台SQL拼接生成提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
3.根据权利要求1所述的针对用户询问的自动答复方法,其特征在于,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的,具体包括:
基于所述预设数据库中记录的历史提问SQL语句确定提问SQL语句标签,基于所述提问SQL语句标签生成对应的样本提问语句文本。
4.根据权利要求2或3所述的针对用户询问的自动答复方法,其特征在于,所述SQL转换模型的训练过程中的神经网络结构为SQLNet模型框架。
5.根据权利要求2或3所述的针对用户询问的自动答复方法,其特征在于,所述SQL转换模型的训练过程包括初始完成阶段和反馈更正阶段;
其中,所述反馈更正阶段的训练是将系统使用过程中对查询结果数据进行更正或择优形成新的数据集加入反馈更正训练集继续训练所述SQL转换模型。
6.根据权利要求2或3所述的针对用户询问的自动答复方法,其特征在于,所述使用所述提问SQL语句在预设数据库中进行查询输出查询结果,具体包括:
将所述提问SQL语句转换为对应于预设数据库的目标提问SQL语句;
使用所述目标提问SQL语句在所述预设数据库中进行查询输出查询结果。
7.根据权利要求2或3所述的针对用户询问的自动答复方法,其特征在于,还包括:
经过多轮次问答之后,
将当前轮次提问语句文本关联所有历史问答文本,得到目标连续提问语句文本;
将所述目标连续提问语句文本输入所述SQL转换模型,输出对应的连续提问SQL语句;
使用所述连续提问SQL语句在预设数据库中进行查询输出连续查询结果;
将所述连续查询结果拼接自然回复语句并输出。
8.一种针对用户询问的自动答复装置,其特征在于,包括:
确定单元,用于确定用户输入询问的提问语句文本;
转换单元,用于将所述提问语句文本输入结构化查询语言SQL转换模型,输出对应的提问SQL语句;
其中,所述SQL转换模型是基于样本提问语句文本和对应的提问SQL语句标签进行训练得到的,所述样本提问语句文本和对应的提问SQL语句标签是以预设规则自动构建的;
查询单元,用于使用所述提问SQL语句在预设数据库中进行查询输出查询结果;
拼接单元,用于将所述查询结果拼接自然回复语句并输出。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的针对用户询问的自动答复方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的针对用户询问的自动答复方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110683060.8A CN113254619A (zh) | 2021-06-21 | 2021-06-21 | 针对用户询问的自动答复方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110683060.8A CN113254619A (zh) | 2021-06-21 | 2021-06-21 | 针对用户询问的自动答复方法、装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113254619A true CN113254619A (zh) | 2021-08-13 |
Family
ID=77188830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110683060.8A Pending CN113254619A (zh) | 2021-06-21 | 2021-06-21 | 针对用户询问的自动答复方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113254619A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114117025A (zh) * | 2022-01-28 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 信息查询方法、装置、存储介质及系统 |
CN114168726A (zh) * | 2022-02-11 | 2022-03-11 | 阿里巴巴达摩院(杭州)科技有限公司 | 语句处理方法、装置、存储介质及系统 |
CN114579606A (zh) * | 2022-05-05 | 2022-06-03 | 阿里巴巴达摩院(杭州)科技有限公司 | 预训练模型数据处理方法、电子设备及计算机存储介质 |
CN114610752A (zh) * | 2022-05-10 | 2022-06-10 | 阿里巴巴(中国)有限公司 | 基于表格问答的回复生成及模型训练方法、装置及设备 |
CN115617974A (zh) * | 2022-12-14 | 2023-01-17 | 北京红棉小冰科技有限公司 | 一种对话处理方法、装置、设备及存储介质 |
CN116629227A (zh) * | 2023-07-24 | 2023-08-22 | 海信集团控股股份有限公司 | 一种将文本转换为sql语句的方法及设备 |
CN117708304A (zh) * | 2024-02-01 | 2024-03-15 | 浙江大华技术股份有限公司 | 数据库问答方法、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408526A (zh) * | 2018-10-12 | 2019-03-01 | 平安科技(深圳)有限公司 | Sql语句生成方法、装置、计算机设备及存储介质 |
CN110825860A (zh) * | 2019-10-24 | 2020-02-21 | 厦门快商通科技股份有限公司 | 知识库问答抽取方法、系统、移动终端及存储介质 |
CN111008213A (zh) * | 2019-12-23 | 2020-04-14 | 百度在线网络技术(北京)有限公司 | 用于生成语言转换模型的方法和装置 |
CN111159220A (zh) * | 2019-12-31 | 2020-05-15 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
US20200242142A1 (en) * | 2019-01-24 | 2020-07-30 | International Business Machines Corporation | Intelligent cryptic query-response in action proposal communications |
-
2021
- 2021-06-21 CN CN202110683060.8A patent/CN113254619A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408526A (zh) * | 2018-10-12 | 2019-03-01 | 平安科技(深圳)有限公司 | Sql语句生成方法、装置、计算机设备及存储介质 |
US20200242142A1 (en) * | 2019-01-24 | 2020-07-30 | International Business Machines Corporation | Intelligent cryptic query-response in action proposal communications |
CN110825860A (zh) * | 2019-10-24 | 2020-02-21 | 厦门快商通科技股份有限公司 | 知识库问答抽取方法、系统、移动终端及存储介质 |
CN111008213A (zh) * | 2019-12-23 | 2020-04-14 | 百度在线网络技术(北京)有限公司 | 用于生成语言转换模型的方法和装置 |
CN111159220A (zh) * | 2019-12-31 | 2020-05-15 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
Non-Patent Citations (2)
Title |
---|
XIAOJUN XU等: "SQLNet: GENERATING STRUCTURED QUERIES FROM", 《ARXIV》 * |
李智等: "基于表格的自动问答研究与展望", 《计算机工程与应用》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114117025A (zh) * | 2022-01-28 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 信息查询方法、装置、存储介质及系统 |
CN114168726A (zh) * | 2022-02-11 | 2022-03-11 | 阿里巴巴达摩院(杭州)科技有限公司 | 语句处理方法、装置、存储介质及系统 |
CN114579606A (zh) * | 2022-05-05 | 2022-06-03 | 阿里巴巴达摩院(杭州)科技有限公司 | 预训练模型数据处理方法、电子设备及计算机存储介质 |
CN114579606B (zh) * | 2022-05-05 | 2022-07-29 | 阿里巴巴达摩院(杭州)科技有限公司 | 预训练模型数据处理方法、电子设备及计算机存储介质 |
CN114610752A (zh) * | 2022-05-10 | 2022-06-10 | 阿里巴巴(中国)有限公司 | 基于表格问答的回复生成及模型训练方法、装置及设备 |
CN114610752B (zh) * | 2022-05-10 | 2022-09-30 | 阿里巴巴(中国)有限公司 | 基于表格问答的回复生成及模型训练方法、装置及设备 |
CN115617974A (zh) * | 2022-12-14 | 2023-01-17 | 北京红棉小冰科技有限公司 | 一种对话处理方法、装置、设备及存储介质 |
CN115617974B (zh) * | 2022-12-14 | 2023-12-01 | 北京红棉小冰科技有限公司 | 一种对话处理方法、装置、设备及存储介质 |
CN116629227A (zh) * | 2023-07-24 | 2023-08-22 | 海信集团控股股份有限公司 | 一种将文本转换为sql语句的方法及设备 |
CN116629227B (zh) * | 2023-07-24 | 2023-10-24 | 海信集团控股股份有限公司 | 一种将文本转换为sql语句的方法及设备 |
CN117708304A (zh) * | 2024-02-01 | 2024-03-15 | 浙江大华技术股份有限公司 | 数据库问答方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113254619A (zh) | 针对用户询问的自动答复方法、装置和电子设备 | |
US20230065070A1 (en) | Lean parsing: a natural language processing system and method for parsing domain-specific languages | |
US9934220B2 (en) | Content revision using question and answer generation | |
EP3485445A1 (en) | System and method for automatically understanding lines of compliance forms through natural language patterns | |
US20220366127A1 (en) | Legal Document Generation | |
CN116244344A (zh) | 基于用户需求的检索方法、装置以及电子设备 | |
Hu et al. | Automating user notice generation for smart contract functions | |
CN107766327A (zh) | 一种命名实体识别过程中纠错的方法及系统 | |
CN117112767A (zh) | 问答结果生成方法和商业查询大模型训练方法、及装置 | |
CN112434504A (zh) | 生成文件信息的方法、装置、电子设备和计算机可读介质 | |
CN116860927A (zh) | 一种基于知识图谱的审计指引智能问答方法、系统及设备 | |
US11210636B1 (en) | Systems and methods for generating proposals | |
Nyman-Metcalf et al. | Simplifying the law—can ICT help us? | |
CN116822530A (zh) | 一种基于知识图谱的问答对生成方法 | |
WO2022271385A9 (en) | Automatic generation of lectures derived from generic, educational or scientific contents, fitting specified parameters | |
Gesnouin et al. | LLaMandement: Large Language Models for Summarization of French Legislative Proposals | |
Labin et al. | AI-driven contract review: A product development journey | |
US11983486B1 (en) | Machine learning techniques for updating documents generated by a natural language generation (NLG) engine | |
Li et al. | Extracting Financial Data From Unstructured Sources: Leveraging Large Language Models | |
US11972223B1 (en) | Query evaluation in natural language processing systems | |
CN112632991B (zh) | 一种中文语言的特征信息提取方法及装置 | |
CN117875292A (zh) | 金融知识智能问答方法、系统、终端设备和存储介质 | |
Pont et al. | Legal Summarisation through LLMs: The PRODIGIT Project | |
CN117688160A (zh) | 问答对构建方法、装置、电子设备和存储介质 | |
CN118051605A (zh) | 文本评价生成方法、系统、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |