CN115114281A - 查询语句的生成方法和装置,存储介质和电子设备 - Google Patents
查询语句的生成方法和装置,存储介质和电子设备 Download PDFInfo
- Publication number
- CN115114281A CN115114281A CN202110306766.2A CN202110306766A CN115114281A CN 115114281 A CN115114281 A CN 115114281A CN 202110306766 A CN202110306766 A CN 202110306766A CN 115114281 A CN115114281 A CN 115114281A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- text information
- query statement
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 230000003993 interaction Effects 0.000 claims description 73
- 230000002452 interceptive effect Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 41
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种查询语句的生成方法和装置,存储介质和电子设备,其中方法包括:根据数据表的数据信息,确定文本信息中字词的标签数据;根据数据表的数据信息和文本信息,确定数据表表头信息的标签数据;将文本信息、表头信息、文本信息的标签数据以及表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将文本信息转换为查询语句的子任务数据;根据子任务数据,生成查询语句。使得SQL结构化查询语句的表达逻辑准确率增强,进一步提高查询场景下查询结果的准确率。
Description
技术领域
本申请涉及自然语言处理的技术领域,具体涉及一种查询语句的生成方法和装置。本申请同时涉及一种智能对话服务方法,以及计算机存储介质和电子设备。
背景技术
表格(table)是一种应用广泛的数据存储方式,被广泛用于存储和展示结构化数据。由于表格数据结构清晰、易于维护、时效性强,它们通常是搜索引擎和智能对话系统的重要答案来源。
在海量的大数据时代背景下,将大数据以表格的形式存储在数据库中已成为一种常见的数据存储方式。日常数据交互,比如网络购物、订票、订餐等等,通常以预先设置的SQL模板实现数据交互操作,而预先设置的SQL模板,不具备灵活性,因此导致交互操作受限于SQL模板的功能。
通过NL2SQL的技术,即将自然语言转换为SQL查询语句可以解决上述SQL模板灵活性差的问题。但是,现有NL2SQL技术在对自然语言进行解析生成SQL查询语句过程中准确性较差,进一步在具体应用场景下,会导致SQL查询语句在对数据库进行查询的正确率较低。
发明内容
本申请提供一种查询语句的生成方法,以解决现有技术中SQL查询语句准确性较差的问题。
本申请提供一种查询语句的生成方法,包括:
根据数据表的数据信息,确定文本信息中字词的标签数据;
根据数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
根据所述子任务数据,生成所述查询语句。
在一些实施例中,所述根据数据表的数据信息,确定文本信息中字词的标签数据,包括:
建立所述数据信息与所述文本信息之间的对应链接关系;
根据所述对应链接关系,确定所述文本信息中字词的标签数据。
在一些实施例中,所述建立所述数据信息与所述文本信息之间的对应链接关系,包括:
对所述本文信息进行分词处理,获得词汇;
将所述词汇与所述数据表中的数据信息进行匹配,确定所述词汇与所述数据信息的匹配关系;
将所述匹配关系确定为所述数据信息与所述文本信息之间的对应链接关系。
在一些实施例中,所述根据所述对应链接关系,确定所述文本信息中字词的标签数据,包括:
将用于表征所述字词与所述数据信息之间所述对应链接关系的类型信息,确定为所述文本信息的标签数据。
在一些实施例中,所述根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据,包括:
确定所述数据信息是否出现在所述文本信息中;
若是,则将用于表征所述数据信息在所述文本信息中出现状态的标识信息,确定为所述数据表表头信息的标签数据。
在一些实施例中,所述将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据,包括:
将所述文本信息和所述表头信息输入到所述语言模型的编码层进行编码处理,获得所述文本信息的编码数据和所述表头信息的编码数据;
将所述文本信息的编码数据、所述文本信息的标签数据、所述表头信息的编码数据以及所述文本信息作为所述转换任务学习的输入参数,输入到所述语言模型的交互层进行数据交互,获得交互数据;
将所述特征交互数据输入到所述语言模型的转换任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
在一些实施例中,所述将将所述文本信息的编码数据、所述文本信息的标签数据、所述表头信息的编码数据以及所述文本信息作为输入参数,输入到所述语言模型的交互层进行数据交互,获得交互数据,包括:
将所述文本信息的编码数据和所述表头信息的编码数据输入到所述交互层的第一神经网络中进行数据交互,获得第一交互数据;
将所述第一交互数据与所述文本信息的标签数据进行拼接,获得第一拼接数据;
将所述文本信息的序列编码数据和所述表头信息的编码数据输入到所述交互层的第二神经网络中进行数据交互,获得第二交互数据;
将所述第二交互数据、所述表头信息的标签数据以及所述第一交互数据进行拼接,获得第二拼接数据。
在一些实施例中,所述将所述数据交互特征输入到所述语言模型的任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据,包括:
将所述第一拼接数据和所述第二拼接数据作为所述交互数据,输入到所述语言模型的任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
在一些实施例中,还包括:
确定所述子任务数据的概率值;
确定所述概率值是否满足生成所述查询语句的生成条件;
若否,则根据所述概率值对所述语言模型中模型参数进行调整。
在一些实施例中,还包括:
将所述文本信息和所述表头信息输入到,用于学习所述文本信息与所述表头信息之间依存关系查询语句的语言模型中进行依存关系任务学习,获得表征所述文本信息与所述表头信息之间依存关系的数据。
在一些实施例中,所述将所述文本信息和所述表头信息输入到,用于学习所述文本信息与所述表头信息之间依存关系的语言模型中进行依存关系任务学习,获得用于表征所述文本信息与所述表头信息之间依存关系的数据,包括:
将所述文本信息的编码数据和所述表头信息的编码数据作为所述依存关系任务学习的输入参数,输入到所述语言模型的交互层进行依存数据交互,获得交互依存数据;
将所述交互依存数据输入到所述语言模型的依存任务解析层进行解析,获得用于表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
在一些实施例中,所述将所述交互依存数据输入到所述语言模型的依存任务解析层进行解析,获得用于表征所述文本信息与所述表头信息之间依存关系的依存关系数据,包括:
所述依存任务解析层解析所述依存关系数据中,所述文本信息中字词与所述表头信息之间的对应关系;
根据所述对应关系确定所述字词相对于所述表头信息的标签数据,所述标签数据为表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
在一些实施例中,所述根据所述子任务数据生成针对所述文本信息的所述结构化查询语句,还包括:
根据所述子任务数据和所述依存关系数据,生成针对所述文本信息的所述结构化查询语句。
在一些实施例中,所述根据所述子任务数据和所述依存关系数据生成针对所述文本信息的所述结构化查询语句,包括:
将所述子任务数据和所述依存关系数据进行集成,获得针对所述文本信息的所述结构化查询语句。
在一些实施例中,还包括:
确定所述依存关系数据的概率值;
确定所述概率值是否满足,所述依存关系数据与所述子任务数据生成所述查询语句的生成条件;
若否,则将所述概率值作为输入参数,输入到所述语言模型中进行模型参数调整。
本申请还提供一种查询语句的生成装置,包括:
第一确定单元,用于根据数据表的数据信息与文本信息之间的对应链接关系,确定所述文本信息的标签数据;
第二确定单元,用于根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
转换单元,用于将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到,用于将所述文本信息转换为结构化查询语句的语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述结构化查询语句的子任务数据;
生成单元,用于根据所述子任务数据生成针对所述文本信息的所述结构化查询语句。
本申请还提供一种智能对话服务方法,包括:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述查询语句的生成方法,生成针对所述问题信息的查询语句;
根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
本申请还提供一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如下步骤:
根据数据表的数据信息,确定所述文本信息的标签数据;
根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
根据所述子任务数据生成所述查询语句;
或者,所述程序在被读取执行时,执行如下步骤:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述查询语句的生成方法,生成针对所述问题信息的查询语句;
根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
本申请还提供一种电子设备,包括:
处理器;
存储器,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如下步骤:
根据数据表的数据信息,确定所述文本信息的标签数据;
根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
根据所述子任务数据生成所述查询语句;
或者,执行如下步骤:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述查询语句的生成方法,生成针对所述问题信息的查询语句;
根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
与现有技术相比,本申请具有以下优点:
本申请提供的一种查询语句的生成方法实施例,通过根据数据表的数据信息,确定所述文本信息中字词的标签数据;根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;根据所述子任务数据生成所述查询语句。从而能够在生成的SQL结构化查询语句中融合了文本信息和数据表之间的语义依存的结构化关系,使得SQL结构化查询语句的表达逻辑准确率增强,进一步提高查询场景下查询结果的准确率。
附图说明
图1是本申请提供的一种查询语句的生成方法实施例的流程图;
图2是本申请提供的一种查询语句的生成方法实施例中建立对应链接关系的结构示意图;
图3是本申请提供的一种查询语句的生成方法实施例中确定表头信息的标签数据的结构示意图;
图4是本申请提供的一种查询语句的生成方法实施例中用于执行转换学习任务的语言模型结构示意图;
图5是本申请提供的一种查询语句的生成方法实施例中依存关系数据的结构示意图;
图6是本申请提供的一种查询语句的生成方法实施例中包括执行转换任务学习和依存关系任务学习的语言模型结构示意图;
图7是本申请提供的一种查询语句的生成装置实施例的结构示意图;
图8是本申请提供的一种智能对话服务方法实施例的流程图;
图9是本申请提供的一种电子设备实施例的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
本申请中使用的术语是仅仅出于对特定实施例描述的目的,而非旨在限制本申请。在本申请中和所附权利要求书中所使用的描述方式例如:“一种”、“第一”、和“第二”等,并非对数量上的限定或先后顺序上的限定,而是用来将同一类型的信息彼此区分。
根据上述背景技术中的描述可知,本申请提供的一种查询语句的生成方法实施例的构思是基于现有技术中在采用NL2SQL时,缺少数据库中数据表内信息而导致SQL语句在执行上存在困难,那么,NL2SQL是什么,为什么在数据处理过程中需要NL2SQL技术,下面将一一进行解释。
随着人工智能和物联网技术的飞速发展和相互融合,越来越多的设备将会被植入问答AI,例如:智能机器人的问答、应用软件的智能服务等等。为实现智能问答,终端设备需要将输入的语言信息转换成数据库可操作的SQL查询语句,从而实现问答。NL2SQL是Natural Language to SQL,即将用户的自然语句转为可执行SQL查询语句,该过程可以看作是Text-to-SQL任务,即语义解析任务。Text-to-SQL任务包括:Text-to-SQL任务解析器和SQL执行器,解析器的输入是给定的数据库和针对该数据库的问题(自然语言),输出的是问题对应的SQL查询语句。所述SQL执行器在数据库上执行所述SQL查询语句,并给出针对所述问题的答案。
Text-to-SQL任务可以通过具有神经网络的语言模型进行类似于序列到序列的生成任务。目前包括两种主流的方法:
1、利用Seq2Seq模型,所谓Seq2Seq模型全称为Sequence to sequence(序列到序列),由编码(Encoder)和解码(Decoder)两个部分组成,每部分都是一个RNNCell(RNN、LSTM、GRU等)结构。Encoder将一个序列编码为一个固定长度的语义向量,Decoder将该语义向量解码为另一个序列,即:将SQL查询语句生成任务转化为序列到序列的生成任务。故此,seq2seq模型对序列的前后顺序要求极为严格,而SQL查询语句对于顺序没有较高要求,故而导致其在多领域数据集上准确率较差,而现在主流数据集均为多领域数据集,例如:WikiSQL、Spider、CSpider、CoSQL等;单领域数据集例如:ATIS、GeoQuery、Scholar等。
2、利用SQLNet模型,SQL由SELECT和WHRER部分组成,转化成分类问题实现。所谓SQLNet模型可以是Sequence-to-set模型,基于所有序列预测其属于Select还是Where,然而,该方法仅通过输入模型的文本信息和数据表中表列的表头信息,缺少表格内信息。对于SQL查询语句而言,其是一种结构化查询语句,词与词之间具有结构信息,而现有通过SQLNet模型缺少结构化信息,进而根据生成的SQL查询语句查询数据库时存在影响准确性的问题。
基于上述技术背景,本申请提供一种查询语句的生成方法,该方法在生成SQL查询语句过程中融入有数据表内表格信息和文本信息之间的结构化信息,具体内容如下。
如图1所示,图1是本申请提供的一种查询语句的生成方法实施例的流程图,该实施例包括:
步骤S101:根据数据表的数据信息,确定文本信息的标签数据;
当前大量的信息存储在结构化和半结构化的知识库中,例如:数据库。数据库可以包括一张或多张数据表,当数据表为多张时数据表之间的关系可以通过外键确定。因此,所述步骤S101中数据表的数量在本实施例中没有限制。
数据表通常包括表格的表头(header)和表格中的表格数据,表头可以是行头信息或列头信息。在本实施例中,以表列的列头信息为例进行说明。
所述步骤S101中的数据表的数据信息可以包括列头信息和表格中的表格数据;所述文本信息可以是输入的自然语言,即想要查询信息的表达。
所述步骤S101中的文本信息(utterance)的标签数据,可以根据数据表中数据信息与所述文本信息之间的对应链接关系确定,因此,本实施例包括:
步骤S101-1:建立所述数据信息与所述文本信息之间的对应链接关系;
步骤S102-2:根据所述对应链接关系,确定所述文本信息中字词的标签数据。
请参考图2所示,图2是本申请提供的一种查询语句的生成方法实施例中建立对应链接关系的结构示意图,具体建立对应链接关系的过程可以包括:
步骤S101-11:对所述本文信息进行分词处理,获得字词;
步骤S101-12:将所述字词与所述数据表中的数据信息进行匹配,确定所述字词与所述数据信息的匹配关系;
步骤S101-13:将所述匹配关系确定为所述数据信息与所述文本信息之间的对应链接关系。
如图2所示,所述步骤S001-1中的文本信息可以是“收益率大于5%的理财产品有哪些?”文本信息也即自然语言,自然语言在处理过程中通常需要转换为计算机可以识别并进行处理的文本信息。
所述步骤S101-11中对文本信息“收益率大于5%的理财产品有哪些”进行分词处理,获得字词可以是收益率、大于、5%、的、理财产品、有、哪些。
所述步骤S101-12的具体实现过程可以参考图2所示,数据表包括列头信息,即产品名称、年化收益、期限。表格数据为对应每个列头信息的内容,如产品名称下的数据内容AAA001、BBB、CCC等;年化收益下的数据内容4.3%、5%、5.2%等;期限下的数据内容365、181、190等。可以理解的是,文本信息中的字词“收益率”与列头信息的“年华收益”是匹配对应的;文本信息中的“理财产品”与列头信息的“产品名称”是匹配对应的,进而能够获得每个字词与数据表中数据信息的之间的匹配关系。
所述步骤S101-13根据所述步骤S101-12中的匹配关系,确定所述列头信息与所述字词之间的对应链接关系(schema linking)。
基于上述内容,所述步骤S101-2的具体实现过程可以包括:
步骤S101-21:将用于表征所述字词与所述数据信息之间所述对应链接关系的类型信息,确定为所述文本信息的标签数据。
所述类型信息可以理解为所述字词属于哪个列头,以及列头对应的数据内容等。通常情况下,不同列头表示不同含义。例如:列名(column)、操作符(op)、值(value)、空(null)、聚合(agg)等类型信息。图2所示的示例可以看出文本信息中,每个字词的标签数据为:
收益率--列名;大于--操作符;5%--值;的--null;理财产品--列名;有--null;哪些--null。其中,5%属于数据表列头“年化收益”内的数据内容,类型为数值,即值。
步骤S102:根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
为便于对所述步骤S102的理解,请参考图3所示,图3是本申请提供的一种查询语句的生成方法实施例中确定表头信息的标签数据的结构示意图。
在本实施例中,所述步骤S102的具体实现过程可以包括:
步骤S002-1:确定所述数据信息是否出现在所述文本信息中;
步骤S002-2:若是,则将用于表征所述数据信息在所述文本信息中出现状态的标识信息,确定为所述数据表表头信息的标签数据。
所述步骤S002-1中具体可以理解为所述数据表中表格信息(表格中的数据内容)和列头信息在所述文本信息中是否出现。
所述步骤S002-2,若文本信息中出现有数据表中的数据信息,则根据出现情况来确定表头信息的标签数据。标识信息可以采用阿拉伯数字表示也可以用英文字母或中文数字或其他方式进行表示。在本实施例中,采用阿拉伯数字进行说明,“0”表示null;“1”表示列名在文本信息(utterance)中出现;“2”表示值在文本信息(utterance)中出现;“3”表示列名和值在文本信息(utterance)中出现。那么表头信息的标签数据可以是0、1、2、3……N等表示形式。如图3所示,因为数据表中“产品名称”对应AAA001、BBB等理财产品名称,在文本信息“收益率大于5%的理财产品有哪些?”中出现但未出现具体理财产品名称,因此,产品名称表头信息的标签数据为1;数据表中“年化收益”对应4.3%和5%等数值信息,在文本信息“收益率大于5%的理财产品有哪些?”中出现有数值和列名-收益率,因此,年化收益表头信息的标签数据为2;数据表中“期限”不论表头还是内容均未在文本信息中出现,因此期限表头信息的标签数据为0。
需要说明的是,上述步骤S101和步骤S102为分别确定所述文本信息的标签数据和所述数据表表头信息的标签数据,二者没有前后顺序之分。可以同时进行确定,也可以任意选择确定的前后顺序。
通过上述步骤S101和步骤S102可以获得数据表与文本信息之间的结构化信息。
步骤S103:将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到,用于将所述文本信息转换为结构化查询语句的语言模型中进行转换任务(NL2SQL Task)学习,获得用于将所述文本信息转换为所述结构化查询语句的子任务数据;
所述步骤S103的目的在于获得子任务数据,在本实施例中,所述子任务数据可以理解为SQL查询语句的组成部分,即分别于Select和Where等对应的子任务数据,例如:select-column(查询列,即S-col),select-aggregation(查询聚合操作,即S-agg),select-number(查询个数,即S-num),where-number(条件个数,即W-num),where-column(条件对应列,即W-col),where-operator(条件运算符,即W-op),where-value(条件目标值,即W-val),Conn(连接符)等。
所述步骤S103的具体实现过程可以参考图4所示,图4是本申请提供的一种查询语句的生成方法实施例中语言模型结构示意图,所述步骤S103可以包括:
步骤S103-1:将所述文本信息和所述表头信息输入到所述语言模型的编码层进行编码处理,获得所述文本信息的编码数据和所述表头信息的编码数据;
步骤S103-2:将所述文本信息的编码数据、所述文本信息的标签数据、所述表头信息的编码数据以及所述文本信息作为所述转换任务学习的输入参数,输入到所述语言模型的交互层进行数据交互,获得交互数据;
步骤S103-3:将所述交互数据输入到所述语言模型的转换任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
在本实施例中,所述语言模型可以采用混合网络模型,如包括有BERT模型、LSTM模型和ATT(Attention)模型等,所述步骤S103-1中对输入到BERT模型编码层中文本信息和数据表表头信息中的每个词或字进行编码,也就是说,所述编码层采用BERT模型。在本实施例中,主要是针对每个字进行编码处理以及对数据表表头信息的每个字进行编码,进而获得所述文本信息的编码数据和所述表头信息的编码数据。
所述步骤S103-2的具体实现过程可以包括:
步骤S103-21:将所述文本信息的编码数据和所述表头信息的编码数据输入到所述交互层的第一神经网络中进行数据交互,获得第一交互数据;
步骤S103-22:将所述第一交互数据与所述文本信息的标签数据进行拼接,获得第一拼接数据;
步骤S103-23:将所述文本信息、所述表头信息的编码数据输入到所述交互层的第二神经网络中进行数据交互,获得第二交互数据;
步骤S103-24:将所述第二交互数据、所述表头信息的标签数据以及所述第一数据交互特征进行拼接,获得第二拼接数据。
其中,所述步骤S103-21中文本信息的编码数据和所述表头信息的编码数据可以理解为文本信息中每个字的字向量,表头信息中每个字的字向量。所述第一神经网络采用的是Bi-LSTM(Bi-directional Long Short-Term Memory,即双向的长短期记忆网络),Bi-LSTM属于递归神经网络(RNN)的一种延伸或者是改进,包括前向LSTM与后向LSTM。用于上下有关系的序列标注任务,因此在NLP中常被用来建模上下文信息。所述Bi-LSTM神经网络将输出针对输入数据的序列标注数据信息,即第一交互数据。也就是说,所述交互层为Bi-LSTM模型。
步骤S103-22的具体实现过程可以是,将所述步骤S101中确定的文本信息的标签数据和所述第一交互数据进行拼接(concat)获得第一拼接数据。
步骤S103-23属于语言模型中的另一条分支,即将所述文本信息的编码数据(Hctx)和所述表头信息的编码数据输入到第二神经网络中,所述第二神经网络在本实施例中为注意力(Attention即ATT)神经网络(也可以称为注意力机制)。所述注意力机制,能够增加一个注意力范围,从而在输出字向量时需要重点关注输入序列中的哪些部分,然后根据关注的区域来产生下一个输出。所述步骤S103-23的目的即为通过第二神经网络将所述文本信息和所述表头信息的编码数据进行数据交互,获得第二交互数据。该过程在本实施例中,通过注意力神经网络完成。注意力神经网络也可以理解为是所述交互层。
所述步骤S103-24的目的在于将步骤S103-23中输出的第二交互数据和步骤S102中确定的表头信息的标签数据进行拼接(concat),获得第二拼接数据。
基于上述步骤S103-2的具体实现过程,所述步骤S103-3的具体实现过程可以包括:
将所述第一拼接数据和所述第二拼接数据作为所述交互数据,输入到所述语言模型的任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
在本实施例中,所述任务解析层将对第一拼接数据和第二拼接数据进行解析,解析后获得所述子任务数据,如上述select-column(查询列,即S-col),select-aggregation(查询聚合操作,即S-agg),select-number(查询个数,即S-num),where-number(条件个数,即W-num),where-column(条件对应列,即W-col),where-operator(条件运算符,即W-op),where-value(条件目标值,即W-val),Conn(连接符)等。因为在SQL查询语句中,主要涉及的语句为select和where,故此上述子任务数据主要也是针对这两个查询语句,但并不排除可以解析其他子任务数据,以上仅为示例。
在获得所述子任务数据后则可以执行步骤S104。
步骤S104:根据所述子任务数据生成针对所述文本信息的所述结构化查询语句。
所述步骤S104的具体实现过程可以是将所述子任务数据通过集成算法(ensemble)生成SQL的结构化查询语句。
那么,在生成SQL的结构化查询语句之前为保证子任务数据更为准确,还可以包括:
步骤S003-1:确定所述子任务数据的概率值;
步骤S003-2:确定所述概率值是否满足生成所述查询语句的生成条件;
步骤S003-3:若否,则根据所述概率值对所述语言模型中模型参数进行调整。
所述步骤S003-1的概率值可以通过计算损失函数获得,属于现有技术此处不再赘述
所述步骤S003-2的生成条件可以是概率阈值,即当所述概率值趋向于设置概率阈值1时,则说明损失较小,可直接通过子任务数据生成SQL结构化查询语句。反之,当所述概率值趋向于0,则说明损失较大的,语言模型输出的子任务数据并不理想,需要对语言模型进行调整。此时,可以执行步骤S003-3,将概率值作为参考数据对所述语言模型的模型参数进行调整,使语言模型的输出趋向于1。
上述在语言模型中输入的数据包括了文本信息的标签数据、表头信息的标签数据、数据表的表头信息、文本信息等,而文本信息的标签数据和表头信息的标签数据能够表征文本信息与数据表之间的结构化关系,即表头信息和表格单元信息(数据表的内容)与文本信息之间的对应匹配关系,从而能够在生成的SQL结构化查询语句中融合了文本信息和数据表之间的语义依存关系,使得SQL结构化查询语句能够具有更好的表达逻辑,即SQL结构化查询语句的表达逻辑准确率提高,进一步提高在查询场景下查询结果的准确率。
请参考图5和图6所示,为进一步增强语言模型中的结构化信息,本实施例还可以增加语义的依存关系任务学习,将依存关系任务(Schema dependency Task)学习结果和转换任务(NL2SQL Task)学习结果通过集成算法获得SQL结构化查询语句,所述依存关系任务学习具体可以包括:
步骤S004:将所述文本信息和所述表头信息输入到,用于学习所述文本信息与所述表头信息之间依存关系查询语句的语言模型中进行依存关系任务学习,获得表征所述文本信息与所述表头信息之间依存关系的数据。
在本实施例中,所述依存关系任务(Schema dependency Task)学习和转换任务学习(NL2SQL Task)共用底层的编码层,即BERT模型,获得文本信息的编码数据和数据表表头信息的编码数据,那么所述步骤S004具体可以包括:
步骤S004-1:将所述文本信息的编码数据和所述表头信息的编码数据作为所述依存关系任务学习的输入参数,输入到所述语言模型的交互层进行依存数据交互,获得交互依存数据,此处的语言模型为用于学习所述文本信息与所述表头信息之间依存关系的模型;
步骤S004-2:将所述交互依存数据输入到所述语言模型的依存任务解析层进行解析,获得用于表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
所述步骤S004-1中所述语言模型的交互层可以是MLP神经网络(Multi LayerPerceptron多层感知神经网络)从而能够获得文本信息和所述表头信息之间的交互依存数据。如图5所示,图5是本申请提供的一种查询语句的生成方法实施例中依存关系数据的结构示意图。数据表中列头的产品名称与文本信息中的理财产品存在依存关系;数据表中列头的年化收益与文本信息中的收益率、大于和5%之间存在依存关系;数据表中列头的期限与文本信息无依存关系。
所述步骤S004-2在对交互依存数据进行解析时,可以采用依存关系分析(biaffine)进行,那么,在biaffine之前将MLP应用于递归输出状态有助于去除冗余信息。Hi只需要携带足够的信息来识别单词i的头,找到所有其依赖项,为单词i分配正确的标签,并为其所有依赖项分配正确的标签。因此,所述步骤S004-2的具体实现过程可以包括:
步骤S004-21:所述依存任务解析层解析所述依存关系数据中,所述文本信息中字词与所述表头信息之间的对应关系;
步骤S004-22:根据所述对应关系确定所述字词相对于所述表头信息的标签数据,所述标签数据为表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
如图5所示,文本信息中“收益率”、“大于”、“5%”与数据表列头的“年化收益”相对应,那么可以获得1(收益率)对应的标签数据为Wcol(条件列头,where column)、1(大于)对应的标签数据为op、1(5%)对应的标签数据为val;文本信息中“的”为null,表示为0;文本信息中“理财产品”与数据表列头的“产品名称”相对应,那么可以获得2(理财产品)对应的标签数据为Scol(查询列头,select column);文本信息中其余信息皆为null,表示为0。获得的依存关系数据可以是文本信息的表示序号,如1、1、1、0、2、0、0;以及与序号或文本信息中每个字词对应的标签数据,如Wcol、op、val、null、Scol、null、null。
基于上述内容,如图6所示,图6是本申请提供的一种查询语句的生成方法实施例中包括执行转换任务学习和依存关系任务学习的语言模型结构示意图。所述步骤S104根据所述子任务数据生成针对所述文本信息的所述结构化查询语句还可以包括:
根据所述子任务数据和所述依存关系数据,生成针对所述文本信息的所述结构化查询语句。也就是,将NL2SQL Task任务获得的子任务数据和Schema dependency Task任务获得依存关系数据通过集成算法生成针对所述文本信息的SQL结构化查询语句。
可以理解的是,在生成针对所述文本信息的SQL结构化查询语句过程中还可以包括:
确定所述依存关系数据的概率值;
确定所述概率值是否满足,所述依存关系数据与所述子任务数据生成所述查询语句的生成条件;
若否,则将所述概率值作为输入参数,输入到所述语言模型中进行模型参数调整。
在面对双向的混合网络模型中,例如:BERT和Bi-LSTM等需要在向前输出后,还需要根据损失函数进行后向输入,从而实现对模型的调整,已达到更高要求。
以上是对本申请提供的一种查询语句的生成方法实施例的具体描述,与前述提供的一种查询语句的生成方法实施例相对应,本申请还公开一种查询语句的生成装置实施例,请参看图7,由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图7所示,本申请提供的一种查询语句的生成装置实施例包括:
第一确定单元701,用于根据数据表的数据信息,确定文本信息的标签数据;
第二确定单元702,用于根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
转换单元703,用于将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
生成单元704,用于根据所述子任务数据生成所述查询语句。
所述第一确定单元701包括:
建立子单元,用于建立所述数据信息与所述文本信息之间的对应链接关系;
标签确定子单元,用于根据所述对应链接关系,确定所述文本信息中字词的标签数据。
所述建立子单元具体可以包括:分词子单元、匹配子单元以及关系确定子单元;
所述分词子单元,用于对所述本文信息进行分词处理,获得字词;
所述匹配子单元,用于将所述字词与所述数据表中的数据信息进行匹配,确定所述字词与所述数据信息的匹配关系;
所述关系确定子单元,用于将所述匹配关系确定为所述数据信息与所述文本信息之间的对应链接关系。
所述第一确定单元701具体用于将用于表征所述字词与所述数据信息之间所述对应链接关系的类型信息,确定为所述文本信息的标签数据。具体实现过程中包括:第一确定子单元和第二确定子单元,所述第一确定子单元,用于确定所述数据信息是否出现在所述文本信息中;所述第二确定子单元,用于在所述第一确定子单元的确定结果为是时,将用于表征所述数据信息在所述文本信息中出现状态的标识信息,确定为所述数据表表头信息的标签数据。
所述转换单元703包括:编码子单元、交互子单元和解析子单元;
所述编码子单元,用于将所述文本信息和所述表头信息输入到所述语言模型的编码层进行编码处理,获得所述文本信息的编码数据和所述表头信息的编码数据;
所述交互子单元,用于将所述文本信息的编码数据、所述文本信息的标签数据、所述表头信息的编码数据以及所述文本信息作为所述转换任务学习的输入参数,输入到所述语言模型的交互层进行数据交互,获得交互数据;
所述解析子单元,用于将所述特征交互数据输入到所述语言模型的转换任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
其中所述交互子单元可以包括:第一交互子单元,第一拼接子单元,第二交互子单元和第二拼接子单元;
所述第一交互子单元,用于将所述文本信息的编码数据和所述表头信息的编码数据输入到所述交互层的第一神经网络中进行数据交互,获得第一交互数据;
所述第一拼接子单元,用于将所述第一交互数据与所述文本信息的标签数据进行拼接,获得第一拼接数据;
所述第二交互子单元,用于将所述文本信息的序列编码数据和所述表头信息的编码数据输入到所述交互层的第二神经网络中进行数据交互,获得第二交互数据;
所述第二拼接子单元,用于将所述第二交互数据、所述表头信息的标签数据以及所述第一交互数据进行拼接,获得第二拼接数据。
所述解析子单元具体用于将所述第一拼接数据和所述第二拼接数据作为所述交互数据,输入到所述语言模型的任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
还包括:
概率确定单元,用于确定所述子任务数据的概率值;
条件确定单元,用于确定所述概率值是否满足生成所述查询语句的生成条件;
调整单元,用于当所述条件确定单元中的确定结果为否时,根据所述概率值对所述语言模型中模型参数进行调整。
为增强语言模型对SQL查询语句结构化信息的解析能力,本实施例还包括:
依存单元,用于将所述文本信息和所述表头信息输入到,用于学习所述文本信息与所述表头信息之间依存关系查询语句的语言模型中进行依存关系任务学习,获得表征所述文本信息与所述表头信息之间依存关系的数据。
所述依存单元具体可以包括:交互子单元和解析子单元。
需要说明的是,所述依存单元与转换单元703共用编码子单元,因此此处不再对编码子单元进行描述。
所述交互子单元,用于将所述文本信息的编码数据和所述表头信息的编码数据作为所述依存关系任务学习的输入参数,输入到所述语言模型的交互层进行依存数据交互,获得交互依存数据;
所述解析子单元,用于将所述交互依存数据输入到所述语言模型的依存任务解析层进行解析,获得用于表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
其中,所述解析子单元包括:关系解析子单元和关系确定子单元。
所述关系解析子单元,用于所述依存任务解析层解析所述依存关系数据中,所述文本信息中字词与所述表头信息之间的对应关系;
所述关系确定子单元,用于根据所述对应关系确定所述字词相对于所述表头信息的标签数据,所述标签数据为表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
所述生成单元701具体可以用于根据所述子任务数据和所述依存关系数据,生成针对所述文本信息的所述结构化查询语句。具体地,可以将所述子任务数据和所述依存关系数据进行集成,获得针对所述文本信息的所述结构化查询语句。
进一步,本实施例还可以包括:
概率确定单元,用于确定所述依存关系数据的概率值;
条件确定单元,用于确定所述概率值是否满足,所述依存关系数据与所述子任务数据生成所述查询语句的生成条件;
调整单元,用于当所述条件确定单元的确定为否是,将所述概率值作为输入参数,输入到所述语言模型中进行模型参数调整。如果确定结果为是则说明概率值满足要求,可以进行输出。
上述内容是针对本申请提供的一种查询语句的生成装置实施例的描述,该描述过程较为概要,具体内容可以参考上述查询语句的生成方法实施例中步骤S101到步骤S104的描述。
基于上述内容,本申请还提供一种智能对话服务方法,如图8所示,该智能对话服务方法实施例,包括:
步骤S801:基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
步骤S802:根据上述提供的一种查询语句的生成方法,生成针对所述问题信息的查询语句;
步骤S803:根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
步骤S803:将所述查询数据输出到所述智能对话服务平台。
所述步骤S802中涉及的生成方法可以是本申请提供的一种查询语句的生成方法实施例中步骤S101-步骤104中所描述的内容,此处不再重复赘述。
随着互联网技术的不断发展与进步,人机对话服务正在逐渐走进人们的工作与生活并给人们带来极大的便利。人们通过与智能产品(例如:智能机器人、智能音箱或者其他智能电子产品)进行对话,从而获得人们所需的信息。
在人机对话过程中,智能产品通过深度学习和自然语言处理技术过程中,能够在生成SQL结构化查询语句时融入数据表中的表格信息(表格内容),并且融入数据表和问题信息之间的结构化信息,从而使得生成的SQL结构化查询语句能够更加准确的实现对数据库的查询,查询结果的准确率也进一步提高,从而能够在人机对话平台输出人们所需要的信息,进而完成与人机之间的对话交互过程。人机对话所涉及的领域非常广泛,本申请提供的智能对话服务方法实施例,可以包括:电商、电信、政务、金融、教育、文娱、健康、旅游等很多行业。
例如,在电商行业,用户可以通过与智能客服进行人机对话,实现诸如:开发票、催发货、查物流、改地址、收快递等功能。又或者,在电信行业或者整个运营商的行业里面,用户可以通过与智能客服进行人机对话,实现查话费、查流量、买套餐、报故障、修改密码等功能。不论哪种行业,通过本申请提供的查询语句的生成方法实施例中在生成SQL结构化查询语句时融入数据表中的表格信息(表格内容),并且融入数据表和问题信息之间的结构化信息,能够使得生成的SQL结构化查询语句更加准确的实现对数据库的查询,在查询结果准确率提高的基础上,输出针对用户查询或询问等回复信息也相应的更加准确。
当然,在进行人机对话过程中,为了保证智能产品能够准确地服务用户,即为了提高服务质量,需要智能产品准确地识别对话过程中的用户意图,然后根据用户意图给予正确的反馈,从而提供用户所需的信息或者执行相应的动作。
具体地,在将人机对话服务应用在金融行业中时,用户输入相关理财产品的咨询,根据上述查询语句的生成方法实施例中生成查询语句,并根据所述查询语句去数据库的查询获得用户需求的信息,并智能设备将获得的反馈信息提供给用户。例如,用户可能通过拨打金融服务机构电话咨询理财产品的信息,或者用户可以通过线上客服中心对话平台进行查询相关的服务信息,根据对自然语言的处理获得相应服务信息的内容通过线上客服中心对话平台反馈给用户。
在人机对话过程中,智能客服具体是通过将客户查询的语音转换为文本信息,对文本信息进行分析,从而在生成的SQL结构化查询语句中融合了文本信息和数据表之间的语义依存的结构化关系,使得SQL结构化查询语句的表达逻辑准确率增强,即:智能客服根据用户输入的具体查询业务类目下存在具体要求的信息,即可通过数据库查询获得相应的业务类目下,且符合用户要求的信息内容,进而将信息内容反馈给用户或者通过相应的操作反馈给用户所需的信息。通过该方式,用户仅需通过输入语音或者输入文本就可以将查询需求以人机对话的方式提供给智能客服,智能客服通过上述方式将查询到的信息提供给用户。
基于上述内容,本申请还提供一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如下步骤:
根据数据表的数据信息与文本信息之间的对应链接关系,确定所述文本信息的标签数据;
根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到,用于将所述文本信息转换为结构化查询语句的语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述结构化查询语句的子任务数据;
根据所述子任务数据生成针对所述文本信息的所述结构化查询语句;
或者,所述程序在被读取执行时,执行如下步骤:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述查询语句的生成方法,生成针对所述问题信息的结构化查询语句;
根据所述结构化查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
基于上述内容,如图9所示,本申请还提供一种电子设备,包括:
处理器901;
存储器902,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如下步骤:
根据数据表的数据信息与文本信息之间的对应链接关系,确定所述文本信息的标签数据;
根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到,用于将所述文本信息转换为结构化查询语句的语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述结构化查询语句的子任务数据;
根据所述子任务数据生成针对所述文本信息的所述结构化查询语句;
或者,执行如下步骤:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述查询语句的生成方法,生成针对所述问题信息的结构化查询语句;
根据所述结构化查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (19)
1.一种查询语句的生成方法,其特征在于,包括:
根据数据表的数据信息,确定文本信息中字词的标签数据;
根据数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
根据所述子任务数据,生成所述查询语句。
2.根据权利要求1所述的查询语句的生成方法,其特征在于,所述根据数据表的数据信息,确定文本信息中字词的标签数据,包括:
建立所述数据信息与所述文本信息之间的对应链接关系;
根据所述对应链接关系,确定所述文本信息中字词的标签数据。
3.根据权利要求2所述的查询语句的生成方法,其特征在于,所述建立所述数据信息与所述文本信息之间的对应链接关系,包括:
对所述本文信息进行分词处理,获得词汇;
将所述词汇与所述数据表中的数据信息进行匹配,确定所述词汇与所述数据信息的匹配关系;
将所述匹配关系确定为所述数据信息与所述文本信息之间的对应链接关系。
4.根据权利要求2所述的查询语句的生成方法,其特征在于,所述根据所述对应链接关系,确定所述文本信息中字词的标签数据,包括:
将用于表征所述字词与所述数据信息之间所述对应链接关系的类型信息,确定为所述文本信息的标签数据。
5.根据权利要求1所述的查询语句的生成方法,其特征在于,所述根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据,包括:
确定所述数据信息是否出现在所述文本信息中;
若是,则将用于表征所述数据信息在所述文本信息中出现状态的标识信息,确定为所述数据表表头信息的标签数据。
6.根据权利要求1所述的查询语句的生成方法,其特征在于,所述将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据,包括:
将所述文本信息和所述表头信息输入到所述语言模型的编码层进行编码处理,获得所述文本信息的编码数据和所述表头信息的编码数据;
将所述文本信息的编码数据、所述文本信息的标签数据、所述表头信息的编码数据以及所述文本信息作为所述转换任务学习的输入参数,输入到所述语言模型的交互层进行数据交互,获得交互数据;
将所述特征交互数据输入到所述语言模型的转换任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
7.根据权利要求6所述的查询语句的生成方法,其特征在于,所述将将所述文本信息的编码数据、所述文本信息的标签数据、所述表头信息的编码数据以及所述文本信息作为输入参数,输入到所述语言模型的交互层进行数据交互,获得交互数据,包括:
将所述文本信息的编码数据和所述表头信息的编码数据输入到所述交互层的第一神经网络中进行数据交互,获得第一交互数据;
将所述第一交互数据与所述文本信息的标签数据进行拼接,获得第一拼接数据;
将所述文本信息的序列编码数据和所述表头信息的编码数据输入到所述交互层的第二神经网络中进行数据交互,获得第二交互数据;
将所述第二交互数据、所述表头信息的标签数据以及所述第一交互数据进行拼接,获得第二拼接数据。
8.根据权利要求7所述的查询语句的生成方法,其特征在于,所述将所述数据交互特征输入到所述语言模型的任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据,包括:
将所述第一拼接数据和所述第二拼接数据作为所述交互数据,输入到所述语言模型的任务解析层进行解析,获得用于将所述文本信息转为所述结构化查询语句的子任务数据。
9.根据权利要求8所述的查询语句的生成方法,其特征在于,还包括:
确定所述子任务数据的概率值;
确定所述概率值是否满足生成所述查询语句的生成条件;
若否,则根据所述概率值对所述语言模型中模型参数进行调整。
10.根据权利要求6所述的查询语句的生成方法,其特征在于,还包括:
将所述文本信息和所述表头信息输入到,用于学习所述文本信息与所述表头信息之间依存关系查询语句的语言模型中进行依存关系任务学习,获得表征所述文本信息与所述表头信息之间依存关系的数据。
11.根据权利要求10所述的查询语句的生成方法,其特征在于,所述将所述文本信息和所述表头信息输入到,用于学习所述文本信息与所述表头信息之间依存关系的语言模型中进行依存关系任务学习,获得用于表征所述文本信息与所述表头信息之间依存关系的数据,包括:
将所述文本信息的编码数据和所述表头信息的编码数据作为所述依存关系任务学习的输入参数,输入到所述语言模型的交互层进行依存数据交互,获得交互依存数据;
将所述交互依存数据输入到所述语言模型的依存任务解析层进行解析,获得用于表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
12.根据权利要求11所述的查询语句的生成方法,其特征在于,所述将所述交互依存数据输入到所述语言模型的依存任务解析层进行解析,获得用于表征所述文本信息与所述表头信息之间依存关系的依存关系数据,包括:
所述依存任务解析层解析所述依存关系数据中,所述文本信息中字词与所述表头信息之间的对应关系;
根据所述对应关系确定所述字词相对于所述表头信息的标签数据,所述标签数据为表征所述文本信息与所述表头信息之间依存关系的依存关系数据。
13.根据权利要求11所述的查询语句的生成方法,其特征在于,所述根据所述子任务数据生成针对所述文本信息的所述结构化查询语句,还包括:
根据所述子任务数据和所述依存关系数据,生成针对所述文本信息的所述结构化查询语句。
14.根据权利要求13所述的查询语句的生成方法,其特征在于,所述根据所述子任务数据和所述依存关系数据生成针对所述文本信息的所述结构化查询语句,包括:
将所述子任务数据和所述依存关系数据进行集成,获得针对所述文本信息的所述结构化查询语句。
15.根据权利要求11所述的查询语句的生成方法,其特征在于,还包括:
确定所述依存关系数据的概率值;
确定所述概率值是否满足,所述依存关系数据与所述子任务数据生成所述查询语句的生成条件;
若否,则将所述概率值作为输入参数,输入到所述语言模型中进行模型参数调整。
16.一种查询语句的生成装置,其特征在于,包括:
第一确定单元,用于根据数据表的数据信息与文本信息之间的对应链接关系,确定所述文本信息的标签数据;
第二确定单元,用于根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
转换单元,用于将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到,用于将所述文本信息转换为结构化查询语句的语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述结构化查询语句的子任务数据;
生成单元,用于根据所述子任务数据生成针对所述文本信息的所述结构化查询语句。
17.一种智能对话服务方法,其特征在于,包括:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述权利要求1-15中的任意一种查询语句的生成方法,生成针对所述问题信息的查询语句;
根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
18.一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如下步骤:
根据数据表的数据信息,确定所述文本信息的标签数据;
根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
根据所述子任务数据生成所述查询语句;
或者,所述程序在被读取执行时,执行如下步骤:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述权利要求1-15中的任意一种查询语句的生成方法,生成针对所述问题信息的查询语句;
根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
19.一种电子设备,包括:
处理器;
存储器,用于存储对网络平台产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如下步骤:
根据数据表的数据信息,确定所述文本信息的标签数据;
根据所述数据表的数据信息和所述文本信息,确定所述数据表表头信息的标签数据;
将所述文本信息、所述表头信息、所述文本信息的标签数据以及所述表头信息的标签数据输入到语言模型中进行转换任务学习,获得用于将所述文本信息转换为所述查询语句的子任务数据;
根据所述子任务数据生成所述查询语句;
或者,执行如下步骤:
基于智能对话服务平台,获取提问请求中的问题信息,以及用于针对所述问题信息进行查询的待查询数据表的数据信息;
根据上述权利要求1-15中的任意一种查询语句的生成方法,生成针对所述问题信息的查询语句;
根据所述查询语句查询所述待查询数据表,确定与所述问题信息匹配的查询数据;
将所述查询数据输出到所述智能对话服务平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110306766.2A CN115114281A (zh) | 2021-03-23 | 2021-03-23 | 查询语句的生成方法和装置,存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110306766.2A CN115114281A (zh) | 2021-03-23 | 2021-03-23 | 查询语句的生成方法和装置,存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115114281A true CN115114281A (zh) | 2022-09-27 |
Family
ID=83323485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110306766.2A Pending CN115114281A (zh) | 2021-03-23 | 2021-03-23 | 查询语句的生成方法和装置,存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115114281A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117251473A (zh) * | 2023-11-20 | 2023-12-19 | 摩斯智联科技有限公司 | 车辆数据查询分析方法、系统、装置和存储介质 |
-
2021
- 2021-03-23 CN CN202110306766.2A patent/CN115114281A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117251473A (zh) * | 2023-11-20 | 2023-12-19 | 摩斯智联科技有限公司 | 车辆数据查询分析方法、系统、装置和存储介质 |
CN117251473B (zh) * | 2023-11-20 | 2024-03-15 | 摩斯智联科技有限公司 | 车辆数据查询分析方法、系统、装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11676067B2 (en) | System and method for creating data to train a conversational bot | |
US10331768B2 (en) | Tagging text snippets | |
JP2020537777A (ja) | 発言のユーザ意図を識別するための方法および装置 | |
US11604929B2 (en) | Guided text generation for task-oriented dialogue | |
KR20200139008A (ko) | 딥러닝 기술을 활용한 법률서비스 이용자의 의도분석 기반 계약서 추천 및 자동완성 서비스 | |
CN111651497A (zh) | 用户标签挖掘方法、装置、存储介质及电子设备 | |
CN110765342A (zh) | 信息查询方法及装置、存储介质、智能终端 | |
US20070156406A1 (en) | Voice user interface authoring tool | |
Bunt | A context-change semantics for dialogue acts | |
CN116644167A (zh) | 目标答案的生成方法和装置、存储介质及电子装置 | |
EP4295245A1 (en) | Methods and systems for controlled modeling and optimization of a natural language database interface | |
CN115114281A (zh) | 查询语句的生成方法和装置,存储介质和电子设备 | |
JP7182584B2 (ja) | スピーチ理解における解析異常の情報を出力するための方法 | |
CN116680368B (zh) | 一种基于贝叶斯分类器的水利知识问答方法、设备及介质 | |
CN109656952B (zh) | 查询处理方法、装置及电子设备 | |
CN118202344A (zh) | 用于从文档中提取嵌入式数据的深度学习技术 | |
CN114970666A (zh) | 一种口语处理方法、装置、电子设备及存储介质 | |
CN114239602A (zh) | 会话方法、装置和计算机程序产品 | |
Chung et al. | A question detection algorithm for text analysis | |
CN113066473A (zh) | 一种语音合成方法、装置、存储介质及电子设备 | |
CN117111902B (zh) | Ai智能软件开发方法及装置 | |
CN113127544B (zh) | 数据报表的创建方法、设备以及介质 | |
CN113343668B (zh) | 选择题解题方法、装置、电子设备及可读存储介质 | |
CN117952081A (zh) | 用户意见分析方法、装置及介质 | |
CN114003703A (zh) | 基于人工智能的会话方法、装置、可读存储介质及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240304 Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore Applicant after: Alibaba Innovation Co. Country or region after: Singapore Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road Applicant before: Alibaba Singapore Holdings Ltd. Country or region before: Singapore |