CN118093805A - 一种问答方法、装置、电子设备及存储介质 - Google Patents
一种问答方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118093805A CN118093805A CN202311869818.2A CN202311869818A CN118093805A CN 118093805 A CN118093805 A CN 118093805A CN 202311869818 A CN202311869818 A CN 202311869818A CN 118093805 A CN118093805 A CN 118093805A
- Authority
- CN
- China
- Prior art keywords
- text
- question
- vector
- determining
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 173
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 8
- 230000000903 blocking effect Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种问答方法、装置、电子设备及存储介质,该方法包括:确定至少一个文本数据,并根据文本标题,对文本数据进行切块,得到至少一个文本块;对文本块确定至少一个参考问题,并对文本块进行向量化,得到文本块向量,以及,对参考问题进行向量化,得到参考问题向量;根据文本块向量和参考问题向量,确定向量数据库,并根据向量数据库,确定待回答问题的答案。本发明的技术方案,通过对原始文本数据文本切块、文本块向量化、构建向量数据库为核心,将输入的文本数据生成多个参考问题并向量化生成向量数据库,从中确定待回答问题的答案,实现自动查询问答系统的用户交互界面输入问题的答案定位,提高了预测答案准确率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种问答方法、装置、电子设备及存储介质。
背景技术
近年来,随着深度学习技术的不断发展,越来越多的研究人员开始探索将深度学习技术应用于文本检索领域。其中,最具代表性的技术之一就是BERT(BidirectionalEncoder Representations from Transformers)模型。BERT模型通过预训练的方式,在大量无标注文本数据上学习到了丰富的语言特征,然后在此基础上进行微调,用于具体的文本检索任务。这种方法虽然能够在一定程度上提高检索的准确性,但是仍然存在一些问题,例如需要大量的计算资源,训练时间较长等。
基于关键字的搜索方法依赖于用户提供的关键字,通过比较关键字与索引字段中的词汇是否匹配来确定搜索结果,但缺点是无法处理多义词、同义词和拼写错误等问题。另一种基于向量空间模型的搜索方法将文档表示为一组数值向量,通过对向量的运算来进行相似度检索,但缺点是无法处理复杂的语义关系,如上下文依赖和多义词等。基于机器学习的搜索方法使用机器学习算法建立查询与文档之间的关系模型,根据模型进行搜索,但缺点是需要大量的标注数据进行训练,且计算复杂度较高。
发明内容
本发明提供了一种问答方法、装置、电子设备及存储介质,以实现自动查询用户输入问题的答案定位,提高了预测答案准确率。
第一方面,本发明实施例提供了一种问答方法,该方法包括:
确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块;
对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量;
根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案。
第二方面,本发明实施例还提供了一种问答装置,该装置包括:
文本数据切块单元,用于确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块;
向量化确定单元,用于对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量;
答案确定单元,用于根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的问答方法。
第四方面,本发明实施例还提供了一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的问答方法。
本发明实施例的技术方案,通过对原始文本数据文本切块、文本块向量化、构建向量数据库为核心,将输入的文本数据生成多个参考问题并向量化生成向量数据库,从中确定待回答问题的答案,实现自动查询问答系统的用户交互界面输入问题的答案定位,提高了预测答案准确率。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种问答方法的流程图;
图2是本发明实施例一提供的一种实现文本问答方法的流程图;
图3是本发明实施例二提供的一种问答方法的流程图;
图4是本发明实施例三提供的一种问答装置的结构示意图;
图5是本发明实施例四提供的一种实现问答方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种问答方法的流程图,本实施例可适用于文本问答情况,该方法可以由问答装置来执行,该问答装置可以采用硬件和/或软件的形式实现,该问答装置可配置于任何具有网络通信功能的电子设备中。
如图1所示,该方法包括:
S110、确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块。
本申请实施例中,文本数据是指不能参与算术运算的字符型数据,文本向量的维数一般可高达上万维,且文本数据中存在着一词多义、多词一义,在时间和空间上的上下文相关等情况。文本数据可能包含结构字段,如标题、作者、出版日期、长度、分类或非结构字段如摘要和内容。根据用户查询的问题确定查询的文本数据数量包含一个及以上,对文本数据进行分割切块,可以增加搜索结果的准确性,防止错过显示查询问题的相关答案内容。
作为一种可选但非限定的实现方式,确定至少一个文本数据,包括:
根据统一资源标识符获取至少一个原始文本数据;
对所述原始文本数据进行数据处理,得到标准文本数据;
所述数据处理包括以下至少一项:样式解析、页面元素分割、噪声清洗以及字段格式转换。
本申请实施例中,根据URL(Uniform Resource Locator,统一资源标识符)获取文档,URL地址通常用于指定互联网上的资源位置,例如网页、文件、图片等,在本实施例中,URL地址可以是指定文本数据位置的地址。具体的,可以通过向URL地址发送文本获取请求的方式,获取文本数据,URL地址可以是网络地址,也可以通过URL访问数据库,获取数据库中的文本数据。原始文本数据用于表示根据统一资源标识符在网络定位获取的文本数据,对原始文本数据进行数据处理是指将不同格式、不同来源的文本数据转化为统一的格式和标准。参见图2为实现文本问答方法的流程图,图2中加载文本数据模块对应确定至少一个文本数据的内容。
其中获取class为container的页面内容是指根据标题样式解析文档或网页数据的class类、行、列等数据。提取文本内容,使用换行符分割页面元素是指找到大段内容,在分割文本数据时根据空行或逗号等进行业务逻辑处理。使用Utils.DefaultCleanFunction清洗数据中多余的符号、错别字、重行等,封装文档信息为字段统一,将下载的文档统一化格式。对文本数据的清洗通过删除无用的信息、修复错误和噪声,将文本数据变得更加整洁和规范,便于后续查询用户问题的答案,提高查询准确率。
作为一种可选但非限定的实现方式,根据文本标题,对所述文本数据进行切块,得到至少一个文本块,包括:
对所述文本数据进行文本标题识别,得到至少一个文本标题;
根据文本标题进行文本数据切块,得到至少一个文本块。
本申请实施例中,将文本数据根据文本标题进行切块,得到一个及以上的文本块。切块的目标是在保留上下文和保留准确性之间找到平衡,根据文本标题智能划分文本内容为内容结构和层次结构,产生语义上更连贯的文本块。
作为一种可选但非限定的实现方式,对所述文本数据进行文本标题识别,得到至少一个文本标题,包括:
若确定目标文本满足标题认证条件,则确定目标文本为文本标题;
其中,所述标题认证条件包括以下至少一项:文本长度大于零、文本不包含标点符号、文本长度小于或者等于预设文本长度阈值、文本中的数字字符的数量与文本字符总数量的比值小于或者等于预设比值阈值、文本中包含非数字字符,以及文本中前预设数量个文本字符中包含数字字符。
可选的,可以设置为在上述标题认证条件同时满足时,确定目标文本为文本标题,但是本实施例对文本标题进行认证的具体条件以及条件的数量不进行限制,可以根据实际需要进行灵活设置。
本申请实施例中,参见图2实现文本问答方法的流程图中的文本切块模块,文本切块通过标题增强技术对文档进行内容和层次结构的划分,标题认证由6个条件构成,标题认证条件包括:文本长度不为0、不包含标点符号、文本不超过指定长度、数字占比符合预期、文本不是纯数字、开头5个字符内有数字。
S120、对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量。
本申请实施例中,将文本块内容摘要提炼重要信息点,根据信息点和上下文关系设置参考问题并向量化存储。其中,设置参考问题可以预先设置问题数量N,对各文本块,均生成问题数量N个参考问题;还可以不限制问题数量,对于各文本块,根据其文本块内容生成对应的参考问题,本实施例对各文本块的参考问题的数量不进行限制。
而文本向量化是将文本信息表示为能够表达文本语义的向量,用数值向量表示文本的语义,可通过一些文本向量模型进行转化,通过对文本块向量化和参考问题向量化,数值更有利于准确匹配用户问题,快速查询相关答案。
作为一种可选但非限定的实现方式,对所述文本块确定至少一个参考问题,包括:
通过大模型,确定与所述文本块匹配的至少一个参考问题。
本申请实施例中,大模型表示大语言模型,是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义,大语言模型可以处理多种自然语言任务,如文本分类、问答、对话等。大模型根据文本块内容摘要提炼重要信息点进行设置一个及以上的参考问题。
S130、根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案。
本申请实施例中,文本块向量和参考问题向量用于表示将文本数据向量化为多维空间里的坐标值,并将每个文本块向量和参考问题向量的坐标值构造一个向量数据库,向量数据库里的每个坐标点对应一个文本块向量或参考问题向量。利用向量数据库,通过计算向量之间的相似度或距离,快速定位最相关待回答问题的近似值进行匹配答案。
本发明公开了一种问答方法,该方法包括:确定至少一个文本数据,并根据文本标题,对文本数据进行切块,得到至少一个文本块;对文本块确定至少一个参考问题,并对文本块进行向量化,得到文本块向量,以及,对参考问题进行向量化,得到参考问题向量;根据文本块向量和所述参考问题向量,确定向量数据库,并根据向量数据库,确定待回答问题的答案。本发明实施例的技术方案,通过对原始文本数据文本切块、文本块向量化、构建向量数据库为核心,将输入的文本数据生成多个参考问题并向量化生成向量数据库,从中确定待回答问题的答案,实现自动查询问答系统的用户交互界面输入问题的答案定位,提高了预测答案准确率。
实施例二
图3为本发明实施例二提供的一种问答方法的流程图,本发明实施例在上述实施例的基础上,对根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案进行了进一步的具体化,未在本申请实施例中详尽描述的方案见上述实施例。
如图3所示,该方法包括:
S210、确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块。
S220、对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量。
S230、根据所述文本块向量和所述参考问题向量,确定向量数据库。
S240、获取待回答问题,并确定与所述待回答问题匹配的标准问题向量。
本申请实施例中,通过响应于问答系统的用户交互界面的问题输入,获取待回答问题,根据文本块向量生成多个相关的参考问题构建的向量数据库,向量数据库中包含每个参考问题的向量数值信息,确定与待回答问题匹配的标准问题向量,标准问题向量用于表示将用户输入的待回答问题进行标准化处理后的问题向量。
作为一种可选但非限定的实现方式,确定与所述待回答问题匹配的标准问题向量,包括:
对所述待回答问题进行摘要提取,获得问题摘要,和/或对所述待回答问题进行关键信息提取,获得问题关键信息;
通过大模型,根据问题摘要和/或问题关键信息,生成标准问题;
对所述标准问题进行向量化,得到标准问题向量。
本申请实施例中,通过大模型可以根据文本内容摘要及关键信息提炼重要信息点为支撑,将用户输入的待回答问题进行标准化处理生成标准问题,得到一个多维空间中的向量坐标值的标准问题向量。
S250、将所述标准问题向量与所述向量数据库中的各参考问题向量进行比对,在各参考问题向量中确定目标参考问题向量。
本申请实施例中,目标参考问题向量用于确定待回答问题的参考答案,将标准问题向量与向量数据库中的参考问题向量进行比对,其中,将标准问题向量与向量数据库中的各参考问题向量进行比对,既可以是通过计算标准问题向量与向量数据库中的各参考问题向量之间的相似度的方式,也可以是通过计算标准问题向量与向量数据库中的各参考问题向量之间的向量距离的方式,本实施例对具体的比对方式不进行限制。
具体的,既可以将相似度最高的或者向量距离最小的参考问题向量作为目标参考问题向量。也可以是预先设置预设数量,根据相似度由高到低的顺序或者向量距离由小到大的顺序对各参考问题向量进行排序,取前预设数量个参考问题向量作为目标参考问题向量。还可以预先设置相似度阈值或者向量距离阈值,将相似度大于或者等于相似度阈值的参考问题向量作为目标参考问题向量,或者将向量距离小于或者等于向量距离阈值的参考问题向量作为目标参考问题向量,本实施例对目标参考问题向量的确定方式不进行限制。
S260、将所述目标参考问题向量对应的参考答案,作为所述待回答问题的答案。
本申请实施例中,将向量数据库中目标参考问题向量对应的参考答案作为待回答问题的答案。
参考图2,本发明方案的具体执行步骤可以包括:
通过网络爬取技术或数据库加载文本数据;
为了保证文本数据的准确性,对文本数据进行相应的降噪处理;
将文本数据内容按照指定标题认证条件根据标题进行切块;
存储源文本块内容;
摘要文本块内容关键信息,生成N个参考问题并向量化存储;
向量化文本块内容并存储;
将参考问题向量和文本块向量存储至向量数据库;
通过响应于问答系统的用户交互界面的问题输入获取待回答问题;
提取待回答问题的关键信息;
调用大模型生成相对标准问题;
将标准问题通过向量化模型生成标准问题向量;
查询向量数据库中满足相似度要求的参考问题向量并返回;
根据参考问题向量的答案进行回答,并提供参考依据。
本发明公开了一种问答方法,该方法包括:确定至少一个文本数据,并根据文本标题,对文本数据进行切块,得到至少一个文本块;对文本块确定至少一个参考问题,并对文本块进行向量化,得到文本块向量,以及,对参考问题进行向量化,得到参考问题向量;根据文本块向量和所述参考问题向量,确定向量数据库;获取待回答问题,并确定与所述待回答问题匹配的标准问题向量;将所述标准问题向量与所述向量数据库中的各参考问题向量进行比对,在各参考问题向量中确定目标参考问题向量;将所述目标参考问题向量对应的参考答案,作为所述待回答问题的答案。本发明实施例的技术方案,通过对原始文本数据文本切块、文本块向量化、构建向量数据库为核心,利用大模型的语义理解、分析、推理和计算等能力为支撑,将待回答问题向量化与文本块自动生成的参考问题向量匹配目标参考问题向量,获取目标参考问题向量的答案作为待回答问题的答案,实现自动查询问答系统的用户交互界面输入问题的答案定位,提高了预测答案准确率。
实施例三
图4为本发明实施例三提供的一种问答装置的结构示意图,本实施例可适用于文本问答情况,该问答装置可以采用硬件和/或软件的形式实现,该问答装置可配置于任何具有网络通信功能的电子设备中。如图4所示,该装置包括:
文本数据切块模块310,用于确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块;
向量化确定模块320,用于对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量;
答案确定模块330,用于根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案。
可选的,文本数据切块模块310包括:
文本数据获取单元,用于根据统一资源标识符获取至少一个文本数据;
数据处理单元,用于对所述文本数据进行数据处理,得到标准文本数据;
所述数据处理包括以下至少一项:样式解析、页面元素分割、噪声清洗以及字段格式转换。
可选的,文本数据切块模块310还包括:
文本标题识别单元,用于对所述文本数据进行文本标题识别,得到至少一个文本标题;
文本数据切块单元,用于根据文本标题进行文本数据切块,得到至少一个文本块。
可选的,文本标题识别单元包括:
若确定目标文本满足标题认证条件,则确定目标文本为文本标题;
其中,所述标题认证条件包括以下至少一项:文本长度大于零、文本不包含标点符号、文本长度小于或者等于预设文本长度阈值、文本中的数字字符的数量与文本字符总数量的比值小于或者等于预设比值阈值、文本中包含非数字字符,以及文本中前预设数量个文本字符中包含数字字符。
可选的,向量化确定模块320包括:
参考问题确定单元,用于通过大模型,确定与所述文本块匹配的至少一个参考问题。
可选的,答案确定模块330包括:
标准问题向量确定单元,用于获取待回答问题,并确定与所述待回答问题匹配的标准问题向量;
目标参考问题向量确定单元,用于将所述标准问题向量与所述向量数据库中的各参考问题向量进行比对,在各参考问题向量中确定目标参考问题向量;
答案确定单元,用于将所述目标参考问题向量对应的参考答案,作为所述待回答问题的答案。
可选的,标准问题向量确定单元包括:
对所述待回答问题进行摘要提取,获得问题摘要,和/或对所述待回答问题进行关键信息提取,获得问题关键信息;
通过大模型,根据问题摘要和/或问题关键信息,生成标准问题;
对所述标准问题进行向量化,得到标准问题向量。
本发明实施例所提供的问答装置可执行本发明任意实施例所提供的问答方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(中央处理器)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如问答方法。
在一些实施例中,问答方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的问答方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行问答方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种问答方法,其特征在于,包括:
确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块;
对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量;
根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案。
2.根据权利要求1所述的方法,其特征在于,确定至少一个文本数据,包括:
根据统一资源标识符获取至少一个文本数据;
对所述文本数据进行数据处理,得到标准文本数据;
所述数据处理包括以下至少一项:样式解析、页面元素分割、噪声清洗以及字段格式转换。
3.根据权利要求1所述的方法,其特征在于,根据文本标题,对所述文本数据进行切块,得到至少一个文本块,包括:
对所述文本数据进行文本标题识别,得到至少一个文本标题;
根据文本标题进行文本数据切块,得到至少一个文本块。
4.根据权利要求3所述的方法,其特征在于,对所述文本数据进行文本标题识别,得到至少一个文本标题,包括:
若确定目标文本满足标题认证条件,则确定目标文本为文本标题;
其中,所述标题认证条件包括以下至少一项:文本长度大于零、文本不包含标点符号、文本长度小于或者等于预设文本长度阈值、文本中的数字字符的数量与文本字符总数量的比值小于或者等于预设比值阈值、文本中包含非数字字符,以及文本中前预设数量个文本字符中包含数字字符。
5.根据权利要求1所述的方法,其特征在于,对所述文本块确定至少一个参考问题,包括:
通过大模型,确定与所述文本块匹配的至少一个参考问题。
6.根据权利要求1所述的方法,其特征在于,根据所述向量数据库,确定待回答问题的答案,包括:
获取待回答问题,并确定与所述待回答问题匹配的标准问题向量;
将所述标准问题向量与所述向量数据库中的各参考问题向量进行比对,在各参考问题向量中确定目标参考问题向量;
将所述目标参考问题向量对应的参考答案,作为所述待回答问题的答案。
7.根据权利要求6所述的方法,其特征在于,确定与所述待回答问题匹配的标准问题向量,包括:
对所述待回答问题进行摘要提取,获得问题摘要,和/或对所述待回答问题进行关键信息提取,获得问题关键信息;
通过大模型,根据问题摘要和/或问题关键信息,生成标准问题;
对所述标准问题进行向量化,得到标准问题向量。
8.一种问答装置,其特征在于,所述装置包括:
文本数据切块模块,用于确定至少一个文本数据,并根据文本标题,对所述文本数据进行切块,得到至少一个文本块;
向量化确定模块,用于对所述文本块确定至少一个参考问题,并对所述文本块进行向量化,得到文本块向量,以及,对所述参考问题进行向量化,得到参考问题向量;
答案确定模块,用于根据所述文本块向量和所述参考问题向量,确定向量数据库,并根据所述向量数据库,确定待回答问题的答案。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的问答方法。
10.一种存储计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的问答方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869818.2A CN118093805A (zh) | 2023-12-29 | 2023-12-29 | 一种问答方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869818.2A CN118093805A (zh) | 2023-12-29 | 2023-12-29 | 一种问答方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118093805A true CN118093805A (zh) | 2024-05-28 |
Family
ID=91151673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311869818.2A Pending CN118093805A (zh) | 2023-12-29 | 2023-12-29 | 一种问答方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118093805A (zh) |
-
2023
- 2023-12-29 CN CN202311869818.2A patent/CN118093805A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109284363B (zh) | 一种问答方法、装置、电子设备及存储介质 | |
CN112035730B (zh) | 一种语义检索方法、装置及电子设备 | |
EP3958145A1 (en) | Method and apparatus for semantic retrieval, device and storage medium | |
CN110727779A (zh) | 基于多模型融合的问答方法及系统 | |
CN112035599B (zh) | 基于垂直搜索的查询方法、装置、计算机设备及存储介质 | |
CN112115232A (zh) | 一种数据纠错方法、装置及服务器 | |
US20220129448A1 (en) | Intelligent dialogue method and apparatus, and storage medium | |
CN118210908B (zh) | 一种检索增强方法、装置、电子设备及存储介质 | |
CN116450867B (zh) | 一种基于对比学习和大语言模型的图数据语义搜索方法 | |
CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
CN113609847B (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
CN114610845A (zh) | 基于多系统的智能问答方法、装置和设备 | |
CN117112595A (zh) | 一种信息查询方法、装置、电子设备及存储介质 | |
CN112507089A (zh) | 一种基于知识图谱的智能问答引擎及其实现方法 | |
CN117807204A (zh) | 工程机械故障问题的问答诊断方法、装置、设备和介质 | |
CN110727769A (zh) | 语料库生成方法及装置、人机交互处理方法及装置 | |
CN116467461A (zh) | 应用于配电网的数据处理方法、装置、设备及介质 | |
CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
CN117371406A (zh) | 基于大型语言模型的注释生成方法、装置、设备及介质 | |
CN117076636A (zh) | 一种智能客服的信息查询方法、系统和设备 | |
CN115658903B (zh) | 文本分类方法、模型训练方法、相关装置及电子设备 | |
CN114647739B (zh) | 实体链指方法、装置、电子设备及存储介质 | |
CN115576983A (zh) | 一种语句生成方法、装置、电子设备及介质 | |
CN114625889A (zh) | 一种语义消歧方法、装置、电子设备及存储介质 | |
CN118093805A (zh) | 一种问答方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |