CN116127066A - 文本聚类方法、文本聚类装置、电子设备及存储介质 - Google Patents
文本聚类方法、文本聚类装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116127066A CN116127066A CN202211633786.1A CN202211633786A CN116127066A CN 116127066 A CN116127066 A CN 116127066A CN 202211633786 A CN202211633786 A CN 202211633786A CN 116127066 A CN116127066 A CN 116127066A
- Authority
- CN
- China
- Prior art keywords
- text
- question
- class
- clustering
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 99
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009411 base construction Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种文本聚类方法、文本聚类装置、电子设备及存储介质,属于人工智能技术领域,通过从多个原始句子嵌入向量中筛选出初始聚类中心,并基于初始聚类中心构建初始问题文本类,基于初始聚类中心对所有原始句子嵌入向量进行聚类处理,得到多个中间问题文本类,对每一中间问题文本类进行聚类中心识别,得到文本聚类中心,根据文本聚类中心计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度,根据类间散度和类内散度对中间问题文本类进行文本调整,得到目标问题文本类,对目标问题文本类的所有原始句子嵌入向量进行语义分析,得到标准问题文本,并根据标准问题文本确定标准答复内容,能够提高问题回答的准确率。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种文本聚类方法、文本聚类装置、电子设备及存储介质。
背景技术
相关技术中,通过智能机器人对用户提出的问题进行回答,但是同一问题会有不同的问法,当用户提出的问题与智能机器人存储的标准问题不同时,智能机器人无法对问题进行准确回答。因此,如何提高问题回答的准确率,成为了亟待解决的问题。
发明内容
本申请实施例的主要目的在于提出一种文本聚类方法、文本聚类装置、电子设备及存储介质,旨在提高问题回答的准确率。
为实现上述目的,本申请实施例的第一方面提出了一种文本聚类方法,所述方法包括:
获取多个原始问题文本;
对每一所述原始问题文本进行特征提取,得到每一所述原始问题文本的原始句子嵌入向量;
从多个所述原始句子嵌入向量中筛选出初始聚类中心,并基于所述初始聚类中心,构建每一所述初始聚类中心对应的初始问题文本类;其中,每一所述初始问题文本类包含一个所述初始聚类中心;
基于所述初始聚类中心对所有所述原始句子嵌入向量进行聚类处理,得到多个中间问题文本类;
对每一所述中间问题文本类进行聚类中心识别,得到每一所述中间问题文本类的文本聚类中心;
根据所述文本聚类中心,计算所述中间问题文本类之间的类间散度以及每一所述中间问题文本类的类内散度;
根据所述类间散度和所述类内散度对所述中间问题文本类进行文本调整,得到目标问题文本类;
对所述目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一所述目标问题文本类的标准问题文本,并根据所述标准问题文本,确定所述目标问题文本类的标准答复内容;其中,所述标准问题文本和所述原始问题文本用于与用户问题文本进行问题匹配,所述标准答复内容用于对所述用户问题文本进行答复生成。
在一些实施例,所述基于所述初始聚类中心对所有所述原始句子嵌入向量进行聚类处理,得到多个中间问题文本类,包括:
计算每一所述原始句子嵌入向量与所有所述初始聚类中心之间的距离值;
将每一所述原始句子嵌入向量划分至距离值最小的初始聚类中心所对应的初始问题文本类,得到多个所述中间问题文本类;其中,每一所述中间问题文本类包括至少一个所述原始句子嵌入向量。
在一些实施例,所述对每一所述中间问题文本类进行聚类中心识别,得到每一所述中间问题文本类的文本聚类中心,包括:
根据所述原始句子嵌入向量,获取每一所述中间问题文本类的句子均值向量;
根据所述句子均值向量,确定所述中间问题文本类的文本聚类中心。
在一些实施例,所述根据所述类间散度和所述类内散度对所述中间问题文本类进行文本调整,得到目标问题文本类,包括:
根据所述类间散度和所述类内散度,确定聚类损失值;
根据预设的迭代次数和所述聚类损失值,对所述中间问题文本类进行文本调整,得到所述目标问题文本类。
在一些实施例,所述对所述目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一所述目标问题文本类的标准问题文本,并根据所述标准问题文本,确定所述目标问题文本类的标准答复内容,包括:
对所有所述原始句子嵌入向量进行语义分析,得到问题关键词;
根据所述问题关键词对预设的标准问答库进行问题遍历,得到标准问题文本;
从所述标准问答库中提取所述标准问题文本对应的答复文本作为标准答复内容。
在一些实施例,在所述根据所述标准问题文本,确定所述目标问题文本类的标准答复内容之后,所述文本聚类方法还包括:
获取用户问题文本;
将所述用户问题文本转换为问题句子嵌入特征;
将所述问题句子嵌入特征输入至预设的问答知识库进行答案生成,得到目标答复文本;其中,所述问答知识库包括多个所述目标问题文本类,每一所述目标问题文本类包括多个所述原始问题文本、一个所述标准问题文本和一个所述标准答复内容。
在一些实施例,所述将所述问题句子嵌入特征输入至预设的问答知识库进行答案生成,得到目标答复文本,包括:
对所述问题句子嵌入特征与所述问答知识库的所有原始问题文本进行相似度计算,得到相似度最高的原始问题文本,并确定所述相似度最高的原始问题文本所在的目标问题文本类;
提取所述相似度最高的原始问题文本所在的目标问题文本类的标准答复内容,作为目标答复文本。
为实现上述目的,本申请实施例的第二方面提出了一种文本聚类装置,所述装置包括:
获取模块,用于获取多个原始问题文本;
特征提取模块,用于对每一所述原始问题文本进行特征提取,得到每一所述原始问题文本的原始句子嵌入向量;
文本类构建模块,用于从多个所述原始句子嵌入向量中筛选出初始聚类中心,并基于所述初始聚类中心,构建每一所述初始聚类中心对应的初始问题文本类,每一所述初始问题文本类包含一个所述初始聚类中心;
聚类模块,用于基于所述初始聚类中心对所有所述原始句子嵌入向量进行聚类处理,得到多个中间问题文本类;
聚类中心识别模块,用于对每一所述中间问题文本类进行聚类中心识别,得到每一所述中间问题文本类的文本聚类中心;
计算模块,用于根据所述文本聚类中心,计算所述中间问题文本类之间的类间散度以及每一所述中间问题文本类的类内散度;
文本调整模块,用于根据所述类间散度和所述类内散度对所述中间问题文本类进行文本调整,得到目标问题文本类;
语义分析模块,用于对所述目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一所述目标问题文本类的标准问题文本,并根据所述标准问题文本,确定所述目标问题文本类的标准答复内容;其中,所述标准问题文本和所述原始问题文本用于与用户问题文本进行问题匹配,所述标准答复内容用于对所述用户问题文本进行答复生成。
为实现上述目的,本申请实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的,本申请实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请提出的文本聚类方法、文本聚类装置、电子设备及计算机可读存储介质,其通过获取多个原始问题文本,对每一原始问题文本进行特征提取,得到每一原始问题文本的原始句子嵌入向量,从多个原始句子嵌入向量中筛选出初始聚类中心,并基于初始聚类中心,构建每一初始聚类中心对应的初始问题文本类,其中,每一初始问题文本类包含一个初始聚类中心,基于初始聚类中心对所有原始句子嵌入向量进行聚类处理,得到多个中间问题文本类,通过聚类处理能够将用户的多个相似问题文本聚类为同一问题文本类,使多个相似问题具有同一个标准问题,以提高问题回答的准确率。进一步地,对每一中间问题文本类进行聚类中心识别,得到每一中间问题文本类的文本聚类中心,根据文本聚类中心,计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度,根据类间散度和类内散度对中间问题文本类进行文本调整,得到目标问题文本类,通过类间散度和类内散度进行文本调整,使不同中间问题文本类之间的文本差异增大,使相同中间问题文本类内的文本差异减小,能够提高文本聚类的准确率。最后,对目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一目标问题文本类的标准问题文本,使目标问题文本类内的多个相似问题具有同一标准问题文本,并根据标准问题文本,确定目标问题文本类的标准答复内容,其中,标准问题文本和原始问题文本用于与用户问题文本进行问题匹配,标准答复内容用于对用户问题文本进行答复生成,能够得到相似问题的标准答复内容,提高了问题回答的准确率。
附图说明
图1是本申请实施例提供的文本聚类方法的流程图;
图2是图1中的步骤S140的流程图;
图3是图1中的步骤S150的流程图;
图4是图1中的步骤S170的流程图;
图5是图1中的步骤S180的流程图;
图6是本申请实施例提供的文本聚类方法的另一流程图;
图7是图6中的步骤S630的流程图;
图8是本申请实施例提供的文本聚类装置的结构示意图;
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
首先,对本申请中涉及的若干名词进行解析:
人工智能(artificial intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
相关技术中,通过智能机器人对用户提出的问题进行回答,但是同一问题会有不同的问法,当用户提出的问题与智能机器人存储的标准问题不同时,智能机器人无法对问题进行准确回答。因此,如何提高问题回答的准确率,成为了亟待解决的问题。
基于此,本申请实施例提供了一种文本聚类方法、文本聚类装置、电子设备及存储介质,旨在提高问题回答的准确率。
本申请实施例提供的文本聚类方法、文本聚类装置、电子设备及计算机可读存储介质,具体通过如下实施例进行说明,首先描述本申请实施例中的文本聚类方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的文本聚类方法,涉及人工智能技术领域。本申请实施例提供的文本聚类方法可应用于终端中,也可应用于服务器端中,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等;服务器端可以配置成独立的物理服务器,也可以配置成多个物理服务器构成的服务器集群或者分布式系统,还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现文本聚类方法的应用等,但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是,在本申请的各个具体实施方式中,当涉及到需要根据用户信息、用户行为数据,用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时,都会先获得用户的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关国家和地区的相关法律法规和标准。此外,当本申请实施例需要获取用户的敏感个人信息时,会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意,在明确获得用户的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图1是本申请实施例提供的文本聚类方法的一个可选的流程图,图1中的方法可以包括但不限于包括步骤S110至步骤S180。
步骤S110,获取多个原始问题文本;
步骤S120,对每一原始问题文本进行特征提取,得到每一原始问题文本的原始句子嵌入向量;
步骤S130,从多个原始句子嵌入向量中筛选出初始聚类中心,并基于初始聚类中心,构建每一初始聚类中心对应的初始问题文本类;其中,每一初始问题文本类包含一个初始聚类中心;
步骤S140,基于初始聚类中心对所有原始句子嵌入向量进行聚类处理,得到多个中间问题文本类;
步骤S150,对每一中间问题文本类进行聚类中心识别,得到每一中间问题文本类的文本聚类中心;
步骤S160,根据文本聚类中心,计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度;
步骤S170,根据类间散度和类内散度对中间问题文本类进行文本调整,得到目标问题文本类;
步骤S180,对目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一目标问题文本类的标准问题文本,并根据标准问题文本,确定目标问题文本类的标准答复内容;其中,标准问题文本和原始问题文本用于与用户问题文本进行问题匹配,标准答复内容用于对用户问题文本进行答复生成。
本申请实施例所示意的步骤S110至步骤S180,通过获取多个原始问题文本,对每一原始问题文本进行特征提取,得到每一原始问题文本的原始句子嵌入向量,从多个原始句子嵌入向量中筛选出初始聚类中心,并基于初始聚类中心,构建每一初始聚类中心对应的初始问题文本类,其中,每一初始问题文本类包含一个初始聚类中心,基于初始聚类中心对所有原始句子嵌入向量进行聚类处理,得到多个中间问题文本类,通过聚类处理能够将用户的多个相似问题文本聚类为同一问题文本类,使多个相似问题具有同一个标准问题,与人工梳理标准问题、相似问题的方式相比,能够快速对原始问题文本进行归类,减少了人为工作量,提高了文本归类的效率和准确率。进一步地,对每一中间问题文本类进行聚类中心识别,得到每一中间问题文本类的文本聚类中心,根据文本聚类中心,计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度,根据类间散度和类内散度对中间问题文本类进行文本调整,得到目标问题文本类,通过类间散度和类内散度进行文本调整,使不同中间问题文本类之间的文本差异增大,使相同中间问题文本类内的文本差异减小,能够提高文本聚类的准确率。最后,对目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一目标问题文本类的标准问题文本,使目标问题文本类内的多个相似问题具有同一标准问题文本,并根据标准问题文本,确定目标问题文本类的标准答复内容,其中,标准问题文本和原始问题文本用于与用户问题文本进行问题匹配,标准答复内容用于对用户问题文本进行答复生成,能够得到相似问题的标准答复内容,提高了问题回答的准确率。
在一些实施例的步骤S110中,从预设的数据源获取多个原始问题文本,其中数据源可以是存储有多个问题文本的数据库或者数据集,原始问题文本是不具有问题类别标签的问题文本数据。具体地,从存储有多个问题文本的数据库或者数据集获取多个原始问题文本,或者,从存储有多个问题语音的数据库或者数据集获取多个原始问题语音,再将原始问题语音进行文本转换处理,得到原始问题文本。
在一些实施例的步骤S120中,通过BERT模型对每一原始问题文本进行文本特征提取,得到每一原始问题文本的原始句子嵌入向量sentence embedding,其中原始句子嵌入向量是原始问题文本的文本特征表达。例如,原始问题文本为“A业务有哪些费用”,调用BERT接口对该原始问题文本进行文本特征提取,得到一个1*256维的向量[0.05,0.37,0.89,L,0.56],该向量为原始问题文本的原始句子嵌入向量。
在一些实施例的步骤S130中,获取聚类中心数量K的取值范围K∈[p,q],其中,p和q均为大于0的整数,根据取值范围确定聚类中心数量K的初始取值为p,从多个原始句子嵌入向量中随机选取p个初始聚类中心,并基于初始聚类中心,构建每一初始聚类中心对应的初始问题文本类,例如,第一个初始聚类中心的初始问题文本类为第一问题文本类,第二个初始聚类中心的初始问题文本类为第二问题文本类,第q个初始聚类中心的初始问题文本类为第q问题文本类,每一初始问题文本类包含一个初始聚类中心。
请参阅图2,在一些实施例中,步骤S140可以包括但不限于包括步骤S210至步骤S220:
步骤S210,计算每一原始句子嵌入向量与所有初始聚类中心之间的距离值;
步骤S220,将每一原始句子嵌入向量划分至距离值最小的初始聚类中心所对应的初始问题文本类,得到多个中间问题文本类;其中,每一中间问题文本类包括至少一个原始句子嵌入向量。
在一些实施例的步骤S210中,计算每一原始句子嵌入向量与所有初始聚类中心之间的距离值,其中距离值用于度量原始句子嵌入向量与初始聚类中心的相似程度,距离值可以为欧式距离、曼哈顿距离等等。以欧式距离为例,若原始句子嵌入向量与初始聚类中心之间的欧式距离值越小,说明原始句子嵌入向量与初始聚类中心相似程度越高;若原始句子嵌入向量与初始聚类中心之间的欧式距离值越大,说明原始句子嵌入向量与初始聚类中心之间的差异越大,二者的相似程度越小。
在一些实施例的步骤S220中,将每一原始句子嵌入向量划分至距离值最小的初始聚类中心所对应的初始问题文本类,即每个原始距离嵌入向量被划分至与其最相似的初始聚类中心所属的初始问题文本类,通过初始聚类中心对原始句子嵌入向量进行聚类处理,使多个相似问题文本能够被划分至同一问题文本类,使差异程度较大的问题文本能够被划分至不同的问题文本类,得到多个中间问题文本类,每一中间问题文本类包括至少一个原始句子嵌入向量。
上述步骤S210至步骤S220,通过初始聚类中心对全部原始句子嵌入向量进行聚类处理,能够将相似的原始句子嵌入向量聚类至同一初始聚类中心,将差异程度较大的原始句子嵌入向量聚类至不同的初始聚类中心,从而将多个相似问题文本被划分至同一问题文本类,使差异程度较大的问题文本被划分至不同的问题文本类,实现了对不具有问题类别标签的问题文本数据的归类。
请参阅图3,在一些实施例中,步骤S150可以包括但不限于包括步骤S310至步骤S320:
步骤S310,根据原始句子嵌入向量,获取每一中间问题文本类的句子均值向量;
步骤S320,根据句子均值向量,确定中间问题文本类的文本聚类中心。
在一些实施例的步骤S310中,获取初始聚类中心的聚类中心数量,对同一中间问题文本类的原始句子嵌入向量进行相加计算,得到句子和值向量,将句子和值向量与聚类中心数量进行相除,得到中间问题文本类的句子均值向量。将句子均值向量的计算方法如公式(1)所示。
其中,Ci,t为文本聚类中心,Ci,t-1为初始聚类中心,|ci,t|为初始聚类中心的聚类中心数量,与文本聚类中心的聚类中心数量相等,x为原始句子嵌入向量。
在一些实施例的步骤S320中,将句子均值向量作为中间问题文本类的文本聚类中心,将文本聚类中心作为新的聚类中心,以对初始聚类中心进行更新。
上述步骤S310至步骤S320,通过对初始聚类中心进行更新得到文本聚类中心,能够对聚类中心进行优化,得到最优的文本聚类中心,并根据文本聚类中心对原始句子嵌入向量进行聚类处理,提高了文本聚类的准确率。
在一些实施例的步骤S160中,根据文本聚类中心计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度,其中类间散度的计算方法如公式(2)所示,类内散度的计算方法如公式(3)所示。
JB=|Ci-Cj|2 公式(2)
其中,JB表示类间散度,Ci和Cj分别表示不同中间问题文本类的文本聚类中心。
请参阅图4,在一些实施例中,步骤S170可以包括但不限于包括步骤S410至步骤S420:
步骤S410,根据类间散度和类内散度,确定聚类损失值;
步骤S420,根据预设的迭代次数和聚类损失值,对中间问题文本类进行文本调整,得到目标问题文本类。
在一些实施例的步骤S410中,根据类间散度和类内散度进行聚类损失计算,得到聚类损失值。聚类损失值的计算方法如公式(4)所示。
其中,J为聚类损失值,n为文本聚类中心的聚类中心数量。
在一些实施例的步骤S420中,获取当前聚类迭代次数t,若当前聚类迭代次数t小于预设的迭代次数T,则更新当前聚类迭代次数,即令t=t+1,并基于文本聚类中心对所有原始句子嵌入向量进行聚类处理,得到当前聚类迭代次数t下的多个中间问题文本类,并重新计算中间问题文本类的文本聚类中心,根据文本聚类中心计算当前聚类迭代次数下的聚类损失值。若当前聚类迭代次数大于或者等于预设的迭代次数,则获取t∈[1,T]区间范围内每一聚类迭代次数下的聚类损失值,并对这多个聚类损失值进行筛选,得到聚类损失最小值,将文本聚类中心的聚类中心数量K及其对应的聚类损失最小值和中间问题文本类存储至预设的存储空间中,存储空间可以为缓存或者数据库等。通过选取聚类损失最小值,即类间散度最大类内散度最小,能够使类间差距最大类内差异最小,以得到准确的文本聚类结果。
从存储空间中获取聚类中心数量K∈[p,q]区间范围内每一聚类中心数量K的聚类损失最小值和中间问题文本类,对这多个聚类损失最小值进行比较,选取最小的聚类损失最小值作为目标聚类损失值,将目标聚类损失值对应的聚类中心数量K作为最终的聚类中心数量,将目标聚类损失值对应的中间问题文本类作为目标问题文本类。需要说明的是,采用K=K+1的方式对聚类中心数量进行更新。
当采用K均值聚类方法(k-means)进行文本聚类时,由于K均值聚类采用人工指定聚类中心数量的方式进行文本聚类,会无法获得准确的聚类中心数量,导致基于该聚类中心数量得到的文本聚类结果不准确,例如,用户问的是A问题,由于聚类中心数量不准确,使得本应聚类于A类的问题聚类到B类,当智能客服机器人对A问题回答时,给出A问题的答案是B答案,导致智能客服机器人答非所问。上述步骤S410至步骤S420,通过指定聚类中心数量的取值范围,以遍历的方式得到最优的聚类中心数量,能够自动确定聚类中心数量,实现聚类中心数量自适应,提高了文本聚类的准确性,从而提高了问题回答的准确率。
请参阅图5,在一些实施例中,步骤S180可以包括但不限于包括步骤S510至步骤S530:
步骤S510,对所有原始句子嵌入向量进行语义分析,得到问题关键词;
步骤S520,根据问题关键词对预设的标准问答库进行问题遍历,得到标准问题文本;
步骤S530,从标准问答库中提取标准问题文本对应的答复文本作为标准答复内容。
在一些实施例的步骤S510中,获取目标问题文本类的所有原始句子嵌入向量对应的原始问题文本,根据预设的分词词库对原始问题文本进行分词处理,得到多个词语,计算每个词语在目标问题文本类中出现的词频,根据词频对词语从大到小进行排序,选取前K个词频对应的词语作为问题关键词,其中K≥1。例如,目标文本类的原始问题文本为“A的保费怎么交的”、“A有哪些保费”、“A一年收多少钱”、“A的钱怎么交的”等,通过计算原始问题文本中词语的词频,根据词频得到关键词为“A”、“保费”和“钱”。或者,根据关键词抽取模型例如word2vec模型对所有原始句子嵌入向量进行语义分析,得到问题关键词。
在一些实施例的步骤S520至S530中,根据问题关键词对标准问答库进行问题遍历,计算问题关键词与标准问答库中每一问题文本的相似度,将相似度最高的问题文本作为原始问题文本的标准问题文本,并从标准问答库中提取标准问题文本对应的答复文本作为标准答复内容,以便根据目标问题文本类的原始问题文本、标准问题文本和标准答复内容构建问答知识库。
智能客服机器人通常采用知识库的方式进行问答,知识库包括标准问题、相似问题和标准答案,但是这些标准问题、相似问题和标准答案需要人工事前整理的,由于智能问答对话内容开放性大且同一个问题有不同的问法,这导致需要人工梳理的文本数据量大,而且人工梳理的方式还容易使知识库的数据错误,导致答非所问。根据文本聚类的最终结果构建知识库,不仅提高了知识库构建的效率,而且保证了知识库中文本数据的准确率,从而提高了问题回答的准确率。
通过上述步骤S510至步骤S530,能够确定目标问题文本类的标准问题文本以及标准答复内容,便于根据目标问题文本类的原始问题文本、标准问题文本和标准答复内容构建问答知识库,与人工构建知识库的方式相比,能够提升知识库构建的效率和知识库中数据的准确率。
请参阅图6,在一些实施例中,在步骤S180之后,文本聚类方法可以包括但不限于包括步骤S610至步骤S630:
步骤S610,获取用户问题文本;
步骤S620,将用户问题文本转换为问题句子嵌入特征;
步骤S630,将问题句子嵌入特征输入至预设的问答知识库进行答案生成,得到目标答复文本;其中,问答知识库包括多个目标问题文本类,每一目标问题文本类包括多个原始问题文本、一个标准问题文本和一个标准答复内容。
在一些实施例的步骤S610中,获取用户问题文本,其中用户问题文本为用户通过文字输入得到的问题文本,或者对用户语音进行文本转换得到的问题文本。
在一些实施例的步骤S620中,根据BERT模型对用户问题文本进行文本特征提取,得到问题句子嵌入特征。
在一些实施例的步骤S630中,对问题句子嵌入特征与问答知识库的所有原始问题文本进行相似度计算,得到相似度最高的原始问题文本,并确定相似度最高的原始问题文本所在的目标问题文本类,提取相似度最高的原始问题文本所在的目标问题文本类的标准答复内容,作为目标答复文本。或者,对问题句子嵌入特征与问答知识库的所有标准问题文本进行相似度计算,得到相似度最高的标准问题文本,并确定相似度最高的标准问题文本所在的目标问题文本类,提取相似度最高的标准问题文本所在的目标问题文本类的标准答复内容,作为目标答复文本。需要说明的是,可以将用户问题文本作为原始问题文本,添加进问答知识库对应的目标问题文本类中,以扩充问答知识库。
上述步骤S610至步骤S630,通过问答知识库可以使每一用户问题文本都有对应的标准答复内容,而不必要求用户问题文本必须与标准问题文本相同才能得到标准答复内容,避免了智能问答机器人无法回答用户提出的问题,提高了问题回答的准确率。
请参阅图7,在一些实施例中,步骤S630可以包括但不限于包括步骤S710至步骤S720:
步骤S710,对问题句子嵌入特征与问答知识库的所有原始问题文本进行相似度计算,得到相似度最高的原始问题文本,并确定相似度最高的原始问题文本所在的目标问题文本类;
步骤S720,提取相似度最高的原始问题文本所在的目标问题文本类的标准答复内容,作为目标答复文本。
在一些实施例的步骤S710中,计算问题句子嵌入特征与问答知识库的所有原始问题文本的原始句子嵌入向量的欧式距离值,将欧式距离值最小的原始句子嵌入向量所对应的原始问题文本,作为相似度最高的原始问题文本,并根据相似度最高的原始问题文本从问答知识库中查找出目标问题文本类。
在一些实施例的步骤S720中,将相似度最高的原始问题文本所在的目标问题文本类的标准答复内容,作为目标答复文本。
上述步骤S710至步骤S720中,通过对问题句子嵌入特征与问答知识库的所有原始问题文本进行相似度计算,能够得到与用户问题文本最相似的原始问题文本,并根据原始问题文本确定用户问题文本的标准答复内容,在用户问题文本与标准问题文本不相同的情况下,也可以得到相应的标准答复内容,避免了智能问答机器人无法回答用户提出的问题,提高了问题回答的准确率。
请参阅图8,本申请实施例还提供一种文本聚类装置,可以实现上述文本聚类方法,该装置包括:
获取模块810,用于获取多个原始问题文本;
特征提取模块820,用于对每一原始问题文本进行特征提取,得到每一原始问题文本的原始句子嵌入向量;
文本类构建模块830,用于从多个原始句子嵌入向量中筛选出初始聚类中心,并基于初始聚类中心,构建每一初始聚类中心对应的初始问题文本类,每一初始问题文本类包含一个初始聚类中心;
聚类模块840,用于基于初始聚类中心对所有原始句子嵌入向量进行聚类处理,得到多个中间问题文本类;
聚类中心识别模块850,用于对每一中间问题文本类进行聚类中心识别,得到每一中间问题文本类的文本聚类中心;
计算模块860,用于根据文本聚类中心,计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度;
文本调整模块870,用于根据类间散度和类内散度对中间问题文本类进行文本调整,得到目标问题文本类;
语义分析模块880,用于对目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一目标问题文本类的标准问题文本,并根据标准问题文本,确定目标问题文本类的标准答复内容;其中,标准问题文本和原始问题文本用于与用户问题文本进行问题匹配,标准答复内容用于对用户问题文本进行答复生成。
该文本聚类装置的具体实施方式与上述文本聚类方法的具体实施例基本相同,在此不再赘述。
本申请实施例还提供了一种电子设备,电子设备包括括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述文本聚类方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9,图9示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器910,可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器920,可以采用只读存储器(ReadOnlyMemory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory,RAM)等形式实现。存储器920可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器920中,并由处理器910来调用执行本申请实施例的文本聚类方法;
输入/输出接口930,用于实现信息输入及输出;
通信接口940,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;
总线950,在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息;
其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述文本聚类方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的文本聚类方法、文本聚类装置、电子设备及计算机可读存储介质,其通过获取多个原始问题文本,对每一原始问题文本进行特征提取,得到每一原始问题文本的原始句子嵌入向量,从多个原始句子嵌入向量中筛选出初始聚类中心,并基于初始聚类中心,构建每一初始聚类中心对应的初始问题文本类,其中,每一初始问题文本类包含一个初始聚类中心,基于初始聚类中心对所有原始句子嵌入向量进行聚类处理,得到多个中间问题文本类,通过聚类处理能够将用户的多个相似问题文本聚类为同一问题文本类,使多个相似问题具有同一个标准问题,与人工梳理标准问题、相似问题的方式相比,能够快速对原始问题文本进行归类,减少了人为工作量,提高了文本归类的效率和准确率。进一步地,对每一中间问题文本类进行聚类中心识别,得到每一中间问题文本类的文本聚类中心,根据文本聚类中心,计算中间问题文本类之间的类间散度以及每一中间问题文本类的类内散度,根据类间散度和类内散度对中间问题文本类进行文本调整,得到目标问题文本类,通过类间散度和类内散度进行文本调整,使不同中间问题文本类之间的文本差异增大,使相同中间问题文本类内的文本差异减小,能够提高文本聚类的准确率。最后,对目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一目标问题文本类的标准问题文本,使目标问题文本类内的多个相似问题具有同一标准问题文本,并根据标准问题文本,确定目标问题文本类的标准答复内容,其中,标准问题文本和原始问题文本用于与用户问题文本进行问题匹配,标准答复内容用于对用户问题文本进行答复生成,能够得到相似问题的标准答复内容,提高了问题回答的准确率。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.文本聚类方法,其特征在于,所述方法包括:
获取多个原始问题文本;
对每一所述原始问题文本进行特征提取,得到每一所述原始问题文本的原始句子嵌入向量;
从多个所述原始句子嵌入向量中筛选出初始聚类中心,并基于所述初始聚类中心,构建每一所述初始聚类中心对应的初始问题文本类;其中,每一所述初始问题文本类包含一个所述初始聚类中心;
基于所述初始聚类中心对所有所述原始句子嵌入向量进行聚类处理,得到多个中间问题文本类;
对每一所述中间问题文本类进行聚类中心识别,得到每一所述中间问题文本类的文本聚类中心;
根据所述文本聚类中心,计算所述中间问题文本类之间的类间散度以及每一所述中间问题文本类的类内散度;
根据所述类间散度和所述类内散度对所述中间问题文本类进行文本调整,得到目标问题文本类;
对所述目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一所述目标问题文本类的标准问题文本,并根据所述标准问题文本,确定所述目标问题文本类的标准答复内容;其中,所述标准问题文本和所述原始问题文本用于与用户问题文本进行问题匹配,所述标准答复内容用于对所述用户问题文本进行答复生成。
2.根据权利要求1所述的文本聚类方法,其特征在于,所述基于所述初始聚类中心对所有所述原始句子嵌入向量进行聚类处理,得到多个中间问题文本类,包括:
计算每一所述原始句子嵌入向量与所有所述初始聚类中心之间的距离值;
将每一所述原始句子嵌入向量划分至距离值最小的初始聚类中心所对应的初始问题文本类,得到多个所述中间问题文本类;其中,每一所述中间问题文本类包括至少一个所述原始句子嵌入向量。
3.根据权利要求1所述的文本聚类方法,其特征在于,所述对每一所述中间问题文本类进行聚类中心识别,得到每一所述中间问题文本类的文本聚类中心,包括:
根据所述原始句子嵌入向量,获取每一所述中间问题文本类的句子均值向量;
根据所述句子均值向量,确定所述中间问题文本类的文本聚类中心。
4.根据权利要求1所述的文本聚类方法,其特征在于,所述根据所述类间散度和所述类内散度对所述中间问题文本类进行文本调整,得到目标问题文本类,包括:
根据所述类间散度和所述类内散度,确定聚类损失值;
根据预设的迭代次数和所述聚类损失值,对所述中间问题文本类进行文本调整,得到所述目标问题文本类。
5.根据权利要求1所述的文本聚类方法,其特征在于,所述对所述目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一所述目标问题文本类的标准问题文本,并根据所述标准问题文本,确定所述目标问题文本类的标准答复内容,包括:
对所有所述原始句子嵌入向量进行语义分析,得到问题关键词;
根据所述问题关键词对预设的标准问答库进行问题遍历,得到标准问题文本;
从所述标准问答库中提取所述标准问题文本对应的答复文本作为标准答复内容。
6.根据权利要求1至5任一项所述的文本聚类方法,其特征在于,在所述根据所述标准问题文本,确定所述目标问题文本类的标准答复内容之后,所述文本聚类方法还包括:
获取用户问题文本;
将所述用户问题文本转换为问题句子嵌入特征;
将所述问题句子嵌入特征输入至预设的问答知识库进行答案生成,得到目标答复文本;其中,所述问答知识库包括多个所述目标问题文本类,每一所述目标问题文本类包括多个所述原始问题文本、一个所述标准问题文本和一个所述标准答复内容。
7.根据权利要求6所述的文本聚类方法,其特征在于,所述将所述问题句子嵌入特征输入至预设的问答知识库进行答案生成,得到目标答复文本,包括:
对所述问题句子嵌入特征与所述问答知识库的所有原始问题文本进行相似度计算,得到相似度最高的原始问题文本,并确定所述相似度最高的原始问题文本所在的目标问题文本类;
提取所述相似度最高的原始问题文本所在的目标问题文本类的标准答复内容,作为目标答复文本。
8.文本聚类装置,其特征在于,所述装置包括:
获取模块,用于获取多个原始问题文本;
特征提取模块,用于对每一所述原始问题文本进行特征提取,得到每一所述原始问题文本的原始句子嵌入向量;
文本类构建模块,用于从多个所述原始句子嵌入向量中筛选出初始聚类中心,并基于所述初始聚类中心,构建每一所述初始聚类中心对应的初始问题文本类,每一所述初始问题文本类包含一个所述初始聚类中心;
聚类模块,用于基于所述初始聚类中心对所有所述原始句子嵌入向量进行聚类处理,得到多个中间问题文本类;
聚类中心识别模块,用于对每一所述中间问题文本类进行聚类中心识别,得到每一所述中间问题文本类的文本聚类中心;
计算模块,用于根据所述文本聚类中心,计算所述中间问题文本类之间的类间散度以及每一所述中间问题文本类的类内散度;
文本调整模块,用于根据所述类间散度和所述类内散度对所述中间问题文本类进行文本调整,得到目标问题文本类;
语义分析模块,用于对所述目标问题文本类的所有原始句子嵌入向量进行语义分析,得到每一所述目标问题文本类的标准问题文本,并根据所述标准问题文本,确定所述目标问题文本类的标准答复内容;其中,所述标准问题文本和所述原始问题文本用于与用户问题文本进行问题匹配,所述标准答复内容用于对所述用户问题文本进行答复生成。
9.电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的文本聚类方法。
10.计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的文本聚类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211633786.1A CN116127066A (zh) | 2022-12-19 | 2022-12-19 | 文本聚类方法、文本聚类装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211633786.1A CN116127066A (zh) | 2022-12-19 | 2022-12-19 | 文本聚类方法、文本聚类装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116127066A true CN116127066A (zh) | 2023-05-16 |
Family
ID=86294805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211633786.1A Pending CN116127066A (zh) | 2022-12-19 | 2022-12-19 | 文本聚类方法、文本聚类装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116127066A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932730A (zh) * | 2023-09-14 | 2023-10-24 | 天津汇智星源信息技术有限公司 | 基于多叉树和大规模语言模型的文档问答方法及相关设备 |
-
2022
- 2022-12-19 CN CN202211633786.1A patent/CN116127066A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932730A (zh) * | 2023-09-14 | 2023-10-24 | 天津汇智星源信息技术有限公司 | 基于多叉树和大规模语言模型的文档问答方法及相关设备 |
CN116932730B (zh) * | 2023-09-14 | 2023-12-01 | 天津汇智星源信息技术有限公司 | 基于多叉树和大规模语言模型的文档问答方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105677931A (zh) | 信息搜索方法和装置 | |
CN114240552A (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
CN116541493A (zh) | 基于意图识别的交互应答方法、装置、设备、存储介质 | |
CN115640394A (zh) | 文本分类方法、文本分类装置、计算机设备及存储介质 | |
CN117271736A (zh) | 一种问答对的生成方法和系统、电子设备及存储介质 | |
CN114722174A (zh) | 提词方法和装置、电子设备及存储介质 | |
CN116127066A (zh) | 文本聚类方法、文本聚类装置、电子设备及存储介质 | |
CN112966076B (zh) | 智能问答问题的生成方法、装置、计算机设备及存储介质 | |
CN117436980A (zh) | 保险产品的推荐方法和装置、设备、存储介质 | |
CN116701604A (zh) | 问答语料库的构建方法和装置、问答方法、设备及介质 | |
CN116741396A (zh) | 文章归类方法和装置、电子设备和存储介质 | |
CN114786059B (zh) | 视频生成方法、视频生成装置、电子设备、存储介质 | |
CN114398903B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN114611529B (zh) | 意图识别方法和装置、电子设备及存储介质 | |
CN113342932B (zh) | 目标词向量的确定方法、装置、存储介质和电子装置 | |
CN115017886A (zh) | 文本匹配方法、文本匹配装置、电子设备及存储介质 | |
CN114925199A (zh) | 画像构建方法、画像构建装置、电子设备及存储介质 | |
CN113010664A (zh) | 一种数据处理方法、装置及计算机设备 | |
CN113342934B (zh) | 一种词向量的确定方法、装置、存储介质和电子装置 | |
CN113792129B (zh) | 一种智能会话方法、装置、计算机设备及介质 | |
CN116579919A (zh) | 图像翻译方法和装置、设备及存储介质 | |
CN116775799A (zh) | 文本信息抽取方法和装置、电子设备及存储介质 | |
CN116467517A (zh) | 产品推荐方法、产品推荐装置、电子设备及存储介质 | |
CN117609438A (zh) | 基于文档的答案生成方法和装置、电子设备及存储介质 | |
CN116665652A (zh) | 语音识别方法、语音识别系统、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |