CN114741478A - 一种基于知识图谱的语音档案检索方法、设备和存储介质 - Google Patents
一种基于知识图谱的语音档案检索方法、设备和存储介质 Download PDFInfo
- Publication number
- CN114741478A CN114741478A CN202210481721.3A CN202210481721A CN114741478A CN 114741478 A CN114741478 A CN 114741478A CN 202210481721 A CN202210481721 A CN 202210481721A CN 114741478 A CN114741478 A CN 114741478A
- Authority
- CN
- China
- Prior art keywords
- entity
- file
- knowledge graph
- text
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000011156 evaluation Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 235000010425 Sorbus domestica Nutrition 0.000 description 1
- 240000005332 Sorbus domestica Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于知识图谱的语音档案检索方法，包括以下步骤：建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；获取用户输入的语音数据，对语音数据进行声纹提取，得到声纹特征数据；将声纹特征数据输入预训练的语音识别模型，通过语音识别模型识别声纹特征数据得到若干文本词汇；在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
Description
技术领域
本发明涉及一种基于知识图谱的语音档案检索方法、设备和存储介质，属于自然语言处理和档案检索技术领域。
背景技术
检索服务是现代智慧档案服务的专项建设内容之一。在传统检索系统中，要实现检索内容的针对性，准确性的全方位数据精准标识，需要对所有待检索系统业务的基本服务规则内容抽离、其中包括业务相关的信息，多类别，多标签等进行统一收集，通过分类型体系计算开展应用。
目前对档案的检索主要是通过档案的分类号、题名、文号和密级等方面对档案的整理和归档进行结构化分类整编。通过主观经验人为设置的服务难以对不同种类、不同标签关联、不同业务分析等方面得到更精细的服务树，对日益多分类多标签要求的业务需求、业务管理工作难以提供更有针对性、对答树等参考信息和策略支撑。随着人工智能的技术日渐成熟，利用人工智能技术对但档案检索建立检索体系成为了一条必然的解决之路。知识图谱属于人工智能领域近年比较成熟技术，通过知识图谱进行本体构建，再进行知识抽取、知识表示、知识融合，最后进行知识存储。实现对不同档案信息、档案整编、档案结构化数据构建等进行知识融合，实现从多个维度对档案检索系统进行综合支持，为对档案检索服务实行精准检索管理提供了坚实的数据依据。
申请号为“CN202010562906.8”的专利提出了一种用于电力调控的多轮次语音交互智能检索系统及方法，包括以下步骤：S1、语音交互：用户与调度服务交互终端进行多轮次语音交互；；S2、意图发现：面对用户各种各样的意图表达,得到候选服务本体,排序并依次询问用户当前服务是否是用户所需；S3、智能搜索：待用户意图确定后,需要对用户需要的电力调度服务进行检索,将搜索结果进行结构化的组织与排序,提供给用户；S4、对用户选择的服务进行调度。本发明提出的语音多轮次交互智能检索的方法和系统，通过多轮次的语音交互，获得用户的意图表达和细节特征，多轮次询问确认用户服务，结合实际工作的业务，从而使得结构化的组织、排序、数据检索等特点，可以大大提高语音检索的准确度和效率，提升检索大数据的质量。
上述现有技术的方案通过对档案检索数据进行人工设置的分级分类进行整编，难以客观、准确的得到档案数据的关系模型。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种基于知识图谱的语音档案检索方法，建立知识图谱，进行档案相关实体构建，并建立实体间的关联关系，建立评价体系以度量语音数据中词汇与知识图谱中实体的关联关系；基于知识图谱进行知识推理，实现客观的从多个维度对档案检索系统进行综合支持。
本发明的技术方案如下：
第一方面，本发明提供一种基于知识图谱的语音档案检索方法，包括以下步骤：
建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；
获取用户输入的语音数据，对语音数据进行声纹提取，得到声纹特征数据；
将声纹特征数据输入预训练的语音识别模型，通过语音识别模型识别声纹特征数据得到若干文本词汇；
在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；
基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
作为优选实施方式，在所述基于历史档案构建档案中的实体，并建立实体之间的关联关系步骤中：
所述实体包括：档案题名、档案类型、保管信息、卷盒信息、归档信息、承办部门、成文信息、甲方/乙方、第三方；
所述实体之间的关联关系包括：档案题名与档案类型之间的规范关系，档案题名与保管信息之间的编写关系，档案题名与保管信息之间的制定关系，档案题名与归档信息之间的关联关系，档案题名与成文信息之间的发布关系，归档信息与承办部门之间的指向关系，承办部门与甲方/乙方之间的签约关系，甲方/乙方与第三方之间的承办关系。
作为优选实施方式，所述预训练的语音识别模型，预先使用包括档案中专业词汇的声纹特征数据进行训练。
作为优选实施方式，所述在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率的方法具体为：
建立如下所示的评价标签CA(eij)：
CA(eij)＝I(ei,ej)*D(ei,ej)*Max(ei,ej)；
式中，ei和ej分别为文本词汇i和实体j，I(ei,ej)为文本词汇i和实体j共现的概率，D(ei,ej)为文本词汇i和实体j的距离，Max(ei,ej)为文本词汇i和实体j两者共同出现的峰值；
其中：
式中，P(ei,ej)为文本词汇i和实体j同时出现在一句子中的频率，P(ei)为文本词汇i单独出现在对应句子中的频率，P(ej)为实体j单独出现在对应句子中的频率；
其中：
式中，sent(ei)为包含了文本词汇i的句子的索引号，sent(ej)为包含了实体j的句子的索引号，WS为句子的搜索窗口大小。
作为优选实施方式，所述基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户的步骤具体为：
在用户输入语音数据时，根据实时语音数据在知识图谱进行关联评价，反馈在知识图谱中评价标签得分最高的实体分支给用户；
由用户确认是否采纳反馈的实体分支，若采纳，则依据采纳的实体分支作为条件查询获得对应的档案内容；若不采纳，则继续进行关联评价；同时，根据采纳结果对得出的实体分支与实时语音数据中的文本词汇进行关联度评分，作为历史检索依据为后续检索提供评分依据；
当从实时语音数据识别到结束词汇时，结束关联评价，将得到的所有实体分支作为组合条件输入至检索系统中，根据组合条件查询对应的档案内容。
第二方面，本发明提供一种基于知识图谱的语音档案检索系统，包括：知识图谱构建模块、语音提取模块、语音识别模块、评价模块和检索模块；
所述知识图谱构建模块，用于建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；
所述语音提取模块，用于获取用户输入的语音数据，对语音数据进行声纹提取，得到声纹特征数据；
所述语音识别模块，用于将声纹特征数据输入预训练的语音识别模型，通过语音识别模型识别声纹特征数据得到若干文本词汇；
所述评价模块，用于在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；
所述检索模块，用于基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于知识图谱的语音档案检索方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于知识图谱的语音档案检索方法。
本发明具有如下有益效果：
1、本发明一种基于知识图谱的语音档案检索方法，建立知识图谱，进行档案相关实体构建，并建立实体间的关联关系，建立评价体系以度量语音数据中词汇与知识图谱中实体的关联关系；基于知识图谱进行知识推理，实现客观的从多个维度对档案检索系统进行综合支持。
2、本发明一种基于知识图谱的语音档案检索方法，通过专业词汇的声纹特征数据进行训练，能够更好的保留语音中的一些专业词汇，避免过度分词导致专业词汇被拆分，同时也避免一些同音词的出现。
附图说明
图1为本发明实施例一的方法流程图；
图2为本实施例中的知识图谱的示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，一种基于知识图谱的语音档案检索方法，包括以下步骤：
建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；
获取用户通过语音收录设备录入的语音数据，并依据用户录入语音数据分片上传音频文件，通过声纹提取模型(声纹提取模型可以基于模板匹配法、高斯混合模型法(GMM)、联合因子分析法(JFA)和神经网络法(DNN)等)对收到的音频文件进行进行声纹提取，得到声纹特征数据；
将声纹特征数据输入预训练的语音识别模型，该语音识别模型基于神经网络构建，通过语音识别模型识别声纹特征数据得到若干文本词汇；
在知识图谱中进行知识推理，基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；
基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
具体参见图2，作为本实施例的优选实施方式，在所述基于历史档案构建档案中的实体，并建立实体之间的关联关系步骤中：
所述实体包括：档案题名、档案类型、保管期限、保管密级、保管年度、卷盒信息、卷盒文号、卷盒规则、归档日期、归档状态、承办部门、成文日期、甲方/乙方、第三方、签订日期、承办日期等；
所述实体之间的关联关系包括：档案题名与档案类型之间的规范关系，档案题名与保管信息之间的编写关系，档案题名与保管信息之间的制定关系，档案题名与归档信息之间的关联关系，档案题名与成文信息之间的发布关系，归档信息与承办部门之间的指向关系，承办部门与甲方/乙方之间的签约关系，甲方/乙方与第三方之间的承办关系。
作为本实施例的优选实施方式，所述预训练的语音识别模型，预先使用包括档案中专业词汇的声纹特征数据进行训练，也包括了大量基础词汇的声纹特征数据，通过专业词汇的声纹特征数据进行训练，能够更好的保留语音中的一些专业词汇，避免过度分词导致专业词汇被拆分，同时也避免一些同音词的出现，例如：人名，公司名称等方面。
作为本实施例的优选实施方式，所述在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率的方法具体为：
本实施好了建立如下所示的评价标签CA(eij)度量文本词汇和实体的共现以及文本词汇和实体在文本中的距离：
CA(eij)＝I(ei,ej)*D(ei,ej)*Max(ei,ej)；
式中，ei和ej分别为文本词汇i和实体j，I(ei,ej)为文本词汇i和实体j共现的概率，D(ei,ej)为文本词汇i和实体j的距离，Max(ei,ej)为文本词汇i和实体j两者共同出现的峰值；
其中：
式中，P(ei,ej)为文本词汇i和实体j同时出现在一句子中的频率，P(ei)为文本词汇i单独出现在对应句子中的频率，P(ej)为实体j单独出现在对应句子中的频率；如果ei和ej一起出现的频率比ej单独出现的频率高即P(ej|ei)>P(ei)，那么ei可能是ej的一个原因实体，形式化的描述就是
这和点互信息非常类似；
因此，如果
则I(ei,ej)是正值。
对于在文本中距离更近的词汇应该得到奖励，那些在文本上距离更远的词汇对应该被惩罚，因此，提出以下距离度量：
式中，sent(ei)为包含了文本词汇i的句子的索引号，sent(ej)为包含了实体j的句子的索引号，WS为句子的搜索窗口大小。如果ei和ej是从同一个句子中获得的，以上公式的分子就是1。如果ei和ej出现在多个句子中，那么拥有最小值的共现将会被选择出来并且把它赋值给上面的公式。在本实施例中，WS设置为3，因此如果出现在第n个句子中，那么可以搜索的最远的句子是第n+2个句子。
作为本实施例的优选实施方式，所述基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户的步骤具体为：
在用户输入语音数据时，根据实时语音数据在知识图谱进行关联评价，反馈在知识图谱中评价标签得分最高的实体分支给用户；
由用户确认是否采纳反馈的实体分支，若采纳，则依据采纳的实体分支作为条件查询获得对应的档案内容；若不采纳，则继续进行关联评价；同时，根据采纳结果对得出的实体分支与实时语音数据中的文本词汇进行关联度评分，作为历史检索依据为后续检索提供评分依据；
当从实时语音数据识别到结束词汇时，结束关联评价，将得到的所有实体分支作为组合条件输入至检索系统中，根据组合条件查询对应的档案内容，最终展示用户所检索的内容，多条件的查询可以使得数据更加的准确，精炼。
并且，在用户录入语音数据过程中可能会存在知识图谱不存在图数据元结构的情况，则就在知识图谱中进行新增实体分支，保证下次检索丰富分支情况。
实施例二：
本实施例提供一种基于知识图谱的语音档案检索系统，包括：知识图谱构建模块、语音提取模块、语音识别模块、评价模块和检索模块；
所述知识图谱构建模块，用于建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；
所述语音提取模块，用于获取用户输入的语音数据，对语音数据进行声纹提取，得到声纹特征数据；
所述语音识别模块，用于将声纹特征数据输入预训练的语音识别模型，通过语音识别模型识别声纹特征数据得到若干文本词汇；
所述评价模块，用于在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；
所述检索模块，用于基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
实施例三：
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于知识图谱的语音档案检索方法。
实施例四：
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于知识图谱的语音档案检索方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于知识图谱的语音档案检索方法，其特征在于，包括以下步骤：
建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；
获取用户输入的语音数据，对语音数据进行声纹提取，得到声纹特征数据；
将声纹特征数据输入预训练的语音识别模型，通过语音识别模型识别声纹特征数据得到若干文本词汇；
在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；
基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
2.根据权利要求1所述的一种基于知识图谱的语音档案检索方法，其特征在于，在所述基于历史档案构建档案中的实体，并建立实体之间的关联关系步骤中：
所述实体包括：档案题名、档案类型、保管信息、卷盒信息、归档信息、承办部门、成文信息、甲方/乙方、第三方；
所述实体之间的关联关系包括：档案题名与档案类型之间的规范关系，档案题名与保管信息之间的编写关系，档案题名与保管信息之间的制定关系，档案题名与归档信息之间的关联关系，档案题名与成文信息之间的发布关系，归档信息与承办部门之间的指向关系，承办部门与甲方/乙方之间的签约关系，甲方/乙方与第三方之间的承办关系。
3.根据权利要求1所述的一种基于知识图谱的语音档案检索方法，其特征在于：所述预训练的语音识别模型，预先使用包括档案中专业词汇的声纹特征数据进行训练。
4.根据权利要求1所述的一种基于知识图谱的语音档案检索方法，其特征在于，所述在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率的方法具体为：
建立如下所示的评价标签CA(eij)：
CA(eij)＝I(ei,ej)*D(ei,ej)*Max(ei,ej)；
式中，ei和ej分别为文本词汇i和实体j，I(ei,ej)为文本词汇i和实体j共现的概率，D(ei,ej)为文本词汇i和实体j的距离，Max(ei,ej)为文本词汇i和实体j两者共同出现的峰值；
其中：
式中，P(ei,ej)为文本词汇i和实体j同时出现在一句子中的频率，P(ei)为文本词汇i单独出现在对应句子中的频率，P(ej)为实体j单独出现在对应句子中的频率；
其中：
式中，sent(ei)为包含了文本词汇i的句子的索引号，sent(ej)为包含了实体j的句子的索引号，WS为句子的搜索窗口大小。
5.根据权利要求4所述的一种基于知识图谱的语音档案检索方法，其特征在于，所述基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户的步骤具体为：
在用户输入语音数据时，根据实时语音数据在知识图谱进行关联评价，反馈在知识图谱中评价标签得分最高的实体分支给用户；
由用户确认是否采纳反馈的实体分支，若采纳，则依据采纳的实体分支作为条件查询获得对应的档案内容；若不采纳，则继续进行关联评价；同时，根据采纳结果对得出的实体分支与实时语音数据中的文本词汇进行关联度评分，作为历史检索依据为后续检索提供评分依据；
当从实时语音数据识别到结束词汇时，结束关联评价，将得到的所有实体分支作为组合条件输入至检索系统中，根据组合条件查询对应的档案内容。
6.一种基于知识图谱的语音档案检索系统，其特征在于，包括：知识图谱构建模块、语音提取模块、语音识别模块、评价模块和检索模块；
所述知识图谱构建模块，用于建立知识图谱，基于历史档案构建档案中的实体，并建立实体之间的关联关系；
所述语音提取模块，用于获取用户输入的语音数据，对语音数据进行声纹提取，得到声纹特征数据；
所述语音识别模块，用于将声纹特征数据输入预训练的语音识别模型，通过语音识别模型识别声纹特征数据得到若干文本词汇；
所述评价模块，用于在知识图谱中基于各文本词汇分别进行关联评价，建立评价标签以度量各文本词汇与知识图谱中各实体在文本中的距离以及共现的频率，并基于生成的若干评价标签得到与输入的语音数据关联的实体分支；
所述检索模块，用于基于所述关联的实体分支在档案检索系统中进行条件查询，查询获得对应的档案内容作为展示结果反馈给用户。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一权利要求所述的基于知识图谱的语音档案检索方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一权利要求所述的基于知识图谱的语音档案检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210481721.3A CN114741478A (zh) | 2022-05-05 | 2022-05-05 | 一种基于知识图谱的语音档案检索方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210481721.3A CN114741478A (zh) | 2022-05-05 | 2022-05-05 | 一种基于知识图谱的语音档案检索方法、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114741478A true CN114741478A (zh) | 2022-07-12 |
Family
ID=82285402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210481721.3A Pending CN114741478A (zh) | 2022-05-05 | 2022-05-05 | 一种基于知识图谱的语音档案检索方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114741478A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200020327A1 (en) * | 2019-06-24 | 2020-01-16 | Lg Electronics Inc. | Method and apparatus for recognizing a voice |
| CN111625658A (zh) * | 2020-07-28 | 2020-09-04 | 杭州翔毅科技有限公司 | 基于知识图谱的语音交互方法、装置、设备及存储介质 |
| KR20210090930A (ko) * | 2020-01-13 | 2021-07-21 | 에스케이 주식회사 | 지식 그래프 기반 정보 검색 시스템 및 정보 검색 방법 |
| CN114036281A (zh) * | 2021-11-22 | 2022-02-11 | 华南农业大学 | 基于知识图谱的柑橘管控问答模块构建方法及问答系统 |
-
2022
- 2022-05-05 CN CN202210481721.3A patent/CN114741478A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200020327A1 (en) * | 2019-06-24 | 2020-01-16 | Lg Electronics Inc. | Method and apparatus for recognizing a voice |
| KR20210090930A (ko) * | 2020-01-13 | 2021-07-21 | 에스케이 주식회사 | 지식 그래프 기반 정보 검색 시스템 및 정보 검색 방법 |
| CN111625658A (zh) * | 2020-07-28 | 2020-09-04 | 杭州翔毅科技有限公司 | 基于知识图谱的语音交互方法、装置、设备及存储介质 |
| CN114036281A (zh) * | 2021-11-22 | 2022-02-11 | 华南农业大学 | 基于知识图谱的柑橘管控问答模块构建方法及问答系统 |
Non-Patent Citations (1)
| Title |
|---|
| 叶蕾: "基于知识图谱的档案智能语义检索关键技术研究与实现", 《硕士学位论文》, 15 August 2021 (2021-08-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059311B (zh) | 一种面向司法文本数据的关键词提取方法及系统 | |
| CN110765257B (zh) | 一种知识图谱驱动型的法律智能咨询系统 | |
| CN112069298B (zh) | 基于语义网和意图识别的人机交互方法、设备及介质 | |
| CN112163077B (zh) | 一种面向领域问答的知识图谱构建方法 | |
| CN102262634B (zh) | 一种自动问答方法及系统 | |
| CN113505586A (zh) | 一种融合语义分类与知识图谱的坐席辅助问答方法与系统 | |
| CN113282689A (zh) | 基于领域知识图谱的检索方法、装置和搜索引擎 | |
| CN111191051B (zh) | 一种基于中文分词技术的应急知识图谱的构建方法及系统 | |
| CN113569023A (zh) | 一种基于知识图谱的中文医药问答系统及方法 | |
| CN113204669B (zh) | 基于语音识别的短视频搜索推荐方法、系统及存储介质 | |
| CN106776695A (zh) | 实现文书档案价值自动鉴定的方法 | |
| CN110795942B (zh) | 基于语义识别的关键词确定方法、装置和存储介质 | |
| CN116361367A (zh) | 一种高效发布招聘信息的内容识别系统及方法 | |
| CN112182019B (zh) | 一种电网统计专业指标特征提取的语义解析搜索方法 | |
| CN110347812A (zh) | 一种面向司法文本的搜索排序方法及系统 | |
| CN113886684A (zh) | 网络招聘智能推荐方法、系统及计算机可读存储介质 | |
| CN117349420A (zh) | 基于本地知识库和大型语言模型的回复方法和装置 | |
| CN112989811A (zh) | 一种基于BiLSTM-CRF的历史典籍阅读辅助系统及其控制方法 | |
| CN112231448A (zh) | 一种文档智能问答方法和装置 | |
| CN114880994B (zh) | 一种直白文本到反讽文本的文本风格转换方法及装置 | |
| CN116662479A (zh) | 一种用于医保目录的文本匹配方法 | |
| CN114741478A (zh) | 一种基于知识图谱的语音档案检索方法、设备和存储介质 | |
| CN116108141A (zh) | 一种面试场景下的相似问句检索机制 | |
| Yoshioka et al. | HUKB at COLIEE2018 information retrieval task | |
| CN111261167A (zh) | 一种音频热点内容自动化标签生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |