CN115048552B - 命名实体的消歧方法、装置及相关设备 - Google Patents
命名实体的消歧方法、装置及相关设备Info
- Publication number
- CN115048552B CN115048552B CN202210751323.9A CN202210751323A CN115048552B CN 115048552 B CN115048552 B CN 115048552B CN 202210751323 A CN202210751323 A CN 202210751323A CN 115048552 B CN115048552 B CN 115048552B
- Authority
- CN
- China
- Prior art keywords
- video
- meaning
- named entity
- vector
- items
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种命名实体的消歧方法、装置及相关设备，该方法包括：获取用户输入的目标命名实体；基于知识图谱进行检索，获得所述目标命名实体的多个含义项；将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。本发明实施例在的方案解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
Description
技术领域
本发明涉及视频处理技术，尤其涉及一种命名实体的消歧方法、装置及相关设备。
背景技术
命名实体是指具有特定含义的实体的名称，最常见的实体包括人名、地名等等，在视频行业中，主要有专辑名、人名、角色名、歌曲名、游戏名等实体。而每个命名实体在知识图谱中可能包含多种不同的含义项。
传统的实体链接方法，主要计算命名实体及其上下文与知识图谱中的实体以及描述的相似度，而对于命名实体的多种含义项，无法实现准确的实体链接，因此导致了命名实体关联内容准确度不高的问题。
发明内容
本发明实施例提供了一种命名实体的消歧方法，解决了现有技术中命名实体关联内容准确度不高的问题。
第一方面，本发明实施例提供了一种命名实体的消歧方法，包括：
获取用户输入的目标命名实体；
基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，
所述获得所述目标命名实体的多个含义项之后，还包括：
将所述多个含义项中的每个含义项与第一视频进行关联；
基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频，所述长短关联算法用于将所述第一视频与关联同一含义项的所述第二视频进行匹配。
可选的，所述将所述多个含义项输入到预建立的语义表示模型中之前，还包括：
获取样本含义项；
基于所述样本含义项获取所述样本含义项关联的第一视频和第二视频；
根据所述第一视频和第二视频获取视频标题；
基于所述视频标题获取与所述视频标题匹配的正例和负例；
根据所述视频标题、正例和负例建立语义表示模型。
可选的，所述根据所述视频标题、正例和负例建立语义表示模型，包括：
获取预训练的语义表示模型；
将训练样本输入到所述语义表示模型中进行训练，获得训练好的语义表示模型，所述训练样本包括所述视频标题、正例和负例。
可选的，所述将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，包括：
基于所述语义表示模型建立视频标题与向量库中对应向量的第一匹配关系；
根据所述第一匹配关系确定多个含义项与所述多个含义项对应的视频标题的关联关系；
获得所述多个含义项与向量库中对应向量的第二匹配关系。
可选的，所述基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；
在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，在基于所述第一检索范围内，通过所述向量库对所述每个含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述第一检索范围通过所述向量库对所述每个含义项进行相似度检索，获得检索结果；
将所述检索结果进行相似度分析，按照相似度从高到低的顺序获得所述目标命名实体对应的多个视频信息。
第二发明，本发明实施例还提供了一种命名实体的消歧装置，包括：
获取模块，用于获取用户输入的目标命名实体；
检索模块，用于基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
关联模块，用于将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
获得模块，用于基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，还包括：
含义项关联模块，用于将所述多个含义项中的每个含义项与第一视频进行关联；
内容获得模块，用于基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频。
第三方面，本发明实施例还提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现第一方面所述的命名实体的消歧方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现第一方面所述的命名实体的消歧方法的步骤。
本发明实施例提供了一种命名实体的消歧方法、装置及相关设备，该方法包括：获取用户输入的目标命名实体；基于知识图谱进行检索，获得所述目标命名实体的多个含义项；将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。本发明实施例的方案在获取到用户输入的目标命名实体后，通过语义表示模型和向量库对其多个含义项进行向量关联，通过检索将目标命名实体与其相似度最高的含义项匹配，从而将目标命名实体与视频信息进行匹配，解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
附图说明
图1为本发明实施例中一种命名实体的消歧方法的方法流程图；
图2为本发明实施例中语义表示模型的结构示意图；
图3为本发明实施例中方法的处理示意图；
图4为本发明实施例中向量的检索示意图；
图5为本发明实施例中一种命名实体的消歧装置的结构示意图；
图6为本发明实施例中一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本申请保护的范围。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一速度差值为第二速度差值，且类似地，可将第二速度差值称为第一速度差值。第一速度差值和第二速度差值两者都是速度差值，但其不是同一速度差值。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
图1为本实施例中一种命名实体的消歧方法的方法流程图，在本实施例中执行主体为电视端，本实施例提供的一种命名实体的消歧方法包括：
步骤101、获取用户输入的目标命名实体。
在本实施例中，命名实体是一般是指具有特定含义的实体的名称，一般地，最常见的实体为人名、地名和组织机构名等等；在视频行业中，主要是专辑名、人名、角色名、歌曲名、游戏名等等实体。实体链接是指将用户输入或者文本中出现的命名实体链接到知识图谱对应的某个实体上去。具体地，在本实施例中，用户输入的目标命名实体即为用户需要进行检索获取其在知识图谱中含义的命名实体。
步骤102、基于知识图谱进行检索，获得所述目标命名实体的多个含义项。
在本实施例中，知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律，为学科研究提供切实的、有价值的参考。
具体地，通过在知识图谱中进行检索，可以获取到目标命名实体的多个含义项，其中多个含义项是指目标命名实体的多种意思或者形式，示例性的，对于“笑傲江湖”这个命名实体来说，知识图谱中有：小说笑傲江湖，电视剧1996版笑傲江湖、电视剧2001笑傲江湖、电视剧2013笑傲江湖、电影1990笑傲江湖、电影1992笑傲江湖、综艺笑傲江湖第1季、综艺笑傲江湖第2季、综艺笑傲江湖第3季、综艺笑傲江湖第4季等。可以通过对所有专辑标题进行分词，在一定的规则限定下，如果不同的专辑核心剧名相同，则该核心剧名为歧义实体，对应该专辑则为含义项。
步骤103、将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系。
在本实施例中，如图2所示，图2为语义表示模型的结构示意图，其中Triplet loss为损失函数，Embedding为向量，Knowledge-bert为模型，Anchor为即当前的视频标题，Positive为与视频标题相近的正例，Negtive为与视频标题相近的负例，其中，正例是指与视频标题相关性较高的其他视频标题，负例是指与视频标题无相关性或相关性较低的其他视频标题。通过预建立的语义表示模型将多个含义项分别与其正例和负例进行适应性匹配后，将多个含义项与向量进行对应匹配，其中，每个向量包含了多个含义项与多个含义项对应的视频信息，因此，通过向量匹配完成将多个含义项与其对应的视频信息进行匹配的效果。
步骤104、基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。
在本实施例中，通过对目标命名实体进行识别后，通过向量库进行实体检索，需要进行说明的是，向量库中包括多个向量，并且每个向量对应有视频信息，当目标命名实体在向量库进行相似度检索时，如果检索成功，表明此命名实体在向量库中存在与其匹配的向量，则对该实体及其上下文进行向量表示(基于kwonledege-bert模型，和训练时相同)，然后使用向量对该实体对应的向量索引进行检索，其中，向量索引用于获取该向量对应的视频信息，通过相似度最高的向量对应的含义项则为该实体的消歧结果，由此，该含义项即确定为目标命名实体的含义项，此时会将多个与含义项相近的视频信息推荐给用户，示例性的，该视频信息可以包括视频、视频说明、视频推荐内容等等。
本发明实施例的方案在获取到用户输入的目标命名实体后，通过语义表示模型和向量库对其多个含义项进行向量关联，通过检索将目标命名实体与其相似度最高的含义项匹配，从而将目标命名实体与视频信息进行匹配，解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
在另一个实施例中，参阅图3，图3为本实施例中的处理流程示意图，可选的，步骤102、所述获得所述目标命名实体的多个含义项之后，还包括：
将所述多个含义项中的每个含义项与第一视频进行关联；
基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频，所述长短关联算法用于将所述第一视频与关联同一含义项的所述第二视频进行匹配。
在本实施例中，第一视频为长视频，第二视频为短视频，其中每个长视频专辑实体对应着大量的短视频内容，当用户搜索一个专辑名的时候，搜索结果中不仅含有专辑实体，也含有大量精彩的短视频内容。可以通过人工标注或者机器识别等方式将多个含义项中的每个含义项与其对应的第一视频进行关联，例如当某个含义项对应某个节目后，通过搜索工具将该节目对应所有第一视频检索出来并与某个含义项进行匹配。可以通过长短关联算法自动将短视频关联到长视频上面，基于第一视频与每个含义项的匹配关系，从而，此时每个含义项均包括了与其对应的第一视频和第二视频，具体地，可通过基于视频关键帧的匹配，将相似程度高的长视频和短视频进行匹配。通过加入大量内容向的短视频标题，更丰富的表示了该实体的语义信息。
可选的，步骤103、所述将所述多个含义项输入到预建立的语义表示模型中之前，还包括：
获取样本含义项；
基于所述样本含义项获取所述样本含义项关联的第一视频和第二视频；
根据所述第一视频和第二视频获取视频标题；
基于所述视频标题获取与所述视频标题匹配的正例和负例；
根据所述视频标题、正例和负例建立语义表示模型。
在本实施例中，首先会获取到样本含义项，该样本含义项用于对获取到的语义表示模型进行训练，使语义训练模型达到预设要求。
具体地，第一视频为长视频，第二视频为短视频，其中每个长视频专辑实体对应着大量的短视频内容，当用户搜索一个专辑名的时候，搜索结果中不仅含有专辑实体，也含有大量精彩的短视频内容，可以通过长短关联算法自动将短视频关联到长视频上面。其中，视频的正例具体地为在同一含义项中和视频标题中语义相似度比较高的短视频标题，视频的负例具体地为在同一含义项中和视频标题中语义相似度较低或者没有相似度的短视频标题。
示例性的，比如：“爆笑脱口秀《解手》方清平，首次挑战笑傲江湖”这个视频标题，与其相似度比较高的标题有：小品《解手》：方清平挑战笑傲舞台，现场狂“拍马屁”、单口相声《解手》：方清平不停抖包袱，笑料百出，乐翻全场、方清平相声《解手》：方清平戏说自己的创业路，包袱不断笑的胃疼。视频的负例具体地为在同一命名实体中但是是不同含义项的短视频标题，在这些短视频标题中随机进行抽取。
在获取到长短视频标题、正例和负例后，根据他们建立语义表示模型。使用对比学习和语义模型，可以更好的将文本信息表示成向量，然后结合向量检索技术，在实际消歧的过程中进行向量检索，可以更方面的找出语义最相近的短视频向量及其对应的义项，速度也会更快。所以同时满足了效果和性能的要求。
进一步的，所述根据所述视频标题、正例和负例建立语义表示模型，包括：
获取预训练的语义表示模型；
将训练样本输入到所述语义表示模型中进行训练，获得训练好的语义表示模型，所述训练样本包括所述视频标题、正例和负例。
需要进行说明的是，在本实施例中首先获取预训练的语义表示模型，通过将大量的训练样本输入到预训练的语义表示模型中进行训练，其中，训练样本由一系列视频标题，与视频标题相关的正例和负例组成，从而对语义表示模型中的相关参数进行进一步调整和修正，最后获得训练好的语义表示模型，此时将不同含义项输入到训练好的语义表示模型即可输出含义项与向量的匹配关系。
进一步的，步骤103、所述将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，包括：
基于所述语义表示模型建立视频标题与向量库中对应向量的第一匹配关系；
根据所述第一匹配关系确定多个含义项与所述多个含义项对应的视频标题的关联关系；
获得所述多个含义项与向量库中对应向量的第二匹配关系。
具体地，通过语义表示模型，可以将每个标题中的向量抽取出来，作为该文本标题的向量进行表示，构建分级索引。具体地，首先将某个视频标题与向量库的向量进行匹配，生成第一匹配关系。根据第一匹配关系将某个视频标题于某个含义项进行一一对应的关联关系，由此，即可将含义项与向量生成第二匹配关系，此时每个含义项会对应不同的向量并且对应不同视频标题。如图4所示，图4为示意图，将不同命名实体通过向量进行连接并建立分级索引，具体地，将每个命名实体基于视频标题与对应的向量进行连接。从而生成多个命名实体与向量的连接关系。
具体地，步骤104、所述基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；
在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息。
其中，首先对实体构建索引，然后对每个实体下面各个义项的所有短视频标题的向量构建索引，具体地，首先将某个视频标题与向量库的向量进行匹配，生成匹配关系。根据匹配关系将某个视频标题于某个含义项进行一一对应的关联关系，由此，即可将含义项与向量生成匹配关系，此时每个含义项会对应不同的向量并且对应不同视频标题，这样在实际消歧的过程中，先检索实体，确定向量的范围，然后再对该实体下面的向量索引进行检索，这样做的好处是可以缩小检索的范围，减小误差。
通过对目标命名实体进行识别后，通过向量库进行实体检索，如果检索成功，则对该实体及其上下文进行向量表示(基于kwonledege-bert模型，和训练时相同)，然后使用向量对该实体对应的向量索引进行检索，相似度最高的向量对应的含义项则为该实体的消歧结果，此时会将多个与含义项相近的视频信息推荐给用户，示例性的，该视频信息可以包括视频、视频说明、视频推荐内容等等。通过多次向量进行向量检索，可以缩小检索的范围，从而提高检索的准确率。
可选的，所述在所述第一检索范围通过所述向量库对所述每个含义项进行检索内，获得所述目标命名实体对应的多个视频信息，包括：
基于所述第一检索范围通过所述向量库对所述每个含义项进行相似度检索，获得检索结果；
将所述检索结果进行相似度分析按照相似度从高到低的顺序获得所述目标命名实体对应的多个视频信息。
在本实施例中，通过多个检索范围获取到检索结果后，将检索结果通过相似度从高到底低的相关性顺序进行排列并展现给用户，示例性的，当用户输入某个命名实体后，通过向量检索的方法找出来语义最相关的视频信息，并将该视频信息优先展现给用户。具体地，还可以将检索结果提取出多个视频结果推荐给用户，具体数量可以根据实际情况进行适应性的调整，在本实施例中不做具体限定。
本实施例提供的方案，可以应用在知识图谱构建、问答系统或者搜索相关性等方面。具体地，在知识图谱构建中，可以更准确的挖掘实体和实体关系，从而为下游服务使用。在问答系统中，需要准确知道问题中的实体是指知识图谱中的哪个实体，以便去图谱中进行查找检索，在这个过程中的实体也需要消歧后的实体。在搜索相关性中，通过对搜索目标和搜索结果进行实体消歧，可以更准确的计算包含相同义项实体的相关性。
本发明实施例的方案在获取到用户输入的目标命名实体后，通过语义表示模型和向量库对其多个含义项进行向量关联，通过检索将目标命名实体与其相似度最高的含义项匹配，从而将目标命名实体与视频信息进行匹配，解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
图5为本发明实施例中提供的一种命名实体的消歧装置500的结构示意图，本实施例提供的一种命名实体的消歧装置500包括：
获取模块510，用于获取用户输入的目标命名实体；
检索模块520，用于基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
关联模块530，用于将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
获得模块540，用于基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，还包括：
含义项关联模块，用于将所述多个含义项中的每个含义项与第一视频进行关联；
内容获得模块，用于基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频，所述长短关联算法用于将所述第一视频与关联同一含义项的所述第二视频进行匹配。
可选的，还包括：
样本获取模块，用于获取样本含义项；
视频关联模块，用于基于所述样本含义项获取所述样本含义项关联的第一视频和第二视频；
标题获取模块，用于根据所述第一视频和第二视频获取视频标题；
标题匹配模块，用于基于所述视频标题获取与所述视频标题匹配的正例和负例；
模型建立模块，用于根据所述视频标题、正例和负例建立语义表示模型。
可选的，所述模型建立模块，包括：
模型获取子模块，用于获取预训练的语义表示模型；
模型训练子模块，用于将训练样本输入到所述语义表示模型中进行训练，获得训练好的语义表示模型，所述训练样本包括所述视频标题、正例和负例。
可选的，还包括：
匹配子模块，用于基于所述语义表示模型建立视频标题与向量库中对应向量的第一匹配关系；
关系确定子模块，用于根据所述第一匹配关系确定多个含义项与所述多个含义项对应的视频标题的关联关系。
关系获得子模块，用于获得所述多个含义项与向量库中对应向量的第二匹配关系。
可选的，还包括：
实体检索模块，用于基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；
含义项检索模块，用于在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，还包括：
含义项检索子模块，用于基于所述第一检索范围通过所述向量库对所述每个含义项进行相似度检索，获得检索结果；
相似度分析子模块，用于将所述检索结果进行相似度分析，按照相似度从高到低的顺序获得所述目标命名实体对应的多个视频信息。
本发明实施例的方案在获取到用户输入的目标命名实体后，通过语义表示模型和向量库对其多个含义项进行向量关联，通过检索将目标命名实体与其相似度最高的含义项匹配，从而将目标命名实体与视频信息进行匹配，解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
图6为本发明实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备600包括存储器610、处理器620，电子设备600中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；服务器中的存储器610、处理器620可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的消歧命名实体的消歧方法对应的程序指令/模块，处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行服务器/终端/服务器的各种功能应用以及数据处理，即实现上述的命名实体的消歧方法。
其中，处理器620用于运行存储在存储器610中的计算机程序，实现如下步骤：
获取用户输入的目标命名实体；
基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，
所述获得所述目标命名实体的多个含义项之后，还包括：
将所述多个含义项中的每个含义项与第一视频进行关联；
基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频，所述长短关联算法用于将所述第一视频与关联同一含义项的所述第二视频进行匹配。
可选的，所述将所述多个含义项输入到预建立的语义表示模型中之前，还包括：
获取样本含义项；
基于所述样本含义项获取所述样本含义项关联的第一视频和第二视频；
根据所述第一视频和第二视频获取视频标题；
基于所述视频标题获取与所述视频标题匹配的正例和负例；
根据所述视频标题、正例和负例建立语义表示模型。
可选的，所述根据所述视频标题、正例和负例建立语义表示模型，包括：
获取预训练的语义表示模型；
将训练样本输入到所述语义表示模型中进行训练，获得训练好的语义表示模型，所述训练样本包括所述视频标题、正例和负例。
可选的，所述将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，包括：
基于所述语义表示模型建立视频标题与向量库中对应向量的第一匹配关系；
根据所述第一匹配关系确定多个含义项与所述多个含义项对应的视频标题的关联关系；
获得所述多个含义项与向量库中对应向量的第二匹配关系。
可选的，所述基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；
在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，在基于所述第一检索范围内，通过所述向量库对所述每个含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述第一检索范围通过所述向量库对所述每个含义项进行相似度检索，获得检索结果；
将所述检索结果进行相似度分析，按照相似度从高到低的顺序获得所述目标命名实体对应的多个视频信息。
存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至服务器/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例的方案在获取到用户输入的目标命名实体后，通过语义表示模型和向量库对其多个含义项进行向量关联，通过检索将目标命名实体与其相似度最高的含义项匹配，从而将目标命名实体与视频信息进行匹配，解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种命名实体的消歧方法，该方法包括：
获取用户输入的目标命名实体；
基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，
所述获得所述目标命名实体的多个含义项之后，还包括：
将所述多个含义项中的每个含义项与第一视频进行关联；
基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频，所述长短关联算法用于将所述第一视频与关联同一含义项的所述第二视频进行匹配。
可选的，所述将所述多个含义项输入到预建立的语义表示模型中之前，还包括：
获取样本含义项；
基于所述样本含义项获取所述样本含义项关联的第一视频和第二视频；
根据所述第一视频和第二视频获取视频标题；
基于所述视频标题获取与所述视频标题匹配的正例和负例；
根据所述视频标题、正例和负例建立语义表示模型。
可选的，所述根据所述视频标题、正例和负例建立语义表示模型，包括：
获取预训练的语义表示模型；
将训练样本输入到所述语义表示模型中进行训练，获得训练好的语义表示模型，所述训练样本包括所述视频标题、正例和负例。
可选的，所述将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，包括：
基于所述语义表示模型建立视频标题与向量库中对应向量的第一匹配关系；
根据所述第一匹配关系确定多个含义项与所述多个含义项对应的视频标题的关联关系；
获得所述多个含义项与向量库中对应向量的第二匹配关系。
可选的，所述基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；
在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息。
可选的，在基于所述第一检索范围内，通过所述向量库对所述每个含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述第一检索范围通过所述向量库对所述每个含义项进行相似度检索，获得检索结果；
将所述检索结果进行相似度分析，按照相似度从高到低的顺序获得所述目标命名实体对应的多个视频信息。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种命名实体的消歧方法中的相关操作。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的方案在获取到用户输入的目标命名实体后，通过语义表示模型和向量库对其多个含义项进行向量关联，通过检索将目标命名实体与其相似度最高的含义项匹配，从而将目标命名实体与视频信息进行匹配，解决了现有技术中命名实体关联内容准确度不高的问题，有效地提高了命名实体关联内容的准确度。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种命名实体的消歧方法，其特征在于，包括：
获取用户输入的目标命名实体；
基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息；所述基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息，包括：基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息，所述向量库中包括多个向量，并且每个所述向量对应有所述视频信息，所述视频信息包括视频、视频说明、视频推荐内容中的至少一项。
2.根据权利要求1中所述的方法，其特征在于，所述获得所述目标命名实体的多个含义项之后，还包括：
将所述多个含义项中的每个含义项与第一视频进行关联；
基于长短关联算法将所述第一视频与第二视频进行关联，获得与所述每个含义项相匹配的视频内容，所述视频内容包括第一视频和第二视频，所述长短关联算法用于将所述第一视频与关联同一含义项的所述第二视频进行匹配。
3.根据权利要求1中所述的方法，其特征在于，所述将所述多个含义项输入到预建立的语义表示模型中之前，还包括：
获取样本含义项；
基于所述样本含义项获取所述样本含义项关联的第一视频和第二视频；
根据所述第一视频和第二视频获取视频标题；
基于所述视频标题获取与所述视频标题匹配的正例和负例；
根据所述视频标题、正例和负例建立语义表示模型。
4.根据权利要求3中所述的方法，其特征在于，所述根据所述视频标题、正例和负例建立语义表示模型，包括：
获取预训练的语义表示模型；
将训练样本输入到所述语义表示模型中进行训练，获得训练好的语义表示模型，所述训练样本包括所述视频标题、正例和负例。
5.根据权利要求1中所述的方法，其特征在于，所述将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，包括：
基于所述语义表示模型建立视频标题与向量库中对应向量的第一匹配关系；
根据所述第一匹配关系确定多个含义项与所述多个含义项对应的视频标题的关联关系；
获得所述多个含义项与向量库中对应向量的第二匹配关系。
6.根据权利要求1中所述的方法，其特征在于，在基于所述第一检索范围内，通过所述向量库对所述每个含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息，包括：
基于所述第一检索范围通过所述向量库对所述每个含义项进行相似度检索，获得检索结果；
将所述检索结果进行相似度分析，按照相似度从高到低的顺序获得所述目标命名实体对应的多个视频信息。
7.一种基于向量检索的命名实体的消歧装置，其特征在于，包括：
获取模块，用于获取用户输入的目标命名实体；
检索模块，用于基于知识图谱进行检索，获得所述目标命名实体的多个含义项；
关联模块，用于将所述多个含义项输入到预建立的语义表示模型中，获得所述多个含义项与向量库中对应向量的匹配关系，所述对应向量用于指示所述多个含义项与所述多个含义项对应的视频信息的关联关系；
获得模块，用于基于所述匹配关系在所述向量库中进行向量相似度检索，获得所述目标命名实体对应的多个视频信息，所述获得模块还包括：实体检索模块，用于基于所述匹配关系在所述向量库中对所述目标命名实体进行检索，确定第一检索范围；含义项检索模块，用于在所述第一检索范围内，通过所述向量库对每个所述含义项进行相似度检索，获得所述目标命名实体对应的多个视频信息，所述向量库中包括多个向量，并且每个所述向量对应有所述视频信息，所述视频信息包括视频、视频说明、视频推荐内容中的至少一项。
8.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现权利要求1至6中任一项所述的基于向量检索的命名实体的消歧方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现权利要求1至6中任一项所述的基于向量检索的命名实体的消歧方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751323.9A CN115048552B (zh) | 2022-06-28 | 2022-06-28 | 命名实体的消歧方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751323.9A CN115048552B (zh) | 2022-06-28 | 2022-06-28 | 命名实体的消歧方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115048552A CN115048552A (zh) | 2022-09-13 |
| CN115048552B true CN115048552B (zh) | 2025-09-02 |
Family
ID=83164513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210751323.9A Active CN115048552B (zh) | 2022-06-28 | 2022-06-28 | 命名实体的消歧方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115048552B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407180A (zh) * | 2016-08-30 | 2017-02-15 | 北京奇艺世纪科技有限公司 | 一种实体消歧方法及装置 |
| CN113283236A (zh) * | 2021-05-31 | 2021-08-20 | 北京邮电大学 | 一种复杂中文文本中的实体消歧方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11194967B2 (en) * | 2018-03-15 | 2021-12-07 | International Business Machines Corporation | Unsupervised on-the-fly named entity resolution in dynamic corpora |
| CN113111136B (zh) * | 2021-04-29 | 2024-04-16 | 东南大学 | 一种基于ucl知识空间的实体消歧方法及装置 |
-
2022
- 2022-06-28 CN CN202210751323.9A patent/CN115048552B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407180A (zh) * | 2016-08-30 | 2017-02-15 | 北京奇艺世纪科技有限公司 | 一种实体消歧方法及装置 |
| CN113283236A (zh) * | 2021-05-31 | 2021-08-20 | 北京邮电大学 | 一种复杂中文文本中的实体消歧方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115048552A (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Visual in-context learning for large vision-language models | |
| CN107193792B (zh) | 基于人工智能的生成文章的方法和装置 | |
| CN109635157B (zh) | 模型生成方法、视频搜索方法、装置、终端及存储介质 | |
| CN116662495B (zh) | 问答处理方法、训练问答处理模型的方法及装置 | |
| US9588941B2 (en) | Context-based visualization generation | |
| CN110991187A (zh) | 一种实体链接的方法、装置、电子设备及介质 | |
| CN114138989B (zh) | 相关性预测模型训练方法、装置及相关性预测方法 | |
| CN116881425A (zh) | 一种通用型文档问答实现方法、系统、设备及存储介质 | |
| CN105005616B (zh) | 基于文本图片特征交互扩充的文本图解方法及系统 | |
| CN113157959A (zh) | 基于多模态主题补充的跨模态检索方法、装置及系统 | |
| Le-Quynh et al. | Enhancing video retrieval with robust clip-based multimodal system | |
| CN120706544A (zh) | 智能文档问答方法、装置、设备及存储介质 | |
| CN113688256A (zh) | 临床知识库的构建方法、装置 | |
| CN111538830B (zh) | 法条检索方法、装置、计算机设备及存储介质 | |
| CN117171328A (zh) | 文本问答处理方法、装置、电子设备及存储介质 | |
| KR102685135B1 (ko) | 영상 편집 자동화 시스템 | |
| WO2023169301A1 (zh) | 一种文本处理方法、装置及电子设备 | |
| CN115617944A (zh) | 内容推荐方法、装置、存储介质及电子设备 | |
| CN115048552B (zh) | 命名实体的消歧方法、装置及相关设备 | |
| CN120279301A (zh) | 基于视觉语言对齐的视觉叙事生成方法、装置、电子设备及存储介质 | |
| CN119577078A (zh) | 问答方法、装置、计算机设备及存储介质 | |
| CN114239578B (zh) | 命名实体的识别方法、装置、设备及存储介质 | |
| CN112883218A (zh) | 一种图文联合表征的搜索方法、系统、服务器和存储介质 | |
| CN112905884B (zh) | 生成序列标注模型的方法、设备、介质及程序产品 | |
| CN117290542A (zh) | 视频问答方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |