CN110516654A - 视频场景的实体识别方法、装置、电子设备和介质 - Google Patents
视频场景的实体识别方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN110516654A CN110516654A CN201910829539.0A CN201910829539A CN110516654A CN 110516654 A CN110516654 A CN 110516654A CN 201910829539 A CN201910829539 A CN 201910829539A CN 110516654 A CN110516654 A CN 110516654A
- Authority
- CN
- China
- Prior art keywords
- entity
- target
- field
- video
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种视频场景的实体识别方法、装置、电子设备和介质，涉及人工智能领域。具体实现方案为：确定待处理的目标视频的文本特征；确定所述目标视频所属的目标领域；根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。本申请由于预先设置多种实体识别算法以对不同领域的视频进行实体识别，因此能够精准的提取出视频文本所描述的实体，且可以满足不同的业务需求，通用性强。
Description
技术领域
本申请实施例涉及计算机技术，尤其涉及人工智能技术，具体涉及视频场景的实体识别方法、装置、电子设备和介质。
背景技术
随着信息技术的发展，以及各类视频类app的日益火爆，视频将成为最主要的信息传播方式，广泛应用与人际交流、社会生活、工业生产的各个方面。面对于海量的视频内容，仅靠人工处理是无法完成的，因此迫切需要通过计算机技术实现对于视频内容的智能化理解，进而自动化、智能化的对视频进行分类以及打标签。
传统方法是通过文本关键词提取方法来提取视频标题以及视频描述文本中的关键词作为视频的文本标签。但是这种方法提取的关键词并不能较完整的对视频文本中的实体进行覆盖，并且提取技术较单一，无法满足不同业务需求。
发明内容
本申请实施例提供一种视频场景的实体识别方法、装置、电子设备和介质，可以解决现有方法不能完整识别视频文本中的实体的问题。
第一方面，本申请实施例提供了一种视频场景的实体识别方法，所述方法包括：
确定待处理的目标视频的文本特征；
确定所述目标视频所属的目标领域；
根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。
上述申请中的一个实施例具有如下优点或有益效果：通过预先设置多种实体识别算法以对不同领域的视频进行实体识别，克服了实体识别技术较单一技术问题，进而达到精准的提取出视频文本所描述的实体的技术效果。
可选的，根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，包括：
若所述目标领域属于候选领域集合，则将知识重要度实体识别算法作为目标实体识别算法；
确定所述文本特征中包括的候选实体；
根据所述知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，确定目标领域关联的目标实体类别；
将属于所述目标实体类别的候选实体作为所述目标视频中的目标实体。
上述申请中的一个实施例具有如下优点或有益效果：通过知识重要度实体识别算法中配置有预设领域与预设实体类别之间的映射关系，为属于不同预设领域的目标视频中识别不同类别的实体，提供了细粒度的实体识别。
可选的，所述候选领域集合中包括如下至少一项候选领域：影视领域、娱乐领域、动漫领域、游戏领域、音乐领域、汽车领域、舞蹈领域、美食领域、体育领域和大自然领域；
相应地，候选领域与候选实体类别之间的映射关系包括如下至少一项：
影视领域关联的如下至少一种实体类别：影视剧名、主要角色和主要演员；
娱乐领域关联的如下至少一种实体类别：综艺节目名称、嘉宾、主持人和涉及的娱乐人物；
动漫领域关联有如下至少一种实体类别：动漫名称和主要角色；
游戏领域关联有如下至少一种实体类别：游戏名称、主要角色和玩家；
音乐领域关联有如下至少一种实体类别：音乐名称和歌手；
汽车领域关联有如下至少一种实体类别：汽车品牌、车型和汽车名称；
舞蹈领域关联有如下至少一种实体类别：舞蹈名称和舞蹈演员；
美食领域关联有如下至少一种实体类别：美食名称；
体育领域关联有如下至少一种实体类别：体育项目、运动员和运动队名；
大自然领域关联有如下至少一种实体类别：动物、植物、山川和河流。
可选的，确定所述目标视频所属的目标领域，包括：
将所述目标视频的图像数据作为视频领域分类算法的输入，以得到所述目标视频所属的目标领域。
上述申请中的一个实施例具有如下优点或有益效果：通过采用视频领域分类算法来识别目标视频所述的目标领域，进而为后续根据目标视频的不同领域，确定对应的目标实体识别算法，奠定了基础。
可选的，根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，还包括：
若所述目标领域不属于候选领域集合，则调用至少一种通用实体识别算法对所述文本特征进行实体识别；
其中，所述通用实体识别算法包括如下至少一项：采用Skip-Gram构建的无监督实体识别算法、基于xgboost分类的实体算法、基于word2vec的实体算法、textrank图游走算法、基于term重要度的wordrank算法、基于tf-idf的排序算法，以及基于BiLSTM-CRF序列标注的算法。
上述申请中的一个实施例具有如下优点或有益效果：为目标领域不属于候选领域集合的视频提供基于通用实体识别算法，进一步提高不同领域实体识别的准确度。
可选的，对所述文本特征进行实体识别之前，还包括：
调用文本质量模型确定所述文本特征的文本质量；
根据确定结果，对所述文本特征进行筛选。
上述申请中的一个实施例具有如下优点或有益效果：通过预先对文本模态特征进行筛选，提高实体识别效率。
可选的，确定待处理的目标视频的文本特征，包括：
提取目标视频的标题以及描述文本，作为第一类来源文本；
对待处理的目标视频中图像进行OCR识别，得到目标视频的字幕信息，作为第二类来源文本；
对目标视频的音频信息进行ASR识别；将ASR识别结果和/或作者标签文本，作为第三类来源文本。
上述申请中的一个实施例具有如下优点或有益效果：因为对不同的文本来源进行分类，所以为后续根据文本来源对实体进行置信度调整，奠定了数据基础。
可选的，对所述文本特征进行实体识别之后，还包括：
根据实体的文本来源信息，调整实体的置信度。
上述申请中的一个实施例具有如下优点或有益效果：通过结合文本来源信息进行实体的置信度调整，使标注的实体结果具有更高的准确性。
第二方面，本申请实施例还公开了一种视频场景的实体识别的装置，该装置包括：
文本特征确定模块，用于确定待处理的目标视频的文本特征；
目标领域确定模块，用于确定所述目标视频所属的目标领域；
实体识别模块，用于根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。
第三方面，本申请实施例还公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的方法。
第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的一种视频场景的实体识别方法的流程示意图；
图2是根据本申请第二实施例的一种视频场景的实体识别方法的流程示意图；
图3是根据本申请第三实施例的一种视频场景的实体识别装置的结构示意图；
图4是用来实现本申请实施例的视频场景的实体识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
实施例一
图1为本申请实施例一提供的一种视频场景的实体识别方法的流程示意图。本实施例适用于识别待处理视频中包括的实体的情况，该方法可以由本申请实施例三提供的视频场景的实体识别装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1所示，该方法可以包括：
S101、确定待处理的目标视频的文本特征。
其中，目标视频的格式包括但不限于AVI、FLV、RMVB以及WMV格式。文本特征指的是与目标视频相关联的文本信息，例如目标视频的字幕信息、目标视频的标题以及描述文本、目标视频的音频信息对应的文本信息以及作者标签文本等等。
具体的，由于目标视频的文本特征是由多种形式来呈现的，因此对于不同呈现形式的文本特征，需要通过不同的方法来确定。
可选的，1)目标视频的字幕信息通常出现于目标视频的图像中，通过提取目标视频的所有帧图像或者是关键帧图像，再利用OCR(Optical Character Recognition，光学字符识别)识别提取帧图像中的字幕信息，并将识别到的字幕信息作为目标视频的文本特征。2)目标视频的标题以及描述文本是作者对于目标视频内容的概括，由于标题以及描述文本是以文本形式呈现的，因此直接将目标视频的标题以及描述文本作为目标视频的文本特征。3)目标视频的音频信息通常会出现于目标视频的多个时间节点上，通过提取目标视频的所有音频信息，再利用ASR(Automatic Speech Recognition，自动语音识别)识别音频信息对应的文本信息，最终将ASR识别结果作为目标视频的文本特征。4)目标视频的作者标签文本，是目标视频的作者对目标视频打上自己理解的标签文本以帮助用户理解，由于作者标签文本是以文本形式呈现的，因此直接将目标视频的作者标签文本作为目标视频的文本特征。
通过确定待处理的目标视频的文本特征，为后续对目标视频的文本特征进行实体识别，奠定了数据基础。
S102、确定所述目标视频所属的目标领域。
其中，目标领域体现了目标视频内容所属的类别，例如影视、游戏和体育等。
具体的，对目标视频包含的视频帧进行提取，并根据提取的视频帧图像内容，确定目标视频所属的目标领域。
可选的，步骤102包括：将所述目标视频的图像数据作为视频领域分类算法的输入，以得到所述目标视频所属的目标领域。
通过确定目标视频所属的目标领域，为后续根据目标视频的不同领域，确定对应的目标实体识别算法，奠定了基础。
S103、根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。
具体的，为了提高对于目标视频实体提取的精准度，本实施例中根据目标视频所属目标领域的不同，相应调用的不同目标实体识别算法对目标视频文本特征进行实体识别。
可选的，步骤103包括：
1)若所述目标领域属于候选领域集合，则将知识重要度实体识别算法作为目标实体识别算法；确定所述文本特征中包括的候选实体；根据所述知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，确定目标领域关联的目标实体类别；将属于所述目标实体类别的候选实体作为所述目标视频中的目标实体。
其中，候选领域集合是根据用户对于视频所属领域的关注度确定的，可选的将用户对于视频所属领域关注度较高的若干领域，作为候选领域集合。每个候选领域都对应至少一种候选实体类别，并且不同候选领域对应的候选实体类别也不同，而对于同一个候选领域，用户关注的候选实体类别基本固定，例如在影视领域中，用户的关注点集中在影视剧名、主要角色和主要演员，因此将“影视剧名”、“主要角色”和“主要演员”作为“影视领域”的候选实体类别；又例如在汽车领域，用户的关注点集中在汽车品牌、车型和汽车名称，因此将“汽车品牌”、“车型”和“汽车名称”作为“汽车领域”的候选实体类别。
具体的，利用命名实体识别工具对目标视频的文本特征进行识别，得到候选实体，将候选实体与目标领域对应的候选实体类别进行比对，将属于目标领域对应的候选实体类别的候选实体，作为目标视频中的目标实体。
2)若所述目标领域不属于候选领域集合，则调用至少一种通用实体识别算法对所述文本特征进行实体识别。
其中，所述通用实体识别算法包括如下至少一项：采用Skip-Gram构建的无监督实体识别算法、基于xgboost(eXtreme Gradient Boosting，极端梯度提升)分类的实体算法、基于word2vec的实体算法、textrank(文本排序)图游走算法、基于term(提问词)重要度的wordrank(文本排序)算法、基于tf-idf(term frequency inverse document frequency，信息检索与数据挖掘)的排序算法，以及基于BiLSTM-CRF(Bidirectional Long Short-Term Memory Network Conditional Random Field，基于双向长短期记忆网络条件随机场)序列标注的算法。
通过根据目标领域确定目标实体识别算法，并调用目标实体识别算法对文本特征进行实体识别，以得到目标视频中包括的目标实体，实现了对于不同领域的视频，利用对应目标实体识别算法来进行实体识别，提高了实体识别的精准度，保证了识别结果的完整性。
本申请实施例提供的技术方案，通过根据目标视频所属的目标领域，确定相应的目标实体识别算法，并调用得到的目标实体识别算法对文本特征进行实体识别，以得到目标实体，由于通过预先设置多种实体识别算法以对不同领域的视频进行实体识别，克服了实体识别技术较单一技术问题，进而达到精准的提取出视频文本所描述的实体的技术效果。
在上述实施例的基础上，S103中“对所述文本特征进行实体识别”之前，还包括：
调用文本质量模型确定所述文本特征的文本质量；根据确定结果，对所述文本特征进行筛选。
其中，文本质量模型用于确定文本特征的质量，其可选的包括fasttext文本分类模型。
可选的，将文本特征输入到预先建立的fasttext文本分类模型中，得到文本特征的文本质量，并剔除低于预设文本质量阈值的文本特征，保留高于预设文本质量阈值的文本特征。
由于低质量文本特征中获取不到知识信息，通过根据文本质量对文本特征进行筛选，保证了剩余文本特征的文本质量，过滤了文本特征种的文本噪声并且避免了“标题党”问题。
在上述实施例的基础上，S103之后还包括：
根据实体的文本来源信息，调整实体的置信度。
具体的，若任一实体存在至少两个文本来源，则提升该实体的置信度；若任一实体只有唯一文本来源，且该唯一文本来源属于第三类来源，则降低该实体的置信度，置信度提升的数值与实体的文本来源数量相关，文本来源数量越多，则对应该实体置信度提升的数值就越多。
其中，本实施例中文本来源可选的包括三类：1)提取目标视频的标题以及描述文本，作为第一类来源文本；2)对待处理的目标视频中图像进行OCR识别，得到目标视频的字幕信息，作为第二类来源文本；3)对目标视频的音频信息进行ASR识别；将ASR识别结果和/或作者标签文本，作为第三类来源文本。
示例性的，实体A的文本来源包括第一类来源文本、第二类来源文本以及第三类来源文本，则提升实体A的置信度；实体B的文本来源包括第二类来源文本以及第三类来源文本，则提升实体B的置信度；实体C的文本来源为第三类来源文本，则降低实体C的置信度。
通过提升至少两个文本来源的实体的置信度，降低只有一个低置信度文本来源的实体的置信度，实现了对于实体置信度的调节，使得用户可以根据实体的置信度来确定自己想要浏览的视频。
实施例二
图2为本申请实施例二提供的一种视频场景的实体识别方法的流程图。本实施例为上述实施例一提供了一种具体实现方式，如图2所示，该方法可以包括：
S201、确定待处理的目标视频的文本特征。
S202、将所述目标视频的图像数据作为视频领域分类算法的输入，以得到所述目标视频所属的目标领域。
其中，视频领域分类算法采用的是视频二级分类体系，即得到的目标领域的表现形式为二级分类形式，例如影视领域-剧情片，又例如体育领域-篮球。
具体的，1)预先建立一个3D卷积神经网络，并从目标视频中提取目标视频帧，其中，目标视频帧可以是若干关键帧，也可以是每秒提取的视频帧。2)利用建立的3D卷积神经网络从目标视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作。3)将所有通道的信息组合起来得到最终的特征描述。4)建立一个添加自注意力机制的双向LSTM序列模型对特征描述进行序列建模，最后融合进行分类，相应就会得到目标视频所属的目标领域。
S203、确定所述目标领域是否属于候选领域集合；若是，则执行S204；若不是，则执行S207。
其中，候选领域集合可选的包括如下至少一项候选领域：影视领域、娱乐领域、动漫领域、游戏领域、音乐领域、汽车领域、舞蹈领域、美食领域、体育领域和大自然领域。
具体的，将目标领域与候选领域集合进行比对，若候选集合中包括目标领域，则确定目标领域属于候选领域集合；若候选集合中不包括目标领域，则确定目标领域不属于候选领域集合。
S204、将知识重要度实体识别算法作为目标实体识别算法，并确定所述文本特征中包括的候选实体。
可选的，通过命名实体识别工具来确定文本特征中包括的候选实体，其中，命名实体识别工具可以是基于神经网络的命名实体识别，也可以是基于特征模板的命名实体识别，本实施例不做限制。候选实体包括三大类命名实体：实体类、时间类和数字类，以及七小类命名实体：人名、机构名、地名、时间、日期、货币和百分比中的至少一种命名实体。
示例性的，将文本特征输入到命名实体识别工具中，则会相应输出文本特征的候选实体，例如，文本特征为“迈克尔乔丹是芝加哥公牛队的篮球运动员”，则该文本特征的候选实体为“迈克尔乔丹”、“芝加哥公牛队”以及“篮球运动员”。
S205、根据所述知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，确定目标领域关联的目标实体类别。
具体的，针对不同的候选领域构建了一个与候选实体类别具有映射关系的schema体系。
其中，知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，可选的包括如下至少一项：影视领域关联的如下至少一种实体类别：影视剧名、主要角色和主要演员；娱乐领域关联的如下至少一种实体类别：综艺节目名称、嘉宾、主持人和涉及的娱乐人物；动漫领域关联有如下至少一种实体类别：动漫名称和主要角色；游戏领域关联有如下至少一种实体类别：游戏名称、主要角色和玩家；音乐领域关联有如下至少一种实体类别：音乐名称和歌手；汽车领域关联有如下至少一种实体类别：汽车品牌、车型和汽车名称；舞蹈领域关联有如下至少一种实体类别：舞蹈名称和舞蹈演员；美食领域关联有如下至少一种实体类别：美食名称；体育领域关联有如下至少一种实体类别：体育项目、运动员和运动队名；大自然领域关联有如下至少一种实体类别：动物、植物、山川和河流。
示例性的，假设目标视频所属目标领域为“影视领域”，而知识重要度实体识别算法中候选领域“影视领域”的候选实体类别为“影视剧名”、“主要角色”和“主要演员”，则目标视频所属目标领域“影视领域”关联的目标实体类别为“影视剧名”、“主要角色”和“主要演员”；假设目标视频所属目标领域为“游戏领域”，而知识重要度实体识别算法中候选领域“游戏领域”的候选实体类别为“游戏名称”、“主要角色”和“玩家”，则目标视频所属目标领域“游戏领域”关联的目标实体类别为“游戏名称”、“主要角色”和“玩家”。
S206、将属于所述目标实体类别的候选实体作为所述目标视频中的目标实体。
具体的，将候选实体与目标实体类别进行匹配，根据匹配结果将属于目标实体类别的候选实体作为目标视频中的目标实体。
可选的，基于知识库中目标实体类别的知识图谱信息，将候选实体与目标实体类别进行匹配，确定候选实体是否属于目标实体类别。
示例性的，假设候选实体为“演员A”、“演员B”、“角色A”、“主题曲A”、“插曲A”以及“电影A”，目标实体类别为“影视剧名”、“主要角色”和“主要演员”，则基于知识库中“影视剧名”、“主要角色”和“主要演员”的知识图谱信息，确定“演员A”和“演员B”属于目标实体类别“主要演员”，“角色A”属于目标实体类别“主要角色”，“电影A”属于目标实体类别“影视剧名”，因此将候选实体中“演员A”、“演员B”、“角色A”以及“电影A”作为目标视频中的目标实体。
示例性的，假设候选实体为“歌手A”、“歌手B”、“主题曲A”、“主题曲B”、
“插曲A”、“音乐器械A”以及“音乐器械B”，目标实体类别为“音乐名称”和“歌手”，则基于知识库中“音乐名称”和“歌手”的知识图谱信息，确定“歌手A”、“歌手B”属于目标实体类别“歌手”，“主题曲A”、“主题曲B”和“插曲A”属于目标实体类别“音乐名称”，因此将候选实体中“歌手A”、“歌手B”“主题曲A”、“主题曲B”以及“插曲A”作为目标视频中的目标实体。
S207、调用至少一种通用实体识别算法对所述文本特征进行实体识别。
示例性的，假设调用通用实体识别算法中的基于xgboost分类的实体算法，则会将文本特征输入到预先建立的xgboost文本分类器中，来对文本特征进行实体识别以及判定。
示例性的，假设调用通用实体识别算法中的采用Skip-Gram构建的无监督实体识别算法，则此时的实体识别过程为：
将实体识别转化为求条件概率的问题，即对文本特征分词后，每个词与文本特征的条件概率p(s|wi)，其中s代表文本特征，wi代表每个分词。通过朴素贝叶斯假设可以计算p(s|wi)，如果文本特征s由n个词w1,w2……,wn组成，那么这样就将求条件概率p(s|wi)，转化为求词与词之间的转移概率p(wk|wi)，再利用预先建立的Skip-Gram模型来对转移概率p(wk|wi)进行建模，以得到词与词之间的转移概率p(wk|wi)，最终根据上述公式求得条件概率p(s|wi)，对每个词与文本特征的条件概率p(s|wi)进行排序，将排序靠前的词，作为目标视频的目标实体。可选的，采用层次Softmax和负样本采样方法对Skip-Gram模型的建模进行提速，以更快的求得转移概率。
示例性的，假设调用通用实体识别算法中的基于BiLSTM-CRF序列标注的算法，则会将文本特征输入到预先建立的实体序列标注模型中，来对文本特征进行进行序列标注以得到目标实体，其中，实体序列标注模型是采用双向LSTM结合CRF序列标注模型，并结合大规模的视频文本特征语料训练得到的。
本申请实施例提供的技术方案，若目标视频所属目标领域属于候选领域集合，则将知识重要度实体识别算法作为目标实体识别算法；若目标视频所属目标领域不属于候选领域集合，则调用至少一种通用实体识别算法对所述文本特征进行实体识别，实现了根据目标领域调用最合适的目标实体识别算法，来对文本特征进行实体识别，因此能够精准的提取出视频文本所描述的实体。
在上述实施例的基础上，S206之后，还包括：
调用服务器提供的实体链指算法，将所述目标实体与知识图谱中实体建立链接。
通过将目标实体与知识图谱中实体建立链接，可以对得到的目标实体进行修正和扩展实体。
实施例三
图3为本申请实施例三提供的一种视频场景的实体识别装置300的结构示意图，可执行本申请任一实施例所提供的一种视频场景的实体识别方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置可以包括：
文本特征确定模块301，用于确定待处理的目标视频的文本特征；
目标领域确定模块302，用于确定所述目标视频所属的目标领域；
实体识别模块303，用于根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。
在上述实施例的基础上，所述实体识别模块303，具体用于：
若所述目标领域属于候选领域集合，则将知识重要度实体识别算法作为目标实体识别算法；
确定所述文本特征中包括的候选实体；
根据所述知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，确定目标领域关联的目标实体类别；
将属于所述目标实体类别的候选实体作为所述目标视频中的目标实体。
在上述实施例的基础上，所述候选领域集合中包括如下至少一项候选领域：影视领域、娱乐领域、动漫领域、游戏领域、音乐领域、汽车领域、舞蹈领域、美食领域、体育领域和大自然领域；
相应地，候选领域与候选实体类别之间的映射关系包括如下至少一项：
影视领域关联的如下至少一种实体类别：影视剧名、主要角色和主要演员；
娱乐领域关联的如下至少一种实体类别：综艺节目名称、嘉宾、主持人和涉及的娱乐人物；
动漫领域关联有如下至少一种实体类别：动漫名称和主要角色；
游戏领域关联有如下至少一种实体类别：游戏名称、主要角色和玩家；
音乐领域关联有如下至少一种实体类别：音乐名称和歌手；
汽车领域关联有如下至少一种实体类别：汽车品牌、车型和汽车名称；
舞蹈领域关联有如下至少一种实体类别：舞蹈名称和舞蹈演员；
美食领域关联有如下至少一种实体类别：美食名称；
体育领域关联有如下至少一种实体类别：体育项目、运动员和运动队名；
大自然领域关联有如下至少一种实体类别：动物、植物、山川和河流。
在上述实施例的基础上，所述目标领域确定模块302，具体用于：
将所述目标视频的图像数据作为视频领域分类算法的输入，以得到所述目标视频所属的目标领域。
在上述实施例的基础上，所述实体识别模块303，具体还用于：
若所述目标领域不属于候选领域集合，则调用至少一种通用实体识别算法对所述文本特征进行实体识别；
其中，所述通用实体识别算法包括如下至少一项：采用Skip-Gram构建的无监督实体识别算法、基于xgboost分类的实体算法、基于word2vec的实体算法、textrank图游走算法、基于term重要度的wordrank算法、基于tf-idf的排序算法，以及基于BiLSTM-CRF序列标注的算法。
在上述实施例的基础上，所述装置还包括文本特征筛选模块，具体用于：
调用文本质量模型确定所述文本特征的文本质量；
根据确定结果，对所述文本特征进行筛选。
在上述实施例的基础上，所述文本特征确定模块301，具体用于：
提取目标视频的标题以及描述文本，作为第一类来源文本；
对待处理的目标视频中图像进行OCR识别，得到目标视频的字幕信息，作为第二类来源文本；
对目标视频的音频信息进行ASR识别；将ASR识别结果和/或作者标签文本，作为第三类来源文本。
在上述实施例的基础上，所述装置还包括置信度调整模块，具体用于：
根据实体的文本来源信息，调整实体的置信度。本申请实施例所提供的一种视频场景的实体识别装置300，可执行本申请任一实施例所提供的一种视频场景的实体识别方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任一实施例提供的一种视频场景的实体识别方法。
…
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的视频场景的实体识别的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的视频场景的实体识别的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的视频场景的实体识别的方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的视频场景的实体识别的方法对应的程序指令/模块(例如，附图3所示的文本特征确定模块301、目标领域确定模块302和实体识别模块303)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频场景的实体识别的方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据视频场景的实体识别的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至视频场景的实体识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
视频场景的实体识别的方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与视频场景的实体识别的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，由于预先设置多种实体识别算法以对不同领域的视频进行实体识别，因此能够精准的提取出视频文本所描述的实体，并且保证了识别结果的完整性。
…
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种视频场景的实体识别的方法，其特征在于，包括：
确定待处理的目标视频的文本特征；
确定所述目标视频所属的目标领域；
根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。
2.根据权利要求1所述的方法，其特征在于，根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，包括：
若所述目标领域属于候选领域集合，则将知识重要度实体识别算法作为目标实体识别算法；
确定所述文本特征中包括的候选实体；
根据所述知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，确定目标领域关联的目标实体类别；
将属于所述目标实体类别的候选实体作为所述目标视频中的目标实体。
3.根据权利要求2所述的方法，其特征在于，所述候选领域集合中包括如下至少一项候选领域：影视领域、娱乐领域、动漫领域、游戏领域、音乐领域、汽车领域、舞蹈领域、美食领域、体育领域和大自然领域；
相应地，候选领域与候选实体类别之间的映射关系包括如下至少一项：
影视领域关联的如下至少一种实体类别：影视剧名、主要角色和主要演员；
娱乐领域关联的如下至少一种实体类别：综艺节目名称、嘉宾、主持人和涉及的娱乐人物；
动漫领域关联有如下至少一种实体类别：动漫名称和主要角色；
游戏领域关联有如下至少一种实体类别：游戏名称、主要角色和玩家；
音乐领域关联有如下至少一种实体类别：音乐名称和歌手；
汽车领域关联有如下至少一种实体类别：汽车品牌、车型和汽车名称；
舞蹈领域关联有如下至少一种实体类别：舞蹈名称和舞蹈演员；
美食领域关联有如下至少一种实体类别：美食名称；
体育领域关联有如下至少一种实体类别：体育项目、运动员和运动队名；
大自然领域关联有如下至少一种实体类别：动物、植物、山川和河流。
4.根据权利要求1所述的方法，其特征在于，确定所述目标视频所属的目标领域，包括：
将所述目标视频的图像数据作为视频领域分类算法的输入，以得到所述目标视频所属的目标领域。
5.根据权利要求1所述的方法，其特征在于，根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，还包括：
若所述目标领域不属于候选领域集合，则调用至少一种通用实体识别算法对所述文本特征进行实体识别；
其中，所述通用实体识别算法包括如下至少一项：采用Skip-Gram构建的无监督实体识别算法、基于xgboost分类的实体算法、基于word2vec的实体算法、textrank图游走算法、基于term重要度的wordrank算法、基于tf-idf的排序算法，以及基于BiLSTM-CRF序列标注的算法。
6.根据权利要求1所述的方法，其特征在于，对所述文本特征进行实体识别之前，还包括：
调用文本质量模型确定所述文本特征的文本质量；
根据确定结果，对所述文本特征进行筛选。
7.根据权利要求1所述的方法，其特征在于，确定待处理的目标视频的文本特征，包括：
提取目标视频的标题以及描述文本，作为第一类来源文本；
对待处理的目标视频中图像进行OCR识别，得到目标视频的字幕信息，作为第二类来源文本；
对目标视频的音频信息进行ASR识别；将ASR识别结果和/或作者标签文本，作为第三类来源文本。
8.根据权利要求1所述的方法，其特征在于，对所述文本特征进行实体识别之后，还包括：
根据实体的文本来源信息，调整实体的置信度。
9.一种视频场景的实体识别的装置，其特征在于，包括：
文本特征确定模块，用于确定待处理的目标视频的文本特征；
目标领域确定模块，用于确定所述目标视频所属的目标领域；
实体识别模块，用于根据所述目标领域确定目标实体识别算法，并调用所述目标实体识别算法对所述文本特征进行实体识别，以得到所述目标视频中包括的目标实体。
10.根据权利要求9所述的装置，其特征在于，所述实体识别模块，具体用于：
若所述目标领域属于候选领域集合，则将知识重要度实体识别算法作为目标实体识别算法；
确定所述文本特征中包括的候选实体；
根据所述知识重要度实体识别算法中候选领域与候选实体类别之间的映射关系，确定目标领域关联的目标实体类别；
将属于所述目标实体类别的候选实体作为所述目标视频中的目标实体。
11.根据权利要求9所述的装置，其特征在于，所述目标领域确定模块，具体用于：
将所述目标视频的图像数据作为视频领域分类算法的输入，以得到所述目标视频所属的目标领域。
12.根据权利要求9所述的装置，其特征在于，所述实体识别模块，具体还用于：
若所述目标领域不属于候选领域集合，则调用至少一种通用实体识别算法对所述文本特征进行实体识别；
其中，所述通用实体识别算法包括如下至少一项：采用Skip-Gram构建的无监督实体识别算法、基于xgboost分类的实体算法、基于word2vec的实体算法、textrank图游走算法、基于term重要度的wordrank算法、基于tf-idf的排序算法，以及基于BiLSTM-CRF序列标注的算法。
13.根据权利要求9所述的装置，其特征在于，所述装置还包括文本特征筛选模块，具体用于：
调用文本质量模型确定所述文本特征的文本质量；
根据确定结果，对所述文本特征进行筛选。
14.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910829539.0A CN110516654A (zh) | 2019-09-03 | 2019-09-03 | 视频场景的实体识别方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910829539.0A CN110516654A (zh) | 2019-09-03 | 2019-09-03 | 视频场景的实体识别方法、装置、电子设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110516654A true CN110516654A (zh) | 2019-11-29 |
Family
ID=68630634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910829539.0A Pending CN110516654A (zh) | 2019-09-03 | 2019-09-03 | 视频场景的实体识别方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110516654A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666768A (zh) * | 2020-06-10 | 2020-09-15 | 京东方科技集团股份有限公司 | 一种中文命名实体的识别方法、识别装置及电子设备 |
| CN113159010A (zh) * | 2021-03-05 | 2021-07-23 | 北京百度网讯科技有限公司 | 视频分类方法、装置、设备和存储介质 |
| CN116975299A (zh) * | 2023-09-22 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 文本数据的判别方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572625A (zh) * | 2015-01-21 | 2015-04-29 | 北京云知声信息技术有限公司 | 命名实体的识别方法 |
| CN106570179A (zh) * | 2016-11-10 | 2017-04-19 | 中国科学院信息工程研究所 | 一种面向评价性文本的核心实体识别方法及装置 |
| CN109388795A (zh) * | 2017-08-07 | 2019-02-26 | 芋头科技（杭州）有限公司 | 一种命名实体识别方法、语言识别方法及系统 |
| CN109933688A (zh) * | 2019-02-13 | 2019-06-25 | 北京百度网讯科技有限公司 | 确定视频标注信息的方法、装置、设备和计算机存储介质 |
| CN110162793A (zh) * | 2019-05-27 | 2019-08-23 | 北京奇艺世纪科技有限公司 | 一种命名实体的识别方法及相关设备 |
-
2019
- 2019-09-03 CN CN201910829539.0A patent/CN110516654A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572625A (zh) * | 2015-01-21 | 2015-04-29 | 北京云知声信息技术有限公司 | 命名实体的识别方法 |
| CN106570179A (zh) * | 2016-11-10 | 2017-04-19 | 中国科学院信息工程研究所 | 一种面向评价性文本的核心实体识别方法及装置 |
| CN109388795A (zh) * | 2017-08-07 | 2019-02-26 | 芋头科技（杭州）有限公司 | 一种命名实体识别方法、语言识别方法及系统 |
| CN109933688A (zh) * | 2019-02-13 | 2019-06-25 | 北京百度网讯科技有限公司 | 确定视频标注信息的方法、装置、设备和计算机存储介质 |
| CN110162793A (zh) * | 2019-05-27 | 2019-08-23 | 北京奇艺世纪科技有限公司 | 一种命名实体的识别方法及相关设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666768A (zh) * | 2020-06-10 | 2020-09-15 | 京东方科技集团股份有限公司 | 一种中文命名实体的识别方法、识别装置及电子设备 |
| WO2021249311A1 (zh) * | 2020-06-10 | 2021-12-16 | 京东方科技集团股份有限公司 | 命名实体的识别方法、识别设备及电子设备 |
| CN113159010A (zh) * | 2021-03-05 | 2021-07-23 | 北京百度网讯科技有限公司 | 视频分类方法、装置、设备和存储介质 |
| JP2022135930A (ja) * | 2021-03-05 | 2022-09-15 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ビデオ分類方法、装置、機器、および記憶媒体 |
| JP7334395B2 (ja) | 2021-03-05 | 2023-08-29 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ビデオ分類方法、装置、機器、および記憶媒体 |
| CN116975299A (zh) * | 2023-09-22 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 文本数据的判别方法、装置、设备及介质 |
| CN116975299B (zh) * | 2023-09-22 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 文本数据的判别方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717339B (zh) | 语义表示模型的处理方法、装置、电子设备及存储介质 | |
| CN111625635B (zh) | 问答处理方法、装置、设备及存储介质 | |
| CN110232183B (zh) | 关键词提取模型训练方法、关键词提取方法、装置及存储介质 | |
| US11797847B2 (en) | Selecting instances of detected objects in images utilizing object detection models | |
| CN109117777B (zh) | 生成信息的方法和装置 | |
| EP3889830A1 (en) | Cross-modality processing method and apparatus, electronic device and computer storage medium | |
| US11928434B2 (en) | Method for text generation, device and storage medium | |
| CN110532433A (zh) | 视频场景的实体识别方法、装置、电子设备和介质 | |
| CN110245259B (zh) | 基于知识图谱的视频打标签方法及装置、计算机可读介质 | |
| CN102473186B (zh) | 标记多个数字图像的系统和方法 | |
| CN111783468B (zh) | 文本处理方法、装置、设备和介质 | |
| CN111125435B (zh) | 视频标签的确定方法、装置和计算机设备 | |
| US10248865B2 (en) | Identifying presentation styles of educational videos | |
| EP3920088A1 (en) | Method and apparatus for generating tag of video, electronic device, and storage medium | |
| CN111522994A (zh) | 用于生成信息的方法和装置 | |
| CN110427627A (zh) | 基于语义表示模型的任务处理方法和装置 | |
| CN110516654A (zh) | 视频场景的实体识别方法、装置、电子设备和介质 | |
| CN113395578B (zh) | 一种提取视频主题文本的方法、装置、设备及存储介质 | |
| CN111918094A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN112507090B (zh) | 用于输出信息的方法、装置、设备和存储介质 | |
| CN111858905B (zh) | 模型训练方法、信息识别方法、装置、电子设备及存储介质 | |
| CN111639228B (zh) | 视频检索方法、装置、设备及存储介质 | |
| CN111859953A (zh) | 训练数据的挖掘方法、装置、电子设备及存储介质 | |
| CN113360768A (zh) | 基于用户画像的产品推荐方法、装置、设备及存储介质 | |
| CN112528605B (zh) | 文本风格处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |