CN116166827B - 语义标签抽取模型的训练和语义标签的抽取方法及其装置 - Google Patents

语义标签抽取模型的训练和语义标签的抽取方法及其装置 Download PDF

Info

Publication number
CN116166827B
CN116166827B CN202310445385.1A CN202310445385A CN116166827B CN 116166827 B CN116166827 B CN 116166827B CN 202310445385 A CN202310445385 A CN 202310445385A CN 116166827 B CN116166827 B CN 116166827B
Authority
CN
China
Prior art keywords
tag
semantic
text
recognition result
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310445385.1A
Other languages
English (en)
Other versions
CN116166827A (zh
Inventor
陈庆洋
王磊
刘倩
朱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202310445385.1A priority Critical patent/CN116166827B/zh
Publication of CN116166827A publication Critical patent/CN116166827A/zh
Application granted granted Critical
Publication of CN116166827B publication Critical patent/CN116166827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种语义标签抽取模型的训练和语义标签的抽取方法及其装置，涉及深度学习、计算机视觉、自然语言处理、语音识别等技术领域。具体实现方案为：采用语义标签抽取模型中的编码层对目标视频的文本特征进行编码，得到编码特征；采用语义标签抽取模型中的标签层对编码特征进行序列标注，得到第一标签序列；采用语义标签抽取模型中的解码层对编码特征进行解码，得到第二标签序列；根据第一标签序列和第二标签序列，确定目标视频的语义标签。由此，可以实现通过序列标注方式，抽取出现在与目标视频相关的文本信息中的语义标签，并通过生成方式，生成未出现在上述文本信息中的语义标签，提升视频语义标签抽取的丰富性。

Description

语义标签抽取模型的训练和语义标签的抽取方法及其装置
技术领域
本公开涉及人工智能技术领域，具体为深度学习、计算机视觉、自然语言处理、语音识别等技术领域，尤其涉及语义标签抽取模型的训练和语义标签的抽取方法及其装置。
背景技术
随着互联网技术和多媒体技术的迅速发展，互联网中发布的视频量越来越多。为互联网中的视频生成语义标签，可以根据视频的语义标签，进行视频检索、向用户推荐个性化视频等。
因此，如何自动抽取视频的语义标签是非常重要的。
发明内容
本公开提供了一种用于语义标签抽取模型的训练和语义标签的抽取方法及其装置。
根据本公开的一方面，提供了一种视频语义标签的抽取方法，包括：
获取目标视频的目标文本特征，并采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；
采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列；
采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列；
根据所述第一标签序列和所述第二标签序列，确定所述目标视频的语义标签。
根据本公开的另一方面，提供了一种语义标签抽取模型的训练方法，包括：
获取样本视频的目标文本特征，并采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；
采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列；
采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列；
根据所述样本视频标注的语义标签、所述第一标签序列和所述第二标签序列，对语义标签抽取模型进行训练。
根据本公开的又一方面，提供了一种视频语义标签的抽取装置，包括：
获取模块，用于获取目标视频的目标文本特征；
编码模块，用于采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；
标注模块，用于采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列；
解码模块，用于采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列；
确定模块，用于根据所述第一标签序列和所述第二标签序列，确定所述目标视频的语义标签。
根据本公开的再一方面，提供了一种语义标签抽取模型的训练装置，包括：
获取模块，用于获取样本视频的目标文本特征；
编码模块，用于采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；
标注模块，用于采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列；
解码模块，用于采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列；
训练模块，用于根据所述样本视频标注的语义标签、所述第一标签序列和所述第二标签序列，对所述语义标签抽取模型进行训练。
根据本公开的还一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述一方面提出的视频语义标签的抽取方法，或者，执行本公开上述另一方面提出的语义标签抽取模型的训练方法。
根据本公开的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开上述一方面提出的视频语义标签的抽取方法，或者，执行本公开上述另一方面提出的语义标签抽取模型的训练方法。
根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述一方面提出的视频语义标签的抽取方法，或者，执行时实现本公开上述另一方面提出的语义标签抽取模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例一所提供的视频语义标签的抽取方法的流程示意图；
图2为本公开实施例二所提供的视频语义标签的抽取方法的流程示意图；
图3为本公开实施例三所提供的视频语义标签的抽取方法的流程示意图；
图4为本公开实施例四所提供的语义标签抽取模型的训练方法的流程示意图；
图5为本公开实施例五所提供的语义标签抽取模型的训练方法的流程示意图；
图6为本公开实施例六所提供的语义标签抽取模型的训练方法的流程示意图；
图7为本公开实施例七所提供的语义标签抽取模型的训练方法的流程示意图；
图8为本公开实施例所提供的语义标签抽取模型的结构示意图；
图9为本公开实施例八所提供的视频语义标签的抽取装置的结构示意图；
图10为本公开实施例九所提供的语义标签抽取模型的训练装置的结构示意图；
图11示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，可以通过以下几种方式，生成视频（包括长视频、短视频）的语义标签：
第一种，通过分类模型预测视频的语义标签。具体地，可以预先构建标签集合，并基于分类模型对标签集合中的每个标签进行打分，最终将标签集合中分值最高的标签，作为视频的语义标签，或者，将分值高于设定阈值的标签，作为视频的语义标签。
第二种，通过序列标注模型预测视频的语义标签。具体地，可以使用序列标注模型对视频的文本信息进行序列标注，根据序列标注结果，确定视频的语义标签。
第三种，通过生成模型预测视频的语义标签。具体地，可以使用生成模型直接生成视频的语义标签。
然而上述第一种方式，通常难以构建较为完备的语义标签库，并且，即使构建了完备的语义标签库，在大规模的语义标签上做分类，也很困难；
上述第二种方式，由于视频所对应的实际的语义标签所包含的字符并不一定直接出现在视频的文本信息中，而序列标注模型无法抽取未包含在视频的文本信息中的语义标签；
上述第三种方式，虽然理论上可以生成各种语义标签，但是有相当多的语义标签是直接出现在视频的文本信息中的，使用生成模型生成这些语义标签增加了任务的难度。
针对上述存在的至少一项问题，本公开提出一种语义标签抽取模型的训练和语义标签的抽取方法及其装置。
下面参考附图描述本公开实施例的语义标签抽取模型的训练和语义标签的抽取方法及其装置。
图1为本公开实施例一所提供的视频语义标签的抽取方法的流程示意图。
本公开实施例以该视频语义标签的抽取方法被配置于视频语义标签的抽取装置中来举例说明，该视频语义标签的抽取装置可以应用于任一电子设备中，以使该电子设备可以执行视频语义标签的抽取功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑（PersonalComputer，简称PC）、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该视频语义标签的抽取方法可以包括以下步骤：
步骤101，获取目标视频的目标文本特征，并采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
在本公开实施例中，目标视频为待抽取或待识别语义标签的视频。
在本公开实施例中，可以获取目标视频，并对与该目标视频相关的文本信息进行特征提取，以得到目标视频的文本特征（本公开中记为目标文本特征）。
其中，对目标视频的获取方式不作限制，比如，目标视频可以为从现有的测试集中获取的视频，或者，目标视频可以为在线采集的视频，比如可以通过网络爬虫技术，在线采集目标视频，或者，目标视频也可以为线下采集的视频，或者，目标视频也可以为实时采集的视频，或者，目标视频也可以为人工合成的视频，等等，本公开实施例对此并不作限制。
在本公开实施例中，可以采用语义标签抽取模型中的编码层（Encoder）对目标文本特征进行编码，得到编码特征（或称为隐藏状态hidden states）。
步骤102，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
其中，对标签层（Labeling Layer）的结构不作限制，比如，标签层的结构可以为2* Linear（线性层）+ CRF（Conditional Random Field，条件随机场），或者，标签层的结构可以为其他的序列标注网络或模型的结构。
在本公开实施例中，可以采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。即，可以通过标签层抽取出现在与目标视频相关的文本信息中的语义标签。
作为一种示例，假设与目标视频相关的文本信息中包括N个字符，则第一标签序列中也包含N个标签（即，每个字符均具有对应的标签）。举例而言，假设与目标视频相关的文本信息为“四喜丸子的制作方式为…”，标签层采用BIO标注法，对编码特征进行标注，得到的第一标签序列可以为{BIIIOOOOOO…}，其中，B表示Begin（即语义标签或实体的开头）、I表示Inside（即语义标签或实体的中间或结尾）、O表示Outside（不属于语义标签或实体）。
或者，标签层采用BIOES标注法，对编码特征进行标注，得到的第一标签序列可以为{BIIEOOOOOO…}，其中，B表示Begin（即，“四”为语义标签的开始位置），I表示Inside（即，“喜”为语义标签的中间位置、“丸”为语义标签的中间位置），E表示End（即，“子”为语义标签的结束位置），O表示Outside（不属于语义标签，用于标记无关字符）、S表示Single（单个字符，本身就是一个语义标签或实体）。
步骤103，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
在本公开实施例中，可以采用语义标签抽取模型中的解码层（Decoder）对编码特征进行解码，以得到第二标签序列。即，可以通过解码层生成未出现在与目标视频相关的文本信息中的语义标签。
仍以上述例子进行示例，当与目标视频相关的文本信息为“四喜丸子的制作方式为…”时，第二标签序列可以包括“美食制作”、“中餐制作”。
步骤104，根据第一标签序列和第二标签序列，确定目标视频的语义标签。
在本公开实施例中，可以根据第一标签序列和第二标签序列，共同确定目标视频的语义标签。
本公开实施例的视频语义标签的抽取方法，通过采用语义标签抽取模型中的编码层对目标视频的文本特征进行编码，得到编码特征，并采用语义标签抽取模型中的标签层对编码特征进行序列标注，得到第一标签序列；采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列；根据第一标签序列和第二标签序列，确定目标视频的语义标签。由此，可以实现通过序列标注方式，抽取出现在与目标视频相关的文本信息中的语义标签，并通过生成方式，生成未出现在与目标视频相关的文本信息中的语义标签，提升视频语义标签抽取的丰富性，满足实际的抽取需求。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
为了清楚说明上述实施例是如何获取目标视频的目标文本特征的，本公开还提出一种视频语义标签的抽取方法。
图2为本公开实施例二所提供的视频语义标签的抽取方法的流程示意图。
如图2所示，该视频语义标签的抽取方法可以包括以下步骤：
步骤201，获取目标视频，并对目标视频进行语音识别，得到语音识别结果。
其中，对目标视频的解释说明可以参见本公开上述实施例中的相关描述，在此不做赘述。
在本公开实施例中，可以获取目标视频的音频文件，并采用ASR（AutomaticSpeech Recognition，自动语音识别）技术对音频文件进行语音识别，得到文本形式的语音识别结果。或者，也可以直接对目标视频进行语音识别，得到文本形式的语音识别结果。
步骤202，对目标视频进行OCR识别，得到OCR识别结果。
在本公开实施例中，可以对目标视频中的各视频帧进行OCR（Optical CharacterRecognition，光学字符识别），以得到文本形式的OCR识别结果。
步骤203，根据语音识别结果和OCR识别结果，获取目标视频的目标文本特征。
在本公开实施例中，可以根据语音识别结果和OCR识别结果，获取目标视频的目标文本特征。
作为一种示例，可以将语音识别结果和OCR识别结果进行拼接，得到拼接文本，对拼接文本进行特征提取，得到目标文本特征。
作为另一种示例，可以分别对语音识别结果和OCR识别结果进行特征提取，得到语音识别结果的文本特征和OCR识别结果的文本特征，并将语音识别结果的文本特征和OCR识别结果的文本特征进行拼接，以得到目标文本特征。
当然，也可以基于其他算法，根据语音识别结果和OCR识别结果，确定目标文本特征，本公开对此并不做限制。
作为一种示例，还可以获取目标视频的标题信息，将标题信息与语音识别结果和OCR识别结果进行拼接，得到拼接文本，对拼接文本进行特征提取，得到目标文本特征。
作为另一种示例，还可以分别对目标视频的标题信息、语音识别结果和OCR识别结果进行特征提取，得到标题信息的文本特征、语音识别结果的文本特征和OCR识别结果的文本特征，并将标题信息的文本特征、语音识别结果的文本特征和OCR识别结果的文本特征进行拼接，以得到目标文本特征。
步骤204，采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
步骤205，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
步骤206，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
步骤207，根据第一标签序列和第二标签序列，确定目标视频的语义标签。
步骤204至207的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
本公开实施例的视频语义标签的抽取方法，根据目标视频中的OCR信息（如字幕信息）和ASR信息（即音频信息），确定目标视频的目标文本特征，可以提升目标文本特征的丰富性，进而提升语义标签抽取的准确性。
为了清楚说明上述实施例是如何根据语音识别结果和OCR识别结果，获取目标视频的目标文本特征的，本公开还提出一种视频语义标签的抽取方法。
图3为本公开实施例三所提供的视频语义标签的抽取方法的流程示意图。
如图3所示，该视频语义标签的抽取方法可以包括以下步骤：
步骤301，获取目标视频，并对目标视频进行语音识别，得到语音识别结果。
步骤302，对目标视频进行OCR识别，得到OCR识别结果。
步骤301至302的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
步骤303，获取提示信息的第一文本特征，其中，提示信息用于指示语义标签抽取模型待抽取的信息。
在本公开实施例中，提示信息（prompt）可以作为先验信息或任务信息，用于指示语义标签抽取模型待抽取或待识别的信息。
举例而言，提示信息可以为“给出视频的主题”、“给出视频的关键词”、“抽取视频的知识点或实体”等。
在本公开实施例中，可以对提示信息进行特征提取，得到提示信息的文本特征（本公开中记为第一文本特征）。
作为一种示例，可以将提示信息输入预训练模型的词嵌入层（Word Embedding），得到词嵌入层输出的第一文本特征。
步骤304，根据语音识别结果和OCR识别结果，获取第二文本特征。
在本公开实施例中，可以根据语音识别结果和OCR识别结果，获取第二文本特征。
作为一种可能的实现方式，可以判断目标视频是否具有标题信息，在目标视频具有标题信息的情况下，可以将标题信息、语音识别结果和OCR识别结果进行拼接（比如，将标题信息、语音识别结果和OCR识别结果进行依次拼接），得到第一文本信息，并对第一文本信息进行特征提取，得到第二文本特征。
作为另一种可能的实现方式，在目标视频具有标题信息的情况下，还可以分别对标题信息、语音识别结果和OCR识别结果进行特征提取，得到标题信息的文本特征（本公开中记为第一子文本特征）、语音识别结果的文本特征（本公开中记为第二子文本特征）和OCR识别结果的文本特征（本公开中记为第三子文本特征），从而可以将第一子文本特征、第二子文本特征和第三子文本特征进行拼接，得到第二文本特征。
由此，可以实现同时结合目标视频的标题信息、目标视频中的OCR信息（如字幕信息）和ASR信息（即音频信息），确定目标视频的目标文本特征，可以进一步提升目标文本特征的丰富性，进而提升语义标签抽取的准确性。
作为又一种可能的实现方式，可以判断目标视频是否具有标题信息，在目标视频不具有标题信息的情况下，可以将语音识别结果和OCR识别结果进行拼接，得到第二文本信息，并对第二文本信息进行特征提取，得到第二文本特征。
作为还一种可能的实现方式，在目标视频不具有标题信息的情况下，还可以分别对语音识别结果和OCR识别结果进行特征提取，得到语音识别结果的文本特征（本公开中记为第四子文本特征）和OCR识别结果的文本特征（本公开中记为第五子文本特征），从而可以将第四子文本特征和第五子文本特征进行拼接，得到第二文本特征。
由此，可以实现基于不同方式，确定第二文本特征，可以提升该方法的灵活性和适用性。
步骤305，将第一文本特征与第二文本特征进行拼接，得到目标文本特征。
在本公开实施例中，可以将第一文本特征与第二文本特征进行拼接，得到目标文本特征。
作为一种示例，可以在第一文本特征之后拼接第二文本特征，得到目标文本特征。
作为另一种示例，可以在第二文本特征之后拼接第一文本特征，得到目标文本特征。
步骤306，采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
步骤307，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
步骤308，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
步骤306至308的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
在本公开的任意一个实施例之中，第二标签序列的确定方式，例如为：采用解码层对编码特征进行解码，得到多个候选标签序列和多个候选标签序列的预测概率（或分值、置信度）。例如，解码层可以采用集束搜索（Beam Search）方式进行解码，输出多个候选标签序列和多个候选标签序列的预测概率（或分值、置信度）。
其中，候选标签序列中包括至少一个候选语义标签，比如，当语义标签抽取模型是采用one2one（一对一，即编码层输出的标签序列中仅包括一个语义标签）的训练方式训练得到的情况下，每个候选标签序列中可以包括一个候选语义标签（如美食制作）。再比如，当语义标签抽取模型是采用one2seq（一对多，即编码层输出的标签序列中可以包括多个语义标签，多语义标签可以采用分隔符隔开）的训练方式训练得到的情况下，每个候选标签序列中可以包括一个或多个候选语义标签。
在本公开中，可以根据多个候选标签序列的预测概率，从多个候选标签序列中确定第二标签序列。
作为一种示例，可以将预测概率最大的候选标签序列，作为第二标签序列。
作为另一种示例，可以将预测概率高于设定阈值的候选标签序列，作为第二标签序列。
作为另一种示例，可以将各候选标签序列按照预测概率的取值由大至小排序，并将排序在前设定个数的候选标签序列，作为第二标签序列。
由此，根据多个候选标签序列的预测概率，从多个候选标签序列中确定第二标签序列，可以提升第二标签序列确定的准确性。
步骤309，根据第一标签序列和第二标签序列，确定目标视频的语义标签。
步骤309的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
在本公开的任意一个实施例之中，目标视频的语义标签的确定方式，例如为：根据第一标签序列，确定至少一个第一语义标签，其中，每个第一语义标签均包含于目标视频的标题信息、OCR识别结果或语音识别结果。假设目标视频的OCR识别结果或语音识别结果为“四喜丸子的制作方式为…”，标签层采用BIO标注法，对编码特征进行标注，得到的第一标签序列可以为{BIIIOOOOOO…}，则第一语义标签包括“四喜丸子”。
并且，可以根据第二标签序列，确定至少一个第二语义标签，其中，每个第二语义标签均未包含于目标视频的标题信息、OCR识别结果或语音识别结果。例如，仍以上述例子进行示例，第二语义标签可以为“美食制作”。
本公开中，可以将各第一语义标签和各第二语义标签，均作为目标视频的语义标签。
由此，可以实现同时抽取出现在与目标视频相关的文本信息中的语义标签以及抽取未出现在与目标视频相关的文本信息中的语义标签，提升视频语义标签生成的丰富性。
本公开实施例的视频语义标签的抽取方法，同时根据提示信息、目标视频的语音识别结果和OCR识别结果，确定语义标签抽取模型的输入，可以提升语义标签抽取模型的预测效果，比如，在目标视频的语音识别结果和OCR识别结果包含较少的字符信息时，将提示信息的第一文本特征与根据语音识别结果和OCR识别结果确定的第二文本特征进行拼接后，作为语义标签抽取模型的输入，提示信息可以作为先验信息或任务信息，指示语义标签抽取模型需要抽取什么样的信息，提升语义标签抽取模型的表达能力。
上述为语义标签抽取模型的应用方法（即视频语义标签的抽取方法）所对应的各实施例，本公开还提出一种语义标签抽取模型的训练方法。
图4为本公开实施例四所提供的语义标签抽取模型的训练方法的流程示意图。
如图4所示，该语义标签抽取模型的训练方法可以包括以下步骤：
步骤401，获取样本视频的目标文本特征，并采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
在本公开实施例中，可以获取样本视频，并对与该样本视频相关的文本信息进行特征提取，以得到样本视频的文本特征（本公开中记为目标文本特征）。
其中，对样本视频的获取方式不作限制，比如，样本视频可以为从现有的训练集中获取的视频，或者，样本视频可以为在线采集的视频，比如可以通过网络爬虫技术，在线采集样本视频，或者，样本视频也可以为线下采集的视频，或者，样本视频也可以为实时采集的视频，或者，样本视频也可以为人工合成的视频，等等，本公开实施例对此并不作限制。
在本公开实施例中，可以采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征（或称为隐藏状态hidden states）。
步骤402，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
其中，对标签层（Labeling Layer）的结构不作限制，比如，标签层的结构可以为2* Linear（线性层）+ CRF（Conditional Random Field，条件随机场），或者，标签层的结构可以为其他的序列标注网络或模型的结构。
在本公开实施例中，可以采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。即，可以通过标签层抽取出现在与样本视频相关的文本信息中的语义标签。
步骤403，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
在本公开实施例中，可以采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。即，可以通过解码层生成未出现在与样本视频相关的文本信息中的语义标签。
步骤404，根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。
在本公开实施例中，可以根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。
例如，可以根据第一标签序列和第二标签序列，共同确定样本视频的语义标签，根据确定的语义标签和样本视频标注的语义标签之间的差异，对语义标签抽取模型进行训练。
本公开实施例的语义标签抽取模型的训练方法，通过采用语义标签抽取模型中的编码层对样本视频的文本特征进行编码，得到编码特征；采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列；采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列；根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。由此，通过对语义标签抽取模型进行训练，可以提升语义标签抽取模型的预测效果，即，提升语义标签抽取模型预测结果的准确性。
为了清楚说明本公开上述实施例，本公开还提出一种语义标签抽取模型的训练方法。
图5为本公开实施例五所提供的语义标签抽取模型的训练方法的流程示意图。
如图5所示，该语义标签抽取模型的训练方法可以包括以下步骤：
步骤501，获取样本视频，并对样本视频进行语音识别，得到语音识别结果。
其中，对样本视频的解释说明可以参见本公开上述实施例中的相关描述，在此不做赘述。
在本公开实施例中，可以获取样本视频的音频文件，并采用ASR技术对音频文件进行语音识别，得到文本形式的语音识别结果。或者，也可以直接对样本视频进行语音识别，得到文本形式的语音识别结果。
步骤502，对样本视频进行OCR识别，得到OCR识别结果。
在本公开实施例中，可以对样本视频中的各视频帧进行OCR识别，以得到文本形式的OCR识别结果。
步骤503，根据语音识别结果和OCR识别结果，获取样本视频的目标文本特征。
在本公开实施例中，可以根据语音识别结果和OCR识别结果，获取样本视频的目标文本特征。
作为一种示例，可以将语音识别结果和OCR识别结果进行拼接，得到拼接文本，对拼接文本进行特征提取，得到目标文本特征。
作为另一种示例，可以分别对语音识别结果和OCR识别结果进行特征提取，得到语音识别结果的文本特征和OCR识别结果的文本特征，并将语音识别结果的文本特征和OCR识别结果的文本特征进行拼接，以得到目标文本特征。
当然，也可以基于其他算法，根据语音识别结果和OCR识别结果，确定目标文本特征，本公开对此并不做限制。
作为一种示例，还可以获取样本视频的标题信息，将标题信息与语音识别结果和OCR识别结果进行拼接，得到拼接文本，对拼接文本进行特征提取，得到目标文本特征。
作为另一种示例，还可以分别对样本视频的标题信息、语音识别结果和OCR识别结果进行特征提取，得到标题信息的文本特征、语音识别结果的文本特征和OCR识别结果的文本特征，并将标题信息的文本特征、语音识别结果的文本特征和OCR识别结果的文本特征进行拼接，以得到目标文本特征。
步骤504，采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
步骤505，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
步骤506，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
在本公开的任意一个实施例之中，第二标签序列的确定方式，例如为：采用解码层对编码特征进行解码，得到多个候选标签序列和多个候选标签序列的预测概率（或分值、置信度）。例如，解码层可以采用集束搜索（Beam Search）方式进行解码，输出多个候选标签序列和多个候选标签序列的预测概率（或分值、置信度）。
其中，候选标签序列中包括至少一个候选语义标签，比如，当语义标签抽取模型是采用one2one（一对一，即编码层输出的标签序列中仅包括一个语义标签）的训练方式训练得到的情况下，每个候选标签序列中可以包括一个候选语义标签（如美食制作）。再比如，当语义标签抽取模型是采用one2seq（一对多，即编码层输出的标签序列中可以包括多个语义标签，多语义标签可以采用分隔符隔开）的训练方式训练得到的情况下，每个候选标签序列中可以包括一个或多个候选语义标签。
在本公开中，可以根据多个候选标签序列的预测概率，从多个候选标签序列中确定第二标签序列。
作为一种示例，可以将预测概率最大的候选标签序列，作为第二标签序列。
作为另一种示例，可以将预测概率高于设定阈值的候选标签序列，作为第二标签序列。
作为另一种示例，可以将各候选标签序列按照预测概率的取值由大至小排序，并将排序在前设定个数的候选标签序列，作为第二标签序列。
由此，根据多个候选标签序列的预测概率，从多个候选标签序列中确定第二标签序列，可以提升第二标签序列确定的准确性。
步骤507，根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。
步骤504至507的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
本公开实施例的语义标签抽取模型的训练方法，根据样本视频中的OCR信息（如字幕信息）和ASR信息（即音频信息），确定样本视频的目标文本特征，可以提升目标文本特征的丰富性，进而提升语义标签抽取的准确性。
为了清楚说明本公开任一实施例，本公开还提出一种语义标签抽取模型的训练方法。
图6为本公开实施例六所提供的语义标签抽取模型的训练方法的流程示意图。
如图6所示，该语义标签抽取模型的训练方法可以包括以下步骤：
步骤601，获取样本视频，并对样本视频进行语音识别，得到语音识别结果。
步骤602，对样本视频进行OCR识别，得到OCR识别结果。
步骤601至602的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
步骤603，获取提示信息的第一文本特征，其中，提示信息用于指示语义标签抽取模型待抽取的信息。
在本公开实施例中，提示信息（prompt）可以作为先验信息或任务信息，用于指示语义标签抽取模型待抽取或待识别的信息。
举例而言，提示信息可以为“给出视频的主题”、“给出视频的关键词”、“抽取视频的知识点或实体”等。
在本公开实施例中，可以对提示信息进行特征提取，得到提示信息的文本特征（本公开中记为第一文本特征）。
作为一种示例，可以将提示信息输入预训练模型的词嵌入层（Word Embedding），得到词嵌入层输出的第一文本特征。
步骤604，根据语音识别结果和OCR识别结果，获取第二文本特征。
在本公开实施例中，可以根据语音识别结果和OCR识别结果，获取第二文本特征。
作为一种可能的实现方式，可以判断样本视频是否具有标题信息，在样本视频具有标题信息的情况下，可以将标题信息、语音识别结果和OCR识别结果进行拼接（比如，将标题信息、语音识别结果和OCR识别结果进行依次拼接），得到第一文本信息。
作为一种示例，可以将语音识别结果和OCR识别结果进行拼接，得到中间文本信息，将标题信息与中间文本信息进行拼接，得到第一文本信息。
从而本公开中，可以对第一文本信息进行特征提取，得到第二文本特征。
作为另一种可能的实现方式，在样本视频具有标题信息的情况下，还可以分别对标题信息、语音识别结果和OCR识别结果进行特征提取，得到标题信息的文本特征（本公开中记为第三子文本特征）、语音识别结果的文本特征（本公开中记为第一子文本特征）和OCR识别结果的文本特征（本公开中记为第二子文本特征），从而可以将第一子文本特征、第二子文本特征和第三子文本特征进行拼接，得到第二文本特征。
作为一种示例，可以将第一子文本特征和第二子文本特征进行拼接，得到中间文本特征，并将第三子文本特征和中间文本特征进行拼接，得到第二文本特征。
由此，可以实现同时结合样本视频的标题信息、样本视频中的OCR信息（如字幕信息）和ASR信息（即音频信息），确定样本视频的目标文本特征，可以进一步提升目标文本特征的丰富性，进而提升语义标签抽取的准确性。
作为又一种可能的实现方式，可以判断样本视频是否具有标题信息，在样本视频不具有标题信息的情况下，可以将语音识别结果和OCR识别结果进行拼接，得到第一文本信息，并对第一文本信息进行特征提取，得到第二文本特征。
作为还一种可能的实现方式，在样本视频不具有标题信息的情况下，还可以分别对语音识别结果和OCR识别结果进行特征提取，得到语音识别结果的文本特征（本公开中记为第一子文本特征）和OCR识别结果的文本特征（本公开中记为第二子文本特征），从而可以将第一子文本特征和第二子文本特征进行拼接，得到第二文本特征。
由此，可以实现基于不同方式，确定第二文本特征，可以提升该方法的灵活性和适用性。
步骤605，将第一文本特征与第二文本特征进行拼接，以得到目标文本特征。
步骤606，采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
步骤607，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
步骤608，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
步骤609，根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。
步骤605至609的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
在本公开的任意一个实施例之中，样本视频标注的语义标签可以包括至少一个第一语义标签和至少一个第二语义标签，其中，各第一语义标签均包含于与样本视频相关的文本信息中，该文本信息是根据语音识别结果、OCR识别结果、样本视频的标题信息确定的，比如，该文本信息是将语音识别结果、OCR识别结果、样本视频的标题信息进行拼接得到的；其中，各第二语义标签均未包含于与样本视频相关的文本信息中。
语义标签抽取模型的训练方式，例如为：根据第一标签序列，确定至少一个第一预测标签，并根据各第一语义标签和各第一预测标签之间的差异（后续称为第一差异），确定第一损失值（该第一损失值还可以称为序列标注损失值），其中，第一损失值与上述第一差异呈正相关关系，即第一差异越小，第一损失值越小，反之，第一差异越大，第一损失值越大。并且，还可以根据第二标签序列，确定至少一个第二预测标签，并根据各第二语义标签和各第二预测标签之间的差异（后续称为第二差异），确定第二损失值（该第二损失值还可以称为序列生成损失值），其中，第二损失值与第二差异也呈正相关关系。从而本公开中，可以根据第一损失值和第二损失值，确定最终损失值（本公开中记为第一目标损失值），并根据第一目标损失值，对语义标签抽取模型进行训练。也就是说，本公开中，可以采用one2seq的训练方式，对语义标签抽取模型进行训练。
例如，可以将第一损失值和第二损失值之和，作为第一目标损失值，或者，可以将第一损失值和第二损失值的均值，作为第一目标损失值，或者，可以对第一损失值和第二损失值进行加权求和，以得到第一目标损失值。
作为一种示例，可以根据第一目标损失值，对语义标签抽取模型中的模型参数和提示信息的第一文本特征进行调整，以使第一目标损失值最小化。
需要说明的是，本公开仅以模型训练的终止条件为第一目标损失值最小化进行示例，实际应用时，还可以设置其他的终止条件，比如，终止条件还可以包括训练时长达到设定时长，训练次数达到设定次数，等等，本公开对此并不做限制。
综上，采用one2seq的训练方式，对语义标签抽取模型进行训练，可以提升语义标签抽取模型的预测效果，即，提升语义标签抽取模型预测结果的准确性。
本公开实施例的语义标签抽取模型的训练方法，同时根据提示信息、样本视频的语音识别结果和OCR识别结果，确定语义标签抽取模型的输入，可以提升语义标签抽取模型的预测效果，比如，在样本视频的语音识别结果和OCR识别结果包含较少的字符信息时，将提示信息的第一文本特征与根据语音识别结果和OCR识别结果确定的第二文本特征进行拼接后，作为语义标签抽取模型的输入，提示信息可以作为先验信息或任务信息，指示语义标签抽取模型需要抽取什么样的信息，提升语义标签抽取模型的表达能力。
为了清楚说明本公开任一实施例，本公开还提出一种语义标签抽取模型的训练方法。
图7为本公开实施例七所提供的语义标签抽取模型的训练方法的流程示意图。
如图7所示，该语义标签抽取模型的训练方法可以包括以下步骤：
步骤701，获取样本视频，并对样本视频进行语音识别，得到语音识别结果。
步骤702，对样本视频进行OCR识别，得到OCR识别结果；其中，样本视频标注的语义标签包括至少一个第一语义标签和至少一个第二语义标签，各第一语义标签包含于语音识别结果、OCR识别结果或样本视频的标题信息，各第二语义标签未包含于语音识别结果、OCR识别结果或标题信息。
步骤703，获取提示信息的第一文本特征，其中，提示信息用于指示语义标签抽取模型待抽取的信息。
步骤701至703的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
步骤704，将语音识别结果和OCR识别结果进行拼接，以得到样本视频的第二文本信息。
在本公开实施例中，在样本视频未具有标题信息的情况下，可以将语音识别结果和OCR识别结果进行拼接，得到样本视频的第二文本信息，而在样本视频具有标题信息的情况下，可以将标题信息、语音识别结果和OCR识别结果进行拼接，得到样本视频的第二文本信息。
步骤705，根据第二语义标签的数量，将第二文本信息进行拆分，得到该数量的子文本信息。
其中，每个子文本信息中包含所有的第一语义标签，且每个子文本信息仅与一个第二语义标签的语义匹配。
在本公开实施例中，可以根据第二语义标签的数量，将第二文本信息进行拆分，得到该数量的子文本信息，其中，每个子文本信息中包含所有的第一语义标签，且每个子文本信息仅与一个第二语义标签的语义匹配，且不同子文本信息所匹配的第二语义标签不同。
作为一种示例，可以由人工将第二文本信息进行拆分，得到该数量的子文本信息。
作为另一种示例，可以基于语义分析和语义理解技术，对第二文本信息进行拆分，得到该数量的子文本信息。
步骤706，获取任一子文本信息的第二文本特征。
在本公开实施例中，针对至少一个子文本信息中的任一子文本信息，可以对该任一子文本信息进行特征提取，得到该任一子文本信息的第二文本特征。
步骤707，将第一文本特征与第二文本特征进行拼接，以得到目标文本特征。
在本公开实施例中，可以将第一文本特征与第二文本特征进行拼接，得到目标文本特征。
步骤708，采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
步骤709，采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
步骤710，采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
步骤708至710的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
在本公开的任意一个实施例之中，可以采用解码层对编码特征进行解码，得到上述任一子文本信息对应的第二标签序列。其中，第二标签序列中仅包含一个语义标签。
由此，采用one2one的训练方式，对语义标签抽取模型进行训练，解码层每次仅预测包含一个语义标签的第二标签序列，可以提升语义标签抽取模型的训练效果。
步骤711，根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。
步骤711的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
在本公开的任意一个实施例之中，语义标签抽取模型的训练方式，例如为：根据上述任一子文本信息对应的第二标签序列，确定该任一子文本信息对应的第三预测标签，并根据与该任一子文本信息语义匹配的第二语义标签和该任一子文本信息对应的第三预测标签之间的差异（后续称为第三差异），确定任一子文本信息对应的子损失值，其中，子损失值与第三差异呈正相关关系。之后，可以根据所有的子文本信息的子损失值，确定第三损失值，比如，可以将所有的子文本信息的子损失值的均值，作为第三损失值，或者，可以将所有的子文本信息的子损失值之和，作为第三损失值，或者，可以对所有的子文本信息的子损失值进行加权求和，以得到第三损失值。
并且，还可以根据第一标签序列，确定至少一个第四预测标签，并根据各第一语义标签和各第四预测标签之间的差异（后续称为第四差异），确定第四损失值，其中，第四损失值与第四差异呈正相关关系，从而本公开中，可以根据第三损失值和第四损失值，确定第二目标损失值，并根据第二目标损失值，对语义标签抽取模型进行训练。
例如，可以将第三损失值和第四损失值之和，作为第二目标损失值，或者，可以将第三损失值和第四损失值的均值，作为第二目标损失值，或者，可以对第三损失值和第四损失值进行加权求和，以得到第二目标损失值。
作为一种示例，可以根据第二目标损失值，对语义标签抽取模型中的模型参数和提示信息的第一文本特征进行调整，以使第二目标损失值最小化。
需要说明的是，本公开仅以模型训练的终止条件为第二目标损失值最小化进行示例，实际应用时，还可以设置其他的终止条件，比如，终止条件还可以包括训练时长达到设定时长，训练次数达到设定次数，等等，本公开对此并不做限制。
综上，采用one2one的训练方式，对语义标签抽取模型进行训练，可以提升语义标签抽取模型的预测效果，即，提升语义标签抽取模型预测结果的准确性。
本公开实施例的语义标签抽取模型的训练方法，采用one2one的训练方式，对语义标签抽取模型进行训练之前，将与样本视频相关的文本信息进行拆分，得到的子文本信息仅与一个第二语义标签的语义匹配，从而语义标签抽取模型中的解码层每次仅需预测一个语义标签，可以提升语义标签抽取模型中解码层的预测效果。
在本公开的任意一个实施例之中，语义标签抽取模型可以同时进行标注和生成，该语义标签抽取模型的结构可以如图8所示，语义标签抽取模型的输入为视频（如短视频），输出为语义标签，其中，语义标签抽取模型的主干网络（Backbone）使用预训练Encoder-Decoder模型，例如BART（Bidirectional Encoder Representations from Transformers，来自转换器的双向编码器的表示）等，并不局限于某个具体的模型。
具体地，可以通过以下步骤，生成视频的语义标签：
1、生成语义标签抽取模型的输入。
通过已有的OCR模型和ASR模型，生成视频的OCR识别结果和ASR识别结果，将OCR识别结果的文本特征（Embedding）、ASR识别结果的Embedding和Prompt的Embedding进行拼接，构建语义标签抽取模型的输入。
其中，如果视频本身具有标题信息，则将标题信息的Embedding与OCR识别结果的Embedding、ASR识别结果的Embedding和Prompt的Embedding进行拼接，构建语义标签抽取模型的输入。
其中，Prompt可以随机初始化，或者，为了加速模型收敛，也可以采用特定文本进行初始化，如使用预训练模型的Word Embedding层，生成人工Prompt“给出主题关键词”的Embedding，作为Prompt的初始化参数。
2、对语义标签抽取模型的输入进行编码。
通过预训练Encoder对输入进行编码，将Encoder输出的隐藏状态hidden states，分别传给Decoder以及Labeling Layer。
3、抽取出现在与视频相关的文本信息（后续称为原文）中的语义标签。
通过Labeling Layer对hidden states进行序列标注，生成序列标注标签序列（本公开中记为第一标签序列）。
其中，Labeling Layer可以自由选择结构，比如可以选择2 * Linear + CRF的结构。
4、抽取未出现在原文中的语义标签。
通过Decoder对Encoder传入的hidden states进行解码，生成token（字符）序列（本公开中记为第二标签序列）。
在语义标签抽取模型的训练阶段，语义标签抽取模型的总体损失：
；其中，/>为序列标注损失，/>为序列生成损失。
在语义标签抽取模型的训练阶段：可以将视频标注的语义标签在视频的标题信息Title、OCR识别结果、ASR识别结果中进行查找，如果查找成功，则将该语义标签作为Labeling Layer的输出present tag（出席标签，本公开中记为第一语义标签），如果未查找成功，则将该语义标签作为Decoder的输出absent tag（缺席标签，本公开中记为第二语义标签）。
假设与某个样本视频相关的文本信息包含个present tag和/>个absenttag，并选择One2One的训练方式，则可以将该文本信息拆分为/>个子文本信息，其中，每个子文本信息包含/>个present tag和1个absent tag。
采用语义标签抽取模型分别预测每个子文本信息对应的语义标签，进而根据预测的语义标签，计算总体损失，根据总体损失对语义标签抽取模型进行训练。
在语义标签抽取模型的推理阶段：Decoder在解码时，使用Beam Search，并输出前K个（即TopK个，其中，K为正整数，比如，K的取值可以为5）序列及对应的得分，可以通过卡阈值的方式进一步进行选择最终的序列。
综上，无需提前构建语义标签库，并且，可以同时生成出现在原文中的语义标签和未出现原文的语义标签，降低语义标签的抽取难度，提升语义标签抽取的丰富性。
与上述图1至图3实施例提供的视频语义标签的抽取方法相对应，本公开还提供一种视频语义标签的抽取装置，由于本公开实施例提供的视频语义标签的抽取装置与上述图1至图3实施例提供的视频语义标签的抽取方法相对应，因此在视频语义标签的抽取方法的实施方式也适用于本公开实施例提供的视频语义标签的抽取装置，在本公开实施例中不再详细描述。
图9为本公开实施例八所提供的视频语义标签的抽取装置的结构示意图。
如图9所示，该视频语义标签的抽取装置900可以包括：获取模块901、编码模块902、标注模块903、解码模块904以及确定模块905。
其中，获取模块901，用于获取目标视频的目标文本特征。
编码模块902，用于采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
标注模块903，用于采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
解码模块904，用于采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
确定模块905，用于根据第一标签序列和第二标签序列，确定目标视频的语义标签。
在本公开实施例的一种可能的实现方式中，获取模块901，用于：获取目标视频，并对目标视频进行语音识别，得到语音识别结果；对目标视频进行光学字符识别OCR，得到OCR识别结果；根据语音识别结果和OCR识别结果，获取目标视频的目标文本特征。
在本公开实施例的一种可能的实现方式中，获取模块901，用于：获取提示信息的第一文本特征，其中，提示信息用于指示语义标签抽取模型待抽取的信息；根据语音识别结果和OCR识别结果，获取第二文本特征；将第一文本特征与第二文本特征进行拼接，得到目标文本特征。
在本公开实施例的一种可能的实现方式中，获取模块901，用于：判断目标视频是否具有标题信息；在目标视频具有标题信息的情况下，分别对标题信息、语音识别结果和OCR识别结果进行特征提取，得到标题信息的第一子文本特征、语音识别结果的第二子文本特征和OCR识别结果的第三子文本特征；将第一子文本特征、第二子文本特征和第三子文本特征进行拼接，得到第二文本特征；或者，在目标视频具有标题信息的情况下，将标题信息、语音识别结果和OCR识别结果进行拼接，得到第一文本信息；对第一文本信息进行特征提取，得到第二文本特征。
在本公开实施例的一种可能的实现方式中，获取模块901，还用于：在目标视频不具有标题信息的情况下，分别对语音识别结果和OCR识别结果进行特征提取，得到语音识别结果的第四子文本特征和OCR识别结果的第五子文本特征；将第四子文本特征和第五子文本特征进行拼接，得到第二文本特征；或者，在目标视频不具有标题信息的情况下，将语音识别结果和OCR识别结果进行拼接，得到第二文本信息；对第二文本信息进行特征提取，得到第二文本特征。
在本公开实施例的一种可能的实现方式中，解码模块904，用于：采用解码层对编码特征进行解码，得到多个候选标签序列和多个候选标签序列的预测概率；其中，候选标签序列中包括至少一个候选语义标签；根据多个候选标签序列的预测概率，从多个候选标签序列中确定第二标签序列。
在本公开实施例的一种可能的实现方式中，确定模块905，用于：根据第一标签序列，确定至少一个第一语义标签；根据第二标签序列，确定至少一个第二语义标签；将各第一语义标签和各第二语义标签，作为目标视频的语义标签。
本公开实施例的视频语义标签的抽取装置，通过采用语义标签抽取模型中的编码层对目标视频的文本特征进行编码，得到编码特征，并采用语义标签抽取模型中的标签层对编码特征进行序列标注，得到第一标签序列；采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列；根据第一标签序列和第二标签序列，确定目标视频的语义标签。由此，可以实现通过序列标注方式，抽取出现在与目标视频相关的文本信息中的语义标签，并通过生成方式，生成未出现在与目标视频相关的文本信息中的语义标签，提升视频语义标签抽取的丰富性，满足实际的抽取需求。
与上述图4-图7实施例提供的语义标签抽取模型的训练方法相对应，本公开还提供一种语义标签抽取模型的训练装置，由于本公开实施例提供的语义标签抽取模型的训练装置与上述图4-图7实施例提供的语义标签抽取模型的训练方法相对应，因此在语义标签抽取模型的训练方法的实施方式也适用于本公开实施例提供的语义标签抽取模型的训练装置，在本公开实施例中不再详细描述。
图10为本公开实施例九所提供的语义标签抽取模型的训练装置的结构示意图。
如图10所示，该语义标签抽取模型的训练装置1000可以包括：获取模块1001、编码模块1002、标注模块1003、解码模块1004以及训练模块1005。
其中，获取模块1001，用于获取样本视频的目标文本特征。
编码模块1002，用于采用语义标签抽取模型中的编码层对目标文本特征进行编码，得到编码特征。
标注模块1003，用于采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列。
解码模块1004，用于采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列。
训练模块1005，用于根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。
在本公开实施例的一种可能的实现方式中，获取模块1001，用于：获取样本视频，并对样本视频进行语音识别，得到语音识别结果；对样本视频进行光学字符识别OCR，得到OCR识别结果；根据语音识别结果和OCR识别结果，获取样本视频的目标文本特征。
在本公开实施例的一种可能的实现方式中，获取模块1001，用于：获取提示信息的第一文本特征，其中，提示信息用于指示语义标签抽取模型待抽取的信息；根据语音识别结果和OCR识别结果，获取第二文本特征；将第一文本特征与第二文本特征进行拼接，以得到目标文本特征。
在本公开实施例的一种可能的实现方式中，获取模块1001，用于：分别对语音识别结果和OCR识别结果进行特征提取，得到语音识别结果的第一子文本特征和OCR识别结果的第二子文本特征；将第一子文本特征和第二子文本特征进行拼接，以得到第二文本特征；或者，将语音识别结果和OCR识别结果进行拼接，以得到第一文本信息；对第一文本信息进行特征提取，得到第二文本特征。
在本公开实施例的一种可能的实现方式中，获取模块1001，用于：将第一子文本特征和第二子文本特征进行拼接，得到中间文本特征；获取样本视频的标题信息；对标题信息进行特征提取，得到第三子文本特征；将第三子文本特征和中间文本特征进行拼接，得到第二文本特征。
获取模块1001，还用于：将语音识别结果和OCR识别结果进行拼接，得到中间文本信息；将样本视频的标题信息与中间文本信息进行拼接，得到第一文本信息。
在本公开实施例的一种可能的实现方式中，语义标签包括至少一个第一语义标签和至少一个第二语义标签，各第一语义标签包含于语音识别结果、OCR识别结果或样本视频的标题信息，各第二语义标签未包含于语音识别结果、OCR识别结果或标题信息。
训练模块1005，用于：根据第一标签序列，确定至少一个第一预测标签，并根据各第一语义标签和各第一预测标签之间的差异，确定第一损失值；根据第二标签序列，确定至少一个第二预测标签，并根据各第二语义标签和各第二预测标签之间的差异，确定第二损失值；根据第一损失值和第二损失值，确定第一目标损失值，以根据第一目标损失值，对语义标签抽取模型进行训练。
在本公开实施例的一种可能的实现方式中，语义标签包括至少一个第一语义标签和至少一个第二语义标签，各第一语义标签包含于语音识别结果、OCR识别结果或样本视频的标题信息，各第二语义标签未包含于语音识别结果、OCR识别结果或标题信息。
获取模块1001，用于：将语音识别结果和OCR识别结果进行拼接，以得到样本视频的第二文本信息；根据第二语义标签的数量，将第二文本信息进行拆分，得到数量的子文本信息；其中，每个子文本信息中包含各第一语义标签，且每个子文本信息仅与一个第二语义标签的语义匹配；获取任一子文本信息的第二文本特征。
在本公开实施例的一种可能的实现方式中，解码模块1004，用于：采用解码层对编码特征进行解码，得到任一子文本信息对应的第二标签序列。
在本公开实施例的一种可能的实现方式中，训练模块1005，用于：根据任一子文本信息对应的第二标签序列，确定任一子文本信息对应的第三预测标签；根据与任一子文本信息语义匹配的第二语义标签和任一子文本信息对应的第三预测标签之间的差异，确定任一子文本信息对应的子损失值；根据各子文本信息的子损失值，确定第三损失值；根据第一标签序列，确定至少一个第四预测标签，并根据各第一语义标签和各第四预测标签之间的差异，确定第四损失值；根据第三损失值和第四损失值，确定第二目标损失值，以根据第二目标损失值，对语义标签抽取模型进行训练。
在本公开实施例的一种可能的实现方式中，解码模块1004，用于：采用解码层对编码特征进行解码，得到多个候选标签序列和多个候选标签序列的预测概率；其中，候选标签序列中包括至少一个候选语义标签；根据多个候选标签序列的预测概率，从多个候选标签序列中确定第二标签序列。
本公开实施例的语义标签抽取模型的训练装置，通过采用语义标签抽取模型中的编码层对样本视频的文本特征进行编码，得到编码特征；采用语义标签抽取模型中的标签层对编码特征进行序列标注，以得到第一标签序列；采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列；根据样本视频标注的语义标签、第一标签序列和第二标签序列，对语义标签抽取模型进行训练。由此，通过对语义标签抽取模型进行训练，可以提升语义标签抽取模型的预测效果，即，提升语义标签抽取模型预测结果的准确性。
为了实现上述实施例，本公开还提供一种电子设备，该电子设备可以包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开上述任一实施例提出的视频语义标签的抽取方法或语义标签抽取模型的训练方法。
为了实现上述实施例，本公开还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开上述任一实施例提出的视频语义标签的抽取方法或语义标签抽取模型的训练方法。
为了实现上述实施例，本公开还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本公开上述任一实施例提出的视频语义标签的抽取方法或语义标签抽取模型的训练方法。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。其中，电子设备可以包括上述实施例中的服务端、客户端。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在ROM（Read-OnlyMemory，只读存储器）1102中的计算机程序或者从存储单元1108加载到RAM（Random AccessMemory，随机访问/存取存储器）1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。I/O（Input/Output，输入/输出）接口1105也连接至总线1104。
电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于CPU（Central Processing Unit，中央处理单元）、GPU（Graphic Processing Units，图形处理单元）、各种专用的AI（Artificial Intelligence，人工智能）计算芯片、各种运行机器学习模型算法的计算单元、DSP（Digital SignalProcessor，数字信号处理器）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如上述视频语义标签的抽取方法或语义标签抽取模型的训练方法。例如，在一些实施例中，上述视频语义标签的抽取方法或语义标签抽取模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的视频语义标签的抽取方法或语义标签抽取模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行上述视频语义标签的抽取方法或语义标签抽取模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA（Field Programmable Gate Array，现场可编程门阵列）、ASIC（Application-Specific Integrated Circuit，专用集成电路）、ASSP（Application Specific StandardProduct，专用标准产品）、SOC（System On Chip，芯片上系统的系统）、CPLD（ComplexProgrammable Logic Device，复杂可编程逻辑设备）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM（Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器）或快闪存储器、光纤、CD-ROM（Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（Cathode-Ray Tube，阴极射线管）或者LCD（Liquid Crystal Display，液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：LAN（LocalArea Network，局域网）、WAN（Wide Area Network，广域网）、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（VirtualPrivate Server，虚拟专用服务器）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
深度学习是机器学习领域中一个新的研究方向。它是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
根据本公开实施例的技术方案，通过采用语义标签抽取模型中的编码层对目标视频的文本特征进行编码，得到编码特征，并采用语义标签抽取模型中的标签层对编码特征进行序列标注，得到第一标签序列；采用语义标签抽取模型中的解码层对编码特征进行解码，以得到第二标签序列；根据第一标签序列和第二标签序列，确定目标视频的语义标签。由此，可以实现通过序列标注方式，抽取出现在与目标视频相关的文本信息中的语义标签，并通过生成方式，生成未出现在与目标视频相关的文本信息中的语义标签，提升视频语义标签抽取的丰富性，满足实际的抽取需求。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提出的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (28)

1.一种语义标签抽取模型的训练方法，包括：
获取样本视频的目标文本特征，并采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；
采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列，所述标签层用于抽取出现在与目标视频相关的文本信息中的语义标签；
采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，所述解码层用于生成未出现在与所述目标视频相关的文本信息中的语义标签；
根据所述样本视频标注的语义标签、所述第一标签序列和所述第二标签序列，对所述语义标签抽取模型进行训练；
所述语义标签包括至少一个第一语义标签和至少一个第二语义标签，各所述第一语义标签包含于所述样本视频的语音识别结果、OCR识别结果或所述样本视频的标题信息，各所述第二语义标签未包含于所述样本视频的语音识别结果、OCR识别结果或所述样本视频的标题信息；
所述获取样本视频的目标文本特征，包括：
获取所述样本视频，并对所述样本视频进行语音识别，得到语音识别结果；
对所述样本视频进行光学字符识别OCR，得到OCR识别结果；
获取提示信息的第一文本特征，其中，所述提示信息用于指示所述语义标签抽取模型待抽取的信息；
将所述语音识别结果和所述OCR识别结果进行拼接，以得到所述样本视频的第二文本信息；
根据所述第二语义标签的数量，将所述第二文本信息进行拆分，得到所述数量的子文本信息；其中，每个所述子文本信息中包含各所述第一语义标签，且每个所述子文本信息仅与一个所述第二语义标签的语义匹配；
获取任一子文本信息的第二文本特征；
将所述第一文本特征与所述第二文本特征进行拼接，以得到所述目标文本特征。
2.根据权利要求1所述的方法，其中，所述根据所述语音识别结果和所述OCR识别结果，获取第二文本特征，包括：
分别对所述语音识别结果和所述OCR识别结果进行特征提取，得到所述语音识别结果的第一子文本特征和所述OCR识别结果的第二子文本特征，并将所述第一子文本特征和所述第二子文本特征进行拼接，以得到所述第二文本特征；
或者，
将所述语音识别结果和所述OCR识别结果进行拼接，以得到第一文本信息，并对所述第一文本信息进行特征提取，得到所述第二文本特征。
3.根据权利要求2所述的方法，其中，将所述第一子文本特征和所述第二子文本特征进行拼接，以得到所述第二文本特征，包括：
将所述第一子文本特征和所述第二子文本特征进行拼接，得到中间文本特征；
获取所述样本视频的标题信息；
对所述标题信息进行特征提取，得到第三子文本特征；
将所述第三子文本特征和所述中间文本特征进行拼接，得到所述第二文本特征；
将所述语音识别结果和所述OCR识别结果进行拼接，以得到第一文本信息，包括：
将所述语音识别结果和所述OCR识别结果进行拼接，得到中间文本信息；
将所述样本视频的标题信息与所述中间文本信息进行拼接，得到所述第一文本信息。
4.根据权利要求2所述的方法，所述根据所述样本视频标注的语义标签、所述第一标签序列和所述第二标签序列，对所述语义标签抽取模型进行训练，包括：
根据所述第一标签序列，确定至少一个第一预测标签，并根据各所述第一语义标签和各所述第一预测标签之间的差异，确定第一损失值；
根据所述第二标签序列，确定至少一个第二预测标签，并根据各所述第二语义标签和各所述第二预测标签之间的差异，确定第二损失值；
根据所述第一损失值和所述第二损失值，确定第一目标损失值，以根据所述第一目标损失值，对所述语义标签抽取模型进行训练。
5.根据权利要求1所述的方法，其中，所述采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，包括：
采用所述解码层对所述编码特征进行解码，得到所述任一子文本信息对应的第二标签序列。
6.根据权利要求5所述的方法，其中，所述根据所述样本视频标注的语义标签、所述第一标签序列和所述第二标签序列，对所述语义标签抽取模型进行训练，包括：
根据所述任一子文本信息对应的第二标签序列，确定所述任一子文本信息对应的第三预测标签；
根据与所述任一子文本信息语义匹配的第二语义标签和所述任一子文本信息对应的第三预测标签之间的差异，确定所述任一子文本信息对应的子损失值；
根据各所述子文本信息的子损失值，确定第三损失值；
根据所述第一标签序列，确定至少一个第四预测标签，并根据各所述第一语义标签和各所述第四预测标签之间的差异，确定第四损失值；
根据所述第三损失值和所述第四损失值，确定第二目标损失值，以根据所述第二目标损失值，对所述语义标签抽取模型进行训练。
7.根据权利要求1-6中任一项所述的方法，其中，所述采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，包括：
采用所述解码层对所述编码特征进行解码，得到多个候选标签序列和所述多个候选标签序列的预测概率；其中，所述候选标签序列中包括至少一个候选语义标签；
根据所述多个候选标签序列的预测概率，从所述多个候选标签序列中确定所述第二标签序列。
8.一种视频语义标签的抽取方法，包括：
获取目标视频的目标文本特征，并采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；所述语义标签抽取模型为采用权利要求1中的方法训练得到的语义标签抽取模型；
采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列，所述标签层用于抽取出现在与所述目标视频相关的文本信息中的语义标签；
采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，所述解码层用于生成未出现在与所述目标视频相关的文本信息中的语义标签；
根据所述第一标签序列，确定至少一个第一语义标签；
根据所述第二标签序列，确定至少一个第二语义标签；
将各所述第一语义标签和各所述第二语义标签，作为所述目标视频的语义标签，其中，
每个所述第一语义标签均包含于所述目标视频的标题信息、OCR识别结果或语音识别结果中；
每个所述第二语义标签均未包含于所述目标视频的标题信息、OCR识别结果或语音识别结果中。
9.根据权利要求8所述的方法，其中，所述获取目标视频的目标文本特征，包括：
获取所述目标视频，并对所述目标视频进行语音识别，得到语音识别结果；
对所述目标视频进行光学字符识别OCR，得到OCR识别结果；
根据所述语音识别结果和所述OCR识别结果，获取所述目标视频的目标文本特征。
10.根据权利要求9所述的方法，其中，所述根据所述语音识别结果和所述OCR识别结果，获取所述目标视频的目标文本特征，包括：
获取提示信息的第一文本特征，其中，所述提示信息用于指示所述语义标签抽取模型待抽取的信息；
根据所述语音识别结果和所述OCR识别结果，获取第二文本特征；
将所述第一文本特征与所述第二文本特征进行拼接，得到所述目标文本特征。
11.根据权利要求10所述的方法，其中，所述根据所述语音识别结果和所述OCR识别结果，获取第二文本特征，包括：
判断所述目标视频是否具有标题信息；
在所述目标视频具有所述标题信息的情况下，分别对所述标题信息、所述语音识别结果和所述OCR识别结果进行特征提取，得到所述标题信息的第一子文本特征、所述语音识别结果的第二子文本特征和所述OCR识别结果的第三子文本特征，并将所述第一子文本特征、所述第二子文本特征和所述第三子文本特征进行拼接，得到所述第二文本特征；或者，
在所述目标视频具有所述标题信息的情况下，将所述标题信息、所述语音识别结果和所述OCR识别结果进行拼接，得到第一文本信息，并对所述第一文本信息进行特征提取，得到所述第二文本特征。
12.根据权利要求11所述的方法，其中，所述根据所述语音识别结果和所述OCR识别结果，获取第二文本特征，还包括：
在所述目标视频不具有所述标题信息的情况下，分别对所述语音识别结果和所述OCR识别结果进行特征提取，得到所述语音识别结果的第四子文本特征和所述OCR识别结果的第五子文本特征，并将所述第四子文本特征和所述第五子文本特征进行拼接，得到所述第二文本特征；或者，
在所述目标视频不具有所述标题信息的情况下，将所述语音识别结果和所述OCR识别结果进行拼接，得到第二文本信息，并对所述第二文本信息进行特征提取，得到所述第二文本特征。
13.根据权利要求8-12中任一项所述的方法，其中，所述采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，包括：
采用所述解码层对所述编码特征进行解码，得到多个候选标签序列和所述多个候选标签序列的预测概率；其中，所述候选标签序列中包括至少一个候选语义标签；
根据所述多个候选标签序列的预测概率，从所述多个候选标签序列中确定所述第二标签序列。
14.一种视频语义标签的抽取装置，包括：
获取模块，用于获取目标视频的目标文本特征；
编码模块，用于采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；所述语义标签抽取模型为采用权利要求1中的方法训练得到的语义标签抽取模型；
标注模块，用于采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列，所述标签层用于抽取出现在与所述目标视频相关的文本信息中的语义标签；
解码模块，用于采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，所述解码层用于生成未出现在与所述目标视频相关的文本信息中的语义标签；
确定模块，用于根据所述第一标签序列和所述第二标签序列，确定所述目标视频的语义标签；
所述确定模块，用于：
根据所述第一标签序列，确定至少一个第一语义标签；
根据所述第二标签序列，确定至少一个第二语义标签；
将各所述第一语义标签和各所述第二语义标签，作为所述目标视频的语义标签，其中，
每个所述第一语义标签均包含于所述目标视频的标题信息、OCR识别结果或语音识别结果中；
每个所述第二语义标签均未包含于所述目标视频的标题信息、OCR识别结果或语音识别结果中。
15.根据权利要求14所述的装置，其中，所述获取模块，用于：
获取所述目标视频，并对所述目标视频进行语音识别，得到语音识别结果；
对所述目标视频进行光学字符识别OCR，得到OCR识别结果；
根据所述语音识别结果和所述OCR识别结果，获取所述目标视频的目标文本特征。
16.根据权利要求15所述的装置，其中，所述获取模块，用于：
获取提示信息的第一文本特征，其中，所述提示信息用于指示所述语义标签抽取模型待抽取的信息；
根据所述语音识别结果和所述OCR识别结果，获取第二文本特征；
将所述第一文本特征与所述第二文本特征进行拼接，得到所述目标文本特征。
17.根据权利要求16所述的装置，其中，所述获取模块，用于：
判断所述目标视频是否具有标题信息；
在所述目标视频具有所述标题信息的情况下，分别对所述标题信息、所述语音识别结果和所述OCR识别结果进行特征提取，得到所述标题信息的第一子文本特征、所述语音识别结果的第二子文本特征和所述OCR识别结果的第三子文本特征，并将所述第一子文本特征、所述第二子文本特征和所述第三子文本特征进行拼接，得到所述第二文本特征；或者，
在所述目标视频具有所述标题信息的情况下，将所述标题信息、所述语音识别结果和所述OCR识别结果进行拼接，得到第一文本信息，并对所述第一文本信息进行特征提取，得到所述第二文本特征。
18.根据权利要求17所述的装置，其中，所述获取模块，还用于：
在所述目标视频不具有所述标题信息的情况下，分别对所述语音识别结果和所述OCR识别结果进行特征提取，得到所述语音识别结果的第四子文本特征和所述OCR识别结果的第五子文本特征，并将所述第四子文本特征和所述第五子文本特征进行拼接，得到所述第二文本特征；或者，
在所述目标视频不具有所述标题信息的情况下，将所述语音识别结果和所述OCR识别结果进行拼接，得到第二文本信息，并对所述第二文本信息进行特征提取，得到所述第二文本特征。
19.根据权利要求14-18中任一项所述的装置，其中，所述解码模块，用于：
采用所述解码层对所述编码特征进行解码，得到多个候选标签序列和所述多个候选标签序列的预测概率；其中，所述候选标签序列中包括至少一个候选语义标签；
根据所述多个候选标签序列的预测概率，从所述多个候选标签序列中确定所述第二标签序列。
20.一种语义标签抽取模型的训练装置，包括：
获取模块，用于获取样本视频的目标文本特征；
编码模块，用于采用语义标签抽取模型中的编码层对所述目标文本特征进行编码，得到编码特征；
标注模块，用于采用所述语义标签抽取模型中的标签层对所述编码特征进行序列标注，以得到第一标签序列，所述标签层用于抽取出现在与目标视频相关的文本信息中的语义标签；
解码模块，用于采用所述语义标签抽取模型中的解码层对所述编码特征进行解码，以得到第二标签序列，所述解码层用于生成未出现在与所述目标视频相关的文本信息中的语义标签；
训练模块，用于根据所述样本视频标注的语义标签、所述第一标签序列和所述第二标签序列，对所述语义标签抽取模型进行训练；
所述语义标签包括至少一个第一语义标签和至少一个第二语义标签，各所述第一语义标签包含于所述样本视频的语音识别结果、OCR识别结果或所述样本视频的标题信息，各所述第二语义标签未包含于所述样本视频的语音识别结果、OCR识别结果或所述样本视频的标题信息；
所述获取模块，用于：
获取所述样本视频，并对所述样本视频进行语音识别，得到语音识别结果；
对所述样本视频进行光学字符识别OCR，得到OCR识别结果；
获取提示信息的第一文本特征，其中，所述提示信息用于指示所述语义标签抽取模型待抽取的信息；
将所述语音识别结果和所述OCR识别结果进行拼接，以得到所述样本视频的第二文本信息；
根据所述第二语义标签的数量，将所述第二文本信息进行拆分，得到所述数量的子文本信息；其中，每个所述子文本信息中包含各所述第一语义标签，且每个所述子文本信息仅与一个所述第二语义标签的语义匹配；
获取任一子文本信息的第二文本特征；
将所述第一文本特征与所述第二文本特征进行拼接，以得到所述目标文本特征。
21.根据权利要求20所述的装置，其中，所述获取模块，用于：
分别对所述语音识别结果和所述OCR识别结果进行特征提取，得到所述语音识别结果的第一子文本特征和所述OCR识别结果的第二子文本特征，并将所述第一子文本特征和所述第二子文本特征进行拼接，以得到所述第二文本特征；
或者，
将所述语音识别结果和所述OCR识别结果进行拼接，以得到第一文本信息，并对所述第一文本信息进行特征提取，得到所述第二文本特征。
22.根据权利要求21所述的装置，其中，所述获取模块，用于：
将所述第一子文本特征和所述第二子文本特征进行拼接，得到中间文本特征；
获取所述样本视频的标题信息；
对所述标题信息进行特征提取，得到第三子文本特征；
将所述第三子文本特征和所述中间文本特征进行拼接，得到所述第二文本特征；
所述获取模块，还用于：
将所述语音识别结果和所述OCR识别结果进行拼接，得到中间文本信息；
将所述样本视频的标题信息与所述中间文本信息进行拼接，得到所述第一文本信息。
23.根据权利要求21所述的装置，所述训练模块，用于：
根据所述第一标签序列，确定至少一个第一预测标签，并根据各所述第一语义标签和各所述第一预测标签之间的差异，确定第一损失值；
根据所述第二标签序列，确定至少一个第二预测标签，并根据各所述第二语义标签和各所述第二预测标签之间的差异，确定第二损失值；
根据所述第一损失值和所述第二损失值，确定第一目标损失值，以根据所述第一目标损失值，对所述语义标签抽取模型进行训练。
24.根据权利要求20所述的装置，其中，所述解码模块，用于：
采用所述解码层对所述编码特征进行解码，得到所述任一子文本信息对应的第二标签序列。
25.根据权利要求24所述的装置，其中，所述训练模块，用于：
根据所述任一子文本信息对应的第二标签序列，确定所述任一子文本信息对应的第三预测标签；
根据与所述任一子文本信息语义匹配的第二语义标签和所述任一子文本信息对应的第三预测标签之间的差异，确定所述任一子文本信息对应的子损失值；
根据各所述子文本信息的子损失值，确定第三损失值；
根据所述第一标签序列，确定至少一个第四预测标签，并根据各所述第一语义标签和各所述第四预测标签之间的差异，确定第四损失值；
根据所述第三损失值和所述第四损失值，确定第二目标损失值，以根据所述第二目标损失值，对所述语义标签抽取模型进行训练。
26.根据权利要求20-25中任一项所述的装置，其中，所述解码模块，用于：
采用所述解码层对所述编码特征进行解码，得到多个候选标签序列和所述多个候选标签序列的预测概率；其中，所述候选标签序列中包括至少一个候选语义标签；
根据所述多个候选标签序列的预测概率，从所述多个候选标签序列中确定所述第二标签序列。
27.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的语义标签抽取模型的训练方法，或者执行权利要求8-13中任一项所述的视频语义标签的抽取方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的语义标签抽取模型的训练方法，或者，执行权利要求8-13中任一项所述的视频语义标签的抽取方法。
CN202310445385.1A 2023-04-24 2023-04-24 语义标签抽取模型的训练和语义标签的抽取方法及其装置 Active CN116166827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310445385.1A CN116166827B (zh) 2023-04-24 2023-04-24 语义标签抽取模型的训练和语义标签的抽取方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310445385.1A CN116166827B (zh) 2023-04-24 2023-04-24 语义标签抽取模型的训练和语义标签的抽取方法及其装置

Publications (2)

Publication Number Publication Date
CN116166827A CN116166827A (zh) 2023-05-26
CN116166827B true CN116166827B (zh) 2023-12-15

Family

ID=86420348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310445385.1A Active CN116166827B (zh) 2023-04-24 2023-04-24 语义标签抽取模型的训练和语义标签的抽取方法及其装置

Country Status (1)

Country Link
CN (1) CN116166827B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542250B (zh) * 2023-06-29 2024-04-19 杭州同花顺数据开发有限公司 一种信息抽取模型获取方法和系统
CN116975313B (zh) * 2023-09-25 2023-12-05 国网江苏省电力有限公司电力科学研究院 一种基于电力物资语料的语义标签生成方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215988A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 视频描述生成方法、装置、设备及存储介质
CN112348111A (zh) * 2020-11-24 2021-02-09 北京达佳互联信息技术有限公司 视频中的多模态特征融合方法、装置、电子设备及介质
CN112836088A (zh) * 2021-02-24 2021-05-25 腾讯科技（深圳）有限公司 用于生成与视频对应的标签的方法、设备和介质
CN113342935A (zh) * 2021-06-04 2021-09-03 北京捷通华声科技股份有限公司 语义识别方法、装置、电子设备及可读存储介质
WO2022121181A1 (zh) * 2020-12-10 2022-06-16 平安科技（深圳）有限公司 新闻智能播报方法、装置、设备及存储介质
CN115858862A (zh) * 2022-11-29 2023-03-28 北京奇艺世纪科技有限公司 一种视频标签生成方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215988A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 视频描述生成方法、装置、设备及存储介质
CN112348111A (zh) * 2020-11-24 2021-02-09 北京达佳互联信息技术有限公司 视频中的多模态特征融合方法、装置、电子设备及介质
WO2022121181A1 (zh) * 2020-12-10 2022-06-16 平安科技（深圳）有限公司 新闻智能播报方法、装置、设备及存储介质
CN112836088A (zh) * 2021-02-24 2021-05-25 腾讯科技（深圳）有限公司 用于生成与视频对应的标签的方法、设备和介质
CN113342935A (zh) * 2021-06-04 2021-09-03 北京捷通华声科技股份有限公司 语义识别方法、装置、电子设备及可读存储介质
CN115858862A (zh) * 2022-11-29 2023-03-28 北京奇艺世纪科技有限公司 一种视频标签生成方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图稀疏Group Lasso算法的农业科教视频多语义标注方法;孙佳明;吴李康;邓兆利;段驰飞;蔡骋;;数字技术与应用(06);143-145 *

Also Published As

Publication number Publication date
CN116166827A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN112164391B (zh) 语句处理方法、装置、电子设备及存储介质
CN116166827B (zh) 语义标签抽取模型的训练和语义标签的抽取方法及其装置
CN111488489B (zh) 视频文件的分类方法、装置、介质及电子设备
CN111462735A (zh) 语音检测方法、装置、电子设备及存储介质
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN108710704B (zh) 对话状态的确定方法、装置、电子设备及存储介质
JP2023535709A (ja) 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体
CN109657054A (zh) 摘要生成方法、装置、服务器及存储介质
CN109660865B (zh) 为视频自动打视频标签的方法及装置、介质和电子设备
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN112528658B (zh) 层次化分类方法、装置、电子设备和存储介质
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
CN113392265A (zh) 多媒体处理方法、装置及设备
CN116050496A (zh) 图片描述信息生成模型的确定方法及装置、介质、设备
CN113052090A (zh) 用于生成字幕器以及输出字幕的方法和装置
CN115883878A (zh) 视频剪辑方法、装置、电子设备及存储介质
CN113850291B (zh) 文本处理及模型训练方法、装置、设备和存储介质
CN117633356A (zh) 基于大语言模型的资源处理方法、装置、电子设备及介质
CN115512692B (zh) 语音识别方法、装置、设备及存储介质
CN114880520B (zh) 视频标题生成方法、装置、电子设备和介质
CN117174177B (zh) 蛋白质序列生成模型的训练方法、装置及电子设备
CN118227910B (zh) 一种媒体资源聚合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant