CN109874029B - 视频描述生成方法、装置、设备及存储介质 - Google Patents

视频描述生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109874029B
CN109874029B CN201910325193.0A CN201910325193A CN109874029B CN 109874029 B CN109874029 B CN 109874029B CN 201910325193 A CN201910325193 A CN 201910325193A CN 109874029 B CN109874029 B CN 109874029B
Authority
CN
China
Prior art keywords
video
candidate
decoding
word
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910325193.0A
Other languages
English (en)
Other versions
CN109874029A (zh
Inventor
裴文杰
张记袁
柯磊
戴宇荣
沈小勇
贾佳亚
王向荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910325193.0A priority Critical patent/CN109874029B/zh
Publication of CN109874029A publication Critical patent/CN109874029A/zh
Priority to KR1020217020589A priority patent/KR102477795B1/ko
Priority to EP20795471.0A priority patent/EP3962097A4/en
Priority to JP2021531058A priority patent/JP7179183B2/ja
Priority to PCT/CN2020/081721 priority patent/WO2020215988A1/zh
Application granted granted Critical
Publication of CN109874029B publication Critical patent/CN109874029B/zh
Priority to US17/328,970 priority patent/US11743551B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种视频描述生成方法、装置、设备及存储介质。该方法包括：通过视频描述生成模型的编码器对目标视频进行编码，得到目标视频的目标视觉特征；通过视频描述生成模型的基础解码器对目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，基础解码器用于采用注意力机制解码出与目标视觉特征匹配的候选词汇；通过视频描述生成模型的辅助解码器对目标视觉特征进行解码，得到各个候选词汇对应的第二选取概率，辅助解码器的记忆结构中包括各个候选词汇对应的参考视觉上下文信息，参考视觉上下文信息根据候选词汇对应的相关视频生成；根据第一选取概率和第二选取概率确定候选词汇中的解码词；根据若干个解码词生成视频描述。

Description

视频描述生成方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频描述领域，特别涉及一种视频描述生成方法、装置、设备及存储介质。
背景技术
视频描述(Video Captioning)是一种为视频生成内容描述信息的技术。在人工智能领域，通常采用视频描述生成模型自动为视频生成视频描述，而视频描述生成模型大多基于编码-解码(Encoder-Decoder)框架。
应用视频描述生成模型过程中，视频描述生成模型首先通过编码器提取视频中的视觉特征，然后将提取到的视觉特征输入解码器，由解码器根据视觉特征依次生成解码词，并最终将生成的各个解码词组合成视频描述。
相关技术中的视频描述生成模型仅关注当前处理的视频，而在实际应用中，同一解码词可能会用于语义相似当并不完全相同的多个视频中，导致视频描述生成模型的关注角度过于局限，进而影响生成的视频描述的质量。
发明内容
本申请实施例提供了一种视频描述生成方法、装置、设备及存储介质，可以解决相关技术中视频描述生成模型生成的视频描述的质量不佳的问题。所述技术方案如下：
一方面，提供了一种视频描述生成方法，所述方法包括：
通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；
通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；
通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；
根据所述第一选取概率和所述第二选取概率确定所述候选词汇中的解码词；
根据若干个所述解码词生成所述目标视频对应的视频描述。
另一方面，提供了一种视频描述生成装置，所述装置包括：
编码模块，用于通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；
第一解码模块，用于通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；
第二解码模块，用于通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；
第一确定模块，用于根据所述第一选取概率和所述第二选取概率确定所述候选词汇中的解码词；
第一生成模块，用于根据若干个所述解码词生成所述目标视频对应的视频描述。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的视频描述生成方法。
另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的视频描述生成方法。
另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述方面所述的视频描述生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
利用视频描述生成模型的编码器对目标视频进行编码，得到目标视觉特征后，分别通过基于注意力机制的基础解码器以及包含辅助解码器对目标视觉特征进行解码，得到各个候选词汇的第一选取概率和第二选取概率，从而综合第一选取概率和第二选取概率从候选词汇中确定出解码词，进而根据多个解码词生成视频描述；由于视频描述生成模型中辅助解码器的记忆结构包含候选词汇对应的参考视觉上下文信息，且该参考视觉上下文信息是基于候选词汇的相关视频生成的，因此利用辅助解码器进行解码时，能够关注到候选词汇与除当前视频以外其他视频之间的关联性，从而提高解码词选取的准确性，进而提高了后续生成的视频描述的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术中利用SA-LSTM模型生成视频描述的原理示意图；
图2是视频分类检索场景下视频描述生成方法的实施示意图；
图3是视障人士辅助场景下视频描述生成方法的实施示意图；
图4是本申请一个示例性实施例提供的实施环境的示意图；
图5示出了本申请一个示例性实施例提供的视频描述生成方法的流程图；
图6示出了相关技术与本申请实施例中视频描述生成模型生成的视频描述；
图7示出了本申请另一个示例性实施例提供的视频描述生成方法的流程图；
图8是本申请实施例中视频描述生成模型的结构示意图；
图9是辅助解码器确定候选词汇选取概率过程的流程图；
图10示出了相关技术与本申请实施例中视频描述生成模型生成的视频描述；
图11是候选词汇对应参考视觉上下文信息生成过程的流程图；
图12是生成参考视觉上下文信息过程的实施示意图；
图13是本申请一个示例性实施例提供的视频描述生成装置的结构框图；
图14示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在视频描述领域，利用基于编码-解码框架构建的视频描述生成模型为视频自动生成视频描述是一种常规手段。其中，基于编码-解码框架的视频描述生成模型可以是软注意力-长短期记忆((Soft Attention Long Short-Term Memory，SA-LSTM)模型。在一个示意性的例子中，利用SA-LSTM模型生成视频描述的过程如图1所示。
SA-LSTM模型首先对输入的视频11进行特征提取，得到视频11的视觉特征12(v1，v2，…，vn)。然后，SA-LSTM模型根据上一隐藏状态13(第t-1次解码过程中输出的隐藏状态)以及视觉特征12，采用软注意力机制计算各个视觉特征12对当前解码过程(即第t次解码)的权重14，从而对视觉特征12和权重14进行加权求和计算，得到当前解码过程的上下文信息15。进一步的，SA-LSTM模型根据上一隐藏状态13、上一个解码词16以及上下文信息15，输出当前隐藏状态17，进而根据当前隐藏状态17确定当前解码词18。
可见，利用相关技术中的SA-LSTM模型生成视频描述时，SA-LSTM模型仅关注当前视频中的视觉特征，相应的，确定出的解码词仅与当前视频的视觉特征相关。然而在实际情况中，同一解码词可能出现在多个视频片段中，且在不同视频片段中表达相似但不完全相同的含义(即解码词可能对应相似但不完全相同的视觉特征)，导致SA-LSTM模型输出的解码词的准确度较低，进而影响最终生成的视频描述的质量。
为了提高视频描述的质量，不同于相关技术中的“单编码器+单解码器”结构，本申请实施例中视频描述生成模型采用“编码器+基础解码器+辅助解码器”的结构，创造性地引入了记忆机制，将词库中各个候选词汇与相关视频之间的关联关系存储在记忆结构中，并将记忆结构添加到在辅助解码器中。本申请实施例提供的视频描述生成模型既能够关注当前视频(基础解码器)，又能够关注与当前视频的视觉特征相似的其它视频(辅助解码器)，从而避免仅关注当前视频造成的关注角度局限性，进而提高输出的解码词的准确度，提高生成的视频描述的质量。
本申请实施例提供的视频描述生成方法可以用于如下任一场景。
1、视频分类/检索场景
应用于视频分类场景时，本申请实施例中的视频描述生成模型可以实现成为视频管理应用程序或视频管理应用程序的一部分。将不包含视频描述的视频片段输入视频管理应用程序后，视频管理应用程序即通过视频描述生成模型中的编码器提取视频片段中的视觉特征，并分别利用基础解码器和辅助解码器对视觉特征进行解码，从而综合基础解码器和辅助解码器的解码结果确定解码词，进而根据解码词为视频片段生成视频描述。对于包含视频描述的视频片段，视频管理应用程序基于视频描述(比如通过语义识别)对视频片段进行分类，并为视频片段添加相应的类别标签。后续进行视频检索时，视频管理应用程序即可根据检索条件和各个视频片段对应的类别标签，返回符合该检索条件的视频片段。
在一个示意性的例子中，如图2所示，用户使用手机拍摄一段视频后，点击保存控件21将该视频存在手机中，由视频管理应用程序自动在后台为该视频生成视频描述“一个男人在公园里遛狗”，进而根据生成的视频描述为该视频添加类别标签“遛狗”。后续用户需要从手机中存储的大量视频中检索该视频时，可以在视频管理应用程序的视频检索界面22中输入关键词“遛狗”，由视频管理应用程序将该关键词与各个视频对应的视频类别进行匹配，从而将匹配到的视频23作为检索结果进行显示。
2、视觉问答(Visual Question Answer，VQA)场景
应用于视觉问答场景时，本申请实施例中的视频描述生成模型可以实现成为智能问答应用程序或智能问答应用程序的一部分。智能问答应用程序获取到一段视频以及针对该视频的提问后，通过视频描述生成模型生成该视频对应的视频描述，并对提问和视频描述进行语义识别，从而生成提问对应的答案，进而对该答案进行显示。
3、视障人士辅助场景
应用于视障人士辅助场景时，本申请实施例中的视频描述生成模型可以实现成为语音提示应用程序或语音提示应用程序的一部分。安装有语音提示应用程序的终端(比如视障人士使用的辅助设备)通过摄像头采集到视障人士周围的环境视频后，语音提示应用程序即通过视频描述生成模型对该环境视频进行编码解码，生成环境视频对应的视频描述。对于生成的视频描述，语音提示应用程序可以将该视频描述由文字转化为语音，并进行语音播报，帮助视障人士了解周侧环境情况。
在一个示意性的例子中，如图3所示，视障人士佩戴的眼镜31上设置有摄像头32以及骨传导耳机33。工作状态下，摄像头31对前方环境进行图像采集，并采集到一段环境视频34。眼镜31通过处理器为环境视频34生成视频描述“前方有个男人正在遛狗”，并将该视频描述由文字转化为语音，进而通过骨传导耳机33播放，以便视障人士根据语音提示进行避让。
当然，除了应用于上述场景外，本申请实施例提供方法还可以应用于其他需要为视频生成视频描述的场景，本申请实施例并不对具体的应用场景进行限定。
本申请实施例提供的视频描述生成方法可以应用于终端或者服务器等计算机设备中。在一种可能的实施方式中，本申请实施例中的视频描述生成模型可以实现成为应用程序或应用程序的一部分，并被安装到终端中，使终端具备生成视频描述的功能；或者，该视频描述生成模型可以应用于应用程序的后台服务器中，从而由服务器为终端中的应用程序提供生成视频描述的功能。
请参考图4，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端410和服务器420，其中，终端410与服务器420之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端410中安装有具有视频描述需求的应用程序，该应用程序可以是视频管理应用程序、智能问答应用程序、语音提示应用程序、字幕生成应用程序(为视频画面添加解说字幕)等等，本申请实施例对此不做限定。可选的，终端可以是手机、平板电脑、膝上便携式笔记本电脑、视障人士辅助设备等移动终端，也可以是台式电脑、投影式电脑等终端，本申请实施例对此不做限定。
服务器420可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器420是终端410中应用程序的后台服务器。
如图4所示，本申请实施例中，服务器420中存储有预先训练得到的视频描述生成模型421。在一种可能的应用场景下，当需要自动为目标视频生成视频描述时，应用程序即通过终端410将目标视频传输至服务器420，服务器420接收到目标视频后，将目标视频输入视频描述生成模型421。视频描述生成模型421通过解码器421A对目标视频进行特征提取，并分别通过基础解码器421B和辅助解码器422C对提取到的特征进行解码，从而根据解码结果生成视频描述，并反馈给终端410，由终端410中的应用程序对视频描述进行显示。
在其他可能的实施方式中，当视频描述生成模型421实现成为终端410中应用程序的一部分时，终端410可以在本地生成目标视频的视频描述，而无需借助服务器420，从而提高终端获取视频描述的速度，降低与服务器交互产生的延迟。
请参考图5，其示出了本申请一个示例性实施例提供的视频描述生成方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤501，通过视频描述生成模型的编码器对目标视频进行编码，得到目标视频的目标视觉特征。
本申请实施例中，视频描述生成模型中编码器的作用是从目标视频中提取目标视觉特征(visual feature)，并将提取到的目标视觉特征输入解码器(包括基础解码器和辅助解码器)。可选的，该目标视觉特征采用向量表示。
在一种可能的实施方式中，视频描述生成模型利用预训练的深层卷积神经网络(Convolutional Neural Networks，CNNs)作为编码器进行视觉特征提取，且利用编码器进行特征提取前，需要对目标视频进行预处理，使预处理后的目标视频符合编码器的输入要求。
对于提取到的目标视觉特征，编码器分别将目标视觉特征输入基础解码器和辅助解码器，并执行下述步骤502和503。需要说明的是，下述步骤502和503之间不存在严格的先后时序，即步骤502和步骤503可以同步执行，本实施例并不对两者的执行顺序进行限定。
步骤502，通过视频描述生成模型的基础解码器对目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，基础解码器用于采用注意力机制解码出与目标视觉特征匹配的候选词汇。
在一种可能的实施方式中，该基础解码器关注目标视频，从而基于目标视频的目标视觉特征进行解码。可选的，该基础解码器可以是采用注意力机制的循环神经网络(Recurrent Neural Network，RNN)编码器。比如，该基础解码器采用SA-LSTM模型，且每次解码时，基础解码器采用注意力机制，根据上一次解码输出的隐藏状态、上一个解码词以及目标视觉特征确定词库中各个候选词汇对应的第一选取概率。当然，除了采用SA-LSTM模型外，该基础解码器还可以采用其他基于注意力机制的RNN编码器，本申请实施例对此并不构成限定。
可选的，基础解码器进行解码的过程本质上是一种分类任务，即通过softmax函数计算词库中各个候选词汇的(第一)选取概率。其中，第一选取概率越大，表明候选词汇与视频的上下文信息匹配度越高，即该候选词汇所表达的含义与上下文更加匹配。
步骤503，通过视频描述生成模型的辅助解码器对目标视觉特征进行解码，得到各个候选词汇对应的第二选取概率，辅助解码器的记忆结构中包括各个候选词汇对应的参考视觉上下文信息，参考视觉上下文信息根据候选词汇对应的相关视频生成。
不同于基础解码器仅关注目标视频的目标视觉特征，本实例中的辅助解码器关注候选词汇与相关视频之间的关联性，因此利用辅助解码器对目标视觉特征进行解码时，能够抓取到同一候选词汇在不同视频中的视觉特征，并与目标视频的目标视觉特征进行匹配，以此提高确定解码词的准确性。
在一种可能的实施方式中，候选词汇与相关视频的关联性存储在辅助解码器的记忆结构(memory structure)中，并通过候选词汇与参考视觉上下文信息的对应关系进行体现。其中，候选词汇对应的参考视觉上下文信息用于表示包含该候选词汇的相关视频的视觉上下文特征，且该参考视觉上下文信息根据样本视频中与候选词汇相关的相关视频生成。下述实施例将对参考视觉上下文信息的生成方式进行详细说明。
需要说明的是，除了利用记忆结构构建候选词汇与相关视频的关联性外，还可以采用基于图(graph)的算法来构建候选词汇与相关视频的关联性，本申请并不对此进行限定。
可选的，与基础解码器类似的，辅助解码器进行解码的过程本质上也是一种分类任务，即通过softmax函数计算词库中各个候选词汇的(第二)选取概率。其中，基础解码器与辅助解码器对应的相同词库，且第二选取概率越大，表明候选词汇与视频的上下文信息匹配度越高，即该候选词汇所表达的含义与上下文更加匹配。
步骤504，根据第一选取概率和第二选取概率确定候选词汇中的解码词。
不同于相关技术中仅根据单一解码器的解码结果确定解码词，本申请实施例中，视频描述生成模型综合基础解码器输出的第一选取概率和辅助解码器输出的第二选取概率，从词库中的各个候选词汇中确定出本次解码得到的解码词。
步骤505，根据若干个解码词生成目标视频对应的视频描述。
由于视频描述中通常是由多个解码词构成的自然语言，因此每次解码时都需要重复上述502至504，依次生成视频描述的各个解码词，从而对多个解码词进行连接，最终生成视频描述。
综上所述，本申请实施例中，利用视频描述生成模型的编码器对目标视频进行编码，得到目标视觉特征后，分别通过基于注意力机制的基础解码器以及包含辅助解码器对目标视觉特征进行解码，得到各个候选词汇的第一选取概率和第二选取概率，从而综合第一选取概率和第二选取概率从候选词汇中确定出解码词，进而根据多个解码词生成视频描述；由于视频描述生成模型中辅助解码器的记忆结构包含候选词汇对应的参考视觉上下文信息，且该参考视觉上下文信息是基于候选词汇的相关视频生成的，因此利用辅助解码器进行解码时，能够关注到候选词汇与除当前视频以外其他视频之间的关联性，从而提高解码词选取的准确性，进而提高了后续生成的视频描述的质量。
在一个示意性的例子中，如图6所示，对于同一视频61，利用相关技术中的视频描述生成模型所生成的视频描述为“a woman is mixing ingredients in a bowl.”(一位女士正在混合碗里的材料)；而本申请实施例中的视频描述生成模型所生成的视频描述为“awoman is pouring liquid into a bowl.”(一位女士将液体倒入碗中)。可见，相关技术中的视频描述生成模型无法识别出视频61中的“pouring”(倒)，而本申请实施例中，由于辅助解码器的记忆结构中包含“pouring”与相关视频画面62之间的关联性(即参考视觉上下文信息)，因此能够准确解码出“pouring”这个解码词，提高了视频描述的描述质量。
上述实施例对视频描述生成模型的工作原理进行了简单说明，下面采用示意性的实施例并结合附图，对视频描述生成过程中涉及的编码以及解码过程进行更加细致的说明。
请参考图7，其示出了本申请另一个示例性实施例提供的视频描述生成方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤701，通过编码器对目标视频进行编码，得到目标视频的二维视觉特征和三维视觉特征，二维视觉特征用于指示单帧图像的特征，三维视觉特征用于指示连续图像帧的时序特征。
由于视频是由连续图像帧构成，因此视频的视觉特征中既包含单帧图像的图像特征(即二维视觉特征)，又包含连续图像帧的时序特征(即三维视觉特征)。在一种可能的实施方式中，编码器中包括用于提取二维视觉特征的第一子编码器以及用于提取三维视觉特征的第二子编码器。
相应的，对目标视频进行编码时，将目标视频划分为独立的图像帧，利用第一子编码器对各个图像帧进行特征提取，得到二维视觉特征；将目标视频划分为若干视频片段(每个视频片段中包含若干连续图像帧)，利用第二子编码器对各个视频片段进行特征提取，得到三维视觉特征。
可选的，第一子编码器采用在ImageNet(用于视觉对象识别软件研究的大型可视化数据库)数据集上预训练好的ResNet-101模型(深度为101的残差网络)，而第二子编码器采用Kinetics数据集上预训练好的ResNeXt-101模型。当然，第一子编码器和第二子编码器也可以采用其它模型，本申请实施例并不对此构成限定。
在一个示意性的例子中，对于包含L个图像帧的目标视频，通过解码器对目标视频进行编码，得到二维视觉特征F2D＝{f1,f2,...,fL}以及三维视觉特征F3D＝{v1,v2,...,vN}，其中，N＝L/d，d为每个视频片段中图像帧的数量。
示意性的，如图8所示，编码器81提取得到二维视觉特征811以及三维视觉特征812。
步骤702，将二维视觉特征和三维视觉特征转换到同一特征维度，得到目标视觉特征。
由于提取到的二维视觉特征和三维视觉特征的特征维度(比如向量尺寸)可能不同，因此为了统一视觉特征的特征维度，并避免二维视觉特征和三维视觉特征相互污染，在一种可能的实施方式中，视频描述生成模型将二维视觉特征和三维视觉特征转换到隐藏空间(hidden space)同一特征维度，得到目标视觉特征。
在一个示意性的例子中，对于任意二维视觉特征fl，其转换得到的目标视觉特征f'l＝Mffl+bf，对于任意三维视觉特征vn，其转换得到的目标视觉特征v'n＝Mvvn+bv，其中，Mf和Mv为转换矩阵，bf和bv为偏置项。
步骤703，通过视频描述生成模型的基础解码器对目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，基础解码器是用于采用注意力机制解码出与目标视觉特征匹配的候选词汇。
在一种可能的实施方式中，视频描述生成模型采用门控循环单元(GatedRecurrent Unit，GRU)作为基础解码器的骨架。示意性的，如图8所示，基础解码器82中包括GRU 821、GRU 822以及GRU 823。
相应的，基础解码器进行第t次解码时，可以包括如下步骤。
一、当进行第t次解码时，获取第t-1次解码得到的第t-1解码词以及第t-1隐藏状态，第t-1隐藏状态是基础解码器进行第t-1次解码时输出的隐藏状态，t为大于或等于2的整数。
基础解码器每次解码过程中，都会输出一个隐藏状态，后续即基于该隐藏状态确定本次解码得到的解码词。本申请实施例中，由于使用GRU输出隐藏状态时，需要利用到上一次解码时输出的隐藏状态以及上一个解码词，因此，基础解码器在进行第t次解码时，需要获取第t-1解码词以及第t-1隐藏状态。
示意性的，如图8所示，进行第t次解码时，基础解码器82获取GRU 821输出的第t-1隐藏状态ht-1，以及第t-1解码词wt-1对应的词向量et-1。
二、根据第t-1解码词、第t-1隐藏状态以及目标视觉特征，确定候选词汇的第一选取概率。
在不同解码阶段，不同视觉特征与当前解码词的相关度存在差异，因此，在计算第一选取概率前，基础解码器还需要采用注意力机制对编码器输出的目标视觉特征进行处理(加权求和)，得到本次解码的目标视觉上下文信息。
在一种可能的实施方式中，基础解码器分别对二维视觉特征和三维视觉特征进行处理，得到二维视觉上下文信息和三维视觉上下文信息，并对二维视觉上下文信息和三维视觉上下文信息进行融合，得到目标视觉上下文信息。
其中，对于二维视觉特征f'i，对其处理得到二维视觉上下文信息
Figure BDA0002035955840000121
其中，ai，t＝fatt(ht-1，f'i)，ht-1为第t-1隐藏状态(向量表示)，fatt为注意力函数。
对于三维视觉特征v'i，对其处理得到三维视觉上下文信息
Figure BDA0002035955840000122
其中，a'i,t＝fatt(ht-1，v'i)，ht-1为第t-1隐藏状态(向量表示)，fatt为注意力函数。可选的，处理二维视觉特征和处理三维视觉特征时采用同一注意力函数。
对二维视觉上下文信息和三维视觉上下文信息进行融合，得到目标视觉上下文信息ct＝[ct，2D；ct,3D]。
示意性的，如图8所示，采用注意力机制(图中的fatt)分别对二维视觉特征811和三维视觉特征812进行处理，得到Ct,2D和Ct,3D，对处理结果进行融合，得到第t次解码时的目标视觉上下文信息Ct。
GRU根据第t-1解码词、第t-1隐藏状态以及目标视觉上下文信息，输出第t次解码的第t隐藏状态。GRU确定第t隐藏状态的方式可以表示为：
ht＝GRU(ht-1,ct,et-1)
进一步的，基础解码器基于第t隐藏状态，计算词库中各个候选词汇对应的第一选取概率。第一选取概率的计算公式如下：
Figure BDA0002035955840000123
其中，wi为词库中的第i个候选词汇，K为词库中候选词汇总数，Wi和bi是计算第i个候选词汇的线性映射得分时使用的参数。
示意性的，如图8所示，目标视觉上下文信息Ct、GRU 821输出的第t-1隐藏状态ht以及第t-1解码词的词向量et-1输入GRU 822中，由GRU822计算各个候选词汇的第一选取概率Pb。
步骤704，当进行第t次解码时，获取第t-1次解码得到的第t-1解码词以及第t-1隐藏状态，第t-1隐藏状态是基础解码器进行第t-1次解码时输出的隐藏状态，t为大于或等于2的整数。
在一种可能的实施方式中，与基础解码器相似的，辅助解码器在解码过程中个，也需要使用上一个解码词以及上一次解码时输出的隐藏状态，因此，在进行第t次解码时，辅助解码器获取第t-1解码词以及第t-1隐藏状态。
步骤705，根据第t-1解码词、第t-1隐藏状态、目标视觉特征以及候选词汇对应的参考视觉上下文信息，通过辅助解码器确定候选词汇的第二选取概率。
基础解码器不同的是，辅助解码器在解码过程中，还需要获取记忆结构中各个候选词汇对应的参考视觉上下文信息，从而在解码过程中关注与候选词汇在相关视频中的视觉特征。
可选的，记忆结构中至少包括各个候选词汇对应的参考视觉上下文信息gr以及候选词汇的词向量特征er。相应的，辅助解码器在解码过程中，重点计算候选词汇对应的目标视觉上下文信息与参考视觉上下文信息之间的匹配度，以及候选词汇的词特征向量与上一个解码词的词特征向量之间的匹配度，进而根据两个匹配度确定候选词汇的第二选取概率。
在一种可能的实施方式中，如图9所示，本步骤可以包括如下步骤。
步骤705A，根据目标视觉特征和第t-1隐藏状态，生成进行第t次解码时的目标视觉上下文信息。
其中，根据目标视觉特征和第t-1隐藏状态，生成目标视觉上下文信息的过程可以参考上述步骤703，本实施例在此不再赘述。
可选的，辅助编码器可以从基础编码器处获取目标视觉上下文信息，而无需重复计算，本实施例对此不做限定。
步骤705B，根据目标视觉上下文信息和参考视觉上下文信息，确定候选词汇的第一匹配度。
由于候选词汇对应的参考视觉上下文信息基于候选词汇对应的相关视频生成，因此该参考视觉上下文信息可以反映出以该候选词汇为解码词的相关视频的视觉特征。相应的，当候选词汇对应的参考视觉上下文信息与本次解码时的目标视觉上下文信息匹配度较高时，该候选词汇与目标视觉上下文信息的匹配度也越高。
在一种可能的实施方式中，辅助解码器将目标视觉上下文信息和参考视觉上下文信息之间的匹配度确定为候选词汇的第一匹配度，该第一匹配度可以表示为：[Wc·ct+Wg·gi]，其中，Wc和Wg是线性变换矩阵，gi是第i个候选词汇对应的参考视觉上下文信息。
步骤705C，获取记忆结构中候选词汇对应的第一词特征向量以及第t-1解码词的第二词特征向量。
除了根据视觉上下文信息确定候选词汇的匹配度外，辅助解码器还根据候选词汇与上一个解码词的词意确定候选词汇的匹配度，从而提高后续解码得到的解码词与前一个解码词之间的连贯性。
在一种可能的实施方式中，辅助解码器从记忆结构中获取候选词汇对应的第一词特征向量，并通过转换矩阵，将第t-1解码词转化为第二词特征向量。
步骤705D，根据第一词特征向量和第二词特征向量，确定候选词汇的第二匹配度。
在一种可能的实施方式中，辅助解码器将第一词特征向量和第二词特征向量之间的匹配度确定为候选词汇的第二匹配度，该第二匹配度可以表示为：[W'e·et-1+We·ei]，其中，W'e和We是线性变换矩阵，ei是第i个候选词汇对应的词向量特征。
需要说明的是，上述步骤705A和705B与步骤705C和705D之间并不存在严格的先后时序，即步骤705A和705B可以与步骤705C和705D同步执行，本申请实施例对此不做限定。
步骤705E，根据第一匹配度和第二匹配度，确定候选词汇的第二选取概率。
在一种可能的实施方式中，第二选取概率与第一匹配度以及第二匹配度呈正相关关系，即第一匹配度和第二匹配度越高，候选词汇的第二选取概率越高。
可选的，为了进一步提高解码的准确性，记忆结构中除了包含候选词汇对应的参考视觉上下文信息gr以及候选词汇的词向量特征er外，还包含候选词汇对应的辅助信息ur。其中，该辅助信息可以是候选词汇的词性、候选词汇所属领域、常用该候选词汇的视频类别等等。
相应的，辅助解码器即根据辅助信息、第t-1解码词、第t-1隐藏状态、目标视觉特征以及候选词汇对应的参考视觉上下文信息，确定候选词汇的第二选取概率。
在一种可能的实施方式中，候选词汇wk的第二选取概率Pm可以表示为：
Figure BDA0002035955840000141
其中，qk为候选词汇wk的相关性分数，K为词库中候选词汇总数。
可选的，候选词汇的相关性分数计算公式如下：
qi＝vTtanh([Wc·ct+Wg·gi]+[W'e·et-1+We·ei]
+Wh·ht-1+Wu·ui+b)
其中，Wh和Wu是线性变换矩阵，ui是第i个候选词汇对应的辅助信息，b是偏置项。
示意性的，如图8所示，辅助解码器83的记忆结构832中包含各个候选词汇(wi)对应的参考视觉上下文信息gi、词向量特征ei以及辅助信息ui。进行第t次解码时，记忆结构832中的内容、目标视觉上下文信息Ct、第t-1隐藏状态ht-1以及第t-1解码词的词特征向量et-1输入解码组件831中，由入解码组件831输出各个候选词汇的第二选取概率Pm。
步骤706，根据第一选取概率和第一选取概率对应的第一权重，以及第二选取概率和第二选取概率对应的第二权重，计算各个候选词汇的目标选取概率。
可选的，对于词库中的各个候选词汇，视频描述生成模型获取该候选词汇对应的第一选取概率以及第二选取概率，并根据各项选取概率各自对应的权重，加权计算得到该候选词汇的目标选取概率。
示意性的，候选词汇wk的目标选取概率的计算公式如下：
P(wk)＝(1-λ)Pb(wk)+λPm(wk)
其中，λ为第二权重，(1-λ)为第一权重。
可选的，第一权重和第二权重为实验得到的超参数，且第一权重大于第二权重。比如，λ的取值范围为(0.1,0.2)。
步骤707，将最高目标选取概率对应的候选词汇确定为解码词。
进一步的，视频描述生成模型获取各个候选词汇的目标选取概率，并将最高目标选取概率对应的候选词汇确定为本次解码得到的解码词。
示意性的，如图8所示，视频描述生成模型根据第一选取概率Pb和第二选取概率Pm计算得到目标选取概率P，并基于目标选取概率P确定第t解码词wt。
步骤708，根据若干个解码词生成目标视频对应的视频描述。
在一个示意性的例子中，如图10所示，对于同一视频1001，利用相关技术中的视频描述生成模型所生成的视频描述为“a person is slicing bread”(一个人正在切面包)；而本申请实施例中的视频描述生成模型所生成的视频描述为“a man is spreading butter on a bread”(一个人正在面包上涂黄油)。可见，相关技术中的视频描述生成模型无法识别出视频1001中的“spreading”以及“butter”，而本申请实施例中，由于辅助解码器的记忆结构中包含“spreading”以及“butter”与相关视频画面1002之间的关联性(即参考视觉上下文信息)，因此能够准确解码出“spreading”和“butter”这些解码词，提高了视频描述的准确性。
本实施例中，视频描述生成模型利用解码器对目标视频解码得到二维视觉特征和三维视觉特征，并将二维视觉特征和三维视觉特征映射到同一特征维度，提高了视觉特征提取的全面性，并避免二维视觉特征和三维视觉特征相互污染。
另外，本实施例中，辅助解码器根据候选词汇的参考视觉特征上下文信息和当前解码的目标视觉上下文信息确定候选词汇的选取概率，有助于提高最终确定出的解码词的准确性；同时，辅助解码器根据候选词汇以及上一个解码词的词向量特征确定候选词汇的选取概率，有助于提高最终确定出的解码词与上一解码词的连贯性。
针对上述实施例中候选词汇对应参考视觉上下文信息的生成过程，在一种可能的实施方式中，如图11所示，该生成过程可以包括如下步骤。
步骤1101，对于各个候选词汇，根据样本视频对应的样本视频描述，确定候选词汇对应的I条相关视频，相关视频的样本视频描述中包含候选词汇，I为大于或等于1的整数。
在一种可能的实施方式中，开发人员采用人工标注方式为样本视频生成添加样本视频描述，或者，使用已有的视频描述生成模型，自动为样本视频生成样本视频描述，并通过人工方式过滤质量低于预期的样本视频描述。
在确定词库中各个候选词汇的相关视频时，计算机设备即获取各个样本视频对应的样本视频描述，并将样本视频描述中包含该候选词汇的视频确定为候选词汇的相关视频。
在一个示意性的例子中，对于候选词汇“散步”，若样本视频A对应的视频描述为“一个男人牵着一条狗”，而样本视频B对应的视频描述为“一个男人和一个女人在公园散步”，计算机设备则将样本视频B确定为“散步”对应的相关视频。
步骤1102，对于各条相关视频，确定相关视频中的k个关键视觉特征，关键视觉特征与候选词汇的匹配度高于相关视频中其它视觉特征与候选词汇的匹配度，k为大于或等于1的整数。
对个候选词汇对应的各条相关视频，由于相关视频中并非所有图像帧(或视频片段)均与该候选词汇相关，因此，计算机设备需要确定出各条相关视频中与候选词汇相关的关键视觉特征。
在一种可能的实施方式中，确定相关视频中的关键视觉特征时可以包括如下步骤。
一、通过基础解码器，获取相关视频中各个视觉特征对候选词汇的特征权重，其中，各个特征权重之和为1。
可选的，计算机设备首先训练视频描述生成模型中的基础解码器，并利用该基础解码器(采用注意力机制)，获取解码该候选词汇时，相关视频中各个视觉特征对该候选词汇的特征权重。
在一个示意性的例子中，候选词汇是样本视频对应样本视频描述中的第t个解码词时，计算机设备即利用基础解码器对样本视频的视觉特征进行解码，并获取第t次解码时，基础解码器输出的第t-1隐藏状态ht-1，从而通过注意力函数fatt计算各个视觉特征(包括v’i或者f’i)对该候选词汇的特征权重ai,t。
二、将前k个特征权重对应的视觉特征确定为关键视觉特征。
当视觉特征对候选词汇的特征权重越大时，表明该视觉特征与候选词汇的相关度越高，因此，计算机设备可以将前k个(Top-k)特征权重对应的视觉特征确定为候选词汇的关键视觉特征。
示意性的，如图12所示，对于候选词汇对应的I个相关视频，计算机设备分别提取各个相关视频的二维视觉特征1201和三维视觉特征1202，并通过基础解码器的注意力机制，获取相关视频中各个视觉特征对候选词汇的特征权重，并从中选取Top-k的视觉特征作为关键视觉特征1203。
步骤1103，根据I条相关视频对应的各个关键视觉特征，生成候选词汇对应的参考视觉上下文信息。
进一步的，计算机设备将各条相关视频对应的关键视觉特征进行融合，从而生成候选词汇对应的参考视觉上下文信息。
其中，候选词汇对应的参考视觉上下文信息gr可以表示为：
Figure BDA0002035955840000181
其中，I为相关视频的个数，k为每个相关视频对应的关键视觉特征的数量，ai,j为第j个二维关键视觉特征f'i,j对候选词汇的特征权重，a'i,j为第j个三维关键视觉特征v'i,j对候选词汇的特征权重。
示意性的，如图12所示，计算机设备将各个相关视频对应的关键视觉特征1203进行融合，生成参考视觉上下文信息1204。
步骤1104，将各个候选词汇对应的参考视觉上下文信息存储到记忆结构。
进一步的，计算机设备将各个候选词汇对应的参考视觉上下文信息存储到辅助解码器的记忆结构中，以便后续使用。
本实施例中，计算机设备从候选词汇对应的相关视频中提取候选词汇的关键视觉特征，从而根据大量关键视觉特征生成候选词汇的参考视觉上下文信息，并存储到记忆结构中，有助于提高后续解码所得解码词的准确度。
在MSR-VTT数据集上，对相关技术以及本申请实施例中视频描述生成模型的视频描述质量进行分析，得到的分析结果如表一所示。
表一
Figure BDA0002035955840000182
Figure BDA0002035955840000191
在MSVD数据集上，对相关技术以及本申请实施例中视频描述生成模型的视频描述质量进行分析，得到的分析结果如表二所示。
表二
Figure BDA0002035955840000192
从上述分析结果可以看出，本申请实施例中的视频描述生成模型，在四个评估指标(BLEU-4,METEROR,ROUGE-L,CIDEr)上均处于领先水平。
图13是本申请一个示例性实施例提供的视频描述生成装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图13所示，该装置包括：
编码模块1301，用于通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；
第一解码模块1302，用于通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与目标视觉特征匹配的候选词汇；
第二解码模块1303，用于通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；
第一确定模块1304，用于根据所述第一选取概率和所述第二选取概率确定所述候选词汇中的解码词；
第一生成模块1305，用于根据若干个所述解码词生成所述目标视频对应的视频描述。
可选的，所述第二解码模块1303，包括：
第一获取单元，用于当进行第t次解码时，获取第t-1次解码得到的第t-1解码词以及第t-1隐藏状态，所述第t-1隐藏状态是所述基础解码器进行第t-1次解码时输出的隐藏状态，t为大于或等于2的整数；
第一确定单元，用于根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。
可选的，所述第一确定单元，用于：
根据所述目标视觉特征和所述第t-1隐藏状态，生成进行第t次解码时的目标视觉上下文信息；
根据所述目标视觉上下文信息和所述参考视觉上下文信息，确定所述候选词汇的第一匹配度；
获取所述记忆结构中所述候选词汇对应的第一词特征向量以及所述第t-1解码词的第二词特征向量；
根据所述第一词特征向量和所述第二词特征向量，确定所述候选词汇的第二匹配度；
根据所述第一匹配度和所述第二匹配度，确定所述候选词汇的所述第二选取概率。
可选的，所述记忆结构中还包括各个所述候选词汇对应的辅助信息；
所述第一确定单元，用于：
根据所述辅助信息、所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。
可选的，所述装置包括：
第二确定模块，用于对于各个所述候选词汇，根据样本视频对应的样本视频描述，确定所述候选词汇对应的I条所述相关视频，所述相关视频的所述样本视频描述中包含所述候选词汇，I为大于或等于1的整数；
第三确定模块，用于对于各条所述相关视频，确定所述相关视频中的k个关键视觉特征，所述关键视觉特征与所述候选词汇的匹配度高于所述相关视频中其它视觉特征与所述候选词汇的匹配度，k为大于或等于1的整数；
第二生成模块，用于根据I条所述相关视频对应的各个所述关键视觉特征，生成所述候选词汇对应的所述参考视觉上下文信息；
存储模块，用于将各个所述候选词汇对应的所述参考视觉上下文信息存储到所述记忆结构。
可选的，所述第三确定模块，包括：
获取单元，用于通过所述基础解码器，获取所述相关视频中各个视觉特征对所述候选词汇的特征权重，其中，各个所述特征权重之和为1；
第二确定单元，用于将前k个所述特征权重对应的所述视觉特征确定为所述关键视觉特征。
可选的，所述第一确定模块1304，包括：
计算单元，用于根据所述第一选取概率和所述第一选取概率对应的第一权重，以及所述第二选取概率和所述第二选取概率对应的第二权重，计算各个所述候选词汇的目标选取概率；
第三确定单元，用于将最高目标选取概率对应的所述候选词汇确定为所述解码词。
可选的，所述编码模块1301，包括：
编码单元，用于通过所述编码器对所述目标视频进行编码，得到所述目标视频的二维视觉特征和三维视觉特征，所述二维视觉特征用于指示单帧图像的特征，所述三维视觉特征用于指示连续图像帧的时序特征；
转换单元，用于将所述二维视觉特征和所述三维视觉特征转换到同一特征维度，得到所述目标视觉特征。
综上所述，本申请实施例中，利用视频描述生成模型的编码器对目标视频进行编码，得到目标视觉特征后，分别通过基于注意力机制的基础解码器以及包含辅助解码器对目标视觉特征进行解码，得到各个候选词汇的第一选取概率和第二选取概率，从而综合第一选取概率和第二选取概率从候选词汇中确定出解码词，进而根据多个解码词生成视频描述；由于视频描述生成模型中辅助解码器的记忆结构包含候选词汇对应的参考视觉上下文信息，且该参考视觉上下文信息是基于候选词汇的相关视频生成的，因此利用辅助解码器进行解码时，能够关注到候选词汇与除当前视频以外其他视频之间的关联性，从而提高解码词选取的准确性，进而提高了后续生成的视频描述的质量。
需要说明的是：上述实施例提供的视频描述生成装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频描述生成装置与视频描述生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图14，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1400包括中央处理单元(CPU)1401、包括随机存取存储器(RAM)1402和只读存储器(ROM)1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。所述计算机设备1400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1406，和用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1407。
所述基本输入/输出系统1406包括有用于显示信息的显示器1408和用于用户输入信息的诸如鼠标、键盘之类的输入设备1409。其中所述显示器1408和输入设备1409都通过连接到系统总线1405的输入输出控制器1410连接到中央处理单元1401。所述基本输入/输出系统1406还可以包括输入输出控制器1410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1410还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1407通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。所述大容量存储设备1407及其相关联的计算机可读介质为计算机设备1400提供非易失性存储。也就是说，所述大容量存储设备1407可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1407可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1401执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1401执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1400可以通过连接在所述系统总线1405上的网络接口单元1411连接到网络1412，或者说，也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一实施例所述的视频描述生成方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的视频描述生成方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方法实施例所述的视频描述生成方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种视频描述生成方法，其特征在于，所述方法包括：
通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；
通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；
通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；
根据所述第一选取概率和所述第一选取概率对应的第一权重，以及所述第二选取概率和所述第二选取概率对应的第二权重，计算各个所述候选词汇的目标选取概率；
将最高目标选取概率对应的所述候选词汇确定为所述候选词汇中的解码词；
根据若干个所述解码词生成所述目标视频对应的视频描述。
2.根据权利要求1所述的方法，其特征在于，所述通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，包括：
当进行第t次解码时，获取第t-1次解码得到的第t-1解码词以及第t-1隐藏状态，所述第t-1隐藏状态是所述基础解码器进行第t-1次解码时输出的隐藏状态，t为大于或等于2的整数；
根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率，包括：
根据所述目标视觉特征和所述第t-1隐藏状态，生成进行第t次解码时的目标视觉上下文信息；
根据所述目标视觉上下文信息和所述参考视觉上下文信息，确定所述候选词汇的第一匹配度；
获取所述记忆结构中所述候选词汇对应的第一词特征向量以及所述第t-1解码词的第二词特征向量；
根据所述第一词特征向量和所述第二词特征向量，确定所述候选词汇的第二匹配度；
根据所述第一匹配度和所述第二匹配度，确定所述候选词汇的所述第二选取概率。
4.根据权利要求2所述的方法，其特征在于，所述记忆结构中还包括各个所述候选词汇对应的辅助信息；
所述根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率，包括：
根据所述辅助信息、所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。
5.根据权利要求1至4任一所述的方法，其特征在于，所述方法包括：
对于各个所述候选词汇，根据样本视频对应的样本视频描述，确定所述候选词汇对应的I条所述相关视频，所述相关视频的所述样本视频描述中包含所述候选词汇，I为大于或等于1的整数；
对于各条所述相关视频，确定所述相关视频中的k个关键视觉特征，所述关键视觉特征与所述候选词汇的匹配度高于所述相关视频中其它视觉特征与所述候选词汇的匹配度，k为大于等于1的整数；
根据I条所述相关视频对应的各个所述关键视觉特征，生成所述候选词汇对应的所述参考视觉上下文信息；
将各个所述候选词汇对应的所述参考视觉上下文信息存储到所述记忆结构。
6.根据权利要求5所述的方法，其特征在于，所述确定所述相关视频中的k个关键视觉特征，包括：
通过所述基础解码器，获取所述相关视频中各个视觉特征对所述候选词汇的特征权重，其中，各个所述特征权重之和为1；
将前k个所述特征权重对应的所述视觉特征确定为所述关键视觉特征。
7.根据权利要求1至4任一所述的方法，其特征在于，所述通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征，包括：
通过所述编码器对所述目标视频进行编码，得到所述目标视频的二维视觉特征和三维视觉特征，所述二维视觉特征用于指示单帧图像的特征，所述三维视觉特征用于指示连续图像帧的时序特征；
将所述二维视觉特征和所述三维视觉特征转换到同一特征维度，得到所述目标视觉特征。
8.一种视频描述生成装置，其特征在于，所述装置包括：
编码模块，用于通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；
第一解码模块，用于通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；
第二解码模块，用于通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；
第一确定模块，用于根据所述第一选取概率和所述第一选取概率对应的第一权重，以及所述第二选取概率和所述第二选取概率对应的第二权重，计算各个所述候选词汇的目标选取概率，将最高目标选取概率对应的所述候选词汇确定为所述候选词汇中的解码词；
第一生成模块，用于根据若干个所述解码词生成所述目标视频对应的视频描述。
9.根据权利要求8所述的装置，其特征在于，所述第二解码模块，包括：
第一获取单元，用于当进行第t次解码时，获取第t-1次解码得到的第t-1解码词以及第t-1隐藏状态，所述第t-1隐藏状态是所述基础解码器进行第t-1次解码时输出的隐藏状态，t为大于或等于2的整数；
第一确定单元，用于根据所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。
10.根据权利要求9所述的装置，其特征在于，所述第一确定单元，用于：
根据所述目标视觉特征和所述第t-1隐藏状态，生成进行第t次解码时的目标视觉上下文信息；
根据所述目标视觉上下文信息和所述参考视觉上下文信息，确定所述候选词汇的第一匹配度；
获取所述记忆结构中所述候选词汇对应的第一词特征向量以及所述第t-1解码词的第二词特征向量；
根据所述第一词特征向量和所述第二词特征向量，确定所述候选词汇的第二匹配度；
根据所述第一匹配度和所述第二匹配度，确定所述候选词汇的所述第二选取概率。
11.根据权利要求9所述的装置，其特征在于，所述记忆结构中还包括各个所述候选词汇对应的辅助信息；
所述第一确定单元，用于：
根据所述辅助信息、所述第t-1解码词、所述第t-1隐藏状态、所述目标视觉特征以及所述候选词汇对应的所述参考视觉上下文信息，确定所述候选词汇的所述第二选取概率。
12.根据权利要求8至11任一所述的装置，其特征在于，所述装置包括：
第二确定模块，用于对于各个所述候选词汇，根据样本视频对应的样本视频描述，确定所述候选词汇对应的I条所述相关视频，所述相关视频的所述样本视频描述中包含所述候选词汇，I为大于或等于1的整数；
第三确定模块，用于对于各条所述相关视频，确定所述相关视频中的k个关键视觉特征，所述关键视觉特征与所述候选词汇的匹配度高于所述相关视频中其它视觉特征与所述候选词汇的匹配度，k为大于等于1的整数；
第二生成模块，用于根据I条所述相关视频对应的各个所述关键视觉特征，生成所述候选词汇对应的所述参考视觉上下文信息；
存储模块，用于将各个所述候选词汇对应的所述参考视觉上下文信息存储到所述记忆结构。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的视频描述生成方法。
14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的视频描述生成方法。
CN201910325193.0A 2019-04-22 2019-04-22 视频描述生成方法、装置、设备及存储介质 Active CN109874029B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910325193.0A CN109874029B (zh) 2019-04-22 2019-04-22 视频描述生成方法、装置、设备及存储介质
KR1020217020589A KR102477795B1 (ko) 2019-04-22 2020-03-27 비디오 캡션 생성 방법, 디바이스 및 장치, 그리고 저장 매체
EP20795471.0A EP3962097A4 (en) 2019-04-22 2020-03-27 VIDEO SUBTITLE GENERATION METHOD, DEVICE AND APPARATUS AND STORAGE MEDIA
JP2021531058A JP7179183B2 (ja) 2019-04-22 2020-03-27 ビデオキャプションの生成方法、装置、デバイスおよびコンピュータプログラム
PCT/CN2020/081721 WO2020215988A1 (zh) 2019-04-22 2020-03-27 视频描述生成方法、装置、设备及存储介质
US17/328,970 US11743551B2 (en) 2019-04-22 2021-05-24 Video caption generating method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910325193.0A CN109874029B (zh) 2019-04-22 2019-04-22 视频描述生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109874029A CN109874029A (zh) 2019-06-11
CN109874029B true CN109874029B (zh) 2021-02-12

Family

ID=66922965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910325193.0A Active CN109874029B (zh) 2019-04-22 2019-04-22 视频描述生成方法、装置、设备及存储介质

Country Status (6)

Country Link
US (1) US11743551B2 (zh)
EP (1) EP3962097A4 (zh)
JP (1) JP7179183B2 (zh)
KR (1) KR102477795B1 (zh)
CN (1) CN109874029B (zh)
WO (1) WO2020215988A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109874029B (zh) 2019-04-22 2021-02-12 腾讯科技（深圳）有限公司 视频描述生成方法、装置、设备及存储介质
CN110263218B (zh) * 2019-06-21 2022-02-25 北京百度网讯科技有限公司 视频描述文本生成方法、装置、设备和介质
CN110891201B (zh) * 2019-11-07 2022-11-01 腾讯科技（深圳）有限公司 文本生成方法、装置、服务器和存储介质
CN111860597B (zh) * 2020-06-17 2021-09-07 腾讯科技（深圳）有限公司 一种视频信息处理方法、装置、电子设备及存储介质
CN112528883A (zh) * 2020-12-15 2021-03-19 杭州义顺科技有限公司 一种基于反思网络的教学场景视频描述生成方法
CN112580570A (zh) * 2020-12-25 2021-03-30 南通大学 人体姿态图像的关键点检测方法
CN113569068B (zh) * 2021-01-19 2023-09-29 腾讯科技（深圳）有限公司 描述内容生成方法、视觉内容的编码、解码方法、装置
CN113099228B (zh) * 2021-04-30 2024-04-05 中南大学 一种视频编解码方法及系统
CN113343986B (zh) * 2021-06-29 2023-08-25 北京奇艺世纪科技有限公司 字幕时间区间确定方法、装置、电子设备及可读存储介质
CN113596557B (zh) * 2021-07-08 2023-03-21 大连三通科技发展有限公司 一种视频生成方法及装置
CN113673376B (zh) * 2021-08-03 2023-09-01 北京奇艺世纪科技有限公司 弹幕生成方法、装置、计算机设备和存储介质
CN113792166B (zh) * 2021-08-18 2023-04-07 北京达佳互联信息技术有限公司 信息获取方法、装置、电子设备及存储介质
CN113810730B (zh) * 2021-09-17 2023-08-01 咪咕数字传媒有限公司 基于视频的实时文本生成方法、装置及计算设备
CN114422841B (zh) * 2021-12-17 2024-01-02 北京达佳互联信息技术有限公司 字幕生成方法、装置、电子设备及存储介质
CN114501064B (zh) * 2022-01-29 2023-07-14 北京有竹居网络技术有限公司 一种视频生成方法、装置、设备、介质及产品
CN116166827B (zh) * 2023-04-24 2023-12-15 北京百度网讯科技有限公司 语义标签抽取模型的训练和语义标签的抽取方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108419094A (zh) * 2018-03-05 2018-08-17 腾讯科技（深圳）有限公司 视频处理方法、视频检索方法、装置、介质及服务器
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN109359214A (zh) * 2018-10-15 2019-02-19 平安科技（深圳）有限公司 基于神经网络的视频描述生成方法、存储介质及终端设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107809642B (zh) * 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
US10303768B2 (en) * 2015-05-04 2019-05-28 Sri International Exploiting multi-modal affect and semantics to assess the persuasiveness of a video
US11409791B2 (en) * 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search
US10929681B2 (en) * 2016-11-03 2021-02-23 Nec Corporation Surveillance system using adaptive spatiotemporal convolution feature representation with dynamic abstraction for video to language translation
CN108062505B (zh) * 2016-11-09 2022-03-18 微软技术许可有限责任公司 用于基于神经网络的动作检测的方法和设备
US10558750B2 (en) * 2016-11-18 2020-02-11 Salesforce.Com, Inc. Spatial attention model for image captioning
JP6867153B2 (ja) * 2016-12-21 2021-04-28 ホーチキ株式会社 異常監視システム
US10592751B2 (en) * 2017-02-03 2020-03-17 Fuji Xerox Co., Ltd. Method and system to generate targeted captions and summarize long, continuous media files
EP3399460B1 (en) * 2017-05-02 2019-07-17 Dassault Systèmes Captioning a region of an image
US10909157B2 (en) * 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
US10831834B2 (en) * 2018-11-27 2020-11-10 Sap Se Unsupervised document summarization by attention and reconstruction
WO2020190112A1 (en) * 2019-03-21 2020-09-24 Samsung Electronics Co., Ltd. Method, apparatus, device and medium for generating captioning information of multimedia data
CN111836111A (zh) * 2019-04-17 2020-10-27 微软技术许可有限责任公司 生成弹幕的技术
CN109874029B (zh) * 2019-04-22 2021-02-12 腾讯科技（深圳）有限公司 视频描述生成方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108419094A (zh) * 2018-03-05 2018-08-17 腾讯科技（深圳）有限公司 视频处理方法、视频检索方法、装置、介质及服务器
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN109359214A (zh) * 2018-10-15 2019-02-19 平安科技（深圳）有限公司 基于神经网络的视频描述生成方法、存储介质及终端设备

Also Published As

Publication number Publication date
EP3962097A1 (en) 2022-03-02
CN109874029A (zh) 2019-06-11
KR20210095208A (ko) 2021-07-30
EP3962097A4 (en) 2022-07-13
US11743551B2 (en) 2023-08-29
KR102477795B1 (ko) 2022-12-14
US20210281774A1 (en) 2021-09-09
JP7179183B2 (ja) 2022-11-28
WO2020215988A1 (zh) 2020-10-29
JP2022509299A (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
CN109874029B (zh) 视频描述生成方法、装置、设备及存储介质
US11409791B2 (en) Joint heterogeneous language-vision embeddings for video tagging and search
WO2022161298A1 (zh) 信息生成方法、装置、设备、存储介质及程序产品
CN110234018B (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
US20230077849A1 (en) Content recognition method and apparatus, computer device, and storage medium
CN109740158B (zh) 一种文本语义解析方法及装置
EP3885966B1 (en) Method and device for generating natural language description information
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
CN111597341A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN113392265A (zh) 多媒体处理方法、装置及设备
CN116912642A (zh) 基于双模多粒度交互的多模态情感分析方法、设备及介质
CN110188158B (zh) 关键词及话题标签生成方法、装置、介质及电子设备
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN115129829A (zh) 问答计算方法、服务器及存储介质
CN115132182B (zh) 一种数据识别方法、装置、设备及可读存储介质
KR102422844B1 (ko) 인공지능에 기반하여 영상 컨텐츠의 언어 위기를 관리하는 방법
CN116561271A (zh) 问答处理方法及装置
CN115422388A (zh) 一种视觉对话方法及系统
CN115050371A (zh) 语音识别方法、装置、计算机设备和存储介质
CN115982343B (zh) 摘要生成方法、训练摘要生成模型的方法及装置
CN115081459B (zh) 口语文本生成方法、装置、设备及存储介质
CN117540007B (zh) 基于相似模态补全的多模态情感分析方法、系统和设备
CN113299318B (zh) 一种音频节拍的检测方法、装置、计算机设备和存储介质
CN113946663A (zh) 语句生成方法、提问方法、装置及可读介质
CN116980699A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant