CN111480166A - 从视频中定位目标视频片段的方法和装置 - Google Patents

从视频中定位目标视频片段的方法和装置 Download PDF

Info

Publication number
CN111480166A
CN111480166A CN201880073155.4A CN201880073155A CN111480166A CN 111480166 A CN111480166 A CN 111480166A CN 201880073155 A CN201880073155 A CN 201880073155A CN 111480166 A CN111480166 A CN 111480166A
Authority
CN
China
Prior art keywords
current
video
fully
training sample
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880073155.4A
Other languages
English (en)
Other versions
CN111480166B (zh
Inventor
何栋梁
赵翔
黄际洲
李甫
刘霄
文石磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of CN111480166A publication Critical patent/CN111480166A/zh
Application granted granted Critical
Publication of CN111480166B publication Critical patent/CN111480166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了从视频中定位目标视频片段的方法和装置。所述方法的一实施例包括：从视频中，基于当前位置确定出当前视频片段；获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息；基于描述信息和当前状态信息，生成当前动作策略，当前动作策略用于指示当前视频片段在视频中的位置变化；方法还包括：响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。该实现方式实现了从视频中定位出与预先设置的描述信息相匹配的目标视频片段。

Description

从视频中定位目标视频片段的方法和装置
技术领域
本申请实施例涉及视频处理领域，具体涉及视频理解领域，尤其涉及从视频中定位目标视频片段的方法和装置。
背景技术
视频片段定位(Video Grounding)，是指根据预先给定的自然语言描述，从视频中确定出与该给定的自然语言描述相匹配的视频片段。所确定出的视频片段在视频中的相对位置，例如可以通过视频片段在视频中的起始时刻和终止时刻来表征。
视频片段定位在视频理解中起着非常重要的作用。在一些现有的视频片段定位技术中，通过预先设置的滑窗(slide window)在视频中按照某种预设的策略滑动，从而得到与自然语言描述相匹配的视频片段。
或者，在另一些现有的视频片段定位技术中，通过对预分割(pre-segmented)的视频中全部可能的视频片段-自然语言描述数据对进行枚举，对这些数据对按照某种评价指标进行评估、排序，并从中选择出目标视频片段。
发明内容
本申请实施例提出了从视频中定位目标视频片段的方法和装置。
第一方面，本申请实施例提供了一种从视频中定位目标视频片段的方法，包括：从视频中，基于当前位置确定出当前视频片段；获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息；基于描述信息和当前状态信息，生成当前动作策略，当前动作策略用于指示当前视频片段在视频中的位置变化；方法还包括：响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。
在一些实施例中，方法还包括：响应于未达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行目标视频片段确定步骤。
在一些实施例中，基于描述信息和当前状态信息，生成当前动作策略，包括：将描述信息和当前状态信息输入预先训练的策略生成模型，得到预先生成的动作策略集合中，对当前视频片段分别执行各动作策略的概率分布；基于所得到的概率分布，从动作策略集合中确定出当前动作策略。
在一些实施例中，策略生成模型包括描述网络和策略生成网络；描述网络包括具有多个全连接层的全连接单元，全连接单元用于基于预先获得的目标视频片段描述特征和当前状态信息生成当前状态；策略生成网络包括门控循环网络和第一全连接层，门控循环网络用于基于当前状态生成隐状态，第一全连接层用于根据隐状态生成概率分布。
在一些实施例中，在执行目标视频片段确定步骤之前，方法还包括：获取用于指示视频的视频特征的视频特征信息；描述网络还用于基于视频特征信息生成当前状态。
在一些实施例中，，当前状态信息还包括用于指示当前视频片段在视频中的相对位置特征的信息。
在一些实施例中，方法还包括：利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型；累积损失值通过如下确定步骤确定：将训练样本视频和基于训练样本视频的目标视频片段的当前位置信息所确定的训练样本视频的当前视频片段输入当前策略生成模型，并执行如下的迭代步骤：基于当前策略生成模型的描述网络，确定训练样本视频的当前状态；将所确定的训练样本视频的当前状态输入当前策略生成模型的策略生成网络，得到在当前策略生成模型和训练样本视频的当前状态下的当前概率分布；基于所确定的当前概率分布，利用预先设置的损失函数，确定当前迭代步骤的损失值；将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值；确定步骤还包括：响应于未达到迭代终止条件，基于当前当前概率分布，更新当前位置，并重新执行迭代步骤；响应于达到迭代终止条件，将最后一次执行迭代步骤得到的更新后的当前迭代步骤的损失值作为累积损失值。
在一些实施例中，损失函数包括用于表征基于预先设置的累积奖赏函数所确定的第一分量；利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型，包括：基于由第一分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
在一些实施例中，策略生成网络还包括第二全连接层；第二全连接层用于根据隐状态生成与当前状态信息对应的奖赏预测值；损失函数还包括用于表征奖赏预测值和基于奖赏函数所确定的实际奖赏值之间偏差的第二分量；利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：基于第一分量所确定的累积损失值的反向传播，调整第二全连接层的参数；以及基于第二分量所确定的累积损失值的反向传播，调整门控循环网络、第二全连接层以及全连接单元的参数。
在一些实施例中，损失函数还包括用于表征第一全连接层所输出的概率分布的熵的第三分量；利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：基于第三分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
在一些实施例中，策略生成模型还包括位置回归网络；位置回归网络包括与描述网络连接的第三全连接层和第四全连接层；在基于当前策略生成模型的描述网络，确定训练样本视频的当前状态之后，迭代步骤还包括：将训练样本视频的当前状态输入第三全连接层，得到训练样本视频的预测交并比；以及将训练样本视频的当前状态输入第四全连接层，得到训练样本视频中目标视频片段的预测位置；损失函数还包括第四分量和第五分量，其中，第四分量用于表征第三全连接层在当前迭代步骤输出的训练样本视频的预测交并比和执行上一次迭代步骤所输出的训练样本视频的预测交并比之间的偏差，第五分量用于表征第四全连接层输出的训练样本视频中目标视频片段在训练样本视频中的预测位置和训练样本视频中标注的目标视频片段的真实位置之间的偏差；利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：基于损失函数的第四分量和第五分量所确定的累积损失值的反向传播，调整全连接单元、第三全连接层和第四全连接层的参数。
第二方面，本申请实施例提供了一种从视频中定位目标视频片段的装置，包括：确定单元，被配置成从视频中，基于当前位置确定出当前视频片段；执行单元，被配置成获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息；基于描述信息和当前状态信息，生成当前动作策略，当前动作策略用于指示当前视频片段在视频中的位置变化；装置还包括：生成单元，被配置成响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。
在一些实施例中，生成单元还被配置成：响应于未达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行目标视频片段确定步骤。
在一些实施例中，执行单元进一步被配置成：将描述信息和当前状态信息输入预先训练的策略生成模型，得到预先生成的动作策略集合中，对当前视频片段分别执行各动作策略的概率分布；基于所得到的概率分布，从动作策略集合中确定出当前动作策略。
在一些实施例中，策略生成模型包括描述网络和策略生成网络；描述网络包括具有多个全连接层的全连接单元，全连接单元用于基于预先获得的目标视频片段描述特征和当前状态信息生成当前状态；策略生成网络包括门控循环网络和第一全连接层，门控循环网络用于基于当前状态生成隐状态，第一全连接层用于根据隐状态生成概率分布。
在一些实施例中，装置还包括获取单元；获取单元被配置成在执行单元执行目标视频片段确定步骤之前，获取用于指示视频的视频特征的视频特征信息；描述网络还用于基于视频特征信息生成当前状态。
在一些实施例中，当前状态信息还包括用于指示当前视频片段在视频中的相对位置特征的信息。
在一些实施例中，装置还包括训练单元；训练单元被配置成利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型；累积损失值通过如下确定步骤确定：将训练样本视频和基于训练样本视频的目标视频片段的当前位置信息所确定的训练样本视频的当前视频片段输入当前策略生成模型，并执行如下的迭代步骤：基于当前策略生成模型的描述网络，确定训练样本视频的当前状态；将所确定的训练样本视频的当前状态输入当前策略生成模型的策略生成网络，得到在当前策略生成模型和训练样本视频的当前状态下的当前概率分布；基于所确定的当前概率分布，利用预先设置的损失函数，确定当前迭代步骤的损失值；将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值；确定步骤还包括：响应于未达到迭代终止条件，基于当前当前概率分布，更新当前位置，并重新执行迭代步骤；响应于达到迭代终止条件，将最后一次执行迭代步骤得到的更新后的当前迭代步骤的损失值作为累积损失值。
在一些实施例中，损失函数包括用于表征基于预先设置的累积奖赏函数所确定的第一分量；训练单元进一步被配置成：基于由第一分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
在一些实施例中，策略生成网络还包括第二全连接层；第二全连接层用于根据隐状态生成与当前状态信息对应的奖赏预测值；损失函数还包括用于表征奖赏预测值和基于奖赏函数所确定的实际奖赏值之间偏差的第二分量；训练单元进一步被配置成：基于第一分量所确定的累积损失值的反向传播，调整第二全连接层的参数；以及基于第二分量所确定的累积损失值的反向传播，调整门控循环网络、第二全连接层以及全连接单元的参数。
在一些实施例中，损失函数还包括用于表征第一全连接层所输出的概率分布的熵的第三分量；训练单元进一步被配置成：基于第三分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
在一些实施例中，策略生成模型还包括位置回归网络；位置回归网络包括与描述网络连接的第三全连接层和第四全连接层；训练单元在执行基于当前策略生成模型的描述网络，确定训练样本视频的当前状态之后，进一步被配置成：将训练样本视频的当前状态输入第三全连接层，得到训练样本视频的预测交并比；以及将训练样本视频的当前状态输入第四全连接层，得到训练样本视频中目标视频片段的预测位置；损失函数还包括第四分量和第五分量，其中，第四分量用于表征第三全连接层在当前迭代步骤输出的训练样本视频的预测交并比和执行上一次迭代步骤所输出的训练样本视频的预测交并比之间的偏差，第五分量用于表征第四全连接层输出的训练样本视频中目标视频片段在训练样本视频中的预测位置和训练样本视频中标注的目标视频片段的真实位置之间的偏差；训练单元进一步被配置成：基于损失函数的第四分量和第五分量所确定的累积损失值的反向传播，调整全连接单元、第三全连接层和第四全连接层的参数。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面描述的方法。
本申请实施例提供的从视频中定位目标视频片段的技术方案，首先，通过当前位置来确定视频中的当前视频片段，接着，确定当前状态信息，并基于当前状态信息生成当前动作策略，并使用当前动作策略来改变当前位置，从而相应地改变从视频中得到的视频片段。此外，通过设置预设条件，并在达到预设条件之后将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段，以期实现从视频中定位出与预先设置的描述信息相匹配的目标视频片段。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请一个实施例的从视频中定位目标视频片段的方法可以应用于其中的示例性系统架构图；
图2是根据本申请的从视频中定位目标视频片段的方法的一个实施例的流程图；
图3是根据本申请的从视频中定位目标视频片段的方法的一个应用场景的示意图；
图4是根据本申请的从视频中定位目标视频片段的方法的另一个实施例的流程图；
图5是可应用于图4所示实施例的策略生成模型的示意性结构图；
图6是确定累积损失值的一个示意性流程；
图7是利用图5所示的策略生成模型的架构得到累积损失值的示意图；
图8是可应用于图4所示实施例的策略生成模型的另一种示意性结构图；
图9是可应用于图4所示实施例的策略生成模型的又一种示意性结构图；
图10是根据本申请的从视频中定位目标视频片段的装置的一个实施例的结构图；
图11是适于用来实现本申请实施例的从视频中定位目标视频片段的方法的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的从视频中定位目标视频片段的方法或从视频中定位目标视频片段的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如视频处理类应用、图像处理类应用、搜索类应用、生活服务类应用、购物类应用等。
终端设备101、102、103可以是具有屏幕的各种电子设备，包括但不限于智能手机、平板电脑、智能手表、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的视频定位请求进行处理的后台服务器。后台服务器可以基于接收到的视频定位请求对视频进行解析、目标视频片段定位标等处理，并将处理结果(例如，用于指示定位得到的目标视频片段在视频中所处位置的信息)反馈给终端设备101、102、103。
需要说明的是，本申请实施例所提供的从视频中定位目标视频片段的方法可以由服务器105执行，也可以由终端设备101、102、103执行，或者，还可以一部分由服务器105执行而另一部分由终端设备101、102、103执行。相应地，从视频中定位目标视频片段的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中，或者，还可以一部分设置在服务器105中而另一部分设置在终端设备101、102、103中。
应该理解，若本申请实施例所提供的从视频中定位目标视频片段的方法仅由服务器105或仅由终端设备101、102、103执行，图1所示的架构可以仅包含服务器或仅包含终端设备。此外，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。例如服务器可以为集群式的服务器，包括部署了不同进程的多台服务器。
继续参考图2，其示出了根据本申请的从视频中定位目标视频片段方法的一个实施例的流程200。
本实施例的方法中，目标视频片段可以理解为某一给定的视频中，符合预先设定的某种要求或条件的视频片段。相应地，本实施例的从视频中定位目标视频片段的方法，旨在从该给定的视频中，确定出符合该预先设定的要求或条件的视频片段所处的位置。
该从视频中定位目标视频片段的方法，包括以下步骤：
步骤201，从视频中，基于当前位置确定出当前视频片段。
在这里，视频可以是任意预先获取的视频文件，该视频文件可以包括多个视频帧按照某种预定的顺序(例如，按照拍摄视频的顺序)排列构成的视频帧。
执行主体可以采用任何可行的方式得到该视频文件。
例如，在一些应用场景中，视频文件可以是执行主体利用其上设置的视频采集单元或者与之通信连接的视频采集装置拍摄得到的。例如，若执行主体为图1所示的终端设备，可以通过设置在终端设备上的摄像头或者与终端设备通过有线或无线方式通信连接的摄像机拍摄得到视频文件。
或者，在另一些应用场景中，视频文件也可以存储在执行主体的存储单元中，或者，还可以存储在与执行主体通信连接的其它电子设备的存储单元中，并且响应于某种触发条件，向执行主体发送该视频文件。
视频片段，可以指视频中至少一部分连续的视频帧组成的片段。例如，视频包括第1～第1000个视频帧。视频片段可以是视频所包含的视频帧中，第1～第10个视频帧组成的片段。
在一些应用场景中，视频片段在视频中所处的位置例如可以通过视频片段中所包含的视频帧在整个视频包含的视频帧所构成的视频帧序列中所处的位置来表征。例如，视频包含的视频帧所构成的视频帧序列为F＝[f1,f2,…f1000]，视频片段可以表示为F1＝[f10,f11,…,f20]，表示视频片段F1由视频帧序列F中第10～第20个视频帧组成。
或者，在另一些应用场景中，视频片段在视频中所处的位置还可以用该视频片段在视频中的起始时刻和终止时刻来表征。例如，视频的总时长为T，可以将视频片段表示为[t1,t2]。其中，t1可用于表示视频片段在该视频中的起始时刻，而t2则可用于表示视频片段在该视频中的终止时刻，并且t1、t2和T满足0≤t1＜t2≤T。
此外，可以理解的是，视频片段在视频中所处的位置还可以用其它任何可行的方式来表征。例如，通过视频片段在该视频中的起始时刻和视频片段的时长来表征，在此不再赘述。
本步骤中，当前位置可以由人为指定，或者，也可以通过某种方式计算得到。并且，在本步骤在，可以首先确定出当前位置，并基于当前位置来从视频中确定出相应的视频片段。例如，在一些应用场景中，用该视频片段在视频中的起始时刻和终止时刻来表征视频片段。在这些应用场景中，可以首先确定出起始时刻t1和终止时刻t2，再从视频中确定出从t1时刻开始直至t2时刻结束的这一视频片段。
步骤202，获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行目标视频片段确定步骤。
目标视频片段的描述特征可以理解为用于描述期望定位出的目标视频片段的特征。例如，期望从视频中定位出出现了“一辆行驶的红色小轿车”的视频片段，那么，描述特征则可以是能够表征“一辆行驶的红色小轿车”的语义的特征。
在一些应用场景中，目标视频片段的描述特征例如可以采用预先训练的语句至向量(Sentence2vec)模型来得到。实践中，可以首先对目标视频片段的描述语句进行分词，再利用预先训练的词至向量(Word2vec)模型得到各分词对应的词向量，接着，通过语句至向量模型确定各词向量的权重，最后基于各词向量及其对应的权重，来得到描述语句所对应的特征向量，并将该特征向量作为目标视频片段的描述特征。
目标视频片段确定步骤可以进一步包括如下的子步骤202a～202b。
子步骤202a，确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息。
当前视频片段的特征例如可以是能够表征当前视频片段中所包含的对象(例如，出现在当前视频片段中的人物、景物)以及对象所处状态(例如，当前视频片段中人物的动作、景物的形态)等的特征。实践中，可以利用预先训练的特征提取网络来提取当前视频片段的特征。例如，可以利用预先训练的三维卷积神经网络来提取当前视频片段的特征，所提取出的特征不仅包含了当前视频片段在空间上的特征(即，当前视频片段中每个视频帧中的特征)，也包含了当前视频片段在时间上的特征。
子步骤202b，基于描述信息和当前状态信息，生成当前动作策略，当前动作策略用于指示当前视频片段在视频中的位置变化。
从以上的描述可以得出，当前视频片段在视频中的位置通过视频片段中所包含的视频帧在整个视频包含的视频帧所构成的视频帧序列中所处的位置来表征，或者，也可以用该视频片段在视频中的起始时刻和终止时刻来表征。因此，在这里，当前视频片段在视频中的位置变化也可以通过当前视频片段在视频帧序列中所处的位置的变化来表征，或者，也可以通过当前视频片段在视频中的起始时刻和/或终止时刻的变化来表征。
在这里，当前动作策略例如可以理解为设置在视频中的一个“时间滑窗”的变化策略。本步骤中，根据步骤202a得到的当前状态信息，对时间滑窗的改变可以包括但不限于如下的至少一个动作：改变时间滑窗的起始位置，改变时间滑窗的终止位置，改变时间滑窗的长度等等。
此外，在一些应用场景中，可以根据描述信息和当前状态信息之间的偏差，来确定当前动作策略，从而改变从视频中定位出的视频片段。在这些应用场景中，例如，用于指示预先生成的目标视频片段描述特征的信息和用于指示当前视频片段的特征的信息二者均表示为特征向量，可以根据两个特征向量各自的数值特征和该两个特征向量之间的距离等，来确定时间滑窗的位置变化和/或长度变化，从而改变从视频中定位得到的视频片段。
可以理解的是，由于时间滑窗的变化改变了从视频中定位得到的视频片段，相应地，定位得到的视频片段的特征也将相应地发生变化。
本实施例的从视频中定位目标视频片段的方法还包括：
步骤203，响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。
在这里，预设条件可以是任何可行的条件。
例如，在一些应用场景中，可以将执行目标片段确定步骤的次数作为预设条件。在这些应用场景中，若执行目标片段确定步骤的次数达到了预先设置的次数阈值，便可以采用最后一次执行目标片段确定步骤确定出的当前动作策略改变时间滑窗，并将改变后的时间滑窗所确定的视频片段作为目标视频片段。
或者，在另一些应用场景中，还可以将预先设置的某个目标动作策略作为预设条件。在这些应用场景中，若通过目标视频片段确定步骤确定出的当前动作策略与该目标动作策略相同或者相似度较高，则可以将执行最后一次当前动作策略之后得到的视频片段作为目标视频片段。在这些应用场景中，例如，目标动作策略为“不改变时间滑窗”，那么，若执行目标视频片段确定步骤之后得到的当前动作策略也为“不改变时间滑窗”，或者对当前的时间滑窗仅进行了某种轻微的改变，那么，便可以采用最后一次执行目标片段确定步骤确定出的当前动作策略改变时间滑窗，并将改变后的时间滑窗所确定的视频片段作为目标视频片段。
本申请实施例提供的从视频中定位目标视频片段的方法，首先，通过当前位置来确定视频中的当前视频片段，接着，确定当前状态信息，并基于当前状态信息生成当前动作策略，并使用当前动作策略来改变当前位置，从而相应地改变从视频中得到的视频片段。此外，通过设置预设条件，并在达到预设条件之后将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段，从而可以实现从视频中定位出与预先设置的描述信息相匹配的目标视频片段。
可以理解的是，在本实施例的从视频中定位目标视频片段的方法中，若执行目标视频片段确定步骤之后，仍未达到预设条件，可以对当前视频片段执行当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行目标视频片段确定步骤。这样一来，在满足预设条件之前，通过循环迭代地执行目标视频片段确定步骤，可以使得当前视频片段逐渐地接近目标视频片段。
继续参见图3，图3是根据本实施例的从视频中定位目标视频片段的方法的应用场景的一个示意图300。在该应用场景中，例如，期望从视频中定位出描述小男孩弹奏吉他的视频片段。
如图3所示，首先，在t0时刻，在由视频帧序列[f1,f2,…,f15]构成的视频中，确定出一初始时间滑窗，并基于该初始时间滑窗确定出当前视频片段F0＝[f1,f2,…,f8]。
接着，确定用于表征“小男孩弹奏吉他”这一描述语句的特征的描述信息。例如，可以采用预先训练的Sentence2vec模型(例如，Skip-thought模型)来提取该描述语句的描述特征，并基于该描述特征得到描述信息。
接着，可以确定当前视频片段F0的当前状态信息。例如，可以将F0输入预先训练的三维卷积神经网络模型，从而提取出当前视频片段F0的特征向量，并基于该特征向量得到当前状态信息。
接着，通过对描述信息和当前状态信息的运算(例如，通过对描述信息和当前状态信息的比较)，可以生成当前动作策略，该当前动作策略可以对当前的时间滑窗所确定出的当前视频片段F0进行调整。
接着，若当前状态不满足预设条件(例如，当前已执行目标视频片段确定步骤的次数未达到预设的次数阈值，和/或当前动作策略和预先设置的动作策略不匹配)，则对当前视频片段F0实施该当前动作策略，从而得到新的当前视频片段F1＝[f2,f3,…,f9]。
如此循环迭代，最后，若在执行n次目标视频片段确定步骤之后达到预设条件，则可以将执行该当前动作策略之后的当前视频片段Fn＝[f4,f5,…,f10]作为定位得到的目标视频片段。
参见图4所示，为本申请的从视频中定位目标视频片段的方法的另一个实施例的示意性流程400。
本实施例的方法包括：
步骤401，从视频中，基于当前位置确定出当前视频片段。
本实施例的步骤401可以按照与图2所示实施例的步骤201类似的方式执行，在此不再赘述。
步骤402，获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行目标视频片段确定步骤。
本实施例的目标视频片段确定步骤可以进一步包括如下的子步骤402a～402c。
具体地，子步骤402a，确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息。
本实施例中的子步骤402a可以按照与图2所示实施例的子步骤202a类似的方式执行，在此不再赘述。
子步骤402b，将描述信息和当前状态信息输入预先训练的策略生成模型，得到预先生成的动作策略集合中，对当前视频片段分别执行各动作策略的概率分布。
在这里，策略生成模型例如可以是通过强化学习(reinforcement learning)得到的。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。
由于本实施例中，学习的目标是得到某种动作策略，从而最终从视频中准确地定位出与描述特征相对应的视频片段，因而，可以理解，通过恰当地设置奖赏，可以使得智能体能够逐步地从视频中定位出与描述特征相匹配的目标视频片段。
例如，可以理解，让智能体执行更多次的目标视频片段确定步骤，可以有利于最终确定出的目标视频片段的准确度，但同时也会显著地增大运算量。因此，在强化学习的过程中，可以使奖赏与基于某种评价指标确定出的准确度正相关，并且使奖赏与运算量负相关，从而使得最终学习到的策略既具有较高的准确度又具有相对较小的运算量。
此外，预先生成的动作策略集合中，可以包含多个预先设置的动作策略。例如，在一些可选的实现方式中，动作策略集合可以包括如下预先设置的动作策略：将当前视频片段的起始时刻和终止时刻同时前移δ、将当前视频片段的起始时刻和终止时刻同时后移δ、将当前视频片段的起始时刻前移δ、将当前视频片段的起始时刻后移δ、将当前视频片段的终止时刻前移δ、将当前视频片段的终止时刻后移δ以及停止(即，不对当前视频片段的起始时刻和终止时刻作任何调整)。在这里，δ可以是基于某一预设的比例、根据视频的总时长计算得到的一数值。例如，预设比例为10％，视频总时长为1分钟，那么，δ可以是60秒×10％＝6秒。
子步骤402c，基于所得到的概率分布，从动作策略集合中确定出当前动作策略。
通过强化学习，可以得到对当前视频片段分别执行动作策略集合中的各动作策略得到的概率分布。该概率分布可以理解为动作策略集合中，各动作策略为当前最优动作策略的概率。也即是说，概率分布中，具有较大概率的动作策略，是最优动作的概率也相应地较大。因此，在一些可选的实现方式中，可以将概率分布中，对应最高概率的动作策略，确定为当前动作策略。
本实施例的从视频中定位目标视频片段的方法还包括：
步骤403，响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。
本步骤403也可以采用与图2所示的实施例中步骤203类似的方式执行，在此不再赘述。
此外，在一些可选的实现方式中，与图2所示的实施例类似，若未达到预设条件，本实施例的方法同样也可以对当前视频片段执行当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行目标视频片段确定步骤。
在一些可选的实现方式中，本实施例的从视频中定位目标视频片段的方法可以采用如图5所示的策略生成模型500。
具体地，如图5所示，策略生成模型可以包括描述网络501和策略生成网络502。
描述网络501包括具有多个全连接层的全连接单元，全连接单元用于基于预先获得的目标视频片段描述特征和当前状态信息生成当前状态s(t)。
例如，在一些可选的实现方式中，如图5所示，全连接单元可以包括全连接层F01、F02和F05。其中，全连接层F01可以接收目标视频片段描述特征，并对所接收的目标视频片段描述特征进行整合并将整合后的特征输出。类似地，全连接层F02可以接收当前状态信息，例如，用于指示当前视频片段的特征的信息，并对所接收的用于指示当前视频片段的特征的信息进行整合后的特征输出。全连接层F05可以进一步地对其接收到的全连接层F01和F02的输出进行整合，并输出整合后的特征，即当前状态s(t)。
可以理解的是，在一些可选的实现方式中，若期望利用更多的信息来描述视频的特征以及当前视频片段的特征，描述网络可以进一步接收这些特征，并进一步设置全连接层来对这些特征进行整合。相应地，全连接单元中的全连接层F05也可以接收这些整合后的特征，并基于这些整合后的特征来得到当前状态s(t)。
例如，在这些可选的实现方式的一些应用场景中，当前状态信息除用于指示当前视频片段的特征的信息之外，还包括用于指示当前视频片段在视频中的相对位置特征的信息。在这些应用场景中，描述网络(例如，描述网络中的全连接单元)还可以包括一全连接层F03(图中未示出)。该全连接层层F03可以对所接收的用于指示当前视频片段在视频中的相对位置特征的信息进行整合并输出至如图5所示的全连接层F05。全连接层F05可以进一步地对其接收到的全连接层F01、F02和F03的输出进行整合，并输出整合后的特征，即当前状态s(t)。
此外，在这些应用场景中，在执行目标视频片段确定步骤之前，执行主体还可以获取用于指示所述视频的视频特征的视频特征信息。例如，执行主体可以利用预先训练的三维卷积神经网络来提取视频的视频特征，从而得到视频特征信息。在这里，可以利用提取当前视频片段的视频特征的三维卷积神经网络来提取整个视频的视频特征。在这些应用场景中，相应地，描述网络(例如，描述网络中的全连接单元)还可以进一步包括一全连接层F04(图中未示出)。该全连接层F04可以对所接收的的用于指示视频的视频特征的视频特征信息，进行整合并输出至如图5所示的全连接层F05。全连接层F05可以进一步地对其接收到的全连接层F01、F02、F03和F04的输出进行整合，并输出整合后的特征，即当前状态s(t)。
策略生成网络502可以包括门控循环网络(Gated Recurrent Unit，GRU)502a和第一全连接层502b。门控循环网络502a用于基于当前状态信息s(t)生成隐状态，第一全连接层502b可用于根据隐状态生成概率分布
Figure BDA0002487734220000171
在这里，
Figure BDA0002487734220000172
可以理解为在当前状态s(t)的条件下，各个动作策略
Figure BDA0002487734220000175
的概率分布。在这里，动作策略
Figure BDA0002487734220000173
为预设的动作策略集合
Figure BDA0002487734220000174
中的任意一个动作策略。可以理解的是，在一些应用场景中，策略生成网络502还可以包括分类器(图中未示出)。分类器例如可以是Softmax分类器。分类器可以对第一全连接层502b输出的概率分布进行归一化，使得归一化之后的概率分布中，与动作策略集合中各动作策略相对应的概率之和为1。
显然，在使用策略生成模型确定当前动作策略之前，还需要对策略生成模型进行训练。
在这里，可以利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型。
在一些可选的实现方式中，累积损失值可以通过如图6所示的流程得到。
具体地，首先，可以将训练样本视频和基于训练样本视频的目标视频片段的当前位置信息所确定的训练样本视频的当前视频片段输入当前策略生成模型。并执行迭代步骤601。
具体地，迭代步骤601可以进一步包括：
子步骤601a，基于当前策略生成模型的描述网络，确定训练样本视频的当前状态。在这里，训练样本视频的当前状态例如可基于训练样本视频中预先标注的目标视频片段的描述特征、训练样本视频的当前视频片段的当前状态信息(例如，用于指示当前视频片段的特征的信息，和用于指示当前视频片段在视频中的相对位置特征的信息)以及训练样本视频的视频特征信息得到。此外，可以理解，在策略生成模型的训练过程中，策略生成模型中的参数是变化的。因此，这里的当前策略生成模型可以是初始策略生成模型，或者是经过一次或多次累计损失值的反向传播，对初始策略生成模型中的参数进行调整后所得到的某一个策略生成模型。子步骤601b，将所确定的训练样本视频的当前状态输入当前策略生成模型的策略生成网络，得到在当前策略生成模型和训练样本视频的当前状态下的当前概率分布。
子步骤601c，基于所确定的当前概率分布，利用预先设置的损失函数，确定当前迭代步骤的损失值。
子步骤601d，将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值。
接着，步骤602，响应于未达到迭代终止条件，基于当前当前概率分布，更新当前位置，并重新执行迭代步骤601。
步骤603，响应于达到迭代终止条件，将最后一次执行迭代步骤得到的更新后的当前迭代步骤的损失值作为累积损失值。
这样一来，通过执行迭代步骤601，并逐步地更新当前迭代步骤的损失值和当前位置，可以对每次计算出的损失值进行累积，直至满足迭代终止条件。
下面，将进一步结合图7来进一步阐述累积损失值的确定方式。
图7中，示意性地采用了与图5中相同结构的策略生成模型来进行说明。本领域技术人员可以理解，在当前状态信息所指示的特征不同的情况下，策略生成模型中的描述网络也将具有不同的结构(例如，具有不同数量的全连接层)，类似地，若输入描述网络的还包括用于指示训练样本视频的视频特征的视频特征信息，策略生成模型中的描述网络也将设置全连接层(例如，如前所述的全连接层F04)来整合该视频特征信息，并在最终生成的当前状态(即，描述网络701的输出)中得以体现。
如图7所示，首先，可以从训练样本视频中确定一目标视频片段的初始位置L(0)，并将基于该初始位置确定出的训练样本视频的当前视频片段的特征信息、预先确定的训练样本视频的描述信息输入描述网络701，得到当前状态S(1)。
接着，将当前状态S(1)输入策略生成网络702，并得到在当前策略生成模型和训练样本视频的当前状态S(1)下的当前概率分布
Figure BDA0002487734220000191
其中，θπ为当前策略生成模型的模型参数。
接着，基于所确定的当前概率分布
Figure BDA0002487734220000192
利用预先设置的损失函数，确定当前迭代步骤的损失值Loss1。在这里，可以理解，在执行迭代步骤之前，当前迭代步骤的损失值可以具有一初始值Loss0＝0。
接着，将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值，即，更新后的Loss1为更新前的Loss1与Loss0之和。自此，完成了当前迭代步骤的损失值的更新。
接着，判断当前是否达到迭代终止条件，例如，预先设置执行Tmax次迭代步骤为迭代终止条件，那么，若当前执行次数未达到Tmax，则基于当前当前概率分布
Figure BDA0002487734220000193
更新当前位置为L(1)，并重新执行迭代步骤。
这样一来，由于当前位置被更新为L(1)，当前状态也将相应地更新为s(2)，最终得到的概率分布
Figure BDA0002487734220000194
也将是基于新的当前状态s(2)得到的。此外，通过再次执行迭代步骤，可以将当前迭代步骤的损失值Loss2更新为更新前的Loss2与Loss1之和。
通过不断地更新当前迭代步骤的损失值和当前位置，可以逐步地累积损失值，并在达到迭代终止条件时，得到最终的累积损失值。
正如以上已描述的，本实施例的策略生成模型可以通过强化学习的方式训练得到。为了综合考虑最终定位得到的目标视频的准确程度和运算量的负担，在一些可选的实现方式中，可以采用如下的公式(1)来设置某一次执行迭代步骤的奖赏rt：
Figure BDA0002487734220000201
上述公式(1)中，φ为一预设的惩罚系数(penalty factor)，并满足0＜φ≤1。这样一来，-φ×t为一负数，并且执行迭代步骤的次数t越多，-φ×t也相应地越大。
此外，上述公式(1)中，tIoU(t)可以理解为第t步的交并比，并且tIoU(t)可以通过如下的公式(2)确定：
Figure BDA0002487734220000202
其中，
Figure BDA0002487734220000205
为对训练样本视频执行第t次迭代步骤(即，第t步)后定位得到的当前视频片段在训练样本视频所处的时间区间，相应地，
Figure BDA0002487734220000206
为第t步后，当前视频片段在训练样本视频中的起始时刻，而
Figure BDA0002487734220000207
为第t步后，当前视频片段在视频中的终止时刻。G＝[gs,ge]为训练样本视频中预先标注的目标视频片段在该训练样本视频中所处的时间区间。相应地，gs为预先标注的目标视频片段在该训练样本视频中所处的起始时刻，而ge为预先标注的目标视频片段在该训练样本视频中所处的终止时刻。
可以理解的是，该定位的过程被建模为一个决策序列问题(sequential decisionmaking problem)，其最终的目标是令L(t)＝G。因此，后续步骤中的奖赏应向前进行回馈。此时，累积奖赏Rt可以通过如下的公式(3)确定：
Figure BDA0002487734220000203
在这里，γ为一预先设置的衰减系数，并满足0≤γ≤1，Tmax为预先设置的对训练样本视频执行图6所示的迭代步骤的最大次数。
正如以上描述的，为了最大化累积奖赏Rt，累积损失函数可以包括基于预先设置的累积奖赏函数Rt所确定的第一分量。具体地，第一分量例如可以采用如下公式(4)设置：
Figure BDA0002487734220000204
在公式(4)中，
Figure BDA0002487734220000213
θπ为每次执行图6所示的迭代步骤601之后，在当前策略生成模型和训练样本视频的当前状态下确定出的当前概率分布。并且该当前概率分布为动作策略集合
Figure BDA0002487734220000214
中各个动作策略
Figure BDA0002487734220000215
被采样的概率的概率分布。
这样一来，在利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型时，便可以基于第一分量所确定的累积损失值的反向传播，调整图5所示的策略生成网络中，门控循环网络、第一全连接层以及全连接单元的参数(θπ)。具体地，例如，通过随机梯度下降算法，可以最小化L'A(θπ)，从而得到L'A(θπ)最小时所对应的θπ。
在一些可选的实现方式中，本实施例的从视频中定位目标视频片段的方法还可以采用如图8所示的策略生成模型800。
与图5所示的策略生成模型类似，图8所示的策略生成模型同样可以包括描述网络801和策略生成网络802。并且，描述网络801可以采用与图5中的描述网络501类似的结构。
此外，图8所示的策略生成模型中，策略生成网络802同样可以包括门控循环网络802a和第一全连接层802b。可选地，图8所示的策略生成模型同样可以包括连接至第一全连接层802b输出端的分类器(图中未示出)。
与图5所示的策略生成模型不同的是，图8所示的策略生成模型中，策略生成网络802还进一步包括第二全连接层802c。
第二全连接层802c用于根据隐状态生成与当前状态信息对应的奖赏预测值v(s(t)|θv)，其中，θv为第二全连接层802c的模型参数。
基于图8所示的策略生成网络的结构，为了最大化累积奖赏Rt，并且使得奖赏预测值尽可能地逼近真实的累积奖赏Rt，损失函数不仅可以包括采用如下公式(5)设置的损失函数的第一分量，还可以包括用于表征奖赏预测值和基于奖赏函数所确定的实际奖赏值之间偏差的第二分量，如公式(6)所示：
Figure BDA0002487734220000211
Figure BDA0002487734220000212
相应地，在利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型时，可以基于所述第一分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及所述全连接单元的参数(θπ)、第二全连接层的参数(θv)，还可以基于第二分量所确定的累积损失值的反向传播，调整门控循环网络、第二全连接层以及全连接单元的参数(θv)。
此外，在采用如图8所示的策略生成模型的一些应用场景中，为了增加基于概率分布
Figure BDA0002487734220000223
从动作策略集合中确定出的动作策略的多样性，损失函数还可以包括采用如下公式(7)所确定的、用于表征第一全连接层所输出的概率分布的熵的第三分量：
Figure BDA0002487734220000221
在这些应用场景中，利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型时，还可以基于第三分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
可以理解的是，在实际应用中，还可以基于公式(5)～公式(7)所确定的损失函数的加权和，来得到如公式(8)所示的损失函数，并利用如公式(8)的损失函数所确定的累积损失值来训练策略生成模型：
Figure BDA0002487734220000222
其中，λ0和λ1均为预先设置的系数。
在一些可选的实现方式中，本实施例的从视频中定位目标视频片段的方法还可以采用如图9所示的策略生成模型900。
如图9所示，策略生成模型同样包括描述网络901和策略生成网络902。并且，描述网络901可以采用与图5中的描述网络501、与图8中的描述网络801类似的结构。类似的，策略生成网络902可以具有与图5中的策略生成网络502类似的结构，即，策略生成网络902可以仅包括门控循环网络902a和第一全连接层902b。或者，策略生成网络902也可以具有与图8中的策略生成网络802类似的结构，即，策略生成网络902可以包括门控循环网络902a、第一全连接层902b和第二全连接层902c。可选地，图9所示的策略生成模型同样可以包括连接至第一全连接层902b输出端的分类器(图中未示出)。
与图5、图8所示的策略生成模型不同的是，图9所示的策略生成模型还包括位置回归网络903。并且，如图9所示，位置回归网络903可以包括与描述网络901连接的第三全连接层903a和第四全连接层903b。
基于图9所示的策略生成模型的结构，在利用图6所示的流程确定累积损失值时，在迭代步骤还可以进一步包括：
将训练样本视频的当前状态s(t)输入第三全连接层903a，得到训练样本视频的预测交并比。以及，将训练样本视频的当前状态s(t)输入第四全连接层，得到训练样本视频中目标视频片段的预测位置。
损失函数还包括第四分量和第五分量，其中，第四分量用于表征第三全连接层在当前迭代步骤输出的训练样本视频的预测交并比和执行上一次迭代步骤所输出的训练样本视频的交并比之间的偏差，第五分量用于表征第四全连接层输出的训练样本视频中目标视频片段在训练样本视频中的预测位置和训练样本视频中标注的目标视频片段的真实位置之间的偏差。
例如，损失函数的第四分量可以通过如下的公式(9)确定：
Figure BDA0002487734220000231
损失函数的第五分量可以通过如下的公式(10)确定：
Figure BDA0002487734220000232
上述公式(9)中，
Figure BDA0002487734220000233
为本次迭代步骤中，第三全连接层903a输出的预测交并比。而tIoU(t-1)则是上一次迭代步骤输出的训练样本视频的交并比。在这里，tIoU(t-1)例如可以采用上述公式(2)来确定。
相应地，利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：
基于损失函数的第四分量和第五分量所确定的累积损失值的反向传播，调整全连接单元、第三全连接层和第四全连接层的参数。
可以理解的是，在实际应用中，还可以基于公式(9)～公式(10)所确定的损失函数的加权和，来得到如公式(11)所示的损失函数，并利用如公式(8)的损失函数所确定的累积损失值来调整全连接单元、第三全连接层和第四全连接层的参数：
L2＝LosstIoU+λ2×LossLoc (11)
其中，λ2为预先设置的系数。
进一步参考图10，作为对上述各图所示方法的实现，本申请提供了一种从视频中定位目标视频片段的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图10所示，本实施例的从视频中定位目标视频片段的装置包括确定单元1001、执行单元1002和生成单元1003。
确定单元1001可被配置成从视频中，基于当前位置确定出当前视频片段。
执行单元1002可被配置成获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息；基于描述信息和当前状态信息，生成当前动作策略，当前动作策略用于指示当前视频片段在视频中的位置变化。
生成单元1003可被配置成响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。
在一些可选的实现方式中，生成单元1003还可以被配置成：响应于未达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行目标视频片段确定步骤。
在一些可选的实现方式中，执行单元1002还可以进一步被配置成：将描述信息和当前状态信息输入预先训练的策略生成模型，得到预先生成的动作策略集合中，对当前视频片段分别执行各动作策略的概率分布；基于所得到的概率分布，从动作策略集合中确定出当前动作策略。
在一些可选的实现方式中，策略生成模型可以包括描述网络和策略生成网络；描述网络包括具有多个全连接层的全连接单元，全连接单元用于基于预先获得的目标视频片段描述特征和当前状态信息生成当前状态；策略生成网络包括门控循环网络和第一全连接层，门控循环网络用于基于当前状态生成隐状态，第一全连接层用于根据隐状态生成概率分布。
在一些可选的实现方式中，本实施例的从视频中定位目标视频片段的装置还可以包括获取单元(图中未示出)。获取单元可被配置成在执行单元执行目标视频片段确定步骤之前，获取用于指示视频的视频特征的视频特征信息；描述网络还用于基于视频特征信息生成当前状态。
在一些可选的实现方式中，当前状态信息还可以包括用于指示当前视频片段在视频中的相对位置特征的信息。
在一些可选的实现方式中，本实施例的从视频中定位目标视频片段的装置还可以包括训练单元(图中未示出)。训练单元可被配置成利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型；累积损失值通过如下确定步骤确定：将训练样本视频和基于训练样本视频的目标视频片段的当前位置信息所确定的训练样本视频的当前视频片段输入当前策略生成模型，并执行如下的迭代步骤：基于当前策略生成模型的描述网络，确定训练样本视频的当前状态；将所确定的训练样本视频的当前状态输入当前策略生成模型的策略生成网络，得到在当前策略生成模型和训练样本视频的当前状态下的当前概率分布；基于所确定的当前概率分布，利用预先设置的损失函数，确定当前迭代步骤的损失值；将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值；确定步骤还包括：响应于未达到迭代终止条件，基于当前当前概率分布，更新当前位置，并重新执行迭代步骤；响应于达到迭代终止条件，将最后一次执行迭代步骤得到的更新后的当前迭代步骤的损失值作为累积损失值。
在一些可选的实现方式中，损失函数可以包括用于表征基于预先设置的累积奖赏函数所确定的第一分量；训练单元进一步被配置成：基于由第一分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
在一些可选的实现方式中，策略生成网络还可以包括第二全连接层；第二全连接层用于根据隐状态生成与当前状态信息对应的奖赏预测值；损失函数还包括用于表征奖赏预测值和基于奖赏函数所确定的实际奖赏值之间偏差的第二分量。
在这些可选的实现方式中，训练单元还可以进一步被配置成：基于第一分量所确定的累积损失值的反向传播，调整第二全连接层的参数；以及基于第二分量所确定的累积损失值的反向传播，调整门控循环网络、第二全连接层以及全连接单元的参数。
在一些可选的实现方式中，损失函数还可以包括用于表征第一全连接层所输出的概率分布的熵的第三分量；训练单元进一步被配置成：基于第三分量所确定的累积损失值的反向传播，调整门控循环网络、第一全连接层以及全连接单元的参数。
在一些可选的实现方式中，策略生成模型还可以包括位置回归网络；位置回归网络包括与描述网络连接的第三全连接层和第四全连接层。
在这些可选的实现方式中，训练单元在执行基于当前策略生成模型的描述网络，确定训练样本视频的当前状态之后，还可以进一步被配置成：将训练样本视频的当前状态输入第三全连接层，得到训练样本视频的预测交并比；以及将训练样本视频的当前状态输入第四全连接层，得到训练样本视频中目标视频片段的预测位置；损失函数还包括第四分量和第五分量，其中，第四分量用于表征第三全连接层在当前迭代步骤输出的训练样本视频的预测交并比和执行上一次迭代步骤所输出的训练样本视频的预测交并比之间的偏差，第五分量用于表征第四全连接层输出的训练样本视频中目标视频片段在训练样本视频中的预测位置和训练样本视频中标注的目标视频片段的真实位置之间的偏差；训练单元进一步被配置成：基于损失函数的第四分量和第五分量所确定的累积损失值的反向传播，调整全连接单元、第三全连接层和第四全连接层的参数。
下面参考图11，其示出了适于用来实现本申请实施例的从视频中定位目标视频片段的方法的电子设备的计算机系统1100的结构示意图。图11示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括处理器(例如，中央处理单元)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1106加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括硬盘等的存储部分1106；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1107。通信部分1107经由诸如因特网的网络执行通信处理。驱动器1108也根据需要连接至I/O接口1105。可拆卸介质1109，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1108上，以便于从其上读出的计算机程序根据需要被安装入存储部分1106。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1107从网络上被下载和安装，和/或从可拆卸介质1109被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括确定单元、执行单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，确定单元还可以被描述为“从视频中，基于当前位置确定出当前视频片段的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：从视频中，基于当前位置确定出当前视频片段；获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：确定当前视频片段的当前状态信息，其中，当前状态信息包括用于指示当前视频片段的特征的信息；基于描述信息和当前状态信息，生成当前动作策略，当前动作策略用于指示当前视频片段在视频中的位置变化；方法还包括：响应于达到预设条件，将对当前视频片段执行当前动作策略之后得到的视频片段作为目标视频片段。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (24)

1.一种从视频中定位目标视频片段的方法，包括：
从视频中，基于当前位置确定出当前视频片段；
获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：
确定当前视频片段的当前状态信息，其中，所述当前状态信息包括用于指示当前视频片段的特征的信息；
基于所述描述信息和所述当前状态信息，生成当前动作策略，所述当前动作策略用于指示当前视频片段在所述视频中的位置变化；
所述方法还包括：
响应于达到预设条件，将对所述当前视频片段执行所述当前动作策略之后得到的视频片段作为目标视频片段。
2.根据权利要求1所述的方法，其中，所述方法还包括：
响应于未达到预设条件，将对所述当前视频片段执行所述当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行所述目标视频片段确定步骤。
3.根据权利要求1或2所述的方法，其中，所述基于所述描述信息和所述当前状态信息，生成当前动作策略，包括：
将所述描述信息和所述当前状态信息输入预先训练的策略生成模型，得到预先生成的动作策略集合中，对所述当前视频片段分别执行各动作策略的概率分布；
基于所得到的概率分布，从所述动作策略集合中确定出当前动作策略。
4.根据权利要求3所述的方法，其中，所述策略生成模型包括描述网络和策略生成网络；
所述描述网络包括具有多个全连接层的全连接单元，所述全连接单元用于基于预先获得的目标视频片段描述特征和所述当前状态信息生成当前状态；
所述策略生成网络包括门控循环网络和第一全连接层，所述门控循环网络用于基于所述当前状态生成隐状态，所述第一全连接层用于根据所述隐状态生成所述概率分布。
5.根据权利要求4所述的方法，其中，在执行目标视频片段确定步骤之前，所述方法还包括：获取用于指示所述视频的视频特征的视频特征信息；
所述描述网络还用于基于视频特征信息生成所述当前状态。
6.根据权利要求4所述的方法，其中，所述当前状态信息还包括用于指示所述当前视频片段在所述视频中的相对位置特征的信息。
7.根据权利要求4-6之一所述的方法，其中，所述方法还包括：
利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型；
所述累积损失值通过如下确定步骤确定：
将所述训练样本视频和基于所述训练样本视频的目标视频片段的当前位置信息所确定的训练样本视频的当前视频片段输入当前策略生成模型，并执行如下的迭代步骤：
基于所述当前策略生成模型的描述网络，确定所述训练样本视频的当前状态；
将所确定的训练样本视频的当前状态输入所述当前策略生成模型的策略生成网络，得到在当前策略生成模型和训练样本视频的当前状态下的当前概率分布；
基于所确定的当前概率分布，利用预先设置的损失函数，确定当前迭代步骤的损失值；
将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值；
所述确定步骤还包括：
响应于未达到迭代终止条件，基于当前当前概率分布，更新当前位置，并重新执行所述迭代步骤；
响应于达到迭代终止条件，将最后一次执行迭代步骤得到的更新后的当前迭代步骤的损失值作为累积损失值。
8.根据权利要求7所述的方法，所述损失函数包括用于表征基于预先设置的累积奖赏函数所确定的第一分量；
所述利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型，包括：
基于由所述第一分量所确定的累积损失值的反向传播，调整所述门控循环网络、第一全连接层以及所述全连接单元的参数。
9.根据权利要求8所述的方法，其中，所述策略生成网络还包括第二全连接层；
所述第二全连接层用于根据所述隐状态生成与所述当前状态信息对应的奖赏预测值；
所述损失函数还包括用于表征奖赏预测值和基于所述奖赏函数所确定的实际奖赏值之间偏差的第二分量；
所述利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：
基于所述第一分量所确定的累积损失值的反向传播，调整所述第二全连接层的参数；以及
基于所述第二分量所确定的累积损失值的反向传播，调整所述门控循环网络、所述第二全连接层以及所述全连接单元的参数。
10.根据权利要求8或9所述的方法，其中，所述损失函数还包括用于表征所述第一全连接层所输出的概率分布的熵的第三分量；
所述利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：
基于所述第三分量所确定的累积损失值的反向传播，调整所述门控循环网络、第一全连接层以及所述全连接单元的参数。
11.根据权利要求8所述的方法，其中，所述策略生成模型还包括位置回归网络；
所述位置回归网络包括与所述描述网络连接的第三全连接层和第四全连接层；
在所述基于所述当前策略生成模型的描述网络，确定所述训练样本视频的当前状态之后，所述迭代步骤还包括：
将所述训练样本视频的当前状态输入第三全连接层，得到训练样本视频的预测交并比；以及
将所述训练样本视频的当前状态输入第四全连接层，得到训练样本视频中目标视频片段的预测位置；
所述损失函数还包括第四分量和第五分量，其中，所述第四分量用于表征所述第三全连接层在当前迭代步骤输出的训练样本视频的预测交并比和执行上一次迭代步骤所输出的训练样本视频的预测交并比之间的偏差，所述第五分量用于表征所述第四全连接层输出的训练样本视频中目标视频片段在训练样本视频中的预测位置和训练样本视频中标注的目标视频片段的真实位置之间的偏差；
所述利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型还包括：
基于所述损失函数的第四分量和第五分量所确定的累积损失值的反向传播，调整所述全连接单元、所述第三全连接层和所述第四全连接层的参数。
12.一种从视频中定位目标视频片段的装置，包括：
确定单元，被配置成从视频中，基于当前位置确定出当前视频片段；
执行单元，被配置成获取用于指示预先生成的目标视频片段描述特征的描述信息，并执行如下的目标视频片段确定步骤：
确定当前视频片段的当前状态信息，其中，所述当前状态信息包括用于指示当前视频片段的特征的信息；
基于所述描述信息和所述当前状态信息，生成当前动作策略，所述当前动作策略用于指示当前视频片段在所述视频中的位置变化；
所述装置还包括：
生成单元，被配置成响应于达到预设条件，将对所述当前视频片段执行所述当前动作策略之后得到的视频片段作为目标视频片段。
13.根据权利要求12所述的方法，其中，所述生成单元还被配置成：
响应于未达到预设条件，将对所述当前视频片段执行所述当前动作策略之后得到的视频片段作为更新后的当前视频片段，并重新执行所述目标视频片段确定步骤。
14.根据权利要求12或13所述的装置，其中，所述执行单元进一步被配置成：
将所述描述信息和所述当前状态信息输入预先训练的策略生成模型，得到预先生成的动作策略集合中，对所述当前视频片段分别执行各动作策略的概率分布；
基于所得到的概率分布，从所述动作策略集合中确定出当前动作策略。
15.根据权利要求14所述的装置，其中，所述策略生成模型包括描述网络和策略生成网络；
所述描述网络包括具有多个全连接层的全连接单元，所述全连接单元用于基于预先获得的目标视频片段描述特征和所述当前状态信息生成当前状态；
所述策略生成网络包括门控循环网络和第一全连接层，所述门控循环网络用于基于所述当前状态生成隐状态，所述第一全连接层用于根据所述隐状态生成所述概率分布。
16.根据权利要求15所述的装置，其中，所述装置还包括获取单元；
所述获取单元被配置成在所述执行单元执行目标视频片段确定步骤之前，获取用于指示所述视频的视频特征的视频特征信息；
所述描述网络还用于基于视频特征信息生成所述当前状态。
17.根据权利要求15所述的装置，其中，所述当前状态信息还包括用于指示所述当前视频片段在所述视频中的相对位置特征的信息。
18.根据权利要求15-17之一所述的装置，其中，所述装置还包括训练单元；
所述训练单元被配置成利用基于预先设置的损失函数得到的累积损失值训练初始策略生成模型，得到训练后的策略生成模型；
所述累积损失值通过如下确定步骤确定：
将所述训练样本视频和基于所述训练样本视频的目标视频片段的当前位置信息所确定的训练样本视频的当前视频片段输入当前策略生成模型，并执行如下的迭代步骤：
基于所述当前策略生成模型的描述网络，确定所述训练样本视频的当前状态；
将所确定的训练样本视频的当前状态输入所述当前策略生成模型的策略生成网络，得到在当前策略生成模型和训练样本视频的当前状态下的当前概率分布；
基于所确定的当前概率分布，利用预先设置的损失函数，确定当前迭代步骤的损失值；
将当前迭代步骤的损失值和上一迭代步骤的损失值之和作为更新后的当前迭代步骤的损失值；
所述确定步骤还包括：
响应于未达到迭代终止条件，基于当前当前概率分布，更新当前位置，并重新执行所述迭代步骤；
响应于达到迭代终止条件，将最后一次执行迭代步骤得到的更新后的当前迭代步骤的损失值作为累积损失值。
19.根据权利要求18所述的装置，所述损失函数包括用于表征基于预先设置的累积奖赏函数所确定的第一分量；
所述训练单元进一步被配置成：
基于由所述第一分量所确定的累积损失值的反向传播，调整所述门控循环网络、第一全连接层以及所述全连接单元的参数。
20.根据权利要求19所述的装置，其中，所述策略生成网络还包括第二全连接层；
所述第二全连接层用于根据所述隐状态生成与所述当前状态信息对应的奖赏预测值；
所述损失函数还包括用于表征奖赏预测值和基于所述奖赏函数所确定的实际奖赏值之间偏差的第二分量；
所述训练单元进一步被配置成：
基于所述第一分量所确定的累积损失值的反向传播，调整所述第二全连接层的参数；以及
基于所述第二分量所确定的累积损失值的反向传播，调整所述门控循环网络、所述第二全连接层以及所述全连接单元的参数。
21.根据权利要求19或20所述的装置，其中，所述损失函数还包括用于表征所述第一全连接层所输出的概率分布的熵的第三分量；
所述训练单元进一步被配置成：
基于所述第三分量所确定的累积损失值的反向传播，调整所述门控循环网络、第一全连接层以及所述全连接单元的参数。
22.根据权利要求19所述的装置，其中，所述策略生成模型还包括位置回归网络；
所述位置回归网络包括与所述描述网络连接的第三全连接层和第四全连接层；
所述训练单元在执行所述基于所述当前策略生成模型的描述网络，确定所述训练样本视频的当前状态之后，进一步被配置成：
将所述训练样本视频的当前状态输入第三全连接层，得到训练样本视频的预测交并比；以及
将所述训练样本视频的当前状态输入第四全连接层，得到训练样本视频中目标视频片段的预测位置；
所述损失函数还包括第四分量和第五分量，其中，所述第四分量用于表征所述第三全连接层在当前迭代步骤输出的训练样本视频的预测交并比和执行上一次迭代步骤所输出的训练样本视频的预测交并比之间的偏差，所述第五分量用于表征所述第四全连接层输出的训练样本视频中目标视频片段在训练样本视频中的预测位置和训练样本视频中标注的目标视频片段的真实位置之间的偏差；
所述训练单元进一步被配置成：
基于所述损失函数的第四分量和第五分量所确定的累积损失值的反向传播，调整所述全连接单元、所述第三全连接层和所述第四全连接层的参数。
23.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
24.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN201880073155.4A 2018-12-05 2018-12-05 从视频中定位目标视频片段的方法和装置 Active CN111480166B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/119363 WO2020113468A1 (en) 2018-12-05 2018-12-05 Method and apparatus for grounding a target video clip in a video

Publications (2)

Publication Number Publication Date
CN111480166A true CN111480166A (zh) 2020-07-31
CN111480166B CN111480166B (zh) 2023-05-05

Family

ID=70973549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073155.4A Active CN111480166B (zh) 2018-12-05 2018-12-05 从视频中定位目标视频片段的方法和装置

Country Status (5)

Country Link
US (1) US11410422B2 (zh)
JP (1) JP7126549B2 (zh)
KR (1) KR102360584B1 (zh)
CN (1) CN111480166B (zh)
WO (1) WO2020113468A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363641A (zh) * 2020-10-13 2022-04-15 阿里巴巴集团控股有限公司 目标视频生成方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11776156B2 (en) * 2020-06-12 2023-10-03 Google Llc Pose empowered RGB-flow net
CN111782808A (zh) * 2020-06-29 2020-10-16 北京市商汤科技开发有限公司 文档处理方法、装置、设备及计算机可读存储介质
CN112819024B (zh) * 2020-07-10 2024-02-13 腾讯科技（深圳）有限公司 模型处理方法、用户数据处理方法及装置、计算机设备
CN112069951A (zh) * 2020-08-25 2020-12-11 北京小米松果电子有限公司 视频片段提取方法、视频片段提取装置及存储介质
CN113033566B (zh) * 2021-03-19 2022-07-08 北京百度网讯科技有限公司 模型训练方法、识别方法、设备、存储介质及程序产品
US11698926B2 (en) * 2021-11-12 2023-07-11 Huawei Technologies Co., Ltd. Systems and methods for video retrieval and grounding

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750339A (zh) * 2012-06-05 2012-10-24 北京交通大学 一种基于视频重构的重复片段定位方法
US20120294477A1 (en) * 2011-05-18 2012-11-22 Microsoft Corporation Searching for Images by Video
WO2014111547A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
CN107995535A (zh) * 2017-11-28 2018-05-04 百度在线网络技术（北京）有限公司 一种展示视频的方法、装置、设备和计算机存储介质
WO2018130070A1 (en) * 2017-01-16 2018-07-19 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video replaying
CN108304506A (zh) * 2018-01-18 2018-07-20 腾讯科技（深圳）有限公司 检索方法、装置及设备
CN108647255A (zh) * 2018-04-23 2018-10-12 清华大学 基于注意力回归的视频时序句子定位方法及装置
CN108875610A (zh) * 2018-06-05 2018-11-23 北京大学深圳研究生院 一种基于边界查找的用于视频中动作时间轴定位的方法
CN108932304A (zh) * 2018-06-12 2018-12-04 山东大学 基于跨模态的视频时刻定位方法、系统及存储介质
KR101993001B1 (ko) * 2019-01-16 2019-06-25 영남대학교 산학협력단 영상 하이라이트 제작 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607224B2 (en) * 2015-05-14 2017-03-28 Google Inc. Entity based temporal segmentation of video streams
KR101812103B1 (ko) * 2016-05-26 2017-12-26 데이터킹주식회사 썸네일이미지 설정방법 및 설정프로그램

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294477A1 (en) * 2011-05-18 2012-11-22 Microsoft Corporation Searching for Images by Video
CN102750339A (zh) * 2012-06-05 2012-10-24 北京交通大学 一种基于视频重构的重复片段定位方法
WO2014111547A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating partitioned timed media data
WO2018130070A1 (en) * 2017-01-16 2018-07-19 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video replaying
CN107995535A (zh) * 2017-11-28 2018-05-04 百度在线网络技术（北京）有限公司 一种展示视频的方法、装置、设备和计算机存储介质
CN108304506A (zh) * 2018-01-18 2018-07-20 腾讯科技（深圳）有限公司 检索方法、装置及设备
CN108647255A (zh) * 2018-04-23 2018-10-12 清华大学 基于注意力回归的视频时序句子定位方法及装置
CN108875610A (zh) * 2018-06-05 2018-11-23 北京大学深圳研究生院 一种基于边界查找的用于视频中动作时间轴定位的方法
CN108932304A (zh) * 2018-06-12 2018-12-04 山东大学 基于跨模态的视频时刻定位方法、系统及存储介质
KR101993001B1 (ko) * 2019-01-16 2019-06-25 영남대학교 산학협력단 영상 하이라이트 제작 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGYUAN CHEN等: "Temporally Grounding Natural Sentence in Video" *
王方圆等: "基于时空灰度序特征的视频片段定位算法" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363641A (zh) * 2020-10-13 2022-04-15 阿里巴巴集团控股有限公司 目标视频生成方法及装置

Also Published As

Publication number Publication date
KR102360584B1 (ko) 2022-02-08
JP2021524072A (ja) 2021-09-09
US11410422B2 (en) 2022-08-09
US20200320303A1 (en) 2020-10-08
WO2020113468A1 (en) 2020-06-11
CN111480166B (zh) 2023-05-05
KR20200099568A (ko) 2020-08-24
JP7126549B2 (ja) 2022-08-26

Similar Documents

Publication Publication Date Title
CN111480166A (zh) 从视频中定位目标视频片段的方法和装置
CN108520220B (zh) 模型生成方法和装置
CN110366734B (zh) 优化神经网络架构
KR102110486B1 (ko) 인공 뉴럴 네트워크 클래스-기반 프루닝
CN111340227A (zh) 通过强化学习模型对业务预测模型进行压缩的方法和装置
CN109905772A (zh) 视频片段查询方法、装置、计算机设备及存储介质
WO2018204371A1 (en) System and method for batch-normalized recurrent highway networks
CN111709493B (zh) 对象分类方法、训练方法、装置、设备及存储介质
CN113177538B (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
CN111723910A (zh) 构建多任务学习模型的方法、装置、电子设备及存储介质
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
US11314970B1 (en) Reinforcement learning techniques for automated video summarization
KR20220098991A (ko) 음성 신호에 기반한 감정 인식 장치 및 방법
CN115239593A (zh) 图像复原方法、装置、电子设备及存储介质
CN114332670A (zh) 视频行为识别方法、装置、计算机设备和存储介质
CN116051388A (zh) 经由语言请求的自动照片编辑
CN114663798A (zh) 一种基于强化学习的单步视频内容识别方法
Pietron et al. Retrain or not retrain?-efficient pruning methods of deep cnn networks
KR20190134965A (ko) 뉴럴 네트워크 학습 방법 및 그 시스템
CN110782016A (zh) 用于优化神经网络架构搜索的方法和装置
CN114360503A (zh) 一种语音识别方法、系统及存储介质和终端设备
CN113870863A (zh) 声纹识别方法及装置、存储介质及电子设备
CN114757310B (zh) 情感识别模型及其训练方法、装置、设备及可读存储介质
KR102492774B1 (ko) 인공지능 기반 음원 컨텐츠 라이센싱 플랫폼 서비스 제공 방법
CN115905613A (zh) 音视频多任务学习、评估方法、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant