CN110602527A - 视频处理方法、装置及存储介质 - Google Patents

视频处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110602527A
CN110602527A CN201910867365.7A CN201910867365A CN110602527A CN 110602527 A CN110602527 A CN 110602527A CN 201910867365 A CN201910867365 A CN 201910867365A CN 110602527 A CN110602527 A CN 110602527A
Authority
CN
China
Prior art keywords
video
confidence
frame
category
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910867365.7A
Other languages
English (en)
Other versions
CN110602527B (zh
Inventor
胡佳高
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Technology Wuhan Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201910867365.7A priority Critical patent/CN110602527B/zh
Priority to US16/693,376 priority patent/US11288514B2/en
Priority to EP19214642.1A priority patent/EP3792818A1/en
Publication of CN110602527A publication Critical patent/CN110602527A/zh
Application granted granted Critical
Publication of CN110602527B publication Critical patent/CN110602527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种视频处理方法、装置及存储介质。视频处理方法包括：在待处理视频中按照时序采集多个视频帧；对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果；对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别；将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段；其中，如果同一视频帧属于不同的类别，则将该视频帧划分到对应类别的不同视频片段中。通过本公开实施例，可对视频中同时出现的不同类别实例进行分类，并确定不同类别实例在视频中出现的起止位置。

Description

视频处理方法、装置及存储介质
技术领域
本公开涉及视频理解领域，尤其涉及一种视频处理方法、装置及存储介质。
背景技术
随着视频技术的发展以及网络的普及，视频资源的数量也快速增长，日益庞大。对数量巨大的视频进行管理、分类，并从数量巨大的视频中准确详尽地理解视频内容(例如便捷地获取用户感兴趣的资源)，成为视频理解领域研究的热点问题。
相关技术中，采用视频分类标记方法理解视频内容。在视频分类标记方法中，通过一系列的特征编码加时序特征融合的方式，实现对整段视频所属类别的判别，并赋予整个视频一个或多个类别标签。然而，一段视频可能涵盖大量的类别实例，不同类别的实例可能存在于视频中的任何片段中。因此，目前的视频分类标记方法无法分类出视频中出现的不同类别实例。另外，当前的视频分类方法只能给出整个视频的类别，无法准确定位到多个不同类别在视频中出现的起止时间段。
发明内容
为克服相关技术中存在的问题，本公开提供一种视频处理方法、装置及存储介质。
根据本公开实施例，提供一种视频处理方法，包括：在待处理视频中按照时序采集多个视频帧；对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果；对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别；将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段；其中，如果同一视频帧属于不同的类别，则将该视频帧划分到对应类别的不同视频片段中。
在一实施例中，对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果，包括：调用图像分类器，图像分类器的输入为图像，图像分类器的输出为多个类别的置信度；将时序上相邻且为同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段，包括：根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分多个视频片段。
在一实施例中，对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别，包括：根据图像分类器针对每一视频帧输出的多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，平滑标记序列为多维向量，多维向量中的每个值分别表示每一视频帧在本次时序平滑处理中所输出的类别标记；重复执行以上过程，直至确定出预定数量的平滑标记序列；利用预定数量的平滑标记序列中的置信度，从多个类别中确定与每一视频帧相关联的所述至少一个类别。
在一实施例中，基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，包括：构建线性链条件随机场模型；利用线性链条件随机场模型，确定满足最大概率条件的平滑标记序列。
在一实施例中，利用线性链条件随机场模型，确定满足最大概率条件的平滑标记序列包括：基于帧分类置信度矩阵以及预定状态转移矩阵，进行归一化处理，其中，预定状态转移矩阵与单位矩阵之间具有预定倍数关系，预定倍数依据平滑程度确定。
在一实施例中，基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，包括：构建全连接条件随机场模型；利用全连接条件随机场模型，基于最小化能量函数确定平滑标记序列。
在一实施例中，在利用预定数量的平滑标记序列中的置信度，从多个类别中确定与每一视频帧相关联的至少一个类别之后，还包括：将预定数量的平滑标记序列中时序上相邻且为同一类别的置信度的均值，作为时序上相邻且为同一类别的视频帧对应图像所属类别的置信度。
在一实施例中，将时序上相邻且为同一类别的视频帧，划分为一个视频片段之后，方法还包括：确定划分得到的视频片段中各视频片段的置信度；将置信度大于预定阈值的视频片段，作为最终的视频片段。
在一实施例中。根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分多个视频片段，包括：根据图像分类器针对每一视频帧输出的多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；基于帧分类置信度矩阵，构造灰度图像，灰度图像包括横轴坐标和纵轴坐标，横轴坐标表征类别的置信度，纵轴坐标表征视频帧的时序；利用线段检测法，检测出灰度图像的纵向直线；依据纵向直线，划分视频片段，其中，纵向直线的纵轴起止坐标对应视频片段的起止帧，纵向直线的横轴坐标对应视频片段所述类别。
根据本公开实施例的第二方面，提供一种视频处理装置，包括：采集模块，用于在待处理视频中按照时序采集多个视频帧；分类模块，用于对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果；处理模块，用于对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别；分段模块，用于将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段，其中，如果同一视频帧属于不同的类别，则将该视频帧划分到对应类别的不同视频片段中。
在一实施例中，分类模块采用如下方式对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果：调用图像分类器，图像分类器的输入为图像，图像分类器的输出为多个类别的置信度；分段模块采用如下方式将时序上相邻且为同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段：根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分多个视频片段。
在一实施例中，处理模块采用如下方式对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别：根据图像分类器针对每一视频帧输出的多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；基于帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，平滑标记序列为多维向量，多维向量中的每个值分别表示每一视频帧在本次时序平滑处理中所输出的类别标记；重复执行以上过程，直至确定出预定数量的平滑标记序列；利用预定数量的平滑标记序列中的置信度，从多个类别中确定与每一视频帧相关联的所述至少一个类别。
在一实施例中，处理模块采用如下方式基于帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列：构建线性链条件随机场模型；利用线性链条件随机场模型，确定满足最大概率条件的平滑标记序列。
在一实施例中，处理模块采用如下方式利用线性链条件随机场模型，确定满足最大概率条件的平滑标记序列：基于帧分类置信度矩阵以及预定状态转移矩阵，进行归一化处理，其中，预定状态转移矩阵与单位矩阵之间具有预定倍数关系，预定倍数依据平滑程度确定。
在一实施例中，处理模块采用如下方式基于帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列：构建全连接条件随机场模型；利用全连接条件随机场模型，基于最小化能量函数确定平滑标记序列。
在一实施例中，处理模块采用如下方式利用预定数量的平滑标记序列中的置信度，确定时序上相邻且为同一类别的视频帧对应图像所属类别的置信度：将预定数量的平滑标记序列中时序上相邻且为同一类别的置信度的均值，作为时序上相邻且为同一类别的视频帧对应图像所属类别的置信度。
在一实施例中，将时序上相邻且为同一类别的视频帧，划分为一个视频片段之后，分段模块还用于：确定划分得到的视频片段中各视频片段的置信度；将置信度大于预定阈值的视频片段，作为最终的视频片段。
在一实施例中，分类模块采用如下方式根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分所述多个视频片段：根据图像分类器针对每一视频帧输出的多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；基于帧分类置信度矩阵，构造灰度图像，灰度图像包括横轴坐标和纵轴坐标，横轴坐标表征类别的置信度，纵轴坐标表征视频帧的时序；利用线段检测法，检测出灰度图像的纵向直线；依据纵向直线，划分视频片段，其中，纵向直线的纵轴起止坐标对应视频片段的起止帧，纵向直线的横轴坐标对应所述视频片段所述类别。
根据本公开实施例的第三方面，提供一种视频处理的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行前述任意一项所述的视频处理的方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行前述任意一项所述的视频处理的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过图像分类器来标注图像，可以利用预标注的图像数据进行分类模型的训练，从而对视频进行自动分段，能降低视频理解任务中训练数据采集和标注的负担；利用图像识别来标注多种语义的对象，从而根据丰富的语义对象来自动标注视频；通过将待处理视频中按照时序采集多个视频帧对应的图像分别进行分类，将时序上相邻且为同一类别的视频帧划分为一个视频片段，实现对视频中重叠或交叉出现的不同类别实例进行分类，并确定不同类别实例在视频中出现的起止位置。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本公开一示例性实施例示出的一种视频处理的方法的流程图。
图2是根据本公开一示例性实施例示出的将采集到的多个视频帧中每一视频帧对应的图像分别进行分类的流程图。
图3是根据本公开另一示例性实施例示出的将采集到的多个视频帧中每一视频帧对应的图像分别进行分类的流程图。
图4是根据本公开一示例性实施例示出的视频处理方法中根据平滑标记序列划分视频片段示意图。
图5是根据本公开一示例性实施例示出的视频处理方法中根据平滑标记序列划分视频片段结果示意图。
图6是根据本公开一示例性实施例示出的一种视频处理的装置的框图。
图7是根据本公开一示例性实施例示出的一种视频处理装置的框图。
实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本公开一示例性实施例示出的一种视频处理的方法的流程图。如图1所示，该方法包括以下步骤。
在步骤S110中，在待处理视频中按照时序采集多个视频帧。
本公开中，在待处理视频中按照时序采集视频帧时，可在待处理视频中等间隔地采集多个视频帧。本公开中，采集的频率可以是每秒等间隔抽取待处理视频中预定数量的视频帧，例如预定数量可以是2至5帧，也可根据需要选择其它的采集频率。
本公开中采集到视频帧后，可将采集到的多个视频帧中的每一视频帧分别转换成与之一一对应的图像。
在步骤S120中，对多个视频帧中每一视频帧对应的图像分别进行分类，以获得分类结果。
在本公开的实施例中，可以采用图像分类器对多个视频帧中每一视频帧对应的图像进行分类。一方面，本公开可采集并标注一定量的图像，训练得到图像分类器。另一方面，本公开也可以选择已有图像分类器。本公开中在选择已有图像分类器可以根据实际应用需求来选择，如为了提高精度，可以选择大型网络如Inception-Resnet、DenseNet、NASNet等。又如为了在终端设备部署，可以选择轻量型网络如Mobilenet、Shufflenet等。本公开对图像分类器的选择不作限定。
在步骤S130中，对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别。
图像分类器输出的分类结果，存在较多的噪声，即无法实现对同一类别在时序上连续性的识别。所以需要对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别。
可以理解地，这里的至少一个类别是选择的图像分类器能够判别的多个类别中的至少一个类别。
即，如果把图像分类器能够判别的多个类别看成一个类别集合，那么平滑处理后的、与每一视频帧相关联的至少一个类别可以组成这个类别集合的一个子集。
在步骤S140中，将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段。
在本公开的实施例中，时序上相邻的、且划分为同一类别的视频帧中的分类类别实例，可视为该类别实例在上述连续的视频帧中持续出现，将其划分为该类别实例在待处理视频中的视频片段。若同一视频帧属于不同的类别，该视频帧被划分到对应类别的不同视频片段中。
本公开通过图像分类器来标注图像，利用预标注的图像数据进行分类模型的训练，从而对视频进行自动分段，能降低视频理解任务中训练数据采集和标注的负担；利用图像识别来标注多种语义的对象，从而根据丰富的语义对象来自动标注视频；通过将待处理视频中按照时序采集多个视频帧对应的图像分别进行分类，将时序上相邻且为同一类别的视频帧划分为一个视频片段，实现对视频中重叠或交叉出现的不同类别实例进行分类，并确定不同类别实例在视频中出现的起止位置。
图2是根据本公开一示例性实施例示出的将采集到的多个视频帧中每一视频帧对应的图像分别进行分类的流程图。如图2所示，步骤S1210中，调用图像分类器。图像分类器可以是基于SVM、CNN等分类器，对任意输入图像，图像分类器的输出为图像分类得到的类别，以及图像属于每个类别的置信度。
步骤S1220，将采集到的多个视频帧按照时序先后顺序输入至图像分类器中，得到每一视频帧对应的图像分类得到的类别以及该图像属于每一类别的置信度。
采集到的多个视频帧的数量为M帧，将采集到的M(M为大于等于2的正整数)个视频帧按照时序先后顺序输入至图像分类器中。例如，上述图像分类器可以判别N(N为大于等于2的正整数)个类别，则图像分类器对任一输入视频帧，输出N维向量，向量的第i维(i∈{1，2，...，N})，表示该分类器将该图像分为第i类的置信度。例如，在步骤S110中，抽取了15个视频帧，图像分类器可以判别7个类别，例如，天空、鸟、海洋、花、树、山、草原7个类别，则采用图像分类器对多个视频帧中每一视频帧对应的图像进行分类之后，可以得到一个15*7的帧分类置信度矩阵，矩阵第j行(j∈{1，2，...，15})为图像分类器对第j帧的分类向量。
步骤S1230中，根据时序上相邻且为同一类别的视频帧对应图像所属类别的置信度，划分视频片段。
图3是根据本公开一示例性实施例示出的将采集到的多个视频帧中每一视频帧对应的图像分别进行分类的流程图。如图3所示，将采集到的多个视频帧中每一视频帧对应的图像分别进行分类，还包括步骤S1240，针对每一视频帧，基于所述该视频帧对应的图像所属类别的置信度，对所述图像所属类别进行平滑处理。
步骤S1250，将全部视频帧中平滑处理后的类别进行标记得到平滑标记序列。
步骤S1260，将平滑处理后的类别对应的置信度置零，并对置零后的所述每一视频帧对应的图像所属类别再次进行平滑处理，得到新的平滑标记序列。
当经过一次平滑处理，确定一种分类的平滑标记序列之后，将平滑处理后的图像所属类别对应的类别置信度置零，对每一视频帧对应的图像所属类别再次执行以上平滑过程，直至确定出预定数量的平滑标记序列。其中，预定数量可以根据需要选为4、5或其他数值，每求解一次最大目标函数，就可以得到一个平滑标记序列。
重复执行以上过程，直至确定出预定数量的平滑标记序列。
在本公开的一个实施例中，针对每一视频帧对应的图像所属类别进行平滑处理，得到平滑处理后的平滑标记序列。其中，在针对每一视频帧对应的图像所属类别进行平滑处理时，可基于视频帧对应图像所属每一类别的置信度，以及预定状态转移矩阵之间的累乘项进行归一化处理，确定满足最大概率条件的置信度，并将满足最大概率条件的置信度对应的类别，确定为平滑处理后的类别。例如，可以构建条件随机场(Conditional RandomFields，CRF)，进行平滑处理。例如，构建线性链CRF模型，将待处理视频的全部视频帧中平滑处理后的分类类别进行标记，得到平滑标记序列。具体地，利用图像分类器对每一视频帧对应图像的分类结果向量分别构建观察序列X，对观察序列X进行平滑处理，其中，X是M*N的矩阵，M为多个视频帧的数量，N为图像分类器可以判别的类别数，X(j,i)表示第j帧被分类为第i类的置信度。确定平滑后的平滑标记序列Y，Y是M维向量，Y＝{y1，y2，...，yM}，且ym∈{C1，C2，......CN}，(m∈{1，2，...，M})，其中C1，C2，......，CN是分别代表着第1，2，......，N类的常量。ym取Cn(n∈{1，2，...，N})，表示在本次平滑处理结果中，对第m帧输出的类别为第n类。给定线性链CRF模型的条件概率分布P(y|x)和观察序列X,计算使条件概率最大时输出的序列，即平滑标记序列Y，Y＝{y1，y2，...，yM}。例如，假设计算平滑标记序列次数为4，则经过4次运算，得到平滑标记序列Y1、Y2、Y3和Y4。
上式中，P(Y|X)为条件概率函数，累乘项的计算结果是平滑标记序列Y的概率得分，pm为图像分类器将第m帧识别为第ym类(假设ym＝Cn，即为第n类)的置信度，W∈RN×N为状态转移矩阵，Z(x)为归一化因子。当已知W与pm，任一序列Y的条件概率P(Y|X)可以通过上述公式求解。
本公开中，可以利用例如维特比算法求解满足上述条件概率P(Y|X)最大时的对应的平滑标记序列Y。
本公开中，状态转移矩阵W一方面可以通过梯度下降法、牛顿法或拟牛顿法计算训练得到。另一方面，也可以通过单位矩阵得到。
在本公开的一个实施例中，预定状态转移矩阵与单位矩阵之间具有预定倍数关系，预定倍数依据平滑程度确定。例如，将状态转移矩阵W设置为单位矩阵的α倍，可以通过调整α的大小实现对平滑程度的控制，即α取值越大，经平滑处理所得到的平滑标记序列的结果越趋于平滑。例如，对待处理视频采集的视频帧数量多，α即需要相应地选取较大值，反之，对待处理视频采集的视频帧数量少，α即需要相应地选取较小值，在本公开一实施例中，可以根据实验测试确定预定倍数α。
在本公开的一个实施例中，针对每一视频帧对应的图像所属类别进行平滑处理，单个平滑标记序列的求解方式除了上述基于线性链CRF建模策略之外，还可以选择全连接CRF建模的策略。。
示例性地，可以构建全连接CRF模型，利用最小化如下能量函数得到平滑后的平滑标记序列Y，Y＝{y1，y2，...，yM}，平滑标记序列Y中ym与线性链CRF模型中的含义一致，在此不再赘述。
上式中，yi(yi∈{C1，C2，......CN})表示待处理视频第i帧的类别标记，pi为图像分类器将第i帧识别为第yi类的置信度，yi＝yj时，μ(yi，yj)＝0；yi≠yj时，μ(yi，yj)＝1。ω和σ为常量参数，可以用验证数据集调整。可以利用三维条件随机场DenseCRF算法求解上述能量最小化问题，进而得到平滑后的平滑标记序列Y。
在本公开的一个实施例中，将预定数量的平滑标记序列中时序上相邻且为同一类别的置信度的均值，作为时序上相邻且为同一类别的视频帧对应图像所属类别的置信度。
具体地，按时序扫描每一视频帧的多个类别标记，计算相邻且同一类别的所有帧属于该类别的置信度均值，作为该类别片段分类的置信度。对于待处理视频中存在的多个类别，重复上述过程直至确定所有类别对应的片段。相较于传统视频分段策略中仅抽取置信度最高的若干类别标签而言，本公开先保留所有置信度取值的各种类别，后再进行多次的时序平滑处理，能够保留更丰富且更合理的语义。
图4是根据本公开一示例性实施例示出的视频处理方法中根据平滑标记序列划分视频片段示意图。对照图4，图4示出了一待处理视频经平滑处理后输出的视频帧分类类别标记以及对应该类别的置信度统计。横向代表该视频中的15个连续的帧，纵向代表假设计算平滑标记序列次数为4时得到的四个平滑标记序列，即每求解一次平滑标记序列Y，对应得到图4中的一行。具体Y的求解方式可以采用上面实施例中的线性链CRF建模策略或全连接CRF建模策略。
示例性地，图4中的第i行(i＝1，2，3，4)、第j列(j＝1，2……，15)记录了第j帧在第i个平滑标记序列Y中的平滑后的类别标记结果、以及图像分类器输出的第j帧对应的图像属于该类别的置信度值，即采用图像分类器对多个视频帧中每一视频帧对应的图像进行分类之后、得到的15*7的帧分类置信度矩阵中对应的置信度值。
其中，计算15个连续帧中属于该类别的置信度平均值，作为该视频片段对应该类别分类的置信度。例如，天空，出现范围为第1帧到第6帧，置信度分别为0.7、0.85、0.1、0.6、0.5和0.5，则1至6帧天空类别的置信度为：
(0.7+0.85+0.1+0.6+0.5+0.5)/6＝0.540，以下各个类别对应的置信度计算方法相同。
根据图4所示的结果，可以得到前述示例中，7个类别标记和对应的置信度如下：
第1类别：天空，起止位置：第1帧到第6帧，置信度0.540。
第2类别：草原，起止位置：第7帧到第15帧，置信度0.384。
第3类别：鸟，起止位置：第1帧到第4帧，置信度0.223。
第4类别；山，起止位置：第5帧到第15帧，置信度0.266。
第5类别；海洋，起止位置：第1帧到第5帧，置信度0.078。
第6类别：花，起止位置：第6帧到第15帧，置信度0.282。
第7类别：树，起止位置：第1帧到第15帧，置信度0.031。
图5是根据本公开一示例性实施例示出的视频处理方法中根据平滑标记序列划分视频片段结果示意图。参照图5，示出了上述示例中第1帧、第2帧……到第15帧，对应7个类别中的每个类别出现的起止位置。
在本公开一实施例中，利用置信度大于预定置信度阈值的视频片段，作为最终的视频片段。不同类别可以对应选取不同的置信度阈值，本实施例中，示例性地选取所有类别的置信度阈值均为0.1，去除置信度小于0.1的类别片段，即将置信度为0.078的第5类别(花)和置信度为0.031的第7类别(海洋)对应视频删除，保留其余视频片段。在另一示例中，各个类别的阈值可以不同，一般可以利用验证集计算出最优阈值。
通过每个类别的视频片段的起止帧编号计算出其在视频中的起止时间，得到最终的该类别对应视频片段。即，上述示例的视频共包括5个类别，每个类别出现的起止帧统计如下：
第1类别：天空，起止位置：第1帧到第6帧。
第2类别：草原，起止位置：第7帧到第15帧。
第3类别，鸟，起止位置：第1帧到第4帧。
第4类别，山，起止位置：第5帧到第15帧。
第5类别，花，起止位置：第6帧到第15帧。
从上述统计结果可以看出，通过本公开的方法，在平滑处理前保留所有置信度取值的类别，可以实现不同类别的视频片段在时序上至少部分相互重叠或交叉的情况下的片段划分。也即，在某视频帧同时属于多个视频类别时，可以分别输出每个类别实例出现的起止位置。相较于传统视频分段策略中仅抽取置信度最高的若干类别标签而言，本公开先保留所有置信度取值的各种类别，然后通过CRF模型进行多次时序平滑处理，能够保留更丰富且更合理的语义。
在本公开的一个实施例中，可以根据线段检测法划分视频片段。具体而言，依据每一视频帧对应的图像分类得到的类别，以及每一类别的置信度，构造灰度图像。灰度图像包括横轴坐标和纵轴坐标，其中，图像的横轴坐标为类别的置信度，纵轴坐标为视频帧的时序。利用线段检测法，例如霍夫直线检测法、端点扩张线段检测法或LSD线段检测法等检测出灰度图像的纵向直线；每一条纵向直线即为一个类别对应的视频片段。纵向直线的纵轴起止坐标对应视频片段的起止帧，纵向直线的横轴坐标对应视频片段类别。
基于相同的构思，本公开实施例还提供一种视频处理的装置。
可以理解的是，本公开实施例提供的视频处理的装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图6是根据本公开一示例性实施例示出的一种视频处理的装置的框图。参照图6，装置200包括：
采集模块210，用于在待处理视频中按照时序采集多个视频帧。
分类模块220，用于对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果。
处理模块230，用于对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别。
分段模块240，用于将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段，其中，如果同一视频帧属于不同的类别，则将该视频帧划分到对应类别的不同视频片段中。
在一实施例中，分类模块220采用如下方式对多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果：调用图像分类器，图像分类器的输入为图像，图像分类器的输出为多个类别的置信度；分段模块240采用如下方式将时序上相邻且为同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段：根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分多个视频片段。
在一实施例中，处理模块230采用如下方式对每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别：根据图像分类器针对每一视频帧输出的多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；基于帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，平滑标记序列为多维向量，多维向量中的每个值分别表示每一视频帧在本次时序平滑处理中所输出的类别标记；重复执行以上过程，直至确定出预定数量的平滑标记序列；利用预定数量的平滑标记序列中的置信度，从多个类别中确定与每一视频帧相关联的所述至少一个类别。
在一实施例中，处理模块230采用如下方式基于帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列：构建线性链条件随机场模型；利用线性链条件随机场模型，确定满足最大概率条件的平滑标记序列。
在一实施例中，处理模块230采用如下方式利用线性链条件随机场模型，确定满足最大概率条件的平滑标记序列：基于帧分类置信度矩阵以及预定状态转移矩阵，进行归一化处理，其中，预定状态转移矩阵与单位矩阵之间具有预定倍数关系，预定倍数依据平滑程度确定。
在一实施例中，处理模块230采用如下方式基于帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列：构建全连接条件随机场模型；利用全连接条件随机场模型，基于最小化能量函数确定平滑标记序列。
在一实施例中，处理模块230采用如下方式利用预定数量的平滑标记序列中的置信度，确定时序上相邻且为同一类别的视频帧对应图像所属类别的置信度：将预定数量的平滑标记序列中时序上相邻且为同一类别的置信度的均值，作为时序上相邻且为同一类别的视频帧对应图像所属类别的置信度。
在一实施例中，将时序上相邻且为同一类别的视频帧，划分为一个视频片段之后，分段模块240还用于：确定划分得到的视频片段中各视频片段的置信度；将置信度大于预定阈值的视频片段，作为最终的视频片段。
在一实施例中，分段模块240采用如下方式根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分所述多个视频片段：根据图像分类器针对每一视频帧输出的多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；基于帧分类置信度矩阵，构造灰度图像，灰度图像包括横轴坐标和纵轴坐标，横轴坐标表征类别的置信度，纵轴坐标表征视频帧的时序；利用线段检测法，检测出灰度图像的纵向直线；依据纵向直线，划分视频片段，其中，纵向直线的纵轴起止坐标对应视频片段的起止帧，纵向直线的横轴坐标对应所述视频片段所述类别。
图7是根据一示例性实施例示出的一种用于视频处理的装置300的框图。例如，装置300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置300可以包括以下一个或多个组件：处理组件302，存储器304，电力组件306，多媒体组件308，音频组件310，输入/输出(I/O)的接口312，传感器组件314，以及通信组件316。
处理组件302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。
存储器304被配置为存储各种类型的数据以支持在设备300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件306为装置300的各种组件提供电力。电力组件306可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。
多媒体组件308包括在所述装置300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(MIC)，当装置300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。
I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件314包括一个或多个传感器，用于为装置300提供各个方面的状态评估。例如，传感器组件314可以检测到设备300的打开/关闭状态，组件的相对定位，例如所述组件为装置300的显示器和小键盘，传感器组件314还可以检测装置300或装置300一个组件的位置改变，用户与装置300接触的存在或不存在，装置300方位或加速/减速和装置300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器304，上述指令可由装置300的处理器320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如前所述的任一视频处理的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (20)

1.一种视频处理方法，其特征在于，所述方法包括：
在待处理视频中按照时序采集多个视频帧；
对所述多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果；
对所述每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别；
将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段；
其中，如果同一视频帧属于不同的类别，则将该视频帧划分到对应类别的不同视频片段中。
2.根据权利要求1所述的视频处理方法，其特征在于，对所述多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果，包括：
调用图像分类器，所述图像分类器的输入为所述图像，所述图像分类器的输出为多个类别的置信度；
将时序上相邻且为同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段，包括：
根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分所述多个视频片段。
3.根据权利要求2所述的视频处理方法，其特征在于，对所述每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别，包括：
根据所述图像分类器针对每一视频帧输出的所述多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；
基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，所述平滑标记序列为多维向量，所述多维向量中的每个值分别表示每一视频帧在本次时序平滑处理中所输出的类别标记；
重复执行以上过程，直至确定出预定数量的平滑标记序列；
利用所述预定数量的平滑标记序列中的置信度，从所述多个类别中确定与每一视频帧相关联的所述至少一个类别。
4.根据权利要求3所述的视频处理方法，其特征在于，基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，包括：
构建线性链条件随机场模型；
利用所述线性链条件随机场模型，确定满足最大概率条件的平滑标记序列。
5.根据权利要求4所述的视频处理方法，其特征在于，利用所述线性链条件随机场模型，确定满足最大概率条件的平滑标记序列包括：
基于所述帧分类置信度矩阵以及预定状态转移矩阵，进行归一化处理，
其中，所述预定状态转移矩阵与单位矩阵之间具有预定倍数关系，所述预定倍数依据平滑程度确定。
6.根据权利要求3所述的视频处理方法，其特征在于，基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，包括：
构建全连接条件随机场模型；
利用所述全连接条件随机场模型，基于最小化能量函数确定平滑标记序列。
7.根据权利要求3所述的视频处理方法，其特征在于，在利用所述预定数量的平滑标记序列中的置信度，从所述多个类别中确定与每一视频帧相关联的所述至少一个类别之后，还包括：
将所述预定数量的平滑标记序列中时序上相邻且为同一类别的置信度的均值，作为时序上相邻且为同一类别的视频帧对应图像所属类别的置信度。
8.根据权利要求2至7中任意一项所述的视频处理方法，其特征在于，将时序上相邻且为同一类别的视频帧，划分为一个视频片段之后，所述方法还包括：
确定划分得到的视频片段中各视频片段的置信度；
将置信度大于预定阈值的视频片段，作为最终的视频片段。
9.根据权利要求2所述的视频处理方法，其特征在于，根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分所述多个视频片段，包括：
根据所述图像分类器针对每一视频帧输出的所述多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；
基于所述帧分类置信度矩阵，构造灰度图像，所述灰度图像包括横轴坐标和纵轴坐标，所述横轴坐标表征类别的置信度，所述纵轴坐标表征视频帧的时序；
利用线段检测法，检测出所述灰度图像的纵向直线；
依据所述纵向直线，划分视频片段，其中，所述纵向直线的纵轴起止坐标对应视频片段的起止帧，所述纵向直线的横轴坐标对应所述视频片段所述类别。
10.一种视频处理装置，其特征在于，所述装置包括：
采集模块，用于在待处理视频中按照时序采集多个视频帧；
分类模块，用于对所述多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果；
处理模块，用于对所述每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别；
分段模块，用于将时序上相邻且同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段，其中，如果同一视频帧属于不同的类别，则将该视频帧划分到对应类别的不同视频片段中。
11.根据权利要求10所述的视频处理装置，其特征在于，所述分类模块采用如下方式对所述多个视频帧中每一视频帧对应的图像分别进行分类以获得分类结果：
调用图像分类器，所述图像分类器的输入为所述图像，所述图像分类器的输出为多个类别的置信度；
分段模块采用如下方式将时序上相邻且为同一类别的视频帧，划分为同一个视频片段，以获得多个视频片段：
根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分所述多个视频片段。
12.根据权利要求11所述的视频处理装置，其特征在于，所述处理模块采用如下方式对所述每一视频帧对应的图像的分类结果进行时序平滑处理，以确定与每一视频帧相关联的至少一个类别：
根据所述图像分类器针对每一视频帧输出的所述多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；
基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列，所述平滑标记序列为多维向量，所述多维向量中的每个值分别表示每一视频帧在本次时序平滑处理中所输出的类别标记；
重复执行以上过程，直至确定出预定数量的平滑标记序列；
利用所述预定数量的平滑标记序列中的置信度，从所述多个类别中确定与每一视频帧相关联的所述至少一个类别。
13.根据权利要求12所述的视频处理装置，其特征在于，所述处理模块采用如下方式基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列：
构建线性链条件随机场模型；
利用所述线性链条件随机场模型，确定满足最大概率条件的平滑标记序列。
14.根据权利要求13所述的视频处理装置，其特征在于，所述处理模块采用如下方式利用所述线性链条件随机场模型，确定满足最大概率条件的平滑标记序列：
基于所述帧分类置信度矩阵以及预定状态转移矩阵，进行归一化处理，
其中，所述预定状态转移矩阵与单位矩阵之间具有预定倍数关系，所述预定倍数依据平滑程度确定。
15.根据权利要求12所述的视频处理装置，其特征在于，所述处理模块采用如下方式基于所述帧分类置信度矩阵，执行一次时序平滑处理，以输出一个平滑标记序列：
构建全连接条件随机场模型；
利用所述全连接条件随机场模型，基于最小化能量函数确定平滑标记序列。
16.根据权利要求12所述的视频处理装置，其特征在于，所述处理模块采用如下方式利用所述预定数量的平滑标记序列中的置信度，确定时序上相邻且为同一类别的视频帧对应图像所属类别的置信度：将所述预定数量的平滑标记序列中时序上相邻且为同一类别的置信度的均值，作为时序上相邻且为同一类别的视频帧对应图像所属类别的置信度。
17.根据权利要求11至16中任意一项所述的视频处理装置，其特征在于，将时序上相邻且为同一类别的视频帧，划分为一个视频片段之后，分段模块还用于：
确定划分得到的视频片段中各视频片段的置信度；
将置信度大于预定阈值的视频片段，作为最终的视频片段。
18.根据权利要求11所述的视频处理装置，其特征在于，所述分类模块采用如下方式根据每一视频帧对应图像所属的至少一个类别及其置信度，确定时序上相邻且为同一类别的视频帧，以划分所述多个视频片段：
根据所述图像分类器针对每一视频帧输出的所述多个类别的置信度，构建所采集的多个视频帧的帧分类置信度矩阵；
基于所述帧分类置信度矩阵，构造灰度图像，所述灰度图像包括横轴坐标和纵轴坐标，所述横轴坐标表征类别的置信度，所述纵轴坐标表征视频帧的时序；
利用线段检测法，检测出所述灰度图像的纵向直线；
依据所述纵向直线，划分视频片段，其中，所述纵向直线的纵轴起止坐标对应视频片段的起止帧，所述纵向直线的横轴坐标对应所述视频片段所述类别。
19.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1至9中任一项所述的视频处理方法。
20.一种电子设备，其特征在于，所述电子设备包括：
存储器，配置用于存储指令；以及
处理器，配置用于调用所述指令执行权利要求1-9中任一项所述的视频处理方法。
CN201910867365.7A 2019-09-12 2019-09-12 视频处理方法、装置及存储介质 Active CN110602527B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910867365.7A CN110602527B (zh) 2019-09-12 2019-09-12 视频处理方法、装置及存储介质
US16/693,376 US11288514B2 (en) 2019-09-12 2019-11-25 Video processing method and device, and storage medium
EP19214642.1A EP3792818A1 (en) 2019-09-12 2019-12-10 Video processing method and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867365.7A CN110602527B (zh) 2019-09-12 2019-09-12 视频处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110602527A true CN110602527A (zh) 2019-12-20
CN110602527B CN110602527B (zh) 2022-04-08

Family

ID=68841030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867365.7A Active CN110602527B (zh) 2019-09-12 2019-09-12 视频处理方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11288514B2 (zh)
EP (1) EP3792818A1 (zh)
CN (1) CN110602527B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494935A (zh) * 2021-12-15 2022-05-13 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质
CN114765693A (zh) * 2021-01-14 2022-07-19 腾讯科技（深圳）有限公司 直播流内容处理方法和装置、存储介质及电子设备
US11488383B2 (en) 2020-03-11 2022-11-01 Beijing Xiaomi Pinecone Electronics Co., Ltd. Video processing method, video processing device, and storage medium
CN116310015A (zh) * 2023-03-15 2023-06-23 杭州若夕企业管理有限公司 一种计算机系统、方法及介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206365B2 (en) * 2020-01-13 2021-12-21 Charter Communications Operating, Llc Method and apparatus for overlaying themed imagery onto real-world objects in a head-mounted display device
CN113128354B (zh) * 2021-03-26 2022-07-19 中山大学中山眼科中心 一种洗手质量检测方法及装置
CN113660484B (zh) * 2021-06-29 2024-04-26 北京点众快看科技有限公司 基于音视频内容的音视频属性比对方法、系统、终端及介质
CN113722541A (zh) * 2021-08-30 2021-11-30 深圳市商汤科技有限公司 视频指纹的生成方法及装置、电子设备和存储介质
CN114218380B (zh) * 2021-12-03 2022-07-29 淮阴工学院 基于多模态的冷链配载用户画像标签抽取方法及装置
CN114245206B (zh) * 2022-02-23 2022-07-15 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法及装置
CN115278292B (zh) * 2022-06-30 2023-12-05 北京爱奇艺科技有限公司 一种视频推理信息的展示方法、装置及电子设备
CN115222838A (zh) * 2022-07-14 2022-10-21 维沃移动通信有限公司 视频生成方法、装置、电子设备及介质
CN115905622A (zh) * 2022-11-15 2023-04-04 北京字跳网络技术有限公司 视频标注方法、装置、设备、介质及产品

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047795A (zh) * 2006-03-30 2007-10-03 株式会社东芝 运动图像分割设备、字幕提取设备、方法和程序
US20130259375A1 (en) * 2008-02-15 2013-10-03 Heather Dunlop Systems and Methods for Semantically Classifying and Extracting Shots in Video
US20140307968A1 (en) * 2011-12-07 2014-10-16 Tata Consultancy Services Limited Method and apparatus for automatic genre identification and classification
CN105426829A (zh) * 2015-11-10 2016-03-23 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN107016415A (zh) * 2017-04-12 2017-08-04 合肥工业大学 一种基于全卷积网络的彩色图像色彩语义分类方法
CN107180074A (zh) * 2017-03-31 2017-09-19 北京奇艺世纪科技有限公司 一种视频分类方法及装置
CN108229515A (zh) * 2016-12-29 2018-06-29 北京市商汤科技开发有限公司 高光谱图像的对象分类方法和装置、电子设备
CN108537102A (zh) * 2018-01-25 2018-09-14 西安电子科技大学 基于稀疏特征与条件随机场的高分辨sar图像分类方法
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109196514A (zh) * 2016-02-01 2019-01-11 西-奥特私人有限公司 图像分类和标记
CN109190482A (zh) * 2018-08-06 2019-01-11 北京奇艺世纪科技有限公司 多标签视频分类方法及系统、系统训练方法及装置
US20190087965A1 (en) * 2016-03-18 2019-03-21 President And Fellows Of Harvard College Automatically classifying animal behavior
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US7334191B1 (en) * 2000-05-09 2008-02-19 International Business Machines Corporation Segmentation and detection of representative frames in video sequences
US7551234B2 (en) * 2005-07-28 2009-06-23 Seiko Epson Corporation Method and apparatus for estimating shot boundaries in a digital video sequence
WO2008028334A1 (en) * 2006-09-01 2008-03-13 Thomson Licensing Method and device for adaptive video presentation
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US9244924B2 (en) 2012-04-23 2016-01-26 Sri International Classification, search, and retrieval of complex video events
US8989503B2 (en) * 2012-08-03 2015-03-24 Kodak Alaris Inc. Identifying scene boundaries using group sparsity analysis
BR112016006860B8 (pt) * 2013-09-13 2023-01-10 Arris Entpr Inc Aparelho e método para criar um único fluxo de dados de informações combinadas para renderização em um dispositivo de computação do cliente
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
US9607224B2 (en) * 2015-05-14 2017-03-28 Google Inc. Entity based temporal segmentation of video streams
US9582860B2 (en) 2015-07-24 2017-02-28 Google Inc. Temporally smooth video enhancement
US10229324B2 (en) 2015-12-24 2019-03-12 Intel Corporation Video summarization using semantic information
US9881380B2 (en) 2016-02-16 2018-01-30 Disney Enterprises, Inc. Methods and systems of performing video object segmentation

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047795A (zh) * 2006-03-30 2007-10-03 株式会社东芝 运动图像分割设备、字幕提取设备、方法和程序
US20130259375A1 (en) * 2008-02-15 2013-10-03 Heather Dunlop Systems and Methods for Semantically Classifying and Extracting Shots in Video
US20140307968A1 (en) * 2011-12-07 2014-10-16 Tata Consultancy Services Limited Method and apparatus for automatic genre identification and classification
CN105426829A (zh) * 2015-11-10 2016-03-23 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
CN109196514A (zh) * 2016-02-01 2019-01-11 西-奥特私人有限公司 图像分类和标记
US20190087965A1 (en) * 2016-03-18 2019-03-21 President And Fellows Of Harvard College Automatically classifying animal behavior
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN108229515A (zh) * 2016-12-29 2018-06-29 北京市商汤科技开发有限公司 高光谱图像的对象分类方法和装置、电子设备
CN107180074A (zh) * 2017-03-31 2017-09-19 北京奇艺世纪科技有限公司 一种视频分类方法及装置
CN107016415A (zh) * 2017-04-12 2017-08-04 合肥工业大学 一种基于全卷积网络的彩色图像色彩语义分类方法
CN108537102A (zh) * 2018-01-25 2018-09-14 西安电子科技大学 基于稀疏特征与条件随机场的高分辨sar图像分类方法
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109190482A (zh) * 2018-08-06 2019-01-11 北京奇艺世纪科技有限公司 多标签视频分类方法及系统、系统训练方法及装置
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓燕子等: "结合场景结构和条件随机场的道路检测", 《华中科技大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488383B2 (en) 2020-03-11 2022-11-01 Beijing Xiaomi Pinecone Electronics Co., Ltd. Video processing method, video processing device, and storage medium
CN114765693A (zh) * 2021-01-14 2022-07-19 腾讯科技（深圳）有限公司 直播流内容处理方法和装置、存储介质及电子设备
CN114494935A (zh) * 2021-12-15 2022-05-13 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质
CN114494935B (zh) * 2021-12-15 2024-01-05 北京百度网讯科技有限公司 视频信息的处理方法、装置、电子设备和介质
CN116310015A (zh) * 2023-03-15 2023-06-23 杭州若夕企业管理有限公司 一种计算机系统、方法及介质

Also Published As

Publication number Publication date
US11288514B2 (en) 2022-03-29
CN110602527B (zh) 2022-04-08
US20210081671A1 (en) 2021-03-18
EP3792818A1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN110602527B (zh) 视频处理方法、装置及存储介质
CN105631408B (zh) 基于视频的面孔相册处理方法和装置
EP3855360A1 (en) Method and device for training image recognition model, and storage medium
CN112258381B (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN107463903B (zh) 人脸关键点定位方法及装置
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN106295499A (zh) 年龄估计方法及装置
CN110781323A (zh) 多媒体资源的标签确定方法、装置、电子设备及存储介质
CN113409342A (zh) 图像风格迁移模型的训练方法、装置及电子设备
CN112150457A (zh) 视频检测方法、装置及计算机可读存储介质
CN111783517B (zh) 图像识别方法、装置、电子设备及存储介质
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质
CN112200040A (zh) 遮挡图像检测方法、装置及介质
CN110619325A (zh) 一种文本识别方法及装置
CN111814538A (zh) 目标对象的类别识别方法、装置、电子设备及存储介质
CN114998955A (zh) 人脸识别方法、装置、存储介质及电子设备
CN111046927A (zh) 标注数据的处理方法、装置、电子设备及存储介质
CN112381091A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN111797746A (zh) 人脸识别方法、装置及计算机可读存储介质
CN111275089A (zh) 一种分类模型训练方法及装置、存储介质
CN115424044A (zh) 基于多模态的图像标注方法、装置及电子设备
CN107122801B (zh) 图像分类的方法和装置
CN115620054A (zh) 一种缺陷分类方法、装置、电子设备及存储介质
CN110659726B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114299427A (zh) 目标对象关键点的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230104

Address after: 430000 No. 006, floor 1, No. 66, Jiufeng 1st Road, Donghu New Technology Development Zone, Wuhan, Hubei Province (Wuhan area of free trade zone)

Patentee after: Xiaomi Technology (Wuhan) Co.,Ltd.

Address before: 100085 Huarun Qingcai Street 68, Haidian District, Beijing, two stage, 9 floor, 01 rooms.

Patentee before: BEIJING XIAOMI MOBILE SOFTWARE Co.,Ltd.

TR01 Transfer of patent right