CN110348367B - 视频分类方法、视频处理方法、装置、移动终端及介质 - Google Patents

视频分类方法、视频处理方法、装置、移动终端及介质 Download PDF

Info

Publication number
CN110348367B
CN110348367B CN201910611394.7A CN201910611394A CN110348367B CN 110348367 B CN110348367 B CN 110348367B CN 201910611394 A CN201910611394 A CN 201910611394A CN 110348367 B CN110348367 B CN 110348367B
Authority
CN
China
Prior art keywords
video
classification
scene
image
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910611394.7A
Other languages
English (en)
Other versions
CN110348367A (zh
Inventor
郭冠军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910611394.7A priority Critical patent/CN110348367B/zh
Publication of CN110348367A publication Critical patent/CN110348367A/zh
Application granted granted Critical
Publication of CN110348367B publication Critical patent/CN110348367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例公开了一种视频分类方法、视频处理方法、装置、移动终端及介质。包括:根据视频中第一组图像帧的场景为预设场景的概率确定视频的第一分类标签,以及将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。本公开实施例可以根据采用不同的分类方式确定的多个视频分类结果确定视频的视频分类结果,可以在视频分类结果不一致时,根据多个图像序列分类模型的输出重新确定视频分类结果,可以准确地对视频进行分类。

Description

视频分类方法、视频处理方法、装置、移动终端及介质
技术领域
本公开实施例涉及视频处理技术,尤其涉及一种视频分类方法、视频处理方法、装置、移动终端及介质。
背景技术
随着移动终端的普及,用户可以随时随地使用移动终端进行视频拍摄。通常会对用户拍摄的视频进行分类,然后按照类别将用户视频保存在相册中,便于用户进行分享。
现有技术一般通过服务器对视频进行分类。服务器将移动终端发送的视频输入至视频分类模型中,将视频分类模型输出的视频分类结果反馈给移动终端,以使移动终端按照类别将用户视频保存在相册中。
现有技术的缺陷在于,有些视频通过视频分类模型输出的视频分类结果准确性高,有些视频通过视频分类模型输出的视频分类结果准确性低,因此,分类的准确性不稳定。
发明内容
本公开提供一种视频分类方法、视频处理方法、装置、移动终端及介质,以实现对现有的视频分类方案进行优化,准确地对视频进行分类。
第一方面,本公开实施例提供了一种视频分类方法,包括:
根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;
如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
第二方面,本公开实施例还提供了一种视频处理方法,包括:
采集视频;
对采集的视频执行如本公开实施例所述的视频分类方法,得到所述采集的视频的分类结果。
第三方面,本公开实施例还提供了一种视频分类装置,包括:
分类标签确定模块,用于根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;
分类结果确定模块,用于如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
第四方面,本公开实施例还提供了一种视频处理装置,包括:
视频采集模块,用于采集视频;
视频分类模块,用于对采集的视频执行如本公开实施例所述的视频分类方法,得到采集的视频的分类结果。
第五方面,本公开实施例还提供了一种移动终端,包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理装置执行,使得一个或多个处理装置实现如本公开实施例所述的视频分类方法,或者实现如本公开实施例所述的视频处理方法。
第六方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理装置执行时实现如本公开实施例所述的视频分类方法,或者实现如本公开实施例所述的视频处理方法。
本公开实施例通过根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签,并在第一分类标签与第二分类标签不一致时,将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果,解决了现有技术的有些视频通过视频分类模型输出的视频分类结果准确性高,有些视频通过视频分类模型输出的视频分类结果准确性低,导致分类的准确性不稳定的问题,可以根据采用不同的分类方式确定的多个视频分类结果,确定视频的视频分类结果,可以在视频分类结果不一致时,根据多个图像序列分类模型的输出重新确定视频分类结果,可以准确地对视频进行分类。
附图说明
图1为本公开实施例提供的一种视频分类方法的流程图;
图2为本公开实施例提供的一种视频分类方法的流程图;
图3为本公开实施例提供的一种视频处理方法的流程图;
图4为本公开实施例提供的一种视频处理方法的流程图;
图5为本公开实施例提供的一种视频分类装置的结构示意图;
图6为本公开实施例提供的一种视频处理装置的结构示意图;
图7为本公开实施例提供的一种移动终端的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。
图1为本公开实施例提供的一种视频分类方法的流程图。本实施例可适用于对视频进行分类的情况,该方法可以由视频分类装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于移动终端中。如图1所示,该方法可以包括如下步骤:
步骤101、根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签。
其中,视频可以为用户通过移动终端的摄像头拍摄的视频。
可选的,按照预设的帧数间隔,从视频的图像帧序列中抽取第一组图像帧。在图像帧序列中,视频的全部图像帧按时间顺序排列。例如,帧数间隔为3。在图像帧序列中每隔3帧抽取一帧图像,抽取出的全部图像帧即为第一组图像帧。
预设场景是预先设置的多种类型的场景。例如,婴儿、沙滩、夜景等场景。每一个类别的场景有对应的一个场景标签。沙滩场景对应的场景标签即为“沙滩”。视频中第一组图像帧的场景为预设场景的概率包括第一组图像帧中的每一帧图像帧的场景为各类场景的概率。
在一个具体实例中,根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,包括:针对第一组图像帧中的每一帧图像帧,将图像帧输入至预设的图像分类模型中,预设的图像分类模型对图像帧的场景类别进行分析,输出图像帧的场景为预设场景的概率,从而确定第一组图像帧中的每一帧图像帧的场景为预设场景的概率。然后针对每一帧图像帧,按照从大到小的顺序对图像帧的场景为预设场景的概率进行排序,获取最大概率,并将与最大概率对应的场景的场景标签确定为与图像帧匹配的场景标签,从而确定第一组图像帧中的每一帧图像帧的场景标签。根据第一组图像帧中的各帧图像帧的场景标签,统计各类场景标签的出现次数,将出现次数最高的场景标签确定为视频的第一分类标签。
在另一个具体实例中,根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,包括:针对第一组图像帧中的每一帧图像帧,将图像帧输入至预设的图像分类模型中,预设的图像分类模型对图像帧的场景类别进行分析,输出图像帧的场景为预设场景的概率,从而确定第一组图像帧中的每一帧图像帧的场景为预设场景的概率。然后针对每一帧图像帧,将对应的前一帧图像帧的场景为预设场景的概率与图像帧的场景为预设场景的概率进行加权平均,将加权平均的概率作为图像帧的场景为预设场景的修正场景概率。针对每一帧图像帧,按照从大到小的顺序对图像帧的场景为预设场景的修正场景概率进行排序,获取最大概率,并将与最大概率对应的场景的场景标签确定为与图像帧匹配的场景标签,从而确定第一组图像帧中的每一帧图像帧的场景标签。根据第一组图像帧中的各帧图像帧的场景标签,统计各类场景标签的出现次数,将出现次数最高的场景标签确定为视频的第一分类标签。
可选的,按照与视频的图像帧数匹配的帧数间隔,从视频的图像帧序列中抽取设定数量的图像帧,作为第二组图像帧。第二组图像帧是由按时间顺序排列的设定数量的图像帧构成的图像帧序列。
例如,设定数量为10帧,视频的图像帧数为60帧。与视频的图像帧数匹配的帧数间隔为5。在图像帧序列中每隔5帧抽取一帧图像,抽取出10帧图像帧作为第二组图像帧。第二组图像帧是由按时间顺序排列的10帧图像帧构成的图像帧序列。
可选的,预先设置多种类型的分类标签。分类标签包括场景标签,以及其他类型的视频标签。一个分类标签对应一种视频类别。例如,预先设置的分类标签包括:婴儿、沙滩、夜景、运动、动物、食物等。
可选的,将第二组图像帧输入至图像序列分类模型中。第二组图像帧是由按时间顺序排列的设定数量的图像帧构成的图像帧序列。图像序列分类模型对输入的第二组图像帧进行分析,输出与第二组图像帧对应的分类标签。将与第二组图像帧对应的分类标签确定为视频的第二分类标签。
例如,第二组图像帧是由按时间顺序排列的10帧图像帧构成的图像帧序列。将第二组图像帧输入至图像序列分类模型中,图像序列分类模型对第二组图像帧进行分析,输出与第二组图像帧对应的分类标签。将该分类标签确定为视频的第二分类标签。
可选的,图像序列分类模型包括聚合模型、分类器和多个特征提取模型,图像序列分类模型通过每个特征提取模型提取输入的图像帧中的图像特征,通过聚合模型聚合设定数量的图像帧中的图像特征得到聚合特征,通过分类器对聚合特征进行分类得到对应的分类标签。
步骤102、第一分类标签与第二分类标签是否一致:若是,则执行步骤103;若否,则执行步骤104。
步骤103、得到视频的分类结果。
其中,如果第一分类标签与第二分类标签一致,则直接将第一分类标签确定为视频的分类结果。例如,第一分类标签为“夜景”,第二分类标签为“夜景”,直接将“夜景”确定为视频的分类结果。
步骤104、将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
其中,图像序列分类模型是通过训练样本集合对预设模型进行训练得到的。训练样本集合中包含多组按时间顺序排列的图像帧序列。
设置多个训练样本集合。分别根据各训练样本集合对预设模型进行训练得到对应的图像序列分类模型,即得到多个图像序列分类模型。从多个图像序列分类模型中获取一个图像序列分类模型,用于对输入的视频中第二组图像帧进行分析,得到视频的第二分类标签。对除该图像序列分类模型之外的其他图像序列分类模型进行保存。如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
在一个具体实例中,设置6个训练样本集合。根据各个训练样本集合对预设模型进行训练得到对应的图像序列分类模型,即得到6个图像序列分类模型。从多个图像序列分类模型中获取一个图像序列分类模型,用于对输入的视频中第二组图像帧进行分析,得到视频的第二分类标签。对除该图像序列分类模型之外的5个图像序列分类模型进行保存。如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入除该图像序列分类模型之外的5个图像序列分类模型。4个图像序列分类模型输出分类标签“沙滩”。1个图像序列分类模型输出分类标签“夜景”。统计5个图像序列分类模型输出的不同分类标签的次数:分类标签“沙滩”的次数为4,分类标签“夜景”的次数为1。将次数最多的分类标签“沙滩”作为视频的分类结果。
本实施例的技术方案,通过根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签,并在第一分类标签与第二分类标签不一致时,将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果,解决了现有技术的有些视频通过视频分类模型输出的视频分类结果准确性高,有些视频通过视频分类模型输出的视频分类结果准确性低,导致分类的准确性不稳定的问题,可以根据采用不同的分类方式确定的多个视频分类结果,确定视频的视频分类结果,可以在视频分类结果不一致时,根据多个图像序列分类模型的输出重新确定视频分类结果,可以准确地对视频进行分类。
图2为本公开实施例提供的一种视频分类方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合,在本实施例中,根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,可以包括:依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧;确定当前处理图像帧的场景为预设场景的第一场景概率;根据当前处理图像帧的第一场景概率和当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到当前处理图像帧的场景为预设场景的修正场景概率;返回执行依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧的操作,直至得到第一组图像帧中各图像帧的场景为预设场景的修正场景概率;根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签。
以及,根据其他图像序列分类模型的输出确定视频的分类结果,包括:统计其他图像序列分类模型输出的不同分类标签的次数;将次数最多的分类标签作为视频的分类结果。
如图2所示,该方法可以包括如下步骤:
步骤201、依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧。
其中,第一组图像帧中的各图像帧按照时间顺序排列。
步骤202、确定当前处理图像帧的场景为预设场景的第一场景概率。
其中,预设场景是预先设置的多种类型的场景。第一场景概率是图像帧的场景为预设场景的概率,即图像帧的场景为各类场景的概率。将当前处理图像帧输入至预设的图像分类模型中,预设的图像分类模型对当前处理图像帧的场景类别进行分析,输出当前处理图像帧的第一场景概率。
步骤203、根据当前处理图像帧的第一场景概率和当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到当前处理图像帧的场景为预设场景的修正场景概率。
其中,第二场景概率是当前处理图像帧的前一帧图像帧的场景为各类场景的概率。
可选的,将当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率与当前处理图像帧的场景为预设场景的第一场景概率进行加权平均,加权平均的概率作为当前处理图像帧的场景为预设场景的修正场景概率。
具体的,根据下述公式,得到当前处理图像帧的场景为预设场景的修正场景概率:
P2i=λP1i+(1-λ)P′2i
其中,P2i为当前处理图像帧的场景为第i类场景的修正场景概率,P′2i为当前处理图像帧的场景为第i类场景的第一场景概率,P1i为当前处理图像帧的前一帧图像帧的场景为第i类场景的第二场景概率,i=1,2,…N,0<λ<1。λ是预设的参数,可以根据业务需求进行设置。
可选的,如果当前处理图像帧为第一组图像帧中的第一帧,则当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率为空,当前处理图像帧的场景为预设场景的修正场景概率为当前处理图像帧的第一场景概率。
步骤204、返回执行依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧的操作,直至得到第一组图像帧中各图像帧的场景为预设场景的修正场景概率。
步骤205、根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签。
可选的,根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签,可以包括:根据修正场景概率,确定第一组图像帧中各图像帧对应的场景标签;根据场景标签,确定视频的第一分类标签。
针对第一组图像帧中的每一帧图像帧,按照从大到小的顺序对图像帧的场景为预设场景的修正场景概率进行排序,获取最大概率,并将与最大概率对应的场景的场景标签确定为与图像帧匹配的场景标签,从而确定第一组图像帧中的每一帧图像帧的场景标签。
根据第一组图像帧中的各帧图像帧的场景标签,统计各类场景标签的出现次数,将出现次数最高的场景标签确定为视频的第一分类标签。
步骤206、将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签。
步骤207、第一分类标签与第二分类标签是否一致:若是,则执行步骤208;若否,则执行步骤209。
步骤208、得到视频的分类结果。
步骤209、将第二组图像帧重新输入其他图像序列分类模型,统计其他图像序列分类模型输出的不同分类标签的次数。
其中,如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型。统计其他图像序列分类模型输出的不同分类标签的次数。
例如,其他图像序列分类模型为预先保存的5个图像序列分类模型。4个其他图像序列分类模型输出分类标签“沙滩”。1个其他图像序列分类模型输出分类标签“夜景”。统计5个图像序列分类模型输出的不同分类标签的次数:分类标签“沙滩”的次数为4,分类标签“夜景”的次数为1。
步骤210、将次数最多的分类标签作为视频的分类结果。
本实施例的技术方案,通过依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧,根据当前处理图像帧的第一场景概率和当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到当前处理图像帧的场景为预设场景的修正场景概率,直至得到第一组图像帧中各图像帧的场景为预设场景的修正场景概率,,并根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签,以及,统计其他图像序列分类模型输出的不同分类标签的次数,并将次数最多的分类标签作为视频的分类结果,可以根据前一帧的场景概率对当前帧的场景概率进行修正,可以根据其他图像序列分类模型输出的不同分类标签的次数,确定视频的分类结果。
图3为本公开实施例提供的一种视频处理方法的流程图。本实施例可适用于对视频进行处理的情况,该方法可以由视频处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于移动终端中。如图3所示,该方法可以包括如下步骤:
步骤301、采集视频。
其中,采集用户通过移动终端的摄像头拍摄的视频,或者用户通过移动终端获取的视频。
步骤302、对采集的视频执行如本公开实施例所述的视频分类方法,得到采集的视频的分类结果。
其中,根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
本实施例的技术方案,通过本公开实施例所述的视频分类方法,对采集的视频进行分类,得到采集的视频的分类结果,可以根据采用不同的分类方式确定的多个视频分类结果,确定视频的视频分类结果,可以在视频分类结果不一致时,根据多个图像序列分类模型的输出重新确定视频分类结果,可以准确地对视频进行分类,得到准确的视频分类结果。
图4为本公开实施例提供的一种视频处理方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合,在本实施例中,在得到采集的视频的分类结果之后,可以还包括:根据分类结果保存采集的视频。
如图4所示,该方法可以包括如下步骤:
步骤401、采集视频。
步骤402、对采集的视频执行如本公开实施例所述的视频分类方法,得到采集的视频的分类结果。
步骤403、根据分类结果保存采集的视频。
可选的,分类结果为采集的视频的分类标签。预先为每一个分类标签设置一个视频存储相册。将采集的视频保存至与采集的视频的分类标签匹配的视频存储相册中。
本实施例的技术方案,通过本公开实施例所述的视频分类方法,对采集的视频进行分类,得到采集的视频的分类结果,并根据分类结果保存采集的视频,可以准确地按照类别对视频进行保存。
图5为本公开实施例提供的一种视频分类装置的结构示意图。本实施例可适用于对视频进行分类的情况。该装置可以采用软件和/或硬件的方式实现,该装置可以配置于移动终端。如图5所示,该装置可以包括:分类标签确定模块501和分类结果确定模块502。
其中,分类标签确定模块501,用于根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;分类结果确定模块502,用于如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
本实施例的技术方案,通过根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签,并在第一分类标签与第二分类标签不一致时,将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果,解决了现有技术的有些视频通过视频分类模型输出的视频分类结果准确性高,有些视频通过视频分类模型输出的视频分类结果准确性低,导致分类的准确性不稳定的问题,可以根据采用不同的分类方式确定的多个视频分类结果,确定视频的视频分类结果,可以在视频分类结果不一致时,根据多个图像序列分类模型的输出重新确定视频分类结果,可以准确地对视频进行分类。
可选的,在上述技术方案的基础上,分类标签确定模块501可以包括:图像帧获取单元,用于依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧;概率确定单元,用于确定当前处理图像帧的场景为预设场景的第一场景概率;概率修正单元,用于根据当前处理图像帧的第一场景概率和当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到当前处理图像帧的场景为预设场景的修正场景概率;返回单元,用于返回执行依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧的操作,直至得到第一组图像帧中各图像帧的场景为预设场景的修正场景概率;标签确定单元,用于根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签。可选的,在上述技术方案的基础上,概率确定单元可以包括:第一确定子单元,用于根据修正场景概率,确定第一组图像帧中各图像帧对应的场景标签;第二确定子单元,用于根据场景标签,确定视频的第一分类标签。
可选的,在上述技术方案的基础上,分类结果确定模块502可以包括:次数统计单元,用于统计其他图像序列分类模型输出的不同分类标签的次数;结果确定单元,用于将次数最多的分类标签作为视频的分类结果。
本公开实施例所提供的视频分类装置可执行本公开实施例所提供的视频分类方法,具备执行方法相应的功能模块和有益效果。
图6为本公开实施例提供的一种视频处理装置的结构示意图。本实施例可适用于对视频进行处理的情况。该装置可以采用软件和/或硬件的方式实现,该装置可以配置于移动终端。如图6所示,该装置可以包括:视频采集模块601和视频分类模块602。
其中,视频采集模块601,用于采集视频;视频分类模块602,用于对采集的视频执行如本公开实施例所述的视频分类方法,得到采集的视频的分类结果。
本实施例的技术方案,通过本公开实施例所述的视频分类方法,对采集的视频进行分类,得到采集的视频的分类结果,可以根据采用不同的分类方式确定的多个视频分类结果,确定视频的视频分类结果,可以在视频分类结果不一致时,根据多个图像序列分类模型的输出重新确定视频分类结果,可以准确地对视频进行分类,得到准确的视频分类结果。
可选的,在上述技术方案的基础上,可以还包括:视频保存模块,用于根据分类结果保存采集的视频。
本公开实施例所提供的视频处理装置可执行本公开实施例所提供的视频处理方法,具备执行方法相应的功能模块和有益效果。
下面参考图7,其示出了适于用来实现本公开实施例的移动终端700的结构示意图。本公开实施例中的移动终端可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等。图7示出的移动终端仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,移动终端700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有移动终端700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许移动终端700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的移动终端700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述移动终端中所包含的;也可以是单独存在,而未装配入该移动终端中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该移动终端执行时,使得该移动终端:根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
或者,使得该移动终端:采集视频;对采集的视频执行如本公开实施例所述的视频分类方法,得到所述采集的视频的分类结果。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块、单元以及子单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块、单元以及子单元的名称在某种情况下并不构成对该模块、单元或子单元本身的限定,例如,分类标签确定模块还可以被描述为“根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签的模块”,概率确定单元还可以被描述为“确定第一组图像帧的场景为预设场景的第一场景概率的单元”,第一确定子单元还可以被描述为“根据修正场景概率,确定第一组图像帧中各图像帧对应的场景标签的子单元”。
本公开实施例公开的视频分类方法,包括:
根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,以及,将视频中第二组图像帧输入图像序列分类模型,得到视频的第二分类标签;
如果第一分类标签与第二分类标签一致,则得到视频的分类结果;如果第一分类标签与第二分类标签不一致,则将第二组图像帧重新输入其他图像序列分类模型,根据其他图像序列分类模型的输出确定视频的分类结果。
进一步地,根据视频中第一组图像帧的场景为预设场景的概率,确定视频的第一分类标签,包括:
依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧;
确定当前处理图像帧的场景为预设场景的第一场景概率;
根据当前处理图像帧的第一场景概率和当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到当前处理图像帧的场景为预设场景的修正场景概率;
返回执行依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧的操作,直至得到第一组图像帧中各图像帧的场景为预设场景的修正场景概率;
根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签。
进一步地,根据第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定视频的第一分类标签,包括:
根据修正场景概率,确定第一组图像帧中各图像帧对应的场景标签;
根据场景标签,确定视频的第一分类标签。
进一步地,根据其他图像序列分类模型的输出确定视频的分类结果,包括:
统计其他图像序列分类模型输出的不同分类标签的次数;
将次数最多的分类标签作为视频的分类结果。
本公开实施例公开的视频处理方法,包括:
采集视频;
对采集的视频执行如本公开实施例所述的视频分类方法,得到采集的视频的分类结果。
进一步地,在得到采集的视频的分类结果之后,还包括:
根据分类结果保存采集的视频。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种视频分类方法,其特征在于,包括:
根据视频中第一组图像帧的场景为预设场景的概率,确定所述视频的第一分类标签,其中,依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧;确定所述当前处理图像帧的场景为预设场景的第一场景概率;根据所述当前处理图像帧的第一场景概率和所述当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到所述当前处理图像帧的场景为预设场景的修正场景概率;返回执行依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧的操作,直至得到所述第一组图像帧中各图像帧的场景为预设场景的修正场景概率;根据所述第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定所述视频的第一分类标签;以及,将所述视频中第二组图像帧输入图像序列分类模型,得到所述视频的第二分类标签;
如果所述第一分类标签与所述第二分类标签一致,则得到所述视频的分类结果;如果所述第一分类标签与所述第二分类标签不一致,则将所述第二组图像帧重新输入其他图像序列分类模型,根据所述其他图像序列分类模型的输出确定所述视频的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定所述视频的第一分类标签,包括:
根据所述修正场景概率,确定所述第一组图像帧中各图像帧对应的场景标签;
根据所述场景标签,确定所述视频的第一分类标签。
3.根据权利要求1所述的方法,其特征在于,所述根据其他图像序列分类模型的输出确定所述视频的分类结果,包括:
统计其他图像序列分类模型输出的不同分类标签的次数;
将次数最多的分类标签作为所述视频的分类结果。
4.一种视频处理方法,其特征在于,包括:
采集视频;
对采集的视频执行如权利要求1-3任一项所述的视频分类方法,得到所述采集的视频的分类结果。
5.根据权利要求4所述的方法,其特征在于,在得到采集的视频的分类结果之后,还包括:
根据所述分类结果保存所述采集的视频。
6.一种视频分类装置,其特征在于,包括:
分类标签确定模块,用于根据视频中第一组图像帧的场景为预设场景的概率,确定所述视频的第一分类标签,其中,依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧;确定所述当前处理图像帧的场景为预设场景的第一场景概率;根据所述当前处理图像帧的第一场景概率和所述当前处理图像帧的前一帧图像帧的场景为预设场景的第二场景概率,得到所述当前处理图像帧的场景为预设场景的修正场景概率;返回执行依次获取第一组图像帧中的一帧图像帧作为当前处理图像帧的操作,直至得到所述第一组图像帧中各图像帧的场景为预设场景的修正场景概率;根据所述第一组图像帧中各图像帧的场景为预设场景的修正场景概率,确定所述视频的第一分类标签;以及,将所述视频中第二组图像帧输入图像序列分类模型,得到所述视频的第二分类标签;
分类结果确定模块,用于如果所述第一分类标签与所述第二分类标签一致,则得到所述视频的分类结果;如果所述第一分类标签与所述第二分类标签不一致,则将所述第二组图像帧重新输入其他图像序列分类模型,根据所述其他图像序列分类模型的输出确定所述视频的分类结果。
7.一种视频处理装置,其特征在于,包括:
视频采集模块,用于采集视频;
视频分类模块,用于对采集的视频执行如权利要求1-3任一项所述的视频分类方法,得到所述采集的视频的分类结果。
8.一种移动终端,其特征在于,所述移动终端包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求1-3中任一项所述的视频分类方法,或者实现如权利要求4-5中任一项所述的视频处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理装置执行时实现如权利要求1-3中任一项所述的视频分类方法,或者实现如权利要求4-5中任一项所述的视频处理方法。
CN201910611394.7A 2019-07-08 2019-07-08 视频分类方法、视频处理方法、装置、移动终端及介质 Active CN110348367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910611394.7A CN110348367B (zh) 2019-07-08 2019-07-08 视频分类方法、视频处理方法、装置、移动终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910611394.7A CN110348367B (zh) 2019-07-08 2019-07-08 视频分类方法、视频处理方法、装置、移动终端及介质

Publications (2)

Publication Number Publication Date
CN110348367A CN110348367A (zh) 2019-10-18
CN110348367B true CN110348367B (zh) 2021-06-08

Family

ID=68178441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910611394.7A Active CN110348367B (zh) 2019-07-08 2019-07-08 视频分类方法、视频处理方法、装置、移动终端及介质

Country Status (1)

Country Link
CN (1) CN110348367B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291688B (zh) * 2020-02-12 2023-07-14 咪咕文化科技有限公司 视频标签的获取方法及装置
CN113496208B (zh) * 2021-05-20 2022-03-04 华院计算技术(上海)股份有限公司 视频的场景分类方法及装置、存储介质、终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244424A (ja) * 2005-03-07 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 映像シーン分類方法及び装置及びプログラム
CN108090497A (zh) * 2017-12-28 2018-05-29 广东欧珀移动通信有限公司 视频分类方法、装置、存储介质及电子设备
CN108777815A (zh) * 2018-06-08 2018-11-09 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质
CN108875619A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244424A (ja) * 2005-03-07 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 映像シーン分類方法及び装置及びプログラム
CN108090497A (zh) * 2017-12-28 2018-05-29 广东欧珀移动通信有限公司 视频分类方法、装置、存储介质及电子设备
CN108777815A (zh) * 2018-06-08 2018-11-09 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质
CN108875619A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learnable pooling with Context Gating for video classification;Antoine Miech 等;《arXiv》;20180305;第1-8页 *
基于多特征距离学习的视频分类;李真超 等;《计算机应用与软件》;20121231;第29卷(第12期);第10-12,26页 *

Also Published As

Publication number Publication date
CN110348367A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN111340131B (zh) 图像的标注方法、装置、可读介质和电子设备
CN111445902B (zh) 数据收集方法、装置、存储介质及电子设备
CN110347875B (zh) 一种视频场景分类方法、装置、移动终端及存储介质
EP3893125A1 (en) Method and apparatus for searching video segment, device, medium and computer program product
CN109784304B (zh) 用于标注牙齿图像的方法和装置
CN109961032B (zh) 用于生成分类模型的方法和装置
CN108509921B (zh) 用于生成信息的方法和装置
CN112364829B (zh) 一种人脸识别方法、装置、设备及存储介质
CN111310815A (zh) 图像识别方法、装置、电子设备及存储介质
CN110348367B (zh) 视频分类方法、视频处理方法、装置、移动终端及介质
CN112907628A (zh) 视频目标追踪方法、装置、存储介质及电子设备
CN111126159A (zh) 用于实时跟踪行人的方法、装置、电子设备和介质
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN110414625B (zh) 确定相似数据的方法、装置、电子设备及存储介质
CN111310595B (zh) 用于生成信息的方法和装置
CN112148962B (zh) 用于推送信息的方法和装置
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN114140723B (zh) 多媒体数据的识别方法、装置、可读介质及电子设备
CN113033552B (zh) 文本识别方法、装置和电子设备
CN111783632B (zh) 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN111401182B (zh) 针对饲喂栏的图像检测方法和装置
CN110334763B (zh) 模型数据文件生成、图像识别方法、装置、设备及介质
CN111586295B (zh) 图像生成方法、装置和电子设备
CN115222969A (zh) 标识信息识别方法、装置、设备、可读存储介质及产品
CN112115740B (zh) 用于处理图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant