CN111339360B - 视频处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

视频处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111339360B
CN111339360B CN202010113350.4A CN202010113350A CN111339360B CN 111339360 B CN111339360 B CN 111339360B CN 202010113350 A CN202010113350 A CN 202010113350A CN 111339360 B CN111339360 B CN 111339360B
Authority
CN
China
Prior art keywords
candidate
score
fragments
low
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010113350.4A
Other languages
English (en)
Other versions
CN111339360A (zh
Inventor
王影影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010113350.4A priority Critical patent/CN111339360B/zh
Publication of CN111339360A publication Critical patent/CN111339360A/zh
Application granted granted Critical
Publication of CN111339360B publication Critical patent/CN111339360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频处理方法、装置、电子设备及计算机可读存储介质，属于计算机技术领域。该方法中，通过将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于第一预设分值阈值的候选行为片段，确定为低分候选片段，然后根据高分候选片段与低分候选片段之间的相似度，从低分候选片段中提取目标低分候选片段，最后，将高分候选片段及目标低分候选片段，确定为目标行为片段。本发明实施例中，通过结合高分候选片段及低分候选片段，筛选出目标低分候选片段，并将高分候选片段及目标低分候选片段，确定为目标行为片段，一定程度上可以提高确定的目标行为片段的数量，进而可以提高召回率。

Description

视频处理方法、装置、电子设备及计算机可读存储介质
技术领域
本发明属于计算机技术领域，特别是涉及一种视频处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着网络的不断发展，网络中的视频资源越来越多。为了提高用户的观看效率，经常会从视频中提取内容是用户感兴趣的某种行为的行为片段。具体的，可以基于行为分类器，将视频划分为多个候选视频片段以及确定每个候选视频片段的分值，最后，根据候选行为片段的分值，从中筛选目标行为片段。
现有技术中，在根据分值筛选目标行为片段时，往往是确定每个候选行为片段的分值是否大于预设分值阈值，然后将分值大于预设分值阈值的候选行为片段确定为目标行为片段。这样，直接根据预设分值阈值进行筛选目标行为片段的方式，由于仅筛选出分值大于预设分值阈值的候选视频片段作为目标行为片段，进而会导致筛选出的目标行为片段数量较少，进而导致召回率较低。
发明内容
本发明提供一种视频处理方法、装置、电子设备及计算机可读存储介质，以便解决筛选出的目标行为片段数量较少，召回率较低的问题。
在本发明实施的第一方面，首先提供了一种视频处理方法，该方法包括：
对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段；
根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段；
将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段。
在本发明实施的第二方面，还提供了一种视频处理装置，该装置包括：
第一确定模块，用于对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段；
提取模块，用于根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段；
第二确定模块，用于将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的视频处理方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的视频处理方法。
本发明实施例提供的视频处理方法、装置、电子设备及计算机可读存储介质，通过将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于第一预设分值阈值的候选行为片段，确定为低分候选片段，然后根据高分候选片段与低分候选片段之间的相似度，从低分候选片段中提取目标低分候选片段，最后，将高分候选片段及目标低分候选片段，确定为目标行为片段。相较于直接丢弃低分候选行为片段，将大于预设分值阈值的候选行为片段作为目标行为片段的方式，本发明实施例中，通过结合高分候选片段及低分候选片段，筛选出目标低分候选片段，并将高分候选片段及目标低分候选片段，确定为目标行为片段，一定程度上可以提高确定的目标行为片段的数量，进而可以提高召回率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种视频处理方法的步骤流程图；
图2-1是本发明实施例提供的另一种视频处理方法的步骤流程图；
图2-2是本发明实施例提供的一种分割示意图；
图3是本发明实施例提供的一种视频处理装置的框图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
图1是本发明实施例提供的一种视频处理方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段。
本发明实施例中，待处理视频可以是需要提取行为片段的视频，待处理视频可以为一个也可以为多个。示例的，待处理视频可以为一部电视剧，也就可以为10部电影。候选行为片段对应一个预设行为类别，例如，对应行走、拥抱、骑自行车等类别。候选视频片段对应一个预设行为类别，候选行为片段可以是内容中出现的行为可能属于该预设行为类别的视频片段，候选行为片段的分值用于表示所述候选行为片段的内容中出现的行为属于所述预设行为类别的概率，分值越大，概率越大，内容中出现的行为属于所述预设行为类别的可能性越高。其中，候选行为片段可以由片段(clip)组成，每个clip可以由若干个视频帧组成。具体的，在本步骤之前，还可以通过下述过程确定候选行为片段及其分值：将处理视频视频均匀的分成多个clip，然后，利用行为分类器(Inflated 3D ConvNet，I3D)提取每个clip的特征，并基于clip的特征确定该clip属于各个预设行为类别的概率值，将最大的概率值对应的预设行为类别作为该clip所属预设行为类别，将该最大概率值作为该clip对应的概率值，接着，将所属的预设行为类别相同且在待处理视频中所处的位置连续的片段进行组合，得到候选行为片段。计算候选行为片段中包含的clip对应的概率值的平均值，并根据该平均值确定候选行为片段的分值。具体确定分值时，可以直接将该平均值确定为候选行为片段的分值，也可以根据预设的平均值与数值对应关系，将该对应关系中与该平均值相匹配的预设平均值对应的数值，作为该候选行为片段的分值。其中，这个过程可以通过预设的行为片段提取模块及行为片段划分模块实现。进一步地，第一预设分值阈值可以是根据实际需求预先设定的，如果候选行为片段的分值大于第一预设分值阈值，则说明该候选行为片段的分值较高，该候选行为片段的内容中出现的行为属于预设行为类别的可能性很高，因此，可以将该候选行为片段确定为高分候选片段。相反的，如果候选行为片段的分值不大于第一预设分值阈值，则说明该候选行为片段的分值较低，该候选行为片段的内容中出现的行为属于预设行为类别的可能性不太高，因此，可以将该候选行为片段确定为低分候选片段。需要说明的是，该第一预设分值阈值可以大于常用的分值阈值，这样，通过采用较高的值作为第一预设分值阈值，一定程度上可以使得基于该第一预设分值阈值筛选出的高分候选片段的正确率更高。
步骤102、根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段。
实际应用场景中，I3D分类器确定clip的概率值时，往往是通过对clip的内容进行检测实现的。但是，受到检测精度的影响，或者是内容本身的影响，有时候会出现误检的情况，例如，由于行为主体在服饰上的相似性，将戴着帽子的军人在野外训练或者执行任务的这些行为，误识别为戴着帽子的军人在骑摩托车，进而会导致确定的概率值不准确，基于该概率值确定的分值偏低。因此，本发明实施例中，可以进一步从低分候选片段中提取目标低分候选片段。其中，所述目标低分候选片段可以是分值与所述概率不符的候选行为片段，分值与内容中出现的行为属于预设行为类别的概率不符可以是由于误检导致分值较低引起的，即，该目标低分候选片段本质上是内容中出现的行为属于预设行为类别的可能性很高的候选行为片段。本发明实施例中，通过提取误检导致分值较低的目标低分候选片段，使得由于误检导致分值较低的候选视频片段在后续步骤中也能够被作为目标行为片段进行召回，进而一定程度上可以降低由于误检带来的影响。
进一步地，如果低分行为片段如果是被误检的，那么该低分行为片段往往会与高分候选片段存在一定的相似性，因此，本发明实施例中，根据高分候选片段与低分候选片段之间的相似度进行提取，一定程度上可以确保提取效果。
步骤103、将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段。
本发明实施例中，由于高分候选片段的内容中出现的行为属于预设行为类别的可能性很高，目标低分候选片段本质上是内容中出现的行为属于预设行为类别的可能性很高的候选行为片段。因此，本步骤中，可以认为高分候选片段及目标低分候选片段就是目标行为片段，将高分候选片段及目标低分候选片段确定为目标行为片段。这样，在提高召回的目标行为片段的数量同时，可以确保召回的目标行为片段的准确率。
综上所述，本发明实施例提供的视频处理方法，会将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于第一预设分值阈值的候选行为片段，确定为低分候选片段，然后根据高分候选片段与低分候选片段之间的相似度，从低分候选片段中提取目标低分候选片段，最后，将高分候选片段及目标低分候选片段，确定为目标行为片段。相较于直接丢弃低分候选行为片段，将大于预设分值阈值的候选行为片段作为目标行为片段的方式，本发明实施例中，通过结合高分候选片段及低分候选片段，筛选出目标低分候选片段，并将高分候选片段及目标低分候选片段，确定为目标行为片段，一定程度上可以提高确定的目标行为片段的数量，进而可以提高召回率。
图2-1是本发明实施例提供的另一种视频处理方法的步骤流程图，如图2-1所示，该方法可以包括：
步骤201、对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段。
具体的，本步骤的实现方式可以参照前述步骤101，本发明实施例对此不作限定。
步骤202、将所述高分候选片段中分值大于第二预设分值阈值的高分候选片段，确定为可信任高分候选片段。
本发明实施例中，第二预设分值阈值可以是根据实际需求选取的，该第二预设分值阈值可以大于第一预设分值阈值。相应地，如果高分候选片段的分值大于第二预设分值阈值，则可以认为该高分候选片段的内容中出现的行为属于预设行为类别的可能性更高，该高分候选片段是目标行为片段的可信程度更高，因此，可以将该高分候选片段确定为可信任高分候选片段。
步骤203、将所述可信任高分候选片段及所述低分候选片段作为种子片段，并计算各个所述种子片段之间的相似度。
本步骤中，该相似度可以是种子片段之间的余弦距离，即，该相似度为余弦相似度。具体的，在计算相似度时，可以是：获取每个所述种子片段的特征向量；计算所述每两个所述种子片段之间的余弦相似度。其中，获取种子片段的特征向量时，可以：获取组成所述种子片段的每个clip对应的特征向量；根据每个所述clip的特征向量中各个维度的值，选择各个特征维度上的最大值，并将所述最大值组成的向量作为所述种子片段的特征向量。具体的，由于通过I3D分类器确定所述clip的概率值的过程中，I3D分类器是先确定该clip的特征向量，然后根据该clip的特征向量确定概率值的。因此，本步骤中，可以从I3D分类器中读取clip对应的特征向量。相较于基于clip的内容生成特征向量的方式，本发明实施例中，通过从从I3D分类器中读取clip对应的特征向量，一定程度上可以降低获取特征向量的工作量，以及获取特征向量所需的时间。进一步地，通过选取最大值组成的向量作为种子片段的特征向量，一定程度上可以使得种子片段的特征向量更具代表性，进而提高基于该种子片段的特征向量进行处理的效果。其中，提取特征向量的过程可以通过预设的视频特征提取模块实现。
示例的，假设有2个可信任高分候选片段：A、B，2个低分候选片段：C、D、E，那么种子片段可以为：A、B、C、D、E。在计算相似度时，可以计算A、B、C、D、E中每两个种子片段之间的余弦相似度。当然，该相似度也可以是种子片段之间的欧几里得距离，本发明实施例对此不作限定。
步骤204、将所述种子片段作为节点，所述种子片段之间的相似度作为边，并通过所述节点及所述边，构建K近邻图；所述相似度越高，所述边的长度越小；所述K近邻图中的节点通过所述边连接。
本步骤中，可以通过每两个节点对应的种子片段之间的相似度建立连线，将两个节点连接。其中，该连线即为一个边，相似度不同，边的长度不同，即，两个节点之间的距离不同，具体的，相似度越高，边的长度越小，两个节点就更加靠近。如果两个节点之间的相似度为0，那么两个节点之间就无法建立出连线，即，这两个节点就不会被连接。这样，通过不断连接，可以实现将节点与其存在相似度的节点连接，非邻居节点之间没有连接，每个节点连接的邻居节点是与该节点存在相似性的节点，进而实现使用余弦相似性来找到每个节点对应的种子片段的K个最近邻种子片段。同时，相较于直接使用K近邻算法，基于低分候选片段构建K近邻图的方式，本发明实施中年，通过筛选可信任高分候选片段，并结合可信任高分候选片段及低分候选片段构建K近邻图的方式中，无需额外选择其他种子片段，进而一定程度上可以节省构建时间，提高构建效率。同时，增加可信任高分候选片段构建K近邻图，可以在分割K近邻图时，为分割过程以及后续基于分割得到的候选子图进行提取的过程给出指导意义。
示例的，假设以V表示节点集合，E表示边集合，G表示K近邻图，那么生成的K近邻图可以表示为G＝(V，E)。如果用N表示种子片段的总数，那么该K近邻图可以用非对称相邻矩阵A∈RN×N表示，对于A矩阵中的任意一个元素ai,j，如果节点j是节点i(i，j均为1到N之间的整数)的K近邻，则ai,j是节点i和节点j对应特征的相似度，如果节点j不是节点i的K近邻，则ai,j为0，即，表示两者不为邻居。
进一步地，可以通过后续步骤实现基于述K近邻图，从低分候选片段中提取目标低分候选片段。本发明实施例中，通过进一步筛选分值大于第二预设分值阈值的高分候选片段作为可信任高分候选片段，并结合基于该可信任高分候选片段及低分候选片段构建的K近邻图，提取目标低分候选片段的方式中，由于可信任高分候选片段的内容中出现的行为属于预设行为类别的可能性更高，因此，一定程度上可以确保提取到的目标低分候选片段的准确率。其中，本发明实施例中构建K近邻图的过程可以是通过预设的K近邻图建立模块实现的。
步骤205、将所述K近邻图中属于同一连通域的节点及长度小于预设长度阈值的边作为一个子图，并进行分割，得到多个第一候选子图。
本步骤中，连通域指的是这些节点和边构成的彼此连通的区域，如果节点属于同一连通域，则说明这些节点互为近邻节点。预设长度阈值可以是根据需求设置针对边的长度设置的阈值，对连接节点之间的边设置阈值，相当于是对节点对应的种子片段之间的相似度设置阈值。边的长度越小，那么两个节点之间的距离就越近，相似度也就越高，如果边的长度小于该预设长度阈值，则可以认为该边连接的节点之间的相似度足够高，因此，可以将属于同一连通域的节点及长度小于预设长度阈值的边作为一个第一候选子图分割出来。具体的，可以在连通域搜索算法中定义预设长度阈值，然后通过该连通域搜索算法搜索该K近邻图中的第一候选子图并进行分割，其中，每个第一候选子图内部的具有相似性，第一候选子图之间的具有差异性。本发明实施例中，通过将属于同一连通域的节点及长度小于预设长度阈值的边作为一个第一候选子图进行分割，使得分割出的第一候选子图中的节点都是相似度较高的近邻节点，即，这些节点对应的种子片段之间存在较高的关联性及相似性。
示例的，图2-2是本发明实施例提供的一种分割示意图，如图2-2所示，可以将待处理视频a中的可信任高分候选片段(由图中竖线覆盖的方块表示的视频帧组成)及低分候选片段(由图中斜线覆盖的方块表示的视频帧组成)确定为种子片段，然后基于将种子片段即种子片段之间的相似度构建K近邻图b，接着，对该K近邻图b进行分割，得到多个第一候选子图。图中示出了分割出的一个第一候选子图c以及剩下的子图d。
步骤206、根据所述第一候选子图中包含的可信任高分候选片段的比例，从所述多个第一候选子图中提取目标低分候选片段。
由于可信任高分候选片段的内容中出现的行为属于预设行为类别的可能性更高，因此，如果第一候选子图中包含的可信任高分候选片段的比例越大，那么可以说明该第一候选子图中的包含低分候选片段很大可能是被误检的，因此，本发明实施例中，根据第一候选子图中包含的可信任高分候选片段的比例，从多个第一候选子图中提取目标低分候选片段的方式，可以确保提取的目标低分候选片段的准确性。
同时，相较于仅基于低分候选片段及高分候选片段之间的相似度确定目标低分候选片段的方式。本发明实施例中，基于种子片段及种子片段之间的相似度，即，低分候选片段、可信任高分候选片段、低分候选片段之间的相似度，可信任高分候选片段之间的相似度以及低分候选片段与可信任高分候选片段之间的相似度，构建K近邻图，使得K近邻图中存在具有指导意义的可信任高分候选片段以及可以体现多种相似度。这样，基于该K近邻图提取目标低分候选片段的过程中，可以综合利用到这多种相似度及可信任高分候选片段提供的信息，并且充分利用到片段之间的相似性实现划分候选子图，进而一定程度上确保提取的准确性。
具体的，本步骤可以通过下述子步骤(1)～子步骤(3)实现：
子步骤(1)：从所述多个第一候选子图中选择包含节点的数量最多的前M个第一候选子图，作为第二候选子图。
本步骤中，M可以是不小于1的整数，M的具体值可以根据实际情况来选定。示例的，M可以为3。在选择时候，可以先统计每个第一候选子图中选择包含节点的数量，然后按照数量由大到小的顺序，依次对这多个第一候选子图进行排序，得到第一候选子图序列，最后，将该第一候选子图序列中前M个第一候选子图，作为第二候选子图。或者，也可以按照数量由小到大的顺序，依次对这多个第一候选子图进行排序，相应地，可以将该第一候选子图序列中后M个第一候选子图，作为第二候选子图。
子步骤(2)：从所述第二候选子图中选择包含可信任高分候选片段的比例最多的前N个第二候选子图，作为第三候选子图。
本步骤中，N可以是不小于1的整数，N可以小于M，N的具体值可以根据实际情况来选定。具体的，可以先统计该第二候选子图中包含的可信任高分候选片段的数量，然后计算该数量与该第二候选子图中包含的节点的数量的比值，接着按照比值由大到小的顺序，依次对这多个第二候选子图进行排序，得到第二候选子图序列，最后，将该第二候选子图序列中前N个第二候选子图，作为第三候选子图。或者，也可以按照比值由小到大的顺序，依次对这多个第二候选子图进行排序，相应地，可以将该第二候选子图序列中后N个第二候选子图，作为第三候选子图。
子步骤(3)：提取所述第三候选子图中包含的低分候选片段，得到所述目标低分候选片段。
由于第三候选子图中包括较高比例的可信任高分候选片段，一定程度上可以认为第三候选子图中的低分候选片段与可信任高分候选片段的关联性及相似度更高，因此，可以任务第三候选子图中包含的低分候选片段是被误检的，进而可以将这些低分候选片段确定为目标低分候选片段。
本发明实施例中，通过选择包含节点的数量最多的前M个第一候选子图，作为第二候选子图，并基于包含可信任高分候选片段的比例从这些第二候选子图中筛选第三候选子图，最后从第三候选子图中提取目标低分候选片段的方式中，由于第二候选子图是包含节点的数量足够多的候选子图，因此，可以避免由于候选子图是包含节点的数量太小，导致可信任高分候选片段的比例不均匀的问题，进而确保筛选出的第三候选子图的合理性，确保从第三候选子图中提取的目标低分候选片段的正确性。其中上述步骤205及步骤206的具体实现过程可以是通过预设的K近邻子图判定模块实现的。
需要说明的是，在待处理视频为多个视频的情况下，本发明实施例中，还可以在子步骤(2)之后，子步骤(3)之前执行下述操作：对于任一所述第三候选子图，确定所述第三候选子图中包含的各个节点的视频来源；若所述第三候选子图中包含的各个节点的视频来源均相同，则将所述第三候选子图移除。其中，节点的视频来源指的是包含该节点对应的种子片段的视频。在确定视频来源时，可以将在这多个视频中查找存在与该节点对应的种子片段的内容相匹配的内容的视频，然后，将该视频确定为该节点的视频来源。接着，将该第三候选子图中各个节点的视频来源进行比对，如果各个节点的视频来源均相同，则说明该第三候选子图中节点的视频来源较单一，该第三候选子图的质量较差，因此可以将该第三候选子图移除，进而避免后续步骤中，将该第三候选子图中的低分候选片段确定为目标低分候选片段导致确定的目标低分候选片段的质量较差的问题。
进一步地，本发明实施例中还可以：对于任一所述低分候选片段，计算所述低分候选片段与每个所述高分候选片段之间的相似度；确定与所述低分候选片段的相似度大于预设相似度阈值的高分候选片段的个数；将对应的个数大于预设个数阈值的低分候选片段，确定为所述目标低分候选片段。具体的，确定相似度的具体方式可以参照前述步骤中的描述，本发明实施例在此不做赘述。这样，无需构建K近邻图，仅基于低分候选片段与每个高分候选片段之间的相似度，即可实现筛选目标低分候选片段，一定程度上可以降低所需的处理资源。当然，在该实现方式中，也就可以先根据第二预设分值阈值筛选可信任高分候选片段，然后计算低分候选片段与每个可信任高分候选片段之间的相似度；确定与低分候选片段的相似度大于预设相似度阈值的可信任高分候选片段的个数，并基于该个数确定目标低分候选片段，本发明实施例对此不作限定。
步骤207、将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段。
具体的，本步骤的具体实现方式可以参照前述步骤101，本发明实施例在此不做赘述。
需要说明的是，本发明实施例中的上述实现过程可以是基于TensorFlow深度学习框架实现的。进一步地，本发明实施例中，还可以将容易产生误检的低分候选片段，即，出现频率大于预设频率阈值的目标低分候选片段，作为下一次构建K近邻图所使用的种子片段，进而使得这些目标低分候选片段能够对后续挑选候选子图的过程给出指导意义，进而后续的处理效果。以及，确定这些出现频率大于预设频率阈值的目标低分候选片段对应的真实行为类别，然后将这些对应的真实行为类别确定为易误检的行为类别，并将该真实行为类别划分为更加细致的多个行为类别，最后，在行为分类器中定义这多个行为类别。这样，使得后续步骤中，可以对视频片段进行更加细致的划分，相应地，构建的K近邻图中包含的各个候选子图对应的行为类别也更加细致，进而提高对提取操作的指导意义。例如，K近邻图中可以包括面对面拥抱对应的候选子图、公主抱对应的候选子图、背后抱对应的候选子图，等等。
综上所述，本发明实施例提供的视频处理方法，会将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于第一预设分值阈值的候选行为片段，确定为低分候选片段，然后根据高分候选片段与低分候选片段之间的相似度，从低分候选片段中提取目标低分候选片段，最后，将高分候选片段及目标低分候选片段，确定为目标行为片段。相较于直接丢弃低分候选行为片段，将大于预设分值阈值的候选行为片段作为目标行为片段的方式，本发明实施例中，通过结合高分候选片段及低分候选片段，筛选出目标低分候选片段，并将高分候选片段及目标低分候选片段，确定为目标行为片段，一定程度上可以提高确定的目标行为片段的数量，进而可以提高召回率。
图3是本发明实施例提供的一种视频处理装置的框图，如图3所示，该装置30可以包括：
第一确定模块301，用于对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段。
提取模块302，用于根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段。
第二确定模块303，用于将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段。
可选的，所述提取模块302，具体用于：
将所述高分候选片段中分值大于第二预设分值阈值的高分候选片段，确定为可信任高分候选片段。
将所述可信任高分候选片段及所述低分候选片段作为种子片段，并计算各个所述种子片段之间的相似度；所述第二预设分值阈值大于所述第一预设分值阈值。
将所述种子片段作为节点，所述种子片段之间的相似度作为边，并通过所述节点及所述边，构建K近邻图；所述相似度越高，所述边的长度越小，所述K近邻图中的节点通过所述边连接。
基于所述K近邻图，从所述低分候选片段中提取目标低分候选片段。
可选的，所述提取模块302，还具体用于：
将所述K近邻图中属于同一连通域的节点及长度小于预设长度阈值的边作为一个子图，并进行分割，得到多个第一候选子图。
根据所述第一候选子图中包含的可信任高分候选片段的比例，从所述多个第一候选子图中提取目标低分候选片段。
可选的，所述提取模块302，还具体用于：
从所述多个第一候选子图中选择包含节点的数量最多的前M个第一候选子图，作为第二候选子图。
从所述第二候选子图中选择包含可信任高分候选片段的数量最多的前N个第二候选子图，作为第三候选子图。
提取所述第三候选子图中包含的低分候选片段，得到所述目标低分候选片段。
可选的，所述待处理视频为多个视频；所述提取模块302，还具体用于：
对于任一所述第三候选子图，确定所述第三候选子图中包含的各个节点的视频来源。
若所述第三候选子图中包含的各个节点的视频来源均相同，则将所述第三候选子图移除。
可选的，所述提取模块302，用于：
对于任一所述低分候选片段，计算所述低分候选片段与每个所述可信任高分候选片段的相似度。
确定与所述低分候选片段的相似度大于预设相似度阈值的可信任高分候选片段的个数。
将对应的个数大于预设个数阈值的低分候选片段，确定为所述目标低分候选片段。
综上所述，本发明实施例提供的视频处理装置、第一确定模块可以将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于第一预设分值阈值的候选行为片段，确定为低分候选片段，然后提取模块可以根据高分候选片段与低分候选片段之间的相似度，从低分候选片段中提取目标低分候选片段，最后，第二确定模块可以将高分候选片段及目标低分候选片段，确定为目标行为片段。相较于直接丢弃低分候选行为片段，将大于预设分值阈值的候选行为片段作为目标行为片段的方式，本发明实施例中，通过结合高分候选片段及低分候选片段，筛选出目标低分候选片段，并将高分候选片段及目标低分候选片段，确定为目标行为片段，一定程度上可以提高确定的目标行为片段的数量，进而可以提高召回率。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段；
根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段；
将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段。上述终端提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频处理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种视频处理方法，其特征在于，所述方法包括：
对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段；所述候选行为片段的分值用于表示所述候选行为片段的内容中出现的行为属于预设行为类别的概率；
根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段；
将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段；
所述根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段，包括：
将所述高分候选片段中分值大于第二预设分值阈值的高分候选片段，确定为可信任高分候选片段；
将所述可信任高分候选片段及所述低分候选片段作为种子片段，并计算各个所述种子片段之间的相似度；所述第二预设分值阈值大于所述第一预设分值阈值；
将所述种子片段作为节点，所述种子片段之间的相似度作为边，并通过所述节点及所述边，构建K近邻图；所述相似度越高，所述边的长度越小，所述K近邻图中的节点通过所述边连接；
基于所述K近邻图，从所述低分候选片段中提取目标低分候选片段。
2.根据权利要求1所述的方法，其特征在于，所述基于所述K近邻图，从所述低分候选片段中提取目标低分候选片段，包括：
将所述K近邻图中属于同一连通域的节点及长度小于预设长度阈值的边作为一个子图，并进行分割，得到多个第一候选子图；
根据所述第一候选子图中包含的可信任高分候选片段的比例，从所述多个第一候选子图中提取目标低分候选片段。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一候选子图中包含的可信任高分候选片段的比例，从所述多个第一候选子图中提取目标低分候选片段，包括：
从所述多个第一候选子图中选择包含节点的数量最多的前M个第一候选子图，作为第二候选子图；
从所述第二候选子图中选择包含可信任高分候选片段的数量最多的前N个第二候选子图，作为第三候选子图；
提取所述第三候选子图中包含的低分候选片段，得到所述目标低分候选片段。
4.根据权利要求3所述的方法，其特征在于，所述待处理视频为多个视频；所述从所述第二候选子图中选择包含可信任高分候选片段的数量最多的前N个第二候选子图，作为第三候选子图之后，所述提取所述第三候选子图中包含的低分候选片段之前，所述方法还包括：
对于任一所述第三候选子图，确定所述第三候选子图中包含的各个节点的视频来源；
若所述第三候选子图中包含的各个节点的视频来源均相同，则将所述第三候选子图移除。
5.根据权利要求1所述的方法，其特征在于，所述根据所述高分候选片段以及所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段，包括：
对于任一所述低分候选片段，计算所述低分候选片段与每个所述可信任高分候选片段的相似度；
确定与所述低分候选片段的相似度大于预设相似度阈值的可信任高分候选片段的个数；
将对应的个数大于预设个数阈值的低分候选片段，确定为所述目标低分候选片段。
6.一种视频处理装置，其特征在于，所述装置包括：
第一确定模块，用于对于待处理视频对应的多个候选行为片段，将分值大于第一预设分值阈值的候选行为片段确定为高分候选片段，以及将分值不大于所述第一预设分值阈值的候选行为片段，确定为低分候选片段；所述候选行为片段的分值用于表示所述候选行为片段的内容中出现的行为属于预设行为类别的概率；
提取模块，用于根据所述高分候选片段与所述低分候选片段之间的相似度，从所述低分候选片段中提取目标低分候选片段；
第二确定模块，用于将所述高分候选片段及所述目标低分候选片段，确定为目标行为片段；
所述提取模块，具体用于：
将所述高分候选片段中分值大于第二预设分值阈值的高分候选片段，确定为可信任高分候选片段；
将所述可信任高分候选片段及所述低分候选片段作为种子片段，并计算各个所述种子片段之间的相似度；所述第二预设分值阈值大于所述第一预设分值阈值；
将所述种子片段作为节点，所述种子片段之间的相似度作为边，并通过所述节点及所述边，构建K近邻图；所述相似度越高，所述边的长度越小，所述K近邻图中的节点通过所述边连接；
基于所述K近邻图，从所述低分候选片段中提取目标低分候选片段。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202010113350.4A 2020-02-24 2020-02-24 视频处理方法、装置、电子设备及计算机可读存储介质 Active CN111339360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113350.4A CN111339360B (zh) 2020-02-24 2020-02-24 视频处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113350.4A CN111339360B (zh) 2020-02-24 2020-02-24 视频处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111339360A CN111339360A (zh) 2020-06-26
CN111339360B true CN111339360B (zh) 2024-03-26

Family

ID=71181745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113350.4A Active CN111339360B (zh) 2020-02-24 2020-02-24 视频处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111339360B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744889A (zh) * 2013-12-23 2014-04-23 百度在线网络技术（北京）有限公司 一种用于对问题进行聚类处理的方法与装置
CN108399381A (zh) * 2018-02-12 2018-08-14 北京市商汤科技开发有限公司 行人再识别方法、装置、电子设备和存储介质
WO2018205838A1 (zh) * 2017-05-11 2018-11-15 腾讯科技（深圳）有限公司 一种相似视频的检索方法、装置和存储介质
CN109948446A (zh) * 2019-02-20 2019-06-28 北京奇艺世纪科技有限公司 一种视频片段处理方法、装置及计算机可读存储介质
CN109977262A (zh) * 2019-03-25 2019-07-05 北京旷视科技有限公司 从视频中获取候选片段的方法、装置及处理设备
CN110598014A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 一种多媒体数据处理方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744889A (zh) * 2013-12-23 2014-04-23 百度在线网络技术（北京）有限公司 一种用于对问题进行聚类处理的方法与装置
WO2018205838A1 (zh) * 2017-05-11 2018-11-15 腾讯科技（深圳）有限公司 一种相似视频的检索方法、装置和存储介质
CN108399381A (zh) * 2018-02-12 2018-08-14 北京市商汤科技开发有限公司 行人再识别方法、装置、电子设备和存储介质
CN109948446A (zh) * 2019-02-20 2019-06-28 北京奇艺世纪科技有限公司 一种视频片段处理方法、装置及计算机可读存储介质
CN109977262A (zh) * 2019-03-25 2019-07-05 北京旷视科技有限公司 从视频中获取候选片段的方法、装置及处理设备
CN110598014A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 一种多媒体数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN111339360A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
US10846052B2 (en) Community discovery method, device, server and computer storage medium
US11250250B2 (en) Pedestrian retrieval method and apparatus
CN111949827B (zh) 视频抄袭检测方法、装置、设备和介质
US9418297B2 (en) Detecting video copies
CN110856037B (zh) 一种视频封面确定方法、装置、电子设备及可读存储介质
CN111708909B (zh) 视频标签的添加方法及装置、电子设备、计算机可读存储介质
CN111368289B (zh) 一种恶意软件检测方法和装置
CN106796647A (zh) 场景文本检测系统和方法
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
CN112468523A (zh) 异常流量检测方法、装置、设备及存储介质
CN111291824A (zh) 时间序列的处理方法、装置、电子设备和计算机可读介质
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN111339360B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN114513341B (zh) 恶意流量检测方法、装置、终端及计算机可读存储介质
CN117294497A (zh) 一种网络流量异常检测方法、装置、电子设备及存储介质
CN111488400B (zh) 数据分类方法、装置和计算机可读存储介质
CN108764206B (zh) 目标图像识别方法和系统、计算机设备
CN111708908B (zh) 视频标签的添加方法及装置、电子设备、计算机可读存储介质
CN115292303A (zh) 数据处理方法及装置
CN112818984B (zh) 标题生成方法、装置、电子设备和存储介质
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN113762292B (zh) 一种训练数据获取方法、装置及模型训练方法、装置
CN113672443A (zh) 一种基于芯片检测的用户行为分析方法及系统
CN113792291A (zh) 一种受域生成算法恶意软件感染的主机识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant