CN111046727B - 视频特征提取方法及装置、电子设备及存储介质 - Google Patents

视频特征提取方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111046727B
CN111046727B CN201911057051.7A CN201911057051A CN111046727B CN 111046727 B CN111046727 B CN 111046727B CN 201911057051 A CN201911057051 A CN 201911057051A CN 111046727 B CN111046727 B CN 111046727B
Authority
CN
China
Prior art keywords
difference
inter
value
difference value
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911057051.7A
Other languages
English (en)
Other versions
CN111046727A (zh
Inventor
向阳
顾文扬
王宁
苏赟
熊尚威
李琳
徐嵩
贾磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201911057051.7A priority Critical patent/CN111046727B/zh
Publication of CN111046727A publication Critical patent/CN111046727A/zh
Application granted granted Critical
Publication of CN111046727B publication Critical patent/CN111046727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，公开了一种视频特征提取方法及装置、电子设备及存储介质，其中，视频特征提取方法，包括：获取待检测视频中第k帧视频帧作为检测视频帧，k为大于1的正整数；计算所述检测视频帧各个像素点的行间差值累计值和列间差值累计值；基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域；对多个所述矩形候选区域进行筛选，确定目标区域；对所述目标区域进行视频特征提取。本发明实施方式所提供的视频特征提取方法及装置、电子设备及存储介质，具有减少黑边及画中画对视频特征提取的影响，提升视频特征提取的准确性的优点。

Description

视频特征提取方法及装置、电子设备及存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种视频特征提取方法及装置、电子设备及存储介质。
背景技术
在移动互联网时代，视频内容的传播呈现出国际化、移动化和社交化的趋势。庞大的社交平台在实现视频内容快速传播的同时，也加快了侵权视频的传播速度，给版权检测带来了巨大的挑战。目前，针对视频的版权检测通常基于视频指纹特征的搜索原理进行。视频指纹特征是从视频序列中抽取的标识符，用来代表视频文件的电子标识，能够将一个视频片段与其他视频片段区分开的特征向量。在对视频进行版权检测时，将待检测视频的关键帧视频特征，包括颜色、纹理、形状提取出来，和版权样本库的视频指纹特征进行快速比对，当比对出相同或相似的视频指纹特征时，可初步锁定侵权视频内容。
然而，现有技术中的待检测视频与原始视频相比，往往经过了多次的剪辑、转码、色彩调整、台标、字幕、黑边及画中画等变换。尤其对于黑边和画中画处理后的待检测视频，会造成提取出的视频特征和原始视频的视频指纹相比偏差较大，难以实现准确比对。
发明内容
本发明实施方式的目的在于提供一种视频特征提取方法及装置、电子设备及存储介质，有效减少黑边及画中画对视频特征提取的影响，提升视频特征提取的准确性。
为解决上述技术问题，本发明的实施方式提供了一种视频特征提取方法，包括以下步骤：获取待检测视频中第k帧视频帧作为检测视频帧，k为大于1的正整数；计算所述检测视频帧各个像素点的行间差值累计值和列间差值累计值；基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域；对多个所述矩形候选区域进行筛选，确定目标区域；对所述目标区域进行视频特征提取。
本发明的实施方式还提供了一种视频特征提取装置，包括：视频帧提取模块，用于获取待检测视频中第k帧视频帧作为检测视频帧，k为大于1的正整数；区域提取模块，用于计算所述检测视频帧各个像素点的行间差值累计值和列间差值累计值，并基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域；区域筛选模块，用于对多个所述矩形候选区域进行筛选，确定目标区域；特征提取模块，用于对所述目标区域进行视频特征提取。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述的视频特征提取方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如前述的视频特征提取方法。
本发明的实施方式相对于现有技术而言，通过对检测视频帧中各个像素点的行间差值累计值和列间差值累计值的计算，确定多个矩形候选区域，通过对矩形候选区域的筛选，定位目标区域，可以有效的减少目标区域中黑边和画中画，减少黑边和画中画对视频特征提取的影响；此外，由于后续仅对目标区域进行视频提取，还可以有效的提升了视频特征的提取速度。
另外，所述计算所述检测视频帧中各个像素点的行间差值累计值和列间差值累计值，具体包括：计算得到各个所述像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]；根据所述平滑行间差值Sr[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的行间差值累计值Cr[i,j]；根据所述平滑列间差值Sc[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的列间差值累计值Cc[i,j]。
另外，所述计算得到各个所述像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]，具体包括：计算得到各个所述像素点[i,j]的行间差值、列间差值和帧间差值；根据预设平滑常数和所述行间差值，计算得到所述平滑行间差值；根据所述预设平滑常数和所述列间差值，计算得到所述平滑列间差值；根据所述预设平滑常数和所述帧间差值，计算得到所述平滑帧间差值。在计算行间差值累计值和列间差值累计值时，结合了反映运动目标的帧间差值，有效减少了目标区域中的黑边和画中画，提升了目标区域确定的准确度。
另外，所述计算得到各个所述像素点的行间差值累计值Cr[i,j]，具体包括：初始化所述检测视频帧中各行的首个像素点[i,1]的行间差值累计值Cr[i,1]，根据公式Cr[i,j]＝Cr[i,j-1]+clamp(wr[i,j-1]·Sr[i,j-1])计算得到各个所述像素点处[i,j]的行间差值累计值Cr[i,j]；其中，wr[i,j-1]＝min(1,max(Sf[i-1,j-1],Sf[i,j-1])/64)，
clamp(wr[i,j-1]·Sr[i,j-1])＝X0·wr[i,j-1]·Sr[i,j-1]/(X0+wr[i,j-1]·Sr[i,j-1])，X0为常数；所述计算得到各个所述像素点的列间差值累计值Cc[i,j]，具体包括：初始化所述检测视频帧中各列的首个像素点[1,j]的列间差值累计值Cc[1,j]，根据公式Cc[i,j]＝Cc[i-1,j]+
clamp(wc[i-1,j]·Sc[i-1,j])计算得到各个所述像素点[i,j]的列间累计值Cc[i,j]；其中，
wc[i-1,j]＝min(1,max(Sf[i-1,j-1],Sf[i-1,j])/64)，
clamp(wc[i-1,j]·Sr[i-1,j])＝X0·wc[i-1,j]·Sr[i-1,j]/(X0+wc[i-1,j]·Sr[i-1,j])。
另外，所述对多个所述矩形候选区域进行筛选，具体包括：去除不满足预设条件的所述矩形候选区域；若存在剩余的所述矩形候选区域，将剩余的所述矩形候选区域中面积最大者作为所述目标区域；若不存在剩余的所述矩形候选区域，将所述检测视频帧作为所述目标区域。
另外，所述去除不满足预设条件的所述矩形候选区域，具体包括：去除高度小于预设高度、或宽度小于预设宽度、或宽高比不属于预设宽高比取值范围、或不包含所述检测视频帧中心像素、或边缘得分小于预设边缘得分的所述矩形候选区域；其中，所述边缘得分根据各个所述矩形候选区域的顶点像素点的行间差值累计值h和列间差值累计值计算得到。
另外，所述基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域，具体包括：获取第W列的全部像素点中、列间差值累计值较大的多个像素点作为第二目标像素点，获取各个所述第二目标像素点的行数作为候选行，其中W为所述检测视频帧的最大列数；获取第H行的全部像素点中、行间差值累计值较大的多个像素点作为第一目标像素点，获取各个所述第一目标像素点的列数作为候选列，其中H为所述检测视频帧的最大行数；基于任意两个所述候选行和任意两个所述候选列，形成矩形候选区域，得到多个所述矩形候选区域。基于第W列和第H行的特点进行筛选，按行以及按列进行处理，相对于按像素点来确定目标区域的方法来说，运算量有明显下降，预处理速度更快，可实现实时处理。
附图说明
图1是本发明第一实施方式所提供的视频特征提取方法的程序流程图；
图2是本发明第一实施方式所提供的视频特征提取方法中计算行间差值累计值的程序流程图；
图3是本发明第一实施方式所提供的视频特征提取方法中计算列间差值累计值的程序流程图；
图4是本发明第二实施方式所提供的视频特征提取装置的结构示意图；
图5是本发明第三实施方式所提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种视频特征提取方法，具体流程如图1所示，包括以下步骤：
步骤S101：获取待检测视频中第k帧视频帧作为检测视频帧。
具体的，在本步骤中，对待检测视频进行解码，获取待检测视频中的多个视频帧，按照时间顺序对多个视频帧进行排序，取排序后的第k帧视频帧作为检测视频帧。
进一步的，在本实施方式中，待检测视频可以包括，但不限于：音乐视频、短视频、电视剧、电影、综艺节目视频、动漫视频等等。
优选的，在本实施方式中，k为大于1的正整数，即避免提取到待检测视频的第一帧视频帧。为了避免提取到了待检测视频的第一帧视频帧，所述获取待检测视频中的多个视频帧包括：获取待检测视频的时长；在该时长的预设范围(大于零且小于100％)内随机获取多个视频帧。
例如，假设待检测视频的时长为1分钟，预设范围为时长的30％至80％的时间内，则从待检测视频的第18秒(1分钟·30％)至第48秒(1分钟·80％)之间获取多个视频帧。
步骤S102：计算检测视频帧各个像素点的行间差值累计值和列间差值累计值。
具体的，在本步骤中，计算行间差值累计值的步骤如图2所示，包括以下步骤：
步骤S201：计算得到各个像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]。
具体的，在本实施方式中，如图3所示，包括以下步骤：
步骤S301：初始化各个像素点[i,j](i为像素点所在的行数，i为正整数，j为像素点所在的列数，j为正整数)的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]。
具体的，在本步骤中，获取检测视频帧后，首先初始化各个像素点[i,j]的平滑行间差值Sr[i,j]＝0、平滑列间差值Sc[i,j]＝0、平滑帧间差值Sf[i,j]＝0。可以理解的是，初始化平滑行间差值Sr[i,j]＝0、平滑列间差值Sc[i,j]＝0、平滑帧间差值Sf[i,j]＝0仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，也可以是初始化为1、2、3等其它数值，在此不进行一一列举，具体可以根据实际需要进行灵活的设置。
步骤S302：计算各个像素点[i,j]的行间差值Dr[i,j]、列间差值Dc[i,j]和帧间差值Df[i,j]。
具体的，行间差值Dr[i,j]等于像素点[i,j]和像素点[i-1,j]的像素差值。其中，像素差值计算公式为：对于两个像素I[i,j]和I[i',j']来说，设其RGB值分别为(R,G,B)和(R',G',B')，其中，R,R',G,G',B,B'均处于0到255之间，定义这两个像素I[i,j]和I[i',j']的像素差值dist(I[i,j],I[i',j'])为：dist(Ik[i,j],Ik'[i',j'])＝min(64,max(|R-R'|,|G-G'|,|B-B'|))。
因此，行间差值Dr[i,j]的计算公式如下：
Dr[i,j]＝dist(Ik[i,j],Ik[i-1,j]),i＝0,...,H,j＝0,...,W-1
以及，列间差值Dc[i,j]等于像素点[i,j]和像素点[i,j-1]的像素差值，计算公式如下：
Dc[i,j]＝dist(Ik[i,j],Ik[i,j-1]),i＝0,...,H-1,j＝0,...,W
进一步的，在本步骤中，帧间差值Df[i,j]等于第k-1帧视频帧中的像素点[i,j]和第k帧视频帧中的像素点[i,j]的像素差值的平方，计算公式如下：
Df[i,j]＝dist(Ik[i,j],Ik-1[i,j])2,i＝0,...,H-1,j＝0,...,W-1
需要说明的是，如果i,j不同时处于0<＝i<＝H-1,0<＝j<＝W-1的范围内，则规定相应像素Ik[i,j]为全黑，其RGB值均为0。
步骤S303：根据预设平滑常数和行间差值，计算得到平滑行间差值。
具体的，在本步骤中，计算像素点[i,j]的平滑行间差值Sr[i,j]的具体计算公式为：Sr[i,j]:＝Sr[i,j]+(Dr[i,j]-Sr[i,j])/min(k+1,K0)，即将Sr[i,j]+(Dr[i,j]-Sr[i,j])/min(k+1,K0)赋值给Sr[i,j]，从而更新像素点[i,j]的平滑行间差值Sr[i,j]。
步骤S304：根据预设平滑常数和列间差值，计算得到平滑列间差值。
具体的，在本步骤中，计算像素点[i,j]的平滑列间差值Sc[i,j]的具体计算公式为：Sc[i,j]:＝Sc[i,j]+(Dc[i,j]-Sc[i,j])/min(k+1,K0)，即将Sc[i,j]+(Dc[i,j]-Sc[i,j])/min(k+1,K0)赋值给Sc[i,j]，从而更新像素点[i,j]的平滑列间差值Sc[i,j]。
步骤S305：根据预设平滑常数和帧间差值，计算得到平滑帧间差值。
进一步的，计算像素点[i,j]的平滑帧间差值Sf[i,j]的具体计算公式为：Sf[i,j]:＝Sf[i,j]+(Df[i,j]-Sf[i,j])/min(k,K0)，即将Sf[i,j]+(Df[i,j]-Sf[i,j])/min(k,K0)的计算结果赋值给Sf[i,j]，从而更新像素点[i,j]的平滑帧间差值Sf[i,j]。
其中，K0为常数。其单位为帧。例如对于25帧/秒的待检测视频，K0可取为30秒内的帧数，即750。
步骤S202：根据所述平滑行间差值Sr[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的行间差值累计值Cr[i,j]。
具体的，在本步骤中，首先，初始化检测视频帧中各行的首个像素点[i,1]的行间差值累计值Cr[i,1]。在本步骤中，初始化Cr[i,1]＝0。可以理解的是，初始化Cr[i,1]＝0仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，也可以是初始化为1、2、3等其它数值，在此不进行一一列举，具体可以根据实际需要进行灵活的设置。
然后，根据公式Cr[i,j]＝Cr[i,j-1]+clamp(wr[i,j-1]·Sr[i,j-1])计算得到各个所述像素点处的行间差值累计值Cr[i,j]，其中，wr[i,j-1]＝min(1,max(Sf[i-1,j-1],Sf[i,j-1])/64)，clamp(wr[i,j-1]·Sr[i,j-1])＝X0·wr[i,j-1]·Sr[i,j-1]/(X0+wr[i,j-1]·Sr[i,j-1])，X0为常数。
具体的，在本实施方式中，X0＝16。可以理解的是，X0＝16仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，也可以是32、64等其它数值，在此不进行一一列举，具体可以根据实际需要进行灵活的设置。
步骤S203：根据所述平滑列间差值Sc[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的列间差值累计值Cc[i,j]。
具体的，在本步骤中，首先，初始化检测视频帧中各列的首个像素点[1,j]的列间差值累计值Cc[1,j]。在本步骤中，初始化Cc[1,j]＝0。可以理解的是，初始化Cc[1,j]＝0仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，也可以是初始化为1、2、3等其它数值，在此不进行一一列举，具体可以根据实际需要进行灵活的设置。
然后，根据公式Cc[i,j]＝Cc[i-1,j]+clamp(wc[i-1,j]·Sc[i-1,j])计算得到各个所述像素点[i,j]处的列间累计值Cc[i,j]；其中，wc[i-1,j]＝min(1,max(Sf[i-1,j-1],Sf[i-1,j])/64)，clamp(wc[i-1,j]·Sr[i-1,j])＝X0·wc[i-1,j]·Sr[i-1,j]/(X0+wc[i-1,j]·Sr[i-1,j])，X0为常数。
步骤S103：基于行间差值累计值和列间差值累计值、确定多个矩形候选区域。
具体的，在本实施方式中，获取第W列的全部像素点中、列间差值累计值较大的多个像素点作为第二目标像素点，获取各个第二目标像素点的行数作为候选行，其中W为检测视频帧的最大列数。获取第H行的全部像素点中、行间差值累计值较大的多个像素点作为第一目标像素点，获取各个第一目标像素点的列数作为候选列，其中H为检测视频帧的最大行数；基于任意两个候选行和任意两个候选列、形成矩形候选区域，得到多个矩形候选区域。
进一步的，在本实施方式中，获取列间差值累计值较大的N个像素点作为第二目标像素点，其中，N＝min(H,16)；获取行间差值累计值较大的M个像素点作为第一目标像素点，其中，M＝min(W+1,16)。可以理解的是，上述仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，也可以是其它数量的第一目标像素点和第二目标像素点，在此不进行一一列举，具体可以根据实际需要进行灵活的设定。
基于第W列和第H行的特点进行筛选，按行以及按列进行处理，相对于按像素点来确定目标区域的方法来说，运算量有明显下降，预处理速度更快，可实现实时处理。
步骤S104：对多个矩形候选区域进行筛选，确定目标区域。
具体的，在本步骤中，去除不满足预设条件的矩形候选区域；若存在剩余的矩形候选区域，将剩余的矩形候选区域中面积最大者作为目标区域；若不存在剩余的矩形候选区域，将检测视频帧作为所述目标区域。
进一步的，在本实施方式中，预设条件为高度大于或等于预设高度、且宽度大于或等于预设宽度、且宽高比属于预设宽高比取值范围、且包含检测视频帧的中心像素。也就是说，去除不满足预设条件的矩形候选区域即为，去除高度小于预设高度、或宽度小于预设宽度、或宽高比不属于预设宽高比取值范围、或不包含检测视频帧中心像素的矩形候选区域。可以理解的是，上述仅为本实施方式中的一种具体的举例说明，在本发明的其它实施方式中，也可以是选取其中的一个或多个条件作为预设条件，例如，仅去除不包含检测视频帧中心像素的矩形候选区域等，具体可以根据实际需要进行灵活的设定，在此不进行一一列举。
优选的，在本实施方式中，预设条件也可以为矩形候选区域的边缘得分大于或等于预设边缘得分。其中，边缘得分可以根据各个矩形候选区域的顶点像素的行间差值累计值和顶点像素的列间差值累计值计算得到。具体计算方法为：根据公式ur＝(Cr[i,j']-Cr[i,j])/(j'-j)、ur'＝(Cr[i',j']-Cr[i',j])/(j'-j)、uc＝(Cc[i',j]-Cc[i,j])/(i'-i)、uc'＝(Cc[i',j']-Cc[i,j'])/(i'-i)，分别计算得到矩形候选区域的上边缘得分ur、下边缘得分ur'、左边缘得分uc、以及右边缘得分uc'。其中，[i,j]、[i,j']、[i',j]、[i',j']分别为矩形候选区域的四个顶点像素，i和i'为顶点像素所在的行数，i和i'为正整数，j和j'为所述顶点像素所在的列数，j和j'为正整数。去除不满足预设条件的矩形候选区域为，去除上边缘得分ur、下边缘得分ur'、左边缘得分uc、以及右边缘得分uc'中任意一者小于预设边缘得分的矩形候选区域。
在本实施方式中，预设边缘得分等于8。可以理解的是，预设边缘得分等于8仅为本实施方式中的一种具体的举例说明，并不构成限定，在本发明的其它实施方式中，预设边缘得分也可以是等于16、32等其它数值，在此不进行一一列举，具体可以根据实际需要进行灵活的设定。
步骤S105：对目标区域进行视频特征提取。
具体的，在本实施方式中，将目标区域转化为灰度图像；计算灰度图像中的像素的平均值；当灰度图像内的像素的值大于或者等于平均值时，将该像素的值确定为1；当灰度图像内的像素的值小于平均值时，将该像素的值确定为0；将灰度图像内的像素的值进行组合后得到灰度图像的视频特征。
与现有技术相比，本发明第一实施方式所提供的视频特征提取方法通过对检测视频帧中各个像素点的行间差值累计值和列间差值累计值的计算，确定多个矩形候选区域，通过对矩形候选区域的筛选，定位目标区域，可以有效的减少目标区域中黑边和画中画，减少黑边和画中画对视频特征提取的影响；此外，由于后续仅对目标区域进行视频提取，还可以有效的提升了视频特征的提取速度。
本发明第二实施方式涉及一种视频特征提取装置，如图4所示，包括：视频帧提取模块401，视频帧提取模块401用于获取待检测视频中第k帧视频帧作为检测视频帧，k为大于1的正整数。与视频帧提取模块401相连的区域提取模块402，区域提取模块402用于计算所述检测视频帧各个像素点的行间差值累计值和列间差值累计值，并基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域。与区域提取模块402相连的区域筛选模块403，区域筛选模块403用于对多个所述矩形候选区域进行筛选，确定目标区域。与区域筛选模块403相连的特征提取模块404，特征提取模块404用于对所述目标区域进行视频特征提取。
与现有技术相比，本发明第二实施方式所提供的视频特征提取装置通过视频帧提取模块401提取检测视频帧；然后通过区域提取模块402对检测视频帧中各个像素点的行间差值累计值和列间差值累计值的计算，确定多个矩形候选区域；再然后通过区域筛选模块403对矩形候选区域进行筛选，定位目标区域，可以有效的减少目标区域中黑边和画中画，减少黑边和画中画对视频特征提取的影响；此外，由于后续特征提取模块404仅需要对目标区域进行视频提取，还可以有效的提升了视频特征的提取速度。
本发明第三实施方式涉及一种电子设备，如图5所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述视频特征提取方法。
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种视频特征提取方法，其特征在于，包括：
获取待检测视频中第k帧视频帧作为检测视频帧，k为大于1的正整数；
计算所述检测视频帧各个像素点的行间差值累计值和列间差值累计值；
基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域；
对多个所述矩形候选区域进行筛选，确定目标区域；
对所述目标区域进行视频特征提取；
所述计算所述检测视频帧中各个像素点的行间差值累计值和列间差值累计值，具体包括：
计算得到各个所述像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]；
根据所述平滑行间差值Sr[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的行间差值累计值Cr[i,j]；
根据所述平滑列间差值Sc[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的列间差值累计值Cc[i,j]；
所述计算得到各个所述像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]，具体包括：
计算得到各个所述像素点[i,j]的行间差值、列间差值和帧间差值；
根据预设平滑常数和所述行间差值，计算得到所述平滑行间差值；
根据所述预设平滑常数和所述列间差值，计算得到所述平滑列间差值；
根据所述预设平滑常数和所述帧间差值，计算得到所述平滑帧间差值。
2.根据权利要求1所述的视频特征提取方法，其特征在于，所述计算得到各个所述像素点的行间差值累计值Cr[i,j]，具体包括：
初始化所述检测视频帧中各行的首个像素点[i,1]的行间差值累计值Cr[i,1]，根据公式Cr[i,j]＝Cr[i,j-1]+clamp(wr[i,j-1]·Sr[i,j-1])计算得到各个所述像素点处[i,j]的行间差值累计值Cr[i,j]；
其中，wr[i,j-1]＝min(1,max(Sf[i-1,j-1],Sf[i,j-1])/64)，
clamp(wr[i,j-1]·Sr[i,j-1])＝X0·wr[i,j-1]·Sr[i,j-1]/(X0+wr[i,j-1]·Sr[i,j-1])，X0为常数；
所述计算得到各个所述像素点的列间差值累计值Cc[i,j]，具体包括：
初始化所述检测视频帧中各列的首个像素点[1,j]的列间差值累计值Cc[1,j]，根据公式Cc[i,j]＝Cc[i-1,j]+clamp(wc[i-1,j]·Sc[i-1,j])计算得到各个所述像素点[i,j]的列间累计值Cc[i,j]；
其中，wc[i-1,j]＝min(1,max(Sf[i-1,j-1],Sf[i-1,j])/64)，clamp(wc[i-1,j]·Sr[i-1,j])＝X0·wc[i-1,j]·Sr[i-1,j]/(X0+wc[i-1,j]·Sr[i-1,j])。
3.根据权利要求1所述的视频特征提取方法，其特征在于，所述对多个所述矩形候选区域进行筛选，具体包括：
去除不满足预设条件的所述矩形候选区域；
若存在剩余的所述矩形候选区域，将剩余的所述矩形候选区域中面积最大者作为所述目标区域；
若不存在剩余的所述矩形候选区域，将所述检测视频帧作为所述目标区域。
4.根据权利要求3所述的视频特征提取方法，其特征在于，所述去除不满足预设条件的所述矩形候选区域，具体包括：
去除高度小于预设高度、或宽度小于预设宽度、或宽高比不属于预设宽高比取值范围、或不包含所述检测视频帧中心像素、或边缘得分小于预设边缘得分的所述矩形候选区域；
其中，所述边缘得分根据各个所述矩形候选区域的顶点像素点的行间差值累计值h和列间差值累计值计算得到。
5.根据权利要求1所述的视频特征提取方法，其特征在于，所述基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域，具体包括：
获取第W列的全部像素点中、列间差值累计值较大的多个像素点作为第二目标像素点，获取各个所述第二目标像素点的行数作为候选行，其中W为所述检测视频帧的最大列数；
获取第H行的全部像素点中、行间差值累计值较大的多个像素点作为第一目标像素点，获取各个所述第一目标像素点的列数作为候选列，其中H为所述检测视频帧的最大行数；
基于任意两个所述候选行和任意两个所述候选列，形成矩形候选区域，得到多个所述矩形候选区域。
6.一种视频特征提取装置，其特征在于，包括：
视频帧提取模块，用于获取待检测视频中第k帧视频帧作为检测视频帧，k为大于1的正整数；
区域提取模块，用于计算所述检测视频帧各个像素点的行间差值累计值和列间差值累计值，并基于所述行间差值累计值和所述列间差值累计值，确定多个矩形候选区域；
所述计算所述检测视频帧中各个像素点的行间差值累计值和列间差值累计值，具体包括：
计算得到各个所述像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]；根据所述平滑行间差值Sr[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的行间差值累计值Cr[i,j]；根据所述平滑列间差值Sc[i,j]和所述平滑帧间差值Sf[i,j]，计算得到各个所述像素点的列间差值累计值Cc[i,j]；
所述计算得到各个所述像素点[i,j]的平滑行间差值Sr[i,j]、平滑列间差值Sc[i,j]和平滑帧间差值Sf[i,j]，具体包括：
计算得到各个所述像素点[i,j]的行间差值、列间差值和帧间差值；根据预设平滑常数和所述行间差值，计算得到所述平滑行间差值；根据所述预设平滑常数和所述列间差值，计算得到所述平滑列间差值；根据所述预设平滑常数和所述帧间差值，计算得到所述平滑帧间差值；
区域筛选模块，用于对多个所述矩形候选区域进行筛选，确定目标区域；
特征提取模块，用于对所述目标区域进行视频特征提取。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的视频特征提取方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的视频特征提取方法。
CN201911057051.7A 2019-10-31 2019-10-31 视频特征提取方法及装置、电子设备及存储介质 Active CN111046727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911057051.7A CN111046727B (zh) 2019-10-31 2019-10-31 视频特征提取方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911057051.7A CN111046727B (zh) 2019-10-31 2019-10-31 视频特征提取方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111046727A CN111046727A (zh) 2020-04-21
CN111046727B true CN111046727B (zh) 2023-10-20

Family

ID=70232778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911057051.7A Active CN111046727B (zh) 2019-10-31 2019-10-31 视频特征提取方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111046727B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918137B (zh) * 2020-06-29 2021-07-20 北京大学 一种基于视频特征的推送方法、装置、存储介质及终端

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867593A (en) * 1993-10-20 1999-02-02 Olympus Optical Co., Ltd. Image region dividing apparatus
JP2000078533A (ja) * 1998-04-14 2000-03-14 Thomson Multimedia Sa ビデオ画像のシ―ケンスの静止領域の検出方法
JP2012104060A (ja) * 2010-11-12 2012-05-31 Fujitsu Ltd 画像処理プログラムおよび画像処理装置
CN103024331A (zh) * 2012-12-26 2013-04-03 电子科技大学 一种基于边缘检测的视频去隔行方法
CN105141807A (zh) * 2015-09-23 2015-12-09 北京二郎神科技有限公司 视频信号图像处理方法和装置
CN105869123A (zh) * 2015-11-24 2016-08-17 乐视致新电子科技（天津）有限公司 图像处理方法和装置
CN106464772A (zh) * 2014-05-07 2017-02-22 思科技术公司 用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法
CN106683108A (zh) * 2016-12-07 2017-05-17 乐视控股（北京）有限公司 确定视频帧中平坦区域的方法、装置及电子设备
CN106792082A (zh) * 2016-12-07 2017-05-31 乐视控股（北京）有限公司 电子设备、对象投放方法及装置
CN107067413A (zh) * 2016-12-27 2017-08-18 南京理工大学 一种时空域统计匹配局部特征的运动目标检测方法
CN108596949A (zh) * 2018-03-23 2018-09-28 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN108763295A (zh) * 2018-04-18 2018-11-06 复旦大学 一种基于深度学习的视频近似拷贝检索算法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN110287949A (zh) * 2019-07-30 2019-09-27 腾讯音乐娱乐科技（深圳）有限公司 视频片段提取方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131097B2 (en) * 2011-09-16 2015-09-08 Dolby Laboratories Licensing Corporation Method and system for black bar identification
JP2017187969A (ja) * 2016-04-07 2017-10-12 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP6345224B1 (ja) * 2016-12-19 2018-06-20 株式会社Pfu 画像処理装置、矩形検出方法及びコンピュータプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867593A (en) * 1993-10-20 1999-02-02 Olympus Optical Co., Ltd. Image region dividing apparatus
JP2000078533A (ja) * 1998-04-14 2000-03-14 Thomson Multimedia Sa ビデオ画像のシ―ケンスの静止領域の検出方法
JP2012104060A (ja) * 2010-11-12 2012-05-31 Fujitsu Ltd 画像処理プログラムおよび画像処理装置
CN103024331A (zh) * 2012-12-26 2013-04-03 电子科技大学 一种基于边缘检测的视频去隔行方法
CN106464772A (zh) * 2014-05-07 2017-02-22 思科技术公司 用于嵌入水印、视频帧的系统和方法以及用于检测嵌入的水印的系统和方法
CN105141807A (zh) * 2015-09-23 2015-12-09 北京二郎神科技有限公司 视频信号图像处理方法和装置
CN105869123A (zh) * 2015-11-24 2016-08-17 乐视致新电子科技（天津）有限公司 图像处理方法和装置
CN106683108A (zh) * 2016-12-07 2017-05-17 乐视控股（北京）有限公司 确定视频帧中平坦区域的方法、装置及电子设备
CN106792082A (zh) * 2016-12-07 2017-05-31 乐视控股（北京）有限公司 电子设备、对象投放方法及装置
CN107067413A (zh) * 2016-12-27 2017-08-18 南京理工大学 一种时空域统计匹配局部特征的运动目标检测方法
CN108596949A (zh) * 2018-03-23 2018-09-28 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN108763295A (zh) * 2018-04-18 2018-11-06 复旦大学 一种基于深度学习的视频近似拷贝检索算法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN110287949A (zh) * 2019-07-30 2019-09-27 腾讯音乐娱乐科技（深圳）有限公司 视频片段提取方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李思广 等.基于像素评估与运动补偿预测误差扩展的视频水印算法.包装工程.2018,(第19期),第214-221页. *
真实场景下视频运动目标自动提取方法;刘贵喜;邵明礼;刘先红;朱东波;光学学报;第26卷(第08期);1150-1155 *
范继云.基于颜色特征分析的视频镜头边界检测算法研究.中国优秀硕士论文全文数据库 信息科技.2018,(第6期),全文. *
鲍伟 等.一种快速有效的网络视频拷贝检测方法.计算机应用研究.2013,第30卷(第11期),第220-223页. *

Also Published As

Publication number Publication date
CN111046727A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108805023B (zh) 一种图像检测方法、装置、计算机设备及存储介质
EP3327668B1 (en) Image-processing device and method for foreground mask correction for object segmentation
US11113795B2 (en) Image edge processing method, electronic device, and computer readable storage medium
CN110971929B (zh) 云游戏视频处理方法、电子设备及存储介质
WO2012074361A1 (en) Method of image segmentation using intensity and depth information
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
WO2017088462A1 (zh) 图像处理方法和装置
CN107346546B (zh) 一种图像处理方法及装置
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
US20170263005A1 (en) Method for moving object detection by a kalman filter-based approach
CN109214996B (zh) 一种图像处理方法及装置
CN110060260B (zh) 一种图像处理方法及系统
CN111445424A (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
CN111046727B (zh) 视频特征提取方法及装置、电子设备及存储介质
CN111091122A (zh) 一种多尺度特征卷积神经网络的训练和检测方法、装置
JP2009017325A (ja) テロップ文字領域抽出装置及び方法
CN112733667B (zh) 基于人脸识别的人脸对齐方法及装置
KR101677171B1 (ko) 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
CN109509237B (zh) 滤镜处理的方法、装置及电子设备
CN110310274B (zh) 一种植物花朵数量检测方法
CN110505485B (zh) 运动补偿方法、装置、计算机设备以及存储介质
CN108154481B (zh) 图像去噪方法、装置及电子设备
CN112364835A (zh) 视频信息取帧方法、装置、设备及存储介质
WO2017088463A1 (zh) 图像处理方法和装置
WO2017088478A1 (zh) 数字分离方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant