CN110675371A - 一种场景切换的检测方法、装置、电子设备及存储介质 - Google Patents

一种场景切换的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110675371A
CN110675371A CN201910836850.8A CN201910836850A CN110675371A CN 110675371 A CN110675371 A CN 110675371A CN 201910836850 A CN201910836850 A CN 201910836850A CN 110675371 A CN110675371 A CN 110675371A
Authority
CN
China
Prior art keywords
video
image
detected
target
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910836850.8A
Other languages
English (en)
Inventor
宁小东
郑云飞
宋玉岩
章佳杰
李马丁
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910836850.8A priority Critical patent/CN110675371A/zh
Publication of CN110675371A publication Critical patent/CN110675371A/zh
Priority to PCT/CN2020/104840 priority patent/WO2021042909A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种场景切换的检测方法、装置、电子设备及存储介质,涉及计算机视觉领域,用以解决目前视频的场景切换检测方法计算过程复杂且效率较低的问题。本公开方法包括:确定待检测视频中原始图像对应的目标图像;根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。由于本公开实施例是通过计算表示两个目标图像的像素点之间的灰度值差异程度的参考值,将该参考与预设阈值比较大小,降低了运算所要采集的数据的复杂度,进而加快了运算速度,提高了检测效率。

Description

一种场景切换的检测方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉领域,尤其涉及一种场景切换的检测方法、装置、电子设备及存储介质。
背景技术
一个视频一般由多个场景组成,一个场景由多个视频帧组成,视频场景检测是指从一个视频中找出发生场景切换的视频帧位置。在进行视频剪辑时,能够根据确定出的发生场景切换的视频帧位置快速且精确剪辑。
目前,常用的视频场景切换检测方法为分别获得目标视频序列中第一视频帧和第二视频帧的分块顺序测度特征向量,计算所获得的分块顺序测度特征向量之间的距离,若该距离满足预设的距离要求,则判定该两个视频帧之间发生了场景切换;但是通过分块计算特征向量,再根据特征向量的距离来检测场景切换的方法需要提取较多的特征向量,计算过程复杂,且计算周期长。
综上所述,目前视频的场景切换检测方法计算过程复杂且效率较低。
发明内容
本公开涉及计算机视觉领域,尤其涉及一种场景切换的检测方法、装置、电子设备及存储介质。以解决目前视频的场景切换检测方法计算过程复杂且效率较低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种场景切换的检测的方法,包括:
确定待检测视频中原始图像对应的目标图像;
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;
若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。
在一种可能的实现方式中,所述确定待检测视频中原始图像对应的目标图像,包括:
将所述待检测视频中的原始图像作为目标图像;或
对所述待检测视频中的原始图像进行下采样,将下采样得到的图像作为所述原始图像对应的目标图像。
在一种可能的实现方式中,根据下列方式确定对所述待检测视频中的原始图像进行下采样时使用的倍率:
将预设的倍率作为对所述待检测视频中的原始图像进行下采样时使用的倍率;或
根据预设的目标图像的分辨率以及所述待检测视频中原始图像的分辨率,确定对所述待检测视频中的原始图像进行下采样时使用的倍率。
在一种可能的实现方式中,所述根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值,包括:
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值的平均值,将所述平均值作为所述参考值;或
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值;将确定出的灰度值差值进行排序,将位于预设位置的灰度值差值作为所述参考值。
在一种可能的实现方式中,根据下列方式确定所述目标图像中每个像素点的灰度值:
从所述目标图像对应的灰度通道中获取每个像素点的灰度值;或
根据所述目标图像对应的颜色通道的数值确定每个像素点的灰度值。
根据本公开实施例的第二方面,提供一种场景切换的检测装置,包括:
确定模块,被配置为执行确定待检测视频中原始图像对应的目标图像;
计算模块,被配置为执行根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;
判断模块,被配置执行为若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。
在一种可能的实现方式中,所述确定模块被配置为执行将所述待检测视频中的原始图像作为目标图像;或对所述待检测视频中的原始图像进行下采样,将下采样得到的图像作为所述原始图像对应的目标图像。
在一种可能的实现方式中,所述确定模块被配置为执行将预设的倍率作为对所述待检测视频中的原始图像进行下采样时使用的倍率;或根据预设的目标图像的分辨率以及所述待检测视频中原始图像的分辨率,确定对所述待检测视频中的原始图像进行下采样时使用的倍率。
在一种可能的实现方式中,所述计算模块被配置为执行根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值,包括:
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值的平均值,将所述平均值作为所述参考值;或
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值;将确定出的灰度值差值进行排序,将位于预设位置的灰度值差值作为所述参考值。
在一种可能的实现方式中,所述计算模块被配置为执行根据下列方式确定所述目标图像中每个像素点的灰度值:
从所述目标图像对应的灰度通道中获取每个像素点的灰度值;或根据所述目标图像对应的颜色通道的数值确定每个像素点的灰度值。
根据本公开实施例的第三方面,提供一种电子设备,包括:存储器,用于存储可执行指令;
处理器,用于读取并执行所述存储器中存储的可执行指令,以实现如本公开实施例第一方面中任一项所述的场景切换的检测方法。
根据本公开实施例的第四方面,提供一种非易失性存储介质,当所述存储介质中的指令由场景切换的检测装置的处理器执行时,使得场景切换的检测装置能够执行本公开实施例第一方面中任一项所述的场景切换的检测方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述第一方面任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
相比现有计算测度特征向量间的距离的检测方法,本公开在确定待检测视频中原始图像对应的目标图像后,根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值,当参考值大于预设阈值时,确定待检测视频在相邻两帧原始图像之间发生场景切换。由于本公开实施例是通过计算表示两个目标图像的像素点之间的灰度值差异程度的参考值,将该参考与预设阈值比较大小,降低了运算所要采集的数据的复杂度,进而加快了运算速度,提高了检测效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种场景切换的检测方法的流程图;
图2是根据一示例性实施例示出的对原始图像进行下采样的流程图;
图3是根据一示例性实施例示出的第一种原始图像示意图;
图4是根据一示例性实施例示出的第一种目标图像示意图;
图5a是根据一示例性实施例示出的第一种第一目标图像示意图;
图5b是根据一示例性实施例示出的第一种第二目标图像示意图;
图6是根据一示例性实施例示出的以原始图像的格式为不含灰度通道的图像格式,将原始图像直接作为目标图像为例的场景切换检测的完整流程图;
图7a是根据一示例性实施例示出的第一种第一原始图像各像素点对应的灰度值示意图;
图7b是根据一示例性实施例示出的第一种第二原始图像各像素点对应的灰度值示意图;
图8是根据一示例性实施例示出的以对原始图像进行下采样获得目标图像,且目标图像为含有灰度通道的图像格式为例的场景切换检测的完整流程图;
图9是根据一示例性实施例示出的第一种第一原始图像与第二原始图像的原分辨率示意图;
图10是根据一示例性实施例示出的第一种目标图像分辨率示意图;
图11a是根据一示例性实施例示出的第一种第一目标图像各像素点对应的灰度值示意图;
图11b是根据一示例性实施例示出的第一种第二目标图像各像素点对应的灰度值示意图;
图12是根据一示例性实施例示出的以对原始图像进行下采样获得目标图像,且目标图像为不含灰度通道的图像格式为例的场景切换检测的完整流程图;
图13是根据一示例性实施例示出的第二种第一原始图像与第二原始图像的原分辨率示意图;
图14是根据一示例性实施例示出的第二种目标图像分辨率示意图;
图15a是根据一示例性实施例示出的第二种第一目标图像各像素点对应的灰度值示意图;
图15b是根据一示例性实施例示出的第二种第二目标图像各像素点对应的灰度值示意图;
图16是根据一示例性实施例示出的一种场景切换的检测装置框图;
图17是根据一示例性实施例示出的一种用于场景切换检测的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对文中出现的一些词语进行解释:
1、本公开实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本公开实施例中术语“帧”,就是影像动画中最小单位的单幅影像画面,一帧就是一副静止的画面,连续的帧就形成了视频。
3、本公开实施例中术语“灰度值”,灰度是表明图像明暗的数值,即黑白图像中点的颜色深度,范围一般从0到255,白色为255,黑色为0,故黑白图片也称灰度图像。灰度值指的是单个像素点的亮度。灰度值越大表示越亮。
4、本公开实施例中术语“像素”,像素是整个图像中不可分割的单位或者是元素,其中不可分割的意思是指其不能够再切割成更小单位抑或是元素,它是以一个单一颜色的小格存在。每一个点阵图像包含了一定数量的像素,这些像素决定图像在屏幕上所呈现的大小。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
场景切换的检测主要应用于视频剪辑中,在进行视频剪辑时,对视频中各相邻两帧进行场景切换检测,能够根据确定出的发生场景切换的视频帧位置快速且精确剪辑。
针对现有技术中视频的场景切换检测方法计算过程复杂且效率较低的问题,本公开实施例提供一种场景切换的检测方法。
一种可能的应用场景,本公开提供的一种场景切换的检测方法可以使用一种图像处理应用程序实现,该图像处理应用程序中存储有执行本公开实施例提供的场景检测方法的代码,用户将需要检测的视频输入到该图像处理应用中,该图像处理应用程序自动提取相邻两帧图像进行场景切换检测,具体通过计算相邻两帧图像对应的用于表示两个图像的像素点之间灰度值差异程度的参考值;若参考值大于预设阈值,则确定待检测视频在相邻两帧图像之间发生场景切换;图像处理应用程序在对用户输入的视频的每相邻两帧均检测完毕后,输出视频场景切换的两帧的位置,由于场景检测的过程均由图像处理程序完成,且本公开提供的场景检测的计算过程简单迅速,减少用户的等待时间;
本公开提供的一种场景切换的检测方法还可以使用一种图像处理应用程序与服务器配合的方式实现,用户将需要检测的视频输入到图像处理应用程序中,该图像处理应用程序将每相邻两帧图像传给服务器,服务器根据计算相邻两帧图像对应的用于表示两个图像的像素点之间灰度值差异程度的参考值;若参考值大于预设阈值,则确定待检测视频在相邻两帧图像之间发生场景切换;然后服务器将检测结果返回给图像处理应用程序,图像处理应用程序将检测视频中发生场景切换的位置展示给用户,由于该方式使用图像处理应用程序与服务器配合的方式,检测场景的速度更快,且节约系统资源。
可选的,图像处理程序可以为视频剪辑应用程序,用户输入待检测视频后,视频剪辑程序向用户展示检测到发生场景切换的两帧图像的位置,用户可以决定是否要在该位置对视频进行剪辑。用户使用该视频剪辑应用程序可以快速准确地确定待检测视频中相邻两帧是否发生场景切换。
因而本公开实施例提供了一种场景切换的检测方法,如图1所示,图1为根据一示例性实施例示出的一种场景切换的检测方法的流程图,包括以下步骤:
在步骤S11中,确定待检测视频中原始图像对应的目标图像;
在步骤S12中,根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;
在步骤S13中,若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。
相比现有计算测度特征向量间的距离的检测方法,本公开在确定待检测视频中原始图像对应的目标图像后,根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值,当参考值大于预设阈值时,确定待检测视频在相邻两帧原始图像之间发生场景切换。由于本公开实施例是通过计算表示两个目标图像的像素点之间的灰度值差异程度的参考值,将该参考与预设阈值比较大小,降低了运算所要采集的数据的复杂度,进而加快了运算速度,提高了检测效率。
本公开实施例中,确定待检测视频中原始图像对应的目标图像;其中,两帧原始图像为待检测视频中相邻的两帧图像。
需要说明的是,本公开实施例针对待检测视频中任意相邻两帧原始图像,判断该相邻两帧原始图像之间是否发生场景切换。
本公开实施例可以根据以下方式确定待检测视频中原始图像对应的目标图像:
1、将待检测视频中的原始图像作为目标图像;
一种可选的实施方式为,在从待检测视频中获取相邻两帧原始图像后,不做任何处理,直接将获取到的原始图像作为目标图像。
2、对待检测视频中的原始图像进行下采样,将下采样得到的图像作为原始图像对应的目标图像。
一种可能的实施方式,如图2所示,根据下列步骤对原始图像进行下采样:
在步骤S201中,确定对待检测视频中的原始图像进行下采样时使用的倍率;
在步骤S202中,对下采样得到的目标图像进行填充处理。
本公开实施例中,可以根据下列式确定对待检测视频中的原始图像进行下采样时使用的倍率:
1、将预设的倍率作为对待检测视频中的原始图像进行下采样时使用的倍率;
预设的倍率是预先设置的数值,在对原始图像进行下采样时,使用预设的倍率对图像下采样,即对原始图像的高和宽均使用该预设的倍率下采样;
例如,原始图像I0分辨率为h0*w0,预设的倍率为S,则下采样后得到的目标图像I的分辨率为h*w,其中h=h0/S,w=w0/S。
2、根据预设的目标图像的分辨率以及待检测视频中原始图像的分辨率,确定对待检测视频中的原始图像进行下采样时使用的倍率;
预设的目标图像分辨率是预先设置的具体数值,在对原始图像下采样之前,根据预先设置的目标图像分辨率以及原始图像的分辨率确定倍率;
具体的,可以根据原始图像中像素的行数以及预先设置的目标图像中像素的行数,确定对待检测视频中原始图像进行下采样时使用的倍率;或者
可以根据原始图像中像素的列数以及预先设置的目标图像中像素的列数,确定对待检测视频中原始图像进行下采样时使用的倍率。
例如,原始图像I0的分辨率为h0*w0,预设的目标图像I的分辨率为h*w,则计算得到对待检测视频中的原始图像进行下采样时使用的倍率
Figure BDA0002192453180000101
或者,计算得到对待检测视频中的原始图像进行下采样时使用的倍率
在确定出对原始图像进行下采样时使用的倍率之后,对原始图像进行下采样。
本公开实施例使用确定出的倍率,从原始图像中采样部分像素点组成采样后的目标图像;
一种可能的实施方式,针对目标图像的任意一个像素点,若其位置位于坐标(i,j),(i∈[0,h-1],j∈[0,w-1]),则该像素点的像素值可以使用如下公式确定:
i'=ceil(i*S);
j'=ceil(j*S);
I(i,j)=I0(i',j');
其中,S是对原始图像下采样时使用的倍率,(i',j')是原始图像中像素点坐标,(i,j)是目标图像中像素点坐标,I0(i',j')为坐标为(i',j')的像素点在原始图像中的像素值,I(i,j)为坐标为(i,j)的像素点在目标图像中的像素值。
例如,对如图3所示的原始图像进行下采样,假设原始图像的分辨率为16*16,预设的倍率为4,则对原始图像以预设的倍率下采样后得到如图4所示的目标图像,该目标图像的分辨率为4*4;对下采样得到的目标图像进行填充处理,将原始图像中坐标为(0,0)的像素点的像素值赋给目标图像坐标为(0,0)的像素点,将原始图像中坐标为(0,4)的像素点的像素值赋给目标图像坐标为(0,1)的像素点,将原始图像中坐标为(0,8)的像素点的像素值赋给目标图像坐标为(0,2)的像素点……由此即可得到对原始图像进行下采样后的目标图像。
需要说明的是,对两帧原始图像下采样时需要使用相同的倍率。
本公开实施例中,在确定待检测视频中原始图像对应的目标图像后,目标图像中像素点的灰度值可根据以下方式确定:
方式1、从目标图像对应的灰度通道中获取每个像素点的灰度值;
实施中,在目标图像的格式为包含灰度通道的图像格式时,则根据目标图像对应的灰度通道直接获取每个像素点的灰度值。
例如,目标图像格式为YUV格式,可以直接通过提取Y通道的灰度值来获取每个像素点的灰度值。
方式2、根据目标图像对应的颜色通道的数值确定每个像素点的灰度值;
实施中,在目标图像的格式为不包含灰度通道的图像格式时,则根据目标图像对应的颜色通道的数值确定每个像素点的灰度值。
例如,目标图像的格式为RGB格式,则在确定目标图像中每个像素点的灰度值时,根据R通道、G通道以及B通道的数值计算像素点的灰度值;
一种可能的实施方式,像素点的灰度值I可根据下列公式计算:
I=R*0.299+G*0.587+B*0.114;
其中,I表示每个像素点的灰度值,R表示红色通道的亮度值,G表示绿色通道的亮度值,B表示蓝色通道的亮度值。
在本公开实施例中,在确定出相邻两帧原始图像各自对应的目标图像中像素点的灰度值之后,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值。
实施中,在确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值之前,根据两个目标图像的像素点的灰度值,确定两个目标图像中相同位置的两个像素点的灰度值的差值;
例如,如图5a所示的第一目标图像和如图5b所示的第二目标图像,且假设第一目标图像和第二目标图像的分辨率为h*w。使用I(i,j)表示第一目标图像中第i行第j列的像素点对应的灰度值,I0(i,j)表示第二目标图像中第i行第j列的像素点对应的灰度值;其中,0≤i≤h-1,0≤j≤w-1。
计算第一目标图像和第二目标图像中相同位置的两个像素点的灰度值的差值ΔI=I(i,j)-I0(i,j)。
在本公开实施例中,可以根据以下方式确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值:
1、根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值的平均值,将平均值作为参考值。
一种可能的实施方式,根据下列公式确定两个目标图像中相同位置的像素点之间灰度值差值的平均值:
其中,D表示两个目标图像中相同位置的像素点之间灰度值差值的平均值,w表示目标图像的宽,h表示目标图像的高,I(i,j)表示第一目标图像第i行第j列的像素点对应的灰度值,I0(i,j)表示第二目标图像第i行第j列的像素点对应的灰度值。
计算后得到两个目标图像中相同位置的像素点之间灰度值差值的平均值,并将该值作为参考值。
例如,计算如图5a所示的第一目标图像和如图5b所示的第二目标图像中相同位置的像素点之间的灰度值差值的平均值为,
则用于表示第一目标图像和第二目标图像的像素点之间灰度值差异程度的参考值为54.13。
2、根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值;将确定出的灰度值差值进行排序,将位于预设位置的灰度值差值作为参考值。
实施中,在计算出两个目标图像中相同位置的像素点灰度值差值之后,可以按照灰度值差值从大到小或者从小到大的顺序对确定出的灰度值差值进行排序,将排序得到序列中位于预设位置的灰度值差值作为参考值;
可选的,该预设位置可以为将确定出的灰度值差值进行排序后得到序列的中间区域中一个位置;
例如,参考值为确定出的多个灰度值差值的中位数。
假设,以参考值为确定出的多个灰度值差值的中位数为例,如图5a所示第一目标图像和如图5b所示的第二目标图像对应的参考值为44.5。
本公开实施例在确定两个目标图像对应的参考值后,比较参考值与预设阈值的大小,若参考值大于预设阈值,则确定待检测视频在相邻两帧原始图像之间发生了场景切换。
其中,预设阈值为技术人员根据实际场景检测总结出来的常用的判断场景切换的经验数值。
将参考值与预设阈值比较大小,若参考值大于预设阈值,则认为两个目标图像之间的像素值已发生了明显变化,表示此时检测的两帧原始图像已经发生了场景变化。
下面以几个具体例子说明场景切换的检测方法。
一、以原始图像的格式为不含灰度通道的图像格式,将原始图像直接作为目标图像为例,如图6所示,本公开实施例场景切换的检测方法包含以下步骤:
在步骤S601中,获取待检测视频中相邻两帧原始图像;
在步骤S602中,分别获取两帧原始图像的颜色通道的数值,计算得到原始图像每个像素点的灰度值;
具体计算方式可以为:
I=R*0.299+G*0.587+B*0.114;
其中,I表示每个像素点的灰度值,R表示红色通道的亮度值,G表示绿色通道的亮度值,B表示蓝色通道的亮度值。
在步骤S603中,根据两个原始图像中像素点的灰度值,确定两个原始图像相同位置的像素点之间灰度值差值的平均值作为参考值;
在步骤S604中,判断参考值是否大于预设阈值;若是,执行步骤S605,若否,执行步骤S606。
在步骤S605中,确定待检测视频在相邻两帧原始图像之间发生了场景切换。
在步骤S606中,确定待检测视频在相邻两帧原始图像之间没有发生场景切换。
例如,第一原始图像的灰度值如图7a所示,第二原始图像的灰度值如图7b所示;
在获取到每个像素点的灰度值后,根据以下方式计算图7a和图7b中两个原始图像相同位置的像素点之间的差值的平均值:
Figure BDA0002192453180000141
其中,D表示两个原始图像中相同位置的像素点之间灰度值差值的平均值,原始图像的分辨率为w*h,I(i,j)表示第一目标图像第i行第j列的像素点对应的灰度值,I0(i,j)表示第二目标图像第i行第j列的像素点对应的灰度值;
得到两个目标图像相同位置的像素点之间的差值的平均值D后,将该平均值D作为参考值,即参考值为1.7;
假设使用的预设阈值为20,则参考值1.7小于预设阈值20,则确定待检测视频在这两帧原始图像处没有发生场景切换。
二、以对原始图像进行下采样获得目标图像,且目标图像为含有灰度通道的图像格式为例,如图8所示,包含以下步骤:
在步骤S801中,对两帧原始图像进行下采样,将下采样后得到的图像作为目标图像;
在步骤S802中,分别提取两个目标图像中灰度通道的数值,得到目标图像每个像素点的灰度值;
在步骤S803中,根据两个目标图像中像素点的灰度值,确定两个目标图像相同位置的像素点之间灰度值差值的中位数作为参考值;
在步骤S804中,判断参考值是否大于预设阈值;若是,执行步骤S805,若否,执行步骤S806。
在步骤S805中,确定待检测视频在相邻两帧原始图像之间发生了场景切换。
在步骤S806中,确定待检测视频在相邻两帧原始图像之间没有发生场景切换。
例如,第一原始图像与第二原始图像的原分辨率如图9所示,原始图像的分辨率为12*15;经过预设为3的倍率对原始图像进行下采样,获得如图10所示的目标图像,目标图像的分辨率为4*5;其中图9和图10中的每一个方格表示一个像素点。
提取图像灰度通道中的灰度值,第一目标图像的灰度值如图11a所示,第二目标图像的灰度值如图11b所示。
获得两个目标图像中像素点的灰度值后,计算两个目标图像相同位置的像素点之间灰度值的差值,将确定出的灰度值差值进行排序,将位于预设位置的灰度值差值作为参考值,本实施例使用中位数作为参考值,根据下列方式获取灰度值差值的中位数:
将计算得到的各灰度值差值以从小到大的顺序排列,假设有N个灰度值差值,当N为奇数时,中位数为排在第(N+1)/2个的灰度值差值;当N为偶数时,中位数为排在第N/2与第N/2+1的两个灰度值差值的平均数;
如图11a所示的第一目标图像和如图11b所示的第二目标图像,计算后可得中位数为28;
将获取得到的中位数作为参考值,即参考值为28。
假设使用的预设阈值为20,则参考值28大于预设阈值20,则确定待检测视频在这两帧原始图像处发生了场景切换。
三、以对原始图像进行下采样获得目标图像,且目标图像为不含灰度通道的图像格式为例,如图12所示,包含以下步骤:
在步骤S1201中,对两帧原始图像进行下采样,将下采样后得到的图像作为目标图像;
在步骤S1202中,分别获取目标图像的颜色通道的数值,计算得到目标图像每个像素点的灰度值;
具体计算方式可以为:
I=R*0.299+G*0.587+B*0.114;
其中,I表示每个像素点的灰度值,R表示红色通道的亮度值,G表示绿色通道的亮度值,B表示蓝色通道的亮度值;
在步骤S1203中,根据两个目标图像中像素点的灰度值,确定两个目标图像相同位置的像素点之间灰度值差值的平均值作为参考值;
在步骤S1204中,判断参考值是否大于预设阈值;若是,执行步骤S1205,若否,执行步骤S1206。
在步骤S1205中,确定待检测视频在相邻两帧原始图像之间发生了场景切换。
在步骤S1206中,确定待检测视频在相邻两帧原始图像之间没有发生场景切换。
例如,第一原始图像与第二原始图像的原分辨率如图13所示,原始图像的分辨率为16*20;经过预设为4的倍率对原始图像进行下采样,获得如图14所示的目标图像,目标图像的分辨率为4*5;其中图13和图14中的每一个方格表示一个像素点。
在对两帧原始图像下采样获得两帧目标图像后,分别提取两帧目标图像的颜色通道的数值,计算得到每个像素点对应的灰度值;计算后第一目标图像的灰度值如图15a所示,第二目标图像的灰度值如图15b所示。
在获取到每个像素点的灰度值后,根据以下方式计算图15a所示的第一目标图像与图15b所示的第二目标图像中两个目标图像相同位置的像素点之间的差值的平均值:
Figure BDA0002192453180000171
其中,D表示两个目标图像中相同位置的像素点之间灰度值差值的平均值,w表示目标图像的宽,h表示目标图像的高,I(i,j)表示第一目标图像第i行第j列的像素点对应的灰度值,I0(i,j)表示第二目标图像第i行第j列的像素点对应的灰度值;
得到两个目标图像相同位置的像素点之间的差值的平均值D后,将该平均值D作为参考值,即参考值为24.5。
假设使用的预设阈值为20,则参考值24.5大于预设阈值20,则确定待检测视频在这两帧原始图像处发生了场景切换。
图16是根据一示例性实施例示出的一种场景切换的检测装置框图。参照图16,该装置包括确定模块1601,计算模块1602,判断模块1603。
确定模块1601,被配置为执行确定待检测视频中原始图像对应的目标图像;
计算模块1602,被配置为执行根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;
判断模块1603,被配置执行为若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。
在一种可能的实现方式中,所述确定模块1601被配置为执行将所述待检测视频中的原始图像作为目标图像;或对所述待检测视频中的原始图像进行下采样,将下采样得到的图像作为所述原始图像对应的目标图像。
在一种可能的实现方式中,所述确定模块1601被配置为执行将预设的倍率作为对所述待检测视频中的原始图像进行下采样时使用的倍率;或根据预设的目标图像的分辨率以及所述待检测视频中原始图像的分辨率,确定对所述待检测视频中的原始图像进行下采样时使用的倍率。
在一种可能的实现方式中,所述计算模块1602被配置为执行根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值,包括:
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值的平均值,将所述平均值作为所述参考值;或
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值;将确定出的灰度值差值进行排序,将位于预设位置的灰度值差值作为所述参考值。
在一种可能的实现方式中,所述计算模块1602被配置为执行根据下列方式确定所述目标图像中每个像素点的灰度值:
从所述目标图像对应的灰度通道中获取每个像素点的灰度值;或根据所述目标图像对应的颜色通道的数值确定每个像素点的灰度值。
关于上述实施例中的装置,其中各个模块执行请求的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图17是根据一示例性实施例示出的一种用于场景切换检测的电子设备1700的框图,包括:
处理器1710;
用于存储所述处理器1710可执行指令的存储器1720;
其中,所述处理器1710被配置为执行所述指令,以实现本公开实施例中的场景切换的检测方法。
在示例性实施例中,还提供了一种包括指令的非易失性存储介质,例如包括指令的存储器1720,上述指令可由电子设备1700的处理器1710执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述任意一项场景切换的检测任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种场景切换的检测方法,其特征在于,该方法包括:
确定待检测视频中原始图像对应的目标图像;
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;
若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。
2.如权利要求1所述的方法,其特征在于,所述确定待检测视频中原始图像对应的目标图像,包括:
将所述待检测视频中的原始图像作为目标图像;或
对所述待检测视频中的原始图像进行下采样,将下采样得到的图像作为所述原始图像对应的目标图像。
3.如权利要求2所述的方法,其特征在于,根据下列方式确定对所述待检测视频中的原始图像进行下采样时使用的倍率:
将预设的倍率作为对所述待检测视频中的原始图像进行下采样时使用的倍率;或
根据预设的目标图像的分辨率以及所述待检测视频中原始图像的分辨率,确定对所述待检测视频中的原始图像进行下采样时使用的倍率。
4.如权利要求1所述的方法,其特征在于,所述根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值,包括:
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值的平均值,将所述平均值作为所述参考值;或
根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定两个目标图像中相同位置的像素点之间灰度值差值;将确定出的灰度值差值进行排序,将位于预设位置的灰度值差值作为所述参考值。
5.如权利要求1所述的方法,其特征在于,根据下列方式确定所述目标图像中每个像素点的灰度值:
从所述目标图像对应的灰度通道中获取每个像素点的灰度值;或
根据所述目标图像对应的颜色通道的数值确定每个像素点的灰度值。
6.一种场景切换的检测装置,其特征在于,包括:
确定模块,被配置为执行确定待检测视频中原始图像对应的目标图像;
计算模块,被配置为执行根据相邻两帧原始图像各自对应的目标图像中像素点的灰度值,确定用于表示两个目标图像的像素点之间灰度值差异程度的参考值;
判断模块,被配置执行为若所述参考值大于预设阈值,则确定所述待检测视频在所述相邻两帧原始图像之间发生场景切换。
7.如权利要求6所述的装置,其特征在于,所述确定模块被配置为执行将所述待检测视频中的原始图像作为目标图像;或对所述待检测视频中的原始图像进行下采样,将下采样得到的图像作为所述原始图像对应的目标图像。
8.如权利要求7所述的装置,其特征在于,所述确定模块被配置为执行将预设的倍率作为对所述待检测视频中的原始图像进行下采样时使用的倍率;或根据预设的目标图像的分辨率以及所述待检测视频中原始图像的分辨率,确定对所述待检测视频中的原始图像进行下采样时使用的倍率。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现根据权利要求1至权利要求5中任一项所述的场景切换的检测方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由场景切换的检测电子设备的处理器执行时,使得场景切换的检测电子设备能够执行根据权利要求1至权利要求5中任一项所述的场景切换的检测方法。
CN201910836850.8A 2019-09-05 2019-09-05 一种场景切换的检测方法、装置、电子设备及存储介质 Pending CN110675371A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910836850.8A CN110675371A (zh) 2019-09-05 2019-09-05 一种场景切换的检测方法、装置、电子设备及存储介质
PCT/CN2020/104840 WO2021042909A1 (zh) 2019-09-05 2020-07-27 一种场景切换的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910836850.8A CN110675371A (zh) 2019-09-05 2019-09-05 一种场景切换的检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110675371A true CN110675371A (zh) 2020-01-10

Family

ID=69076013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836850.8A Pending CN110675371A (zh) 2019-09-05 2019-09-05 一种场景切换的检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN110675371A (zh)
WO (1) WO2021042909A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401165A (zh) * 2020-03-06 2020-07-10 Tcl华星光电技术有限公司 台标的萃取方法、显示装置以及计算机可读存储介质
WO2021042909A1 (zh) * 2019-09-05 2021-03-11 北京达佳互联信息技术有限公司 一种场景切换的检测方法、装置、电子设备及存储介质
CN112995666A (zh) * 2021-02-22 2021-06-18 天翼爱音乐文化科技有限公司 一种结合场景切换检测的视频横竖屏转换方法及装置
CN113516050A (zh) * 2021-05-19 2021-10-19 江苏奥易克斯汽车电子科技股份有限公司 基于深度学习的场景变换检测方法及装置
CN114302174A (zh) * 2021-12-31 2022-04-08 上海爱奇艺新媒体科技有限公司 视频剪辑方法、装置、计算设备及存储介质
CN115278298A (zh) * 2022-07-20 2022-11-01 北京卡拉卡尔科技股份有限公司 一种视频的自动分段方法
CN116679080A (zh) * 2023-05-30 2023-09-01 广州伏羲智能科技有限公司 一种河流表面流速确定方法、装置及电子设备
CN116977332A (zh) * 2023-09-21 2023-10-31 合肥联宝信息技术有限公司 摄像头补光灯性能测试方法、装置、电子设备及存储介质
CN118097192A (zh) * 2024-04-23 2024-05-28 深圳妙月科技有限公司 一种基于云边协同的网关数据处理方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240037764A1 (en) * 2021-05-22 2024-02-01 Qualcomm Incorporated High dynamic range scene cut detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148089A1 (en) * 2010-12-10 2012-06-14 Infosys Technologies Limited Method and system for efficient watermarking of video content
CN102685509A (zh) * 2012-04-26 2012-09-19 中山大学 一种基于场景转换的视频差错控制方法
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN106851049A (zh) * 2017-03-06 2017-06-13 济南中维世纪科技有限公司 一种基于视频分析的场景变更检测方法及装置
CN108804980A (zh) * 2017-04-28 2018-11-13 合信息技术(北京)有限公司 视频场景切换检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112874A1 (en) * 2001-12-19 2003-06-19 Moonlight Cordless Ltd. Apparatus and method for detection of scene changes in motion video
JP5191240B2 (ja) * 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
CN110675371A (zh) * 2019-09-05 2020-01-10 北京达佳互联信息技术有限公司 一种场景切换的检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148089A1 (en) * 2010-12-10 2012-06-14 Infosys Technologies Limited Method and system for efficient watermarking of video content
CN102685509A (zh) * 2012-04-26 2012-09-19 中山大学 一种基于场景转换的视频差错控制方法
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN106851049A (zh) * 2017-03-06 2017-06-13 济南中维世纪科技有限公司 一种基于视频分析的场景变更检测方法及装置
CN108804980A (zh) * 2017-04-28 2018-11-13 合信息技术(北京)有限公司 视频场景切换检测方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021042909A1 (zh) * 2019-09-05 2021-03-11 北京达佳互联信息技术有限公司 一种场景切换的检测方法、装置、电子设备及存储介质
CN111401165A (zh) * 2020-03-06 2020-07-10 Tcl华星光电技术有限公司 台标的萃取方法、显示装置以及计算机可读存储介质
CN112995666A (zh) * 2021-02-22 2021-06-18 天翼爱音乐文化科技有限公司 一种结合场景切换检测的视频横竖屏转换方法及装置
CN113516050A (zh) * 2021-05-19 2021-10-19 江苏奥易克斯汽车电子科技股份有限公司 基于深度学习的场景变换检测方法及装置
CN114302174A (zh) * 2021-12-31 2022-04-08 上海爱奇艺新媒体科技有限公司 视频剪辑方法、装置、计算设备及存储介质
CN115278298A (zh) * 2022-07-20 2022-11-01 北京卡拉卡尔科技股份有限公司 一种视频的自动分段方法
CN116679080A (zh) * 2023-05-30 2023-09-01 广州伏羲智能科技有限公司 一种河流表面流速确定方法、装置及电子设备
CN116977332A (zh) * 2023-09-21 2023-10-31 合肥联宝信息技术有限公司 摄像头补光灯性能测试方法、装置、电子设备及存储介质
CN118097192A (zh) * 2024-04-23 2024-05-28 深圳妙月科技有限公司 一种基于云边协同的网关数据处理方法及系统

Also Published As

Publication number Publication date
WO2021042909A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN110675371A (zh) 一种场景切换的检测方法、装置、电子设备及存储介质
EP3540637B1 (en) Neural network model training method, device and storage medium for image processing
US11270158B2 (en) Instance segmentation methods and apparatuses, electronic devices, programs, and media
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US8629918B2 (en) Image processing apparatus, image processing method and program
JP5445467B2 (ja) クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム
CN109034136A (zh) 图像处理方法、装置、摄像设备及存储介质
JP3731952B2 (ja) 動画像検索用情報生成装置
US20140369552A1 (en) Method of Establishing Adjustable-Block Background Model for Detecting Real-Time Image Object
JP2013101616A (ja) 様々な文字幅を有するテキスト行の文字を分割するための方法及びシステム
CN110689014B (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN111614959B (zh) 一种视频打码方法、装置以及电子设备
WO2020021879A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111722891A (zh) 显示方法、装置、计算机可读存储介质和计算机设备
JP5027201B2 (ja) テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム
CN110782392B (zh) 图像处理方法、装置、电子设备及存储介质
CN110782463B (zh) 分割方式的确定方法、装置、显示方法和设备、存储介质
CN111914739A (zh) 智能跟随方法、装置、终端设备和可读存储介质
WO2019150649A1 (ja) 画像処理装置および画像処理方法
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN115239551A (zh) 视频增强方法和装置
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体
CN106951831A (zh) 一种基于深度摄像机的行人检测跟踪方法
Lee et al. Directional coherence-based scrolling-text detection for frame rate up-conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110

RJ01 Rejection of invention patent application after publication