CN114040197B - 视频检测方法、装置、设备及存储介质 - Google Patents
视频检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114040197B CN114040197B CN202111433953.3A CN202111433953A CN114040197B CN 114040197 B CN114040197 B CN 114040197B CN 202111433953 A CN202111433953 A CN 202111433953A CN 114040197 B CN114040197 B CN 114040197B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- video frames
- video frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 32
- 238000005520 cutting process Methods 0.000 claims description 14
- 238000010008 shearing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 5
- 230000010076 replication Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例提供一种视频检测方法、装置、设备及存储介质,该方法包括:从原始视频中获取待处理的N个视频帧,N为大于或等于1的整数;分别对N个视频帧进行复制,得到N个视频帧各自对应的第一视频帧和第二视频帧;根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧;根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。本申请实施例提供的一种视频检测方法、装置、设备及存储介质用于检测原始视频是否为伪高清视频。
Description
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频检测方法、装置、设备及存储介质。
背景技术
视频可以具有多种分辨率(例如分辨率为640×360、1920×1080、4096×1080等)的视频。
在相关技术中,服务器可以对原始视频进行视频转码处理,得到不同转码版本的视频。例如当原始视频为高分辨率(例如分辨率为1920×1080、码率为8064千比特每秒(kbps))的视频时,服务器对原始视频进行视频转码处理,得到第一转码版本的视频(分辨率为1920×1080、码率为5412kbps)、第二转码版本的视频(分辨率为1280x720、码率为4834kbps)、第三转码版本的视频(分辨率为640x360、码率为745kbps)等。在上述各个转码版本的视频中,例如可能存在第一转码版本的视频的画面质量(画面质量为用户观看到的画面质量)和第二转码版本的视频的画面质量相同,因此浪费了转码处理的计算资源和存储资源。在实际应用中,当存在多个转码版本的视频的画面质量相同时,认为原始视频为伪高清视频。
目前为了实现节省转码处理的计算资源和存储资源,如何检测原始视频是否为伪高清视频,成为亟待解决的技术问题。
发明内容
本申请实施例提供一种视频检测方法、装置、设备及存储介质,用于检测原始视频是否为伪高清视频。
第一方面,本申请实施例提供一种视频检测方法,包括:
从原始视频中获取待处理的N个视频帧,N为大于或等于1的整数;
分别对N个视频帧进行复制,得到N个视频帧各自对应的第一视频帧和第二视频帧;
根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧;
根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。
在一种可能的设计中,针对N个视频帧中的每个视频帧,根据视频帧对应的第一视频帧和第二视频帧,确定视频帧对应的残差视频帧,包括:
对第一视频帧进行剪切处理,得到第一中间帧;
对第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧;第一中间帧的尺寸和第二中间帧的尺寸相同;
根据第一中间帧和第二中间帧,确定视频帧对应的残差视频帧。
在一种可能的设计中,对第一视频帧进行剪切处理,得到第一中间帧,包括:
按照预先设定的第一尺寸和第一中心位置,对第一视频帧进行剪切处理,得到第一中间帧;第一中间帧的中心位置与第一中心位置相同,第一中间帧的尺寸和第一尺寸相同。
在一种可能的设计中,对第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧,包括:
按照预先设定的下采样倍数,对第二视频帧进行下采样处理,得到第二采样帧;
按照预先设定的第二尺寸和第二中心位置,对第二采样帧进行剪切处理,得到第二剪切帧;第二剪切帧的中心位置和第二中心位置相同,第二剪切帧的尺寸和第二尺寸相同;
按照预先设定的上采样倍数,对第二剪切帧进行上采样处理,得到第二中间帧;上采样倍数和下采样倍数相同。
在一种可能的设计中,根据第一中间帧和第二中间帧,确定视频帧对应的残差视频帧,包括:
分别对第一中间帧和第二中间帧进行编码压缩处理,得到第一目标帧和第二目标帧;
针对第一目标帧和第二目标帧中的每个相同位置处的像素,将第一目标帧中的像素的第一色彩值,与第二目标帧中的像素的第二色彩值的差值,确定为相同位置处的像素的色彩差异;
将每个相同位置处的像素的色彩差异组成的图像,确定为残差视频帧。
在一种可能的设计中,根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频,包括:
通过预先训练好的预测模型,对N个视频帧各自对应的残差视频帧进行预测处理,得到原始视频的评分,预测模型为采用多个样本残差视频帧进行训练得到的;
判断评分是否小于或等于评分阈值;
若评分小于或等于评分阈值,则确定原始视频为伪高清视频。
在一种可能的设计中,预测模型中包括:特征提取子模型和回归预测子模型;
通过预先训练好的预测模型,对N个视频帧各自对应的残差视频帧进行预测处理,得到原始视频的评分,包括:
通过特征提取子模型,分别对N个视频帧各自对应的残差视频帧进行特征提取处理,得到N个视频帧各自对应的视频特征信息;
通过回归预测子模型,对N个视频帧各自对应的视频特征信息进行回归预测处理,得到原始视频的评分。
在一种可能的设计中,从高清视频中获取待处理的N个视频帧,包括:
对原始视频进行检测,确定待删除视频帧;待删除视频帧和第三视频帧的第一色彩差值的第一绝对值,与待删除视频帧和第四视频帧的第二色彩差值的第二绝对值的差值的绝对值大于或等于预设阈值,其中,第三视频帧位于待删除视频帧之前,第四视频帧位于待删除视频帧之后;
根据原始视频和待删除视频帧,确定待处理的N个视频帧。
在一种可能的设计中,根据原始视频和待删除视频帧,确定待处理的N个视频帧,包括:
确定原始视频中除待删除视频帧、位于待删除视频帧之前的M个视频帧、以及位于待删除视频帧之后的M个视频帧之外的其他视频帧;M为大于或等于1的整数;
根据预设抽帧间隔和其他视频帧,确定待处理的N个视频帧。
在一种可能的设计中,根据预设抽帧间隔和其他视频帧,确定待处理的N个视频帧,包括:
分别对其他视频帧中的每个视频帧进行检测统计处理,确定非内容视频帧;
根据预设抽帧间隔,对其他视频帧中除非内容视频帧之外的视频帧进行抽帧处理,得到待处理的N个视频帧。
在一种可能的设计中,针对其他视频帧中的每个视频帧,对视频帧进行检测统计处理,确定非内容视频帧,包括:
对视频帧中包括的每个像素进行检测统计处理,确定视频帧在R通道的第一信息熵、在G通道的第二信息熵、以及在B通道的第三信息熵;
若第一信息熵、第二信息熵和第三信息熵中存在至少一个信息熵小于或等于信息熵阈值,则将视频帧确定为非内容视频帧。
在一种可能的设计中,该方法还包括:
针对第三视频帧和待删除视频帧中每个相同位置处的像素,将第三视频帧中像素的第一色彩值和待删除视频帧中像素的第二色彩值的差值,确定像素的色彩差异;
将每个相同位置处的像素的色彩差异的和值或者平均值,确定为第一色彩差值。
在一种可能的设计中,根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频之后,还包括:
在原始视频为伪高清视频时,按照目标分辨率,对原始视频进行转码处理,得到目标视频;目标分辨率小于原始视频的原始分辨率;
向客户端发送目标视频。
第二方面,本申请实施例提供一种视频检测装置,包括:获取模块、复制模块、第一确定模块和第二确定模块;其中,
获取模块,用于从高清视频中获取待处理的N个视频帧,N为大于或等于1的整数;
复制模块,用于分别对N个视频帧进行复制,得到N个视频帧各自对应的第一视频帧和第二视频帧;
第一确定模块,用于根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧;
第二确定模块,用于根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。
在一种可能的设计中,第一确定模块具体用于:针对N个视频帧中的每个视频帧,
对视频帧的第一视频帧进行剪切处理,得到第一中间帧;
对视频帧的第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧;第一中间帧的尺寸和第二中间帧的尺寸相同;
根据第一中间帧和第二中间帧,确定视频帧对应的残差视频帧。
在一种可能的设计中,第一确定模块具体用于:按照预先设定的第一尺寸和第一中心位置,对第一视频帧进行剪切处理,得到第一中间帧;第一中间帧的中心位置与第一中心位置相同,第一中间帧的尺寸和第一尺寸相同。
在一种可能的设计中,第一确定模块具体用于:
按照预先设定的下采样倍数,对第二视频帧进行下采样处理,得到第二采样帧;
按照预先设定的第二尺寸和第二中心位置,对第二采样帧进行剪切处理,得到第二剪切帧;第二剪切帧的中心位置和第二中心位置相同,第二剪切帧的尺寸和第二尺寸相同;
按照预先设定的上采样倍数,对第二剪切帧进行上采样处理,得到第二中间帧;上采样倍数和下采样倍数相同。
在一种可能的设计中,第一确定模块具体用于:
分别对第一中间帧和第二中间帧进行编码压缩处理,得到第一目标帧和第二目标帧;
针对第一目标帧和第二目标帧中的每个相同位置处的像素,将第一目标帧中的像素的第一色彩值,与第二目标帧中的像素的第二色彩值的差值,确定为相同位置处的像素的色彩差异;
将每个相同位置处的像素的色彩差异组成的图像,确定为残差视频帧。
在一种可能的设计中,第二确定模块具体用于:
通过预先训练好的预测模型,对N个视频帧各自对应的残差视频帧进行预测处理,得到原始视频的评分,预测模型为采用多个样本残差视频帧进行训练得到的;
判断评分是否小于或等于评分阈值;
若评分小于或等于评分阈值,则确定原始视频为伪高清视频。
在一种可能的设计中,预测模型中包括:特征提取子模型和回归预测子模型;
第二确定模块具体用于:通过特征提取子模型,分别对N个视频帧各自对应的残差视频帧进行特征提取处理,得到N个视频帧各自对应的视频特征信息;
通过回归预测子模型,对N个视频帧各自对应的视频特征信息进行回归预测处理,得到原始视频的评分。
在一种可能的设计中,获取模块具体用于:对原始视频进行检测,确定待删除视频帧;待删除视频帧和第三视频帧的第一色彩差值的第一绝对值,与待删除视频帧和第四视频帧的第二色彩差值的第二绝对值的差值的绝对值大于或等于预设阈值,其中,第三视频帧位于待删除视频帧之前,第四视频帧位于待删除视频帧之后;
根据原始视频和待删除视频帧,确定待处理的N个视频帧。
在一种可能的设计中,获取模块具体用于:确定原始视频中除待删除视频帧、位于待删除视频帧之前的M个视频帧、以及位于待删除视频帧之后的M个视频帧之外的其他视频帧;M为大于或等于1的整数;
根据预设抽帧间隔和其他视频帧,确定待处理的N个视频帧。
在一种可能的设计中,获取模块具体用于:分别对其他视频帧中的每个视频帧进行检测统计处理,确定非内容视频帧;
根据预设抽帧间隔,对其他视频帧中除非内容视频帧之外的视频帧进行抽帧处理,得到待处理的N个视频帧。
在一种可能的设计中,针对其他视频帧中的每个视频帧,获取模块具体用于:
对视频帧中包括的每个像素进行检测统计处理,确定视频帧在R通道的第一信息熵、在G通道的第二信息熵、以及在B通道的第三信息熵;
若第一信息熵、第二信息熵和第三信息熵中存在至少一个信息熵小于或等于信息熵阈值,则将视频帧确定为非内容视频帧。
在一种可能的设计中,获取模块还用于:针对第三视频帧和待删除视频帧中每个相同位置处的像素,将第三视频帧中像素的第一色彩值和待删除视频帧中像素的第二色彩值的差值,确定像素的色彩差异;将每个相同位置处的像素的色彩差异的和值或者平均值,确定为第一色彩差值。
在一种可能的设计中,该装置还包括:转码模块和发送模块;
转码模块,用于在根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频之后,在原始视频为伪高清视频时,按照目标分辨率,对原始视频进行转码处理,得到目标视频;目标分辨率小于原始视频的原始分辨率;
发送模块,用于向客户端发送目标视频。
第三方面,本申请实施例提供一种服务器,包括:处理器、以及与处理器连接的存储器;
存储器,用于存储处理器的可执行指令;
处理器,用于执行可执行指令,实现第一方面中任一项的视频检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现第一方面中任一项的视频检测方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当计算机程序被处理器执行时,实现第一方面中任一项的视频检测方法。
本申请实施例提供一种视频检测方法、装置、设备及存储介质,该方法包括:从原始视频中获取待处理的N个视频帧,N为大于或等于1的整数;分别对N个视频帧进行复制,得到N个视频帧各自对应的第一视频帧和第二视频帧;根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧;根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。本申请实施例提供的一种视频检测方法、装置、设备及存储介质用于检测原始视频是否为伪高清视频。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的视频检测方法的流程图一;
图2为本实施例提供的确定某个视频帧对应的残差视频帧的方法流程图;
图3为本申请实施例提供的得到第一中间帧的示意图;
图4为本申请实施例提供的获取待处理的N个视频帧的流程图;
图5为本申请实施例提供的向客户端发送目标视频的方法的流程示意图;
图6为本申请实施例提供的视频检测装置的结构示意图一;
图7为本申请实施例提供的视频检测装置的结构示意图二;
图8为本申请实施例提供的服务器的硬件示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请涉及的技术术语进行解释说明。
高清视频,通常指将高分辨(分辨率大于或等于1920×1080)、高画面质量的视频。
伪高清视频,通常指伪造的高清视频。一个分辨率为1920×1080的伪高清视频其真实分辨率通常小于1920×1080。在实际应用中,可以通过剪辑软件对一个分辨率较低的视频进行剪辑处理,得到伪高清视频,也可以对一个高清视频多次搬运得到伪高清视频。每次搬运为有损的处理过程,即导致视频的分辨率降低。
一次搬运,是指依次从一个视频播放应用程序中下载视频、并将下载的视频从新上传至另一个视频播放应用程序。
下面对现有技术中存在的技术问题进行说明。
为了满足不同用户的需求,服务器通常将原始视频进行视频转码处理,得到多个转码版本的视频。但是得到的多个转码版本的视频中,可能存在至少两个转码版本的视频的画面质量相同,因此浪费了转码处理的计算资源和存储资源。目前,为了实现节省转码处理的计算资源和存储资源,如何检测原始视频是否为伪高清视频,成为亟待解决的技术问题。
在本申请中,为了实现检测原始视频是否为伪高清视频,发明人想到:确定多个视频帧各自对应的残差视频帧;根据多个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1为本申请实施例提供的视频检测方法的流程图一。如图1所示,该方法包括:
S101、从原始视频中获取待处理的N个视频帧。
可选地,本申请实施例的执行主体可以为服务器,可以为设置在服务器中的视频检测装置,该视频检测装置可以通过软件和/硬件的结合来实现。
N为大于或等于1的整数。此处不对N的具体取值进行限定。
可选地,可以通过如下2种方式从原始视频中获取待处理的N个视频帧。
方式1,随机从原始视频中获取N个视频帧。
方式2,根据预设抽帧间隔,对原始视频进行处理,得到待处理的N个视频帧。
方式3,对原始视频进行检测,确定待删除视频帧;根据原始视频和待删除视频帧,确定待处理的N个视频帧。
待删除视频帧为视频中场景进行切换的视频帧。
待删除视频帧和第三视频帧的第一色彩差值的第一绝对值,与待删除视频帧和第四视频帧的第二色彩差值的第二绝对值的差值的绝对值大于或等于预设阈值。
第三视频帧位于待删除视频帧之前,第四视频帧位于待删除视频帧之后。
需要说明的是,得到第一色彩差值的方法与得到第二色彩差值的方法相似,对得到第一色彩差值的详细说明,请参见图4实施例中S401,此处不再赘述。
在一种可能的设计中,根据原始视频和待删除视频帧,确定待处理的N个视频帧,包括:将原始视频中除待删除视频帧之外的其他视频帧,确定为待处理的N个视频帧。
S102、分别对N个视频帧进行复制,得到N个视频帧各自对应的第一视频帧和第二视频帧。
具体的,针对N个视频帧中的每个视频帧,该视频帧的第一视频帧和第二视频帧相同。
S103、根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧。
针对N个视频帧中的每个视频帧,通过如下方法,得到视频帧对应的残差视频帧:对视频帧对应的第一视频帧进行剪切处理,得到第一中间帧;对视频帧对应的第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧;第一中间帧的尺寸和第二中间帧的尺寸相同;根据第一中间帧和第二中间帧,确定该视频帧对应的残差视频帧。
在对第一视频帧进行剪切处理的过程中,剪切掉第一视频帧的边缘图像,保留第一视频帧中除边缘图像之外的剩余图像,得到第一中间帧。例如,当第一视频帧为方形时,剪切掉第一视频帧的四个边缘的图像,得到第一中间帧。
在对第二视频帧进行下采样处理之后,使得第二视频帧的面积变小。在对下采样处理之后的第二视频帧依次通过剪切处理和上采样处理之后,又使得下采样处理之后的第二视频帧的面积变大得到第二中间帧。
需要说明的是,对下采样处理后的第二视频帧进行剪切处理,剪切掉下采样处理后的第二视频帧的边缘图像,保留下采样处理后的第二视频帧中除边缘图像之外的剩余图像。
具体的,根据第一中间帧和第二中间帧,确定视频帧对应的残差视频帧,可以参见图2实施例中S205~S207中所示的方法,得到视频帧对应的残差视频帧。
S104、根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。
可选地,可以通过如下2种方式确定原始视频是否为伪高清视频。
方式1,通过预先训练好的预测模型,对N个视频帧各自对应的残差视频帧进行预测处理,得到原始视频的评分,预测模型为采用多个样本残差视频帧进行训练得到的;判断评分是否小于或等于评分阈值;若评分小于或等于评分阈值,则确定原始视频为伪高清视频。
原始视频的评分指示原始视频的伪高清程度。
方式2,通过预先训练好的特征提取子模型,分别对N个视频帧各自对应的残差视频帧进行特征提取处理,得到N个视频帧各自对应的视频特征信息;通过预先训好的回归预测子模型,对N个视频帧各自对应的视频特征信息进行回归预测处理,得到原始视频的评分。
在本申请中,评分越低表示原始视频的伪高清程度越高,原始视频的画面质量模糊劣质,原始视频的实际分辨率不属于当前分辨率档位,若对该原始视频进行视频转码处理,存在至少两个转码版本的视频的画面质量相同,使得用户在观看至少两个转码版本的视频时,用户的主观感受没有差别,因此可以确定原始视频是伪高清视频。评分越高表示原始视频的伪高清程度越低,原始视频的画面质量清晰,原始视频的实际分辨率属于当前分辨率档位,原始视频不是伪高清视频。
当前分辨率档位指示原始视频的原始分辨率。例如原始视频的分辨率为1920×1080,则当前分辨率档位为1920×1080。
可选地,评分阈值可以为35、或者40等。
在图1实施例提供的视频检测方法中,根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧,进而根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频,能够实现检测原始视频是否为伪高清视频,从而解决相关技术中无法检测原始视频是否为伪高清视频的问题。
此外与现有技术不同,在现有技术中,服务器采用与高清视频相同的处理规则对伪高清视频(例如分辨率为1920×1080)进行转码处理,得到画面质量相同、分辨率不同的多个视频(例如分辨率分别为1920×1080、1280x720、640x360的三个视频,其中,分辨率分别为1920×1080、1280x720的两个视频的画面质量(用户观看视频时的画面质量)相同,分辨率分别为1280x720、640x360的两个视频的画面质量不同),导致浪费转码处理的计算资源和存储资源,进一步地,将分辨率为1920×1080的视频下发至客户端,会浪费传输带宽,而且在网络质量比较差,还会导致客户端在播放分辨率为1920×1080的视频的过程中,出现视频卡顿的现象,导致用户的观看体验差。而在本申请中,服务器在确定原始视频为伪高清视频(例如分辨率为1920×1080)之后,可以采用与高清视频不同的处理规则(例如减少转码版本的视频的数量和/或调整转码版本对应的分辨率),对伪高清视频进行转码处理,得到的画面质量和分辨率均不相同的多个视频(例如分辨率分别为1280x720和640x360的两个视频),从而节省转码处理的计算资源和存储资源,进一步地,将分辨率为1280x720的视频下发至客户端,能够节省传输带宽,而且在在网络质量比较差时,客户端能够较为流畅地播放分辨率为1280x720的视频,提高用户的观看体验。
在上述实施例的基础上,下面结合图2对确定某个视频帧对应的残差视频帧的过程进行详细说明,具体的请参见图2实施例。
图2为本实施例提供的确定某个视频帧对应的残差视频帧的方法流程图。如图2所示,该方法包括:
S201、按照预先设定的第一尺寸和第一中心位置,对第一视频帧进行剪切处理,得到第一中间帧。
第一视频帧为对某个视频帧进行复制得到。
预先设定的第一尺寸的长度为X个像素、宽度为Y个像素。例如,X可以为944、Y可以为940。
第一中心位置可以为第一尺寸的中心位置,也可以为预先设定的中心位置。
当第一中心位置为预先设定的中心位置时,可以按照第一中心位置,将第一视频帧剪切成具有第一尺寸的第一中间帧。
当第一中心位置为第一尺寸的中心位置时,将第一视频帧剪切成具有第一尺寸的第一中间帧。
需要说明的是,第一中心位置和第一中间帧的中心位置相同。第一中间帧的尺寸和第一尺寸相同。
S202、按照预先设定的下采样倍数,对第二视频帧进行下采样处理,得到第二采样帧。
第二视频帧为对S201中提及的某个视频帧进行复制得到。
第一视频帧和第二视频帧相同。
可选地,下采样倍数可以为4、9、16等。例如下采样倍数为4时,表示按照视频帧的宽度和高度分别对视频帧进行2倍的下采样。
S203、按照预先设定的第二尺寸和第二中心位置,对第二采样帧进行剪切处理,得到第二剪切帧。
第二剪切帧的中心位置和第二中心位置相同,第二剪切帧的尺寸和第二尺寸相同。
第二尺寸等于下采样倍数的倒数与第一尺寸的乘积。
具体的,S203的执行方法与S201的执行方法相似,此处不再赘述。
S204、按照预先设定的上采样倍数,对第二剪切帧进行上采样处理,得到第二中间帧。
上采样倍数和下采样倍数相同。例如,当下采样倍数等于4时,上采样倍数也为4。当上采样倍数为4时,表示按照视频帧的宽度和高度分别对视频帧进行2倍的上采样。
S205、分别对第一中间帧和第二中间帧进行编码压缩处理,得到第一目标帧和第二目标帧。
具体的,编码压缩处理的具体方法,可以参见现有技术,此处不再赘述。
S206、针对第一目标帧和第二目标帧中的每个相同位置处的像素,将第一目标帧中的该像素的第一色彩值,与第二目标帧中的该像素的第二色彩值的差值,确定为该像素的色彩差异。
例如,当第一目标帧和第二目标帧中均包括16个像素时,针对第一目标帧和第二目标帧中的第i个像素(即相同位置处的像素),对第一目标帧中的第i个像素进行检测,得到第一目标帧中的第i个像素的第一色彩值;对第二目标帧中的第i个像素进行检测,得到第二目标帧中的第i个像素的第二色彩值;将第i个像素的第一色彩值与第i个像素的第二色彩值的差值,确定为第i个像素的色彩差异。其中,i的取值为1~16。
可选地,可以根据如下2种方式,得到第i个像素的第一色彩值与第i个像素的第二色彩值的差值。
方式1,针对第i个像素,若第一目标帧中的第i个像素的第一色彩值包括第i个像素在R通道的第一值、G通道的第一值和B通道的第一值,第二目标帧中的第i个像素的第二色彩值包括第i个像素在R通道的第二值、G通道的第二值和B通道的第二值,则i个像素的第一色彩值与第i个像素的第二色彩值的差值包括R通道的第一值与R通道的第二值的第一差值、G通道的第一值与G通道的第二值的第二差值、B通道的第一值与B通道的第二值的第三差值。
针对方式1,在S206之前还可以包括:分别将第一目标帧和第二目标帧转换成属于RGB色域的目标帧。进而根据属于RGB色域的第一目标帧和第二目标帧执行S206。
方式2,针对第i个像素,若第一目标帧中的第i个像素的第一色彩值包括第i个像素在Y通道的第一值,第二目标帧中的第i个像素的第二色彩值包括第i个像素在Y通道的第二值则i个像素的第一色彩值与第i个像素的第二色彩值的差值包括Y通道的第一值与Y通道的第二值的第一差值。
针对方式2,在S206之前还可以包括:分别将第一目标帧和第二目标帧转换成属于YUV色域的目标帧。进而根据属于YUV色域的第一目标帧和第二目标帧执行S206。
S207、将每个相同位置处的像素的色彩差异组成的图像,确定为残差视频帧。
残差视频帧为某个视频帧对应的残差视频帧,其中,某个视频帧为对其进行复制可以得到上述第一视频帧和第二视频帧的视频帧。
例如,当第一目标帧和第二目标帧中均包括16个像素时,将由第1~16个像素的色彩差异组成的图像,确定为残差视频帧。
在图2实施例提供的确定视频帧对应的残差视频帧的方法中,由于某些视频帧的边缘会有黑边和渐变边等情况,黑边和渐变边等通常和视频帧的实际内容无关、而且也完全不同,因此对第一视频帧和第二采样帧行剪切处理,去除第一视频帧和第二采样帧的边缘的干扰(即包括黑边和渐变边等),从而实现对视频帧中的实际有效部分进行检测,提高检测精度,避免由于黑边或者渐变边等过多,导致将原始视频误检成伪高清视频)。而且对第二视频帧进行下采样处理、剪切处理、上采样处理,分别对第一中间帧和第二中间帧进行编码压缩处理的预处理方式,能够还原原始视频对应的低分辨率版本,从而得到可靠的残差视频帧,使得视频检测方法鲁棒性强、抗干扰、泛化性强。进一步地,将每个相同位置处的像素的色彩差异组成的图像,确定为残差视频帧,可以提升检测原始视频是否为伪高清视频的准确率(即更多的关注视频的低分辨率版本和原始视频的差异,如果差异很小或无差异,就可认为是伪高清视频)。
图3为本申请实施例提供的得到第一中间帧的示意图。如图3所示,包括:第一视频帧和第一中间帧。
例如,第一视频帧中包括56个像素。56个像素包括:第1~56个像素。
例如,当第一尺寸为5*5(即长度为5个像素且宽度为5个像素)时,第一中心位置的坐标为第32个像素时,按照预先设定的第一尺寸和第一中心位置,对第一视频帧进行剪切处理,得到的第一中间帧中包括25个像素。
其中,25个像素包括:第15~21个像素、第23~28个像素、第29~35个像素、第36~42个像素、以及第43~49个像素。
第一中间帧的中心位置也是第32个像素。
在上述实施例的基础上,下面结合图4对获取待处理的N个视频帧的过程进行详细说明。
图4为本申请实施例提供的获取待处理的N个视频帧的流程图。如图4所示,该方法包括:
S401、对原始视频进行检测,确定待删除视频帧。
可选地,待删除视频帧的数量可以为多个。
针对每个待删除视频帧,待删除视频帧和第三视频帧的第一色彩差值的第一绝对值,与待删除视频帧和第四视频帧的第二色彩差值的第二绝对值的差值的绝对值大于或等于预设阈值,其中,第三视频帧位于待删除视频帧之前,第四视频帧位于待删除视频帧之后。
例如,当待删除视频帧为原始视频中的第4个视频帧时,第三视频帧为原始视频中的第3个视频帧,第四视频帧为原始视频中的第5个视频帧。
下面对得到第一色彩差值的方法进行说明。
在一种可能的设计中,针对第三视频帧和待删除视频帧中每个相同位置处的像素,将第三视频帧中像素的第一色彩值和待删除视频帧中像素的第二色彩值的差值,确定像素的色彩差异;将每个相同位置处的像素的色彩差异的和值或者平均值,确定为第一色彩差值。
具体的,对得到像素的色彩差异的解释说明请参见S206中的方式1或者方式2,此处不再赘述。
可选地,在S206中方式1的基础上,每个相同位置处的像素的色彩差异包括R通道的第一值与R通道的第二值的第一差值、G通道的第一值与G通道的第二值的第二差值、B通道的第一值与B通道的第二值的第三差值,则针对R通道,计算第三视频帧和待删除视频帧中所有相同位置处的像素对应的第一差值的和值或者平均值;针对G通道,计算第三视频帧和待删除视频帧中所有相同位置处的像素对应的第二差值的和值或者平均值;针对B通道,计算第三视频帧和待删除视频帧中所有相同位置处的像素对应的第三差值的和或者平均值;
将针对R通道的和值、针对G通道的和值、针对B通道的和值之和或者平均值,确定为第一色彩差值;或者将针对R通道的平均值、针对G通道的平均值、针对B通道的平均值的和或者平均值,确定为第一色彩差值。
可选地,在S206中方式2的基础上,每个相同位置处的像素的色彩差异包括Y通道的第一值与Y通道的第二值的第一差值,则第三视频帧和待删除视频帧中所有相同位置处的像素对应的第一差值的和值或者平均值,确定为第一色彩差值。
S402、确定原始视频中除待删除视频帧、位于待删除视频帧之前的M个视频帧、以及位于待删除视频帧之后的M个视频帧之外的其他视频帧。
M为大于或等于1的整数。可选地,M可以为5、10等。
例如,当原始视频中包括20个视频帧时,若M等于2,当待删除视频帧为第11个视频帧时,则其他视频帧为原始视频中除第11个视频帧、第11个视频帧之前的第10个视频帧和第9个视频帧、第11个视频帧之后的第12个视频帧和第13个视频帧之外视频帧,即其他视频帧包括原始视频中的第1~8和14~20个视频帧。
S403、分别对其他视频帧中的每个视频帧进行检测统计处理,确定非内容视频帧。
非内容视频帧指纯色帧、或接近于纯色帧,非内容视频帧无实际内容,比如视频的片头或者片尾的黑色帧。
针对其他视频帧中的每个视频帧,对视频帧进行检测统计处理,确定非内容视频帧,包括:对视频帧中包括的每个像素进行检测统计处理,确定视频帧在R通道的第一信息熵、在G通道的第二信息熵、以及在B通道的第三信息熵;若第一信息熵、第二信息熵和第三信息熵中存在至少一个信息熵小于或等于信息熵阈值,则将视频帧确定为非内容视频帧。
下面对得到视频帧在R通道的第一信息熵的方法进行说明。
具体的,对视频帧中的每个像素进行色彩检测,得到每个像素的色彩值;对视频帧中每个色彩值对应的像素的个数进行统计,得到每个色彩值对应的像素个数;确定每个色彩值对应的像素个数与视频帧中包括的像素的总个数的比值;根据每个色彩值对应的比值,确定视频帧在R通道的第一信息熵。
例如,当色彩值、像素个数、每个色彩值对应的像素个数与视频帧中包括的像素的总个数的比值具有如下表1所示的数据时,可以根据通过如下公式1确定第一信息熵:
其中,H1为第一信息熵,ln为以自然常数e为底的对数。
表1
色彩值 | 像素个数 | 像素个数(A)与总个数(B) |
0 | A0 | A0/B |
1 | A1 | A1/B |
…… | …… | …… |
255 | A255 | A255/B |
需要说明的是,分别得到视频帧在G通道的第二信息熵和在B通道的第三信息熵的方法,与得到视频帧在R通道的第一信息熵的方法相似,此处不再赘述。
S404、根据预设抽帧间隔,对其他视频帧中除非内容视频帧之外的视频帧进行抽帧处理,得到待处理的N个视频帧。
其中,S403~S404为对根据预设抽帧间隔和其他视频帧,确定待处理的N个视频帧的解释说明。
可选地,预设抽帧间隔可以为1、2、3、4等。
在图4实施例提供的获取待处理的N个视频帧的方法中,N个视频帧为在原始视频中删除了待删除视频帧(即场景过度帧)和非内容视频帧(这样的视频帧不是用户所关注的,从画面质量和画面特征上来说也和正常内容的视频帧不同)之后的视频,减低了场景过度帧和非内容视频帧,对检测原始视频是否为伪高清视频的干扰,提高检测的准确性。进一步地,由于连续的视频帧的内容通常存在冗余,因此根据预设抽帧间隔,对其他视频帧中除非内容视频帧之外的视频帧进行抽帧处理,得到待处理的N个视频帧,可以缩短在检测原始视频是否为伪高清视频过程中所用的时长,从而提高检测效率,节省计算资源。
在上述任意方法实施例的基础上,本申请实施例提供的视频检测方法还包括如下图5所示的方法步骤。
图5为本申请实施例提供的向客户端发送目标视频的方法的流程示意图。如图5所示,该方法包括:
S501,在确定原始视频为伪高清视频之后,按照目标分辨率,对原始视频进行转码处理,得到目标视频;目标分辨率小于原始视频的原始分辨率。
可选地,目标分辨率可以为根据预设映射关系(包括原始分辨率)得到的。
例如预设映射关系为:A2×B2=(A1-360α)×(B1-360β)。其中,A1(例如为1920)、B1(例如为1080)为原始分辨率(例如1920×1080)中的参数,α可以为1、2、3等常数中的任意一个值,β可以为1、2、3等常数任意一个值。在实际应用中,可以根据选取α、β的具体取值。
可选地,原始分辨率可以包括在客户端发送的分辨率切换请求中,也可以包括在原始视频的属性信息中。
需要说明的是,当原始分辨率包括在客户端发送的分辨率切换请求中时,在S501之前,还包括:接收客户端发送的分辨率切换请求,从分辨率切换请求中获取原始分辨率,并根据原始分辨率和预设映射关系,得到目标分辨率。
S502,向客户端发送目标视频。
可选地,客户端可以通常运行在用户持有的终端设备上,其中终端设备例如可以是计算机设备、平板电脑或移动电话(或称为“蜂窝”电话)等,终端设备还可以是便携式、袖珍式、手持式、计算机内置的移动装置或设备,此处不做特别限制。
需要说明的是,目标视频的画面质量和原始视频的画面质量相同。
在图5实施例提供的方法中,在确定原始视频为伪高清视频之后,由于目标分辨率小于原始分辨率,因此按照目标分辨率,对原始视频进行转码处理,得到目标视频;可以节省转码处理的计算资源和存储资源,节省下发目标视频的传输带宽,而且在在网络质量比较差时,客户端能够较为流畅地播放目标视频。
图6为本申请实施例提供的视频检测装置的结构示意图一。如图6所示,视频检测装置10包括:获取模块101、复制模块102、第一确定模块103和第二确定模块104;其中,
获取模块101,用于从高清视频中获取待处理的N个视频帧,N为大于或等于1的整数;
复制模块102,用于分别对N个视频帧进行复制,得到N个视频帧各自对应的第一视频帧和第二视频帧;
第一确定模块103,用于根据N个视频帧各自对应的第一视频帧和第二视频帧,确定N个视频帧各自对应的残差视频帧;
第二确定模块104,用于根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频。
本申请实施例提供的视频检测装置10可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图7为本申请实施例提供的视频检测装置的结构示意图二。在图6的基础上,如图7所示,视频检测装置10还包括:转码模块105和发送模块106;
转码模块105,用于在根据N个视频帧各自对应的残差视频帧,确定原始视频是否为伪高清视频之后,在原始视频为伪高清视频时,按照目标分辨率,对原始视频进行转码处理,得到目标视频;目标分辨率小于原始视频的原始分辨率;
发送模块106,用于向客户端发送目标视频。
本申请实施例提供的视频检测装置10可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
在一种可能的设计中,第一确定模块103具体用于:针对N个视频帧中的每个视频帧,
对视频帧的第一视频帧进行剪切处理,得到第一中间帧;
对视频帧的第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧;第一中间帧的尺寸和第二中间帧的尺寸相同;
根据第一中间帧和第二中间帧,确定视频帧对应的残差视频帧。
在一种可能的设计中,第一确定模块103具体用于:按照预先设定的第一尺寸和第一中心位置,对第一视频帧进行剪切处理,得到第一中间帧;第一中间帧的中心位置与第一中心位置相同,第一中间帧的尺寸和第一尺寸相同。
在一种可能的设计中,第一确定模块103具体用于:
按照预先设定的下采样倍数,对第二视频帧进行下采样处理,得到第二采样帧;
按照预先设定的第二尺寸和第二中心位置,对第二采样帧进行剪切处理,得到第二剪切帧;第二剪切帧的中心位置和第二中心位置相同,第二剪切帧的尺寸和第二尺寸相同;
按照预先设定的上采样倍数,对第二剪切帧进行上采样处理,得到第二中间帧;上采样倍数和下采样倍数相同。
在一种可能的设计中,第一确定模块103具体用于:
分别对第一中间帧和第二中间帧进行编码压缩处理,得到第一目标帧和第二目标帧;
针对第一目标帧和第二目标帧中的每个相同位置处的像素,将第一目标帧中的像素的第一色彩值,与第二目标帧中的像素的第二色彩值的差值,确定为相同位置处的像素的色彩差异;
将每个相同位置处的像素的色彩差异组成的图像,确定为残差视频帧。
在一种可能的设计中,第二确定模块104具体用于:
通过预先训练好的预测模型,对N个视频帧各自对应的残差视频帧进行预测处理,得到原始视频的评分,预测模型为采用多个样本残差视频帧进行训练得到的;
判断评分是否小于或等于评分阈值;
若评分小于或等于评分阈值,则确定原始视频为伪高清视频。
在一种可能的设计中,预测模型中包括:特征提取子模型和回归预测子模型;
第二确定模块104具体用于:通过特征提取子模型,分别对N个视频帧各自对应的残差视频帧进行特征提取处理,得到N个视频帧各自对应的视频特征信息;
通过回归预测子模型,对N个视频帧各自对应的视频特征信息进行回归预测处理,得到原始视频的评分。
在一种可能的设计中,获取模块101具体用于:对原始视频进行检测,确定待删除视频帧;待删除视频帧和第三视频帧的第一色彩差值的第一绝对值,与待删除视频帧和第四视频帧的第二色彩差值的第二绝对值的差值的绝对值大于或等于预设阈值,其中,第三视频帧位于待删除视频帧之前,第四视频帧位于待删除视频帧之后;
根据原始视频和待删除视频帧,确定待处理的N个视频帧。
在一种可能的设计中,获取模块101具体用于:确定原始视频中除待删除视频帧、位于待删除视频帧之前的M个视频帧、以及位于待删除视频帧之后的M个视频帧之外的其他视频帧;M为大于或等于1的整数;
根据预设抽帧间隔和其他视频帧,确定待处理的N个视频帧。
在一种可能的设计中,获取模块101具体用于:分别对其他视频帧中的每个视频帧进行检测统计处理,确定非内容视频帧;
根据预设抽帧间隔,对其他视频帧中除非内容视频帧之外的视频帧进行抽帧处理,得到待处理的N个视频帧。
在一种可能的设计中,针对其他视频帧中的每个视频帧,获取模块101具体用于:
对视频帧中包括的每个像素进行检测统计处理,确定视频帧在R通道的第一信息熵、在G通道的第二信息熵、以及在B通道的第三信息熵;
若第一信息熵、第二信息熵和第三信息熵中存在至少一个信息熵小于或等于信息熵阈值,则将视频帧确定为非内容视频帧。
在一种可能的设计中,获取模块101还用于:针对第三视频帧和待删除视频帧中每个相同位置处的像素,将第三视频帧中像素的第一色彩值和待删除视频帧中像素的第二色彩值的差值,确定像素的色彩差异;
将每个相同位置处的像素的色彩差异的和值或者平均值,确定为第一色彩差值。
本申请实施例提供的视频检测装置10可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图8本申请实施例提供的服务器的硬件示意图。如图8所示,服务器20可以包括:收发器201、存储器202和处理器203。收发器201可以包括:发射器和/或接收器。该发射器还可称为发送器、发射机、发送端口或发送接口等类似描述,接收器还可称为接收器、接收机、接收端口或接收接口等类似描述。示例性地,收发器201、存储器202、处理器203各部分之间通过总线204相互连接。
存储器202用于存储计算机执行指令;
处理器203用于执行存储器202存储的计算机执行指令,使得处理器203执行上述视频检测方法。
本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当计算机执行指令被处理器执行时实现上述视频检测方法。
本申请实施例还提供一种计算机程序产品,包括计算机程序,当计算机程序被处理器执行时,可实现上述视频检测方法。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储器(存储介质)包括:只读存储器(read-only memory,ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
在本申请中,术语“包括”及其变形可以指非限制性的包括;术语“或”及其变形可以指“和/或”。本本申请中术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。本申请中,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (15)
1.一种视频检测方法,其特征在于,包括:
从原始视频中获取待处理的N个视频帧,所述N为大于或等于1的整数;
分别对所述N个视频帧进行复制,得到所述N个视频帧各自对应的第一视频帧和第二视频帧;
根据所述N个视频帧各自对应的第一视频帧和第二视频帧,确定所述N个视频帧各自对应的残差视频帧;
根据所述N个视频帧各自对应的残差视频帧,确定所述原始视频是否为伪高清视频;
针对所述N个视频帧中的每个视频帧,根据所述视频帧对应的第一视频帧和第二视频帧,确定所述视频帧对应的残差视频帧,包括:
对所述第一视频帧进行剪切处理,得到第一中间帧;
对所述第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧;所述第一中间帧的尺寸和所述第二中间帧的尺寸相同,所述中间帧为保留视频帧中除剪切掉的边缘图像之外的剩余图像;
根据所述第一中间帧和所述第二中间帧,确定所述视频帧对应的残差视频帧。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一视频帧进行剪切处理,得到第一中间帧,包括:
按照预先设定的第一尺寸和第一中心位置,对所述第一视频帧进行剪切处理,得到第一中间帧;所述第一中间帧的中心位置与所述第一中心位置相同,所述第一中间帧的尺寸和所述第一尺寸相同。
3.根据权利要求2所述的方法,其特征在于,所述对所述第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧,包括:
按照预先设定的下采样倍数,对所述第二视频帧进行下采样处理,得到第二采样帧;
按照预先设定的第二尺寸和第二中心位置,对所述第二采样帧进行剪切处理,得到第二剪切帧;所述第二剪切帧的中心位置和所述第二中心位置相同,所述第二剪切帧的尺寸和所述第二尺寸相同,所述第二尺寸等于所述下采样倍数的倒数与所述第一尺寸的乘积;
按照预先设定的上采样倍数,对所述第二剪切帧进行上采样处理,得到第二中间帧;所述上采样倍数和所述下采样倍数相同。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一中间帧和所述第二中间帧,确定所述视频帧对应的残差视频帧,包括:
分别对所述第一中间帧和所述第二中间帧进行编码压缩处理,得到第一目标帧和第二目标帧;
针对所述第一目标帧和所述第二目标帧中的每个相同位置处的像素,将所述第一目标帧中的所述像素的第一色彩值,与所述第二目标帧中的所述像素的第二色彩值的差值,确定为所述相同位置处的像素的色彩差异;
将所述每个相同位置处的像素的色彩差异组成的图像,确定为所述视频帧对应的残差视频帧。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述N个视频帧各自对应的残差视频帧,确定所述原始视频是否为伪高清视频,包括:
通过预先训练好的预测模型,对所述N个视频帧各自对应的残差视频帧进行预测处理,得到所述原始视频的评分,所述预测模型为采用多个样本残差视频帧进行训练得到的;
判断所述评分是否小于或等于评分阈值;
若所述评分小于或等于评分阈值,则确定所述原始视频为伪高清视频。
6.根据权利要求5所述的方法,其特征在于,所述预测模型中包括:特征提取子模型和回归预测子模型;
所述通过预先训练好的预测模型,对所述N个视频帧各自对应的残差视频帧进行预测处理,得到所述原始视频的评分,包括:
通过所述特征提取子模型,分别对所述N个视频帧各自对应的残差视频帧进行特征提取处理,得到所述N个视频帧各自对应的视频特征信息;
通过所述回归预测子模型,对所述N个视频帧各自对应的视频特征信息进行回归预测处理,得到所述原始视频的评分。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述从原始视频中获取待处理的N个视频帧,包括:
对所述原始视频进行检测,确定待删除视频帧;所述待删除视频帧和第三视频帧的第一色彩差值的第一绝对值,与待删除视频帧和第四视频帧的第二色彩差值的第二绝对值的差值的绝对值大于或等于预设阈值,其中,所述第三视频帧位于所述待删除视频帧之前,所述第四视频帧位于所述待删除视频帧之后;
根据所述原始视频和所述待删除视频帧,确定所述待处理的N个视频帧。
8.根据权利要求7所述的方法,其特征在于,所述根据所述原始视频和所述待删除视频帧,确定所述待处理的N个视频帧,包括:
确定所述原始视频中除所述待删除视频帧、位于所述待删除视频帧之前的M个视频帧、以及位于所述待删除视频帧之后的M个视频帧之外的其他视频帧;所述M为大于或等于1的整数;
根据预设抽帧间隔和所述其他视频帧,确定所述待处理的N个视频帧。
9.根据权利要求8所述的方法,其特征在于,所述根据预设抽帧间隔和所述其他视频帧,确定所述待处理的N个视频帧,包括:
分别对所述其他视频帧中的每个视频帧进行检测统计处理,确定非内容视频帧;
根据所述预设抽帧间隔,对所述其他视频帧中除所述非内容视频帧之外的视频帧进行抽帧处理,得到所述待处理的N个视频帧。
10.根据权利要求9所述的方法,其特征在于,针对所述其他视频帧中的每个视频帧,对所述视频帧进行检测统计处理,确定非内容视频帧,包括:
对所述视频帧中包括的每个像素进行检测统计处理,确定所述视频帧在R通道的第一信息熵、在G通道的第二信息熵、以及在B通道的第三信息熵;
若所述第一信息熵、所述第二信息熵和所述第三信息熵中存在至少一个信息熵小于或等于信息熵阈值,则将所述视频帧确定为所述非内容视频帧。
11.根据权利要求7所述的方法,其特征在于,所述方法还包括:
针对所述第三视频帧和所述待删除视频帧中每个相同位置处的像素,将所述第三视频帧中所述像素的第一色彩值和所述待删除视频帧中所述像素的第二色彩值的差值,确定所述像素的色彩差异;
将所述每个相同位置处的像素的色彩差异的和值或者平均值,确定为所述第一色彩差值。
12.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述N个视频帧各自对应的残差视频帧,确定所述原始视频是否为伪高清视频之后,所述方法还包括:
在所述原始视频为伪高清视频时,按照目标分辨率,对所述原始视频进行转码处理,得到目标视频;所述目标分辨率小于所述原始视频的原始分辨率;
向客户端发送所述目标视频。
13.一种视频检测装置,其特征在于,包括:获取模块、复制模块、第一确定模块和第二确定模块;其中,
所述获取模块,用于从原始视频中获取待处理的N个视频帧,所述N为大于或等于1的整数;
所述复制模块,用于分别对所述N个视频帧进行复制,得到所述N个视频帧各自对应的第一视频帧和第二视频帧;
所述第一确定模块,用于根据所述N个视频帧各自对应的第一视频帧和第二视频帧,确定所述N个视频帧各自对应的残差视频帧;
所述第二确定模块,用于根据所述N个视频帧各自对应的残差视频帧,确定所述原始视频是否为伪高清视频;
所述第一确定模块,针对所述N个视频帧中的每个视频帧,根据所述视频帧对应的第一视频帧和第二视频帧,确定所述视频帧对应的残差视频帧,具体用于:
对所述第一视频帧进行剪切处理,得到第一中间帧;
对所述第二视频帧依次进行下采样处理、剪切处理、上采样处理,得到第二中间帧;所述第一中间帧的尺寸和所述第二中间帧的尺寸相同,所述中间帧为保留视频帧中除剪切掉的边缘图像之外的剩余图像;
根据所述第一中间帧和所述第二中间帧,确定所述视频帧对应的残差视频帧。
14.一种服务器,其特征在于,包括:处理器、以及与处理器连接的存储器;
所述存储器,用于存储所述处理器的可执行指令;
所述处理器,用于执行所述可执行指令,实现权利要求1-12任一项所述的视频检测方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1-12任一项所述的视频检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111433953.3A CN114040197B (zh) | 2021-11-29 | 2021-11-29 | 视频检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111433953.3A CN114040197B (zh) | 2021-11-29 | 2021-11-29 | 视频检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114040197A CN114040197A (zh) | 2022-02-11 |
CN114040197B true CN114040197B (zh) | 2023-07-28 |
Family
ID=80139170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111433953.3A Active CN114040197B (zh) | 2021-11-29 | 2021-11-29 | 视频检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114040197B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005057933A1 (en) * | 2003-12-08 | 2005-06-23 | Koninklijke Philips Electronics N.V. | Spatial scalable compression scheme with a dead zone |
WO2007009875A2 (en) * | 2005-07-22 | 2007-01-25 | Thomson Licensing | 2d non-separable interpolation filters for spatially scalable video coding |
US8780976B1 (en) * | 2011-04-28 | 2014-07-15 | Google Inc. | Method and apparatus for encoding video using granular downsampling of frame resolution |
CN112511821A (zh) * | 2021-02-03 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 视频卡顿检测方法、装置和存储介质 |
WO2021098657A1 (zh) * | 2019-11-18 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 视频检测方法、装置、终端设备及可读存储介质 |
CN113469884A (zh) * | 2021-07-15 | 2021-10-01 | 长视科技股份有限公司 | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8339512B2 (en) * | 2009-03-05 | 2012-12-25 | Sony Corporation | Method and apparatus for enhancement of high-definition video content |
JP2014531807A (ja) * | 2011-09-09 | 2014-11-27 | パナモーフ, インコーポレイテッドPanamorph, Inc. | 画像処理システム及び方法 |
JP6042899B2 (ja) * | 2012-09-25 | 2016-12-14 | 日本電信電話株式会社 | 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体 |
US9824278B2 (en) * | 2015-06-24 | 2017-11-21 | Netflix, Inc. | Determining native resolutions of video sequences |
-
2021
- 2021-11-29 CN CN202111433953.3A patent/CN114040197B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005057933A1 (en) * | 2003-12-08 | 2005-06-23 | Koninklijke Philips Electronics N.V. | Spatial scalable compression scheme with a dead zone |
WO2007009875A2 (en) * | 2005-07-22 | 2007-01-25 | Thomson Licensing | 2d non-separable interpolation filters for spatially scalable video coding |
US8780976B1 (en) * | 2011-04-28 | 2014-07-15 | Google Inc. | Method and apparatus for encoding video using granular downsampling of frame resolution |
WO2021098657A1 (zh) * | 2019-11-18 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 视频检测方法、装置、终端设备及可读存储介质 |
CN112511821A (zh) * | 2021-02-03 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 视频卡顿检测方法、装置和存储介质 |
CN113469884A (zh) * | 2021-07-15 | 2021-10-01 | 长视科技股份有限公司 | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114040197A (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
US10499082B2 (en) | Optimized coding method for omnidirectional video, computer readable storage medium and computer device | |
US9712834B2 (en) | Hardware efficient sparse FIR filtering in video codec | |
US20020051491A1 (en) | Extraction of foreground information for video conference | |
CN112584119B (zh) | 一种基于强化学习的自适应全景视频传输方法及系统 | |
CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
CN108141599B (zh) | 在视频编解码器中保留纹理/噪声一致性 | |
CN112135140A (zh) | 视频清晰度识别方法、电子设备及存储介质 | |
CN109255752B (zh) | 图像自适应压缩方法、装置、终端及存储介质 | |
CN113068034B (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
CN112672149A (zh) | 一种视频处理方法、装置、存储介质及服务器 | |
US20140254688A1 (en) | Perceptual Quality Of Content In Video Collaboration | |
CN106664404A (zh) | 视频编码中的块分割方式处理方法和相关装置 | |
CN110740316A (zh) | 数据编码方法及装置 | |
US20160080743A1 (en) | Systems and methods for subject-oriented compression | |
CN111245879A (zh) | 一种虚拟桌面的桌面内容传输方法、系统及相关组件 | |
CN114040197B (zh) | 视频检测方法、装置、设备及存储介质 | |
US8953843B1 (en) | Selecting objects in a sequence of images | |
CN113452996A (zh) | 一种视频编码、解码方法及装置 | |
CN112115295A (zh) | 视频图像检测方法、装置、及电子设备 | |
US9357170B2 (en) | Device and method for managing bandwidth of video conference | |
CN108805943B (zh) | 图片转码方法和装置 | |
CN115022641A (zh) | 图像编码、解码方法、电子设备和计算机可读存储介质 | |
CN114584781A (zh) | 视频压缩方法及装置、计算机可读存储介质 | |
AU2016201449B2 (en) | Encoding and decoding using perceptual representations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |