CN115209221A - 视频帧率的检测方法、装置、电子设备及介质 - Google Patents
视频帧率的检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115209221A CN115209221A CN202210668840.XA CN202210668840A CN115209221A CN 115209221 A CN115209221 A CN 115209221A CN 202210668840 A CN202210668840 A CN 202210668840A CN 115209221 A CN115209221 A CN 115209221A
- Authority
- CN
- China
- Prior art keywords
- frame rate
- value
- video frames
- maximum difference
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000001228 spectrum Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 55
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 19
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种视频帧率的检测方法、装置、电子设备及介质。通过应用本申请的技术方案，可以通过计算相邻视频帧之间的PSNR最小值来确定视频帧之间的差异区域。并对该基于PSNR最小值得到的信号波形图进行傅里叶变换后，将其中的频率能量谱峰值对应的帧率作为视频传输期间的实际帧率。从而实现一种对播放器的画面进行帧率检测，以替代人工计算从而降低人力成本和计算时间的方案。也避免了相关技术中存在的，无法准确获取当前播放视频的帧率值所导致的无法判断播放视频的流畅度的问题。
Description
技术领域
本申请中涉及故障检测技术，尤其是一种视频帧率的检测方法、装置、电子设备及介质。
背景技术
随着多媒体的设备的普及，人们与视频的联系日益密切，人们对视觉享受的需求日益提高。其中，画面流畅度是其中一项重要的指标，而该项指标受多重因素影响，因此，使用一定的方法指示出画面播放流畅度是一项重要的工作。
相关技术中，可以使用一些设备内置软件对视频源进行帧率测试，但是，对于视频源问题导致的帧率偏差检测往往无能为力，对于无法内置软件或者获取视频源的情况也难以解决。因此，如何准确的获取当前播放视频的帧率变化情况，以此来判断播放视频的流畅度，成为了需要解决的问题。
发明内容
本申请实施例提供一种视频帧率的检测方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的，无法准确获取当前播放视频的帧率值所导致的无法判断播放视频的流畅度的问题。
其中，根据本申请实施例的一个方面，提供的一种视频帧率的检测方法，包括：
采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；
将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；
将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。
可选地，在基于本申请上述方法的另一个实施例中，所述计算相邻的两个视频帧之间的最大差异区域值，包括：
利用结构相似性PSNR算法或峰值信噪比SSIM算法，计算相邻的两个视频帧之间的最大差异区域值。
可选地，在基于本申请上述方法的另一个实施例中所述利用结构相似性PSNR算法，计算相邻的两个视频帧之间的最大差异区域值，包括：
采用4x4的不重叠框作为采集框，计算所述相邻的两个视频帧之间的PSNR最小值；
将所述PSNR最小值对应的视频帧区域作为所述邻的两个视频帧之间的最大差异区域，以及，将所述PSNR最小值作为所述最大差异区域值。
可选地，在基于本申请上述方法的另一个实施例中在所述计算所述相邻的两个视频帧之间的PSNR最小值之后，还包括：
选取预设数量的所述PSNR最小值，并计算所述预设数量的所述PSNR最小值的平均值；
将所述平均值作为所述最大差异区域值。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合，包括：
基于所述单位时间内，多个所述最大差异区域值以及对应视频帧，建立差异值波形图；
将所述差异值波形图进行傅里叶变换，得到所述频率能量谱与帧率的关联集合。
可选地，在基于本申请上述方法的另一个实施例中在所述采集单位时间内传输的多个视频帧之后，还包括：
对所述采集到的视频帧分别进行高斯去噪处理，得到处理后的视频帧；
计算相邻的两个所述处理后的视频帧之间的最大差异区域值。
其中，根据本申请实施例的一个方面，提供的一种视频帧率的检测装置，包括：
采集模块，被配置为采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；
生成模块，被配置为将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；
确定模块，被配置为将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器执行所述可执行指令从而完成上述任一所述视频帧率的检测方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述视频帧率的检测方法的操作。
本申请中，可以采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；将最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；将关联集合中，最大频率能量谱值对应的帧率作为单位时间内的目标帧率。通过应用本申请的技术方案，可以通过计算相邻视频帧之间的PSNR最小值来确定视频帧之间的差异区域。并对该基于PSNR最小值得到的信号波形图进行傅里叶变换后，将其中的频率能量谱峰值对应的帧率作为视频传输期间的实际帧率。从而实现一种对播放器的画面进行帧率检测，以替代人工计算从而降低人力成本和计算时间的方案。也避免了相关技术中存在的，无法准确获取当前播放视频的帧率值所导致的无法判断播放视频的流畅度的问题。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种视频帧率的检测的方法示意图；
图2为本申请提出的一种视频帧率的检测的方法中，PSNR信号的示意图；
图3为本申请提出的一种视频帧率的检测的方法中，频率能量谱与帧率的关联集合的示意图；
图4为本申请提出的一种视频帧率的检测的方法中，小波变换能谱图的示意图；
图5为本申请提出的一种视频帧率的检测方法的电子装置的结构示意图；
图6为本申请提出的一种电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图4来描述根据本申请示例性实施方式的用于进行视频帧率的检测方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
进一步的，本申请还提出一种视频帧率的检测方法、装置、电子设备及介质。
图1示意性地示出了根据本申请实施方式的一种视频帧率的检测方法的流程示意图。如图1所示，该方法包括：
S101，采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值。
S102，将最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合。
S103，将关联集合中，最大频率能量谱值对应的帧率作为单位时间内的目标帧率。
相关技术中，随着多媒体的设备的普及，人们与视频的联系日益密切，人们对视觉享受的需求日益提高。其中，画面流畅度是其中一项重要的指标，而该项指标受多重因素影响，因此，使用一定的方法指示出画面播放流畅度是一项重要的工作。在过往的工作中，可以使用一些设备内置软件对视频源进行帧率测试，但是，对于视频源问题导致的帧率偏差检测往往无能为力，对于无法内置软件或者获取视频源的情况也难以解决。同时，也可采用高速相机拍摄画面后进行人工筛检计算，需要耗费大量重复的人力成本和时间。
进一步的，在设备中内置软件进行实时帧率检测是比较接近的方案，通过在播放的同时进行视频帧率的测试，可以获取到播放时视频的实时帧率，但是由于该方案的要求的苛刻性，以及帧率检测的片面性，在很多场景下对于帧率检测的条件并不适用，无法完成视频播放流畅度测试。通过外置相机拍摄后，进行人工筛检是另外一种解决方案，但是其大量繁复的工作使得检测效率低下并使得人力成本大大提高。
本申请在基于拍摄制作进行屏幕拍摄的基础上，使用一定的方法，对播放时的真实帧率检测，获取视频的播放情况，减少人们繁琐的工作量和判断时间，能够更加快速客观的获得视频播放质量和人们观看视频的体验。
具体来说，首先本申请实施例中需要计算每个相邻视频帧之间的图像差异性。一种方式中，可以利用结构相似性PSNR算法来计算相邻的两个视频帧之间的最大差异区域值。另一种方式中，也可以利用峰值信噪比SSIM算法，计算相邻的两个视频帧之间的最大差异区域值。
作为示例的，例如以PSNR算法来计算最大差异区域值来说，本申请实施例中可以采用4x4的不重叠框作为采集框，计算相邻帧之间的差异性，计算得PSNR最小值及其所在的区域，此时最小的区域表示拍摄的相邻帧之间差距最大的区域，并将该PSNR最小值作为该最大差异区域值。进而得到多个单位时间内的多个PSNR最小值。如图2所示，并将其输入下一步流程中。
可以理解的，为了确保计算相邻视频帧之间的差异区域值的准确性。也即为了避免在利用PSNR对相邻帧之间的整体变化的特征捕获清楚而对细节部分的变化捕获不清晰的不断，因此一种方式中，本申请实施例可以采用局部PSNR捕获(例如采用4x4的不重叠框作为采集框)拍摄帧之间的变化。
一种方式中，在采集单位时间内传输的多个视频帧的过程中，为了避免噪声过大所导致的采集数据失真的问题。本申请实施例还可以采用高斯去噪的处理方法对采集到的视频帧进行高斯去噪处理，得到处理后的视频帧，从而实现减小噪声影响的目的。
其中，单位时间可以为1秒，也可以若干秒等等。
另一种方式中，本申请实施例还可以在采集单位时间内传输的多个视频帧的过程中，通过增加视频帧的采集数量以及间隔来检测PSNR最小值(画面变化最大)所在的区域，从而实现有利于微小运动的捕获，同时减少计算量的目的。
再一种方式中，对于相邻视频帧之间相对变化较小的区域，可能受噪声的影响不是变化最大的区域。因此，本申请实施例中可以采用多框检测的方式，选取PSNR最小的N(例如N＝32)个区域，进行PSNR值的计算并取平均值作为最大差异区域值，从而实现能够提高算法灵敏度的目的。
进一步的，在确定出相邻的两个视频帧之间的最大差异区域值之后，即可利用最大差异区域值以及对应的视频帧建立差异值波形图，以使后续将该差异值波形图进行傅里叶变换，得到频率能量谱与帧率的关联集合。
其中，对于利用最大差异区域值以及对应的视频帧建立的差异值波形图来说，本申请实施例可以利用视频播放中采用的刷新周期的规律来建立。具体的，由于播放器在播放视频的过程中常采用逐行刷新的方法，因此在每一个新的刷新周期里，相邻两帧的PSNR最小值将会变小，开始新的一轮刷新，然后逐步变大，最后趋于稳定时，在信号波形中可能会出现趋于稳定的平台期(由于噪声扰动依然会有数值变化)。
结合上述规律，本申请可以构建一种利用PSNR最小值最纵坐标，对于视频帧位置为横坐标的差异值波形图。并将其进行傅里叶变换(FFT)后，就能计算出频率能量谱，该频率能量谱中最大值所对应的频率即为单位时间内的目标视频帧率。
如图3所示，为对差异值波形图进行傅里叶转换后的频率能量谱与帧率的关联集合图，其中纵轴表示频率能量谱，横轴表示视频的帧率，可以看出最大波峰(即频率能量谱中最大值)为当前帧率下能谱的最高位置，图中显示为60附近(目标帧率即为60)。
另一种方式中，本申请实施例在得到频率能量谱与帧率的关联集合图的过程中，也可以由小波变换的方式来实现。
其中，小波变换的过程同样也是在确定差异值波形图之后，可以使用python中的pywt库实现对差异值波形图进行转换以得到频率能量谱与帧率的关联集合图。
作为示例的，本申请实施例所采用的小波类型可以为Complex Morlet(cmor)连续小波变换，频带宽度为1.5，中心频率为1.5。其中，由于高速相机频率为300fps，所以采样频率设置为1/300；小波尺度依据相机的采样频率设定为多尺度的数组。例如，可以为：
作为另一种示例，如图4所示，为一种可能的实施方式中的小波变换能谱图，由图4可以看出，其纵轴为频率能量谱，横轴表示当前检测所在的视频帧位置，可以看出最高亮度表示帧率最大的能量谱，图中显示为60附近。
本申请中，可以采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；将最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；将关联集合中，最大频率能量谱值对应的帧率作为单位时间内的目标帧率。通过应用本申请的技术方案，可以通过计算相邻视频帧之间的PSNR最小值来确定视频帧之间的差异区域。并对该基于PSNR最小值得到的信号波形图进行傅里叶变换后，将其中的频率能量谱峰值对应的帧率作为视频传输期间的实际帧率。从而实现一种对播放器的画面进行帧率检测，以替代人工计算从而降低人力成本和计算时间的方案。也避免了相关技术中存在的，无法准确获取当前播放视频的帧率值所导致的无法判断播放视频的流畅度的问题。
可选地，在基于本申请上述方法的另一个实施例中，所述计算相邻的两个视频帧之间的最大差异区域值，包括：
利用结构相似性PSNR算法或峰值信噪比SSIM算法，计算相邻的两个视频帧之间的最大差异区域值。
可选地，在基于本申请上述方法的另一个实施例中，所述利用结构相似性PSNR算法，计算相邻的两个视频帧之间的最大差异区域值，包括：
采用4x4的不重叠框作为采集框，计算所述相邻的两个视频帧之间的PSNR最小值；
将所述PSNR最小值对应的视频帧区域作为所述邻的两个视频帧之间的最大差异区域，以及，将所述PSNR最小值作为所述最大差异区域值。
可选地，在基于本申请上述方法的另一个实施例中，在所述计算所述相邻的两个视频帧之间的PSNR最小值之后，还包括：
选取预设数量的所述PSNR最小值，并计算所述预设数量的所述PSNR最小值的平均值；
将所述平均值作为所述最大差异区域值。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合，包括：
基于所述单位时间内，多个所述最大差异区域值以及对应视频帧，建立差异值波形图；
将所述差异值波形图进行傅里叶变换，得到所述频率能量谱与帧率的关联集合。
可选地，在基于本申请上述方法的另一个实施例中，在所述采集单位时间内传输的多个视频帧之后，还包括：
对所述采集到的视频帧分别进行高斯去噪处理，得到处理后的视频帧；
计算相邻的两个所述处理后的视频帧之间的最大差异区域值。
在本申请的另外一种实施方式中，如图5所示，本申请还提供一种视频帧率的检测装置。其中，该装置包括：
采集模块201，被配置为采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；
生成模块202，被配置为将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；
确定模块203，被配置为将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。
本申请中，可以采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；将最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；将关联集合中，最大频率能量谱值对应的帧率作为单位时间内的目标帧率。
通过应用本申请的技术方案，可以通过计算相邻视频帧之间的PSNR最小值来确定视频帧之间的差异区域。并对该基于PSNR最小值得到的信号波形图进行傅里叶变换后，将其中的频率能量谱峰值对应的帧率作为视频传输期间的实际帧率。从而实现一种对播放器的画面进行帧率检测，以替代人工计算从而降低人力成本和计算时间的方案。也避免了相关技术中存在的，无法准确获取当前播放视频的帧率值所导致的无法判断播放视频的流畅度的问题。
在本申请的另一种实施方式中，采集模块201，被配置为执行下述步骤，其中包括：
利用结构相似性PSNR算法或峰值信噪比SSIM算法，计算相邻的两个视频帧之间的最大差异区域值。
在本申请的另一种实施方式中，采集模块201，被配置为执行下述步骤，其中包括：
采用4x4的不重叠框作为采集框，计算所述相邻的两个视频帧之间的PSNR最小值；
将所述PSNR最小值对应的视频帧区域作为所述邻的两个视频帧之间的最大差异区域，以及，将所述PSNR最小值作为所述最大差异区域值。
在本申请的另一种实施方式中，采集模块201，被配置为执行下述步骤，其中包括：
选取预设数量的所述PSNR最小值，并计算所述预设数量的所述PSNR最小值的平均值；
将所述平均值作为所述最大差异区域值。
在本申请的另一种实施方式中，采集模块201，被配置为执行下述步骤，其中包括：
基于所述单位时间内，多个所述最大差异区域值以及对应视频帧，建立差异值波形图；
将所述差异值波形图进行傅里叶变换，得到所述频率能量谱与帧率的关联集合。
在本申请的另一种实施方式中，采集模块201，被配置为执行下述步骤，其中包括：
对所述采集到的视频帧分别进行高斯去噪处理，得到处理后的视频帧；
计算相邻的两个所述处理后的视频帧之间的最大差异区域值。
图6是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是能够播放视频数据的设备等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述网络监控的方法，该方法包括：采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述网络监控的方法，该方法包括：采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图6为电子设备300的示例图。本领域技术人员可以理解，示意图6仅仅是电子设备300的示例，并不构成对电子设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备300还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分。
存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现电子设备300的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备300的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
电子设备300集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。
其中，本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种视频帧率的检测方法，其特征在于，包括：
采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；
将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；
将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。
2.如权利要求1所述的方法，其特征在于，所述计算相邻的两个视频帧之间的最大差异区域值，包括：
利用结构相似性PSNR算法或峰值信噪比SSIM算法，计算相邻的两个视频帧之间的最大差异区域值。
3.如权利要求2所述的方法，其特征在于，所述利用结构相似性PSNR算法，计算相邻的两个视频帧之间的最大差异区域值，包括：
采用4x4的不重叠框作为采集框，计算所述相邻的两个视频帧之间的PSNR最小值；
将所述PSNR最小值对应的视频帧区域作为所述邻的两个视频帧之间的最大差异区域，以及，将所述PSNR最小值作为所述最大差异区域值。
4.如权利要求3所述的方法，其特征在于，在所述计算所述相邻的两个视频帧之间的PSNR最小值之后，还包括：
选取预设数量的所述PSNR最小值，并计算所述预设数量的所述PSNR最小值的平均值；
将所述平均值作为所述最大差异区域值。
5.如权利要求1所述的方法，其特征在于，所述将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合，包括：
基于所述单位时间内，多个所述最大差异区域值以及对应视频帧，建立差异值波形图；
将所述差异值波形图进行傅里叶变换，得到所述频率能量谱与帧率的关联集合。
6.如权利要求1所述的方法，其特征在于，在所述采集单位时间内传输的多个视频帧之后，还包括：
对所述采集到的视频帧分别进行高斯去噪处理，得到处理后的视频帧；
计算相邻的两个所述处理后的视频帧之间的最大差异区域值。
7.一种视频帧率的检测装置，其特征在于，包括：
采集模块，被配置为采集单位时间内传输的多个视频帧，并计算相邻的两个视频帧之间的最大差异区域值；
生成模块，被配置为将所述最大差异区域值以及对应的视频帧进行傅里叶变换，得到频率能量谱与帧率的关联集合；
确定模块，被配置为将所述关联集合中，最大频率能量谱值对应的帧率作为所述单位时间内的目标帧率。
8.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器执行所述可执行指令从而完成权利要求1-6中任一所述视频帧率的检测方法的操作。
9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-6中任一所述视频帧率的检测方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668840.XA CN115209221A (zh) | 2022-06-14 | 2022-06-14 | 视频帧率的检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668840.XA CN115209221A (zh) | 2022-06-14 | 2022-06-14 | 视频帧率的检测方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115209221A true CN115209221A (zh) | 2022-10-18 |
Family
ID=83577192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210668840.XA Pending CN115209221A (zh) | 2022-06-14 | 2022-06-14 | 视频帧率的检测方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115209221A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040017850A1 (en) * | 2002-07-27 | 2004-01-29 | Samsung Electronics Co., Ltd | Advanced method for rate control and apparatus thereof |
| KR20050111128A (ko) * | 2004-05-21 | 2005-11-24 | 주식회사 케이티 | 압축 복원된 영상에 대한 정량적 품질 평가 방법 및 장치 |
| US20070104276A1 (en) * | 2005-11-05 | 2007-05-10 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding multiview video |
| US20080025400A1 (en) * | 2006-07-31 | 2008-01-31 | Kddi Corporation | Objective perceptual video quality evaluation apparatus |
| WO2011102521A1 (ja) * | 2010-02-22 | 2011-08-25 | シャープ株式会社 | 無線通信システム、通信装置、プログラムおよび集積回路 |
| CN102595186A (zh) * | 2012-02-17 | 2012-07-18 | 中山大学 | 一种视频原始帧率的鉴定方法 |
| CN106375772A (zh) * | 2016-08-29 | 2017-02-01 | 北京小米移动软件有限公司 | 视频播放方法及装置 |
| JP2017092609A (ja) * | 2015-11-05 | 2017-05-25 | カシオ計算機株式会社 | 撮像装置、フリッカ検出方法及びプログラム |
| CN109213183A (zh) * | 2018-05-31 | 2019-01-15 | 上海大学 | 噪声攻击下网络化视觉倒立摆系统稳定控制方法 |
| CN111696078A (zh) * | 2020-05-14 | 2020-09-22 | 国家广播电视总局广播电视规划院 | 一种超高清视频检测方法及系统 |
-
2022
- 2022-06-14 CN CN202210668840.XA patent/CN115209221A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040017850A1 (en) * | 2002-07-27 | 2004-01-29 | Samsung Electronics Co., Ltd | Advanced method for rate control and apparatus thereof |
| KR20050111128A (ko) * | 2004-05-21 | 2005-11-24 | 주식회사 케이티 | 압축 복원된 영상에 대한 정량적 품질 평가 방법 및 장치 |
| US20070104276A1 (en) * | 2005-11-05 | 2007-05-10 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding multiview video |
| US20080025400A1 (en) * | 2006-07-31 | 2008-01-31 | Kddi Corporation | Objective perceptual video quality evaluation apparatus |
| WO2011102521A1 (ja) * | 2010-02-22 | 2011-08-25 | シャープ株式会社 | 無線通信システム、通信装置、プログラムおよび集積回路 |
| CN102595186A (zh) * | 2012-02-17 | 2012-07-18 | 中山大学 | 一种视频原始帧率的鉴定方法 |
| JP2017092609A (ja) * | 2015-11-05 | 2017-05-25 | カシオ計算機株式会社 | 撮像装置、フリッカ検出方法及びプログラム |
| CN106375772A (zh) * | 2016-08-29 | 2017-02-01 | 北京小米移动软件有限公司 | 视频播放方法及装置 |
| CN109213183A (zh) * | 2018-05-31 | 2019-01-15 | 上海大学 | 噪声攻击下网络化视觉倒立摆系统稳定控制方法 |
| CN111696078A (zh) * | 2020-05-14 | 2020-09-22 | 国家广播电视总局广播电视规划院 | 一种超高清视频检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 何天琦;蒋兴浩;孙锬锋;: "视频帧率上转换检测技术综述", 网络与信息安全学报, no. 10 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Single image super-resolution quality assessment: a real-world dataset, subjective studies, and an objective metric | |
| US11055516B2 (en) | Behavior prediction method, behavior prediction system, and non-transitory recording medium | |
| Ciancio et al. | No-reference blur assessment of digital pictures based on multifeature classifiers | |
| US20200294252A1 (en) | Human-tracking methods, systems, and storage media | |
| CN105894538A (zh) | 一种目标跟踪方法和装置 | |
| US20220270266A1 (en) | Foreground image acquisition method, foreground image acquisition apparatus, and electronic device | |
| US20230214989A1 (en) | Defect detection method, electronic device and readable storage medium | |
| CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
| CN113627306B (zh) | 关键点处理方法及装置、可读存储介质、终端 | |
| CN110826522A (zh) | 人体异常行为监控方法、系统、存储介质及监控设备 | |
| Gu et al. | Structural similarity weighting for image quality assessment | |
| CN113822927B (zh) | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 | |
| CN113379702A (zh) | 一种微循环图像的血管路径提取方法及装置 | |
| CN110504020B (zh) | 医学影像信息系统及浏览器展示dicom图像文件方法 | |
| CN115209221A (zh) | 视频帧率的检测方法、装置、电子设备及介质 | |
| Chilukuri et al. | Analysing Of Image Quality Computation Models Through Convolutional Neural Network | |
| CN106611417A (zh) | 将视觉元素分类为前景或背景的方法及装置 | |
| US9218669B1 (en) | Image ghost removal | |
| CN115620005A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN115243073A (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN114881889A (zh) | 视频图像噪声评估方法及装置 | |
| CN115294493A (zh) | 视角路径获取方法、装置、电子设备及介质 | |
| CN111091513B (zh) | 图像处理方法、装置、计算机可读存储介质及电子设备 | |
| Tang et al. | Feature comparison and analysis for new challenging research fields of image quality assessment | |
| CN115272088A (zh) | 图像处理方法、图像处理器、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221018 |
|
| WD01 | Invention patent application deemed withdrawn after publication |