CN117939109A - 视频图像质量检测方法、装置、设备及可读存储介质 - Google Patents
视频图像质量检测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117939109A CN117939109A CN202311792562.XA CN202311792562A CN117939109A CN 117939109 A CN117939109 A CN 117939109A CN 202311792562 A CN202311792562 A CN 202311792562A CN 117939109 A CN117939109 A CN 117939109A
- Authority
- CN
- China
- Prior art keywords
- video image
- video
- image quality
- quality detection
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 243
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 230000003068 static effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 20
- 230000003139 buffering effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009928 pasteurization Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开了一种视频图像质量检测方法、装置、设备及可读存储介质，涉及视频图像分析技术领域，包括：响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。本申请提高了视频图像质量检测的检测效率。
Description
技术领域
本申请涉及视频图像分析技术领域，尤其涉及一种视频图像质量检测方法、装置、设备及可读存储介质。
背景技术
近来，承载在互联网上的越顶(英文全称为Over The Top，简称为OTT)视频业务迅速发展，这种视频业务又被称为OTT视频，是指基于互联网的视频服务。但是，OTT视频在播放过程中常出现画面启动延迟、画面停顿、画面清晰度差等问题，影响用户体验。因此，实践中常对OTT视频图像质量进行检测，以便提高用户体验。
目前，面向OTT视频的视频图像质量测试方案，往往通过人工观看视频并进行评估，根据观感和感知来判断视频图像质量的好坏。但是，人工检测方式的检测效率低。
发明内容
本申请的主要目的在于提供一种视频图像质量检测方法、装置、设备及可读存储介质，旨在解决如何提高视频图像质量检测的检测效率的技术问题。
为实现上述目的，本申请提供一种视频图像质量检测方法，所述视频图像质量检测方法包括以下步骤：
响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；
若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；
若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。
可选地，所述确定所述视频图像与预设标准图像之间的相似度的步骤，包括：
依次遍历所述视频图像的每一像素点，确定所述预设标准图像中与遍历的所述像素点对应的相关像素点，其中，所述相关像素点的像素点位置与遍历的所述像素点的像素点位置相同；
确定遍历的所述像素点与所述相关像素点之间的偏差度，直至每一所述像素点遍历结束后，累加所有所述偏差度得到累加偏差度；
以预设最大相似度减去所述累加偏差度，得到所述视频图像与所述预设标准图像之间的相似度。
可选地，所述确定遍历的所述像素点与所述相关像素点之间的偏差度的步骤，包括：
获取所述视频图像在遍历的所述像素点处的第一颜色值，获取所述预设标准图像在所述相关像素点处的第二颜色值；
确定所述第一颜色值与所述第二颜色值之间的偏差度，将所述第一颜色值与所述第二颜色值之间的偏差度作为，遍历的所述像素点与所述相关像素点之间的偏差度。
可选地，所述依据所述视频图像质量检测请求获取待检测的视频图像的步骤，包括：
若所述视频图像质量检测请求包括视频标识，则根据所述视频标识获取待检测视频；
对所述待检测视频进行抽帧，得到至少一帧单帧视频图像；
将所述至少一帧单帧视频图像作为待检测的视频图像。
可选地，所述视频参数包括数据下载速率与缓冲时间，所述预设合格视频参数包括预设合格数据下载速率与预设合格缓冲时间，所述检测所述视频参数是否与预设合格视频参数匹配的步骤，包括：
若所述数据下载速率与预设合格数据下载速率匹配失败，或所述缓冲时间与预设合格缓冲时间匹配失败，则确定所述视频参数是否与预设合格视频参数匹配失败。
可选地，所述检测所述视频参数是否与预设合格视频参数匹配的步骤之后，所述方法还包括：
若所述视频参数与预设合格视频参数匹配成功，则抓取预设时间窗口的视频图像数据；
确定所述视频图像数据包括的实际图像帧数，确定所述预设时间窗口对应的理论图像帧数；
若所述实际图像帧数与理论图像帧数匹配失败，则确定视频图像质量检测结果为播放视频异常。
可选地，所述视频参数还包括当前码率，所述确定所述预设时间窗口对应的理论图像帧数的步骤包括：
确定预设时间帧数直线簇中每条时间帧数线对应的码率，其中，所述预设时间帧数直线簇包括不同码率下的多条时间帧数直线；
确定各所述码率中与所述当前码率匹配的目标码率，将所述预设时间帧数直线簇中所述目标码率对应的时间帧数直线作为目标时间帧数直线；
确定所述预设时间窗口的起始时间与结束时间，确定所述目标时间帧数直线中所述起始时间对应的第一帧数，确定所述目标时间帧数直线中所述结束时间对应的第二帧数；
将所述第二帧数与所述第一帧数之间帧数差，作为理论图像帧数。
此外，为实现上述目的，本申请还提供一种视频图像质量检测装置，所述视频图像质量检测装置包括：
响应模块，用于响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；
第一检测模块，用于若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；
第二检测模块，用于若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。
此外，为实现上述目的，本申请还提供一种视频图像质量检测设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频图像质量检测程序，所述视频图像质量检测程序被所述处理器执行时实现如上述的视频图像质量检测方法的步骤。
此外，为实现上述目的，本申请还提供一种可读存储介质，可读存储介质上存储有视频图像质量检测程序，视频图像质量检测程序被处理器执行时实现如上述的视频图像质量检测方法的步骤。
本申请中响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。如此，与人工观看OTT视频，进而评估视频图像质量的方式相比，本申请实施例依据视频图像质量检测请求获取待检测的视频图像，并比较待检测的视频图像与预设标准图像之间的相似度，进而以该相似度指示视频图像与是否与预期一致，相似度小于预设阈值时，说明视频图像与预期出入加大，确定播放显示异常，或者对视频的视频参数进行检测，视频参数与预设合格视频参数匹配失败，则确定播放网络异常，从而完成对视频图像质量的智能化自动检测，提高了视频图像质量检测的检测效率。
附图说明
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
图1是本申请实施例方案涉及的硬件运行环境的终端\系统结构示意图；
图2为本申请视频图像质量检测方法第一实施例的流程示意图；
图3为本申请视频图像质量检测方法视频图像抓取流程意图；
图4为本申请视频图像质量检测方法图像像素点意图；
图5为本申请视频图像质量检测方法图像比对流程意图；
图6为本申请视频图像质量检测方法图像素比对相似度标准示意图；
图7为本申请视频图像质量检测方法视频质量检测示意图；
图8为本申请视频图像质量检测方法时间帧数直线示意图；
图9为本申请视频图像质量检测装置的装置结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的视频图像质量检测设备结构示意图。
如图1所示，该视频图像质量检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储系统。
本领域技术人员可以理解，图1中示出的结构并不构成对视频图像质量检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及视频图像质量检测程序。
在图1所示的视频图像质量检测设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请视频图像质量检测设备中的处理器1001、存储器1005可以设置在视频图像质量检测设备中，所述视频图像质量检测设备通过处理器1001调用存储器1005中存储的视频图像质量检测程序，并执行本申请实施例提供的视频图像质量检测方法。
请参照图2，图2为本申请视频图像质量检测方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，本申请视频图像质量检测方法应用于上述的终端设备。应当理解的是，基于实际应用的不同设计需要，在不同可行的实施方式当中，本申请视频图像质量检测方法当然还可以具体应用于其它终端设备。
在本实施例中，如图2所示，所述视频图像质量检测方法包括以下步骤：
步骤S10，响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式与待检测视频；
本实施例中，该视频图像质量检测具体可为面向OTT视频的视频图像质量检测。视频业务是OTT系统最为重要的一个业务，大体可分为直播、点播两大块，而直播又可细分为实时直播、时移直播、回看等业务。
为便于后续阐述与说明，本实施例以控制端为直接执行主体，该控制端与OTT设备通信连接，OTT设备输出视频图像至视频播放软件，视频播放软件显示视频图像，控制端对OTT设备输出的视频图像进行视频图像质量检测。
可以预设视频图像指量请求的触发条件，如OTT设备向OTT视频源发送的请求观看OTT视频的消息时，触发OTT设备发送视频图像质量检测请求，或者OTT设备输出视屏图像进行显示时，每隔预设时长触发视频图像质量检测请求，再或者OTT设备自行发起视频图像质量检测请求等等，再或者由其他设备发起视频图像质量检测请求，并在视频图像质量检测请求中携带检测对象。
进一步地，该视屏图像质量检测请求可携带检测方式，用户可提前设置不同检测方式与具体检测流程之间的对应关系，如检测方式A对应检测流程A，检测方式B对应检测流程B，则视屏图像质量检测请求中请求以检测方式A进行视频图像质量检测时，则执行检测流程A完成视频图像质量检测，如此不同的检测方式以不同的检测流程进行视频图像质量检测，从而实现对视频图像质量的多样化检测，根据实际需求以不同的检测方式进行视频图像质量检测，还可以提高视频图像质量检测的有效性。
步骤S20，若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；
参照图3所示，控制端接收到视频图像质量检测请求后，且检测方式为静态检测，可通过控制OTT，具体可通过ADB(AndroidDebugBridge，调试桥)通道控制OTT，从OSD(onscreen display)层和视频层抓取任意一帧或多帧视频图像，将抓取到的该一帧或多帧视频图像作为待检测的视频图像，优选的，本实施例中抓取一帧待检测视频图像。
进一步地，还可以抓取该视频图像的图像参数信息，该图像参数信息包括但不限于分辨率，如还可以包括图像标识、时间信息等等，其中，时间信息可以包括在一天中的时间或在该视频图像相对所属视频的的起始帧图像的时间，如该视频图像S为视频A中一帧图像，视频A的起始帧图像为S0，则该时间信息可为S相对于S0的时间，例如，h1:m1:s1，h1:m1:s1可指一天中时间，或者也可以是视频图像相对所属视频的起始帧图像的时间。
将待检测的视频图像与预设标准图像进行比对，以验证OTT设备当前显示的视频图像的正确性验证。
进一步地，可基于该视频图像的图像参数信息从预设标准视频图像集中选取预设标准视频图像，其中，预设标准视频图像集中存储有多张标准视频图像预设。
作为其中一种实施方式，若该图像参数信息包括图像标识，将该图像标识作为第一图像标识，则可以获取预设标准视频图像集中每一张标准视频图像的第二图像标识，将各所述第二图像标识中与第一图像标识匹配的第二图像标识作为目标图像标识，将目标图像标识对应的标准视频图像作为与待检测视频图像比对的预设标准图像。
作为另一种实施方式，若该图像参数信息包括时间信息，将该图像标识作为第一时间信息，则可以获取预设标准视频图像集中每一张标准视频图像的第二时间信息，将各所述第二时间信息中与第一时间信息匹配的第二时间信息作为目标时间信息，将目标时间信息对应的标准视频图像作为与待检测视频图像比对的预设标准图像。如此预设标准视频图是根据与待检测视频图像对应的图像参数信息，从标准视频图像集中选取出的，如此，预设标准图像的图像参数信息，是与待检测视频图像的图像参数信息是相匹配的，可以提升视频图像质量的检测结果的准确性。
那么，可以理解地是，若有多帧待检测视频图像时，则每一帧待检测视频图像对应的预设标准图像不同，每一帧待检测视频图像与其对应的预设标准图像比对，得到每一帧待检测视频图像与对应的预设标准图像之间的相似度。
可以预设图像相似度的检测方式，如余弦相似度，把图像表示成一个向量，通过计算向量之间的余弦距离来表征两张图像的相似度、哈希算法、灰度直方图算法、深度学习算法等等。
若待检测视频图像与预设标准图像的相似度小于预设阈值，则说明OTT设备播放显示到的视频图像未达到预期要求，将播放显示异常作为视频图像质量检测结果，并输出该视频图像质量检测结果。如参见6所示，可以预设相似度的标准值，也即预设阈值，如98％，相似度低于该预设相似度标准值的区域为不匹配区域，反之则为匹配区域。
需要说明地是，若包括多帧待检测视频图像，也即存在多个相似度，即可以计算平均相似度，以平均相似度与预设阈值比较，平均相似度与预设阈值小于预设阈值，则确定视频图像质量检测结果为播放显示异常。从而基于多帧视频图像进行视频图像质量检测，可以避免偶然性的因素导致单帧视频图像显示异常，进而导致视频图像质量检测结果错误的现象，避免偶然性因素的影响，提高视频图像质量检测结果的准确性。
步骤S30，若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。
控制端可获取视频播放软件的视频参数，该视频参数包括但不限于数据下载速率与缓冲时间，具体地，参见图7所示，控制端包括自动化控制模块，通过自动化控制模块获取视频播放软件的数据下载速率与缓冲时间等视频参数。
可预设合格视频参数，具体地可预设视频参数中每一参数的合格参数，如可预设合格数据下载速率与合格缓冲时间，视频参数中任一参数与预设合格参数匹配失败时，则确认视频参数与预设合格视频参数匹配失败，反之，视频参数中所有参数均与预设合格参数匹配成功时，则确认视频参数与预设合格视频参数匹配成功。举例来说，假设合格数据下载速率为【A(MB/s)～B(MB/s)】，则实际数据下载速率位于该合格数据下载速率区间内时，则数据下载速率这一参数与预设合格参数匹配成功，该参数合格。
进一步地，可输出该视频图像质量检测结果。
本实施例中响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。如此，与人工观看OTT视频，进而评估视频图像质量的方式相比，本实施例依据视频图像质量检测请求获取待检测的视频图像，并比较待检测的视频图像与预设标准图像之间的相似度，进而以该相似度指示视频图像与是否与预期一致，相似度小于预设阈值时，说明视频图像与预期出入加大，确定播放显示异常，或者对视频的视频参数进行检测，视频参数与预设合格视频参数匹配失败，则确定播放网络异常，从而完成对视频图像质量的智能化自动检测，提高了视频图像质量检测的检测效率。
进一步地，基于上述本申请的第一实施例，提出本申请视频图像质量检测方法的第二实施例，与上述第一实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。在本实施例中，所述确定所述视频图像与预设标准图像之间的相似度的步骤，包括：
步骤A10，依次遍历所述视频图像的每一像素点，确定所述预设标准图像中与遍历的所述像素点对应的相关像素点，其中，所述相关像素点的像素点位置与遍历的所述像素点的像素点位置相同；
在本步骤之前，还可以检测视频图像的分辨率与预设标准图像的分辨率是否一致，若一致则执行步骤A10，若不一致，则可以调整预设标准图像的分辨率直至两张图像的分辨率一致，如通过缩放预设标准图像调整其分辨率，或者也可以通过直方图的方式计算相似度，比如该视频图像A和预设标准图像B，分别计算两幅图像的直方图，HistA，HistB，然后计算两个直方图的归一化相关系数(巴氏距离，直方图相交距离)等等，将归一化相关系数作为相似度。如此，以视频图像的分辨率与预设标准图像的分辨率的相对关系，以相应的检测方式检测两者之间的相似度，可以避免分辨率不同对相似度的影响，提高相似度的准确度。
视频图像的分辨率与预设标准图像的分辨率一致时，参照图4所示，可依据分辨率将视频图像分解成对应的像素点，类似地，依据分辨率也可将预设标准图像分解成对应的像素点，且两者分辨率一致时，两者的像素点是一一对应的，则可将预设标准图像中与遍历的像素点对应的像素点作为相关像素点。
步骤A20，获取所述视频图像在遍历的所述像素点处的第一颜色值，获取所述预设标准图像在所述相关像素点处的第二颜色值；
该颜色值，包括第一颜色值与第二颜色值，具体可为RGB值。为便于后续阐述与说明，记第一颜色值为(R1，G1，B1)，第二颜色值为(R2，G2，B2)。
步骤A30，确定所述第一颜色值与所述第二颜色值之间的偏差度，直至每一所述像素点遍历结束后，累加所有所述偏差度得到累加偏差度；
第一颜色值与第二颜色值之间的偏差度可基于预设公式计算得到，具体地，该预设公式可为：其中，a表示遍历的像素点，b表示相关像素点，distant(a，b)表示偏差度，基于此，计算视屏图像中每一像素点与预设标准图像像素点之间的偏差度。
直至每一像素点遍历结束后，累加所有所述偏差度得到累加偏差度，如视频图像A有5个像素点分别为【a1、a2、a3、a4、a5】，该5个像素点的偏差度分别为【0.01、0.015、0.01、0.015、0.001】，则累加偏差度为0.051。
步骤A40，以预设最大相似度减去所述累加偏差度，得到所述视频图像与所述预设标准图像之间的相似度。
该预设最大相似度用于指示视频图像与预设标准图像之间的最大相似度，即视频图像与预设标准图像完全一致时的相似度，如可为1，在上述例子中，累加偏差度为0.051时，相似度为0.949，也即视频图像与预设标准图像之间的相似度为94.9％。
参照图5所示，本实施例中，获取图像(即图片)的分辨率，将图像分解为像素点，提取每一像素点的RGB值，基于RGB值计算图像之间的偏差度(即差异值)，以基于相似度确定待检测视频图像与预设标准图像是否一致，以每一像素点的RGB值评估相似度，保证了相似度的有效量化，且该相似度为综合量化了图像中所有像素点的相似度，提高了相似度的准确性与有效性。
本实施例中，若视频图像质量检测请求携带有检测方式，且携带的检测方式为静态检测时，对视频图像进行相似度检测，反之携带到的检测方式中不包括静态检测时，可不对视频图像进行相似度检测，从而可基于实际需求以不同的方式进行视频图像质量检测，实现视频图像质量检测的智能化。
在一种可能的实施方式中，所述依据所述视频图像质量检测请求获取待检测的视频图像的步骤，包括：
步骤C10，若所述视频图像质量检测请求包括视频标识，则根据所述视频标识获取待检测视频；
步骤C20，对所述待检测视频进行抽帧，得到至少一帧单帧视频图像；
步骤C30，将所述至少一帧单帧视频图像作为待检测的视频图像。
本实施例中，优选地，抽取一帧单帧视频图像作为待检测的视频图像。本实施例中，以获取视频，从视频中抽帧的方式获取待检测视频，如此在无法直接抓取到原始视频图像的情况下，也可以此方式获取待检测视频图像，从而保证了待检测视频图像的有效获取，提高了视频图像质量检测的鲁棒性。
进一步地，基于上述本申请的第一实施例与第二实施例，提出本申请视频图像质量检测方法的第三实施例，与上述第一实施例或第二实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。在本实施例中，所述视频参数包括数据下载速率与缓冲时间，所述预设合格视频参数包括预设合格数据下载速率与预设合格缓冲时间，所述检测所述视频参数是否与预设合格视频参数匹配的步骤，包括：
步骤D10，若所述数据下载速率与预设合格数据下载速率匹配失败，或所述缓冲时间与预设合格缓冲时间匹配失败，则确定所述视频参数是否与预设合格视频参数匹配失败。
控制端可获取视频播放软件的视频参数，该视频参数包括但不限于数据下载速率与缓冲时间，具体地，参见图7所示，控制端包括自动化控制模块，通过自动化控制模块获取视频播放软件的数据下载速率与缓冲时间等视频参数。
可预设合格视频参数，具体地可预设视频参数中每一参数的合格参数，如可预设合格数据下载速率与合格缓冲时间，视频参数中任一参数与预设合格参数匹配失败时，则确认视频参数与预设合格视频参数匹配失败，反之，视频参数中所有参数均与预设合格参数匹配成功时，则确认视频参数与预设合格视频参数匹配成功。举例来说，假设合格数据下载速率为【A(MB/s)～B(MB/s)】，则实际数据下载速率位于该合格数据下载速率区间内时，则数据下载速率这一参数与预设合格参数匹配成功，该出参数合格。
本实施例中，对数据下载速率与缓冲时间等视频参数进行检测，从而可以检测视频播放的网络是否异常。
在一种可能的实施方式中，所述检测所述视频参数是否与预设合格视频参数匹配的步骤之后，所述方法还包括：
步骤E10，若所述视频参数与预设合格视频参数匹配成功，则抓取预设时间窗口的视频图像数据；
步骤E20，确定所述视频图像数据包括的实际图像帧数，确定所述预设时间窗口对应的理论图像帧数；
步骤E30，若所述实际图像帧数与理论图像帧数匹配失败，则确定视频图像质量检测结果为播放视频异常。
该预设时间窗口可为一固定时长，如10秒、20秒、30秒等等。参见图7所示，从初始时间开始抓取图像帧，直至终止时间结束抓取，初始时间与终止时间之间的时长为预设时间窗口，则实际图像帧数为从初始时间到终止时间时间抓取到的图像帧数。
可以理解地是，理论图像帧数与预设时间窗口相关，如预设时间窗口时长越长时，对应的理论图像帧数通常越多，基于预设时间窗口确定与其对应的理论图像帧数。
可通过固定时长抓取的实际图像帧数与理论图像帧数进行差值计算，若该差值大于预设阈值时，则确定实际图像帧数与理论图像帧数帧数匹配失败，反之，则确定匹配成功。
本实施例中，通过从某个时刻开始抓取视频帧的个数，通过固定时长抓取的实际帧数与理论帧数进行差值计算，并结合视频播放过程中抓取的视频下载速率及缓冲时间进行视频图像质量检测，实现了但对视频图像质量的动态检测，并从多角度(包括自身因素与外在因素)进行视频图像质量检测，保证视频图像质量检测的检测结果有效性与检测的全面性。
在一种可能的实施方式中，所述视频参数还包括当前码率，所述确定所述预设时间窗口对应的理论图像帧数的步骤包括：
步骤F10，确定预设时间帧数直线簇中每条时间帧数线对应的码率，其中，所述预设时间帧数直线簇包括不同码率下的多条时间帧数直线；
参见图8所示，预设时间帧数直线簇包括不同码率下的多条时间帧数直线，如码率24的时间帧数直线，码率30的时间帧数直线，码率60的时间帧数直线。
步骤F20，确定各所述码率中与所述当前码率匹配的目标码率，将所述预设时间帧数直线簇中所述目标码率对应的时间帧数直线作为目标时间帧数直线；
步骤F30，确定所述预设时间窗口的起始时间与结束时间，确定所述目标时间帧数直线中所述起始时间对应的第一帧数，确定所述目标时间帧数直线中所述结束时间对应的第二帧数；
步骤F40，将所述第二帧数与所述第一帧数之间帧数差，作为理论图像帧数。
控制端与OTT设备连接并播放视频，获取该视频的当前码率，确定各时间帧数直线对应的码率与该当前码率匹配的目标码率，将目标码率对应的时间帧数直线作为目标时间帧数直线。基于该目标时间帧数直线确定理论图像帧数，如假设预设时间窗口为【t1～t2】，其中，t1为时间，t2结束时间，目标时间帧数直线中，t1对应的帧数为f1，t2对应的帧数为f2，则理论图像帧数为f2-f1。
本实施例中，基于视频的当前码率确定目标时间帧数直线，以预设时间窗口的起始时间与结束时间，及目标时间帧数直线确定理论图像帧数，从而保证了理论图像帧数符合当前码率的图像帧数，保障了理论图像帧数的准确性，进而提高了视频图像质量检测的检测准确度。
此外，本申请还提供一种视频图像质量检测装置，参照图9，所述视频图像质量检测装置包括：
响应模块10，用于响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；
第一检测模块20，用于若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；
第一检测模块30，用于若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。
所述第一检测模块20，还用于：
依次遍历所述视频图像的每一像素点，确定所述预设标准图像中与遍历的所述像素点对应的相关像素点，其中，所述相关像素点的像素点位置与遍历的所述像素点的像素点位置相同；
确定遍历的所述像素点与所述相关像素点之间的偏差度，直至每一所述像素点遍历结束后，累加所有所述偏差度得到累加偏差度；
以预设最大相似度减去所述累加偏差度，得到所述视频图像与所述预设标准图像之间的相似度。
所述第一检测模块20，还用于：
获取所述视频图像在遍历的所述像素点处的第一颜色值，获取所述预设标准图像在所述相关像素点处的第二颜色值；
确定所述第一颜色值与所述第二颜色值之间的偏差度，将所述第一颜色值与所述第二颜色值之间的偏差度作为，遍历的所述像素点与所述相关像素点之间的偏差度。
所述第一检测模块20，还用于：
若所述视频图像质量检测请求包括视频标识，则根据所述视频标识获取待检测视频；
对所述待检测视频进行抽帧，得到至少一帧单帧视频图像；
将所述至少一帧单帧视频图像作为待检测的视频图像。
所述视频参数包括数据下载速率与缓冲时间，所述预设合格视频参数包括预设合格数据下载速率与预设合格缓冲时间，所第二检测模块30，还用于：
若所述数据下载速率与预设合格数据下载速率匹配失败，或所述缓冲时间与预设合格缓冲时间匹配失败，则确定所述视频参数是否与预设合格视频参数匹配失败。
所述第二检测模块30，还用于：
若所述视频参数与预设合格视频参数匹配成功，则抓取预设时间窗口的视频图像数据；
确定所述视频图像数据包括的实际图像帧数，确定所述预设时间窗口对应的理论图像帧数；
若所述实际图像帧数与理论图像帧数匹配失败，则确定视频图像质量检测结果为播放视频异常。
所述视频参数还包括当前码率，所述第二检测模块30，还用于：
确定预设时间帧数直线簇中每条时间帧数线对应的码率，其中，所述预设时间帧数直线簇包括不同码率下的多条时间帧数直线；
确定各所述码率中与所述当前码率匹配的目标码率，将所述预设时间帧数直线簇中所述目标码率对应的时间帧数直线作为目标时间帧数直线；
确定所述预设时间窗口的起始时间与结束时间，确定所述目标时间帧数直线中所述起始时间对应的第一帧数，确定所述目标时间帧数直线中所述结束时间对应的第二帧数；
将所述第二帧数与所述第一帧数之间帧数差，作为理论图像帧数。
此外，本申请实施例还提出一种视频图像质量检测设备，视频图像质量检测设备括存储器、处理器及存储在所述存储器上并可在所述处理器上执行的视频图像质量检测程序，所述视频图像质量检测程序被所述处理器执行时实现如上述的视频图像质量检测方法的步骤。
本申请视频图像质量检测设备具体实施方式与上述视频图像质量检测方法各实施例基本相同，在此不再赘述。
此外，为实现上述目的，本申请还提供一种可读存储介质，可读存储介质上存储有视频图像质量检测程序，视频图像质量检测程序被处理器执行时实现如上述的视频图像质量检测方法的步骤。
本申请可读存储介质具体实施方式与上述视频图像质量检测方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种视频图像质量检测方法，其特征在于，所述视频图像质量检测方法包括以下步骤：
响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；
若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；
若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。
2.如权利要求1所述的视频图像质量检测方法，其特征在于，所述确定所述视频图像与预设标准图像之间的相似度的步骤，包括：
依次遍历所述视频图像的每一像素点，确定所述预设标准图像中与遍历的所述像素点对应的相关像素点，其中，所述相关像素点的像素点位置与遍历的所述像素点的像素点位置相同；
确定遍历的所述像素点与所述相关像素点之间的偏差度，直至每一所述像素点遍历结束后，累加所有所述偏差度得到累加偏差度；
以预设最大相似度减去所述累加偏差度，得到所述视频图像与所述预设标准图像之间的相似度。
3.如权利要求2所述的视频图像质量检测方法，其特征在于，所述确定遍历的所述像素点与所述相关像素点之间的偏差度的步骤，包括：
获取所述视频图像在遍历的所述像素点处的第一颜色值，获取所述预设标准图像在所述相关像素点处的第二颜色值；
确定所述第一颜色值与所述第二颜色值之间的偏差度，将所述第一颜色值与所述第二颜色值之间的偏差度作为，遍历的所述像素点与所述相关像素点之间的偏差度。
4.如权利要求1所述的视频图像质量检测方法，其特征在于，所述依据所述视频图像质量检测请求获取待检测的视频图像的步骤，包括：
若所述视频图像质量检测请求包括视频标识，则根据所述视频标识获取待检测视频；
对所述待检测视频进行抽帧，得到至少一帧单帧视频图像；
将所述至少一帧单帧视频图像作为待检测的视频图像。
5.如权利要求1所述的视频图像质量检测方法，其特征在于，所述视频参数包括数据下载速率与缓冲时间，所述预设合格视频参数包括预设合格数据下载速率与预设合格缓冲时间，所述检测所述视频参数是否与预设合格视频参数匹配的步骤，包括：
若所述数据下载速率与预设合格数据下载速率匹配失败，或所述缓冲时间与预设合格缓冲时间匹配失败，则确定所述视频参数是否与预设合格视频参数匹配失败。
6.如权利要求5所述的视频图像质量检测方法，其特征在于，所述检测所述视频参数是否与预设合格视频参数匹配的步骤之后，所述方法还包括：
若所述视频参数与预设合格视频参数匹配成功，则抓取预设时间窗口的视频图像数据；
确定所述视频图像数据包括的实际图像帧数，确定所述预设时间窗口对应的理论图像帧数；
若所述实际图像帧数与理论图像帧数匹配失败，则确定视频图像质量检测结果为播放视频异常。
7.如权利要求6所述的视频图像质量检测方法，其特征在于，所述视频参数还包括当前码率，所述确定所述预设时间窗口对应的理论图像帧数的步骤包括：
确定预设时间帧数直线簇中每条时间帧数线对应的码率，其中，所述预设时间帧数直线簇包括不同码率下的多条时间帧数直线；
确定各所述码率中与所述当前码率匹配的目标码率，将所述预设时间帧数直线簇中所述目标码率对应的时间帧数直线作为目标时间帧数直线；
确定所述预设时间窗口的起始时间与结束时间，确定所述目标时间帧数直线中所述起始时间对应的第一帧数，确定所述目标时间帧数直线中所述结束时间对应的第二帧数；
将所述第二帧数与所述第一帧数之间帧数差，作为理论图像帧数。
8.一种视频图像质量检测装置，其特征在于，所述视频图像质量检测装置包括：
响应模块，用于响应于视频图像质量检测请求，依据所述视频图像质量检测请求获取检测方式；
第一检测模块，用于若所述检测方式包括静态检测，则依据所述视频图像质量检测请求获取待检测的视频图像，确定所述视频图像与预设标准图像之间的相似度，若所述相似度小于预设阈值，则确定视频图像质量检测结果为播放显示异常；
第二检测模块，用于若所述检测方式包括动态检测，则依据所述视频图像质量检测请求获取视频参数，检测所述视频参数与预设合格视频参数是否匹配，若匹配失败，则确定视频图像质量检测结果为播放网络异常。
9.一种视频图像质量检测设备，其特征在于，所述视频图像质量检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频图像质量检测程序，所述视频图像质量检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频图像质量检测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有视频图像质量检测程序，所述视频图像质量检测程序被处理器执行时实现如权利要求1至7中任一项所述的视频图像质量检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311792562.XA CN117939109A (zh) | 2023-12-22 | 2023-12-22 | 视频图像质量检测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311792562.XA CN117939109A (zh) | 2023-12-22 | 2023-12-22 | 视频图像质量检测方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117939109A true CN117939109A (zh) | 2024-04-26 |
Family
ID=90769217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311792562.XA Pending CN117939109A (zh) | 2023-12-22 | 2023-12-22 | 视频图像质量检测方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117939109A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470021A (zh) * | 2024-07-12 | 2024-08-09 | 青岛珞宾通信有限公司 | 一种基于人工智能的施工质量评价方法 |
-
2023
- 2023-12-22 CN CN202311792562.XA patent/CN117939109A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470021A (zh) * | 2024-07-12 | 2024-08-09 | 青岛珞宾通信有限公司 | 一种基于人工智能的施工质量评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933490B (zh) | 一种画质和音质的自动调整方法、智能电视机及存储介质 | |
| CN114584849B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| US11568545B2 (en) | Compressed content object and action detection | |
| US10528819B1 (en) | Compressed content object and action detection | |
| EP4106335A2 (en) | Dynamic video overlays | |
| US8928809B2 (en) | Synchronizing videos | |
| CN107682714B (zh) | 一种获取在线视频截图的方法及装置 | |
| CN108154086B (zh) | 一种图像提取方法、装置及电子设备 | |
| US20120019667A1 (en) | Method and device for adaptive noise measurement of a video signal | |
| WO2019184822A1 (zh) | 多媒体文件处理方法和装置、存储介质及电子装置 | |
| KR20140045897A (ko) | 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법 | |
| US20130100152A1 (en) | Method and apparatus for processing image display | |
| CN115396705B (zh) | 投屏操作验证方法、平台及系统 | |
| CN110753266A (zh) | 视频清晰度的调整方法、装置和存储介质 | |
| CN112584189A (zh) | 直播数据处理方法、装置、系统与计算机可读存储介质 | |
| TW201537514A (zh) | 影像分析裝置、方法及電腦可讀取媒體 | |
| US9230173B2 (en) | Soft decision making processes for analyzing images | |
| CN117459662B (zh) | 一种视频播放方法、识别方法、装置、设备及存储介质 | |
| CN111698261B (zh) | 基于流媒体的视频播放方法、装置、设备及存储介质 | |
| CN109922366B (zh) | 一种设备参数调整方法、装置、设备及介质 | |
| CN117939109A (zh) | 视频图像质量检测方法、装置、设备及可读存储介质 | |
| CN112672102A (zh) | 一种视频生成方法及装置 | |
| CN110619362B (zh) | 一种基于感知与像差的视频内容比对方法及装置 | |
| CN113537127A (zh) | 影片匹配方法、装置、设备及存储介质 | |
| CN112801932A (zh) | 图像显示方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |