CN115022675A - 一种视频播放检测的方法和系统 - Google Patents

一种视频播放检测的方法和系统 Download PDF

Info

Publication number
CN115022675A
CN115022675A CN202210774001.6A CN202210774001A CN115022675A CN 115022675 A CN115022675 A CN 115022675A CN 202210774001 A CN202210774001 A CN 202210774001A CN 115022675 A CN115022675 A CN 115022675A
Authority
CN
China
Prior art keywords
video
image frame
pixel
source
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210774001.6A
Other languages
English (en)
Other versions
CN115022675B (zh
Inventor
谷雨箐
方伟
张晓翼
吕冠中
耿筱琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Digital Life Technology Co Ltd
Original Assignee
Tianyi Digital Life Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Digital Life Technology Co Ltd filed Critical Tianyi Digital Life Technology Co Ltd
Priority to CN202210774001.6A priority Critical patent/CN115022675B/zh
Publication of CN115022675A publication Critical patent/CN115022675A/zh
Priority to PCT/CN2022/132449 priority patent/WO2024001000A1/zh
Application granted granted Critical
Publication of CN115022675B publication Critical patent/CN115022675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提出一种视频播放检测的方法和系统，通过将视频各图像帧的RGB矩阵元素聚类赋值方法构造图像比对矩阵并计算视频相似度，再根据该相似度与阈值之间的关系判断播放正常与否，实现不借助人眼快速检测并发现用户卡顿、花屏、色彩异常、分辨率异常等播放问题，一方面提升视频播放检测自动化水平，降低测试工作量，提升测试效率；另一方面主动识别用户视频播放问题，提升用户视频观看体验。

Description

一种视频播放检测的方法和系统
技术领域
本发明涉及视联网技术，更具体地，涉及视频播放检测的方法和系统。
背景技术
在视联网业务中，视频播放质量是业务成败的关键。在现有行业实践中，视频播放检测主要依靠人工观察，自动化测试方法尚未普及，检测成本高、效率低，且无法主动检测到真实场景中用户播放过程中的问题。例如，对于用户使用过程中遇到的卡顿、花屏、色彩或分辨率率异常情况，只能等待用户反馈，无法主动识别。现有的自动化检测技术或基于播放器解码后的缓存图像，与用户的真实体验有差距；或使用图像的灰度矩阵进行计算，没有考虑色彩信息。
因此，需要一种自动化的且更贴近用户真实感受的视频检测方案。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
本发明了一种视频播放检测的方案，大致可以分为下述2个阶段：
1、图像处理：对源视频图像帧及屏幕播放图像帧进行聚类赋值处理。
2、图像比对检测：对经过上述处理的源视频图像帧及屏幕播放图像帧进行比对检测及相似度计算，将相似度与阈值进行比较，若相似度小于阈值则表示播放正常。
根据本发明的一个实施例，提供了一种由视频检测服务器执行的视频播放检测方法，包括：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS，并针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
根据本发明的一个实施例，提供了一种由视频检测终端执行的视频播放检测方法，包括：接收并播放视频检测服务器下发的视频流；在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS，并针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及将所述端侧结果回传至所述视频检测服务器。
根据本发明的一个实施例，提供了一种用于视频播放检测的视频检测服务器，包括：视频图像提取单元，所述视频图像提取单元被配置成：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS；视频图像计算单元，所述视频图像计算单元被配置成：针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；视频比对单元，所述视频比对单元被配置成：将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
根据本发明的一个实施例，提供了一种用于视频播放检测的视频检测终端，包括：视频播放单元，所述视频播放单元被配置成：接收并播放视频检测服务器下发的视频流；屏幕图像提取单元，所述屏幕图像提取单元被配置成：在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS；屏幕图像计算单元，所述屏幕图像计算单元被配置成：针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及计算结果回传单元，所述计算结果回传单元被配置成将所述端侧结果回传至所述视频检测服务器。
根据本发明的一个实施例，提供了一种用于视频播放检测的系统，包括：如上所述的视频检测服务器；以及一个或多个如上所述的视频检测终端。
通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
图1示出了根据本发明的一个实施例的视频播放检测系统100的框图。
图2示出了根据本发明的一个实施例的用于对图像帧进行像素聚类的方法200的流程图。
图3示出了根据本发明的一个实施例的对经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵进行比对的方法300的流程图。
图4示出了根据本发明的一个实施例的视频播放检测方法400的过程流。
图5示出了根据本发明的一个实施例的示例性计算设备500的框图。
具体实施方式
下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
以下具体描述参考示出本发明的示例性实施例的附图。但是，本发明的范围不限于这些实施例，而是由所附权利要求书定义。因此，诸如所示实施例的修改版本之类的在附图所示之外的实施例仍然由本发明所包含。
本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指的是该实施例可包括特定的特征、结构或特点，但是每一实施例不一定包括该特定的特征、结构或特点。此外，这些短语不一定指相同的实施例。此外，当结合实施例描述具体特征、结构或特性时，应当理解在相关领域的技术人员的知识范围内能够结合其他实施例来实现具体特征、结构或特性，无论是否被显式地描述。
本发明提出一种视频播放检测的方法和系统，通过将视频各图像帧的RGB矩阵元素聚类赋值方法构造图像比对矩阵并计算视频相似度，再根据该相似度与阈值之间的关系判断播放正常与否，实现不借助人眼快速检测并发现用户卡顿、花屏、色彩异常、分辨率异常等播放问题，一方面提升视频播放检测自动化水平，降低测试工作量，提升测试效率；另一方面主动识别用户视频播放问题，提升用户视频观看体验。
图1示出了根据本发明的一个实施例的视频播放检测系统100的框图。该系统100一般包括视频检测服务器101和视频检测终端102两者。其中，视频检测服务器101一般为提供视频服务的平台，即，下文中的“源侧”，而视频检测终端102一般为从视频检测服务器101接收视频并进行播放的设备(诸如，电视、电脑、平板等)，即，下文中的“端侧”。实践中，视频检测服务器101可以通过网络向一个或多个视频检测终端102提供视频。通过本发明，视频检测服务器101可以分别向相应的视频检测终端102提供该视频检测终端102的视频播放质量反馈。
总体而言，视频检测服务器101向视频检测终端102推送原始视频数据(例如，以视频流的方式)，同时，视频检测服务器101对原始视频数据中的每帧图像进行像素聚类以形成针对每帧图像的RGB矩阵形式的源侧结果。视频检测终端102接收并显示视频检测服务器101推送的视频数据，同时，视频检测终端102对所显示的屏幕图像中的每帧图像进行相同的像素聚类以形成针对每帧图像的RGB矩阵形式的端侧结果，并将该端侧结果回传给视频检测服务器101。之后，视频检测服务器101将针对具有相同显示时间戳和解码时间戳的图像帧的源侧结果和端侧结果进行相减，以得到比对矩阵，并根据该比对矩阵计算视频相似度，再根据该相似度与阈值之间的关系判断视频播放正常与否。
根据本发明的一个实施例，视频检测服务器101包括视频分发单元103、视频图像提取单元104、视频图像计算单元105和视频比对单元106。视频检测终端102中的每一者均(例如，102-1到102-N)包括视频播放单元107(例如，107-1到107-N)、屏幕图像提取单元108(例如，108-1到108-N)、屏幕图像计算单元109(例如，109-1到109-N)和计算结果回传单元110(例如，110-1到110-N)。本领域的技术人员完全可以理解，本文仅仅是出于解说的目的来解说以上各个单元，以上单元中的一者或多者的功能可被合并到单个单元或拆分到多个单元中。并且，以上各个单元中的一者或多者可用软件、硬件或其组合的方式来实现。
现在针对视频检测服务器101进行描述。视频检测服务器101主要用于实现视频流分发、视频图像计算与视频校验。
视频分发单元103被配置为向各视频检测终端102(即，待测终端)推送原始视频数据。例如，视频分发单元103可主动地或被动地(例如，响应于用户请求)向一个或多个视频检测终端102推送原始视频数据。
视频图像提取单元104被配置为提取原始视频数据中的视频图像帧，并记录各视频图像帧对应的DTS(decode timestamp；解码时间戳)和PTS(present timestamp；显示时间戳)值。根据本发明的一个实施例，视频检测服务器101处可记载有源侧数据表，以记录每个视频图像帧的DTS、PTS以及以下描述的针对该视频图像帧的经源侧像素聚类计算的RGB矩阵。
视频图像计算单元105被配置为对每个视频图像帧进行像素聚类计算以形成针对每个视频图像帧的源侧结果。以下参考图2来详细描述像素聚类计算的方法。图2示出了根据本发明的一个实施例的用于对图像帧进行像素聚类的方法200的流程图。
具体而言，元素聚类算法按照颜色把一帧图像分割成不同的簇，寻找像素点之间的关联关系，并对具有关联关系的点用簇中心点进行标记。这种按色块划分图像的方法有降噪作用，能够有效降低由屏幕显色等因素造成的判断误差。
在步骤201，对于每个图像帧，将该帧中的像素点转换为RGB矩阵并映射到三维空间。如本领域的技术人员所理解的，RGB矩阵是一个三维数组，每一个位置存放的是该位置对应的三个通道的像素值。
在步骤202，对该三维空间中的像素点按相邻距离进行聚类运算，形成N个簇。
在步骤203，对于每个簇，将簇中心点的值赋值给簇中所有的像素点。
针对步骤202-203，具体而言，例如，假设针对以下RGB矩阵：
Figure BDA0003725799460000061
对于每个图像帧的RGB矩阵中的元素点集合D，
D＝{(r1,1,g1,1,b1,1),…,(r1080,1920,g1080,1920,b1080,1920)}
1.随机选择K个点作为簇初始质心；
2.对剩余的每个对象，根据其与各簇中心的距离dist，将它赋给最近的簇；
Figure BDA0003725799460000062
3.将簇中心值更新为每个簇中所有点的平均值；
4.不断重复，直到中心不发生明显的变化。
在步骤204，将经步骤203赋值的像素点重新映射为源侧RGB矩阵。
视频图像计算单元105进一步被配置为将该经源侧像素聚类计算的RGB矩阵以及视频图像提取单元104记载的针对该视频图像帧的DTS和PTS一起作为源侧结果。根据本发明的一个实施例，该条源侧结果可作为一个条目被存储在源侧数据表中。
视频比对单元106被配置为接收来自视频检测终端102的端侧结果(如下所述，该端侧结果是以与生成源侧结果类似的方式针对每个屏幕视频帧所生成的)，并将具有相同DTS和PTS的经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵进行比对，以判断视频检测终端102处播放的视频质量是否异常。即，将针对相同图像帧的两个RGB矩阵进行比对，据此判断端侧的视频播放质量。以下参考图3来详细描述比对方法。
图3示出了根据本发明的一个实施例的对经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵进行比对的方法300的流程图。
在步骤301，对于端侧结果与源侧结果中DTS值与PTS值相同的图像帧，将针对该图像帧的经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵通过逐元素相减得到差值矩阵。
例如，差值矩阵如下：
Figure BDA0003725799460000071
在步骤302，将差值矩阵中的元素进行标准化，并通过逐元素Sigmoid函数计算进行激活去噪。
例如，
Figure BDA0003725799460000072
Figure BDA0003725799460000073
Figure BDA0003725799460000074
在步骤303，将去噪后的差值矩阵所有元素相加得到经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵的相似度。
例如，Similarity(相似度)＝sr1,1+sg1,1+sb1,1+…+sr1080,1920+sg1080,1920+sb1080,1920
在步骤304，将该相似度值与阈值进行比较，若该相似度值小于阈值，则认为端侧的视频播放正常，若该相似度大于阈值，则认为端侧的视频播放异常。
根据本发明的另一个实施例，视频比对单元106被进一步配置为将视频播放检测结果传送到视频检测终端102。或者，视频比对单元106被进一步配置为仅在检测到视频播放异常的情况下，才将视频播放检测结果传送到视频检测终端102。
现在针对视频播放终端102进行描述。视频播放终端102主要用于实现视频流播放、屏幕图像提取计算及回传端侧结果。
视频播放单元107被配置为接收并播放来自视频检测服务器101推送的视频数据。
屏幕图像提取单元108被配置为提取所显示的屏幕图像帧，并记录各屏幕图像帧对应的DTS和PTS值。根据本发明的一个实施例，视频检测终端102处可记载有端侧数据表，以记录每个屏幕图像帧的DTS、PTS以及以下描述的针对该屏幕图像帧的经端侧像素聚类计算的RGB矩阵。
屏幕图像计算单元109被配置为对每个屏幕图像帧进行如图2所描述的像素聚类计算以形成针对每个屏幕图像帧的端侧结果。该端侧结果包括经端侧像素聚类计算的RGB矩阵以及屏幕图像提取单元108记载的针对该屏幕图像帧的DTS和PTS。根据本发明的一个实施例，该条端侧结果可作为一个条目被存储在端侧数据表中。
计算结果回传单元110被配置为将端侧结果回传给视频检测服务器101，以进行后续比对。
图4示出了根据本发明的一个实施例的视频播放检测方法400的过程流。
总体而言，该方法400主要涉及两个部分。第一部分为基于图像RGB矩阵元素聚类的图像特征计算方法，第二部分为基于该图像特征计算方法的元素比对判别方法。在该第一部分中，将视频逐帧拆解，并对每一帧图像的RGB矩阵进行聚类运算，将每簇中心点的值赋值给簇中所有像素点，以得到新的RGB矩阵。在第二部分中，通过对有相同DTS、PTS值图像帧的源侧与端侧的元素聚类计算结果的差值进行标准化计算、降噪激活后，元素相加计算源侧推送视频与端侧屏幕播放视频相似度，从而判断播放正常与否。
在步骤401，视频检测服务器向视频检测终端下发视频流。
在步骤402，视频检测服务器在逐帧的基础上提取每个源侧视频图像帧的DTS和PTS。
在步骤403，针对每个源侧视频图像帧进行像素聚类赋值计算，以形成针对每个源侧视频图像帧的源侧结果。根据本发明的一个实施例，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该视频图像帧的DTS和PTS。
根据本发明的一个实施例，针对每个源侧视频图像帧进行像素聚类赋值计算包括：对于每个图像帧，将该帧中的像素点转换为RGB矩阵并映射到三维空间；对该三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；对于每个簇，将簇中心点的值赋值给簇中所有的像素点；将经赋值的像素点重新映射为源侧RGB矩阵，以形成经源侧像素聚类计算的RGB矩阵。
在步骤404，视频检测终端接收视频检测服务器下发的视频流并进行播放。
在步骤405，视频检测终端在逐帧的基础上提取每个端侧屏幕图像帧的DTS和PTS。
在步骤406，针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果。根据本发明的一个实施例，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
根据本发明的一个实施例，针对每个端侧屏幕图像帧进行像素聚类计算包括：对于每个图像帧，将该帧中的像素点转换为RGB矩阵并映射到三维空间；对该三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；对于每个簇，将簇中心点的值赋值给簇中所有的像素点；将经赋值的像素点重新映射为端侧RGB矩阵，以形成经端侧像素聚类计算的RGB矩阵。
在步骤407，视频检测终端将本地计算的端侧结果回传至视频检测服务器。
在步骤408，视频检测服务器将端侧结果与源侧结果进行相似度计算，并将该相似度计算结果与阈值进行比较，以得出检测结果。
根据本发明的一个实施例，步骤408进一步包括：对于端侧结果与源侧结果中DTS值与PTS值相同的图像帧，将针对该图像帧的经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵通过逐元素相减得到差值矩阵；将差值矩阵中的元素进行标准化，并通过逐元素Sigmoid函数计算进行激活去噪；将去噪后的差值矩阵所有元素相加得到经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵的相似度；将该相似度值与阈值进行比较，若该相似度值小于阈值，则认为端侧的视频播放正常，若该相似度大于阈值，则认为端侧的视频播放异常。
在步骤409，视频检测服务器将检测结果通知视频检测终端。根据本发明的一个实施例，该步骤409可以是任选的。例如，视频检测服务器基于异常的检测结果可以自行进行后台调整而不通知用户，以不打断用户的前台体验。
和现有技术相比，本发明的主要优势在于：
1.现有技术一般基于播放器解码后的缓存图像，与用户的真实体验有差距，而本发明基于终端屏幕显示画面，通过图像处理的方法进行源视频画面与屏幕显示画面比对，即直接将用户肉眼看到的屏幕图像帧与源视频图像进行比对，测试结果更贴近用户真实感受，有助于提高用户视频观看体验；
2.现有技术使用图像的灰度矩阵进行计算，没有考虑色彩信息，而本发明通过将视频各图像帧的RGB矩阵元素聚类赋值方法构造图像比对矩阵并计算视频相似度，再根据该相似度与阈值之间的关系判断播放正常与否，顾及了图像色彩上的差异，能识别色彩差异等更多播放问题。
图5示出了根据本发明的一个实施例的示例性计算设备500的框图，该计算设备是可应用于本发明的各方面的硬件设备(例如，视频检测服务器101、视频检测终端102)的一个示例。
参考图5，现在将描述一种计算设备500，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。计算设备500可以是可被配置成用于实现处理和/或计算的任何机器，可以是但并不局限于工作站、服务器、智能设备、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机或者它们的任何组合。前述的各种方法/模块/服务器/智能设备可全部或者至少部分地由计算设备500或者类似设备或系统来实现。
计算设备500可包括可经由一个或多个接口和总线502连接或通信的组件。例如，计算设备500可包括总线502、一个或多个处理器504、一个或多个输入设备506以及一个或多个输出设备508。该一个或多个处理器504可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如，专门的处理芯片)。输入设备506可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于摄像头、鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备508可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备500也可以包括非瞬态存储设备510或者与所述非瞬态存储设备相连接，所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备，并且所述非瞬态存储设备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备510可从接口分离。非瞬态存储设备510可具有用于实施上述方法和步骤的数据/指令/代码。计算设备500也可包括通信设备512。通信设备512可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、IEEE1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似设备。
总线502可以包括但不限于工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。
计算设备500还可包括工作存储器514，该工作存储器514可以是任何类型的能够存储有利于处理器504的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。
软件组件可位于工作存储器514中，这些软件组件包括但不限于操作系统516、一个或多个应用程序518、驱动程序和/或其它数据和代码。用于实现本发明上述方法和步骤的指令可包含在所述一个或多个应用程序518中，并且可通过处理器504读取和执行所述一个或多个应用程序518的指令来实现本发明的上述方法200、300和400。
也应该认识到可根据具体需求而做出变化。例如，也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外，可采用与其它计算设备、例如网络输入/输出设备等的连接。例如，可通过具有汇编语言或硬件编程语言(例如，VERILOG、VHDL、C++)的编程硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。
尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种由视频检测服务器执行的视频播放检测方法，包括：
在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS，并针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；
将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
2.如权利要求1所述的方法，其特征在于，所述比较进一步包括：
对于所述端侧结果与所述源侧结果中DTS值与PTS值相同的图像帧，将针对该图像帧的经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵通过逐元素相减得到差值矩阵；
将所述差值矩阵中的元素进行标准化，并通过逐元素Sigmoid函数计算进行激活去噪；
将去噪后的差值矩阵中的所有元素相加得到所述经源侧像素聚类计算的RGB矩阵与所述经端侧像素聚类计算的RGB矩阵的相似度；
将所述相似度值与阈值进行比较，以得出所述检测结果。
3.如权利要求1所述的方法，其特征在于，针对每个源侧视频图像帧进行像素聚类计算进一步包括：
对于每个源侧视频图像帧，将该源侧视频图像帧中的像素点转换为RGB矩阵并映射到三维空间；
对所述三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；
对于每个簇，将簇中心点的值赋值给所述簇中所有的像素点；
将经赋值的像素点重新映射为源侧RGB矩阵，以形成所述经源侧像素聚类计算的RGB矩阵；
其中，针对每个端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵是以与生成所述经源侧像素聚类计算的RGB矩阵相同的方式针对每个端侧屏幕图像帧来生成的。
4.一种由视频检测终端执行的视频播放检测方法，包括：
接收并播放视频检测服务器下发的视频流；
在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS，并针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及
将所述端侧结果回传至所述视频检测服务器。
5.如权利要求4所述的方法，其特征在于，针对每个端侧屏幕图像帧进行像素聚类计算进一步包括：
对于每个端侧屏幕图像帧，将该端侧屏幕图像帧中的像素点转换为RGB矩阵并映射到三维空间；
对所述三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；
对于每个簇，将簇中心点的值赋值给所述簇中所有的像素点；
将经赋值的像素点重新映射为源侧RGB矩阵，以形成所述经端侧像素聚类计算的RGB矩阵。
6.一种用于视频播放检测的视频检测服务器，包括：
视频图像提取单元，所述视频图像提取单元被配置成：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS；
视频图像计算单元，所述视频图像计算单元被配置成：针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；
视频比对单元，所述视频比对单元被配置成：将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
7.如权利要求6所述的视频检测服务器，其特征在于，
所述比较进一步包括：
对于所述端侧结果与所述源侧结果中DTS值与PTS值相同的图像帧，将针对该图像帧的经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵通过逐元素相减得到差值矩阵；
将所述差值矩阵中的元素进行标准化，并通过逐元素Sigmoid函数计算进行激活去噪；
将去噪后的差值矩阵中的所有元素相加得到所述经源侧像素聚类计算的RGB矩阵与所述经端侧像素聚类计算的RGB矩阵的相似度；
将所述相似度值与阈值进行比较，以得出所述检测结果；
其中针对每个源侧视频图像帧进行像素聚类计算进一步包括：
对于每个源侧视频图像帧，将该源侧视频图像帧中的像素点转换为RGB矩阵并映射到三维空间；
对所述三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；
对于每个簇，将簇中心点的值赋值给所述簇中所有的像素点；
将经赋值的像素点重新映射为源侧RGB矩阵，以形成所述经源侧像素聚类计算的RGB矩阵；
其中，针对每个端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵是以与生成所述经源侧像素聚类计算的RGB矩阵相同的方式针对每个端侧屏幕图像帧来生成的。
8.一种用于视频播放检测的视频检测终端，包括：
视频播放单元，所述视频播放单元被配置成：接收并播放视频检测服务器下发的视频流；
屏幕图像提取单元，所述屏幕图像提取单元被配置成：在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS；
屏幕图像计算单元，所述屏幕图像计算单元被配置成：针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及
计算结果回传单元，所述计算结果回传单元被配置成将所述端侧结果回传至所述视频检测服务器。
9.如权利要求8所述的视频检测终端，其特征在于，针对每个端侧屏幕图像帧进行像素聚类计算进一步包括：
对于每个端侧屏幕图像帧，将该端侧屏幕图像帧中的像素点转换为RGB矩阵并映射到三维空间；
对所述三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；
对于每个簇，将簇中心点的值赋值给所述簇中所有的像素点；
将经赋值的像素点重新映射为源侧RGB矩阵，以形成所述经端侧像素聚类计算的RGB矩阵。
10.一种用于视频播放检测的系统，包括：
如权利要求6所述的视频检测服务器；以及
一个或多个如权利要求8所述的视频检测终端。
CN202210774001.6A 2022-07-01 2022-07-01 一种视频播放检测的方法和系统 Active CN115022675B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210774001.6A CN115022675B (zh) 2022-07-01 2022-07-01 一种视频播放检测的方法和系统
PCT/CN2022/132449 WO2024001000A1 (zh) 2022-07-01 2022-11-17 一种视频播放检测的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210774001.6A CN115022675B (zh) 2022-07-01 2022-07-01 一种视频播放检测的方法和系统

Publications (2)

Publication Number Publication Date
CN115022675A true CN115022675A (zh) 2022-09-06
CN115022675B CN115022675B (zh) 2023-12-15

Family

ID=83078727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210774001.6A Active CN115022675B (zh) 2022-07-01 2022-07-01 一种视频播放检测的方法和系统

Country Status (2)

Country Link
CN (1) CN115022675B (zh)
WO (1) WO2024001000A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499708A (zh) * 2022-09-26 2022-12-20 深圳前海深蕾半导体有限公司 视频播放的处理方法、装置及电子设备
WO2024001000A1 (zh) * 2022-07-01 2024-01-04 天翼数字生活科技有限公司 一种视频播放检测的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065153A (zh) * 2012-12-17 2013-04-24 西南科技大学 一种基于色彩量化和聚类的视频关键帧提取方法
CN105488814A (zh) * 2015-11-25 2016-04-13 华南理工大学 一种检测视频中摇动背景的方法
CN105979332A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种视频数据的检测方法和装置
CN111669574A (zh) * 2020-06-19 2020-09-15 新华三大数据技术有限公司 一种视频播放质量检测方法及装置
US20210037284A1 (en) * 2019-07-29 2021-02-04 Arris Enterprises Llc Automatic annotation of video quality impairment training data for generating machine learning models of video quality prediction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978750B (zh) * 2014-04-04 2018-02-06 诺基亚技术有限公司 用于处理视频文件的方法和装置
CN111768469B (zh) * 2019-11-13 2024-05-28 中国传媒大学 一种基于图像聚类的数据可视化配色的提取方法
CN112837640A (zh) * 2021-01-27 2021-05-25 百果园技术(新加坡)有限公司 屏幕动态画面测试方法、系统、电子设备及存储介质
CN115022675B (zh) * 2022-07-01 2023-12-15 天翼数字生活科技有限公司 一种视频播放检测的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065153A (zh) * 2012-12-17 2013-04-24 西南科技大学 一种基于色彩量化和聚类的视频关键帧提取方法
CN105488814A (zh) * 2015-11-25 2016-04-13 华南理工大学 一种检测视频中摇动背景的方法
CN105979332A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 一种视频数据的检测方法和装置
WO2017092343A1 (zh) * 2015-12-04 2017-06-08 乐视控股（北京）有限公司 一种视频数据的检测方法和装置
US20210037284A1 (en) * 2019-07-29 2021-02-04 Arris Enterprises Llc Automatic annotation of video quality impairment training data for generating machine learning models of video quality prediction
CN111669574A (zh) * 2020-06-19 2020-09-15 新华三大数据技术有限公司 一种视频播放质量检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001000A1 (zh) * 2022-07-01 2024-01-04 天翼数字生活科技有限公司 一种视频播放检测的方法和系统
CN115499708A (zh) * 2022-09-26 2022-12-20 深圳前海深蕾半导体有限公司 视频播放的处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN115022675B (zh) 2023-12-15
WO2024001000A1 (zh) 2024-01-04

Similar Documents

Publication Publication Date Title
CN115022675B (zh) 一种视频播放检测的方法和系统
CN109916906B (zh) 缺陷检测装置及方法
CN114584849B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
US9826149B2 (en) Machine learning of real-time image capture parameters
US9706111B2 (en) No-reference image and video quality evaluation
JP2022528294A (ja) 深度を利用した映像背景減算法
CN110691259B (zh) 视频播放方法、系统、装置、电子设备及存储介质
EP2109313B1 (en) Television receiver and method
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
US20140126830A1 (en) Information processing device, information processing method, and program
CN109214501B (zh) 用于识别信息的方法和装置
JP2022003797A (ja) 静的な映像認識
US9202269B2 (en) User terminal device, server device, system and method for assessing quality of media data
US9230173B2 (en) Soft decision making processes for analyzing images
US20140002735A1 (en) Method of and apparatus for performing an objective video quality assessment using non-intrusive video frame tracking
CN112055258B (zh) 加载直播画面的时延测试方法、装置、电子设备及存储介质
WO2017113735A1 (zh) 一种视频格式区分方法及系统
US20220318954A1 (en) Real time machine learning-based privacy filter for removing reflective features from images and video
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
US10764578B2 (en) Bit rate optimization system and method
US11468657B2 (en) Storage medium, information processing apparatus, and line-of-sight information processing method
CN113117341B (zh) 图片处理方法及装置、计算机可读存储介质、电子设备
US20180288297A1 (en) Information processing device, information processing method, program, and information processing system
US11908340B2 (en) Magnification enhancement of video for visually impaired viewers
CN115103223B (zh) 视频内容检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant