CN112135123B - 视频质量检测方法及装置 - Google Patents
视频质量检测方法及装置 Download PDFInfo
- Publication number
- CN112135123B CN112135123B CN202011016475.1A CN202011016475A CN112135123B CN 112135123 B CN112135123 B CN 112135123B CN 202011016475 A CN202011016475 A CN 202011016475A CN 112135123 B CN112135123 B CN 112135123B
- Authority
- CN
- China
- Prior art keywords
- frame
- video stream
- image
- custom
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Abstract
本公开提供一种视频质量检测方法及装置。所述视频质量检测方法包括：获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题。
Description
技术领域
本发明涉及视频质量检测技术领域，具体涉及一种视频质量检测方法、装置、存储介质及计算装置。
背景技术
传统的视频播放设备的质量检测或产品认证一般是采用人工检测方式，即命令测试人员用肉眼比较待测设备和标准设备的显示质量，该方法耗时耗力且具有较高的人力成本。当检测到错误后，研发人员并不能获取具体的错误信息，只能再费时费力去复现并修复问题。
现有的检测技术中，大多数技术算法复杂，对检测系统软硬件要求都比较高，不容易部署到大规模的自动化测试中，并且检测范围较小，不能检测部分编码格式的信号流。此外，对图像质量的标准没有特别明确的定义，很多方法只能针对特定的质量问题进行检测。例如，数字水印技术只能检测编解码问题，不能反映终端显示是否有问题；现有的检测技术不能准确检测终端显示是否有丢帧、漏帧或静止帧的问题。
发明内容
本公开的示例性实施例的目的在于提供一种，以克服现有技术中的不足。
根据本公开的示例性实施例，提供一种视频质量检测方法，所述视频质量检测方法包括：获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题。
可选地，定制符号被设置为无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。
可选地，定制符号的位置与帧号的位置不重叠。
可选地，定制视频流的每帧图像被划分为多行和多列，每帧图像的行数和列数均等于定制视频流的全部图像的总帧数，在定制视频流的全部图像中，定制符号位于彼此不同的行和列，并且定制符号分布在每行和每列中，并且/或者，定制符号中的第一定制符号的边缘接触图像的上边缘，第二定制符号的边缘接触图像的下边缘，第三定制符号的边缘接触图像的左边缘，第四定制符号的边缘接触图像的右边缘。
可选地，定制符号包括多个中心对称图形，所述多个中心对称图形被布置成正方形矩阵形式，并且相邻的中心对称图形的中心点连线相对于水平方向和竖直方向倾斜。
可选地，所述定制符号包括多个子符号，定制视频流的每帧图像被划分为多行和多列，所述多个子符号位于每帧图像的彼此不同的行和列并且分布在每帧图像的每行和每列中，并且/或者，所述多个子符号中的第一子符号的边缘接触每帧图像的上边缘，第二子符号的边缘接触每帧图像的下边缘，第三子符号的边缘接触每帧图像的左边缘，第四子符号的边缘接触每帧图像的右边缘。
可选地，所述多个子符号在奇数帧号图像中的位置与在偶数帧号图像中的位置不同。
可选地，所述多个子符号包括B、D、E、H和R中的两者的一种或多种组合。
可选地，所述视频质量检测方法还包括：将定制符号和/或帧号嵌入源视频流的每帧图像中；对源视频流进行编码以生成定制视频流。
可选地，获取播放视频流的每帧图像的步骤包括：从显示驱动器获取播放视频流的每帧图像和/或从视频解码器获取播放视频流的每帧图像。
可选地，利用定制符号识别模型来在播放视频流的每帧图像中识别定制符号，所述视频质量检测方法还包括：采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法来训练定制符号识别模型。
可选地，确定播放视频质量有问题的步骤包括：如果在播放视频流的每帧图像中未识别出定制符号，则确定播放视频质量问题为图像损坏；如果确定播放视频流的图像的帧号间断，则确定播放视频质量问题为图像丢失；如果确定播放视频流的至少两个相邻图像的帧号相同，则确定播放视频质量问题为图像重复。
可选地，所述方法还包括：在获取播放视频流的每帧图像之前，向视频播放装置发送定制视频流，以使视频播放装置基于定制视频流而输出播放视频流。
可选地，获取播放视频流的每帧图像的步骤包括：利用截屏功能获取播放视频流的每帧图像，截屏功能的截屏速率与定制视频流的刷新速率相匹配。
根据本公开的示例性实施例，提供一种视频质量检测装置，所述视频质量检测装置包括：播放视频获取单元，被配置为获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；处理器，被配置为在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题。
可选地，定制符号被设置为无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。
可选地，定制符号的位置与帧号的位置不重叠。
可选地，定制视频流的每帧图像被划分为多行和多列，每帧图像的行数和列数均等于定制视频流的全部图像的总帧数，在定制视频流的全部图像中，定制符号位于彼此不同的行和列，并且定制符号分布在每行和每列中，并且/或者，定制符号中的第一定制符号的边缘接触图像的上边缘，第二定制符号的边缘接触图像的下边缘，第三定制符号的边缘接触图像的左边缘，第四定制符号的边缘接触图像的右边缘。
可选地，定制符号包括多个中心对称图形，所述多个中心对称图形被布置成正方形矩阵形式，并且相邻的中心对称图形的中心点连线相对于水平方向和竖直方向倾斜。
可选地，所述定制符号包括多个子符号，定制视频流的每帧图像被划分为多行和多列，所述多个子符号位于每帧图像的彼此不同的行和列并且分布在每帧图像的每行和每列中，并且/或者，所述多个子符号中的第一子符号的边缘接触每帧图像的上边缘，第二子符号的边缘接触每帧图像的下边缘，第三子符号的边缘接触每帧图像的左边缘，第四子符号的边缘接触每帧图像的右边缘。
可选地，所述多个子符号在奇数帧号图像中的位置与在偶数帧号图像中的位置不同。
可选地，所述多个子符号包括B、D、E、H和R中的两者的一种或多种组合。
可选地，所述视频质量检测装置还包括：视频定制单元，被配置为将定制符号和/或帧号嵌入源视频流的每帧图像中，对源视频流进行编码以生成定制视频流。
可选地，播放视频获取单元被配置为：从显示驱动器获取播放视频流的每帧图像和/或从视频解码器获取播放视频流的每帧图像。
可选地，处理器还被配置为：采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法来训练定制符号识别模型；利用定制符号识别模型来在播放视频流的每帧图像中识别定制符号。
可选地，处理器还被配置为：如果在播放视频流的每帧图像中未识别出定制符号，则确定播放视频质量问题为图像损坏；如果确定播放视频流的图像的帧号间断，则确定播放视频质量问题为图像丢失；如果确定播放视频流的至少两个相邻图像的帧号相同，则确定播放视频质量问题为图像重复。
可选地，所述视频质量检测装置还包括：定制视频发送单元，被配置为：向视频播放装置发送定制视频流，以使视频播放装置基于定制视频流而输出播放视频流。
可选地，播放视频获取单元还被配置为：利用视频播放装置的截屏功能获取播放视频流的每帧图像，截屏功能的截屏速率与定制视频流的刷新速率相匹配。
可选地，所述视频质量检测装置包括视频播放装置，或者所述视频质量检测装置连接到视频播放装置。
根据本公开的示例性实施例，提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序在被处理器执行时实现如上所述的视频质量检测方法。
根据本公开的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的视频质量检测方法。
采用根据本公开示例性实施例的，至少可以实现对视频播放装置或设备的视频显示或播放质量进行检测，以验证视频播放装置或设备的驱动质量和性能，还可以应用于自动化测试系统和产品认证(例如，网飞(netflix)认证)等领域中，可应用于任何视频格式的产品中；有利于视频或图像设备的自我检测或自动检测，可以提高视频质量检测的效率，节省人力。
附图说明
通过下面结合附图进行的描述，本公开的上述和其他目的和特点将会变得更加清楚。
图1是根据本公开的示例性实施例的视频质量检测方法的流程图。
图2是根据本公开的示例性实施例的视频质量检测方法的流程图。
图3是根据本公开的示例性实施例的生成定制视频流的方法的流程图。
图4是根据本公开的示例性实施例的定制符号的示意图。
图5是根据本公开的示例性实施例的定制视频流的每帧图像的示意图。
图6示出了根据本公开的示例性实施例的定制符号和帧号的坐标布局。
图7是根据本公开的示例性实施例的播放视频流的检测的示意图。
图8是图7中的每帧图像的放大视图。
图9是根据本公开的另一示例性实施例的定制视频流的示意图。
图10是根据本公开的示例性实施例的视频质量检测装置和视频播放装置的示意图。
图11是根据本公开的示例性实施例的视频质量检测装置的示意图。
图12是根据本公开的计算装置的示意图。
具体实施方式
现有的视频或图像的检测方法有以下几种：全、半参考法：图像的某些特征与原始图像的相同特征进行比较，比如小波变换系数的概率分布、综合多尺度几何分析、对比度敏感函数和可觉察灰度差异特征等；盲图像质量评价方法：完全无需参考图像，根据失真图像的自身特征来估计图像的质量，其中，有些方法是面向特定失真类型的，如针对模糊、噪声、块状效应的严重程度进行评价；数字水印嵌入法：将特征值数及有关序列添加到数据流中，通过特定的解码装备获取数据流。
现有的检测方法存在诸多不足，例如，大多数技术算法复杂，涉及到神经网络、机器学习，对检测系统软硬件要求都比较高。对图像质量的标准没有明确的定义，很多方法只能针对特定的质量问题做检测。数字水印技术只能检测编解码问题，不能反映终端显示的是否有问题。现有技术不能检测终端显示是否有静止帧和丢帧或漏帧的问题。现有技术不容易部署到大规模的自动化测试中。传统的视频播放设备质量检测或产品认证一般是采用人工检测方式，即令测试人员用肉眼比较待测设备和标准设备的显示质量，该方法耗时耗力且具有较高的人力成本。当检测到错误后，研发人员并不能获取具体的错误信息，只能再费时费力去复现并修复问题。现有技术检测范围较小，不能检测部分编码格式的信号流。
本公开提出一种基于光学字符识别(OCR)的视频质量检测方法、装置、存储介质及计算装置。可以在视频播放装置中播放定制的视频流时，视频中包含定制符号及帧号，运用OCR检测技术，可以对视频中定制符号和帧号进行识别，通过检测定制符号正确与否来判断播放或显示视频的质量是否有问题，以及通过对帧号的逻辑判断，确定播放视频流是否有跳帧和静止帧等问题。本发明包含如下关键操作：设置要识别的定制符号的图案或字符；2.将定制符号和帧号嵌入视频流的每帧图像中，并且合理地将定制符号及帧号布局在图像中，以生成定制视频流；定制视频流以及播放视频流的检测可适用于各种视频的编解码格式(例如，MPEG4、H264、H265和Vp9)；采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法(例如，卷积神经网络(CNN)算法)来训练定制符号识别模型；在视频播放装置上播放定制视频流；在视频流播放时截取播放视频流的每帧图像；对每帧图像中的定制符号进行识别，判断视频质量是否有问题；对帧号的顺序进行判断，以确定是否有跳帧和静止帧等问题。
本发明至少可以应用于以下几个方面：应用于视频播放设备或图像显示设备的自我检测；应用于视频质量的自动化测试；应用于视频播放设备的质量认证。本发明有利于提高视频质量检测的效率，节省人力。
由于OCR技术比较成熟，易于部署，因此本发明提出的方法和装置可以应用于视频设备的产品认证或大规模的自动化质量测试中，在检测出错误后可以将错误信息(如问题帧图像和logdump工具记录等)一起打包提供给研发或工作人员以便其快速纠错，提高测试效率，节省人力；并且，本发明适用于各种编解码格式的视频流，如MPEG4、H264、H265和Vp9等格式。
现在，将参照附图更充分地描述本公开的示例性实施例。所述实施例的示例在附图中示出，其中，相同的附图标记始终表示相同的部件。虽然在附图中示出了一些示例性实施例，但是本发明不仅限于此。
图1是根据本公开的示例性实施例的视频质量检测方法的流程图。
在步骤S11，可发送定制视频流以用于播放。例如，可通过视频质量检测装置向视频播放装置发送定制视频流，以供视频播放装置播放。可选地，可通过远程服务器向视频播放装置发送定制视频流。
在步骤S12，获取播放视频流的每帧图像。所述播放视频流是基于定制视频流而输出的。定制视频流的每帧图像中可嵌入有定制符号。例如，视频质量检测装置可以从视频播放装置获取播放视频流。
然后，在播放视频流的每帧图像中识别定制符号。在步骤S13，确定是否在播放视频流的每帧图像中识别出定制符号。根据本公开的实施例，可以利用定制符号识别模型来在播放视频流的每帧图像中识别定制符号。所述视频质量检测方法还可包括：可以采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法来训练定制符号识别模型。
如果在播放视频流的每帧图像中识别出定制符号，则确定播放视频流中的图像未损坏(步骤S14)。
如果在播放视频流的每帧图像中未识别出定制符号，则确定播放视频质量有问题并且播放视频质量问题为图像损坏(步骤S15)。
如上所述，在确定播放视频质量是否有问题之后，可向工作人员报告播放视频质量是否有问题以及播放视频质量问题的具体类型。
图1所示的示例为根据定制符号的识别来检测播放视频流的质量，例如，确定播放视频流的图像是否被破坏或是否出现错误帧。可选地，还可以根据帧号的识别来检测播放视频流的质量，例如，确定播放视频流中是否出现跳帧、丢帧或静止帧。下面将参照图2描述通过识别帧号进行检测的实施例。
图2是根据本公开的示例性实施例的视频质量检测方法的流程图。
在步骤S201，发送定制视频流以用于播放。
在步骤S202，获取播放视频流的每帧图像。所述播放视频流是基于定制视频流而输出的。定制视频流的每帧图像中可嵌入有定制符号。
根据本公开的实施例，可以从显示驱动器获取播放视频流的每帧图像和/或从视频解码器获取播放视频流的每帧图像。视频质量检测装置可以从视频播放装置的显示驱动器和/或从视频解码器获取播放视频流的每帧图像。
可选地，可利用截屏功能获取播放视频流的每帧图像，截屏功能的截屏速率与定制视频流的刷新速率相匹配。例如，视频质量检测装置可以利用视频播放装置的截屏功能获取播放视频流的每帧图像，截屏功能的截屏速率与定制视频流的刷新速率相匹配，例如，截屏功能的截屏速率等于定制视频流的刷新速率(例如，60fps)，从而可以通过截屏功能自动获取播放视频流的每帧图像，而不会有遗漏。
在步骤S203，在播放视频流的每帧图像中识别帧号。可选地，可在识别帧号的同时或者在识别帧号之后在播放视频流的每帧图像中识别定制符号，即执行图1所示的步骤S13、步骤S14和步骤S15。
在步骤S204，可确定是否在播放视频流的每帧图像中识别出帧号的正确数字。例如，如果在嵌入帧号2的图像中识别出2的图案不完整，则确定没有在播放视频流的每帧图像中识别出帧号的正确数字。然后在步骤S205确定播放视频质量问题为图像损坏。
如果确定在播放视频流的每帧图像中识别出帧号的正确数字，例如，如果在嵌入帧号2的图像中识别出正确的数字2(即，2的图案完整)，则确定在播放视频流的每帧图像中识别出帧号的正确数字。然后执行步骤S206。
根据本公开的实施例，可以利用帧号识别模型来在播放视频流的每帧图像中识别帧号。所述视频质量检测方法还包括：可以采集帧号的正确样本和错误样本；以正确样本和错误样本作为帧号识别模型的训练样本，利用机器学习算法来训练帧号识别模型。
在步骤S206，基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确。
如果确定播放视频流的全部图像的帧号顺序正确，即确定播放视频流的全部图像的帧号顺序没有乱序(例如，帧号重复、帧号跳过等问题)，则确定播放视频流的帧号无问题(步骤S207)。
如果确定播放视频流的全部图像的帧号顺序出现错误(即不正确)，则确定播放视频质量有问题并且可进一步确定帧号顺序错误对应的具体问题类型。在步骤S208，确定是否帧号间断，如果帧号间断，则确定播放视频质量问题为图像丢失(步骤S209)，即出现跳帧或丢帧。
如果帧号未间断，则确定是否帧号重复(步骤S210)。如果确定帧号重复，则确定播放视频质量问题为图像重复(步骤S211)，即出现静止帧。
如果帧号未重复，则确定播放视频质量问题为其它问题(步骤S212)，可通知工作人员进行具体排查。
如上所述，在确定播放视频质量是否有问题之后，可向工作人员报告播放视频质量是否有问题以及播放视频质量问题的具体类型。
下面将参照图3至图7描述不同的定制符号及不同的定制视频流的检测过程。
图3是根据本公开的示例性实施例的生成定制视频流的方法的流程图。
在步骤S31，将定制符号嵌入源视频流的每帧图像中。例如，视频质量检测装置可以通过视频定制单元将定制符号嵌入源视频流的每帧图像中。
定制符号的图案被设置为无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。
图4是根据本公开的示例性实施例的定制符号的示意图。图4示出了定制符号C的完整图案以及八个水平切割和竖直切割定制符号C的示例，定制符号C可包括四个圆圈并且四个圆圈布置成正方形矩阵形式，其中，相邻两个圆圈的圆心连线相对于水平方向和竖直方向倾斜，如此使得无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。图4中的示例1、2、3和4示出了定制符号由于被竖直切割而导致圆圈图案的一部分被切除，示例5、6、7和8示出了定制符号由于被水平切割而导致圆圈图案的一部分被切除。因此，在视频质量检测过程中，视频播放故障所导致的任何形式的水平切割或竖直切割都会造成定制符号的图案的至少一部分被切除，造成图案不完整，从而便于识别视频质量问题。
例如，示例1中的定制符号因被竖直切割而被识别为一个
和三个○，该符号不被识别为定制符号或者被识别为错误的定制符号，可表明该符号所对应的帧图像已被破坏。示例2中的定制符号因被竖直切割而被识别为一个○、两个
和一个
该符号不被识别为定制符号或者被识别为错误的定制符号，可表明该符号所对应的帧图像已被破坏。相反，如果定制符号未被破坏，则定制符号的四个○可被识别出来，四个○的符号可被识别为定制符号或者正确的定制符号，可表明该符号所对应的帧图像没有被破坏。
为了准确地识别定制符号，可采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法(例如，卷积神经网络算法)来训练定制符号识别模型。
例如，可以采集足够多的错误样本，以提高定制符号识别模型的识别精度。以上述的四个○组成的定制符号为例，正确样本中的图形为○，相反地，错误样本中的图形可包括
和
中的一种或多种。如此，通过采集正确样本和足够多的错误样本作为定制符号识别模型的训练样本，可以明确区分定制符号和非定制符号，从而可以利用定制符号识别模型准确地识别定制符号。
定制符号的图案不限于上述示例，定制符号可包括多个中心对称图形，例如，多个正方形、正六边形或正八边形，所述多个中心对称图形可被布置成正方形矩阵形式，并且相邻的中心对称图形的中心点连线相对于水平方向和竖直方向倾斜。
在步骤S32，可将帧号嵌入源视频流的每帧图像中。例如，视频质量检测装置可以通过视频定制单元将帧号嵌入源视频流的每帧图像中。在本公开的实施例中，也可以利用帧号识别模型来在播放视频流的每帧图像中识别帧号。因此，可以采集帧号的正确样本和错误样本；以正确样本和错误样本作为帧号识别模型的训练样本，利用机器学习算法来训练帧号识别模型。然后，在步骤S33，对源视频流进行编码以生成定制视频流。
如果需要将定制符号和帧号都嵌入定制视频流中，则定制符号的位置与帧号的位置不重叠。
在本公开的示例性实施例中，定制视频流的每帧图像被划分为多行和多列，每帧图像的行数和列数均等于定制视频流的全部图像的总帧数，在定制视频流的全部图像中，定制符号位于彼此不同的行和列，并且定制符号分布在每行和每列中，可选地，定制符号中的第一定制符号(例如，第3帧图像中的定制符号)的边缘接触图像的上边缘，第二定制符号(例如，第8帧图像中的定制符号)的边缘接触图像的下边缘，第三定制符号(例如，第1帧图像中的定制符号)的边缘接触图像的左边缘，第四定制符号(例如，第6帧图像中的定制符号)的边缘接触图像的右边缘。
定制符号和帧号在图像中的布局可以不必太复杂，要能够符合大部分视频流解码错误和显示错误的特征。为了保证视频流中每帧图像的线错误能被充分检测到，定制视频流中的全部图像(例如，一组视频帧中的全部图像)的每行每列都需要包含至少一个定制符号。相邻两帧的定制符号的位置可以是不同的，更有利于检测视频解码中出现的问题。此外，还有利于检测与I帧(intra frame，帧内编码帧)、P帧(predicted frame，前向预测编码图像帧)、B帧(bi-directional frame，双向预测编码图像帧)相关的问题。
如果定制视频流的一组视频帧中的某一帧出现了图像错误或损坏，则该组视频帧中的每帧可能都会有同样的图像错误。因此，为了提高检测效率，不必在单个视频帧中插入大量定制符号，只需满足一组视频帧中的定制符号的位置能够覆盖到每行每列即可。
例如，定制符号的原始的宽和高分别为wc和hc，源视频流的每帧图像的宽和高分别为ws和hs，源视频流包括n帧图像。为了在源视频流的每帧图像中嵌入对应的帧号以及在对应的位置坐标处嵌入定制符号，可以将定制符号的大小缩放至宽和高分别为
和
帧号的宽高可与定制符号的宽高相同，但不限于此，帧号与定制符号不重叠即可。
图5是根据本公开的示例性实施例的定制视频流的每帧图像的示意图。图6示出了根据本公开的示例性实施例的定制符号和帧号的坐标布局。
在图5和图6所示的示例中，定制视频流中的全部图像的总帧数为n＝8。图6示出的定制符号的坐标为定制符号左上角的像素在每帧图像中的坐标(x，y)，以及帧号的坐标为帧号左上角的像素在每帧图像中的坐标(x，y)。每帧图像的左上角像素的横坐标和纵坐标均为0。
如图5所示，帧号1、2、3、4、5、6、7和8可位于每帧图像的中央位置，其坐标为
相应地，与帧号对应的定制符号1、2、3、4、5、6、7和8在每帧图像中的位置如图5所示，相应的坐标如图6中的表格所示。
如此，可记录每个定制符号的几何信息(x，y，wsc，hsc)，其中，x和y分别为横坐标和纵坐标，wsc和hsc分别为每帧图像中的定制符号的宽和高。在视频质量检测时，可根据记录的几何信息获取每帧图像中的定制符号所处位置处的图像，然后将获取的图像宽和高缩放至wc和hc，然后识别获取的图像是否为定制符号。如此，无需对整帧图像进行识别，可以提高检测效率。上述坐标以及计算公式仅为示意用，在实际应用中可根据使用的定制符号的图案和显示效果进行适应性的调整。
图7是根据本公开的示例性实施例的播放视频流的检测的示意图，图8是图7中的每帧图像的放大视图。根据本公开的实施例，可以通过识别定制视频流中的一组视频帧中的每帧图像中的定制符号来确定该组视频帧是否存在图像损坏问题。如果一组视频帧中的某一帧出现了图像损坏(即，错误帧的图像损坏)，则该组视频帧的每帧图像可能都会有同样的图像损坏。
如图7和图8所示，播放视频流中一组视频帧的第1帧至第8帧图像的识别结果为：第1、3、5、6、7、8帧为正确帧，第2、4帧为错误帧，出现重复的第5帧，其中，第2帧的错误问题存在于每帧中，第4帧的错误问题仅存在于第4帧中。结论是：检测不通过。然后可以将上述识别结果和结果反馈给工作人员。因此，通过合理地布局定制符号在每帧图像中的位置，可以检测出每帧图像的质量问题。
图9是根据本公开的另一示例性实施例的定制视频流的示意图。
如图9所示，定制符号包括多个子符号，定制视频流的每帧图像被划分为多行和多列，所述多个子符号位于每帧图像的彼此不同的行和列并且分布在每帧图像的每行和每列中。可选地，所述多个子符号中的第一子符号(例如，BE)的边缘接触每帧图像的上边缘，第二子符号(例如，DH)的边缘接触每帧图像的下边缘，第三子符号(例如，HE)的边缘接触每帧图像的左边缘，第四子符号(例如，EH)的边缘接触每帧图像的右边缘。
在本公开的另一示例性实施例中，所述多个子符号在奇数帧号图像中的位置与在偶数帧号图像中的位置不同。不仅有利于检测视频解码中出现的问题，还有利于检测与I帧(intra frame，帧内编码帧)、P帧(predicted frame，前向预测编码图像帧)、B帧(bi-directional frame，双向预测编码图像帧)相关的问题。例如，图9所示的每帧图像的上半部分中的子符号的位置在奇数帧号图像中位于上半部分，而在偶数帧号图像中位于下半部分；图9所示的每帧图像的下半部分中的子符号的位置在奇数帧号图像中位于下半部分，而在偶数帧号图像中位于上半部分。
所述多个子符号可包括B、D、E、H和R中的两者的一种或多种组合。例如，所述多个子符号可包括BE、HE、EH、RE、DR、HE、EH和DH(如图8所示)，或者可包括任何其它组合。
以上已经结合图1至图9对根据本公开的示例性实施例的视频质量检测方法进行了描述。
此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现根据本公开的示例性实施例的视频质量检测方法。
在本公开的示例性实施例中，所述计算机可读存储介质可承载有一个或者多个程序，当所述计算机程序被执行时可实现参照图1至图9所描述的步骤：获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题。
计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。计算机可读存储介质可以包含在任意装置中；也可以单独存在，而未装配入该装置中。
本公开还提供一种能够执行上述视频质量检测方法的视频质量检测装置。
图10是根据本公开的示例性实施例的相互连接的视频质量检测装置11和视频播放装置12的示意图。
如图10所示，视频质量检测装置11可连接到视频播放装置12，以与视频播放装置12进行通信。视频播放装置12可包括视频解码器201、显示驱动器202和显示器203。
例如，视频质量检测装置11可连接到视频解码器201和显示驱动器202，以从视频解码器201和显示驱动器202获取播放视频流的每帧图像。视频播放装置12可具有截屏功能，以对播放视频流进行截屏，从而获取播放视频流的每帧图像并将获取的每帧图像发送给视频质量检测装置11。例如，。视频播放装置12还可包括具有截屏功能的视频截取单元(未示出)，视频截取单元可以从视频解码器201和/或显示驱动器202截取播放视频流的每帧图像，并将截取的每帧图像发送给视频质量检测装置11。
图11是根据本公开的示例性实施例的视频质量检测装置11的示意图。
视频质量检测装置11可包括处理器100、播放视频获取单元101、定制视频发送单元102和视频定制单元103。
播放视频获取单元101可获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号。例如，播放视频获取单元101可从视频播放装置12的显示驱动器202获取播放视频流的每帧图像和/或从视频解码器201获取播放视频流的每帧图像。播放视频获取单元101还可利用视频播放装置12的截屏功能获取播放视频流的每帧图像。
处理器100可在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题。
视频定制单元103可将定制符号和/或帧号嵌入源视频流的每帧图像中，对源视频流进行编码以生成定制视频流。定制视频发送单元102可向视频播放装置12发送定制视频流，以使视频播放装置12基于定制视频流而输出播放视频流。例如，视频播放装置12的视频解码器201可从定制视频发送单元102接收定制视频流，对定制视频流进行解码并输出到显示驱动器202。显示驱动器202可将解码后的定制视频流输出至显示器203以进行播放。
在本公开的另一示例性实施例中，视频质量检测装置可包括视频播放装置，从而可以检测自身播放视频流的质量。
可参照上文结合图1至图9的描述来理解视频质量检测装置11和视频播放装置12及其各个组件所执行的相应处理的具体细节，在此不再赘述。
接下来，结合图12对根据本公开的示例性实施例的计算装置进行描述。
图12是根据本公开的计算装置的示意图。
参照图12，根据本公开的示例性实施例的计算装置9可包括存储器91和处理器92，在存储器91上存储有计算机程序93，当计算机程序93被处理器92执行时，实现根据本公开的示例性实施例的。
在本公开的示例性实施例中，当所述计算机程序93被处理器92执行时，可实现参照图1至图9描述的方法的步骤：获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题。
图12示出的计算装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
应该理解的是：图10和图11中所示的视频质量检测装置11和视频播放装置12及其各个组件可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图12中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
采用根据本公开示例性实施例的视频质量检测方法、装置、存储介质及计算装置，至少可以实现对视频播放装置或设备的视频显示或播放质量进行检测，以验证视频播放装置或设备的驱动质量和性能，还可以应用于自动化测试系统和产品认证(例如，网飞(netflix)认证)等领域中，可应用于任何视频格式的产品中；有利于视频或图像设备的自我检测或自动检测，可以提高视频质量检测的效率，节省人力。
由控制系统中的各个组件或控制器执行的控制逻辑或功能可由在一个或多个附图中的流程图或类似示图来表示。这些附图提供代表性的控制策略和/或逻辑，代表性的控制策略和/或逻辑可使用一个或更多个处理策略(诸如，事件驱动、中断驱动、多任务、多线程等)来实现。因此，示出的各个步骤或功能可按照示出的顺序被执行、并行地执行或者在一些情况下被省略。虽然未总是被明确示出，但是本领域普通技术人员将认识到，示出的一个或更多个步骤或功能可根据使用的特定处理策略而被重复执行。
尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种修改和变换。
Claims (26)
1.一种视频质量检测方法，其特征在于，所述视频质量检测方法包括：
获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；
在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；
如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题，
其中，定制视频流的每帧图像被划分为多行和多列，每帧图像的行数和列数均等于定制视频流的全部图像的总帧数，在定制视频流的全部图像中，定制符号位于彼此不同的行和列，并且定制符号分布在每行和每列中，并且/或者
定制符号中的第一定制符号的边缘接触图像的上边缘，第二定制符号的边缘接触图像的下边缘，第三定制符号的边缘接触图像的左边缘，第四定制符号的边缘接触图像的右边缘。
2.根据权利要求1所述的视频质量检测方法，其特征在于，定制符号被设置为无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。
3.根据权利要求1所述的视频质量检测方法，其特征在于，定制符号的位置与帧号的位置不重叠。
4.根据权利要求1所述的视频质量检测方法，其特征在于，定制符号包括多个中心对称图形，所述多个中心对称图形被布置成正方形矩阵形式，并且相邻的中心对称图形的中心点连线相对于水平方向和竖直方向倾斜。
5.根据权利要求1所述的视频质量检测方法，其特征在于，所述视频质量检测方法还包括：
将定制符号和/或帧号嵌入源视频流的每帧图像中；
对源视频流进行编码以生成定制视频流。
6.根据权利要求1所述的视频质量检测方法，其特征在于，获取播放视频流的每帧图像的步骤包括：从显示驱动器获取播放视频流的每帧图像和/或从视频解码器获取播放视频流的每帧图像。
7.根据权利要求1所述的视频质量检测方法，其特征在于，利用定制符号识别模型来在播放视频流的每帧图像中识别定制符号，
所述视频质量检测方法还包括：采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法来训练定制符号识别模型。
8.根据权利要求1所述的视频质量检测方法，其特征在于，确定播放视频质量有问题的步骤包括：
如果在播放视频流的每帧图像中未识别出定制符号，则确定播放视频质量问题为图像损坏；
如果确定播放视频流的图像的帧号间断，则确定播放视频质量问题为图像丢失；
如果确定播放视频流的至少两个相邻图像的帧号相同，则确定播放视频质量问题为图像重复。
9.根据权利要求1所述的视频质量检测方法，其特征在于，所述方法还包括：在获取播放视频流的每帧图像之前，向视频播放装置发送定制视频流，以使视频播放装置基于定制视频流而输出播放视频流。
10.根据权利要求1所述的视频质量检测方法，其特征在于，获取播放视频流的每帧图像的步骤包括：利用截屏功能获取播放视频流的每帧图像，截屏功能的截屏速率与定制视频流的刷新速率相匹配。
11.一种视频质量检测方法，其特征在于，所述视频质量检测方法包括：
获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；
在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；
如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题，
其中，所述定制符号包括多个子符号，定制视频流的每帧图像被划分为多行和多列，所述多个子符号位于每帧图像的彼此不同的行和列并且分布在每帧图像的每行和每列中，并且/或者
所述多个子符号中的第一子符号的边缘接触每帧图像的上边缘，第二子符号的边缘接触每帧图像的下边缘，第三子符号的边缘接触每帧图像的左边缘，第四子符号的边缘接触每帧图像的右边缘。
12.根据权利要求11所述的视频质量检测方法，其特征在于，所述多个子符号在奇数帧号图像中的位置与在偶数帧号图像中的位置不同。
13.根据权利要求11所述的视频质量检测方法，其特征在于，所述多个子符号包括B、D、E、H和R中的两者的一种或多种组合。
14.根据权利要求11所述的视频质量检测方法，其特征在于，所述视频质量检测方法还包括：
将定制符号和/或帧号嵌入源视频流的每帧图像中；
对源视频流进行编码以生成定制视频流。
15.根据权利要求11所述的视频质量检测方法，其特征在于，获取播放视频流的每帧图像的步骤包括：从显示驱动器获取播放视频流的每帧图像和/或从视频解码器获取播放视频流的每帧图像。
16.根据权利要求11所述的视频质量检测方法，其特征在于，利用定制符号识别模型来在播放视频流的每帧图像中识别定制符号，
所述视频质量检测方法还包括：采集定制符号的正确样本和错误样本；以正确样本和错误样本作为定制符号识别模型的训练样本，利用机器学习算法来训练定制符号识别模型。
17.根据权利要求11所述的视频质量检测方法，其特征在于，确定播放视频质量有问题的步骤包括：
如果在播放视频流的每帧图像中未识别出定制符号，则确定播放视频质量问题为图像损坏；
如果确定播放视频流的图像的帧号间断，则确定播放视频质量问题为图像丢失；
如果确定播放视频流的至少两个相邻图像的帧号相同，则确定播放视频质量问题为图像重复。
18.根据权利要求11所述的视频质量检测方法，其特征在于，所述方法还包括：在获取播放视频流的每帧图像之前，向视频播放装置发送定制视频流，以使视频播放装置基于定制视频流而输出播放视频流。
19.根据权利要求11所述的视频质量检测方法，其特征在于，获取播放视频流的每帧图像的步骤包括：利用截屏功能获取播放视频流的每帧图像，截屏功能的截屏速率与定制视频流的刷新速率相匹配。
20.根据权利要求11所述的视频质量检测方法，其特征在于，定制符号被设置为无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。
21.根据权利要求11所述的视频质量检测方法，其特征在于，定制符号的位置与帧号的位置不重叠。
22.一种视频质量检测装置，其特征在于，所述视频质量检测装置包括：
播放视频获取单元，被配置为获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；
处理器，被配置为在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题，
其中，定制视频流的每帧图像被划分为多行和多列，每帧图像的行数和列数均等于定制视频流的全部图像的总帧数，在定制视频流的全部图像中，定制符号位于彼此不同的行和列，并且定制符号分布在每行和每列中，并且/或者
定制符号中的第一定制符号的边缘接触图像的上边缘，第二定制符号的边缘接触图像的下边缘，第三定制符号的边缘接触图像的左边缘，第四定制符号的边缘接触图像的右边缘。
23.根据权利要求22所述的视频质量检测装置，其特征在于，定制符号被设置为无论是被水平切割还是被竖直切割，都会导致定制符号的图案的至少一部分被切除。
24.一种视频质量检测装置，其特征在于，所述视频质量检测装置包括：
播放视频获取单元，被配置为获取播放视频流的每帧图像，其中，所述播放视频流是基于定制视频流而输出的，所述定制视频流的每帧图像中嵌入有定制符号和/或帧号；
处理器，被配置为在播放视频流的每帧图像中识别定制符号，和/或，在播放视频流的每帧图像中识别帧号并且基于识别的帧号确定播放视频流的全部图像的帧号顺序是否正确；如果在播放视频流的每帧图像中未识别出定制符号和/或确定播放视频流的全部图像的帧号顺序出现错误，则确定播放视频质量有问题，
其中，所述定制符号包括多个子符号，定制视频流的每帧图像被划分为多行和多列，所述多个子符号位于每帧图像的彼此不同的行和列并且分布在每帧图像的每行和每列中，并且/或者
所述多个子符号中的第一子符号的边缘接触每帧图像的上边缘，第二子符号的边缘接触每帧图像的下边缘，第三子符号的边缘接触每帧图像的左边缘，第四子符号的边缘接触每帧图像的右边缘。
25.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序在被处理器执行时实现如权利要求1至21中任意一项所述的视频质量检测方法。
26.一种计算装置，其特征在于，所述计算装置包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至21中任意一项所述的视频质量检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016475.1A CN112135123B (zh) | 2020-09-24 | 2020-09-24 | 视频质量检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016475.1A CN112135123B (zh) | 2020-09-24 | 2020-09-24 | 视频质量检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112135123A CN112135123A (zh) | 2020-12-25 |
| CN112135123B true CN112135123B (zh) | 2023-04-21 |
Family
ID=73841106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011016475.1A Active CN112135123B (zh) | 2020-09-24 | 2020-09-24 | 视频质量检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112135123B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724225B (zh) * | 2021-08-31 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 应用程序传输质量的确定方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1859584A (zh) * | 2005-11-14 | 2006-11-08 | 华为技术有限公司 | 一种媒体播放终端设备的视频播放质量测试方法 |
| WO2015012813A1 (en) * | 2013-07-23 | 2015-01-29 | Intel Corporation | Improved techniques for streaming video quality analysis |
| CN108495120A (zh) * | 2018-01-31 | 2018-09-04 | 华为技术有限公司 | 一种视频帧检测、处理方法、装置及系统 |
| CN110337035B (zh) * | 2019-07-26 | 2021-11-09 | 新华三大数据技术有限公司 | 一种检测视频播放质量的方法及装置 |
| CN111669574A (zh) * | 2020-06-19 | 2020-09-15 | 新华三大数据技术有限公司 | 一种视频播放质量检测方法及装置 |
-
2020
- 2020-09-24 CN CN202011016475.1A patent/CN112135123B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112135123A (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI581609B (zh) | 使用嵌入於視訊串流中之快速回應碼之自動化視訊測試 | |
| CN107509107B (zh) | 视频播放故障的检测方法、装置及设备、可读介质 | |
| EP3104327B1 (en) | Anomalous pixel detection | |
| CN110956606B (zh) | 显示屏播放画面异常检测方法、装置及其系统 | |
| CN110837795A (zh) | 基于课堂监控视频的教学情况智能监测方法、装置及设备 | |
| JP6032812B2 (ja) | 検査補助装置 | |
| US11395036B2 (en) | Automatic annotation of video quality impairment training data for generating machine learning models of video quality prediction | |
| US8767076B2 (en) | Systems and methods for testing video hardware by evaluating output video frames containing embedded reference characteristics | |
| CN112135123B (zh) | 视频质量检测方法及装置 | |
| CN111832492A (zh) | 静态交通异常的判别方法、装置、计算机设备及存储介质 | |
| CN113538603A (zh) | 一种基于阵列产品的光学检测方法、系统和可读存储介质 | |
| US8244061B1 (en) | Automated detection of source-based artifacts in an information signal | |
| CN110602481B (zh) | 一种视频监控系统中视频质量检测方法及装置 | |
| CN110314361B (zh) | 一种基于卷积神经网络的篮球进球得分判断方法及系统 | |
| EP2239952A1 (en) | A method and apparatus for testing a digital video broadcast display product and a method of data communication | |
| US8611612B2 (en) | Block matching method | |
| CN115272340B (zh) | 工业产品缺陷检测方法和装置 | |
| CN110704268B (zh) | 一种视频图像自动化测试方法及装置 | |
| CN115761567A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| US20220201362A1 (en) | Artificial intelligence and machine learning evaluation of elements in rendered video | |
| CN111553408B (zh) | 视频识别软件自动测试的方法 | |
| CN110108448B (zh) | 一种动态logo的缺陷自动检测方法 | |
| CN113554586A (zh) | 像素异常的显著性自动评估 | |
| Wan et al. | A video forensic technique for detecting frame integrity using human visual system-inspired measure | |
| CN101996402A (zh) | 图像处理装置以及图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |