CN110163901A - 一种后处理评价方法及系统 - Google Patents

一种后处理评价方法及系统 Download PDF

Info

Publication number
CN110163901A
CN110163901A CN201910299248.5A CN201910299248A CN110163901A CN 110163901 A CN110163901 A CN 110163901A CN 201910299248 A CN201910299248 A CN 201910299248A CN 110163901 A CN110163901 A CN 110163901A
Authority
CN
China
Prior art keywords
sequence
image
measured
post
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910299248.5A
Other languages
English (en)
Inventor
洪涛
程明传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201910299248.5A priority Critical patent/CN110163901A/zh
Publication of CN110163901A publication Critical patent/CN110163901A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种后处理评价方法及系统，其中方法包括如下步骤，预处理基准图像得到图像基准序列，待测终端播放预处理后的图像序列；获取待测设备的输出图像并保存为待测序列；使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。解决传统评价方法不够准确的问题。

Description

一种后处理评价方法及系统
技术领域
本发明涉及自动化图像处理领域，尤其涉及一种能够测试待测设备播放质量的后处理评价方法及系统。
背景技术
现有的显示终端的显示后处理包括Deinterlace处理、图像缩放、图像增强等。显示后处理的图像理论上比原始图像拥有更高的图像质量。使用传统的图像质量评价方法以下问题:基准图像可能比后处理的图像质量差；后处理的图像的评价分数等于最大值；后处理后的图像序列难于与基准图像序列精准匹配。上述问题均会导致传统图像质量评价方法存在严重误差和谬误。
发明内容
为此，需要提供向显示后处理的图像质量评价方法，解决传统评价方法不够准确的问题；
为实现上述目的，发明人提供了一种后处理评价方法，包括如下步骤，预处理基准图像得到图像基准序列，待测终端播放预处理后的图像序列；获取待测设备的输出图像并保存为待测序列；使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。
具体地，所述预处理基准图像包括，添加图像标识信息，还包括步骤，识别待测序列中的帧水印，将待测序列与基准序列进行帧序匹配。通过帧水印为依据，去除帧水印不一致的的视频帧。例如：待测序列为240帧，抓取的显示后处理的图像为250帧，待测序列与基准序列的帧序匹配可以由人工或智能识别的方式筛选后即可帧到帧级别的匹配。
具体地，所述基准图像选用TID2013数据集或MCL-V数据集；还包括步骤，采用向量式的横向比较模式生成对待测序列的评价报告。
一种后处理评价系统，包括预处理模块、待测终端、输出图像获取模块、评价模块；
所述预处理模块用于预处理基准图像得到图像基准序列，
所述待测终端用于播放预处理后的图像序列；
所述输出图像获取模块用于获取待测设备的输出图像并保存为待测序列；
所述评价模块用于使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。
具体地，所述预处理模块具体用于预处理基准图像包括，添加图像标识信息，还包括帧序匹配模块，所述帧序匹配模块用于识别待测序列中的帧水印，将待测序列与基准序列进行帧序匹配。
具体地，所述基准图像选用TID2013数据集或MCL-V数据集；还包括评价报告生成模块，所述评价报告生成模块用于采用向量式的横向比较模式生成对待测序列的评价报告。
通过上述方法，本发明能够在待测设备进行了显示之后的图像质量进行有效、科学的评价，避免传统方法的误差。
附图说明
图1为本发明具体实施方式所述的后处理评价方法流程图；
图2为本发明具体实施方式所述的图像质量评价过程示意图；
图3为本发明具体实施方式所述的图像质量报告的示意图；
图4为本发明具体实施方式所述的后处理评价系统示意图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，介绍了一种后处理评价方法，包括如下步骤，S100预处理基准图像得到图像基准序列，S102待测终端播放预处理后的图像序列；S104获取待测设备的输出图像并保存为待测序列；S106使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。类主观的图像评价方法优选相关系数较好的客观评价指标，比如:PSNR-HVS等，作为原始评价数据。然后通过数据融合方法将多个基本指标融合为一个指标。一般要求类主观评价方法和主观评价方法(如：DMOS)之间在多分辨率(720p,1080p,2160p)、多视频场景中(动画、游戏、广告、战争)具有明显的线性关系。为了针对不同种类的视频内容实现具有普适性，类主观的图像评价方法才有意义。本专利的类主观的图像评价方法优选:视频的时间信息(TI)、视频的空间信息(SI)、PSNR-HVS和视觉质量保真度(VIF)。然后通过非线性拟合(支持向量机、卷积神经网络、遗传算法等)计算后的结果拟合出单一的类主观评价指标。拟合优化条件是类主观评价指标和主观评价方法(如：DMOS)之间具有明显的线性关系。非线性融合(支持向量机、卷积神经网络、遗传算法等)是基于权值网络的通用融合。由于视频后处理的特殊性，后处理之后的图像/视频序列的质量可能高于基准测试序列。假如类主观的图像评价方法的最高值是100，如果后处理的待测序列的质量可能高于基准测试序列，但是类主观的图像评价方法无法给出超过100的分值；对于这种情况采用反向比较得到分值再取反向换算，比如反向比较得分为80分，反向换算得到(100/80)x100＝125分。其中，图像基准序列可以为多幅图像或包括多帧图像的视频信息，预处理包括对图像的初步处理操作，如调整亮度、帧率、压缩、解压、锐化、钝化等操作。类主观的图像评价方法是指用客观评价结果拟合出主观评价结果，客观评价结果用计算机就可以完成；主观评价结果主要大量人的参与；主观评价结果与客观评价结果之间有隐形关联关系，最终能够通过一组函数拟合出这种隐形关联关系。通过上述方案，我们的发明方法能够对待测终端播放后的图像序列的质量进行评估，从而达到对待测终端的图像播放性能进行客观评价的技术效果。
而为了更好地对评价结果进行展示，我们还进行步骤，更换待测设备，横向对比测试多种机型，并最终输出横向和纵向对比的综合性测试报告。
另一些具体的实施例中，所述预处理基准图像包括步骤，为基准图像图像标识信息，所述标识信息可以为具有明显序列关系的文字、图形及符号等，在一些实施例中优选为逐帧添加的帧序号水印，在获取输出图像并保存为待测序列后还包括步骤，识别待测序列中的帧水印，将待测序列与基准序列进行帧序匹配。后处理图像是动态捕捉的，后处理图像和原始图像对应关系不明显，需要使用上述标识信息明确标定后处理图像和原始图像的对应关系。所述标识信息可以识别即可，标识大小适中，防止对图像质量带来明显影响。任何图像&视频评价方法基本原理都是像素级别的对比，均要求测试序列和基准序列的帧序严格一致，否则计算结果失真而失去评价的意义。针对显示分析仪抓取的测试序列和基准序列的序列难以一致的问题，本发明给出的方法是:给图像&视频序列增加标识符水印，通过标识符水印，从显示分析仪抓取的原始待测序列分离出帧序匹配的待测序列。通过上述方法，我们能够达到根据帧序进行图像处理结果评价的效果，能够使得评价结果更为准确、有说服力。
如图2所示的实施例中，展示了用于显示后处理的图像质量评价过程。从图中我们可以看到，预处理基准图像步骤与获取待测设备的输出图像并保存为待测序列步骤可以通过不同的终端设备来完成，如可以用包含预处理模块的第一设备来进行预处理步骤，获取待测设备的输出图像并保存为待测序列步骤可以通过显示分析仪来抓取。
如图3所示的一些实施例中，展示了显示后处理的图像质量报告的示意图，该图像质量报告基于MCL-V数据集。图像&视频质量评价涉及到复杂的视觉感知、图像处理和计算机视觉等相关主观和客观质量的度量。图像&视频数据集需要考虑很多约束:(1)数据集的表征能力和泛化能力，即有限的数据集具有表征客观世界真实数据的能力；(2)数据集的特征可量化和可解释，即数据集拥有数据说服力；(3)数据集具有代表性和权威性，即数据集能够支撑评价结果，能得到同行的理解和赞同。基于我们的测试环境和选取数据集的约束，我们选取具有各种内容和失真的图像数据集，选取广泛认可的TID2013和MCL-V数据集作为我们的基准数据集。TID2013数据集包含多种自然图像和典型的图像失真样本，用于测试显示后处理的图像质量评价。MCL-V数据集包含多种视频场景和多样化视频质量，用于测试显示后处理的视频质量评价。
下面请看图4，图4展示了一种后处理评价系统，包括预处理模块400、待测终端41、输出图像获取模块402、评价模块404；
所述预处理模块用于预处理基准图像得到图像基准序列，
所述待测终端用于播放预处理后的图像基准序列；
所述输出图像获取模块用于获取待测设备的输出图像并保存为待测序列；
所述评价模块用于使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。
在本实施例中，预处理模块、输出图像获取模块、评价模块可以设置为同一设备，图中展示了其均设置在第一设备端40的情况，当然这些功能模块也可以设置在不同的设备中。第一设备端可以通过不同的上行/下行接口对接待测终端，完成对待测终端的图像基准序列传输，以及对显示后的输出图像的抓取。也可以将预处理模块、输出图像获取模块、评价模块设置在不同的具体设备上，也能够达到对后处理图像进行提取、评价的技术效果。通过上述系统，能够对待测终端播放后的图像序列的质量进行评估，从而达到对待测终端的图像播放性能进行客观评价的技术效果。
具体地，所述预处理模块具体用于预处理基准图像包括，添加图像标识信息，优选帧序号水印，还包括帧序匹配模块，所述帧序匹配模块用于识别待测序列中的帧水印，将待测序列与基准序列进行帧序匹配。
具体地，所述基准图像选用TID2013数据集或MCL-V数据集；还包括评价报告生成模块，所述评价报告生成模块用于采用向量式的横向比较模式生成对待测序列的评价报告。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (6)

1.一种后处理评价方法，其特征在于，包括如下步骤，预处理基准图像得到图像基准序列，待测终端播放预处理后的图像序列；获取待测设备的输出图像并保存为待测序列；使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。
2.根据权利要求1所述的后处理评价方法，其特征在于，所述预处理基准图像包括，添加图像标识信息，还包括步骤，识别待测序列中的帧水印，将待测序列与基准序列进行帧序匹配。
3.根据权利要求1所述的后处理评价方法，其特征在于，所述基准图像选用TID2013数据集或MCL-V数据集；还包括步骤，采用向量式的横向比较模式生成对待测序列的评价报告。
4.一种后处理评价系统，其特征在于，包括预处理模块、待测终端、输出图像获取模块、评价模块；
所述预处理模块用于预处理基准图像得到图像基准序列，
所述待测终端用于播放预处理后的图像序列；
所述输出图像获取模块用于获取待测设备的输出图像并保存为待测序列；
所述评价模块用于使用类主观的图像评价方法计算待测序列相对于预处理后的基准序列的得分。
5.根据权利要求4所述的后处理评价系统，其特征在于，所述预处理模块具体用于预处理基准图像包括，添加图像标识信息，还包括帧序匹配模块，所述帧序匹配模块用于识别待测序列中的帧水印，将待测序列与基准序列进行帧序匹配。
6.根据权利要求4所述的后处理评价系统，其特征在于，所述基准图像选用TID2013数据集或MCL-V数据集；还包括评价报告生成模块，所述评价报告生成模块用于采用向量式的横向比较模式生成对待测序列的评价报告。
CN201910299248.5A 2019-04-15 2019-04-15 一种后处理评价方法及系统 Pending CN110163901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910299248.5A CN110163901A (zh) 2019-04-15 2019-04-15 一种后处理评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299248.5A CN110163901A (zh) 2019-04-15 2019-04-15 一种后处理评价方法及系统

Publications (1)

Publication Number Publication Date
CN110163901A true CN110163901A (zh) 2019-08-23

Family

ID=67639585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299248.5A Pending CN110163901A (zh) 2019-04-15 2019-04-15 一种后处理评价方法及系统

Country Status (1)

Country Link
CN (1) CN110163901A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282481A (zh) * 2008-05-09 2008-10-08 中国传媒大学 一种基于人工神经网络的视频质量评价方法
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN102523535A (zh) * 2011-12-01 2012-06-27 南京师范大学 基于数字水印技术的视频流与gps实时配准与同步传输方法
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN103426173A (zh) * 2013-08-12 2013-12-04 浪潮电子信息产业股份有限公司 一种立体图像质量的客观评价方法
CN105430370A (zh) * 2015-11-24 2016-03-23 宁波大学 一种基于排序学习的立体图像视觉舒适度评价方法
CN105828064A (zh) * 2015-01-07 2016-08-03 中国人民解放军理工大学 融合局部和全局时空特性的无参考视频质量评估方法
WO2018196434A1 (zh) * 2017-04-27 2018-11-01 华为技术有限公司 一种视频质量评估方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282481A (zh) * 2008-05-09 2008-10-08 中国传媒大学 一种基于人工神经网络的视频质量评价方法
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN102523535A (zh) * 2011-12-01 2012-06-27 南京师范大学 基于数字水印技术的视频流与gps实时配准与同步传输方法
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN103426173A (zh) * 2013-08-12 2013-12-04 浪潮电子信息产业股份有限公司 一种立体图像质量的客观评价方法
CN105828064A (zh) * 2015-01-07 2016-08-03 中国人民解放军理工大学 融合局部和全局时空特性的无参考视频质量评估方法
CN105430370A (zh) * 2015-11-24 2016-03-23 宁波大学 一种基于排序学习的立体图像视觉舒适度评价方法
WO2018196434A1 (zh) * 2017-04-27 2018-11-01 华为技术有限公司 一种视频质量评估方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡雪麟: "全参考视频质量评价方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
CN100559881C (zh) 一种基于人工神经网络的视频质量评价方法
Li et al. No-reference quality assessment of deblocked images
Wang et al. Just noticeable difference estimation for screen content images
US6704451B1 (en) Method and arrangement for objective assessment of video quality
Martini et al. Image quality assessment based on edge preservation
Wang et al. Novel spatio-temporal structural information based video quality metric
CN101146226A (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
CN105635743A (zh) 基于显著性检测和全变分的最小可察觉失真方法及系统
CN1666231A (zh) 用于对感知的图像和视频锐度进行估计的客观方法和系统
Attar et al. Image quality assessment using edge based features
CN109447903A (zh) 一种半参考型超分辨率重构图像质量评价模型的建立方法
CN108550140A (zh) 一种面向图像集的置信度一致性增强质量评价方法
Li et al. A natural image quality evaluation metric
Martini et al. A reduced-reference perceptual image and video quality metric based on edge preservation
CN110163901A (zh) 一种后处理评价方法及系统
CN104616310B (zh) 一种图像质量的评估方法和装置
CN103647963A (zh) 基于GoP场景复杂度的视频质量评价方法
CN100562135C (zh) 图像质量评测系统
CN101765026B (zh) 一种图像质量评价值的修正方法和修正系统
Sun et al. An efficient quality metric for DIBR-based 3D video
Chen et al. Quality assessment of stereoscopic 3D images based on local and global visual characteristics
Jin et al. Novel image quality metric based on similarity
US20050105802A1 (en) Method and an arrangement for objective assessment of video quality
Pavlović et al. Prediction of the first just noticeable difference point based on simple image features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190823