CN107211115A - 用于色度重构的方法和装置 - Google Patents

用于色度重构的方法和装置 Download PDF

Info

Publication number
CN107211115A
CN107211115A CN201680006025.XA CN201680006025A CN107211115A CN 107211115 A CN107211115 A CN 107211115A CN 201680006025 A CN201680006025 A CN 201680006025A CN 107211115 A CN107211115 A CN 107211115A
Authority
CN
China
Prior art keywords
subset
component
sampling
brightness
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680006025.XA
Other languages
English (en)
Inventor
T·沃墨尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bako SA
Original Assignee
Bako SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bako SA filed Critical Bako SA
Publication of CN107211115A publication Critical patent/CN107211115A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于预测色度值的方法和装置，包括以下步骤：使解码器向上采样滤波器提供图像帧，所述图像帧包括亮度和色度分量，以及对所述图像帧的子集应用分析算法以获得子集内容类型并取决于该内容类型来选择用于重构色度分量的重构算法。

Description

用于色度重构的方法和装置
本发明涉及一种用于色度重构的方法和装置以及用于执行该方法的计算机程序产品。
背景
在许多专业应用中，需要在视频墙上可视化大量视频源以提供对情形的概览。一些示例包括视频监控、复杂工业过程(例如，石油精炼、发电厂)或网络(电力网)。在过去，由于涉及延迟和质量的高要求，此类专业可视化系统经常使用专用硬件和网络来实现。然而，存在结合现有消费级硬件以通过允许从视频墙/控制室到任何网络和设备以及来自任何网络和设备的视频内容共享来降低成本和/或增加功能的日益增长的需求。
在色度子采样中，对色彩信息，即色度的编码可以用比对亮度信息，即亮度的编码更低的分辨率来做出。该方法利用以下事实：人类眼睛对亮度差异的感知比对色彩差异的感知更敏感。标示可以是YUV，其中Y表示亮度/明度分量，而U和V表示色度/色彩分量。例如，对于每分量8位，全分辨率将会是4:4:4，而4:2:0已经减少了色彩信息，后者需要更少的数据存储和/或带宽。
在诸如控制室等需要高分辨率的环境中可视化的视频内容可包括来自相机的“自然”视频以及诸如图形、地图、电子表格等人造内容的组合。具有人造内容的应用通常需要非常高的质量。图1解说了YUV 4:2:0色度子采样被实现用于单词“dec”形式的人造屏幕内容时的情况。图1a)示出了其中字母“d”的具有相同色彩和亮度的部分用条纹图案标记的原始图像。图1b)示出了其中“d”的相应部分的色彩和亮度已变成多个不同水平的经重构图像，每一水平用不同的图案指示。图1c)示出了原始图形以使得1c)的左侧图像对应于1a)并且1c)的右侧图像对应于1b)。
用于高效的硬件加速视频编码的专用硬件通常可用于YUV 4:2:0配置文件[1][2]。高效视频编码(HEVC)[3]压缩标准的第一版本支持YUV 4:2:0子采样。这些工具能一起产生用于YUV 4:2:0子采样的高效且经济的解决方案。
然而，用于YUV 4:4:4配置文件的硬件加速视频编码仍不可用。由此，对YUV 4:4:4子采样的支持不得不用非加速硬件以及较低效和功耗软件来一起提供。此外，由于低需求，启用YUV 4:4:4的硬件和软件实现相比于只支持YUV 4:2:0配置文件的实现是昂贵的。
使用亮度和色度之间的分量间相关的现有自适应上采样技术在[4]和[5]中提出。这些技术被设计成用于自然内容，并且不考虑屏幕内容的特定特性(例如，非连续锐边、附近像素中的均匀色彩)。
He等人在[6]中介绍的向导式图像滤波器是边缘保留式平滑滤波器。该技术的应用可以是例如边缘知悉式平滑、细节增强和HDR压缩。专利申请GB2516110A公开了一种基于向导式图像滤波的方法，其中亮度分量被用作用以重构色度分量的向导图像。该方法取决于这两者之间的协方差。向导式图像滤波器能够将锐边从亮度分量转变成色度分量。然而，当未检测到协方差时，该滤波器将仅仅平滑色度分量。这对于自然内容而言是良好的属性，但它可能引入人造屏幕内容的不想要的伪像。图2示出a)作为人造屏幕内容的对向导式色度重构滤波器的输入、b)来自同一滤波器的输出，以及c)原始输入。a)和b)中的条纹图案指示无梯度域，即每一条纹域具有相同的色彩和强度。可以看到输出图像b)中的该域被减少，由此梯度量已增加，这导致边缘看上去较不锐利。
在专利申请GB2516110A中，结果可通过在编码流中提供附加信息来优化。该流中也可包括关于如何减少上文提及的伪像的信息。但向流添加该信息导致带宽使用增加。
US 2010/214472(Tomonaga)公开了一种用于改进图形图像的倍线(例如，SD到HD)的方法。图形内容在亮度分量方面具有比自然内容更锐利的边缘。由于常见的倍线滤波器被设计成用于自然内容，因此这些滤波器将在图形内容的边缘周围引入新伪像。这引入了图像降级。通过分析亮度直方图，在峰值周围检测到并移除噪声。需要亮度直方图检测器。
EP 2495963 A2(Toshiba)公开了一种用于通过检测视频信号的类型来自动转换视频信号的方法。转换只在视频信号中不存在正确格式时完成。视频被转换成具有比正确格式的色彩采样点更少数目的色彩采样点的另一格式。
US 2008/0036792 A1(Qualcomm)公开了一种通过查看图像中的相邻像素的对称性和强度来改进上采样的方法。强度被用来适配内插滤波器的变体。
US 2009/0324079 A1(Yuan)公开了一种用于对单个帧中的自然和图形内容使用多个滤波器的方法。该方法还使用运动向量信息来在多个帧之间共享上下文。
US 2011/0181778 A1(Komaki)公开了一种在降噪的同时对薄膜材料中的视频信号进行上采样的方法。
发明概述
本发明寻求提供一种用于重构经子采样的人造屏幕内容的方法和装置。可任选地，可使用加速硬件。
在本发明的一个实施例中，提供了一种用于使用可以是硬件加速解码器的解码器和上采样滤波器来预测色度值的方法，该方法包括以下步骤：使该解码器向上采样滤波器提供图像帧，所述图像帧包括亮度和色度分量，使上采样滤波器定义所述图像帧的子集，以及对所述子集应用至少一个分析算法以获得子集内容类型，以及选择至少一个重构算法来例如通过使用亮度分量的值来重构该子集的色度分量，其中对该至少一个重构算法的选择取决于子集内容类型。由于内容类型被获得，因此重构算法可被选为适合该内容类型。该算法无需同时处置多个内容类型，由此重构可以变得非常高效。
在该方法中，分析算法和/或重构算法检测亮度分量是否可被用作用于重构色度分量的向导。
在本发明的另一实施例中，提供了根据上述内容的用于来进行色度预测的方法，其中分析算法包括调查上文提及的子集中的至少两个亮度分量是否具有相同值的步骤。如果情况如此，则对应的色度分量(具有与亮度分量相同的坐标)被设为彼此相等。色度值然后可通过使用上采样滤波器来重构。该方法可标识其中许多分量具有相同值的内容，例如人造屏幕内容。然后可选择专用重构算法来提高效率。
在本发明的另一实施例中，提供了根据上述内容的用于进行色度预测的方法，其中分析算法包括调查色度子集是否具有与亮度子集基本上相同的结构或基本上相逆的结构的步骤。如果情况如此，则可能通过以下操作来重构色度值：
用最小和最大的经子采样亮度分量来归一化全分辨率亮度分量并且线性地将其缩放成经子采样色度分量。该方法可以在不存在足够的具有相同值的相邻亮度分量的情况下(例如，在存在梯度的情况下)使用。然后可选择专用重构算法来提高效率。
在本发明的另一实施例中，提供了根据上述内容的方法，其中子集的最小大小是全色度分辨率下的2乘2个像素。该子集可以被重复移动以使得最终整个帧被分析和重构。
在本发明的另一实施例中，提供了用于预测色度值的装置，包括：被布置成接收和提供图像帧的解码器，所述图像帧包括亮度和色度分量；以及，被布置成从解码器接收图像帧的上采样单元，所述上采样单元包括用于执行重构的上采样滤波器，其中对于图像帧的每一子集，所选重构算法取决于该子集的内容类型。
该装置被适配成使得分析算法和重构算法检测亮度分量是否可被用作用于重构色度分量的向导。对于该检测，使用移动窗口并且还使用至少两个分量(亮度和色度)。
在本发明的另一实施例中，提供了包括携带指令的机器可读介质的计算机程序产品，这些指令在由处理器执行时使处理器执行以上各方法中的任一种方法。
附图简述
图1示出了其中糟糕质量是可见的经重构的人造屏幕内容的示例。
图2示出了向导式滤波器如何在图像中的边缘周围进行平滑的示例。
图3示出了本发明的实施例的概览。
图4以a)图形形式和b)矩阵形式示出了本发明的实施例。
图5用L、R和C矩阵中的数值示出了本发明的实施例。
图6示出了通过a)常规方法和b)本发明的实施例来作出的色度经重构图像的细节。
详细描述
本发明将针对特定实施例且参考一些附图进行描述，但是本发明不限于此，而是只通过权利要求限定。所描述的附图只是示意性的而非限制性的。
此外，说明书中和权利要求中的术语第一、第二、第三等用于在类似的元素之间进行区分，而不一定用于描述顺序或时间次序。这些术语在适当的情况下可以互换，并且本发明的实施例可以按与本文所描述或阐示的顺序不同的其它顺序操作。
而且，本说明书和权利要求书中的术语顶部、底部、之上、之下等是出于描述目的而使用的，且不一定用于描述相对位置。所使用的这些术语在适当的情况下可以互换，并且本文描述的本发明的实施例可以在与本文所描述或阐示的定向不同的其它定向中操作。权利要求中所使用的术语“包括”不应被解释为限于此后列出的手段；它不排除其他元件或步骤。它需要被解释为指定所陈述的特征、整数、步骤或组件的存在，但不排除一个或多个其他特征、整数、步骤或组件，或其群组的存在或添加。由此，表达式“包括装置A和B的设备”的范围不应限于仅仅由组件A和B组成的设备。这意味着关于本发明，设备的仅有相关组件是A和B。类似地，将要注意到也在说明书和权利要求书中使用的术语“耦合”不应被解释为仅限于直接连接。由此，表达式“耦合到设备B的设备A”不应被限于其中设备A的输出直接连接到设备B的输入的设备或系统。该表达式意指在A的输出与B的输入之间存在可以是包括其它设备或装置的路径的路径。
对软件的引用可涵盖可由处理器直接或间接执行的用任何语言的任何类型的程序。
对逻辑、硬件、处理器或电路的引用可涵盖集成到任何程度且不限于通用处理器、数字信号处理器、ASCI、FPGA、分立组件或晶体管逻辑门等的任何种类的逻辑或模拟电路。
本发明的实施例寻求提供一种用于可任选地使用加速硬件来重构经子采样的人造屏幕内容的方法和装置。下文中给出的示例是为了阐示而提供的，并且不应被视作是限制性的。
图3示出了本发明的实施例。所提出的用于重构色度分量的方法可被设计成在不修改编码器的情况下在解码器后使用。原始流a可以例如通过截屏来捕捉并且在必要时被转换成YUV 4:4:4视频流。为了允许使用常规编码器，该流可由编码器设备中的子采样滤波器来子采样为流b。编码器然后可以用YUV4:2:0子采样配置文件(如HEVC/H.265主配置文件)来对流进行编码。无需在经编码视频流c中包括任何附加信息。在通过网络进行传输后，视频流c’可由符合标准(例如，可任选的硬件加速)解码器来解码。这可生成可被用作对色度重构的输入的视频流d。在图3中，具有实线的步骤涉及帧处理，而条文线指的是块处理。
图4a)示出了覆盖6×3个亮度像素1(仅指示3个像素)以及2×2个经子采样色度像素2(仅指示2个像素)的滑动输入窗口3。输出窗口4包括全分辨率的4个亮度像素1(仅指示1个像素)。图4b)将滑动输入窗口示为矩阵。输入矩阵L表示亮度分量li,j，矩阵R表示经子采样色度分量ri,j，而矩阵C表示(未知的)全分辨率色度分量ci,j。
本发明的色度重构算法可基于编码设备的子采样滤波器以及色度像素位置。该算法还可适配其它子采样滤波器和/或色度像素位置。对于色度重构，每一帧可以用可以独立地在任何方向上移动的滑动输入窗口3来分析。大窗口大小具有较低的跨分量相关概率。最小滑动输入窗口3应至少具有经子采样色度分量中的2×2个像素。为了在亮度分量中定义匹配的滑动输入窗口，滤波器和色度像素位置应被计及。由于四接头滤波器对输出c0,0使用四个位置(例如，r0,0、r1,0、r2,0和r3,0)，因此全分辨率分量的窗口大小可以是6乘3个像素。每一窗口具有四个输出像素r2,1、r2,2、r3,1和r3,2。
为了决定这些像素是否表示人造屏幕内容，每一帧可通过在该帧上滑动窗口并分两步评估像素来分析。这可重复直到该帧中的所有像素都已被分析。优选地，滑动输入窗口始终是相同的大小，该大小不变。在该方法中，分析算法和重构算法检测亮度分量是否可被用作用于重构色度分量的向导。对于该检测，使用移动窗口并且还使用至少两个分量(例如，亮度和色度)。
步骤1：
第一个步骤调查以下是否为真：如果两个像素具有相同的亮度值，则这两个像素也具有相同的色度值是高度可能的。
该步骤对于屏幕内容产生肯定结果，因为具有均匀色彩的大量像素可位于滑动窗口中。
表格I
表I示出了像素的等式1中的部分lm,n＝lm,n为真(即，窗口中的(i,j)和(m,n)处的像素具有相同的亮度值)的概率P(L)。P(C/L)是像素的等式1作为一个整体为真(即，(i,j)和(m,n)处的像素具有相同的亮度值和相同的色度值)的概率。表格的上半部分包括人造屏幕内容，而表格的下半部分包括自然屏幕内容。可以看到对于人造屏幕内容P(L)和P(C/L)的值非常高，而对于自然内容这些值非常低。由此，人造屏幕内容可以从自然屏幕内容中标识出。为了确定经重构值，等式1可以与在编码器中被用来对色度像素进行子采样的公式进行组合以使得获得用于经重构色度值ci,j的等式(2)到(5)：
在将ci,j转换成无符号整数8位值时，δi,j补偿舍入误差，并且范围可以是[-0:5；0:5]。注意，对于如同图3中的系统，如果上采样滤波器具有与在解码器之前使用的子采样滤波器相同的类型，则可获得最优色度重构(在解码器之后进行)。
步骤1只能在存在足够的具有相等色度值的像素以使得公式能被简化和求解时才提供解。注意，像素r2,1和r3,1未被考虑用于计算经子采样色度像素值。这些像素应具有与来自列0或2的像素相等的亮度像素值。例如，当使用梯度(例如，滑动窗口中的更多色彩)时，该假设无法决定有效解，并且该假设的输出无法被使用。引入能为这些情形提供解的第二步骤。
步骤2：
第二个步骤调查以下是否为真：色度分量具有与亮度分量相同或相逆的结构。色度分量还应具有亮度分量的最小和最大值之间的值。当色度和亮度分量之间存在类似结构时，当亮度分量增大时色度分量增大或者对于相逆情形减小。
图5用原始色度分量R、作为原始色度分量R的子采样版本的(原始)亮度分量L和C的数值示出了示例。步骤1的结果将为假，因为不存在足够的具有相等亮度值的像素来对等式(2)到(5)求解。还可以看到原始色度分量R具有与亮度分量L相逆的纹理。当D中不存在结构(即，max(D)＝min(D))时，步骤2的结果将为假，并且将使用另一常规方法来进行重构。
首先，计算亮度分量L的子采样版本D。这可根据以下等式以与编码器中所使用的子采样滤波器相似的方式完成：
表达式7示出了对于图5中的值计算D的数字结果。经子采样亮度分量D然后可以在其最小值和最大值之间被归一化为ND。
D和ND两者都可被计算为浮点数，由此不存在舍入误差。然而，色度分量C包括整数值，从而使得结果可具有舍入误差δi,j。因此，将在考虑可能的舍入误差的情况下为NC计算两个极值：
步骤2将在来自归一化的亮度分量的所有元素都在归一化的色度分量元素的范围中的情况下具有肯定结果：
注意，对于给定示例而言并非如此，因为0.564不在0.400和0.485之间。
步骤2将在两个分量中的纹理相似时具有肯定结果。
在(13)的肯定结果的情形中，色度分量R’可以如下重构：用经子采样亮度分量的最小值和最大值来归一化(全分辨率)亮度分量并且线性地将其缩放成经子采样色度分量：
R′＝(NL·(max(C)-min(C)))+min(C). (13)
在(13)的否定结果的情形中，还可测试逆归一化：
如果这保持为真(如同在数值示例中)，则亮度结构可被逆变换成经子采样色度分量。
R′＝max(C)-(NL·(max(C)-min(C))) (16)
在该示例中，如果R’被舍入，则除了r’5,2之外的所有像素都具有与图5中的输入R中的相同的经重构值。该偏离(159而不是160)是由C中的舍入误差导致的。更重要的是在亮度分量的向导下对色度分量的良好纹理重构。等式13和17将检测亮度和色度分量是否不共享类似纹理。在该情形中，将使用不具有亮度向导的常规上采样滤波器。
示例
所提出的方法用HEVC范围扩展的常见测试条件中所使用的不同序列来验证。使用两组测试序列，第一组是屏幕内容序列：cad波形、pcb布局、ppt-doc、绞线隧穿和视频会议。第二组包含相机捕捉到的自然内容：人群流、交通、笼中鸟、和服和公园风景。原始序列是YUV 4:4:4序列。对于有损压缩，使用具有具备QP值12、17、22和27的超高层(SHT)配置的HM16.2参考编解码器(“HM 16.2”是用于HEVC编解码器的标准测试模型)。“QP”是定义编码质量的量化参数(值越低，质量越高)。使用主层QP配置没有附加价值，因为来自压缩伪像的质量降级在考虑本文中的范围的专业应用中是不可接受的。
色度分量的改进使用PSNR和结构化SIMilarity(SSIM)[7]来客观地测量。然而，客观的质量改进对于屏幕内容而言并非始终是清楚的指示。这主要是因为PSNR基于全帧的均方差(MSE)，而屏幕内容伪像通常位于可能不均匀地分布在整个帧中的锐边周围。结果，主观质量增益有时甚至可以用小PSNR增益来标识。SSIM试图通过假定在空间上接近的像素之间的强依赖性来估计感知到的误差。在该用例中，这将提供更好的客观质量度量。改进被主观验证，并且将提供一些可视示例。
示例：无损压缩
表IIa提供了将标准HEVC/H.265提出的色度上采样用作基准或“锚”的无损压缩YUV4:2:0比特流的PSNR色度结果。使用本发明的方法的结果被称为“提案”。对于屏幕内容，改进在0.51dB(对于视频会议序列)最多到3.11dB改进(对于cad波形序列)的范围内，且所有测试序列上的均值为1.68dB。同一配置的SSIM结果可以在表IIb中找到。这些结果示出与PSNR结果相同的趋势。cad波形序列提供了0.128的最佳SSIM色度增益，而针对屏幕内容序列测得0.051的平均SSIM色度增益。虽然序列cad波形、pcb布局、ppt-doc在锚版本中具有非常不同的SSIM结果，但在所提出的方法中它们全都提供约0.925的SSIM。
表II
图6阐示了通过a)锚和b)提案获得的pcb布局序列的重构。提案示出了完美重构，而锚提供了具有较少细节的经平滑输出。对于自然内容，结果的范围从0.01dB的损失(对于人群流序列)到0.29dB的损失(对于笼中鸟序列)。对于自然内容序列，SSIM色度的平均损失是0.003。对于所测试的序列，该损失是相当微不足道的，由此无需对内容进行分类以决定是否激活所提出的倍线滤波器的算法，这是相当大的优点。
本发明涉及一种具有处理能力的用于预测色度值的装置。该装置可包括一个或多个微处理器、处理器、控制器、或中央处理单元(CPU)和/或图形处理单元(GPU)，并且可被适配成通过用软件(即，一个或多个计算机程序)编程来执行其相应功能。该装置可具有存储器(诸如非瞬态计算机可读介质、RAM和/或ROM)、操作系统、可任选的显示器(诸如固定格式显示器)、数据输入设备(诸如键盘、指点设备(诸如“鼠标”))、用于与其它设备通信的串行或并行端口、用于连接到任一网络的网卡和连接。
软件可被包含在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：
利用解码器和上采样滤波器来预测色度值，
使解码器向上采样滤波器提供图像帧，所述图像帧包括亮度和色度分量，
使上采样滤波器定义所述图像帧的子集，
以及对所述子集应用至少一个分析算法以获得子集内容类型，以及
选择至少一个重构算法来重构该子集的色度分量，其中对该至少一个重构算法的选择取决于子集内容类型，子集的最小大小是全色度分辨率下的2乘2个像素。
软件可被包含在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：
用硬件加速解码器来解码，和/或
用亮度分量的值来重构色度分量，和/或
分析算法包括调查上文提及的子集中的至少两个亮度分量是否具有相同的值的步骤。
软件可被包含在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：
分析算法包括调查色度子集是否具有与亮度子集相同或基本上相同的结构或者相同或基本上相逆的结构的步骤，和/或
重构算法包括实现上采样算法的公式的步骤，其中为了使相邻亮度分量相等，将相应的色度分量布置为相等。
软件可被包含在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：
重构算法包括用最小和最大的经子采样亮度分量来归一化全分辨率亮度分量并且线性地将其缩放成经子采样色度分量的步骤，和/或
上文提及的子集的位置被重复移动以使得最终整个帧被分析和重构。
上述任一软件可被实现为已经被编译用于解码器中的处理引擎的计算机程序产品。计算机程序产品可被存储在非瞬态信号存储介质(诸如光盘(CD-ROM或DVD-ROM)、数字磁带、磁盘、固态存储器(诸如USB闪存)、ROM等)上。
参考文献
[1]Apple,“Apple-ipad air-technical specifications,”https://www.apple.com/ipad-air/specs/,2014年,[在线；访问19-2014年8月]。
[2]Google,“Supported media formats,android developers,”http://developer.android.com/guide/appendix/media-formats.html,2014,[在线；访问19-2014年8月]。
[3]G.J.Sullivan,J.-R.Ohm,W.-J.Han和T.Wiegand,“Overview of the highefficiency video coding(HEVC)standard,”Circuits and Systems for VideoTechnology,IEEE学报,第22卷,第12篇,第1649–1668页,2012年。
[4]Y.Itoh和T.Ono,“Up-sampling of YCbCr 4:2:0image exploiting inter-color correlation in rgb domain,”Consumer Electronics,IEEE学报,第55卷,第4篇,第2204–2210页,2009年11月。
[5]M.Zhao,P.M.Hofman和G.de Haan,“Content-adaptive up-scaling ofchrominance using classification of luminance and chrominance data,”电子成像2004，International Society for Optics and Photonics,2004年,第721–730页。
[6]K.He,J.Sun和X.Tang,“Guided image filtering,”IEEE Transactions onPattern Analysis and Machine Intelligence,第35卷,第6篇,第1397–1409页,2013年。
[7]Zhou Wang,A.C.Bovik,H.R.Sheikh和E.P.Simoncelli,“Image qualityassessment:from error visibility to structural similarity,”Image Processing,IEEE学报,第13卷,第4篇,第600–612页,2004年4月。

Claims (17)

1.一种用于使用解码器和上采样滤波器来预测色度值的方法，所述方法包括以下步骤：
使所述解码器向所述上采样滤波器提供图像帧，所述图像帧包括亮度和色度分量，
使所述上采样滤波器定义所述图像帧的子集，并且对所述子集应用至少一个分析算法以获得子集内容类型，以及选择至少一个重构算法来重构所述子集的色度分量，其中对所述至少一个重构算法的选择取决于所述子集内容类型，其中所述子集的最小大小是全色度分辨率下的2乘2个像素。
2.如权利要求1所述的方法，其特征在于，所述解码器是硬件加速解码器。
3.如上述权利要求中的任一项所述的方法，其特征在于，所述色度分量用所述亮度分量的值来重构。
4.如上述权利要求中的任一项所述的方法，其特征在于，分析算法包括调查所述子集中的至少两个亮度分量是否具有相同的值的步骤。
5.如上述权利要求中的任一项所述的方法，其特征在于，分析算法包括调查色度子集是否具有与亮度子集相同或基本上相同的结构或者相同或基本上相逆的结构的步骤。
6.如上述权利要求中的任一项所述的方法，其特征在于，所述重构算法包括实现上采样算法的公式的步骤，其中为了使相邻亮度分量相等，将相应的色度分量布置为相等。
7.如上述权利要求中的任一项所述的方法，其特征在于，重构算法包括以下步骤：
用最小和最大经子采样亮度分量来归一化全分辨率亮度分量，并且线性地将所述全分辨率亮度分量缩放成经子采样色度分量。
8.如上述权利要求中的任一项所述的方法，其特征在于，所述子集的位置被重复移动以使得最终整个图像帧被分析和重构。
9.一种用于预测色度值的设备，包括：被布置成接收和提供图像帧的解码器，所述图像帧包括亮度和色度分量；以及，被布置成从所述解码器接收图像帧的上采样单元，所述上采样单元包括上采样滤波器和用于执行重构的装置，其中对于所述图像帧的每一子集，所选重构算法取决于该子集的内容类型，其中所述子集的最小大小是全色度分辨率下的2乘2个像素。
10.如权利要求9所述的设备，其特征在于，所述解码器是硬件加速解码器。
11.如权利要求9或10所述的设备，其特征在于，所述上采样单元被适配成用所述亮度分量的值来重构所述色度分量。
12.如权利要求9到11中的任一项所述的设备，其特征在于，进一步包括被适配成调查所述子集中的至少两个亮度分量是否具有相同的值的分析算法装置。
13.如权利要求9到12中的任一项所述的设备，其特征在于，进一步包括被适配成调查色度子集是否具有与亮度子集相同或基本上相同的结构或者相逆的结构或基本上相逆的结构的分析算法装置。
14.如权利要求9到13中的任一项所述的方法，其特征在于，所述重构算法被配置成实现上采样算法的公式，其中为了使相邻亮度分量相等，相应的色度分量被布置为相等。
15.如权利要求9到14中的任一项所述的设备，其特征在于，所述用于执行重构的装置被适配成用最小和最大经子采样亮度分量来归一化全分辨率亮度分量，并且线性地将所述全分辨率亮度分量缩放成经子采样色度分量。
16.如权利要求9到15中的任一项所述的设备，其特征在于，被进一步适配成重复地移动以上提及的子集的位置以使得最终整个帧被分析和重构。
17.一种包括携带指令的机器可读介质的计算机程序产品，所述指令在由处理器执行时使所述处理器执行如权利要求1到8中的任一项所述的方法。
CN201680006025.XA 2015-01-15 2016-01-15 用于色度重构的方法和装置 Pending CN107211115A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1500719.8A GB201500719D0 (en) 2015-01-15 2015-01-15 Method for chromo reconstruction
GB1500719.8 2015-01-15
PCT/EP2016/050775 WO2016113396A1 (en) 2015-01-15 2016-01-15 Method and apparatus for chroma reconstruction

Publications (1)

Publication Number Publication Date
CN107211115A true CN107211115A (zh) 2017-09-26

Family

ID=52630679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006025.XA Pending CN107211115A (zh) 2015-01-15 2016-01-15 用于色度重构的方法和装置

Country Status (5)

Country Link
US (1) US10552876B2 (zh)
EP (1) EP3245786A1 (zh)
CN (1) CN107211115A (zh)
GB (1) GB201500719D0 (zh)
WO (1) WO2016113396A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858903A (zh) * 2018-08-22 2020-03-03 华为技术有限公司 色度块预测方法及装置
WO2020048430A1 (zh) * 2018-09-03 2020-03-12 华为技术有限公司 色度块预测方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
US10771797B2 (en) 2018-07-30 2020-09-08 Logmein, Inc. Enhancing a chroma-subsampled video stream
KR20210141683A (ko) * 2019-03-25 2021-11-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 요소의 예측 방법, 인코더, 디코더 및 컴퓨터 저장 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513053A (zh) * 2005-03-18 2009-08-19 夏普株式会社 用于图像上采样的方法和系统
CN102132563A (zh) * 2008-08-25 2011-07-20 微软公司 可伸缩视频编码和解码中的转换操作
CN102792698A (zh) * 2010-02-18 2012-11-21 高通股份有限公司 用于运动内插法的色度高精度运动滤波
CN102957912A (zh) * 2011-08-09 2013-03-06 杜比实验室特许公司 视频编码中的受指导图像上采样
CN103202016A (zh) * 2010-10-13 2013-07-10 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
CN103650512A (zh) * 2011-07-12 2014-03-19 英特尔公司 基于亮度的色度帧内预测
WO2014055310A1 (en) * 2012-10-01 2014-04-10 Microsoft Corporation Frame packing and unpacking higher-resolution chroma sampling formats

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
TW200742449A (en) * 2006-04-28 2007-11-01 Realtek Semiconductor Corp Image processing circuit and method
US9013511B2 (en) 2006-08-09 2015-04-21 Qualcomm Incorporated Adaptive spatial variant interpolation for image upscaling
US8422783B2 (en) * 2008-06-25 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for region-based up-scaling
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
JP4521468B1 (ja) 2009-02-25 2010-08-11 株式会社東芝 画像処理装置及び画像処理方法
JP4960463B2 (ja) 2010-01-28 2012-06-27 株式会社東芝 映像信号処理装置及び映像信号処理方法
JP5112528B2 (ja) 2011-03-01 2013-01-09 株式会社東芝 映像表示装置及び映像処理方法
CN104769950B (zh) * 2012-09-28 2018-11-13 Vid拓展公司 用于视频编码中的色度信号增强的交叉平面滤波
WO2014201353A1 (en) * 2013-06-14 2014-12-18 General Instrument Corporation Re-sampling filters for scalable video coding
GB2516110B (en) * 2013-07-12 2020-01-08 Barco Nv Guided image filtering for image content
US10397607B2 (en) 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
JP2015144423A (ja) * 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
KR20160105861A (ko) * 2014-01-02 2016-09-07 브이아이디 스케일, 인크. 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들
US9779491B2 (en) * 2014-08-15 2017-10-03 Nikon Corporation Algorithm and device for image processing
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
GB2543779B (en) * 2015-10-27 2018-07-25 Imagination Tech Ltd Systems and methods for processing images of objects
US10250892B2 (en) * 2015-11-04 2019-04-02 Nvidia Corporation Techniques for nonlinear chrominance upsampling

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101513053A (zh) * 2005-03-18 2009-08-19 夏普株式会社 用于图像上采样的方法和系统
CN102132563A (zh) * 2008-08-25 2011-07-20 微软公司 可伸缩视频编码和解码中的转换操作
CN102792698A (zh) * 2010-02-18 2012-11-21 高通股份有限公司 用于运动内插法的色度高精度运动滤波
CN103202016A (zh) * 2010-10-13 2013-07-10 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
CN103650512A (zh) * 2011-07-12 2014-03-19 英特尔公司 基于亮度的色度帧内预测
CN102957912A (zh) * 2011-08-09 2013-03-06 杜比实验室特许公司 视频编码中的受指导图像上采样
WO2014055310A1 (en) * 2012-10-01 2014-04-10 Microsoft Corporation Frame packing and unpacking higher-resolution chroma sampling formats

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "CE6.a.4: Chroma intra prediction by reconstructed luma samples", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11，JCTVC-E266》 *
THIJS VERMEIR: "AhG8: Guided Image Filtering for Screen Content Coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING，JCTVC-N0148》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858903A (zh) * 2018-08-22 2020-03-03 华为技术有限公司 色度块预测方法及装置
WO2020048430A1 (zh) * 2018-09-03 2020-03-12 华为技术有限公司 色度块预测方法及装置

Also Published As

Publication number Publication date
US20170352062A1 (en) 2017-12-07
EP3245786A1 (en) 2017-11-22
GB201500719D0 (en) 2015-03-04
WO2016113396A1 (en) 2016-07-21
US10552876B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
Mohammadi et al. Subjective and objective quality assessment of image: A survey
Sheikh et al. An information fidelity criterion for image quality assessment using natural scene statistics
Sheikh et al. Image information and visual quality
Ciancio et al. No-reference blur assessment of digital pictures based on multifeature classifiers
Gao et al. Image quality assessment and human visual system
CN107211115A (zh) 用于色度重构的方法和装置
JP5483819B2 (ja) 二次元停止画像に対して没入感を生成する方法およびシステム、または没入感を生成するためのファクタ調節方法、イメージコンテンツ分析方法およびスケーリングパラメータ予測方法
CN108470350B (zh) 折线图中的折线分割方法及装置
Temel et al. Perceptual image quality assessment through spectral analysis of error representations
Wang et al. Novel spatio-temporal structural information based video quality metric
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US7812857B2 (en) Edge analysis in video quality assessment
WO2019037739A1 (zh) 图像处理参数获取方法、可读存储介质和计算机设备
WO2014070273A1 (en) Recursive conditional means image denoising
RU2654501C2 (ru) Субдискретизация сигнала цветности
US20150326878A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
Shi et al. Study on subjective quality assessment of screen content images
US20160241884A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains for use in data compression with motion compensation
KR20150093993A (ko) 초해상도 영상 복원 방법 및 장치
Kottayil et al. Blind quality estimation by disentangling perceptual and noisy features in high dynamic range images
Goodall et al. Blind picture upscaling ratio prediction
Ciocca et al. How to assess image quality within a workflow chain: an overview
US8897378B2 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
Pal et al. Super-resolution of textual images using autoencoders for text identification
Zhai Recent advances in image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201106

AD01 Patent right deemed abandoned