CN102780887A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本公开涉及图像处理设备和图像处理方法。所述图像处理设备包括：编码处理单元，用于对输入图像数据进行压缩编码处理，以获得编码数据；附加信息生成单元，用于根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时，使用的附加信息；和数据输出单元，用于将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。

Description

图像处理设备和图像处理方法

技术领域

本公开涉及图像处理设备和图像处理方法。更具体地说，本公开涉及通过对图像数据进行诸如预测编码技术之类的压缩编码处理，获得编码数据的图像处理设备等。

背景技术

过去，当在输入图像数据的编码和解码之后，进行图像质量增强处理时，这样的编码和解码处理，及图像质量增强处理是独立进行的，从而只有图像数据从解码处理被传送给图像质量增强处理。这导致编码和解码处理不利地影响图像质量增强处理的问题。

例如，当编码和解码处理已导致图像的退化时，在一些情况下，图像质量增强处理会强化所述退化。在这种情况下，必须削弱图像质量增强处理的总体效果，以便防止强化所述退化，或者降低压缩比，以减小在编码和解码处理中引起的退化，或者换句话说，增大传送率。另外，当编码和解码处理极大地改变了图像的空间-时间分辨率时，存在图像质量增强处理不能获得足够效果的情况。

例如，日本特开2001-285881号公报试图通过在后续的图像质量增强处理中，使用在解码处理中参考的解码处理附加信息，解决该问题。不过，不存在解码处理附加信息包括可用于该用途的信息的保证，导致当不包括有用信息时，没有任何效果的问题。

发明内容

本发明目的在于有利地对经过编码和解码的图像数据，进行诸如图像质量增强处理之类的图像处理。

按照本公开的一个实施例，提供一种图像处理设备，包括编码处理单元，用于对输入图像数据进行压缩编码处理，以获得编码数据，附加信息生成单元，用于根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定的图像处理时使用的附加信息，和数据输出单元，用于将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。

按照本公开，编码处理单元对输入图像数据进行压缩编码处理，从而获得编码数据。附加信息生成单元还根据与输入图像数据相关的附加信息生成信息，生成附加信息。当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定的图像处理时，使用该附加信息。数据输出单元随后将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。例如，输出其中附加信息被混合到编码数据中的混合数据。

按照本公开，在对经过编码和解码的图像数据的图像处理中使用的附加信息是和编码数据一起传送的。这意味在对经过编码和解码的图像数据的图像处理期间，能够利用附加信息，进行有利的处理。

对通过对编码数据进行压缩解码处理而获得图像数据进行的规定图像处理可以是图像质量增强处理，附加信息生成单元生成的附加信息可以是当进行图像质量增强处理时使用的信息。

例如，图像质量增强处理是锐化处理或者对比度校正处理，附加信息生成单元生成表示是否由于压缩编码处理丢失了高频信息，或者丢失了色调信息的信息，作为附加信息。在这种情况下，例如，附加信息生成单元可生成与输入图像数据的空间活动性，和通过对编码数据进行压缩解码处理而获得的图像数据的空间活动性之间的差相关的信息，作为附加信息。

在这种情况下，当附加信息表示由于压缩编码处理，丢失了高频信息时，进行锐化处理，作为图像质量增强处理，当附加信息表示由于压缩编码处理，丢失了色调信息时，进行对比度校正处理(平滑处理)，作为图像质量增强处理。通过利用附加信息，有利地对经过编码和解码的图像数据进行锐化处理或对比度校正处理。

又例如，图像质量增强处理是降噪处理，附加信息生成单元生成表示由于压缩编码处理产生的退化(噪声)的大小的信息，作为附加信息。这种情况下，附加信息生成单元生成关于输入图像数据和通过对编码数据进行压缩解码处理而获得的图像数据之间的绝对差的最大值的信息，作为附加信息。这种情况下，通过利用附加信息，有利地对经过编码和解码的图像数据进行降噪处理。

在本公开中，例如，对通过对编码数据进行压缩解码处理而获得的图像数据进行的规定图像处理可以是放大指定对象的区域的图像放大处理，附加信息生成单元生成的附加信息可以是通过根据输入图像数据进行指定对象的检测处理而获得的指定对象的区域信息。通过利用附加信息，有利地对经过编码和解码的图像数据进行放大诸如面部之类的指定对象区域的图像放大处理。

按照本公开的另一个实施例，提供一种图像处理设备，包括分离单元，用于从其中混合了编码数据和当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息的混合数据中，分离编码数据和附加信息，解码处理单元，用于对分离单元分离的编码数据进行压缩解码处理，以获得图像数据，和图像处理单元，用于利用分离单元分离的附加信息，对解码处理单元获得的图像数据进行规定图像处理，以获得输出图像数据。

按照本公开，分离单元从混合数据中，分离编码数据和附加信息。这里，附加信息是当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的信息。规定的图像处理是图像质量增强处理(锐化处理，对比度校正处理或者降噪处理)，面部区域放大处理等等。解码处理单元对编码数据进行压缩解码处理，从而获得图像数据。随后，图像处理单元利用附加信息，有利地对图像数据进行规定的图像处理。

按照本公开，能够有利地对经过编码和解码的图像数据进行诸如图像质量增强处理之类的图像处理。

附图说明

图1是表示按照本公开的第一实施例的图像传送系统的例证结构的方框图；

图2A和2B是用于其中说明图像质量增强处理是锐化处理和对比度校正处理的例子的示图；

图3是表示构成发射器一侧的图像处理设备的附加信息生成单元的例证结构的方框图；

图4是用于说明活动性计算单元的活动性计算操作的示图；

图5是表示构成发热器一侧的图像处理设备的图像质量增强处理单元的例证结构的方框图；

图6A和6B是表示类别分类自适应处理中的类别抽头和预测抽头的例证模式的示图；

图7是表示生成在类别分类自适应处理中使用的预测系数组的生成设备的例证结构的方框图；

图8是表示构成接收器一侧的图像处理设备的图像质量增强处理单元的例证结构的方框图；

图9是表示构成接收器一侧的图像处理设备的图像质量增强处理单元的另一个例证结构的方框图；

图10是用于说明图像质量增强处理是降噪处理的情况的示图；

图11是表示构成发射器一侧的图像处理设备的附加信息生成单元的另一个例证结构的方框图；

图12是表示构成接收器一侧的图像处理设备的图像质量增强处理单元的另一个例证结构的方框图；

图13是表示按照本公开的第二实施例的图像传送系统的例证结构的方框图。

具体实施方式

下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。

本公开的实施例是按照以下顺序说明的。

1.第一实施例

2.第二实施例

3.变形例

1.第一实施例

图像传送系统的结构

图1表示作为本公开的第一实施例的图像传送系统10的例证结构。图像传送系统10是通过借助传送路径300，连接在发射器一侧(记录侧)的图像处理设备100和在接收器一侧(再现侧)的图像处理设备200构成的。表述“传送路径300”包括诸如网络之类的通信路径，和诸如记录介质，例如光盘或存储器之类的记录/再现单元。

图像处理设备100包括编码处理单元101、附加信息生成单元102和编码数据/附加信息混合单元103。编码数据/附加信息混合单元103构成本公开的“数据输出单元”。编码处理单元101对输入图像数据A1进行按照诸如MPEG2之类的编码技术的压缩编码处理，以获得编码数据A2。编码数据A1包括解码处理所需的附随信息(解码附加信息)。

下面说明解码附加信息的例子。

(1)信号类型信息，比如分量信号中的分量(Y、U、V分量，Y、Pr、Pb分量，R、G、B分量等等)。

(2)图像格式信息，比如隔行/逐行标识信息，场频或帧频(时间分辨率信息)，表示水平分辨率和垂直行数的图像尺寸信息(空间分辨率信息)，和诸如4∶3或16∶9之类的长宽比信息。

(3)诸如传送比特率(压缩率)信息之类的图像质量信息。

(4)运动向量，比如表示水平和垂直运动的信息。

根据与输入图像数据A1相关的附加信息生成信息A3，附加信息生成单元102生成有用的附加信息A4，附加信息A4将用于在接收器一侧，对通过对编码数据A2进行压缩解码处理而获得的图像数据进行的图像质量增强处理。附加信息生成信息A3可以是输入图像数据A1、编码数据A2等等。附加信息A4完全不同于前面说明的解码附加信息。

编码数据/附加信息混合单元103把附加信息生成单元102生成的附加信息A4混合到编码处理单元101获得的编码数据A2中，从而获得混合数据A5。混合数据构成“传送数据”，通过传送路径300，被发送给在接收器一侧的图像处理设备200。附加信息生成单元102生成的附加信息A4将在后面详细说明。

信息处理设备200包括编码数据/附加信息分离单元201、解码处理单元202和图像质量增强处理单元203。编码数据/附加信息分离单元201从混合数据A5中分离编码数据A2和附加信息A4。解码处理单元202对用编码数据/附加信息分离单元201分离的编码数据A2进行压缩解码处理，以获得图像数据A6。

图像质量增强处理单元203利用由编码数据/附加信息分离单元201分离的附加信息，对解码处理单元202获得的图像数据A6进行图像质量增强处理，并输出输出图像数据A7。图像质量增强处理是提高图像的质量的处理，例如可包括锐化处理、对比度校正处理、降噪处理、空间分辨率增大处理和时间分辨率增大处理。图像质量增强处理单元203将在后面详细说明。

现在简要说明图1中所示的图像传送系统10的操作。首先，说明在发射器一侧的图像处理设备100的操作。输入图像数据A1被提供给编码处理单元101。在编码处理单元101中，按照诸如MPEG2之类的编码技术，对输入图像数据A1进行压缩编码处理，以获得编码数据A2。编码数据A2被提供给编码数据/附加信息混合单元103。

与输入图像数据A1相关的附加信息生成信息A3，例如，输入图像数据A1、编码数据A2等从编码处理单元101被提供给附加信息生成单元102。附加信息生成单元102根据附加信息生成信息A3，生成当在接收器一侧，对通过对编码数据A2进行压缩解码处理而获得的图像数据进行图像质量增强处理时将使用的有用附加信息A4。附加信息A4被提供给编码数据/附加信息混合单元103。

在编码数据/附加信息混合单元103中，获得其中附加信息A4被混合到编码数据A2中的混合数据A5。混合数据A5通过传送路径300，被发送给在接收器一侧的图像处理设备200。

下面，说明在接收器一侧的图像处理设备200的操作。混合数据A5被提供给编码数据/附加信息分离单元201。在编码数据/附加信息分离单元201中，从混合数据A5中分离编码数据A2和附加信息A4。编码数据A2被提供给解码处理单元202。附加信息A4被提供给图像质量增强处理单元203。

在解码处理单元202中，对编码数据A2进行压缩解码处理，从而获得图像数据A6。此时，解码处理单元202利用包含在编码数据A2中的解码附加信息。图像数据A6被提供给图像质量增强处理单元203。在图像质量增强处理单元203中，利用由编码数据/附加信息分离单元201分离的附加信息A4，对由解码处理单元202获得的图像数据A6进行图像质量增强处理，比如锐化处理、对比度校正处理或者降噪处理。之后，通过图像质量增强处理生成的图像数据，作为输出图像数据A7，从图像质量增强处理单元203输出。

图像质量增强处理和附加信息的详细说明

下面详细说明由图像质量增强处理单元203进行的图像质量增强处理，和由附加信息生成单元102生成的附加信息A4。

(1)当图像质量增强处理是锐化处理或者对比度校正处理时

首先，说明其中图像质量增强处理是锐化处理或者对比度校正处理的情况。

尽管当进行压缩编码处理时，丢失图像信息是常见的，不过，图像质量增强处理的处理将随哪些信息被丢失而不同。由于不可能从解码图像数据本身了解哪些信息已丢失，因此在解码期间，不可能重新产生这样的信息。

例如，如图2A中所示，如果解码图像数据是其中从输入图像数据中丢失了高频信息的数据，那么作为图像质量增强处理，可取的是进行锐化处理。又例如，如图2B中所示，如果解码图像数据是其中从输入图像数据中丢失了色调信息的数据，那么作为图像质量增强处理，可取的是进行对比度校正处理(平滑处理)。

这种情况下，由在发射器一侧的图像处理设备100中的附加信息生成单元102生成的附加信息A4是表示是否由于压缩编码处理，已丢失高频信息，或者是否由于压缩编码处理，已丢失色调信息的信息。

图3表示附加信息生成单元102的例证结构。附加信息生成单元102包括解码处理单元111和活动性计算单元112。解码处理单元111和在接收器一侧的图像处理设备200的解码处理单元202(参见图1)相同，对编码数据A2进行压缩解码处理，以获得图像数据A6′。

活动性计算单元112生成与输入图像数据A1的空间活动性B1和解码图像数据A6′的空间活动性B2之间的差相关的信息，作为附加信息A4。即，如图4中所示，活动性计算单元112分别把输入图像数据A1和解码图像数据A6′分成多个M水平像素×N垂直像素的块，并计算每个块的空间活动性B1和B2。

输入图像数据A1的空间活动性B1以式(1)表述。

数学式1

$B1=$

$\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-2}{\mathrm{\Σ}}}{(k1(i,j)-k1(i+1,j))}^2+\underset{j=0}{\overset{N-2}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(k1(i,j)-k1(i,j+1))}^2\·\·\·\left(1\right)$

解码图像数据A6′的空间活动性B2由式(2)表述。

数学式2

$B2=$

$\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-2}{\mathrm{\Σ}}}{(k2(i,j)-k2(i+1,j))}^2+\underset{j=0}{\overset{N-2}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(k2(i,j)-k2(i,j+1))}^2\·\·\·\left(2\right)$

这里，空间活动性B1、B2分别表示在输入图像数据A1和解码图像数据A6′中的各个块内的像素值的变化幅度。如果B1＞B2，那么能够推断由于编码，丢失了高频信息，如果B1＜B2，那么能够推断由于编码，丢失了色调信息。例如，活动性计算单元112可不修正地输出差值B1-B2，作为每个块的附加信息A4，或者可以利用阈值TH1、TH2、TH3来减少确定和输出附加信息A4的数据量，如式(3)中所示。

数学式3

$A4=\left\{\begin{array}{ccc}0& \mathrm{When}& B1-B2>\mathrm{TH}1\\ 1& \mathrm{When}& \mathrm{TH}1\≥B1-B2>\mathrm{TH}2\\ 2& \mathrm{When}& \mathrm{TH}2\≥B1-B2>\mathrm{TH}3\\ 3& \mathrm{When}& \mathrm{TH}3\≥B1-B2\end{array}\right.\·\·\·\left(3\right)$

下面，说明图3中所示的附加信息生成单元102的操作。编码处理单元101获得的编码数据A2被提供给解码处理单元111。在解码处理单元111中，对编码数据A2进行压缩解码处理，从而获得图像数据A6′。图像数据A6′被提供给活动性计算单元112。

输入图像数据A1也被提供给活动性计算单元112。在活动性计算单元112中，对于每个块，计算输入图像数据A1的空间活动性B1和解码图像数据A6′的空间活动性B2。之后，活动性计算单元112为每个块，计算与活动性B1、B2之间的差值相关的信息。之后，与这样的差值，比如B1-B2相关的信息，或者上面给出的式(3)中的信息作为附加信息A4，从活动性计算单元112被提供给编码数据/附加信息混合单元103。

图5表示图像质量增强处理单元203的例证结构。本例证结构是其中通过对解码之后的图像数据应用已知的类别分类自适应处理，提高图像质量的例子。图像质量增强处理单元203包括附加信息类别生成单元211、类别抽头选择单元212、预测抽头选择单元213、特征提取单元214、类别码生成单元215、预测系数ROM 216和预测计算单元217。

附加信息类别生成单元211根据从编码数据/附加信息分离单元201分离的附加信息A4，生成附加信息类别。例如，附加信息类别是利用如上面给出的式(3)中所示的阈值TH1、TH2和TH3分类的4种以上类型中的一种类型。

类别抽头选择单元212从解码处理单元202获得的图像数据A6中，有选择地提取位于输出图像数据A7中的关注位置周围的多个像素数据，作为类别抽头的数据。图6A表示作为类别抽头的数据提取的多个像素数据的例证模式。在该例子模式中，利用由关注像素和周围的多个像素组成的总共7个像素，设定类别抽头。

预测抽头选择单元213从用解码处理单元202获得的图像数据A6中，有选择地提取位于输出图像数据A7中的关注位置周围的多个像素数据，作为预测抽头的数据。图6B表示作为预测抽头的数据，提取的多个像素数据的例证模式。在该例子模式中，利用由关注像素和周围的多个像素组成的总共13个像素，设定预测抽头。注意在图6A和6B中，实线表示第一场，虚线表示第二场。

特征提取单元214对作为类别抽头选择单元212提取的类别抽头的数据的多个像素数据，进行数据压缩处理，从而生成压缩码。在本实施例中，特征提取单元214进行1比特ADRC(自适应动态范围编码)处理，从而生成ADRC码。ADRC找出类别抽头中的像素值的最大值和最小值，计算作为最大值和最小值之间的差值的动态范围，并且与动态范围一致地进行相应像素值的再量化。借助1比特ADRC，像素值被转换成表示像素值是否大于或小于抽头中的多个像素值的平均值的1比特值。

类别码生成单元215根据附加信息类别生成单元211生成的附加信息类别，和特征提取单元214提取的ADRC码，生成表示类别分类的结果的类别码。预测系数ROM 216输出与类别码生成单元215生成的类别码对应的预测系数组。预测系数组由后面说明的学习处理预先决定，并以类别码作为地址，针对每个类别被保存在预测系数ROM216中。

预测计算单元217利用作为由预测抽头选择单元213提取的预测抽头的数据的多个像素数据x_i，和系数数据w_i，根据如在式(4)中所示的估计公式，计算在输出图像处理A7中的关注位置的像素数据y。

y＝w₁×x₁+w₂×x₂+...+w_n×x_n    ...(4)

下面，说明图5中所示的图像质量增强处理单元203的操作。用编码数据/附加信息分离单元201分离的附加信息A4被提供给附加信息类别生成单元211。在附加信息类别生成单元211中，根据附加信息A4，生成附加信息类别。附加信息类别被提供给类别码生成单元215。

解码处理单元202获得的图像数据A6被提供给类别抽头选择单元212。类别抽头选择单元212从图像数据A6中，有选择地提取位于输出图像数据A7中的关注位置周围的多个像素数据，作为类别抽头的数据。类别抽头的数据被提供给特征提取单元214。

特征提取单元214对作为类别抽头的数据的多个像素数据，进行1比特ADRC处理，从而生成ADRC码。ADRC码被提供给类别码生成单元215。类别码生成单元215根据附加信息类别生成单元211生成的附加信息类别，和特征提取单元214提取的ADRC码，生成表示分类成类别的结果的类别码。

类别码生成单元215按照这种方式生成的类别码，作为地址被提供给预测系数ROM 216。之后，从预测系数ROM 216输出与类别码对应的预测系数组。预测系数组被提供给预测计算单元217。

解码处理单元202获得的图像数据A6还被提供给预测抽头选择单元213。在预测抽头选择单元213中，从图像数据A6中，有选择地提取在输出图像数据A7中的关注位置周围的多个像素数据，作为关于预测抽头的数据。关于预测抽头的数据随后被提供给预测计算单元217。

在预测计算单元217中，根据诸如在式(4)所示的估计公式之类的估计公式，作为关于预测抽头的数据的多个像素数据x_i和系数数据w_i，被用于求出输出图像数据A7中的关注位置的像素数据y。在图像质量增强处理单元203中，通过顺序地改变上面说明的关注位置，计算输出图像数据A7中的每个位置的像素数据。

在图5中所示的图像质量增强处理单元203中，附加信息类别随是否附加信息A4表示由于压缩编码处理丢失了高频信息，或者是否附加信息A4表示由于压缩编码处理丢失了色调信息而不同。因此，从预测系数ROM 216输出的预测系数组被用于进行从解码处理单元202获得的图像数据A6恢复丢失的数据的处理。

即，如果从解码处理单元202获得其中丢失了高频信息的图像数据A6，那么从预测系数ROM 216输出用于进行恢复丢失的高频信息的锐化处理的预测系数组。因而，在这种情况下，从预测计算单元217输出的输出图像数据A7是通过对图像数据A6进行锐化处理而产生的数据。

同时，如果从解码处理单元202获得其中丢失了色调信息的图像数据A6，那么从预测系数ROM 216输出用于进行恢复丢失的色调信息的对比度校正处理(平滑处理)的预测系数组。因而，在这种情况下，从预测计算单元217输出的输出图像数据A7是通过对图像数据A6进行对比度校正处理而产生的数据。

下面，说明学习，或者换句话说，计算每个类别的预测系数组的处理。在这种情况下，通过根据与将用类别分类自适应处理预测的图像数据对应的图像数据(教师数据)，和通过对教师数据进行编码和解码处理而获得的图像数据(学生数据)，进行规定的处理，计算预测系数组。这里，教师数据是由于压缩编码处理，丢失高频信息、色调信息等之前的图像数据。另外，学生数据是由于压缩编码处理，丢失高频信息、色调信息等之后的图像数据。

图7表示预测系数组生成设备400的例证结构。预测系数组生成设备400包括编码处理单元401、附加信息生成单元403和解码处理单元402。预测系数组生成设备400还包括附加信息类别生成单元404、类别抽头选择单元405、预测抽头选择单元406和特征提取单元407。预测系数组生成设备400还包括类别码生成单元408、正规方程加法单元409、预测系数计算单元410和存储器411

编码处理单元401通过利用诸如MPEG2之类的编码技术，对教师数据进行压缩编码处理，获得编码数据。编码数据包括解码处理中所需的附随信息(解码附加信息)。编码处理单元401对应于前面说明的图像处理100的编码处理单元101(参见图1，3)。解码处理单元402对用编码处理单元401获得的编码数据进行压缩解码处理，从而获得作为学生数据的图像数据。解码处理单元402对应于前面说明的图像处理设备200的解码处理单元202(参见图1，5)。

附加信息生成单元403根据与从编码处理单元401供给的教师数据相关的附加信息生成信息，生成附加信息A4。附加信息生成单元403是按照和前面说明的图3中所示的附加信息生成单元102相同的方式构成的，生成表示是否由于压缩编码处理丢失了高频信息，或者是否由于压缩编码处理丢失了色调信息的信息，作为附加信息A4。即，附加信息生成单元403生成与教师数据的空间活动性B1，和通过对编码数据进行压缩解码处理而获得的图像数据的空间活动性B2之间的差值相关的信息，作为附加信息A4。

附加信息类别生成单元404根据附加信息生成单元403生成的附加信息A4，生成附加信息类别。例如，附加信息类别是利用如在前面说明的式(3)中所示的阈值TH1、TH2和TH3分类的4种以上类型中的一种。附加信息类别生成单元404对应于前面说明的图像质量增强处理单元203的附加信息类别生成单元211(参见图5)。

类别抽头选择单元405从利用解码处理单元402获得的学生数据中，有选择地提取位于教师数据中的关注位置周围的多个像素数据，作为类别抽头的数据。预测抽头选择单元406从利用解码处理单元402获得的学生数据中，有选择地提取位于教师数据中的关注位置周围的多个像素数据，作为预测抽头的数据。这些抽头选择单元405、406分别对应于前面说明的图像质量增强处理单元203的抽头选择单元212、213。

特征提取单元407对作为类别抽头选择单元405提取的类别抽头的数据的多个像素数据，进行1比特ADRC处理，从而生成ADRC码。特征提取单元407对应于前面说明的图像质量增强处理单元203的特征提取单元214(参见图5)。

类别码生成单元408根据附加信息类别生成单元404生成的附加信息类别，和特征提取单元407提取的ADRC码，生成表示分类成类别的结果的类别码。类别码生成单元408对应于前面说明的图像质量增强处理单元203的类别码生成单元215(参见图5)。

正规方程加法单元409根据预测抽头选择单元406提取的预测抽头的数据，和教师数据，进行规定的计算处理，以生成把与从类别码生成单元408供给的类别码对应的预测系数组作为解答的正规方程(normal equation)的数据。预测系数计算单元410进行根据用正规方程加法单元409生成的正规方程的数据，求解正规方程的计算处理。存储器411保存由预测系数计算单元410计算的相应类别码的预测系数组。存储器411的保存内容被载入前面说明的图5中所示的图像质量增强处理单元203的预测系数ROM 216中。

现在说明正规方程。在上面说明的式(4)中，在学习之前，预测系数组w₁，...，w_n都是未定义的系数。通过输入每个类别的多个教师数据，进行学习。如果教师数据的类型的数目被表示成m，那么从式(4)设定式(5)。

y_k＝w₁×x_k1+w₂×x_k2+...+w_n×x_kn  (其中k＝1，2，...，m)...(5)

由于当m＞n时，预测系数w₁，...，w_n未被唯一确定，因此用下面的式(6)定义误差向量e的元素e_k，确定预测系数组，以使利用式(7)定义的误差向量e最小化。即，利用所谓的最小二乘法，唯一地确定预测系数组。

e_k＝y_k-{w₁×x_k1+w₂×x_k2+...+w_n×x_kn}(其中k＝1，2，...，m)...(6)

数学式4

$e^2=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}{e_k}^2\·\·\·\left(7\right)$

作为计算使式(7)中的e²最小化的预测系数组的实际计算方法，

如式(8)中所示，能够对于预测系数w_i(i＝1，2，...)偏微分e²，和确定相应的预测系数w_i，以致关于i的每个值的偏导数为0。

数学式5

$\frac{\∂e^2}{\∂w_i}=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}2\left(\frac{\∂e_k}{\∂w_i}\right)e_k=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}2x_{\mathrm{ki}}\·e_k\·\·\·\left(8\right)$

下面，说明从式(8)，确定各个预测系数w_i的具体过程。如果X_ji，Y_i由式(9)和式(10)定义，那么式(8)可被写成式(11)中的行列式。

数学式6

$X_{\mathrm{ji}}=\underset{p=0}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{\π}}\·x_{\mathrm{pj}}\·\·\·\left(9\right)$

数学式7

$Y_i=\underset{k=0}{\mathrm{\Σ}}{x}_{\mathrm{ki}}\·y_k\·\·\·\left(10\right)$

数学式8

$\left[\begin{array}{cccc}{X}_{11}& X_{12}& \·\·\·& X_{1n}\\ X_{21}& X_{22}& \·\·\·& X_{2n}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ X_{m1}& X_{m2}& \·\·\·& X_{\mathrm{mn}}\end{array}\right]\left[\begin{array}{c}{W}_1\\ W_2\\ \·\·\·\\ W_n\end{array}\right]=\left[\begin{array}{c}{Y}_1\\ Y_2\\ \·\·\·\\ Y_m\end{array}\right]\·\·\·\left(11\right)$

式(11)一般被称为正规方程。预测系数计算单元410按照典型的矩阵计算，比如扫除，进行计算处理，以求解式(11)中的正规方程，从而计算预测系数w_i。

图8表示图像质量增强处理单元203的另一个例证结构。该例证结构是其中对解码后的图像数据利用已知的类别分类自适应处理，增强图像质量的例子。在图8中，对应于图5的部分被赋予相同的附图标记，其详细说明被省略。该图像质量增强处理单元203包括附加信息类别生成单元211A、类别抽头选择单元212、预测抽头选择单元213、类别码生成单元215、预测系数ROM 216和预测计算单元217。

附加信息类别生成单元211A根据用编码数据/附加信息分离单元201分离的附加信息A4，和附加信息提取单元204提取的附加信息，生成附加信息类别。附加信息提取单元204有选择地从输出自解码处理单元202的解码附加信息(即，解码处理所需的附随信息)中，输出将用于类别分类自适应处理的附加信息。

类别码生成单元215根据用附加信息类别生成单元211A生成的附加信息类别，和用特征提取单元214提取的ADRC码，生成表示分类到类别的结果的类别码。预测系数ROM 216输出与类别码生成单元215生成的类别码对应的预测系数组。

图8中所示的图像质量增强处理单元203的其余部分是按照和图5所示的图像质量增强处理单元203相同的方式构成的，并按照相同的方式工作。即，就图8中所示的图像质量增强处理单元203来说，在附加信息A4表示由于压缩编码处理丢失了高频信息的情况，和附加信息A4表示由于压缩编码处理丢失了色调信息的情况之间，附加信息类别不同。

这意味从预测系数ROM 216输出的预测系数组是用于进行从解码处理单元202获得的图像数据A6恢复已丢失数据的处理的信息。即，在图像质量增强处理单元203中，对图像数据A6自适应地进行锐化处理或者对比度校正处理，以便有利地提高图像质量。

图8中所示的图像质量增强处理单元203还被配置成当在附加信息类别生成单元211A中生成附加信息类别时，参考附加信息A4，以及由附加信息提取单元204从解码附加信息中选择的附加信息。这意味能够提高类别分类自适应处理的预测精度，和更有利地进行图像质量增强处理。

图8中所示的图像质量增强处理单元203还被配置成当在附加信息类别生成单元211A中生成附加信息类别时，参考附加信息A4，以及由图像质量增强处理单元203从解码附加信息中选择的附加信息。这意味能够提高类别分类自适应处理的预测精度，和更有利地增强图像质量。

图9表示图像质量增强处理单元203的另一个例证结构。该图像质量增强处理单元203包括锐化处理单元221、对比度校正处理单元(平滑处理单元)222和开关223。

锐化处理单元221对用解码处理单元202获得的图像数据A6进行锐化处理，从而获得输出图像数据A7。对比度校正处理单元(平滑处理单元)222对用解码处理单元202获得的图像数据A6进行对比度校正处理(平滑处理)，从而获得输出图像数据A7。开关223把用解码处理单元202获得的图像数据A6有选择地提供给锐化处理单元221或者对比度校正处理单元222。

开关223的切换是根据用编码数据/附加信息分离单元201分离的附加信息控制的。即，如果附加信息A4表示由于压缩编码处理，丢失了高频信息，那么连接a侧，从而用解码处理单元202获得的图像数据A6被提供给锐化处理单元221。同时，如果附加信息A4表示由于压缩编码处理，丢失了色调信息，那么连接b侧，从而用解码处理单元202获得的图像数据A6被提供给对比度校正处理单元(平滑处理单元)222。

下面，说明图9中所示的图像质量增强处理单元203的操作。用编码数据/附加信息分离单元201分离的附加信息A4作为开关控制信号，被提供给开关223。如果附加信息A4表示由于压缩编码处理，丢失了高频信息，那么开关223被连接到a侧。同时，如果附加信息A4表示由于压缩编码处理，丢失了色调信息，那么开关223被连接到b侧。

因此，如果从解码处理单元202获得其中丢失了高频信息的图像数据A6，那么这样的图像数据A6通过开关223，被提供给锐化处理单元221。在锐化处理单元221中，对图像数据A6进行锐化处理。因而，在这种情况下，从图像质量增强处理单元203输出的输出图像数据A7是通过对图像数据A6进行锐化处理而产生的数据，从而具有提高的图像质量。

另外，如果从解码处理单元202获得其中丢失了色调信息的图像数据A6，那么这样的图像数据A6通过开关223，被提供给对比度校正处理单元222。在对比度校正处理单元222中，对图像数据A6进行对比度校正处理(平滑处理)。因而，在这种情况下，从图像质量增强处理单元203输出的输出图像数据A7是通过对图像数据A6进行对比度校正处理(平滑处理)而产生的数据，从而具有提高的图像质量。

(2)当图像质量增强处理是降噪处理时

下面，说明其中图像质量增强处理是降噪处理的情况。一般来说，压缩编码处理会引起数据退化，即，噪声。当在图像质量增强处理中进行降噪时，有效的是利用退化的大小，作为降噪处理中的参数。通过比较编码前后的图像数据，知道由压缩编码处理引起的退化的大小。由于不可能从解码图像数据本身了解退化的大小，因此在解码期间，不可能重新产生这样的信息。

例如，如图10中所示，如果相对于输入图像数据，解码图像数据已退化，即，如果产生了噪声，那么作为图像质量增强处理，可取的是进行降噪处理。在这种情况下，有效的是利用退化的大小(噪声的大小)d，作为降噪处理的参数。注意在图10中，表示了其中退化的大小是编码前后的差值的最大绝对值的情况。

图11表示附加信息生成单元102的例证结构。附加信息生成单元102包括解码处理单元111和绝对差计算单元113。解码处理单元111和在接收器一侧的图像处理设备200的解码处理单元202(参见图1)相同，对编码数据A2进行压缩解码处理，从而获得图像数据A6′。

绝对差计算单元113生成关于输入图像数据A1和解码图像数据A6′之间的绝对差的最大值的信息，作为附加信息A4。即，如在前面说明的图4中所示，绝对差计算单元113分别把输入图像数据A1和解码图像数据A6′分成多个M水平像素×N垂直像素的块。之后，绝对差计算单元113求出最大绝对差，最大绝对差是A1和A6′中，在相同位置的像素值之间的绝对差的块内最大值。

最大绝对差用式(12)表述。

数学式9

最大绝对差＝

max(|k1(0，0)-k2(0，0)|，|k1(0，1)-k2(0，1)|，…，|k1(M-1，N-1)-k2(M-1，N-1)|)

…(12)

最大绝对差是由编码处理单元101产生的退化(噪声)的块内最大值。绝对差计算单元113输出最大绝对差，作为每个块的附加信息A4。

下面说明图11中所示的附加信息生成单元102的操作。编码处理单元101获得的编码数据A2被提供给解码处理单元111。在解码处理单元111中，对编码数据A2进行压缩解码处理，从而获得图像数据A6′。图像数据A6′被提供给绝对差计算单元113。

输入图像数据A1也被提供给绝对差计算单元113。在绝对差计算单元113中，对于每个块，计算在输入图像数据A1和图像数据A6′中的相同位置的像素值之间的绝对差的块内最大值。之后，最大绝对差作为附加信息A4，从绝对差计算单元113被提供给编码数据/附加信息混合单元103。

图12表示图像质量增强处理单元203的例证结构。本例证结构是其中对解码后的图像数据进行降噪处理的例子。图像质量增强处理单元203包括降噪处理单元231。降噪处理单元231利用已知的ε滤波器，对用解码处理单元202获得的图像数据A6进行降噪处理，从而获得输出图像数据A7。降噪处理单元231把用编码数据/附加信息分离单元201分离的附加信息A4设定为ε的值。

下面说明图12中所示的图像质量增强处理单元203的操作。由编码数据/附加信息分离单元201分离的附加信息A4，作为ε的值被提供给降噪处理单元231。之后，在降噪处理单元231中，利用ε滤波器，对解码处理单元202获得的图像数据A6进行降噪处理，从而在降噪之后，获得输出图像数据A7。

在ε滤波器中，参数ε表示噪声的假定最大值。由于ε值被设定在附加信息A4，即，块中的最大退化，因此降噪处理单元231进行有效的降噪。

2.第二实施例

图像传送系统的结构

图13表示作为本公开的第二实施例的图像传送系统10A的例证结构。图像传送系统10A是通过经由传送路径300，连接在发射器一侧(记录侧)的图像处理设备100A和在接收器一侧(再现侧)的图像处理设备200A构成的。“传送路径300”包括诸如网络之类的通信路径，和诸如记录介质，比如光盘或存储器之类的记录/再现单元。在图13中，对应于图1的部分被赋予相同的附图标记，并酌情省略其详细说明。

图像处理设备100A包括编码处理单元101、面部识别单元102A和编码数据/附加信息混合单元103。编码数据/附加信息混合单元103构成本公开的“数据输出单元”。面部识别单元102A构成本公开的“附加信息生成单元”。编码处理单元101对输入图像数据A1，进行按照诸如MPEG2之类的编码技术的压缩编码处理，从而获得编码数据A2。编码数据A2包括解码处理所需的附随信息(解码附加信息)。

面部识别单元102A输入输入图像数据A1，作为附加信息生成信息A3。面部识别单元102A对输入图像数据A1进行已知的面部识别处理，从而检测包含在输入图像中的面部，并输出面部区域的坐标数据，作为附加信息A4。

编码数据/附加信息混合单元103把面部识别单元102A生成的附加信息A4混合到由编码处理单元101获得的编码数据A2中，从而获得混合数据A5。混合数据A5构成“传送数据”，并通过传送路径300，被传送给在接收器一侧的图像处理设备200A。

图像处理设备200A包括编码数据/附加信息分离单元201、编码处理单元202和放大处理单元203A。编码数据/附加信息分离单元201从混合数据A5中分离编码数据A2和附加信息A4。解码处理单元202对由编码数据/附加信息分离单元201分离的编码数据A2进行压缩解码处理，从而获得图像数据A6。

通过利用由编码数据/附加信息分离单元201分离的附加信息A4，即，面部区域的坐标数据，放大处理单元203A处理用解码处理单元202获得的图像数据A6，从而放大面部区域，并输出输出图像数据A7。作为放大方法，放大处理单元203A可以利用诸如双三次插值之类的已知技术。

下面简要说明图13中所示的图像传送系统10A的操作。首先，说明在发射器一侧的图像处理设备100A的操作。输入图像数据A1被提供给编码处理单元101。在编码处理单元101中，利用诸如MPEG之类的编码技术，对输入图像数据A1进行压缩编码处理，从而获得编码数据A2。编码数据A2被提供给编码数据/附加信息混合单元103。

输入图像数据A1还被提供给面部识别单元102A。在面部识别单元102A中，对输入图像数据A1进行已知的面部识别处理，以检测包含在输入图像中的面部，和获得面部区域的坐标数据。之后，面部区域的坐标数据作为附加信息A4，从面部识别单元102A被提供给附加信息生成单元102。

在编码数据/附加信息混合单元103中，附加信息A4被混合到编码数据A2中，从而获得混合数据A5。混合数据A5通过传送路径300，被发送给在接收器一侧的图像处理设备200A。

下面，说明在接收器一侧的图像处理设备200A的操作。混合数据A5被提供给编码数据/附加信息分离单元201。在编码数据/附加信息分离单元201中，从混合数据A5中分离编码数据A2和附加信息A4。编码数据A2被提供给解码处理单元202。附加信息A4被提供给放大处理单元203A。

在解码处理单元202中，对编码数据A2进行压缩解码处理，以获得图像数据A6。当这样做时，在解码处理单元202中，使用包含在编码数据A2中的解码附加信息。图像数据A6被提供给放大处理单元203A。在放大处理单元203A中，利用编码数据/附加信息分离单元201分离的附加信息A4，即，面部区域的坐标数据，对解码处理单元202获得的图像数据进行放大面部区域的处理。之后，从放大处理单元203A输出放大处理生成的图像数据，作为输出图像数据A7。

在图13中所示的图像传送系统10A中，在接收器一侧的图像处理设备200A的放大处理单元203A，作为附加信息A4，从发射器一侧发送的面部区域的坐标数据被用于对面部区域进行放大处理。这里，可设想的是对解码处理单元202获得的图像数据A6进行面部识别处理，以检测面部，和获得面部区域的坐标数据。不过，存在不能从已经过编码和解码的图像数据A6中正确检测面部的风险。即，通过利用作为在编码之前，对输入图像数据A1的面部检测的结果的附加信息A4，能够在放大处理单元203A正确地放大面部区域。

注意，在图13中所示的图像传送系统10A中，在接收器一侧的图像处理设备200A的放大处理单元203A进行面部区域的放大。按照相同的方式，也能够放大包含在图像中的指定对象的区域。当这样做时，可在发射器一侧的图像处理设备100A，对指定对象进行检测处理，这样的指定对象的区域的坐标数据可被设定为附加信息A4。

3.变形例

注意在上面说明的实施例中，在接收器一侧的图像处理设备，对解码图像数据进行图像质量增强处理或者放大处理。不过，即使当对解码的图像数据进行除图像质量增强处理或放大处理以外的图像处理时，显然也可按照相同方式应用本公开。在这种情况下，可在发射器一侧的图像处理设备，以附加信息A4的形式生成可用于在接收器一侧对解码的图像数据进行图像处理的信息，并在与编码数据A2混合之后传送所述信息。可设想的另一个图像处理例子是增大空间分辨率和/或时间分辨率的处理。

在上面说明的实施例中，说明了其中发射器一侧的图像处理设备把附加信息A4混合到编码数据A2中，从而生成发送给接收器一侧的图像处理设备的混合数据A5的结构。不过，不必混合编码数据A2和附加信息A4，这样的数据可被关联，并从发射器一侧的图像处理设备输出，以便发送给接收器一侧的图像处理设备。即，可分别通过不同的传送路径，传送编码数据A2和附加信息A4。

本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

本公开包含与在2011年5月9日向日本专利局提交的日本优先权专利申请JP 2011-104035中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims (11)

1.一种图像处理设备，包括：

编码处理单元，用于对输入图像数据进行压缩编码处理，以获得编码数据；

附加信息生成单元，用于根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息；和

数据输出单元，用于将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。

2.按照权利要求1所述的图像处理设备，

其中对通过对编码数据进行压缩解码处理而获得图像数据进行的规定图像处理是图像质量增强处理，

附加信息生成单元生成的附加信息是当进行图像质量增强处理时使用的信息。

3.按照权利要求2所述的图像处理设备，

其中图像质量增强处理是锐化处理或者对比度校正处理，附加信息生成单元生成表示是否由于压缩编码处理丢失了高频信息、或者丢失了色调信息的信息，作为附加信息。

4.按照权利要求3所述的图像处理设备，

其中附加信息生成单元生成与输入图像数据的空间活动性和通过对编码数据进行压缩解码处理而获得的图像数据的空间活动性之间的差相关的信息，作为附加信息。

5.按照权利要求2所述的图像处理设备，

其中图像质量增强处理是降噪处理，附加信息生成单元生成表示由于压缩编码处理产生的退化的大小的信息，作为附加信息。

6.按照权利要求5所述的图像处理设备，

其中附加信息生成单元生成关于输入图像数据和通过对编码数据进行压缩解码处理而获得的图像数据之间的绝对差的最大值的信息，作为附加信息。

7.按照权利要求1所述的图像处理设备，

其中对通过对编码数据进行压缩解码处理而获得的图像数据进行的规定图像处理是放大指定对象的区域的图像放大处理，

附加信息生成单元生成的附加信息是通过根据输入图像数据进行指定对象的检测处理而获得的指定对象的区域信息。

8.按照权利要求1所述的图像处理设备，

其中数据输出单元输出其中附加信息生成单元生成的附加信息被混合到编码处理单元获得的编码数据中的混合数据。

9.一种图像处理方法，包括：

对输入图像数据进行压缩编码处理，以获得编码数据；

根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息；和

将编码数据和附加信息相互关联地输出。

10.一种图像处理设备，包括：

分离单元，用于从其中混合了编码数据和当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息的混合数据中，分离编码数据和附加信息；

解码处理单元，用于对分离单元分离的编码数据进行压缩解码处理，以获得图像数据；和

图像处理单元，用于利用分离单元分离的附加信息，对解码处理单元获得的图像数据进行规定图像处理，以获得输出图像数据。

11.一种图像处理方法，包括：

从其中混合了编码数据和当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息的混合数据中，分离编码数据和附加信息；

对分离的编码数据进行压缩解码处理，以获得图像数据；和

利用分离的附加信息，对获得的图像数据进行规定图像处理，以获得输出图像数据。

Images