CN102754123B - 图像处理方法和图像处理设备 - Google Patents

Abstract

所公开的图像处理方法使用多个图像作为输入图像，并且基于输入图像组的相似度以及对整个图像中边缘量的评估来生成新图像。还公开了一种图像处理方法，该方法估计指定色特性度，指定色特性度指示根据输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度，基于指定的颜色特性度，修改生成图像内与每个像素的边缘量相对应的权重，并且生成图像，该图像中指定色的区域在边缘再现方式上与其他区域不同。

Description

图像处理方法和图像处理设备

技术领域

本发明涉及一种图像处理方法、一种图像处理设备及其程序。 

背景技术

存在一种用于增强图像分辨率的技术，该技术对其中拍摄有相同场景并具有位置位移的多个低分辨率图像进行合成，以生成高分辨率图像。 

例如，非专利文献1中描述用于增强图像分辨率的技术，该技术执行对精度小于像素单位(子像素精度)的输入低分辨率图像之间位置位移的检测(运动估计)，并且在合成低分辨率图像时估计高分辨率图像x，高分辨率图像x使等式(1)表示的评估函数g(x)最小化。 

[数值等式1] 

$g\left(x\right)=\underset{\∀n}{\mathrm{\Σ}}\left(\right||y_n-A_{n}x{\left|\right|}^2)+\mathrm{\λ}\left|\right|C\left(x\right)\left|\right|\·\·\·\left(1\right)$

在上述等式(1)中，x表示高分辨率图像，y表示输入低分辨率图像，A表示包括图像之间运动、下采样等在内的图像变换矩阵，C是高通滤波器，以及λ是预先设定的常量。 

等式1右侧第一项是对要根据高分辨率图像x估计的输入低分辨率图像与实际输入的低分辨率图像之间的误差加以指示的项，右侧第二项是在要生成的高分辨率图像为平滑的条件下建立的归一化项，并且表示高分辨率图像的边缘量。对此，要生成的高分辨率图像x具有以下倾向：常量λ的值越小，高分辨率图像x的边缘整体上变得越清楚，相反，常量λ的值越大，高分辨率图像x的边缘变得相对模糊。 

通常，这种增强图像分辨率的处理被称作超分辨率处理。 

作为使用这种增强图像分辨率的技术的技术，迄今为止存在以下技术。 

1.将拍摄的视频图像分成高频分量和低频分量，对高频区域图像应用超分辨率处理，以及将通过对高频分量图像应用超分辨率处理所生成的图像与通过对低频分量图像应用插值和扩增处理所生成的图像相组合(专利文献1)。 

2.对于图像内的每个对象，执行图像布局结构(例如对象的特征和对象之间的相对位置关系)分析，以及执行布局结构信息的对应，从而检测帧图像之间的位置偏移量，以及增强图像的分辨率(专利文献2)。 

下文中，示出了与本发明有关的超分辨率处理设备的一个示例。 

图7是用于通过合成多个低分辨率图像来生成高分辨率图像的超分辨率处理设备1的框图。 

该超分辨率处理设备包括运动估计装置11和高分辨率图像估计装置12。 

运动估计装置11接收多个低分辨率图像作为输入，并且按照子像素精度，估计经历图像分辨率增强的基准低分辨率图像与要参考的低分辨率图像之间每个像素的运动，并且输出估计结果。 

高分辨率图像估计装置12接收低分辨率图像和运动估计结果作为输入，并且根据这些信息来估计和输出高分辨率图像，该高分辨率图像使等式(1)所表示的评估函数最小化。 

顺便提及，作为用于增强图像质量的处理之一，存在被称作美肤处理的图像处理。所谓的美肤处理是通过关注脸部区域来完美且平滑地再现对象人物的肌肤，脸部区域是人物照片中最明显的部分。 

例如，专利文献3从输入图像中检测对象人物的肤色，并且针对肤色类似于检测到的肤色的区域，响应于上述肤色似然性(在专利文献3中被称作肌肤的颜色强度)，对输入图像进行平滑处理并将其与输入图像合成，从而仅平滑肌肤区域。附加地，在以下说明中，假定肤色似然性被称作肤色特性度。 

专利文献3使用值L(i)、a(i)和b(i)来计算如等式(2)所示像素位置i上的肤色特性度hx(i)，值L(i)、a(i)和b(i)具有以Lab颜色系统表示的上述像素的像素值。其中，L’、a’和b’表示肤色区域中Lab值的重心， 并且WL、Wa和Wb表示权重。肤色特性度hx具有0.0至1.0的值，这意味着在肤色特性度hx的值接近1.0时，获得肤色似然性。 

[数值等式2] 

$\mathrm{hx}\left(i\right)=\exp [-\{{\left(\frac{L^{\′}-L\left(i\right)}{W_L}\right)}^2+{\left(\frac{a^{\′}-a\left(i\right)}{W_a}\right)}^2+{\left(\frac{b^{\′}-b\left(i\right)}{W_b}\right)}^2\left\}\right]...\left(2\right)$

示出了与本发明有关的美肤处理设备的一个示例。图8是基于与本发明有关的美肤处理设备的描述而准备的框图。 

与本发明有关的美肤处理设备包括肤色特性度计算装置21和平滑处理装置22。肤色特性度计算装置21检测输入图像内对象人物的肤色，并且针对图像内的每个像素，计算和输出每个像素的肤色似然性。平滑处理装置22使用肤色特性度计算装置22所计算的每个像素的肤色特性度，通过合成输入图像和已经经历平滑处理的内部生成的输入图像来生成输出图像。 

用于执行超分辨率处理和美肤处理的图像处理设备可以通过将上述相关的超分辨率处理设备和美肤处理设备相链接来实现，如图9的框图所示。在图9所示的图像处理设备中，首先，超分辨率处理设备10使用相关的超分辨率处理技术，根据多个低分辨率图像生成一个高分辨率图像。接着，美肤处理设备20使生成的高分辨率图像经历美肤处理，并且输出输出图像。 

引用列表 

专利文献 

专利文献1：JP-2005-352720A 

专利文献2：JP-H10-69537A 

专利文献3：JP-2004-303193A 

非专利文献 

非专利文献1：S.C.Park，M.K.Park，M.G.Kang，“Super-Resolution Image Reconstruction：A Technical Overview”，IEEESignal Processing Magazine，vol.20，no.3，pp.21-36，May 2003 

发明内容

技术问题 

上述相关技术具有不能生成高质量合成图像的问题。原因在于，上述超分辨率处理设备在生成高分辨率图像时能够控制整个图像中边缘的平滑；然而，不能仅针对图像内的特定区域(例如肤色区域)来改变边缘的平滑。 

如图9的框图所示，在超分辨率处理之后执行诸如美肤处理之类的处理使得能够仅针对图像内的特定区域改变边缘的平滑。然而，在后阶段处理中，处理方法无法考虑到在超分辨率处理时执行的与输入低分辨率图像的一致性。为此，本来应当再现的输入低分辨率图像内的平滑边缘可能由于平滑处理而丢失，因此输出图像的图像质量劣化。 

因此，本发明的目的在于提供一种图像处理方法、一种图像处理设备及其程序，该图像处理方法生成高质量输出图像，其中已经同时考虑到与输入图像的一致性，以及针对图像内的特定区域的边缘的再现性。 

问题的解决方案 

本发明是一种图像处理方法，该方法接收多个图像作为输入，并且基于多个输入图像的相似度以及对整个图像中边缘量的评估来生成新图像，所述方法包括：估计指定色特性度，指定色特性度指示要根据多个输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

本发明是一种图像处理设备，该设备用于接收多个图像作为输入，并且基于多个输入图像的相似度以及对整个图像中边缘量的评估来生成新图像，所述设备包括：指定色特性度计算装置，估计指定色特性度，指定色特性度指示要根据多个输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及图像生成装置，基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他 区域不同。 

本发明是一种信息处理设备的程序，该信息处理设备接收多个图像作为输入，并且基于多个输入图像的相似度以及对整个图像中边缘量的评估来生成新图像，所述程序使信息处理设备执行：指定色特性度估计处理，估计指定色特性度，指定色特性度指示要根据多个输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及图像生成处理，基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

本发明的有利效果 

本发明能够生成高质量输出图像，其中同时考虑了与输入图像的一致性以及针对图像内特定区域的边缘的再现性。 

附图说明

图1是示出了根据本发明第一示例性实施例的构造的框图。 

图2是第一示例性实施例的流程图。 

图3是示出了根据本发明第二示例性实施例的构造的框图。 

图4是第二示例性实施例的流程图。 

图5是示出了第三示例性实施例的构造的框图。 

图6是第三示例性实施例的流程图。 

图7是用于通过合成多个低分辨率图像来生成高分辨率图像的高分辨率处理设备的框图。 

图8是基于与本发明有关的美肤处理设备的描述而准备的框图。 

图9是将有关的超分辨率处理设备和美肤处理设备相链接情况下的框图。 

具体实施方式

<第一示例性实施例> 

对本发明的第一示例性实施例进行说明。 

在说明第一示例性实施例时，在假定预先指定的指定色是肤色的 前提下进行说明。 

图1是示出了本发明第一示例性实施例的构造的框图。 

图1中示出的第一示例性实施例的图像处理设备包括：运动估计装置11、基准低分辨率图像放大装置33、肤色特性度计算装置21、以及高分辨率图像估计装置32。该图像处理设备接收像素数目为M的低分辨率图像(图像数目N)作为输入，并且输出经历美肤处理的高分辨率图像(像素数目为K)。 

运动估计装置11执行与上述超分辨率处理设备的运动估计装置的操作类似的操作。即，运动估计装置11：接收N个低分辨率图像作为输入，按照子像素精度，估计经历图像分辨率增强的基准低分辨率图像与剩余的(N-1)个要参考的低分辨率图像之间每个像素的运动，以及输出估计的运动矢量。 

基准低分辨率图像放大装置33使用插值技术(例如，双三次技术)来放大要经历图像分辨率增强的基准低分辨率图像，并且生成尺寸等于输出高分辨率图像的尺寸的放大基准图像。生成放大基准图像使得能够预先预测最终输出高分辨率图像内的每个像素的颜色。 

肤色特性度计算装置21接收基准低分辨率图像放大装置33所生成放大基准图像作为输入，检测图像内对象人物的肤色，并且计算放大基准图像的每个像素的肤色特性度hx。其中，肤色特性度hx表示对肤色似然性加以指示的程度，是像素颜色类似于作为指定色的肤色的程度。即，当像素的颜色特性度是1.0时，上述像素的颜色被视为是指定色的肤色，并且随着肤色特性度接近零，上述像素的颜色接近与指定色的肤色不同的颜色，并且当像素的肤色特性度为零时，上述像素的颜色变为与指定色的肤色不同的颜色。 

作为计算肤色特性度的方法的一个示例，可以使用专利文献3中描述的计算方法(如等式(2)所示)、专利文献4中描述的计算方法等。专利文献4(JP-H10-198795)使用值H(i)、S(i)和V(i)计算像素位置i中肤色特性度hx(i)，如等式(3)和等式(4)所示，H(i)、S(i)和V(i)具有利用HSV颜色系统表示的上述像素的像素值。其中，H’、S’和V’表示肤色区域中HSV值的重心，并且m、m1和m2表示预先设定的参数。 此外，在通过等式(3)和等式(4)计算时，当m-|H’-H(i)|、m1-|S’-S(i)|、或m2-|V’-V(i)|的值小于零时，零被设定为hx(i)的值。 

[数值等式3] 

$\mathrm{hx}\left(i\right)=\frac{m-|H^{\&prime;}-H\left(i\right)|}{m}\&CenterDot;S\left(i\right)\&CenterDot;V\left(i\right)...\left(3\right)$

[数值等式4] 

$\mathrm{hx}\left(i\right)=\frac{m|H^{\&prime;}-H\left(i\right)|}{m}\&CenterDot;\frac{m1-|S^{\&prime;}-S\left(i\right)|}{m1}\&CenterDot;\frac{m2-|V^{\&prime;}-V\left(i\right)|}{m2}...\left(4\right)$

高分辨率图像估计装置32接收输入低分辨率图像，运动估计装置11估计的运动矢量、以及肤色特性度计算装置21计算的肤色特性度作为输入，并且通过估计高分辨率图像x来生成经历美肤处理的高分辨率图像，该高分辨率图像x最小化等式(5)表示的评估函数g1(x)。其中，∧表示K×K的对角矩阵，并且是使用输入的肤色特性度来计算的，如图6所示。此外，i表示高分辨率图像内的像素位置，并且λ_skin(λ＜λ_skin)表示对肤色区域中归一化项的强度加以指示的预先设定的常量。此外，所谓的肤色区域表示肤色特性度不为零的像素占据的区域。 

[数值等式5] 

$g_1\left(x\right)=\underset{\&ForAll;n}{\mathrm{\&Sigma;}}\left({\left|\right|y_n-A_{n}x\left|\right|}^2\right)+\left|\right|\mathrm{\&Lambda;C}\left(x\right)\left|\right|...\left(5\right)$

[数值等式6] 

Λ(i，i)＝(1.0-hx(i))λ+hx(i)λ_skin…(6) 

使用等式(5)的高分辨率图像估计方法与使用等式(1)的高分辨率图像估计方法的不同之处在于，用对角矩阵∧来代替常量λ。对角矩阵∧的每个对角元素指示输出高分辨率图像的每个像素中归一化项的强度。根据等式(6)，具有相对大的值的λ_skin被设定用于与肤色特性度为1.0的像素相对应的对角线分量，即，颜色完全被视为肤色的像素。这意味着在上述像素中加强用于估计高分辨率图像的归一化项的影响，这允许平滑地再现上述像素，可以获得与校正美肤的平滑处理的效果类似的效果。 

此外，对与本发明有关的超分辨率处理设备中归一化项的强度加 以指示的值λ被设定用于与肤色特性度为0.0的像素相对应的对角分量，从而可以估计与本发明相关超分辨率处理设备得到的像素值类似的像素值。为此，对角矩阵∧的所有对角元素变为λ，并且当基准图像内不存在肤色区域时，等式(5)变得等同于等式(1)。 

此外，进行设定，与肤色特性度为其他值的像素相对应的对角元素在肤色特性度接近1.0时接近λ_skin，相反在肤色特性度接近0.0时接近λ。 

此外，作为λ_skin的一个示例，设定响应于图像内噪声量而手动预先设定的值λ的两倍大的值。即，当λ为0.05时0.1被设定用于λ_skin，当λ为0.1时0.2被设定用于λ_skin。因此，当λ为0.05时，与肤色特性度为1.0的像素(即，颜色被完全视为肤色的像素)相对应的对角元素是0.2，并且进行设定，使得当肤色特性度接近0.0时，对角分量的值接近0.1。 

此外，等式(6)是用于确定对角矩阵∧的每个对角元素的一个示例，并且可以使用其他函数来确定对角元素，在其他函数中，当肤色特性度是1.0时计算λ_skin，并且当肤色特性度是0.0时计算λ。 

接着，参照图1以及图2的流程图来说明第一示例性实施例的整体操作。 

首先，运动估计装置11接收N个低分辨率图像作为输入，以子像素精度，估计经历图像分辨率增强的基准低分辨率图像与剩余的(N-1)个要参考的低分辨率图像之间每个像素的运动，并输出估计的运动矢量(S001)。 

基准低分辨率图像放大装置33使用插值技术(例如，双三次技术)来放大要经历图像分辨率增强的基准低分辨率图像，并且生成尺寸等于输出高分辨率图像的尺寸的放大基准图像(S002)。 

肤色特性度计算装置21计算放大基准图像的每个像素中的肤色特性度hx(S003)。 

高分辨率图像估计装置32通过估计使评估函数g1(x)最小化的高分辨率图像x来生成经历美肤处理的高分辨率图像(S004)。 

这样，在第一示例性实施例中，针对每个像素，响应于肤色特性度，在估计高分辨率图像时自适应地改变归一化项的强度，这使得能 够实现包括用于平滑肤色区域的美肤处理在内的图像分辨率增强。 

<第二示例性实施例> 

对第二示例性实施例进行说明。 

图3是示出了第二示例性实施例的构造的框图。 

图3中示出的第二示例性实施例的图像处理设备包括运动估计装置11、基准低分辨率图像放大装置33、指定色特性度计算装置41、指定色存储装置44、以及高分辨率图像估计装置42。第二示例性实施例的图像处理设备与第一示例性实施例的图像处理设备的不同之处在于，添加了指定色存储装置44，并且指定色特性度计算装置41和指定色特性度计算装置41在操作上不同。 

第二示例性实施例不通过平滑肤色区域来执行美肤校正，而是通过计算指定色存储装置44所存储颜色的特性度hx’并且改变对指定色区域的平滑，来生成高质量高分辨率图像。 

在下文中，详细说明颜色特性度计算装置41和高分辨率图像估计装置42的操作。 

颜色特性度计算装置41接收基准低分辨率图像放大装置33所生成的放大基准图像作为输入，并且关于放大基准图像的每个像素，计算指定色存储装置44中记录的颜色的特性度(指定色特性度)hx’。 

指定色特性度hx’类似于肤色特性度hx，具有0.0至1.0的值。这意味着，当指定色特性度hx’接近1.0时，像素的颜色接近指定色存储装置44中记录的颜色。即，当像素指定色特性度是1.0时，上述像素的颜色被视为指定色，并且当像素的指定色特性度接近零时，像素的颜色接近与指定色不同的颜色，并且当像素的指定色特性度为零时，上述像素的颜色变为与指定色不同的颜色。可以通过用指定色存储装置44中记录的颜色来代替计算肤色特性度hx时使用的肤色有关信息来计算指定色特性度hx’。下文中，假定将高分辨率图像中像素位置i的指定色特性度描述为hx’(i)。 

高分辨率图像估计装置42接收输入低分辨率图像、运动估计装置11所估计的运动矢量、以及指定色特性度计算装置41所计算的指定色特性度作为输入，并且估计高分辨率图像x，高分辨率图像使等式(7) 所表示的评估函数g2(x)最小化。其中，∧2表示K×K的对角矩阵并且是使用输入的特性度来计算的，如等式(8)。此外，i表示高分辨率图像内的像素位置，并且λ’表示对指定色区域中归一化项的强度加以指示的预先设定的常量。 

[数值等式7] 

$g_2\left(x\right)=\underset{\&ForAll;n}{\mathrm{\&Sigma;}}\left({\left|\right|y_n-A_{n}x\left|\right|}^2\right)+\left|\right|{\mathrm{\&Lambda;}}_{2}C\left(x\right)\left|\right|...\left(7\right)$

[数值等式8] 

Λ₂(i，i)＝(1.0-hx′(i))λ+hx′(i)λ′…(8) 

接着，参数图3和图4的流程图来说明第二示例性实施例的整体操作。 

首先，运动估计装置11接收N个低分辨率图像作为输入，以子像素精度估计经历图像分辨率增强的基准低分辨率图像与剩余的(N-1)个要参考的低分辨率图像之间每个像素的运动，以及输出估计的运动矢量(S001)。 

基准低分辨率图像放大装置33使用插值技术(例如，双三次技术)来放大要经历图像分辨率增强的基准低分辨率图像，并且生成尺寸等于输出高分辨率图像的尺寸的放大基准图像(S002)。 

指定色特性度计算装置41计算放大基准图像的每个像素中针对指定色存储装置44所存储的颜色的特性度(指定色特性度)hx’(S103)。 

高分辨率图像估计装置42通过估计使评估函数g2(x)最小化的高分辨率图像来生成高质量高分辨率图像(S104)。 

通过使用第二示例性实施例的构造，例如，在指定色存储装置44中记录植物的绿色作为指定色，并且将相对小的值设定用于λ’，从而使得能够更锐化地再现图像内诸如树的叶片和平原等区域，并且强调对该区域活跃性的感知。 

<第三示例性实施例> 

图5是示出了第三示例性实施例的构造的框图。 

图5中示出的第三示例性实施例的图像处理设备包括运动估计装置11、基准低分辨率图像放大装置33、复数指定色特性度计算装置51、 复数指定色存储装置54、以及高分辨率图像估计装置52。第三示例性实施例的图像处理设备与第二示例性实施例的图像处理设备的不同之处在于复数指定色特性度计算装置51、复数指定色存储装置54、以及高分辨率图像估计装置52，并且通过改变针对复数指定色存储装置54中记录的多个颜色区域的平滑来生成高质量高分辨率图像。 

在下文中，对复数指定色存储装置54和高分辨率图像估计装置52的操作的细节进行说明。 

复数指定色特性度计算装置51接收基准低分辨率图像放大装置33所生成的放大基准图像作为输入，并且关于放大基准图像的每个像素，分别计算针对复数指定色存储装置54中记录的颜色(指定色1至指定色1k：记录个数k)的指定色特性度hx1至hxk。指定色特性度hx1至hxk各自具有0.0至1.0的值。这意味着，当指定色特性度接近1.0时，像素的颜色接近对应的颜色。例如，当像素的指定色特性度hx1是1.0时，上述像素的颜色被视为指定色1，当指定色特性成素hx1接近零时像素的颜色接近与指定色1不同的颜色，并且当指定色特性度hx1为零时，上述像素的颜色成为与指定色1不同的颜色。下文中，假定将高分辨率图像中像素位置i的记录编号为p的指定色的指定色特性度描述为hxp(i)。针对各个指定色，通过应用第二示例性实施例的用于计算指定色特性度的方法来计算每个指定色特性度。 

高分辨率图像估计装置52接收输入低分辨率图像、运动估计装置11所估计的运动矢量、以及复数指定色特性度计算装置51所计算的多个指定色特性度作为输入，并且估计高分辨率图像x，高分辨率图像使等式(9)所表示的评估函数g3(x)最小化。其中，∧3表示K×K的对角矩阵并且是使用输入的特性度来计算的，如等式(8)。此外，i表示高分辨率图像内的像素位置。此外，hxmax(i)和λmax(i)分别表示像素位置i中具有最大指定色特性度的指定色(记录编号max)的特性度，以及对上述指定色区域中归一化项的强度加以指示的常量。此外，用于响应于每个指定色区域中已经输入了归一化项的预先准备的强度的指定色特性度来执行合成的方法可以用于计算∧3的对角元素。 

[数值等式9] 

$g_3\left(x\right)=\underset{\&ForAll;n}{\mathrm{\&Sigma;}}\left({\left|\right|y_n-A_{n}x\left|\right|}^2\right)+\left|\right|{\mathrm{\&Lambda;}}_{3}C\left(x\right)\left|\right|...\left(9\right)$

[数值等式10] 

Λ₃(i，i)＝(1.0-hx_max(i))λ_max(i)+hx_max(i)λ_max(i)…(10) 

接着，参照图5和图6的流程图说明该示例性实施例的整体操作。 

首先，运动估计装置11接收N个低分辨率图像作为输入，以子像素精度估计经历图像分辨率增强的基准低分辨率图像与剩余的(N-1)个要参考的低分辨率图像之间每个像素的运动，并输出估计的运动矢量(S001)。 

基准低分辨率图像放大装置33使用插值技术(例如，双三次技术)来放大要经历图像分辨率增强的基准低分辨率图像，并且生成尺寸等于输出高分辨率图像的尺寸的放大基准图像(S002)。 

复数指定色特性度计算装置51分别计算放大基准图像的每个像素中针对复数指定色存储装置54存储的多个颜色的指定色特性度(S203)。 

高分辨率图像估计装置52通过估计使评估函数g3(x)最小化的高分辨率图像来生成高质量高分辨率图像(S204)。 

此外，在上述第一至第三示例性实施例中，作为规则，低分辨率图像的像素数目M小于高分辨率图像的像素数据K，然而上述第一至第三示例性实施例也可以在M等于K并且M大于K的情况下应用。 

使用第三示例性实施例的构造，使得能够针对每个区域改变再现边缘的方法并且生成高质量输出图像，例如，能够在一些情况下在一幅输出图像中更锐化地再现诸如树的叶片和平原等区域，并且在一些情况下在一幅图像中锐化地再现肤色区域。 

此外，尽管在上述示例性实施例中利用硬件来构造每个单元，但是可以利用在程序下操作的信息处理设备来构造单元的一部分或整体。 

此外，上述示例性实施例的内容表示如下 

(补充注释1)一种图像处理方法，包括： 

接收多个图像作为输入，并且估计指定色特性度，指定色特性度指示要根据输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释2)根据补充注释1所述的图像处理方法，其中，所述指定色是肤色。 

(补充注释3)根据补充注释1所述的图像处理方法，包括： 

设定多个指定色； 

针对所述每个指定色，计算要根据输入图像预测的生成图像的像素颜色的指定色特性度；以及 

基于所述每个指定色的指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述每个指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释4)根据补充注释2或补充注释3所述的图像处理方法，包括：当所述指定色是肤色时，通过所述指定色特性度来放大生成图像内被预测具有接近肤色之颜色的像素的边缘量的权重。 

(补充注释5)根据补充注释1至补充注释4之一所述的图像处理方法，其中，所述生成图像的分辨率高于所述输入图像的分辨率。 

(补充注释6)一种图像处理设备，包括： 

指定色特性度计算装置，接收多个图像作为输入，并且估计指定色特性度，指定色特性度指示要根据输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

图像生成装置，基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释7)根据补充注释6所述的图像处理设备，其中，所述指定色是肤色。 

(补充注释8)根据补充注释6或补充注释7所述的图像处理设备，包括：存储多个指定色的存储装置， 

其中所述指定色特性度计算装置针对所述存储中存储的所述每个指定色，计算要根据输入图像预测的生成图像的像素颜色的指定色特性度；并且 

所述图像生成装置基于针对所述每个指定色的指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述每个指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释9)根据补充注释7或补充注释8所述的图像处理设备，其中，在所述指定色是肤色时，所述图像生成装置通过所述指定色特性度来放大生成图像内被预测具有接近肤色之颜色的像素的边缘量的权重。 

(补充注释10)根据补充注释6至补充注释9之一所述的图像处理设备，其中，所述图像生成装置生成分辨率高于所述输入图像的分辨率的图像。 

(补充注释11)一种使信息处理设备执行以下处理的程序： 

指定色特性度估计处理，接收多个图像作为输入，并且估计指定色特性度，指定色特性度指示要根据多个输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

图像生成处理，基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释12)根据补充注释11所述的程序，其中，所述指定色是肤色。 

(补充注释13)根据补充注释11或补充注释12所述的程序，其中，所述指定色特性度估计处理包括： 

设定多个所述指定色； 

针对所述每个指定色，计算要根据输入图像预测的生成图像的像素颜色的指定色特性度；以及 

基于所述每个指定色的指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述每个指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释14)根据补充注释12或补充注释13所述的程序，其中，所述图像生成处理包括：当所述指定色是肤色时，通过所述指定色特性度来放大生成图像内被预测具有接近肤色之颜色的像素的边缘量的权重。 

(补充注释15)根据补充注释11至补充注释14之一所述的程序，其中，所述图像生成处理生成分辨率高于所述输入图像的分辨率的图像。 

(补充注释16)一种图像处理方法，该方法接收多个图像作为输入，并且基于多个输入图像的相似度以及对整个图像中边缘量的评估来生成新图像，所述方法包括： 

估计指定色特性度，指定色特性度指示要根据输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释1 7)一种图像处理设备，该设备用于接收多个图像作为输入，并且基于多个输入图像的相似度以及对整个图像中边缘量的评估来生成新图像，所述设备包括： 

指定色特性度计算装置，估计指定色特性度，指定色特性度指示要根据多个输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

图像生成装置，基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

(补充注释18)一种信息处理设备的程序，用于接收多个图像作为输入，并且基于多个输入图像的相似度以及对整个图像中边缘量的评估来生成新图像，所述程序使信息处理设备执行： 

指定色特性度估计处理，估计指定色特性度，指定色特性度指示要根据多个输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

图像生成处理，基于所述指定色特性度，改变针对生成图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同。 

尽管上述参照优选实施例具体描述了本发明，但是对于本领域技术人员显而易见的是，本发明并不始终限于上述实施例，在不背离本发明精神和范围的前提下可以在形式和细节上进行改变和修改。 

本申请基于并要求2010年2月26日递交的日本专利申请No.2010-042289的优先权权益，其全部内容通过引用合并于此。 

工业适用性 

本发明可以应用于根据多个低分辨率图像生成高分辨率图像的图像分辨率增强设备。本发明不仅可以应用于静止图像作为输入图像，而且还可以应用于运动图像内的多个帧作为输入图像，从而本发明一般可以应用于视频设备。 

附图标记列表 

10  超分辨率处理设备 

11  运动估计装置 

12  高分辨率图像估计装置 

20  美肤处理设备 

21  肤色特性度计算装置 

22  平滑处理装置 

32、42和52  高分辨率图像估计装置 

33  基准低分辨率图像放大装置 

41  指定色特性度计算装置 

44  指定色存储装置 

Claims (10)

1.一种图像处理方法，包括： 

接收多个图像作为输入，并且估计指定色特性度，指定色特性度指示要根据输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

基于所述指定色特性度，改变针对要生成的图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘再现方式上与其他区域不同； 

其中，所述图像处理方法还包括：设定多个所述指定色； 

估计指定色特性度的步骤包括：针对所述每个指定色，计算要根据输入图像预测的生成图像的像素颜色的指定色特性度；以及 

改变权重并且生成图像的步骤包括：基于所述每个指定色的指定色特性度，改变针对要生成的图像内每个像素的边缘量的权重，并且生成图像，该图像中所述每个指定色的区域在边缘再现方式上与其他区域不同。 

2.根据权利要求1所述的图像处理方法，其中，所述指定色是肤色。 

3.根据权利要求2所述的图像处理方法，包括：当所述指定色是肤色时，通过所述指定色特性度来放大针对生成图像内被预测为具有接近肤色之颜色的像素的边缘量的权重。 

4.根据权利要求1所述的图像处理方法，其中，所述生成图像的分辨率高于所述输入图像的分辨率。 

5.根据权利要求1所述的图像处理方法，包括：当所述指定色是肤色时，通过所述指定色特性度来放大针对生成图像内被预测为具有接近肤色之颜色的像素的边缘量的权重。 

6.一种图像处理设备，包括： 

指定色特性度计算器，接收多个图像作为输入，并且估计指定色特性度，指定色特性度指示要根据输入图像预测的生成图像的像素颜色与预先指定的指定色之间的相似度；以及 

图像生成器，基于所述指定色特性度，改变针对要生成的图像内每个像素的边缘量的权重，并且生成图像，该图像中所述指定色的区域在边缘 再现方式上与其他区域不同； 

所述图像处理设备还包括：存储多个所述指定色的存储装置， 

其中所述指定色特性度计算器针对所述存储装置中存储的所述每个指定色，计算要根据输入图像预测的生成图像的像素颜色的指定色特性度；并且 

其中所述图像生成器基于针对所述每个指定色的指定色特性度，改变针对要生成的图像内每个像素的边缘量的权重，并且生成图像，该图像中所述每个指定色的区域在边缘再现方式上与其他区域不同。 

7.根据权利要求6所述的图像处理设备，其中，所述指定色是肤色。 

8.根据权利要求7所述的图像处理设备，其中，当所述指定色是肤色时，所述图像生成器通过所述指定色特性度来放大针对生成图像内被预测为具有接近肤色之颜色的像素的边缘量的权重。 

9.根据权利要求6所述的图像处理设备，其中，在所述指定色是肤色时，所述图像生成器通过所述指定色特性度来放大针对生成图像内被预测为具有接近肤色之颜色的像素的边缘量的权重。

10.根据权利要求6所述的图像处理设备，其中，所述生成图像的分辨率高于所述输入图像的分辨率。