CN109690612A

CN109690612A - 图像处理装置和记录介质

Info

Publication number: CN109690612A
Application number: CN201780054695.3A
Authority: CN
Inventors: 俞锡奉; 林亨俊; 金其映; 文永秀; 安泰庆
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2016-09-07
Filing date: 2017-09-05
Publication date: 2019-04-26
Anticipated expiration: 2037-09-05
Also published as: EP3472801B1; US10650779B2; EP3472801A1; JP7110178B2; JP2019532566A; CN109690612B; US20200243040A1; US11393427B2; EP3472801A4; US20180068634A1; WO2018048171A1; KR20180027885A; KR102580519B1

Abstract

一种图像处理装置，包括：信号接收器，被配置为接收输入图像；图像处理器，被配置为处理输入图像并生成输出图像；存储器，被配置为存储与输入图像的第一像素对应的第一贴片；以及控制器，被配置为控制图像处理器通过将在存储器中存储的第一贴片应用于第一像素来生成输出图像。

Description

图像处理装置和记录介质

技术领域

与示例性实施例一致的装置和方法涉及处理来自内容源的输入图像的图像信号图像处理装置以及记录介质。

背景技术

为了根据某些过程计算和处理预定信息，电子装置包括中央处理单元(CPU)、芯片组、存储器和用于计算的类似电子组件。可以根据将在其中处理哪种信息来对这样的电子装置进行多种分类。例如，电子装置可以被分类为比如用于处理一般信息的个人计算机、服务器等的信息处理装置，或者用于处理图像信息的图像处理装置。

图像处理装置接收包括视频数据的内容信号，并根据各种图像处理过程处理从内容信号中提取的视频数据。图像处理装置可以在其自己的显示器上基于处理后的视频数据显示图像，或者将处理后的视频数据输出到另一显示装置。作为不具有显示器的图像处理装置的示例，存在机顶盒。具有显示器的图像处理装置可以被称为显示装置，并且可以例如是电视(TV)、监视器、便携式多媒体播放器(PMP)、平板电脑、移动电话等。

随着技术的发展，用于支持超高清(UHD)分辨率的显示面板已经应用于显示装置。最近，8K UHD以及4K UHD的显示面板已经发布。然而，给予显示装置的输入图像可能在分辨率上不足够高以匹配高分辨率的显示面板。例如，全高清(FHD)的输入图像可以被给予具有支持UHD的显示面板的TV。为了在这种情况下显示输入图像，显示装置可以将输入图像放大为具有更高分辨率的输出图像，并且在放大期间增强输出图像的细节以改善输出图像。

然而，这种增强细节的过程可能导致两个问题。一个是由于图像帧之间的时间不一致而产生的闪烁，另一个是由于一个图像帧内的低空间相关性而产生的噪声。因此，需要一种改进的显示装置或图像处理装置。

发明内容

技术方案

根据示例性实施例的一方面，提供了一种图像处理装置，包括：信号接收器，被配置为接收输入图像；图像处理器，被配置为处理输入图像并生成输出图像；存储器，被配置为存储与输入图像的第一像素对应的第一贴片；以及控制器，被配置为控制图像处理器通过将在存储器中存储的第一贴片应用于第一像素来生成输出图像。

第一贴片可以是与多个像素值分别对应的多个贴片当中的一个，所述多个贴片中的每一个可以包括与接近应用所述贴片的区域的像素的位置分别对应的多个贴片值，并且控制器还可以被配置为基于第一像素的像素值确定第一贴片。

控制器还可以被配置为将第一贴片应用于大于第一像素的区域。

第一贴片可以被配置为应用于具有7*7的矩阵形式的区域。

控制器还可以被配置为将所述多个贴片应用于输入图像的各个像素以使得所述多个贴片重叠，并且通过针对所述各个像素计算多个重叠贴片的均值来生成输出图像。

一个贴片内的多个贴片值之间可以具有为0的相关性。

可以基于预设的随机数算法来确定多个贴片当中的至少一个，并且可以基于线性插值来生成所述多个贴片中的余下贴片。

控制器还可以被配置为通过基于输入图像的被引导的滤波、将通过将所述多个贴片应用于输入图像的各个像素而生成的纹理转换为修正的纹理，并通过将输入图像与修正的纹理组合来生成输出图像。

控制器还可以被配置为将平滑滤波器应用于输入图像，并将第一贴片应用于已经经过平滑滤波器的输入图像。

根据另一示例性实施例的一方面，提供了一种用于存储可由图像处理装置的处理器执行的方法的程序代码的非暂时性记录介质，所述方法包括：接收输入图像；获取对应于第一像素的第一贴片；以及通过将第一贴片应用于第一像素来生成输出图像。

第一贴片可以是与多个像素值分别对应的多个贴片当中的一个，所述多个贴片中的每一个可以包括与接近应用所述贴片的区域的像素的位置分别对应的多个贴片值，以及生成输出图像可以包括基于第一像素的像素值确定第一贴片。

第一贴片可以被应用于大于第一像素的区域。

可以提供一个贴片以应用于具有7*7矩阵形式的区域。

生成输出图像可以包括：将多个贴片应用于输入图像的各个像素，使得所述多个贴片重叠；以及通过针对所述各个像素计算多个重叠贴片值的均值来生成输出图像。

一个贴片内的多个贴片值之间可以具有为0的相关性。

可以基于预设的随机数算法来确定多个贴片当中的至少一个，并且其中基于线性插值来生成所述多个贴片中的余下贴片。

第一贴片可以是与多个像素值分别对应的多个贴片当中的一个，并且生成输出图像可以包括：通过基于输入图像的被引导的滤波、将通过将所述多个贴片应用于输入图像的各个像素而生成的纹理转换为修正的纹理，并通过将输入图像与修正的纹理组合来生成输出图像。

生成输出图像可以包括：将平滑滤波器应用于输入图像；并将第一贴片应用于已经经过平滑滤波器的输入图像。

根据又另一示例性实施例的一方面，提供了一种图像处理器，包括：存储器，包括与多个像素值分别对应的多个贴片；至少一个处理器，被配置为基于图像的第一像素的第一像素值确定所述多个贴片当中的第一贴片；以及通过将第一贴片应用于第一像素和图像的与第一像素相邻的第二像素来生成输出图像。

所述至少一个处理器还可以被配置为基于第二像素的第二像素值确定所述多个贴片当中的第二贴片，并通过将第一贴片与第二贴片应用于第一像素和将第一贴片与第二贴片应用于第二像素来生成输出图像。

第一贴片可以包括第一块和第二块，第二贴片可以包括第一块和第二块，并且所述至少一个处理器还可以被配置为将第一贴片的第一块和第二贴片的第一块应用于第一像素，并将第一贴片的第二块和第二贴片的第二块应用于第二像素。

所述至少一个处理器还可以被配置为对输出图像的纹理进行滤波以生成修正的纹理，并通过将图像与修正的纹理组合来生成输出图像。

附图说明

图1是根据示例性实施例的图像处理装置的框图。

图2是根据示例性实施例的将输入图像转换为细节增强的输出图像的流程图；

图3示出了根据示例性实施例的应用于图像处理装置的贴片的示例；

图4示出了根据示例性实施例的图像处理装置基于种子贴片构建数据库的原理；

图5示出了根据示例性实施例的图像处理装置通过将贴片应用于输入图像的每个像素来生成初始纹理的原理；

图6示出了根据示例性实施例的图像处理装置基于输入图像修正初始纹理的原理；

图7是根据示例性实施例由图像处理装置改善输入图像的图像帧的细节的流程图；

图8是示出在图像处理装置将输入图像转换为输出图像时、在时间上彼此相邻的两个图像帧之间的轮廓变化的曲线图；

图9示出了根据示例性实施例的用于在图像处理装置中显示贴片的数据库的输入图像的示例；

图10示出了在根据示例性实施例的图像处理装置中基于图9的输入图像而显示的输出图像的示例；

图11是确定是否基于随机数生成在图像处理装置中使用的贴片的原理；以及

图12示出了用于在由根据示例性实施例的图像处理装置处理的输入图像和输出图像之间进行比较的高频分量。

具体实施方式

下面，将参考附图详细描述示例性实施例。通过参考附图中所示的元件来进行示例性实施例的以下描述，其中相同的标号表示具有基本相同功能的相同元件。

在示例性实施例的描述中，采用在比如第一元件、第二元件等术语中使用的序数来描述各种元件，并且这些术语用于在一个元件和另一个元件之间的区分。因此，元件的含义不受术语的限制，并且术语也仅用于解释对应的示例性实施例。

图1是根据示例性实施例的图像处理装置的框图。

如图1所示，根据示例性实施例的图像处理装置100从各种内容源10接收内容信号。在该示例性实施例中，图像处理装置100由TV或类似的显示装置实现。或者，图像处理装置100可以由不具有显示器130的机顶盒来实现。此外，示例性实施例可以应用于平板电脑、个人计算机(PC)、移动电话、可穿戴设备、或者可以处理内容信号并显示内容图像的其它类似装置。

图像处理装置100包括：信号接收器110，用于从内容源10接收内容信号；信号处理器120，用于处理由信号接收器110接收到的内容信号；显示器130，用于基于由信号处理器120处理的内容信号来显示内容图像；扬声器140，用于基于由信号处理器120处理的内容信号输出内容声音；用户输入150，用于接收用户输入；存储器160，用于存储数据；以及控制器170，用于执行信号处理器120的处理的计算和控制图像处理装置100的一般操作。这些元件通过系统总线相互连接。

信号接收器110包括用于从内容源10或其他外部装置接收内容信号的通信模块。信号接收器110是用于从外部接收信号或数据的元件，但不限于此。或者，信号接收器110可用于交互式通信。例如，信号接收器110包括在比如要被调谐到指定用于射频(RF)广播信号的频率的调谐芯片、用于通过线路从因特网接收分组数据的以太网模块、用于根据比如Wi-Fi、蓝牙等各种标准来无线接收分组数据的无线通信模块、连接通用串行总线(USB)存储器或其他类似外部存储器的连接端口等之类的元件当中的至少一个。即，信号接收器110包括其中组合了分别与各种通信协议对应的通信模块或端口的数据输入接口。

信号处理器120对由信号接收器110接收到的内容信号执行各种处理，使得可以再现内容。信号处理器120包括由安装到印刷电路板的芯片组、缓冲器、电路或类似组件实现的硬件处理器，并且可以如需要的被设计为片上系统(SoC)。基本上，信号处理器120处理内容信号，使得内容图像可以显示在显示器130上，并且内容声音可以通过扬声器140输出。

信号处理器120包括：视频处理器123，用于通过视频处理过程处理内容信号的视频信号，使得内容图像可以显示在显示器130上；以及音频处理器125，用于通过音频处理过程处理内容图像的音频信号，使得可以从扬声器140输出内容声音。

视频处理器123由硬件处理器芯片实现，并且对视频信号执行比如解码、图像增强、缩放等的视频处理过程，从而将经处理的视频信号输出到显示器130。视频处理器123可以通过处理器芯片的组合来实现。

音频处理器125由硬件数字信号处理器(DSP)实现，并且对于音频信号执行比如通道分割、放大、音量控制等的音频处理过程，从而将经处理的音频信号输出到扬声器140。如果扬声器140包括多个单元扬声器，则音频处理器125可以根据通道来划分和处理音频信号，并根据通道将处理后的信号分别输出到单元扬声器。

在该示例性实施例中，信号处理器120包括视频处理器123和音频处理器125，但是示例性实施例不限于此。或者，信号处理器120的结构可以变化。例如，信号处理器120可以包括作为单个芯片提供的视频处理器123、存储器160和控制器170。

显示器130基于由视频处理器123处理的视频信号显示图像。显示器130的类型没有限制，并且显示器130可以具有比如液晶显示器(LCD)面板的光接收结构、或比如有机发光二极管(OLED)的自发光结构。此外，显示器130还可以包括附加组件。例如，如果显示器130包括LCD面板，则显示器130可以包括用于发光的背光单元和用于驱动LCD面板的面板驱动基板等。

扬声器140基于由信号处理器120处理的音频数据输出声音。扬声器140包括可以输出一个音频通道的音频数据的单元扬声器。例如，如果扬声器140中包括多个单元扬声器，则可以通过扬声器140的单元扬声器输出具有多个音频通道的音频数据。

用户输入150响应于用户的控制或输入将各种预设的控制命令或信息发送到控制器170。也就是说，用户输入150向信号处理器120发送由与用户意图对应的用户控制引起的各种事件，使得控制器170可以对应于该事件而进行操作。

可以根据信息输入方法以各种方式实现用户输入150。例如，用户输入150包括在图像处理装置100中安装的用户接口环境，比如在图像处理装置100的外侧提供的键、在显示器130中提供的触摸屏、用于接收用户语音的麦克风、用于拍摄或感测用户的手势等的相机或传感器等。遥控器可以是用户接口环境的示例。遥控器与图像处理装置100的主体分开设置，因此通过在图像处理装置100的主体中提供的单独的控制信号接收器将控制信号发送到图像处理装置100。

存储器160在信号处理器120的处理和控制器170的控制下存储各种数据段。信号处理器120和控制器170访问存储器160，以便可以读取、写入、修改、更新数据等。存储器160包括比如闪存、硬盘驱动器(HDD)、固态驱动器(SSD)等的非易失性存储器以保持数据，而不管图像处理装置100是通电还是断电；以及暂时加载要由信号处理器120处理的数据的易失性存储器，比如缓冲器、随机存取存储器(RAM)等。

控制器170由中央处理单元(CPU)、微处理器等实现，从而控制比如图像处理装置100中的信号处理器120的元件的操作。

利用该结构，图像处理装置100从接收自内容源10的内容信号中提取图像信号，并处理提取的图像信号，从而显示图像。也就是说，图像处理装置100根据图像处理过程将图像信号的输入图像转换为输出图像，并且在显示器130上显示转换的输出图像。在将输入图像转换为输出图像的同时，图像处理装置100通过调整输入图像的分辨率以与显示器130支持的分辨率相匹配来生成输出图像。

如果输入图像的分辨率高于显示器130支持的分辨率，则图像处理装置100执行降幅(downscaling)以降低输入图像的分辨率，使得输出图像可以被调整到显示器130支持的分辨率。

另一方面，如果输入图像的分辨率低于显示器130支持的分辨率，则图像处理装置100执行升幅(upscaling)以增加输入图像的分辨率。在升幅中，输入图像的质量低于输出图像，并向输入图像添加细节。如果输入图像被转换为输出图像而没有细节增强，则用户可能明显感知到最终显示的输出图像的质量下降。

已经提出了各种技术来增强输入图像的细节。例如，可以增强输入图像的高频分量以增强输入图像的细节，因此改善输出图像的清晰度和精细度。

高频分量在如下的特定图像中起作用。就图像中包括的像素的分布而言，如果在整个图像中彼此相邻的两个像素之间的像素值存在相对小的差异，则图像包括相对多的低频分量。另一方面，如果在整个图像中彼此相邻的两个像素之间的像素值存在相对大的差异，则图像包括相对多的高频分量。当图像包括相对多的高频分量时，图像被显示为与高频分量的数量一样详细。作为图像中显示的高频分量的代表性示例，在图像中存在对象的边缘。

根据一种方法，图像处理装置基于输入图像的低频分量的系数生成高频分量，从而生成具有高频分量的纹理，并将生成的纹理与原始输入组合，从而获得细节增强的输出图像。该方法称为频率提升方法。例如，图像处理装置通过2D离散余弦变换(DCT)转换频域的输入图像，将低频分量复制到高频带，从而生成新的高频分量，并通过2D逆离散余弦变换(IDCT)将频域转换为空间域，从而获得纹理。

根据另一方法，图像处理装置基于白噪声生成纹理。例如，图像处理装置从输入图像中提取高频分量，将通过预设方式产生的白噪声添加到高频分量，并且将具有添加的白噪声的高频分量的相位进行移位从而生成纹理。然后，图像处理装置将生成的纹理与原始输入图像组合。

然而，在频率提升方法中，在输入图像的频域中添加的分量是与高频带无关的低频带的系数。此外，在白噪声方法中，被添加到现有高频分量的白噪声也与原始输入图像无关。因此，当为了细节增强而生成的纹理与原始输入图像组合时，输入图像和纹理之间的相关性可能急剧下降。在这种情况下，实际显示的输出图像包含噪声。

除此之外，如果输入图像和纹理之间的相关性低，则在时间上连续的图像帧之间缺乏一致性。这使得用户在显示输出图像时感知到闪烁。

因此，如果输入图像的分辨率低于显示器支持的分辨率，则根据示例性实施例的图像处理装置通过对输入图像应用升幅以用于显示器的分辨率来生成细节增强的输出图像，根据图像特性生成纹理并将纹理与输入图像相结合。为此，图像处理装置存储与输入图像的像素可具有的多个可能像素值分别对应的多个贴片。一个贴片包括与输入图像中包括的多个像素分别对应的多个贴片。为了方便起见，通过考虑功能采用术语“贴片”，因此除了“贴片”之外的各种术语可用于该示例性实施例。例如，贴片可被称为掩模，因为每个贴片具有这样的结构，其中将多个贴片值排列为具有以像素为单位的矩阵形式。

也就是说，针对输入图像的每个像素，图像处理装置通过以包括对应像素的像素区域为单位执行基于贴片的计算来生成纹理。

因此，图像处理装置通过增加输入图像和纹理之间的相关性来最小化输出图像中的噪声，并且通过增加时间上连续的图像帧之间的一致性来防止闪烁。下面，将进一步描述该示例性实施例。

图2是根据示例性实施例的通过图像处理装置将输入图像转换为细节上改进的输出图像的流程图。

如图2所示，图像处理装置通过将输入图像与纹理组合来将输入图像转换为细节增强的输出图像。例如，图像处理装置顺序地执行包括如下步骤的处理：对输入图像应用预滤波(S110)，基于随机数建立用于构建与像素对应的贴片的数据库的贴片(S120)，针对输入图像的每个像素通过应用与数据库的像素对应的贴片来应用贴片用于生成初始纹理(S130)，通过使初始纹理与原始输入图像调谐(harmonize)来调谐纹理以生成修正的纹理(S140)，并且通过将修正的纹理与输入图像组合来应用修正的纹理以生成输出图像(S150)。

下面，将详细描述各个步骤。

预滤波步骤S110与执行实质处理之前的先前工作对应，作为用于将输入图像转换为输出图像的处理的第一步骤。在该步骤中，图像处理装置去除输入图像中涉及或从其突出的噪声。如果没有去除这种噪声，它可能会不可预测地影响后续步骤。因此，该步骤用于排除这种噪声的可能性。或者，可以根据没有噪声从输入图像等突出的条件而不执行该步骤。

在预滤波步骤S110中，图像处理装置可以例如将平滑滤波器应用于输入图像。平滑滤波器可以采用各种技术，比如高斯平滑滤波器等。

贴片建立步骤S120对应于预先构建分别与输入图像的有效像素对应的贴片的数据库的工作。该步骤可以在预滤波步骤S110之后执行，但也可以在将输入图像转换为输出图像的处理之前执行。也就是说，数据库是预先构建和存储的，并且图像处理装置调用在步骤S120中先前存储的数据库。可以通过图像处理装置自己的计算来生成和存储数据库，但是示例性实施例不限于此。或者，图像处理装置的制造商可以在制造过程期间将数据库存储在图像处理装置中。

在处理8位输入图像的情况下，图像处理装置从数据库获取分别与0到255的像素值对应的贴片。与某个像素值对应的贴片以具有m*n个块的矩阵的形式提供，其中m和n是预设的整数。根据示例性实施例，矩阵可以具有n*n个块。一个块对应于一个像素，并且贴片中的多个块分别对应于图像的像素。一个贴片中的块具有基于随机数算法的预定值，并且下面将更详细地进一步描述这样的贴片。

贴片应用步骤S130与从先前准备的数据库获取贴片、并将贴片应用于输入图像的每个像素的工作对应。因为对应于像素值来提供数据库的贴片，所以图像处理装置确定输入图像的每个像素的像素值，并在相关像素中反映与所确定的像素值对应的贴片。具体地，图像处理装置布置贴片，使得贴片的多个块当中的中心块对应于相关像素，并且针对输入图像的所有像素执行这样的工作。结果，贴片的最多(n*n)个块针对特定像素堆叠，因此图像处理装置获得针对该像素堆叠的块的值的均值。图像处理装置基于针对所有像素的均值生成初始纹理。

纹理调谐步骤S140与通过将被引导的滤波应用于初始纹理来使初始纹理和输入图像调谐的工作对应。也就是说，用于被引导的滤波的引导图像变为输入图像。图像处理装置通过被引导的滤波增加初始纹理和输入图像之间的相关性，从而将初始纹理转换为修正的纹理。下面将更详细地描述被引导的滤波。

纹理应用步骤S150与通过将修正的纹理与输入图像组合而最终将输入图像转换为输出图像的工作对应。通过上述步骤获得的修正纹理涉及对输入图像自适应增强的高频分量，因此通过将输入图像和修正纹理组合而获得的输出图像也比输入图像在高频分量上更为增强。与如上所述仅增强高频分量相反，根据示例性实施例的修正的纹理是对输入图像的自适应处理的产物。因此，输出图像使时间一致性和空间相关性的降低最小化。

因此，根据示例性实施例的图像处理装置使通过升幅引起的输出图像中的闪烁或噪声最小化，从而提高输出图像的质量。

下面，将描述构建贴片的数据库的方法。

图3示出了根据示例性实施例的应用于图像处理装置的贴片的示例。

如图3所示，以具有n*n个块的矩阵的形式给出对应于某个像素值的贴片210。如果n＝7，则一个贴片210包括从A01到A49的总共49个块，并且每个块对应于一个像素的位置。换句话说，当将贴片210应用于输入图像的一个像素时，贴片210不仅应用于一个像素而且还应用于该一个像素周围的48个像素。

贴片210的尺寸，即贴片210中涉及的块的数量可以变化。如果贴片210的尺寸增加，则输出图像在精细和清晰度方面得到增强，但是闪烁可能增加并且该处理所需的负载和存储器可能增加。另一方面，如果贴片210的尺寸减小，则输出图像在精细和清晰度上降低，但是闪烁可能减少并且可能减少该处理所需的负荷和存储器。

在图3的贴片210中，最左边和最上面的块是“A01”，右边的下一个块是“A02”，并且其他块顺序地分配有“A03”、“A04”，依此类推。以这种方式，最右边和最下面的块是“A49”。这样的编号仅仅是为了方便起见，以便容易地指示贴片210内的某个位置处的块。

当将贴片210应用于输入图像中的某个像素时，将贴片210中涉及的多个块当中的某个块用作与目标像素对应来应用的参考块，并根据相对位置将其他块分别应用于围绕目标像素的像素。可以不同地设计哪个块将用作贴片210的块当中的参考块。例如，参考块可以是对应于位置A01的块，或对应于位置A07或A49的块。

为了便于计算等，位于贴片210中心的块，即对应于位置A25的块可以用作参考块。

下面，将描述贴片210的每个块的值。贴片210的数据库包括与输入图像的所有像素值对应的贴片210。例如，8位输入图像包括从0到255的总共256个贴片210，并且10位输入图像包括从0到1023的总共1024个贴片210。数据库可以根据支持输入图像的位数而包括多种类型的贴片210。

在构建数据库的步骤中，图像处理装置首先生成预设数量的贴片210，然后基于首先生成的贴片210其次生成其他贴片210。首先生成的贴片210称为种子贴片。下面将进一步描述生成与所有像素值对应的贴片210的方法。

图像处理装置将在特定条件下通过随机数算法获得的任意值分配给贴片210的每个块。每个块的这种值被认为是贴片的值，并且一个贴片210具有多个贴片值。换句话说，贴片210中的多个块的值不完全是随机数值而是任意值，因为它们是考虑到比如最小值、最大值、均值、标准偏差等各种条件而产生的。

作为特定条件，准备一个贴片210内的多个块的值以使其均值等于预设目标值。换句话说，准备多个贴片210的各个块的值以具有相同的标准偏差。这里，可以不同地设计均值的目标值，并且可以设置为“0”。此外，相同的标准偏差意味着贴片210中的块的值k满足-σ≤k≤σ，其中σ是预设的标准偏差。此外，均值可以通过各种数学均值获得，例如几何均值、调和均值等。例如，均值可以通过算术均值获得。

以这种方式，图像处理装置可以生成每个种子贴片。下面，将描述基于种子贴片生成与所有像素值对应的贴片的方法。

图4示出了根据示例性实施例的图像处理装置基于种子贴片构建数据库的原理。

如图4所示，图像处理装置在作为输入图像的像素值的下限的“0”和作为上限的“p”之间的范围内生成N个种子贴片220。例如，在8位输入图像的情况下，p等于255。可以不同地设计在“0”到“255”范围内的哪个像素值用于生成种子贴片220。例如，针对与Q的倍数对应的像素值生成种子贴片220，其中Q是预定的整数。当确定Q时，也确定N。

为了获得与其他像素值对应的贴片230，而不是与种子贴片220对应的像素值，使用线性插值。例如，图像处理装置通过来自像素值0的种子贴片220和像素值Q的种子贴片220的线性插值获得0和Q之间的像素值的贴片230。当然，种子贴片220是针对已经给出种子贴片220的像素值的贴片230。图像处理装置基于所有种子贴片220执行线性插值，从而构建与所有像素值对应的贴片230的数据库。

下面，将描述线性插值的原理。

线性插值是指当给出两个任意端点的值时，通过基于线性距离的线性计算来估计两个端点之间的值的方法。例如，如果给出两个端点(x₀，y₀)和(x₁，y₁)，则通过以下的比例表达式来估计它们之间的(x，y)。

[表达式1]

(y-y₀)/(x-x₀)＝(y₁-y₀)/(x₁-x₀)

y＝y₀+(y1-y₀){(x-x₀)/(x₁-x₀)}

该原理概括如下。如果两个点p₁和p₂处的数据值分别为f(p₁)和f(p₂)，则通过以下表达式获得任意点p处的数据值f(p)。

[表达式2]

f(p)＝{d₂/(d₁+d₂)}f(p₁)+{d₁/(d₁+d₂)}f(p₂)

其中d₁是从p到p₁的距离，d₂是从p到p₂的距离。

如果应用归一化以使距离之和等于1，即d₁+d₂＝1，则上述表达式简化如下。

[表达式3]

f(p)＝d₂f(p₁)+d₁f(p₂)

该示例性实施例示出了使用线性插值来从种子贴片220获取针对所有像素值的贴片的方法。然而，这是示例性的。根据其他示例性实施例，可以使用不同种类的插值，只要可以估计两点之间的某个点即可。

下面，将描述其中图像处理装置将贴片230应用于输入图像的方法。

图5示出了根据示例性实施例的通过将贴片应用于输入图像的每个像素来生成初始纹理。

如图5所示，图像处理装置确定输入图像310中的每个像素的像素值。图像处理装置在数据库中搜索与像素P₀的像素值对应的贴片320，并将搜索到的贴片320应用于像素P₀。

作为将贴片320应用于像素P₀的方法，图像处理装置将贴片320应用于输入图像310，使得贴片320的参考块P₁可以对应于像素P₀。也就是说，如果贴片320的参考块P₁被布置为对应于像素P₀，则贴片320的其他块被布置为与像素P₀周围的各个像素的位置对应。如果贴片320包括(n*n)个块，则贴片320的块分别与针对输入图像310的像素P0的(n*n)个像素对应。

以这种方式，图像处理装置将贴片应用于输入图像310的所有像素。然后，许多贴片的块在输入图像310的各个像素上重叠。例如，多个贴片的块P₁,P₂,…,P_(q-1),P_q在像素P0上重叠。这里，q是贴片320的块的总数，并且根据输入图像310内的像素的位置，与像素对应的块的数量可以小于另一像素的块的数量。

图像处理装置针对像素P0，对与像素P0对应的多个重叠贴片的块P₁,P₂,…,P_(q-1),P_q的值求均值。图像处理装置在全部像素上获得这样的均值，从而基于均值生成初始纹理。

下面，将描述通过与原始输入图像调谐来修正初始纹理的方法。

图6示出了根据示例性实施例的基于输入图像修正初始纹理。

如图6所示，如果生成初始纹理，则图像处理装置基于原始图像应用被引导的滤波，即将输入图像应用于初始纹理从而生成修正的纹理。下面，将描述被引导的滤波。

被引导的滤波用于去噪、多幅度细节提取等领域，并且是指与预设的引导相比对预定输入滤波从而获得与该引导对应的输出的方法。在关于引导图像I的一般线性转换变量滤波处理中，滤波输入图像p和输出图像q、I和q是先前给定的值。像素i处的滤波输出q_i可以由以下加权平均表示。

[表达式4]

q_i＝∑{W_ij(I)p_j}

在表达式4中，Σ的第一项是j，并且i和j是像素的索引。滤波内核W_ij是引导图像I的函数并且与p无关。该滤波器与p成线性关系。

被引导的滤波的主要前提是引导I和滤波输出q之间的局部线性模型。与下面的表达式一样，q在中心具有像素k的窗口ωk中被视为I的线性变换。这里，窗口是指被引导的滤波中的贴片。

[表达式5]

(a_k,b_k)是在ω_k中恒定的线性系数。为了确定线性系数(a_k，b_k)，需要来自滤波输入p的限制。与下面的表达式一样，可以将输出q建模为从其去除噪声/纹理和其他不必要的分量n的输入P。

[表达式6]

qi＝pi-ni

在保持表达式5的线性模型的同时，需要一种解决方案来最小化q和p之间的差异。特别地，在窗口ω_k中最小化以下成本函数。

[表达7]

E(a_k，b_k)＝∑{(a_kI_i+b_k-p_i)²+εa_k ²}

在表达式7中，Σ操作的第一项是(i∈ω_k)，并且ε是归一化参数。该表达式7是线性脊回归，其解如下。

[表达式8]

a_k＝{(1/|ω|)∑(I_ip_i-μ_kP_k)}/(σ_k ²+ε)

b_k＝P_k-a_kμ_k

在表达式8中，Σ操作的第一项是(i∈ω_k)，并且μ_k和σ_k ²是ω_k中I的均值和方差。|ω|是ω_k中的像素数，并且P_k＝{(1/|ω|)Σp_i}是ω_k中p的均值。如果获取线性系数(a_k，b_k)，则可根据被引导的滤波处理来获得滤波输出q_i。

像素i与覆盖I的所有重叠窗口ω_k相关，并且当在不同窗口中计算时，表达式5中的q_i是不同的。作为一种简单的方法，q_i的所有可能值被平均。在针对所有窗口ω_k计算(a_k，b_k)之后，通过以下表达式计算滤波输出。

[表达式9]

q_i＝(1/|ω|)∑(a_kI_i+b_k)

在表达式9中，Σ操作的第一项是(k|i∈ω_k)。由于框窗的对称性，具有第一项(k|i∈ω_k)的Σa_k等于具有第一项(k∈ω_i)的Σa_k，表达式9被重写如下。

[表达式10]

q_i＝A_iI_i+B_i

在表达式10中，A_i＝(1/|ω|)Σa_k和Bi＝(1/|ω|)Σb_k是重叠I的所有窗口的平均系数。在A_i和B_i的Σ操作中，第一项是(k∈ω_i)。如上所述，在表达式8和表达式10中定义了被引导的滤波。

使用基于前述原理的被引导的滤波，图像处理装置将通过贴片生成的初始纹理转换为修正纹理。因为不能保证初始纹理和输入图像之间的相关性，所以通过将初始纹理与输入图像组合来生成的输出图像可能由于相关性问题而涉及噪声。因此，与输入图像相比，图像处理装置将被引导的滤波应用于初始纹理，从而获得与输入图像对应的修正纹理。与此相同地，图像处理装置通过将修正的纹理和输入图像组合来生成输出图像，从而改善输出图像的一致性和相关性。

下面，将描述在图像处理装置中将输入图像的图像帧转换为细节增强的输出图像的图像帧的方法。

图7是示出根据示例性实施例的由图像处理装置增强输入图像的图像帧的细节的方法的流程图。

如图7所示，在操作S210，图像处理装置获取输入图像。具体地，图像处理装置以图像帧为单位来执行增强输入图像的细节的处理。

在操作S220，图像处理装置调用先前准备的贴片数据库。数据库可以存储在图像处理装置中，在图像处理装置中从与图像处理装置分离的外部装置或服务器接收，或者由图像处理装置新生成。

在操作S230，图像处理装置通过平滑滤波从输入图像中去除噪声。根据示例实施例，可以确定输入图像是否包括较小的噪声，并且如果输入图像包括低于阈值量的噪声，则可以跳过该操作。

在操作S240，图像处理装置从数据库中选择与输入图像的像素值对应的贴片。

在操作S250，图像处理装置将所选择的贴片应用于对应的像素。

如果将贴片应用于所有像素，则在操作S260，图像处理装置计算应用于各个像素的多个贴片的块的均值。

在操作S270，图像处理装置基于计算出的各个像素的均值生成初始纹理。

在操作S280，图像处理装置基于输入图像将被引导的滤波应用于初始纹理，从而生成修正的纹理。

在操作S290，图像处理装置将修正的纹理与输入图像组合。

因此，图像处理装置生成细节增强的输出图像。

下面，将根据示例性实施例的图像处理装置增强输入图像的细节的情况与根据对比示例的图像处理装置增强输入图像的细节的情况进行比较。

图8是示出在根据对比示例的图像处理装置将输入图像转换为输出图像时，在时间上彼此相邻的两个图像帧之间的轮廓变化的曲线图。

如图8所示，图像处理装置增强输入图像的时间上连续的(t-1)和t帧的细节。参考图8，左图是输入图像，右图是细节增强的输出图像。在每个图中，横坐标轴指示像素的相对位置或像素的索引，且纵坐标轴指示亮度。

在输入图像的情况下，在(t-1)帧的曲线与t帧的曲线之间存在一点差异。随着差异变大，用户更明显地感知到闪烁。输出图像显示比输入图像更粗糙的曲线，因为输入图像的高频分量被增加或放大。(t-1)帧的曲线与t帧的曲线在输出图像中之间的差异大于其在输入图像中的差异。因此，用户更明显地感知到闪烁。

相反，根据示例性实施例的图像处理装置在(t-1)帧的曲线和t帧的曲线之间产生很小的差异。这示出图像帧的一致性和相关性不会被细节增强降低，因此在用户观看输出图像时使闪烁和噪声最小化。

下面，将描述根据示例性实施例的在图像处理装置中可视地检查贴片的数据库的方法。

图9示出了用于显示数据库的输入图像410被提供以可视地检查贴片的数据库。

输入图像410具有如下结构。输入图像410具有纯色背景，如白色背景。在这样的背景上，各自包括一个像素的多个点沿上、下、左和右方向排列，隔开预设空间。各个点的像素的像素值不同，并且与对应点的像素值对应的贴片被显示在随后的输出图像上。输入图像410包括以8*8的网格排列的总共64个点，但是示例性实施例不限于此。替代地，点的数量可以取决于由用户希望检查的贴片的数量而变化。同样地，输入图像410中的点具有彼此不同的像素值。

这里，在左右方向上彼此相邻的两个像素B01和B02之间的距离d1，以及在上下方向上彼此相邻的两个像素B01和B03之间的距离d2取决于在行方向和列方向上的某个贴片中包括的块的数量而变化。更详细地，如果一个贴片包括n*n个块，则d1和d2中的每一个必须长于(n+1)个像素。例如，如果贴片包括7*7个块，则输入图像410中的d1和d2中的每一个必须长于8个像素。如果d1和d2中的每一个短于n个像素，则在随后的输出图像中两个相邻的贴片彼此重叠。如果d1和d2中的每一个等于n个像素，则两个相邻的贴片彼此接触而没有任何边界，因此难以在这两个贴片之间进行区分。

在该示例性实施例中，输入图像410中的点按等距间隔以矩阵形式布置，但是示例性实施例不限于此。或者，输入图像410中的点可以自由排列，只要输入图像410足够分开以使得两个相邻的贴片在随后的输出图像中彼此不重叠。

图10示出了在根据示例性实施例的图像处理装置中基于图9的输入图像而显示的输出图像的示例。

如图10所示，图像处理装置显示示出多个贴片C01、C02和C03的输出图像420。输出图像420的贴片C01、C02和C03与图9的输入图像410中的点对应。例如，贴片C01对应于点B01，贴片C02对应于点B02，贴片C03对应于点B03。贴片C01、C02和C03中的每一个针对输入图像的对应点被布置在输出图像420的背景上。参考图10，贴片C01、C02和C03中的每一个具有简单的方形形状。然而，在实际的输出图像中，每个贴片被示出为包括多个块的原始形式。

如果图像处理装置根据示例性实施例增强输入图像的细节，则以这种方式，可以在视觉上确定是否存在与像素值对应的贴片C01、C02和C03以及贴片C01、C02和C03具有哪些内容。

下面，如果存在贴片，则确定是否基于随机数生成贴片的方法如下。

图11是确定是否基于随机数生成在图像处理装置中使用的贴片的原理。

如图11所示，为了确定是否基于任意值生成某个贴片，需要在贴片中的块的值(即，贴片值)之间不进行校正。当然，如上所述，在特定条件下选择一个贴片中的贴片值，但是这些值是逐个随机选择的。

如果给出预定的贴片X_t，则可以基于自相关来计算R(n)，以便获得贴片中的贴片值的相关系数。在R(n)的公式中，E是期望值运算符，μ是均值，并且σ是方差。在R(n)的公式中，X_(t+n)示出X_t移动多达n个像素，因此如果t＝0则表示贴片本身。

如果某个块与其自身具有1的相关性并且与其他块大体上具有为0的相关性，则基于随机数生成贴片。另一方面，如果某个块具有作为预定值或者高于其他块的非零相关性，则不基于随机数生成贴片。

图12示出了用于在输入图像和由根据示例性实施例的图像处理装置处理的输出图像之间进行对比的高频分量。

如图12所示，在由根据示例性实施例的图像处理装置处理之前从输入图像提取高频分量的图像510示出了近似纯色背景中的对象的轮廓。这是因为高频分量可能明显地显示在图像的边缘。

如果根据示例性实施例的图像处理装置处理输入图像，则输入图像的高频分量在细节上被增强。因此，通过从输出图像提取高频分量而获得的图像520在对象的轮廓的细节上比图像510更为增强。

根据前述示例性实施例的方法可以以程序命令的形式实现，该程序命令可以在各种计算机中实施并且记录在计算机可读介质中。这样的计算机可读介质可以包括程序命令、数据文件、数据结构等，或其组合。例如，计算机可读介质可以存储在比如只读存储器(ROM)等的易失性或非易失性存储器中，而不管它是可删除的还是可重写的，例如RAM、存储器芯片、设备或如存储器的集成电路(IC)、或光学或磁性可记录的或机器(例如，计算机)可读存储介质，例如，压缩盘(CD)、数字通用盘(DVD)、磁盘、磁带等。应当理解，可以包括在移动终端中的存储器是适合于存储具有用于实现示例性实施例的指令的程序的机器可读存储介质的示例。在该存储介质中记录的程序命令可以根据示例性实施例专门设计和配置，或者可以是公知的并且是计算机软件领域的技术人员可用的。

尽管已经示出和描述了一些示例性实施例，但是本领域技术人员将理解，在不脱离本发明的原理和主旨的情况下，可以在这些示例性实施例中进行改变，本发明的范围在所附的权利要求及其等同中限定。

Claims

1.一种图像处理装置，包括：

信号接收器，被配置为接收输入图像；

图像处理器，被配置为处理输入图像并生成输出图像；

存储器，被配置为存储与输入图像的第一像素对应的第一贴片；以及

控制器，被配置为控制图像处理器通过将在存储器中存储的第一贴片应用于第一像素来生成输出图像。

2.如权利要求1所述的图像处理装置，其中，第一贴片是与多个像素值分别对应的多个贴片当中的一个，

其中，所述多个贴片中的每一个包括与接近应用所述贴片的区域的像素的位置分别对应的多个贴片值，以及

其中，所述控制器还被配置为基于第一像素的像素值确定第一贴片。

3.如权利要求2所述的图像处理装置，其中，所述控制器还被配置为将第一贴片应用于大于第一像素的区域。

4.如权利要求3所述的图像处理装置，其中，第一贴片被配置为应用于具有7*7的矩阵形式的区域。

5.如权利要求3所述的图像处理装置，其中，所述控制器还被配置为将所述多个贴片应用于输入图像的各个像素以使得所述多个贴片重叠，并且通过针对所述各个像素计算多个重叠贴片的均值来生成输出图像。

6.如权利要求5所述的图像处理装置，其中，一个贴片内的多个贴片值之间具有为0的相关性。

7.如权利要求2所述的图像处理装置，其中，基于预设的随机数算法来确定所述多个贴片当中的至少一个，并且

其中，基于线性插值来生成所述多个贴片中的余下贴片。

8.如权利要求2所述的图像处理装置，其中，所述控制器还被配置为通过基于输入图像的被引导的滤波、将通过将所述多个贴片应用于输入图像的各个像素而生成的纹理转换为修正的纹理，并通过将输入图像与修正的纹理组合来生成输出图像。

9.如权利要求1所述的图像处理装置，其中，所述控制器还被配置为将平滑滤波器应用于输入图像，并将第一贴片应用于已经经过平滑滤波器的输入图像。

10.一种用于存储可由图像处理装置的处理器执行的方法的程序代码的非暂时性记录介质，所述方法包括：

接收输入图像；

获取对应于第一像素的第一贴片；以及

通过将第一贴片应用于第一像素来生成输出图像。

11.如权利要求10所述的非暂时性记录介质，其中，第一贴片是与多个像素值分别对应的多个贴片当中的一个，

其中，生成输出图像包括基于第一像素的像素值确定第一贴片。

12.如权利要求11所述的非暂时性记录介质，其中，第一贴片被应用于大于第一像素的区域。

13.如权利要求12所述的非暂时性记录介质，其中，生成输出图像包括：

将所述多个贴片应用于输入图像的各个像素，使得所述多个贴片重叠；以及

通过针对各个像素计算多个重叠贴片的均值来生成输出图像。

14.如权利要求13所述的非暂时性记录介质，其中，一个贴片内的多个贴片值之间具有为0的相关性。

15.如权利要求11所述的非暂时性记录介质，其中，基于预设的随机数算法来确定所述多个贴片当中的至少一个，并且

其中，基于线性插值来生成所述多个贴片中的余下贴片。