CN101952854A - 图像处理装置、显示装置、图像处理方法、程序和记录介质 - Google Patents

Abstract

本发明涉及图像处理装置、显示装置、图像处理方法、程序和记录介质。被分别输入分割后的图像数据的各扩充电路(12a～12d)中设置有：按照使用关注像素附近的灰度等级值的微分或者差分而抽出图像中的边缘的方式算出上述关注像素的灰度等级值的差分电路(31)；以将关注像素附近的灰度等级值平均化的方式算出上述关注像素的灰度等级值的平均化电路(34)；和算出相关值的相关运算电路(35)，其中该相关值表示对分割图像数据实施差分运算处理后的差分图像数据与对分割图像数据实施差分运算处理和平均化处理后的平均化图像数据的相关关系。而且，按照与算出的相关值相应的插补方法对分割图像数据实施插补处理。由此，在将输入图像数据分割为多个区域的图像数据并将分割后的各图像数据的分辨率变换为高分辨率的图像处理装置中，能够以不增大电路规模和处理时间的方式生成高精细的图像。

Description

图像处理装置、显示装置、图像处理方法、程序和记录介质

技术领域

本发明涉及将输入的图像数据的分辨率扩充(upscale)为高分辨率的图像处理装置和图像处理方法。

背景技术

现有技术中，有关将所输入的图像数据的分辨率扩充为高分辨率的扩充技术，进行了很多的研究。

作为最简单的方法，存在例如双线法、双三次(Bicubic)法，LANCZOS法等简单的通过滤波器对成为对象的像素信息进行插补的方法。但是，这些方法只是按照一定的规则填补输入图像数据中的像素之间，只能得到本质上与原来像素的尖锐度相同的像素。

另一方面，例如在专利文献1中公开了下述技术，即，根据对象像素周围的亮度图案选定插补参数，使用选定的插补参数进行扩充处理。另外，专利文献1中还公开了通过经验和学习提高基于亮度变化情况的匹配模式的选定精度的技术。

专利文献1：日本专利第3243861号公报(1994年6月24日公开)

发明内容

但是，上述专利文献1的技术由于为了保持全方位的灰度等级的连续性而进行插补所以存在边缘部分没能进行适当的插补的问题。因此，上述专利文献1的技术不能够最佳地适应需要更高精细度的图像的情况。

为了解决该问题，考虑了下述方法，即，抽出输入图像数据中的边缘部分，对于边缘部分进行符合其边缘方向的插补。

但是，为了进行这样的处理，需要判定在相邻像素间产生灰度等级差的部分是否是边缘，从而需要遍及图像整体(或者图像中的非常宽的区域)追踪灰度等级变化，判定该灰度等级变化是否区分了图像中的区域。因此，存在用于进行边缘检测的电路规模会变大的问题。此外，为了避免电路规模的增大，存在如通过MPEG的边缘抽出等进行的使用将适当尺寸的块(例如，8×8的区域)平均后的缩小图像的方式。但是，在这种方式中，作为用于生成高精细图像的边缘抽出，不能够得到充分的精度，会以块尺寸单位模糊，或者误判块尺寸以下的尺寸的边缘。

尤其，作为用于传送高分辨率的影像信号的传送格式，虽然已知DVI、HD-SDI等格式，但是这些现有的传送格式中，在将例如2K1K级(水平方向2000像素×垂直方向1000像素程度)的显示容量的图像数据(高清电视数据)扩充为4K2K级(水平方向4000像素×垂直方向2000像素程度)的显示容量的图像数据时，不能够通过一根传送线传送扩充后的4K2K级的影像信号，所以需要以使用多个传送线进行传送的方式分割为每多个区域的影像信号。

此外，所谓4K2K是在数字电影和高清电视的扩展中使用的用语，在电影中，使用4096点×2160线的分辨率，在高清电视中，使用3840点×2160线的分辨率。同样，2K1K是与此相对应使用的用语，一般是2048×1080、1920×1080的分辨率。这2系统的传送格式是统一确定的，所以一般表现为4K2K、2K1K。

但是，为了适当地检测图像中的边缘，如上所述，需要遍及图像整体(或者图像中非常宽的区域)追踪灰度等级变化，所以存在需要将图像分割为多个区域进行处理和不能够适当地检测边缘的连续性的问题。这种问题尤其易于在各分割图像的边界部产生。

另外，现有的边缘检测方法中，需要遍及图像整体(或者图像中非常宽的区域)追踪灰度等级变化，所以存在边缘检测的处理时间变长的问题和电路规模变大成本增加的问题。

本发明是鉴于上述问题而提出的，其目的在于提供在将输入图像数据分割为多个区域的图像数据并将分割后的各图像数据的分辨率变换为高分辨率的图像处理装置中，不增大电路规模和处理时间而能够生成高精细的图像的图像处理装置。

本发明的图像处理装置为了解决上述课题，具备：将输入图像数据分割为多个分割图像数据的分割处理部；和用于将上述各分割图像数据的分辨率扩充为高分辨率的多个扩充处理部，该图像处理装置的特征在于：上述分割处理部按照在上述各分割图像数据中的与其他分割图像数据的边界部重叠并包含上述其他分割图像数据的一部分的方式生成上述各分割图像数据，上述各扩充处理部包括：差分运算部，其通过使用关注(target)像素附近的灰度等级值的微分或者差分的运算进行差分运算处理，算出用于将图像中的边缘抽出的上述关注像素的灰度等级值；平均化处理部，其进行平均化处理，算出将关注像素附近的灰度等级值平均化后的值作为上述关注像素的灰度等级值；相关运算部，其算出相关值，该相关值表示对上述分割图像数据实施上述差分运算处理后的差分图像数据与对上述分割图像数据实施上述差分运算处理和上述平均化处理后的平均化图像数据的相关关系；和插补处理部，其按照与上述相关值相应的插补方法对上述分割图像数据实施插补处理。

根据上述结构，各扩充处理部具备：差分运算部，其通过使用关注像素附近的灰度等级值的微分或者差分的运算进行差分运算处理，算出用于将图像中的边缘抽出的上述关注像素的灰度等级值；平均化处理部，其进行平均化处理，算出将关注像素附近的灰度等级值平均化后的值作为上述关注像素的灰度等级值；和相关运算部，其算出相关值，该相关值表示对上述分割图像数据实施上述差分运算处理后的差分图像数据与对上述分割图像数据实施上述差分运算处理和上述平均化处理后的平均化图像数据的相关关系。根据这样算出的相关值，能够适当地识别出关注像素附近是边缘部分还是边缘部分以外部分。即，在边缘部分以外部分由于通过平均化处理能够消去边缘以外的噪声或者细线等，所以上述相关值变小，另一方面，在边缘部分即使实施平均化处理相对于平均化处理前的变化也小，所以上述相关值变大。因此，通过上述相关值能够适当地识别出关注像素附近是边缘部分还是边缘部分以外部分。

于是，根据上述结构，插补处理部按照与上述相关值相应的插补方法对上述分割图像数据实施插补处理，扩充上述分割图像数据。由此，由于能够对边缘部分以及边缘部分以外部分实施不同的插补处理，所以能够生成高精细的图像。

另外，各分割图像数据由于只需要包含差分运算处理中进行参照的各关注像素附近的灰度等级值即可，所以没有必要如现有技术的边缘检测方法那样追踪图像整体，因此能够减少边缘检测处理中使用的图像数据、缩小电路规模并且缩短处理时间。

另外，上述各扩充电路也可以是相互并行进行上述差分运算处理、上述平均化处理、上述相关值的算出处理和上述插补处理的结构。

根据上述结构，各扩充电路中不需要参照与其他扩充电路对应的分割图像数据就能够进行上述差分运算处理、上述平均化处理、上述相关值的算出处理和上述插补处理。因此，上述各扩充电路能够并行进行上述各处理，由此，能够缩短对图像整体进行扩充所需的时间。

另外，也可以构成为以下结构：上述各扩充处理部具备边缘识别部，该边缘识别部通过对各像素的上述相关值与预先设定的阈值进行比较，识别出上述分割图像数据包含的边缘部分与边缘部分以外部分，上述插补处理部按照与边缘部分以外部分相比使边缘显著的插补方法对边缘部分实施插补处理。

根据上述结构，能够明确识别出边缘部分与边缘部分以外部分，通过对边缘部分按照与边缘部分以外部分相比使边缘显著的插补方法实施插补处理，能够生成边缘更加鲜明地突出的高精细的扩充图像。

另外，也可以构成为以下结构：上述差分运算部对上述分割图像数据进行水平差分运算处理和垂直差分运算处理，上述水平差分运算处理是用于抽出水平方向的边缘的上述差分运算处理，上述垂直差分运算处理是用于抽出垂直方向的边缘的上述差分运算处理，上述边缘识别部，对于被判定为边缘部分的关注像素，算出上述水平差分运算处理后的关注像素的灰度等级值与上述垂直差分运算处理后的关注像素的灰度等级值的比，作为边缘的倾斜角度，上述插补处理部，对于边缘部分的插补像素，使用与该插补像素相邻的各像素中按照与通过上述插补像素且平行于上述边缘的倾斜方向的直线的距离由近到远的顺序选择的规定数量以下的像素的灰度等级值，进行插补处理，对于边缘部分以外部分的插补像素，使用与该插补像素相邻的各像素的灰度等级值进行插补处理。

根据上述结构，通过算出实施水平方向的差分运算处理后的关注像素的灰度等级值与实施垂直方向的差分运算处理后的关注像素的灰度等级值的比作为边缘的倾斜角度，能够检测边缘方向。于是，对于边缘部分的插补像素，使用与该插补像素相邻的各像素中按照与通过所述插补像素且平行于所述边缘的倾斜方向的直线的距离由近到远的顺序选择的规定数量以下的像素的灰度等级值，进行插补处理，对于边缘部分以外部分的插补像素，使用与该插补像素相邻的各像素的灰度等级值进行插补处理，由此，对于边缘部分使得边缘鲜明突出，对于边缘部分以外部分，能够进行重视灰度等级的连续性的插补，能够生成更高精细度的扩充图像。

另外，也可以构成为以下结构：上述各扩充处理部具备算出与上述相关值的大小相应的校正系数的校正系数算出部，上述插补处理部，对于各插补像素，进行用于抽出边缘的第一插补处理和用于实现全方位的灰度等级的连续性的第二插补处理，并对第一插补处理的结果和第二插补处理的结果进行与上述校正系数相应的加权并进行加法运算，由此进行上述分割图像数据的插补处理。

根据上述结构，在明确地表现边缘的同时能够适当地降低噪声的影响。

另外，上述差分运算部也可以构成为对于以关注像素为中心的5像素×5像素的块实施上述差分运算处理的结构。

根据上述结构，在各扩充电路中通过不参照对于其他扩充电路的分割图像数据而算出的上述相关值，能够高精度地检测边缘。因此，能够缩小各扩充电路中边缘检测所使用的图像数据的尺寸，减小电路规模。

另外，上述分割处理部也可以构成为在上述各分割图像数据中的与其他分割图像数据的边界部重叠上述其他分割图像数据中的2线以上5线以下的图像数据的结构。

根据上述结构，仅通过在各分割图像数据中的与其他分割图像数据的边界部重叠上述其他分割图像数据中的2线以上5线以下的图像数据，就能够高精度地检测各分割图像数据中的边缘。因此，能够缩小在各扩充电路中用于边缘检测的图像数据的尺寸，降低电路规模。

本发明的显示装置具备上述的任一种图像处理装置和显示通过上述图像处理装置扩充后的图像的显示部。

根据上述结构，能够在不增大电路规模和处理时间的情况下生成高精细的图像并进行显示。

本发明的图像处理方法，包括：将输入图像数据分割为多个分割图像数据的分割处理步骤；和使用多个扩充处理部进行将上述各分割图像数据的分辨率扩充为高分辨率的处理，该图像处理方法的特征在于：在上述分割处理步骤中，按照在上述各分割图像数据中的与其他分割图像数据的边界部重叠并包含上述其他分割图像数据的一部分的方式生成上述各分割图像数据，上述扩充处理部进行下述步骤：差分运算步骤，通过使用关注像素附近的灰度等级值的微分或者差分的运算进行差分运算处理，算出用于将图像中的边缘抽出的上述关注像素的灰度等级值；平均化处理步骤，进行平均化处理，算出将关注像素附近的灰度等级值平均化后的值作为上述关注像素的灰度等级值；相关运算步骤，算出相关值，该相关值表示对上述分割图像数据实施上述差分运算处理后的差分图像数据与对上述分割图像数据实施上述差分运算处理和上述平均化处理后的平均化图像数据的相关关系；和插补处理步骤，按照与上述相关值相应的插补方法对上述分割图像数据实施插补处理。

根据上述方法，各扩充处理部进行下述步骤：差分运算步骤，通过使用关注像素附近的灰度等级值的微分或者差分的运算进行差分运算处理，算出用于将图像中的边缘抽出的上述关注像素的灰度等级值；平均化处理步骤，进行平均化处理，算出将关注像素附近的灰度等级值平均化后的值作为上述关注像素的灰度等级值；和相关运算步骤，算出相关值，该相关值表示对上述分割图像数据实施上述差分运算处理后的差分图像数据与对上述分割图像数据实施上述差分运算处理和上述平均化处理后的平均化图像数据的相关关系。根据这样算出的相关值能够适当地识别出关注像素附近是边缘部分还是边缘部分以外部分。即，在边缘部分以外部分由于通过平均化处理能够消去边缘以外的噪声或者细线等，所以上述相关值变小，另一方面，在边缘部分即使实施平均化处理相对于平均化处理前的变化也小，所以上述相关值变大。因此，通过上述相关值能够适当地识别出关注像素附近是边缘部分还是边缘部分以外部分。

于是，在上述方法中，在插补处理步骤中，按照与上述相关值相应的插补方法对上述分割图像数据实施插补处理，扩充上述分割图像数据。由此，能够对边缘部分与边缘部分以外部分实施不同的插补处理，从而能够生成高精细的图像。

另外，各分割图像数据由于只需要包含差分运算处理中进行参照的各关注像素附近的灰度等级值即可，所以没有必要如现有技术的边缘检测方法那样追踪图像整体，因此能够减少边缘检测处理中使用的图像数据、缩小电路规模并且缩短处理时间。

此外，上述图像处理装置也可以通过计算机得以实现，这种情况下，计算机作为上述各部进行动作，由此，通过计算机实现上述图像处理装置的程序和记录有该程序的计算机能够读取的记录介质也包括在本发明的范畴内。

附图说明

图1是表示本发明的一实施方式中的图像处理装置具备的边缘检测电路的概略结构的框图。

图2是表示具备图1的图像处理装置的显示装置的概略结构的框图。

图3是表示图1的图像处理装置中的处理的概要的说明图。

图4是表示图1的图像处理装置具备的扩充电路的概略结构的框图。

图5是表示在图1的图像处理装置中进行的差分运算处理的概要的说明图。

图6是表示在图1的图像处理装置中进行差分运算处理的结果的一个例子的说明图。

图7是表示在图1的图像处理装置中进行差分运算处理的结果的一个例子的说明图。

图8是表示在图1的图像处理装置中进行差分运算处理的结果的一个例子的说明图。

图9是表示在图1的图像处理装置中进行的平均化处理的概要的说明图。

图10是表示在图1的图像处理装置中进行的边缘检测处理的概要的说明图。

图11是表示在图1的图像处理装置中由3点×3点的块所表现的边缘的斜率的图案的说明图。

图12是表示在扩充处理中使用的插补方法的一个例子的说明图。

图13是表示在图1所示的图像处理装置中适用于边缘部分的插补方法的说明图。

图14是表示在图1的图像处理装置中进行的边缘检测处理的变形例的说明图。

符号说明

1 显示装置

2 液晶面板

10 图像处理装置

11 分割电路

12a～12d 扩充电路

13 液晶驱动电路

21 边缘检测电路

22 插补电路

31 差分电路

32 滤波器旋转电路

33 方向设定电路

34 平均化电路

35 相关运算电路

36 边缘识别电路

具体实施方式

下面，说明本发明的一个实施方式。

图2是表示本实施方式涉及的显示装置1的概略结构的框图。如该图所示，显示装置1具备图像处理装置10和液晶面板(显示部)2。

图像处理装置10具备分割电路11、扩充电路12a～12d和液晶驱动电路(显示控制部)13。

分割电路11将输入图像处理装置10的图像数据分割为规定数量的区域的图像数据，将分割后的图像数据分别输出到扩充电路12a～12d。

此外，在本实施方式中，输入2K1K级(class)的高清电视数据，对于将其分割为左上、右上、左下和右下这样4个区域的图像数据的情况进行说明。但是，图像的分割数和各分割区域的配置位置并不限定于此。例如，可以按照各分割区域沿水平方向排列的方式进行分割，也可以按照各分割区域沿垂直方向排列的方式进行分割。至于采用哪种分割方法，可以根据各分割方法的特性、实施时刻的电路技术、液晶面板技术等进行选择。

如本实施方式所示，分割为左上、右上、左下和右下这样4个区域的图像数据的情况下，各区域成为2K1K的图像数据，所以，仍旧能够使用在现有的2K1K级的显示装置中使用的驱动方式，另外，信号处理电路(信号处理LSI)也能够使用与在2K1K级所使用的现有的电路相同的电路，所以具有能够降低制造成本和开发成本的优点。

另一方面，在以各分割区域沿水平方向排列的方式分割(纵分割；分割为1K2K×4区域)时，和以各分割区域沿垂直方向排列的方式分割(横分割；分割为4K0.5K×4区域)时，各分割区域与现有技术中所使用的显示装置的形状和尺寸不同，可能出现驱动上的问题。

例如，在纵分割时，虽然由于全部的分割区域按相同的时间序列对应于输入信号而被处理，具有易于构成信号处理逻辑的优点，但是，因为驱动根数变多，所以需要按现有的1/2的充电时间完成写入，容易产生显示不均或亮度下降等的可靠性方面的问题。

另外，在横分割时，虽然没有纵分割时的充电时间的问题，但是由于会产生跨区域对源极线进行布线等、面板容量特性或开口率降低等问题，容易招致作为基本性能的不利因素。

另外，本实施方式中，包含与各分割区域的边界部相邻的其他分割区域的一部分。例如，在输入图像数据是高清电视的水平方向1920像素×垂直方向1080像素的图像数据时，不是将各分割区域分割为960像素×540像素，而是(960+α)像素×(540+α)像素，使得相邻的分割区域彼此的一部分相互重叠(overlap)。后面会详细说明图像的分割方法。

扩充电路12a～12d被分别输入分割后的图像数据，对所输入的图像数据实施扩充处理并输出到液晶驱动电路13。后面会详细说明扩充处理。

液晶驱动电路13根据从各扩充电路12a～12d输入的扩充后的图像数据控制液晶面板2，将该扩充后的图像显示在该液晶面板2上。此外，图2中，虽然将液晶驱动电路13记述为一个块，但是并不限定于此，也可以由多个块构成。例如，也可以对应于扩充电路12a～12d设置液晶驱动电路13a～13d，通过这些各液晶驱动电路驱动液晶面板2中的各分割区域。在通过一个液晶驱动电路13驱动液晶面板2的整体时，由于容易使得各区域的驱动定时一致，具有控制性好的优点，另一方面，由于输入输出管脚数变多，电路尺寸(IC尺寸)会变大。另外，在对应分割区域设置多个液晶驱动电路13时，具有能够缩小芯片尺寸的优点(尤其，在本实施方式时，由于各分割区域是2K1K级，所以能够使用在现有2K1K级的显示装置中使用的2K控制芯片，较为经济)，另一方面，有必要设置用于保持各液晶驱动电路的同步的调节电路。

液晶面板2被液晶驱动电路13控制，并显示与在图像处理装置10中进行过扩充处理的图像数据相对应的图像。此外，本实施方式中，使用水平方向4096像素×垂直方向2160像素(4K2K级)的液晶面板。但是，液晶面板的显示容量并不限定于此。

此外，对于图像处理装置10的输入图像数据的尺寸是1920×1080，在液晶面板2的显示尺寸是4096×2160时，将输入图像数据纵横扩充(放大)2倍，成为3840×2160。这时，横向的尺寸(3840点)比显示尺寸(4096点)小，所以对于左边一半的分割区域的图像，需要向右侧偏2048-1920＝128点的量进行显示。

对于将该左边一半的图像向右侧偏的校正处理，虽然在图像处理装置10内的哪个部分进行都可以，但是通过分割电路11校正分割图像数据，将全部的分割图像数据的影像作为2048×1080进行处理，能够实现容易应对更多的视频格式的通用的向上变换(upconvert)系统。另外，如果通过液晶驱动电路13进行该校正，则能够实现能应对更多的视频格式的通用的4K2K液晶表示模块。此外，放映2K影像时对于不处于比较重点的用途，优选在后段进行校正。

此外，虽然在本实施方式中使用液晶面板作为显示部，但是并不限定于此，例如，也可以使用等离子体显示器、有机EL显示器、CRT等构成的显示部，这时，也可以取代液晶驱动电路13，具备与显示部相应的显示控制部。

图3是示意性地表示本实施方式涉及的显示装置1中的处理的说明图。如该图所示，如果输入2K1K的图像数据作为输入图像(原图像)数据，则分割电路11将该输入图像数据分割为(1K+α)×(0.5K+α)的4个分割图像数据。此外，图3所示的虚线部分(α的部分)是与相邻的其他分割图像数据的重叠部分。

扩充电路12a～12d对于如上所述分割的各分割图像数据进行插补处理(扩充处理)，生成2K1K的插补后图像数据(扩充后图像数据)。此外，扩充电路12a～12d并列处理上述的插补处理。

之后，液晶驱动电路13生成与通过扩充电路12a～12d插补处理过的各插补后图像数据相应的分割影像信号，将与这些各分割影像信号相应的图像显示在液晶面板2的各分割区域。

图4是表示扩充电路12a～12d的概略结构的框图。如该图所示，各扩充电路12a～12d具备边缘检测电路21和插补电路22。边缘检测电路21检测分割图像数据中的边缘的位置和方向。插补电路22在边缘部分与边缘部分以外部分使用不同的插补方法进行插补处理。具体而言，对于边缘部分，使用在边缘方向相邻的像素的像素值的平均值进行插补，对于边缘部分以外部分，使用在全方位相邻的各像素的像素值的加权平均值进行插补。

图1是表示边缘检测电路21的概略结构的框图。如该图所示，具备差分电路31、滤波器旋转电路32、方向设定电路33、平均化电路34、相关运算电路35和边缘识别电路36。

差分电路31对于输入来的图像数据进行使用着差分滤波器的差分运算，算出差分图像数据，将算出的差分图像数据输出到平均化电路34和相关运算电路35。

例如，如图5所示，对于以所输入的图像数据中的关注像素为中心的5点×5点的块，适用对3点×3点的各点分别设定了滤波器系数的差分滤波器，得到以关注像素为中心的3点×3点的差分运算结果。这种情况下，如果设输入图像数据中的各点的像素值为dij(i、j是1～3的整数)、设差分滤波器为aij、设差分运算结果中的各点的像素值为bkl(k、l是1～3的整数)，则上述差分运算用

[公式1]

$\mathrm{bkl}=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{3}{\mathrm{\Σ}}}d(i+k-1)(j+l-1)\·\mathrm{aij}$

表示。

此外，本实施方式中，作为差分滤波器aij，使用下面表示的1∶2∶1的滤波器，

[公式2]

$\mathrm{aij}=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$

但是，差分滤波器aij并不限定于此，通过使用关注像素附近的灰度等级值的微分或者差分的运算能够抽出图像中的边缘即可。例如，也可以使用下面表示的3∶2∶3、1∶1∶1、或者1∶6∶1的滤波器。

[公式3]

$\mathrm{aij}=\left(\begin{array}{ccc}-3& 0& 3\\ -2& 0& 2\\ -3& 0& 3\end{array}\right)$ $\mathrm{aij}=\left(\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right)$ $\mathrm{aij}=\left(\begin{array}{ccc}-1& 0& 1\\ -6& 0& 6\\ -1& 0& 1\end{array}\right)$

也可以使用上述公式3等。在如上所述将差分滤波器表述为a∶b∶a时，b的加权越大，越能够正确地评价关注像素的附近，并且噪声变弱。另外，b的加权越小，虽然能够总括地捕捉关注像素的周边状态但是容易遗失小的变化。因此，对于差分滤波器的滤波器系数，可以根据目标图像特性适当进行选择。例如，对于相片那样本质上致密且模糊少的内容，b加权越大则越能够容易抓住其特征。另外，对于运动急剧的影像特别是暗的影像等模糊、噪声易于变大的内容，通过使b的加权相对较小，则能够抑制误判定。另外，在本实施方式中，作为差分滤波器使用3点×3点的滤波器，但是并不限定于此，例如，也可以使用5点×5点、7点×7点的差分滤波器。

滤波器旋转电路32对差分电路31中使用的差分滤波器实施旋转处理。另外，方向设定电路33控制基于滤波器旋转电路32的差分滤波器的旋转，并且将表示差分滤波器的适用状態的信号输出到边缘识别电路36。

本实施方式中，对于输入图像数据，首先使用上述差分滤波器aij进行差分运算，由此进行水平方向的边缘检测处理，其后，使用将上述差分滤波器aij旋转90度后的滤波器，再次对于上述输入图像数据进行差分运算，由此检测垂直方向的边缘。此外，也可以并行进行水平方向和垂直方向的边缘检测处理，这种情况下，将差分电路31、滤波器旋转电路32、方向设定电路33、平均化电路34、相关运算电路35和边缘识别电路36设置有两组即可。

图6是表示垂直方向的清晰的边缘的图像(图像A)、沿垂直方向延伸的细线的图像(图像B)、杂乱的线的图像(图像C)和对这些各图像使用1∶2∶1的差分滤波器进行了水平方向和垂直方向的差分运算的结果的说明图。

如该图所示，输入图像数据中的关注像素(中心像素)的周围3点×3点的图案相同，关注像素的水平方向上的差分运算结果(中央值)均为4。但是，水平方向的差分运算结果中的以关注像素为中心的3点×3点的块的平均值相对于中央值的比率，图像A为0.67，图像B为0.33，图像C为0.22，越是清晰的边缘(或者说接近边缘的图像)数值越大。即，虽然细线的图像B可能是边缘但是也存在是花纹(Texture：纹理)的可能性，与图像A相比，差分运算结果的平均值(表示边缘性(边缘相似性)的值)只有一半左右。另外，处于杂乱中的线的图像C不能够区别是原本的边缘还是噪声，所以与图像A相比，差分运算结果的平均值是1/3左右。

此外，在差分图像数据中的5点×5点或者7点×7点的块中，输入图像数据的图案不同产生的平均值的差与3点×3点的情况相比变小。因此，在使用差分图像数据中的5点×5点或者7点×7点的块的平均值进行边缘检测时需要进行详细的条件判断。因此，在边缘检测处理中优选使用3点×3点的差分图像数据。此外，为了得到3点×3点的差分图像数据，参照输入图像数据中的5点×5点的块。

另外，在电路规模中存在富余时，除了使用3点×3点的差分图像数据的边缘检测以外，进行使用5点×5点和/或7点×7点的差分图像数据的边缘检测处理，将其处理结果作为通过使用3点×3点的差分图像数据的边缘检测而产生误检测时的例外处理进行数据库化也可以。由此，能够进行更高精度的边缘检测。例如，即使是埋藏在周期性高的纹理中的边缘也能够适当地检测。

图7是表示倾斜方向的清晰的边缘的图像(图像D)、沿倾斜方向延伸的细线的图像(图像E)、杂乱的线的图像(图像F)、和对这些各图像使用1∶2∶1的差分滤波器进行了水平方向和垂直方向的差分运算的结果的说明图。

针对图像D、E的水平方向和垂直方向的差分运算结果中的以关注像素为中心的3点×3点的块的平均值相对于中央值的比率，图像D为0.67、图像E为0.33，与针对图像A、B的水平方向的差分运算结果相同，越是存在清晰的边缘(或者接近边缘的图像)数值越大。另外，图像F中，3点×3点的块的平均值相对于中央值的比率为0.06，难以被识别为边缘。

图8是表示斜率1/2的边缘的图像(图像G)、斜率1的边缘的图像(图像H)、斜率2的边缘的图像(图像I)、和对这些各图像使用1∶2∶1的差分滤波器进行了水平方向和垂直方向的差分运算的结果的说明图。图8中的各图像是边缘部分的图像，所以水平方向和垂直方向的差分运算结果中的以关注像素为中心的3点×3点的块的平均值相对于中央值的比率都变大。

另外，这些各图像中的水平方向的差分运算结果的中央值与垂直方向的差分运算结果的中央值的比，图像G是2/4、图像H是3/3、图像I是4/2，与各图像中的边缘的斜率一致。本实施方式中，利用该特性，后述的边缘识别电路36判定出关注像素是边缘部分的情况下，根据水平方向和垂直方向的差分运算结果中的中央值(关注像素的值)的比算出边缘的斜率。此外，对于水平方向或者垂直方向的边缘，水平方向的差分运算结果中的中央值或者水平方向的差分运算结果中的中央值都为0，所以能够容易地判定边缘方向。

平均化电路34根据从差分电路31输入的差分图像数据bij，使关注像素的像素值为按照该关注像素及其周边像素的像素值进行平均化后的值，生成平均化图像数据。

此外，例如，如图9所示，上述平均化处理也可通过使用2点×2点的低通滤波器(LPF)的滤波器处理而进行。图9所示的例子中，对于从差分电路31输入的差分图像数据中的3点×3点的块，适用对2点×2点的各点分别设定滤波器系数的低通滤波器，得到2点×2点的平均化处理结果。这时，如果设差分图像数据中的各点的像素值为bij(i、j为1～3的整数)、设低通滤波器为cij、设平均化图像数据中的各点的像素值为b’ij，则上述的平均化运算用

[公式4]

$b11=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\underset{j=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{dij}\·\mathrm{aij}$

$b12=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\underset{j=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{di}(j+1)\·\mathrm{aij}$

$b21=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\underset{j=1}{\overset{2}{\mathrm{\Σ}}}d(i+1)j\·\mathrm{aij}$

$b22=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\underset{j=1}{\overset{2}{\mathrm{\Σ}}}d(i+1)(j+1)\·\mathrm{aij}$

表示。

另外，平均化电路34将差分图像数据中的3点×3点的块逐点依次偏移，进行同样的运算，由此，算出b13、b23、b31、b32和b33。即，算出对于关注像素及其周围8像素的合计9像素的平均化图像数据。然后，将这9像素的平均化图像数据输出到相关运算电路35。

相关运算电路35算出表示从差分电路31输入的差分图像数据与从平均化电路34输入的平均化图像数据的相互关系的值。具体而言，算出从差分电路31输入的以关注像素为中心的9像素的差分图像数据的平均值A、和从平均化电路34输入的以关注像素为中心的9像素的平均化图像数据的平均值B，对水平方向和垂直方向分别进行根据这些平均值A和B算出关注像素的相关值R＝B/A的处理。然后，在对水平方向算出的相关值R和对垂直方向算出的相关值R中，采用值大的一方的相关值R，输出到边缘识别电路36。

边缘识别电路36，通过比较从相关运算电路35输入的关注像素的相关值R与预先设定的阈值Th，判断该关注像素是否是边缘像素。此外，上述阈值Th也可以进行根据多个采样图像算出各像素的相关值R，将对边缘部分的像素算出的相关值R与对边缘部分以外部分的像素算出的相关值R加以比较的试验从而预先设定。

图10是表示边缘识别电路36的边缘识别处理的概念的说明图。如图10所示，在输入图像数据中混合存在边缘部分和噪声时，在差分图像数据中会反映出边缘部分与噪声的影响，所以如果只使用差分图像数据进行边缘检测，则会受到该噪声的影响。

即，在输入图像数据中存在沿纵向延伸的边缘的情况下，对该输入图像数据进行过上述差分运算的差分图像数据是不为0的值，在没有灰度等级变化的状态下成为0。但是，在该测点存在噪声时或者存在细的纵条纹时，差分图像数据的值也成为不为0的值。

相对于此，通过对差分图像数据实施平均化处理，如图10所示，能够从差分图像数据除去噪声。

即，在平均化范围内只存在1点的噪声通过平均化处理而被消去。另外，如果将平均化范围按照3点×3点、4点×4点、5点×5点这样增大，则能够消去微小的噪声或者纹理等。

另一方面，对边缘部分将比较大的区域分割，所以在平均化处理后的块中也易于维持平均化处理前的差分信息。

因此，通过调查差分图像数据与将该差分图像数据平均化处理后的平均化图像数据的相关关系，能够识别出噪声或纹理并精度良好地检测边缘部分。

即，在平均化图像数据中消去噪声或纹理，并且边缘部分即使经过平均化处理也仍然保留，所以在边缘部分上述相关值R变大，相反，在边缘部分以外部分上述的相关值R变小。另外，上述相关值R在边缘部分具有1或者接近1的值，在边缘部分以外部分，相比于边缘部分的相关值急剧地成为小的值。因此，通过实验等预先调查该相关值急剧变化的范围，而将阈值Th设定在该范围内，由此能够精度非常好地检测出边缘部分。

另外，边缘识别电路36使用对水平方向进行过差分运算处理的结果和对垂直方向进行过差分运算处理的结果，检测出边缘方向(边缘的伸长方向)，将检测结果输出到插补电路22。

具体而言，设水平方向上的差分运算结果中的关注像素的值为a1，垂直方向上的差分运算结果中的关注像素的值为a2，则算出这些值的比a＝a1/a2。于是，使用这样算出的比a，通过θ＝arctan(a)算出边缘的倾斜角度θ。

此外，能够通过3点×3点的块表现的斜率的图案(种类)只有图11所示的5种。另外，存在上述的比a的值受到包含在输入图像数据中的噪声的影响而出现变动的情况。因此，对于边缘方向未必需要严密地算出上述角度θ，只要能够分类为图11所示的5图案中的任一种或者包含这5图案的中间的斜率的9图案中的任一种即可。因此，为了实现边缘方向的检测处理的简略化和边缘方向的检测所需的电路规模减小，上述比a的值未必需要直接计算，例如，通过与乘法电路比较而判定出与图11所示的5图案或者包含其中间的9图案中的任一种相当即可。

另外，为了检测边缘方向的斜率，也可以使用5点×5点的滤波器。在5点×5点的区域能够判定的斜率的图案是简单的图案，有9种，若考虑这9种的中间的斜率，则有10几种。因此，通过使用5点×5点的滤波器，精度更好地判定边缘方向的斜率，进行斜率的与各图案相应的插补运算，由此，相比由3点×3点的块判定斜率的情况，能够良好地插补更广区域的边缘状態。但是，在由5点×5点块判定边缘方向的斜率的情况下，与由3点×3点的块进行判定的情况相比，易于漏掉按小的周期而方向变化的边缘。因此，对于由任意的块判定边缘方向的斜率，也可以根据进行显示的内容的种类、特性等进行适当选择。

插补电路22根据边缘识别电路36的边缘检测结果，对边缘部分和边缘以外的部分进行适于各自特性的插补处理。

此外，在将所输入的图像数据的分辨率在水平方向和垂直方向扩充为2倍时，会考虑图12的(a)和(b)所示的2种插补方法。

第一方法，如图12(a)所示，是原样保留所输入的图像数据中的各像素(基准点：图中的○标记)的值(亮度)，对这些各像素之间的像素(图中的△标记)进行插补的方法。

第二方法，如图12(b)所示，是对所输入的图像数据中的各像素(基准点：图中的○标记)的周围4像素(图中的△标记)进行插补的方法。该方法中，所输入的图像数据中的各像素的像素值(亮度)在插补处理后不残留。

在所输入的图像具有鲜明的边缘时，第二方法中，由于输入图像数据的各像素的像素值不残留，所以存在边缘模糊的情况。另外，相比于第二方法，第一方法的运算容易，能够缩减电路规模。因此，本实施方式中采用第一方法。但是，本发明并不限定于此，，也可以使用第二方法。

图13是用于说明边缘部分的插补方法的说明图，表示斜率的大小是1的倾斜方向的边缘部分的插补的例子。

该图表示的插补方法中，首先选择进行插补的像素的周边4像素。此外，通过选择4像素来形成包含与倾斜方向平行的线段的平行四边形的各顶点，能够容易进行插补运算。

具体而言，对于图13所示的插补像素x作为周边像素而选择像素B、E、F、I，对于插补像素y作为周边像素而选择像素D、E、H、I。此外，对插补像素z那样在连接边缘方向上相邻的像素之间的直线上存在的插补像素，选择在边缘方向上相邻的上述各像素(这时是2像素)作为周边像素。于是，将选择的各周边像素的平均值作为插补像素的像素值。即设z＝(E+I)/2、y＝(D+E+H+I)/4、x＝(B+E+F+I)/4。

此外，在边缘方向的斜率大小不是1时，使用对周边4像素的各像素值乘以根据斜率对每个像素设定的系数后的值的平均值即可。例如，在图13中，斜率的大小是2时，设定为z＝((3×E+F)/4+(H+3×I))/2、y＝((3×E+D)/4+(3×H+I)/4)/2、x＝(B+I)/2即可。

对应上述边缘的斜率的系数，可以预先根据近似计算等设定例如与通过3点×3点的块能够表现的上述5图案或9图案对应的值。

另一方面，对判定为不是边缘部分的部分(例如，表现出平缓的灰度等级变化的部分或噪声部分等)，适用边缘不显著的重视纹理的插补方法。这里所说的重视纹理，是指在灰度等级或色相的保全性、灰度等级变化的连续性方面放置重点，对噪声实施较强的处理的意思。作为这样的方法，例如，能够使用双线法、双三次(Bicubic)法、lanczos滤波器法(LANCZOS法)等的现有技术中公知的方法。尤其，在扩充的放大率为一定的情况下(本实施方式中，放大率是2倍)，LANCZOS法作为优秀且简易的滤波器已众所周知，优选。

如上所述，本实施方式的图像处理装置10中，算出对输入图像数据实施差分运算后的差分图像数据与对该差分图像数据实施平均化处理后的平均化图像数据的相关值，根据该算出的相关值检测边缘部分和边缘方向。由此，能够高精度地检测输入图像数据中的边缘部分。

另外，本实施方式中，根据输入图像数据中的以关注像素为中心的5点×5点的图像数据算出差分图像数据和平均化图像数据，根据该差分图像数据和该平均化图像数据判断关注像素是否是边缘部分。因此，在将输入图像数据按每多个区域进行分割时，在将输入图像数据简单地4分割后的各分割图像数据上，只是附加(重叠)与这些各分割图像数据相邻的分割区域的图像数据中包含的边界部的2点量(水平方向上相邻的分割图像数据的2列的量和垂直方向上相邻的分割图像数据的2行的量)的图像数据，就能够高精度地检测各分割图像数据中的边缘部分。即，如果设输入图像数据的水平方向的像素数为nx、垂直方向的像素数为ny，则各分割区域的像素数在水平方向为nx/2+2、垂直方向为ny+2，由此在各分割区域能够不考虑与其他区域的相互作用，而单独地精度更好地进行边缘检测和扩充。

因此，能够减少边缘检测处理中使用的图像数据，减小电路规模和缩短处理时间。即，没有必要如现有技术那样对图像整体追踪边缘，所以没有必要为了边缘判定将图像整体的信息传递给分割的各扩充电路。因此，在各扩充电路中，不考虑与其他分割区域的相互作用，高精度地进行边缘检测。

另外，本实施方式中，并行进行各分割图像数据中的边缘检测处理。由此，能够进一步缩短对图像整体进行边缘检测所需要的时间。

此外，本实施方式中，根据输入图像数据中的以关注像素为中心的5点×5点的图像数据算出差分图像数据(3点×3点的差分图像数据)和平均化图像数据(3点×3点的平均化图像数据)，根据该差分图像数据和该平均化图像数据判断关注像素是否是边缘部分，但是在边缘检测时参照的块的尺寸并不限定于此。

使得参照的块的尺寸变化而进行边缘检测时，在到5点×5点为止的尺寸中，尺寸越大边缘的检测精度越高，但是在超过5点×5点的尺寸中，检测精度逐渐提高而几乎没有变化，通过参照5点×5点的块可知能够得到充分的边缘检测精度。

这是因为虽然进行参照的块的尺寸越大通过平均化处理越容易消去噪声或纹理，但是通过使得进行参照的块的尺寸为5点×5点，就能够消去大部分的噪声或纹理的缘故。另一方面，参照的块的尺寸越大，在将输入图像数据分割的各分割区域上付加(重叠)的数据量变得越大。因此，参照的块的尺寸更加优选为5点×5点。

此外，在使得参照的块的尺寸为5点×5点时，差分图像数据和平均图像数据的尺寸为3点×3点，若考虑到关于关注像素的对称性，则各分割图像数据上附加(重叠)的点数为2点(上述α＝2)。

但是，在现在的影像技术中，影像信号定时偏离而分割输入图像数据时的计数器存在误动作的情况。因此，除了上述逻辑上的付加点数，优选附加几点(例如1点～3点)的余量。通过附加这样的余量，例如在根据影像的种类切换边缘以外的部分的插补方法的情况，或者希望更详细地检测边缘方向等的情况下，能够使用上述余量部分的数据。

另外，本实施方式中，虽然使用3点×3点的差分图像数据和平均化图像数据中的9点的平均值进行边缘检测，但是并不限定于此。例如，也可以使用3点×3点的差分图像数据和平均化图像数据中的除关注像素外的周围8点的平均值进行边缘检测。这时，只需相应地变更参数就能够得到与使用9点的平均值的情况大致同等的边缘检测精度。

另外，本实施方式中，对于通过差分运算算出的差分图像数据实施平均化处理，但是并不限定于此。例如，如图14所示，对输入图像数据实施平均化处理，对于实施过该平均化处理的图像数据进行差分运算，并由此算出平均化图像数据也可以。这种情况下，能够得到与对通过差分运算算出的差分图像数据实施平均化处理的情况大致相同的效果。

另外，本实施方式中，对于对各扩充电路12a～12d只设置一个差分电路33的结构进行了说明，但是并不限定于此，例如，也可以分别设置生成输出到相关运算电路35的差分图像数据的差分电路、和生成输出到平均化电路34的差分图像数据的差分电路(或者对从平均化电路34输出的平均化图像数据实施差分运算的差分电路)。

另外，本实施方式中，虽然对各插补像素是边缘部分还是边缘部分以外部分的这两种进行判别，并按照相应于该判别结果的插补方法进行插补，但是未必需要明确地判别出上述两种。

例如，也可以生成将上述相关值R的可取值分割为多个的边缘参数，算出将按照对边缘部分的插补方法算出的插补值和按照对边缘部分以外部分的插补方法算出的插补值根据上述边缘参数进行加权相加得到的值，作为插补像素的像素值。即，也可以按照与边缘相似的程度相对应的比率将按照对边缘部分的插补方法算出的插补值与按照对边缘部分以外部分的插补方法算出的插补值进行合成。由此，在明确地表现出边缘的同时，能够以小的电路规模实现能够降低噪声的影响的扩充电路。

具体而言，例如，将上述相关值R的可取值(0～1)16分割，对各分割范围的每个预先设定边缘参数(校正系数)β，边缘识别电路(校正系数算出部)36或者其他的电路(校正系数算出部)确定与根据分割图像数据算出的相关值R相对应的边缘参数β。于是，当设按照对边缘部分的插补方法算出的插补值为p1，按照对边缘部分以外部分的插补方法(例如LANCZOS法)算出的插补值为p2时，插补电路22根据p＝β×p1+(1-β)×p2算出最终的插补像素的像素值p。此外，各分割范围中包含最大值的分割范围，由于如图6～8所示清晰的边缘部分的差分运算结果的关注像素的值与3点×3点的平均值的比是0.67，所以设定为例如0.7左右～1，与该分割范围对应的边缘参数β也可以设定为1。另外，分割相关值R的可取值的分割数并不限定于16，也可以是例如8分割的程度。

另外，构成图像处理装置10的各电路(各块)也可以使用CPU等处理器通过软件来实现。即，图像处理装置10可以是下述结构，即具备：执行实现各功能的控制程序的指令的CPU(central processingunit：中央处理器)、存储上述程序的ROM(read only memory：只读存储器)、将上述程序展开的RAM(random access memory：随机存取存数器)、存储上述程序和各种数据的存储器等存储装置(记录介质)等。这时，本发明的目的能够通过下述方式得以实现，即将实现上述功能的软件即图像处理装置10的制御程序的程序码(执行形式程序、中间码程序、源程序)记录在计算机能够读取的记录介质，将该记录介质供给图像处理装置10，该计算机(或CPU、MPU)读取记录在记录介质中的程序码而加以执行。

作为上述记录介质，例如，能够使用磁带、盒带等的带系列、包含软(注册商标)盘/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的光盘的盘系列、IC卡(包含存储器卡)/光卡等的卡系列、或者掩模ROM/EPROM/EEPROM/闪存ROM等的半导体存储器系列等。

另外，也可以按照能够与通信网络连接的方式构成图像处理装置10，经由通信网络而供给上述程序码。作为该通信网络，没有特别的限定，例如，可以利用因特网、内部网、外部网、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话线路网、移动通信网、卫星通信网等。另外，作为构成通信网络的传送介质，没有特别的限定，例如，无论是IEEE1394、USB、电力线输送、电缆TV线路、电话线、ADSL线路等的有线，还是IrDA或遥控那样的红外线、Bluetooth(注册商标)、802.11无线、HDR、便携电话网、卫星线路，地上波数字网等的无线都能够利用。此外，本发明在上述程序码通过电子传送具象化的、埋置在载波中的计算机数据信号的形式下也能够实现。

另外，图像处理装置10的各电路(各块)也可以使用软件而得以实现，也可以由硬件逻辑构成，也可以是将进行处理的一部分的硬件和执行软件的运算单元加以组合的结构，该软件进行该硬件的控制或剩余的处理。

本发明并不限定于上述实施方式，能够在权利要求所示的范围内进行各种变更。即，将在权利要求所示范围内进行了适当变更的技术手段加以组合得到的实施方式也包含在本发明的技术范围内。

产业上的可利用性

本发明能够适用于将输入的图像数据的分辨率扩充为高分辨率的图像处理装置和图像处理方法。

Claims (11)

1.一种图像处理装置，其具备：将输入图像数据分割为多个分割图像数据的分割处理部；和用于将所述各分割图像数据的分辨率扩充为高分辨率的多个扩充处理部，该图像处理装置的特征在于：

所述分割处理部按照在所述各分割图像数据中的与其他分割图像数据的边界部重叠并包含所述其他分割图像数据的一部分的方式生成所述各分割图像数据，

所述各扩充处理部包括：

差分运算部，其通过使用关注像素附近的灰度等级值的微分或者差分的运算进行差分运算处理，算出用于将图像中的边缘抽出的所述关注像素的灰度等级值；

平均化处理部，其进行平均化处理，算出将关注像素附近的灰度等级值平均化后的值作为所述关注像素的灰度等级值；

相关运算部，其算出相关值，该相关值表示对所述分割图像数据实施所述差分运算处理后的差分图像数据与对所述分割图像数据实施所述差分运算处理和所述平均化处理后的平均化图像数据的相关关系；和

插补处理部，其按照与所述相关值相应的插补方法对所述分割图像数据实施插补处理。

2.根据权利要求1所述的图像处理装置，其特征在于：

所述各扩充处理部相互并行地进行所述差分运算处理、所述平均化处理、所述相关值的算出处理和所述插补处理。

3.根据权利要求1或2所述的图像处理装置，其特征在于：

所述各扩充处理部具备边缘识别部，该边缘识别部通过对各像素的所述相关值与预先设定的阈值进行比较，识别出所述分割图像数据包含的边缘部分与边缘部分以外部分，

所述插补处理部按照与边缘部分以外部分相比使边缘显著的插补方法对边缘部分实施插补处理。

4.根据权利要求3所述的图像处理装置，其特征在于：

所述差分运算部对所述分割图像数据进行水平差分运算处理和垂直差分运算处理，所述水平差分运算处理是用于抽出水平方向的边缘的所述差分运算处理，所述垂直差分运算处理是用于抽出垂直方向的边缘的所述差分运算处理，

所述边缘识别部，对于被判定为边缘部分的关注像素，算出所述水平差分运算处理后的关注像素的灰度等级值与所述垂直差分运算处理后的关注像素的灰度等级值的比，作为边缘的倾斜角度，

所述插补处理部，对于边缘部分的插补像素，使用与该插补像素相邻的各像素中按照与通过所述插补像素且平行于所述边缘的倾斜方向的直线的距离由近到远的顺序选择的规定数量以下的像素的灰度等级值，进行插补处理，对于边缘部分以外部分的插补像素，使用与该插补像素相邻的各像素的灰度等级值进行插补处理。

5.根据权利要求1或2所述的图像处理装置，其特征在于：

所述各扩充处理部具备算出与所述相关值的大小相应的校正系数的校正系数算出部，

所述插补处理部，对于各插补像素，进行用于抽出边缘的第一插补处理和用于实现全方位的灰度等级的连续性的第二插补处理，并对第一插补处理的结果和第二插补处理的结果进行与所述校正系数相应的加权并进行加法运算，由此进行所述分割图像数据的插补处理。

6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于：

所述差分运算部对于以关注像素为中心的5像素×5像素的块实施所述差分运算处理。

7.根据权利要求1至6中任一项所述的图像处理装置，其特征在于：

所述分割处理部，在所述各分割图像数据中的与其他分割图像数据的边界部重叠所述其他分割图像数据中的2线以上5线以下的图像数据。

8.一种显示装置，其特征在于，具备：

权利要求1至7中任一项所述的图像处理装置；和

显示由所述图像处理装置扩充后的图像的显示部。

9.一种图像处理方法，该图像处理方法包括：将输入图像数据分割为多个分割图像数据的分割处理步骤；和使用多个扩充处理部进行将所述各分割图像数据的分辨率扩充为高分辨率的处理，该图像处理方法的特征在于：

在所述分割处理步骤中，按照在所述各分割图像数据中的与其他分割图像数据的边界部重叠并包含所述其他分割图像数据的一部分的方式生成所述各分割图像数据，

所述扩充处理部进行下述步骤：

差分运算步骤，通过使用关注像素附近的灰度等级值的微分或者差分的运算进行差分运算处理，算出用于将图像中的边缘抽出的所述关注像素的灰度等级值；

平均化处理步骤，进行平均化处理，算出将关注像素附近的灰度等级值平均化后的值作为所述关注像素的灰度等级值；

相关运算步骤，算出相关值，该相关值表示对所述分割图像数据实施所述差分运算处理后的差分图像数据与对所述分割图像数据实施所述差分运算处理和所述平均化处理后的平均化图像数据的相关关系；和

插补处理步骤，按照与所述相关值相应的插补方法对所述分割图像数据实施插补处理。

10.一种程序，其是使权利要求1至7中任一项所述的图像处理装置动作的程序，用于使计算机作为所述各部发挥功能。

11.一种记录有权利要求10所述的程序的计算机能够读取的记录介质。

Images