CN104737199B - 图像处理装置以及记录介质 - Google Patents

图像处理装置以及记录介质 Download PDF

Info

Publication number
CN104737199B
CN104737199B CN201380055242.4A CN201380055242A CN104737199B CN 104737199 B CN104737199 B CN 104737199B CN 201380055242 A CN201380055242 A CN 201380055242A CN 104737199 B CN104737199 B CN 104737199B
Authority
CN
China
Prior art keywords
pixel
mentioned
edge gradient
value
gradient direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380055242.4A
Other languages
English (en)
Other versions
CN104737199A (zh
Inventor
高岛真彦
松田丰久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN104737199A publication Critical patent/CN104737199A/zh
Application granted granted Critical
Publication of CN104737199B publication Critical patent/CN104737199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

电视接收机具备：边缘梯度方向设定部，其使用参照块内的输入像素来设定插值像素的边缘梯度方向；临时参照坐标设定部(65)，其设定作为具有与上述边缘梯度方向垂直的2边的平行四边形的顶点的4个参照像素；参照像素值设定部(66)，其不管参照像素是处于参照块内还是外，都使用参照块内的输入像素来设定作为参照像素的浓度值的参照像素值；以及插值像素值计算部(67)，其使用4个参照像素的参照像素值来计算插值像素的浓度值。

Description

图像处理装置以及记录介质
技术领域
本发明涉及一种进行高分辨率处理的图像处理装置以及记录介质。
背景技术
作为在图像处理以及影像处理中所使用的重要的技术，已知有倍增(upscaling)处理。例如，随着与近年来的FHD(Full High Definition，全高清)分辨率对应的显示器的普及，为了将SD(Standard Definition，标清)分辨率的影像内容显示于FHD分辨率显示器，需要倍增处理。此外，与超过FHD分辨率的QFHD(Quad Full High Definition，四倍全高清)分辨率对应的显示器正在被开发，进一步超过QFHD的UHD(Ultra High Definition，超高清)分辨率的显示器也正在被研究。这样，随着显示器的高分辨率化推进，高性能的倍增处理的重要性正在提高。
倍增处理作为一般的技术，具有最邻近插值(nearest neighbor)、双一次插值(双线性插值)、双三次插值(bicubic插值)的插值方法。最邻近插值使用位于距离参照的位置最近的位置的像素值来进行插值，若放大率变高则相同的像素持续几个，因此灰度再现劣化，此外，边缘部变成锯齿状。双一次插值使用参照的位置的周边的2×2像素(4像素)，将像素值线性地插值来求取像素值，虽然精度比最邻近插值好，但由于使用经线性插值的像素值，因此模糊。双三次插值使用参照的位置的周边的4×4像素(16像素)，通过三次式来进行插值并求取像素值，与最邻近插值、双一次插值相比性能好，但是存在在边缘部产生锯齿的问题。
专利文献1记载了不需复杂的处理而对图像以及影像高质量地进行倍增处理的方法。专利文献1记载的倍增处理首先使用在倾斜方向上相邻的低分辨率输入像素来生成倾斜高分辨率(HR)像素。接下来，使用在水平方向上相邻的低分辨率输入像素、以及在垂直方向上相邻的倾斜高分辨率(HR)像素来生成水平高分辨率(HR)像素。最后，使用在垂直方向上相邻的低分辨率输入像素、以及在水平方向上相邻的倾斜高分辨率(HR)像素来生成垂直高分辨率(HR)像素，由此生成高分辨率(HR)图像。此外，在生成各高分辨率(HR)像素时，进行控制以使距离边缘方向近的方向的权重大、且远离边缘方向的方向的权重小。由此，不产生过冲(overshoot)，抑制锯齿伪影(joggy artifacts)。
在先技术文献
专利文献
专利文献1：日本公开专利公报“特开2010-67272号公报(2010年3月25日公开)”
发明内容
-发明要解决的课题-
但是，专利文献1所示的倍增处理用于生成位于所输入的低分辨率像素的中间的插值像素。对低分辨率输入像素的右下像素值进行计算，接下来，使用右下像素值的计算结果来对低分辨率输入像素的右像素值、以及下像素值进行计算，由于始终根据一个低分辨率输入像素来新生成3个输出像素，因此难以实现2倍以外的任意倍率放大处理。
此外，虽然通过同时采用作为现有技术的双一次插值和双三次插值的插值方法，能够进行任意倍率放大处理，但其结果是，会产生上述这些插值方法的问题。
进一步地，专利文献1中被考虑的边缘的方向被限定于水平方向、垂直方向、45°方向以及-45°方向。因此，在这些之间存在倾斜方向的边缘时，不能参照适当方向的像素，因此有时会变为不自然的插值结果。为了将边缘的方向更细分，考虑参照宽度更宽的范围的像素。但是，在该情况下，特别是为了参照远离垂直方向的像素，需要安装更多的行缓冲器。其原因是可参照的像素的范围取决于可安装的行缓冲器的根数。此外，存在为了参照宽度宽的范围的像素而处理耗时的问题。
本发明为了解决上述课题而作出，本发明的目的在于，提供一种能够进行实现任意倍率放大处理、且抑制了画质的降低以及处理时间的增大的图像处理的图像处理装置以及记录介质。
-解决课题的手段-
为了解决上述课题，本发明的一方式所涉及的图像处理装置是一种依照所设定的放大缩小率并通过在所输入的图像数据中包含的输入像素之间设置插值像素来对上述图像数据进行放大缩小的图像处理装置，具备：参照块设定部，其对包含上述插值像素的参照块进行设定；边缘梯度方向设定部，其使用上述参照块内的输入像素来设定插值像素的边缘梯度方向；参照像素设定部，其设定作为具有与上述边缘梯度方向垂直的2边的四边形的顶点的4个参照像素；参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻输入像素的浓度值来估计作为该参照像素的浓度值的参照像素值，而在上述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的浓度值设为参照像素值；以及插值像素值计算部，其使用上述4个参照像素的参照像素值来计算上述插值像素的浓度值。
此外，本发明的一方式所涉及的图像处理装置是一种依照所设定的放大缩小率并通过在所输入的图像数据中包含的输入像素之间设置插值像素来对上述图像数据进行放大缩小的图像处理装置，具备：参照块设定部，其对包含上述插值像素的参照块进行设定；边缘梯度方向设定部，其使用上述参照块内的输入像素来设定插值像素的边缘梯度方向；参照像素设定部，其设定作为具有与上述边缘梯度方向垂直的2边的四边形的顶点的4个参照像素；参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻输入像素的浓度值来估计作为该参照像素的浓度值的参照像素值，而在上述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的浓度值设为参照像素值；第1插值处理部，其使用上述4个参照像素的参照像素值来计算取决于上述插值像素的边缘梯度方向的浓度值即第1插值值；第2插值处理部，其使用不取决于上述边缘梯度方向的插值处理来计算不取决于上 述插值像素的边缘梯度方向的浓度值即第2插值值；可靠度计算部，其计算由上述边缘梯度方向设定部设定的边缘梯度方向的可靠度；以及混合处理部，其基于上述可靠度来决定分别针对上述第1插值值以及第2插值值的加权系数，并使用决定的加权系数将上述第1插值值与上述第2插值值相加，来计算上述插值像素的浓度值。
-发明效果-
根据本发明，能够进行实现任意倍率放大处理、且抑制了画质的降低以及处理时间的增大的图像处理。
附图说明
图1是表示本发明的实施方式1所涉及的电视接收机的结构的概况的框图。
图2是表示图1所示的影像信号处理电路的结构的框图。
图3是表示图2所示的缩放处理部的结构的框图。
图4是表示针对插值像素的参照块的设定例的图。
图5是表示1次微分滤波器的一个例子的图。
图6是表示针对输入像素而计算出的边缘梯度的一个例子的图。
图7是表示边缘梯度方向的各个区域的图。
图8是表示使用了边缘梯度G＝(Gx，Gy)的边缘梯度方向的设定处理的流程的流程图。
图9是表示图3所示的插值处理部的结构的框图。
图10是表示参照块M＝N＝4、边缘梯度方向的分割数NB＝12的情况下的、相对于插值像素的边缘梯度方向φ的平行四边形的设定例的图。
图11是表示插值像素的位置与将临时参照坐标作为顶点的平行四边形的位置的关系的图。
图12A是表示将参照块设为M＝N＝6、LHMax＝LVMax＝5，将边缘梯度方向的分割数设为NB＝20的情况下的、边缘梯度方向B0、B11-B19中的临时参照坐标4个点的设定例的图。
图12B是表示将参照块设为M＝N＝6、LHMax＝LVMax＝5，将边缘梯度方向的分割数设为NB＝20的情况下的、边缘梯度方向B1-B10中的临时参照 坐标4个点的设定例的图。
图13是表示图9所示的参照像素值设定部所执行的临时参照坐标的像素值的设定处理的流程图。
图14是表示临时参照坐标处于参照块外的情况下的临时参照坐标的像素值的设定方法的图。
图15是表示图9所示的插值像素值计算部所执行的处理的流程图的图。
图16是表示对插值像素的像素值进行计算的方法的图，(a)是φ属于第1方向群的情况，(b)是φ属于第2方向群的情况。
图17是表示对插值像素的像素值进行计算的方法的图。
图18是表示用于求取边缘梯度的多个1次微分滤波器的例子的图。
图19是表示为了决定插值像素的边缘梯度方向而选择出的ND个对象像素的例子的图。
图20是表示用于求取边缘梯度方向的模板的图。
图21是表示本发明的实施方式2所涉及的电视接收机具备的缩放处理部的结构的框图。
图22是表示图21所示的边缘梯度方向设定部的结构的框图。
图23是表示图21所示的可靠度计算部的处理例的流程图。
图24是表示图21所示的可靠度计算部使用的查询表的一个例子的图。
图25是表示不取决于边缘梯度方向的Lanczos插值处理中使用的加权系数的分布(n＝2的情况)的图。
图26是表示图21所示的可靠度计算部的另一处理例的流程图。
图27是表示图21所示的可靠度计算部使用的查询表的另一例子的图。
图28是表示缩放处理部的变形例的框图。
图29是表示图28所示的边缘梯度方向设定部的结构的框图。
图30是表示用于修正可靠度的滤波器的例子的图。
图31是表示边缘梯度方向可取得的角度范围的图。
图32是表示图21所示的可靠度计算部使用的查询表的另一例子的图。
图33是表示求取用于设定查询表的参数ΔθRES的方法的图。
图34是表示针对图32所示的LUT_C[φ]而设定的LUT_R[φ]以及 LUT_L[φ]的一个例子的图。
图35是表示从参照块选择出的选择像素的一个例子的图。
图36是表示本发明的实施方式3所涉及的监视器的结构的概况的框图。
图37是表示作为图36所示的监视器的应用例的多显示器的图。
具体实施方式
参照附图来对本发明的实施方式进行说明。在以下的说明中，对同一部件赋予同一符号。它们的名称以及功能也相同。因此，不重复针对它们的详细说明。
〔实施方式1〕
(电视接收机的结构)
图1是表示实施方式1中的电视接收机的结构的概况的框图。如图1所示，电视接收机(图像处理装置)1具备：集成电路(LSI)3、电源单元5、调谐器(tunner)7、接口9、显示部13、操作部15以及扬声器17，其中，该集成电路(LSI)3包含：控制电视接收机1整体的中央运算装置(CPU)11、影像信号处理电路21、声音信号处理电路23以及面板控制器25。
接口9包含：TV天线41、用于通过TMDS(Transition Minimized DifferentialSignaling，过渡最小差分信号)方式来进行串行通信的DVI(Digital Visual Interface，数字视频接口)端子43以及HDMI(High Definition Multimedia Interface)端子45、和用于通过TCP(Transmission Control Protocol，传输控制协议)或者UDP(User DatagramProtocol，用户数据报协议)等通信协议来进行通信的LAN端子47。接口9根据来自CPU11的指示，与和DVI端子43、HDMI(注册商标)端子45或者LAN端子47连接的外部设备之间收发数据。
操作部15至少包含电源开关和切换开关。电源开关是用于输入对电视接收机1的电源的接通与断开的切换进行指示的操作指示的开关。切换开关是用于输入对通过电视接收机1来接收图像的广播信道进行指定的操作指示的开关。操作部15对应于电源开关以及切换开关被按下，将与各 个开关对应的操作指示输出到CPU11。
另外，这里，以电视接收机1所具备的操作部15被操作的情况为例进行了说明，但也可以在能够与电视接收机1进行无线通信的遥控器中具备操作部15，将与各个开关对应的操作指示发送到电视接收机1。在该情况下，遥控器与电视接收机1通信的通信介质可以是红外光，也可以是电磁波。
显示部13例如是液晶显示器(LCD)面板、等离子显示器面板等，能够显示电视节目。
电源单元5对从外部提供的电力进行控制。CPU11根据从电源开关输入的操作指示，使电源单元5提供电力或者切断电力的提供。在从电源开关输入的操作指示是切换为电源接通的操作指示的情况下，向电视接收机1整体提供电力。在从电源开关输入的操作指示是切换为电源断开的操作指示的情况下，切断提供给电视接收机1的电力。
调谐器7例如是地面波数字调谐器或者BS/CS数字调谐器，其与TV天线41连接，被输入TV天线41所接收的广播信号。广播信号是包含影像数据以及声音数据的高频数字调制信号。调谐器7具备逆交织电路以及纠错电路，对提取出的特定频率的高频数字变调信号进行解调并生成可变长码。调谐器7从由TV天线41接收到的广播信号中选择由CPU11指定的信道的广播信号，将基于该广播信号而生成的可变长码输出到影像信号处理电路21以及声音信号处理电路23。
影像信号处理电路21对从调谐器7输入的可变长码执行各种处理，并生成影像信号。
面板控制器25控制显示部13，将影像信号处理电路21输出的影像信号的影像显示于显示部13。具体来讲，面板控制器25具备面板驱动电路和背光控制电路，根据来自CPU11的指示，对面板驱动电路的驱动进行控制，并对配置于显示部13的背面的背光的点亮以及熄灭进行控制。
声音信号处理电路23具备音频解码器，对从调谐器7输入的可变长码进行解码来生成声音信号，对声音信号进行D/A(数字/模拟)转换，并输出到扬声器17。
另外，这里，以基于由调谐器7从TV天线41接收到的广播信号而由 影像信号处理电路21生成影像信号的情况为例进行了说明。但是，也可以基于由外部设备经由DVI端子43、HDMI端子45或者LAN端子47来发送的影像数据而由影像信号处理电路21生成影像信号。此外，调谐器7也可以具备地面波数字调谐器和BS/CS数字调谐器这两者。
(影像信号处理电路的结构)
图2是表示影像信号处理电路的结构的框图。如图2所示，影像信号处理电路21包含：视频解码器51、IP变换处理部53、降噪处理部55、锐化(sharpness)处理部57、色彩调整处理部59以及缩放处理部61。
视频解码器51对从调谐器7输入的可变长码进行解码并生成影像信号，对影像信号进行D/A转换，并输出到IP变换处理部53。IP变换处理部53根据需要，将从视频解码器51输入的影像信号从隔行扫描(interlace)方式转换为逐行扫描(progressive)方式。降噪处理部55执行用于减少IP变换处理部53输出的影像信号中包含的噪声分量的降噪处理。锐化处理部57执行将降噪处理部55输出的影像信号的影像鲜明化的锐化处理。色彩调整处理部59对锐化处理部57输出的影像信号，执行调整对比度、饱和度等的色彩处理。缩放处理部61对色彩调整处理部59输出的影像信号，执行与显示部13的像素数相应的缩放处理。另外，CPU11使未图示的帧存储器以帧为单位适当地存储通过影像信号处理电路21来执行各种处理时的影像信号。
缩放处理至少包含以下处理：将影像数据中包含的帧单位的图像数据放大(或者缩小)为与显示部13的像素数相应的倍率，将由于放大(或者缩小)而需要插值的像素计算为插值像素。插值像素根据图像数据被放大(或者缩小)的倍率来确定位置。
(缩放处理部的结构)
图3是表示缩放处理部的结构的框图。如图3所示，缩放处理部61包含：参照块设定部62、边缘梯度方向设定部63以及插值处理部64。
参照块设定部62对在后段的边缘梯度方向设定部63以及插值处理部64中能够参照的输入像素的集合即参照块(reference block)进行设定。参照块设定部62将存在于修正像素的周边的输入像素当中由垂直方向M个像素、水平方向N个像素构成的多个像素集合提取为参照块。其中，M、 N均为预先确定的4以上的自然数。
图4是针对插值像素的参照块的设定例，(a)表示M＝N＝4的参照块，(b)表示M＝N＝6的参照块。图4中由黑圆示出的点表示输入像素，由白圆示出的点表示输入像素当中被提取为参照块的像素。此外，由＊示出的点表示插值像素。在本实施方式中，为了由多行输入像素构成参照块，因此具备多个行缓冲器(line buffer)，垂直方向的像素数M是根据该行缓冲器数而被设定的。另外，水平方向的像素数N不需要与M一致，能够根据需要来设为N＞M，从而提高水平方向的插值精度。作为设为N＞M的例子，列举在IP变换处理部53中进行了IP变换处理的情况。
参照块设定部62针对被提取为参照块的输入像素，从行缓冲器读取出像素坐标以及像素值(浓度值)，按照边缘梯度方向设定部63以及插值处理部64容易存取的方式来存储于存储器。
边缘梯度方向设定部63求取构成参照块的多个输入像素当中被选出的1个输入像素的边缘梯度，并根据该边缘梯度来设定插值像素的边缘梯度方向。
边缘梯度方向设定部63从参照块中，将与插值像素的相关性高的输入像素选择为计算边缘梯度的输入像素即可。作为相关性高的输入像素，例如，在将插值像素的坐标设为(x，y)时(其中，x，y为零以上的实数)，选择将分别不超过x、y的最大整数的i、j设为像素坐标的输入像素(i，j)即可(例如，在x、y都不是整数的情况下，以插值像素为基准，处于在左上方向上最近的位置的输入像素)。或者，也可以选择与(x，y)的欧氏(Euclidean)距离最小的输入像素。此外，像素值(浓度值)在输入图像是灰度(grayscale)方式的情况下为灰度值，在是RGB方式的情况下，也可以是使用根据R、G、B这3个分量而计算的值。作为根据R、G、B这3个分量而计算的值的例子，举例有：3个分量的平均值、最大值、以及转换为亮度分量的值。
接下来，边缘梯度方向设定部63使用图5所示的1次微分滤波器，根据下式来对选择出的输入像素(i，j)的水平方向的1次微分值Gx(i，j)以及垂直方向的1次微分值Gy(i，j)进行计算。
Gx(i，j)＝IN(i+1，j-1)+IN(i+1，j)×a
+IN(i+1，j+1)-IN(i-1，j-1)
-IN(i-1，j)×a-IN(i-1，j+1)··式(1-1)
Gy(i，j)＝IN(i-1，j+1)+IN(i，j+1)×a
+IN(i+1，j+1)-IN(i-1，j-1)
-IN(i，j-1)×a-IN(i+1，j-1)··式(1-2)
其中，IN(i，j)表示坐标(i，j)处的输入像素值。此外，i、j为自然数。然后，边缘梯度方向设定部63将由水平方向的1次微分值Gx以及垂直方向的1次微分值Gy构成的矢量G＝(Gx，Gy)设为边缘梯度。
另外，1次微分滤波器的系数a是任意的正系数，在a＝1的情况下，1次微分滤波器能够用作Prewitt滤波器，在a＝2的情况下，能够用作Sobel滤波器。此外，1次微分滤波器并不限定于图5中举例的3×3像素的尺寸的滤波器。根据参照块的大小来设定1次微分滤波器的尺寸即可。也就是说，1次微分滤波器以仅使用参照块内的像素为条件，而被决定更大的尺寸。例如，在图4(b)所示的参照块的情况下，能够使用5×5的尺寸的1次微分滤波器。
接下来，边缘梯度方向设定部63使用计算出的边缘梯度来设定插值像素的边缘梯度方向。
图6是表示正交坐标上的边缘梯度G＝(Gx，Gy)的图。边缘梯度G的角度θ是通过Gx与Gy的反正切θ＝atan{Gy/Gx}而被给定的，但反正切的运算一般需要复杂的处理。此外，在本实施方式中不需要考虑微小的角度差。在本实施方式中，作为边缘梯度方向，除了水平方向和垂直方向以外，优选被分类为使Gx与Gy之比为整数比的几个方向中的任意一个。因此，将全部方向分割为多个区域，边缘梯度方向设定部63将边缘梯度G所属的区域设定为边缘梯度方向。
图7表示将全部方向分割为多个区域的例子。根据下述的规则，全部方向被分割。
·设置以水平方向轴为中心的区域。
·设置以垂直方向轴为中心的区域。
·设置以Gx∶Gy＝1∶±1的方向为中心的区域。
·设置以Gx∶Gy＝1∶±LV的方向为中心的区域。
(LV＝2，…，LVMax)
·设置以Gx∶Gy＝LH∶±1的方向为中心的区域。
(LH＝2，…，LHMax)
其中，LVMax以及LHMax为2以上的任意自然数，根据参照块的尺寸而被设定。例如，优选M＝N＝4时，LVMax＝LHMax＝3，M＝N＝6时，LVMax＝LHMax＝5。
根据上述规则，整个方向被分割为{8+4(LVMax+LHMax-2)}个。在将分割了整个方向的数的一半的数设为边缘梯度方向的分割数NB＝4+2(LVMax+LHMax-2)时，将以垂直方向为中心的区域设为B0，向右旋转依次称为B1，…，BNB-1(也就是说，在k＝0，1，…，NB-1时，被表示为Bk的区域分别各存在2个)。另外，由于边缘方向是与边缘梯度方向正交的方向，因此在边缘梯度方向为B0时，边缘方向成为水平方向。
图8是表示使用了边缘梯度G＝(Gx，Gy)的边缘梯度方向的设定处理的流程的流程图。首先，边缘梯度方向设定部63对使用Gx以及Gy并通过下述判定式(2-1)来计算出的边缘梯度是否比规定阈值τθ(例如16)小进行判定(S81)。
|Gx|+|Gy|＜τθ ···(2-1)
在边缘梯度比规定阈值τθ小时，边缘梯度方向设定部63判定为不可进行边缘方向的估计，并设定为边缘梯度方向φ＝B0(S82)。
在边缘梯度比规定阈值τθ大时，边缘梯度方向设定部63对是否满足下述判定式(2-2)进行判定(S83)。
Gx×Gy≥0 ···(2-2)
另外，判定式(2-2)对Gx、Gy的符号是否相同进行判定。
在满足判定式2-2时，边缘梯度方向设定部63对是否满足下述判定式(2-3)进行判定(S84)。
τ0×|Gx|≤|Gy| ···(2-3)
另外，判定式(2-3)中的系数τ0被给定任意的常量，例如τ0＝13。在满足判定式(2-3)时，边缘梯度方向设定部63判定为边缘梯度G几乎处于垂直方向的朝向，并设定为边缘梯度方向φ＝B0(S85)。
在不满足判定式(2-3)时，边缘梯度方向设定部63对是否满足下述 判定式(2-4)进行判定(S86)。
τ1×|Gx|≤|Gy| ···(2-4)
另外，判定式(2-4)中的系数τ1被赋予任意的常量，例如τ1＝2.5。在满足判定式(2-4)时，边缘梯度方向设定部63判定为边缘梯度G几乎处于Gx∶Gy＝1∶LVMax的朝向，并设定为边缘梯度方向φ＝B1(S87)。
以下，同样地，边缘梯度方向设定部63进行使用了下述判定式(2-5)的条件判定(S88)，在满足判定式(2-5)时，设为边缘梯度方向φ＝Bk(S89)。
τk×|Gx|≤|Gy| ···(2-5)
在不满足判定式(2-5)时，更新为k＝k+1，并反复基于判定式(2-5)的判定。边缘梯度方向设定部63在k＝NB/2-1处对是否满足判定式(2-5)进行判定(S90、S91)，在不满足判定式(2-5)时，设为边缘梯度方向φ＝BNB/2(S92)，并结束基于判定式(2-5)的判定。
另外，上述举例出的系数τ0，…，τNB/2-1是根据以下规则而被设定的任意的系数。
·τ0＞LVMax
·对于k＝1，…，LVMax-1，LVMax-k＜τk＜LVMax-k+1
·对于k＝LVMax，…，NB/2-1，1/(k-LVMax+2)＜τk＜1/(k-LVMax+1)
·0＜τNB/2-1＜1/LHMax
例如，LHMax＝LVMax＝3，即NB＝12时，能够设为τ0＝13，τ1＝5/2，τ2＝3/2，τ3＝2/3，τ4＝2/5，τ5＝1/13。系数τ0，…，τNB/2-1表示作为相关的2个相邻的边缘梯度方向的边界线的角度的Gx与Gy之比，例如在τ2的情况下，和表示Gx∶Gy＝1∶2的方向的B2与表示Gx∶Gy＝1∶1的方向的B3的边界相关，例如若设为τ2＝3/2，则Gx∶Gy＝1∶1.5的方向为B2与B3的边界的方向。
另一方面，在不满足判定式2-2的情况下，边缘梯度方向设定部63对是否满足上述判定式(2-3)进行判定(S93)。在满足判定式2-3时，边缘梯度方向设定部63判定为边缘梯度矢量G几乎处于垂直方向的朝向，并设为边缘梯度方向φ＝B0(S94)。
在不满足上述判定式(2-3)时，对是否满足上述判定式(2-4)进行 判定(S95)。在满足判定式2-4时，判定为边缘梯度G几乎处于Gx∶Gy＝1∶-LVMax的朝向，并设定为边缘梯度方向φ＝BNB-1(S96)。
以下，同样地，进行使用了上述判定式(2-5)的条件判定(S95、S97、S99)，并设定边缘梯度方向φ。也就是说，在满足判定式(2-5)时，设定为边缘梯度方向φ＝BNB-k(S96、S98、S100)。在不满足判定式2-5时，更新为k＝k+1，并反复基于判定式(2-5)的判定。在k＝NB/2-1处不满足判定式2-5时，设为边缘梯度方向φ＝BNB/2(S101)，并结束基于判定式(2-5)的判定。通过以上处理，能够设定插值像素的边缘梯度方向φ。
插值处理部64使用通过参照块设定部62而被设定的参照块和通过边缘梯度方向设定部63而被决定的边缘梯度方向，计算插值像素的像素值。
图9是表示插值处理部64的结构的框图。如图所示，插值处理部64具备：临时参照坐标设定部65、参照像素值设定部66以及插值像素值计算部67。
临时参照坐标设定部65对作为平行四边形的顶点的4个点进行设定，并将其坐标指定为临时参照坐标，其中，该平行四边形内包插值像素，并且具有与边缘方向平行的二边(与边缘梯度方向垂直的二边)。平行四边形也包含正方形。此外，作为平行四边形的顶点的4个点被设定为取整数坐标值的点。
图10表示在将参照块设为M＝N＝4、LHMax＝LVMax＝3，将边缘梯度方向的分割数设为NB＝12的情况下的、针对插值像素的边缘梯度方向φ的平行四边形的设定例。如前所述，注意边缘梯度方向φ与边缘方向正交。临时参照坐标设定部65将这样设定的四边形的4个顶点的坐标指定为临时参照坐标。另外，如10所示，至少2个点是选择参照块内的输入像素的点。在图10所示的例子(M＝N＝4，LHMax＝LVMax＝3)中，在一部分的边缘梯度方向(例如φ＝B10等)，构成平行四边形的4个点当中的1个点至2个点可能位于参照块外，但在本阶段不需要特别考虑属于参照块的内部或外侧的哪一侧。此外，图10是插值像素存在于灰色所示的范围的情况的例子，例如在φ＝B2的情况下，临时参照坐标设定部65对内包插值像素的平行四边形进行设定，因此根据插值像素的位置来如图11那样变更平行四边形的位置，并指定4个临时参照坐标。φ＝B1-B5、B7-B11也是同 样地，临时参照坐标设定部65按照包含插值像素的位置的方式来变更平行四边形的位置，并指定4个临时参照坐标。
另外，在图10所示的例子中，临时参照坐标设定部65在任意的边缘梯度方向都设定相同面积的平行四边形。在B0-B3、B10、B11中，设定具有与边缘方向平行的二边和与水平方向平行的二边的平行四边形，在B4-B9中，设定具有与边缘方向平行的二边和与垂直方向平行的二边的平行四边形。
临时参照坐标的设定方法不需要限定于所述的例子，能够根据参照块的尺寸、边缘梯度方向的分割方法来设为可变。图12A以及图12B是将参照块设为M＝N＝6、LHMax＝LVMax＝5，将边缘梯度方向的分割数设为NB＝20的情况下的临时参照坐标4个点的设定例。
临时参照坐标设定部65将这样得到的4个点的临时参照坐标分别设为P1、P2、P3、P4，并将P1～P4输出到参照像素值设定部。另外，P1是左上顶点，P2是右上顶点，P3是右下顶点，P4是左下顶点。
参照像素值设定部66对与从临时参照坐标设定部65接受的临时参照坐标对应的像素值分别进行设定。图13是表示用于根据临时参照坐标来设定对应的像素值的处理的流程图。
首先，参照像素值设定部66对临时参照坐标Pk(其中，k＝1，2，3，4)是否被包含在参照块进行判定(S131)。在临时参照坐标Pk被包含在参照块的情况下，参照像素值设定部66将位于临时参照坐标Pk的输入像素的像素值INPk设定为与临时参照坐标Pk对应的像素值fk(S132)。
在临时参照坐标Pk位于参照块的外侧的情况下，参照像素值设定部66如图14所示，将以临时参照坐标Pk为端点的平行四边形的一边与参照块的边界线的交点设为点R，将夹着点R并位于参照块的边界线上的两侧的输入像素分别设为点S、点T(S133)。然后，参照像素值设定部66在设为SR∶RT＝α∶1-α时(其中0≤α≤1)，根据下式(3)来计算临时参照坐标Pk的像素值fk(S134)。
fk＝(1-α)INS+αINT ···(3)
其中，INS表示输入像素S中的像素值，INT表示输入像素T中的像素值。
例如在图14所示的例子的情况下，对于位于参照块外的P3，在参照块的边界线上放置假想的像素R，则SR∶RT＝2/3∶1/3(即α＝2/3)。因此，临时参照坐标P3中的像素值f3通过式(3)而被得出f3＝(1/3)INS+(2/3)INT。
参照像素值设定部66对P1、P2、P3以及P4这4个临时参照坐标执行图13所示的处理，来计算分别所对应的像素值f1、f2，f3以及f4。
这样，即使临时参照坐标位于参照块外，参照像素值设定部66也在参照块的边界线上取假想的像素R，根据参照块内的输入像素来内插地赋予针对临时参照坐标的像素值。也就是说，通过仅参照由参照块设定部62设定的参照块内的输入像素，就能够设定各个临时参照坐标的像素值。
插值像素值计算部67根据所述的4个临时参照坐标以及对应的像素值，通过插值运算来计算插值像素的像素值。图15是表示插值像素值计算部67所执行的处理的流程图的图。另外，在以下的说明中，将插值像素上的点设为P0，将其坐标设为(px，py)。
首先，插值像素值计算部67对插值像素的边缘梯度方向φ属于第1方向群以及第2方向群的哪个进行判定(S151)。这里，第1方向群是针对边缘梯度G＝(Gx，Gy)而成为|Gx|＜|Gy|的方向以及Gx＝Gy的方向集合，第2方向群是不包含在第1方向群中的方向的集合。例如在NB＝12的情况下，第1以及第2方向群被如下分类。
第1方向群：B0，B1，B2，B3，B10，B11
第2方向群：B4，B5，B6，B7，B8，B9
第1方向群是具有与边缘方向平行的二边和与水平方向(水平轴、x轴)平行的二边的平行四边形的顶点被设定为临时参照坐标的方向。此外，第2方向群是具有与边缘方向平行的二边和与垂直方向(垂直轴、y轴)平行的二边的平行四边形的顶点被设定为临时参照坐标的方向。
在φ属于第1方向群的情况下，插值像素值计算部67设定经过P0并与边P1P4(左边)平行的直线与边P1P2(上边)的交点Q12以及该直线与边P3P4(下边)的交点Q34(S152)。图16的(a)是表示在φ属于第1方向群的情况下，针对P0的交点Q12以及Q34的设定方法的例子的图。
接下来，插值像素值计算部67根据下述式(4)，对P1与Q12的距离 dx、以及边P1P2与P0的距离dy进行计算(S153)。
dx＝dist{P1，Q12}，dy＝py-[py] ···(4)
其中，dist{A，B}是点A、B间的距离，[x]是不超过x的最大整数。例如，在设为M＝N＝4，如图7那样分割边缘梯度方向的情况下，在插值像素P0(i+5/6，j+1/2)的位置处边缘梯度方向φ＝B1时，如图17所示那样设定交点Q12以及Q34。此时，Q12的坐标为(i-2/3，j)，通过式(4)，如下述那样计算距离dx、dy。
[数式1]
dy＝(j+1/2)-[j+1/2]＝1/2
接着，插值像素值计算部67根据P1、P2、P3以及P4，首先通过水平方向的线性插值来计算Q12以及Q34中的像素值，接下来根据Q12以及Q34的像素值，通过垂直方向的线性插值来计算P0的像素值(S154)。该水平插值以及垂直插值能够如下式那样汇总为一个式子。
OUT＝(1-dy)×{(1-dx)×f1+dx×f2}
+dy×{dx×f3+(1-dx)×f4} ···(5)
在φ属于第2方向群的情况下，插值像素值计算部67设定经过P0并与边P1P2(上边)平行的直线与边P1P4(左边)的交点Q14以及该直线与边P2P3(右边)的交点Q23(S155)。图16的(b)是表示在φ属于第2方向群的情况下，针对P0的交点Q14以及Q23的设定方法的例子的图。
接下来，插值像素值计算部67根据下述式(6)，对边P1P4与P0的距离dx、以及P1与Q14的距离dy进行计算(S156)。
dx＝px-[px]，dy＝dist{P1，Q14} ···(6)
接着，插值像素值计算部67根据P1、P2、P3以及P4，首先通过垂直方向的线性插值，计算Q14以及Q23中的像素值，接下来根据Q14以及Q23的像素值，通过水平方向的线性插值，计算P0的像素值(S157)。该垂直插值以及水平插值能够如下式那样汇总为一个式子。
OUT＝(1-dx)×{(1-dy)×f1+dy×f4}
+dx×{(1-dy)×f2+dy×f3} ···(7)
式(5)以及式(7)均能够如下式那样进行整理。
OUT＝(1-dx)×(1-dy)×f1+dx×(1-dy)×f2
+dx×dy×f3+(1-dx)×dy×f4 ···(8)
这样，由于插值像素值计算部67通过根据沿着边缘方向的平行四边形的形状的线性插值，计算插值像素的像素值，因此能够进行取决于边缘方向的插值。此外，不管临时参照坐标处于参照块内还是处于参照块外，插值像素值计算部67都能够使用参照块内的输入像素的像素值来计算插值像素的像素值。
另外，在所输入的图像是灰度图像的情况下，参照像素值设定部66以及插值像素值计算部67使用灰度值来计算像素值。另一方面，在所输入的图像是RGB方式的情况下，参照像素值设定部66以及插值像素值计算部67按R、G、B的分量的每一个来求取像素值。也就是说，参照像素值设定部对临时参照坐标Pk(k＝1，2，3，4)的像素值的R分量fkR、G分量fkG、B分量fkB进行计算。然后，插值像素值计算部对插值像素的像素值的R分量OUTR、G分量OUTG以及B分量OUTB进行计算。
OUTR＝(1-dx)×(1-dy)×f1R+dx×(1-dy)×f2R
+dx×dy×f3R+(1-dx)×dy×f4R
OUTG＝(1-dx)×(1-dy)×f1G+dx×(1-dy)×f2G
+dx×dy×f3G+(1-dx)×dy×f4G
OUTB＝(1-dx)×(1-dy)×f1B+dx×(1-dy)×f2B
+dx×dy×f3B+(1-dx)×dy×f4B ···(9)
(与边缘梯度的计算有关的变形例1)
在上述说明中，使用图5所示的水平方向以及垂直方向各一个的1次微分滤波器来计算边缘梯度。但是，对于字符图像这种1像素宽的边缘，可能通过图5所示的1次微分滤波器不能检测。例如，在0-100-0这种像素值排列时，由于两端为0因此也为1次微分值。因此，边缘梯度方向设定部63也可以应用多个1次微分滤波器来决定对象像素的边缘梯度。
例如，边缘梯度方向设定部63也可以如图18所示，使用水平方向以及垂直方向各3个的1次微分滤波器来计算对象像素的边缘梯度。在图18 中，(a)是与图5所示的滤波器相同的第1水平方向1次微分滤波器FH1，(b)是与图5所示的滤波器相同的第1垂直方向1次微分滤波器FV1。此外，(c)是针对第1水平方向1次微分滤波器FH1，将中央列用左侧列进行置换，进一步将左侧列的值设为零的第2水平方向1次微分滤波器FH2。(e)是针对第1水平方向1次微分滤波器FH1，将中央列用右侧列进行置换，进一步将右侧列的值设为零的第3水平方向1次微分滤波器FH3。同样地，(d)是针对第1垂直方向1次微分滤波器FV1，将中央段用上段进行置换，进一步将上段的值设为零的第2垂直方向1次微分滤波器FV2。(f)是针对第1垂直方向1次微分滤波器FV1，将中央段用下段进行置换，进一步将下段的值设为零的第3垂直方向1次微分滤波器FV3。
边缘梯度方向设定部63在将应用FH1以及FV1而得到的1次微分值设为Gx1以及Gy1，将应用FH2以及FV2而得到的1次微分值设为Gx2以及Gy2，将应用FH3以及FV3而得到的1次微分值设为Gx3以及Gy3时，将水平方向以及垂直方向的1次微分值的绝对值和最大的滤波器的组的1次微分值用作边缘梯度。
[数式2]
其中
G1＝|Gx1|+|Gy1|，G2＝|Gx2|+|Gy2|，G3＝|Gx3|+|Gy3|
根据本变形例，通过在第一1次微分滤波器的基础上，同时采用第二、第三1次微分滤波器，还能够检测1像素宽的边缘。
另外，第二、第三1次微分滤波器特别是对字符图像有效，在安装的监视器等限定于实景影像等的显示的情况下，即使仅通过第一1次微分滤波器也能够发挥充分的效果。
(与边缘梯度的计算有关的变形例2)
在上述说明中，在输入图像是RGB方式的情况下，将根据3个分量 来计算的值(平均值、最大值等)用作为单一的像素值，计算出边缘梯度。但是，边缘梯度方向设定部63也可以使用多个像素值来计算边缘梯度。
边缘梯度方向设定部63使用上述的边缘梯度计算处理方法，来按照R、G、B分量的每一个计算边缘梯度。将计算出的R分量的边缘梯度设为(GRx，GRy)，将G分量的边缘梯度设为(GGx，GGy)，将B分量的边缘梯度设为(GBx，GBy)。然后，边缘梯度方向计算处理部按照每个R、G、B分量，对边缘梯度的垂直方向分量以及水平方向分量的绝对值的和进行计算，将绝对值的和最大的分量的边缘梯度设为对象像素的边缘梯度(Gx，Gy)。
[数式3]
其中
GR＝|GRx|+|GRy|，GG＝|GGx|+|GGy|，GB＝|GBx|+|GBy|
根据本变形例，与通过单一的像素值来进行计算的情况相比，能够对考虑了各个颜色分量的趋势的边缘梯度进行决定。例如在R、G、B分量为(0，0，100)与(100，0，0)的像素之间，在R分量以及B分量发现了变化，但若使用基于3个分量的平均值、最大值的单一的像素值，则两个像素中为相同的像素值，不能检测边缘梯度。因此，通过按照每个颜色分量来计算边缘梯度，采用其中最大的颜色分量，能够设定考虑了颜色分量的边缘梯度。
(与边缘梯度方向的设定有关的变形例)
在上述说明中，边缘梯度方向设定部63基于构成参照块的输入像素中选择出的一个输入像素的边缘梯度，对插值像素的边缘梯度方向进行设定。但是，边缘梯度方向设定部63也可以根据构成参照块的输入像素中2个以上的输入像素各自中得到的边缘梯度，对插值像素的边缘梯度方向进行设定。下面，对该方法进行记述。
边缘梯度方向设定部63为了决定插值像素的边缘梯度方向，从参照 块中选择ND个对象像素。其中，ND是2以上的自然数。图19是表示为了决定插值像素的边缘梯度方向而选择的ND个对象像素的例子的图。如图19所示，例如，边缘梯度方向计算处理部将包围插值像素的4个输入像素选择为对象像素。
接下来，边缘梯度方向设定部63对ND个对象像素分别进行边缘梯度的。该计算方法使用上述的方法。这里，将关于对象像素Qk(其中k＝1，…，ND)而计算出的边缘梯度设为(Gxk，Gyk)。
边缘梯度方向设定部63使用ND个边缘梯度(Gxk，Gyk)，决定插值像素的边缘梯度(Gx，Gy)，来计算插值像素的边缘梯度方向。首先，边缘梯度方向设定部63对第1象限和第4象限中的、也就是将Gxk的值固定为正时的Gxk的总和SGxpos与Gyk的总和SGyfree进行计算。
[数式4]
其中，sign(x)是在自变量x为0以上时返回1，在x为负时返回-1的符号函数。同样地，边缘梯度方向设定部63对第1象限和第2象限中的、也就是将Gyk的值固定为正时的Gyk的总和SGypos与Gxk的总和SGxfree进行计算。
[数式5]
接着，边缘梯度方向设定部63求取SGxpos与SGyfree的绝对值的和Sx、SGxfree与SGypos的绝对值的和Sy。在Sx≥Sy时，边缘梯度方向计算处理部设为插值像素的边缘梯度(Gx，Gy)＝(SGxpos，SGyfree)，在Sx＜Sy时，设为插值像素的边缘梯度(Gx，Gy)＝(SGxfree，SGypos)。
接着，边缘梯度方向设定部63使用所得到的边缘梯度(Gx，Gy)来设定插值像素的边缘梯度方向。关于边缘梯度方向，由于与上述说明的方法(图8所示的方法)相同，因此这里省略说明。
例如，在设为ND＝4，(Gx1，Gy1)＝(200，100)，(Gx2，Gy2)＝ (-100，200)，(Gx3，Gy3)＝(100，-100)，(Gx4，Gy4)＝(-100，-200)时，
SGxpos＝200+100+100+100＝500
SGyfree＝100+200×(-1)+(-100)+(-200)×(-1)＝0
SGxfree＝200+(-100)+100×(-1)+(-100)×(-1)＝100
SGypos＝100+200+100+200＝600，
Sx＝|SGxpos|+|SGyfree|＝500，
Sy＝|SGxfree|+|SGypos|＝700。
因此，边缘梯度方向设定部63将插值像素的边缘梯度设定为(Gx，Gy)＝(100，600)。
在仅根据单一的输入像素来计算边缘梯度方向的情况下，也可能被选择出的输入像素由于噪声等导致不能正确地计算边缘梯度方向。但是，根据本变形例，边缘梯度方向设定部63通过如上所述那样统合周围的边缘梯度，考虑垂直方向的偏差以及水平方向的偏差，从而能够设定抗噪能力强的边缘梯度方向。
(其它)
另外，在上述说明中，为了求取边缘梯度方向，列举了使用1次微分滤波器的方法，但也可以使用其他方法来设定边缘梯度方向。作为边缘梯度方向的其他计算方法，例如列举模板匹配(template matching)。使用图20所示的与特定的方向对应的模板的滤波器，边缘梯度方向设定部63将在各个像素中通过滤波器运算而计算出的值设为边缘量。然后，边缘梯度方向计算处理部根据按照每个模板而计算出的边缘量最大的模板所对应的方向，求取边缘梯度方向即可。求取边缘梯度方向的方法并不特别指定。作为例子，也可以在边缘量最大的方向θ1的两边的方向的边缘量中，将取较大值的方向设为θ2，以θ1与θ2处的边缘量为权重来对θ1和θ2进行加权平均，从而求取方向θ3，将预先决定的NB个方向中距离θ3最近的方向设为边缘梯度方向。
另外，图20是表示模板的一个例子的图，也能够通过增大模板的尺寸，来增加方向的图案(pattern)。
〔实施方式2〕
在上述实施方式1中，对根据被计算出的边缘梯度方向来进行插值处理的方法进行了说明。但是，例如在相对于前景对象(object)，背景区域是模糊的图像等中，也考虑边缘梯度方向并不限定于一直能够信赖的方向、以及由于噪声等的影响导致计算出错误的边缘梯度方向的情况。因此，在本实施方式中，对计算出的边缘梯度方向评价其可靠度，在可靠度低的情况下切换为不取决于边缘梯度方向的插值。
(缩放处理部的结构)
图21是表示本实施方式所涉及的缩放处理部61’的结构的框图。缩放处理部61’具备：参照块设定部62、边缘梯度方向设定部73、可靠度计算部74、第1插值处理部75、第2插值处理部76以及混合处理部77。
图22是表示边缘梯度方向设定部73的结构的框图。边缘梯度方向设定部73具备：边缘梯度计算部78、第1设定部79以及第2设定部80。
边缘梯度计算部78对为了在后段的第1设定部79以及第2设定部80中设定边缘梯度方向所需的、多个选择像素的边缘梯度进行计算。具体来讲，边缘梯度计算部78将参照块内的NDGRD个像素选择为选择像素。其中，NDGRD是2以上的自然数。例如，边缘梯度计算部78将包围插值像素的4个像素选择为选择像素即可。然后，边缘梯度计算部78针对各个选择像素，通过与实施方式1中的边缘梯度方向设定部63的边缘梯度的计算方法同样的方法，来计算边缘梯度。由于前面记述了处理内容，因此省略说明。
第1设定部79对从NDGRD个选择像素中进一步选择出的ND个选择像素各自的边缘梯度方向进行设定。其中，ND是2以上且NDGRD以下的自然数。例如，第1设定部79可以选择全部NDGRD个选择像素，也可以选择接近插值像素的上位2个选择像素。由于对ND个选择像素各自的边缘梯度方向进行设定，因此被输出的边缘梯度方向也为ND个。关于各个选择像素的边缘梯度方向的设定方法，与实施方式1相同。也就是说，第1设定部79基于针对选择像素而计算出的边缘梯度，根据图8来设定边缘梯度方向即可。
第2设定部80使用从NDGRD个选择像素中进一步选择出的NP个选择像素的边缘梯度，对插值像素的边缘梯度方向进行计算。其中，NP是1 以上且NDGRD以下的自然数。第2设定部80中的边缘梯度方向的设定方法在NP＝1时，与根据图8的方法相同，在NP为2以上时，与实施方式1的(与边缘梯度方向的设定有关的变形例)相同，因此这里省略说明。
另外，边缘梯度计算部78中的NDGRD个选择像素的边缘梯度一定被第1设定部79或第2设定部80的至少一个选择。此外，通过第1设定部79以及第2设定部80来选择的边缘梯度也可以重复。
可靠度计算部74使用由第1设定部79设定的ND个边缘梯度方向φ1～φND，对由第2设定部80设定的插值像素的边缘梯度方向φp的可靠度Vp进行计算。可靠度计算部74在k＝1，…，ND时，对φp与φk进行比较，求取表示两者的方向图案是否一致的第1评价值VC，将针对全部ND个边缘梯度方向φ1～φND来计算出的第1评价值VC的总和计算为可靠度。
图23是表示用于执行可靠度计算处理的流程图的图。此外，图24是在输入方向φ的情况下输入加上VC后的值的查询表的例子。
首先，可靠度计算部74将k＝1、VC＝0设为初始值(S231)，将φp与φk进行比较(S232)。在φp与φk一致时，可靠度计算部74对VC加上LUT_C[φp](S233)。另外，LUT_C[φ]是如图24所示那样，对每个方向φ赋予零以上的系数的查询表。图24所示的LUT_C[φ]的查询表是NB＝12的情况下的一个例子，不需要限定于这些。可靠度计算部74将以上的处理针对k＝1，…，ND反复进行(S234、S235)，更新第1评价值VC，并输出为可靠度Vp＝VC(S236)。
这样，通过针对ND个周围像素的边缘梯度方向，仅在与插值像素的边缘梯度方向一致的情况下更新VC，从而能够对插值像素的边缘梯度方向的确定性进行评价。由第2设定部80设定的插值像素的边缘梯度方向不必限定于能够考虑周边像素的边缘梯度方向的偏差。因此，可靠度计算部74根据由第1设定部79设定的周边像素各自的边缘梯度方向的偏差程度，对插值像素的边缘梯度方向的可靠度进行计算。在周边的边缘梯度方向分散的情况下，可靠度为较低的值。因此，通过确认可靠度，能够判定是否由于噪声等导致边缘梯度方向在周围分散。
第1插值处理部75使用由参照块设定部62设定的参照块、和由第2 设定部80设定的插值像素的边缘梯度方向，进行对插值像素中的像素值进行计算的处理。本实施方式中的第1插值处理部75具有与图9所示的实施方式1中的插值处理部64同样的结构。也就是说，临时参照坐标设定部65对构成内包插值像素的平行四边形的4个点的临时参照坐标进行指定。接下来，参照像素值设定部66对与各个临时参照坐标对应的像素值进行设定。最后，插值像素值计算部67根据4个临时参照坐标的像素值和加权系数，通过加权加法来计算插值像素的像素值。在本实施方式中，第1插值处理部75不将计算出的插值像素的像素值作为缩放处理部61’的最终输出值，而作为第1插值值OUT1输入到后段的混合处理部77。
关于第1插值处理部75的处理内容，由于与实施方式1中的插值处理部64相同，因此这里省略详细的说明。
第2插值处理部76基于参照块，通过不取决于边缘梯度方向的插值处理，对插值像素中的像素值进行计算。
由第2插值处理部76应用的不取决于边缘梯度方向的插值处理方法能够使用熟知的方法，例如，能够使用Lanczos插值处理。Lanczos插值处理通过对基于以下所示的式子而定的加权系数与用于插值的像素的积和进行计算来进行插值处理。
[数式6]
另外，
其中，n是用于对插值函数的性质进行控制的变量，根据n，用于插值运算的像素数变化。d表示用于插值运算的各个像素与插值像素的距离。图25是表示n＝2时的加权系数的分布的图。例如，在参照块的尺寸为M＝N＝4时，第2插值处理部76设为n＝2，如下所述在垂直方向上进行插值运算来计算H(k)。
H(k)＝w(1+distY)×P(k，0)+w(distY)×P(k，1)+w(1-distY)×P(k，2)+w(2-distY)×P(k，3) ···(10)
其中，k＝0，1，2，3，且P表示用于插值处理的输入像素的像素值。接下来，第2插值处理部使用H(k)来如下所述那样进行插值运算，由此计算插值像素的第2插值值OUT2。
OUT2＝w(1+distX)×H(0)+w(distX)×H(1)+w(1-distX)×H(2)+w(2-distX)×H(3) ···(11)
另外，上述是输入图像为灰度图像的情况，像素值P为各个像素的灰度值。在输入图像是RGB图像的情况下，按照R、G、B分量的每一个来计算插值像素的第2插值值。若将R分量的第2插值值设为OUT2R，将G分量的第2插值值设为OUT2G，将B分量的第2插值值设为OUT2B，则OUT2被表示为插值像素的第2插值值的3个分量的矢量(OUT2R，OUT2G，OUT2B)。
第2插值处理部76中的处理并不被限定于Lanczos插值处理，也可以使用其他方法。例如，也可以使用下述所示的双三次插值(Bicubic插值)。
[数式7]
混合处理部77根据由可靠度计算部74得到的可靠度Vp，将由第1插值处理部75得到的第1插值值OUT1与由第2插值处理部76得到的第2插值值OUT2混合。
第1以及第2插值值的混合比率γ使用将可靠度Vp除以Vp能取的最大值VpMAX后的值(即γ＝Vp/VpMAX)。此外，例如在使用查询表来计算可靠度的情况下，在将通过查询表而能参照的最大值设为DMAX时，最大值VpMAX通过VpMAX＝DMAX×ND而被赋予。混合处理部77使用该混合比率γ，如下式那样，进行OUT1以及OUT2的加权加法。
OUT＝γOUT1+(1-γ)OUT2 ···(12)
将通过式(12)而得到的像素值OUT设为本实施方式所具备的缩放处理部61’的输出。例如，在可靠度Vp＝60、可靠度的最大值VpMAX＝100时，混合比率为γ＝60/100＝0.6，像素值被赋予为OUT＝0.6OUT1+0.4OUT2。
在输入图像是RGB方式的情况下，混合处理部77根据式(12)来计算每个R、G、B分量的像素值即可。混合比率γ在3个分量之间是共用的。
(可靠度计算方法的变形例1)
可靠度计算部74中的可靠度的计算方法不必限定于上述的方法，例如能够使用下述的方法。
在k＝1，…，ND时，可靠度计算部74对φp与φk进行比较，对表示两者的方向图案是否一致的第1评价值VC、表示φk是否与φp的右旋方向相邻的第2评价值VR、和表示φk是否与φp的左旋方向相邻的第3评价值VL进行计算。可靠度计算部74在得到了针对ND个选择像素的边缘梯度方向φ1～φND而计算出的值的总和之后，通过合成第1、第2以及第3评价值来计算可靠度。
图26是表示用于执行本变形例中的可靠度计算处理的流程图的图。此外，图27是在以方向φ为输入的情况下对加上VC、VR以及VL后的值进行输出的查询表的例子。
首先，可靠度计算部74将k＝1、VC＝VR＝VL＝0设定为初始值(S261)，并对φp与φk进行比较(S262)。在φk与φp一致时，可靠度计算部74对VC加上LUT_C[φp](S263)。另外，LUT_C[φ]是如图27的(a)所示那样对每个方向φ赋予零以上的系数的查询表。
在φk与φp不一致时，接着比较φp的右邻φpR与φk(S264)。在φk与φpR一致时，可靠度计算部74对VR加上LUT_R[φp](S265)。另外，LUT_R[φ]是如图27的(b)所示那样对每个方向φ赋予零以上的系数的查询表。
在φk与φpR不一致时，接着比较φp的左邻φpL与φk(S266)。在φk与φpL一致时，可靠度计算部74对VL加上LUT_L[φp](S267)。另外，LUT_L[φ]是如图27的(c)所示那样对每个方向φ赋予零以上的系数的查询表。
图27所示的查询表LUT_C、LUT_R以及LUT_L所赋予的系数是NB＝12的情况下的一个例子，不必限定于这些。
可靠度计算部74针对k＝1，…，ND反复以上的处理(S268、S269)，更新第1、第2以及第3评价值VC、VR以及VL，最后通过下式的运算来计算可靠度Vp。
Vp＝VC+max{VR，VL}
在本变形例中，分别在ND个周围像素中，在其像素的边缘梯度方向向右旋方向偏离的情况下仅加上VR，在向左旋方向偏离的情况下仅加上VL，由此对右旋方向与左旋方向的偏离方的集中程度进行评价，由于通过利用上式，将VR与VL中较大一方与VC相加，导致集中程度较大一方被优先，因此在右旋方向以及左旋方向这两者相对于φp，周围像素的边缘梯度方向同样地分散的情况下，由于VR、VL都难以变为较大的值，因此能够减小可靠度。
此外，通过与LUT_C相比，将LUT_R、LUT_L的输出值设定为较小，从而能够在方向一致的情况下提高对可靠度的贡献率，在相邻的情况下将对可靠度的贡献率设定为较小。
(可靠度计算方法的变形例2)
在上述说明中，使用插值像素的边缘梯度方向来计算可靠度，但不必限定于此。例如，也可以使用为了求取边缘梯度方向而计算出的插值像素的边缘梯度来计算可靠度。
图28是表示本变形例所涉及的缩放处理部61”的结构的框图。此外，图29是表示图28中的边缘梯度方向设定部81的结构的框图。
如图29所示，边缘梯度方向设定部81不具有第1设定部79，仅具备边缘梯度计算部78以及第2设定部83。第2设定部83具有与上述的第2设定部80同样的功能，并进一步具有输出插值像素的边缘梯度的功能。
可靠度计算部82使用插值像素的边缘梯度来计算可靠度。该计算方法并不特别限定。例如，在将插值像素的边缘梯度设为(Gxp，Gyp)时，能够将绝对值和|Gxp|+|Gyp|用作为可靠度Vp。
(可靠度计算方法的变形例3)
可靠度计算部74、82也可以对通过上述任意一种方法来计算出的可 靠度，通过进一步应用规定的滤波器来进行修正。图30表示用于修正可靠度的滤波器的例子。滤波器是将可靠度Vp作为输入而被赋予为非降低的函数。例如，也可以如图30左侧的滤波器的例子那样，在规定的阈值以下，可靠度急剧下降。或者，也可以如图30的中央的滤波器的例子那样，赋予偏移量从而可靠度一直不为零。或者，也可以如图30右侧的滤波器的例子那样，进行修正的滤波器的波形不需要是连续函数，而是阶梯形状。另外，在输出可靠度Vp可取的最大值比输入可靠度可取的最大值小的情况下，混合处理部77中的最大值VpMAX更新为输出可靠度Vp可取的最大值VpMAX’。
根据本变形例，可靠度在分别为高域、中域、低域的情况下，能够通过修正混合处理的动作来进行变更。例如，在可靠度变小了一定程度的情况下，也能够全部修正为零，关闭取决于边缘梯度方向的插值处理。
(可靠度计算方法的变形例4)
在图24所示的查询表中，对全部边缘梯度方向分配了相同的输出值。但是，如图31所示，各个边缘梯度方向可取的角度范围是不均一的。例如，±45°方向(图31的情况下为B3、B9)的角度范围宽，与此相对地，水平方向、垂直方向(图31的情况下为B0、B6)的角度范围窄。在角度范围宽的方向，与窄的方向相比，如图31所示，实际的边缘梯度方向G1与根据边缘梯度而估计出的边缘梯度方向G2之间的差异容易变大。在该情况下，考虑如下异常情况：由于实际的边缘梯度方向(G1)与估计出的边缘梯度方向(G2)的误差，导致实际应用于插值运算的像素与基于被估计出的边缘梯度方向而定的用于插值运算的像素之间产生偏差，插值运算的结果产生误差。在放大处理中，特别是随着放大率变大，该误差越明显。因此，在放大率大时，优选提高角度范围窄的方向的可靠度，降低角度范围宽的方向的可靠度。
因此，可靠度计算部74也可以预先存储多个查询表，根据放大率来选择查询表。具体来讲，可靠度计算部74具备：图24所示的查询表、以及图32所示的查询表。在图32所示的查询表中，设定为角度范围Δθφ越大输出值越小。并且，可靠度计算部74在放大率小时(例如，2倍以下)，利用图24的查询表，在放大率大时(例如，大于2倍时)，利用图32所示的查询表。由此，能够提高插值精度。
此外，同样地，也可以根据放大率来设定LUT_R以及LUT_L。与上述同样地，由于边缘梯度方向的角度范围越宽，与其相邻的边缘梯度方向的差异越大，因此通过降低可靠度，能够抑制上述异常情况产生。
LUT_C、LUT_R以及LUT_L如下述那样设定即可。首先，对于LUT_C，与图32同样地，设定为角度范围Δθφ越大输出值越小。此外，如图33所示，引出通过边缘梯度方向φ(图中以φ＝B3为例)所具有的角度范围的中央(也就是将φ的角度范围二等分)的直线Lφ，并引出以原点为中心将Lφ旋转±ΔθT的直线Lleft以及Lright(例如ΔθT＝π/8等)。此时，若将φ所具有的角度的范围设为Δθφ，则两个相邻的边缘梯度方向中包含的角度分别为ΔθRES。在图33中还示出，边缘梯度方向φ的角度范围表示为Δθφ，在(i)直线Lleft以及Lright的各直线与(ii)边缘梯度方向φ的角度范围之间所包夹的角度的范围表示为ΔθRES。其中，在从φ所具有的角度范围的中央起前进±ΔθT时仍未达到φ的相邻的边缘梯度方向所具有的角度范围的情况下，设为ΔθRES＝0。
然后，利用LUT_C[φ]和这些角度的信息，来设定LUT_R[φ]以及LUT_L[φ]的值。作为设定方法的例子，使用以下的根据ΔθRES与ΔθT之比来求取的方法即可。
[数式8]
LUT_R[φ]＝LUT_C[φ]×(ΔθRES÷ΔθT)
LUT_L[φ]＝LUT_C[φ]×(ΔθRES÷ΔθT)
图34表示使LUT_C[φ]与图32相同的情况下的LUT_R[φ]以及LUT_L[φ]的值的设定例。另外，LUT_R以及LUT_L的设定方法并不限定于这里说明的方法，也可以通过其他方法来进行设定。
然后，可靠度计算部74在放大率小时(例如，2倍以下)，利用图27的组，在放大率大时(例如，大于2倍时)，使用图34的组等，根据放大率来选择3个查询表即可。
(第1设定部以及第2设定部中的选择像素的选择方法的变形例)
如上所述，第1设定部79从NDGRD个选择像素选择ND个。此外， 第2设定部80从NDGRD个选择像素选择NP个。该选择方法并不被特别限定。
例如，在由第1设定部79选择出的输入像素的集合设为U1，将由第2设定部80选择出的输入像素的集合设为U2时，选择为U1包含在U2中，或U2包含在U1中。也就是说，数量少的集合完全重复于数量多的集合。或者，第1设定部79以及第2设定部80也可以选择相同数量的选择像素。
此外，第1设定部79以及第2设定部80也可以从距离插值像素近的选择像素起依次选择被设定的个数(ND个或者NP个)的选择像素。在ND＝NP＝4的情况下，包围插值像素的4个选择像素被选择。在ND或者NP为5以上的情况下，从与已经结束选择的选择像素中的任意一个相邻的选择像素，优先选择与插值像素的距离近的选择像素即可。
此外，也可以不按照距离插值像素从近到远的顺序对选择像素进行选择，而基于相对于插值像素的位置关系来对选择像素进行选择。例如，在将插值像素的坐标设为(px，Py)时，也可以最初选择像素([px]，[py])(其中，[x]是不超过x的最大整数)，即位于插值像素的左上的像素。然后，依次选择插值像素的左下的像素、右上的像素、右下的像素、左上像素的左相邻的像素、左下像素的左相邻的像素、···。该位置关系的选择顺位是被预先设定的。
这里，M＝N＝4，相对于插值像素，左上像素的左相邻的像素以及左下像素的左相邻的像素被选择为选择像素。也就是说，是图35的(a)中的选择像素A以及B。对于这种选择像素A、B，仅通过对(a)所示的插值像素＊设定的参照块，不能求取边缘梯度。因此，在这种情况下，如(b)所示，将使用仅在水平方向上向前1像素而被设定的参照块来计算出的选择像素A以及B所对应的边缘梯度暂时保管于缓冲器。由此，在如(a)那样设定参照块时，也能够参照与选择像素A以及B对应的边缘梯度。
〔实施方式3〕
对本发明的另一实施方式3进行说明。本实施方式所涉及的图像处理装置是监视器(信息显示器)。图36是表示本实施方式所涉及的监视器1’的结构的框图。如图36所示，监视器1’与实施方式1的电视接收机1 相比，在不具备调谐器7方面不同，除此以外具有与电视接收机1相同的结构。在图36所示的监视器1’中，也能够通过具备影像信号处理电路21，来高质量地对影像进行倍增。
此外，图37是表示将图36所述的监视器1’多台并排构成的多显示器(multi-display)的图。在分别在水平方向、垂直方向上将多台监视器1’并排构成的多显示器中再生FHD影像等高分辨率的影像的情况下，也能够通过各个监视器1’具备影像信号处理电路21，高质量地对影像进行倍增。
〔总结〕
综上所述，本发明的方式1所涉及的图像处理装置是一种图像处理装置(电视接收机1、监视器1’)，其依照所设定的放大缩小率，通过在所输入的图像数据中包含的输入像素之间设置插值像素从而对上述图像数据进行放大缩小，具备：参照块设定部，其对包含上述插值像素的参照块进行设定；边缘梯度方向设定部，其使用上述参照块内的输入像素，对插值像素的边缘梯度方向进行设定；参照像素设定部(临时参照坐标设定部65)，其对作为具有与上述边缘梯度方向垂直的2边的四边形的顶点的4个参照像素进行设定；参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻输入像素的浓度值来估计作为该参照像素的浓度值的参照像素值，而在上述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的浓度值设为参照像素值；以及插值像素值计算部，其使用上述4个参照像素的参照像素值，对上述插值像素的浓度值进行计算。
根据上述结构，通过使用了被设定在与边缘梯度方向垂直的方向(也就是边缘方向)的像素的插值运算，来计算插值像素的浓度值(像素值)。由此，能够在保证平滑性的同时进行放大缩小。进一步地，即使在临时参照坐标位于参照块外的情况下，也根据参照块内的输入像素，插值地计算临时参照坐标的浓度值。因此，仅通过确认参照块内的输入像素的数据就能够求取插值像素的浓度值，能够提高用于对插值像素的浓度值进行运算 的处理速度。特别地，即使在不能确保用于对参照块的输入像素的数据进行提取的行缓冲器充分的情况下，也能够高精度地计算插值像素的浓度值。
此外，本发明的方式2所涉及的图像处理装置是一种图像处理装置，其依照所设定的放大缩小率，通过在被输入的图像数据中包含的输入像素之间设置插值像素从而对上述图像数据进行放大缩小，具备：参照块设定部，其对包含上述插值像素的参照块进行设定；边缘梯度方向设定部，其使用上述参照块内的输入像素，对插值像素的边缘梯度方向进行设定；参照像素设定部，其对作为具有沿着与上述边缘梯度方向垂直的方向的2边的四边形的顶点的4个参照像素进行设定；参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻输入像素的浓度值来估计作为该参照像素的浓度值的参照像素值，在上述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的浓度值设为参照像素值；第1插值处理部，其使用上述4个参照像素的参照像素值，对取决于上述插值像素的边缘梯度方向的浓度值即第1插值值进行计算；第2插值处理部，其使用不取决于上述边缘梯度方向的插值处理，对不取决于上述插值像素的边缘梯度方向的浓度值即第2插值值进行计算；可靠度计算部，其对由上述边缘梯度方向设定部设定的边缘梯度方向的可靠度进行计算；以及混合处理部，其基于上述可靠度，决定分别针对上述第1插值值以及第2插值值的加权系数，使用决定的加权系数来将上述第1插值值与上述第2插值值相加，计算上述插值像素的浓度值。
根据上述结构，考虑沿着与边缘梯度方向垂直的方向(也就是边缘方向)而被设定的像素，计算插值像素的浓度值(像素值)。由此，能够保证平滑性的同时进行放大缩小。进一步地，仅通过确认参照块内的输入像素的数据就能够求取插值像素的浓度值，能够提高用于对插值像素的浓度值进行运算的处理速度。
此外，基于由边缘梯度方向设定部设定的边缘梯度方向的可靠度，决定分别针对第1插值值以及第2插值值的加权系数，使用决定的加权系数 来对上述第1插值值与上述第2插值值进行加法，计算插值像素的浓度值。因此，根据边缘梯度方向的可靠度，能够使第1插值值与上述第2插值值的加权系数变化。例如，在由边缘梯度方向设定部设定的边缘梯度方向的可靠度较低的情况下，减小第1插值值的加权系数即可。由此，能够防止取决于错误的边缘方向的插值处理所导致的图像质量降低。
此外，本发明的方式3所涉及的图像处理装置在上述方式1或者2中，也可以上述边缘梯度方向设定部求取上述参照块内的多个输入像素各自的边缘梯度，基于该多个输入像素的边缘梯度，设定插值像素的边缘梯度方向。
根据上述结构，能够考虑参照块内的输入像素的偏差，能够设定不容易受噪声影响的边缘梯度方向。
此外，本发明的方式4所涉及的图像处理装置在上述方式1或者2中，也可以上述边缘梯度方向设定部使用至少一个水平方向1次微分滤波器和至少一个垂直方向1次微分滤波器，求取上述参照块内的输入像素的边缘梯度，基于该边缘梯度来设定插值像素的边缘梯度方向。
通过使用水平方向1次微分滤波器以及垂直方向1次微分滤波器来求取边缘梯度，能够在参照块这种受限的范围中高精度地设定边缘梯度方向。
此外，在使用多个水平方向1次微分滤波器以及多个垂直方向1次微分滤波器的情况下，能够求取包含字符等由1像素宽构成的边缘在内的边缘梯度，能够高精度地设定边缘梯度方向。
另外，本发明的方式5所涉及的图像处理装置在上述方式2中，也可以上述边缘梯度方向设定部将从具有预定的角度范围的多个角度区域选择出的一个角度区域设定为插值像素的边缘梯度方向，上述可靠度计算部针对上述参照块中包含的多个输入像素的各输入像素，对该输入像素的边缘梯度方向是否属于与对上述插值像素所设定的边缘梯度方向相同的角度区域进行判定，使用表示一致的输入像素的数量的第1评价值来计算上述可靠度。
若一致的输入像素的数量变多，则上述第1评价值呈较大的值。根据上述结构，根据插值像素的边缘梯度方向与周围的输入像素的边缘梯度方向的比较，计算可靠度，从而能够考虑边缘梯度方向的偏差。例如，在由 于噪声等导致与本来的边缘梯度方向不同的边缘梯度方向被设定的情况下，在周边可能由于噪声等导致存在特异的像素，因此能降低可靠度。
此外，本发明的方式6所涉及的图像处理装置在上述方式5中，也可以上述可靠度计算部进一步针对上述参照块中包含的多个输入像素的各自，(1)对该输入像素的边缘梯度方向是否属于与对上述插值像素所设定的边缘梯度方向的角度区域在右旋方向上相邻的角度区域进行判定，求取表示一致的输入像素的数量的第2评价值，并且(2)对该输入像素的边缘梯度方向是否属于与对上述插值像素所设定的边缘梯度方向的角度区域在左旋方向上相邻的角度区域进行判定，求取表示一致的输入像素的数量的第3评价值，通过将第2评价值以及第3评价值当中较大的值与第1评价值相加从而计算上述可靠度。
若一致的输入像素的数量变多，则上述第2评价值以及第3评价值呈较大的值。根据上述结构，通过在第1评价值的基础上进一步考虑第2、第3评价值，从而针对插值像素的边缘梯度方向，在右旋方向以及左旋方向的两侧出现偏差的情况下，能够仅考虑其偏差大的一方。由此，在例如角部分这种在周围存在多个方向的边缘的情况下能够降低可靠度。
此外，本发明的方式7所涉及的图像处理装置也可以进一步具备显示部，将对上述图像数据进行放大缩小之后的图像显示在上述显示部。
由此，能够实现一种图像显示装置，其显示基于考虑了边缘梯度方向的插值运算的放大缩小处理后的图像。
本发明并不被限定于上述的各个实施方式，在权利要求所示的范围内能够进行各种变更，对不同的实施方式中分别公开的技术手段进行适当组合而得到的实施方式也被包含在本发明的技术范围中。进一步地，通过对各个实施方式中分别公开的技术手段进行组合，能够形成新的技术特征。
最后，电视接收机1或者监视器1’的各个块，特别是缩放处理部61、61’、61”既可以由硬件逻辑构成，也可以如下那样使用CPU来通过软件实现。
通过将以计算机可读取的方式记录有作为实现上述功能的软件的电视接收机1或者监视器1’的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质提供给上述电视接收机1或者监视器1’， 并由该计算机(或者CPU、MPU)读取并执行记录在记录介质中的程序代码，从而也能够达成。
作为上述记录介质，例如能够使用：磁带、盒带等磁带系、包含软(floppy)(注册商标)盘/硬盘等磁盘、CD-ROM/MO/MD/DVD/CD-R等光盘在内的磁盘系、IC卡(包含存储卡)/光卡等卡系、或者掩模ROM/EPROM/EEPROM(注册商标)/闪速ROM等半导体存储器系等。
此外，也可以将电视接收机1或者监视器1’构成为能够与通信网络进行连接，将上述程序代码经由通信网络来提供。作为该通信网络，并不特别限定，例如能够利用：互联网、内联网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动体通信网、卫星通信网等。此外，作为构成通信网络的传送介质，并不特别限定，例如能够利用：IEEE1394、USB、电线搬运、电缆TV线路、电话线、ADSL线路等有线、或者IrDA、遥控这种红外线、Bluetooth(注册商标)、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等无线。另外，本发明也能够以上述程序代码通过电子传送而被具体化的、被埋入到载波中的计算机数据信号的形态来实现。
-工业实用性-
本发明能够利用于例如电视等的图像处理。
-符号说明-
1 电视接收机(图像处理装置)
1’ 监视器(图像处理装置)
13 显示部
21 影像信号处理电路
61、61’、61” 缩放处理部
62 参照块设定部
63、73、81 边缘梯度方向设定部
64 插值处理部
65 临时参照坐标设定部(参照像素设定部)
66 参照像素值设定部
67 插值像素值计算部
74、82 可靠度计算部
75 第1插值处理部
76 第2插值处理部
77 混合处理部
78 边缘梯度计算部
79 第1设定部
80、83 第2设定部

Claims (10)

1.一种图像处理装置，依照所设定的放大缩小率，通过在所输入的图像数据中包含的输入像素之间设置插值像素来对上述图像数据进行放大缩小，
上述图像处理装置的特征在于，具备：
参照块设定部，其对包含上述插值像素的参照块进行设定；
边缘梯度方向设定部，其使用上述参照块内的输入像素来设定插值像素的边缘梯度方向；
参照像素设定部，其设定作为具有与上述边缘梯度方向垂直的2边的四边形的顶点的4个参照像素；
参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻输入像素的像素值来估计作为该参照像素的像素值的参照像素值，而在上述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的像素值设为参照像素值；和
插值像素值计算部，其使用上述4个参照像素的参照像素值来计算上述插值像素的像素值。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述边缘梯度方向设定部求取上述参照块内的多个输入像素各自的边缘梯度，并基于该多个输入像素的边缘梯度来设定插值像素的边缘梯度方向。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述边缘梯度方向设定部使用至少一个水平方向1次微分滤波器和至少一个垂直方向1次微分滤波器，来求取上述参照块内的输入像素的边缘梯度，并基于该边缘梯度来设定插值像素的边缘梯度方向。
4.一种图像处理装置，依照所设定的放大缩小率，通过在所输入的图像数据中包含的输入像素之间设置插值像素来对上述图像数据进行放大缩小，
上述图像处理装置的特征在于，具备：
参照块设定部，其对包含上述插值像素的参照块进行设定；
边缘梯度方向设定部，其使用上述参照块内的输入像素来设定插值像素的边缘梯度方向；
参照像素设定部，其设定作为具有与上述边缘梯度方向垂直的2边的四边形的顶点的4个参照像素；
参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻输入像素的像素值来估计作为该参照像素的像素值的参照像素值，而在上述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的像素值设为参照像素值；
第1插值处理部，其使用上述4个参照像素的参照像素值来计算取决于上述插值像素的边缘梯度方向的像素值即第1插值值；
第2插值处理部，其使用不取决于上述边缘梯度方向的插值处理来计算不取决于上述插值像素的边缘梯度方向的像素值即第2插值值；
可靠度计算部，其计算由上述边缘梯度方向设定部设定的边缘梯度方向的可靠度；和
混合处理部，其基于上述可靠度来决定分别针对上述第1插值值以及第2插值值的加权系数，并使用决定的加权系数将上述第1插值值与上述第2插值值相加，来计算上述插值像素的像素值。
5.根据权利要求4所述的图像处理装置，其特征在于，
上述边缘梯度方向设定部求取上述参照块内的多个输入像素各自的边缘梯度，并基于该多个输入像素的边缘梯度来设定插值像素的边缘梯度方向。
6.根据权利要求4所述的图像处理装置，其特征在于，
上述边缘梯度方向设定部使用至少一个水平方向1次微分滤波器和至少一个垂直方向1次微分滤波器来求取上述参照块内的输入像素的边缘梯度，并基于该边缘梯度来设定插值像素的边缘梯度方向。
7.根据权利要求4所述的图像处理装置，其特征在于，
上述边缘梯度方向设定部将从具有预定的角度范围的多个角度区域中选择出的一个角度区域设定为插值像素的边缘梯度方向，
上述可靠度计算部针对上述参照块中包含的多个输入像素的各输入像素，判定该输入像素的边缘梯度方向是否属于与对上述插值像素所设定的边缘梯度方向相同的角度区域，并使用表示一致的输入像素的数量的第1评价值来计算上述可靠度。
8.根据权利要求7所述的图像处理装置，其特征在于，
上述可靠度计算部进一步针对上述参照块中包含的多个输入像素的各输入像素，判定该输入像素的边缘梯度方向是否属于与对上述插值像素所设定的边缘梯度方向的角度区域在右旋方向上相邻的角度区域，求取表示一致的输入像素的数量的第2评价值，并且，判定该输入像素的边缘梯度方向是否属于与对上述插值像素所设定的边缘梯度方向的角度区域在左旋方向上相邻的角度区域，求取表示一致的输入像素的数量的第3评价值，通过将第2评价值以及第3评价值中较大的值与第1评价值相加从而计算上述可靠度。
9.一种计算机可读取的记录介质，将用于使计算机作为权利要求1所述的图像处理装置而起作用的程序进行非临时记录，对用于使计算机作为上述各部而起作用的程序进行记录。
10.一种计算机可读取的记录介质，将用于使计算机作为权利要求4所述的图像处理装置而起作用的程序进行非临时记录，对用于使计算机作为上述各部而起作用的程序进行记录。
CN201380055242.4A 2012-10-24 2013-10-15 图像处理装置以及记录介质 Active CN104737199B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-235168 2012-10-24
JP2012235168A JP6009903B2 (ja) 2012-10-24 2012-10-24 画像処理装置
PCT/JP2013/077964 WO2014065160A1 (ja) 2012-10-24 2013-10-15 画像処理装置

Publications (2)

Publication Number Publication Date
CN104737199A CN104737199A (zh) 2015-06-24
CN104737199B true CN104737199B (zh) 2017-10-17

Family

ID=50544540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055242.4A Active CN104737199B (zh) 2012-10-24 2013-10-15 图像处理装置以及记录介质

Country Status (4)

Country Link
US (1) US9288363B2 (zh)
JP (1) JP6009903B2 (zh)
CN (1) CN104737199B (zh)
WO (1) WO2014065160A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6654798B2 (ja) 2014-11-10 2020-02-26 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
TWI546777B (zh) 2015-03-12 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與方法
CN104881843A (zh) * 2015-06-10 2015-09-02 京东方科技集团股份有限公司 图像插值方法和图像插值装置
CN105096253B (zh) * 2015-07-30 2019-03-01 青岛海信电器股份有限公司 一种图像插值方法及装置
US10679326B2 (en) * 2015-11-24 2020-06-09 Canon Kabushiki Kaisha Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data
JP6689656B2 (ja) * 2016-04-18 2020-04-28 ルネサスエレクトロニクス株式会社 画像処理システム、画像処理方法及び画像送信装置
CN109196579A (zh) * 2016-06-08 2019-01-11 夏普株式会社 影像显示装置、影像显示装置的控制方法及影像显示装置的控制程序
JP2018088098A (ja) * 2016-11-28 2018-06-07 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
US10861131B2 (en) * 2017-12-28 2020-12-08 Samsung Electronics Co., Ltd. Image magnifying apparatus
CN109784213B (zh) * 2018-12-27 2022-10-11 合肥工业大学 一种低成本的非极大值抑制电路结构
KR102449250B1 (ko) * 2020-02-05 2022-09-29 삼성전자주식회사 영상을 다운스케일링하는 방법 및 장치
CN117726557A (zh) * 2023-05-17 2024-03-19 荣耀终端有限公司 图像处理方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1638447A (zh) * 2003-10-02 2005-07-13 三星电子株式会社 基于边缘的图像自适应去除隔行扫描的方法和设备
CN102113330A (zh) * 2008-06-05 2011-06-29 微软公司 伪像减少的自适应内插
CN102638679A (zh) * 2011-02-12 2012-08-15 澜起科技（上海）有限公司 基于矩阵对图像进行插值的方法及图像处理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269222B2 (ja) * 1993-11-08 2002-03-25 株式会社豊田中央研究所 距離測定装置
JP4388110B2 (ja) * 2007-08-15 2009-12-24 独立行政法人科学技術振興機構 画像処理装置、方法およびプログラム
CN101952854B (zh) * 2008-04-21 2012-10-24 夏普株式会社 图像处理装置、显示装置、图像处理方法、程序和记录介质
US20100067818A1 (en) 2008-09-15 2010-03-18 Sony Corporation, A Japanese Corporation System and method for high quality image and video upscaling
JP5274379B2 (ja) * 2009-06-04 2013-08-28 キヤノン株式会社 解像度変換装置及びその制御方法
JP5322824B2 (ja) * 2009-07-28 2013-10-23 キヤノン株式会社 解像度変換装置および解像度変換方法
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
US8665367B2 (en) * 2010-01-29 2014-03-04 Sharp Laboratories Of America, Inc. Video resolution enhancement technique
JP4850965B1 (ja) * 2010-12-06 2012-01-11 株式会社ナナオ エッジ補間装置またはその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1638447A (zh) * 2003-10-02 2005-07-13 三星电子株式会社 基于边缘的图像自适应去除隔行扫描的方法和设备
CN102113330A (zh) * 2008-06-05 2011-06-29 微软公司 伪像减少的自适应内插
CN102638679A (zh) * 2011-02-12 2012-08-15 澜起科技（上海）有限公司 基于矩阵对图像进行插值的方法及图像处理系统

Also Published As

Publication number Publication date
WO2014065160A1 (ja) 2014-05-01
JP6009903B2 (ja) 2016-10-19
CN104737199A (zh) 2015-06-24
US20150288851A1 (en) 2015-10-08
US9288363B2 (en) 2016-03-15
JP2014085892A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
CN104737199B (zh) 图像处理装置以及记录介质
US7894684B2 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
US9432616B1 (en) Systems and methods for up-scaling video
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
US8811773B2 (en) Image enlargement apparatus, method, integrated circuit, and program
JP5962393B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Fang et al. Antialiasing filter design for subpixel downsampling via frequency-domain analysis
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及系统
JP2002064761A (ja) 画像表示方法および画像表示装置
JP2003513554A (ja) テレビ画面上の表示におけるテキストとグラフィックスの混在方法
WO1997014247A1 (en) Method and apparatus for video scaling and convolution for displaying computer graphics on a conventional television monitor
JP5781370B2 (ja) 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体
US20010048771A1 (en) Image processing method and system for interpolation of resolution
JP2013235517A (ja) 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体
WO2013151163A1 (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体
KR20090043290A (ko) 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치
JP6035153B2 (ja) 画像処理装置、画像表示装置、プログラム、および、記憶媒体
US7590302B1 (en) Image edge enhancement system and method
JP2011134203A (ja) 画像処理装置
JP2007139838A (ja) 画像処理装置および方法
JP4251766B2 (ja) 画像信号処理装置
JP4684074B2 (ja) 画像処理装置
JP5383385B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP3964238B2 (ja) 画像処理方法および装置並びにプログラム
JP4110363B2 (ja) 画像処理装置、画像処理方法および画像表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant