CN101383898A - 图像处理设备、图像处理方法和计算机程序 - Google Patents

图像处理设备、图像处理方法和计算机程序 Download PDF

Info

Publication number
CN101383898A
CN101383898A CNA2008102138006A CN200810213800A CN101383898A CN 101383898 A CN101383898 A CN 101383898A CN A2008102138006 A CNA2008102138006 A CN A2008102138006A CN 200810213800 A CN200810213800 A CN 200810213800A CN 101383898 A CN101383898 A CN 101383898A
Authority
CN
China
Prior art keywords
image
pixel
unit
resolution
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008102138006A
Other languages
English (en)
Inventor
名云武文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101383898A publication Critical patent/CN101383898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供图像处理设备，包括：图像校正处理单元，配置来校正输入图像，以便产生经校正图像；以及超分辨率处理单元，配置来接收有图像校正处理单元产生的经校正图像，并且通过超分辨率处理增加经校正图像的分辨率，以便产生高分辨率图像。该图像校正处理单元执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理以及孔径控制校正处理中至少之一。

Description

图像处理设备、图像处理方法和计算机程序
相关申请的交叉参考
本发明包含涉及于2007年9月7日在日本专利局提交的日本专利申请JP2007-232930的主题，其全部内容通过引用合并在此。
技术领域
本发明涉及图像处理设备、图像处理方法和计算机程序，更具体地说，涉及用于执行增加图像分辨率的超分辨率处理的图像处理设备、图像处理方法和计算机程序。
背景技术
超分辨率处理已经用作根据低分辨率图像产生高分辨率图像的技术。在超分辨率处理中，从同一对象的多幅低分辨率图像获得一帧高分辨率图像的像素的像素值。
通过使用超分辨率处理，在用图像传感器(诸如电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器)捕获图像后，可以根据图像传感器捕获的图像重构具有比图像传感器的分辨率更高的分辨率的图像。更详细地说，例如，超分辨率处理被用于产生高分辨率卫星图片(satellitepicture)。注意，超分辨率被描述在例如以下文献中：＂Improving Resolution byImage Registration＂，Michal IRANI and Shmuel PELEG，Department ofComputer Science，The Hebrew University of Jerusalem，91904 Jerusalem，Israel，Communicated by Rama Chellapa，Received June 16，1989；accepted May 25，1990。
下面参考图1A、图1B和图2描述超分辨率的原理。示出在图1A和图1B的上部中的附图标记a、b、c、d、e和f代表要根据通过捕获对象获得的低分辨率图像(低分辨率(LR)图像)产生的高分辨率图像的像素值(超分辨率(SR)图像)。也就是说，这些附图标记代表在利用与SR图像的分辨率相同的分辨率像素化(pixelate)对象时所产生的像素的像素值。
例如，当图像传感器的一个像素的宽度与对象的两个像素的宽度相同时，不能用原始分辨率捕获对象的图像。在这种情况下，如图1A所示，在图像传感器的三个像素中位于左边的像素获取通过混合像素值a和b获得的像素值A。位于中间的像素获取通过混合像素值c和d获得的像素值B。除此而外，位于右边的像素获取通过混合像素值e和f获得的像素值C。这里，像素值A、B和C代表所捕获的LR图像的像素的像素值。
如图1B所示，如果由于例如照相机晃动而捕获(在偏移发生的同时捕获)偏离示出在图1A中的对象的位置0.5个像素的位置上对象的图像，则在图像传感器的三个像素中位于左边的像素获取通过混合半像素值a、整像素值b和半像素值c获得的像素值D。位于中间的像素获取通过混合半像素值a、整像素值d和半像素值e获得的像素值E。除此而外，位于右边的像素获取通过混合半像素值e和整像素值f获得的像素值F。这里，像素值D、E和F也代表所捕获的LR图像的像素的像素值。
作为所捕获的LR图像的结果，可以获得下列表达式(1)：
1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 1 1 / 2 1 1 / 2 0 0 0 0 0 1 / 2 1 1 / 2 0 0 0 0 0 1 / 2 1 a b c d e f = A B C D E F
                                           ...(1)
通过使用表达式(1)来计算a、b、c、d、e和f，可以获得具有比图像传感器的分辨率更高的分辨率的图像。
被称为“背投(Back Projection)”的方法是现有技术中超分辨率处理技术之一。然后参考图2来详细描述使用背投的处理。图2是图像处理设备1的框图。例如，图像处理设备1安装在数字照相机中。图像处理设备1处理所捕获的静止图像。
如图2所示，图像处理设备1包括超分辨率处理单元11a至11c、求和处理单元12、加法处理单元13和SR图像缓冲器14。例如，通过图像捕获操作获得低分辨率图像LR图像LR0、LR1和LR2。LR图像LR0输入到超分辨率处理单元11a。图像LR1输入到超分辨率处理单元11b。图像LR2输入到超分辨率处理单元11c。LR图像LR0至LR2是相继捕获的图像。LR图像LR0至LR2在其中具有重叠的区域。通常，当相继地捕获图像时，由于例如照相机晃动而轻微地相互偏离在图像中所捕获的对象的区域。因此，图像是不相同的，而且部分地具有相互重叠的区域。
超分辨率处理单元11a产生代表低分辨率图像LR0和存储在SR图像缓冲器14中的高分辨率SR图像之间的差值的差值图像，并输出反馈值到求和处理单元12。该反馈值指示具有与SR图像的分辨率相同的分辨率的差值图像。
注意，SR图像缓冲器14存储通过前一超分辨率处理产生的SR图像。在刚刚开始处理的时候，还没有产生任何帧。在这种情况下，通过上取样(upsample)低分辨率图像LR0获得具有与SR图像的分辨率相同的分辨率的图像。所获得的图像被存储在SR图像缓冲器14。
类似地，超分辨率处理单元11b产生代表下一帧的低分辨率图像LR1和存储在SR图像缓冲器14中的高分辨率SR图像之间的差值的差值图像，并输出指示所产生的差值图像的反馈值到求和处理单元12。
类似地，超分辨率处理单元11c产生代表在所述下一帧之后的帧的低分辨率图像LR2和存储在SR图像缓冲器14中的高分辨率SR图像之间的差值的差值图像，并输出指示所产生的差值图像的反馈值到求和处理单元12。
求和处理单元12平均从超分辨率处理单元11a至11c供给的反馈值，以便产生具有与SR图像的分辨率相同的分辨率的图像。然后，求和处理单元12将所产生的图像输出到加法处理单元13。加法处理单元13将存储在SR图像缓冲器14中的SR图像和从求和处理单元12供给的SR图像相加，以便产生和输出新SR图像。作为超分辨率处理的结果，加法处理单元13的输出被供应到图像处理设备1之外。除此而外，加法处理单元13的输出被供应到SR图像缓冲器14，并被存储在SR图像缓冲器14中。
图3是超分辨率处理单元11(超分辨率处理单元11a至11c之一)的示例性配置的框图。如图3所示，超分辨率处理单元11包括运动矢量检测单元21、运动补偿处理单元22、下取样处理单元23、加法处理单元24、上取样处理单元25和逆(inverse)运动补偿处理单元26。
从SR图像缓冲器14读出高分辨率SR图像，并将其输入到运动矢量检测单元21和运动补偿处理单元22。将所捕获的低分辨率图像LRn输入到运动矢量检测单元21和加法处理单元24。
运动矢量检测单元21使用所输入的高分辨率SR图像和低分辨率图像LRn检测关于SR图像的运动矢量。然后，运动矢量检测单元21将所检测到的运动矢量输出到运动补偿处理单元22和逆运动补偿处理单元26。例如，运动矢量检测单元21在基于之前捕获的图像所产生的SR图像和所输入的图像LRn之间执行块匹配(block matching)，以便产生指示在所输入的图像中每块SR图像的移动目的地的矢量。
运动补偿处理单元22基于从运动矢量检测单元21供给的运动矢量来运动补偿(motion-compensate)高分辨率SR图像，以便产生运动补偿(MC)图像。然后，运动补偿处理单元22将所产生的运动补偿图像(MC图像)输出到下取样处理单元23。像在这里所使用的那样，术语“运动补偿处理”指的是这样的处理：在其中根据运动矢量移动SR图像的像素的位置，并产生已经补偿了与新输入的图像LRn的像素位置对应的像素位置的SR图像。也就是说，通过移动SR图像的像素位置，使得在SR图像中捕获的对象的位置与在LRn图像中捕获的对象的位置相一致。这样，可以获得运动补偿图像(MC图像)。
下取样处理单元23下取样从运动补偿处理单元22供给的图像，以便产生具有与图像LRn的分辨率相同的分辨率的图像。然后，下取样处理单元23将所产生的图像输出到加法处理单元24。从SR图像和图像LRn获得运动矢量并且使得使用所获得的运动矢量运动补偿过的图像的分辨率等于LR图像的分辨率的操作，对应于基于存储在SR图像缓冲器14中的SR图像执行所捕获的图像的模拟(simulation)。
加法处理单元24产生指示图像LRn和以这样的方式模拟的图像之间的差值的差值图像。然后，加法处理单元24将所产生的差值图像输出到上取样处理单元25。
上取样处理单元25上取样从加法处理单元24供给的差值图像，以便产生具有与SR图像的分辨率相同的分辨率的图像。然后，上取样处理单元25将所产生的图像输出到逆运动补偿处理单元26。逆运动补偿处理单元26使用从运动矢量检测单元21供给的运动矢量，逆运动补偿从上取样处理单元25供给的图像。然后，逆运动补偿处理单元26输出代表通过逆运动补偿获得的图像的反馈值到在图2中示出的求和处理单元12。从逆运动补偿获得的图像中捕获的对象的位置接近从存储在SR图像缓冲器14中的SR图像捕获的对象的位置。
图4图解说明执行这样的超分辨率处理的图像处理设备30的示例性配置。在图像质量调节单元32中，由图像捕获单元31(诸如CCD或CMOS传感器)捕获的图像通过对比度控制和孔径控制(边缘加强)来调节。此后，在图像压缩单元33中，使用诸如MPEG压缩之类的预定压缩算法来压缩图像。而后，在记录媒介34(诸如数字多功能盘(DVD)、磁带或闪存)上记录图像。
当解码并回放存储在记录媒介34上的图像时执行超分辨率处理。在图像解码单元35中，针对记录在记录媒介34上的图像执行解码处理。此后，在超分辨率处理单元36中，针对经解码的图像执行参考图1到图3描述的超分辨率处理。因此，产生了高分辨率图像，并且在显示单元37上显示所产生的高分辨率图像。
通过这种超分辨率处理获得的输出图像不限于运动图像。例如，输出图像可以是静止图像。在运动图像的情况下，使用多个帧图像。相反，在静止图像的情况下使用连续捕获的静止图像。在连续捕获的静止图像中，所捕获的图像的区域可能由于例如照相机晃动而相对于另一图像轻微并逐渐地偏离。通过将参考图1到图3所描述的超分辨率处理应用于连续捕获的静止图像，可以产生高分辨率的图像。
虽然已经参考由例如视频摄像机或静态照相机执行的处理，描述了在图4中示出的例子，但是可以将该处理应用于广播图像数据，例如用于数字广播的数据。通过将超分辨率处理应用于在接收器中的、所接收到的图像，可以产生并输出高分辨率图像。例如，在图5中示出的示例性配置中，数据传送设备40传送低分辨率图像。数据接收设备50接收从数据传送设备40传送来的数据，并且针对所接收到的数据执行超分辨率处理，以便产生并显示高分辨率图像。
数据传送设备40的图像质量调节单元42通过对比度控制和孔径控制(边缘增强)，控制由图像捕获单元41(诸如CCD或CMOS)捕获的图像的质量。此后，图像压缩单元43使用预定压缩算法(诸如MPEG压缩)编码图像。而后，传送单元44传送经编码的图像。
由数据接收设备50的接收单元51接收从传送单元44传送的数据。图像解码单元52解码接收到的数据。而后，超分辨率处理单元53执行参考图1到图3所描述的超分辨率处理，以便产生高分辨率图像。然后，在显示单元54上显示该高分辨率图像。
如上指示，超分辨率处理可以应用于由照相机捕获的图像或通信图像数据(communication image data)。然而，如在图4和5中描述的那样，经历了超分辨率处理的图像数据已经经历图像质量控制，例如对比度控制和孔径控制(边缘增强)。也就是说，控制图像质量以便提高主观图像质量(subjectiveimage quality)，随后压缩该图像。因此，由于压缩图像很有可能包括区块噪声(block noise)和振铃噪声(ringing noise)。
然而，如在图1到图3中描述的那样，超分辨率处理包括使用在多个图像间的图像的相关性的高分辨率图像的重构。如果对经历了上述处理(例如图像质量调节和图像压缩)的图像数据执行超分辨率处理，，则可以产生具有过度增强的高频率范围或增强的压缩噪声的图像，因此，图像质量可能恶化。
发明内容
因此，本发明提供图像处理设备、图像处理方法以及计算机程序，其具有用于通过针对已经经历了图像质量调节和图像压缩的图像数据执行超分辨率处理来产生高分辨率图像的配置，以便能够通过作为预处理的校正图像以及针对所校正的图像执行超分辨率处理来产生高质量高分辨率图像。
根据本发明的实施方式，图像处理设备包括：图像校正处理单元，配置来校正输入图像，以便产生经校正图像；以及超分辨率处理单元，配置来接收通过图像校正处理单元校正的图像，并且通过超分辨率处理增强经校正图像的分辨率，以便产生高分辨率图像。图像校正处理单元执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理以及孔径控制校正处理中至少之一。
图像校正处理单元可以分析形成输入图像的像素的特性以便获得分析信息，并且图像校正处理单元可以根据分析信息确定要应用的图像校正处理的类型。
当分析形成输入图像的像素的特性时，图像校正处理单元可以分析时间方向相关信息、边缘信息以及空间方向像素特性信息，以便根据分析信息确定将要应用的图像校正处理的类型。
图像校正处理单元可以以在包含要处理的像素周围的像素的像素区域中的像素的最大像素值、最小像素值、方差值、平均值、具有高于或等于预定阈值的亮度的像素的数量以及具有低于或等于预定阈值的亮度的像素的数量中至少之一的形式获取空间方向像素特征信息。
超分辨率处理单元可以基于从图像校正处理单元接收到的低分辨率图像(LR图像)以及为之前帧预先产生的高分辨率图像(SR图像)，产生相应于输入图像的高分辨率图像。超分辨率处理单元可以包括高分辨率差值图像产生单元、时间方向噪声去除单元、第一加法处理单元和第二加法处理单元。高分辨率差值图像产生单元可以基于使用高分辨率图像(SR图像)和低分辨率图像(LR图像)计算出的运动矢量，运动补偿高分辨率图像(SR图像)，产生运动补偿过的高分辨率图像(SR图像)与低分辨率图像(LR图像)间的差值图像，并通过执行上取样和针对差值图像的逆运动补偿，产生高分辨率差值图像。时间方向噪声去除单元可以执行在时间方向上来自高分辨率差值图像的低频成分被去除的图像的噪声的去除。第一加法处理单元可以将通过时间方向噪声去除单元处理的图像添加到高分辨率差值图像的低频成分图像上。第二加法处理单元可以将第一加法处理单元的输出添加到高分辨率图像(SR图像)，以便产生相应于所接收到的低分辨率图像(LR图像)的高分辨率图像。
时间方向噪声去除单元可以使用无限持续期脉冲响应(IIR)滤波器(infinite-duration impulse response(IIR)filter)执行滤波处理。
根据本发明的另一个实施方式提供用在用于执行超分辨率处理的图像处理设备中的图像处理方法。该方法包括步骤：校正输入图像以便通过使用图像校正处理单元产生经校正图像；以及接收经校正图像，并经超分辨率处理增加经校正图像的分辨率，以便使用超分辨率处理单元产生高分辨率图像。校正输入图像的步骤包括执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理和孔径控制校正处理中至少之一。
在校正输入图像的步骤中，可以分析形成输入图像的像素的特性以便获取分析信息，并且可以根据分析信息确定要应用的图像校正处理的类型。
在校正输入图像的步骤中，当分析形成输入图像的像素的特性时，可分析时间方向相关信息、边缘信息和空间方向像素特性信息中至少之一，以便根据分析信息确定要应用的图像校正处理的类型。在校正输入图像的步骤中，可以获取在包含要处理的像素周围的像素的像素区域的像素的最大像素值、最小像素值、方差值、平均值、具有高于或等于预定阈值的亮度的像素的数量以及具有低于或等于预定阈值的亮度的像素的数量中至少之一的形式下的空间方向像素特征信息。
在产生高分辨率图像的步骤中，可以基于从图像校正处理单元接收到的低分辨率图像(LR图像)以及为之前帧预先产生的高分辨率图像(SR图像)，产生相应于输入图像的高分辨率图像。产生高分辨率图像的步骤可以包括产生高分辨率差值图像、去除时间方向噪声、执行第一加法以及执行第二加法。在产生高分辨率差值图像的步骤中，可以基于使用高分辨率图像(SR图像)和低分辨率图像(LR图像)计算出的运动矢量运动补偿高分辨率图像(SR图像)，可以产生运动补偿过的高分辨率图像(SR图像)与低分辨率图像(LR图像)间的差值图像，并且可以通过针对差值图像执行上取样和逆运动补偿产生高分辨率差值图像。在去除时间方向噪声的步骤中，可以执行在时间方向上来自高分辨率差值图像的低频成分被去除的图像的噪声的去除。在执行第一加法的步骤中，可以将去除时间方向噪声的步骤中处理过的图像添加到高分辨率差值图像的低频成分图像。在执行第二加法的步骤中，可以将执行第一加法的步骤的输出添加到高分辨率图像(SR图像)，以便产生与所接收到的低分辨率图像(LR图像)对应的高分辨率图像。
去除时间方向噪声的步骤可以包括使用无限持续期脉冲响应(IIR)滤波器执行滤波处理。
根据本发明的再一实施方式，提供用于使图像处理设备产生高分辨率图像的计算机程序。计算机程序包括执行以下步骤的程序代码：校正输入图像以便通过使用图像校正处理单元产生经校正图像；以及接收经校正图像且通过超分辨率处理提高经校正图像的分辨率，以便通过使用超分辨率处理单元产生高分辨率图像。校正输入图像的步骤包括执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理以及孔径控制校正处理中至少之一。
根据该实施方式，可以使用具有计算机可读格式(computer-readableformat)的存储媒介和通信媒介将计算机程序提供给可以执行例如各种程序代码的通用计算机系统。通过以计算机可读格式提供这样的计算机程序，可以在计算机系统中执行依据计算机程序的处理。
从后文参考附图的示例性的实施方式的详细描述中，将明白本发明的进一步特征和优点。另外，像这里所使用的那样，术语“系统”指的是多个装置的逻辑组合；多个装置不需要包含在一个主体中。
在根据本发明的实施方式的结构中，图像处理设备从输入图像的分辨率产生具有增强的分辨率的高分辨率图像。图像处理设备包括预校正输入到执行用于增强分辨率的处理的超分辨率处理单元的图像的图像校正处理单元(预滤波器)。更具体地，图像处理设备分析输入图像的像素的特征，并且执行时间方向噪声去除、空间方向噪声去除、压缩噪声去除和孔径控制校正中至少之一。然后，图像处理设备将经历了这些处理操作的图像输入到针对输入的图像执行超分辨率处理的超分辨率处理单元。使用这样的结构，可以实现高质量高分辨率图像的产生。
也就是说，如果针对经历了图像质量调节(诸如对比度控制和孔径控制(边缘增强))和图像压缩的图像数据执行超分辨率处理，则可能产生具有过度增强的高频率范围或增强的压缩噪声的图像，因此，图像质量可能恶化。然而，本发明的实施方式提供其中图像校正处理单元(预滤波器)检测图像的特征的配置，该配置降低图像的质量并执行图像校正，而后输出经校正图像到针对图像执行超分辨率处理的超分辨率处理单元。因此，可以产生高质量高分辨率图像。
附图说明
图1A和图1B是图解用于从低分辨率图像产生高分辨率图像的超分辨率处理的图；
图2是图解用于执行从低分辨率图像产生高分辨率图像的超分辨率处理的示例配置的图；
图3是图解用于执行从低分辨率图像产生高分辨率图像的超分辨率处理的示例配置的图；
图4是图解用于执行超分辨率处理的图像处理设备的示例配置的图；
图5是图解用于执行超分辨率处理的图像处理设备的示例配置的图；
图6是图解用于执行根据本发明的实施方式的超分辨率处理的图像处理设备的示例配置的图；
图7是图解执行用于根据本发明的实施方式的超分辨率处理的图像处理设备的示例配置的图；
图8是图解执行用于根据本发明的实施方式的超分辨率处理的图像处理设备的图像校正处理单元(预滤波器)的示例配置的图；
图9是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的时间方向相关性计算单元的示例处理的图；
图10是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的边缘检测单元的示例处理的图；
图11A到图11C是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的边缘检测单元的示例处理的图；
图12是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的空间方向像素特性检测单元的示例处理的图；
图13是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的滤波器选择单元的处理顺序的流程图；
图14是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的滤波器选择单元的示例处理的图；
图15A和图15B是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的滤波处理执行单元的示例处理(使用孔径控制校正滤波器的处理)的图；
图16A和图16B是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的滤波处理执行单元的示例处理(使用压缩噪声去除滤波器的处理)的图；
图17是图解根据本发明的实施方式的图像处理设备的图像校正处理单元(预滤波器)的滤波处理执行单元的示例处理(使用压缩噪声去除滤波器的处理)的图；
图18是图解根据本发明的实施方式的图像处理设备的超分辨率处理单元的详细的示例配置的图；以及
图19是图解根据本发明的实施方式的图像处理设备的示例性硬件配置的图。
具体实施方式
以下将参照附图详细地描述根据本发明的实施方式的图像处理设备、图像处理方法和计算机程序。
根据本发明的实施方式，图像处理设备具有用于针对经历了图像质量调节(诸如对比度控制和孔径控制(边缘增强))以及图像压缩的图像数据执行超分辨率处理的配置，以便产生高分辨率图像的配置。注意到，要处理的图像可以是运动图像或者静止图像。根据本实施方式，图像处理设备作为超分辨率处理的预处理执行图像校正，而后执行超分辨率处理。因此，图像处理设备可以产生高质量高分辨率图像。
然后将参考图6和图7描述根据本实施方式的图像处理设备的示例配置。图6图解图像处理设备100(诸如视频摄像机或者照相机)的配置。图像捕获单元101(诸CCD或CMOS传感器)捕获图像。图像质量调节单元102通过对比度控制和孔径控制(边缘增强)调节由图像捕获单元101捕获的图像的质量。此后，图像压缩单元103使用预定压缩算法(诸如MPEG压缩)压缩图像。随后，在记录媒介104(诸如DVD、磁带或者闪存)上记录经压缩的图像。
随后，当解码并回放存储在记录媒介104上的图像时执行超分辨率处理。在图像解码单元105中，针对记录在记录媒介104上的图像执行解码处理。此后，在图像校正处理单元(预滤波器)106中，执行图像校正处理。经校正图像被输入超分辨率处理单元107。随后，在超分辨率处理单元107中，针对经校正图像执行超分辨率处理。因此，产生高分辨率图像，并且在显示单元108上显示所产生的高分辨率图像。
图6中所示出的配置与上述图4中所描述的配置不同。该配置包括图像校正处理单元(预滤波器)106。也就是说，在根据本实施方式的图像处理设备中，图像校正处理单元(预滤波器)106执行图像校正处理。经校正图像被输入超分辨率处理单元107。然后，超分辨率处理单元107执行超分辨率处理。下面将更详细地描述图像校正处理单元(预滤波器)106的操作。
虽然参考通过，例如，摄像机或照相机执行的处理描述了图6示出的例子，但该处理可以应用于广播图像数据，诸如用于数字广播的数据。通过针对在接收器中的所接收到的图像执行超分辨率处理，可以产生并输出高分辨率图像。例如，在图7示出的示例配置中，数据传送设备110输出低分辨率图像。图像处理设备120接收自数据传送设备110传送来的数据并针对数据执行超分辨率处理，以便产生高分辨率图像并显示高分辨率图像。
在数据传送设备110中，图像质量调节单元112通过对比度控制和孔径控制(边缘增强)，控制由图像捕获单元111，例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)传感器，所捕获的图像的质量。其后，图像压缩单元113使用预定压缩算法，例如MPEG压缩压缩图像。随后，传送单元114传送经压缩的图像。
由图像处理设备120的接收单元121接收从传送单元114传送来的数据。图像解码单元122解码接收到的数据。随后，图像校正处理单元(预滤波器)123执行图像校正处理。经校正图像被输入到超分辨率处理单元124。超分辨率处理单元124执行超分辨率处理，以便产生高分辨率图像。然后，在显示单元125上显示该高分辨率图像。
如图7所示，图像处理设备120包括图像校正处理单元(预滤波器)123。也就是说，图像校正处理单元(预滤波器)123执行图像校正处理。经校正图像被输入到针对所输入的图像执行超分辨率处理的超分辨率处理单元124。
将参照图8和其后续图描述根据本发明的实施方式的图像处理设备120的图像校正处理单元(预滤波器)的详细配置和操作。图8是图解根据本实施方式的图像处理设备120的图像校正处理单元(预滤波器)的详细配置的框图。
如图8所示，图像校正处理单元(预滤波器)250从图像解码单元240接收经解码的图像并输出经校正图像到超分辨率处理单元260。图像校正处理单元250包括时间方向相关性计算单元251、边缘检测单元252、空间方向像素特性检测单元253、滤波器选择单元254、滤波处理执行单元255和图像缓冲器256。
图像校正处理单元250依次从图像解码单元240接收经解码图像，并且依次产生与接收到的图像相应的经校正图像。图像校正处理单元250依次输出经校正图像到超分辨率处理单元260。例如，在运动图像的情况下，输出时间上连续的帧。相反，在静止图像的情况下，输出持续地捕获的静止图像帧。正如在此使用的那样，从图像解码单元240输入的新帧图像称为“输入图像(Cur图像)”。在该新帧图像被输入并被经历由滤波处理执行单元255执行的滤波处理之前输入并存储在图像缓冲器256中的图像称作“预处理图像(预图像)”。
首先，示意性地描述由图像校正处理单元250执行的示例处理。随后，描述由图像校正处理单元250的每一个子单元执行的处理的细节。将从图像解码单元240输入的输入图像(Cur图像)供应给时间方向相关性计算单元251、边缘检测单元252、空间方向像素特性检测单元253和滤波处理执行单元255。图像缓冲器256存储之前帧的经处理图像，并且输入该图像到时间方向相关性计算单元251和滤波处理执行单元255。
时间方向相关性计算单元251比较输入图像(Cur图像)与预处理图像(预图像)，并且对每一个像素输出在时间方向上的相关性值。例如，时间方向相关性计算单元251对作为其中心是给定像素的经分割像素区域的每个块，计算协方差值。时间方向相关性计算单元251把该协方差值当作在时间方向上像素的相关性，并且输出该协方差值到滤波器选择单元254。
边缘检测单元252对每一个像素使用，例如，sobel滤波器计算输入图像(Cur图像)的边缘强度，并且输出边缘强度到滤波器选择单元254。
空间方向像素特性检测单元253计算指示作为其中心为在输入图像(Cur图像)中的确定像素的经分割的像素区域的每个块的像素的特征的块特征。然后，空间方向像素特性检测单元253输出块特征到滤波器选择单元254。例如，空间方向像素特性检测单元253输出块中像素的方差值、最大值和最小值、块中具有大于或等于阈值的像素的数量以及具有小于或等于阈值的像素的数量，作为在空间方向上的图像特征。
滤波器选择单元254基于时间方向相关性计算单元251、边缘检测单元252和空间方向像素特性检测单元253的输出，选择应用于每一个像素的滤波器。例如，滤波器选择单元254通过比较时间方向相关性计算单元251、边缘检测单元252和空间方向像素特性检测单元253的每一个输出与相应的预定阈值，选择由滤波处理执行单元255使用的滤波器。然后，滤波器选择单元254输出作为滤波器标识信息的滤波器标识符到滤波处理执行单元255。作为选择，通过参考包括时间方向相关性计算单元251、边缘检测单元252和空间方向像素特性检测单元253的每一个输出的滤波器选择表以及将应用的其相关滤波器，滤波器选择单元254可以选择滤波器并且输出所选出的滤波器的滤波器标识符到滤波处理执行单元255。
滤波处理执行单元255基于作为从滤波器选择单元254输出的滤波器标识信息的滤波器标识符，确定将应用的滤波器。滤波处理执行单元255还从图像缓冲器256中获取预处理图像(预图像)。然后，滤波处理执行单元255针对输入图像(Cur图像)，执行作为图像校正处理的滤波处理，以便产生经校正图像。此后，滤波处理执行单元255输出经校正图像。输入经校正图像到使用经校正图像执行超分辨率处理的超分辨率处理单元260。另外，输入由滤波处理执行单元255产生的经校正图像到图像缓冲器256，并且作为下一个输入图像(Cur图像)的预处理图像(预图像)存储在图像缓冲器256中。
以下将更详细的描述每一个子单元的操作。
时间方向相关性计算单元
下面参照图9描述时间方向相关性计算单元251的操作。时间方向相关性计算单元251比较输入图像(Cur图像)与预处理图像(预图像)，以便对每一个像素输出在时间方向上的的相关性值。例如，时间方向相关性计算单元251对作为其中心是给定像素的经分割的像素区域的每个块计算协方差，并且把协方差值当作在时间方向上像素的相关性。然后，时间方向相关性计算单元251输出协方差值到滤波器选择单元254。以下将参考图9描述该操作的实例。更明确地，时间方向相关性计算单元251执行以下处理步骤1到4：
(步骤1)
从输入图像(Cur图像)301中检索感兴趣像素以及围绕感兴趣像素的几个像素。这些像素是如图9所示的检索到的像素302。检索到的像素302的数量是N。
(步骤2)
从预处理图像(预图像)311中，检索位于在步骤1中检索到的像素的相同位置的像素。那些是图9中示出的检索到的像素312。检索到的像素312的数量是N。
(步骤3)
基于分别在步骤1和2中检索到被检索到的像素302和被检索到的像素312计算协方差值。协方差值是使用以下公式计算出的：
Covariance = 1 N Σ i ( c i - c ‾ i ) · ( p i - p ‾ i ) . . . ( 2 )
其中
ci＝在输入图像(Cur图像)中感兴趣像素的像素值+周围像素的像素值，
ci bar(-)＝(在输入图像(Cur图像)中感兴趣像素的像素值+周围像素的像素值)的平均值，
Pi＝在预处理图像(预图像)中感兴趣像素的像素值+周围像素的像素值，
pi bar(-)＝(在预处理图像(预图像)中的感兴趣像素的像素值+周围像素的像素值)的平均值，以及
N＝用于计算的像素的数量
(步骤4)
关于在协方差图像321中的感兴趣像素的位置，设置计算出的协方差值。
时间方向相关性计算单元251关于在输入图像(Cur图像)中的每一个像素，执行在步骤1到4中描述的处理，以便关于每一个像素获得协方差值，并且产生协方差图像321。然后，时间方向相关性计算单元251输出协方差图像321到滤波器选择单元254。
边缘检测单元
边缘检测单元252使用，例如，sobel滤波器，关于每一个像素计算输入图像(Cur图像)的边缘强度，并且输出边缘强度到滤波器选择单元254。已经提出了多种用于检测图像的边缘强度的方法。在本实施方式中，使用称为“sobel滤波器”的检测方法。然而，也可以使用除Sobel滤波器方法外的方法。
如图10所示，垂直方向边缘强度检测单元332检测输入图像331在垂直方向上的边缘强度。水平方向边缘强度检测单元333检测输入图像331在水平方向上的边缘强度。
例如，垂直方向边缘强度检测单元332将图11A示出的二维滤波器应用于每一个像素，以便检测在垂直方向上的边缘强度。水平方向边缘强度检测单元333将图11B示出的二维滤波器应用于每一个像素，以便检测在水平方向上的边缘强度。
随后，在图10中所示的边缘强度求和单元334基于在垂直方向上的边缘强度和在水平方向上的边缘强度计算边缘强度。如图11C所示，边缘强度G可以使用以下公式计算：
G = G h 2 + G v 2 . . . ( 3 )
其中
G＝边缘强度，
Gh＝水平方向上的边缘强度，以及
Gv＝垂直方向上的边缘强度。
通过上述处理，可以计算关于输入图像(Cur图像)的每一个像素的边缘强度，并且输出代表关于每一个像素的边缘强度的输出335到滤波器选择单元254。
空间方向像素特征检测单元
空间方向像素特性检测单元253计算代表作为其中心是给定像素的经分割像素区域的每个块的像素的特征的块特征。然后，空间方向像素特性检测单元253输出块特征到滤波器选择单元254。例如，空间方向像素特性检测单元253输出块中像素的方差值、最大值和最小值、块中具有大于或等于阈值的像素的数量以及具有小于或等于阈值的像素的数量。接着将参考图12描述空间方向像素特性检测单元253的操作。
空间方向像素特性检测单元253检测以下特征(a)到(f)(关于每一个像素执行特征检测操作，并且以下每一个输出值的数值与输入的像素的数量相同)：
(a)在包括从输入图像341中选出的感兴趣像素342的像素区域343中的最大像素值；
(b)在包括从输入图像341中选出的感兴趣像素342的像素区域343中的最小像素值；
(c)包括从输入图像341中选出的感兴趣像素342的像素区域343的方差值；
(d)包括从输入图像341中选出的感兴趣像素342的像素区域343的平均值；
(e)在包括从输入图像341中选出的感兴趣像素342的像素区域344中具有值大于或等于预定阈值的像素的数量(高亮度像素的数量)；以及
(f)在包括从输入图像341中选出的感兴趣像素342的像素区域344中具有值小于或等于预定阈值的像素的数量(低亮度像素的数量)。
在图12中示出的例子中，从其中检测最大值、最小值、平均值和方差值的像素区域是包括感兴趣像素342并且具有5×5尺寸的像素区域343。相反，从其中检测高亮度像素的数量和低亮度像素的数量的像素区域是包括感兴趣像素342并且具有3×3尺寸的像素区域344。然而，像素区域不限于此。可使用多种区域设置。
输出以上述方式计算出的以下值到滤波器选择单元254，作为输出345：(a)最大像素值、(b)最小像素值、(c)方差值、(d)平均值、(e)高亮度像素的数量以及(f)低亮度像素的数量。空间方向像素特性检测单元253不需要输出从(a)到(f)的全部数据项。空间方向像素特性检测单元253可以检测某些数据项作为在空间方向上的图像特征，并且输出数据项到滤波器选择单元254。
滤波器选择单元
滤波器选择单元254基于时间方向相关性计算单元251、边缘检测单元252和空间方向像素特性检测单元253的输出，选择应用于每一个像素的滤波器。例如，通过比较从时间方向相关性计算单元251、边缘检测单元252和空间方向像素特性检测单元253中的每一个输出的信息与预定阈值，空间方向像素特性检测单元253确定将由滤波处理执行单元255使用的滤波器。然后，空间方向像素特性检测单元253输出作为滤波器标识信息的滤波器标识符到滤波处理执行单元255。
下面参考图13所示的流程图描述由滤波器选择单元254执行的示例处理流程。关于输入到如图8所示的图像校正处理单元(预滤波器)250的输入图像(Cur图像)的每一个像素执行在图13中所示的流程图中指示的处理。滤波器选择单元254关于每一个像素确定在滤波处理执行单元255中使用的滤波器。
在步骤S101，将从边缘检测单元252输入的输入图像(Cur图像)的将处理的像素的边缘强度与预定阈值A比较。如果满足条件：边缘强度>预定阈值A，则处理进入步骤S104。如果不满足该条件，则处理进入步骤S102。
在步骤S102中，将在时间方向上从时间方向相关性计算单元251输入的输入图像(Cur图像)的经处理像素的相关性值与预定阈值B比较。如果满足条件：在时间方向上的相关性值>预定阈值B，则处理进入步骤S111。如果不满足该条件，则处理进入步骤S103。
在步骤S103中，将为从空间方向像素特性检测单元253输入的输入图像(Cur图像)的经处理像素计算的方差值与预定阈值C比较。如果满足条件：方差值>预定阈值C，处理进入步骤S113。如果不满足条件，处理进入步骤S112。
另外，在步骤S104中，将为从空间方向像素特性检测单元253输入的输入图像(Cur图像)的经处理像素计算的高亮度像素的数量和低亮度像素的数量，分别与预定阈值D和预定阈值E分别进行比较。如果满足条件：
高亮度像素的数量>预定阈值C，并且
低亮度像素的数量>预定阈值E，
则处理进入步骤S115。如果不满足条件，处理进入步骤S114。
在该处理流程的步骤S104中，将为从空间方向像素特性检测单元253输入的输入图像(Cur图像)的经处理像素计算的高亮度像素的数量和低亮度像素的数量，分别与预定阈值D和预定阈值E分别进行比较。然而，代替高亮度像素的数量和低亮度像素的数量，以下条件可能用于确定：
最大像素值>预定阈值F，以及
最小像素值<预定阈值G。
如果满足这些条件，处理进入步骤S155。如果不满足条件，处理进入步骤S114。
通过上述确定处理，可以确定将应用于在由滤波处理执行单元255执行的处理中的输入图像(Cur图像)的将处理像素的滤波器。也就是说，选出以下滤波器(a)到(e)中的一个：
(a)在步骤S111中应用的、在时间方向上的颗粒噪声去除滤波器；
(b)没有在步骤S112中应用的滤波器；
(c)在步骤S113中应用的、在空间方向上的颗粒噪声去除滤波器；
(d)在步骤S114中应用的压缩噪声去除滤波器；以及
(e)在步骤S115中应用的孔径控制校正滤波器。
在图14中示出的表中概述了这些确定处理。滤波器选择单元254可以通过使用时间方向相关性计算单元251、边缘检测单元252和空间方向像素特性检测单元253的输出，以及通过参照如图14所示的、指示被应用的滤波器的滤波器选择表，选择滤波器。然后，滤波器选择单元254可以输出作为被应用的滤波器标识信息的滤波器标识符到滤波处理执行单元255。
以这种方法，滤波器选择单元254确定将应用于输入图像的每一个像素的滤波器。更明确地，确定边缘强度是否大于预定值。如果边缘强度大于预定值，则进一步确定高亮度像素的数量和低亮度像素的数量中的每一个是否都大于预定值。如果高亮度像素的数量和低亮度像素的数量中的每一个都大于预定值，则滤波器选择单元254确定之前应用的孔径控制的增强过度，因此确定将执行使用适于校正的孔径控制校正滤波器的处理(S115)。
然而，如果高亮度像素的数量和低亮度像素的数量中的每一个都小于或等于预定值，则滤波器选择单元254确定由压缩(例如MPEG或JPEG压缩)导致的压缩失真是显著，因此确定将执行使用适于校正的压缩噪声去除滤波器的处理(S114)。
如果边缘强度小于或等于阈值，则滤波器选择单元254确定当捕捉图像时发生的颗粒噪声比图像的边缘成分更显著，因此滤波器选择单元254为颗粒噪声执行校正处理。如图13中的流程图所示，在这一处理中，进一步确定时间方向上的相关性值是否高。如果在时间方向上的相关性值(协方差)高于阈值，则滤波器选择单元254确定将执行使用在时间方向上的滤波器的处理(S111)。
然而，如果在时间方向上的相关性值(协方差)低，则滤波器选择单元254使用在感兴趣像素的附近的像素的方差值确定是否应用滤波器。也就是说，如果方差值高，则可能出现在空间方向上的滤波器的应用的负面影响。因此，滤波器选择单元254确定没有将应用的滤波器(S112)。然而，如果方差值小于预定值，则滤波器选择单元254确定将执行使用在空间方向的滤波器的处理(S113)。
以这种方法确定滤波器信息。输出滤波器信息到执行使用选出的滤波器的图像校正处理的滤波处理执行单元255。
滤波处理执行单元
滤波处理执行单元255使用从滤波器选择单元254输出的作为滤波器标识信息的滤波器标识符，确定将应用的滤波器。另外，滤波处理执行单元255接收来自图像缓冲器256的经预处理图像(预图像)。然后，滤波处理执行单元255执行用于校正输入图像(Cur图像)的滤波处理，以便产生经校正图像并且输出该经校正图像。输出图像将输入到超分辨率处理单元260。超分辨率处理单元260使用经校正图像执行超分辨率处理。注意到，由滤波处理执行单元255产生的经校正图像被输入到图像缓冲器256。经校正图像存储在图像缓冲器256中，以便作为用于下一输入图像(Cur图像)的经预处理图像(预图像)。
以下将描述由滤波处理执行单元255执行的各种滤波操作。
孔径控制校正滤波器
如果边缘强度大于预定值，并且高亮度像素的数量和低亮度像素的数量中的每一个都大于预定值，则确定孔径控制的增强过度，因此滤波处理执行单元255执行使用适于校正的孔径控制校正滤波器的处理。
以下参考图15A和图15B描述使用孔径控制校正滤波器的处理。如图15A所示，滤波处理执行单元255选择将被处理的像素401和包括像素401以及围绕像素401的像素的参考像素区域402。在这个例子中，参考像素区域402的大小是5×5。
如图15B所示，在步骤S211到S213中执行的处理是使用孔径控制校正滤波器的处理。
在步骤S211中，从参考像素区域的预定区域内围绕像素401的像素中去除不满足高或低亮度条件的像素。例如，使用以下条件来确定：低亮度阈值<像素值<高亮度阈值。从而，去除不满足条件的像素。
在步骤S212中，计算保留在参考像素区域中的像素的中值。注意，最大值、最小值或者平均值可以替代中值使用。
在步骤S213中，将处理的像素的像素值由所计算出的中值替代。
如上所述，使用孔径控制校正滤波器的处理作为，例如，其中使用中值滤波器(中值)选出像素值并由另一个像素值替换该像素值的处理来执行。
压缩噪声去除滤波器
如果高亮度像素的数量和低亮度像素的数量中的每一个都小于或等于预定值，则确定由压缩(例如MPEG或JPEG压缩)引起的压缩失真是显著的，因此滤波处理执行单元255执行使用适于校正的压缩噪声去除滤波器的校正处理。
以下将参考图16A和图16B描述使用压缩噪声去除滤波器的处理。在压缩噪声去除滤波器中，减小在DCT块边界处出现的噪声，诸如用在包括MPEG-4或H.264的某些压缩算法中的去块滤波器(deblocking filter)的噪声。
通常，在去块处理中，使用关于在经历过DCT处理的块边界处的像素的信息执行滤波选择，随后执行平滑操作。另外，既然由DCT处理引起的块噪声只在DCT边界产生，所以将去块处理应用于DCT块边界附近的区域。
例如，描述用于减小如图16A所示的像素a0和b0间的块噪声的处理。在这种情况下，为了减小块噪声，检测如在图16B中由箭头记号411所示的、在水平方向的像素特征，并且执行平滑处理。例如，在MPEG-4的情况下，如图16B所示，使用围绕像素a0和b0的10个像素(像素a4到a0以及像素b0到b4)来执行使用平滑滤波的平滑操作。
用于平滑滤波的示例平滑算法表达如下：
eq_cnt＝f(a4-a3)+f(a3-a2)+f(a2-a1)+f(a1-a0)+f(a0-b0)+f(b0-b1)+f(b1-b2)+f(b2-b3)+f(b3-b4)，
其中
如果|γ|≤THR1，则f(γ)＝1，否则等于0。
如果(eq_cnt≥THR2)
应用DC偏移模式。
否则
应用缺省模式。
在这个算法中，当在图16B所示的像素a0到a4和像素b0到b4被配置形成区块图像(plat image)时选择DC偏移模式。从而，当选择DC偏移模式时，强平滑滤波将应用于像素。
相反，当选择缺省模式时，确定像素被配置形成合成图像。因此，执行弱平滑操作。在这种方式下，可以阻止由平滑操作引起的负面影响。
如上所述，压缩噪声去除滤波器减少在DCT块边界处的噪声，例如在算法(例如MPEG-4或者H.264)中用到的去块滤波器的噪声。
时间方向颗粒去除滤波器
如果边缘强度小于或等于阈值，则确定当捕获图像时发生的颗粒噪声比图像的边缘成分更显著，因此执行关于颗粒噪声的校正处理。如图13中流程所示，如果在时间方向上的相关性值(协方差)大于阈值，则滤波处理执行单元255在时间方向上执行使用滤波器的处理。
下面将参考图17描述使用时间方向颗粒噪声去除滤波器的处理。在使用时间方向颗粒噪声去除滤波器的处理中，在时间方向上应用低通滤波器以便去除颗粒噪声。
例如，在图17所示的配置中，在时间方向上应用无限期脉冲响应(IIR)滤波器，以便去除颗粒噪声。如果当前处理帧是第一帧，则不执行操作，并且输出结果。另外，在缓冲器423中存储输出结果。
像素值校正单元421将输入图像的每一个像素的像素值乘以系数β，并且输出结果到安排在像素值校正单元421的下游的加法器422。由像素值校正单元424将关于存储在缓冲器423中的之前帧的处理结果中的像素的每个像素值乘以系数α，并且输入加法器422。加法器422求和这些结果值并产生图像。然后，加法器422输出图像。该和值以输出图像的形式向外输出。同时，在缓冲器存储输出图像，并将输出图像用于下一帧的处理。
例如，在像素值校正单元421和像素值校正单元424中用到的系数确定如下：
α＝1-γ，且
β＝γ
(0<＝γ<＝1)。
如上所述，在使用时间方向颗粒去除滤波器的处理中，在时间方向上应用低通滤波器以便去除颗粒噪声。
空间方向颗粒噪声去除滤波器
如图13中的流程图所示，如果边缘强度低于或等于阈值并且在时间方向上相关性很低，则使用感兴趣像素关于周围像素的方差值，确定是否应用滤波器。也就是说，如果方差高，则可能出现在空间方向上的滤波器的应用的负面影响。因此，不应用滤波器。然而，如果方差值小于或等于阈值，则滤波处理执行单元255执行在空间方向使用滤波器的处理。
在使用空间方向颗粒处理滤波器的处理中，参考在空间方向上图像的特征，并且应用噪声去除滤波器。
为了在空间方向使用像素特征去除噪声，已经提出了各种方法。这里，可以用到其中一种方法。这些方法的示例包括：
在空间方向应用低通滤波器的处理，
在空间方向应用中值滤波器的处理，
检测区块程度(platness)并且改变滤波强度的处理，
检测边缘区域并且改变滤波强度的处理，以及
在其中小波变换并关于每一个频率成分划分图像以便去除噪声的处理。
滤波处理执行单元255可以执行上述处理方法中的一个。
滤波处理执行单元255的滤波器选择单元254使用通过在图13中示出的处理流程确定的滤波器，并且执行上述处理。然后，滤波器选择单元254输出处理结果到超分辨率处理单元260，如图8所示。超分辨率处理单元260针对经历了由图像校正处理单元250的滤波处理执行单元255执行的滤波处理的经校正图像，执行超分辨率处理。
超分辨率处理单元
以下将参考图18详细地描述根据本发明的实施方式的图像处理设备的超分辨率处理单元的操作和示例性配置。
如图18所示，超分辨率处理单元包括高分辨率差值图像产生单元550和时间方向噪声去除处理单元560。超分辨率处理单元接收输入图像(LR图像)，它是通过图像校正处理单元250的滤波处理执行单元255执行的滤波处理获得的经校正图像。超分辨率处理单元进一步从SR图像缓冲器(未示出)接收通过刚刚执行的超分辨率处理产生的SR图像。注意到，LR图像是低分辨率图像，而SR图像是高分辨率图像。而且，注意到，当处理刚刚开始并且尚未产生SR图像帧的时候，作为初始输入图像的输入图像(LR图像)LR0被上取样成具有与SR图像的分辨率相同的分辨率的图像。然后，供给并存储经上取样的图像在SR图像缓冲器。
输入SR图像到运动矢量检测单元(ME)501、运动补偿处理单元502、掩蔽处理单元511以及加法器电路514。相反，将作为通过由图像校正处理单元250的滤波处理执行单元255执行的滤波处理获得的经校正图像的输入图像(LR图像)，输入到运动矢量检测单元(ME)501、加法器电路504以及掩蔽处理单元511。
接下来叙述图18中示出的高分辨率差值图像产生单元550的示例性操作。运动矢量检测单元(ME)501使用输入的SR图像和LR图像，基于SR图像检测运动矢量。然后，运动矢量检测单元(ME)501输出经检测的运动矢量(MV)到运动补偿处理单元502和逆运动补偿处理单元506。
运动补偿处理单元502基于从运动矢量检测单元501供给的运动矢量(MV)，针对SR图像执行运动补偿。然后，运动补偿处理单元502输出通过运动补偿获得的图像到下取样处理单元503。校正在通过运动补偿获得的SR图像中捕获的对象的位置，以便接近在输入图像(LR图像)捕获的对象的位置。
下取样处理单元503下取样从运动补偿处理单元502供给的运动补偿过的SR图像，以便使SR图像转换成具有与LR图像相同的分辨率的低分辨率图像。然后，下取样处理单元503输出经转换的图像到加法器电路504。用于从SR图像和输入图像(LR图像)中获得运动矢量并且转换使用获得的运动矢量运动补偿过的图像成为具有与LR图像的分辨率相同的分辨率的图像的操作，基于SR图像对应于所捕获的图像的模拟。
加法器电路504产生指示在输入图像(LR图像)与通过下取样SR图像获得的图像之间的差值的差值图像。然后，加法器电路504输出所产生的差值图像到上取样处理单元505。
上取样处理单元505上取样从加法器电路504供给的差值图像，以便产生具有与SR图像的分辨率相同的分辨率的图像。然后，上取样处理单元505输出所产生的图像到逆运动补偿处理单元506。
使用从运动矢量检测单元501供给的运动矢量(MV)，逆运动补偿处理单元506逆运动补偿经上取样以便具有与SR图像的分辨率相同的分辨率，并且从上取样处理单元505供给的高分辨率差值图像。然后，逆运动补偿处理单元506输出差值图像到反馈获取控制单元507。
反馈增益控制单元507从逆运动补偿处理单元506接收通过逆运动补偿从输入图像(LR图像)和SR图像之间的差值图像，以反馈值的形式上取样的图像所获得的图像。反馈增益控制单元507调节从逆运动补偿处理单元506供给并逆运动补偿的差值图像的增益。然后，反馈增益控制单元507输出经增益调节的图像到高通滤波器(HPF)508和低通滤波器(LPF)509。
例如，反馈增益控制单元507通过将从逆运动补偿处理单元506供给的反馈值指示的SR图像的图像信号的所有频率成分乘以某值，来调节增益。或者，反馈增益控制单元507可以通过给不同频率成分乘以不同值来调节增益。
另外，当增加增益并且将增益添加到SR图像时，反馈增益控制单元507可以减少可能对图像有负面影响的频率成分的信号的增益。为了确定信号是否对图像具有负面影响，可以使用包含在从逆运动补偿处理单元506供给的反馈值中的噪声量以及当检测运动矢量时获得的运动矢量的可靠性，例如SAD(绝对差值和)。此外，可以针对图像的全部或者仅仅图像的区域，执行增益调节处理。
时间方向噪声去除处理单元560的高通滤波器(HPF)508执行其中从反馈增益控制单元507的输出去除低频成分的HPF处理，并且执行使用加法器电路512、帧缓冲器510以及掩蔽处理单元511的IIR滤波(无限期脉冲响应滤波)。虽然已经参考使用加法器电路512、帧缓冲器510和掩蔽处理单元511的IIR滤波结构描述了本实施方式，但本发明不限于IIR滤波器。例如，可以使用在时间方向执行低通滤波以便在时间方向模糊(blur)图像的任何时间方向噪声去除滤波器(例如有限期脉冲响应(FIR)滤波器)。
掩蔽处理单元511接收SR图像和输入图像(LR图像)。然后，掩蔽处理单元511从SR图像和输入图像(LR图像)之间的差值数据中检测运动对象，并且执行掩蔽，以便停止在运动对象区域执行的时间方向上的噪声去除操作(IIR滤波器应用操作)。
将高通滤波器(HPF)508的输出和掩蔽处理单元511的输出，例如，以0.25:0.75的比例在加法器电路512中求和。输出结果到下一加法器电路513。注意到，在高通滤波器(HPF)508的输出和掩蔽处理单元511的输出之间的求和比例只是个示例。也可以使用其它任何比例。
加法器电路513将由针对低频成分被去除的差值图像执行时间方向噪声去除而获得的图像，以及从发自反馈增益控制单元507并且通过低通滤波器(LPF)509的图像中获得的、由低频成分形成的差值图像求和。求和所得图像进一步输出到加法器电路514。
加法器电路514将从加法器电路513输入的差值图像和在上次处理中产生的SR图像求和，以便产生新高分辨率图像(SR图像)并且输出SR图像。另外，这个SR图像存储在SR缓冲器，供超分辨率处理的下一轮使用。
上述处理由在根据本实施方式的图像处理设备中的超分辨率处理单元执行。在根据本实施方式的配置中，如在图8到17中所描述，输入到超分辨率处理单元的输入图像(LR图像)是由图像校正处理单元(预滤波器)校正的图像。通过执行使用经校正图像的超分辨率处理，可以产生高质量高分辨率图像。
也就是说，如果通过解压缩经质量调节(例如，经历对比度调节和孔径控制(边缘增强))和压缩的图像来执行超分辨率处理，则产生具有过度增强的高频率范围或增强的压缩噪声的图像，因此图像质量可能恶化。然而在根据本实施方式的配置中，图像校正处理单元(预滤波器)检测那些降低图像质量的图像特征，提前执行图像校正，并且输出经校正图像到超分辨率处理单元。随后，超分辨率处理单元执行超分辨率处理。因此，可以产生高质量高分辨率图像。
最后，将参考图19来描述作为执行上述处理的设备之一的个人计算机的示例性硬件配置。中央处理器(CPU)701根据存储在只读存储器(ROM)702或存储单元708中的程序执行各种处理。例如，CPU 701执行处理程序，例如在上述实施方式中描述的由图像校正处理单元(预滤波器)执行的图像校正处理的程序以及由超分辨率处理单元执行的超分辨率处理的程序。由CPU 701执行的程序和数据按需求存储在随机存取存储器(RAM)703。CPU701、ROM 702以及RAM 703经由BUS 704彼此相连。
CPU 701经由BUS 704连接到输入输出接口705。包括键盘、鼠标和麦克风的输入单元706以及包括显示器和扬声器的输出单元707均连接在输入输出接口705。响应从输入单元706输入的指示，CPU 701执行各种处理并且输出处理结果到，例如，输出单元707。
与输入输出接口705连接的存储单元708包括，例如，硬盘。存储单元708存储由CPU 701执行的程序和各种数据。通信单元709通过网络，例如互联网和局域网，与外部设备相联系。
与输入输出接口705相连的驱动器710驱动可移动媒介711，例如磁盘、光盘、磁光盘或者半导体存储器，以便获得存储在可移动媒介711中的程序和数据。获得的程序和数据按需要转移到存储单元708并且存储在存储单元708。
虽然已参照特殊实施方式细致地描述过本发明，但将被理解，本领域技术人员在不脱离本发明的范围或精神下可以做出对该实施方式的各种更改和替代。也就是说，以上公开不是限制性的，本发明的范围应该由权利要求及其合法等效物确定。
上述处理序列可以通过硬件、软件或者它们的结合实现。当上述处理序列通过软件实现时，在由专门硬件集成的计算机或可以执行各种处理的通用计算机的存储器中安装在那里所记录的处理顺序的程序，并且执行该程序。例如，在记录媒介中预先记录程序。在计算机中安装程序。或者，可通过网络(例如局域网(LAN)或互联网)接收程序，随后将该程序安装在记录媒介(例如内置硬盘)中。
另外，在本说明书中描述的多个处理不仅可以按上述顺序执行，而且可以根据设备的处理能力或按要求并行或独立地执行。此外，如在本说明书中使用的那样，术语“系统”指的是多个设备的逻辑组合；多个设备不一定包括在一个主体中。

Claims (13)

1、一种图像处理设备，包括:
图像校正处理单元，配置来校正输入图像，以便产生经校正图像；以及
超分辨率处理单元，配置为接收由图像校正处理单元产生的经校正图像并且通过超分辨率处理增加经校正图像的分辨率，以便产生高分辨率图像，
其中，该图像校正处理单元执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理以及孔径控制校正处理中至少之一。
2、根据权利要求1的图像处理设备，其中，该图像校正处理单元分析形成输入图像的像素的特征，以便获取分析信息，并且其中，该图像校正处理单元根据该分析信息确定将应用的图像校正处理的类型。
3、根据权利要求1的图像处理设备，其中，当分析形成输入图像的像素的特征时，图像校正处理单元分析时间方向校正信息、边缘信息和空间方向像素特征信息中至少之一，以便根据分析信息确定将应用的图像校正处理的类型。
4、根据权利要求3的图像处理设备，其中，该图像校正处理单元以在包含围绕将处理的像素的像素的像素区域中像素的最大像素值、最小像素值、方差值、平均值、具有高于或等于预定阈值的亮度的像素的数量，以及具有低于或等于预定阈值的亮度的像素的数量中至少之一的形式，获取空间方向像素特征信息。
5、根据权利要求1的图像处理设备，其中，该高分辨率处理单元基于从图像校正处理单元接收到的低分辨率图像(LR图像)以及为之前帧预产生的高分辨率图像(SR图像)产生相应于输入图像的高分辨率图像，其中，该超分辨率处理单元包括高分辨率差值图像产生单元，时间方向噪声去除单元，第一加法处理单元和第二加法处理单元，并且其中，该高分辨率差值图像产生单元基于使用高分辨率图像(SR图像)和低分辨率图像(LR图像)计算出的运动矢量，运动补偿高分辨率图像(SR图像)，产生经运动补偿的高分辨率图像(SR图像)和低分辨率图像(LR图像)之间的差值图像，并且通过针对差值图像执行上取样和逆运动补偿产生高分辨率差值图像，该时间方向噪声去除单元执行在时间方向上来自高分辨率差值图像的低频成分被去除的图像的噪声的去除，该第一加法处理单元将由时间方向噪声去除单元处理过的图像添加到高分辨率差值图像的低频成分图像，而第二加法处理单元将第一加法处理单元的输出添加到高分辨率图像(SR图像)，以便产生与接收到的低分辨率图像(LR图像)相应的高分辨率图像。
6、根据权利要求5的图像处理设备，其中，时间方向噪声去除单元使用无限期脉冲响应(IIR)滤波器执行滤波处理。
7、一种在用于产生高分辨率图像的图像处理设备中的图像处理方法，包括步骤:
校正输入图像，以便通过使用图像校正处理单元产生经校正图像；以及
接收经校正图像并通过超分辨率处理增加经校正图像的分辨率，以便通过使用超分辨率处理单元产生高分辨率图像，
其中，校正输入图像包括执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理以及孔径控制校正处理中至少之一。
8、根据权利要求7的图像处理方法，其中，在校正输入图像时，分析形成输入图像的像素特征，以便获取分析信息，并且根据分析信息确定将应用的图像校正处理的类型。
9、根据权利要求7的图像处理方法，其中，在校正输入图像时，当分析形成输入图像的像素的特征时，分析时间方向校正信息、边缘信息以及空间方向像素特征信号中至少之一，以便根据分析信息确定将应用的图像校正处理的类型。
10、根据权利要求9的图像处理方法，其中，在校正输入图像时，以在包含围绕将处理的像素的像素的像素区域中的像素的最大像素值、最小像素值、方差值、平均值、具有高于或等于预定阈值的亮度的像素的数量以及具有低于或等于预定阈值的亮度的像素的数量中至少之一的形式，获取空间方向像素特征信息。
11、根据权利要求7的图像处理方法，其中，在产生高分辨率图像时，基于从图像校正处理单元接收的低分辨率图像(LR图像)以及为之前帧预产生的高分辨率图像(SR图像)，产生相应于输入图像的高分辨率图像，其中，产生高分辨率图像包括产生高分辨率差值图像，去除时间方向噪声，执行第一加法以及执行第二加法，其中，在产生高分辨率差值图像时，基于使用高分辨率图像(SR图像)和低分辨率图像(LR图像)计算出的运动矢量运动补偿高分辨率图像(SR图像)，产生经运动补偿的高分辨率图像(SR图像)与低分辨率图像(LR图像)之间的差值图像，并且通过针对差值图像执行上取样和逆运动补偿产生高分辨率差值图像，其中，在去除时间方向噪声时，执行在时间方向上来自高分辨率差值图像的低频成分被去除的图像的噪声的去除，其中，在执行第一加法时，在去除时间方向噪声的步骤中处理过的图像被添加到高分辨率差值图像的低频成分图像，并且其中，在执行第二加法时，执行第一加法的步骤的输出被添加到高分辨率图像(SR图像)，以便产生相应于输入的低分辨率图像(LR图像)的高分辨率图像。
12、根据权利要求11的图像处理方法，其中，去除时间方向噪声包括使用无限期脉冲响应(IIR)滤波器执行滤波处理。
13、一种用于使图像处理设备产生高分辨率图像的计算机程序，包括用于执行以下步骤的程序代码:
校正输入图像，以便通过使用图像校正处理单元产生经校正图像；以及
接收经校正图像并通过超分辨率处理增加经校正图像的分辨率，以便通过使用超分辨率处理单元产生高分辨率图像；
其中，校正输入图像包括执行时间方向噪声去除处理、空间方向噪声去除处理、压缩噪声去除处理以及孔径控制校正处理中至少之一。
CNA2008102138006A 2007-09-07 2008-09-08 图像处理设备、图像处理方法和计算机程序 Pending CN101383898A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007232930A JP5076755B2 (ja) 2007-09-07 2007-09-07 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP232930/07 2007-09-07

Publications (1)

Publication Number Publication Date
CN101383898A true CN101383898A (zh) 2009-03-11

Family

ID=40463504

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008102138006A Pending CN101383898A (zh) 2007-09-07 2008-09-08 图像处理设备、图像处理方法和计算机程序

Country Status (3)

Country Link
US (1) US8369649B2 (zh)
JP (1) JP5076755B2 (zh)
CN (1) CN101383898A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551902B (zh) * 2009-05-15 2011-07-27 武汉大学 基于学习的压缩视频超分辨率的特征匹配方法
CN102243757A (zh) * 2010-05-10 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序
CN101674478B (zh) * 2009-10-19 2012-09-19 浙江大学 基于压缩域的视频超分辨率方法
CN101882434B (zh) * 2009-01-22 2013-03-27 索尼公司 图像处理器、图像处理方法和程序
CN103888706A (zh) * 2012-12-20 2014-06-25 索尼公司 图像处理装置、图像拾取装置和图像处理方法
CN104137143A (zh) * 2012-01-12 2014-11-05 汤姆逊许可公司 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN104254876A (zh) * 2012-05-01 2014-12-31 皇家飞利浦有限公司 用于从远程检测的特征信号中提取信息的设备和方法
CN104702965A (zh) * 2009-02-10 2015-06-10 晶像股份有限公司 块噪声检测和滤波
CN106851046A (zh) * 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
CN106898084A (zh) * 2017-03-21 2017-06-27 深圳怡化电脑股份有限公司 一种确定图像处理阈值的方法及装置
CN107578367A (zh) * 2017-04-25 2018-01-12 北京陌上花科技有限公司 一种风格化图像的生成方法及装置
CN109389563A (zh) * 2018-10-08 2019-02-26 天津工业大学 一种基于sCMOS相机的随机噪声自适应检测与校正方法
CN110248112A (zh) * 2019-07-12 2019-09-17 成都微光集电科技有限公司 一种图像传感器的曝光控制方法
CN110273320A (zh) * 2018-03-14 2019-09-24 金红叶纸业集团有限公司 造纸起皱系统及其起皱方法
CN110366034A (zh) * 2019-07-18 2019-10-22 浙江宇视科技有限公司 一种超分辨率图像处理方法及装置
CN112203098A (zh) * 2020-09-22 2021-01-08 广东启迪图卫科技股份有限公司 基于边缘特征融合和超分辨率的移动端图像压缩方法
CN113284133A (zh) * 2021-06-16 2021-08-20 北京瑞莱智慧科技有限公司 一种光伏电池片间距的确定方法、装置、设备及存储介质
CN113365107A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN116600104A (zh) * 2023-07-17 2023-08-15 微网优联科技(成都)有限公司 一种用于ipc网络摄像头的采相质量分析方法及系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
JP4631966B2 (ja) * 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4678061B2 (ja) * 2009-04-02 2011-04-27 株式会社ニコン 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
JP5448981B2 (ja) 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
WO2010122502A1 (en) * 2009-04-20 2010-10-28 Yeda Research And Development Co. Ltd. Super-resolution from a single signal
US8027112B2 (en) * 2009-10-30 2011-09-27 Hitachi Asia Ltd. Low frequency booster for RV/shock/friction disturbance rejection
US8654205B2 (en) * 2009-12-17 2014-02-18 Nikon Corporation Medium storing image processing program and imaging apparatus
JP5365878B2 (ja) * 2010-03-31 2013-12-11 株式会社Ｊｖｃケンウッド フィルタ装置、フィルタリング方法
US8750647B2 (en) 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
TWI479455B (zh) * 2011-05-24 2015-04-01 Altek Corp 全對焦影像之建立方法
US8923653B2 (en) * 2011-06-27 2014-12-30 Yutaka Yamamoto Super-resolution processing method and system
TWI459326B (zh) * 2011-09-05 2014-11-01 Chunghwa Picture Tubes Ltd 顯示面板的影像解析度提升裝置及方法
CN104137531B (zh) * 2012-03-02 2017-06-06 三菱电机株式会社 图像处理装置和方法
US9344671B2 (en) * 2012-07-17 2016-05-17 Ati Technologies Ulc System and method for artifact removal
JP6083162B2 (ja) * 2012-09-10 2017-02-22 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
CN103581507A (zh) * 2013-08-21 2014-02-12 成都云鹰科技有限公司 一种去噪算法中通过均方差来动态调整阈值的方法
US9691133B1 (en) * 2013-12-16 2017-06-27 Pixelworks, Inc. Noise reduction with multi-frame super resolution
US20150363913A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Adaptive filter demosaicizing for super resolution
US10290287B1 (en) * 2014-07-01 2019-05-14 Xilinx, Inc. Visualizing operation of a memory controller
JP6411816B2 (ja) * 2014-08-27 2018-10-24 Hoya株式会社 ノイズ低減装置
CN104202599B (zh) * 2014-09-23 2017-07-28 浙江工商大学 一种应用于hevc帧间编码的全零块检测方法
WO2016048108A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
WO2016084608A1 (ja) 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
JP6904684B2 (ja) * 2016-11-04 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6578454B2 (ja) * 2017-01-10 2019-09-18 富士フイルム株式会社 ノイズ処理装置及びノイズ処理方法
EP3585044A4 (en) * 2017-02-20 2020-01-15 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US11457239B2 (en) 2017-11-09 2022-09-27 Google Llc Block artefact reduction
KR102038141B1 (ko) * 2019-02-18 2019-11-26 아주대학교산학협력단 부동산 정보를 제공하는 방법, 이를 이용하는 서버 및 시스템
US11330153B2 (en) 2019-06-14 2022-05-10 Texas Instmments Incorporated Noise estimation using user-configurable information
US11567341B2 (en) 2019-09-03 2023-01-31 Raytheon Company System and method for correcting for atmospheric jitter and high energy laser broadband interference using fast steering mirrors
US11513191B2 (en) 2019-10-08 2022-11-29 Raytheon Company System and method for predictive compensation of uplink laser beam atmospheric jitter for high energy laser weapon systems
US11513227B2 (en) 2019-10-08 2022-11-29 Raytheon Company Atmospheric jitter correction and target tracking using single imaging sensor in high-energy laser systems
US11900562B2 (en) 2019-11-05 2024-02-13 Raytheon Company Super-resolution automatic target aimpoint recognition and tracking
TWI740326B (zh) * 2019-12-26 2021-09-21 宏碁股份有限公司 電腦系統及其影像補償方法
CN113808206B (zh) * 2021-09-14 2024-02-02 广东三水合肥工业大学研究院 一种基于视觉追踪机器人的排版系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JP4679710B2 (ja) * 2000-10-25 2011-04-27 富士フイルム株式会社 ノイズ抑制処理装置並びに記録媒体
US7248628B2 (en) * 2001-03-02 2007-07-24 Shaeffer Derek K Method and apparatus for a programmable filter
CN1290057C (zh) * 2001-11-01 2006-12-13 皇家飞利浦电子股份有限公司 改善的视频图像的空间分辨率
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
JP4151793B2 (ja) * 2004-11-15 2008-09-17 オリンパス株式会社 撮像装置および画像の高解像化方法
JP2006221220A (ja) * 2005-02-08 2006-08-24 Seiko Epson Corp 複数の低解像度画像を用いた高解像度画像の生成
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2007193508A (ja) * 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム
JP4901222B2 (ja) * 2006-01-19 2012-03-21 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像表示装置およびｘ線ｃｔ装置
BRPI0707346A2 (pt) * 2006-01-31 2011-05-03 Thomson Licensing métodos e aparelho para filtração espaço-temporal baseada em borda
US8064712B2 (en) * 2007-01-24 2011-11-22 Utc Fire & Security Americas Corporation, Inc. System and method for reconstructing restored facial images from video
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882434B (zh) * 2009-01-22 2013-03-27 索尼公司 图像处理器、图像处理方法和程序
CN104702965A (zh) * 2009-02-10 2015-06-10 晶像股份有限公司 块噪声检测和滤波
CN104702965B (zh) * 2009-02-10 2018-01-26 美国莱迪思半导体公司 块噪声检测和滤波
CN101551902B (zh) * 2009-05-15 2011-07-27 武汉大学 基于学习的压缩视频超分辨率的特征匹配方法
CN101674478B (zh) * 2009-10-19 2012-09-19 浙江大学 基于压缩域的视频超分辨率方法
CN102243757A (zh) * 2010-05-10 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序
CN104137143A (zh) * 2012-01-12 2014-11-05 汤姆逊许可公司 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN104254876A (zh) * 2012-05-01 2014-12-31 皇家飞利浦有限公司 用于从远程检测的特征信号中提取信息的设备和方法
CN104254876B (zh) * 2012-05-01 2017-06-13 皇家飞利浦有限公司 用于从远程检测的特征信号中提取信息的设备和方法
CN103888706A (zh) * 2012-12-20 2014-06-25 索尼公司 图像处理装置、图像拾取装置和图像处理方法
CN106851046A (zh) * 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及系统
CN106898084A (zh) * 2017-03-21 2017-06-27 深圳怡化电脑股份有限公司 一种确定图像处理阈值的方法及装置
CN106898084B (zh) * 2017-03-21 2019-12-06 深圳怡化电脑股份有限公司 一种确定图像处理阈值的方法及装置
CN107578367B (zh) * 2017-04-25 2020-10-02 北京陌上花科技有限公司 一种风格化图像的生成方法及装置
CN107578367A (zh) * 2017-04-25 2018-01-12 北京陌上花科技有限公司 一种风格化图像的生成方法及装置
CN110273320A (zh) * 2018-03-14 2019-09-24 金红叶纸业集团有限公司 造纸起皱系统及其起皱方法
CN109389563A (zh) * 2018-10-08 2019-02-26 天津工业大学 一种基于sCMOS相机的随机噪声自适应检测与校正方法
CN110248112A (zh) * 2019-07-12 2019-09-17 成都微光集电科技有限公司 一种图像传感器的曝光控制方法
CN110366034A (zh) * 2019-07-18 2019-10-22 浙江宇视科技有限公司 一种超分辨率图像处理方法及装置
CN113365107A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN113365107B (zh) * 2020-03-05 2024-05-10 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
CN112203098A (zh) * 2020-09-22 2021-01-08 广东启迪图卫科技股份有限公司 基于边缘特征融合和超分辨率的移动端图像压缩方法
CN112203098B (zh) * 2020-09-22 2021-06-01 广东启迪图卫科技股份有限公司 基于边缘特征融合和超分辨率的移动端图像压缩方法
CN113284133A (zh) * 2021-06-16 2021-08-20 北京瑞莱智慧科技有限公司 一种光伏电池片间距的确定方法、装置、设备及存储介质
CN113284133B (zh) * 2021-06-16 2022-04-12 北京瑞莱智慧科技有限公司 一种光伏电池片间距的确定方法、装置、设备及存储介质
CN116600104A (zh) * 2023-07-17 2023-08-15 微网优联科技(成都)有限公司 一种用于ipc网络摄像头的采相质量分析方法及系统
CN116600104B (zh) * 2023-07-17 2023-09-19 微网优联科技(成都)有限公司 一种用于ipc网络摄像头的采相质量分析方法及系统

Also Published As

Publication number Publication date
US8369649B2 (en) 2013-02-05
JP2009065535A (ja) 2009-03-26
US20090092337A1 (en) 2009-04-09
JP5076755B2 (ja) 2012-11-21

Similar Documents

Publication Publication Date Title
CN101383898A (zh) 图像处理设备、图像处理方法和计算机程序
JP5138933B2 (ja) 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、集積回路、およびプログラム
US10003768B2 (en) Apparatus and methods for frame interpolation based on spatial considerations
EP2327219B1 (en) Reducing digital image noise
US9342204B2 (en) Scene change detection and handling for preprocessing video with overlapped 3D transforms
CN101438575B (zh) 视觉处理装置、视觉处理方法以及显示装置
US9628674B2 (en) Staggered motion compensation for preprocessing video with overlapped 3D transforms
US20050281479A1 (en) Method of and apparatus for estimating noise of input image based on motion compensation, method of eliminating noise of input image and encoding video using the method for estimating noise of input image, and recording media having recorded thereon program for implementing those methods
US20070058716A1 (en) Bit-rate reduction for multimedia data streams
EP1574070A1 (en) A unified metric for digital video processing (umdvp)
JP2007116728A (ja) 圧縮された画像の画質の向上
US20070064792A1 (en) Content adaptive noise reduction filtering for image signals
WO2002089046A1 (en) Video enhancement using multiple frame techniques
You et al. Attention modeling for video quality assessment: Balancing global quality and local quality
US20030206591A1 (en) System for and method of sharpness enhancement for coded digital video
JP2011524714A (ja) スパース変換を使用する画像／ビデオ品質向上及び超解像
JP2010525750A (ja) Ｐｉｘｏｎ法を用いた画像圧縮及び解凍
CN104919806B (zh) 图像处理装置和方法
CN101552922B (zh) 信号处理设备和方法
US20120163479A1 (en) Methods and devices for filtering and coding a digital signal
JP5130171B2 (ja) 画像信号処理装置および画像信号処理方法
US20120133836A1 (en) Frame level quantization estimation
Yoo et al. Blind post-processing for ringing and mosquito artifact reduction in coded videos
Yu et al. A distortion-aware multi-task learning framework for fractional interpolation in video coding
JP2013500666A (ja) 信号フィルタリング方法及びフィルタ係数計算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090311