CN101192400A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN101192400A
CN101192400A CNA2007101954801A CN200710195480A CN101192400A CN 101192400 A CN101192400 A CN 101192400A CN A2007101954801 A CNA2007101954801 A CN A2007101954801A CN 200710195480 A CN200710195480 A CN 200710195480A CN 101192400 A CN101192400 A CN 101192400A
Authority
CN
China
Prior art keywords
image
resolution
processing
circuit
addition process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101954801A
Other languages
English (en)
Other versions
CN101192400B (zh
Inventor
名云武文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101192400A publication Critical patent/CN101192400A/zh
Application granted granted Critical
Publication of CN101192400B publication Critical patent/CN101192400B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像处理设备、图像处理方法和程序，其中，该图像处理设备包括多个加法装置和一个图像处理装置。加法装置执行将表示第一分辨率的输入图像与高于第一分辨率的第二分辨率的图像之间的差异的第二分辨率的差异图像的像素作为第二分辨率的输入图像的像素相加的加法处理。图像处理装置被配置为执行第二和以后的加法处理，并通过预定次数地执行加法处理来生成第二分辨率的图像作为处理结果。使用互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像的输入来执行加法处理。

Description

图像处理设备、图像处理方法和程序
相关申请的交叉参考
本申请要求于2006年11月30日向日本专利局提交的日本专利申请2006-324318的优先权，其全部内容结合于此作为参考。
技术领域
本发明涉及一种图像处理设备、图像处理方法和程序，更具体地，涉及一种达到用于生成高分辨率图像的高速处理的图像处理设备、图像处理方法和程序。
背景技术
作为一项用于由低分辨率图像生成高分辨率图像的技术，存在超分辨率。
超分辨率是一项从具有重叠部分的多个低分辨率图像中找到一帧高分辨率图像中的每个像素的像素值，从而重新生成分辨率超过成像元件(诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体))的分辨率的图像的技术。例如，当生成高分辨率的卫星相片等时使用超分辨率。
图1和2是示出了超分辨率的原理的示图。
在图1和2的上部所示的参考符号a、b、c、d、e、f表示将要从通过成像对象所获得的低分辨率图像(LR(低分辨率)图像)中得到的高分辨率图像(SR(超分辨率)图像)的像素值，即，当以与SR图像的分辨率相同的分辨率来像素化对象时的各个像素的像素值。
例如，在成像元件的一像素的宽度等于构成对象的两个像素的宽度，并且因此不能以其分辨率来拍摄对象的情况下，如图1所示，在成像元件的三个像素中的左像素中，拍摄通过混合像素值a和b获得的像素值A，在中心像素中，拍摄通过混合像素值c和d获得的像素值B，以及在右像素中，拍摄通过混合像素值e和f获得的像素值C。参考符号A、B、C表示构成了通过成像获得的LR图像的像素的像素值。
当如图2所示连同图1的对象一起拍摄(正当移动时拍摄)由于相机抖动相对于图1中的对象位置移动了构成该对象的像素的0.5像素的宽度的位置中的对象时，在成像元件的三个像素的左像素中，拍摄通过混合一半a、整个b和一半c的像素值获得的像素值D，以及在中心像素中，拍摄通过混合一半c、整个d和一半e的像素值获得的像素值E。此外，在右像素中，拍摄通过混合一半e和整个f获得的像素值F。参考符号D、E、F同样表示构成了通过成像获得的LR图像的像素的像素值。
由上述LR图像的成像结果给出以下公式(1)。通过从公式(1)中分别得出a、b、c、d、e和f，能够获得分辨率比成像元件的分辨率高的图像。
1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 1 1 1 / 2 1 1 / 2 0 0 0 0 0 1 / 2 1 1 / 2 0 0 0 0 0 1 / 2 1 a b c d e f = A B C D E F . . . ( 1 )
图3是示出了通过使用后方投影(back projection)的超分辨率处理来生成SR图像的现存图像处理设备1的配置实例的框图。
例如，在数码相机中设置图3的图像处理设备1，以执行对通过成像获得的静止图片的处理。
如图3所示，图像处理设备1包括超分辨率处理器110至112、求和电路12、加法电路13和SR图像缓冲器14。
将LR0(通过成像获得的LR图像)输入至超分辨率处理器110，以及将LR1输入超分辨率处理器111。将LR2输入超分辨率处理器112。LR0至LR2是通过连续成像获得的图像，并且在其成像范围内分别具有重叠部分。通常，当连续执行成像时，在成像结果的图像上所拍摄的对象的范围会由于相机抖动等而彼此稍微偏离，因而，对象的范围并不会完全彼此重合，从而导致部分重叠。
基于LR0和存储在SR图像缓冲器14中的SR图像，超分辨率处理器110生成表示LR0和SR图像之间的差异的差异图像，然后将反馈值输出至求和电路12。反馈值为表示分辨率与SR图像的分辨率相同的差异图像的值。
在SR图像缓冲器14中，存储通过先前刚刚执行的超分辨率处理生成的SR图像。例如，如果处理刚开始，并且因此尚未生成任一帧的SR图像，则将通过将LR0上行取样至分辨率与SR图像的分辨率相同的图像而获得的图像存储在SR图像缓冲器14中。
同样，基于LR1和存储在SR图像缓冲器14中的SR图像，超分辨率处理器111生成表示LR1和SR图像之间的差异的差异图像，并将表示所生成的差异图像的反馈值输出至求和电路12。
基于LR2和存储在SR图像缓冲器14中的SR图像，超分辨率处理器112生成表示LR2和SR图像之间的差异的差异图像，并将表示所生成的差异图像的反馈值输出至求和电路12。
求和电路12求出从超分辨率处理器110至112提供的反馈值的平均，并且将与分辨率SR图像的分辨率相同的图像(已通过求平均获得)输出至加法电路13。
加法电路13将存储在SR图像缓冲器14中的SR图像与从求和电路12提供的SR图像相加，并且输出通过加法获得的SR图像。由于超分辨率处理，在图像处理设备1的外部提供加法电路13的输出，同时，将该输出提供给将要进行存储的SR图像缓冲器14。
图4是示出了超分辨率处理器11n(超分辨率处理器110、111或112)的配置实例的框图。
如图4所示，超分辨率处理器11n包括运动向量检测电路21、运动补偿电路22、下行取样滤波器23、加法电路24、上行取样滤波器25、和反向运动补偿电路26。
将从SR图像缓冲器14中读取的SR图像输入至运动向量检测电路21和运动补偿电路22，并且将通过成像获得的LRn输入至运动向量检测电路21和加法电路24。
基于输入的SR图像和LRn，运动向量检测电路21使用SR图像作为参考来检测运动向量，然后将检测到的运动向量输出至运动补偿电路22和反向运动补偿电路26。
基于从运动向量检测电路21提供的运动向量，运动补偿电路22将运动补偿应用于SR图像，然后将通过应用运动补偿获得的图像输出至下行取样滤波器23。在通过应用运动补偿而获得图像上所拍摄的对象的位置更接近于在LRn上拍摄的对象的位置。
下行取样滤波器23通过下行取样从运动补偿电路22提供的图像来生成分辨率与LRn的分辨率相同的图像，然后将所生成的图像输出至加法电路24。从SR图像和LRn得到运动向量，并将使用所得到的运动向量通过运动补偿所获得的图像转换为分辨率与LR图像的分辨率相同的图像对应于基于存储在SR图像缓冲器14中的SR图像模拟通过成像获得的图像。
加法电路24生成表示LRn与以此方式模拟的图像之间的差异的差异图像，然后将所生成的差异图像输出至上行取样滤波器25。
上行取样滤波器25通过下行取样从加法电路24提供的差异图像来生成分辨率与SR图像的分辨率相同的图像，然后将所生成的图像输出至反向运动补偿电路26。
基于从运动向量检测电路21提供的运动向量，反向运动补偿电路26将反向的运动补偿应用于从上行取样滤波器25提供的图像，然后将表示通过应用反向的运动补偿获得的图像的反馈值输出至求和电路12。在通过反向的运动补偿获得的图像上拍摄的对象的位置更接近于存储在SR图像缓冲器14中的SR图像上所拍摄的对象的位置。
已逐步开始使用图像处理来尝试和解决已知问题(例如，参见，在以色列的91904耶路撒冷，由耶路撒冷希伯来大学的计算机科学系MICHAL IRANI AND SHMUEL PELEG于1989年6月16日接收的、1990年5月25日接受的、Rama Chellapa传授的“ImprovingResolution by Image Registration”)。
发明内容
通常多次重复通过后方投影执行的超分辨率处理来获得具有足够分辨率的一个帧的SR图像。例如，如果通过图3的图像处理设备1生成并从加法电路13输出的SR图像并不具有足够的分辨率，则将SR图像存储在SR图像缓冲器14中，然后，将SR图像重新用作超分辨率处理器110至112的输入来重复超分辨率处理。
鉴于此，获得具有充分分辨率的SR图像会很费时。
因此，需要提供一种实现用于生成高分辨率图像的高速处理的改良技术。
根据本发明的一个方面，提供了一种图像处理设备，其包括：加法装置，用于执行将表示第一分辨率的输入图像与高于第一分辨率的第二分辨率的图像之间的差异的第二分辨率的差异图像的像素作为第二分辨率的输入图像的像素相加的加法处理；以及包括多个上述加法装置的图像处理装置。图像处理装置被配置为执行第二和以后的加法处理，并通过预定次数地执行加法处理来生成第二分辨率的图像作为处理结果，使用互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像的输入来执行加法处理。
上述图像处理设备还可以包括：控制装置，用于基于通过加法处理获得的第二分辨率的图像来控制是否使用通过加法处理获得的第二分辨率的图像的输入来执行下一加法处理。
上述图像处理设备还可以包括：调节装置，用于执行表示差异图像的信号增益的调节。
上述图像处理设备还可以包括：调节装置，用于执行表示作为用于获得差异图像的图像而输入的第二分辨率的图像的信号增益的调节、和表示所得到的差异图像的信号增益的调节中的至少任一个调节。
上述图像处理设备还可以包括：生成装置，用于生成作为第一加法处理的输入的第二分辨率的原始图像。当图像处理装置使用第n帧的第一分辨率的拾取图像生成第二分辨率的图像作为第n帧的处理结果时，生成装置可以生成一个图像来作为原始图像，在该图像中，通过构成由上行取样第n帧的第一分辨率的图像而获得的图像的像素取代构成第(n-1)帧的处理结果的第二分辨率的图像的一部分像素。
上述生成设备还可以包括：上行取样处理装置，用于上行取样通过成像获得的第n帧的第一分辨率的图像；校正装置，用于使用基于作为第(n-1)帧的处理结果的第二分辨率的图像和由上行取样处理装置的上行取样而获得的图像检测到的运动向量，将运动补偿应用于作为第(n-1)帧的处理结果的第二分辨率的图像；以及图像生成装置，用于通过使用在对应位置区域中通过上行取样处理装置的上行取样而获得的图像的像素，取代在校正装置通过应用运动补偿而获得的图像中显示对象的区域中的像素，生成原始图像，其中，通过运动补偿来移动对象的位置。
本发明的一个方面的图像处理方法或程序包括以下步骤：使用互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像的输入来执行第二和以后的加法处理；以及通过预定次数地执行加法处理来生成第二分辨率的图像作为处理结果。
在本发明的一个方面中，使用互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像的输入来执行加法处理，以及通过预定次数地执行加法处理来生成第二分辨率的图像作为处理结果。
根据本发明的一个方面，实现了用于生成高分辨率图像的高速处理。
在以下具体实施方式中，将参考附图详细买偶数本发明的这些和其他特性和方面。
附图说明
图1是示出了超分辨率的原理的示图。
图2是示出了超分辨率的原理的另一个示图。
图3是示出了传统图像处理设备的配置实例的框图。
图4是示出了超分辨率处理器的配置实例的框图。
图5是示出了根据本发明的一个实施例的成像设备的示图。
图6是示出了超分辨率处理的一个实例的示图。
图7是示出了成像设备的配置实例的框图。
图8是示出了图像处理单元的配置实例的框图。
图9是示出了超分辨率处理器的配置实例的框图。
图10是用于阐述成像设备的超分辨率处理的流程图。
图11是用于阐述图10的步骤S2中所执行的反馈值算术处理的流程图。
图12是示出了图像处理单元的另一个配置实例的框图。
图13是用于阐述成像设备的另一个超分辨率处理的流程图。
图14是示出了超分辨率处理器的另一个配置实例的框图。
图15A～图15D是示出了增益调节的特性的实例的曲线图。
图16是用于阐述另一个反馈值算术处理的流程图。
图17是示出了超分辨率处理器的又一个配置实例的框图。
图18是示出了超分辨率处理器的另一个配置实例的框图。
图19是示出了GUI的实例的示图。
图20A～图20D是示出了滤波器特性的实例的曲线图。
图21是用于阐述又一个反馈值算术处理的流程图。
图22是示出了超分辨率处理器的另一个配置实例的框图。
图23是示出了运动图片的成像概念的示图。
图24是示出了运动图片的传统成像概念的示图。
图25是示出了图像处理单元的又一个配置实例的框图。
图26是示出了原始图像生成电路的配置实例的框图。
图27A～图27C是示出了原始图像的生成实例的示图。
图28是示出了当成像运动图片时应用处理电路的配置实例的框图。
图29A～图29C是示出了屏蔽图像的生成实例的示图。
图30是用于阐述成像运动图片时的超分辨率处理的流程图。
图31是用于阐述在图30的步骤S101中所执行的原始图像生成处理的流程图。
图32是用于阐述在图30的步骤S103中所执行的运动图片应用处理的流程图。
图33是示出了运动图片应用处理电路的另一个配置实例的框图。
图34A～图34C是示出了屏蔽图像的另一个生成实例的示图。
图35是用于阐述另一个运动图片应用处理的流程图。
图36是示出了图像处理单元的又一个配置实例的框图。
图37是示出了超分辨率处理的实例的示图。
图38是示出了超分辨率处理的另一个实例的示图。
图39是示出了图像处理单元的另一个配置实例的框图。
图40是示出了超分辨率处理的又一个实例的图。
图41是示出了个人计算机的配置实例的框图。
具体实施方式
将在下文中说明本发明的实施例。如下描述本发明的元素和在说明书或附图中描述或示出的实施例之间的对应关系。该描述旨在确认在说明书或附图中描述或示出了支持本发明的实施例。因此，即使存在在说明书或附图中进行描述或示出但在这里没有描述为对应于本发明元件的实施例的实施例，也不一定表示该实施例不对应于该元件。相反，即使该实施例在这里被描述为对应于本发明元件的实施例，也并不表示该实施例不对应于除该元件之外的元件。
本发明的一个实施例的图像处理设备(例如，图5的成像设备31)包括：图像处理装置(例如，图7的图像处理单元42)。图像处理装置包括多个加法装置(例如，图8中的加法电路520)。加法装置执行将表示第一分辨率的输入图像与高于第一分辨率的第二分辨率的图像之间的差异的第二分辨率的差异图像的像素作为第二分辨率的输入图像的像素相加的加法处理。图像处理装置被配置为执行第二和以后的加法处理，并生成互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像。
图像处理设备还可以设置有控制装置(例如，图12中的环路控制电路710)，用于基于通过加法处理获得的第二分辨率的图像来控制是否使用通过加法处理获得的第二分辨率的图像的输入来执行下一加法处理。
此外，可以设置用于执行表示差异图像的信号增益的调节的调节装置(例如，图14的反馈增益控制电路81)。
同样，也可以设置用于执行表示作为用于获得差异图像的图像而输入的第二分辨率的图像的信号增益的调节、和表示所得到的差异图像的信号增益的调节中的至少任一个调节的调节装置(例如，图18的喜好控制电路101)。
还可以设置生成装置(例如，图25的原始图像生成电路206)，用于生成作为第一加法处理的输入的第二分辨率的原始图像。
生成装置可以设置有：上行取样处理装置(例如，图26的上行取样处理单元221)，用于上行取样通过成像获得的第n帧的第一分辨率的图像；校正装置(例如，图26的运动校正单元222)，用于使用基于作为第(n-1)帧的处理结果的第二分辨率的图像和使用上行取样处理装置的上行取样而获得的图像检测到的运动向量来，将运动补偿应用于作为第(n-1)帧的处理结果的第二分辨率的图像；以及图像生成装置(例如，图26的图像生成单元223)，用于通过使用在对应放置的区域中的通过上行取样处理装置的上行取样而获得的图像的像素，取代在校正装置通过应用运动补偿而获得的图像中显示一个对象的区域中的像素，来生成原始图像，其中，通过运动补偿来移动对象的位置。
下文中将参考附图来描述本发明的实施例。
图5是示出了根据本发明的一个实施例的成像设备31的示图。
成像设备31(数码相机)根据用户操作来拍摄静止图片并以预定帧频(frame rate)来拍摄运动图片。此外，成像设备31还使用通过上述成像功能获得的LR图像通过超分辨率处理来获得高分辨率的SR图像。
图6是示出了超分辨率处理的实例的示图。
在图6的实例中，基于LR0至LR2来执行图像的再现(reconstruction)，LR0至LR2是通过成像生成一个帧的SR图像的而获得的LR图像。LR0至LR2是连续获得的LR图像，并因此在成像范围内有重叠。为了便于描述，在图6中给出了以使LR0至LR2重叠的方式示出的垂直线和水平线。
如图6所示，当生成SR图像时，除LR图像外，成像设备31还使用SR图像来执行超分辨率处理。
图7是示出了成像设备31的配置实例的框图。
如图7所示，成像设备31由成像单元41、图像处理单元42和记录单元43组成。
成像单元41执行静止图片或运动图片的成像，并将通过成像获得的LR图像输出至图像处理单元42。
图像处理单元42基于从成像单元41提供的LR图像来执行超分辨率处理，并将通过超分辨率处理获得的SR图像输出至记录单元43。根据记录单元43的控制来重复图像处理单元42执行的超分辨率处理，直至生成具有对象分辨率的SR图像。
当从图像处理单元42提供的SR图像具有足够分辨率时，记录单元43将SR图像记录到诸如闪存的预定记录介质中，并控制图像处理单元42停止重复超分辨率处理。记录在记录介质上的SR图像的分辨率要高于设置在成像单元41中的成像元件的分辨率。
图8是图7的图像处理单元42的配置实例的框图。
图8所示的图像处理单元42的配置经过准备(例如)作为一种用于实现成像静止图片功能的配置，且该配置由超分辨率处理器510至512、加法电路520至522、开关53、原始图像生成电路54和SR图像缓冲器55构成。
在图8的实例中，将超分辨率处理器510得到的反馈值与存储在SR图像缓冲器55中的SR图像相加，并将通过第一加法处理获得的SR图像与通过下一超分辨率处理器511得到的反馈值相加，另外，将通过第二加法处理获得的SR图像与通过下一超分辨率处理器512得到的反馈值相加。以此方式，使用高斯-赛德尔方法通过超分辨率处理生成SR图像。
虽然在图3的配置中，在求和电路12中求基于LR图像和SR图像得到的多个反馈值的平均，然后随后将该平均与SR图像相加，但是如图8所示，通过下一超分辨率处理器得到的反馈值直接与通过基于LR图像和SR图像得到的反馈值表示的SR图像相加，藉此增加反馈的数目，从而减少了获得具有足够分辨率的SR图像所需的时间(聚合所需的时间)。即，使得用于获得SR图像的处理更快。
下文中，根据需要，将使用输入的LR图像和SR图像得到反馈值的处理(通过超分辨率处理器510至512执行)称为反馈值算术处理，以及将用于通过将由反馈值表示的图像与SR图像相加来生成一个帧的SR图像的处理称为加法处理。通过重复反馈值算术处理和加法处理来实现超分辨率处理。
将LR0(通过成像单元41获得的LR图像)输入超分辨率处理器510，以及将LR1输入超分辨率处理器511。此外，将LR2输入超分辨率处理器512。LR0至LR2为连续获得的LR图像，并在成像范围内分别具有重叠。
超分辨率处理器510基于LR0和存储在SR图像缓冲器55中的SR图像来执行反馈值算术处理，并将表示分辨率与SR图像的分辨率相同的图像的反馈值输出至加法电路520。
加法电路520将存储在SR图像缓冲器55中的SR图像与由从超分辨率处理器510提供的反馈值表示的SR图像相加(添加包括在由反馈值表示的SR图像中的像素的像素值，作为存储在SR图像缓冲器55中的SR图像中缺少的像素的像素值)，并输出通过加法获得的一个帧的SR图像，作为第一加法处理的结果。将从加法电路520输出的SR图像输入至超分辨率处理器511和加法电路521。
超分辨率处理器511基于LR1和从加法电路520提供的SR图像来执行反馈值算术处理，且将反馈值输出至加法电路521。
加法电路521将从加法电路520提供的SR图像与由从超分辨率处理器511提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第二加法处理的结果。将从加法电路521输出的SR图像输入至超分辨率处理器512和加法电路522。
超分辨率处理器512基于LR2和从加法电路521提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路522。
加法电路522将从加法电路521提供的SR图像与由从超分辨率处理器512提供的反馈值表示的SR图像相加，并输出通过加法获得的SR图像，作为第三加法处理的结果，即，超分辨率处理的结果。将从加法电路522输出的SR图像通过开关53输入至将要被存储的SR图像缓冲器55。
当通过原始图像生成电路54生成原始图像时，开关53连接至终端a，以使原始图像能够被存储在SR图像缓冲器55中。此外，当从加法电路522提供作为超分辨率处理结果而获得的SR图像时，开关53连接至终端b，以使SR图像能够被存储在SR图像缓冲器55中。
例如，当开始通过超分辨率处理生成一个帧的SR图像时，原始图像生成电路54上行取样LR0至分辨率与SR图像的分辨率相同的图像，从而生成原始图像，并使所生成的原始图像通过与终端a连接的开关53存储在SR图像缓冲器55中。
SR图像缓冲器55存储由原始图像生成电路54生成的原始图像或从加法电路522提供的SR图像。
图9是示出了超分辨率处理器51n(超分辨率处理器510、511或512)的配置实例的框图。
如图9所示，超分辨率处理器51n具有类似于图4所示的配置，并由运动向量检测电路61、运动补偿电路62、下行取样滤波器63、加法电路64、上行取样滤波器65、和反向运动补偿电路66构成。
经过提供用作反馈值的算术的SR图像被输入至运动向量检测电路61和运动补偿电路62，并且通过成像获得的LRn被输入至运动向量检测电路61和加法电路64。存储在SR图像缓冲器55中的SR图像被输入至超分辨率处理器511的动向量检测电路61和运动补偿电路62，并且从设置在前一级中的加法电路520、521中的每个输出的SR图像被输入至超分辨率处理器511或超分辨率处理器512的运动向量检测电路61和运动补偿电路62。
基于输入的SR图像和LRn，运动向量检测电路61使用用作参考的SR图像来检测运动向量，并将检测到的运动向量输出至运动补偿电路62和反向运动补偿电路66。
基于从运动向量检测电路61提供的运动向量，运动补偿电路62对SR图像应用运动补偿，并将通过应用运动补偿获得的图像输出至下行取样滤波器63。在通过应用运动补偿获得的图像上所获得的对象的位置变得更接近于在LRn上所获得的对象的位置。
下行取样滤波器63通过下行取样从运动补偿电路62提供的图像来生成分辨率与LRn的分辨率相同的图像，并将所生成的图像输出至加法电路64。根据SR图像和LRn得到运动向量，并使用所得到的运动向量通过运动补偿获得的图像转换为分辨率与LR图像的分辨率相同的图像对应于基于基于SR图像来模拟通过成像获得的图像。
加法电路64生成表示LRn与以此方式模拟的图像之间的差异的差异图像，并将生成的差异图像输出至上行取样滤波器65。
上行取样滤波器65通过上行取样从加法电路64提供的差异图像来生成分辨率与SR图像的分辨率相同的图像，并将所生成的图像输出至反向运动补偿电路66。
基于从运动向量检测电路61提供的运动向量，反向运动补偿电路66向从上行取样滤波器65提供的图像反向应用运动补偿，并将表示通过反向应用运动补偿获得的图像的反馈值输出至加法电路52n。在通过反向运动补偿获得的图像上获得的对象的位置变得更接近于在SR图像上获得的对象的位置。
下文中，参考图10的流程图来描述通过具有图8中的配置的图像处理单元42执行的超分辨率处理。
当通过成像单元41成像静止图片时，开始此处理，并分别将LR0输入至超分辨率处理器510、将LR1输入至超分辨率处理器511、以及将LR2输入至超分辨率处理器512。
在步骤S1中，例如，原始图像生成电路54通过上行取样LR0至分辨率与SR图像的分辨率相同的图像来生成原始图像，并使所生成的原始图像通过开关53存储在SR图像缓冲器55中。通过成像单元41获得的LR0还被输入至原始图像生成电路54。
在步骤S2中，超分辨率处理器510基于LR0和存储在SR图像缓冲器55中的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路520。稍后将参考图11的流程图来描述反馈值算术处理。
在步骤S3中，加法电路520将存储在SR图像缓冲器55中的SR图像与由通过在步骤S2中执行反馈值算术处理得到并从超分辨率处理器510提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第一加法处理的结果。
在步骤S4中，超分辨率处理器511基于LR1和从加法电路520提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路521。
在步骤S5中，加法电路521将从加法电路520提供的SR图像与由通过在步骤S4中执行反馈值算术处理得到并从超分辨率处理器511提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第二加法处理的结果。
在步骤S6中，超分辨率处理器512基于LR2和从加法电路521提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路522。
在步骤S7中，加法电路522将从加法电路521提供的SR图像与由通过在步骤S6中执行反馈值算术处理得到并从超分辨率处理器512提供的反馈值表示的SR图像相加。
在步骤S8中，加法电路522将通过将从加法电路521提供的SR图像与由从超分辨率处理器512提供的反馈值表示的SR图像相加获得的SR图像输出至记录单元43，作为超分辨率处理的结果，并同时使该结果被存储在SR图像缓冲器55中。
此后，记录单元43确定从加法电路522输出的SR图像是否具有足够的分辨率，并且如果确定SR图像不具有足够的分辨率，那么处理返回至步骤S2来重复上述处理。在重复的超分辨率处理的第一反馈值算术和加法处理中，使用在步骤S8的处理中存储在SR图像缓冲器55中的SR图像。
另一方面，如果确定从加法电路522输出的SR图像具有足够的分辨率，则停止超分辨率处理的重复，并记录具有足够分辨率的图像。
接下来参考图11的流程图描述在步骤S2、S4、S5中执行的反馈值算术处理。
在步骤S11中，运动向量检测电路61基于输入的SR图像和LRn使用SR图像作为参考来检测运动向量，并将检测到的运动向量输出至运动补偿电路62和反向运动补偿电路66。
在步骤S12中，运动补偿电路62基于从运动向量检测电路61提供的运动向量来对SR图像应用运动补偿，并将通过应用运动补偿获得的图像输出至下行取样滤波器63。
在步骤S13中，下行取样滤波器63通过下行取样从运动补偿电路62提供的图像来生成分辨率与LRn的分辨率相同的图像，并将所生成的图像输出至加法电路64。
在步骤S14中，加法电路64生成表示在输入的LRn与从下行取样滤波器63提供的图像之间的差异的差异图像，并将所生成的差异图像输出至上行取样滤波器65。
在步骤S15中，上行取样滤波器65通过上行取样从加法电路64提供的差异图像来生成分辨率与SR图像的分辨率相同的图像，并将所生成的图像输出至反向运动补偿电路66。
在步骤S16中，基于从运动向量检测电路61提供的运动向量，反向运动补偿电路66对从上行取样滤波器65提供的图像反向应用运动补偿，并将表示通过反向应用运动补偿获得的图像的反馈值输出至加法电路52n。然后，处理返回至图10的步骤S2、S4或S6，并且重复相关处理和后续处理。
图12是示出了图像处理单元42的另一个配置实例的框图。用相同的参考数字给出与图8中相同的组件。适当省略重复的描述。
图12中的图像处理单元42的配置与图8中的配置的不同之处在于，还设置有环路控制电路710和711、以及开关720和721，并根据通过环路控制电路710转变开关720和通过环路控制电路711转变开关721，控制是否将加法处理的结果输出至记录单元43、或将其用于下一加法处理。
更特别，图12的图像处理单元42根据通过环路控制电路710转变开关720来控制是否将从加法电路520输出的第一加法处理的结果用于第二加法处理、或将其原样输出至记录单元43。图像处理单元42还根据通过环路控制电路711转变开关721来控制是否将从加法电路521输出的第二加法处理的结果用于第三加法处理或将其原样输出至记录单元43。
例如，仅当尚未获得足够分辨率的SR图像作为第一加法处理的结果时，执行第二或后续的反馈值算术处理和加法处理，且仅当尚未获得足够分辨率的SR图像作为从加法电路521输出的第二加法处理的结果时，执行第三反馈值算术处理和加法处理。以此方式，每次完成使用LR0至LR2中的每个进行处理时，检查SR图像的分辨率，并且如果尚未获得足够的分辨率，则执行下一反馈值算术处理和加法处理，以及相反，如果已获得足够的分辨率，则终止处理。因而，在某些情况下，可在少量重复之后终止反馈值操作处理和加法处理，这可以使超分辨率处理更快。
超分辨率处理器510基于LR0和存储在SR图像缓冲器55中的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路520。
加法电路520将存储在SR图像缓冲器55中的SR图像与由从超分辨率处理器510提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第一加法处理的结果。将从加法电路520输出的SR图像提供给环路控制电路710和开关720。
环路控制电路710检查从加法电路520提供的SR图像的分辨率(图像质量)，并且如果已获得足够的分辨率，则将开关720连接至终端a，从而使SR图像能够作为第一加法处理的结果输出至记录单元43。此外，如果尚未获得足够的分辨率，则环路控制电路710将开关720连接至终端b，从而使SR图像能够作为第一加法处理的结果输出至超分辨率处理器511和加法电路521。
例如，对环路控制电路710提供用于检查SR图像的分辨率的参考SR图像，以基于相对于参考SR图像的差异、最小平方、协方差等来确定作为加法处理的结果的SR图像的输出目的地。例如，如果与参考SR图像的差异小于设为阈值的差异，则将作为加法处理的结果的SR图像输出至记录单元43。例如，参考SR图像可以是记录在SR图像缓冲器55中的SR图像，或可根据需要选择从加法电路520至522中的任一个输出的SR图像。
超分辨率处理器511基于LR1和从加法电路520提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路521。
加法电路521将从加法电路520通过开关720提供的SR图像与由从超分辨率处理器511提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第二加法处理的结果。从加法电路521输出的SR图像提供给环路控制电路711和开关721。
环路控制电路711检查从加法电路521提供的SR图像的分辨率，且如果已获得足够的分辨率，则将开关721连接至终端a，以使SR图像作为第二加法处理的结果输出至记录单元43。此外，如果尚未获得足够的分辨率，则环路控制电路711将开关721连接至终端b，以使SR图像作为第二加法处理的结果输出至超分辨率处理器512和加法电路522。
用于检查SR图像的分辨率的参考SR图像还被施加至环路控制电路711。
超分辨率处理器512基于LR2和从加法电路521通过开关721提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路522。
加法电路522将从加法电路521通过开关721提供的SR图像与由从超分辨率处理器512提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为超分辨率处理的结果。从加法电路522输出的SR图像被提供给记录单元43，并同时通过开关53提供给将进行存储的SR图像缓冲器55。
图12的超分辨率处理器510至512均具有与图9所示配置相同的配置。
此处，参考图13的流程图，描述通过具有图12的配置的图像处理单元42执行的超分辨率处理。
同样，当通过成像单元41成像静止图片时，开始这个处理，并分别将LR0输入至超分辨率处理器510、将LR1输入至超分辨率处理器511、以及将LR2输入至超分辨率处理器512。
在步骤S21中，原始图像生成电路54通过上行取样LR0等来生成原始图像，并使所生成的原始图像通过开关53存储在SR图像缓冲器55中。
在步骤S22中，超分辨率处理器510基于LR0和存储在SR图像缓冲器55中的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路520。此处，执行与参考图11所述的处理相同的处理。
在步骤S23中，加法电路520将由在步骤S22中执行的反馈值算术处理得到并从超分辨率处理器510提供的反馈值表示的SR图像与存储在SR图像缓冲器55中的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第一加法处理的结果。
在步骤S24中，环路控制电路710检查从加法电路520提供的SR图像的图像质量。
在步骤S25中，环路控制电路710基于SR图像的图像质量的检查结果来确定是否重复反馈值算术处理等。
如果在步骤S25中确定重复反馈值算术处理，那么在步骤S26中，超分辨率处理器511基于LR1和从加法电路520通过开关720提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路521。
在步骤S27中，加法电路521将由在步骤S26中执行的反馈值算术处理得到并由从超分辨率处理器511提供的反馈值表示的SR图像与从加法电路520提供的SR图像相加，并输出通过加法获得的一个帧的SR图像，作为第二加法处理的结果。
在步骤S28中，环路控制电路711检查从加法电路521提供的SR图像的图像质量。
在步骤S29中，环路控制电路711基于SR图像的图像质量的检查结果来确定是否重复反馈值算术处理等。
如果在步骤S29中确定重复反馈值算术处理，则在步骤S30中，超分辨率处理器512基于LR2和从加法电路521通过开关721提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路522。
在步骤S31中，加法电路522将由在步骤S30中执行的反馈值算术处理得到并由从超分辨率处理器512提供的反馈值表示的SR图像与从加法电路521提供的SR图像相加。
在步骤S32中，加法电路522将从加法电路521提供的SR图像与由从超分辨率处理器512提供的反馈值表示的SR图像相加，将将所获得的一个帧的SR图像作为超分辨率处理的结果输出至记录单元43，同时，使该结果被存储在SR图像缓冲器55中。然后，处理返回至步骤S22以重复上述处理。
另一方面，在步骤S25、S29中，如果确定不重复反馈值算术处理等，则将确定具有足够质量的SR图像输出至记录单元43，且完成处理。
图14是示出了超分辨率处理器51n的另一个配置实例的框图。相同的参考数字给出与图9相同的组件。适当省略重复描述。
图14的超分辨率处理器51n的配置与图9配置的不同之处在于，在反向运动补偿电路66的后一级中还设置了反馈增益控制电路81。
反馈增益控制电路81调节从反向运动补偿电路66提供的反馈值的增益，并将通过调节增益获得的反馈值输出至加法电路52n。提供通过对通过取样LRn与SR图像之间的差异图像获得的图像反向应用运动补偿获得的图像，作为来自反向运动补偿电路66的反馈值。
例如，反馈增益控制电路81通过使由从反向运动补偿电路66提供的反馈值表示的SR图像的图像信号的总频率分量乘以任意值来调节增益，或通过使每个频率分量乘以不同值来调节增益。
此外，反馈增益控制电路81降低频率分量的信号的增益，有可能会对当对SR图像应用增加的增益时的图像质量产生不利影响。例如，基于包含在从反向运动补偿电路66提供的反馈值中的噪音量、或运动向量检测时得到的SAD(绝对差异的和)的运动向量的可靠性等，确定频率分量是否会对图像质量产生不利影响。可以对整个图像应用、或按区域来应用调节增益的处理。
图15A～图15D是示出了通过反馈增益控制电路81实现的增益调节的特征的实例的曲线图。
水平轴表示频率，以及垂直轴表示增益，以及图15A所示的特性为低频率分量的增益的降低和高频率分量的增益的增加。图15B所示的特性为低频率分量的增益的增加和高频率分量的增益的减少。图15C所示的特性为中间附近的频率分量的增益的增加、以及和除此之外的频率分量的增益的降低。图15D所示的特性为所有频率分量的降低。
此处，参考图16的流程图来描述由具有图14配置的超分辨率处理器51n执行的反馈值算术处理。同样在图10的步骤S2、S4、S6中执行此处理。
除了增加了用于调节增益的处理外，图16所示的处理与参考图11所述的处理相同。更特别，在步骤S41中，运动向量检测电路61基于输入的SR图像和LRn来检测运动向量，并将检测到的运动向量输出至运动补偿电路62和反向运动补偿电路66。
在步骤S42中，运动补偿电路62基于从运动向量检测电路61提供的运动向量来对SR图像应用运动补偿，并将通过应用运动补偿获得的图像输出至下行取样滤波器63。
在步骤S43中，下行取样滤波器63通过下行取样从运动补偿电路62提供的图像来生成与LRn的分辨率相同的分辨率的图像，且将所生成的图像输出至加法电路64。
在步骤S44中，加法电路64生成表示在输入的LRn与从下行取样滤波器63提供的图像之间的差异的差异图像，作为下行取样的结果，并将所生成的差异图像输出至上行取样滤波器65。
在步骤S45中，上行取样滤波器65通过上行取样从加法电路64提供的图像来生成分辨率与SR图像的分辨率相同的图像，并将所生成的图像输出至反向运动补偿电路66。
在步骤S46中，基于从运动向量检测电路61提供的运动向量，反向运动补偿电路66对从上行取样滤波器65提供的图像反向应用运动补偿，并将通过反向应用运动补偿获得的图像输出至反馈增益控制电路81。
在步骤S47中，反馈增益控制电路81调节表示从反向运动补偿电路66提供的图像，作为反向运动补偿结果的信号的增益，并将通过调节增益获得的反馈值输出至加法电路52n。然后，处理返回至图10的步骤S2、S4或S6，并重复相关处理和后续处理。
图17是示出了超分辨率处理器51n的另一个配置实例的框图。相同的参考数字给出与图14中相同的组件。适当省略重复描述。
图17的超分辨率处理器51n的配置与图14配置的不同之处在于，取代在反向运动补偿电路66的后一级中，在加法电路64与上行取样滤波器65之间设置反馈增益控制电路81。换句话说，在图17的配置中，将由加法电路64得到的差异信号提供给反馈增益控制电路81，以在此级中执行对差异图像的增益调节。
因此，反馈增益控制电路81的插入位置并不限于在反向运动补偿电路66的后一级中的位置。如图17所示，在将反馈增益控制电路81插入加法电路64和上行取样滤波器65之间的情况下，可以通过一个电路来实现上行取样滤波器65的功能和反馈增益控制电路81的功能。
图18是示出了超分辨率处理器51n的另一个配置实例的框图。相同的参考数字给出与图8相同的组件。适当省略重复描述。
图18的超分辨率处理器51n的配置与图9配置的不同之处在于，在运动补偿电路62的前一级中设置了喜好控制电路101，并且在反向运动补偿电路66的后一级中设置了喜好控制电路102。
如图18所示，将用于反馈值的算术的SR图像提供给运动向量检测电路61和喜好控制电路101。同样将根据用户操作的喜好参数提供给喜好控制电路101。
喜好参数表示由用户使用如图19所示的GUI(图形用户界面)调节的值，并且根据这个值，选择将用于执行处理的滤波器，并通过超分辨率处理器51n生成具有符合所选滤波器的图像质量的SR图像。在图19的实例中，用户可通过滑动滑杆111来调节这个值，并使当前调节的值显示在显示单元112上。
为了返回图18的描述，喜好控制电路101根据喜好参数来选择滤波器，并使用所选滤波器来对SR图像应用滤波。喜好控制电路101将通过应用滤波获得的SR图像输出至运动补偿单元62。
在后一级中的电路中，执行与上述处理类似的处理。更特别，在运动补偿电路62中，对从喜好控制电路101提供的SR图像应用运动补偿，并在下行取样滤波器63中下行取样通过应用运动补偿获得的图像。在加法电路64中，生成表示与LRn的差异的差异图像，并使通过在上行取样滤波器65中上行取样差异图像获得的图像经过在反向运动补偿电路66中进行的反向运动补偿。将通过反向应用运动补偿获得的SR图像提供给喜好控制电路102。
喜好控制电路102根据喜好参数来选择滤波器，并使用所选滤波器来对从反向运动补偿电路66提供的SR图像应用滤波。喜好控制电路102将通过应用滤波获得的SR图像输出至加法电路52n，作为反馈值。
图20A～图20D是示出了在喜好控制电路101、102中选择的滤波器的特征的实例的曲线图。
图20A～图20D所示的特征分别类似于图15A～图15D所示的特征，并根据图20A所示的喜好参数来调节滤波器的特征。
例如，当从加法电路52n输出的SR图像的图像质量太刺眼，并且用户进行调节以减少刺眼时，喜好控制电路102选择LPF(低通滤波器)以将从加法电路52n输出的SR图像的图像质量调节为更柔和。
此处，参考图21的流程图来描述通过具有图18配置的超分辨率处理器51n执行的反馈值算术处理。
除增加了用于调节图像质量的处理外，图21所示的处理与参考图11所述的处理等相同。
在步骤S51中，喜好控制电路101根据喜好参数选择滤波器，并使用选定滤波器来对所提供的SR图像应用滤波(应用喜好控制)。喜好控制电路101将通过应用滤波获得的SR图像输出至运动补偿电路62。
在步骤S52中，运动向量检测电路61基于输入的SR图像和LRn来检测运动向量，并将检测到的运动向量输出至运动补偿电路62和反向运动补偿电路66。
在步骤S53中，运动补偿电路62基于从运动向量检测电路61提供的运动向量来对SR图像(经过喜好控制并从喜好控制电路101提供)应用运动补偿，并将通过应用运动补偿获得的图像输出至下行取样滤波器63。
在步骤S54中，下行取样滤波器63通过下行取样从运动补偿电路62提供的图像来生成分辨率与LRn的分辨率相同的图像，并将所生成的图像输出至加法电路64。
在步骤S55中，加法电路64生成表示在输入的LRn与从下行取样滤波器63提供的图像之间的差异的差异图像，作为下行取样的结果，并将所生成的差异图像输出至上行取样滤波器65。
在步骤S56中，上行取样滤波器65通过上行取样从加法电路64提供的图像来生成分辨率与SR图像的分辨率相同的图像，并将所生成的图像输出至反向运动补偿电路66。
在步骤S57中，基于从运动向量检测电路61提供的运动向量，反向运动补偿电路66对从上行取样滤波器65提供的图像反向应用运动补偿，并将通过反向应用运动补偿获得的图像输出至喜好控制电路102。
在步骤S58中，喜好控制电路102根据喜好参数来选择滤波器，并使用所选滤波器来对从反向运动补偿电路66提供的SR图像应用滤波。喜好控制电路102将通过应用滤波获得的SR图像作为反馈值输出至加法电路52n。然后，处理返回图10的步骤S2、S4或S6，并重复相关处理和后续处理。
图22是示出了超分辨率处理器51n的另一个配置实例的框图。相同的参考数字给出与图18相同的组件。适当省略重复描述。
图22的超分辨率处理器51n的配置与图18配置的不同之处在于，取代在运动补偿电路62的前一级中，在下行取样滤波器63与加法电路64之间设置喜好控制电路101，以及取代在反向运动补偿电路66的后一级中，在加法电路64与上行取样滤波器65之间设置喜好控制电路102。
更特别，在图22的配置中，将通过下行取样滤波器63获得的图像提供给喜好控制电路101，并使分辨率与LRn的分辨率相同的图像经过滤波。此外，将通过加法电路64得到的差异图像提供给喜好控制电路102，以在这一级中，对该差异图像应用滤波。
因此，可以在超分辨率处理器51n内的任何位置设置喜好控制电路101，只要喜好控制电路101位于加法电路64(用于得到差异图像的组件)的前一级中的位置。此外，可以在超分辨率处理器51n内的任何位置设置喜好控制电路102，只要喜好控制电路102位于加法电路64的后一级中的位置。例如，还可以通过具有DSF或USF的综合型滤波器来实现喜好控制电路101、102。
可以仅设置喜好控制电路101和喜好控制电路102中的一个。
接下来描述实现成像运动图片的功能的配置。
图23是示出了通过成像设备31执行的运动图片的成像概念的示图。
图23中的LRn至LRn+5是通过成像单元41获得并用于进行超分辨率处理的LR图像。例如，在成像单元41中，以每秒30帧的帧频来执行LR图像的成像。
如图23所示，在除第一处理外的每个超分辨率处理中，连续获得三个帧的LR图像，并使用一个帧的SR图像。例如，在第一超分辨率处理中，使用LR图像的三个帧LRn、LRn+1和LRn+2来生成SRn(一个帧的SR图像)。
此外，在第二超分辨率处理中，使用LR图像的三个帧LRn+1、LRn+2、LRn+3和SRn(通过第一超分辨率处理生成的SR图像)来生成SRn+1(一个帧的SR图像)。
在第三超分辨率处理中，使用三个帧的LR图像的LRn+2、LRn+3、LRn+4和SRn+1(通过第二超分辨率处理生成的SR图像)来生成SRn+2(一个帧的SR图像)。
以此方式，在成像设备31中，在后一超分辨率处理中还使用在该超分辨率处理中生成的SR图像，这可以使得处理比仅使用LR图像执行超分辨率处理的情况(例如，如图24所示)更快。
图24是示出了使用超分辨率处理来成像运动图片的功能的现有概念的框图，其中，在每个超分辨率处理中，仅使用连续获得的三个帧的LR图像。例如，在第一超分辨率处理中，使用LR图像的三个帧LRn、LRn+1和LRn+2生成SRn(一个帧的SR图像)。此外，在第二超分辨率处理中，使用LR图像的三个帧LRn+1、LRn+2、LRn+3生成SRn+1(一个帧的SR图像)。
图25是示出了使用连续获得的三个帧的LR图像和由前一超分辨率处理获得的一个帧的SR图像来执行超分辨率处理从而实现运动图片的成像(如图23所示)的图像处理单元42的配置实例的框图。
图25的图像处理单元42基本上是通过延长图3的配置(实现静止图片的成像)获得的，以便实现运动图片的成像。
如图25所示，图像处理单元42由超分辨率处理器2010至2012、运动图片应用处理电路2021、2022、求和电路203、加法电路204、开关205、原始图像生成电路206、和SR图像缓冲器207构成。
将LRn(通过成像获得的LR图像)输入至超分辨率处理器2010、运动图片应用处理电路2021、2022、和原始图像生成电路206，以及将LRn+1输入至超分辨率处理器2011和运动图片应用处理电路2021。将LRn+2输入至超分辨率处理器2012和运动图片应用处理电路2022。
超分辨率处理器2010基于LRn和存储在SR图像缓冲器207中的SR图像来执行反馈值算术处理，并将反馈值输出至求和电路203。认为在输入至超分辨率处理器2010的LRn与在SR图像上得到的内容之间不存在很大的差异，以在由通过所超分辨率处理器2010得到的反馈值表示的SR图像中，所有像素的信息基本上都用于进行加法处理。因此，与超分辨率处理器2011、2012的输出不同，将超分辨率处理器2010的输出原样发送至求和电路203，而无需经过运动图片应用处理。
超分辨率处理器2011基于LRn+1和存储在SR图像缓冲器207中的SR图像来执行反馈值算术处理，并将表示SR图像的反馈值输出至运动图片应用处理电路2021。
超分辨率处理器2012基于LRn+2和存储在SR图像缓冲器207中的SR图像来执行反馈值算术处理，并将表示SR图像的反馈值输出至运动图片应用处理电路2022。
运动图片应用处理电路2021仅将在从超分辨率处理器2011提供的SR图像的像素中被确定为可用于与存储在SR图像缓冲器207中的SR图像相加的像素的信息作为反馈值输出至求和电路203。
例如，将被认为在与存储在SR图像缓冲器207中的SR图像相加时会使图像质量退化的区域中的像素确定为不可用于与SR图像进行相加的像素，以通过运动图片应用处理来提取仅被认为当相加时有助于改良图像质量的区域中的像素。在运动图片的成像中，运动大的对象通常为对象，因而，当执行运动补偿作为反馈值算术处理中的一个处理时，可以获得不清楚的对象图像。因此，这个运动图片应用处理去除了在不清楚拍摄对象的区域中的像素。稍后将描述运动图片应用处理的详情。
运动图片应用处理电路2022仅将在从超分辨率处理器2012提供的SR图像的像素中经确定为可用于与存储在SR图像缓冲器207中的SR图像相加的像素的信息作为反馈值输出至求和电路203。
求和电路203求出从超分辨率处理器2010和运动图片应用处理电路2021、2022提供的反馈值的平均，且将分辨率与SR图像(通过均分获得)的分辨率相同的图像输出至加法电路204。
加法电路204将存储在SR图像缓冲器207中的SR图像与从求和电路203提供的SR图像相加，并输出通过加法获得的SR图像。加法电路204的输出被提供给记录单元43，作为超分辨率处理的结果，并同时将其提供给将要进行存储的SR图像缓冲器207。
当通过原始图像生成电路206生成原始图像时，开关205连接至终端a以将原始图像存储在SR图像缓冲器207中。此外，当从加法电路204提供SR图像时，开关205连接至终端b以将SR图像存储在SR图像缓冲器207中。当执行原始超分辨率处理时，开关205连接至终端a，而当在重复的超分辨率处理中执行第二超分辨率处理或后续超分辨率处理时，该开关连接至终端b。
原始图像生成电路206基于通过成像获得的LRn和SRn-1(作为超分辨率处理的结果获得的前一帧的SR图像)来生成原始图像，并使所生成的原始图像通过与终端a连接的开关205存储在SR图像缓冲器207中。例如，当通过超分辨率处理生成第二帧的SR图像时，将通过成像获得的LR2和SR1(作为超分辨率处理的处理结果获得的SR图像)提供给原始图像生成电路206，而当通过超分辨率处理生成第三帧的SR图像时，提供通过成像获得的LR3和SR2(作为超分辨率处理的处理结果获得的SR图像)。
SR图像缓冲器207存储由原始图像生成电路206生成的原始图像或从加法电路204输出的SR图像。
图26是示出了原始图像生成电路206的配置实例的框图。
如图26所示，原始图像生成电路206由上行取样处理单元221、运动校正单元222、和图像生成单元223组成。将LRn输入至上行取样处理单元221，以及将SRn-1输入至运动校正单元222。上行取样处理单元221将LRn上行取样至分辨率与SR图像的分辨率相同的图像，并将通过上行取样获得的图像输出至运动校正单元222和图像生成单元223。
基于SRn-1和从上行取样处理单元221提供的LRn的上行取样结果，运动校正单元222使用LRn的上行取样结果作为参考来检测运动向量，并使用检测到的运动向量来对SRn-1应用运动补偿。运动校正单元222将通过应用运动补偿获得的图像输出至图像生成单元223。
图像生成单元223基于从上行取样处理单元221提供的LRn的上行取样结果、和从运动校正单元222提供的运动补偿的结果来生成原始图像，并使所生成的原始图像存储在SR图像缓冲器207中。例如，图像生成单元223使用作为在不能在从运动校正单元222提供的SR图像中成功执行运动补偿的区域中的LRn的上行取样结果的SR图像的像素来取代在相同区域中的像素，从而生成原始图像。
图27A～图27C是示出了原始图像的生成实例的图。
图27A的左侧上所示的LRn是被输入至上行取样处理单元221的LR图像，而右侧上所示的SRn-1是被输入至运动校正单元222的SR图像。LRn与SRn-1的大小的差异表示分辨率的差异。由于在用于生成SRn-1的LRn-1之后成像LRn，所以在LRn上拍摄的汽车的位置是从在SRn-1上拍摄的汽车的位置开始沿行进方向移动的位置。LRn与SRn-1的背景是几乎相同的布景。
例如，上行取样上述LRn，并使用上行取样结果和SRn-1来检测运动向量。检测到的运动向量是从在SRn-1上拍摄的汽车的位置到在LRn的上行取样结果上拍摄的汽车位置的向量。当使用上述运动向量对SRn-1应用运动补偿时，获得图27B所示的SR图像作为运动补偿的结果。
在图27B所示的SR图像中，与图27A的SRn-1相比，汽车的位置沿行进方向移动。区域A1是在SRn-1上没有拍摄的背景区域，这个区域将被提取作为不能成功应用运动补偿的区域。
图27C所示的SR图像是使用在与LRn的上行取样结果中的区域A1相同位置中的区域中的像素来取代在图27B所示的SR图像中的区域A1中的像素的图像。以此方式，将使用LRn的上行取样结果的像素来取代在不能成功应用运动补偿的区域中的像素的SR图像用作原始图像。为了方便，仅给出表示图27C的原始图像中所示的区域A1的帧，并且该帧不会出现在实际图像上。
在重复的超分辨率处理中的原始超分辨率处理开始时执行上述原始图像生成。
图28是示出了运动图片应用处理电路2021的配置实例的框图。
如图28所示，运动图片应用处理电路2021由差异图像生成单元231、二进制化处理单元232、放大处理单元233、和屏蔽处理单元234构成。
通过成像获得的LRn和LRn+1被输入至差异图像生成单元231，以及通过超分辨率处理器2011执行反馈值算术处理获得的SR图像被输入至屏蔽处理单元234。
差异图像生成单元231得到表示LRn与LRn+1之间的差异的差异图像，并将得到的差异图像输出至二进制化处理单元232。
基于从差异图像处理单元231提供的差异图像，二进制化处理单元232生成二进制图像，在该二进制图像中，例如，在LRn与LRn+1之间具有极小差异的区域用1来表示，以及差异大于阈值的区域用0表示，然后将生成的二进制图像输出至放大处理单元233。
放大处理单元233将由二进制化处理单元232生成的二进制图像放大成分辨率与SR图像的分辨率相同的图像，然后将该图像作为屏蔽图像输出至屏蔽处理单元234。
屏蔽处理单元234使用从放大处理单元233提供的屏蔽图像来对从超分辨率处理器2011提供的SR图像应用屏蔽处理，并将从屏蔽处理得到的结果作为反馈值输出至求和电路203。
图29A～图29C是示出了屏蔽图像的生成的实例的图。
图29A的左侧上所示的LRn+1和右侧上所示的LRn是被输入至差异图像生成单元231的LR图像。例如，从这些LR图像中得到差异图像，且将其二进制化。
图29B是示出了二进制图像的实例的图，其中，在整个二进制图像中，区域A11是与在LRn+1和LRn上均拍摄到背景的区域相对应的区域，从而具有了极小的差异。因此，这个区域用1来表示。
另一方面，区域A12是与分别在LRn+1上拍摄到汽车以及在LRn+1上拍摄到背景的区域相对应的区域，从而具有了差异，因此，这个区域用0来表示。区域A13是与分别在LRn+1上拍摄到背景以及在LRn上拍摄到汽车的区域相对应的区域，从而具有了差异。因此，这个区域也用0来表示。
图29C所示的SR图像是通过将图29B所展的二进制图像放大为分辨率与SR图像的分辨率相同的图像而获得的屏蔽图像。对通过反馈算术处理获得的SR图像应用使用上述屏蔽图像的屏蔽处理。屏蔽处理用0来取代在通过反馈值算术处理获得的SR图像中与图29C的屏蔽图像中的黑色部分表示的区域相对应的区域中的像素，并将一部分已被0取代的SR图像作为反馈值输出至求和电路203。
通过对反馈值算术处理的结果应用上述屏蔽处理应用，可以防止显著移动的对象的区域中的像素的信息被反馈并与在SR图像缓冲器207中的SR图像相加。由于在显著移动的对象的区域中可能发生对象抖动，所以可以通过避免使像素信息在此区域中的反馈来防止SR图像的图像质量的退化。
运动图片应用处理单元2022也具有与图28的配置类似的配置。在运动图片应用处理单元2022中，使用LRn+2取代LRn+1来执行与上述处理类似的处理。
此处，参考图30的流程图给出当运动图片成像时的超分辨率处理的描述，运动图片成像是通过具有图25配置的图像处理单元42执行的。
当通过成像单元41成像运动图片时，开始这个处理，将LRn输入至超分辨率处理器2011、运动图片应用处理单元2021、2022和原始图像生成电路206，将LRn+1输入至超分辨率处理器2011和运动图片应用处理单元2021，以及将LRn+2输入至超分辨率处理器2012和运动图片应用处理单元2022。
在步骤S101中，原始图像生成电路206执行原始图像生成处理，并使所生成的原始图像被存储在SR图像缓冲器207中。稍后将参考图31描述原始图像生成处理。
在步骤S102中，超分辨率处理器2010至2012中的每个基于LR图像和存储在SR图像缓冲器207中的SR图像来执行反馈值算术处理，并输出反馈值。
基于LRn和超分辨率处理器2010中的SR图像、基于LRn+1和在超分辨率处理器2011中的SR图像、以及基于LRn+2和超分辨率处理器2012中的SR图像，分别执行与参考图11所述的处理相似的处理。将从超分辨率处理器2010输出的反馈值输入至求和电路203，以及将从超分辨率处理器2011输出的反馈值输入至运动图片应用处理电路2021。将从超分辨率处理器2012输出的反馈值输入至运动图片应用处理电路2022。
在步骤S103中，运动图片应用处理电路2021、2022中的每个执行运动图片应用处理，并将通过运动图片应用处理获得的反馈值输出至求和电路203。稍后将参考图32的流程图来描述运动图片应用处理。
在步骤S104中，求和电路203对从超分辨率处理器2010和运动图片应用处理电路2021、2022提供的反馈值求和，并将求和结果输出至加法电路204。
在步骤S105中，求和电路204将由从求和电路203提供的反馈值表示的SR图像与存储在SR图像缓冲器207中的SR图像相加。
在步骤S106中，加法电路204将通过加法获得的SR图像输出至记录单元43，并同时将其提供给将要进行存储的SR图像缓冲器207。
重复步骤S102和稍后的处理，直至确定从图像处理单元42输出的SR图像具有了足够的分辨率。
接下来参考图31的流程图描述在图30的步骤S101中执行的原始图像生成处理。
在步骤S111中，原始图像生成电路206的上行取样处理单元221将LRn上行取样至分辨率与SR图像的分辨率相同的图像，并将通过上行取样获得的图像输出至运动校正单元222和图像生成单元223。
在步骤S112中，运动校正单元222基于SRn-1和从上行取样处理单元221提供的LRn的上行取样结果来检测运动向量。
在步骤S113中，运动校正单元222使用检测到的运动向量来将对SRn-1应用运动补偿并将所获得的图像输出至图像生成单元223。
在步骤S114中，图像生成单元223将作为从上行取样处理单元221提供的LRn的上行取样结果的SR图像与作为从运动校正单元222提供的运动补偿结果的SR图像进行比较，并在该SR图像中提取出不能应用运动补偿的区域来作为运动补偿结果。
在步骤S115中，图像生成单元223使用作为在相同位置中的区域中的LRn的上行取样结果的SR图像的像素取代在步骤S114中提取出的区域中的像素来生成原始图像。然后，处理返回至图30的步骤S101来执行相关处理和后续处理。
接着，参考图32的流程图描述在图30的步骤S103中执行的运动图片应用处理。此处，给出了对通过运动图片应用处理电路2021执行的处理的描述。在运动图片应用处理电路2022中也执行类似的处理。
在步骤S121中，运动图片应用处理电路2021的差异图像生成单元231得到表示LRn与LRn+1之间的差异的差异图像，并将得到的差异图像输出至二进制化处理单元232。
在步骤S122中，二进制化处理单元232生成二进制图像，在该二进制图像中，例如，在LRn与LRn+1之间具有极小差异的区域用1来表示，差异大于阈值的区域用0来表示，然后将所生成的二进制图像输出至放大处理单元233。
在步骤S123中，放大处理单元233将由二进制化处理单元232生成的二进制图像放大为分辨率(尺寸)与SR图像的分辨率(尺寸)相同的图像，并将其作为屏蔽图像输出至屏蔽处理单元234。
在步骤S124中，屏蔽处理单元234使用从放大处理单元233提供的屏蔽图像对从超分辨率处理器2011提供的SR图像应用屏蔽处理，并将从屏蔽处理得到的结果作为反馈值输出至求和电路203。
图33为运动图片应用处理电路2021的另一个配置实例的框图。
虽然在图25的实例中，作为用于运动图片应用处理的LR图像，分别将LRn输入至运动图片应用处理电路2021、2022，将LRn+1输入至运动图片应用处理电路2021，以及将LRn+2输入至运动图片应用处理电路2022，但是取代LRn，还可以输入存储在SR图像缓冲器207中的SR图像。
在图33的实例中，运动图片应用处理电路2021由上行取样处理单元241、差异图像生成单元242、二进制化处理单元243、和屏蔽处理单元244构成，并且将通过成像获得的LRn+1输入至上行取样处理单元241，将存储在SR图像缓冲器207中的SR图像输入至差异图像生成单元242。将通过超分辨率处理器2011执行反馈值算术处理获得的SR图像输入至屏蔽处理单元244。
上行取样处理单元241将LRn+1上行取样至分辨率与SR图像的分辨率相同的图像，并将通过上行取样获得的图像输出至差异图像生成单元242。
差异图像生成单元242得到表示在LRn+1与SR图像之间的差异的差异图像，并将得到的差异图像输出至二进制化处理单元243。
基于从差异图像生成单元242提供的差异图像，二进制化处理单元243生成二进制图像，其中，例如，在LRn+1与SR的取样结果之间具有极小差异的区域用1来表示，以及差异大于阈值的区域用0来表示，然后将生成的二进制图像作为屏蔽图像输出至屏蔽处理单元244。
屏蔽处理单元244使用从放大处理单元243提供的屏蔽图像来对从超分辨率处理器2011提供的SR图像应用屏蔽处理，并将屏蔽处理的结果作为反馈值输出至求和电路203。
图34A～图34C是示出了屏蔽图像的生成实例的示图。
图34A的左侧上所示的LRn+1是被输入至上行取样处理单元241的LR图像，以及右侧上所示的SR图像是被输入至差异图像生成单元242的SR图像。例如，使此LR图像经过上行取样，并从上行取样结果以及待进行二进制化的SR图像中得到差异图像。
图34B是示出了二进制图像的实例的示图。在整个二进制图像中，区域A21是与在LRn+1的上行取样结果和SR图像上都拍摄到背景的区域相对应的区域，从而具有极小的差异，因而这个区域可以用1来表示。
另一方面，区域A22是与分别在LRn+1的上行取样结果上拍摄到汽车而在SR图像上拍摄到背景的区域相对应的区域，从而具有了差异。因此，这个区域用0来表示。区域A23是与分别在LRn+1的上行取样结果上拍摄到背景而在SR图像上拍摄到汽车的区域相对应的区域，从而具有了差异。因此，这个区域也用0来表示。
图34C所示的SR图像是从图34B所示的二进制图像获得的屏蔽图像。对由超分辨率处理器2011获得的SR图像应用使用上述屏蔽图像的屏蔽处理。屏蔽处理用0来取代在由反馈值算术处理获得的SR图像中与图34C的屏蔽图像中的黑色所表示的区域相对应的区域中的像素，并将一部分已被0取代的SR图像作为反馈值输出至求和电路203。
通过对反馈值算术处理的结果应用上述屏蔽处理，还可以防止在对象显著移动的区域中的像素的信息被用作反馈值。
运动图片应用处理电路2022也可以具有与图33的配置类似的配置。在此情况下，在运动图片应用处理电路2022中，使用LRn+2取代LRn+1来执行与上述处理类似的处理。
接下来参考图35的流程图描述由具有与图33的相同配置的运动图片应用处理电路2021执行的运动图片应用处理。
这个处理是在图30的步骤S103中执行的处理。此处，描述了通过运动图片应用处理电路2021执行的处理。在运动图片应用处理电路2022中也执行类似的处理。
在步骤S131中，上行取样处理单元241将LRn+1上行取样至分辨率与SR图像的分辨率相同的图像，并将通过上行取样获得的图像输出至差异图像生成单元242。
在步骤S132中，差异图像生成单元242得到表示在LRn+1的上行取样结果与SR图像之间的差异的差异图像，并将得到的差异图像输出至二进制化处理单元243。
在步骤S133中，二进制化处理单元243通过对从差异图像生成单元242提供的差异图像进行二进制化来生成屏蔽图像，并将生成的屏蔽图像输出至屏蔽处理单元244。
在步骤S134中，屏蔽处理单元244使用从放大处理单元243提供的屏蔽图像来对从超分辨率处理器2011提供的SR图像应用屏蔽处理，并将从屏蔽处理得到的结果作为反馈值输出至求和电路203。
图36是示出了用于实现运动图片的成像的图像处理单元42的另一个配置实例的框图。
在图36的图像处理单元42中，使用连续获得的三个帧的LR图像和由前一加法处理获得的一个帧的SR图像来执行每个加法处理。相同的参考数字给出与图25相同的组件。适当省略重复描述。
在图36的实例中，图像处理单元42由超分辨率处理器2010至2012、运动图片应用处理电路2021、2022、加法电路2510至2512、开关205、原始图像生成电路206、和SR图像缓冲器207构成。
图36的图像处理单元42是通过延长图8的配置(通过使用高斯-赛德尔方法的超分辨率处理来生成SR图像)获得的，从而实现了运动图片的成像。
将LRn(从成像单元41提供的LR图像)输入至超分辨率处理器2010、运动图片应用处理电路2021、2022、和原始图像生成电路206，以及将LRn+1输入至超分辨率处理器2011和运动图片应用处理电路2021。将LRn+2输入至超分辨率处理器2012和运动图片应用处理电路2022。LRn至LRn+2是连续获得的LR图像。
超分辨率处理器2010基于LRn和存储在SR图像缓冲器207中的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路2510。
加法电路2510将存储在SR图像缓冲器207中的SR图像与由从超分辨率处理器2010提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像作为第一加法处理的结果。将从加法电路2510输出的SR图像输入至超分辨率处理器2011和加法电路2511。
超分辨率处理器2011基于LRn+1和从加法电路2510提供的SR图像来执行反馈值算术处理，并将反馈值输出至运动图片应用处理电路2021。
在从超分辨率处理器2011提供的SR图像的像素中，运动图片应用处理电路2021仅将被确定为可与SR图像相加的像素的信息作为反馈值输出至加法电路2511。
加法电路2511将从加法电路2510提供的SR图像与由从运动图片应用处理电路2021提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像作为第二加法处理的结果。从加法电路2511输出的SR图像被输入至超分辨率处理器2012和加法电路2511。
超分辨率处理器2012基于LRn+2和从加法电路2511提供的SR图像来执行反馈值算术处理，并将反馈值输出至运动图片应用处理电路2022。
加法电路2512将从加法电路2511提供的SR图像与由从运动图片应用处理电路2022提供的反馈值表示的SR图像相加，并输出通过加法获得的一个帧的SR图像作为超分辨率处理的结果。从加法电路2512输出的SR图像被输入至记录单元43，同时，将该SR图像其通过开关205提供给将要进行存储的SR图像缓冲器207。
当通过原始图像生成电路206生成原始图像时，开关205连接至终端a以将原始图像存储在SR图像缓冲器207中。此外，当从加法电路2512提供SR图像时，开关205连接至终端b以将SR图像存储在SR图像缓冲器207中。
例如，当开始超分辨率处理时，原始图像生成电路206如参考图31所述生成原始图像，并使所生成的原始图像通过与终端a连接的开关205存储在SR图像缓冲器207中。
SR图像缓冲器207存储由原始图像生成电路206生成的原始图像或从加法电路2512提供的SR图像。
虽然在图36的实例中，使用一个帧的SR图像和三个帧的LR图像来执行一连串的超分辨率处理，但是用于超分辨率处理的LR图像数是任意的。
例如，如图37所示，还可以使用通过前一超分辨率处理生成的一个帧的SR图像和两个帧的LR图像来执行每个超分辨率处理，或如图38所示，还可以使用通过前一超分辨率处理生成的一个帧的SR图像、和一个帧的LR图像来执行每个超分辨率处理。
在图37的实例中，使用连续获得的两个帧的LR图像和一个帧的SR图像来执行除第一处理外的每个超分辨率处理。在第一超分辨率处理中，使用LR图像的两个帧LRn、LRn+1来生成SRn(一个帧的SR图像)。
此外，在第二超分辨率处理中，使用LR图像的两个帧LRn+1、LRn+2以及SRn(通过第一超分辨率处理获得的SR图像)来生成SRn+1(一个帧的SR图像)。
在第三超分辨率处理中，使用LR图像的两个帧LRn+2、LRn+3以及SRn+1(通过第二超分辨率处理获得的SR图像)来生成SRn+2(一个帧的SR图像)。
在图38的实例中，使用一个帧的LR图像和一个帧的SR图像来执行除第一处理外的每个超分辨率处理。在第一超分辨率处理中，使用LR图像的一个帧LRn来生成SRn(一个帧的SR图像)。例如，通过将LRn上行取样至分辨率与SR图像的分辨率相同的图像来生成SRn。
此外，在第二超分辨率处理中，使用LR图像的一个帧LRn+1以及SRn(通过第一超分辨率处理获得的SR图像)来生成SRn+1(一个帧的SR图像)。
在第三超分辨率处理中，使用LR图像的一个帧LRn+2以及SRn+1(通过第二超分辨率处理获得的一个帧的SR图像)来生成SRn+2(一个帧的SR图像)。
图39是使用一个帧的LR图像和一个帧的SR图像来执行每个超分辨率处理以实现运动图片的成像(如图38所示)的图像处理单元42的另一个配置实例的框图。相同的参考数字给出与图36中相同的组件。适当省略重复描述。
除了被配置为执行第二反馈值算术处理的超分辨率处理器2011、运动图片应用处理电路2021和加法电路2511以及被配置为执行第三反馈值算术处理的超分辨率处理器2012、运动图片应用处理电路2022和加法电路2512外，图39的图像处理单元基本上具有与图36的配置类似的配置。
超分辨率处理器2010基于LRn和存储在SR图像缓冲器207中的SR图像来执行反馈值算术处理，并将反馈值算术处理的结果输出至加法电路2510。
加法电路2510将存储在SR图像缓冲器207中的SR图像与由从超分辨率处理器2010提供的反馈值表示的SR图像相加，并输出通过加法获得的SR图像。从加法电路2510输出的SR图像作为超分辨率处理的结果被提供给记录单元43，并同时通过开关205被提供给将进行存储的SR图像缓冲器207。
因此，用于一个超分辨率处理中的LR图像数的减少可使超分辨率处理更快。
如图37所示，在使用一个帧的SR图像和两个帧的LR图像来执行超分辨率处理的图像处理单元42中，从图36的图像处理单元42的配置中去除被配置为执行第三反馈值算术处理和加法处理的超分辨率处理器2012、运动图片应用处理电路2022和加法电路2512。
虽然之前，通过前一超分辨率处理生成的LR图像和SR图像用于执行每个超分辨率处理，但是在成像单元41具有在运动图片的成像期间开始静止图片的成像的功能的情况下，可以使用LR图像和同时成像的一个帧的静止图片来执行超分辨率处理。在此情况下，在运动图片的成像期间成像的静止图片的分辨率大于LR图像的分辨率。
图40是示出了使用LR图像和在运动图片的成像期间成像的一个帧的静止图片进行的超分辨率处理的概念的示图。
在图40的实例中，使用LR图像的三个帧LRn+3、LRn+4、LRn+和静止图片n+3(在与LRn+3的成像同时成像的一个帧的静止图片)来执行第四超分辨率处理。
可以通过硬件或软件来执行上述一连串处理。当通过软件来执行这一连串处理时，将软件安装到在指定硬件上安装有用于配置软件的程序的计算机上，或者安装到(例如)能够通过程序记录介质安装各种程序等以程序来执行各种功能的通用个人计算机上。
图41是示出了执行上述一连串处理的个人计算机的配置的一实例的框图。
CPU(中央处理单元)301根据存储在ROM(只读存储器)302或存储单元308中的程序来执行各种类型的处理。将由CPU 301执行的程序、数据等适当存储在RAM(随机存取存储器)303中。将CPU 301、ROM 302和RAM 303通过总线304彼此连接。
同样将输入/输出接口305通过总线304连接至CPU 301。将由键盘、鼠标、麦克风等构成的输入单元306和由显示器、扬声器等构成的输出单元307连接至输入/输出接口305。CPU 301执行与从输入单元306输入的指令相对应的各种类型的处理。CPU 301将处理结果输出至输出单元307。
例如，连接至输入/输出接口305的存储单元308由硬盘构成，以存储由CPU 301执行的程序和各种类型的数据。通信单元309通过互联网或诸如局域网的网络来与外部设备通信。
连接至输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘和半导体存储器等的可移动介质311。当加载可移动介质311时，需要在该可移动介质中存储程序、数据等。根据需要，将所需的程序或数据转移至将要进行存储的存储单元308。
如图41所示，用于存储程序的程序记录介质(安装在计算机上并处于可以通过计算机执行的状态)可以是可移动介质311(由磁盘(包括软盘)、光盘(包括CD-ROM(紧致光盘只读存储器))、和DVD(数字式通用盘)、磁光盘、半导体存储器等构成的封装介质)、或临时或永久存储程序的ROM 302、用于配置存储单元308的硬盘等。根据需要，通过通信单元309(诸如路由器和调制解调器的接口)，利用有线或无线通信介质(包括局域网、互联网和数字卫星广播)来将程序存储在记录介质的程序中。
在本说明书中，描述程序的步骤不仅包括以所述时间顺序执行的处理，还包括并行或单独而非以时间顺序来执行的处理。
本发明的实施例并不限于上述实施例。在不脱离本发明精神的情况下，可以进行多种修改。

Claims (9)

1.一种图像处理设备，包括：
加法装置，用于执行将表示第一分辨率的输入图像与高于所述第一分辨率的第二分辨率的图像之间的差异的所述第二分辨率的差异图像的像素作为所述第二分辨率的输入图像的像素相加的加法处理；以及
图像处理装置，其包括多个所述加法装置，所述图像处理装置被配置为执行第二和以后的加法处理，并通过预定次数地执行所述加法处理来生成所述第二分辨率的图像作为处理结果，使用互不相同的所述第一分辨率的图像和通过前一加法处理获得的所述第二分辨率的所述图像的输入来执行所述加法处理。
2.根据权利要求1所述的图像处理设备，还包括：控制装置，用于基于通过所述加法处理获得的所述第二分辨率的所述图像，控制是否使用通过所述加法处理获得的所述第二分辨率的所述图像的所述输入来执行下一加法处理。
3.根据权利要求1所述的图像处理设备，还包括：调节装置，用于执行表示所述差异图像的信号的增益的调节。
4.根据权利要求1所述的图像处理设备，还包括：调节装置，用于执行表示作为用于获得所述差异图像的所述图像而输入的所述第二分辨率的所述图像的信号的增益的调节、和表示所得到的所述差异图像的信号的增益的调节中的至少任一个调节。
5.根据权利要求1所述的图像处理设备，还包括：生成装置，用于生成作为第一加法处理的输入的所述第二分辨率的原始图像，
其中，当所述图像处理装置使用第n帧的所述第一分辨率的拾取图像生成所述第二分辨率的图像作为第n帧的处理结果时，
所述生成装置生成一个图像作为所述原始图像，在所述一个图像中，构成第(n-1)帧的处理结果的所述第二分辨率的图像的一部分像素被通过构成由上行取样所述第n帧的所述第一分辨率的所述图像而获得的图像的像素取代。
6.根据权利要求5所述的图像处理设备，其中，所述生成装置还包括：
上行取样处理装置，用于上行取样通过成像获得的所述第n帧的所述第一分辨率的所述图像；
校正装置，用于使用基于作为所述第(n-1)帧的所述处理结果的所述第二分辨率的所述图像和由所述上行取样处理装置的上行取样而获得的所述图像检测到的运动向量，将运动补偿应用于作为所述第(n-1)帧的处理结果的所述第二分辨率的所述图像；以及
图像生成装置，用于通过使用在对应位置区域中通过所述上行取样处理装置的所述上行取样而获得的所述图像的像素，取代在所述校正装置通过应用所述运动补偿而获得的所述图像中显示对象的区域中的像素，生成所述原始图像，其中，通过所述运动补偿来移动所述对象的位置。
7.一种图像处理设备的图像处理方法，所述图像处理设备包括：
多个加法装置，用于执行将表示第一分辨率的输入图像与高于所述第一分辨率的第二分辨率的图像之间的差异的所述第二分辨率的差异图像的像素作为所述第二分辨率的输入图像的像素相加的加法处理，所述方法包括以下步骤：
使用互不相同的所述第一分辨率的所述图像和通过前一加法处理获得的所述第二分辨率的所述图像的输入来执行第二和以后的加法处理；以及
通过预定次数地执行所述加法处理来生成所述第二分辨率的图像作为处理结果。
8.一种用于使计算机执行图像处理设备的图像处理的程序，所述图像处理设备包括：多个加法装置，用于执行将表示第一分辨率的输入图像与高于所述第一分辨率的第二分辨率的图像之间的差异的所述第二分辨率的差异图像的像素作为所述第二分辨率的输入图像的像素相加的加法处理，所述程序包括以下步骤：
使用互不相同的所述第一分辨率的所述图像和通过前一加法处理获得的所述第二分辨率的所述图像的输入来执行第二和以后的加法处理；以及
通过预定次数地执行所述加法处理来生成所述第二分辨率的图像作为处理结果。
9.一种图像处理设备，包括：
加法器，用于执行将表示第一分辨率的输入图像与高于所述第一分辨率的第二分辨率的图像之间的差异的所述第二分辨率的差异图像的像素作为所述第二分辨率的输入图像的像素相加的加法处理；以及
处理器，包括多个所述加法器，所述处理器被配置为执行第二和以后的加法处理，并通过预定次数地执行所述加法处理来生成所述第二分辨率的图像作为处理结果，使用互不相同的所述第一分辨率的图像和通过前一加法处理获得的所述第二分辨率的图像的输入来执行所述加法处理。
CN2007101954801A 2006-11-30 2007-11-30 图像处理设备、图像处理方法和程序 Expired - Fee Related CN101192400B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006324318 2006-11-30
JP2006324318A JP4646146B2 (ja) 2006-11-30 2006-11-30 画像処理装置、画像処理方法、およびプログラム
JP2006-324318 2006-11-30

Publications (2)

Publication Number Publication Date
CN101192400A true CN101192400A (zh) 2008-06-04
CN101192400B CN101192400B (zh) 2012-10-03

Family

ID=39047802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101954801A Expired - Fee Related CN101192400B (zh) 2006-11-30 2007-11-30 图像处理设备、图像处理方法和程序

Country Status (5)

Country Link
US (2) US8036488B2 (zh)
EP (1) EP1944729A3 (zh)
JP (1) JP4646146B2 (zh)
KR (1) KR101421624B1 (zh)
CN (1) CN101192400B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243757A (zh) * 2010-05-10 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序
CN104244006A (zh) * 2014-05-28 2014-12-24 北京大学深圳研究生院 一种基于图像超分辨率的视频编解码方法及装置
CN111724292A (zh) * 2019-03-19 2020-09-29 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN114365472A (zh) * 2019-09-02 2022-04-15 索尼集团公司 成像装置、图像处理装置和图像处理方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US20100107126A1 (en) * 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
JP2010140460A (ja) 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4631966B2 (ja) * 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5146335B2 (ja) 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4678061B2 (ja) * 2009-04-02 2011-04-27 株式会社ニコン 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
WO2011018878A1 (ja) * 2009-08-13 2011-02-17 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
JP2011237997A (ja) 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US8994837B2 (en) * 2010-11-26 2015-03-31 Intel Mobile Communications GmbH Image processing devices and image processing methods of moving objects
JP2012230549A (ja) * 2011-04-26 2012-11-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2012244395A (ja) 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
TWI479455B (zh) * 2011-05-24 2015-04-01 Altek Corp 全對焦影像之建立方法
US20130169834A1 (en) * 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
US9531922B2 (en) 2013-10-30 2016-12-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness
KR102159166B1 (ko) 2014-05-09 2020-09-23 삼성전자주식회사 색분리 소자 및 상기 색분리 소자를 포함하는 이미지 센서
JP2017537403A (ja) * 2014-11-27 2017-12-14 ノキア テクノロジーズ オサケユイチア 超解像画像を生成するための方法、装置およびコンピュータ・プログラム・プロダクト
US9652829B2 (en) * 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767987A (en) * 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
CN1163540A (zh) * 1996-01-11 1997-10-29 三星电子株式会社 推断精细运动的方法和装置
US6718355B2 (en) * 2001-02-05 2004-04-06 Conexant Systems, Inc. Systems and methods for a partial sum digital fir filter
WO2003047234A2 (en) * 2001-11-30 2003-06-05 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for providing multi-sensor super-resolution
TW583603B (en) 2003-02-21 2004-04-11 Inventec Appliances Corp Method for producing enhanced-resolution image by use of a plurality of low-resolution images
JP2004272751A (ja) 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
JP4156419B2 (ja) 2003-03-25 2008-09-24 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
JP2005284635A (ja) 2004-03-29 2005-10-13 Seiko Epson Corp 画像形成装置、画像形成方法及び画像形成プログラム
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
US20060062303A1 (en) * 2004-09-17 2006-03-23 Sony Corporation Hybrid global motion estimator for video encoding
JP3837575B2 (ja) * 2004-10-29 2006-10-25 国立大学法人東京工業大学 超解像処理の高速化方法
JP2006202168A (ja) 2005-01-24 2006-08-03 Seiko Epson Corp 低解像度な複数の画像を用いた高解像度画像の生成
JP4658682B2 (ja) 2005-05-17 2011-03-23 本田技研工業株式会社 電気化学素子
JP4116649B2 (ja) * 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243757A (zh) * 2010-05-10 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序
CN104244006A (zh) * 2014-05-28 2014-12-24 北京大学深圳研究生院 一种基于图像超分辨率的视频编解码方法及装置
CN111724292A (zh) * 2019-03-19 2020-09-29 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN111724292B (zh) * 2019-03-19 2024-04-05 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN114365472A (zh) * 2019-09-02 2022-04-15 索尼集团公司 成像装置、图像处理装置和图像处理方法
CN114365472B (zh) * 2019-09-02 2024-05-28 索尼集团公司 成像装置、图像处理装置和图像处理方法

Also Published As

Publication number Publication date
JP4646146B2 (ja) 2011-03-09
US8346012B2 (en) 2013-01-01
KR20080049618A (ko) 2008-06-04
CN101192400B (zh) 2012-10-03
JP2008140012A (ja) 2008-06-19
US8036488B2 (en) 2011-10-11
US20120019725A1 (en) 2012-01-26
EP1944729A2 (en) 2008-07-16
US20080175519A1 (en) 2008-07-24
EP1944729A3 (en) 2013-05-29
KR101421624B1 (ko) 2014-07-22

Similar Documents

Publication Publication Date Title
CN101192400B (zh) 图像处理设备、图像处理方法和程序
Tao et al. Detail-revealing deep video super-resolution
Peleg et al. Im-net for high resolution video frame interpolation
CN109819321B (zh) 一种视频超分辨率增强方法
EP2560375B1 (en) Image processing device, image capture device, program, and image processing method
US20080001969A1 (en) Signal processing device and signal processing method, and program and recording medium
KR20170031033A (ko) 과노출 정정을 위한 방법, 시스템 및 장치
JP4371457B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
CN101383897B (zh) 图像处理装置、图像处理方法
CN101662690A (zh) 图像处理设备、成像设备、图像处理方法及程序
US20090079836A1 (en) Image processing apparatus, method, and computer program product
CN102291531A (zh) 图像处理装置、图像处理方法和程序
CN113902647A (zh) 一种基于双闭环网络的图像去模糊方法
CN102611842B (zh) 图像处理设备和图像处理方法
CN101088281B (zh) 学习装置和学习方法
Cao et al. Towards real-world video deblurring by exploring blur formation process
Gour et al. Hardware accelerator for real-time image resizing
Zhang et al. Video Superresolution Reconstruction Using Iterative Back Projection with Critical‐Point Filters Based Image Matching
Alshammri et al. Three-dimensional video super-resolution reconstruction scheme based on histogram matching and recursive Bayesian algorithms
Heinze et al. Joint multi-frame demosaicing and super-resolution with artificial neural networks
Pickup et al. Multiframe super-resolution from a Bayesian perspective
JP5024300B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
KR101028449B1 (ko) 영상 크기 조정 장치 및 방법
WO2023072072A1 (zh) 一种模糊图像生成方法、网络模型训练方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121003

Termination date: 20201130