CN101163224B - 超分辨率装置和方法 - Google Patents

超分辨率装置和方法 Download PDF

Info

Publication number
CN101163224B
CN101163224B CN2007101819015A CN200710181901A CN101163224B CN 101163224 B CN101163224 B CN 101163224B CN 2007101819015 A CN2007101819015 A CN 2007101819015A CN 200710181901 A CN200710181901 A CN 200710181901A CN 101163224 B CN101163224 B CN 101163224B
Authority
CN
China
Prior art keywords
pixel
difference
pixels
search
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101819015A
Other languages
English (en)
Other versions
CN101163224A (zh
Inventor
松本信幸
井田孝
竹岛秀则
田口安则
五十川贤造
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101163224A publication Critical patent/CN101163224A/zh
Application granted granted Critical
Publication of CN101163224B publication Critical patent/CN101163224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种超分辨率装置和方法，包括：将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的像素值，设定包括目标像素及其周边像素的区域作为目标区域，设定用于在目标像素区域中搜索像素值变化样式的区域；计算第一变化样式和第二变化样式之间的差值；比较第一和第二变化样式之间的差值；根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。

Description

超分辨率装置和方法
技术领域
本发明涉及超分辨率装置和方法。
背景技术
具有大量像素和高分辨率的电视或显示器正在被广泛使用。这些电视或显示器在显示图像时将图像数据中的多个像素转换成显示面板的多个像素。在增加像素数目的超分辨率转换中，通常采用复帧劣化逆转换法(multiple frame deterioration reverseconversion method)来获得比传统线性内差法(linear interpolation method)更清晰的图像(例如，参见USP 6,285,804，S.Park等人，“Super resolution Image Reconstruction：A Technical Overview(超分辨率图像重建：技术综述)”，IEEE Signal ProcessingMagazine(IEEE信号处理杂志)，USA，IEEE 2003年5月，第21-36页，其内容通过引用包含在此)。
利用在参考帧中出现的被拍摄对象也出现在别的帧中这一事实，复帧劣化逆转换法以像素间隔以下的高精确度检测被拍摄对象的移动，并且获得多个采样值，采样值的位置相对于被拍摄对象的同一局部位置发生微小移位。
在复帧劣化逆转换法中，需要很多低分辨率图像，以获得足够数目的采样值，因而导致存储器数量增加。另外，还有一个问题是需要通过块匹配搜索处理获得多个对应点的关系，因而导致计算量增加。
发明内容
在这种情况下，本发明的目的是提供超分辨率装置和方法，用较少的存储器和计算量获得清晰的超分辨率图像。
为实现上述目的，本发明的一个方面是一种超分辨率装置，包括：
候补区域设定单元，将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的像素值，将包括目标像素以及目标像素周边像素的区域设定为目标像素区域，以及设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
匹配差值计算单元，计算至少一个以下两者之间的差值，目标像素区域中所包含像素的像素值的第一变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二变化样式之间的差值；
差值比较单元，比较搜索区域中由匹配差值计算单元计算得到的差值，获得具有最小差值的第一像素位置；
存储器，存储第一像素位置及其差值，以及围绕在第一像素位置周围的第二像素位置及其差值；
十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其差值，以及第二像素位置及其差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；
外插向量计算单元，利用十进制精度向量计算十进制精度向量的外插向量，该外插向量终止于不包括在搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
附图说明
图1是根据本发明的实施例的超分辨率装置的框图；
图2是根据本发明的实施例的超分辨率装置的框图；
图3是根据本发明的实施例的超分辨率装置的操作实例的流程图；
图4是显示低分辨率图像数据的屏幕和像素之间的位置关系的示意图；
图5是显示通过对图4所示图像进行超分辨率处理所获得的超分辨率图像的示意图；
图6是显示通过匹配图4中图像的像素间隔和图5中图像的像素间隔所获得的低分辨率图像的示意图；
图7是显示图4和图5中的像素之间的位置关系的示意图；
图8是显示被拍摄数据的位置坐标和亮度之间的关系的示意图；
图9是显示目标像素和目标图像区域的设定的示意图；
图10是显示目标像素和搜索区域的设定的示意图；
图11是说明抛物线拟合法的示意图；
图12是显示通过匹配处理计算自相一致位置的示意图；
图13是显示通过外插估算生成自相一致位置的示意图；
图14是显示通过内插估算生成自相一致位置的示意图；
图15是显示通过复制生成自相一致位置的示意图；
图16是显示在屏幕空间内计算得到的多个自相一致位置的示意图；
图17是显示通过重叠法获得超分辨率图像的像素值时的操作实例的流程图；
图18是显示用于说明初步估算的超分辨率图像的样本值的计算方法的屏幕、像素以及矩形的示意图；
图19是显示通过为每个样本值确立条件式的超分辨率的操作实例的流程图；
图20是显示在超分辨率处理之后位置坐标和亮度之间的关系的示意图。
具体实施方式
以下参考附图，对本发明实施例所对应的超分辨率装置和方法进行说明。
图1是根据本发明的实施例的超分辨率装置的框图。
如图1所示，超分辨率装置包括存储器101，候补区域设定单元102，匹配差值计算单元103，差值比较单元104，存储器105，作为十进制精度向量计算单元的具体例的抛物线拟合单元107，存储器108，自相一致位置估算单元109。在本说明书中，术语“自相一致(self-congruent)”表示在同一帧中像素的亮度变化样式相似。术语“自相一致位置(self-congruent position)”是用向量表示的自相一致位置。
存储器101获取并存储低分辨率图像数据。低分辨率图像数据可以是电影或静止图像，是通过在屏幕中配置多个像素获得的并以像素值表示像素亮度的图像数据。在本实施例中，低分辨率图像数据获取自图像源，即诸如照相机或电视机的图像数据生成单元(未显示)。具体而言，低分辨率图像数据是由照相机摄取的或者由电视机接收的图像数据。
候补区域设定单元102将低分辨率图像数据中的多个像素中的至少一个像素设定为目标像素，并将包括目标像素和目标像素周边像素的区域设定为目标像素区域，还设定搜索区域用来在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式。
之后，候补区域设定单元102生成信号，指示目标像素、目标区域和搜索区域，并且将这些信号输出到存储器101和存储器105。
基于指示目标像素、目标区域和搜索区域的信号，存储器101将来自低分辨率像素图像数据的包括目标像素的目标像素区域的图像数据，以及搜索区域中的图像数据输出到匹配差值计算单元103。存储器101向超分辨率像素值计算单元106逐个提供低分辨率图像数据。
匹配差值计算单元103计算目标像素区域中所包含像素的像素值的变化样式和搜索区域中所包含像素的像素值的变化样式之间的差值，搜索区域中所包含像素是指包含搜索区域中的搜索像素和搜索像素周边像素的区域中的像素。
匹配差值计算单元103计算目标像素区域中的图像数据和搜索区域中的图像数据之间的差值。例如，可以通过对各像素值的绝对距离求和或平方距离求和来计算差值。目标像素区域的图像数据可以是，例如，目标块的数据。匹配差值计算单元103依次改变搜索区域中要计算差值的图像部分，并且获得要计算差值的目标像素区域中图像部分的图像数据的差值。
差值比较单元104计算出在搜索区域中由匹配差值计算单元103计算得到的多个差值中具有最小差值的像素位置。
存储器105从候补区域设定单元102获取位置信息，并存储由差值比较单元104计算得到的具有最小差值的像素位置和匹配差值，还存储围绕在具有最小差值的像素位置周围的像素位置以及这些位置的匹配差值。
抛物线拟合单元107根据存储在存储器105中的具有最小差值的像素位置和匹配差值，以及围绕在具有最小差值的像素位置周围的像素位置和这些位置的匹配差值，运用对称函数，以十进制精度计算具有最小差值的像素位置，并且将计算得到的位置确定为自相一致位置。对一个目标像素至少获得一个自相一致位置。在下文中将对抛物线拟合单元107进行详细说明。
自相一致位置估算单元109根据由抛物线拟合单元107计算得到的自相一致位置的变化量，估计和计算至少一个自相一致位置。
存储器108存储自相一致位置的信息，该位置由抛物线拟合单元107和自相一致位置估算单元109获得。
在为低分辨率图像的预定像素获得自相一致位置之后，超分辨率像素值计算单元106从存储器101获得低分辨率图像的图像数据，并从存储器108获得自相一致位置，同时利用低分辨率图像的每个像素数据的自相一致位置，确立条件式，从而获得方案，确定超分辨率图像的像素值，并输出像素值数据。
接下来，参考图2，对采用过采样法替代抛物线拟合法的超分辨率装置进行说明。
图2中的超分辨率装置配置为此种方式，去除了图1中的抛物线拟合单元107，而用过采样单元110和存储器111替代。
候补区域设定单元102将图像数据中所包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括屏幕上分布的多个像素和表示像素亮度的像素值，并将包括目标像素以及目标像素周边像素的区域设定为目标像素区域，还设定搜索区域用来搜索目标像素区域中所包含像素的像素值的多个变化样式。
过采样单元110在图像数据的像素之间插入另一像素，该图像数据的目标像素区域和搜索区域被设置为生成内插图像数据。换句话说，过采样单元110根据差值计算的间隔增加低分辨率数据的数据量。
存储器111暂时存储由过采样单元110采样的数据，并向匹配差值计算单元103提供该数据。
匹配差值计算单元103计算目标像素区域中所包括像素的像素值的变化样式与包括搜索区域中的搜索像素和搜索像素周边像素的区域中所包括像素的像素值的变化样式之间的差值。
差值比较单元104计算出搜索区域中由匹配差值计算单元103计算得到的多个差值中具有最小差值的像素的位置，并且计算从目标像素开始到具有最小差值的像素结束的积分精度向量。
存储器105从候补区域设定单元102获取由差值比较单元104计算得到的具有最小差值的计算像素位置的位置信息，并且存储从目标像素开始到具有最小匹配差值的像素结束的积分精度向量。
在候补区域设定单元102设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式的情况下，匹配差值计算单元103在内插图像数据中计算目标像素区域中所包含像素的像素值的变化样式与第一和第二搜索区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二搜索区域中所包含的像素包括第一和第二搜索区域中的第一和第二搜索像素以及第一和第二搜索像素周边的像素；差值比较单元104比较由匹配差值计算单元103计算得到的第一和第二搜索区域的各个差值，以分别获得具有最小差值的第一像素位置和第二像素位置，并且计算从目标像素开始并分别到具有最小差值的第一和第二像素位置结束的第一和第二积分精度向量。
自相一致位置估算单元109根据匹配差值计算单元103计算得到的差值和存储器105中存储的积分精度向量的变化量，估计和计算一个或多个自相一致位置。
存储器108存储由自相一致位置估算单元109获得的自相一致位置。
在为低分辨率图像的预定像素获得自相一致位置之后，超分辨率像素值计算单元106从存储器101获得低分辨率图像的图像数据，并从存储器108获得自相一致位置，同时利用低分辨率图像的每个像素数据的自相一致位置确立条件式，求解确定超分辨率图像的像素值，并输出像素值数据。
以下参考图3，结合图1对超分辨率装置的操作实施例进行说明。在下述说明中图像可以称为帧。
如图3所示，在步骤S201中，候补区域设定单元102按照预定顺序将低分辨率图像数据的像素设定为目标像素。对于静止图像，该顺序是光栅顺序，例如，在屏幕上从左上像素向右，从最上一行向下。
然后，在步骤S202中，匹配差值计算单元103，差值比较单元104，和抛物线拟合单元107在低分辨率图像数据的屏幕范围内检测对应于目标像素的点(自相一致位置)。
接下来，在步骤S203中，自相一致位置估算单元109根据抛物线拟合单元107计算的自相一致位置的变化量，估算并生成新的自相一致位置。
接下来，在步骤S204中，匹配差值计算单元103确定是否已为高分辨率处理所用的低分辨率图像数据的每个像素获得自相一致位置。如果否，处理返回到步骤S201，在其中处理下一个像素，如果是，处理前进到步骤S205。
接下来，在步骤S205中，超分辨率像素值计算单元106利用低分辨率图像数据的像素值以及检测到的自相一致位置，计算对应于低分辨率图像数据的超分辨率图像数据的像素值，并且终止处理。将参考图16对超分辨率图像数据的像素值的计算进行说明。
图4显示低分辨率图像的屏幕301和像素302之间的位置关系。
该图像的亮度在屏幕范围中基本上连续分布。然而，对于此处处理的数码图像数据，像素在屏幕空间内分布为离散的采样点，并且其周围的亮度由每个像素本身的亮度代表。
图4显示屏幕被分为横向6个、纵向4个的24个正方形，并且24个像素301分布在上述各个正方形的中心作为采样点302。
接下来图5显示通过使图4所示屏幕横向2倍、纵向2倍，对图4所示屏幕应用超分辨率处理的状态。超分辨率图像数据中的像素的采样点401由空心圆表示。在这种方式下，像素的采样点401的间隔是低分辨率图像数据的一半。
图6用与超分辨率图像数据的间隔相同的间隔显示原始低分辨率图像数据的像素。在这种情况下，低分辨率图像数据的尺寸小于超分辨率图像数据的尺寸。
在这种情况下，当调整低分辨率图像数据的屏幕尺寸以匹配超分辨率图像数据的屏幕时，像素的采样点间隔将增加，并且当调整像素的采样点间隔以匹配超分辨率图像数据的采样点间隔时，屏幕的尺寸将减少。然而，这些现象说明同一件事，所以在本说明书中，为了便于说明，低分辨率图像如图4和图6所示。
图7是利用实心圆显示低分辨率图像数据的像素的采样点，并且以空心圆显示超分辨率图像数据的像素的采样点的示意图。超分辨率的处理是根据由实心圆表征的采样点的亮度值，获取由空心圆表示的采样点的亮度值。
接下来，利用图8到图11，以具体实例对图3中说明的步骤S202进行说明。
在相关技术的复帧劣化逆转换法中，执行超分辨率处理是通过以子像素精度计算多个帧中的对应相同点，增加低分辨率图像数据的采样点的数目。换句话说，需要在多个帧中通过对具有相同亮度变化的部分以不同相位进行采样获得大量像素值，因此需要很大的存储器。
图8显示实际图片的数据。
横轴代表像素的横坐标，纵轴代表亮度。5行数据分别用不同的曲线表示。如图所示，在同一帧中存在有即使行不同但亮度非常相近的位置。图像的这种特性被称为在局部样式上具有自相一致特性，并且在特定目标像素周围存在的自相一致位置被称为自相一致位置。
在本发明中，由于利用被拍摄对象在帧内的自相一致特性实现超分辨率，因此不再需要在存储器中保持多个低分辨率图像数据，从而能够以较小的存储容量实现超分辨率。
图9是显示图1和图2所示的候补区域设定单元102设定目标像素和目标区域的状态的示意图。
如图9所示，候补区域设定单元102提取一些正方形像素，例如，从目标像素801位于中心的帧802中提取具有5×5像素或3×3像素的正方形方块803。
图10是显示图1和图2所示的候补区域设定单元102设定搜索区域901的状态的示意图。在该图中表示的实例是将搜索区域设定为y坐标固定、在x方向上设定6个像素。匹配差值计算单元103为搜索区域901中包括的各个像素搜索像素值的变化样式接近图9所示的目标图像区域803的部分。
匹配差值计算单元103计算的各个图像区域的匹配差值可以是SSD(平方距离和)，即图像区域中各个像素值之间的平方距离之和，或者SAD(绝对距离和)，即绝对距离之和。
在这种情况下，搜索区域在y坐标固定的情况下设定于x方向。用这种方式获取子像素估算的方法在低分辨率图像数据的亮度在横向发生变化时尤为有效。
虽然没有在图中显示，但是当低分辨率图像数据的亮度在纵向发生变化时，固定x坐标、将搜索区域设定为y方向并且获取子像素估算的方法也是有效的。
因此，如果边缘为纵向，就用候补区域设定单元102将至少一个搜索区域设定在与边缘垂直的横向，如果边缘为横向，则用候补区域设定单元102将至少一个搜索区域设定在纵向的方法是有效的。换句话说，检测目标像素的像素值的倾斜方向，用以在倾斜方向上搜索自相一致位置。
调用来自候补区域设定单元102的像素的位置信息，通过比较匹配差值计算单元103计算得到的匹配差值，获得具有最小差值的像素位置，并且将具有最小差值的像素位置及其匹配差值、以及围绕在具有最小差值的像素位置周围的像素的位置和这些位置的匹配差值存储在存储器中。
接下来，对在预设搜索区域中的子像素(具有十进制精度)的估算进行说明。估算子像素的一个方法是抛物线拟合法(例如，见“Signification and Property of Sub pixelEstimation in Image Matching(图像匹配中子像素估算的含义和性质)”，Shimizu，Okutomi，其内容通过引用包含在此)。
抛物线拟合法根据目标像素区域和预设搜索区域内像素周围的候补图像区域之间的具有积分精度的匹配差值，计算具有十进制精度的最小匹配差值的位置。
通过在搜索区域中以积分精度移动候补图像区域的位置计算匹配差值，并且计算搜索区域空间内具有积分精度的匹配差值地图。
图11是显示抛物线拟合法的匹配方法的曲线图，其中横轴表示像素，纵轴表示匹配差值。
如图11所示，通过在具有最小匹配差值的积分精度的位置移位量(x＝m)周围应用抛物线(或者对称连续函数)，可以计算出子像素精度的位置移位量，作为应用到积分精度的离散匹配差值图的抛物线(或者对称连续函数)的顶点位置。
图12是利用抛物线拟合法计算十进制精度向量的状态的示意图。
如图12所示，根据在搜索区域901中的每个像素上计算得到的匹配差值，在搜索区域901中以十进制精度计算出具有最小差值的位置，并且计算出从目标像素801开始并终止于该位置的具有十进制精度的向量1101。
除了抛物线拟合法，也可以采用Shimizu，Okutomi在“Signification and Property ofSub pixel Estimation in Image Matching(图像匹配中子像素估算的含义和性质)”中提出的等角拟合法。
在利用结合图2所说明的过采样单元110的方法中，低分辨率图像数据被放大，例如，通过诸如线性内插或立方卷积法的放大方法放大到两倍。当在该状态下搜索像素精度时，相当于用原始低分辨率图像数据中的0.5个像素的精度计算移位量。以这种方式，在过采样法中，必需加倍数据量使精度(获得差值的间隔)减半，并且使数据量增加到四倍，而使精度降到四分之一。
以下参考图13到图15，对图3中步骤S203所执行的估算生成自相一致位置进行说明。
由于需要计算搜索区域中的图像区域之间的匹配差值，并且计算次数与获得自相一致位置的数量相对应，所以在步骤S202中执行的自相一致位置计算需要很大的处理量。因此，在步骤S203中，根据步骤S202中计算的自相一致位置，通过外插估算、内插估算和复制估算，用很小的处理量生成新的自相一致位置。
这里外插估算是指从由匹配计算得到的一个或多个自相一致位置以外的搜索区域中估算的新的自相一致位置。
内插估算是指从由匹配计算得到的两个或多个自相一致位置以内的搜索区域中估算的新的自相一致位置。
复制估算是指估算通过匹配计算得到的目标像素的自相一致位置作为附近的目标像素的自相一致位置。
图13是显示通过外插估算生成自相一致位置的示意图；
如图13所示，用图3中的步骤S202计算得到目标像素1201上一行上的自相一致位置1202。通过外插，目标像素1201上两行上的自相一致位置可以估算为将目标像素1201上一行上的自相一致位置1202的变化量的两倍。参考标号1203代表通过外插估算获得的目标像素1201上两行上的自相一致位置。
外插的执行不仅可以从一个自相一致位置估算一个位置，还可以估算多个自相一致位置。同样可以将新的自相一致位置估算在十进制倍乘变化量的位置，以及积分倍乘变化量的位置上。
换句话说，通过利用由图1中的抛物线拟合单元107在搜索区域中以十进制精度计算的具有十进制精度的向量1202，该向量从目标像素开始并且终止于具有最小差值的位置，或者通过利用在图像数据的像素之间内插另一个像素而获得的具有积分精度的向量1202，在该图像数据中设定目标像素区域和搜索区域以生成内插图像数据，并且之后用图2中的过采样单元110计算具有最小差值的位置，计算出具有十进制精度、终止于屏幕上不包括在搜索区域中的像素的外插向量1203。
图14是用于说明通过内插估算生成自相一致位置的示意图。
如图14所示，目标像素1301上一行上的自相一致位置1302以及目标像素1301上三行上的自相一致位置1303通过图3中的步骤S202计算得到。在目标像素1301上两行上的自相一致位置1302可以通过内插，估算为从目标像素位置1301到一行之上的自相一致位置1302的变化量，与从目标像素位置1301到三行之上的自相一致位置1303的变化量之间的内部划分点。
内插估算不仅可以从两个自相一致位置1302，1303估算单个自相一致位置1304，而且可以通过内部划分为n个相等的块，获得多个自相一致位置。
换句话说，通过利用由图1中的抛物线拟合单元107在搜索区域中以十进制精度计算的具有十进制精度的向量1202，该向量从目标像素开始并且终止于具有最小差值的位置，或者通过利用在图像数据的像素之间内插另一个像素得到的具有积分精度的向量1302、1303，在该图像数据中设置目标像素区域和搜索区域以生成内插图像数据，并且之后用图2中的过采样单元110计算具有最小差值的位置，计算出具有十进制精度、终止于屏幕上不包括在搜索区域中的像素的内插向量1304。
图15是说明通过复制估算生成自相一致位置的示意图。
如图15所示，用图3中的步骤S202计算得到目标像素1401上一行上的自相一致位置1402。通过将目标像素位置1401的变化量复制到自相一致位置1402，可以生成目标像素位置1401上一行上的自相一致位置1404以及目标像素位置1401下一行上的自相一致位置1406。
换句话说，通过利用由图1中的抛物线拟合单元107在搜索区域中以十进制精度计算的具有十进制精度的向量1202，该向量从目标像素开始并且终止于具有最小差值的位置，或者通过利用由在图像数据的像素之间内插另一个像素而获得的具有积分精度的向量1402，在该图像中设定目标像素区域和搜索区域以生成内插图像数据，并且之后用图2中的过采样单元110计算具有最小差值的位置，并计算具有十进制精度、终止于屏幕上不包括在搜索区域中的像素的自相一致向量。
如上所述，通过在图3中的步骤S203估算自相一致位置，可以用较小的处理量计算出自相一致位置。另外，自相一致位置可以被缓冲，以提高图像质量。此外，由于自相一致位置在更靠近目标像素的位置，从而可以在目标像素位置1401上一行的自相一致位置之上的0.5行和1.5行生成自相一致位置，从而实现图像质量的提高。
以下参考图16，对图3中的步骤S205中执行的超分辨率图像数据的像素值计算进行说明。
当图3中的步骤S204的步骤结束时，可以获得图16中交叉符号指示的自相一致位置。在这种方式下，尽管存在多种方式从分布不均匀的采样点获得以晶格样式分布的像素的值，例如，当采用重叠法(例如，非均匀内插，见S.Park等人“Super resolutionImage Reconstruction：A Technical Overview(超分辨率图像重建：技术综述)”第25页)可以通过预测接近的采样值，获得超分辨率图像数据的像素值，并且找到超分辨率图像数据像素的最接近位置的采样值，并且确定该采样值为超分辨率图像数据的像素值。另一方面，可以随着距离超分辨率图像数据的像素的距离减少，增加采样值的权重，并且将采样值的加权平均值确定为超分辨率图像数据的像素值。再另一方面，可以采用一定距离之内的采样值的平均值作为超分辨率图像数据的像素值。
接下来参考图17，对通过重叠法获得超分辨率图像数据的像素值的流程图进行说明。
如图17所示，在步骤S1601中，对超分辨率图像数据的每个像素获得到各个采样点的距离。
接下来，在步骤S1602中，作为采样值的加权平均值，获得各个像素值。此时，采样值到各个像素的距离越近，其权重越大。
当采用POCS法(例如，见S.Park等，“Super resolution Image Reconstruction：ATechnical Overview(超分辨率图像重建：技术综述)”第29页)替代重叠法时，过程将更复杂，不过可以获得更清晰的图像。
在POCS法中，通过双线性内插法或者立方卷积法，对超分辨率图像数据的每个像素提供初步估算的超分辨率图像。然后，将计算出当使用超分辨率图像数据的初始估算超分辨率图像的像素值时各个采样值位置处的估算超分辨率图像。
以下参考图18，对初步采样值的计算方法进行说明。
如图18所示，屏幕1701被分成多个正方形1702。代表各个正方形的亮度分布的像素值是其中央的像素值1703。正方形的尺寸由像素密度决定。例如，当分辨率在横向和纵向方向上减半时，正方形的尺寸将在横向和纵向方向上增加一倍。
在图18中，超分辨率图像数据的像素由空心圆表示，并且与分辨率减半的低分辨率图像数据对应的采样点用实心圆表示。
当初步估算的超分辨率图像的像素值被应用到超分辨率图像数据的像素时，将计算初步估算的超分辨率图像在采样点1704处的采样值，作为从1705到1708的像素的像素值的平均值。此为采样点1704位于超分辨率图像数据的像素中央的情况。
当位于采样点1709的位置时，将确定该采样点所示正方形1710交叠部分的加权平均值作为初始估算的超分辨率图像的采样值。例如，过将阴影部分1702的表面积转化为权重，确定像素1711的权重。与正方形1710交叠的9个正方形进行加权，以致正比于交叠的表面积，并且然后从9个像素值获得加权平均值，作为初步估算的超分辨率图像的采样值。
如果超分辨率图像数据精确，作为低分辨率图像数据成像的采样值必须匹配初步估算的超分辨率图像的采样值。
然而，它们一般不匹配。因此需要更新初步估算的超分辨率图像的采样值以达到匹配。要获得采样值与初始采样值之间的差值，并且将该差值加上或者减去初步估算的超分辨率图像的像素值以消除差值。由于存在很多像素值，差值被除以采样中所用的权重，并且被加到每个像素值上或从其上减去。相应而言，在这时计算的采样点上，采样值与初步估算的超分辨率图像的采样值匹配。然而，在另一个采样点上的更新处理中，相同超分辨率图像的像素数据可以被更新。因此，该更新步骤对每个采样点重复很多次。由于通过这种重复处理，超分辨率图像数据逐渐接近精确值，在重复预定次数之后获得的图像被输出为超分辨率图像数据。
在这种方式下，POCS法是一种获得超分辨率图像数据的像素值的方法，使用超分辨率图像数据的像素值作为未知值，求解条件表达式，其给出从未知值获得的估算超分辨率图像的采样值等于实际成像的低分辨率图像数据的像素值的采样值的条件，并且可以使用迭代反投射法(见S.Park等，“Super resolution Image Reconstruction：ATechnical Overview(超分辨率图像重建：技术综述)”第31页)或MAP法(见S.Park等，“Super resolution Image Reconstruction：A Technical Overview(超分辨率图像重建：技术综述)”第28页)作为替代方法，求解出这些条件表达式。
图19是为超分辨率确立条件表达式的流程图。
如图19所示，在步骤S1801中，对低分辨率图像数据的像素，即对各个采样值建立上述条件表达式。
接下来，在步骤S1802中，通过联立方程求解条件表达式，得到超分辨率图像数据的像素值。
图20显示在通过向固定图像采用相关技术中的立方卷积法以及本实施例的对应方法，得到的超分辨率图像中的特定行的亮度值的状态。横轴代表像素，纵轴代表亮度值。这是大幅光影图像中白线的放大部分。
如图20所示，y坐标中633所示暗部中的暗度得到加强，y坐标中637所示亮部中的亮度得到加强。
对于设定第一和第二搜索区域的变化例，本发明的超分辨率装置包括：候补区域设定单元，匹配差值计算单元，差值比较单元，存储器，十进制精度向量计算单元，内插向量计算单元，超分辨率像素值计算单元。
候补区域设定单元将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式。
匹配差值计算单元计算目标像素区域中所包含像素的像素值的第一变化样式与第一和第二搜索区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二区域中所包含的像素包括第一和第二搜索像素以及第一和第二搜索像素周边的像素。
差值比较单元比较第一和第二变化样式之间的差值，获得具有第一和第二最小差值的第一和第二像素位置，具有第三差值在第一搜索像素周边的第三像素位置，以及具有第四差值在第二搜索像素周边的第四像素位置。
存储器存储由差值比较单元计算的第一像素位置及其第一最小差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值。
十进制精度向量计算单元根据存储在存储器中的第一像素位置及其第一最小差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值，以十进制精度计算第一和第二搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的第一十进制精度向量和第二十进制精度向量。
内插向量计算单元利用第一和第二十进制精度向量计算第一和第二十进制精度向量的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕上的像素。
超分辨率像素值计算单元根据十进制精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。

Claims (12)

1.一种超分辨率装置，其特征在于，包括：
候补区域设定单元，
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
匹配差值计算单元，计算至少一个以下两者之间的差值
目标像素区域中所包含像素的像素值的第一变化样式，和
包含搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二变化样式；
差值比较单元，比较搜索区域中由匹配差值计算单元计算得到的差值，获得具有最小差值的第一像素位置；
存储器，存储第一像素位置及其差值，以及围绕在第一像素位置周围的第二像素位置及其差值；
十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其差值，以及第二像素位置及其差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；
外插向量计算单元，利用十进制精度向量计算十进制精度向量的外插向量，该外插向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
2.一种超分辨率装置，其特征在于，包括：
候补区域设定单元，
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及
设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与第一和第二搜索区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二区域中所包含的像素包括第一和第二搜索像素以及第一和第二搜索像素周边的像素；
差值比较单元，比较第一和第二变化样式之间的差值，获得具有第一和第二最小差值的第一和第二像素位置，具有第三差值在第一搜索像素周边的第三像素位置，以及具有第四差值在第二搜索像素周边的第四像素位置；
存储器，存储由差值比较单元计算的第一像素位置及其第一最小差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值；
十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其第一最小差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值，以十进制精度计算第一和第二搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的第一十进制精度向量和第二十进制精度向量；
内插向量计算单元，利用第一和第二十进制精度向量计算第一和第二十进制精度向量的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据十进制精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
3.一种超分辨率装置，其特征在于，包括：
候补区域设定单元，
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二变化样式之间的差值；
差值比较单元，比较搜索区域中由匹配差值计算单元计算得到的差值，获得具有最小差值的第一像素位置；
存储器，存储第一像素位置及其差值，以及第二像素位置及其差值；
十进制精度向量计算单元，根据存储在存储器中的第一像素位置及其差值，以及第二像素位置及其差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；
一致向量计算单元，利用十进制精度向量计算十进制精度向量的一致向量，该一致向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据十进制精度向量、一致向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
4.一种超分辨率装置，其特征在于，包括：
候补区域设定单元，
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
过采样单元，在图像数据的像素之间内插另一像素；
匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二变化样式之间的差值；
差值比较单元，比较由匹配差值计算单元计算得到的搜索区域中的各个像素的变化样式的差值，以获得具有最小差值的像素位置，并且计算从目标像素开始到具有最小差值的像素结束的积分精度向量；
存储器，存储从目标像素开始到具有最小差值的像素结束的积分精度向量；
外插向量计算单元，利用积分精度向量计算积分精度向量的外插向量，该外插向量从搜索像素开始并终止于不包括在搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
5.一种超分辨率装置，其特征在于，包括：
候补区域设定单元，
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及
设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
过采样单元，在图像数据的像素之间内插另一像素；
匹配差值计算单元，在内插图像数据中计算目标像素区域中所包含像素的像素值的变化样式与第一和第二区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二区域中所包含的像素包括第一和第二搜索区域中的第一和第二搜索像素以及第一和第二搜索像素周边的像素；
差值比较单元，比较由匹配差值计算单元计算得到的第一和第二搜索区域的各个差值，以分别获得具有最小差值的第一像素位置和第二像素位置，并且计算从目标像素开始并分别到具有最小差值的第一和第二像素位置结束的第一和第二积分精度向量；
内插向量计算单元，利用第一和第二积分精度向量计算第一和第二积分精度向量的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据积分精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
6.一种超分辨率装置，其特征在于，包括：
候补区域设定单元，
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，以及
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
过采样单元，在图像数据的像素之间内插另一像素；
匹配差值计算单元，计算目标像素区域中所包含像素的像素值的第一变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的第二变化样式之间的差值；
差值比较单元，比较由匹配差值计算单元计算得到的第一和第二变化样式的差值，以获得具有最小差值的像素位置，并且计算从目标像素开始到具有最小差值的像素结束的积分精度向量；
存储器，存储从目标像素开始到具有最小差值的像素结束的积分精度向量；
一致向量计算单元，利用积分精度向量计算积分精度向量的一致向量，该一致向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及
超分辨率像素值计算单元，根据积分精度向量、一致向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
7.一种超分辨率方法，其特征在于，包括：
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；
比较搜索区域中的各个像素的变化样式的差值，获得具有最小差值的第一像素位置；
存储第一像素位置及其差值，以及围绕在第一像素位置周围的第二像素位置及其差值；
根据第一像素位置及其差值以及第二像素位置及其差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；
利用十进制精度向量计算十进制精度向量的外插向量，该外插向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及
根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
8.一种超分辨率方法，其特征在于，包括：
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，
设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
计算目标像素区域中所包含像素的像素值的第一变化样式与第一和第二区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二区域中所包含的像素包括第一和第二搜索区域中的第一和第二搜索像素以及第一和第二搜索像素周边的像素；
通过差值比较单元比较第一和第二搜索区域中各像素的第一和第二变化样式之间的差值，获得具有最小差值的第一和第二像素位置，具有第三差值在第一像素周边的第三像素位置，以及具有第四差值在第二像素周边的第四像素位置；
存储计算得到的第一像素位置及其第一差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值；
根据存储在存储器中的第一像素位置及其第一差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值，以十进制精度计算第一和第二搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的第一十进制精度向量和第二十进制精度向量；
利用第一和第二十进制精度向量计算第一和第二十进制精度向量的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕上的像素；以及
根据十进制精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
9.一种超分辨率方法，其特征在于，包括：
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
对搜索区域中的各像素计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；
由差值比较单元比较由匹配差值计算单元计算得到的搜索区域中各像素的变化样式的差值，获得具有最小差值的第一像素位置；
在存储器中存储第一像素位置及其差值，以及围绕在第一像素位置周围的第二像素位置及其差值；
根据存储在存储器中的第一像素位置及其差值，以及第二像素位置及其差值，以十进制精度计算搜索区域中具有最小差值的位置，并且计算从目标像素开始并终止于具有最小差值的位置的十进制精度向量；
利用十进制精度向量计算十进制精度向量的一致向量，该一致向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及
根据十进制精度向量、一致向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
10.一种超分辨率方法，其特征在于，包括：
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
在图像数据的像素之间内插另一像素，设定目标像素区域和搜索区域生成内插图像数据；
计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；
比较搜索区域中的各个像素的变化样式的差值，以获得具有最小差值的像素位置，并且计算从目标像素开始到具有最小差值的像素结束的积分精度向量；
利用积分精度向量计算积分精度向量的外插向量，该外插向量从搜索像素开始并终止于不包括在搜索区域中的屏幕上的像素；以及
根据十进制精度向量、外插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
11.一种超分辨率方法，其特征在于，包括：
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，
设定第一和第二搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
在图像数据的像素之间内插另一像素，设定目标像素区域以及第一和第二搜索区域生成内插图像数据；
在内插图像数据中计算目标像素区域中所包含像素的像素值的变化样式与第一和第二区域中所包含像素的像素值的第一和第二变化样式之间的第一和第二差值，第一和第二区域中所包含的像素包括第一和第二搜索区域中的第一和第二搜索像素以及第一和第二搜索像素周边的像素；
比较第一和第二搜索区域的变化样式的各个差值，以分别获得具有最小差值的第一像素位置和第二像素位置，并且计算从目标像素开始并分别到具有最小差值的第一和第二像素结束的第一和第二积分精度向量；
利用第一和第二积分精度向量计算第一和第二积分精度向量的内插向量，该内插向量从具有最小差值的位置开始并终止于不包括在第一和第二搜索区域中的屏幕上的像素；以及
根据积分精度向量、内插向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
12.一种超分辨率方法，其特征在于，包括：
将图像数据中包含的多个像素中的至少一个像素设定为目标像素，该图像数据包括分布在屏幕中的多个像素和代表像素亮度的对应像素值，
在屏幕中设定包括目标像素以及目标像素周边像素的区域作为目标像素区域，
设定搜索区域用于在屏幕中搜索目标像素区域中所包含像素的像素值的多个变化样式；
在图像数据的像素之间内插另一像素，设定目标像素区域和搜索区域生成内插图像数据；
计算目标像素区域中所包含像素的像素值的变化样式与包含搜索区域中的搜索像素和搜索像素周边像素的区域中所包含像素的像素值的变化样式之间的差值；
比较搜索区域中的各个像素的变化样式的差值，以获得具有最小差值的像素位置，并且计算从目标像素开始到具有最小差值的像素结束的积分精度向量；
利用积分精度向量计算积分精度向量的一致向量，该一致向量从具有最小差值的位置开始并终止于不包括在搜索区域中的屏幕上的像素；以及
根据积分精度向量、一致向量以及从图像数据获得的像素值，计算像素数目大于图像数据中所包括像素数目的超分辨率图像的像素值。
CN2007101819015A 2006-10-10 2007-10-10 超分辨率装置和方法 Expired - Fee Related CN101163224B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006276128A JP4818053B2 (ja) 2006-10-10 2006-10-10 高解像度化装置および方法
JP2006276128 2006-10-10
JP2006-276128 2006-10-10

Publications (2)

Publication Number Publication Date
CN101163224A CN101163224A (zh) 2008-04-16
CN101163224B true CN101163224B (zh) 2012-12-05

Family

ID=38982703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101819015A Expired - Fee Related CN101163224B (zh) 2006-10-10 2007-10-10 超分辨率装置和方法

Country Status (4)

Country Link
US (2) US8014632B2 (zh)
EP (1) EP1912171A3 (zh)
JP (1) JP4818053B2 (zh)
CN (1) CN101163224B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4818053B2 (ja) * 2006-10-10 2011-11-16 株式会社東芝 高解像度化装置および方法
JP4886583B2 (ja) * 2007-04-26 2012-02-29 株式会社東芝 画像拡大装置および方法
JP4490987B2 (ja) * 2007-04-26 2010-06-30 株式会社東芝 高解像度化装置および方法
JP4461165B2 (ja) * 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
JP5238220B2 (ja) * 2007-10-29 2013-07-17 株式会社東芝 解像度変換装置、方法およびプログラム
US8098962B2 (en) * 2007-11-20 2012-01-17 Kabushiki Kaisha Toshiba Signal processing method, apparatus, and program
JP4987688B2 (ja) * 2007-12-25 2012-07-25 株式会社東芝 画像高解像度化方法および装置
JP2009212969A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP4565016B2 (ja) * 2008-05-16 2010-10-20 キヤノン株式会社 画像処理装置、画像処理方法及びそのプログラムならびにこのプログラムを記憶させたコンピュータ読み取り可能な記憶媒体
WO2009141770A1 (en) * 2008-05-21 2009-11-26 Koninklijke Philips Electronics N.V. Image resolution enhancement
JP5072736B2 (ja) * 2008-06-30 2012-11-14 株式会社東芝 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム
JP5166156B2 (ja) 2008-07-25 2013-03-21 株式会社東芝 解像度変換装置、方法およびプログラム
JP2010041336A (ja) 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
JP4444354B2 (ja) 2008-08-04 2010-03-31 株式会社東芝 画像処理装置、および画像処理方法
US8581906B2 (en) 2008-08-04 2013-11-12 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP4427592B2 (ja) 2008-08-04 2010-03-10 株式会社東芝 画像処理装置、および画像処理方法
US8270773B2 (en) 2008-08-04 2012-09-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
US20100053166A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Information processing apparatus, and super-resolution achievement method and program
US20100061638A1 (en) * 2008-08-29 2010-03-11 Yasuyuki Tanaka Information processing apparatus, information processing method, and computer-readable storage medium
JP4435251B2 (ja) * 2008-08-29 2010-03-17 株式会社東芝 映像表示装置、映像再生装置、映像表示方法および映像再生方法
JP2010072901A (ja) * 2008-09-18 2010-04-02 Toshiba Corp 画像処理装置およびその方法
JP2010087620A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 映像処理装置及び映像処理方法
KR102090499B1 (ko) * 2008-12-19 2020-03-18 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시장치의 구동방법
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
KR102104986B1 (ko) 2009-02-06 2020-04-27 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
CN101556690B (zh) * 2009-05-14 2015-01-07 复旦大学 基于词典学习和稀疏表示的超分辨率算法
CN101551902B (zh) * 2009-05-15 2011-07-27 武汉大学 基于学习的压缩视频超分辨率的特征匹配方法
US8872910B1 (en) * 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
JP5279654B2 (ja) * 2009-08-06 2013-09-04 キヤノン株式会社 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JP4908559B2 (ja) * 2009-08-28 2012-04-04 株式会社東芝 高解像度化装置
TWI399703B (zh) * 2009-12-02 2013-06-21 Micro Star Int Co Ltd 往返縮放之影像放大方法
US8730268B2 (en) * 2010-02-05 2014-05-20 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizona State University Image processing systems and methods
JP2013031163A (ja) * 2011-06-24 2013-02-07 Panasonic Corp 超解像処理装置及び超解像処理方法
EP2594224A1 (en) 2011-11-15 2013-05-22 A.B. Dental Devices Ltd. Dental platform
JP2013142775A (ja) * 2012-01-11 2013-07-22 Sony Corp 表示装置、電子機器、表示方法、並びにプログラム
US9009361B2 (en) 2013-06-25 2015-04-14 Kabushiki Kaisha Toshiba Video processing system, video output apparatus, video display apparatus and video processing method
CN105450924B (zh) 2014-09-30 2019-04-12 北京智谷技术服务有限公司 超分辨率图像的获取方法和装置
CN104835440B (zh) * 2015-05-22 2017-08-29 京东方科技集团股份有限公司 图像的显示方法、显示装置
CN107563978A (zh) * 2017-08-31 2018-01-09 苏州科达科技股份有限公司 人脸去模糊方法及装置
TWI757015B (zh) * 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999019834A1 (en) * 1997-10-14 1999-04-22 Faroudja Laboratories, Inc. Adaptive diagonal interpolation for image resolution enhancement
CN1614654A (zh) * 2003-11-07 2005-05-11 南京理工大学 基于像素重组的彩色阵列超分辨率显示方法
WO2006035072A1 (en) * 2004-09-30 2006-04-06 It University Of Copenhagen (Itu) Method of and apparatus for forming a final image sequence
CN1863272A (zh) * 2006-02-14 2006-11-15 华为技术有限公司 一种视频图像超分辨率重构方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH643959A5 (de) * 1978-04-14 1984-06-29 Siemens Ag Verfahren und vorrichtung zur automatischen lageerkennung von halbleiterchips.
JP2893293B2 (ja) * 1990-09-07 1999-05-17 コニカ株式会社 フィルム搬送装置
US5987172A (en) * 1995-12-06 1999-11-16 Cognex Corp. Edge peak contour tracker
US6057855A (en) * 1997-07-02 2000-05-02 Hewlett-Packard Company Method and apparatus for providing polygon pixel sub-sample information using incremental means
US6697660B1 (en) * 1998-01-23 2004-02-24 Ctf Systems, Inc. Method for functional brain imaging from magnetoencephalographic data by estimation of source signal-to-noise ratio
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6285804B1 (en) 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
DE10047211B4 (de) * 2000-09-23 2007-03-22 Leica Microsystems Semiconductor Gmbh Verfahren und Vorrichtung zur Positionsbestimmung einer Kante eines Strukturelementes auf einem Substrat
JP3764364B2 (ja) * 2000-10-31 2006-04-05 株式会社東芝 画像特徴点検出方法、画像処理方法、及びプログラム
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7536052B2 (en) * 2003-12-15 2009-05-19 Xerox Corporation Corner sharpening of text and line art in a super resolution anti-aliasing image path
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7613363B2 (en) * 2005-06-23 2009-11-03 Microsoft Corp. Image superresolution through edge extraction and contrast enhancement
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
JP4282645B2 (ja) * 2005-08-31 2009-06-24 株式会社東芝 撮像装置
CA2653815C (en) * 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US7729531B2 (en) * 2006-09-19 2010-06-01 Microsoft Corporation Identifying repeated-structure elements in images
JP4818053B2 (ja) * 2006-10-10 2011-11-16 株式会社東芝 高解像度化装置および方法
JP4490987B2 (ja) * 2007-04-26 2010-06-30 株式会社東芝 高解像度化装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999019834A1 (en) * 1997-10-14 1999-04-22 Faroudja Laboratories, Inc. Adaptive diagonal interpolation for image resolution enhancement
CN1614654A (zh) * 2003-11-07 2005-05-11 南京理工大学 基于像素重组的彩色阵列超分辨率显示方法
WO2006035072A1 (en) * 2004-09-30 2006-04-06 It University Of Copenhagen (Itu) Method of and apparatus for forming a final image sequence
CN1863272A (zh) * 2006-02-14 2006-11-15 华为技术有限公司 一种视频图像超分辨率重构方法

Also Published As

Publication number Publication date
JP4818053B2 (ja) 2011-11-16
US8170376B2 (en) 2012-05-01
JP2008098803A (ja) 2008-04-24
EP1912171A3 (en) 2010-11-10
EP1912171A2 (en) 2008-04-16
CN101163224A (zh) 2008-04-16
US20110268370A1 (en) 2011-11-03
US8014632B2 (en) 2011-09-06
US20080107356A1 (en) 2008-05-08

Similar Documents

Publication Publication Date Title
CN101163224B (zh) 超分辨率装置和方法
US7764848B2 (en) High resolution enabling apparatus and method
KR100362038B1 (ko) 화상움직임을추정하는계산상효율적인방법
KR101393048B1 (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
CN101388977B (zh) 图像处理设备和图像处理方法
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
CN105051785B (zh) 用于运动估算的方法和装置
US7970170B2 (en) Continuous extended range image processing
US20060023119A1 (en) Apparatus and method of motion-compensation adaptive deinterlacing
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
EP0395275A2 (en) Motion dependent video signal processing
JP5047287B2 (ja) 動き解析への用途を有するスパース積分画像記述子
CN102025960B (zh) 一种基于自适应插值的运动补偿去隔行方法
JPH0362690A (ja) 動き補正付きテレビジョン信号方式変換器
CN102055947A (zh) 使用运动估计和补偿的帧速率转换
JP5133038B2 (ja) 画像復元方法および画像復元装置
EP0395272B1 (en) Motion dependent video signal processing
WO2011074121A1 (ja) 動きベクトル検出装置及び方法
CN106920213B (zh) 一种高分辨率图像的获取方法及系统
Park et al. Covariance-based adaptive deinterlacing method using edge map
JP5058720B2 (ja) 映像高解像度化装置及び方法
EP1691545B1 (en) Apparatus for interpolating scanning lines
KR101884371B1 (ko) 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법
Gunturk et al. Gray-scale resolution enhancement
KR101716561B1 (ko) 화소 삽입을 이용한 적응적 영상보간방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121205

Termination date: 20161010

CF01 Termination of patent right due to non-payment of annual fee