CN101571947B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN101571947B CN101571947B CN2008100958477A CN200810095847A CN101571947B CN 101571947 B CN101571947 B CN 101571947B CN 2008100958477 A CN2008100958477 A CN 2008100958477A CN 200810095847 A CN200810095847 A CN 200810095847A CN 101571947 B CN101571947 B CN 101571947B
- Authority
- CN
- China
- Prior art keywords
- correction
- reference frame
- frame
- brightness data
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title description 35
- 238000003672 processing method Methods 0.000 title description 3
- 238000012937 correction Methods 0.000 claims abstract description 216
- 238000000034 method Methods 0.000 claims description 68
- 238000001914 filtration Methods 0.000 claims description 15
- 238000003780 insertion Methods 0.000 claims description 14
- 230000037431 insertion Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 44
- 238000007792 addition Methods 0.000 description 41
- 210000000352 storage cell Anatomy 0.000 description 27
- 230000008569 process Effects 0.000 description 23
- 238000000926 separation method Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 230000007850 degeneration Effects 0.000 description 10
- 230000004304 visual acuity Effects 0.000 description 10
- 238000011426 transformation method Methods 0.000 description 9
- 230000000873 masking effect Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
图像放大设备包括：构造成从图像数据设定参考帧并且计算高分辨率图像数据的第一亮度数据的亮度数据计算单元；构造成在图像数据中包括的至少一个帧中设定多个目标像素并且以小数精度计算相应于参考帧中的所述多个目标像素的各自相应位置的位置计算单元；构造成基于目标像素的第一亮度数据，第三亮度数据及相应位置并行计算相应位置的第一亮度数据的修正量的修正量计算单元；构造成从修正量计算修正量总和的加法单元；和构造成基于修正量总和修正第一亮度数据的亮度数据修正单元。
Description
相关申请的交互引用
本申请基于2007年4月26日申请的第2007-117107号日本专利申请并要求对于该申请的优先权利益，该申请的全部内容通过引用而结合在本文中。
技术领域
本发明涉及图像放大设备及方法。
背景技术
大像素量即高分辨率电视机或显示器已得到广泛使用。每当显示图像时，这些电视机或显示器将图像数据的像素量转换成显示面板的像素量。为了进行高分辨率处理，已知以基于采样原理的Sinc函数进行滤波处理的滤波方法(诸如立方卷积法或BiCubic(双立方)法，和能够提供更鲜明清晰的图像的多帧退化逆变换法(参见JP-A-2000-188680(kokai)和S.Park等人的Super-Resolution Image Reconstruction：A Technical Overview，IEEE SignalProcessing Magazine，USA，IEEE，May 2003，p.21 to 36)。
所述多帧逆变换法是这样的高分辨率处理法。该方法关注在参考帧(分辨率将要提高的帧)中成像的目标也在与其逐次的另一个帧中成像，并且目标的运动以等于或小于像素间隔的小数精度探测。然后确定相对于该目标的同一个局部部分在位置上微观移动的多个样本值。这样，对于多个样本值中的每个样本值的每个像素值应用滤波法进行逐次修正。
通过常规的多帧退化逆变换法，对于多个样本值中的各样本值逐次修正像素值。因此，该修正处理是费时的处理，其不利之处是不能高速实行高分辨率处理。
发明内容
根据本发明的一个实施例提供一种图像放大设备，该图像放大设备包括亮度数据计算单元，构造成从具有多个像素的图像数据中设定参考帧，并计算用于高分辨率图像数据的第一亮度数据，所述高分辨率图像数据通过将补充亮度数据内插入具有第二亮度数据的参考帧而获得，所述高分辨率图像数据的像素数大于所述图像数据的像素数；位置计算单元，构造成在包括在所述图像数据中的至少一个帧中设定多个目标像素，并以小数精度计算所述多个目标像素在所述参考帧中的各自相应位置；修正量计算单元，构造成基于所述第一亮度数据，所述目标像素的第三亮度数据及所述相应位置计算所述相应位置的第一亮度数据修正量，各个相应位置的修正量被并行计算；从修正量计算修正量总和的加法单元；和基于所述修正量总和修正所述第一亮度数据的亮度数据修正单元。
根据本发明的另一个实施例提供一种图像放大方法，该方法包括：从具有多个像素的图像数据设定参考帧；基于所述参考帧的第二亮度数据通过内插入补充亮度数据计算用于高分辨率图像数据的第一亮度数据，该高分辨率图像数据的像素数大于所述图像数据的像素数；在包括在图像数据中的至少一个帧中设定各个目标像素；以小数精度计算所述各个目标像素在所述参考帧中的各自相应位置；基于所述第一亮度数据，所述目标像素的第三亮度数据及相应位置并行计算所述相应位置的第一亮度数据修正量；根据所述修正量计算修正量总和；和基于所述修正量总和修正所述第一亮度数据。
附图说明
下文将参考附图叙述实现本发明的各个特征的总体构造。所提供的附图及相关叙述用于说明本发明的各个实施例，并不限制本发明的范围。
图1是根据各个实施例的包括多个临时高分辨率像素值修正量计算单元的图像放大设备的框图；
图2是显示各个实施例的图像放大设备的运行的一个实例的流程图；
图3是显示从三个低分辨率帧生成高分辨率帧的方式的示意图；
图4是显示从一个低分辨率帧生成高分辨率帧的方式的示意图；
图5是显示屏幕和低分辨率帧的像素之间的位置关系的示意图；
图6是显示通过提高低分辨率帧的分辨率获得的高分辨率帧的示意图；
图7是显示其图像的像素间隔与所述像素间隔匹配的低分辨率帧的示意图；
图8是显示像素之间的位置关系的示意图；
图9是显示通过在屏幕空间的相应位置的计算的关注像素和参考帧的示意图；
图10是显示通过在屏幕空间的相应位置的计算的关注图像区域和某个图像区域的示意图；
图11是显示通过在屏幕空间的相应位置的计算的匹配误差插入法的示意图；
图12是显示通过在屏幕空间的相应位置的计算的相对于参考帧的相应位置的示意图；
图13是显示通过在屏幕空间的相应位置的计算的重复取样法的示意图；
图14是显示通过在屏幕空间的相应位置的计算的相对于参考帧重复取样的相应像素的示意图；
图15是显示计算临时高分辨率图像的修正量的方式的示意图；
图16是显示直接存储的多个修正量的示意图；
图17是显示通过相加多个修正量得到的修正量总和的示意图；
图18是显示局部区域的多个修正量的示意图；
图19是显示局部图形的自调和的示意图；
图20是显示计算屏幕空间中的自调和位置的方式的示意图；
图21是根据另一个实施例的图像放大设备的框图；
图22是显示根据另一个实施例的图像放大设备的运行的一个实例的流程图；
图23是根据还有一个实施例的图像放大设备的框图；以及
图24是显示根据还有一个实施例的图像放大设备的运行的一个实例的流程图。
具体实施方式
下文将参考附图详尽叙述根据本发明的各个实施例的图像放大设备及方法。
顺便提及，本发明不限于下述各个实施例，在其应用中可以有各种选择以及进行各种战略安排。同时，在下文的叙述中，可以将图像称为一个帧。
图1是根据本发明的实施例的图像放大设备的框图。
如图1所示，该实施例的图像放大设备包括临时高分辨率像素值计算单元101，相应位置计算单元102，临时高分辨率像素值修正量计算单元103，修正量临时存储单元104，临时高分辨率像素值修正单元105和加法单元106。顺便提及，在下文中，与已经叙述的设备的各个部分相同的各个元件被赋予相同的参考标号，对这些元件的叙述将被省略。
首先，临时高分辨率像素值计算单元101接收包括屏幕中排列的多个像素的低分辨率图像数据。这些像素的亮度被表示为像素值。低分辨率图像数据的一个帧被设定为参考帧。这样，通过基于参考帧的像素值的插入处理，计算带有比参考帧中包括的像素数量更大的数量的像素的临时高分辨率图像数据的像素值。所算出的临时高分辨率图像数据存储在临时高分辨率像素值修正单元105中。低分辨率图像数据可以是移动图像或静止图像。本文中的叙述假设低分辨率图像数据是例如由照相机或手机拍摄的图像数据，由电视机或AV播放机接收的图像数据或者存储在HDD中的图像数据。
然后，相应位置计算单元102接收低分辨率图像数据，并且将低分辨率图像数据中得到的至少一个或多个帧中的多个像素被依次设定为关注像素。然后，以小数精度计算相应于参考帧的关注像素的至少一个或多个位置(下文称为相应位置)。以小数精度进行计算的方法的实例可以包括：在低分辨率图像数据的像素间隔处确定匹配误差以及应用逐次对称函数从而确定这样的小数精度的位置以最小化匹配误差的方法(匹配误差插入法)，或者放大低分辨率图像数据以及利用放大图像中的像素间隔确定相应位置的方法(重复取样法，oversampling)。或者，作为小数精度计算的另一种方法，也可以通过在照相机上安装陀螺仪并且测量照相机的抖动以小数精度实体探测该相应位置。
临时高分辨率像素值修正量计算单元103从存储在临时高分辨率像素值修正单元105中的临时高分辨率图像数据的像素值，在相应位置计算单元102设定的关注像素的像素值，和在相应位置计算单元102计算的相应位置并行计算相应于该相应位置的临时高分辨率像素值的修正量。在本文中显示对并排每四个像素并行实行计算的实例。
计算临时高分辨率像素量的修正量的方法的实例包括POCS法和IterativeBack-Projection(迭代背投影)法(参见上述S.Park等人的Super-Revolution ImageReconstruction：A Technical Overview，p.29，p.31)。
修正量临时存储单元104存储相应于在临时高分辨率像素值修正量计算单元103中并行计算的多个相应位置的多个修正量。
加法单元106相加存储在修正量临时存储单元104中的多个修正量。在该步骤中，相加相应于与临时高分辨率图像数据相同数量的像素的各个修正量。这样，计算所相加的一个帧的修正量，并将其存储在修正量临时存储单元104中。
或者，加法单元相加相应于比临时高分辨率图像数据小的数量的像素的修正量。这样，计算所相加的一个帧的一部分的修正量，并将其和与其相对应的相应位置的信息一起存储在修正量临时存储单元104中。
通过以该方式相加修正量并临时存储结果量，可以允许多个临时高分辨率像素值修正量计算单元103的包括大运算量的并行运行。
临时高分辨率像素值修正单元105接收临时存储在修正量临时存储单元104的所相加的修正量。然后，其利用所相加的修正量修正从临时高分辨率像素值计算单元101输入的临时高分辨率像素值。
接着，临时高分辨率像素值修正量计算单元103计算临时高分辨率像素值的多个修正量。然后，修正量临时存储单元104存储临时高分辨率像素值的多个修正量。加法单元106相加多个临时高分辨率像素值。临时高分辨率像素值利用由临时高分辨率像素值修正单元105相加的修正量通过进行修正。该操作过程对于依次设定的低分辨率图像数据的所有关注像素重复实行。
通过这样的操作，可以输出作为鲜明的高分辨率图像数据的具有经修正的临时高分辨率像素值的临时高分辨率图像数据。
图2是说明由结合图1叙述的图像放大设备进行的从低分辨率图像数据输出高分辨率图像数据的操作的流程图。下文将参考图2和图1叙述形成高分辨率图像数据的方法。
如图2所示，首先，生成临时高分辨率图像数据(步骤S301)。具体地，在图1的临时高分辨率像素值计算单元101，从包括屏幕上排列的多个像素并将像素的亮度表示为像素值的低分辨率图像数据中，一个帧被设定为参考帧。这样，通过基于参考帧的像素值的插入处理，计算带有比参考帧中包括的像素数量更大数量的像素的临时高分辨率图像的像素值。
对于所述插入处理，可以利用通过以基于采样原理的Sinc函数进行滤波处理的插入方法(立方卷积法或BiCubic(双立方)法等。从低分辨率图像数据以这样的方式设定的参考帧被放大为临时高分辨率图像。
在该阶段，在临时高分辨率图像中，图像中的目标模糊，或者作为适当逐次的直线的部分以被称为锯齿的阶梯形式表示。
然后，如图2所示，计算图像空间中的相应位置(步骤S302)。具体地，在图1的相应位置计算单元102中，例如低分辨率帧的边缘像素的低分辨率图像数据中包括的至少一个或多个帧中的多个像素被并排依次设定为关注像素。参考帧中的关注像素的至少一个或多个相应位置以小数精度进行计算。
相应位置的以小数精度的计算处理可以通过基于低分辨率图像数据的匹配误差插入法，重复取样法的计算或者安装在照相机上的陀螺仪的探测完成。
然后，如图2所示，通过并行处理计算临时高分辨率图像的修正量(步骤S303)。具体地，在图1的临时高分辨率像素值修正量计算单元103，从存储在临时高分辨率像素值修正单元105中的临时高分辨率像素值，在相应位置计算单元102设定的关注像素的像素值和在相应位置计算单元102计算的相应位置并行计算临时高分辨率像素值的修正量。
对于临时高分辨率图像的计算处理，所述计算通过例如POCS法或IterativeBack-Projection(迭代背投影)法(参见上述S.Park等人的Super-Revolution ImageReconstruction：A Technical Overview，p.29，p.31)实行。
然后，如图2所示，存储临时高分辨率图像的修正量(步骤S304)。具体地，在图1的修正量临时存储单元104，存储相应于在临时高分辨率像素值修正量计算单元103计算的多个相应位置的多个修正量。作为该修正量，可以存储对于与临时高分辨率图像数据的像素相同数量的像素的多个修正量；可以存储对于通过相加多个修正量得到的在相应于一个帧的数量上与临时高分辨率图像数据的像素相同数量的像素的修正量总和；以及可以存储在所算出的修正位置和所述相应位置的外围的像素中的狭窄的局部区域的多个修正量。通过以这样的方式进行并行处理，可以允许多个大运算量的临时高分辨率像素值修正值计算单元103同时运行。
然后，在图1的加法单元106中，存储在修正量临时存储单元104中的多个修正量被作为一个帧的修正量相加并再次将其存储在修正量临时存储单元104中。
然后，如图2所示，确定多个修正量是否已经被存储(步骤S305)。具体地，图1的修正量临时存储单元104确定是否已经对于多个所述相应位置存储了多个修正量。当结果是NO(否)时，处理返回计算对于随后的相应位置的临时高分辨率图像的修正量的步骤S303。当结果是YES(是)时，处理进行到步骤S306。
然后，如图2所示，修正临时高分辨率图像的像素值(步骤S306)。具体地，在图1的临时高分辨率像素值修正单元105，通过利用临时存储在修正量临时存储单元104中的所相加的修正量，修正存储在临时高分辨率像素值修正单元105中的临时高分辨率像素值。
然后，如图2所示，确定是否已经对参考帧的所有相应位置完成该处理(步骤S307)。具体地，在临时高分辨率像素值修正单元105，确定是否已经完成利用参考帧的所有相应位置的修正处理。当结果是NO时，处理返回计算对于随后的相应位置的临时高分辨率图像的修正量的步骤S303。当结果是YES时，处理进行到步骤S308。
然后，如图2所示，确定是否已经完成预定数量的迭代(步骤S308)。具体地，在图1的临时高分辨率像素值修正单元105，确定是否已经完成利用所有相应位置的预定数量的修正处理的迭代。当结果为NO时，处理返回再次从第一相应位置计算临时高分辨率图像的修正量的步骤S303。当结果是YES时，作为高分辨率图像输出临时高分辨率图像并且完成该处理。
接着，为了详尽叙述图1的相应位置计算单元102的操作，首先参考图3和图4叙述低分辨率图像数据和参考帧之间的关系。
图3说明通过利用逐次的低分辨率图像(视频数据)以时间顺序形成高分辨率图像的方式。
如图3所示，这里生成第四高分辨率图像帧。在该时刻其上正在进行放大处理的低分辨率图像帧，也就是本实例中的低分辨率图像的第四帧被设定为参考帧。为了放大参考帧，通过利用低分辨率图像中的参考帧实行放大处理，第三低分辨率图像帧和第五低分辨率图像帧则在其前后的时刻进行。用于放大处理的所有低分辨率图像帧(这里为第三到第五帧)被称为低分辨率图像数据。
图4显示仅通过利用参考帧的低分辨率图像帧实行仅带有帧内部处理的放大处理的状态。也是在静止图像的情况下，将要输入的低分辨率图像的数量仅为一。因此，其被设定为参考帧，并且仅通过利用一个参考帧实行放大处理。为了方便，该静止图像被表示为一个帧。
图5是显示屏幕601，像素602和低分辨率图像帧的样本点603之间的位置关系的示意图。
图像起初以屏幕空间中的逐次分配亮度的形式表示。但是，在将要在这里涉及的数字图像数据的情况下，如图5所示，像素被排列为图像空间中的分立的样本点，因此，外围亮度仅由该亮度表征。
然后，将参考图5到图8叙述低分辨率图像和高分辨率图像之间的关系。
图5显示屏幕被分成6行4列24个方块，并且24个像素602以中心部分为样本点603进行排列的状态。各个样本点603具有的亮度的典型值称为像素值。
图6是通过将图5所示的屏幕的分辨率在横向和纵向都提高一倍获得的示意图。
高分辨率图像帧的各个像素702的各个样本点703用白圆圈表示。这样，像素702的样本点703之间的间隔为图5的低分辨率图像帧的一半。
图7是显示与高分辨率图像帧相同的间隔的初始低分辨率图像帧的像素的示意图。
在该情况下，低分辨率图像帧的尺寸小于高分辨率图像帧的尺寸。因此，当低分辨率图像帧在屏幕尺寸上与高分辨率图像帧匹配时，像素的样本点之间的间隔增加。同时，当像素的样本点之间的间隔与其匹配时，屏幕的尺寸减小。但是，上述两者表示同一个事实。因此，作为适当的方法，低分辨率图像帧可以如图5所示表示，或者可以如图7所示表示。
图8是低分辨率图像帧的像素的样本点用黑圆圈表示并且高分辨率图像帧的像素的样本点用白圆圈表示的示意图。
如图8所示，放大处理即实施高分辨率的处理将要基于给予黑圆圈样本点的像素值确定白圆圈样本点的像素值。在该步骤，不仅通过利用从低分辨率图像中选出的参考帧的低分辨率，且利用例如时间上的前帧和后帧的低分辨率，可以实现鲜明的高分辨率。
下文将参考图9到图14详尽叙述图1的相应位置计算单元102中以及图2的步骤S302中计算图像空间中的相应位置的操作。
图9是显示通过拍摄移动汽车的照片得到的移动图像中的两个时间上的逐次帧的示意图。
这里，所叙述的情况是，在低分辨率图像帧中，帧1002被设定为实现高分辨率的参考帧。在图1的相应位置计算单元102和图2的步骤S302中，对于低分辨率图像帧1001中的关注像素1003，通过以比像素间隔更精细的小数精度计算样本点1004对应的参考帧1002的位置。该位置被称为相应位置。顺便提及，低分辨率图像帧1001和1002被表示为如结合图5或图7所示的情况所述的横向6像素纵向4像素的24像素的形式。但是在实际上，例如SD尺寸的图像的尺寸具有的像素数为横向720像素和纵向480像素。
作为图1的相应位置计算单元102和图2的步骤S302的操作的实例，下文将参考图10到图12叙述采用匹配误差插入法的小数精度的相应位置计算方法。
如图10所示，通过匹配误差插入法，首先，如块匹配法，以像素间隔的精度计算从低分辨率图像帧1001到参考帧1002的帧之间的匹配误差。
然后，如图10所示，以关注像素1003为中心，所有方向上的几个像素，例如5×5像素或3×3像素的矩形块1105被从低分辨率图像帧1001中提取为关注图像区域。
然后，从参考帧1002中搜索在像素值的变化图形中靠近关注图像区域1105的部分。作为基于像素间隔计算的匹配误差，可以使用作为帧之间的关注图像区域中的各个像素值之差的平方和的SSD(Sum of Square Distance(平方距离和))，或作为各个像素值之间的差的绝对值和的SAD(Sum of Absolute Distance(绝对距离和))等。
这里，计算低分辨率图像帧1001中包括的关注图像区域1105和参考帧1002中包括的图像区域1106之间的SAD。因此，计算关注像素1003和像素1108之间的匹配误差。同时，通过以相同的方式计算参考帧1002的其他像素的匹配误差，可以根据像素间隔计算匹配误差。具有各个匹配误差中的最小匹配误差的像素成为通过块匹配法计算的相应像素。这一点对应于像素间隔，即具有整数精度的相应位置。
图11是显示参考帧1002中的像素1210已经确定为低分辨率图像帧1001中的关注像素1003的相应像素的状态的示意图。
图11中所示的曲线是显示对于各个像素计算的相应像素1210周围的3×3像素的匹配误差的曲线。图中指出，关注像素1210的匹配误差在九个匹配误差中最小。
首先将叙述横向的相应位置的计算。对称逐次函数1211被应用到相应像素1210和横向相对的相邻两侧的匹配误差。对于该对称逐次函数，可以使用相对于匹配误差轴对称的抛物线或两条直线。所应用的逐次函数最小的横向位置(用白圆圈表示)被称为小数精度的相应位置1212。可以相似地对于纵向方向计算纵向相应位置。或者，也可以并非分别计算横向和纵向相应位置而通过应用对称曲面同时计算横向和纵向相应位置。
图12是显示通过实行上述运算计算小数精度的相应位置的状态的示意图。
如图12所示，通过从两个时间上逐次的低分辨率图像帧1001和参考帧1002中确定低分辨率帧1001的关注像素1003对应的参考帧1002的相应像素1210，并向其应用逐次函数，计算关注像素1003的样本点1004对应的参考帧1002的相应位置1313。
然后，作为图1的相应位置计算单元102和图2的步骤S302的操作的实例，参考图13和图14叙述应用重复取样法的小数精度的相应位置计算方法。
如图13所示，通过重复取样法，首先，提高关注像素1003的关注图像区域1105和低分辨率参考帧1002(见图9)的各个像素的分辨率。这样就形成高分辨率关注图像区域1405和高分辨率参考帧1402。例如，通过利用以基于采样原理的Sinc函数进行滤波处理的插入法(立方卷积法或BiCubic(双立方)法)，可以实现高分辨率。这里，横向和纵向分辨率都提高到3倍。然后，在高分辨率关注图像区域1405和高分辨率参考帧1402中，如结合图10的匹配误差插入法所述，如同块匹配法一样以像素间隔的精度计算相应像素。低分辨率帧的分辨率在横向和纵向都提高到3倍。换言之，像素间隔减小到三分之一。这样，相应像素得到探测。因此，这一点对应于这样的事实，即能够以低分辨率像素间隔的三分之一的精细精度探测所述相应位置。
具体地，图14中，通过重复取样法，以小数精度探测所述相应位置。通过利用高分辨率关注图像区域1405，对高分辨率像素间隔的参考帧的像素计算匹配误差。作为参考帧中的关注像素1003的样本点1004的小数精度的相应位置，计算匹配误差最小的样本点1514。
然后，通过具体实例的方式叙述将要在图1的临时高分辨率像素值修正量计算单元103和图2的步骤S303中实行的临时高分辨率图像的修正量的计算。
参考图15，在临时高分辨率像素值计算单元101，图9的低分辨率参考帧102的分辨率在横向和纵向都提高到2倍，并且已经确定临时高分辨率帧1601的各个像素(白圆圈)的像素值。进一步，在相应位置计算单元102，作为黑圆圈计算关注像素1602的相应位置1603。关注像素1602的像素值已经成为包括关注像素的低分辨率帧中的经拍摄照片的适当的像素值。
首先，在图1的临时高分辨率像素值计算单元101和图2的步骤S303，为了评估临时高分辨率帧1601的各个像素(白圆圈)的像素值的有效性，关注像素1602的像素值从临时高分辨率帧1601的各个像素(白圆圈)的像素值进行试验性计算。为了该目的，基于关注像素1602已经与其重叠的临时高分辨率帧1601的九个像素实行该计算。例如，可以根据试验计算的面积比确定加权平均。对于向临时高分辨率帧的像素1604指定的相对于像素值的权重，关注像素1602的面积为1时的矩形1605的面积可以用作权重。矩形1605是像素1604和临时高分辨率帧的关注像素1602之间的重叠部分。对于关注像素1602与其重叠的九个矩形，以所述重叠面积为权重，从九个像素值中确定加权平均值。这样，可以从临时高分辨率帧1601的像素(白圆圈)的像素值试验性地计算关注像素1602的像素值。
当该步骤中的临时高分辨率帧为精确的帧时，关注像素1602的试验性计算的像素值和经拍摄照片并当前指出的像素1602的像素值应该互相一致。但是，通常，通过在临时高分辨率像素值计算单元101的常规的滤波处理的放大，屏幕中的目标模糊，或者作为适当逐次的直线的部分以被称为锯齿的阶梯形式表示。因此，这些值互相不一致。这样，为了使这些值互相一致，计算临时高分辨率帧的像素值应该被修正的修正量。
对于该修正量的计算，首先，计算
差值＝(关注像素的经拍摄的像素值)-(关注像素的试验性计算的像素值)。当该差值以试验性计算的权重分布时，该差值为0。以该方式计算修正量的处理为POCS法(见上述S.Park等人的Super-Revolution Image Reconstruction：A Technical Overview，p.29，p.31)。这样，当以该权重分配的九个修正量被加到临时高分辨率帧1601的九个像素值时，对于该步骤计算的关注像素差值为0。这样，关注像素的经拍摄照片的像素值以及试验性计算的像素值互相一致。但是，根据另一个关注像素的相应位置，利用该方式的修正可以修正同一个高分辨率帧1601的像素值。这样，对于所算出的所有相应位置依次实行该修正处理。进一步，该过程重复预定的次数。通常，通过该迭代，临时高分辨率帧将接近精确的高分辨率帧。因此，通过进行预定次数的迭代得到的临时高分辨率帧被作为高分辨率帧输出。
同时，在计算修正量的处理中，所进行的计算不使所述差值为0，而在该差值下降的方向上计算该修正量(参见上述S.Park等人的Super-Revolution Image Reconstruction：ATechnical Overview，p.29，p.31)。
下文将参考图16到图18以具体实例的方式详尽叙述将要在图1的修正量临时存储单元104和加法单元106和图2的步骤S304中实行的对临时高分辨率图像的所相加的修正量的存储。
关于该修正量，在临时高分辨率像素值修正量计算单元103计算的修正量可以作为通过相加多个修正量得到的修正量总和直接存储，或者可以通过相加所算出的相应位置及该相应位置的外围的像素中的狭窄的局部区域的多个修正量而存储。
图16是显示从关注像素1701的相应位置计算的修正量1703和从关注像素1702的相应位置计算的修正量1704的示意图。这样，图1的修正量临时存储单元104存储例如在并行处理中同时计算的两个修正量。
通过修正量的常规计算，对于多个相应位置依次实行修正处理。换言之，从第一关注像素1701的第一相应位置，第一像素值和临时高分辨率帧的像素值计算第一修正量，并且该临时高分辨率帧的像素值得到修正。随后，从第二关注像素1702的第二相应位置，第二像素值和以第一关注像素1701修正的临时高分辨率帧的像素值计算第二修正量。然后，以第一关注像素1701修正的临时高分辨率帧得到修正。第一修正量影响第二修正量，第一修正量先被确定，然后，第二修正量被确定。因此，不可能通过并行处理同时以及分别地确定第一修正量和第二修正量。
但是，在图2的步骤S307，确定是否在所有相应位置进行了修正。与其相同，从低分辨率图像数据中的在不同时间拍摄照片的帧向临时高分辨率图像依次实行再生处理。进一步，在步骤S308，确定利用所有修正位置的修正处理是否重复预定的次数以及是否已经完成。与其相同，依次实行所述再生处理预定的次数。充分的逐次处理被实行。这样，甚至不对所有相应位置相继实行修正处理即可以实现鲜明的高分辨率。
进一步，可通过并行计算修正量的一部分，根据多个所存储的修正量修正临时高分辨率帧以高速生成鲜明的高分辨率帧。
同时，如图17所示，图1的修正量临时存储单元104存储通过相加多个修正量得到的修正量总和。从关注像素1701的相应位置计算的修正量1703和从关注像素1702的相应位置计算的修正量1704互相部分重叠。但是，所有像素的修正量被相加以计算修正量总和1805。这样，存储器的一个帧用于存储修正量就足够。
同时，如图18所示，图1的修正量临时存储单元104可以存储所算出的相应位置和该相应位置周围的像素中的狭窄的局部区域中的多个修正量。从关注像素1701计算的修正量1703和从关注像素1702的相应位置计算的修正量1704每一个都包括九个修正量。因此，存储器1906和1907每一个都存储九个修正量，并且诸如临时高分辨率帧中的左上修正量的第一修正量的地址信息(图19中为横向第五像素，纵向第四像素的地址信息)和第二修正量的地址信息(横向第六像素，纵向第六像素)的信息被并行计算并存储在修正量临时存储单元104中。结果，可以进一步减小存储修正量的存储器的尺寸。
下文将通过具体实例的方式叙述将要在图1的临时高分辨率像素值修正单元105和图2的步骤S306中实行的修正临时高分辨率图像的像素值的操作。
临时高分辨率像素值修正单元105以临时存储在修正量临时存储单元104和临时高分辨率图像值修正单元105中的修正量修正在临时高分辨率像素值计算单元101中计算的临时高分辨率像素值。
当修正量临时存储单元104将如图16所示的多个所算出的修正量直接存储到临时高分辨率帧的像素值上时，首先，相加第一修正量1703，然后相加第二修正量1704。这样，临时高分辨率像素值得到修正。
同时，当修正量临时存储单元104存储通过相加如图17所示的多个修正量得到的修正量总和1805时，实质上仅是将修正量总和1805一次相加到临时高分辨率帧的像素值上。
同时，当修正量临时存储单元104将所算出的相应位置和该相应位置的外围的像素中的狭窄的局部区域的多个修正量存储到临时高分辨率帧的像素值上时，首先，相加第一局部区域的修正量1906，然后，相加第二局部区域的修正量1907。这样，临时高分辨率像素值得到修正。
下文将参考图19和图20叙述目标(参考帧中)帧中的自调和(self-congruity)作为图1的相应位置计算单元102和图2的步骤S302中计算图像空间中的相应位置的运算的情况。该情况可应用于诸如静止图像没有如同动态图像中那样逐次的前帧和后帧的情况。
图19是显示实际的数字图像数据的示意图，图中的水平轴上具有像素的横坐标，垂直轴为表示亮度的像素值。这里，同一帧中的不同的五行数据各自以不同的曲折线表示。
如图19所示，图中指出，甚至同一帧中的不同行也具有显示非常相似的亮度变化的部分。在同一帧中具有相似亮度变化的图像的这样的性质被定义为自调和。存在于关注像素周围的具有自调和的位置被定义为自调和位置。
通过利用目标帧中的自调和实现高分辨率的处理，多个逐次的低分辨率图像数据不需要存储在存储器中。这样，就有可以通过小存储器容量实现高分辨率的优点。
利用用于帧内部处理的退化逆变换法的自调和实现高分辨率能够以下述方式完成。在步骤S302，相应位置计算单元102将由静止图像的一个帧形成的图像数据设定为参考帧。例如参考帧中的边缘像素的参考帧中的多个像素被相继设定为并排的关注像素。这样，关注像素的相对于其外围的一个或多个相应位置以小数精度进行计算。或者，自调和被应用到基于低分辨率图像数据的匹配误差插入法或重复取样法。结果，关注像素的相对于其外围的一个或多个相应位置能够以小数精度进行计算。
图20是用于说明利用自调和增强具有纵向边缘的目标2106的低分辨率参考帧2101的分辨率的实例的示意图。
如图20所示，关注像素设置在2102，样本点设置在2103。在图2的步骤S302中，计算存在于样本点2103周围的自调和位置。假设自调和位置存在于一条线之上或之下，通过匹配误差插入法或重复取样法确定小数精度的自调和位置的结果是第一自调和位置2104和第二自调和位置2105。
关注像素，关注像素的像素值和参考帧中关注像素的小数精度的相应位置(这里为自调和位置)以这样的方式进行计算。结果，从该点向前，实行步骤S303中对临时高分辨率图像的修正量的计算，步骤S304中对临时高分辨率图形的修正量的存储以及图2的临时高分辨率像素值的修正。结果，能够高速实现鲜明的高分辨率图像。
图21是根据本发明的另一个实施例的图像放大设备的框图。该图像放大设备包括设置在修正量临时存储单元2204和临时高分辨率像素值修正单元105之间的修正量滤波单元2206。结果，可以对所相加的修正量进行滤波处理以去除退化逆变换法中固有的被称为人为噪声的噪声。其他结构与结合图1所述的图像放大设备相同。因此，相同的元件被赋予相同的参考符号和数字并且对其的叙述被省略。修正量滤波单元2206通过从所相加的修正量中去除第一亮度数据(即，临时高分辨率图像数据的像素值)的预定区域中的成分而算出经滤波的修正量总和。
在多帧退化逆变换法或帧内部退化逆变换法中，可能发生作为随退化逆变换法发生的固有的被称为被检查人为噪声的噪声。
如图21所示，该图像放大设备包括设置在修正量临时存储单元2204和临时高分辨率像素值修正单元105之间的修正量滤波单元2206。结果，可以对所相加的修正量进行滤波处理以从所相加的修正量中去除脉冲型修正量。结果，可以实现鲜明的高图像质量，同时去除人为噪声。
具体地，如图21所示，修正量临时存储单元2204存储通过相加相应于在临时高分辨率像素值修正量计算单元103计算的多个相应位置的多个修正量得到的修正量。
修正量滤波单元2206从所相加的修正量中去除脉冲型修正量。例如，使用空间中值滤波器。该过程用于利用修正量的空间分布去除高分辨率帧的人为噪声。
图22是说明图21的图像放大设备的操作的流程图。该图与图2的流程图的不同之处在于，从所相加的修正量中去除脉冲型信号的步骤被插入步骤S305和步骤S306之间。其他步骤与图2的流程图相同并赋予相同的参考符号和数字，对其的叙述被省略。
在步骤S2309，图21的修正量滤波单元2206通过中值滤波器等从存储在修正量临时存储单元104中的所相加的修正量中去除脉冲型修正量。结果，引起人为噪声的这样的修正量被去除。这样，可以在步骤S306的对临时高分辨率图像的修正中实现鲜明的高分辨率。
图23是根据本发明的另一个实施例的图像放大设备的框图。该图像放大设备包括设置在修正量临时存储单元2204和临时高分辨率像素值修正单元105之间的修正量掩蔽单元2406。这样，基于所相加的修正量的掩蔽信息进行掩蔽处理。其他结构与结合图1所述的图像放大设备相同。因此，相同的元件被赋予相同的参考符号和数字并且对其的叙述被省略。
通过多帧退化逆变换法或帧内部退化逆变换法，相应位置表示的意义是不确定的。因此，不可能进行下述指定。例如，只有图像数据的一部分被要求预先增强分辨率。对于其中包括经扫描的照片和字符混合在一起的文件数据有下列要求：字符区域被要求增强分辨率，但诸如色彩抖动(color dither)单元等照片区域不要求增强分辨率。
通过图23所示的图像放大设备，来自多个修正量相加的修正量受到掩蔽处理，因此修正处理被全部并行实行。这样就能实现只有图像数据的一部分增强鲜明度及图像质量。
具体地，如图23所示，修正量掩蔽单元2406基于来自外界的掩蔽信息对所相加的修正量进行掩蔽处理。这样，所相加的修正量的一部分被强制设定到0。
图24是说明图23的图像放大设备的操作的流程图。该图与图2的流程图的不同之处在于基于掩蔽信息对所相加的修正量进行掩蔽处理的步骤被插入步骤S305和步骤S306之间。其他步骤与图2的流程图相同并赋予相同的参考符号和数字，对其的叙述被省略。
如图24所示，在步骤S2509，图23的修正量掩蔽单元2406基于掩蔽信息对存储在修正量临时存储单元104的所相加的修正量进行掩蔽处理以去除所相加的修正量的一部分。这样就能基于被要求增强分辨率的区域和不被要求增强分辨率的区域的信息(掩蔽信息)来增强分辨率。
通过根据本发明的图像放大设备，8比特图像(图像值为0到255)的每像素的像素值差的平均值(RMS：Root Mean Square error(根均方误差))小于1并且为0.5729。每像素的像素值的差的比(RMS/255)为0.2247[％]。这在PSNR中为52.969[dB]，相应于非常高的PSNR。
进一步，通过根据本发明的图像放大设备，修正量的一部分被并行计算，并根据多个所存储的修正量修正临时高分辨率帧修正从而高速生成鲜明的高分辨率帧。该设备适合于使用能够并行运算的最近的CPU。
同时，尤其是，当在帧中实行处理时，利用目标帧中的自调和实行分辨率的增强，而不必在存储器中存储多个低分辨率图像数据。而且可因并行处理以较小的存储容量高速实行对分辨率的增强。
同时，在从多个修正量相加的所相加修正量中去除脉冲型修正量的情况下，可以去除退化逆变换法中固有的被检查的人为噪声。这样能增强分辨率，获得鲜明的高图像质量。
对来自多个修正量的相加的所相加的修正量进行掩蔽处理的情况下，修正处理被全部并行进行。这样就能够实现仅部分图像数据的鲜明的高图像质量。
顺便提及，本发明不限于上述实施例，并且本发明可以在实施的同时对各个组成元件进行修改而不背离本发明的范围。同时，可以通过这些实施例中揭示的多个组成元件的适当组合实现各种发明。例如，一些组成元件可以从这些实施例中显示的所有组成元件中删去。另外，不同实施例中的组成元件也可以进行组合。
如上文参考各个实施例的叙述，本文提供了能够并行执行修正处理的图像放大设备及方法。这样，就可以高速进行高分辨率处理。
Claims (13)
1.一种图像放大设备，其特征在于，该图像放大设备包括：
亮度数据计算单元，构造成从具有多个像素的图像数据中设定参考帧，并计算用于高分辨率图像数据的第一亮度数据，所述高分辨率图像数据通过将补充亮度数据内插入具有第二亮度数据的参考帧而获得，所述高分辨率图像数据的像素数大于所述图像数据的像素数；
位置计算单元，构造成当所述图像数据为移动图像时，在所述图像数据中的除了所述参考帧之外的至少一个帧中设定多个目标像素，并且当所述图像数据为静止图像时，将其中利用自调和的所述静止图像的一个帧设定为所述参考帧，并将所述参考帧中的多个像素相继设定为并排的多个目标像素，并以小数精度计算所述多个目标像素在所述参考帧中的各自相应位置；
修正量计算单元，构造成基于所述第一亮度数据，所述目标像素的第三亮度数据及所述相应位置计算所述相应位置的第一亮度数据修正量，各个相应位置的修正量被并行计算；
从修正量计算修正量总和的加法单元；和
基于所述修正量总和修正所述第一亮度数据的亮度数据修正单元。
2.如权利要求1所述的设备，其特征在于，其中所述加法单元计算整个所述参考帧的修正量总和。
3.如权利要求1所述的设备，其特征在于，其中所述加法单元计算通过划分所述参考帧获得的部分区域中的修正量总和。
4.如权利要求1所述的设备，其特征在于，其中所述亮度数据计算单元将所述图像数据中的一帧选为所述参考帧。
5.如权利要求1所述的设备，其特征在于，该设备进一步包括通过从所述修正量总和中去除预定成分而算出经滤波的修正量总和的滤波单元，
其中所述亮度数据修正单元基于经滤波的修正量总和修正所述第一亮度数据。
6.如权利要求5所述的设备，其特征在于，其中所述滤波单元通过从所述修正量总和中去除脉冲信号成分而算出经滤波的修正量总和。
7.如权利要求5所述的设备，其特征在于，其中所述滤波单元通过从所相加的修正量中去除所述第一亮度数据的预定区域中的成分而算出经滤波的修正量总和。
8.一种图像放大方法，其特征在于，该方法包括：
从具有多个像素的图像数据设定参考帧；
基于所述参考帧的第二亮度数据通过内插入补充亮度数据计算用于高分辨率图像数据的第一亮度数据，该高分辨率图像数据的像素数大于所述图像数据的像素数；
当所述图像数据为移动图像时，在所述图像数据中的除了所述参考帧之外的至少一个帧中设定多个目标像素，当所述图像数据为静止图像时，将其中利用自调和的所述静止图像的一个帧设定为所述参考帧，并将所述参考帧中的多个像素相继设定为并排的多个目标像素；
以小数精度计算所述多个目标像素在所述参考帧中的各自相应位置；
基于所述第一亮度数据，所述目标像素的第三亮度数据及相应位置并行计算各个所述相应位置的第一亮度数据修正量；
根据所述修正量计算修正量总和；和
基于所述修正量总和修正所述第一亮度数据。
9.如权利要求8所述的方法，其特征在于，其中计算修正量总和的步骤包括基于整个所述参考帧中的修正量而计算修正量总和。
10.如权利要求8所述的方法，其特征在于，其中计算修正量总和的步骤包括基于通过划分参考帧获得的部分区域中的修正量计算修正量总和。
11.如权利要求8所述的方法，其特征在于，其中计算第一亮度数据的步骤包括将所述图像数据中的一帧选为所述参考帧。
12.如权利要求8所述的方法，其特征在于，该方法进一步包括通过从修正量总和中去除预定成分计算经滤波的修正量总和，
其中修正第一亮度数据的步骤包括将经滤波的修正量总和用作所述修正量总和。
13.如权利要求12所述的方法，其特征在于，其中计算经滤波的修正量总和的步骤包括从修正量总和中去除作为所述预定成分的脉冲信号的成分。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007117107A JP4886583B2 (ja) | 2007-04-26 | 2007-04-26 | 画像拡大装置および方法 |
| JP2007-117107 | 2007-04-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101571947A CN101571947A (zh) | 2009-11-04 |
| CN101571947B true CN101571947B (zh) | 2012-09-12 |
Family
ID=39887066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008100958477A Expired - Fee Related CN101571947B (zh) | 2007-04-26 | 2008-04-28 | 图像处理设备和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7986858B2 (zh) |
| JP (1) | JP4886583B2 (zh) |
| CN (1) | CN101571947B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5058720B2 (ja) * | 2007-08-31 | 2012-10-24 | 株式会社東芝 | 映像高解像度化装置及び方法 |
| JP2009212969A (ja) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP2010124397A (ja) * | 2008-11-21 | 2010-06-03 | Toshiba Corp | 高解像度化装置 |
| KR101634562B1 (ko) * | 2009-09-22 | 2016-06-30 | 삼성전자주식회사 | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 |
| TWI399703B (zh) * | 2009-12-02 | 2013-06-21 | Micro Star Int Co Ltd | 往返縮放之影像放大方法 |
| JP5397250B2 (ja) * | 2010-02-10 | 2014-01-22 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
| RU2431889C1 (ru) * | 2010-08-06 | 2011-10-20 | Дмитрий Валерьевич Шмунк | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
| CN102377935A (zh) * | 2010-08-20 | 2012-03-14 | 华晶科技股份有限公司 | 超解析影像的产生方法 |
| US20120044389A1 (en) * | 2010-08-20 | 2012-02-23 | Altek Corporation | Method for generating super resolution image |
| JP2013165476A (ja) | 2011-11-11 | 2013-08-22 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体 |
| JP5462305B2 (ja) * | 2012-03-12 | 2014-04-02 | 株式会社東芝 | 画像処理装置、画像処理方法およびそのプログラム |
| US20140119446A1 (en) * | 2012-11-01 | 2014-05-01 | Microsoft Corporation | Preserving rounding errors in video coding |
| JP6236817B2 (ja) | 2013-03-15 | 2017-11-29 | 株式会社リコー | 画像形成装置 |
| JP6379814B2 (ja) * | 2014-07-30 | 2018-08-29 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
| CN105590304B (zh) * | 2014-10-24 | 2019-01-08 | 北京大学 | 超分辨率图像重建方法和装置 |
| CN109360229B (zh) * | 2018-10-31 | 2020-11-17 | 歌尔光学科技有限公司 | 激光投射图像处理方法、装置和设备 |
| CN112700368A (zh) * | 2019-10-22 | 2021-04-23 | 华为技术有限公司 | 图像处理方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1014305A1 (en) * | 1998-12-21 | 2000-06-28 | Sharp Kabushiki Kaisha | Resolution improvement from multiple images of a scene containing motion at fractional pixel values |
| CN1852440A (zh) * | 2006-04-24 | 2006-10-25 | 李博航 | 一种提高信息编解码效率的图像处理方法 |
| JP2006350562A (ja) * | 2005-06-14 | 2006-12-28 | Sanyo Electric Co Ltd | 画像処理装置及び画像処理プログラム |
| JP2007000205A (ja) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | 画像処理装置及び画像処理方法並びに画像処理プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
| US20050275669A1 (en) * | 2004-06-15 | 2005-12-15 | Collins David C | Generating and displaying spatially offset sub-frames |
| JP4282645B2 (ja) | 2005-08-31 | 2009-06-24 | 株式会社東芝 | 撮像装置 |
| JP4157568B2 (ja) | 2006-04-11 | 2008-10-01 | 株式会社東芝 | 画像の高解像度化方法及び装置 |
| JP4157567B2 (ja) | 2006-04-11 | 2008-10-01 | 株式会社東芝 | 動画像の高解像度化方法及び装置 |
| US7768520B2 (en) * | 2006-05-03 | 2010-08-03 | Ittiam Systems (P) Ltd. | Hierarchical tiling of data for efficient data access in high performance video applications |
| JP4116649B2 (ja) | 2006-05-22 | 2008-07-09 | 株式会社東芝 | 高解像度化装置および方法 |
| JP4818053B2 (ja) | 2006-10-10 | 2011-11-16 | 株式会社東芝 | 高解像度化装置および方法 |
-
2007
- 2007-04-26 JP JP2007117107A patent/JP4886583B2/ja not_active Expired - Fee Related
-
2008
- 2008-02-06 US US12/026,674 patent/US7986858B2/en active Active
- 2008-04-28 CN CN2008100958477A patent/CN101571947B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1014305A1 (en) * | 1998-12-21 | 2000-06-28 | Sharp Kabushiki Kaisha | Resolution improvement from multiple images of a scene containing motion at fractional pixel values |
| JP2006350562A (ja) * | 2005-06-14 | 2006-12-28 | Sanyo Electric Co Ltd | 画像処理装置及び画像処理プログラム |
| JP2007000205A (ja) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | 画像処理装置及び画像処理方法並びに画像処理プログラム |
| CN1852440A (zh) * | 2006-04-24 | 2006-10-25 | 李博航 | 一种提高信息编解码效率的图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7986858B2 (en) | 2011-07-26 |
| JP2008276380A (ja) | 2008-11-13 |
| CN101571947A (zh) | 2009-11-04 |
| JP4886583B2 (ja) | 2012-02-29 |
| US20080267532A1 (en) | 2008-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101571947B (zh) | 图像处理设备和图像处理方法 | |
| US11244432B2 (en) | Image filtering based on image gradients | |
| US11997397B2 (en) | Method, apparatus, and device for processing images, and storage medium | |
| KR101393048B1 (ko) | 이미지들의 수퍼 해상도를 위한 방법 및 장치 | |
| CN101179671B (zh) | 图像缩放装置和图像缩放方法 | |
| US8265422B1 (en) | Method and apparatus for removing general lens distortion from images | |
| US6252577B1 (en) | Efficient methodology for scaling and transferring images | |
| US20220207648A1 (en) | Creating super-resolution images | |
| CN105453543A (zh) | 动态颜色阴影校正 | |
| DE112007000106T5 (de) | Bildsensoranordnungsleckage- und Dunkelstromkompensation | |
| Gunturk et al. | High-resolution image reconstruction from multiple differently exposed images | |
| CN104296876A (zh) | 基于fpga的场景非均匀性校正方法及其装置 | |
| CN107864335A (zh) | 图像预览方法、装置、计算机可读存储介质和电子设备 | |
| CN102316283A (zh) | 空间行间转移面阵ccd相机漏光现象实时消除装置 | |
| US6667766B2 (en) | Method of removing noise from image signal | |
| US6424753B1 (en) | Pixel interpolation method and circuit therefor | |
| JP2008523489A (ja) | 画像サイズを変更する方法および装置 | |
| US9979908B2 (en) | Image processing devices and image processing methods with interpolation for improving image resolution | |
| CN115578260A (zh) | 针对图像超分辨率的方向解耦的注意力方法和系统 | |
| CN102982509B (zh) | 图像处理电路 | |
| Lopez et al. | A novel real-time DSP-based video super-resolution system | |
| CN104301584B (zh) | 图像处理系统 | |
| US8488897B2 (en) | Method and device for image filtering | |
| US20210319542A1 (en) | Image processing apparatus and method thereof | |
| CN117745519A (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CI01 | Publication of corrected invention patent application |
Correction item: Priority Correct: 2007-117101 20070426 JP Number: 44 Volume: 25 |
|
| CI02 | Correction of invention patent application |
Correction item: Priority Correct: 2007-117101 20070426 JP Number: 44 Page: The title page Volume: 25 |
|
| ERR | Gazette correction |
Free format text: CORRECT: PRIORITY; FROM: NONE TO: 2007-117101;20070426;JP |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120912 Termination date: 20160428 |