CN111164959A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

以兼顾分辨率提高效果和伪像抑制为目的，本发明的图像处理装置(1)具有：位置偏移检测部(11)，其检测由按照时间序列获取的基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；高分辨率合成部(12)，其根据检测出的位置偏移量，将参照图像的像素信息定位到基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；定位误差评价部(13)，在生成高分辨率合成图像时，该定位误差评价部(13)评价将参照图像定位到高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及图像校正部(14)，其根据评价结果，对高分辨率合成图像进行校正。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及图像处理装置、图像处理方法以及图像处理程序。

背景技术

以往，已知有如下技术：在多张图像间计算相关量，根据相关量控制图像的合成比率并进行合成(例如，参照专利文献1)。该技术如下：将拍摄的多张图像中的1张作为基准图像，将其他图像作为参照图像，在基准图像与参照图像间按每个区域计算相关量(差分值)，相关性越高，将参照图像的合成比率控制得越大，相关性越低，将参照图像的合成比率控制得越小(将基准图像的比率控制得越大)。

具体而言，判定为相关性高的区域是定位误差小的区域而不进行校正处理，判定为相关性低的区域是存在定位误差的区域，针对高分辨率图像通过滤波处理等校正处理来校正锯齿状的位置偏移伪像。

另一方面，在合成多张低分辨率图像而获取高分辨率图像的情况下，重要的是将多张低分辨率图像的信息(像素)配置在分辨率比低分辨率图像高的图像空间上的适当位置，若向适当位置的配置失败，则无法得到分辨率提高效果。

现有技术文献

专利文献

专利文献1：日本特开2011-199786号公报

发明内容

发明要解决的课题

但是，当在高分辨率化处理中应用专利文献1的技术时，因定位误差而在有锯齿的区域中差分值变大，能够判定为相关性低，但即使在低分辨率图像中存在混叠(莫尔条纹)的精细图案的被摄体区域中，也存在差分值变大而被误判定为相关性低的不良情况。

即，本来，越是混叠区域，基于合成的分辨率提高效果越高，若在该区域中误判定为相关性低而实施滤波处理等校正处理，则存在无法得到分辨率提高效果的问题。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够兼顾分辨率提高效果和伪像抑制的图像处理装置、图像处理方法以及图像处理程序。

用于解决课题的手段

本发明的一个方式是一种图像处理装置，其具有：位置偏移检测部，其检测按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；高分辨率合成部，其根据由该位置偏移检测部检测出的位置偏移量，将所述参照图像的像素信息定位到所述基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；定位误差评价部，在由该高分辨率合成部生成所述高分辨率合成图像时，该定位误差评价部评价将所述参照图像定位到所述高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及图像校正部，其根据该定位误差评价部的评价结果，对所述高分辨率合成图像进行校正。

根据本方式，当输入按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像时，由位置偏移检测部检测所输入的低分辨率图像间的位置偏移量，由高分辨率合成部根据检测出的位置偏移检测量，将参照图像的像素信息在高分辨率图像空间上定位到基准图像的位置，而合成高分辨率合成图像。当合成的高分辨率合成图像被输入到定位误差评价部时，评价将参照图像定位到高分辨率图像空间时的由高分辨率化倍率引起的定位误差，由图像校正部根据该评价结果，对高分辨率合成图像进行校正。

即，由于用于校正高分辨率合成图像的定位误差起因于高分辨率化倍率，因此通过基于是否为符合如下像素周期的像素的信息，该像素周期由对原来的低分辨率图像进行高分辨率化时的高分辨率化倍率决定，能够适当地仅判定可能成为伪像的像素，而实施校正处理。

在上述方式中，也可以是，上述图像处理装置具有图像获取部，该图像获取部按照时间序列获取多张所述低分辨率图像，该图像获取部具有：光学系统，其对来自被摄体的光进行会聚；摄像元件，其对由该光学系统会聚后的光进行拍摄而获取各所述低分辨率图像；传感器移位机构，其使所述光学系统与所述摄像元件的相对位置在与光轴方向交叉的方向上移动；以及传感器移位控制部，其控制该传感器移位机构的移位方向和移位量。

另外，在上述方式中，也可以是，所述位置偏移检测部根据由所述传感器移位控制部控制的移位方向和移位量来检测所述低分辨率图像间的位置偏移量。

另外，在上述方式中，也可以是，所述位置偏移检测部根据所述基准图像和所述参照图像来计算所述低分辨率图像间的位置偏移量。

另外，在上述方式中，也可以是，所述高分辨率合成部根据配置在所述高分辨率空间上的所述像素信息，对未配置该像素信息的像素进行插值。

另外，在上述方式中，也可以是，所述定位误差评价部具有：特征量计算部，其计算所述高分辨率合成图像的任意的包含关注像素的区域的特征量；以及评价值计算部，其使用由该特征量计算部计算出的所述特征量和所述高分辨率合成图像来计算所述关注像素的误差评价值。

另外，在上述方式中，也可以是，所述特征量计算部计算所述高分辨率合成图像中的所述区域的边缘的方向信息来作为所述特征量。

另外，在上述方式中，也可以是，所述评价值计算部在包含所述关注像素的所述区域中，根据所述误差评价值的运算的对象像素是否是符合由高分辨率化倍率决定的像素周期的像素的信息，来计算所述误差评价值。

另外，在上述方式中，也可以是，所述评价值计算部在所述高分辨率化倍率为M(M为自然数)时，使用位于与所述关注像素相距2M个像素的位置的1个以上的像素与所述关注像素之间的第1相关值、和位于除此以外的位置的1个以上的像素与所述关注像素之间的第2相关值，来计算所述关注像素的位置处的所述误差评价值。

另外，在上述方式中，也可以是，所述评价值计算部在所述高分辨率化倍率为M(M为自然数)时，将如下相关运算的结果作为所述关注像素的位置处的所述误差评价值，该相关运算中，使所述关注像素和位于与该关注像素相距2M个像素的位置的像素的贡献度大于位于除此以外的位置的像素的贡献度。

另外，在上述方式中，也可以是，所述图像校正部根据所述定位误差评价部的评价结果，对所述高分辨率合成图像进行滤波而生成高分辨率校正图像。

另外，在上述方式中，也可以是，所述图像校正部根据基于所述评价结果的合成比率，对所述高分辨率合成图像和所述高分辨率校正图像进行合成。

另外，本发明的另一方式是一种图像处理方法，其包含如下步骤：位置偏移检测步骤，检测按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；高分辨率合成步骤，根据通过该位置偏移检测步骤检测出的位置偏移量，将所述参照图像的像素信息定位到所述基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；定位误差评价步骤，在通过该高分辨率合成步骤生成所述高分辨率合成图像时，评价将所述参照图像定位到所述高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及图像校正步骤，根据该定位误差评价步骤的评价结果，对所述高分辨率合成图像进行校正。

另外，本发明的另一方式是一种图像处理程序，其使计算机执行如下步骤：位置偏移检测步骤，检测按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；高分辨率合成步骤，根据通过该位置偏移检测步骤检测出的位置偏移量，将所述参照图像的像素信息定位到所述基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；定位误差评价步骤，在通过该高分辨率合成步骤生成所述高分辨率合成图像时，评价将所述参照图像定位到所述高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及图像校正步骤，根据该定位误差评价步骤的评价结果，对所述高分辨率合成图像进行校正。

附图说明

图1是示出本发明的第1实施方式的图像处理装置的整体结构图。

图2A是示出由图1的图像处理装置生成的Gr通道的高分辨率合成图像的一例的图。

图2B是示出由图1的图像处理装置生成的R通道的高分辨率合成图像的一例的图。

图2C是示出由图1的图像处理装置生成的B通道的高分辨率合成图像的一例的图。

图2D是示出由图1的图像处理装置生成的Gb通道的高分辨率合成图像的一例的图。

图3是示出图1的图像处理装置的定位误差评价部的框图。

图4A是示出将由图1的图像处理装置生成的Gr通道和Gb通道的高分辨率合成图像相加平均而得的G通道的高分辨率图像的图。

图4B是示出图4A的高分辨率图像中存在的边缘的方向的图。

图5是示出图1的图像处理装置的评价值计算的例子的Gr通道的高分辨率合成图像的一例的图。

图6A是示出针对图4B的边缘方向e1的方向滤波的一例的图。

图6B是示出针对图4B的边缘方向e2的方向滤波的一例的图。

图6C是示出针对图4B的边缘方向e3的方向滤波的一例的图。

图6D是示出针对图4B的边缘方向e4的方向滤波的一例的图。

图6E是示出针对图4B的边缘无方向的方向滤波的一例的图。

图7是示出基于图1的图像处理装置的图像校正部的高分辨率合成图像与高分辨率校正图像的合成比率与评价值的关系的一例的图。

图8是示出使用了图1的图像处理装置的图像处理方法的流程图。

图9是示出由图1的图像处理装置生成的高分辨率合成图像的Gr通道的定位误差评价的具体数值例的图。

图10是示出图1的图像处理装置的变形例的整体结构图。

图11A是示出由本发明的第2实施方式的图像处理装置生成的Gr通道的高分辨率合成图像的一例的图。

图11B是示出由图11A的图像处理装置生成的Gb通道的高分辨率合成图像的一例的图。

图12A是示出根据位置偏移量将8张图像配置在高分辨率图像空间上并实施空白像素的插值处理后的Gr通道的高分辨率合成图像的图。

图12B是示出与图12A同样的Gb通道的高分辨率合成图像的图。

图13A是示出使用以图12A和图12B的关注像素300为中心的9×9像素的区域301按照现有方法计算出的SAD的比较例的图。

图13B是示出使用了以图12A和图12B的关注像素300为中心的9×9像素的区域301的图11A的图像处理装置的SAD的图。

具体实施方式

以下，参照附图对本发明的第1实施方式的图像处理装置1和图像处理方法进行说明。

如图1所示，本实施方式的图像处理装置1具有对被摄体进行拍摄并作为图像取入的图像获取部10、位置偏移检测部11、高分辨率合成部12、定位误差评价部13以及图像校正部14。

图像获取部10具有：摄像镜头(光学系统)100，其对来自被摄体的光进行会聚；摄像元件101，其对由该摄像镜头100会聚后的光进行拍摄；传感器移位机构102，其使该摄像元件101在与光轴垂直的方向上移位；传感器移位控制部103，其控制该传感器移位机构102；以及帧存储器104。

帧存储器104也可以从图像获取部10以外访问。

摄像镜头100对来自被摄体的光进行会聚，在摄像元件101的像面上形成被摄体的光学像。摄像元件101例如具有R、Gr、Gb、B这4种滤色镜以2×2像素单位按每个像素配置的所谓拜耳排列构造。

关于由摄像元件101按照时间序列获取的多张图像(低分辨率图像)，将最初获取的图像作为基准图像、将之后获取的1张以上的图像作为参照图像存储在帧存储器104中。

另外，传感器移位机构102具有能够使摄像元件101在与光轴垂直且相互水平、垂直的方向上以子像素为单位移位的机构。

传感器移位控制部103控制经由传感器移位机构102使摄像元件101移位的移位方向和移位量。另外，传感器移位控制部103将移位方向和移位量的信息输出给位置偏移检测部11。位置偏移检测部11根据从传感器移位控制部103送来的移位方向和移位量的信息来计算位置偏移量，并将该位置偏移量向高分辨率合成部12输出。

高分辨率合成部12根据存储在帧存储器104中的多张低分辨率图像和从位置偏移检测部11输出来的位置偏移量，一边进行定位一边在每个颜色通道(R、Gr、Gb、B)的高分辨率图像空间上配置多张低分辨率图像的像素信息。

具体而言，首先，将基准图像的像素配置在高分辨率图像空间上，接下来，使用在位置偏移检测部11中计算出的基准图像与某个参照图像之间的位置偏移量，将参照图像的像素配置在相对于基准图像移动后的规定的位置。在配置参照图像的像素时，如果与配置的像素的颜色同色的像素已经用基准图像的像素或其他对象图像的像素配置，则可以不新配置像素，也可以与已经配置的同色像素进行相加平均来更新像素值，也可以在累积相加后以相加次数对像素值进行归一化。

并且，高分辨率合成部12在将全部低分辨率图像的像素配置在高分辨率图像空间上之后，进行通过插值来填埋还未配置像素的空间的处理。插值的方法例如只要使用周围配置的像素实施考虑了边缘方向的方向判别插值、或者以使用了周围5x5像素的加权平均进行插值、或者复制最近处存在的像素来进行插值即可。

在图2A至图2D中示出了高分辨率合成图像的图像。在本实施方式中，对合成按照时间序列获取的8张低分辨率图像并生成纵横2倍(M＝2)的像素数的高分辨率图像的情况进行说明。

图2A示出了仅将8张低分辨率图像的Gr通道配置在高分辨率空间上的图，箭头的左侧表示包含未配置像素信息的像素(图中用密集的斜线表示的像素)在内的高分辨率空间，箭头的右侧表示通过插值来填埋未配置像素信息的像素(图中用稀疏的斜线表示的像素)而得的高分辨率空间。

在拜耳排列的情况下，除了图2A所示的Gr通道以外，还存在图2B所示的R通道、图2C所示的B通道以及图2D所示的Gb通道。在表示图中的各通道的字母之后附加的编号表示多张摄影的摄影顺序，在该例子的情况下，由于是拜耳排列，因此即使在相同的坐标位置，各通道的摄影顺序(像素值获取时机)也不同。

以下示出了成为图2A那样的像素配置时的摄影时的传感器移位控制。

即，以第1张基准图像的位置为基准，第2张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移1像素、在垂直方向上偏移0像素进行拍摄而得到的，第3张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移0像素、在垂直方向上偏移1像素进行拍摄而得到的，第4张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移1像素、在垂直方向上偏移1像素进行拍摄而得到的，第5张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移0.5像素、在垂直方向上偏移0.5像素进行拍摄而得到的，第6张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移1.5像素、在垂直方向上偏移0.5像素进行拍摄而得到的，第7张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移0.5像素、在垂直方向上偏移1.5像素进行拍摄而得到的，第8张参照图像是传感器移位控制部103使摄像元件101在水平方向上偏移1.5像素、在垂直方向上偏移1.5像素进行拍摄而得到的。

如图3所示，定位误差评价部13具有：特征量计算部130；以及评价值计算部131，其根据由该特征量计算部130计算出的特征量来计算评价值(误差评价值)。

特征量计算部130使用由高分辨率合成部12生成的高分辨率合成图像来计算特征量。

在图4A和图4B中示出了特征量计算部130对特征量的计算例。

在该例子中，将高分辨率合成图像的Gr通道和Gb通道相加平均而生成G通道图像，根据以关注像素为中心的3×3像素计算边缘方向信息。

图4A示出了将Gr通道和Gb通道相加平均后的G通道图像，在图4B中，用箭头表示图4A的G通道图像中存在的边缘方向。

即，通过下式计算边缘信息e1、e2、e3、e4的值，将它们的最小值作为关注像素位置的边缘方向信息。

e1＝|G10-G12|

e2＝|G20-G02|

e3＝|G01-G21|

e4＝|G00-G22|

评价值计算部131根据由高分辨率合成部12生成的高分辨率合成图像和由特征量计算部130计算出的边缘方向信息(特征量)，计算对关注像素是否为产生锯齿状的伪像的像素进行评价的评价值。这里，说明了对高分辨率合成图像的Gr通道计算评价值的例子。如图5所示，将关注像素位置设为Gr44。另外，对判定为关注像素位置的边缘方向的信息是垂直方向(图4B的e3方向)的情况进行了说明。

首先，评价值计算部131使用与关注像素Gr44在垂直方向上相邻的像素Gr34、Gr54，通过下式计算相关。该式分别求出与相邻的像素的差分绝对值，并将对它们进行平均化后的值作为相关值(第1相关值)V1。

V1＝(|Gr44-Gr34|+|Gr44-Gr54|)/2

接下来，评价值计算部131使用位于与关注像素Gr44在垂直方向上相距4个像素的位置的像素Gr04、Gr84，通过下式计算相关值(第2相关值)V2。

V2＝(|Gr44-Gr04|+|Gr44-Gr84|)/2

这里，将位于相距4个像素的位置的像素用于计算的原因是，在相对于原来的8张图像生成纵横2倍的像素数的高分辨率图像的情况下，如图2A所示，若着眼于特定的1张图像(例如，Gr图像的第1张)的像素Gr1的配置，则以4个像素为周期配置像素Gr1，因此，如果在特定的1张的定位中产生误差，则包含误差的像素以4个像素为周期出现。

该式也同样地分别求出与位于相距4个像素的位置的像素的差分绝对值，并将对它们进行平均化后的值作为相关值。

然后，评价值计算部131使用这样计算出的相关值V1、V2，通过下式计算评价值Eva。

Eva＝V1-V2

该式表示，评价值Eva的值越大，关注像素越是可能成为锯齿状的伪像的像素，评价值Eva的值越小，关注像素越是不会成为锯齿状的伪像的像素。这样计算出的评价值Eva被输出给图像校正部14。

图像校正部14使用从帧存储器104输入的高分辨率合成图像来校正图像。

首先，在与从定位误差评价部13输出的边缘方向信息一致的方向上对高分辨率合成图像施加方向滤波来校正高分辨率校正图像。例如，如图6A至图6E所示，对以关注像素为中心沿着边缘方向的4个像素施加带系数的方向滤波。

接下来，图像校正部14以基于评价值Eva的合成比率合成高分辨率合成图像和对每个像素实施了滤波的高分辨率校正图像。例如，用图7所示那样的折线将评价值Eva转换为合成比率。评价值Eva越大则越是有可能成为锯齿状的伪像的像素，因此使得高分辨率校正图像的比率变大，评价值Eva越小，高分辨率校正图像的比率越小(没有校正的高分辨率合成图像的比率越大)。

图7的实线表示高分辨率图像的合成比率，虚线表示高分辨率校正图像的合成比率。另外，设定第1阈值TH1和第2阈值TH2，如果评价值Eva为第1阈值TH1以下，则将高分辨率合成图像的合成比率设为1(将高分辨率校正图像的合成比率设为0)，如果评价值Eva为第2阈值TH2以上，则将高分辨率合成图像的合成比率设为0(将高分辨率校正图像的合成比率设为1)，在它们之间以评价值Eva越大则高分辨率校正图像的合成比率越高的方式进行转换。

按照每个像素将评价值Eva转换为合成比率，通过合成高分辨率合成图像和高分辨率校正图像，能够生成校正了锯齿状的伪像的高分辨率合成图像。

以下，对使用了这样构成的本实施方式的图像处理装置1的图像处理方法进行说明。

如图8所示，本实施方式的图像处理方法包含如下步骤：位置偏移检测步骤S1，由位置偏移检测部11检测由图像获取部10一边使摄像元件101的位置偏移一边按照时间序列获取的基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；高分辨率合成步骤S2，由高分辨率合成部12根据检测出的位置偏移量，将参照图像的像素信息定位到基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；定位误差评价步骤S3，在生成高分辨率合成图像时，由定位误差评价部13计算评价值Eva，该评价值Eva评价将参照图像定位到高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及图像校正步骤S4，根据计算出的评价值Eva，对高分辨率合成图像进行校正。

使用图9的具体数值例对本实施方式的图像处理装置1和图像处理方法的效果进行说明。图9示出了根据位置偏移量将像素信息配置在高分辨率图像空间上并实施了空白像素的插值处理后的高分辨率合成图像的Gr通道的例子，该像素信息是由传感器移位控制部103使摄像元件101偏移而拍摄到的多张低分辨率图像的像素信息。

图9示出了包含定位误差的边缘部的图像。在该图9中，对判定关注像素200是否可能成为锯齿状的伪像的情况进行说明。首先，当使用以关注像素200为中心的3×3区域来计算边缘方向作为特征量时，

e1＝|182-101|＝81

e2＝|180-100|＝80

e3＝|180-177|＝3

e4＝|97-180|＝83

边缘方向被判定为垂直方向(e3方向)。

接下来，当使用在垂直方向上与关注像素200相邻的像素和在垂直方向上相距4个像素的像素来计算相关值V1、V2时，

V1＝(|100-177|+|100-180|)/2＝78.5

V2＝(|100-100|+|100-101|)/2＝0.5。

当使用这些值来计算评价关注像素200是否为产生锯齿状的伪像的像素的评价值Eva时，

Eva＝V1-V2＝78.5-0.5＝78。

接下来，当通过图像校正部14对关注像素200施加图6C所示的垂直方向的方向滤波时，校正后像素值Ic为：

Ic＝(179+177+180+181)/4＝179。

接下来，根据计算出的评价值Eva求出原像素值I与校正后像素值Ic的合成比率。当将图7所示的评价值Eva转换为合成比率时的阈值TH1、TH2分别设为阈值TH1＝20、阈值TH2＝80时，校正后像素值Ic的合成比率α为α＝(Eva-TH1)/(TH2-TH1)＝(78-20)/(80-20)＝0.97

其结果为，关注像素200的最终像素值I’为：

I’＝(1-α)×I+α×Ic＝0.03×100+0.97×179＝177

即，根据本实施方式的图像处理装置1和图像处理方法，关注像素200的校正后的像素值I’被校正为与垂直方向的相邻像素的像素值大致相同，可以得知锯齿状的伪像得到了适当的校正。

另外，在本实施方式的图像处理装置1中，位置偏移检测部11根据从图像获取部10所具有的传感器移位控制部103送来的摄像元件101的移位方向和移位量的信息来计算位置偏移量。也可以取而代之，如图10所示，位置偏移检测部11使用保存在帧存储器104中的多张低分辨率图像来计算低分辨率图像间的整个图像的全局运动量或每个区域的局部运动量，从而检测位置偏移量。

例如也可以是，针对以32×32像素为1块的每个分割区域，使用块匹配法等获取水平方向和垂直方向的运动矢量，根据匹配误差评价值的分布来估计子像素精度的运动信息。另外，获取并估计的运动信息不仅是水平方向和垂直方向的运动，也可以是旋转方向或放大缩小的变化，例如可以通过根据按子像素精度估计的运动信息估计整个图像的几何变形来检测每个像素位置的运动量。

另外，也可以考虑边缘方向e1、e2、e3、e4的值和分布，提供无方向的判定作为边缘方向信息。另外，方向信息的计算方法和方向的数量不限于上述方法，也可以使用其他方法。例如，可以通过根据水平方向和垂直方向的微分滤波计算梯度的大小和方向来获取边缘方向，也可以在施加平滑化滤波来降低噪声的影响之后计算边缘方向。

另外，作为方向滤波，只要是方向依赖型的滤波系数，可以是任意的滤波。另外，在上述例子中，将关注像素200的系数设定为0，但也可以不是0。另外，在方向信息为“无方向”的情况下，也可以如图6E所示那样仅对关注像素200施加1的系数(实质上无校正)，也可以施加高斯滤波那样的不是方向依赖型的滤波。

另外，在本实施方式中，沿着边缘方向对关注像素200使用两侧的相邻像素以及两侧的相距4个像素的像素来计算评价值Eva，但也可以仅使用沿着边缘方向的一侧的像素来计算评价值Eva，也可以使用更大范围的像素来计算评价值Eva。另外，不仅是相邻像素，也可以使用相距2个像素的位置的像素来计算相关值V1。

另外，在本实施方式中，对由硬件构成图像处理装置1的情况进行了说明，但也可以通过能够由计算机执行上述图像处理方法的各步骤的图像处理程序而构成为软件。

接下来，以下参照附图对本发明的第2实施方式的图像处理装置进行说明。

本实施方式的图像处理装置在评价值计算部131中与第1实施方式的图像处理装置1不同。

在本实施方式的图像处理装置的评价值计算部131中，使用从高分辨率合成部12输出的高分辨率合成图像的Gr通道和Gb通道来计算评价值Eva。

如图11A和11B所示，在Gr通道和Gb通道中，关注像素是Gr44和Gb44。

对在特征量计算部130中判定为关注像素位置的边缘方向是垂直方向(图4B的e3方向)的情况进行说明。

在将以Gr通道和Gb通道的关注像素Gr44、Gb44为中心的9×9像素作为处理单位计算差分绝对值和(SAD)时，使关注像素位置的差分绝对值(|Gr44-Gb44|)的权重以及位于与关注像素Gr44、Gb44相距4个像素的位置的像素Gr04、Gr84、Gb04、Gb84的差分绝对值(|Gr04-Gb04|和|Gr84-Gb84|)的权重大于其他像素位置的差分绝对值的权重。

这样做的原因是，相对于原来的8张图像生成纵横2倍的像素数的高分辨率图像的情况下的像素周期为4。像素周期为4的原因与第1实施方式中说明的情况相同，是在特定的1张的定位中产生误差的情况下，包含误差的像素容易以4个像素为周期出现。

在图12A、图12B、图13A以及图13B中以具体数值例表示。

图12A和图12B是根据位置偏移量将8张图像配置在高分辨率图像空间上并实施了空白像素的插值处理后的高分辨率合成图像的Gr通道和Gb通道，示出了包含定位误差的边缘部的图像例。

Gr通道和Gb通道的锯齿状的图案错开2个像素的原因在于，摄影图像是拜耳图像，即使在相同的坐标位置，各通道的摄影顺序(像素值获取时机)也不同。

在该例子中，使用以关注像素300为中心的9×9像素的区域301，按照现有方法计算SAD的结果为图13A。在该图13A中，省略示出无法计算9×9像素的SAD的像素位置。在图13A中，与包含定位误差的像素300中的SAD相比，没有定位误差的像素302中的SAD的值大。

因此，为了在图像校正部14中对有可能产生锯齿状的伪像的像素300实施校正处理，需要对不产生锯齿状的伪像的像素302也实施校正处理，使分辨率提高效果降低。

相反地，如果不对像素302实施校正处理，则像素300也不被实施校正处理，在合成图像中产生锯齿状的伪像。这样，无法兼顾分辨率提高效果和伪像抑制。

与此相对，在本实施方式中，由于增大了相距根据高分辨率化倍率(在该例子中为2倍)决定的像素(在该例中为4个像素)量的位置的像素的贡献度，因此如图13B所示，像素300中的SAD成为比其他像素大的值，具有能够容易地判定为是可能产生锯齿状的伪像的像素的优点。

另外，在本数值中，将关注像素300和与关注像素300相距4个像素的位置的权重设为其他位置的权重的4倍来计算评价值Eva，但加权方法并不限于此。

另外，在第1实施方式和第2实施方式中，虽然示出了使用由传感器移位控制部103使摄像元件101移位而拍摄到的多张图像来生成纵横2倍的高分辨率图像的例子，但高分辨率化倍率不限于2倍。另外，关于摄像元件101，也可以不是RGB的拜耳，而是补色系统。

这样，根据上述各实施方式的图像处理装置1、图像处理方法以及图像处理程序，在用于判定关注像素是否是可能成为锯齿状的伪像的像素的定位误差评价中，由于根据是否是符合像素周期的像素的信息来计算评价值Eva，该像素周期由将原来的低分辨率图像高分辨率化时的高分辨率化倍率决定，因此能够仅适当地判定可能成为伪像的像素，并实施校正处理。即，具有在现有方法中困难的能够兼顾分辨率提高效果和伪像产生的抑制的优点。

标号说明

1：图像处理装置；10：图像获取部；11：位置偏移检测部；12：高分辨率合成部；13：定位误差评价部；14：图像校正部；100：摄像镜头(光学系统)；101：摄像元件；102：传感器移位机构；103：传感器移位控制部；130：特征量计算部；131：评价值计算部；200、300：关注像素；Eva：评价值(误差评价值)；V1：相关值(第1相关值)；V2：相关值(第2相关值)；S1：位置偏移检测步骤；S2：高分辨率合成步骤；S3：定位误差评价步骤；S4：图像校正步骤。

Claims (14)

1.一种图像处理装置，其具有：

位置偏移检测部，其检测按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；

高分辨率合成部，其根据由该位置偏移检测部检测出的位置偏移量，将所述参照图像的像素信息定位到所述基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；

定位误差评价部，在由该高分辨率合成部生成所述高分辨率合成图像时，该定位误差评价部评价将所述参照图像定位到所述高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及

图像校正部，其根据该定位误差评价部的评价结果，对所述高分辨率合成图像进行校正。

2.根据权利要求1所述的图像处理装置，其中，

该图像处理装置具有图像获取部，该图像获取部按照时间序列获取多张所述低分辨率图像，

该图像获取部具有：

光学系统，其对来自被摄体的光进行会聚；

摄像元件，其对由该光学系统会聚后的光进行拍摄而获取各所述低分辨率图像；

传感器移位机构，其使所述光学系统与所述摄像元件的相对位置在与光轴方向交叉的方向上移动；以及

传感器移位控制部，其控制该传感器移位机构的移位方向和移位量。

3.根据权利要求2所述的图像处理装置，其中，

所述位置偏移检测部根据由所述传感器移位控制部控制的移位方向和移位量来检测所述低分辨率图像间的位置偏移量。

4.根据权利要求1所述的图像处理装置，其中，

所述位置偏移检测部根据所述基准图像和所述参照图像来计算所述低分辨率图像间的位置偏移量。

5.根据权利要求1至4中的任意一项所述的图像处理装置，其中，

所述高分辨率合成部根据配置在所述高分辨率空间上的所述像素信息，对未配置该像素信息的像素进行插值。

6.根据权利要求1至5中的任意一项所述的图像处理装置，其中，

所述定位误差评价部具有：

特征量计算部，其计算所述高分辨率合成图像的任意的包含关注像素的区域的特征量；以及

评价值计算部，其使用由该特征量计算部计算出的所述特征量和所述高分辨率合成图像来计算所述关注像素的误差评价值。

7.根据权利要求6所述的图像处理装置，其中，

所述特征量计算部计算所述高分辨率合成图像中的所述区域的边缘的方向信息来作为所述特征量。

8.根据权利要求6或7所述的图像处理装置，其中，

所述评价值计算部在包含所述关注像素的所述区域中，根据所述误差评价值的运算的对象像素是否是符合由高分辨率化倍率决定的像素周期的像素的信息，来计算所述误差评价值。

9.根据权利要求8所述的图像处理装置，其中，

所述评价值计算部在所述高分辨率化倍率为M(M为自然数)时，使用位于与所述关注像素相距2M个像素的位置的1个以上的像素与所述关注像素之间的第1相关值、和位于除此以外的位置的1个以上的像素与所述关注像素之间的第2相关值，来计算所述关注像素的位置处的所述误差评价值。

10.根据权利要求8所述的图像处理装置，其中，

所述评价值计算部在所述高分辨率化倍率为M(M为自然数)时，将如下相关运算的结果作为所述关注像素的位置处的所述误差评价值，该相关运算中，使所述关注像素和位于与该关注像素相距2M个像素的位置的像素的贡献度大于位于除此以外的位置的像素的贡献度。

11.根据权利要求1至10中的任意一项所述的图像处理装置，其中，

所述图像校正部根据所述定位误差评价部的评价结果，对所述高分辨率合成图像进行滤波而生成高分辨率校正图像。

12.根据权利要求11所述的图像处理装置，其中，

所述图像校正部根据基于所述评价结果的合成比率，对所述高分辨率合成图像和所述高分辨率校正图像进行合成。

13.一种图像处理方法，其包含如下步骤：

位置偏移检测步骤，检测按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；

高分辨率合成步骤，根据通过该位置偏移检测步骤检测出的位置偏移量，将所述参照图像的像素信息定位到所述基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；

定位误差评价步骤，在通过该高分辨率合成步骤生成所述高分辨率合成图像时，评价将所述参照图像定位到所述高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及

图像校正步骤，根据该定位误差评价步骤的评价结果，对所述高分辨率合成图像进行校正。

14.一种图像处理程序，其中，

该图像处理程序使计算机执行如下步骤：

位置偏移检测步骤，检测按照时间序列获取的由基准图像和1张以上的参照图像构成的多张低分辨率图像间的位置偏移量；

高分辨率合成步骤，根据通过该位置偏移检测步骤检测出的位置偏移量，将所述参照图像的像素信息定位到所述基准图像的位置而在高分辨率图像空间上进行合成，生成高分辨率合成图像；

定位误差评价步骤，在通过该高分辨率合成步骤生成所述高分辨率合成图像时，评价将所述参照图像定位到所述高分辨率图像空间时的由高分辨率化倍率引起的定位误差；以及

图像校正步骤，根据该定位误差评价步骤的评价结果，对所述高分辨率合成图像进行校正。

Images