CN106165395B - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN106165395B
CN106165395B CN201580019429.8A CN201580019429A CN106165395B CN 106165395 B CN106165395 B CN 106165395B CN 201580019429 A CN201580019429 A CN 201580019429A CN 106165395 B CN106165395 B CN 106165395B
Authority
CN
China
Prior art keywords
image
resolution
definition picture
region
synthesis rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580019429.8A
Other languages
English (en)
Other versions
CN106165395A (zh
Inventor
梶村康祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106165395A publication Critical patent/CN106165395A/zh
Application granted granted Critical
Publication of CN106165395B publication Critical patent/CN106165395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理装置，其包括：图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；对位单元，其根据多个低分辨率图像之间的运动而生成将多个低分辨率图像在高分辨率的图像空间上进行了对位的高分辨率图像；相关计算单元，其针对高分辨率图像的每个部分区域而计算相关信息，该相关信息表示低分辨率图像的相当于部分区域的对应区域之间的相关程度；及图像合成单元，其根据相关信息而针对每个部分区域计算高分辨率图像与被合成图像的合成比率，并按照合成比率而将高分辨率图像和比高分辨率图像更低分辨率的被合成图像合成，合成比率计算单元以如下方式针对每个部分区域而计算合成比率：相关性越低的区域，高分辨率图像的比率越小，相关性越高的区域，高分辨率图像的比率越大。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本发明涉及图像处理装置、图像处理方法及图像处理程序，特别地，涉及通过对多个图像进行合成处理而取得高分辨率化的图像的图像处理装置、图像处理方法及图像处理程序。
背景技术
以往，已知有由多张输入图像生成更高分辨率的输出图像的超分辨处理。作为该超分辨处理的一例，在专利文献1中公开了重构型超分辨处理，该重构型超分辨处理重复进行如下的处理：利用由照相模型获得的点扩散函数(PSF函数)而将所估算的高分辨率图像重采样成低分辨率图像，并以使它们的低分辨率图像与原来的输入图像之间的像素值之差变小的方式估算高分辨率图像。
现有技术文献
专利文献
专利文献1日本特开2006-127241号公报
发明内容
发明要解决的课题
但是，在专利文献1的重构型超分辨处理中，由于重复进行估算高分辨率图像的处理，因此计算成本升高。另外,如果为了控制计算成本而限制重复次数，则在估算高分辨率图像中无法完全减少由运动体等而产生的多重像、伪影，导致输出图像的画质下降。
本发明是鉴于上述情况而研发的，本发明的目的在于抑制计算成本，减少多重像、伪影，取得良好地提高了分辨率的图像。
用于解决课题的手段
为了达到上述目的，本发明提供以下的手段。
本发明的第1方式为一种图像处理装置，其包括：图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；运动检测单元，其检测多个所述低分辨率图像之间的运动；对位单元，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算单元，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成单元，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算单元，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成单元，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算单元针对每个所述部分区域以如下方式计算合成比率：相关性越低的区域，所述高分辨率图像的比率越小，相关性越高的区域，所述高分辨率图像的比率越大。
根据本方式，取得按照时间序列而拍摄的关于同一被摄体的多个低分辨率图像，并从这些多个低分辨率图像取得进行了高分辨率化的一个图像。在该情况下，防止由低分辨率图像中的运动而导致在高分辨率化的图像中产生多重像等，因此通过对位单元，对在运动检测单元中检测出的多个图像之间的运动进行校正，即一边进行对位，一边在高分辨率图像空间上对多个低分辨率图像进行像素配置而生成高分辨率图像。将高分辨率图像划分为规定的部分区域，并针对每个部分区域而计算相关信息，该相关信息表示低分辨率图像的相当于该部分区域的对应区域之间的相关程度。通过相关信息，能够在某种程度上判断该部分区域是否为多个图像之间的相关小的、即运动大的区域或包括运动体的区域。判断为相关低的区域有可能在高分辨率图像中的对位失败。因此，通过被合成图像生成单元而由高分辨率图像或多个低分辨率图像生成比高分辨率图像更低分辨率的被合成图像。并且，通过合成比率计算单元，根据相关信息而针对每个部分区域计算高分辨率图像与被合成图像之间的合成比率。此时，以相关性越低的区域，高分辨率图像的比率越小，而相关性越高的区域，高分辨率图像的比率越大的方式，针对每个部分区域而计算合成比率，并且图像合成单元由此生成高分辨率图像与被合成图像的合成图像。
从而，在生成合成图像时，例如对于包括运动体等运动较大的区域等基于在多个低分辨率图像之间相关性低的区域的部分区域，通过提高被合成图像的比率而抑制多重像、伪影。另外，例如对于静止区域等基于在多个低分辨率图像之间相关性高的区域的部分区域，通过提高高分辨率图像的比率而可靠地进行高分辨率化。由此，能够抑制计算成本，并降低多重像、伪影，取得良好地提高了分辨率的图像。
在上述的方式中，优选为，还包括：运动体边界判定单元，其根据所述运动而判定所述部分区域是否为运动体的边界区域，所述合成比率计算单元以如下方式计算合成比率：与所述部分区域是非边界区域的情况相比，在所述部分区域是所述边界区域的情况下，使所述高分辨率图像的比率更小。
从而，即便部分区域之间的相关信息为相同程度，也能够根据该部分区域是否为边界区域而使合成比率不同。因此，在容易产生伪影、多重像的运动体边界周边，也能够可靠地抑制伪影、多重像，并提高背景等的静止区域中的波纹(moire)区域的分辨率。
在上述的方式中，所述图像取得单元可以是具备摄像元件、移动单元和移动控制单元的摄像单元，所述摄像元件按照时间序列取得多帧被摄体的光学像，所述移动单元使所述摄像元件相对于所述光学像的位置相对地移动，所述移动控制单元控制由该移动单元进行的所述光学像与所述摄像元件的相对的移动方向及移动量。
并且，在上述的方式中，所述对位单元可以根据所述运动或所述移动方向及所述移动量中的至少一个而进行对位。
从而，对于通过摄像单元按照时间序列使像素偏移而取得的多个低分辨率图像，能够不仅考虑运动，而且还考虑摄像元件的移动方向、移动量来生成高分辨率图像，因此提高分辨率，并进一步提高多重像等的抑制效果。
在上述的方式中，优选为，所述相关计算单元根据所述高分辨率图像的颜色通道而计算每个部分区域的相关信息。
从而，容易计算针对该部分区域的相关信息，由此既容易取得相关信息，并能够降低计算成本。
在上述的方式中，优选为，所述被合成图像生成单元通过对所述高分辨率图像实施滤波处理，从而生成与所述高分辨率图像相比降低了分辨率的图像作为被合成图像。
例如，可应用使高分辨率图像的高频成分减少的低通滤波器等，通过由此生成被合成图像，从而对于在之后的合成处理中判断为相关低的区域，能够抑制多重像、伪影。
在上述的方式中，优选为，所述被合成图像生成单元生成将多个所述低分辨率图像中的任一个图像放大成与所述高分辨率图像相同分辨率的放大图像，作为被合成图像。
通过这样生成被合成图像，从而在之后的合成处理中对于判断为相关低的区域，能够抑制多重像、伪影。
并且，本发明的第2方式为一种图像处理方法，其包括：图像取得步骤，其取得按照时间序列拍摄的多个低分辨率图像；运动检测步骤，其检测多个所述低分辨率图像之间的运动；对位步骤，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算步骤，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成步骤，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算步骤，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成步骤，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算步骤针对每个所述部分区域以如下方式计算合成比率：相关性越低的区域，所述高分辨率图像的比率越小，相关性越高的区域，所述高分辨率图像的比率越大。
而且，本发明的第3方式为一种图像处理程序，其使计算机执行如下处理，该处理包括：图像取得步骤，其取得按照时间序列拍摄的多个低分辨率图像；运动检测步骤，其检测多个所述低分辨率图像之间的运动；对位步骤，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算步骤，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成步骤，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算步骤，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成步骤，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算步骤针对每个所述部分区域以如下方式计算合成比率：相关性越低的区域，所述高分辨率图像的比率越小，相关性越高的区域，所述高分辨率图像的比率越大。
发明效果
根据本发明，达到如下的效果：能够在抑制计算成本的同时，减少多重像、伪影，取得良好地提高了分辨率的图像。
附图说明
图1是表示本发明的第1实施方式的图像处理装置的概略结构的框图。
图2是表示本发明的第1实施方式的图像处理装置中的摄像元件的结构的参考图。
图3是在本发明的第1实施方式中，涉及运动体的边界区域和非边界区域的判别的说明图。
图4是表示在本发明的第1实施方式中合成比率的例子的曲线图。
图5是表示本发明的第2实施方式的图像处理装置的概略结构的框图。
具体实施方式
(第1实施方式)
下面，参照附图，对本发明的第1实施方式的图像处理装置进行说明。
如图1所示，图像处理装置包括：图像取得部11、运动检测部12、对位部13、相关计算部14、运动体边界判定部15、滤波处理部16(被合成图像生成单元)、合成比率计算部17及图像合成部18。
图像取得部11取得按照时间序列而摄像的多个低分辨率图像。作为图像取得部11，在本实施方式中可应用摄像单元，该摄像单元包括：摄像元件21，其取得被摄体的光学像；位移机构(移动单元)22，其使摄像元件21移动；及传感器位移控制部23(移动控制单元)，其控制由位移机构22实现的摄像元件21的移动方向及移动量。
摄像元件21通过对由摄像透镜20聚光，在摄像元件21的像面上成像的被摄体的光学像进行摄像，从而取得关于被摄体的光学像的低分辨率图像。在本实施方式中的图像处理装置中，通过摄像元件21而按照时间序列取得低分辨率图像，并通过将这些图像合成而取得高分辨率的1个图像，即进行所谓超分辨处理。因此，在本实施方式中摄像元件21具有图2所示的拜耳排列结构。
位移机构22是使摄像元件21的相对光学像的位置相对地移动的机构，能够在水平方向、垂直方向上使摄像元件21以子像素为单位相对移动。传感器位移控制部23按照每个帧来控制通过位移机构22使摄像元件21相对移动的方向和量。
即，传感器位移控制部23将与移动方向及移动量相关的控制信号输出到位移机构22，以按照预定的条件而使摄像元件21相对于光学像而相对移动。在图像取得部11中，通过传感器位移控制部23而控制位移机构22，并通过摄像元件21而拍摄彼此具有子像素的位置偏离的多个低分辨率图像，将这些多个低分辨率图像存储到帧存储器24。并且，传感器位移控制部23将与摄像元件21的移动方向及移动量相关的信息(以下，称为“位移信息”)输出到运动检测部12。
另外，作为图像取得部11，无需一定应用摄像单元，例如也可以构成为临时取得通过图像处理装置的外部的摄像装置按照时间序列已经取得的多个低分辨率图像。
运动检测部12检测存储在帧存储器24中的多个低分辨率图像之间的运动。更具体地，运动检测部12将收纳在帧存储器24中的多个低分辨率图像当中的任一个低分辨率图像作为基准图像，将基准图像以外的图像作为参照图像，并针对每个规定的部分区域取得基准图像与参照图像之间的运动信息。例如，将由32像素×32像素构成的1个块作为部分区域，针对每个部分区域，通过块匹配法等取得水平方向和垂直方向的运动矢量。另外，关于所取得的运动信息，既可以是水平方向和垂直方向的运动，也可以是旋转方向、放大缩小的变化。
对位部13根据在运动检测部12中检测出的运动或从传感器位移控制部23输出的位移信息而对多个低分辨率图像进行对位，生成在比低分辨率图像更高分辨率的图像空间上对多个低分辨率图像进行了像素配置的高分辨率图像。更具体地，根据由运动检测部12检测出的低分辨率图像之间的每个部分区域的运动信息或由传感器位移控制部23获得的位移信息，在每个颜色通道(R，Gr，Gb，B)的高分辨率图像空间上，对存储于帧存储器24中的多个低分辨率图像进行像素配置，从而生成高分辨率图像。
作为像素配置的顺序，首先在高分辨率图像空间上对基准图像的像素进行像素配置，接着使用基准图像与处理对象的参照图像之间的每个部分区域的运动信息及该参照图像的位移信息，使参照图像的位置移动而在规定位置上进行像素配置。在进行像素配置时，在与要配置的像素相同颜色的像素已经以基准图像的像素、其他的参照图像的像素来进行配置的情况下，可以不重新进行像素配置，也可以与已配置的相同颜色像素进行相加平均来更新像素值。
并且，在对所有的图像进行像素配置之后，对位部13进行对还未进行像素配置的空间进行插值并填充的处理。关于插值的方法，例如，可使用周围所配置的像素来实施考虑了边缘方向的方向判别插值，或拷贝最临近的像素来进行插值。
相关计算部14按照高分辨率图像的每个部分区域来计算相关信息，该相关信息表示低分辨率图像的相当于该部分区域的对应区域之间的相关的程度。即，作为相关信息，相关计算部14计算由对位部13针对每个颜色通道在高分辨率图像空间上进行了像素配置的高分辨率图像上的同一位置的Gr像素与Gb像素的差分值ΔG＝(|Gr-Gb|)，并输出到合成比率计算部17。在差分值ΔG大的情况下，可以说对应区域之间的相关程度小，在差分值ΔG小的情况下，可以说对应区域之间的相关程度大。
运动体边界判定部15根据运动而判定各个部分区域是否为运动体的边界区域。换言之，运动体边界判定部15根据由运动检测部12取得的每个部分区域的运动信息而判定运动体的边界区域(以下，简单称为“边界区域”)和不是运动体的边界的区域(以下，称为“非边界区域”)。为了判定部分区域是否为边界区域，例如，可计算判定对象的部分区域和与该部分区域相邻的周围的部分区域之间的局部运动矢量的类似度。
图3表示运动体在基准图像200与参照图像201之间运动时的运动体边界判定的一例。在图3中，在对判定对象的部分区域202判定是否为边界区域的情况下，计算部分区域202和与部分区域202相邻的8个部分区域301～308之间的局部运动矢量，并计算相邻的部分区域301～308之间的局部运动矢量的类似度。
在8个相邻的部分区域301～308当中，存在局部运动矢量的类似度高的区域组(部分区域305,307,308)和类似度低的区域组(相邻区域301～304,306)这两个区域组，因此判定为判定对象的部分区域202是边界区域。另外，至于判定对象的部分区域203，在相邻的8个部分区域401～408之间局部运动矢量全部都类似，换言之，可判断为仅存在类似度高的区域组，因此判定为非边界区域。
滤波处理部16作为被合成图像生成单元发挥功能，根据多个低分辨率图像或高分辨率图像而生成比高分辨率图像更低分辨率的被合成图像。在本实施方式中，滤波处理部16具备低通效果强的第1低通滤波器及低通效果弱的第2低通滤波器。滤波处理部16对于从对位部13取得的高分辨率图像，通过第1低通滤波器实施低通效果强的滤波处理而生成被合成图像，并通过第2低通滤波器实施低通效果弱的滤波处理而生成合成用的高分辨率图像。
第1低通滤波器，即低通效果强的滤波器是如下的滤波器：例如具备对于根据相关信息可设想出在多个低分辨率图像之间相关程度低，并且运动体的对位失败的区域等，将运动的被摄体的轨道大大模糊化，尽量使高频成分衰减的低通滤波器特性，犹如曝光内的运动体抖动那样。
第2低通滤波器，即低通效果弱的滤波器是指如下的滤波器：例如具备尽量保留高分辨率图像中的边缘、纹理，去除微小的对位误差的滤波器特性，使从低域到奈奎斯特频带为止的频率成分通过或进行强调，仅使高分辨率图像的奈奎斯特频率衰减。
另外，由于第1低通滤波器与第2低通滤波器相比其效果强，因此相比于通过第2低通滤波器生成的合成用的高分辨率图像，通常由通过第1低通滤波器生成的被合成图像为低分辨率的图像。
合成比率计算部17根据相关信息，针对每个部分区域计算高分辨率图像和被合成图像的合成比率。此时，合成比率计算部17以如下方式针对每个部分区域计算合成比率：越是相关性低的区域，高分辨率图像的比率越小，越是相关性高的区域，高分辨率图像的比率越大。并且，合成比率计算部17以如下方式计算合成比率：在部分区域为边界区域的情况下，与部分区域为非边界区域的情况相比，高分辨率图像的比率更小。
图4表示高分辨率图像的合成比率的例子。在图4中，将对非边界区域的合成比率示为A，将对边界区域的合成比率表示为B。如图4所示，对非边界区域的合成比率A和对边界区域的合成比率B均为如下的合成比率：差分值越大的区域，即相关性越低的区域，高分辨率图像的比率越小，差分值越小的区域，即相关性越高的区域，高分辨率图像的比率越大。
并且，在对非边界区域的合成比率A中，到阈值1为止，将合成比率设为1，从阈值1到阈值2为止，使合成比率线性地变化，在大于阈值2的情况下，将合成比率设为0。另外,在对运动体的边界区域的合成比率B中，到阈值1’为止，将合成比率设为1，从阈值1’到阈值2’为止，使合成比率线性地变化，在大于阈值2’的情况下，将合成比率设为0。阈值1’和阈值2’是分别比阈值1和阈值2小的值。
这样，以如下方式计算合成比率：在部分区域为边界区域的情况下，与部分区域为非边界区域的情况相比，减小高分辨率图像的比率。换言之，以如下方式计算合成比率：通过控制阈值，从而在部分区域为运动体的边界区域的情况下和部分区域为非边界区域的情况下，即便具备彼此相同的差分值(相关信息)，在边界区域的情况下，高分辨率图像的比率更小。
另外，例如，关于合成比率，也可以直接应用与图4的A的相关信息(差分值)对应的合成比率，并根据是边界区域还是非边界区域来校正由相关计算部计算的差分值ΔG本身。换言之，在将利用任意的系数α校正了差分值ΔG而获得的差分值设为ΔG’时，利用ΔG’＝α×ΔG的式子来校正差分值，并利用该差分值ΔG’来计算合成比率。例如，如果在边界区域设为α＝1.5，在非边界区域设为α＝1.0来校正差分值，则边界区域更能够在使合成比率接近0的方向上提高差分值的贡献度。
另外，被合成图像的合成比率如下。
被合成图像的合成比率＝1-高分辨率图像的合成比率
图像合成部18按照合成比率而生成合成用的高分辨率图像与被合成图像的合成图像，并输出所生成的合成图像。
在这样构成的本实施方式的图像处理装置中，进行如下的图像处理，即所谓超分辨处理。
首先，图像取得部11按照时间序列取得多个低分辨率图像，并临时存储到帧存储器24。接着，运动检测部12检测存储在帧存储器24中的多个低分辨率图像之间的运动，并将所检测出的运动输出到对位部13及运动体边界判定部15。
对位部13根据在运动检测部12中检测出的运动或从传感器位移控制部23输出的位移信息而在高分辨率图像空间上对多个低分辨率图像进行对位，从而生成高分辨率图像，并将高分辨率图像输出到相关计算部14及滤波处理部16。在相关计算部14中，相关计算部14作为相关信息而计算在对位部13针对每个颜色通道而在高分辨率图像空间上进行了像素配置的高分辨率图像上的同一位置的Gr像素和Gb像素的差分值ΔG＝(|Gr-Gb|)，并输出到合成比率计算部17。运动体边界判定部15根据运动而判定各个部分区域是运动体的边界区域还是非边界区域，并将判定结果输出到合成比率计算部17。
滤波处理部16对于高分辨率图像应用第1低通滤波器来生成被合成图像，并应用第2低通滤波器生成合成用的高分辨率图像，将被合成图像和合成用的高分辨率图像输出到图像合成部18。
合成比率计算部17根据相关信息及该部分区域是否为边界区域，针对每个部分区域计算合成比率。
图像合成部18按照由合成比率计算部17计算的合成比率而将被合成图像与合成用的高分辨率图像合成，从而生成合成图像。
根据本实施方式，在计算每个部分区域的合成比率时，根据相关信息及该部分区域是否为边界区域而针对每个部分区域计算合成比率。换言之，在差分值大且部分区域之间的相关性低的情况下，对位失败的可能性高，因此使应用了低通效果弱的滤波器的高分辨率图像的合成比率小，并使应用了低通效果强的滤波器的低分辨率的被合成图像的合成比率大。
并且，在边界区域中，与不是运动体边界的区域相比，根据相关信息，更低分辨率的被合成图像的合成比率更容易变大。从而，能够可靠地减少在运动体边界容易发生的残像、伪影，并通过在不是运动体边界的背景等的区域中增大高分辨率图像的合成比率，从而能够提高分辨率。换言之，能够在抑制计算成本的同时，减少多重像、伪影，取得良好地提高了分辨率的图像。
(第2实施方式)
下面，参照附图，对本发明的第2实施方式的图像处理装置进行说明。本实施方式的图像处理装置代替第1实施方式的图像处理装置中的滤波处理部16而具备放大处理部19。在本实施方式的图像处理装置中，对于与第1实施方式的图像处理装置相同的结构，赋予相同的标号，并省略其说明。
如图5所示，在本实施方式中，具备作为被合成图像生成单元的放大处理部19，放大处理部19从帧存储器24直接输入低分辨率图像。
在放大处理部19中，从帧存储器24取得多个低分辨率图像当中的基准图像，并将该基准图像放大成与在对位部13中生成的高分辨率图像相同的分辨率，将放大基准图像生成为被合成图像，并输出到图像合成部18。在图像合成部18中，按照由合成比率计算部17计算的合成比率而将从合成对位部13输出的高分辨率图像与作为被合成图像的放大基准图像合成，从而生成合成图像。关于合成比率计算部17中的合成比率的计算，通过与上述的第1实施方式相同的方式进行。
因此，通过本实施方式的图像处理装置，减少在运动体边界容易产生的残像、伪影，而在不是运动体边界的背景等的区域中提高配置了多个像素而构成的高分辨率图像的合成比率，从而能够提高分辨率。
换言之，能够在抑制计算成本的同时，减少多重像、伪影，取得良好地提高了分辨率的图像。
另外，在上述的各个实施方式中，对生成比通过图像取得部取得的多张输入图像更高分辨率的图像的例子进行了说明，但也可将上述图像处理装置应用于生成与输入图像相同的分辨率的图像那样的基于多张合成的降低噪声、高动态范围化等的处理中。
并且，上述的各个实施方式中的图像处理装置可设置于数码相机等的图像处理装置的内部。并且，也可以是由一般的或专用的计算机来展开进行上述图像处理的图像处理程序并执行的结构，即可通过一般的或专用的计算机而实现上述图像处理装置。
另外，进行上述图像处理的图像处理程序可预先存储在计算机，也可存储于磁盘、光磁盘、CD-ROM、DVD-ROM、半导体存储器等计算机可读取的存储介质。
标号说明
11 图像取得部
12 运动检测部
13 对位部
14 相关计算部
15 运动体边界判定部
16 滤波处理部(被合成图像生成单元)
17 合成比率计算部
18 图像合成部
19 放大处理部
21 摄像元件
22 位移机构(移动单元)
23 传感器位移控制部(移动控制单元)

Claims (8)

1.一种图像处理装置，其包括：
图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；
运动检测单元，其检测多个所述低分辨率图像之间的运动；
对位单元，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；
相关计算单元，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示多个所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；
被合成图像生成单元，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；
合成比率计算单元，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及
图像合成单元，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，
所述相关计算单元根据所述高分辨率图像的颜色通道来计算每个部分区域的相关信息，
所述合成比率计算单元针对每个所述部分区域以如下方式计算合成比率：对于相关性越低的区域，所述高分辨率图像的比率越小，对于相关性越高的区域，所述高分辨率图像的比率越大。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还包括：运动体边界判定单元，其根据所述运动而判定所述部分区域是否为运动体的边界区域，
所述合成比率计算单元以如下方式计算合成比率：与所述部分区域是非边界区域的情况相比，在所述部分区域是所述边界区域的情况下，使所述高分辨率图像的比率更小。
3.根据权利要求1或2所述的图像处理装置，其中，
所述图像取得单元是具备摄像元件、移动单元和移动控制单元的摄像单元，
所述摄像元件按照时间序列取得多帧被摄体的光学像，
所述移动单元使所述摄像元件相对于所述光学像的位置相对地移动，
所述移动控制单元控制由该移动单元实现的所述光学像与所述摄像元件的相对的移动方向及移动量。
4.根据权利要求3所述的图像处理装置，其中，
所述对位单元根据所述运动或所述移动方向及所述移动量中的至少一方来进行对位。
5.根据权利要求1所述的图像处理装置，其中，
所述被合成图像生成单元通过对所述高分辨率图像实施滤波处理，从而生成与所述高分辨率图像相比降低了分辨率的图像作为被合成图像。
6.根据权利要求1所述的图像处理装置，其中，
所述被合成图像生成单元生成将多个所述低分辨率图像中的任一个图像放大成与所述高分辨率图像相同分辨率的放大图像，作为被合成图像。
7.一种图像处理方法，包括：
图像取得步骤，取得按照时间序列拍摄的多个低分辨率图像；
运动检测步骤，检测多个所述低分辨率图像之间的运动；
对位步骤，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；
相关计算步骤，针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示多个所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；
被合成图像生成步骤，根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；
合成比率计算步骤，根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及
图像合成步骤，按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，
在所述相关计算步骤中，根据所述高分辨率图像的颜色通道来计算每个部分区域的相关信息，
在所述合成比率计算步骤中，针对每个所述部分区域以如下方式计算合成比率：对于相关性越低的区域，所述高分辨率图像的比率越小，对于相关性越高的区域，所述高分辨率图像的比率越大。
8.一种计算机可读介质，其上存储计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求7所述的方法的步骤。
CN201580019429.8A 2014-04-16 2015-02-17 图像处理装置、图像处理方法及图像处理程序 Active CN106165395B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-084556 2014-04-16
JP2014084556A JP5847228B2 (ja) 2014-04-16 2014-04-16 画像処理装置、画像処理方法及び画像処理プログラム
PCT/JP2015/054327 WO2015159581A1 (ja) 2014-04-16 2015-02-17 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN106165395A CN106165395A (zh) 2016-11-23
CN106165395B true CN106165395B (zh) 2019-06-04

Family

ID=54323799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580019429.8A Active CN106165395B (zh) 2014-04-16 2015-02-17 图像处理装置、图像处理方法及图像处理程序

Country Status (4)

Country Link
US (1) US9898803B2 (zh)
JP (1) JP5847228B2 (zh)
CN (1) CN106165395B (zh)
WO (1) WO2015159581A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法
CN106254772B (zh) 2016-07-29 2017-11-07 广东欧珀移动通信有限公司 多帧图像合成方法和装置
US10805649B2 (en) 2017-01-04 2020-10-13 Samsung Electronics Co., Ltd. System and method for blending multiple frames into a single frame
EP3610453B1 (en) * 2017-05-16 2023-05-10 Apple Inc. Synthetic long exposure image with optional enhancement using a guide image
WO2019008692A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2019008693A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN111164959B (zh) * 2017-11-10 2021-08-03 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质
CN113132640B (zh) * 2018-08-27 2024-01-09 深圳市大疆创新科技有限公司 图像呈现方法、图像获取设备及终端装置
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN109934193B (zh) * 2019-03-20 2023-04-07 福建师范大学 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
CN114365472B (zh) * 2019-09-02 2024-05-28 索尼集团公司 成像装置、图像处理装置和图像处理方法
JP7159486B2 (ja) 2019-12-04 2022-10-24 オリンパス株式会社 撮像装置
IL274418B (en) * 2020-05-03 2021-12-01 Elbit Systems Electro Optics Elop Ltd Systems and methods for enhanced motion detection, objective tracking, situational awareness and super-resolution video using microscanning images
JP2023103116A (ja) * 2022-01-13 2023-07-26 Ｔｖｓ Ｒｅｇｚａ株式会社 画像処理回路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488216A (zh) * 2008-01-18 2009-07-22 三洋电机株式会社 图像处理装置及方法以及摄像装置
CN103168462A (zh) * 2011-10-14 2013-06-19 株式会社摩如富 图像合成装置、图像合成方法、图像合成程序及记录介质
CN103379352A (zh) * 2012-04-20 2013-10-30 Nlt科技股份有限公司 图像生成装置、图像显示装置及图像生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3837575B2 (ja) 2004-10-29 2006-10-25 国立大学法人東京工業大学 超解像処理の高速化方法
US8374464B2 (en) * 2006-05-31 2013-02-12 Nec Corporation Method, apparatus and program for enhancement of image resolution
US7961222B2 (en) * 2007-03-20 2011-06-14 Panasonic Corporation Image capturing apparatus and image capturing method
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5587322B2 (ja) 2009-08-24 2014-09-10 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5645051B2 (ja) * 2010-02-12 2014-12-24 国立大学法人東京工業大学 画像処理装置
JP2011180670A (ja) * 2010-02-26 2011-09-15 Hoya Corp 画像処理装置
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP2012022653A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488216A (zh) * 2008-01-18 2009-07-22 三洋电机株式会社 图像处理装置及方法以及摄像装置
CN103168462A (zh) * 2011-10-14 2013-06-19 株式会社摩如富 图像合成装置、图像合成方法、图像合成程序及记录介质
CN103379352A (zh) * 2012-04-20 2013-10-30 Nlt科技股份有限公司 图像生成装置、图像显示装置及图像生成方法

Also Published As

Publication number Publication date
JP5847228B2 (ja) 2016-01-20
CN106165395A (zh) 2016-11-23
JP2015204599A (ja) 2015-11-16
US20170024856A1 (en) 2017-01-26
US9898803B2 (en) 2018-02-20
WO2015159581A1 (ja) 2015-10-22

Similar Documents

Publication Publication Date Title
CN106165395B (zh) 图像处理装置、图像处理方法及图像处理程序
US10636126B2 (en) Image processing device, imaging apparatus, image processing method, image processing program, and recording medium
RU2431889C1 (ru) Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
CN111164959B (zh) 图像处理装置、图像处理方法以及记录介质
CN105931213B (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
US20110128422A1 (en) Image capturing apparatus and image processing method
JP2013508811A5 (zh)
KR101424923B1 (ko) 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램
US11146746B2 (en) Image processing device, image capturing device, image processing method, and storage medium
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
WO2016207990A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP2009135561A (ja) ぶれ検出装置、ぶれ補正装置及び方法
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
EP3540685B1 (en) Image-processing apparatus to reduce staircase artifacts from an image signal
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2008235958A (ja) 撮像装置
JP7352389B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2009088933A (ja) 画像記録装置、画像補正装置及び撮像装置
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP2017108243A (ja) 画像処理装置及び画像処理方法
Park et al. Construction of super-resolution imaging system considering spatially varying sub-pixel registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant