CN105165002B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN105165002B
CN105165002B CN201480004540.5A CN201480004540A CN105165002B CN 105165002 B CN105165002 B CN 105165002B CN 201480004540 A CN201480004540 A CN 201480004540A CN 105165002 B CN105165002 B CN 105165002B
Authority
CN
China
Prior art keywords
image
resolution
benchmark
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480004540.5A
Other languages
English (en)
Other versions
CN105165002A (zh
Inventor
古川英治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105165002A publication Critical patent/CN105165002A/zh
Application granted granted Critical
Publication of CN105165002B publication Critical patent/CN105165002B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

图像处理装置(1)以提高静止区域的分辨率、并且抑制运动物体区域的伪影为目的而具有以下部件：位置偏差检测部(9)，其检测按照时间序列而取得的多个图像间的位置偏差量；高分辨率合成部(10)，其根据位置偏差量，在分辨率比该多个图像高的高分辨率空间上，对多个图像进行合成；图像变换部(11)，其通过重采样，将由该高分辨率合成部(10)生成的高分辨率合成图像缩小，生成变换图像；相关度计算部(12)，其按照每个区域，计算作为多个图像的基准的基准图像与变换图像之间的相关度；以及图像校正部(13)，其以由该相关度计算部(12)计算出的相关度越高、基准图像的合成比率越小的方式，校正高分辨率合成图像。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
公知有如下的图像处理装置：其计算所拍摄的多个图像中的作为基准的1张基准图像、与多个图像中的基准图像以外的图像之间的相关量，随着该相关量减小，减小多个图像中的基准图像以外的图像的合成比率来合成图像(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2011-199786号公报
发明内容
发明要解决的课题
在被摄体具有细花纹的情况下，在被摄体运动的区域(以下简称作运动物体区域。)中，正确判定为图像间的差分大，相关量减小，但在被摄体静止的区域(以下简称作静止区域。)中具有混叠，由此错误判定为图像间的差分大，相关量减小。即，在运动物体区域中，能够抑制由被摄体的运动和像素的位置偏差而造成的伪影(artifact)，但在具有混叠的静止区域中，尽管像素位置对准，也计算出不准确的相关量，从而无法实现高分辨率。
本发明是鉴于上述情况而完成的，其目的在于，提供一种能够提高静止区域的分辨率、并且抑制运动物体区域的伪影的图像处理装置和图像处理方法。
用于解决课题的手段
本发明的一个方式是一种图像处理装置，其具有：位置偏差检测部，其检测按照时间序列取得的多个图像间的位置偏差量；高分辨率合成部，其根据所述位置偏差量，在分辨率比所述多个图像高的高分辨率空间上，对该多个图像进行合成；图像变换部，其通过重采样，将由该高分辨率合成部生成的高分辨率合成图像缩小，生成变换图像；相关度计算部，其按照每个区域，计算作为所述多个图像的基准的基准图像与所述变换图像之间的相关度；以及图像校正部，其以由该相关度计算部计算出的所述相关度越高、所述基准图像的合成比率越小的方式，校正所述高分辨率合成图像。
根据本方式，通过根据按照时间序列而取得的多个图像间的位置偏差量在高分辨率空间上对多个图像进行合成，生成高分辨率合成图像。然后，将所生成的高分辨率合成图像变换为在图像变换部中通过重采样而被缩小后的变换图像，在相关度计算部中计算基准图像与变换图像之间的相关度。然后，以计算出的相关度越高、基准图像的合成比率越小的方式，在图像校正部中校正高分辨率合成图像。
计算通过对高分辨率合成图像进行重采样而得到的低分辨率的变换图像与基准图像之间的相关度，由此能够仅在运动的被摄体的部分中得到低的相关度分布，在相关度低的运动的被摄体的部分中增大基准图像的合成比率，在运动的被摄体的部分以外的部分中增大高分辨率合成图像的合成比率，从而不论有无混叠，都能够提高静止区域的分辨率，抑制运动物体区域中的多重图像等伪影。
在上述方式中，也可以具有图像取得部，所述图像取得部按照时间序列取得所述多个图像。
在上述方式中，也可以是，所述图像取得部具有：摄像元件，被摄体的像形成在该摄像元件上，该摄像元件取得图像；传感器移位机构，其在取得多个所述图像时，能够使形成在所述摄像元件上的像的位置相对于该摄像元件相对地错开；以及传感器移位控制部，其控制所述像的移位方向和移位量。
由此，传感器移位机构按照由传感器移位控制部所控制的移位方向和移位量，使像相对于摄像元件的位置相对地错开，由此能够取得被摄体的位置被错开后的多个图像。传感器移位机构可以使摄像元件移动，也可以使配置于摄像元件的前级的光学系统相对于摄像元件错开。
在上述方式中，也可以是，所述位置偏差检测部根据由所述传感器移位控制部所控制的移位方向和移位量，计算所述基准图像与所述多个图像中的所述基准图像以外的图像即参考图像之间的位置偏差量。
由此，能够更准确地计算基准图像与参考图像之间的位置偏差量。
在上述方式中，也可以是，所述位置偏差检测部按照每个区域，计算所述基准图像、与所述多个图像中的所述基准图像以外的图像即参考图像之间的位置偏差量。
在上述方式中，也可以是，所述高分辨率合成部根据所述位置偏差量，在所述高分辨率空间上配置所述多个图像的各像素。
由此，能够简单地生成高分辨率合成图像。
在上述方式中，也可以是，所述高分辨率合成部根据配置在所述高分辨率空间上的像素信息，对未被配置的像素进行插值。
由此，能够填充存在于1张高分辨率合成图像的各像素间的、未进行像素配置的像素的像素信息，能够进一步提高分辨率，所述1张高分辨率合成图像是通过像素配置对多个图像进行合成而得到的。
在上述方式中，也可以是，所述图像变换部对所述高分辨率合成图像进行低通滤波处理后将其缩小。
由此，能够防止直接通过重采样间隔剔除基准图像而变为与基准图像的像素信息相同的像素信息的情况，在相关度计算时能够准确地计算变换图像与基准图像之间的相关度。
在上述方式中，也可以是，在由所述高分辨率合成部在所述高分辨率空间上配置了所述多个图像的像素时，所述图像变换部根据每个区域的像素的填充程度，调整低通滤波的低通强度。
由此，像素的填充程度越低，越增强低通的强度，从而能够进一步提高分辨率。
在上述方式中，也可以是，所述图像变换部根据对所述图像校正部的校正结果进行控制的控制参数，调整低通滤波的低通强度。
由此，能够进行在重视分辨率的情况下增强低通强度、在重视伪影抑制的情况下减弱低通强度等调整。
在上述方式中，也可以是，所述相关度计算部将计算出的所述相关度的分布图像扩展为所述高分辨率合成图像的分辨率。
由此，能够使采用低分辨率图像计算出的相关度的分布图像的尺寸与高分辨率合成图像一致，从而使图像校正部中的校正变得容易。
在上述方式中，也可以是，所述图像校正部将所述基准图像放大为与所述高分辨率合成图像相同的尺寸来生成放大图像，并以根据所述相关度确定出的合成比率对所生成的放大图像和所述高分辨率合成图像进行合成。
由此，能够使用根据图像尺寸一致的变换图像与基准图像之间的相关度信息确定出的合成比率，容易地进行合成。
本发明的另一方式是一种图像处理方法，其包含以下步骤：检测按照时间序列取得的多个图像间的位置偏差量；根据所述位置偏差量，在分辨率比所述多个图像高的高分辨率空间上，对该多个图像进行合成，生成高分辨率合成图像；通过重采样，将所述高分辨率合成图像缩小，生成变换图像；按照每个区域，计算作为所述多个图像的基准的基准图像与所述变换图像之间的相关度；以及以所述相关度越高、所述基准图像的合成比率越小的方式，校正所述高分辨率合成图像。
发明的效果
根据本发明，起到以下效果：能够在静止区域中提高像素位置对准的区域的分辨率，并且能够在运动物体区域中抑制像素位置未对准的区域的伪影。
附图说明
图1是示出本发明一个实施方式的图像处理装置的结构框图。
图2是在图1的图像处理装置中被处理的图像的图。
图3是示出由图1的图像处理装置的图像变换部进行的高分辨率合成图像的Gr通道的重采样的图。
图4是示出图1的图像处理装置的图像校正部的结构框图。
图5是示出由图1的图像处理装置的合成比率计算部计算出的、图像校正时的基准放大图像与高分辨率合成图像之间的合成比率关系的曲线图。
图6是示出由图1的图像处理装置的高分辨率合成部生成的高分辨率合成图像的Gr通道的图。
图7是示出由图3的图像变换部进行的重采样的第1变形例的图。
图8是示出由图3的图像变换部进行的重采样的第2变形例的图。
具体实施方式
以下，参照附图对本发明一个实施方式的图像处理装置和图像处理方法进行说明。本实施方式的图像处理装置1例如是照相机，如图1所示，具有拍摄被摄体而取得多个图像P的图像取得部2、和对由该图像取得部2取得的多个图像P进行处理的装置主体部3。
图像取得部2具有：会聚光的光学系统4；拍摄由该光学系统4会聚后的光的摄像元件5；使该摄像元件5在与摄像面平行的方向上移位的传感器移位机构6；以及控制摄像元件5的移位方向和移位量的传感器移位控制部7。
光学系统4例如是摄像镜头，会聚来自被摄体的光，从而在摄像元件5的摄像面上形成被摄体的光学像。
摄像元件5例如具有图2所示那样的像素排列(所谓的拜尔排列)，其摄像面配置成与光学系统4的光轴大致垂直，拍摄形成在摄像面上的被摄体的光学像而取得图像。
传感器移位机构6能够使摄像元件5在与摄像面平行且相互垂直的两个方向上，以亚像素为单位二维地移位。
在拍摄多个图像P时，传感器移位控制部7控制传感器移位机构6而使摄像元件5移位，并且将摄像元件5的移位方向和移位量的信息(以下简称作传感器移位控制信息。)输出到装置主体部3。
装置主体部3具有：保存由摄像元件5取得的多个图像P的帧存储器8；检测多个图像P间的位置偏差量的位置偏差检测部9；对多个图像P进行合成的高分辨率合成部10；对由该高分辨率合成部10生成的高分辨率合成图像V进行重采样而生成变换图像U的图像变换部11；按照每个区域计算作为多个图像P的基准的基准图像S与变换图像U之间的相关度的相关度计算部12；以及根据计算出的相关度对高分辨率合成图像V进行校正的图像校正部13。
位置偏差检测部9在被输入来自传感器移位控制部7的传感器移位控制信息时，检测基准图像S、与多个图像P中的基准图像S以外的图像(以下简称作参考图像T。)之间的位置偏差量，并将检测出的位置偏差量输出到高分辨率合成部10。
高分辨率合成部10根据从位置偏差检测部9输入的位置偏差量，对帧存储器8所保存的多个图像P进行位置对准，并且按照每个颜色通道(例如R、Gr、Gb、B)，在分辨率比图像P高的高分辨率空间上配置多个图像P。
具体而言，首先将基准图像S的像素配置到高分辨率空间上，接着，将其配置到使该参考图像T移动了由位置偏差检测部9取得的基准图像S与一个参考图像T之间的位置偏差量后的位置。
在配置像素时，如果与要配置的像素的颜色为相同颜色的像素已经被配置在基准图像S的像素和其他参考图像T的像素中，则可以不重新进行像素配置，可以与已经配置的相同颜色的像素进行相加平均来更新像素值。
并且，高分辨率合成部10在配置了所有图像的像素后，进行如下处理：根据在高分辨率空间上配置的像素的信息，对存在于各像素间的、尚未被配置的像素的信息进行插值和填充。
作为插值的方法，例如使用配置于周围的像素实施考虑了边缘方向的方向判别插值，或者复制存在于最近处的像素来进行插值即可。
如图3所示，图像变换部11对从高分辨率合成部10输出的每个颜色通道的高分辨率合成图像V进行重采样。重采样是如下处理：例如针对填充了像素的信息的插值后的高分辨率合成图像V，对基准图像S的位置周边的区域A部进行采样，间隔剔除像素来缩小图像。
此外，图像变换部11在通过重采样进行间隔剔除前，使用高分辨率合成图像V的重采样位置的周边像素，施加较弱的低通滤波(以下简称作低通滤波处理。)。将低通滤波的强度设为能够调整，使得图像的张数和插值前的每个区域的像素填充程度(覆盖率)越低，越较强程度地调整低通强度。
此外，在重采样时，如果直接对基准图像S的位置进行采样和间隔剔除，则通过重采样而生成的图像成为与基准图像S的像素信息完全相同的像素信息，无法由相关度计算部12计算出相关度，因此需要进行低通滤波处理，使得混有与基准图像S分开拍摄的参考图像T的像素。
如图3所示，图像变换部11能够通过对高分辨率合成图像V进行低通滤波处理后将其缩小，生成被变换为低分辨率后的变换图像U。
相关度计算部12在从图像变换部11输出的变换图像U、与从帧存储器8输出的基准图像S之间，以匹配的格式，按照每个区域，通过差分绝对值之和、或者差分平方和等计算相关度。
此外，相关度计算部12将在基准图像S与被重采样的变换图像U之间计算出的相关度的信息扩展为高分辨率合成图像V的图像尺寸，并输出到图像校正部13。此时，由相关度计算部12进行的相关度的信息的比例变换通过最近邻那样的放大复制、或双三次放大那样的插值放大来进行即可。
如图4所示，图像校正部13具有：对基准图像S进行颜色插值的颜色插值处理部14；将通过该颜色插值处理部14进行颜色插值后的基准图像S放大而生成基准放大图像W的放大处理部15；根据相关度计算合成比率的合成比率计算部16；以及根据计算出的合成比率，对基准放大图像W和高分辨率合成图像V进行合成的合成处理部17。
颜色插值处理部14对从帧存储器8输出的拜尔排列的基准图像S进行颜色插值而使其3板化(或4板化)。
放大处理部15将从颜色插值处理部14输出的3板化的基准图像S放大为与高分辨率合成图像V相同的尺寸，生成基准放大图像W。
合成比率计算部16根据从相关度计算部12输出的相关度的信息，计算合成比率。如图5所示，对于该合成比率，在相关性低(相关度小)的情况下，计算出的基准放大图像W的合成比率较大，在相关性高(相关度大)的情况下，计算出的基准放大图像W的合成比率较小。此外，图5中，纵轴表示合成比率的大小，横轴表示相关性的高低。
合成处理部17根据从合成比率计算部16输出的合成比率，对从放大处理部15输入的基准放大图像W、和从高分辨率合成部10输入的高分辨率合成图像V进行合成，生成校正图像X。
所生成的校正图像X被输入到帧存储器8进行保存。
以下参照图2，对使用了这样构成的本实施方式的图像处理装置1的图像处理方法进行说明。
根据本实施方式的图像处理装置1，首先将经由摄像镜头4收集的光成像在摄像元件5的摄像面上，在通过传感器移位机构6使摄像元件5移位的同时，按照时间序列取得多个图像P并保存到帧存储器8中。
在将多个图像P保存到帧存储器8后，通过位置偏差检测部9检测基准图像S与参考图像T之间的位置偏差量(进行检测的步骤)。然后，高分辨率合成部10根据检测出的位置偏差量，在高分辨率空间上将基准图像S和参考图像T进行位置对准并合成，生成高分辨率合成图像V(生成高分辨率合成图像的步骤)。
在图2中，由高分辨率合成部10生成的高分辨率合成图像V的画面右端具有细小的黑白花纹的被摄体Q，但在由摄像元件5取得的多个图像P中，对于作为基准图像S的第1张和作为参考图像T的第3张，在高分辨率合成图像V的黑白花纹的被摄体Q的位置处采样出黑的区域。此外，对于作为参考图像T的第2张和第4张，在相同位置处采样出白的区域。该黑白花纹的被摄体Q是细小花纹的被摄体，因此在低分辨率的图像P中产生混叠(以下简称作重叠。)，黑白花纹的被摄体Q的成像变得不准确，从而变黑或变白。
但是，通过根据由位置偏差检测部9检测出的位置偏差量，由低分辨率的图像S、T生成高分辨率合成图像V，将存在静止的被摄体的区域(静止区域)高分辨率化，因此能够在具有重叠的图像P的画面右端的黑或白的区域中再现黑白花纹的被摄体Q。
图6中示出了仅Gr通道的高分辨率合成图像V，在拜尔排列的情况下，除了Gr通道以外还存在Gb、R、B通道，如以下说明那样是同样的概念。
图6中示出的Gr后面的编号表示设为1块0.5个像素来拍摄多个图像P的摄影顺序。
在该例的情况下，图6以第1张像素Gr1的位置为基准，
基于该基准，
第2张的像素Gr2表示在水平方向上错开1个像素、垂直方向上错开0个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
第3张的像素Gr3表示在水平方向上错开0个像素、垂直方向上错开1个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
第4张的像素Gr4表示在水平方向上错开1个像素、垂直方向上错开1个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
第5张的像素Gr5表示在水平方向上错开0.5个像素、垂直方向上错开0.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
第6张的像素Gr6表示在水平方向上错开1.5个像素、垂直方向上错开0.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
第7张的像素Gr7表示在水平方向上错开0.5个像素、垂直方向上错开1.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V，
第8张的像素Gr8表示在水平方向上错开1.5个像素、垂直方向上错开1.5个像素来拍摄图像P，并基于与基准的位置偏差量而在高分辨率空间上配置各像素而得的高分辨率合成图像V。
此外，图6中的斜线部的像素表示根据周边所配置的像素、通过插值而填充的像素。
并且，在通过图像变换部11对高分辨率合成图像V进行重采样，间隔剔除而生成变换图像U(生成变换图像的步骤)后，相关度计算部12按照每个区域在变换图像U与基准图像S之间计算相关度(计算相关度的步骤)。由此，仅存在运动被摄体的区域(运动物体区域)的相关度降低，在包含画面右端的黑白花纹的被摄体Q的静止区域中，相关度增高。
然后，将计算出的相关度的信息输入到合成比率计算部16后，合成比率计算部16根据所输入的相关度，以相关度越高，将基准图像S放大而得到的基准放大图像W的合成比率越减小的方式，计算基准放大图像W与高分辨率合成图像V的合成比率(进行校正的步骤)。
计算通过对高分辨率合成图像V进行重采样而得到的低分辨率的变换图像U与基准放大图像W之间的相关度，由此能够仅在运动物体区域中得到低的相关度分布，能够在相关度低的运动物体区域中增大基准放大图像W的合成比率，在运动物体区域以外的部分中增大高分辨率合成图像V的合成比率。
即，存在以下优点：不论有无重叠，都能够提高静止区域的分辨率，抑制运动物体区域中的多重图像等伪影。
该情况下，相关度计算部12通过将计算出的相关度的分布图像扩展为高分辨率合成图像V的分辨率，使采用低分辨率的变换图像U计算出的相关度的分布图像的尺寸与高分辨率合成图像V一致，能够使合成比率计算部16中的合成比率计算变得容易。
另外，在本实施方式中，作为图像处理装置1，取为具有图像取得部2的照相机，但本发明也可以应用于不具有图像取得部2的图像处理装置(例如PC)。此外，上述图像处理装置1进行的图像处理不限于利用硬件的实施，也可以替代其而利用软件实施、或利用硬件和软件的组合来实施。
此外，在本实施方式中，作为位置偏差检测部9，通过被输入来自传感器移位控制部7的传感器移位控制信息，检测出了位置偏差量，但是不限于此。例如，可以通过使用帧存储器8所保存的多个图像P的数据(处于图2的上部的基准图像S和参考图像T)，计算图像S、T之间的图像整体的全局的运动量、或每个区域的局部的运动量，来检测位置偏差量。
由此，能够按照将32×32像素作为1块的每个分割区域，使用块匹配法等，取得水平方向和垂直方向的运动矢量，来检测位置偏差量。另外，要取得的运动信息不仅是水平方向和垂直方向的运动，也可以是旋转方向或放大缩小的变化。
此外，在本实施方式中，作为图像变换部11，针对低通滤波的强度，使得图像的张数和插值前的每个区域的像素填充程度(覆盖率)越低，低通强度调整得越强，但是不限于此。例如，针对低通滤波强度的调整，可以在作为制造商参数重视图像质量的分辨率那样的参数设定的情况下，增强低通的强度，重视伪影抑制的情况下，减弱低通的强度。
此外，在本实施方式中，作为图像变换部11，可以根据控制图像校正部13的校正结果的控制参数，调整低通滤波的低通强度。
由此，能够进行在重视分辨率的情况下增强低通强度、在重视伪影抑制的情况下减弱低通强度等调整。
此外，在本实施方式中，作为图像变换部11，可以与插值处理同时进行低通滤波处理，使得在像素配置后的插值时混有周边像素(以下简称作低通效应。)。此外，如图7所示，在重采样时将基准图像S的位置稍微错开，通过基准图像S的周边像素的加权像素相加，混有重要度高的像素(例如Gr5等)，从而得到低通效应。
该情况下，要采样的颜色通道能够根据相关度计算部12的相关度计算方法而变更。例如，在按照对基准图像S进行颜色插值处理而进行了3板化后的G(或者Gr或Gb)颜色通道进行相关度计算的情况下，如图3和图7所示，可以使用Gr(或者，可以将图中的Gr置换为Gb，或者将对Gr和Gb分别进行重采样后的结果合成来作为G的重采样结果)进行采样。此外，在计算与基准图像S的拜尔排列的相关度的情况下，如图8所示，可以从分别不同的图像P的各颜色通道进行采样，使得采样后的变换图像U变为拜尔排列。
此外，在本实施方式中，作为相关度计算部12，通过差分绝对值之和、或者差分平方和等计算出了相关度，但只要是能够计算图像S、U之间的相关性的运算方法，则不限于此。
标号说明
1：图像处理装置
2：图像取得部
3：装置主体部
4：光学系统(摄像镜头)
5：摄像元件
6：传感器移位机构
7：传感器移位控制部
8：帧存储器
9：位置偏差检测部
10：高分辨率合成部
11：图像变换部
12：相关度计算部
13：图像校正部

Claims (13)

1.一种图像处理装置，其具有：
位置偏差检测部，其检测按照时间序列取得的多个图像间的位置偏差量；
高分辨率合成部，其根据所述位置偏差量，在分辨率比所述多个图像高的高分辨率空间上，将该多个图像进行位置对准，并对该多个图像进行合成；
图像变换部，其通过重采样，将由该高分辨率合成部生成的高分辨率合成图像缩小，生成变换图像；
相关度计算部，其按照每个区域，计算作为所述多个图像的基准的基准图像与所述变换图像之间的相关度；以及
图像校正部，其以由该相关度计算部计算出的所述相关度越高、所述基准图像的放大图像与所述高分辨率合成图像的合成比率越小的方式计算所述合成比率，根据所述合成比率，校正所述高分辨率合成图像。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置具有图像取得部，所述图像取得部按照时间序列取得所述多个图像。
3.根据权利要求2所述的图像处理装置，其中，
所述图像取得部具有：摄像元件，被摄体的像形成在该摄像元件上，该摄像元件取得图像；传感器移位机构，其在取得多个所述图像时，能够使形成在所述摄像元件上的像的位置相对于该摄像元件相对地错开；以及传感器移位控制部，其控制所述像的移位方向和移位量。
4.根据权利要求3所述的图像处理装置，其中，
所述位置偏差检测部根据由所述传感器移位控制部所控制的移位方向和移位量，计算所述基准图像与所述多个图像中的所述基准图像以外的图像即参考图像之间的位置偏差量。
5.根据权利要求1所述的图像处理装置，其中，
所述位置偏差检测部按照每个区域，计算所述基准图像、与所述多个图像中的所述基准图像以外的图像即参考图像之间的位置偏差量。
6.根据权利要求1～5中的任意一项所述的图像处理装置，其中，
所述高分辨率合成部根据所述位置偏差量，在所述高分辨率空间上配置所述多个图像的各像素。
7.根据权利要求6所述的图像处理装置，其中，
所述高分辨率合成部根据配置在所述高分辨率空间上的像素信息，对未被配置的像素进行插值。
8.根据权利要求1所述的图像处理装置，其中，
所述图像变换部对所述高分辨率合成图像进行低通滤波处理后将其缩小。
9.根据权利要求8所述的图像处理装置，其中，
在由所述高分辨率合成部在所述高分辨率空间上配置了所述多个图像的像素时，所述图像变换部根据每个区域的像素的填充程度，调整低通滤波的低通强度。
10.根据权利要求8所述的图像处理装置，其中，
所述图像变换部根据对所述图像校正部的校正结果进行控制的控制参数，调整低通滤波的低通强度。
11.根据权利要求1所述的图像处理装置，其中，
所述相关度计算部将计算出的所述相关度的分布图像扩展为所述高分辨率合成图像的分辨率。
12.根据权利要求1所述的图像处理装置，其中，
所述图像校正部将所述基准图像放大为与所述高分辨率合成图像相同的尺寸来生成放大图像，并以根据所述相关度确定出的合成比率对所生成的放大图像和所述高分辨率合成图像进行合成。
13.一种图像处理方法，其包含以下步骤：
检测按照时间序列取得的多个图像间的位置偏差量；
根据所述位置偏差量，在分辨率比所述多个图像高的高分辨率空间上，将该多个图像进行位置对准，并对该多个图像进行合成，生成高分辨率合成图像；
通过重采样，将所述高分辨率合成图像缩小，生成变换图像；
按照每个区域，计算作为所述多个图像的基准的基准图像与所述变换图像之间的相关度；以及
以所述相关度越高、所述基准图像的放大图像与所述高分辨率合成图像的合成比率越小的方式计算所述合成比率，根据所述合成比率，校正所述高分辨率合成图像。
CN201480004540.5A 2014-03-27 2014-11-07 图像处理装置和图像处理方法 Expired - Fee Related CN105165002B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-066283 2014-03-27
JP2014066283A JP5788551B1 (ja) 2014-03-27 2014-03-27 画像処理装置および画像処理方法
PCT/JP2014/079609 WO2015145856A1 (ja) 2014-03-27 2014-11-07 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN105165002A CN105165002A (zh) 2015-12-16
CN105165002B true CN105165002B (zh) 2018-07-03

Family

ID=54194426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004540.5A Expired - Fee Related CN105165002B (zh) 2014-03-27 2014-11-07 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US9420175B2 (zh)
JP (1) JP5788551B1 (zh)
CN (1) CN105165002B (zh)
WO (1) WO2015145856A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767533B2 (en) * 2015-02-16 2017-09-19 Adobe Systems Incorporated Image resolution enhancement based on data from related images
CN108141509B (zh) * 2015-10-16 2020-07-17 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN106384331B (zh) * 2016-09-05 2019-06-07 大连理工大学 一种基于精密位移的高分辨率图像合成方法
CN109791685B (zh) * 2016-10-03 2023-01-10 奥林巴斯株式会社 图像处理装置、摄像系统、图像处理方法和图像处理程序
CN106383132B (zh) * 2016-10-17 2019-05-14 北京君和信达科技有限公司 辐射检查系统和方法
JP6964429B2 (ja) 2017-04-11 2021-11-10 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
WO2018220681A1 (ja) 2017-05-29 2018-12-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2019008693A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2019008692A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
CN111164959B (zh) * 2017-11-10 2021-08-03 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法
TWI663577B (zh) 2018-06-04 2019-06-21 宏碁股份有限公司 針對非平面螢幕之色不均瑕疵補償系統
CN110581943B (zh) * 2018-06-11 2021-04-02 宏碁股份有限公司 针对非平面屏幕的色不均瑕疵补偿系统
JP7334880B2 (ja) * 2018-10-15 2023-08-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像データを処理するための方法、装置、プログラム、及び記録媒体
CN113366482B (zh) * 2019-01-31 2024-08-23 奥林巴斯株式会社 医疗器具分析装置、医疗器具分析方法以及已学习模型
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
WO2021111542A1 (ja) 2019-12-04 2021-06-10 オリンパス株式会社 撮像装置
CN112349231B (zh) * 2020-12-11 2022-04-15 合肥维信诺科技有限公司 一种显示面板的残影测量方法及装置
KR20220135036A (ko) * 2021-03-29 2022-10-06 삼성전자주식회사 이미지의 품질을 향상시키는 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753779A (zh) * 2008-12-12 2010-06-23 三洋电机株式会社 图像处理装置及摄像装置
WO2013080920A1 (ja) * 2011-11-28 2013-06-06 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN103238168A (zh) * 2010-12-03 2013-08-07 夏普株式会社 图像处理装置、图像处理方法及图像处理程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191136A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP2008092297A (ja) * 2006-10-02 2008-04-17 Olympus Corp 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体
JP4480760B2 (ja) * 2007-12-29 2010-06-16 株式会社モルフォ 画像データ処理方法および画像処理装置
JP5645052B2 (ja) * 2010-02-12 2014-12-24 国立大学法人東京工業大学 画像処理装置
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP2012022653A (ja) * 2010-07-16 2012-02-02 Canon Inc 画像処理装置および画像処理方法
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753779A (zh) * 2008-12-12 2010-06-23 三洋电机株式会社 图像处理装置及摄像装置
CN103238168A (zh) * 2010-12-03 2013-08-07 夏普株式会社 图像处理装置、图像处理方法及图像处理程序
WO2013080920A1 (ja) * 2011-11-28 2013-06-06 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Also Published As

Publication number Publication date
US9420175B2 (en) 2016-08-16
JP2015192199A (ja) 2015-11-02
US20150319363A1 (en) 2015-11-05
CN105165002A (zh) 2015-12-16
JP5788551B1 (ja) 2015-09-30
WO2015145856A1 (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
CN105165002B (zh) 图像处理装置和图像处理方法
JP4638361B2 (ja) 撮像装置
US20190037116A1 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
CN106165395B (zh) 图像处理装置、图像处理方法及图像处理程序
CN109714536B (zh) 图像校正方法、装置、电子设备及计算机可读存储介质
US9100559B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel
JP6489932B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101915193B1 (ko) 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템
US10389952B2 (en) Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium
JP2012019337A (ja) 画像処理装置及び方法並びにプログラム
CN108141509A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质
JP6398457B2 (ja) 撮影装置、撮影方法、およびプログラム
JP2016053849A (ja) 画像処理装置および画像処理方法、並びに固体撮像装置
JP2013258444A (ja) 画像処理装置、画像処理方法及びプログラム
WO2019008692A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
EP3278167A1 (en) High resolution pathology scanner with improved signal to noise ratio
JP2009047734A (ja) 撮像装置及び画像処理プログラム
CN109791685A (zh) 图像处理装置、摄像系统、图像处理方法和图像处理程序
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP2012239133A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP6459183B2 (ja) 撮像装置
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP5541956B2 (ja) 画像合成方法、画像合成プログラムおよび画像合成装置
JP5645704B2 (ja) 画像処理装置、及びその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180703