CN108141509B - 图像处理装置、摄像装置、图像处理方法和存储介质 - Google Patents

图像处理装置、摄像装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN108141509B
CN108141509B CN201580083724.XA CN201580083724A CN108141509B CN 108141509 B CN108141509 B CN 108141509B CN 201580083724 A CN201580083724 A CN 201580083724A CN 108141509 B CN108141509 B CN 108141509B
Authority
CN
China
Prior art keywords
image
resolution
correlation
images
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580083724.XA
Other languages
English (en)
Other versions
CN108141509A (zh
Inventor
梶村康祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN108141509A publication Critical patent/CN108141509A/zh
Application granted granted Critical
Publication of CN108141509B publication Critical patent/CN108141509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

以同时实现分辨率提高效果和伪像抑制双方为目的，图像处理装置(3)具有：高分辨率合成部(9)，其将通过摄像元件(6)以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件(6)中按照每个像素排列有多种滤色器；运动体判定部(10)，其针对由该高分辨率合成部(9)生成的高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及图像校正部(12)，其根据由该运动体判定部(10)求出的相关量，对高分辨率合成图像进行校正。

Description

图像处理装置、摄像装置、图像处理方法和存储介质
技术领域
本发明涉及图像处理装置、摄像装置、图像处理方法和存储介质。
背景技术
作为对多张图像进行合成而实现高分辨率化的技术之一，存在如下的像素偏移超清技术：对使光学像与摄像系统的位置相对偏移进行拍摄而得到的图像进行合成，提高分辨率。这是在分辨率比拍摄图像高的图像空间上考虑偏移量，来配置使光学像与摄像系统的位置相对偏移进行拍摄而得到的多个图像，根据这些图像信息进行插值处理或反复重构处理等，来提高分辨率。在该技术中，在细微图案的被摄体等、所拍摄的图像中产生混叠(莫尔条纹)这样的被摄体中，通过对存在位置偏移的多张图像进行合成来去除混叠，因此，得到分辨率的提高效果。
但是，上述技术具有在被摄体运动的区域中产生多重像等伪像这样的课题。作为抑制运动体区域中的伪像的技术，公知有专利文献1所公开的技术。
在专利文献1中，在多张图像之间计算相关量，根据相关量对图像的合成比率进行控制。例如，将所拍摄的多张图像中的一张设为基准图像、将其他图像设为参照图像，在基准图像与参照图像之间按照每个区域求出差分，根据该差分值计算与基准图像之间的相关量，进行控制使得相关度越高，则参照图像的合成比率越大，相关度越低，则参照图像的合成比率越小(基准图像的比率越大)。由此，不会产生由被摄体的运动或位置偏移引起的多重像等伪像。
现有技术文献
专利文献
专利文献1：日本特开2011-199786号公报
发明内容
发明要解决的课题
当在进行上述高分辨率化的情况下应用专利文献1这种技术时，考虑如下结构：在基准图像与参照图像之间按照每个区域计算差分量，使用基于该差分量的合成比率，对多张合成后的高分辨率图像和基准图像的放大图像进行合成，由此抑制高分辨率图像的运动体区域中的伪像。
但是，在低亮度的区域中，由于噪声的影响，有时低亮度的运动体区域中的差分量和非运动体区域中的差分量成为相同程度。该情况下，当通过基于差分量的合成比率的控制而控制为在低亮度的运动体区域的差分量下基准图像的合成比率较大时，在低亮度的非运动体区域中，基准图像的合成比率也较大，无法实现高分辨率化。另一方面，当进行控制使得在低亮度的运动体区域的差分量下增大多张合成后的高分辨率图像的合成比率时，得到非运动体区域的分辨率提高效果，但是，在运动体区域中产生多重像等伪像。这样，仅通过基于差分量的合成比率控制，无法在低亮度区域中同时实现分辨率提高效果和伪像抑制双方。
本发明是鉴于上述情况而完成的，其目的在于，提供能够同时实现分辨率提高效果和伪像抑制双方的图像处理装置、摄像装置、图像处理方法和存储介质。
用于解决课题的手段
本发明的一个方式是一种图像处理装置，其中，所述图像处理装置具有：高分辨率合成部，其将通过摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件中按照每个像素排列有多种滤色器；运动体判定部，其针对由该高分辨率合成部生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及图像校正部，其根据由该运动体判定部求出的所述相关量，对所述高分辨率合成图像进行校正。
根据本方式，通过高分辨率合成部对由摄像元件取得的基准图像和1个以上的参照图像进行合成，生成分辨率比基准图像和参照图像高的高分辨率合成图像。针对所生成的高分辨率合成图像的任意区域求出多个相关值后，在运动体判定部中进行相关值之间的大小关系运算，计算1个以上的相关量。然后，使用计算出的1个以上的相关量，通过图像校正部对高分辨率合成图像进行校正。
即，不是根据单一的相关值进行高分辨率合成图像的校正，而是根据通过多个相关值的大小关系运算而求出的1个以上的相关量进行高分辨率合成图像的校正，因此，在低亮度区域中存在运动、但是像素值较小因而在单一的相关值埋没于噪声中的状况下，也根据通过多个相关值的大小关系运算而求出的1个以上的相关量来判别是运动体还是非运动体，能够抑制由被摄体的运动引起的伪像的产生，并且能够实现高分辨率合成图像的分辨率提高。
在上述方式中，也可以是，所述图像处理装置具有相关系数计算部，该相关系数计算部根据由所述运动体判定部求出的1个以上的相关量计算相关系数，所述图像校正部根据基于由所述相关系数计算部计算出的相关系数的合成比率，对所述高分辨率合成图像和所述基准图像进行合成，由此对所述高分辨率合成图像进行校正。
由此，根据基于相关系数的合成比率对高分辨率合成图像和基准图像进行合成，该相关系数是相关系数计算部根据通过多个相关值的大小关系运算而求出的1个以上的相关量计算出的，因此，在运动体的情况下提高基准图像的合成比率，在非运动体的情况下提高高分辨率合成图像的合成比率，能够抑制由被摄体的运动引起的伪像的产生，并且能够实现高分辨率合成图像的分辨率提高。
并且，在上述方式中，也可以是，所述图像处理装置具有相关系数计算部，该相关系数计算部根据由所述运动体判定部求出的1个以上的相关量计算相关系数，所述图像校正部根据基于由所述相关系数计算部计算出的相关系数的合成比率，对针对所述高分辨率合成图像施加低通效果不同的滤波而得到的2个图像进行合成，由此对所述高分辨率合成图像进行校正。
由此，根据基于相关系数的合成比率，对针对高分辨率合成图像施加低通效果不同的滤波而得到的2个图像进行合成，该相关系数是相关系数计算部根据通过多个相关值的大小关系运算而求出的1个以上的相关量计算出的，因此，在运动体的情况下提高施加低通效果较高的滤波而得到的图像的合成比率，在非运动体的情况下提高施加低通效果较低的滤波而得到的图像的合成比率，能够抑制由被摄体的运动引起的伪像的产生，并且能够实现高分辨率合成图像的分辨率提高。
并且，在上述方式中，也可以是，所述运动体判定部通过在2个比较图像之间计算出的多个相关值的大小关系运算，求出1个以上的相关量，所述2个比较图像由该高分辨率合成部所生成的所述高分辨率合成图像中的与不同种类的滤色器对应的像素分别构成。
由此，在将通过与摄像元件中设置的不同种类的滤色器对应的像素同时取得的像素值分别排列在高分辨率图像空间中而构成的2个比较图像之间，计算多个相关值，进行其大小关系运算。由此，能够计算能够明确区分运动体或非运动体的相关量，能够抑制由被摄体的运动引起的伪像的产生，并且能够实现高分辨率合成图像的分辨率提高。
并且，在上述方式中，也可以是，所述相关值包含从使用2个所述比较图像的相同位置的区域计算出的相关值以及使用2个所述比较图像的位置相对偏移的区域计算出的相关值中选择出的2个以上的相关值。
并且，在上述方式中，优选使用2个所述比较图像的位置相对偏移的区域计算出的相关值是使用在预先设定的高分辨率化倍率在水平方向上为m倍、在垂直方向上为n倍时、2个所述比较图像的位置相对地在水平方向上偏移m像素、在垂直方向上偏移n像素的位置的区域计算出的相关值。
由此，使用2个比较图像的相对偏移的区域计算出的相关值成为能够计算明确区分运动体或非运动体的相关量的相关值，能够抑制由被摄体的运动引起的伪像的产生，并且能够实现高分辨率合成图像的分辨率提高。
并且，本发明的另一个方式是一种摄像装置，其中，所述摄像装置具有：图像取得部，其取得所述基准图像和所述参照图像；以及上述任意一个方式的图像处理装置，其对由该图像取得部取得的所述基准图像和所述参照图像进行处理。
并且，本发明的另一个方式是一种图像处理方法，其中，所述图像处理方法包含以下步骤：高分辨率合成步骤，将通过摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件中按照每个像素排列有多种滤色器；运动体判定步骤，针对通过该高分辨率合成步骤生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及图像校正步骤，根据通过该运动体判定步骤求出的所述相关量，对所述高分辨率合成图像进行校正。
并且，在上述方式中，也可以是，所述图像处理方法包含相关系数计算步骤，在该相关系数计算步骤中，根据通过所述运动体判定步骤求出的1个以上的相关量计算相关系数，在所述图像校正步骤中，根据基于通过所述相关系数计算步骤计算出的相关系数的合成比率，对所述高分辨率合成图像和所述基准图像进行合成，由此对所述高分辨率合成图像进行校正。
并且，在上述方式中，也可以是，所述图像处理方法包含相关系数计算步骤，在该相关系数计算步骤中，根据通过所述运动体判定步骤求出的1个以上的相关量计算相关系数，在所述图像校正步骤中，根据基于通过所述相关系数计算步骤计算出的相关系数的合成比率，对针对所述高分辨率合成图像施加低通效果不同的滤波而得到的2个图像进行合成，由此对所述高分辨率合成图像进行校正。
并且，在上述方式中，也可以是，在所述运动体判定步骤中，通过在2个比较图像之间计算出的多个相关值的大小关系运算，求出1个以上的相关量，所述2个比较图像由该高分辨率合成部所生成的所述高分辨率合成图像中的与不同种类的滤色器对应的像素分别构成。
并且，在上述方式中，也可以是，所述相关值包含从使用2个所述比较图像的相同位置的区域计算出的相关值以及使用2个所述比较图像的位置相对偏移的区域计算出的相关值中选择出的2个以上的相关值。
并且，在上述方式中，优选使用2个所述比较图像的位置相对偏移的区域计算出的相关值是使用在预先设定的高分辨率化倍率在水平方向上为m倍、在垂直方向上为n倍时、2个所述比较图像的位置相对地在水平方向上偏移m像素、在垂直方向上偏移n像素的位置的区域计算出的相关值。
并且，本发明的另一个方式是一种图像处理程序，其中，所述图像处理程序使计算机执行以下步骤：高分辨率合成步骤，将通过按照每个像素排列有多种滤色器而得到的摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像；运动体判定步骤，针对通过该高分辨率合成步骤生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及图像校正步骤，根据通过该运动体判定步骤求出的所述相关量，对所述高分辨率合成图像进行校正。
并且，本发明的另一个方式是一种非暂时性的计算机可读取的存储介质，其存储有图像处理程序，其中，所述图像处理程序使计算机执行以下步骤：高分辨率合成步骤，将通过摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件中按照每个像素排列有多种滤色器；运动体判定步骤，针对通过该高分辨率合成步骤生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及图像校正步骤，根据通过该运动体判定步骤求出的所述相关量，对所述高分辨率合成图像进行校正。
发明效果
根据本发明，发挥能够同时实现分辨率提高效果和伪像抑制双方这样的效果。
附图说明
图1是示出本发明的一个实施方式的摄像装置的整体结构图。
图2A是示出由图1的摄像装置取得的Gr通道的高分辨率图像的一部分的图。
图2B是示出由图1的摄像装置取得的Gb通道的高分辨率图像的一部分的图。
图3A是示出图2A的Gr通道和图2B的Gb通道的同一位置的关注区域中定义的运算区域的图。
图3B是示出相对于图2A的Gr通道的运算区域向左斜上方偏移的图2B的Gb通道的运算区域的图。
图3C是示出相对于图2A的Gr通道的运算区域向右斜上方偏移的图2B的Gb通道的运算区域的图。
图3D是示出相对于图2A的Gr通道的运算区域向左斜下方偏移的图2B的Gb通道的运算区域的图。
图3E是示出相对于图2A的Gr通道的运算区域向右斜下方偏移的图2B的Gb通道的运算区域的图。
图4是示出图1的摄像装置的相关系数计算部中根据第1相关量计算第1相关系数的映射图的一例的图。
图5是示出图1的摄像装置的相关系数计算部中根据第2相关量计算第2相关系数的映射图的一例的图。
图6是示出图1的摄像装置所具有的图像校正部的框图。
图7是示出图1的图像校正部中根据第3相关系数计算合成比率的映射图的一例的图。
图8是示出图1的摄像装置所具有的图像处理装置的具体动作例的图。
图9A是示出针对图8的非运动体区域举出图3A的具体像素值例的相关值的计算例的图。
图9B是示出针对图8的非运动体区域举出图3B的具体像素值例的相关值的计算例的图。
图9C是示出针对图8的非运动体区域举出图3C的具体像素值例的相关值的计算例的图。
图9D是示出针对图8的非运动体区域举出图3D的具体像素值例的相关值的计算例的图。
图9E是示出针对图8的非运动体区域举出图3E的具体像素值例的相关值的计算例的图。
图10A是示出针对图8的运动体区域举出图3A的具体像素值例的相关值的计算例的图。
图10B是示出针对图8的运动体区域举出图3B的具体像素值例的相关值的计算例的图。
图10C是示出针对图8的运动体区域举出图3C的具体像素值例的相关值的计算例的图。
图10D是示出针对图8的运动体区域举出图3D的具体像素值例的相关值的计算例的图。
图10E是示出针对图8的运动体区域举出图3E的具体像素值例的相关值的计算例的图。
图11是示出图1的摄像装置所具有的相关系数计算部中的第1相关量与第1相关系数的关系的一例的图。
图12是示出图1的摄像装置所具有的相关系数计算部中的第2相关量与第2相关系数的关系的一例的图。
图13是示出图1的摄像装置所具有的图像校正部中的基准图像与高分辨率合成图像的合成比率的一例的图。
图14是示出本发明的一个实施方式的图像处理方法的流程图。
图15是示出图1的摄像装置的图像校正部的变形例的框图。
图16是示出图1的摄像装置的变形例的框图。
图17是说明图16的摄像装置的动作的流程图。
图18是示出图1的摄像装置的相关系数计算部中的相关量与相关系数的关系的另一例的图。
图19是示出图1的摄像装置所具有的图像校正部中的基准图像与高分辨率合成图像的合成比率的另一例的图。
具体实施方式
下面，参照附图对本发明的一个实施方式的摄像装置1和图像处理装置3进行说明。
如图1所示，本实施方式的摄像装置1具有对被摄体进行拍摄并取得图像的图像取得部2、存储由图像取得部2取得的图像的存储器4、以及对存储器4中存储的图像进行处理的本发明的一个实施方式的图像处理装置3。
图像取得部2具有使来自被摄体的光进行会聚的摄像镜头5、使由该摄像镜头5会聚后的光入射并形成被摄体的光学像的摄像元件6、使该摄像元件6在像素的排列方向上以子像素单位进行移位的传感器移位机构7、以及对传感器移位机构7使摄像元件6移位的移位方向和移位量进行控制的传感器移位控制部8。
摄像元件6具有以2×2像素单位按照每个像素配置R、Gr、Gb、B这4种滤色器的所谓拜耳排列构造。在通过摄像元件6以时间序列取得的多张图像中，将最初取得的图像设为基准图像，将此后使摄像元件6进行移位而取得的1张以上的图像设为参照图像，存储在存储器4中。
图像处理装置3具有根据存储器4中存储的多张图像生成高分辨率的合成图像(高分辨率合成图像)的高分辨率合成部9、根据合成图像计算多个相关值并通过计算出的多个相关值的大小关系运算来计算1个以上的相关量的运动体判定部10、将由该运动体判定部10计算出的相关量转换为图像校正中使用的相关系数的相关系数计算部11、以及根据计算出的相关系数对合成图像进行校正的图像校正部12。
从存储器4对高分辨率合成部9输入多张图像，并且，对高分辨率合成部9输入来自传感器移位控制部8的对摄像元件6的移位控制信息(移位方向和移位量)。高分辨率合成部9根据从传感器移位控制部8输入的移位控制信息对从存储器4输入的基准图像和1个以上的参照图像进行位置对齐，并且将其配置在滤色器的每个颜色的高分辨率图像空间上。
具体而言，首先，按照滤色器的每个颜色在高分辨率图像空间上配置基准图像的各像素，接着，根据相对于基准图像的移位方向和移位量在高分辨率图像空间上配置参照图像的各像素。在配置像素时，如果跟与要配置的像素对应的滤色器的颜色相同颜色的像素处已经配置有基准图像的像素或其他参照图像的像素，则也可以不新配置像素，也可以与已经配置的像素进行相加平均来更新像素值。并且，也可以在累计相加后利用相加次数进行归一化。
并且，高分辨率合成部9也可以在配置了全部像素后，进行对还未配置的像素进行插值并嵌入的处理。关于插值的方法，例如，可以使用所配置的周围像素通过最近法进行嵌入，或者实施考虑了边缘方向的方向判别插值。
在图2A中示出高分辨率图像空间上的Gr通道的合成图像，在图2B中示出高分辨率图像空间上的Gb通道的合成图像。R、B通道的合成图像也同样生成。
在图2A和图2B所示的例子中，对1张基准图像和7张参照图像这合计8张图像进行合成，生成合成图像。图中的附加编号表示拍摄顺序。作为像素的排列方向，当设横向为水平方向、纵向为垂直方向时，图2A和图2B的各像素是构成如下图象的像素：
1：基准图像，
2：相对于基准图像在水平方向上移位1像素、在垂直方向上移位0像素并进行拍摄而取得的图像，
3：相对于基准图像在水平方向上移位0像素、在垂直方向上移位1像素并进行拍摄而取得的图像，
4：相对于基准图像在水平方向上移位1像素、在垂直方向上移位1像素并进行拍摄而取得的图像，
5：相对于基准图像在水平方向上移位0.5像素、在垂直方向上移位0.5像素并进行拍摄而取得的图像，
6：相对于基准图像在水平方向上移位1.5像素、在垂直方向上移位0.5像素并进行拍摄而取得的图像，
7：相对于基准图像在水平方向上移位0.5像素、在垂直方向上移位1.5像素并进行拍摄而取得的图像，
8：相对于基准图像在水平方向上移位1.5像素、在垂直方向上移位1.5像素并进行拍摄而取得的图像。
当考虑各图像的移位方向和移位量而配置在水平方向和垂直方向均为2倍的像素数的高分辨率图像空间上时，如图2A和图2B所示。图中的网格表示未配置的像素。
运动体判定部10将Gr通道的合成图像和Gb通道的合成图像划分成小区域，按照对应的每个小区域进行相关运算。这里，作为相关值，按照对应的每个小区域计算SAD(像素差分的绝对值的合计)值，通过使用该结果的大小关系运算，求出表示边缘程度和运动体程度的2个相关量。
具体而言，首先，如图3A所示，在高分辨率图像空间上配置8张图像并进行插值，由此，使用全部像素具有像素值的合成图像，设定Gr通道的合成图像和Gb通道的合成图像的同一位置的8×8像素的小区域作为关注区域。
并且，设定关注区域内的4×4像素作为相关运算中使用的运算区域。在Gr通道的合成图像和Gb通道的合成图像中分别设定该运算区域，一个运算区域如图3A所示，将Gr通道和Gb通道中同一位置的4×4像素设为运算区域，如图3B～图3E所示，设定其他4个运算区域，使得Gr通道的合成图像和Gb通道的合成图像的运算区域成为在水平方向和垂直方向上相互偏移2像素的位置。
然后，计算运算区域300与运算区域301的SAD(设为SAD0。以下同样)、运算区域300与运算区域302的SAD(SAD1)、运算区域300与运算区域303的SAD(SAD2)、运算区域300与运算区域304的SAD(SAD3)、运算区域300与运算区域305的SAD(SAD4)。
进而，从计算出的SAD0～SAD4中求出SAD的最大值(MaxSAD)和最小值(MinSAD)。
使用这些SAD的最大值(MaxSAD)和最小值(MinSAD)，通过以下的大小关系运算式计算表示关注区域的边缘程度的相关量(第1相关量)和表示运动体程度的相关量(第2相关量)这2个相关量。
第1相关量＝MaxSAD-SAD0
第2相关量＝SAD0-MinSAD
第1相关量是边缘程度越强则越大的值。第2相关量是运动体程度越强则越大的值。
在相关系数计算部11中，将由运动体判定部10求出的2个相关量转换为图像校正中使用的第1相关系数和第2相关系数。例如，如图4所示，设定第1阈值和第2阈值，第1相关量被转换为如下的第1相关系数：在第1阈值以下时，相关度为0，在第2阈值以上时，相关度为1，在两者之间时，相关量越大，则相关度越高。
并且，如图5所示，第2相关量被转换为，在第3阈值以下时，相关度为1，在第4阈值以上时，相关度为0，在两者之间时，相关量越大，则相关度越低。
如图6所示，图像校正部12具有根据从相关系数计算部11输出的相关系数计算合成比率的合成比率计算部120、对存储器4中存储的基准图像的RAW数据进行去马赛克处理而进行彩色化的颜色插值处理部121、将彩色化后的基准图像放大成与合成图像相同的图像尺寸的放大处理部122、以及根据由合成比率计算部120计算出的合成比率对由高分辨率合成部9生成的合成图像和进行放大处理后的放大基准图像进行合成的合成处理部123。
合成比率计算部120具有将相关系数和合成比率对应起来的映射图。在映射图中，例如，如图7所示，横轴示出对第1相关系数和第2相关系数进行相乘而得到的第3相关系数，纵轴示出合成比率。
在第3相关系数为第5阈值以下时，映射图仅成为基准图像的放大图像，在第3相关系数为第6阈值以上时，映射图仅成为高分辨率合成图像，在第5阈值与第6阈值之间，第3相关系数越大，则高分辨率合成图像的合成比率越大，第3相关系数越低，则基准图像的合成比率越大。
对全部关注区域实施该处理，最后，将校正图像输出到存储器4。
这里，使用图像处理装置3的具体动作例，参照图8～图14对本发明的一个实施方式的图像处理方法进行说明。
作为图像，如图8所示，在图像中包含被摄体80、81，被摄体80是非运动体，被摄体81是运动体，示出在使摄像元件6移位并进行拍摄而得到的8张图像中、被摄体81的位置大幅运动的例子。
在本实施方式的图像处理方法中，如图14所示，首先，在高分辨率图像空间内配置所取得的8张图像，生成高分辨率合成图像(高分辨率合成步骤S1)。
接着，针对通过高分辨率合成部9配置8张图像而生成的合成图像的8×8像素的小区域82、83，分别提取Gr通道和Gb通道，利用所述方法计算SAD0～SAD4，通过它们的大小关系运算来计算相关量(运动体判定步骤S2)。这里，设为使用高分辨率合成部9中未进行像素插值的状态的合成图像求出相关量。针对小区域82，Gr通道和Gb通道如图9A～图9E所示，计算SAD0～SAD4时，如下所述。
SAD0＝82
SAD1＝82
SAD2＝82
SAD3＝83
SAD4＝183
其结果，表示边缘程度的第1相关量成为
第1相关量＝MaxSAD-SAD0＝183-82＝101
表示运动体程度的第2相关量成为
第2相关量＝SAD0-MinSAD＝82-82＝0
另一方面，针对小区域83，Gr通道和Gb通道如图10A～图10E所示。如图8所示，小区域83是拍摄图像的第1张和第2张中拍摄有运动体的区域，因此，在高分辨率图像空间上的各通道的与第1张和第2张相当的像素位置配置运动体像素。针对该小区域83计算相关值时，如下所述。
SAD0＝82
SAD1＝9
SAD2＝58
SAD3＝63
SAD4＝88
其结果，表示边缘程度的第1相关量成为
第1相关量＝88-82＝6
表示运动体程度的第2相关量成为
第2相关量＝82-9＝73
然后，在相关系数计算部11中，将第1相关量和第2相关量分别转换为第1相关系数、第2相关系数(相关系数计算步骤S3)。例如，进行图11和图12所示的转换，在小区域82中，第1相关系数＝0.5、第2相关系数＝1，在小区域83中，第1相关系数＝0、第2相关系数＝0.36。
然后，在图像校正部12中，利用图13所示的合成比率对基准图像和高分辨率合成图像进行合成(图像校正步骤S4)。在小区域82中，第1相关系数×第2相关系数＝0.5×1＝0.5，高分辨率合成图像的合成比率为1。另一方面，在小区域83中，第1相关系数×第2相关系数＝0×0.36＝0，基准图像的合成比率为1。
这样，在运动体的区域中，基准图像的合成比率较大，因此，抑制了多重像等伪像，并且，在非运动体区域中，高分辨率合成图像的合成比率较大，因此，能够提高分辨率。
特别是在低亮度区域中存在运动体的情况下，在根据基准图像与参照图像的差分设定合成比率的现有技术中，由于噪声的影响而无法判别是运动体还是非运动体，很难同时实现伪像产生抑制和分辨率提高双方。
假设对本具体例中使用的图像应用现有技术时，仅在与SAD0相当的相同位置取SAD值，小区域82、83均成为SAD＝82，无法区分小区域82、83的合成比率，因此，显而易见很难同时实现伪像产生抑制和分辨率提高双方。
与此相对，根据本实施方式，在Gr和Gb的合成图像之间求出多个相关值，根据基于它们的大小关系运算结果计算出的相关量来计算合成比率。
因此，在低亮度区域中存在运动、但是像素值较小因而差分值较小而埋没于噪声中的状况下，也能够可靠地判别是运动体还是非运动体。由此，具有能够抑制由被摄体的运动引起的伪像的产生、并且能够实现图像的分辨率提高这样的优点。
另外，在本实施方式中，根据由合成比率计算部120计算出的合成比率对基准图像和合成图像进行合成，由此对合成图像进行校正，但是，也可以取而代之，如图15所示，不使用基准图像，而将合成图像输入到滤波处理部124，根据由合成比率计算部120计算出的合成比率对滤波处理后的图像进行合成，所述滤波处理部124具有低通效果不同的2种滤波器(第1滤波器125和第2滤波器126)。
由此，能够在相关度较低的区域中，增大通过低通效果较高的滤波器进行处理后的图像的合成比率，使图像模糊，在相关度较高的区域中，增大通过低通效果较低的滤波器进行处理后的图像的合成比率，取得鲜明的图像。
由此，还具有能够有效地抑制由被摄体的运动或位置偏移引起的伪像的产生这样的优点。另外，作为低通效果较低的滤波器，包含直接输出合成图像(不施加滤波)的情况。
并且，在本实施方式中，如图16所示，也可以具有对传感器移位控制部8、高分辨率合成部9、运动体判定部10、相关系数计算部11和图像校正部12进行控制的拍摄处理控制部14。
如图17所示，例如，拍摄处理控制部14根据手抖传感器的信号判定摄影模式(步骤S11)，在摄影模式为三脚架模式的情况下，将传感器移位控制部8设定为启动(步骤S12)，拍摄多张图像(步骤S13)，将来自传感器移位控制部8的传感器移位信息输出到高分辨率合成部9(步骤S14)。
在摄影模式为手持模式的情况下，关闭传感器移位控制部8(步骤S15)，拍摄多张图像(步骤S16)，在高分辨率合成部9的位置偏移检测部13中检测多张图像之间的偏移量(步骤S17)。另外，在手持模式中能够进行拍摄以在多张图像之间产生偏移即可，因此，也可以启动传感器移位控制部8。
接着，拍摄处理控制部14在高分辨率合成部9中对多张图像进行合成(步骤S1)，在运动体判定部10中根据合成后的Gr和Gb的合成图像计算多个相关值(步骤S2)，估计该相关值的大小关系运算结果计算相关量，在相关系数计算部11中将相关量转换为相关系数(步骤S3)。
拍摄处理控制部14在相关系数计算部11中将相关量转换为相关系数时，能够进行与ISO感光度对应的转换。拍摄处理控制部14取得多张图像拍摄时的ISO感光度信息(步骤S18)，根据ISO感光度为低感光度、中感光度、高感光度来设定第1阈值～第4阈值(步骤S19～S21)。
ISO感光度越高，则噪声越大，在静止部中，第2相关量(运动体程度)也可能较大，因此，减小第3阈值和第4阈值，进行转换使得在静止部中运动体程度不会较大。或者，在由图像校正部12生成的合成比率的映射图中，ISO感光度越高，则越减小第5阈值和第6阈值，由此，设定为合成图像或施加了低通效果较低的滤波而得的图像的合成比率较大。
并且，拍摄处理控制部14检测多张拍摄时的图像之间有无曝光量偏差(步骤S22)，根据偏差量的多少，减小第5阈值、第6阈值(步骤S23)。当偏差量较多时，在静止部中，相关度也可能较低，因此，减小第5阈值和第6阈值，设定为合成图像或施加了低通效果较低的滤波而得的图像的合成比率较大。
并且，拍摄处理控制部14检测多张拍摄时的图像之间有无闪烁(步骤S24)，根据闪烁量的多少，减小第5阈值、第6阈值(步骤S25)。当闪烁量较多时，在静止部中，相关度也可能较低，因此，减小第5阈值和第6阈值，设定为合成图像或施加了低通效果较低的滤波而得的图像的合成比率较大。
并且，在本实施方式中，在相关系数计算部11中将相关量转换为相关系数时，如图4和图5那样设定第1阈值～第4阈值并利用折线进行转换，但是，也可以如图18那样，利用直线进行转换，也可以设定更多的阈值来增加折线，也可以以曲线方式进行转换，除此之外，容易想到很多方法。
并且，在图像校正部12中，如图7那样设定第5阈值和第6阈值，采用在第5阈值以下的情况下仅为基准图像的放大图像、在第6阈值以上的情况下仅为高分辨率合成图像这样的合成比率的映射图，但是，也可以如图19那样，设为基准图像的放大图像和高分辨率合成图像针对全部相关量具有合成比率的映射图，不限于合成比率根据相关量而线性变化的映射图。
并且，在本实施方式中，根据多个SAD值计算相关量，但是，不限于SAD，也可以使用像素差分值的平均值、像素差分值的最大值与最小值之差、SSD(像素差分值的平方的合计值)、NCC(归一化互相关)等。并且，在本实施方式中，根据多个SAD值的大小关系运算结果计算第1相关量和第2相关量这2个相关量，但是，也可以计算更多的相关量。
并且，在本实施方式中，设关注区域为8×8像素、其中的4×4像素为运算区域来计算SAD值，但是，关注区域和运算区域的尺寸不限于此。
并且，也可以根据图像的区域的特性而使运算区域的尺寸改变。例如，也可以设运算区域的尺寸的上限为32×32像素、下限为4×4像素，图像的对比度越高，则关注区域尺寸越接近4×4像素，求出更加细致的相关量，相反，对比度越低，则关注区域的尺寸越接近32×32像素。
由此，在对比度较高的区域中，按照更加细致的每个区域可靠地判别是运动体还是非运动体，能够同时实现伪像产生抑制和高分辨率化双方。而且，在低亮度这样的对比度较低的区域中，根据更多的像素值信息计算相关量，能够根据其大小关系运算结果可靠地计算用于判别是运动体还是非运动体的相关量。
任意情况下，根据本实施方式，根据基于合成图像之间的多个相关量的大小关系运算结果求出的相关量来计算合成比率，由此，能够可靠地判别运动体和非运动体，能够同时实现伪像产生抑制和分辨率提高双方。
并且，关于本实施方式的图像处理方法，除了通过上述图像处理装置3来实施的情况以外，还能够通过能够由计算机执行的图像处理程序来实施。该情况下，CPU等处理器执行图像处理程序，由此实施本实施方式的图像处理方法。
具体而言，读出存储介质中存储的图像处理程序，通过CPU等处理器执行所读出的图像处理程序。这里，存储介质存储程序和数据等，其功能能够通过光盘(DVD、CD等)、硬盘驱动器或存储器(卡型存储器、ROM等)等来实现。
标号说明
1：摄像装置；2：图像取得部；3：图像处理装置；6：摄像元件；9：高分辨率合成部；10：运动体判定部；11：相关系数计算部；12：图像校正部；80、81：被摄体；S1：高分辨率合成步骤；S2：运动体判定步骤；S3：相关系数计算步骤；S4：图像校正步骤。

Claims (14)

1.一种图像处理装置，其中，所述图像处理装置具有：
高分辨率合成部，其将通过摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件中按照每个像素排列有多种滤色器；
运动体判定部，其针对由该高分辨率合成部生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及
图像校正部，其根据由该运动体判定部求出的所述相关量，对所述高分辨率合成图像进行校正。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置具有相关系数计算部，该相关系数计算部根据由所述运动体判定部求出的1个以上的相关量计算相关系数，
所述图像校正部根据基于由所述相关系数计算部计算出的相关系数的合成比率，对所述高分辨率合成图像和所述基准图像进行合成，由此对所述高分辨率合成图像进行校正。
3.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置具有相关系数计算部，该相关系数计算部根据由所述运动体判定部求出的1个以上的相关量计算相关系数，
所述图像校正部根据基于由所述相关系数计算部计算出的相关系数的合成比率，对针对所述高分辨率合成图像施加低通效果不同的滤波而得到的2个图像进行合成，由此对所述高分辨率合成图像进行校正。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其中，
所述运动体判定部通过在2个比较图像之间计算出的多个相关值的大小关系运算，求出1个以上的相关量，所述2个比较图像由该高分辨率合成部所生成的所述高分辨率合成图像中的与不同种类的滤色器对应的像素分别构成。
5.根据权利要求4所述的图像处理装置，其中，
所述相关值包含从使用2个所述比较图像的相同位置的区域计算出的相关值以及使用2个所述比较图像的位置相对偏移的区域计算出的相关值中选择出的2个以上的相关值。
6.根据权利要求5所述的图像处理装置，其中，
使用2个所述比较图像的位置相对偏移的区域计算出的相关值是使用在预先设定的高分辨率化倍率在水平方向上为m倍、在垂直方向上为n倍时、2个所述比较图像的位置相对地在水平方向上偏移m像素、在垂直方向上偏移n像素的位置的区域计算出的相关值。
7.一种摄像装置，其中，所述摄像装置具有：
图像取得部，其通过摄像元件以时间序列对被摄体进行拍摄而取得基准图像和该基准图像以外的1张以上的参照图像；以及
权利要求1～6中的任意一项所述的图像处理装置，其对由该图像取得部取得的所述基准图像和所述参照图像进行处理。
8.一种图像处理方法，其中，所述图像处理方法包含以下步骤：
高分辨率合成步骤，将通过摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件中按照每个像素排列有多种滤色器；
运动体判定步骤，针对通过该高分辨率合成步骤生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及
图像校正步骤，根据通过该运动体判定步骤求出的所述相关量，对所述高分辨率合成图像进行校正。
9.根据权利要求8所述的图像处理方法，其中，
所述图像处理方法包含相关系数计算步骤，在该相关系数计算步骤中，根据通过所述运动体判定步骤求出的1个以上的相关量计算相关系数，
在所述图像校正步骤中，根据基于通过所述相关系数计算步骤计算出的相关系数的合成比率，对所述高分辨率合成图像和所述基准图像进行合成，由此对所述高分辨率合成图像进行校正。
10.根据权利要求8所述的图像处理方法，其中，
所述图像处理方法包含相关系数计算步骤，在该相关系数计算步骤中，根据通过所述运动体判定步骤求出的1个以上的相关量计算相关系数，
在所述图像校正步骤中，根据基于通过所述相关系数计算步骤计算出的相关系数的合成比率，对针对所述高分辨率合成图像施加低通效果不同的滤波而得到的2个图像进行合成，由此对所述高分辨率合成图像进行校正。
11.根据权利要求8～10中的任意一项所述的图像处理方法，其中，
在所述运动体判定步骤中，通过在2个比较图像之间计算出的多个相关值的大小关系运算，求出1个以上的相关量，所述2个比较图像由通过该高分辨率合成步骤生成的所述高分辨率合成图像中的与不同种类的滤色器对应的像素分别构成。
12.根据权利要求11所述的图像处理方法，其中，
所述相关值包含从使用2个所述比较图像的相同位置的区域计算出的相关值以及使用2个所述比较图像的位置相对偏移的区域计算出的相关值中选择出的2个以上的相关值。
13.根据权利要求12所述的图像处理方法，其中，
使用2个所述比较图像的位置相对偏移的区域计算出的相关值是使用在预先设定的高分辨率化倍率在水平方向上为m倍、在垂直方向上为n倍时、2个所述比较图像的位置相对地在水平方向上偏移m像素、在垂直方向上偏移n像素的位置的区域计算出的相关值。
14.一种非暂时性的计算机可读取的存储介质，其存储有图像处理程序，其中，所述图像处理程序使计算机执行以下步骤：
高分辨率合成步骤，将通过摄像元件以时间序列对被摄体进行拍摄而取得的基准图像和该基准图像以外的1张以上的参照图像，在分辨率比这些图像高的高分辨率图像空间上进行合成，生成高分辨率合成图像，所述摄像元件中按照每个像素排列有多种滤色器；
运动体判定步骤，针对通过该高分辨率合成步骤生成的所述高分辨率合成图像的任意区域，通过该区域内的多个相关值的大小关系运算，求出1个以上的相关量；以及
图像校正步骤，根据通过该运动体判定步骤求出的所述相关量，对所述高分辨率合成图像进行校正。
CN201580083724.XA 2015-10-16 2015-10-16 图像处理装置、摄像装置、图像处理方法和存储介质 Active CN108141509B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079295 WO2017064807A1 (ja) 2015-10-16 2015-10-16 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Publications (2)

Publication Number Publication Date
CN108141509A CN108141509A (zh) 2018-06-08
CN108141509B true CN108141509B (zh) 2020-07-17

Family

ID=58518107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083724.XA Active CN108141509B (zh) 2015-10-16 2015-10-16 图像处理装置、摄像装置、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US10636126B2 (zh)
JP (1) JP6592523B2 (zh)
CN (1) CN108141509B (zh)
WO (1) WO2017064807A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) * 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
WO2019008692A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2019008693A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US10748038B1 (en) * 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
CN110166710A (zh) * 2019-06-21 2019-08-23 上海闻泰电子科技有限公司 图像合成方法、装置、设备和介质
JP7159486B2 (ja) 2019-12-04 2022-10-24 オリンパス株式会社 撮像装置
CN113676659B (zh) * 2021-08-11 2023-05-26 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质
CN115868958A (zh) * 2021-09-28 2023-03-31 西门子(深圳)磁共振有限公司 Mr成像中的运动校正方法、装置、mr成像系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197895A (zh) * 2006-12-05 2008-06-11 佳能株式会社 图像处理设备和方法、程序及计算机可读存储介质
CN101335900A (zh) * 2007-06-25 2008-12-31 安奇逻辑股份有限公司 图像处理装置、图像处理方法、程序和摄像装置
WO2015053080A1 (ja) * 2013-10-10 2015-04-16 オリンパス株式会社 撮像装置及び撮像方法
JP5788551B1 (ja) * 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JPH10191136A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US7289114B2 (en) * 2003-07-31 2007-10-30 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames
JP4650560B2 (ja) * 2008-11-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197895A (zh) * 2006-12-05 2008-06-11 佳能株式会社 图像处理设备和方法、程序及计算机可读存储介质
CN101335900A (zh) * 2007-06-25 2008-12-31 安奇逻辑股份有限公司 图像处理装置、图像处理方法、程序和摄像装置
WO2015053080A1 (ja) * 2013-10-10 2015-04-16 オリンパス株式会社 撮像装置及び撮像方法
JP5788551B1 (ja) * 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US20180225810A1 (en) 2018-08-09
WO2017064807A1 (ja) 2017-04-20
JPWO2017064807A1 (ja) 2018-08-09
CN108141509A (zh) 2018-06-08
US10636126B2 (en) 2020-04-28
JP6592523B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
CN108141509B (zh) 图像处理装置、摄像装置、图像处理方法和存储介质
CN111164959B (zh) 图像处理装置、图像处理方法以及记录介质
US9420175B2 (en) Image processing system, image processing method, and computer-readable medium
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10389952B2 (en) Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
CN109328454B (zh) 图像处理装置
KR20140060592A (ko) 전체 초점 화상 생성 방법, 그 장치 및 그 프로그램, 및, 피사체 높이 정보 취득 방법, 그 장치 및 그 프로그램
JP2007259401A (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
US11146746B2 (en) Image processing device, image capturing device, image processing method, and storage medium
US11445109B2 (en) Image processing device, image capturing device, image processing method, and storage medium
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
CN106572285B (zh) 相机模块、电子装置及其操作方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2008099260A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2012095341A (ja) 撮像装置
US8629917B2 (en) Image processing apparatus, method, and recording medium
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2016099836A (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP5539098B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP2008079301A (ja) 撮像装置
JPWO2008032441A1 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2015041871A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant