CN106357968B - 摄像装置、图像处理方法 - Google Patents
摄像装置、图像处理方法 Download PDFInfo
- Publication number
- CN106357968B CN106357968B CN201610523284.1A CN201610523284A CN106357968B CN 106357968 B CN106357968 B CN 106357968B CN 201610523284 A CN201610523284 A CN 201610523284A CN 106357968 B CN106357968 B CN 106357968B
- Authority
- CN
- China
- Prior art keywords
- image
- continuous shooting
- processing
- photographic device
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 125
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 78
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 78
- 238000012937 correction Methods 0.000 claims abstract description 66
- 241001269238 Data Species 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 206010044565 Tremor Diseases 0.000 claims description 3
- 239000012634 fragment Substances 0.000 description 35
- 239000013598 vector Substances 0.000 description 31
- 238000011156 evaluation Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Abstract
提供摄像装置、图像处理方法，能够抑制画质降低并且得到用户想要的摄影范围的合成图像。该摄像装置具有：IS单元(23)，其根据由抖动检测单元(39)检测到的抖动量，驱动镜头(11)或摄像元件(22)，由此校正曝光中的抖动；对位处理部(31)，其计算连拍得到的多张图像数据内的任意两张的相关值；合成处理部(32)，其根据相关值，对位并合成两张图像数据；以及能够设定连拍合成模式的微型计算机(50)，IS单元(23)在设定为连拍合成模式的情况下限制实时取景中的抖动校正范围。
Description
技术领域
本发明涉及具有合成连拍得到的多张图像数据来生成一张合成图像数据的功能的摄像装置、图像处理方法。
背景技术
近年来，提出有具有合成通过连续拍摄得到的多张图像来生成一张图像的功能的摄像装置。这里，图像合成是为了生成例如高动态范围图像(HDR图像)、低噪声图像(NR(噪声抑制)图像)、超分辨率图像等而进行的。而且，关于作为合成的基础的多张图像，优选曝光中的手抖较少和各图像间的位置偏移较小。
另一方面，以往，提出有通过移动摄像元件或镜头，来校正手抖的手抖校正机构(IS(Image Stabilization：图像稳定)机构)。
针对曝光中的手抖，只要将该手抖校正机构用于连续拍摄时的各图像的曝光中，就能够校正曝光中的手抖。并且，针对各图像间的位置偏移，在例如日本国特开2006-86741号公报中，记载有如下技术：通过根据像素间距、焦距、由抖动检测单元得到的图像间的角度抖动等信息来决定抖动校正范围，从而有效地校正各图像间的位置偏移。
此时，在连续拍摄多张图像的期间，当使IS机构连续动作时，有时超过IS机构的行程极限，在该种情况下变得无法校正曝光中的手抖。因此，为了以相同精度校正每张图像的曝光中的手抖，在每次拍摄完一张图像时，进行使IS机构返回初始位置的定心处理。但是，在该定心处理中，会产生各图像间的位置偏移。
针对这样的图像间的位置偏移，能够通过进行图像间的相关运算来计算表示偏移量的全局向量，根据计算出的全局向量在合成处理时进行校正。例如，在日本国特开2012-49603号公报中，记载有如下技术：比较两张图像，取得表示部分偏移量的局部向量和表示图像整体的偏移量的全局向量，使用取得的这些向量对该两张图像进行对位合成。
但是，尤其在曝光时间较长等的情况下，IS机构的行程量增加，且由定心处理导致的图像间的位置偏移量也增大，因此，为了根据图像计算表示偏移量的全局向量，必须将相当大的区域作为搜索对象，相关运算处理的时间变长。而且，图像间的位置偏移较大即多张图像中共通的图像部分较小，因此，根据共通的图像部分生成的合成图像的画质降低。
而且，以往，在搭载有IS机构的照相机中，为了不受手抖的影响地在摄影紧前确认摄影范围，从第一释放开关接通的时刻使I S机构动作，在第二释放开关接通时继续保持该IS机构的动作状态进行抖动校正并且进行主曝光。由此，尤其在远摄拍摄等容易产生手抖的情况下，能够稳定地进行摄影范围的确认。
然而，当从第一释放开关接通时刻使IS机构动作时，在第一张图像与第二张和第二张以后的图像中产生摄影范围的差异。由于该不同在从第一释放开关接通的时刻到第二释放开关接通的时刻的期间产生，因此，即使在假设各图像的曝光时间较短且多个图像间的定心量的不同较小的情况下，也无法避免产生该不同。而且，第一释放与第二释放的时间间隔根据用户操作而发生各种变化、不是固定的，在该时间间隔较长的情况下，第一张图像的定心量变得相当大。
该第一张图像的定心量较大的情况在仅拍摄一张图像的情况或只是连续拍摄多张图像的情况下不会成为大问题，但在为了进行图像合成而连拍的多张图像的情况下，会像上述那样导致画质的降低。而且，为了用户考虑构图等来决定摄影范围进行第二释放，优选在图像合成中以第一张图像为基准图像，但当以定心量较大的第一张图像为基准图像时，由于与第二张和第二张以后的图像的相关运算导致需要较多的时间，进而变成图像合成处理需要花费时间。
另一方面，只要在开始第一张图像的曝光的紧前进行定心处理，就能够将第一张图像的定心量抑制为与第二张和第二张以后的图像的定心量同等的级别，但在该种情况下，用户在进行第二释放操作的时刻观察到的摄影范围与实际上拍摄的第一张图像的摄影范围不同，无法得到用户想要的构图的图像。
发明内容
本发明是鉴于上述情况而完成的，其目的在于，提供能够抑制合成图像的画质降低并且得到用户想要的摄影范围的合成图像的摄像装置、图像处理方法。
本发明的一种方式的摄像装置具有合成连拍得到的多张图像数据来生成一张合成图像数据的功能，该摄像装置具有：抖动检测部，其检测所述摄像装置的运动的大小作为抖动量；抖动校正部，其根据由所述抖动检测部检测到的抖动量，将镜头和摄像元件中的至少一方作为驱动对象进行驱动，由此校正曝光中的抖动；相关值运算部，其对连拍得到的所述多张图像数据内的任意两张图像数据，使用各自规定的区域内的图像数据来计算相关值；合成处理部，其根据所述相关值进行所述两张图像数据的对位，并合成该两张图像数据；以及模式设定部，其能够设定连拍合成模式，该连拍合成模式是用于进行由所述合成处理部执行的合成的摄影模式，在设定为所述连拍合成模式的情况下，所述抖动校正部限制实时取景中的抖动校正范围。
本发明的一种方式的图像处理方法能够合成连拍得到的多张图像数据来生成一张合成图像数据，在该图像处理方法中具有如下步骤：第一步骤，根据检测摄像装置的运动的大小而得到的抖动量，将镜头和摄像元件中的至少一方作为驱动对象进行驱动，由此校正曝光中的抖动；第二步骤，对连拍得到的所述多张图像数据内的任意两张图像数据，使用各自规定的区域内的图像数据来计算相关值；第三步骤，根据所述相关值进行所述两张图像数据的对位，合成该两张图像数据；以及第四步骤，能够设定连拍合成模式，该连拍合成模式是用于进行所述第三步骤中执行的合成的摄影模式，在第四步骤中设定为所述连拍合成模式的情况下，在所述第一步骤中，限制实时取景中的抖动校正范围。
附图说明
图1是示出本发明的实施方式1中的摄像装置的结构的框图。
图2是示出上述实施方式1的摄像装置中的单拍摄影模式和连续拍摄模式的处理的流程图。
图3是示出在上述实施方式1中，单拍摄影或连续拍摄下的IS单元的从第一释放开关刚接通后第二释放开关接通直至第一张图像的曝光结束的动作例的图。
图4是示出在上述实施方式1中，连续拍摄下的IS单元的从第一张图像的曝光结束后到第二张图像的曝光开始的动作例的图。
图5是示出在上述实施方式1中，连续拍摄下的IS单元的从第二张图像的曝光开始后到第二张图像的曝光结束的动作例的图。
图6是示出上述实施方式1的摄像装置中的包含连拍合成模式的摄影模式的处理的流程图。
图7是示出上述实施方式1的图6的步骤S26中的合成处理的详细内容的流程图。
图8是示出在上述实施方式1中，在基准图像上配置了评价碎片的情形的图。
图9是示出在上述实施方式1中，在对象图像上配置了搜索碎片的情形的图。
图10是示出本发明的实施方式2的摄像装置中的包含连拍合成模式的摄影模式的处理的流程图。
图11是在上述实施方式2中，在设定为连拍合成模式的情况下第一释放开关接通后的实时取景时的IS单元中的被限制的抖动校正范围的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
[实施方式1]
图1至图9是示出本发明的实施方式1的图，图1是示出摄像装置的结构的框图。另外，在本实施方式中，作为摄像装置以数字照相机为例进行说明，但不限于此，只要是具有摄像功能的装置，可以是任意的装置。
该摄像装置以经由接口(I/F)3连接更换式镜头1和照相机主体2使得更换式镜头1和照相机主体2能够通信的方式构成，且该摄像装置具有合成连拍得到的多张图像数据来生成一张合成图像数据的功能。
更换式镜头1经由例如镜头座装卸自如地安装于照相机主体2，接口3由形成于镜头座的电触头(设置在更换式镜头1侧的电触头和设置在照相机主体2侧的电触头)等构成。
更换式镜头1具有镜头11、光圈12、驱动器13、闪存14以及微型计算机15。
镜头11是用于将被摄体的光学像成像在照相机主体2的后述的摄像元件22上的摄影光学系统。
光圈12是控制从镜头11朝向摄像元件22的光束的通过范围的光学光圈。
驱动器13根据来自微型计算机15的指令，驱动镜头11，进行对焦位置的调节，在镜头11是电动变焦镜头等的情况下还进行焦距的变更。此外，驱动器13根据来自微型计算机15的指令，驱动光圈12，改变口径。通过驱动该光圈12，被摄体的光学像的亮度改变，模糊的大小等也改变。
闪存14是存储由微型计算机15执行的控制程序和与更换式镜头1有关的各种信息的存储介质。
微型计算机15是所谓的镜头侧计算机，与驱动器13、闪存14以及接口3连接。而且，微型计算机15经由接口3与后述的作为主体侧计算机的微型计算机50通信，接收来自微型计算机50的指令，进行在闪存14中存储的信息的读出/写入，对驱动器13进行控制。而且，微型计算机15将与该更换式镜头1有关的各种信息发送给微型计算机50。
接口3连接更换式镜头1的微型计算机15和照相机主体2的微型计算机50，使得微型计算机15和微型计算机50能够双向通信。
接着，照相机主体2具有机械快门21、摄像元件22、IS(Image Stabilization：图像稳定)单元23、模拟处理部24、模拟/数字转换部(A/D转换部)25、总线26、SDRAM27、AE处理部28、AF处理部29、AWB处理部30、对位处理部31、合成处理部32、图像处理部33、JPEG处理部38、抖动检测单元39、LCD驱动器41、LCD42、EVF(电子取景器：Electronic View Finder)驱动器43、EVF44、存储器接口(存储器I/F)45、记录介质46、操作部47、闪存48以及微型计算机50。
机械快门21控制来自镜头11的光束到达摄像元件22的时间，是例如使快门帘幕移动的结构的光学快门。该机械快门21被微型计算机50的指令驱动，控制光束到达摄像元件22的时间即摄像元件22的被摄体的曝光时间。
摄像元件22在摄像面上具有以规定的像素间距呈二维状排列的多个像素，是根据作为摄像控制部的微型计算机50的控制，接受并拍摄来自镜头11和光圈12的光束(即，对成像的被摄体的光学像进行光电转换)，生成模拟图像信号的摄像部。这里，由于摄像元件22以将与镜头11的光轴垂直的面作为受光面的方式配置，因此，多个像素的二维状排列方向是与镜头11的光轴垂直的方向。
本实施方式的摄像元件22构成为，例如在垂直方向和水平方向上排列的多个像素的前表面上配置有原色拜耳排列(R(红色)G(绿色)B(蓝色)拜耳排列)的滤色器的单板式的摄像元件。另外，摄像元件22当然不限于单板式的摄像元件，也可以是例如在基板厚度方向上分离颜色分量那样的叠层式的摄像元件。
IS单元23是抖动校正部，该抖动校正部根据由抖动检测单元39像后述那样检测到的抖动量，通过将镜头11和摄像元件22中的至少一方作为驱动对象进行驱动以校正曝光中的抖动，并且能够在一张图像的曝光结束后到下一张图像的曝光开始的期间进行将驱动对象复位到规定位置的定心处理。
在本实施方式中，以IS单元23构成为传感器移位方式为例进行说明，其中，传感器移位方式是根据由抖动检测单元39像后述那样检测到的摄像装置的移动，使摄像元件22在与光轴垂直的面内在消除手抖的方向上移动的方式。但是，作为抖动校正部，也可以采用移动镜头11的镜头移位方式，还可以采用传感器移位方式和镜头移位方式两种。
模拟处理部24对从摄像元件22读出的模拟图像信号，在降低复位噪声等的基础上进行波形整形，还对该模拟图像信号进行增益放大使其为目标亮度。
A/D转换部25将从模拟处理部24输出的模拟图像信号转换为数字图像信号(适当地，称作图像数据)。
总线26是用于将在摄像装置内的某处产生的各种数据或控制信号向摄像装置内其他位置传送的传送路径。本实施方式中的总线26与IS单元23、A/D转换部25、SDRAM27、AE处理部28、AF处理部29、AWB处理部30、对位处理部31、合成处理部32、图像处理部33、JPEG处理部38、抖动检测单元39、LCD驱动器41、EVF驱动器43、存储器I/F45以及微型计算机50连接。
从A/D转换部25输出的图像数据(以下，适当地称作RAW图像数据)经由总线26传送，被暂时存储在SDRAM27中。
SDRAM27是暂时存储上述的RAW图像数据或在合成处理部32、图像处理部33、JPEG处理部38等中处理后的图像数据等各种数据的存储部。
AE处理部28根据RAW图像数据，计算被摄体亮度。这里计算出的被摄体亮度被用于自动曝光(AE)控制即光圈12的控制或机械快门21的控制、摄像元件22的曝光时机控制(或者，所谓的电子快门的控制)等。
AF处理部29从RAW图像数据中提取高频成分的信号，通过AF(自动对焦)累积处理，取得对焦评价值。这里取得的对焦评价值被用于镜头11的AF驱动。另外，AF当然不限于这种对比度AF，也可以构成为使用例如专用的AF传感器(或者摄像元件22上的AF用像素)进行位相差AF。
AWB处理部30进行如下的自动白平衡处理：根据RAW图像数据，检测被摄体的色平衡，分别对RGB各成分计算增益，通过将RAW图像数据与计算出的增益相乘来调节白平衡。
对位处理部31是对连拍得到的多张图像数据内的任意的两张画像数据(将一方称作基准图像，将另一方称作对象图像)使用各自规定的区域内的图像数据来计算相关值的相关值运算部，该对位处理部31根据计算出的相关值来计算对象图像相对于基准图像的偏移量。
合成处理部32是根据基于由对位处理部31计算出的相关值的位置偏移，使基准图像与对象图像对位后合成基准图像和对象图像，从而生成一张合成图像数据的图像合成部。这里进行的图像合成可以是例如，使用曝光量不同的多张图像的高动态范围图像合成(HDR图像合成)、使用进行时分曝光后的多张图像的加法合成、平均合成、比较亮合成或者比较暗合成、使用以像素间距的非整数倍的移动量进行像素偏移后的多张图像的超分辨率图像合成等任何一种。
在合成连拍合成模式下取得的多张图像的情况下，例如，首先，将第一张取得的图像设定为基准图像(但是，如后所述，用户也可以选择基准图像)。而且，依次将第二张或者其以后新取得的图像设定为对象图像，并且通过对位处理部31和合成处理部32进行上述那样的处理，通过直至取得最终图像进行如上的处理，来生成最终的合成图像。
另外，可以对RAW图像数据进行由对位处理部31和合成处理部32进行的处理，也可以对通过图像处理部33进行图像处理后的图像数据进行由对位处理部31和合成处理部32进行的处理。
图像处理部33对RAW图像数据或由合成处理部32根据RAW图像数据生成的合成图像数据进行各种图像处理，该图像处理部33包含WB校正部34、同时化处理部35、颜色再现处理部36以及NR处理部37。
WB校正部34对图像数据进行白平衡处理以使得白色的被摄体被观察为白色。
同时化处理部35进行去马赛克处理，在该去马赛克处理中，通过根据每个像素中仅存在RGB分量内的一种颜色分量的RGB拜耳排列的图像数据，从周边像素求出并补足关注像素中不存在的颜色分量，从而将该RGB拜耳排列的图像数据转换为所有像素具有RGB三种颜色分量全部的图像数据。
颜色再现处理部36进行如下处理：通过对图像数据进行颜色矩阵运算，更忠实地再现被摄体的颜色。
NR处理部37通过对图像数据进行基于空间频率的核化处理等，进行降噪处理。
将这样通过图像处理部33进行各种处理后的图像数据再次存储在SDRAM 27中。
JPEG处理部38在记录图像数据时，从SDRAM27读出图像数据，按照JPEG压缩方式对该图像数据进行压缩，生成JPEG图像数据，并将该JPEG图像数据存储在SDRAM27中。通过微型计算机50对存储在该SDRAM27中的JPEG图像数据附加文件头等，经由存储器I/F45以JPEG文件的形式记录在记录介质46中。
并且，JPEG处理部38也进行压缩图像数据的解压缩。即，在进行完成记录图像的再现的情况下，根据微型计算机50的控制，JPEG处理部38经由存储器I/F45从记录介质46读出例如JPEG文件，并将该JPEG文件暂时存储在SDRAM27中。JPEG处理部38按照JPEG解压缩方式对存储在SDRAM27中的JPEG文件中的JPEG图像数据进行解压缩，并将解压缩后的图像数据存储在SDRAM27中。
抖动检测单元39是具有陀螺仪传感器等的抖动检测部，将例如由于手抖等导致的摄像装置的移动的大小作为抖动量进行检测。而且，抖动检测单元39将检测结果输出给微型计算机50。
LCD驱动器41读出在SDRAM27中存储的图像数据，将读出的图像数据转换为影像信号，驱动控制LCD42以将基于影像信号的图像显示于LCD42。
LCD42通过上述那样的LCD驱动器41的驱动控制，对图像进行显示，并且对该摄像装置的各种信息进行显示。
EVF驱动器43读出在SDRAM27中存储的图像数据，将读出的图像数据转换为影像信号，驱动控制EVF44以将基于影像信号的图像显示于EVF44。
EVF44通过上述那样的EVF驱动器43的驱动控制，对图像进行显示，并且对该摄像装置的各种信息进行显示。
这里，作为在LCD42或EVF44进行的图像显示，具有在短时间内对摄影紧后的图像数据进行显示的记录浏览显示、在记录介质46中记录的JPEG文件的再现显示以及实时取景显示等。
存储器I/F45是进行向记录介质46记录图像数据的控制的记录控制部，而且，该存储器I/F45也从记录介质46读出图像数据。
记录介质46是以非易失的方式存储图像数据的记录部，由能够装卸于例如照相机主体2的存储卡等构成。但是，记录介质46不限于存储卡，也可以是盘状的记录介质，还可以是其他任意的记录介质。因此，记录介质46不必须是摄像装置中固有的结构。
操作部47用于对该摄像装置进行各种操作输入，该操作部47包含用于接通/切断摄像装置的电源的电源按钮、用于指示图像的摄影开始的释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置的设定等的菜单按钮、项目的选择操作所使用十字键和选择项目的确定操作所使用的OK按钮等操作按钮等，所述释放按钮是两段式操作按钮，构成为具有例如第一(first)释放开关和第二(second)释放开关。这里，作为能够使用菜单按钮或十字键、OK按钮等进行设定的项目，包含摄影模式(单拍摄影模式、连续拍摄模式、连拍合成模式等)、记录模式(JPEG记录模式、RAW+JPEG记录模式等)、再现模式等。当对该操作部47进行操作时，将与操作内容对应的信号输出给微型计算机50。
闪存48是以非易失的方式存储由微型计算机50执行的处理程序和该摄像装置的各种信息的存储介质。这里，作为闪存48所存储的信息，举出有例如，图像处理中使用的参数、用于确定摄像装置的型号名称和制造编号、由用户设定的设定值等几个例子。通过微型计算机50读取该闪存48所存储的信息。
微型计算机50控制照相机主体2内的各部分，并且经由接口3向微型计算机15发送指令来控制更换式镜头1，该微型计算机50是统一控制该摄像装置的控制部。当用户从操作部47进行操作输入时，微型计算机50按照在闪存48中存储的处理程序，从闪存48读入处理所需的参数，执行与操作内容对应的各种步骤。
作为控制部的微型计算机50尤其在摄影模式下，也作为使上述的IS单元23进行抖动校正并且使摄像元件22进行摄像来取得一张图像数据的摄像控制部发挥功能。
而且，微型计算机50作为模式设定部发挥功能，该模式设定部能够根据从操作部47进行的设定输入，或者根据基于从闪存48读入的处理程序的自动设定，将摄影模式设定为用于进行由合成处理部32执行的合成的摄影模式即连拍合成模式。
接下来，图2是示出摄像装置中的单拍摄影模式和连续拍摄模式的处理的流程图。该处理(以及，以下的各流程图所示的处理)是根据作为控制部的微型计算机50的控制进行的。
在通过电源按钮接通摄像装置的电源，进行未图示的主例程的处理时，当通过操作部47的操作摄像装置被设定为摄影模式时，执行该处理。
这样，首先，进行初始设定(步骤S1)。在该初始设定中，读入例如摄影模式的种类和图像处理设定等照相机设定。
接着，半按释放按钮，对第一释放开关是否接通进行判定(步骤S2)。
这里，在判定为第一释放开关切断的情况下，等待第一释放开关接通。在等待第一释放开关接通的期间，机械快门21为打开的状态，进行实时取景。
而且，在判定为第一释放开关接通的情况下，根据在实时取景中取得的最新的图像，通过AE处理部28进行测光运算，通过AF处理部2 9进行测距运算，从而计算摄影条件(步骤S3)。
一般来说，为了不受手抖的影响地确认摄影紧前的摄影范围，当第一释放开关变为接通时，驱动IS单元23，校正手抖，来使图像稳定。因此，这里，在第一释放开关变为接通时，通过根据抖动检测单元39的输出来驱动作为抖动校正部的IS单元23，进行抖动校正动作(步骤S4)。由此，能够在排除了手抖的影响的状态下确认摄影范围。
接着，全按释放按钮，判定第二释放开关是否接通(步骤S5)。
这里，在判定为第二释放开关切断的情况下，判定第一释放开关是否变为切断(步骤S6)。
而且，在判定为第一释放开关变为切断的情况下，返回步骤S2进行上述的处理，在判定为第一释放开关依旧接通的情况下，返回步骤S5，等待第二释放开关接通。
这样，在步骤S5中，在判定为第二释放开关接通的情况下，判定摄影模式是单拍摄影模式还是连续拍摄模式(步骤S7)。这里，单拍摄影模式是通过一次摄影动作取得一张静止图像的摄影模式。并且，这里的连续拍摄模式是通过一次摄影动作连续取得多张静止图像的摄影模式，是指不是对取得的多张图像进行合成处理的连拍合成模式的模式(后面参照图6对包含连拍合成模式的情况的处理进行说明)。
这里，在判定为是单拍摄影模式的情况下，通过摄像元件22进行曝光，通过模拟处理部24和A/D转换部25对生成的图像进行处理，并进行在SDRAM27中存储的图像的取入(步骤S8)。另外，这里的曝光一般使用机械快门21进行(但是，可以使用电子快门)，因此，在暂时关闭机械快门21后，将再次使机械快门21进行开闭动作来进行曝光。
并且，在步骤S7中，在判定为是连续拍摄模式的情况下，也是通过摄像元件22进行曝光，通过模拟处理部24和A/D转换部25对生成的图像进行处理，并进行在SDRAM27中存储的图像的取入(步骤S9)。
即使在进行该步骤S8或步骤S9中的曝光的过程中，也根据抖动检测单元39的输出来持续驱动作为抖动校正部的IS单元23，由此校正由曝光中的手抖导致的曝光抖动。
当曝光结束时，作为用于进行下次曝光的准备，进行使处于从初始位置移动后的位置的IS单元23再次返回初始位置的定心处理(步骤S10)。这里的定心处理是在对连拍中的下一张图像进行曝光时，以与前一张图像同样的行程对曝光中的抖动进行校正所需的动作。
而且，微型计算机50在判定连拍是否结束(步骤S11)时判定为没有结束的情况下，根据需要进行摄影条件的变更(步骤S12)，返回步骤S9进行下一张图像的曝光和取入。
在进行了步骤S8的处理的情况下，或者在步骤S11中判定为连拍结束了的情况下，通过图像处理部33对通过单拍摄影取得的一张图像或者通过连续拍摄取得的多张图像进行图像处理(步骤S13)。
而且，经由存储器I/F45将进行图像处理后的图像记录在记录介质46中(步骤S14)，从该处理返回未图示的主处理。
图3是示出单拍摄影或者连续拍摄下的IS单元23的从第一释放开关刚接通后第二释放开关接通直至第一张图像的曝光结束的动作例的图。
由于IS单元23与第一释放开关变为接通同时地开始动作，因此，在第一释放开关变为接通的时刻，IS单元23成为初始位置，位置Po所示的摄像元件22的中心Co与光轴中心(这里，IS单元23的中心O)一致。
在第一释放开关接通的期间，IS单元23被驱动以校正抖动检测单元39检测到的手抖，摄像元件22向抵消手抖的方向移动。
因此，在第二释放开关接通的时刻(即，第一张图像的曝光开始的时刻)的位置P1s所示的摄像元件22的中心C1s一般为从IS单元23的中心O移动后的位置。
即使在第一张图像的曝光中，IS单元23也被继续驱动以校正抖动检测单元39检测到的手抖。
其结果为，第一张图像的曝光结束的时刻的位置P1e所示的摄像元件22的中心C1e为从IS单元23的中心O例如大幅地移动后的位置。
在摄影模式是单拍摄影模式的情况下，此时，摄影结束，通常返回实时取景的状态。
图4是示出连续拍摄下的IS单元23的从第一张图像的曝光结束后到第二张图像的曝光开始的动作例的图。
在连拍时，如上所述，为了以与前一张图像同样的行程校正下一张图像的曝光中的抖动，进行定心处理。因此，在第二张图像的曝光开始的时刻的位置P2s所示的摄像元件22的中心C2s返回作为初始位置的IS单元23的中心O。
图5是示出连续拍摄下的IS单元23的从第二张图像的曝光开始后到第二张图像的曝光结束的动作例的图。
在第二张图像的曝光开始的时刻进行定心处理后，IS单元23被驱动以校正抖动检测单元39检测到的手抖。因此，第二张图像的曝光结束时刻的位置P2e所示的摄像元件22的中心C2e为从IS单元23的中心O移动后的位置。
但是，由于第二张和第二张以后的图像的曝光结束时刻的IS单元23的驱动量不包含第一张图像的曝光结束时刻的IS单元23的驱动量那样的在从第一释放开关接通后到第一张图像曝光开始的期间产生的驱动量，因此，几乎仅是用于校正曝光中的抖动的驱动量。因此，只要比较图5和图3就能够明了：从中心O到中心C2e的距离比从中心O到中心Cle的距离小很多。
接下来，图6是示出摄像装置中的包含连拍合成模式的摄影模式的处理的流程图。
当开始该处理而进行步骤S1至S3的处理时，取得在该摄像装置中设定的摄影模式的信息(步骤S21)。
接着，判定取得的摄影模式是否是连拍合成模式(步骤S22)。
这里，在判定为是连拍合成模式的情况下，在关闭IS单元23的抖动校正后(步骤S23)，并且，在判定为不是连拍合成模式的情况下，在开启IS单元23的抖动校正后(步骤S24)，进行步骤S5至S6的处理。但是，通过步骤S23的处理关闭抖动校正只在到第二释放开关接通为止的期间进行。
这样，在步骤S5中判定为第二释放开关接通的情况下，在步骤S23中关闭抖动校正的情况下再次开启抖动校正后，在步骤S7中，判定摄影模式是单拍摄影模式还是连续拍摄模式。这里判定的连续拍摄模式与图2的处理不同，不仅包含没有伴随图像合成的连续拍摄模式，也包含伴随有图像合成的连拍合成模式。
这里，在判定为是连续拍摄模式的情况下，进行步骤S9至S12的处理，在步骤S11中判定为连拍结束的情况下，判定连续拍摄模式是否是连拍合成模式(步骤S25)。
这里，在判定为是连拍合成模式的情况下，由对位处理部31对取得的多张图像进行相关值运算，由合成处理部32根据计算出的相关值进行图像合成来生成合成图像(步骤S26)。后面参照图7对该合成处理进行说明。
在进行了该步骤S26的处理的情况下，在步骤S25中判定为不是连拍合成模式的情况下，或者在进行了步骤S8的处理的情况下，进行步骤S13和步骤S14的处理，从该处理返回未图示的主处理。
接下来，图7是示出图6的步骤S26中的合成处理的详细内容的流程图。另外，在该图7中示出在某特定的一张图像上合成另外一张图像，之后，在该合成图像上进一步依次合成此外的图像这样进行的处理的例子，但是不限于该处理顺序。
当开始该处理时，首先，选择进行合成处理时的作为基准的图像(基准图像)(步骤S31)。关于该选择，可以在LCD42等上显示图形用户界面(GUI)，让用户进行选择，也可以考虑释放时滞等(即，由于当选择第二张和第二张以后的图像作为基准图像时，在用户进行第二释放操作的时刻无法得到想要的构图的合成图像)，自动地选择连拍的第一张图像作为基准图像。
接着，从除去基准图像的其他连拍图像中，选择最初合成在基准图像上的对象图像(步骤S32)。在该处理中，通常只要通过自动处理按照连拍顺序选择图像即可。
接着，针对选择的基准图像和对象图像，如以下那样进行计算相关值、通过向量运算来计算局部向量和全局向量的处理。这里，作为计算局部向量和全局向量的方法，包含各种方法，这里以一般的基于块匹配的计算方法为例进行说明。
首先，读入作为用于计算相关值的区域的数量的碎片数、作为评价用区域的评价碎片EP的尺寸、作为搜索用区域的搜索碎片SP的尺寸等作为设定值(步骤S33)。
接着，针对基准图像SI，配置作为多个区域的评价碎片EP(步骤S34)。这里，图8是示出在基准图像SI上配置了评价碎片EP的情形的图。如图示那样，评价碎片EP例如隔开一定的间隔地在垂直方向和水平方向上排列在基准图像SI内。
而且，针对对象图像OI，以与基准图像SI的评价碎片EP一一对应的方式配置作为比评价碎片EP尺寸大的区域的搜索碎片SP(步骤S35)。这里，图9是示出在对象图像OI上配置了该搜索碎片SP的情形的图。如图示那样，搜索碎片SP也例如隔开一定的间隔地在垂直方向和水平方向上排列在对象图像OI内。
接着，进行块匹配。即，选择一组位置对应的评价碎片EP和搜索碎片SP。而且，在搜索碎片SP内扫描评价碎片EP，在每个扫描位置计算差值绝对值之和(SAD(Sum of AbsoluteDifference)值)作为相关值(步骤S36)。
而且，设一边扫描一边计算出的多个SAD值内的呈现最小值的评价碎片EP的相关值为最高，将其扫描位置与最初的评价碎片EP的位置之间的向量作为局部向量进行计算(步骤S37)。
然后，判定是否全部处理完位置对应的评价碎片EP和搜索碎片SP的组(步骤S38)。这里，在判定为还没有结束所有组的处理的情况下，返回步骤S36，选择下一个评价碎片EP和搜索碎片SP的组，进行上述那样的处理。因此，对每个作为设定的区域的碎片进行相关值的计算。
这样，在步骤S38中，在判定为所有评价碎片EP和搜索碎片SP的组的处理结束的情况下，计算所有局部向量的向量直方图，将计算出的向量直方图的例如最频向量(但是，不限于最频向量，也可以是平均向量或加权平均向量等)作为全局向量进行计算(步骤S39)。
在通过这样的处理计算局部向量和全局向量的情况下，处理时间和能够计算的向量长度取决于搜索碎片SP的尺寸。因此，也可以是，在计算相关值时，预先缩小基准图像SI和对象图像OI，根据缩小后的基准图像SI和对象图像OI来计算局部向量和全局向量，然后，将计算出的局部向量和全局向量扩大到与缩小前的图像尺寸相当来使用。由此，能够实现缩短处理时间并且实质上扩大没有缩小的图像中的搜索碎片SP的尺寸，在向量长度较长的情况下也能应对。以下，适当地将该没有缩小的图像中的搜索碎片SP的尺寸的最大宽度称作相关值搜索范围。
而且，进行在当前的合成图像上合成对象图像的处理(步骤S40)。该合成处理在例如将对象图像与基准图像对位后进行。这里，关于具体的图像的合成方法，只要使用例如上述日本国特开2012-49603号公报中记载那样的使用得到的局部向量、全局向量进行对位，而合成两张图像的方法等即可(但是，不限于该合成方法)。
然后，判定所有的图像的合成是否结束(步骤S41)，在存在未合成的图像的情况下，返回步骤S32，将下一张未处理图像选作对象图像，然后进行上述那样的处理。
这样，在步骤S41中，在判定为所有的图像的合成结束的情况下，从该处理返回。
根据这样的实施方式1，由于在设定为连拍合成模式的情况下，IS单元23不进行从第一释放开关接通后到第二释放开关接通的期间的实时取景中的抖动校正，因此，能够防止图像合成处理中的合成范围变窄以不让第一张图像与第二张和第二张以后的图像的摄影范围的差异变大，并且抑制画质降低。
并且，由于没有进行第一张图像开始曝光的紧前的定心处理，因此，能够得到用户想要的摄影范围的合成图像。
而且，由于在第二释放开关接通后的曝光中，进行通常的抖动校正，因此，能够抑制连拍中的各图像的曝光中的抖动，并确保合成图像的画质。
而且，在没有设定为连拍合成模式的情况下，能够以减轻抖动的影响的状态来观察从第一释放开关接通后到第二释放开关接通期间的实时取景。
[实施方式2]
图10和图11是示出本发明的实施方式2的图，图10是示出摄像装置中的包含连拍合成模式的摄影模式的处理的流程图。
在该实施方式2中，通过对与上述的实施方式1同样的部分标注相同的标号，适当省略说明，主要仅对不同的点进行说明。
在上述的实施方式1中，在设定为连拍合成模式的情况下，在进行从第一释放开关接通后到第二释放开关接通的进行实时取景的期间，关闭抖动校正，但是在本实施方式中，代替关闭抖动校正，而是限制抖动校正范围。
当开始该处理时，进行步骤S1至S3和步骤S21至S22的处理，在步骤S22中判定为是连拍合成模式的情况下，取得相关值搜索范围(步骤S51)。
通过取得评价碎片EP的尺寸和搜索碎片SP的尺寸决定该相关值搜索范围，如上所述，该相关值搜索范围是为了搜索相关值的最小值而进行评价碎片EP的扫描的搜索碎片SP的尺寸没有缩小的图像中的最大宽度。这里，在连拍中的一张图像的曝光时间较短的情况下，能够缩小相关值搜索范围，在一张图像的曝光时间较长的情况下，为了确保对位的精度，需要增大相关值搜索范围。
而且，根据取得的相关值搜索范围，限制在第一释放开关接通后到第二释放开关接通的期间的实时取景中进行的抖动校正范围(步骤S52)。即，在通常的抖动校正中，IS单元23的可动范围(全行程)作为能够进行抖动校正的范围，而与此不同，在设定为本实施方式中的连拍合成模式的情况下的第一释放开关接通后的实时取景时，将作为能够在后段进行的合成处理中进行对位的偏移量的相关值搜索范围作为抖动校正范围。
在进行了步骤S52情况下，在被限制的抖动校正范围内，进行抖动校正，并且，在步骤S22中判定为不是连拍合成模式的情况下，在通常的抖动校正范围内，进行抖动校正(步骤S53)。因此，在连拍合成模式的情况下，即使产生超过被限制的抖动校正范围的抖动，也不会进行追随该抖动的抖动校正。
然后，与上述的图6同样地进行包含步骤S25和步骤S26的步骤S5至S14的处理(因此，在曝光各图像的过程中，进行通常的抖动校正范围内的抖动校正)，从该处理返回未图示的主处理。
图11是示出在设定为连拍合成模式的情况下，第一释放开关接通后的实时取景时的IS单元23中的被限制的抖动校正范围的图。
根据在计算相关值时在搜索碎片SP内扫描评价碎片EP的范围即搜索范围SR，限制IS单元23中摄像元件22能够移动的抖动校正范围。即，被制限的抖动校正范围LA是中心与IS单元23的中心O一致的摄像元件22能够在水平左右方向上以搜索范围SR为上限进行移动，并且能够在垂直上下方向以搜索范围SR为上限进行移动的范围。
通过以仅在这样的被限制的抖动校正范围LA内追随抖动的方式进行控制，从第一释放开关接通后到第二释放开关接通的期间的IS单元23的驱动量收敛于能够计算局部向量和全局向量的范围内，因此，能够同时实现抖动校正和图像合成。
另外，这里，示出了传感器移位方式下的IS单元23的被限制的抖动校正范围的例子，在镜头移位方式的情况下，也只要同样地限制抖动校正范围即可。
根据这样的实施方式2，实现了与上述的实施方式1几乎同样的效果，并且IS单元23根据对位处理部31的相关值搜索范围，限制连拍合成模式下的实时取景中的抖动校正范围，因此，能够以某种程度减轻了抖动的影响的状态，观察从第一释放开关接通后到第二释放开关接通的期间的实时取景。
并且，如上所述，由于相关值搜索范围的大小根据连拍中的一张图像的曝光时间而改变，因此，也能够构成为：用户根据例如一张图像的曝光时间的设定值来切换IS单元23的设定，手动限制抖动校正范围。与此相对地，根据本实施方式的结构，自动取得相关值搜索范围来自动限制抖动校正范围，因此，具有这样的不需要麻烦用户的优点。
另外，在上述内容中主要对摄像装置进行了说明，但也可以是进行与摄像装置同样的处理的图像处理方法，还可以是用于使计算机进行与摄像装置同样的处理的处理程序、能够通过记录该处理程序的计算机读取的非暂时记录的记录介质等。
Claims (4)
1.一种摄像装置，其具有合成连拍得到的多张图像数据来生成一张合成图像数据的功能，该摄像装置的特征在于，具有：
抖动检测部，其检测所述摄像装置的运动的大小作为抖动量；
抖动校正部，其根据由所述抖动检测部检测到的抖动量，将镜头和摄像元件中的至少一方作为驱动对象进行驱动，由此校正曝光中的抖动；
相关值运算部，其对连拍得到的所述多张图像数据内的任意两张图像数据，使用各自规定的区域内的图像数据来计算相关值；
合成处理部，其根据所述相关值进行所述两张图像数据的对位，并合成该两张图像数据；以及
模式设定部，其能够设定连拍合成模式，该连拍合成模式是用于进行由所述合成处理部执行的合成的摄影模式，
在设定为所述连拍合成模式的情况下，所述抖动校正部限制实时取景中的抖动校正范围。
2.根据权利要求1所述的摄像装置，其特征在于，
在设定为所述连拍合成模式的情况下，所述抖动校正部不进行实时取景中的抖动校正。
3.根据权利要求1所述的摄像装置，其特征在于，
所述抖动校正部根据所述相关值运算部的相关值搜索范围，限制所述实时取景中的抖动校正范围。
4.一种图像处理方法，能够合成连拍得到的多张图像数据来生成一张合成图像数据，该图像处理方法的特征在于，在该图像处理方法中具有如下步骤：
第一步骤，根据检测摄像装置的运动的大小而得到的抖动量，将镜头和摄像元件中的至少一方作为驱动对象进行驱动，由此校正曝光中的抖动；
第二步骤，对连拍得到的所述多张图像数据内的任意两张图像数据，使用各自规定的区域内的图像数据来计算相关值；
第三步骤，根据所述相关值进行所述两张图像数据的对位，合成该两张图像数据；以及
第四步骤，能够设定连拍合成模式，该连拍合成模式是用于进行所述第三步骤中执行的合成的摄影模式，
在第四步骤中设定为所述连拍合成模式的情况下，在所述第一步骤中，限制实时取景中的抖动校正范围。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139928A JP6495126B2 (ja) | 2015-07-13 | 2015-07-13 | 撮像装置、画像処理方法 |
| JP2015-139928 | 2015-07-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106357968A CN106357968A (zh) | 2017-01-25 |
| CN106357968B true CN106357968B (zh) | 2019-06-28 |
Family
ID=57775252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610523284.1A Active CN106357968B (zh) | 2015-07-13 | 2016-07-05 | 摄像装置、图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9996907B2 (zh) |
| JP (1) | JP6495126B2 (zh) |
| CN (1) | CN106357968B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6495126B2 (ja) * | 2015-07-13 | 2019-04-03 | オリンパス株式会社 | 撮像装置、画像処理方法 |
| US10554892B2 (en) * | 2017-06-30 | 2020-02-04 | Microsoft Technology Licensing, Llc | Configuring image stabilization for still image generation |
| WO2019131930A1 (ja) * | 2017-12-27 | 2019-07-04 | 富士フイルム株式会社 | 像ぶれ補正装置、撮像装置、像ぶれ補正方法、及び像ぶれ補正プログラム |
| CN109729274B (zh) * | 2019-01-30 | 2021-03-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN109951641B (zh) * | 2019-03-26 | 2021-02-26 | Oppo广东移动通信有限公司 | 图像拍摄方法和装置、电子设备、计算机可读存储介质 |
| CN110177223B (zh) * | 2019-06-28 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| US20240114251A1 (en) * | 2019-10-07 | 2024-04-04 | Morpho, Inc. | Server device and program |
| KR20210053377A (ko) * | 2019-11-01 | 2021-05-12 | 삼성전자주식회사 | 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 |
| JP2021118466A (ja) * | 2020-01-28 | 2021-08-10 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP2021173826A (ja) * | 2020-04-22 | 2021-11-01 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、およびプログラム |
| CN113992861B (zh) * | 2020-07-27 | 2023-07-21 | 虹软科技股份有限公司 | 一种图像处理方法及图像处理装置 |
| CN113596294A (zh) * | 2021-07-08 | 2021-11-02 | 维沃移动通信（杭州）有限公司 | 拍摄方法、装置和电子设备 |
| CN113676659B (zh) * | 2021-08-11 | 2023-05-26 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及计算机可读存储介质 |
| CN113873147A (zh) * | 2021-09-13 | 2021-12-31 | 维沃移动通信（杭州）有限公司 | 视频录制方法、装置及电子设备 |
| CN114166065B (zh) * | 2021-12-08 | 2024-01-30 | 合肥英睿系统技术有限公司 | 一种枪瞄设备十字分划校准方法及相关装置 |
| CN115361502A (zh) * | 2022-08-26 | 2022-11-18 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106357968A (zh) * | 2015-07-13 | 2017-01-25 | 奥林巴斯株式会社 | 摄像装置、图像处理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10133245A (ja) * | 1996-10-31 | 1998-05-22 | Nikon Corp | ブレ補正装置 |
| JP3788714B2 (ja) * | 2000-02-14 | 2006-06-21 | 株式会社リコー | 撮像装置及びデジタルカメラ |
| JP4306438B2 (ja) * | 2003-12-12 | 2009-08-05 | 株式会社ニコン | 撮像装置 |
| JP4471364B2 (ja) | 2004-09-15 | 2010-06-02 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
| US7714892B2 (en) * | 2006-11-08 | 2010-05-11 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems, devices and methods for digital camera image stabilization |
| JP5228334B2 (ja) * | 2007-02-16 | 2013-07-03 | 株式会社ニコン | 振れ補正装置、レンズ鏡筒、カメラボディ、およびカメラシステム |
| EP1959677B1 (en) * | 2007-02-16 | 2019-09-04 | Nikon Corporation | Camera system and camera body |
| JP2008236289A (ja) * | 2007-03-20 | 2008-10-02 | Sanyo Electric Co Ltd | 撮像装置 |
| JP5407547B2 (ja) * | 2009-05-20 | 2014-02-05 | リコーイメージング株式会社 | 撮像装置 |
| JP2012049603A (ja) | 2010-08-24 | 2012-03-08 | Olympus Corp | 画像処理装置および画像処理プログラム |
| US20130107066A1 (en) * | 2011-10-27 | 2013-05-02 | Qualcomm Incorporated | Sensor aided video stabilization |
| JP5536010B2 (ja) * | 2011-11-02 | 2014-07-02 | カシオ計算機株式会社 | 電子カメラ、撮像制御プログラム及び撮像制御方法 |
-
2015
- 2015-07-13 JP JP2015139928A patent/JP6495126B2/ja active Active
-
2016
- 2016-03-31 US US15/086,790 patent/US9996907B2/en active Active
- 2016-07-05 CN CN201610523284.1A patent/CN106357968B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106357968A (zh) * | 2015-07-13 | 2017-01-25 | 奥林巴斯株式会社 | 摄像装置、图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6495126B2 (ja) | 2019-04-03 |
| US9996907B2 (en) | 2018-06-12 |
| US20170019612A1 (en) | 2017-01-19 |
| CN106357968A (zh) | 2017-01-25 |
| JP2017021250A (ja) | 2017-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106357968B (zh) | 摄像装置、图像处理方法 | |
| US9473698B2 (en) | Imaging device and imaging method | |
| KR100799215B1 (ko) | 카메라 | |
| US8106995B2 (en) | Image-taking method and apparatus | |
| US7509042B2 (en) | Digital camera, image capture method, and image capture control program | |
| CN102833471B (zh) | 摄像装置和摄像方法 | |
| US9807293B2 (en) | Imaging device capable of combing a plurality of image data, and control method for imaging device | |
| JP5347707B2 (ja) | 撮像装置および撮像方法 | |
| US7710458B2 (en) | Image pick-up apparatus with a shake reducing function | |
| US8169489B2 (en) | Multi view imaging device and method for correcting image blur | |
| US20040061796A1 (en) | Image capturing apparatus | |
| JP6325841B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
| US20040179131A1 (en) | Image capturing apparatus and exposure setting method thereof | |
| US20040212696A1 (en) | Digital camera with adjustment of color image signal and an imaging control method therefor | |
| US20060055991A1 (en) | Image capture apparatus and image capture method | |
| US7697043B2 (en) | Apparatus for compensating for color shading on a picture picked up by a solid-state image sensor over a broad dynamic range | |
| JP2007116372A (ja) | デジタルカメラ | |
| JP2008017198A (ja) | 光源色算出装置、光源色算出方法及び撮影装置 | |
| JP4649734B2 (ja) | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 | |
| US8373766B2 (en) | Image shooting device and image shooting method | |
| CN101403846B (zh) | 摄影装置和摄影装置的控制方法 | |
| JP2006074710A (ja) | デジタルカメラ及びカメラシステム | |
| JP2019068342A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| JP4378629B2 (ja) | オートホワイトバランス調整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211210 Address after: Tokyo, Japan Patentee after: Aozhixin Digital Technology Co.,Ltd. Address before: Tokyo, Japan Patentee before: OLYMPUS Corp. |