CN101527792A - 图像合成装置及摄像装置 - Google Patents

图像合成装置及摄像装置 Download PDF

Info

Publication number
CN101527792A
CN101527792A CN200910118582.2A CN200910118582A CN101527792A CN 101527792 A CN101527792 A CN 101527792A CN 200910118582 A CN200910118582 A CN 200910118582A CN 101527792 A CN101527792 A CN 101527792A
Authority
CN
China
Prior art keywords
image
brightness adjustment
brightness
accumulated
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910118582.2A
Other languages
English (en)
Inventor
阿部好人
喜多一记
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101527792A publication Critical patent/CN101527792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种图像合成装置和摄像装置，用户可得到所希望亮度的图像，使用性好。公开的是一种数码相机，具备：图像加法器(5d)，合成与存储在存储卡中的连续拍摄对象有关的多个图像帧，并生成累加图像；图像处理模块(5)，执行图像亮度调整处理，以调整该累加图像的亮度；以及显示模块，在图像亮度调整处理中，显示由图像加法器(5d)合成过程中的图像。

Description

图像合成装置及摄像装置
技术领域
本发明涉及一种图像合成装置及摄像装置，合成由连续拍摄对象而生成的多个图像帧，并生成累加图像。
背景技术
以往，数码相机等摄像装置，利用光学透镜将对象的光学图像成像，并利用CMOS型图像传感器等摄像元件，将光学图像转换为电信号。
然而，作为拍摄暗处的方法，已知一种方法，以对手抖动影响小的曝光时间连续拍摄对象，在校正这些多个图像的运动的同时将这些图像相加，从而生成一个图像。(例如，参考专利文献1)。
【专利文献1】日本专利申请公开特许公报No.2000-224470。
但是，在所述专利文献1的情况下，存在这样的问题，预先将规定数量一起连续拍摄，随后由于将所得到的图像数据全部合成，因此不能得到用户所希望亮度的图像。
发明内容
因此，本发明的课题是提供一种用户可得到所希望亮度的图像的、使用性极佳的图像合成装置及摄像装置。
在第一发明中记载的发明的图像合成装置，其特性在于，具备：图像帧存储单元，存储由连续拍摄对象而生成的多个图像帧；图像合成单元，合成被存储在所述图像帧存储单元中的所述多个图像帧，并生成累加图像；图像亮度调整单元，由所述图像合成单元合成所述图像帧，并执行图像亮度调整处理，以调整所述累加图像的亮度；以及中途图像显示单元，在由所述图像亮度调整单元执行的所述图像亮度调整处理中，显示所述图像合成单元合成过程中的图像。
根据本发明，能够提供一种图像合成装置，其使用性极佳，用户能够得知在图像合成中当前处于何种状态，并且能够将多个图像帧合成到用户喜好的亮度为止。
附图说明
图1是示出应用本发明的第一实施方式的数码相机的概略结构的框图。
图2是示出图1中的数码相机具备的图像处理模块的主要部分结构的框图。
图3是示意地示出与图2的图像处理模块的色调调整处理有关的色调曲线的图。
图4是示出图1中的数码相机的累加数量与输出图像的亮度之间的对应关系的图。
图5是示出与图1中的数码相机的色调调整处理有关的色调校正参数与累加数量的对应关系的一例的图。
图6A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图6B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图7A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图7B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图8A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图8B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图9A是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图9B是示意地示出与图2中的图像处理模块的图像亮度调整处理有关的图像的图。
图10A是示意地示出与图2中的图像处理模块的降噪处理有关的图像的图。
图10B是示意地示出与图2中的图像处理模块的降噪处理有关的图像的图。
图11是示出与图1中的数码相机的图像合成处理有关的操作的一例的流程图。
图12是继续示出图11中的图像合成处理的流程图。
图13是继续示出图12中的图像合成处理的流程图。
图14是示意地示出与图11中的图像合成处理有关的操作菜单表的图。
图15是示出应用本发明的第二实施例的数码相机具备的存储器主要部分结构的框图。
图16是示意地示出与图15中的数码相机的图像合成处理有关的图像帧的累加数量、与累加图像的显示时间之间的对应关系的图。
图17是示出与图15中的数码相机的图像合成处理有关的操作的一例的流程图。
符号说明
100  数码相机(图像合成装置、摄像装置)
2    图像传感器(连续摄像单元)
4    显示模块(中途图像显示单元)
5    图像处理模块(图像亮度调整单元，降噪单元)
5d   图像加法器(图像合成单元)
6    快门(摄像操作输入部)
M  存储卡(图像帧存储单元)
具体实施方式
以下，使用附图来说明本发明的具体实施例。但是，发明的范围不限于图示例。
【第一实施例】
图1是示出应用本发明的第一实施例的数码相机100的概要结构的框图。
第一实施例的数码相机(摄像装置)100在由用户按下快门6操作的期间，合成图像帧来执行图像亮度调整处理，以调整累加图像的亮度，并且在显示模块4上显示以规定数量累加图像帧的合成过程中的累加图像。
具体而言，数码相机100包括光学透镜器件1、图像传感器2、存储器3、显示模块4、图像处理模块5、快门6、模式键7、计算机IF部8、外部存储IF设备9、程序代码存储模块10和CPU 11等。
快门6是基于由用户的按下操作，向CPU 11输出对象的摄像指令。
就是说，快门6是用于构成在连续摄像模式中基于用户的按下操作，向/从CPU 11输出/输入使用光学透镜器件1和图像传感器2等的拍摄对象的操作指令的摄像操作输入部。
模式键7由转盘(dial)等构成，该转盘用于基于用户的操作来选择操作模式。更具体而言，模式键7能够选择单一摄像模式、连续摄像模式、或重放模式等。
光学透镜器件1包括摄像透镜部及其驱动部，光学透镜器件1收集由对象反射的光并在图像传感器2上形成图像。
图像传感器2包括CCD等，用于捕获形成的图像，作为数字化的图像数据。
另外，图像传感器2由CPU 11控制，当用户没有按下快门6时，生成预览用的曝光时间短的高速帧(数字图像数据)，周期性地以每秒约30幅的间隔读取该图像数据并输出到存储器3。而后，如果用户按下快门6，图像传感器2就生成高分辨率的图像数据，并将该图像数据输出到存储器3。
而且，图像传感器2在CPU 11的控制下，可以根据对象的亮度调整摄像灵敏度(ISO灵敏度)。
另外，图像传感器2在连续摄像模式中，在用户按下快门6操作的期间，连续执行多次短时间曝光，从而连续拍摄对象，并输出多个图像帧。
存储器3暂时存储从图像传感器2输出的预览用的图像数据、高分辨率的图像数据、或者由图像处理模块5进行图像处理的原始图像数据、处理后的图像数据。另外，存储器3将暂时存储的图像数据输出到显示模块4或者图像处理模块5。
另外，存储器3还用作CPU 11的工作用存储器。
显示模块4包括显示图像的液晶监视器，在CPU11的控制下，显示暂时存储在存储器3中的预览图像或高分辨率的真实摄像图像。
图像处理模块5在CPU11的控制下驱动，对暂时存储在存储器3中的图像数据进行图像数据的压缩处理，或是对存储在存储卡M中的图像数据进行图像合成处理等。
当数码相机100连接到计算机(未图示)时，计算机IF部8起到USB存储类驱动器的作用。据此，连接到数码相机100的计算机将存储卡M作为计算机的外部存储设备进行管理。
在外部存储IF设备9与存储卡M之间，进行图像数据等的输入/输出。
存储卡M作为外部存储设备，存储从外部存储IF设备9所输出的图像数据等。
程序代码存储模块10由ROM或闪存等构成，存储由CPU 11执行的程序。
CPU 11根据存储在程序代码存储模块10中的程序，总体上控制整个系统。
更具体而言，如果输入基于用户对快门6的规定操作所输出的操作信息，CPU 11就基于该操作信息，控制图像传感器2、存储器3、显示模块4、图像处理模块5等，并执行图像的摄像处理和图像合成处理。另外，CPU 11通过外部存储IF设备9使以JPEG格式压缩了的高分辨率的图像数据记录在存储卡M中，并进行从存储卡M读取图像数据的控制。
接下来，参考图2详细说明利用图像处理模块5的图像合成处理。
图像合成处理是在连续拍摄模式中由图像传感器2连续拍摄对象后，将存储在存储卡M中的多个图像帧合成的处理。
如图2所示，图像处理模块5包括参考图像存储部5a、运动检测器5b、运动校正器5c、图像加法器5d、中断电路5e、累加图像存储部5f、选择电路5g、图像尺寸调整部5h、图像亮度信息检测器5i、存储部5j、反相电路5k、累加数量计数器5l、合成参数计算器5m、亮度最大值固定数值存储部5n、亮度调整器5p、色调校正器5q、屏上电路5s、图像压缩器5t等。
参考图像存储部5a将在存储卡M中存储的多个图像帧之中被指定并被读取的图像帧作为参考图像来存储。
另外，参考图像存储部5a将所存储的参考图像输出到运动检测器5b。更具体而言，在输入从CPU 11输出的参考图像获取信号的期间，参考图像存储部5a输出与输入图像相同的图像作为参考图像。
运动检测器5b比较判定参考图像与对象图像来检测运动，其中，参考图像从参考图像存储部5a输出并输入，对象图像从存储卡M中新读取。就是说，运动检测器5b在连续摄像模式下，将第一个参考图像作为用于检测第二个及随后图像的运动量的标准图像，与对象图像进行比较判定来检测运动。
例如，当输出与从参考图像存储部5a输入的图像相同的图像时，该输出图像与从存储卡读取的对象图像相同，运动检测器5b将运动校正H输出为没有运动。
运动校正器5c执行从存储卡M读取的图像的运动校正H，并输出校正图像。而且，由于在第一个图像的情况下无需运动校正，因此运动校正器5c就将输入的图像按其原样输出到图像加法器5d，作为校正图像信号。
图像加法器5d将从存储卡M读取的多个图像帧相加(合成)而生成累加图像。就是说，图像加法器5d将校正图像信号与累加图像相加，其中，该校正图像信号是在连续摄像模式(稍后说明)中从运动校正器5c输出并输入的，该累加图像是从累加图像存储装置输出并经由中断电路5e输入的。
在此，当参考图像获取信号输入到中断电路5e的控制端时，输入到中断电路5e的信号被中断，并输出“0”，因此，图像加法器5d将从运动校正器5c输出并输入的图像数据原样输出到累加图像存储部5f。
累加图像存储部5f存储从图像加法器5d输出并输入的图像数据。
另外，累加图像存储部5f将存储的图像数据(累加图像)输出到选择电路5g及中断电路5e。
选择电路5g基于从CPU 11输出并输入的合成信号，切换输入从图像传感器2输出的信号与从累加图像存储部5f输出的信号。更具体而言，选择电路5g当合成信号是“0”时，选择从图像传感器2输出的信号输入，另一方面，当合成信号是“1”时，选择从累加图像存储部5f输出的信号输入。
而后，选择电路5g将输入的信号输出到图像尺寸调整部5h和图像亮度信息检测器5i。
图像尺寸调整部5h基于从CPU 11输出并输入的图像尺寸调整信号，改变从选择电路5g输出并输入的图像尺寸。图像尺寸调整部5h将图像尺寸设定并改变为预览图像用的最小图像尺寸(QVGA尺寸)，或者真实拍摄图像用的最大图像尺寸等。
另外，图像尺寸调整部5h将尺寸调整后的图像输出到亮度调整器5p。
图像亮度信息检测器5i基于输入图像，检测图像的亮度信息。更具体而言，图像亮度信息检测器5i基于输入图像信号进行亮度转换，选择用于测量图像的亮度的测光区域部分(图像中心部分等)来制成直方图。另外，当依次输入图像数据时，直方图测量通过输入图像中心部分的图像数据来进行。
而后，图像亮度信息检测器5i基于所测量的直方图，检测图像的亮度分布，并将该亮度分布作为图像亮度信息输出到合成参数计算器5m和存储部5j。
存储部5j基于从反相电路5k输出的反相信号“1”的输入，存储从图像亮度信息检测器5i输出并输入的图像亮度信息。
累加数量计数器5l基于从CPU 11输出并输入的图像相加信号，对累加数量进行计数(计测)并将计数值加“1”，所述累加数量是累加(合成)的图像帧的数量。
另外，当合成信号是“0”时，该信号由反相电路5k反相为“1”后，通过输入到清零信号端，累加数量计数器5l将计数值清零(为“0”)。
而后，累加数量计数器5l将累加数量输出到合成参数计算器5m。
每当输入从图像亮度信息检测器5i输出的图像亮度信息，合成参数计算器5m就基于该图像亮度信息，由直方图的平均值进行输出图像的亮度的增益调整。
而后，合成参数计算器5m将所计算的亮度增益作为亮度调整参数，输出到亮度调整器5p。
另外，合成参数计算器5m基于从图像亮度信息检测器5i输出并输入的累加图像的图像亮度信息，计算色调校正器5q使用的色调校正参数。具体地，合成参数计算器5m计算色调校正参数，使得亮度等于或低于规定的亮度，直到累加图像达到规定的S/N值为止，并且使得随着累加数量的增加，图像的黑暗部分变得越来越亮。
就是说，合成参数计算器5m计算色调校正参数，例如在通过用户的指令持续图像亮度调整的期间，使色调曲线成为直线(图3中的实线)，在通过用户的指令变化为降噪处理后，为了调整黑暗部分的扩展量，使色调曲线变化为使图像的黑暗部分变得更亮那样的曲线(图3中的虚线)。
亮度调整器5p基于在合成参数计算器5m中计算的亮度增益(亮度调整参数)调整输入图像的亮度，并输出到色调校正器5q和图像压缩器5t。
而且，即使输入规定级别以上的亮度的图像，亮度调整器5p也输入1以下的数作为亮度调整参数，调整到适当的亮度。
色调校正器5q基于在合成参数计算器5m中计算的色调校正参数，改变色调曲线，调整输入图像的色调，并输出到屏上电路5s。
就是说，色调校正器5q执行色调调整处理来调整累加图像的色调。更具体而言，色调校正器5q在图像亮度调整处理中，在由用户按下快门6操作的前后，通过改变色调校正参数γ，使色调调整处理变得不同。例如，在通过用户的指令变化为降噪处理时，色调校正器5q使色调曲线变化为使图像的黑暗部分变得更亮那样的曲线(图3中的虚线)，从而调整黑暗部分的扩展量。
为了色调曲线的调整，应用使用了由以下式(1)获得的γ的γ校正，并由该γ校正，对输入到以下式(2)的像素值x进行变换，而作为y输出。
【式1】
Figure A20091011858200101
【式2】
y＝xmax×(x/xmax)1/γ
在此，k是降噪处理中的累加数量。另外，符号a是从0到3的常数，符号0表示“没有变化”，且数值越大，每个累加数量平均的黑暗部分的扩展量的变化量越大。
而且，输入像素值x大于等于0，并小于等于最大值xmax。另外，最大值xmax通过由存储在亮度最大固定数值存储部5n中的数值乘以累加数量来获得。
在此，参考图4及图5更详细地说明输出图像的亮度(平均亮度L)、亮度调整参数G及色调校正参数γ之间的对应关系。
图4是示出在数码相机中图像合成时的累加数量(N)与根据其累加数量而输出的图像的亮度(平均亮度L)之间对应关系的曲线图。
如图4所示，进行图像亮度调整处理，根据累加(合成)数量，使整个图像逐渐变亮，直到输出图像获得用户希望的亮度为止，而在用户判断“增加亮度已经够了”，并指示出其旨意后，转换到降噪处理，明亮部分不再变亮，从而图像不产生白屏(溢出)，而仅是黑暗部分变亮。
在此，如果黑暗部分变得过亮，则整个图像的对比度就降低，因此，当进一步增加累加数量时，控制使输出图像的亮度变为基本上恒定并输出。
接下来，将参考图5来说明由色调校正控制输出图像的亮度的情况。
如图5所示，通过图像亮度调整处理使色调校正参数γ值是1.0，并且恒定，直到达到用户希望的亮度为止，在达到了用户希望的亮度后，转换到降噪处理，使γ逐渐增大，黑暗部分变亮。而后，如果γ数值达到规定的指定值，就设定为常数。
据此，如图4所示，不改变色调而只能够改变输出图像的亮度，直到达到用户希望的亮度为止，在达到用户希望的亮度后，将增益设定为基本上恒定的同时，增大色调校正参数γ，从而可以进行校正，在保持明亮部分的亮度的同时，使得黑暗部分变亮。如果进一步增大累加数量，则色调校正参数γ值变为基本恒定，此后输出基本恒定的亮度的图像。
屏上电路5s基于从CPU 11输出并输入的屏上控制信号，输出第一个图像帧或合成处理后的累加图像。
图像压缩器5t基于从CPU 11输出并输入的压缩控制信号，执行图像压缩处理，将从色调校正器5q输出并输入的合成后的图像压缩为JPEG图像。
另外，图像压缩器5t将合成后的图像压缩为JPEG图像，并作为压缩图像信号输出到存储器3中的输出图像区。
根据用户按下快门6的操作，所述结构的图像处理模块5执行图像亮度调整处理，在该处理中，利用图像加法器5d将读取的连续拍摄图像的图像帧进行累加，并且调整累加图像的亮度，以便获得规定的S/N值。更具体而言，图像处理模块5在图像亮度调整处理中，在由用户按下快门6的操作的前后，改变亮度调整参数G，从而改变图像亮度调整处理。
进而，在图像亮度调整处理中，如果用户按下快门6操作，图像处理模块5就执行降噪处理，在该处理中，由图像加法器5d将图像帧进一步加到图像亮度调整处理后的累加图像上，从而降低累加图像的噪声N。据此，使图像帧的累加数量增加，并可以进一步提高累加图像的S/N值。
接下来，说明在利用图像处理模块5的图像合成时，显示在显示模块4上的图像的显示状态。
显示模块4在图像亮度调整处理时，顺序地显示由图像加法器5d的合成过程中的图像。更具体而言，如图6(a)到图9(b)所示，在显示模块4上顺序地显示在图像亮度调整处理中逐渐变亮的累加图像。
在此，图6(a)显示一个图像帧的图像，图6(b)显示两个图像帧相加的图像，图7(a)显示三个图像相加的图像，图7(b)显示四个图像帧相加的图像，图8(a)显示五个图像帧相加的图像，图8(b)显示六个图像帧相加的图像，图9(a)显示七个图像相加的图像，图9(b)显示八个图像帧相加的图像。
而且，在图6(a)到图9(b)中，随着图像上的点数越多，显示图像越暗。
另外，显示模块4显示由图像处理模块5的降噪处理后的图像。据此，如图10(a)及10(b)所示，在显示模块4上，通过增加图像帧的累加数量，图像的亮度本身(人物的背景的点数)与图9(b)中所示的状态没有发生改变，但显示了随机噪声N逐渐减小的清晰图像，尤其是与背景相比改善了明亮的人物部分的S/N值的图像。
在此，图10(a)显示在图9(b)的累加图像上进一步累加图像帧的图像，图10(b)显示在图10(a)中的累加图像上进一步累加以上那些图像帧的图像。
接下来，将参考图11到图14来详细说明图像合成处理。
在此，图11到图13是与图像合成处理有关的操作的一个实例的流程图。
而且，以下说明的图像合成处理是在连续摄像模式下，由图像传感器2连续拍摄对象后，在存储卡M中存储多个图像帧的处理。
如图11所示，在通电后，如果基于由用户对模式键7的规定操作而选择指示重放模式，显示模块4就在CPU11的控制下，显示从存储卡M中读取的图像(步骤S1)
而后，如果由用户操作菜单按钮，在显示模块4中显示的图像是连续拍摄的图像时(步骤S2：是)，显示模块4就在CPU11的控制下，在菜单中屏上显示“增强模式”(步骤S3)。
基于用户的规定操作，如果选择指示“增强模式”(步骤S4：是)，CPU11就将图像处理模块5、显示模块4等设定为初始状态(步骤S5)。
接下来，CPU11将用于控制图像处理模块5的各种信号设定为连续摄像的初始状态，不同于单一摄像操作，使屏上控制信号为“有效”(步骤S6)。
而后，CPU11将真实图像/累加图像切换信号设定为累加图像(步骤S7)。
如图12所示，随后，CPU 11基于合成信号判断是否在图像合成中(步骤S8)。在此，因为在初始状态下合成信号为“0”，所以CPU 11判定未在合成中(步骤S8；否)。
接下来，判断用户是否进行按下快门6操作(步骤S9)。而后，如果由用户按下快门6(步骤S9；是)，CPU 11就将合成信号设为“1”来设定成为图像合成中的状态(步骤S10)。
接着，CPU 11将图像处理模块5的参考图像获取信号输出到参考图像存储部5a(步骤S11)。
接着，CPU 11生成图像累加信号，输出到累加数量计数器5l(步骤S12)。
在此，因为合成信号是“1”，该信号被反相电路5k反转为“0”，而输入到累加数量计数器5l的清零信号端，所以，取消了计数器数值的清零控制。因此，累加数量计数器5l通过图像累加信号的输入，将计数值加“1”，从而累加数量变为“1”。
随后，在CPU的控制下，参考图像存储器5a获取并存储与显示在显示模块4中的图像有关的第一个图像帧(步骤S13)。
接着，CPU11基于累加数量信号，判定输入到图像处理模块5的图像帧是否是第一个图像帧(步骤S14)。
在此，如果判定输入的图像帧是第一个图像帧(步骤S14：是)，CPU11就判定是否有用户对模式键7的操作(步骤S15)。
在此，如果判定没有操作模式键7(步骤S15：否)，就转换到步骤S8。
在步骤S8中，因为合成信号为“1”，CPU11就判定在图像合成中(步骤S8：是)。
接下来，CPU 11判断用户是否按下快门6操作(步骤S16)。在此，当用户进行按下快门6操作时(步骤S16；是)，CPU11取消参考图像获取信号的输出(步骤S17)。据此，不在参考图像存储部5a中存储第二个图像以后的图像，并保持保存了第一个图像的状态。
随后，转换到步骤S12，CPU 11生成图像累加信号，在将合成数量加“1”后，在步骤S13中，从存储在存储卡M中的多个图像帧之中，读取第二个图像帧作为对象图像。
接着，在步骤S14中，判定为输入的图像帧不是第一个图像帧后(步骤S14：否)，图像处理模块5由运动检测器5b检测第二个图像帧和第一个图像帧的运动量，根据其运动校正量用运动校正器5c进行校正，并用图像累加器5d将校正图像与第一个图像帧合成(累加)(步骤S18)。合成了的图像存储在累加图像存储器5f中。
也就是说，图像处理模块5每当读取对象图像时，就由运动检测器5b检测该对象图像和第一个图像的运动量，根据其运动校正量用运动校正器5c进行校正，将其校正图像与存储在累加图像存储部5f中的图像相加。据此，在根据运动量校正合成位置的同时，可以将第二个图像以后的图像彼此叠加，因此，即使将手持拍摄而产生了手抖动后的图像合成，也能够累加没有抖动的图像，并且进行图像合成。
随后，图像处理模块5在CPU 11的控制下，执行累加图像的显影处理。这时，因为屏上控制信号为“有效”，所以屏上电路5s输出累加图像。
而后，CPU11控制显示模块4，读取存储器3中的累加图像显示区域，使累加图像显示在显示模块4上(步骤S19；参照图6(a))。
只要用户按下快门6操作(步骤S16；是)就重复执行以上动作。
就是说，通过执行图像亮度调整处理，顺序地累加图像帧，从而合成亮度逐渐增大的累加图像(参照图6(a)到9(b))。
在执行图像亮度调整处理中，如果用户判定图像已经达到足够亮，结果取消用户按下快门6的操作(步骤S16；否)，那么CPU11就将操作菜单表(参照图14)显示在显示模块4上(步骤S20)。
接着，从显示在操作菜单表的“1；变得更亮”、“2；在该亮度上更清晰”、“3；保存该图像”之中，根据由用户选择指示的菜单进行分支(步骤S21)。
在此，如果用户选择指示“1；变得更亮”，CPU11就设定图像处理模块5或显示模块4(步骤S22)，以便能够执行图像亮度调整处理。随后，如果用户进行按下快门6操作(步骤S23；是)，通过执行图像亮度调整处理，顺序地累加图像帧而合成累加图像(参照图6(a)到图9(b))。
另外，在步骤S21中，如果用户选择指示“2；在该亮度上更清晰”，CPU11就设定图像处理模块5和显示模块4(步骤S24)，以便能够执行降噪处理。随后，如果用户进行按下快门6操作(步骤S23；是)，通过执行降噪处理，进一步累加图像帧，从而合成随机噪声N逐渐减少的清晰的图像(参照图10(a)及图10(b))。
另一方面，用户判断累加图像已成为希望的亮度，在步骤S21中，如果用户决定选择指示“3；保存该图像”，CPU 11就将图像调整尺寸改变为累加图像的图像尺寸后(步骤S25)，控制图像处理模块5，读取存储在图像加法器5d中的累加图像，并进行该图像的显影处理(步骤S26)。具体的，所读取的累加图像经由选择电路5g，输出到图像尺寸调整部5h和图像亮度信息检测器5i。图像尺寸调整部5h将累加图像以原样的尺寸输出到亮度调整器5p，该亮度调整器5p调整图像的亮度，并将其输出到图像压缩器5t。
而后，图像处理模块5在图像压缩器5t中执行图像压缩处理，将压缩的图像信号输出到存储器3中的输出图像区(步骤S27)。
随后，CPU 11从存储器3中读取压缩的图像数据，将其输出到外部存储IF设备9，并使其存储在存储卡M中(步骤S28)。
而且，图像数据的保存可以是重写，也可以是与原始数据分别保存，可由用户选择。
而后，CPU 11取消合成信号“1”的生成，并终止图像合成处理(步骤S29)。
如上所述，根据第一实施方式的数码相机100，可以在用户按下快门6操作的期间，执行图像亮度调整处理，将图像帧以规定数量累加了的图像显示在显示模块4上，因此，可以在用户确认显示在显示模块4的图像亮度的同时，进行图像合成，直到成为所希望的亮度为止。尤其是，通过执行色调调整处理，根据图像帧的累加数量调整累加图像的色调，从而用户可以易于找到图像帧的累加数量，且易于知道快门6的按下操作的取消时刻。
这样，用户可以知道由数码相机100合成的累加图像的亮度被适当调整的样子。因此，能够提供一种数码相机100，对用户来说具有极佳的可用性，用户可以知道在图像合成中当前所处状态，并且可以合成多个图像帧，直至成为用户喜好的亮度。
另外，在图像亮度调整处理后，通过用户进行降噪处理，从而可以进一步改善累加图像的S/N值。因此，可以合成减少随机噪声N的清晰的图像，尤其是与背景相比，改善人物部分的S/N值的图像。
【第二实施例】
以下，将参考图15到图17来说明第二实施例的数码相机。
在此，图15是示出在应用本发明的第二实施例的数码相机中具备的存储器的主要部分的结构图。
第二实施例的数码相机，每当由图像处理模块5累加规定数量的图像帧时，就在显示模块4上显示该累加结果所生成的累加图像。
而且，第二实施例的数码相机，除了每当累加规定数量的图像帧时显示该累加结果所生成的累加图像这点之外，与第一实施例基本相同，省略其详细说明。
就是说，如图15所示，数码相机的存储器103包括暂时存储用的暂时存储器31，除此之外还包括：合成存储器32，每当累加图像帧，就重写并存储所生成的累加图像；以及结果显示用存储器33，存储通过累加规定数量的图像帧所生成的累加结果的显示用的图像。
具体地，该结果显示用存储器33，在图像亮度调整处理中，存储每当由图像加法器5d累加规定数量(例如5个)的图像帧时所生成的累加图像。
而后，显示模块4显示累加图像，所述累加图像是根据图像帧的累加数量而存储在结果显示用存储器33中，并且从该结果显示存储器33中读取。
据此，如图16所示，在显示模块4上，在拍摄第一个图像的阶段显示第一个图像，当累加5个图像帧时，就显示该5个累加的图像，当进一步累加5个图像帧时，就显示该10个累加的图像，以这种方式，阶段性地显示累加了规定数量的图像帧的累加图像，直到用户判断图像变得足够亮。
而且，在图16中，实线显示累加数量，虚线显示显示图像。
接下来，将参考图17来详细说明图像合成处理。
在此，图17是示出与图像合成处理有关的操作的一个实例的流程图。
在通电后，如果基于用户对模式键7的规定操作而选择指示图像合成模式，CPU 11就将图像处理模块5、显示模块4等设定为初始状态(步骤S101)。
随后，CPU 11控制该数码相机的各部分，将从存储卡M中读取的第一个图像帧显示在显示模块4中(步骤S102)。
而后，第一个图像帧的图像数据首先在CPU 11的控制下，转发到存储器103中的暂时存储器31中并存储(步骤S103)。
随后，CPU 11从暂时存储器31获得图像数据，并转发到图像处理模块5(步骤S104)。
接下来，如果用户进行按下快门6操作，图像处理模块5就将输入的图像数据和与合成存储器32中的累加图像有关的数据相加，在生成累加图像后，将其重写并存储在合成存储器32中(步骤S105)。而且，在步骤S104中，当转发到图像处理模块5的图像数据是与第一个图像帧有关的图像数据时，由于存储在合成存储器32中的图像数据不存在，因此将该第一个图像帧的数据存储在合成存储器32中。
接下来，由规定的计数器(未示出)将累加数量(计数值)加“1”(步骤S106)，CPU 11判断累加数量是否达到规定的数量(例如，5个)(步骤S107)。
在此，如果CPU 11判定为累加数量没有达到规定的数量(步骤S107；否)，CPU 11就判断用户对快门6的按下操作是否取消(步骤S108)。
当用户没有取消对快门6的按下操作，即当快门6仍被按下操作时，就转换到步骤S103，并且CPU 11控制随后处理的执行。
另一方面，重复执行图像帧的累加，并且如果在步骤S107中判定累加数量达到规定的数量(步骤S107；是)，CPU 11就读取存储在合成存储器32中的累加图像的图像数据，在执行用于使其显示在显示模块4上的加工处理后，将该加工后的图像数据转发并使其存储到结果显示用存储器33中(步骤S109)。
另外，CPU 11将加工后的图像数据转发到显示模块4中，并且显示累加了规定数量的图像帧的累加图像(步骤S110)。
接下来，CPU 11复位计数器的计数值，转移到步骤S108。
在步骤S108中，如果判断用户对快门6的按下操作被取消(步骤S108；是)，则CPU 11就终止图像合成处理，将在结果显示用存储器33内的累加图像的图像数据传送并使其存储到存储卡M中(步骤S112)。
以上那样，根据第二实施例的数码相机，除存储累加图像的合成存储器32之外，还设置了结果显示用存储器33，每当累加了规定数量的图像帧，就更新该存储在结果显示用存储器33中的累加图像，因此，可以减小图像处理模块5的与用于显示图像的显影处理有关的负荷。
进而，即使是在用户按下快门6的操作期间执行图像合成处理的结构，也可以与顺序累加图像帧的图像不同，通过显示保存在结果显示用存储器33中的累加图像，可以在用户确认累加图像的同时图像合成，对于用户而言，可以避免生成从显示适当亮度的累加图像之后，直到取消快门6的按下操作为止的时间延迟，并且可以避免存储曝光时间超时的图像。
而且，在所述第一和第二实施例中都将摄像结果转发并存储到存储卡M中，但本发明不限于此，也可以构成为例如在存储器103的内部存储设备中设置保存用存储器，在该存储器中进行存储。
另外，也可以构成为由用户手动更改存储在结果显示用存储器33中的累加图像的图像帧的累加数量，或者根据亮度或曝光时间而自动更改。
而且，虽然省略了图示，但只要是至少执行图像亮度调整处理的数码相机，就可以执行图像亮度调整处理和降噪处理，或者执行图像亮度调整处理和色调调整处理。
另外，在所述第一第二实施方式中，举例说明了以人物作为拍摄对象的情况，但也适用在拍摄星座等天体照片的情况下，进行快门拍摄或长时间曝光拍摄等的图像合成处理。例如，也可以配合长时间曝光，预先暂时存储多个高速连拍的图像，将它们以规定数量合成，在成为所希望的亮度或对比度的时刻停止合成。
进一步，所述图像合成处理不仅适用于亮度的调整，而且适用于白平衡、色调曲线校正、γ校正、对比度或色彩度、颜色的校正等。例如，也可以设置“数码闪光”、“数码白平衡”、“数码色调曲线”、“数码颜色校正”等预定的开关，根据按下该按钮的时间，或者根据调整+/-开关，合成多个图像并进行所述各处理，在得到所希望的图像的时刻保存。
而且，将摄像装置100作为了图像合成装置的一个示例，但并不限于此，也可以将由图像传感器2生成了的多个图像数据经过计算机IF部8，输出到所连接的计算机的外部设备中，在该外部设备中进行图像合成处理、图像亮度调整处理、中途图像显示处理、降噪处理等。
以上那样，与本发明有关的摄像装置可用于向用户通知适当调整合成图像的亮度的状态，特别是，适于提供具有极佳可用性的摄像装置，该摄像装置使用户可以在摄像中知道当前的状态。

Claims (4)

1、一种图像合成装置，其特征在于，具备：
图像帧存储单元，存储通过连续拍摄对象而生成的多个图像帧；
图像合成单元，合成被存储在所述图像帧存储单元中的所述多个图像帧，并生成累加图像；
图像亮度调整单元，由所述图像合成单元合成所述图像帧，并执行图像亮度调整处理，以调整所述累加图像的亮度；以及
中途图像显示单元，在由所述图像亮度调整单元执行的所述图像亮度调整处理中，显示所述图像合成单元的合成过程中的图像。
2、如权利要求1中记载的图像合成装置，其特征在于，具备：
降噪单元，在由所述图像亮度调整单元执行了所述图像亮度调整处理后的所述累加图像上，由所述图像合成单元进一步合成所述图像帧，并执行减轻所述累加图像的噪声的降噪处理。
3、一种摄像装置，其特征在于，具备：
连续摄像单元，连续拍摄对象并生成多个图像帧；
图像帧存储单元，存储由所述连续摄像单元生成的多个图像帧；
图像合成单元，合成被存储在所述图像帧存储单元中的所述多个图像帧，并生成累加图像；
图像亮度调整单元，由所述图像合成单元合成所述图像帧，并执行图像亮度调整处理，以调整所述累加图像的亮度；以及
中途图像显示单元，在由所述图像亮度调整单元执行的所述图像亮度调整处理中，显示所述图像合成单元的合成过程中的图像。
4、如权利要求3中记载的摄像装置，其特征在于，具备：
摄像操作输入部，输入由所述连续摄像单元对所述对象的摄像指令，
所述图像亮度调整单元，在由操作者操作所述摄像操作输入部的期间，执行所述图像亮度调整处理。
CN200910118582.2A 2008-03-05 2009-03-04 图像合成装置及摄像装置 Pending CN101527792A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP055289/2008 2008-03-05
JP2008055289A JP4656168B2 (ja) 2008-03-05 2008-03-05 画像合成装置

Publications (1)

Publication Number Publication Date
CN101527792A true CN101527792A (zh) 2009-09-09

Family

ID=41053197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910118582.2A Pending CN101527792A (zh) 2008-03-05 2009-03-04 图像合成装置及摄像装置

Country Status (3)

Country Link
US (1) US8026962B2 (zh)
JP (1) JP4656168B2 (zh)
CN (1) CN101527792A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888683A (zh) * 2014-03-24 2014-06-25 深圳市中兴移动通信有限公司 移动终端及其拍摄方法
CN104754209A (zh) * 2013-12-26 2015-07-01 佳能株式会社 合成多个图像的图像处理设备及其控制方法和摄像装置
CN104836996A (zh) * 2014-02-10 2015-08-12 佳能株式会社 图像处理设备和图像处理设备的控制方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4483841B2 (ja) 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
JP5594055B2 (ja) 2010-10-22 2014-09-24 富士通セミコンダクター株式会社 画像処理装置、電子機器及び画像処理方法
WO2012172728A1 (ja) * 2011-06-14 2012-12-20 Kobayashi Masahiro 画像処理システム
JP5240349B2 (ja) * 2011-11-14 2013-07-17 カシオ計算機株式会社 画像合成装置、及びプログラム
TWI571859B (zh) * 2012-04-25 2017-02-21 鴻海精密工業股份有限公司 顯示器亮度控制系統及方法
JP2014121024A (ja) * 2012-12-18 2014-06-30 Olympus Corp 撮像装置
US20140176745A1 (en) * 2012-12-21 2014-06-26 Nvidia Corporation Approach for camera control
JP6470506B2 (ja) 2014-06-09 2019-02-13 株式会社キーエンス 検査装置
CN109845245B (zh) * 2016-08-19 2021-10-22 韩国斯诺有限公司 动态影像处理方法及计算机可读记录介质
WO2019082278A1 (ja) * 2017-10-24 2019-05-02 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
KR102060136B1 (ko) * 2018-01-08 2019-12-27 주식회사 하이트론씨스템즈 영상 촬영 장비에서의 영상 처리 방법
US10818268B2 (en) * 2018-12-06 2020-10-27 Google Llc Adjusting a brightness of a display based on an image

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08287218A (ja) 1995-04-10 1996-11-01 Sharp Corp 画像合成装置
JPH10504166A (ja) 1995-06-16 1998-04-14 フィリップス エレクトロニクス エヌ ベー 副画像からの画像合成方法及び装置
JP2000224470A (ja) 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP4556276B2 (ja) 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
US6735330B1 (en) 2000-10-17 2004-05-11 Eastman Kodak Company Automatic digital radiographic bright light
JP3539394B2 (ja) 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
US7136101B2 (en) 2001-12-24 2006-11-14 Hewlett-Packard Development Company, L.P. Use-controlled exposure method and system with visual feedback
JP3801126B2 (ja) 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2004140484A (ja) 2002-10-16 2004-05-13 Sony Corp 画像取り込み装置および画像取り込み方法
JP4004943B2 (ja) 2002-12-25 2007-11-07 富士フイルム株式会社 画像合成方法および撮像装置
JP4418632B2 (ja) 2003-01-15 2010-02-17 キヤノン株式会社 撮影装置、合成画像生成方法およびプログラム
US7295232B2 (en) 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP4181923B2 (ja) 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP4613510B2 (ja) 2003-06-23 2011-01-19 ソニー株式会社 画像処理方法および装置、並びにプログラム
FR2860089B1 (fr) 2003-09-23 2005-11-11 Do Labs Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel
JP3722486B1 (ja) 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP2005354166A (ja) * 2004-06-08 2005-12-22 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2006020096A (ja) 2004-07-02 2006-01-19 Casio Comput Co Ltd 撮像記録装置、撮像記録方法及び撮像記録制御プログラム
JP2006054698A (ja) 2004-08-12 2006-02-23 Canon Inc 手振れ補正機能を有する撮像装置
US7627189B2 (en) 2004-10-20 2009-12-01 Fujinon Corporation Sharpness adjustment method and program and electronic endoscope apparatus
JP2006166252A (ja) * 2004-12-09 2006-06-22 Konica Minolta Photo Imaging Inc 撮像装置
JP4533119B2 (ja) 2004-12-13 2010-09-01 キヤノン株式会社 撮像装置及び撮像装置の画像表示方法
JP4390274B2 (ja) 2004-12-27 2009-12-24 キヤノン株式会社 撮像装置及び制御方法
JP4137085B2 (ja) 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置
US7702177B2 (en) 2005-04-25 2010-04-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting brightness of image
JP2007282134A (ja) * 2006-04-11 2007-10-25 Olympus Imaging Corp 撮像装置
JP4483841B2 (ja) 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754209A (zh) * 2013-12-26 2015-07-01 佳能株式会社 合成多个图像的图像处理设备及其控制方法和摄像装置
US9712726B2 (en) 2013-12-26 2017-07-18 Canon Kabushiki Kaisha Image processing device that synthesizes a plurality of images, method of controlling the same, image pickup apparatus, and storage medium
CN104836996A (zh) * 2014-02-10 2015-08-12 佳能株式会社 图像处理设备和图像处理设备的控制方法
US10531013B2 (en) 2014-02-10 2020-01-07 Canon Kabushiki Kaisha Image processing apparatus and method for controlling image processing apparatus
CN103888683A (zh) * 2014-03-24 2014-06-25 深圳市中兴移动通信有限公司 移动终端及其拍摄方法
CN103888683B (zh) * 2014-03-24 2015-05-27 深圳市中兴移动通信有限公司 移动终端及其拍摄方法
US9961273B2 (en) 2014-03-24 2018-05-01 Nubia Technology Co., Ltd. Mobile terminal and shooting method thereof

Also Published As

Publication number Publication date
US8026962B2 (en) 2011-09-27
US20090225201A1 (en) 2009-09-10
JP2009212960A (ja) 2009-09-17
JP4656168B2 (ja) 2011-03-23

Similar Documents

Publication Publication Date Title
CN101527792A (zh) 图像合成装置及摄像装置
CN101361097B (zh) 摄像装置
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
EP3836534B1 (en) Imaging control method, electronic device, and computer-readable storage medium
KR101900097B1 (ko) 이미지 캡처 방법 및 이미지 캡처 장치
US8334914B2 (en) Gradation correcting apparatus, and recording medium storing a program recorded therein
US7365780B1 (en) Image pickup apparatus for producing a desired frame of image signals
CN102348066B (zh) 摄像装置
US7398016B2 (en) Backlight compensation using threshold detection
US20090262218A1 (en) Image processing apparatus, image processing method, and program
EP1779647A2 (en) Image pickup device with brightness correcting function and method of correcting brightness of image
JP6752667B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP4645228B2 (ja) 撮影装置及びプログラム
JP5298396B2 (ja) 電子カメラおよび画像処理システム
US20110102632A1 (en) Image pick-up apparatus, white balance setting method and recording medium
JP4719020B2 (ja) デジタルカメラ及び画像処理方法
JP2002223386A (ja) 撮影装置
JP2009218689A (ja) 測光装置、及び撮像装置
JP2005236511A (ja) 電子カメラ
JP5083116B2 (ja) 撮影装置、画像処理方法、およびプログラム
JP2010021674A (ja) 撮像装置
JP2003116047A (ja) 撮像装置および撮影制御方法
JP2002176584A (ja) 自動露出補正装置及び方法
KR19990026572A (ko) 이미지 변화 표시 기능을 갖는 디지탈 스틸 카메라및 그 제어방법
KR101446941B1 (ko) 고속 촬영 시에 영상을 저장하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090909