CN101076997B - 照相机和用于照相机的图像处理方法 - Google Patents

Abstract

一种照相机，包括用于拍摄将合成为用于记录用途的第一图像的多个图像的图像拍摄系统，和用于通过对所述多个图像中的特定图像的图像处理，产生显示用途的第二图像的图像产生器。

Description

照相机和用于照相机的图像处理方法

技术领域

本发明涉及照相机，诸如数码照相机。

背景技术

在传统的照相机中用于拍摄的重要处理是如此地自动化，以致于业余照相机操作者在拍摄时也不易失败。

近来，已经研究了补偿拍摄过程中的抖动的系统。例如，一种已知的系统检测照相机中用户的抖动，与抖动同时地移动透镜，并且甚至以长曝光时段形成很少振动的图像。

日本专利申请公开号2000-341577公开了一种以如此快以致于没有抖动发生的快门速度拍摄曝光不足的多个图像，并且将它们合成为很少振动的、正确曝光的图像的方法。

大多数近来的数码照相机用于为每次拍摄在照相机背面上的液晶显示器(“LCD”)上显示拍摄的图像，并且在LCD上显示多个缩略图，从而用户可以从多个拍摄的图像中选择要再现的图像。

然而，已有技术中公开的照相机具有如下问题：在通过合成以快得很少受照相机抖动影响的快门速度不充分曝光而拍摄的多个图像，产生一个正确曝光的图像时，计算各个图像的位置坐标，并且基于由抖动检测功能获得的抖动量合成这些图像。因此，要花费长时间在LCD上显示所得到的合成图像，中断了拍摄，并且失去了在下一次拍摄中拍摄好图片的最佳时机。

在另一方面，试图显示经过不充分曝光的合成之前的图像导致黑图像的显示，从而用户难以识别合成。

发明内容

本发明涉及不中断拍摄，并且可以在通过合成多个图像产生一个曝光的图像时正确显示拍摄的图像的照相机。

根据本发明的一个方面的照相机包括用于拍摄将被合成为用于记录用途的第一图像的多个图像的图像拍摄系统，以及用于通过对所述多个图像中特定图像的图像处理，产生用于显示用途的第二图像的图像产生器。

根据本发明的另一个方面的图像处理方法包括步骤：拍摄将被合成以便产生用于记录用途的第一图像的多个图像，以及通过对所述多个图像中特定图像的图像处理，产生用于显示用途的第二图像。

参考附图，从下面对实施例的描述中，将容易明了本发明的其他目的和其他特征。

附图说明

图1是根据本发明的一个实施例的数码照相机的方框图；

图2A和2B是根据该实施例，被移置(displace)在数码照相机内的LCD上的图像的示意图；

图3A和3B是根据该实施例，被移置在数码照相机内的LCD上的图像的示意图；

图4是示出了LCD上的图像显示过程的流程图；

图5是示出了该实施例中的数码照相机内的图像合成过程的流程图。

具体实施方式

现在参考附图，给出根据本发明的优选实施例的描述。

图1是根据本发明的一个实施例的数码照相机的结构的方框图。在图1中，11代表作为数码照相机中可拆卸地提供的光学系统的一部分的透镜。拍摄光线通过透镜11经过快门12，并且在图像拾取设备15上形成图像，光阑13调整其光强。图像拾取设备15是半导体CCD，诸如CMOS传感器和CCD传感器。

通过聚焦AF驱动电机14，透镜11可以沿着光轴10移动，并且焦距驱动器19控制聚焦AF驱动电机14的驱动量以便聚焦。虽然未示出，透镜11是具有多个透镜的透镜单元，并且AF驱动电机14改变两个相邻透镜间的间隔以便聚焦。光阑驱动器17控制光阑13的孔直径。快门驱动器18控制快门12的打开和关闭。光阑13和快门12控制入射到图像拾取设备15上的光强。

更具体地，拍摄控制器111控制焦距驱动器19、光阑驱动器17和快门驱动器18的活动。拍摄控制器111使用从稍后描述的信号处理器211输入的来自图像拾取设备15的图像信号提供测光(photometry)，并且基于该结果确定光阑13的孔直径和快门12的打开时段。另外，拍摄控制器111通过焦距驱动器19计算最佳聚焦点或设置值，并且控制包括焦距驱动器19、光阑驱动器17和快门驱动器18的所有电路和存储器的操作。

A/D转换器110将从图像拾取设备15输出的图像信号转换为数字信号，并且将其输入信号处理器211。信号处理器211对输入的图像信号执行预定的信号处理，诸如亮度信号和颜色信号的格式化(formation)，并且产生彩色图像信号。将产生的图像信号显示在，例如，LCD211上，LCD211包括数码照相机后表面上的液晶面板和用于驱动液晶面板的驱动器。存储器213记录产生的图像信号。当用户观看记录在存储器213内的图像时，他按下，例如，照相机操作部分214处的预定开关，从存储器213中读出图像，并且将其显示在LCD212上。

如同在已知的数码照相机中那样，操作部分214处的显示模式开关使得用户能够选择单个图像和多个缩略图。

拍摄模式中的上述一系列操作假设一个明亮的对象，并且不需要抖动补偿，因为以短的曝光时间获得了正确的曝光(此后称为“常规拍摄模式”)。

在另一方面，黑的对象需要长的曝光时段，并且使图像受照相机抖动的影响。则用户打开或激活操作部分214内的抖动补偿系统。在这种抖动补偿拍摄模式中执行下面的操作。

当用户类似于常规拍摄模式半按照相机的释放按键(未示出)时，拍摄控制器111提供自动对焦和测光。基于测光值，拍摄控制器111确定快门速度(曝光时段)和光阑值，以便获得正确曝光的图像。拍摄控制器111以不易引起抖动的快门速度计算用户的对总曝光时间长的划分，并且为每个拍摄敲定(finalize)快门速度和光阑值。然后，接着进行各个拍摄，而每个图像曝光不足。

响应用户对释放按键的按下，拍摄控制器111以计算的次数连续拍摄对象，并且获得多个图像。当将最初为单个图像设置的曝光时段划分到多个拍摄时，每个图像具有较短的曝光时间，并且曝光不足。由于短的曝光时段，该配置提供了较少受曝光过程中照相机抖动影响的图像。将该多个获得的图像合成为具有正确曝光的单个图像。

即使当由于多个图像的缩短的曝光时间，减小了照相机抖动的影响时，由于多个图像的连续拍摄的照相机的抖动，在它们的合成中可能发生轻微的偏移。这些多个图像的合成很可能使得合成图像模糊不清。

因此，当用户在任意定时打开操作部分214处的合成开始开关时，在由A/D转换器110将各个拍摄图像转换为数字信号，由信号处理器211将其转变为彩色图像信号，并且将其存储在存储器213内后，抖动补偿拍摄模式开始下面的合成处理。

为了区别于常规拍摄模式中的图像，下面的描述将通过在抖动补偿拍摄模式中划分曝光时段获得的图像称为“划分图像”，并且将合成多个划分图像所获得的图像称为“合成图像”。

抖动检测器215读取存储在存储器213内的多个划分图像，提取出划分图像中的公共特征点，并且计算该公共特征点的各个划分图像的位置的坐标。特征点设置在，例如，在划分图像的对象的背景内有静止物体，诸如建筑物时，该建筑物内的窗户的边缘上。

坐标变换器216基于各个划分图像的特征点的计算出的位置坐标，提供除第一划分图像之外的划分图像的坐标变换。结果，多个划分图像内的特征点的位置坐标彼此一致。将第一划分图像和其他的坐标变换后的划分图像存储在缓冲区存储器217内。图像合成器218从缓冲区存储器217读出这些划分图像，并且对它们进行合成。

将这样获得的合成图像作为最后记录用途的图像存储在可从照相机移除的记录介质220(诸如半导体存储器和光盘)内。

传统的LCD212显示合成图像。然而，当在拍摄后同步多个划分图像，并且将得到的合成图像移置到LCD212上时，在拍摄多个划分图像的同时拍摄的图像不可见。结果，在拍摄多个划分图像时，难以满足用户对合成的快速确认请求等。

与本实施例不同，照相机可能不包括图像合成器218，并且另一个处理器诸如个人计算机(“PC”)可以执行图像处理。

作为该问题的解决方案，本实施例的数码照相机如下产生不同于记录用途的图像的显示用途的图像：

图2A示意地示出了在常规拍摄模式中LCD212上的具有不充分曝光的图像。在图2A中，301代表LCD212的显示框，并且302代表拍摄的图像。在单个拍摄产生单个图像的常规拍摄模式中，显示框301示出了由单个拍摄获得的大图像。在图2A中，加以半色调点网格意味着不充分曝光。

图2B示意地示出了在抖动补偿拍摄模式中显示的4个划分图像。由于在抖动补偿拍摄模式每个拍摄或划分图像曝光不足，如图2A所示，在显示时该图像曝光不足，并且用户难以确认该合成等。因此，4个划分图像作为306显示在显示框301下，并且作为图像产生器的曝光校正器219执行调整第一个划分图像(与4个图像306最左边的图像相同的图像)的曝光的图像处理或曝光校正，产生显示用途的图像。如图2B所示，作为大图像305显示显示用途的图像。

更具体地，曝光校正器219通过改变第一个划分图像的色调曲线，放大亮度和对比度来校正曝光，并且产生显示用途的图像305。由于仅通过对第一个划分图像进行曝光校正产生显示用途的图像305，放大了图像噪声，并且得到的图像通常变得粗糙。然而，在抖动补偿拍摄模式中，在拍摄完第一个划分图像后，并且在合成图像之前，用户就可以观看拍摄的图像并且检查合成等。

在显示曝光校正的划分图像时，如307所示，可以显示指示通过对抖动补偿拍摄模式中的多个拍摄图像中的一个进行曝光补偿而获得当前图像的标记或图标。曝光校正后的划分图像不必是第一个划分图像，并且可以是被确定为包含相对少量噪声的第二或后续图像中的任意一个。

上述描述提到显示一个大图像的LCD212。现在参考图3A和3B，给出对存储在存储器213内的多个划分图像的缩略图的描述。缩略图模式同时显示多个小的拍摄图像。

图3A示意地示出了在常规拍摄模式中拍摄的图像的缩略图状态。在图3A中，401代表LCD212的显示框，并且每个拍摄的图像是该框401中的一个缩略图。因此，以类似于403的不充分曝光状态显示以不充分曝光拍摄的图像。

在另一方面，图3B示意地示出了包括通过将常规拍摄模式转换为抖动补偿拍摄模式拍摄的多个图像的缩略图。假设在抖动补偿模式中拍摄了4个划分图像。在图3B中，406代表4个减小的、拍摄的划分图像的缩略图。每个缩略的划分图像曝光不足。

以与在常规拍摄模式中拍摄的缩略图相同的大小显示通过曝光校正器219对第一个或第二个划分图像进行曝光校正而获得的显示用途图像405，以及缩小的、显示的和划分的图像。

在该情况下，如上所述，显示用途图像405包含放大的噪声，但是由于显示用途图像的大小是小的缩略图的大小，该噪声不显著。而用户可以容易地确认拍摄的图像的优点是显著的。即使在该情况下，显示用途图像405可以显示指示其是在抖动补偿拍摄模式中拍摄的划分图像的图标。

参考图4所示的流程图，给出对从在抖动补偿拍摄模式拍摄多个划分图像到显示图2B所示的显示用途图像的操作的描述。根据存储在包括CPU的拍摄控制器111内的计算机程序(图像处理程序)执行该操作。

当用户在操作部分214选择抖动补偿模式时该操作开始(步骤(图4中的简写“S”)1001)。当用户半按下释放按键(SW1 ON)并且开始拍摄(自动对焦和测光)时(步骤1002)，图像拾取设备15对来自对象的光(目标图像)进行光电转换，并且将输出送入信号处理器211。在检测图像的对比度的同时，拍摄控制器111通过驱动AF驱动电机14移动透镜11，并且通过将透镜11停止在具有最高对比度的位置提供自动对焦。并行地，基于从图像拾取设备15获得的图像计算对象的亮度(步骤1003)。

接着，根据步骤1003中计算的对象亮度计算将拍摄的划分图像数目(步骤1004)。例如，作为对象亮度测量的结果，假设需要完全打开光阑13(例如，以f2.8)和快门12的1/8秒的曝光时段正确曝光对象。如果转换为35mm胶片时焦距为30mm，由于1/8秒的曝光时段容易引起照相机和图像抖动，不易引起抖动的曝光时段被确定为1/32秒。因此，曝光时段被四等分，并且确定划分图像的4次拍摄。

当确定了划分图像的数目时，在照相机的取景器或LCD212上显示拍摄次数，以便通知用户(步骤1005)。

然后，继续待机模式直到用户完全按下释放按键(SW2)。当在待机过程中松开对释放按键(SW1)的半按下时，过程返回开始(步骤1001)。然后，当用户完全按下释放按键(SW2)并且指示拍摄时，开始第一个(cut)划分图像的拍摄(步骤1007)，并且将其记录在存储器213内(步骤1008)。

拍摄控制器111重复步骤1007和1008的操作，直到记录在存储器213内的划分图像的数目达到预定数目(步骤1009)。

当记录了所有划分图像时，拍摄控制器111指挥曝光校正器219，例如，对第一个(cut)划分图像执行曝光校正(步骤1010)，并且如图2A中所示，使得将曝光校正后的划分图像作为显示用途的图像显示在LCD212上(步骤1011)。然后，过程返回开始以便进行下一个拍摄(步骤1012)。

上述流程图在所有划分图像的拍摄结束之后读取第一个划分图像，并且产生显示用途的图像。然而，例如，即使在未完成所有的划分图像的拍摄之前，在刚刚拍摄第一个划分图像之后，就可以从存储器213读出第一个划分图像以便进行曝光校正处理和显示。该配置并行地执行拍摄和曝光校正处理，并且使得曝光校正的图像能够更迅速地移置在LCD212上，不过加重了数码照相机的处理负担。

现在参考图5，给出对通过合成多个拍摄的划分图像产生单个图像的操作的描述。该操作也被根据存储在拍摄控制器111内的计算机程序(图像合成程序)执行。然而，如上所述，可以在另一个处理器诸如PC内运行该计算机程序。

在操作开始(步骤2001)之后，用户打开操作部分214内的再现模式开关(步骤2002)。作为响应，拍摄控制器111产生来自存储器213的拍摄图像的缩略图，并且使得它们如图3B所示显示在LCD212上(步骤2003)。

当用户通过在操作部分214处的操作从缩略的拍摄图像中选择了在抖动补偿模式中拍摄的划分图像(步骤2004)，并且打开合成开始开关(步骤2005)时，从存储器213读出第一个划分图像。另外，抖动检测器215提取划分图像的周围区域内的特征点，并且计算特征点的位置的坐标(步骤2006)。

接着，拍摄控制器111指挥坐标变换器216提供除了第一个划分图像之外的划分图像的坐标变换(步骤2007)。更具体地，该坐标变换将第一个划分图像的特征点的坐标重叠在其他划分图像的特征点的坐标上。

缓冲区存储器217存储第一个划分图像和坐标变换后的划分图像(步骤2008)。

重复步骤2006到2008的操作，直到对除了第一个图像之外的所有划分图像完成了坐标变换为止(步骤2009)。因此，第二和后续划分图像的合成与第一个划分图像的合成一致。

当结束了对除了第一个之外的所有划分图像的坐标变换时，拍摄控制器111指挥图像合成器218执行图像合成处理(步骤2010)。本实施例不限于图像合成处理的特定方法，而是可以给各个划分图像的相同坐标位置上的像素添加亮度信息和颜色信息。在该情况下，通过加权平均减少了各个划分图像内的随机噪声。

当这样产生合成图像时，图像合成器218去除每个划分图像的边缘附近的不存在于另一个划分图像内区域，或所有划分图像中不重叠的区域。该不重叠的区域是由于拍摄多个划分图像时的抖动引起的划分图像与合成的位移产生的。将去除后的合成图像(具有较小的大小)扩散内插为原始大小(步骤2011)，并且显示在LCD212上(步骤2012)。将扩散内插的合成图像存储在记录介质220内(步骤2013)，并且过程返回到开始。

为了显示合成图像，显示模式可以是图2A中所示的常规拍摄模式或图2B中所示的抖动补偿拍摄模式。各个划分图像存储与各个图像相关的信息作为标签信息。

如上所述，本实施例在合成多个图像之前校正它们中的一个图像的曝光，并且在诸如图像数码照相机的照相机中产生显示用途的图像，该图像处理连续拍摄曝光不足的多个图像，并且将该多个图像合成为一个图像。因此，用户可以确认拍摄的图像的合成，而不用等待图像合成处理的中断，并且保持拍摄好图片的最佳时机。

工业实用性

因此，本发明可以提供不中断拍摄，并且可以在通过合成多个图像产生一个曝光图像时，正确显示拍摄的图像的照相机。

Claims (5)

1.一种被配置为将多个图像合成以产生合成图像的照相机，所述照相机包括：

图像拍摄系统，被配置为依次拍摄各自的多个图像，所述图像拍摄系统以比对于对象的亮度获得正确曝光的第二曝光时段短的第一曝光时段拍摄所述多个图像中的每一个；

存储器，被配置为依次存储由所述图像拍摄系统所拍摄的所述多个图像；

抖动检测器，被配置为提取存储在所述存储器中的所述多个图像的公共特征点并计算所述多个图像的所述公共特征点的坐标；

坐标变换器，被配置为对除第一个图像之外的所述多个图像进行坐标变换，以使所述多个图像的所述公共特征点的坐标相互重叠；

图像合成器，被配置为在所述多个图像全部被拍摄之前不合成所述多个图像，而是在所述多个图像全部被拍摄之后合成其公共特征点相互重叠的所述多个图像，从而产生具有正确曝光的一个合成图像；

曝光校正器，被配置为对存储在所述存储器中的所述多个图像之中的一个图像进行图像处理，以使所述一个图像具有正确曝光；以及

显示器，被配置为在所述合成图像被产生之前显示被进行过图像处理的具有正确曝光的所述一个图像，并且在所述合成图像被产生之后显示具有正确曝光的所述合成图像。

2.如权利要求1的照相机，其中被所述曝光校正器进行过图像处理的所述一个图像是所述多个图像之中第一个拍摄的图像。

3.如权利要求1的照相机，其中所述显示器以小于被进行过图像处理的所述一个图像的尺寸的尺寸将所述多个图像与被进行过图像处理的所述一个图像一起显示。

4.如权利要求1的照相机，其中所述显示器将表示通过对所述多个图像之一的曝光校正而获得被进行过图像处理的所述一个图像的图标与被进行过图像处理的所述一个图像一起显示。

5.一种用于将多个图像合成以产生合成图像的图像处理方法，所述图像处理方法包括如下步骤：

依次拍摄各自的多个图像，所述多个图像中的每一个是以比对于对象的亮度获得正确曝光的第二曝光时段短的第一曝光时段拍摄的；

将所拍摄的多个图像依次存储到存储器中；

提取存储在所述存储器中的所述多个图像的公共特征点并计算所述多个图像的所述公共特征点的坐标；

对除第一个图像之外的所述多个图像进行坐标变换以使所述多个图像的所述公共特征点的坐标相互重叠；

在所述多个图像全部被拍摄之前不合成所述多个图像，而是在所述多个图像全部被拍摄之后合成其公共特征点相互重叠的所述多个图像，从而产生具有正确曝光的一个合成图像；

对存储在所述存储器中的所述多个图像之中的一个图像进行图像处理，以使所述一个图像具有正确曝光；以及

在所述合成图像被产生之前显示被进行过图像处理的具有正确曝光的所述一个图像，并且在所述合成图像被产生之后显示具有正确曝光的所述合成图像。

Images