CN103477626A - 图像处理设备、图像处理方法、程序和存储介质 - Google Patents

Abstract

本发明提供了一种图像处理设备，用于将在改变曝光量的情况下所拍摄到的多个图像进行合成，所述图像处理设备包括：位置偏移检测部件，用于检测所述多个图像之间的位置偏移量；校正部件，用于基于所述位置偏移检测部件检测到的位置偏移量来校正图像之间的位置偏移；移动体区域检测部件，用于从已校正了位置偏移的所述多个图像中检测移动体区域；图像合成部件，用于合成已校正了位置偏移的所述多个图像；以及移动体处理部件，用于利用通过对所述多个图像进行加权相加所获得的图像，来替换所述图像合成部件进行合成而得到的合成图像中的与所述移动体区域相对应的区域。

Description

图像处理设备、图像处理方法、程序和存储介质

技术领域

本发明涉及通过将在改变曝光量的情况下所拍摄到的多个图像进行合成来生成具有宽动态范围的图像的技术。

背景技术

传统上，已知有如下方法：通过在改变曝光条件的情况下拍摄高亮细节损失(highlight-detail loss)少以及阴影细节损失(shadow-detail loss)少的多个图像，并且将这些图像进行合成，来生成具有宽动态范围的图像。这被称为高动态范围(HDR)合成。由于该HDR合成处理导致多个图像之间的拍摄产生时滞，因此认为不适合拍摄移动被摄体。该处理会生成亮度根据移动被摄体的位置而改变因而看上去非常不自然的合成图像。

例如，专利文献1和2中描述了用于解决这种问题的方法。

在专利文献1中，将以不同曝光量拍摄到的多个图像进行比较以计算运动矢量。在计算出的运动矢量的大小大于预定阈值的情况下，判断为包含有不适当的合成部分。基于该不适当的合成部分以外的部分的像素信号来校正该不适当的合成部分的像素信号。

专利文献2描述了如下方法：检测并校正以不同曝光量所拍摄到的多个图像之间的位置偏移，在该位置偏移校正处理之后评价这些图像之间的各部分的相似度，并且基于该相似度的评价来改变图像合成方法。该方法可以生成由于照相机的移动所引起的位置偏移量小且由于被摄体的移动所引起的被摄体模糊量小的图像。根据专利文献2，基于相似度来判断是否合成图像，因而可以在减轻处理负荷的情况下生成被摄体模糊量小的图像。

现有技术文献

专利文献

专利文献1：JP4282113B2

专利文献2：JP4553942B2

发明内容

发明要解决的问题

专利文献1和2主要描述了利用一个其它图像替换移动被摄体的区域的处理，并且目的在于获得具有与移动被摄体的位置无关的均匀亮度的自然图像。然而，这些方法假定了在无任何错误的情况下正确地提取出移动被摄体的区域。

本发明是考虑到上述问题而作出的，实现了高动态范围合成处理，即使针对移动被摄体，也能够生成不给人以不自然的感觉的自然图像。

用于解决问题的方案

为了解决上述问题，本发明提供一种图像处理设备，用于将在改变曝光量的情况下所拍摄到的多个图像进行合成，其特征在于，所述图像处理设备包括：位置偏移检测部件，用于检测所述多个图像之间的位置偏移量；校正部件，用于基于所述位置偏移检测部件检测到的位置偏移量来校正图像之间的位置偏移；移动体区域检测部件，用于从已校正了位置偏移的所述多个图像中检测移动体区域；图像合成部件，用于合成已校正了位置偏移的所述多个图像；以及移动体处理部件，用于利用通过对所述多个图像进行加权相加所获得的图像，来替换所述图像合成部件进行合成而得到的合成图像中的与所述移动体区域相对应的区域。

此外，本发明提供一种图像处理方法，用于将在改变曝光量的情况下所拍摄到的多个图像进行合成，其特征在于，所述图像处理方法包括以下步骤：位置偏移检测步骤，用于检测所述多个图像之间的位置偏移量；校正步骤，用于基于在所述位置偏移检测步骤中检测到的位置偏移量来校正图像之间的位置偏移；移动体区域检测步骤，用于从已校正了位置偏移的所述多个图像中检测移动体区域；图像合成步骤，用于合成已校正了位置偏移的所述多个图像；以及移动体处理步骤，用于利用通过对所述多个图像进行加权相加所获得的图像，来替换在所述图像合成步骤中进行合成而得到的合成图像中的与所述移动体区域相对应的区域。

发明的效果

根据本发明，即使针对移动被摄体也可以生成不给人以不自然的感觉的自然图像。

通过以下结合附图所进行的说明，本发明的其它特征和优点将变得明显，其中在附图中，相同的附图标记指定相同或相似的部件。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。

图1是示出根据本发明实施例的摄像设备的结构的框图。

图2是示出根据本实施例的显影处理单元的结构的框图。

图3是示出根据本实施例的HDR合成处理的流程图。

图4是例示伽玛特性的图。

图5是示出图3所示的位置偏移检测处理的流程图。

图6A是例示位置偏移检测处理中的基准图像的图。

图6B是例示位置偏移检测处理中的位置偏移检测图像的图。

图7是示出根据本实施例的移动体区域检测单元的结构的框图。

图8A是例示移动体区域检测结果的图。

图8B是例示移动体区域检测结果的图。

图8C是例示移动体区域检测结果的图。

图8D是例示移动体区域检测结果的图。

图9是示出根据本实施例的移动体区域合成单元的结构的框图。

图10是示出HDR合成比率的图。

图11A是例示根据本实施例的HDR合成处理的结果的图。

图11B是例示根据本实施例的HDR合成处理的结果的图。

图11C是例示根据本实施例的HDR合成处理的结果的图。

图12A是用于说明根据第三实施例的移动体表现方法的选择处理的图。

图12B是用于说明根据第三实施例的移动体表现方法的选择处理的图。

图12C是用于说明根据第三实施例的移动体表现方法的选择处理的图。

图12D是用于说明根据第三实施例的移动体表现方法的选择处理的图。

图12E是用于说明根据第三实施例的移动体表现方法的选择处理的图。

图12F是用于说明根据第三实施例的移动体表现方法的选择处理的图。

图13是例示根据第三实施例的移动体表现方法的选择画面的图。

图14是例示根据第四实施例的移动体表现方法的选择处理的流程图。

图15是例示根据第六实施例的移动体处理单元中的图像合成顺序的图。

图16是示出加权相加HDR1的合成比率的图。

图17是示出加权相加HDR2的合成比率的图。

图18是示出加权相加HDR3的合成比率的图。

具体实施方式

以下将详细说明用于执行本发明的模式。注意，以下要说明的实施例是实现本发明所需的示例且应当根据应用了本发明的设备的结构和各种条件来根据需要进行修改或改变，并且本发明不限于以下实施例。可以根据需要组合以下要说明的各实施例中的一部分。

第一实施例

将说明根据本发明的图像处理设备例如应用于诸如数字照相机等的用于拍摄图像的摄像设备的实施例。注意，由于本发明可应用于经由拍摄镜头所拍摄到的并且由多个颜色层构成的图像，因此本发明的对象图像不限于RAW数据或显影处理之后的JPEG数据等。

设备结构

将参考图1～3来说明根据本发明实施例的摄像设备的结构和功能的概述。

参考图1，附图标记1210表示控制单元，用于控制整个摄像设备。控制单元1210控制(后面要说明的)各个单元，并且根据用户的设置和操作来执行HDR合成处理。附图标记1200表示I/F(接口)单元，用于接受用户操作和外部输入；附图标记1220表示存储器单元，用于保持与(后面要说明的)HDR合成处理相关联的程序、参数和处理对象图像数据。在控制单元1210将存储器单元1220中所存储的程序展开在RAM等的工作区域上并且执行该程序的情况下来实施后面将要参考图3进行说明的HDR合成处理。

摄像单元1000将经由成像光学系统(镜头)入射的被摄体图像形成在图像传感器上，并且对该被摄体图像进行光电转换，由此将从图像传感器输出的模拟信号转换成适合(后面要说明的)图像处理的数字数据(步骤S1)。假定图像传感器例如是包括一般的原色滤光器并且由CMOS等构成的单板彩色图像传感器。原色滤光器包括主透射波段分别在650nm、550nm和450nm附近的R(红色)滤光器、G(绿色)滤光器和B(蓝色)滤光器这三种颜色滤光器，并且拍摄与R、G和B的各个波段相对应的颜色层。在单板彩色图像传感器中，可以仅针对各个像素在空间上排列这些颜色滤光器，并且获得各像素中的各颜色层上的强度。因此，图像传感器输出彩色马赛克图像。A/D转换单元将从图像传感器中作为模拟信号输出的彩色马赛克图像转换成适合于进行图像处理的数字图像数据。

曝光不足显影处理单元1010、适当曝光显影处理单元1020和过曝光显影处理单元1030接收不同的输入信号，因而需要使参数等最优化，但基本处理相同(步骤S2A～S2C)。

白平衡单元1011进行白平衡处理。更具体地，将各个R、G和B信号乘以增益从而针对原本为白色的区域使得这些信号值相等。噪声降低单元1012降低由传感器所引起的噪声而非由输入图像数据的被摄体图像所引起的噪声。颜色插值单元1013通过对彩色马赛克图像进行插值来在所有像素中生成包括R、G和B的颜色信息的彩色图像。基于所生成的彩色图像，矩阵转换单元1014和伽玛转换单元1015生成基本的彩色图像。之后，颜色调整单元1016执行用于改善彩色图像的外观的处理。例如，颜色调整单元1016进行诸如色度增强、色相校正和边缘增强等的图像校正。

为了进行高动态范围(HDR)合成，由于使用以不同曝光量拍摄到的各个图像的适当曝光值附近的信号，因此需要预先乘以增益并补偿亮度水平。该增益需要被设置为防止高亮或阴影细节损失。因此，使用图4所示的伽玛值而非均匀增益来进行校正。在图4中，实线(i)表示用于适当曝光图像的伽玛值，点划线(ii)表示用于曝光不足图像的伽玛值，并且虚线(iii)表示用于过曝光图像的伽玛值。伽玛转换单元1015使用这些伽玛值来进行伽玛校正。设置这些伽玛值，从而在将各个图像乘以基于曝光量比所计算出的增益的情况下获得相同的伽玛特性。例如，对于±3EV的拍摄曝光差，将曝光不足图像乘以8倍的增益并且将过曝光图像乘以1/8倍的增益。在后面根据亮度区域在多个图像之间进行切换的情况下，该处理可以使这些图像之间的边界平滑。如通过图4所示的伽玛特性可以明显看出，曝光不足图像乘以比适当曝光图像的增益大的增益，因此在显影处理之后的曝光不足图像中噪声可能增加。另一方面，由于过曝光图像乘以比适当曝光图像的增益小的增益，可以预见显影处理之后的过曝光图像具有减少的噪声，因此并不优选进行比所需处理强的噪声降低处理。为了根据输入图像进行适当的噪声降低处理，噪声降低单元1012针对各图像切换噪声降低处理的强度。作为噪声降低处理的具体方法，存在诸如使用适当的内核算子的平滑化处理等的一般方法以及使用诸如ε滤波器或边缘保持型双边滤波器等的滤波器的方法。在本实施例中，仅需考虑到与诸如系统的处理速度和存储器容量等的资源的平衡来根据需要应用适当的方法。

响应于来自控制单元1210的指示，位置偏移检测单元1040检测经过了显影处理的适当曝光图像和曝光不足图像之间的位置偏移，并且还检测曝光不足图像和过曝光图像之间的位置偏移(步骤S3A和S3B)。在该示例中，各图像被分割成多个块区域，然后针对各个块进行边缘检测处理(图5的步骤S41)。作为边缘检测方法，对输入图像进行低通滤波处理以创建模糊程度大的图像，并且通过将该模糊程度大的图像从输入图像中减去来检测边缘。可选地，可以使用利用众所周知的微分滤波器或普瑞维特滤波器的方法。在边缘检测中，可以通过仅检测被摄体图像的边缘而不检测由于传感器所产生的噪声来改善位置偏移检测精度。

位置偏移检测单元1040在图像的块区域中，针对能够检测到边缘的块区域来检测位置偏移量(图5的步骤S42)。通过仅针对能够检测到边缘的块区域来检测位置偏移量，可以改善位置偏移检测精度。作为位置偏移量检测方法，计算块区域内的所有像素的位置基准图像的像素值(亮度值)和位置偏移检测图像的像素值(亮度值)之间的SAD(绝对差值的和)，并且将使得SAD变为最小的移动量和移动方向设置为该块的运动矢量。图6A和6B举例说明了位置偏移检测方法。图6A示出位置基准图像的对象块区域的像素值。

另一方面，图6B示出位置偏移检测图像的像素值。在图6A和6B所示的示例中，使像素值之间的差的绝对值最小的移动量是(x,y)=(1,2)。针对图像的所有块区域进行相同的处理，由此获得所有块区域的运动矢量。在位置偏移量检测中，在位置基准图像的被摄体区域和位置偏移检测图像的相应被摄体区域具有相同亮度的情况下，可以进一步改善位置偏移检测精度。

最后，位置偏移检测单元1040计算几何变换系数(图5的步骤S43)。使用仿射系数作为几何变换系数。在组合了线性变换以及平移的仿射变换所使用的矩阵中配置仿射系数，通过等式(1)来给出该仿射系数。

$\left(\begin{array}{c}{x}^{,}\\ y^{,}\\ 1\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)\·\·\·\left(1\right)$

其中，(x,y)是校正之前的图像的坐标，(x',y')是校正之后的图像的坐标。3×3矩阵表示仿射系数。这些仿射系数是通过使用所获得的各个块区域的运动矢量而获得的。

已经说明了位置偏移检测单元1040中的位置偏移检测方法。然而，本发明不限于此。作为位置偏移检测方法，存在诸如通过频率分析来检测两个图像之间的位置偏移的方法等的各种方法。在位置偏移检测精度、检测处理负荷和处理速度等方面适合数字照相机的任何方法均是可行的。

重新参考图3，位置偏移校正单元1050基于上述位置偏移检测处理中计算出的仿射系数来对适当曝光图像和过曝光图像进行校正(进行仿射变换)(步骤S4A和S4B)。

移动体区域检测单元1060使用曝光不足图像、以及进行了对准的适当曝光图像或过曝光图像来检测移动被摄体区域(步骤S5A和S5B)。图7示出移动体区域检测单元1060的结构。参考图7，基准图像1061是曝光不足图像，其示出图8A所示的场景。另一方面，对准图像1062是进行了对准的适当曝光图像或过曝光图像，其示出图8B所示的场景，在该场景中，与图8A相比，被摄体向右侧略微移动。移动体检测单元1063从基准图像1061和对准图像1062中检测移动体区域。可以有若干用于提取移动被摄体区域的方法。然而，由于照相机的存储器容量和处理速度受到限制，因此复杂的处理并不实用。

在本实施例中，获得两个图像之间的亮度差值或色差差值，并且将存在差值的区域判断为移动被摄体。无论使用何种差值，在被摄体的颜色与背景颜色相似的场景中，尽管被摄体已移动，都有可能误检测为被摄体没有移动，并且存在差值的区域有可能部分地出现在移动被摄体上。这种误检测区域没有被作为移动被摄体区域进行处理，因而颜色、亮度和噪声均不同于周围区域，由此得到看上去非常不自然的合成图像。为了解决该问题，在本实施例中，高亮/阴影细节损失区域去除单元1064和孤立区域去除单元1065等将误检测区域尽可能地从差值Diff中去除。此外，利用加权相加后的多重图像而非一个曝光图像来替换该区域。根据等式(2)使用颜色信号和亮度信号来计算该差值Diff。

$\mathrm{Diff}=\sqrt{{(Y_{\mathrm{base}}-Y_{\mathrm{oth}})}^2+{(U_{\mathrm{base}}-U_{\mathrm{oth}})}^2+{(V_{\mathrm{base}}-V_{\mathrm{oth}})}^2}\·\·\·\left(2\right)$

其中，Y表示亮度信号，并且U和V表示颜色信号。因此，差值Diff表示色差。

高亮/阴影细节损失区域去除单元1064从差值Diff中去除曝光不足图像和适当曝光图像的阴影细节损失亮度区域、以及适当曝光图像和过曝光图像的高亮细节损失亮度区域。进行该操作是为了防止出现如下问题：高亮或阴影细节损失区域作为差值出现在移动体检测单元1063的检测结果中以及被误判断为移动体区域。将基准图像1061中的亮度小于等于阴影细节损失亮度th1的信号的区域以及对准图像1062中的亮度大于等于高亮细节损失亮度th2的信号的区域从差值Diff中去除(将信号值设置为0)。其结果如图8C所示。

之后，该处理进入参考由此得到的差值Diff来校正移动体区域的处理。然而，在该处理之前，孤立区域去除单元1065基于差值Diff来去除诸如微小移动体和移动体内的非移动体等的误检测到的孤立区域。这使得可以平滑且自然地绘制移动体区域的边界。可以具有若干去除孤立区域的方法。例如，将举例说明差值Diff的缩小和放大。在缩小时，可以去除误判断为移动体的小区域。在放大为原始大小时，可以缩小存在于移动体区域内的非移动体区域。作为另一方法，通过利用周围像素的滤波处理来以高精度去除孤立区域。尽管如此，由于缩小/放大所引起的处理负荷小，因此这对于照相机内利用有限资源的处理而言是有效的方式。图8D示出通过上述移动体区域检测处理提取出的移动体区域。利用0表示非移动体区域的图像信号，(在8位的情况下)利用255表示移动体区域的图像信号。1～254的值表示移动体区域和非移动体区域之间的边界。

移动体区域合成单元1070将从移动体区域检测单元1060输出的曝光不足图像和适当曝光图像的移动体区域与曝光不足图像和过曝光图像的移动体区域进行合成(步骤S6)。图9示出移动体区域合成单元1070的结构。参考图9，大值选择单元1073选择曝光不足图像和适当曝光图像的移动体检测图像1(1071)以及曝光不足图像和过曝光图像的移动体检测图像2(1072)中较大的值。由于移动体区域由1以上的信号来表示，因此选择大的值以获得所有移动体区域都已被检测到的图像。

另一方面，图像合成单元1080使用曝光不足图像以及进行了对准的适当曝光图像和过曝光图像来根据图10所示的合成比率单独进行亮度合成处理，由此生成HDR合成图像(步骤S7)。为了获得HDR合成图像，将过曝光图像用于比合成基准亮度阈值Y1暗的区域，将适当曝光图像用于亮度值在合成基准亮度阈值Y2和Y3之间的区域，并且将曝光不足图像用于比合成基准亮度阈值Y4亮的区域。在合成基准亮度阈值Y1和Y2之间以及合成基准亮度阈值Y3和Y4之间的边界附近的中间区域中，逐渐改变合成比率以平滑地切换图像。

最后，移动体处理单元1090参考移动体区域检测图像来修正HDR合成图像内的移动体区域(步骤S8)。如上所述，在资源有限的照相机内难以进行正确地提取移动体区域以及仅利用曝光不足图像来替换该移动体区域的处理。为了解决该问题，利用通过对曝光不足图像、适当曝光图像和过曝光图像进行加权相加所获得的图像来替换移动体区域。基本上，优先使用高亮细节损失程度最小的曝光不足图像，但根据诸如图像的颜色扭曲(色曲がり)和噪声等的图像质量劣化的程度而以小的比率混合适当曝光图像和过曝光图像。考虑高动态范围中的曝光不足图像和过曝光图像的拍摄曝光宽度。曝光不足图像的质量依赖于图像处理中所乘以的增益的大小。在HDR合成中，例如，如果存在诸如窄拍摄曝光宽度(±1EV)、标准拍摄曝光宽度(±2EV)和宽拍摄曝光宽度(±3EV)等的用户设置选项的情况下，针对宽度宽(-3EV)的曝光不足所乘以的增益大于针对宽度窄(-1EV)的曝光不足所乘以的增益。因此，对于宽度宽的曝光不足，颜色扭曲和噪声较大。通过以下来计算移动体区域的最终图像信号S。

S=αLow+βMid+γHi

α+β+γ=1

曝光不足(Low)、适当曝光(Mid)和过曝光(Hi)的加权相加比率如下所述。

图11A～11C各自示出与上述拍摄曝光宽度设置相对应的移动体的绘制的示例。图11A与±1EV相对应，图11B与±2EV相对应，并且图11C与±3EV相对应。注意，控制单元1210从图1所示的I/F单元1200中获得用户设置信息。

在第一实施例中，由于利用通过对曝光不足图像、适当曝光图像和过曝光图像进行加权相加所获得的多重图像而非一个曝光不足图像来替换移动体区域，因此无论移动体区域的检测精度如何，都可以获得自然的图像。此外，可以通过考虑曝光不足图像的质量来优先使用高亮细节损失的风险尽可能低的曝光不足图像。

在第一实施例中，使用曝光不足图像作为用于进行位置偏移检测或移动体区域检测的基准图像。然而，如果通过使用适当曝光图像或过曝光图像作为基准图像而使得检测精度变得更加合适，则可以使用适当曝光图像或过曝光图像作为基准图像。同样地，尽管使用曝光不足图像作为合成基准图像，但根据HDR合成图像的质量，也可以使用适当曝光图像或过曝光图像作为合成基准图像。

第二实施例

在上述第一实施例中，基于作为HDR合成中的用户设置项的拍摄曝光宽度来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。相反，在第二实施例中，基于适当的ISO感光度来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。

注意，根据第二实施例的摄像设备的结构与图1所示的结构相同，并且将省略对该结构的说明。将说明与第一实施例的不同之处。根据第二实施例的移动体处理单元1090与第一实施例有所不同。

作为要进行HDR合成的场景不限于白天逆光的场景，还可以包括夜景下的霓虹灯的暗场景。在暗场景中，需要增加拍摄时的ISO感光度，在各个曝光不足图像、适当曝光图像和过曝光图像中的噪声量也增大。图2所示的噪声降低单元1012对该噪声进行适当的噪声降低处理，然而这对于高的ISO感光度而言不充分。因而，如下表所示，基于ISO感光度来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。

在上述第二实施例中，由于基于ISO感光度来确定形成移动体区域的曝光不足图像、适当曝光图像和过曝光图像的加权相加比率，因此即使ISO感光度变高，曝光不足图像的质量的劣化也不明显。注意，紧挨在拍摄操作之后将ISO感光度信息作为该拍摄操作的信息存储在存储器单元1220中，并且由控制单元1210读出。

第三实施例

在上述第一实施例中，基于作为HDR合成中的用户设置项的拍摄曝光宽度设置来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。在上述第二实施例中，基于适当的ISO感光度来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。相反，在本实施例中，基于作为HDR合成中的用户设置项的移动体表现方法来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。

注意，根据第三实施例的摄像设备的结构与图1所示的结构相同，并且将省略对该结构的说明。将说明与第一实施例和第二实施例的不同之处。根据第三实施例的移动体处理单元1090与第一实施例和第二实施例有所不同。

将参考图12A～12F来说明根据本实施例的作为用户设置项的移动体表现方法。在图12A中，附图标记1201、1202和1203分别表示通过顺次拍摄移动被摄体所获得的第一张图像(适当曝光图像)、第二张图像(曝光不足图像)和第三张图像(过曝光图像)。图12B～12F各自举例说明了通过改变曝光不足图像、适当曝光图像和过曝光图像的加权相加比率所实现的移动体表现方法。

在本实施例中，如图12B所示的表现方法被称为前帘幕同步模式，其中，在长曝光期间利用前帘幕同步来接通闪光灯并且在拍摄开始时(最早拍摄时刻的第一张图像)最清晰地拍摄到移动体。如图12C所示的表现方法被称为后帘幕同步模式，其中，在长曝光期间利用后帘幕同步来接通闪光灯并且在拍摄结束时(最晚拍摄时刻的第三张图像)最清晰地拍摄到移动体。如图12D所示的表现方法称为多次闪光模式A，其中，在长曝光期间多次接通闪光灯并且在拍摄期间(第一张图像～第三张图像)的任意时刻等同地拍摄到移动体。如图12E所示的表现方法被称为多次闪光模式B，其中，在拍摄的中间点(第二张图像)最清晰地拍摄到移动体。如图12F所示的表现方法被称为模糊减少，其中，仅在拍摄的中间点(第二张图像)拍摄到移动体。通过允许用户基于诸如移动体的大小、移动速度和移动方向等的特征信息选择这些移动体表现方法中的期望表现方法，用户可以具有较多种类的移动体表现方法。

如下表所示，基于用户所选择的移动体表现方法来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。

注意，移动体表现方法不限于上述五种方法，并且可以通过改变曝光不足图像、适当曝光图像和过曝光图像的加权相加比率来进行某些变化。

在上述第三实施例中，基于作为HDR合成中的用户设置项的移动体表现方法来确定构成移动体区域的曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。因此，可以将用户所选择的移动体表现方法反映到HDR合成图像上。注意，I/F单元1200接受用户所进行的选择操作，并且控制单元1210获得用户设置信息。该用户设置信息可以在拍摄之前获得或者进行拍摄之后在用户检查HDR合成图像的同时输入该信息时获得。

图13举例说明了根据本实施例的用于由用户来对移动体表现方法进行选择的UI画面。控制单元1210将该UI画面经由I/F单元1200显示在显示单元等上。注意，如图13所示，除了移动体表现方法的选择以外，UI画面可被配置成使得用户能够选择在位置偏移校正单元1050中是否进行位置偏移校正以及在移动体区域合成单元1070中是否合成移动体区域。

第四实施例

在上述第三实施例中，基于作为用户设置项的移动体表现方法来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。相反，在本实施例中，控制单元1210基于移动体的特征信息来自动设置移动体表现方法。

注意，根据第四实施例的摄像设备的结构与图1所示的结构相同，并且将省略对该结构的说明。将说明与第三实施例的不同之处。

图14示出根据本实施例的基于移动体的特征信息来自动设置移动体表现方法的处理。该处理是在控制单元1210将存储器单元1220中所存储的程序展开在RAM等的工作区域上并且执行该程序时实现的。

参考图14，如果移动体区域检测单元1060判断为移动体区域相对于图像的比率小于等于例如5%的阈值(步骤S1401中为“是”)，则基本没有包括移动体，因而控制单元1210选择图12F所示的模糊减少(步骤S1401和S1402)。

如果移动体区域相对于图像的比率大于阈值(步骤S1401中为“否”)，位置偏移检测单元1040可以基于移动体的运动矢量获得光流，并且三个图像中的所有运动矢量均指向图像的一个外侧方向(步骤S1403中为“是”且步骤S1404中为“否”)，则移动体逐渐消失的表现是合适的，因而控制单元1210选择图12B所示的前帘幕同步模式作为移动体表现方法(步骤S1406)。

另一方面，如果位置偏移检测单元1040可以基于移动体的运动矢量获得光流，并且三个图像中的所有运动矢量均指向图像的一个内侧方向(步骤S1404中为“是”)，则移动体逐渐显现的表现是合适的，因而控制单元1210选择图12C所示的后帘幕同步模式作为移动体表现方法(步骤S1405)。

如果位置偏移检测单元1040可以基于移动体的运动矢量获得光流，并且三个图像中的运动矢量全部指向不同方向(步骤S1403中为“否”)，则流动式表现不适合作为移动体表现方法。因此，基于图像合成单元1080进行合成的移动体区域的图像的张数，控制单元1210选择移动体表现方法。如果合成了多张图像(步骤S1407中为“否”)，则控制单元1210选择图12D所示的多次闪光模式A(步骤S1409)。若非如此，如果合成了一张图像(步骤S1407中为“是”)，则控制单元1210选择图12E所示的多次闪光模式B(步骤S1408)。

为了通过利用图像合成单元1080检测三个图像中的移动体区域的合成比率最大的图像来使用HDR合成的效果，控制单元1210可以选择图12E所示的多次闪光模式B，在该模式中，合成比率最大的图像的加权相加比率增大。

通过假定摄像设备的目标用户，可以将诸如移动体的移动速度和移动体在图像上的位置等的用于选择移动体表现方法的条件添加至上述条件，或者可以选择上述条件。

第五实施例

在上述第三实施例中，基于作为HDR合成中的用户设置项的移动体表现方法来确定曝光不足图像、适当曝光图像和过曝光图像的加权相加比率。相反，在本实施例中，控制单元1210基于所设置的移动体表现方法来自动设置拍摄顺序。

在反映移动体表现方法的情况下，可以通过考虑顺次拍摄到的第一张图像、第二张图像和第三张图像的特征信息来获得更加自然的表现。如下表所示，基于用户所选择的移动体表现方法来确定曝光不足图像、适当曝光图像和过曝光图像的拍摄顺序。

以下将说明移动体表现方法和拍摄顺序之间的具体关系。

在选择了图12B所示的前帘幕同步模式作为移动体表现方法的情况下，不同于第三实施例，通过顺次拍摄移动体来拍摄第一张图像(曝光不足图像)、第二张图像(适当曝光图像)和第三张图像(过曝光图像)。这是因为第一张图像由于曝光时间短而包括清晰的移动体，并且第三张图像由于曝光时间长而包括留下尾部的移动体，因此这两者均适合于图12B所示的前帘幕同步模式。

在选择了图12C所示的后帘幕同步模式作为移动体表现方法的情况下，不同于第三实施例，通过顺次拍摄移动体来拍摄第一张图像(过曝光图像)、第二张图像(适当曝光图像)和第三张图像(曝光不足图像)。这是因为第一张图像因曝光时间长而包含留有尾部的移动体、并且第三张图像由于曝光时间短而包含清晰的移动体，因此这两者均适合图12C所示的后帘幕同步模式。

通过假定摄像设备的目标用户，可以将基于移动体表现方法来确定拍摄顺序的条件添加至上述条件、或者可以选择上述条件。

第六实施例

由移动体处理单元1090所使用以替换移动体区域的图像是通过以上述第一实施例～第三实施例的比率对曝光不足图像、适当曝光图像和过曝光图像进行加权相加所获得的图像。

如果与移动体区域的背景相对应的部分是高亮度区域或低亮度区域，则在移动体处理单元1090利用加权相加图像修正该区域时高动态范围合成的效果可能会降低。也就是说，如果移动体区域的背景是高亮度区域，则包括有高亮细节损失的过曝光图像的加权相加降低了高动态合成的效果。可选地，如果移动体区域的背景是低亮度区域，则包括有阴影细节损失的曝光不足图像的加权相加降低了高动态范围合成的效果。

相反，在本实施例中，将说明如下方法：通过即使在用于替换移动体区域的图像中，也利用曝光不足图像进一步替换通过以上述比率进行加权相加所获得的图像的高亮度区域并且利用过曝光图像替换该图像的低亮度区域，来减少高亮细节损失和阴影细节损失。根据图15所示的图像合成顺序来生成用于替换移动体区域的图像。

为了维持高动态范围合成的效果，即使对于替换移动体区域的图像，也使用经过了对准的适当曝光图像作为合成基准图像并根据图16所示的合成比率对其进行与图像合成单元1080所进行的处理相同的处理(步骤S1501)。也就是说，将过曝光图像用于比合成基准亮度阈值Y1a暗的区域，将加权相加图像用于亮度值在合成基准亮度阈值Y2a和Y3a之间的区域，并将曝光不足图像用于比合成基准亮度阈值Y4a亮的区域。在合成基准亮度阈值Y1a和Y2a之间以及合成基准亮度阈值Y3a和Y4a之间的边界附近的中间区域中，逐渐改变合成比率以平滑地切换图像。以下将该合成图像称为加权相加HDR图像1。

为了减少加权相加HDR图像1中的阴影细节损失，使用曝光不足图像作为合成基准图像并根据图17所示的合成比率对该图像进行与图像合成单元1080所进行的处理相同的处理(步骤S1502)。也就是说，将适当曝光图像用于比合成基准亮度阈值Y1b暗的区域，并且将加权相加HDR图像1用于比合成基准亮度阈值Y2b亮的区域。在合成基准亮度阈值Y1b和Y2b之间的边界附近的中间区域中，逐渐改变合成比率以平滑地切换图像。以下将该合成图像称为加权相加HDR图像2。在拍摄曝光不足图像时，如果具有低亮度的移动被摄体穿过适当曝光图像中的与高亮度区域相对应的部分，则该处理可以减少阴影细节损失。

另外，为了减少加权相加HDR图像2中的高亮细节损失，使用过曝光图像作为合成基准图像并根据图18所示的合成比率对该图像进行与图像合成单元1080所进行的处理相同的处理(步骤S1503)。也就是说，将加权相加HDR图像2用于比合成基准亮度阈值Y3c暗的区域，并且将适当曝光图像用于比合成基准亮度阈值Y4c亮的区域使用。在合成基准亮度阈值Y3c和Y4c之间的边界附近的中间区域中，逐渐改变合成比率以平滑地切换图像。以下将该合成图像称为加权相加HDR图像3。在拍摄过曝光图像时，如果具有高亮度的移动被摄体穿过适当曝光图像中的与低亮度区域相对应的部分，则该处理可以减少高亮细节损失。

移动体处理单元1090利用加权相加HDR图像3来替换移动体区域。

在上述第六实施例中，利用曝光不足图像来替换以第一实施例～第三实施例所述的比率进行加权相加所获得的图像的高亮度区域，并且利用过曝光图像来替换该图像的低亮度区域。因此，即使在替换移动体区域的图像中也可以减少高亮细节损失和阴影细节损失，由此维持高动态范围合成的效果。注意，可以将加权相加HDR图像2或加权相加HDR图像1，而非加权相加HDR图像3，用作替换移动体区域的图像。在这种情况下，可以减少存储器容量和处理时间。

其它实施例

本发明通过执行以下处理来实现。即，本发明通过将实现上述实施例的功能的软件(或程序)经由网络或各种存储介质供给至系统或设备、并且利用该系统或设备的计算机(或者CPU或MPU)读出并执行程序代码来实现。在这种情况下，程序和存储该程序的存储介质构成本发明。

本发明不限于上述实施例，并且可以在没有背离本发明的精神和范围的情况下进行各种改变和变形。因此，为了告知本发明的范围的公开，制作了以下权利要求书。

本申请要求2012年4月19日提交的日本专利申请2012-096039和2012年9月14日提交的日本专利申请2012-203544的优先权，在此通过引用将这些专利申请的全部内容合并于此。

Claims (28)

1.一种图像处理设备，用于将在改变曝光量的情况下所拍摄到的多个图像进行合成，其特征在于，所述图像处理设备包括：

位置偏移检测部件，用于检测所述多个图像之间的位置偏移量；

校正部件，用于基于所述位置偏移检测部件检测到的位置偏移量来校正图像之间的位置偏移；

移动体区域检测部件，用于从已校正了位置偏移的所述多个图像中检测移动体区域；

图像合成部件，用于合成已校正了位置偏移的所述多个图像；以及

移动体处理部件，用于利用通过对所述多个图像进行加权相加所获得的图像，来替换所述图像合成部件进行合成而得到的合成图像中的与所述移动体区域相对应的区域。

2.根据权利要求1所述的图像处理设备，其中，所述图像合成部件基于所述多个图像中的曝光量最小的图像的亮度来确定各个图像的相加比率。

3.根据权利要求1或2所述的图像处理设备，其中，还包括：

显影处理部件，用于进行伽玛转换以使所述多个图像的亮度水平相等，

其中，所述显影处理部件基于所述多个图像的曝光量比来确定针对所述多个图像进行的伽玛转换的伽玛特性。

4.根据权利要求3所述的图像处理设备，其中，所述显影处理部件根据所述伽玛特性来设置噪声降低处理的参数。

5.根据权利要求1所述的图像处理设备，其中，所述移动体区域检测部件将基准图像和对准图像之间的图像信号的差值作为移动体区域进行检测。

6.根据权利要求1至5中任一项所述的图像处理设备，其中，所述移动体区域检测部件将发生高亮细节损失的亮度区域和发生阴影细节损失的亮度区域从所述移动体区域的检测结果中去除。

7.根据权利要求6所述的图像处理设备，其中，所述移动体区域检测部件将孤立区域从检测到移动体的图像中去除。

8.根据权利要求1至7中任一项所述的图像处理设备，其中，还包括：

移动体区域合成部件，用于将曝光不足图像和适当曝光图像的检测结果与所述曝光不足图像和过曝光图像的检测结果进行合成。

9.根据权利要求1所述的图像处理设备，其中，所述移动体处理部件基于拍摄曝光宽度的设置来确定所述多个图像的相加比率。

10.根据权利要求1所述的图像处理设备，其中，所述移动体处理部件基于适当的ISO感光度来确定所述多个图像的相加比率。

11.根据权利要求1至10中任一项所述的图像处理设备，其中，还包括：

摄像部件，用于以预定的曝光量拍摄多个图像。

12.根据权利要求1所述的图像处理设备，其中，还包括：

选择部件，用于选择在所述移动体处理部件合成所述多个图像时的移动体区域的表现方法，

其中，基于所述选择部件所选择的表现方法，所述移动体处理部件确定所述多个图像的相加比率以生成加权相加图像。

13.根据权利要求1所述的图像处理设备，其中，所述移动体处理部件通过增大所述多个图像中的拍摄时刻靠后的图像的相加比率来生成加权相加图像。

14.根据权利要求1所述的图像处理设备，其中，所述移动体处理部件通过增大所述多个图像中的拍摄时刻靠前的图像的相加比率来生成加权相加图像。

15.根据权利要求1所述的图像处理设备，其中，所述移动体处理部件通过使所述多个图像的相加比率相等来生成加权相加图像。

16.根据权利要求1所述的图像处理设备，其中，所述移动体处理部件通过使所述多个图像中的拍摄时刻为中间的图像的相加比率为最大来生成加权相加图像。

17.根据权利要求12至16中任一项所述的图像处理设备，其中，所述移动体处理部件基于适当曝光图像的亮度来确定曝光不足图像、过曝光图像和所述加权相加图像的相加比率。

18.根据权利要求12至16中任一项所述的图像处理设备，其中，所述移动体处理部件基于曝光不足图像的亮度来确定适当曝光图像和所述加权相加图像的相加比率。

19.根据权利要求12至16中任一项所述的图像处理设备，其中，所述移动体处理部件基于过曝光图像的亮度来确定适当曝光图像和所述加权相加图像的相加比率。

20.根据权利要求12所述的图像处理设备，其中，还包括：

操作部件，用于接受用于对所述表现方法进行选择的用户操作。

21.根据权利要求1所述的图像处理设备，其中，还包括：

操作部件，用于接受用于对是否利用所述校正部件校正所述位置偏移进行选择的用户操作。

22.根据权利要求1所述的图像处理设备，其中，还包括：

操作部件，用于接受用于对是否利用所述移动体处理部件处理所述移动体区域进行选择的用户操作。

23.根据权利要求12所述的图像处理设备，其中，所述选择部件基于所述移动体区域的特征信息来自动选择所述表现方法。

24.根据权利要求23所述的图像处理设备，其中，所述特征信息包括所述移动体区域相对于图像的比率、从所述移动体区域中检测到的运动矢量、以及表示所述移动体区域是否是通过合成所述多个图像而得到的信息的其中一个。

25.根据权利要求12至24中任一项所述的图像处理设备，其中，还包括：

摄像部件，用于以预定的曝光量拍摄多个图像；以及

控制部件，用于基于所述选择部件所设置的表现方法来控制所述摄像部件的图像拍摄顺序。

26.一种图像处理方法，用于将在改变曝光量的情况下所拍摄到的多个图像进行合成，其特征在于，所述图像处理方法包括以下步骤：

位置偏移检测步骤，用于检测所述多个图像之间的位置偏移量；

校正步骤，用于基于在所述位置偏移检测步骤中检测到的位置偏移量来校正图像之间的位置偏移；

移动体区域检测步骤，用于从已校正了位置偏移的所述多个图像中检测移动体区域；

图像合成步骤，用于合成已校正了位置偏移的所述多个图像；以及

移动体处理步骤，用于利用通过对所述多个图像进行加权相加所获得的图像，来替换在所述图像合成步骤中进行合成而得到的合成图像中的与所述移动体区域相对应的区域。

27.一种程序，用于使计算机用作根据权利要求1至25中任一项所述的图像处理设备的各个部件。

28.一种存储有程序的计算机可读存储介质，所述程序用于使计算机用作根据权利要求1至25中任一项所述的图像处理设备的各个部件。

Images