CN103312970A - 图像合成设备和图像合成方法 - Google Patents

Abstract

本发明涉及一种图像合成设备和图像合成方法，所述图像合成设备能够获取整个图像的灰度保持连贯的高质量合成图像。针对要拍摄的图像来设置不同的曝光。将拍摄到的各图像分割为小区域。基于各小区域的亮度值来求出测量值。基于一个图像的小区域的测量值和另一个图像的同一小区域的测量值来计算各小区域的比较值。基于针对各小区域所计算出的比较值来计算代表值。基于曝光水平差和代表值来计算合成图像的图像数据所用的水平匹配增益。通过乘以增益，将图像水平得到调整的图像的图像数据进行合成。

Description

图像合成设备和图像合成方法

技术领域

本发明涉及一种用于拍摄多个图像并将其合成为一个图像的图像合成设备和图像合成方法。并且具体地，本发明涉及合成多个图像时的水平匹配技术。

背景技术

存在一种已知的图像合成方法，该方法通过以不同的曝光来拍摄多个图像并对所拍摄的图像进行合成来放大动态范围。在以这种方式来合成图像的情况下，调整所拍摄的图像的水平以使得图像水平相一致，之后进行合成处理。

然而，在通过与设置水平差不同的曝光来拍摄低曝光图像和高曝光图像的情况下，传统的图像合成设备难以正确地合成图像。例如，如果由于受到机械误差等的影响而使得摄像时的快门速度不同于正常的快门速度，则图像是通过与设置水平差不同的曝光来拍摄的。由此，即使根据设置水平差来进行水平匹配，低曝光图像和高曝光图像的图像水平也变得不同，这样会降低诸如运动检测等的处理的精确度。

对于这种问题，日本特开平8-154201公开了一种技术，其用于基于输入水平的固定范围内的图像信号来计算增益比，并将图像信号的增益进行匹配。

尽管日本特开平8-154201所公开的技术在要合成的两个图像的输入水平重叠的水平范围内对增益进行调整，但该技术在其它水平范围内在不调整增益的情况下合成图像。即，所述技术不以在图像的整个区域中固定的增益来调整水平。

由此，在拍摄的图像中存在运动被摄体、并且和图像中的被摄体重叠的水平与其它水平相混合的情况下，以不同的增益来分别调整与图像中被摄体重叠的水平和其它水平。结果，边界上的像素值变化不平滑，由此会生成不自然的图像。在拍摄到的图像包括运动被摄体的情况下，可能以不同的增益来进行针对运动被摄体的调整以及针对背景的调整。在这种情况下，图像的差值根据运动被摄体的亮度而发生变化，这样会扰乱适当的运动检测。

日本特开2009-147588公开了一种技术，其通过计算所拍摄的图像的评价计量值和目标评价计量值之间的差，并基于所计算出的差来放大所拍摄图像的信号，从而获取具有适当图像水平的图像。

该文献中所公开的技术通过后续对所拍摄的图像数据进行感光度校准来获取正确曝光的图像。即，尽管日本特开2009-147588没有公开用于合成两个图像的技术，但该文献公开了下述技术：通过将所拍摄的图像数据分割为预定数量的区域，针对每个分割出的区域来计算亮度值的平均值并分配权重，来获取与所拍摄的图像相关的评价计量值。具体地，该技术通过：根据事先拍摄的图像数据来计算评价计量值，利用与该评价计量值相对应的曝光来拍摄主图像数据，对计算出的评价计量值和正确曝光的评价值之间的差进行计算，并对主图像数据的感光度进行校准来获取具有正确曝光的图像数据。

然而，在所拍摄的图像包括运动被摄体，并且图像中的被摄体的一部分发生移动(变化)的情况下，上述方法会改变整个图像的评价计量值。由此，如果根据评价计量值来进行感光度校准，则会对不移动(不变化)的其它被摄体产生影响。

发明内容

本发明提供一种图像合成设备，该设备能够获取保持整个图像的灰度的连续性的高质量合成图像。

由此，本发明的第一方面是提供一种图像合成设备，包括：摄像单元，用于拍摄被摄体的光学图像；曝光水平差设置单元，用于在拍摄多个图像时设置不同的曝光；小区域测量单元，用于将所述摄像单元以所述曝光水平差设置单元所设置的曝光来拍摄的所述多个图像各自分割成小区域，并且基于各所述小区域中的亮度值来求出测量值；小区域比较单元，用于基于一个图像的小区域的所述测量值和其它图像的同一小区域的所述测量值，针对各所述小区域计算比较值；代表值计算单元，用于基于针对各所述小区域所计算出的比较值来计算代表值；水平设置单元，用于基于所述曝光水平差设置单元所设置的曝光水平差和所述代表值计算单元所计算出的代表值，来设置合成所述多个图像的图像数据所用的水平匹配增益；以及合成单元，用于合成已通过与所述水平设置单元所设置的增益相乘而调整了图像水平的所述多个图像的图像数据。

由此，本发明的第二方面是提供一种通过图像合成设备所执行的图像合成方法，所述图像合成设备具有用于拍摄被摄体的光学图像的摄像单元，所述图像合成方法包括：曝光水平差设置步骤，用于在所述摄像单元拍摄所述被摄体的多个图像时设置不同的曝光；摄像步骤，用于以所述曝光水平差设置步骤中所设置的曝光来拍摄所述被摄体的多个图像；小区域测量步骤，用于将所述摄像步骤中所拍摄的所述多个图像各自分割成小区域，并基于各所述小区域中的亮度值来求出测量值；小区域比较步骤，用于基于一个图像的小区域的所述测量值和其它图像的同一小区域的所述测量值，针对各所述小区域计算比较值；代表值计算步骤，用于基于针对各所述小区域所计算出的比较值来计算代表值；水平设置步骤，用于基于所述曝光水平差设置步骤中所设置的曝光水平差和所述代表值计算步骤中计算出的代表值，来设置合成所述多个图像的图像数据所用的水平匹配增益；以及合成步骤，用于合成已通过与所述水平设置步骤所设置的增益相乘而调整了图像水平的所述多个图像的图像数据。

根据本发明，可以生成保持整个图像的水平的连续性的高质量合成图像。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征将变得明显。

附图说明

图1是示意性地示出根据本发明的第一实施例的图像合成设备的结构的框图。

图2是示出通过图1所示的小区域测量单元来将图像分割为多个小区域的示例的图。

图3是示出图1所示的小区域比较单元的结构的图。

图4是示出图1所示的代表值计算单元的结构的图。

图5是示出图1所示的小区域测量单元、小区域比较单元和代表值计算单元所执行的一系列处理。

图6A和图6B是示出图1中的图像合成设备对包括运动被摄体的图像进行合成的情况下的水平匹配的特性。

图7是示意性地示出根据第二实施例的图像合成设备所设置的代表值计算单元的结构的图。

图8A～图8E是示出图7的代表值计算单元所计算出的频率分布的示例的图。

图9是示出根据第二实施例的图像合成设备所设置的小区域测量单元、小区域比较单元和代表值计算单元所执行的一系列处理的流程图。

具体实施方式

以下，将参考附图来详细说明根据本发明的实施例。

例如，具有照相机功能的移动电话和手持游戏机、数字静态照相机等是本实施例的图像合成设备的具体示例。

在合成通过不同曝光所拍摄的图像(低曝光图像和高曝光图像)的情况下，第一实施例的图像合成设备在考虑到实际曝光相对于所设置的曝光水平差(设置水平差)的误差(曝光误差)的情况下，对图像数据的水平进行匹配。

图1是示意性地示出根据第一实施例的图像合成设备的结构的框图。图像合成设备设置有摄像单元101、照相机信号处理单元102、曝光水平差设置单元103、曝光控制单元104和帧存储器105。

摄像单元101包括镜头、光圈、图像传感器、传感器增益部等，并将所拍摄的图像作为图像信号来输出。照相机信号处理单元102根据从摄像单元101输出的图像信号来生成亮度信号和色度信号。亮度信号(Y)由RGB的色度信号转换而成。然而，由于RGB的各色度信号作为独立信号具有与图像亮度相关的信息，因此可以使用所述的色度信号来替代亮度信号。在以下说明中，将具有与亮度有关的信息的各种数据作为图像数据来说明。尽管图1示出了以CCD来作为设置于摄像单元101中的图像传感器，但图像传感器不限于CCD，并且可以使用CMOS等。

曝光水平差设置单元103设置用于摄像的曝光值。曝光控制单元104根据来自曝光水平差设置单元103的指示来控制摄像单元101的曝光值。帧存储器105临时地存储所拍摄的图像数据。

曝光水平差设置单元103将针对低曝光的曝光水平差相对于正确曝光设置为例如“-2级”等。曝光控制单元104控制摄像单元101的曝光值以使得曝光值如所指示的那样变为“-2级”。例如，在仅控制快门速度的情况下，将四分之一的曝光时间设置为快门速度；在仅控制光圈的情况下，将光圈值缩窄2级；或在仅控制传感器增益的情况下，对传感器增益部设置四分之一的增益。可选地，对快门速度、光圈值和传感器增益的设置进行组合，以使得曝光值变为“-2级”。摄像单元101以所设置的曝光值来拍摄低曝光图像，并输出图像信号。照相机信号处理单元102根据从摄像单元101输出的图像信号来生成低曝光图像数据，并将该数据临时存储至帧存储器1005。

接着，曝光水平差设置单元103将曝光高的曝光水平差相对于正确曝光设置为例如“+2级”等。曝光控制单元104控制摄像单元101的曝光值，以使得曝光值如所指示那样变为“+2级”。例如，在仅控制快门速度的情况下，将快门速度设置为曝光时间的四倍；在仅控制光圈的情况下，将光圈值设置为加宽2级；在仅控制传感器增益的情况下，对传感器增益部设置四倍的增益。可选地，对快门速度、光圈值以及传感器增益的设置进行组合，以使得曝光值成为“+2级”。摄像单元101以所设置的曝光值来拍摄高曝光图像，并输出图像信号。照相机信号处理单元102根据从摄像单元101输出的图像信号来生成高曝光图像数据。

与第一实施例相关的图像合成设备设置有小区域测量单元115、小区域比较单元116、以及代表值计算单元117。

小区域测量单元115将从照相机信号处理单元102输出的低曝光图像数据和高曝光图像数据分别分割为多个具有特定大小的小区域，并测量各个分割出的小区域的亮度值。小区域比较单元116从小区域单元115接收图像数据的各个分割出的小区域的测量值；针对各个小区域，将低曝光图像数据中特定位置处的测量值与高曝光图像数据中相同位置处的测量值进行比较；并输出小区域比较结果。代表值计算单元117从小区域比较单元116接收小区域比较结果，并且计算用于设置水平匹配增益的代表值。

根据第一实施例的图像合成设备具有水平设置单元106以及水平增益处理单元107和108。水平设置单元106设置水平增益处理单元107和108的水平，以使得在合成两个图像(低曝光图像和高曝光图像)时将低曝光图像数据的水平和高曝光图像数据的水平相匹配。水平设置单元106基于来自曝光水平差设置单元103的曝光水平差设置信息以及代表值计算单元117所确定的代表值，来设置用于对图像数据进行水平匹配处理的水平匹配增益。水平增益处理单元107和108根据来自水平设置单元106的指示来调整图像水平。

根据第一实施例的图像合成设备还设置有运动检测单元109、合成比设置单元110、合成比控制单元111和112、以及图像合成单元113。运动检测单元109通过获取关于水平相匹配的两个图像的差信息等，来检测图像中的运动信息。合成比设置单元110设置用于合成两个图像的合成比。合成比控制单元111和112根据来自合成比设置单元110的指示来调整图像的合成比。图像合成单元113将与合成比相乘后的两组图像数据相加。结果，生成合成图像114。

图2是示出通过小区域测量单元115来将图像分割为多个小区域的示例的图。在该示例中，在垂直方向上将图像分割为6个部分，并在水平方向上将图像分割为8个部分，即，将图像共分割为48个区域。小区域测量单元115测量各个分割出的小区域的亮度值，并将测量值输出至小区域比较单元116。小区域测量单元115计算例如各个小区域的亮度值的平均值。然而，小区域测量单元115可以计算小区域内亮度值的最大值或最小值而不计算亮度值的平均值。在将图像如图2所示地分割为48个小区域的情况下，小区域测量单元115针对一个图像将48个测量值作为小区域测量结果进行输出。

小区域测量单元115针对低曝光图像和高曝光图像中的各个来输出小区域测量结果。通常情况下，在低曝光图像的小区域测量结果和高曝光图像的小区域测量结果之间存在与设置水平差相对应的差异。例如，在设置水平差为±2级并且低曝光图像中的某个小区域的测量值约为10的情况下，高曝光图像中同一小区域的测量值约为160。

图3是示出小区域比较单元116的结构的图。从曝光水平差设置单元103将曝光水平差设置信息302输入至小区域比较单元116，并且从小区域测量单元115将小区域测量结果303输入至小区域比较单元116。小区域比较单元116基于曝光水平差设置信息302和小区域测量结果303来进行预定数据处理，并且输出小区域比较结果305。

小区域比较单元116所具有的存储器304可以存储输入至小区域比较单元116的小区域测量结果303。以下的说明是基于将针对低曝光图像的小区域测量结果预先存储在存储器304中、并且将针对高曝光图像的小区域测量结果303输入到小区域比较单元116作为前提来进行的。

小区域比较单元116基于针对高曝光图像的小区域测量结果303以及存储器304中存储的针对低曝光图像的小区域测量结果，来读取特定位置处的小区域的测量值。例如，在从小区域测量结果303中读取垂直方向上第0个和水平方向上第0个的小区域的测量值的情况下，也从存储器304所存储的小区域测量结果中读取垂直方向上第0个和水平方向上第0个的小区域的测量值。

调整单元306将与设置水平差相对应的增益与从小区域测量结果303中读取的测量值相乘。即，在曝光水平差设置信息302示出将曝光水平差设置为±2级的情况下，调整单元306将与4级的设置水平差相对应的1/16倍的增益与针对高曝光图像的小区域测量结果303的各测量值相乘。

因而，除法器307向与增益相乘后的小区域测量结果和存储器304中存储的小区域测量结果应用除法处理。例如，除法器307将通过使增益与高曝光图像的小区域测量结果303的各测量值相乘所获得的值除以存储器304中所存储的小区域测量结果的测量值。针对各个小区域来进行该处理，并且最终将针对所有小区域的比较值作为小区域比较结果305来输出。因此，在如图2所示将图像分割为48个小区域的情况下，小区域比较结果305包括48个比较值。

由于从小区域比较单元116输出的小区域比较结果305是低曝光图像和高曝光图像之间针对各个小区域的比较结果，并且也包括设置水平差，因此在排除设置水平差的影响的情况下，比较结果305成为接近1.0的值。尽管第一实施例使用了针对各个小区域将测量值相除所得到的商数(即，比)，但本发明不限于此。例如，可以将测量值的差值用作比较值。在这种情况下，比较值变为接近0.0的值。

图4是示出代表值计算单元117的结构的图。代表值计算单元117对从小区域比较单元116接收到的小区域比较结果305进行预定的计算，并输出代表值403。代表值计算单元117根据构成小区域比较结果305的多个比较值(与第一实施例中小区域的数量相对应的48个值)来计算出一个代表值。

具体地，第一平均单元404算出构成小区域比较结果305的比较值的平均值，并且标准差计算单元405算出其标准差。然后，选择单元406从构成小区域比较结果305的比较值中选择偏差在固定范围内(即，偏差小)的比较值。即，在针对各小区域而计算出的比较值表示为"c"、比较值"c"的平均值表示为"a"、并且标准差表示为"σ"的情况下，比较值的偏差"s"通过"s=(c-a)/σ"来计算。然后，选择偏差"s"小(例如在±2的范围内)的比较值。如上所述，在小区域测量单元115将低曝光图像和高曝光图像分别分割为48个小区域的情况下，小区域比较结果305包括48个比较值。如果有三个比较值在±2的范围外，则选择余下的45个比较值。

通过第二平均单元407再次计算选择单元406所选择出的比较值的平均值，并将所获取的平均值作为代表值403来输出。在如上所述选择了45个比较值的情况下，这45个比较值的平均值成为代表值403。

图5是示出通过小区域测量单元115、小区域比较单元116和代表值计算单元117所执行的一系列处理。步骤S501和S502是通过小区域测量单元115所执行的处理，步骤S503是通过小区域测量单元116所执行的处理，并且步骤S504～S506是通过代表值计算单元117所执行的处理。

首先，例如如图2所示，将输入的低曝光图像和高曝光图像分割为多个小区域(步骤S501)。针对分割得到的多个小区域的每个小区域的图像数据来测量亮度值的测量值(例如，亮度值的平均值)(步骤S502)。然后，针对每个小区域来比较低曝光图像的测量值和高曝光图像的测量值(步骤S503)。此时，考虑到与低曝光图像和高曝光图像相关的曝光水平差设置信息302来进行比较处理(参考图3)。

接着，计算出针对各个小区域所获取的比较值的平均值和标准差(步骤S504)。接着，针对各个小区域来计算比较值的偏差，并且选择偏差在固定范围内的比较值(步骤S505)。然后，计算所选择的比较值的平均值，并且将所计算出的平均值作为代表值来输出(步骤S506)。

将参考图1来说明使用由代表值计算单元117所计算出的代表值403的水平匹配。可以认为代表值计算单元117所计算出的代表值403是不包括设置水平差的由曝光误差所导致的曝光的差异。由此，水平设置单元106基于与一般设置水平差相对应的水平匹配增益加上曝光误差来设置水平。

例如，水平设置单元106在与一般设置水平差相对应的水平匹配中，针对低曝光图像数据对水平增益处理单元108设置四倍水平匹配增益，并针对高曝光图像数据对水平增益处理单元107设置四分之一倍水平匹配增益。另一方面，在包括曝光误差的水平匹配中，在作为以高曝光图像数据为基准进行比较的结果、针对低曝光图像的代表值403为0.8的情况下，针对低曝光图像数据的增益变为5倍，这是由1.25(即0.8的倒数)乘以4倍所获得的。另一方面，针对高曝光图像数据将水平匹配增益设置为1/5倍。

接着，在水平增益处理单元108从帧存储器105读取低曝光图像数据并进行水平匹配之后，将低曝光图像数据发送至运动检测单元109、合成比设置单元110、以及合成比控制单元112。另一方面，在水平增益处理单元107对从照相机信号处理单元102所输出的高曝光图像数据的水平进行匹配之后，将高曝光图像数据发送至运动检测单元109、合成比设置单元110、以及合成比控制单元111。

在此之后，运动检测单元109通过将水平相匹配的低曝光图像数据和高曝光图像数据相比较，来检测图像中的运动信息。例如，运动检测单元109将低曝光图像数据和高曝光图像数据都分割为特定的区域，计算低曝光图像数据的区域和高曝光图像数据的相对应区域之间的差，并确定差的绝对值大的区域是运动区域。合成比设置单元110基于与低曝光图像数据和高曝光图像数据相关的亮度信息以及来自运动检测单元109的信息来设置合成比。即，设置合成比，以使得图像中的亮部分主要由低曝光图像数据来合成，并且图像的暗部分主要由高曝光图像数据来合成。合成比设置单元110设置与运动区域有关的合成比，以使得输出低曝光图像数据或高曝光图像数据。这样可以避免在合成后的图像数据的运动区域中出现诸如模糊等的图像质量劣化。

最终，合成比控制单元111和112各自根据来自合成比设置单元110的指示来调整图像的合成比，并将图像数据发送至图像合成单元113。图像合成单元113合成这两个图像数据，并生成合成图像114。

因而，由于水平是基于与一般设置水平差相对应的水平匹配增益加上曝光误差来设置的，因此使得从水平增益处理单元107和108输出的图像数据的水平相一致。由此，即使在进行运动检测的情况下，也可以在合成之后的像素值不发生不连续的情况下适当地计算出差值。

根据第一实施例，即使在诸如所拍摄的图像包括运动被摄体等的情况下部分被摄体的位置发生了变化时，也可以准确地计算出对整个图像产生影响的曝光误差值。将参考图6A和图6B来说明这种情况。

图6A和图6B是示出对包括运动被摄体的图像进行合成时的水平匹配的特性的图。图6A示出了拍摄到的低曝光图像，该图像包括作为运动被摄体的人物图像601。图6B示出了拍摄到的高曝光图像，该图像所包括的人物图像602与人物图像601除了位置以外是相同的。在图6A和图6B中，人物图像包括在粗线所表示的小区域中。

针对与运动被摄体相关的各个小区域而计算出的小区域的测量值根据运动被摄体是否存在而差异很大。由此，将与运动被摄体相关的小区域有关的测量值进行比较所获取的比较值相对于将与运动被摄体无关的小区域(由粗线所表示的小区域以外的小区域)有关的测量值进行比较而获取的比较值差异很大。即，关于与运动被摄体相关的小区域所获取到的比较值的偏差变得大。

由此，在第一实施例中，通过选择单元406将关于与运动被摄体相关的小区域所获取到的比较值从用于求出代表值403的计算中排除。因此，可以在不受运动被摄体存在的影响的情况下，准确地计算出示出整体曝光误差的代表值403。如上所述，由于基于与一般设置水平差相对应的水平匹配增益加上代表值403所表示的曝光误差来适当地设置了水平，因此使得从水平增益处理单元107和108输出的图像数据的水平相一致。

在第二实施例中，将图像数据分割为小区域，针对各个小区域，对按各个小区域所检测出的测量值进行比较，并且计算比较后的测量值的分布。然后，将分布中出现最频繁的测量值确定为代表值，并且计算曝光误差。

在代表值计算单元中的代表值计算的处理方面，根据第二实施例的图像合成设备不同于根据第一实施例的图像合成设备。其它结构是相同的。由此，本实施例说明根据第二实施例的图像合成设备所设置的代表值计算单元117A中的用于计算代表值的处理。

图7是示意性示出根据第二实施例的图像合成设备所设置的代表值计算单元117A的结构的图。代表值计算单元117A具有直方图生成单元702、峰检测单元703和分辨率设置单元704。尽管在第二实施例中分辨率设置单元704是代表值计算单元117A的一个构件，但可以将图像合成设备进行配置以使得分辨率设置单元704独立于代表值计算单元117A。

分辨率设置单元704设置用以确定直方图生成单元702所生成的频率分布图的组距的分辨率。直方图生成单元702获得小区域比较结果305(针对各个小区域的比较值)的频率分布。峰检测单元703将直方图生成单元702所获得的频率分布中具有最大频率的比较值设置为代表值403A。

具体地，直方图生成单元702基于从分辨率设置单元704给出的分辨率来设置组距、将小区域比较结果305(针对各小区域的比较值)分配至各组、并生成频率分布图。峰检测单元703检测频率分布图中具有最大频率的组，并将该组的组距的中间值(组的最小值和最大值之间的中心值)作为代表值403A。另外，只要获取了足以用于校正曝光误差的精确度，就可以将具有最大频率的组的组距的最小值或最大值用作代表值403A。

图8A～图8E是示出由代表值计算单元117A计算出的频率分布图的示例的图。图8A是直方图生成单元702计算出的频率分布的示例。频率分布图的横轴表示构成小区域比较结果305的比较值，并且基于分辨率设置单元704所设置的分辨率来对各组的组距进行设置。由于“组距”是用作为用于统计直方图的单位的各区间的宽度，并且“分辨率”是用于得到直方图所用的所有组的数量的倒数，因此通过将分辨率乘以用于得到直方图的整个数据范围来计算“组距”。频率分布图的纵轴(条形图的高度)表示各组的频率(包括在各组中的比较值的数量)。

峰检测单元703检测直方图生成单元702所计算出的频率分布图的最大频率，并将最大频率所在组的中间值设置为代表值403A。由此，图8A中代表值403A是具有最大频率的组的中间值。可以从相对于设置水平差的曝光偏差(曝光误差)所生成的增益值中，获得对整个画面具有最大影响的增益值。

与第一实施例相比，第二实施例能够生成不受被摄体中包括的运动被摄体的影响的代表值。将参考图8A～图8E、图6A和图6B来对此进行说明。

图8A示出在没有运动被摄体的影响的情况下，利用与设置水平差不同的曝光来拍摄图像时的小区域比较结果305的频率分布。如图8A所示，第一实施例中计算出的代表值403不同于第二实施例中计算出的代表值403A，但两者的差异小。在这种情况下，即使在使用第一实施例的代表值计算方法或第二实施例的代表值计算方法来确定代表值、并且将校正增益施加至图像数据，图像质量也几乎没有差异。因此，可以使用代表值403和代表值403A中的任一个。

然而，在低曝光图像的摄像和高曝光图像的摄像之间被摄体的一部分移动的情况下(即，在被摄体包括运动被摄体的情况下)，在包括运动被摄体的小区域中，第一实施例的小区域比较结果305中所包括的比较值与第二实施例的小区域比较结果305中所包括的比较值差异大。图8B示出在低曝光图像摄像和高曝光图像摄像之间作为被摄体的一部分的运动被摄体移动的情况下，小区域比较结果305的频率分布。在图8B中，在第一实施例中计算出的代表值403和第二实施例中计算出的代表值403A之间的关系不同于图8A中的关系。

即，在小区域比较结果305中，由于运动被摄体和背景图像的测量值之间的差异，在将运动被摄体与背景图像相比较的小区域中，比较值大于1.0的组的频率以及对应于所述组的比较值小于1.0的组的频率变得大。这个关系与以下事实相关：第一图像(图6A)中包括运动被摄体的区域在第二图像(图6B)中不包括运动被摄体，而第二图像中包括运动被摄体的区域在第一图像中不包括运动被摄体。

在以下说明中，由常数值"α"来表示包括背景图像的小区域的测量值，并且由常数值"β"来表示包括运动被摄体的小区域的测量值。在这种情况下，第一图像中包括运动被摄体的小区域的比较值是α/β，并且第二图像中包括运动被摄体的小区域的比较值是作为第一图像中比较值的倒数的β/α。即，低曝光图像中包括运动被摄体的小区域的比较值近似等于高曝光图像中包括运动被摄体的小区域的比较值的倒数。因此，受到运动被摄体影响的小区域的比较值的频率集中在图8B中的组901上。然而，在背景图像的测量值或运动被摄体的测量值变化的情况下这是不可行的。

如果在这种情况下使用第一实施例的代表值计算方法，则因为小区域比较结果305的平均值(由选择单元406所选择的比较值)成为代表值，如图8B所示，将计算出受到运动被摄体影响的代表值403。另一方面，在使用第二实施例的代表值计算方法的情况下，由于选择了频率分布中具有最大频率的组，因此如图8B所示地确定了与图8A示出的403A相同的代表值403A。这使得可以将不受运动被摄体影响的校正增益应用至图像数据。

在第二实施例中，重要的是在直方图生成单元702所生成的频率分布图中设置适当的组距，从而计算适当的代表值403A。即，通过分辨率设置单元704来设置分辨率变得重要。这将参考图8C～8E来进行说明。

图8C～图8E是以不同组距示出小区域比较结果305包括的多个比较值的频率分布的频率分布图。图8C是组距与图8A的组距相同的频率分布图，图8D是组距过细(分辨率过高)的频率分布图，以及图8E是组距过粗(分辨率过低)的频率分布图。

如图8D所示，在组距过细时，在存在多个具有最大频率的组的情况下无法计算出代表值403A。相反地，如图8E所示，在组距过粗时，由于趋于获得一个具有最大频率的组，因而可以容易地计算出代表值403A，但该代表值403A的精确度降低。由此，设置组距以在保持代表值403A精确度适当的情况下获得代表值403A变得重要。

作为用于计算适当的组距分辨率的标准，存在例如基于图像表达所需的灰度数量的方法。这是如下方法，其中，在将图像表达所需的灰度数量设置为“n(n为自然数)”的情况下，将适当组距的分辨率设置为"1/n"。具体地，在表达图像所需的灰度数量为8位的情况下，表达了256个值(0～225)，并且分辨率为1/256。然而，适当的分辨率不限于此，可以设置更精细或更粗糙的分辨率，只要分辨率在量级上接近1/n即可。

图9的流程图示出根据第二实施例的图像合成设备所设置的小区域测量单元115、小区域比较单元116和代表值计算单元117A所执行的一系列处理。由于图9中流程图所示的步骤S901～S903中的处理与根据第一实施例的图5所示的流程图中步骤S501～S503中的处理相同，因此省略其说明。

在步骤S904中，直方图生成单元702计算针对小区域比较结果305所包括的各个小区域的比较值的分布，并生成频率分布图。此时，分辨率设置单元704根据输入图像数据的位深来确定频率分布图的分辨率，并且直方图生成单元702基于分辨率设置单元704所确定的分辨率来生成频率分布图。接着，在步骤S905中，峰检测单元703根据所创建的频率分布图来检测具有最大频率的组，并计算要作为代表值的值。

在使用了分辨率设置单元704所设置的分辨率(1/n)的条件下，在直方图生成单元702所生成的频率分布图中可能存在多个具有最大频率的组。在这种情况下，如参考图8D所做的说明，认为所设置的组距(分辨率)过细，因此峰检测单元703无法确定代表值。

因此，峰检测单元703向直方图生成单元702通知代表值无法确定。在接收到通知的情况下，直方图生成单元702在改变组距之后再次生成频率分布图。然后，峰检测单元703再次尝试确定代表值。重复生成频率分布图，直至具有最大频率的组确定为一个，并且确定出代表值。此时，直方图生成单元702将组距改变为例如"m/n,(m>1)"或"1/(n-m),(0<m<n)"。

使用通过上述方法所获得的代表值来调整图像数据的水平。由于调整了水平的图像的合成处理与第一实施例中的相应的合成处理相同，因此省略其说明。

在第二实施例中，将图像分割为小区域，针对每个小区域求出测量值，基于所求出的测量值来针对各个小区域计算比较值，在比较值的频率分布图中将具有最大频率的组(即，比较值)作为代表值，并基于该代表值来计算曝光误差。由此，与第一实施例的代表值计算方法相比，即使在被摄体包括运动被摄体的场景中，也可以获得不受运动被摄体影响的图像质量提高的合成图像。

尽管已说明了本发明的实施例，但本发明不限于上述实施例，只要不背离本发明的概念，则本发明可以包括各种修改。

例如，尽管上述实施例说明的图像处理设备通过对具有不同曝光的两个或更多个图像数据的水平进行调整来生成合成图像，不过也可以通过对具有相同曝光的两个或更多个图像数据的水平进行调整来生成合成图像。这对于在拍摄一个图像时快门速度变慢并且图像质量由于模糊而劣化的情况是有效的。即，以相对于拍摄一个图像的快门速度减半的快门速度来拍摄两个图像(曝光时间减半)。因而，对所拍摄的两个图像的曝光误差进行校正，并且对合成比控制单元111进行调整，从而以针对所有像素值都相同的比来合成两个图像。由此使得快门速度提高，并能够获得没有因模糊导致的图像质量劣化的图像。因而，在进行不扩大频率范围的图像合成的情况下，吸收了诸如机械构造等的物理因素所造成的曝光误差，并且可以以足够的精确度来检测运动被摄体。

可以调整合成比控制单元111和112，以在不合成两个图像的情况下输出两个图像。例如，在以同样快门速度拍摄两个以上的图像的情况下，可以生成亮度不同的图像。此时，通过检测用作标准的图像数据和其它图像数据之间的曝光差，以及通过水平增益处理单元107和108来调整与曝光差相对应的水平，可以生成亮度相同的图像。因此，在使用本发明的情况下，由于可以调整作为一组使用的图像(例如，连续拍摄的未合成的图像)的亮度水平，因而防止了不协调的视觉效果，并且可以生成对后处理的图像合成有用的图像。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这样的修改、等同结构和功能。

本发明要求于2012年3月7日提交的日本专利申请2012-050282的优先权，其全部内容通过引用包含于此。

Claims (11)

1.一种图像合成设备，包括：

摄像单元，用于拍摄被摄体的光学图像；

曝光水平差设置单元，用于在拍摄多个图像时设置不同的曝光；

小区域测量单元，用于将所述摄像单元以所述曝光水平差设置单元所设置的曝光来拍摄的所述多个图像各自分割成小区域，并且基于各所述小区域中的亮度值来求出测量值；

小区域比较单元，用于基于一个图像的小区域的所述测量值和其它图像的同一小区域的所述测量值，针对各所述小区域计算比较值；

代表值计算单元，用于基于针对各所述小区域所计算出的比较值来计算代表值；

水平设置单元，用于基于所述曝光水平差设置单元所设置的曝光水平差和所述代表值计算单元所计算出的代表值，来设置合成所述多个图像的图像数据所用的水平匹配增益；以及

合成单元，用于合成已通过与所述水平设置单元所设置的增益相乘而调整了图像水平的所述多个图像的图像数据。

2.根据权利要求1所述的图像合成设备，其中，所述小区域测量单元求出各所述小区域的亮度值的平均值、最小值和最大值的其中之一作为所述测量值。

3.根据权利要求1所述的图像合成设备，其中，所述小区域比较单元将各图像中同一位置处的小区域的测量值的比和差之一作为针对各所述小区域的比较值。

4.根据权利要求1所述的图像合成设备，其中，所述多个图像包括低曝光图像和高曝光图像，并且所述小区域比较单元将所述高曝光图像中的各所述小区域的测量值乘以以下增益而获得的值与所述低曝光图像中的同一小区域的测量值的比和差之一作为针对所述小区域的比较值，其中，该增益为与所述曝光水平差设置单元所设置的曝光水平差相对应的增益。

5.根据权利要求1所述的图像合成设备，其中，所述代表值计算单元计算所述小区域比较单元针对各所述小区域所求出的比较值的平均值和标准差，从针对各所述小区域所求出的比较值中选择偏差落入固定范围内的比较值，以及将所选择的比较值的平均值作为所述代表值。

6.根据权利要求1所述的图像合成设备，其中，所述代表值计算单元通过将针对各所述小区域所计算出的比较值分配至具有预定组距的组来求出频率分布，并将所述频率分布中具有最大频率的组的中间值作为所述代表值。

7.根据权利要求6所述的图像合成设备，其中，在表达所述多个图像所需的灰度数量为n的情况下，所述代表值计算单元将所述组距的分辨率设置为1/n。

8.根据权利要求7所述的图像合成设备，其中，在所述频率分布中存在多个具有最大频率的组的情况下，所述代表值计算单元扩大所述组距并重新求出频率分布，并将重新求出的频率分布中具有最大频率的组的中间值作为所述代表值。

9.根据权利要求8所述的图像合成设备，其中，在重新求出的频率分布中存在多个具有最大频率的组的情况下，所述代表值计算单元再次改变所述组距并重新求出频率分布，并且重复改变所述分辨率，直到在重新求出的频率分布中具有最大频率的组确定为一个为止。

10.根据权利要求1所述的图像合成设备，其中，所述多个图像包括低曝光图像和高曝光图像，并且所述水平设置单元针对所述低曝光图像的图像数据将所述水平匹配增益设置为通过将所述曝光水平差除以所述代表值所获得的值，并且针对所述高曝光图像的图像数据将所述水平匹配增益设置为对所述低曝光图像的图像数据所设置的水平匹配增益的倒数。

11.一种通过图像合成设备所执行的图像合成方法，所述图像合成设备具有用于拍摄被摄体的光学图像的摄像单元，所述图像合成方法包括：

曝光水平差设置步骤，用于在所述摄像单元拍摄所述被摄体的多个图像时设置不同的曝光；

摄像步骤，用于以所述曝光水平差设置步骤中所设置的曝光来拍摄所述被摄体的多个图像；

小区域测量步骤，用于将所述摄像步骤中所拍摄的所述多个图像各自分割成小区域，并基于各所述小区域中的亮度值来求出测量值；

小区域比较步骤，用于基于一个图像的小区域的所述测量值和其它图像的同一小区域的所述测量值，针对各所述小区域计算比较值；

代表值计算步骤，用于基于针对各所述小区域所计算出的比较值来计算代表值；

水平设置步骤，用于基于所述曝光水平差设置步骤中所设置的曝光水平差和所述代表值计算步骤中计算出的代表值，来设置合成所述多个图像的图像数据所用的水平匹配增益；以及

合成步骤，用于合成已通过与所述水平设置步骤所设置的增益相乘而调整了图像水平的所述多个图像的图像数据。

Images