CN109076170A - 图像处理设备、图像处理方法、成像设备和程序 - Google Patents

Abstract

本技术涉及一种图像处理设备、一种图像处理方法、一种成像设备和一种程序，利用其可以更适当地校正运动。本发明具有：合成单元，用于合成在不同定时捕获的多个图像；以及运动校正单元，用于进行校正，以减少对图像的运动相关影响。所述运动校正单元：基于合成多个图像时的合成比率，设定参考与以规定的间隔提供的运动量相关的运动量信息的区间的参考点；基于设定的参考点来参考运动量信息；并进行校正。所述多个图像包括在长时间曝光周期中捕获的长时间曝光图像和在短时间曝光周期中捕获的短时间曝光图像。所述合成单元通过以合成比率合成长时间曝光图像和短时间曝光图像来生成宽动态范围图像。本技术可应用于成像设备。

Description

图像处理设备、图像处理方法、成像设备和程序

技术领域

本技术涉及一种图像处理设备、一种图像处理方法、一种成像设备和一种程序，并且例如涉及一种能够更适当地减少运动对图像质量的影响图像处理设备、一种图像处理方法、一种成像设备和一种程序。

背景技术

传统上，存在用于成像设备的动态范围扩展技术。例如，已知一种分时技术，其中，通过分时以不同灵敏度捕获图像，并且合成通过分时捕获的多个图像(例如，参考专利文献1)。

引文列表

专利文献

专利文献1：日本专利申请公开号2001-346096

发明内容

本发明要解决的问题

例如，在执行用于减少由于诸如相机抖动等运动引起的偏差的影响的校正(在下文中称为运动校正)的情况下，记录帧用作基准。在如上所述合成通过分时以不同灵敏度捕获的图像的情况下，将合成后的图像用作基准来进行运动校正。然而，存在不考虑以何种比例合成了以不同灵敏度捕获的图像来进行运动校正，从而降低校正精度的可能性。

鉴于这种情况作出了本技术，并且使得可以更适当地进行校正，用于减少由于运动而造成的影响。

问题的解决方案

根据本技术的一个方面的图像处理设备包括：合成单元，对在不同定时捕获的多个图像进行合成；以及运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，所述运动校正单元：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考运动量信息，以进行校正。

根据本技术的一个方面的图像处理方法包括包含以下步骤的处理：对在不同定时捕获的多个图像进行合成；以及执行减小对与运动相关的图像的影响的运动校正，所述处理通过以下步骤进行运动校正：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考运动量信息。

根据本技术的一个方面的成像设备包括图像处理设备，所述图像处理设备包括：合成单元，对在不同定时捕获的多个图像进行合成；以及运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，所述运动校正单元：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考所述运动量信息，以进行校正。

根据本技术的一个方面的程序促使计算机执行：包括以下步骤的处理：对在不同定时捕获的多个图像进行合成；以及执行减小对与运动相关的图像的影响的运动校正，所述处理通过以下步骤进行运动校正：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考所述运动量信息。

在根据本技术的一个方面的图像处理设备、图像处理方法和程序中，对在不同定时捕获的多个图像进行合成，并且执行减小对与运动相关的图像的影响的运动校正。通过以下步骤进行该运动校正：基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；并且根据所设定的基准来参考运动量信息。

在根据本技术的一个方面的成像设备中，提供了图像处理设备。

注意，图像处理设备和成像处理设备均可以是构成一个设备的独立设备或内部块。

此外，可以通过经由传输介质传输或者通过记录在记录介质上来提供程序。

本发明的效果

根据本技术的一个方面，可以更适当地执行减少由于运动而造成的影响的校正。

注意，在本文中描述的效果不一定是限制性的，并且可以应用本公开中描述的任何效果。

附图说明

[图1]是用于说明高动态范围图像的生成处理的示图。

[图2]是用于说明应用本技术的成像设备的配置的示图。

[图3]是用于说明图像处理单元的配置的示图。

[图4]是用于说明找到每个帧的参考时间重心的情况的示图。

[图5]是用于说明合成的示图。

[图6]是用于说明参考时间重心的偏差的示图。

[图7]是用于说明校正效果的示图。

[图8]是用于说明找到每行的参考时间重心的情况的示图。

[图9]是用于说明图像处理单元的另一配置的示图。

[图10]是用于说明记录介质的示图。

具体实施方式

在下文中，将描述用于执行本技术的模式(在下文中称为实施方式)。下面描述的本技术可以应用于进行校正以减小由于运动而造成的偏差(模糊)影响的设备(在下文中称为运动校正)。此外，本技术可以应用于捕获具有高动态范围的图像并且对具有高动态范围的这种图像进行运动校正以提高图像质量的设备。

此外，本技术还可以应用于通过执行多次具有相同曝光时间的成像(具有相同曝光时间但在不同定时的成像)以及通过位置对准和合成处理执行降低噪声的处理来提高图像质量的设备。

在此处，将描述捕获具有高动态范围的图像并且对这种具有高动态范围的图像进行运动校正的情况，作为示例。

<关于高动态范围图像的生成处理的概要>

首先，将描述高动态范围图像的生成处理的概要。可以通过合成长时间曝光图像和短时间曝光图像来生成高动态范围图像。将参照图1描述高动态范围图像的生成处理。

图1示出了合成(混合)短时间曝光图像51和长时间曝光图像52以生成高动态范围(HDR)图像55的处理的示例。在本公开的处理中的合成(混合)处理是根据混合系数β针对短时间曝光图像51和长时间曝光图像52的对应像素值的混合处理，并且通过该混合处理，设置输出图像(合成图像)的每个像素值。

首先，在步骤S11和S12中，通过将短时间曝光图像51和长时间曝光图像52乘以根据曝光率的常数来进行曝光校正。例如，在曝光率为16的10位传感器的情况下，在曝光校正阶段，短时间曝光图像乘以16，长时间曝光图像乘以1；此后，在步骤S13中，合成(混合)相应像素的像素值，以确定作为输出图像的HDR图像55的像素值。

注意，在曝光校正之后的短时间曝光图像将称为曝光校正的短时间曝光图像，在曝光校正之后的长时间曝光图像将称为曝光校正的长时间曝光图像。

将描述作为输出图像的HDR图像55的像素值确定处理的特定顺序。

例如，假设

DS：曝光校正的短时间曝光图像的像素值，

DL：曝光校正的长时间曝光图像的像素值，以及

DH：要输出的高动态范围图像的像素值，

在步骤S13中，在混合处理期间根据下面表示的公式来计算HDR图像55的像素值。

DH＝(1.0-β)×DS+β×DL

注意，对于曝光校正的短时间曝光图像和曝光校正的长时间曝光图像的每个对应像素位置，执行根据上述公式的像素值的混合。换言之，对同一对象的每个成像像素位置执行混合处理，使得确定输出图像(HDR图像)的每个像素值。

例如，通过这种处理，由于将曝光校正的短时间曝光像素的饱和像素值给定为1023×16＝16368(14位)，所以也将要输出的像素值给定为14位，并且实现了动态范围的扩展。

然而，在步骤S11和S12中，在通过乘以根据曝光率的常数执行曝光校正而获得的曝光校正的短时间曝光图像53和曝光校正的长时间曝光图像54中，有可能不保持作为像素值的精确值。换言之，短时间曝光图像53的暗部可能由于噪声而具有区块阴影(blocked upshadows)，而长时间曝光图像54的亮部可能具有高光溢出(blown out highlights)。因此，在步骤S13的混合处理中，执行不利用这些误差像素的像素值的混合处理。通过这种处理，可以获得从亮部到暗部具有良好信噪比(SNR)的HDR图像55。

<成像设备的配置>

图2是示出应用本技术的根据实施方式的成像设备的配置的示图。此外，图2所示的成像设备100是通过执行参照图1描述的处理来生成HDR图像55的设备。

在图2所示的成像设备100中，经由光学透镜101进入的光入射到由诸如CMOS图像传感器等成像单元构成的成像元件102上，并且输出通过光电转换的图像数据。将输出图像数据输入到图像处理单元103。

成像元件102的输出图像是其中为每个像素设置RGB像素值中的任何一个像素值的镶嵌图像(mosaic image)。图像处理单元103执行对每个像素设置所有RGB像素值的去马赛克处理、基于长时间曝光图像和短时间曝光图像的合成处理的高动态范围(HDR)图像的上述生成处理、稍后描述的运动校正处理等。

从传感器(诸如加速度传感器和陀螺仪传感器等)周期性发布的运动量信息用于运动校正处理。可以采用具有设置在图像处理单元103内部的这种传感器(未示出)的配置和具有设置在图像处理单元103外部的这种传感器(未示出)的配置。

将来自图像处理单元103的输出输入到信号处理单元104。信号处理单元104执行普通相机的信号处理(例如，白平衡(WB)调整、伽马校正等)，以生成输出图像120。输出图像120保存在存储单元(未示出)中。或者，输出图像120输出到显示单元(未示出)。

控制单元105根据保存在例如存储器(未示出)中的程序向每个单元输出控制信号，并控制各种处理。

<图像处理单元的配置和操作>

接下来，将描述图像处理单元103的配置和操作。图3示出了图像处理单元103的配置。如上所述，图像处理单元103执行高动态范围图像的生成处理、运动校正处理等。来自成像元件102的预校正图像151输入到图像处理单元103。将预校正图像151提供给HDR处理单元131。

HDR处理单元131根据提供的预校正图像151生成HDR图像55，以提供给运动校正单元132。预校正图像151表示长时间曝光图像和短时间曝光图像，并且HDR处理单元131根据提供的长时间曝光图像和短时间曝光图像生成HDR图像55，以提供给运动校正单元132。

当生成HDR图像55(生成合成图像)时，HDR处理单元131还生成合成统计量152，以提供给运动校正单元132。如稍后将参照图4描述的，当生成HDR图像55时，总统计量152是与参考长时间曝光图像和短时间曝光图像中的每一个的时间相关联的统计量。

此外，在稍后描述的示例中，总统计量152可以被指定为直方图的结果或从该直方图中找到的参考时间重心的结果。直方图的结果可以作为合成统计量152提供给运动校正单元132，使得运动校正单元132从直方图中找到参考时间重心，或者参考时间重心的结果可以作为合成统计量152提供给运动校正单元132。

运动校正单元132基于所提供的HDR图像55的合成统计量152来设置要参考的运动量信息，并且根据参考的运动量信息来计算用于抑制由于运动引起的影响的校正量，以进行校正。运动校正单元132向信号处理单元104(图2)输出其上已经执行了运动校正的校正后图像153。

<第一实施方式：获取帧之间的运动校正量>

将进一步描述HDR处理单元131和运动校正单元132的处理。图4是示出成像帧、记录帧、合成图片参考时间直方图、运动量信息和参考范围之间的关系的示图。

长时间曝光图像和短时间曝光图像中的每一个用作成像帧，并且通过合成这些长时间曝光图像和短时间曝光图像来生成一个记录帧。例如，从时间t1到时间t3的周期被指定为长时间曝光周期，并且将在该长时间曝光周期内由成像元件102捕获的图像提供给图像处理单元103(其中的HDR处理单元131)，作为长时间曝光图像1L。

此外，从时间t2到时间t4的周期被指定为短时间曝光周期，并且将在该短时间曝光周期内由成像元件102捕获的图像提供给图像处理单元103(其中的HDR处理单元131)，作为短时间曝光图像1S。然后，通过从时间t1到时间t4获得的长时间曝光图像1L和短时间曝光图像1S生成记录帧1F(HDR图像55)。

类似地，通过从时间t4到时间t7获得的长时间曝光图像2L和短时间曝光图像2S生成记录帧2F(HDR图像55)，通过从时间t7到时间t10获得的长时间曝光图像3L和短时间曝光图像3S生成记录帧3F(HDR图像55)，并且通过从时间t10到时间t13获得的长时间曝光图像4L和短时间曝光图像4S生成记录帧4F(HDR图像55)。

例如，当通过从时间t1到时间t4获得的长时间曝光图像1L和短时间曝光图像1S生成记录帧1F(HDR图像55)时，如参照图1所述，以预定比率通过混合系数β对长时间曝光图像1L和短时间曝光图像1S进行合成。例如，通过以下公式计算混合系数β。

β＝(VS)/(VS+VL)

在这种情况下，满足以下假设：

VL：在曝光校正之后在长时间曝光图像中的关注像素的噪声的变化值(variancevalue)

VS：在曝光校正之后在短时间曝光图像中的关注像素的噪声的变化值

然而，在长时间曝光像素饱和的情况下，进行校正使得满足β＝0。

对于每个像素混合系数β具有变化的可能性(取决于设置；例如，对于每一帧或帧中的每一行)。对于每个像素长时间曝光图像和短时间曝光图像之间的合成比率具有变化的可能性，并且不是恒定的。

图5是示出记录帧1F、长时间曝光图像1L和短时间曝光图像1S的部分(像素排列)的示图，假设在帧存储器中分别展开在长时间曝光周期内获取的数据和在短时间曝光周期内获取的数据并且通过这些展开的长时间曝光图像1L和短时间曝光图像1S生成记录帧1F的情况。

例如，从长时间曝光图像1L的像素PL1和短时间曝光图像1S的像素PS1生成记录帧1F的像素PF1。长时间曝光图像1L的像素PL1、短时间曝光图像1S的像素PS1和记录帧1F的像素PF1是位于每个图像中的相同位置的像素。类似地，从长时间曝光图像2L的像素PL2和短时间曝光图像2S的像素PS2生成记录帧2F的像素PF2。

例如，当从长时间曝光图像1L的像素PL1和短时间曝光图像1S的像素PS1生成记录帧1F的像素PF1时，像素PL1和PS1之间的混合比由上述混合系数β设置。假设像素PL1和PS1之间的混合比例如是2∶1。

此外，例如，假设当从长时间曝光图像2L的像素PL2和短时间曝光图像2S的像素PS2生成记录帧2F的像素PF2时，像素PL2和PS2之间的混合比是例如3∶1。

以这种方式，存在对于每个像素混合系数β和混合比变化的可能性。HDR处理单元131设置混合系数β，并基于该混合系数β合成长时间曝光图像L的像素PL和短时间曝光图像S的像素PS，从而生成HDR图像55的像素PF(记录帧F)。此外，在以这种方式生成HDR图像55的同时，HDR处理单元131还生成合成图片参考时间直方图(图4)。

在合成图片参考时间直方图(图4)中，横轴表示时间，纵轴表示频率。例如，频率可以被视为混合比(混合系数β)。例如，假设长时间曝光图像1L的像素PL1和像素PL2具有同时获取的像素值(假设为时间tL)，并且短时间曝光图像1S的像素PS1和像素PS2具有同时获取的像素值(假设为时间tS)。此外，如上所述，假设像素PL1和PS1之间的混合比是2∶1，像素PL2和PS2之间的混合比是3∶1。

在这种情况下，将合成图片参考时间直方图在时间tL的值规定为5(＝2+3)。此外，将合成图像参考时间直方图在时间tS的值规定为2(＝1+1)。以这种方式，每次计算值(混合比)并生成合成图片参考时间直方图。注意，尽管在此处作为示例描述了混合比(从混合系数β中找到的值)，但是也可以使用其他值创建直方图。

以这种方式生成每个帧的合成图片参考时间直方图。然后，在生成的合成图片参考时间直方图中找到重心，并将找到的重心位置作为参考时间重心。稍后描述如何找到这个参考时间重心。

在该参考时间重心和下一个参考时间重心之间的时间(区间)中获取的运动量信息用于计算运动校正量。例如，在处理记录帧1F时，时间T1被设置为合成图片参考时间直方图的参考时间重心，并且在处理记录帧2F时，时间T2被设置为合成图片参考时间直方图的参考时间重心的情况下，从时间T1到时间T2的区间获得的运动量信息被指定为记录帧2F要参考的运动量信息，并且计算运动量校正量。

每隔预定间隔(周期)从传感器(加速度传感器、陀螺仪传感器等)输出运动量信息。因此，在这种情况下，如果该区间变长，则要参考的运动量信息变大；如果该区间变短，则要参考的运动量信息变小。此外，在参考时间重心更靠近长时间曝光周期侧的情况下，在长时间曝光周期内获得的运动量信息变成主要的，并且在参考时间重心更靠近短时间曝光周期侧的情况下，在短时间曝光周期内获得的运动量信息变成主要的。

返回参照图4的解释，继续进行说明。参考从记录帧1F中找到的合成图片参考时间直方图到从记录帧4F中找到的合成图片参考时间直方图的合成图片参考时间直方图，从长时间曝光图像L找到的直方图逐渐变小，从短时间曝光图像S找到的直方图逐渐变大。随着这种变化，参考时间重心也移动到从短时间曝光图像S中找到的直方图侧。

如上所述，当合成在不同定时(例如，具有不同曝光时间)捕获的多个图像时，基于图像的合成比率来设置为了校正由于运动等造成的模糊量(blur amount)而要参考的信息区间。因此，可以执行更适当的校正。

在此处，将给出关于可以执行更适当的校正的进一步解释。图6表示如图4所示的成像帧和记录帧，并且是用于比较如上所述计算参考时间重心的情况和通过传统方法计算参考时间重心的情况的示图。

在图6中，C1表示长时间曝光周期，C2表示短时间曝光周期。此外，B2表示长时间曝光周期和短时间曝光周期之间的曝光间隔。此外，在图6中，带有虚线(dash)的时间(例如，T1’)表示通过传统方法计算的参考时间重心，而不带虚线的时间表示通过应用本技术来计算的参考时间重心。

在图6所示的示例中，记录帧率被指定为30(ftp)，长时间曝光周期C1被指定为31(msec)，短时间曝光周期C2被指定为0.1(msec)，并且曝光间隔B2被指定为1(msec)。此外，在此处，假设混合比被设置为使得使用整个短时间曝光图像并且不混合长时间曝光图像。

在这种情况下，根据上述本实施方式，参考时间重心设置在短时间曝光图像侧。在图6中，如时间T1、时间T2、时间T3和时间T4所示，参考时间重心设置在短时间曝光图像侧，具体地，设置在短时间曝光周期的中心时间。

另一方面，在这种情况下，根据传统参考时间重心的设置，例如，在一个记录帧的中心的时间，换言之，通过将长时间曝光周期C1、短时间曝光周期C2和曝光间隔B2相加而获得的周期的中心时间设置为参考时间重心。参考时间重心设置在长时间曝光周期的近似中心时间，如图6中时间T1’、时间T2’、时间T3’和时间T4’所示。

在这种情况下，由本实施方式找到的参考时间重心和由传统技术找到的参考时间重心在一些情况下彼此显著不同。在图6所示的情况下，将由本实施方式找到的参考时间重心(例如，时间T1)和由传统技术找到的参考时间重心(例如，时间T1’)之间的差值规定为以下值。

差值＝(C1+B2+C2/2)-(C1+B2+C2)/2

＝(C1+B2)/2

＝(31+1)/2

＝16(msec)

在这种情况下，由于从短时间曝光图像生成记录帧，所以认为可以通过进行运动校正来执行适当的运动校正，同时使在捕获短时间曝光图像时获得的运动量信息成为主要的。根据本实施方式找到的参考时间重心，由于当捕获短时间曝光图像时运动量信息变成主要的，因此可以执行适当的运动校正。

然而，在通过传统技术找到的参考时间重心中，由于记录帧的中心时间被设置为与混合比无关，所以即使在如图6所示的情况下，当捕获长时间曝光图像时的运动量信息也变成主要的，这导致不能执行适当的运动校正的可能性。

图7示出了对参考时间重心的偏差和运动校正的效果的模拟结果。在图7所示的曲线图中，横轴表示运动频率(Hz)，纵轴表示剩余的校正量。此外，图7示出了作为参考时间重心的偏差的2、4、8、12、16、20、24、28和32(msec)中的每一个的曲线图。

在图7中，100％的剩余校正量的线表示校正无效的状态(0％)，并且剩余校正量为100％或更大的情况表示沿相反方向进行校正(错误地进行校正)。可以看出，随着参考时间重心的偏差变大或运动频率变大，校正效果0％的线变得很容易被超过。

此外，可以看出，当参考时间重心有偏差时，即使相机抖动频率很小，也会产生剩余的校正量，并导致未充分完成校正的情况。

从该结果可以看出，当存在适当的参考时间重心偏离时，产生剩余的校正，并且当适当的参考时间重心的偏离变大时，难以获得运动校正的效果，这进一步导致造成错误校正的可能性。

根据本技术，如上所述，因为可以设置适当的参考时间重心(因为可以使参考时间重心的偏差大致为零)，所以可以执行适当的校正。

<第二实施方式：获取帧中的运动校正量>

在第一实施方式中，已经给出了在帧之间计算运动校正量以进行运动校正的示例的描述。换言之，已经给出了一个实施方式的描述，其中，针对一个帧计算一个运动校正量，并且在一个帧上进行运动校正。

作为第二实施方式，将给出一个示例的描述，其中，在一个帧内计算多个运动校正量，并且使用这些计算的运动校正量来进行运动校正。在此处的描述中，将举例说明针对帧中的每一行计算运动校正量并且针对每一行进行运动校正的情况。

图8是示出如图4所示在成像帧、记录帧、合成图片参考时间直方图、运动量信息和参考范围之间的关系的示图。例如，针对通过示出在成像帧(记录帧)的横向方向(y轴方向)上的线而获得的行y生成合成图片参考时间直方图。

在第二实施方式中，为每一行生成直方图，使得基于该直方图，为每一行找到参考时间重心、设置运动量信息的参考范围、计算运动校正量并进行运动校正。

例如，行y是在长时间曝光时间内已经在时间t1’和时间t2’之间曝光并且在短时间曝光时间内也已经在时间t3’和时间t4’之间曝光的行。在这种情况下，参考在时间t1’和时间t2’之间设置的混合比，创建与长时间曝光图像中的行y相关联的直方图。此外，参考在时间t3’和时间t4’之间设置的混合比，创建与短时间曝光图像中的行y相关联的直方图。

以这种方式创建的直方图用于设置记录帧内的行y的参考时间重心。

由于除了对每一行执行这种处理之外，能够以与对每一帧执行该处理的第一实施方式相同的方式执行该处理，因此将省略对其的详细描述。

<如何找到参考时间重心>

如上所述，在本技术中，考虑长时间曝光图像和短时间曝光图像之间的混合比，找到参考时间重心。在此处，将进一步解释如何找到参考时间重心。在以下解释中，将描述图4中的时间t1到时间t4(长时间曝光时间)是16(msec)的情况，作为示例。

如下定义参考时间矩阵。

T＝{1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16}...(1)

虽然在此处举例说明了16(msec)的情况，但是要素(factor)的数量可以指定为N。

在公式(1)中，每个要素表示从Vsync经过的时间。例如，第一个要素对应于从Vsync经过的时间为0到1msec的区间。直方图的计算精度在此处被指定为1msec，但不限于该精度。

接下来，如下定义像素[y][x]的参考时间识别矩阵。

A[y][x]＝像素[y][x]的参考时间识别矩阵...(2)

参考时间识别矩阵A[y][x]的示例如下所示。例如，以CMOS传感器共有的AD转换器的列模数(AD)配置为例，对x方向上的像素同时执行成像。在这种情况下，公式(2)的示例可以如下所示。

A[y][x]

＝A[y][0]

＝{{0、0、1、1、1、1、1、1、1、0、0、0、0}、{0、0、0、0、0、0、0、0、0、0、0、0、0、0、1、1}}

在此处，第一要素是在像素[y][x]处的长时间曝光图像的参考时间识别矩阵，第二要素是在像素[y][x]处的短时间曝光图像的参考时间识别矩阵。此外，上述参考时间识别矩阵中的数值是识别信息，其中，在参考时指定1，在未参考时指定0。

接下来，如下定义合成比率行示例。

B[y][x]＝像素[y][x]的合成比率矩阵...(3)

合成比率矩阵B[y][x]的示例如下所示。

B[y][x]＝{0.8，0.2}

在该示例的情况下，这意味着对于预定像素，长时间曝光图像以0.8的比例合成，短时间曝光图像以0.2的比例合成。

如下定义同一行(y坐标)的合成图像参考时间直方图hist[y]。

【数学公式1】

在公式(4)中，n是取n＝0，1，...N-1的值，N表示公式(1)中T的要素的数量。此外，m表示参考成像帧数，并且在参考长时间曝光图像和短时间曝光图像的两个帧的情况下，满足m＝0，1。

将指示合成图像参考时间直方图hist[y]的示例。在下面的示例中，B[y][x]是{0.8，0.2}，而不考虑x，并且举例说明了同一行上相同合成比率的情况。

此外，以下示例表示使用上述公式(1)的示例、公式(2)的示例和公式(3)的示例的情况。

hist[y]＝{0、0、0.8、0.8、0.8、0.8、0.8、0.8、0.8、0.8、0.8、0、0.2、0.2、0.2}

到目前为止，通过这些处理，为每一行生成一个直方图。与第二实施方式中一样，在为每一行生成直方图并且为每一行计算参考时间重心的情况下，在公式(4)中生成每一行的直方图，并且通过下面的公式(5)计算每一行的参考时间重心。

可以通过以下公式找到合成图像参考时间直方图的时间重心(hist[y])，即，参考时间重心。

【数学公式2】

将指示合成图像参考时间直方图的时间重心(hist[y])的示例。与上述hist[y]的示例一样，该示例是使用上述公式(1)的示例、公式(2)的示例和公式(3)的示例的情况，并且表示使用公式(4)的示例的情况。

中心(hist[y])＝(0·1、0·2、0.8·3、0.8·4、0.8·5、0.8·6、0.8·7、0.8·8、0.8·9、0.8·10、0.8·11、0.8·12、0·13、0.2·14、0.2·15、0.2·16)/16＝4.3125(msec)

以这种方式为每一行计算参考时间重心。

与第一实施方式中一样，在为每一帧创建直方图并且为每一帧计算参考时间重心的情况下，由下面的公式创建直方图。

【数学公式3】

在公式(6)中，hist[y]是由公式(4)计算的直方图。公式(6)是通过在纵向上对公式(4)表示的每一行的直方图(横向上的直方图)进行积分来生成帧的直方图的公式。

由以下公式从基于公式(6)计算的一个帧的合成图像参考时间直方图中找到合成图像参考时间直方图的时间重心(hist)，即，参考时间重心。

【数学公式4】

通过公式(7)找到整个帧的合成图像参考时间直方图的时间重心，即，一个帧的参考时间重心。

注意，在此处参考例如图4或图8解释了在创建直方图之后找到参考时间重心，但是可以通过省略创建直方图的步骤，直接找到参考时间重心。

例如，可以省略在上述公式(4)(或公式(6))中找到合成图像参考时间直方图的步骤，使得由公式(5)(或公式(7))计算合成图像参考时间直方图的时间重心。

<第三实施方式：图像处理单元的另一配置>

接下来，将描述图像处理单元103的另一配置。图9是示出图像处理单元103的另一配置的示图。与图3所示的图像处理单元103一样，图9所示的图像处理单元103执行高动态范围图像的生成处理、运动校正处理等。

来自成像元件102的预校正图像231输入到图3所示的图像处理单元103。将预校正图像231提供给运动校正单元201。运动校正单元201对所提供的预校正图像231进行运动校正。经由反馈单元203将从HDR处理单元202输出的合成统计量234提供给运动校正单元201，并且运动校正单元201基于所提供的合成统计量234对预校正图像231进行运动校正。

在上述示例中，预校正图像231表示长时间曝光图像和短时间曝光图像，并且运动校正单元201对长时间曝光图像和短时间曝光图像中的每一个进行运动校正。

将运动校正单元201已经应用了运动校正的校正后图像232提供给HDR处理单元202。HDR处理单元202从提供的校正后图像232(例如，已经应用了运动校正的长时间曝光图像和短时间曝光图像)中生成HDR图像233，以提供给信号处理单元104(图2)。

当生成HDR图像233(生成合成图像)时，HDR处理单元202还生成合成统计量234，以经由反馈单元203提供给运动校正单元201。如上面参照图4和其他附图所描述的，总统计量234是与当生成HDR图像233(直方图或从直方图中找到的参考时间重心)时参考长时间曝光图像和短时间曝光图像中的每一个的时间相关联的统计量。

图3所示的图像处理单元103具有在生成HDR图像之后进行运动校正的处理流程，但是图9所示的图像处理单元103与图3所示的图像处理单元103的不同之处在于具有在进行运动校正之后生成HDR图像的处理流程。

由于图3和图9中分别示出的图像处理单元103的相似之处在于，当生成HDR图像时生成合成统计量，并且使用该合成统计量进行运动校正，所以作为第一和第二实施方式描述的实施方式也可以应用于图9中示出的图像处理单元103。因此，在此处省略了对图9所示的图像处理单元103的处理的详细描述。

图9所示的图像处理单元103具有在进行运动校正之后生成HDR图像的处理流程，换言之，具有由反馈单元203反馈合成统计量234的处理流程，换言之，由于当第n帧被转换成HDR图像时，使用合成统计量234生成第(n+1)帧，所以利用延迟了1V的合成统计量234来进行运动校正。

然而，由于合成统计量234不是对于每一帧都大幅改变的信息，所以即使出现这种延迟，精度也不会显著降低。

根据本技术，能够以捕获合成图像的时间作为基准来进行运动校正，并且可以防止运动校正的校正精度由于合成结果而降低，从而可以在接近100％的状态下显示运动校正的效果。

注意，在此处描述了当捕获长时间曝光图像和短时间曝光图像并且生成HDR图像时的运动校正，作为示例，但是本技术的应用范围不仅仅限于这种成像和校正。

本技术可以应用于合成在不同拍摄定时捕获的多个图片的情况。在上述示例中，多个图片表示长时间曝光图像和短时间曝光图像这两个图像，但是本技术也可以应用于合成两个或更多个图像的情况。

例如，本技术也可以应用于通过合成在不同拍摄定时拍摄的多个图片来执行降噪处理的情况。换言之，除了运动校正之外，本技术还可以应用于降噪处理。

此外，在上述实施方式中，已经给出了在捕获长时间曝光图像之后捕获短时间曝光图像的示例的描述。换言之，已经描述了通过分时捕获长时间曝光图像和短时间曝光图像的情况，作为示例。然而，本技术也可以应用于以除分时之外的方式(例如，通过空间分割)捕获长时间曝光图像和短时间曝光图像的情况。

例如，本技术甚至可以应用于将用于对长时间曝光图像成像的像素和用于对短时间曝光图像成像的像素设置在像素阵列单元(未示出)中的情况，使得在拍摄长时间曝光图像的同时(在长时间曝光周期)，拍摄短时间曝光图像(短时间曝光周期与其共存)。即使在通过空间分割捕获长时间曝光图像和短时间曝光图像的情况下，长时间曝光图像和短时间曝光图像是在不同定时捕获的图像，并且本技术可以应用于合成在不同定时捕获的这种图像的情况。

此外，根据本技术，当合成在不同定时捕获的图像时，根据合成比率(混合比)设置参考时间重心，从而设置运动量信息被参考的区间，由此可以设置适当的区间。作为使用要通过设置这种适当区间来参考的运动量信息的处理，可以执行除上述运动校正之外的校正(处理)，并且即使在执行除运动校正之外的处理的情况下，也可以提高这种处理的精度。

此外，在上述实施方式中，已经描述了捕获长时间曝光图像和短时间曝光图像的情况，作为示例。然而，例如，本技术也可以应用于合成当红外(IR)投影到其上时拍摄的图像和当IR未投影到其上时拍摄的图像(用环境光拍摄的图像)的情况。

<关于记录介质>

一系列上述处理也可以由硬件执行，也可以由软件执行。在这系列处理由软件执行的情况下，构成软件的程序安装在计算机中。在本文中，计算机包括内置于专用硬件中的计算机和当安装有各种程序时能够执行各种功能的计算机，例如，通用个人计算机等。

图10是示出使用程序执行上述一系列处理的计算机的示例性硬件配置的方框图。在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504互连。此外，输入/输出接口505连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接到输入/输出接口505。

输入单元506包括键盘、鼠标、麦克风等。输出单元507包括显示器、扬声器等。存储单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移除介质511，例如，磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，以CPU 501经由输入/输出接口505和总线504将存储在存储单元508中的程序加载到RAM 503以执行的方式，执行一系列上述处理。

例如，可以通过记录在用作包装介质等的可移除介质511中，来提供由计算机(CPU501)执行的程序。此外，可以经由有线或无线传输介质提供该程序，例如，局域网、互联网或数字卫星广播。

在计算机中，可以通过将可移除介质511安装在驱动器510中，经由输入/输出接口505将程序安装到存储单元508。此外，当被通信单元509接收时，程序可以经由有线或无线传输介质安装到存储单元508。作为替代方式，程序可以预先安装到ROM 502或存储单元508。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序沿着时间序列执行处理的程序，或者可选地，可以是并行或者在必要的定时(例如，当调用时)执行处理的程序。

此外，在本说明书中，术语“系统”指的是由多个设备构成的整个设备。

注意，本说明书中描述的效果仅用作示例，而不被解释为是限制性的。可能还有另一种效果。

注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术要点的情况下，进行各种修改。

注意，也可以如下所述配置本技术。

(1)一种图像处理设备，包括：

合成单元，对在不同定时捕获的多个图像进行合成；以及

运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，

运动校正单元：

基于在合成多个图像时的合成比率来设定运动量信息被参考的区间的基准，运动量信息与以预定间隔提供的运动量相关；并且

根据所设定的基准来参考运动量信息，以进行校正。

(2)根据上述(1)所述的图像处理设备，其中，

多个图像是在长时间曝光周期内捕获的长时间曝光图像和在短时间曝光周期内捕获的短时间曝光图像，并且

合成单元以合成比率对长时间曝光图像和短时间曝光图像进行合成，以生成具有高动态范围的图像。

(3)根据上述(1)所述的图像处理设备，其中，

多个图像是以相同曝光时间捕获的、并且在不同定时捕获的多个图像，并且

合成单元对多个图像进行合成，以生成具有减小了噪声的图像。

(4)根据上述(1)至(3)中任一项所述的图像处理设备，其中，

运动校正单元：

指定与时间相关的直方图作为统计量，在时间处，通过在合成单元中合成多个图像而生成的合成图像参考多个图像，并且

根据统计量设置基准。

(5)根据上述(4)所述的图像处理设备，其中，

为每个合成图像设定基准。

(6)根据上述(4)所述的图像处理设备，其中，

为每行合成图像设定基准。

(7)根据上述(1)至(6)中任一项所述的图像处理设备，其中，

运动校正单元对通过在合成单元中合成多个图像而生成的合成图像进行校正。

(8)根据上述(1)至(6)中任一项所述的图像处理设备，其中，

合成单元对由运动校正单元实施了校正的多个图像进行合成。

(9)一种图像处理方法，包括包含以下步骤的处理：

对在不同定时捕获的多个图像进行合成；并且

执行减小对与运动相关的图像的影响的运动校正，

通过以下步骤进行运动校正的处理：

基于在合成多个图像时的合成比率来设定运动量信息被参考的区间的基准，运动量信息与以预定间隔提供的运动量相关；并且

根据所设定的基准来参考运动量信息。

(10)一种成像设备，包括图像处理设备，图像处理设备包括：

合成单元，对在不同定时捕获的多个图像进行合成；以及

运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，

运动校正单元：

基于在合成多个图像时的合成比率来设定运动量信息被参考的区间的基准，运动量信息与以预定间隔提供的运动量相关；并且

根据所设定的基准来参考运动量信息，以进行校正。

(11)一种程序，用于促使计算机执行：

包括以下步骤的处理：

对在不同定时捕获的多个图像进行合成；以及

执行减小对与运动相关的图像的影响的运动校正，

通过以下步骤进行运动校正的处理：

基于在合成多个图像时的合成比率来设定运动量信息被参考的区间的基准，运动量信息与以预定间隔提供的运动量相关；并且

根据所设定的基准来参考运动量信息。

附图标记列表

100 成像设备

101 光学透镜

102 成像元件

103 图像处理单元

104 信号处理单元

105 控制单元

131 HDR处理单元

132 运动校正单元

201 运动校正单元

202 HDR处理单元

203 反馈单元。

Claims (11)

1.一种图像处理设备，包括：

合成单元，对在不同定时捕获的多个图像进行合成；以及

运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，

所述运动校正单元：

基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；

并且

根据所设定的基准来参考所述运动量信息，以进行校正。

2.根据权利要求1所述的图像处理设备，其中，

所述多个图像是在长时间曝光周期内捕获的长时间曝光图像和在短时间曝光周期内捕获的短时间曝光图像，并且

所述合成单元以所述合成比率对所述长时间曝光图像和所述短时间曝光图像进行合成，以生成具有高动态范围的图像。

3.根据权利要求1所述的图像处理设备，其中，

所述多个图像是以相同曝光时间捕获的、并且在不同定时捕获的多个图像，并且

所述合成单元对所述多个图像进行合成，以生成具有减小了噪声的图像。

4.根据权利要求1所述的图像处理设备，其中，

所述运动校正单元：

指定与时间相关的直方图作为统计量，在所述时间处，通过在所述合成单元中合成所述多个图像而生成的合成图像参考所述多个图像，并且

根据所述统计量设置所述基准。

5.根据权利要求4所述的图像处理设备，其中，

为每个所述合成图像设定所述基准。

6.根据权利要求4所述的图像处理设备，其中，

为每行所述合成图像设定所述基准。

7.根据权利要求1所述的图像处理设备，其中，

所述运动校正单元对通过在所述合成单元中合成所述多个图像而生成的合成图像进行校正。

8.根据权利要求1所述的图像处理设备，其中，

所述合成单元对由所述运动校正单元实施了校正的多个图像进行合成。

9.一种图像处理方法，包括包含以下步骤的处理：

对在不同定时捕获的多个图像进行合成；以及

执行减小对与运动相关的图像的影响的运动校正，

通过以下步骤进行运动校正的处理：

基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；

并且

根据所设定的基准来参考所述运动量信息。

10.一种成像设备，包括图像处理设备，所述图像处理设备包括：

合成单元，对在不同定时捕获的多个图像进行合成；以及

运动校正单元，执行减小对与运动相关的图像的影响的校正，其中，

所述运动校正单元：

基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；

并且

根据所设定的基准来参考所述运动量信息，以进行校正。

11.一种程序，用于使计算机执行：

包括以下步骤的处理：

对在不同定时捕获的多个图像进行合成；以及

执行减小对与运动相关的图像的影响的运动校正，

通过以下步骤进行运动校正的处理：

基于在合成所述多个图像时的合成比率来设定运动量信息被参考的区间的基准，所述运动量信息与以预定间隔提供的运动量相关；

并且

根据所设定的基准来参考所述运动量信息。