CN109328454A - 图像处理装置 - Google Patents

Abstract

图像处理装置具有：离散运动矢量计算部(2)，其根据基准图像和参照图像，或者根据基准图像和由参照图像生成的合成图像来计算各测定区域的运动矢量及其置信度；全局矢量计算部(3)、局部矢量插值部(4)以及局部矢量置信度插值部(5)，它们根据运动矢量和置信度来分别计算基准图像的全局矢量及其置信度、基准图像内的处理对象区域的局部矢量、局部矢量的置信度；运动矢量选择部(6)，其根据局部矢量及其置信度以及全局矢量及其置信度中的至少一方来选择局部矢量或全局矢量；运动补偿图像生成部(7)，其根据所选择的矢量而生成参照图像或合成图像的运动补偿图像；以及混合合成部(8)，其对处理对象区域和运动补偿图像进行加权相加。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，尤其涉及通过对多张图像进行合成来降低噪声的帧递归式降噪。

背景技术

以往，作为动态图像的噪声去除方法之一，公知有递归式降噪(例如，参照专利文献1和2)。在专利文献1、2中，根据基准图像和在该基准图像的一帧之前获取的参照图像来计算基准图像的全局矢量和基准图像内的对象块的局部矢量，分别使用全局矢量和局部矢量来执行运动补偿而生成两个运动补偿图像。然后，计算基准图像与各运动补偿图像的相关性，将相关性较高一方的运动补偿图像与基准图像合成，由此生成降低了噪声后的基准图像。

现有技术文献

专利文献

专利文献1：日本特许第4645736号公报

专利文献2：日本特许第4506875号公报

发明内容

发明要解决的课题

两个运动补偿图像是分别使用全局矢量和局部矢量来对噪声降低处理后的全分辨率的参照图像进行运动补偿处理后的图像。为了生成这样的运动补偿图像，每次都需要对保存噪声降低处理后的参照图像的帧存储器进行访问。因此，在针对各对象块生成两个运动补偿图像的专利文献1、2的图像处理装置中，存在如下课题：因对其他区域的访问而发生传送数据的总线带宽的压迫。

在想要通过一次访问来获取包含全局矢量和局部矢量这两者的运动补偿图像在内的区域的情况下，要获取的区域变大，数据量增加。因此，无法避免总线带宽的压迫。

本发明就是鉴于上述情况而完成的，其目的在于提供一种图像处理装置，该图像处理装置能够进行递归式的降噪并且减少向帧存储器的访问量。

用于解决课题的手段

为了达成上述目的，本发明提供以下的手段。

本发明的一个方式是一种图像处理装置，该图像处理装置对按时间序列获取的多个图像进行混合合成而生成合成图像，其具有：离散运动矢量计算部，其针对基准图像和在该基准图像之前获取的参照图像，或针对基准图像和根据该参照图像而生成的合成图像设定离散的多个测定区域，计算该多个测定区域各自的运动矢量和该运动矢量的置信度；全局矢量计算部，其根据该离散运动矢量计算部所计算出的所述运动矢量和所述置信度，计算表示所述基准图像整体的运动的全局矢量和该全局矢量的置信度；局部矢量插值部，其根据所述离散运动矢量计算部所计算出的多个所述运动矢量，计算所述基准图像内的处理对象区域中的局部矢量；局部矢量置信度插值部，其根据所述离散运动矢量计算部所计算出的所述多个运动矢量的置信度，计算所述处理对象区域中的所述局部矢量的置信度；运动矢量选择部，其根据所述全局矢量、所述全局矢量的置信度、所述局部矢量、以及所述局部矢量的置信度中的至少一方来选择所述局部矢量和所述全局矢量中的任意一方；运动补偿图像生成部，其根据该运动矢量选择部所选择的矢量，生成与所述基准图像内的所述处理对象区域对应的所述参照图像或所述合成图像的运动补偿图像；以及混合合成部，其对所述基准图像内的所述处理对象区域和所述运动补偿图像进行加权相加。

根据本方式，由离散运动矢量计算部根据基准图像和参照图像来计算在基准图像内离散地设定的多个测定区域的运动矢量和它们的置信度，接着，由全局矢量计算部计算基准图像的全局矢量，并且由局部矢量插值部和局部矢量置信度插值部分别计算基准图像内的处理对象区域的局部矢量及其置信度。接着，由运动矢量选择部选择全局矢量和局部矢量中的任意一方，由运动补偿图像生成部使用所选择的矢量根据参照图像或基于参照图像的合成图像而生成运动补偿图像。然后，由混合合成部通过将运动补偿图像与基准图像内的处理对象区域加权相加从而能够生成降低了噪声后的基准图像。

在这种情况下，在生成运动补偿图像之前，选择全局矢量和局部矢量中的一方，针对一个处理对象区域仅生成一张运动补偿图像。由此，能够减少向保存参照图像或合成图像的帧存储器的访问量。

在上述方式中，所述运动矢量选择部可以具有：局部矢量阈值设定部，其设定对于所述局部矢量的置信度的阈值；以及矢量确定部，其在所述局部矢量的置信度为所述阈值以上的情况下，选择局部矢量，在所述局部矢量的置信度小于所述阈值的情况下，选择全局矢量。

这样，能够通过简单的阈值判定来确定选择局部矢量和全局矢量中的哪一个。

在上述方式中，所述局部矢量阈值设定部可以将所述阈值设定为规定的值。

这样，能够使矢量的选择精度稳定。

在上述方式中，所述局部矢量阈值设定部可以根据所述全局矢量的置信度、大小、或置信度和大小这两者来校正所述阈值。

局部矢量及其置信度容易受运动矢量的计算误差的影响，与此相对，全局矢量及其置信度不容易受运动矢量的计算误差的影响。因此，通过还考虑全局矢量的大小和置信度中的至少一方，能够降低运动矢量的计算误差等给矢量确定部的矢量的选择结果带来的影响，选择更加适当的矢量。

在上述方式中，所述局部矢量阈值设定部也可以根据所述全局矢量的置信度、以及所述全局矢量与所述局部矢量之差来校正所述阈值。

这样，能够根据全局矢量的置信度、全局矢量与局部矢量之差来评价局部矢量的准确度，执行阈值的适当校正。

在上述方式中，所述矢量确定部可以根据所述全局矢量的置信度、以及所述全局矢量与所述局部矢量之差来校正所述局部矢量的置信度。

这样，能够根据全局矢量的置信度、全局矢量与局部矢量之差来评价局部矢量的准确度，执行局部矢量的置信度的适当校正。

在上述方式中，所述离散运动矢量计算部可以具有图像缩小部，该图像缩小部对所述基准图像、以及所述参照图像或所述合成图像进行缩小，根据被该图像缩小部缩小后的基准图像以及被所述图像缩小部缩小后的参照图像或合成图像来计算所述运动矢量和运动矢量的置信度。

这样，能够抑制所保存的图像数据的尺寸。

发明效果

根据本发明实现了如下效果：能够进行递归式的降噪并且减少对帧存储器的访问量。

附图说明

图1是本发明的一个实施方式的图像处理装置和摄像系统的整体结构图。

图2A是示出设定在缩小的当前帧和过去帧内的测定区域、缩小的当前帧内的测定区域中的运动矢量的一例的图。

图2B是示出置信度判定后的图2A的当前帧的一例的图。

图3是示出图2B的当前帧的运动矢量的统计处理结果的图表。

图4A是示出缩小的当前帧的运动矢量的另一例的图。

图4B是对当前帧内的处理对象区域的局部矢量及其置信度的计算处理的一例进行说明的图。

图4C是对当前帧内的处理对象区域的局部矢量及其置信度的计算处理的另一例进行说明的图。

图5是表示局部矢量的置信度与所选择的矢量之间的关系的图。

图6是示出基准图像的处理对象区域和运动补偿图像之间的相似度与混合合成比例之间的关系的一例的曲线图。

图7是示意性地示出混合合成的处理序列的图。

图8是示出图1的图像处理装置中的图像处理的序列的图。

图9是对当前帧内的处理对象区域的局部矢量及其置信度的计算处理的另一例进行说明的图。

图10A是表示图9的变形例中的局部矢量的置信度与所选择的矢量之间的关系的图。

图10B是表示图9的变形例中的局部矢量的置信度与所选择的矢量之间的另一关系的图。

图11A是示出全局矢量和局部矢量的差分绝对值与阈值的对应关系的一例的曲线图。

图11B是示出全局矢量和局部矢量的差分绝对值与阈值的对应关系的另一例的曲线图。

图12A是示出全局矢量和局部矢量的差分绝对值与相对于局部矢量的置信度的偏移值的对应关系的一例的曲线图。

图12B是示出全局矢量和局部矢量的差分绝对值与相对于局部矢量的置信度的偏移值的对应关系的另一例的曲线图。

图13是对现有技术的运动补偿图像的生成处理进行说明的图。

具体实施方式

下面，参照附图对本发明的一个实施方式的图像处理装置和具有该图像处理装置的摄像系统进行说明。

图1所示的摄像系统100例如是对静态图像或动态图像进行拍摄并进行记录的数字摄像机、数字静态照相机等。图1示出了摄像系统100的块结构。

如图1所示，摄像系统100具有：图像输入部1，其对被摄体进行拍摄并将该被摄体作为图像而取入；离散运动矢量计算部2，其对当前的帧图像内的运动矢量进行计算；全局矢量计算部3，其对当前的帧图像的全局矢量及其置信度进行计算；局部矢量插值部4，其对当前的帧图像内的每个处理对象区域的局部矢量进行计算；局部矢量置信度插值部5，其对各局部矢量的置信度进行计算；运动矢量选择部6，其按每个处理对象区域选择全局矢量和局部矢量中的任意一个；运动补偿图像生成部7，其根据当前的帧图像的一帧之前的帧图像而生成各处理对象区域用的运动补偿图像；混合合成部8，其对当前的帧图像内的处理对象区域和运动补偿图像进行混合合成，从而生成降低了噪声后的当前的帧图像作为输出图像(合成图像)；以及帧存储器9，其保存上述处理所需的图像数据。

图像处理装置具有离散运动矢量计算部2、全局矢量计算部3、局部矢量置信度插值部5、局部矢量插值部4、运动矢量选择部6、运动补偿图像生成部7、混合合成部8、以及帧存储器9。

图像输入部1例如具有对来自被摄体的光进行会聚而形成光学像的摄像镜头、和对通过摄像镜头形成的光学像进行拍摄而获取图像的摄像元件。摄像元件例如具有拜耳排列构造，生成帧图像的拜耳排列的RAW数据，通过对RAW数据实施去马赛克处理而使其全彩色化。图像输入部1将全彩色化后的帧图像的数据输出给离散运动矢量计算部2和混合合成部8。因此，在混合合成部8中合成全彩色的输出图像。

离散运动矢量计算部2具有图像缩小部2a。离散运动矢量计算部2将从图像输入部1输入的当前的帧图像(基准图像。以下称为“当前帧”)和时间方向上当前帧的一帧之前的帧图像(参照图像。以下称为“过去帧”)在图像缩小部2a中缩小之后输出给帧存储器9。在帧的缩小处理中例如使用了像素的间隔去除处理、双三次法等。因此，在帧存储器9中保存有缩小的当前帧和缩小的过去帧。

保存在帧存储器9中的缩小的过去帧也可以是从混合合成部8输出的输出图像即对实施了噪声降低处理后的过去帧进行缩小后的帧。在这种情况下，输出图像的缩小处理可以在混合合成部8和图像缩小部2a中的任意一个中进行。

图像输入部1也可以不进行全彩色化而将RAW数据直接输出给离散运动矢量计算部2和混合合成部8。在这种情况下，在离散运动矢量计算部2的图像缩小部2a中，根据RAW数据而简单地生成亮度信号Y。例如，通过双线性法等去马赛克处理来进行彩色化，从而将RAW数据转换为YCbCr形式的数据，生成亮度信号Y。或者，通过对拜耳排列的R、Gr、Gb、B这四个像素的信号值进行相加平均而生成四个像素的中心位置的模拟的亮度信号Y。这样，在生成亮度信号Y之后，进行缩小处理。

离散运动矢量计算部2从帧存储器9读出缩小的当前帧F1和缩小的过去帧F0，如图2A所示那样，按当前帧F1内的每个离散的测定区域A来计算过去帧F0与当前帧F1之间的表示被摄体的运动的运动矢量。图2A和图2B的测定区域A内的箭头表示计算出的运动矢量。

具体而言，离散运动矢量计算部2针对当前帧F1，以空出间隔(优选以等间隔)的方式设定测定区域A。另外，离散运动矢量计算部2针对过去帧F0，在与当前帧F1内的测定区域A相同的坐标位置处设定大小相同的测定区域A’。接下来，离散运动矢量计算部2一边在所设定的搜索范围内使过去帧F0内的测定区域A’的位置偏移一边在对应的测定区域A、A’之间进行相关运算，在相关值为最大的位置处计算测定区域A、A’之间的运动矢量(以下称为“离散运动矢量”)。作为相关运算，例如使用基于SAD(Sum of Abusolute Difference：绝对差之和)或SSD(Sum of Squared Difference：平方差之和)的块匹配处理。

离散运动矢量计算部2同时也计算所计算出的各离散运动矢量的置信度。例如，在将基于SAD的块匹配处理用于相关运算的情况下，根据在匹配处理的过程中计算出的SAD的值来计算置信度。在块匹配处理中，在相关值为最大时SAD为最小。离散运动矢量计算部2计算最小的SAD与从值较小的一方开始数第规定个(例如第几十个)SAD之差，在差小于规定的阈值的情况下，判定为低对比度区域而降低置信度，在差为阈值以上的情况下，提高置信度。这样，离散运动矢量计算部2按组计算离散运动矢量和置信度。在图2B中，区域B是测定区域A内的判定为低对比度区域的低置信度区域。离散运动矢量的置信度也可以是根据规定的阈值与SAD之差而计算出的标量值。

离散运动矢量计算部2所计算出的离散运动矢量和它们的置信度被输入给全局矢量计算部3。另外，离散运动矢量计算部2所计算出的离散运动矢量被输入给局部矢量插值部4，离散运动矢量计算部2所计算出的离散运动矢量的置信度被输入给局部矢量置信度插值部5。

全局矢量计算部3通过对当前帧F1内的多个离散运动矢量和它们的置信度进行统计处理，从而计算表示当前帧F1的整体运动的全局矢量和该全局矢量的置信度。图3示出了全局矢量及其置信度的计算方法的一例。在图3的例子中，将置信度为规定值以下的低置信度的离散运动矢量排除而计算其他离散运动矢量的频度，将频度最高的离散运动矢量确定为全局矢量。全局矢量的置信度是以如下方式计算出的：将频度最高的离散运动矢量的频度与阈值进行比较，频度越比阈值高则置信度越高，频度越比阈值低则置信度越低。全局矢量的置信度也可以是根据阈值与频度之差而计算出的标量值。

局部矢量插值部4使用从离散运动矢量计算部2接收到离散运动矢量来计算设定在当前帧内的处理对象区域的局部矢量。处理对象区域可以是3像素×3像素或9像素×9像素那样的小区域，也可以是一个像素。

图4A示出了离散运动矢量的例子，图4B和图4C示出了处理对象区域R和该处理对象区域R的邻近的四个离散运动矢量。Vx和Vy分别是当前帧的水平方向(X方向)和垂直方向(Y方向)上的矢量分量。

例如如图4B和图4C所示，局部矢量插值部4考虑各离散运动矢量与处理对象区域R之间的距离对处理对象区域R的邻近的多个离散运动矢量进行加权平均，由此计算出处理对象区域R的局部矢量。或者，局部矢量插值部4也可以使用将最接近处理对象区域R的离散运动矢量确定为处理对象区域R的局部矢量的最近邻法。

局部矢量插值部4对与当前帧的所有的像素对应的处理对象区域R实施上述的插值处理。

局部矢量置信度插值部5使用从离散运动矢量计算部2接收到的离散运动矢量的置信度来计算处理对象区域R中的局部矢量的置信度。

例如，如图4B和图4C所示，局部矢量置信度插值部5考虑各离散运动矢量与处理对象区域R之间的距离对局部矢量的计算中所使用的处理对象区域R的邻近的多个离散运动矢量的置信度进行加权平均，由此计算出处理对象区域R的局部矢量的置信度。或者，局部矢量置信度插值部5也可以使用将最接近处理对象区域R的离散运动矢量的置信度确定为处理对象区域R的置信度的最近邻法。

局部矢量置信度插值部5对所有的处理对象区域R实施上述的处理。

在图4B的例子中，处理对象区域R的邻近的左上、右上、左下、右下这四个离散运动矢量完全相同，各离散运动矢量的置信度为64、50、60、55。因此，在局部矢量插值部4中，对四个离散运动矢量进行加权平均，其结果是，计算出与四个离散运动矢量相同的局部矢量。另外，在局部矢量置信度插值部5中，对四个离散运动矢量的置信度进行加权平均，其结果是，局部矢量的置信度被计算为57。

在图4C的例子中，处理对象区域R的邻近的左上和左下的离散运动矢量是相同的，它们的置信度分别为50和64。另一方面，处理对象区域R的邻近的右上的离散运动矢量是朝向下的，右下的离散运动矢量是朝向右上的，它们的置信度分别为4和3。即，由于处理对象区域R的右上和右下的区域是低对比度区域，因此置信度变低。因此，在局部矢量插值部4中，对四个离散运动矢量进行加权平均，其结果是，计算出与处理对象区域R的实际的运动不同的局部矢量。另外，在局部矢量置信度插值部5中，对四个离散运动矢量的置信度进行加权平均，其结果是，局部矢量的置信度被计算为30。

全局矢量和全局矢量的置信度从全局矢量计算部3输入到运动矢量选择部6。另外，局部矢量从局部矢量插值部4输入到运动矢量选择部6，并且局部矢量的置信度从局部矢量置信度插值部5输入到运动矢量选择部6。运动矢量选择部6根据全局矢量及其置信度、局部矢量及其置信度这四种信息中的一个以上的信息，按每个处理对象区域R选择一个用于运动补偿的矢量。

具体而言，如图1所示，运动矢量选择部6具有：局部矢量阈值设定部6a，其设定对于局部矢量的置信度的阈值；以及矢量确定部6b，其根据局部矢量的置信度和阈值来选择局部矢量和全局矢量中的任意一个。

图5示出了局部矢量的置信度与所选择的矢量之间的关系。阈值例如作为制造商参数而被预先设定为规定的值。在图5的例子中，阈值为45。

矢量确定部6b将计算出的局部矢量的置信度与阈值进行比较。在比较的结果是局部矢量的置信度为阈值以上的情况下，矢量确定部6b选择局部矢量，在局部矢量的置信度小于阈值的情况下，矢量确定部6b选择全局矢量。因此，在图4A的例子的情况下，由于局部矢量的置信度57比阈值45高，因此选择局部矢量。另一方面，在图4B的例子的情况下，由于局部矢量的置信度30比阈值45低，因此选择全局矢量。

将矢量确定部6b的矢量的选择结果的信息从运动矢量选择部6输入给运动补偿图像生成部7。

运动补偿图像生成部7按照来自运动矢量选择部6的矢量的选择结果的信息对保存在帧存储器9中的过去帧进行访问，生成与当前帧内的各处理对象区域R的合成中所使用的运动补偿图像。

具体而言，运动补偿图像生成部7针对选择了局部矢量后的处理对象区域R，使用该局部矢量将处理对象区域R相对于过去帧进行位置对准，从帧存储器9读出过去帧内的位置对准后的区域，将读出的区域作为运动补偿图像。

另一方面，运动补偿图像生成部7针对选择了全局矢量后的处理对象区域R，使用全局矢量将处理对象区域R相对于过去帧进行位置对准，从帧存储器9读出过去帧内的位置对准后的区域，将读出的区域作为运动补偿图像。

将所生成的各处理对象区域R的运动补偿图像从运动补偿图像生成部7输入给混合合成部8。

混合合成部8对来自图像输入部1的当前帧的处理对象区域R和来自运动补偿图像生成部7的过去帧的运动补偿图像进行混合合成(加权相加)，从而生成作为降低了噪声后的当前帧的输出图像。在进行混合合成时，混合合成部8在处理对象区域R与运动补偿图像之间通过SAD等相关运算来计算相似度，根据相似度来计算混合合成比例，按照计算出的混合合成比例对处理对象区域R和运动补偿图像进行合成。在图6中示出了相似度和混合合成比例的例子。如图6所示，混合合成部8以相似度越高(SAD越小)则运动补偿图像的合成比例α越高的方式对合成比例α进行计算。

图7是以动态图像的帧递归式降噪为例示出混合合成的处理序列。如图7所示，在动态图像摄影中，第一个帧图像直接作为输出图像。接下来，当对第二个帧图像进行拍摄时，使用所确定的混合合成比例α，按每个处理对象区域R对所保存的第一个输出图像和第二个帧图像进行合成，生成第二个输出图像。第三个帧图像以后同样地根据当前的帧图像和之前的输出图像而生成输出图像。

接下来，对这样构成的图像处理装置和具有该图像处理装置的摄像系统100的作用进行说明。图8示出了图像处理装置中的图像处理的序列。

如图8所示，在图像输入部1的动态图像摄影中，当执行第N次摄影时，作为基准图像的第N个帧图像(N帧)从图像输入部1输入给离散运动矢量计算部2内的图像缩小部2a，在图像缩小部2a中被缩小，缩小后的第N个帧图像保存在帧存储器9中。

在该时刻，在帧存储器9中已经保存有缩小的第N-1个帧图像(N-1帧)。该缩小的第N-1个帧图像也可以是由混合合成部8对已经生成的第N-1个输出图像进行缩小后的帧图像。在离散运动矢量计算部2中，使用缩小的第N个帧图像和缩小的第N-1个帧图像来计算在缩小的第N个帧图像内离散地设定的多个测定区域A中的离散运动矢量和它们的置信度。

接着，在全局矢量计算部3中，第N个帧图像的全局矢量是根据离散运动矢量和它们的置信度来计算出的。另外，在局部矢量插值部4中，第N个帧图像内的各处理对象区域R的局部矢量是根据包围该处理对象区域R的邻近的多个离散运动矢量来计算出的。另外，在局部矢量置信度插值部5中，第N个帧图像内的各处理对象区域R的局部矢量的置信度是根据包围该处理对象区域R的邻近的多个离散运动矢量的置信度来计算出的。

接着，在运动矢量选择部6中，根据全局矢量及其置信度和局部矢量及其置信度这四个信息，从全局矢量和局部矢量中选择各处理对象区域R用的运动补偿图像的生成中所使用的矢量。

接着，在运动补偿图像生成部7中，根据所选择的矢量，由保存在帧存储器9中的第N-1个帧图像生成各处理对象区域R用的运动补偿图像。

接着，在混合合成部8中，根据各处理对象区域R与其运动补偿图像的相似度来计算混合合成比例，按照计算出的混合合成比例对各处理对象区域R和运动补偿图像进行合成，由此生成输出图像。

图13示出了运动补偿图像的以往的生成处理。在该处理中，对作为参照图像的第N-1个帧图像内的分别通过全局矢量和局部矢量进行位置对准的两个区域进行访问，从而生成使用了全局矢量的运动补偿图像和使用了局部矢量的运动补偿图像。然后，进行两个运动补偿图像和处理对象区域R之间的相关运算，将获得了更高的相关性的运动补偿图像用于与N帧图像的处理对象区域R的混合合成。

这样，在现有的方法中，为了进行一个处理对象区域R的运动补偿而需要向帧存储器9访问两次。因此，会压迫针对帧存储器9的总线带宽。

与此相对，根据本实施方式，由于在运动补偿图像的生成之前，选择全局矢量和局部矢量中的任意一个，因此针对一个处理对象区域R，向帧存储器9的访问一次就足够了。这样，具有如下优点：能够减少向帧存储器9的访问量，从而减轻总线带宽的压迫。

在本实施方式中，根据局部矢量的置信度来确定选择局部矢量和全局矢量中的哪一个，但也可以取而代之，根据全局矢量的置信度、以及全局矢量与局部矢量之差来确定。

参照图9至图12B对矢量的选择方法的变形例进行说明。

在图9的例子中，在处理对象区域R的附近存在三个Vx＝5、Vy＝0的离散运动矢量，插值后的局部矢量为Vx＝5、Vy＝0，其置信度为57。另一方面，全局矢量为Vx＝6、Vy＝0，其置信度为64。根据上述的实施方式的矢量选择方法，由于局部矢量的置信度比阈值45高，因此选择局部矢量。然而，在图9的例子中，全局矢量的置信度较高，并且全局矢量与上述三个离散运动矢量近似。由此，在处理对象区域R的附近局部地集中计算误差所引起的Vx＝5、Vy＝0的离散运动矢量，从而预测四个局部矢量和它们的置信度很可能是不准确的。

运动矢量选择部6计算全局矢量与局部矢量之间的Vx和Vy各自的差分的绝对值(差分绝对值)。在图9的例子中，Vx的差分绝对值被计算为1，Vy的差分绝对值被计算为0。如图10A所示，局部矢量阈值设定部6a以如下方式根据差分绝对值对阈值进行校正：差分绝对值越小则阈值越大。在图10A的例子中，阈值被校正为65。由此，在全局矢量与局部矢量的差较小时，难以选择局部矢量。例如仅在全局矢量的置信度比规定值大时执行阈值的校正。

这样，能够降低离散运动矢量的计算误差给矢量确定部6b的矢量的选择结果带来的影响，从而选择适当的矢量。

图11A和图11B表示差分绝对值与阈值的对应关系的例子。例如，如图11A所示，差分绝对值越大则局部矢量阈值设定部6a将阈值校正为越小的值。或者，如图11B所示，局部矢量阈值设定部6a也可以以如下方式以两个阶段对阈值进行校正：在差分绝对值为规定值以上时，相比于差分绝对值小于规定值时而使阈值变小。

也可以代替对阈值进行校正，如图10B所示，矢量确定部6b以如下方式根据差分绝对值对局部矢量的置信度进行校正：差分绝对值越小则局部矢量的置信度越小。在图10B的例子中，矢量确定部6b从置信度57减去偏移值30从而将局部矢量的置信度校正为27。这样，也能获得与阈值的校正相同的效果。

图12A和图12B表示差分绝对值与偏移值的对应关系的例子。例如，如图12A所示，差分绝对值越大则矢量确定部6b将偏移值设定为越小的值。或者，如图12B所示，矢量确定部6b也可以以如下方式以两个阶段对偏移值进行变更：在差分绝对值为规定值以上时，相比于差分绝对值小于规定值时而使偏移值变小。

也可以是，以能够根据图像的分辨率来变更上述的差分绝对值与阈值的校正值或偏移值之间的对应关系的方式来设定多种对应关系。例如，在图11B和图12B的例子中，也可以是，在全(Full)HD的情况下，设定为在X像素以上的绝对差分值中阈值的校正值或偏移值变小，在4K的情况下，设定为在2X像素以上的绝对差分值中阈值的校正值或偏移值变小。

在上述的变形例中，以如下方式进行控制：根据差分绝对值来校正对于局部矢量的置信度的阈值或局部矢量，由此选择适当的矢量，但也可以取而代之，通过其他手段来控制矢量的选择。以下对矢量的选择方法的另一例进行说明。

在第一例中，局部矢量阈值设定部6a仅根据全局矢量的置信度来校正阈值。例如，局部矢量阈值设定部6a在全局矢量的置信度比规定的值大的情况下，将阈值校正为更大的值。

在第二例中，局部矢量阈值设定部6a仅使用全局矢量的大小来校正阈值。例如，局部矢量阈值设定部6a以如下方式进行控制：在全局矢量的大小比规定值大的情况下，将阈值校正为更小的值，从而难以选择全局矢量。全局矢量的大小可以是Vx和Vy中的较大一方的大小，也可以是Vx和Vy的合成矢量Vx+Vy的大小。

第三例是第一例和第二例的组合，局部矢量阈值设定部6a根据全局矢量的置信度和大小来校正阈值。例如，局部矢量阈值设定部6a在像第一例那样根据全局矢量的置信度来校正阈值之后，像第二例那样根据全局矢量的大小来校正阈值，由此以两个阶段校正阈值。

在本实施方式及其变形例中，通过局部矢量的置信度的阈值判定来确定选择全局矢量和局部矢量中的哪一个，但也可以取而代之，通过全局矢量的置信度的阈值判定来确定。

在本实施方式中，对以递归式的降噪为目的合成处理进行了说明，但图像合成的目的不限定于此。例如，能够将本实施方式的图像处理装置应用于需要进行基准图像内的处理对象区域和与该处理对象区域位置对准后的运动补偿图像的合成的静态图像的多张合成降噪、HDR(High Dynamic Range：高动态范围)、超分辨率图像那样的各种图像的合成处理。

标号说明

1：图像输入部；2：离散运动矢量计算部；3：全局矢量计算部；4：局部矢量插值部；5：局部矢量置信度插值部；6：运动矢量选择部；7：运动补偿图像生成部；8：混合合成部；9：帧存储器；100：摄像系统。

Claims (9)

1.一种图像处理装置，其对按时间序列获取的多个图像进行混合合成而生成合成图像，其具有：

离散运动矢量计算部，其针对基准图像和在该基准图像之前获取的参照图像，或针对基准图像和根据该参照图像而生成的合成图像设定离散的多个测定区域，计算该多个测定区域各自的运动矢量和该运动矢量的置信度；

全局矢量计算部，其根据该离散运动矢量计算部所计算出的所述运动矢量和所述置信度，计算表示所述基准图像的整体运动的全局矢量和该全局矢量的置信度；

局部矢量插值部，其根据所述离散运动矢量计算部所计算出的多个所述运动矢量，计算所述基准图像内的处理对象区域中的局部矢量；

局部矢量置信度插值部，其根据所述离散运动矢量计算部所计算出的所述多个运动矢量的置信度，计算所述处理对象区域中的所述局部矢量的置信度；

运动矢量选择部，其根据所述全局矢量、所述全局矢量的置信度、所述局部矢量、以及所述局部矢量的置信度中的至少一方来选择所述局部矢量和所述全局矢量中的任意一方；

运动补偿图像生成部，其根据该运动矢量选择部所选择的矢量，生成与所述基准图像内的所述处理对象区域对应的所述参照图像或所述合成图像的运动补偿图像；以及

混合合成部，其对所述基准图像内的所述处理对象区域和所述运动补偿图像进行加权相加。

2.根据权利要求1所述的图像处理装置，其中，

所述运动矢量选择部具有：

局部矢量阈值设定部，其设定对于所述局部矢量的置信度的阈值；以及

矢量确定部，其在所述局部矢量的置信度为所述阈值以上的情况下选择局部矢量，在所述局部矢量的置信度小于所述阈值的情况下选择全局矢量。

3.根据权利要求2所述的图像处理装置，其中，

所述局部矢量阈值设定部将所述阈值设定为规定的值。

4.根据权利要求3所述的图像处理装置，其中，

所述局部矢量阈值设定部根据所述全局矢量的置信度来校正所述阈值。

5.根据权利要求3所述的图像处理装置，其中，

所述局部矢量阈值设定部根据所述全局矢量的大小来校正所述阈值。

6.根据权利要求3所述的图像处理装置，其中，

所述局部矢量阈值设定部根据所述全局矢量的置信度和所述全局矢量的大小来校正所述阈值。

7.根据权利要求3所述的图像处理装置，其中，

所述局部矢量阈值设定部根据所述全局矢量的置信度、以及所述全局矢量与所述局部矢量之差来校正所述阈值。

8.根据权利要求2所述的图像处理装置，其中，

所述矢量确定部根据所述全局矢量的置信度、以及所述全局矢量与所述局部矢量之差来校正所述局部矢量的置信度。

9.根据权利要求1至8中的任意一项所述的图像处理装置，其中，

所述离散运动矢量计算部具有图像缩小部，该图像缩小部对所述基准图像、以及所述参照图像或所述合成图像进行缩小，

该离散运动矢量计算部根据被该图像缩小部缩小后的基准图像以及被所述图像缩小部缩小后的参照图像或合成图像来计算所述运动矢量和运动矢量的置信度。