CN102595025A - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供了一种图像处理设备和图像处理方法，所述图像处理设备包括：检测部分，检测图像处理设备的运动；混合比计算部分，基于由检测部分检测的图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定第一运动补偿图像和第二运动补偿图像；混合部分，通过依据由混合比计算部分计算的混合比混合第一运动补偿图像和第二运动补偿图像来生成运动补偿图像；以及添加部分，将由混合部分生成的运动补偿图像添加到目标图像。

Description

图像处理设备和图像处理方法

技术领域

本公开涉及一种图像处理设备和图像处理方法，并且具体而言，涉及一种降低在图像中包括的噪声的图像处理设备和图像处理方法。

背景技术

在拍摄图像时，通过合成(composite)连续拍摄的多个图像(帧)获得具有降低噪声的图像的技术是公知的。例如，在要处理的图像(目标图像)上合成在拍摄要处理的图像之前或之后连续拍摄的、并且通过运动估计和运动补偿而对齐(align)的多个图像(参考图像)的情况下，按照时间方向积分几乎彼此相同的图像。因此，消除了在每个图像内随机包括的噪声，并因而降低了噪声。此后，通过这种方法而得到的噪声降低(NR)被称为帧NR。

过去，已估计了相对于在目标图像内设置的目标块的局部运动矢量，并且已经使用所估计的局部运动矢量来计算两个图像之间的、表示施加于整个图像的变化的全局运动。全局运动通常表示作为图像的静止图像部分的背景的运动和运动量。

作为使用全局运动的技术，例如公开了包含如下操作的技术：将图像内的背景静止图像部分与运动拍摄主题(subject-of-shooting)部分分离；使用与从全局运动生成的全局运动矢量对应的局部运动矢量来生成运动补偿图像(MC图像)；并且合成运动补偿图像和目标图像(例如，参见JP 2009-290827A)。在该技术中，可适用地使用全局运动矢量和局部运动矢量来生成MC图像，并执行合成处理。

在该技术中，例如，当局部运动矢量的可靠性较高时，能够通过使用根据局部运动矢量而确定的MC图像来执行考虑运动拍摄主题的合成处理。此外，在其中局部运动矢量的可靠性较低的情况下，不使用局部运动矢量而使用根据全局运动矢量确定的MC图像，从而避免生成不确定是包含运动拍摄主题还是噪声的MC图像，并因此能够执行稳定的合成处理。

发明内容

然而，在使用上述技术的情况下，当要根据多个图像计算全局运动矢量时，存在的问题是：在例如其中图像内存在较少数量的特征点的情形中，不能唯一确定全局运动矢量。此外，存在的问题是：在例如其中在图像内包括彼此不同的多个运动的情形中，不能唯一确定全局运动矢量。

此外，一般而言，例如当切换拍摄场景时或当放大或缩小拍摄范围时，全局运动矢量快速变化。存在的问题是：因为在使用许多全局运动矢量的图像与使用许多局部运动矢量的图像之间存在明显噪声(apparent noise)的差异，所以当在那些图像之间途中执行切换时，用户非常有可能感觉到不舒适。特别是，在对运动图像执行图像处理的情况下，因为各帧彼此之间的连续性具有极大的重要性，所以当NR强度在各帧间不同时，与不执行NR处理的情况相比，给用户以更不自然的感觉。

有鉴于此，希望提供一种新颖而改进的图像处理设备和图像处理方法，在考虑全局运动矢量的图像处理设备中，不管全局运动矢量的可靠性如何变化都能够获得稳定的NR效果，并且即使在全局运动矢量快速改变的情况下也能够避免产生不自然的NR效果。

根据本公开实施例，提供了一种图像处理设备，包括：检测部分，检测图像处理设备的运动；混合(blend)比计算部分，基于由检测部分检测的图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定第一运动补偿图像和第二运动补偿图像；混合部分，通过依据由混合比计算部分计算的混合比混合第一运动补偿图像和第二运动补偿图像来生成运动补偿图像；以及添加部分，将由混合部分生成的运动补偿图像添加到目标图像。

第二运动补偿图像可以是基于关于用于确定第一运动补偿图像的帧而延迟一帧或更多帧所获得的帧来确定的运动补偿图像。

第一运动矢量可以是针对帧中设置的每个块计算的矢量。

第二运动矢量可以是针对每个帧计算的矢量。

检测部分可以通过检测图像处理设备的移动来检测图像处理设备的运动。

检测部分可以通过检测固定元件(fixing member)到图像处理设备的连结来检测图像处理设备的运动。

根据本公开的另一方面，提供了一种图像处理方法，包括：检测图像处理设备的运动；基于图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定第一运动补偿图像和第二运动补偿图像；通过依据所计算的混合比混合第一运动补偿图像和第二运动补偿图像来生成运动补偿图像；以及将运动补偿图像添加到目标图像。

根据本公开的上述实施例，在考虑全局运动矢量的图像处理设备中，变得不管全局运动矢量的可靠性如何变化都能够获得稳定的NR效果，并且即使在全局运动矢量快速改变的情况下也能够避免产生不自然的NR效果。

附图说明

图1是示出根据本公开实施例的成像设备的功能配置的框图；

图2是根据本公开实施例的关于块匹配的说明图；

图3是根据本公开实施例的帧NR处理的概念图；

图4是根据本公开实施例的关于运动矢量估计处理的说明图；

图5是关于用于实现各种类型的运动图像帧NR的技术的说明图；

图6是根据本公开实施例的关于用于实现运动图像帧NR的技术的说明图；

图7是示出根据本公开实施例的成像设备的运动补偿部分的功能配置的框图；

图8是示出在根据本公开实施例的成像设备的运动补偿部分中包括的目标块缓冲部分的功能配置的框图；

图9是示出在根据本公开实施例的成像设备的运动补偿部分中包括的参考块缓冲部分的功能配置的框图；

图10是示出在根据本公开实施例的成像设备的运动补偿部分中包括的运动补偿图像生成部分的功能配置的框图；

图11是示出根据本公开实施例的成像设备的图像合成部分的功能配置的框图；

图12是示出根据本实施例的在使用成像设备期间的混合比的改变的例子的图；

图13是示出根据本实施例的在使用成像设备期间的混合比的改变的另一例子的图；

图14是示出由根据本公开实施例的成像设备执行的、在拍摄运动图像时通过图像合成的降噪处理的流程图；

图15是示出根据本公开实施例的由成像设备执行的运动补偿块创建处理的流程的流程图；

图16是示出根据本公开实施例的、在使用成像设备期间对于每种操作模式的全局运动矢量和GMC混合比的图；以及

图17是示出根据本公开实施例的目标图像和运动补偿图像的合成的例子的图。

具体实施方式

此后，将参照附图具体描述本公开的实施例。注意，在本说明书和附图中，用相同的参考数字来指示具有基本相同的功能和结构的结构元素，并且省略了对这些结构元素的重复解释。

注意，将按照如下次序来给出说明。

1.实施例

1-1.成像设备的总体配置

1-2.关于帧NR处理

1-3.帧NR处理的细节

2.总结

<1.实施例>

<1-1.成像设备的总体配置>

首先，将描述根据本公开实施例的成像设备的配置。在本公开的实施例中，成像设备对应于图像处理设备的例子。

图1是示出根据本公开实施例的成像设备10的功能配置的框图。成像设备10具有捕捉静止图像或运动图像并将所捕捉的静止图像或运动图像作为数字图像数据记录在记录介质中的功能。成像设备10可以是诸如数字照相机的任何电子设备。

参照图1，成像设备10包括控制部分1、操作部分3、存储器4、贮存器5、成像光学系统10L、定时发生器12、图像传感器11、信号处理部分13、RAW/YC转换部分14、运动补偿部分16、图像合成部分17、静止图像编解码器18、运动图像编解码器19、NTSC解码器20、检测部分7和显示器6。这些相应的结构元素经由系统总线2彼此连接。

控制部分1控制成像设备10的每个部分的操作。控制部分1可以是基于存储在存储器4中的程序而操作从而执行控制所必需的各类算法处理的CPU(中央处理单元)。控制部分1可以使用存储器4作为用于算法处理的临时贮存区域。注意，用于控制部分1进行操作的程序可以是事先写入到存储器4中的程序、或是通过被存储到类似盘的记录介质或诸如存储卡的可移动存储介质中而被提供给成像设备10的程序。此外，用于控制部分1进行操作的程序可以经由诸如LAN(局域网)或因特网的网络而被下载到成像设备10中。

操作部分3充当用于操作成像设备10的用户接口。例如，操作部分3可以是提供在成像设备10的外表面上的诸如快门按钮的操作按钮、触摸板或遥控器。操作部分3可以基于由用户执行的操作向控制部分1输出操作信号，用来启动和停止成像设备10、开始和结束拍摄静止图像或运动图像、设置成像设备10的各类功能、等等。

在存储器4中，可以存储关于成像设备10的处理的数据。存储器4例如可以是诸如快闪ROM(只读存储器)或DRAM(动态随机存取存储器)的半导体存储器。例如，在存储器4中，临时或持续存储由控制部分1使用的程序和通过图像处理功能处理的图像信号。存储在存储器4中的图像信号例如可以是下面将描述的基础帧(base frame)和缩小帧(reduced frame)的目标图像和参考图像、以及NR图像。

在贮存器5中，由成像设备10拍摄的图像被存储为图像数据。贮存器5例如可以是诸如快闪ROM的半导体存储器、诸如BD(蓝光盘)、DVD(数字多功能盘)、或CD(紧致盘)或者硬盘的光盘。贮存器5也可以是内置于成像设备10内的存储设备、或者是可附接到成像设备10并可从其分离的诸如存储卡的可移动介质。

成像光学系统10L由诸如聚焦透镜和放大透镜的各类透镜以及诸如光学滤波器和光圈的光学组件形成。从拍摄对象进入的光学图像(拍摄对象的图像)经由成像光学系统10L的每个光学组件而在图像传感器11的曝光表面上形成图像。

定时发生器12依据控制部分1给出的指令产生各种类型的脉冲，诸如用于垂直传播(vertical transmission)的4-相脉冲和场位移(field shift)脉冲、以及用于水平传播的2-相脉冲和快门脉冲，并且向图像传感器11提供这些脉冲。

例如利用固态图像传感器、诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)来配置图像传感器11。通过来自定时发生器12的操作脉冲来驱动图像传感器11，并且图像传感器11对通过成像光学系统10L导入的拍摄对象的图像执行光电转换。以此方式，表示所拾取的图像的图像信号被输入到信号处理部分13中。输出于此的图像信号是与从定时发生器12提供的操作脉冲同步的信号，并且是包括红色(R)、绿色(G)和蓝色(B)这三基色的Bayer阵列的RAW信号(原始信号)。

例如可以通过使用DSP(数字信号处理)来实现在信号处理部分13及之后的部分中执行的每个部分的图像处理功能。信号处理部分13对从图像传感器11输入的图像信号执行图像信号处理，诸如噪声降低、白平衡调节、色彩校正、边缘增强、伽玛校正和分辨率转换。信号处理部分13可以临时将数字图像信号存储在存储器4中。RAW/YC转换部分14将从信号处理部分13输入的RAW信号转换为YC信号，并将YC信号输出到运动补偿部分16。这里，YC信号是包括亮度分量(Y)和红/蓝色差分量(Cr/Cb)的图像信号。

运动补偿部分16从存储器4加载目标图像的图像信号和参考图像的图像信号。运动补偿部分16通过诸如块匹配的处理来估计这些图像之间的运动矢量(局部运动矢量LMV)，并补偿目标图像与参考图像之间的运动。此外，运动补偿部分16评价背景对于目标块的对应程度，并生成吻合(hit)比β。在该实施例中，目标图像、运动补偿图像和吻合比β被从运动补偿部分16输出到图像合成部分17中。

图像合成部分17基于吻合比β来合成目标图像和运动补偿图像，并生成NR图像作为合成的结果。在NR图像中，得益于通过上述帧NR获得的效果而降低了在图像中包括的噪声。注意，后面将描述运动补偿部分16和图像合成部分17的细节。

在其中通过操作部分3获得拍摄静止图像的指令的情况下(在拍摄静止图像时)，静止图像编解码器18从存储器4加载经NR处理后得到的图像信号，利用诸如JPEG(联合图片专家组)的预定压缩编码系统来压缩图像信号，并将压缩后的图像信号作为图像数据存储到贮存器5中。此外，在通过操作部分3获得再现静止图像的指令的情况下(在再现静止图像时)，静止图像编解码器18可以从贮存器5加载图像数据，并且可以向NTSC编码器20提供利用诸如JPEG的预定压缩编码系统扩展的图像信号。

在其中通过操作部分3获得拍摄运动图像的指令的情况下(当拍摄运动图像时)，运动图像编解码器19从存储器4加载经NR处理后得到的图像信号，利用诸如MPEG(运动图片专家组)的预定压缩编码系统来压缩图像信号，并将压缩后的图像信号存储到贮存器5中作为图像数据。此外，在其中通过操作部分3获得再现运动图像的指令的情况下(在再现运动图像时)，运动图像编解码器19可以从贮存器5加载图像数据，并且可以向NTSC编码器20提供利用诸如MPEG的预定压缩编码系统扩展的图像信号。

NTSC(国家电视系统委员会)编码器20将图像信号转换为NTSC制标准彩色视频信号，并向显示器6提供NTSC制标准彩色视频信号。在拍摄静止图像时或在拍摄运动图像时，NTSC编码器20可以从存储器4加载经NR处理后得到的图像信号，并且可以向显示器6提供图像作为直通图像(throughimage)或拍摄图像(shot image)。此外，当再现静止图像时或当再现运动图像时，NTSC编码器20可以从静止图像编解码器18或运动图像编解码器19获得图像信号，并且可以向显示器6提供图像信号作为再现图像。

显示器6显示从NTSC编码器20获得的视频信号。显示器6例如可以是LCD(液晶显示器)或有机EL(电致发光)显示器。此外，从NTSC编码器20输出的视频信号可以使用诸如HDMI(高清晰度多媒体接口)(未示出)的通信部分而从成像设备10被输出到外部。

检测部分7充当用于检测成像设备10的运动的检测设备。检测部分7例如可以通过检测与用于将成像设备10固定到其的固定元件的连接状态来检测成像设备10的运动，或者可以通过使用内置于成像设备10内的传感器(诸如加速度传感器或陀螺传感器)检测成像设备10的预定移动(movement)来检测成像设备10的运动(motion)。检测部分7可以将检测获得的信号输出到控制部分1作为检测信号。

<1-2.关于帧NR处理>

接下来，将描述根据本公开实施例的帧NR处理。在根据本实施例的成像设备10中，主要由运动补偿部分16和图像合成部分17来执行帧NR处理。

如上所述，在成像设备10中，通过由图像传感器11执行的传感器编码而生成的RAW信号被RAW/YC转换部分14转换为YC信号。通常对于RAW信号执行帧NR。然而，为了对于RAW信号的帧NR，使用成像设备10内的巨大数量的系统资源。因此，在本实施例中，通过对YC信号执行帧NR来抑制用于帧NR的系统资源量。

图2是根据本公开实施例的关于块匹配的说明图。在该实施例中，如图2中所示，目标帧100被划分为多个目标块102，每个目标块102具有相对较小的尺寸，例如64像素×64行。然后，首先确定关于该多个目标块中的每个目标块的运动矢量(局部运动矢量)104B。此时，在该实施例中，也计算指示每个所确定的局部运动矢量的可靠性的指标。

此后，基于局部运动矢量的可靠性的指标，从为各个目标帧确定的多个局部运动矢量中仅提取出每个具有高可靠性的局部运动矢量。然后，仅根据所提取的每个具有高可靠性的局部运动矢量来计算全局运动。然后，利用所计算的全局运动，计算以每目标块为基础的全局运动矢量。然而，在该实施例中，不特别限制用于计算全局运动矢量的技术。

然后，将所计算的全局运动矢量与关于每个目标块的局部运动矢量进行比较，并且基于比较结果，评价并确定每个目标块是背景部分还是运动拍摄对象部分。在该实施例中，将所计算的全局运动矢量与关于每个目标块的局部运动矢量进行比较，并且确定二者之间的对应程度。此后，作为其确定结果，计算指示关于每个目标块的局部运动矢量与全局运动矢量之间的对应程度的指标值。在本说明书中，指标值被称为吻合比(hit ratio)。

在实施例中，使用以每目标块为基础的两个输出运动矢量(局部运动矢量和全局运动矢量)，对于目标帧执行以逐块为基础的参考帧的对齐，从而生成两个运动补偿图像(运动补偿帧)(局部运动补偿图像和全局运动补偿图像)。然后，通过将目标帧与两个运动补偿帧进行合成来生成NR图像。

在该实施例中，并非使用利用局部运动矢量确定的运动补偿图像(局部MC图像，此后可以被简称为“LMC”)或利用全局运动矢量确定的运动补偿图像(全局MC图像，此后可以被简称为“GMC”)的任一个，而是基于来自控制部分1(例如，CPU)的信息来混合和使用该两个运动补偿图像。

图3是根据本公开实施例的帧NR处理的概念图。参照图3，在根据本实施例的帧NR处理中，连续拍摄的多个图像P1至P3在被对齐(运动补偿)之后合成，并形成降噪图像Pmix。注意，如上所述，当合成连续拍摄的多个图像时噪声降低的原因在于，按照时间方向集成几乎相同的图像，并且消除了在每个图像中随机包括的噪声。

在图中示出的例子中，要被合成的多个图像P1至P3不必是3幅图像，而是可以是2幅或4幅或更多幅的图像。例如，在根据本实施例的成像设备10拍摄静止图像的情况下，在高速连续拍摄的多个图像中，第一图像可以用作目标图像，且用作参考图像的第二图像和后续图像可以被合成到目标图像上。此外，在根据本实施例的成像设备10拍摄运动图像的情况下，依序拍摄的连续帧的图像中的每个图像可以被用作目标图像，并且在这些目标图像上，恰好在相应目标图像之前的帧的图像可以作为参考图像而合成。也就是说，某一帧的图像可以被用作目标图像，并且在使用另一帧的图像作为目标图像的情况下也可以被用作参考图像。

以此方式，在其中合成连续拍摄的图像的帧NR的处理中，待合成的目标图像与参考图像之间的对齐(运动补偿)变得重要。在那些图像中，存在由于例如拍摄者的手的抖动而发生图像的失配(misregistration)的情况。此外，在每个图像中，也存在由于拍摄对象自身的运动而发生失配的情况。因此，在本实施例的帧NR中，对于通过划分目标图像而生成的多个目标块中的每个目标块，估计以逐块为基础的运动矢量。此外，对于每个块，执行其中反映以逐块为基础的运动矢量的运动补偿，然后合成目标图像和参考图像。

这里，在估计以逐块为基础的运动矢量的处理中，对于目标图像的每个块(目标块)使用块匹配方法，用于从参考图像的块(参考块)中搜索具有最高相关性的块(运动补偿块)。确定以逐块为基础的运动矢量作为目标块与运动补偿块之间的失配。可以使用例如各个块内的像素的亮度值的SAD(Sumof Absolute Difference，绝对差之和)值来评价目标块与参考块之间的相关性程度。

图4是根据本公开实施例的关于运动矢量估计处理的说明图。参考图4，在根据本实施例的运动矢量估计处理中，首先估计关于缩小帧的运动矢量，并且基于其结果估计关于基础帧的运动矢量。

在用于以每块为基础估计运动矢量的处理中，具有最小SAD值得参考块被指定为运动补偿块。也就是说，为了指定运动补偿块，需要在依序移动参考块的位置的同时搜索具有最小SAD值的参考块。例如，在试图估计具有1像素的精度的运动矢量的情况下，需要以1像素的精度来指定运动补偿块，并且因此在搜索具有最小SAD值的参考块中也需要将参考块依序移动1像素。

在依原样对目标图像和参考图像执行这样的参考块搜索的情况下，计算SAD值的次数太大了，且增加了处理负荷。因此，在本实施例中，如图中的例子所示，创建通过缩小相应目标图像和参考图像而获得的图像(缩小帧)，并且基于通过对缩小帧估计运动矢量而获得的结果，估计关于未缩小的目标图像和参考图像(基础帧)的运动矢量。

具体而言，首先，目标图像和参考图像中的每个沿水平方向和垂直方向被缩小到1/n(n＝2，3，......)，从而创建缩小帧目标图像和缩小帧参考图像。因此，基础帧目标块201以及基于基础帧目标块201在参考图像上的投影图像而设置的搜索范围202和匹配处理范围203每个缩小到1/n，并分别形成缩小帧目标块301、缩小帧搜索范围302和缩小帧匹配处理范围303。

然后，在缩小帧参考图像中，计算在缩小帧匹配处理范围303内设置的多个缩小帧参考块304与缩小帧目标块301之间的SAD值，从而指定缩小帧参考块304中与缩小帧目标块301具有最高相关性的块作为缩小帧运动补偿块。此外，获取缩小帧目标块301与缩小帧运动补偿块之间的失配作为缩小帧运动矢量305。

接下来，在基础帧参考图像中，定义通过将缩小帧运动矢量305乘以n获得的基础帧暂时运动矢量205。此外，从基础帧目标块201在基础帧参考图像上的投影图像在按照由基础帧暂时运动矢量205指示的方向和距离移动的位置的附近，设置基础帧搜索范围206和基础帧匹配处理范围207。随后，计算在基础帧匹配处理范围207内设置的多个基础帧参考块208与基础帧目标块201之间的SAD值，从而指定基础帧参考块208中与基础帧目标块201具有最高相关性的块作为基础帧运动补偿块。此外，获取基础帧目标块201与基础帧运动补偿块之间的失配作为基础帧运动矢量。

这里，因为与基础帧参考图像相比缩小帧参考图像被缩小到1/n，所以缩小帧运动矢量305的精度比通过对基础帧执行类似搜索而确定的运动矢量的精度低n倍。例如，在尝试通过依序将参考块移动1像素来搜索运动补偿块以获得运动矢量的情况下，虽然在搜索基础帧中获得的运动矢量的精度是1像素，但是在搜索缩小帧中获得的运动矢量的精度是n像素。

因此，在本实施例中，基于在搜索缩小帧中获得的缩小帧运动矢量305而在基础帧参考图像上设置基础帧搜索范围206和基础帧匹配处理范围207，并且以所希望的精度来执行运动补偿块和运动矢量的搜索。虽然精度被降低了n倍，但是通过缩小帧运动矢量305来指定可能存在运动补偿块的范围。因此，在基础帧上执行的搜索的范围可以是基础帧搜索范围206，其大大小于原始搜索范围202。例如，在图中所示的例子中，在尝试通过搜索基础帧来以1像素为单位获得运动矢量的情况下，基础帧搜索范围206可以具有水平方向n个像素×垂直方向n个像素的范围。

在根据本实施例的运动矢量估计处理中，利用缩小帧搜索范围302中的搜索来代替在整个原始搜索范围202内运动补偿块的搜索。以此方式，与依原样对于目标图像和参考图像执行计算的情况相比，计算参考块的SAD值的次数例如被减少至1/n。此外，在根据本实施例的运动矢量估计处理中，虽然执行了基础帧搜索范围206内的额外搜索，但是因为基础帧搜索范围206表示比原始搜索范围202小得多的范围，所以计算参考块的SAD值的次数在额外搜索中并不大。因此，在根据本实施例的运动矢量估计处理中，与依原样对于目标图像和参考图像执行处理的情况相比，减小了处理负荷。

如至此已描述的，在根据本实施例的帧NR处理中，通过在运动补偿之后合成依序拍摄的多个图像降低图像的噪声。在估计用于运动补偿的运动矢量中，利用使用通过缩小基础帧而获得的缩小帧的搜索以更低的负荷来执行处理。

图5是关于用于实现各种类型的运动图像帧NR技术的说明图。如图5中所示，在用于实现运动图像帧NR的系统中，通常使用如下技术：一种涉及执行用于计算全局运动矢量的全局运动估计(全局ME)、使用全局运动矢量创建运动补偿图像并执行帧添加的技术；以及一种涉及执行用于计算局部运动矢量的局部运动估计(局部ME)、使用局部运动矢量创建运动补偿图像并执行帧添加的技术。

例如，因为使用全局运动矢量的帧NR很难关于帧内的运动拍摄对象部分创建恰当的运动补偿图像，所以对于运动拍摄对象部分很难获得NR效果。另一方面，因为使用局部运动矢量的帧NR得益于局部ME而能够关于帧内的运动拍摄对象部分创建运动补偿图像，所以可以对于整个屏幕获得NR效果。

此外，因为局部运动矢量是针对诸如噪声的不稳定元素而给出的，所以使用局部运动矢量的帧NR很难关于诸如背景的、具有少量特征点的图像部分创建恰当的运动补偿图像，因此很难预期较高的NR效果。另一方面，使用全局运动矢量的帧NR不管局部特征点有无都能够生成运动补偿图像，并且也能够关于具有少量特征点的图像部分获得NR效果。

因此，作为一种用于对于运动拍摄对象部分和诸如背景的、具有少量特征点的图像部分二者都获得较高NR效果的技术，给出一种其中执行用于计算全局运动矢量的全局运动估计(全局ME)和用于计算局部运动矢量的局部运动估计(局部ME)的技术。

这里描述的全局运动矢量计算可以通过使用多个帧之间的图像信息的信号处理来执行，或者可以基于除图像信息之外的信息诸如通过使用陀螺仪设备等获得的信息来执行。

图6是根据本公开实施例的用于实现运动图像帧NR的技术的说明图。如图6中所示，在考虑全局运动矢量的实现运动图像帧NR的系统中，存在一种其中执行两类运动估计(ME)的技术，即用于计算局部运动矢量的局部运动估计(局部ME)和用于计算全局运动矢量的全局运动估计(全局ME)。例如，在如JP 2009-290827A中示出的用于实现运动图像帧NR的技术中，建议为执行局部ME和全局ME定义第一ME(pre-ME)和第二ME(主ME)，并且对于同一图像执行两次局部ME。

可以对静止图像拍摄应用这样的技术，但是当尝试向其中图像从前段(former stage)流向后段(latter stage)的运动图像系统应用该技术时，变得有必要准备两个运动估计电路，以用于对同一图像执行两次ME。运动估计电路所消耗的资源量是巨大的，并且过去已经存在用于减少资源量的各种建议。但是，不存在对于减少资源量以便以实时为基础执行全局ME和局部ME的建议。根据用于实现实施例的运动图像帧NR的技术，可以进一步解决用于实现一般运动图像帧NR的技术所具有的另一问题。

具体而言，如下运动补偿图像可以被设置为第二运动补偿图像(例如，全局MC图像)，该运动补偿图像是基于相对于用于确定第一运动补偿图像(例如局部MC图像)的帧延迟一帧或更多帧而获得的帧确定的。因此，可以使用与过去通过局部ME实现的帧NR设备同样的配置来实现考虑全局运动矢量的局部运动图像帧NR。更具体地说，可以在一个运动估计电路中计算局部运动矢量和全局运动矢量，并且因此可以减少用于以实时为基础执行全局ME和局部ME的资源量。

<1-3.帧NR处理的细节>

下面，将描述根据本公开实施例的帧NR处理的细节以及运动补偿部分16和图像合成部分17的具体功能。

(运动补偿部分的细节)

图7是示出根据本公开实施例的成像设备10的运动补偿部分16的功能配置的框图。参照图7，运动补偿部分16包括目标块缓冲部分161、参考块缓冲部分162、匹配处理部分163、运动矢量计算部分164、控制部分165和运动补偿图像生成部分166。可以使用例如DSP来实现括这些部分的运动补偿部分16。

这里，将参照图8描述目标块缓冲部分161。图8是示出在根据本公开实施例的成像设备10的运动补偿部分16中包括的目标块缓冲部分161的功能配置的框图。参照图8，目标块缓冲部分161包括基础帧缓冲部分1611、缩小帧缓冲部分1612和缩小帧处理部分1613。

目标块缓冲部分161获取由存储器4或RAW/YC转换部分14提供的基础帧目标块201或缩小帧目标块301的像素数据。可以由选择器1614来切换从其获取那些像素数据片段的源。例如，当拍摄静止图像时目标块缓冲部分161可以从存储器4获取像素数据，并且当拍摄运动图像时目标块缓冲部分161可以从RAW/YC转换部分14获取像素数据。注意，这里获取的缩小帧目标块301的像素数据可以由在下面将描述的图像合成部分17内包括的缩小帧生成部分174生成或由RAW/YC转换部分14生成，并且可以被存储在存储器4中。

目标块缓冲部分161在基础帧缓冲部分1611中积累基础帧目标块201的像素数据。此外，目标块缓冲部分161在缩小帧缓冲部分1612中积累缩小帧目标块301的像素数据。例如，在其中当拍摄运动图像时在从RAW/YC转换部分14中获取的像素数据内不包括缩小帧目标块301的像素数据的情况下，目标块缓冲部分161使用缩小帧处理部分1613，并根据基础帧目标块201的像素数据来生成缩小帧目标块301的像素数据。可以通过选择器1615来切换是否使用缩小帧处理部分1613。

目标块缓冲部分161向运动补偿图像生成部分166和匹配处理部分163提供基础帧目标块201或缩小帧目标块301的像素数据。对于运动补偿图像生成部分166，提供在基础帧缓冲部分1611中积累的基础帧目标块201的数据。对于匹配处理部分163，当缩小帧内的块匹配处理时提供在缩小帧缓冲部分1612内积累的缩小帧目标块301的像素数据，且当基础帧内的块匹配处理时提供在基础帧缓冲部分1611内积累的基础帧目标块201的像素数据。可以通过选择器1616来切换提供到匹配处理部分163的像素数据。

接下来，将参照图9描述参考块缓冲部分162。图9是示出在根据本公开实施例的成像设备10的运动补偿部分16中包括的参考块缓冲部分162的功能配置的框图。参照图9，参考块缓冲部分162包括基础帧缓冲部分1621、缩小帧缓冲部分1622、选择器1623和全局MC缓冲部分1624。

参考块缓冲部分162从存储器4中获取缩小帧匹配处理范围的像素数据和基础帧匹配处理范围的像素数据。分别在基础帧缓冲部分1621和缩小帧缓冲部分1622内积累所获取的缩小帧匹配处理范围的像素数据和基础帧匹配处理范围的像素数据。

此外，参考块缓冲部分162向运动补偿图像生成部分166和匹配处理部分163提供基础帧或缩小帧的像素数据。对于运动补偿图像生成部分166，在基础帧缓冲部分1621中积累的基础帧匹配处理范围的像素数据片段之中，提供被指定为运动补偿块的范围的像素数据。当缩小帧内的块匹配处理时，在缩小帧缓冲部分1622中积累的缩小帧匹配处理范围的像素数据片段之中，向匹配处理部分163提供在块匹配处理中使用的缩小帧参考块的像素数据。此外，当基础帧内的块匹配处理时，在基础帧缓冲部分1621中积累的基础帧匹配处理范围的像素数据片段之中，向匹配处理部分163提供在块匹配处理中使用的基础帧参考块的像素数据。注意，通过选择器1623来切换提供给匹配处理部分163的像素数据。

全局MC缓冲部分1624从存储器4中获取全局MC块(通过基于全局运动矢量对参考块进行运动补偿而得到的运动补偿块)。全局MC块对应于图6中示出的“先前GM”。所获取的全局MC块被输出到运动补偿图像生成部分166。这里，控制部分165执行控制以使得全局MC缓冲部分1624输出全局MC块的定时被调整为与基础帧缓冲部分1621输出局部MC块(通过基于局部运动矢量对参考块进行运动补偿而得到的运动补偿块)的定时相符。

再次参照图7。匹配处理部分163执行块匹配处理，用于检测目标块与参考块之间的相关性的强度。例如，可以使用每个像素的亮度信号的SAD值来评价目标块与参考块之间的相关性的强度。也可以使用诸如每个像素的色差信号的其他信息片段来评价目标块与参考块之间的相关性的强度。此外，为了削减运算量，可以跳过要运算的一些像素。

运动矢量计算部分164计算关于每个目标块的、参考图像相对于目标图像的运动作为局部运动矢量。具体而言，例如，运动矢量计算部分164基于通过在匹配处理部分163内执行的块匹配处理而获得的结果来获取局部运动矢量。运动矢量计算部分164检测并保持由匹配处理部分163计算的SAD值的最小值，并且此外可以保持位于具有最小SAD值的参考块的附近的多个参考块的SAD值，以及可以通过例如二次曲线近似内插处理来估计具有较高子像素精度的局部运动矢量。

此外，运动矢量计算部分164对于每个块计算指示局部运动矢量和全局运动矢量之间的对应程度的指标值。具体而言，例如，运动矢量计算部分164评价背景对于目标块的对应程度，并生成吻合比β。吻合比β从运动矢量计算部分164被输出到图像合成部分17。此外，运动矢量计算部分164计算全局运动矢量并将所计算的全局运动矢量存储在存储器4中。这里，存储在存储器4中的全局运动矢量用在图6中示出的下一运动估计(局部ME)中。

控制部分165控制在运动补偿部分16内包括的每个部分。例如，控制部分165控制在目标块缓冲部分162内包括的选择器1614至1616和在参考块缓冲部分162内包括的选择器1623。此外，控制部分165也可以控制匹配处理处理部分163，以使得基于由目标块缓冲部分161和参考块缓冲部分162提供的像素数据来执行缩小帧或基础帧中的块匹配处理。

随后，将参照图10来描述运动补偿图像生成部分166。图10是示出在根据本公开实施例的成像设备10的运动补偿部分16内包括的运动补偿图像生成部分166的功能配置的框图。如图10中所示，运动补偿图像生成部分166混合在同一定时从参考块缓冲部分162中输出的全局运动补偿块和局部运动补偿块。运动补偿图像生成部分166可以通过执行这样的处理来生成运动补偿图像。具体而言，例如，通过基于控制部分1的控制混合全局运动补偿块和局部运动补偿块，运动补偿图像生成部分166可以对于每个目标块生成运动补偿块。

例如在混合比控制电路1661中计算全局运动补偿块对局部运动补偿块的混合比。混合比控制电路1661基于例如由控制部分1(诸如CPU)给出的指示成像设备10的运动的信息来计算混合比。混合比控制电路1661充当混合比计算部分的示例。

注意，虽然这里混合比控制电路1661计算全局运动补偿块对局部运动补偿块的混合比，但是混合比控制电路1661也可以计算第一运动补偿图像对第二运动补偿图像的混合比，分别根据其每个指示帧之间的运动的第一运动矢量和第二运动矢量来确定第一运动补偿图像和第二运动补偿图像。不特别限制在该情况下使用的第一运动矢量和第二运动矢量。作为第一运动矢量，可以使用为帧中设置的每个块计算的矢量。此外，作为第二运动矢量，可以使用为每个帧计算的矢量。局部运动矢量是为帧中设置的每个块计算的矢量的示例，全局运动矢量是为每个帧计算的矢量的示例。

此外，乘法电路1662基于由混合比控制电路1661计算的混合比而将全局运动补偿块添加到局部运动补偿块。例如，在成像设备10被连接到诸如三脚架的固定元件且全局运动矢量不发生晃动的情况下，可以增加要混合的全局MC块的比率。另一方面，在加速度传感器、陀螺传感器等检测到拍摄者自身的晃动的情况下，可以增加要混合的局部MC块的比率。乘法电路1662充当混合部分的示例。

在运动补偿中，对于参考块执行与全局运动和局部运动中的每个对应的处理、即伴随平移(translation)、旋转和缩放的变形处理，混合作为其结果而得到的全局MC块和局部MC块，从而能够生成运动补偿图像。将运动补偿块(运动补偿图像)和目标块(目标图像)从运动补偿图像生成部分166输出到图像合成部分17中。

<图像合成部分的细节>

图11是示出根据本公开实施例的成像设备10的图像合成部分17的功能配置的框图。参照图11，图像合成部分17包括添加比计算部分171、添加部分172、基础帧输出缓冲部分173、缩小帧生成部分174和缩小帧输出缓冲部分175。可以例如使用DSP来实现包括那些部分的图像合成部分17。

添加比计算部分171从运动补偿部分16中获取基础帧目标块的像素数据和运动补偿块的像素数据，并且计算这些块的添加比。可以使用诸如单纯添加方法或平均添加方法的添加方法来对基础帧目标块201和运动补偿块执行添加。添加比计算部分171可以依据添加方法来计算添加比。添加比计算部分171向添加部分172提供所计算的添加比、基础帧目标块201的像素数据和运动补偿块的像素数据。

添加部分172从添加比计算部分171获取基础帧目标块的像素数据、运动补偿块的像素数据和这些块的添加比。添加部分172以所获取的添加比将基础帧目标块的像素数据添加到运动补偿块的像素数据，从而生成得益于帧NR的有利效果而具有降低噪声的基础帧NR块。添加部分172向基础帧输出缓冲部分173和缩小帧生成部分174提供基础帧NR块的像素数据。

基础帧输出缓冲部分173积累由添加部分172提供的基础帧NR块的像素数据，并且向存储器4提供基础帧NR块的像素数据作为基础帧NR图像。

缩小帧生成部分174缩小由添加部分172提供的基础帧NR块的像素数据，并且生成缩小帧NR块的像素数据。缩小帧生成部分174向缩小帧输出缓冲部分175提供缩小帧NR块的像素数据。

缩小帧输出缓冲部分175积累由缩小帧生成部分174提供的缩小帧NR块的像素数据，并在存储器4中存储缩小帧NR块的像素数据作为缩小帧NR图像。这里，在例如在拍摄静止图像时在参考图像进一步与帧NR之后得到的目标图像合成的情况下，存储在存储器4中的缩小帧NR图像可以被用作缩小帧目标图像。此外，这里，在拍摄运动图像时使用下一帧作为目标图像执行帧NR的情况下，存储在存储器4中的缩小帧NR图像可以被用作缩小帧参考图像。

(从成像设备的使用示例的角度看混合比的变化)

此后，运动补偿块中的全局运动补偿块的比率被简称为“混合比”。图12是示出在使用根据本实施例的成像设备10期间混合比的变化的示例的图。如图12中所示，当在成像设备10被连接到固定元件的情况下成像设备10执行拍摄时，因为认为全局运动矢量发生较少的抖动，所以可以设置较高的混合比。此外，当在固定元件与成像设备10断开连接的情况下成像设备10执行拍摄时，因为认为全局运动矢量发生抖动，所以可以减少混合比。

此外，当在成像设备10被连接到固定元件的情况下成像设备10执行拍摄时，可使混合比较高(可以再次增加)。优选地如图12所示缓慢地执行混合比从高状态到低状态的转变、或混合比从低状态到高状态的转变。这是为了防止用户的眼睛由于快速改变混合比而感到不舒适。

图13是示出在使用根据本实施例的成像设备10期间混合比的变化的另一示例的图。如图13中所示，当在用户的手不发生晃动的情况下成像设备10执行拍摄时，因为认为全局运动矢量发生较少的抖动，所以可以设置较高的混合比。此外，当在用户的手发生晃动的情况下成像设备10执行拍摄时，因为认为全局运动矢量发生抖动，所以可以减少混合比。

优选地如图13所示缓慢地执行混合比从高状态到低状态的转变、或混合比从低状态到高状态的转变。这是为了防止用户的眼睛由于快速改变混合比而感到不舒适。此外，如图13中所示，优选地是，可以设置从混合比停止减少的点至混合比开始增加的点的预定时间段。这是因为，在用户的手的晃动发生一次之后很有可能立即再次发生用户的手的晃动。

(拍摄运动图像时)

接下来，在图14中，示出了由根据本实施例的成像设备10执行的、在拍摄运动图像时通过图像合成的降噪处理的流程图。在控制部分1和由控制部分1控制的运动补偿部分16内包括的控制部分165的控制下执行在图14中示出的流程图的每个步骤。当由用户操作运动图像记录按钮时，控制部分1给出开始自“开始”起的图14的处理的指示。

在本实施例中，运动补偿部分16具有适合于以每目标块为基础来执行匹配处理的配置。因此，信号处理部分13依据由控制部分1执行的控制、以每目标块为基础保持帧图像并向运动补偿部分16发送图像数据(步骤S101)。

发送到运动补偿部分16的目标块的图像数据被存储在目标块缓冲部分161中。接下来，控制部分165设置与目标块对应的参考块(步骤S102)，并且将来自存储器4的匹配处理范围的图像数据加载到参考块缓冲部分162中(步骤S103)。

接下来，匹配处理部分163和运动矢量计算部分164通过根据本实施例的逐级(stage-by-stage)块匹配来执行运动估计处理(步骤S 104)。也就是说，匹配处理部分163首先计算缩小帧中的缩小帧目标块的像素值与缩小帧参考块的像素值之间的SAD值，并且将所计算的SAD值发送到运动矢量计算部分164中。匹配处理部分163对于搜索范围内的所有缩小帧参考块重复该处理。在对于搜索范围内的所有缩小帧参考块完成SAD值的计算之后，运动矢量计算部分164指定最小SAD值并估计缩小帧运动矢量。

控制部分165将由运动矢量计算部分164估计的缩小帧运动矢量乘以缩小比的倒数，从而将缩小帧运动矢量转换为基础帧上的运动矢量，并且将以转换后的矢量在基础帧上所指示的位置为中心的范围作为基础帧上的搜索范围。然后，控制部分165执行控制，以使得匹配处理部分163在搜索范围内执行基础帧中的块匹配处理。匹配处理部分163计算基础帧目标块的像素值与基础帧参考块的像素值之间的SAD值，并将所计算的SAD值发送到运动矢量计算部分164中。

在对于搜索范围内的所有缩小帧参考块完成SAD值的计算之后，运动矢量计算部分164指定最小SAD值并估计缩小帧运动矢量。运动矢量计算部分164也指定位于其附近的SAD值，使用那些SAD值执行上述的二次曲线近似内插处理，并输出具有较高子像素精度的运动矢量。

接下来，依据在步骤S104中计算的高精度运动矢量，控制部分165从参考块缓冲部分162中读出两个运动补偿块(局部运动补偿块和全局运动补偿块)的图像数据，并且通过基于两种不同运动矢量和混合比来混合局部运动补偿块和全局运动补偿块而生成运动补偿块(步骤S105)。控制部分165将所生成的运动补偿块与目标块同步，并将它们发送到后级的图像合成部分17中(步骤S106)。

在图像合成部分17中，执行目标块与运动补偿块的合成。图像合成部分17通过NTSC编码器20向显示器6输出作为合成的结果而得到的NR图像的图像数据，从而执行运动图像记录监视，并且也通过运动图像编解码器19向贮存器5输出NR图像的图像数据以记录在记录介质中(步骤S107)。

在图像合成部分17中合成的图像被再次存储在存储器4中，并且在下一帧(目标帧)期间被用作参考帧(步骤S108)。

此后，控制部分1确定用户是否执行了运动图像记录停止操作(步骤S109)，在确定用户没有执行运动图像记录停止操作的情况下，处理返回到步骤S101，并且控制部分1给出重复自步骤S101以后的处理的指示。此外，在在步骤S109中确定用户执行了运动图像记录停止操作的情况下，控制部分1终止处理例程。

在上述运动图像的降噪处理的处理例程中，虽然前一帧的图像帧被用作参考帧，但是再前一帧的图像也可以被用作参考帧。此外，前一帧的图像和前两帧的图像可以被存储在存储器4中，并且可以基于两段图像信息的内容来选择哪个图像帧被用作参考帧。

通过使用上述手段、过程和系统配置，变得可以在相同的块匹配处理的硬件中执行静止图像降噪处理和运动图像降噪处理。

(运动补偿块创建的处理流程)

接下来，图15示出由根据本实施例的成像设备10执行的运动补偿块创建的处理的流程。如图15中所示，运动矢量计算部分164计算执行运动估计/补偿处的坐标(步骤S201)，并且估计局部运动矢量(步骤S202)。运动补偿图像生成部分166使用由运动矢量计算部分164估计的局部运动矢量来创建局部MC块(步骤S203)。另一方面，运动矢量计算部分164基于仿射(affine)参数、依据运动矢量计算部分164估计的局部运动矢量来计算全局运动矢量(步骤S204)。

运动补偿图像生成部分166基于全局运动矢量创建全局MC块(步骤S205)，并基于局部MC块与全局MC块之间的关系来确定是否执行局部MC块与全局MC块的混合(步骤S206)。在运动补偿图像生成部分166确定不执行局部MC块与全局MC块的混合的情况下，处理进行到步骤S208。另一方面，在运动补偿图像生成部分166确定执行局部MC块与全局MC块的混合的情况下，运动补偿图像生成部分166基于由控制部分1执行的控制而设置的混合比来创建运动补偿块(步骤S207)，并且处理进行到步骤S208。

当处理进行到步骤S208时，运动矢量计算部分164确定是否完成X、Y循环(步骤S208)，在运动矢量计算部分164确定没有完成X、Y循环的情况下，处理返回到步骤S201以计算作为执行运动估计/补偿的坐标的下一X和Y坐标。在运动矢量计算部分164确定完成X、Y循环的情况下，完成运动补偿块创建的处理。

运动补偿图像生成部分166可以以每像素为基础来混合局部MC图像(LMC)与全局MC图像(GMC)，并且可以输出MC图像，以增强作为生成结果而得到的MC图像的精度。运动补偿图像生成部分166可以基于运动对象确定和LMV可靠性来计算用于混合的加权因子(GMC_W)。

也就是说，执行如下过程。

当LMC与GMC之间的差异较大时，因为LMC是运动部分，所以使用LMC。

当LMV可靠性较低时，增加GMC的混合比。

(低LMV可靠性＝SAD的最小值与次小值之间的差较小、或外围LMV的分布较大)

当混合Cb和Cr时，使用亮度(Y信号)来确定LMC和GMC中的每个。

例如，可以使用如下确定公式来执行LMV可靠性确定。

如果((块匹配时SAD表的次小值-块匹配时的最小SAD值＜＝SAD_TH)||(LMV差绝对值MAX＞LMV_THR))

则LMV可靠性较低；

对于差的计算公式：对于MV1和MV2，|MV1-MV2|＝|MV1.x-MV2.x|+|MV1.y-MV2.y|。

例如，可以使用如下确定公式来执行GMC与LMC之间的混合比的确定。

图16是示出在使用根据本实施例的成像设备期间用于每个操作模式的全局运动矢量和GMC混合比的图。操作模式“正常拍摄”表示其中成像设备10没有被固定的状态，并且操作模式“固定拍摄”表示其中成像设备10被固定的状态。基于由检测部分7检测的成像设备10的运动来确定那些状态。

如图16中所示，在操作模式是“正常拍摄”的情况下，以实时为基础(例如，两帧延迟)来计算全局运动矢量，并且在操作模式是“固定拍摄”的情况下，不重新计算全局运动矢量。此外，在操作模式是“正常拍摄”的情况下，依据抖动来计算GMC混合比，并且在操作模式是“固定拍摄”的情况下，GMC混合比被设置为较高值。

(添加比计算处理的流程)

在本实施例中，添加比计算部分171以每像素为基础计算添加比α(0≤α≤1)。然后，如上所述，基本上，依据目标图像与运动补偿图像之间以每像素为基础的差以及吻合比β来计算添加比α。因此，吻合比β、目标图像数据TGv和运动补偿图像数据MCv被提供到添加比计算部分171中。

这里，当目标图像与运动补偿图像之间以每像素为基础的差较大时，认为是运动部分，并且因此减小添加比α，但是当不存在以每像素为基础的差或以每像素为基础的差较小时，添加比α可以被设置为较高。然而，在不清楚目标块是背景静止图像部分还是运动拍摄对象部分的情况下，必须如上所述将添加比α抑制为相对低的值，以便对运动部分的双重曝光不变显著。

然而，在本实施例中，因为基于吻合比β来确定作为背景静止图像部分的对应程度，所以添加比α随着吻合比β的增加和作为背景的对应程度的增加而被设置为较高。

此外，在本实施例中，因为图像中包括的噪声取决于拍摄场景的明度(图像的增益量)，所以对于目标图像与运动补偿图像之间以每像素为基础的差，添加比计算部分171考虑取决于拍摄场景的明度(图像的增益量)的噪声。也就是说，当目标图像与运动补偿图像之间以每像素为基础的差在噪声范围内时，确定二者之间的实际差较小。此外，当以每像素为基础的差大于噪声范围时，确定二者之间的差实际较大。

(添加处理的细节)

如上所述，添加部分172使用添加比α，并通过对于每个像素在目标图像上合成运动补偿图像来生成NR图像。这里，假设存在用于由添加部分172执行的使用添加比α的合成的各种技术。图17是示出目标图像和运动补偿图像的合成的示例的图。

图17示出通过在目标图像A上合成运动补偿图像B、在合成后生成的图像B’上合成运动补偿图像C、并在合成后生成的图像C’上合成运动补偿图像D的合成后生成图像的示例。然而，要在目标图像上合成的运动补偿图像的数目可以不是3，并且不特别限定，只要其是一个或更多即可。

如图17中所示，可以增加合成的次数，并且同时，可以在以“1/2”、“1/3”、“1/4”、......的顺序降低阶数P的值的同时一个接一个地添加运动补偿图像。也就是说，在合成的次数被设置为n次的情况下，通过将P的值设置为“1/(n-1)”来执行运动补偿图像的添加。利用这样的添加，可以利用均等的权重来添加目标图像和所有的运动补偿图像。

<2.总结>

在本公开的实施例中，在考虑全局运动矢量的图像处理设备中，可以获得稳定的NR效果而不管全局运动矢量的可靠性的变化如何，并且即使在全局运动矢量快速改变的情况下也可以避免发生不自然的NR效果。此外，在拍摄运动图像时，可以减少用于以实时为基础确定全局ME和局部ME的资源量。

本领域技术人员应当明白，可以取决于设计需求和其他因素而发生各种修改、组合、子组合和替换，只要它们在所附权利要求或其等价物的范围内。

例如，在本公开的实施例中，虽然针对具有运动估计/运动补偿功能的帧NR而做出描述，但是本公开的实施例也可以被应用于其他帧NR。例如，考虑在帧NR中基本存在下述类型。

1.使用以每块为基础的局部ME的运动补偿+帧NR

2.使用以每屏幕为基础的全局ME的运动补偿+帧NR

3.使用没有运动补偿(即运动0)的帧图像之前的帧图像的帧NR

本公开的实施例建议了考虑两种类型的运动补偿图像的帧NR，诸如使用以每块为基础的局部ME的运动补偿+以每屏幕为基础的使用全局ME的运动补偿。在使用这两种类型的运动补偿图像的情况下，希望是：首先，两个运动补偿图像彼此进行比较；然后，考虑相邻矢量的变化；最后，基于成像设备10自身的运动信息来混合两类运动补偿图像。

该技术可以被应用于其他组合，诸如下述：

1.使用以每块为基础的局部ME的运动补偿+具有运动0的帧图像之前的帧图像

2.使用以每屏幕为基础的全局ME的运动补偿+具有运动0的帧图像之前的帧图像

此外，该技术可以与成像设备10之外的信息诸如光学抖动相组合。此外，该技术可以与3类或更多类运动估计相组合。

例如，在上述实施例中，成像设备被示范为图像处理设备，但是本公开不限于这样的示例。例如，图像处理设备可以是用于处理正被存储的数据的独立设备，或可以被具体化为诸如PC(个人计算机)的信息处理设备中的用于处理图像数据的应用。

此外，在上述实施例中，示范了使用DSP来实现在图像处理设备中包括的运动补偿部分和图像合成部分中的每个的功能的情况，但是本公开不限于这样的示例。例如，各个部分的每个的功能可以由专用硬件来实现，或其每个可以通过使用CPU而被实现为软件。

本公开包括涉及在于2011年1月5日向日本专利局提交的日本优先权专利申请JP 2011-000350内公开的主题，其全部内容通过引用而被合并于此。

Claims (7)

1.一种图像处理设备，包括：

检测部分，检测图像处理设备的运动；

混合比计算部分，基于由所述检测部分检测的所述图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定所述第一运动补偿图像和所述第二运动补偿图像；

混合部分，通过依据由所述混合比计算部分计算的混合比混合所述第一运动补偿图像和所述第二运动补偿图像来生成运动补偿图像；以及

添加部分，将由所述混合部分生成的所述运动补偿图像添加到目标图像。

2.根据权利要求1所述的图像处理设备，

其中，所述第二运动补偿图像是基于相对于用于确定所述第一运动补偿图像的帧延迟一帧或更多帧所获得的帧而确定的运动补偿图像。

3.根据权利要求1所述的图像处理设备，

其中，所述第一运动矢量是针对帧中设置的每个块计算的矢量。

4.根据权利要求1所述的图像处理设备，

其中，所述第二运动矢量是针对每个帧计算的矢量。

5.根据权利要求1所述的图像处理设备，

其中，所述检测部分通过检测所述图像处理设备的移动来检测所述图像处理设备的运动。

6.根据权利要求1所述的图像处理设备，

其中，所述检测部分通过检测固定元件到所述图像处理设备的连结来检测所述图像处理设备的运动。

7.一种图像处理方法，包括：

检测图像处理设备的运动；

基于所述图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定所述第一运动补偿图像和所述第二运动补偿图像；

通过依据所述混合比混合所述第一运动补偿图像和所述第二运动补偿图像来生成运动补偿图像；以及

将所述运动补偿图像添加到目标图像。

Images