CN102611826A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本发明提供不设定过宽的搜索范围就能够计算运动矢量的图像处理装置、图像处理方法以及程序。局部运动矢量计算部(17)针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与目标块相关性最大的块位置，来计算目标块的运动矢量(局部运动矢量)。全局运动矢量计算部(18)从在目标图像中设定的多个目标块中的每个目标块的运动矢量计算目标图像与参考图像之间的运动矢量。预测运动矢量设定部(19)使用在比目标图像早的图像之间算出的运动矢量来设定预测运动矢量。搜索范围基于目标块的位置和预测运动矢量而被设置在参考图像上。

Description

图像处理装置、图像处理方法以及程序

技术领域

本技术涉及图像处理装置、图像处理方法以及程序。具体来说，当计算连续拍摄的图像之间的运动矢量时能够最优化搜索范围。

背景技术

以往，从通过一边移动拍摄装置的拍摄方向一边进行拍摄来获得的多张拍摄图像中截出例如带状的图像并将其拼接来生成一张广角图像(全景图像)。并且，算出拍摄图像之间的运动矢量，并基于算出的运动矢量来设定截出区域，使得拼接部分的图像成为连续的图像。

图1是用于说明以往的动作的图，示出了通过一边移动拍摄装置的拍摄方向一边进行拍摄来获得的从t-3时刻到t时刻的4张拍摄图像的位置关系。

当计算t-1时刻的图像(参考图像)和t时刻的图像(作为目标图像)之间的图像间运动矢量(以下，称作“全局运动矢量”)时，将从参考图像的中心到上下左右等距离的范围作为搜索范围。在该搜索范围内判断与参考图像之间的匹配程度，将匹配程度最高的运动矢量作为全局运动矢量。当在全局运动矢量的计算中将目标图像整体和参考图像整体进行直接匹配时，取得匹配的图像区域只是图像的一部分，无法精确地计算出全局运动矢量。因此，例如专利文献1所述，将图像分割成几个小的块，计算每个块的运动矢量(以下，称作“局部运动矢量”)，然后对这些块的运动矢量进行综合处理来计算全局运动矢量。

图2A～2C示出了块和局部运动矢量的关系。目标图像和参考图像的关系以绝对座标基准来表示时成为图2A所示的位置关系，以图像基准来表示时如图2B、2C所示。

当在目标图像上设定了计算局部运动矢量的目标块时，在现有技术中，以参考图像上的同一位置为中心，设置了上下左右为等距离的搜索范围。在该搜索范围内，依次进行目标块和参考图像之间的匹配，作为相关性最高的位置的最优匹配位置和目标块位置之间的相对座标表示局部运动矢量。

目标块可以被设定为将整个画面单纯地以等间隔进行了分割的各区域，也可以设定为允许重复的分割区域。另外，也可以将预先从边缘信息等提取特征点并只将包含这些特征点的限定位置作为对象块。另外，即使如图2C所示那样设定搜索范围，匹配对象的图像不存在的区域也没有意义。因此，实际上如图3B所示那样设定搜索范围。

另外，目标图像和参考图像只在共用图像区域(图2A～2C、图3A和3B中用斜线表示的区域)存在一致的图像。因此，从匹配程度等可靠性信息中只提取所有块的局部运动矢量中属于共用图像区域的局部运动矢量。并且，通过对所提取的可靠性高的一个或多个局部运动矢量综合地进行处理，来计算全局运动矢量。基于如上述获得的全局运动矢量，移动目标图像并与参考图像进行拼接，由此能够生成拼接部分的图像连续的广角图像。另外，作为由局部运动矢量计算全局运动矢量的方法，例如公知有将仿射转换和RANSAC(Random Samp1e Consensus，随机抽样一致性)算法组合的方法等。

专利文献1：日本专利文献特开2009-219082号公报

发明内容

然而，当以参考图像上的与目标块相同的位置为中心设定上下左右为等距离的搜索范围时，为了覆盖原本想要获得的移动量，必须要设定宽的区域来作为搜索范围。但是，为了增大搜索范围，就必须增大硬件的规模，而且处理时间也会增加。另外，若增加处理时间，就必须降低帧频，帧频变低，帧间的移动量就会变大，从而必须进一步增大搜索范围。另外，由于帧间的移动量大并且时间上是离散的，因此在拼接了图像时，拼接部分的图像有可能不光滑。

从而，在优先广角图像的图像质量的情况下，需要限制移动拍摄装置的拍摄方向的速度(例如，拍摄装置的摆动速度或平行移动速度等)。另外，在通过允许固定值以上的速度来优先可用性的情况下，必须容忍广角图像的图像质量变差。

因此，该技术的目的在于提供一种不用设定过宽的搜索范围就能够计算运动矢量的图像处理装置和图像处理方法。

该技术的第一侧面是一种图像处理装置，第一运动矢量计算部，其针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；第二运动矢量计算部，其从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；以及预测运动矢量设定部，其使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；其中，所述第一运动矢量计算部基于所述目标块的位置和所述预测运动矢量来在所述参考图像上设定所述搜索范围。

在该技术中，针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与目标块相关性最大的块位置，来计算目标块的运动矢量。此外，从目标图像中设定的多个目标块中的每个目标块的运动矢量，计算目标图像与参考图像之间的运动矢量。此外，通过将函数值作为偏移分量相加到在比目标图像早的图像之间算出的例如1帧前的运动矢量或者两个以上的运动矢量、或者利用该运动矢量进行的线性预测结果来设定预测运动矢量。函数值是对移动拍摄方向的运动进行近似的函数的函数值，可使用固定值、相对于时间而线性变化的函数的函数值、相对于时间呈抛物线形状变化的函数的函数值等。另外，基于与用户操作相应的操作信号来设定函数值的初始值的符号。并且，在设置有检测角速度、加速度、磁力中的至少一个的运动检测传感器的情况下，使用运动检测传感器的传感器输出来进行预测运动矢量的设定。基于如上设定的预测运动矢量来移动与目标图像上的目标块的位置相当的参考图像上的块位置，并以相关性最大的块位置为基准来设定搜索范围。

该技术的第二侧面是一种图像处理方法，包括以下步骤：针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；以及使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；其中，所述搜索范围基于所述目标块的位置和所述预测运动矢量而被设定在所述参考图像上。

该技术的第三侧面是一种程序，使计算机执行以下过程：针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；以及基于所述目标块的位置和所述预测运动矢量来在所述参考图像上设定所述搜索范围。

本技术的程序是例如针对各种能够实现程序、代码的通用计算机系统，以计算机可读形式提供的、能够通过记录介质、通信介质所提供的程序，例如能够由光盘、磁盘、半导体存储器等记录介质提供的程序、或者能够通过网络等通信媒体提供的程序。通过以计算机可读形式提供这样的程序，在计算机系统上实现与程序对应的处理。

发明效果

根据该技术，当针对在目标图像中所设定的由多个像素构成的目标块计算运动矢量时，利用在比目标图像早的图像之间算出的运动矢量来设定预测运动矢量。并且，基于目标块的位置和预测运动矢量在参考图像上设定搜索范围内。因此，不用设定过宽的搜索范围，不扩大硬件规模，就能够快速地计算目标块的运动矢量。

附图说明

图1是用于说明传统技术的动作的图；

图2A～2C是示出块和局部运动矢量的关系的图；

图3A和3B是示出实际设定的搜索范围的图；

图4是例示了将图像处理装置应用于拍摄装置时的构成的图；

图5是以绝对座标基准示出搜索范围设定动作的图；

图6A和6B是示出搜索范围设定动作的图；

图7是按每个人示出帧间运动矢量的变化量的图；

图8是示出摆动方向上的垂直分量的预测的图像的图；

图9A～9C是示出第一预测运动矢量设定动作中的偏移分量的图；

图10A和10B是示出第二预测运动矢量设定动作中的偏移分量的图；

图11是示出拍摄装置的动作的流程图(其一)；

图12是示出拍摄装置的动作的流程图(其二)。

附图标记说明

10…拍摄装置，11…拍摄光学系统，12…拍摄部，13…定时信号生成部(TG部)，14…前处理部，15…图像处理部，16…存储器部，17…局域运动矢量计算部，18…全局运动矢量计算部，19…预测运动矢量设定部，20…图像合成部，21…记录部，22…分分辨率变换部，23…显示部，25…控制部，26…输入部，27…运动检测传感器，29…总线。

具体实施方式

以下，对本技术进行说明。在本技术中，当为计算时间上连续的两张图像之间的运动矢量(全局运动矢量)而在图像之间进行匹配处理时，通过使搜索范围的设定适当化，能够有效地进行运动矢量的计算。本技术的说明以如下的顺序进行。另外，对通过摆动拍摄装置来移动拍摄方向移动的情况进行说明。

1.拍摄装置的构成

2.搜索范围设定动作

2-1.第一预测运动矢量设定动作

2-2.第二预测运动矢量设定动作

2-3.第三预测运动矢量设定动作

3.广角图像生成动作

<1.拍摄装置的构成>

图4例示了将本技术的图像处理装置应用于拍摄装置时的构成。拍摄装置10包括：拍摄光学系统11、拍摄部12、定时信号生成部(TG部)13、前处理部14、图像处理部15、存储器部16、局部运动矢量计算部17、全局运动矢量计算部18、预测运动矢量设定部19、图像合成部20、存储部21、分辨率变换部22、显示部23、控制部25、输入部26。另外，在拍摄装置10中，经由总线29连接有图像处理部15、存储器部16、局部运动矢量计算部17、预测运动矢量设定部19、图像合成部20、存储部21、分辨率变换部22、以及控制部25。另外，在拍摄装置10中也可以设置运动检测传感器27。

拍摄光学系统11以透镜为主体构成，用于在拍摄部12的受光面上形成没有图示的被拍体的光学图像。

拍摄部12利用CMOS或CCD等固态摄像元件来构成。另外，拍摄部12与定时信号生成部13连接。拍摄部12基于定时信号生成部13所生成的定时信号来驱动摄像元件，生成与由拍摄光学系统11形成在受光面上的光学图像相对应的拍摄信号并将其输出给前处理部14。

前处理部14对从拍摄部12输出的模拟的拍摄信号进行相关双采样处理(CDS)、模拟放大处理等，对处理后的拍摄信号进行A/D转换处理后输出给图像处理部15。

图像处理部15对从前处理部14输出的图像数据进行相机信号处理或各种校正处理，从而将图像数据转换成预定方式的信号、例如亮度数据和色差数据。通过在图像处理部15中进行各种图像处理而得的的图像数据被存储在存储器部16中。

存储器部16被用作临时存储拍摄图像或广角图像的工作存储器。存储器部16存储从图像处理部15输出的图像数据或在后述的图像合成部20中进行了合成处理后的图像数据。

局部运动矢量计算部17是第一运动矢量计算部，其在目标图像和参考图像之间，按照每个目标块依次进行匹配处理，按照每个目标块计算运动矢量。另外，在以下的说明中，将按照每个目标块计算的运动矢量称作局部运动矢量。

局部运动矢量计算部17基于在后述的预测运动矢量设定部19设定的预测运动矢量来移动与目标图像上的目标块的位置相当的参考图像上的块位置。局部运动矢量计算部17以移动后的块位置为基准来设定搜索范围，并在搜索范围内进行与目标块的匹配处理。并且，局部运动矢量计算部17检测在匹配处理中与目标块之间的相关性最大的搜索范围内的块位置，并基于检测到的块位置和目标块的位置来计算局部运动矢量。

全局运动矢量计算部18是第二运动矢量计算部，起计算时间上连续的两张图像间的运动矢量。在以下的说明中，将在图像之间算出的运动矢量称作全局运动矢量。

全局运动矢量计算部18基于由局部运动矢量计算部17算出的局部运动矢量来计算全局运动矢量。例如，以相同的权重使用针对目标帧求出的多个局部运动矢量的全部来计算全局运动矢量。另外，也可以如专利文献1所述，计算关于目标帧的多个局部运动矢量中的每一个的可靠性指标值，对该可靠性指标值进行归一化，并且针对每个局部运动矢量例如设定大于等于0且小于等于1的权重系数。并且，根据设定的权重系数对每个局部运动矢量进行加权，然后基于加权后的局部运动矢量来计算全局运动矢量。为了减少全局运动矢量的计算负荷，也可以将归一化的可靠性指标值与阈值进行比较并将权重系数进行二值化后加以使用。

预测运动矢量设定部19使用在比目标图像早的图像之间检测到的全局运动矢量来进行预测运动矢量的设定。另外，预测运动矢量设定部19也可以不仅使用全局运动矢量而且还将函数值作为偏移分量相加来进行预测运动矢量的设定。此时，预测运动矢量设定部19使用将拍摄装置10的摆动动作近似了的函数的函数值。预测运动矢量设定部19将设定的预测运动矢量通知给局部运动矢量计算部17。

图像合成部20确定用于生成广角图像的部分图像，并将该部分图像拼接来生成广角图像。图像合成部20在部分图像的确定中基于全局运动矢量来设定用作部分图像的图像区域，使得拼接部分的图像成为连续的图像。另外，图像合成部20在拼接部分图像来生成广角画像的图像合成中，控制部分图像的图像数据的写入位置，使得例如广角图像的图像数据成为以预定的顺序被记录在存储器部16中的状态。

存储部21将存储在存储器部16中的广角图像的图像数据记录到存储器卡等记录介质中。

分辨率变换部22进行分辨率变换，以使存储在存储器部16中的图像、或存储在存储部21中的图像变为与显示部23的分辨率匹配的图像数据。

显示部23使用液晶显示元件或有机EL显示元件等而构成。显示部23基于从分辨率变换部22提供的图像数据来显示拍摄图像或广角图像。另外，在显示部23中还进行相机直通图像(camera through image)的显示、与拍摄装置的设定或操作相关的菜单显示等。

控制部25与输入部26连接。输入部26用于接受来自用户的操作输入，其中设置有电源开关、快门键、变焦键等各种操作键、用于菜单显示或菜单项的选择以及各种设定的操作键等。输入部26将与用户操作相应的操作信号输出给控制部25。

控制部25使用微型计算机等来构成，其执行所存储的程序，来控制各部，以使拍摄装置10的动作成为与用户操作相应的动作。成为，在预测运动矢量设定部19使用全局运动矢量和函数值进行预测运动矢量的设定的情况下，控制部25进行作为函数值设定部的动作，生成函数值并将其提供给预测运动矢量设定部19。

<2.搜索范围设定动作>

为了全局运动矢量，该全局运动矢量是时间上连续的两张图像之间的运动矢量，拍摄装置10进行以块为单位的匹配处理，计算局部运动矢量。另外，在匹配处理中，通过使用预测运动矢量对搜索范围的设定进行最优化，从而有效地计算局部运动矢量。

图5中以绝对座标基准示出了搜索范围设定动作。拍摄装置10例如使用作为已知信息的过去算出的一个或两个以上的图像间运动矢量来设定预测运动矢量。另外，拍摄装置10通过基于预测运动矢量设定搜索范围，使得即使将搜索范围设为比以往窄的区域也能够检测局部运动矢量。也就是说，拍摄装置10不用将过宽的范围作为搜索范围就能够检测运动矢量，由此可提高处理速度，并可在高分辨率图像中检测大的移动矢量。具体地，如图6A和6B所示，拍摄装置10在图像基准上根据预测运动矢量来移动目标块的位置，并将以参考图像上的移动后的位置为基准而上下左右等距离的范围设定为搜索范围。另外，在预测运动矢量的误差的偏倚已知的情况下，根据偏倚来移动搜索范围。

<2-1.第一预测运动矢量设定动作>

接下来，说明第一预测运动矢量设定动作。作为从过去值预测将来值的方法，可使用各种算法，但最典型的算法是线性预测。

式(1)是示出线性预测的公式。这里，如果将时刻设为“t”(t的单位是帧数)，将事先观测到的过去的运动矢量设为“x(t)”，将预测系数设为“a_i”，则从公式(1)能够算出t时刻的预测运动矢量v(t)。

$v\left(t\right)=-\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{a}_{i}x(t-i)...\left(1\right)$

在将摆动动作开始时设为“t＝0”的情况下，将摆动动作开始前“t＜0”的矢量值设为“x(t)＝0”。

这里，在广角图像的生成中，相对于用户有意地使相机进行摆动动作，系统中假定的帧频为5～15帧/秒左右。因此，应预测的对象的时频分量和采样的时间间隔之间的偏离变大，预测有可能不成立。另外，如果在需要预测的对象例如开始摆动的期间并且摆动速度的变动大，则由于几乎没有获得过去的样本，因此无法发挥线性预测的有效性。

从而，在拍摄装置10能够以高帧频计算运动矢量、并且拍摄装置10的摆动动作为匀速的情况下，预测运动矢量设定部19能够通过使用式(1)所示的线性预测来精确地设定预测运动矢量。

然而，在用于生成广角图像的摆动动作中，通常在开始摆动期间的帧间全局运动矢量的变化量大，并且帧间运动矢量的变化量因人而异。图7按照进行了摆动动作的每个人示出了开始摆动期间的帧间全局运动矢量的变化。从该图7可知，开始摆动期间的帧间全局运动矢量的变化大，而且还可知由人的不同而引起的偏差也很大。

因此，预测运动矢量设定部19通过将函数值作为偏移分量加到图像间的运动矢量时来设定预测运动矢量。例如使用对公式(1)所示的线性预测加上如公式(2)所示的那样只取决于t时刻的函数f(t)、并将线性预测的帧数p设为“1”、将预测系数a_i设为“-1”的公式(3)，来进行预测运动矢量v(t)的设定。

$v\left(t\right)=f\left(t\right)-\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{a}_{i}x(t-i)...\left(2\right)$

V(t)＝f(t)+x(t-1)        …(3)

另外，相对于拍摄装置10的摆动方向垂直的分量的运动矢量w(t)使用公式(4)或公式(5)来计算。另外，将事前观测的过去的全局运动矢量设为“y(t)”。另外，与摆动方向垂直的分量几乎为“0”，因此用比摆动方向窄的搜索范围就能够充分覆盖。将摆动开始前“t＜0”的矢量值设为“y(t)＝0”。

w(t)＝y(t-1)    …(4)

w(t)＝0         …(5)

如上所述，在与摆动方向垂直的分量几乎为“0”的情况下，基于式(3)的摆动方向的预测和基于式(5)的摆动方向的垂直分量的预测的图像如图8所示。即，预测运动矢量(v(t)，w(t))通过对前一帧中观测的全局运动矢量(x(t-1)，y(t-1))相加由仅摆动方向上的f(t)引起的偏移分量而获得。

图9A～9C例示了相对于前一值的预测的偏移分量。图9A示出了用户开始摆动拍摄装置时的一般的特性。当假设在按下快门后开始了摆动动作时，摆动拍摄装置的一般动作通常可以想象为如下：从速度“0”开始后，快速上升到某一速度，之后维持恒定速度，然后速度较缓慢地下降。也就是说，开始摆动期间的偏移分量f(t)可预想是从某一个高值开始并平滑地逐渐逼近“0”的形状，成为图9A所示的特性。

从而，控制部25根据对图9A所示特性的摆动动作进行近似的函数，例如根据使用相对于时间而线性变化的函数进行近似的图9B所示的特性，来计算与时间经过对应的偏移分量f(t)。另外，控制部25也可以根据对图9A所示特性的摆动动作进行近似的函数，例如根据使用相对于时间呈抛物线形状变化的函数进行近似的图9C所示的特性，来计算与时间经过对应的偏移分量f(t)。如此，控制部25进行函数值的计算，预测运动矢量设定部19使用在过去的图像之间算出的全局运动矢量和相对于时间而线性变化的函数或者相对于时间呈抛物线形状变化的函数的函数值，来设定预测运动矢量。另外，预测运动矢量设定部19使用在过去的图像之间算出的一个或两个以上的全局运动矢量来进行线性预测。如果预测运动矢量设定部19将图9A的特性用直线近似来进行计算，则可以将计算成本抑制得较低。

并且，t＝0时刻的偏移分量f(t)的初始值、即f(0)根据摆动方向而取不同的值。例如，在摆动方向相反的情况下，初始值的符号也相反。因此，如果让用户预先选择摆动方向、或者通过陀螺仪等传感器检测摆动方向，则能够与摆动方向对应地设定初始值的符号。t＝0时刻的偏移分量f(t)的值通过实验等来预先求出最优值即可。

<2-2.第二预测运动矢量设定动作>

在第一预测运动矢量设定动作中，对使用过去的全局运动矢量和基于从摆动开始起的经过时间的函数值来计算当前帧的预测运动矢量的方法进行了说明。接下来，在第二预测运动矢量设定动作中，对使用比公式(3)更加简化的公式(6)的方法进行说明。

v(t)＝f+x(t-1)  …(6)

在公式(6)中，始终将固定值(与固定的函数值相当)作为偏移分量加到前一值。例如，在公式(3)中将时刻(0)的值作为固定值的偏移分量。

图10A和10B示出了偏移分量为固定值的情况，例如图10A示出了摆动为等速运动的情况。在近似成等速运动的情况下，控制部25将偏移分量不根据时间变化而始终设为“0”。另外，图10B示出了摆动动作为等加速运动的情况。在近似成等加速运动的情况下，控制部25将偏移分量设为不为“0”的固定值。

预测运动矢量设定部19使用在过去的图像之间算出的一个全局运动矢量来进行线性预测。另外，预测运动矢量设定部19也可以使用在过去的图像之间算出的两个以上的全局运动矢量来进行线性预测。

对于t＝0时刻的偏移分量f(t)的初始值、即f(0)，也可以与第一搜索范围设定动作同样地预先让用户选择摆动方向。或者，也可以通过陀螺仪等传感器检测摆动方向并与摆动方向对应地设定初始值的符号。另外，对于t＝0时刻的偏移分量f(t)的值，通过实验等来预先求出最优值。并且，也可以使用从公式(6)中删除了前一值的公式(7)。

v(t)＝f      …(7)

若如上述设定预测运动矢量，则能够比第一预测运动矢量设定动作容易地计算预测运动矢量。

<2-3.第三预测运动矢量设定动作>

在第一预测运动矢量设定动作和第二预测运动矢量设定动作中，对使用拍摄装置10所生成的图像来计算预测运动矢量的方法进行了说明。然而，预测运动矢量不限于使用图像来计算的情况。例如，在拍摄装置10中设置有检测运动的运动检测传感器27的情况下，预测运动矢量设定部19可基于通过运动检测传感器27所检测的运动来有效地设定预测运动矢量。

作为运动检测传感器27，可以使用陀螺仪(角速度传感器)、加速度传感器、以及电子罗盘(磁传感器)中的任一个或者它们的组合。由运动检测传感器27进行的运动检测的采样率与图像的帧频的时刻t不相关，因此使用与帧频不同的时刻u来作为参数。

式(8)～式(10)是使用基于运动检测传感器27检测到的运动的偏移分量g(u)来计算预测运动矢量v(t)的公式。另外，式(8)示出了将式(2)所示的线性预测和运动检测传感器27组合使用的情况。式(9)相当于将式(3)中只与时刻t相关的函数f(t)替换成运动检测传感器27的运动检测结果的情况。并且，式(10)相当于只基于运动检测传感器27的运动检测结果的情况。

$v\left(t\right)=g\left(u\right)-\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{a}_{i}x(t-i)...\left(8\right)$

v(t)＝g(u)+x(t-1)        …(9)

v(t)＝g(u)               …(10)

如此，在使用运动检测传感器27的情况下，可灵活地对不限于摆动动作的任意的相机移动进行预测。另外，也可以进行不存在前一值的t＝0时刻的预测等。运动检测传感器27也可以采用在拍摄装置10中为进行手抖校正等而设置的运动检测传感器。

<3.广角图像生成动作>

图11、图12示出了基于预测运动矢量设定搜索范围并进行局部运动矢量的计算、并且使用基于算出的局部运动矢量的全局运动矢量来设定部分图像并生成广角图像时的拍摄装置10的动作。

在步骤ST1中，拍摄装置10将摆动开始标志复位。拍摄装置10的控制部25将表示摆动动作开始的摆动开始标志复位并进入步骤ST2。

在步骤ST2中，拍摄装置10获取输入图像。拍摄装置10的拍摄部12进行拍摄图像的生成并进入步骤ST3。

在步骤ST3中，拍摄装置10设定预测运动矢量。拍摄装置10的预测运动矢量设定部19使用在过去的图像之间算出的全局运动矢量、或者使用全局运动矢量和函数值，来进行预测运动矢量的设定，并进入步骤ST4。

在步骤ST4中，拍摄装置10确定搜索范围。拍摄装置10的局部运动矢量计算部17基于在步骤ST3中设定的预测运动矢量来移动与目标图像上的目标块的位置相当的参考图像上的位置。另外，局部运动矢量计算部17以移动后的位置为基准来确定搜索范围，并进入步骤ST5。

在步骤ST5中，拍摄装置10计算局部运动矢量。拍摄装置10的局部运动矢量计算部17用参考图像上的搜索范围的图像与目标图像上的目标块的图像进行匹配处理，检测出相关性最高的位置，计算目标块的运动矢量。另外，局部运动矢量计算部17对目标图像上的每个目标块计算局部运动矢量，并进入步骤ST6。

在步骤ST6中，拍摄装置10进行全局运动矢量的计算。拍摄装置10的全局运动矢量计算部18基于对每个目标块算出的局部运动矢量来计算全局运动矢量，该全局运动矢量是目标图像和参考图像之间的运动矢量，然后进入步骤ST7。

在步骤ST7中，拍摄装置10判断摆动是否已开始。拍摄装置10的控制部25判断摆动动作是否已开始，并在判断为动作已开始时进入步骤ST8，在判断为摆动动作尚未开始时进入步骤ST10。摆动动作的开始例如通过运动检测传感器进行拍摄装置10的运动检测，并基于运动检测结果来进行判断。另外，也可以在进行快门操作后经过了预定期间时判断为摆动动作开始了。

在步骤ST8中，拍摄装置10判断算出的全局运动矢量是否超过阈值。拍摄装置10的控制部25在全局运动矢量没有超过阈值时返回到步骤ST2，在全局运动矢量超过了阈值时进入步骤ST9。即，当进行摆动动作、并且图像间的全局运动矢量超过了阈值时，控制部25判断为摆动动作实际被进行，并进入步骤ST9。

在步骤ST9中，拍摄装置10设置摆动动作开始标志。拍摄装置10的控制部25设置表示摆动动作开始的摆动开始标志，并进入步骤ST10。

在步骤ST10中，拍摄装置10保存全局运动矢量。拍摄装置10的控制部25保存算出的全局运动矢量，以使得预测运动矢量设定部19能够设定预测运动矢量，然后进入步骤ST11。全局运动矢量既可以保存在预测运动矢量设定部19中，也可以保存在存储器部16等中。

在步骤ST11中，拍摄装置10判断是否发生了错误。拍摄装置10的控制部25根据算出的局部运动矢量或全局运动矢量的可靠性、和/或运动检测传感器的运动检测结果来判断在广角图像的生成中是否发生了错误。控制部25在没有发生错误时进入步骤ST12，当发生了错误时，进入步骤ST15。

在步骤ST12中，拍摄装置10判断动作是否结束。拍摄装置10的控制部25在动作结束了时进入步骤ST13。例如，控制部25在按快门操作结束了的情况、在全局运动矢量开始低于预定值的情况、假定的广角图像的尺寸超过了预定尺寸的情况等中的任意情况下进入步骤ST13。另外，控制部25在动作没有结束时返回到步骤ST2。

在步骤ST13中，拍摄装置10进行图像合成处理。拍摄装置10的图像合成部20基于算出的全局运动矢量来设定部分图像的区域，以使得在拼接部分图像时拼接部分相连续。并且，当已生成的图像或部分图像为第二个部分图像时，图像合成部20进行将所设定的部分图像的区域的图像拼接至第一个部分图像的合成处理，生成广角图像，然后进入步骤ST14。

在步骤ST14中，拍摄装置10保存图像。拍摄装置10将所生成的广角图像存储到存储器部中，并结束处理。

在步骤ST15中，拍摄装置10进行错误消息显示。拍摄装置10将与发生的错误相关的消息例如显示在显示部23上，并结束处理。

另外，摆动开始标志在算出的全局运动矢量大于阈值时、即拍摄装置10的摆动动作实际进行并且摆动速度大于等于与阈值相应的速度时被设置。因此，能够根据摆动开始标志来判断摆动动作是否被实际进行。

在一边用拍摄装置连拍一边移动拍摄方向来生成广角图像的应用等中，从可用性的观点来看，最好将移动拍摄装置的拍摄方向的速度(例如，拍摄装置的摆动速度或平行移动速度等)保持在某一固定值以上，并能够实时计算全局运动矢量。也就是说，假定的移动量最好大，并且处理时间难以容许增加。这里，在本技术中，在被用于全局运动矢量计算的局部运动矢量的计算中，如果使用预测运动矢量来设定搜索范围，则不用设定过宽的搜索范围就能够计算局部运动矢量。因此，不用扩大硬件规模，能够缩短局部运动矢量的计算所需的处理时间。因此，可生成图像质量良好的广角图像，而且不会降低可用性。

并且，不仅有效于一边用拍摄装置连拍一边左右或上下移动拍摄方向来生成广角图像的应用，而且对于通过拍摄装置的任意运动来生成超广角图像的情况也有效。另外，不仅适用于广角图像的生成，而且还可以适用于场景识别、三维测量等应用了广角摄影的技术领域中。

另外，说明书中说明的一系列的处理可通过硬件、或软件、或者两者的复合构成来实现。当执行通过软件的处理时，将记录了处理顺序的程序安装到被组装在专用硬件中的计算机内的存储器中来执行。或者，将程序安装到可执行各种处理的通用计算机中来执行。

例如，程序可预先记录在作为记录介质的硬盘、ROM(Read OnlyMemory，只读存储器)中。或者，程序也可以临时或永久地保存(记录)在软盘、CD-ROM(Compact Disc Read Only Memory，光盘只读存储器)，MO(Magneto optical，磁光)盘、DVD(Digital Versatile Disc，数字多功能光盘)、磁盘、半导体存储器等可移动记录介质中。这样的可移动记录介质能够作为所谓的套装软件(packaged software)而提供。

另外，程序除了从上述的可移动记录介质安装到计算机上之外，还可以从下载网站被无线传送到计算机中、或者通过LAN(Local AreaNetwork，局域网)这样的网络有线传送到计算机中。计算机接收如此传送过来的程序，并能够将其安装到内置的硬盘等记录介质中。

另外，本技术不应限定在上述的实施方式来解释。例如，拍摄装置的运动不限于摆动动作，也可以是平行移动动作等。该实施方式以举例说明的方式公开了本技术，在不脱离本技术的主要思想的范围内本领域技术人员可以进行实施方式的修改或替代是显然的。即，应当参照权利要求书来判断本技术的主要思想。

在使用了该技术的图像处理装置、图像处理方法以及程序中，当对目标图像中所设定的由多个像素组成的目标块计算运动矢量时，使用在比目标图像早的图像之间算出的运动矢量来设定预测运动矢量。并且，基于目标块的位置和预测运动矢量，在参考图像上设定搜索范围。因此，没有必要设定过宽的搜索范围，不扩大硬件规模也能够快速地计算目标块的运动矢量，因此例如在广角图像的生成中能够对应快速的摆动动作等，并且不降低可用性，能够生成图像质量良好的广角图像。因此，适用于在数码相机或摄像机等拍摄装置、以及所拍影像的记录、再现装置中具有从多张摄影图像生成广角图像的功能的情况。

Claims (15)

1.一种图像处理装置，包括：

第一运动矢量计算部，其针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；

第二运动矢量计算部，其从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；以及

预测运动矢量设定部，其使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；

其中，所述第一运动矢量计算部基于所述目标块的位置和所述预测运动矢量来在所述参考图像上设定所述搜索范围。

2.如权利要求1所述的图像处理装置，其中，

所述第一运动矢量计算部基于所述预测运动矢量来移动与所述目标图像上的所述目标块的位置相当的所述参考图像上的块位置，并以移动后的块位置为基准来设定所述搜索范围。

3.如权利要求1所述的图像处理装置，还包括：

函数值设定部，其进行函数值的设定，

其中，所述预测运动矢量设定部通过将所述函数值作为偏移分量相加到所述图像之间的运动矢量来设定所述预测运动矢量。

4.如权利要求3所述的图像处理装置，其中，

所述图像是移动拍摄方向而生成的图像，所述函数值是对移动所述拍摄方向的运动进行近似的函数的函数值。

5.如权利要求4所述的图像处理装置，其中，

所述函数值为固定值。

6.如权利要求4所述的图像处理装置，其中，

所述函数值是相对于时间而线性变化的函数的函数值。

7.如权利要求4所述的图像处理装置，其中，

所述函数值是相对于时间呈抛物线形状变化的函数的函数值。

8.如权利要求3所述的图像处理装置，还包括：

输入部，其生成与用户操作相应的操作信号，

其中，所述预测运动矢量设定部基于所述操作信号来设定所述函数值的初始值的符号。

9.如权利要求1所述的图像处理装置，其中，

所述预测运动矢量设定部使用一个或两个以上的过去算出的图像之间的运动矢量来设定所述预测运动矢量。

10.如权利要求9所述的图像处理装置，其中，

所述预测运动矢量设定部使用一个或两个以上的过去算出的图像之间的运动矢量进行线性预测，并使用该线性预测的预测结果来设定所述预测运动矢量。

11.如权利要求1所述的图像处理装置，还包括：

运动检测传感器，其检测生成所述目标图像和所述参考图像的拍摄装置的运动，

其中，所述预测运动矢量设定部使用所述运动检测传感器的传感器输出来进行所述预测运动矢量的设定。

12.如权利要求11所述的图像处理装置，其中，

所述运动检测传感器是检测角速度、加速度、以及磁力中的至少一个的传感器。

13.如权利要求1所述的图像处理装置，还包括：

图像合成处理部，其基于由所述第二运动矢量计算部算出的运动矢量来设定成为广角图像的一部分的部分图像的区域，并拼接该部分图像来生成所述广角图像。

14.一种图像处理方法，包括以下步骤：

针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；

从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；以及

使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；

其中，所述搜索范围基于所述目标块的位置和所述预测运动矢量而被设定在所述参考图像上。

15.一种程序，使计算机执行以下过程：

针对在目标图像中设定的由多个像素组成的目标块，通过在参考图像中设定的搜索范围内检测与所述目标块相关性最大的块位置，来计算所述目标块的运动矢量；

从所述目标图像中设定的多个目标块中的每个目标块的运动矢量，计算所述目标图像与所述参考图像之间的运动矢量；

使用在比所述目标图像早的图像之间算出的运动矢量来设定预测运动矢量；以及

基于所述目标块的位置和所述预测运动矢量来在所述参考图像上设定所述搜索范围。

Images