CN105979135B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法。该图像处理设备包括：分割单元，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域；运动矢量检测单元，用于针对所述多个帧图像的各分割区域来检测运动矢量；分离单元，用于基于平遥检测单元所检测到的所述图像处理设备的平遥速度和所述运动矢量检测单元所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；以及识别单元，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及用于辅助摇摄拍摄的技术。

背景技术

已知摇摄技术为用于表示针对移动被摄体的速度感的拍摄技术。由于用户平摇照相机以追随被摄体的运动，因此这种拍摄技术以使移动被摄体表现出静止而背景表现出移动的方式来拍摄该被摄体。根据要拍摄的被摄体的移动速度，通过将曝光时间调整得长于普通曝光时间来进行普通摇摄。

在摇摄拍摄中，用户需要进行平摇以追随被摄体的运动，如果平摇速度太高或太低、由此造成了平遥速度和被摄体的移动速度之间的差，则将经常出现被摄体的图像同样模糊的情况。为了解决这个问题，提出了用于通过移动校正手抖动所用的移位透镜来消除被摄体的移动速度和平摇速度之间的差的技术，作为用于辅助用户进行摇摄拍摄的技术。例如，日本特开2006-317848公开了用于摇摄拍摄的如下结构，在该结构中，通过陀螺仪传感器来检测设备的抖动，基于图像的运动矢量来检测被摄体，计算用于将所检测的被摄体定位在图像中央的校正量，以及通过移动光轴移位透镜来进行校正。日本特开2003-279848公开了如下结构，在该结构中，将图像分割成多个区域，并基于针对各区域所检测的被摄体亮度和被摄体距离、拍摄倍率以及被摄体移动分布来检测主被摄体。

然而，在上述的日本特开2006-317848所公开的技术中，通过陀螺仪传感器来检测设备的抖动，并基于图像的运动矢量来检测被摄体。因此，例如在被摄体正接近用户或者存在多个被摄体的情况下，存在以下问题：可能检测到具有相似大小和方位的多个运动矢量，并且很难抑制位于用户期望表现出静止的位置处的被摄体的模糊。

同样，在日本特开2003-279848所公开的技术中，如果用户试图在存在多个移动被摄体的情况下进行摇摄拍摄，则由于该技术没有考虑照相机的平摇的影响，因而在照相机的平摇速度与被摄体的移动速度不同的情况下，将会很难适当地检测到用户期望表现出静止的被摄体。

发明内容

本发明正是考虑了上述问题而做出的，并且在要进行摇摄拍摄的情况下，使得能够在不会发生模糊的情况下更精确地拍摄用户期望表现出静止的被摄体。

根据本发明的第一个方面，提供了一种图像处理设备，包括：分割单元，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域；运动矢量检测单元，用于针对所述多个帧图像的各分割区域来检测运动矢量；分离单元，用于基于平遥检测单元所检测到的所述图像处理设备的平遥速度和所述运动矢量检测单元所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；以及识别单元，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。

根据本发明的第二个方面，提供了一种图像处理方法，包括以下步骤：分割步骤，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域；运动矢量检测步骤，用于针对所述多个帧图像的各分割区域来检测运动矢量；分离步骤，用于基于平遥检测单元所检测到的设备的平遥速度和所述运动矢量检测步骤中所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；以及识别步骤，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的第一实施例的摄像装置的基本结构的框图。

图2是示出根据第一实施例的用于辅助摇摄拍摄的处理的流程图。

图3A至3D是示出运动矢量的直方图中的变化的图。

图4A至4E是示出用于将被摄体区域与背景区域进行判别的方法的图。

图5A和5B是示出被摄体矢量区域的图。

图6是示出根据第一实施例的距离映射和运动矢量的变化的图。

图7是示出根据第一实施例的距离映射的可靠性表的图。

图8A和8B是示出根据第一实施例的用于计算被摄体的移动量的方法的图。

图9A和9B是示出根据第一实施例的有效场景的图。

图10是示出根据第二实施例的用于辅助摇摄拍摄的处理的流程图。

图11是示出根据第二实施例的距离映射和运动矢量的变化的图。

图12A和12B是示出根据第二实施例的距离映射和运动矢量的可靠性表的图。

具体实施方式

以下将参考附图详细说明本发明的实施例。

第一实施例

图1是示出作为根据本发明的第一实施例的图像处理设备的摄像装置100的基本结构的框图。摄像装置100不仅可以是诸如数字照相机或者数字摄像机等的照相机，还可以是具有照相功能的诸如具有照相功能的移动电话或者具有照相机的计算机等的适合的电子装置。

在图1中，光学系统101包括透镜、快门和光圈，并且在CPU 103的控制下使用来自被摄体的光在摄像元件102上形成图像。包括CCD图像传感器或者CMOS图像传感器等的摄像元件102将经由光学系统101形成的图像的光转换成图像信号。诸如陀螺仪传感器等的角速度传感器105检测表示摄像装置100的移动量的平摇角速度，将所检测到的平摇角速度转换成电信号，并将转换得到的电信号发送至CPU 103。距离测量传感器106检测由摄像元件102所拍摄到的被摄体的被摄体距离和散焦量(下文称为“距离映射”)(距离检测)，将所检测到的被摄体距离或者散焦量转换成电信号，并将转换得到的电信号发送至CPU 103。代替距离测量传感器106，摄像元件102可以检测相位差或者对比度以获得焦点位置，并基于该焦点位置获得被摄体距离。

CPU 103通过根据输入信号和预先存储的程序来控制构成摄像装置100的部件来实现摄像装置100的功能。主存储装置104例如是诸如RAM等的用于临时存储数据的易失性存储器，并且用作CPU 103所用的工作区。另外，存储在主存储装置104中的信息用在图像处理设备107中，或者存储在存储介质108中等。二次存储装置109例如是诸如EEPROM等的用于存储控制摄像装置100所用的程序(固件)或者各种类型的设置信息等的非易失性存储器，并且被CPU 103所使用。

存储介质108记录存储在主存储装置104中的所拍摄图像的数据等。注意，存储介质108例如是半导体存储卡等，并被配置为能够从摄像装置100移除，并且通过将存储介质108安装至个人计算机等可以读出存储在其中的数据。也就是说，摄像装置100具有针对存储介质108的安装/移除机制和读取/写入功能。显示单元110显示摄像期间的取景器图像、所拍摄图像和用于交互操作的GUI图像等。

操作单元111是用于接受用户操作和将输入信息发送至CPU 103的输入装置组，并且自然地可以包括例如按钮、杆和触摸面板等，还可以包括用于使用声音和视线等的输入装置。注意，本实施例的摄像装置100具有要通过图像处理设备107应用至所拍摄图像的多个图像处理模式，并且模式可以从操作单元111设置为摄像模式。除了被称作为所谓的显影处理的图像处理以外，图像处理设备107还进行色调调整等。注意，可以通过CPU 103利用软件来实现图像处理设备107的至少一些功能。

注意，在图1中，摄像装置100是光学系统101与摄像装置的主体一体化地形成的装置，但是也可以被配置为光学系统的部分可以从摄像装置的主体移除的镜头可更换拍摄系统。

图2是示出根据本实施例的用于辅助摇摄拍摄的操作的流程的流程图。注意，例如可以通过半按下操作单元111的快门按钮等来使得该流程开始。另外，在通过实时取景或者测光传感器等来连续获取多个帧图像的状态中进行用于辅助摇摄拍摄的该操作。

首先，在步骤S201中，CPU 103检测由角速度传感器105所检测到的摄像装置100的平摇角速度(平摇检测)。然后，在步骤S202中，CPU 103在画面上将由摄像元件102连续拍摄到的各图像分割成多个块区域，并针对各块区域来检测由距离测量传感器106所检测到的距离映射。与步骤S202类似地，在步骤S203中，CPU 103针对分割后的各块区域，使用图像处理设备107来检测图像之间的运动矢量(矢量检测)。然后，将所检测到的运动矢量转换成摄像面上的移动量v[mm]。

在步骤S204中，CPU 103使用公式(1)将步骤S201中获得的摄像装置100的平摇角速度ω[rad/s]转换成摄像面上的图像之间的移动量L[mm]：

L＝f·tan(ω/fps) …(1)

其中，f[mm]是焦距，fps[帧/秒]是图像获取间隔(以下称作“帧频”)。

在步骤S205中，CPU 103使用图像处理设备107来基于步骤S203中所检测到的运动矢量生成例如图3A中示出的直方图，该直方图的纵轴表示矢量块的数量，横轴表示矢量的大小。

在步骤S206中，CPU 103基于步骤S204中转换成移动量L[mm]的摄像装置100的角速度ω[rad/s]以及步骤S205中生成的运动矢量的直方图，将表示被摄体的运动的矢量(以下称作“被摄体矢量”)与表示背景的运动的矢量(以下称作“背景矢量”)进行判别(分离)。例如，可以通过以下方法来进行被摄体的判别：将与步骤S204中转换成移动量L[mm]的摄像装置100的角速度ω[rad/s]接近的运动矢量判断为背景矢量，并且将接下来检测数量最多的运动矢量判断为被摄体矢量。另外，如果摄像装置100的角速度ω[rad/s]高到一定程度，则考虑到背景可能也在帧之间移动一定程度，因此也可以将小的运动矢量判断为被摄体矢量。注意，在本文中，被摄体矢量和背景矢量是被转换成摄像面上的移动量的值。

还存在一种使用步骤S202中所检测到的距离映射来进行被摄体的判别的方法。图4A和4B示出从连续帧获取到的图像。在假设附图标记403表示沿着图像的右方向移动的被摄体的情况下，在摇摄拍摄时背景402将在帧之间移动，因此针对块区域401所检测到的被摄体距离在帧之间不同。另外，在假设图4C示出在任意帧中获取到的图像的情况下，与主被摄体以不同方式移动的被摄体404模糊，因此不容易获得距离映射。因此，也可以将在帧之间能够检测到相同距离映射的块区域判断为被摄体区域。

如果分割后的块区域具有低对比度，则可能存在在步骤S202中不能检测到针对该块区域的被摄体距离或者在步骤S203中不能检测到针对该块区域的运动矢量的情况，因此期望定义一定程度较大的被摄体区域并且计算最终的被摄体速度。因此，在步骤S207中，CPU 103使用图像处理设备107，利用公式(2)来比较不能检测到被摄体距离和运动矢量的块区域与邻接块区域之间的颜色比(R/G和B/G)(颜色比检测)，并且如果差在预定阈值之间，则判断为这些块区域是同一被摄体。

阈值Rm≤{(Ri/Gi)-(Ri-1/Gi-1)}≤阈值Rp

阈值Bm≤{(Bi/Gi)-(Bi-1/Gi-1)}≤阈值Rp …(2)

以下将参考图4D和4E来说明图2的步骤S207中的处理。图4D和4E是示出给出帧中的被摄体速度计算区域的示例的图。图4D的附图标记403表示沿着图像的右方向移动的被摄体，并且附图标记405表示分割后的块区域。另外，图4E的附图标记406表示检测到被摄体矢量的块区域，并且附图标记407表示不能检测到被摄体距离和运动矢量的区域。在假设针对检测到被摄体矢量的最大连续块区域计算出最终的被摄体速度的情况下，将针对被摄体后面的区域408来计算被摄体速度。然而，通过使用颜色来进行被摄体的判别，能够在包括整个被摄体的区域409中计算被摄体速度。因此可以以上述的方式判别出被摄体。

以下将说明用于使用距离映射来对被摄体矢量进行加权的方法，该方法为本实施例的特有特征。

在图2的步骤S208中，CPU 103使用步骤S202中针对各块区域所检测到的距离映射来对步骤S206中判断为被摄体矢量的运动矢量进行加权。

将参考图3A至3D、图5A和5B、以及图6来说明步骤S208的处理。图3A至3D是示出给出帧中的运动矢量的直方图的变化的图。注意，在本实施例中，仅图3A至3C用于说明。另外，图5A和5B是示出给出帧中的被摄体矢量区域的图。最后，图6是示出图5A和5B所示的帧中的被摄体速度计算区域的变化的图。

在图6中，a1至a6示出距离映射中的散焦量，并且在焦点位置处散焦量为0，在被摄体位于焦点位置的前方的情况下散焦量为负，并且在被摄体位于焦点位置的后方的情况下散焦量为正。另外，将从焦点位置起的偏移量的大小表示为数字。在图6中，b1至b4示出运动矢量，并且通过箭头的方向表示各运动矢量的方向，通过箭头的长度表示运动矢量的大小。

图6的a1示出针对如图5A所示的分割后的块区域501所检测到的距离映射，并且图6的b1示出针对分割后的块区域的运动矢量。另外，图3A示出在纵轴表示“矢量块的数量”以及横轴表示“矢量的大小”的直方图中的运动矢量分布。图3A的附图标记301表示步骤S204中转换成摄像面上的移动量L[mm]的摄像装置100的角速度ω[rad/s]。

在图2的步骤S206中，CPU 103将具有与摄像装置100的角速度301的移动量几乎相同的移动量的矢量302判断为背景矢量，并且将与背景矢量不同并且具有小的移动量的矢量306判断为被摄体矢量。图6的a2示出在由图5B的附图标记506(通过将区域503、504和505组合来获得区域506)表示被判断为被摄体矢量306的块区域的情况下的距离映射，并且图6的b2示出其运动矢量。注意，假设分别由图3A至3D的附图标记302以及303至305来表示图5A和5B的背景502和被摄体503至505的运动矢量。

注意，在图3A至3D中，通过倾斜阴影来表示被摄体503的运动矢量303，通过交叉阴影来表示被摄体504的运动矢量304，并且通过点来表示被摄体505的运动矢量305。这里，例如在聚焦到被摄体503的情况下，即使与被摄体503相对应的汽车也会在汽车的各个运动矢量中包括部分检测误差等。因此，如从图6的b2中与被摄体503相对应的部分清晰可见，运动矢量的大小分布在-2mm、-1mm和0mm的范围，并且在图3A中，倾斜阴影部分遍及这三个大小。这同样适用于被摄体504，并且与被摄体504相对应的运动矢量304的大小分布在图3A的-3mm和-2mm的范围。另一方面，如图6的a2所示，与被摄体505相对应的运动矢量305的大小为0，因此分布在图3A的0mm的位置处。

图7是在使用距离映射对被摄体矢量进行加权时所用的可靠性表。根据图7的可靠性表，与被摄体504相对应的(图6的a3的附图标记604所示的)块区域的散焦量为20，因此可靠性为0％。另外，与被摄体505相对应的(图6的a3的附图标记605所示的)块区域的散焦量为-10，因此可靠性为50％。也就是说，不将未对焦且模糊的被摄体判断为摇摄中期望表现出静止的被摄体部分。注意，图7的阈值为示例，并且本发明不限于此。

图3B、图6的a4和图6的b3是示出图2的步骤S208的处理完成之后的状态的图。由于与图5A和5B的被摄体504相对应的图6的a3的块区域604的可靠性为0％，因此如图3B的附图标记307所示，将图3A的运动矢量304从被摄体矢量中排除。由于图6的a3的块区域605(也就是说，与图5B的被摄体505相对应的块区域)的可靠性为50％，因此如图3B中所示，将包括在被摄体矢量中的图3A的运动矢量305的块的数目减少一半。如上所述，使用距离映射进行被摄体矢量的加权。

在图2的步骤S209中，CPU 103使用图像处理设备107提取具有与焦点位置处的距离映射和被摄体矢量相同的距离映射和被摄体矢量的连续区域。在本实施例中，假设如果存在要提取的多个区域，则将提取最大的连续区域，但是也可以基于诸如画面的中央的构图等的构图来判断要提取的区域。

将参考图3A至3D和图6的a1至图6的b4来说明步骤S209的处理。图6的a5的块区域605不与位于焦点位置处的块区域邻接，因此判断为具有不同被摄体的运动矢量。因此，如图3C的附图标记308所示，将图3B的运动矢量305从被摄体矢量中排除。

如上所述，识别出最终的被摄体矢量区域，并且将包括在该被摄体矢量区域中的运动矢量进行平均化，由此计算出被摄体矢量。

在图2的步骤S210中，CPU 103使用图像处理设备107基于被摄体矢量来计算被摄体速度。使用公式(3)将摄像面上的被摄体的移动量(被摄体矢量的大小)v[mm]转换成角速度ωv[rad/s]：

ωv＝fps×tan^-1(v/f) …(3)

其中，v[mm]是帧之间的图像面上的被摄体的移动量(被摄体矢量的大小)，f[mm]是焦距，并且fps[帧/秒]是帧频。然后使用公式(4)来计算被摄体的角速度ωs[rad/s]：

ωs＝(ω+ωv) …(4)

其中，ω[rad/s]是摄像装置100的角速度，ωv[rad/s]是帧之间的被摄体矢量的角速度转换值。

以上述方式来计算被摄体速度。

在步骤S211中，CPU 103判断是否要进行曝光操作。注意，这里判断包括在操作单元111中的快门按钮是否被全按下(以下，判断SW2是否接通)。如果没有接通SW2，则CPU 103以重复的方式进行步骤S201至S210的操作。如果SW2接通，则过程进入步骤S212。

在步骤S212中，CPU103在摄像元件102的曝光期间，基于步骤S210中计算出的被摄体速度和摄像装置100的角速度之间的差值来操作光学系统101的移位透镜，并且辅助进行摇摄拍摄。

图8A和8B是示出被摄体不仅左右移动而且还上下移动、即被摄体距离也改变的情况的示例的图。在图8A中，假设由附图标记801表示第n帧中的被摄体的位置，并且由附图标记802表示第n+1帧中的被摄体的位置，由附图标记803表示与原始被摄体速度相对应的移动量v0。然而，如果在假设被摄体距离固定的情况下检测被摄体的移动量，则将具有与图像面上的移动量808(v2)相同的移动量的移动量804(v1)检测为被摄体的移动量。

在图8B中，在假设SW2接通之前被摄体的移动量为v0、v1和v2并且SW2接通之后被摄体的移动量、即曝光期间被摄体的移动量为v0’、v1’和v2’的情况下，即使在被摄体正以恒定速度移动的情况下(v0＝v0’)，图像形成面上的移动量也将改变(v2≠v2’)。因此，为了检测尽管被摄体距离固定而被摄体距离也改变的被摄体的移动量，需要预测SW2接通之后被摄体的移动量v1’，而不是预测SW2接通之前被摄体的移动量v1。在本实施例中，由于使用距离映射能够检测到被摄体距离(L1、L2)，因此可以使用公式(5)来计算与原始被摄体速度相对应的移动量v0：

然后，使用上述计算的结果和公式(6)，计算出SW2接通之后的移动量v1’：

v0'＝v0

L0'＝2L0 …(6)

通过基于使用移动量v1’所计算出的被摄体速度来操作移位透镜，即使在被摄体不仅左右移动而且还上下移动的情况下也能够辅助进行摇摄拍摄。因此，在辅助用户进行摇摄拍摄时，能够更精确地检测被摄体区域和被摄体速度。

注意，在本实施例中，说明了如图9A所示从多个被摄体导出一个被摄体901的示例。然而，同样在如图9B所示被摄体正接近用户、即同一被摄体具有被摄体距离相互不同的区域的情况下，也可以使用与上述处理相同的处理来限制如附图标记902所示的计算被摄体速度的区域。

另外，在本实施例中，说明了通过移位透镜来校正形成被摄体的图像的位置的示例，但本发明不限于此，并且例如可以实现诸如使得摄像元件102自身偏移的形态等的形态。

第二实施例

在第二实施例中，摄像装置的结构与图1示出的第一实施例的摄像装置100的结构相同，因此这里省略对其的说明。

图10是示出根据第二实施例的用于辅助摇摄拍摄的操作的流程的流程图。注意，例如可以通过半按下操作单元111的快门按钮等来使得该流程开始。另外，在通过实时取景或者测光传感器等来连续获取多个帧图像的状态中进行用于辅助摇摄拍摄的该操作。

首先，在步骤S1001中，CPU 103获得由用户使用操作单元111设置的距离测量位置。注意，步骤S201至S207与第一实施例的图2的步骤S201至S207相同，因此这里省略对其的说明。

以下将说明用于使用距离测量位置和距离映射来对运动矢量进行加权以及用于计算被摄体矢量的方法，该方法是本实施例的特有特征。

在步骤S1002中，CPU 103检测具有与步骤S1001所获得的距离测量位置(由图11的附图标记1101表示)处的距离映射和运动矢量相对应的距离映射和运动矢量的块区域。在步骤S1003中，CPU 103使用步骤S1002中检测到的块区域的距离映射和运动矢量来对另一块的距离映射和运动矢量进行加权。

将参考图3A至3D、5A和5B、图11的a1至图11的b4、以及图12A和12B来说明步骤S1002和S1003的操作的细节。图3A至3D是示出给出帧中的运动矢量的直方图的变化的图。注意，在本实施例中，仅3A和3D用于说明。另外，图5A和5B是示出给出帧中的被摄体矢量区域的图。另外，图11是示出图5A和5B所示的帧中的被摄体速度计算区域的变化的图。在图11中，a1至a4示出被摄体距离与作为基准的距离测量位置的差值，并且b1至b4示出运动矢量。最后，图12A和12B示出对被摄体矢量进行加权时所用的可靠性表。图12A示出使用距离映射的可靠性表，并且图12B示出使用运动矢量的可靠性表。

与第一实施例相同，图3A至3D的附图标记306表示被摄体矢量，并且图5B的附图标记506(通过将区域503、504和505组合来获得区域506)表示被判断为被摄体矢量的块区域。另外，分别由图3A至3D的附图标记302以及303至305来表示图5A和5B的背景502的运动矢量以及被摄体503至505的运动矢量。另外，图11的a1示出被判断为被摄体矢量的块区域506的距离映射，并且图11的b1示出被判断为被摄体矢量的块区域506的运动矢量。

在假设图11的a1的附图标记1101表示距离测量位置的情况下，在图11的a1的块区域604中，被摄体距离的差值为20，因此根据图12A的距离映射的可靠性表具有0％的可靠性。另外，在块区域605中，被摄体距离的差值为-10，因此具有50％的可靠性。这里，在图11的a2中示出了根据距离映射的可靠性表的加权结果。注意，“X”表示可靠性为0％，“/”表示可靠性为50％。

同样地，根据图12B的运动矢量的可靠性表，图11的b1的块区域604的可靠性为0％，并且在公式(7)的条件下，块区域605的可靠性为50％。这里，在图11的b2中示出了根据运动矢量的可靠性表的加权结果。注意，“X”表示可靠性为0％，“/”表示可靠性为50％。

块区域604：运动矢量的大小的差≥b

块区域605：运动矢量的大小的差＝(a+b)/2 …(7)

然后，如公式(8)所给出那样，通过将距离映射的可靠性和运动矢量的可靠性相乘来确定针对被摄体矢量的加权量。注意，在图11中的a3和b3示出针对被摄体矢量的加权量，并且“X”表示可靠性为25％，“/”表示可靠性为50％。

(被摄体矢量可靠性)＝(距离映射可靠性)×(运动矢量可靠性)…(8)

因此，进行加权以检测具有与距离测量位置处的被摄体距离和运动矢量相似的被摄体距离和运动矢量的块区域作为被摄体区域。注意，上述的使用距离映射和运动矢量的加权方法为示例，并且本发明不限于此。目前已经说明了步骤S1002和S1003的细节。

通过进行图10的步骤S1004的处理来提取与距离测量位置相连续的区域，排除图11的块区域605，并且因此图11中的a3和b3采取图11中的a4和b4的形式。注意，除了将焦点位置或者距离测量位置用作基准的不同之外，步骤S1004基本上与第一实施例中说明的图2的步骤S209相同，因此这里省略对其的说明。

图3D示出在图3A的状态中通过进行步骤S1003至S1004的处理而获得的结果。由于图3A的运动矢量304所具有的距离映射的可靠性低并且运动矢量305对应于并未与距离测量位置连续的区域，因此如图3D的附图标记309和310所示，将各运动矢量从被摄体矢量排除。另外，通过进行基于如图11的a4的附图标记603所示的可靠性的加权，能够如图3A至3D的附图标记311所示减少对被摄体矢量影响的比例。

在步骤S210中，CPU 103使用图像处理设备107基于如上所述加权的被摄体矢量来计算被摄体速度。注意，用于计算被摄体速度的方法与第一实施例的方法相同，因此这里省略了对其的说明。步骤S211和S212与第一实施例的相同，因此这里省略了对其的说明。通过进行上述步骤，能够实现辅助摇摄拍摄。

如上所述，能够从用作基准的距离测量位置检测被摄体矢量，因此使得能够更精确地检测用户期望表现出静止的被摄体的区域中的被摄体速度。

注意，本实施例说明了移位透镜用于校正形成被摄体的图像的位置的示例，但本发明不限于此，并且可以通过例如使得摄像元件102自身偏移等的形态来实现。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例描述了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽泛的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，包括：

分割单元，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域，

其特征在于，还包括：

运动矢量检测单元，用于针对所述多个帧图像的各分割区域来检测运动矢量；

分离单元，用于基于平遥检测单元所检测到的所述图像处理设备的平遥速度和所述运动矢量检测单元所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；以及

识别单元，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。

2.根据权利要求1所述的图像处理设备，其中，还包括：

计算单元，用于使用所识别出的所述被摄体区域的被摄体矢量来计算被摄体的速度。

3.根据权利要求2所述的图像处理设备，其中，还包括：

辅助单元，用于通过基于所计算出的被摄体的速度对用于校正图像模糊的模糊校正单元的运动进行控制，来辅助进行摇摄拍摄。

4.根据权利要求3所述的图像处理设备，其中，

所述辅助单元基于所计算出的被摄体的速度和所述平遥速度之间的差来控制所述模糊校正单元的运动。

5.根据权利要求1所述的图像处理设备，其中，

与被摄体的距离有关的信息是散焦量。

6.根据权利要求1所述的图像处理设备，其中，还包括：

获得单元，用于获得距离测量位置，

其中，所述识别单元仅基于所获得的所述距离测量位置来对所述被摄体矢量进行加权，或者基于所述距离测量位置和与被摄体的距离有关的信息来对所述被摄体矢量进行加权。

7.根据权利要求6所述的图像处理设备，其中，

在所述识别单元基于所述距离测量位置和与被摄体的距离有关的信息来对所述被摄体矢量进行加权的情况下，所述识别单元基于与所述多个区域中对应于所述距离测量位置的区域中的被摄体的距离有关的信息和与其它区域中的被摄体的距离有关的信息之间的差值来对所述被摄体矢量进行加权。

8.根据权利要求6所述的图像处理设备，其中，

在所述识别单元仅基于所获得的所述距离测量位置来对所述被摄体矢量进行加权的情况下，所述识别单元基于所述多个区域中对应于所述距离测量位置的区域中的运动矢量和其它区域中的运动矢量之间的差值来对所述被摄体矢量进行加权。

9.根据权利要求6所述的图像处理设备，其中，

在所述识别单元仅基于所获得的所述距离测量位置来对所述被摄体矢量进行加权的情况下，所述识别单元基于以所述距离测量位置作为基准的所述被摄体矢量连续的连续区域来识别所述被摄体区域。

10.根据权利要求1所述的图像处理设备，其中，还包括：

颜色比检测单元，用于针对各分割区域来检测颜色比，

其中，所述识别单元通过将具有处于预定阈值内的颜色比的区域确定为属于同一被摄体来识别所述被摄体区域。

11.一种图像处理方法，包括以下步骤：

分割步骤，用于在画面上将摄像单元连续拍摄到的多个帧图像各自分割成多个区域，

其特征在于，还包括：

运动矢量检测步骤，用于针对所述多个帧图像的各分割区域来检测运动矢量；

分离步骤，用于基于平遥检测单元所检测到的设备的平遥速度和所述运动矢量检测步骤中所检测到的运动矢量，将用于表示被摄体的运动的被摄体矢量与用于表示背景的运动的背景矢量进行分离；以及

识别步骤，用于通过基于与距离检测单元针对所述多个帧图像的各分割区域所检测到的被摄体的距离有关的信息对所述被摄体矢量进行加权，来识别被摄体区域。