CN101867725A

CN101867725A - 摄像装置和拍摄对象跟踪方法

Info

Publication number: CN101867725A
Application number: CN201010175316A
Authority: CN
Inventors: 松本康佑
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-01-23
Filing date: 2010-01-21
Publication date: 2010-10-20
Anticipated expiration: 2030-01-21
Also published as: EP2211306A1; TW201032585A; KR101290611B1; US20100188511A1; KR20120114191A; EP2211306B1; JP2010171815A; CN101867725B; JP4760918B2; KR20100086943A; TWI419552B

Abstract

本发明提供一种摄像装置和拍摄对象跟踪方法。其中，如果没有摄像装置的移动、也没有拍摄对象存在推测区域，则进行普通的跟踪设定(步骤S203)，如果具有拍摄对象存在推测区域，则进行扩大检测区域、降低检测用阈值的跟踪设定(步骤S204)。另外，如果摄像装置移动、没有拍摄对象存在推测区域，则进行普通的跟踪设定(步骤S208)，如果具有拍摄对象存在推测区域，则判断该区域是否为未检测流向(运动矢量)的区域，如果是未检测流向的区域，则进行扩大检测范围、使检测用阈值设为普通值的跟踪设定(步骤S207)，如果是检测到流向的区域，则进行扩大检测范围、降低检测用阈值的跟踪设定(步骤S204)。

Description

摄像装置和拍摄对象跟踪方法

技术领域

本发明涉及摄像装置和拍摄对象跟踪方法。

背景技术

已知具有依次检测移动的拍摄对象的位置的功能的摄像装置。例如，具有采用模板匹配(也称为块匹配)来跟踪拍摄对象的技术。例如，专利文献1(JP特开2001-076156号公报)所述的图像监视装置通过从当前帧图像的检索范围，检索与从前一帧图像(包括想要跟踪的拍摄对象在内的图像)切取的模板相似的小图像区域，检测相似度最高的小图像区域。另外，判断该拍摄对象在检测到的小图像区域内移动。另外，如果重新拍摄帧图像，通过将该检测到的小图像区域更新为模板并反复进行上述动作，由此，对连续拍摄的各帧图像依次检测(跟踪)拍摄对象移动到什么位置。

但是，按照专利文献1所述的技术，由于与拍摄对象的动作无关一律按照相同的检索条件进行块匹配，由此，例如，在帧图像内的拍摄对象的动作的变化剧烈时，具有不能够进行适用于动作变化剧烈的拍摄对象的块匹配的问题。

具体来说，在广角摄影等的较广的拍摄视角且几乎没有拍摄对象的运动的情况下，具有不必要的运算量增加的问题。另外，在远距离摄影等的较窄的拍摄视角且拍摄对象的运动剧烈的情况下，由于拍摄对象从检索范围移出的可能性高，由此，具有无法跟踪该拍摄对象的问题。

发明内容

本发明是针对上述问题而提出的，其目的在于提供可在不受拍摄视角的影响的情况下，进行适合于拍摄对象的动作的拍摄对象跟踪处理的摄像装置、拍摄对象跟踪方法和程序。

为了实现上述目的，本发明的一个技术方案的摄像装置，其特征在于，所述摄像装置包括摄像机构；判断机构，其根据由所述摄像机构依次拍摄到的图像之间的变化来判断摄影状况；和控制机构，其根据所述判断机构的判断结果来控制通过所述摄像机构拍摄到的图像中包括的拍摄对象区域的跟踪。

为了实现上述目的，本发明的一个技术方案的拍摄对象跟踪方法，其特征在于，所述拍摄对象跟踪方法包括：摄像步骤，由摄像部依次进行拍摄；判断步骤，根据由该摄像步骤依次拍摄到的图像之间的变化来判断摄影状况；和控制步骤，根据该判断步骤的判断结果来控制拍摄到的图像中包含的拍摄对象区域的跟踪。

按照本发明，可良好地进行拍摄到的图像中的面部区域的检测。

附图说明

图1是本发明的实施方式的数字照相机1的框图。

图2是预先存储的3种角度的特征数据的示意图。

图3是表示实施方式的数字照相机1的动作的流程图。

图4是表示实施方式的数字照相机1的动作的流程图。

图5是表示从实时取景图像中检测到的面部区域的图。

图6A～图6E分别为表示在随图5B～图5F的变化时计算出的光流的具体例的图。

图7为与计算出的光流对应的各摄影状况和跟踪设定的列表。

图中：1-摄像装置，2-摄像透镜，3-快门键，4-功能键，5-光标键，6-显示部，7-驱动控制部，8-摄像部，9-组件电路，10-图像处理部，11-编码/解码处理部，12-预览引擎(preview engine)，13-图像记录部，14-程序存储器，15-RAM，16-控制部，17-手抖动检测部，18-总线。

具体实施方式

参照附图，对本发明的实施方式相关的摄像装置进行说明。图1(A)为表示本实施方式相关的摄像装置1的外观的主视图，图1(B)为背视图。在该摄像装置1中，在前面设置有摄像透镜2，在顶面部设置有快门键3。该快门键3包括可进行半按压操作和全按压操作的所谓的半快门功能。另外，在背面设置有功能键4、光标键5和显示部6。光标键5用作可沿图1(B)中的a的方向旋转的转盘开关。显示部6例如由具有16∶9的高宽比的LCD(Liquid Crystal Display)构成。

图2为表示摄像装置1的基本结构的框图。摄像装置1由摄像透镜2、键输入部3～5、显示部6、驱动控制部7、摄像部8、组件电路9、图像处理部10、编码/解码处理部11、预览引擎12、图像记录部13、程序存储器14、RAM(Random Access Memory)15、控制部16、手抖动检测部17、总线18构成。

控制部16为控制摄像装置1的各部分的单片微型计算机。本实施方式的摄像装置1从摄像装置1拍摄的图像中检测拍摄对象，跟踪该拍摄对象。由于控制部16执行该动作，故控制摄像装置1的各部分。

具体来说，摄像透镜2由多个透镜构成，为安装具有变焦透镜、聚焦透镜等的光学系部件的透镜组件。控制部16在检测摄影者的变焦操作或摄影者的快门键3的半按压操作时，进行AF(自动对焦)处理，将用于控制驱动控制部7的控制信号送给驱动控制部7。驱动控制部7根据该控制信号移动摄像透镜2的位置。

键输入部3～5将与来自快门键3、功能键4和光标键5的操作相应的操作信号送给控制部16。

摄像部8由CMOS(Complementary Metal Oxide Semiconductor)等的图像传感器构成，设置于上述摄像透镜2的光轴上。

组件电路9为输入与从摄像部8输出的拍摄对象的光学像相应的模拟的摄像信号的电路。组件电路9包括：保持所输入的摄像信号的CDS、AE(自动曝光调整)处理等中对该摄像信号进行放大的增益调整放大器(AGC)、和将已放大的摄像信号变换为数字的摄像信号的A/D变换器(ADC)等。图像处理部10对从组件电路9送出的摄像信号进行各种图像处理。

从摄像部8输出的摄像信号经由组件电路9，作为数字信号而送给图像处理部10。该数字信号(摄像信号)在图像处理部10中被实施各种图像处理。另外，被实施各种图像处理后的数字信号(摄像信号)通过预览引擎12进行缩小加工，并提供给显示部6。另外，如果所提供的数字信号(摄像信号)和驱动显示部6所内置的驱动器的驱动控制信号输入到显示部6中，则显示部6对基于该数字信号(摄像信号)的图像进行实时取景(live view)显示。

在图像记录部13中记录有图像文件。图像记录部13既可为内置于摄像装置1中的存储器，也可为可装卸的存储器。在图像记录时，通过图像处理部10处理的摄像信号通过编码/解码处理部11进行压缩编码，按照JPEG格式等的规定的文件形式而形成文件，记录于图像记录部13中。另一方面，在图像再生时，从图像记录部13读取出的图像文件通过编码/解码处理部11进行解码，显示于显示部6中。

预览引擎12不但在生成应进行上述实时取景显示的图像时，而且在使显示部6显示在图像记录时记录于图像记录部13之前的图像时进行所需的控制。

在程序存储器14中，存储有用于执行在后述的各种流程图中所示的处理的程序。RAM15暂时存储连续拍摄到的图像。手抖动检测部17检测因摄影者的手抖动引起的振动，将其检测结果送给控制部16。通过总线18连接摄像装置1的各部分，并在各部分之间相互传送数据。

接着，对摄像装置1的动作进行说明。控制部16在检测到功能键4、光标键5的规定的操作的摄影模式的启动的指示时，从程序存储器14中读取图3的流程图所示的拍摄对象跟踪模式相关的程序，执行该程序。

在拍摄对象跟踪模式下，首先，摄像部8将与拍摄视角整体的光学像相应的模拟的摄像信号按照规定的周期输出给组件电路9。另外，组件电路9将所输入的模拟的摄像信号变换为数字信号。控制部16通过图像处理部10从该数字信号中生成图像数据。接着，作为实时取景而使显示部6显示所生成的图像数据(步骤S101)。另外，在下面的说明中，将上述规定的周期称为帧，将当前时刻生成的图像称为当前的帧图像，将在当前的帧图像的1帧前生成的图像称为上次的帧图像。

开始实时取景后，控制部16执行拍摄对象跟踪处理(步骤S102)。在这里，拍摄对象跟踪处理指如下的处理：在当前的帧图像中的检测到上次拍摄对象的区域的一定范围内，检测出与从上次的帧图像中检测到的拍摄对象的模板图像相比相似程度在规定的阈值以上的图像区域，并判断该拍摄对象在该检测出的图像区域内移动。

另外，最初进行的拍摄对象的检测是针对帧图像的整个区域(拍摄视角整体)进行的。在这里，拍摄对象指摄影者构成摄影对象的对象，指人物、人物的指定部分(面部等)、动物、物体等。

接着，控制部16在从步骤S102中检测到上次拍摄对象的区域起的一定范围内，判断是否检测到拍摄对象(步骤S103)。

在步骤S103，控制部16在判断检测到拍摄对象的情况下(步骤S103，是)，进入到步骤S108。另一方面，控制部16在判断未检测到拍摄对象的情况下(步骤S103，否)，控制部16将上次的帧图像分割为多个块，计算表示这些块中的运动矢量的流向(流动方向)的帧图像整体的分布状态的光流(optical flow)(步骤S104)。

然后，控制部16根据在步骤S104中计算出的光流，判断有无摄像装置1的移动(拍摄视角的变化)，另外，检测拍摄对象存在推测区域(推测拍摄对象存在的可能性高的区域)(步骤S105)。具体来说，根据在步骤S104中计算出的光流，由当前的帧图像中的图像4角部、背景的移动，检测拍摄视角的变化。接着，将检测到的拍摄视角的变化判断为由摄像装置1的移动造成的。另外，在当前的帧图像中，作为拍摄对象存在推测区域而检测具有流动方向与伴随着检测到的摄像装置1的移动的流向不同的流向的区域。

图4为表示步骤8105和步骤S106的具体的动作的流程图。在这里，首先，控制部16根据检测拍摄视角的变化来判断摄像装置1是否移动(步骤S201)。

在通过控制部16判断出摄像装置1未移动的情况下(步骤S201，否)，即，在未检测到当前的帧图像中的图像4角部、背景的流向的情况下，接着，控制部16判断是否检测到拍摄对象存在推测区域(步骤S202)。在未检测到拍摄对象存在推测区域的情况下(步骤S202，否)，即，在判断出在当前的帧图像中不存在具有与拍摄对象存在推测区域对应的流向的区域的情况下，控制部16读取普通的跟踪设定内容(步骤S203)，结束跟踪设定处理。

另外，在检测到拍摄对象存在推测区域的情况下(步骤S202，是)，即，在判断出在当前的帧图像中存在具有与拍摄对象存在推测区域对应的流向的区域的情况下，相对上述普通的跟踪设定内容，进行扩大检测范围、降低检测用阈值的跟踪设定(步骤S204)，结束跟踪设定处理。在这里，检测范围指进行采用模板图像的匹配处理的范围。该检测范围指从上次的帧图像中检测到拍摄对象区域的区域起的规定的范围内的区域。另外，检测用阈值指用于判断与模板图像的匹配的阈值，通过该值，检测出匹配的程度高的图像区域作为拍摄对象区域。在这些设定值中，预先规定了规定的值，它们存储于程序存储器14的规定区域等。

另一方面，在判断出摄像装置1移动的情况下(步骤S201，是)，控制部16也判断是否从当前的帧图像中检测到不存在随着摄像装置1的移动而移动的流向的区域，在检测到的情况下，将其判断为拍摄对象存在推测区域(步骤S205)。

在控制部16判断检测到拍摄对象存在推测区域的情况下(步骤S205，是)，接着，控制部16判断在以后的帧图像中该拍摄对象存在推测区域是否仍不具有流向(步骤S206)。

然后，控制部16在判断即使在以后的帧图像中拍摄对象存在推测区域仍不具有流向的情况下(步骤S206，是)，将进行扩大检测范围、使检测用阈值设为普通值的跟踪设定(步骤S207)，结束跟踪设定处理。

另一方面，控制部16在判断在以后的帧图像中拍摄对象存在推测区域具有流向的情况下(步骤S206，否)，将进行扩大检测范围、降低检测用阈值的跟踪设定(步骤S204)，结束跟踪设定处理。

还有，控制部16在判断未检测到拍摄对象存在推测区域的情况下(步骤S205，否)，读取普通的跟踪设定内容(步骤S208)，结束跟踪设定处理。

图5表示摄像图像的具体例。图5A表示上次的帧图像。图5B～图5F表示当前的帧图像。另外，图6A～图6E分别为表示在随图5B～图5F的变化时计算出的光流的具体例的图。另外，图7为与计算出的光流对应的各摄影状况和跟踪设定的列表。

在从图5A变为图5B的情况下，拍摄对象51和树(背景)52的位置未移动。于是，计算出的光流象图6(A)那样。即，没有摄像装置1的移动，并且没有拍摄对象存在推测区域(步骤S201，否，步骤S202，否)。在这种情况下，认为属于在摄像装置1固定的状态下对静止的拍摄对象进行摄影的状况。于是，控制部16读入并设定普通的跟踪设定内容(步骤S203)。

在从图5A变为图5C的情况下，拍摄对象51移动，但是树(背景)52的位置没有变化。于是，所计算的光流象图6B那样，判断摄像装置1未移动。另外，在图6B中具有存在箭头的区域，由此，判断该区域为存在流向的区域、即拍摄对象存在推测区域(步骤S201，否，步骤S202，是)。在这种情况下，认为属于在摄像装置1固定的状态下对移动的拍摄对象进行摄影的状况。于是，为了容易检测拍摄对象，控制部16进行扩大检测区域、降低阈值的跟踪设定(步骤S204)。

在从图5A变为图5D的情况下，拍摄对象51的位置未移动，但是树(背景)52的位置移动了。于是，所计算的光流象图6C那样。在此情况下，摄像装置1移动，但是检测出不存在随摄像装置1的移动而移动的流向的区域，将该区域判断为拍摄对象存在推测区域(步骤S201，是，步骤S205，是，步骤S206，是)。在这种情况下，认为属于移动拍摄等的跟踪沿一定方向移动的拍摄对象而摄影的状况。在这种摄影状况下，认为具有拍摄视角中的拍摄对象的朝向未变更但是拍摄对象的位置偏移的可能性。于是，控制部16进行在阈值维持在普通的阈值的状态下扩大检测范围的跟踪设定(步骤S207)。

在从图5A变为图5E的情况下，拍摄对象51和树(背景)52的位置沿相同方向移动。于是，所计算的光流象图6D那样。即，判断摄像装置1移动，并且不存在拍摄对象存在推测区域(步骤S201，是，步骤S205，否)。在这种情况下，认为属于在不存在拍摄对象的状态下摄像装置1在移动的同时进行摄影的状况。于是，控制部16读入并设定普通的跟踪设定内容(步骤S208)。

在从图5A变为图5F的情况下，拍摄对象51和树(背景)52的位置沿相互不同的方向移动。于是，所计算的光流象图6E那样。在这种情况下，由于具有与检测到的摄像装置1的移动对应的流向不同的方向的流向(箭头方向与图6E的周围的箭头方向不同的区域)，故判断该区域为拍摄对象存在推测区域(步骤S201，是，步骤S205，是，步骤S206，否)。在这种情况下，认为属于无法检测不规则地移动的拍摄对象的状态。于是，为了容易检测拍摄对象，控制部16进行扩大检测范围、降低阈值的跟踪设定(步骤S204)。另外，在此情况下，为了更容易检测拍摄对象，也可使扩大的检测范围比图5C、图5D的情况下的设定更大。

可通过这种设定，良好地检测并跟踪拍摄对象。

跟踪设定处理结束后，返回到图3，控制部16通过已设定的检测范围和检测阈值进行拍摄对象跟踪处理(步骤S107)。

然后，在步骤S108，控制部16将在步骤S103或步骤S107中检测到的拍摄对象区域设定为对该区域进行聚焦的区域。接着，控制部16针对该设定的区域进行包括AF(自动对焦)处理、AE(自动曝光调整)处理、和AWB(自动白色平衡)处理在内的摄像前处理。然后，控制部16对检测到的拍摄对象区域附加框，并使显示部6实时取景显示帧图像。另外，将检测到的拍摄对象区域的图像更新为新的模板图像，反复进行上述动作，由此，对连续摄像的各帧图像依次检测(跟踪)拍摄对象移动到什么位置。

如上述，根据本实施方式的摄像装置1，通过检测拍摄到的图像内的拍摄对象、和/或拍摄视角的变化，由此，可进行适于摄影状况的拍摄对象跟踪处理。

另外，本发明并不限于上述实施形式，可有各种的变形和应用。

例如，也可在图3的步骤S105中检测到作为拍摄对象存在推测区域的多个区域时，将位于在上次的帧图像中检测到拍摄对象的区域内、或接近该区域的区域确定为拍摄对象存在推测区域。

此外，也可在图3的步骤S107中的由拍摄对象跟踪处理不能够跟踪拍摄对象的情况下，降低在S105中检测到的拍摄对象存在推测区域中的检测用阈值，再次进行拍摄对象跟踪处理。

另外，上述光流也可考虑并计算由手抖动引起的运动矢量。即，也可根据从计算出的光流中扣除由手抖动检测部17检测出的手抖动引起的运动矢量而得出的光流，检测摄像装置的移动。

此外，对摄像装置1的控制部16执行的程序预先存储于程序存储器14中的情况进行了说明，但是，也可从外部的存储装置获得程序，还可存储经由互联网传送来的程序。

Claims

1.一种摄像装置，其特征在于，包括：

摄像机构(8)；

判断机构(16)，其根据由所述摄像机构依次拍摄到的图像之间的变化来判断摄影状况；和

控制机构(16)，其根据所述判断机构的判断结果来控制由所述摄像机构拍摄到的图像中包括的拍摄对象区域的跟踪。

2.根据权利要求1所述的摄像装置，其特征在于，

所述控制机构根据所述判断机构的判断结果来变更应跟踪所述图像中的拍摄对象区域的范围。

3.根据权利要求1所述的摄像装置，其特征在于，

所述摄像装置还包括指定机构，所述指定机构将图像区域指定为与应跟踪的拍摄对象对应的拍摄对象区域，其中所述图像区域与根据预先由所述摄像机构拍摄到的图像而预备的基准图像相比，相一致的程度在规定的阈值以上，

并且所述控制机构包括变更机构，所述变更机构根据所述判断机构的判断结果来变更所述规定的阈值的值。

4.根据权利要求3所述的摄像装置，其特征在于，

所述控制机构根据所述判断机构的判断结果，将所述规定的阈值的值变更为比前一设定的阈值的值还小的值。

5.根据权利要求1所述的摄像装置，其特征在于，

所述判断机构包括：

变化检测机构(16)，其检测由所述摄像机构依次拍摄到的图像之间的变化；和

拍摄对象检测机构(16)，其检测出与由所述变化检测机构检测到的变化不同的变化所存在的区域，并将其作为所述拍摄对象区域，

所述判断机构根据所述变化检测机构的检测结果和所述拍摄对象检测机构的检测结果来判断摄影状况。

6.根据权利要求5所述的摄像装置，其特征在于：

所述判断机构根据由所述变化检测机构检测到的图像之间的变化来判断所述图像之间的拍摄视角的变化的方向，

所述拍摄对象检测机构检测出与该判断出的变化的方向不同的方向所存在的区域，并将其作为所述拍摄对象区域。

7.根据权利要求5所述的摄像装置，其特征在于，

所述判断机构根据由所述变化检测机构检测到的图像之间的变化来判断所述图像之间的拍摄视角的变化量；

所述拍摄对象检测机构检测出与该判断出的变化量不同的变化量所存在的区域，并将其作为所述拍摄对象区域。

8.根据权利要求5所述的摄像装置，其特征在于，

所述拍摄对象检测机构判断是否检测出作为拍摄对象区域的多个区域，如果得出检测到多个区域的判断时，则检测出该多个区域中的、在与最近跟踪的拍摄对象区域最接近的区域检测到的拍摄对象区域，并将其作为应跟踪的拍摄对象区域。

9.根据权利要求5所述的摄像装置，其特征在于，

所述摄像装置还包括计算机构(16)，所述计算机构计算由所述摄像机构依次拍摄到的图像之间的运动矢量的矢量分布，

并且，所述变化检测机构根据由所述计算机构计算出的矢量分布来检测所述图像之间的变化，

所述拍摄对象检测机构根据由所述计算机构计算出的矢量分布和由所述变化检测机构判断出的所述图像之间的变化的方向来检测所述拍摄对象区域。

10.根据权利要求9所述的摄像装置，其特征在于，

所述计算机构从所述依次拍摄到的所述图像之间的运动矢量中扣除由手抖动引起的运动矢量，计算矢量分布。

11.一种拍摄对象跟踪方法，包括：

摄像步骤，由摄像部依次进行拍摄；

判断步骤，根据由该摄像步骤依次拍摄到的图像之间的变化来判断摄影状况；和

控制步骤，根据该判断步骤的判断结果来控制拍摄到的图像中包含的拍摄对象区域的跟踪。