具体实施方式
下面,参照附图来说明本发明的实施方式。
[第1实施方式]
首先,说明本发明的第1实施方式。图1是示出作为本发明各实施方式的动态图像生成装置的一例的数字照相机(以下简记为照相机)的结构的图。图1所示的照相机100具有:控制部101、摄像部102、脸部检测部103、图像显示部105、区域指定部106、操作部107、记录部108、以及时钟部109。
控制部101是统一控制照相机100的各模块的动作的控制电路。控制部101根据用户对区域指定部106或操作部107的操作,进行摄像部102、脸部检测部103、图像显示部105等的动作控制。
另外,控制部101具有:表情判别部201、剪裁控制部202、手指滑动判别部203、以及图像处理部204。
表情判别部201根据脸部检测部103检测出的脸部图像来判别被摄体的表情。剪裁控制部202将动态图像摄影时由摄像部102获得的图像的预定范围确定为剪裁范围,切取出所确定的剪裁范围内的部分图像。手指滑动判别部203判别区域指定部106中的手指滑动操作的有无和手指滑动速度(方向和速度)。由剪裁控制部202和手指滑动判别部203实现作为部分图像确定部的功能和作为部分图像切取部的功能。图像处理部204进行针对由摄像部102获得的图像的图像处理。该图像处理例如包括针对由摄像部102获得的图像的颜色校正处理、灰度校正处理、压缩处理(静态图像压缩或动态图像压缩)、针对压缩后的图像的解压缩处理等。并且,图像处理部204具有用于记录后述的剪裁范围的位置等各种数据的临时记录部2041。临时记录部2041例如由RAM构成。
摄像部102具有镜头、光圈、摄像元件等。摄像部102根据控制部101的控制来拍摄被摄体,取得被摄体的图像。这样的摄像部102与控制部101一起具有作为动态图像生成部的功能。脸部检测部103检测由摄像部102获得的图像中的脸部(脸部图像)。脸部检测部103通过从图像中检测例如眼、鼻、口等的脸部内的部分的阴影来检测脸部图像。脸部检测部103的脸部检测结果被用于摄像部102中的镜头的焦点调节等。
如上所述,表情判别部201根据脸部检测部103检测出的脸部图像来判别被摄体的表情。该表情判别部201具有脸部部分与表情之间的关系数据作为数据库,通过将脸部检测部103检测出的脸部图像的各脸部部分与数据库进行对照来判别表情。
图像显示部105例如是设于照相机100背面的液晶显示器(LCD)或有机电致发光显示器(OELD)等显示部。图像显示部105在控制部101的控制下显示由摄像部102获得的图像等各种图像。
区域指定部106例如是与图像显示部105一体地构成的触摸面板,是用于指定图像显示部105的显示画面上的任意点的操作部。该区域指定部106检测用户的手指等对图像显示部105的显示画面的接触,将与检测位置对应的信号输出到控制部101。控制部101通过识别来自区域指定部106的信号,来识别对图像显示部105的显示画面上的哪个点进行了接触。另外,在区域指定部106的被用户手指等接触的点连续变化的情况下,控制部101的手指滑动判别部203判别为进行了手指滑动操作,进而判别该手指滑动速度(方向和速度)。
操作部107是区域指定部106以外的各种操作部。该操作部107包括电源按钮、释放按钮、变焦开关、模式转盘(mode dial)等。电源按钮是用于指示照相机100的电源的接通或断开的操作部。释放按钮是用于指示照相机100的摄影(取得记录用图像)的操作部。变焦开关是用于指示摄像部102的镜头的变焦驱动的操作部。模式转盘是用于将照相机的动作模式切换到摄影模式(静态图像、动态图像)或再现模式的操作部。
记录部108记录由控制部101获得的记录用图像。记录部108例如是在照相机100上拆装自如的存储卡。时钟部109计测摄影日期等各种时间。
下面,说明作为本发明第1实施方式的动态图像生成装置的一例的照相机100的动作。在本实施方式中,可通过简单的操作来获得具有流畅的摇摄效果的动态图像。
当照相机100的动态图像摄影开始时,进行摄像部102的连续摄像,通过该连续摄像获得的动态图像被显示在图像显示部105上并被记录到记录部108内。这里,在用户的手指301接触到图像显示部105的显示画面上的任意点的情况下,由脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时,脸部图像的位置被记录到临时记录部2041内。并且,在该期间内仍继续摄像部102的连续摄像,在随着该连续摄像而显示在图像显示部105上的动态图像内的由用户指定的点附近的脸部图像上,重叠地显示图2A所示的表示剪裁范围的框105a。
然后,在用户的手指301接触到图像显示部105的显示画面上的其他点的情况下,脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时,脸部图像的位置被记录到临时记录部2041内。并且,在该期间内仍继续摄像部102的连续摄像,在随着该连续摄像而显示在图像显示部105上的动态图像内的由用户指定的点附近的脸部图像上,重叠地显示图2B所示的表示剪裁范围的框105b。
然后,用户如图2C所示那样使手指301在显示画面上朝任意方向A滑动。由此,进行剪裁摄影,生成具有用户期望的摇摄效果的动态图像。
这里,对剪裁摄影进行说明。图3是示出在第1实施方式中、由摄像部102获得的摄影图像与实际记录到记录部108内的图像之间的关系的图。如图3所示,从动态图像摄影开始的定时T1到剪裁摄影开始前(进行手指滑动操作前)的定时T3,由摄像部102获得的摄影图像的整体被记录到记录部108内。在图3中,在定时T1和定时T3进行了点的指定,分别指定的点的附近的脸部图像的位置被记录到临时记录部2041内。
从进行了手指滑动操作的定时T4起,开始剪裁摄影。在剪裁摄影中,首先,在定时T4,在由摄像部102获得的摄影图像中,切取与由用户指定的第1个点的脸部图像(框105a内的脸部图像)对应的部分图像。该切取出的部分图像被放大到与此前记录到记录部108内的摄影图像相同的尺寸而被记录到记录部108内。在下一定时T5,切取从框105a的位置朝A方向迁移了预定距离的位置的部分图像。该切取出的部分图像也被放大到与整体图像相同的尺寸而被记录到记录部108内。此后以同样的方式,在使切取位置朝A方向依次迁移预定距离的同时,切取部分图像,切取出的部分图像被放大地记录到记录部108内。然后,在框105b的位置的部分图像被切取出且被记录到记录部108内的定时T8,结束剪裁摄影。
其结果,在第1实施方式中最终记录到记录部108内的动态图像是由以下图像合并而成的:在进行手指滑动操作前的定时(在图3中是定时T1~T3)的期间内由摄像部102获得的整体图像;根据第1个点的指定而确定的部分图像(框105a内的脸部图像);通过剪裁摄影而依次获得的部分图像组(称为迁移图像);以及根据第2个点的指定而确定的部分图像(框105b内的脸部图像)。这里,在从定时T4到定时T8的期间内记录到记录部108内的图像是这样的图像:该图像好像是在从框105a的位置朝向框105b的位置的方向(进行了手指滑动操作的方向)上使照相机100进行摇摄摄影而成的。与通常的摇摄不同,在取得这些图像的期间内,照相机100未发生移动。因此,能够生成具有比通常的摇摄更流畅的摇摄效果的动态图像。
图4是示出本发明第1实施方式的照相机100的动态图像生成方法的流程的流程图。图4的动作是在由用户指示了执行动态图像摄影的时点(例如在动态图像摄影模式中由用户按下了释放按钮的时点)开始的。
当动态图像摄影开始时,控制部101使摄像部102的动作开始。然后,控制部101对由摄像部102取得的摄影图像整体实施图像处理,然后,将通过图像处理而获得的图像记录到记录部108内(步骤S101)。并且,与开始动态图像摄影相伴,使时钟部109开始计时。
在记录摄影图像后,控制部101根据区域指定部106的输出,判定用户是否在图像显示部105的显示画面上执行了位置指定(步骤S102)。在步骤S102的判定中,在进行了位置指定的情况下,控制部101使用脸部检测部103来检测由用户指定的位置附近的脸部图像。然后,控制部101判别由脸部检测部103检测出的脸部图像的中心位置(X1,Y1)和大小。这里,中心位置(X1,Y1)例如是将脸部图像视为圆形时的中心位置。该位置(X1,Y1)例如是将图像显示部105的显示画面的左上端的点设定为(0,0)时的相对位置。另外,大小是指将脸部图像设为圆形时的直径。在计算出中心位置(X1,Y1)和大小后,控制部101根据脸部图像的大小来设定剪裁范围的大小。该剪裁范围的大小是按照如下方式计算的,即:剪裁范围比脸部图像的大小大且其纵横比例如与图像显示部105的显示画面的纵横比相等。在计算出中心位置和剪裁范围后,控制部101将中心位置(X1,Y1)和剪裁范围的大小(例如长边长度D1)记录到临时记录部2041内。另外,控制部101将表示剪裁范围的矩形状的框105a显示在图像显示部105的显示画面上的位置(X1,Y1)处(步骤S103)。
接着,控制部101根据区域指定部106的输出,判定用户是否在图像显示部105的显示画面上进行了位置指定(步骤S104)。在步骤S104的判定中,在进行了位置指定的情况下,控制部101使脸部检测部103检测由用户指定的位置附近的脸部图像。然后,控制部101判别由脸部检测部103检测出的脸部图像的中心位置(X2,Y2)和大小。在计算出中心位置和剪裁范围后,控制部101将中心位置(X2,Y2)和剪裁范围的大小(例如长边长度D2)记录到临时记录部2041内。另外,控制部101将表示剪裁范围的矩形状的框105b显示在图像显示部105的显示画面上的位置(X2,Y2)处(步骤S105)。
然后,控制部101判定是否已指定了2个点的位置(步骤S106)。在步骤S106的判定中,在并非已指定了2个点的位置的情况下,控制部101根据时钟部109的计时结果,判定是否经过了预定时间(3秒左右)(步骤S107)。在步骤S107的判定中,在经过了预定时间的情况下,控制部101清除临时记录部2041中的记录内容(步骤S108)。然后,处理返回到步骤S101,控制部101继续画面整体的动态图像摄影。另一方面,在步骤S107的判定中,在未经过预定时间的情况下,跳过步骤S108的处理,处理返回到步骤S101。
另外,在步骤S106的判定中,在已指定了2个点的位置的情况下,控制部101判定是否开始了用户的手指滑动操作(步骤S109)。这里,手指滑动操作是否开始是通过判定在已指定2个点的状态下用户的手指等是否接触到图像显示部105的显示画面来判定的。即,在检测出用户的手指等的接触的情况下,判定为开始了手指滑动操作。在步骤S109的判定中,在未开始手指滑动操作的情况下,处理转移到步骤S107。另一方面,在步骤S109的判定中,在开始了手指滑动操作的情况下,控制部101进行用于判定手指滑动速度V的速度V判定处理(步骤S110)。
这里,参照图5来说明速度V判定处理。在速度V判定处理中,在已指定了2个点的状态下用户的手指等接触到图像显示部105的显示画面的情况下,控制部101将该接触位置P1判别为手指滑动操作的开始位置(步骤S201)。另外,在将手指滑动方向仅设为X方向的情况下,仅判别P1的X坐标即可。然后,控制部101判定是否经过了预定时间Δt(0.5秒左右)(步骤S202)。在步骤S202的判定中,在尚未经过预定时间Δt的情况下,控制部101进行步骤S202的判定,同时待机。
另外,在步骤S202的判定中,在经过了预定时间Δt的情况下,控制部101将该时点下的接触位置P2判别为手指滑动操作的结束位置(步骤S203)。然后,根据P1的位置、P2的位置以及Δt,按照下式来计算手指滑动速度V(步骤S204)。
V=(P2-P1)/Δt (式1)
另外,上式中的V的标号表示手指滑动方向。
这里,返回图4继续进行说明。在速度V判定处理后,控制部101判定手指滑动方向是否是从X1朝向X2的方向(在图2C的例子中是A方向)(步骤S111)。在步骤S111的判定中,在手指滑动方向是从X1朝向X2的方向的情况下,控制部101将表示剪裁摄影中的部分图像的切取起始点的参数(Xm,Ym)设定为(X1,Y1)(步骤S112)。而且,控制部101将表示剪裁摄影中的部分图像的切取结束点的参数(Xn,Yn)设定为(X2,Y2)(步骤S113)。并且,在步骤S111的判定中,在手指滑动方向是从X2朝向X1的方向的情况下,控制部101将表示剪裁摄影中的部分图像的切取开始位置的参数(Xm,Ym)设定为(X2,Y2)(步骤S114)。然后,控制部101将表示剪裁摄影中的部分图像的切取结束位置的参数(Xn,Yn)设定为(X1,Y1)(步骤S115)。
这里,步骤S111~步骤S115的处理是假设手指滑动操作的轨迹为沿着X方向的直线时的处理。实际上,手指滑动方向可以是与图像显示部105的显示画面平行的任意方向。在后述的第3实施方式中将说明将手指滑动方向设为任意时的处理。
在设定了表示部分图像的切取起始点和切取结束点的参数后,控制部101进行用于将部分图像的切取范围确定为剪裁范围的剪裁范围确定处理(步骤S116)。
参照图6来说明剪裁范围确定处理。在图6中,控制部101根据下式来确定用于确定切取位置的增量的参数ΔX、ΔY(步骤S301)。
ΔX=(Xn-Xm)/N
ΔY=(Yn-Ym)/N (式2)
其中,N是与切取位置的分辨率相当的值。该N可根据由用户指定的2点间的距离或摄像部102的帧速率而变化。并且,N也可以设为固定值。这里,为简化说明,假设N=10。
在确定ΔX、ΔY后,控制部101在用于设定表示部分图像的切取位置的参数(Xk,Yk)的寄存器等内设定初始位置(Xm,Ym)(步骤S302)。
控制部101根据下式来确定用于确定剪裁范围的增量的参数ΔD(步骤S303)。
ΔD=(D2-D1)/N (式3)
其中,N使用与(式2)的N相同的值。在确定了ΔD后,控制部101将初始值D1设定为表示剪裁框的长边长度的参数Dk(步骤S304)。
控制部101将中心位置为(Xk,Yk)且长边长度为Dk的矩形范围作为剪裁范围而记录到临时记录部2041内(步骤S305)。控制部101判定所设定的(Xk,Yk)是否已变为(Xn,Yn)(步骤S306)。
在S306的判定中判定为(Xk,Yk)未变为(Xn,Yn)时,控制部101将(Xk+ΔX,Yk+ΔY)设定为新的(Xk,Yk)(步骤S307)。并且,将(Dk+ΔD)设定为新的(Dk)(步骤S308)。然后,处理返回到步骤S305。另外,在步骤S306的判定中,在位置(Xk,Yk)变为了(Xn,Yn)的情况下,控制部101结束图6的处理。这样,有N个剪裁范围的信息被记录到临时记录部2041内。
图7A是示出通过剪裁范围确定处理而确定的剪裁范围的例子的图。剪裁范围确定处理的结果为,如图7A所示,与框105a对应的剪裁范围是中心位置为(X1,Y1)且长边长度为D1的矩形区域。并且,如图7A所示,与框105b对应的剪裁范围是中心位置为(X2,Y2)且长边长度为D2的矩形区域。并且,框105a和框105b这2个点之间的剪裁范围的位置和大小可通过利用了框105a和框105b的位置和大小的线性插值来求取。即,在框105a和框105b这2个点之间的剪裁范围中,分别形成了中心位置在X方向上依次错开ΔX且在Y方向上依次错开ΔY、同时长边长度依次变化ΔD的矩形区域。
另外,在图6的处理中,是使剪裁范围的长边长度以依次增大ΔD的方式从D1变到D2。与此相对,例如也可以如图7B所示,在手指滑动操作前设定剪裁范围的大小。例如可采用这样的方式:当检测出手指301在B方向上张开以放大图像显示部105的显示画面上显示的框105a和框105b中的一方(在图7B中是框105a)的这样的操作时,根据放大后的框1051a与放大前的框105a之间的放大率来确定与框1051a对应的剪裁范围的大小和与框1051b对应的剪裁范围的大小。在该情况下,例如,将D1设为放大后的框1051a的长边长度,将D2设为使放大前的框105a的长边长度与放大后的框1051a的长边长度之比乘以放大前的框105b的长边长度而得的长度。
以下,返回图4继续进行说明。在确定了各部分图像的剪裁范围后,控制部101使剪裁摄影开始(步骤S117)。在该剪裁摄影中,每隔预定时间Δt,将剪裁范围的位置和大小依次变更为在剪裁范围确定处理中分别确定的剪裁范围的位置和大小,同时从由摄像部102获得的图像中切取属于剪裁范围的部分图像,并将其记录到记录部108内。这里,预定时间Δt根据手指滑动速度V来确定。例如,Δt根据下式来确定。
Δt=(X2-X1)/V (式4)
在剪裁摄影开始后,控制部101判定是否响应于用户的操作而指示了动态图像摄影的结束(步骤S118)。作为该动态图像摄影的结束指示,例如可想到释放按钮的按下操作等。在步骤S118的判定中,在指示了动态图像摄影结束的情况下,控制部101结束图4的处理。另一方面,在步骤S118的判定中,在未指示动态图像摄影结束的情况下,控制部101判定用户是否进行了反向滑动操作(步骤S119)。这里,反向滑动操作是指朝与步骤S109中的手指滑动操作相反方向的手指滑动操作。在步骤S119的判定中,在未进行反向滑动操作的情况下,处理返回到步骤S118,控制部101再次判定是否进行了动态图像摄影的结束指示。另一方面,在步骤S119的判定中,在进行了反向滑动操作的情况下,处理返回到步骤S101。由此,从响应于剪裁摄影而仅记录由摄像部102获得的图像中的一部分的状态恢复到记录由摄像部102获得的图像整体的状态。
如上所述,根据第1实施方式,能够在不使照相机100自身进行摇摄的情况下,利用仅使手指等在图像显示部105的显示画面上移动这样的简单操作,来生成与摇摄相同效果的动态图像。并且,由于无需使照相机100自身进行摇摄,因而还能获得流畅的摇摄效果。
这里,在第1实施方式中,由于并不是使照相机100自身进行摇摄,因而在剪裁摄影的时点只能在摄像部102取得的范围的图像内进行剪裁摄影。因此,例如也可采用这样的方式:预先设定剪裁摄影用的模式作为动态图像摄影的模式之一,在设定了剪裁摄影用的动态图像摄影模式的情况下,相比于通常的动态图像摄影模式,能够预先取得视场角更宽的图像。这样的处理可通过使摄像部102具有变焦镜头并将该变焦镜头驱动到广角侧来实现。
[第2实施方式]
下面说明本发明的第2实施方式。在第1实施方式中,在进行了点的指定之后,在进一步进行手指滑动操作之前不执行剪裁摄影。因此,难以通过剪裁摄影来捕捉从进行了点的指定的时点起到进行手指滑动操作的期间内的被摄体的表情。而第2实施方式中,可通过剪裁摄影来捕捉从指定了点的时点起的被摄体的表情。另外,照相机100的结构与在第1实施方式中所说明的结构相同,因而省略说明。
图8是示出在第2实施方式中、由摄像部102获得的摄影图像与实际记录到记录部108内的图像之间的关系的图。在图8的例子中,在动态图像摄影开始的定时T1进行第1个点的指定。在该时点指定的点的附近的脸部图像(框105a内的脸部图像)被记录到临时记录部2041内。之后,在进行手指滑动操作之前,框105a内的脸部图像被记录到临时记录部2041内。
然后,在图8的例子中,在定时T3进行第2个点的指定。在该时点指定的点的附近的脸部图像(框105b内的脸部图像)也被记录到临时记录部2041内。之后,在进行手指滑动操作之前,框105b内的脸部图像也被记录到临时记录部2041内。
从进行了手指滑动操作的定时T4起开始剪裁摄影。该剪裁摄影与第1实施方式相同。但是,在第2实施方式中,最终记录到记录部108内的动态图像是是由以下图像合并而成的:在进行手指滑动操作前的定时(在图8中是定时T1~T3)的期间内由摄像部102获得的整个图像;在进行了第1个点的指定的定时(在图8中是定时T1)被确定并依次获得的部分图像(框105a内的脸部图像);从进行了手指滑动操作的定时起依次获得的部分图像组(迁移图像);以及在进行了第2个点的指定的定时(在图8中是定时T3)被确定并依次获得的部分图像(框105b内的脸部图像)。
图9是示出本发明第2实施方式的照相机100的动态图像生成方法的流程的流程图。另外,图9与图4大致相同。因此,在图9中,对与图4相同的步骤标注与图4相同的步骤编号而省略说明。即,图9与图4的不同之处仅在于追加了步骤S1031和步骤S1051,步骤S1031是将在步骤S103中检测出的位置的脸部图像记录到临时记录部2041内,步骤S1051是将在步骤S105中检测出的位置的脸部图像记录到临时记录部2041内。
图10是示出第2实施方式的方法中的动态图像再现方法的流程的流程图。在再现如图8所示那样记录的动态图像时,控制部101从记录部108中读出该动态图像并进行解压缩处理。然后,将解压缩后的动态图像依次显示在图像显示部105上。此时,首先,控制部101将与定时T1对应的整个图像显示在图像显示部105的显示画面上(步骤S501)。在显示整个图像后,控制部101判定接下来显示的图像是否是与第1个点的位置对应的脸部图像(步骤S502)。在步骤S502的判定中,在接下来显示的图像不是与第1个点的位置对应的脸部图像的情况下,处理转移到步骤S512。
另外,在步骤S502的判定中,在接下来显示的图像是与第1个点的位置对应的脸部图像的情况下,控制部101将与该第1个点的位置对应的脸部图像显示在图像显示部105的显示画面上(步骤S503)。然后,控制部101判定在与第1个点的位置对应的脸部图像中,相对于本次显示的脸部图像的表情,接下来应显示的脸部图像的表情变化量是否较大(步骤S504)。另外,这里的表情变化量,是指例如眼、鼻、口等各个脸部部分的像素数据相对于前一个脸部图像的变化的合计量。在步骤S504的判定中,在与之前显示的脸部图像相比、接下来的脸部图像的表情变化量较大的情况下,处理返回到步骤S503,控制部101将该接下来的脸部图像显示在图像显示部105的显示画面上。另一方面,在步骤S504的判定中,在与之前显示的脸部图像相比、接下来的脸部图像的表情变化较小的情况下,结束与第1个点的位置对应的脸部图像的显示。在该情况下,处理转移到步骤S505。即,当将图11的纵轴中的表情1表示为与第1个点的位置对应的表情变化量在时间上的变化时,控制部101使得仅显示从进行了第1个点的指定的定时Tp1起获得的脸部图像中的、在表情1的变化量大的期间Tf1内获得的脸部图像。
在结束了与第1个点的位置对应的脸部图像的显示后,控制部101判定在手指滑动前的定时获得的与第2个点的位置对应的脸部图像中是否存在表情变化量大的脸部图像(步骤S505)。在步骤S505的判定中,在手指滑动前的定时获得的与第2个点的位置对应的脸部图像中存在表情变化量大的脸部图像的情况下,控制部101将迁移图像依次显示在图像显示部105的显示画面上(步骤S506),然后,将在手指滑动前的定时获得的与第2个点的位置对应的脸部图像中、表情变化量大的脸部图像显示在图像显示部105的显示画面上(步骤S507)。然后,控制部101判定在手指滑动前的定时获得的与第2个点的位置对应的脸部图像中、相对于本次显示的脸部图像的表情,接下来应显示的脸部图像的表情变化量是否较大(步骤S508)。在步骤S508的判定中,在相对于之前显示的脸部图像、接下来的脸部图像的表情变化量较大的情况下,处理返回到步骤S507。在该情况下,控制部101将接下来的脸部图像显示在图像显示部105的显示画面上。另一方面,在步骤S508的判定中,在相对于之前显示的脸部图像、接下来的脸部图像的表情变化较小的情况下,结束与第2个点的位置对应的脸部图像的显示。在该情况下,处理转移到步骤S512。即,当将图11的纵轴中的表情2表示为与第2个点的位置对应的表情变化量在时间上的变化时,控制部101使得仅显示在从指定了第2个点的定时Tp2到进行了手指滑动操作的定时Ts的期间内获得的脸部图像中的、在表情2的变化量大的期间Tf2内获得的脸部图像。
另外,在步骤S505的判定中,在手指滑动前的定时获得的与第2个点的位置对应的脸部图像中不存在表情变化量大的脸部图像的情况下,控制部101将迁移图像依次显示在图像显示部105的显示画面上(步骤S509),然后,将在手指滑动后的定时获得的与第2个点的位置对应的脸部图像中、表情变化量大的脸部图像显示在图像显示部105的显示画面上(步骤S510)。然后,控制部101判定在手指滑动后的定时获得的与第2个点的位置对应的脸部图像中、相对于本次显示的脸部图像的表情、接下来应显示的脸部图像的表情变化量是否较大(步骤S511)。在步骤S511的判定中,在相对于之前显示的脸部图像、接下来的脸部图像的表情变化量较大的情况下,处理返回到步骤S510。在该情况下,控制部101将接下来的脸部图像显示在图像显示部105的显示画面上。另一方面,在步骤S511的判定中,在相对于之前显示的脸部图像、接下来的脸部图像的表情变化较小的情况下,结束与第2个点的位置对应的脸部图像的显示。在该情况下,处理转移到步骤S512。即,当将图11的纵轴中的表情2表示为与第2个点的位置对应的表情变化量在时间上的变化时,控制部101使得仅显示进行了手指滑动操作的定时Ts以后获得的脸部图像中的、在表情2的变化量大的期间内获得的脸部图像。
在步骤S502的判定中、在接下来显示的图像不是与第1个点的位置对应的脸部图像的情况下,或者在步骤S508、S511之后,控制部101判定是否结束动态图像的再现(步骤S512)。在步骤S512的判定中,在继续动态图像的再现的情况下,处理返回到步骤S501。另一方面,在步骤S512的判定中,在结束动态图像的再现的情况下,控制部101结束图10所示的处理。
如上所述,在第2实施方式中,也能够在不使照相机100自身进行摇摄的情况下,利用仅使手指等在图像显示部105的显示画面上进行移动这样的简单操作,来生成与摇摄相同效果的动态图像。并且,由于无需使照相机100自身进行摇摄,因而还能获得流畅的摇摄效果。
而且,根据第2实施方式,从点的指定到进行手指滑动操作的期间内的被摄体的表情也能作为部分图像而得到。并且,在再现时,对于与第1个点的位置对应的脸部图像和与第2个点的位置对应的脸部图像,仅显示表情变化量大的脸部图像。因此,能够降低仅显示相同图像的可能性。
在第2实施方式中,一并记录了与第1个点的位置对应的部分图像(脸部图像)、迁移图像、以及与第2个点的位置对应的部分图像(脸部图像)。因此,在将声音与动态图像一起记录时,很难将动态图像与声音准确同步地进行记录。因此,在第2实施方式中,可以不进行声音记录。或者,可以通过在再现时使声音快进等来使动态图像与声音同步。
[第3实施方式]
接着,说明本发明的第3实施方式。在所述的第1和第2实施方式中,是根据用户指定的2个点的位置来确定剪裁范围并依次切取部分图像。与此相对,在第3实施方式中,是根据由用户指定的3个点以上的位置来确定剪裁范围并依次切取部分图像。另外,由于照相机100的结构与在第1实施方式中所说明的结构相同,因而省略说明。
下面,说明作为本发明第3实施方式的动态图像生成装置的一例的照相机100的动作。
当照相机100的动态图像摄影开始时,与第1实施方式一样,进行摄像部102的连续摄像,通过该连续摄像而获得的动态图像被显示在图像显示部105上并被记录到记录部108内。这里,在用户的手指301接触到图像显示部105的显示画面上的任意一点的情况下,脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时,脸部图像的位置被记录到临时记录部2041内。并且,在该期间内仍继续摄像部102的连续摄像,在随着该连续摄像而显示在图像显示部105上的动态图像上,重叠地显示图12A所示的将脸部图像包围的框105a。
然后,在用户的手指301接触到图像显示部105的显示画面上的其他点的情况下,脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时,脸部图像的位置被记录到临时记录部2041内。并且,在该期间内仍继续摄像部102的连续摄像,在随着该连续摄像而显示在图像显示部105上的动态图像上,重叠地显示图12B所示的将脸部图像包围的框105b。然后,在用户的手指301又接触到图像显示部105的显示画面上的其他点的情况下,脸部检测部103检测该点附近的脸部图像。当进行了脸部检测部103的脸部检测时,脸部图像的位置被记录到临时记录部2041内。并且,在该期间内仍继续摄像部102的连续摄像,在随着该连续摄像而显示在图像显示部105上的动态图像上,重叠地显示图12C所示的将脸部图像包围的框105c。
然后,用户如图12D所示那样使手指301在显示画面上朝任意方向C滑动。由此,进行剪裁摄影,如图13所示,获得迁移图像,该迁移图像包括:与框105a的位置对应的部分图像、与框105b的位置对应的部分图像、以及与框105c的位置对应的部分图像。
图14是示出本发明第3实施方式的照相机100的动态图像生成方法的流程的流程图。
当动态图像摄影开始时,控制部101使摄像部102的动作开始。然后,控制部101对由摄像部102取得的摄影图像整体实施图像处理,然后,将通过图像处理而获得的摄影图像记录到记录部108内(步骤S601)。然后,与开始动态图像摄影相伴,控制部101使时钟部109开始计时。
在记录摄影图像后,控制部101将表示点的指定次数的参数L设定为1(步骤S602)。然后,控制部101根据区域指定部106的输出,判定用户是否在图像显示部105的显示画面上进行了位置指定(步骤S603)。在步骤S603的判定中,在进行了位置指定的情况下,控制部101使L加1(步骤S604),然后,通过脸部检测部103来检测由用户指定的位置附近的脸部图像。然后,控制部101判别由脸部检测部103检测出的脸部图像的中心位置(Xn,Yn)和大小。然后,将中心位置(Xn,Yn)和剪裁范围的大小(例如长边长度Dn)记录到临时记录部2041内。并且,控制部101将表示剪裁范围的矩形状的框显示于图像显示部105的显示画面上的位置(Xn,Yn)处(步骤S605)。
然后,控制部101根据区域指定部106的输出,判定是否开始了用户的手指滑动操作(步骤S606)。另外,这里的手指滑动操作是否开始的判定是通过判定用户的手指等在图像显示部105的显示画面上的接触位置是否连续变化来进行的。在步骤S606的判定中,在手指滑动操作未开始的情况下,控制部101根据时钟部109的计时结果,判定是否经过了预定时间(3秒左右)(步骤S607)。在步骤S607的判定中,在经过了预定时间的情况下,控制部101清除临时记录部2041中的记录内容(步骤S608)。然后,处理返回到步骤S601,控制部101继续整个画面的动态图像摄影。另一方面,在步骤S607的判定中,在尚未经过预定时间的情况下,跳过步骤S608的处理,处理返回到步骤S601。即,在第3实施方式中,在经过预定时间之前可指定3个点以上的多个点的位置。
另外,在步骤S608的判定中,在手指滑动操作已开始的情况下,控制部101进行用于判定手指滑动速度V的速度V判定处理(步骤S610)。该速度V判定处理与图5中所说明的处理相同,因而省略说明。在判定手指滑动速度V(方向和速度)后,控制部101判定用户的手指滑动操作是否结束(步骤S611)。另外,手指滑动操作是否结束的判定是通过在手指滑动操作开始后判定用户的手指等对图像显示部105的显示画面的接触是否被解除来进行的。在步骤S611的判定中,在手指滑动操作未结束的情况下,处理返回到步骤S610,控制部101再次进行手指滑动速度V的判定。即,在第3实施方式中,在用户的手指滑动操作解除之前,判定每单位时间Δt秒内的手指滑动速度V。由此,能够判定直线以外的手指滑动操作的轨迹(从手指滑动操作的起始点到结束点的位置变化方向和位置变化量)。
在步骤S611的判定中,在手指滑动操作已结束的情况下,控制部101进行剪裁范围确定处理(步骤S612)。该剪裁范围确定处理的基本处理流程与图6所示的流程相同。但是,不同之处在于:使用于确定切取位置增量的参数ΔX、ΔY双方进行增减;以及以通过步骤S605中记录到临时记录部2041内的全部指定点的位置的方式,进行剪裁范围确定处理。例如,在如图12A所示指定了框105a~105c这3个点的情况下,进行框105a与框105b这2个点之间的剪裁范围确定处理、以及框105b与框105c这2个点之间的剪裁范围确定处理。
在确定了各部分图像的剪裁范围后,控制部101使剪裁摄影开始(步骤S613)。该剪裁摄影也与在第1实施方式中说明的剪裁摄影同样地进行。在剪裁摄影开始后,控制部101判定是否响应于用户的操作而指示了动态图像摄影的结束(步骤S614)。在步骤S614的判定中,在指示了动态图像摄影结束的情况下,控制部101结束图14的处理。另一方面,在步骤S614的判定中,在未指示动态图像摄影结束的情况下,控制部101判定用户是否进行了反向滑动操作(步骤S615)。在步骤S615的判定中,在未进行反向滑动操作的情况下,处理返回到步骤S614,控制部101再次判定是否进行了动态图像摄影的结束指示。另一方面,在步骤S615的判定中,在进行了反向滑动操作的情况下,处理返回到步骤S601。由此,从响应于剪裁摄影而仅记录由摄像部102获得的图像中的一部分的状态恢复到记录由摄像部102获得的图像整体的状态。
如上所述,根据第3实施方式,即使指定点的数量为3个点以上、且手指滑动的轨迹为直线以外,也能生成与摇摄相同效果的动态图像。并且,无需使照相机100自身进行摇摄,因而还能获得流畅的摇摄效果。
[第4实施方式]
接着,说明本发明的第4实施方式。在所述第1~第3实施方式中,是由用户指定图像显示部105的显示画面上的点,然后,在进行了手指滑动操作的时点进行剪裁摄影。与此相对,在第4实施方式中,仅通过手指滑动操作即可进行剪裁摄影。另外,照相机100的结构与在第1实施方式中说明的结构相同,因而省略说明。
下面,说明作为本发明第4实施方式的动态图像生成装置的一例的照相机100的动作。
当照相机100的动态图像摄影开始时,进行摄像部102的连续摄像,通过该连续摄像而获得的动态图像被显示在图像显示部105上并被记录到记录部108内。这里,在第4实施方式中,在开始动态图像摄影的同时进行脸部检测部103的脸部检测,该脸部检测的结果是,如图15A所示,以与显示在图像显示部105的显示画面上的各脸部图像分别对应的方式,进行框105a~105d的显示。用户例如如图15B的A方向所示那样,以将框105a~105d的多个点连接的方式使手指301滑动。由此,进行剪裁摄影,生成具有用户期望的摇摄效果的动态图像。
图16是示出本发明第4实施方式的照相机100的动态图像生成方法的流程的流程图。这里是假设通过手指滑动将2个框连接的情况。
当动态图像摄影开始时,控制部101使摄像部102的动作开始。然后,控制部101对由摄像部102取得的摄影图像整体实施图像处理,然后,将通过图像处理而获得的图像记录到记录部108内。并且,控制部101使脸部检测部103检测由摄像部102取得的摄影图像中的脸部图像。然后,控制部101将框显示在由脸部检测部103检测出的各脸部图像上(步骤S701)。并且,与开始动态图像摄影相伴,控制部101使时钟部109开始计时。
在进行了摄影图像记录以及框的显示后,控制部101根据区域指定部106的输出,判定用户的手指等是否接触到图像显示部105的显示画面(步骤S702)。在步骤S702的判定中,在用户的手指等接触到图像显示部105的显示画面的情况下,控制部101判别用户手指等的接触位置附近的脸部图像的中心位置(X1,Y1)和大小D1并记录到临时记录部2041内,并且,对与该脸部图像对应的框进行强调显示(步骤S703)。
然后,控制部101根据区域指定部106的输出,判定用户的手指滑动操作是否结束(步骤S704)。在步骤S704的判定中,在手指滑动操作未结束的情况下,控制部101根据时钟部109的计时结果,判定是否经过了预定时间(3秒左右)(步骤S705)。在步骤S705的判定中,在经过了预定时间的情况下,控制部101清除临时记录部2041中的记录内容(步骤S706)。然后,处理返回到步骤S701。另一方面,在步骤S705的判定中,在尚未经过预定时间的情况下,跳过步骤S706的处理,处理返回到步骤S701。
另外,在步骤S704的判定中,在手指滑动操作已结束的情况下,控制部101判别手指滑动操作的结束位置附近的脸部图像的中心位置(X2,Y2)和大小D2并记录到临时记录部2041内(步骤S707)。然后,控制部101进行用于判定手指滑动速度V的速度V判定处理(步骤S708)。在该速度V判定处理中,将位置P1设定为在步骤S703的判定中检测出的接触位置,将位置P2设定为手指滑动操作的结束位置。并且,将Δt设定为从在步骤S702中判定出用户的手指等接触图像显示部105的显示画面到在步骤S704中判定出手指滑动操作结束为止的时间。
在手指滑动速度V的判定后,控制部101进行剪裁范围确定处理(步骤S709)。该剪裁范围确定处理与图6所示的剪裁范围确定处理相同。在确定了各部分图像的剪裁范围之后,控制部101使剪裁摄影开始(步骤S710)。该剪裁摄影也与在第1实施方式中说明的剪裁摄影同样地进行。在剪裁摄影开始后,控制部101判定是否响应于用户的操作而指示了动态图像摄影结束(步骤S711)。在步骤S711的判定中,在指示了动态图像摄影结束的情况下,控制部101结束图16的处理。另一方面,在步骤S711的判定中,在未指示动态图像摄影结束的情况下,控制部101判定用户是否进行了反向滑动操作(步骤S712)。在步骤S712的判定中,在未进行反向滑动操作的情况下,处理返回到步骤S711,控制部101再次判定是否进行了动态图像摄影的结束指示。另一方面,在步骤S712的判定中,在进行了反向滑动操作的情况下,处理返回到步骤S701。由此,从响应于剪裁摄影而仅记录由摄像部102获得的图像中的一部分的状态恢复到记录由摄像部102获得的图像整体的状态。
如上所述,根据第4实施方式,不是采用在点的指定后进行手指滑动操作这2个工序,而是仅利用手指滑动这1个工序,即可获得与所述第1~第3实施方式相同的效果。
这里,在所述各实施方式中说明了将动态图像生成装置应用于数字照相机的例子,但所述各实施方式的动态图像生成装置可应用于能够进行动态图像摄影的各种设备。
另外,本领域技术人员能够容易地想到其他优点和变更。因此,本发明在其更广的意义上不限定于这里所示和所述的具体细节和代表性的实施方式。因此,可以在不脱离由所附权利要求及其等同物所定义的一般发明概念的精神或范围的情况下进行各种变更。