CN102238335B - 摄影设备以及图像数据生成方法 - Google Patents

Abstract

本发明提供摄影设备以及图像数据生成方法，能够取得富于变化的动态图像。本发明的摄影设备具有：摄像部(2)，其对被摄体进行摄像，输出动态图像的图像数据；运动分析部(3ca)，其根据图像数据(31a～31e)，对被摄体的运动进行分析；效果赋予部(3b)，其与由运动分析部(3ca)分析的被摄体的运动对应地对图像数据进行效果画面处理；以及记录部(6)，其记录由效果赋予部(3b)实施效果画面处理后的图像数据(33b～33e)。

Description

摄影设备以及图像数据生成方法

技术领域

本发明涉及摄影设备以及图像数据生成方法，具体而言，涉及能够自动选择摄影时的图像处理的摄影设备以及图像数据生成方法。

背景技术

近年来，数字照相机等具有便携功能的便携设备(摄影设备)通过利用图像处理而扩大了摄影区域。并且，用户已经能够利用各种图像处理，并且已经能够容易地欣赏反映了摄影者感受的画作。

例如，在日本公开专利2005-347886号公报(以下称为专利文献1)中公开了如下的影像记录装置：操作数字特效键，由此读出动画数据或字符串数据，能够欣赏实施了特殊效果的图像。并且，在日本专利4142427号公报(以下称为专利文献2)中公开了根据动态图像的运动来实施视觉效应的图像合成装置。

这样，提出了各种对图像实施处理的方案。但是，专利文献1所公开的影像记录装置只是针对静态图像实施特殊效果，完全没有考虑对动态图像实施特殊效果。专利文献2所公开的图像合成装置对动态图像实施特殊效果。但是，只是对一瞬间的运动进行反应，而不是分析运动过程并针对整个运动来调节特殊效果。对于动态图像而言，运动是很重要的，当与该整个运动对应地改变图像处理时，会得到富于变化的图像，但是，以往没有提出这种类型的摄影设备。

发明内容

本发明是鉴于这种情况而完成的，其目的在于，提供在摄影中不进行特别的操作就能取得富于变化的动态图像的摄影设备以及图像数据生成方法。

为了实现上述目的，第1方面的摄影设备具有：摄像部，其对被摄体进行摄像，输出图像数据；脸部变化判定部，其根据所述图像数据，判定人物图像内的脸部的朝向变化的开始时刻和结束时刻；以及图像处理部，其根据由所述脸部变化判定部判定的所述开始时刻和所述结束时刻，进行所述图像数据的图像处理。

第2方面的摄影设备具有：摄像部，其对被摄体进行摄像，输出动态图像的图像数据；动作分析部，其根据所述图像数据，对被摄体的动作进行分析；效果赋予部，其与由所述动作分析部分析的被摄体的动作对应地对所述图像数据进行效果画面处理；以及记录部，其记录由所述效果赋予部实施效果画面处理后的图像数据。

第3方面的图像数据生成方法包括以下步骤：对被摄体进行摄像，输出动态图像的图像数据，根据所述图像数据，对被摄体的动作进行分析，与所述分析的被摄体的动作对应地对所述图像数据进行效果画面处理，记录实施所述效果画面处理后的图像数据。

根据本发明，由于与被摄体的运动对应地实施图像处理，所以能够提供在摄影中不进行特别的操作就能取得富于变化的动态图像的摄影设备以及图像数据生成方法。

附图说明

图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。

图2是示出本发明的一个实施方式的照相机的图像处理部的详细情况的框图。

图3是示出在本发明的一个实施方式的照相机中拍摄进行运动的被摄体的状况的图。

图4是说明在本发明的一个实施方式的照相机中拍摄进行运动的被摄体时的图像处理的图，(a)是实施图像处理前的图像，(b)是实施图像处理后的图像。

图5是示出在本发明的一个实施方式的照相机中拍摄进行其他运动的被摄体的状况的图。

图6是说明在本发明的一个实施方式法的照相机中拍摄进行其他运动的被摄体时的图像处理的图，(a)是实施图像处理前的图像，(b)是实施图像处理后的图像。

图7是说明在本发明的一个实施方式的照相机中被摄体的人物的脸部的运动的检测的图，(a)示出脸部朝向正面的情况，(b)示出脸部朝向右侧的情况，(c)示出脸部朝向左侧的情况。

图8是说明在本发明的一个实施方式的照相机中、通过脸部的阴影追踪来对被摄体的人物的脸部的运动进行检测的情况的图，(a)～(c)示出脸部从正面逐渐朝右侧移动的状况。

图9是示出在本发明的一个实施方式的照相机中、被摄体的人物的脸部的运动的图，(a)是示出眼睛鼻子与阴影中心的距离的变化的曲线图，(b)是示出人物的头部的大小的变化的曲线图。

图10是示出本发明的一个实施方式的照相机的照相机控制动作的流程图。

图11是示出本发明的一个实施方式的照相机的轨迹判定动作的流程图。

图12是示出在本发明的一个实施方式的照相机中、被摄体的人物的脸部的运动的图，(a)～(c)是示出人物的头部上下运动时的变化的图。

图13是示出本发明的一个实施方式的照相机的始点终点判定动作的流程图。

图14是示出本发明的一个实施方式的照相机的效果画面处理动作的流程图。

具体实施方式

下面，根据附图，使用应用了本发明的照相机来说明优选实施方式。图1是示出本发明的一个实施方式的照相机10的电气结构的框图。照相机10是数字照相机，由控制部1、摄像部2、脸部检测部2a、图像处理部3、记录部6、时钟部7、显示部8、操作部9等构成。

摄像部2包括具有变焦功能的摄影镜头(变焦镜头)、快门/光圈等曝光控制部、摄像元件、摄像元件的驱动和读出电路等，摄像元件将由摄影镜头形成的被摄体像转换为图像数据，并输出该图像数据。另外，在本说明书中，只要是基于从摄像元件输出的图像信号的信号，则也包括图像处理后的信号，均称为图像数据。

脸部检测部2a根据从摄像部2输出且由控制部1内的图像处理部3处理后的图像数据，检测在被摄体像中是否包含人物的脸部，并且，在包含脸部的情况下，检测其位置和大小等，将检测结果输出到控制部1。另外，在进行脸部检测时，提取脸部中的眼睛、鼻子、嘴等部分的阴影，利用图案匹配法等进行检测。并且，在检测到脸部的情况下，还检测头部的大小(脸部的大小)。

控制部1按照所存储的程序，对照相机10的整体顺序进行控制。控制部1具有：记录控制部1a、脸部变化判定部1b、模式设定部1c以及图像处理部3。记录控制部1a对静态图像或动态图像的图像数据在记录部6中的记录进行控制。在进行该控制时，在设定了动态图像艺术模式的情况下，进行如下控制：对图像进行分析，针对规定的动作区间实施图像处理，然后进行记录。

在由脸部检测部2a检测到人物的脸部的情况下，脸部变化判定部1b判定该检测到的脸部的朝向变化。即，根据图像数据，判定人物图像内的脸部的朝向变化的开始时刻和结束时刻。并且，脸部变化判定部还判定脸部的大小变化。模式设定部1c通过菜单画面等进行动态图像艺术模式的设定处理。如后所述，该动态图像艺术模式是如下的模式：使用脸部变化判定部1b的判定结果，在人物的脸部的朝向等处于规定范围内的情况下，在该范围内，由图像处理部3实施图像处理，使其成为富于变化的动态图像。

控制部1内的图像处理部3具有临时记录部3a、效果赋予部3b以及其他图像处理部。图像处理部3根据由脸部变化判定部1b判定的人物图像内的脸部的朝向变化的开始时刻和结束时刻，进行上述图像数据的图像处理。并且，在由脸部变化判定部1b判定了脸部的大小变化时，图像处理部3根据脸部的大小变化来决定图像处理的内容。

在图像处理部3内的其他图像处理部中，取入从摄像部2输出的图像数据，进行抽取(間引き)处理、切取处理、边缘强调、颜色校正、图像压缩等各种图像处理，并进行动态图像的实时浏览显示用、记录部6中的静态图像和动态图像的记录用、静态图像和动态图像的再现显示用等的图像处理。在进行图像压缩/解压缩等时，对应于各个处理，具有静态图像用压缩/解压缩电路等静态图像用的电路、动态图像用压缩/解压缩电路等动态图像用的电路。

并且，如后所述，临时记录部3a是用于临时记录动态图像的图像数据的存储器，在设定了动态图像艺术模式的情况下，效果赋予部3b实施针对临时记录的动态图像赋予图像效果的图像处理。使用图2在后面叙述图像处理部3的详细情况。

操作部9包括释放按钮、电源开关、再现模式设定按钮、菜单按钮等各种操作部件，判定这些操作部件的操作状态，向控制部1发送判定结果。所述控制部1根据操作部件的操作状态，以规定的顺序对摄影和再现进行控制。另外，如上所述，动态图像艺术模式是通过菜单画面来设定的，但是，除此之外，也可以设置动态图像艺术模式设定用的动态图像艺术模式按钮，通过操作该按钮来进行设定。并且，也可以使得在动态图像摄影时必须要设定艺术模式。

在通过释放按钮进行了摄影指示时，记录部6记录由摄像部2取得、并由图像处理部3进行压缩处理后的静态图像和动态图像的图像数据。显示部8具有配置于照相机10背面等的液晶面板或有机EL面板等显示部，进行摄影前的实时浏览显示、已记录的图像的通常再现显示以及照相机信息或菜单画面的显示等。摄影者观察实时浏览显示，从而能够决定构图和时机。并且，还进行在动态图像摄影时的动态图像艺术模式下拍摄到的图像的再现显示。

时钟部7进行计时动作，输出摄影日期时刻信息。在记录部6中记录静态图像和动态图像的图像数据时，一并记录该摄影日期时刻信息。并且，在动态图像艺术模式下进行摄影时，在动态图像摄影的计时动作中也使用该时钟部7。

接着，使用图2说明图像处理部3的详细结构。如上所述，图像处理部3取入从摄像部2输出的图像数据，进行抽取处理、切取处理等各种图像处理，图2示出与动态图像艺术模式中的图像数据生成相关的结构，以该结构为主进行说明。

临时记录部3a具有用于分别临时记录来自摄像部2的图像数据和来自脸部检测部2a的脸部检测结果的存储器0～存储器n。临时记录在存储器0～存储器n中的脸部检测结果的输出与动作分析部3ca连接。该动作分析部3ca根据图像数据，并根据脸部的轨迹和大小的变化等，对被摄体的动作进行分析。即，动作分析部3ca在对被摄体的人物的动作进行分析时，使用人物的脸部的朝向变化、脸部或头部的大小变化以及脸部的眼睛鼻子的图案(pattern)变化中的至少一方进行分析。另外，动作分析部3ca根据人物动作的分析结果，将被摄体的动作分类为预先确定的模式。使用图11在后面叙述该模式分类。

动作分析部3ca与动作始点终点判定部3cb连接，该动作始点终点判定部3cb利用动作分析部3ca的分析结果，判定人物的规定动作的始点和终点。作为规定动作，例如存在人物一边跳舞一边旋转的情况，该情况下的始点相当于任意位置和从该位置起旋转一周后的位置。除了该旋转动作以外，例如还有转身的动作、向后远去的动作等各种规定动作。

动作始点终点判定部3cb的输出以及临时记录在临时记录部3a中的动态图像的图像数据的输出与作为效果赋予部3b之一的采用决定部3ba连接。采用决定部3ba对由动作始点终点判定部3cb判定为位于始点与终点之间的图像数据进行采用决定。在从采用决定部3ba输出图像数据时，输出所决定采用的图像数据和未决定采用的图像数据双方，但是，此时，以能够识别是决定采用的图像数据还是未决定采用的图像数据的方式进行输出。因此，能够通过效果赋予部3bb对由动作始点终点判定部3cb判定的始点与终点之间的图像数据实施效果画面处理。

采用决定部3ba的输出与作为效果赋予部3b之一的效果赋予部3bb连接，该效果赋予部3bb进行针对由采用决定部3ba决定采用的图像数据赋予规定图像效果的图像处理。采用决定部3ba根据基于动作分析部3ca分析结果的动作始点终点判定部3cb的判定来采用图像数据，所以，效果赋予部3bb能够与由动作分析部3ca分析的被摄体的动作对应地对图像数据进行效果画面处理。作为规定的图像效果，例如进行如下的图像处理：变更人物衣服的颜色或图案等、或者将色调变更为怀旧色调、或者逐渐变亮或变暗。另外，针对未决定采用的图像数据，不赋予效果，而直接输出图像数据。在进行该效果画面处理时，与由动作分析部3ca分类的模式对应地进行变更。

效果赋予部3bb的输出与动态图像压缩部3d连接，该动态图像压缩部3d对从效果赋予部3bb输出的动态图像数据进行图像压缩。动态图像压缩部3d与记录部6连接，在记录部6中记录经过压缩处理后的图像数据。即，记录部6记录由效果赋予部3bb进行了效果画面处理后的图像数据。

由于本实施方式中的图像处理部3是以这种方式构成的，所以，能够通过动作分析部3ca对如后述图3所示的人物转身并远去、或者如后述图5所示的人物一圈一圈旋转等的规定动作进行分析。根据该分析结果，在人物旋转的情况下，动作始点终点判定部3cb能够在一次旋转中确定始点和终点，并且，在转身并远去的情况下，动作始点终点判定部3cb能够将转身后而观察相反侧时确定为动作的始点，将头部的尺寸变为一半时确定为动作的终点。决定始点和终点后，效果赋予部3b针对其间的图像数据赋予图像效果，将其记录在记录部6中。另外，在本实施方式中，图像处理部3的内部结构为硬件结构，但是，也可以适当地通过软件实现。

接着，使用图3～图6对本实施方式中的图像效果的赋予进行说明。图3示出面向摄影者侧的人物21向相反侧离去的场景。这是在电影或电视剧中出现的熟悉的场景，一般是作为启程或分别的表现方法。这种场景能够在具有故事性的动态图像的开场和结束时使感情高涨，通过赋予特殊效果，能够强调图像并放大感情。

因此，在本实施方式中，通过照相机10取得人物21的动态图像。由此，如图4(a)所示，在照相机10内的临时记录部3a中临时记录与图像31a～图像31e对应的图像数据。通过所述动作分析部3ca和动作始点终点判定部3cb，将转身而面向相反侧的时刻作为始点，将人物21的头部与始点时相比、头部(脸部大小)成为一半时作为终点，赋予特殊效果。另外，作为终点的时机，除了始点时的一半以外，也可以是1/3左右，还可以是1/4左右，只要是在以动态图像的形式进行鉴赏时、即使结束图像处理也不会感觉不舒服的程度即可。

在本实施方式中，如图4(b)所示，不对始点前的图像33a赋予特殊效果。使始点后的图像33b、33c成为怀旧色调，针对接下来的图像33d，使图像变亮以使其逐渐消失，对最后的图像33e赋予附加框的特殊效果。通过进行这种图像处理，能够表现人物21离去的哀伤。该情况下，不是一口气地赋予效果，而是按照顺序进行变化。另外，除了怀旧色调以外，也可以是设为黑白色调等的其他画面处理。

图5所示的例子是人物21的其他规定动作，是以跳舞的感觉进行旋转的情况。此时，当通过照相机10进行动态图像摄影时，能够取得图6(a)所示的构成动态图像的图像32a～32f。该情况下，如果设人物21的脸部朝向正面的图像34a为始点，则脸部旋转而再次朝向正面的图像34f为终点。

因此，在本实施方式中，着眼于人物21的脸部的旋转，在脸部旋转一次的期间内，针对所取得的图像34a～34f改变衣服部分的颜色，表现出换装的效果。该情况下，将位于脸部下部且颜色大致均匀的部分判别为衣服，并且根据人体的形状来判定衣服部分的轮廓即可。并且，通过对脸部运动的变化进行分析，从而决定始点和终点，所以，能够附加这种变化。另外，在人物21多次旋转的情况下，在从朝向正面到下次朝向正面的一个区间内，以同样的方式改变衣服颜色即可。并且，不仅可以改变颜色，也可以改变图案，还可以同时改变图案和颜色。并且，在图6(b)中，仅改变了裙子，但还可以改变上衣。

这样，在本实施方式中，着眼于人物21的脸部的旋转，判定动作的始点和终点。使用图7说明脸部的朝向变化的判定方法。图7示出人物脸部内的眼睛鼻子的阴影和脸部的外形。即，椭圆表示脸部的外形，脸部外形内部的T字形状表示眼睛鼻子的阴影。

即，图7(a)是人物的脸部朝向正面的情况，该情况下，人物的鼻梁线37与脸部外形的中心线36一致。但是，如图7(b)所示，当人物朝向右侧时，鼻梁线37相对于中心线36向右侧偏移，差分X为正值。另一方面，如图7(c)所示，当人物朝向左侧时，鼻梁线37相对于中心线36向左侧偏移，差分X为负。另外，在本实施方式中，通过脸部变化判定部1b判定脸部的外形、眼睛鼻子的阴影及其变化。

并且，在难以检测眼睛鼻子的阴影的情况下，首先，如图8(a)所示，在朝向正面的状态下检测到脸部后，如果追随阴影的特征点的时间变化，则能够判定脸部朝向哪侧。在图8所示的例子中，到连接两眼的直线的端部的距离在图8(b)中变化为X1，在图8(c)中变化为X2，所以，能够判定为脸部朝向右侧。并且，除了眼睛鼻子的阴影的特征点以外，还能够通过眼睛鼻子阴影周围的轮廓检测来判定头部的大小φ，根据该大小φ，判定人物是否远去。

这样，在本实施方式中，除了脸部的位置和朝向以外，还判定其变化来检测被摄体的运动。如果是特征性的一连串的动作，则能够与摄影图像中的其他运动分离。通过该动作分析，考虑被摄体的运动的开始和停止、大小变化以及变化周期，由此，能够赋予以往难以实现的随时间变化的图像处理。

图9(a)示出脸部旋转时的特征点的变化。即，在脸部朝向正面时，鼻梁线37与中心线36之间的差分X为0(时刻t1)。如果脸部逐渐朝向右侧，则在时刻t2之前，差分X慢慢增加，在时刻t2，脸部向后，所以差分X消失。现在，假设脸部正在旋转，则在时刻t3，鼻梁线从左侧朝向正面移动，所以，如虚线所示那样变化。

并且，图9(b)示出头部的大小φ的变化。在图9(b)中的实线的例子中，随着经过时刻t2、t3，大小φ减小，所以，可以说作为被摄体的人物正在远去。另一方面，在虚线的例子中，即使经过时刻t2、t3，头部的大小φ也恒定，所以，可以说与摄影者之间的距离没有变化。

在图9(a)、(b)中，在实线所示的例子中，脸部的眼睛鼻子的阴影在朝向后面以后消失，并且，头部的大小φ随着时间的经过而减小，所以，如使用图3、图4说明的那样，推定为转身并远去的人物。另一方面，在虚线所示的例子(其中包括图9(a)的时刻t1～t2的实线部分)中，脸部的眼睛鼻子的阴影临时消失后再次从相反侧出现，并且，头部的大小φ不随着时间的经过而变化，而是恒定的，所以，如使用图5、图6说明的那样，推定为正在旋转的人物。

这样，在本实施方式中，除了脸部的朝向和大小的变化以外，还对脸部的眼睛鼻子的阴影的变化或头部的大小φ的变化进行检测，由此，能够检测人物的运动，并且能够检测其始点和终点。之所以对脸部的朝向和大小的变化、眼睛鼻子的阴影的变化、头部的大小的变化等的特征性的一连串的动作进行检测，是因为容易检测周期运动和变化的划分。因此，上述运动是例示，只要是周期运动和容易检测变化划分的运动，则也可以检测其他运动。

接着，使用图10所示的照相机控制的流程图对本实施方式的照相机10的动作进行说明。包括后述的图11、图13、图14所示的流程图在内，按照在未图示的存储器中存储的程序，通过控制部1来执行本实施方式的流程。并且，在本实施方式中，对在摄影模式下选择了动态图像摄影模式和动态图像艺术模式的情况进行说明。

当照相机10接通电源而启动后，开始图10所示的流程。首先，判定是否是摄影模式(S1)。该照相机10具有摄影模式和再现模式等其他模式，根据操作部9的操作状态来判定摄影者的模式选择状态。另外，该照相机10的默认状态下的模式是摄影模式。

在步骤S1的判定结果为没有选择摄影模式的情况下，进行摄影模式以外的处理(S35)。这里，根据再现模式等由用户选择的模式进行处理。进行摄影模式以外的处理后，返回步骤S1。

在步骤S1的判定结果为摄影模式的情况下，进行摄像、显示以及脸部检测(S3)。在该步骤中，在图像处理部3中对由摄像部2取得的图像数据进行图像处理，使用该图像处理后的图像数据，在显示部8中进行实时浏览显示。摄影者能够一边观察实时浏览显示一边决定构图和快门时机。并且，在脸部检测部2a中，检测在图像中是否包含脸部，并且在包含脸部的情况下检测其位置和大小。

进行摄像、显示以及脸部检测后，接着，判定是否开始摄影(S5)。这里，判定是否操作了动态图像按钮等而进行了动态图像摄影开始的指示。在该判定结果为没有开始摄影的情况下，返回步骤S1。在选择了摄影模式的情况下，在反复执行步骤S1～S5的期间内，更新实时浏览显示。

在步骤S5的判定结果为开始摄影的情况下，接着，开始连续摄影和脸部检测结果的临时记录(S7)。这里，将从摄像部2输出的动态图像的图像数据和从脸部检测部2a输出的脸部检测结果依次临时记录到临时记录部3a的存储器0～存储器n中。

在临时记录动态图像的图像数据和脸部检测结果后，接着，进行轨迹判定(S9)。在该轨迹判定中，动作分析部3ca根据临时记录的图像数据和脸部检测结果，判定被摄体即人物是否正在进行使用图3～图9而说明的规定运动，换言之，判定脸部的轨迹是否是规定变化。使用图11在后面叙述该轨迹判定的详细流程。

进行轨迹判定后，接着，判定轨迹是否是规定变化(S11)。这里，根据在步骤S9中进行的轨迹判定，动作始点终点判定部3cb判定轨迹是否是规定变化。

在步骤S11的判定结果为轨迹不是规定变化的情况下，接着，判定是否在规定时间内没有变化(S21)。为了在步骤S9中进行轨迹判定，需要规定时间的期间内的数据。当该规定时间为过短的时间时，无法充分判定，并且，如果该规定时间是较长时间，则临时记录部3a需要大容量的存储器。因此，考虑到这些情况，适当选择规定时间的长度即可。在本实施方式中，例如设为10秒左右。

在步骤S21的判定结果为在规定时间的期间内轨迹没有规定变化的情况下，接着，不对此前的图像进行画面处理而对其进行压缩记录(S23)。该情况下，由于没有进行使用图3～图9而说明的规定运动，所以，不对动态图像进行赋予效果的图像处理，而直接对动态图像的图像数据进行压缩并记录。即，效果赋予部3bb不赋予任何效果，而在动态图像压缩部3d中进行图像压缩后，在记录部6中记录图像数据。

另一方面，在步骤S11的判定结果为轨迹是规定变化的情况下，接着，进行始点终点判定(S13)。这里，在轨迹是规定动作的情况下，求出动作的始点和终点。例如，在图3和图4中说明的脸部朝向相反侧而远去的人物的情况下，设脸部朝向相反侧的位置为始点，头部成为始点时的一半的位置为终点。并且，在图5和图6中说明的脸部旋转的情况下，设朝向正面的位置为始点，旋转一周而再次朝向正面的位置为终点。使用图13详细叙述该始点终点判定的流程。

进行始点终点判定后，接着，对始点与终点之间的动态图像进行效果画面处理，并进行图像压缩(S15)。决定始点终点后，对其间的动态图像的图像数据进行赋予特殊效果的画面处理。即，由采用决定部3ba识别始点与终点之间的动态图像数据，所以，效果赋予部3b对该图像进行画面处理。进行画面处理后，由动态图像压缩部3d进行图像压缩。使用图14详细叙述该步骤的动作内的画面处理部分的流程。

接着，对始点之前的图像进行压缩并记录(S17)。由于在步骤S13的始点终点判定中判定了始点，所以，在该步骤中，在动态图像压缩部3d中对在始点以前记录在临时记录部3a中的图像数据进行压缩，然后，将其记录在记录部6中。由于不对始点以前的图像数据进行画面处理，所以将其记录在记录部6中，减轻了临时记录部3a的负荷。

当在步骤S17中对始点之前的图像进行压缩记录后、或者在步骤S23中不进行画面处理而进行压缩记录后、或者在步骤S21的判定结果为在规定时间的期间内发生了变化的情况下，接着，判定是否结束摄影(S19)。这里，判定是否再次操作了动态图像按钮等而进行了动态图像摄影结束的指示。在该判定结果不是摄影结束的情况下，返回步骤S9。

在步骤S19的判定结果为摄影结束的情况下，在步骤S13中判定的终点之后的图像仍然保留在临时记录部3a中。因此，使处理根据终点之后的规定动作的持续状态而不同。首先，判定是否在终点以后继续进行相同动作(S25)。这里，由动作分析部3ca判定在终点以后且摄影结束以前的期间内是否继续进行规定动作。

在步骤S25的判定结果为继续进行相同动作的情况下，在进行终点之后的图像的效果画面处理后，进行压缩并记录(S27)。这里，效果赋予部3bb进行与在步骤S15中实施的画面处理相同的画面处理，由动态图像压缩部3d进行压缩后，将其记录在记录部6中。如果是图5和图6所示的旋转的场景，则持续进行改变衣服的效果。

另一方面，在步骤S25的判定结果为没有继续进行相同动作的情况下，判定从终点到摄影结束为止的时间是否是5秒以上(S29)。在该判定结果为在5秒以上的期间内没有继续进行动作的情况下，不对从终点到摄影结束为止之间的图像赋予效果，而直接进行压缩并记录(S33)。该情况下，由于在5秒以上的期间内没有进行相同的动作，所以，是开始了完全不同的动作的状况，如果赋予特殊效果，则会成为不自然的图像，所以，直接进行压缩并记录。另外，步骤S29中的判定时间为5秒，但只是例示，可以比5秒短，也可以比5秒长，只要是实施特殊效果时感觉到不自然的程度的时间即可。

在步骤S29的判定结果为从终点到摄影结束为止的时间小于5秒的情况下，与步骤S27同样，对终点之后的图像实施效果画面处理，在压缩后进行记录(S31)。从终点起的时间为短时间，所以继续进行效果画面处理。在步骤S27、S31、S33中进行终点以后的图像的记录后，返回步骤S1。

接着，使用图11所示的流程图对步骤S9中的轨迹判定的详细流程进行说明。进入该流程后，首先，判定脸部朝向是否为横向(S41)。这里，基于脸部检测部2a的检测结果，根据眼睛鼻子的阴影是否为横向的阴影来进行判定。

在步骤S41的判定结果为脸部朝向是横向的情况下，接着，判定眼睛鼻子图案是否消失(S43)。如上所述，当人物的脸部朝向与正面相反的方向时，眼睛鼻子的阴影消失，所以，动作分析部3ca根据眼睛鼻子的阴影来进行判定。

在步骤S43的判定结果为眼睛鼻子图案消失的情况下，接着，判定是否能够进行头部的判定(S45)。这里，是判定脸部检测部2a能否测定图8(c)所示的头部的大小φ。在该判定结果为能够判定头部的大小的情况下，接着，判定头部是否缩小(S47)。在该步骤中，根据脸部检测部2a检测到的头部的大小φ的时间变化来进行判定。另外，在步骤S43～S47中，一边观察经时变化一边进行判定。

在步骤S47的判定结果为头部缩小的情况下，设定为模式1(S49)。该情况下，如在图3和图4中说明的那样，相当于人物转身并远去的场景，设定为模式1的规定轨迹。

另一方面，在步骤S47的判定结果为头部没有缩小的情况下，接着，判定是否能够再次检测到眼睛鼻子图案(S51)。在步骤S43中检测到眼睛鼻子的阴影消失，但是，在该步骤中，由动作分析部3ca判定是否再次出现了眼睛鼻子的阴影。

在步骤S51的判定结果为再次检测到眼睛鼻子图案的情况下，设定为模式2(S53)。该情况下，如在图5和图6中说明的那样，相当于人物正在旋转的场景，设定为模式2的规定轨迹。

另一方面，在步骤S51的判定结果为未再次检测到眼睛鼻子图案的情况下，接着，判定是否为2秒的静止状态(S55)。这里，判定在眼睛鼻子的阴影消失的状态下是否在2秒内没有变化。另外，2秒只是例示，可以比2秒短，也可以比2秒长，如后所述，只要是能够判定为人物斜着仰望天空的程度的时间即可。并且，也可以是被摄体的人物在某个动作后进行一次呼吸的时间、或可在不摆动的情况下处于静止的时间程度。

如果步骤S55的判定结果为在2秒内静止，则设定为模式3(S57)。该情况下，在眼睛鼻子的阴影消失的状态下，头部的大小没有减小而在2秒内静止，所以，是斜着向上仰望天空的场景，设定为模式3的规定轨迹。

在步骤S41的判定中脸部的运动不是横向的情况下，接着，判定头部是否上下运动(S61)。这里，如图12所示，动作分析部3ca根据眼睛鼻子的阴影判定头部是否上下运动。即，如图12(a)所示，在脸部朝向正面时，决定连接两眼的水平线38。然后，如图12(b)、(c)所示，在头部上下运动时，求出水平线38与连接两眼的眼线39之差Y1、Y2，根据Y1、Y2判定头部是否上下运动。

在步骤S61的判定结果为头部上下运动的情况下，接着，与步骤S55同样，判定是否静止2秒(S63)。这里，判定在眼睛鼻子的阴影消失的状态下是否在2秒内没有变化。具体而言，确认所述水平线38与眼线39之间的差分Y1、Y2是否没有变化。另外，2秒只是例示，只要是能够判定为向下低头的情况和点头的情况等的程度的时间即可。并且，也可以是被摄体的人物在某个动作后进行一次呼吸的时间、或可在不摆动的情况下处于静止的时间程度。

如果步骤S63的判定结果为静止2秒，则设定为模式4(S65)。该情况下，头部上下运动并且在该状态下静止2秒，所以，是低头的情况或正在点头的场景，设定为模式4的规定轨迹。

在步骤S49、S53、S57或S65中设定了模式1～模式4中的任一个模式后，设定为轨迹是规定轨迹(S69)，返回原来的流程。该情况下，返回原来的流程后，在接下来的步骤S11中判定为“否”，进入步骤S21。

在步骤S43的判定结果为眼睛鼻子图案没有消失的情况下、或者在步骤S45的判定结果为无法判定头部的情况下、或者在步骤S55的判定结果为没有静止2秒的情况下、或者在步骤S61的判定结果为头部没有上下运动的情况下、或者在步骤S63的判定结果为没有静止2秒的情况下，设定为轨迹是规定轨迹以外的轨迹(S67)，返回原来的流程。该情况下，返回原来的流程后，在接下来的步骤S11中判定为“是”，进入步骤S13。

这样，在轨迹判定的子流程中，由动作分析部3ca判定人物的脸部的运动，判定是否是规定轨迹。并且，在是规定轨迹的情况下，将轨迹的模式分类为1～4。这样，在本实施方式中，判定轨迹是否进行规定变化，即，描绘如模式1那样消失的轨迹、或描绘如模式2那样通过人物进行旋转等而周期性地变化的轨迹、或描绘如模式3、4那样在规定时间内持续相同状态的轨迹等。当然，也可以判定上述模式以外的轨迹。另外，通过与接下来说明的始点终点判定流程进行组合，能够使轨迹判定的模式多样化。例如还有由如下轨迹决定的模式：设判定为被摄体朝向发生变化的时刻为始点，然后，继续检测被摄体的大小，设被摄体开始减小的时刻为终点。利用根据脸部的要素来检测倾斜的技术、以及对脸部倾斜是否随时间变化进行分析的技术，能够简单地实现被摄体的朝向和大小的变化。

接着，使用图13所示的流程图对步骤S13中的始点终点判定的详细流程进行说明。进入该流程后，首先，判定是否是模式1(S71)。在图11所示的轨迹判定的子流程的步骤S49中，如果人物进行模式1的轨迹，则对该情况已进行设定。因此，在该步骤中，判定是否设定了模式1。

在步骤S71的判定结果为模式1的情况下，设脸部朝向的“变化开始”为始点，“缩小开始”为终点(S81)。如使用图3和图4说明的那样，模式1是拍摄向相反侧转身并去往远离方向的人物的场景。因此，设由于向相反侧转身而使得脸部朝向开始变化的时刻为开始点，设头部缩小为一半的时刻为终点。

在步骤S71的判定结果不是模式1的情况下，接着，判定是否是模式2(S73)。在步骤S53中，如果人物进行模式2的轨迹，则对该情况已进行设定。因此，在该步骤中，判定是否设定了模式2。

在步骤S73的判定结果为模式2的情况下，从正面起，设正面为始点和终点(S83)。如使用图5和图6说明的那样，模式2是拍摄像跳舞那样旋转的人物的场景。因此，朝向正面时为始点，然后，旋转一次而再次朝向正面时为终点。

在步骤S73的判定结果不是模式2的情况下，接着，判定是否是模式3(S75)。在步骤S57中，如果人物进行模式3的轨迹，则对该情况已进行设定。因此，在该步骤中，判定是否设定了模式3。

在步骤S75的判定结果为模式3的情况下，设脸部朝向的“变化开始”为始点，“变化停止”为终点(S85)。如上所述，模式3是对斜着向上仰望天空的人物进行摄影的场景。因此，设脸部朝向开始变化的时刻为始点，该变化停止的时刻为终点。

在步骤S75的判定结果不是模式3的情况下，接着，判定停止时是否是正面(S77)。这里是模式4的情况，在该情况下，是低头状态或点头状态。因此，是属于该模式4的情况，并且，由动作分析部3ca判定在脸部运动的停止时刻是否朝向正面。

在步骤S77的判定结果为停止时是正面的情况下，设朝向的“变化开始”为始点，“表情变化停止”为终点(S87)。该情况下，例如是向下低头的人物朝向正面微笑的情况。因此，设脸部开始朝正面方向运动的时刻(即朝向的变化开始时刻)为始点，并且，设朝向正面、表情变化停止的时刻(微笑的时刻)为终点。

在步骤S77的判定结果为停止时不是正面的情况下，设正面的表情变化停止时刻为始点，头部运动停止的时刻为终点(S79)。该情况下，例如是朝向正面的人物突然改变表情而向下低头的情况。因此，设表情变化的时刻为始点，向下的运动停止的时刻为终点。

在步骤S79、S81、S83、S85或S87中决定始点和终点后，返回原来的流程。这样，在始点终点判定的子流程中，与规定动作对应地分别决定用于赋予特殊效果的时机(始点和终点)。

在步骤S15、S27、S31中进行各种处理，使用图14所示的流程图对其中的效果画面处理的详细流程进行说明。进入该流程后，首先，与步骤S71同样，判定是否是模式1(S91)。

在步骤S91的判定结果为模式1的情况下，以使始点与终点之间的图像成为怀旧色调、柔焦的方式进行画面处理(S101)。如上所述，模式1是人物向照相机10的相反侧远去的场景，所以，为了成为与该气氛相应的画面，将色调变换为怀旧色调，并且，对画面的对比度进行调整以成为柔焦。另外，也可以是黑白色调来替代怀旧色调，另外，也可以实施其他艺术滤镜来替代柔焦。

另一方面，在步骤S91的判定结果不是模式1的情况下，接着，与步骤S73同样，判定是否是模式2(S93)。在该判定结果为模式2的情况下，以变更脸部下方的衣服部的颜色的方式，在始点与终点之间的图像中进行画面处理(S103)。如上所述，模式2是人物像跳舞那样旋转的场景，所以，为了能够很享受地进行鉴赏，进行改变人物衣服颜色的画面处理。另外，除了改变多个颜色以外，还可以改变图案等来进行欣赏。

在步骤S93的判定结果不是模式2的情况下，接着，与步骤S75同样，判定是否是模式3(S95)。在该判定结果为模式3的情况下，对始点与终点之间的图像实施出现光泽效果的画面处理(S105)。如上所述，模式3是对斜着向上仰望天空的人物进行摄影的场景，所以，为了成为与该气氛相应的画面，赋予使脸部的一部分闪闪发亮的光泽效果。作为该闪闪发亮的光泽处理，进行如下处理：较亮或较暗地显示脸部或附近的若干个像素，使像素的亮度随时间变化。

在步骤S95的判定结果不是模式3的情况下，接着，与步骤S77同样，判定在停止状态下脸部是否朝向正面(S97)。在该判定结果为在停止状态下脸部朝向正面的情况下，接着，对始点与终点之间的图像进行增加明亮度的画面处理(S107)。该情况下，如上所述，例如是向下低头的人物朝向正面微笑的场景。因此，为了与该气氛相应，以成为明亮画面的方式实施画面处理。

另一方面，在步骤S97的判定结果为在停止状态下脸部没有朝向正面的情况下，接着，对始点与终点之间的图像进行降低明亮度的画面处理(S99)。该情况下，例如是朝向正面的人物突然改变表情而向下低头的场景。因此，为了与该气氛相应，以成为沉闷画面的方式，实施降低画面明亮度的画面处理。

在实施步骤S99～S107的画面处理后，返回原来的流程。这样，在效果画面处理的子流程中，与模式化的规定动作对应地进行画面处理，以成为相应的画面。

如上所述，在本发明的一个实施方式中，效果赋予部3b(参照步骤S15、S27、S31、图14的效果画面处理)与由动作分析部3ca(参照步骤S9的轨迹判定、图11)分析的被摄体的运动对应地对图像数据进行效果画面处理。因此，与被摄体的整体运动对应地改变图像处理，能够得到富于变化的图像。即，通过动作分析部3ca中的轨迹判定，能够检测特征性的一连串的动作，能够从摄影图像中分离出进行特征性的一连串的动作的被摄体。考虑进行特征性的一连串的动作的被摄体的运动的开始和停止、大小变化、变化周期，由此，能够通过效果赋予部3b赋予随时间变化的图像处理。在现有的照相机中，在对正在运动的被摄体进行摄影的情况下，为了对其运动进行摄影，只能进行构图(framing)、或对摄影开始结束的时机进行调整，在被摄体的短时间的运动过程中，摄影者不能进行各种照相机操作。如对赛跑这种竞赛进行摄影的情况那样，与长时间进行摄影的情况不同，不可能与人物瞬间作出的动作对应地进行照相机操作。在本实施方式中，即使是这种瞬时的动作，照相机也能够对人物的运动进行分析，能够进行与运动对应的图像处理。

另外，在本发明的一个实施方式中，作为被摄体的规定动作，是将模式1～模式4设为对象，但是，也可以增加除此之外的动作，并且，还可以省略模式1～模式4中的任意模式。

并且，在本发明的一个实施方式中，在判定是否进行了规定动作时，是根据脸部的朝向和头部的大小等进行判定，但不限于此，当然也可以使用手脚的运动等以及脸部的表情等其他信息来进行判定。

另外，在本发明的一个实施方式中，作为效果画面处理，与模式1～模式4对应地设定了不同的效果画面处理，效果画面处理的内容可以适当不同。

并且，另外，在本发明的各个实施方式中，关于摄影用的设备，使用数字照相机进行了说明，但照相机也可以是数字单反照相机、微型数字照相机、摄像机、电影摄影机那样的动态图像用照相机，还可以是内置于便携电话或便携式信息终端(PDA：Personal Digital Assist，个人数字助理)、游戏设备等中的照相机。总之，只要是能够拍摄动态图像的摄影设备，就能应用本发明。

本发明不受上述实施方式的直接限定，在实施阶段，可在不脱离其主旨的范围内对结构要素进行变形而进行具体实现。并且，通过对上述实施方式公开的多个结构要素进行适当组合，可以形成各种发明。例如，可以删除实施方式中示出的全部结构要素中的若干结构要素。并且，也可以对不同实施方式中的结构要素进行适当组合。

Claims (9)

1.一种摄影设备，该摄影设备具有：

摄像部，其对被摄体进行摄像，输出图像数据；

脸部变化判定部，其根据所述图像数据，判定人物图像内的脸部的朝向变化的开始时刻和结束时刻；以及

图像处理部，其根据由所述脸部变化判定部判定的所述开始时刻和所述结束时刻，进行所述图像数据的图像处理；

其中，所述脸部变化判定部对如下情况中的至少一种情况进行判定：（1）将脸部的朝向变化开始时间设为始点，将脸部的大小缩小开始时间设为终点；（2）将脸部的朝向为正面的时间设为始点，将再次为正面的时间设为终点；（3）将脸部的朝向变化开始时间设为始点，将变化停止时间设为终点；（4）将脸部的朝向变化开始时间设为始点，将表情变化停止时间设为终点；（5）将脸部的表情变化停止时间设为始点，将头部的动作停止时间设为终点。

2.根据权利要求1所述的摄影设备，其中，

所述脸部变化判定部还判定所述脸部的大小变化，

所述图像处理部根据所述脸部的大小变化，决定所述图像处理的内容。

3.一种摄影设备，该摄影设备具有：

摄像部，其对被摄体进行摄像，输出动态图像的图像数据；

动作分析部，其根据所述图像数据，对被摄体的动作进行分析；

效果赋予部，其与由所述动作分析部分析的被摄体的动作对应地对所述图像数据进行效果画面处理；

动作始点终点判定部，其根据由所述动作分析部分析的所述被摄体的动作，判定由所述效果赋予部实施效果画面处理的范围；以及

记录部，其记录由所述效果赋予部实施效果画面处理后的图像数据；

其中，所述动作始点终点判定部对如下情况中的至少一种情况进行判定：（1）将脸部的朝向变化开始时间设为始点，将脸部的大小缩小开始时间设为终点；（2）将脸部的朝向为正面的时间设为始点，将再次为正面的时间设为终点；（3）将脸部的朝向变化开始时间设为始点，将变化停止时间设为终点；（4）将脸部的朝向变化开始时间设为始点，将表情变化停止时间设为终点；（5）将脸部的表情变化停止时间设为始点，将头部的动作停止时间设为终点。

4.根据权利要求3所述的摄影设备，其中，

所述效果赋予部针对由所述动作始点终点判定部判定的始点与终点之间的图像数据，实施所述效果画面处理。

5.根据权利要求3所述的摄影设备，其中，

所述动作分析部对脸部的朝向变化、脸部或头部的大小变化、脸部的眼睛鼻子的图案变化中的至少一方进行分析。

6.根据权利要求3所述的摄影设备，其中，

所述动作分析部将所述被摄体的动作分类为预先确定的模式。

7.根据权利要求6所述的摄影设备，其中，

所述效果赋予部与所述动作分析部所分类的模式对应地变更效果画面处理。

8.根据权利要求3所述的摄影设备，其中，

所述动作分析部使用被摄体的人物脸部的朝向和大小中的至少一方，对被摄体的动作进行分析。

9.一种图像数据生成方法，该图像数据生成方法包括以下步骤：

对被摄体进行摄像，输出动态图像的图像数据，

根据所述图像数据，对被摄体的动作进行分析，

根据所述被摄体的动作，判断实施效果画面处理的范围；

对如下情况中的至少一种情况进行判定：（1）将脸部的朝向变化开始时间设为始点，将脸部的大小缩小开始时间设为终点；（2）将脸部的朝向为正面的时间设为始点，将再次为正面的时间设为终点；（3）将脸部的朝向变化开始时间设为始点，将变化停止时间设为终点；（4）将脸部的朝向变化开始时间设为始点，将表情变化停止时间设为终点；（5）将脸部的表情变化停止时间设为始点，将头部的动作停止时间设为终点；

与所述分析的被摄体的动作对应地对所述图像数据的所述始点和终点之间进行效果画面处理，

记录实施所述效果画面处理后的图像数据。

Images