CN105450911B - 图像处理装置、图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置，不使用特殊的设备也能够指定所希望的时刻。拍摄装置(1)具备动态图像取得部(53)、计算处理部(56)、指定区域解析部(57)。动态图像取得部(53)取得连续地拍摄的多个图像。计算处理部(56)计算通过动态图像取得部(53)取得的多个图像间共同的规定的区域内的该多个图像的沿着时间序列的像素值的变动值。指定区域解析部(57)基于通过计算处理部(56)计算出的像素值的变动值，从时间序列中的多个时刻根据规定的基准指定出两个时刻。

Description

图像处理装置、图像处理方法

技术领域

本发明涉及根据多个图像内的像素值的变动，指定对成为特征的时刻进行指定的图像处理装置、图像处理方法。

背景技术

以往，如日本特开2011－30669号公报所记载，已知从对做出一系列的摆动动作的被拍摄体进行拍摄的动态图像的数据指定出碰撞时的图像的装置。

然而，上述的专利文献1所记载的装置中，为了从动态图像的数据指定出一系列的摆动动作中的规定的时刻，需要多普勒传感器这样的特殊的设备。

本发明鉴于这样的状况而完成，其目的在于不使用特殊的设备而能够指定所希望的时刻。

发明内容

一种图像处理装置，其特征在于，具备：

取得连续地拍摄的多个图像的取得单元；

计算在通过上述取得单元取得的多个图像中共同的位置中的、该多个图像的沿着时间序列的像素值的变动值的第一计算单元；以及

基于通过上述第一计算单元计算出的像素值的变动值，从上述时间序列中的多个时刻根据规定的基准指定出两个时刻的第一指定单元。

一种图像处理方法，其特征在于，包含：

取得连续地拍摄的多个图像的取得步骤；

计算通过上述取得步骤取得的多个图像中共同的位置中的、该多个图像的沿着时间序列的像素值的变动值的计算步骤；以及

基于通过上述计算步骤计算出的像素值的变动值，从上述时间序列中的多个时刻根据规定的基准指定出两个时刻的指定步骤。

附图说明

图1是表示本发明的图像处理装置的一实施方式的拍摄装置的硬件的结构的框图。

图2A是用于说明本实施方式的被拍摄体的动作的指定方法的示意图。

图2B是用于说明本实施方式的被拍摄体的动作的指定方法的示意图。

图3是表示从开始位置附近到碰撞位置附近的评价值的时间序列的迁移的曲线。

图4是表示图1的拍摄装置的功能性结构中用于执行动态图像拍摄处理以及摆动动态图像生成处理的功能性结构的功能框图。

图5是说明具有图4的功能性结构的图1的拍摄装置所执行的动态图像拍摄处理的流程的流程图。

图6是说明具有图4的功能性结构的图1的拍摄装置所执行的摆动动态图像生成处理的流程的流程图。

图中：1—拍摄装置，11—CPU，12—ROM，13—RAM，14—总线，15—输入输出接口，16—拍摄部，17—输入部，18—输出部，19—存储部，20—通信部，21—驱动器，31—可移动媒体，51—输出控制部，52—拍摄控制部，53—动态图像取得部，54—指定区域设定部，55—译码处理部，56—计算处理部，57—指定区域解析部，58—动态图像生成部，71—动态图像存储部，72—解析信息存储部。

具体实施方式

以下，使用附图，对本发明的实施方式进行说明。

图1是表示本发明的图像处理装置的一实施方式的拍摄装置的硬件的结构的框图。

拍摄装置1例如构成为数码照相机。

拍摄装置1具备CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、总线14、输入输出接口15、拍摄部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。

CPU11按照记录在ROM12的程序或者从存储部19传到RAM13的程序执行各种处理。

在RAM13也适当地存储有CPU11执行各种处理时所需的数据等。

CPU11、ROM12以及RAM13经由总线14而相互连接。在该总线14还连接有输入输出接口15。在输入输出接口15连接有拍摄部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。

虽未图示，但拍摄部16具备光学透镜部、图像传感器。

光学透镜部由为了拍摄被拍摄体而聚光的透镜例如聚焦透镜、变焦透镜等构成。

聚焦透镜是使被拍摄体像在图像传感器的受光面上成像的透镜。变焦透镜是能够使焦距在一定的范围内自如地变化的透镜。

在光学透镜部还根据需要，设置有对焦点、曝光、白平衡等的设定参数进行调整的周边电路。

图像传感器由光电转换元件、AFE(Analog Front End)等构成。

光电转换元件例如由CMOS(Complementary Metal Oxide Semiconductor)型的光电转换元件等构成。在光电转换元件上，从光学透镜部入射被拍摄体像。因此，光电转换元件将被拍摄体像进行光电转换(拍摄)而将图像信号积蓄一定时间，将积蓄的图像信号作为模拟信号顺次供给至AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital)转换处理等的各种信号处理。通过各种信号处理，生成数字信号，作为拍摄部16的输出信号输出。

以下将这样的拍摄部16的输出信号称为“拍摄图像的数据”。拍摄图像的数据适当地供给至CPU11等。

输入部17由各种按钮等构成，按照用户的指示操作输入各种信息。

输出部18由显示器、扬声器等构成，输出图像、声音。

存储部19由硬盘或者DRAM(Dynamic Random Access Memory)等构成，存储各种图像的数据。

通信部20控制经由包含因特网的网络而与其他的装置(未图示)之间进行的通信。

在驱动器21适当地安装有由磁盘、光盘、光磁盘或者半导体存储器等构成的可移动媒体31。

通过驱动器21而从可移动媒体31读取的程序根据需要而安装于存储部19。

另外，可移动媒体31也能够将存储于存储部19的图像的数据等的各种数据与存储部19相同地存储。

这样构成的拍摄装置1中，具有对包含被拍摄体的动作(本实施方式中，高尔夫球的摆动)的动画进行解析，从而能够生成由规定的动作的期间(本实施方式中，从摆动的开始位置至碰撞位置的期间)形成的动画(本实施方式中，摆动动画)的功能。

图2是用于说明本实施方式的被拍摄体的动作的指定方法的示意图。此外，图2A是用于说明对进行摆动的被拍摄体从正面拍摄的情况的图。

图2B是用于说明对进行摆动的被拍摄体从侧方拍摄的情况的图。

本实施方式中，如图2A以及图2B所示，在摆动的开始后和碰撞前高尔夫球球杆(详细而言，高尔夫球球杆的头)通过的位置上设置有用于指定对动态图像数据中的高尔夫球的摆动的刚开始之后的时刻和刚要碰撞之前的时刻进行指定的区域(以下，称为“指定区域”。)H1、H2。

高尔夫球的摆动中，需要考虑从与摆动的开始位置(地址位置)对应的时刻到与碰撞位置对应的时刻为止的期间，摆动成为往复运动。

在成为处理的对象的动态图像数据的帧中的开始位置至碰撞位置之间设置指定区域H1、H2，从而能够在各指定区域H1、H2中得到高尔夫球球杆的摆动的刚开始之后和刚要碰撞之前的计2次的指定机会。

通过该结构，与仅碰撞时刻指定进行1次指定的技术相比能够减少误指定。

这里，对高尔夫球球杆存在于指定的区域的帧图像数据的指定处理进行说明。

指定区域中存在高尔夫球球杆的帧图像数据的指定，通过对构成动态图像数据的多个帧图像数据之间相邻的帧图像数据间进行比较，对高尔夫球球杆不存在于指定的区域的状态的帧图像数据和高尔夫球球杆存在于指定的区域的状态的帧图像数据的像素值的变化进行指定来进行。

即，在相邻的帧图像数据中的各指定区域间的各像素值的差值的总计在阈值以上的情况下，能够推断为在与该总计成为阈值以上的时刻对应的帧图像数据的指定区域存在高尔夫球球杆。

详细而言，本实施方式中，在作为指定区域的亮度值的像素值的差值即平方差之和(SSD：Sum of Squared Differences)(以下，称为“评价值”。)在阈值以上的情况下，将与该评价值成为阈值以上的时刻对应的帧图像数据推断为高尔夫球球杆存在于指定区域的帧图像数据的候补。

此外，在本实施方式中，阈值根据将在指定区域不存在高尔夫球球杆的状态下计算出的差值以规定的期间计算出的平均值而决定。

图3是表示从开始位置附近到碰撞位置附近的评价值的时间序列的迁移的曲线。

一般来说，在拍摄范围的开始位置到碰撞位置之间设置有指定区域的情况下，在高尔夫球摆动的开始位置附近到碰撞位置附近，如图3所示，由于在图像中产生的干扰，相邻的帧图像数据之间的评价值成为阈值以上的时刻到刚要成为小于阈值前的时刻为止的期间(以下，称为“区间”。)存在多个。

指定区域在本实施方式中设定在摆动的开始位置附近到碰撞位置附近的之间。

从多个区间指定的两个区间分别表示开始位置的紧后的区间和碰撞位置的紧前的区间。

因此，在与开始位置附近对应的帧图像数据和与碰撞位置附近对应的帧图像数据之间的帧图像数据群中，通过在指定的两个区间中，从代表前面的区间的时刻(例如，前面的区间中的评价值最高的时刻)的规定时间前开始到从代表后面的区间的时刻(前面的区间中的评价值最高的时刻)经过规定时间为止，将帧图像数据群作为所希望的动态图像数据抽取，分别对应于开始位置和碰撞位置的帧图像数据将包含于所希望的动态图像数据。

另外，代表开始位置的紧后的区间的时刻和代表碰撞位置的紧前的时刻不限于在各个区间中评价值最高的时刻，可以是各个区间中的中央的时刻，也可以是构成各区间的前后端的任意的时刻。

更详细而言，为了指定本实施方式的开始位置附近的时刻和碰撞位置附近的时刻的指定，将从成为阈值以上的时刻到刚要成为小于阈值之前的时刻为止的区间的评价值累计，从而计算出相当于区间的面积的累计值。

然后，对指定多个区间中的累计值为第一、二、宽度在规定的范围内、并且累计值收敛于规定的范围以内的区间进行指定。

再有，在代表累计值为第一、二的区间的时刻之间的期间(例如，第一区间的评价值最高的时刻到第二区间的评价值最高的时刻为止的期间)为在规定的期间内的期间的情况下，指定的两个区间中，将与第一区间的评价值最高的时刻对应的帧图像数据决定为与开始位置紧后的时刻对应的帧图像数据。

再有将与第二区间的评价值最高的时刻对应的帧图像数据决定为碰撞位置紧前的帧图像数据。

这样本实施方式中，将开始位置紧后的帧图像数据和碰撞位置紧前的帧图像数据作为基准，提取从开始位置紧后的帧图像数据的规定时间前的帧图像数据到碰撞位置紧前的帧图像数据规定时间后为止的帧图像数据，生成动态图像数据。

其结果，生成拍摄了从开始位置到碰撞位置为止的摆动的摆动动画数据。

此外，本实施方式中，对于摆动动态图像数据的抽取对象的动态图像数据按数帧进行译码处理。

译码处理的期间，进行与开始位置紧后以及碰撞位置紧前对应的各时刻的指定的处理。

以下，将进行了译码处理了动态图像数据的帧图像也称为译码图像。

图4是表示这样的拍摄装置1的功能性结构中，用于执行动态图像拍摄处理以及摆动动态图像生成处理的功能性结构的功能框图。

“动态图像拍摄处理”是指对成为由摆动动态图像生成处理而得到的摆动动态图像数据的抽取对象的动态图像数据进行拍摄的一系列的处理。

“摆动动态图像生成处理”是指以动画解析的结果、分别与指定的摆动的开始位置附近的时刻和碰撞位置附近的时刻对应的译码图像为基准抽取动态图像数据。

再有，是生成包含与开始位置对应的时刻和与碰撞位置对应的时刻的帧图像数据各个的摆动动态图像数据的一系列的处理。

拍摄装置1中，首先，通过动态图像拍摄处理，对成为摆动动态图像数据的抽取对象的动态图像数据进行拍摄，接着，执行摆动动态图像生成处理来从抽取对象的动态图像数据生成摆动动态图像数据。

如图4所示，在执行动态图像拍摄处理的情况下，CPU11中，输出控制部51、拍摄控制部52、动态图像取得部53发挥功能。

另外，在存储部19的一区域设定有动态图像存储部71和解析信息存储部72。

在动态图像存储部71存储有从拍摄部16取得的动态图像数据。

在解析信息存储部72为了拍摄适合摆动动画的生成的动画而存储有在拍摄时成为被拍摄体的对准的指示的引导(以下，称为“拍摄引导”。)、开始位置、碰撞位置的时刻的候补的指定中所使用的后述的累计值、后述的峰值评价值、后述的区间的时间段的信息。

这里，拍摄引导例如在实时取景图像上显示模仿在图2所示的半透明的开始位置的姿势的人型F1、F2、指定区域H1、H2。

此外，拍摄引导可以不显示指定区域而只显示人型，也可以只显示指定区域。

输出控制部51控制输出部18，以使显示实时取景图像的同时，在实时取景图像上显示存储于解析信息存储部72的拍摄引导(参照图2)。

其结果，在输出部18显示实时取景图像和该实时取景图像上的拍摄引导。

用户以将映射于该实时取景图像的被拍摄体位于与拍摄引导的人型一致的位置的方式决定拍摄位置。

拍摄控制部52控制拍摄部16进行拍摄处理。

拍摄处理的结果，从拍摄部16顺次输出帧图像数据，将输出的多个帧图像数据通过规定的压缩处理成为动态图像数据从而输出一个动态图像数据。

动态图像取得部53取得从拍摄部16输出的动画。取得的动态图像数据存储于动态图像存储部71。

在执行摆动动态图像生成处理的情况下，如图4所示，CPU11中，动态图像取得部53、指定区域设定部54、译码处理部55、计算处理部56、指定区域解析部57、动态图像生成部58发挥功能。

另外，在存储部19的一区域设定有动态图像存储部71、解析信息存储部72。

在动态图像存储部71存储生成的摆动动态图像数据。

在解析信息存储部72存储例如与指定区域相关的信息(以下，称为“指定区域信息”。)、计算出的累计值等的动态图像数据的解析的信息。

与指定区域有关的信息是与动态图像数据中的指定区域的设定位置、用于设定作为拍摄场景的指定的拍摄场景的拍摄条件的BS(最佳拍摄)场景、与作为摆动动画数据的生成对象的人物为左撇子的情况对应的左撇子设定、按照表示动画的拍摄方向(纵拍摄、横拍摄)的动画的旋转角度而变化的指定区域的位置和形状有关的信息。

动态图像取得部53从动态图像存储部71取得用于摆动动画的生成的动态图像数据。

指定区域设定部54基于存储于解析信息存储部72的指定区域信息，在与由动态图像取得部53取得的动态图像数据的各帧对应的译码图像的规定位置(在正面拍摄的情况下，如图2A所示，地址姿势的被拍摄体的后摆杆方向侧的侧方位置)设定指定区域。

另外，指定区域设定部54设定BS场景或者作出左撇子设定，并按照纵拍摄、横拍摄的动画的旋转角度，基于存储于解析信息存储部72的指定区域信息，变更指定区域的位置、形状来设定指定区域。

译码处理部55对成为解析对象的动态图像数据的帧进行译码来输出译码图像。

具体而言，译码处理部55为了计算阈值，对解析对象的动态图像数据的前端部分(对不进行摆动、在指定区域没有高尔夫球球杆等的状态的进行部分)的规定期间的帧(本实施方式中为5帧)进行译码处理来输出译码图像。

另外，译码处理部55进行分别与开始位置附近和碰撞位置附近对应的时刻的指定。

将为了用于判定指定区域的干扰的阈值的计算而使用的帧以外的全部的帧作为译码处理的对象，在每次处理时进行译码。

计算处理部56将相邻的译码图像数据中的各指定区域间的各像素值的平方差之和作为评价值计算。

具体而言，计算处理部56计算规定的期间(本实施方式中为5帧)中相邻的译码图像数据中的指定区域间的亮度值的平方差之和的各个的代表值(例如，平均值、中央值等)。

计算出的代表值成为用于判定指定区域的干扰的阈值。计算出的阈值存储于解析信息存储部72。

另外，计算处理部56通过计算相邻的译码图像数据(最近译码的译码图像数据和该最近的译码图像数据前一个译码的译码图像数据)中的各指定区域间的各像素值的平方差之和，从而计算评价值。

而且，指定区域解析部57对阈值和计算出的评价值进行比较，在评价值为阈值以上的情况下，将最近的译码图像的评价值与前一个译码图像的评价值累计并计算累计值。

指定区域解析部57对摆动的刚开始之后的时刻(以下，称为“第一基准时刻”。)和摆动的刚要碰撞之前的时刻(以下，称为“第二基准时刻”。)的候补进行指定并取得。

详细而言，指定区域解析部57指定两个区间，这两个区间评价值成为阈值以上的时刻到刚要成为小于阈值之前的时刻为止的区间的累计值为一定值以上，且区间的宽度在规定的范围内、该区间的累计值为规定的范围以内。

通过这样处理，能够将短时间超过图3所示的阈值而评价值低的区间、短时间超过阈值而评价值高的区间(短期间且陡峭的区间)、长时间评价值低的区间从指定对象排除。

而且，指定区域解析部57判定分别属于指定的两个区间的值的最高的评价值(以下，称为“峰值评价值”。)的期间(或者从峰值评价值所属的累计值的评价值成为阈值以上的时刻到刚要成为小于阈值之前的时刻为止的期间)是否在规定的期间内，并进行第一基准时刻以及第二基准时刻的指定。之后，将与符合条件的两个峰值评价值对应的各时刻作为第一基准时刻以及第二基准时刻的候补，存储于解析信息存储部72。

(即，指定的第一基准时刻以及第二基准时刻的候补的条件需要以下四个条件，1：各区间的累计值在一定值以上，2：各区间的宽度在规定的范围内，3：各区间的累计值在规定的范围内，4：与各区间的峰值评价值对应的时刻间的宽度在规定的期间内。)

此时，在不是符合候补的条件的两个峰值评价值的情况下，不会将与该两个峰值评价值对应的各时刻作为第一基准时刻以及第二基准时刻的候补。

即，在对于暂定的累计值的上位一位和二位进行候补的指定的结果，不包含符合候补的条件的两个峰值评价值的情况下，进行接下来的三位和四位候补的指定。

另外，本实施方式中，进行缓冲和排序，每个处理顺次替换候补，因此指定区域解析部57不保持与候补选择有关的数据(累计值、峰值评价值、区间的时间段)以外的数据而顺次进行候补的数据的存储、更新。

动态图像生成部58对指定的第一基准时刻以及第二基准时刻间的帧图像数据分别设置数帧的余量(第一基准时刻的情况下，将比该第一基准时刻数帧前的帧到该第一基准时刻的紧前的帧为止作为余量，第二基准时刻的情况下，将从该第二基准时刻的后一个帧到该第二基准时刻的数帧后为止的帧作为余量)来生成摆动动画数据。

其结果，生成包含开始位置的时刻的帧图像数据到碰撞位置的时刻的帧图像数据的摆动动态图像数据。

图5是说明具有图4的功能性结构的图1的拍摄装置1执行的动态图像拍摄处理的流程的流程图。

动态图像拍摄处理通过用户对输入部17的动态图像拍摄处理开始的操作来开始。

步骤S11中，以显示实时取景图像的同时，在该实时取景图像上显示存储于解析信息存储部72的拍摄引导的方式控制输出部18。其结果，在输出部18显示实时取景图像和该实时取景图像上的图2所示的拍摄引导。

用户以使映射于该实时取景图像的被拍摄体位于与拍摄引导的人型一致的位置的方式决定拍摄位置。

步骤S12中，拍摄控制部52判定是否有用户对输入部17进行了拍摄操作。

在没有拍摄操作的情况下，在步骤S12中判定为NO，成为待机状态。

在有拍摄操作的情况下，在步骤S12中判定为YES，处理进入步骤S13。

在步骤S13中，拍摄控制部52控制拍摄部16进行拍摄处理。

拍摄处理的结果，从拍摄部16顺次输出帧图像数据，将输出的多个帧图像数据以规定的压缩形式压缩从而输出一个动态图像数据。

步骤S14中，动态图像取得部53取得从拍摄部16输出的动态图像数据。取得的动态图像数据存储于动态图像存储部71。

之后，动态图像拍摄处理结束。

图6是说明具有图4的功能性结构的图1的拍摄装置1执行的摆动动态图像生成处理的流程的流程图。

摆动动态图像生成处理通过用户对输入部17的摆动动态图像生成处理开始的操作来开始。

步骤S31中，从动态图像存储部71取得用于摆动动画数据的生成的动态图像数据。

步骤S32中，指定区域设定部54基于存储于解析信息存储部72的指定区域信息，在通过动态图像取得部53取得的动画的规定位置设定指定区域。

此时，指定区域设定部54设定BS场景或者作出左撇子设定，或者按照通过纵拍摄、横拍摄拍摄的动态图像数据的旋转角度，基于存储于解析信息存储部72的指定区域信息，变更指定区域的位置、形状来设定指定区域。

步骤S33中，译码处理部55将用于计算阈值的解析对象的动态图像数据的规定期间的帧作为译码的对象执行动画译码处理。

步骤S34中，计算处理部56将规定的期间(本实施方式中为5帧)相邻的译码图像数据中的指定区域间的亮度值的平方差之和的各个的代表值作为阈值来计算。

详细而言，将规定的期间(本实施方式中为5帧)的期间相邻的译码图像数据中的指定区域间的平方差之和的代表值(例如，平均值、中央值等)作为该指定区域的阈值来计算。

计算出的阈值存储于解析信息存储部72。

步骤S35中，译码处理部55将成为用于指定第一基准时刻以及第二基准时刻的解析对象的帧图像数据作为译码的对象执行动画译码处理。

具体而言，译码处理部55为了计算出考虑了指定区域内的图像的干扰的阈值，对动画的前端部分(对不进行摆动、在指定区域不存在高尔夫球球杆等的状态进行拍摄的部分)的规定期间的帧图像数据进行译码来输出译码图像。

步骤S36中，计算处理部56将进行了译码处理的相邻的译码图像数据(最近的译码图像数据和该最近的译码图像数据的前一个译码的译码图像数据)中的指定区域间的平方差之和作为评价值计算。

步骤S37中，指定区域解析部57判定评价值是否比存储于解析信息存储部72的阈值大。

在评价值比阈值小的情况下，在步骤S37中判定为NO，处理进入步骤S39。步骤S39以后的处理在后叙述。

在评价值比阈值大的情况下，在步骤S37中判定为YES，处理进入步骤S38。

步骤S38中，计算处理部56将评价值累计。详细而言，计算处理部56通过计算相邻的译码图像数据中的各指定区域间的各像素值的平方差之和来计算评价值。

之后，处理进入步骤S41。步骤S41以后的处理在后叙述。

步骤S39中，计算处理部56判定评价值是否被累计。

在评价值没有被累计的情况下，步骤S39中判定为NO，处理进入步骤S41。

在评价值被累计的情况下，步骤S39中判定为YES，处理进入步骤S40。

步骤S40中，指定区域解析部57进行缓冲处理和排序处理，对与第一基准时刻以及第二基准时刻的候补对应的峰值评价值进行指定并取得。

而且，在与候补的条件一致的情况下，使解析信息存储部72存储该峰值评价值、该峰值评价值被指定的累计值、该峰值评价值被计算的区间的时间段。

第一基准时刻以及第二基准时刻的帧图像数据的候补的指定是指定两个区间，这两个区间累计值在一定值以上、宽度在规定的范围内、并且累计值在规定的范围以内。

判定属于该指定的两个区间的峰值评价值是否在规定的期间内，将与符合候补的条件的两个峰值评价值对应的各时刻作为第一基准时刻以及第二基准时刻的候补，存储到解析信息存储部72。

此时，在不是符合候补的条件的两个峰值评价值的情况下，不作为用于抽取摆动动态图像数据的第一基准时刻以及第二基准时刻的候补。

即，在对于暂定的累计值的上位一位和二位进行候补的指定的结果，不包含符合候补的条件的两个峰值评价值的情况下，进行接下来的三位和四位候补的指定。

另外，已经有第一基准时刻以及第二基准时刻的候补的情况下，进一步进行符合条件的各基准时刻的候补的指定。

即，在步骤S40中没有发现第一基准时刻以及第二基准时刻的候补的情况下，再次，从步骤S35进行动画译码处理，放弃成为峰值候补点以外的评价值的信息，并将新译码的帧间(新译码图像间)的评价值的累计值存储，从而重新在步骤S40中进行对第一基准时刻以及第二基准时刻的候补进行指定的处理。

而且，顺次进行如下处理，将进行累计的区间的累计值在一定值以上、宽度在规定的范围内、并且累计值在规定的范围内的区间所属的峰值评价值的间隔收敛于规定的期间两个时刻作为第一基准时刻以及第二基准时刻的候补，并将指定该第一基准时刻以及第二基准时刻的候补的信息(峰值评价值、累计值、区间的时间段)临时存储、顺次更新。

最终，全部的译码图像的解析结束时存储的两个时刻成为第一基准时刻以及第二基准时刻。

步骤S41中，指定区域解析部57判定全部的译码图像的解析是否结束。

在全部的译码图像的解析未结束的情况下，步骤S41中判定为NO，处理返回步骤S35。

全部的译码图像的解析结束的情况下，步骤S41中判定为YES，处理进入步骤S42。

步骤S40中进行条件的判定来决定候补，步骤S42中，指定区域解析部57判定是否有第一基准时刻以及第二基准时刻的候补。

在没有候补的情况下，步骤S42中判定为NO，结束摆动动态图像生成处理。

即，没有候补则第一基准时刻以及第二基准时刻不能指定所以不进行摆动动态图像的生成。

在有候补的情况下，步骤S42中判定为YES，处理进入步骤S43。

步骤S43中，动态图像生成部58根据通过动态图像取得部53取得的动态图像数据，设置指定的第一基准时刻以及第二基准时刻的前后数帧的余量来抽取帧图像数据，由此生成摆动动画数据。其结果，生成从摆动的开始的时刻到碰撞的时刻为止的摆动动画数据。

之后，摆动动态图像生成处理结束。

＜变形例＞

在上述的实施方式中，将第一基准时刻以及第二基准时刻的候补的取得构成为顺次进行译码和评价值的计算并进行缓冲，然而本例中，构成为对根据全部的译码图像计算出的动态图像数据全部的评价值进行排序处理。

此时，首先，将峰值评价值高的两个累计值(上位二位的峰值评价值所属的累计值)作为候补的指定对象，在该上位二位的峰值评价值所属的累计值不符合候补的条件的情况下，将接下来将峰值评价值高的两个累计值(上位三位四位的峰值评价值所属的累计值)作为候补的指定对象。

此外，虽然构成为在上位二位的峰值评价值所属的累计值不符合候补的条件的情况下，将上位三位四位的峰值评价值所属的累计值作为接下来的候补的指定对象，然而也可以构成为顺次顺位地将二位的峰值评价值所属的累计值和三位的峰值评价值所属的累计值作为接下来的候补的指定对象，也可以构成为相对于一个峰值评价值所属的累计值，将其他的全部的累计值作为候补的指定对象，如果不符合条件则以下一顺位进行候补的指定。

如上构成的拍摄装置1具备动态图像取得部53、计算处理部56、指定区域解析部57。

动态图像取得部53取得连续地拍摄的多个图像。

计算处理部56计算出通过动态图像取得部53取得的多个图像间共同的规定的区域内的、该多个图像的沿着时间序列的像素值的变动值。

指定区域解析部57基于通过计算处理部56计算出的像素值的变动值，从时间序列中的多个时刻，根据规定的基准指定两个时刻。

由此，拍摄装置1中，不使用特殊的设备也能够指定所希望的时刻。

指定区域解析部57基于通过计算处理部56计算出的像素值的变动值，将沿着时间序列的像素值的变动值成为规定的阈值以上的多个区间作为多个时刻指定。

计算处理部56计算通过指定区域解析部57指定的多个区间的各评价值。

另外，指定区域解析部57基于通过计算处理部56计算出的多个区间的各评价值，从该多个区间选择两个区间。

另外，指定区域解析部57指定与通过指定区域解析部57选择的两个区间分别对应的两个时刻。

由此，拍摄装置1中，通过仅进行图像解析，即使不使用特殊的设备也能够指定所希望的时刻。

指定区域解析部57选择多个区间的评价值按照规定的顺序高的两个区间。

由此，拍摄装置1中，能够以高精度指定所希望的时刻。

指定区域解析部57从多个区间的评价值选择具有上位两个评价值的两个区间。

由此，拍摄装置1中，能够以更高精度指定所希望的时刻。

指定区域解析部57判定与两个区间分别对应的两个时刻间的长度是否在规定的范围内，如果在规定的范围内，则选择该两个图像间的多个图像。

由此，拍摄装置1中，能够以更高精度指定所希望的时刻。

另外，计算处理部56将连续地拍摄的多个图像中的一部分的区间的规定的区域内的像素值的评价值作为规定的阈值计算。

由此，拍摄装置1中，能够以更高精度指定所希望的时刻。

此外，本发明并不限定于上述的实施方式，能够实现本发明的目的的范围内的变形、改进等包含于本发明。

上述的实施方式中，构成为在开始/碰撞位置的时刻的候补的指定中，将构成累计值的评价值中值最高的评价值作为峰值评价值来作为判定的对象，不符合条件的情况下，对于下一个累计值，进行开始/碰撞位置的时刻的候补的指定，但也可以构成为在以值最高的评价值不符合条件的情况下，将下一个高的值作为峰值评价值来作为判定的对象而再次进行指定。

另外，上述的实施方式中，构成为进行全部的译码图像的解析，并指定开始/碰撞位置，然而也可以构成为在有满足条件的峰值的情况下，结束开始/碰撞位置的指定，进行摆动动画的生成。

另外，上述的实施方式中，构成为生成开始位置至碰撞位置为止的摆动动画，然而也可以构成为加上从指定的位置(开始位置·碰撞位置)预测的动作的时间，例如，生成开始位置至结束位置为止的摆动动画、碰撞位置前后的摆动动画等的规定的区间的摆动动画。

另外，上述的实施方式中，使用以拍摄引导为指示进行拍摄的动画，生成摆动动画，然而也可以构成为使用以从正面或后方包含指定区域的方式进行了拍摄的动画来生成摆动动画。

另外，上述的实施方式中，对高尔夫球的摆动动作的指定进行了说明，然而只要是通过指定的区域的规定的动作就可以适用。

另外，对有规定的往复动作的运动的摆动，例如，棒球的击球的动作、足球的踢球的动作、剑术的竹剑的动作特别有效地发挥功能。

另外，上述的实施方式中，适用本发明的拍摄装置1以数码照相机为例进行了说明，然而不特别限定于此。

例如，本发明能够适用于一般的具有摆动动态图像生成处理功能的电子设备。具体而言，例如，本发明能够适用于笔记本型的个人计算机、打印机、电视显像机、录像机、便携式导航装置、移动电话机、智能手机、便携式游戏机等。

上述的一系列的处理能够由硬件执行，也能够由软件执行。

换言之，图4的功能性结构只是例示，并不特别限定。即，拍摄装置1具备能够将上述的一系列的处理作为整体执行的功能即可，为了实现该功能使用什么样的功能模块并不特别限定于图4的例子。

另外，一个功能模块可以以硬件单体构成，也可以以软件单体构成，也可以以它们的组合构成。

通过软件执行一系列的处理的情况下，构成该软件的程序从网络、记录媒体安装到计算机等。

计算机也可以是嵌入于专用的硬件的计算机。另外，计算机也可以是安装各种程序从而能够执行各种功能的计算机，例如通用的个人计算机。

包含这样的程序的记录媒体为了向用户提供程序不仅由与装置主体分开配置的图1的可移动媒体31构成，也可以由预先设置于装置主体的状态下向用户提供的记录媒体等构成。

可移动媒体31例如由磁盘(包含软盘)、光盘或者光磁盘等构成。光盘例如由CD－ROM(Compact Disk－Read Only Memory)，DVD(Digital Versatile Disk)，Blu－ray(注册商标)Disk(蓝光盘)等构成。

光磁盘由MD(Mini－Disk)等构成。另外，在预先设置于装置主体的状态下向用户提供的记录媒体例如由记录有程序的图1的ROM12、包含于图1的存储部19的硬盘等构成。

此外，本说明书中，记述记录在记录媒体的程序的步骤不仅包含沿着其顺序按时间序列进行的处理，也包含不一定按照时间序列处理而是并列地或者分别独立地执行的处理。

以上，说明了本发明的几个实施方式，然而这些实施方式只是例示，不限定本发明的技术的范围。

本发明能够采用其他的各种实施方式，并且，在不脱离本发明的要旨的范围内，能够进行省略或置换等各种变更。

这些实施方式和其变形包含于本说明书等记载的发明的范围和要旨，并且包含于权利要求的范围记载的发明和其等同的范围。

Claims (14)

1.一种图像处理装置，其特征在于，具备：

取得连续地拍摄的多个图像的取得单元；

计算在通过上述取得单元取得的多个图像中共同的位置中的、该多个图像的沿着时间序列的像素值的变动值的第一计算单元；

计算通过上述第一计算单元计算出的像素值的变动值成为规定的阈值以上的多个区间的各代表值的第二计算单元；以及

基于通过上述第二计算单元计算出的代表值，从上述时间序列中的多个时刻根据规定的基准指定出两个时刻的第一指定单元。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述第一计算单元计算在通过上述取得单元取得的多个图像中共同的上述位置的规定的区域内的、该多个图像的沿着时间序列的像素值的变动值。

3.根据权利要求1或2所述的图像处理装置，其特征在于，还具备：

基于通过上述第二计算单元计算的多个区间的各代表值，从该多个区间选择两个区间的选择单元，

上述第一指定单元对分别与通过上述选择单元选择的两个区间对应的上述两个时刻进行指定。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述第二计算单元根据成为规定的阈值以上的区间内的上述像素值的变动值的累计值计算出上述多个区间的各代表值。

5.根据权利要求4所述的图像处理装置，其特征在于，

上述选择单元选择上述多个区间的代表值按规定的顺序高的两个区间。

6.根据权利要求5所述的图像处理装置，其特征在于，

上述选择单元从上述多个区间的代表值中选择具有上位两个代表值的两个区间。

7.根据权利要求6所述的图像处理装置，其特征在于，

上述选择单元判定与上述两个区间分别对应的两个时刻间的长度是否落入规定的范围内，如果落入规定的范围内，则选择该两个图像间的多个图像。

8.根据权利要求7所述的图像处理装置，其特征在于，

还具备对通过上述选择单元选择的该两个图像间的多个图像进行合成而生成新的图像的生成单元。

9.根据权利要求3所述的图像处理装置，其特征在于，

还具备计算上述连续地拍摄的多个图像中的一部分的区间的上述规定的区域内的像素值的代表值作为上述规定的阈值的第三计算单元。

10.根据权利要求9所述的图像处理装置，其特征在于，

上述第三计算单元计算在连续地拍摄了被拍摄体的动作的多个图像中共同的规定的位置中的、该多个图像的动作引起的像素值的变动值。

11.根据权利要求1所述的图像处理装置，其特征在于，

还具备设定多个通过上述取得单元取得的多个图像中共同的上述规定的区域的区域设定单元。

12.根据权利要求11所述的图像处理装置，其特征在于，

区域设定单元在通过上述取得单元取得的多个图像中共同的位置设定多个上述规定的区域。

13.一种图像处理方法，其特征在于，包含：

取得连续地拍摄的多个图像的取得步骤；

计算通过上述取得步骤取得的多个图像中共同的位置中的、该多个图像的沿着时间序列的像素值的变动值的第一计算步骤；

计算通过上述第一计算步骤计算出的像素值的变动值成为规定的阈值以上的多个区间的各代表值的第二计算步骤；以及

基于通过上述第二计算步骤计算出的代表值，从上述时间序列中的多个时刻根据规定的基准指定出两个时刻的指定步骤。

14.一种存储有执行下述步骤的程序的存储介质，其特征在于，所述步骤包含：

取得连续地拍摄的多个图像的取得步骤；

计算通过上述取得步骤取得的多个图像中共同的位置中的、该多个图像的沿着时间序列的像素值的变动值的第一计算步骤；

计算通过上述第一计算步骤计算出的像素值的变动值成为规定的阈值以上的多个区间的各代表值的第二计算步骤；以及

基于通过上述第二计算步骤计算出的代表值，从上述时间序列中的多个时刻根据规定的基准指定出两个时刻的指定步骤。