CN104519278B - 图像处理装置、图像处理方法以及记录介质 - Google Patents

Abstract

本发明提供一种图像处理装置以及图像处理方法。图像处理装置具备摄像装置(100)、图像获取部(5a)、区域设定部(5b)、图像确定部(5f)。图像获取部(5a)获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组。区域设定部(5b)在第1图像组的各个图像的多个规定位置处设定区域。图像确定部(5f)基于所设定的多个区域的各个区域中的所述多个图像间的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。

Description

图像处理装置、图像处理方法以及记录介质

技术领域

本发明涉及从多个图像中确定与规定的时间点相关联的图像的图像 处理装置以及图像处理方法。

背景技术

在现有技术中，在JP特开2011-30669号公报中，根据拍摄了正进 行一系列挥杆动作的人物的运动图像的数据来确定击球时的图像的技术 是已知的(例如，参照专利文献1)。具体来说，该装置基于由多普勒传 感器检测到位置的球的速度的测量所花费的处理时间，根据环形缓冲区中 存储的运动图像的数据来确定击球时的图像。

但是，上述专利文献1的情况下，为了在运动图像的数据之中确定一 系列挥杆动作中的规定的瞬间的图像而需要多普勒传感器这样特殊的设 备。

发明内容

本发明鉴于这样的问题而形成，本发明的课题在于提供不使用特殊的 设备就能够确定希望的图像的图像处理装置、图像处理方法以及程序。

本发明提供一种图像处理装置，其特征在于，包括：获取部件，其获 取与连续地拍摄了对象物的动作的多个图像相关的第1图像组；区域设定 部件，其在由上述获取部件获取到的第1图像组的各个图像的多个规定位 置处设定多个区域；和确定部件，其基于由上述区域设定部件设定的多个 区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述 多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相 关。

本发明还提供一种使用图像处理装置的图像确定方法，其特征在于，包括：获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组的处理；在获取到的第1图像组的各个图像的多个规定位置处设定区域的处 理；和基于所设定的上述多个区域的各个区域中的像素值在上述多个图像 间的变化确定第2图像组的处理，其中，该第2图像组与上述多个图像之 中、上述对象物的动作中规定的时间点所关联的多个图像相关。

附图说明

图1是表示应用了本发明的一实施方式的摄像装置的概略构成的方 框图。

图2是表示图1的摄像装置的摄像处理涉及的动作的一例的流程图。

图3是表示图2的摄像处理中的图像确定处理涉及的动作的一例的流 程图。

图4是示意性表示图2的摄像处理涉及的实时取景图像的一例的图。

图5是示意性表示图2的摄像处理涉及的运动图像的一例的图。

图6A是示意性表示图3的图像确定处理涉及的帧图像的一例的图。

图6B是示意性表示图3的图像确定处理涉及的帧图像的一例的图。

图6C是示意性表示图3的图像确定处理涉及的帧图像的一例的图。

具体实施方式

以下，针对本发明使用附图说明具体的方式。其中，发明的范围不限 定于图示例。

图1是表示应用了本发明的一实施方式的摄像装置100的概略构成的 方框图。

如图1所示，本实施方式的摄像装置100具备：中央控制部1、存储 器2、摄像部3、图像数据生成部4、图像处理部5、图像记录部6、显示 部7、操作输入部8。

此外，中央控制部1、存储器2、摄像部3、图像数据生成部4、图像 处理部5、图像记录部6以及显示部7经由总线9相连接。

中央控制部1对摄像装置100的各部分进行控制。具体来说，虽然省 略图示，但中央控制部1具备CPU(Central Processing Unit)、RAM (Random Access Memory)、ROM(ReadOnly Memory)，并按照摄像装 置100用的各种处理程序(省略图示)进行各种控制动作。

存储器2例如由DRAM(Dynamic Random Access Memory)等构成， 暂时存储由中央控制部1、图像处理部5等各部分处理的数据等。

摄像部3拍摄背景内存在的对象物(例如，高尔夫球杆的球杆头C； 参照图4)。具体来说，摄像部3具备：透镜部3a、电子摄像部3b、摄像 控制部3c。

透镜部3a例如由变焦透镜、聚焦透镜等多个透镜构成。

电子摄像部3b例如由CMOS(Complementary Metal-oxide Semiconductor)、CCD(Charge Coupled Device)等图像传感器构成，将 通过透镜部3a的各种透镜后而成的光学像变换为二维图像信号。

另外，虽然省略图示，但是摄像部3也可以具备对通过透镜部3a的 光的量进行调整的光圈。

摄像控制部3c对摄像部3进行的对象物的拍摄进行控制。即，虽然 省略图示，但摄像控制部3c具备定时发生器、驱动器等。并且，摄像控 制部3c通过定时发生器、驱动器来驱动电子摄像部3b，按每个规定周期 通过电子摄像部3b将光学像变换为二维图像信号。并且，摄像控制部3c 从该电子摄像部3b的拍摄区域中1个画面1个画面地读出帧图像数据并将帧图像数据输出至图像数据生成部4。

图像数据生成部4在对从电子摄像部3b转送来的帧图像数据的模拟 值信号按RGB各个颜色分量适当地进行增益调整后，由采样保持电路(省 略图示)采样保持并由A/D变换器(省略图示)变换为数字数据。之后， 图像数据生成部4在由彩色加工电路(省略图示)对数字数据进行包含像 素插值处理以及γ校正处理在内的彩色加工处理后，生成数字值的亮度信 号Y以及色差信号Cb、Cr(YUV数据)。此外，图像数据生成部4以规 定形式(例如，MPEG形式、运动JPEG形式等)对构成运动图像数据的 多个帧图像数据分别进行编码，生成运动图像的图像数据。

此外，图像数据生成部4将生成的运动图像数据转送至作为缓冲存储 器使用的存储器2。

图像处理部5具备：图像获取部5a、区域设定部5b、解码部5c、阈 值设定部5d、帧编号确定部5e、图像确定部5f。

另外，图像处理部5的各部分例如由规定的逻辑电路构成，但是该构 成是一例，并不限于此。

图像获取部5a获取成为后述的图像确定处理的处理对象的图像。

即，图像获取部(获取部件)5a获取连续地拍摄了对象物的动作的 具有多个帧编号F1～F5的多个帧图像数据(参照图5)。具体来说，图像 获取部5a将由摄像部3拍摄人物的规定运动的一系列动作(例如，高尔 夫的挥杆中球杆头C的动作等)后由图像数据生成部4生成的由多个帧 图像数据构成的运动图像数据获取为图像确定处理的处理对象。

例如，摄像部3以规定的拍摄帧频(例如，1000fps等)拍摄人物进 行规定的运动时的对象物的一系列动作，图像数据生成部4生成由按时间 以编号顺序与帧编号相对应关联的多个帧图像数据构成的运动图像的图 像数据并将该图像数据转送至存储器2。在此，在摄像部3进行对象物的 拍摄时，显示部7例如可以使匹配于高尔夫球杆的球杆头C或球B的初 始位置用的指标M重叠于实时取景图像L进行OSD(on-screen display) 显示(参照图4)。

并且，图像获取部5a读出保存在存储器2中的运动图像的图像数据， 将其获取为图像确定处理的处理对象。

另外，图像获取部5a也可以在摄像部3进行的对象物的拍摄后读出 图像记录部6中记录的运动图像的图像数据，并将其获取为图像确定处理 的处理对象。

区域设定部5b设定用于对对象物从外部进入摄影区域的时间点(以 下，称为“进入时间点”)的帧编号和对象物从摄影区域向外部离开的时 间点(以下，称为“移出时间点”)的帧编号进行确定的多个确定区域。

即，区域设定部(区域设定部件)5b针对构成由图像获取部5a获取 到的运动图像数据的多个帧图像数据中的每1个帧图像数据，在规定位置 设定用于对对象物(例如，球杆头C等)存在的时间点的帧编号进行确 定的多个确定区域。具体来说，区域设定部5b例如针对多个帧图像数据 中的每1个帧图像数据，在左右两端的位置处设定两个大致矩形形状的确 定区域(参照图6A～图6C)。在此，对象物的多个确定区域的位置以例 如一系列高尔夫挥杆动作中该球杆头C的移动方向为基准来设定。即， 例如对于在左右方向上移动的对象物，区域设定部5b在各帧图像数据的 左右方向靠两端的位置处设定至少2个特定区域A1、A2，对于在上下方 向上移动的对象物，区域设定部5b在各帧图像数据的上下方向靠两端的位置处设定至少2个确定区域(省略图示)。

此外，区域设定部5b通过在多个帧图像数据之中最初的帧图像数据 F1(参照图6A)的多个规定位置处设定多个确定区域，从而针对剩余的 帧图像数据也同样地在与最初的帧图像数据F1的确定区域相对应的位置 处应用并设定确定区域。

另外，上述确定区域的配置、个数、形状等是一例，并不限于此，能 够适当地任意变更。

解码部5c对由多个帧图像构成的运动图像的图像数据进行解码。

具体来说，解码部5c例如对由图像获取部5a获取到的以规定形式(例 如，MPEG形式、运动JPEG形式等)编码的运动图像的图像数据，实施 与该运动图像数据的编码方式相应的解码处理，生成多个帧图像数据的 YUV数据。

此时，解码部5c例如可以进行基于显示面板7a的显示分辨率等将各 帧图像数据缩小为规定尺寸(例如，VGA、QVGA尺寸)的处理。

阈值设定部5d设定用于确定对象物的进入时间点以及移出时间点的 帧编号的阈值。

即，阈值设定部5d将根据多个帧图像数据之中规定期间内的规定数 目的帧图像数据中的确定区域的像素值计算出的代表值设定为用于确定 进入时间点以及移出时间点的帧编号的阈值。具体来说，阈值设定部5d 例如针对由解码部5c解码后的从最初的帧图像数据F1起规定数目个(例 如，n个；n为自然数)帧图像数据中的各图像中不同位置的各确定区域 (例如，特定区域A1和A2)，计算出在该规定数目个帧图像数据之中相 邻的各帧图像数据中设定的相同位置的确定区域间的像素值(例如，亮度 值)的差值平方和SSD(Sum ofSquared Differences)。并且，阈值设定部 5d按不同位置的每个确定区域，对不同位置的各确定区域计算出所计算 出的多个(例如，n-1个)差值平方和SSD的代表值(例如，平均值、中值等)，并将其设定为用于确定对象物存在于确定区域的时间点的帧编 号的阈值。

另外，上述阈值的计算方法是一例，并不限于此，能够适当地任意变 更。此外，例如，在帧图像数据的背景的颜色为一色或形式一致等情况下， 阈值设定部5d也可以将针对某1个确定区域(例如，左侧的特定区域A1 等)计算出的代表值对其他确定区域(例如，右侧的特定区域A2等)应 用。

帧编号确定部5e对多个确定区域分别确定对象物所存在的时间点 (例如，进入时间点以及移出时间点)的多个帧编号。

即，帧编号确定部5e基于由区域设定部5b设定的多个确定区域的评 价值的变化，确定对象物存在于该各确定区域内的时间点的帧编号(进入 时间点的帧编号或移出时间点的帧编号)。具体来说，帧编号确定部5e 判定该每个确定区域的评价值是否比由阈值设定部5d设定的各阈值大。 并且，当判定为不同位置的每个确定区域的评价值比由阈值设定部5d设 定的各阈值大时，确定该确定区域的评价值超过由阈值设定部5d设定的 阈值的时间点的帧编号(参照图6B以及图6C)。

例如，帧编号确定部5e针对由解码部5c解码后的各帧图像数据，计 算出在相邻的帧图像数据中设定的、相同位置的确定区域间的像素值(例 如，亮度值)的差值平方和SSD作为评价值。接着，帧编号确定部5e将 计算出的评价值与由阈值设定部5d设定的阈值进行比较，判定评价值是 否比阈值大。该判定的结果是，帧编号确定部5e确定评价值超过阈值的 时间点的帧编号。例如，在高尔夫挥杆的情况下，由于在左右方向上移动 的球杆头C通过特定区域，从而评价值会比阈值大。

此外，帧编号确定部5e在对位置不同的各确定区域判定为多个评价 值比阈值大的情况下，确定相对于该阈值差异度最大的时间点的帧编号。

即，例如，由于在左右方向上移动的球杆头C通过确定区域，从而 对应的评价值会比阈值大，在该球杆头C和确定区域的重合区域成为最 大时差异度成为最大。在此，虽然击打出的球B在通过一方确定区域(例 如，在高尔夫球之后球杆头也通过的特定区域A2)时评价值也会比阈值 大，但是由于球杆头C和球B的大小不同，所以球杆头C通过时的评价 值比球B的评价值大，因此认为在与相对于阈值的差异度最大的评价值 相对应的帧图像数据的确定区域内存在球杆头C。

在此，左右2个特定区域A1、A2内的帧编号的确定处理可以从特定 区域A2(图6B参照)开始先进行。即，例如，在高尔夫挥杆的情况下， 在用右手的人的挥杆中，由于描绘球杆头C从外部进入至拍摄区域的左 侧并从拍摄区域的右侧向外部移出的轨道，所以应当从右侧的特定区域 A2开始先进行帧编号的确定处理(理由后述)，此外，另一方面，在用左 手的人的挥杆中，相反地应当从左侧的特定区域A1开始先进行确定处理。

此时，帧编号确定部5e针对使用了特定区域A2的移出时间点的帧 编号的确定处理(参照图6B)，将由解码部5c解码后的所有帧图像数据 作为处理对象。另一方面，帧编号确定部5e针对使用了特定区域A1的 进入时间点的帧编号的确定处理(参照图6B)，以确定出的移出时间点的 帧编号为基准，以解码后的所有帧图像数据中规定数目的帧图像数据作为 处理对象。例如，帧编号确定部5e考虑高尔夫的标准挥杆速度(例如， 30～40m/s等)、摄像部3的拍摄帧频和视角等，确定从与使用特定区域 A2确定出的移出时间点的帧编号相对应的帧图像数据起回溯了规定数目 个帧后所得到的帧图像数据。帧编号确定部5e将该确定出的帧图像数据 以后的帧图像数据中至与使用特定区域A2所确定出的移出时间点的帧编 号相对应的帧图像数据的前1个帧图像数据为止的帧图像数据作为处理 对象。

由此，在高尔夫挥杆的情况下，虽然在后摆杆和下挥杆各个动作中会 通过特定区域A1，但是能够抑制在后摆杆时将球杆头C存在于该特定区 域A1内的帧图像数据的帧编号错误地确定为进入时间点的帧编号。

图像确定部5f确定以对象物的动作中规定的时间点为基准的多个帧 图像数据。

即，图像确定部(确定部件)5f基于帧编号确定部5e确定的进入时 间点以及移出时间点的帧编号的确定结果，在多个图像内确定与对象物的 动作中规定的时间点(例如，由球杆头C击打球B的瞬间的击球等)相 关联的多个帧图像数据。具体来说，例如图像确定部5f基于使用了特定 区域A1、A2的对象物(例如，球杆头C)的进入时间点以及移出时间点的帧编号的确定结果，分别确定与该进入时间点以及移出时间点的帧编号F2、F4相对应的帧图像数据。并且，图像确定部5f基于与规定的时间点 相关联的帧图像数据F2、F4，在多个帧图像数据之中确定以该规定的时 间点为基准的多个帧图像数据。例如，图像确定部5f基于确定出的2个 帧编号，从多个帧图像数据中确定该2个帧编号间的多个帧图像数据，并将其提取为运动图像。

另外，图像确定部5f也可以例如考虑球B或初始状态的球杆头的位 置和2个特定区域A1、A2之间的相对位置关系，在2个帧图像数据F2、 F4间确定与击打球B的瞬间的击球相对应的帧图像数据F3本身。例如， 在球B被配置于2个特定区域A1、A2的大致中间的情况下，认为在2 个帧图像数据F2、F4间的大致中间存在与击打球B的瞬间的击球相对应 的帧图像数据F3。

图像记录部6例如由非易失性存储器(闪速存储器)等构成。此外， 图像记录部6记录由图像数据生成部4的编码部(省略图示)以规定的编 码方式编码后的各种图像的图像数据。

具体来说，图像记录部6例如记录通过摄像部3使对象物的一系列动 作连续的运动图像的图像数据、由从该运动图像中提取且以规定的时间点 为基准的规定数目的帧图像数据构成的运动图像的图像数据等。

另外，图像记录部6例如构成为可以是记录介质(省略图示)自由地 装卸，对从安装的记录介质读出图像数据以及向记录介质写入图像数据进 行控制。

显示部7显示静止图像或运动图像。具体来说，显示部7具备显示面 板7a和显示控制部7b。

显示面板7a在显示区域内显示图像。具体来说，显示部7在静止图 像拍摄模式或运动图像拍摄模式下，在以规定的再生帧频来逐次更新通过 摄像部3拍摄对象物而生成的多个图像帧的同时显示实时取景图像数据 L。

另外，作为显示面板7a例如列举液晶显示面板和有机EL显示面板 等，但是这是一例，并不限于此。

显示控制部7b进行基于从图像记录部6读出并由图像处理部5解码 后的规定尺寸的图像数据，使规定的图像显示于显示面板7a的显示画面 的控制。具体来说，显示控制部7b具备VRAM(Video Random Access Memory)、VRAM控制器、数字视频编码器等。并且，数字视频编码器 经由VRAM控制器从VRAM读出通过图像处理部5解码后存储于VRAM (省略图示)中的亮度信号Y以及色差信号Cb、Cr，基于这些数据产生 视频信号并将其输出至显示面板7a。

操作输入部8用于对装置主体输入各种指示。

具体来说，操作输入部8具备例如具有模式和功能等选择指示涉及的 按钮等的操作部(省略图示)。

并且，由用户操作操作部的各种按钮后，操作输入部8将与被操作的 按钮相应的操作指示输出至中央控制部1。中央控制部1按照从操作输入 部8输出后被输入的操作指示使各个部分执行规定的动作(例如，对象物 的拍摄等)。

另外，操作输入部8也可以构成为具有与显示部7的显示面板7a一 体设置的触摸面板(省略图示)。

接着，参照图2～图6说明摄像处理。

图2是表示摄像处理涉及的动作的一例的流程图。

以下说明的摄像处理是在基于用户对操作输入部8的规定操作从菜 单画面(省略图示)中显示的多个动作模式之中选择指示了击球图像提取 模式的情况下执行的处理。

＜摄像处理＞

如图2的流程图所示，首先显示控制部7b例如以使匹配于球杆头C 或球B的初始位置用的指标M(例如，球杆头形状或球形状的框显示等) 重叠于实时取景图像L的形式使指标M显示于显示面板7a(步骤S1；参 照图4)。在该状态下，拍摄者对该装置主体和对象物之间的距离或摄像 部3的视角等进行调整，以使球杆头C或球B的初始位置与指标M在适 当的位置处重叠。

并且，在基于用户对操作输入部8的规定操作输入该装置主体和对象 物之间的距离或摄像部3的视角等的调整完成指示后，显示控制部7b停 止指标M的OSD显示。另外，指标M的OSD显示按照做动作的人的方 便的手来准备，图4是用右手的人用。此外，对象物的拍摄可以将该装置 主体以三脚固定来进行，也可以由拍摄者手持来进行。

接着，在基于用户对操作输入部8的规定操作指示了拍摄后，摄像部 3以规定的拍摄帧频(例如，1000fps等)拍摄球杆头C的动作，图像数 据生成部4生成以规定的编码方式对多个帧图像数据进行编码后得到的 运动图像的图像数据(步骤S2)。

并且，图像数据生成部4将生成的运动图像的图像数据转送至存储器 2。

接着，图像处理部5进行从运动图像的图像数据中确定并提取规定数 目的帧图像数据的图像确定处理(参照图3)(步骤S3)。另外，针对图 像确定处理在后面叙述。

并且，显示控制部7b基于由图像确定部5f确定并提取出的规定数目 的帧图像数据，使运动图像显示于显示面板7a(步骤S4)。由此，结束摄 像处理。

＜图像确定处理＞

以下，参照图3详细说明图像确定处理。

图3是表示图像确定处理涉及的动作的一例的流程图。

如图3所示，图像获取部5a从存储器2中读出由连续地拍摄了伴随 着高尔夫的挥杆动作的球杆头C的运动的多个帧图像数据构成的运动图 像数据，并将其获取为图像确定处理的处理对象(步骤S11)。

接着，区域设定部5b针对构成运动图像数据的多个帧图像数据中的 各个帧图像数据，在上下方向大致中央部的左右方向靠两端的位置处设定 2个大致矩形形状的确定区域(步骤S12)。在此，在是使用右手的人的 情况下，摄影区域的左侧的特定区域A1是球杆头C刚刚从外部进入至摄 影区域之后的区域，摄影区域的右侧的特定区域A2是球杆头C即将从摄 影区域向外部移出之前的区域。

接着，解码部5c对构成运动图像的图像数据的从最初的帧图像数据 F1起规定数目个(例如，n个；n自然数)帧图像数据进行解码(步骤 S13)，阈值设定部5d针对左右的特定区域A1、A2，分别计算出与相邻 的帧图像数据之间的像素值(例如，亮度值)的差值平方和SSD(步骤 S14)。并且，阈值设定部5d针对左右的特定区域A1、A2，分别将计算 出的多个(例如，n-1个)差值平方和SSD的代表值(例如，平均值或 中值等)设定为进入时间点以及移出时间点的帧编号的确定用的阈值(步 骤S15)。

接着，解码部5c从最初的帧图像数据F1起依次对构成运动图像数据 的所有帧图像数据进行解码(步骤S16)，帧编号确定部5e逐次计算出解 码后的帧图像数据之中、相邻的各个帧图像数据中设定的特定区域A2间 的像素值(例如，亮度值)的差值平方和SSD作为评价值(步骤S17)。 接着，帧编号确定部5e判定计算出的评价值是否比由阈值设定部5d设定 的特定区域A2的阈值大(步骤S18)。

在此，在判定为评价值不比阈值大时(步骤S18；“否”)，图像处理 部5使处理返回步骤S16，执行这以后的各处理。即，由于在特定区域 A2内评价值没有变化，所以认为球杆头C未通过特定区域A2。相对于 此，如果在特定区域A2内评价值有变化，则认为在特定区域A2中存在 球杆头C。

在步骤S18中判定为评价值比阈值大时(步骤S18；“是”)，帧编号 确定部5e计算出该评价值与阈值之间的差异度，确定与差异度最大的评 价值相对应的时间点的帧编号，用该帧图像数据的帧编号更新该帧编号后 暂时保存在规定的保存部件(例如，存储器2等)中(步骤S19)。接着， 图像处理部5判定是否针对所有帧图像数据进行了上述各处理(步骤S20)。

在步骤S20中判定为未针对所有帧图像数据进行处理时(步骤S20； “否”)，图像处理部5使处理返回步骤S16，执行这以后的各处理。

上述各处理重复执行，直至在步骤S20中判定为针对所有帧图像数 据进行了处理为止(步骤S20；“是”)。

由此，根据在左右方向上移动的球杆头C和特定区域A2的重叠区域 成为最大，由此确定评价值与阈值之间的差异度成为最大的时间点的帧编 号F4(参照图6B)。

接着，解码部5c将从与使用特定区域A2确定出的移出时间点的帧 编号相对应的帧图像数据F4起规定数目的帧编号前的帧图像数据指定为 开始解码的帧图像数据(步骤S21)。此外，解码部5c将指定的帧图像数 据以后的帧图像数据中至与确定出的移出时间点的帧编号F4相对应的帧 图像数据的前1个帧图像数据为止指定为解码处理的对象图像。

并且，解码部5c依次对指定的帧图像数据以后的帧图像数据进行解 码(步骤S22)，帧编号确定部5e针对解码后的帧图像数据，逐次计算出 与前1个帧图像数据之间的、特定区域A1间的像素值(例如，亮度值) 的差值平方和SSD作为评价值(步骤S23)。接着，帧编号确定部5e判 定计算出的评价值是否比由阈值设定部5d设定的特定区域A1的阈值大(步骤S24)。

在此，判定为评价值不比阈值大时(步骤S24；“否”)，图像处理部5 使处理返回步骤S22，执行这以后的各处理。即，由于在特定区域A1内 像素值没有变化，所以认为球杆头C没有通过特定区域A2。相对于此， 如果在特定区域A1内像素值有变化，则认为存在球杆头C。

在步骤S24中判定为评价值比阈值大时(步骤S24；“是”)，帧编号 确定部5e计算出该评价值与阈值之间的差异度，确定与差异度最大的评 价值相对应的帧编号，用该帧图像数据的帧编号来更新用于识别进入时间 点的帧图像数据的帧编号并将其暂时保存在规定的保存部件(例如，存储 器2等)中(步骤S25)。接着，图像处理部5判定是否针对处理对象的所有帧图像数据进行了上述各处理(步骤S26)。

在步骤S26中判定为未针对处理对象的所有帧图像数据进行处理时 (步骤S26；“否”)，图像处理部5使处理返回步骤S22，执行这以后的各 处理。

上述的各处理重复执行，直至在步骤S26中判定为针对处理对象的 所有帧图像数据进行了处理(步骤S26；“是”)。由此，根据在左右方向 上移动的球杆头C和特定区域A1的重叠区域成为最大，由此确定评价值 与阈值之间的差异度成为最大的帧图像数据F2(参照图6C)的帧编号。

接着，图像确定部5f基于确定出的进入时间点以及移出时间点的帧 编号，从与第1图像数据组相关的多个帧图像数据中确定该2个帧编号间 的规定数目的与第2图像数据组相关的帧图像数据，并将其作为运动图像 数据来提取(步骤S27)。此外，图像确定部5f也可以将从确定出的进入 时间点的帧编号起规定数目之前的帧编号的帧图像数据至从确定出的移 出时间点的帧编号起规定数目之后的帧编号的帧图像数据为止作为运动 图像提取为第2图像数据组。

在此，在进入时间点的帧编号与移出时间点的帧编号之间的间隔，即， 2个帧编号F2、F4间的图像数目比规定值多或对应的时间间隔比规定值 长的情况下，也存在球杆头C以外的物体通过确定区域的危险，所以图 像确定部5f也可以构成为在帧图像数据数或时间间隔为规定值以内的情 况下，提取运动图像。

之后，图像记录部6记录由图像确定部5f提取出的、由以规定的时 间点为基准的规定数目的帧图像数据构成的运动图像数据(步骤S28)， 并结束该图像确定处理。

如以上，根据本实施方式的摄像装置100，在连续地拍摄了对象物的 动作的多个帧图像数据的各帧图像数据中的多个规定位置处设定确定区 域，基于多个帧图像数据间的、所设定的多个确定区域的各个确定区域中 像素值的变化，在多个帧图像数据之中确定多个与对象物的动作中规定的 时间点相关联的帧图像数据，所以通过利用在多个帧图像数据的各个帧图 像数据中的规定位置处设定的确定区域的像素值的变化，从而能够不使用 特殊的设备就确定用户希望的帧图像数据(例如，帧图像数据F2～F4)。

例如，在高尔夫挥杆的情况下，即使是实际上没有击打球B的空抡， 也能够确定包含假设在击打球B时成为击打球的瞬间的帧图像数据在内 的用户所希望的帧图像数据。

另外，本发明不限定为上述实施方式，可以在不脱离本发明的主旨的 范围内进行各种改良以及设计的变更。

例如，在上述实施方式中，以在确定区域中设定的阈值为基准确定进 入时间点以及移出时间点的帧编号，但是这是一例，不限于此，可以适当 地任意变更是否在进入时间点以及移出时间点的帧编号的确定时设定阈 值。即，摄像装置100只要是构成为能够基于确定区域的像素值的变化来 确定进入时间点以及移出时间点的帧编号，就未必需要具备阈值设定部 5d。

此外，在上述实施方式中，左右2个特定区域A1、A2内的进入时间 点以及移出时间点的帧编号的确定处理设为从特定区域A2开始先进行， 但是这是一例，并不限于此，例如，也可以从特定区域A1开始进行帧编 号的确定处理。在该情况下，帧编号确定部5e可以针对特定区域A1的 进入时间点的帧编号的确定处理，将由解码部5c解码后的所有帧图像作 为处理对象，而另一方面，针对特定区域A2的移出时间点的帧编号的确 定处理，以进入时间点的帧编号为基准。

此外，帧编号确定部5e设为确定判定为评价值比阈值大的帧编号之 中、相对于该阈值差异度最大的帧编号，但是也可以在也超过阈值的评价 值之中接近于最大的评价值的评价值有多个时，通过进行规定的处理来确 定进入时间点以及移出时间点的帧编号。

即，在进入时间点的帧编号的确定中，通过加入将接近于最大评价值 的多个评价值的帧编号之中最后的帧编号确定为进入时间点的帧编号的 处理，从而能够抑制例如将挥杆动作中瞄准球-挥杆顶点间(top)、以及 挥杆顶点-击球间的动作之中瞄准球-挥杆顶点间的动作错误地检测为 希望的进入时间点的帧编号。此外，在移出时间点的帧编号的确定中，同 样地，也可以加入将接近于最大的评价值的多个评价值的帧编号之中最后 的帧编号确定为移出时间点的帧编号的处理。

进而，在上述实施方式中，图像确定部5f设为在确定了与规定的时 间点(例如，由球杆头C击打球B的瞬间的击球等)相关联的帧图像数 据F2、F4的识别信息(例如，进入时间点以及移出时间点的帧编号)之 后，确定与该识别信息相对应的帧图像数据F2、F4，但是这是一例，并 不限于此，未必需要确定帧图像数据F2、F4。此外，图像确定部5f也可 以基于例如帧编号确定部5e的确定结果，直接从构成运动图像的图像数 据的多个帧图像数据中确定与被摄体的动作中规定的时间点相关联的帧 图像数据。

进而，摄像装置100的构成在上述实施方式中例示出的是一例，并不 限于此。进而，作为图像处理装置，例示出摄像装置100，但是并不限于 此。

此外，在上述实施方式中，通过在中央控制部1的控制下，由图像获 取部5a、区域设定部5b、图像确定部5f进行驱动来实现作为获取部件、 区域设定部件、确定部件的功能，但是不限于此，也可以构成为由中央控 制部1的CPU执行规定的程序等来实现。

即，在存储程序的程序存储器(省略图示)中预先存储包含获取处理 例程、区域设定处理例程、确定处理例程的程序。并且，也可以通过获取 处理例程而使中央控制部1的CPU作为获取连续地拍摄了被摄体的动作 的多个图像的部件起作用。此外，也可以通过区域设定处理例程而使中央 控制部1的CPU作为设定在获取到的多个图像的各个图像中在多个规定 位置处设定区域的部件起作用。此外，也可以通过确定处理例程而使中央 控制部1的CPU作为以下部件起作用，即基于多个图像间的、所设定的 多个区域的各个区域中的像素值的变化在多个图像之中确定多个与上述 被摄体的动作中规定的时间点相关联的图像的部件。

同样地，针对其他功能，也可以构成为通过由中央控制部1的CPU 执行规定的程序等来实现。

进而，作为保存用于执行上述各处理的程序的计算机可读取介质，除 了ROM和硬盘等以外，也可以应用闪速存储器等非易失性存储器、CD -ROM等可移动型记录介质。此外，作为经由规定的通信线路提供程序 数据的介质，也应用载波(carrier wave)。

虽然说明了本发明的几个实施方式，但是本发明的范围不限于上述的 实施方式，而包含在专利请求的范围内记载的发明的范围和其均等的范围 中。附记在该申请的申请书中最初添加的权利要求书的范围中记载的发 明。附记中记载的权利要求的编号如在该申请的申请书中最初添加的专利 权利要求书的范围所示。

1.一种图像处理装置，其特征在于，包括：

获取部件，其获取与连续地拍摄了对象物的动作的多个图像相关的第 1图像组；

区域设定部件，其在由上述获取部件获取到的第1图像组的各个图像 的多个规定位置处设定多个区域；和

确定部件，其基于由上述区域设定部件设定的多个区域的各个区域中 的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上 述对象物的动作中规定的时间点所关联的多个图像相关。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述确定部件还基于上述多个区域的各个区域中的像素值在上述多 个图像间的变化，确定第2图像组之中的第1图像和第2图像，其中，该 第1图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像 是最后拍摄到的在该多个区域中存在对象物的图像。

3.根据权利要求2所述的图像处理装置，其特征在于，

该图像处理装置还包括：

阈值设定部件，其将上述多个图像之中、规定期间内的规定数目的图 像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联 的多个图像进行确定的阈值，

上述确定部件基于由上述阈值设定部件设定的阈值，从上述第1图像 组中分别确定在上述各区域中存在对象物的图像。

4.根据权利要求3所述的图像处理装置，其特征在于，

该图像处理装置还包括：

第1计算部件，其计算针对上述多个区域的各个区域的评价值；和

判定部件，其判定上述各区域的像素值足否比由上述阈值设定部件设 定的各阈值大，

在由上述判定部件判定为上述各区域的像素值比上述阈值大时，上述 确定部件从上述第1图像组中将在该区域中存在对象物的图像确定为与 上述规定的时间点相关联的图像。

5.根据权利要求3所述的图像处理装置，其特征在于，

该图像处理装置还包括：

第2计算部件，其从由上述获取部件获取到的多个图像中计算规定数 目的图像中的上述区域的像素值的平均值或中值，

上述阈值设定部件将由上述第2计算部件计算出的平均值或中值设 定为上述多个代表值之一。

6.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还包括：

提取部件，其将由上述确定部件确定出的与规定的时间点相关联的多 个图像提取为运动图像。

7.一种使用图像处理装置的图像确定方法，其特征在于，包括：

获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组的 处理；

在获取到的第1图像组的各个图像的多个规定位置处设定区域的处 理；和

基于所设定的上述多个区域的各个区域中的像素值在上述多个图像 间的变化确定第2图像组的处理，其中，该第2图像组与上述多个图像之 中、上述对象物的动作中规定的时间点所关联的多个图像相关。

Claims (10)

1.一种图像处理装置，其特征在于，包括：

区域设定部件，其在与连续地拍摄了对象物的动作的多个图像相关的第1图像组的各个图像的多个规定位置处设定多个区域；和

确定部件，其确定由上述区域设定部件设定的多个区域的各个区域中的像素值在多个图像间的变化最大的帧图像，基于所确定的上述帧图像来确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作的开始时间点以及动作的结束时间点所关联的多个图像相关。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述确定部件还基于在上述多个区域中的第1区域确定的帧图像，确定上述第2图像组之中的与动作的开始时间点对应的最初拍摄到的第1图像，基于在上述多个区域中的第2区域确定的帧图像，确定上述第2图像组之中的与动作的结束时间点对应的最后拍摄到的第2图像。

3.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还包括：

阈值设定部件，其将上述多个图像之中、规定期间内的规定数目的图像中的上述多个区域的各个区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值，

上述确定部件基于由上述阈值设定部件设定的阈值，从上述第1图像组中分别确定在上述各区域中存在对象物的图像。

4.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还包括：

提取部件，其将由上述确定部件确定出的与规定的时间点相关联的多个图像提取为运动图像。

5.一种图像处理装置，其特征在于，包括：

获取部件，其获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组；

区域设定部件，其在由上述获取部件获取到的第1图像组的各个图像的多个规定位置处设定多个区域；

阈值设定部件，其将上述多个图像之中、规定期间内的规定数目的图像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值；

第1计算部件，其计算针对上述多个区域的各个区域的评价值；

判定部件，其判定上述各区域的像素值是否比由上述阈值设定部件设定的各阈值大；和

确定部件，其基于由上述区域设定部件设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关，并且，上述确定部件基于上述多个区域的各个区域中的像素值在上述多个图像间的变化，确定第2图像组之中的第1图像和第2图像，其中，该第1图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像是最后拍摄到的在该多个区域中存在对象物的图像，并且，上述确定部件基于由上述阈值设定部件设定的阈值，从上述第1图像组中分别确定在上述各区域中存在对象物的图像，并且，在由上述判定部件判定为上述各区域的像素值比上述阈值大时，上述确定部件从上述第1图像组中将在该区域中存在对象物的图像确定为与上述规定的时间点相关联的图像。

6.一种图像处理装置，其特征在于，包括：

获取部件，其获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组；

区域设定部件，其在由上述获取部件获取到的第1图像组的各个图像的多个规定位置处设定多个区域；

第2计算部件，其从由上述获取部件获取到的多个图像中计算规定数目的图像中的上述区域的像素值的平均值或中值；

阈值设定部件，其将上述多个图像之中、规定期间内的规定数目的图像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值，并且将由上述第2计算部件计算出的平均值或中值设定为多个上述代表值之一；和

确定部件，其基于由上述区域设定部件设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关，并且，上述确定部件基于上述多个区域的各个区域中的像素值在上述多个图像间的变化，确定第2图像组之中的第1图像和第2图像，其中，该第1图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像是最后拍摄到的在该多个区域中存在对象物的图像，并且，上述确定部件基于由上述阈值设定部件设定的阈值，从上述第1图像组中分别确定在上述各区域中存在对象物的图像。

7.一种使用图像处理装置的图像确定方法，其特征在于，包括：

在与连续地拍摄了对象物的动作的多个图像相关的第1图像组的各个图像的多个规定位置处设定多个区域的处理；和

确定所设定的上述多个区域的各个区域中的像素值在上述多个图像间的变化最大的帧图像，基于所确定的上述帧图像来确定第2图像组的处理，其中，该第2图像组与上述多个图像之中、上述对象物的动作的开始时间点以及动作的结束时间点所关联的多个图像相关。

8.一种使用图像处理装置的图像确定方法，其特征在于，包括：

获取处理，获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组；

区域设定处理，在由上述获取处理获取到的第1图像组的各个图像的多个规定位置处设定多个区域；

阈值设定处理，将上述多个图像之中、规定期间内的规定数目的图像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值；

第1计算处理，计算针对上述多个区域的各个区域的评价值；

判定处理，判定上述各区域的像素值是否比由上述阈值设定处理设定的各阈值大；和

确定处理，基于由上述区域设定处理设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关，并且，上述确定处理基于上述多个区域的各个区域中的像素值在上述多个图像间的变化，确定第2图像组之中的第1图像和第2图像，其中，该第1图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像是最后拍摄到的在该多个区域中存在对象物的图像，并且，上述确定处理基于由上述阈值设定处理设定的阈值，从上述第1图像组中分别确定在上述各区域中存在对象物的图像，并且，在由上述判定处理判定为上述各区域的像素值比上述阈值大时，上述确定处理从上述第1图像组中将在该区域中存在对象物的图像确定为与上述规定的时间点相关联的图像。

9.一种使用图像处理装置的图像确定方法，其特征在于，包括：

获取处理，获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组；

区域设定处理，在由上述获取处理获取到的第1图像组的各个图像的多个规定位置处设定多个区域；

第2计算处理，从由上述获取处理获取到的多个图像中计算规定数目的图像中的上述区域的像素值的平均值或中值；

阈值设定处理，将上述多个图像之中、规定期间内的规定数目的图像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值，并且将由上述第2计算处理计算出的平均值或中值设定为多个上述代表值之一；和

确定处理，基于由上述区域设定处理设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关，并且，上述确定处理基于上述多个区域的各个区域中的像素值在上述多个图像间的变化，确定第2图像组之中的第1图像和第2图像，其中，该第1图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像是最后拍摄到的在该多个区域中存在对象物的图像，并且，上述确定处理基于由上述阈值设定处理设定的阈值，从上述第1图像组中分别确定在上述各区域中存在对象物的图像。

10.一种非易失性的记录介质，记录了计算机可读取的程序，所述程序使计算机执行作为如下部件的功能：

区域设定部件，其在与连续地拍摄了对象物的动作的多个图像相关的第1图像组的各个图像的多个规定位置处设定多个区域；和

确定部件，其确定由上述区域设定部件设定的多个区域的各个区域中的像素值在多个图像间的变化最大的帧图像，基于所确定的上述帧图像来确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作的开始时间点以及动作的结束时间点所关联的多个图像相关。