CN104065872B - 运动图像提取装置、运动图像提取方法和记录介质 - Google Patents

运动图像提取装置、运动图像提取方法和记录介质 Download PDF

Info

Publication number
CN104065872B
CN104065872B CN201410108089.3A CN201410108089A CN104065872B CN 104065872 B CN104065872 B CN 104065872B CN 201410108089 A CN201410108089 A CN 201410108089A CN 104065872 B CN104065872 B CN 104065872B
Authority
CN
China
Prior art keywords
mentioned
moving image
image
frame
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410108089.3A
Other languages
English (en)
Other versions
CN104065872A (zh
Inventor
村上智彦
中込浩
中込浩一
河村义裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN104065872A publication Critical patent/CN104065872A/zh
Application granted granted Critical
Publication of CN104065872B publication Critical patent/CN104065872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种运动图像提取装置以及运动图像提取方法，该装置具备：CPU(11)，其获取第一运动图像；击球检测处理部(54)，其确定获取的运动图像中的给定时刻；提取时刻确定部(55)，其计算与上述第一运动图像中的期间相关的可靠度；以及运动图像存储控制部(56)，其从第一运动图像中提取与上述给定时刻和上述可靠度相应的给定期间的第二运动图像。

Description

运动图像提取装置、运动图像提取方法和记录介质
本申请基于并主张在2013年3月22日提出的在先日本专利申请(No.2013-061073)的优先权，全部内容援引于此。
技术领域
本发明涉及从运动图像中提取给定期间的运动图像的运动图像提取装置以及运动图像提取方法。
背景技术
作为现有技术，专利第4730402号中记载了在运动图像中对给定期间进行记录的技术。
具体来说，记载了将运动图像连续地存储至环形缓冲器中，并且记录被摄体满足给定条件的瞬间前后的给定期间的技术。
但是，在上述专利文献1中，由于应当提取的图像的期间是固定的，因此可能无法提取用户希望的期间的运动图像。
本发明的目的在于提取用户希望的期间的运动图像。
发明内容
本发明提供一种运动图像提取装置，其特征在于，具备：获取单元，其获取第一运动图像；确定单元，其确定由上述获取单元获取的第一运动图像中的给定时刻；计算单元，其计算与上述第一运动图像中的期间相关的可靠度；以及提取单元，其从上述第一运动图像中提取与上述给定时刻和上述可靠度相应的给定期间的第二运动图像。
本发明提供一种运动图像提取方法，由运动图像提取装置执行，其特征在于，包括：获取步骤，获取第一运动图像；确定步骤，确定由上述获取步骤获取的第一运动图像中的给定时刻；计算步骤，计算与上述第一运动图像中的期间相关的可靠度；以及提取步骤，从上述第一运动图像中提取与上述给定时刻和上述可靠度相应的给定期间的第二运动图像。
附图说明
图1是说明本发明的一实施方式的基于高速摄影的运动图像的生成概要的示意图。
图2是表示本发明的一实施方式涉及的摄像装置的硬件构成的框图。
图3是表示图2的摄像装置的功能构成之中用于执行挥杆运动图像摄影处理的功能构成的功能框图。
图4是表示挥杆运动图像摄影处理之中用于执行进入检测处理的功能构成的功能框图。
图5A是用于说明包含区域框的设定在内的进入检测的示意图。
图5B是用于说明包含区域框的设定在内的进入检测的示意图。
图6是表示挥杆运动图像摄影处理之中用于执行球位置确定处理的功能构成的功能框图。
图7A是用于说明球位置的确定的结果的示意图。
图7B是用于说明球位置的确定的结果的示意图。
图8是表示挥杆运动图像摄影处理之中用于执行击球检测处理的功能构成的功能框图。
图9是表示击球附近的击球评价值的变动的一例的图表。
图10是表示击球附近的击球评价值的变动的其他例子的图表。
图11是表示挥杆运动图像摄影处理之中用于执行瞄准检测处理的功能构成的功能框图。
图12是说明具有图3的功能构成的摄像装置所执行的挥杆运动图像摄影处理的流程的流程图。
图13是说明具有图4的功能构成的摄像装置所执行的挥杆运动图像摄影处理之中进入检测处理的详细流程的流程图。
图14是说明具有图6的功能构成的摄像装置所执行的挥杆运动图像摄影处理之中球位置确定处理的详细流程的流程图。
图15是说明具有图8的功能构成的摄像装置所执行的挥杆运动图像摄影处理之中击球检测处理的详细流程的流程图。
图16是说明具有图11的功能构成的摄像装置所执行的挥杆运动图像摄影处理之中瞄准检测处理的详细流程的流程图。
图17是表示包含击球在内的帧以前的帧的识别得分的变迁的一例的图表。
图18是表示包含击球在内的帧以后的帧的识别得分的变迁的一例的图表。
具体实施方式
以下，使用附图说明本发明的实施方式。
图1是说明本发明的一实施方式的基于高速摄影的运动图像(连拍图像)的生成的概要的示意图。另外，图1中在图示的帧之间存在多个帧，但在此进行省略。
在本实施方式中，通过能在1秒钟内对30帧以上的帧图像进行摄像的能高速摄影的高速照相机来进行高尔夫球的挥杆(以下简称为“挥杆”)的摄影，并作为运动图像来保存。
具体来说，在作为摄影的对象的挥杆者自身进行摄影的操作的情况下，如图1所示那样开始摄影，由此，例如从没有球的状态开始，挥杆者放置球，之后进行从瞄准开始到收杆结束的挥杆。其结果，在摄影装置的缓冲区域中，将从暂时没有球的状态开始直至收杆并结束摄影为止的状态作为多个图像进行存储。
在通常的摄影中，将从开始摄影起至结束摄影止，即，将从没有球的状态开始直至收杆并结束摄影为止的状态作为运动图像来保存。
但是，本实施方式中，在从没有球的状态开始至收杆并结束摄影为止的状态之中，保存从挥杆的开始时期即瞄准开始直至挥杆的结束时期即收杆为止的运动图像。即，瞄准以前以及收杆以后不作为运动图像来采用。
通过这样的构成，能够削减运动图像的数据量。此外，挥杆的开始时期即瞄准成为最初的帧而运动图像开始，因此在运动图像的再生时，能够省去进行挥杆的开始时期的检索(搜索起始处)的劳动。此外，由于是与通常的摄影的情况不同的高速摄影，所以削减的数据量和省去运动图像的再生时的检索的劳动是重要的。
本发明的一实施方式涉及的摄像装置具有以下功能，即，在如上述那样对挥杆进行高速摄影的情况下，按照不保存瞄准以前的帧的方式来保存运动图像。
图2是表示具有这样的功能的摄像装置1的硬件构成的框图。
摄像装置1构成为例如能够进行高速摄影的数字照相机。
摄像装置1如图2所示，具备：CPU(Central Processing Unit)11；ROM(Read OnlyMemory)12；RAM(Random Access Memory)13；总线14；输入输出接口15；摄像部16；输入部17；输出部18；存储部19；通信部20；以及驱动器21。
CPU11按照ROM12中记录的程序或者从存储部19装载至RAM13的程序来执行各种处理。
在RAM13中适当存储CPU11在执行各种处理方面必需的数据等。
CPU11、ROM12以及RAM13经由总线14相互连接。对该总线14还连接输入输出接口15。对输入输出接口15连接摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。
摄像部16构成为高速照相机(High Speed camera：高速度照相机)，可进行1秒钟内能生成超过30帧的帧图像的高速摄影。
这样的摄像部16虽然未图示，但是具备光学透镜部、图像传感器。
光学透镜部为了对被摄体进行摄影，而由会聚光的透镜，例如聚焦透镜和变焦透镜等构成。
聚焦透镜是使被摄体像成像在图像传感器的受光面上的透镜。变焦透镜是使焦点距离在一定的范围内自由变化的透镜。
在光学透镜部中，按照需要，设置用于调整焦点、曝光、白平衡等设定参数的外围电路。
图像传感器由光电转换元件、AFE(Analog Front End：模拟前端)等构成。
光电转换元件由例如CMOS(Complementary Metal Oxide Semiconductor)型的光电转换元件等构成。从光学透镜部向光电转换元件入射被摄体像。因此，光电转换元件对被摄体像进行光电转换(摄像)并蓄积一定时间的图像信号，将蓄积的图像信号作为模拟信号依次提供给AFE。
AFE对于该模拟图像信号，执行A/D(Analog/Digital)转换处理等各种信号处理。通过各种信号处理，生成数字信号，并作为摄像部16的输出信号来输出。
将这样的摄像部16的输出信号以下称为“图像的数据”。图像的数据作为摄像图像的数据、帧图像(以下简称为“帧”)的数据而适当提供给CPU11等。
输入部17由各种按钮等构成，按照用户的指示操作输入各种信息。
输出部18由显示器和扬声器等构成，输出图像和声音。
存储部19由硬盘或DRAM(Dynamic Random Access Memory)等构成，存储各种图像的数据。
通信部20对经由包含互联网在内的网络而与其他装置(未图示)之间进行的通信进行控制。
在驱动器21中适当安装由磁盘、光盘、光磁盘或者半导体存储器等构成的可移动介质31。通过驱动器21从可移动介质31读出的程序按照需要安装至存储部19。此外，可移动介质31也能够与存储部19同样地对存储在存储部19中的图像的数据等各种数据进行存储。
图3是表示这样的摄像装置1的功能构成之中用于执行挥杆运动图像摄影处理的功能构成的功能框图。
所谓“挥杆运动图像摄影处理”是从挥杆的开始时期即瞄准起将之后的一系列的挥杆动作作为运动图像来提取并保存的处理。另外，在挥杆运动图像摄影处理中，输出部18中依次显示所拍摄到的摄像图像。将这里所说的显示于输出部18的摄像图像称为“实时取景图像”。用户观看输出部18的表示，确认摄影位置、后述的区域框的设定、球检测结果等。
在执行挥杆运动图像摄影处理的情况下，如图3所示，在CPU11中，进入检测处理部51、缓冲器存储控制部52、位置确定处理部53、击球检测处理部54、提取时刻确定部55、运动图像存储控制部56发挥作用。
在RAM13的一个区域中设置环形缓冲器71。
在环形缓冲器71中，具有能高速进行开头和末尾的要素的插入/删除的数据构造，通过写入指针以及读出指针循环地指定地址，由此依次存储帧的数据。
在存储部19的一个区域中设置信息存储部91、瞄准检测识别器92、运动图像存储部93。
在信息存储部91中，例如，存储为了检测瞄准、击球等挥杆的姿势而使用的模板匹配用的图像(以下称为“模板图像”)等信息。针对信息存储部91后面详述。
瞄准检测识别器92存储用于检测瞄准的检测用信息。针对瞄准检测识别器92后面详述。
在运动图像存储部93中存储运动图像的数据。针对运动图像存储部93后面详述。
进入检测处理部51执行进入检测处理。
所谓“进入检测处理”是在由摄像部16拍摄到的图像之中检测出人等物体进入摄影区域的给定区域内的图像为止的一系列的处理。在该进入检测处理中，具体来说，检测球手为了放置球而出现的进入。
即，进入检测处理部51例如对从摄像部16输出的帧进行解析来检测挥杆者放置球而进入。
缓冲器存储控制部52进行将由摄像部16拍摄到的图像作为帧的数据而依次存储至环形缓冲器71，以及使帧的数据向环形缓冲器71的存储停止的控制。
位置确定处理部53执行球位置确定处理。
所谓“球位置确定处理”是从环形缓冲器71存储的多个帧之中检测存在球的帧并确定该帧中球的位置为止的一系列的处理。
即，位置确定处理部53在环形缓冲器71所存储的帧之中，在帧的摄影区域的给定区域中检测球，决定包含该检测到的球的中心位置在内的球所占的区域的位置。
击球检测处理部54执行击球检测处理。
所谓“击球检测处理”是在环形缓冲器71所存储的帧之中判断有无位置已决定的球，并且直至检测到击球的状态的帧为止的一系列的处理。此外，在“击球检测处理”中，还包含进行环形缓冲器71的停止的定时的判断的处理。
即，击球检测处理部54在环形缓冲器71所存储的帧之中，检测进行挥杆的挥杆者的击球的帧。
提取时刻确定部55作为检测提取时刻的处理而执行瞄准检测处理。
所谓“瞄准检测处理”是在环形缓冲器71所存储的帧之中，从检测到的击球的帧以前的帧中检测到瞄准的帧为止的一系列的处理。
即，提取时刻确定部55在环形缓冲器71所存储的帧之中，从检测到的击球的帧以前的帧中，使用瞄准检测识别器92的检测用信息，检测作为提取时刻的瞄准的帧。
运动图像存储控制部56控制运动图像存储部93，以便保存由环形缓冲器71存储的多个帧之中的给定帧构成的运动图像。
详细来说，运动图像存储控制部56对运动图像存储部93进行控制，使得对由提取时刻确定部55检测到的瞄准的帧以后的帧、和根据该击球的帧而设想的收杆的帧(从击球的帧开始经过给定时间后的帧)之间的运动图像进行提取并保存。
以上，针对摄像装置1的功能构成之中用于执行挥杆运动图像摄影处理的功能构成进行了说明。
接着，针对挥杆运动图像摄影处理之中用于执行进入检测处理的功能构成进行说明。
图4是表示挥杆运动图像摄影处理之中用于执行进入检测处理的功能构成的功能框图。
在执行进入检测处理的情况下，如图4所示，在进入检测处理部51中，区域框设定部511、第一评价图像生成部512、第一阈值设定部513、进入判定部514、第一图像生成部515发挥作用。
区域框设定部511在摄影区域的给定区域中设定区域框。在区域框中设定包含预想为放置球的区域在内的区域。
图5是用于说明包含区域框R的设定在内的进入检测的示意图。
如图5A所示，例如在从背面对挥杆者100进行摄影的情况下，在挥杆者100站在挥杆的位置时，区域框R被设定在击打假定的球的场所。本例中，由于假定用右手的挥杆者100位于摄影区域的中央附近，所以在中央部的下方设定区域框R。
此外，区域框设定部511能够构成为根据挥杆者100的好使的手和摄影方向而使设定不同，或者能够构成为通过用户向输入部17的区域框设定操作来进行区域框R的设定。在该情况下，能够由用户将任意的位置设定为区域框R。
第一评价图像生成部512生成用于检测向设定的区域框进入的评价图像(以下称为“第一评价图像”)。第一评价图像由根据原始图像生成边缘图像并对该生成的多个边缘图像在时间方向上进行平滑化后得到的1次微分的边缘图像构成。
第一阈值设定部513基于数帧间的以像素为单位的变动，设定用于检测在帧中存在进入的第一阈值。第一阈值使用阈值设定的最近的数帧来适用性地设定，以便不被白天和黑夜等摄影环境所左右。
进入判定部514进行向区域框R的进入的判定。进入判定部514判定成为判定对象的帧的各像素的值、和第一评价图像的各像素的值之间的差分是否超出第一阈值。在超出第一阈值的情况下，进入判定部514判定为存在进入，在不超出第一阈值的情况下，进入判定部514判定为不存在进入。
通过进入判定，设挥杆者100想要将球放置在图5B所示的区域框R内放置球的场所，则球棒101进入了区域框R这样的状态的帧被检测出。
第一图像生成部515生成判定为存在进入之后紧接着的帧图像，作为用于检测击球的模板图像(以下称为“第一模板图像”)。第一模板图像是在区域框内没有球的状态的图像。在本实施方式中，考虑强健性，将检测到进入之后紧接着的帧图像用作第一模板图像。
第一图像生成部515之后将第一模板图像保存在信息存储部91中。
以上，针对挥杆运动图像摄影处理之中用于执行进入检测处理的功能构成进行了说明。
接着，针对挥杆运动图像摄影处理之中用于执行球位置确定处理的功能构成进行说明。
图6是表示挥杆运动图像摄影处理之中用于执行球位置确定处理的功能构成的功能框图。
在执行球位置确定处理的情况下，如图6所示，在位置确定处理部53中，第二阈值设定部531、第二评价图像生成部532、静止评价值计算部533、分散计算部534、球判定部535、位置确定部536发挥作用。
第二阈值设定部531基于进入检测前的数帧间的以像素为单位的变动，设定用于检测在帧中存在进入的球检测用的第二阈值。第二阈值使用阈值设定的最近的数帧来适用性地进行设定，以便不被白天和黑夜等摄影环境所左右。
第二评价图像生成部532生成在区域框中检测球的评价图像(以下称为“第二评价图像”)。第二评价图像由根据原始图像生成边缘图像并对该生成的多个边缘图像在时间方向上进行平滑化后得到的1次微分的边缘图像构成。
静止评价值计算部533为了判定占有给定区域的物体的停止状态，对第二评价图像的各像素成为第二阈值以上的像素进行计数，计算静止评价值。
分散计算部534计算第二评价图像的各像素成为第二阈值以上的像素的坐标值(在本实施方式中为亮度值)的平均坐标值。并且，分散计算部534计算以计算出的平均坐标值作为中心的局部区域的分散评价值。由此，能够以像素为单位来推断在区域框内是否存在球和球以外的物体。
球判定部535以由静止评价值计算部533计算出的静止评价值作为基准，根据由分散计算部534计算出的分散评价值，来判定是否仅存在球。即，球判定部535基于静止评价值，判定区域内是否处于静止状态，进一步地，判定是否为分散评价值收敛于一定的范围内且仅存在球的状态。
此外，球判定部535进一步在给定时间内判定是否为仅放置了球的状态。即，球判定部535基于静止评价值判定区域内是否为静止状态，并且，进一步在给定时间内判定是否为分散评价值收敛于一定的范围内且仅存在球的状态。
位置确定部536基于在局部区域内计算出的平均坐标来计算球坐标。并且，位置确定部536将计算出的球坐标确定为球位置。此时，位置确定部536对信息存储部91中存储的球位置信息进行更新，并且在输出部18中与实时取景图像一起进行确定的球的强调显示。
图7是用于说明球位置的确定的结果的示意图。另外，图7是从正面对挥杆者100进行摄影的情况的例子。
图7A的例子表示假设将球B放置于区域框R中并且挥杆者100由此进行挥杆的状态。在这样的状态下，球位置的确定通过以下方式来进行，即，从进入区域框R开始，将占有区域框R的给定区域并静止的区域判定为放置了球。
在确定了球B的位置的情况下，在输出部18中与实时取景图像一起，如图7B所示，与区域框R内的球相重叠地，显示进行了强调显示的标记M。用户通过确认该标记M，能够确认确定了球B的位置。
以上，针对挥杆运动图像摄影处理之中用于执行球位置确定处理的功能构成进行了说明。
接着，针对挥杆运动图像摄影处理之中用于执行击球检测处理的功能构成进行说明。
图8是表示挥杆运动图像摄影处理之中用于执行击球检测处理的功能构成的功能框图。
在执行击球检测处理的情况下，如图8所示，在击球检测处理部54中，第二图像生成部541、击球阈值设定部542、击球评价图像生成部543、击球评价值计算部544、击球候补判定部545、击球判定部546、结束帧确定部547发挥作用。
第二图像生成部541生成判定为存在球之后紧接着的帧图像，作为用于检测击球的模板图像(以下称为“第二模板图像”)。第二模板图像是球处于区域框内的状态的图像。在本实施方式中，考虑强健性，将检测到球之后紧接着的帧用作第二模板图像。
第二图像生成部541之后将第二模板图像保存至信息存储部91。
击球阈值设定部542基于第一模板图像和第二模板图像，设定击球检测用的第二阈值。
第二阈值使用第一模板图像和第二模板图像之间的差分值。这样的第二阈值基于最近的处理的第一模板图像和第二模板图像来决定，所以适用性地进行设定。
击球评价图像生成部543生成用于检测击球的评价图像(以下称为“第三评价图像”)。第三评价图像由取帧间的差分的图像(以下称为“第一差分图像”)、第二模板图像和帧图像之间的差分图像(以下称为“第二差分图像”)构成。
击球评价值计算部544计算球所位于的坐标内(球框内)即击球检测区域的第一差分图像的评价值(以下称为“第一评价值”)、和第二差分图像的评价值(以下称为“第二评价值”)。以下，将第一评价值和第二评价值总称为“击球评价值”。
击球候补判定部545进行检测评价值具有急剧的变动的击球的瞬间的判定。即，击球候补判定部545判定第一评价值和第二评价值是否均为第三阈值以上。在该情况下，在击球候补判定部545判定出第一评价值和第二评价值均为第三阈值以上的情况下，判定为存在击球检测。
击球判定部546对成为稳定状态的击球后产生的特有状态进行检测，该稳定状态下第一评价值不再变动且第二评价值持续为一定以上的值。即，击球判定部546判定第一评价值是否为第三阈值以下、并且第二评价值是否为第三阈值以上且在第三阈值以上的状态持续一定期间。在该情况下，击球判定部546在第一评价值为第三阈值以下，并且第二评价值为第三阈值以上且在第三阈值以上的状态持续一定期间的情况下，检测为存在击球。
这里，说明击球判定。
图9是表示击球附近的击球评价值的变动的一例的图表。在图9中，横轴表示帧数，纵轴表示击球评价值的值。此外，a线表示第一评价值，b线表示第二评价值。
如图9的例子所示，在区域框内不存在球棒通过等的情况下，击球评价值没有变动(帧数：从0至1300附近，击球评价值：从0至1000附近)，但是在区域框内存在球棒通过等的情况下，击球评价值产生变动(帧数：从1300附近至1600附近，击球评价值：从1000至3000附近)。在该情况下，由于球停止于区域框内不变，所以变动的幅度较小。
之后，在存在击球的情况(击球的瞬间)下，急剧发生变动(帧数：1650附近，击球评价值：上升至6000附近)，之后成为稳定状态(帧数：1650附近以后，击球评价值：稳定于5000附近)。详细来说，在存在击球的情况(击球的瞬间)下，第一评价值以及第二评价值急剧上升(例如，4500以上)。并且，在刚刚击球之后，成为第二评价值持续维持一定以上的状态的状态(例如，在100帧期间持续为4500以上)。
图10是表示击球附近的击球评价值的变动的其他例子的图表。在图10中，与图9同样地，横轴表示帧数，纵轴表示击球评价值。此外，a线表示第一评价值，b线表示第二评价值。
图10的例子虽然因轻挥动和空抡等而通过区域框内的状态较多，与图9的例子相比变动不同，但是击球的瞬间、刚刚击球之后的状态遵循同样的变动。具体来说，在存在击球的情况(击球的瞬间)下，急剧发生变动(帧数：1500附近，击球评价值：上升至8000附近)，之后成为稳定状态(帧数：1500附近以后，击球评价值：稳定于7000附近)。详细来说，在存在击球的情况下，第一评价值以及第二评价值急剧上升(例如，4500以上)。并且，在刚刚击球之后，成为第二评价值持续维持一定以上的状态的状态(例如，在100帧期间持续4500以上)。
如图9以及图10的例子所示，在击球以外的部分中，由于向区域框的进入而存在各种变动，但是关于击球的瞬间、刚刚击球之后的变动存在规则性。由此，在进行击球的判定情况下，判定满足该规则性的击球评价值的变动即可。
关于击球的判定，首先，第一判定击球的瞬间的变动，第二判定刚刚击球之后的变动。
成为第一判定的击球的瞬间的变动，判定第一评价值和第二评价值是否均为第三阈值以上。
并且，关于成为第二判定的刚刚击球之后的变动，判定是否第一评价值为第三阈值以下，并且第二评价值为第三阈值以上且为第三阈值以上的状态持续一定期间。
结束帧确定部547将从检测到击球的帧开始经过给定帧(时间)后的帧确定为存储为运动图像的最后的帧即结束帧。
以上，针对挥杆运动图像摄影处理之中用于执行击球检测处理的功能构成进行了说明。
接着，针对挥杆运动图像摄影处理之中用于执行瞄准检测处理的功能构成进行说明。
图11是表示挥杆运动图像摄影处理之中用于执行瞄准检测处理的功能构成的功能框图。
在执行瞄准检测处理的情况下，如图11所示，在提取时刻确定部55中，击球前帧获取部551、基准区域设定部552、瞄准判定部553发挥作用。
在存储部19的一个区域中设置瞄准检测识别器92。
瞄准检测识别器92，作为学习样本，使用瞄准姿势的图像数据组即正样本、和瞄准姿势以外的图像数据组即负样本，例如，通过基于HOG(Histograms of OrientedGradients)特征量和AdaBoost(Adaptive Boosting)的机械学习来构筑。关于瞄准检测识别器92，详细来说是通过计算正样本以及负样本的各图像数据的边缘方向直方图的特征即HOG特征量来构筑弱识别器，并对构筑的弱识别器进行加权来构筑的强识别器。
所谓“正样本”，包含各种人的高尔夫球挥杆的瞄准姿势的图像数据。此外，所谓“负样本”，除了完全不包含人的图像数据以外，也包含不是瞄准姿势的人的图像数据。通过使用这样的学习样本来进行机械学习，能够形成越是接近瞄准姿势的姿势，则越能够严格地进行识别的强识别器。
击球前帧获取部551从环形缓冲器71获取检测到击球的帧以前的帧。
基准区域设定部552在由击球前帧获取部551获取的帧内，设定包含挥杆者在内的给定大小的基准区域。
这里，在本实施方式中，所谓“基准区域”是包围瞄准姿势的用户以及高尔夫球的区域。
瞄准判定部553使用瞄准检测识别器92，从击球以前的帧之中，将基准区域中的特征量最高的帧判定为瞄准时的帧。
具体来说，瞄准判定部553对于击球以前的每一个帧，按照时间序列的顺序使用瞄准检测识别器92进行是否为瞄准的帧的判定。其结果是，将输出最高的帧检测为瞄准的帧。
击球和瞄准虽然是酷似的姿势，但是通过上述那样从击球以前的帧中检测瞄准的帧，能够防止将击球的帧误检测为瞄准的帧，能够进行精度更高的瞄准检测。
图12是说明具有图3的功能构成的摄像装置1所执行的挥杆运动图像摄影处理的流程的流程图。
挥杆运动图像摄影处理以用户向输入部17指示挥杆运动图像摄影处理的开始的给定操作作为契机而开始。
在步骤S1中，进入检测处理部51执行进入检测处理。即，进入检测处理部51例如检测球手为了放置球等而人等物体向摄影区域的进入。
在步骤S2中，缓冲器存储控制部52启动环形缓冲器71。即，缓冲器存储控制部52控制环形缓冲器71，使其存储成为运动图像的帧的数据。由此开始录像。
在步骤S3中，位置确定处理部53执行球位置确定处理。在球位置确定处理中，位置确定处理部53检测帧中有无球，并决定存在球的情况下的帧中的球的位置(球的中心位置的坐标)。
在步骤S4中，击球检测处理部54执行击球检测处理。在击球检测处理中，击球检测处理部54在环形缓冲器71的各帧之中确定击球的帧，进行击球的检测。此外，通过进行击球的检测，决定挥杆的结束时期。在本实施方式中，将从检测到击球的帧开始经过给定时间后的帧作为挥杆的结束时期。
在步骤S5中，提取时刻确定部55执行瞄准检测处理。在瞄准检测中，在由击球检测处理部54进行了击球的检测的帧以前的各帧之中确定瞄准的帧，进行瞄准的检测。
在步骤S6中，缓冲器存储控制部52在挥杆的结束时期的帧到来后中止环形缓冲器71。即，缓冲器存储控制部52对环形缓冲器71进行控制，使得停止成为运动图像的帧的数据的存储。由此录像结束。
在步骤S7中，运动图像存储控制部56保存运动图像。即，运动图像存储控制部56对运动图像存储部72进行控制，使得从环形缓冲器71所存储的帧中提取并保存挥杆的开始时期与结束时期的期间之间的运动图像。
在步骤S8中，检测是否存在用户对输入部17的结束按钮的操作。
在不存在结束按钮的操作的情况下，在步骤S8中判断为“否”，处理返回步骤S1。之后，执行步骤S1以后的处理。即，直至进行结束按钮的操作为止，从进入检测开始重复挥杆的摄影以及运动图像的保存。
相对于此，在存在结束按钮的操作的情况下，在步骤S8中判断为“是”，挥杆运动图像摄影处理结束。
以上，说明了挥杆运动图像摄影处理的流程。
接着，针对挥杆运动图像摄影处理之中进入检测处理的详细流程进行说明。
图13是说明具有图4的功能构成的摄像装置1所执行的挥杆运动图像摄影处理之中进入检测处理的详细流程的流程图。
进入检测处理以用户向输入部17指示进入检测处理的开始的给定操作作为契机来开始。
在步骤S31中，区域框设定部511在摄影区域中的给定区域中设定区域框。例如，区域框如图7A所示，是预想为在摄影区域中放置球的区域。
在步骤S32中，进入检测处理部51使帧增加。即，进入检测处理部51进行帧的更新处理。
在步骤S33中，第一评价图像生成部512生成进入检测用的第一评价图像。详细来说，第一评价图像生成部512将根据原始图像生成的多个边缘图像在时间方向上进行平滑化后得到的1次微分的边缘图像作为第一评价图像来生成。
在步骤S34中，第一阈值设定部513判断第一阈值的设定是否完成。
在第一阈值的设定完成的情况下，在步骤S34中判断为“是”，处理进入步骤S36。步骤S36以后的处理后述。
在第一阈值的设定未完成的情况下，在步骤S34中判断为“否”，处理进入步骤S35。
在步骤S35中，第一阈值设定部513基于数帧间的以像素为单位的变动，对于区域框内的所有像素进行第一阈值的设定。
在步骤S36中，进入判定部514进行进入判定。即，进入判定部514判定成为判定对象的帧是否超出由第一阈值设定部513决定的第一阈值。进入判定部514在帧超出第一阈值的情况下，判定为存在进入，在未超出第一阈值的情况下，判定为不存在进入。详细来说，根据帧的各画素中的给定数量是否超出按每像素决定的阈值来进行进入的判定。
在不存在进入的情况下，在步骤S36中判定为“否”，处理返回步骤S32。之后，进行步骤S32以后的处理。
相对于此，在存在进入的情况下，在步骤S36中判定为“是”，处理进入步骤S37。
在步骤S37中，第一图像生成部515将第一模板图像保存在信息存储部91中。通过将检测到进入的图像设为用于击球检测的第一模板图像，能够提高强健性。
之后，进入检测处理结束。
以上，针对挥杆运动图像摄影处理之中进入检测处理的详细流程进行了说明。
接着，针对挥杆运动图像摄影处理之中球位置确定处理的详细流程进行说明。
图14是说明具有图6的功能构成的摄像装置1所执行的挥杆运动图像摄影处理之中球位置确定处理的详细流程的流程图。
球位置确定处理以用户向输入部17指示球位置确定处理的开始的给定操作作为契机来开始。
在步骤S51中，第二阈值设定部531基于进入检测前的数帧间的以像素为单位的变动，对区域框内的所有像素设定第一阈值。
在步骤S52中，位置确定处理部53对帧进行增加。即，位置确定处理部53进行帧的更新处理。
在步骤S53中，第二评价图像生成部532生成用于球检测的第二评价图像。详细来说，第二评价图像生成部532将根据原始图像生成的多个边缘图像在时间方向上进行平滑化后得到的1次微分的边缘图像作为第二评价图像来生成。
在步骤S54中，静止评价值计算部533计算静止评价值。详细来说，静止评价值计算部533对第二评价图像的各像素为第二阈值以上的像素进行计数，计算静止评价值。
在步骤S55中，分散计算部534计算分散评价值。详细来说，分散计算部534计算成为第二阈值以上的像素的坐标值的平均坐标值，计算以算出的平均坐标值为中心的局部区域中的分散评价值。
在步骤S56中，球判定部535判定是否仅存在球。即，球判定部535基于静止评价值，判定区域内是否为静止状态，进一步地，判定是否分散评价值收敛于一定的范围内且为仅存在球的状态。
在不存在球或者还存在球以外的物体的情况下，在步骤S56中判定为“否”，处理返回步骤S51。之后进行步骤S51以后的处理。
相对于此，在仅存在球的情况下，在步骤S56中判定为“是”，处理进入步骤S57。
在步骤S57中，球判定部535进行状态持续判定，进一步判定在给定时间内是否为仅放置了球的状态。
在不是给定时间内仅放置了球的状态的情况下，在步骤S57中判定为“否”，处理返回步骤S51。之后进行步骤S51以后的处理。
相对于此，在是给定时间内仅放置了球的状态的情况下，在步骤S57中判定为“是”，处理进入步骤S58。
在步骤S58中，位置确定部536确定球位置。即，位置确定部536基于在局部区域内计算出的平均坐标，计算球坐标，将该球坐标确定为球位置。
在步骤S59中，位置确定部536进行球位置的反映。即，位置确定部536进行球位置信息的更新显示。即，位置确定部536对信息存储部91中存储的球位置信息进行更新，并且与实时取景图像重叠显示，以便对于输出部18示意性地显示球的位置。之后，球位置确定处理结束。
具体来说，如图7B所示，标记M重叠显示在输出部18的区域框R内的实时取景图像中显示的球B上。
以上，针对挥杆运动图像摄影处理之中球位置确定处理的详细流程进行了说明。
接着，针对挥杆运动图像摄影处理之中击球检测处理的详细流程进行说明。
图15是说明具有图8的功能构成的摄像装置1所执行的挥杆运动图像摄影处理之中击球检测处理的详细流程的流程图。
击球检测处理以用户向输入部17指示击球检测处理的开始的给定操作作为契机来开始。
在步骤S71中，第二图像生成部541将第二模板图像保存在信息存储部91中。
在步骤S72中，击球阈值设定部542基于第一模板图像和第二模板图像来设定第三阈值。
在步骤S73中，击球检测处理部54对帧进行增加。即，击球检测处理部54进行帧的更新处理。
在步骤S74中，击球评价图像生成部543生成第三评价图像(第一差分图像以及第二差分图像)。
在步骤S75中，击球评价值计算部544计算击球评价值(第一评价值以及第二评价值)。
在步骤S76中，击球候补判定部545进行是否存在击球的候补的判定(击球候补判定)。即，击球候补判定部545判定第一评价值和第二评价值是否均为第二阈值以上。这里，判定击球的瞬间。
具体来说，如图9的例子所示，将帧数：1650附近作为存在第一击球来判定。此外，在表示不同的变动的图10的例子中，将帧数：1100附近、1300附近、1500附近作为存在第一击球来判定。
在不存在击球的情况下，在步骤S76中判定为“否”，处理返回步骤S73。之后，进行步骤S73以后的处理。
相对于此，在存在击球的情况下，在步骤S76中判定为“是”，处理进入步骤S77。
在步骤S77中，击球判定部546判定击球候补是否为实际的击球(击球判定)。即，击球判定部546判定是否第一评价值为第三阈值以下，并且第二评价值为第三阈值以上且为第三阈值以上的状态持续一定期间。这里，判定击球后的稳定状态。
具体来说，在图9的例子中，将1650附近以后判定为击球。此外，在表示不同的变动的图10的例子中，将1500附近以后判定为是击球。
因此，作为最终检测到的击球，在图9的例子中，成为在击球候补判定以及击球判定中判定为实际的击球的1650附近，在图10的例子中，成为1500附近。
在不存在击球的情况下，在步骤S77中判定为“否”，处理返回步骤S73。之后，进行步骤S73以后的处理。
相对于此，在进一步存在击球的情况下，在步骤S77中判定为“是”，处理进入步骤S78。
在步骤S78中，结束帧确定部547将从检测到的击球起给定帧后(经过给定时间后)的帧确定为结束帧。之后，击球检测处理结束。
以上，针对挥杆运动图像摄影处理之中击球检测处理的详细流程进行了说明。
接着，针对挥杆运动图像摄影处理之中瞄准检测处理的详细流程进行说明。
图16是说明具有图11的功能构成的摄像装置1所执行的挥杆运动图像摄影处理之中瞄准检测处理的详细流程的流程图。
瞄准检测处理以用户向输入部17指示瞄准检测处理的开始的给定操作作为契机来开始。
在步骤S91中，击球前帧获取部551从环形缓冲器71中获取检测到击球的帧以前的帧。
在步骤S92中，基准区域设定部552在由击球前帧获取部551获取的帧内，设定包含挥杆者在内的给定大小的基准区域。
在步骤S93中，瞄准判定部553进行是否存在瞄准的判定。即，瞄准判定部553使用瞄准检测识别器92，从击球以前的帧之中，将基准区域中的特征量最高的帧判定为瞄准时的帧。
在不存在瞄准的情况下，在步骤S93中判定为“否”，直至存在瞄准为止对各帧进行判定。
相对于此，在存在瞄准的情况下，在步骤S93中判定为“是”，瞄准检测处理结束。
接着，针对与上述的瞄准检测的方法不同的其他方法进行说明。
瞄准例如能够通过进行与拍摄了瞄准的状态的图像之间的匹配来进行检测。但是，由于瞄准和击球中挥杆者的姿势酷似、在至瞄准的期间为止会多次取得瞄准的形态等事项，若仅通过图像的匹配则瞄准的误检测的可能性较高。
因此，在本例中，不采用仅选择一致率最高的图像等的匹配，而针对考虑了高尔夫球的挥杆的特性的检测精度较高的瞄准检测的方法进行说明。
此外，在瞄准检测中，使用在存储部19等中预先存储的识别器。在瞄准检测中，根据使用识别器而将与瞄准的姿势的图像之间的匹配程度进行数值化后得到的识别得分来计算。
在本瞄准检测中，首先，从运动图像中，通过各种方法来确定击球的帧。另外，针对击球检测，使用利用了球的位置变化的检测等已有的击球检测技术。
在瞄准检测中，在通过击球检测从运动图像之中确定了包含击球在内的给定帧图像后，对于比包含确定出的击球在内的给定帧更往前拍摄到的各帧，适用识别器，来记录识别得分。
在瞄准检测中，从检测到的击球的帧以前的帧之中确定相应的瞄准的帧。这是由于，在高尔夫球的挥杆中存在以下特性，即，从瞄准起开始一系列的动作即挥杆，中途进行击球这样的挥杆动作的顺序的特性。
关于瞄准的帧，首先，大致确定包含瞄准的帧在内的给定期间的帧组，之后，从包含瞄准的帧在内的给定期间的帧组之中确定相应的帧，由此检测瞄准的帧。
包含瞄准的帧在内的给定期间的帧组，在识别得分为一定阈值以上且稳定发生变动的期间中确定。
这是由于，在高尔夫球的挥杆中，在瞄准附近的动作中，从成为瞄准的动作开始进行瞄准，之后转移至瞄准以后的动作，这之间存在给定期间，该期间成为类似瞄准的姿势。
此外，在识别得分为一定的阈值以上且稳定进行变动的期间存在多个的情况下，将属于时间上最接近包含击球在内的帧的期间的帧作为包含瞄准的帧在内的给定期间的帧组。与包含击球在内的帧最接近的帧组成为确定瞄准的要素是由于，高尔夫球的挥杆是从瞄准开始直至击球为止的一系列的动作。
在瞄准检测中，之后，在如上述那样确定的帧组之中，将识别得分的变化最大且识别得分的倾斜急剧变化的帧确定为与瞄准相应的帧。另外，在本实施方式中，识别得分的变化根据帧组中的识别得分的2次微分值来推断。
图17是表示包含击球在内的帧以前的帧的识别得分的变迁的一例的图表。
另外，在图表中，纵轴表示识别得分的值，横轴表示时间。此外，粗线表示识别器的输出值即识别得分，细线表示实施了低通滤波处理的识别得分，虚线表示给定区间中的2次微分值。
如图17的例子所示可知，关于识别得分，击球的周边的帧以及包含瞄准在内的瞄准附近的帧示出较高的值。击球由于通过其他方法来检测，所以不将击球附近的帧检测为瞄准的帧。
关于超出由实验等经验性导出的给定阈值(Th)的期间超过给定时间(给定帧数)而稳定地发生变动的帧组，包含在变动较少的期间中，作为结果可知，成为包含瞄准的帧在内的给定期间的帧组。
并且，包含瞄准的帧在内的给定期间的帧组之中、成为根据属于期间T的帧求出的2次微分值的最大值(2次微分值MAX)的帧成为瞄准的帧。
因此，在本瞄准检测的方法中，考虑高尔夫球的挥杆的特性，能够以较高的精度检测瞄准的帧。
接着，说明收杆检测的其他方法。针对收杆，虽然将从击球的帧开始经过给定时间后的帧作为收杆的帧，但是并不限于此，能够采用其他方法来检测。
另外，针对收杆的检测，与瞄准的检测同样地，使用用于检测的专门的识别器来进行处理。此外，针对击球的检测，与瞄准的检测同样地，使用已有的击球检测技术。
关于收杆检测，首先，针对进行了击球检测的帧以后的帧，通过识别器导出帧的识别得分，并导出对于导出的识别得分采用低通滤波器以减少噪声为目的进行了处理后的识别得分(以下称为“噪声减少后的识别得分”)，并分别记录。
将检测到的击球以后的帧作为检测对象是由于收杆为击球之后的动作。
关于收杆检测，使用导出的识别得分以及噪声减少后的识别得分来进行。首先，收杆的检测通过以下方式来进行，即，确定属于以下期间的帧组，该期间是：识别得分超出给定阈值的状态在一定期间内持续、然后识别得分位于比该给定阈值高的其他阈值与给定阈值之间的期间持续一定期间的期间。由此，在收杆的检测中，能够确定更近似于收杆的姿势并且直至收杆被解除为止的期间。
此外，收杆检测通过以下方式来进行，即，在确定的帧组之中，确定距离检测到击球的帧最近的帧组。该期间的帧组成为包含收杆的帧在内的帧组。
在高尔夫球的挥杆中，存在例如由于个人癖好等而在收杆后模拟地采取几次收杆的姿势，将距离检测到击球的帧最近的帧组作为包含收杆在内的帧组，由此排除该情形，确定作为挥杆动作的终点的收杆。
并且，在属于所确定的期间的帧之中，从噪声减少后的识别得分示出最高的值的帧中确定收杆的帧。其结果是，可确定没有噪声的距离挥杆的结束动作最近的帧。
图18是表示包含击球在内的帧以后的帧的识别得分的变迁的一例的图表
另外，在图表中，纵轴表示识别得分的值，横轴表示时间。此外，粗线表示识别器的输出值即识别得分，细线表示噪声减少后的识别得分。
如图18的例子所示那样可知，在击球以后，随着渐渐接近收杆的动作而识别得分变高。并且，识别得分在一定期间内表现较高的值之后急剧降低。在一定期间内表现较高的值之后识别得分急剧降低是由于在收杆后停止挥杆动作。
可知在超出根据实验等经验性地导出的给定阈值(Th_A)的期间超过给定时间(给定帧数)，之后阈值(Th_A)和根据实验等经验性导出的给定阈值(Th_B)之间的一定期间(收杆判定期间)成为包含收杆在内的帧组。
并且，在包含收杆的帧在内的给定期间的帧组之中，表现最高的值(峰值)的噪声减少后的识别得分的帧成为收杆的帧。
因此，在本收杆检测的方法中，考虑高尔夫球的挥杆的特性，能够以较高的精度来检测收杆的帧。
另外，上述瞄准检测以及收杆检测涉及的处理能够由提取时刻确定部55来执行。
根据以上的摄像装置1，具备CPU11、摄像部16、击球检测处理部54、提取时刻确定部55、运动图像存储控制部56。
CPU11获取由摄像部16拍摄到的运动图像。
击球检测处理部54确定由CPU11获取到的运动图像中的给定时刻。
提取时刻确定部55基于由击球检测处理部54确定的提取的时刻，确定运动图像中的提取的开始时刻以及/或者提取的结束时刻。
运动图像存储控制部56基于由提取时刻确定部55确定的提取的开始时刻、以及/或者结束时刻，从运动图像中提取给定期间的运动图像。
由此，在摄像装置1中，基于由提取时刻确定部55确定的开始时刻或结束时刻，从运动图像中提取给定期间的运动图像，所以用户能够提取希望的期间的运动图像。
此外，击球检测处理部54通过运动图像中的帧间的差分值、以及/或者基于模板匹配的差分值来确定给定时刻。
由此，在摄像装置1中，能够提高给定时刻的确定的精度。
此外，击球检测处理部54进一步包括：判定模板匹配的差分值是否在给定阈值以上的击球候补判定部545；判定与由击球候补判定部545判定为在给定阈值以上的阈值相对应的帧的持续状态的击球判定部546；击球检测处理部54基于击球判定部546的判定结果，确定给定时刻。
由此，在摄像装置1中，能够提高给定时刻的确定的精度。
此外，提取时刻确定部55计算针对运动图像的各帧的基于模板匹配的值。
此外，提取时刻确定部55基于由击球评价值计算部544计算出的值，确定开始时刻以及/或者结束时刻。
由此，在摄像装置1中，由于能够进行以针对运动图像的各帧的基于模板匹配的值为基准的开始时刻和结束时刻，所以能够进行精度较高的开始时刻和结束时刻的确定。
此外，提取时刻确定部55进一步计算基于模板匹配的值的变位。
此外，提取时刻确定部55将在给定时刻以前由击球评价值计算部544计算出的变位最大的时刻确定为开始时刻以及/或者结束时刻。
由此，在摄像装置1中，由于能够进行以基于模板匹配的值的变位为基准的开始时刻和结束时刻，所以能够进行精度较高的开始时刻和结束时刻的确定。
此外，提取时刻确定部55从在给定时刻以后基于模板匹配的值为给定阈值以上的给定期间中，将该模板匹配的值最大的时刻确定为开始时刻以及/或者结束时刻。
由此，在摄像装置1中，由于能够进行以模板匹配的值最大的时刻为基准的开始时刻和结束时刻，所以能够进行精度较高的开始时刻和结束时刻的确定。
此外，摄像装置1还具备存储与提取的时刻相对应的模板匹配用的图像数据的环形缓冲器71。
提取时刻确定部55基于环形缓冲器71中存储的图像数据，将给定期间中的该运动图像的提取的开始时刻以及/或者提取的结束时刻确定为提取的时刻。
由此，在摄像装置1中，能够提高给定时刻的确定的精度。
此外，提取时刻确定部55从给定时刻以前的帧中确定运动图像的提取的开始时刻，从给定时刻以后的帧中确定提取的结束时刻。
由此，在摄像装置1中，由于能够进行以给定时刻为基准的开始时刻和结束时刻，所以能够进行精度较高的开始时刻和结束时刻的确定。
此外，运动图像是进行高尔夫球的挥杆的挥杆者的动作的运动图像。
击球检测处理部54将击球的时刻确定为给定时刻。
提取时刻确定部55将瞄准的时刻确定为开始时刻，将收杆的时刻确定为结束时刻。
由此，在摄像装置1中，在高尔夫球的挥杆中，能够提取以瞄准作为开始时刻且以收杆作为结束时刻的运动图像。
另外，本发明不限定为上述的实施方式，在能够达成本发明的目的的范围中的变形、改良等也包含在本发明中。
在上述的实施方式中，构成为，在挥杆运动图像摄影处理中，将帧向环形缓冲器71进行暂时存储，以便作为挥杆者的用户不会意识到摄像装置1侧的定时而按照自己的定时进行挥杆。
在挥杆中，由于在击球前一定存在挥起球棒的动作，所以有在区域框内仅放置了球的状况。因此，不必从挥杆的开始前完成球检测。在该情况下，需要在进入检测后进行向环形缓冲器71的存储。
但是，不限于上述的实施方式，为了提高球的检测和位置确定的精度，也可以构成为在挥杆的开始前进行球检测。但是，在该情况下，例如，必须要采取动作使球棒不进入区域框内等，从而形成在区域框内仅放置了球的状态。
上述的实施方式与本例相比较，在准确性(例如球的检测率)的观点方面使用本例的方法有效果，在可用性(例如高尔夫球的连续动作性)的观点方面，使用上述的实施方式的方法有效果。
此外，在上述的实施方式中，虽然采用特定方法来进行击球检测，使用击球检测的结果来进行瞄准检测，但是不限于此。击球检测以及瞄准检测可以使用各种方法，也可以利用各种方法而仅使用瞄准检测。
此外，在上述的实施方式中，作为运动图像的开始时刻对与挥杆的开始时期即瞄准相对应的开始时刻进行了保存，作为结束时刻对与挥杆的结束时期的收杆相对应的结束时刻进行了保存，对这两个时间进行了保存，但是也可以仅是开始时刻，或者仅是结束时刻。此外，可以构成为将给定时刻作为运动图像的时间轴的中心。在该情况下，将从给定时刻起给定时间或给定帧前作为开始时刻，从给定时刻起给定时间或者给定帧后作为结束时刻。
此外，记载了在收杆的帧的检测时，将从击球的帧开始经过给定时间后的帧检测为收杆的帧的情况、和使用给定阈值检测收杆的帧的情况，但是收杆的帧的判定方法不限于此。
例如，也可以与瞄准的检测同样地，使用用于检测收杆的帧的识别器的检测用信息，检测收杆的帧。
此外，反之，也可以在瞄准的检测时，将从击球的帧起给定时间前的帧和具有给定阈值以上的帧检测为瞄准的帧。
此外，在上述的实施方式中，分别概念性地说明了基于模板的第二评价值和基于识别器的识别得分，但是由于模板的概念和识别器的概念实质上相同，所以各击球、收杆、瞄准的检测的方法可以适用上述任何方法。
此外，在上述的实施方式中，虽然构成为为了运动图像的容量削减以及检索性的提高而检测挥杆的开始时期即瞄准的构成，但是不限于此。也可以构成为，将挥杆的确定的姿势以后保存为运动图像，或者将从确定的姿势和状态开始直至确定的姿势和状态为止保存为运动图像。
此外，在上述的实施方式中，虽然以高尔夫球的挥杆为例进行了说明，但是不限于此。不限于高尔夫球以外的其他的运动，能够构成为检测确定的动作和状态，在给定的动作和状态之间保存运动图像。
此外，在上述的实施方式中，虽然以高速照相机为例，但是不限于此，也可以是能够拍摄运动图像的通常的数字照相机。
此外，在上述的实施方式中，以数字照相机为例对适用本发明的摄像装置1进行了说明，但是没有特别限定于此。
例如，本发明能够适用于具有挥杆运动图像摄影功能的电子设备。具体来说，例如，本发明能够适用于笔记本型的个人计算机、打印机、电视接收机、录像机、便携式导航装置、智能机、便携式电话机、便携式游戏机等。
上述一系列的处理也能够通过硬件来执行，也能够通过软件来执行。
换言之，图3的功能构成不过是例示，不是特别限定于此。即，摄像装置1只要具备能够将上述一系列的处理作为整体来执行的功能即可，为了实现该功能而使用什么样的功能模块不是特别限定于图3的例子。
此外，1个功能模块可以由硬件单体构成，也可以由软件单体构成，也可以由它们的组合构成。
在由软件来执行一系列的处理的情况下，构成该软件的程序从网络和记录介质中安装至计算机等中。
计算机可以是组装入专用的硬件的计算机。此外，计算机也可以是能够通过安装各种程序而执行各种功能的计算机，例如通用的个人计算机。
包含这样的程序的记录介质，不仅由为了对用户提供程序而与装置主体另外分布的图2的可移动介质31构成，还由在预先组装入装置主体的状态下提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘或者光磁盘等构成。光盘例如由CD-ROM(Compact Disk -Read Only Memory)、DVD(Digital Versatile Disk)、BD(Blu-ray Disc)等构成。光磁盘由MD(Mini-Disk)等构成。此外，在预先安装入装置主体的状态下提供给用户的记录介质，例如，由记录有程序的图2的ROM12和包括在图2的存储部19中的硬件等构成。
另外，本说明书中，关于对记录介质中记录的程序进行记述的步骤，当然包括遵照其顺序按照时间序列来进行的处理，也包括不按照时间序列来处理而并行或者个别执行的处理。
以上，说明了本发明的几个实施方式，但是这些实施方式不过是例示，不是限定本发明的技术的范围。本发明能够取其他各种实施方式，进一步地，在不脱离本发明的要旨的范围内，能够进行省略和置换等各种变更。这些实施方式及其变形包括在本说明书等中记载的发明的范围和要旨中，并且也包括专利权利要求书的范围中记载的发明及其等同的范围中。

Claims (14)

1.一种运动图像提取装置，其特征在于，具备：
获取单元，其获取拍摄到被摄体的一系列动作的第1运动图像；
阈值判定单元，其判定与由上述获取单元获取的第1运动图像中的帧图像对应的基于模板匹配的评价值是否在给定阈值以上；
状态判定单元，其判定具有由上述阈值判定单元判定为在给定阈值以上的评价值的多个帧图像的持续状态；
确定单元，其基于上述状态判定单元的判定结果来确定拍摄到上述被摄体的第1状态的第1帧图像的给定时刻；
判定单元，其将由上述确定单元确定的上述给定时刻作为基准，对该时刻之前的帧图像，进行是否有满足给定条件的第2帧图像的判定；以及
提取单元，其在由上述判定单元判定为有满足上述给定条件的第2帧图像的情况下，根据上述第1帧图像和上述第2帧图像从上述第1运动图像中提取第2运动图像。
2.根据权利要求1所述的运动图像提取装置，其特征在于，
上述确定单元根据上述第1运动图像中的相邻帧图像间的差分值、以及上述评价值来确定给定时刻。
3.根据权利要求1所述的运动图像提取装置，其特征在于，
上述判定单元具备：计算针对上述第1运动图像的各帧图像的基于上述模板匹配的评价值的计算单元。
4.根据权利要求3所述的运动图像提取装置，其特征在于，
上述计算单元还通过上述模板匹配计算连续的帧图像中的评价值的变化，
上述提取单元，通过上述判定单元，将在上述给定时刻之前的时刻中上述评价值的变化最大、且最接近上述给定时刻的时刻作为提取的开始时刻来提取上述第2运动图像。
5.根据权利要求3所述的运动图像提取装置，其特征在于，
上述提取单元从在上述给定时刻之后基于上述模板匹配的评价值为给定阈值以上的期间中，将该模板匹配得到的评价值最大的时刻作为提取的结束时刻来提取上述第2运动图像。
6.根据权利要求1所述的运动图像提取装置，其特征在于，
上述运动图像提取装置还具备存储第1图像的存储单元，上述判定单元，基于上述存储单元中存储的上述第1图像，对构成上述第1运动图像的帧图像，进行是否与第1帧图像类似的判定。
7.根据权利要求1所述的运动图像提取装置，其特征在于，
上述提取单元，从上述给定时刻以前的帧图像中提取与开始时刻对应的图像，从上述给定时刻以后的帧图像中提取与结束时刻对应的图像。
8.根据权利要求6所述的运动图像提取装置，其特征在于，
上述第1运动图像是进行挥杆的挥杆者的动作的运动图像，
上述确定单元将击球的时刻确定为上述给定时刻，
上述判定单元，以上述给定时刻为起点判定上述第1运动图像中的各帧图像是否与上述第1图像类似，
由上述判定单元判定为满足给定条件的多个帧图像中最接近上述给定时刻的时刻的帧图像，是作为开始时刻的挥杆的准备姿势的时刻的图像、或作为结束时刻的挥杆的收杆姿势的时刻的图像。
9.根据权利要求1所述的运动图像提取装置，其特征在于，
上述第1运动图像，是包含进行一系列的动作的被摄体的运动图像，
上述确定单元，将在上述第1运动图像中包含上述一系列的动作中的特征性的动作的图像被显示的时刻确定为上述给定时刻。
10.一种运动图像提取装置，其特征在于，具备：
获取单元，其获取拍摄到被摄体的一系列动作的第1运动图像；
确定单元，其确定由上述获取单元获取的第1运动图像中拍摄到上述被摄体的第1状态的第1帧图像的给定时刻；
判定单元，其将由上述确定单元确定的上述给定时刻作为基准，对该时刻之前的帧图像，进行是否有满足给定条件的第2帧图像的判定；以及
提取单元，其在由上述判定单元判定为有满足上述给定条件的第2帧图像的情况下，根据上述第1帧图像和上述第2帧图像从上述第1运动图像中提取第2运动图像，
上述第1运动图像是进行挥杆的挥杆者的动作的运动图像，
上述确定单元根据上述第1运动图像中的相邻帧图像间的差分值、以及/或者针对上述第1运动图像中的帧图像的基于模板匹配的评价值来确定击球的时刻作为上述给定时刻，
由上述判定单元判定为满足给定条件的多个帧图像中最接近上述给定时刻的时刻的帧图像，是作为开始时刻的挥杆的准备姿势的时刻的图像、或作为结束时刻的挥杆的收杆姿势的时刻的图像。
11.一种运动图像提取方法，由运动图像提取装置执行，该运动图像提取方法的特征在于，包括：
获取步骤，获取拍摄到被摄体的一系列动作的第1运动图像；
阈值判定步骤，判定与由上述获取步骤获取的第1运动图像中的帧图像对应的基于模板匹配的评价值是否在给定阈值以上；
状态判定步骤，判定具有由上述阈值判定步骤判定为在给定阈值以上的评价值的多个帧图像的持续状态；
确定步骤，基于上述状态判定步骤的判定结果来确定拍摄到上述被摄体的第1状态的第1帧图像的给定时刻；
判定步骤，将由上述确定步骤确定的上述给定时刻作为基准，对该时刻之前的帧图像，进行是否有满足给定条件的第2帧图像的判定；以及
提取步骤，在由上述判定步骤判定为有满足上述给定条件的第2帧图像的情况下，根据上述第1帧图像和上述第2帧图像从上述第1运动图像中提取第2运动图像。
12.一种运动图像提取方法，由运动图像提取装置执行，该运动图像提取方法的特征在于，包括：
获取步骤，获取拍摄到被摄体的一系列动作的第1运动图像；
确定步骤，确定由上述获取步骤获取的第1运动图像中拍摄到上述被摄体的第1状态的第1帧图像的给定时刻；
判定步骤，将由上述确定步骤确定的上述给定时刻作为基准，对该时刻之前的帧图像，进行是否有满足给定条件的第2帧图像的判定；以及
提取步骤，在由上述判定步骤判定为有满足上述给定条件的第2帧图像的情况下，根据上述第1帧图像和上述第2帧图像从上述第1运动图像中提取第2运动图像，
上述第1运动图像是进行挥杆的挥杆者的动作的运动图像，
上述确定步骤根据上述第1运动图像中的相邻帧图像间的差分值、以及/或者针对上述第1运动图像中的帧图像的基于模板匹配的评价值来确定击球的时刻作为上述给定时刻，
由上述判定步骤判定为满足给定条件的多个帧图像中最接近上述给定时刻的时刻的帧图像，是作为开始时刻的挥杆的准备姿势的时刻的图像、或作为结束时刻的挥杆的收杆姿势的时刻的图像。
13.一种记录介质，记录有程序，该程序使运动图像提取装置中的计算机执行如下处理，包括：
获取处理，获取拍摄到被摄体的一系列动作的第1运动图像；
阈值判定处理，判定与由上述获取处理获取的第1运动图像中的帧图像对应的基于模板匹配的评价值是否在给定阈值以上；
状态判定处理，判定具有由上述阈值判定处理判定为在给定阈值以上的评价值的多个帧图像的持续状态；
确定处理，基于上述状态判定处理的判定结果来确定拍摄到上述被摄体的第1状态的第1帧图像的给定时刻；
判定处理，将由上述确定处理确定的上述给定时刻作为基准，对该时刻之前的帧图像，进行是否有满足给定条件的第2帧图像的判定；以及
提取处理，在由上述判定处理判定为有满足上述给定条件的第2帧图像的情况下，根据上述第1帧图像和上述第2帧图像从上述第1运动图像中提取第2运动图像。
14.一种记录介质，记录有程序，该程序使运动图像提取装置中的计算机执行如下处理，包括：
获取处理，获取拍摄到被摄体的一系列动作的第1运动图像；
确定处理，确定由上述获取处理获取的第1运动图像中拍摄到上述被摄体的第1状态的第1帧图像的给定时刻；
判定处理，将由上述确定处理确定的上述给定时刻作为基准，对该时刻之前的帧图像，进行是否有满足给定条件的第2帧图像的判定；以及
提取处理，在由上述判定处理判定为有满足上述给定条件的第2帧图像的情况下，根据上述第1帧图像和上述第2帧图像从上述第1运动图像中提取第2运动图像，
上述第1运动图像是进行挥杆的挥杆者的动作的运动图像，
上述确定处理根据上述第1运动图像中的相邻帧图像间的差分值、以及/或者针对上述第1运动图像中的帧图像的基于模板匹配的评价值来确定击球的时刻作为上述给定时刻，
由上述判定处理判定为满足给定条件的多个帧图像中最接近上述给定时刻的时刻的帧图像，是作为开始时刻的挥杆的准备姿势的时刻的图像、或作为结束时刻的挥杆的收杆姿势的时刻的图像。
CN201410108089.3A 2013-03-22 2014-03-21 运动图像提取装置、运动图像提取方法和记录介质 Active CN104065872B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013061073A JP5754458B2 (ja) 2013-03-22 2013-03-22 動画像抽出装置、動画像抽出方法及びプログラム
JP2013-061073 2013-03-22

Publications (2)

Publication Number Publication Date
CN104065872A CN104065872A (zh) 2014-09-24
CN104065872B true CN104065872B (zh) 2019-01-04

Family

ID=51553385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410108089.3A Active CN104065872B (zh) 2013-03-22 2014-03-21 运动图像提取装置、运动图像提取方法和记录介质

Country Status (3)

Country Link
US (1) US20140285718A1 (zh)
JP (1) JP5754458B2 (zh)
CN (1) CN104065872B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992443B2 (en) 2014-05-30 2018-06-05 Apple Inc. System and methods for time lapse video acquisition and compression
US9324376B2 (en) 2014-09-30 2016-04-26 Apple Inc. Time-lapse video capture with temporal points of interest
US9426409B2 (en) * 2014-09-30 2016-08-23 Apple Inc. Time-lapse video capture with optimal image stabilization
KR102352680B1 (ko) * 2015-07-24 2022-01-18 삼성전자주식회사 촬영 디바이스 및 그 제어 방법
KR101696812B1 (ko) * 2015-10-07 2017-01-17 이상은 골프 동영상 제공 서비스를 운영하는 방법과 시스템 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
CN110059661B (zh) * 2019-04-26 2022-11-22 腾讯科技（深圳）有限公司 动作识别方法、人机交互方法、装置及存储介质
JP7231573B2 (ja) * 2020-01-31 2023-03-01 Kddi株式会社 映像変換方法、装置およびプログラム
CN111913934A (zh) * 2020-07-08 2020-11-10 珠海大横琴科技发展有限公司 目标样本数据库构建方法、装置及计算机设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4341936B2 (ja) * 1998-12-25 2009-10-14 カシオ計算機株式会社 撮像方法および撮像装置
DE10127198A1 (de) * 2001-06-05 2002-12-19 Infineon Technologies Ag Vorrichtung und Verfahren zum Ermitteln einer physikalischen Adresse aus einer virtuellen Adresse unter Verwendung einer hierarchischen Abbildungsvorschrift mit komprimierten Knoten
US7283647B2 (en) * 2003-07-16 2007-10-16 Mcnitt Michael J Method and system for physical motion analysis and training of a golf club swing motion using image analysis techniques
JP4494837B2 (ja) * 2003-12-26 2010-06-30 Ｓｒｉスポーツ株式会社 ゴルフスウィング診断システム
US20050153785A1 (en) * 2004-01-14 2005-07-14 Dehchuan Sun Automatic instant video replay apparatus system for sporting
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP2006331271A (ja) * 2005-05-30 2006-12-07 Nippon Hoso Kyokai <Nhk> 代表画像抽出装置及び代表画像抽出プログラム
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
JP4396712B2 (ja) * 2006-09-15 2010-01-13 カシオ計算機株式会社 カメラ装置、撮影制御プログラム、及び、撮影制御方法
JP4513869B2 (ja) * 2008-02-13 2010-07-28 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
JP5515671B2 (ja) * 2009-11-20 2014-06-11 ソニー株式会社 画像処理装置、その制御方法およびプログラム
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5872829B2 (ja) * 2010-10-01 2016-03-01 株式会社レイトロン 動作解析装置
JP5750864B2 (ja) * 2010-10-27 2015-07-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
KR20140037896A (ko) * 2011-06-27 2014-03-27 챤?헝 스포츠 모션 비디오 분석 방법
US9032602B2 (en) * 2011-07-15 2015-05-19 The Boeing Company Methods and systems for in-process quality control during drill-fill assembly
JP6218351B2 (ja) * 2011-12-06 2017-10-25 ダンロップスポーツ株式会社 ゴルフスイングの診断方法

Also Published As

Publication number Publication date
CN104065872A (zh) 2014-09-24
JP5754458B2 (ja) 2015-07-29
JP2014186559A (ja) 2014-10-02
US20140285718A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
CN104065872B (zh) 运动图像提取装置、运动图像提取方法和记录介质
US11810321B2 (en) Methods and systems for multiplayer tagging using artificial intelligence
US9973711B2 (en) Content-based zooming and panning for video curation
CN105450911B (zh) 图像处理装置、图像处理方法
US9407804B2 (en) Method, apparatus, and non-transitory medium for generating a synthetic image from a series of captured images
US8896626B2 (en) Image capturing apparatus, image processing apparatus, control method thereof and program
CN104065875B (zh) 显示控制装置、显示控制方法以及记录介质
TW201203134A (en) Facial expression capturing method and apparatus therewith
CN103327234B (zh) 图像处理装置、以及图像处理方法
CN104065857B (zh) 摄像装置以及影像内容生成方法
US11695890B2 (en) Image capture device with an automatic image capture capability
CN103327235A (zh) 图像处理装置以及图像处理方法
CN103581522A (zh) 信息通知装置以及信息通知方法
CN105744179A (zh) 摄像装置、摄像控制方法
CN102542251A (zh) 被摄体检测装置以及被摄体检测方法
CN109460724B (zh) 基于对象检测的停球事件的分离方法和系统
US11399133B2 (en) Image capture device with an automatic image capture capability
CN102883102A (zh) 图像处理装置及图像处理方法
CN110351579A (zh) 一种视频的智能剪辑算法
CN104065873A (zh) 图像取得装置以及图像取得方法
KR101705836B1 (ko) 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법
CN108810398A (zh) 图像处理装置、图像处理方法以及记录介质
US10661142B2 (en) Movement analysis device for determining whether a time range between a start time and a completion time of a predetermined movement by a target person is valid, and movement analysis method and recording medium
CN110300254A (zh) 摄像装置、摄像方法以及记录介质
JP2019134204A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant