CN103657030A - 图像确定系统、图像确定装置及图像确定方法 - Google Patents

Abstract

本发明提供一种图像确定系统、图像确定装置及图像确定方法。图像确定系统(100)具备用具侧终端(1)和摄像装置(2)。用具侧终端(1)具备：接触检测部(104)，检测配备有用具侧终端(1)的第1物体与第2物体之间的位置关系是否成为规定状态；和无线处理部(107)，将成为规定状态的时间点所涉及的第1时刻信息发送至摄像装置(2)。摄像装置(2)具备：无线处理部(203)，接收从无线处理部(107)发送出的第1时刻信息；图像获取部(208a)，将由摄像单元逐次拍摄到的多个图像与该多个图像中的各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和图像确定部(208b)，在由图像获取部(208a)获取到的多个图像中确定与由无线处理部(107)接收到的第1时刻信息所对应的第2时刻信息建立了关联的图像。

Description

图像确定系统、图像确定装置及图像确定方法

技术领域

本发明所涉及从多个图像中确定与规定时刻对应的图像的图像确定系统、图像确定装置及图像确定方法。

背景技术

以往，在日本特开2008-236124号公报中公开了如下技术，即：用麦克风检测以高尔夫球杆击打球时产生的撞击声，显示由数字照相机拍摄到的运动图像的概要图像。

但是，在上述专利文献1中，在周围存在噪音的环境下，用麦克风来检测撞击声是较为困难的。此外，在远离被摄体的位置收集声音时，产生因撞击声的传达时间而引起的延迟，还存在无法正确地确定以撞击的瞬间为基准的图像这一问题。

发明内容

为此，本发明的课题在于恰当地确定所期望的图像。

本发明的一个方式的图像确定系统，具备发送侧终端和接收侧终端，其特征在于，

所述发送侧终端具备：

状态判定单元，其判定配备有该发送侧终端的第1物体与第2物体之间的位置关系是否已成为规定状态；和

发送单元，其在由所述状态判定单元判定为已成为规定状态时，将已成为该规定状态的时间点所涉及的第1时刻信息发送至所述接收侧终端，

所述接收侧终端具备：

接收单元，其接收从所述发送单元发送出的所述第1时刻信息；

获取单元，其将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

图像确定单元，其在由所述获取单元获取到的多个图像之中，确定与由所述接收单元接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像。

本发明的另一个方式的图像确定方法，使用了发送侧终端和接收侧终端，其特征在于，进行如下处理：

判定配备有该发送侧终端的第1物体和第2物体是否已成为规定状态的处理；

在判定为已成为所述规定状态时，将该规定状态的时间点所涉及的第1时刻信息发送至所述接收侧终端的处理；

接收从所述发送侧终端发送出的所述第1时刻信息的处理；

将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取的处理；和

在获取到的多个图像之中，确定与接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像的处理。

本发明的另一个方式的图像确定装置，其特征在于，具备：

接收单元，其从外部的装置接收第1物体与第2物体之间的位置关系已成为规定状态的时间点所涉及的第1时刻信息；

获取单元，其将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

图像确定单元，其在由所述获取单元获取到的多个图像之中，确定与由所述接收单元接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像。

本发明的另一个方式的图像确定方法，其特征在于，包括：

接收步骤，从外部的装置接收第1物体与第2物体之间的位置关系已成为规定状态的时间点所涉及的第1时刻信息；

获取步骤，将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

图像确定步骤，在由所述获取步骤获取到的多个图像之中，确定与由所述接收步骤接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像。

本发明的另一个方式的图像确定装置，其特征在于，具备：

第1获取单元，其将有关被摄体的动作的运动信息和该动作中的第1时刻信息建立关联地获取；

第1确定单元，其基于由所述第1获取单元获取到的运动信息和第1时刻信息，来确定第1物体与第2物体之间的位置关系已成为规定状态的时间点；

第2获取单元，其将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点的时刻信息建立关联地获取；和

第2确定单元，其从由所述第2获取单元获取到的多个图像中，确定与由所述第1确定单元确定出的时间点所对应的第2时刻信息建立了关联的图像。

本发明的再一个方式的图像确定方法，其特征在于，包括：

第1获取步骤，将有关被摄体的动作的运动信息和该动作中的第1时刻信息建立关联地获取；

第1确定步骤，基于由所述第1获取步骤获取到的运动信息和第1时刻信息，来确定第1物体与第2物体之间的位置关系已成为规定状态的时间点；

第2获取步骤，将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

第2确定步骤，从由所述第2获取步骤获取到的多个图像中，确定与由所述第1确定步骤确定出的时间点所对应的第2时刻信息建立了关联的图像。

附图说明

图1是示意性表示应用了本发明的一实施方式的图像确定系统的简要构成的图。

图2是表示构成图1的图像确定系统的用具侧终端的简要构成的框图。

图3是示意性表示图2的用具侧终端被安装于网球拍的状态的图。

图4是示意性表示使用安装了图2的用具侧终端的网球拍击打网球的状态的图。

图5是示意性表示图2的用具侧终端的角速度检测部的输出的图。

图6是表示构成图1的图像确定系统的摄像装置的简要构成的框图。

图7是表示图1的图像确定系统进行的图像确定处理所涉及的动作的一例的流程图。

图8A是表示图7的图像确定处理所涉及的图像的一例的图。

图8B是表示图7的图像确定处理所涉及的图像的一例的图。

图8C是表示图7的图像确定处理所涉及的图像的一例的图。

图8D是表示图7的图像确定处理所涉及的图像的一例的图。

图9是表示图6的摄像装置进行的状态确定处理所涉及的动作的一例的流程图。

图10A是示意性表示图9的状态确定处理所涉及的状态确定画面的图。

图10B是示意性表示图9的状态确定处理所涉及的状态确定画面的图。

图11是表示图9的状态确定处理所涉及的图像的一例的图。

具体实施方式

以下，利用附图来说明本发明的具体方式。其中，本发明的范围并不限定于图示的例子。

图1是示意性表示应用了本发明的一实施方式的图像确定系统100的简要构成的图。

如图1所示，本实施方式的图像确定系统100具备：用具侧终端(发送侧终端)1，被安装固定在网球拍300；和多个摄像装置(接收侧终端)2，经由无线通信线路而与该用具侧终端1能够进行信息通信地连接，对用户使用网球拍300击打网球B的动作进行摄像。

首先，参照图2～图5来说明用具侧终端1。

图2是表示用具侧终端1的简要构成的框图。此外，图3是示意性表示用具侧终端1安装于网球拍300的状态的图。

再者，在以下的说明中，将与网球拍300的击打面大致正交的一个方向设为X轴方向，将与X轴方向大致正交并且沿着握柄部301的延伸方向的方向设为Y轴方向，将与X轴方向以及Y轴方向大致正交的一个方向设为Z轴方向。

如图2所示，本实施方式的用具侧终端1具备：中央控制部101、存储器102、角速度检测部103、接触检测部104、计时部105、显示部106、无线处理部107、和操作输入部108。

此外，中央控制部101、存储器102、角速度检测部103、接触检测部104、计时部105、显示部106以及无线处理部107经由总线109相连接。

此外，如图3所示，用具侧终端1的终端主体例如装卸自由地设置在用于击打网球B的网球拍(用具)300。具体而言，终端主体被安装在网球拍300的由用户把持的握柄部(把持部)301与构成击打面的框架部302之间的长柄部303的内侧。

在此，终端主体例如在长柄部303的内侧被安装成该终端主体的中心位于在沿着握柄部301的延伸方向的Y轴方向上延伸的轴上。再者，终端主体也可以例如向长柄部303直接安装，还可以使用规定的安装用夹具(省略图示)来安装。

中央控制部101对用具侧终端1的各部进行控制。具体而言，尽管省略了图示，但中央控制部101例如具备CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)，按照ROM中存储的用具侧终端1用的各种处理程序(省略图示)进行各种控制动作。此时，CPU使各种处理结果保存在RAM内的保存区域内，根据需要使该处理结果显示于显示部106。

RAM具备用于将由CPU执行的处理程序等展开的程序保存区域、将输入数据或上述处理程序被执行时产生的处理结果等保存起来的数据保存区域等。

ROM存储以计算机可读取的程序代码的形式保存的程序、具体而言存储可由用具侧终端1执行的系统程序、可由该系统程序执行的各种处理程序、执行这些各种处理程序时使用的数据等。

存储器102例如由DRAM(Dynamic Random Access Memory)等构成，暂时存储由中央控制部101等进行处理的数据等。

角速度检测部103检测该终端主体的以规定轴为中心的转动的角速度。

即，角速度检测部103在用户进行使用网球拍(用具)300击打网球B的动作时，检测该终端主体的以规定轴(例如Z轴等)为中心的转动的角速度。具体而言，角速度检测部103检测以相对于网球拍300的包括击打网球B的部分在内的击打面(一面)而大致平行地延伸、且与握柄部301的延伸方向大致正交的Z轴为中心的该终端主体的转动的Z轴角速度Gz(参照图4)。然后，角速度检测部103将检测到的Z轴角速度Gz的值输出至接触检测部104。

再者，图4中示意性表示从该用户的上方在Z轴方向上观察用户利用网球拍300以用右手的正手击球来击打网球B的状态。

接触检测部104检测网球B相对于网球拍300的接触(撞击)。

即，接触检测部104检测网球拍(用具：第1物体)300与网球(第2物体)B的接触。具体而言，接触检测部104基于由角速度检测部103检测出的Z轴角速度Gz，来检测网球拍300与网球B的接触。

即，在用安装有该终端主体的网球拍300击打网球B的情况下，在网球B即将接触击打面之前Z轴角速度Gz的值低于规定阈值，在刚接触之后Z轴角速度Gz的值变得高于规定阈值(参照图5)。因此，接触检测部104以规定阈值为基准根据Z轴角速度Gz的值来确定接触的定时，从而检测网球拍300与网球B相接触的定时。并且，接触检测部104将指示所检测出的定时的定时信息输出至计时部105。

尽管省略图示，但计时部105例如构成为具备计时器或计时电路等，对当前的时刻进行计时从而生成时刻信息。具体而言，计时部105基于从接触检测部104输出的定时信息的输入，对网球B与网球拍(用具)300相接触的时刻进行计时，生成该接触的时间点所涉及的接触时刻信息。然后，计时部105将所生成的接触时刻信息输出至无线处理部107。

再者，计时部105基于接触时刻信息，例如可以确定年月日、星期等的日历。

显示部106例如设置在终端主体的表面的规定位置(参照图3)。此外，显示部106例如构成为具有所谓7段型的液晶显示面板或发光二极管等，通过控制各段或发光二极管的点亮以及熄灭来显示各种信息。

例如，显示部106可以在由网球拍300击打网球B时，显示利用规定的确定手法所确定的该网球B的速度、旋转量等的各种信息。

无线处理部107在与经由规定的无线通信线路被连接的摄像装置2之间进行无线通信。

具体而言，无线处理部107例如具备蓝牙(Bluetooth：注册商标)模块(BT模块)107a，该BT模块107a在与摄像装置2的无线处理部203的BT模块203a(后述)之间进行基于蓝牙标准的无线通信。即，BT模块107a预先进行被称为配对(pairing)的通信设定处理，由此通过无线信号而与通信对方(摄像装置2等)交换相互的设备信息、认证密钥的数据，之后，并不是每次都进行该通信设定处理，而是与该通信对方自动或者半自动地连接、或解除连接。

具体而言，BT模块107a基于接触检测部104对于网球B与网球拍(用具)300的接触的检测，将该网球B与网球拍300相接触的时间点所涉及的接触时刻信息经由规定的无线通信线路而发送至摄像装置(图像确定装置)2。例如，BT模块107a在被输入从计时部105输出的网球B与网球拍300相接触的时间点所涉及的接触时刻信息时，将该接触时刻信息经由规定的无线通信线路而发送至摄像装置2。

再者，无线处理部107例如也可以具备无线LAN(Local Area Network)模块等，在与摄像装置2的无线处理部203之间进行无线通信。

操作输入部108例如由用于输入数值、文字等的数据输入按键、用于进行数据选择、发送操作等的上下左右移动按键、各种功能按键等构成。此外，操作输入部108将由用户按下的按键的按压信号输出至中央控制部101的CPU。

再者，作为操作输入部108，也可以构成为将触摸面板(省略图示)配置在显示部106的显示画面，根据触摸面板的接触位置来输入各种指示。

接下来，参照图6来说明摄像装置2。

图像确定系统100具备：多个摄像装置2(图1中图示了2个)，被配置成从相互不同的方向对用网球拍300击打网球B的状态进行摄像。例如，多个摄像装置2之中的一个摄像装置2A被配置成位于用网球拍300击打网球B的用户的后方，而另一个摄像装置2B被配置成位于用户的侧方。

此外，这些摄像装置2经由规定的无线通信线路而相互能够信息通信地连接，其中一个的摄像装置2A成为协作摄像的主设备，剩余的另一个摄像装置2B成为从设备。此外，各摄像装置2尽管根据是成为主设备还是成为从设备而动作的内容有所不同，但是结构本身大致相同。

再者，所谓协作摄像是指使基于多个摄像装置2的摄像动作联动的摄像等。

图6是表示摄像装置2的简要构成的框图。

如图6所示，摄像装置2具备：中央控制部201、存储器202、无线处理部203、摄像部204、图像数据处理部205、记录介质控制部206、计时部207、图像处理部208、显示部209、和操作输入部210。

此外，中央控制部201、存储器202、无线处理部203、摄像部204、图像数据处理部205、记录介质控制部206、图像处理部208以及显示部209经由总线211相连接。

中央控制部201对摄像装置2的各部进行控制。具体而言，尽管省略了图示，但中央控制部201例如具备CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)，按照ROM中存储的摄像装置2用的各种处理程序(省略图示)进行各种控制动作。此时，CPU使各种处理结果保存在RAM内的保存区域内，根据需要使其处理结果显示于显示部209。

RAM具备用于将由CPU执行的处理程序等展开的程序保存区域、将输入数据或上述处理程序被执行时所产生的处理结果等保存起来的数据保存区域等。

ROM存储以计算机可读取的程序代码的形式保存的程序、具体而言存储可由摄像装置2执行的系统程序、可由该系统程序执行的各种处理程序、执行这些各种处理程序时使用的数据等。

存储器202例如由DRAM等构成，暂时存储由中央控制部201等处理的数据等。

无线处理部203与经由规定的无线通信线路被连接的用具侧终端1、摄像装置2等外部设备O之间进行无线通信。

具体而言，无线处理部203例如具备蓝牙模块(BT模块)203a和无线LAN模块203b。

BT模块203a例如与用具侧终端1的BT模块107a大致同样，在与用具侧终端1的BT模块107a之间进行基于蓝牙标准的无线通信。

具体而言，BT模块203a接收从用具侧终端1的无线处理部107的BT模块107a发送的接触时刻信息。然后，BT模块203a将接收到的接触时刻信息输出至存储器202。

无线LAN模块203b例如以不经由外部的访问点(固定基站)而直接在与其他的摄像装置2的无线处理部203的无线LAN模块203b之间构建无线通信线路的Peer to Peer(点对点模式)进行动作。在该点对点模式中，例如预先设定该无线通信线路的通信方式、加密信息、信道、IP地址等各种通信控制信息。并且，无线LAN模块203b在与存在于可无线通信范围内、并设定了共同的通信控制信息的其他摄像装置2的无线处理部203的无线LAN模块203b之间进行无线通信。

具体而言，在协作摄像的主设备的摄像装置2A中，无线LAN模块203b将获取由成为从设备的其他的各摄像装置2B拍摄的、与对应于接触时刻信息的摄像时刻信息建立了关联的图像数据(参照图10B等)的获取指示，经由规定的无线通信线路而发送至该各摄像装置2B。

另一方面，在从设备的各摄像装置2B中，无线LAN模块203b接收从主设备的摄像装置2A的无线LAN模块203b经由规定的无线通信线路发送的图像数据的获取指示。然后，无线LAN模块203b基于接收到的获取指示，从存储器202获取与对应于接触时刻信息的摄像时刻信息建立了关联的图像数据，将该图像数据经由规定的无线通信线路而发送至主设备的摄像装置2A。

摄像部204具备镜头部204a、电子摄像部204b、和摄像控制部204c。

镜头部204a例如由变焦透镜、聚焦透镜等多个透镜构成。

电子摄像部204b例如由CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxide Semiconductor)等图像传感器构成，将通过了镜头部204a的各种透镜之后的光学像变换为二维的图像信号。

再者，尽管省略图示，但摄像部204也可以具备对通过镜头部204a的光的量进行调整的光圈。

摄像控制部204c控制由电子摄像部204b进行的被摄体的摄像。即，摄像控制部204c具备定时发生器、驱动器等，但省略了图示。并且，摄像控制部204c通过定时发生器、驱动器对电子摄像部204b进行扫描驱动，按每个规定周期将由镜头部204a成像的光学像通过电子摄像部204b变换为二维的图像信号。然后，摄像控制部204c从该电子摄像部204b的摄像区域中各一个画面地读出帧图像F(参照图8A等)输出至图像数据处理部205。

图像数据处理部205生成被摄体的图像数据。

即，图像数据处理部205逐次处理由摄像部204拍摄的帧图像F。具体而言，图像数据处理部205针对从电子摄像部204b按与摄像帧频相应的每个规定周期(例如1／400秒等)传送的各帧图像F的模拟值的信号，按RGB的各颜色成分的每个成分适当地进行了增益调整后，利用采样保持电路(省略图示)进行采样保持，利用A／D变换器(省略图示)变换为数字数据，利用彩色加工电路(省略图示)进行了包含像素插值处理以及γ修正处理的彩色加工处理之后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

再者，作为摄像帧频而例示的400fps仅仅是一例，并不限于此，可适当任意变更。

此外，图像数据处理部205按照规定的编码方式(例如JPEG形式等)对各帧图像F的YUV数据进行压缩，输出至记录介质控制部206。此时，图像数据处理部205例如生成将由计时部207计时的各帧图像F的摄像时间点所涉及的摄像时刻信息与该帧图像F建立了关联的图像数据。

记录介质控制部206构成为自由装卸记录介质M，控制从被安装的记录介质M读出数据、对记录介质M的数据写入。

即，记录介质控制部206使由图像数据处理部205的编码部(省略图示)以规定的压缩形式(例如JPEG形式、运动JPEG形式、MPEG形式等)进行了编码的记录用的各帧图像F的图像数据记录在记录介质M的规定记录区域中。

再者，记录介质M例如由非易失性存储器(闪存)等构成。

尽管省略图示，但计时部207例如构成为具备计时器或计时电路等，对当前的时刻进行计时从而生成时刻信息。

具体而言，计时部207对由摄像部204拍摄各帧图像F的时刻进行计时从而生成进行该拍摄的时间点所涉及的摄像时刻信息。然后，计时部207将所生成的摄像时刻信息输出至存储器202。

在此，计时部207在与用具侧终端1的计时部105同步的状态下对当前的时刻进行计时。即，计时部207基于从用具侧终端1发送而由BT模块203a接收到的同步控制信号，使其与用具侧终端1的计时部105的计时同步地，对与通过该用具侧终端1的计时部105所计时的时刻已同步的当前时刻进行计时。

再者，计时部207基于摄像时刻信息，例如也可以确定年月日或星期等的日历。此外，计时部207的同步的方法例如可以以由GPS处理部(省略图示)所接收的每个规定地域的标准时刻为基准来进行。

图像处理部208具备：图像获取部208a、图像确定部208b、区域确定部208c、和状态确定部208d。

再者，图像处理部208的各部例如由规定的逻辑电路构成，但该结构仅仅是一例，并不限定于此。

图像获取部208a将网球拍300击打网球B时的多个图像与摄像时刻信息建立关联地获取。

即，图像获取部208a将由摄像部204逐次拍摄的、网球拍(用具)300击打网球B时的多个图像与各图像被拍摄的时间点所涉及的摄像时刻信息建立关联地获取。具体而言，图像获取部208a例如获取多个由图像数据处理部205生成的、多个帧图像F的摄像时间点所涉及的摄像时刻信息与该各帧图像F建立了关联的图像数据。

图像确定部208b确定与对应于接触时刻信息的摄像时刻信息建立了关联的图像。

即，图像确定部208b在由图像获取部208a获取到的多个帧图像F之中，确定与由无线处理部203的BT模块203a接收到的接触时刻信息所对应的摄像时刻信息建立了关联的帧图像F。具体而言，图像确定部208b从存储器202获取接触时刻信息，在表示网球拍300击打网球B的动作的多个帧图像F的图像数据之中，确定与所获取的接触时刻信息所涉及的网球拍300和网球B相接触的时间点对应的摄像时间点所涉及的摄像时刻信息建立了关联的图像数据(参照图8A等)。

此外，成为协作摄像的主设备的摄像装置2A的图像确定部208b确定自从设备的各摄像装置2B发送、由无线处理部203的无线LAN模块203b接收到的图像数据。即，主设备的摄像装置2A的图像确定部208b从无线LAN模块203b获取并确定由从设备的各摄像装置2B拍摄的、与网球拍300和网球B相接触的时间点对应的摄像时间点所涉及的摄像时刻信息被建立了关联的帧图像F2的图像数据(参照图8B以及图8D)。

再者，图8A～图8D中表示用户进行了多次使用网球拍300击打网球B的动作、并在各个动作中所拍摄的帧图像F的一例。此外，图8A以及图8C表示在各个动作中由成为协作摄像的主设备的摄像装置2A所拍摄的帧图像F1的一例，图8B以及图8D表示在各个动作中由成为从设备的摄像装置2B所拍摄的帧图像F2的一例。

区域确定部208c在图像内分别确定物体区域A1以及用具区域A2。

即，区域确定部208c在由图像确定部208b所确定的网球拍300与网球B相接触的时间点的帧图像F内，分别确定与网球(第2物体)B对应的物体区域(第2物体区域)A1、以及与网球拍(第1物体)300对应的用具区域(第1物体区域)A2。具体而言，区域确定部208c例如将由摄像装置2A进行摄像而得到的帧图像F1作为处理对象，实施以网球B的形状为模板的特征提取处理，由此从该帧图像F1内提取并确定与网球B对应的物体区域A1，其中该摄像装置2A被配置成位于使用网球拍300击打网球B的用户的后方。此外，区域确定部208c例如利用物体区域A1的像素数占帧图像F1的总像素数的比例、网球拍300的框架部302的尺寸相对于实际的网球B的尺寸的比例、框架部302的形状的模板等，从该帧图像F1内提取并确定与网球拍300的框架部302(击打面)对应的物体区域A1。

再者，物体区域A1、用具区域A2的提取、确定的方法仅仅是一例，并不限定于此，可适当任意变更。

状态确定部208d确定网球拍300与网球B的接触的状态。

即，状态确定部208d基于由区域确定部208c确定的物体区域A1与用具区域A2的相对的位置关系，来确定网球拍(用具)300与网球B的接触的状态。具体而言，状态确定部208d根据与网球B对应的物体区域A1的中心位置距与网球拍300的框架部302对应的用具区域A2的中心位置的偏离量，来确定网球拍300与网球B的接触的状态(最有效击球点判定：参照图10A等)。即，状态确定部208d判断(上述的)偏离(量)的程度。

例如，状态确定部208d判定物体区域A1的中心位置距用具区域A2的中心位置的偏离量(像素数)是否为规定阈值以下。并且，在状态确定部208d通过该判定而判定为偏离量为规定阈值以下时，确定是用网球拍300的击打面的大致中心(最有效击球点)击打到网球B的状态，网球B的击打方式(捕捉方式)恰当。相对于此，在状态确定部208d通过该判定而判定为偏离量大于规定阈值时，确定是在网球拍300的击打面的大致中心没有击打到网球B的状态，网球B的击打方式不佳。

显示部209具备显示面板209a和显示控制部209b。

显示面板209a在显示画面内显示图像。再者，作为显示面板209a，例如列举出液晶显示面板、有机EL显示面板等，但仅仅是一例，而并不限定于此。

显示控制部209b读出存储器202中暂时保存的显示用的图像数据，基于由图像数据处理部205进行解码而得到的规定尺寸的图像数据，进行使规定图像显示于显示面板209a的显示画面上的控制。具体而言，显示控制部209b具备VRAM(Video Random Access Memory)、VRAM控制器、数字视频编码器等(都省略图示)。然后，数字视频编码器将由图像数据处理部205解码并存储在VRAM中的亮度信号Y以及色差信号Cb、Cr，经由VRAM控制器而从VRAM中以规定的再生帧频(例如30fps)读出，以这些数据为基础产生视频信号并输出至显示面板209a。

此外，显示控制部209b使表示状态确定部208d进行的网球拍300与网球B的接触状态的确定结果的状态确定画面(例如状态确定图像G1等)显示于显示面板209a(参照图10A等)。

即，显示控制部209b例如在由状态确定部208d确定为网球拍300击打网球B的击打方式恰当的情况下，使包括示意性表示以网球拍300的击打面的大致中心击打到网球B的状态的图像、表示网球B的击打方式恰当的显示“OK”等在内的状态确定画面G1显示于显示面板209a(参照图10A)。此外，显示控制部209b例如在由状态确定部208d确定为网球拍300击打网球B的击打方式不佳的情况下，使包括根据物体区域A1的中心位置距用具区域A2的中心的偏离的大小以及方向而示意性表示网球B的位置相对于网球拍300的击打面的大致中心所偏离的状态的图像、表示网球B的击打方式不佳的显示“为球拍的上面。”等在内的状态确定画面G2显示于显示面板209a(参照图10B)。

这样，显示面板209a以及显示控制部209b通知由状态确定部208d进行的网球拍(用具)300与网球B的接触状态的确定结果。

此外，在用户使用网球拍300击打网球B的动作被拍摄到多次时，显示控制部209b可以使在各个动作中由图像确定部208b所确定的帧图像F、即与网球拍300和网球B相接触的时间点对应的摄像时间点所涉及的摄像时刻信息被建立了关联的帧图像F(例如帧图像F2等)并排多个显示于显示面板209a(参照图11)。此时，显示控制部209b可以显示以对应于网球B的物体区域A1的位置为中心而大致直角相交的纵线以及横线等的辅助线L。

操作输入部210用于进行该摄像装置2的规定操作，例如具备与装置主体的电源的ON／OFF相关的电源按钮、与被摄体的摄像指示相关的快门按钮、与摄像模式或功能等的选择相关的选择决定按钮、与变焦量的调整指示相关的变焦按钮(都省略图示)等。并且，操作输入部210根据各按钮的操作而将规定的操作信号输出至中央控制部201。

接下来，参照图7以及图8来说明图像确定系统100的图像确定处理。

图7是表示图像确定处理所涉及的动作的一例的流程图。

再者，假定用具侧终端1的终端主体被安装在网球拍300的长柄部303。此外，假定以下所说明的摄像装置2的各处理由多个摄像装置2的各装置进行。

如图7所示，首先，在用具侧终端1中，无线处理部107的BT模块107a发送用于使该用具侧终端1的计时部105所进行的计时和各摄像装置2的计时部207所进行的计时同步的同步控制信号(步骤S1)。

在摄像装置2中，在由无线处理部203的BT模块203a接收到同步控制信号时，计时部207基于该同步控制信号使其与用具侧终端1的计时部105所进行的计时同步(步骤S2)。

之后，基于由用户进行的操作输入部210的规定操作而摄像指示被输入至中央控制部201的CPU时，摄像装置2开始被摄体的摄像(步骤S3)，摄像控制部204c从由镜头部204a成像的光学像读出通过电子摄像部204b进行变换而得到的二维的图像信号，即从该电子摄像部204b的摄像区域以规定的摄像帧频1画面1画面地读出帧图像F并输出至图像数据处理部205。接下来，图像数据处理部205生成使由计时部207进行计时而对各帧图像F进行摄像的时间点所涉及的摄像时刻信息与该帧图像F建立了关联的图像数据(步骤S4)。然后，图像数据处理部205将所生成的帧图像F的图像数据输出至存储器202。

接着，图像处理部208的图像获取部208a从存储器202逐次获取摄像时刻信息被建立了关联的各帧图像F的图像数据(步骤S5)。

另一方面，在用具侧终端1中，在用户进行使用网球拍300击打网球B的动作时，角速度检测部103检测以Z轴为中心的该终端主体的转动的Z轴角速度Gz，将检测出的Z轴角速度Gz的值输出至接触检测部104(步骤S6)。

接触检测部104根据从角速度检测部103输出的Z轴角速度Gz的值来判定是否检测出网球拍300与网球B的接触(撞击)(步骤S7)。直至判定为检测出该接触(步骤S7：是)为止，每当被输入Z轴角速度Gz时都反复执行步骤S7中的是否检测出接触的判定。

在步骤S7中判定为检测出网球拍300与网球B的接触时(步骤S7：是)，接触检测部104将指示网球拍300与网球B相接触的定时的定时信息输出至计时部105，计时部105基于该定时信息的输入来生成网球B与网球拍300相接触的时间点所涉及的接触时刻信息(步骤S8)。然后，计时部105将所生成的接触时刻信息输出至无线处理部107。

接下来，无线处理部107的BT模块107a在被输入从计时部105输出的接触时刻信息时，将该接触时刻信息发送至摄像装置2(步骤S9)。

在摄像装置2中，在由无线处理部203的BT模块203a接收到摄像时刻信息时，图像确定部208b在由图像获取部208a所获取的多个帧图像F之中，确定与对应于该接触时刻信息的摄像时刻信息建立了关联的帧图像F(步骤S10：参照图8A等)。即，图像确定部208b确定与网球拍300和网球B相接触的时间点对应的摄像时间点所涉及的摄像时刻信息被建立了关联的帧图像F的图像数据。

之后，记录介质控制部206将所确定的帧图像F的图像数据记录在记录介质M中。

然后，中央控制部201的CPU基于用户进行的操作输入部210的规定操作，判定是否被输入了摄像的结束指示(步骤S11)。

在此，在判定为没有输入摄像的结束指示时(步骤S11：否)，中央控制部201的CPU使处理返回至步骤S5，图像获取部208a逐次获取摄像时刻信息被建立了关联的各帧图像F的图像数据(步骤S5)。

另一方面，在判定为被输入了摄像的结束指示时(步骤S11：是)，中央控制部201的CPU结束该图像确定处理。

接着，参照图9以及图10说明摄像装置2的状态确定处理。

图9是表示状态确定处理所涉及的动作的一例的流程图。

再者，假定以下所说明的状态确定处理由被配置成位于以网球拍300击打网球B的用户后方的一个摄像装置2A进行来说明，但也可以由多个摄像装置2的每个装置来进行。

如图9所示，首先，图像处理部208的区域确定部208c获取与网球拍300和网球B相接触的时间点对应的摄像时间点所涉及的摄像时刻信息被建立了关联的帧图像F1的图像数据(步骤S21)。

接下来，区域确定部208c从所获取的帧图像F1内提取与网球B对应的物体区域A1(步骤S22)。具体而言，区域确定部208c实施以网球B的形状为模板的特征提取处理，从该帧图像F1内提取与网球B对应的物体区域A1。

接着，区域确定部208c从所获取的帧图像F1内提取与网球拍300的框架部302对应的物体区域A1(步骤S23)。具体而言，区域确定部208c利用物体区域A1的像素数占帧图像F1的总像素数的比例，网球拍300的框架部302的尺寸相对于实际的网球B的尺寸的比例、框架部302的形状的模板等，从该帧图像F1内提取与网球拍300的框架部302对应的物体区域A1。

接着，图像处理部208的状态确定部208d确定由区域确定部208c所确定的物体区域A1与用具区域A2的相对的位置关系(步骤S24)，判定与网球B对应的物体区域A1的中心位置相距与网球拍300的框架部302对应的用具区域A2的中心的偏离量是否为规定阈值以下(步骤S25)。

在步骤S25中判定为偏离量在规定阈值以下时(步骤S25：是)，状态确定部208d确定为网球B的击打方式恰当，显示控制部209b使表示网球B的击打方式恰当的状态确定画面G1显示于显示面板209a(步骤S26：参照图10A)。

另一方面，在步骤S25中判定为偏离量大于规定阈值时(步骤S25：否)，状态确定部208d确定为网球B的击打方式不佳，显示控制部209b例如使表示网球B的击打方式不佳的状态确定画面G2显示于显示面板209a(步骤S27：参照图10B)。

再者，在由配置成位于以网球拍300击打网球B的用户的侧方的摄像装置2B进行状态确定处理的情况下，显示控制部209b使其显示用于表示由区域确定部208c确定的网球B所对应的物体区域A1相对于帧图像F2的规定区域的相对的位置关系的纵线以及横线等辅助线L(参照图11)。由此，网球拍(用具)300与网球B的接触状态、即用户使用网球拍300击打网球B的状态被显示得易于该用户理解。

如以上，根据本实施方式的图像确定系统100，由摄像部204逐次进行拍摄，将第1物体(例如网球拍300等)与第2物体(例如网球B等)相接触时的多个图像与各图像被拍摄的时间点所涉及的摄像时刻信息建立关联地获取。然后，检测第1物体与第2物体的接触，在所获取的多个图像之中，确定与检测到的第1物体和第2物体相接触的时间点所涉及的接触时刻信息所对应的摄像时刻信息建立了关联的图像。由此，能够适当地确定第1物体与第2物体相接触的瞬间，不仅能够从多个图像中简便地确定第1物体与第2物体接触时的图像，与现有的利用声音的情况相比，还能够更为正确地确定第1物体与第2物体相接触时的图像。

此外，在所确定的图像内分别确定与第2物体对应的物体区域A1以及与第1物体对应的用具区域A2，基于物体区域A1与用具区域A2的相对的位置关系，来确定第1物体与第2物体的接触状态，因此能够确定使用作为第1物体的用具来击打第2物体的状态、即能够确定该击打方式的好坏。然后，通知第1物体与第2物体的接触的状态，由此能够让用户识别出使用用具击打第2物体的身体动作、状态。

此外，由于在通过多个摄像装置2的摄像部204从相互不同的方向进行摄像而得到的第1物体与第2物体相接触时的多个图像之中，确定与对应于接触时刻信息的摄像时刻信息建立了关联的多个图像，因此，能够进行利用了从相互不同的方向拍摄第1物体与第2物体相接触的状态(使用用具击打第2物体的状态)而得到的多个图像的比较，从而能够使得用户易于理解和识别使用用具来击打第2物体的身体动作、状态。

此外，能够基于用具侧终端1的终端主体的以规定轴为中心的转动的角速度，检测第1物体与第2物体的接触。具体而言，基于以相对于作为第1物体的用具的包括击打第2物体的部分在内的一面(例如击打面等)而大致平行地延伸、且与用具的由用户把持的把持部(例如握柄部301等)的延伸方向大致正交的轴(Z轴)为中心的该终端主体的转动的角速度(Z轴角速度Gz)，能够检测用具与第2物体的接触，能够以简单的结构恰当地进行用具与第2物体的接触检测。

再者，本发明并不限定于上述实施方式，在不脱离本发明的主旨的范围内可进行各种的改变以及设计的变更。

在上述实施方式中，在网球拍(用具)300与网球(第2物体)B之间的接触的检测中使用由角速度检测部103检测的角速度，但这仅是一例，并不限于此，例如也可以使用该用具侧终端1的加速度。即，只要是能够检测该网球拍300的运动的传感器，则可以使用任意的传感器。

再有，在上述实施方式中，检测网球B对于网球拍300的接触，但这仅是一例，并不限定于此，只要能够检测网球拍300与网球B的接触则可以是任意的结构。

此外，在上述实施方式中，检测网球拍300与网球B的接触，但第1物体(例如网球拍300等)与第2物体(例如网球B等)之间的位置关系并不限定于此。即，例如可以基于3轴之中的至少任意一轴的角速度成分，来检测相对于网球B的用户的网球拍300的挥拍动作(第1物体与第2物体之间的位置关系)是“预备姿势”、“拉拍”、“撞击”、“随挥”等的任意一个状态。

在上述实施方式中，用具侧终端进行图7的S7～S8的处理，但也可以是摄像装置进行该处理。也就是说，也可以构成为：将计时部105进行计时的时刻信息与S6中检测出的角速度Gz的值建立对应而由用具侧终端发送至摄像装置，该摄像装置基于角速度Gz的值与时刻信息来进行相对于网球拍300的网球B的接触(撞击)的检测和接触时刻信息的生成，由此确定对应于该接触时刻信息的摄像时刻信息被建立了关联的帧图像。

此外，在上述实施方式中，确定网球拍(用具：第1物体)300与网球(第2物体)B之间的接触的状态，但这仅是一例，并不限定于此，也未必需要进行该确定。即，对于摄像装置2是否具备区域确定部208c以及状态确定部208d，也可以适当任意变更。

再有，在上述实施方式中，作为用具而例示了网球拍300，但这仅仅是一例，并不限定于此，例如只要是乒乓球的球拍、棒球的球棒、高尔夫的球杆等击打物体的，就可以适当任意变更。此时，优选用具侧终端1的终端主体被安装固定于在沿着用户把持的把持部的延伸方向的方向上所延伸的轴上。

此外，对于图像确定系统100的构成，上述实施方式所例示的仅仅是一例，并不限定于此。例如，作为规定的通信线路，例示说明了无线通信线路，但也可以是通过有线电缆等将用具侧终端1和摄像装置2连接来进行通信的有线通信线路。

此外，在上述实施方式中，例示了网球等的运动，但并不限于此，可适用于检测事故等的冲撞从而确定其瞬间的图像、或者还从连续摄影运动图像之中检测接触(冲撞)从而确定其前后的运动图像(如果为网球则是挥动框架的运动图像、如果为事故则是冲撞前后的运动图像)。

再有，在上述实施方式中，例示了具备用具侧终端1和摄像装置2的图像确定系统100，但这仅仅是一例，并不限定于此，也可以由一个图像确定装置构成。即，只要是如下的构成则可以是任意的结构，该构成具备：获取单元，由摄像单元逐次拍摄，将第1物体和第2物体相接触时的多个图像与各图像被拍摄的时间点所涉及的摄像时刻信息建立关联地获取；接触检测单元，检测第1物体与第2物体的接触；和确定单元，在由获取单元所获取的多个图像之中，确定与由接触检测单元检测出的时间点所对应的摄像时刻信息建立了关联的图像。

此外，在上述实施方式中，也可以构成为由中央控制部的CPU执行规定的程序等由此实现作为第1获取单元、第2获取单元以及图像确定单元的功能。即，在存储计算机可读取的程序的程序存储器(省略图示)中，预先存储包含第1获取处理例程、第2获取处理例程以及图像确定处理例程在内的程序。并且，可以通过第1获取处理例程使中央控制部的CPU作为从外部装置获取第1物体与第2物体之间的位置关系成为规定状态的时间点所涉及的第1时刻信息的单元而发挥功能。此外，还可以通过第2获取处理例程使中央控制部的CPU作为将由摄像单元逐次拍摄的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地进行获取的单元而发挥功能。此外，也可以通过图像确定处理例程使中央控制部的CPU作为在由第2获取单元获取的多个图像之中确定与由第1获取单元获取的第1时刻信息所对应的第2时刻信息建立了关联的图像的单元而发挥功能。

同样，对于区域确定单元、状态确定单元、检测单元，也可以构成为由中央控制部的CPU执行规定的程序等来实现。

此外，可以构成为由中央控制部的CPU执行规定的程序等来实现作为第1获取单元、第1确定单元、第2获取单元以及第2确定单元的功能。即，在存储计算机可读取的程序的程序存储器(省略图示)中，预先存储包括第1获取处理例程、第1确定处理例程、第2获取处理例程以及第2确定处理例程在内的程序。并且，可以通过第1获取处理例程使中央控制部的CPU作为建立关联地获取有关被摄体动作的运动信息和该动作中的第1时刻信息的单元而发挥功能。此外，可以通过第1确定处理例程使中央控制部的CPU作为基于由第1获取单元所获取的运动信息和第1时刻信息来确定第1物体与第2物体之间的位置关系成为规定状态的时间点的单元而发挥功能。此外，可以通过第2获取处理例程使中央控制部的CPU作为将由摄像单元逐次拍摄而得到的多个图像与各图像被摄像的时间点的第2时刻信息建立关联地进行获取的单元而发挥功能。此外，可以通过第2确定处理例程使中央控制部的CPU作为从由第2获取单元所获取的多个图像中确定与第1确定单元所确定的时间点所对应的第2时刻信息建立了关联的图像的单元而发挥功能。

再有，作为保存用于执行上述各处理的程序的计算机可读取的介质，除了ROM、硬盘等以外，还可以使用闪存等的非易失性存储器、CD-ROM等可移动型记录介质。此外，作为经由规定通信线路来提供程序数据的介质，还应用载波(carrier wave)。

至此说明了本发明的几个实施方式，但本发明的范围并不限定于上述实施方式，包括权利要求的范围中记载的发明范围和与其均等的范围。

Claims (15)

1.一种图像确定系统，具备发送侧终端和接收侧终端，其特征在于，

所述发送侧终端具备：

状态判定单元，其判定配备有该发送侧终端的第1物体与第2物体之间的位置关系是否已成为规定状态；和

发送单元，其在由所述状态判定单元判定为已成为规定状态时，将已成为该规定状态的时间点所涉及的第1时刻信息发送至所述接收侧终端，

所述接收侧终端具备：

接收单元，其接收从所述发送单元发送出的所述第1时刻信息；

获取单元，其将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

图像确定单元，其在由所述获取单元获取到的多个图像之中，确定与由所述接收单元接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像。

2.根据权利要求1所述的图像确定系统，其特征在于，

所述图像确定系统还具备：

区域确定单元，其在由所述图像确定单元确定出的图像内，分别确定与所述第1物体对应的第1物体区域以及与所述第2物体对应的第2物体区域；和

状态判断单元，其判断由所述区域确定单元确定出的所述第1物体区域与所述第2物体区域之间的偏离程度。

3.根据权利要求2所述的图像确定系统，其特征在于，

所述图像确定系统还具备：通知单元，其通知所述状态判断单元的判断结果。

4.根据权利要求1所述的图像确定系统，其特征在于，

所述图像确定单元在由多个摄像单元从相互不同的方向拍摄到的多个图像之中，确定与所述第1时刻信息所对应的所述第2时刻信息建立了关联的多个图像。

5.根据权利要求1所述的图像确定系统，其特征在于，

所述发送侧终端被安装在作为所述第1物体的规定的用具，

所述状态判定单元作为所述规定状态而判定所述用具与所述第2物体是否已成为相接触的状态，

所述发送单元在由所述状态判定单元判定为已成为进行了所述接触的状态时，将所述用具与所述第2物体相接触的时间点所涉及的所述第1时刻信息发送至所述接收侧终端，

所述获取单元将所述用具击打所述第2物体时的多个图像与各图像被拍摄的时间点所涉及的所述第2时刻信息建立关联地获取，作为所述物体彼此相接触时的多个图像。

6.根据权利要求5所述的图像确定系统，其特征在于，

所述发送侧终端还具备：检测单元，其检测该终端主体的以规定轴为中心的转动的角速度或者加速度，

所述状态判定单元基于由所述检测单元检测出的角速度或者加速度，判定是否已成为所述用具与所述第2物体相接触的状态。

7.根据权利要求6所述的图像确定系统，其特征在于，

所述检测单元检测以相对于所述用具的包括击打所述第2物体的部分在内的一个面大致平行、且与用具的由用户把持的把持部的延伸方向大致正交的轴作为中心的该终端主体的转动的角速度。

8.根据权利要求1所述的图像确定系统，其特征在于，

所述状态判定单元作为所述规定状态而判定是否已成为所述第1物体与所述第2物体相接触的状态。

9.一种图像确定方法，使用了发送侧终端和接收侧终端，其特征在于，进行如下处理：

判定配备有该发送侧终端的第1物体和第2物体是否已成为规定状态的处理；

在判定为已成为所述规定状态时，将该规定状态的时间点所涉及的第1时刻信息发送至所述接收侧终端的处理；

接收从所述发送侧终端发送出的所述第1时刻信息的处理；

将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取的处理；和

在获取到的多个图像之中，确定与接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像的处理。

10.一种图像确定装置，其特征在于，具备：

接收单元，其从外部的装置接收第1物体与第2物体之间的位置关系已成为规定状态的时间点所涉及的第1时刻信息；

获取单元，其将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

图像确定单元，其在由所述获取单元获取到的多个图像之中，确定与由所述接收单元接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像。

11.根据权利要求10所述的图像确定装置，其特征在于，

所述规定状态是所述第1物体与所述第2物体相接触的状态。

12.一种图像确定方法，其特征在于，包括：

接收步骤，从外部的装置接收第1物体与第2物体之间的位置关系已成为规定状态的时间点所涉及的第1时刻信息；

获取步骤，将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

图像确定步骤，在由所述获取步骤获取到的多个图像之中，确定与由所述接收步骤接收到的所述第1时刻信息所对应的所述第2时刻信息建立了关联的图像。

13.一种图像确定装置，其特征在于，具备：

第1获取单元，其将有关被摄体的动作的运动信息和该动作中的第1时刻信息建立关联地获取；

第1确定单元，其基于由所述第1获取单元获取到的运动信息和第1时刻信息，来确定第1物体与第2物体之间的位置关系已成为规定状态的时间点；

第2获取单元，其将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点的时刻信息建立关联地获取；和

第2确定单元，其从由所述第2获取单元获取到的多个图像中，确定与由所述第1确定单元确定出的时间点所对应的第2时刻信息建立了关联的图像。

14.根据权利要求13所述的图像确定装置，其特征在于，

所述规定状态是所述第1物体与所述第2物体相接触的状态。

15.一种图像确定方法，其特征在于，包括：

第1获取步骤，将有关被摄体的动作的运动信息和该动作中的第1时刻信息建立关联地获取；

第1确定步骤，基于由所述第1获取步骤获取到的运动信息和第1时刻信息，来确定第1物体与第2物体之间的位置关系已成为规定状态的时间点；

第2获取步骤，将由摄像单元逐次拍摄到的多个图像与各图像被拍摄的时间点所涉及的第2时刻信息建立关联地获取；和

第2确定步骤，从由所述第2获取步骤获取到的多个图像中，确定与由所述第1确定步骤确定出的时间点所对应的第2时刻信息建立了关联的图像。

Images