CN114728194B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN114728194B
CN114728194B CN202080079087.XA CN202080079087A CN114728194B CN 114728194 B CN114728194 B CN 114728194B CN 202080079087 A CN202080079087 A CN 202080079087A CN 114728194 B CN114728194 B CN 114728194B
Authority
CN
China
Prior art keywords
ball
moving image
frame
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080079087.XA
Other languages
English (en)
Other versions
CN114728194A (zh
Inventor
横山傑
服部博宪
山下裕也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114728194A publication Critical patent/CN114728194A/zh
Application granted granted Critical
Publication of CN114728194B publication Critical patent/CN114728194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本技术涉及能够容易地设置用于开始球赛中动作的运动图像中的预定处理的帧的信息处理装置、信息处理方法和程序。该信息处理装置设有：分析单元，其检测第一运动图像中的球的轨迹；以及起始帧设置单元，其基于第一运动图像中的球的轨迹的检测结果，在第一运动图像的帧当中设置用于开始进行预定处理的起始帧。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及执行对球类运动的运动图像的处理的信息处理装置、信息处理方法和程序。
背景技术
例如，在诸如乒乓球之类的球赛中，在击球之后立即分析球的旋转特性的情况下，为了提高分析精度，期望的是从通过对球赛中的动作进行成像而获得的运动图像中检测捕获球被撞击时刻的帧，并参考该帧来执行检测处理。
另一方面，传统上，人通常在视觉上搜索对应的帧。然而，例如，在运动图像具有高帧速率的情况下，帧的数量变得巨大，并且变得难以检测对应的帧。
另一方面，传统上，已经提出了以下的技术：基于来自附接到用户或与用户接触的物体的传感器的传感器数据来检测运动模式，并且基于该运动模式来选择球撞击时刻的图像(参见例如专利文献1)。
此外，传统上，已经提出了以下的技术：基于高尔夫球杆头的运动向量来计算杆头与球之间的位置关系，并且基于计算出的位置关系来预测撞击力矩(参见例如专利文献2)。
引用列表
专利文献
专利文献1：日本专利申请公开No.2015-82817
专利文献2：日本专利申请公开No.2010-239169
发明内容
本发明要解决的问题
然而，在专利文献1中描述的技术中，必须将传感器附接到用户或与用户接触的物体。
此外，在专利文献2中描述的技术中，尚未具体研究在诸如乒乓球之类的球赛中预测移动的球被击中的撞击时刻的方法。
本技术是鉴于这种情形而做出的，并使得可以容易地在球赛中动作的运动图像中设置开始预定处理的帧。
问题的解决方案
根据本技术的一方面的一种信息处理装置包括：分析单元，其检测第一运动图像中的球的轨迹；以及起始帧设置单元，其基于第一运动图像中的球的轨迹的检测结果，在第一运动图像的帧当中设置用于开始进行预定处理的起始帧。
根据本技术的一方面的一种信息处理方法由信息处理装置执行。该方法包括：检测运动图像中的球的轨迹；以及基于运动图像中的球的轨迹的检测结果，在运动图像的帧当中设置用于开始进行预定处理的起始帧。
根据本技术的一方面的一种程序使计算机执行包括以下步骤的处理：检测运动图像中的球的轨迹；以及基于运动图像中的球的轨迹的检测结果，在运动图像的帧当中设置用于进行开始预定处理的起始帧。
在本技术的一方面，在运动图像中检测球的轨迹，并且基于运动图像中球的轨迹的检测结果，在运动图像的帧当中设置用于开始预定处理的起始帧。
附图说明
图1是图示了应用本技术的信息处理系统的配置示例的框图。
图2是图示了服务器功能的配置示例的框图。
图3是图示了信息处理装置功能的配置示例的框图。
图4是用于说明由信息处理系统执行的运动图像编辑处理的流程图。
图5是图示了发球时刻球轨迹的示例的示图。
图6是用于说明起始帧设置处理的细节的流程图。
图7是用于说明起始帧设置处理的细节的流程图。
图8是用于说明起始帧设置处理的细节的流程图。
图9是用于说明检测球轨迹中的变化点的方法的示图。
图10是用于说明设置起始帧的方法的示图。
图11是用于说明设置起始帧的方法的示图。
图12是用于说明旋转特性分析处理的细节的流程图。
图13是图示了每一帧的标志提取图像之间的相似度的计算结果示例的曲线图。
图14是图示了计算机的配置示例的示图。
具体实施方式
下文中，将描述用于实施本技术的模式。将按以下顺序给出描述。
1.实施例
2.变形例
3.其他
<<1.实施例>
将参考图1至图13来描述本技术的实施例。
<信息处理系统的配置示例>
图1是图示了应用本技术的信息处理系统1的实施例的框图。
例如，信息处理系统1是对球赛中的动作进行成像、执行从所获得的捕获图像生成的所捕获运动图像的分析和编辑之类的处理的系统。
注意的是，在本说明书中，球赛在广义上是指使用球的运动，该球包括羽毛球用球、冰球用球等。
信息处理系统1包括相机11、服务器12和信息处理装置13。服务器12和信息处理装置13经由网络21彼此连接。
相机11以高帧速率(例如，960p)对球赛中的动作进行成像并记录声音。相机11生成包括在成像的同时记录的声音即与运动图像对应的声音(下文中，称为所记录声音)的所捕获运动图像，并将所捕获运动图像发送到服务器12。
服务器12累积从相机11供应的所捕获运动图像。此外，服务器12生成子剪辑，该子剪辑是通过提取所捕获运动图像的部分而获得的运动图像。此外，服务器12转换所捕获运动图像的帧速率，以生成帧速率减小的低帧速率(例如，60i)的运动图像(下文中，称为LFR运动图像)。服务器12经由网络21向信息处理装置13发送各种运动图像。
信息处理装置13生成请求发送各种运动图像的信息，经由网络21将该信息发送到服务器12，并从服务器12接收所请求的运动图像。此外，信息处理装置13执行诸如分析和编辑接收到的运动图像的处理。
<服务器12的功能配置示例>
图2图示了服务器12的功能的配置示例。
服务器12包括通信单元51、信息处理单元52和存储单元53。
通信单元51经由网络21执行与相机11的通信以及与信息处理装置13的通信。例如，通信单元51从相机11接收所捕获运动图像，并将所捕获运动图像供应到信息处理单元52。此外，例如，通信单元51经由网络21将从信息处理单元52获取的各种运动图像发送到信息处理装置13。
注意的是，通信单元51的通信方法是随机的。此外，通信单元51可以支持多种通信方法。
信息处理单元52控制服务器12的每个单元，并执行各种类型的信息处理。信息处理单元52包括图像处理单元61。
图像处理单元61通过转换所捕获运动图像的帧速率来生成LFR运动图像。图像处理单元61将所生成的LFR运动图像供应到通信单元51，或者将所生成的LFR运动图像存储在存储单元53中。
此外，图像处理单元61通过提取所捕获运动图像的部分来生成子剪辑。图像处理单元61将子剪辑供应到通信单元51，或者将子剪辑存储在存储单元53中。
存储单元53包括例如非易失性存储器和易失性存储器，并存储用于服务器12的处理的各种类型的程序和数据。
<信息处理装置13的功能的配置示例>
图3图示了信息处理装置13的功能的配置示例。
信息处理装置13包括输入单元101、通信单元102、信息处理单元103、输出单元104和存储单元105。
输入单元101包括诸如键盘、鼠标或麦克风之类的输入设备，并将输入数据供应到信息处理单元103。
通信单元102经由网络21与服务器12通信。例如，通信单元102向服务器12发送请求发送各种运动图像的信息，并从服务器12接收所请求的运动图像。此外，例如，通信单元102还可以与未包括在信息处理系统1中的其他设备通信。
注意的是，通信单元102的通信方法是随机的。此外，通信单元102可以支持多种通信方法。
信息处理单元103控制信息处理装置13的每个单元，并执行各种类型的信息处理。信息处理单元103包括分析单元121、提取范围设置单元122、起始帧设置单元123和图像处理单元124。
分析单元121对各种运动图像执行各种分析处理。例如，分析单元121分析球赛中的动作。此外，例如，分析单元121分析运动图像中包括的所记录声音。分析单元121在必要时将指示分析结果的信息供应到提取范围设置单元122、起始帧设置单元123、图像处理单元124和输出单元104，或者将该信息存储在存储单元105中。
提取范围设置单元122基于LFR运动图像的分析结果等来设置用于提取子剪辑的提取范围。提取范围设置单元122向通信单元102供应包括提取范围和发送子剪辑请求的信息。
起始帧设置单元123基于子剪辑的分析结果来设置用于开始球赛中的动作分析的起始帧。起始帧设置单元123将指示起始帧的信息供应到分析单元121。
图像处理单元124基于向输入单元101输入的用户的指令等来编辑运动图像。图像处理单元124在必要时将编辑后的运动图像供应到通信单元102和输出单元104或者将编辑后的运动图像存储在存储单元105中。
输出单元104例如包括诸如显示器或扬声器之类的输出设备，并显示运动图像或者输出伴随运动图像的声音。
存储单元105包括例如非易失性存储器和易失性存储器，并存储用于信息处理装置13的处理的各种类型的程序和数据。
<运动图像编辑处理>
接下来，将参考图4的流程图描述信息处理系统1执行的运动图像编辑处理。
下文中，将描述基于通过用相机11对乒乓球动作进行成像而获得的高帧速率的所捕获运动图像来分析发球的旋转特性并将指示发球的旋转特性的旋转信息与运动图像进行组合的处理作为特定示例。注意的是，假定所捕获运动图像已经被捕获并存储在服务器12的存储单元53中。
在步骤S1中，信息处理系统1基于低帧速率的运动图像(LFR运动图像)来设置提取子剪辑的范围。
具体地，信息处理装置13的分析单元121生成请求发送LFR运动图像的信息，并经由通信单元102和网络21将该信息发送到服务器12。
另一方面，服务器12的图像处理单元61经由通信单元51接收请求发送LFR运动图像的信息。图像处理单元61将存储在存储单元53中的高帧速率的所捕获运动图像转换为低帧速率的LFR运动图像。此外，图像处理单元61经由通信单元51和网络21将LFR运动图像发送到信息处理装置13。
注意的是，LFR运动图像还包括与所捕获的运动图像对应的所记录声音。此外，图像处理单元61可以对所记录声音执行诸如降低采样速率之类的处理。
另一方面，信息处理装置13的信息处理单元103经由通信单元102接收LFR运动图像。提取范围设置单元122基于LFR运动图像来设置从所捕获运动图像提取子剪辑的范围。
这里，将描述设置子剪辑的提取范围的方法的示例。
例如，分析单元121分析LFR运动图像或所记录声音中的至少一个，并且提取范围设置单元122基于分析结果来设置子剪辑的提取范围。
例如，分析单元121通过跟踪LFR运动图像中的球来检测球的轨迹。分析单元121基于球轨迹的变化，在发球的撞击时刻或紧接在该时刻之后检测LFR运动图像的帧。
图5图示了乒乓球发球时刻球的轨迹的示例。
乒乓球运动员在击打发球时，将球抛起，然后击打下落的球。因此，在撞上球拍之前，球在图5中的位置P1至P4所指示的垂直方向上下落。然后，在当球到达位置P4时击打发球的情况下，球的行进方向变化，并且球在位置P4至P7所指示的方向上移动。
例如，分析单元121检测LFR运动图像中球的行进方向变化预定角度或更大的变化点，由此检测当球撞上位置P4处或者紧接在该时刻之后时检测该时刻(撞击时刻)的LFR运动图像的帧。
然而，由于LFR运动图像具有低帧速率，因此LFR运动图像不一定包括捕获撞击时刻的帧。因此，分析单元121可以能够仅检测大致的撞击时刻。
分析单元121将检测到的指示LFR运动图像的帧的信息供应到提取范围设置单元122。提取范围设置单元122将与检测到的LFR运动图像的帧对应的HFR运动图像的帧之前和之后的预定数量的帧的范围设置为提取范围。
注意的是，例如，用户在观察LFR运动图像时可以在发球的撞击时刻或紧接该时刻之后检测帧。
此外，例如，通常，就在发球之前，场地是安静的。因此，例如，分析单元121通过分析所记录声音来检测场地平静下来那一刻的时间，并将指示检测结果的信息供应到提取范围设置单元122。假定场地平静下来那一刻的时间在发球撞击之前稍早。提取范围设置单元122将从检测到的时间起经过规定时间之后的HFR运动图像的帧之前和之后的预定范围设置为提取范围。
此外，例如，在发球之后是来回球的情况下，击球声和反弹声从初始击球声起以一定程度的规律性出现。因此，例如，在分析单元121分析所记录声音并检测到以一定程度的规律性出现的击球声和反弹声的情况下，分析单元检测初始击球声出现时的时间，并将指示检测结果的信息供应到提取范围设置单元122。假定初始击球声重选的时间与发球撞击的时刻基本上是同时。提取范围设置单元122将检测到的时间的HFR运动图像的帧之前和之后的预定范围设置为提取范围。
此外，例如，分析单元121可以通过分析LFR运动图像来识别运动员的动作或姿势中的至少一者，并且提取范围设置单元122可以基于运动员的动作或姿势中的至少一者的识别结果来设置提取范围。
例如，在乒乓球运动员当中，有许多运动员就在发球之前执行所确定的动作(套路)。因此，例如，在分析单元121分析LFR运动图像并检测运动员套路的情况下，分析单元检测套路结束的时间，并将指示检测结果的信息供应到提取范围设置单元122。假定套路结束的时间在发球撞击之前稍早。提取范围设置单元122将从检测到的时间起经过规定时间之后的HFR运动图像的帧之前和之后的预定范围设置为提取范围。
此外，例如，分析单元121基于LFR运动图像来执行运动员的骨骼识别，并检测运动员骨骼的移动。然后，分析单元121基于运动员骨骼的移动，在发球的撞击时刻或紧接在该时刻之后检测LFR运动图像的帧。分析单元121将检测到的指示LFR运动图像的帧的信息供应到提取范围设置单元122。提取范围设置单元122将HFR运动图像中的与检测到的LFR运动图像对应的帧之前和之后的预定范围设置为提取范围。
注意的是，可以通过组合上述的一些方法来设置子剪辑的提取范围。
此外，下文中，子剪辑的帧数(提取范围内的帧数)为Fmax，子剪辑的头部帧的帧编号为1，并且最后一帧的帧编号为Fmax。
提取范围设置单元122经由通信单元102和网络21发送包括子剪辑的提取范围和请求发送子剪辑的信息。
另一方面，服务器12的图像处理单元61经由通信单元51接收请求发送子剪辑的信息。
在步骤S2中，服务器12从所捕获的运动图像中提取子剪辑。
具体地，图像处理单元61从所捕获的运动图像中提取由提取范围设置单元122设置的提取范围中的运动图像作为子剪辑。图像处理单元61经由通信单元51和网络21将所提取的子剪辑发送到信息处理装置13。
另一方面，信息处理装置13的信息处理单元103经由通信单元102接收子剪辑。
在步骤S3中，信息处理单元103执行起始帧设置处理。
这里，将参考图6至图8的流程图描述起始帧设置处理的细节。
在步骤S51中，分析单元121将1设置为变量i。
在步骤S52中，分析单元121确定在子剪辑的第i帧(下文中，称为帧i)中是否检测到球。分析单元121在子剪辑的帧i中搜索球。结果，在分析单元121确定不能在子剪辑的帧i中检测到球的情况下，处理前进至步骤S53。
在步骤S53中，分析单元121将变量i的值递增1。
在步骤S54中，分析单元121确定变量i是否等于或小于帧数Fmax。在确定变量i等于或小于帧数Fmax的情况下，处理返回到步骤S52。
此后，重复执行步骤S52至S54的处理，直到在步骤S52中确定在子剪辑的帧i中检测到球或者在步骤S54中确定变量i超过了帧数Fmax。
另一方面，在步骤S54中确定变量i超过帧数Fmax的情况下，起始帧设置处理结束。假定在子剪辑的所有帧中未检测到球并且未设置起始帧的情况。
此外，在步骤S52中确定在子剪辑的帧i中检测到球的情况下，处理前进至步骤S55。
在步骤S55中，分析单元121将变量i的值设置为变量Fs。即，子剪辑中首次出现球的帧的编号被设置为变量Fs。
在步骤S56中，分析单元121开始跟踪球。
在步骤S57中，分析单元121将变量i的值递增1。
在步骤S58中，以与步骤S54中的处理类似的方式，确定变量i是否等于或小于帧数Fmax。在确定变量i等于或小于帧数Fmax的情况下，处理前进至步骤S59。
在步骤S59中，以与步骤S52的处理类似的方式，确定在子剪辑的帧i中是否检测到球。在确定在子剪辑的帧i中检测到球的情况下，处理前进至步骤S60。
在步骤S60中，分析单元121确定是否检测到变化点。
这里，将参考图9描述检测球轨迹的变化点的方法的示例。
分析单元121通过下式(1)计算帧i中球的向量V(i)。
V(i)＝P(i)-P(i-c)...(1)
c是常数。P(i)指示球在帧i中的位置。P(i-c)指示球在帧i-c中的位置，即，帧i之前的c个帧。
接下来，分析单元121通过下式(2)计算帧i中球的行进方向上的角度θ(i)。
θ(i)＝tan-1(V(i).y/V(i).x)×(180/π)...(2)
V(i).x是向量V(i)的x分量，并且V(i).y是向量V(i)的y分量。
接下来，分析单元121通过下式(3)计算帧i和帧i-1之间的行进方向上的变化量Δθ(i)。
Δθ(i)＝|θ(i)-θ(i-1)|...(3)
注意的是，球的变化点一般是通过上述式(1)至(3)在球撞击时刻之后的帧中检测到的。
此外，当式(1)中的常数c减小时，可以在更接近球撞击位置的位置处检测到变化点。另一方面，当常数c增大时，可以更可靠地防止变化点的错误检测。
在变化量Δθ(i)等于或大于预定阈值的情况下，即，在球的行进方向变化达预定角度或更大的情况下，分析单元121确定子剪辑的帧i中球的位置P(i)是变化点。另一方面，在变化量Δθ(i)小于预定阈值的情况下，并且在球的行进方向没有变化达阈值或更大的情况下，分析单元121确定子剪辑的帧i中球的位置P(i)不是变化点。
然后，在变化量Δθ(i)小于预定阈值的情况下，分析单元121确定未检测到变化点，并且处理前进至步骤S61。
在步骤S61中，分析单元121确定在预定数量的帧中是否连续检测到球。在确定在预定数量的帧中尚未连续检测到球的情况下，处理返回到步骤S57。
注意的是，例如，帧的预定数量被设置为等于或大于分析球的旋转特性所需的最小帧数。
此后，重复执行步骤S57至S61的处理，直到在步骤S58中确定变量i超过帧数Fmax，在步骤S59中确定在子剪辑的帧i中未能检测到球，在步骤S60中确定检测到变化点，或者在步骤S61中确定在预定数量的帧中连续检测到球。
另一方面，在步骤S61中确定在预定数量的帧中连续检测到球的情况下，处理前进至步骤S62。
假定在子剪辑中首次检测到球之后在预定数量的帧中连续检测到球而未检测到变化点的情况。例如，假定以下情况：在子剪辑中，球在击打发球之前和撞击的时刻由于隐藏在运动员身后等而未出现，并且在击打发球之后，球连续出现。具体地，例如，如图10中示意性图示的，假定以下情况：一直未出现球，直到到达子剪辑中的位置P5，并且在到达位置P5之后，球连续出现。
在步骤S62中，起始帧设置单元123基于子剪辑的第Fs帧(帧Fs)来设置起始帧。
具体地，分析单元121通知起始帧设置单元123从子剪辑的帧Fs起的预定数量的帧中连续检测到球。
例如，起始帧设置单元123将子剪辑的帧Fs设置为起始帧。即，例如，在完成击打发球之后首次出现球的帧被设置为起始帧。因此，在子剪辑中的出现球的帧当中，在发球撞击时刻之后与发球的撞击时刻最接近的帧(接近撞击时刻的帧)被设置为起始帧。
起始帧设置单元123将指示所设置的起始帧的信息供应到分析单元121。
此后，起始帧设置处理结束。
另一方面，在步骤S60中，在变化量Δθ(i)等于或大于预定阈值的情况下，分析单元121确定检测到变化点，并且处理前进至步骤S63。
在步骤S63中，分析单元121将变量i的值设置为变量Fs。即，子剪辑中的检测到球的变化点的帧的编号被设置为变量Fs。
在步骤S64中，分析单元121将变量i的值递增1。
在步骤S65中，以与步骤S54中的处理类似的方式，确定变量i是否等于或小于帧数Fmax。在确定变量i等于或小于帧数Fmax的情况下，处理前进至步骤S66。
在步骤S66中，以与步骤S52的处理类似的方式，确定在子剪辑的帧i中是否检测到球。在确定在子剪辑的帧i中检测到球的情况下，处理前进至步骤S67。
在步骤S67中，分析单元121确定在检测到变化点之后的预定数量的帧中是否连续检测到球。在确定在检测到变化点之后的预定数量的帧中尚未连续检测到球的情况下，处理返回到步骤S64。
注意的是，例如，帧的预定数量被设置为等于或大于分析球的旋转特性所需的最小帧数。
此后，重复执行步骤S64至S67的处理，直到在步骤S65中确定变量i超过帧数Fmax，在步骤S66中确定在子剪辑的帧i中未能检测到球，在步骤S67中确定在检测到变化点之后的预定数量的帧中连续检测到球。
另一方面，在步骤S67中确定在检测到变化点之后的预定数量的帧中连续检测到球的情况下，处理前进至步骤S68。
例如，如上述图5中图示的，假定以下情况：在子剪辑中，从击打发球之前到完成击打之后，球连续出现，并且在发球撞击之后的预定数量的帧中，连续检测到球。
在步骤S68中，起始帧设置单元123基于子剪辑的第Fs帧(帧Fs)设置起始帧。
具体地，分析单元121通知起始帧设置单元123在子剪辑的帧Fs中检测到变化点之后的预定数量的帧中连续检测到球。
例如，起始帧设置单元123将在子剪辑的帧Fs之前预定的帧(例如，之前一帧)的帧设置为起始帧。因此，例如，捕获发球撞击时刻或紧接在该时刻之后的帧被设置为起始帧。
起始帧设置单元123将指示所设置的起始帧的信息供应到分析单元121。
此后，起始帧设置处理结束。
另一方面，在步骤S66中确定在子剪辑的帧i中未能检测到球的情况下，起始帧设置处理结束。例如，假定在检测到变化点之后的预定数量的帧中未能连续检测到球并且未设置起始帧的情况。
此外，在步骤S65中确定变量i超过帧数Fmax的情况下，起始帧设置处理结束。假定在检测到变化点之后的预定数量的帧中连续检测到球之前子剪辑结束并且未设置起始帧的情况。
此外，在步骤S59中确定在子剪辑的帧i中未能检测到球的情况下，处理前进至步骤S69。假定在球出现一次之后球在在剪辑中消失的情况。
在步骤S69中，分析单元121将变量i的值递增1。
在步骤S70中，以与步骤S54中的处理类似的方式，确定变量i是否等于或小于帧数Fmax。在确定变量i等于或小于帧数Fmax的情况下，处理前进至步骤S71。
在步骤S71中，以与步骤S52的处理类似的方式，确定在子剪辑的帧i中是否检测到球。在确定在子剪辑的帧i中未能检测到球的情况下，处理返回到步骤S69。
此后，重复执行步骤S69至S71的处理，直到在步骤S70中确定变量i超过了帧数Fmax或者在步骤S71中确定在子剪辑的帧i中检测到球。
另一方面，在步骤S71中确定在子剪辑的帧i中检测到球的情况下，处理前进至步骤S72。假定在子剪辑中球消失一次然后再次出现的情况。
在步骤S72中，分析单元121将变量i的值设置为变量Fs。即，子剪辑中再次出现球的帧的编号被设置为变量Fs。
在步骤S73中，以与步骤S56中的处理类似的方式，开始球的跟踪。
在步骤S74中，分析单元121将变量i的值递增1。
在步骤S75中，以与步骤S54中的处理类似的方式，确定变量i是否等于或小于帧数Fmax。在确定变量i等于或小于帧数Fmax的情况下，处理前进至步骤S76。
在步骤S76中，以与步骤S52的处理类似的方式，确定在子剪辑的帧i中是否检测到球。在确定在子剪辑的帧i中检测到球的情况下，处理前进至步骤S77。
在步骤S77中，分析单元121确定在再次检测到球之后的预定数量的帧中是否连续检测到球。在确定在再次检测到球之后的预定数量的帧中尚未连续检测到球的情况下，处理返回到步骤S74。
注意的是，例如，帧的预定数量被设置为等于或大于分析球的旋转特性所需的最小帧数。
此后，重复执行步骤S74至S77的处理，直到在步骤S75中确定变量i超过帧数Fmax，在步骤S76中确定在子剪辑的帧i中未能检测到球，在步骤S77中确定在再次检测到球之后的预定数量的帧中连续检测到球。
另一方面，在步骤S77中确定在再次检测到球之后的预定数量的帧中连续检测到球的情况下，处理前进至步骤S78。
例如，假定以下情况：在子剪辑中，在击打发球之后球出现之后，球由于隐藏在运动员身后等而消失一次，并且在击打发球之后，球再次消失。具体地，例如，如图11中示意性图示的，假定以下情况：在子剪辑中，球在位置P1处出现，然后在位置P3消失，并且球再次在位置P6消失。
在步骤S78中，起始帧设置单元123基于子剪辑的第Fs帧(帧Fs)来设置起始帧。
具体地，分析单元121通知起始帧设置单元123在子剪辑的帧Fs中检测到球之后的预定数量的帧中连续检测到球。
例如，起始帧设置单元123将子剪辑的帧Fs设置为起始帧。即，例如，在完成击打发球之后首次出现球的帧被设置为起始帧。因此，在子剪辑中的出现球的帧当中，在发球撞击时刻之后与发球的撞击时刻最接近的帧被设置为起始帧。
起始帧设置单元123将指示所设置的起始帧的信息供应到分析单元121。
此后，起始帧设置处理结束。
另一方面，在步骤S76中确定在子剪辑的帧i中未能检测到球的情况下，起始帧设置处理结束。例如，假定在子剪辑中再次检测到球之后的预定数量的帧中未能连续检测到球并且未设置起始帧的情况。
此外，在步骤S75中确定变量i超过帧数Fmax的情况下，起始帧设置处理结束。假定以下情况：在子剪辑中，再次检测到球，然后在预定数量的帧中连续检测到球之前，子剪辑结束，并且未设置起始帧。
此外，在步骤S70中确定变量i超过帧数Fmax的情况下，起始帧设置处理结束。假定球消失然后在子剪辑中未被再次检测到，并且未设置起始帧。
此外，在步骤S58中确定变量i超过帧数Fmax的情况下，起始帧设置处理结束。假定以下情况：在子剪辑中，检测到球，然后在预定数量的帧中连续检测到球之前，子剪辑结束，并且未设置起始帧。
返回图4，在步骤S4中，分析单元121基于步骤S3中的处理结果来确定是否设置了起始帧。在确定设置了起始帧的情况下，处理前进至步骤S5。
在步骤S5中，分析单元121执行旋转特性分析处理。
这里，将参考图12的流程图描述旋转特性分析处理的细节。
在步骤S101中，分析单元121从每帧提取球图像。具体地，分析单元121在从子剪辑的起始帧到预定数量的帧之后的帧的每一帧中检测捕获球的区域和球在每一帧中的中心点。
注意的是，例如，帧的预定数量被设置为等于或大于分析球的旋转特性所需的最小帧数。
分析单元121从每一帧中提取以检测到的球的中心点为中心的捕获球的区域的图像(下文中，称为球图像)。分析单元121在必要时调整球图像的大小，使得所提取的球图像之间的球的大小匹配。
在步骤S102中，分析单元121从每一帧的球图像中提取球的标志。例如，分析单元121通过对每个球图像执行移动平均差分、噪声去除等，生成通过从每个球图像中提取球的标志而获得的标志提取图像。标志提取图像是例如其中标志的一部分用白色表示而其他部分用黑色表示的二值图像。
在步骤S103中，分析单元121计算相应帧的标志提取图像之间的相似度。例如，分析单元121在变化帧间隔n的同时，计算相应帧的标志提取图像之间的相似度之和。例如，零均值归一化互相关(ZNCC)被用来计算相似度。
在步骤S104中，分析单元121获得使标志提取图像之间的相似度之和被最大化的帧间隔。
图13是图示在将ZNCC用于计算相应帧的标志提取图像之间的相似度的情况下的计算结果的示例的曲线图。在图13中，水平轴表示帧间隔，并且垂直轴表示相似度之和。
在该示例的情况下，相应帧的标志提取图像之间的相似度之和最大的帧间隔Imax为26.5。
在步骤S105中，分析单元121计算球的旋转速度。具体地，分析单元121通过将子剪辑(所捕获运动图像)的帧速率除以在步骤S104的处理中获得的帧间隔来计算球的旋转速度。
例如，在图13的示例中，当子剪辑的帧速率为960fps时，球的旋转速度为36rps(≈960/26.5)。
在步骤S106中，分析单元121通过使用梯度方法来检测球的旋转轴。
例如，分析单元121生成通过将每一帧的球图像绕旋转轴旋转一帧而获得的搜索旋转图像。注意的是，基于在步骤S105的处理中计算出的旋转速度来计算一帧的旋转量。
然后，分析单元121计算每一帧的搜索旋转图像与一帧之后的标志提取图像之间的相似度。例如，计算第一帧的搜索旋转图像与第二帧的标志提取图像之间的相似度、第二帧的搜索旋转图像与第三帧的标志提取图像之间的相似度、…、以及第n-1帧的搜索旋转图像与第n帧的标志提取图像之间的相似度之和。分析单元121在变化旋转轴的同时计算每个旋转轴/>的相似度之和。
接下来，分析单元121通过使用梯度法搜索相似性之和最大的旋转轴并将相似性之和最大的旋转轴/>估计为球的旋转轴。
此外，分析单元121基于标志提取图像中的标志的移动方向来估计球的旋转方向。
分析单元121向图像处理单元124供应指示球的旋转速度、旋转轴和旋转方向的信息以及起始帧。
此后，旋转特性分析处理结束。
返回图4，在步骤S6中，图像处理单元124将旋转特征信息与运动图像组合。
例如，图像处理单元124生成请求发送所捕获运动图像的信息，并经由通信单元102和网络21将该信息发送到服务器12。
另一方面，服务器12的图像处理单元61经由通信单元51接收请求发送所捕获运动图像的信息。图像处理单元61从存储单元53读取捕获图像，并经由通信单元51和网络21将所捕获的图像发送到信息处理装置13。
另一方面，信息处理装置13的图像处理单元124经由通信单元102接收所捕获的运动图像。图像处理单元124检测与所捕获运动图像中的起始帧对应的帧。然后，图像处理单元124在检测到的帧附近叠加指示发球旋转特性的旋转特性信息。
旋转特性信息包括例如指示发球旋转特性的显示效果、数值等。
注意的是，例如，也可以将旋转特性信息叠加在子剪辑上。此外，例如，信息处理装置13的图像处理单元124可以从服务器12获取在起始帧之前和之后的预定范围中的所捕获运动图像，并叠加旋转特性信息。
此后，运动图像编辑处理结束。
另一方面，在步骤S4中确定未设置起始帧的情况下，跳过步骤S5和S6中的处理，并且运动图像编辑处理结束。即，由于起始帧的设置误差，导致不执行对球的旋转特性的分析以及将旋转特性信息组合到运动图像中。
如上所述，可以容易地分析球的旋转特性。
具体地，通过使用低帧速率的LFR运动图像来设置子剪辑的提取范围，并且通过使用子剪辑来设置起始帧。因此，与通过使用高帧速率的所捕获运动图像来设置起始帧的情况相比，减少了处理，并且可以更快地设置起始帧。
此外，即使当传感器没有附接到运动员、球拍等时，也可以容易地在高帧速率的所捕获运动图像(子剪辑)中检测到发球的撞击时刻。
此外，在所捕获运动图像中，即使当由于运动员的影子等而导致在发球撞击时刻球消失时，与发球撞击时刻最接近的帧被设置为起始帧。结果，提高了分析发球旋转特性的准确性。
<<2.变形例>>
下文中，将描述本技术的上述实施例的变形例。
在以上描述中，已经描述了分析乒乓球中发球的旋转特性的示例，但本技术也可以应用于分析乒乓球中的扣杀、击球、削球等的旋转特性的情况。即，本技术还可以应用于分析乒乓球中除发球以外的就在球撞击之后进行的旋转特性的情况。
此外，本技术还可以应用于在除乒乓球以外的球赛中就在球撞击之后的旋转特性的情况。例如，本技术也可以应用于分析网球、羽毛球、棒球、冰球等用球撞击之后的旋转特性的情况。此外，例如，本技术还可以应用于分析在不使用工具的情况下由人体击打(包括踢等)球的诸如排球和足球之类的球赛中的就在球撞击之后的旋转特性的情况。
此外，本技术还可以应用于检测在不动的球被击打的诸如高尔夫或台球之类的球赛中的就在球撞击之后的旋转特性的情况。
此外，例如，本技术还可以应用于分析运动员投掷球的诸如保龄球或飞镖之类的球赛中的被投掷球的旋转特性的情况。
此外，本技术还可以应用于子剪辑用于图像分析而不是球的旋转特性分析的情况。例如，假定球撞击之前和之后是球赛的精彩场面。因此，例如，本技术可以应用于提取子剪辑作为体育运动的精彩场面的情况。
<<3.其他>>
<计算机的配置示例>
上述的一系列处理可以由硬件或软件执行。在由软件执行该一系列处理的情况下，构成软件的程序被安装在计算机中。这里，例如，计算机包括被装配在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
图14是图示了通过程序执行上述一系列处理的计算机的硬件配置示例的框图。
在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。
此外，输入/输出接口1005连接到总线1004。输入单元1006、输出单元1007、记录单元1008、通信单元1009和驱动器1010连接到输入/输出接口1005。
输入单元1006包括输入开关、按钮、麦克风、成像元件等。输出单元1007包括显示器、扬声器等。记录单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质1011。
在如上所述配置的计算机1000中，例如，按CPU 1001将记录在记录单元1008中的程序经由输入/输出接口1005和总线1004加载到RAM1003中并执行程序这样的方式执行上述那些系列。
例如，由计算机1000(CPU 1001)执行的程序可以被记录和设置在作为封装介质等的可移除介质1011上。此外，该程序可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供。
在计算机1000中，通过将可移除介质1011附接到驱动器1010，可以将该程序经由输入/输出接口1005安装在记录单元1008中。此外，程序可以经由有线或无线传输介质被通信单元1009接收并安装在记录单元1008中。另外，该程序可以预先被安装在ROM 1002或记录单元1008中。
注意的是，由计算机执行的程序可以是按本说明书中描述的顺序按时间序列执行处理的程序或者并行地或在必要时刻(诸如，当拨打电话时)执行处理的程序。
此外，在本说明书中，系统意指多个部件(设备、模块(零件)等)的集合，并且所有部件是否在同一外壳中无关紧要。因此，容纳在单独外壳中并经由网络连接的多个设备以及其中多个模块被容纳在一个外壳中的一个设备都是系统。
此外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的主旨的情况下进行各种修改。
例如，本技术可以被配置为其中一个功能经由网络被多个设备共享并进行联合处理的云计算。
此外，上述流程图中描述的各步骤可以由一个设备执行或者由多个设备共享。
此外，在一个步骤包括多个处理的情况下，这个步骤中包括的这多个处理可以由一个设备执行或者由多个设备共享。
<配置的组合示例>
本技术还可以具有以下配置。
(1)一种信息处理装置，包括：
分析单元，其检测第一运动图像中的球的轨迹；以及
起始帧设置单元，其基于第一运动图像中的球的轨迹的检测结果，在第一运动图像的帧当中设置用于开始进行预定处理的起始帧。
(2)根据(1)所述的信息处理装置，
其中，分析单元检测在第一运动图像中球的行进方向以预定角度或更大角度变化的变化点，以及
起始帧设置单元基于检测到变化点的帧来设置起始帧。
(3)根据(2)所述的信息处理装置，
其中，起始帧是捕获到球的撞击时刻的帧或接近球的撞击时刻的帧。
(4)根据(2)或(3)所述的信息处理装置，
其中，在第一运动图像中未检测到变化点的情况下，起始帧设置单元基于第一运动图像中在预定数量的帧或更多帧中连续检测到球的范围中的头部帧来设置起始帧。
(5)根据(2)至(4)中任一项所述的信息处理装置，
其中，在第一运动图像中在预定数量的帧或更多帧中未连续检测到球的情况下，起始帧设置单元不设置起始帧。
(6)根据(1)至(5)中任一项所述的信息处理装置，
其中，第一运动图像是从通过对球类运动进行成像而获得的捕获图像生成的第二运动图像中提取的。
(7)根据(6)所述的信息处理装置，所述信息处理装置还包括：
提取范围设置单元，其基于具有比第一运动图像的帧速率低的帧速率的第三运动图像来设置从第二运动图像中提取第一运动图像的提取范围。
(8)根据(7)所述的信息处理装置，
其中，分析单元分析第三运动图像，以及
提取范围设置单元基于第三运动图像的分析结果来设置提取范围。
(9)根据(8)所述的信息处理装置，
其中，分析单元检测第三运动图像中的球的轨迹，以及
提取范围设置单元基于第三运动图像中的球的轨迹的检测结果来设置提取范围。
(10)根据(9)所述的信息处理装置，
其中，分析单元检测在第三运动图像中球的行进方向以预定角度或更大角度变化的变化点，以及
提取范围设置单元基于检测到变化点的帧来设置提取范围。
(11)根据(8)至(10)中任一项所述的信息处理装置，
其中，分析单元基于第三运动图像来识别运动员的动作和姿势中的至少一者，以及
提取范围设置单元基于运动员的动作和姿势中的至少一者的识别结果来设置提取范围。
(12)根据(7)至(11)中任一项所述的信息处理装置，
其中，分析单元分析与第三运动图像对应的声音，以及
提取范围设置单元基于声音的分析结果来设置提取范围。
(13)根据(7)至(12)中任一项所述的信息处理装置，
其中，第三运动图像是基于第二运动图像生成的。
(14)根据(1)至(13)中任一项所述的信息处理装置，
其中，预定处理是图像分析。
(15)根据(14)所述的信息处理装置，
其中，图像分析是对球的旋转特性的分析。
(16)根据(15)所述的信息处理装置，
其中，图像分析是对乒乓球的发球的旋转特征的分析。
(17)根据(15)或(16)所述的信息处理装置，
其中，分析单元分析球的旋转特性。
(18)根据(1)至(17)中任一项所述的信息处理装置，
其中，球是乒乓球用球。
(19)一种由信息处理装置执行的信息处理方法，所述方法包括：
检测运动图像中的球的轨迹；以及
基于运动图像中的球的轨迹的检测结果，在运动图像的帧当中设置用于开始进行预定处理的起始帧。
(20)一种使计算机执行包括以下步骤的处理的程序：
检测运动图像中的球的轨迹；以及
基于运动图像中的球的轨迹的检测结果，在运动图像的帧当中设置用于进行开始预定处理的起始帧。
注意的是，本说明书中描述的效果仅仅是示例而非限制，并且可以提供其他效果。
参考符号列表
1 信息处理系统
11 相机
12 服务器
13 信息处理装置
52 信息处理单元
61 图像处理单元
103 信息处理单元
121 分析单元
122 提取范围设置单元
123 起始帧设置单元
124 图像处理单元

Claims (18)

1.一种信息处理装置，包括：
分析单元，所述分析单元检测第一运动图像中的球的轨迹；以及
起始帧设置单元，所述起始帧设置单元基于所述第一运动图像中的所述球的轨迹的检测结果，在所述第一运动图像的帧当中设置用于开始进行预定处理的起始帧，
其中，所述分析单元检测在所述第一运动图像中所述球的行进方向以预定角度或更大角度变化的变化点，
所述起始帧设置单元基于检测到所述变化点的帧来设置所述起始帧，以及
其中，在所述第一运动图像中未检测到所述变化点的情况下，所述起始帧设置单元基于所述第一运动图像中在预定数量的帧或更多帧中连续检测到所述球的范围中的头部帧来设置所述起始帧。
2.根据权利要求1所述的信息处理装置，
其中，所述起始帧是捕获到所述球的撞击时刻的帧或接近所述球的撞击时刻的帧。
3.根据权利要求1所述的信息处理装置，
其中，在所述第一运动图像中在预定数量的帧或更多帧中未连续检测到所述球的情况下，所述起始帧设置单元不设置所述起始帧。
4.根据权利要求1所述的信息处理装置，
其中，所述第一运动图像是从通过对球类运动进行成像而获得的捕获图像生成的第二运动图像中提取的。
5.根据权利要求4所述的信息处理装置，还包括：
提取范围设置单元，所述提取范围设置单元基于具有比所述第一运动图像的帧速率低的帧速率的第三运动图像来设置从所述第二运动图像中提取所述第一运动图像的提取范围。
6.根据权利要求5所述的信息处理装置，
其中，所述分析单元分析所述第三运动图像，以及
所述提取范围设置单元基于所述第三运动图像的分析结果来设置所述提取范围。
7.根据权利要求6所述的信息处理装置，
其中，所述分析单元检测所述第三运动图像中的所述球的轨迹，以及
所述提取范围设置单元基于所述第三运动图像中的所述球的轨迹的检测结果来设置所述提取范围。
8.根据权利要求7所述的信息处理装置，
其中，所述分析单元检测在所述第三运动图像中所述球的行进方向以预定角度或更大角度变化的变化点，以及
所述提取范围设置单元基于检测到所述变化点的帧来设置所述提取范围。
9.根据权利要求6所述的信息处理装置，
其中，所述分析单元基于所述第三运动图像来识别运动员的动作和姿势中的至少一者，以及
所述提取范围设置单元基于所述运动员的动作和姿势中的至少一者的识别结果来设置所述提取范围。
10.根据权利要求5所述的信息处理装置，
其中，所述分析单元分析与所述第三运动图像对应的声音，以及
所述提取范围设置单元基于所述声音的分析结果来设置所述提取范围。
11.根据权利要求5所述的信息处理装置，
其中，所述第三运动图像是基于所述第二运动图像生成的。
12.根据权利要求1所述的信息处理装置，
其中，所述预定处理是图像分析。
13.根据权利要求12所述的信息处理装置，
其中，所述图像分析是对所述球的旋转特性的分析。
14.根据权利要求13所述的信息处理装置，
其中，所述图像分析是对乒乓球的发球的旋转特征的分析。
15.根据权利要求13所述的信息处理装置，
其中，所述分析单元分析所述球的旋转特性。
16.根据权利要求1所述的信息处理装置，
其中，所述球是乒乓球用球。
17.一种由信息处理装置执行的信息处理方法，所述方法包括：
检测运动图像中的球的轨迹，检测在所述运动图像中所述球的行进方向以预定角度或更大角度变化的变化点；以及
基于所述运动图像中的所述球的轨迹的检测结果，在所述运动图像的帧当中设置用于开始进行预定处理的起始帧，基于检测到所述变化点的帧来设置所述起始帧，
其中，在所述运动图像中未检测到所述变化点的情况下，基于所述运动图像中在预定数量的帧或更多帧中连续检测到所述球的范围中的头部帧来设置所述起始帧。
18.一种用于使计算机执行包括以下步骤的处理的程序：
检测运动图像中的球的轨迹，检测在所述运动图像中所述球的行进方向以预定角度或更大角度变化的变化点；以及
基于所述运动图像中的所述球的轨迹的检测结果，在所述运动图像的帧当中设置用于进行开始预定处理的起始帧，基于检测到所述变化点的帧来设置所述起始帧，
其中，在所述运动图像中未检测到所述变化点的情况下，基于所述运动图像中在预定数量的帧或更多帧中连续检测到所述球的范围中的头部帧来设置所述起始帧。
CN202080079087.XA 2019-11-22 2020-11-09 信息处理装置、信息处理方法和程序 Active CN114728194B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019211520 2019-11-22
JP2019-211520 2019-11-22
PCT/JP2020/041734 WO2021100516A1 (ja) 2019-11-22 2020-11-09 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN114728194A CN114728194A (zh) 2022-07-08
CN114728194B true CN114728194B (zh) 2024-04-02

Family

ID=75981234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079087.XA Active CN114728194B (zh) 2019-11-22 2020-11-09 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20220405943A1 (zh)
JP (1) JPWO2021100516A1 (zh)
CN (1) CN114728194B (zh)
WO (1) WO2021100516A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220135819A (ko) * 2021-03-31 2022-10-07 한국전자통신연구원 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148919A (zh) * 2010-02-09 2011-08-10 新奥特（北京）视频技术有限公司 一种球类检测的方法及系统
CN107773961A (zh) * 2017-09-15 2018-03-09 维沃移动通信有限公司 一种发球控制方法及移动终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189857B2 (en) * 2007-09-07 2012-05-29 EDH Holding (Pty) Ltd Methods and processes for detecting a mark on a playing surface and for tracking an object
CN103019024B (zh) * 2012-11-29 2015-08-19 浙江大学 实时精确观测和分析乒乓球旋转系统与系统运行方法
US20170083769A1 (en) * 2015-09-18 2017-03-23 ZonalTennis LLC Method For Segmenting And Annotating Recorded Video Of Tennis Play Based On Motion/Position Of Players And Tennis Ball In Video
US20220044423A1 (en) * 2018-12-02 2022-02-10 Playsight Interactive Ltd. Ball trajectory tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148919A (zh) * 2010-02-09 2011-08-10 新奥特（北京）视频技术有限公司 一种球类检测的方法及系统
CN107773961A (zh) * 2017-09-15 2018-03-09 维沃移动通信有限公司 一种发球控制方法及移动终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
テニスのダブルスにおける戦術獲得に関する研究;西田義人;映像情堯メディ ア学会誌;第65卷(第7期);984-991 *
ポールマークと運動モデルに基づくボールの回転計測;玉城將;画像ラボ;第27卷(第7期);35 *
卓球ロポットのための,ヒトのラケットの動きを考慮した打撃点予測;池ロ誠;第35回日本ロポット学会学術講演会;1-2 *
西田義人.テニスのダブルスにおける戦術獲得に関する研究.映像情堯メディ ア学会誌.2011,第65卷(第7期),984-991. *
高速トラッキング撮影システム;岡村淳一;放送技術5月号.兼六館出版株式会社;第68卷(第5期);121 *

Also Published As

Publication number Publication date
US20220405943A1 (en) 2022-12-22
JPWO2021100516A1 (zh) 2021-05-27
CN114728194A (zh) 2022-07-08
WO2021100516A1 (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
CN110505519B (zh) 一种视频剪辑方法、电子设备及存储介质
US11439886B2 (en) System and method for determining impact characteristics of sports ball striking element
JP6249706B2 (ja) 情報処理装置、情報処理方法及びプログラム
Pingali et al. Visualization of sports using motion trajectories: providing insights into performance, style, and strategy
WO2006009521A1 (en) System and method for replay generation for broadcast video
EP2707837A1 (en) Method of analysing a video of sports motion
JP4839226B2 (ja) シーン区間分割装置
Yu et al. A ball tracking framework for broadcast soccer video
CN114728194B (zh) 信息处理装置、信息处理方法和程序
US20220047917A1 (en) Method, device and computer software for determining a relative performance measure between at least two players in a sport
CN108970091B (zh) 一种羽毛球动作分析方法及系统
KR102144764B1 (ko) 스포츠 코트에서의 인아웃 판정 방법 및 장치
Cheng et al. Ball state based parallel ball tracking and event detection for volleyball game analysis
US20230289981A1 (en) Electronic assessment of playing surface properties
JP2019083968A (ja) プレイヤ分析支援システム
JP7111433B2 (ja) ボールの運動に対するセンシング装置及びそのセンシング方法
JP6371020B1 (ja) 情報処理装置
CN112989905A (zh) 从图像判定运动员的手球的设备、计算机程序以及方法
EP4212218A1 (en) A method, computer program, apparatus and system for recording tennis sporting event as from game start and stop detection
EP4325448A1 (en) Data processing apparatus and method
EP4325443A1 (en) Data processing apparatus and method
EP4089636A1 (en) Apparatus, method and computer program product for generating location information of an object in a scene
CN113992975B (zh) 视频播放方法、装置、设备以及计算机存储介质
JP7304747B2 (ja) 画像処理装置、制御方法及び制御プログラム
KR20020078707A (ko) 스포츠 동영상에서의 통계 정보 자동 추출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant