CN111527520A - 提取程序、提取方法以及信息处理装置 - Google Patents

提取程序、提取方法以及信息处理装置 Download PDF

Info

Publication number
CN111527520A
CN111527520A CN201780097980.3A CN201780097980A CN111527520A CN 111527520 A CN111527520 A CN 111527520A CN 201780097980 A CN201780097980 A CN 201780097980A CN 111527520 A CN111527520 A CN 111527520A
Authority
CN
China
Prior art keywords
gesture
performances
player
determination result
completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780097980.3A
Other languages
English (en)
Inventor
内藤宏久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111527520A publication Critical patent/CN111527520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

信息处理装置(100)基于成立不成立的判定结果以及完成度的判定结果中的至少一方，从多个招式中提取根据判定成立不成立的第一基准而在规定范围内的第一招式或者根据判定完成度的第二基准而在规定范围内的第二招式。信息处理装置(100)从根据一连串的表演的3D感测数据生成的比赛者的3D模型动态图像或者拍摄表演而得到的影像中提取与第一招式或者第二招式对应的位置，并输出提取出的动态图像或者影像。

Description

提取程序、提取方法以及信息处理装置
技术领域
本发明涉及提取程序等。
背景技术
作为从一连串的影像提取一部分的影像的以往技术，有生成摘要影像的技术。在该以往技术中，生成体育比赛的影像中的以有得分的场面为中心的一部分的影像，作为摘要影像。
另外，在其它的以往技术中，利用给予至影像的各种索引信息，提取特定的场面的影像。例如，各种索引信息包含表示影像场景的划分的索引、表示选手的攻击动作的定时的索引、表示得分相关的动作的定时的索引。以往技术根据各索引的组合确定特定的场面的影像，并提取确定出的影像。
专利文献1：日本特开2005－26837号公报
专利文献2：日本特开2001－251581号公报
然而，在上述的以往技术中，有并不从与打分比赛相关的一连串的影像中提取以打分为基准的影像这样的问题。
例如，以往技术在从一连串的影像提取一部分的影像的情况下，提取特定的比赛局面的部分影像，在打分比赛中，并不提取以打分为基准的影像。
发明内容
在一个方面，本发明的目的在于提供能够从与打分比赛相关的一连串的影像中提取以打分为基准的影像的提取程序、提取方法以及信息处理装置。
在第一方案中，使计算机执行下述的处理。计算机获取基于比赛者的一连串的表演的3D感测数据的、构成表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方。计算机基于成立不成立的判定结果以及完成度的判定结果中的至少一方，从多个招式中提取根据判定成立不成立的第一基准而在规定范围内的第一招式或者根据判定完成度的第二基准而在规定范围内的第二招式。计算机从根据一连串的表演的3D感测数据生成的比赛者的3D模型动态图像或者拍摄表演而得到的影像中提取与第一招式或者第二招式对应的位置。计算机输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
能够从与打分比赛相关的一连串的影像中提取以打分为基准的影像。
附图说明
图1是表示本实施例1的系统的一个例子的图。
图2是表示静止姿势的一个例子的图。
图3是表示运动姿势的一个例子的图。
图4是表示吊环的表演的一个例子的图。
图5是表示本实施例1的信息处理装置的构成的功能框图。
图6是表示本实施例1的感测DB的数据结构的一个例子的图。
图7是表示本实施例1的影像DB的数据结构的一个例子的图。
图8是表示本实施例1的关节定义数据的一个例子的图。
图9是表示本实施例1的关节位置DB的数据结构的一个例子的图。
图10是表示本实施例1的3D模型DB的数据结构的一个例子的图。
图11是表示本实施例1的招式识别DB的数据结构的一个例子的图。
图12是表示本实施例1的招式识别表格的数据结构的一个例子的图。
图13是表示成立条件表格的数据结构的一个例子的图。
图14是用于说明静止姿势名与静止姿势成立条件的关系的一个例子的图。
图15是表示运动姿势名与运动姿势成立条件的关系的一个例子的图。
图16是用于补充说明运动姿势成立条件的图。
图17是用于说明静止姿势的评价项目的扣分的分数的图。
图18是用于说明运动姿势的评价项目的扣分的分数的图。
图19是表示提取为第一招式的姿势和不提取为第一招式的姿势的一个例子的图。
图20是表示提取为第二招式的姿势和不提取为第二招式的姿势的一个例子的图。
图21是表示本实施例1的摘要影像DB的数据结构的一个例子的图。
图22是表示本实施例1的显示画面的一个例子的图。
图23是表示本实施例1的信息处理装置的处理顺序的流程图(1)。
图24是表示本实施例1的信息处理装置的处理顺序的流程图(2)。
图25是表示本实施例2的信息处理装置的构成的功能框图。
图26是表示本实施例2的招式识别DB的数据结构的一个例子的图。
图27是表示本实施例2的信息处理装置的处理顺序的流程图(1)。
图28是表示本实施例2的信息处理装置的处理顺序的流程图(2)。
图29是表示本实施例3的显示画面的一个例子的图(1)。
图30是表示本实施例3的显示画面的一个例子的图(2)。
图31是表示实现与信息处理装置相同的功能的计算机的硬件构成的一个例子的图。
具体实施方式
以下，基于附图对本申请公开的提取程序、提取方法以及信息处理装置的实施例进行详细说明。此外，并不通过该实施例对该发明进行限定。
实施例1
图1是表示本实施例1的系统的一个例子的图。如图1所示，该系统具有3D(3dimension：三维)激光传感器20a、相机20b以及信息处理装置100。信息处理装置100与3D激光传感器20a以及相机20b连接。
3D激光传感器20a是对比赛者10进行3D感测的传感器。3D激光传感器20a将成为感测结果的传感器数据输出给信息处理装置100。
例如，在传感器数据中包含有多个帧，对各帧按升序给予唯一地识别帧的帧编号。传感器数据是3D感测数据的一个例子。在各帧中包含有从3D激光传感器20a到比赛者10上的各点为止的距离信息。通过使用传感器数据，能够估计各帧中的比赛者10的各关节的三维位置，生成比赛者10的3D模型。
相机20b是拍摄比赛者10的影像的相机。相机20b将拍摄到的影像数据输出给信息处理装置100。例如，在影像数据中包含有多个帧，对各帧按升序给予唯一地识别帧的帧编号。在各帧中包含有在各定时由相机20b拍摄到的静止图像的信息。
在以下的说明中，适当地将传感器数据所包含的帧表述为“传感器帧”。将影像数据所包含的帧表述为“影像帧”。
比赛者10在3D激光传感器20a以及相机20b的前方，进行成为打分对象的规定的表演。比赛者10是比赛者的一个例子。在本实施例1中，作为一个例子，对比赛者10进行体操表演的情况进行说明，但也能够同样地应用于其它的打分比赛。
例如，其它的打分比赛包含蹦床、游泳的跳水、花样滑冰、空手道、交谊舞、滑雪、滑板、空中滑雪、冲浪、一部分进行打分的跳跃滑雪、硬雪丘滑雪的空中转体。另外，也可以应用于经典芭蕾舞、交谊舞、棒球、篮球的姿势的判定等。另外，也可以应用于剑道、柔道、摔跤、相扑等对战比赛的决定胜负的一招的判定。并且，也能够使用于举重的杠铃是否上升的评价。
体操虽然是连续的运动，但在连续的运动中连续地存在多个招式。另外，有在体操的开始或期间，存在与招式不符的“连接”的动作的情况。在体操的表演中，裁判员通过观察招式、构成招式的基本运动的姿势、招式的切分处的姿势，判断招式的成立、不成立或者招式的完成度，并进行评价。
这里，“姿势”表示头部、躯干、四肢的相对的位置关系。在本实施例中，作为一个例子，将在招式的切分处等中应该保持静止状态的姿势表述为“静止姿势”。将有移动的姿势表述为“运动姿势”。例如，根据“静止姿势”的种类与“运动姿势”的种类的组合，确定招式。
图2是表示静止姿势的一个例子的图。静止姿势是在招式的切分处，比赛者10进行的姿势。例如，在静止姿势中包含有悬垂、支撑、逆悬垂、水平支撑、倒立、十字倒立等。图2所示的静止姿势是一个例子，也存在除此之外的静止姿势。
图3是表示运动姿势的一个例子的图。例如，在吊环的运动姿势(一部分)1中包含有振动(前半)1－1、振动(后半)1－2。在鞍马的运动姿势2中包含有第一局面2－1和第二局面2－2。
图4是表示吊环的表演的一个例子的图。如图4所示，在吊环的表演3中包含有运动姿势3－1～3－10。
运动姿势3－1与招式“后摆上成水平支撑(2秒)”对应。在运动姿势3－1的招式的切分处包含有静止姿势3－(1)。
运动姿势3－2与招式“大回环落下成燕式支撑(2秒)”对应。在运动姿势3－2的招式的切分处包含有静止姿势3－(2)。
运动姿势3－3与招式“后摆上成十字倒立”对应。在运动姿势3－3的招式的切分处包含有静止姿势3－(3)。
运动姿势3－4与招式“山脇屈体或直体”对应。在运动姿势3－4的招式的切分处包含有静止姿势3－(4)。
运动姿势3－5与招式“后摆上成燕式支撑(2秒)”对应。在运动姿势3－5的招式的切分处包含有静止姿势3－(5)。
运动姿势3－6与招式“后摆上成燕式支撑(2秒)”对应。在运动姿势3－6的招式的切分处包含有静止姿势3－(6)。
运动姿势3－7与招式“阿扎良”对应。在运动姿势3－7的招式的切分处包含有静止姿势3－(7)。
运动姿势3－8与招式“大回环成倒立(2秒)”对应。在运动姿势3－8的招式的切分处包含有静止姿势3－(8)。
运动姿势3－9与招式“摆上成倒立(2秒)”对应。在运动姿势3－9的招式的切分处包含有静止姿势3－(9)。
运动姿势3－10与招式“团身后空翻两周两次转体下”对应。在运动姿势3－10的招式的切分处包含有静止姿势3－(10)。
返回到图1的说明。信息处理装置100基于从3D激光传感器20a获取的传感器数据，生成3D模型数据，对比赛者10进行的表演的D(Difficulty：难度)得分以及E(Execution：完成)得分进行打分。D得分是基于招式的成立不成立计算出的得分。E得分是根据招式的完成度并根据扣分法计算出的得分。
这里，信息处理装置100基于从3D激光传感器20a获取的传感器帧或者从相机20b获取的影像帧，生成并输出是否满足用于判定与D得分相关的招式的成立不成立的基准较模糊的场面的影像。另外，信息处理装置100生成并输出是否满足用于判定与E得分相关的招式的完成度的基准较模糊的场面的影像。
图5是表示本实施例1的信息处理装置的构成的功能框图。如图5所示，该信息处理装置100具有接口部110、通信部120、输入部130、显示部140、存储部150以及控制部160。
接口部110与3D激光传感器20a以及相机20b连接。接口部110从3D激光传感器20a获取传感器数据，并将获取到的传感器数据输出给控制部160。接口部110从相机20b获取影像数据，并将获取到的影像数据输出给控制部160。
通信部120是经由网络与其它的装置进行数据通信的装置。通信部120与通信装置对应。信息处理装置100也可以经由网络与3D激光传感器20a、相机20b连接。此时，通信部120经由网络从3D激光传感器20a获取传感器数据，从相机20b获取影像数据。
输入部130是用于向信息处理装置100输入各种信息的输入装置。输入部130与键盘、鼠标、触摸面板等对应。
显示部140是显示从控制部160输出的显示画面的信息的显示装置。显示部140与液晶显示器、触摸面板等对应。
存储部150具有感测DB(Data Base：数据库)151、影像DB152、关节定义数据153、关节位置DB154、3D模型DB155、招式识别DB156、以及摘要影像DB157。存储部150与RAM(RandomAccess Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存(FlashMemory)等半导体存储器元件、或者HDD(Hard Disk Drive：硬盘驱动器)等存储装置对应。
感测DB151是储存从3D激光传感器20a获取的传感器数据的DB。图6是表示本实施例1的感测DB的数据结构的一个例子的图。该感测DB151将记录ID、帧编号以及传感器帧建立对应关系。记录ID(Identification：识别)是唯一地识别比赛者10进行的一个表演的信息。帧编号是唯一地识别与同一记录ID对应的各帧(传感器帧)的编号。传感器帧是由3D激光传感器20a感测到的传感器数据所包含的传感器帧。
影像DB152是储存从相机20b获取的影像数据的DB。图7是表示本实施例1的影像DB的数据结构的一个例子的图。该影像DB152将记录ID、帧编号以及影像帧建立对应关系。记录ID是唯一地识别比赛者10进行的一个表演的信息。帧编号是唯一地识别与同一记录ID对应的各帧(影像帧)的编号。影像帧是由相机20b拍摄到的影像数据所包含的影像帧。
关节定义数据153定义比赛者(比赛者10)的各关节位置。图8是表示本实施例1的关节定义数据的一个例子的图。如图8所示，关节定义数据153存储对根据公知的骨骼模型确定的各关节进行编号后的信息。例如，如图8所示，对右肩关节(SHOULDER＿RIGHT)给予七号，对左肘关节(ELBOW＿LEFT)给予五号，对左膝关节(KNEE＿LEFT)给予十一号，对右髋关节(HIP＿RIGHT)给予十四号。这里，在本实施例1中，有将八号的右肘关节的X坐标记载为X8，将Y坐标记载为Y8，并将Z坐标记载为Z8的情况。此外，虚线的数字是即使根据骨骼模型进行确定，也不被利用于打分的关节等。
关节位置DB154是基于3D激光传感器20a的传感器数据生成的比赛者10的各关节的位置数据。图9是表示本实施例1的关节位置DB的数据结构的一个例子的图。如图9所示，该关节位置DB154将记录ID、帧编号、以及“X0，Y0，Z0、……、X17，Y17，Z17”建立对应关系。与记录ID相关的说明与在感测DB151进行的说明相同。
在图9中，帧编号是唯一地识别与同一记录ID对应的各感测帧的编号。“X0，Y0，Z0、……、X17，Y17，Z17”是各关节的XYZ坐标，例如“X0，Y0，Z0”是图8所示的0编号的关节的三维坐标。
图9示出记录ID“P101”的传感器数据中的各关节的时间序列的变化，示出在帧编号“1”中，各关节的位置为“X0＝100，Y0＝20，Z0＝0、……、X17＝200，Y17＝40，Z17＝5”。而且，示出在帧编号“2”中，各关节的位置移动到“X0＝101，Y0＝25，Z0＝5、……、X17＝202，Y17＝39，Z17＝15”。
3D模型DB155是储存基于传感器数据生成的比赛者10的3D模型的信息的数据库。图10是表示本实施例1的3D模型DB的数据结构的一个例子的图。如图10所示，3D模型DB155将记录ID、帧编号、骨骼数据以及3D模型数据建立对应关系。与记录ID、帧编号相关的说明与在感测DB151进行的说明相同。
骨骼数据是表示通过连接各关节位置而估计出的比赛者10的骨骼的数据。3D模型数据是基于根据传感器数据得到的信息和骨骼数据估计出的比赛者10的3D模型的数据。
招式识别DB156是在识别比赛者10进行的表演所包含的招式(静止姿势、运动姿势)的情况下使用的DB。图11是表示本实施例1的招式识别DB的数据结构的一个例子的图。如图11所示，招式识别DB156具有招式识别表格156a、成立条件表格156b以及得分表格156c。
招式识别表格156a是保持用于识别招式的各种信息的表格。图12是表示本实施例1的招式识别表格的数据结构的一个例子的图。如图12所示，该招式识别表格156a将招式名、组、难度、得分以及成立条件建立对应关系。招式名是唯一地识别招式的招式的名称。组表示与招式名对应的招式所属的组。难度表示与招式名对应的招式的难度。例如，难度“A”难度最低，难度按照难度A、B、C、D、E的顺序提高。
得分是与招式名对应的分数，在计算D得分的情况下进行使用。难度越高的招式，得分越高。例如，招式名“悬垂起慢转肩”属于组“G1”，难度为“A”。成立条件表示招式成立的静止姿势名以及运动姿势名。根据成立条件表格156b定义静止姿势以及运动姿势的成立条件。另外，按照多个项目的每一个设定静止姿势以及运动姿势成立的条件，将各项目适当地表述为“评价项目”。
图13是表示成立条件表格的数据结构的一个例子的图。成立条件表格156b具有表格170a以及表格170b。表格170a将静止姿势名与静止姿势成立条件建立对应关系。静止姿势名表示唯一地确定静止姿势的名称。静止姿势成立条件表示静止姿势成立的条件。以下，对静止姿势名与静止姿势成立条件的关系的一个例子进行说明。
图14是用于说明静止姿势名与静止姿势成立条件的关系的一个例子的图。例如，静止姿势名“十字悬垂”与静止姿势成立条件“脊柱角”、“髋角”、“臂角”、“肘角”、“膝角”、“膝间隔角”、“肩角”建立对应关系。使用图8对“脊柱角”、“髋角”、“臂角”、“肘角”、“膝角”、“膝间隔角”、“肩角”进行说明。
脊柱角(Spine_Angle of an incline)是通过关节零号以及二号的线段与Z轴所成的角度。例如，在脊柱角在“θA1以下”的情况下，表示比赛者的身体的中心在垂直上方向。
髋角(Hip_Angle between body)是通过关节零号以及一号的线段与通过关节十号以及关节十一号的线段所成的角度。或者，髋角是通过关节零号以及一号的线段与通过关节十四号以及关节十五号的线段所成的角度。例如，在髋角在“θA2以上”的情况下，表示比赛者的腰伸直。
臂角(Arm_Angle between body)是通过关节一号以及关节二号的线段与通过关节四号以及关节五号的线段所成的角度。另外，臂角是通过关节一号以及关节二号的线段与通过关节七号以及关节八号的线段所成的角度。例如，在臂角为“θA31～θA32”的情况下，表示比赛者的手向横向伸直。
肘角(Elbow_Angle)是通过关节四号以及五号的线段与通过关节五号和六号的线段所成的角度。另外，肘角是通过关节七号以及八号的线段与通过关节八号和九号的线段所成的角度。例如，在肘角在“θA4以上”的情况下，表示比赛者的肘伸直。
膝角(Knee_Angle)是通过关节十号以及十一号的线段与通过关节十一号以及关节十二号的线段所成的角度。另外，膝角是通过关节十四号以及十五号的线段与通过关节十五号以及关节十六号的线段所成的角度。例如，在膝角在“θA5以上”的情况下，表示比赛者的膝伸直。
膝间隔角(Knees_sep.Angle)是通过关节十号以及十一号的线段与通过关节十四号以及十五号的直线所成的角度。例如，在膝间隔角为“θA6”的情况下，表示比赛者的腿未张开。
肩角表示通过关节七号以及九号的线段与水平基准所成的角θR、和通过关节四号以及六号的线段与水平基准所成的各θL中的较大的一个角。例如，在肩角为0°的情况下，表示比赛者的臂水平地伸直。
例如，在图14所示的例子中，在全部满足脊柱角在“θA1以下”、髋角在“θA2以上”、臂角为“θA31～θA32”、肘角在“θA5以上”、膝角在“θA5以上”、膝间隔角在“θA6以下”、肩角在“θA7以下”这样的各成立条件的情况下，静止姿势名“十字悬垂”的招式成立。
表格170b将运动姿势名与运动姿势成立条件建立对应关系。运动姿势名表示唯一地确定运动姿势的名称。运动姿势成立条件表示运动姿势成立的条件。
图15示出运动姿势名与运动姿势成立条件的关系的一个例子。例如，运动姿势成立条件定义用于对应的运动姿势成立的各关节位置的推移以及基于各关节位置的角度的推移与成立条件的关系。
图16是用于补充说明运动姿势成立条件的图。在图16中，作为一个例子，对使用从振动到力静止招式的肩角度，定义运动姿势成立条件的情况进行说明。例如，肩角度是通过关节四号以及关节六号的直线与水平基准(水平面)所成的角度。例如，在与招式名“后摆上成燕式支撑(2秒)”所包含的运动姿势相关的运动姿势成立条件中，设定在振动结束的定时T1以后，肩角度的最大值θMax在45°以下这样的条件。
即，在肩角度的最大值θMax在45°以下的情况下，满足招式名“后摆上成燕式支撑(2秒)”的运动姿势成立条件。此外，并非仅满足图16所说明的肩角度的运动姿势成立条件，就判定为“后摆上成燕式支撑(2秒)”成立。在满足与“后摆上成燕式支撑(2秒)”建立对应关系的其它的静止姿势成立条件、其它的运动姿势成立条件的情况下，判定为“后摆上成燕式支撑(2秒)”成立。例如，运动姿势成立条件除了肩角度之外，还有水平支撑的水平角度、腰角度、膝角度、肘角度等。
得分表格156a是定义与招式的完成度相关的E得分所使用的分数的表格。E得分通过从规定的分数(例如，10分)起的扣分方式进行打分，招式的完成度越低，扣分的分数越大。在得分表格156a中，按照各静止姿势的评价项目定义扣分的分数。另外，在得分表格156a中，按照各运动姿势的评价项目定义扣分的分数。
图17是用于说明静止姿势的评价项目的扣分的分数的图。在图17中，作为一个例子，示出与静止姿势名“十字悬垂”、评价项目“肩角”相关的扣分的分数。评价项目“肩角”与图14的静止姿势成立条件的肩角对应。
如图17所示，在肩角为“0°≤θ＜6°”的情况下，“无扣分”。在肩角为“6°≤θ＜16°”的情况下，扣分为“0.1(小缺点)”。在肩角为“16°≤θ＜31°”的情况下，扣分为“0.3(中缺点)”。在肩角为“31°≤θ＜46°”的情况下，扣分为“0.5(大缺点)”。在肩角为“46°≤θ”的情况下，“招式不成立”。
图18是用于说明运动姿势的评价项目的扣分的分数的图。在图18中，作为一个例子，示出与运动姿势名“运动姿势B1”、评价项目“肩角度”相关的扣分的分数。评价项目“肩角度”与在图16的运动姿势成立条件中说明的肩角度对应。
如图18所示，在肩角度为“0°≤θ＜6°”的情况下，“无扣分”。在肩角度为“6°≤θ＜16°”的情况下，扣分为“0.1(小缺点)”。在肩角度为“16°≤θ＜31°”的情况下，扣分为“0.3(中缺点)”。在肩角度为“31°≤θ＜46°”的情况下，扣分为“0.5(大缺点)”。在肩角度为“46°≤θ”的情况下，“招式不成立”。
摘要影像DB157是保持是否满足用于判定招式的成立不成立或者招式的完成度的基准较模糊的招式的摘要影像的表格。
控制部160具有登记部161、第一提取部162、第二提取部163以及输出部164。能够通过CPU(Central Processing Unit：中央处理器)或者MPU(Micro Processing Unit：微控制单元)等实现控制部160。另外，也能够通过ASIC(Application Specific IntegratedCircuit：专用集成电路)或者FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬连线逻辑实现控制部150。
登记部161从3D激光传感器20a获取传感器数据，并将获取到的传感器数据登记到感测DB151。登记部161在将传感器数据(帧编号、传感器帧)登记到感测DB151时，与记录ID建立对应关系。记录ID例如附加给传感器数据。用户也可以操作输入部130，输入与传感器数据对应的记录ID。
登记部161从相机20b获取影像数据，并将获取到的影像数据登记到影像DB152。登记部161在将影像数据(帧编号、传感器帧)登记到影像DB152时，与记录ID建立对应关系。记录ID例如附加给影像数据。用户也可以操作输入部130，输入与影像数据对应的记录ID。
第一提取部162基于感测DB151，提取根据招式(静止姿势或者运动姿势)的成立不成立的基准而在规定范围内的招式。另外，第一提取部162基于感测DB151，提取根据决定招式的完成度的基准而在规定范围内的招式(静止姿势或者运动姿势)。在以下的说明中，适当地将根据成立不成立的基准而在规定范围内的招式表述为“第一招式”。将根据决定完成度的基准而在规定范围内的招式表述为“第二招式”。
第一提取部162执行按照时间序列提取比赛者10的各关节的各位置数据的处理、生成3D模型数据的处理、对得分进行评价的处理、以及提取第一招式、第二招式的处理。
首先，对第一提取部162按照时间序列提取比赛者10的各关节的各位置数据的处理的一个例子进行说明。第一提取部162对感测DB151的感测帧与关节定义数据153进行比较，确定帧所包含的各关节的种类以及关节的三维坐标。第一提取部162在关节位置DB154登记将记录ID、帧编号、各关节的种类的三维坐标建立了对应关系的信息。第一提取部162对每个帧编号反复执行上述的处理。
接着，对第一提取部162生成三维模型DB155的处理的一个例子进行说明。第一提取部162基于关节位置DB154，生成与各帧编号对应的3D模型数据。第一提取部162将生成的3D模型数据与记录ID、帧编号建立对应关系，并储存于3D模型DB155。
例如，第一提取部162通过基于在关节定义数据153定义的连接关系，将储存于关节位置DB154的各关节的三维坐标相连，来生成骨骼数据。另外，第一提取部162通过将估计出的骨骼数据应用于与比赛者10的体格一致的骨骼模型，来生成3D模型数据。第一提取部162对各记录ID的每个帧编号反复执行上述处理，将记录ID、帧编号、骨骼数据、3D模型数据建立对应关系，并储存于3D模型DB155。
接着，对第一提取部162对得分进行评价的处理的一个例子进行说明。第一提取部162基于储存于关节位置DB154的一连串的关节的动作和招式识别DB156，确定比赛者10的各姿势(静止姿势、运动姿势)，并对D得分以及E得分进行评价。D得分是基于比赛者10的表演中的招式的成立不成立的得分。E得分是基于比赛者10的表演中的招式的完成度的得分。
首先，对第一提取部162确定比赛者10的各姿势的处理的一个例子进行说明。第一提取部162对招式识别DB156的成立条件表格156b(表格170a)的静止姿势成立条件与每个帧编号的各关节位置进行比较，在基于关节位置的值满足静止姿势成立条件的情况下，判定为在相应的帧编号中，相应的静止姿势成立。
例如，基于关节位置的值与在图14中说明的脊柱角、髋角、臂角、肘角、膝角、膝间隔角等对应。
对于帧编号n，设为脊柱角在“θA1以下”，髋角在“θA2以上”。并且，对于帧编号n，设为臂角在“θA31～θA32以下”，肘角在“θA4以上”，膝角在“θA5以上”、膝间隔角在“θA6以下”。该情况下，关于输出部164，由于在帧编号n中，满足静止姿势成立条件，所以判定为静止姿势名“十字悬垂”的静止姿势成立。
这里，虽然对静止姿势名“十字悬垂”进行了说明，但并不限定于此。第一提取部162对于其它的静止姿势，也通过对招式识别DB156的成立条件表格156b的静止姿势成立条件与每个帧编号的各关节位置进行比较，来判定静止姿势名的成立不成立。
另外，第一提取部162对招式识别DB156的成立条件表格156b(表格170b)的运动姿势成立条件与各帧编号的各关节位置的推移进行比较，在基于关节位置的值满足运动姿势成立条件的情况下，判定为在相应的各帧编号中，相应的运动姿势成立。
例如，基于各关节位置的值与在图16中说明的肩角度的最大值θMax对应。第一提取部162在对于帧编号n～n+m，肩角度的最大值θMax在45°以下的情况下，判定为招式名“后摆上成燕式支撑(2秒)”的运动姿势成立条件成立。
这里，虽然对“后摆上成燕式支撑(2秒)”的运动姿势成立条件进行了说明，但并不限定于此。第一提取部162对于其它的运动姿势，也通过对招式识别DB156的成立条件表格156b的运动姿势成立条件与各帧编号的各关节位置的推移进行比较，来判定运动姿势名的成立不成立。
对第一提取部162对D得分进行评价的处理的一个例子进行说明。第一提取部162通过对通过与上述的成立条件表格156b的比较而在各帧编号中成立的静止姿势以及运动姿势的组、和招式识别表格156a的成立条件进行比较，确定成立的招式名，并确定与确定出的招式名对应的得分。第一提取部162通过对各帧编号反复执行上述处理，并将确定出的得分相加，来计算D得分。
对第一提取部162对E得分进行评价的处理的一个例子进行说明。第一提取部162针对通过与上述的成立条件表格156b的比较而判定为成立的静止姿势的评价项目，通过基于关节位置的值与各阈值的比较，来确定扣分的值。
使用图17，将评价项目设为肩角，对E得分的扣分进行说明。第一提取部162在肩角为“0°≤θ＜6°”的情况下，设为“无扣分”。第一提取部162在肩角为“6°≤θ＜16°”的情况下，设为扣分为“0.1(小缺点)”。第一提取部162在肩角为“16°≤θ＜31°”的情况下，设为扣分为“0.3(中缺点)”。第一提取部162在肩角为“31°≤θ＜46°”的情况下，设为扣分为“0.5(大缺点)”。第一提取部162对其它的评价项目也同样地确定扣分的值。
另外，第一提取部162针对通过与上述的成立条件表格156b的比较而判定为成立的运动姿势的评价项目，通过基于关节位置的值与各阈值的比较，来确定扣分的值。
使用图18，将评价项目设为肩角度的最大值，对E得分的扣分进行说明。第一提取部162基于一连串的关节位置的推移，计算肩角度的最大值。第一提取部162在肩角度的最大值为“0°≤θ＜6°”的情况下，设为“无扣分”。第一提取部162在肩角度的最大值为“6°≤θ＜16°”的情况下，设为扣分为“0.1(小缺点)”。第一提取部162在肩角度的最大值为“16°≤θ＜31°”的情况下，设为扣分为“0.3(中缺点)”。第一提取部162在肩角度的最大值为“31°≤θ＜46°”的情况下，设为扣分为“0.5(大缺点)”。
第一提取部162计算将确定出的各扣分的值相加后的扣分合计值，并从预先指定的值减去扣分合计值，来计算E得分。
接着，对第一提取部162提取“第一招式”的处理的一个例子进行说明。第一提取部162提取根据招式的成立不成立的基准而在规定范围内的静止姿势或者运动姿势，作为第一招式。招式的成立不成立的基准与第一基准对应。例如，如后述那样，成为静止姿势成立的界限的值为第一基准。
第一提取部162对招式识别DB156的成立条件表格156b(表格170a)的静止姿势成立条件与每个帧编号的各关节位置进行比较，判定基于关节位置的值是否包含在以成为静止姿势成立的界限为基准的规定范围内。
将评价项目设为肩角，对提取第一招式的处理进行说明。如图17所说明的那样，若将评价项目设为肩角，则成为静止姿势成立的界限为“45°”。另外，若将误差范围设为±5°，则基于成立不成立的基准的规定范围成为“40°～50°”的范围。第一提取部162在帧编号n的基于各关节位置的肩角的值包含于40°～50°的范围的情况下，提取帧编号n的静止姿势(招式)作为第一招式。
第一提取部162对其它的评价项目，也设置以成立不成立为基准的规定范围，在基于帧编号n的各关节位置的值包含于规定范围的情况下，提取帧编号n的静止姿势(招式)作为第一招式。
图19是表示提取为第一招式的姿势和不提取为第一招式的姿势的一个例子的图。在图19中，示出多个静止姿势“十字悬垂”40a、40b、40c、和多个静止姿势“十字倒立”41a、41b。例如，将静止姿势“十字悬垂”的评价项目设为“肩角”，并将基于成立不成立的基准的规定范围设为“40°～50°”。另外，将静止姿势“十字倒立”的评价项目设为“肩角”，并将基于成立不成立的基准的规定范围设为“40°～50°”。
由于静止姿势“十字悬垂”40a的肩角为0°，所以第一提取部162不将其提取为第一招式。对于静止姿势“十字悬垂”40b、40c，在肩角θ41b包含于“40°～50°”的情况下，第一提取162将静止姿势“十字悬垂”40b、40c提取为第一招式。
由于静止姿势“十字倒立”41a的肩角为0°，所以第一提取部162不将其提取为第一招式。在静止姿势“十字倒立”41b的肩角θ41b包含于“40°～50°”的情况下，第一提取162将静止姿势“十字倒立”41b提取为第一招式。
第一提取部162对招式识别DB156的成立条件表格156b(表格170b)的运动姿势成立条件与帧编号n～n+m的各关节位置进行比较，判定基于关节位置的值是否包含在以成为运动姿势成立的界限为基准的规定范围内。
将评价项目设为肩角度(根据一连串的关节位置的移动确定的肩角度的最大值)，对提取第一招式的处理进行说明。若将评价项目设为肩角度，则成为运动姿势成立的界限为45°。另外，若将误差范围设为±5°，则基于成立不成立的基准的规定范围成为“40°～50°”的范围。第一提取部162在基于帧编号n～n+m的各关节位置的肩角度的最大值包含在40°～50°的范围的情况下，将帧编号n～n+m的运动姿势(招式)提取为第一招式。此外，第一提取部162也可以将肩角度包含在40°～50°的范围的定时的姿势提取为第一招式。
第一提取部162对其它的评价项目，也设置以成立不成立为基准的规定范围，在基于帧编号n～n+m的各关节位置的值包含于规定范围的情况下，将帧编号n～n+m的运动姿势(招式)提取为第一招式。
第一提取部162将提取第一招式的定时的帧编号的信息输出给第二提取部163。另外，第一提取部162将判定为第一招式时的包含于以成立不成立为基准的规定范围的评价项目的信息输出给第二提取部163。例如，在根据评价项目“肩角”的值包含在规定范围，而判定为第一招式的情况下，将评价项目“肩角”与提取第一招式的定时的帧编号的信息建立对应关系，并输出到第二提取部163。
接着，对第一提取部162提取“第二招式”的处理的一个例子进行说明。第一提取部162提取根据判定招式的完成度的基准而在规定范围内的静止姿势或者运动姿势，作为第二招式。判定招式的完成度的基准与第二基准对应。在体操中存在多个第二基准。例如，在第二基准中有无扣分的基准、0.1扣分的基准、0.3扣分的基准、0.5扣分的基准等。
例如，第一提取部162对招式识别DB156的得分表格156c和每个帧编号的各关节位置进行比较，判定基于关节位置的值是否包含在以确定的不进行扣分的界限为基准的规定范围内。
将评价项目设为肩角，使用图17，对提取第二招式的处理进行说明。若将评价项目设为肩角，则不进行扣分的界限为“6°”。另外，若将误差范围设为±5°，则基于评价完成度的基准的规定范围成为“1°～11°”的范围。第一提取部162在基于帧编号n的各关节位置的肩角的值包含在“1°～11°”的范围的情况下，将帧编号n的静止姿势(招式)提取为第二招式。
将评价项目设为肩角度(根据一连串的关节位置的移动确定的肩角度的最大值)，使用图18，对提取第二招式的处理进行说明。若将评价项目设为肩角度，则不进行扣分的界限为“6°”。另外，若将误差范围设为±5°，则基于评价完成度的基准的规定范围成为“1°～11°”的范围。第一提取部162在基于帧编号n～n+m的各关节位置的肩角度包含在“1°～11°”的范围的情况下，提取帧编号n～n+m的运动姿势(招式)作为第二招式。
图20是表示提取为第二招式的姿势和不提取为第二招式的姿势的一个例子的图。图20的姿势示出帧编号n～n+m的运动姿势中的与某一帧编号对应的姿势的一个例子。3D模型数据所示的各帧42a～42d对于同一姿势，说明基于不同的评价项目的扣分。
帧42a对将评价项目设为水平支撑的肩角度的情况下的扣分进行说明。肩角度与图16所说明的肩角度对应。例如，运动姿势所包含的燕式支撑要求在吊环的高度处静止，根据从肩角度0°的脱离度，而扣分的值增加。若将帧42a所示的姿势的肩角度设为40°，则如图18所示，帧42a的姿势的扣分为“大缺点”，不包含于基于评价完成度的基准的规定范围。
帧42b对将评价项目设为水平支撑的水平角度的情况下的扣分进行说明。水平角度例如是通过关节零号以及二号的直线与水平基准所成的角度。在运动姿势所包含的水平支撑中，要求身体在肩位置的高度成为水平，根据从水平角度0°的脱离度，而扣分的值增加。将帧42b中的水平角度设为17°，这样的角度的扣分定义为“中缺点”。该情况下，不包含于基于评价完成度的基准的规定范围。
帧42c对将评价项目设为水平支撑的腰角度的情况下的扣分进行说明。腰角度是基于关节零号、二号、四号、七号、十号、十一号、十四号以及十五号等计算出的比赛者10的腰的角度。运动姿势所包含的水平支撑要求成为直体姿势，根据从腰角度180°的脱离度，而扣分的值增加。将帧42c中的腰角度设为177°，这样的角度的扣分定义为“无扣分”。关于帧42c所示的情况，从理想的腰角度180°的脱离度为3°，包含于基于评价完成度的基准的规定范围(175°～185°)。
帧42d示出水平支撑的膝角度。膝角度是基于关节编号10、11、12、14、15、16等计算出的比赛者10的膝的角度。运动姿势所包含的水平支撑要求直体姿势，根据从膝角度180°的脱离度，而扣分数增加。将帧42d中的膝角度设为179°，这样的角度的扣分定义为“无扣分”。关于帧42d所示的情况，从理想的腰角度180°的脱离度为1°，包含于基于评价完成度的基准的规定范围(175°～185°)。
第一提取部162对于帧编号n～n+m的运动姿势中的与某一帧编号对应的姿势的不同的评价项目，在任意一个评价项目的值包含于基于评价完成度的基准的规定范围的情况下，将帧编号n～n+m的运动姿势提取为第二招式。在图20所说明的例子中，评价项目“水平支撑的腰角度”、“水平支撑的膝角度”的值包含在基于评价完成度的基准的规定范围。因此，第一提取部162将帧编号n～n+m的运动姿势提取为第二招式。
第一提取部162将提取第二招式的定时的帧编号的信息输出给第二提取部163。另外，第一提取部162将判定为第二招式时的包含于以完成度为基准的规定范围的评价项目的信息输出给第二提取部163。例如，在根据评价项目“肩角”的值包含于规定范围而判定为第二招式的情况下，将评价项目“肩角”与提取第二招式的定时的帧编号的信息建立对应关系，并输出到第二提取部163。
在上述的例子中，将无扣分的基准作为第二基准进行了说明，但第一提取部162也可以将多个基准中的由用户选择的基准设定为第二基准，来提取第二招式。例如，第一提取部162受理无扣分的基准、0.1扣分的基准、0.3扣分的基准、0.5扣分的基准中的任意一个基准的选择，并将受理的基准设定为第二基准。例如，对选择了0.1扣分的基准的情况下的第一提取部162的处理进行说明。
将评价项目设为肩角，使用图17，对提取第二招式的处理进行说明。若将评价项目设为肩角，则不进行0.1扣分的界限为“6°”以及“16°”。另外，若将误差范围设为±5°，则基于评价完成度的基准的规定范围为“1°～11°”以及“11°～21°”的范围。第一提取部162在基于帧编号n的各关节位置的肩角的值包含于“1°～11°”的范围的情况下，将帧编号n的静止姿势(招式)提取为第二招式。另外，第一提取部162在基于帧编号n的各关节位置的肩角的值包含在“11°～21°”的范围的情况下，将帧编号n的静止姿势(招式)提取为第二招式。
返回到图5的说明。第二提取部163是提取与第一招式或者第二招式对应的位置的摘要影像的处理部。第二提取部163将提取出的摘要影像的信息登记到摘要影像DB157。
第二提取部163在受理了提取第一招式(静止姿势)的定时的帧编号n的信息的情况下，从影像DB152获取以受理的帧编号n为基准的前后N个影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部163从3D模型DB155获取以受理的帧编号n为基准的前后N个3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部163在受理了提取第一招式(运动姿势)的定时的帧编号n～n+m的信息的情况下，从影像DB152获取与受理的帧编号n～n+m对应的影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部163从3D模型DB155获取与受理的帧编号n+m对应的3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
或者，第二提取部163也可以生成从第一招式(运动姿势)的开始的定时到该第一招式的切分处为止的各帧编号所对应的影像帧、3D模型数据，作为摘要影像。第二提取部163也可以生成从第一招式的开始的定时到一定秒数后为止的各帧编号所对应的影像帧、3D模型数据，作为摘要影像。
第二提取部163在摘要影像DB157登记将第一招式名、成为提取第一招式名的根据的评价项目、以及摘要影像建立对应关系的信息。
第二提取部163在受理了提取第二招式(静止姿势)的定时的帧编号n的信息的情况下，从影像DB152获取以受理的帧编号n为基准的前后N个影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部163从3D模型DB155获取以受理的帧编号n为基准的前后N个3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部163在受理了提取第二招式(运动姿势)的定时的帧编号n～n+m的信息的情况下，从影像DB152获取与受理的帧编号n～n+m对应的影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部163从3D模型DB155获取与受理的帧编号n+m对应的3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部163在摘要影像DB157登记将第二招式名、成为提取第二招式名的根据的评价项目、以及摘要影像建立对应关系的信息。
图21是表示本实施例1的摘要影像DB的数据结构的一个例子的图。如图21所示，该摘要影像DB157将招式名、评价项目、第一摘要影像、以及第二摘要影像建立对应关系。招式名表示与第一招式、第二招式对应的静止姿势、运动姿势的名称。评价项目表示成为提取为第一招式、第二招式时的根据的评价项目。第一摘要影像是根据影像DB152的影像帧生成的摘要影像。第二摘要影像是根据3D模型DB155的3D模型数据生成的摘要影像。
输出部164是基于摘要影像DB157，使与第一招式或者第二招式对应的位置的影像输出并显示于显示部140的处理部。例如，输出部164基于摘要影像DB157，生成显示画面的信息，并将生成的显示画面的信息输出给显示部140。
图22是表示本实施例1的显示画面的一个例子的图。如图22所示，显示画面45具有显示区域45a和显示区域45b。显示区域45a是显示根据影像帧生成的第一摘要影像的区域。显示区域45b是显示从规定的视点(虚拟视点)对第二摘要影像所包含的3D模型数据进行拍摄而得到的影像的区域。
输出部164在显示区域45b显示第二摘要影像的情况下，生成从能够视听的方向拍摄与判定成立不成立的基准、判定完成度的基准对应的比赛者的3D模型的位置而得到的影像，并使其显示于显示区域45b。例如，输出部164预先保持将储存于摘要影像DB157的成为提取为第一招式、第二招式时的根据的评价项目、和显示与该评价项目对应的比赛者的3D模型的位置时的最佳的视点以及方向建立对应关系的表格。输出部164对保持的表格和与第二摘要影像建立对应关系的评价项目进行比较，确定视点以及方向，并使根据确定出的视点以及方向拍摄第二摘要影像的3D模型数据而得到的影像显示于显示区域45b。
这里，信息处理装置100的各处理部161～164在从3D激光传感器20a受理了传感器数据时，实时地进行处理。由此，在比赛者10在比赛会场进行表演时，裁判员等能够在实际进行打分之前，实时地确认打分可能有波动的位置。另外，能够在给出打分结果之前，使观众观察打分可能有波动的位置，或者对评论员侧提出应该进行解说的位置。
接下来，对本实施例1的信息处理装置100的处理顺序的一个例子进行说明。图23是表示本实施例1的信息处理装置的处理顺序的流程图(1)。如图23所示，信息处理装置100的登记部161从3D激光传感器20a获取传感器数据(步骤S101)。信息处理装置100的第一提取部162对传感器数据进行解析，提取比赛者10的关节的位置数据(步骤S102)。
第一提取部162基于关节的位置数据，生成骨骼数据以及3D模型数据(步骤S103)。第一提取部162基于各帧的骨骼数据(关节位置)，识别静止姿势以及运动姿势(步骤S104)。
第一提取部162基于识别出的静止姿势以及运动姿势所对应的评价项目以及关节位置的值，判定招式的成立不成立(步骤S105)。第一提取部162提取根据判定招式的成立不成立的基准而在规定范围内的第一招式(步骤S106)。
信息处理装置100的第二提取部163生成与第一招式对应的第一摘要影像(步骤S107)。信息处理装置100的输出部164生成从可视的视点、方向拍摄成为提取为第一招式的根据的评价项目的3D模型上的位置而得到的第二摘要影像(步骤S108)。
输出部164生成显示画面的信息(步骤S109)，并将显示画面的信息输出给显示部140(步骤S110)。
图24是表示本实施例1的信息处理装置的处理顺序的流程图(2)。如图24所示，信息处理装置100的登记部161从3D激光传感器20a获取传感器数据(步骤S201)。信息处理装置100的第一提取部162对传感器数据进行解析，提取比赛者10的关节的位置数据(步骤S202)。
第一提取部162基于关节的位置数据，生成骨骼数据以及3D模型数据(步骤S203)。第一提取部162基于各帧的骨骼数据(关节位置)，识别静止姿势以及运动姿势(步骤S204)。
第一提取部162基于识别出的静止姿势以及运动姿势所对应的评价项目以及关节位置的值，判定招式的完成度(步骤S205)。第一提取部162提取根据判定招式的完成度的基准而在规定范围内的第二招式(步骤S206)。
信息处理装置100的第二提取部163生成与第二招式对应的第一摘要影像(步骤S207)。信息处理装置100的输出部164生成从可视的视点、方向拍摄成为提取为第二招式的根据的评价项目的3D模型上的位置而得到的第二摘要影像(步骤S208)。
输出部164生成显示画面的信息(步骤S209)，并将显示画面的信息输出到显示部140(步骤S210)。
在图23、图24中，作为一个例子，分别对提取第一招式以及第二招式的处理进行了说明，但并不限定于此。信息处理装置100也可以平行地执行提取第一招式以及第二招式的处理。另外，信息处理装置100也可以在提取第一招式之后，提取第二招式，也可以在提取了第二招式之后，提取第一招式。
接下来，对本实施例1的信息处理装置100的效果进行说明。信息处理装置100在比赛者10执行的招式是否满足用于判定招式的成立不成立或者完成度的基准较模糊的情况下，执行提取相关招式的影像并输出的处理。由此，能够从与打分比赛相关的一连串的表演的影像中提取以打分为基准的影像。
例如，在基于打分比赛的裁判的打分辅助中，考虑提取打分可能有波动的位置，并催促裁判重点地进行判定较有效。另外，在打分比赛的练习中，考虑为了在正式比赛时打分不波动，比赛者10需要改善为清晰的表演，而从练习时刻提取打分可能有波动的位置并应用于练习较有效。另外，打分比赛的观众能够通过在观察打分可能有波动的位置的重播影像作为到给出打分结果为止的重播影像的同时，听取解说，来进一步享受打分比赛的资料。
与此相对，以往技术在从一连串的影像提取一部分的影像时，即使能够切出特定的比赛局面，在打分比赛中，也不能够实时反映打分的结果，并从一连串的影像中提取打分可能有波动的部分。
例如，在电视转播中的解说时的利用场景中，通过参照从信息处理装置100输出的摘要影像，解说者能够多次确认打分可能有波动的部分，能够对相关打分可能有波动的部分进行重点解说。由此，打分比赛的观众能够通过在观察打分可能有波动的位置的重播影像作为到给出打分结果为止的重播影像的同时，听取解说，来进一步享受打分比赛的资料。
在练习中的利用场景中，比赛者10能够通过参照从信息处理装置100输出的摘要影像，对现状的表演把握打分可能有波动之处。由此，比赛者10能够从练习时刻提取打分可能有波动的位置，并应用于练习。
在裁判员的辅助系统中的利用场景中，信息处理装置100能够将与得分密切相关的(打分可能有波动的)位置的摘要影像通知给裁判员，能够催促裁判重点地进行判定，或者请求上级裁判仅判断打分可能分歧的部分。
另外，本实施例1的信息处理装置100生成从容易理解的视点、角度拍摄成为打分可能有波动的位置的部分(与评价项目对应的位置)而得到的摘要影像并显示。由此，裁判员等能够良好地观察打分可能有波动的部分，所以能够进行更适当的打分。
此外，本实施例1的信息处理装置100的第一提取部162在提取第二招式的情况下，提取根据判定招式的完成度的基准而在规定范围内的静止姿势或者运动姿势作为第二招式，但并不限定于此。
例如，信息处理装置100的第一提取部162也可以提取判定招式的完成度的多个基准中的规定的基准以上的招式作为第二招式。具体而言，第一提取部162对招式识别DB156的得分表格156c和每个帧编号的各关节位置进行比较，判定根据基于关节位置的值确定出的扣分的值是否比规定的值大。例如，将规定的值设为扣分“0.5(大缺点)”的第一提取部162将根据基于关节位置的值确定出的扣分的值在扣分“0.5”以上的静止姿势或者运动姿势提取为第二招式。
另外，第一提取部162在扣分在“0.5(大缺点)”以上的静止姿势或者运动姿势的数目(第二招式的数目)小于规定数目的情况下，提取扣分在“0.3(中缺点)”以上的静止姿势或者运动姿势作为第二招式。由此，能够显示一定数量以上的在对E得分进行打分时成为参考的摘要影像，能够并不限定于大缺点等，确认裁判员自身的判断是否适当。
实施例2
接下来，对本实施例2的信息处理装置进行说明。图25是表示本实施例2的信息处理装置的构成的功能框图。虽然省略图示，但信息处理装置200与实施例1的信息处理装置100相同地与3D激光传感器20a、相机20b连接。与3D激光传感器20a、相机20b相关的说明与在实施例1中的说明的相同。
如图25所示，信息处理装置200具有接口部210、通信部220、输入部230、显示部240、存储部250以及控制部260。
与接口部210、通信部220、输入部230、显示部240相关的说明与在图5中说明了的与接口部110、通信部120、输入部130、显示部140相关的说明相同。
存储部250具有感测DB251、影像DB252、关节定义数据253、关节位置DB254、3D模型DB255、招式识别DB256以及摘要影像DB257。存储部250与RAM、ROM、闪存等半导体存储器元件或者HDD等存储装置对应。
感测DB251是储存从3D激光传感器20a获取的传感器数据的DB。感测DB251的数据结构与在图6中说明了的感测DB151的数据结构相同。
影像DB252是储存从相机20b获取的影像数据的DB。影像DB252的数据结构与在图7中说明了的影像DB152的数据结构相同。
关节定义数据253定义比赛者(比赛者10)的各关节位置。与关节位置数据253相关的说明与在图8中说明了的与关节位置数据153相关的说明相同。
关节位置DB254是基于3D激光传感器20a的传感器数据生成的比赛者10的各关节的位置数据。关节位置DB254的数据结构与在图9中说明了的与关节位置DB154的数据结构相关的说明相同。
3D模型DB255是储存基于传感器数据生成的比赛者10的3D模型的信息的数据库。与3D模型DB255的数据结构相关的说明与在图10中说明了的与3D模型DB155的数据结构相关的说明相同。
招式识别DB256是在识别比赛者10进行的表演所包含的招式(静止姿势、运动姿势)的情况下使用的数据库。图26是表示本实施例2的招式识别DB的数据结构的一个例子的图。如图26所示，招式识别DB256具有招式识别表格256a、成立条件表格256b以及得分表格256c。
招式识别表格256a是保持用于识别招式的各种信息的表格。与招式识别表格256a的数据结构相关的说明与在图12中说明了的与招式识别表格156a的数据结构相关的说明相同。
成立条件表格256b与在实施例1的图13中说明了的成立条件表格156b相同，具有表格170a以及表格170b。表格170a将静止姿势名与静止姿势成立条件建立对应关系。静止姿势名示出唯一地确定静止姿势的名称。静止姿势成立条件示出静止姿势成立的条件。表格170b将运动姿势名与运动姿势成立条件建立对应关系。运动姿势名示出唯一地确定运动姿势的名称。运动姿势成立条件示出运动姿势成立的条件。
得分表格256c是定义与招式的完成度相关的E得分所使用的分数的表格。E得分通过从规定的分数(例如，10分)起的扣分方式进行打分，招式的完成度越低，扣分的分数越大。在得分表格256c中，按照各静止姿势的每个评价项目定义扣分的分数。另外，在得分表格256c中，按照各运动姿势的每个评价项目定义扣分的分数。
摘要影像DB257是保持是否满足用于判定招式的成立不成立或者招式的完成度的基准较模糊的招式的摘要影像的表格。
控制部260具有登记部261、第一提取部262、第二提取部263以及输出部264。能够通过CPU或者MPU等实现控制部260。另外，也能够通过ASIC、FPGA等硬连线逻辑实现控制部260。
登记部261从3D激光传感器20a获取传感器数据，并将获取到的传感器数据登记到感测DB251。登记部261在将传感器数据(帧编号、传感器帧)登记到感测DB251时，与记录ID建立对应关系。记录ID例如附加给传感器数据。用户也可以操作输入部230，输入与传感器数据对应的记录ID。
登记部261从相机20b获取影像数据，并将获取到的影像数据登记到影像DB252。登记部261在将影像数据(帧编号、传感器帧)登记到影像DB252时，与记录ID建立对应关系。记录ID例如附加给影像数据。用户也可以操作输入部230，输入与影像数据对应的记录ID。
第一提取部262基于感测DB251，提取是规定难度以上的招式所包含的静止姿势或者运动姿势且成立不成立的判定结果表示成立的招式(静止姿势或者运动姿势)。在以下的说明中，将是规定难度以上的招式所包含的静止姿势或者运动姿势且成立不成立的判定结果表示成立的招式(静止姿势或者运动姿势)表述为“第三招式”。
第二提取部263基于感测DB251，提取是规定难度以上的招式所包含的静止姿势或者运动姿势且在完成度的判定结果中扣分比阈值大的招式(静止姿势或者运动姿势)。在以下的说明中，将是规定难度以上的招式所包含的静止姿势或者运动姿势且在完成度的判定结果中扣分比阈值大的招式(静止姿势或者运动姿势)表述为“第四招式”。
第一提取部262执行按照时间序列提取比赛者10的各关节的各位置数据的处理、生成3D模型数据的处理、对得分进行评价的处理、以及提取第三招式、第四招式的处理。这里，第一提取部262按照时间序列提取比赛者10的各关节的各位置数据的处理、生成3D模型数据的处理、对得分进行评价的处理与在实施例1中说明的第一提取部162进行的处理相同。
对第一提取部262提取“第三招式”的处理的一个例子进行说明。第一提取部262执行对得分进行评价的处理。第一提取部262通过对各帧编号中成立的静止姿势以及运动姿势的组与招式识别表格256a的成立条件进行比较，确定成立的招式名以及招式的难度。第一提取部262在确定出的招式的难度在阈值以上的情况下，将成立的招式所包含的静止姿势以及运动姿势提取为第三招式。
例如，若将难度的阈值设为“D”，则第一提取部262在成立的招式的难度在难度“D”以上的情况下，将成立的招式所包含的静止姿势以及运动姿势提取为第三招式。例如，使用图12，对第一提取部262的处理进行说明。这里作为一个例子，设在帧编号n～n+m中，招式名“悬垂起慢转肩”的招式成立。另外，设在帧编号n+m～n+l中，招式名“后摆上成燕式支撑(2秒)”的招式成立。
这里，招式名“悬垂起慢转肩”的招式的难度为“A”，比阈值“D”低。因此，第一提取部262抑止将与招式名“悬垂起慢转肩”的招式对应且包含于帧编号n～n+m的静止生成以及运动姿势提取为第三招式。
另一方面，招式名“后摆上成燕式支撑(2秒)”的招式的难度为“E”，比阈值“D”高。因此，第一提取部262将与招式名“后摆上成燕式支撑(2秒)”的招式对应且包含于帧编号n～n+m的静止生成以及运动姿势提取为第三招式。
第一提取部262将提取第三招式的定时的帧编号的信息输出给第二提取部263。
接着，对第一提取部262提取“第四招式”的处理的一个例子进行说明。第一提取部262与实施例1的第一提取部162相同地执行对得分进行评价的处理。第一提取部262通过对各帧编号中成立的静止姿势或者运动姿势的组、和招式识别表格256a的成立条件进行比较，确定成立的招式名以及招式的难度。第一提取部262在确定出的招式的难度在阈值以上的情况下，针对成立的招式所包含的静止姿势以及运动姿势，提取与招式(静止姿势以及运动姿势)相关的扣分在阈值以上的招式作为第四招式。
第一提取部262确定成立的招式名以及招式中的难度在阈值以上的招式的处理与在提取第三招式的处理中说明的处理相同。
第一提取部262将难度在阈值以上的招式所包含的帧编号n的静止姿势的评价项目设为“肩角”，并使用图17，对提取第四招式的处理进行说明。例如，对于帧编号n的静止姿势的评价项目“肩角”来说，在基于关节位置的值包含于“31°～45°”的情况下，扣分为“0.5(大缺点)”，在阈值以上。此时，第一提取部262将帧编号n所包含的静止姿势提取为第四招式。
另一方面，对于帧编号n的静止姿势的评价项目“肩角”来说，在基于关节位置的值小于“31°”的情况下，扣分为“0.3(中缺点)”小于阈值。此时，第一提取部262抑止提取帧编号n所包含的静止姿势作为第四招式。
第一提取部262将难度在阈值以上的招式所包含的帧编号n～n+m的运动姿势的评价项目设为“肩角度”，使用图18，对提取第四招式的处理进行说明。例如，对于帧编号n～n+m的运动姿势的评价项目“肩角度”来说，在基于关节位置的值包含于“31°～45°”的情况下，扣分为“0.5(大缺点)”，在阈值以上。此时，第一提取部262将帧编号n～n+m所包含的运动姿势提取为第四招式。
另一方面，对于帧编号n～n+m的运动姿势的评价项目“肩角度”来说，在基于关节位置的值小于“31°”的情况下，扣分为“0.3(中缺点)”小于阈值。此时，第一提取部262抑止将帧编号n～n+m所包含的运动姿势提取为第四招式。
第一提取部262将提取第四招式的定时的帧编号的信息输出给第二提取部263。另外，第一提取部262将判定为第四招式时的扣分的值在阈值以上的评价项目的信息输出给第二提取部263。例如，在与评价项目“肩角”相关的扣分在阈值以上而判定为第四招式的情况下，将评价项目“肩角”与提取第四招式的定时的帧编号的信息建立对应关系，并输出给第二提取部263。
返回到图25的说明。第二提取部263是提取与第三招式或者第四招式对应的位置的摘要影像的处理部。第二提取部263将提取出的摘要影像的信息登记到摘要影像DB257。
第二提取部263在受理了提取第三招式(静止姿势)的定时的帧编号n的信息的情况下，从影像DB252获取以受理的帧编号n为基准的前后N个影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部263从3D模型DB255获取以受理的帧编号n为基准的前后N个3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部263在受理了提取第三招式(运动姿势)的定时的帧编号n～n+m的信息的情况下，从影像DB252获取与受理的帧编号n～n+m对应的影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部263从3D模型DB255获取与受理的帧编号n～n+m对应的3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部263在受理了提取第四招式(静止姿势)的定时的帧编号n的信息的情况下，从影像DB252获取以受理的帧编号n为基准的前后N个影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部263从3D模型DB255获取以受理的帧编号n为基准的前后N个3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部263在受理了提取第四招式(运动姿势)的定时的帧编号n～n+m的信息的情况下，从影像DB252获取与受理的帧编号n～n+m对应的影像帧，并将获取到的各影像帧生成为摘要影像。或者，第二提取部263从3D模型DB255获取与受理的帧编号n～n+m对应的3D模型数据，并将获取到的各3D模型数据生成为摘要影像。
第二提取部263在摘要影像DB257登记将第二招式名、成为提取第二招式名的根据的评价项目、以及摘要影像建立对应关系的信息。
输出部264是基于摘要影像DB257，使与第三招式或者第四招式对应的位置的影像输出并显示于显示部240的处理部。例如，输出部264基于摘要影像DB257，生成显示画面的信息，并将生成的显示画面的信息输出给显示部240。输出部264生成的显示画面例如与在实施例1的图22中说明了的显示画面45对应。在以下的说明中，与实施例1相同，将根据影像DB252的影像帧生成的摘要影像表述为第一摘要影像。将根据3D模型DB255的3D模型数据生成的摘要影像表述为第二摘要影像。
另外，输出部264在显示区域45b显示针对第四招式的第二摘要影像的情况下，进行以下的处理。输出部264生成从能够视听的方向拍摄与在完成度的判定结果中扣分比阈值大的评价项目对应的比赛者的3D模型的位置而得到的影像，并使其显示于显示区域45b。
输出部264在显示区域45b显示与第三招式对应的第二摘要影像的情况下，生成从根据静止动作或者运动动作的种类预先决定的方向拍摄3D模型而得到的影像，并使其显示于显示区域45b。
这里，信息处理装置200的各处理部261～264在从3D激光传感器20a受理了传感器数据时，将传感器数据储存于感测DB251，并在规定时间后执行处理。例如，在比赛者10进行表演，裁判员等实际进行了打分之后，信息处理装置200执行上述处理，生成第一、第二摘要影像并进行显示，从而能够相互对摘要影像和打分结果进行对照。
另外，信息处理装置200的各处理部261～264也可以在从3D激光传感器20a受理了传感器数据时，实时地进行处理。由此，能够在比赛中的等待打分的时间，参照大招式成功的位置、成为大缺点的位置的摘要影像。
接下来，对本实施例2的信息处理装置200的处理顺序的一个例子进行说明。图27是表示本实施例2的信息处理装置的处理顺序的流程图(1)。如图27所示，信息处理装置200的登记部261从3D激光传感器20a获取传感器数据(步骤S301)。信息处理装置200的第一提取部262对传感器数据进行解析，提取比赛者10的关节的位置数据(步骤S302)。
第一提取部262基于关节的位置数据，生成骨骼数据以及3D模型数据(步骤S303)。第一提取部262基于各帧的骨骼数据(关节位置)，识别静止姿势以及运动姿势(步骤S304)。
第一提取部262基于识别出的静止姿势以及运动姿势所对应的评价项目以及关节位置的值，判定招式的成立不成立(步骤S305)。第一提取部262将成立的招式中的规定的难度以上的招式所包含的静止姿势、运动姿势提取为第三招式(步骤S306)。
信息处理装置200的第二提取部263生成与第三招式对应的第一摘要影像(步骤S307)。信息处理装置200的输出部264生成从与第三招式对应的视点、方向拍摄到的3D模型数据作为第二摘要影像(步骤S308)。
输出部264生成显示画面的信息(步骤S309)，并将显示画面的信息输出给显示部240(步骤S310)。
图28是表示本实施例2的信息处理装置的处理顺序的流程图(2)。如图28所示，信息处理装置200的登记部261从3D激光传感器20a获取传感器数据(步骤S401)。信息处理装置200的第一提取部262对传感器数据进行解析，提取比赛者10的关节的位置数据(步骤S402)。
第一提取部262基于关节的位置数据，生成骨骼数据以及3D模型数据(步骤S403)。第一提取部262基于各帧的骨骼数据(关节位置)，识别静止姿势以及运动姿势(步骤S404)。
第一提取部262基于识别出的静止姿势以及运动姿势所对应的评价项目以及关节位置的值，判定招式的成立不成立(步骤S405)。第一提取部262基于针对识别出的静止姿势以及运动姿势的评价项目以及关节位置的值，判定招式的完成度(步骤S406)。
第一提取部262将成立的规定的难度以上的招式所包含的扣分比阈值大的静止姿势、运动姿势提取为第四招式(步骤S407)。信息处理装置200的第二提取部263生成与第四招式对应的第一摘要影像(步骤S408)。
第二提取部263生成从可视的视点、方向拍摄成为提取为第四招式的根据的评价项目的3D模型上的位置而得到的第二摘要影像(步骤S409)。
输出部264生成显示画面的信息(步骤S410)，并将显示画面的信息输出给显示部240(步骤S411)。
在图27、图28中，作为一个例子，分别对提取第三招式以及第四招式的处理进行了说明，但并不限定于此。信息处理装置200也可以平行地执行提取第三招式以及第四招式的处理。另外，信息处理装置200也可以在提取第三招式之后，提取第四招式，也可以在提取第四招式之后，提取第三招式。
接下来，对本实施例2的信息处理装置200的效果进行说明。例如，在打分比赛中的影像提取时，期望提取招式的难度较高的表演的影像。并且，优选考虑了难度较高的招式的成功、不成功或者扣分的宽度等各种因素的影像提取。在以往技术中，在从一连串的影像提取一部分的影像时，即使能够切出特定的比赛局面，在打分比赛中，也不能够提取考虑了招式的难易、以及难度较高的招式的成功、不成功、或者扣分的宽度等各种的因素的影像。
与此相对，信息处理装置200提取比赛者10成立的招式中的规定难度以上的第三招式，生成并显示与第三招式对应的摘要影像。由此，能够从与打分比赛相关的一连串的表演的影像显示规定难度以上的成功的招式的影像。
另外，信息处理装置200在比赛者10进行的招式的难度在阈值以上的情况下，对招式所包含的静止姿势以及运动姿势，将与招式(静止姿势以及运动姿势)相关的扣分在阈值以上的招式提取为第四招式。信息处理装置200生成并显示与提取的第四招式对应的摘要影像。由此，能够从与打分比赛相关的一连串的表演的影像显示规定的难度以上并且扣分较大的招式的影像。
例如，不仅能够将与第三、第四招式对应的摘要影像作为更有意思的摘要影像提供给体育新闻的观众，而且对比赛者的练习用影像的切出、裁判员的教育用数据的切出也有效。
实施例3
上述的实施例1、2所示的信息处理装置100、200的处理为一个例子。这里，使用图5所说明的信息处理装置100的功能框图，对其它的处理(1)、(2)进行说明。
对信息处理装置100进行的其它的处理(1)进行说明。比赛者10有在同一大会中进行多个表演的情况、在多个大会中进行相同的表演的情况。因此，信息处理装置100将比赛者10进行的各表演的传感器数据预先储存于感测DB151。这里，信息处理装置100将能够分别识别同一比赛者10进行的各表演的记录ID与传感器数据建立对应关系，并储存于感测DB151。信息处理装置100进行基于与各记录ID建立对应关系的传感器数据，提取上述的第一招式、第二招式的处理。信息处理装置100也可以生成各表演的第一招式、第二招式的摘要影像，并以能够进行比较的方式显示各表演的摘要影像。例如，信息处理装置100生成并显示图29所示的显示画面46。
图29是表示本实施例3的显示画面的一个例子的图(1)。在图29所示的例子中，显示画面46具有显示区域46a、46b、46c。显示区域46a是显示基于在大会A测定出的比赛者10的传感器数据生成的第二摘要影像的区域。显示区域46b是显示基于在大会B测定出的比赛者10的传感器数据生成的第二摘要影像的区域。显示区域46c是显示基于在大会C测定出的比赛者10的传感器数据生成的第二摘要影像的区域。
例如，比赛者10通过参照显示画面46，能够通过以打分为基准提取出的各摘要影像确认在各大会中表演的结果。另外，虽然在图29中，作为一个例子，对提取与第一招式、第二招式对应的摘要影像的情况进行了说明，但并不限定于此。信息处理装置100也可以生成与在实施例2中说明的第三招式、第四招式对应的摘要影像并显示。
对信息处理装置100进行的其它的处理(2)进行说明。在上述的实施例1、2中，作为一个例子，测量同一比赛者10的传感器数据，提取第一～第四招式，生成与第一～第四招式对应的摘要影像，但并不限定于此。信息处理装置100也可以对多个不同的比赛者(例如，比赛者10a～10c；图示省略)也同样地从各比赛者10a～10c提取第一～第四招式，并生成与第一～第四招式对应的摘要影像。
信息处理装置100将能够分别识别各比赛者10a～10c进行的表演的记录ID与传感器数据建立对应关系，并储存于感测DB151。信息处理装置100基于与各记录ID建立对应关系的传感器数据，判定各比赛者10a～10c进行的招式中的成立的招式。另外，信息处理装置100提取各比赛者10a～10c进行的成立的招式中的属于同一组的招式的信息。
例如，设比赛者10a使组G1的招式A1成立，比赛者10b使组G1的招式A2成立，比赛者10c使组G1的招式A3成立。该情况下，比赛者10a～10c使共同的组G1的招式成立，所以信息处理装置100获取对比赛者10a使其成立的招式A1的得分的评价结果、对比赛者10b使其成立的招式A2的得分的评价结果、以及对比赛者10c使其成立的A3的得分的评价结果。
例如，信息处理装置100通过执行在实施例1进行说明的对得分进行评价的处理，得到对比赛者10a的招式A1的静止姿势的扣分的值、对比赛者10b的招式A2的静止姿势的扣分的值、以及对比赛者10b的招式A3的静止姿势的扣分的值。
信息处理装置100判定对比赛者10a的招式A1的静止姿势的扣分的值、对比赛者10b的招式A2的静止姿势的扣分的值、对比赛者10b的招式A3的静止姿势的扣分的值是否彼此不同。在各扣分的值不同的情况下，信息处理装置100判定为招式A1的静止姿势、招式A2的静止姿势、招式A3的静止姿势是与其它的选手有差别的招式。例如，将比赛者10a进行招式A1的静止姿势的帧编号设为帧编号n1，将比赛者10b进行招式A2的静止姿势的帧编号设为帧编号n2，将比赛者10c进行招式A3的静止姿势的帧编号设为帧编号n3。另外，将评价项目设为体角。体角是连接关节零号以及关节七号的直线与水平基准所成的角。
此外，信息处理装置100也可以对各比赛者，比较属于同一组的招式的扣分之差，并将扣分的差在阈值以上的招式判定为与其它的选手有差别的招式。这里，扣分的差既可以是各比赛者的扣分的值的平均值与各比赛者的扣分之差的值，也可以是各比赛者的扣分的值的中值与各比赛者的扣分之差的值。
信息处理装置100生成用于显示与其它的选手有差别的招式相关的信息的显示画面，并使其显示于显示部140。图30是表示本实施例3的显示画面的一个例子的图(2)。图30所示的显示画面47具有显示区域47a、47b、47c、47d、显示区域48a、48b、48c、48d、以及显示区域49a、49b、49c、49d。
显示区域47a是显示基于比赛者10a的影像数据生成的第一摘要影像的区域。例如，信息处理装置100生成以帧编号n1为基准的前后N个比赛者10a的影像帧作为第一摘要影像，并使其显示于显示区域47a。
显示区域47b、47c是显示基于比赛者10a的3D模型数据生成的第二摘要影像的区域。此外，在显示区域47b中，显示从前方拍摄3D模型数据而得到的影像，在显示区域47c中，显示从横向拍摄3D模型数据而得到的影像。例如，信息处理装置100生成从规定的方向拍摄以帧编号n1为基准的前后N个比赛者10a的3D模型数据而得到的影像作为第二摘要影像，并使其显示于显示区域47b、47c。
显示区域47d是显示与评价项目(例如，比赛者10a的体角)对应的值的区域。信息处理装置100也可以在显示区域47d显示评价项目，并且一起显示与比赛者10a的体角相关的扣分的值。
显示区域48a是显示基于比赛者10b的影像数据生成的第一摘要影像的区域。例如，信息处理装置100生成以帧编号n2为基准的前后N个比赛者10b的影像帧作为第一摘要影像，并使其显示于显示区域48a。
显示区域48b、48c是显示基于比赛者10b的3D模型数据生成的第二摘要影像的区域。此外，在显示区域48b中，显示从前方拍摄3D模型数据而得到的影像，在显示区域48c中，显示从横向拍摄3D模型数据而得到的影像。例如，信息处理装置100生成从规定的方向拍摄以帧编号n2为基准的前后N个比赛者10b的3D模型数据而得到的影像作为第二摘要影像，并使其显示于显示区域48b、48c。
显示区域48d是显示与评价项目(例如，比赛者10b的体角)对应的值的区域。信息处理装置100也可以在显示区域48d显示评价项目，并且一起显示与比赛者10b的体角相关的扣分的值。
显示区域49a是显示基于比赛者10c的影像数据生成的第一摘要影像的区域。例如，信息处理装置100生成以帧编号n3为基准的前后N个比赛者10c的影像帧作为第一摘要影像，并使其显示于显示区域49a。
显示区域49b、49c是显示基于比赛者10c的3D模型数据生成的第二摘要影像的区域。此外，在显示区域49b中，显示从前方拍摄3D模型数据而得到的影像，在显示区域49c中，显示从横向拍摄3D模型数据而得到的影像。例如，信息处理装置100生成从规定的方向拍摄以帧编号n3为基准的前后N个比赛者10c的3D模型数据而得到的影像作为第二摘要影像，并使其显示于显示区域49b、49c。
显示区域49d是显示与评价项目(例如，比赛者10c的体角)对应的值的区域。信息处理装置100也可以在显示区域49d显示评价项目，并且一起显示与比赛者10c的体角相关的扣分的值。
在图30所说明的例子中，对信息处理装置100在各显示区域显示与静止姿势对应的第一摘要影像、第二摘要影像、评价项目的值的情况进行了说明，但并不限定于此。信息处理装置100也可以若对于属于同一组的招式，扣分之差较大，则对于运动姿势也同样地显示在各显示区域。
如图30所说明的那样，信息处理装置100在对于属于同一组的招式，各选手的扣分之差较大的情况下，生成显示画面47，并使其显示于显示部140，从而比赛者能够参照与其它的选手有差别的招式相关的影像的位置。
接下来，对实现与在本实施例中说明的信息处理装置100(200)相同的功能的计算机的硬件构成的一个例子进行说明。图31是表示实现与信息处理装置相同的功能的计算机的硬件构成的一个例子的图。
如图31所示，计算机300具有执行各种运算处理的CPU301、受理来自用户的数据的输入的输入装置302、以及显示器303。另外，计算机300具有从存储介质读取程序等的读取装置304、和经由无线网络与其它的计算机之间进行数据的授受的接口装置305。另外，计算机300具有暂时存储各种信息的RAM306和硬盘装置307。而且，各装置301～307与总线308连接。
硬盘装置307具有第一提取程序307a、第二提取程序307b以及输出程序307c。CPU301读出第一提取程序307a、第二提取程序307b、输出程序307c并展开在RAM306。
第一提取程序307a作为第一提取工序306a发挥作用。第二提取程序307b作为第二提取工序306b发挥作用。输出程序307c作为输出工序306c发挥作用。
第一提取工序306a的处理与第一提取部162、262的处理对应。第二提取工序306b的处理与第二提取部163、263的处理对应。输出工序306c的处理与输出部164、264的处理对应。
此外，各程序307a～307c也可以并不一定在最初就使其预先存储于硬盘装置307。例如，也可以使各程序预先存储于插入到计算机300的软盘(FD)、CD－ROM、DVD、光磁盘、IC卡等“便携式物理介质”。而且，也可以计算机300读出各程序307a～307d并执行。
附图标记说明：100、200…信息处理装置，110、210…接口部，120、220…通信部，130、230…输入部，140、240…显示部，150、250…存储部，151、251…感测DB，152、252…影像DB，153、253…关节定义数据，154、254…关节位置DB，155、255…3D模型DB，156、256…招式识别DB，157、257…摘要影像DB，160、260…控制部，161、261…登记部，162、262…第一提取部，163、263…第二提取部，164、264…输出部。

Claims (11)

1.一种提取程序，其特征在于，
使计算机执行以下处理：
获取基于比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方；
基于上述成立不成立的判定结果以及上述完成度的判定结果中的至少一方，从上述多个招式中提取根据判定上述成立不成立的第一基准而在规定范围内的第一招式或者根据判定上述完成度的第二基准而在规定范围内的第二招式；
从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中提取与上述第一招式或者上述第二招式对应的位置；以及
输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
2.根据权利要求1所述的提取程序，其特征在于，
在上述输出的处理中，在输出上述3D模型动态图像的情况下，输出从能够观察与上述第一基准对应的上述比赛者的3D模型的位置或者与上述第二基准对应的上述比赛者的3D模型的位置的方向拍摄上述3D模型而得到的3D模型动态图像。
3.根据权利要求1或者2所述的提取程序，其特征在于，
在提取上述第二招式的处理中，从上述多个招式中提取与上述完成度对应的扣分的值在规定的阈值以上的招式。
4.根据权利要求1或者2所述的提取程序，其特征在于，
在上述获取的处理中，获取基于比赛者在不同的定时进行的多个一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方，在上述提取的处理中，从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中，提取针对在不同的定时进行的表演的与上述第一招式以及上述第二招式对应的位置。
5.根据权利要求1或者2所述的提取程序，其特征在于，
在上述获取的处理中，获取基于不同的比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的完成度的判定结果，在上述提取的处理中，从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中，提取与不同的比赛者的表演的完成度对应的扣分产生差的位置。
6.根据权利要求1或者2所述的提取程序，其特征在于，
在判定上述完成度的上述第二基准为多个的情况下，根据多个第二基准中的指定的第二基准，提取根据上述指定的第二基准而在规定范围内的上述第二招式。
7.一种提取程序，其特征在于，
使计算机执行以下处理：
获取基于比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方以及上述多个招式的识别结果；
基于上述成立不成立的判定结果以及上述完成度的判定结果中的至少一方以及上述识别结果，从上述多个招式中提取第一招式或者第二招式，其中，上述第一招式是上述识别结果在规定难度以上的招式且表示上述成立不成立的判定结果表示成立的招式，上述第二招式是上述识别结果在规定难度以上的招式且根据判定上述完成度的基准而在规定范围内；
从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中提取与提取出的上述第一招式或者上述第二招式对应的位置；以及
输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
8.一种提取方法，是计算机执行的提取方法，其特征在于，执行以下处理：
获取基于比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方；
基于上述成立不成立的判定结果以及上述完成度的判定结果中的至少一方，从上述多个招式中提取根据判定上述成立不成立的第一基准而在规定范围内的第一招式或者根据判定上述完成度的第二基准而在规定范围内的第二招式；
从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中提取与上述第一招式或者上述第二招式对应的位置；以及
输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
9.一种提取方法，是计算机执行的提取方法，其特征在于，执行以下处理：
获取基于比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方以及上述多个招式的识别结果；
基于上述成立不成立的判定结果以及上述完成度的判定结果中的至少一方以及上述识别结果，从上述多个招式中提取第一招式或者第二招式，其中，上述第一招式是上述识别结果在规定难度以上的招式且表示上述成立不成立的判定结果表示成立的招式，上述第二招式是上述识别结果在规定难度以上的招式且根据判定上述完成度的基准而在规定范围内；
从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中提取与提取出的上述第一招式或者上述第二招式对应的位置；以及
输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
10.一种信息处理装置，其特征在于，具有：
第一提取部，获取基于比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方，并且基于上述成立不成立的判定结果以及上述完成度的判定结果中的至少一方，从上述多个招式中提取根据判定上述成立不成立的第一基准而在规定范围内的第一招式或者根据判定上述完成度的第二基准而在规定范围内的第二招式；
第二提取部，从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中提取与上述第一招式或者上述第二招式对应的位置；以及
输出部，输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
11.一种信息处理装置，其特征在于，具有：
第一提取部，获取基于比赛者的一连串的表演的3D感测数据的、构成上述表演的多个招式中的每个招式的成立不成立的判定结果以及完成度的判定结果中的至少一方以及上述多个招式的识别结果，并且基于上述成立不成立的判定结果以及上述完成度的判定结果中的至少一方以及上述识别结果，从上述多个招式中提取第一招式或者第二招式，其中，上述第一招式是上述识别结果在规定难度以上的招式且表示上述成立不成立的判定结果表示成立的招式，上述第二招式是上述识别结果在规定难度以上的招式且根据判定上述完成度的基准而在规定范围内；
第二提取部，从根据上述一连串的表演的3D感测数据生成的上述比赛者的3D模型动态图像或者拍摄上述表演而得到的影像中提取与提取出的上述第一招式或者上述第二招式对应的位置；以及
输出部，输出提取出的位置的3D模型动态图像或者提取出的位置的影像。
CN201780097980.3A 2017-12-27 2017-12-27 提取程序、提取方法以及信息处理装置 Pending CN111527520A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/047142 WO2019130527A1 (ja) 2017-12-27 2017-12-27 抽出プログラム、抽出方法および情報処理装置

Publications (1)

Publication Number Publication Date
CN111527520A true CN111527520A (zh) 2020-08-11

Family

ID=67066879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097980.3A Pending CN111527520A (zh) 2017-12-27 2017-12-27 提取程序、提取方法以及信息处理装置

Country Status (5)

Country Link
US (1) US11263462B2 (zh)
EP (1) EP3734551A4 (zh)
JP (1) JP6915701B2 (zh)
CN (1) CN111527520A (zh)
WO (1) WO2019130527A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208859A1 (ja) * 2021-04-01 2022-10-06 富士通株式会社 技認識方法、技認識装置および体操採点支援システム
WO2023100246A1 (ja) * 2021-11-30 2023-06-08 富士通株式会社 技認識プログラム、技認識方法および情報処理装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD884742S1 (en) * 2018-09-14 2020-05-19 Fujitsu Limited Display screen with icons
USD883328S1 (en) * 2018-09-14 2020-05-05 Fujitsu Limited Display screen with icons
USD884741S1 (en) * 2018-09-14 2020-05-19 Fujitsu Limited Display screen with icons
USD880527S1 (en) * 2018-09-14 2020-04-07 Fujitsu Limited Display screen with icons
USD881237S1 (en) * 2018-09-14 2020-04-14 Fujitsu Limited Display screen with icons
USD879149S1 (en) * 2018-09-14 2020-03-24 Fujitsu Limited Display screen with icons
USD892863S1 (en) * 2018-09-14 2020-08-11 Fujitsu Limited Display screen with icons
US11861944B1 (en) * 2019-09-25 2024-01-02 Amazon Technologies, Inc. System for synchronizing video output based on detected behavior
USD931897S1 (en) * 2019-09-27 2021-09-28 Fujitsu Limited Display screen with icons
US11798318B2 (en) * 2020-07-31 2023-10-24 Qualiaos, Inc. Detection of kinetic events and mechanical variables from uncalibrated video
JP1724444S (ja) * 2021-03-31 2022-09-09 トレーニング支援用画像
JP1724355S (ja) * 2021-03-31 2022-09-09 トレーニング支援用画像

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2044939A1 (en) * 1991-06-19 1992-12-20 Edward J. Sweeney Scoring system for athletic events
US20090220124A1 (en) * 2008-02-29 2009-09-03 Fred Siegel Automated scoring system for athletics
US20120143358A1 (en) * 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
CN103310193A (zh) * 2013-06-06 2013-09-18 温州聚创电气科技有限公司 一种记录体操视频中运动员重要技术动作时刻的方法
CN104598867A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分系统
US20150227652A1 (en) * 2014-02-07 2015-08-13 Seiko Epson Corporation Exercise support system, exercise support apparatus, and exercise support method
GB201602736D0 (en) * 2011-09-18 2016-03-30 Touchtunes Music Corp Digital jukebox device with karaoke and/or photo booth features, and associated methods
CN105744313A (zh) * 2016-01-11 2016-07-06 深圳易赛天下互联网科技有限公司 一种在线比赛方法以及在线比赛系统
CN111050863A (zh) * 2017-09-01 2020-04-21 富士通株式会社 练习辅助程序、练习辅助方法以及练习辅助系统
CN111093782A (zh) * 2017-09-05 2020-05-01 富士通株式会社 评分方法、评分程序以及评分装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3566896B2 (ja) 2000-03-03 2004-09-15 株式会社リコー スポーツ映像ダイジェスト作成装置、スポーツ映像ダイジェスト作成方法およびスポーツ映像ダイジェスト作成処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005026837A (ja) 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
CN103282907A (zh) * 2010-11-05 2013-09-04 耐克国际有限公司 自动个人训练的方法和系统
US9025824B2 (en) * 2010-12-07 2015-05-05 Movement Training Systems Llc Systems and methods for evaluating physical performance
CN106794371B (zh) * 2014-10-10 2019-09-03 富士通株式会社 技能判定方法、技能判定装置以及服务器
KR101576106B1 (ko) * 2014-10-14 2015-12-10 순천향대학교 산학협력단 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법
US10186041B2 (en) * 2015-04-09 2019-01-22 Electronics And Telecommunications Research Institute Apparatus and method for analyzing golf motion
EP3527268A4 (en) * 2016-10-11 2019-08-21 Fujitsu Limited EVALUATION SUPPORT PROGRAM, EVALUATION SUPPORT DEVICE, AND EVALUATION SUPPORT PROCESS

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2044939A1 (en) * 1991-06-19 1992-12-20 Edward J. Sweeney Scoring system for athletic events
US20090220124A1 (en) * 2008-02-29 2009-09-03 Fred Siegel Automated scoring system for athletics
US20120143358A1 (en) * 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
GB201602736D0 (en) * 2011-09-18 2016-03-30 Touchtunes Music Corp Digital jukebox device with karaoke and/or photo booth features, and associated methods
CN103310193A (zh) * 2013-06-06 2013-09-18 温州聚创电气科技有限公司 一种记录体操视频中运动员重要技术动作时刻的方法
CN104598867A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分系统
US20150227652A1 (en) * 2014-02-07 2015-08-13 Seiko Epson Corporation Exercise support system, exercise support apparatus, and exercise support method
CN105744313A (zh) * 2016-01-11 2016-07-06 深圳易赛天下互联网科技有限公司 一种在线比赛方法以及在线比赛系统
CN111050863A (zh) * 2017-09-01 2020-04-21 富士通株式会社 练习辅助程序、练习辅助方法以及练习辅助系统
CN111093782A (zh) * 2017-09-05 2020-05-01 富士通株式会社 评分方法、评分程序以及评分装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEONGEUN SHIN等: "A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing-for a Development of Automatic Scoring System of Horizontal Bar", 《2008 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS》, pages 1037 - 1042 *
杨放: "健美操裁判员评价封闭系统研究", 《广西民族大学学报(自然科学版)》, no. 01 *
石念峰等: "基于Fisher矢量编码的运动视频自动评分技术", 《计算机应用研究》, no. 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208859A1 (ja) * 2021-04-01 2022-10-06 富士通株式会社 技認識方法、技認識装置および体操採点支援システム
WO2023100246A1 (ja) * 2021-11-30 2023-06-08 富士通株式会社 技認識プログラム、技認識方法および情報処理装置

Also Published As

Publication number Publication date
WO2019130527A1 (ja) 2019-07-04
JP6915701B2 (ja) 2021-08-04
US20200320304A1 (en) 2020-10-08
US11263462B2 (en) 2022-03-01
EP3734551A4 (en) 2020-12-30
JPWO2019130527A1 (ja) 2020-12-03
EP3734551A1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN111527520A (zh) 提取程序、提取方法以及信息处理装置
JP7067561B2 (ja) 採点方法、採点プログラムおよび採点装置
Chen et al. Computer-assisted yoga training system
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
CN111265840B (zh) 显示方法、信息处理设备和计算机可读记录介质
CN111480178B (zh) 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统
CN105229666A (zh) 3d图像中的运动分析
JPWO2019043928A1 (ja) 練習支援プログラム、練習支援方法および練習支援システム
CN111514584B (zh) 游戏控制方法及装置、游戏终端及存储介质
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
CN110399794B (zh) 基于人体的姿态识别方法、装置、设备及存储介质
CN111241359A (zh) 显示方法、信息处理设备和计算机可读记录介质
CN111867687B (zh) 存储介质、画面生成方法以及信息处理装置
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
CN116328279A (zh) 一种基于视觉人体姿势估计的实时辅助训练方法及设备
US11837255B2 (en) Display method, computer-readable recording medium recording display program, and information processing apparatus
Sasaki et al. Exemposer: Predicting poses of experts as examples for beginners in climbing using a neural network
JP7074727B2 (ja) スポーツ行動認識装置、方法およびプログラム
KR102095647B1 (ko) 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법
Barioni et al. BalletVR: a Virtual Reality System for Ballet Arm Positions Training
CN114220312B (zh) 虚拟训练方法、装置以及虚拟训练系统
JP7488704B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
Okada et al. Virtual ski training system that allows beginners to acquire ski skills based on physical and visual feedbacks
Akiyama et al. Similarity-based Form Visualization for Supporting Sports Instructions
JP7502957B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination