CN111050863A - 练习辅助程序、练习辅助方法以及练习辅助系统 - Google Patents

练习辅助程序、练习辅助方法以及练习辅助系统 Download PDF

Info

Publication number
CN111050863A
CN111050863A CN201780094312.5A CN201780094312A CN111050863A CN 111050863 A CN111050863 A CN 111050863A CN 201780094312 A CN201780094312 A CN 201780094312A CN 111050863 A CN111050863 A CN 111050863A
Authority
CN
China
Prior art keywords
frame
data
frames
performance
exercise assisting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780094312.5A
Other languages
English (en)
Inventor
久保田和己
内藤宏久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111050863A publication Critical patent/CN111050863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

练习辅助装置(100)根据在第一招式的表演中测量出的第一感测数据，确定分别代表构成第一招式的多个要素的多个第一帧。练习辅助装置(100)根据在第一招式的其它的表演中测量出的第二感测数据，确定分别代表构成第一招式的多个要素的多个第二帧。练习辅助装置(100)对多个要素的至少一个，将多个第一帧与多个第二帧建立对应关系，并进行显示。

Description

练习辅助程序、练习辅助方法以及练习辅助系统
技术领域
本发明涉及练习辅助程序等。
背景技术
作为体操比赛，男子进行自由体操、鞍马、吊环、跳马、双杆，单杠六个项目，女子进行跳马、高低杠、平衡木、自由体操四个项目。男女均通过连续地进行多个招式，构成一个表演。
此外，体操比赛的表演包含有构成招式的多个要素(scene：场景)。图29是用于说明构成招式的多个要素的一个例子的图。在图29所示的例子中，示出构成招式“直体尤尔琴科360”的要素的一个例子。例如，招式“直体尤尔琴科360”由局面1a和局面1b构成。局面1a包含有要素“起跳”、“双手支撑”。局面1b包含有“推出”、“旋转”、“转体”、“落地”。
根据D(Difficulty：难度)得分与E(Execution：完成)得分的合计来计算表演的得分。D得分是根据构成表演的招式的难度计算的得分。E得分是根据表演的技术、招式的各要素中的身体的姿势相关的减分法计算出的得分。例如，在图29所示的例子中，在要素“双手支撑”的时刻，选手的身体未成为直线的情况下，从E得分扣分。
这里，表演的练习的目的在于消除自身实施的招式与难度表所记载的招式之差。为了实现该目标，选手例如利用摄像机拍摄自己的表演对失败的招式的影像、和成功的招式的影像进行比较，或者听从来自教练的建议，进行反复练习。
专利文献1：日本特开2017－038407号公报
专利文献2：日本特开2010－264088号公报
然而，在上述的以往技术中，有不能够以能够进行比较的方式显示与成为比较对象的多个要素对应的各姿势这样的问题。
例如，在体操等那样由多个要素构成一个招式的复杂的招式(表演)中，对于独立地进行的同一招式，对与各要素对应的各选手的姿势进行比较较有用。但是，由于进行招式的选手的身体进行三维的复杂的动作，所以即使参照从一个方向拍摄到的照相机的影像，也难以把握三维的动作，不能够反映于练习。另外，即使同一选手进行多次同一招式，并参照各招式的影像，在影像间各要素也不同步，所以难以对与各要素对应的各选手的姿势进行比较。
发明内容
在一个侧面，本发明的目的在于提供能够以能够进行比较的方式显示与成为比较对象的多个要素对应的各姿势的练习辅助程序、练习辅助方法以及练习辅助系统。
在第一方案中，使计算机执行下述的处理。计算机根据在第一招式的表演中测量出的第一感测数据，确定分别代表构成第一招式的多个要素的多个第一帧。计算机根据在第一招式的其它的表演中测量出的第二感测数据，确定分别代表构成第一招式的多个要素的多个第二帧。计算机对多个要素的至少一个，将多个第一帧与多个第二帧建立对应关系并显示。
能够以能够进行比较的方式显示与多个要素对应的姿势。
附图说明
图1是表示本实施例1的练习辅助系统的一个例子的图。
图2是用于说明感测数据的图。
图3是用于说明影像数据的图。
图4是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(1)。
图5是表示本实施例1的练习辅助装置的构成的功能框图。
图6是表示本实施例1的感测DB的数据结构的一个例子的图。
图7是表示本实施例1的招式识别DB的数据结构的一个例子的图。
图8是表示本实施例1的影像DB的数据结构的一个例子的图。
图9是表示本实施例1的关节定义数据的一个例子的图。
图10是表示本实施例1的关节位置DB的数据结构的一个例子的图。
图11是表示本实施例1的3D模型DB的数据结构的一个例子的图。
图12是表示本实施例1的追加显示位置选择画面的一个例子的图。
图13是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(2)。
图14是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(3)。
图15是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(4)。
图16是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(5)。
图17是表示本实施例1的练习辅助装置的处理顺序的流程图(1)。
图18是表示本实施例1的练习辅助装置的处理顺序的流程图(2)。
图19是表示本实施例1的练习辅助装置的处理顺序的流程图(3)。
图20是表示本实施例2的练习辅助系统的一个例子的图。
图21是表示本实施例2的练习辅助装置显示的显示画面的一个例子的图。
图22是表示本实施例2的练习辅助装置的构成的功能框图。
图23是表示本实施例2的练习辅助装置的处理顺序的流程图。
图24是表示本实施例3的练习辅助系统的一个例子的图。
图25是表示本实施例3的练习辅助装置显示的显示画面的一个例子的图。
图26是表示本实施例3的练习辅助装置的构成的功能框图。
图27是表示本实施例3的练习辅助装置的处理顺序的流程图。
图28是表示实现与练习辅助装置相同的功能的计算机的硬件构成的一个例子的图。
图29是用于说明构成技的多个要素的一个例子的图。
具体实施方式
以下，基于附图对本申请公开的练习辅助程序、练习辅助方法以及练习辅助系统的实施例进行详细说明。此外，并不通过该实施例限定该发明。
实施例1
图1是表示本实施例1的练习辅助系统的一个例子的图。如图1所示，该练习辅助系统具有3D(三维)激光传感器50、照相机60、招式识别装置70、以及练习辅助装置100。练习辅助装置100与3D激光传感器50、照相机60、以及招式识别装置70连接。
在本实施例1中作为一个例子，选手10在进行了第一招式的表演之后，再次进行第一招式的表演。选手10是表演者的一个例子。将第一次的表演记为“第一表演”，将第二次的表演记为“第二表演”。对于第一表演以及第二表演来说，选手10均进行同一“第一招式”的表演。另外，在本实施例1中作为一个例子，对选手10进行体操表演的情况进行说明，但也能够同样地应用于其它的打分比赛。
例如，其它的打分比赛包含蹦床、游泳的跳水、花样滑冰、空手道、交谊舞、滑雪、滑板、空中滑雪、冲浪。另外，也可以应用于经典芭蕾舞、跳台滑雪、硬雪丘滑雪的跳台、转身、棒球、篮球的姿势检查等。另外，也可以应用于剑道、柔道、摔跤、相扑等比赛。
3D激光传感器50是对选手10进行3D感测的传感器。3D激光传感器50将成为感测结果的感测数据输出给招式识别装置70以及练习辅助装置100。此外，3D激光传感器50是能够测量到选手10为止的距离的距离图像传感器的一个例子。
图2是用于说明感测数据的图。感测数据包含有多个帧，对各帧按升序给予唯一地识别帧的帧编号。在图2所示的感测数据中，从较旧的帧开始依次示出帧编号n、n+1、···、n+15、···、n+30的帧。N与自然数对应。例如，各帧包含有从3D激光传感器50到选手10上的各点为止的距离信息。通过使用感测数据，能够估计各帧中的选手10的各关节的三维位置，生成选手10的3D模型。
在使3D激光传感器50进行感测的情况下的帧速率为30fps(每秒帧数)的情况下，从帧编号n的帧到帧编号n+1的时间间隔为0.33秒。在感测数据中，通过基于前后的帧进行插值，也能够生成相当于帧间的帧。例如，通过对帧编号n的帧、和帧编号n+1的帧进行插值，能够生成n+0.5的帧。
照相机60是拍摄选手10的影像数据的装置。照相机60将影像数据输出给练习辅助装置100。在影像数据包含有相当于选手10的图像的多个帧，对各帧分配有帧编号。图3是用于说明影像数据的图。在图3所示的影像数据中，从较旧的帧开始依次示出帧编号n、n+1、···的帧。影像数据的帧编号与感测数据的帧编号同步。另外，在下述的说明中，适当地将感测数据所包含的帧记为“感测帧”，并将影像数据的帧记为“影像帧”。
招式识别装置70是基于3D激光传感器50感测到的感测数据，识别招式的局面、构成招式的各要素的装置。招式识别装置70生成分别将感测数据的各帧编号与各识别结果建立对应关系的识别结果数据。招式识别装置70将识别结果数据输出给练习辅助装置100。局面是方便地划分一个招式的单位，要素是构成一个招式的移动的单位。局面由多个要素构成。此外，根据项目、比赛，也有不设定局面，仅设定表示移动的单位的要素。
例如，招式识别装置70通过对定义了招式的特征的招式识别表格(图示省略)与感测数据进行比较，来识别与各感测帧对应的招式的局面以及构成招式的要素。招式识别装置70也可以使用其它的技术，识别与各感测帧对应的招式的局面以及构成招式的要素。
练习辅助装置100根据第一表演中的感测数据，确定与构成第一招式的多个要素对应的多个第一感测帧。练习辅助装置100根据第二表演中的感测数据，确定与构成第一招式的多个要素对应的多个第二感测帧。练习辅助装置100对多个各要素的各个，将第一感测帧与第二感测帧建立对应关系，并按照时间序列进行显示。
此外，练习辅助装置100基于感测数据，估计选手10的关节位置、骨骼位置，生成选手10的3D模型数据。练习辅助装置100将与第一感测帧对应的三维模型和与第二感测帧对应的三维模型建立对应关系并进行显示。
图4是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(1)。如图4所示，在该显示画面80中，包含显示区域80a、和显示区域80b。例如，设为在第一招式包含有第一要素、第二要素、···第m要素、第m+n要素。在显示区域80a显示有与第m要素对应的第一感测帧的3D模型。在显示区域80b显示有与第m要素对应的第二感测帧的3D模型。即，练习辅助装置100使显示于显示区域80a的3D模型所对应的招式的要素与显示于显示区域80b的3D模型所对应的招式的要素同步地进行显示。
练习辅助装置100通过使图4所示那样的显示画面80显示，能够以能够进行比较的方式显示与成为比较对象的多个要素对应的选手10的各姿势。
接着，对图1所示的练习辅助装置100的构成的一个例子进行说明。图5是表示本实施例1的练习辅助装置的构成的功能框图。如图5所示，该练习辅助装置100具有接口部110、通信部120、输入部130、显示部140、存储部150、以及控制部160。显示部140、输出部165是显示部的一个例子。
接口部110是与3D激光传感器50、照相机60、招式识别装置70连接，并从3D激光传感器50、照相机60、招式识别装置70获取数据的装置。接口部110将获取的数据输出给控制部160。例如，接口部110从3D激光传感器50，获取感测数据。接口部110从照相机60获取影像数据。接口部110从招式识别装置70获取识别结果数据。
通信部120是经由网络，与其它的装置进行数据通信的装置。通信部120与通信装置对应。练习辅助装置100也可以经由网络，与3D激光传感器50、照相机60、招式识别装置70连接。此时，通信部120经由网络，从3D激光传感器50、照相机60、招式识别装置70获取数据。
输入部130是用于将各种信息输入练习辅助装置100的输入装置。输入部130与键盘、鼠标、触摸面板等对应。例如，用户操作输入部130，指定第一表演中的感测数据、第二表演中的感测数据。用户操作输入部130，指定构成招式的多个要素中想要参照的要素。用户既可以是选手10，也可以是教练等其它的用户。
显示部140是显示从控制部160输出的显示画面的信息的显示装置。例如，显示部140显示在图4说明的显示画面80等。显示部140与液晶显示器、触摸面板等对应。
存储部150具有感测DB(Data Base：数据库)151、招式识别DB152、影像DB153、关节定义数据154、关节位置DB155、以及3D模型DB156。存储部150与RAM(Random AccessMemory：随机存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储器元件，或者HDD(Hard Disk Drive：硬盘驱动器)等存储装置对应。
感测DB151是储存从3D激光传感器50获取的感测数据的数据库。图6是表示本实施例1的感测DB的数据结构的一个例子的图。如图6所示，该感测DB151将表演识别编号、帧编号以及感测帧建立对应关系。表演识别编号是唯一地识别独立地进行的表演的编号。即使是同一表演，在3D激光传感器50感测的定时不同的情况下，也给予不同的表演识别编号。例如，第一表演、和第二表演分配不同的表演识别编号。
在图6中，帧编号是唯一地识别与同一表演识别编号对应的各感测帧的编号。感测帧是3D激光传感器50感测到的感测帧。
招式识别DB152是储存从招式识别装置70获取的识别结果数据的数据库。图7是表示本实施例1的招式识别DB的数据结构的一个例子的图。如图7所示，该招式识别DB152将表演识别编号、帧编号、以及招式识别结果数据建立对应关系。表演识别编号相关的说明与在感测DB151进行的说明相同。
在图7中，帧编号是唯一地识别与同一表演识别编号对应的各感测帧的编号。例如，对于与同一表演识别编号对应的各帧编号来说，图7的帧编号与图6的帧编号同步。
在图7中，招式识别结果数据是表示招式识别装置70所识别出的感测帧的识别结果的信息。招式识别结果数据包含有招式的局面、招式的要素。例如，在与表演识别编号“P101”的帧编号“2”对应的感测帧是图29所说明的要素“起跳”的帧的情况下，在与表演识别编号“P101”的帧编号“2”对应的招式识别结果数据储存“局面＝局面1a，要素＝起跳”。
在本实施例1中作为一个例子，在招式识别结果数据设定有构成招式的要素中代表招式的要素。例如，在帧是与构成招式的“要素A”对应的帧的情况下，在招式识别结果数据储存有“要素＝要素A”。另一方面，在帧不是与构成招式的要素对应的帧的情况下，在招式识别结果数据储存有“要素＝NULL”。
影像DB153是储存从照相机60获取的影像数据的数据库。图8是表示本实施例1的影像DB的数据结构的一个例子的图。如图8所示，该影像DB153将表演识别编号、帧编号、以及影像帧建立对应关系。表演识别编号相关的说明与在感测DB151进行的说明相同。
在图8中，帧编号是唯一地识别与同一表演识别编号对应的各影像帧的编号。此外，影像帧的帧编号与感测帧的帧编号同步。影像帧是照相机60所拍摄到的影像帧。
关节定义数据154定义表演者(选手10)的各关节位置。图9是表示本实施例1的关节定义数据的一个例子的图。如图9所示，关节定义数据154存储对根据公知的骨骼模型确定的各关节进行编号的信息。例如，如图9所示，对右肩关节(SHOULDER＿RIGHT)给予七号，对左肘关节(ELBOW＿LEFT)给予五号，对左膝关节(KNEE＿LEFT)给予十一号，对右髋关节(HIP＿RIGHT)给予十四号。这里，在实施例1中，有时将八号的右肩关节的X坐标记载为X8，将Y坐标记载为Y8，并将Z坐标记载为Z8。此外，虚线的数字是即使根据骨骼模型进行确定，也不能够利用于打分的关节等。
关节位置DB154是基于3D激光传感器50的感测数据生成的选手10的各关节的位置数据。图10是表示本实施例1的关节位置DB的数据结构的一个例子的图。如图10所示，该关节位置DB155将表演识别编号、帧编号、以及“X0、Y0、Z0、···、X17、Y17、Z17”建立对应关系。表演识别编号相关的说明与在感测DB151进行的说明相同。
在图10中，帧编号是唯一地识别与同一表演识别编号对应的各感测帧的编号。图10所示的帧编号与图6所示的帧编号同步。“X0、Y0、Z0、···、X17、Y17、Z17”是各关节的XYZ坐标，例如“X0、Y0、Z0”是图9所示的0编号的关节的三维坐标。
图10示出表演识别编号“P101”的感测数据中的各关节的时间序列的变化，示出在帧编号“1”下，各关节的位置为“X0＝100，Y0＝20，Z0＝0，···，X17＝200，Y17＝40，Z17＝5”。而且，示出在帧编号“2”下，各关节的位置移动至“X0＝101，Y0＝25，Z0＝5，···，X17＝202，Y17＝39，Z17＝15”。
3D模型DB156是储存基于感测数据生成的选手10的3D模型的信息的数据库。图11是表示本实施例1的3D模型DB的数据结构的一个例子的图。如图11所示，3D模型DB156将表演识别编号、帧编号、骨骼数据、以及3D模型数据建立对应关系。表演识别编号、帧编号相关的说明与在感测DB151进行的说明相同。
骨骼数据是表示通过连接各关节位置估计出的选手10的骨骼的数据。3D模型数据是基于根据感测数据得到的信息、和骨骼数据估计出的选手10的3D模型的数据。
返回到图5的说明。控制部160具有登记部161、3D模型生成部162、受理部163、确定部164、以及输出部165。能够通过CPU(Central Processing Unit：中央处理器)或者MPU(Micro Processing Unit：微处理单元)等实现控制部160。另外，也能够通过ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等硬件逻辑实现控制部160。
登记部161从3D激光传感器50获取感测数据，并将获取的感测数据登记到感测DB151。登记部161在将感测数据(帧编号、感测帧)登记于感测DB151时，与表演识别编号建立对应关系。表演识别编号是经由输入部130等由用户指定的编号。
登记部161从招式识别装置70获取识别结果数据，并将获取的识别结果数据登记于招式识别DB152。登记部161在将招式识别结果数据(帧编号、招式识别结果数据)登记于招式识别DB152时，与表演识别编号建立对应关系。表演识别编号是经由输入部130等由用户指定的编号。
登记部161从照相机60获取影像数据，并将获取的影像数据登记于影像DB153。登记部161在将影像数据(帧编号，影像帧)登记于影像DB153时，与表演识别编号建立对应关系。表演识别编号是经由输入部130等由用户指定的编号。
3D模型生成部162是基于感测DB151，生成与各表演识别编号的各帧编号对应的3D模型数据的处理部。以下，对3D模型生成部162的处理的一个例子进行说明。3D模型生成部162对感测DB151的感测帧与关节定义数据154所定义的各关节的位置关系进行比较，确定感测帧所包含的各关节的种类以及关节的三维坐标。3D模型生成部162通过按照各表演识别编号的帧编号反复执行上述处理，生成关节位置DB155。
3D模型生成部162通过基于关节定义数据154所定义的连接关系将储存于关节位置DB155的各关节的三维坐标连接，生成骨骼数据。另外，3D模型生成部162通过将估计出的骨骼数据应用于与选手10的体格对应的骨骼模型，生成3D模型数据。3D模型生成部162通过按照各表演识别编号的帧编号反复执行上述处理，生成3D模型DB156。
受理部163是从输入部130等，受理用户想要进行比较的两个表演对应的两种表演识别编号的处理部。受理部163将受理的两种表演识别编号的信息输出给确定部164。例如，将用户想要进行比较的两个表演设为“第一表演”以及“第二表演”。将与第一表演对应的表演识别编号设为“第一表演识别编号”，并将与第二表演对应的表演识别编号设为“第二表演识别编号”。
例如，第一表演与第二表演的关系对应于指导前的表演、指导后的表演。或者，第一表演与第二表演的关系对应于失败的表演、成功的表演。或者，第一表演与第二表演的关系也可以仅是过去的某一表演、和最新的表演。另外，第一表演与第二表演的表演者(选手10)既可以是同一人物，也可以是不同的人物。
并且，受理部163受理追加显示位置相关的信息。追加显示位置相关的信息包含识别用户想要显示的招式的要素和多个关节的信息。受理部163将追加显示位置相关的信息输出给输出部165。
例如，受理部163使用于选择追加显示位置的追加显示位置选择画面显示于显示部140，并受理追加显示位置相关的信息。
图12是表示本实施例1的追加显示位置选择画面的一个例子的图。在图12所示的例子中，在追加显示位置选择画面81具有选择成为显示位置的关节的选择表单81a、和输入要素的输入表单81b。用户操作输入部130，输入追加显示位置相关的信息。在图12所示的例子中，作为追加显示位置，选择关节7、8、9，并输入要素E。此外，在要素的选择中，也可以是指定某一招式，并从构成指定的招式的要素中选择特定的要素E的方式。
另外，受理部163从输入部130等，受理参照3D模型的情况下的假想视点的位置以及方向的信息。在以下的说明中，将假想视点的位置以及方向的信息记为“假想视线数据”。受理部163将假想视线数据输出给输出部165。
确定部164从受理部163获取第一表演识别编号、和第二表演识别编号。例如，确定部164对招式识别DB152，参照于第一表演识别编号对应的各帧编号的招式识别结果数据，确定分别代表构成第一表演的招式的多个要素的帧编号(以下，称为第一帧编号)。确定部164将第一表演识别编号、和确定出的多个第一帧编号输出给输出部165。此外，在构成某一要素的帧为单数的情况下，该帧成为代表某一要素的帧。另一方面，在构成某一要素的帧为多个的情况下，规定的帧成为代表某一要素的帧。例如，作为规定的帧，是构成某一要素的多个帧中的第一个帧、正中的帧、最后的帧等。
确定部164对招式识别DB152，参照与第二表演识别编号对应的各帧编号的招式识别结果数据，确定分别代表构成第二表演的招式的多个要素的帧编号(以下，称为第二帧编号)。确定部164将第二表演识别编号、和确定出的多个第二帧编号输出给输出部165。
在以下的说明中，将第一表演识别编号的多个第一帧编号所对应的多个感测帧记为多个“第一感测帧”。将第二表演识别编号的多个第二帧编号所对应的多个感测帧记为多个“第二感测帧”。
输出部165是对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系，并按照时间序列，使其显示于显示部140的处理部。以下，分别对输出部165的处理1～5的一个例子进行说明。
对输出部165执行的“处理1”进行说明。输出部165的处理1是生成图4说明的显示画面80的信息，并输出给显示部140的处理。例如，设为构成第一表演以及第二表演的要素包含“要素A、要素B、要素C、···”。
输出部165将多个第一感测帧中与要素A对应的第一感测帧的帧编号作为关键词，从3D模型DB156检测对应的第一3D模型数据。输出部165以假想视线数据为基准，生成从假想视线观察到的第一3D模型数据的图像，并设置于显示区域80a。
输出部165将多个第二感测帧中与要素A对应的第二感测帧的帧编号作为关键词，从3D模型DB156检测对应的第二3D模型数据。输出部165将假想视线数据作为基准，生成从假想视线观察到的第二3D模型数据的图像，并设置于显示区域80b。
输出部165通过对其它的要素“要素B、要素C、···”，也反复执行上述处理，在显示区域80a显示有与“要素B、要素C、···”对应的第一3D模型数据。另外，在显示区域80b显示有与“要素B、要素C、···”对应的第二3D模型数据。输出部165使显示于显示区域80a的第一3D模型数据的要素、和显示于显示区域80b的第二3D模型数据的要素同步。
练习辅助装置100通过使图4所示那样的显示画面80显示，能够以能够进行比较的方式显示成为比较对象的多个要素所对应的选手10的各姿势。
输出部165执行的“处理2”进行说明。输出部165执行的处理2是生成图13所示的显示画面82的信息，并输出给显示部140的处理。图13是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(2)。
输出部165与处理1相同，生成第一3D模型数据的图像、和第二3D模型数据的图像。输出部165将第一模型数据的图像与第二3D模型数据的图像重叠，并显示于显示区域82a。设为显示于显示区域82a的第一3D模型数据的要素与第二3D模型数据的要素相同。换句话说，与某一局面中的某一要素对应的第一3D模型数据和第二3D模型数据以重叠的状态显示于显示区域82a。
在输出部165对每个要素预先设定有容易把握选手10的姿势的假想视线数据(以下，记为设定视线数据)。输出部165基于与当前显示于显示区域82a的第一3D模型数据以及第二3D模型数据的要素对应的设定视线数据，生成显示区域82b、82c的图像。
输出部165将设定视线数据作为基准，生成从假想视线观察到的第一3D模型数据的图像，并设定于显示区域82b。输出部165也可以合并显示通过3D模型数据的规定的关节的直线82d与水平线82e所成的角度。
输出部165将设定视线数据作为基准，生成从假想视线观察到的第二3D模型数据的图像，并设定于显示区域82c。输出部165也可以合并显示通过3D模型数据的规定的关节的直线82f与水平线82g所成的角度。
练习辅助装置100通过使图13所示那样的显示画面82显示，能够以能够进行比较比较的方式显示与成为对象的多个要素对应的选手10的各姿势。另外，对于各要素，能够同时参照从多个假想视线观察到的第一表演、第二表演相关的3D模型的影像。
对输出部165执行的“处理3”进行说明。输出部165执行的处理3是生成图14所示的显示画面83的信息，并输出到显示部140的处理。图14是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(3)。
输出部165与处理1相同，确定与各要素对应的各第一3D模型数据、和与各要素对应的各第二3D模型数据。例如，输出部165将假想视线数据作为基准，生成从假想视线观察到的各要素A～F的各第一3D模型数据的图像84a～84f，并按照时间序列设置于显示区域84。图像84a～84f所示的数字表示帧编号。例如，与要素A对应的图像84a的帧编号为“40”。
输出部165将假想视线数据作为基准，生成从假想视线观察到的各要素A～F的各第二3D模型数据的图像85a～85f，并按照时间序列设置于显示区域85。图像85a～85f所示的数字表示帧编号。例如，与要素A对应的图像85a的帧编号为“50”。
输出部165在将图像84a～84f配置于显示区域84，将图像85a～85f配置于显示区域85的情况下，以上下的图像的要素相同的方式进行图像的配置。
练习辅助装置100通过使图14所示那样的显示画面83显示，能够以能够按照时间序列进行比较的方式显示与成为比较对象的各要素对应的选手10的各姿势。另外，通过显示帧编号，用户能够把握第一表演中的某一要素与其接下来的要素之间需要的时间、和第二表演中的某一要素与其接下来的要素之间所需要的时间。例如，用户能够通过把握对于从某一要素移至其接下来的要素为止的时间来说，第二表演比第一表演短或者长，来意识到表演的速度进行练习。
对输出部165执行的“处理4”进行说明。输出部165执行的处理4是生成图15所示的显示画面86的信息，并输出到显示部140的处理。图15是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(4)。
输出部165与处理3相同，以假想视线数据为基准，生成从假想视线观察到的各要素A～F的各第一3D模型数据的图像87a～87f，并按照时间序列设置于显示区域87。输出部165将假想视线数据作为基准，生成从假想视线观察到的各要素A～F的各第一3D模型数据的图像88a～88f，并按照时间序列设置于显示区域88。
输出部165从受理部163获取追加显示位置相关的信息。这里为了方便说明，设为在追加显示位置相关的信息包含有关节7、8、9、要素E。输出部165基于多个第一感测帧中与要素E对应的第一感测帧的帧编号、和关节位置DB155确定出关节7、8、9的位置。输出部165使通过关节位置7、8、9的线段89a显示于与要素E对应的图像87e。
输出部165基于多个第二感测帧中与要素E对应的第二感测帧的帧编号、和关节位置DB155确定出关节7、8、9的位置。输出部165使通过关节位置7、8、9的线段89b显示于与要素E对应的图像88e。另外，输出部165也可以使线段89a、和线段89b重叠显示于图像88e。
练习辅助装置100通过使图15所示那样的显示画面86显示于显示部140，能够容易地把握追加显示位置相关的关节位置的变化(改善情况)。例如，在从教练指导了“注意手臂的角度”时，以容易观察手臂的角度的视线排列指导前后的表演(例如，第一表演、第二表演)较有效。因此，用户作为追加显示位置相关的关节位置，指定手臂附近的关节(例如，关节7、8、9)，并指定假想视线数据，从而能够在手臂附近从容易观察的方向容易地比较指导前后的表演。
另外，在从教练指导了“伸直腰部到脚尖”时，以容易观察腰部到脚尖的视线排列指导前后的表演较有效。因此，用户通过指定腰部到相关的关节(例如，关节14、15、16、17)作为追加显示位置相关的关节位置，并指定假想视线数据，能够在腰部到脚尖，从容易观察的方向容易地比较指导前后的表演。
在以往的影像比较中，在参照从用户所希望的方向的影像的情况下，每次改变照相机的位置，进行拍摄。与此相对，练习辅助装置100所使用的3D激光传感器50测量到的感测数据具有3D信息。因此，若指定假想视线数据，则能够生成从指定的假想视线观察到的3D模型数据，并以能够进行比较的方式显示各要素的姿势。
对输出部165执行的“处理5”进行说明。输出部165执行的处理5是生成图16所示的显示画面90的信息，并输出到显示部140的处理。图16是表示本实施例1的练习辅助装置显示的显示画面的一个例子的图(5)。
输出部165与处理3相同，以假想视线数据为基准，生成从假想视线观察到的各要素A、B、C的各第一3D模型数据的图像91a、91b、91c，并按照时间序列配置于显示区域91。输出部165以假想视线数据为基准，生成从假想视线观察到的各要素A、B、C的各第二3D模型数据的图像92a、92b、92c，并按照时间序列配置于显示区域92。
另外，输出部165以能够基于各要素间的帧的数目，把握时间间隔的方式进行显示。例如，输出部165基于各要素间的帧的数目，每十帧显示“四角”。输出部165通过对与各要素对应的感测帧的帧编号与感测DB151进行比较，来对各要素间的帧的数目进行计数。
例如，输出部165在与要素A对应的第一感测帧和与要素B对应的第一感测帧之间的帧数为二十帧的情况下，使两个“四角”显示在图像91a与图像91b之间。输出部165在与要素B对应的第一感测帧和与要素C对应的第一感测帧之间的帧数为三十帧的情况下，使三个“四角”显示在图像91b与图像91c之间。
输出部165在与要素A对应的第二感测帧和与要素B对应的第二感测帧之间的帧数为十帧的情况下，使一个“四角”显示在图像92a与图像92b之间。输出部165在与要素B对应的第二感测帧和与要素C对应的第二感测帧之间的帧数为二十帧的情况下，使两个“四角”显示在图像92b与图像92c之间。
练习辅助装置100通过使图16所示那样的显示画面90显示于显示部140，用户容易在视觉上把握要素间的帧数。另外，选手10能够容易地把握表演时的招式的实施速度，并对定时之差进行比较。例如，若对第一表演、和第二表演进行比较，则由于各图像间的第一表演的四角的数目比第二表演的四角的数目多，所以能够容易地把握第二表演的定时比第一表演早。
接下来，对本实施例1的练习辅助装置100的处理顺序的一个例子进行说明。图17是表示本实施例1的练习辅助装置的处理顺序的流程图(1)。如图17所示，练习辅助装置100的受理部163受理成为比较对象的第一表演识别编号、第二表演识别编号(步骤S101)。
练习辅助装置100的确定部164根据在第一表演中(与第一表演识别编号对应的第一表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第一感测帧(步骤S102)。
确定部164根据在第二表演中(与第二表演识别编号对应的第二表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第二感测帧(步骤S103)。
练习辅助装置100的输出部168对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系(步骤S104)。受理部163受理假想视线数据，输出部165生成从假想视线观察到的第一3D模型的图像以及第二3D模型的图像(步骤S105)。输出部163将第一3D模型的图像以及第二3D模型的图像建立对应关系，并使它们按照时间序列进行显示(步骤S106)。
图18是表示本实施例1的练习辅助装置的处理顺序的流程图(2)。如图18所示，练习辅助装置100的受理部163受理成为比较对象的第一表演识别编号、第二表演识别编号(步骤S201)。
练习辅助装置100的确定部164根据在第一表演中(与第一表演识别编号对应的第一表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第一感测帧(步骤S202)。
确定部164根据在第二表演中(与第二表演识别编号对应的第二表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第二感测帧(步骤S203)。
练习辅助装置100的输出部165对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系(步骤S204)。受理部163受理假想视线数据，输出部165生成从假想视线观察到的第一3D模型的图像以及第二3D模型的图像(步骤S205)。
受理部163受理追加显示位置相关的信息的输入(步骤S206)。输出部165确定第一感测帧中与追加显示位置对应的位置，并在第一3D模型的图像上显示第一线段(步骤S207)。例如，第一线段与图15的线段89a对应。
输出部165确定第二感测帧中与追加显示位置对应的位置，并在第二3D模型的图像上显示第二线段(步骤S208)。例如，第二线段与图15的线段89b对应。
输出部165在第二3D模型的图像上，重叠显示第一线段以及第二线段(步骤S209)。输出部165将第一3D模型的图像以及第二3D模型的图像建立对应关系，并按照时间序列进行显示(步骤S210)。
图19是表示本实施例1的练习辅助装置的处理顺序的流程图(3)。如图19所示，练习辅助装置100的受理部163受理成为比较对象的第一表演识别编号、第二表演识别编号(步骤S301)。
练习辅助装置100的确定部164根据在第一表演中(与第一表演识别编号对应的第一表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第一感测帧(步骤S302)。
确定部164根据在第二表演中(与第二表演识别编号对应的第二表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第二感测帧(步骤S303)。
练习辅助装置100的输出部165对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系(步骤S304)。受理部163受理假想视线数据，输出部165生成从假想视线观察到的第一3D模型的图像以及第二3D模型的图像(步骤S305)。输出部165将第一3D模型的图像以及第二3D模型的图像建立对应关系，并使它们按照时间序列进行显示(步骤S306)。
输出部165针对第一表演、第二表演，对要素间的帧数进行计数(步骤S307)。输出部165根据要素间的帧数，计算四角的数目(步骤S308)。输出部165使与四角的数目对应的图显示在要素间(步骤S309)。
接下来，对本实施例1的练习辅助装置100的效果进行说明。练习辅助装置100根据第一表演中的感测数据，确定出与构成第一招式的多个要素对应的多个第一感测帧。练习辅助装置100根据第二表演中的感测数据，确定出与构成第一招式的多个要素对应的多个第二感测帧。练习辅助装置100对多个各要素的各个，将第一感测帧与第二感测帧建立对应关系，并按照时间序列进行显示。由此，根据练习辅助装置100，能够以能够进行比较的方式显示与成为比较对象的多个要素对应的选手10的各姿势。
此外，虽然在图4所示的显示画面80、图13～图16所示的显示画面82～90中省略了图示，但输出部165也可以进行下述的处理。例如，输出部165也可以与在显示画面80，82～90显示的感测帧的帧编号同步地，在显示画面80、82～90的规定区域显示影像DB153的影像帧。
实施例2
图20是表示本实施例2的练习辅助系统的一个例子的图。如图20所示，该练习辅助系统具有3D激光传感器50、照相机60、招式识别装置70、以及练习辅助装置200。其中，3D激光传感器50、照相机60、招式识别装置70相关的说明与在图1进行说明的相同。
在本实施例2中作为一个例子，假设选手10在进行了第一招式的表演之后，再次进行第一招式的表演。将第一次的表演记为“第一表演”，并将第二次的表演记为“第二表演”。对于第一表演以及第二表演来说，选手10均进行同一第一招式的表演。另外，在本实施例2中作为一个例子，对选手10进行体操表演的情况进行说明，但也能够相同地应用于其它的打分比赛(花样滑冰等)。
练习辅助装置200通过对与第一感测数据对应的第一骨骼数据的推移、和与第二感测数据对应的第二骨骼数据的推移进行比较，确定出多个要素中第一骨骼数据的推移与第二骨骼数据的推移的差分在规定值以上的要素。例如，该差分在规定值以上的要素与多个要素中选手10的招式失败的要素对应。练习辅助装置200以能够把握该确定出的要素的定时的方式生成显示画面，并进行显示。
图21是表示本实施例2的练习辅助装置显示的显示画面的一个例子的图。如图21所示，在该显示画面93包含有显示区域93a、显示区域93b、以及显示区域93c。
例如，假设在第一招式包含有第一要素、第二要素、···第m要素。此外，将与第一要素～第m要素对应的感测帧的帧编号设为帧编号1～m。在显示区域93a分别显示有与第一要素～第m要素对应的第一感测帧的3D模型(从假想视线观察到的3D模型数据的图像)。在显示区域93b分别显示有与第一要素～第m要素对应的第二感测帧的3D模型。
将第一要素～第m要素中第一骨骼数据的推移与第二骨骼数据的推移的差分在阈值以上的要素设为帧编号8～12的要素(第八要素～第十二要素)。此时，练习辅助装置200对显示区域93a的帧编号8～12的3D模型的图像进行强调显示。
在显示区域93c以图表显示有第一骨骼数据的推移、和第二骨骼数据的推移。这里作为一个例子，将骨骼数据的推移设为选手10的右脚踝的转动速度。显示区域93c的图表的横轴与帧编号对应，纵轴与选手10的右脚踝的转动速度对应。线段94a是与第一骨骼数据对应的表示选手10的右脚踝的转动速度与帧编号的关系的线段。线段94b是与第二骨骼数据对应的表示选手10的右脚踝的转动速度与帧编号的关系的线段。线段94a与线段94b相比较，可知在帧编号8以后，速度的差分在阈值以上，第一表演失败。
练习辅助装置200通过显示图21所示的显示画面93，用户能够容易地对失败的3D模型的图像与成功的3D模型的图像进行比较。另外，通过强调显示，也能够容易地参照构成第一招式的多个要素中失败的要素的3D模型的图像。
接着，对图20所示的练习辅助装置200的构成的一个例子进行说明。图22是表示本实施例2的练习辅助装置的构成的功能框图。如图22所示，该练习辅助装置200具有接口部210、通信部220、输入部230、显示部240、存储部250、以及控制部260。其中，接口部210、通信部220、输入部230、显示部240相关的说明与在图5进行说明的接口部110、通信部120、输入部130、显示部140相关的说明相同。
存储部250具有感测DB251、招式识别DB252、影像DB253、关节定义数据254、关节位置DB255、以及3D模型DB256。存储部250与RAM、ROM、闪存等半导体存储器元件，或者HDD等存储装置对应。
其中，感测DB251、招式识别DB252、影像DB253、关节定义数据254、关节位置DB255、3D模型DB256相关的说明与在图5进行说明的感测DB(Data Base：数据库)151、招式识别DB152、影像DB153、关节定义数据154、关节位置DB155、3D模型DB156相关的说明相同。
控制部260具有登记部261、3D模型生成部262、受理部263、确定部264、以及输出部265。能够通过CPU或者MPU等实现控制部260。另外，也能够通过ASIC等硬件逻辑实现控制部260。
登记部261从3D激光传感器50获取感测数据，并将获取的感测数据登记于感测DB251。登记部261在将感测数据(帧编号、感测帧)登记于感测DB251时，与表演识别编号建立对应关系。表演识别编号是经由输入部230等由用户指定的编号。表演识别编号是唯一地识别选手10进行的表演的数据。
登记部261从招式识别装置70获取识别结果数据，并将获取的识别结果数据登记于招式识别DB252。登记部261在将招式识别结果数据(帧编号、招式识别结果数据)登记于招式识别DB252时，与表演识别编号建立对应关系。表演识别编号是经由输入部230等，由用户指定的编号。
登记部261从照相机60获取影像数据，并将获取的影像数据登记于影像DB253。登记部261在将影像数据(帧编号、影像帧)登记于影像DB253时，与表演识别编号建立对应关系。表演识别编号是经由输入部230等，由用户指定的编号。
3D模型生成部262是基于感测DB251，生成与各表演识别编号的各帧编号对应的3D模型数据的处理部。3D模型生成部262将生成的3D模型数据登记于3D模型DB256。3D模型生成部262生成3D模型数据的处理与图5所示的3D模型生成部162的处理相同。
受理部263是从输入部230等受理用户想要进行比较的两个表演所对应的两种表演识别编号的处理部。受理部263将受理的两种表演识别编号的信息输出给确定部264。例如，将用户想要进行比较的两个表演设为“第一表演”以及“第二表演”。将与第一表演对应的表演识别编号设为“第一表演识别编号”，并将与第二表演对应的表演识别编号设为“第二表演识别编号”。
确定部264从受理部263获取第一表演识别编号、和第二表演识别编号。例如，确定部264对招式识别DB252，参照与第一表演识别编号对应的各帧编号的招式识别结果数据，确定出分别代表构成第一表演的招式(第一招式)的多个要素的帧编号(以下，称为第一帧编号)。确定部264将第一表演识别编号、和确定出的多个第一帧编号输出给输出部265。
确定部264对招式识别DB252，参照与第二表演识别编号对应的各帧编号的招式识别结果数据，确定出分别代表构成第二表演的招式(第一招式)的多个要素的帧编号(以下，称为第二帧编号)。确定部264将第二表演识别编号、和确定出的多个第二帧编号输出给输出部265。
将与第一表演识别编号的多个第一帧编号对应的多个感测帧记为多个“第一感测帧”。将与第二表演识别编号的多个第二帧编号对应的多个感测帧记为多个“第二感测帧”。
并且，确定部264从3D模型DB256获取确定出的各第一帧编号所对应的各骨骼数据(第一骨骼数据)。确定部264每隔规定数目的帧，计算第一骨骼数据的推移。例如，第一骨骼数据的推移与第一骨骼数据所包含的多个关节中规定的关节的位置的移动速度对应。
确定部264从3D模型DB256获取确定出的各第二帧编号所对应的各骨骼数据(第二骨骼数据)。确定部264每隔规定数目的帧，计算第二骨骼数据的推移。例如，第二骨骼数据的推移与第二骨骼数据所包含的多个关节中规定的关节的位置的移动速度对应。
确定部264对第一骨骼数据的推移与第二骨骼数据的推移进行比较，从构成第一招式的多个要素确定多个要素中第一骨骼数据的推移与第二骨骼数据的推移之差在阈值以上的要素。在以下的说明中，将构成第一招式的多个要素中第一骨骼数据的推移与第二骨骼数据的推移之差在阈值以上的要素记为“确定要素”。确定部264将确定要素的信息输出给输出部265。
确定部264将第一骨骼数据的推移的信息、和第二骨骼数据的推移的信息输出给输出部265。例如，骨骼数据的推移的信息包含帧编号、和与帧编号对应的骨骼数据所包含的规定的关节的移动速度。
此外，也可以确定部264在进行比较的情况下，根据成为推移的计算的基准的关节的种类，来调整阈值。例如，确定部264将与指尖的关节位置对应的阈值的大小设定为比与膝关节对应的阈值的大小大。
输出部265是对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系，并按照时间序列使它们显示于显示部240的处理部。另外，输出部265对多个第一感测帧或者多个第二感测帧中与确定要素对应的感测帧进行强调显示。另外，输出部265生成示出第一骨骼数据的推移的信息、和第二骨骼数据的推移的信息的图表，并使其显示于显示部240。
例如，输出部265生成在图21进行说明的显示画面93，并使其显示于显示部240。
即，输出部265将多个第一感测帧中与各要素对应的第一感测帧的帧编号作为关键词，从3D模型DB256检测对应的第一3D模型数据。输出部265以假想视线数据为基准，生成从假想视线观察到的第一3D模型数据的图像，并设置于显示区域93a。另外，输出部265对各3D模型的图像中与确定要素对应的3D模型的图像进行强调显示。
输出部265将多个第二感测帧中与各要素对应的第二感测帧的帧编号作为关键词，从3D模型DB256检测对应的第二3D模型数据。输出部265以假想视线数据为基准，生成从假想视线观察到的第二3D模型数据的图像，并设置于显示区域93b。
输出部265将第一骨骼数据的推移以及第二骨骼数据的推移曲线化为将横轴设为帧编号，并将纵轴设为速度的图表，并使其显示于显示区域93c。
接下来，对本实施例2的练习辅助装置200的处理顺序的一个例子进行说明。图23是表示本实施例2的练习辅助装置的处理顺序的流程图。如图23所示，练习辅助装置200的受理部263受理成为比较对象的第一表演识别编号、第二表演识别编号(步骤S401)。
练习辅助装置200的确定部264根据在第一表演中(与第一表演识别编号对应的第一表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第一感测帧(步骤S402)。
确定部264根据在第二表演中(与第二表演识别编号对应的第二表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第二感测帧(步骤S403)。
练习辅助装置100的输出部265对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系(步骤S404)。受理部263受理假想视线数据，输出部265生成从假想视线观察到的第一3D模型的图像以及第二3D模型的图像(步骤S405)。输出部263将第一3D模型的图像以及第二3D模型的图像建立对应关系，并使它们按照时间序列进行显示(步骤S406)。
确定部264确定出第一骨骼数据的推移与第二骨骼数据的推移之差在阈值以上的要素(步骤S407)。输出部265对与确定要素对应的3D模型的图像进行强调显示(步骤S408)。输出部265以图表显示第一骨骼数据的推移、第二骨骼数据的推移(步骤S409)。
接下来，对本实施例2的练习辅助装置200的效果进行说明。练习辅助装置200通过对与第一感测数据对应的第一骨骼数据的推移和与第二感测数据对应的第二骨骼数据的推移进行比较，确定多个要素中差分在规定值以上的要素。例如，该差分在规定值以上的要素与多个要素中选手10的招式失败的要素对应。练习辅助装置200以能够把握该确定出的要素的定时的方式生成显示画面，并进行显示。由此，用户能够容易地对失败的3D模型的图像、和成功的3D模型的图像进行比较。另外，通过图21的显示画面93那样的强调显示、图表显示，也能够容易地参照构成第一招式的多个要素中失败的要素的3D模型的图像、导致失败的骨骼的推移等。
实施例3
图24是表示本实施例3的练习辅助系统的一个例子的图。如图24所示，该练习辅助系统具有3D激光传感器50、照相机60、招式识别装置70、以及练习辅助装置300。其中，3D激光传感器50、照相机60、招式识别装置70相关的说明与图1所说明的相同。
在本实施例3中作为一个例子，设为选手10a在进行了第一招式的表演之后，体格与选手10a不同的其它的选手10b进行第一招式的表演。将选手10a进行的表演记为“第一表演”，并将选手10b进行的表演记为“第二表演”。对于第一表演以及第二表演来说，各选手10a、10b均进行同一第一招式的表演。另外，在本实施例3中作为一个例子，对选手10a、10b进行体操表演的情况进行说明，但也能够相同地应用于其它的打分比赛(花样滑冰等)。
练习辅助装置300与在实施例1说明的练习辅助装置100相同，对多个各要素的各个，将选手10a进行的表演的第一感测帧(第一3D模型)与选手10b进行的表演的第二感测帧(第二3D模型)建立对应关系，并按照时间序列进行显示。这里，练习辅助装置300根据选手10a的大小与选手10b的大小的差分，决定相对于第一3D模型的第二3D模型的大小，并根据决定的大小，显示第一3D模型、和第二3D模型。
图25是表示本实施例3的练习辅助装置显示的显示画面的一个例子的图。如图25所示，在该显示画面95中，包含显示区域95a、和显示区域95b。例如，假设在第一招式包含有第一要素、第二要素、···第m要素、第m+n要素。在显示区域95a显示有与第m要素对应的第一感测帧的3D模型。在显示区域95b显示有与第m要素对应的第二感测帧的3D模型。这里，显示于显示区域95b的选手10b的3D模型的大小被调整为与选手10a和选手10b的大小之差分对应的大小。例如，练习辅助装置300使显示区域95a的3D模型的规模与显示区域95b的3D模型的规模一致。
这样，由于练习辅助装置300使显示区域95a的3D模型的规模与显示区域95b的3D模型的规模一致进行显示，所以能够不管选手10a与选手10b的体格差的不同，而进行直观的表演的比较。
接着，对图24所示的练习辅助装置300的构成的一个例子进行说明。图26是表示本实施例3的练习辅助装置的构成的功能框图。如图26所示，该练习辅助装置300具有接口部310、通信部320、输入部330、显示部340、存储部350、以及控制部360。其中，接口部310、通信部320、输入部330、显示部340相关的说明与在图5进行说明的接口部110、通信部120、输入部130、显示部140相关的说明相同。
存储部350具有感测DB351、招式识别DB352、影像DB353、关节定义数据354、关节位置DB355、以及3D模型DB356。存储部350与RAM、ROM、闪存等半导体存储器元件，或者HDD等存储装置对应。
其中，感测DB351、招式识别DB352、影像DB353、关节定义数据354、关节位置DB355、以及3D模型DB356相关的说明与在图5进行说明的感测DB(Data Base：数据库)151、招式识别DB152、影像DB153、关节定义数据154、关节位置DB155、以及3D模型DB156相关的说明相同。
控制部360具有登记部361、3D模型生成部362、受理部363、确定部364、以及输出部365。能够通过CPU或者MPU等实现控制部360。另外，也能够通过ASIC等硬件逻辑实现控制部360。
登记部361从3D激光传感器50获取感测数据，并将获取的感测数据登记于感测DB351。登记部36在将感测数据(帧编号、感测帧)登记于感测DB351时，与表演识别编号建立对应关系。表演识别编号是经由输入部330等，由用户指定的编号。表演识别编号是唯一地识别选手10a或者选手10b进行的表演的数据。
登记部361从招式识别装置70获取识别结果数据，并将获取的识别结果数据登记于招式识别DB352。登记部361在将招式识别结果数据(帧编号、招式识别结果数据)登记于招式识别DB352时，与表演识别编号建立对应关系。表演识别编号是经由输入部330等，由用户指定的编号。
登记部361从照相机60获取影像数据，并将获取的影像数据登记于影像DB353。登记部361在将影像数据(帧编号、影像帧)登记于影像DB353时，与表演识别编号建立对应关系。表演识别编号是经由输入部330等，由用户指定的编号。
3D模型生成部362是基于感测DB351，生成与各表演识别编号的各帧编号对应的3D模型数据的处理部。3D模型生成部362将生成的3D模型数据登记于3D模型DB356。3D模型生成部362生成3D模型数据的处理与图5所示的3D模型生成部162的处理相同。
此外，3D模型生成部362除了3D模型生成部162的处理之外还执行下述的处理。3D模型生成部362经由输入部330等，获取选手10a的体型信息、和选手10b的体型信息。例如，选手的体型信息包含有表演识别编号、选手的识别信息、选手的身高、三围(例如，胸围、腰围、臀围)的信息。此外，3D模型生成部362也可以基于3D激光传感器50的感测数据，生成选手的身高、三围的信息。
3D模型生成部362计算选手10a的大小与选手10b的大小的差分，并根据计算出的差分，修正选手10b的3D模型数据的大小。例如，3D模型生成部362基于式(1)，计算差值。式(1)的α、β、γ、ε是预先设定的加权系数。
差值＝α|(选手10b的身高－选手10a的身高)×|β|(选手10b的胸围－选手10a的胸围)×|γ|(选手10b的腰围－选手10a的腰围)×|ε|(选手10b的臀围－选手10a的臀围)|···(1)
3D模型生成部362将选手10b的体型信息所包含的表演识别编号作为关键词，从3D模型DB356确定出选手10b的各帧编号的各骨骼数据。3D模型生成部362基于差值，修正各骨骼数据。例如，3D模型生成部362基于式(2)修正骨骼数据所包含的各关节间的长度。在式(2)中，在选手10b的体格比选手10a的体格大的情况下，差值的值越大，修正值X越为更小的值。另一方面，在选手10b的体格比选手10a的体格小的情况下，差值的值越大，修正值X越为更大的值。此外，3D模型生成部362也可以按照关节的组，变更修正值X。
修正后的关节间的长度＝修正前的关节间的长度×修正值X···(2)
3D模型生成部362通过上述处理，对与选手10b对应的各骨骼数据进行修正，之后基于修正后的各骨骼数据，再次生成3D模型数据，并通过生成的3D模型数据，更新与选手10b对应的3D模型数据。
受理部363是从输入部330等受理用户想要进行比较的两个表演所对应的两种表演识别编号的处理部。受理部363将受理的两种表演识别编号的信息输出给确定部364。例如，将用户想要进行比较的选手10a的表演设为“第一表演”，并将选手10b的表演设为“第二表演”。将与第一表演对应的表演识别编号设为“第一表演识别编号”，并将与第二表演对应的表演识别编号设为“第二表演识别编号”。
确定部364从受理部363，获取第一表演识别编号、和第二表演识别编号。例如，确定部364对招式识别DB352，参照与第一表演识别编号对应的各帧编号的招式识别结果数据，确定出分别代表构成第一表演的招式(第一招式)的多个要素的帧编号(以下，称为第一帧编号)。确定部364将第一表演识别编号、和确定出的多个第一帧编号输出给输出部365。
确定部364对招式识别DB352，参照与第二表演识别编号对应的各帧编号的招式识别结果数据，确定出分别代表构成第二表演的招式(第一招式)的多个要素的帧编号(以下，称为第二帧编号)。确定部364将第二表演识别编号、和确定出的多个第二帧编号输出给输出部365。
将与第一表演识别编号的多个第一帧编号对应的多个感测帧记为多个“第一感测帧”。将与第二表演识别编号的多个第二帧编号对应的多个感测帧记为多个“第二感测帧”。
输出部365是对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系，并使它们按照时间序列显示于显示部340的处理部。
输出部365生成在图25说明的显示画面95的信息，并输出给显示部340。例如，假设构成第一表演以及第二表演的要素包含“要素A、要素B、要素C、···”。
输出部365将多个第一感测帧中与要素A对应的第一感测帧的帧编号作为关键词，从3D模型DB356检测与对应的第一3D模型数据。输出部365将假想视线数据作为基准，生成从假想视线观察到的第一3D模型数据的图像，并设置于显示区域95a。例如，显示区域95a的第一3D模型数据与选手10a对应。
输出部365将多个第二感测帧中与要素A对应的第二感测帧的帧编号作为关键词，从3D模型DB356检测对应的第二3D模型数据。输出部365将假想视线数据作为基准，生成从假想视线观察到的第二3D模型数据的图像，并设置于显示区域95b。例如，显示区域95b的第二3D模型数据与选手10b对应。
基于选手10a的大小、和选手10b的大小的差分，修正显示区域95b的第二3D模型数据的大小，在图25所示的例子中，各3D模型的大小大致相同。
输出部365通过也对其它的要素“要素B、要素C、···”反复执行上述处理，在显示区域95a显示有与“要素B、要素C、···”对应的第一3D模型数据。另外，在显示区域95b显示有与“要素B、要素C、···”对应的第二3D模型数据。输出部365使显示于显示区域95a的第一3D模型数据的要素与显示于显示区域95b的第二3D模型数据的要素同步。
接下来，对本实施例3的练习辅助装置300的处理顺序的一个例子进行说明。图27是表示本实施例3的练习辅助装置的处理顺序的流程图。如图27所示，练习辅助装置300的受理部363受理成为比较对象的第一表演识别编号、第二表演识别编号(步骤S501)。
练习辅助装置300的确定部364根据在第一表演中(与第一表演识别编号对应的第一表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第一感测帧(步骤S502)。
确定部364根据在第二表演中(与第二表演识别编号对应的第二表演中)测量出的感测数据确定出分别代表构成第一招式的多个要素的多个第二感测帧(步骤S503)。
练习辅助装置300的输出部365对多个要素的各个，将多个第一感测帧与多个第二感测帧建立对应关系(步骤S504)。
练习辅助装置300的3D模型生成部362生成第一选手的3D模型数据、和第二选手的3D模型数据(步骤S505)。例如，将第一选手设为选手10a，并将第二选手设为选手10b。3D模型生成部362计算第一选手的大小与第二选手的大小的差分(步骤S506)。3D模型生成部362基于差分，修正与第二选手对应的3D模型数据的大小(步骤S507)。
受理部363受理假想视线数据，输出部365生成从假想视线观察到的第一3D模型的图像以及第二3D模型的图像(步骤S508)。输出部365将第一3D模型的图像以及第二3D模型的图像建立对应关系，并使它们按照时间序列进行显示(步骤S509)。
接下来，对本实施例3的练习辅助装置300的效果进行说明。练习辅助装置300与在实施例1进行说明的练习辅助装置100相同，对多个各要素的各个，将选手10a进行的表演的第一感测帧(第一3D模型)与选手10b进行的表演的第二感测帧(第二3D模型)建立对应关系，并按照时间序列进行显示。这里，练习辅助装置300根据选手10a的大小与选手10b的大小的差分，决定相对于第一3D模型的第二3D模型的大小，并以决定的大小显示第一3D模型、和第二3D模型。例如，练习辅助装置300使在图25进行说明的显示区域95a的3D模型的规模与显示区域95b的3D模型的规模一致进行显示，所以能够不管选手10a与选手10b的体格差的不同，而进行直观的表演的比较。
此外，在上述实施例1～3中，作为一个例子，对选手10、10a、10b进行体操项目的鞍马的情况进行了说明，但练习辅助装置100、200、300也能够相同地对自由体操、吊环、双杆、单杠、跳马、高低杠、平衡木等执行处理。
这里，对实现与在本实施例进行说明的练习辅助装置100(200、300)相同的功能的计算机的硬件构成的一个例子进行说明。图28是表示实现与练习辅助装置相同的功能的计算机的硬件构成的一个例子的图。
如图28所示，计算机400具有执行各种运算处理的处理器(例如，CPU401)、受理来自用户的数据的输入的输入装置402、以及显示器403。另外，计算机400具有从存储介质读取程序等的读取装置404、和经由无线网络在与其它的计算机之间进行数据的授受的接口装置405。另外，计算机400具有暂时存储各种信息的RAM406、和硬盘装置407。而且，各装置401～407与总线408连接。
硬盘装置407具有3D模型生成程序407a、受理程序407b、确定程序407c、以及输出程序407d。CPU401读出3D模型生成程序407a、受理程序407b、确定程序407c、以及输出程序407d并展开在RAM406。
3D模型生成程序407a作为3D模型生成工序406a发挥作用。受理程序407b作为受理工序406b发挥作用。确定程序407c作为确定工序406c发挥作用。输出程序407d作为输出工序406d发挥作用。
3D模型生成工序406a的处理与3D模型生成部162、262、362的处理对应。受理工序406a的处理与受理部163、263、363的处理对应。确定工序406c的处理与确定部164、264、364的处理对应。输出工序406d的处理与输出部165、265、365的处理对应。
此外，各程序407a～407d也可以并不一定从最初开始使其存储于硬盘装置407。例如，也可以使各程序存储于插入到计算机400的软盘(FD)、CD－ROM、DVD盘、光磁盘、IC卡等“可携带的物理介质”。然后，由计算机400读出各程序407a～407d并执行。
附图标记说明
100、200、300…练习辅助装置，162、262、362…3D模型生成部，163、263、363…受理部，164、264、364…确定部，165、265、365…输出部。

Claims (13)

1.一种练习辅助程序，其特征在于，
使计算机执行以下处理，即
根据在第一招式的表演中测量出的第一感测数据，确定分别代表构成上述第一招式的多个要素的多个第一帧，
根据在上述第一招式的其它的表演中测量出的第二感测数据，确定分别代表构成上述第一招式的上述多个要素的多个第二帧，
对上述多个要素的至少一个，将上述多个第一帧与上述多个第二帧建立对应关系，并进行显示。
2.根据权利要求1所述的练习辅助程序，其特征在于，
上述第一感测数据以及上述第二感测数据是从距离图像传感器得到的具有被拍摄体的三维信息的数据，上述进行显示的处理对从指定的假想视线观察到的上述多个要素的至少一个将上述多个第一帧与上述多个第二帧建立对应关系，并进行显示。
3.根据权利要求2所述的练习辅助程序，其特征在于，
上述进行显示的处理针对与上述多个要素中的特定的要素对应的上述多个第一帧中的第一帧、和上述多个第二帧中的第二帧，基于与各自对应的骨骼数据，以能够把握姿势的差分的方式进行显示。
4.根据权利要求3所述的练习辅助程序，其特征在于，
上述第一感测数据是指导前的上述第一招式的表演相关的数据，上述第二感测数据是指导后的上述第一招式的表演相关的数据。
5.根据权利要求3所述的练习辅助程序，其特征在于，
还使计算机执行对上述多个第一帧中的第一帧受理进行追加显示的位置的输入，确定上述多个第二帧中的作为与上述第一帧对应的帧的第二帧，并确定与上述第一帧中受理的进行追加显示的位置对应的上述第二帧中的位置的处理，上述进行显示的处理将追加显示重叠地显示在确定出的上述第二帧中的位置。
6.根据权利要求2所述的练习辅助程序，其特征在于，
还使计算机执行基于与上述第一感测数据对应的第一骨骼数据的推移、和与上述第二感测数据对应的第二骨骼数据的推移，确定上述多个要素中上述第一骨骼数据与上述第二骨骼数据的差分在规定值以上的要素的处理，上述进行显示的处理以能够把握确定出的上述要素的定时的方式进行显示。
7.根据权利要求6所述的练习辅助程序，其特征在于，
上述进行显示的处理将上述第一骨骼数据的推移与上述第二骨骼数据的推移合并显示在一个图表。
8.根据权利要求2所述的练习辅助程序，其特征在于，
上述进行显示的处理针对上述多个要素中的第一要素、和上述第一要素的下一个的第二要素，基于与上述第一要素对应的上述多个第一帧中的帧和与上述第二要素对应的上述多个第一帧中的帧之间的帧数，以能够把握上述第一要素与上述第二要素之间的时间间隔的方式进行显示。
9.根据权利要求2所述的练习辅助程序，其特征在于，
还使计算机执行根据上述第一感测数据所涉及的第一表演者的大小与上述第二感测数据所涉及的第二表演者的大小的差分，决定相对于上述第一表演者的三维模型的、上述多个第二帧各自中的上述第二表演者的三维模型的大小的处理，上述进行显示的处理以决定的大小，显示上述第一表演者的三维模型和上述第二表演者的三维模型。
10.根据权利要求9所述的练习辅助程序，其特征在于，
上述第一表演者与上述第二表演者是不同的表演者。
11.根据权利要求1～10中任意一项所述的练习辅助程序，其特征在于，
对上述多个要素的各个，将上述多个第一帧与上述多个第二帧建立对应关系，并按照时间序列进行显示。
12.一种练习辅助方法，是计算机执行的练习辅助方法，其特征在于，
执行以下处理，即
根据在第一招式的表演中测量出的第一感测数据，确定分别代表构成上述第一招式的多个要素的多个第一帧，
根据在上述第一招式的其它的表演中测量出的第二感测数据，确定分别代表构成上述第一招式的上述多个要素的多个第二帧，
对上述多个要素的至少一个，将上述多个第一帧与上述多个第二帧建立对应关系，并进行显示。
13.一种练习辅助系统，是具有传感器和练习辅助装置的练习辅助系统，其特征在于，具有：
确定部，其根据通过上述传感器，在第一招式的表演中测量出的第一感测数据，确定分别代表构成上述第一招式的多个要素的多个第一帧，并根据通过上述传感器，在上述第一招式的其它的表演中测量出的第二感测数据，确定分别代表构成上述第一招式的上述多个要素的多个第二帧；以及
显示部，其对上述多个要素的至少一个，将上述多个第一帧与上述多个第二帧建立对应关系，并进行显示。
CN201780094312.5A 2017-09-01 2017-09-01 练习辅助程序、练习辅助方法以及练习辅助系统 Pending CN111050863A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/031672 WO2019043928A1 (ja) 2017-09-01 2017-09-01 練習支援プログラム、練習支援方法および練習支援システム

Publications (1)

Publication Number Publication Date
CN111050863A true CN111050863A (zh) 2020-04-21

Family

ID=65527313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094312.5A Pending CN111050863A (zh) 2017-09-01 2017-09-01 练习辅助程序、练习辅助方法以及练习辅助系统

Country Status (5)

Country Link
US (1) US20200193866A1 (zh)
EP (1) EP3677320A4 (zh)
JP (1) JPWO2019043928A1 (zh)
CN (1) CN111050863A (zh)
WO (1) WO2019043928A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527520A (zh) * 2017-12-27 2020-08-11 富士通株式会社 提取程序、提取方法以及信息处理装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD883328S1 (en) * 2018-09-14 2020-05-05 Fujitsu Limited Display screen with icons
USD879149S1 (en) * 2018-09-14 2020-03-24 Fujitsu Limited Display screen with icons
USD884741S1 (en) * 2018-09-14 2020-05-19 Fujitsu Limited Display screen with icons
USD884742S1 (en) * 2018-09-14 2020-05-19 Fujitsu Limited Display screen with icons
USD892863S1 (en) * 2018-09-14 2020-08-11 Fujitsu Limited Display screen with icons
USD880527S1 (en) * 2018-09-14 2020-04-07 Fujitsu Limited Display screen with icons
USD881237S1 (en) * 2018-09-14 2020-04-14 Fujitsu Limited Display screen with icons
USD931897S1 (en) * 2019-09-27 2021-09-28 Fujitsu Limited Display screen with icons
WO2022003963A1 (ja) * 2020-07-03 2022-01-06 富士通株式会社 データ生成方法、データ生成プログラムおよび情報処理装置
US20220261984A1 (en) * 2021-02-18 2022-08-18 Collectors Universe, Inc. Methods and apparatus for grading images of collectables using image segmentation and image analysis
JP1724355S (ja) * 2021-03-31 2022-09-09 トレーニング支援用画像
JP1724444S (ja) * 2021-03-31 2022-09-09 トレーニング支援用画像
JPWO2023157500A1 (zh) * 2022-02-18 2023-08-24

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229109A (ja) * 2003-01-24 2004-08-12 Is Engineering:Kk 動作分析装置及び方法並びに記録媒体
CN103888643A (zh) * 2012-12-21 2014-06-25 卡西欧计算机株式会社 信息报知装置、信息报知方法
CN104766045A (zh) * 2014-01-07 2015-07-08 富士通株式会社 评价方法和评价装置
CN104766044A (zh) * 2014-01-07 2015-07-08 富士通株式会社 评估方法和评估设备
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法
JP2015186531A (ja) * 2014-03-26 2015-10-29 国立大学法人 東京大学 動作情報処理装置、及びプログラム
JP2016063867A (ja) * 2014-09-22 2016-04-28 カシオ計算機株式会社 描画装置、描画方法及びプログラム
CN106794371A (zh) * 2014-10-10 2017-05-31 富士通株式会社 技能判定程序、技能判定方法、技能判定装置以及服务器
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264088A (ja) 2009-05-15 2010-11-25 Rakuraku Service:Kk 健康増進プログラム
JP5424841B2 (ja) * 2009-12-08 2014-02-26 ダンロップスポーツ株式会社 ゴルフスイング診断システム
US8696450B2 (en) * 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
JP6249078B2 (ja) 2016-11-10 2017-12-20 カシオ計算機株式会社 再生制御装置、再生制御方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004229109A (ja) * 2003-01-24 2004-08-12 Is Engineering:Kk 動作分析装置及び方法並びに記録媒体
CN103888643A (zh) * 2012-12-21 2014-06-25 卡西欧计算机株式会社 信息报知装置、信息报知方法
CN104766045A (zh) * 2014-01-07 2015-07-08 富士通株式会社 评价方法和评价装置
CN104766044A (zh) * 2014-01-07 2015-07-08 富士通株式会社 评估方法和评估设备
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法
JP2015186531A (ja) * 2014-03-26 2015-10-29 国立大学法人 東京大学 動作情報処理装置、及びプログラム
JP2016063867A (ja) * 2014-09-22 2016-04-28 カシオ計算機株式会社 描画装置、描画方法及びプログラム
CN106794371A (zh) * 2014-10-10 2017-05-31 富士通株式会社 技能判定程序、技能判定方法、技能判定装置以及服务器
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527520A (zh) * 2017-12-27 2020-08-11 富士通株式会社 提取程序、提取方法以及信息处理装置

Also Published As

Publication number Publication date
EP3677320A1 (en) 2020-07-08
JPWO2019043928A1 (ja) 2020-07-30
EP3677320A4 (en) 2020-09-16
WO2019043928A1 (ja) 2019-03-07
US20200193866A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN111050863A (zh) 练习辅助程序、练习辅助方法以及练习辅助系统
US11645872B2 (en) Scoring method, scoring apparatus, and recording medium
US8314840B1 (en) Motion analysis using smart model animations
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US20200179759A1 (en) Display method, information processing apparatus, and computer-readable recording medium
CN105229666A (zh) 3d图像中的运动分析
KR101979750B1 (ko) 댄스 트레이닝 콘텐츠 저작 시스템
JP7011416B2 (ja) 検出装置、検出システム、処理装置及び検出プログラム
TWI537767B (zh) 可調體感範圍之多人指引系統與其方法
JPWO2019130527A1 (ja) 抽出プログラム、抽出方法および情報処理装置
CN111480178B (zh) 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统
JPWO2018211571A1 (ja) 演技表示プログラム、演技表示方法および演技表示装置
US20220165012A1 (en) Personalized avatar for movement analysis and coaching
CN112288766A (zh) 运动评估方法、装置、系统及存储介质
EP4151291A1 (en) Information processing device, information processing method, and program
US11837255B2 (en) Display method, computer-readable recording medium recording display program, and information processing apparatus
US20220143485A1 (en) Display method, non-transitory computer-readable storage medium, and information processing apparatus
JP7419969B2 (ja) 生成方法、生成プログラムおよび情報処理装置
Ciliberto et al. Complex human gestures encoding from wearable inertial sensors for activity recognition.
US20240144500A1 (en) Data conversion device, moving image conversion system, data conversion method, and recording medium
WO2024105991A1 (en) Information processing apparatus, information processing method, and program
Kaewplee et al. Muay Thai posture classification using skeletal data from kinect and k-nearest neighbors
JP2020185370A (ja) スイング解析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421

RJ01 Rejection of invention patent application after publication