CN111480178B - 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统 - Google Patents

存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统 Download PDF

Info

Publication number
CN111480178B
CN111480178B CN201780097633.0A CN201780097633A CN111480178B CN 111480178 B CN111480178 B CN 111480178B CN 201780097633 A CN201780097633 A CN 201780097633A CN 111480178 B CN111480178 B CN 111480178B
Authority
CN
China
Prior art keywords
unit
motion
name
stationary
skill
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780097633.0A
Other languages
English (en)
Other versions
CN111480178A (zh
Inventor
矢吹彰彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111480178A publication Critical patent/CN111480178A/zh
Application granted granted Critical
Publication of CN111480178B publication Critical patent/CN111480178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

技巧识别装置(100)基于规定的规则，将按时间序列获取到的包含实施一连串的表演的被拍摄体的三维骨骼信息分节为多个单元。技巧识别装置(100)判别与多个单元中的第一单元对应的姿势运动是具有表示被拍摄体静止的特征的第一运动、还是与第一运动不同的第二运动。技巧识别装置(100)基于与第一单元对应的判别结果、以及对与第一单元连续的第二单元中的移动运动的种类进行识别的识别结果，来确定与至少包含第一单元以及第二单元的组合对应的技巧。

Description

存储技巧识别程序的存储介质、技巧识别方法以及技巧识别 系统
技术领域
本发明涉及存储技巧识别程序的存储介质等。
背景技术
在各种评分比赛中，为了公平并且准确地评价选手的表演，这些年来人们进行了许多努力、改革。但是，最近的比赛的技术显著进步，也存在仅通过评委的目视观察很难进行准确的评价的情况。因此，希望自动地评价选手的表演的技术。
例如，有一种从二维轮廓图像中检测关键姿势，根据检测出的各关键姿势的组合来识别技巧，并进行技巧的评分的现有技术。
专利文献1:日本特开2015－116308号公报
非专利文献1:J.Shin and S.Ozawa,“A Study on Motion Analysis of anArtistic Gymnastics by using Dynamic Image Processing,”IEEE InternationalConference on Systems,Man and Cybernetics,pp.1037-1040,2008
然而，在上述的现有技术中，存在未识别静止运动以及移动运动而进行技巧的评价的问题。
在选手进行的表演中包含多个技巧。另外，技巧的种类根据多个单元的运动的种类的组合来识别。例如，在某个单元中进行“X”运动时，技巧的种类根据前面的运动是静止运动“Y”、还是移动运动“Z”而不同，且技巧的难度、技巧的评价项目不同。
因此，在识别技巧的情况下，需要识别与姿势运动对应的单元是静止运动、还是移动运动，并结合之前的单元与后面的连续的单元中的移动运动的种类来识别技巧。
发明内容
在一个侧面，本发明的目的在于，提供一种能够识别包含静止运动以及移动运动的技巧的技巧识别程序、技巧识别方法以及技巧识别系统。
在第一方案中，使计算机执行以下的处理。计算机获取由3D激光传感器传感检测到的包含实施一连串的表演的被拍摄体的距离图像信息。计算机按时间序列获取从距离图像信息得到的被拍摄体的三维骨骼信息。计算机基于规定的规则，将按时间序列获取到的三维骨骼信息分节为多个单元。计算机针对与多个单元中的第一单元对应的姿势运动，判别是具有表示被拍摄体静止的特征的第一运动，还是与第一运动不同的第二运动。计算机基于与第一单元对应的判别结果、以及对与第一单元连续的第二单元中的移动运动的种类进行识别的识别结果，来确定与至少包含第一单元以及第二单元的组合对应的技巧。
能够识别包含静止运动以及移动运动的技巧。
附图说明
图1是表示本实施例的技巧识别系统的一个例子的图。
图2是表示技巧的构成例的图。
图3是表示本实施例的技巧识别装置的结构的功能框图。
图4是表示本实施例的距离图像DB的数据结构的一个例子的图。
图5是表示本实施例的关节定义数据的数据结构的一个例子的图。
图6是表示本实施例的关节位置DB的数据结构的一个例子的图。
图7是表示本实施例的骨骼DB的数据结构的一个例子的图。
图8是表示本实施例的技巧识别DB的数据结构的一个例子的图。
图9是表示本实施例的技巧识别表的数据结构的一个例子的图。
图10是表示本实施例的成立条件表的数据结构的一个例子的图。
图11是用于对静止运动名称与静止运动成立条件的关系的一个例子进行说明的图。
图12是表示各静止运动的一个例子的图。
图13是表示移动运动名称与移动运动成立条件的关系的一个例子的图。
图14是表示吊环的器械位置与移动量的关系的图。
图15是用于对本实施例的判别部的处理进行说明的图(1)。
图16是用于对本实施例的判别部的处理进行说明的图(2)。
图17是用于对本实施例的技巧确定部的处理进行说明的图。
图18是表示本实施例的图表信息的一个例子的图。
图19是表示本实施例的技巧识别装置的处理过程的流程图。
图20是用于对设定分节区间的另一个例子进行说明的图。
图21是表示跳马的各分节区间的姿势运动的一个例子的图。
图22是表示实现与技巧识别装置相同的功能的计算机的硬件结构的一个例子的图。
具体实施方式
以下，基于附图对本申请所公开的技巧识别程序、技巧识别方法以及技巧识别系统的实施例进行详细说明。此外，并不是通过本实施例限定本发明。
图1是表示本实施例的技巧识别系统的一个例子的图。如图1所示，该技巧识别系统具有3D(3dimension)激光传感器20、和技巧识别装置100。技巧识别装置100与3D激光传感器20连接。
3D激光传感器20是对比赛者10进行3D传感检测的传感器。3D激光传感器20将成为传感检测结果的距离图像数据输出至技巧识别装置100。
例如，距离图像数据包含多个距离图像帧，并为各距离图像帧按升序赋予单一识别帧的帧编号。在各距离图像帧中，包含从3D激光传感器20到比赛者10上的各点的距离信息。
比赛者10在3D激光传感器20的前方，进行成为评分对象的规定的表演。在本实施例中，作为一个例子，对比赛者10进行体操表演的情况进行说明，但对于其它评分比赛也能够同样地应用。
例如，其它的评分比赛包括蹦床、跳水、花样滑冰、空手道、交谊舞、单板滑雪、滑板、空中滑雪、冲浪。另外，也可以应用于古典芭蕾、跳台滑雪、猫跳滑雪的空气、转弯、棒球、篮球的姿势检查等。另外，也可以应用于剑道、柔道、摔跤、相扑等比赛。进一步，也能够应用于举重的杠铃是否举起的评价。
体操是连续的运动，在连续的运动中连续地存在多个技巧。另外，在体操的开始或者进行时，有时候存在不属于技巧的“连接”的运动的情况。在体操的表演中，评委通过观察技巧、构成技巧的基本运动的姿势、技巧的间隙的姿势，来判断技巧的成立与否、技巧的完成度，并进行评价。
在这里，所谓的“姿势”表示头部、躯干、四肢的相对的位置关系。在本实施例中，作为一个例子，将在技巧的间隙等应保持静止状态的姿势记作“静止运动”。将移动的某个姿势记作“移动运动”。例如，通过“静止运动”的种类和“移动运动”的种类的组合，来确定技巧。
图2是表示技巧的构成例的图。在图2所示的例子中，比赛者(比赛者10)依次执行技巧A1、A2、A3、A4、A5。图2的横向的箭头表示时间流。技巧A1为“后摆向上中成水平支撑～上水平支撑(2秒)”。技巧A2为“翻转卷身上中成水平支撑(2秒)”。技巧A3为“后摆向上成十字倒立”。技巧A4为“屈伸Yamawaki”。技巧A5为“后摆向上中成水平支撑(2秒)”。
在这里，在比赛者进行技巧A1～A5的过程中，比赛者的姿势运动包含多个分节姿势。分节姿势表示比赛者的移动暂时静止的姿势。在图2所示的例子中，在时刻Ta1、Ta2、Ta3、Ta4、Ta5、Ta6、Ta7、Ta8、Ta9、Ta10，比赛者成为分节姿势。例如，在本实施例中说明的姿势运动表示后述的“通过的分节姿势”、“经过的分节姿势”、“静止的分节姿势”中的任意一个姿势。
此外，分节姿势根据连续地静止的时间被分类为“通过的分节姿势”、“静止的分节姿势”中的任意一个。例如，在连续地静止的时间小于第一阈值(例如，0.5秒)的情况下，成为通过的分节姿势。在图2中，时刻Ta1、Ta4、Ta6、Ta8、Ta9下的分节姿势成为通过的分节姿势。
在图2中，时刻Ta2、Ta3、Ta5、Ta7、Ta10下的分节姿势成为静止的分节姿势。此外，也可以进一步设置第二阈值，除了通过的分节姿势、静止的分节姿势以外，还设定“经过的分节姿势”。例如，将连续地静止的时间为第一阈值以上、并且小于第二阈值(2秒)的姿势设为经过的分节姿势。将连续地静止的时间为第二阈值以上的姿势设为静止的分节姿势。
返回到图1的说明。技巧识别装置100是基于从3D激光传感器20获取的距离图像数据，生成比赛者10的骨骼信息，并识别由比赛者10进行的技巧的装置。
图3是表示本实施例的技巧识别装置的结构的功能框图。如图3所示，该技巧识别装置100具有接口部110、通信部120、输入部130、显示部140、存储部150、控制部160。
接口部110与3D激光传感器20连接。接口部110从3D激光传感器20获取距离图像数据，并将获取到的距离图像数据输出至控制部160。虽然在本实施例中省略说明，但接口部110也可以与拍摄比赛者10的映像的照相机连接，并从该照相机获取映像数据。
通信部120是经由网络与其它装置进行数据通信的装置。通信部120对应于通信装置。技巧识别装置100也可以经由网络与3D激光传感器20连接。此时，通信部120经由网络从3D激光传感器20获取距离图像数据。
输入部130是用于向技巧识别装置100输入各种信息的输入装置。输入部130对应于键盘、鼠标、触摸面板等。
显示部140是显示从控制部160输出的显示画面的信息的显示装置。显示部140对应于液晶显示器、触摸面板等。
存储部150具有距离图像DB(Data Base)151、关节定义数据152、关节位置DB153、骨骼DB154、技巧识别DB155。存储部150对应于RAM(Random Access Memory：随机存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储元件、HDD(HardDisk Drive：硬盘驱动器)等存储装置。
距离图像DB151是储存从3D激光传感器20a获取的距离图像数据的DB。图4是表示本实施例的距离图像DB的数据结构的一个例子的图。如图4所示，该距离图像DB151对记录ID、帧编号、以及距离图像帧建立对应关系。记录ID(Identification)是单一识别由比赛者10进行的一连串的表演的信息。帧编号是单一识别与相同的记录ID对应的各帧(距离图像帧)的编号，按升序分配编号。距离图像帧是包含于由3D激光传感器20传感检测出的距离图像数据的帧。
关节定义数据152定义比赛者(比赛者10)的各关节位置。图5是表示本实施例的关节定义数据的数据结构的一个例子的图。如图5所示，该关节定义数据152存储对由公知的骨骼模型确定的各关节进行编号的信息。例如，如图5所示，对右肩关节(SHOULDER_RIGHT)赋予7号，对左肘关节(ELBOW＿LEFT)赋予5号，对左膝关节(KNEE＿LEFT)赋予11号，对右髋关节(HIP＿RIGHT)赋予14号。在这里，在本实施例中，有将8号的右肘关节的X坐标记载为X8、将Y坐标记载为Y8、将Z坐标记载为Z8的情况。此外，虚线的数字是即使从骨骼模型中确定出也不利用于评分的关节等。
关节位置DB153是储存基于3D激光传感器20的距离图像数据生成的比赛者10的各关节的位置数据的DB。图6是表示本实施例的关节位置DB的数据结构的一个例子的图。如图6所示，该关节位置DB153对记录ID、帧编号、以及“X0，Y0，Z0、…、X17，Y17，Z17”建立对应关系。与记录ID相关的说明与在距离图像DB151中进行的说明相同。
在图6中，帧编号是单一识别与相同的记录ID对应的各距离图像帧的编号。“X0，Y0，Z0、…、X17，Y17，Z17”是各关节的XYZ坐标，例如“X0、Y0、Z0”是图5所示的0号的关节的三维坐标。
图6示出了记录ID“P101”的距离图像数据中的各关节的时间序列的变化，在帧编号“1”中，示出各关节的位置为“X0＝100，Y0＝20，Z0＝0、…、X17＝200，Y17＝40，Z17＝5”。而且，在帧编号“2”中，示出各关节的位置移动至“X0＝101，Y0＝25，Z0＝5、…、X17＝202，Y17＝39，Z17＝15”。
骨骼DB154是储存基于距离图像数据生成的比赛者的骨骼的信息的DB。图7是表示本实施例的骨骼DB的数据结构的一个例子的图。如图7所示，该骨骼DB154对记录ID、帧编号、以及骨骼数据建立对应关系。与记录ID、帧编号相关的说明与在距离图像DB151中进行的说明相同。骨骼数据是表示通过连接各关节位置而推断的比赛者10的骨骼的数据。
技巧识别DB155是识别比赛者10进行的表演所包含的技巧(静止运动、移动运动)的情况下所使用的DB。图8是表示本实施例的技巧识别DB的数据结构的一个例子的图。如图8所示，该技巧识别DB155具有技巧识别表155a、和成立条件表155b。
技巧识别表155a是保持用于识别技巧的各种信息的表。图9是表示本实施例的技巧识别表的数据结构的一个例子的图。如图9所示，该技巧识别表155a对技巧名称、组、以及成立条件建立对应关系。技巧名称是单一识别技巧的名称。组是表示与技巧名称对应的技巧所述的组。
成立条件是表示技巧成立的静止运动名称以及移动运动名称。静止运动以及移动运动的成立条件根据成立条件表155b来定义。另外，对多个项目的每一个设定有静止运动以及移动运动成立的条件，将各项目适当地记作“评价项目”。
图10是表示本实施例的成立条件表的数据结构的一个例子的图。如图10所示，成立条件表155a具有表170a以及表170b。
表170a对静止运动名称和静止运动成立条件建立对应关系。静止运动名称表示单一确定静止运动的名称。静止运动成立条件表示静止运动成立的条件。以下，对静止运动名称与静止运动成立条件的关系的一个例子进行说明。
图11是用于对静止运动名称与静止运动成立条件的关系的一个例子进行说明的图。例如，各静止运动与静止运动成立条件建立对应关系。在静止运动成立条件中，包含多个评价项目。图11所示的静止运动成立条件的评价项目为“脊椎角度”、“臀部角度”、“臂角度”、“肘角度”、“膝盖角度”。静止运动成立条件也可以包含其它评价项目。
脊椎角度(Spine_Angle of an incline)是通过0号关节以及2号关节的线段与Z轴所成的角度。
臀部角度(Hip_Angle between body)是通过0号关节以及1号关节的线段与通过10号关节以及11号关节的线段所成的角度。或者，臀部角度是通过0号关节以及1号关节的线段与通过14号关节以及15号关节的线段所成的角度。
臂角度(Arm_Angle between body)是通过1号关节以及2号关节的线段与通过4号关节以及5号关节的线段的角度。另外，臂角度是通过1号关节以及2号关节的线段与通过7号关节以及8号关节的线段所成的角度。
肘角度(Elbow_Angle)是通过4号关节以及5号关节的线段与通过5号关节以及6号关节的线段所成的角度。另外，肘角度是通过关节7号以及8号关节的线段与通过8号关节以及9号关节的线段所成的角度。
膝盖角度(Knee_Angle)是通过10号关节以及11号关节的线段与通过11号关节以及12号关节的线段所成的角度。另外，膝盖角度是通过14号关节以及15号关节的线段与通过15号关节以及16号关节的线段所成的角度。
膝盖间隔角度(Knees_sep.Angle)是通过10号关节以及11号关节的线段与通过14号关节以及15号关节的直线所成的角度。
例如，在图11所示的例子中，在满足脊椎角度为“θA1以下”、臀部角度为“θA2以上”、臂角度为“θA31～θA32”、肘角度为“θA4以上”、膝盖角度为“θA5以上”这样的各成立条件的全部的情况下，静止运动名称“静止运动S1”的技巧成立。
图12是表示各静止运动的一个例子的图。图12所示的静止运动(或者，一部分)也对应于在图2等中说明的“通过的分节姿势”、“经过的分节姿势”、“静止的分节姿势”。例如，如图12所示，静止运动包含hang、inv.hang、piked_inv.hang、hang_rw、support、L-sit、straddle_L-sit、straddle_L-sit_sup.a.r.、V-sit、handstand、cross、L-cross、V-cross、inv._cross。另外，静止运动中包含planche、straddled_planche、swallow、inv._swallow、back_lever、front_lever。此外，在图12中，Y－Z表示比赛者的YZ平面。X－Z表示比赛者的XZ平面。
返回到图10的说明。表170b对移动运动名称、和移动运动成立条件建立对应关系。移动运动名称表示单一确定移动运动的名称。移动运动成立条件表示移动运动成立的条件。
图13是表示移动运动名称与移动运动成立条件的关系的一个例子的图。移动运动名称表示单一确定移动运动的名称。移动运动成立条件定义用于对应的移动运动成立的各关节位置的推移以及基于各关节位置的角度的推移。
例如，移动运动成立条件包含“结束分节姿势名称”、“开始分节姿势名称”、“特征量”等评价项目。结束分节姿势名称是单一表示进行相应的移动运动之前的分节姿势的名称。开始分节姿势名称是单一表示开始接着相应的移动运动进行的姿势运动的时刻的分节姿势的名称。特征量是与比赛者进行相应的移动运动时的旋转数、转体数、臂姿势、身体姿势等对应的移动运动的特征。
返回到图3的说明。控制部160具有获取部161、提取部162、分节部163、判别部164、技巧确定部165、以及输出部166。控制部160能够由CPU(Central Processing Unit：中央处理器)、MPU(Micro Processing Unit：微处理单元)等来实现。另外，控制部160也能够通过ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等硬连线逻辑来实现。
获取部161从3D激光传感器20获取距离图像数据，并将获取到的距离图像数据登录至距离图像DB151。获取部161在将距离图像数据(帧编号、距离图像帧)登录至距离图像DB151时，对记录ID建立对应关系。记录ID例如被赋予至距离图像数据。用户也可以操作输入部130来输入与距离图像数据对应的距离ID。
提取部162进行按时间序列提取比赛者10的各关节的位置数据的处理、按时间序列生成骨骼数据的处理。
对提取部162按时间序列提取比赛者10的各关节的位置数据的处理的一个例子进行说明。提取部162对距离图像DB151的距离图像帧和关节定义数据152进行比较，确定帧所包含的各关节的种类以及关节的三维坐标。提取部162将对记录ID、帧编号、各关节的种类的三维坐标建立有对应关系的信息登录至关节位置DB153。提取部162按每个帧编号反复执行上述的处理。
对提取部162按时间序列生成骨骼数据的处理的一个例子进行说明。提取部162基于关节位置DB153，生成与各帧编号对应的骨骼数据。提取部162将所生成的骨骼数据与记录ID、帧编号建立对应关系，并储存至骨骼DB154。
例如，提取部162通过基于关节定义数据153中定义的连接关系连接关节位置DB153中储存的各关节的三维坐标，来生成骨骼数据。
分节部163是从骨骼DB154依次获取比赛者10的骨骼数据，并基于规定的规则将获取到的骨骼数据分节为多个单元的处理部。分节部163将分节结果输出至判别部164。
以下，对分节部163的处理的一个例子进行说明。分节部163基于前后的骨骼数据，分别计算比赛者10的移动量、水平摇动、关节位置的变化的总和∑。
分节部163基于式(1)，计算从帧编号n一1到帧编号n的比赛者10的移动量S。例如，在比赛者10进行吊环的比赛的情况下，移动量S相当于吊环的器械位置的移动量。
[式1]
S＝sqrt{(JRx(n)-JRx(n-1))2+(JRy(n)-JRy(n-1))2+(JRz(n)-JRz(n-1))2}…(1)
分节部163将比赛者10的双手臂位置的中点“JR”设为器械位置。中点JR通过式(2)来表示。在式(2)中，J6表示比赛者10的6号关节的三维坐标。J9表示比赛者10的9号关节的三维坐标。
[式2]
JR＝(J6+J9)/2…(2)
图14是表示吊环的器械位置与移动量的关系的图。在图14中，若将帧编号n-1的器械位置设为JR(n-1)、将帧编号n的器械位置设为JR(n)，则移动量S为器械位置JR(n)与JR(n-1)的差值的绝对值。若将JR(n)的三维坐标设为(JRX(n)，JRY(n)，JRZ(n))、将JR(n-1)的三维坐标设为(JRX(n-1)，JRY(n-1)，JRZ(n-1))，则移动量S通过上述的式(1)来表示。
分节部163通过式(3)、式(4)来计算比赛者10的水平摇动。式(3)表示比赛者10的X轴方向的晃动Fx，为累积JRX(n)所得的值。式(4)表示比赛者10的Y轴方向的晃动Fy，为累积JRY(n)所得的值。
[式3]
Fx＝(JRx(n)的累积)…(3)
[式4]
Fy＝(JRy(n)的累积)…(4)
分节部163基于式(5)计算比赛者10的关节位置的变化的总和∑。式(5)的σx、σy、σx通过式(6)、(7)、(8)来计算。
[式5]
∑＝sqrt(σx2+σy2+σz2)…(5)
[式6]
[式7]
[式8]
式(6)表示X轴方向上的从帧编号n－1到帧编号n的比赛者10的各关节位置的移动量，除去了器械的移动的影响。式(7)表示Y轴方向上的从帧编号n－1到帧编号n的比赛者10的各关节位置的移动量，除去了器械的移动的影响。式(8)表示Z轴方向上的从帧编号n－1到帧编号n的比赛者10的各关节位置的移动量，除去了器械的移动的影响。
在式(6)～(8)中，J iX(n)，J iY(n)，J iZ(n)表示帧编号n中的比赛者10的i号关节的三维坐标。J iX(n－1)，J iY(n－1)，J iZ(n－1)表示帧编号n－1中的比赛者10的i号关节的三维坐标。式(6)～(8)表示将器械位置J R视为原点的情况下的比赛者10的三维坐标的移动量。
例如，分节部163基于帧编号n－1的骨骼数据和帧编号n的骨骼数据，通过式(5)，来计算总和Σ，在计算出的总和Σ的值小于阈值的情况下，将帧编号n的时机判定为分节的时机。分节部163在帧编号n～n+m期间，总和Σ的值连续地小于阈值的情况下，将帧编号n～n+m的区间判定为“分节区间”。在总和Σ的值小于阈值的情况下，意味着比赛者10静止。
此外，分节部163除了上述的总和Σ为阈值以上的条件以外，也可以将由式(3)、(4)求出的比赛者10的水平揺动加到条件中，来判定分节的时机。
另外，分节部163在帧编号n～n+m期间的帧编号n+l，总和Σ的值为阈值以上，在其它帧编号，总和Σ的值小于阈值的情况下，也可以将帧编号n～n+m的区间判定为“分节区间”。
分节部163通过基于各帧编号的骨骼数据，按时间序列反复执行上述处理，来判定成为分节的时机的帧编号以及分节区间。分节部163将成为分节的时机的帧编号以及分节区间的信息作为分节结果，输出至判别部164。
另外，分节部163将关节位置的变化的总和Σ的信息、比赛者10的X轴方向的晃动Fx的信息、比赛者10的Y轴方向的晃动Fy的信息依次输出至输出部166。
判别部164基于分节部163的分节结果，将按时间序列排列的骨骼数据分割为多个单元。判别部164判别多个单元所包含的分节姿势是通过的分节姿势、经过的分节姿势、还是静止的分节姿势。判别部164将判别结果输出至技巧确定部165。
图15是用于对本实施例的判别部的处理进行说明的图(1)。例如，在图15中，横轴表示时间轴。另外，将基于分节部163的分节结果的分节区间分别设为T n－1、T n、T n+1。判别部164基于分节区间，将骨骼数据分割为多个基本单元。
判别部164将从前一个分节区间的结束时刻到下一个分节区间的结束时刻的区间设为基本单元，将骨骼数据分割为多个单元。在图15中，例如，判别部164将从开始时刻到分节区间T n－1的结束时刻的区间设为基本单元U n－1。判别部164将从分节区间T n－1的结束时刻到分节区间Tn的结束时刻的区间设为基本单元U n。判别部164将从分节区间T n的结束时刻到分节区间T n+1的结束时刻的区间设为基本单元U n+1。
接着，判别部164基于分节区间的时间长度，判别分节区间中的分节姿势是通过的分节姿势、经过的分节姿势、还是静止的分节姿势。
在分节区间的时间长度小于第一时间长度的情况下，判别部164将分节区间的分节姿势判别为“通过的分节姿势”。在分节区间的时间长度为第一时间长度以上、且小于第二时间长度的情况下，判别部164将分节区间的分节姿势判别为“经过的分节姿势”。在分节区间的时间长度为第二时间长度以上的情况下，判别部164将分节区间的分节姿势判别为“静止的分节姿势”。在本实施例中，作为一个例子，将第一时间长度设为“0.5s”，将第二时间长度设为“2.0s”。
例如，在图15中，若分节区间T n－1的时间长度为第二时间长度以上，则分节区间Tn－1中的比赛者10的姿势运动为静止的分节姿势。若分节区间T n的时间长度为第二时间长度以上，则分节区间T n中的比赛者10的姿势运动为静止的分节姿势。若分节区间T n+1的时间长度为第二时间长度以上，则分节区间T n+1中的比赛者10的姿势运动为静止的分节姿势。
判别部164将与分节区间的起点以及终点对应的帧编号、和分节区间中的分节姿势的种类建立有对应关系的信息，输出至技巧确定部165。另外，判别部164将与基本单元的起点以及终点对应的帧编号输出至技巧确定部165。
另外，判别部164也可以根据分节区间的种类，对基本单元进行修正。例如，判别部164在分节区间的种类为“经过的分节姿势”的情况下，对前后的基本单元进行统合。图16是用于对本实施例的判别部的处理进行说明的图(2)。例如，若分节区间T n’的时间长度小于第一时间长度，则分节区间T n’中的比赛者10的姿势运动为通过的分节姿势。此时，判别部164在分节区间T n’的前后，不分割基本单元，将分节区间T n’包含于基本单元Un。
判别部164将基本单元的信息、分节区间的信息作为判别结果，输出至技巧确定部165。例如，基本单元的信息包含在图15等中说明的各基本单元的开始时刻以及结束时刻(帧编号)。分节区间的信息包含各分节区间的开始时刻以及结束时刻(帧编号)。另外，分节区间的信息包含分节区间是“通过的分节区间”、“经过的分节区间”、还是“静止的分节区间”的信息。
返回到图3的说明。技巧确定部165为基于判别部164的判别结果，按每个基本单元，确定技巧的处理部。基本单元中包含有移动运动以及姿势运动。技巧确定部165基于移动运动的种类以及姿势运动的种类的组合，来确定与基本单元对应的技巧。
技巧确定部165基于基本单元的开始时刻以及结束时刻、和分节区间的开始时刻以及结束时刻，将基本单元分割为识别移动运动的种类的单元、和识别分节姿势的种类的单元。在以下的说明中，将识别移动运动的种类的单元适当地记作“移动运动区间”。将识别分节姿势的种类的单元记作“分节区间”。
图17是用于对本实施例的技巧确定部的处理进行说明的图。在图17所示的例子中，基本单元U n－1包含移动运动区间t n－1、分节区间T n－1。基本单元Un包含移动运动区间tn、和分节区间T n。基本单元U n+1包含移动运动区间t n+1、和分节区间T n+1。
技巧确定部165基于与移动运动区间对应的骨骼数据、和技巧识别DB155(表170b)，确定移动运动区间所包含的移动运动的种类。技巧确定部165根据与移动运动区间对应的骨骼数据的特征是否与表170b的任一个的移动运动成立条件对应，来确定移动运动名称。技巧确定部165为了判定移动运动名称，如在图13中说明的那样，确定“结束分节姿势名称”、“开始分节姿势名称”、“特征量”。
对技巧确定部165确定结束分节姿势名称的处理的一个例子进行说明。技巧确定部165作为结束分节姿势名称，确定移动运动区间之前的分节姿势名称(静止运动名称)。例如，若将移动运动区间的开始时刻的帧编号设为n，则对帧编号n－1的骨骼数据和由表170a定义的静止运动成立条件进行比较，确定静止运动名称。确定出的静止运动名称为图12所示的静止运动的任意一个。
例如，对于根据帧编号n－1的骨骼数据求出的各评价项目，满足脊椎角度为“θA1以下”、臀部角度为“θA2以上”、臂角度为“θA31～θA32”、肘角度为“θA4以上”、膝盖角度为“θA5以上”这样的各成立条件的全部。在该情况下，由于静止运动名称“静止运动S1”的技巧成立，所以技巧确定部165将“静止运动S1”确定为结束分节姿势名称。
技巧确定部165对确定开始分节姿势名称的处理的一个例子进行说明。技巧确定部165作为开始分节姿势名称，确定开始分节区间(开始姿势运动)的时刻的分节姿势名称(静止运动名称)。例如，若将分节区间的开始时刻的帧编号设为n，则对帧编号n的骨骼数据和表170a中定义的静止运动成立条件进行比较，来确定静止运动名称。确定出的静止运动名称为图12所示的静止运动的任意一个。
对技巧确定部165确定特征量的处理的一个例子进行说明。技巧确定部165基于移动运动区间所包含的骨骼数据，来确定比赛者10的旋转数、转体数、臂姿势、身体姿势，并将确定出的信息设为特征量。例如，臂姿势对应于“伸臂、屈臂”等，身体姿势对应于“直体、屈伸、团身”等。另外，技巧确定部165在计算特征量的情况下，也可以将移动运动区间所包含的移动数据的三维坐标修正为以器械的中点为原点的三维坐标，并使用修正后的三维坐标，来计算特征量。
技巧确定部165通过进行上述的处理，来确定结束分节姿势名称、开始分节姿势名称、特征量。技巧确定部165通过对确定出的结束分节姿势名称、开始分节姿势名称、特征量的组与表170b的移动运动成立条件进行比较，来确定相应的移动运动名称。
另一方面，在不存在与结束分节姿势名称以及开始分节姿势名称对应的静止运动名称(分节姿势名称)的情况下，技巧确定部165将移动运动区间的移动运动设为不认可。另外，在不存在与结束分节姿势名称、开始分节姿势名称、特征量的组对应的移动运动成立条件的情况下，技巧确定部165也将移动运动区间的移动运动设为不认可。
技巧确定部165基于与分节区间对应的骨骼数据、以及技巧识别DB155(表170a)，确定分节区间所包含的分节姿势(静止运动)的种类。技巧确定部165根据与分节区间对应的骨骼数据的特征是否对应于表170a的任意一个静止运动成立条件，来确定分节姿势名称(静止运动名称)。
例如，技巧确定部165确定从分节区间的开始时刻到结束时刻的帧编号中的任意一个帧编号。技巧确定部165对与确定出的帧编号对应的骨骼数据和表170a中定义的静止运动成立条件进行比较，来确定静止运动名称。确定出的静止运动名称为图12所示的静止运动的任意一个。
技巧确定部165通过进行上述的处理，来确定同一基本单元所包含的移动运动区间的移动运动名称与分节区间的静止运动名称的组。另外，技巧确定部165区分与分节区间对应的分节姿势(静止运动)是“经过的分节姿势”、还是“静止的分节姿势”。
技巧确定部165对同一基本单元所包含的移动运动区间的移动运动名称以及分节区间的静止运动名称、和技巧识别表155a的成立条件进行比较，并将与成立条件对应的技巧名称确定为比赛者10在基本单元中进行的技巧。
在这里，对与移动运动名称以及静止运动名称(分节区间的姿势运动的种类)相应的技巧的一个例子进行说明。例如，在基本单元的移动运动名称是“直臂直体卷身上”，且静止的静止运动名称为“十字悬垂(2秒)”的情况下，技巧确定部165将这样的基本单元的技巧确定为“直臂直体卷身上成十字悬垂”。
在基本单元的移动运动名称为“翻转卷身上”，静止的静止运动名称为“倒立(2秒)”的情况下，技巧确定部165将这样的基本单元的技巧确定为“翻转卷身上成倒立”。
在基本单元的移动运动为“不认可”，且静止的静止运动名称为“十字悬垂(2秒)”的情况下，技巧确定部165将这样的基本单元的技巧确定为“十字悬垂”。
在基本单元的移动运动名称为“伸臂翻转卷身上”，且经过的静止运动名称为“倒立”的情况下，技巧确定部165将这样的基本单元的技巧确定为“伸臂翻转卷身上成倒立经过”。
基本运动中包含有移动运动和移动运动之后的多个静止运动，该组合为“组合1”。在该情况下，由于连续的静止运动名称相同，所以技巧确定部165将对移动运动D1附加有静止的静止运动S1的名称作为基本单元的技巧的名称。此外，若静止运动名称相同，则不管在移动运动之后进行的静止运动的个数如何，技巧的名称都相同。
组合1：“移动运动名称D1”+经过的“静止运动名称S1”+通过的“静止运动名称S1”+静止的“静止运动名称S1”＝技巧名称“移动运动名称D1+静止运动名称S1”的技巧成立。
基本运动中包含有移动运动、和移动运动之后的多个静止运动，该组合为“组合2”。如组合2那样，在经过的静止运动之后，姿势成为其它姿势，且再次成为原来的静止运动的情况下，技巧确定部165将静止运动名称设为基本单元的技巧的名称。
组合2：“移动运动名称D1”+经过的“静止运动名称S1”+“其它的静止运动名称(姿势偏移)”+静止的“静止运动名称S1”＝技巧名称“静止运动名称S1”的技巧成立。
基本运动中包含有移动运动、和移动运动之后的多个静止运动，该组合为“组合3”。如组合3那样，在通过的静止运动之后，姿势成为其它姿势，并再次成为原来的静止运动的情况下，技巧确定部165将移动运动名称D1上附加有静止运动名称的名称设为基本单元的技巧的名称。
组合3：“移动运动名称D1”+通过的“静止运动名称S1”+“其它静止运动名称(姿势偏移)”+静止的“静止运动名称S1”＝技巧名称“移动运动名称D1+静止运动名称S1”的技巧成立。
技巧确定部165对每个基本单元反复执行上述处理，并确定每个基本单元的技巧名称。技巧确定部165将与基本单元对应的技巧名称依次输出至输出部166。另外，技巧确定部165将比赛者10的特征量的信息依次输出至输出部166。
在这里，技巧识别装置100在确定技巧名称的情况下，实时地执行处理。例如，技巧确定部165在图17中，在移动运动区间t n+1结束的时刻，确定移动运动区间t n+1的移动运动名称。技巧识别装置100在分节区间T n－1结束的时刻，确定静止运动名称，并根据移动运动名称和静止运动名称的组合，来确定基本单元U n－1的技巧的名称。技巧确定部165相同地在移动运动区间t n和分节区间T n结束的时刻，确定基本单元U n的技巧的名称。技巧确定部165在移动运动区间t n+1和分节区间T n+1结束的时刻，确定基本单元U n+1的技巧的名称。
输出部166是在接受到技巧确定部165确定的技巧名称的情况下，将技巧名称的信息输出至显示部140并显示的处理部。
另外，输出部166生成显示比赛者10的骨骼数据的特征量的时间推移、关节位置的变化的总和Σ、比赛者10的X方向、Y方向的晃动Fx、Fy的时间变化的图表信息，并将所生成的图表信息输出至显示部140并显示。在本实施例中，作为一个例子，将骨骼数据的特征量设为比赛者10的旋转角度、腰角度、上臂角度。
图18是表示本实施例的图表信息的一个例子的图。在图18的图表55中，横轴表示时间轴(帧编号)。纵轴是与角度、或者总和Σ、晃动Fx、Fy的值对应的轴。在图18中，线段50是表示通过式(6)计算的、关节位置的变化的总和Σ的时间变化的线段。线段50a是用于判定比赛者10是否静止的阈值。在线段50小于阈值50a期间，表示比赛者10静止。
线段51a表示晃动Fx的时间变化。线段51b表示晃动Fy的时间变化。线段52a表示比赛者10的旋转角度，在前转的情况下取正值，在后转的情况下取负值。线段52b表示比赛者10的腰角度。线段52c表示比赛者10的上臂角度。图18所示的骨骼数据的特征量(线段52a、52b、52c的时间变化)是对应于技巧“翻转卷身上成倒立”的特征量。
例如，裁判通过参照图18所示的图表，来确认关节位置的变化的总和Σ是否低于阈值(线段50a)，从而能够在静止运动“倒立”时，确认比赛者10是否静止。
接下来，本实施例的技巧识别装置100的处理顺序的一个例子进行说明。图19是表示本实施例的技巧识别装置的处理过程的流程图。如图19所示，技巧识别装置100的获取部161从3D激光传感器20获取距离图像数据(步骤S101)。技巧识别装置100的提取部162对距离图像数据进行解析，并提取比赛者10的骨骼数据(步骤S102)。
技巧识别装置100的分节部163判定分节区间(步骤S103)。技巧识别装置100的判别部164判定针对分节区间的姿势运动是通过、经过、静止的哪一个(步骤S104)。判别部164将骨骼数据分割为基本单元(步骤S105)。
技巧识别装置100的技巧确定部165判定基本单元所包含的移动运动的种类、姿势运动的种类(步骤S106)。技巧确定部165判定与移动运动的种类和姿势运动的种类的组合对应的技巧(步骤S107)。技巧识别装置100的输出部166将技巧的判定结果输出至显示部140(步骤S108)。
接下来，对本实施例的技巧识别装置100的效果进行说明。技巧识别装置100基于比赛者10的姿势运动是否静止，确定至分节区间。另外，技巧识别装置100对每个包含移动运动区间、和分节区间的基本单元，分割时间序列的骨骼数据，并根据移动运动区间的移动运动的种类和分节区间的静止运动的种类的组来确定技巧。由此，在需要考虑比赛者10的姿势是否静止之后识别一个技巧的评分比赛中，可以识别由多个单元动作构成的技巧。
技巧识别装置100将比赛者10的关节位置的变化的总和Σ小于阈值的区间设为分节区间，并根据分节区间的时间长度，区分分节区间所包含的静止运动是通过的静止运动、经过的静止运动、还是静止的静止运动。由此，能够适当地识别与分节区间的静止运动的种类相应的技巧的名称。
此外，在使用器械的表演(吊环、双杠、蹦床)中，有由于比赛者10悬挂、或者骑着，而器械本身振动的情况。此时，即使比赛者10静止，也将器械本身的振动算到按时间序列依次获取到的骨骼数据的关节位置的推移中。
另一方面，由于比赛者10悬挂或者骑着，除了器械本身的振动以外，比赛者10自身也会摆动，从而器械晃动的情况下，优选识别为比赛者10的晃动，并将其反映在技巧的成立、表现上。
在这里，技巧识别装置100在评价比赛者10的姿势的情况下，将比赛者10的骨骼数据的三维坐标修正为以器械的中心位置为基准的三维坐标，并基于修正后的三维坐标，评价比赛者10的姿势。由此，根据技巧识别装置100，能够除去器械本身的振动的影响，适当地评价比赛者10的姿势。
然而，在上述的实施例中，作为一个例子，将比赛者10进行的表演设为吊环，通过式(6)所示的，关节位置的变化的总和Σ的值与阈值的比较，来设定分节区间，并确定姿势运动，但并不限定于此。例如，如后述那样，在吊环以外的评分比赛中，也同样能够判定技巧。以下，对技巧识别装置100判定进行跳马的比赛者的技巧的处理的一个例子进行说明。
图20是用于对设定分节区间的另一个例子进行说明的图。在图20所示的例子中，比赛者15进行跳马。技巧识别装置100使用评价函数Σ1、评价函数Σ2、评价函数Σ3，来设定多个分节区间。将评价函数Σ1、评价函数Σ2、评价函数Σ3定义如下。
评价函数Σ1确定在比赛者15处于起跳台面16时，进行起跳的瞬间的姿势运动的时机Tb1。例如，在评价函数Σ1的值≤TH1的分节区间，包含进行起跳的瞬间的姿势运动。
评价函数Σ1是将比赛者15的12号关节以及16号关节的Z坐标值设为取样值，并求出帧编号n的取样值与帧编号n－1的取样值的变化的评价函数。但是，在比赛者15的12号关节以及16号关节的Y坐标值包含于起跳台面16的区间16a期间，应用评价函数Σ1。
评价函数Σ2确定比赛者15处于跳马台面17时，支撑成立的时机Tb2。例如，在评价函数Σ2的值≤TH2的分节区间，包含支撑成立的瞬间的姿势运动。
评价函数Σ2是将比赛者15的6号关节以及9号关节的Z坐标值设为取样值，并求出帧编号n的取样值与帧编号n－1的取样值的变化的评价函数。但是，在比赛者15的6号关节以及9号关节的Y坐标包含于跳马台面17的区间17a期间，应用评价函数Σ2。
评价函数Σ3确定比赛者15落到垫子18的瞬间的姿势运动的时机Tb3。例如，在评价函数Σ3的值≤TH3的分节区间，包含落地的瞬间的姿势运动。
评价函数Σ3是将比赛者15的12号关节以及16号关节的Z坐标值作为取样值，并求出帧编号n的取样值与帧编号n－1的取样值的变化的评价函数。但是，在比赛者15的12号关节以及16号关节的Y坐标包含于垫子18的区间18a期间，应用评价函数Σ3。
图21是表示跳马的各分节区间的姿势运动的一个例子的图。例如，技巧识别装置100在评价函数Σ1的值≤TH1的分节区间的时间长度为0.1秒以上的情况下，判定在该分节区间是否包含姿势运动take-off、round-off。
技巧识别装置100在评价函数Σ2的值≤TH2的分节区间的时间长度为0.1秒以上的情况下，判定在该分节区间是否包含姿势运动support_F、support_B、support_S。
技巧识别装置100在评价函数Σ3的值≤TH3的分节区间的时间长度为0.5秒以上的情况下，判定在该分节区间是否包含姿势运动landing_F、landing_B。
此外，在图20中，时机Tb1至Tb2期间、以及Tb2至Tb3期间为移动运动区间。技巧识别装置100与上述的技巧确定部165的处理相同地确定移动运动区间的移动运动的种类。
技巧识别装置100基于如上述那样确定出的各姿势运动的种类与移动运动的种类的组合，来确定进行跳马的比赛者15的技巧。在这里，作为一个例子，对确定跳马的技巧的情况进行了说明，但对于其它的评分比赛，也同样能够确定技巧。
接下来，对实现与在本实施例中说明的技巧识别装置100相同的功能的计算机的硬件结构的一个例子进行说明。图22是表示实现与技巧识别装置相同的功能的计算机的硬件结构的一个例子的图。
如图22所示，计算机200具有执行各种运算处理的CPU201、接受来自用户的数据的输入的输入装置202、以及显示器203。另外，计算机200具有从存储介质读取程序等的读取装置204、以及经由无线网络与其他计算机之间进行数据的收发的接口装置205。另外，计算机200具有临时存储各种信息的RAM206、以及硬盘装置207。而且，各装置201～207与总线208连接。
硬盘装置207具有获取程序207a、提取程序207b、分节程序207c、判别程序207d、技巧确定程序207e、输出程序207f。CPU201读出获取程序207a、提取程序207b、分节程序207c、判别程序207d、技巧确定程序207e、输出程序207f并在RAM206中展开。
获取程序207a作为获取工序206a发挥作用。提取程序207b作为提取工序206b发挥作用。分节程序207c作为分节工序206c发挥作用。判别程序207d作为判别工序206d发挥作用。技巧确定程序207e作为技巧确定工序206e发挥作用。输出程序207f作为输出工序206f发挥作用。
获取工序206a的处理对应于获取部161的处理。提取工序206b的处理对应于提取部162的处理。分节工序206c的处理对应于分节部163的处理。判别工序206d的处理对应于判别部164的处理。技巧确定工序206e的处理对应于技巧确定部165的处理。输出工序206f的处理对应于输出部165的处理。
此外，各程序207a～207f也可以未必最初就存储于硬盘装置207。例如，将各程序存储于被插入计算机200的软盘(FD)、CD－ROM、DVD、光磁盘、IC卡等“便携式物理介质”。而且，计算机200也可以读出各程序207a～207f并执行。
附图标记说明
20…3D激光传感器；100…技巧识别装置；110…接口部；120…通信部；130…输入部；140…显示部；150…存储部；151…距离图像DB；152…关节定义数据；153…关节位置DB；154…骨骼DB；155…技巧识别DB；160…控制部；161…获取部；162…提取部；163…分节部；164…判别部；165…技巧确定部；166…输出部。

Claims (15)

1.一种储存技巧识别程序的存储介质，其特征在于，
上述技巧识别程序使计算机执行如下处理：
获取由3D激光传感器传感检测出的包含实施一连串的表演的被拍摄体的距离图像信息；
按时间序列获取从上述距离图像信息中获得的上述被拍摄体的三维骨骼信息；
将上述距离图像信息的时间轴基于根据按上述时间序列获取到的上述三维骨骼信息计算出的上述被拍摄体的各关节位置的移动量分段为多个单元；
在上述多个单元中的第一单元中，基于上述三维骨骼信息以及将静止运动名称和静止运动成立条件建立对应关系的存储于存储部的表来识别根据上述移动量判别为具有表示上述被拍摄体静止的特征的姿势运动亦即静止运动的静止运动名称；以及
基于上述三维骨骼信息以及将移动运动名称和移动运动成立条件建立对应关系的存储于上述存储部的表来识别与上述第一单元连续的第二单元中的移动运动的移动运动名称，基于将技巧名称和包含静止运动名以及移动运动名的成立条件建立对应关系的存储于上述存储部的表来决定与至少包含在上述第一单元中识别出的静止运动名以及在上述第二单元中识别出的移动运动名称的组合对应的技巧名称。
2.根据权利要求1所述的存储介质，其特征在于，
和与上述姿势运动对应的上述第一单元连续的上述第二单元是上述第一单元的前面的单元。
3.根据权利要求1所述的存储介质，其特征在于，
在上述表演是使用器械的表演的情况下，将上述被拍摄体的三维骨骼信息修正为以上述器械的位置为基准的三维骨骼信息，并基于修正后的三维骨骼信息，识别上述姿势运动是上述静止运动还是上述移动运动。
4.根据权利要求1、2或3所述的存储介质，其特征在于，
基于在时间序列上连续的前后的各三维骨骼信息的关节位置的变化小于阈值的期间，来识别上述姿势运动是上述静止运动还是上述移动运动。
5.根据权利要求4所述的存储介质，其特征在于，
使计算机进一步执行如下处理：
生成对上述关节位置的时间序列变化和器械的位置的时间序列变化建立有对应关系的可视的画面信息，并显示所生成的上述画面信息。
6.一种技巧识别方法，其特征在于，
计算机执行如下处理：
获取由3D激光传感器传感检测出的包含实施一连串的表演的被拍摄体的距离图像信息；
按时间序列获取从上述距离图像信息中获得的上述被拍摄体的三维骨骼信息；
将上述距离图像信息的时间轴基于根据按上述时间序列获取到的上述三维骨骼信息计算出的上述被拍摄体的各关节位置的移动量分段为多个单元；
在上述多个单元中的第一单元中，基于上述三维骨骼信息以及将静止运动名称和静止运动成立条件建立对应关系的存储于存储部的表来识别根据上述移动量判别为具有表示上述被拍摄体静止的特征的姿势运动亦即静止运动的静止运动名称；以及
基于上述三维骨骼信息以及将移动运动名称和移动运动成立条件建立对应关系的存储于上述存储部的表来识别与上述第一单元连续的第二单元中的移动运动的移动运动名称，基于将技巧名称和包含静止运动名称以及移动运动名称的成立条件建立对应关系的存储于上述存储部的表来决定与至少包含在上述第一单元中识别出的静止运动名称以及在上述第二单元中识别出的移动运动名称的组合对应的技巧名称。
7.根据权利要求6所述的技巧识别方法，其特征在于，
和与上述姿势运动对应的上述第一单元连续的上述第二单元是上述第一单元的前面的单元。
8.根据权利要求6所述的技巧识别方法，其特征在于，
在上述表演是使用器械的表演的情况下，将上述被拍摄体的三维骨骼信息修正为以上述器械的位置为基准的三维骨骼信息，并基于修正后的三维骨骼信息，来识别上述姿势运动是上述静止运动还是上述移动运动。
9.根据权利要求6、7或者8所述的技巧识别方法，其特征在于，
基于在时间序列上连续的前后的各三维骨骼信息的关节位置的变化小于阈值的期间，来识别上述姿势运动是上述静止运动还是上述移动运动。
10.根据权利要求9所述的技巧识别方法，其特征在于，
上述技巧识别方法还执行：
生成对上述关节位置的时间序列变化和器械的位置的时间序列变化建立有对应关系的可视的画面信息，并显示所生成的上述画面信息处理。
11.一种技巧识别系统，其特征在于，
上述技巧识别系统包含3D激光传感器、和技巧识别装置，
上述3D激光传感器通过对实施一连串的表演的被拍摄体进行传感检测，来生成距离图像信息，
上述技巧识别装置具有：
获取部，从上述3D激光传感器获取上述距离图像信息；
分段部，按时间序列获取从上述距离图像信息中获得的上述被拍摄体的三维骨骼信息，并将上述距离图像信息的时间轴基于根据按上述时间序列获取到的上述三维骨骼信息计算出的上述被拍摄体的各关节位置的移动量分段为多个单元；
判别部，在上述多个单元中的第一单元中，基于上述三维骨骼信息以及将静止运动名称和静止运动成立条件建立对应关系的存储于存储部的表来识别根据上述移动量判别为具有表示上述被拍摄体静止的特征的姿势运动亦即静止运动的静止运动名称，基于上述三维骨骼信息以及将移动运动名称和移动运动成立条件建立对应关系的存储于上述存储部的表来识别与上述第一单元连续的第二单元中的移动运动的移动运动名称，
技巧确定部，基于将技巧名称和包含静止运动名称以及移动运动名称的成立条件建立对应关系的存储于上述存储部的表来决定与至少包含在上述第一单元中识别出的静止运动名称以及在上述第二单元中识别出的移动运动名称的组合对应的技巧名称。
12.根据权利要求11所述的技巧识别系统，其特征在于，
和与上述姿势运动对应的上述第一单元连续的上述第二单元是上述第一单元的前面的单元。
13.根据权利要求11所述的技巧识别系统，其特征在于，
在上述表演是使用器械的表演的情况下，上述判别部将上述被拍摄体的三维骨骼信息修正为以上述器械的位置为基准的三维骨骼信息，并基于修正后的三维骨骼信息，来识别上述姿势运动是上述静止运动还是上述移动运动。
14.根据权利要求11、12或者13所述的技巧识别系统，其特征在于，
上述判别部基于在时间序列上连续的前后的各三维骨骼信息的关节位置的变化小于阈值的期间，来识别上述姿势运动是上述静止运动还是上述移动运动。
15.根据权利要求14所述的技巧识别系统，其特征在于，
还具有输出部，上述输出部生成对上述关节位置的时间序列变化和器械的位置的时间序列变化建立有对应关系的可视的画面信息，并显示所生成的上述画面信息。
CN201780097633.0A 2017-12-14 2017-12-14 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统 Active CN111480178B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/044897 WO2019116495A1 (ja) 2017-12-14 2017-12-14 技認識プログラム、技認識方法および技認識システム

Publications (2)

Publication Number Publication Date
CN111480178A CN111480178A (zh) 2020-07-31
CN111480178B true CN111480178B (zh) 2024-02-20

Family

ID=66819075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097633.0A Active CN111480178B (zh) 2017-12-14 2017-12-14 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统

Country Status (5)

Country Link
US (1) US11776134B2 (zh)
EP (1) EP3726468A4 (zh)
JP (1) JP6943294B2 (zh)
CN (1) CN111480178B (zh)
WO (1) WO2019116495A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7248137B2 (ja) * 2019-09-30 2023-03-29 富士通株式会社 評価方法、評価プログラムおよび情報処理装置
WO2021064963A1 (ja) * 2019-10-03 2021-04-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
CN114467113A (zh) * 2019-10-03 2022-05-10 富士通株式会社 运动识别方法、运动识别程序以及信息处理装置
CN114846511A (zh) * 2020-01-24 2022-08-02 富士通株式会社 运动识别方法、运动识别程序以及信息处理装置
CN116963808A (zh) 2021-04-01 2023-10-27 富士通株式会社 技巧识别方法、技巧识别装置以及体操评分支援系统
CN113486708B (zh) * 2021-05-24 2022-03-25 浙江大华技术股份有限公司 人体姿态预估方法、模型训练方法、电子设备和存储介质
WO2023243095A1 (ja) * 2022-06-17 2023-12-21 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227750A (zh) * 2009-07-31 2011-10-26 松下电器产业株式会社 移动体检测装置及移动体检测方法
CN103155003A (zh) * 2010-10-08 2013-06-12 松下电器产业株式会社 姿势估计装置及姿势估计方法
JP2013200867A (ja) * 2012-02-23 2013-10-03 Tokyo Kogei Univ アニメーション作成装置、カメラ
CN103688233A (zh) * 2011-09-15 2014-03-26 欧姆龙株式会社 姿势识别装置及其控制方法、程序、电子设备及记录介质
CN103688232A (zh) * 2011-09-15 2014-03-26 欧姆龙株式会社 姿势识别装置及其控制方法、程序、电子设备及记录介质
KR101519775B1 (ko) * 2014-01-13 2015-05-12 인천대학교 산학협력단 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2016035941A1 (ko) * 2014-09-05 2016-03-10 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CN107249455A (zh) * 2015-02-17 2017-10-13 日本电信电话株式会社 逐次姿势识别装置及植物性神经功能信息取得装置、方法和程序
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014565B2 (en) * 2005-08-26 2011-09-06 Sony Corporation Labeling used in motion capture
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
KR101908284B1 (ko) * 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
US20150206409A1 (en) 2012-07-27 2015-07-23 Adelaide Research & Innovation Pty Ltd System, method, software application and data signal for determining movement
JP6091407B2 (ja) 2013-12-18 2017-03-08 三菱電機株式会社 ジェスチャ登録装置
JP6384549B2 (ja) * 2014-10-10 2018-09-05 富士通株式会社 スキル判定プログラム、スキル判定方法およびスキル判定装置
KR101576106B1 (ko) 2014-10-14 2015-12-10 순천향대학교 산학협력단 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법
JP6596309B2 (ja) * 2015-11-11 2019-10-23 株式会社東芝 分析装置および分析方法
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227750A (zh) * 2009-07-31 2011-10-26 松下电器产业株式会社 移动体检测装置及移动体检测方法
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CN103155003A (zh) * 2010-10-08 2013-06-12 松下电器产业株式会社 姿势估计装置及姿势估计方法
CN103688233A (zh) * 2011-09-15 2014-03-26 欧姆龙株式会社 姿势识别装置及其控制方法、程序、电子设备及记录介质
CN103688232A (zh) * 2011-09-15 2014-03-26 欧姆龙株式会社 姿势识别装置及其控制方法、程序、电子设备及记录介质
JP2013200867A (ja) * 2012-02-23 2013-10-03 Tokyo Kogei Univ アニメーション作成装置、カメラ
KR101519775B1 (ko) * 2014-01-13 2015-05-12 인천대학교 산학협력단 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
WO2016035941A1 (ko) * 2014-09-05 2016-03-10 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
CN107249455A (zh) * 2015-02-17 2017-10-13 日本电信电话株式会社 逐次姿势识别装置及植物性神经功能信息取得装置、方法和程序
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing》;SHIN, JEONGEUN et al.;《IEICE Technical Report- International Conference on Systems》;20080515;全文 *

Also Published As

Publication number Publication date
US11776134B2 (en) 2023-10-03
EP3726468A4 (en) 2020-12-16
EP3726468A1 (en) 2020-10-21
CN111480178A (zh) 2020-07-31
US20200302617A1 (en) 2020-09-24
WO2019116495A1 (ja) 2019-06-20
JPWO2019116495A1 (ja) 2020-11-26
JP6943294B2 (ja) 2021-09-29

Similar Documents

Publication Publication Date Title
CN111480178B (zh) 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统
US10923224B2 (en) Non-transitory computer-readable recording medium, skill determination method, skill determination device and server
CN109863535B (zh) 运动识别装置、存储介质以及运动识别方法
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
US20200193866A1 (en) Non-transitory computer readable recording medium, practice assist method, and practice assist system
WO2021051579A1 (zh) 形体姿态识别方法、系统、装置及存储介质
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
CN106572816B (zh) 步行解析系统和记录有步行解析程序的记录介质
CN105229666A (zh) 3d图像中的运动分析
CN111093782A (zh) 评分方法、评分程序以及评分装置
US20150092981A1 (en) Apparatus and method for providing activity recognition based application service
CN111514584B (zh) 游戏控制方法及装置、游戏终端及存储介质
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
CN111241359A (zh) 显示方法、信息处理设备和计算机可读记录介质
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
CN113856186A (zh) 一种引体向上动作判定与计数的方法、系统及装置
JP3403363B2 (ja) ３次元連続動作の検定装置
CN108833671A (zh) 电子装置的跌落检测方法及相关产品
JP2019036151A (ja) 評価装置、評価方法および評価プログラム
JP6465419B2 (ja) 測定装置及び測定方法
WO2024005183A1 (ja) ランニングフォーム評価システム、プログラム及び方法
WO2022208859A1 (ja) 技認識方法、技認識装置および体操採点支援システム
JP7272470B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
CN114005175A (zh) 一种吊环运动评分装置、方法、系统及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant