CN111263953A - 动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序 - Google Patents

动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序 Download PDF

Info

Publication number
CN111263953A
CN111263953A CN201780096144.3A CN201780096144A CN111263953A CN 111263953 A CN111263953 A CN 111263953A CN 201780096144 A CN201780096144 A CN 201780096144A CN 111263953 A CN111263953 A CN 111263953A
Authority
CN
China
Prior art keywords
subject
state
image
motion
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780096144.3A
Other languages
English (en)
Other versions
CN111263953B (zh
Inventor
武市一成
田川武弘
品山亮太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asics Corp
Original Assignee
Asics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asics Corp filed Critical Asics Corp
Publication of CN111263953A publication Critical patent/CN111263953A/zh
Application granted granted Critical
Publication of CN111263953B publication Critical patent/CN111263953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

在动作状态评估系统10中，特征推断部142将被检测者的多个关节位置作为多个身体特征点来推断。动作分析部144根据在图像上所推断的规定的关节间的距离与基准长度的比，求出表示被检测者的动作状态的值。基准存储部132将被检测者的身高作为基准长度来存储。动作分析部144基于根据多个身体特征点来决定的相当于被检测者的身高的图像上的距离与身高的比，根据多个身体特征点的图像上的特征点距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值。评估处理部146根据表示动作状态的值对被检测者的动作进行评估。

Description

动作状态评估系统、动作状态评估装置、动作状态评估服务 器、动作状态评估方法以及动作状态评估程序
技术领域
本发明涉及一种动作姿势分析系统。特别涉及一种对被检测者的运动时的姿势进行分析的系统。
背景技术
以往，作为自动地判断跑步姿势的系统，已知有一种根据在身体安装有多个标记的跑步者的视频图像来识别标记的位置，由此对跑步姿势进行分析的技术(例如，参照专利文献1、专利文献2)。
现有技术文献
专利文献
专利文献1：日本专利再表2013-129606号公报
专利文献2：日本专利特开2017-77403号公报
发明内容
发明所要解决的问题
在现有的动作姿势分析技术中，若不使用昂贵的特殊摄像机或专用的传感器，则无法进行正确的分析，并非个人可轻易地进行分析的技术。
本发明是鉴于此种状况而成者，其目的在于提供一种可通过用户的简易操作来对动作姿势进行图像分析的系统。
解决问题的技术手段
为了解决所述问题，本发明的某一实施方式的动作状态评估系统包括：图像获取部，获取被检测者的视频图像；特征推断部，通过根据视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；基准存储部，存储作为规定的基准部位在真实世界中的长度的基准长度；动作分析部，基于根据经推断的多个身体特征点来决定的相当于基准部位的图像上的距离与基准长度的比，根据多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值；以及输出部，输出表示动作状态的值。
此处，“动作状态评估系统”可以是包含获取“被检测者的视频图像”的信息终端与求出“表示动作状态的值”的服务器的组合的系统，也可以是由信息终端与服务器分担执行求出“表示动作状态的值”的处理的系统。或者，也可以是仅包含可执行“被检测者的视频图像”的获取与求出“表示动作状态的值”的处理两者的信息终端的系统。可利用一个或多个任意的硬件来构成“系统”。“规定的体态识别方法”可以是从图像中提取人物并识别所述人物的体态的任意的算法。“多个身体特征点”可以是构成从图像中提取的人物的身体的元素彼此的连结部分、或者各元素的端部或边界点。“规定的体态识别方法”也可以是从被拍入图像内的人物的外观状态，根据人本来具有的骨骼等身体结构的性质、或根据与外观状态的位置关系的统计，推断“多个身体特征点”的位置的方法。“规定的体态识别方法”也可以是从视频图像中包含的多个帧中分别识别人物的体态的方法，也可以是根据各帧间的外观的变化来推断“多个身体特征点”的位置变化的方法。“规定的体态识别方法”也可以是使用读取了许多拍入被检测者的视频图像的深度学习等机械学习来执行所述各种处理的方法。“规定的基准部位”可以是应在推断被拍入视频图像中的人物或其身体的构成元素在真实世界中的长度的处理中作为基准而事先决定的部位，所述“基准部位”在真实世界中的长度可作为“基准长度”而事先存储。“长度”可以是空间内的两点间的距离或尺寸。“表示动作状态的值”可以是能够根据身体特征点的位置、或将身体特征点间连结的线的距离、或所述线彼此形成的角度来求出的被检测者的动作状态的值，或者能够根据所述动作状态的值或时间值来求出的其它动作状态的值。“动作状态”可以是被检测者的动作中的体态，例如行走姿势、步行姿势、任意的体育运动中的运动姿势等。“表示动作状态的值”可以是表示运动姿势的状态的各种参数的值，例如也可以是正在奔跑的被检测者的行走速度、步幅的幅度、上下动的幅度、根据上下动的周期来求出的步频、躯干的前倾角度、肩关节的可动区域角度、髋关节的可动区域角度等。
根据所述实施方式，仅通过用户的简易操作，便可根据视频图像正确地对被检测者的动作状态进行图像分析来提供有用的评估。
特征推断部也可以将被检测者的多个关节位置作为多个身体特征点来推断，动作分析部也可以根据在图像上所推断的规定的关节间的距离与基准长度的比，求出表示被检测者的动作状态的值。“关节位置”可以是构成从图像中提取的人物的身体的元素彼此的连结部分，也可以是根据人本来具有的骨骼等身体结构的性质、或根据与外观状态的位置关系的统计进行推断的位置。根据所述实施方式，可根据被检测者的关节位置来推断“规定的基准部位”，并根据所述“基准部位”的图像上的距离与“基准长度”的关系，求出真实世界中的被检测者的各种速度或长度、角度、时间值，仅通过图像分析而更正确地推断表示动作状态的各种参数的值。
基准存储部也可以将被检测者的身高作为基准长度来存储，动作分析部也可以基于根据多个身体特征点来决定的相当于被检测者的身高的图像上的距离与身高的比，根据多个身体特征点的图像上的特征点距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值。许多用户掌握自身的正确的身高，因此将身体整体设为“基准部位”，将作为其长度的“身高”设定为“基准长度”，由此可容易地使用正确的基准长度。由此，可容易地求出更正确的值作为表示动作状态的值。
也可以还包括根据表示动作状态的值对被检测者的动作进行评估的评估处理部。表示动作状态的值也可以包含基于被检测者的运动时的规定动作的幅度的值。基准存储部也可以进而将回归方程式及标准偏差作为事先使用多个其它被检测者的视频图像进行分析所求出的基于运动时的规定动作的幅度的值、与基于被检测者的身体状态的值之间的回归分析结果来存储，所述回归方程式将基于身体状态的值设为说明变数，将规定动作的幅度设为目标变数，评估处理部也可以将基于被检测者的身体状态的值代入回归方程式中来算出基于规定动作的幅度的值的假定值，按照根据被检测者的视频图像进行分析所得的基于规定动作的幅度的值与假定值的差是否为标准偏差内，对被检测者的动作进行评估，输出部也可以输出评估的结果。“基于规定动作的幅度的值”可以是在规定的运动中身体部位移动的长度、角度、时间间隔、及根据这些值求出的其它值。“基于被检测者的身体状态的值”可以是表示在被检测时被检测者处于的身体状态或被检测者具有的身体的运动水平、运动特性、运动属性等的值之中，尤其与在回归方程式中作为目标变数的值之间具有关联的值。“基于身体状态的值”可以是根据被检测者的视频图像进行分析所得的值，也可以是“基于规定动作的幅度的值”中包含的任一个值。“回归方程式”可以是将一个值设为说明变数的单回归式，也可以是将多个值设为说明变数的多元回归式。例如，为了评估步幅或步频，也可以针对多个被检测者，事先算出将作为“基于被检测者的身体状态的值”的身高、体重、年龄、性别、运动速度、马拉松时间的级别等值设为说明变数，将所述速度中的步幅或步频设为目标变数的回归方程式及标准偏差，并作为回归分析结果来存储。此处所述的“假定值”也可以是统计上的标准值、中位数、平均值、理想值。根据所述回归分析结果，算出将基于新的被检测者的身体状态的值代入回归方程式中所获得的假定的步幅或步频，并求出所述值与根据视频图像所推断的步幅或步频的差是否为标准偏差的范围内。如此，可根据与被检测者的动作状态或身体状态相关的规定的参数和其它参数的关系，定量地且客观地评估所述被检测者的跑步姿势等动作。
也可以还包括信息存储部，其通过与动作的评估结果的对应，来存储与所述运动中的动作相关联的建议信息。评估处理部也可以从信息存储部中提取与对被检测者的动作进行评估的结果对应的建议信息，输出部也可以输出已被提取的建议信息。“建议信息”可以是表示被检测者的动作中的暗示或评估的解说、改善提案、异常风险、参考信息的文本或图像、声音，作为改善提案，也可以是推荐的训练内容或运动器具、运动用鞋的提案。
本发明的另一实施方式是一种动作状态评估装置。所述装置包括：图像获取部，获取被检测者的视频图像；发送部，将视频图像经由网络而发送至规定的服务器；接收部，接收表示被检测者的动作状态的值，所述值基于根据被检测者的多个身体特征点来决定的相当于规定的基准部位的图像上的距离、与事先存储的作为基准部位在真实世界中的长度的基准长度的比，根据多个身体特征点之间的图像上的距离来求出，所述被检测者的多个身体特征点是在服务器中，通过根据视频图像来对被检测者的体态进行图像识别的规定的体态识别方法来推断；以及输出部，将表示动作状态的值显示在画面中。
在此实施方式中，也仅通过用户的简易操作，便可根据视频图像正确地对被检测者的动作状态进行图像分析来提供有用的评估。
另外，本发明的又一实施方式也是一种动作状态评估装置。所述装置包括：图像获取部，获取被检测者的视频图像；特征推断部，通过根据视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；基准存储部，存储作为规定的基准部位在真实世界中的长度的基准长度；动作分析部，基于根据经推断的多个身体特征点来决定的相当于基准部位的图像上的距离与基准长度的比，根据多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值；以及输出部，将表示动作状态的值显示在画面中。
在此实施方式中，也仅通过用户的简易操作，便可根据视频图像正确地对被检测者的动作状态进行图像分析来提供有用的评估。
本发明的又一实施方式是一种动作状态评估服务器。所述动作状态评估服务器包括：接收部，经由网络而从规定的信息终端接收被检测者的视频图像；特征推断部，通过根据视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；基准存储部，存储作为规定的基准部位在真实世界中的长度的基准长度；动作分析部，基于根据经推断的多个身体特征点来决定的相当于基准部位的图像上的距离与基准长度的比，根据多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值；以及输出部，输出表示动作状态的值。
在此实施方式中，也仅通过用户的简易操作，便可根据视频图像正确地对被检测者的动作状态进行图像分析来提供有用的评估。
本发明的又一实施方式是一种动作状态评估方法。所述方法包括：获取被检测者的视频图像；通过根据视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；基于根据经推断的多个身体特征点来决定的相当于规定的基准部位的图像上的距离、与事先存储的作为基准部位在真实世界中的长度的基准长度的比，根据多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值；以及输出表示动作状态的值。
在此实施方式中，也仅通过用户的简易操作，便可根据视频图像正确地对被检测者的动作状态进行图像分析来提供有用的评估。
另外，以上的构成元件的任意的组合或，或者在方法、装置、程序、存储有程序的暂时的或非暂时的存储介质、系统等之间将本发明的构成元件或表达相互替换而成者也作为本发明的实施方式有效。
发明的效果
根据本发明，仅通过用户的简易操作，便可根据视频图像正确地对被检测者的动作状态进行图像分析来提供有用的评估。
附图说明
图1是示意性地表示动作状态评估系统的构成的图。
图2是表示信息终端及评估服务器的基本构成的功能块图。
图3是示意性地表示根据行走的被检测者的视频图像来推断多个身体特征点的状态的图。
图4是表示根据相对于基于身体状态的值的各种跑步姿势参数的分布所求出的回归直线及标准偏差的例子的图。
图5是示意性地表示动作状态评估程序的菜单画面例的图。
图6是示意性地表示开始视频图像的分析及评估的画面例的图。
图7是表示显示视频图像及评估结果的画面例的图。
图8是显示建议信息的画面例的图。
图9是示意性地表示作为显示在图8的推荐运动信息栏中的推荐训练内容的选择基准所决定的训练选择表的图。
图10是示意性地表示作为显示在图8的推荐用具信息栏中的推荐鞋的选择基准所决定的鞋选择表的图。
图11是表示信息终端与评估服务器之间的数据流、以及视频图像的分析及评估的处理过程的流程图。
图12是表示第二实施方式中的信息终端及分析服务器的基本构成的功能块图。
图13是表示信息终端与分析服务器之间的数据流、以及视频图像的分析及评估的处理过程的流程图。
图14是表示第三实施方式中的信息终端及分析服务器的基本构成的功能块图。
图15是表示信息终端与分析服务器之间的数据流、以及视频图像的分析及评估的处理过程的流程图。
图16是表示第四实施方式中的信息终端及管理服务器的基本构成的功能块图。
图17是表示视频图像的分析及评估的处理过程的流程图。
具体实施方式
(第一实施方式)
图1示意性地表示动作状态评估系统10的构成。动作状态评估系统10包括信息终端12与评估服务器14，信息终端12与评估服务器14协作来实现动作状态评估系统10实现的各种功能。在本实施方式中，信息终端12承担获取被检测者的视频图像的处理、及动作的评估结果等的画面显示处理，评估服务器14承担视频图像的分析或评估的处理。通过信息终端12所获取的被检测者的视频图像经由无线通信等通信手段而被转送至评估服务器14，通过评估服务器14来对视频图像进行分析、评估。评估结果被转送至信息终端12，并显示在信息终端12的画面中。信息终端12是带有摄像机功能的智能电话等移动电话终端或带有摄像机功能的平板终端。在变形例中，作为信息终端12，也可以使用带有摄像机功能的计算机或连接有摄像设备的计算机。在信息终端12及评估服务器14中，用于对被检测者的视频图像进行分析并进行评估的程序(动作状态评估程序)运行，由此信息终端12作为动作状态评估装置发挥功能，评估服务器14作为动作状态评估服务器发挥功能。在第二实施方式以后叙述的其它实施方式中，也可以设为信息终端12承担视频图像的分析或评估的处理的一部分，由此使信息终端12与评估服务器14分担处理的形式，也可以设为信息终端12承担视频图像的分析或评估的所有处理的形式。以下，对在本实施方式中评估服务器14承担视频图像的分析或评估的所有处理的实施方式进行说明。
图2是表示信息终端12及评估服务器14的基本构成的功能块图。信息终端12包括：图像获取部20、摄像部22、数据存储部30、数据处理部40、输入部50、输出部52、触摸屏60、通信部62。数据存储部30具有图像存储部24、基准存储部32、信息存储部34、结果存储部36。数据处理部40具有功能控制部47及画面生成部48。评估服务器14包括：数据存储部130、数据处理部140、输入部150、输出部152、通信部162。数据存储部130具有图像存储部124、基准存储部132、信息存储部134、结果存储部136。数据处理部140具有特征推断部142、动作分析部144、评估处理部146。
本图表示用于实现动作状态评估系统10的功能构成，省略其它构成。在本图中，作为进行各种处理的功能块来记载的各元件可包含作为硬件的摄像机、中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、主存储器、其它大规模集成电路(Large Scale Integrated circuit，LSI)。另外，通过CPU执行已被载入随机存取存储器(Random Access Memory，RAM)中的程序等而以软件方式来实现。因此，本领域从业人员理解可仅通过硬件、仅通过软件、或通过它们的组合而以各种形式实现这些功能块，并不限定于任一者。
图像获取部20获取被检测者的视频图像。图像获取部20从摄像部22获取由摄像部22所拍摄的视频图像、或从图像存储部24获取已拍摄的视频图像。摄像部22例如为内置在信息终端12的摄像机、或与信息终端12连接的外部的摄像机。图像存储部24例如为内置在信息终端12的非易失存储器、或者装填或连接在信息终端12的记录介质。在图像存储部24中存储由摄像部22等所拍摄的静态图像及视频图像。
基准存储部32事先存储在动作状态评估程序中作为分析的基准的基准长度，所述基准长度是规定的基准部位在真实世界中的长度。在本实施方式中，基准存储部32将被检测者的身高作为基准长度来存储。用户在使用动作状态评估程序时，经由信息终端12的触摸屏60而事先输入并设定自身的身高。经由触摸屏60而输入的身高的信息经由输入部50及功能控制部47而存储在基准存储部32中。
信息存储部34存储动作状态评估程序、以及用于利用动作状态评估系统10的用户的标识符(Identifier，ID)(例如邮件地址)及密码。结果存储部36记录后述的视频图像的分析结果或评估结果。
功能控制部47为了发挥构成动作状态评估程序的各种功能而控制信息的输入/输出等处理。功能控制部47根据被存储在信息存储部34中的用户的ID及密码，登录评估服务器14。功能控制部47将由图像获取部20所获取的视频图像作为评估服务器14的分析对象，经由输出部52及通信部70而转送至评估服务器14。此时，在信息终端12的用户自身成为被检测者的情况下，将已被存储在基准存储部132中的用户的身高的信息与视频图像一同转送至评估服务器14。在信息终端12的用户以外成为被检测者的情况下，功能控制部47将已被从触摸屏60输入的被试验者的身高的信息与视频图像一同转送至评估服务器14。画面生成部48作为动作状态评估程序的画面显示功能，生成显示在触摸屏60中的画面，并将已生成的画面经由输出部52而显示在触摸屏60中。
输入部150经由通信部162而接收已被从信息终端12发送的视频图像及身高的信息，并将视频图像暂时保存在图像存储部124中，将身高的信息暂时保存在基准存储部132中。特征推断部142通过根据视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点。基准存储部132事先存储作为规定的基准部位在真实世界中的长度的基准长度。在本实施方式中，基准存储部132将被检测者的身高作为基准长度来暂时存储。动作分析部144基于根据经推断的多个身体特征点来决定的相当于基准部位的图像上的特征点距离(像素单位的距离)与基准长度(米制单位的长度)比，根据多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估被检测者的动作的值。评估处理部146将规定的基于身体状态的值代入规定的回归方程式中来算出跑步姿势参数的假定值，按照根据被检测者的视频图像进行分析所得的跑步姿势参数与假定值的差是否为标准偏差内，对被检测者的动作进行评估。此处所述的基于身体状态的值是表示在被检测时被检测者处于的身体状态或被检测者具有的身体的运动水平、运动特性、运动属性等的值之中，尤其与在回归方程式中作为目标变数的值之间具有关联的值。作为基于身体状态的值，可使用根据被检测者的视频图像进行分析所获得的各种跑步姿势参数中的任一个值。另外，假定值也可以是统计上的标准值、平均值、中位数。
(身体特征点的推断)
图3示意性地表示根据行走的被检测者的视频图像来推断多个身体特征点的状态。特征推断部142将被检测者的多个关节位置，例如四肢的关节(肩、肘、手腕、髋关节、膝、脚腕等)的位置作为多个身体特征点来推断。另外，特征推断部142进而将关节以外的连结部分(颈、骨盆、胸廓等)的位置，或前端部(头顶部、脚后跟等)的位置作为多个身体特征点来推断。在图3的例子中，特征推断部142根据行走的被检测者的视频图像，推断头顶部203、颈204、左肩205、右肩206、左肘207、右肘208、左手腕209、右手腕210、左髋关节211、右髋关节212、左膝213、右膝214、左脚腕215、右脚腕216的各位置。特征推断部142可如本图的例子那样，将利用圆形符号表示多个身体特征点，利用粗线表示将身体特征点彼此连结的身体部位的所谓的简笔画(stick picture)与视频图像重合。
作为体态识别方法，可使用任意的技术。例如，也可以通过使用对于许多视频图像的深度学习的结果的无标记动作捕捉(markerless motion capture)，根据视频图像来推断被检测者的身体特征点。作为使用深度学习的无标记动作捕捉技术，例如已知有：“深度姿态(DeepPose)：基于深度神经网络的人体姿态估计(Human Pose Estimation via DeepNeural Networks)”(Alexander Toshev，Christian Szegedy)、“卷积姿态机器(Convolutional Pose Machines)”(Shih-En Wei，Varun Ramakrishna，Takeo Kanade，Yaser Sheikh)、“使用部分亲和字段的实时多人2D姿态估计(Realtime Multi-Person 2DPose Estimation using Part Affinity Fields)”(Zhe Cao，Tomas Simon，Shih-En Wei，Yaser Sheikh)。作为不使用深度学习的无标记动作捕捉技术，例如已知有：“基于零件的柔性混合物的铰接式人体姿态估计(Articulated Human Pose Estimation with FlexibleMixtures of Parts)”(Yi Yang and Deva Ramanan)。在其它实施方式中，也可以使用如下的动作捕捉技术，所述动作捕捉技术在被检测者的身体的各处安装标记或传感器，通过识别所述标记或传感器的位置来推断被检测者的身体特征点。所述各动作捕捉技术众所周知，因此省略其详细的说明。如此，通过使用无标记动作捕捉技术，可不使用用于动作捕捉的特别的器材，而使用如内置在智能电话的摄像机那样广泛普及的器件，轻易地推断人的身体特征点。
动作分析部144例如求出基于在图像上所推断的规定的关节间的距离的相当于被试验者的身高的图像上的距离。具体而言，为了推断从头至脚为止的长度，测定头顶部～颈、颈～肩、肩～髋关节、髋关节～膝、膝～脚腕、脚腕～脚后跟的各身体部位的图像上的距离并算出它们的和，将所述和设为从头顶部至脚后跟为止的图像上的身高H。另外，在特征推断部142不推断脚后跟的位置的情况下，也可以将如下的修正值设为从头顶部至脚后跟为止的图像上的身高H，所述修正值是使从头顶部至脚腕为止的图像上的距离的和乘以规定的修正系数(例如1.05)所得的值。或者，在特征推断部142不推断头顶部的位置的情况下，也可以将如下的修正值设为从头顶部至脚后跟为止的图像上的身高H，所述修正值是使从颈至脚后跟为止的图像上的距离的和乘以规定的修正系数(例如1.1)所得的值，或将如下的修正值设为从头顶部至脚后跟为止的图像上的身高H，所述修正值是使从颈至脚腕为止的图像上的距离的和乘以规定的修正系数(例如1.15)所得的值。
(跑步姿势参数的分析)
动作分析部144求出已求出的图像上的身高H与基准存储部132事先存储的作为基准长度的被检测者的身高的比，并将其设为将图像上的距离转换成米制单位的转换系数S。动作分析部144根据转换系数S，求出表示被检测者的动作状态的值。表示动作状态的值例如为基于被试验者的运动时的规定动作的幅度的参数。在本实施方式中，将构成跑步姿势的跑步姿势参数(除速度、步幅、上下动的幅度以外，步频、躯干的前倾角度、肩关节的可动区域、髋关节的可动区域)作为表示动作状态的值来求出。即，动作分析部144根据视频图像进行分析来求出各种跑步姿势参数的值。在已求出的值为长度的值的情况下，通过乘以转换系数S来转换成真实世界中的米制单位的值。以下，将这些通过分析而从视频图像求出的各种跑步姿势参数的值设为分析值P。如此，通过使用转换系数S，即便不进行复杂的校正作业，也可以仅利用简单的计算而以米制单位简易地算出各种跑步姿势参数。
动作分析部144主要根据在固定拍摄位置及固定拍摄方向拍摄行走的被检测者的侧方所得的视频图像，对跑步姿势参数进行分析。例如，在为从右侧方拍摄被检测者所得的视频图像的情况下，根据右半身的身体特征点进行分析，在为从左侧方拍摄被检测者所得的视频图像的情况下，根据左半身的身体特征点进行分析。动作分析部144将在被检测者的上下动的周期中头顶部的垂直方向位置变成极小值的时机判定为接地时机。动作分析部144将从开始识别身体特征点起初次判定的接地时机设为第一步，将逆足的接地时机设为第二步，与第一步相同的足的下一个接地时机设为第三步，将从第一步至第三步设为一个行走周期。
此处，作为跑步姿势参数的“速度”是移动视频图像中的两点间的距离(例如，头部在水平方向上移动的位置的差值)的速度，也可以是一个行走周期的速度的平均值。“步幅”可以是视频图像中的一步的距离，也可以是从第一步至第三步为止(一个行走周期)的距离(例如，接地足的水平方向的位置的差值)除以2所得的值。“步频”可以是一分钟的接地次数，也可以是一步的时间(从某次接地至下一次接地为止的时间间隔)的倒数。“上下动的幅度”也可以是一个行走周期中的头顶部的垂直方向位置的最大值与最小值的差。“躯干的前倾角度”也可以是将髋关节与颈连结的直线与垂直线形成的角在一个行走周期中的平均。“肩关节的可动区域”也可以是将肩与肘连结的直线与垂直线形成的角在一个行走周期中的最大值与最小值的差。“髋关节的可动区域”也可以是将髋关节与膝连结的直线与垂直线形成的角在一个行走周期中的最大值与最小值的差。
动作分析部144也可以进而将从侧方拍摄被检测者时的足的着地位置(例如，相对于穿过头顶部、髋关节、膝的任一个基准部位的垂直线的着地的相对的位置)、腰的下降程度(例如，髋关节的垂直方向位置)作为跑步姿势参数来求出。另外，也可以进而将从前方拍摄被检测者时的头的倾斜角度、肩的水平程度、上半身的扭转、上半身的摇晃、骨盆的水平程度、臂摆动、膝的方向、足尖的方向、摆荡期的大腿的扭转、踏出脚的方向、足的着地位置作为跑步姿势参数来求出。另外，也可以进而将从后方拍摄被检测者时的接地模式(前足部、中足部、后足部的接地顺序)、内旋(过度旋前/过度旋后)、小腿的内翻、踢出的足尖的方向、小腿的抬起作为跑步姿势参数来求出。成为动作分析部144及评估处理部146的分析与评估的对象的跑步姿势参数的种类对应于被检测者的视频图像是从侧方、前方、后方的哪一方拍摄者，设定不同种类的参数。如此，根据视频图像并通过图像分析来求出各种跑步姿势参数，由此可定量地分析跑步姿势。
(跑步姿势参数的评估)
评估处理部146将基于被检测者的身体状态的值代入规定的回归方程式中来算出各种跑步姿势参数的假定值E，按照根据被检测者的视频图像进行分析所得的分析值P与假定值E的差是否为标准偏差内，对被检测者的动作进行评估。分析结果及评估结果除与用户ID建立对应来记录在结果存储部136中以外，被发送至信息终端12而记录在结果存储部36中。在将例如被检测者的被检测时的运动速度或身高等用作基于被检测者的身体状态的值V的形式的情况下，基准存储部132针对各跑步姿势参数，存储将运动速度或身高等设为说明变数、将各种跑步姿势参数的假定值E设为目标变数的回归方程式(E＝aV+b)及标准偏差SD。在此情况下，动作分析部144也可以根据被试验者的视频图像来分析图像上的被试验者的运动速度，并且使所述速度乘以转换系数S，由此算出真实世界中的运动速度。
图4是表示根据相对于基于身体状态的值的各种跑步姿势参数的分布所求出的回归直线及标准偏差的例子的图。如图那样，根据事先从许多被检测者获得的样本数据的分布来算出回归直线及标准偏差。(a)表示相对于基于身体状态的值的躯干的前倾角度的回归直线及标准偏差，(b)表示相对于基于身体状态的值的髋关节可动区域角度的回归直线及标准偏差。基于身体状态的值例如为运动速度或身高等，在本图的例子中，根据相对于运动速度的前倾角度及髋关节可动区域角度的分布来求出回归直线及标准偏差。如图示那样，根据各自的分布来算出回归方程式及标准偏差，并事先存储在基准存储部132中。
评估处理部146在分析值P比假定值E+标准偏差SD大的情况下评估为“比标准大”，在分析值P比假定值E－标准偏差SD小的情况下评估为“比标准小”，若分析值P为假定值E±标准偏差SD的范围内，则评估为“标准”。评估处理部146将各种跑步姿势参数的分析值P、假定值E、标准偏差SD、评估结果的信息经由输出部152及通信部162而发送至信息终端12。另外，关于评估处理部146将哪个信息作为分析或评估的结果来对信息终端12发送，可想到各种形式。例如，可以是评估处理部146生成评估结果的显示画面自身并将画面的数据发送至信息终端12的形式，也可以是发送分析值P、回归方程式、标准偏差SD，并在信息终端12侧判定基于假定值E或标准偏差SD的评估的形式。或者，也可以是事先在信息终端12侧存储回归方程式及标准偏差SD，仅发送分析值P并在信息终端12侧判定评估的形式。另外，作为变形例，也可以设为通过不使用回归分析的评估方法来评估被检测者的分析值P的形式。例如，作为各种跑步姿势参数的统计，也可以先存储按性别、年龄、身高、体重等属性进行了分类的各参数的平均值，分别与平均值比较大小，由此决定评估。
图5示意性地表示动作状态评估程序的菜单画面例。在信息终端12的触摸屏60的画面中，显示视频拍摄按钮300、拍摄视频一览按钮302、设定按钮304。若用户按下(轻击)视频拍摄按钮300，则跳转至利用摄像部22的视频拍摄，图像获取部20获取已被拍摄的视频图像。若用户按下拍摄视频一览按钮302，则已被存储在图像存储部24中的拍摄视频被一览显示，图像获取部20获取已被从所述一览中选择的视频图像。若用户按下设定按钮304，则可跳转至设定用户ID或密码、身高等的画面，登记或变更这些信息。
图6示意性地表示开始视频图像的分析及评估的画面例。在信息终端12的触摸屏60的画面中，显示视频重放画面222、分析开始按钮306、分析评估一览按钮308。在视频重放画面222中重放显示拍摄视频。若用户按下分析开始按钮306，则拍摄视频被转送至评估服务器14而开始分析与评估的处理。若用户按下分析评估一览按钮308，则分析与评估的履历被一览显示，可使过去的分析或评估显示。
(视频重放画面)
图7表示显示视频图像及评估结果的画面例。图7的画面由画面生成部48生成。在画面上半部分的视频重放画面222中，显示已被拍摄的被检测者的视频图像及其分析结果。作为分析结果，例如在视频图像中使表示头顶部移动的轨迹的上下动轨迹223的线，或用于强调被检测者的头、臂、腿的位置或角度的头部强调线224、臂部强调线225、腿部强调线226与被检测者的图像动态地重合来显示。此时，也可以如图3那样，将多个身体特征点及将它们连结的身体部位的线以简笔画的形式与被检测者的图像动态地重合来显示。为了容易辨认被检测者的动作或分析结果，也能够以慢动作来重放视频。通过以上方式，可容易地在视觉上掌握姿势的特征。
(评估画面)
在画面下半部分的评估画面220中，除包含用于显示各种跑步姿势参数的分析值及评估结果的步幅显示栏230a、步频显示栏230b、上下动显示栏230c、躯干前倾显示栏230d、肩关节可动区域显示栏230e、髋关节可动区域显示栏230f以外，包含用于显示与跑步姿势整体的倾向相关的评估结果的整体评估显示栏231。
例如，在步幅显示栏230a中，显示作为步幅的分析值P的“120cm”，并且在右侧的评估量规232a的右端显示星号234a。评估量规被分割成左范围、中央范围、右范围的三个区域。中央范围是假定值E±1SD的“标准”范围，左范围是从根据回归方程式所求出的假定值E－3SD(标准偏差的3倍)至E－1SD为止的“比标准小”的范围，右范围是从假定值E+1SD至E+3SD为止的“比标准大”的范围。星号234a显示在评估量规232a的右端表示“比标准大”的评估。
在步频显示栏230b中，显示作为步频的分析值P的“180/min”，并且在右侧的评估量规232b的左范围显示星号234b。星号234b的位置表示“比标准小”的评估。在上下动显示栏230c中，显示作为上下动的分析值P的“10cm”，并且在右侧的评估量规232c的右范围显示星号234c。星号234c的位置表示“比标准大”的评估。在躯干前倾显示栏230d中，显示作为躯干的前倾角度的分析值P的“7°”，并且在右侧的评估量规232d的中央范围显示星号234d。星号234d的位置表示“标准”的评估。在肩关节可动区域显示栏230e中，显示作为臂的振幅的角度范围的分析值P的“60°”，并且在右侧的评估量规232e的中央范围显示星号234e。星号234e的位置表示“标准”的评估。在髋关节可动区域显示栏230f中，显示作为腿的振幅的角度范围的分析值P的“45°”，并且在右侧的评估量规232f的右范围显示星号234f。星号234f的位置表示“比标准大”的评估。
在跑步姿势参数之中，步幅为“比标准大”、步频为“比标准小”或“标准”的情况下，在整体评估显示栏231中显示“可看到步幅型的倾向”的评估。相反地，在步幅为“比标准小”或“标准”、步频为“比标准大”的情况下，在整体评估显示栏231中显示“可看到步频型的倾向”的评估。如此，用户可通过与统计上的标准值、中位数、平均值的比较，定量地且客观地掌握自己的姿势的特征。
另外，也可以对评估量规232的左范围、中央范围、右范围分别施加不同的色彩而在视觉上容易区分。例如，也可以设为左范围以蓝色为中心，中央范围以黄色为中心，右范围以红色为中心，色彩从评估量规232的左端朝右端逐渐地变化的渐变显示。由此，可容易地在视觉上掌握姿势的特征。评估处理部146也可以进一步评估异常风险或跑步效率(行走效率性)，并如图7那样在画面中显示其评估结果。
(异常风险评估)
评估处理部146也可以根据跑步姿势参数来评估异常风险。例如，根据许多跑步者的跑步姿势参数及与异常的有无相关的信息，通过统计分析来事先算出各参数与异常的关系性。即，制作将异常的有无设为目标变数、将跑步姿势参数设为说明变数，通过进行统计分析来算出异常的风险的异常函数，并将所述异常函数存储在基准存储部132中。评估处理部146将各种跑步姿势参数的分析值P代入异常函数中来评估异常风险的有无。由此，仅通过进行视频图像的图像分析，用户便可定量地且容易地认知自身的异常风险，可期待将异常避免于未然。
(跑步效率评估)
评估处理部146也可以根据跑步姿势参数来评估跑步效率。跑步效率是以固定速度行走时需要的能量或氧摄取量越少，越视作高效率的指标。例如，通过统计分析来事先算出许多跑步者的跑步姿势参数与各跑步者的跑步效率的关系性。即，制作将跑步效率(以次最大的规定速度行走时的氧摄取量)设为目标变数、将跑步姿势参数设为说明变数，通过进行统计分析来算出跑步效率的效率函数，并将所述效率函数存储在基准存储部132中。评估处理部146将各种跑步姿势参数的分析值P代入效率函数中来推断跑步效率，并评估效率性。进而，评估处理部146也可以根据已推断的跑步效率来推断马拉松时间。例如，通过统计分析来事先算出许多跑步者的跑步效率与各跑步者的马拉松时间的关系性。即，制作将马拉松时间设为目标变数、将跑步效率(以次最大的规定速度行走时的氧摄取量)设为说明变数，通过进行统计分析来算出马拉松时间的马拉松时间函数，并将所述马拉松时间函数存储在基准存储部132中。在此情况下，通过将效率函数用于马拉松时间函数的说明变数，可从各种跑步姿势参数导出推断马拉松时间的函数。评估处理部146可将把各种跑步姿势参数的分析值P代入效率函数中所获得的跑步效率的值进一步代入马拉松时间函数中，而推断马拉松时间。如此，仅通过进行视频图像的图像分析，用户便可简单地知道自身的效率性或马拉松推断时间，可有助于效率性提升与时间提升。
(姿势比较)
在视频重放画面222中，不仅是被检测者的视频图像，也可以将别人的视频图像或用户的过去的视频图像以能够与本次的被检测者的视频图像进行比较的形态重放显示。例如，先将成为榜样的模范跑步者的视频图像及其身体特征点的信息存储在信息存储部34或信息存储部134中，将模范跑步者的视频图像及其简笔画代替被检测者的视频图像、或与被检测者的视频图像并列来进行重放显示。当将用户的过去的视频图像作为履历来存储时，也能够以可将当前的视频图像及其简笔画与过去的视频图像及其简笔画进行比较的形态来重放。另外，也可以将被检测者的视频图像与别人或过去的自身的视频重合来显示。在此情况下，也可以使重合的任一个视频图像透过。另外，也可以将简笔画也重合来显示，也可以代替视频图像而仅将简笔画重合来显示。或者，也可以代替视频图像或简笔画，作为视频效果，使视频的人物重合来显示。如此，用户可容易地在视觉上将理想的姿势与自身的姿势进行对比，可有助于姿势改善。另外，可容易地在视觉上掌握自身的姿势的变化。
(评估分数比较)
评估处理部146也可以根据分析值P与假定值E的差值对于标准偏差SD的比来算出评估分数，由此将评估数值化。也可以针对各跑步姿势参数算出评估分数，通过评估分数的合计来与别人的评估分数或过去的自己的评估分数进行比较，并显示在评估画面220中。另外，也可以将与别人的评估分数或过去的自己的评估分数的比较设为排名显示。如此，用户可定量地且容易地确认自身的姿势的变化。
如以上那样，通过在信息终端12的画面中进行结果显示，而将分析结果或评估结果反馈给用户。作为画面显示以外的反馈方法，针对评估处理部146已算出的评估分数低的跑步姿势参数，也可以通过声音或振动来进行反馈。例如，在步幅、上下动、步频、躯干的前倾角度等各参数的分析值P与假定值E的差值比标准偏差SD大的情况下，是在记录跑步的日志的应用程序中，在跑步开始前或跑步过程中通过声音反馈或振动反馈来唤起用户注意等形态。在这些情况下，例如对于被评估为步幅过大的用户，输出“意识到抑制步幅吧”等台词的声音反馈，对于被评估为上下动大的用户，输出“意识到抑制上下动吧”等台词的声音反馈。例如对于被评估为步频过少或过多的用户，可对应于当前的行走速度以最合适的步频的时间间隔产生声音或振动来使用户认识到理想的步频。例如对于被评估为躯干的前倾角度过小或过大的用户，可在劝告测定前倾角度的传感器的购入及安装后，当在安装传感器进行跑步的期间内变成前倾角度过小或过大的状态时，产生声音或振动来唤起用户注意。
(建议信息)
图8是显示建议信息的画面例的图。信息存储部134将与运动中的动作相关联的建议信息和动作的评估结果建立对应来存储。评估处理部146从信息存储部134中提取与对被检测者的动作进行评估的结果对应的建议信息。已被提取的建议信息经由输出部152及通信部162而被发送至信息终端12。如图8那样的画面由画面生成部48生成。在信息终端12的画面中，显示改善信息栏240、推荐运动信息栏242、推荐用具信息栏244。在改善信息栏240中，显示作为建议信息的在跑步姿势中应改善的点的说明。在推荐运动信息栏242中，显示作为建议信息的被推荐的训练内容的说明。在推荐用具信息栏244中，显示作为建议信息的被推荐的跑步鞋的说明。通过以上方式，用户不仅可掌握跑步姿势的现状，而且可掌握作为面向姿势改善的建议的应改善的点、有效的训练方法、适当的用具，从而可促进改善。
图9是示意性地表示作为显示在图8的推荐运动信息栏242中的推荐训练内容的选择基准所决定的训练选择表的图。训练选择表250事先存储在基准存储部132中。在本图的训练选择表250中例示四个选择模式。在步幅被评估为“比标准小”的情况下选择第一模式，在图8的推荐运动信息栏242中显示作为推荐训练的“训练No.1”。在躯干的前倾角度被评估为“比标准大”的情况下选择第二模式，在图8的推荐运动信息栏242中显示作为推荐训练的“训练No.2”。在上下动被评估为“比标准大”的情况下选择第三模式，在图8的推荐运动信息栏242中显示作为推荐训练的“训练No.3”。在臂的振幅被评估为“比标准小”的情况下选择第四模式，在图8的推荐运动信息栏242中显示作为推荐训练的“训练No.4”。
图10是示意性地表示作为显示在图8的推荐用具信息栏244中的推荐鞋的选择基准所决定的鞋选择表的图。鞋选择表260事先存储在基准存储部132中。在本图的鞋选择表260例示十二个选择模式。各选择模式与作为被检测者的用户的马拉松时间的范围、通常时的跑步速度的范围、姿势的类型建立对应，设定有各鞋的推荐跑步者级别。例如，第一模式、第二模式与作为马拉松时间的未满2小时30分钟建立对应，第三模式、第四模式与作为马拉松时间的2小时30分钟～3小时建立对应，第五模式、第六模式与作为马拉松时间的3小时～3小时30分钟建立对应，第七模式、第八模式与作为马拉松时间的3小时30分钟～4小时建立对应，第九模式、第十模式与作为马拉松时间的4小时～4小时30分钟建立对应，第十一模式、第十二模式与作为马拉松时间的4小时30分钟以上建立对应。但是，在用户未体验过马拉松的情况或忘记马拉松时间的情况等马拉松时间不明确时，与通常速度建立对应，以可对应于通常时的跑步速度进行选择。例如，例如，第一模式、第二模式与未满4分钟/千米建立对应，第三模式、第四模式与4分钟/千米～4.5分钟/千米建立对应，第五模式、第六模式与4.5分钟/千米～5分钟/千米建立对应，第七模式、第八模式与5分钟/千米～5.5分钟/千米建立对应，第九模式、第十模式与5.5分钟/千米～6分钟/千米建立对应，第十一模式、第十二模式与6分钟/千米以上建立对应。
第一模式、第三模式、第五模式、第七模式与跑步姿势被评估为“步幅型”的情况建立对应，第二模式、第四模式、第六模式、第八模式与跑步姿势被评估为“步频型”的情况建立对应。另外，第九模式、第十一模式与跑步姿势被评估为“过度内旋”(过度旋前)的情况建立对应，第十模式、第十二模式与跑步姿势被评估为“内旋不足”(过度旋后、旋后)的情况建立对应。
通过以上的判断基准，对应于被检测者的马拉松时间或通常速度而将推荐鞋的模式候补集中在两个，进而对应于姿势而选择一个推荐鞋，并显示在图8的推荐用具信息栏244中。
图11是表示信息终端12与评估服务器14之间的数据流、以及视频图像的分析及评估的处理过程的流程图。首先，图像获取部20获取被检测者的视频图像(S10)，输出部52及通信部62将视频图像转送至评估服务器14(S12)。特征推断部142根据已接收的视频图像来推断多个身体特征点(S14)，动作分析部144测量图像上的身高H(S16)，通过与事先存储的被检测者的身高的比来算出转换系数S(S18)。动作分析部144根据视频图像对各种跑步姿势参数的值进行分析，使长度的值乘以转换系数S来算出分析值P(S20)。评估处理部146将作为说明变数的基于身体状态的值代入各种跑步姿势参数各自的回归方程式中来算出各参数的假定值E(S22)，通过各参数的分析值P是否为各自的假定值E±标准偏差SD的范围内来进行评估(S24)。评估处理部146对应于评估结果来提取建议信息(S26)，输出部152及通信部162将分析结果、评估结果、建议信息发送至信息终端12(S28)，输出部52使画面生成部48已生成的结果显示的画面显示在触摸屏60中(S30)。
另外，作为第一实施方式的变形例，也可以设为如下的形式：将评估处理部不仅设置在评估服务器14侧，也设置在信息终端12侧，并且基准存储部32存储建议信息。在此情况下，也可以设为评估服务器14侧的评估处理部146执行各种跑步姿势参数的评估，基于其评估结果，信息终端12侧的评估处理部从信息存储部34中提取对应于评估结果的建议信息并显示在画面中。
(第二实施方式)
图12是表示第二实施方式中的信息终端12及分析服务器16的基本构成的功能块图。本实施方式中的动作状态评估系统10在包含信息终端12与分析服务器16这一点、及将“评估处理部”设置在信息终端12而非服务器侧(分析服务器16)这一点上与第一实施方式不同。以下，以与第一实施方式的不同点为中心进行说明，省略共同点的说明。
由动作分析部144进行了分析的各种跑步姿势参数的分析值P通过输出部152及通信部162而被发送至信息终端12。信息终端12的基准存储部32针对各跑步姿势参数，存储将运动速度或身高等基于身体状态的值V设为说明变数、将各种跑步姿势参数的假定值E设为目标变数的回归方程式(E＝aV+b)及标准偏差SD。评估处理部46将作为说明变数的基于身体状态的值代入回归方程式中来算出各种跑步姿势参数的假定值E，按照已被从评估服务器14发送的分析值P与假定值E的差是否为标准偏差内，对被检测者的动作进行评估。分析结果及评估结果被记录在结果存储部36中。
信息存储部34将与运动中的动作相关联的建议信息和动作的评估结果建立对应来存储。数据处理部40具有评估处理部46、功能控制部47、画面生成部48。评估处理部46从信息存储部34中提取与对被检测者的动作进行评估的结果对应的建议信息。已被提取的建议信息显示在画面生成部48生成的画面中。
图13是表示信息终端12与分析服务器16之间的数据流、以及视频图像的分析及评估的处理过程的流程图。首先，图像获取部20获取被检测者的视频图像(S10)，输出部52及通信部62将视频图像转送至评估服务器14(S12)。特征推断部142根据已接收的视频图像来推断多个身体特征点(S14)，动作分析部144测量图像上的身高H(S16)，通过与事先存储的被检测者的身高的比来算出转换系数S(S18)。动作分析部144根据视频图像对各种跑步姿势参数的值进行分析，使长度的值乘以转换系数S来算出分析值P(S20)。输出部152及通信部162将分析结果发送至信息终端12(S21)，评估处理部46将作为说明变数的基于身体状态的值V代入各种跑步姿势参数各自的回归方程式中来算出各参数的假定值E(S22)，通过各参数的分析值P是否为各自的假定值E±标准偏差SD的范围内来进行评估(S24)。评估处理部46对应于评估结果来提取建议信息(S26)，输出部52使画面生成部48已生成的结果显示的画面显示在触摸屏60中(S30)。在如以上那样的实施方式中，也可以通过不使用特别的器材，而使用如内置在智能电话的摄像机那样广泛普及的器件的图像分析，使跑步姿势的改善变得容易。
(第三实施方式)
图14是表示第三实施方式中的信息终端12及分析服务器16的基本构成的功能块图。本实施方式中的动作状态评估系统10在包含信息终端12与分析服务器16这一点、及将“动作分析部”及“评估处理部”设置在信息终端12而非服务器侧(分析服务器16)这一点上与第一实施方式不同。另外，在将“动作分析部”设置在信息终端12而非服务器侧(分析服务器16)这一点上也与第二实施方式不同。以下，以与第一实施方式及第二实施方式的不同点为中心进行说明，省略共同点的说明。
由特征推断部142进行了推断的多个身体特征点的坐标数据通过输出部152及通信部162而被发送至信息终端12。信息终端12的基准存储部32事先将被检测者的身高作为基准长度来存储。数据处理部40具有动作分析部44、评估处理部46、功能控制部47、画面生成部48。动作分析部44根据多个身体特征点的坐标数据，求出基于在图像上所推断的规定的关节间的距离的相当于被试验者的身高的图像上的身高H。动作分析部44求出已求出的图像上的身高H与基准存储部32事先存储的作为基准长度的被检测者的身高的比，并将其设为将图像上的距离转换成米制单位的转换系数S。动作分析部44根据视频图像对各种跑步姿势参数进行分析，使长度的值乘以转换系数S，由此求出真实世界中的米制单位的跑步姿势参数的分析值P。
评估处理部46将作为说明变数的基于身体状态的值V代入规定的回归方程式中来算出各种跑步姿势参数的假定值E，按照由动作分析部44所算出的分析值P与假定值E的差是否为标准偏差内，对被检测者的动作进行评估。分析结果及评估结果被记录在结果存储部36中。评估处理部46从信息存储部34中提取与对被检测者的动作进行评估的结果对应的建议信息。已被提取的建议信息显示在画面生成部48生成的画面中。
图15是表示信息终端12与分析服务器16之间的数据流、以及视频图像的分析及评估的处理过程的流程图。首先，图像获取部20获取被检测者的视频图像(S10)，输出部52及通信部62将视频图像转送至评估服务器14(S12)。特征推断部142根据已接收的视频图像来推断多个身体特征点(S14)。输出部152及通信部162将多个身体特征点的坐标数据发送至信息终端12(S15)，动作分析部44测量图像上的身高H(S16)，通过与事先存储的被检测者的身高的比来算出转换系数S(S18)。动作分析部44根据视频图像对各种跑步姿势参数的值进行分析，使长度的值乘以转换系数S来算出分析值P(S20)。评估处理部46将作为说明变数的基于身体状态的值V代入各种跑步姿势参数各自的回归方程式中来算出各参数的假定值E(S22)，通过各参数的分析值P是否为各自的假定值E±标准偏差SD的范围内来进行评估(S24)。评估处理部46对应于评估结果来提取建议信息(S26)，输出部52使画面生成部48已生成的结果显示的画面显示在触摸屏60中(S30)。在如以上那样的实施方式中，也可以通过不使用特别的器材，而使用如内置在智能电话的摄像机那样广泛普及的器件的图像分析，使跑步姿势的改善变得容易。
(第四实施方式)
图16是表示第四实施方式中的信息终端12及管理服务器18的基本构成的功能块图。本实施方式中的动作状态评估系统10在包含信息终端12与管理服务器18这一点，及将“特征推断部”、“动作分析部”、“评估处理部”设置在信息终端12而非服务器侧(管理服务器18)这一点上与第一实施方式～第三实施方式不同。以下，以与第一实施方式～第三实施方式的不同点为中心进行说明，省略共同点的说明。
在本实施方式中，由图像获取部20所获取的视频图像作为分析对象不被转送至服务器侧(管理服务器18)，而在信息终端12中进行分析及评估的处理。数据处理部40具有特征推断部42、动作分析部44、评估处理部46、功能控制部47、画面生成部48。特征推断部42根据视频图像来推断被检测者的多个身体特征点。动作分析部44根据多个身体特征点的坐标数据，求出基于在图像上所推断的规定的关节间的距离的相当于被试验者的身高的图像上的身高H。动作分析部44求出已求出的图像上的身高H与基准存储部32事先存储的作为基准长度的被检测者的身高的比，并将其设为将图像上的距离转换成米制单位的转换系数S。动作分析部44根据视频图像对各种跑步姿势参数进行分析，使长度的值乘以转换系数S，由此求出真实世界中的米制单位的跑步姿势参数的分析值P。
评估处理部46将作为说明变数的基于身体状态的值V代入规定的回归方程式中来算出各种跑步姿势参数的假定值E，按照由动作分析部44所算出的分析值P与假定值E的差是否为标准偏差内，对被检测者的动作进行评估。分析结果及评估结果被记录在结果存储部36中。评估处理部46从信息存储部34中提取与对被检测者的动作进行评估的结果对应的建议信息。已被提取的建议信息显示在画面生成部48生成的画面中。
管理服务器18的数据存储部130具有信息存储部134。在信息存储部134中存储用户的ID及密码，在功能控制部47登录管理服务器18的情况下，与被存储在信息存储部134中的ID及密码进行对照。
图17是表示信息终端12中的视频图像的分析及评估的处理过程的流程图。首先，图像获取部20获取被检测者的视频图像(S10)，特征推断部42根据视频图像来推断多个身体特征点(S14)，动作分析部44测量图像上的身高H(S16)，通过与事先存储的被检测者的身高的比来算出转换系数S(S18)。动作分析部44根据视频图像对各种跑步姿势参数的值进行分析，使长度的值乘以转换系数S来算出分析值P(S20)。评估处理部46将作为说明变数的基于身体状态的值V代入各种跑步姿势参数各自的回归方程式中来算出各参数的假定值E(S22)，通过各参数的分析值P是否为各自的假定值E±标准偏差SD的范围内来进行评估(S24)。评估处理部46对应于评估结果来提取建议信息(S26)，输出部52使画面生成部48已生成的结果显示的画面显示在触摸屏60中(S30)。在如以上那样的实施方式中，也可以通过不使用特别的器材，而使用如内置在智能电话的摄像机那样广泛普及的器件的图像分析，使跑步姿势的改善变得容易。
以上，基于实施方式对本发明进行了说明。所述实施方式为例示，本领域从业人员理解所述各构成元件或各处理工序的组合可存在各种变形例，且此种变形例也处于本发明的范围内。以下表示变形例。
在所述各实施方式中，对用于跑步姿势的分析的例子进行了说明，但在变形例中，也可以应用于步行姿势的分析、或其它体育运动的姿势分析。例如，棒球或高尔夫的挥动姿势、游泳的姿势、滑雪的姿势等。并不限定于体育运动，也可以应用于跳舞或表演等技艺的姿势。
在所述各实施方式中，对将被检测者的身高的信息用作基准长度的例子进行了说明，但在变形例中，也可以将身高以外的身体部位的长度设为基准长度。或者，也可以将身体部位以外的长度设为基准长度，例如在被检测者身穿规定长度的物体的状态下拍摄视频图像，由此将所述规定长度设为基准长度。
另外，所述各实施方式与变形例的任意的组合也作为本发明的实施方式有用。通过组合而产生的新的实施方式兼具进行组合的实施方式及变形例各自效果。
符号的说明
10：动作状态评估系统
12：信息终端
14：评估服务器
16：分析服务器
18：管理服务器
20：图像获取部
32：基准存储部
34：信息存储部
42：特征推断部
44：动作分析部
46：评估处理部
52：输出部
132：基准存储部
134：信息存储部
142：特征推断部
144：动作分析部
146：评估处理部
152：输出部
200：视频图像
202：被检测者
产业上的可利用性
本发明涉及一种对被检测者的运动时的姿势进行分析的系统。

Claims (11)

1.一种动作状态评估系统，其特征在于包括：
图像获取部，获取被检测者的视频图像；
特征推断部，通过根据所述视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；
基准存储部，存储作为规定的基准部位在真实世界中的长度的基准长度；
动作分析部，基于根据经推断的所述多个身体特征点来决定的相当于所述基准部位的图像上的距离与所述基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估所述被检测者的动作的值；以及
输出部，输出所述表示动作状态的值。
2.根据权利要求1所述的动作状态评估系统，其特征在于，
所述特征推断部推断被检测者的多个关节位置作为所述多个身体特征点，
所述动作分析部基于在图像上所推断的规定的关节间的距离与所述基准长度的比，求出表示被检测者的动作状态的值。
3.根据权利要求1或2所述的动作状态评估系统，其特征在于，
所述基准存储部存储被检测者的身高作为所述基准长度
所述动作分析部基于根据所述多个身体特征点来决定的相当于被检测者的身高的图像上的距离与所述身高的比，根据所述多个身体特征点的图像上的特征点距离来求出表示被检测者的动作状态的值作为用于评估所述被检测者的动作的值。
4.根据权利要求1至3中任一项所述的动作状态评估系统，其特征在于，
还包括基于表示所述动作状态的值对被检测者的动作进行评估的评估处理部，
表示所述动作状态的值包含基于被检测者的运动时的规定动作的幅度的值，
所述基准存储部还将回归方程式及标准偏差作为事先使用多个其它被检测者的视频图像进行分析所求出的基于运动时的规定动作的幅度的值、与基于被检测者的身体状态的值之间的回归分析结果来存储，其中所述回归方程式将所述基于身体状态的值设为说明变数，将所述基于规定动作的幅度的值设为目标变数，
所述评估处理部将基于被检测者的所述身体状态的值代入所述回归方程式中来算出所述基于规定动作的幅度的值的假定值，按照根据被检测者的视频图像进行分析所得的基于规定动作的幅度的值与所述假定值的差是否为所述标准偏差内，对所述被检测者的动作进行评估，
所述输出部输出所述评估的结果。
5.根据权利要求4所述的动作状态评估系统，其特征在于，
还包括信息存储部，其通过与动作的评估结果的对应，来存储与所述运动中的动作相关联的建议信息，
所述评估处理部从所述信息存储部中提取与对所述被检测者的动作进行评估的结果对应的建议信息，
所述输出部输出所述已被提取的建议信息。
6.一种动作状态评估装置，其特征在于包括：
图像获取部，获取被检测者的视频图像；
发送部，将所述视频图像经由网络而发送至规定的服务器；
接收部，接收表示被检测者的动作状态的值，所述值基于根据所述被检测者的多个身体特征点来决定的相当于规定的基准部位的图像上的距离、与事先存储的作为所述基准部位在真实世界中的长度的基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出，所述被检测者的多个身体特征点是在所述服务器中，通过根据所述视频图像来对被检测者的体态进行图像识别的规定的体态识别方法来推断；以及
输出部，将所述表示动作状态的值显示在画面中。
7.一种动作状态评估装置，其特征在于包括：
图像获取部，获取被检测者的视频图像；
特征推断部，通过根据所述视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；
基准存储部，存储作为规定的基准部位在真实世界中的长度的基准长度；
动作分析部，基于根据经推断的所述多个身体特征点来决定的相当于所述基准部位的图像上的距离与所述基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估所述被检测者的动作的值；以及
输出部，将所述表示动作状态的值显示在画面中。
8.一种动作状态评估服务器，其特征在于包括：
接收部，经由网络而从规定的信息终端接收被检测者的视频图像；
特征推断部，通过根据所述视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；
基准存储部，存储作为规定的基准部位在真实世界中的长度的基准长度；
动作分析部，基于根据经推断的所述多个身体特征点来决定的相当于所述基准部位的图像上的距离与所述基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估所述被检测者的动作的值；以及
输出部，输出所述表示动作状态的值。
9.一种动作状态评估方法，其特征在于包括：
获取被检测者的视频图像；
通过根据所述视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；
基于根据所述经推断的多个身体特征点来决定的相当于规定的基准部位的图像上的距离、与事先存储的作为所述基准部位在真实世界中的长度的基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估所述被检测者的动作的值；以及
输出所述表示动作状态的值。
10.一种动作状态评估程序，其特征在于包括：
经由规定的摄像部件来获取被检测者的视频图像；
将所述视频图像经由网络而发送至规定的服务器；
经由网络来接收表示被检测者的动作状态的值，其中所述值基于根据所述被检测者的多个身体特征点来决定的相当于规定的基准部位的图像上的距离、与事先存储的作为所述基准部位在真实世界中的长度的基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出，所述被检测者的所述多个身体特征点是在所述服务器中，通过根据所述视频图像来对所述被检测者的体态进行图像识别的规定的体态识别方法来推断；以及
将所述表示动作状态的值显示在画面中。
11.一种动作状态评估程序，其特征在于包括：
经由规定的摄像部件来获取被检测者的视频图像；
在处理器的处理中，通过根据所述视频图像来对被检测者的体态进行图像识别的规定的体态识别方法，推断被检测者的多个身体特征点；
从规定的存储介质中读出作为规定的基准部位在真实世界中的长度的基准长度；
在处理器的处理中，基于根据经推断的所述多个身体特征点来决定的相当于所述基准部位的图像上的距离与所述基准长度的比，根据所述多个身体特征点之间的图像上的距离来求出表示被检测者的动作状态的值作为用于评估所述被检测者的动作的值的过程；以及
将所述表示动作状态的值显示在画面中的过程。
CN201780096144.3A 2017-10-27 2017-10-27 动作状态评估系统及其装置、服务器、方法以及存储介质 Active CN111263953B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038909 WO2019082376A1 (ja) 2017-10-27 2017-10-27 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム

Publications (2)

Publication Number Publication Date
CN111263953A true CN111263953A (zh) 2020-06-09
CN111263953B CN111263953B (zh) 2024-03-01

Family

ID=66246354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096144.3A Active CN111263953B (zh) 2017-10-27 2017-10-27 动作状态评估系统及其装置、服务器、方法以及存储介质

Country Status (5)

Country Link
US (1) US11182599B2 (zh)
EP (1) EP3703009A4 (zh)
JP (1) JP6703199B2 (zh)
CN (1) CN111263953B (zh)
WO (1) WO2019082376A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005199A (zh) * 2021-10-26 2022-02-01 珠海格力电器股份有限公司 一种门锁控制方法、装置、电子设备及存储介质
CN114533040A (zh) * 2022-01-12 2022-05-27 北京京仪仪器仪表研究总院有限公司 一种固定空间内人员特定活跃度的监测方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082376A1 (ja) * 2017-10-27 2019-05-02 株式会社アシックス 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム
WO2019127108A1 (en) * 2017-12-27 2019-07-04 Intel Corporation Key-point guided human attribute recognition using statistic correlation models
US20190259475A1 (en) * 2018-02-20 2019-08-22 SameDay Security, Inc. Connected Kiosk for the Real-Time Assessment of Falls Risk
US11557215B2 (en) * 2018-08-07 2023-01-17 Physera, Inc. Classification of musculoskeletal form using machine learning model
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Ｓｐｏｒｔｉｐ 運動支援システム
CN113728394A (zh) 2019-05-21 2021-11-30 史密夫和内修有限公司 身体活动执行和训练的评分度量
US20220339500A1 (en) * 2019-09-20 2022-10-27 Nec Corporation Information generation device, information generation method, and recording medium
JP7492722B2 (ja) * 2019-09-26 2024-05-30 株式会社Sportip 運動評価システム
US11024053B1 (en) * 2019-12-20 2021-06-01 NEX Team Inc. User analytics using a mobile device camera and associated systems and methods
JP2021115471A (ja) * 2020-01-21 2021-08-10 Ｐｏｓｅｎ株式会社 姿勢診断システム、姿勢診断方法及び姿勢診断用データセット
CN115175742A (zh) * 2020-02-28 2022-10-11 京瓷株式会社 动作解析系统、服务器、动作解析方法、控制程序、记录介质
US20230172491A1 (en) * 2020-05-05 2023-06-08 Stephen GROSSERODE System and method for motion analysis including impairment, phase and frame detection
JP7459679B2 (ja) * 2020-06-23 2024-04-02 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置
JP7056708B2 (ja) * 2020-09-23 2022-04-19 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
JP7302699B2 (ja) * 2020-09-23 2023-07-04 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
CN112288766B (zh) * 2020-10-28 2024-05-28 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
JP7487344B2 (ja) 2020-12-25 2024-05-20 株式会社アシックス 運動動作分析システム、運動動作分析方法および運動動作分析プログラム
WO2022137498A1 (ja) * 2020-12-25 2022-06-30 株式会社アシックス 運動動作分析システム、運動動作分析方法および運動動作分析プログラム
WO2022168252A1 (ja) * 2021-02-05 2022-08-11 日本電信電話株式会社 身長推定方法、身長推定装置及びプログラム
WO2023076378A1 (en) * 2021-10-27 2023-05-04 Qioptiq Limited Passive range finder and associated method
JP2024041106A (ja) * 2022-09-14 2024-03-27 カシオ計算機株式会社 運動評価方法、情報処理装置、運動評価システム及びプログラム
TWI818797B (zh) * 2022-11-08 2023-10-11 國立勤益科技大學 運動體能檢定系統
CN117373618A (zh) * 2023-10-23 2024-01-09 广州景腾医疗科技股份有限公司 一种用于分析仪的局部人体成分数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020897A (ja) * 2002-09-26 2009-01-29 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
US20140148931A1 (en) * 2012-02-29 2014-05-29 Mizuno Corporation Running form diagnosis system and method for scoring running form
JP2016001439A (ja) * 2014-06-12 2016-01-07 東芝テック株式会社 情報処理装置および報知システム
US20170372482A1 (en) * 2015-10-21 2017-12-28 University Of Tsukuba Evaluation information provision system and evaluation information provision method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007899B2 (ja) 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
CN103210421B (zh) * 2010-12-09 2016-03-02 松下电器产业株式会社 物体检测装置及物体检测方法
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
JP2016034482A (ja) * 2014-07-31 2016-03-17 セイコーエプソン株式会社 運動解析装置、運動解析方法、運動解析プログラム及び運動解析システム
CN106027796B (zh) 2016-06-30 2019-11-05 京东方科技集团股份有限公司 一种信息处理方法、终端及跑鞋
CN106709663B (zh) * 2017-01-03 2020-12-01 武汉大学 一种基于城市影像资料确定洪水中人体稳定性的方法
WO2019082376A1 (ja) * 2017-10-27 2019-05-02 株式会社アシックス 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム
CN109960962B (zh) * 2017-12-14 2022-10-21 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
EP3909504A3 (en) * 2018-05-28 2022-03-09 Kaia Health Software GmbH Monitoring the performance of physical exercises
EP3900885A4 (en) * 2018-12-21 2022-09-28 LG Electronics Inc. METHOD OF ROBOT CONTROL
EP3911423A4 (en) * 2019-01-15 2022-10-26 Shane Yang ADVANCED COGNITION METHODS AND DEVICE FOR SIMULTANEOUS FEEDBACK IN PSYCHOMOTOR LEARNING
JP7107264B2 (ja) * 2019-03-20 2022-07-27 トヨタ自動車株式会社 人等の身体動作推定システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020897A (ja) * 2002-09-26 2009-01-29 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
US20140148931A1 (en) * 2012-02-29 2014-05-29 Mizuno Corporation Running form diagnosis system and method for scoring running form
JP2016001439A (ja) * 2014-06-12 2016-01-07 東芝テック株式会社 情報処理装置および報知システム
US20170372482A1 (en) * 2015-10-21 2017-12-28 University Of Tsukuba Evaluation information provision system and evaluation information provision method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005199A (zh) * 2021-10-26 2022-02-01 珠海格力电器股份有限公司 一种门锁控制方法、装置、电子设备及存储介质
CN114005199B (zh) * 2021-10-26 2022-10-11 珠海格力电器股份有限公司 一种门锁控制方法、装置、电子设备及存储介质
CN114533040A (zh) * 2022-01-12 2022-05-27 北京京仪仪器仪表研究总院有限公司 一种固定空间内人员特定活跃度的监测方法
CN114533040B (zh) * 2022-01-12 2024-04-09 北京京仪仪器仪表研究总院有限公司 一种固定空间内人员特定活跃度的监测方法

Also Published As

Publication number Publication date
CN111263953B (zh) 2024-03-01
EP3703009A4 (en) 2021-06-23
WO2019082376A1 (ja) 2019-05-02
JP6703199B2 (ja) 2020-06-03
JPWO2019082376A1 (ja) 2020-04-23
US11182599B2 (en) 2021-11-23
US20200250408A1 (en) 2020-08-06
EP3703009A1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
CN111263953B (zh) 动作状态评估系统及其装置、服务器、方法以及存储介质
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
CN103596626B (zh) 跑步方式诊断系统以及跑步方式的打分方法
CN108256433A (zh) 一种运动姿态评估方法及系统
KR100772497B1 (ko) 골프 클리닉 시스템 및 그것의 운용방법
CN109716444B (zh) 运动表现的评估与指导
TWI464696B (zh) 動作比對方法與動作比對系統
CN104274182A (zh) 动作信息处理装置以及方法
JP2015514467A (ja) 筋肉活動の取得および分析用のシステムならびにその動作方法
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
KR102356685B1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
WO2021039857A1 (ja) 映像生成装置
JP2018187284A (ja) 運動状態診断システムおよび運動状態診断プログラム
US20160180059A1 (en) Method and system for generating a report for a physical activity
Davies et al. Unobtrusive bioanalytics for impact–related sport activities
JP2022552785A (ja) 定量化された運動のフィードバックシステム
JP2020108823A (ja) 情報処理装置、情報処理方法、およびプログラム
Latyshev et al. COMPUTER VISION TECHNOLOGIES FOR HUMAN POSE ESTIMATION IN EXERCISE: ACCURACY AND PRACTICALITY
TWI784243B (zh) 跆拳道品勢動作偵測與比對方法
KR102544649B1 (ko) 피드백 제공 장치, 이를 이용하는 신체활동 피드백 제공 시스템 및 방법
US20210307652A1 (en) Systems and devices for measuring, capturing, and modifying partial and full body kinematics
KR20230102011A (ko) 스포츠 퍼포먼스 분석 및 코칭 시스템 및 그 방법
US20160249834A1 (en) Range of motion capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant