CN108778123A - 步态分析装置、步态分析方法和计算机可读记录介质 - Google Patents

步态分析装置、步态分析方法和计算机可读记录介质 Download PDF

Info

Publication number
CN108778123A
CN108778123A CN201780017199.0A CN201780017199A CN108778123A CN 108778123 A CN108778123 A CN 108778123A CN 201780017199 A CN201780017199 A CN 201780017199A CN 108778123 A CN108778123 A CN 108778123A
Authority
CN
China
Prior art keywords
image data
bone information
information
user
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780017199.0A
Other languages
English (en)
Other versions
CN108778123B (zh
Inventor
寺岛宏纪
永井克幸
木下友见
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN108778123A publication Critical patent/CN108778123A/zh
Application granted granted Critical
Publication of CN108778123B publication Critical patent/CN108778123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4571—Evaluating the hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4585—Evaluating the knee
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

步态分析装置(10)配备有：数据获取单元(11)，用于获取利用深度传感器的步行中的用户的第一通信数据和从不同方向的步行中的用户的第二图像数据；骨骼信息创建单元(12)，用于使用深度信息来创建标识关节的位置的骨骼信息；测量信息创建单元(13)，用于创建标识总步数以及左脚和右脚的触地历史的测量信息；共同部分提取单元(14)，用于比较两组测量信息，并且从与第一图像数据和第二图像数据有关的骨骼信息中提取具有共同的触地历史的部分；校正处理单元(15)，用于在所提取的骨骼信息中使用与帧数较少的图像数据有关的骨骼信息来校正与帧数较多的图像数据有关的骨骼信息；以及分析处理单元(16)，用于分析用户的步态。

Description

步态分析装置、步态分析方法和计算机可读记录介质
技术领域
本发明涉及用于分析人的步行运动的步态分析装置和步态分析方法，并且还涉及记录有用于实现这两者的程序的计算机可读记录介质。
背景技术
近年来已尝试使用诸如Kinect(注册商标)等的深度传感器来分析人的运动。例如，非专利文献1公开了使用深度传感器来拍摄康复中的患者移动他/她的关节的图像以测量该患者的关节的可动范围的系统。可想到，可以使用非专利文献1中所公开的系统来分析除在康复期间发生的运动以外的运动。
例如，还可以使用非专利文献1中所公开的系统来分析人的步行运动。特别是对于老年人而言，走路时跌倒极有可能影响人的健康，从而导致卧床不起状态和社交退缩。因此，预先预测人的跌倒风险的程度很重要。使用非专利文献1中所公开的系统分析步行运动可被认为在这种预测中是有用的。在这种情况下，分析对象仅向着深度传感器步行就足够了。
现有技术文献
非专利文献
非专利文献1：Kitsunezaki,N.、Adachi,E.、Yokota,T.和Mizusawa,J.，“KINECTapplications for the physical rehabilitation”The Institute of Electronics,Information and Communication Engineers,IEICE technical report IE2012-89；2012年11月；第41-46页
发明内容
发明要解决的问题
顺便提及，利用非专利文献1中所公开的系统，要分析的用户必须位于深度传感器的正前方，以正确地分析运动。因而，在分析用户的步行运动时，用户需要向着深度传感器步行。
然而，在向着深度传感器步行时，用户可能无意中将深度传感器误认为障碍物并且在深度传感器附近突然降低他/她的步行速度或者改变他/她的路径。在这种情况下，存在步行运动分析的精度下降的风险。
本发明的目的的一个示例提供能够解决上述问题并且在使用深度传感器分析步行运动时提高分析精度的步态分析装置、步态分析方法和计算机可读记录介质。
用于解决问题的方案
为了实现上述目的，根据本发明的一个方面的一种步态分析装置，包括：数据获取单元，用于逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；骨骼信息创建单元，用于使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；测量信息创建单元，用于针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；共同部分提取单元，用于将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；校正处理单元，用于在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及分析处理单元，用于使用校正后的骨骼信息来分析用户的步态。
另外，为了实现上述目的，根据本发明的一个方面的一种步态分析方法，包括以下步骤：(a)逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；(b)使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；(c)针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；(d)将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；(e)在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及(f)使用校正后的骨骼信息来分析用户的步态。
此外，为了实现上述目的，根据本发明的一个方面的一种计算机可读记录介质，其存储程序，所述程序包括使计算机执行以下步骤的命令：(a)逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；(b)使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；(c)针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；(d)将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；(e)在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及(f)使用校正后的骨骼信息来分析用户的步态。
发明的效果
根据本发明，在使用深度传感器分析步行运动时，可以提高分析的精度。
附图说明
图1是示出根据本发明实施例的步态分析装置的整体结构的框图。
图2是更详细地示出根据本发明实施例的步态分析装置的结构的框图。
图3是示出在本实施例中使用的深度传感器的配置的示例的图。图3的(a)～(c)示出不同的状态。
图4是示出在本发明实施例中创建的骨骼信息的示例的图。
图5是示出根据本发明实施例的计算三维坐标的处理的图，其中：图5的(a)用于画面的水平方向，并且图5的(b)用于画面的垂直方向。
图6是示出用户的胸部/腰部区域的Y坐标的值(y值)的随时间经过的变化和触地判断结果的示例的图。
图7是示出在本发明实施例中创建的测量信息的示例的图。
图8的(a)和(b)是示出本发明实施例中执行的帧数不一致的情况下的补充处理的示例的图。图8的(a)和(b)示出不同的示例。
图9是示出用户的胸部/腰部区域的x坐标的值(x值)和z坐标的值(z值)的随时间经过的变化的示例的图。
图10是示出用户的行进方向和深度传感器的位置之间的关系的示例的图。
图11是示出根据本发明实施例的对骨骼信息所进行的校正的图，其中图11的(a)示出第一图像数据中的骨骼信息的示例，图11的(b)示出第二图像数据中的骨骼信息的示例，并且图11的(c)示出校正之后的骨骼信息的示例。
图12是示出根据本发明实施例的步态分析装置的操作的流程图。
图13是示出实现根据本发明实施例的步态分析装置的计算机的示例的框图。
具体实施方式
(实施例)
以下将参考图1～13来说明根据本发明实施例的步态分析装置、步态分析方法和程序。
[装置结构]
首先，将使用图1来说明根据本实施例的步态分析装置的整体结构。图1是示出根据本发明实施例的步态分析装置的整体结构的框图。
图1所示的根据本实施例的步态分析装置10是用于分析用户的步态的装置。如图1所示，步态分析装置10包括数据获取单元11、骨骼信息创建单元12、测量信息创建单元13、共同部分提取单元14、校正处理单元15和分析处理单元16。
数据获取单元11逐帧地获取通过深度传感器从相对于行进方向倾斜的第一方向拍摄步行中的用户的图像所获得的第一图像数据。数据获取单元11还逐帧地获取通过上述深度传感器或不同的深度传感器从相对于行进方向倾斜的作为与第一方向不同的方向的第二方向拍摄步行中的用户的图像所获得的第二图像数据。
骨骼信息创建单元12使用第一图像数据和第二图像数据各自中所包括的深度信息，针对所获取的所有图像数据来创建用于标识用户的特定关节的位置的骨骼信息。
测量信息创建单元13针对第一图像数据和第二图像数据各自，使用所获取到的所有图像数据来创建用于标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息。
共同部分提取单元14将所获取到的所有第一图像数据中的测量信息与所获取到的所有第二图像数据中的测量信息进行比较。然后，共同部分提取单元14从所获取到的所有第一图像数据中的骨骼信息和所获取到的所有第二图像数据中的骨骼信息中，提取用户的左脚和右脚的触地历史所共同的部分。
在所提取的第一图像数据和所提取的第二图像数据中，校正处理单元15使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息。分析处理单元16使用校正后的骨骼信息来分析用户的步态。
因而，利用步态分析装置10，可以使用在深度传感器配置在并非用户正前方的位置的状态下所获得的图像数据来分析用户的步态。这抑制了用户无意中将深度传感器误认为障碍物并且在深度传感器附近突然降低他/她的步行速度或者改变他/她的路径的情形。因而，根据步态分析装置10，在使用深度传感器分析步行运动时，可以提高分析的精度。
接着，将使用图2～11来详细描述根据本实施例的步态分析装置10的结构和功能。图2是更详细地示出根据本发明实施例的步态分析装置的结构的框图。
如图2所示，在本实施例中，步态分析装置10连接至深度传感器20和21。步态分析装置10有线地或无线地从深度传感器20和21接收向各像素添加了深度的图像数据。深度传感器20和21例如包括用于按特定模式发射红外激光的光源和用于接收被物体反射之后的红外光的图像传感器，由此输出向各像素添加了深度的图像数据。作为深度传感器20和21的具体示例，可以给出诸如Kinect(注册商标)等的现有的深度传感器。
这里将使用图3来说明深度传感器的位置和用户的行进方向之间的关系。图3是示出在本实施例中使用的深度传感器的配置的示例的图。图3的(a)～(c)示出不同的状态。在图3的(a)～(c)中，实线箭头表示用户30的行进方向，并且虚线箭头表示深度传感器的摄像方向。
如图3的(a)所示，在本实施例中，深度传感器20被配置成主要从右侧拍摄步行中的用户30的图像，而深度传感器21被配置成主要从左侧拍摄步行中的用户30的图像。换句话说，在图3的(a)所示的示例中，深度传感器20从相对于步行中的用户30的行进方向向右侧倾斜的方向拍摄用户30的图像，而深度传感器21从相对于步行中的用户30的行进方向向左侧倾斜的方向拍摄用户30的图像。
然而，在本实施例中，如图3的(b)和(c)所示，作为代替可以仅配置单个深度传感器。例如，如图3的(b)所示，如果用户30以穿过深度传感器20前方、转弯180度、然后返回的方式步行，则单个深度传感器20可以从相对于行进方向向右侧倾斜的方向和相对于行进方向向左侧倾斜的方向这两个方向拍摄步行中的用户30的图像。
此外，如图3的(c)所示，如果用户30以从深度传感器20的左侧的路径离开的方式步行以及还以从深度传感器20的右侧的路径离开的方式步行，则单个深度传感器20可以从相对于行进方向向右侧倾斜的方向和相对于行进方向向左侧倾斜的方向这两个方向拍摄步行中的用户30的图像。
假设深度传感器20和21如图3的(a)所示配置，数据获取单元11从深度传感器20获取第一图像数据并且从深度传感器21获取第二图像数据。然而，如果仅单个深度传感器以图3的(b)或(c)所示的方式配置，则数据获取单元11从该单个深度传感器获得第一图像数据和第二图像数据。
在本实施例中，骨骼信息创建单元12通过使用图像数据中的坐标和添加到像素的深度来针对各个图像数据计算用户的特定关节的三维坐标，并且使用所计算出的三维坐标来创建骨骼信息。图4是示出在本发明实施例中创建的骨骼信息的示例的图。如图4所示，骨骼信息包括从摄像开始起的各个经过时间处的各个关节的三维坐标。在本说明书中，X坐标是图像数据中的相对于水平方向的位置的值，Y坐标是图像数据中的相对于垂直方向的位置的值，并且Z坐标是添加到像素的深度的值。
作为特定关节的示例，可以给出头、颈、右肩、右肘、右腕、右手、右手拇指、右手尖、左肩、左肘、左腕、左手、左手拇指、左手尖、胸部区域、胸部/腰部区域、骨盆区域、右髋关节、右膝、右脚踝、右脚背、左髋关节、左膝、左脚踝和左脚背等。图4示出骨盆区域、胸部/腰部区域和右拇指(右手拇指)的三维坐标的示例。
用于根据图像数据中的坐标和深度来计算三维坐标的方法如下。图5是示出根据本发明实施例的用于计算三维坐标的处理的图，其中：图5的(a)用于图像的水平方向(X坐标)的计算处理，并且图5的(b)用于图像的垂直方向(Y坐标)的计算处理。
首先，利用(DX,DY)表示已添加了深度的图像数据中的特定点的坐标，并且利用DPT表示特定点处的深度。利用2CX表示图像数据在水平方向上的像素数，并且利用2CY表示垂直方向上的像素数。利用2θ表示深度传感器在水平方向上的视角，并且利用表示垂直方向上的视角。在这种情况下，如从图5的(a)和(b)可以看出，可以通过以下的等式1～3来计算特定点的三维坐标(WX,WY,WZ)。
[等式1]
WX＝((CX-DX)×DPT×tanθ)/CX
[等式2]
[等式3]
WZ＝DPT
在本实施例中，测量信息创建单元13首先在第一图像数据和第二图像数据各自中判断用户的脚与地面是否接触，然后识别脚接触地面的定时、即触地定时。然后，测量信息创建单元13根据所识别出的触地定时来创建测量信息。
具体地，测量信息创建单元13监视用户的胸部/腰部区域的Y坐标的位移，并且使用该位移从负值改变为正值时的帧作为触地定时。图6是示出用户的胸部/腰部区域的Y坐标的值(y值)的随时间经过的变化和触地判断结果的示例的图。在图6中，实线表示触地判断。在胸部/腰部区域的Y坐标的位移从负值改变为正值时，对于触地判断获得值“1”，并且判断为触地的状态。然而，在其它情况下，对于触地判断获得值“0”，并且判断为不触地的状态。在图6中，虚线表示胸部/腰部区域的y值。
然后，基于触地判断结果，测量信息创建单元13例如创建图7所示的测量信息。图7是示出在本发明实施例中创建的测量信息的示例的图。如图7所示，测量信息针对从摄像开始起经过的各时间量记录间隙(秒)以及右腿部和左腿部的步态节奏(秒)。
在图7中，间隙表示触地定时之间的时间。在右脚的情况下，例如，步态节奏表示在左脚的触地定时之后直到右脚接下来触地为止的时间。如此，通过使用图7所示的测量信息，可以根据间隙的值的变化的总数来计算用户的总步数。识别左脚和右脚的步态节奏中的哪个步态节奏首先改变，这使得可以识别触地脚的顺序作为触地历史。此外，可以根据直到步态节奏改变为止的帧数来识别触地时所经过的帧数作为触地历史。
在本实施例中，共同部分提取单元14首先根据第一图像数据中的测量信息来识别总步数和触地顺序，并且还从第二图像数据中识别总步数和触地顺序。然后，共同部分提取单元14从图像数据的两个实例中的骨骼信息中提取触地历史的共同部分。例如，在根据第一图像数据中的测量信息识别出总步数“5”和触地历史“左、右、左、右、左”、并且根据第二图像数据中的测量信息识别出总步数“3”和触地历史“右、左、右”的情况下，共同部分提取单元14将这两个信息中的“右、左、右”部分识别为共同部分。然后，共同部分提取单元14识别与第一图像数据和第二图像数据之间共同的部分相对应的骨骼信息，并且提取所识别出的骨骼信息。
如果与所提取的骨骼信息相对应的图像数据中的帧数在第一图像数据和第二图像数据之间不一致，则校正处理单元15执行用于使帧数一致的处理。换句话说，校正处理单元15将补充用骨骼信息添加到帧数较少的骨骼信息，使得所提取的第一图像数据中的帧数和所提取的第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息校正帧数较多的骨骼信息。
将使用图8来说明用于使帧数一致的处理。图8的(a)和(b)是示出在本发明实施例中执行的帧数不一致的情况下的补充处理的示例的图。图8的(a)和(b)示出不同的示例。
在图8的(a)所示的示例中，在第一图像数据中存在10个帧并且在第二图像数据中存在7个帧，因此需要补充第二图像数据中的骨骼信息。通过计算接下来说明的组数、等待数和跳过数来确定补充定时。注意，在以下说明中，将原本存在的骨骼信息称为“实际数据”，并且将补充用骨骼信息称为“临时数据”。
组数是与实际数据构成组的临时数据的数量，并且通过以下来计算：将较多的总帧数除以较少的总帧数，丢弃所获得的值中的小数点后面的数字，并且从整数部分中减去1。等待数是在添加与根据组数所添加的临时数据不同的临时数据之前应当出现的实际数据的数量。等待数通过以下来计算：将较少的总帧数除以通过将较多的总帧数除以较少的总帧数所得到的余数的值，然后丢弃所获得的值中的小数点后面的数字。跳过数是对等待数进行跳过计数的次数，并且是在计算等待数时所获得的余数的值。等待数的“跳过计数”是指在对实际数据的数量进行计数直到实际数据的数量达到等待数为止时、从计数中排除第一个实际数据的次数。
在图8的(a)的示例中，第一图像数据具有10个帧并且第二图像数据具有7个帧，并且由于10÷7＝1.42...(商为1余数为3)并且1-1＝0，因此组数为“0”。由于7÷3＝2.33...(商为2余数为1)，因此等待数为“2”。跳过数为“1”。如此，补充后的第一图像数据和第二图像数据如图8的(a)所示。具体地，在图8的(a)所示的示例中，设置数为“0”，因而没有添加与实际数据形成组的临时数据。另外，跳过数为“1”并且等待数为“2”；因此，将第二图像数据中的第一个实际数据从等待数计数中排除，并且在第三个实际数据、第五个实际数据和第七个实际数据之后各自添加临时数据。
在图8的(b)所示的例子中，第一图像数据具有18个帧并且第二图像数据具有7个帧，并且由于18÷7＝2.57...(商为2余数为4)并且2-1＝1，因此组数为“1”。由于7÷4＝1.75(商为1余数为3)，因此等待数为“1”。跳过数为“3”。如此，补充后的第一图像数据和第二图像数据如图8的(b)所示。在图8的(b)中，用方形包围各组实际数据和临时数据以指示这些组。具体地，在图8的(b)所示的示例中，组数为“1”，因而在各实际数据之后添加一个临时数据。跳过数为“3”，因而对等待数进行三次跳过计数，使得将第二图像数据中的第一个实际数据、第三个实际数据和第五个实际数据从等待数计数排除。此外，等待数为“1”，因而每当等待数达到1时添加临时数据；因此，在第三个实际数据、第五个实际数据和第七个实际数据之前各自添加临时数据。
在图8的(a)和(b)中，黑色点(●)表示所补充的骨骼信息。将先前帧的实际数据用于所补充的骨骼信息。换句话说，利用黑色点表示的骨骼信息与黑色点左侧的利用空白点(○)表示的骨骼信息相同。
在用于使帧数一致的处理之后，校正处理单元15识别获得第一图像数据时的用户的行进方向和获得第二图像数据时的用户的行进方向，以利用帧数较少的骨骼信息校正帧数较多的骨骼信息。
在本实施例中，校正处理单元15根据胸部/腰部区域的三维坐标的变化来计算胸部/腰部区域在水平面(包括X轴和Z轴的面)中的运动矢量，然后使用所计算出的运动矢量来计算用户相对于深度传感器的摄像面的行进方向的角度θ。图9是示出用户的胸部/腰部区域的x坐标的值(x值)和z坐标的值(z值)的随时间经过的变化的示例的图。图10是示出用户的行进方向和深度传感器的位置之间的关系的示例的图。
在图9中，根据所标绘的黑色点获得的实线曲线图表示胸部/腰部区域的x值和z值，并且用圆圈包围的部分表示触地定时。特别地，位于曲线图左侧的圆圈表示用户的右脚的触地定时，并且位于右侧的圆圈表示用户的左脚的触地定时。在图10中，箭头AB与表示用户的行进方向的运动矢量AB相对应。O表示深度传感器的摄像面中的给定点。
具体地，如图9所示，校正处理单元15从胸部/腰部区域的x值和z值的随时间经过的变化中识别用户的一个脚的触地定时，通过连接所识别出的触地点来获得矢量，并且通过采用所获得的矢量作为运动矢量AB来识别用户的行进方向。校正处理单元15还可以指定数据获取的起点和终点，通过连接所识别出的起点和终点来获得矢量，并且通过将所获得的矢量作为运动矢量AB来识别用户的行进方向。
在图9中，实线箭头表示根据触地定时所求出的运动矢量，并且虚线箭头表示根据数据获取的起点和终点所求出的运动矢量。
在通过上述任意方法识别用户的运动矢量AB之后，校正处理单元15还根据深度传感器的位置和数据获取开始时的用户的位置获得矢量AO，然后使用以下的等式4来计算角度θ。
[等式4]
另外，在从获取到第一图像数据时和获取到第二图像数据时这两者识别用户的行进方向之后，校正处理单元15通过使用所识别出的用户的行进方向的角度θ使一个或两个骨骼信息中的各关节的三维坐标以y轴为中心转动来对这些坐标进行转换，使得所识别出的行进方向一致。
然后，校正处理单元15通过校正将第一图像数据中的骨骼信息与第二图像数据中的骨骼信息合成，以创建新的骨骼信息。将使用图11来说明该点。图11是示出根据本发明实施例的对骨骼信息所进行的校正的图，其中图11的(a)示出第一图像数据中的骨骼信息的示例，图11的(b)示出第二图像数据中的骨骼信息的示例，并且图11的(c)示出校正之后的骨骼信息的示例。
在校正之前和之后，如图4所示，骨骼信息实际上包括各关节的三维信息。然而，在图11的(a)～(c)所示的示例中，为了简单起见，将骨骼信息描绘为骨骼(skeleton)。另外，在图11的(a)～(c)中仅示出主要关节、而不是骨骼信息中所包括的所有关节。此外，在图11的(a)～(c)中，左侧的骨骼与从正面拍摄用户的情况下的骨骼相对应，并且右侧的骨骼与从右侧拍摄用户的情况下的骨骼相对应。
例如，假定第一方向是相对于用户的行进方向向右侧倾斜的方向，第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，并且第二图像数据与第一图像数据相比具有更高的帧数。在这种情况下，如图11的(c)所示，校正处理单元15利用第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
注意，如果第一图像数据与第二图像数据相比具有更多的帧数，则校正处理单元15利用第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置。
在本实施例中，分析处理单元16使用校正后的骨骼信息来计算表示膝伸直和脚尖抬起等的步态信息，并且将所计算出的步态信息显示在显示画面中。分析处理单元16还可以将从骨骼信息获得的骨骼(参见图11的(a)～(c))显示在显示画面中。
[装置操作]
接着，将使用图12来说明根据本发明实施例的步态分析装置10的操作。图12是示出根据本发明实施例的步态分析装置10的操作的流程图。以下说明将适当地参考图1～11。在本实施例中，通过使步态分析装置10工作来实现步态分析方法。如此，代替对根据本实施例的步态分析方法的说明，将给出以下的对步态分析装置10的操作的说明。
如图12所示，首先，数据获取单元11从深度传感器20获取第一图像数据，并且从深度传感器21获取第二图像数据(步骤S1)。数据获取单元11将所获取到的图像数据传递到骨骼信息创建单元12。
接着，骨骼信息创建单元12通过使用图像数据中的坐标和添加到像素的深度来针对各图像数据计算用户的特定关节的三维坐标，并且使用所计算出的三维坐标来创建骨骼信息(步骤S2)。骨骼信息创建单元12将所创建的骨骼信息传递到共同部分提取单元14。
接着，测量信息创建单元13针对第一图像数据和第二图像数据各自计算触地定时，并且根据所识别出的触地定时来创建测量信息(步骤S3)。测量信息创建单元13将所创建的测量信息传递到共同部分提取单元14。
接着，共同部分提取单元14根据第一图像数据中的测量信息来识别总步数和触地顺序，在第二图像数据中识别总步数和触地顺序，然后根据图像数据的这两个实例中的骨骼信息来识别触地历史的共同部分(步骤S4)。
接着，如果与所提取的骨骼信息相对应的图像数据中的帧数在第一图像数据和第二图像数据之间不一致，则校正处理单元15执行用于使帧数一致的处理(步骤S5)。注意，如果与所提取的骨骼信息相对应的图像数据中的帧数在第一图像数据和第二图像数据之间一致，则跳过步骤S5。
接着，校正处理单元15识别获取到第一图像数据时的用户的行进方向和获取到第二图像数据时的用户的行进方向(步骤S6)。然后，在识别获取到图像数据时的用户的行进方向之后，校正处理单元15通过使用所识别出的用户的行进方向的角度θ使一个或两个骨骼信息中的各关节的三维坐标以y轴为中心转动来对这些坐标进行转换，使得所识别出的行进方向一致(步骤S7)。
接着，校正处理单元15通过校正将第一图像数据中的骨骼信息与第二图像数据中的骨骼信息合成以创建新的骨骼信息(步骤S8)。校正处理单元15将校正后的新骨骼信息传递到分析处理单元16。
接着，分析处理单元16使用校正后的骨骼信息来分析用户的步态(步骤S9)。具体地，分析处理单元16使用校正后的骨骼信息来计算表示膝伸直和脚尖抬起等的步态信息，并且将所计算出的步态信息显示在显示画面中。分析处理单元16还将从骨骼信息获得的骨骼(参见图11的(c))显示在显示画面中。
如上所述，根据本实施例，在倾斜地拍摄步行中的用户的图像的情况下，可以获得与从正面拍摄该用户的图像的情况相同的骨骼信息。这抑制了用户在正在摄像时无意中将深度传感器误认为障碍物并且在深度传感器附近突然降低他/她的步行速度或者改变他/她的路径的情形，从而实现了步态分析的精度的提高。
[程序]
根据本实施例的程序可以是使计算机执行图12所示的步骤S1～S9的任何程序。可以通过将该程序安装在计算机中并执行该程序来实现根据本实施例的步态分析装置10和步态分析方法。在这种情况下，计算机的CPU(中央处理单元)通过作为数据获取单元11、骨骼信息创建单元12、测量信息创建单元13、共同部分提取单元14、校正处理单元15和分析处理单元16起作用来执行处理。
根据本实施例的程序可以利用由多个计算机构造成的计算机系统来执行。在这种情况下，例如，各计算机可以作为数据获取单元11、骨骼信息创建单元12、测量信息创建单元13、共同部分提取单元14、校正处理单元15和分析处理单元16中的任意单元起作用。
[物理结构]
将使用图13来说明通过执行根据本实施例的程序来实现步态分析装置10的计算机。图13是示出实现根据本发明实施例的步态分析装置10的计算机的示例的框图。
如图13所示，计算机110包括CPU 111、主存储器112、存储装置113、输入接口114、显示控制器115、数据读取器/写入器116和通信接口117。这些单元通过总线121连接，以能够彼此进行数据通信。
CPU 111将存储装置113中所存储的根据本实施例的程序(代码)加载到主存储器112中，并且根据规定的顺序执行该程序，由此执行各种操作。主存储器112通常是诸如DRAM(动态随机存取存储器)等的易失性存储装置。根据本实施例的程序存储在计算机可读记录介质120中并且以这种状态提供。注意，根据本实施例的程序可以通过经由通信接口117连接的因特网来分发。
作为存储装置113的具体示例，除硬盘驱动器外，还可以给出诸如闪速存储器等的半导体存储装置。输入接口114便于CPU 111与诸如键盘和鼠标等的输入装置118之间的数据传输。显示控制器115可以连接至显示装置119，并且控制显示装置119中进行的显示。
数据读取器/写入器116便于CPU 111和记录介质120之间的数据传输，从记录介质120读出程序，并且将计算机110所进行的处理的结果写入记录介质120。通信接口117便于CPU 111和其它计算机之间的数据交换。
作为记录介质120的具体示例，可以给出诸如CF(紧凑式闪存(Compact Flash，注册商标))或SD(安全数字)等的通用的半导体存储装置、诸如软盘等的磁存储介质、以及诸如CD-ROM(致密盘只读存储器)等的光学存储介质等。
注意，代替安装了程序的计算机，也可以使用与各个单元相对应的硬件来实现根据本实施例的步态分析装置10。此外，步态分析装置10的一部分可以由程序实现，而其余部分可以由硬件实现。
上述实施例的全部或一部分可被表示为下文所述的附录1～附录9，但并不意图限于以下的说明。
(附录1)
一种步态分析装置，包括：
数据获取单元，用于逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；
骨骼信息创建单元，用于使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；
测量信息创建单元，用于针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；
共同部分提取单元，用于将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；
校正处理单元，用于在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及
分析处理单元，用于使用校正后的骨骼信息来分析用户的步态。
(附录2)
根据附录1所述的步态分析装置，其中，
所述校正处理单元向帧数较少的骨骼信息添加补充用骨骼信息，使得所提取的所述第一图像数据中的帧数和所提取的所述第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息来校正帧数较多的骨骼信息。
(附录3)
根据附录1或2所述的步态分析装置，其中，
所述第一方向是相对于步行中的用户的行进方向向右侧倾斜的方向，并且所述第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，以及
所述校正处理单元进行以下操作：
在所述第一图像数据中的帧数高于所述第二图像数据中的帧数的情况下，利用所述第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换所述第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置；以及
在所述第二图像数据中的帧数高于所述第一图像数据中的帧数的情况下，利用所述第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换所述第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
(附录4)
一种步态分析方法，包括以下步骤：
(a)逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；
(b)使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；
(c)针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；
(d)将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；
(e)在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及
(f)使用校正后的骨骼信息来分析用户的步态。
(附录5)
根据附录4所述的步态分析方法，其中，
在步骤(e)中，向帧数较少的骨骼信息添加补充用骨骼信息，使得所提取的所述第一图像数据中的帧数和所提取的所述第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息来校正帧数较多的骨骼信息。
(附录6)
根据附录4或5所述的步态分析方法，其中，
所述第一方向是相对于步行中的用户的行进方向向右侧倾斜的方向，并且所述第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，以及
在步骤(e)中，
在所述第一图像数据中的帧数高于所述第二图像数据中的帧数的情况下，利用所述第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换所述第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置；以及
在所述第二图像数据中的帧数高于所述第一图像数据中的帧数的情况下，利用所述第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换所述第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
(附录7)
一种计算机可读记录介质，其存储程序，所述程序包括使计算机执行以下步骤的命令：
(a)逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；
(b)使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；
(c)针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；
(d)将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；
(e)在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及
(f)使用校正后的骨骼信息来分析用户的步态。
(附录8)
根据附录7所述的计算机可读记录介质，其中，
在步骤(e)中，向帧数较少的骨骼信息添加补充用骨骼信息，使得所提取的所述第一图像数据中的帧数和所提取的所述第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息来校正帧数较多的骨骼信息。
(附录9)
根据附录7或8所述的计算机可读记录介质，其中，
所述第一方向是相对于步行中的用户的行进方向向右侧倾斜的方向，并且所述第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，以及
在步骤(e)中，
在所述第一图像数据中的帧数高于所述第二图像数据中的帧数的情况下，利用所述第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换所述第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置；以及
在所述第二图像数据中的帧数高于所述第一图像数据中的帧数的情况下，利用所述第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换所述第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
尽管以上已经参考实施例说明了本发明，但本发明不限于上述实施例。本领域普通技术人员可以在没有背离本发明的范围的情况下对本发明的结构和详情进行许多改变。
本申请要求基于2016年3月31日提交的日本专利申请2016-072411的优先权，其全部内容通过引用而被包含于此。
产业上的可利用性
根据本发明，在使用深度传感器分析步行运动时，可以提高分析的精度。因此，本发明在需要分析人的步态的各种领域中是有用的。
附图标记说明
10 步态分析装置
11 数据获取单元
12 骨骼信息创建单元
13 测量信息创建单元
14 共同部分提取单元
15 校正处理单元
16 分析处理单元
20,21 深度传感器
30 用户
110 计算机
111 CPU
112 主存储器
113 存储装置
114 输入接口
115 显示控制器
116 数据读取器/写入器
117 通信接口
118 输入装置
119 显示装置
120 记录介质
121 总线

Claims (9)

1.一种步态分析装置，包括：
数据获取单元，用于逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；
骨骼信息创建单元，用于使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；
测量信息创建单元，用于针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；
共同部分提取单元，用于将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；
校正处理单元，用于在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及
分析处理单元，用于使用校正后的骨骼信息来分析用户的步态。
2.根据权利要求1所述的步态分析装置，其中，
所述校正处理单元向帧数较少的骨骼信息添加补充用骨骼信息，使得所提取的所述第一图像数据中的帧数和所提取的所述第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息来校正帧数较多的骨骼信息。
3.根据权利要求1或2所述的步态分析装置，其中，
所述第一方向是相对于步行中的用户的行进方向向右侧倾斜的方向，并且所述第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，以及所述校正处理单元进行以下操作：
在所述第一图像数据中的帧数高于所述第二图像数据中的帧数的情况下，利用所述第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换所述第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置；以及
在所述第二图像数据中的帧数高于所述第一图像数据中的帧数的情况下，利用所述第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换所述第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
4.一种步态分析方法，包括以下步骤：
(a)逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；
(b)使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；
(c)针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；
(d)将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；
(e)在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及
(f)使用校正后的骨骼信息来分析用户的步态。
5.根据权利要求4所述的步态分析方法，其中，
在步骤(e)中，向帧数较少的骨骼信息添加补充用骨骼信息，使得所提取的所述第一图像数据中的帧数和所提取的所述第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息来校正帧数较多的骨骼信息。
6.根据权利要求4或5所述的步态分析方法，其中，
所述第一方向是相对于步行中的用户的行进方向向右侧倾斜的方向，并且所述第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，以及在步骤(e)中，
在所述第一图像数据中的帧数高于所述第二图像数据中的帧数的情况下，利用所述第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换所述第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置；以及
在所述第二图像数据中的帧数高于所述第一图像数据中的帧数的情况下，利用所述第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换所述第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
7.一种计算机可读记录介质，其存储程序，所述程序包括使计算机执行以下步骤的命令：
(a)逐帧地获取第一图像数据和第二图像数据，其中所述第一图像数据是通过使用深度传感器从相对于行进方向倾斜的第一方向对步行中的用户进行摄像所获得的，以及所述第二图像数据是通过使用所述深度传感器或者不同的深度传感器从相对于所述行进方向按与所述第一方向不同的方向倾斜的第二方向对步行中的用户进行摄像所获得的；
(b)使用所述第一图像数据和所述第二图像数据各自中所包括的深度信息，针对所获取到的所有图像数据来创建用以标识用户的特定关节的位置的骨骼信息；
(c)针对所述第一图像数据和所述第二图像数据各自，使用所获取到的所有图像数据来创建用以标识用户的总步数以及用户的左脚和右脚的触地历史的测量信息；
(d)将所获取到的所有所述第一图像数据中的测量信息与所获取到的所有所述第二图像数据中的测量信息进行比较，并且从所获取到的所有所述第一图像数据中的骨骼信息和所获取到的所有所述第二图像数据中的骨骼信息中提取用户的左脚和右脚的触地历史共同的部分；
(e)在所提取的所述第一图像数据中的骨骼信息和所提取的所述第二图像数据中的骨骼信息中，使用帧数较少的图像数据的骨骼信息来校正帧数较多的图像数据的骨骼信息；以及
(f)使用校正后的骨骼信息来分析用户的步态。
8.根据权利要求7所述的计算机可读记录介质，其中，
在步骤(e)中，向帧数较少的骨骼信息添加补充用骨骼信息，使得所提取的所述第一图像数据中的帧数和所提取的所述第二图像数据中的帧数一致，然后利用帧数较少的骨骼信息来校正帧数较多的骨骼信息。
9.根据权利要求7或8所述的计算机可读记录介质，其中，
所述第一方向是相对于步行中的用户的行进方向向右侧倾斜的方向，并且所述第二方向是相对于步行中的用户的行进方向向左侧倾斜的方向，以及在步骤(e)中，
在所述第一图像数据中的帧数高于所述第二图像数据中的帧数的情况下，利用所述第二图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置来替换所述第一图像数据的骨骼信息中的左侧的臂部和腿部中的关节的位置；以及
在所述第二图像数据中的帧数高于所述第一图像数据中的帧数的情况下，利用所述第一图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置来替换所述第二图像数据的骨骼信息中的右侧的臂部和腿部中的关节的位置。
CN201780017199.0A 2016-03-31 2017-03-30 步态分析装置、步态分析方法和计算机可读记录介质 Active CN108778123B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016072411 2016-03-31
JP2016-072411 2016-03-31
PCT/JP2017/013171 WO2017170832A1 (ja) 2016-03-31 2017-03-30 歩行分析装置、歩行分析方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN108778123A true CN108778123A (zh) 2018-11-09
CN108778123B CN108778123B (zh) 2021-04-06

Family

ID=59965922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017199.0A Active CN108778123B (zh) 2016-03-31 2017-03-30 步态分析装置、步态分析方法和计算机可读记录介质

Country Status (5)

Country Link
US (1) US11089977B2 (zh)
EP (1) EP3437557B1 (zh)
JP (1) JP6662532B2 (zh)
CN (1) CN108778123B (zh)
WO (1) WO2017170832A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815858A (zh) * 2019-01-10 2019-05-28 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法
CN112764546A (zh) * 2021-01-29 2021-05-07 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备
CN113873939A (zh) * 2019-05-29 2021-12-31 日本电气株式会社 信息处理设备、个人识别设备、个人识别系统、信息处理方法以及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209288A1 (ja) * 2021-03-29 2022-10-06 Ｎｅｃソリューションイノベータ株式会社 算出装置
WO2022209287A1 (ja) * 2021-03-29 2022-10-06 Ｎｅｃソリューションイノベータ株式会社 算出装置
CN112998700B (zh) * 2021-05-26 2021-09-24 北京欧应信息技术有限公司 用于辅助对象运动功能评估的设备、系统和方法
JP2023021782A (ja) * 2021-08-02 2023-02-14 株式会社日立ハイテク 計測システム、計測装置、計測データ処理方法及び計測データ処理プログラム
CN114648810B (zh) * 2022-03-11 2022-10-14 北京中科睿医信息科技有限公司 一种交互式步态识别方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345783A (ja) * 2001-05-22 2002-12-03 Hitachi Kiden Kogyo Ltd 足跡分析装置
WO2007131542A1 (de) * 2006-05-12 2007-11-22 Zebris Medical Gmbh Vorrichtung und verfahren zur ganganalyse
US20090076371A1 (en) * 1998-09-14 2009-03-19 The Board Of Trustees Of The Leland Stanford Junior University Joint and Cartilage Diagnosis, Assessment and Modeling
CN101558996A (zh) * 2009-05-15 2009-10-21 天津大学 基于人体运动结构正投影三维重建的步态识别方法
CN104200200A (zh) * 2014-08-28 2014-12-10 公安部第三研究所 融合深度信息和灰度信息实现步态识别的系统及方法
CN104463118A (zh) * 2014-12-04 2015-03-25 龙岩学院 一种基于Kinect的多视角步态识别方法
US20150324637A1 (en) * 2013-01-23 2015-11-12 Kabushiki Kaisha Toshiba Motion information processing apparatus
WO2016031313A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 体調検出装置、体調検出方法及び体調検出プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090076371A1 (en) * 1998-09-14 2009-03-19 The Board Of Trustees Of The Leland Stanford Junior University Joint and Cartilage Diagnosis, Assessment and Modeling
JP2002345783A (ja) * 2001-05-22 2002-12-03 Hitachi Kiden Kogyo Ltd 足跡分析装置
WO2007131542A1 (de) * 2006-05-12 2007-11-22 Zebris Medical Gmbh Vorrichtung und verfahren zur ganganalyse
CN101558996A (zh) * 2009-05-15 2009-10-21 天津大学 基于人体运动结构正投影三维重建的步态识别方法
US20150324637A1 (en) * 2013-01-23 2015-11-12 Kabushiki Kaisha Toshiba Motion information processing apparatus
WO2016031313A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 体調検出装置、体調検出方法及び体調検出プログラム
CN104200200A (zh) * 2014-08-28 2014-12-10 公安部第三研究所 融合深度信息和灰度信息实现步态识别的系统及方法
CN104463118A (zh) * 2014-12-04 2015-03-25 龙岩学院 一种基于Kinect的多视角步态识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815858A (zh) * 2019-01-10 2019-05-28 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法
CN113873939A (zh) * 2019-05-29 2021-12-31 日本电气株式会社 信息处理设备、个人识别设备、个人识别系统、信息处理方法以及存储介质
CN112764546A (zh) * 2021-01-29 2021-05-07 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备
CN112764546B (zh) * 2021-01-29 2022-08-09 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备

Also Published As

Publication number Publication date
US11089977B2 (en) 2021-08-17
EP3437557B1 (en) 2020-12-02
EP3437557A1 (en) 2019-02-06
JPWO2017170832A1 (ja) 2019-01-24
JP6662532B2 (ja) 2020-03-11
WO2017170832A1 (ja) 2017-10-05
EP3437557A4 (en) 2019-11-20
CN108778123B (zh) 2021-04-06
US20190076060A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
CN108778123A (zh) 步态分析装置、步态分析方法和计算机可读记录介质
Rhodin et al. Egocap: egocentric marker-less motion capture with two fisheye cameras
Von Marcard et al. Sparse inertial poser: Automatic 3d human pose estimation from sparse imus
Li et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation
Moro et al. Markerless vs. marker-based gait analysis: A proof of concept study
EP4002385A2 (en) Motor task analysis system and method
Weinzaepfel et al. Dope: Distillation of part experts for whole-body 3d pose estimation in the wild
US11759126B2 (en) Scoring metric for physical activity performance and tracking
CN112970074A (zh) 身体活动量化和监测
Vonstad et al. Comparison of a deep learning-based pose estimation system to marker-based and kinect systems in exergaming for balance training
Needham et al. The development and evaluation of a fully automated markerless motion capture workflow
Schnürer et al. Real-time 3D Pose Estimation from Single Depth Images.
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
de Gusmao Lafayette et al. The virtual kinect
Takeda et al. Reduction of marker-body matching work in activity recognition using motion capture
Munn et al. FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers
Nguyen et al. Vision-Based Global Localization of Points of Gaze in Sport Climbing
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
Hong et al. Weight Change Prediction for Automated Depression Diagnosis
Cotton et al. Dynamic gaussian splatting from markerless motion capture can reconstruct infants movements
Dai et al. Development of a novel motion capture and gait analysis system for rat locomotion
Wade et al. Examination of 2D frontal and sagittal markerless motion capture: Implications for markerless applications
Lama Enhancing Human Key Point Identification: A Comparative Study of High-Resolution VICON Dataset and COCO Dataset Using BPNET
US20220398867A1 (en) Information processing apparatus and facial expression determination method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant