CN108885087A - 测量装置、测量方法和计算机可读记录介质 - Google Patents

测量装置、测量方法和计算机可读记录介质 Download PDF

Info

Publication number
CN108885087A
CN108885087A CN201780017273.9A CN201780017273A CN108885087A CN 108885087 A CN108885087 A CN 108885087A CN 201780017273 A CN201780017273 A CN 201780017273A CN 108885087 A CN108885087 A CN 108885087A
Authority
CN
China
Prior art keywords
pixel
depth
user
walking
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780017273.9A
Other languages
English (en)
Other versions
CN108885087B (zh
Inventor
寺岛宏纪
永井克幸
木下友见
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN108885087A publication Critical patent/CN108885087A/zh
Application granted granted Critical
Publication of CN108885087B publication Critical patent/CN108885087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

测量装置(10)配备有：数据获取单元(11)，其使用被配置成为了测量步行用户的脚尖的位置而拍摄步行路径和步行路径上方的空间并且输出添加了各像素的深度的图像数据的深度传感器，以获取在步行路径上不存在用户的状态的图像数据作为基准数据并且获取用户正在步行路径上步行的状态的图像数据作为步行数据；特定像素提取单元(12)，用于根据步行数据和基准数据之间的差来指定深度传感器侧的下肢，并且基于深度来从所指定的下肢的像素中提取与脚尖部分相对应的像素；以及位置计算单元(13)，用于基于图像数据上的坐标和像素的深度来计算所提取的像素的三维坐标，并且采用三维坐标作为用户的脚尖的位置。

Description

测量装置、测量方法和计算机可读记录介质
技术领域
本发明涉及用于测量步行用户的脚尖的位置的测量装置和测量方法，并且涉及记录有用于实现该测量装置和测量方法的程序的计算机可读记录介质。
背景技术
近来，对于作为步行时的脚尖和地面之间的距离的所谓的“足部离地间隙(footclearance)”的研究正获得关注。基于随着人的年龄增加、足部离地间隙变小并且人在步行时将经历的跌倒越多这一假设，该研究试图通过测量足部离地间隙来掌握老年人的健康状况(例如，参见非专利文献1)。
为了测量足部离地间隙，非专利文献1描述了向包括被检者的脚后跟和脚尖的被检者上的13个位置附加标记、然后使该被检者步行。使用六个照相机来拍摄步行被检者的图像，并且基于从所拍摄到的图像中提取的标记的轨迹来测量足部离地间隙。
然而，对于采用该方法的足部离地间隙测量，作为问题，可能存在成本高、对被检者的身体负担重以及对测量者的执行测量作业的负担重。这使得足部离地间隙测量难以普及。因此，需要用于廉价且容易地测量足部离地间隙的方式。
近年来已尝试使用诸如Kinect(注册商标)等的深度传感器来分析人体运动(例如，参见非专利文献2)。具体地，非专利文献2公开了使用深度传感器来拍摄康复中的患者移动他/她的关节的图像以测量该患者的关节的可动范围的系统。非专利文献2中所公开的系统可以仅使用来自深度传感器的图像数据来检测患者的各部位。因此，可想到，使用专利文献2中所公开的系统可以廉价且容易地测量足部离地间隙。
现有技术文献
非专利文献
非专利文献1：Nishizawa,S.、Nagasaki,H.、Furuna,T.、Okuzumi,H.、Sugiura,M.、Ito,H.和Fujita,M.“Foot clearance during walking of older adults in thecommunity”Society of Biomechanisms Japan.Vol.14；1998年11月25日；第69-79页
非专利文献2：Kitsunezaki,N.,Adachi,E.,Yokota,T.和Mizusawa,J.“KINECTapplications for the physical rehabilitation”The Institute of Electronics,Information and Communication Engineers,IEICE technical report IE2012-89；2012年11月；第41-46页
发明内容
发明要解决的问题
然而，通常利用深度传感器识别的下肢关节包括膝盖和脚踝，并且即使非专利文献2中所公开的系统也不包括脚尖。因此，利用非专利文献2中所公开的系统，难以获取到脚尖的位置，而这使得难以实际测量足部离地间隙。
本发明的目的的一个示例是提供可以使用深度传感器来测量足部离地间隙的测量装置、测量方法和计算机可读记录介质。
用于解决问题的方案
为了解决上述问题，根据本发明的一个方面的测量装置是如下的测量装置，用于测量步行用户的脚尖的位置，所述测量装置包括：数据获取单元，用于从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；特定像素提取单元，用于求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及位置计算单元，用于根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
附加地，为了解决上述问题，根据本发明的一个方面的测量方法是如下的测量方法，用于测量步行用户的脚尖的位置，所述测量方法包括以下步骤：(a)从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；(b)求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及(c)根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
附加地，为了解决上述问题，根据本发明的一个方面的计算机可读记录介质是如下的计算机可读记录介质，其存储程序，所述程序用于使用计算机来测量步行用户的脚尖的位置，所述程序包括用于使所述计算机执行以下步骤的命令：(a)从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；(b)求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及(c)根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
发明的效果
根据如上所述的本发明，可以使用深度传感器来测量足部离地间隙。
附图说明
图1是示出根据本发明实施例的测量装置的整体结构的框图。
图2是示出根据本发明实施例的测量装置的详细结构的框图。
图3是示出根据本发明实施例的从深度传感器输出的图像数据的示例的图，其中：图3的(a)示出在步行路径中不存在用户的状态，图3的(b)示出在步行路径中存在用户的状态，并且图3的(c)示出差。
图4是示出根据本发明实施例的计算三维坐标的处理的图，其中：图4的(a)示出画面的水平方向，图4的(b)示出画面的垂直方向。
图5是示出根据本发明实施例的测量装置的操作的流程图。
图6是示出实现根据本发明实施例的测量装置的计算机的示例的框图。
具体实施方式
(实施例)
以下将参考图1～5来说明根据本发明实施例的测量装置、测量方法和程序。
[装置结构]
首先，将使用图1来说明根据本实施例的测量装置的整体结构。图1是示出根据本发明实施例的测量装置的整体结构的框图。
图1所示的根据本实施例的测量装置10是用于测量步行用户的脚尖的位置的装置。如图1所示，测量装置10包括数据获取单元11、特定像素提取单元12和位置计算单元13。
数据获取单元11首先从深度传感器获取在步行路径中不存在用户的状态的图像数据作为基准数据(参见后面所述的图3的(a))。此外，数据获取单元11从深度传感器获取用户正在步行路径中步行的状态的图像数据作为步行数据(参见后面所述的图3的(b))。深度传感器被配置成拍摄预先设置的步行路径和该步行路径上方的空间。深度传感器输出向各像素添加了深度的图像数据。
特定像素提取单元12求出步行数据和基准数据之间的差，并且根据所求出的差(参见后面所述的图3的(c))和该差中所包括的深度来识别用户的位于深度传感器侧的下肢。然后，特定像素提取单元12基于深度来从构成所识别出的下肢的像素中提取脚尖部分的像素。位置计算单元13根据所提取的像素在图像数据中的坐标和所提取的像素的深度来计算像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
因而，在本实施例中，测量装置10可以通过使用来自深度传感器的添加了深度的图像数据来识别脚尖的位置。如此，根据本实施例，可以使用深度传感器来测量足部离地间隙。
接着，将使用图2和3来说明根据本实施例的测量装置的详细结构。图2是示出根据本发明实施例的测量装置的详细结构的框图。图3是示出根据本发明实施例的从深度传感器输出的图像数据的示例的图，其中：图3的(a)示出在步行路径中不存在用户的状态，图3的(b)示出在步行路径中存在用户的状态，并且图3的(c)示出差。
如图2所示，在本实施例中，测量装置10连接至深度传感器20。测量装置10有线地或无线地从深度传感器20接收向各像素添加了深度的图像数据。深度传感器20例如包括用于按特定模式发射红外激光的光源和用于接收被物体反射之后的红外光的图像传感器，由此输出向各像素添加了深度的图像数据。作为深度传感器的具体示例，可以给出诸如Kinect(注册商标)等的现有的深度传感器。
另外，如图3的(a)和(b)所示，深度传感器20被配置成能够拍摄步行路径30和其上方的空间的图像。步行路径30可以是用户可以步行的任何平坦场所，并且不受特别限制。
如图2所示，在本实施例中，测量装置10除包括数据获取单元11、特定像素提取单元12和位置计算单元13外，还包括足部离地间隙计算单元14。
在本实施例中，每次获得步行数据时，特定像素提取单元12在与步行数据和基准数据之间的差相对应的图像数据(以下称为“差图像数据”；参见图3的(c))中识别用户的四肢和躯干的多个部位。特定像素提取单元12还识别所识别出的各个部位在图像数据中的坐标和深度，并且使用这些坐标和深度来计算各个部位的三维坐标。
注意，在本说明书中，三维坐标包括像素在图像数据中的坐标和添加至该像素的深度。所识别出的部位是头、颈、右肩、右肘、右腕、右手拇指、右手尖、左肩、左肘、左腕、左手拇指、左手尖、胸部、腰部、骨盆、右髋关节、右膝、右脚踝、右脚背、左髋关节、左膝、左脚踝和左脚背。
用于根据图像数据中的坐标和深度来计算三维坐标的方法如下。图4是示出根据本发明实施例的计算三维坐标的处理的图，其中：图4的(a)示出三维空间中的XZ平面，并且图4的(b)示出三维空间中的YZ平面。
首先，利用(DX,DY)来表示已添加了深度的图像数据中的特定点的坐标，并且利用DPT来表示特定点处的深度。利用2CX来表示图像数据在水平方向上的像素数，并且利用2CY来表示垂直方向上的像素数。利用2θ来表示深度传感器在水平方向上的视角，并且利用来表示垂直方向上的视角。在这种情况下，如从图4的(a)和(b)可以看出，可以通过以下的等式1～3来计算特定点的三维坐标(WX,WY,WZ)。
等式1
WX＝((CX-DX)×DPT×tanθ)/CX
等式2
等式3
WZ＝DPT
然后，使用左右脚踝的位置的三维坐标，特定像素提取单元12将右脚踝的深度与左脚踝的深度进行比较，并且将值较低的下肢指定为更靠近深度传感器(图3的(a)和(b))的下肢。
对于所指定的下肢，特定像素提取单元12采用在三维空间中使膝盖连接至踝部的线段的中点作为胫部，并且根据膝盖的三维坐标和踝部的三维坐标来计算胫部的三维坐标。此外，特定像素提取单元12根据所计算出的胫部的三维坐标来计算胫部在图像数据中的坐标，并且基于所计算出的坐标来从构成所指定的下肢的区域的像素中提取低于用户的胫部的部位。然后，基于构成所提取的部位的像素的深度，特定像素提取单元12进一步提取构成所提取的部位的像素中的位于最前方(即，具有最小深度)的像素，并且采用所提取的像素作为脚尖部分的像素。
在本实施例中，位置计算单元13首先计算特定像素提取单元12提取作为脚尖部分的像素的像素在原始图像数据中的坐标。位置计算单元13使用所计算出的图像数据中的坐标和所提取的像素的深度来计算用户的脚尖的三维坐标。
足部离地间隙计算单元14重复地获取位置计算单元13所计算出的用户的脚尖的三维坐标，并且每当获取到三维坐标时，通过将所获取到的三维坐标与预先登记的步行路径30的三维坐标进行比较来计算足部离地间隙。具体地，例如，通过计算两组三维坐标的垂直方向分量之间的差来计算足部离地间隙。例如，将所计算出的足部离地间隙连同左下肢和右下肢的判断结果一起显示在连接至测量装置10的显示装置等的画面中。因此，根据测量装置10，可以利用简单的系统结构来测量足部离地间隙。
[装置操作]
接着，将使用图5来说明根据本发明实施例的测量装置10的操作。图5是示出根据本发明实施例的测量装置10的操作的流程图。以下说明将适当地参考图1～4。在本实施例中，通过使测量装置10工作来实现测量方法。代替对根据本实施例的测量方法的说明，将给出以下的对测量装置10的操作的说明。
首先，假定数据获取单元11预先从深度传感器20获取到基准数据。然后，如图3所示，深度传感器20拍摄沿着步行路径30步行的用户，并且在输出所获取到的图像数据时，数据获取单元12获取到步行数据(步骤S1)。
接着，特定像素提取单元12求出表示步骤S1中所获得的步行数据和基准数据之间的差的图像数据(差图像数据)，并且提取该差图像数据(步骤S2)。
然后，特定像素提取单元12在步骤S2中所提取的差图像数据中识别用户的四肢和躯干的多个部位，并且计算所识别出的部位的三维坐标。然后，使用左右脚踝的位置的三维坐标，特定像素提取单元12将右脚踝的深度与左脚踝的深度进行比较，并且指定用户的位于更靠近深度传感器的下肢(步骤S3)。
接着，特定像素提取单元12从构成步骤S3中所指定的下肢的像素中提取低于用户的胫部的部位(步骤S4)。
接着，基于构成所提取的部位的像素的深度，特定像素提取单元12进一步提取构成所提取的部位的像素中的深度最小的像素(步骤S5)。所提取的这些像素与脚尖部分的像素相对应。
接着，位置计算单元13计算步骤S5中所提取的像素在原始图像数据中的坐标，然后根据所计算出的图像数据中的坐标和步骤S5中所提取的像素的深度来计算步骤S5中所提取的像素的三维坐标(步骤S6)。所计算出的三维坐标表示用户脚尖的位置。
接着，位置计算单元13判断步骤S3中识别出的下肢是否是用户的右下肢(步骤S7)。如果步骤S7中的判断结果表示下肢是右下肢，则位置计算单元13采用在步骤S6中计算出的坐标作为右脚尖的坐标(步骤S8)。然而，如果步骤S7中的判断结果表示下肢不是右下肢，则位置计算单元13采用在步骤S6中计算出的坐标作为左脚尖的坐标(步骤S9)。
在执行了步骤S8或S9之后，足部离地间隙计算单元14通过将在步骤S6中计算出的三维坐标与预先登记的步行路径30的三维坐标进行比较来计算足部离地间隙(步骤S10)。在步骤S10中，足部离地间隙计算单元14将所计算出的足部离地间隙和右下肢/左下肢的判断结果显示在连接至测量装置10的显示装置等的画面中。
每当深度传感器20拍摄沿着步行路径30步行的用户并且输出所获取到的图像数据时，针对各个帧重复地执行上述的步骤S1～S10。
[实施例的效果]
因而，根据测量装置10，可以识别脚尖的位置，并且可以简单地通过深度传感器20在步行状态下拍摄用户来正确地测量足部离地间隙。另外，根据测量装置10，简单的系统结构就足够了，这抑制了测量足部离地间隙所需的成本的增加。
[程序]
根据本实施例的程序可以是使计算机执行图5所示的步骤S1～S10的任何程序。可以通过将该程序安装在计算机中并执行该程序来实现根据本实施例的测量方法和测量装置10。在这种情况下，计算机的CPU(中央处理单元)通过作为数据获取单元11、特定像素提取单元12、位置计算单元13、左右判断单元14和足部离地间隙计算单元14起作用来执行处理。
根据本实施例的程序可以利用由多个计算机构造成的计算机系统来执行。在这种情况下，例如，各计算机可以作为数据获取单元11、特定像素提取单元12、位置计算单元13、左右判断单元14和足部离地间隙计算单元14中的任意单元起作用。
将使用图6来说明通过执行根据本实施例的程序来实现测量装置10的计算机。图6是示出实现根据本发明实施例的测量装置的计算机的示例的框图。
如图6所示，计算机110包括CPU 111、主存储器112、存储装置113、输入接口114、显示控制器115、数据读取器/写入器116和通信接口117。这些单元通过总线121连接，以能够彼此进行数据通信。
CPU 111将存储装置113中所存储的根据本实施例的程序(代码)加载到主存储器112中，并且根据规定的顺序执行该程序，由此执行各种操作。主存储器112通常是诸如DRAM(动态随机存取存储器)等的易失性存储装置。根据本实施例的程序存储在计算机可读记录介质120中并且以这种状态提供。注意，根据本实施例的程序可以通过经由通信接口117连接的因特网来分发。
作为存储装置113的具体示例，除硬盘驱动器外，还可以给出诸如闪速存储器等的半导体存储装置。输入接口114便于CPU 111与诸如键盘和鼠标等的输入装置118之间的数据传输。显示控制器115可以连接至显示装置119，并且控制在显示装置119中进行的显示。
数据读取器/写入器116便于CPU 111和记录介质120之间的数据传输，从记录介质120读出程序，并且将计算机110所进行的处理的结果写入记录介质120。通信接口117便于CPU 111和其它计算机之间的数据交换。
作为记录介质120的具体示例，可以给出诸如CF(紧凑式闪存(Compact Flash，注册商标))或SD(安全数字)等的通用的半导体存储装置、诸如软盘等的磁存储介质、以及诸如CD-ROM(致密盘只读存储器)等的光学存储介质等。
注意，代替安装了程序的计算机，也可以使用与各个单元相对应的硬件来实现根据本实施例的测量装置10。此外，测量装置10的一部分可以由程序实现，而其余部分可以由硬件实现。
上述实施例的全部或一部分可被表示为下文所述的附录1～附录9，但并不意图限于以下的说明。
(附录1)
一种测量装置，用于测量步行用户的脚尖的位置，所述测量装置包括：
数据获取单元，用于从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；
特定像素提取单元，用于求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及
位置计算单元，用于根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
(附录2)
根据附录1所述的测量装置，其中，所述位置计算单元判断所识别出的下肢是用户的右下肢还是左下肢，并且采用所计算出的用户的脚尖的位置作为所判断出的一侧的下肢的脚尖的位置。
(附录3)
根据附录1或2所述的测量装置，其中，所述特定像素提取单元提取构成所识别出的下肢的像素中的所述深度最小的像素。
(附录4)
一种测量方法，用于测量步行用户的脚尖的位置，所述测量方法包括以下步骤：
(a)从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；
(b)求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及
(c)根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
(附录5)
根据附录4所述的测量方法，还包括以下步骤：
(d)判断所识别出的下肢是用户的右下肢还是左下肢，并且采用所计算出的用户的脚尖的位置作为所判断出的一侧的下肢的脚尖的位置。
(附录6)
根据附录4或5所述的测量方法，其中，在步骤(b)中，提取构成所识别出的下肢的像素中的所述深度最小的像素。
(附录7)
一种计算机可读记录介质，其存储程序，所述程序用于使用计算机来测量步行用户的脚尖的位置，所述程序包括用于使所述计算机执行以下步骤的命令：
(a)从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；
(b)求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及
(c)根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
(附录8)
根据附录7所述的计算机可读记录介质，还使所述计算机执行以下步骤：
(d)判断所识别出的下肢是用户的右下肢还是左下肢，并且采用所计算出的用户的脚尖的位置作为所判断出的一侧的下肢的脚尖的位置。
(附录9)
根据附录7或8所述的计算机可读记录介质，其中，在步骤(b)中，提取构成所识别出的下肢的像素中的所述深度最小的像素。
尽管以上已经参考实施例说明了本发明，但本发明不限于上述实施例。本领域普通技术人员可以在没有背离本发明的范围的情况下对本发明的结构和详情进行许多改变。
本申请要求基于2016年3月28日提交的日本专利申请2016-064212的优先权，其全部内容通过引用而被包含于此。
产业上的可利用性
根据如上所述的本发明，可以使用深度传感器来测量足部离地间隙。本发明在需要掌握用户的健康状况的领域中是有用的。
附图标记说明
10 测量装置
11 数据获取单元
12 特定像素提取单元
13 位置计算单元
14 足部离地间隙计算单元
20 深度传感器
30 步行路径
111 CPU
112 主存储器
113 存储装置
114 输入接口
115 显示控制器
116 数据读取器/写入器
117 通信接口
118 输入装置
119 显示装置
120 记录介质
121 总线

Claims (9)

1.一种测量装置，用于测量步行用户的脚尖的位置，所述测量装置包括：
数据获取单元，用于从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；
特定像素提取单元，用于求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及
位置计算单元，用于根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
2.根据权利要求1所述的测量装置，其中，
所述位置计算单元判断所识别出的下肢是用户的右下肢还是左下肢，并且采用所计算出的用户的脚尖的位置作为所判断出的一侧的下肢的脚尖的位置。
3.根据权利要求1或2所述的测量装置，其中，
所述特定像素提取单元提取构成所识别出的下肢的像素中的所述深度最小的像素。
4.一种测量方法，用于测量步行用户的脚尖的位置，所述测量方法包括以下步骤：
(a)从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；
(b)求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及
(c)根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
5.根据权利要求4所述的测量方法，还包括以下步骤：
(d)判断所识别出的下肢是用户的右下肢还是左下肢，并且采用所计算出的用户的脚尖的位置作为所判断出的一侧的下肢的脚尖的位置。
6.根据权利要求4或5所述的测量方法，其中，
在步骤(b)中，提取构成所识别出的下肢的像素中的所述深度最小的像素。
7.一种计算机可读记录介质，其存储程序，所述程序用于使用计算机来测量步行用户的脚尖的位置，所述程序包括用于使所述计算机执行以下步骤的命令：
(a)从深度传感器获取在预先设置的步行路径上不存在用户的状态的图像数据作为基准数据，并且获取用户正在所述步行路径上步行的状态的图像数据作为步行数据，其中所述深度传感器被配置成对所述步行路径和所述步行路径上方的空间进行摄像并输出添加有各像素的深度的图像数据；
(b)求出所述步行数据和所述基准数据之间的差，根据所求出的差和所述差中所包括的深度来识别用户的位于所述深度传感器侧的下肢，并且进一步从构成所识别出的下肢的像素中基于所述深度来提取脚尖部分的像素；以及
(c)根据所提取的像素在所述图像数据中的坐标和所提取的像素的深度来计算该像素的三维坐标，并且采用所计算出的三维坐标作为用户的脚尖的位置。
8.根据权利要求7所述的计算机可读记录介质，还使所述计算机执行以下步骤：
(d)判断所识别出的下肢是用户的右下肢还是左下肢，并且采用所计算出的用户的脚尖的位置作为所判断出的一侧的下肢的脚尖的位置。
9.根据权利要求7或8所述的计算机可读记录介质，其中，
在步骤(b)中，提取构成所识别出的下肢的像素中的所述深度最小的像素。
CN201780017273.9A 2016-03-28 2017-03-27 测量装置、测量方法和计算机可读记录介质 Active CN108885087B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-064212 2016-03-28
JP2016064212 2016-03-28
PCT/JP2017/012462 WO2017170440A1 (ja) 2016-03-28 2017-03-27 計測装置、計測方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN108885087A true CN108885087A (zh) 2018-11-23
CN108885087B CN108885087B (zh) 2020-05-26

Family

ID=59964597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017273.9A Active CN108885087B (zh) 2016-03-28 2017-03-27 测量装置、测量方法和计算机可读记录介质

Country Status (5)

Country Link
US (1) US10796449B2 (zh)
EP (1) EP3438601B1 (zh)
JP (1) JP6558820B2 (zh)
CN (1) CN108885087B (zh)
WO (1) WO2017170440A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764546B (zh) * 2021-01-29 2022-08-09 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备
CN117100250A (zh) * 2023-07-10 2023-11-24 北京华益精点生物技术有限公司 脚趾位置的确定方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028635A (ja) * 2002-06-21 2004-01-29 Hamamatsu Photonics Kk 歩幅測定装置及び歩幅測定方法
CN1561908A (zh) * 2004-03-16 2005-01-12 中国科学院合肥智能机械研究所 一种多轴力平台阵列及人体行走步态信息获取方法
CN101515374A (zh) * 2008-02-20 2009-08-26 中国科学院自动化研究所 基于图像的个性化真实感虚拟人物造型方法
CN101650776A (zh) * 2008-08-12 2010-02-17 财团法人工业技术研究院 追踪人物肢体位置的方法与系统
CN102178530A (zh) * 2011-01-24 2011-09-14 天津大学 基于三维点云数据的人体尺寸自动测量方法
US20120130280A1 (en) * 2010-11-18 2012-05-24 Industry-Academic Cooperation Foundation, Kyungpook National University Legs rehabilitation device and legs rehabilitation method using the same
CN102971766A (zh) * 2010-06-30 2013-03-13 Nec软件有限公司 头部检测方法、头部检测装置、属性判定方法、属性判定装置、程序、记录介质和属性判定系统
US20140045593A1 (en) * 2012-08-07 2014-02-13 Microsoft Corporation Virtual joint orientation in virtual skeleton
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
CN104274179A (zh) * 2014-09-05 2015-01-14 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
JP2015042241A (ja) * 2013-01-18 2015-03-05 株式会社東芝 動作情報処理装置及び方法
JP2015061211A (ja) * 2013-09-19 2015-03-30 富士ゼロックス株式会社 処理装置
KR20160000339A (ko) * 2014-06-24 2016-01-04 (주)이튜 모션 추출기반의 보행 자세 교정장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058985A1 (en) * 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
GB2509783B (en) * 2013-01-15 2017-07-05 Holition Ltd Foot tracking
JP2017205134A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム
CN115500818A (zh) * 2016-03-18 2022-12-23 哈佛大学校长及研究员协会 分析对象的运动以将其分成亚秒级模块的系统和方法
US10956723B2 (en) * 2016-06-03 2021-03-23 Pillar Vision, Inc. Systems and methods for determining reduced player performance in sporting events
WO2018148181A1 (en) * 2017-02-07 2018-08-16 Veo Robotics, Inc. Workspace safety monitoring and equipment control

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028635A (ja) * 2002-06-21 2004-01-29 Hamamatsu Photonics Kk 歩幅測定装置及び歩幅測定方法
CN1561908A (zh) * 2004-03-16 2005-01-12 中国科学院合肥智能机械研究所 一种多轴力平台阵列及人体行走步态信息获取方法
CN101515374A (zh) * 2008-02-20 2009-08-26 中国科学院自动化研究所 基于图像的个性化真实感虚拟人物造型方法
CN101650776A (zh) * 2008-08-12 2010-02-17 财团法人工业技术研究院 追踪人物肢体位置的方法与系统
CN102971766A (zh) * 2010-06-30 2013-03-13 Nec软件有限公司 头部检测方法、头部检测装置、属性判定方法、属性判定装置、程序、记录介质和属性判定系统
US20120130280A1 (en) * 2010-11-18 2012-05-24 Industry-Academic Cooperation Foundation, Kyungpook National University Legs rehabilitation device and legs rehabilitation method using the same
CN102178530A (zh) * 2011-01-24 2011-09-14 天津大学 基于三维点云数据的人体尺寸自动测量方法
US20140045593A1 (en) * 2012-08-07 2014-02-13 Microsoft Corporation Virtual joint orientation in virtual skeleton
JP2015042241A (ja) * 2013-01-18 2015-03-05 株式会社東芝 動作情報処理装置及び方法
JP2015061211A (ja) * 2013-09-19 2015-03-30 富士ゼロックス株式会社 処理装置
CN103971409A (zh) * 2014-05-22 2014-08-06 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
KR20160000339A (ko) * 2014-06-24 2016-01-04 (주)이튜 모션 추출기반의 보행 자세 교정장치
CN104274179A (zh) * 2014-09-05 2015-01-14 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢晨: "基于图像的非接触式人体测量系统研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
JPWO2017170440A1 (ja) 2019-01-24
WO2017170440A1 (ja) 2017-10-05
US20190080472A1 (en) 2019-03-14
US10796449B2 (en) 2020-10-06
JP6558820B2 (ja) 2019-08-14
CN108885087B (zh) 2020-05-26
EP3438601B1 (en) 2023-05-03
EP3438601A1 (en) 2019-02-06
EP3438601A4 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
Ceseracciu et al. Comparison of markerless and marker-based motion capture technologies through simultaneous data collection during gait: proof of concept
Leightley et al. Automated analysis and quantification of human mobility using a depth sensor
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
US20150320343A1 (en) Motion information processing apparatus and method
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
US11759126B2 (en) Scoring metric for physical activity performance and tracking
CN108778123A (zh) 步态分析装置、步态分析方法和计算机可读记录介质
Kargar et al. Automatic measurement of physical mobility in get-up-and-go test using kinect sensor
Liu et al. Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures
Palmero et al. Automatic sleep system recommendation by multi-modal RBG-depth-pressure anthropometric analysis
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
JP5373128B2 (ja) 人物特定装置、人物特定方法及び人物特定プログラム
Nguyen et al. Human gait symmetry assessment using a depth camera and mirrors
Abd Shattar et al. Experimental Setup for Markerless Motion Capture and Landmarks Detection using OpenPose During Dynamic Gait Index Measurement
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
CN113271848B (zh) 身体健康状态影像分析装置、方法以及系统
Hellmers et al. Validation of a motion capture suit for clinical gait analysis
Juri et al. Characterization of a low-cost markerless system for 3D gait analysis
McGuirk A multi-view video based deep learning approach for human movement analysis
Nguyen et al. Vision-Based Global Localization of Points of Gaze in Sport Climbing
JP6465419B2 (ja) 測定装置及び測定方法
Alothmany et al. Accuracy of joint angles tracking using markerless motion system
KR102222059B1 (ko) 마커가 형성된 진단기를 이용한 대상체 위치 및 진단 결과를 출력시키는 대상체 위치인식형 진단장치
JP2010108110A (ja) 人物特定装置、人物特定方法及び人物特定プログラム
WO2022249746A1 (ja) 身体機能推定システム、身体機能推定方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant