CN113271848A - 身体健康状态影像分析装置、方法以及系统 - Google Patents

身体健康状态影像分析装置、方法以及系统 Download PDF

Info

Publication number
CN113271848A
CN113271848A CN201980087308.5A CN201980087308A CN113271848A CN 113271848 A CN113271848 A CN 113271848A CN 201980087308 A CN201980087308 A CN 201980087308A CN 113271848 A CN113271848 A CN 113271848A
Authority
CN
China
Prior art keywords
physical
image
health
dimensional
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980087308.5A
Other languages
English (en)
Other versions
CN113271848B (zh
Inventor
李媛
张盼
宫崎邦彦
丰田康隆
汤田晋也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN113271848A publication Critical patent/CN113271848A/zh
Application granted granted Critical
Publication of CN113271848B publication Critical patent/CN113271848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明提供一种通过能够设置在日常生活中存在于居住者区域的各种环境中的影像设备，能够高精度、低成本地测量多个被试验者的身体健康状态的身体健康状态影像分析装置、方法以及系统。身体健康状态影像分析装置，其特征在于，具备：2D信息获取部，其通过照相机获取二维影像；3D信息获取部，其通过立体处理从照相机获取三维数据；对象分类部，其根据所获取的二维影像对检测对象进行分类；行为确定部，其确定检测对象的行为模式；身体特征提取部，其基于所确定的行为模式，分析三维数据来提取身体特征；以及状态分析部，其使用所提取的特征来分析身体健康状态。

Description

身体健康状态影像分析装置、方法以及系统
技术领域
本发明涉及系统性地辅助日常生活中的例如老年人的身体健康状态的掌握、维持、改善的身体健康状态影像分析装置、方法以及系统。
背景技术
在养老护理商务中，对需要护理的老年人提供了各种服务、设施。例如，在家护理、医疗服务、带护理的养老院、保险设施、疗养型设备、团体家庭、日间护理等作为市场非常成熟。由护理者进行面向老年人的健康诊断、管理、生活的辅助等是明显存在的。以带给老年人更好的生活为目的，由多个专家进行协作的辅助。例如，为了维持老年人的健康，理疗师通过目视来评价老年人的身体状态，并进行建议处于该状态的身体运动这样的辅助。
另一方面，近年来老龄化不断发展，其市场正在扩大。根据日本SP中心的调查，预测2020年的老年人(65岁以上)人口为3613万。其中，需要护理的老年人的比例为17.4％，不需要非健康护理的老年人的比例为29.0％，健康的老年人的比例为53.6％。养老护理商务将服务适用范围从以往成熟的面向需要护理的老年人的护理扩大到面向不需要护理的老年人、健康的老年人的服务。然而，随着护理需求的增加，专家、护理侧方面的资源不足已成为社会课题。为了消除资源不足，提供了使用IoT设备、传感器的健康状态的测量技术、辅助维持、改善健康状态的服务。
老年人的健康状态可以考虑心理健康状态、生理健康状态、身体健康状态这三个健康状态。测量这些健康状态的技术被广泛研究，例如，在非专利文献1中，关于生理上的心理上的健康状态的测量，报告了使用可穿戴传感器来测量心率、血压、脑波等。
另外，关于身体健康状态的掌握，正在研究使用非接触式传感器来数字地测量人的动作。例如，运动捕捉(Motion capture)技术通过在人的关节等身体上佩戴标识物来检测标识物，并对检测出的标识物的信息进行处理，从而将人的动作数字化。非专利文献2中介绍的NEC步行姿势测定系统使用Kinect通过图像处理提取人物的位置信息、骨骼信息，由此检测人的步行这样的行为并进行数字化。
另外，近年来，深度学习(Deep Learning)技术发达，代替利用Kinect那样的专用的有源传感器的方法，能够从由单眼相机拍摄到的影像中提取多个人的骨骼，对姿势进行数字化。
使用这些技术，使用专利文献1所记载的Kinect来处理步行动作。通过提取人的骨骼、着地点的位置、移动轨迹信息，能够提供评价步行状况的信息。
基于该信息，也能够用于康复。例如，作为康复，能够提取行人的各关节的坐标信息，清楚地显示行走速度、步幅等信息。另外，除了步行等人的动作/姿势的数字化以外，还有与生活行为的数字化有关的数字化。例如，能够使用专利文献2所记载的多个传感器来提取人物的动作以及位置等信息，能够掌握面向护理的老年人的生活行为。进而，通过使该信息可视化，能够根据位置信息和设备的信息预测跌倒、打滑等异常行为，并提示给看护人员。例如，在判断为老年人要向存在台阶的地方移动的情况下，能够向护理人员显示台阶移动的辅助。记载了能够预防这种风险。
另外，专利文献3记载了为了抑制误识别老年人以外的非老年人，通过确定老年人行为来进行高精度的测量。
现有技术文献
专利文献
专利文献1：日本特开2015-042241号公报
专利文献2：日本特开2016-66308号公报
专利文献3：日本特开2015-61577号公报
非专利文献
非专利文献1:“Wearable Medical Sensor-based System Design:A Survey”，IEEE Transactions on Multi-scale Computing Systems，Vol.3，No.2，2017.
非专利文献2：NEC步行姿势测定系统
发明内容
发明要解决的课题
本发明所要解决的课题在于，通过能够设置在存在于居住者区域的各种环境中的影像设备来高精度地测量多个老年人的身体健康状态。
近年来在该领域中，使用Kinect来测量老年人的走路方式、平衡等的发明较多。
这些发明为了维持测量精度，以特定环境下的测量为前提。例如，Kinect的设置角度为水平，设置高度为老年人的高度。另外，存在要测量的老年人的行为的限制。例如，步行方式的测量要求与照相机成直线步行。因此，在基于这些方法的发明中，要求确定测量环境，老年人在按照所确定的模式行为之后进行测量。因此，在实际应用于日常生活时，存在老年人的抵触感，产生设置的准备、老年人的应对等不便。
另外，在基于这些方法的发明中，为了维持测量精度而对三维数据进行处理，因此具有处理成本较高这样的课题。
例如，在专利文献3中，事先将想要测量的行为的三维模型与实际获取的三维数据进行匹配，确定行为，但在该方式中，在测量多个老年人、多个行为时，处理成本增加，不现实。
鉴于以上问题，在本发明中，其目的在于提供一种通过能够设置在日常生活中存在于居住者区域的各种环境中的影像设备，能够高精度、低成本地测量多个被试验者的身体健康状态的身体健康状态影像分析装置、方法以及系统。
用于解决课题的手段
鉴于以上问题，在本发明中，提供“一种身体健康状态影像分析装置，其特征在于，具备：2D信息获取部，其通过照相机获取二维影像；3D信息获取部，其通过立体处理从照相机获取三维数据；对象分类部，其从所获取的二维影像中对检测对象进行分类；行为确定部，其确定检测对象的行为模式；身体特征提取部，其基于所确定的行为模式，对三维数据进行分析来提取身体特征；以及状态分析部，其使用所提取的特征来分析身体健康状态”。
另外，在本发明中，提供“一种身体健康状态影像分析方法，其特征在于，获取管理对象作为二维影像，根据二维影像来确定管理对象，并且确定监视对象的行为模式，基于获取管理对象作为三维影像而确定的行为模式，分析三维影像来提取身体特征，使用提取出的特征来分析身体健康状态”。
另外，在本发明中，提供“一种身体健康状态影像分析系统，其特征在于，获取管理对象作为二维影像，根据二维影像来确定管理对象，并且确定监视对象的行为模式，基于获取管理对象作为三维影像而确定的行为模式，分析三维影像来提取身体特征，使用提取出的特征来分析身体健康状态，并且至少获取管理对象作为二维影像的场所、分析身体健康状态的场所经由云通过通信而被连接”。
发明效果
根据本发明，通过能够在日常生活中存在于居住者区域的各种环境中设置的影像设备能够高精度、低成本地测量多个被试验者的身体健康状态。
附图说明
图1是示出本发明的实施例1的身体健康状态影像分析装置的结构例的图。
图2是表示图1的对象分类部12的更详细的结构例的图。
图3是表示各帧中的老年人的行为区域(存在区域)的图。
图4是表示本发明的实施例2的身体健康状态影像分析装置的结构例的图。
图5用于说明在计算机中实施的身体健康状态影像分析方法的处理的流程的图。
图6是用于说明使用立体相机基于老年人的SIDE测试来评价身体健康状态时的处理的流程的图。
图7是表示本发明的实施例5的身体健康状态影像分析装置的结构例的图。
图8是表示本发明的实施例6的身体健康状态影像分析装置的结构例的图。
图9是表示本发明的实施例7的身体健康状态影像分析装置的结构例的图。
具体实施方式
以下，参照附图对本发明的实施例进行详细说明。另外，在以下所示的本发明的身体健康状态影像分析装置以及方法的实施例的说明中，以老年人的身体健康状态的分析为例进行说明。
实施例1
图1是表示本发明的实施例1的身体健康状态影像分析装置的结构例的图。在图1中，附图标记10是照相机，附图标记1是由计算机装置构成的本发明的实施例1的身体健康状态影像分析装置。另外，在图1的身体健康状态影像分析装置1中，对由计算机装置的运算部执行的处理功能进行块显示。
在图1中，首先从照相机10获取二维影像。照相机10也可以是单眼相机的组合或立体相机。单眼相机由图像传感器和镜头构成。图像传感器是包含CMOS(ComplementaryMetal Oxide Semiconductor：互补金属氧化物半导体)、CCD(Charge Coupled Device：电荷耦合器件)等拍摄元件的机构。镜头包括能够变焦镜头和固定镜头。所拍摄的图像通过BMP、JPGE等形式进行保存。拍摄信息包括RGB信息。
立体相机是能够通过从多个视点同时拍摄来获取深度(Depth)的相机。最近，市场上销售的立体相机正在增加。例如，英特尔的ReaSense照相机被广泛利用。这些立体相机可以同时获取二维影像、三维数据。本发明以使用了构成两个单眼相机的立体相机的身体健康状态的分析为例。
在由计算机装置构成的身体健康状态影像分析装置1中，首先在2D信息获取部11中从照相机10获取二维影像。所获取的影像按照帧率被保存为图像20。
在身体健康状态影像分析装置1内的对象分类部12中，从图像20中识别为人，例如识别老年人并进行分类。在该情况下，作为拍摄对象的老年人在日常生活中存在老年人为一人的情况和老年人为多人的情况。或者，有时也包含护理人等非管理对象。无论在哪种情况下，为了分别分析管理对象各自的身体健康状态，都需要对老年人进行识别、分类。在图2的对象分类部12中，使用从2D信息获取部11获取的图像20，检测存在的人。即，根据图像分开掌握人和人以外，在该情况下，根据图像20分类的人可以是一人也可以是多人。
图2表示对象分类部12的更详细的结构例。对象分类部12中的处理功能被分为认证功能12A和追踪功能12B。认证功能12A是识别、确认管理对象老年人的处理，追踪功能12B是按时间序列监视所确认的老年人的处理。
首先，对对象分类部12的认证功能12A进行说明。首先，在检测部22中，使用图像20来检测老年人的面部、身体区域。检测的方法能够利用以往的匹配方法、近年来的深度学习技术等各种方法，在本发明中并不限定该方法。
接着，在认证部23中，使用检测到的人的面部，与事先登记的认证登记数据库DB1进行对照，确定检测到的老年人的ID。在不存在ID的情况下，根据需要在认证登记数据库DB1中登记为新的管理对象老年人。本认证的处理可以在图像20的所有帧中实施，但在考虑处理速度的情况下，在老年人开始出场的帧、老年人再次出场时实施，可以省略连续的以后的帧中的认证处理。
接着，对对象分类部12的追踪功能12B进行说明。在追踪功能12B的检测部22中，针对由认证功能12A的认证部23认证并作为管理对象的老年人，在图像20的连续的各帧中继续检测并追踪老年人。另外，在图2中将认证功能12A的检测部22和追踪功能12B的检测部22以分体的方式记载，但其也可以构成为一体。
在追踪部24中，针对图像20的连续的帧，判断在其前后检测到的帧中是否有相同的老年人。将判断出的结果作为追踪结果数据D1保存在追踪结果数据库DB2中。在追踪结果数据D1中包含在有老年人的情况下这期间的一系列的图像。
另外，在本发明中，所谓追踪，既可以在作为管理对象的老年人从固定照相机的视野脱离的时刻结束，或者也可以通过视野能够变更的照相机一边变更照相机角度等一边追踪作为管理对象的老年人。总之，只要能够与老年人的移动相应地获取多张图像，能够拍摄老年人的运动即可。
追踪结果数据D1能够根据需要来决定格式。在简单的情况下，优选记入帧编号和能够确定老年人区域的框的信息。而且，能够将所述认证后的信息与追踪结果数据D1建立对应。
图3是表示各帧中的老年人的行为区域(存在区域)的图。根据图3，通过执行以上的分类处理，对于老年人A、B，如附图标记26、27所示的结果例那样，能够掌握老年人的ID以及各帧中的行为区域(存在区域)。这些图3的数据例如可以作为保存在追踪结果数据库DB2中的追踪结果数据D1的一部分而相关联地存储。进而，在追踪结果数据D1中，可以与由后述的行为确定部13设定的身体健康状态分析项目的信息一体化地存储。
返回到图1，在行为确定部13中，确定老年人的各种行为。行为的种类根据身体健康状态分析项目而不同。例如，在身体健康分析项目是步行方式，对步行方式进行分析的情况下，能够确定步行的行为。在康复的情况下，能够更具体地指定想要分析的行为。例如，如果作为身体健康分析项目进行膝盖的康复，则能够指定专门用于膝盖的弯曲的行为。也可以根据需要追加其他行为。为了确定这些行为，近年来存在各种深度学习方法。使用这些方法，能够确定老年人的各种行为。根据最近的研究，已知有使用CNN、LSTM方法进行行为分析的技术。例如，提出了“Deep Local Video Feature for Action Recognition”，CVPR，2017.和“Co-ocuurrence Feature Learning for Skeleton based Action Recognitionusing Regularized Deep LSTM Networks”，AAAI 2016.分析人的行为的研究。
在行为确定部13中确定的行为能够根据身体健康状态分析项目来进行行为的挑选、组合。例如，在TUG(Time Up and Go)测试的情况下，确定老年人就座的行为、站立的行为、行走的行为，根据帧来组合确定的行为。另外，行为确定部13能够定位为身体健康状态影像分析装置中的身体健康分析项目的设定功能，经由适当的输入单元按照管理对象老年人提供身体健康分析项目等管理信息。
在图1中，3D信息获取部15使用照相机10的左右两个二维图像20进行立体处理，计算三维信息D2。使用以下数学式对三维信息D2的计算方法进行说明。
[数学式1]
Figure BDA0003140455770000071
(1)式是照相机中的内部参数矩阵K和外部参数矩阵D的计算式。其中，f表示焦距，a表示纵横比，s表示偏斜，(vc，uc)表示图像坐标的中心坐标。另外，(r11，r12，r13，r21，r22，r23，r31，r32，r33)表示照相机的朝向，(tx，ty，tz)表示照相机设置位置的世界坐标。
若使用这2个参数矩阵K、D以及常数λ，则图像坐标(u，v)与世界坐标(X，Y，Z)通过(2)式的关系式而建立对应。
[数学式2]
Figure BDA0003140455770000081
另外，在表示外部参数的照相机的朝向的(r11，r12，…r33)中，若通过欧拉角进行定义，则通过照相机的设置角度即摇摆θ、倾斜
Figure BDA0003140455770000084
滚动ψ这3个参数来表示。因此，图像坐标与世界坐标的对应所需的照相机参数数为将5个内部参数和6个外部参数合计而得到的11个。使用这些参数，进行失真校正、平行化处理。
包含距离在内，测量物的三维测量值能够如(3)式那样计算。
[数学式3]
Figure BDA0003140455770000082
在(3)式中，(xl，yl)、(xr，yr)是左右照相机图像上的像素值，在平行化处理后，yl＝yr＝y。另外，在(3)式中，f是焦距，B是基线、照相机间的距离。
进而，使用视差d来整理(3)式。另外，关于视差d，相同的三维上的视差是分别投影到左右照相机的图像间的差异，该差异是该三维上的视差。使用视差d表现的世界坐标与图像坐标的关系如(4)式所示。
[数学式4]
Figure BDA0003140455770000083
在3D信息获取部15中，能够通过以上的处理流程来获取三维信息D2。另外，实感那样的照相机在制造商侧直接输出三维信息D2的情况下，能够直接利用。
返回图1，对身体特征提取部14进行说明。在身体特征提取部14中，针对与由行为确定部13确定出的行为对应的图3那样的帧内容的区域(该信息能够从保存于追踪结果数据库DB2的追踪结果数据D1得到)，使用通过3D信息获取部15中的立体处理计算出的三维信息D2，对确定出的行为的特征进行分析。这里定义的特征是直接与身体健康状态相关的。例如，如果是站立的行为，则站起动作的顺畅度具有特征，如果是行走的行为，则位置、速度、步幅、臂宽等具有特征。
在图1的身体健康状态分析部16中，使用由身体特征提取部14提取出的身体的特征来分析身体健康状态。在分析中，重要的是活用专家的专门知识。目前对老年人的健康状态进行评价有各种指标和专家的评价项目。例如，将步行能力作为评价指标，有TUG指标。有评价认知功能的MMSE(简易精神状态检查)评价指标。能够基于前期提取出的特征来计算指标。
实施例2
在实施例2中，使用图4对通过使用立体相机评价老年人的步行能力来分析老年人的身体健康状态的情况进行说明。
此外，在实施例2中，立体相机除了如字面所述是立体相机的情况以外，还包括通过能够输出二维影像和三维信息的传感器的组合来实现的照相机。在本发明中，以立体相机为例进行说明。另外，2D信息获取部11、对象分类部12、行为确定部13、3D信息获取部15与实施例1相同，因此省略图4中的图示。
在图4中，向身体特征提取部14输入来自行为确定部13等的追踪结果数据D1以及来自3D信息获取部15的三维信息D2。其中，追踪结果数据D1包含各种信息，但在此，针对在行为确定部13中根据图像确定出的行走行为，使用图3所例示的老年人的区域信息26、27。在区域信息26、27中包含图像的RGB信息、人的轮廓信息30。
另外，来自3D获取信息部15的三维信息D2是针对根据图像确定的行走行为，针对所确定的区域的、图3所例示的老年人的区域信息26、27进行立体处理，作为三维信息D2的信息。根据三维信息D2，能够针对由XYZ轴表现的3维的空间掌握老年人的场所以及实际的轮廓信息31。
在此基础上，身体特征提取部14使用空间上的老年人的轮廓信息31来提取特征。例如，关于宽度，能够通过使用脚的轮廓位置信息在前后帧中测量距离来计算步幅。此外，能够计算速度、加速度等必要的特征，并输出到特征数据库31。
以下，对具体的计算方法进行说明。在实施例2中，例如通过下述流程计算步行速度和步幅。
首先，从二维图像D1提取老年人的骨骼。在骨架的提取中，可以利用Mask R-CNN方法。Mask R-CNN利用R.Girshick et al.，“Detectron”论文中记载的方法。https://github.com/facebookresearch/detectron、2018.
由此，能够提取人的骨骼上的17个关节。17个关节是鼻、右眼、左眼、右耳、左耳、右肩、左肩、右手、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝、右脚踝。如果使用图像坐标的中心坐标(vc，uc)表示基于二维图像D1的17个关节的图像信息，则能够用(5)式表示。
[数学式5]
Figure BDA0003140455770000101
(5)式是将关于17的间接的特征在图像坐标中进行了数学式化的式子。通过(6)式将其变换为针对相同关节的世界坐标的信息，表示为17个三维信息。此外，三维的计算方法也可以是立体方法或事先输入。
[数学式6]
Figure BDA0003140455770000102
此外，为了计算速度和步幅，使用17个关节通过(7)式计算中心点(v18、u18)。另外，对应的3维信息是(x，y，z)。
[数学式7]
Figure BDA0003140455770000103
Figure BDA0003140455770000104
使用关于17个关节的3维化信息，例如速度(Speed)能够通过(8)式来计算。在此，t0设定为时间间隔，在实施例中设定为1.5秒。
[数学式8]
Figure BDA0003140455770000111
左右脚的距离d以及步幅(length)能够通过(9)式来计算。在此，计算时间段最大的距离作为步幅。n设定为1.0秒。
[数学式9]
Figure BDA0003140455770000112
length＝max{dt-n，...，dt-1，dt}...(9)
此外，加速度等必要的特征全部使用速度和步幅来计算。计算方法可以参照论文Rispens S M，van Schooten K S，Pijnappels M，et al.，“Identification of fall riskpredictors in daily life measurements:gait characteristics’reliability andassociation with self-reported fall history”，Neurorehabilitation and neuralrepair，29(1):54-61，2015.来计算其他步行方式的特征。
使用通过以上的处理计算出的特征数据，在身体健康状态分析部16中，能够进行步行的变化、与相同年龄的差异等各种评价。结果输出部34将该结果以相关人员能够可视的形式输出。
实施例3
在实施例1、实施例2中，主要对构成身体健康状态影像分析装置的情况进行了说明，但在实施例3中，对身体健康状态影像分析方法进行说明。在图5所示的实施例3中，使用立体相机基于老年人的TUG测试来评价身体健康状态。
这里，TUG在Shumway-Cook A，Brauer S，Woollacott M.”Predicting theprobability for falls in community-dwelling older adults using the Timed Up&Go Test”，Physical Therapy.2001Apr；81(4)：1060-1中介绍。在此，关于老年人从椅子站起、行走等之后再次就座的动作，是测量站起时间和再次坐在椅子上为止的时间的测试。
在图5的流程中，首先，在处理步骤S40中从2D信息获取40所得图像信息20。根据获取的图像信息进行老年人认证处理步骤S41、老年人追踪处理步骤S42、老年人行为分析处理步骤S43。这些一系列的处理持续实施，直到老年人从椅子站起、步行等之后再次就座的一系列的动作完成为止。
在针对特定的老年人完成了到此为止的一系列动作时，在此基础上，在处理步骤S44中判别坐下动作，在处理步骤S45中判别进行了行走动作。如果是坐下的行为，则在处理步骤S47中提取坐下时的身体特征。当根据从坐下的行为改变为行走的行为来确定行走的行为时，在处理步骤S46中评价时间。然后，提取行走的特征。
在处理步骤S47中提取的特征如实施例2所述。在处理步骤S47中提取出的特征存储于特征数据库DB3。如果图像的获取结束，则使用特征数据库DB3，在处理步骤S49中分析身体健康状态。由此，能够分析从坐下到再次坐下的时间、步行特征、坐下的特征的变化、以及与基准值之差等。在处理步骤S411中，将其结果以相关人员等可视的形式输出。
与TUG测试同样地，能够进行坐下的行为、行走的行为的组合。另外，也能够基于TUG以外的评价指标来变更确定的行为的组合。
实施例4
使用图6对实施例4进行说明。在实施例4中，使用立体相机基于老年人的SIDE测试来评价身体健康状态。
关于SIDE，在寺西利生“病棟における転倒予防：バランス評価尺度Standingtest for Imbalanceand Disequilibrium(SIDE)とその運用”日本転倒予防学会誌(“病房中的跌倒预防：平衡评价尺度不平衡和不稳站立测试(SIDE)及其运用”日本跌倒预防学会志)Vol.4No.1 2017中进行了介绍。
实施例4首先与实施例3相同，在处理步骤S50中从2D信息获取40所得图像信息20。根据获取的图像信息进行老年人认证处理步骤S51、老年人追踪处理步骤S52、老年人行为分析处理步骤S53。这些一系列的处理持续实施到老年人从椅子站起的动作完成为止。处理步骤S57获取该期间的三维信息D2。
在处理步骤S58中，使用在到此为止的处理中得到的行为信息D1以及三维信息D2来提取身体特征。在处理步骤S58中，在提取身体特征时导入了SIDE的想法，根据SIDE，由于评价下半身的动作，所以能够削减上半身的信息，成本性能提高。
例如，能够通过基于在图像上确定的行为信息D1(脚的位置)，实际计算三维空间上的左右脚的距离来评价脚的宽度。所评价的特征被登记在特征数据库DB3中。然后，使用特征数据库DB3，基于SIDE的评价，能够分析老年人的平衡这样的身体健康状态。将分析结果输出为老年人可见的形式。
以上所述的步行、TUG、SIDE是老年人护理经常使用的评价标准。其他评价基准可以根据本发明适当实施。
实施例5
使用图7对实施例5进行说明。实施例5是根据时间来评价身体健康状态的例子。使用时间设定信息，能够进行确定的行为、提取的身体特征的调整。
总之，图7的结构可以说行为确定部13分为早晨行为确定部61、白天行为确定部62、夜晚行为确定部63而发挥功能。另外，同样地，身体特征提取部14能够分为早晨身体特征提取部64、白天身体特征提取部65、夜晚身体特征提取部66而发挥功能。
在实施例5中，能够使用保存在时间设定信息数据库DB4中的时间设定信息60，将行为确定部13内的处理变更为早午晚。例如，针对早晨时间，实施早晨行为确定部61。从与其对应的早晨身体特征提取部64提取身体特征。同样地，在白天的情况下，成为白天行为确定部62、白天身体特征提取部65。在夜晚的情况下，成为夜晚行为确定部63、夜晚身体特征提取部66。由此，身体健康状态分析部68能够根据时间段更灵活地设定。
另外，时间设定信息60能够通过用户侧的设定来变更。与此相应地，能够更高效地实现身体健康状态的分析、管理。
实施例6
使用图8对实施例6进行说明。在实施例6中，根据老年人的健康程度来评价身体健康状态。因此，在图8中，在健康程度数据库DB5中事先设定并存储健康程度数据70。
在图8中，对象分类部12能够对老年人进行分类。此时，根据在健康程度数据库DB5中事先准备的健康程度数据70和事先准备的认证信息，能够掌握关于分类后的老年人的年龄、健康的信息。根据这些信息，能够从程度行为挑选部71挑选所确定的行为。
健康程度可以基于专家的信息来设定。例如，脚的程度降低的老年人为了评价脚的康复，能够挑选步行行为、SIDE站立的行为。根据脚程度，行为确定部13确定与脚的行为有关的区域。然后，3D信息获取部15对该区域进行立体处理，计算三维信息D2。
进而，身体特征提取部14使用所述输出的三维信息D2、确定的脚行为信息D1，提取身体特征。最后，基于由身体健康状态分析部14提取出的身体特征，能够通过脚的康复来判断脚的程度是否变好。也能够将现状的脚的程度再次登记到健康程度数据库中。
这样，能够与老年人各自的健康程度相匹配地提供服务。
实施例7
在实施例7中，对身体健康状态影像分析装置1的优选的实施方式进行说明。在此，构成身体健康状态影像分析系统。
图1所例示的身体健康状态影像分析装置1作为其自身独立的单体的装置而设置于大的医院，能够作为管理医院内的护理设施的状况的装置而运用。
在身体健康状态影像分析系统中，为了不仅能够进行所述状况的管理，还能够进行远程的管理而构成本发明。例如，在医生少的人口稀少地区仅设置有照相机，日常观察通行的老年人并将其信息发送到云上。在医生所在的医院设置有身体健康状态影像分析装置1的至少一部分，在适当的时间实施由医生进行的健康状态影像分析，其结果也被送到云。在此，作为身体健康状态影像分析装置1的至少一部分进行了说明，特别是以数据库为中心，这些数据可以放置在云上的任何位置。总之，医生进行健康状态分析即可。数据可以在任何地方任意地蓄积，或者身体特征也可以在任何地方由谁进行。总之，医生能够将健康状态分析结果保存在云上是重要的。另外，在云中，居住在远离人口稀少地区的老年人的地方的亲属人员等能够访问，通过手持的平板电脑、智能手机101等，如果需要则优选能够与由照相机掌握的行为内容一起观察医生下达的健康状态分析结果。
根据以上详细说明的本发明，能够大幅削减通过对多个被检者的确定的行为进行三维数据分析而得到的数据处理量，由此，能够进行单一图像处理芯片中的高精度分析，能够提供可设置于各种环境的影像分析设备，并且，能够大幅削减设置成本。
另外，由于从照相机的二维影像进行立体处理，进行三维处理，所以获取的照相机的挑选较多，设置角度、高度的限制变得宽松。这样，即使是日常设置也是可能的。
根据以上内容，在提供在家、护理设备等面向老年人的服务时，能够将照相机设置在不妨碍老年人生活的地方。通过分析所获取的日常生活的行为，能够测量老年人的身体健康状态。
附图标记说明
10：照相机，11：2D信息获取部，12：对象分类部，13：行为确定部，14：身体特征提取部，15：3D信息获取部，16：身体健康状态分析部，20：图像，DB1：认证登记数据库，22：检测部，23：认证部，24追踪部，DB2：追踪结果数据库，26：老人A的结果，27：老人B的结果，DB3：特征数据库，DB4：时间设定信息数据库，61：早晨行为确定部，62：早晨身体特征提取部，63：白天行为确定部，64：白天身体特征提取部，65：夜晚行为确定部，66：夜晚身体特征提取部，DB5：健康程度数据库，71：行为程度挑选部。

Claims (10)

1.一种身体健康状态影像分析装置，其特征在于，
具备：
2D信息获取部，其通过照相机获取二维影像；
3D信息获取部，其通过立体处理从照相机获取三维数据；
对象分类部，其根据所获取的二维影像对检测对象进行分类；
行为确定部，其确定所述检测对象的行为模式；
身体特征提取部，其基于所述确定的行为模式，分析所述三维数据来提取身体特征；以及
状态分析部，其使用提取出的特征来分析身体健康状态。
2.根据权利要求1所述的身体健康状态影像分析装置，其特征在于，
对所述确定的行为结果进行立体处理，获取三维信息。
3.根据权利要求1所述的身体健康状态影像分析装置，其特征在于，
使用所述获取的三维信息，提取身体特征。
4.根据权利要求1所述的身体健康状态影像分析装置，其特征在于，
使用所述获取的图像信息、三维信息来分析多个老年人的身体健康状态。
5.根据权利要求1所述的身体健康状态影像分析装置，其特征在于，
在所述行为确定部中确定的行为能够组合多个行为。
6.根据权利要求1所述的身体健康状态影像分析装置，其特征在于，
根据时间来调整要分析的身体健康状态。
7.根据权利要求1所述的身体健康状态影像分析装置，其特征在于，
根据老年人的健康程度来调整要分析的身体健康状态。
8.一种身体健康状态影像分析方法，其特征在于，
获取管理对象作为二维影像，根据二维影像确定管理对象，并且确定监视对象的行为模式，获取管理对象作为三维影像，基于所述确定的行为模式，分析所述三维影像来提取身体特征，使用提取出的特征来分析身体健康状态。
9.一种身体健康状态影像分析系统，其特征在于，
获取管理对象作为二维影像，根据二维影像确定管理对象，并且确定监视对象的行为模式，获取管理对象作为三维影像，基于所述确定的行为模式，分析所述三维影像来提取身体特征，使用提取出的特征来分析身体健康状态，并且，
至少获取管理对象作为二维影像的场所、分析所述身体健康状态的场所经由云通过通信而被连接。
10.根据权利要求9所述的身体健康状态影像分析系统，其特征在于，
所述管理对象的相关人员所在的场所经由云通过通信而被连接，至少能够确认所述身体健康状态的分析结果。
CN201980087308.5A 2019-02-05 2019-08-23 身体健康状态影像分析装置、方法以及系统 Active CN113271848B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019018597A JP7169213B2 (ja) 2019-02-05 2019-02-05 身体健康状態映像分析装置、方法並びにシステム
JP2019-018597 2019-02-05
PCT/JP2019/032997 WO2020161947A1 (ja) 2019-02-05 2019-08-23 身体健康状態映像分析装置、方法並びにシステム

Publications (2)

Publication Number Publication Date
CN113271848A true CN113271848A (zh) 2021-08-17
CN113271848B CN113271848B (zh) 2024-01-02

Family

ID=71947562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087308.5A Active CN113271848B (zh) 2019-02-05 2019-08-23 身体健康状态影像分析装置、方法以及系统

Country Status (4)

Country Link
EP (1) EP3922176A4 (zh)
JP (1) JP7169213B2 (zh)
CN (1) CN113271848B (zh)
WO (1) WO2020161947A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116989820B (zh) * 2023-09-27 2023-12-05 厦门精图信息技术有限公司 一种智能导航系统及方法

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298285A (ja) * 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法
JP2006227932A (ja) * 2005-02-17 2006-08-31 Yunimekku:Kk 二次元画像からの三次元解析方法とそれを実行するシステム
WO2008029570A1 (fr) * 2006-09-08 2008-03-13 Sony Corporation Dispositif d'affichage et procédé d'affichage
JP2008146583A (ja) * 2006-12-13 2008-06-26 Sanyo Electric Co Ltd 姿勢検知装置および挙動検知装置
JP2009237845A (ja) * 2008-03-27 2009-10-15 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN101571917A (zh) * 2009-06-16 2009-11-04 哈尔滨工程大学 基于视频的正面步态周期检测方法
JP2009285077A (ja) * 2008-05-28 2009-12-10 Sanyo Electric Co Ltd 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム
JP2012079340A (ja) * 2011-12-26 2012-04-19 Toshiba Corp 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
US20130289449A1 (en) * 2012-04-27 2013-10-31 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
JP2014178969A (ja) * 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 情報処理装置及び判定方法
CN104274179A (zh) * 2014-09-05 2015-01-14 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
US20150038806A1 (en) * 2012-10-09 2015-02-05 Bodies Done Right Personalized avatar responsive to user physical state and context
CN104805784A (zh) * 2015-03-30 2015-07-29 苏州华兴致远电子科技有限公司 一种闸机逃票检测系统及方法
US20150243038A1 (en) * 2014-02-27 2015-08-27 Ricoh Company, Ltd. Method and apparatus for expressing motion object
JP2015158745A (ja) * 2014-02-21 2015-09-03 日本電信電話株式会社 行動識別器生成装置、行動認識装置及びプログラム
JP2016015977A (ja) * 2014-07-04 2016-02-01 株式会社リコー 看護支援装置および看護支援方法
WO2016031314A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 個人識別装置、個人識別方法、及び、個人識別プログラム
WO2016031313A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 体調検出装置、体調検出方法及び体調検出プログラム
US20160147959A1 (en) * 2014-11-20 2016-05-26 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
JP2016099982A (ja) * 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム
JP2017521017A (ja) * 2014-04-21 2017-07-27 ブラスト モーション インコーポレイテッドＢｌａｓｔ Ｍｏｔｉｏｎ Ｉｎｃ． モーション事象認識およびビデオ同期システム並びに方法
WO2017125094A1 (zh) * 2016-01-22 2017-07-27 苏州望湖房地产开发有限公司 一种人体摔倒智能控制系统及其方法
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法
CN107735813A (zh) * 2015-06-10 2018-02-23 柯尼卡美能达株式会社 图像处理系统、图像处理装置、图像处理方法及图像处理程序
US20180075593A1 (en) * 2016-09-15 2018-03-15 Qualcomm Incorporated Automatic scene calibration method for video analytics
CN108337914A (zh) * 2015-10-06 2018-07-27 柯尼卡美能达株式会社 行动检测系统、行动检测装置、行动检测方法以及行动检测程序

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298285A (ja) * 2003-03-28 2004-10-28 Ntt Data Corp 歩行状態・歩行者属性判定装置および判定方法
JP2006227932A (ja) * 2005-02-17 2006-08-31 Yunimekku:Kk 二次元画像からの三次元解析方法とそれを実行するシステム
WO2008029570A1 (fr) * 2006-09-08 2008-03-13 Sony Corporation Dispositif d'affichage et procédé d'affichage
JP2008146583A (ja) * 2006-12-13 2008-06-26 Sanyo Electric Co Ltd 姿勢検知装置および挙動検知装置
JP2009237845A (ja) * 2008-03-27 2009-10-15 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009285077A (ja) * 2008-05-28 2009-12-10 Sanyo Electric Co Ltd 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム
CN101571917A (zh) * 2009-06-16 2009-11-04 哈尔滨工程大学 基于视频的正面步态周期检测方法
JP2012079340A (ja) * 2011-12-26 2012-04-19 Toshiba Corp 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
US20130289449A1 (en) * 2012-04-27 2013-10-31 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US20150038806A1 (en) * 2012-10-09 2015-02-05 Bodies Done Right Personalized avatar responsive to user physical state and context
JP2014178969A (ja) * 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 情報処理装置及び判定方法
JP2015158745A (ja) * 2014-02-21 2015-09-03 日本電信電話株式会社 行動識別器生成装置、行動認識装置及びプログラム
US20150243038A1 (en) * 2014-02-27 2015-08-27 Ricoh Company, Ltd. Method and apparatus for expressing motion object
JP2017521017A (ja) * 2014-04-21 2017-07-27 ブラスト モーション インコーポレイテッドＢｌａｓｔ Ｍｏｔｉｏｎ Ｉｎｃ． モーション事象認識およびビデオ同期システム並びに方法
JP2016015977A (ja) * 2014-07-04 2016-02-01 株式会社リコー 看護支援装置および看護支援方法
WO2016031314A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 個人識別装置、個人識別方法、及び、個人識別プログラム
WO2016031313A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 体調検出装置、体調検出方法及び体調検出プログラム
JP2017205134A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム
CN104274179A (zh) * 2014-09-05 2015-01-14 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
US20160147959A1 (en) * 2014-11-20 2016-05-26 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
JP2016099982A (ja) * 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム
CN104805784A (zh) * 2015-03-30 2015-07-29 苏州华兴致远电子科技有限公司 一种闸机逃票检测系统及方法
CN107735813A (zh) * 2015-06-10 2018-02-23 柯尼卡美能达株式会社 图像处理系统、图像处理装置、图像处理方法及图像处理程序
CN108337914A (zh) * 2015-10-06 2018-07-27 柯尼卡美能达株式会社 行动检测系统、行动检测装置、行动检测方法以及行动检测程序
WO2017125094A1 (zh) * 2016-01-22 2017-07-27 苏州望湖房地产开发有限公司 一种人体摔倒智能控制系统及其方法
US20180075593A1 (en) * 2016-09-15 2018-03-15 Qualcomm Incorporated Automatic scene calibration method for video analytics
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法

Also Published As

Publication number Publication date
EP3922176A1 (en) 2021-12-15
CN113271848B (zh) 2024-01-02
WO2020161947A1 (ja) 2020-08-13
EP3922176A4 (en) 2022-10-26
JP2020124367A (ja) 2020-08-20
JP7169213B2 (ja) 2022-11-10

Similar Documents

Publication Publication Date Title
Ťupa et al. Motion tracking and gait feature estimation for recognising Parkinson’s disease using MS Kinect
US9700242B2 (en) Motion information processing apparatus and method
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
US20210059565A1 (en) Gait-based assessment of neurodegeneration
US20200205697A1 (en) Video-based fall risk assessment system
US9710920B2 (en) Motion information processing device
US20150320343A1 (en) Motion information processing apparatus and method
EP3494428A1 (en) Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
Procházka et al. Use of the image and depth sensors of the Microsoft Kinect for the detection of gait disorders
WO2021186655A1 (ja) 転倒リスク評価システム
CN111937078A (zh) 身体功能自主辅助装置及其方法
Li et al. Gait analysis using stereo camera in daily environment
Romeo et al. Video based mobility monitoring of elderly people using deep learning models
CN113271848B (zh) 身体健康状态影像分析装置、方法以及系统
CN112438723A (zh) 认知功能评估方法、认知功能评估装置以及存储介质
Balta et al. A model-based markerless protocol for clinical gait analysis based on a single RGB-depth camera: concurrent validation on patients with cerebral palsy
Medina-Quero et al. Computer vision-based gait velocity from non-obtrusive thermal vision sensors
KR102297110B1 (ko) 보행 분석 시스템 및 방법
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
Hellmers et al. Validation of a motion capture suit for clinical gait analysis
JP2020124367A5 (zh)
Jamsrandorj et al. Vision-Based Gait Events Detection Using Deep Convolutional Neural Networks
Xiang et al. Single camera based gait analysis method with scaled and image coordinate key-points
Oluwadare Gait analysis on a smart floor for health monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant