CN110837748A - 远程步态采集分析系统 - Google Patents

远程步态采集分析系统 Download PDF

Info

Publication number
CN110837748A
CN110837748A CN201810929812.2A CN201810929812A CN110837748A CN 110837748 A CN110837748 A CN 110837748A CN 201810929812 A CN201810929812 A CN 201810929812A CN 110837748 A CN110837748 A CN 110837748A
Authority
CN
China
Prior art keywords
data
gait
cloud
analysis
doctor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810929812.2A
Other languages
English (en)
Other versions
CN110837748B (zh
Inventor
马安邦
程龙
李巍
万子强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maiwo Medical Technology Co Ltd
Original Assignee
Shanghai Maiwo Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maiwo Medical Technology Co Ltd filed Critical Shanghai Maiwo Medical Technology Co Ltd
Priority to CN201810929812.2A priority Critical patent/CN110837748B/zh
Publication of CN110837748A publication Critical patent/CN110837748A/zh
Application granted granted Critical
Publication of CN110837748B publication Critical patent/CN110837748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Dentistry (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种应用于家庭或社区环境中的远程步态采集分析系统，包括数据采集装置、云端数据分析装置和医生端数据处理装置。本发明通过在云端对远程采集的彩色图像和深度图像进行分析得到被测者的步态参数，医生通过网络登录云端接收步态参数从而能够对被测者进行分析和诊断。本发明通过将数据分析装置设置在云端，使得数据采集不受地域限制，检查方便，并且降低了医生端软件复杂度，既方便了医生，也方便了患者，满足方便、快捷、准确、低成本的要求。

Description

远程步态采集分析系统
技术领域
本发明涉及步态分析领域，更加具体地说，涉及一种可满足不同使用环境的步态采集分析系统。
背景技术
步态是指人或动物通过肢体运动并前进的一种周期性的形式和样子。不同文献对步态的定义多有不同，模糊来说，步态就是描述人或动物走路特点的一种周期性现象，并且每个周期可以被分为多个部分进行分析。当代关于步态分析的研究基本都是以人类为对象，所以我们提到“步态”，一般特指是人类的行为方式。
步态分析是运用生物力学的概念，通过人体在行走过程中采集到的步态数据计算步态时间、空间、动力学等步态参数，并对步态特征进行研究分析的过程。随着计算机技术与人体生物力学的发展，近年来步态分析无论是在临床上，还是在科研领域，均受到越来越多的重视，例如在动作识别、康复评估、疾病监测、人工关节与辅具设计等方面都表现出极大的研究价值和应用价值。
关于步态分析使用的相关技术，目前国际上主要有两种，一种是基于传感器的运动检测技术，另外一种是基于光学的三维运动捕捉技术。基于光学的三维运动捕捉技术，该领域知名的产品有英国Vicon公司开发的三维运动捕捉系统、加拿大NDI公司开发的Optotrak步态/姿势分析系统等。该类设备由多个高精度的高速摄像头组成，摄像头通过捕捉置于受试者表面光标所发射的光线或反射的红外光，采集和记录运动轨迹。此类设备在运动监测方面具有非常高的精度，但价格昂贵、设备应用所需面积大、对测量环境和操作人员要求高(需要标准化的测试场地，并需要有经验的技师粘贴光标点),患者测量过程中需要裸身、使用时需要多名助手参与、操控复杂、操作流程冗长。目前只在我国少量大型医院中作为科研设备使用，难以进入临床应用中，更不可能在面向家庭与社区等非医疗机构环境下应用。
为了实现步态采集分析系统的低成本、高精度和便捷性，近年来国外各大研究机构开始应用低成本且更方便的体感设备，如Microsoft Kinect体感设备，但由于其精度有限，无法满足步态分析所需的复杂的量化要求。因此，尚未能应用于临床中的步态分析，更不能满足日常及社区等非医疗机构环境下的运动监测与康复评估的要求。
发明内容
本发明针对上述现有技术的不足，提供了一种远程步态采集分析系统，其能够在医院或者面向家庭与社区等非医疗机构环境下应用。
根据本发明的一个方面，提供一种远程步态采集分析系统，包括布置在家庭或社区中的数据采集装置、布置在云端的数据分析装置和布置在医院的医生端数据处理装置，其中：所述数据采集装置用于同步采集彩色图像和深度图像，并将采集的数据上传给云端数据分析装置；云端数据分析装置对数据采集装置发送过来的彩色图像进行人像分割，获得关节点的X-Y二维信息，再根据深度图像获取相应的Z信息，从而获取完整的关节点X-Y-Z三维信息，进一步对所述X-Y-Z三维信息进行处理获得被测者的步态参数，并发送给医生端数据处理装置，其中所述X-Y-Z三维信息为三维坐标信息；医生端数据处理装置根据所述步态参数生成被测者的健康分析报告。
优选的，所述数据采集装置包括同步采集彩色图像和深度图像的摄像头，并且所述摄像头为多个，分别被以不同角度和位置来布置。
进一步，彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424，并且所述数据采集装置可以将彩色图像压缩为视频格式，将深度图像进行编码压缩，仅保留受试者周围数据点。
更进一步，所述数据采集装置以30帧/秒的速度采集和保存数据。
优选的，所述云端数据分析装置通过在云端构建云平台实现。
进一步，所述云端数据分析装置具体通过以下方法进行数据处理：基于深度学习的图像语义分割，将人体分割为各个节段；通过采集得到的深度与彩色图像获取人体各个节段的三维点云数据，并利用迭代最近点(ICP)算法获取人体各个阶段的平移和旋转矩阵，进一步获取人体各个关节中心在空间中的位置；利用基于网格的运动估计(GMS)算法对多个成像进行精确校准。
更进一步，所述基于深度学习的图像语义分割包括训练过程和应用过程，其中训练过程的步骤为：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，使用神经网络，利用训练数据集对神经网络进行训练；应用过程的步骤为：将训练好的深度神经网络模型应用于采集得到的彩色图像中，准确划分人体各个节段，再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。
更进一步，所述数据处理装置基于人体各个关节中心在空间中的位置，计算人体步态的时间空间参数和包括关节角在内的运动学参数，并将上述所有步态参数传输给医生端数据处理装置。
优选的，所述医生端数据处理装置是布置在医院的计算机，其中设置有步态分析软件，用于根据云端数据处理装置发送的步态参数生成被测者的诊断报告。
优选的，所述数据采集装置与云端数据分析装置之间，和云端数据分析装置与医生端数据处理装置之间通过TCP/IP协议传输数据。
与现有述相比，本发明通过将数据分析装置设置在云端，使得数据采集不受地域限制，检查方便，并且降低了医生端软件复杂度，既方便了医生，也方便了患者，满足方便、快捷、准确、低成本的要求。
附图说明
图1为根据本发明第一实施例的步态采集分析系统的结构示意图；
图2为数据处理模块的结构示意图；
其中：1、成像装置；2、成像装置控制主机；3、数据采集模块；4、数据处理模块； 5、医生操作电脑。
具体实施方式
下面将结合附图详细说明本发明的具体实施方式，但本领域技术人员应该明了，下面的说明仅仅是为了披露本发明的原理而提供的优选实施例，本发明的保护范围不应该局限于此。
实施例一
如图1所示，根据本发明第一实施例的步态采集分析系统包括：成像装置1、成像装置控制主机2、数据采集模块3、数据处理模块4和电脑5。其中，成像装置1例如为可以同步采集深度图像与彩色图像的摄像头，所述摄像头可以为多个，并且分别与控制主机2相连接。控制主机2用于对成像装置1进行控制，并与数据采集模块3相连接，成像装置1采集的深度图像和彩色图像通过数据采集模块3采集后被传输给数据处理模块4，数据处理模块4通过有线或无线的方式与电脑5相连接。电脑5可供医生操作使用，并且在其中设置有报告形成软件或装置。在根据本发明的步态采集分析设备各部分间(例如数据采集模块3和数据处理模块4之间，或者数据处理模块4与电脑5之间) 采用TCP/IP协议传输数据。
根据本发明，采用多个成像装置同步工作，所述成像装置也可以例如是双目或多目摄像头。由于采用多个成像装置同步工作，因而可以避免被试者由于躯干遮挡等问题造成运动信息采集不准确等情况。在使用成像设备前，需要对摄像头进行校准(例如，使用Open CV进行校准)，获取摄像头的内参与外参，并将参数进行保存。根据本发明，为了提高采集精度，成像装置1应满足如下要求：彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424。在数据采集模块3中，将彩色图像压缩为视频格式，将深度图像进行编码压缩，并且仅保留受试者周围数据点。采用以上技术，本发明能够实时高速(例如，30帧/秒)地采集和保存数据。
根据本发明，在步态采集时，系统操作人员使用终端控制装置(未示出，其可以设置在成像装置控制主机2内，也可单独设置，例如遥控器)来控制成像装置1采集图像，各成像装置控制主机2与终端控制装置通过无线或有线方式连接。终端控制装置通过 TCP/IP向各成像装置控制主机2发送指令，各成像装置1根据指令进行开始采集、停止采集、调整采集角度、调整拍摄亮度等操作。
通过图像处理模块4，对彩色图像进行人像分割，获得关节点的X-Y二维信息，再根据深度图像获取相应的Z信息，从而获取完整的关节点X-Y-Z三维信息(即三维坐标信息)。
根据本发明，数据处理模块4包括三部分，如图2所示，分别用于实现：第一，基于深度学习的图像语义分割，将人体分割为各个节段；第二，获取人体各个节段的三维点云数据，并利用迭代最近点(Iterative Closest Point,ICP)算法获取人体各个节段的平移和旋转矩阵，进一步获取人体各个关节中心在空间中的位置；第三，利用基于网格的运动估计(Grid-based Motion Statistics,GMS)算法对多个成像进行精确校准，进而使用其余成像设备对遮挡肢体进行计算，保证数据完整性。
基于深度学习的图像语义分割，分为两个过程，训练过程：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，本发明使用残差神经网络，利用训练数据集对神经网络进行训练。应用过程：将训练好的深度神经网络模型应用于采集得到的彩色图像中，人体各个节段就可以准确划分。再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。而后，对上一个阶段中已经分类出来的点云，使用ICP算法就可以求得人体各个节段相对于自然站立初始状态的平移和旋转矩阵，再基于以上两个矩阵就可以求出人体关键关节点位置和人体各个节段旋转角度。正常情况下，例如被试者正面摄像头，通过上述两个阶段就可以完整采集分析被试者的步态信息了。但是由于存在被试者侧身等意外情况，可能会导致部分身体节段被遮挡无法识别等情况。本发明采用多目成像采集设备，分别处于不同角度，通过同步采集数据可以实现对被试者数据的完整采集，实现数据完整性。由于多个摄像头摆放位置不固定，因此需要对摄像头进行校准。本发明利用GMS算法在同一时刻不同采集设备获取的彩色图像中寻找稳定精确的匹配点。基于以上二维匹配点，可以从对应深度图像中获取摄像头三维坐标之间的匹配点，再利用以上大量匹配点，进行最小二次拟合，拟合得到两个深度摄像头之间的匹配矩阵，进而就可以对多个摄像头进行校准了。
通过前述的处理，所述基于人体各个关节中心在空间中的位置，在数据处理模块4中计算人体步态的时间、空间参数和包括关节角度在内的运动学参数，并将上述所有步态参数通过无线或有线网络传输至电脑5中，医生通过步态参数在电脑5中借助数据报告软件或装置而可以形成被试者的分析和诊断报告。
医生操作的软件属于数据后处理部分，所述软件能实现数据下载、数据处理和结果展示三大功能。软件在设计过程中简化医生操作流程，方便医生检查患者数据，还可生成患者检测报告。具体软件形式可根据不同需求设计，在此不再赘述。
进一步说明，根据本发明，数据采集模块3和数据处理模块4可设置在成像装置控制主机2中，也可以设置在医生操作用电脑5(例如工作站)中，当然也可以单独设置 (例如设置在云端)。当然，根据本实施例的步态采集分析系统也可以集成为一体机。而且本领域技术人员根据本发明的构思和原理，既可以通过硬件的方式，也可以通过软件的方式，来实现各组成部分，在此不做详细说明。
实施例二
在本发明的一个实施例中，步态采集分析系统可应用于医院环境中，该版本包括两个部分：数据采集装置和数据分析处理装置，小型化数据采集装置能够在医院走廊、病房等地点采集患者步态数据，患者着装要求低，检查时间短，检查环节少。数据采集装置与数据分析处理装置通过院内网络(有线或无线)连接，例如通过TCP/IP连接，从而能够实现快速数据传输。同时考虑到工作站的高性能，能够对患者采集数据进行实时处理分析，将数据呈现给临床医生生成评估报告，进而对患者疾病进行诊断和评估。
本实施例的数据采集装置可由实施例一的成像装置1、成像装置控制主机2、数据采集模块3集成得到。数据分析处理装置可由实施例一的数据处理模块4和医生操作主机 5集成。
实施例三
在本发明的一个实施例中，步态采集分析系统可应用在家庭和社区环境中，共有三个模块：数据采集装置、云端数据分析装置和医生端数据处理装置。该版本的数据采集装置与医院版本相同，能够在家庭或者社区中进行数据采集，并将采集数据上传至云端服务器。在云端服务器中部署数据分析装置，能够对患者采集的数据进行初步的数据分析，得到患者的精确的运动数据。优选的，可将实施例一中所述的数据处理模块的功能集成在云端服务器中实现，从而完成对采集数据的分析。在医生端数据处理装置，医生可以使用软件下载云端处理后的数据，进行数据阅读和报告生成，并能够将报告反馈给患者，进而指导患者在家中或者社区医院中进行康复训练。
根据本实施例，数据采集模块、云端数据分析装置和医生端数据处理装置之间可通过有线或无线方式连接。例如，通过TCP/IP协议传输数据。
另外，由于数据采集装置设置在家庭或社区中，而数据处理终端设置在医院内，所以该版本例如设计了kCloud云端，kCloud是连接患者与医生的关键节点。kCloud除了实现基本的数据上传、下载及存储等功能外，还需要部署数据预处理算法，例如实现实施例一中的数据处理模块。kCloud系统接受数据采集端发送过来的彩色图像数据、深度图像数据和两者之间的几何对应关系；然后经过云端部署的算法处理过程，向医生端发送患者的4D(三维空间信息+时间信息)关节点数据。该技术方案，既能够在云端剔除冗余数据，保证数据传输的速度，又能够降低医生端软件的复杂度，降低了对医生端PC 配置的需求，增大了软件的适应性。如此，使用患者端设备进行数据采集，并使用kCloud 系统进行远程交互，使医生远程地、量化地跟踪患者的康复过程，经过横向和纵向的数据比对给出患者针对性的康复建议。优选的，kCloud云端采用七牛云建立云平台，采用断点续传等技术保证在网络不稳定情况下数据的完整性。
根据前述的详细说明，实施例一的步态采集分析系统可以是集成一体机，而实施例二和三是实施例一的不同应用环境的版本，但均具有以下优点：1、数据采集装置对场地要求低，检查环节少，检查时间短，软件操作简单，着装要求低，既方便了医生也方便了患者。2、本发明的步态采集分析系统中进行数据分析的软件或模块可部署于医院版本的工作站或家庭社区版本的云端，通过本发明的步态采集分析系统能够提高数据分析的精度。3、医生使用的软件包含了一整套完整的自动化数据分析与报告生成的流程，使得医生阅读分析数据无难度，使本产品不必依赖于专业的数据分析人员。

Claims (10)

1.一种远程步态采集分析系统，包括布置在家庭或社区中的数据采集装置、布置在云端的数据分析装置和布置在医院的医生端数据处理装置，其中：
所述数据采集装置用于同步采集彩色图像和深度图像，并将采集的数据上传给云端数据分析装置；
云端数据分析装置对数据采集装置发送过来的彩色图像进行人像分割，获得关节点的X-Y二维信息，再根据深度图像获取相应的Z信息，从而获取完整的关节点X-Y-Z三维信息，进一步对所述X-Y-Z三维信息进行处理获得被测者的步态参数，并发送给医生端数据处理装置，其中所述X-Y-Z三维信息为三维坐标信息；
医生端数据处理装置根据所述步态参数生成被测者的健康分析报告。
2.根据权利要求1所述的远程步态采集分析系统，其中所述数据采集装置包括同步采集彩色图像和深度图像的摄像头，并且所述摄像头为多个，分别被以不同角度和位置来布置。
3.根据权利要求2所述的远程步态采集分析系统，其中彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424，并且所述数据采集装置可以将彩色图像压缩为视频格式，将深度图像进行编码压缩，并仅保留受试者周围数据点。
4.根据权利要求3所述的远程步态采集分析系统，其中所述数据采集装置以30帧/秒的速度采集和保存数据。
5.根据权利要求1所述的远程步态采集分析系统，其中所述云端数据分析装置通过在云端构建云平台实现。
6.根据权利要求5所述的远程步态采集分析系统，其中所述云端数据分析装置具体通过以下方法进行数据处理：基于深度学习的图像语义分割，将人体分割为各个节段；通过采集得到的深度与彩色图像获取人体各个节段的三维点云数据，并利用ICP算法获取人体各个阶段的平移和旋转矩阵，进一步获取人体各个关节中心在空间中的位置；利用GMS算法对多个成像进行精确校准。
7.根据权利要求6所述的远程步态采集分析系统，其中所述基于深度学习的图像语义分割包括训练过程和应用过程，其中训练过程的步骤为：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，使用神经网络，利用训练数据集对神经网络进行训练；应用过程的步骤为：将训练好的深度神经网络模型应用于采集得到的彩色图像中，准确划分人体各个节段，再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。
8.根据权利要求7所述的步态采集分析系统，其中所述数据处理装置基于人体各个关节中心在空间中的位置，计算人体步态的时间空间参数和包括关节角在内的运动学参数，并将上述所有步态参数传输给医生端数据处理装置。
9.根据权利要求8所述的远程步态采集分析系统，其中医生端数据处理装置是布置在医院的计算机，其中设置有步态分析软件，用于根据云端数据处理装置发送的步态参数生成被测者的诊断报告。
10.根据权利要求9所述的远程步态采集分析系统，其中所述数据采集装置与云端数据分析装置之间，和云端数据分析装置与医生端数据处理装置之间通过TCP/IP协议传输数据。
CN201810929812.2A 2018-08-15 2018-08-15 远程步态采集分析系统 Active CN110837748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810929812.2A CN110837748B (zh) 2018-08-15 2018-08-15 远程步态采集分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810929812.2A CN110837748B (zh) 2018-08-15 2018-08-15 远程步态采集分析系统

Publications (2)

Publication Number Publication Date
CN110837748A true CN110837748A (zh) 2020-02-25
CN110837748B CN110837748B (zh) 2023-05-02

Family

ID=69574081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810929812.2A Active CN110837748B (zh) 2018-08-15 2018-08-15 远程步态采集分析系统

Country Status (1)

Country Link
CN (1) CN110837748B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255462A (zh) * 2021-04-29 2021-08-13 深圳大学 步态评分方法、系统、计算机程序产品及可读存储介质
CN113855003A (zh) * 2021-09-29 2021-12-31 复旦大学附属中山医院 一种步态检测方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130289449A1 (en) * 2012-04-27 2013-10-31 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
CN105930651A (zh) * 2016-04-19 2016-09-07 东华大学 一种基于Kinect的远程骨骼康复诊断系统
CN107273677A (zh) * 2017-06-08 2017-10-20 中国科学院软件研究所 一种多通道神经功能定量评价系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130289449A1 (en) * 2012-04-27 2013-10-31 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
CN105930651A (zh) * 2016-04-19 2016-09-07 东华大学 一种基于Kinect的远程骨骼康复诊断系统
CN107273677A (zh) * 2017-06-08 2017-10-20 中国科学院软件研究所 一种多通道神经功能定量评价系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡付文;王人成;李广庆;王茂斌;: "低成本人体步态分析系统的研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255462A (zh) * 2021-04-29 2021-08-13 深圳大学 步态评分方法、系统、计算机程序产品及可读存储介质
CN113855003A (zh) * 2021-09-29 2021-12-31 复旦大学附属中山医院 一种步态检测方法、系统及设备

Also Published As

Publication number Publication date
CN110837748B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
Clark et al. Three-dimensional cameras and skeleton pose tracking for physical function assessment: A review of uses, validity, current developments and Kinect alternatives
EP3376414B1 (en) Joint movement detection system and method, and dynamic assessment method and system for knee joint
CN108553081B (zh) 一种基于舌苔图像的诊断系统
US10445930B1 (en) Markerless motion capture using machine learning and training with biomechanical data
CN104887238A (zh) 基于动作捕捉的手康复训练评估系统和方法
CN110200601A (zh) 一种脉象获取装置及系统
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
US20180182091A1 (en) Method and system for imaging and analysis of anatomical features
Surer et al. Methods and technologies for gait analysis
CN105468896A (zh) 关节运动检测系统及方法
CN110837748B (zh) 远程步态采集分析系统
KR101941209B1 (ko) 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법
Lu et al. Comparing limb-volume measurement techniques: 3D models from an infrared depth sensor versus water displacement
CN116807452A (zh) 一种脊柱侧弯3d检测方法、系统、设备及介质
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
CN110837751B (zh) 基于rgbd深度摄像头的人体运动捕捉与步态分析方法
CN110833418A (zh) 一种步态采集与分析装置
CN116712094A (zh) 一种基于负重模拟ct装置的膝关节测量系统
US20210267494A1 (en) Analysis system and method of joint movement
Lu et al. A new algorithm for 3D registration and its application in self-monitoring and early detection of lymphedema
Albuquerque et al. Remote Pathological Gait Classification System
CN114869270B (zh) 一种基于小动物图像和足底压力数据融合的步态分析方法
Han et al. Upper limb position sensing: A machine vision approach
EP4246451A1 (en) Method for modelling a joint
CN209733994U (zh) 一种步态采集与分析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant