CN110837751A - 基于rgbd深度摄像头的人体运动捕捉与步态分析方法 - Google Patents
基于rgbd深度摄像头的人体运动捕捉与步态分析方法 Download PDFInfo
- Publication number
- CN110837751A CN110837751A CN201810931326.4A CN201810931326A CN110837751A CN 110837751 A CN110837751 A CN 110837751A CN 201810931326 A CN201810931326 A CN 201810931326A CN 110837751 A CN110837751 A CN 110837751A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- human body
- image
- segment
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000013519 translation Methods 0.000 claims abstract description 22
- 238000009616 inductively coupled plasma Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于RGBD深度摄像头的人体运动捕捉与步态分析方法，包括：获取步骤，用于获取由成像装置采集的人体图像数据；分割步骤，基于深度学习的图像语义分割，将获取的人体图像分割为各个节段；配准步骤，基于分割的人体的各个节段，获取各个节段对应的三维点云数据，并利用ICP算法获取人体各个节段的平移和旋转矩阵；校准步骤，利用基于网格的运动估计(GMS)算法对由图像采集装置同步采集的多个成像进行精确校准；所述利用ICP算法获取人体各节段平移和旋转矩阵的步骤是在GPU中实现的。为了进一步提升图像数据处理的速度，可对采集的图像进行降采样处理。本发明通过GPU基于ICP算法对采集的三维点云进行配准，并进而通过降采样，可大大提升图像处理的速度。
Description
技术领域
本发明涉及医学图像处理领域，更加具体地说，涉及一种基于RGBD深度摄像头的人体运动捕捉与步态分析方法、装置及计算机存储介质与计算机设备。
背景技术
步态是描述人或动物走路特点的一种周期性现象，并且每个周期可以被分为多个部分进行分析。步态分析是运用生物力学的概念，通过人体在行走过程中采集到的步态数据计算步态时间、空间、动力学等步态参数，并对步态特征进行研究分析的过程。随着计算机技术与人体生物力学的发展，近年来步态分析无论是在临床上，还是在科研领域，均受到越来越多的重视，例如在动作识别、康复评估、疾病监测与诊断、人工关节与辅具设计等方面都表现出极大的研究价值和应用价值。
关于步态分析使用的相关技术，目前国际上主要有两种，一种是基于传感器的运动检测技术，另外一种是基于光学的三维运动捕捉技术。基于光学的三维运动捕捉技术，该领域知名的产品有英国Vicon公司开发的三维运动捕捉系统、加拿大NDI公司开发的Optotrak步态/姿势分析系统等。该类设备由多个高精度的高速摄像头组成，摄像头通过捕捉置于受试者表面光标所发射的光线或反射的红外光，采集和记录运动轨迹，进一步通过对采集的图像进行处理，分析其运动规律，从而能够掌握受试者的健康状况。
在步态分析中，需要将采集的人体图像划分为各个节段，并获得各个节段的三维点云(即三维点的坐标的集合)，之后使用ICP(Iterative closest Point，迭代最近点)算法对采集的三维点云进行处理就可以求得人体各个节段相对于自然站立初始状态的平移和旋转矩阵，再基于以上两个矩阵就可以求出人体关键关节点位置和人体各个节段旋转角度，从而可以精确输出目标人体的运动轨迹，分析其运动规律。
其中，ICP算法着重解决两个三维点云间的配准问题，即已知两个三维点云，求解点云间的变换矩阵。传统ICP算法流程为：1、根据初始点云和目标点云的坐标，搜寻对应的最近点；2、计算目标点云的正定矩阵N，并计算N的最大特征值和最大特征向量；3、通过已有的最近点变换和最大特征向量，计算两个点云间的旋转矩阵R；4、利用点云间的重心变换计算平移向量t；5、将R与t结合即为当前迭代的变换矩阵结果，对初始点云施加该变换；6、重复步骤1-5，直至收敛到预设精度。
目前已有名为PCL(Point Cloud Library，点云库)的C++开源库，实现了经典的ICP点云配准算法。该开源库的算法基于CPU设定好初始参数后精度可观，然而搜索点云间最近点变换的代价过大，导致配准时间极长。实践表明，该开源库提供的算法对于两个规模为一千个点的点云进行单次配准，用时在十秒左右，耗时过长，无法满足实际需求。
发明内容
本发明针对上述现有技术的不足，提供了一种改进的基于ICP算法的图像处理方法与图像处理系统，其能够极大缩短在步态分析中对图像进行处理的时间，从而满足实际使用的需要。
根据本发明的一个方面，提供一种基于迭代最近点(ICP)算法的图像处理方法，包括以下步骤：
获取步骤，用于获取由成像装置采集的人体图像数据；
分割步骤，基于深度学习的图像语义分割，将获取的人体图像分割为各个节段；
配准步骤，基于分割的人体的各个节段，获取各个节段对应的三维点云数据，并利用ICP算法获取人体各个节段的平移和旋转矩阵；
校准步骤，利用基于网格的运动估计(GMS)算法对由图像采集装置同步采集的多个成像进行精确校准；
所述利用ICP算法获取人体各节段平移和旋转矩阵的步骤是在GPU中实现的。
优选的，所述成像装置包括RGBD深度摄像头。
优选地，所述基于深度学习的图像语义分割包括训练过程和应用过程，其中训练过程的步骤为：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，使用神经网络，利用训练数据集对神经网络进行训练；应用过程的步骤为：将训练好的深度神经网络模型应用于采集得到的彩色图像中，准确划分人体各个节段，再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。
更优选地，所述图像数据包括彩色图像数据和深度图像数据，彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424，并且在对深度图像数据进行配准时，所述配准步骤用于：
对初始点云和目标点云进行三层降采样，得到四组对应点云，分别为初始规模点云(512*424)，四分之一规模点云(256*212)，十六分之一规模点云(128*106)和六十四分之一规模点云(64*53)；
对六十四分之一规模的对应点云进行配准，得到一个粗配准变换矩阵，并对十六分之一的初始点云施加该变换；
对十六分之一规模的对应点云重复上一步骤，四分之一规模点云及初始点云同理，最终得到精确变换矩阵。
进一步，所述基于ICP算法获取平移和旋转矩阵包括：(1)根据初始点云和目标点云的坐标，搜寻对应的最近点；(2)计算目标点云的正定矩阵N，并计算N的最大特征值和最大特征向量；(3)通过已有的最近点变换和最大特征向量，计算两个点云间的旋转矩阵R；(4)利用点云间的重心变换计算平移向量t；(5)将R与t结合即为当前迭代的变换矩阵结果，对初始点云施加该变换；(6)重复步骤(1)-(5)，直至收敛到预设精度。
本发明还提供一种基于迭代最近点(ICP)算法的图像处理系统，包括：
获取模块，用于获取由成像装置采集的人体图像数据；
分割模块，用于基于深度学习的图像语义分割，将获取的人体图像分割为各个节段；
配准模块，用于基于分割的人体的各个节段，获取各个节段对应的三维点云数据，并利用ICP算法获取人体各个节段的平移和旋转矩阵；
校准模块，利用基于网格的运动估计(GMS)算法对由图像采集装置同步采集的多个成像进行精确校准；
其中所述利用ICP算法获取人体各节段平移和旋转矩阵是在GPU中实现的。
优选的，所述成像装置包括RGBD深度摄像头。
优选的，所述基于深度学习的图像语义分割包括训练过程和应用过程，其中训练过程的步骤为：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，使用神经网络，利用训练数据集对神经网络进行训练；应用过程的步骤为：将训练好的深度神经网络模型应用于采集得到的彩色图像中，准确划分人体各个节段，再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。
进一步优选地，所述图像数据包括彩色图像数据和深度图像数据，彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424，并且在对深度图像数据进行配准时，所述配准模块用于：
对初始点云和目标点云进行三层降采样，得到四组对应点云，分别为初始规模点云(512*424)，四分之一规模点云(256*212)，十六分之一规模点云(128*106)和六十四分之一规模点云(64*53)；
对六十四分之一规模的对应点云进行配准，得到一个粗配准变换矩阵，并对十六分之一的初始点云施加该变换；
对十六分之一规模的对应点云重复上一步骤，四分之一规模点云及初始点云同理，最终得到精确变换矩阵。
进一步，所述基于ICP算法获取平移和旋转矩阵包括：(1)根据初始点云和目标点云的坐标，搜寻对应的最近点；(2)计算目标点云的正定矩阵N，并计算N的最大特征值和最大特征向量；(3)通过已有的最近点变换和最大特征向量，计算两个点云间的旋转矩阵R；(4)利用点云间的重心变换计算平移向量t；(5)将R与t结合即为当前迭代的变换矩阵结果，对初始点云施加该变换；(6)重复步骤(1)-(5)，直至收敛到预设精度。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时可实现前述根据本发明的图像处理方法。
本发明进一步还提供一种计算机设备，包括处理器和存储器，所述存储器上存储有计算机程序，当所述处理器执行所述存储器上存储的计算机程序时，可实现前述根据本发明的图像处理方法。
与现有技术相比，本发明通过利用例如NVIDIA CUDA这一并行计算架构，将ICP算法中传统的流水线式CPU计算转换为GPU多线程版本，并通过对图像数据进行降采样，从而能够在保证精度的情况下实现极大的加速，大大缩减数据处理时间。
附图说明
图1为根据本发明实施例的步态采集分析系统的结构示意图；
图2为图像处理系统的结构示意图；
其中：1、成像装置；2、成像装置控制主机；3、数据采集模块；4、图像处理系统；5、医生操作电脑。
具体实施方式
下面将结合附图详细说明本发明的具体实施方式，但本领域技术人员应该明了，下面的说明仅仅是为了披露本发明的技术方案而提供的优选实施例，本发明的保护范围不应该局限于此。
如图1所示，本发明实施例提供一种步态采集分析系统，包括：成像装置1、成像装置控制主机2、数据采集模块3、图像处理系统4和电脑5。其中，成像装置1例如为可以同步采集深度图像与彩色图像的摄像头，优选为RGBD深度摄像头，所述摄像头可以为多个，并且分别与控制主机2相连接。控制主机2用于对成像装置1进行控制，并与数据采集模块3相连接，成像装置1采集的深度图像和彩色图像通过数据采集模块3采集后被传输给图像处理系统4，图像处理系统4通过有线或无线的方式与电脑5相连接。电脑5可供医生操作使用，并且在其中设置有报告形成软件或装置。在根据本发明的步态采集分析系统各部分间(例如数据采集模块3和图像处理系统4之间，或者图像处理系统4与电脑5之间)采用TCP/IP协议传输数据。
根据本发明，采用多个成像装置同步工作，所述成像装置也可以例如是双目或多目摄像头。由于采用多个成像装置同步工作，因而可以避免被试者由于躯干遮挡等问题造成运动信息采集不准确等情况。在使用成像装置前，需要对摄像头进行校准(例如，使用Open CV进行校准)，获取摄像头的内参与外参，并将参数进行保存。根据本发明，为了提高采集精度，成像装置1应满足如下要求：彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424。在数据采集模块3中，将彩色图像压缩为视频格式，将深度图像进行编码压缩，并且仅保留受试者周围数据点。采用以上技术，本发明能够实时高速(例如，30帧/秒)地采集和保存数据。
根据本发明，在步态采集时，系统操作人员使用终端控制装置(未示出，其可以设置在成像装置控制主机2内，也可单独设置，例如遥控器)来控制成像装置1采集图像，各成像装置控制主机2与终端控制装置通过无线或有线方式连接。终端控制装置通过TCP/IP向各成像装置控制主机2发送指令，各成像装置1根据指令进行开始采集、停止采集、调整采集角度、调整拍摄亮度等操作。
通过图像处理系统4，对彩色图像进行人像分割，获得关节点的X-Y二维信息，再根据深度图像获取相应的Z信息，从而获取完整的关节点X-Y-Z三维信息(即三维坐标信息)。
如图2所示，图像处理系统4包括三部分：分割模块，基于深度学习的图像语义分割，将获取的人体图像分割为各个节段；配准模块，获取人体各个节段的三维点云数据，并利用迭代最近点(Iterative Closest Point,ICP)算法获取人体各个节段的平移和旋转矩阵，进一步获取人体各个关节中心在空间中的位置；校准模块，利用基于网格的运动估计(Grid-based Motion Statistics,GMS)算法对多个成像进行精确校准，进而利用其余成像设备对遮挡肢体进行计算，保证数据完整性。
基于深度学习的图像语义分割，分为两个过程，训练过程：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，本发明使用残差神经网络，利用训练数据集对神经网络进行训练。应用过程：将训练好的深度神经网络模型应用于采集得到的彩色图像中，人体各个节段就可以准确划分。再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。而后，对上一个阶段中已经分类出来的点云，使用ICP算法就可以求得人体各个节段相对于自然站立初始状态的平移和旋转矩阵，再基于以上两个矩阵就可以求出人体关键关节点位置和人体各个节段旋转角度。正常情况下，例如被试者正面摄像头，通过上述两个阶段就可以完整采集分析被试者的步态信息了。但是由于存在被试者侧身等意外情况，可能会导致部分身体节段被遮挡无法识别等情况。本发明采用多目成像采集设备，分别处于不同角度，通过同步采集数据可以实现对被试者数据的完整采集，实现数据完整性。由于多个摄像头摆放位置不固定，因此需要对摄像头进行校准。本发明利用GMS算法在同一时刻不同采集设备获取的彩色图像中寻找稳定精确的匹配点。基于以上二维匹配点，可以从对应深度图像中获取摄像头三维坐标之间的匹配点，再利用以上大量匹配点，进行最小二次拟合，拟合得到两个深度摄像头之间的匹配矩阵，进而就可以对多个摄像头进行校准了。
如上所述，基于ICP算法获取人体各个节段的运动信息，其中ICP算法的具体流程是现有技术中熟知的，在此不再详细说明。但现有技术的ICP运算是基于CPU架构执行的，而CPU是串行运算架构，适合运算非常复杂的序列代码。相较于CPU，GPU能同时运行上万个线程，虽然单线程效率相对低下，但适合解决典型的大规模的并行计算问题。而ICP配准算法中包含大量独立的坐标换算，以及大规模的矩阵运算，十分适合利用GPU多线程并行计算进行优化。因此，根据本发明，所述基于ICP获取人体各阶段运动信息的方法是基于GPU设计实现的。例如，在之前提到的ICP算法流程基础上，我们利用NVIDIACUDA这一并行计算架构，将ICP算法中传统的流水线式CPU计算转换为GPU多线程版本，通过将配准模块集成在GPU中，本发明能够实现极大的加速，大大缩减数据处理时间。
根据本发明，进一步优选的，在对深度图像进行配准的情景下，为了进一步提升运算速度，可以通过图像处理系统4对初始点云和目标点云进行三层降采样，得到四组对应点云，分别为初始规模点云(512*424)，四分之一规模点云(256*212)，十六分之一规模点云(128*106)和六十四分之一规模点云(64*53)。然后，对六十四分之一规模的对应点云进行配准，得到一个粗配准变换矩阵，并对十六分之一的初始点云施加该变换。接着，对十六分之一规模的对应点云重复上一步骤，四分之一规模点云及初始点云同理，最终得到精确变换矩阵。
通过以上改进，本发明显著降低了点云配准的计算量，例如，可将单次配准的时间压缩到30ms以内，在满足精度的同时达到了每秒配准30帧的速度需求。
通过前述的处理，所述基于人体各个关节中心在空间中的位置，在图像处理系统4中计算人体步态的时间、空间参数和包括关节角度在内的运动学参数，并将上述所有步态参数通过无线或有线网络传输至电脑5中，医生通过步态参数在电脑5中借助数据报告软件或装置而可以形成被试者的分析和诊断报告。
医生操作的软件属于数据后处理部分，所述软件能实现数据下载、数据处理和结果展示三大功能。软件在设计过程中简化医生操作流程，方便医生检查患者数据，还可生成患者检测报告。具体软件形式可根据不同需求设计，在此不再赘述。
优选的，根据本发明，成像装置1可以设置在医院，也可以设置在家庭或社区环境中，因而可以实现远程的步态采集和分析，方便医生和患者。
显然，本领域技术人员应该明了，上述的本发明的各模块或各步骤可以采用通用的计算机装置来实现，它们可以集中在单个的计算机装置上，或者分布在多个计算装置所组成的网络上。例如，数据采集模块3和图像处理系统4可设置在成像装置控制主机2中，也可以设置在医生操作用电脑5(例如工作站)中，当然也可以单独设置(例如设置在云端)。当然，根据本实施例的步态采集分析系统也可以集成为一体机。
可选地，根据本发明的基于ICP的图像处理方法可以通过计算机执行的程序来实现，并将其存储在计算机存储介质中，当由计算机装置执行时，所述程序能够执行根据本发明所述的基于ICP的图像处理方法。所述计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存、CD、DVD、磁盘、磁带或可以被计算机访问的任何其他介质。
另外，本发明还提供一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，当所述处理器执行所述计算机程序时可实现根据本发明的基于ICP的图像处理方法。
本领域技术人员可以理解，本发明所公开方法中的全部或某些步骤、系统、模块或单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，上述说明中提及的功能模块/单元之间的划分不一定对应于物理组件的划分，例如一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件可以被实施为由处理器(例如微处理器或数字信号处理器)执行的软件，或者被实施为硬件，或者被实施为集成电路。
需要说明的是，尽管参照上述实施例详细说明了本发明的技术方案，但本领域技术人员应当理解，其依然可以对前述实施例记载的技术方案进行修改，或者可以对其中部分技术特征进行等同替换，而这些修改或替换，并不会脱离本发明的实质，依然属于本发明的范围。
Claims (10)
1.一种基于RGBD深度摄像头的人体运动捕捉与步态分析方法，包括以下步骤：
获取步骤，用于获取由成像装置采集的人体图像数据；
分割步骤，基于深度学习的图像语义分割，将获取的人体图像分割为各个节段；
配准步骤，基于分割的人体的各个节段，获取各个节段对应的三维点云数据，并利用ICP算法获取人体各个节段的平移和旋转矩阵；
校准步骤，利用GMS算法对由图像采集装置同步采集的多个成像进行精确校准；
所述利用ICP算法获取人体各节段平移和旋转矩阵的步骤是在GPU中实现的。
2.根据权利要求1所述的图像处理方法，其中所述基于深度学习的图像语义分割包括训练过程和应用过程，其中训练过程的步骤为：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，使用神经网络，利用训练数据集对神经网络进行训练；应用过程的步骤为：将训练好的深度神经网络模型应用于采集得到的彩色图像中，准确划分人体各个节段，再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。
3.根据权利要求1所述的图像处理方法，其中所述图像数据包括彩色图像数据和深度图像数据，彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424，并且在对深度图像数据进行配准时，所述配准步骤用于：
对初始点云和目标点云进行三层降采样，得到四组对应点云，分别为初始规模点云(512*424)，四分之一规模点云(256*212)，十六分之一规模点云(128*106)和六十四分之一规模点云(64*53)；
对六十四分之一规模的对应点云进行配准，得到一个粗配准变换矩阵，并对十六分之一的初始点云施加该变换；
对十六分之一规模的对应点云重复上一步骤，四分之一规模点云及初始点云同理，最终得到精确变换矩阵。
4.根据权利要求1所述的图像处理方法，其中所述基于ICP算法获取平移和旋转矩阵包括：(1)根据初始点云和目标点云的坐标，搜寻对应的最近点；(2)计算目标点云的正定矩阵N，并计算N的最大特征值和最大特征向量；(3)通过已有的最近点变换和最大特征向量，计算两个点云间的旋转矩阵R；(4)利用点云间的重心变换计算平移向量t；(5)将R与t结合即为当前迭代的变换矩阵结果，对初始点云施加该变换；(6)重复步骤(1)-(5)，直至收敛到预设精度。
5.一种基于ICP算法的图像处理系统，包括：
获取模块，用于获取由成像装置采集的人体图像数据；
分割模块，用于基于深度学习的图像语义分割，将获取的人体图像分割为各个节段；
配准模块，用于基于分割的人体的各个节段，获取各个节段对应的三维点云数据，并利用ICP算法获取人体各个节段的平移和旋转矩阵；
校准模块，利用GMS算法对由图像采集装置同步采集的多个成像进行精确校准；
其中所述利用ICP算法获取人体各节段平移和旋转矩阵是在GPU中实现的。
6.根据权利要求5所述的图像处理系统，其中所述基于深度学习的图像语义分割包括训练过程和应用过程，其中训练过程的步骤为：采集大量的志愿者数据，对志愿者数据进行语义分割，将人体各个节段分割出来，形成训练数据集，使用神经网络，利用训练数据集对神经网络进行训练；应用过程的步骤为：将训练好的深度神经网络模型应用于采集得到的彩色图像中，准确划分人体各个节段，再根据彩色图像中对人体各个节段的划分应用于三维点云中，对人体的点云进行标记分类。
7.根据权利要求5所述的图像处理系统，其中所述图像数据包括彩色图像数据和深度图像数据，彩色图像的分辨率为1920x1080，深度图像的分辨率为512x424，并且在对深度图像数据进行配准时，所述配准模块用于：
对初始点云和目标点云进行三层降采样，得到四组对应点云，分别为初始规模点云(512*424)，四分之一规模点云(256*212)，十六分之一规模点云(128*106)和六十四分之一规模点云(64*53)；
对六十四分之一规模的对应点云进行配准，得到一个粗配准变换矩阵，并对十六分之一的初始点云施加该变换；
对十六分之一规模的对应点云重复上一步骤，四分之一规模点云及初始点云同理，最终得到精确变换矩阵。
8.根据权利要求5所述的图像处理系统，其中所述基于ICP算法获取平移和旋转矩阵包括：(1)根据初始点云和目标点云的坐标，搜寻对应的最近点；(2)计算目标点云的正定矩阵N，并计算N的最大特征值和最大特征向量；(3)通过已有的最近点变换和最大特征向量，计算两个点云间的旋转矩阵R；(4)利用点云间的重心变换计算平移向量t；(5)将R与t结合即为当前迭代的变换矩阵结果，对初始点云施加该变换；(6)重复步骤(1)-(5)，直至收敛到预设精度。
9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时可实现根据权利要求1-4中任意一项所述的方法。
10.一种计算机设备，包括处理器和存储器，所述存储器上存储有计算机程序，当所述处理器执行所述存储器上存储的计算机程序时，可实现根据权利要求1-4中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810931326.4A CN110837751B (zh) | 2018-08-15 | 2018-08-15 | 基于rgbd深度摄像头的人体运动捕捉与步态分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810931326.4A CN110837751B (zh) | 2018-08-15 | 2018-08-15 | 基于rgbd深度摄像头的人体运动捕捉与步态分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110837751A true CN110837751A (zh) | 2020-02-25 |
| CN110837751B CN110837751B (zh) | 2023-12-29 |
Family
ID=69574115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810931326.4A Active CN110837751B (zh) | 2018-08-15 | 2018-08-15 | 基于rgbd深度摄像头的人体运动捕捉与步态分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110837751B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113384844A (zh) * | 2021-06-17 | 2021-09-14 | 郑州万特电气股份有限公司 | 基于双目视觉的灭火动作检测方法及灭火器安全实训系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
| CN106683181A (zh) * | 2017-01-06 | 2017-05-17 | 厦门大学 | 一种三维人体稠密表面运动场重建方法 |
| US20170243057A1 (en) * | 2016-02-19 | 2017-08-24 | Xerox Corporation | System and method for automatic gait cycle segmentation |
| CN107220995A (zh) * | 2017-04-21 | 2017-09-29 | 西安交通大学 | 一种基于orb图像特征的icp快速点云配准算法的改进方法 |
-
2018
- 2018-08-15 CN CN201810931326.4A patent/CN110837751B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
| US20170243057A1 (en) * | 2016-02-19 | 2017-08-24 | Xerox Corporation | System and method for automatic gait cycle segmentation |
| CN106683181A (zh) * | 2017-01-06 | 2017-05-17 | 厦门大学 | 一种三维人体稠密表面运动场重建方法 |
| CN107220995A (zh) * | 2017-04-21 | 2017-09-29 | 西安交通大学 | 一种基于orb图像特征的icp快速点云配准算法的改进方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吕强;王晓龙;刘峰;夏凡;: "基于点云配准的室内移动机器人6自由度位姿估计" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113384844A (zh) * | 2021-06-17 | 2021-09-14 | 郑州万特电气股份有限公司 | 基于双目视觉的灭火动作检测方法及灭火器安全实训系统 |
| CN113384844B (zh) * | 2021-06-17 | 2022-01-28 | 郑州万特电气股份有限公司 | 基于双目视觉的灭火动作检测方法及灭火器安全实训系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110837751B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190050724A (ko) | 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법 | |
| EP3376414B1 (en) | Joint movement detection system and method, and dynamic assessment method and system for knee joint | |
| Mroz et al. | Comparing the quality of human pose estimation with blazepose or openpose | |
| Wang et al. | Quantitative assessment of dual gait analysis based on inertial sensors with body sensor network | |
| WO2020018469A1 (en) | System and method for automatic evaluation of gait using single or multi-camera recordings | |
| KR20200134502A (ko) | 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 | |
| CN115410233B (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| Zhu et al. | Dual-channel cascade pose estimation network trained on infrared thermal image and groundtruth annotation for real-time gait measurement | |
| CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
| Cotton et al. | Transforming gait: video-based spatiotemporal gait analysis | |
| Mangal et al. | Kinect V2 tracked body joint smoothing for kinematic analysis in musculoskeletal disorders | |
| Kuryło et al. | Machine vision system measuring the trajectory of upper limb motion applying the matlab software | |
| CN110837748B (zh) | 远程步态采集分析系统 | |
| CN110837751B (zh) | 基于rgbd深度摄像头的人体运动捕捉与步态分析方法 | |
| Cotton et al. | Improved Trajectory Reconstruction for Markerless Pose Estimation | |
| Gionfrida et al. | Validation of two-dimensional video-based inference of finger kinematics with pose estimation | |
| US20220027726A1 (en) | Pre-processing device, pre-processing method, and pre-processing program | |
| CN115105062B (zh) | 髋膝关节协调性评估方法、装置、系统和存储介质 | |
| US11837352B2 (en) | Body representations | |
| JP2016209212A (ja) | 運動分析装置 | |
| Biasi et al. | Garment-based motion capture (GaMoCap): high-density capture of human shape in motion | |
| Hussain et al. | S-VIT: Stereo visual-inertial tracking of lower limb for physiotherapy rehabilitation in context of comprehensive evaluation of SLAM systems | |
| Albuquerque et al. | Remote Pathological Gait Classification System | |
| McGuirk | A multi-view video based deep learning approach for human movement analysis | |
| CN113255462A (zh) | 步态评分方法、系统、计算机程序产品及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |