CN110097024A - 一种移乘搬运护理机器人的人体姿态视觉识别方法 - Google Patents

一种移乘搬运护理机器人的人体姿态视觉识别方法 Download PDF

Info

Publication number
CN110097024A
CN110097024A CN201910393882.5A CN201910393882A CN110097024A CN 110097024 A CN110097024 A CN 110097024A CN 201910393882 A CN201910393882 A CN 201910393882A CN 110097024 A CN110097024 A CN 110097024A
Authority
CN
China
Prior art keywords
human body
coordinate
oxter
joint
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910393882.5A
Other languages
English (en)
Other versions
CN110097024B (zh
Inventor
陈梦倩
李顺达
郭士杰
刘今越
贾晓辉
刘彦开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201910393882.5A priority Critical patent/CN110097024B/zh
Publication of CN110097024A publication Critical patent/CN110097024A/zh
Priority to PCT/CN2019/107462 priority patent/WO2020228217A1/zh
Application granted granted Critical
Publication of CN110097024B publication Critical patent/CN110097024B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种移乘搬运护理机器人的人体姿态视觉识别方法，该方法利用基于RGBD(彩色图RGB+深度图Depth)的双级网络(第1级神经网络为PAF，第2级神经网络为改进的ResNet)实现了近距离更高精度的识别，对通常用来分类的ResNet网络改进，修改其输入、输出结构，使其能处理人体关节识别问题，作为第2级神经网络，与现有方法相比得到了更高的精度。本发明提出的最近邻虫随法在仅依赖两关节坐标的情况下，自动追踪到人体腋下轮廓，进一步利用凸包算法修复腋下轮廓，最后得到腋下中心即腋下点，该腋下点识别方法在降低了腋下点对关节位置的依赖的同时，提高了准确性。

Description

一种移乘搬运护理机器人的人体姿态视觉识别方法
技术领域：
本发明属于护理机器人技术领域，具体涉及一种移乘搬运护理机器人的人体姿态视觉识别。
背景技术：
我国已步入老龄化社会，目前，超过60岁的老人已超过2.3亿，且老龄化程度日益严重，伴随随着我国经济、技术的不断进步，我国市场对智能移乘搬运护理机器人的需求越来越大。环境的智能感知与理解是移乘搬运护理机器人实现智能化的关键，而人体姿态识别是环境感知的一大关键。
当前，人体姿态识别多是接触式识别，通过贴点等对人体的姿态进行估算，瑞士MindMaze公司研制的MindMotion Pro设备采用深度摄像机来捕捉患者佩戴的高亮反光球的三维空间运动轨迹,并采用惯性追踪器来检测患者前臂和手腕的旋转、伸展等动作；中国大连理工大学专利201611272616.X采用12个数据采集节点分别放置在人体躯干的不同位置用于测量人体不同躯干的运动姿态；接触式测量需要患者佩戴多种传感器或光学标志,不仅麻烦，还影响患者的运动，导致患者心理不适，不利于全自动检测的实际应用。非接触式人体姿态测量以视觉为主，彩色图人体姿态识别方法PAF(PartAffinity Field)(Cao Z,Simon T,Wei S E,et al.Realtime Multi-Person 2D Pose Estimation usingPartAffinity Fields[J].2016.)实现了高精度高可靠性的人体姿态识别，但只能提供2D像素坐标，估算不能转到3D全局坐标；Zimmermann等人(Zimmermann C,Welschehold T,Dornhege C,et al.3D Human Pose Estimation in RGBD Images for Robotic TaskLearning[J].2018.)针对服务机器人的抓取示教功能提出了基于RGBD信息的3D卷积网络，该算法运算量大，不利于硬件轻量化、输出实时化。当前微软推出的Kinect是护理行业的最普遍的人体姿态视觉识别类产品：日本理化研究所推出的抬举式移乘机器人RIBA(MukaiT,Hirano S,Yoshida M,et al.Tactile-based motion adjustment for the nursing-care assistant robot RIBA[C]//IEEE International Conference on Robotics&Automation.2011.)采用Kinect相机及其SDK来识别人体姿态，但基于随机森林的该算法在人体与相机距离过近或人体被部分遮挡时可能无法识别或误识别，另一方面，Kinect SDK无法识别用户是正面还是背面，也就是无法保证用户关节的左右方向识别。如何更加可靠得实现非接触式、近距离适应性强的实时全局人体关节位置计算是当前移乘搬运护理机器人的一大难题。
发明内容：
本发明弥补了上述方法的不足，向移乘搬运护理机器人(护理机器人的具体结构原理参见申请号为201710340526.8的中国专利)提供了便利、准确度更高且近距离适应性强的人体关节全局坐标识别方法，并为机器人提供更精确的腋下轮廓计算，提高了腋下点的计算精度。
本发明的技术方案是：
一种移乘搬运护理机器人的人体姿态视觉识别方法，该方法包括人体关节识别和人体腋下识别，所述人体关节识别的步骤是：
步骤A1:利用彩色相机采集人体的彩色图，采用PAF作为彩色图人体姿态识别的第1级神经网络，识别出人体关节彩色图像素坐标，即识别彩色图2D关节位置，得到多个关节；
步骤A2:设置关节热图通道数量，关节热图通道数量与步骤A1的关节数量一致，利用深度相机采集深度图，并根据彩色相机和深度相机模型参数将步骤A1的关节彩色图像素坐标映射到深度图中，获得关节深度图坐标，根据关节深度图坐标生成与关节数目相同的多个关节热图；
步骤A3:建立改进ResNet的第2级神经网络，将关节热图和深度图输入到基于ResNet的第2级神经网络，得到人体关节U-V-Z坐标；再结合深度相机参数对坐标进行转换，得出人体关节X-Y-Z坐标，即人体关节全局3D坐标；
步骤A4:对步骤A3中改进ResNet的第2级神经网络进行参数训练：
采用开源数据集ITOP作为训练集，该训练集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标，在实际深度图中实际人体关节像素坐标基础上随机偏移0到8个像素，作为由步骤A2计算得来的深度图人体关节像素坐标，进而模拟出多个关节热图；
将上述的深度图与相应的多个关节热图输入到改进ResNet的第2级神经网络中，输出训练的人体关节U-V-Z坐标，对训练的人体关节U-V-Z坐标进行映射，计算训练的人体关节X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算真实人体关节X-Y-Z坐标与训练的X-Y-Z坐标间的偏差，为第2级神经网络的训练提供训练损失值，训练完成后，最终完成基于PAF和改进ResNet的双级串联神经网络的搭建；
步骤A5:将待识别的人体姿态的彩色图像及深度图像输入到基于PAF和改进ResNet的双级串联神经网络中，即可输出人体关节U-V-Z坐标，再根据深度相机参数进行映射，计算待识别的人体关节的X-Y-Z坐标，输出人体关节全局坐标，完成对当前人的识别；
所述人体腋下识别的步骤是：
步骤B1:在步骤A2中的关节深度图坐标中选取出人体双手、双肘关节点的深度图坐标，以同侧手、肘关节为研究对象，选择同侧手、肘关节连接的中点作为起点，若为左侧手肘中点，则基于索贝尔梯度算法向右寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b，若为右侧手肘中点，则基于索贝尔梯度算法向左寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b；
步骤B2:以腋下轮廓起始点a为起点，利用最近邻虫随法对深度图进行腋下边缘追踪，得到从腋下轮廓起始点a到腋下轮廓结束点b的腋下轮廓点序列；
步骤B3:基于步骤B2得到的腋下轮廓点序列，采用Graham凸包算法拟合得到更精确地腋下形状，计算出腋下形心，将腋下形心作为机器人手臂腋下插入点，至此完成人体姿态视觉识别。
与现有技术相比，本发明的有益效果是：
本发明利用基于RGBD(彩色图RGB+深度图Depth)的双级网络(第1级神经网络为PAF，第2级神经网络为改进的ResNet)实现了近距离更高精度的识别，对通常用来分类的ResNet网络改进，修改其输入、输出结构，使其能处理人体关节识别问题，作为第2级神经网络，与现有方法相比得到了更高的精度。本发明提出的最近邻虫随法在仅依赖两关节坐标的情况下，自动追踪到人体腋下轮廓，进一步利用凸包算法修复腋下轮廓，最后得到腋下中心即腋下点，该腋下点识别方法在降低了腋下点对关节位置的依赖的同时，提高了准确性。
移乘搬运机器人工作在复杂家庭环境中，周边环境干扰多，本发明的家庭环境适应性更好，在实验中，人体关节全局坐标识别精度可达92.8％。与相关研究相比，本发明近距离人体关节全局坐标识别精度更高，达到了92.0％，可以更精确地为移乘搬运机器人提供近距离的人体3D位置，更好地保障人机安全；根据移乘搬运护理机器人的抱人需要，本发明实现了人体腋下点识别，精度达到了92.7％，为机器人手臂抱人提供了基础。
附图说明
图1是移乘搬运护理机器人的实物图。
图2是人体关节点的位置示意图。
图3是本发明移乘搬运护理机器人的人体姿态视觉识别方法的流程示意图。
图4是第2级神经网络的网络架构图。
图5是人体关节点识别结果图。
图6是人体腋下识别结果图。
图7是移乘搬运护理机器人控制架构图。
具体实施方式
下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。
本发明一种移乘搬运护理机器人的人体姿态视觉识别方法，该方法包括人体关节识别和人体腋下识别，所述人体关节识别的步骤是：
步骤A1:利用彩色相机采集人体的彩色图，采用PAF作为彩色图人体姿态识别的第1级神经网络，识别出人体关节彩色图像素坐标，即识别彩色图2D关节位置，得到多个关节；
步骤A2:设置关节热图通道数量，关节热图通道数量与步骤A1的关节数量一致，利用深度相机采集深度图，并根据彩色相机和深度相机模型参数将步骤A1的关节彩色图像素坐标映射到深度图中，获得关节深度图坐标，根据关节深度图坐标生成与关节数目相同的多个关节热图；
步骤A3:建立改进ResNet的第2级神经网络，将关节热图和深度图输入到基于ResNet的第2级神经网络，得到人体关节U-V-Z(U、V为像素坐标，Z为深度即距离值)坐标；再结合深度相机参数对坐标进行转换，得出人体关节X-Y-Z坐标(X、Y、Z为全局坐标，其中Z为深度即距离值)，即人体关节全局3D坐标；
上述人体关节U-V-Z坐标的计算过程是：
将深度图先经过一个卷积核尺寸为1*1,初始值为1，数目为3的卷积层卷积，再输入预先训练的ResNet50第一层；
将多个关节热图输入到用白噪声重新初始化的ResNet50第一层，两个ResNet50第一层的结构均为卷积核尺寸7*7，数目为64，步长为2的卷积层；
深度图和关节热图这两类数据分别经过相应的ResNet50第一层处理后，堆叠输入预训练ResNet50第二层，ResNet50第二层为最大池化层，最大池化层的卷积核为3*3，步长为2；经过ResNet50内部处理后，最后将全连接FC1000后添加三倍于关节数量的全连接层FC45，最终输出人体3D姿态位置，即输出人体关节U-V-Z坐标；
步骤A4:对步骤A3中改进ResNet的第2级神经网络进行参数训练：
采用开源数据集ITOP作为训练集，该训练集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标(全局坐标即真实人体关节X-Y-Z坐标)，但不包括彩色图数据，因此在实际深度图中实际人体关节像素坐标基础上随机偏移0到8个像素，作为由步骤A2计算得来的深度图人体关节像素坐标，进而模拟出多个关节热图；
将上述的深度图与相应的多个关节热图输入到改进ResNet的第2级神经网络中，输出训练的人体关节U-V-Z坐标，对训练的人体关节U-V-Z坐标进行映射，计算训练的人体关节X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算真实人体关节X-Y-Z坐标与训练的X-Y-Z坐标间的偏差，为第2级神经网络的训练提供训练损失值，训练完成后，最终完成基于PAF和改进ResNet的双级串联神经网络的搭建；
步骤A5:将待识别的人体姿态的彩色图像及深度图像输入到基于PAF和改进ResNet的双级串联神经网络中，即可输出人体关节U-V-Z坐标，再根据深度相机参数进行映射，计算待识别的人体关节的X-Y-Z坐标，输出人体关节全局坐标，完成对当前人的识别。
所述人体腋下识别的步骤是：
步骤B1:在步骤A2中的关节深度图坐标中选取出人体双手、双肘关节点的深度图坐标，以同侧手、肘关节为研究对象，选择同侧手、肘关节连接的中点作为起点，若为左侧手肘中点，则基于索贝尔梯度算法向右寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b，若为右侧手肘中点，则基于索贝尔梯度算法向左寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b；
步骤B2:以腋下轮廓起始点a为起点，利用最近邻虫随法对深度图腋下边缘进行追踪，得到从腋下轮廓起始点a到腋下轮廓结束点b的腋下轮廓点序列；
步骤B3:基于步骤B2得到的腋下轮廓点序列，采用Graham凸包算法拟合得到更精确地腋下形状，计算出腋下形心，将腋下形心作为机器人手臂腋下插入点，至此完成人体腋下识别。
所述最近邻虫随法的过程是，即从腋下轮廓起始点a出发，首先根据最近邻法则筛选出该点八邻域内的像素值相似点，即人体前景点，去除背景点，再结合虫随法判断八邻域内的人体前景点中的边缘点，以此类推，依次追踪轮廓点，直到追踪到腋下轮廓结束点b为止，得到腋下轮廓点序列C＝(c0,c1,...,ci,...,cm),其中ci＝(xi，yi)(xi,yi是第i个轮廓点的像素坐标，m为轮廓点数目，i＝1、2、…、m)，c0＝a,cm＝b。该方法避免了对关节点识别的过度依赖，仅仅依靠两个关节点识别，增强了轮廓追踪法的健壮性，具备优异的实时性。
机器人软件硬件结构如图7所示。机器人顶部安装有科大讯飞6麦克风环形阵列模块，机器人采用麦克风环形阵列来采集用户语音，首先利用声音处理模块对用户的语音进行识别，判断用户是否说出机器人唤醒词，如果用户说出特定词汇，则唤醒机器人，并进一步分析阵列中不同麦克风的相位差，测定用户与机器人之间的角度。
采用Delta Tau Data System公司推出的Turbo PMAC Clipper运动控制卡作为运动控制模块，通过运动控制模块，机器人控制电机系统依照人机角度原地自转，实现面向用户。
RGBD图像采集系统由深度相机和彩色相机构成，彩色相机、深度相机均设置在机器人顶部。机器人转向用户后，在进行姿态识别之前，升起摄像头，打开摄像头，同时开始采集图片，启动人体姿态视觉识别方法，即人体姿态识别模块。人体姿态视觉识别方法中第1级神经网络负责处理彩色图像，估算出彩色图中人体各关节位置，将彩色图位置转换到深度图，生成与关节数目相同的(15张)关节热图，与深度图一起输入到基于PAF和改进ResNet的双级串联神经网络，实现了实时全局坐标的人体姿态识别。机器人根据人体位置的实时检测、激光雷达(安装在机器人正面的中下部)采集的信息与基于SLAM的路径规划模块，实现实时规划移动路径，进而移动到人的正前方。
机器人与用户近距离正面相对，距离550mm，此时机器人开始识别用户腋下位置，为抱人提供手臂插入位置。机器人继续向用户移动至距离110mm，伸出脚轮以支撑机器人平衡，往用户腋下插入手臂，调整胸部支撑并提升手臂将人抬起。实时安全保障模块根据胸部支撑、手臂安装的触觉传感器(力传感器)的反馈信息以及识别出的人体姿态信息，基于实时安全保障模块与各模块间的实时通信，对反馈信息进行融合分析，做出安全评估，并对机器人的动作做出规划，实现实时调整手臂和胸靠，将人抱起，最后升起座椅，收紧护腰，完成抱人工作。
采用HOKUYO-UTM-30LX型号的激光雷达，基于激光雷达与路径规划模块，机器人自主规划移动路径，驶向目的地，如马桶、床等，在目标位置打开护腰放下用户，完成移乘工作，进入休眠状态。
实施例
定义人体姿态,如图2所示，共15个关节点(根据需求设置人体姿态关节点数量)，为实现对人的近距离姿态视觉识别的技术方案是：充分利用RGBD信息，利用第1神经网络估算彩色图人体关节像素坐标，实现人体关节识别算法对近距离人体姿态的适应性，进而通过基于深度图和关节热图的第2级神经网络对第1级神经网络的关节2D坐标估算进行维度抬升、精度优化，给出3D人体姿态。本发明人体关节识别算法的流程如图3所示。
为实现对彩色图人体姿态的估算，本发明在第1级神经网络中采用已有的高鲁棒性算法PAF，为第2级神经网络提供初始的人体关节像素坐标。
为实现彩色图关节像素坐标到深度图的映射，本发明首先将深度图像素坐标系映射到全局坐标系，进而映射到彩色图像素坐标系，反向得到彩色图与深度图的映射关系。
为实现如图5(图中数字为人体关节与相机间的距离，单位为毫米)所示的三维人体姿态的识别，基于已知的关节深度图像素坐标，以该位置为中心生成与深度图尺寸相同的高斯图像，即关节热图，其中热图数目与关节数目相同。将深度图和关节热图堆叠输入第2级神经网络。本发明采用预训练ResNet50(50层的ResNet)的改进网络作为第2级神经网络，如图4所示，其中卷积层代号为Conv a*b-c/d，a、b为卷积层尺寸，c为卷积层个数，d为步长，Maxpool e*f/g为最大池化层，e、f为池化尺寸，g为步长，FC h为全连接层，h为其节点数。为使网络能够容纳关节热图和深度图，对预训练ResNet50和输入信息进行调整：1.深度图输入第一层ResNet50之前，先经过一个卷积核尺寸为1*1,初始值为1，数目为3的卷积层卷积，再输入预先训练的ResNet50第一层；2.关节热图为15通道，将其输入到用白噪声重新初始化的ResNet50第一层。3.两类数据经过第一层网络处理后，堆叠输入预训练ResNet50第二层。4.将全连接FC1000后添加45(3*15)个节点的全连接层，以输出人体U-V-Z坐标。
第2级神经网络训练：采用开源数据集ITOP作为训练集，该数据集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标，但不包括彩色图数据，因此本发明在训练第2级神经网络中，忽略第1级神经网络，在实际深度图中实际人体关节像素坐标基础上随机偏移0到8个像素，作为第1级网络计算得来的深度图人体关节像素坐标。对第2级神经网络输出的人体关节U-V-Z坐标进行映射，计算其X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算训练的X-Y-Z坐标与实际坐标的偏差，为第2级神经网络的训练提供训练损失值，完成训练后构建出基于PAF和改进ResNet的双级串联卷积神经网络。
在人体关节位置计算中，根据深度相机模型，对双级串联神经网络输出的人体关节U-V-Z坐标进行映射，计算人体关节X-Y-Z坐标，输出人体关节全局坐标。
为了向移乘搬运护理机器人提供手臂腋下插入位置，本发明首先计算深度图中某一侧人体肘关节与手关节的中点坐标o(xo,yo)，以该点为起点，纵向坐标不变，改变横坐标，向人体另一侧逐点计算索贝尔梯度值，其中最先超过梯度阈值的两个点就是人体腋下轮廓点，定义第一个寻找到的腋下点为腋下轮廓起始点a,第二个寻找到的腋下点为腋下轮廓结束点b。
考虑到腋下轮廓的实际生理形状可视为凸包，因此本发明对腋下轮廓点序列C进行Graham凸包拟合，首先选择C序列点中纵坐标最小的点作为p0,以p0为坐标原点定义凸包坐标系，并按凸包坐标系中各轮廓点的极角大小从小到大进行排序编号，得到排序轮廓点p0,p1,...,pi,...,pk，其中，p0,p1显然是凸包的顶点。
定义p0,p1为t0,t1(p是轮廓点，t是凸包点，不是每一个轮廓点都是凸包点，但凸包点都是轮廓点，其中p0、p1一定是凸包点，故定义p0,p1为t0,t1)，凸包按编号顺序判断是否为凸包上的点，首先判断p2是否为凸包顶点，t0t1叉乘t1p2是否大于0：
1.>0：t1p2在t0t1夹角小于180°，此时t1p2在t0t1的左边，满足凸多边形定义，p2为凸包顶点。
2.＝0：t1p2在t0t1共线，如果两向量同向则满足多边形定义，p2为凸包顶点，反之p2不是凸包顶点返回步骤，重新判断下一点是否为凸包顶点t。
3.<0：t1p2在t0t1夹角大于180°，p2不是凸包顶点t，返回步骤，重新判断下一点是否为凸包顶点。
如果p2为凸包顶点，连接p2,p3，如果向量p2p3在p1p2左边，则满足凸包定义，p3为凸包顶点t，如果进一步连接p3,p4的时候，发现不满足凸包定义了，此时要放弃p3,从p2、p4开始寻找满足要求的凸包顶点t。
以此类推，直到回到p0点。得到凸包顶点序列T＝(t0,t1,...,tj,...tn)，n≤k，n、k均为整数，进而求出凸包顶点坐标均值(xa,ya),即凸包形心，作为人体腋下点。腋下点计算如图6所示(图中数字为人体关节与相机的距离，单位为毫米)，其中浅灰色圆点为肘关节、手关节的中点，浅灰色圆点的水平线上的两黑点为腋下轮廓起始点a、腋下轮廓结束点b两点，位于腋下的浅灰色粗线轮廓为追踪得到的轮廓即腋下轮廓，腋下轮廓外围白色细线轮廓为凸包拟合后的轮廓，即凸包轮廓，中间黑色大圆点为得到的腋下点。
1.在用户距离为550-3500mm的移乘搬运机器人工作环境中，本发明测试了600张图片，可得人体关节识别精度可达92.8％，本发明健壮性强，可靠性高，可以满足机器人的实际需求。
2.对与用户距离为550-800mm的环境中，测试本发明的近距离人体识别，测试350张图片，本发明近距离人体关节全局坐标识别精度达到了92.0％，比同类方法精度更高，保障了机器人距离用户过近时的安全性。
3.对与用户距离为550-800mm的环境下，测试150张图片，可得本发明腋下点识别精度为92.7％，计算精度更高，可以更好地协助机器人向用户腋下插入手臂、规划手臂抱人路径。
本发明在充分利用RGBD信息的同时，考虑到ResNet在避免自学习过拟合的同时增加了卷积层，泛化能力非常强大，对ResNet进行优化改进，使其适合人体姿态识别：改进其输入卷积层，可以同时提取深度图特征和关节热图特征，改进输出全连接层结构，以输出15个关节的45(15*3)个U-V-Z坐标；最后提出一种基于PAF和改进ResNet的双级串联神经网络来实现人体姿态的视觉识别。另一方面，本发明提出了最近邻虫随法，利用最近邻方法筛选出周围临域中人体前景像素点，利用虫随法追踪轮廓，实现基于两个关节点位置的人体腋下轮廓追踪，进而利用Graham凸包算法拟合腋下轮廓，使计算轮廓更接近生理腋下轮廓，最后对轮廓点坐标求取均值，得到腋下点。
本发明未述及之处适用于现有技术。

Claims (4)

1.一种移乘搬运护理机器人的人体姿态视觉识别方法，该方法包括人体关节识别和人体腋下识别，所述人体关节识别的步骤是：
步骤A1:利用彩色相机采集人体的彩色图，采用PAF作为彩色图人体姿态识别的第1级神经网络，识别出人体关节彩色图像素坐标，即识别彩色图2D关节位置，得到多个关节；
步骤A2:设置关节热图通道数量，关节热图通道数量与步骤A1的关节数量一致，利用深度相机采集深度图，并根据彩色相机和深度相机模型参数将步骤A1的关节彩色图像素坐标映射到深度图中，获得关节深度图坐标，根据关节深度图坐标生成与关节数目相同的多个关节热图；
步骤A3:建立改进ResNet的第2级神经网络，将关节热图和深度图输入到基于ResNet的第2级神经网络，得到人体关节U-V-Z坐标；再结合深度相机参数对坐标进行转换，得出人体关节X-Y-Z坐标，即人体关节全局3D坐标；
步骤A4:对步骤A3中改进ResNet的第2级神经网络进行参数训练：
采用开源数据集ITOP作为训练集，该训练集提供包含人体的深度图以及深度图中人体关节实际像素坐标、全局坐标，在实际深度图中实际人体关节像素坐标基础上随机偏移0到8个像素，作为由步骤A2计算得来的深度图人体关节像素坐标，进而模拟出多个关节热图；
将上述的深度图与相应的多个关节热图输入到改进ResNet的第2级神经网络中，输出训练的人体关节U-V-Z坐标，对训练的人体关节U-V-Z坐标进行映射，计算训练的人体关节X-Y-Z坐标，并采用最小均方差计算作为训练的损失函数，计算真实人体关节X-Y-Z坐标与训练的X-Y-Z坐标间的偏差，为第2级神经网络的训练提供训练损失值，训练完成后，最终完成基于PAF和改进ResNet的双级串联神经网络的搭建；
步骤A5:将待识别的人体姿态的彩色图像及深度图像输入到基于PAF和改进ResNet的双级串联神经网络中，即可输出人体关节U-V-Z坐标，再根据深度相机参数进行映射，计算待识别的人体关节的X-Y-Z坐标，输出人体关节全局坐标，完成对当前人的识别；
所述人体腋下识别的步骤是：
步骤B1:在步骤A2中的关节深度图坐标中选取出人体双手、双肘关节点的深度图坐标，以同侧手、肘关节为研究对象，选择同侧手、肘关节连接的中点作为起点，若为左侧手肘中点，则基于索贝尔梯度算法向右寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b，若为右侧手肘中点，则基于索贝尔梯度算法向左寻找同纵坐标的腋下轮廓起始点a及腋下轮廓结束点b；
步骤B2:以腋下轮廓起始点a为起点，利用最近邻虫随法追踪深度图中的腋下边缘，得到从腋下轮廓起始点a到腋下轮廓结束点b的腋下轮廓点序列；
步骤B3:基于步骤B2得到的腋下轮廓点序列，采用Graham凸包算法拟合得到更精确地腋下形状，计算出腋下形心，将腋下形心作为机器人手臂腋下插入点，至此完成人体姿态视觉识别。
2.根据权利要求1所述的移乘搬运护理机器人的人体姿态视觉识别方法，其特征在于，所述最近邻虫随法的过程是，即从腋下轮廓起始点a出发，首先根据最近邻法则筛选出该点八邻域内的像素值相似点，即人体前景点，去除背景点，再结合虫随法判断八邻域内的人体前景点中的边缘点，以此类推，依次追踪轮廓点，直到追踪到腋下轮廓结束点b为止，得到腋下轮廓点序列C＝(c0,c1,...,ci,...,cm),其中ci＝(xi，yi)，xi,yi是第i个轮廓点的像素坐标，m为轮廓点数目，i＝1、2、…、m，c0＝a,cm＝b。
3.根据权利要求1所述的移乘搬运护理机器人的人体姿态视觉识别方法，其特征在于，所述人体关节U-V-Z坐标的计算过程是：
将深度图先经过一个卷积核尺寸为1*1,初始值为1，数目为3的卷积层卷积，再输入预先训练的ResNet50第一层；
将多个关节热图输入到用白噪声重新初始化的ResNet50第一层，两个ResNet50第一层的结构均为卷积核尺寸7*7，数目为64，步长为2的卷积层；
深度图和关节热图这两类数据分别经过相应的ResNet50第一层处理后，堆叠输入预训练ResNet50第二层，ResNet50第二层为最大池化层，最大池化层的卷积核为3*3，步长为2；经过ResNet50内部处理后，最后将全连接FC1000后添加三倍于关节数量的全连接层FC45，最终输出人体3D姿态位置，即输出人体关节U-V-Z坐标。
4.根据权利要求1所述的移乘搬运护理机器人的人体姿态视觉识别方法，其特征在于，该方法能用于机器人与用户距离为550-800mm时人体腋下点的高精度识别。
CN201910393882.5A 2019-05-13 2019-05-13 一种移乘搬运护理机器人的人体姿态视觉识别方法 Expired - Fee Related CN110097024B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910393882.5A CN110097024B (zh) 2019-05-13 2019-05-13 一种移乘搬运护理机器人的人体姿态视觉识别方法
PCT/CN2019/107462 WO2020228217A1 (zh) 2019-05-13 2019-09-24 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910393882.5A CN110097024B (zh) 2019-05-13 2019-05-13 一种移乘搬运护理机器人的人体姿态视觉识别方法

Publications (2)

Publication Number Publication Date
CN110097024A true CN110097024A (zh) 2019-08-06
CN110097024B CN110097024B (zh) 2020-12-25

Family

ID=67447799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910393882.5A Expired - Fee Related CN110097024B (zh) 2019-05-13 2019-05-13 一种移乘搬运护理机器人的人体姿态视觉识别方法

Country Status (2)

Country Link
CN (1) CN110097024B (zh)
WO (1) WO2020228217A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110816355A (zh) * 2019-11-12 2020-02-21 深圳创维数字技术有限公司 车辆充电方法、设备及计算机可读存储介质
WO2020228217A1 (zh) * 2019-05-13 2020-11-19 河北工业大学 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置
CN113093914A (zh) * 2021-04-21 2021-07-09 广东电网有限责任公司电力科学研究院 一种基于vr的高临场视觉感知方法及装置
CN113177310A (zh) * 2021-04-25 2021-07-27 哈尔滨工业大学（深圳） 一种基于人体舒适度的机械臂抱人方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507954B (zh) * 2020-12-21 2024-01-19 深圳市优必选科技股份有限公司 一种人体关键点识别方法、装置、终端设备及存储介质
CN113052898B (zh) * 2021-04-08 2022-07-12 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113191243B (zh) * 2021-04-25 2022-05-20 华中科技大学 基于相机距离的人手三维姿态估计模型建立方法及其应用
CN113378638B (zh) * 2021-05-11 2023-12-22 大连海事大学 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
CN113538568B (zh) * 2021-08-04 2024-01-12 国网浙江省电力有限公司嘉兴供电公司 一种机器人倒闸操作图像处理方法及变电站机器人
IT202100022400A1 (it) * 2021-08-27 2023-02-27 Gymnasio S R L Procedimento di identificazione di un errore di esecuzione di un esercizio fisico
CN113705480A (zh) * 2021-08-31 2021-11-26 新东方教育科技集团有限公司 基于姿态识别神经网络的姿态识别方法、设备和介质
CN113724317B (zh) * 2021-08-31 2023-09-29 南京未来网络产业创新有限公司 手部关节定位及局部区域面积计算方法、处理器和存储器
CN114310954B (zh) * 2021-12-31 2024-04-16 北京理工大学 一种护理机器人自适应升降控制方法和系统
CN114642588B (zh) * 2022-03-18 2024-02-27 北京鑫大地机械工程有限公司 一种康复机器人的控制方法、装置及系统
CN115223023B (zh) * 2022-09-16 2022-12-20 杭州得闻天下数字文化科技有限公司 基于立体视觉和深度神经网络的人体轮廓估计方法及装置
CN115862130B (zh) * 2022-11-16 2023-10-20 之江实验室 基于人体姿态及其躯干运动场的行为识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107088128A (zh) * 2017-05-03 2017-08-25 河北工业大学 一种移乘护理机器人的行为安全控制方法
US9807365B2 (en) * 2015-12-08 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. System and method for hybrid simultaneous localization and mapping of 2D and 3D data acquired by sensors from a 3D scene
CN207745289U (zh) * 2017-05-15 2018-08-21 河北工业大学 一种移乘搬运护理机器人
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN109910024A (zh) * 2019-04-01 2019-06-21 河北工业大学 一种面向背抱式移乘护理机器人的人体姿势识别系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212688A (ja) * 2015-05-11 2016-12-15 日本電信電話株式会社 関節位置推定装置、方法、及びプログラム
CN105487665B (zh) * 2015-12-02 2018-09-07 南京邮电大学 一种基于头部姿势识别的智能移动服务机器人控制方法
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN110097024B (zh) * 2019-05-13 2020-12-25 河北工业大学 一种移乘搬运护理机器人的人体姿态视觉识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807365B2 (en) * 2015-12-08 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. System and method for hybrid simultaneous localization and mapping of 2D and 3D data acquired by sensors from a 3D scene
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107088128A (zh) * 2017-05-03 2017-08-25 河北工业大学 一种移乘护理机器人的行为安全控制方法
CN207745289U (zh) * 2017-05-15 2018-08-21 河北工业大学 一种移乘搬运护理机器人
CN109003301A (zh) * 2018-07-06 2018-12-14 东南大学 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN109910024A (zh) * 2019-04-01 2019-06-21 河北工业大学 一种面向背抱式移乘护理机器人的人体姿势识别系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAQUE A.ET AL: ""Towards Viewpoint Invariant 3D Human Pose Estimation"", 《114TH EUROPEAN CONFERENCE ON COMPUTER VISION》 *
JO˜AO CARREIR.ET AL: ""Human Pose Estimation with Iterative Error Feedback"", 《ARXIV：1507.06550V3》 *
ZHECAO.ET AL: ""RealTime Multi-Person 2D Pose Estimation using Part Affinity Fields"", 《ARXIV：1611.08050V2》 *
唐心宇，宋爱国: ""人体姿态估计及在康复训练情景交互中的应用"", 《仪器仪表学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228217A1 (zh) * 2019-05-13 2020-11-19 河北工业大学 移乘搬运护理机器人的人体姿态视觉识别方法、存储介质及电子装置
CN110816355A (zh) * 2019-11-12 2020-02-21 深圳创维数字技术有限公司 车辆充电方法、设备及计算机可读存储介质
CN113093914A (zh) * 2021-04-21 2021-07-09 广东电网有限责任公司电力科学研究院 一种基于vr的高临场视觉感知方法及装置
CN113177310A (zh) * 2021-04-25 2021-07-27 哈尔滨工业大学（深圳） 一种基于人体舒适度的机械臂抱人方法

Also Published As

Publication number Publication date
WO2020228217A1 (zh) 2020-11-19
CN110097024B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN110097024A (zh) 一种移乘搬运护理机器人的人体姿态视觉识别方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
Droeschel et al. Learning to interpret pointing gestures with a time-of-flight camera
Van den Bergh et al. Real-time 3D hand gesture interaction with a robot for understanding directions from humans
RU2662913C2 (ru) Способ локализации робота в плоскости локализации
CN110147095A (zh) 基于路标信息与多传感器数据融合的机器人重定位方法
Droeschel et al. 3D body pose estimation using an adaptive person model for articulated ICP
Kim et al. Motion segmentation and control design for UCF-MANUS—An intelligent assistive robotic manipulator
CN108098780A (zh) 一种新型的机器人仿人运动系统
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
CN109048918A (zh) 一种轮椅机械臂机器人的视觉引导方法
Wang et al. Real-time 3D human tracking for mobile robots with multisensors
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
Yuan et al. Development of a human-friendly robot for socially aware human-robot interaction
Xompero et al. Multi-view shape estimation of transparent containers
Yu et al. A deep-learning-based strategy for kidnapped robot problem in similar indoor environment
Weinrich et al. Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots
Wu et al. Cooperative multi-robot monocular-SLAM using salient landmarks
CN111241936A (zh) 一种基于深度和彩色图像特征融合的人体姿态估计方法
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
Wang et al. Real-time human body motion estimation based on multi-layer laser scans
Udsatid et al. Human position tracking for side by side walking mobile robot using foot positions
CN112836544A (zh) 一种新型的坐姿检测方法
CN116385489B (zh) 基于rgbd相机的目标跟随方法及系统
Falco et al. Improvement of human hand motion observation by exploiting contact force measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201225

CF01 Termination of patent right due to non-payment of annual fee