CN106250867B - 一种基于深度数据的人体骨骼跟踪系统的实现方法 - Google Patents

一种基于深度数据的人体骨骼跟踪系统的实现方法 Download PDF

Info

Publication number
CN106250867B
CN106250867B CN201610666231.5A CN201610666231A CN106250867B CN 106250867 B CN106250867 B CN 106250867B CN 201610666231 A CN201610666231 A CN 201610666231A CN 106250867 B CN106250867 B CN 106250867B
Authority
CN
China
Prior art keywords
human body
depth
skeleton
hand
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610666231.5A
Other languages
English (en)
Other versions
CN106250867A (zh
Inventor
王行
刘皓
盛赞
杨高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201610666231.5A priority Critical patent/CN106250867B/zh
Publication of CN106250867A publication Critical patent/CN106250867A/zh
Priority to US15/674,527 priority patent/US10417775B2/en
Application granted granted Critical
Publication of CN106250867B publication Critical patent/CN106250867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Dentistry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度数据的人体骨骼跟踪系统的实现方法，具体是用于数据采集单元、肢体分割单元、骨骼点单元和跟踪显示单元构建的一种基于深度数据的人体骨骼跟踪系统，所述各单元之间为顺序调用关系，肢体分割单元利用数据采集单元处理得到的场景深度数据来进行肢体分割，骨骼点单元利用肢体分割单元分割后的结果来计算肢体的各个骨骼点的具体位置，跟踪显示单元利用骨骼点单元计算出的骨骼点的位置，建立人体的骨架模型并跟踪显示。本发明能够使人体骨骼跟踪系统有效地解决传统交互方式所存在的问题，本发明具有控制直接性、可视化性、可移植性和低成本性等优点。

Description

一种基于深度数据的人体骨骼跟踪系统的实现方法
技术领域
本发明属于模式识别和人机交互技术领域，特别是涉及一种基于深度数据的人体骨骼跟踪系统的实现方法。
背景技术
利用深度图像进行人体识别研究是当今计算机视觉领域的一大类热点问题。其研究内容涵盖人体的检测与跟踪、手势识别、动作识别、人脸识别、性别识别和行为与事件识别等；其研究方法几乎囊括了所有的模式识别问题的理论与技术，如统计理论，变换理论，上下文相关性，分类与聚类，机器学习，模板匹配，滤波等。利用深度图像进行人体识别有着非常广泛的应用价值，在一定的空间范围内，深度图像可以用来进行3D空间中的识别，代替可见光摄像机的双目视觉。如应用在安全监控系统一一机场、地铁等公共场所和刑侦破案等；应用在人机交互的门禁系统、游戏等；应用在运动细节捕捉与分析的体育比赛或录像等。
中国专利申请201110160313.X公开了“一种基于深度图像感应的肢体动作识别方法及系统”，包括获取用户及其所在环境的深度图像信息；从上述深度图像信息的背景中抽取用户肢体轮廓；分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据；根据表达用户肢体的运动的数据识别用户的肢体动作。但该方法采用从深度图像中提取的肢体轮廓与实现存储的人体骨骼框架进行配准还存在明显的不足：一是该方法需要事先采集人体骨骼框架；二是在人体骨骼框架与肢体轮廓进行配准适应时，虽然可以对骨骼框架各个部分大小进行改变去适应肢体轮廓，但人的体型高矮胖瘦不同，同一个人姿态不同，肢体轮廓形状也会不同，骨骼框架与肢体轮廓的适应存在很大的难度；三是对于人体肢体轮廓千字百态，需要事先采集的骨骼框架数据量非常大，难以实现。
中国专利申请201310327955.3公开了“一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法”，包括3D深度传感器检测操作者的动作，获得数据帧，转化为图像，分割图像中类似于人体的物体与背景环境，获取景深数据；提取人体骨骼信息，识别人体不同部位，建立人体各关节3D坐标；识别人体双手骨骼节点转动信息，通过捕捉不同骨骼关节点角度的变化辨识是人体哪只手的触发；解析出操作者不同的动作特征，将相应字符作为控制指令发送给下位机机器人；AVR单片机主控器接收、处理字符，控制下位机机器人执行相应的动作，实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。但该方法还存在明显不足：一是人体运动运动过程中，单相机景深数据不可避免存在自遮挡问题，对于人体被遮挡部位无法获得景深数据，无法匹配求出关节位置；二是不同人体存在高矮胖瘦及服装差异，即使同一人也无法做到各个姿态下同一人体部分形状相同，因此无法获得精准的匹配结果。
中国专利申请201010101562.7公开了“一种无标记单目视频人体骨架运动跟踪方法”，包括如下步骤：(1)视频图像预处理,得到背景和人体分离的二值图像；(2)二值图像距离变换,得到几何骨架；(3)几何骨架处理,寻找其端点及拐点,作为几何骨架的关键点；(4)根据预设的人体骨骼模型中人体关节的相对位置关系,对几何骨架关键点进行人体关节语义的标识；(5)对成功标识为人体关节的每个点,使用稀疏特征集光流跟踪的方法,在后继帧中找到对应的匹配点；(6)对跟踪结果中的失效部分,采用粒子滤波的方法,估计该失效部分可能的状态,恢复跟踪过程。但该方法获取骨架还存在明显不足：一是其提取的骨架为2D骨架，不包含深度信息；二是基于彩色图对不同姿态骨架提取准确度不高。
综上所述，如何克服现有技术所存在的不足已成为当今模式识别和人机交互技术领域中亟待解决的重点难题之一。
发明内容
本发明的目的是为克服现有技术所存在的不足而提供一种基于深度数据的人体骨骼跟踪系统的实现方法，本发明能够使人体骨骼跟踪系统有效地解决传统交互方式所存在的问题，本发明具有控制直接性、可视化性、可移植性和低成本性等优点。
根据本发明提出的一种基于深度数据的人体骨骼跟踪系统的实现方法，其特征在于，具体是用于数据采集单元、肢体分割单元、骨骼点单元和跟踪显示单元构建的一种基于深度数据的人体骨骼跟踪系统，所述各单元之间为顺序调用关系，肢体分割单元利用数据采集单元处理得到的场景深度数据来进行肢体分割，骨骼点单元利用肢体分割单元分割后的结果来计算肢体的各个骨骼点的具体位置，跟踪显示单元利用骨骼点单元计算出的骨骼点的位置，建立人体的骨架模型并跟踪显示；具体步骤包括如下：
步骤1，利用深度传感器采集人体的深度数据；
步骤2，对采集到的深度数据体素化，进行降采样；
步骤3，移除背景，将人体从场景中分隔出来；
步骤4，选取合适的比例建立人体内部的包围盒，同时保证包围盒的顶部两个顶点处于人体内部区域；
步骤5，利用包围盒来将人体的头部、左手、右手以及双脚区分开；
步骤6，利用种子点生长算法，求取包围盒内的最大块的深度信息作为整个包围盒的平均深度值，由平均深度值将包围盒内的手标示出来，其余人体部分置为背景颜色；
步骤7，进一步种子点区域生长，并通过建立肩部圆的方法来隔离开手部和头部，利用同样的方法将人体的其他部位置成背景颜色，只留下头部和双手；
步骤8，计算手部被分割的每一小块的质心，利用质心将区域1、区域2的所有小块，分别置成同一种颜色；
步骤9，由顶点1和2建立区域3、区域4，将肩部与各自的左右手相关联；
步骤10，建立肩部以下搜索区域5，将被分割的小块与其联系最紧密的大块相关联；
步骤11，利用深度信息将头部区域找出来，并置为一个固定的颜色；
步骤12，通过对包围盒取中线将图像划分成左右两个区域，利用左右手分别占左右两区域对应的百分数，将左手，手给区分开；
步骤13，求取左，手的肢平均作为左，右手的手肘关节点，通过确定各自的锚点来寻找左，右手对应的手臂端点；
步骤14，连接头部，肩部，髋，手臂的所有端点，建立人体骨骼模型并进行跟踪显示。
本发明的一种基于深度数据的人体骨骼跟踪系统的实现方法的进一步优选方案是：
所述数据采集单元包括利用深度摄像机体感设备获取场景的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值。所述数据采集单元是本发明的输入部分，采用可捕捉场景深度信息的深度摄像机，捕捉包括如飞行时间、结构化光、立体图像等带有深度信息的视频序列，该深度信息可包括人体各个像素点的深度值；利用深度图像可在一定范围内重建3D空间区域，即使两个人体有遮挡部分，人体的前后关系产生的在深度图中的距离差别，即灰度值的分层性，从而可用某个阈值将遮挡人体或者同一人体的不同部分分割开来，一定程度上解决人体遮挡或同一人体各部分重叠的问题。
所述肢体分割单元包括对获取的人体的深度图像利用深度数据信息对图像中的人体建立人体内部的包围盒，用种子点生长算法进行分割，对几个区域进行合并被分割开的小块，从而实现将人体的几个主要部位识别出来。所述肢体分割是指区分人体的头部、手和脚，由获取到的深度图像建立包围盒，利用种子点区域生长算法，分割区域合并等一系列操作将人体分隔出人体的头部、手部和脚部，并进一步具体区分是左手还是右手。
所述骨骼点单元包括确立由肢体分割所分隔开的人体部位，利用肢体的深度信息，采用质心方法来确定人体的头、质心、肩、髋、腿、臂、手、肘、膝的骨骼关节点。所述骨骼点单元是通过对肢体分割来确定人体的部位，通过对深度信息建立锚点、分区域匹配运动姿势等一系列处理操作，将人体各个部位的骨骼关节点确定下来。
所述跟踪显示单元包括将所确立的人体骨骼关节点连成人体的骨架模型，当人体做出一系列动作时的骨架模型能够跟踪人体相应的动作，并让骨骼模型跟踪动作显示出来。所述跟踪显示单元是通过连接所建立的骨骼关节点建立人体的骨骼跟踪模型，从而实现对人体肢体动作的跟踪显示。
本发明与现有技术相比其显著优点是：本发明提供了一种基于深度数据的人体骨骼跟踪系统的实现方法，既具有控制直接性和可视化性，还具有可移植性和低成本性。本发明通过深度摄像机所获取到的人体的深度信息，通过在人体内部建立矩形和圆形包围盒，利用种子点区域生长实现对人体人体部位的分割，寻找与被分割的小区域关联最紧密的大区域进行合并从而实现对人体肢体的分割，利用分割开的肢体建立锚点，分区域匹配物体的运动姿势从而建立起人体骨骼跟踪系统。本发明不仅能够实现对人体骨骼的实时跟踪展示效果，保证用户操作体验感受；而且还能够降低对人体骨骼跟踪系统前期的投入成本以及后期的维护成本。
附图说明
图1为本发明提出的一种基于深度数据的人体骨骼跟踪系统的实现方法的各单元之间顺序调用示意图。
图2为深度摄像机获取到场景的深度图像每个像素点的深度值的示意图。
图3为获取到的深度图像所建立的人体内部包围盒的示意图。
图4为包围盒内部像素标记的背景颜色的示意图。
图5为选取包围盒内部最大区域的平均深度值作为包围盒的深度值的示意图。
图6为手运动到包围盒内部时将手单独标记出来的示意图。
图7为包围盒内部标记手部的流程示意图。
图8为建立肩部圆形包围盒的示意图。
图9为建立圆形包围盒及去除噪点后的人体深度的示意图。
图10为合并分割区域的流程示意图。
图11为区域1、区域2的示意图。
图12为区域3、区域4的示意图。
图13为区域5的示意图。
图14为头部分割的示意图。
图15为头部合并后的示意图。
图16为区分左右手的流程示意图。
图17为锚点运动1的示意图。
图18为锚点运动2的示意图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式做进一步的详细说明。
本发明提出的一种基于深度数据的人体骨骼跟踪系统的实现方法，具体是用于数据采集单元、肢体分割单元、骨骼点单元和跟踪显示单元构建的一种基于深度数据的人体骨骼跟踪系统，所述各单元之间为顺序调用关系，肢体分割单元利用数据采集单元处理得到的场景深度数据来进行肢体分割，骨骼点单元利用肢体分割单元分割后的结果来计算肢体的各个骨骼点的具体位置，跟踪显示单元利用骨骼点单元计算出的骨骼点的位置，建立人体的骨架模型并跟踪显示；具体步骤包括如下：
步骤1，利用深度传感器采集人体的深度数据；
步骤2，对采集到的深度数据体素化，进行降采样；
步骤3，移除背景，将人体从场景中分隔出来；
步骤4，选取合适的比例建立人体内部的包围盒，同时保证包围盒的顶部两个顶点处于人体内部区域；
步骤5，利用包围盒来将人体的头部、左手、右手以及双脚区分开；
步骤6，利用种子点生长算法，求取包围盒内的最大块的深度信息作为整个包围盒的平均深度值，由平均深度值将包围盒内的手标示出来，其余人体部分置为背景颜色；
步骤7，进一步种子点区域生长，并通过建立肩部圆的方法来隔离开手部和头部，利用同样的方法将人体的其他部位置成背景颜色，只留下头部和双手；
步骤8，计算手部被分割的每一小块的质心，利用质心将区域1、区域2的所有小块，分别置成同一种颜色；
步骤9，由顶点1和2建立区域3、区域4，将肩部与各自的左右手相关联；
步骤10，建立肩部以下搜索区域5，将被分割的小块与其联系最紧密的大块相关联；
步骤11，利用深度信息将头部区域找出来，并置为一个固定的颜色；
步骤12，通过对包围盒取中线将图像划分成左右两个区域，利用左右手分别占左右两区域对应的百分数，将左手，手给区分开；
步骤13，求取左，手的肢平均作为左，右手的手肘关节点，通过确定各自的锚点来寻找左，右手对应的手臂端点；
步骤14，连接头部，肩部，髋，手臂的所有端点，建立人体骨骼模型并进行跟踪显示。
本发明提出的一种基于深度数据的人体骨骼跟踪系统的实现方法的具体实施例公开如下：
本发明所述数据采集单元包括利用深度摄像机体感设备获取场景的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值。所述数据采集单元的具体实施过程包括：利用深度摄像机对场景用CMOS感光元件采集散斑图案，然后存储这些不同位置的图案作为参考图像；当不透明物体放入场景，或者物体在场景中运动时，在物体表面形成新的散斑，得到测试图像，此时的散斑图样发生变化，与所有参考图像均不同；根据所选取的参考图像与光源间的标定关系，通过几何变换，计算得出物体到光源的距离，构建3D图像；并对距离数据归一化，转换成图像灰度值，最后将所生成的深度图像输出给外部处理设备；通过对深度图像取3X3、5X5、7X7等其他操作，对其进行体素化处理，从而实现降采样。
本发明所述肢体分割单元包括对获取的人体的深度图像利用深度数据信息对图像中的人体建立人体内部的包围盒，用种子点生长算法进行分割，对几个区域进行合并被分割开的小块，从而实现将人体的几个主要部位识别出来；所述肢体分割的具体实施过程包括：确定合适的人体比例来计算人体躯干包围盒。计算人体躯干包围盒需满足一定的约束，如包围盒的边界应予人体躯干尽量吻合，包围盒的顶部两个顶点应处于人体内部区域。
计算人体躯干包围盒后，如人体躯干前方存在人体其他部位，人体其他部位这里指手或者手臂，将该部位分割出来。一种分割方法为，对人体躯干包围盒内部进行种子点区域生长，进行区域分割，计算每个区域的平均深度，平均深度较大的为躯干平均深度，若存在某个区域平均深度与躯干区域平均深度相差较大，则对该区域进行标记。
计算人体躯干包围盒后，对人体进行一次种子点区域生长，建立肩部的两个圆形包围盒将手和头部给区分开。同时类似的在人体的其他区域建立圆形包围盒将人体除了头部和手臂的其他区域先置成跟背景一样的颜色。去除区域剩下的小杂点以及人体轮廓的噪点。针对手臂被分割成几个部分的情况建立几种情况的区域搜索块，同过对搜索块内的被分割的区域进行一定运算，确定被分割的区域属于人体的哪个部位。最终实现将头部与人体的左、右手完全区分开。
本发明所述骨骼点单元包括确立由肢体分割所分隔开的人体部位，利用肢体的深度信息，采用质心方法来确定人体的头、质心、肩、髋、腿、臂、手、肘、膝的骨骼关节点；确立骨骼点的具体实施过程包括：利用所分割出来的头、左手、右手，利用像素点的信息计算质心确定头部的骨骼点的位置；利用前面所确定的矩形包围盒计算质心，确定人体的髋；矩形包围盒的顶部2个顶点确定了人体的肩；左手、右手分别计算质心确定手臂肘的位置；通过设定锚点，并确定锚点及肘还有手臂端点之间的位置关系，确定手臂的端点。
本发明所述跟踪显示单元包括将所确立的人体骨骼关节点连成人体的骨架模型，当人体做出一系列动作时的骨架模型能够跟踪人体相应的动作，并让骨骼模型跟踪动作显示出来；所述跟踪显示具体实施过程包括利用前面所计算出来的骨骼关节点的位置，连接成一个人体的初步人体骨架模型。当人对着深度摄像机做出一定的姿势后，跟踪模型能够根据所生成的骨骼关节点模型做出对应的肢体动作并显示。
本发明提出的一种基于深度数据的人体骨骼跟踪系统的实现方法的具体实施例以图1-18做进一步的详细说明。
图1为一种基于深度数据的人体骨骼跟踪系统的实现方法的各单元之间顺序调用示意图。本发明的一种基于深度数据的人体骨骼跟踪系统的实现方法，具体是用于数据采集单元、肢体分割单元、骨骼点单元和跟踪显示单元构建的一种基于深度数据的人体骨骼跟踪系统，所述各单元之间为顺序调用关系，肢体分割单元利用数据采集单元处理得到的场景深度数据来进行肢体分割，骨骼点单元利用肢体分割单元分割后的结果来计算肢体的各个骨骼点的具体位置，跟踪显示单元利用骨骼点单元计算出的骨骼点的位置，建立人体的骨架模型并跟踪显示。
图2为深度摄像机获取到场景的深度图像每个像素点的深度值的示意图。所述深度图像包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每一个像素可表示深度值，诸如以厘米、毫米等计的所捕捉场景中的对象距离捕捉设备的长度或距离。
基于所接收到的深度图像生成一个或者多个体素的网格，可通过使用所接收到的深度图像中所包括的信息来生成一个或者多个体素来对所接收的深度图像进行降采样，以便可以生成经降采样的深度图像；该深度图像可被分成各个像素部分或像素块，诸如2X2、3X3、4X4、5X5等；每个部分或块可被处理以生成深度图像的体素，该体素可表示该2D深度图像在真是世界中的空间方位；每个体素的方位可以基于体素所表示的块或者部分像素中的有效值，非零深度值的平均深度值，该体素块的最大值，最小值等任何适当的信息。
图3为获取到的深度图像所建立的人体内部包围盒的示意图。为了区分人体的头、手、还有脚，计算人体最上面、最下面、最左面、最右面部位所占人体比例的百分数来确定人体的包围盒；在计算包围盒顶部的时候还应该注意使得包围盒顶部与包围盒左右两端所确定的包围盒的点1、点2必须在人体之内；通过这个人体内的包围盒，可大致地把人体的头部、左手、右手，还有脚以区分开来。
图4为包围盒内部像素标记的背景颜色的示意图。暂且不考虑包围盒内部人体像素点的深度信息，将整个包围盒里面的像素点全部标记成背景颜色，这样就只留下了人体的头部、左手、右手，还有脚。
图5为选取包围盒内部最大区域的平均深度值作为包围盒的深度值的示意图。图5示出了将运动到包围盒内部区域的手标记出来，对包围盒内部区域进行种子点区域生长，重新进行分割标记。当手运动到包围盒外时，包围盒内部的最大块区域是人的人体部分；当手运动到包围盒内部的时候，此时包围盒内部的最大块区域也是人的人体部分。由于手运动到包围盒内部时，手的深度值此时小于人体部分的深度值，此时求取包围盒内被分割的最大块的深度平均值作为整个包围和的深度平均值，利用包围盒内的手部区域的深度平均值小于包围盒的深度平均值(最大块平均值)，选取合适的阈值在包围盒内把手单独标记出颜色，而包围盒内的人体部分标记为跟背景颜色。
图6为手运动到包围盒内部时将手单独标记出来的示意图。图6示出了当手运动到包围盒内部区域的时候，手部被单独标记，而包围盒内的人体部位不被标记的情况；通过此种做法我们可以更好的研究人体的肢体部位而不需要考虑人体其他部位的深度情况。
图7为包围盒内部标记手部的流程示意图。图7示出了将包围盒内手部区域着色的流程示意图。由数据采集单元获取的深度图像建立身体内部包围盒，对包围盒内部进行种子点区域生将区域分块，选取包围盒内最大块区域的平均深度作为整个包围盒的平均深度值，对比包围盒内部每个像素点的深度值与平均深度值是否满足阈值关系，若满足则将此像素点判断为手部区域，进行着色，若是不满足阈值条件，则将此像素点判断为身体区域，不进行着色。
图8为建立肩部圆形包围盒的示意图。图8示出了为更好的区分开人体的头部和左、右手，在包围盒的点1、点2处建立两个类似于人体内部矩形包围盒的圆形包围盒，这两个包围盒起到隔离开左、右手与头部的连接。
图9为建立圆形包围盒及去除噪点后的人体深度的示意图。类似的在包围盒的左右两侧建立另外一些圆形包围盒来将人体两侧的区域以及脚部置成背景颜色；去除人体两侧的区域和脚部区域后还是会有一些小区域的杂点会对后续的左右和右手还有头的标记色造成影响，同时手部和头部区域的边界会有一些噪声，统计当颜色出现的次数小于某个阈值时，这时候把这个颜色的标记为背景颜色，结果如图9所示。
进一步手在种子点区域生长的时候会被分割成几部分，手运动到遮挡头部的时候头也会被分割成2个区域；为了获取完整连续的左手、右手、以及头部，将图像分割成合适的区域，观察区域里面是否存在等待合并到大块区域的小块，若有的话选择合适的方案，将较小块区域合并到大块区域中去。
图10为合并分割区域的流程示意图。图10示出了合并被分割的小块区域的流程示意图。对获取的身体部位分割图进行合并空间区域1、区域2，判断是否有被分割的小块质心存在区域1、区域2内，若有被分割的小块的质心存在于区域1、区域2内，则将区域内的小块区域与最大块区域进行合并，否则进行合并空间区域3、区域4。判断是否在合并区域3、区域4内存在小于某个阈值的分割小块，若存在则将区域内的小块区域与最大块区域进行合并，否则进一步判断空间合并区域5。若合并区域5内存在小于某个阈值的小块，则将区域内被分割的小块与其接触面最大的块合并，否则进行判断头部是否被分割。若头部被分割，则利用手部与手部的深度关系及高度关系对头部进行合并，否则将图像分割成两部分，利用左、右手各占两边区域的比例关系，判断左右和右手。找出左手区域，将左手区域标记为颜色2，找出右手区域，将右手标记为颜色3。
图11为区域1、区域2的示意图。图11示出了利用X、Y和深度值计算每个色块的质心；然后通过找取所有质心在区域1中，以及质心在区域2中的色块；若区域1或者区域2中存在不止一种色块区域，选取区域中所有小于最大色块的区域，将所有小于最大色块的区域都标记成最大色块的颜色。
图12为区域3、区域4的示意图。图12示出了对于肩部因为与手部质心分处于包围盒的内外而造成的无法合并的情况，分别在包围盒的点1，点2处向左下和右下建立一个区域3、区域4；在区域3和区域4里各自查找区域大小小于某个阈值的小区域，当有符合满足阈值的色块出现的时候，判断此区域里是否有其他大于阈值的色块，有的话即把小于阈值的色块标记成同一搜索块里最大块的颜色。
图13为区域5的示意图。图13示出了当被分割的小块此时质心位于包围盒内而不是包围盒外的时候，此时无法与质心处于包围盒外的大块进行合并，从而造成了手部被分割开的情况；通过建立一个包围盒顶端往下的区域5，对包围盒中的被分割小块求取它的最顶端、最底端、最左端、最右端，从顶至下，从左至右的搜索与它相连最紧密的其他色块，将被分割的小块标记成与它相连最紧密的色块的颜色，从而实现对矩形包围盒内的分割小块的合并。
图14为头部分割的示意图。图14示出了头部在手运动到遮挡住头部的时候会出现头部被分割成两部分的情况。
图15为头部合并后的示意图。图15示出了标定头部的时候利用头部的深度值正常情况下会比手部的深度值来得大，在某些特殊情况下手的深度值比头部的深度值大的时候，考虑对比头的高度和手的高度来将此时的头部和手部给区分开。由于头部的分割两部分深度值为图像里面深度值较大的区域，但手部在胸前交叉的时候也会出现手被分割成两部分的情况，为了区分开是头或者是手被分割成两部分，利用头被分割的两部分的深度值较大且这两部分的深度值之差满足小于某个阈值的条件来将被分割成两部分的头部给找出来。
图16为区分左右手的流程示意图。图16示出了当手部运动的时候，为了区分开哪个色块是属于左手，哪个色块右手，并将找出来的左手的色块标记成一个固定的颜色，将找出来的右手的颜色标记成另一个固定的颜色的流程图；利用包围盒的横坐标竖直中线将图像分割成左边区域和右边区域，除去头部和背景颜色的色块，统计左边区域和右边区域中所有色块各占左、右区域的百分比。判断左、右两区域所占比例最大的色块是否为不同色块，此时若出现某个色块只出现在某一边区域，则此时把对应的区域色块标记成对应的左手、右手标记值。
若出现左边区域和右边区域各自有两个色块的情况，选取左、右两区域所占比例最大的色块为此区域的左手或右手。这时若是左边区域的最大块与右边区域的最大块不是同一块的情况下，则将各自区域的最大块标记为对应的左手颜色值或右手颜色值；若左边区域的最大块与右边区域的最大块是同一颜色块的时候，这时候比较左边区域最大块所占的百分比与右边区域最大块所占的百分比，取较大的值为对应区域的左手或右手，另外一个颜色块即为扣去已标记的手剩下的那只手，从而实现对左右手的标定，左、右手标记完成。
为了建立人体的骨架，选取矩形包围盒的中心点为人体的髋，利用包围盒的点1和点2作为人体的肩膀点1和肩膀点2，由头部区域计算的头部的质心作为头部的骨骼点，同时计算得左手和右手的肢平均中心位置作为手臂肘关节位置。
图17为锚点运动1的示意图、图18为锚点运动2的示意图。图17、图18分别示出了通过建立两个锚点来获取手部端点1和手部端点2(即手的肢端骨骼点)；在与肩部点同x的方向上寻找两个锚点(锚点1、锚点2)；当人的手臂正常向下摆时，这时通过锚点与肢平均的连线应过其对应的手部端点，此时锚点应处于肢平均的上方；当人的手部渐渐往上抬时，手部的肢平均也会随着往上移动，为了始终保持锚点与肢平均的连线过手部端点，这时锚点应随着肢平均的上移而向下移动，通过锚点与手部的肢平均中心连线来确定手部端点。
本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术，可参考公知技术加以实施。
本发明经反复试验验证，取得了满意的试用效果。
以上具体实施方式及实施例是对本发明提出的一种基于深度数据的人体骨骼跟踪系统的实现方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术方案保护的范围。

Claims (5)

1.一种基于深度数据的人体骨骼跟踪系统的实现方法，其特征在于，具体是用于数据采集单元、肢体分割单元、骨骼点单元和跟踪显示单元构建的一种基于深度数据的人体骨骼跟踪系统，所述各单元之间为顺序调用关系，肢体分割单元利用数据采集单元处理得到的场景深度数据来进行肢体分割，骨骼点单元利用肢体分割单元分割后的结果来计算肢体的各个骨骼点的具体位置，跟踪显示单元利用骨骼点单元计算出的骨骼点的位置，建立人体的骨架模型并跟踪显示；具体步骤包括如下：
步骤1，利用深度传感器采集人体的深度数据；
步骤2，对采集到的深度数据体素化，进行降采样；
步骤3，移除背景，将人体从场景中分隔出来；
步骤4，选取合适的比例建立人体内部的包围盒，同时保证包围盒的顶部两个顶点处于人体内部区域；
步骤5，利用包围盒来将人体的头部、左手、右手以及双脚区分开；
步骤6，利用种子点生长算法，求取包围盒内的最大块的深度信息作为整个包围盒的平均深度值，由平均深度值将包围盒内的手标示出来，其余人体部分置为背景颜色；
步骤7，进一步种子点区域生长，并通过建立肩部圆的方法来隔离开手部和头部，利用同样的方法将人体的其他部位置成背景颜色，只留下头部和双手；
步骤8，计算手部被分割的每一小块的质心，利用质心将区域1、区域2的所有小块，分别置成同一种颜色；
步骤9，由顶点1和2建立区域3、区域4，将肩部与各自的左右手相关联；
步骤10，建立肩部以下搜索区域5，将被分割的小块与其联系最紧密的大块相关联；
步骤11，利用深度信息将头部区域找出来，并置为一个固定的颜色；
步骤12，通过对包围盒取中线将图像划分成左右两个区域，利用左右手分别占左右两区域对应的百分数，将左右手给区分开；
步骤13，求取左右手的肢平均作为左右手的手肘关节点，通过确定各自的锚点来寻找左右手对应的手臂端点；
步骤14，连接头部，肩部，髋，手臂的所有端点，建立人体骨骼模型并进行跟踪显示。
2.根据权利要求1所述的一种基于深度数据的人体骨骼跟踪系统的实现方法，其特征在于，所述数据采集单元是利用深度摄像机体感设备获取场景的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值。
3.根据权利要求2所述的一种基于深度数据的人体骨骼跟踪系统的实现方法，其特征在于，所述肢体分割单元是对获取的人体的深度图像利用深度数据信息对图像中的人体建立人体内部的包围盒，用种子点生长算法进行分割，对几个区域进行合并被分割开的小块，从而实现将人体的几个主要部位识别出来。
4.根据权利要求3所述的一种基于深度数据的人体骨骼跟踪系统的实现方法，其特征在于，所述骨骼点单元是确立由肢体分割所分隔开的人体部位，利用肢体的深度信息，采用质心方法来确定人体的头、质心、肩、髋、腿、臂、手、肘、膝的骨骼关节点。
5.根据权利要求4所述的一种基于深度数据的人体骨骼跟踪系统的实现方法，其特征在于，所述跟踪显示单元是将所确立的人体骨骼关节点连成人体的骨架模型，当人体做出一系列动作时的骨架模型能够跟踪人体相应的动作，并让骨骼模型跟踪动作显示出来。
CN201610666231.5A 2016-08-12 2016-08-12 一种基于深度数据的人体骨骼跟踪系统的实现方法 Active CN106250867B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610666231.5A CN106250867B (zh) 2016-08-12 2016-08-12 一种基于深度数据的人体骨骼跟踪系统的实现方法
US15/674,527 US10417775B2 (en) 2016-08-12 2017-08-11 Method for implementing human skeleton tracking system based on depth data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610666231.5A CN106250867B (zh) 2016-08-12 2016-08-12 一种基于深度数据的人体骨骼跟踪系统的实现方法

Publications (2)

Publication Number Publication Date
CN106250867A CN106250867A (zh) 2016-12-21
CN106250867B true CN106250867B (zh) 2017-11-14

Family

ID=57592951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610666231.5A Active CN106250867B (zh) 2016-08-12 2016-08-12 一种基于深度数据的人体骨骼跟踪系统的实现方法

Country Status (2)

Country Link
US (1) US10417775B2 (zh)
CN (1) CN106250867B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
CN107392086B (zh) * 2017-05-26 2020-11-03 深圳奥比中光科技有限公司 人体姿态的评估装置、系统及存储装置
CN107481286A (zh) * 2017-07-11 2017-12-15 厦门博尔利信息技术有限公司 基于被动红外反射的动态三维结构捕捉算法
US10945657B2 (en) * 2017-08-18 2021-03-16 Massachusetts Institute Of Technology Automated surface area assessment for dermatologic lesions
CN107492108A (zh) * 2017-08-18 2017-12-19 成都通甲优博科技有限责任公司 一种基于深度学习的骨架线提取算法、系统及存储介质
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
US10366510B1 (en) * 2017-10-04 2019-07-30 Octi Systems and methods for determining location and orientation of a body
CN109993750B (zh) * 2017-12-29 2020-12-25 中国科学院深圳先进技术研究院 一种手腕骨的分割识别方法及系统、终端及可读存储介质
CN108197662B (zh) * 2018-01-22 2022-02-11 湖州师范学院 一种实木地板分类方法
CN110232745A (zh) * 2018-03-05 2019-09-13 南京理工大学 一种基于可变形椭球体模型的人体建模方法
CN108563329B (zh) * 2018-03-23 2021-04-27 上海数迹智能科技有限公司 一种基于深度图的人体手臂位置参数提取算法
CN108762481A (zh) * 2018-04-08 2018-11-06 深圳市博乐信息技术有限公司 基于人体骨骼的自适应人机交互方法及系统
CN108549871B (zh) * 2018-04-17 2019-10-11 北京华捷艾米科技有限公司 一种基于区域生长和机器学习的手部分割方法
CN108635840A (zh) * 2018-05-17 2018-10-12 南京华捷艾米软件科技有限公司 一种基于Sikuli图像识别的手机游戏体感操控系统及方法
CN108986107B (zh) * 2018-06-15 2021-09-28 大连理工大学 基于光谱分析和骨架涂鸦的序列化可视人体切片图像自动分割方法
US10713487B2 (en) 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
CN109330602B (zh) * 2018-11-01 2022-06-24 中山市人民医院 一种女性形体智能评估检测装置及方法、存储介质
CN109544606B (zh) * 2018-11-02 2022-02-15 山东大学 基于多个Kinect的快速自动配准方法及系统
CN109618183B (zh) * 2018-11-29 2019-10-25 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN110135382B (zh) * 2019-05-22 2021-07-27 北京华捷艾米科技有限公司 一种人体检测方法和装置
CN112183159A (zh) * 2019-07-03 2021-01-05 四川大学 利用关键点构建非人类目标在图像中的骨架模型
KR20220062338A (ko) 2019-09-09 2022-05-16 스냅 인코포레이티드 스테레오 카메라들로부터의 손 포즈 추정
CN110705576B (zh) * 2019-09-29 2020-09-22 慧影医疗科技（北京）有限公司 区域轮廓确定方法、装置及图像显示设备
CN111144212B (zh) * 2019-11-26 2023-06-23 北京华捷艾米科技有限公司 一种深度图像目标分割方法及装置
CN111178170B (zh) * 2019-12-12 2023-07-04 青岛小鸟看看科技有限公司 一种手势识别方法和一种电子设备
DE102020200572A1 (de) * 2019-12-18 2021-06-24 Conti Temic Microelectronic Gmbh Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern
CN111158489B (zh) * 2019-12-31 2023-08-08 上海佑久健康科技有限公司 一种基于摄像头的手势交互方法及手势交互系统
CN111753638B (zh) * 2020-05-03 2024-07-16 奥比中光科技集团股份有限公司 一种基于rgbd图像的行人跟踪方法及系统
CN111696140B (zh) * 2020-05-09 2024-02-13 青岛小鸟看看科技有限公司 基于单目的三维手势追踪方法
CN112184898A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的数字人体建模方法
US11751800B2 (en) 2020-10-22 2023-09-12 International Business Machines Corporation Seizure detection using contextual motion
CN112465890A (zh) * 2020-11-24 2021-03-09 深圳市商汤科技有限公司 深度检测方法、装置、电子设备和计算机可读存储介质
CN112656402B (zh) * 2020-11-30 2023-01-13 重庆优乃特医疗器械有限责任公司 应用于3d体态检测分析的采集机器人联动控制系统
CN112999659B (zh) * 2021-02-22 2024-05-28 网易（杭州）网络有限公司 游戏数据处理方法、装置、存储介质及电子设备
CN113112586B (zh) * 2021-04-02 2023-02-28 浙江大学 基于先验模型的实时人体三维重建方法
US20240161316A1 (en) * 2021-04-26 2024-05-16 Intel Corporation Method and system of image processing with multi-skeleton tracking
CN113239528A (zh) * 2021-04-29 2021-08-10 广东元一科技实业有限公司 一种生成虚拟服装试穿用的身体模型系统及其工作方法
CN113033501A (zh) * 2021-05-06 2021-06-25 泽恩科技有限公司 一种基于关节四元数的人体分类方法及装置
CN113393563B (zh) * 2021-05-26 2023-04-11 杭州易现先进科技有限公司 关键点自动标注的方法、系统、电子装置和存储介质
CN113925497B (zh) * 2021-10-22 2023-09-15 吉林大学 一种基于双目视觉测量系统的汽车乘员乘坐姿态提取方法
CN114219832B (zh) * 2021-11-29 2023-04-07 浙江大华技术股份有限公司 人脸跟踪方法、装置及计算机可读存储介质
US11908174B2 (en) 2021-12-30 2024-02-20 GE Precision Healthcare LLC Methods and systems for image selection
CN114998804B (zh) * 2022-06-14 2024-06-18 湖南大学 一种基于两阶段的体势-手势整体姿态捕获方法
CN114898471B (zh) * 2022-07-12 2022-09-30 华中科技大学 一种基于人体骨架特征的行为检测方法及存储介质
CN114999638B (zh) * 2022-07-19 2022-12-30 武汉蓝嵊科技有限公司 基于人工智能医疗诊断用的大数据可视化处理方法及系统
CN117340914B (zh) * 2023-10-24 2024-05-14 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789125B (zh) 2010-01-26 2013-10-30 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
US9999823B2 (en) * 2016-01-15 2018-06-19 Inxpar Inc. System for analyzing golf swing process and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度图像的人体运动姿态跟踪和识别算法;杨凯等;《数据采集与处理》;20151231;第30卷(第5期);第1043-1053页 *
融合Kinect与GVF Snake的手势轮廓提取方法;陈解元等;《科学技术与工程》;20150930;第15卷(第27期);第54-58页 *

Also Published As

Publication number Publication date
US20180047175A1 (en) 2018-02-15
CN106250867A (zh) 2016-12-21
US10417775B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
CN106250867B (zh) 一种基于深度数据的人体骨骼跟踪系统的实现方法
CN102521595B (zh) 一种基于眼动数据和底层特征的图像感兴趣区域提取方法
CN107168527A (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
KR101355974B1 (ko) 복수의 객체를 추적하는 객체 추적 방법 및 장치
JP4198951B2 (ja) グループ属性推定方法及びグループ属性推定装置
CN105930767A (zh) 一种基于人体骨架的动作识别方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN105740839A (zh) 三维场景的分析
CN109299659A (zh) 一种基于rgb相机和深度学习的人体姿态识别方法与系统
CN107909604A (zh) 基于双目视觉的动态物体运动轨迹识别方法
CN109344694B (zh) 一种基于三维人体骨架的人体基本动作实时识别方法
CN107767335A (zh) 一种基于人脸识别特征点定位的图像融合方法及系统
WO2009123354A1 (en) Method, apparatus, and program for detecting object
CN109766796B (zh) 一种面向密集人群的深度行人检测方法
CN102609683A (zh) 一种基于单目视频的人体关节自动标注方法
CN108734194A (zh) 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN110532948B (zh) 一种基于视频的高精度行人轨迹提取方法
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN106815578A (zh) 一种基于深度运动图‑尺度不变特征变换的手势识别方法
CN107329564B (zh) 基于手势智能感知和人机协同机制的人机猜拳方法
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
Sajjad et al. A study on the learning based human pose recognition
CN111144174A (zh) 利用神经网络与传统算法识别视频中老人跌倒行为的系统
CN102662470A (zh) 一种实现眼部操作的方法及系统
CN117238031B (zh) 一种虚拟人的动作捕捉方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant