CN103399637B - 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 - Google Patents
基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 Download PDFInfo
- Publication number
- CN103399637B CN103399637B CN201310327955.3A CN201310327955A CN103399637B CN 103399637 B CN103399637 B CN 103399637B CN 201310327955 A CN201310327955 A CN 201310327955A CN 103399637 B CN103399637 B CN 103399637B
- Authority
- CN
- China
- Prior art keywords
- bone
- human
- joint
- straight line
- shoulder
- Prior art date
Links
- 210000002356 Skeleton Anatomy 0.000 title claims abstract description 64
- 230000003993 interaction Effects 0.000 title claims abstract description 35
- 210000000988 Bone and Bones Anatomy 0.000 claims abstract description 60
- 230000000875 corresponding Effects 0.000 claims abstract description 13
- 239000000284 extracts Substances 0.000 claims abstract description 3
- 210000001513 Elbow Anatomy 0.000 claims description 33
- 210000000707 Wrist Anatomy 0.000 claims description 18
- 210000004247 Hand Anatomy 0.000 claims description 14
- 238000000034 methods Methods 0.000 claims description 13
- 210000003010 Carpal Bones Anatomy 0.000 claims description 10
- 210000000323 Shoulder Joint Anatomy 0.000 claims description 9
- 210000001624 Hip Anatomy 0.000 claims description 5
- 239000007787 solids Substances 0.000 claims description 4
- 210000002310 Elbow Joint Anatomy 0.000 claims description 3
- 230000003935 attention Effects 0.000 claims description 3
- 238000004821 distillation Methods 0.000 claims description 3
- 210000003857 Wrist Joint Anatomy 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000001808 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reactions Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract 1
- 210000002832 Shoulder Anatomy 0.000 description 18
- 238000005516 engineering processes Methods 0.000 description 6
- 238000010586 diagrams Methods 0.000 description 5
- 230000001702 transmitter Effects 0.000 description 2
- 230000001960 triggered Effects 0.000 description 2
- 210000001503 Joints Anatomy 0.000 description 1
- 230000023298 conjugation with cellular fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000021037 unidirectional conjugation Effects 0.000 description 1
Abstract
本发明提供了一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，3D深度传感器检测操作者的动作，获得数据帧，转化为图像，分割图像中类似于人体的物体与背景环境，获取景深数据；提取人体骨骼信息，识别人体不同部位，建立人体各关节3D坐标；识别人体双手骨骼节点转动信息，通过捕捉不同骨骼关节点角度的变化辨识是人体哪只手的触发；解析出操作者不同的动作特征，将相应字符作为控制指令发送给下位机机器人；AVR单片机主控器接收、处理字符，控制下位机机器人执行相应的动作，实现一个基于kinect人体骨骼跟踪控制的智能机器人人机交互。该方法摆脱传统外部设备对人机交互的约束，实现自然的人机交互。
Description
技术领域
[0001] 本发明属于人机交互技术领域，涉及一种智能机器人人机交互方法，具体涉及一 种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法。
背景技术
[0002] 人机交互技术是指通过计算机的输入输出设备，以便于人们使用的方式实现人与 计算机之间有效交流的技术。骨骼跟踪技术是人机交互领域的一项重要技术，它在三维动 画制作、网络游戏、医疗科学领域、手势捕捉以及自然人机交互环境中具有很广泛的应用前 景。
[0003] 键盘，鼠标和操纵杆等是传统的人机交互设备，但在使用的自然性和友好性等方 面有一定的局限性。
发明内容
[0004] 本发明的目的是提供一种基于kinect人体骨骼跟踪控制的智能机器人人机交互 方法，舍弃传统的人机交互设备，实现自然的人机交互。
[0005] 为实现上述目的，本发明所采用的技术方案是：一种基于kinect人体骨骼跟踪控 制的智能机器人人机交互方法，具体按以下步骤进行：
[0006] 步骤1 :智能机器人上使用由kinect和PC机组成的追踪设备；启动追踪设备，初 始化kinect，设置摄像头仰角，3D深度传感器检测操作者的动作，kinect从颜色流、深度流 和骨架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图 像类型，将图像中类似于人体的物体与背景环境分割开，得到景深图像，Kinect获取该景深 图像的景深数据；
[0007] 步骤2 :根据景深数据，提取出人体骨骼信息，以识别人体不同的部位，建立人体 各个关节的3D坐标；具体为：从景深数据中优先提取出物体的主体和形状；用这些形状信 息匹配人体的各个部分，计算匹配出的各个关节在人体中的位置；如果某个骨骼点位置相 对于初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正 在发生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪；
[0008] 根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息，通过捕 捉不同骨骼关节点角度的变化来辨识是人体哪只手的触发；
[0009] 步骤3 :根据步骤2识别的手部骨骼节点的转动信息，并且跟踪不同骨骼关节点相 对于初始状态角度转动的变化，解析出操作者不同的动作特征，该动作特征触发相应的字 符，将该字符作为控制指令发送给下位机机器人；
[0010] 步骤4 :下位机机器人接收步骤3发出的字符，AVR单片机主控器对接收到的字符 进行处理，下位机机器人主控器AVR单片机控制下位机机器人执行相应的动作，如果未收 到上位机发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智 能机器人人机交互。
[0011] 本发明人机交互方法利用kinect获取人体三维骨骼点数据，通过骨骼跟踪技术 处理数据，跟踪不同骨骼关节点相对于初始状态角度转动的变化，进而分解出不同动作，利 用上位机软件强大的处理能力，把不同动作转化成控制字符，通过无线控制技术发送给下 位机，下位机无线串口接收模块接收上位机发送的字符，通过AVR单片机主控器进行处理， 控制机器人执行相应的动作，实现一种自然的人机交互，摆脱传统外部设备对人机交互的 约束。
附图说明
[0012] 图1是kinect能够捕捉的人体骨豁节点示意图。
[0013] 图2是本发明人机交互方法流程示意图。
[0014] 图3是本发明人机交互方法中采用的骨骼空间坐标系示意图。
[0015] 图4是本发明的下位机处理流程示意图。
[0016] 图5是本发明的人机交互示意图。
具体实施方式
[0017] 下面结合附图和实施示例对本发明作进一步详细的描述：
[0018] 本发明人机交互方法中的智能机器人由追踪设备和下位机机器人构成，追踪设备 包括kinect和PC机，kinect用于捕获操作者骨骼节点的运动，并对获取的人体骨骼数据 序列进行跟踪；PC机对kinect获取的骨骼节点进行分析，根据各骨骼节点角度变化分解出 不同动作，利用自身强大的软件处理能力，把不同动作转化成控制字符，通过无线串口发送 模块以字符形式发送给下位机，进而控制下位机机器人动作，实现人机交互。
[0019] kinect作为新一代的体感设备，能够实时地捕捉人体20个骨骼节点的三维空间 位置，进而实现较为准确的人体骨骼节点追踪。因此，为了填补现有人机交互技术的缺陷， 本发明提出了一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，摆脱那些 传统外部设备对人机交互的约束，提高人机交互的自然性与友好性。kinect能够捕捉的人 体骨骼节点如图1所示，Kinect最多可以追踪人体20个骨骼节点，根据被控对象的需要， 主要采用其中的左肩、左肘、左腕、左手、右肩、右肘、右腕、右手这8个骨骼节点的信息，其 他骨骼节点信息在程序设计时可以用作一个辅助的阈值判断条件，以提高程序的性能。本 发明人机交互方法流程图，如图2所示，具体按以下步骤进行：
[0020] 步骤1 :智能机器人上使用由kinect和PC机组成的追踪设备；Kinect有3颗镜 头，依次为红外线发射器、普通RGB彩色摄像机和红外线CMOS摄像机；红外线发射器和红外 线CMOS摄像机构成3D深度传感器；追踪设备启动后，首先完成kinect的初始化，设置摄像 头仰角，3D深度传感器检测操作者的动作，打开颜色流、深度流和骨架流，从颜色流、深度流 和骨架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图 像类型，最后对操作者骨骼进行追踪；其中，颜色流是利用普通RGB彩色摄像机完成对图像 的采集；深度流则是用红外线CMOS红外摄像机通过黑白光谱来感知外部环境，CMOS红外摄 像机可以计算出指定物体距离传感器的物理距离；骨架流则是将图像中类似于人体的物体 与背景环境分割开，得到景深图像，然后Kinect获取该景深图像的景深数据；
[0021] 由于Kinect采用了红外传感器，所以不管光照条件如何，都能准确的实现对人体 骨架的识别和追踪。
[0022] 步骤2 :人体骨骼信息是通过处理景深数据获得的，而景深数据的获取则需要依 赖Kinect传感器；Kinect传感器产生的景深数据作用有限，要利用Kinect创建真正意义 上的交互，还需要在景深数据的基础上，提取出人体骨骼信息，以识别人体不同的部位，进 而建立人体各个关节的3D坐标；通过景深数据提取出人体骨骼信息的过程，就是骨骼追 踪，具体为：
[0023] 从景深数据中优先提取出来的是物体主体和形状；然后用这些形状信息来匹配人 体的各个部分，最后计算匹配出来的各个关节在人体中的位置；如果某个骨骼点位置相对 于初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正在 发生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪；具体各关节 转动角度计算方法如下：
[0024] 计算各关节转动角度时，先设立如图3所示的骨骼空间坐标系，操作者骨骼位置 由X，y，z坐标系表示；不同于深度图像空间，这些坐标系是三维的；坐标系中的X轴、y轴 和z轴表示深度传感器的主轴；
[0025] 1)腰关节转动角度
[0026] 利用左肩和右肩这两个骨骼节点的三维坐标（x，y，z)计算人体腰关节的转动 角度；设左肩骨骼节点的三维坐标为U 1,凡4)，右肩骨骼点的三维坐标为U2,凡為）， 这两个骨骼节点在立体空间中构成一条直线Λ;Λ与X轴的夹角设为A。由于 腰关节在转动时y坐标不变，故只考虑χοζ平面，直线A的方程为其中
，A由于在腰关节的转动角度中用不到，因此未给出其计算公 式；A即为人体腰关节的转动角度，计算公式为：
[0027] 2)肩关节转动角度
[0028] 利用右肩和右肘这两个骨骼节点的三维坐标（x，y，z)来计算人体肩关 节的转动角度；设右肘骨骼节点的三维坐标为（X 3,凡4 )，右肩骨骼点的三维坐标 为（¾ %為），这两个骨骼节点在立体空间中构成另一条直线石，Λ与y轴的夹 角设为〃2;由于肩关节在转动时z坐标不变，故只考虑xoy平面，直线石的方程 为72=々2χ+4;其中
，4由于在肩关节的转动角度中 用不到，因此未给出其计算公式；即为人体肩关节的转动角度，计算公式为：
[0029] 3)肘关节转动角度
[0030] 利用右肩、右肘和右腕这三个骨骼节点的三维坐标（X，y，ζ)计算人体肘关节的转 动角度；设右腕骨骼节点的三维坐标为（χ4, Λ，与)，右肘骨骼节点的三维坐标为（χ3,乃，Z3)， 右肩骨骼节点的三维坐标为（χ2,为，4)，右肘骨骼节点和右腕骨骼节点构成直线Λ，右肩骨 骼节点和右肘骨骼节点构成直线知由于这三个骨骼节点在转动时z坐标不变，故只考虑 xoy平面。直线Λ的方程为r3=々3i+4,其中
, 4由于在肘关节的转动 角度计算中用不到，故此处未给出计算公式；直线石与直线石的夹角设为〃3，即为人 体肘关节的转动角度，计算公式为：
[0031] 4)腕关节转动角度
[0032] 利用右手、右肘和右腕这三个骨骼节点的三维坐标（x，y，z)来计算人体腕关 节的转动角度；设右手骨骼节点的三维坐标为（x 5，r5, 4)，右腕骨骼节点的三维坐标为 (x4，r4，z4)，右肘骨骼节点的三维坐标为（4，乃，為)，其中右肘骨骼节点和右腕骨骼节 点构成直线Λ，右手骨骼点和右腕骨骼构成直线心直线Λ的方程为其中
,4由于在腕关节的转动角度计算中用不到，故此处未给出计算 公式。直线石和直线人的夹角设为^即为人体腕关节的转动角度，计算公式为：
[0033] Kinect自身的骨骼追踪系统可完成对操作者动作的捕捉并形成相应的人体各关 节转动角度信息，根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息， 通过捕捉不同骨骼关节点角度的变化来辨识是人体哪只手的触发；
[0034] 步骤3 :根据步骤2识别的手部骨骼节点的转动信息，按照步骤2计算人体腰、肩、 肘和腕四个关节的转动角度的方法，并且跟踪不同骨骼关节点相对于初始状态角度转动的 变化，解析出操作者不同的动作特征作为控制指令：
[0035] 1)当操作者伸出左手时，也就是kinect摄像头检测到人体骨骼的左肩和左肘这2 个骨骼点转动角度发生变化时，定义为伸左手，根据转动角度不同可分为左平伸和左前伸， 同时把触发的左平伸和左前伸动作以字符的方式发送给下位机机器人，如将"左平伸动作" 定义为字符A，如果下位机机器人接收到字符"A"，则下位机机器人也做出"左平伸动作"；
[0036] 2)当操作者伸出右手时，也就是kinect摄像头检测到人体骨骼的右肩和右肘这2 个骨骼点转动角度发生变化时，定义为伸右手，根据转动角度不同可分为右平伸和右前伸， 同时把触发的右平伸和右前伸动作以字符的方式发送给下位机机器人；
[0037] 3)当操作者伸出双手时，也就是kinect摄像头检测到人体骨骼的右肩、右肘、左 肩和左肘这4个骨骼点转动角度发生变化时，定义为伸双手，根据转动角度不同可分为双 手平伸和双手前伸，同时把触发的双手平伸和双手前伸动作以字符的方式发送给下位机机 器人；
[0038] 4)当操作者右手平伸并且右手手腕左右摇摆，也就是kinect摄像头检测到人体 骨骼的右肘、右腕和右手这3个骨骼点转动角度发生变化且右腕这个骨骼点在一定角度 范围内连续变化，定义为右手击打，同时把右手击打动作以字符的方式发送给下位机机器 人；
[0039] 5)当操作者左手平伸并且左手手腕左右摇摆，也就是kinect摄像头检测到人 体骨骼的左肘、左腕、左手这3个骨骼点转动角度发生变化且左腕这个骨骼点在一定角度 范围内连续变化，定义为左手击打，同时把左手击打动作以字符的方式发送给下位机机器 人；
[0040] 6)当操作者双手平伸并且双手手腕左右摇摆，也就是kinect摄像头检测到人体 骨骼的右肘、右腕、右手、左肘、左腕和左手这6个骨骼点转动角度发生变化且左腕和右腕 这两个骨骼点在一定角度范围内连续变化，定义为双手手击打，同时把双手击打动作以字 符的方式发送给下位机机器人；
[0041] 7)当操作者鞠躬，也就是kinect摄像头检测到人体骨骼的左肩和右肩这2个骨骼 点转动角度发生变化，定义为鞠躬，同时把鞠躬动作以字符的方式发送给下位机机器人；
[0042] 步骤4 :下位机机器人主要是一台基于AVR单片机控制的类人型轮式机器人，通过 控制该机器人躯体上舵机和脚板上的轮子使机器人完成不同动作和行走；下位机机器人通 过无线串口发送模块接收步骤3发出的不同动作相对应的字符，AVR单片机主控器对接收 到的字符进行处理，如图4所示，下位机机器人主控器AVR单片机程序初始化，等待上位机 通过无线串口发送模块发送来的字符，如果下位机机器人通过无线串口接收模块接收到相 应的字符，也就是接收到上位机的指令，下位机机器人执行相应的动作，如果未收到上位机 发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智能机器人 人机交互，如图5所示。 实施例
[0043] 初始化kinect设备，设置摄像头仰角，打开颜色流、深度流和骨架流，色彩信息处 理的分辨率为640X480,深度信息处理的分辨率为320X 240,采样率都为30帧每秒；通过 视频流、深度流和骨架流获取图像类型，同时在PC机上启动VS2010,编译程序，编译完成后 运行程序，显示人体骨骼跟踪MFC编程界面。然后打开智能机器人主控开关给机器人上电， 同时给无线串口接收和发送模块上电，操作者站在距离摄像头1. 2米到3. 5米范围之间，当 MFC编程界面检测到操作者人体骨骼节点时，操作者伸出双手，PC机收到双手触发信号，通 过无线串口发送模块发送字符"C"，同时下位机无线串口接收模块收到字符"C"后，下位机 机器人也做出"伸双手动作";从而实现一个基于kinect人体骨骼跟踪控制的智能机器人人 机交互。
Claims (1)
1. 一种基于kinect人体骨骼跟踪控制的智能机器人人机交互方法，其特征在于，该交 互方法具体按以下步骤进行： 步骤1 :智能机器人上使用由kinect和PC机组成的追踪设备；启动追踪设备，初始化 kinect，设置摄像头仰角，3D深度传感器检测操作者的动作，kinect从颜色流、深度流和骨 架流中获得人体骨骼信息数据帧，并将获得的数据帧转化为OpenCV中的IplImage图像类 型，将图像中类似于人体的物体与背景环境分割开，得到景深图像，Kinect获取该景深图像 的景深数据； 步骤2 :根据景深数据，提取出人体骨骼信息，以识别人体不同的部位，建立人体各个 关节的3D坐标；具体为：从景深数据中优先提取出物体的主体和形状；用这些形状信息匹 配人体的各个部分，计算匹配出的各个关节在人体中的位置；如果某个骨骼点位置相对于 初始状态改变，初始状态是指操作者立正时的状态，则可以判断为操作者当前动作正在发 生变化，骨骼点位置的改变可以通过与其对应关节转动角度的改变来追踪； 根据该人体各关节转动角度信息，识别出人体双手骨骼节点的转动信息，通过捕捉不 同骨骼关节点角度的变化来辨识是人体哪只手的触发； 关节转动角度计算方法如下： 计算各关节转动角度时，先设立骨骼空间坐标系，操作者骨骼位置由X，y，Z坐标系表 示；不同于深度图像空间，这些坐标系是三维的；坐标系中的X轴、y轴和z轴表示深度传感 器的主轴； 1) 腰关节转动角度 利用左肩和右肩这两个骨骼节点的三维坐标（X，y，z)计算人体腰关节的转动角度；设 左肩骨骼节点的三维坐标为（知凡4)，右肩骨骼点的三维坐标为（¾凡為），这两个骨骼 节点在立体空间中构成直线Λ; Λ与X轴的夹角为〃 1;由于腰关节在转动时y坐标不变， 故直线Λ的方程为其中
；则人体腰关节的转动角度
2) 肩关节转动角度 利用右肩和右肘这两个骨骼节点的三维坐标（X，y，z)来计算人体肩关节的转动角度； 设右肘骨骼节点的三维坐标为U3,凡馬)，右肩骨骼点的三维坐标为U2, %為)，这两个骨 骼节点在立体空间中构成直线石，石与y轴的夹角为〃 2;由于肩关节在转动时z坐标不变， 故直线Λ的方程为Λ=先χ+4;其中
；则人体肩关节的转动角 度
3) 肘关节转动角度 利用右肩、右肘和右腕这三个骨骼节点的三维坐标（X，y，ζ)计算人体肘关节的转动角 度；设右腕骨骼节点的三维坐标为U，为，与），右肘骨骼节点的三维坐标为U，乃，馬），右肩 骨骼节点的三维坐标为（χ2,为，4)，右肘骨骼节点和右腕骨骼节点构成直线Λ，右肩骨骼节 点和右肘骨骼节点构成直线知由于这三个骨骼节点在转动时ζ坐标不变，故直线石的方 程为其中；
；直线Λ与直线Λ的夹角〃3为人体肘关节的转 动角度：
4)腕关节转动角度 利用右手、右肘和右腕这三个骨骼节点的三维坐标（X，y，ζ)来计算人体腕关节的转动 角度；设右手骨骼节点的三维坐标为（為，Λ，為），右腕骨骼节点的三维坐标为（¾ Λ，与)，右 肘骨骼节点的三维坐标为（χ3，_τ3, &)，其中右肘骨骼节点和右腕骨骼节点构成直线Λ，右手 骨骼点和右腕骨骼构成直线人;直线人的方程为
，其中
；直 线Λ和直线人的夹角^即为人体腕关节的转动角度
步骤3 :根据步骤2识别的手部骨骼节点的转动信息，并且跟踪不同骨骼关节点相对于 初始状态角度转动的变化，解析出操作者不同的动作特征，该动作特征触发相应的字符，将 该字符作为控制指令发送给下位机机器人； 步骤4 :下位机机器人接收步骤3发出的字符，AVR单片机主控器对接收到的字符进行 处理，下位机机器人主控器AVR单片机控制下位机机器人执行相应的动作，如果未收到上 位机发送的字符信号则继续等待；从而实现一个基于kinect人体骨骼跟踪控制的智能机 器人人机交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310327955.3A CN103399637B (zh) | 2013-07-31 | 2013-07-31 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310327955.3A CN103399637B (zh) | 2013-07-31 | 2013-07-31 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103399637A CN103399637A (zh) | 2013-11-20 |
| CN103399637B true CN103399637B (zh) | 2015-12-23 |
Family
ID=49563277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310327955.3A CN103399637B (zh) | 2013-07-31 | 2013-07-31 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103399637B (zh) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104460972A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 一种基于Kinect的人机交互系统 |
| CN103679175B (zh) * | 2013-12-13 | 2017-02-15 | 电子科技大学 | 一种基于深度摄像机的快速3d骨骼模型检测方法 |
| CN103713554A (zh) * | 2013-12-26 | 2014-04-09 | 浙江师范大学 | 一种体感跟随式控制系统及应用此系统的搬运车 |
| CN103760976B (zh) * | 2014-01-09 | 2016-10-05 | 华南理工大学 | 基于Kinect的手势识别智能家居控制方法及系统 |
| CN104035557B (zh) * | 2014-05-22 | 2017-04-19 | 华南理工大学 | 一种基于关节活跃度的Kinect动作识别方法 |
| CN104167016B (zh) * | 2014-06-16 | 2017-10-03 | 西安工业大学 | 一种基于rgb彩色与深度图像的三维运动重建方法 |
| CN104227724B (zh) * | 2014-08-28 | 2017-01-18 | 北京易拓智谱科技有限公司 | 一种基于视觉识别的通用机器人末端位置的操控方法 |
| CN104408396B (zh) * | 2014-08-28 | 2017-06-30 | 浙江工业大学 | 一种基于时间金字塔局部匹配窗口的动作识别方法 |
| CN105578250A (zh) * | 2014-10-11 | 2016-05-11 | 乐视致新电子科技（天津）有限公司 | 基于物理模型的人机交互方法、装置及智能电视 |
| CN104353240A (zh) * | 2014-11-27 | 2015-02-18 | 北京师范大学珠海分校 | 基于Kinect的跑步机系统 |
| CN104440926A (zh) * | 2014-12-09 | 2015-03-25 | 重庆邮电大学 | 一种基于Kinect的机械臂体感远程控制方法及系统 |
| CN104808798B (zh) * | 2015-05-14 | 2017-09-19 | 哈尔滨工业大学 | 一种基于Kinect的多屏互动民族舞娱乐系统 |
| CN105710856A (zh) * | 2015-06-01 | 2016-06-29 | 李锦辉 | 远程体感控制机器人 |
| WO2016206642A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京贝虎机器人技术有限公司 | 机器人的控制数据的生成方法及装置 |
| CN105137973B (zh) * | 2015-08-21 | 2017-12-01 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
| CN106599762A (zh) * | 2015-10-15 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 动作信息识别方法和系统 |
| CN106918336A (zh) * | 2015-12-25 | 2017-07-04 | 积晟电子股份有限公司 | 惯性测量模块及其惯性测量方法 |
| CN105930795A (zh) * | 2016-04-20 | 2016-09-07 | 东北大学 | 一种基于人体骨骼关节点间空间向量的行走状态识别方法 |
| CN105956549A (zh) * | 2016-04-28 | 2016-09-21 | 江苏大学 | 一种工人作业前安全装备及行为能力检查系统及方法 |
| CN106022213B (zh) * | 2016-05-04 | 2019-06-07 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN106066996B (zh) * | 2016-05-27 | 2019-07-30 | 上海理工大学 | 人体动作的局部特征表示方法及其在行为识别的应用 |
| CN106095087A (zh) * | 2016-06-02 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感交互系统以及方法 |
| CN106095083A (zh) * | 2016-06-02 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感指令的确定方法以及体感交互装置 |
| CN106272446B (zh) * | 2016-08-01 | 2019-02-12 | 纳恩博（北京）科技有限公司 | 机器人动作模拟的方法和装置 |
| CN106250867B (zh) * | 2016-08-12 | 2017-11-14 | 南京华捷艾米软件科技有限公司 | 一种基于深度数据的人体骨骼跟踪系统的实现方法 |
| CN106651940B (zh) * | 2016-11-24 | 2020-09-18 | 深圳奥比中光科技有限公司 | 一种用于3d交互的专用处理器 |
| CN107204000A (zh) * | 2017-04-24 | 2017-09-26 | 天津大学 | 基于Kinect深度相机的人体分割方法 |
| CN107272593A (zh) * | 2017-05-23 | 2017-10-20 | 陕西科技大学 | 一种基于Kinect的机器人体感编程方法 |
| CN107336238A (zh) * | 2017-06-30 | 2017-11-10 | 北京建筑大学 | 全方位移动机器人的控制系统 |
| CN107225573A (zh) * | 2017-07-05 | 2017-10-03 | 上海未来伙伴机器人有限公司 | 机器人的动作控制方法和装置 |
| CN107563295B (zh) * | 2017-08-03 | 2020-07-28 | 中国科学院自动化研究所 | 基于多Kinect的全方位人体追踪方法及处理设备 |
| CN107609474B (zh) * | 2017-08-07 | 2020-05-01 | 深圳市科迈爱康科技有限公司 | 肢体动作识别方法、装置、机器人及存储介质 |
| CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
| CN108858188B (zh) * | 2018-06-20 | 2020-10-27 | 华南理工大学 | 一种应用于人形机器人的人体转体和位移映射方法 |
| CN109330494A (zh) * | 2018-11-01 | 2019-02-15 | 珠海格力电器股份有限公司 | 基于动作识别的扫地机器人控制方法、系统、扫地机器人 |
| US10957066B2 (en) | 2019-03-19 | 2021-03-23 | General Electric Company | Systems and methods for locating humans using dynamic field robotic-sensor network of human robot team |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184020A (zh) * | 2010-05-18 | 2011-09-14 | 微软公司 | 用于操纵用户界面的姿势和姿势修改 |
| CN102301315A (zh) * | 2009-01-30 | 2011-12-28 | 微软公司 | 姿势识别器系统架构 |
| CN103112007A (zh) * | 2013-02-06 | 2013-05-22 | 华南理工大学 | 基于混合传感器的人机交互方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8564534B2 (en) * | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
-
2013
- 2013-07-31 CN CN201310327955.3A patent/CN103399637B/zh not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102301315A (zh) * | 2009-01-30 | 2011-12-28 | 微软公司 | 姿势识别器系统架构 |
| CN102184020A (zh) * | 2010-05-18 | 2011-09-14 | 微软公司 | 用于操纵用户界面的姿势和姿势修改 |
| CN103112007A (zh) * | 2013-02-06 | 2013-05-22 | 华南理工大学 | 基于混合传感器的人机交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Kinect系统的场景建模与机器人自主导航;杨东方等;《机器人》;20120930;第34卷(第5期);第581-589页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103399637A (zh) | 2013-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yagi et al. | Future person localization in first-person videos | |
| EP2904472B1 (en) | Wearable sensor for tracking articulated body-parts | |
| Zhao et al. | Combining marker-based mocap and rgb-d camera for acquiring high-fidelity hand motion data | |
| CN103353758B (zh) | 一种室内机器人导航方法 | |
| CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
| TWI489317B (zh) | 電子裝置的操作方法及系統 | |
| Jain et al. | Real-time upper-body human pose estimation using a depth camera | |
| Ye et al. | Accurate 3d pose estimation from a single depth image | |
| CN102221887B (zh) | 互动投影系统及方法 | |
| CN101976079B (zh) | 智能导航控制系统及方法 | |
| CN103809880B (zh) | 人机交互系统及方法 | |
| CN104090659B (zh) | 基于人眼图像和视线追踪的操作指针指示控制设备 | |
| CN102722249B (zh) | 操控方法、操控装置及电子装置 | |
| CN103135453B (zh) | 家用电器控制方法及系统 | |
| CN102219051B (zh) | 基于人机交互技术的四旋翼飞行器系统控制方法 | |
| CN105425955A (zh) | 多用户沉浸式全互动虚拟现实工程培训系统 | |
| Wang et al. | Real-time hand-tracking with a color glove | |
| WO2017118075A1 (zh) | 人机交互系统、方法及装置 | |
| CN100585329C (zh) | 基于指端标记的视频手指定位系统及其定位方法 | |
| CN104571510B (zh) | 一种3d场景中输入手势的系统和方法 | |
| CN102915111B (zh) | 一种腕上手势操控系统和方法 | |
| CN102999910B (zh) | 一种图像深度计算方法 | |
| CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| CN203941499U (zh) | 一种基于立体视觉的动作采集和反馈系统 | |
| Li et al. | A web-based sign language translator using 3d video processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151223 Termination date: 20160731 |