CN110853099A - 一种基于双Kinect相机的人机交互方法及系统 - Google Patents

一种基于双Kinect相机的人机交互方法及系统 Download PDF

Info

Publication number
CN110853099A
CN110853099A CN201911132154.5A CN201911132154A CN110853099A CN 110853099 A CN110853099 A CN 110853099A CN 201911132154 A CN201911132154 A CN 201911132154A CN 110853099 A CN110853099 A CN 110853099A
Authority
CN
China
Prior art keywords
human
point cloud
industrial robot
cloud data
kinect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911132154.5A
Other languages
English (en)
Other versions
CN110853099B (zh
Inventor
吴海彬
黄艺坤
游晓君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911132154.5A priority Critical patent/CN110853099B/zh
Publication of CN110853099A publication Critical patent/CN110853099A/zh
Application granted granted Critical
Publication of CN110853099B publication Critical patent/CN110853099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双Kinect相机的人机交互方法及系统，首先通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，并分别将数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；然后通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；接着对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；最后在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合。本发明提升了人与工业机器人协作生产安全性，为智能化生产提供了可靠且廉价的方案。

Description

一种基于双Kinect相机的人机交互方法及系统
技术领域
本发明涉及工业机器人设计领域，特别是一种基于双Kinect相机的人机交互方法及系统。
背景技术
随着人口结构变化，中国的劳动力规模以及其占人口比重已经出现不同程度的下降，人口红利逐渐消失导致劳动力成本上升。众多制造业公司开始力推“机器换人”战略，进行生产线自动化改造，促进制造业智能化升级转型。工业机器人最早在汽车制造行业应用最为广泛，近年来电脑、通讯和消费性电子产品为主的3C产品快速发展，其工业机器人需求量也快速增长，已经遥遥领先其他行业。消费者对3C产品智能化、轻薄化、高速化的要求不断提高，产品快速迭代换新，多品种小批量的消费趋势愈加明显，3C产品生产线变更也变得更加频繁。目前的机器人以单独作业为主，柔性不足，难以应对产品制造工序的频繁切换，更适合于快速重复的工序中。相反，人类具有灵活和认知能力，能够更快的适应环境，对变换和突发事件做出反应和决策。因此，如果生产线能够结合人的“认知，分析，决策”能力和机器人的“力量，精度，重复性”能力，在生产线中引入人机协作机器人(Cobots)，那么就能更快的适应生产线的变换需求。本发明旨在实现工业机器人能够实现在不确定环境下实现自主避障和识别操作者意图，操作者与工业机器人能够相互协作。
发明内容
有鉴于此，本发明的目的是提出一种基于双Kinect相机的人机交互方法及系统，提升了人与工业机器人协作生产安全性，为智能化生产提供了可靠且廉价的方案。
本发明采用以下方案实现：一种基于双Kinect相机的人机交互方法，包括以下步骤：
通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，并分别将两台相机收集的数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；
通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；
对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；
在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合。
较佳的，将两台Kinect相机安装在工业机器人工作台两侧，两台Kinect相机通过USB接口接到计算机上，通过QtCreator编写上位机程序，利用OpenNI库读取Kinect相机的图像、深度数据和人体的骨骼位置信息，获取到两个Kinect相机视野内的工作环境的图像和深度数据转换为点云数据；其中骨架节点位置通过CSkeletonItem类来获取，获取的骨架节点共分为15个，手脚共12个，头部2个，躯干1个。
进一步地，还包括标定两Kinect相机与工业机器人“手眼标定”的步骤，具体包括以下步骤：
步骤S11：利用Matlab的Matlab Camera Toolbox对两Kinect相机进行内外参标定，获得两Kinect相机之间的转换矩阵；
步骤S12：利用九点标定法对Kinect相机和工业机器人进行标定，得到工业机器人的基座标和相机坐标之间的变换矩阵。
其中，步骤S11具体为：
B1、通过棋盘法对两个Kinect的彩色摄像头进行标定，得到两个彩色摄像头自身的内参矩阵；
B2、将两个Kinect的红外投影机遮挡住，通过外部红外光源照射棋盘，使用棋盘法对两个Kinect的深度摄像头进行标定，得到两个深度摄像头自身的内参矩阵；
B3、在同一场景下，通过棋盘法获得Kinect深度摄像头和彩色摄像头的外参矩阵，通过两个外参矩阵算出深度摄像头和彩色摄像头坐标系的变换矩阵；
B4、在同一场景下，通过棋盘法获得两个Kinect摄像头的彩色摄像头的外参矩阵，通过两个外参矩阵算出两个Kinect摄像头之间的转换矩阵。
较佳的，所述通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中，具体为：首先利用得到的两个Kinect相机的转换矩阵将两个Kinect相机获得的点云数据和人体骨架粗略匹配，再利用PCL点云库中的ICP算法进行自动匹配，将点云数据和人体骨架统一变换到世界坐标系中。
进一步地，所述对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图具体包括以下步骤：
步骤S21：将合成得到的点云数据采用PCL点云库中的高斯滤波进行滤波去噪，经滤波后输出滤波点云数据；
步骤S22：采用octomap库将滤波后的点云数据转换为八叉树地图。
进一步地，所述在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划具体为：在八叉树地图中采用OMPL运动规划库的3D-RRT算法(快速扩展随机树)进行机械臂路径规划，给定机器人任务后，获得起始点和目标点，将工业机器人从工作空间转换到状态空间，通过对状态空间的采样点进行碰撞检测，以避免对空间的建模，搜寻可行路径，再将状态空间中的路径还原为工作空间的关节运动。
进一步地，所述通过训练好的BP神经网络对人体骨架姿态进行行为识别具体包括以下步骤：
步骤S31：获取人体指向物体和等待接收物体的人体骨骼姿态数据集；
步骤S32：提取人体骨骼姿态向量模比值；
步骤S33：对提取的姿态向量模比值进行层次聚类分析处理，生成人体姿态神经网络分类器；
步骤S34：构建BP神经网络模型；
步骤S35：输入采集到的人体骨骼姿态信息，得到人体行为识别处理结果。
本发明还提供了一种基于上文所述所述的基于双Kinect相机的人机交互方法的系统，包括工业机器人本体、计算机以及与其通信相连的分别设置于工业机器人本体量测的两个Kinect相机以及工业机器人控制器；所述每个Kinect相机包括一彩色摄像头、一红外摄像头以及一红外投影机；所述计算机中存储有计算机程序，计算机在运行该计算机程序时执行如上文所述的方法步骤。
其中，所述工业机器人为六自由度机器人，用于任务执行。所述工业机器人控制器包含一以太网口，用于与计算机通讯。所述Kinect相机上的彩色摄像头与红外摄像头分别用于采集彩色图像和深度图像；所述计算机包含两USB口和一以太网口分别与Kinect相机和工业机器人控制器通讯，用于采集图像和深度数据，并根据采集数据的处理结果实现控制所述工业机器人在环境中躲避障碍，以及对人的交互动作进行配合。
本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，该计算机程序在被处理器运行时能够实现如上文所述的方法步骤。
与现有技术相比，本发明有以下有益效果：本发明通过融合双Kinect相机的图像和深度数据，在减少视野盲区下，使工业机器人能够感知生产环境变化和人的动作信息，进一步实现工业机器人生产环境安全、柔性、精益与智能化的要求，有效的提升了人与工业机器人协作生产安全性，为智能化生产提供了可靠且廉价的方案。
附图说明
图1为本发明实施例的系统结构示意图。
图2为本发明实施例的方法流程示意图。
图3为本发明实施例的识别的人体骨架图。
图4为本发明实施例的用Matlab Camera Toolbox棋盘法标定步骤。
图5为本发明实施例的九点标定法流程图。
图6为本发明实施例的八叉树结构。
图7为本发明实施例的3D-RRT路径规划算法节点扩展过程图。
图8为本发明实施例的使用BP神经网络的进行人体动作识别的流程图。
图1中，1为第一台Kinect相机，2为工业机器人本体，3为第二台Kinect相机，4为工业机器人控制器，5为计算机。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图2所示，本实施例提供了一种基于双Kinect相机的人机交互方法，包括以下步骤：
通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，并分别将两台相机收集数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；
通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；
对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；
在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合。
较佳的，将两台Kinect相机安装在工业机器人工作台两侧，两台Kinect相机通过USB接口接到计算机上，通过QtCreator编写上位机程序，利用OpenNI库读取Kinect相机的图像、深度数据和人体的骨骼位置信息，获取到两个Kinect相机视野内的工作环境的图像和深度数据转换为点云数据；其中骨架节点位置通过CSkeletonItem类来获取，如图3所示，获取的骨架节点共分为15个，手脚共12个，头部2个，躯干1个。
在本实施例中，还包括标定两Kinect相机与工业机器人“手眼标定”的步骤，具体包括以下步骤：
步骤S11：利用Matlab的Matlab CameraToolbox对两Kinect相机进行内外参标定，获得两Kinect相机之间的转换矩阵；
步骤S12：利用九点标定法对Kinect相机和工业机器人进行标定，得到工业机器人的基座标和相机坐标之间的变换矩阵。图5为九点标定法流程图。
其中，图4为用Matlab Camera Toolbox棋盘法标定程序步骤，具体标定步骤为：
B1、通过棋盘法对两个Kinect的彩色摄像头进行标定，得到两个彩色摄像头自身的内参矩阵；
B2、将两个Kinect的红外投影机遮挡住，通过外部红外光源照射棋盘，使用棋盘法对两个Kinect的深度摄像头进行标定，得到两个深度摄像头自身的内参矩阵；
B3、在同一场景下，通过棋盘法获得Kinect深度摄像头和彩色摄像头的外参矩阵，通过两个外参矩阵算出深度摄像头和彩色摄像头坐标系的变换矩阵；
B4、在同一场景下，通过棋盘法获得两个Kinect摄像头的彩色摄像头的外参矩阵，通过两个外参矩阵算出两个Kinect摄像头之间的转换矩阵。
较佳的，所述通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中，具体为：首先利用得到的两个Kinect相机的转换矩阵将两个Kinect相机获得的点云数据和人体骨架粗略匹配，再利用PCL点云库中的ICP算法进行自动匹配，将点云数据和人体骨架统一变换到世界坐标系中。
在本实施例中，所述对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图具体包括以下步骤：
步骤S21：将合成得到的点云数据采用PCL点云库中的高斯滤波进行滤波去噪，经滤波后输出滤波点云数据；
步骤S22：采用octomap库将滤波后的点云数据转换为八叉树地图。
其中，八叉树的主要原理：八叉树是用于3D空间细分的分层数据结构，八叉树种的每个节点表示立方体积中包含的空间，用0～1之间的浮点数表示空间中点被占据的概率，越大则表示被占据的可能性越高，当某个节点的子节点都“占据”或“不占据”或“未确定”时，就可以把它去掉，节省存储空间；该体积递归地细分为八个子体积，直达到给定的最小体素尺寸，图6为八叉树结构；假设在系统运行的t＝1，…，T时刻，观测到的点云数据为z1，…，ZT,那么第n个叶子节点记录的信息为：
在本实施例中，所述在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划具体为：在八叉树地图中采用OMPL运动规划库的3D-RRT算法(快速扩展随机树)进行机械臂路径规划，给定机器人任务后，获得起始点和目标点，将工业机器人从工作空间转换到状态空间，通过对状态空间的采样点进行碰撞检测，以避免对空间的建模，搜寻可行路径，再将状态空间中的路径还原为工作空间的关节运动。
其中，3D-RRT算法主要原理：初始化一根节点xinit；通过采样函数Sample从状态空间中随机增加叶子节点xrand，生成一个随机扩展树；然后Nearest函数从随机树中选择一个距离xrand最近的节点xnearest；最后Extend函数通过从xnearest向xrand扩展一段距离，得到一个新的节点xnew，如果xnew与障碍发生碰撞，则Extern函数返回空，放弃这次生长，否则xnew加入随机树中。当随机树中的叶子节点包含了目标点或进入了目标区域，便可以在随机树中找到一条由从初始点到目标点的路径。图7为3D-RRT路径规划算法节点扩展过程图。
如图8所示，在本实施例中，所述通过训练好的BP神经网络对人体骨架姿态进行行为识别具体包括以下步骤：
步骤S31：获取人体指向物体和等待接收物体的人体骨骼姿态数据集；
步骤S32：提取人体骨骼姿态向量模比值；
步骤S33：对提取的姿态向量模比值进行层次聚类分析处理，生成人体姿态神经网络分类器；
步骤S34：构建BP神经网络模型；
步骤S35：输入采集到的人体骨骼姿态信息，得到人体行为识别处理结果。
如图2所示，本实施例还提供了一种基于上文所述所述的基于双Kinect相机的人机交互方法的系统，包括工业机器人本体、计算机以及与其通信相连的分别设置于工业机器人本体量测的两个Kinect相机以及工业机器人控制器；所述每个Kinect相机包括一彩色摄像头、一红外摄像头以及一红外投影机；所述计算机中存储有计算机程序，计算机在运行该计算机程序时执行如上文所述的方法步骤。
其中，所述工业机器人为六自由度机器人，用于任务执行。所述工业机器人控制器包含一以太网口，用于与计算机通讯。所述Kinect相机上的彩色摄像头与红外摄像头分别用于采集彩色图像和深度图像；所述计算机包含两USB口和一以太网口分别与Kinect相机和工业机器人控制器通讯，用于采集图像和深度数据，并根据采集数据的处理结果实现控制所述工业机器人在环境中躲避障碍，以及对人的交互动作进行配合。
本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，该计算机程序在被处理器运行时能够实现如上文所述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于双Kinect相机的人机交互方法，其特征在于，包括以下步骤：
通过在工业机器人的两侧分别装配的两台Kinect相机，采集工业机器人工作范围内的工作环境以及人的图像数据与深度数据，分别将两台相机收集的数据转换为两个点云数据，并采集工作环境中的人体骨架位置信息；
通过ICP算法将两个点云数据和人体骨架融合到同一个世界坐标中；
对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图；
在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划，通过训练好的BP神经网络对人体骨架姿态进行行为识别，实现对人阻碍动作进行避障，对人的交互动作进行配合。
2.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，还包括标定两Kinect相机与工业机器人的步骤，具体包括以下步骤：
步骤S11：利用Matlab的Matlab Camera Toolbox对两Kinect相机进行内外参标定，获得两Kinect相机之间的转换矩阵；
步骤S12：利用九点标定法对Kinect相机和工业机器人进行标定，得到工业机器人的基座标和相机坐标之间的变换矩阵。
3.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，所述对合成的点云数据进行滤波去噪，再将点云数据转换为八叉树地图具体包括以下步骤：
步骤S21：将合成得到的点云数据采用PCL点云库中的高斯滤波进行滤波去噪，经滤波后输出滤波点云数据；
步骤S22：采用octomap库将滤波后的点云数据转换为八叉树地图。
4.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，所述在八叉树地图中根据任务指定起始点与终止点进行避障和路径规划具体为：
在八叉树地图中采用OMPL运动规划库的3D-RRT算法进行机械臂路径规划，给定机器人任务后，获得起始点和目标点，将工业机器人从工作空间转换到状态空间，通过对状态空间的采样点进行碰撞检测，以避免对空间的建模，搜寻可行路径，再将状态空间中的路径还原为工作空间的关节运动。
5.根据权利要求1所述的一种基于双Kinect相机的人机交互方法，其特征在于，所述通过训练好的BP神经网络对人体骨架姿态进行行为识别，具体包括以下步骤：
步骤S31：获取人体指向物体和等待接收物体的人体骨骼姿态数据集；
步骤S32：提取人体骨骼姿态向量模比值；
步骤S33：对提取的姿态向量模比值进行层次聚类分析处理，生成人体姿态神经网络分类器；
步骤S34：构建BP神经网络模型；
步骤S35：输入采集到的人体骨骼姿态信息，得到人体行为识别处理结果。
6.一种基于权利要求1-5任一项所述的基于双Kinect相机的人机交互方法的系统，其特征在于，包括工业机器人本体、计算机以及与其通信相连的分别设置于工业机器人本体量测的两个Kinect相机以及工业机器人控制器；所述每个Kinect相机包括一彩色摄像头、一红外摄像头以及一红外投影机；所述计算机中存储有计算机程序，计算机在运行该计算机程序时执行如权利要求1-5任一项所述的方法步骤。
7.一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序，其特征在于，该计算机程序在被处理器运行时能够实现如权利要求1-5任一项所述的方法步骤。
CN201911132154.5A 2019-11-19 2019-11-19 一种基于双Kinect相机的人机交互方法及系统 Active CN110853099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911132154.5A CN110853099B (zh) 2019-11-19 2019-11-19 一种基于双Kinect相机的人机交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911132154.5A CN110853099B (zh) 2019-11-19 2019-11-19 一种基于双Kinect相机的人机交互方法及系统

Publications (2)

Publication Number Publication Date
CN110853099A true CN110853099A (zh) 2020-02-28
CN110853099B CN110853099B (zh) 2023-04-14

Family

ID=69602069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911132154.5A Active CN110853099B (zh) 2019-11-19 2019-11-19 一种基于双Kinect相机的人机交互方法及系统

Country Status (1)

Country Link
CN (1) CN110853099B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407031A (zh) * 2021-06-29 2021-09-17 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN115129049A (zh) * 2022-06-17 2022-09-30 广东工业大学 一种具有社交意识的移动式服务机器人路径规划系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105252532A (zh) * 2015-11-24 2016-01-20 山东大学 动作捕捉机器人协同柔性姿态控制的方法
CN106313072A (zh) * 2016-10-12 2017-01-11 南昌大学 一种基于Kinect的体感控制的类人型机器人
CN107030692A (zh) * 2017-03-28 2017-08-11 浙江大学 一种基于感知增强的机械手遥操作方法及系统
CN107908288A (zh) * 2017-11-30 2018-04-13 沈阳工业大学 一种面向人机交互的快速人体动作识别方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN110264563A (zh) * 2019-05-23 2019-09-20 武汉科技大学 一种基于orbslam2的八叉树建图方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105252532A (zh) * 2015-11-24 2016-01-20 山东大学 动作捕捉机器人协同柔性姿态控制的方法
CN106313072A (zh) * 2016-10-12 2017-01-11 南昌大学 一种基于Kinect的体感控制的类人型机器人
CN107030692A (zh) * 2017-03-28 2017-08-11 浙江大学 一种基于感知增强的机械手遥操作方法及系统
CN107908288A (zh) * 2017-11-30 2018-04-13 沈阳工业大学 一种面向人机交互的快速人体动作识别方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN110264563A (zh) * 2019-05-23 2019-09-20 武汉科技大学 一种基于orbslam2的八叉树建图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佟晓宇: "基于Kinect机器人的视觉SLAM方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *
张田田: "多Kinect人机交互模型研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407031A (zh) * 2021-06-29 2021-09-17 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN113407031B (zh) * 2021-06-29 2023-04-18 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN115129049A (zh) * 2022-06-17 2022-09-30 广东工业大学 一种具有社交意识的移动式服务机器人路径规划系统和方法

Also Published As

Publication number Publication date
CN110853099B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
Bakdi et al. Optimal path planning and execution for mobile robots using genetic algorithm and adaptive fuzzy-logic control
CN111243017B (zh) 基于3d视觉的智能机器人抓取方法
CN111275063B (zh) 一种基于3d视觉的机器人智能抓取控制方法及系统
CN106514667A (zh) 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统
Welke et al. Autonomous acquisition of visual multi-view object representations for object recognition on a humanoid robot
CN110853099B (zh) 一种基于双Kinect相机的人机交互方法及系统
Konda et al. Real time interaction with mobile robots using hand gestures
Martins et al. Extending maps with semantic and contextual object information for robot navigation: a learning-based framework using visual and depth cues
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
Leiva et al. Collision avoidance for indoor service robots through multimodal deep reinforcement learning
Shah et al. Development of a mobile robotic phenotyping system for growth chamber-based studies of genotype x environment interactions
Strub et al. Using haptics to extract object shape from rotational manipulations
Fantacci et al. Visual end-effector tracking using a 3D model-aided particle filter for humanoid robot platforms
Arai et al. Fast prediction of a worker’s reaching motion without a skeleton model (f-premo)
Militaru et al. Object handling in cluttered indoor environment with a mobile manipulator
Sileo et al. Vision-enhanced Peg-in-Hole for automotive body parts using semantic image segmentation and object detection
de Oliveira et al. 6D Grasping Based On Lateral Curvatures and Geometric Primitives
Arbeiter et al. Towards geometric mapping for semi-autonomous mobile robots
Somani et al. Scene perception and recognition in industrial environments for human-robot interaction
Takamido et al. Learning robot motion in a cluttered environment using unreliable human skeleton data collected by a single RGB camera
CN108010130B (zh) 一种面向图形的机器人操作方法
Crnokic et al. Artificial neural networks-based simulation of obstacle detection with a mobile robot in a virtual environment
Zieliński et al. 3d dense mapping with the graph of keyframe-based and view-dependent local maps
CN112230618A (zh) 一种从全局任务自动合成多机器人分布式控制器的方法
Zhou et al. Intelligent grasping with natural human-robot interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant