CN117340914B - 一种仿人机器人体感控制方法及控制系统 - Google Patents
一种仿人机器人体感控制方法及控制系统 Download PDFInfo
- Publication number
- CN117340914B CN117340914B CN202311382834.9A CN202311382834A CN117340914B CN 117340914 B CN117340914 B CN 117340914B CN 202311382834 A CN202311382834 A CN 202311382834A CN 117340914 B CN117340914 B CN 117340914B
- Authority
- CN
- China
- Prior art keywords
- human body
- humanoid robot
- module
- joint
- skeleton diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000003066 decision tree Methods 0.000 claims abstract description 9
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000003141 lower extremity Anatomy 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims 1
- 230000003238 somatosensory effect Effects 0.000 abstract description 17
- 238000010276 construction Methods 0.000 abstract description 2
- 230000033001 locomotion Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种仿人机器人体感控制方法及控制系统，包括仿人机器人体感控制方法和仿人机器人体感控制系统。控制方法包括：图像分割人体、分割关节部位、决策树分类、构建人体关节骨架图、识别距离摄像头最近的人体的骨架图、计算该骨架图每一关节上一时刻球坐标偏移量、计算角度变换、输出每一关节偏移量。控制系统包括：获取人体深度图模块、配置蓝牙串口模块、深度图图像分割模块，关节点识别模块、构建人体骨架图模块、识别距离摄像最近的人体模块、角度计算模块、角度输出模块、绘制并输出人体实时骨架图模块及下载指令模块。通过上述方法，可以对16‑18自由度仿人机器人进行无穿戴式体感控制，有效地提高了体感控制实时性与准确性。
Description
技术领域
本发明涉及仿人机器人控制技术领域，具体涉及一种仿人机器人体感控制方法及控制系统。
背景技术
仿人机器人体感控制是一种通过人体动作或肌肉活动控制机器人的技术。它通常通过使用传感器，如加速度计、陀螺仪和电动感应器等，来捕捉人体动作信息，然后通过控制算法将其映射到机器人的操作。目前，仿人机器人体感控制已经在许多方面得到了应用，如：在医疗领域体感控制可用于手术模拟和医疗培训，以帮助医生提高技能；在工业领域体感控制可用于工业机器人操作，以提高生产效率和安全性；在军事领域体感控制可用于军事训练模拟，以帮助军人提高作战技能。同时，随着科技的不断发展，体感控制技术也在不断提高。例如，越来越多的传感器和控制算法正在应用于体感控制，以提高其准确性和可靠性。此外，随着计算机硬件的提高，体感控制系统可以实现更快、更流畅的动作和更多复杂的操作。总的来说，仿人机器人体感控制是一个充满活力和潜力的领域，其发展前景非常广阔。
但同时，现有的仿人机器人体感控制仍存在许多问题。一方面，现有的体感控制方法多为穿戴式体感控制，需要依靠各种动作捕捉设备来对人体动作进行捕捉和识别。另一方面，仿人机器人体感控制系统的技术复杂度高，实现难度大。技术复杂度主要体现在仿人机器人体感控制系统需要处理大量的身体传感器数据，需要对数据进行复杂的处理和分析，如数据标准化、特征提取等，实现起来技术复杂度很高。仿人机器人体感控制系统需要使用机器学习模型来识别人体动作，并通过模型控制机器人的行动，机器学习模型的构建、训练和使用都需要高技术水平，实现难度较大。仿人机器人体感控制系统需要通过合适的控制策略，使机器人能够跟随人体的动作，这需要深入的控制理论知识和实现技巧，技术复杂度较高。因此有必要设计一种新的仿人机器人体感控制方法及控制系统来解决上述问题。
发明内容
本发明的目的提出的一种仿人机器人体感控制方法及控制系统，以解决上述现有技术中存在的至少一个技术问题。
为了实现上述目的，本发明采用了如下技术方案：
一种仿人机器人体感控制方法，包括以下步骤：
S1.深度图图像分割，将人体各个关节分割出来；
S2.关节点识别，精准识别出各个关节点，并对各个关节点进行绘制；
S3.构建人体骨架图，并在仿人机器人体感控制系统中绘制并输出；
S4.识别距离摄像最近的人体，并进行后续的数值计算；
S5.角度计算：计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，并进行角度变换的计算；
S6.角度输出：输出每一关节偏移量至仿人机器人体感控制系统。
优选地，所述仿人机器人体感控制方法的步骤S1具体步骤为：所述深度图图像分割，首先对通过仿人机器人体感控制系统获取到的深度图进行人体分割，然后对分割出来的人体深度图再次分割，将人体各个关节分割出来。
优选地，所述仿人机器人体感控制方法的步骤S2具体步骤为：所述关节点识别，首先通过决策树进行分类，精准识别出各个关节点，然后通过仿人机器人体感控制系统对各个关节点进行绘制。
优选地，所述仿人机器人体感控制方法的步骤S3具体步骤为：所述构建人体骨架图，首先通过将各个关节点按照人体结构进行连接，构建出人体骨架图，并通过仿人机器人体感控制系统进行绘制，然后以实时动图的形式进行输出。
优选地，所述仿人机器人体感控制方法的步骤S4具体步骤为：所述识别距离摄像头最近的人体，首先通过人体深度骨架图，对距离摄像头最近的人体骨架图进行识别，然后进行后续的数值计算。
优选地，所述仿人机器人体感控制方法的步骤S5具体步骤为：所述角度计算，计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，由于机器人实际关节角度的不同并对每一个偏移量进行球坐标偏移量到实际角度偏移量的角度变换计算。
一种仿人机器人体感控制系统，所述仿人机器人体感控制系统包括：
获取深度图模块，用于获取深度图，通过采用深度摄像机获取人体深度图，然后获取到的图像通过数据线传输到电脑，最终通过电脑运行的程序对深度图进行进一步处理；
配置蓝牙串口模块，用于通过蓝牙连接模块与仿人机器人的蓝牙模块进行通信；
深度图图像分割模块，用于将人体各个关节分割出来；
关节点识别模块，用于通过决策树进行分类，精准识别出各个关节点，并通过仿人机器人体感控制系统对各个关节点进行绘制；
构建人体骨架图模块，用于在仿人机器人体感控制系统中绘制并输出；
识别距离摄像最近的人体模块，用于进行后续的数值计算；
角度计算模块，用于计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，并进行角度变换的计算；
角度输出模块，用于输出每一关节偏移量至仿人机器人体感控制系统，如果是上肢的关节移动，则实时输出角度的变化值，如果是下肢的移动，则根据前后左右的不同输出对应动作组的序号；
绘制并输出人体实时骨架图模块；
下载指令模块：用于下载指令到仿人机器人。
优选地，所述绘制并输出人体实时骨架图模块为绘制并输出人体实时骨架图，首先通过仿人机器人体感控制系统对构建出的人体骨架图进行绘制，然后以实时动图的形式进行输出，最终将算法构建的人体骨架图通过可视化操作进行绘制，并在系统界面上呈现。
优选地，所述下载指令模块，下载指令是将每一时刻算法输出的角度偏移值通过仿人机器人控制板的协议进行封装，按规范下载到机器人控制板内并执行。其中，如果是上半身的动作，则根据协议直接控制相应舵机转到相应角度，如果是下半身的动作，则根据移动方向（前、后、左、右）的不同，根据协议执行相应动作组，并进行延时，以确保动作能顺利完成。
与现有技术相比，本发明提供的一种仿人机器人体感控制方法及控制系统，具备以下有益效果：
1、本发明减少距离限制，该仿人机器人体感控制方法及系统是一种无穿戴式体感控制，相较于其他体感控制方式，本发明不受设备线缆的限制，并极大地减少了距离对体感控制的限制。
2、本发明通过使用关节点识别方法，采用决策树对关节点进行分类，技术复杂度低，极大地降低了计算的复杂度，并提高了该方法的效率。
3、本发明设备适配度高，可以适配多种仿人形机器人，对于自由度少于17的仿人形机器人同样可以进行体感控制。
附图说明
图1为本发明仿人机器人体感控制方法及系统流程图；
图2为本发明仿人机器人体感控制方法流程图；
图3为本发明仿人机器人体感控制系统流程图；
图4为本发明仿人机器人体感控制系统所绘制骨架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅附图1-图4所示，本实施例提供一种仿人机器人体感控制方法包括以下步骤：
S1.深度图图像分割，将人体各个关节分割出来；
S2.关节点识别，精准识别出各个关节点，并对各个关节点进行绘制；
S3.构建人体骨架图，并在仿人机器人体感控制系统中绘制并输出；
S4.识别距离摄像最近的人体，并进行后续的数值计算；
S5.角度计算：计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，并进行角度变换的计算；
S6.角度输出：输出每一关节偏移量至仿人机器人体感控制系统。
本实施例例中，该仿人机器人体感控制方法及系统是一种无穿戴式体感控制，减少距离限制，相较于其他体感控制方式，本发明不受设备线缆的限制，并极大地减少了距离对体感控制的限制；通过使用关节点识别方法，采用决策树对关节点进行分类，技术复杂度低，极大地降低了计算的复杂度，并提高了该方法的效率；本发明设备适配度高，可以适配多种仿人形机器人，对于自由度少于17的仿人形机器人同样可以进行体感控制。
在一个具体的实施例中，如图1-图2所示,所述仿人机器人体感控制方法的步骤S1具体步骤为：所述深度图图像分割，首先对通过仿人机器人体感控制系统获取到的深度图进行人体分割，然后对分割出来的人体深度图再次分割，将人体各个关节分割出来。
在一个具体的实施例中，如图1-图2所示,所述仿人机器人体感控制方法的步骤S2具体步骤为：所述关节点识别，首先通过决策树进行分类，精准识别出各个关节点，然后通过仿人机器人体感控制系统对各个关节点进行绘制。
在一个具体的实施例中，如图1-图2所示,所述仿人机器人体感控制方法的步骤S3具体步骤为：所述构建人体骨架图，首先通过将各个关节点按照人体结构进行连接，构建出人体骨架图，并通过仿人机器人体感控制系统进行绘制，然后以实时动图的形式进行输出。
在一个具体的实施例中，如图1-图2所示,所述仿人机器人体感控制方法的步骤S4具体步骤为：所述识别距离摄像头最近的人体，首先通过人体深度骨架图，对距离摄像头最近的人体骨架图进行识别，然后进行后续的数值计算。
在一个具体的实施例中，如图1-图2所示,所述仿人机器人体感控制方法的步骤S5具体步骤为：所述角度计算，计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，由于机器人实际关节角度的不同并对每一个偏移量进行球坐标偏移量到实际角度偏移量的角度变换计算。
如图3所示，一种仿人机器人体感控制系统，包括：
获取深度图模块，用于获取深度图，通过采用深度摄像机获取人体深度图，然后获取到的图像通过数据线传输到电脑，最终通过电脑运行的程序对深度图进行进一步处理；
配置蓝牙串口模块，用于通过蓝牙连接模块与仿人机器人的蓝牙模块进行通信；
深度图图像分割模块，用于将人体各个关节分割出来；
关节点识别模块，用于通过决策树进行分类，精准识别出各个关节点，并通过仿人机器人体感控制系统对各个关节点进行绘制；
构建人体骨架图模块，用于在仿人机器人体感控制系统中绘制并输出；
识别距离摄像最近的人体模块，用于进行后续的数值计算；
角度计算模块，用于计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，并进行角度变换的计算；
角度输出模块，用于输出每一关节偏移量至仿人机器人体感控制系统如果是上肢的关节移动，则实时输出角度的变化值，如果是下肢的移动，则根据前后左右的不同输出对应动作组的序号；
绘制并输出人体实时骨架图模块；
下载指令模块：用于下载指令到仿人机器人。
本实施例中，获取深度图模块，是通过微软的Kinect2摄像头获取，获取到的图像通过数据线传输到电脑，通过电脑运行的程序对深度图进行进一步处理，用户也可以根据需要通过其他品牌型号的摄像头获取；配置蓝牙串口模块，配置蓝牙串口通过HC-08-USB蓝牙连接模块与仿人机器人的蓝牙模块进行通信，用户也可根据需要选择其他蓝夜连接模块。
在一个具体的实施例中，如图1-图3所示,所述绘制并输出人体实时骨架图模块为绘制并输出人体实时骨架图，首先通过仿人机器人体感控制系统对构建出的人体骨架图进行绘制，然后以实时动图的形式进行输出，最终将算法构建的人体骨架图通过可视化操作进行绘制，并在系统界面上呈现。
在一个具体的实施例中，如图3-图4所示,所述下载指令模块，下载指令是将每一时刻算法输出的角度偏移值通过仿人机器人控制板的协议进行封装，按规范下载到机器人控制板内并执行。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种仿人机器人体感控制方法，其特征在于，
包括以下步骤：
S1.深度图图像分割，将人体各个关节分割出来；
S2.关节点识别，精准识别出各个关节点，并对各个关节点进行绘制；
S3.构建人体骨架图，并在仿人机器人体感控制系统中绘制并输出；
S4.识别距离摄像最近的人体，并进行后续的数值计算；
S5.角度计算：计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，并进行角度变换的计算；
S6.角度输出：输出每一关节偏移量至仿人机器人体感控制系统；
所述仿人机器人体感控制方法的步骤S1具体步骤为：所述深度图图像分割，首先对通过仿人机器人体感控制系统获取到的深度图进行人体分割，然后对分割出来的人体深度图再次分割，将人体各个关节分割出来；
所述仿人机器人体感控制方法的步骤S2具体步骤为：所述关节点识别，首先通过决策树进行分类，精准识别出各个关节点，然后通过仿人机器人体感控制系统对各个关节点进行绘制；
所述仿人机器人体感控制方法的步骤S3具体步骤为：所述构建人体骨架图，首先通过将各个关节点按照人体结构进行连接，构建出人体骨架图，并通过仿人机器人体感控制系统进行绘制，然后以实时动图的形式进行输出；
所述仿人机器人体感控制方法的步骤S4具体步骤为：所述识别距离摄像最近的人体，首先通过人体深度骨架图，对距离摄像头最近的人体骨架图进行识别，然后进行后续的数值计算；
所述仿人机器人体感控制方法的步骤S5具体步骤为：所述角度计算，计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，由于机器人实际关节角度的不同并对每一个偏移量进行球坐标偏移量到实际角度偏移量的角度变换计算。
2.一种仿人机器人体感控制系统，其特征在于，
采用了如权利要求1所述的仿人机器人体感控制方法，所述仿人机器人体感控制系统包括：
获取深度图模块，用于获取深度图，通过采用深度摄像机获取人体深度图，然后获取到的图像通过数据线传输到电脑，最终通过电脑运行的程序对深度图进行进一步处理；
配置蓝牙串口模块，用于通过蓝牙连接模块与仿人机器人的蓝牙模块进行通信；
深度图图像分割模块，用于将人体各个关节分割出来；
关节点识别模块，用于通过决策树进行分类，精准识别出各个关节点，并通过仿人机器人体感控制系统对各个关节点进行绘制；
构建人体骨架图模块，用于在仿人机器人体感控制系统中绘制并输出；
识别距离摄像最近的人体模块，用于进行后续的数值计算；
角度计算模块，用于计算距离摄像头最近的人体骨架图中每一关节上一时刻内球坐标的偏移量，并进行角度变换的计算；
角度输出模块，用于输出每一关节偏移量至仿人机器人体感控制系统，如果是上肢的关节移动，则实时输出角度的变化值，如果是下肢的移动，则根据前后左右的不同输出对应动作组的序号；
绘制并输出人体实时骨架图模块；
下载指令模块：用于下载指令到仿人机器人；
所述绘制并输出人体实时骨架图模块为绘制并输出人体实时骨架图，首先通过仿人机器人体感控制系统对构建出的人体骨架图进行绘制，然后以实时动图的形式进行输出，最终将算法构建的人体骨架图通过可视化操作进行绘制，并在系统界面上呈现；
所述下载指令模块，下载指令是将每一时刻算法输出的角度偏移值或者需执行的动作组代码通过仿人机器人控制板的协议进行封装，按规范下载到机器人控制板内并执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311382834.9A CN117340914B (zh) | 2023-10-24 | 2023-10-24 | 一种仿人机器人体感控制方法及控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311382834.9A CN117340914B (zh) | 2023-10-24 | 2023-10-24 | 一种仿人机器人体感控制方法及控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117340914A CN117340914A (zh) | 2024-01-05 |
| CN117340914B true CN117340914B (zh) | 2024-05-14 |
Family
ID=89362765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311382834.9A Active CN117340914B (zh) | 2023-10-24 | 2023-10-24 | 一种仿人机器人体感控制方法及控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117340914B (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103386683A (zh) * | 2013-07-31 | 2013-11-13 | 哈尔滨工程大学 | 一种基于Kinect的体感控制机械臂方法 |
| CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
| CN105252532A (zh) * | 2015-11-24 | 2016-01-20 | 山东大学 | 动作捕捉机器人协同柔性姿态控制的方法 |
| CN205195880U (zh) * | 2015-11-25 | 2016-04-27 | 联想(北京)有限公司 | 观看设备及观看系统 |
| CN106313049A (zh) * | 2016-10-08 | 2017-01-11 | 华中科技大学 | 一种仿人机械臂体感控制系统及控制方法 |
| CN106502418A (zh) * | 2016-11-09 | 2017-03-15 | 南京阿凡达机器人科技有限公司 | 一种基于单目手势识别的视觉跟随方法 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互系统及其控制方法 |
| CN106981075A (zh) * | 2017-05-31 | 2017-07-25 | 江西制造职业技术学院 | 仿人运动拟态的人体骨骼点参数采集装置及其识别方法 |
| CN107214679A (zh) * | 2017-07-17 | 2017-09-29 | 武汉大学 | 基于体感传感器的机械臂人机交互系统 |
| CN107813310A (zh) * | 2017-11-22 | 2018-03-20 | 浙江优迈德智能装备有限公司 | 一种基于双目视觉多手势机器人控制方法 |
| CN109108970A (zh) * | 2018-08-22 | 2019-01-01 | 南通大学 | 一种基于骨骼节点信息的交互式机械臂控制方法 |
| CN109176512A (zh) * | 2018-08-31 | 2019-01-11 | 南昌与德通讯技术有限公司 | 一种体感控制机器人的方法、机器人及控制装置 |
| CN109407709A (zh) * | 2018-09-25 | 2019-03-01 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统 |
| CN110246127A (zh) * | 2019-06-17 | 2019-09-17 | 南京工程学院 | 基于深度相机的工件识别与定位方法和系统、分拣系统 |
| CN110427100A (zh) * | 2019-07-03 | 2019-11-08 | 武汉子序科技股份有限公司 | 一种基于深度摄像头的动作姿态捕捉系统 |
| WO2020107833A1 (zh) * | 2018-11-26 | 2020-06-04 | 平安科技（深圳）有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
| CN111274909A (zh) * | 2020-01-16 | 2020-06-12 | 重庆邮电大学 | 一种基于深度学习的人体点云骨架提取方法 |
| CN112045672A (zh) * | 2020-04-13 | 2020-12-08 | 东莞理工学院 | 一种智元素体感机器人系统及操作方法 |
| CN112936282A (zh) * | 2021-03-08 | 2021-06-11 | 常州刘国钧高等职业技术学校 | 一种提高工业机器人体感控制精确度的方法及系统 |
| CN113305830A (zh) * | 2021-04-28 | 2021-08-27 | 吉林大学 | 一种基于人体姿态控制的仿人机器人动作系统及控制方法 |
| CN116330259A (zh) * | 2021-12-22 | 2023-06-27 | 山东新松工业软件研究院股份有限公司 | 一种基于决策树的协作机器人碰撞检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9573277B2 (en) * | 2013-04-15 | 2017-02-21 | Alan Rosen | Intelligent visual humanoid robot and computer vision system programmed to perform visual artificial intelligence processes |
| CN106250867B (zh) * | 2016-08-12 | 2017-11-14 | 南京华捷艾米软件科技有限公司 | 一种基于深度数据的人体骨骼跟踪系统的实现方法 |
| KR20190095188A (ko) * | 2019-07-25 | 2019-08-14 | 엘지전자 주식회사 | 로봇 및 그 제어방법 |
| US20210252698A1 (en) * | 2020-02-14 | 2021-08-19 | Nvidia Corporation | Robotic control using deep learning |
-
2023
- 2023-10-24 CN CN202311382834.9A patent/CN117340914B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103386683A (zh) * | 2013-07-31 | 2013-11-13 | 哈尔滨工程大学 | 一种基于Kinect的体感控制机械臂方法 |
| CN103399637A (zh) * | 2013-07-31 | 2013-11-20 | 西北师范大学 | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 |
| CN105252532A (zh) * | 2015-11-24 | 2016-01-20 | 山东大学 | 动作捕捉机器人协同柔性姿态控制的方法 |
| CN205195880U (zh) * | 2015-11-25 | 2016-04-27 | 联想(北京)有限公司 | 观看设备及观看系统 |
| CN106313049A (zh) * | 2016-10-08 | 2017-01-11 | 华中科技大学 | 一种仿人机械臂体感控制系统及控制方法 |
| CN106502418A (zh) * | 2016-11-09 | 2017-03-15 | 南京阿凡达机器人科技有限公司 | 一种基于单目手势识别的视觉跟随方法 |
| CN106569613A (zh) * | 2016-11-14 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种多模态人机交互系统及其控制方法 |
| CN106981075A (zh) * | 2017-05-31 | 2017-07-25 | 江西制造职业技术学院 | 仿人运动拟态的人体骨骼点参数采集装置及其识别方法 |
| CN107214679A (zh) * | 2017-07-17 | 2017-09-29 | 武汉大学 | 基于体感传感器的机械臂人机交互系统 |
| CN107813310A (zh) * | 2017-11-22 | 2018-03-20 | 浙江优迈德智能装备有限公司 | 一种基于双目视觉多手势机器人控制方法 |
| CN109108970A (zh) * | 2018-08-22 | 2019-01-01 | 南通大学 | 一种基于骨骼节点信息的交互式机械臂控制方法 |
| CN109176512A (zh) * | 2018-08-31 | 2019-01-11 | 南昌与德通讯技术有限公司 | 一种体感控制机器人的方法、机器人及控制装置 |
| CN109407709A (zh) * | 2018-09-25 | 2019-03-01 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统 |
| WO2020107833A1 (zh) * | 2018-11-26 | 2020-06-04 | 平安科技（深圳）有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
| CN110246127A (zh) * | 2019-06-17 | 2019-09-17 | 南京工程学院 | 基于深度相机的工件识别与定位方法和系统、分拣系统 |
| CN110427100A (zh) * | 2019-07-03 | 2019-11-08 | 武汉子序科技股份有限公司 | 一种基于深度摄像头的动作姿态捕捉系统 |
| CN111274909A (zh) * | 2020-01-16 | 2020-06-12 | 重庆邮电大学 | 一种基于深度学习的人体点云骨架提取方法 |
| CN112045672A (zh) * | 2020-04-13 | 2020-12-08 | 东莞理工学院 | 一种智元素体感机器人系统及操作方法 |
| CN112936282A (zh) * | 2021-03-08 | 2021-06-11 | 常州刘国钧高等职业技术学校 | 一种提高工业机器人体感控制精确度的方法及系统 |
| CN113305830A (zh) * | 2021-04-28 | 2021-08-27 | 吉林大学 | 一种基于人体姿态控制的仿人机器人动作系统及控制方法 |
| CN116330259A (zh) * | 2021-12-22 | 2023-06-27 | 山东新松工业软件研究院股份有限公司 | 一种基于决策树的协作机器人碰撞检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 2D仿真机器鱼生存挑战关键技术策略;赵国冬;兵工自动化;20180930;第37卷(第09期);全文 * |
| 基于深度学习的体感交互动作识别研究;易思恒;中国电子期刊网硕士优秀毕业论文 信息科技辑;20230115;第2023年卷(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117340914A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7273880B2 (ja) | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 | |
| CN108762495B (zh) | 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统 | |
| CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
| US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
| CN107833271B (zh) | 一种基于Kinect的骨骼重定向方法及装置 | |
| US9008442B2 (en) | Information processing apparatus, information processing method, and computer program | |
| CN105252532A (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
| WO2011065035A1 (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
| CN109243575B (zh) | 一种基于移动交互和增强现实的虚拟针灸方法及系统 | |
| CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
| CN103112007A (zh) | 基于混合传感器的人机交互方法 | |
| CN106873787A (zh) | 一种用于虚拟手术仿真教学的手势交互系统及方法 | |
| CN110728739A (zh) | 一种基于视频流的虚拟人控制与交互方法 | |
| CN108044625B (zh) | 一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法 | |
| JP7067816B1 (ja) | 画像分割及び表面筋電図に基づくロボットの教示システム及び方法 | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| CN113829343A (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| CN111596767A (zh) | 一种基于虚拟现实的姿态捕获方法和装置 | |
| WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| CN113505694A (zh) | 一种基于视线追踪的人机交互方法、装置及计算机设备 | |
| Zheng et al. | An Object Recognition Grasping Approach Using Proximal Policy Optimization With YOLOv5 | |
| CN117340914B (zh) | 一种仿人机器人体感控制方法及控制系统 | |
| CN112936282B (zh) | 一种提高工业机器人体感控制精确度的方法及系统 | |
| CN114756130A (zh) | 一种手部虚实交互系统 | |
| CN109934155B (zh) | 一种基于深度视觉的协作机器人手势识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |