CN113967910B - 一种基于增强现实和数字孪生的人机协同控制方法及系统 - Google Patents
一种基于增强现实和数字孪生的人机协同控制方法及系统 Download PDFInfo
- Publication number
- CN113967910B CN113967910B CN202111107194.1A CN202111107194A CN113967910B CN 113967910 B CN113967910 B CN 113967910B CN 202111107194 A CN202111107194 A CN 202111107194A CN 113967910 B CN113967910 B CN 113967910B
- Authority
- CN
- China
- Prior art keywords
- data
- robot
- determining
- virtual robot
- motion data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于增强现实和数字孪生的人机协同控制方法及系统，所述方法通过确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。本发明通过虚拟机器人来控制作业机器人，可以通过观察虚拟机器人的运动预先排除一些可能的作业错误，使得作业机器人在实际作业的过程中减少犯错的可能性。解决了现有的机器人作业方式作业错误率高，耗费大量的作业成本的问题。
Description
技术领域
本发明涉及人机协同智能制造领域，尤其涉及的是一种基于增强现实和数字孪生的人机协同控制方法及系统。
背景技术
复杂产品和客制化产品在当前制造生产模式中占有较大比例，由于产品结构的复杂性和作业空间的狭小性，极大制约了现有装配的自动化和智能化水平，因此手工装配仍然是现有的主流装配方式之一。然而，由于有些产品本身具有一定的危险性，传统手工作业难以有效地保障作业人员的人身安全，因此便应运而生了机器人作业的作业方式。但是由于现有的机器人作业通常是设定好程序后让机器人直接作业，一旦作业错误，则有可能耗费大量的作业成本。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于增强现实和数字孪生的人机协同控制方法及系统，旨在解决现有的机器人作业方式作业错误率高，耗费大量的作业成本的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于增强现实和数字孪生的人机协同控制方法，其中，所述方法包括：
确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；
获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；
根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。
在一种实施方式中，所述基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系，包括：
获取所述作业机器人对应的第一初始姿态数据；
获取所述虚拟机器人对应的第二初始姿态数据；
根据所述第一初始姿态数据和所述第二初始姿态数据确定位移转换矩阵，将所述位移转换矩阵作为所述变换关系。
在一种实施方式中，所述获取作业动作数据，包括：
采集作业人员的动作数据，得到所述作业动作数据。
在一种实施方式中，所述根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据，包括：
根据所述作业动作数据确定所述虚拟机器人对应的目标姿态数据；
根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据；
根据所述第一关节运动数据确定所述模拟运动数据。
在一种实施方式中，所述根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据，包括：
将所述第二初始姿态数据和所述目标姿态数据输入人体姿态识别模型；
通过所述人体姿态识别模型基于所述第二初始姿态数据和所述目标姿态数据输出所述第一关节运动数据。
在一种实施方式中，所述通过所述人体姿态识别模型基于所述第二初始姿态数据和所述目标姿态数据输出所述第一关节运动数据，包括：
通过所述人体姿态识别模型确定所述第二初始姿态数据对应的第一关节点位置信息、所述目标姿态数据对应的第二关节点位置信息以及所述第一关节点位置信息和所述第二关节点位置信息之间的映射关系，并根据所述第一关节点位置信息、所述第二关节点位置信息以及所述映射关系输出所述第一关节运动数据。
在一种实施方式中，所述根据所述第一关节运动数据确定所述模拟运动数据，包括：
确定所述第一关节运动数据对应的执行精度；
当所述执行精度达到预设的精度阈值时，将所述第一关节运动数据作为所述模拟运动数据。
在一种实施方式中，所述根据所述模拟运动数据和所述变换关系确定目标运动数据，包括：
根据所述第一关节运动数据和所述位移转换矩阵，确定所述作业机器人对应的第二关节运动数据；
将所述第二关节运动数据作为所述目标运动数据。
第二方面，本发明实施例还提供一种基于增强现实和数字孪生的人机协同控制系统，其中，所述系统包括：
配对模块，用于确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；
模拟模块，用于获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；
作业模块，用于根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。
第三方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的基于增强现实和数字孪生的人机协同控制方法的步骤。
本发明的有益效果：本发明实施例通过确定作业机器人、与所述作业机器人对应的虚拟机器，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。由于本发明是通过虚拟机器人来控制作业机器人，因此可以通过观察虚拟机器人的运动预先排除一些可能的作业错误，使得作业机器人在实际作业的过程中减少犯错的可能性。解决了现有的机器人作业方式作业错误率高，耗费大量的作业成本的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于增强现实和数字孪生的人机协同控制方法的流程示意图。
图2是本发明实施例提供的基于增强现实和数字孪生的人机协同控制方法的执行回路示意图。
图3是本发明实施例提供的人机协同的示意图。
图4是本发明实施例提供的基于增强现实和数字孪生的人机协同控制系统中各节点之间的协同通讯示意图。
图5是本发明实施例提供的确定目标运动数据的流程示意图。
图6是本发明实施例提供的模型的原理图。
图7是本发明实施例提供的基于增强现实和数字孪生的人机协同控制系统的模块示意图。
图8是本发明实施例提供的终端的原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
复杂产品和客制化产品在当前制造生产模式中占有较大比例，由于产品结构的复杂性和作业空间的狭小性，极大制约了现有装配的自动化和智能化水平，因此手工装配仍然是现有的主流装配方式之一。然而，由于有些产品本身具有一定的危险性，传统手工作业难以有效地保障作业人员的人身安全，因此便应运而生了机器人作业的作业方式。但是由于现有的机器人作业通常是设定好程序后让机器人直接作业，一旦作业错误，则有可能耗费大量的作业成本。
针对现有技术的上述缺陷，本发明提供一种基于增强现实和数字孪生的人机协同控制方法，所述方法通过确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。由于本发明是通过虚拟机器人来控制作业机器人，因此可以通过观察虚拟机器人的运动预先排除一些可能的作业错误，使得作业机器人在实际作业的过程中减少犯错的可能性。解决了现有的机器人作业方式作业错误率高，耗费大量的作业成本的问题。
如图1所示，所述方法包括如下步骤：
步骤S100、确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系。
具体地，本实施例中会预先给需要进行作业的作业机器人配对一个虚拟机器人。可以理解的是，作业机器人即为实际作业的机器人，虚拟机器人则是在终端上呈现的机器人。确定当前需要进行作业的作业机器人以及其对应的虚拟机器人之后，需要计算出两者之间的变换关系，该变换关系可以反映虚拟机器人的运动状态与作业机器人的运动状态之间的映射关系，因此后续可以先在终端上根据作业任务模拟出虚拟机器人的运动状态，进而根据该变换关系和模拟出的虚拟机器人的运动状态来操控作业机器人的运动。
在一种实现方式中，所述步骤S100具体包括如下步骤：
步骤S101、获取所述作业机器人对应的第一初始姿态数据；
步骤S102、获取所述虚拟机器人对应的第二初始姿态数据；
步骤S103、根据所述第一初始姿态数据和所述第二初始姿态数据确定位移转换矩阵，将所述位移转换矩阵作为所述变换关系。
在实际应用中，作业机器人通常配备有一个控制器，启动该控制器后即表示该机器人为待作业的机器人，则获取其当前的姿态数据，得到第一初始姿态数据。同时，在终端上建立与作业机器人配对的、基于数字孪生的虚拟机器人，建立后获取虚拟机器人当前的姿态数据，得到第二初始姿态数据。然后确定第一初始姿态数据和第二初始姿态数据之间的映射关系，即得到作业机器人与虚拟机器人之间的变换关系，基于该变换关系可以将虚拟机器人的姿态和作业机器人的姿态进行同步，从而通过虚拟机器人操控作业机器人在实际作业车间中进行作业。在一种实现方式中，生成虚拟机器人的终端可以为微软HoloLensAR眼镜。
举例说明，假设作业机器人为工业机械臂，虚拟机器人为微软HoloLens AR眼镜上建立的基于数字孪生的虚拟机械臂。启动工业机械臂的控制器，并生成工业机器臂的第一初始化姿态信息；启动微软HoloLens AR眼镜，并生成虚拟机械臂的第二初始化姿态信息。根据第一初始化姿态信息和第二初始化姿态信息计算出工业机械臂和虚拟机械臂两者之间的位移转换矩阵。
在一种实现方式中，如图2所示，当确定出作业机器人与虚拟机器人之间的变换关系后，还需要根据该变换关系对两者进行姿态配准。并保持作业机器人与虚拟机器人之间的通讯状态，同时监测两者在云边设备上的协同状态。并判断通讯状态的实时性和协同状态的精度是否达到要求，若没有达到要求，则重新进行姿态配准。
如图1所示，所述方法还包括如下步骤：
步骤S200、获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据。
具体地，作业动作数据可以反映期望作业机器人做出的作业动作。由于直接根据作业动作数据来控制作业机器人，作业机器人有可能出现作业错误，从而耗费作业成本。因此本实施例先基于作业动作数据控制虚拟机器人进行运动，得到模拟运动数据。作业人员可以基于虚拟机器人的模拟运动数据感知到作业机器人在实际作业时的执行状态，进而预判出可能的作业错误，减少作业成本的浪费。换言之，虚拟机器人的存在相当于在控制作业机器人的环节中添加了一道放错机制。
在一种实现方式中，所述获取作业动作数据，具体包括如下步骤：
步骤S201、采集作业人员的动作数据，得到所述作业动作数据。
具体地，作业人员的动作数据可以反映作业人员的肢体动作和作业方式，因此本实施例中的作业动作数据可以通过采集作业人员的动作数据得到，例如可以在作业人员的作业车间内设置摄像头，通过摄像头实时采集作业人员的动作数据。在实际应用中，当遇到一个复杂或者新的作业任务时，作业人员可以基于该作业任务做出一个动作，通过摄像头即可采集到得到作业动作数据。然后基于该作业动作数据在终端上控制虚拟机器人运动，从而在虚实融合的环境中直观地预测出来作业机器人的作业情况。
在一种实现方式中，所述根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据，具体包括如下步骤：
步骤S202、根据所述作业动作数据确定所述虚拟机器人对应的目标姿态数据；
步骤S203、根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据；
步骤S204、根据所述第一关节运动数据确定所述模拟运动数据。
具体地，由于作业动作数据可以反映期望作业机器人执行的作业姿态，而虚拟机器人和作业机器人之间又是数字孪生的关系，因此基于该作业动作数据可以先确定虚拟机器人应该在终端上呈现的姿态，即得到目标姿态数据。由于作业动作的执行过程主要是依靠机器人各个关节的运动实现，因此本实施例需要基于该目标姿态数据确定虚拟机器人各个关节的运动状态，即得到第一关节运动数据。通过第一关节运动数据可以使得虚拟机器人模拟出作业人员的动作，从而得到模拟运动数据。
在一种实现方式中，所述步骤S203具体包括如下步骤：
步骤S2031、将所述第二初始姿态数据和所述目标姿态数据输入人体姿态识别模型；
步骤S2032、通过所述人体姿态识别模型基于所述第二初始姿态数据和所述目标姿态数据输出所述第一关节运动数据。
具体地，由于第二初始姿态数据可以反映虚拟机器人的初始姿态，目标姿态数据可以反映虚拟机器人期望达到的姿态，因此本实施例可以通过第二初始姿态数据和目标姿态数据规划出虚拟机器人各个关节的运动状态，得到第一关节运动数据。为了实现第二初始姿态数据和目标姿态数据，得到第一关节运动数据，本实施例预先训练了一个人体姿态识别模型，由于该人体姿态识别模型通过了大量样本数据的学习，因此将第二初始姿态数据和目标姿态数据输入人体姿态识别模型以后，人体姿态识别模型就会基于输入的第二初始姿态数据和目标姿态数据自动计算出虚拟机器人各个关节的运动状态，并输出第一关节运动数据。根据第一关节运动数据控制虚拟机器人运动就可以使其从初始姿态转变为目标姿态，从而在终端上模拟出作业人员的动作。
在一种实现方式中，所述步骤S2032具体包括如下步骤：
步骤S20321、通过所述人体姿态识别模型确定所述第二初始姿态数据对应的第一关节点位置信息、所述目标姿态数据对应的第二关节点位置信息以及所述第一关节点位置信息和所述第二关节点位置信息之间的映射关系，并根据所述第一关节点位置信息、所述第二关节点位置信息以及所述映射关系输出所述第一关节运动数据。
具体地，将第二初始姿态数据和目标姿态数据输入人体姿态识别模型以后，人体姿态识别模型会首先基于第二初始姿态数据确定虚拟机器人关键的各个关节点的位置，得到第一关节点位置信息，同时基于目标姿态数据确定作业人员关键的各个关节点的位置，得到第二关节点位置信息。然后根据第一关节点位置信息和第二关节点位置信息确定虚拟机器人的各个关节点和作业人员的各个关节点的位置的映射关系。最后人体姿态识别模型就可以基于第一关节点位置信息、第二关节点位置信息以及映射关系，自动计算出虚拟机器人从初始姿态转变为目标姿态时各个关节的运动状态，从而得到第一关节运动数据。
在一种实现方式中，所述人体姿态识别模型包括卷积神经网络层，第一全连接神经网络层以及第二全连接神经网络层。
具体地，如图6所示，所述卷积神经网络层可以为2D卷积神经网络层，用于根据所述第二初始姿态数据输出第一姿态特征图，并根据所述目标姿态数据输出第二姿态特征图；所述第一全连接神经网络层用于根据所述第一姿态特征图输出所述第一关节点位置信息，并根据所述第二姿态特征图输出所述第二关节点位置信息；所述第二全连接神经网络层用于确定所述第一关节点位置信息和所述第二关节点位置信息之间的映射关系，并基于所述第一关节点位置信息和所述第二关节点位置信息以及所述映射关系输出所述第一关节运动数据。
在一种实现方式中，所述步骤S204具体包括如下步骤：
步骤S2041、确定所述第一关节运动数据对应的执行精度；
步骤S2042、当所述执行精度达到预设的精度阈值时，将所述第一关节运动数据作为所述模拟运动数据。
具体地，为了提高作业机器人作业的准确性，本实施例在确定出第一关节运动数据以后，需要对第一关节运动数据的执行精度进行检验。执行精度可以反映虚拟机器人模拟出的动作与作业人员的作业动作之间的差距。执行精度越高，表示两者之间的差距越小；执行精度越低，表示两者之间的差距越大。为了判断虚拟机器人模拟出的动作是否合格，本实施例预先设定了一个精度阈值，当检测出的执行精度达到该精度阈值时，表示虚拟机器人模拟出的动作与作业人员的作业动作之间的差距可以接受，则将第一关节运动数据作为模拟运动数据，可以用来控制作业机器人在作业车间进行作业。
在一种实现方式中，当所述执行精度未达到预设的精度阈值时，重新计算所述第一关节运动数据，直至所述执行精度达到预设的精度阈值。
如图1所示，所述方法还包括如下步骤：
步骤S300、根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。
具体地，由于变换关系可以反映虚拟机器人与作业机器人各自初始姿态之间的映射关系，因此当确定虚拟机器人的模拟运动数据以后，根据该变换关系就可以确定作业机器人的目标运动数据，通过将该目标运动数据传递给作业机器人之后，就可以同步虚拟机器人的姿态和作业机器人的姿态，从而操控作业机器人在实际作业车间中进行作业。
在一种实现方式中，所述步骤S300具体包括如下步骤：
步骤S301、根据所述第一关节运动数据和所述位移转换矩阵，确定所述作业机器人对应的第二关节运动数据；
步骤S302、将所述第二关节运动数据作为所述目标运动数据。
具体地，本实施例中采用的是位移转换矩阵来表示虚拟机器人与作业机器人各自初始姿态之间的映射关系。当确定虚拟机器人的关节运动状态，即确定第一关节运动数据后，通过该位移转换矩阵可以将第一关节运动数据变换为作业机器人对应的关节运动状态，即第二关节运动数据。由于作业机器人的作业过程主要依靠其关节的运动来实现，因此直接将第二关节运动数据作为操控作业机器人的目标运动数据，以此使得作业机器人与虚拟机器人的姿态同步，进而使得作业机器人执行期望的作业动作。
在一种实现方式中，如图5所示，所述第一关节运动数据包括虚拟机器人各个关节的运动路径和速度值，所述第二关节运动数据包括作业机器人各个关节的运动路径和速度值。其中，虚拟机器人/作业机器人包括但不限于基座关节、肩部关节、肘部关节、腕部1关节、腕部2关节和腕部3关节。
基于上述实施例，本发明还提供了一种基于增强现实和数字孪生的人机协同控制系统，如图7所示，所述系统包括：
配对模块01，用于确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；
模拟模块02，用于获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；
作业模块03，用于根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。
在一种实现方式中，如图3或者图4所示，所述系统还包括多个机器人边缘节点和操作员边缘节点，其中，机器人边缘节点包括虚拟机器人终端和作业机器人终端，机器人节点间进行信息共享，操作员边缘节点面向作业人员，通过信息双向传递层进行协同，操作员节点可以切换模式至检测边缘节点，面向访问者提供信息，操作员边缘节点通过云边设备向机器人边缘节点发送控制指令，机器人边缘节点向操作员边缘节点馈送状态信息。
在一种实现方式中，作业人员还可以通过增强现实设备，例如AR设备，在工业物联网环境下进行多个作业机器人的协同控制，同时，作业机器人在执行实际工业任务时的状态量还可以通过增强现实设备上的虚拟机器人姿态，直观地、实时地反馈给作业人员。
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图8所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于增强现实和数字孪生的人机协同控制方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图8中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一种实现方式中，所述终端的存储器中存储有一个或者一个以上的程序，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行基于增强现实和数字孪生的人机协同控制方法的指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于增强现实和数字孪生的人机协同控制方法及系统，所述方法通过确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动。由于本发明是通过虚拟机器人来控制作业机器人，因此可以通过观察虚拟机器人的运动预先排除一些可能的作业错误，使得作业机器人在实际作业的过程中减少犯错的可能性。解决了现有的机器人作业方式作业错误率高，耗费大量的作业成本的问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于增强现实和数字孪生的人机协同控制方法，其特征在于，所述方法包括：
确定作业机器人、与所述作业机器人对应的虚拟机器人,并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；
获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；
根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动；
所述基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系，包括：
获取所述作业机器人对应的第一初始姿态数据；
获取所述虚拟机器人对应的第二初始姿态数据；
根据所述第一初始姿态数据和所述第二初始姿态数据确定位移转换矩阵，将所述位移转换矩阵作为所述变换关系；
所述根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据，包括：
根据所述作业动作数据确定所述虚拟机器人对应的目标姿态数据；
根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据；
根据所述第一关节运动数据确定所述模拟运动数据；
所述根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据，包括：
将所述第二初始姿态数据和所述目标姿态数据输入人体姿态识别模型；
通过所述人体姿态识别模型基于所述第二初始姿态数据和所述目标姿态数据输出所述第一关节运动数据。
2.根据权利要求1所述的基于增强现实和数字孪生的人机协同控制方法，其特征在于，所述获取作业动作数据，包括：
采集作业人员的动作数据，得到所述作业动作数据。
3.根据权利要求1所述的基于增强现实和数字孪生的人机协同控制方法，其特征在于，所述通过所述人体姿态识别模型基于所述第二初始姿态数据和所述目标姿态数据输出所述第一关节运动数据，包括：
通过所述人体姿态识别模型确定所述第二初始姿态数据对应的第一关节点位置信息、所述目标姿态数据对应的第二关节点位置信息以及所述第一关节点位置信息和所述第二关节点位置信息之间的映射关系，并根据所述第一关节点位置信息、所述第二关节点位置信息以及所述映射关系输出所述第一关节运动数据。
4.根据权利要求1所述的基于增强现实和数字孪生的人机协同控制方法，其特征在于，所述根据所述第一关节运动数据确定所述模拟运动数据，包括：
确定所述第一关节运动数据对应的执行精度；
当所述执行精度达到预设的精度阈值时，将所述第一关节运动数据作为所述模拟运动数据。
5.根据权利要求1所述的基于增强现实和数字孪生的人机协同控制方法，其特征在于，所述根据所述模拟运动数据和所述变换关系确定目标运动数据，包括：
根据所述第一关节运动数据和所述位移转换矩阵，确定所述作业机器人对应的第二关节运动数据；
将所述第二关节运动数据作为所述目标运动数据。
6.一种基于增强现实和数字孪生的人机协同控制系统，其特征在于，所述系统包括：
配对模块，用于确定作业机器人、与所述作业机器人对应的虚拟机器人，并基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系；
模拟模块，用于获取作业动作数据，根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据；
作业模块，用于根据所述模拟运动数据和所述变换关系确定目标运动数据，根据所述目标运动数据控制所述作业机器人进行运动；
所述基于所述作业机器人与所述虚拟机器人确定所述作业机器人与所述虚拟机器人之间的变换关系，包括：
获取所述作业机器人对应的第一初始姿态数据；
获取所述虚拟机器人对应的第二初始姿态数据；
根据所述第一初始姿态数据和所述第二初始姿态数据确定位移转换矩阵，将所述位移转换矩阵作为所述变换关系；
所述根据所述作业动作数据确定所述虚拟机器人对应的模拟运动数据，包括：
根据所述作业动作数据确定所述虚拟机器人对应的目标姿态数据；
根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据；
根据所述第一关节运动数据确定所述模拟运动数据；
所述根据所述第二初始姿态数据和所述目标姿态数据，确定所述虚拟机器人对应的第一关节运动数据，包括：
将所述第二初始姿态数据和所述目标姿态数据输入人体姿态识别模型；
通过所述人体姿态识别模型基于所述第二初始姿态数据和所述目标姿态数据输出所述第一关节运动数据。
7.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述权利要求1-5任一所述的基于增强现实和数字孪生的人机协同控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107194.1A CN113967910B (zh) | 2021-09-22 | 2021-09-22 | 一种基于增强现实和数字孪生的人机协同控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107194.1A CN113967910B (zh) | 2021-09-22 | 2021-09-22 | 一种基于增强现实和数字孪生的人机协同控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113967910A CN113967910A (zh) | 2022-01-25 |
| CN113967910B true CN113967910B (zh) | 2023-03-24 |
Family
ID=79586704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111107194.1A Active CN113967910B (zh) | 2021-09-22 | 2021-09-22 | 一种基于增强现实和数字孪生的人机协同控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113967910B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114559433B (zh) * | 2022-03-17 | 2024-01-12 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、机器人及云端服务器 |
| CN118493407A (zh) * | 2024-07-17 | 2024-08-16 | 香港理工大学深圳研究院 | 基于混合现实和数字孪生的人机协作安全控制方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108762495B (zh) * | 2018-05-18 | 2021-06-29 | 深圳大学 | 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统 |
| CN108724190A (zh) * | 2018-06-27 | 2018-11-02 | 西安交通大学 | 一种工业机器人数字孪生系统仿真方法及装置 |
| US11396100B2 (en) * | 2018-09-10 | 2022-07-26 | Fanuc America Corporation | Robot calibration for AR and digital twin |
| US20200304375A1 (en) * | 2019-03-19 | 2020-09-24 | Microsoft Technology Licensing, Llc | Generation of digital twins of physical environments |
| US11318616B2 (en) * | 2019-11-11 | 2022-05-03 | Rockwell Automation Technologies, Inc. | Robotic digital twin control with industrial context simulation |
| CN111633644A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工程大学 | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 |
| CN112440281A (zh) * | 2020-11-16 | 2021-03-05 | 浙江大学 | 一种基于数字孪生的机器人轨迹规划方法 |
| CN113246122A (zh) * | 2021-04-26 | 2021-08-13 | 广东工贸职业技术学院 | 一种工业机器人的数字孪生实训方法及系统 |
-
2021
- 2021-09-22 CN CN202111107194.1A patent/CN113967910B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113967910A (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106502095B (zh) | 一种多工业机器人的协同控制方法 | |
| CN113967910B (zh) | 一种基于增强现实和数字孪生的人机协同控制方法及系统 | |
| CN105573253A (zh) | 一种工业机器人群控系统及方法 | |
| CN103477290A (zh) | 控制器辅助装置、用于在该装置中执行的控制器辅助程序以及存储有该程序的记录介质 | |
| WO2020121561A1 (en) | Control system and method for controlling plant, and storage medium | |
| US11112759B2 (en) | Thermal displacement correction system and computer | |
| CN111914380A (zh) | 零件模型的确定方法、装置、计算机设备和存储介质 | |
| CN113799135A (zh) | 机器人控制方法、系统、服务器、存储介质及机械臂 | |
| CN113910218A (zh) | 基于运动学与深度神经网络融合的机器人标定方法和装置 | |
| CN106940533B (zh) | 一种基于云超实时仿真平台与硬件在环的实时决策方法 | |
| JP2012099082A (ja) | 多軸同期動作機械のプログラム変換モジュール及びプログラム変換方法 | |
| CN109877828B (zh) | 机器点位调试方法、装置、计算机设备和存储介质 | |
| CN110824496B (zh) | 运动估计方法、装置、计算机设备和存储介质 | |
| CN114609969B (zh) | 一种基于云计算的数控机床轨迹误差补偿方法 | |
| CN110045681B (zh) | 一种基于位置预测的数控机床位置相关型误差的外置补偿方法 | |
| US11442433B2 (en) | Management device, management system, management method, and program for providing virtual and real resource information values | |
| CN214818593U (zh) | 一种机器人控制系统 | |
| Li et al. | Improved net rewriting system-based approach to model reconfiguration of reconfigurable manufacturing systems | |
| CN114505853A (zh) | 一种工业机器人的远程分层管控方法及系统 | |
| Dahl et al. | Sequence planner-automated planning and control for ros2-based collaborative and intelligent automation systems | |
| KR101334356B1 (ko) | 로봇 제어 장치 | |
| CN113524175B (zh) | 一种基于多模态行为在线预测的人机协作方法和系统 | |
| CN116738765B (zh) | 一种基于卫星仿真和关键路径的卫星任务规划分析方法 | |
| CN114193459B (zh) | 一种机械手臂的控制系统及其测试方法 | |
| CN116442218A (zh) | 一种遥操作跟踪方法、装置、设备、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |