CN115847428A - 一种基于ar技术的机械装配辅助引导系统及方法 - Google Patents
一种基于ar技术的机械装配辅助引导系统及方法 Download PDFInfo
- Publication number
- CN115847428A CN115847428A CN202310133738.4A CN202310133738A CN115847428A CN 115847428 A CN115847428 A CN 115847428A CN 202310133738 A CN202310133738 A CN 202310133738A CN 115847428 A CN115847428 A CN 115847428A
- Authority
- CN
- China
- Prior art keywords
- scene
- information
- instruction
- module
- operation instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
本发明涉及数据处理领域，尤其涉及一种基于AR技术的机械装配辅助引导系统及方法，该系统包括：AR场景识别模块获取目标场景信息并根据目标场景信息得到场景方位信息，根据场景方位信息生成操作指令；AR指导模块根据操作指令匹配对应的操作工艺，并控制执行机构执行开始或暂停工作；AR协作模块根据操作指令和对应的操作工艺生成特定的操作流程，根据操作流程生成应答场景操作指令；AR运动引导模块根据操作流程和场景方位信息生成特定的场景引导信息并匹配引导参数，根据引导参数引导控制执行机构移动。通过场景识别模块和运动引导模块进行智能生产操作，根据不同场景生成对应的操作和参数，提高了机械装配的拓展性、适配性和效率。
Description
技术领域
本发明涉及工业装配领域，尤其涉及一种基于AR技术的机械装配辅助引导系统及方法。
背景技术
随着生产力提升，产线自动化以及智能化的不断发展，协作机器人领域发展迅速，众所周知协作机器人，是在传统工业机器人的基础上实现可以与人在生产线上协同生产的模式，充分发挥机器人的效率及人类的智能。其生产效率高且安全性强，能够促进制企业生产的效率。保障了人和机器共同发挥生产环节中的特点，通过机器人来取代危险以及重复的操作。
在工业装配领域，依靠师傅带徒弟的培训方式人力成本高、效率低下，依靠装配图纸或者教学视频的培训方式不够直观又纸上谈兵。人工装配的优点在于人脑十分灵活可以快速学习和随机应变，缺点在于人会疲劳且负重有限；机器装配的优点在于不会疲劳且具备高强度的负重，缺点在于无法快速学习和随机应变。因此如何提高机械装配在不同场景的拓展性和适配性成为亟待解决的技术问题。
发明内容
为此，本发明提供一种基于AR技术的机械装配辅助引导系统及方法，可以解决机械装配在不同场景下的拓展性和适配性差的问题。
为实现上述目的，本发明一方面提供一种基于AR技术的机械装配辅助引导系统，该系统包括：
AR场景识别模块，用于获取目标场景信息，并根据所述目标场景信息得到场景方位信息，根据所述场景方位信息生成操作指令；
AR指导模块，其与所述AR场景识别模块连接，用以根据所述操作指令匹配对应的操作工艺，并控制执行机构执行开始工作或暂停工作；
AR协作模块，其与所述AR指导模块连接，用以根据所述操作指令和对应的操作工艺以生成所述场景方位信息的特定的操作流程，其中，所述操作流程为根据所述操作指令的指令序号按顺序将操作指令中的指令信息与对应的操作工艺进行排序，将排序后的指令信息和对应的操作工艺与所述场景方位信息进行关联，根据所述操作流程生成应答场景操作指令；
AR运动引导模块，其与所述AR协作模块连接，用以根据所述应答场景操作指令中的操作流程和对应的场景方位信息生成特定的场景引导信息，根据所述场景引导信息匹配引导参数，并根据所述引导参数引导所述控制所述执行机构移动。
进一步地，所述AR场景识别模块，还用于根据所述场景方位信息生成操作任务完成指令，将所述操作任务完成指令发送至AR指导模块；
所述AR指导模块，还用于在接收到所述操作任务完成指令时，生成下一步操作指令或恢复原点指令以使所述执行机构恢复工作；
所述AR场景识别模块根据所述场景方位信息判断是否处于预设位置，当判断处于预设位置时，则生成操作任务完成指令。
进一步地，所述AR运动引导模块包括控制机构运动路径规划单元和操作单元；
所述控制机构运动路径规划单元，用于根据所述操作指令获取工艺信息，根据所述场景方位信息和工艺信息生成初始操作路径；
所述操作单元，其与所述控制机构运动路径规划单元连接，用于获取辅助机构传感器信息，根据所述辅助机构传感器信息和初始操作路径判断下一步操作是否符合标准，在判定符合标准时，生成目标操作路径；
所述控制机构运动路径规划单元，还用于根据所述初始操作路径和目标操作路径生成操作引导路径信息，根据所述操作引导路径信息确定控制机构运动参数。
本发明提供的一种基于AR技术的机械装配辅助引导系统，还包括：动作评估模块；
所述动作评估模块在所述执行机构的移动任务达到预设方位或者移动任务达到预设距离时，生成安全操作指令；
所述AR协作模块接收所述安全操作指令并根据安全操作指令控制所述执行机构切换至预设安全姿态。
进一步地，所述AR协作模块在根据所述安全操作指令控制所述执行机构切换至预设安全姿态时，AR协作模块判断所述执行机构中是否存在未抓取物料，在所述执行机构中存在未抓取物料时，AR协作模块控制所述执行机构将所述未抓取物料存放至预设物料装载区域，AR协作模块根据所述安全操作指令控制执行机构切换至预设安全姿态。
进一步地，所述目标场景信息为待操作目标的信息，通过视觉检测模块获取场景图像信息，根据人员的身份信息锁定所述场景图像信息中的待操作目标，并通过视觉传感器和距离检测模块得到待操作目标距离并生成待操作目标相对于AR协同平台的坐标信息；
所述场景方位信息为待操作目标的位置信息，所述位置信息为根据所述坐标信息生成。
进一步地，所述AR场景识别模块在根据所述目标场景信息得到场景方位信息时，根据场景方位信息的坐标信息判断待操作目标的是否处于预设操作范围内，若判定待操作目标的处于预设操作范围内，则根据场景方位信息生成操作指令，若判定待操作目标的未处于预设操作范围内，则生成警示信息。
本发明另一方面还提供一种基于AR技术的机械装配辅助引导方法，该方法包括：
获取目标场景信息，并根据所述目标场景信息得到场景方位信息，根据所述场景方位信息生成操作指令；
根据所述操作指令匹配对应的操作工艺，并控制执行机构执行开始工作或暂停工作；
根据所述操作指令和对应的操作工艺以生成所述场景方位信息的特定的操作流程，其中，所述操作流程为根据所述操作指令的指令序号按顺序将操作指令中的指令信息与对应的操作工艺进行排序，将排序后的指令信息和对应的操作工艺与所述场景方位信息进行关联，根据所述操作流程生成应答场景操作指令；
根据所述应答场景操作指令中的操作流程和对应的场景方位信息生成特定的场景引导信息，根据所述场景引导信息匹配引导参数，并根据所述引导参数引导所述控制所述执行机构移动。
进一步地，在所述执行机构的移动任务达到预设方位或者移动任务达到预设距离时，生成安全操作指令；
接收所述安全操作指令并根据安全操作指令控制所述执行机构切换至预设安全姿态。
进一步地，在根据所述安全操作指令控制所述执行机构切换至预设安全姿态时，判断所述执行机构中是否存在未抓取物料，在所述执行机构中存在未抓取物料时，控制所述执行机构将所述未抓取物料存放至预设物料装载区域，根据所述安全操作指令控制执行机构切换至预设安全姿态。
与现有技术相比，本发明的有益效果在于，实现于一种协作机器人与增强现实一体化集成的一种模块化AR协作平台，该AR协作平台从结构上采用了AR+协作机器人+辅助机构的结构，做到基于 5G 实时性和高速性的云服务端一体化控制，将原有协作机器人和辅助机构独立工控机从物理形式上去除，其计算能力和部署能力可以上升至云端也可以进行本地运算，通过云端计算轻量化场景负载，减少集成难度，让AR协作平台有了更广阔的应用范畴。其中，本实施例主要应用于协作机器人与生产人员协同工作的过程中，由于生产地点并不是一成不变的，有可能随着工艺流程改变发生生产位置的转移，这时候如果操作人员进行转移而机器人无法转移则意味着生产的中断，因此本实施例提出一种增强现实与协作场景相结合的场景识别与定位系统，实现协作场景与生产工艺跟着生产人员进行转移以根据不同场景生成对应的操作和参数，提高了机械装配的拓展性和适配性，同时提高生产效率。
尤其，通过AR动作评估模块即为判定移动任务是复杂操作移动还是简单操作移动的工作模块，其中，在简单操作移动的场景中，为了实现人机协同无缝生产，需要将执行机构保持原有状态以提高生产效率，但在复杂操作移动的场景中，执行机构一直处于舒展状态或者工作状态可能产生碰撞风险，同时，物料也有掉落风险，因此在进行复杂操作移动时自动将执行机构进行收缩，有利于提高复合机器人的稳定性，例如在上下料时减少复合机器人的倾倒风险，减小碰撞面积，在即使空间狭小时也不会有碰撞风险。
尤其，通过所述AR动作评估模块在移动任务达到预设方位或者移动任务达到预设距离时，生成下一步安全操作指令，将所述安全操作指令发送至运动到AR协作模块，所述AR协作模块在接收到所述安全操作指令时，根据所述安全操作指令控制执行机构切换至预设安全姿态，通过上述方式，实现了对操作任务的判断，以在简单操作移动时保证人机协同，无缝配合生产人员生产工作，进而提高AR协同平台的机械装配的拓展性和适配性以及工作效率，而在复杂操作移动时提高协作机器人的安全性，降低碰撞和物料掉落的风险。
附图说明
图1为本发明实施例提供的基于AR技术的机械装配辅助引导系统的结构示意图；
图2为本发明实施例提供的AR运动引导模块的结构示意图；
图3为本发明实施例提供的一种基于AR技术的机械装配辅助引导方法的流程示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，本发明实施例提供的一种基于AR技术的机械装配辅助引导系统，该系统包括：
AR场景识别模块110，用于获取目标场景信息，并根据所述目标场景信息得到场景方位信息，根据所述场景方位信息生成操作指令；
AR指导模块120，其与所述AR场景识别模块连接，用以根据所述操作指令匹配对应的操作工艺，并控制执行机构执行开始工作或暂停工作；
AR协作模块130，其与所述AR指导模块连接，用以根据所述操作指令和对应的操作工艺以生成所述场景方位信息的特定的操作流程，其中，所述操作流程为根据所述操作指令的指令序号按顺序将操作指令中的指令信息与对应的操作工艺进行排序，将排序后的指令信息和对应的操作工艺与所述场景方位信息进行关联，根据所述操作流程生成应答场景操作指令；
AR运动引导模块140，其与所述AR协作模块连接，用以根据所述应答场景操作指令中的操作流程和对应的场景方位信息生成特定的场景引导信息，根据所述场景引导信息匹配引导参数，并根据所述引导参数引导所述控制所述执行机构移动。
具体而言，本发明实施例实现于一种协作机器人与增强现实一体化集成的一种模块化AR协作平台，该AR协作平台从结构上采用了AR+协作机器人+辅助机构的结构，做到基于 5G 实时性和高速性的云服务端一体化控制，将原有协作机器人和辅助机构独立工控机从物理形式上去除，其计算能力和部署能力可以上升至云端也可以进行本地运算，通过云端计算轻量化场景负载，减少集成难度，让AR协作平台有了更广阔的应用范畴。其中，本实施例主要应用于协作机器人与生产人员协同工作的过程中，由于生产地点并不是一成不变的，有可能随着工艺流程改变发生生产位置的转移，这时候如果操作人员进行转移而机器人无法转移则意味着生产的中断，因此本实施例提出一种增强现实与协作场景相结合的场景识别与定位系统，实现协作场景与生产工艺跟着生产人员进行转移以根据不同场景生成对应的操作和参数，提高了机械装配的拓展性和适配性，同时提高生产效率。
具体而言，所述AR场景识别模块即为视觉检测模块以及相关3D建模模块集成的AR场景识别模块，所述视觉检测模块可以为采集图像的高帧数照相机、单目摄像机、双目摄像机或者多种摄像设备相结合的图像采集单元，AR场景识别模块用于识别待操作场景目标，所述待操作场景目标主要为协同工作的技术人员以及技术人员所处的操作场景，通过场景检测结合身份验证以及3D建模比对可以锁定待操作场景目标；
所述AR指导模块是控制机构和操作工艺信息匹配的枢纽，AR指导模块根据所述场景方位信息和操作指令，将操作指令下发至对应的控制机构以匹配相应的操作工艺，并指导控制引导机构执行开始或暂停工作；
所述AR协作模块即为控制协作机器人执行机构的控制系统，其所控制的执行机构即为进行人机协同的机械结构，例如：机器手臂、刀具、夹具、辅助机构以及传感器等等，本实施例对执行机构的表现形式不加以限定。例如：结合调度系统、生产管理执行系统等信息系统的指令，AR协同平台与信息系统结合运作。调度人员通过系统，或者交互性动画向协作机器人或者辅助机构下达指令后，协作机器人配合辅助机构，可自动抓取货物，并执行协同操作。
其中，所述目标场景信息即为待操作目标的信息，所述目标场景信息可以通过AR协同平台自带的视觉检测模块获取环境图像信息，根据目标检测结合技术人员的身份信息锁定待操作目标，进而通过视觉传感器融合距离检测模块得到较为精确的目标距离并生成相对于AR协同平台坐标信息，距离检测模块可以为超声波测距仪，也可以为激光雷达，本实施例对此不加以限定。
具体而言，所述AR场景识别模块在根据所述目标场景信息得到场景方位信息时，根据场景方位信息的坐标信息判断待操作目标的是否处于预设操作范围内，若判定待操作目标的处于预设操作范围内，则根据场景方位信息生成操作指令，若判定待操作目标的未处于预设操作范围内，则生成警示信息；其中，所述场景方位信息即为待操作目标的位置信息，所述位置信息为待操作目标与AR协同平台的相对位置，保证AR协同平台与待操作目标始终保持一个较短的安全距离，让AR协同平台能够随时重新进入工作状态，由于两者之间的距离会不同，在超出安全距离时，则AR协同平台不能进行安全工作，则需要进行警示，以提高安全性。
具体而言，所述AR场景识别模块，还用于根据所述场景方位信息生成操作任务完成指令，将所述操作任务完成指令发送至AR指导模块；
所述AR指导模块，还用于在接收到所述操作任务完成指令时，生成下一步操作指令或恢复原点指令以使所述执行机构恢复工作；
所述AR场景识别模块根据所述场景方位信息判断是否处于预设位置，当判断处于预设位置时，则生成操作任务完成指令。
具体而言，所述AR协作模块在接收到操作指令时，生成恢复原点指令，以使执行机构恢复原点工作，由于在移动操作过程中执行机构持续工作时非常容易造成物料掉落或者碰撞危险的，因此在执行操作指令时需要AR协作模块暂停执行机构的工作。
具体而言，所述AR运动引导模块在获取应答场景操作指令信息时，协作机器人不能直接跟随生产人员移动，这是因为有很多场景下，人是可以随意变换操作场景的，而协作机器人需要找到一条适合运行的轨迹进行操作，例如：出现人员临时离岗或技术员换岗的场景下，人可以随意变换操作场景，但协作机器人如果直接跟随人员变换场景就非常容易出现工艺混乱和流程不连续的情况，因此需要结合当前位置、生产人员的位置和生产环境中的工艺信息自行规划运行轨迹，需生成特定的场景引导信息并确定引导参数以引导控制机构移动。
其中，AR运动引导模块可以集成于本地系统中，也可以存在于云端服务器中，本实施例提出一种优选方案，例如：AR协同平台主要需要从物理构建、通信逻辑和场景应用及展示等方面，实现一对多（云端服务器对多个应用场景）的控制逻辑和整体软硬件架构，达到边端轻量化，去工控化，柔性化云边协同等效果。整体技术架构软硬件分为三层，搭建本地化云服务器及系统环境搭建，实现协作机器人自主引导、智能识别复杂算法；基于 5G 网络的技术特点，采用 5G 终端模块化网关，搭建大数据、低时延的端到端通信应用，且满足 5G灵活切换，即插即用的技术条件；传感、数采和微计算等硬件集成主要分布在协作机器人执行端，主要用于支持安全保障和传感执行功能。做到基于 5G 实时性和高速性的云服务端一体化控制。因此，将AR运动引导模块中轨迹规划的部分以及其他运算模块设置在云端可以将原有协作机器人和辅助机构独立工控机从物理形式上去除，其计算能力和部署能力上升至云端，通过云端计算轻量化场景负载，减少集成难度。
可以理解的是，通过 5G 通信可以让云边协同更加快速，如果将AR运动引导模块设置在云端通过云端的AR运动引导模块进行运算将控制电机运动的参数传输回本地，以保障符合机器人的实时操作。
请参阅图2所示，所述AR运动引导模块包括控制机构运动路径规划单元141和操作单元142；
所述控制机构运动路径规划单元，用于根据所述操作指令获取工艺信息，根据所述场景方位信息和工艺信息生成初始操作路径；
所述操作单元，其与所述控制机构运动路径规划单元连接，用于获取辅助机构传感器信息，根据所述辅助机构传感器信息和初始跟操作径判断下一步操作是否符合标准，在判定符合标准时，生成目标操作路径；
所述控制机构运动路径规划单元，还用于根据所述初始操作路径和目标操作路径生成操作引导路径信息，根据所述操作引导路径信息确定控制机构运动参数。
具体而言，本发明实施例提供的一种基于AR技术的机械装配辅助引导系统，该系统还包括：动作评估模块150；
所述动作评估模块在所述执行机构的移动任务达到预设方位或者移动任务达到预设距离时，生成安全操作指令；
所述AR协作模块接收所述安全操作指令并根据安全操作指令控制所述执行机构切换至预设安全姿态。
具体而言，AR动作评估模块即为判定移动任务是复杂操作移动还是简单操作移动的工作模块，其中，在简单操作移动的场景中，为了实现人机协同无缝生产，需要将执行机构保持原有状态以提高生产效率，但在复杂操作移动的场景中，执行机构一直处于舒展状态或者工作状态可能产生碰撞风险，同时，物料也有掉落风险，因此在进行复杂操作移动时自动将执行机构进行收缩，有利于提高复合机器人的稳定性，例如在上下料时减少复合机器人的倾倒风险，减小碰撞面积，在即使空间狭小时也不会有碰撞风险。是否复杂操作移动的判断标准可以根据预先设置好的工艺或者场景进行判断，当工艺涉及某些步骤或者场景识别信息确定了相应工艺流程时认定为复杂操作移动。
具体而言，所述预设安全姿态为预先设定好的较为安全的执行机构姿态，例如：当执行机构为六轴机械手臂时，将机械手自动折叠收缩至工作台面以增加操作时的安全性。
具体而言，所述AR协作模块在接收到所述安全操作指令时，根据所述安全操作指令控制执行机构切换至预设安全姿态，包括：AR协作模块在接收到所述安全操作指令时，判断所述执行机构中是否存在未抓取物料，在所述执行机构中存在未抓取物料时，控制所述执行机构将所述未抓取物料存放至预设物料装载区域，根据所述安全操作指令控制执行机构切换至预设安全姿态。
具体而言，在生产过程中，可能操作时机械手臂或者工作台上还存放有工作时的物料，在复杂操作移动工程中可能有跌落风险，例如：在上料时在符合机器人的工作台上未固定的物料即容易滚落，因此可以将物料存放至预设物料装载区域，例如：将物料都存放至复合机器人工作台上的物料盘或者物料盒中以避免物料滚落。在安置好物料后，再将执行机构切换至预设安全姿态。
具体而言，本发明实施例通过所述AR动作评估模块在移动任务达到预设方位或者移动任务达到预设距离时，生成下一步安全操作指令，将所述安全操作指令发送至运动到AR协作模块，所述AR协作模块在接收到所述安全操作指令时，根据所述安全操作指令控制执行机构切换至预设安全姿态，通过上述方式，实现了对操作任务的判断，以在简单操作移动时保证人机协同，无缝配合生产人员生产工作，进而提高AR协同平台的机械装配的拓展性和适配性以及工作效率，而在复杂操作移动时提高协作机器人的安全性，降低碰撞和物料掉落的风险。
请参阅图3所示，本发明实施例提供的一种基于AR技术的机械装配辅助引导方法，该方法包括：
步骤S210，获取目标场景信息，并根据所述目标场景信息得到场景方位信息，根据所述场景方位信息生成操作指令；
步骤S220，根据所述操作指令匹配对应的操作工艺，并控制执行机构执行开始工作或暂停工作；
步骤S230，根据所述操作指令和对应的操作工艺以生成所述场景方位信息的特定的操作流程，其中，所述操作流程为根据所述操作指令的指令序号按顺序将操作指令中的指令信息与对应的操作工艺进行排序，将排序后的指令信息和对应的操作工艺与所述场景方位信息进行关联，根据所述操作流程生成应答场景操作指令；
步骤S240，根据所述应答场景操作指令中的操作流程和对应的场景方位信息生成特定的场景引导信息，根据所述场景引导信息匹配引导参数，并根据所述引导参数引导所述控制所述执行机构移动。
具体而言，本发明实施例实现于一种协作机器人与增强现实一体化集成的一种模块化AR协作平台，该AR协作平台从结构上采用了AR+协作机器人+辅助机构的结构，做到基于 5G 实时性和高速性的云服务端一体化控制，将原有协作机器人和辅助机构独立工控机从物理形式上去除，其计算能力和部署能力可以上升至云端也可以进行本地运算，通过云端计算轻量化场景负载，减少集成难度，让AR协作平台有了更广阔的应用范畴。其中，本实施例主要应用于协作机器人与生产人员协同工作的过程中，由于生产地点并不是一成不变的，有可能随着工艺流程改变发生生产位置的转移，这时候如果操作人员进行转移而机器人无法转移则意味着生产的中断，因此本实施例提出一种增强现实与协作场景相结合的场景识别与定位系统，实现协作场景与生产工艺跟着生产人员进行转移以根据不同场景生成对应的操作和参数，提高了机械装配的拓展性和适配性，同时提高生产效率。
具体而言，本发明实施例提供的一种基于AR技术的机械装配辅助引导方法，该方法还包括：
在所述执行机构的移动任务达到预设方位或者移动任务达到预设距离时，生成安全操作指令；
接收所述安全操作指令并根据安全操作指令控制所述执行机构切换至预设安全姿态。
具体而言，在根据所述安全操作指令控制所述执行机构切换至预设安全姿态时，判断所述执行机构中是否存在未抓取物料，在所述执行机构中存在未抓取物料时，控制所述执行机构将所述未抓取物料存放至预设物料装载区域，根据所述安全操作指令控制执行机构切换至预设安全姿态。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于AR技术的机械装配辅助引导系统，其特征在于，包括：
AR场景识别模块，用于获取目标场景信息，并根据所述目标场景信息得到场景方位信息，根据所述场景方位信息生成操作指令；
AR指导模块，其与所述AR场景识别模块连接，用以根据所述操作指令匹配对应的操作工艺，并控制执行机构执行开始工作或暂停工作；
AR协作模块，其与所述AR指导模块连接，用以根据所述操作指令和对应的操作工艺以生成所述场景方位信息的特定的操作流程，其中，所述操作流程为根据所述操作指令的指令序号按顺序将操作指令中的指令信息与对应的操作工艺进行排序，将排序后的指令信息和对应的操作工艺与所述场景方位信息进行关联，根据所述操作流程生成应答场景操作指令；
AR运动引导模块，其与所述AR协作模块连接，用以根据所述应答场景操作指令中的操作流程和对应的场景方位信息生成特定的场景引导信息，根据所述场景引导信息匹配引导参数，并根据所述引导参数引导所述控制所述执行机构移动。
2.根据权利要求1所述的基于AR技术的机械装配辅助引导系统，其特征在于，所述AR场景识别模块，还用于根据所述场景方位信息生成操作任务完成指令，将所述操作任务完成指令发送至AR指导模块；
所述AR指导模块，还用于在接收到所述操作任务完成指令时，生成下一步操作指令或恢复原点指令以使所述执行机构恢复工作；
所述AR场景识别模块根据所述场景方位信息判断是否处于预设位置，当判断处于预设位置时，则生成操作任务完成指令。
3.根据权利要求2所述的基于AR技术的机械装配辅助引导系统，其特征在于，所述AR运动引导模块包括控制机构运动路径规划单元和操作单元；
所述控制机构运动路径规划单元，用于根据所述操作指令获取工艺信息，根据所述场景方位信息和工艺信息生成初始操作路径；
所述操作单元，其与所述控制机构运动路径规划单元连接，用于获取辅助机构传感器信息，根据所述辅助机构传感器信息和初始操作路径判断下一步操作是否符合标准，在判定符合标准时，生成目标操作路径；
所述控制机构运动路径规划单元，还用于根据所述初始操作路径和目标操作路径生成操作引导路径信息，根据所述操作引导路径信息确定控制机构运动参数。
4.根据权利要求3所述的基于AR技术的机械装配辅助引导系统，其特征在于，还包括：动作评估模块；
所述动作评估模块在所述执行机构的移动任务达到预设方位或者移动任务达到预设距离时，生成安全操作指令；
所述AR协作模块接收所述安全操作指令并根据安全操作指令控制所述执行机构切换至预设安全姿态。
5.根据权利要求4所述的基于AR技术的机械装配辅助引导系统，其特征在于，所述AR协作模块在根据所述安全操作指令控制所述执行机构切换至预设安全姿态时，AR协作模块判断所述执行机构中是否存在未抓取物料，在所述执行机构中存在未抓取物料时，AR协作模块控制所述执行机构将所述未抓取物料存放至预设物料装载区域，AR协作模块根据所述安全操作指令控制执行机构切换至预设安全姿态。
6.根据权利要求5所述的基于AR技术的机械装配辅助引导系统，其特征在于，所述目标场景信息为待操作目标的信息，通过视觉检测模块获取场景图像信息，根据人员的身份信息锁定所述场景图像信息中的待操作目标，并通过视觉传感器和距离检测模块得到待操作目标距离并生成待操作目标相对于AR协同平台的坐标信息；
所述场景方位信息为待操作目标的位置信息，所述位置信息为根据所述坐标信息生成。
7.根据权利要求6所述的基于AR技术的机械装配辅助引导系统，其特征在于，所述AR场景识别模块在根据所述目标场景信息得到场景方位信息时，根据场景方位信息的坐标信息判断待操作目标的是否处于预设操作范围内，若判定待操作目标的处于预设操作范围内，则根据场景方位信息生成操作指令，若判定待操作目标的未处于预设操作范围内，则生成警示信息。
8.一种应用如权利要求1-7任一项所述的基于AR技术的机械装配辅助引导系统的基于AR技术的机械装配辅助引导方法，其特征在于，包括：
获取目标场景信息，并根据所述目标场景信息得到场景方位信息，根据所述场景方位信息生成操作指令；
根据所述操作指令匹配对应的操作工艺，并控制执行机构执行开始工作或暂停工作；
根据所述操作指令和对应的操作工艺以生成所述场景方位信息的特定的操作流程，其中，所述操作流程为根据所述操作指令的指令序号按顺序将操作指令中的指令信息与对应的操作工艺进行排序，将排序后的指令信息和对应的操作工艺与所述场景方位信息进行关联，根据所述操作流程生成应答场景操作指令；
根据所述应答场景操作指令中的操作流程和对应的场景方位信息生成特定的场景引导信息，根据所述场景引导信息匹配引导参数，并根据所述引导参数引导所述控制所述执行机构移动。
9.根据权利要求8所述的基于AR技术的机械装配辅助引导方法，其特征在于，还包括：
在所述执行机构的移动任务达到预设方位或者移动任务达到预设距离时，生成安全操作指令；
接收所述安全操作指令并根据安全操作指令控制所述执行机构切换至预设安全姿态。
10.根据权利要求9所述的基于AR技术的机械装配辅助引导方法，其特征在于，在根据所述安全操作指令控制所述执行机构切换至预设安全姿态时，判断所述执行机构中是否存在未抓取物料，在所述执行机构中存在未抓取物料时，控制所述执行机构将所述未抓取物料存放至预设物料装载区域，根据所述安全操作指令控制执行机构切换至预设安全姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310133738.4A CN115847428B (zh) | 2023-02-20 | 2023-02-20 | 一种基于ar技术的机械装配辅助引导系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310133738.4A CN115847428B (zh) | 2023-02-20 | 2023-02-20 | 一种基于ar技术的机械装配辅助引导系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115847428A true CN115847428A (zh) | 2023-03-28 |
| CN115847428B CN115847428B (zh) | 2023-05-05 |
Family
ID=85658373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310133738.4A Active CN115847428B (zh) | 2023-02-20 | 2023-02-20 | 一种基于ar技术的机械装配辅助引导系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115847428B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116423514A (zh) * | 2023-04-27 | 2023-07-14 | 深圳墨影科技有限公司 | 基于机器人产业链模块化设计的数据部署系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656505A (zh) * | 2017-08-21 | 2018-02-02 | 杭州太若科技有限公司 | 使用增强现实设备控制人机协作的方法、装置和系统 |
| DE102018212944A1 (de) * | 2018-08-02 | 2020-02-06 | Robert Bosch Gmbh | Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille |
| US20210086370A1 (en) * | 2019-09-19 | 2021-03-25 | The Research Foundation For The State University Of New York | Negotiation-based Human-Robot Collaboration via Augmented Reality |
| CN112764548A (zh) * | 2021-02-24 | 2021-05-07 | 北京计算机技术及应用研究所 | 一种ar辅助装配系统 |
| CN112764406A (zh) * | 2021-01-26 | 2021-05-07 | 三一重机有限公司 | 智能辅助装配系统及方法 |
| CN115139314A (zh) * | 2022-07-26 | 2022-10-04 | 北京航空航天大学 | 一种基于增强现实及视觉辅助的人机协作钻铆系统和方法 |
-
2023
- 2023-02-20 CN CN202310133738.4A patent/CN115847428B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656505A (zh) * | 2017-08-21 | 2018-02-02 | 杭州太若科技有限公司 | 使用增强现实设备控制人机协作的方法、装置和系统 |
| DE102018212944A1 (de) * | 2018-08-02 | 2020-02-06 | Robert Bosch Gmbh | Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille |
| US20210086370A1 (en) * | 2019-09-19 | 2021-03-25 | The Research Foundation For The State University Of New York | Negotiation-based Human-Robot Collaboration via Augmented Reality |
| CN112764406A (zh) * | 2021-01-26 | 2021-05-07 | 三一重机有限公司 | 智能辅助装配系统及方法 |
| CN112764548A (zh) * | 2021-02-24 | 2021-05-07 | 北京计算机技术及应用研究所 | 一种ar辅助装配系统 |
| CN115139314A (zh) * | 2022-07-26 | 2022-10-04 | 北京航空航天大学 | 一种基于增强现实及视觉辅助的人机协作钻铆系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| 邹国强;: "基于增强现实技术的辅助预制化建筑构件搭建的探索" * |
| 阮莹;: "基于AR技术的三维交互式虚拟装配系统设计" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116423514A (zh) * | 2023-04-27 | 2023-07-14 | 深圳墨影科技有限公司 | 基于机器人产业链模块化设计的数据部署系统及方法 |
| CN116423514B (zh) * | 2023-04-27 | 2024-05-24 | 深圳墨影科技有限公司 | 基于机器人产业链模块化设计的数据部署系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115847428B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11865732B2 (en) | Integrated robotic system and method for autonomous vehicle maintenance | |
| CN110216649B (zh) | 机器人作业系统、以及机器人作业系统的控制方法 | |
| CN110216674A (zh) | 一种冗余自由度机械臂视觉伺服避障系统 | |
| Dumonteil et al. | Reactive planning on a collaborative robot for industrial applications | |
| Kuhn et al. | Velocity control for safe robot guidance based on fused vision and force/torque data | |
| CN115847428A (zh) | 一种基于ar技术的机械装配辅助引导系统及方法 | |
| El-Hussieny et al. | A novel intention prediction strategy for a shared control tele-manipulation system in unknown environments | |
| Wang et al. | Design of stable visual servoing under sensor and actuator constraints via a Lyapunov-based approach | |
| Merckaert et al. | Real-time constraint-based planning and control of robotic manipulators for safe human–robot collaboration | |
| US20200246974A1 (en) | Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program | |
| Reddy et al. | A Review of Safety Methods for Human-robot Collaboration and a Proposed Novel Approach. | |
| Masuta et al. | Control architecture for human friendly robots based on interacting with human | |
| Cserteg et al. | Assisted assembly process by gesture controlled robots | |
| CN115590407A (zh) | 清洁用机械臂规划控制系统、方法及清洁机器人 | |
| Zhou et al. | A cooperative shared control scheme based on intention recognition for flexible assembly manufacturing | |
| Prats et al. | Model-based tracking and hybrid force/vision control for the UJI librarian robot | |
| Linghan et al. | Dogget: A legged manipulation system in human environments | |
| Latif et al. | Human robot Interaction–Object Detection and Distance Measurement Using Kinect V2 | |
| Chen et al. | Semiautonomous industrial mobile manipulation for industrial applications | |
| Wosch et al. | Robot motion control for assistance tasks | |
| Cintas et al. | Robust behavior and perception using hierarchical state machines: A pallet manipulation experiment | |
| Ghidoni et al. | A smart workcell for human-robot cooperative assembly of carbon fiber parts | |
| EP4024155B1 (en) | Method, system and computer program product of control of unmanned aerial vehicles | |
| Felip et al. | Tombatossals: A humanoid torso for autonomous sensor-based tasks | |
| Lin et al. | Interactive control and environment modelling for a mobile robot based on multisensor perceptions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |