CN114789451B - 一种控制机械手臂夹取和放置物件的系统及方法 - Google Patents

Abstract

本发明提供了一种控制机械手臂夹取和放置物件的系统及方法，其中，系统包括：获取模块，用于获取物件转移任务，物件转移任务包括：目标物件、夹取区域和放置区域；控制模块，用于控制机械手臂前往夹取区域内夹取目标物件，夹取完成后，控制机械手臂将目标物件放置于放置区域内。本发明的控制机械手臂夹取和放置物件的系统及方法，降低了人力成本，特别是当需要进行转移的物件的数量较多时，可以避免由工作人员人工完成可能会存在转移效率较低等问题的产生。

Description

一种控制机械手臂夹取和放置物件的系统及方法

技术领域

本发明涉及机器人技术领域，特别涉及一种控制机械手臂夹取和放置物件的系统及方法。

背景技术

目前，物件的转移大多由工作人员人工完成，人力成本较大。另外，当需要进行转移的物件的数量较多时，由工作人员人工完成可能会存在转移效率较低等问题。

因此，亟需一种解决办法。

发明内容

本发明提供一种控制机械手臂夹取和放置物件的系统及方法，降低了人力成本，特别是当需要进行转移的物件的数量较多时，可以避免由工作人员人工完成可能会存在转移效率较低等问题的产生。

本发明提供一种控制机械手臂夹取和放置物件的系统，包括：

获取模块，用于获取物件转移任务，物件转移任务包括：目标物件、夹取区域和放置区域；

控制模块，用于控制机械手臂前往夹取区域内夹取目标物件，夹取完成后，控制机械手臂将目标物件放置于放置区域内。

优选的，获取模块获取物件转移任务，包括：

获取至少两个工作人员进行对讲时产生的第一对讲记录；

将第一对讲记录按照产生先后顺序进行排序，获得对讲记录序列；

从对讲记录序列的起点向终点对第一对讲记录进行第一遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第一语义；

获取预设的触发语义库，将第一语义与触发语义库中的触发语义进行匹配；

若匹配符合，暂停第一遍历，同时，将遍历到的第一对讲记录作为第二对讲记录；

对对讲记录序列中第二对讲记录之后的第一对讲记录进行第二遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第二语义；

基于语义理解技术，确认第二语义与第一语义或对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义之间是否存在语义关联；

若否，停止第二遍历，将遍历到的第一对讲记录作为第一遍历的新的遍历起点继续进行第一遍历，同时，将第一语义和对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义输入至预设的有效语义确定模型中，确定有效语义；

基于预设的物件转移任务生成模板，根据有效语义，生成物件转移任务。

优选的，控制模块控制机械手臂前往夹取区域内夹取目标物件，包括：

通过对应于夹取区域的至少一个第一图像采集设备获取夹取区域的第一图像；

基于第一图像，确定目标物件的可夹持面；

获取目标物件的物件类型对应的预设的夹取力度；

控制机械手臂前往夹取区域内以夹取力度夹持通过可夹持面夹持目标物件；

其中，控制模块基于第一图像，确定目标物件的可夹持面，包括：

从第一图像中提取目标物件的第一三维信息；

基于第一三维信息，构建目标物件的第一三维模型；

基于预设的第一特征提取模板，对第一三维模型上除了触地表面之外的每个第一表面进行特征提取，获得多个第一特征值；

基于第一特征值，构建第一表面的表面描述向量；

获取机械手臂对应的预设的夹持适配向量；

计算表面描述向量与夹持适配向量的相似度；

若相似度大于等于预设的相似度阈值，将对应第一表面作为第二表面；

获取机械手臂对应的预设的夹持位置关系；

从第二表面中确定满足夹持位置关系的第二表面，并作为目标物件的可夹持面。

优选的，控制模块控制机械手臂将目标物件放置于放置区域内，包括：

控制机械手臂移动至放置区域内；

当机械手臂进入放置区域内时，通过对应于放置区域的至少一个第二图像采集设备获取放置区域的第二图像；

从第二图像中提取放置区域的第二三维信息；

基于第二三维信息，构建放置区域的第二三维模型；

从第二三维模型中确定对应于机械手臂夹持着目标物件的第一局部模型和对应于物件摆放区的第二局部模型；

基于预设的模拟摆放模型，对第一局部模型在第二局部模型内进行模拟摆放，获得多个模拟摆放结果；

基于预设的第二特征提取模板，对模拟摆放过程中第一局部模型与第二局部模型始终不存在重叠区域的模拟摆放结果进行特征提取，获得多个第二特征值；

基于第二特征值，构建摆放描述向量；

获取预设的摆放评价库；

基于摆放描述向量和摆放评价库，确定评价值；

基于最大评价值对应的模拟摆放过程，控制机械手臂将目标物件放置于放置区域内。

优选的，控制机械手臂夹取和放置物件的系统，还包括：

预警模块，用于在机械手臂前往夹取区域内夹取目标物件或将目标物件放置于放置区域内的移动过程中，进行安全预警；

其中，预警模块进行安全预警，包括：

获取机械手臂接下来预设的第一时间内的未来移动轨迹；

通过对应于未来移动轨迹的至少一个第三图像采集设备获取未来移动轨迹周边的第三图像；

基于第三图像，确定是否存在人员靠近未来移动轨迹；

若是，基于第三图像，跟踪确定人员的第一位置、移动方向和第一移动速度；

获取预设的时间对照库；

基于第一移动速度和时间对照库，对照确定第二时间；

获取机械手臂当前的第二位置和第二移动速度；

基于第二位置和第二移动速度，确定机械手臂接下来第二时间后移动至的未来移动轨迹上的第三位置；

基于第一位置和移动方向，构建第一方向向量；

基于第二位置和第三位置，构建第二方向向量；

基于预设的预警信息生成模板，根据第一方向向量和第二方向向量，生成预警信息；

基于预警信息，对人员进行预警提醒。

本发明提供一种控制机械手臂夹取和放置物件的方法，包括：

步骤1：获取物件转移任务，物件转移任务包括：目标物件、夹取区域和放置区域；

步骤2：控制机械手臂前往夹取区域内夹取目标物件，夹取完成后，控制机械手臂将目标物件放置于放置区域内。

优选的，步骤1中，获取物件转移任务，包括：

获取至少两个工作人员进行对讲时产生的第一对讲记录；

将第一对讲记录按照产生先后顺序进行排序，获得对讲记录序列；

从对讲记录序列的起点向终点对第一对讲记录进行第一遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第一语义；

获取预设的触发语义库，将第一语义与触发语义库中的触发语义进行匹配；

若匹配符合，暂停第一遍历，同时，将遍历到的第一对讲记录作为第二对讲记录；

对对讲记录序列中第二对讲记录之后的第一对讲记录进行第二遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第二语义；

基于语义理解技术，确认第二语义与第一语义或对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义之间是否存在语义关联；

若否，停止第二遍历，将遍历到的第一对讲记录作为第一遍历的新的遍历起点继续进行第一遍历，同时，将第一语义和对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义输入至预设的有效语义确定模型中，确定有效语义；

基于预设的物件转移任务生成模板，根据有效语义，生成物件转移任务。

优选的，步骤2中，控制机械手臂前往夹取区域内夹取目标物件，包括：

通过对应于夹取区域的至少一个第一图像采集设备获取夹取区域的第一图像；

基于第一图像，确定目标物件的可夹持面；

获取目标物件的物件类型对应的预设的夹取力度；

控制机械手臂前往夹取区域内以夹取力度夹持通过可夹持面夹持目标物件；

其中，基于第一图像，确定目标物件的可夹持面，包括：

从第一图像中提取目标物件的第一三维信息；

基于第一三维信息，构建目标物件的第一三维模型；

基于预设的第一特征提取模板，对第一三维模型上除了触地表面之外的每个第一表面进行特征提取，获得多个第一特征值；

基于第一特征值，构建第一表面的表面描述向量；

获取机械手臂对应的预设的夹持适配向量；

计算表面描述向量与夹持适配向量的相似度；

若相似度大于等于预设的相似度阈值，将对应第一表面作为第二表面；

获取机械手臂对应的预设的夹持位置关系；

从第二表面中确定满足夹持位置关系的第二表面，并作为目标物件的可夹持面。

优选的，控制机械手臂将目标物件放置于放置区域内，包括：

控制机械手臂移动至放置区域内；

当机械手臂进入放置区域内时，通过对应于放置区域的至少一个第二图像采集设备获取放置区域的第二图像；

从第二图像中提取放置区域的第二三维信息；

基于第二三维信息，构建放置区域的第二三维模型；

从第二三维模型中确定对应于机械手臂夹持着目标物件的第一局部模型和对应于物件摆放区的第二局部模型；

基于预设的模拟摆放模型，对第一局部模型在第二局部模型内进行模拟摆放，获得多个模拟摆放结果；

基于预设的第二特征提取模板，对模拟摆放过程中第一局部模型与第二局部模型始终不存在重叠区域的模拟摆放结果进行特征提取，获得多个第二特征值；

基于第二特征值，构建摆放描述向量；

获取预设的摆放评价库；

基于摆放描述向量和摆放评价库，确定评价值；

基于最大评价值对应的模拟摆放过程，控制机械手臂将目标物件放置于放置区域内。

优选的，控制机械手臂夹取和放置物件的方法，还包括：

在机械手臂前往夹取区域内夹取目标物件或将目标物件放置于放置区域内的移动过程中，进行安全预警；

其中，进行安全预警，包括：

获取机械手臂接下来预设的第一时间内的未来移动轨迹；

通过对应于未来移动轨迹的至少一个第三图像采集设备获取未来移动轨迹周边的第三图像；

基于第三图像，确定是否存在人员靠近未来移动轨迹；

若是，基于第三图像，跟踪确定人员的第一位置、移动方向和第一移动速度；

获取预设的时间对照库；

基于第一移动速度和时间对照库，对照确定第二时间；

获取机械手臂当前的第二位置和第二移动速度；

基于第二位置和第二移动速度，确定机械手臂接下来第二时间后移动至的未来移动轨迹上的第三位置；

基于第一位置和移动方向，构建第一方向向量；

基于第二位置和第三位置，构建第二方向向量；

基于预设的预警信息生成模板，根据第一方向向量和第二方向向量，生成预警信息；

基于预警信息，对人员进行预警提醒。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种控制机械手臂夹取和放置物件的系统的示意图；

图2为本发明实施例中一种控制机械手臂夹取和放置物件的方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供一种控制机械手臂夹取和放置物件的系统，如图1所示，包括：

获取模块1，用于获取物件转移任务，物件转移任务包括：目标物件、夹取区域和放置区域；

控制模块2，用于控制机械手臂前往夹取区域内夹取目标物件，夹取完成后，控制机械手臂将目标物件放置于放置区域内。

上述技术方案的工作原理及有益效果为：

物件转移任务可由工作人员基于智能终端进行输入。目标物件为需要进行转移的物件，例如：电池壳。夹取区域为需要转移的物件当前所处的区域。放置区域为需要转移的物件需要转移至的区域。控制机械手臂前往夹取区域内夹取目标物件，然后放置于放置区域内，实现自动化物件转移。降低了人力成本，特别是当需要进行转移的物件的数量较多时，可以避免由工作人员人工完成可能会存在转移效率较低等问题的产生。

本发明提供一种控制机械手臂夹取和放置物件的系统，获取模块1获取物件转移任务，包括：

获取至少两个工作人员进行对讲时产生的第一对讲记录；

将第一对讲记录按照产生先后顺序进行排序，获得对讲记录序列；

从对讲记录序列的起点向终点对第一对讲记录进行第一遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第一语义；

获取预设的触发语义库，将第一语义与触发语义库中的触发语义进行匹配；

若匹配符合，暂停第一遍历，同时，将遍历到的第一对讲记录作为第二对讲记录；

对对讲记录序列中第二对讲记录之后的第一对讲记录进行第二遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第二语义；

基于语义理解技术，确认第二语义与第一语义或对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义之间是否存在语义关联；

若否，停止第二遍历，将遍历到的第一对讲记录作为第一遍历的新的遍历起点继续进行第一遍历，同时，将第一语义和对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义输入至预设的有效语义确定模型中，确定有效语义；

基于预设的物件转移任务生成模板，根据有效语义，生成物件转移任务。

上述技术方案的工作原理及有益效果为：

一般的，现场的一些物件的摆放均需要由现场内的工作人员商量确定适宜的摆放区域，商量结束后，需要工作人员根据商量结果基于智能终端输入物件转移任务，比较繁琐，特别是当商量结果较多时，工作人员需要一个个进行输入，用户体验较差。

因此，当工作人员进行在线对讲时，在商量确定适宜的摆放区域，产生第一对讲记录，第一对讲记录可以为语音聊天记录等，提取出第一对讲记录的第一语义。引入触发语义库，触发语义库中存储有大量与商量确定适宜的摆放区域相关的对话语义，例如：“将电池壳由A区转移至B区”。将第一语义与触发语义库中的触发语义进行匹配，若匹配符合，说明对应的第二对讲记录表征工作人员开始商量确定适宜的摆放区域，触发进行商量结果识别，减少商量结果识别的资源，提升商量结果识别的效率。进行商量结果识别时，由第二对讲记录向后进行第二遍历，当第二语义与第一语义或对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义之间均不存在语义关联时，说明截止进行第二遍历遍历到的第一对讲记录时，工作人员该次商量进行结束。智能识别工作人员进行摆放区域商量确定的结束时间，提升了商量结果识别的精准性。引入预设的有效语义确定模型，有效语义确定模型为利用大量人工进行有效语义确定记录训练至收敛的人工智能模型。提取出将第一语义和对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义，输入至有效语义确定模型，确定有效语义，例如：提取出的语义分别为“将电池壳由A区转移至B区，怎么样？”、“不好吧，B区离电池壳的使用现场很远”、“那就转移至C区吧”和“可以”，提取出的有效语义则为“将电池壳由A区转移至C区”。进一步提升了商量结果识别的精准性。引入预设的物件转移任务生成模板，根据有效语义，生成物件转移任务，例如：有效语义为“将电池壳由A区转移至C区”，生成的物件转移任务为，目标物件：电池壳、夹取区：A区以及放置区：C区。提升了任务生成的生成效率。

本发明提供一种控制机械手臂夹取和放置物件的系统，控制模块2控制机械手臂前往夹取区域内夹取目标物件，包括：

通过对应于夹取区域的至少一个第一图像采集设备获取夹取区域的第一图像；

基于第一图像，确定目标物件的可夹持面；

获取目标物件的物件类型对应的预设的夹取力度；

控制机械手臂前往夹取区域内以夹取力度夹持通过可夹持面夹持目标物件；

其中，控制模块2基于第一图像，确定目标物件的可夹持面，包括：

从第一图像中提取目标物件的第一三维信息；

基于第一三维信息，构建目标物件的第一三维模型；

基于预设的第一特征提取模板，对第一三维模型上除了触地表面之外的每个第一表面进行特征提取，获得多个第一特征值；

基于第一特征值，构建第一表面的表面描述向量；

获取机械手臂对应的预设的夹持适配向量；

计算表面描述向量与夹持适配向量的相似度；

若相似度大于等于预设的相似度阈值，将对应第一表面作为第二表面；

获取机械手臂对应的预设的夹持位置关系；

从第二表面中确定满足夹持位置关系的第二表面，并作为目标物件的可夹持面。

上述技术方案的工作原理及有益效果为：

对应于夹取区域的第一图像采集设备可以为拍摄范围与夹取区域存在交集的深度相机。通过第一图像采集设备拍摄夹取区域的第一图像，基于第一图像，进行机械手臂夹取时可以夹持的可夹持面的挑选。挑选完可夹持面后，获取目标物件的物件类型对应的预设的夹取力度，该夹取力度可以由工作人员事先测试确定。控制机械手臂以夹取力度夹持可夹持面。保证夹取的适宜性，不对目标物件造成损伤，也提升了夹持的稳定性。

挑选可夹持面时，从第一图像中提取目标物件的第一三维信息，并构建第一三维模型。引入预设的第一特征提取模板，对第一三维模型上除了触地表面(与夹取区域的表面接触的底面，一般为平面)之外的第一表面进行特征提取，获得多个第一特征值，第一特征值可以为：表面的平整度、表面的面积大小和表面的形状等。基于第一特征值，构建表面描述向量。引入机械手臂对应的预设的夹持适配向量，夹持适配向量为与机械手臂上的机械爪的形状和大等适配的物件表面的与第一特征值同理的特征值构建成的向量。计算表面描述向量与夹持适配向量的相似度，公式为：

D为相似度，A和B分别为分析描述向量与分析习惯向量。相似度越大，说明对应第一表面与机械手臂的机械爪越适配。将数据构建成向量属于现有技术，不作赘述。当相似度大于等于预设的相似度阈值时，说明对应第一标准足够适配，作为第二表面。但是，机械手臂的机械爪需要夹持物件的至少2个面(相对面)才能够将目标物件夹持起来，因此，挑选的可夹持面需要满足预设的夹持位置关系，夹持位置关系可以为，例如：相对。极大程度升提升了可夹持面挑选的适宜性和精准性。一般的，物件均是同一姿态摆放在夹取区域中，夹持面可由用户固定设置，而本申请中，物件可以随机摆放，夹持面由系统确定，极大程度上提升了适用性。

本发明提供一种控制机械手臂夹取和放置物件的系统，控制模块2控制机械手臂将目标物件放置于放置区域内，包括：

控制机械手臂移动至放置区域内；

当机械手臂进入放置区域内时，通过对应于放置区域的至少一个第二图像采集设备获取放置区域的第二图像；

从第二图像中提取放置区域的第二三维信息；

基于第二三维信息，构建放置区域的第二三维模型；

从第二三维模型中确定对应于机械手臂夹持着目标物件的第一局部模型和对应于物件摆放区的第二局部模型；

基于预设的模拟摆放模型，对第一局部模型在第二局部模型内进行模拟摆放，获得多个模拟摆放结果；

基于预设的第二特征提取模板，对模拟摆放过程中第一局部模型与第二局部模型始终不存在重叠区域的模拟摆放结果进行特征提取，获得多个第二特征值；

基于第二特征值，构建摆放描述向量；

获取预设的摆放评价库；

基于摆放描述向量和摆放评价库，确定评价值；

基于最大评价值对应的模拟摆放过程，控制机械手臂将目标物件放置于放置区域内。

上述技术方案的工作原理及有益效果为：

对应于放置区域的第二图像采集设备可以为拍摄范围与放置区域存在交集的深度相机。通过第二图像采集设备拍摄第二图像，从中提取出放置区域的第二三维信息，并构建第二三维模型。从第二三维模型中确定对应于机械手臂夹持着目标物件的第一局部模型(包含机械手臂三维模型和目标物件三维模型)以及对应于物件摆放区的第二局部模型(包含物件摆放区的三维模型和物件摆放区上已经摆放的各个物件的三维模型)。引入预设的模拟摆放模型，模拟摆放模型为利用大量人工进行物件模拟摆放至物件摆放区内的记录进行训练收敛的人工智能模型。基于模拟摆放模型，进行模拟摆放，获得多个模拟摆放结果，模拟摆放结果可以为目标物件的三维模型摆放至第二局部模型中的物件摆放区的三维模型中后的第二局部模型。模拟摆放过程中第一局部模型与第二局部模型始终不存在重叠区域，说明机械手臂进行对应真实摆放时，机械手臂和目标物件不会和放置区域内的任何物体发生碰撞。提升了最佳摆放方式挑选的合理性。引入预设的第二特征提取模板，不会发生碰撞的模拟摆放结果进行特征提取，获得多个第二特征值，第二特征值可以为：目标物件的三维模型与其相邻的物件摆放区上已经摆放的各个物件的三维模型之间的距离和目标物件的三维模型与其相邻的物件摆放区上已经摆放的各个物件的三维模型之间的空白区域大小等。基于第二特征值，构建摆放描述向量。引入预设的摆放评价库，摆放评价库中存储有不同摆放描述向量对应的评价值，例如：为目标物件的三维模型与其相邻的物件摆放区上已经摆放的各个物件的三维模型之间的距离的第二特征值越小，说明区域摆放的利用率越高，评价值越大。基于摆放评价库，确定摆放描述向量对应的评价值，基于最大评价值对应的模拟摆放过程，控制机械手臂将目标物件放置于放置区域内。极大程度上提升了物件摆放至放置区域内的适宜性，同时，也更加智能化。

本发明提供一种控制机械手臂夹取和放置物件的系统，还包括：

预警模块，用于在机械手臂前往夹取区域内夹取目标物件或将目标物件放置于放置区域内的移动过程中，进行安全预警；

其中，预警模块进行安全预警，包括：

获取机械手臂接下来预设的第一时间内的未来移动轨迹；

通过对应于未来移动轨迹的至少一个第三图像采集设备获取未来移动轨迹周边的第三图像；

基于第三图像，确定是否存在人员靠近未来移动轨迹；

若是，基于第三图像，跟踪确定人员的第一位置、移动方向和第一移动速度；

获取预设的时间对照库；

基于第一移动速度和时间对照库，对照确定第二时间；

获取机械手臂当前的第二位置和第二移动速度；

基于第二位置和第二移动速度，确定机械手臂接下来第二时间后移动至的未来移动轨迹上的第三位置；

基于第一位置和移动方向，构建第一方向向量；

基于第二位置和第三位置，构建第二方向向量；

基于预设的预警信息生成模板，根据第一方向向量和第二方向向量，生成预警信息；

基于预警信息，对人员进行预警提醒。

上述技术方案的工作原理及有益效果为：

一般的，当机械手臂在工作时，可能会有工作人员在附近进行监管、设备检修和维护以及物件取用等，但是，机械手臂的移动轨迹具有不规律性，工作人员无法知道机械手臂在执行物件转移任务时的未来移动轨迹，因此，可能会发生工作人员与机械手臂发生碰撞的安全事故。因此，亟需进行解决。

获取机械手臂接下来预设的第一时间内的未来移动轨迹，系统在控制机械手臂移动时，会进行移动轨迹规划，第一时间可以为，例如：10秒。对应于未来移动轨迹的第三图像采集设备可以为拍摄范围与未来移动轨迹存在交集的摄像机。通过第三图像采集设备拍摄第三图像，基于第三图像，确定是否有人员靠近未来移动轨迹，若是，触发安全预警，基于第三图像，跟踪确定人员的第一位置、移动方向和第一移动速度，第一位置可以基于单帧图像确定，移动方向和移动速度可基于连续帧图像确定，属于现有技术范畴，不作赘述。引入预设的时间对照库，时间对照库中存储有不同速度对应的第二时间，速度越快，说明人员的移动越未知，发生安全事故的可能性越大，第二时间应越小，使得基于第二位置和第三位置构建的第二方向向量反应的机械手臂移动情况越精准。基于第一位置和移动方向，构建第一方向向量。第一方向向量的大小随机，第二方向向量的方向为从第二位置向第三位置。引入预设的预警信息生成模板，根据第一方向向量和第二方向向量，生成预警信息，预警信息指示人员由当前移动方向如何调整才能避开机械手臂的未来方向。基于预警信息，对人员进行提醒，例如：利用投射装置在现场投射指示箭头。极大程度上提升了机械手臂移动作业时的安全性，另外，根据紧急程度，进行不同程度的动态预警，更具有适宜性。

本发明提供一种控制机械手臂夹取和放置物件的方法，如图2所示，包括：

步骤1：获取物件转移任务，物件转移任务包括：目标物件、夹取区域和放置区域；

步骤2：控制机械手臂前往夹取区域内夹取目标物件，夹取完成后，控制机械手臂将目标物件放置于放置区域内。

本发明提供一种控制机械手臂夹取和放置物件的方法，步骤1中，获取物件转移任务，包括：

获取至少两个工作人员进行对讲时产生的第一对讲记录；

将第一对讲记录按照产生先后顺序进行排序，获得对讲记录序列；

从对讲记录序列的起点向终点对第一对讲记录进行第一遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第一语义；

获取预设的触发语义库，将第一语义与触发语义库中的触发语义进行匹配；

若匹配符合，暂停第一遍历，同时，将遍历到的第一对讲记录作为第二对讲记录；

对对讲记录序列中第二对讲记录之后的第一对讲记录进行第二遍历；

每次遍历时，对遍历到的第一对讲记录进行语义提取，获得第二语义；

基于语义理解技术，确认第二语义与第一语义或对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义之间是否存在语义关联；

若否，停止第二遍历，将遍历到的第一对讲记录作为第一遍历的新的遍历起点继续进行第一遍历，同时，将第一语义和对讲记录序列中第二对讲记录与遍历到的第一对讲记录之间的第一对讲记录的第三语义输入至预设的有效语义确定模型中，确定有效语义；

基于预设的物件转移任务生成模板，根据有效语义，生成物件转移任务。

本发明提供一种控制机械手臂夹取和放置物件的方法，步骤2中，控制机械手臂前往夹取区域内夹取目标物件，包括：

通过对应于夹取区域的至少一个第一图像采集设备获取夹取区域的第一图像；

基于第一图像，确定目标物件的可夹持面；

获取目标物件的物件类型对应的预设的夹取力度；

控制机械手臂前往夹取区域内以夹取力度夹持通过可夹持面夹持目标物件；

其中，基于第一图像，确定目标物件的可夹持面，包括：

从第一图像中提取目标物件的第一三维信息；

基于第一三维信息，构建目标物件的第一三维模型；

基于预设的第一特征提取模板，对第一三维模型上除了触地表面之外的每个第一表面进行特征提取，获得多个第一特征值；

基于第一特征值，构建第一表面的表面描述向量；

获取机械手臂对应的预设的夹持适配向量；

计算表面描述向量与夹持适配向量的相似度；

若相似度大于等于预设的相似度阈值，将对应第一表面作为第二表面；

获取机械手臂对应的预设的夹持位置关系；

从第二表面中确定满足夹持位置关系的第二表面，并作为目标物件的可夹持面。

本发明提供一种控制机械手臂夹取和放置物件的方法，控制机械手臂将目标物件放置于放置区域内，包括：

控制机械手臂移动至放置区域内；

当机械手臂进入放置区域内时，通过对应于放置区域的至少一个第二图像采集设备获取放置区域的第二图像；

从第二图像中提取放置区域的第二三维信息；

基于第二三维信息，构建放置区域的第二三维模型；

从第二三维模型中确定对应于机械手臂夹持着目标物件的第一局部模型和对应于物件摆放区的第二局部模型；

基于预设的模拟摆放模型，对第一局部模型在第二局部模型内进行模拟摆放，获得多个模拟摆放结果；

基于预设的第二特征提取模板，对模拟摆放过程中第一局部模型与第二局部模型始终不存在重叠区域的模拟摆放结果进行特征提取，获得多个第二特征值；

基于第二特征值，构建摆放描述向量；

获取预设的摆放评价库；

基于摆放描述向量和摆放评价库，确定评价值；

基于最大评价值对应的模拟摆放过程，控制机械手臂将目标物件放置于放置区域内。

本发明提供一种控制机械手臂夹取和放置物件的方法，还包括：

在机械手臂前往夹取区域内夹取目标物件或将目标物件放置于放置区域内的移动过程中，进行安全预警；

其中，进行安全预警，包括：

获取机械手臂接下来预设的第一时间内的未来移动轨迹；

通过对应于未来移动轨迹的至少一个第三图像采集设备获取未来移动轨迹周边的第三图像；

基于第三图像，确定是否存在人员靠近未来移动轨迹；

若是，基于第三图像，跟踪确定人员的第一位置、移动方向和第一移动速度；

获取预设的时间对照库；

基于第一移动速度和时间对照库，对照确定第二时间；

获取机械手臂当前的第二位置和第二移动速度；

基于第二位置和第二移动速度，确定机械手臂接下来第二时间后移动至的未来移动轨迹上的第三位置；

基于第一位置和移动方向，构建第一方向向量；

基于第二位置和第三位置，构建第二方向向量；

基于预设的预警信息生成模板，根据第一方向向量和第二方向向量，生成预警信息；

基于预警信息，对人员进行预警提醒。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种控制机械手臂夹取和放置物件的系统，其特征在于，包括：

获取模块，用于获取物件转移任务，所述物件转移任务包括：目标物件、夹取区域和放置区域；

控制模块，用于控制机械手臂前往所述夹取区域内夹取所述目标物件，夹取完成后，控制机械手臂将所述目标物件放置于所述放置区域内；

所述获取模块获取物件转移任务，包括：

获取至少两个工作人员进行对讲时产生的第一对讲记录；

将所述第一对讲记录按照产生先后顺序进行排序，获得对讲记录序列；

从所述对讲记录序列的起点向终点对所述第一对讲记录进行第一遍历；

每次遍历时，对遍历到的所述第一对讲记录进行语义提取，获得第一语义；

获取预设的触发语义库，将所述第一语义与所述触发语义库中的触发语义进行匹配；

若匹配符合，暂停第一遍历，同时，将遍历到的所述第一对讲记录作为第二对讲记录；

对所述对讲记录序列中所述第二对讲记录之后的所述第一对讲记录进行第二遍历；

每次遍历时，对遍历到的所述第一对讲记录进行语义提取，获得第二语义；

基于语义理解技术，确认所述第二语义与所述第一语义或所述对讲记录序列中所述第二对讲记录与遍历到的所述第一对讲记录之间的所述第一对讲记录的第三语义之间是否存在语义关联；

若否，停止第二遍历，将遍历到的所述第一对讲记录作为第一遍历的新的遍历起点继续进行第一遍历，同时，将所述第一语义和所述对讲记录序列中所述第二对讲记录与遍历到的所述第一对讲记录之间的所述第一对讲记录的第三语义输入至预设的有效语义确定模型中，确定有效语义；

基于预设的物件转移任务生成模板，根据所述有效语义，生成物件转移任务；

所述系统还包括：

预警模块，用于在机械手臂前往所述夹取区域内夹取所述目标物件或将所述目标物件放置于所述放置区域内的移动过程中，进行安全预警；

其中，所述预警模块进行安全预警，包括：

获取机械手臂接下来预设的第一时间内的未来移动轨迹；

通过对应于所述未来移动轨迹的至少一个第三图像采集设备获取所述未来移动轨迹周边的第三图像；

基于所述第三图像，确定是否存在人员靠近所述未来移动轨迹；

若是，基于所述第三图像，跟踪确定所述人员的第一位置、移动方向和第一移动速度；

获取预设的时间对照库；

基于所述第一移动速度和所述时间对照库，对照确定第二时间；

获取所述机械手臂当前的第二位置和第二移动速度；

基于所述第二位置和所述第二移动速度，确定机械手臂接下来所述第二时间后移动至的所述未来移动轨迹上的第三位置；

基于所述第一位置和所述移动方向，构建第一方向向量；

基于所述第二位置和所述第三位置，构建第二方向向量；

基于预设的预警信息生成模板，根据所述第一方向向量和所述第二方向向量，生成预警信息；

基于所述预警信息，对所述人员进行预警提醒。

2.如权利要求1所述的一种控制机械手臂夹取和放置物件的系统，其特征在于，所述控制模块控制机械手臂前往所述夹取区域内夹取所述目标物件，包括：

通过对应于所述夹取区域的至少一个第一图像采集设备获取所述夹取区域的第一图像；

基于所述第一图像，确定所述目标物件的可夹持面；

获取所述目标物件的物件类型对应的预设的夹取力度；

控制机械手臂前往所述夹取区域内以所述夹取力度夹持通过所述可夹持面夹持所述目标物件；

其中，所述控制模块基于所述第一图像，确定所述目标物件的可夹持面，包括：

从所述第一图像中提取所述目标物件的第一三维信息；

基于所述第一三维信息，构建所述目标物件的第一三维模型；

基于预设的第一特征提取模板，对所述第一三维模型上除了触地表面之外的每个第一表面进行特征提取，获得多个第一特征值；

基于所述第一特征值，构建所述第一表面的表面描述向量；

获取机械手臂对应的预设的夹持适配向量；

计算所述表面描述向量与所述夹持适配向量的相似度；

若所述相似度大于等于预设的相似度阈值，将对应所述第一表面作为第二表面；

获取机械手臂对应的预设的夹持位置关系；

从所述第二表面中确定满足所述夹持位置关系的所述第二表面，并作为所述目标物件的可夹持面。

3.如权利要求2所述的一种控制机械手臂夹取和放置物件的系统，其特征在于，所述控制模块控制机械手臂将所述目标物件放置于所述放置区域内，包括：

控制机械手臂移动至所述放置区域内；

当机械手臂进入所述放置区域内时，通过对应于所述放置区域的至少一个第二图像采集设备获取所述放置区域的第二图像；

从所述第二图像中提取所述放置区域的第二三维信息；

基于所述第二三维信息，构建所述放置区域的第二三维模型；

从所述第二三维模型中确定对应于机械手臂夹持着所述目标物件的第一局部模型和对应于物件摆放区的第二局部模型；

基于预设的模拟摆放模型，对所述第一局部模型在所述第二局部模型内进行模拟摆放，获得多个模拟摆放结果；

基于预设的第二特征提取模板，对模拟摆放过程中所述第一局部模型与所述第二局部模型始终不存在重叠区域的所述模拟摆放结果进行特征提取，获得多个第二特征值；

基于所述第二特征值，构建摆放描述向量；

获取预设的摆放评价库；

基于所述摆放描述向量和所述摆放评价库，确定评价值；

基于最大所述评价值对应的所述模拟摆放过程，控制机械手臂将所述目标物件放置于所述放置区域内。

4.一种控制机械手臂夹取和放置物件的方法，其特征在于，包括：

步骤1：获取物件转移任务，所述物件转移任务包括：目标物件、夹取区域和放置区域；

步骤2：控制机械手臂前往所述夹取区域内夹取所述目标物件，夹取完成后，控制机械手臂将所述目标物件放置于所述放置区域内；

所述步骤1中，获取物件转移任务，包括：

获取至少两个工作人员进行对讲时产生的第一对讲记录；

将所述第一对讲记录按照产生先后顺序进行排序，获得对讲记录序列；

从所述对讲记录序列的起点向终点对所述第一对讲记录进行第一遍历；

每次遍历时，对遍历到的所述第一对讲记录进行语义提取，获得第一语义；

获取预设的触发语义库，将所述第一语义与所述触发语义库中的触发语义进行匹配；

若匹配符合，暂停第一遍历，同时，将遍历到的所述第一对讲记录作为第二对讲记录；

对所述对讲记录序列中所述第二对讲记录之后的所述第一对讲记录进行第二遍历；

每次遍历时，对遍历到的所述第一对讲记录进行语义提取，获得第二语义；

基于语义理解技术，确认所述第二语义与所述第一语义或所述对讲记录序列中所述第二对讲记录与遍历到的所述第一对讲记录之间的所述第一对讲记录的第三语义之间是否存在语义关联；

若否，停止第二遍历，将遍历到的所述第一对讲记录作为第一遍历的新的遍历起点继续进行第一遍历，同时，将所述第一语义和所述对讲记录序列中所述第二对讲记录与遍历到的所述第一对讲记录之间的所述第一对讲记录的第三语义输入至预设的有效语义确定模型中，确定有效语义；

基于预设的物件转移任务生成模板，根据所述有效语义，生成物件转移任务；

所述方法还包括：

在机械手臂前往所述夹取区域内夹取所述目标物件或将所述目标物件放置于所述放置区域内的移动过程中，进行安全预警；

其中，所述进行安全预警，包括：

获取机械手臂接下来预设的第一时间内的未来移动轨迹；

通过对应于所述未来移动轨迹的至少一个第三图像采集设备获取所述未来移动轨迹周边的第三图像；

基于所述第三图像，确定是否存在人员靠近所述未来移动轨迹；

若是，基于所述第三图像，跟踪确定所述人员的第一位置、移动方向和第一移动速度；

获取预设的时间对照库；

基于所述第一移动速度和所述时间对照库，对照确定第二时间；

获取所述机械手臂当前的第二位置和第二移动速度；

基于所述第二位置和所述第二移动速度，确定机械手臂接下来所述第二时间后移动至的所述未来移动轨迹上的第三位置；

基于所述第一位置和所述移动方向，构建第一方向向量；

基于所述第二位置和所述第三位置，构建第二方向向量；

基于预设的预警信息生成模板，根据所述第一方向向量和所述第二方向向量，生成预警信息；

基于所述预警信息，对所述人员进行预警提醒。

5.如权利要求4所述的一种控制机械手臂夹取和放置物件的方法，其特征在于，所述步骤2中，控制机械手臂前往所述夹取区域内夹取所述目标物件，包括：

通过对应于所述夹取区域的至少一个第一图像采集设备获取所述夹取区域的第一图像；

基于所述第一图像，确定所述目标物件的可夹持面；

获取所述目标物件的物件类型对应的预设的夹取力度；

控制机械手臂前往所述夹取区域内以所述夹取力度夹持通过所述可夹持面夹持所述目标物件；

其中，所述基于所述第一图像，确定所述目标物件的可夹持面，包括：

从所述第一图像中提取所述目标物件的第一三维信息；

基于所述第一三维信息，构建所述目标物件的第一三维模型；

基于预设的第一特征提取模板，对所述第一三维模型上除了触地表面之外的每个第一表面进行特征提取，获得多个第一特征值；

基于所述第一特征值，构建所述第一表面的表面描述向量；

获取机械手臂对应的预设的夹持适配向量；

计算所述表面描述向量与所述夹持适配向量的相似度；

若所述相似度大于等于预设的相似度阈值，将对应所述第一表面作为第二表面；

获取机械手臂对应的预设的夹持位置关系；

从所述第二表面中确定满足所述夹持位置关系的所述第二表面，并作为所述目标物件的可夹持面。

6.如权利要求5所述的一种控制机械手臂夹取和放置物件的方法，其特征在于，控制机械手臂将所述目标物件放置于所述放置区域内，包括：

控制机械手臂移动至所述放置区域内；

当机械手臂进入所述放置区域内时，通过对应于所述放置区域的至少一个第二图像采集设备获取所述放置区域的第二图像；

从所述第二图像中提取所述放置区域的第二三维信息；

基于所述第二三维信息，构建所述放置区域的第二三维模型；

从所述第二三维模型中确定对应于机械手臂夹持着所述目标物件的第一局部模型和对应于物件摆放区的第二局部模型；

基于预设的模拟摆放模型，对所述第一局部模型在所述第二局部模型内进行模拟摆放，获得多个模拟摆放结果；

基于预设的第二特征提取模板，对模拟摆放过程中所述第一局部模型与所述第二局部模型始终不存在重叠区域的所述模拟摆放结果进行特征提取，获得多个第二特征值；

基于所述第二特征值，构建摆放描述向量；

获取预设的摆放评价库；

基于所述摆放描述向量和所述摆放评价库，确定评价值；

基于最大所述评价值对应的所述模拟摆放过程，控制机械手臂将所述目标物件放置于所述放置区域内。

Images