CN114310883A - 一种基于多知识库的机械臂自主装配方法 - Google Patents
一种基于多知识库的机械臂自主装配方法 Download PDFInfo
- Publication number
- CN114310883A CN114310883A CN202111597370.4A CN202111597370A CN114310883A CN 114310883 A CN114310883 A CN 114310883A CN 202111597370 A CN202111597370 A CN 202111597370A CN 114310883 A CN114310883 A CN 114310883A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- assembly
- task
- knowledge bases
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多知识库的机械臂自主装配方法，首先构造实体库和技能库组成多知识库；实体库包含物体基本信息、关系信息、推理模型等；技能库包含技能序列、技能基元以及操作任务过程中产生的操作信息；在本发明中通过使用实体库来解决场景中的物体关系难以识别问题；通过使用技能库来对技能进行复用；从而解决了现有技术不能良好理解装配场景中物件之间的关系以及场景环境内高层次语义信息的问题。同时，利用技能库实现装配过程中技能快速的复用，结合视觉传感器与推理模块实现械臂闭环自主装配，提高了机械臂对环境的智能感知能力和理解能力，进而提高整个机械臂在执行装配任务的鲁棒性和准确性，具有泛化装配任务、闭环动态装配的特点。
Description
技术领域
本发明涉及机械臂自主装配方法领域，特别是涉及一种基于多知识库的机械臂自主装配方法。
背景技术
机械臂自主装配技术是机器人领域的研究热点以及难点之一，目前，具有操作灵活、精准度高等优点的高自由度机械臂已广泛用于工业生产、航空航天等领域。工业生产环境约束众多，在复杂的环境中，准确获得装配任务涉及的物体、零件以及物体在场景中的关系是机械臂高质量完成自主装配任务的关键，这对机械臂的智能化水平提出了更高的要求。视觉传感器因其非接触、能提供丰富的信息而广泛的应用在机器人技术中，目前利用规划知识库也可以快速对任务的执行路径进行规划。在此基础上，对于提高机械臂自主装配的智能化水平、扩展其应用范围具有重要的理论研究意义和广阔的实际应用前景。
在现代工业自动化生产中，传统的工业机器人已经得到了广泛应用，但目前大多数机器人系统都是通过视觉传感器、示教器或者离线编程方式工作的。尽管近几年，深度学习得到了迅速的发展，提出了很多分类性能优秀的网络模型，例如，R-CNN、FasterR-CNN等。这些算法可以针对不同的目标物体，利用训练好的网络结构使用相同的模型参数，同时完成对多个目标的识别及检测任务。但由于缺乏对环境的高层次语义感知和应变能力，这很难直接应用于类似3C、航空航天场景下的任务装配。现有自主装配任务主要存在下面两个方面的问题：1）、 场景中的物体关系难以识别；2）、 操作技能难以重复利用。对于问题1）：在装配场景中执行装配任务时，场景中的物体存在遮挡，嵌入（鸡蛋在碗里）、上下、紧邻等关系，这些关系很难通过视觉系统直接识别出来，但这些关系对自主装配的成功率有很大的影响。对于问题2）：现有的完成装配任务方式主要是使用MoveIt多步规划并结合硬编码指定装配顺序和过程。该过程缺乏准确性和灵活性，技能也无法得到复用，观察装配任务的操作过程，这些技能我们可以通过抽象进行封装、结构化存储和复用。（复用可以快速的推理出完成整个装配任务所需要的技能序列，同时在装配过程中，对装配出现的状况进行闭环再推理和断点执行修复；进而提高整个自主闭环装配的鲁棒性和准确性。）
因此，需要研究一种新的技术方案来解决上述问题。
发明内容
为了解决上述现有技术的缺陷和不足，本发明提供了一种基于多知识库的机械臂自主装配方法（多知识库是包含物体基本信息、物体间关系信息、操作信息、技能信息、推理模型等综合数据信息的集合；首先构造实体库和技能库；实体库中主要包含物体基本信息、关系信息、推理模型等；技能库主要包含技能序列、技能基元以及操作任务过程中产生的操作信息。），其通过使用构建的实体库来解决场景中的物体关系难以识别问题；通过使用构建的技能库来对技能进行复用；从而解决了现有技术不能很好的理解装配场景中物件之间的关系以及场景环境内的高层次语义信息的问题。同时，该方案利用技能库实现装配过程中技能快速的复用，结合视觉传感器与推理模块实现械臂闭环自主装配，提高了机械臂对环境的智能感知能力和理解能力，进而提高整个机械臂在执行装配任务的鲁棒性和准确性，具有泛化装配任务、闭环动态装配的特点。
为实现上述目的，本发明采用如下之技术方案：一种基于多知识库的机械臂自主装配方法，应用有多知识库，所述多知识库包括有实体库和技能库；还包括有如下步骤：
步骤1、主机接收传来的装配任务和装配任务的相关描述；
步骤2、利用分词工具以及语言解析模型获取与装配任务直接相关的目标物体和过程可能涉及到的工具；
步骤3、利用视觉相机捕获机器人装配操作台上的图像；
步骤4、利用基于深度学习的多目标检测网络，检测机械臂操作台上所有的未知物体，此时根据步骤2的结果以及推理模型得到的关系初步排除干扰物体；对初步排除结果后的物体获得图像特征；
步骤5、根据步骤2的结果，利用实体库查询并轮询推理得到目标物体的特征值、用途、属性、描述信息、实体目标间的关系；
步骤6、根据步骤4和步骤5的结果以及结合识别模型快速得到识别目标，进而得到具体所需目标的具体图像特征；
步骤7、利用深度相机获得所需图像特征对应的深度值；
步骤8、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂操作目标物体的最优抓取位置；
步骤9、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；
步骤10、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂操作目标的最优姿态；
步骤11、利用技能库获取操作该任务的序列；
步骤12、向机械臂控制柜发送相应的控制信息以控制机械臂完成基于多知识库的自主装配任务。
作为一种优选方案，还包括有步骤13，当装配完成时，则任务执行结束；否则，再次进入步骤11，根据当前断点，调整、获得操作任务的执行序列。
作为一种优选方案，步骤4所述的图像特征为抓取目标的中心位置，其计算公式如下
， 式中，(
)为抓去目标框的左下角的像素坐标，(
)为右下角的像素坐标。
作为一种优选方案，构建步骤5所述实体库包括以下过程：
通过界面和/或Restful接口将实体数据信息存储于实体库。
作为一种优选方案，所述实体数据信息包括有实体的属性信息、实体的图像特征值、实体间的关系、实体的描述信息。
作为一种优选方案，步骤6所述的识别模型为：利用实体库中的原始数据及原始数据的增强训练得来。
作为一种优选方案，步骤7采用双目测距获得所需目标图像特征对应的深度值。
作为一种优选方案，步骤8中，包括将世界坐标系和最优抓取位置信息汇总为参数A；步骤10中，包括将将图像特征的法向量和最优姿态信息汇总为参数B；步骤11所述序列由若干个动作基元组成，并且，步骤11将参数A和参数B封装入动作基元。
作为一种优选方案，步骤12中，主机通过以太网向机械臂控制柜发送控制信息。
作为一种优选方案，步骤2利用分词工具和语言解析模型的过程，包括以下步骤：首先，对输入的装配任务信息和相关描述进行分词，根据预训练进行推理，得到要执行的任务对象和工具，然后经过检测网络对装配操作台上的物体进行全范围检测，最后，提取检测框内的未知物体的特征值。
本发明与现有技术相比具有明显的优点和有益效果，具体而言，由上述技术方案可知，其主要是：
一、本发明利用实体库应用于场景基础的存储,经过对实体主要详细属性提取和存储,能够为目标检测与识别提供基础数据集的同时提升装配目标的检测和识别的精准性和鲁棒性；
二、实体库中包含复杂装配环境中实体与实体的关系；这种实体间的关联尤其在装配物体种类繁多、遮挡严重、光照变化、位置变化等复杂多变的环境下,能够通过装配目标与工具、目标与目标、工具与工具之间的关系；辅助智能体理解当前环境和操作实体间的语义信息；提高机械臂装配目标闭环的准确性和鲁棒性；
三、本发明利用技能库并应用于装配任务执行序列中,根据技能基元的分解与组合,达到技能高复用的目的，同时，增加了闭环执行装配任务的灵活性；
四、结合视觉和推理模块,有效的提高了自主装配的智能化水平。
为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。
附图说明
图1为本发明之实施例的总体系统框架示意图；
图2为本发明之实施例的实体库构建与使用图示意图；
图3为本发明之实施例的双目测距原理示意图；
图4为本发明之实施例的坐标转换过程示意图；
图5为本发明之实施例的技能库构建与使用示意图；
图6为本发明之实施例的技能分解示意图；
图7为本发明之实施例的根据任务和技能库生产带封装参数的技能序列与执行接口映射图；
图8为图7的局部放大图（上侧部分）；
图9为图7的另一局部放大图（下侧部分）；
图10为本发明之实施例的大致流程图。
具体实施方式
下面将结合附图，对本发明对本实施例中的技术方案进行清晰、完整的描述，显然，所描述的实施例仅仅是本发明的较佳实施例。
参照附图1至图10，在本发明实施例中的一种基于多知识库的机械臂自主装配方法，应用有多知识库，所述多知识库是包含物体基本信息、物体间关系信息、操作信息、技能信息、推理模型等综合数据信息的集合；其包括有实体库和技能库；实体库中主要包含物体基本信息、关系信息、推理模型等；技能库主要包含技能序列、技能基元以及操作任务过程中产生的操作信息；其中，所述基本信息主要指物体/目标的属性信息、描述信息，操作数据主要是指在完成装配任务时，操作物体过程所产生的数据，这些数据可以作为训练推理以及闭环执行装配任务的数据基石，技能信息主要是指操作装配任务所涉及的技能序列，其中技能序列可以分解为动作基元（技能基元）。推理模型主要是通过基本信息、综合数据信息（物体图像特征，物体位姿、物体间关系、物体间操作技能序列等）预训练得到模型，该模型除了可以快速得到装配场景物体的相关基础信息以及任务场景中所涉及的目标间关系，也可以加速训练适配新场景的装配。
具体而言：其包括有如下步骤：
步骤1、主机（后端）接收传来的装配任务和装配任务的相关描述；
步骤2、利用分词工具以及语言解析模型获取与装配任务直接相关的目标物体和过程可能涉及到的工具；此时，主机能够从多知识库初步获取得到一些可能相关的目标物体和可能涉及到的工具；并初步排除其他明显和任务无关的物体和工具；此处，对步骤2中利用分词工具和语言解析模型过程的具体说明如下：首先，对输入的装配任务信息和相关描述进行分词，根据预训练进行推理，得到要执行的任务对象和工具，然后经过检测网络对装配操作台上的物体进行全范围检测，最后，提取检测框内的未知物体的特征值；此特征值为之后步骤快速、精准识别筛选预处理。
步骤3、利用视觉相机捕获机器人装配操作台上的图像；并且保证机械臂的操作目标在视觉相机视野范围内；
步骤4、利用基于深度学习的多目标检测网络，检测机械臂操作台上所有的未知物体，此时根据步骤2的结果以及推理模型得到的关系初步排除干扰物体；对初步排除后的物体获得图像特征；此时，初步排除的干扰物体是指非同类或明显形状不同的物体；例如，目标需要的是螺母和螺栓，而场景桌面上有工具盒、水杯等直观干扰物，其能够直接将这类干扰物排除；但是，此过程还无法排除同类和近似形状的物体，如，目标物体是M5号螺母，但是其无法排除M4号螺母等相似度高的物体。
步骤5、根据步骤2的结果，利用实体库查询并轮询推理得到目标物体的特征值、用途、属性、描述信息、实体目标间的关系；此时，其得到的是理想的唯一、准确目标的相关参数；
步骤6、根据步骤4和步骤5的结果以及结合识别模型快速得到识别目标，进而得到具体所需目标的具体图像特征；如此，其根据步骤4的实时场景信息和步骤5的目标预存信息做进一步地细粒度筛选工作，经过这一轮的筛选，我们可以在步骤6中获得当下装配场景的实时唯一、准确目标。需说明的是，步骤4和步骤5是可以并行执行的，本实施例只是为了便于描述把两个并行执行的结果放在步骤6中做进一步的筛选工作；此外，不用步骤5的结果直接作为我们目标的好处在于是：实时场景是非固定的，物体的位置也是会有变动的，而步骤4的结果是在当下装配场景的，即实时的（real-time），我们要获取的唯一、准确的目标相关值也是需要当下实时，即：通过步骤4和步骤5的结果数据结合更能确保本实施例之机械臂自主装配的准确性。
步骤7、利用深度相机获得所需图像特征对应的深度值；
步骤8、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂操作目标物体的最优抓取位置；
步骤9、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；
步骤10、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂操作目标的最优姿态；
步骤11、利用技能库获取操作该任务的序列；
步骤12、向机械臂控制柜发送相应的控制信息以控制机械臂完成基于多知识库的自主装配任务。
如此，本发明通过构建实体库与技能库，使用实体库的描述、属性值、实体间关系等来解决场景中的物体关系难以识别问题；使用构建的技能库来对技能进行复用。结合视觉传感器与推理模块,整个发明方案提高了理解装配场景中物件之间的关系以及场景环境内的高层次语义信息,这极大提高了装配任务的成功率和准确率。同时，该方案利用技能库实现装配过程中技能快速的复用，并实现闭环的断点重新执行,确保装配任务的最终完成；整体提高了机械臂对环境的智能感知能力和理解能力，进而提高整个机械臂在执行装配任务的鲁棒性和准确性，具有泛化装配任务、闭环动态装配的特点。
优选地，还包括有步骤13，当装配（任务执行）完成时，则任务执行完成并结束；否则，根据当前断点重新理由技能库推理查询获得调整后的执行序列，直至装配操作任务完成。
再次进入步骤11，根据当前断点，调整、获得操作任务的执行序列。
优选地，步骤4所述的图像特征为抓取目标的中心位置，其计算公式如下
， 式中，(
)为抓去目标框的左下角的像素坐标，(
)为右下角的像素坐标；从而获得(
)，即为图像特征点。
优选地，构建步骤5所述实体库包括以下过程：通过界面和/或Restful接口将实体数据信息存储于实体库。参阅图2，具体说明如下:构建实体库通常在机械臂装配工作之前，实体库中的数据主要包括实体的属性描述(例如: 材质、形状、颜色等)、实体各角度采集的图片、实体的预提取特征、文本描述数据、存储的实体与实体之间进行关系的关联(例如:螺母-插入-螺栓)。其形式可表达为三元组RDF，知识的表达形式为(实体)-[关系]-(实体)，(实体)-[关系]-(值)；最后将实体库的构建结果在图数据库中持久化。构建完成的知识库我们可以通过Restful、Cypher等进行查询，并对查询的结果进行推理和筛选，以此得到任务目标实体相关属性和周边环境关系。
优选地，所述实体数据信息包括有实体的属性信息、实体的图像特征值、实体间的关系、实体的描述信息。具体地说，所述实体库主要通过关系型数据库和NoSQL数据库存储表示，实体库中存储上述实体的属性信息、实体图像特征值、实体间的关系、实体的描述信息。(例如:在螺母装配螺栓任务中，螺母螺栓都属于实体，在存储螺母实体时，我们首先将通过存储操作界面的提交结果数据，结构化为{“name”:“螺母”，
“describe”:“M5型号螺母，主要用于装配M5号螺栓”，
“feature”:“螺母 features”，
“relation”:“{[key:装配，entity:螺栓}…]}”，
“picture”:“picture files”)}；其中，relation的属性值优选列表类型，通过提供相关的接口可以方便修改增添该属性值。将该结构化数据作为记录存入关系型数据库，通过构建脚本转化入图数据库Neo4j，方便后续对实体节点的推理查询和修改。
优选地，步骤6所述的识别模型为：利用实体库中的原始数据及原始数据的增强训练得来；需说明的，此处的数据增强主要是对实体图片文件进行扩增，同时得到扩增的实体特征文件。识别模型在训练时除了增加了实体的文本描述、实体本身的属性信息同时也嵌入实体关联关系，在识别时可以获得目标物体以及实体间关联关系，这些关联关系本身也可以在一定程度上区别物体。除此之外，推理出的关系对机械臂闭环自主装配的准确率起到关键性因素。
优选地，步骤7采用双目测距获得所需目标图像特征对应的深度值；具体地说，结合图3所示，双目测距通用常规步骤主要包括以下4个步骤：相机标定、双目校正、双目匹配、计算深度信息。
具体原理可参阅图3，P是待测物体上的某一点，OR与OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P’和 P’’(相机的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B为两相机中心距，Z为我们要求得的深度信息。
设点P’到点P’’的距离为D，则D＝B-(
)，根据相似三角形原理可得:
其中，焦距f和摄像头中心距B可通过标定得到，
为视差，其可以通过双目匹配得到。
优选地，步骤8中，包括将世界坐标系和最优抓取位置信息汇总为参数A；步骤10中，包括将将图像特征的法向量和最优姿态信息汇总为参数B；步骤11所述序列由若干个动作基元组成，并且，步骤11将步骤8、步骤10中参数A和参数B封装入动作基元。具体地说，其构建技能库并使用如图5和图6所示，首先任务进行分解成若干技能，再对技能进行分解，技能包含动作基元，对任务所涉及的技能和动作基元进行连接和存储，其中动作基元中可以进行相关参数的封装；根据当前环境和任务推理出的技能基元的序列就为初次执行任务的执行序列。如图7所示，其为根据任务和技能库生产带封装参数的执行序列，该序列可以映射到相应的执行代码接口，执行端通过对应接口动态执行装配任务。
优选地，步骤12中，主机通过以太网向机械臂控制柜发送控制信息。如前所述，在装配过程中若遇到断点或任务的错误执行时，推理模型会针对当前断点环境重新组合执行序列去闭环执行，直至任务自动装配完成。
本发明的设计重点在于，其主要是：
一、将实体库应用于场景基础的存储,经过对实体主要详细属性提取和存储,能够为目标检测与识别提供基础数据集的同时提升装配目标的检测和识别的精准性和鲁棒性。
二、构建的实体库中包含复杂装配环境中实体与实体的关系。这种实体间的关联尤其在装配物体种类繁多、遮挡严重、光照变化、位置变化等复杂多变的环境下,能够通过装配目标与工具、目标与目标、工具与工具之间的关系；辅助智能体理解当前环境和操作实体间的语义信息；提高机械臂装配目标闭环的准确性和鲁棒性。
三、构建技能库并应用于装配任务执行序列中,根据技能基元的分解与组合,达到技能高复用的目的外增加了闭环执行装配任务的灵活性。
四、提出一种基于多知识库的机械臂自主装配方法,结合视觉和推理模块,有效的提高了自主装配的智能化水平。
以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于多知识库的机械臂自主装配方法，应用有多知识库，所述多知识库包括有实体库和技能库；其特征在于：还包括有如下步骤：
步骤1、主机接收传来的装配任务和装配任务的相关描述；
步骤2、利用分词工具以及语言解析模型获取与装配任务直接相关的目标物体和过程可能涉及到的工具；
步骤3、利用视觉相机捕获机器人装配操作台上的图像；
步骤4、利用基于深度学习的多目标检测网络，检测机械臂操作台上所有的未知物体，此时根据步骤2的结果以及推理模型得到的关系初步排除干扰物体；对初步排除结果后的物体获得图像特征；
步骤5、根据步骤2的结果，利用实体库查询并轮询推理得到目标物体的特征值、用途、属性、描述信息、实体目标间的关系；
步骤6、根据步骤4和步骤5的结果以及结合识别模型快速得到识别目标，进而得到具体所需目标的具体图像特征；
步骤7、利用深度相机获得所需图像特征对应的深度值；
步骤8、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂操作目标物体的最优抓取位置；
步骤9、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；
步骤10、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂操作目标的最优姿态；
步骤11、利用技能库获取操作该任务的序列；
步骤12、向机械臂控制柜发送相应的控制信息以控制机械臂完成基于多知识库的自主装配任务。
2.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：还包括有步骤13，当装配完成时，则任务执行结束；否则，再次进入步骤11，根据当前断点，调整、获得操作任务的执行序列。
3.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤4所述的图像特征为抓取目标的中心位置，其计算公式如下
，式中，(
)为抓去目标框的左下角的像素坐标，(
)为右下角的像素坐标。
4.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：构建步骤5所述实体库包括以下过程：
通过界面和/或Restful接口将实体数据信息存储于实体库。
5.根据权利要求4所述的一种基于多知识库的机械臂自主装配方法，其特征在于：所述实体数据信息包括有实体的属性信息、实体的图像特征值、实体间的关系、实体的描述信息。
6.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤6所述的识别模型为：利用实体库中的原始数据及原始数据的增强训练得来。
7.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤7采用双目测距获得所需目标图像特征对应的深度值。
8.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤8中，包括将世界坐标系和最优抓取位置信息汇总为参数A；步骤10中，包括将将图像特征的法向量和最优姿态信息汇总为参数B；步骤11所述序列由若干个动作基元组成，并且，步骤11将参数A和参数B封装入动作基元。
9.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤12中，主机通过以太网向机械臂控制柜发送控制信息。
10.根据权利要求1所述的一种基于多知识库的机械臂自主装配方法，其特征在于：步骤2利用分词工具和语言解析模型的过程，包括以下步骤：首先，对输入的装配任务信息和相关描述进行分词，根据预训练进行推理，得到要执行的任务对象和工具，然后经过检测网络对装配操作台上的物体进行全范围检测，最后，提取检测框内的未知物体的特征值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111597370.4A CN114310883A (zh) | 2021-12-24 | 2021-12-24 | 一种基于多知识库的机械臂自主装配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111597370.4A CN114310883A (zh) | 2021-12-24 | 2021-12-24 | 一种基于多知识库的机械臂自主装配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114310883A true CN114310883A (zh) | 2022-04-12 |
Family
ID=81012518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111597370.4A Pending CN114310883A (zh) | 2021-12-24 | 2021-12-24 | 一种基于多知识库的机械臂自主装配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114310883A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580576A (zh) * | 2022-05-05 | 2022-06-03 | 中国科学院自动化研究所 | 一种基于知识处理的机器人任务规划方法和装置 |
| CN115816441A (zh) * | 2022-10-31 | 2023-03-21 | 实时侠智能控制技术有限公司 | 基于任务描述的机器人控制方法、装置及可读介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4835450A (en) * | 1987-05-21 | 1989-05-30 | Kabushiki Kaisha Toshiba | Method and system for controlling robot for constructing products |
| CN101645102A (zh) * | 2009-09-11 | 2010-02-10 | 北京交通大学 | 一种计算机辅助产品装配序列生成方法 |
| CN103605845A (zh) * | 2013-11-14 | 2014-02-26 | 西安工业大学 | 一种基于装配知识描述的机床夹具库管理系统 |
| CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
| CN111633657A (zh) * | 2020-06-12 | 2020-09-08 | 山东大学 | 一种基于装配状态认知的机器人柔性装配方法及系统 |
| CN112917516A (zh) * | 2021-02-01 | 2021-06-08 | 北京航空航天大学 | 用于自主装配机器人的知识学习与推理执行系统 |
| US20210308868A1 (en) * | 2018-10-23 | 2021-10-07 | Eric CAMIRAND | Robotic spearing device for performing item capture and sorting, spearing end effector and method for performing same |
-
2021
- 2021-12-24 CN CN202111597370.4A patent/CN114310883A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4835450A (en) * | 1987-05-21 | 1989-05-30 | Kabushiki Kaisha Toshiba | Method and system for controlling robot for constructing products |
| CN101645102A (zh) * | 2009-09-11 | 2010-02-10 | 北京交通大学 | 一种计算机辅助产品装配序列生成方法 |
| CN103605845A (zh) * | 2013-11-14 | 2014-02-26 | 西安工业大学 | 一种基于装配知识描述的机床夹具库管理系统 |
| US20210308868A1 (en) * | 2018-10-23 | 2021-10-07 | Eric CAMIRAND | Robotic spearing device for performing item capture and sorting, spearing end effector and method for performing same |
| CN110211180A (zh) * | 2019-05-16 | 2019-09-06 | 西安理工大学 | 一种基于深度学习的机械臂自主抓取方法 |
| CN111633657A (zh) * | 2020-06-12 | 2020-09-08 | 山东大学 | 一种基于装配状态认知的机器人柔性装配方法及系统 |
| CN112917516A (zh) * | 2021-02-01 | 2021-06-08 | 北京航空航天大学 | 用于自主装配机器人的知识学习与推理执行系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李云江等: "《机器人概论 第3版》", 31 March 2021, 机械工业出版社 * |
| 李金泉等: "《码垛机器人机械结构与控制系统设计》", 31 July 2011, 北京理工大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580576A (zh) * | 2022-05-05 | 2022-06-03 | 中国科学院自动化研究所 | 一种基于知识处理的机器人任务规划方法和装置 |
| CN114580576B (zh) * | 2022-05-05 | 2022-09-06 | 中国科学院自动化研究所 | 一种基于知识处理的机器人任务规划方法和装置 |
| CN115816441A (zh) * | 2022-10-31 | 2023-03-21 | 实时侠智能控制技术有限公司 | 基于任务描述的机器人控制方法、装置及可读介质 |
| CN115816441B (zh) * | 2022-10-31 | 2023-08-08 | 实时侠智能控制技术有限公司 | 基于任务描述的机器人控制方法、装置及可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
| CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
| CN111251295B (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
| CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
| CN114310883A (zh) | 一种基于多知识库的机械臂自主装配方法 | |
| CN110211180A (zh) | 一种基于深度学习的机械臂自主抓取方法 | |
| CN112836734A (zh) | 一种异源数据融合方法及装置、存储介质 | |
| CN109159113B (zh) | 一种基于视觉推理的机器人作业方法 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| Li et al. | Automated visual positioning and precision placement of a workpiece using deep learning | |
| CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
| Lin et al. | Robotic grasping with multi-view image acquisition and model-based pose estimation | |
| CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
| CN112801977B (zh) | 一种基于深度学习的装配体零件相对位姿估计监测方法 | |
| CN110146080B (zh) | 一种基于移动机器人的slam回环检测方法及装置 | |
| CN110992422B (zh) | 一种基于3d视觉的药盒姿态估计方法 | |
| CN110135277B (zh) | 一种基于卷积神经网络的人体行为识别方法 | |
| CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| WO2021103558A1 (zh) | 基于rgb-d数据融合的机器人视觉引导方法和装置 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN108818537A (zh) | 一种基于云端深度学习的机器人工业分拣方法 | |
| Ben et al. | Research on visual orientation guidance of industrial robot based on cad model under binocular vision | |
| Zhang et al. | Deep learning-based robot vision: High-end tools for smart manufacturing | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| Liu et al. | An Image Based Visual Servo Approach with Deep Learning for Robotic Manipulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220412 |
|
| RJ01 | Rejection of invention patent application after publication |