CN112059983A - 一种用于装配工件的方法、装置及计算机可读介质 - Google Patents

一种用于装配工件的方法、装置及计算机可读介质 Download PDF

Info

Publication number
CN112059983A
CN112059983A CN201910501215.4A CN201910501215A CN112059983A CN 112059983 A CN112059983 A CN 112059983A CN 201910501215 A CN201910501215 A CN 201910501215A CN 112059983 A CN112059983 A CN 112059983A
Authority
CN
China
Prior art keywords
real
workpiece
virtual
assembly
assembling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910501215.4A
Other languages
English (en)
Inventor
连宇臣
陈津
岳聪
姚星
张怀文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AECC Commercial Aircraft Engine Co Ltd
Original Assignee
AECC Commercial Aircraft Engine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AECC Commercial Aircraft Engine Co Ltd filed Critical AECC Commercial Aircraft Engine Co Ltd
Priority to CN201910501215.4A priority Critical patent/CN112059983A/zh
Publication of CN112059983A publication Critical patent/CN112059983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B27/00—Hand tools, specially adapted for fitting together or separating parts or objects whether or not involving some deformation, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种用于装配工件的方法，包括：对待装配工件和装配工具进行初始虚实注册，使得所述待装配工件和装配工具的真实位姿和虚拟位姿一致，所述真实位姿对应于真实场景，所述虚拟位姿对应于虚拟场景；提供数字化装配指导文件，所述装配指导文件包括多个装配任务；从所述装配指导文件的多个装配任务中选择期望装配任务；根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿；根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配。

Description

一种用于装配工件的方法、装置及计算机可读介质
技术领域
本发明主要涉及航空发动机领域，尤其涉及一种用于装配工件的方法、装置及计算机可读介质。
背景技术
航空发动机作为飞机的核心部件，其制造工艺复杂，技术难度大。航空发动机的装配由于受到操作条件的限制，自动化程度较低，目前手工装配仍是最主要的方式。
航空发动机装配过程中，由于零部件数量多，装配密集度高、精度要求高等原因，导致装配过程目标识别、精度控制和操作防错等方面存在很多困难。
现有技术主要针对航空发动机中大部件的对接环节，主要采用专用的高精度专用对接平台来保证对接精度和质量，适用于成熟发动机的批生产，国外航空发动机的大部件对接已经开始应用自动控制的专用对接平台。
航空发动机中用于装配工件的连接主要是各种螺纹连接，装配时不但要控制拧紧力矩、螺栓或螺母拧紧行程，对螺纹连接的建立顺序也有严格要求。由于航空发动机本身结构非常复杂，螺纹连接类型众多，操作位置和空间非常受限制，全自动的拧紧技术还无法应用，大多数是手工拧紧或手持半自动拧紧设备进行拧紧操作。这种操作方式在选择和操作拧紧对象主要依靠现场操作人员。目前已有将机械臂与可控力矩拧紧工具结合的自动拧紧方法。由于航空发动机装配的操作空间限制问题，自动拧紧方法仅能适用于少数装配环节。
现有技术中采用机器视觉和模式识别方法在装配工件发生错误时报警。这种方法无法辅助用户在操作前识别和指示拧紧目标，而且仅能适用于易于实时成像的外部连接拧紧。
发明内容
本发明要解决的技术问题是提供一种用于装配工件的方法、装置及计算机可读介质，以指导用户进行装配，同时无需考虑外部成像条件，提高工件装配的适用性。
为解决上述技术问题，本发明的一方面提供了一种用于装配工件的方法，包括：对待装配工件和装配工具进行初始虚实注册，使得所述待装配工件和装配工具的真实位姿和虚拟位姿一致，所述真实位姿对应于真实场景，所述虚拟位姿对应于虚拟场景；提供数字化装配指导文件，所述装配指导文件包括多个装配任务；从所述装配指导文件的多个装配任务中选择期望装配任务；根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿；根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配。
在本发明的一实施例中，对待装配工件和装配工具进行初始虚实注册的步骤包括：在待装配工件和装配工具上布置多个跟踪标志点；根据所述多个跟踪标志点的坐标位置计算所述真实位姿和虚拟位姿的变换矩阵。
在本发明的一实施例中，根据所述多个跟踪标志点的坐标位置计算所述真实位姿和虚拟位姿的变换矩阵的步骤包括：计算对应跟踪标志点的差值平方总和；确定差值平方总和取最小值时对应的矩阵为所述变换矩阵。
在本发明的一实施例中，根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿的步骤包括：根据所述待装配工件和装配工具的移动前真实位姿和实时真实位姿计算转换矩阵；根据所述转换矩阵和所述待装配工件和装配工具的移动前虚拟位姿计算所述待装配工件和装配工具的实时虚拟位姿。
在本发明的一实施例中，使用语音或手势从所述装配指导文件的多个装配任务中选择期望装配任务。
在本发明的一实施例中，根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配的步骤包括：在所述实时虚拟位姿和所述期望装配任务不一致时输出错误提示。
在本发明的一实施例中，在所述待装配工件的实时虚拟位姿与所述期望装配任务不一致时输出错误提示。
在本发明的一实施例中，所述错误提示为文字提示或语音提示。
在本发明的一实施例中，所述工件为连接管、螺栓或螺母。
本发明的另一方面提供一种用于装配工件的装置，包括：虚实注册单元，对待装配工件和装配工具进行初始虚实注册，使得所述待装配工件和装配工具的真实位姿和虚拟位姿一致，所述真实位姿对应于真实场景，所述虚拟位姿对应于虚拟场景；数字化装配指导文件，所述装配指导文件包括多个装配任务；选择单元，从所述装配指导文件的多个装配任务中选择期望装配任务；实时定位单元，根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿；指导单元，根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配。
在本发明的一实施例中，所述虚实注册单元在待装配工件和装配工具上布置多个跟踪标志点，根据所述多个跟踪标志点的坐标位置计算所述真实位姿和虚拟位姿的变换矩阵。
在本发明的一实施例中，所述虚实注册单元计算对应跟踪标志点的差值平方总和，确定差值平方总和取最小值时对应的矩阵为所述变换矩阵。
在本发明的一实施例中，所述实时定位单元根据所述待装配工件和装配工具的移动前真实位姿和实时真实位姿计算转换矩阵；根据所述转换矩阵和所述待装配工件和装配工具的移动前虚拟位姿计算所述待装配工件和装配工具的实时虚拟位姿。
在本发明的一实施例中，所述选择单元使用语音或手势从所述装配指导文件的多个装配任务中选择期望装配任务。
在本发明的一实施例中，所述指导单元在所述实时虚拟位姿和所述期望装配任务不一致时输出错误提示。
在本发明的一实施例中，所述指导单元在所述待装配工件的实时虚拟位姿与所述期望装配任务不一致时输出错误提示。
在本发明的一实施例中，所述错误提示为文字提示或语音提示。
在本发明的一实施例中，所述工件为连接管、螺栓或螺母。
本发明的又一方面提供一种计算机可读介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如上所述的方法。
与现有技术相比，本发明具有以下优点：提供一种用于装配工件的方法、装置及计算机可读介质，通过增强现实系统在3D智能眼镜上呈现装配指导画面，并在装配过程与期望不一致时输出错误提示，可以指导用户进行工件装配；在装配现场布置了跟踪标志点，无需考虑成像条件，避免了成像条件对装配的影响，提高了适用性。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是现有技术中的一种用于装配工件的系统的示意图。
图2是根据本发明的一实施例的用于装配工件的方法的流程图。
图3是根据本发明的一实施例的用于装配工件的现场的示意图。
图4是根据本发明的一实施例的在航空发动机上布置跟踪标志点的示意图。
图5是根据本发明的一实施例的进行初始虚实注册示意图。
图6是根据本发明的一实施例的指示待操作目标的示意图。
图7是根据本发明的一实施例的输出错误提示的示意图。
图8是根据本发明的一实施例的用于装配工件的装置的框图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
应当理解，当一个部件被称为“在另一个部件上”、“连接到另一个部件”、“耦合于另一个部件”或“接触另一个部件”时，它可以直接在该另一个部件之上、连接于或耦合于、或接触该另一个部件，或者可以存在插入部件。相比之下，当一个部件被称为“直接在另一个部件上”、“直接连接于”、“直接耦合于”或“直接接触”另一个部件时，不存在插入部件。同样的，当第一个部件被称为“电接触”或“电耦合于”第二个部件，在该第一部件和该第二部件之间存在允许电流流动的电路径。该电路径可以包括电容器、耦合的电感器和/或允许电流流动的其它部件，甚至在导电部件之间没有直接接触。
图1是现有技术中的一种用于装配工件的系统100的示意图。如图1所示，该系统100包括摄像头101、图像采集卡102、辅助光源103、计算机104和报警器105。摄像头101用于采集光信号，图像采集卡102用于将摄像头101采集的光信号转换为电信号，辅助光源103用于在光照条件不佳时提供照明，计算机104对图像采集卡102的电信号进行处理和分析，报警器105在计算机104分析结果为装配错误时发出警报。
图1中用于装配工件的系统100采用机器视觉结合模式识别的方式，在装配错误时发出警报。这种方法无法辅助用户在操作前识别和指示拧紧目标，而且仅能适用于易于实时成像的外部连接拧紧。
本发明的目的在于提供一种用于装配工件的方法、装置及计算机可读介质，以指导用户进行装配，同时无需考虑外部成像条件，提高工件装配的适用性。
在本发明的实施例中，相对于大型部件而言，工件指的是小型零部件，例如连接管、螺母或螺栓等。下文将以螺栓为例对本发明的该实施例的用于装配工件的方法进行示例性说明。
图2是根据本发明的一实施例的用于装配工件的方法的流程图。下面结合图2对本发明的用于装配工件的方法进行示例性说明。
在步骤210，对待装配工件和装配工具进行初始虚实注册。
在此步骤中，通过对待装配工件和装配工具进行初始虚实注册，使得待装配工件和装配工具的真实位姿和虚拟位姿一致。其中，真实位姿对应于真实场景，虚拟位姿对应于虚拟场景。
对待装配工件和装配工具进行初始虚实注册可以包括以下步骤：在待装配工件和装配工具上布置多个跟踪标志点。根据多个跟踪标志点的坐标位置计算真实位姿和虚拟位姿的变换矩阵。可以在装配现场的特征位置布置跟踪标志点，特征位置指的是易于标记的位置，例如物体拐角、棱线相交处等位置。
图4是根据本发明的一实施例的在航空发动机上布置跟踪标志点的示意图。如图4所示，在特征位置401处布置跟踪标志点。
在真实场景布置跟踪标记点之后，打开虚拟场景，在虚拟场景中找到每个跟踪标记点对应的位置，进行跟踪标志点的标记。
可以采用摄像头进行初始虚实注册，将虚拟场景中的对象位姿与真实场景中的真实位姿对应起来，形成初始虚实注册的信息。
图5是根据本发明的一实施例的进行初始虚实注册示意图。如图5所示，左侧部分为通过注册摄像头获得的真实场景，用注册坐标系表示，右侧部分为虚拟场景的初始状态，用世界坐标系表示。下面结合图5对本发明的该实施例中的初始虚实注册过程进行说明。
如图5所示，摄像头获取真实场景的图像，从图像中提取跟踪标志点1-6，并确定跟踪标志点1-6的位置坐标。在虚拟世界中，假定注册后世界坐标系与上述的注册坐标系一致，则可计算此时与初始状态的世界坐标系之间的坐标系变换矩阵。
理论上，找到各对应的跟踪标志点，任意三个不在一条直线上的跟踪标志点即可计算出变换矩阵，但由于上一步跟踪标志点位置的计算存在误差，无法直接利用三个对应的跟踪标志点来计算。本发明建立一个计算模型，可以降低跟踪标志点位置的计算产生的位置。该计算模型包括计算对应跟踪标志点的差值平方总和，确定差值平方总和取最小值时对应的矩阵为所述变换矩阵，其数学公式表示为：
Figure BDA0002090288140000061
Figure BDA0002090288140000062
其中，
Figure BDA0002090288140000063
表示注册坐标系中的位置坐标，
Figure BDA0002090288140000064
表示世界坐标系中的位置坐标，Tx表示转换矩阵。计算出转换矩阵Tx后，可调整虚拟世界中虚拟对象的虚拟位姿，使之与真实场景中的真实位姿一致，完成初始虚实注册。
在步骤220，提供数字化装配指导文件。
在此步骤中，数字化装配指导文件可以是提前建立好的，例如在软件中建立数字化装配指导文件。数字化装配指导文件可以以代码的形式存储在计算机的存储器中。数字化装配指导文件可以是各种格式的文件。数字化装配指导文件可以包括三维虚拟模型、三维虚拟动画或者装配指导文字。
在数字化装配指导文件中，可以包括多个装配任务。每个装配任务可以分解成一系列装配工序，每个装配工序可以分解成一系列操作步骤。对于一个操作步骤，可以指定操作对象、使用的操作工具。在3D虚拟场景中，操作步骤可以规划操作工具的移动路径、被操作的工件的移动路径等。
在步骤230，从装配指导文件的多个装配任务中选择期望装配任务。
在此步骤中，可以从装配指导文件的多个装配任务中选择期望装配任务。例如，可以从装配指导文件选择6号螺栓的装配任务，该装配任务可以分解为一系列装配工序，每个装配工序可以分解成一系列操作步骤。操作步骤可以指定操作对象为螺栓，使用的操作工具为扳手。还可以规划扳手的移动路径，螺栓的扭矩以及拧紧行程。
在一些实施例中，可以使用语音或手势从装配指导文件的多个装配任务中选择期望装配任务。例如，可以通过麦克风采集用户的语音指令，对语音指令进行分析处理之后调用相应的装配任务。又例如，可以通过摄像头采集用户的手势指令，对手势指令进行分析处理之后调用相应的装配任务。
在另外一些实施例中，还可以通过虚拟按钮等从装配指导文件的多个装配任务中选择期望装配任务。
在步骤240，根据虚实注册的信息计算待装配工件和装配工具的实时虚拟位姿。
在此步骤中，可以通过步骤210计算得到的变换矩阵计算待装配工件和装配工具的实时虚拟位姿。用户佩戴好AR眼镜，眼镜上摄像头采集跟踪标志点，计算当前用户视点位置，使得虚拟模型在眼镜上显示的位姿与真实模型一致。
根据虚实注册的信息计算待装配工件和装配工具的实时虚拟位姿的步骤可以包括：根据待装配工件和装配工具的移动前真实位姿和实时真实位姿计算转换矩阵。根据转换矩阵、待装配工件和装配工具的移动前虚拟位姿计算待装配工件和装配工具的实时虚拟位姿。
当前用户AR眼镜上的摄像头位姿矩阵为
Figure BDA0002090288140000081
此时虚拟场景中对应的用户视点位姿为
Figure BDA0002090288140000082
用户头部移动到第二个位姿状态，AR眼镜上的摄像头捕捉到一个或多个定位标志点，据此计算出当前摄像头相对于标志点的位姿为
Figure BDA0002090288140000083
两个位置之间的变换关系为：为
Figure BDA0002090288140000084
据此计算出转换矩阵T0-1，此时虚拟场景中用户视点为：
Figure BDA0002090288140000085
对于装配工具，当前用户AR眼镜上的摄像头位姿矩阵为
Figure BDA0002090288140000086
此时虚拟场景中对应的用户视点位姿为
Figure BDA0002090288140000087
装配工具在真实场景中的当前位姿为
Figure BDA0002090288140000088
在虚拟场景的当前位姿为
Figure BDA0002090288140000089
当装配工具发生移动时，AR眼镜上摄像头捕捉工具上的跟踪标志点，计算装配工具相对于摄像头的位姿矩阵Ttool-眼，即此时装配工具在初始注册坐标系中的位姿是：
Figure BDA00020902881400000810
相对于装配工具移动前有：
Figure BDA00020902881400000811
据此可计算出转换矩阵T0-1，根据3D模型移动过程的几何不变性，装配工具在虚拟场景的位姿为：
Figure BDA00020902881400000812
即可据此计算待装配工件和装配工具的实时虚拟位姿。
在步骤250，根据实时虚拟位姿和期望装配任务指导用户进行装配。
在此步骤中，根据步骤240计算得到的实时虚拟位姿以及步骤230得到的期望装配任务指导用户进行装配。
在本发明的一实施例中，虚实工具同步运动时，在虚拟场景中查找虚拟装配工具附近的零部件，确定最近的螺栓。根据确定的最近螺栓，查找真实场景中对应的螺栓。根据数字化装配指导文件中本操作步骤需要操作的螺栓，判断所选择螺栓是否为正确操作目标。可以在实时虚拟位姿和期望装配任务不一致时输出错误提示，也可以在待装配工件的实时虚拟位姿与期望装配任务不一致时输出错误提示。
图6是根据本发明的一实施例的指示待操作目标的示意图。如图6所示，在虚拟场景中查找虚拟装配工具附近的零部件，确定最近的螺栓601。
错误提示可以是文字提示或语音提示。可以在AR眼镜上显示提示文字，或者通过扬声器播放提示语音。此外，若用户选择目标正确，则提示操作目标正确，用户可进行拧紧操作。正确提示也可以是文字提示或语音提示。
图7是根据本发明的一实施例的输出错误提示的示意图。如图7所示，装配工具预期所选的是6号螺孔，左图中，装配工具实际选择的螺孔与预期选择的螺孔一致，虚拟场景中呈现文字提示“识别到的孔编号为6”。右图中，装配工具实际选择的螺孔与预期选择的螺孔不一致，虚拟场景中呈现文字提示“在误差范围内未匹配到螺孔”。
在此使用了流程图用来说明根据本申请的实施例的方法所执行的操作。应当理解的是，前面的操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。例如，步骤210可以在步骤230之后执行。
本发明的该实施例提供一种用于装配工件的方法，通过增强现实系统在3D智能眼镜上呈现装配指导画面，并在装配过程与期望不一致时输出错误提示，可以指导用户进行工件装配；在装配现场布置了跟踪标志点，无需考虑成像条件，避免了成像条件对装配的影响，提高了适用性。
图3是根据本发明的一实施例的用于装配工件的方法的硬件实施平台300的示意图。如图3所示，该硬件实施平台300包括摄像头301、AR眼镜302、移动终端303和麦克风304。
其中，摄像头301可以捕捉待装配工件和装配工具的真实位姿和虚拟位姿一致，对待装配工件和装配工具进行初始虚实注册；移动终端303可以存储数字化装配指导文件，并对摄像头301捕捉的图像进行处理；AR眼镜302可以捕获待装配工件和装配工具的真实位姿；麦克风304可以接受语音指令。摄像头301可以是双目视觉摄像头，移动终端303可以是平板电脑。
图8是根据本发明的一实施例的用于装配工件的装置800的框图。如图8所示，用于装配工件的装置800包括虚实注册单元810、数字化装配指导文件820、选择单元830、实时定位单元840以及指导单元850。
虚实注册单元810对待装配工件和装配工具进行初始虚实注册，使得待装配工件和装配工具的真实位姿和虚拟位姿一致，真实位姿对应于真实场景，虚拟位姿对应于虚拟场景。数字化装配指导文件820包括多个装配任务。选择单元830从装配指导文件的多个装配任务中选择期望装配任务。实时定位单元840根据虚实注册的信息计算待装配工件和装配工具的实时虚拟位姿。指导单元850根据实时虚拟位姿和期望装配任务指导用户进行装配。虚实注册单元810、数字化装配指导文件820、选择单元830、实时定位单元840以及指导单元850可以按照上文所述的用于装配工件的方法执行，此次不再赘述。
本发明的该实施例提供一种用于装配工件的装置，通过增强现实系统在3D智能眼镜上呈现装配指导画面，并在装配过程与期望不一致时输出错误提示，可以指导用户进行工件装配；在装配现场布置了跟踪标志点，无需考虑成像条件，避免了成像条件对装配的影响，提高了适用性。
本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (19)

1.一种用于装配工件的方法，包括：
对待装配工件和装配工具进行初始虚实注册，使得所述待装配工件和装配工具的真实位姿和虚拟位姿一致，所述真实位姿对应于真实场景，所述虚拟位姿对应于虚拟场景；
提供数字化装配指导文件，所述装配指导文件包括多个装配任务；
从所述装配指导文件的多个装配任务中选择期望装配任务；
根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿；
根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配。
2.如权利要求1所述的用于装配工件的方法，其特征在于，对待装配工件和装配工具进行初始虚实注册的步骤包括：
在待装配工件和装配工具上布置多个跟踪标志点；
根据所述多个跟踪标志点的坐标位置计算所述真实位姿和虚拟位姿的变换矩阵。
3.如权利要求2所述的用于装配工件的方法，其特征在于，根据所述多个跟踪标志点的坐标位置计算所述真实位姿和虚拟位姿的变换矩阵的步骤包括：
计算对应跟踪标志点的差值平方总和；
确定差值平方总和取最小值时对应的矩阵为所述变换矩阵。
4.如权利要求1所述的用于装配工件的方法，其特征在于，根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿的步骤包括：
根据所述待装配工件和装配工具的移动前真实位姿和实时真实位姿计算转换矩阵；
根据所述转换矩阵、所述待装配工件和装配工具的移动前虚拟位姿计算所述待装配工件和装配工具的实时虚拟位姿。
5.如权利要求1所述的用于装配工件的方法，其特征在于，使用语音或手势从所述装配指导文件的多个装配任务中选择期望装配任务。
6.如权利要求1所述的用于装配工件的方法，其特征在于，根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配的步骤包括：
在所述实时虚拟位姿和所述期望装配任务不一致时输出错误提示。
7.如权利要求6所述的用于装配工件的方法，其特征在于，在所述待装配工件的实时虚拟位姿与所述期望装配任务不一致时输出错误提示。
8.如权利要求6或7所述的用于装配工件的方法，其特征在于，所述错误提示为文字提示或语音提示。
9.如权利要求1所述的用于装配工件的方法，其特征在于，所述工件为连接管、螺栓或螺母。
10.一种用于装配工件的装置，包括：
虚实注册单元，对待装配工件和装配工具进行初始虚实注册，使得所述待装配工件和装配工具的真实位姿和虚拟位姿一致，所述真实位姿对应于真实场景，所述虚拟位姿对应于虚拟场景；
数字化装配指导文件，所述装配指导文件包括多个装配任务；
选择单元，从所述装配指导文件的多个装配任务中选择期望装配任务；
实时定位单元，根据所述虚实注册的信息计算所述待装配工件和装配工具的实时虚拟位姿；
指导单元，根据所述实时虚拟位姿和所述期望装配任务指导用户进行装配。
11.如权利要求10所述的用于装配工件的装置，其特征在于，所述虚实注册单元在待装配工件和装配工具上布置多个跟踪标志点，根据所述多个跟踪标志点的坐标位置计算所述真实位姿和虚拟位姿的变换矩阵。
12.如权利要求11所述的用于装配工件的装置，其特征在于，所述虚实注册单元计算对应跟踪标志点的差值平方总和，确定差值平方总和取最小值时对应的矩阵为所述变换矩阵。
13.如权利要求10所述的用于装配工件的装置，其特征在于，所述实时定位单元根据所述待装配工件和装配工具的移动前真实位姿和实时真实位姿计算转换矩阵；根据所述转换矩阵、所述待装配工件和装配工具的移动前虚拟位姿计算所述待装配工件和装配工具的实时虚拟位姿。
14.如权利要求10所述的用于装配工件的装置，其特征在于，所述选择单元使用语音或手势从所述装配指导文件的多个装配任务中选择期望装配任务。
15.如权利要求10所述的用于装配工件的装置，其特征在于，所述指导单元在所述实时虚拟位姿和所述期望装配任务不一致时输出错误提示。
16.如权利要求15所述的用于装配工件的装置，其特征在于，所述指导单元在所述待装配工件的实时虚拟位姿与所述期望装配任务不一致时输出错误提示。
17.如权利要求15或16所述的用于装配工件的装置，其特征在于，所述错误提示为文字提示或语音提示。
18.如权利要求10所述的用于装配工件的装置，其特征在于，所述工件为连接管、螺栓或螺母。
19.一种计算机可读介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如权利要求1-9任一项所述的方法。
CN201910501215.4A 2019-06-11 2019-06-11 一种用于装配工件的方法、装置及计算机可读介质 Pending CN112059983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910501215.4A CN112059983A (zh) 2019-06-11 2019-06-11 一种用于装配工件的方法、装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910501215.4A CN112059983A (zh) 2019-06-11 2019-06-11 一种用于装配工件的方法、装置及计算机可读介质

Publications (1)

Publication Number Publication Date
CN112059983A true CN112059983A (zh) 2020-12-11

Family

ID=73658402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910501215.4A Pending CN112059983A (zh) 2019-06-11 2019-06-11 一种用于装配工件的方法、装置及计算机可读介质

Country Status (1)

Country Link
CN (1) CN112059983A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967405A (zh) * 2021-03-23 2021-06-15 深圳市商汤科技有限公司 虚拟物体的位姿更新方法、装置、设备以及存储介质
CN113269095A (zh) * 2021-05-26 2021-08-17 广州赛宝联睿信息科技有限公司 一种基于ar增强现实的汽车制造装配辅助指导方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530881B (zh) * 2013-10-16 2016-03-09 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN106257356A (zh) * 2016-03-25 2016-12-28 深圳增强现实技术有限公司 智能头戴设备及智能穿戴系统
US20170285927A1 (en) * 2016-03-31 2017-10-05 Shenzhen Bell Creative Science and Education Co., Ltd. Host applications of modular assembly system
CN107498299A (zh) * 2017-08-28 2017-12-22 山东中车同力达智能机械有限公司 一种应用于螺栓拧紧的工具定位系统及操作方法
CN109636854A (zh) * 2018-12-18 2019-04-16 重庆邮电大学 一种基于line-mod模板匹配的增强现实三维跟踪注册方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530881B (zh) * 2013-10-16 2016-03-09 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN106257356A (zh) * 2016-03-25 2016-12-28 深圳增强现实技术有限公司 智能头戴设备及智能穿戴系统
US20170285927A1 (en) * 2016-03-31 2017-10-05 Shenzhen Bell Creative Science and Education Co., Ltd. Host applications of modular assembly system
CN107498299A (zh) * 2017-08-28 2017-12-22 山东中车同力达智能机械有限公司 一种应用于螺栓拧紧的工具定位系统及操作方法
CN109636854A (zh) * 2018-12-18 2019-04-16 重庆邮电大学 一种基于line-mod模板匹配的增强现实三维跟踪注册方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
翁史烈: "《热力系统建模与仿真技术》", 31 October 2018 *
郝秀峰: "基于增强现实的卫星装配诱导系统研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967405A (zh) * 2021-03-23 2021-06-15 深圳市商汤科技有限公司 虚拟物体的位姿更新方法、装置、设备以及存储介质
CN113269095A (zh) * 2021-05-26 2021-08-17 广州赛宝联睿信息科技有限公司 一种基于ar增强现实的汽车制造装配辅助指导方法及系统

Similar Documents

Publication Publication Date Title
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
WO2015120734A1 (zh) 基于机器视觉的焊接轨迹校正专用测试装置及方法
CN112734945B (zh) 一种基于增强现实的装配引导方法、系统及应用
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
US20220080581A1 (en) Dual arm robot teaching from dual hand human demonstration
CN113333998A (zh) 一种基于协作机器人的自动化焊接系统及方法
CN112621765B (zh) 一种基于机械手的设备自动组装控制方法及装置
CN112059983A (zh) 一种用于装配工件的方法、装置及计算机可读介质
CN113319859B (zh) 一种机器人示教方法、系统、装置及电子设备
US11455767B1 (en) Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN111993420A (zh) 一种固定式双目视觉3d引导上件系统
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN117340879A (zh) 一种基于图优化模型的工业机器人参数辨识方法和系统
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN116330322A (zh) 基于机器视觉的高精度工业协作机器人系统及控制方法
CN114800524B (zh) 一种人机交互协作机器人主动避碰的系统及方法
CN113858214B (zh) 一种用于机器人作业的定位方法与控制系统
CN115457096A (zh) 作业机械的辅助控制方法、装置、系统及作业机械
CN115741666A (zh) 机器人手眼标定方法、机器人及机器人作业方法
US11559888B2 (en) Annotation device
CN113763400A (zh) 一种机器人视觉导引方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211