CN113449133A - 智能装配引导方法、装置、设备及存储介质 - Google Patents

智能装配引导方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113449133A
CN113449133A CN202110750870.0A CN202110750870A CN113449133A CN 113449133 A CN113449133 A CN 113449133A CN 202110750870 A CN202110750870 A CN 202110750870A CN 113449133 A CN113449133 A CN 113449133A
Authority
CN
China
Prior art keywords
assembly
information
standard
assembly object
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110750870.0A
Other languages
English (en)
Inventor
魏斯理
邵立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hover Information Physics Integration Innovation Research Institute Co Ltd
Original Assignee
Nanjing Hover Information Physics Integration Innovation Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hover Information Physics Integration Innovation Research Institute Co Ltd filed Critical Nanjing Hover Information Physics Integration Innovation Research Institute Co Ltd
Priority to CN202110750870.0A priority Critical patent/CN113449133A/zh
Publication of CN113449133A publication Critical patent/CN113449133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • General Factory Administration (AREA)

Abstract

本申请涉及一种智能装配引导方法、装置、设备及存储介质，其中方法包括：实时接收摄像机发送的图像信息；从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息；根据目标装配对象与标准装配对象的轮廓信息，确定图像信息中目标装配对象与标准装配对象的位置区域；根据图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息；待图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。本申请具有的技术效果是：工作人员可根据指示信息进行装配，提升了实际装配效率。

Description

智能装配引导方法、装置、设备及存储介质
技术领域
本申请涉及装配引导的技术领域，尤其是涉及一种智能装配引导方法、装置、设备及存储介质。
背景技术
机械装配是指按照设计的技术要求实现机械零件或部件的连接，把机械零件或部件组合成机器；机械装配是机器制造和修理的重要环节，装配工作的好坏对机器的效能、修理的工期、工作的劳力和成本等都起着非常重要的作用。
相关技术中工作人员在对零部件进行装配时，通常是根据工艺图纸的指示在工作台上逐个将目标装配对象装配到标准装配对象上，从而使得工作人员在实际进行装配工作的过程中，往往需要花费较多的时间理解工艺图纸中各个装配步骤的要求和引导指示，进而导致实际的装配效率较低。
发明内容
为了提升工作人员的实际装配效率，本申请提供的一种智能装配引导方法、装置、设备及存储介质。
第一方面，本申请提供一种智能装配引导方法，采用如下的技术方案：所述方法包括：实时接收摄像机发送的图像信息，所述图像信息包括工作台上所有装配对象的轮廓信息；
从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息；
根据所述目标装配对象与标准装配对象的轮廓信息，确定所述图像信息中目标装配对象与标准装配对象的位置区域；
根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息；
待所述图像信息中目标装配对象的轮廓信息与所述标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。
通过上述技术方案，系统可以根据预设的工艺步骤，依次指示工作人员对工作台上的若干零部件进行装配，使得工作人员在对工作台上的零部件进行装配的过程中，可直接根据终端设备给出的装配指示信息进行装配操作，无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率。
优选的，所述根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息，包括：
根据所述目标装配对象与标准装配对象的位置区域，确定所述图像信息中目标装配对象与标准装配对象的间距；
根据所述图像信息中目标装配对象与标准装配对象的位置区域，利用终端设备给出方向指示信息；
在所述间距小于预设的标准值时，根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息。
通过上述技术方案，系统在指导用户进行装配工作时，首先根据目标装配对象与标准装配对象的位置区域给出方向指示信息，指示工作人员根据方向指示信息将目标装配对象的位置调整至标准装配对象附近，也即间距小于预设标准值，再给出详细的装配指示信息；将整个引导过程区分为位置引导和装配引导两个部分，减少了工作人员在装配过程中，由于目标装配对象与标准装配对象之间的距离较远，导致工作人员难以理解系统给出的装配指示信息的可能，从而进一步提升了工作人员的实际装配效率。
优选的，所述根据所述目标装配对象与标准装配对象的位置区域，确定所述图像信息中目标装配对象与标准装配对象的间距，包括：
计算所述目标装配对象与标准装配对象所对应的位置区域之间的最短距离；
将所述最短距离设置为所述图像信息中目标装配对象与标准装配对象的间距。
通过上述技术方案，系统可以通过将目标装配对象与标准装配对象所对应的位置区域之间的最短距离设置为间距的方式，快速且稳定的计算出图像信息中目标装配对象与标准装配对象的间距，继而及时给出装配指示信息。
优选的，所述根据所述目标装配对象与标准装配对象的位置区域，确定所述图像信息中目标装配对象与标准装配对象的间距，包括：
确定所述目标装配对象所对应位置区域的目标中心点和所述标准装配对象所对应的位置区域的标准中心点；
将所述目标中心点与所述标准中心点之间的直线距离设置为所述图像信息中目标装配对象与标准装配对象的间距。
通过上述技术方案，分别计算目标装配对象和标准装配对象的中心点，继而将中心点间的直线距离设置为间距的方式，降低了零部件外缘轮廓对间距测定结果的影响，进一步提升了系统确定间距时的精准度，从而进一步提升了系统的引导效果。
优选的，若所述方向指示信息所对应的虚拟轮廓信息与工作台上装配对象的轮廓信息存在重合，则根据存在重合情况的装配对象的轮廓，重新规划绕过所有装配对象的轮廓信息的方向指示信息。
通过上述技术方案，在方向指示信息对应的轮廓信息与工作台上的剩余装配对象之间存在重合时，调整方向指示信息的路线，直至绕过存在重合的装配对象，减少了工作人员按照方向指示信息调整目标装配对象的位置时，目标装配对象与工作台上的剩余装配对象出现碰撞损坏情况的可能，从而进一步提升了引导效果。
优选的，所述装配指示信息包括高度调整信息和水平位置调整信息；
所述根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息，包括：
根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的高度差，根据所述高度差利用终端设备给出高度调整信息；
待所述目标装配对象与标准位置之间的高度一致时，根据所述目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，根据所述水平位置差距利用终端设备给出水平位置调整信息。
通过上述技术方案，首先确定目标装配对象与标准装配结果对应的标准位置之间的高度差，给出高度调整信息引导工作人员将目标装配对象调整至合适的高度，继而确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，给出水平位置调整信息，以引导工作人员在当前高度调整目标装配对象的水平位置，从而使得工作人员可以根据系统的引导快速完成目标装配对象的装配工作。
优选的，所述装配指示信息包括位姿调整信息、高度调整信息和水平位置调整信息；
所述根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息，包括：
在预设的装配对象特征库中查询与所述目标装配对象相对应的目标基准面；
确定所述标准装配结果的轮廓信息中与所述目标基准面对应的标准基准面；
确定所述目标基准面与所述标准基准面之间的角度差，根据所述角度差利用终端设备给出位姿调整信息；
待所述目标基准面与所述标准基准面之间的角度一致时，根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的高度差，根据所述高度差利用终端设备给出高度调整信息；
待所述目标装配对象与标准位置之间的高度一致时，根据所述目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，根据所述水平位置差距利用终端设备给出水平位置调整信息。
通过上述技术方案，在装配过程中需要调整目标装配对象的姿态时，首先确定目标基准面和标准基准面，继而通过引导用户将目标基准面调整至与标准基准面平行的方式，可以快速对目标装配对象的姿态进行调整，之后在当前姿态下分别调整目标装配对象的高度和水平位置，使得工作人员可以快速完成目标装配对象的姿态调整并快速进行装配，从而进一步提升了工作人员的实际装配效率。
第二方面，本申请提供一种智能装配引导装置，采用如下技术方案：所述装置包括：图像信息接收模块，用于实时接收摄像机发送的图像信息，所述图像信息包括工作台上所有装配对象的轮廓信息；
轮廓信息查询模块，用于从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息；
位置区域确定模块，用于根据所述目标装配对象与标准装配对象的轮廓信息，确定所述图像信息中目标装配对象与标准装配对象的位置区域；
指示信息输出模块，用于根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息；
装配结果核查模块，用于待所述图像信息中目标装配对象的轮廓信息与所述标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。
通过上述技术方案，系统可以根据预设的工艺步骤，依次指示工作人员对工作台上的若干零部件进行装配，使得工作人员在对工作台上的零部件进行装配的过程中，可直接根据终端设备给出的装配指示信息进行装配操作，无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率。
第三方面，本申请提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种智能装配引导方法的计算机程序。
通过上述技术方案，系统可以根据预设的工艺步骤，依次指示工作人员对工作台上的若干零部件进行装配，使得工作人员在对工作台上的零部件进行装配的过程中，可直接根据终端设备给出的装配指示信息进行装配操作，无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率。
第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任一种智能装配引导方法的计算机程序。
通过上述技术方案，系统可以根据预设的工艺步骤，依次指示工作人员对工作台上的若干零部件进行装配，使得工作人员在对工作台上的零部件进行装配的过程中，可直接根据终端设备给出的装配指示信息进行装配操作，无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率。
综上所述，本申请包括以下至少一种有益技术效果：
1.工作人员在对工作台上的零部件进行装配的过程中，可直接根据终端设备给出的装配指示信息进行装配操作，无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率；
2.在装配过程中需要调整目标装配对象的姿态时，首先确定目标基准面和标准基准面，继而通过引导用户将目标基准面调整至与标准基准面平行的方式，可以快速对目标装配对象的姿态进行调整，之后在当前姿态下分别调整目标装配对象的高度和水平位置，使得工作人员可以快速完成目标装配对象的姿态调整并快速进行装配，从而进一步提升了工作人员的实际装配效率。
附图说明
图1是本申请一个实施例中智能装配引导方法的流程示意图。
图2是本申请一个实施例中S40的子步骤流程图。
图3是本申请另一个实施例中S40的子步骤流程图。
图4是本申请一个实施例中智能装配引导方法的补充流程示意图。
图5是本申请一个实施例中智能装配引导装置的结构框图。
图6是本申请另一个实施例中智能装配引导装置的结构框图。
附图标记：310、图像信息接收模块；320、轮廓信息查询模块；330、位置区域确定模块；340、指示信息输出模块；350、装配结果核查模块；360、信息调整模块。
具体实施方式
以下结合附图1-6对本申请作进一步详细说明。
本申请公开一种智能装配引导方法，该方法基于虚实融合技术，虚实融合技术是融合了参与者（人）、真实环境（实物）和虚拟环境（虚物）三者的技术，以虚拟现实VR和增强现实AR为基础的虚实融合环境装配辅助系统；在实际装配过程中，装配现场可利用三台工业相机实时获取装配过程的图像信息，三台工业相机可以分别放置在工作台的顶部和两侧，工业相机将获取到的图像信息发送至NUC服务器，经过服务器的处理后，将装配指示信息利用设置在工作台顶部的3LCD投影仪或工作人员佩戴的AR眼镜，通过虚实融合技术叠加显示到装配环境中，以完成对工作人员的智能装配指导。
在一个实施例中，如图1所示，提供了一种智能装配引导方法，该方法包括以下步骤：
S10，实时接收摄像机发送的图像信息。
其中，图像信息包括工作台上所有装配对象的轮廓信息，轮廓信息为装配对象的外形信息以及装配对象相对于工作台的相对位置信息的集合；装配对象为所有需要装配的零部件；具体来说，图像信息由设置在工作台顶部及两侧的工业相机实时拍摄后得出，工作相机会持续对工作台进行拍摄，以便于系统就可以实时了解工作台上方的装配进度。
S20，从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息。
具体来说，预设的工艺数据库中预先存储有标准的工艺流程数据，例如，装配工艺的第一步为将A零件插接到B零件中，其中B零件为位置固定的基础框架零件，则当前工艺对应的标准装配结果的轮廓信息为A零件插接到B零件后的整体轮廓信息A1+B1，目标装配对象的轮廓信息为A零件的轮廓信息，标准装配对象的轮廓信息为B零件的轮廓信息；工作人员在走向工作台进行装配操作时，系统会自动调取出工艺数据库内第一步工艺所对应的标准装配结果的轮廓信息，以及形成当前工艺对应的标准装配结果所需要的目标装配对象和标准装配对象的轮廓信息；待第一步工艺确认完成后，系统依次调取工艺数据库中的剩余工艺步骤。
S30，根据目标装配对象与标准装配对象的轮廓信息，确定图像信息中目标装配对象与标准装配对象的位置区域。
具体来说，基于上述举例，系统在确定当前工艺对应的目标装配对象和标准装配对象的轮廓信息之后，也即A零件和B零件的轮廓信息后，将A零件和B零件的轮廓信息与图像信息中所有装配对象的轮廓信息进行比对，依次找出A零件和B零件在工作台上的位置，也即确定图像信息中目标装配对象与标准装配对象的位置区域。
S40，根据图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息。
其中，终端设备可以为3LCD投影仪或工作人员佩戴的AR眼镜等可以通过虚实融合技术将装配指示信息叠加显示到装配环境中的设备；根据差异的不同类型，终端设备给出的装配指示信息可以为位姿调整信息、高度调整信息和水平位置调整信息中的一种调整信息、两种调整信息和/或三种调整信息的任意组合。
在一个实施例中，如图2所示，S40可以包括以下两个子步骤：
S401，根据高度差利用终端设备给出高度调整信息。
具体来说，首先根据目标装配对象的轮廓信息和标准装配结果的轮廓信息，确定出目标装配对象与标准装配结果对应的标准位置之间的高度差；基于上述举例，也即零件A的轮廓信息最高点与标准装配结果中A1的轮廓信息的最高点之间的高度差，继而根据得出的高度差利用终端设备给出对应的高度调整信息，高度调整信息可以为以目标装配对象为起点，以标准位置为终点的第一虚拟箭头，第一虚拟箭头沿竖直方向设置且第一虚拟箭头的方向为：由目标装配对象指向标准位置；以引导工作人员根据第一虚拟箭头的指示将目标装配对象移动至标准位置的高度。
S402，根据水平位置差距利用终端设备给出水平位置调整信息。
具体来说，待目标装配对象与标准位置之间的高度一致时，根据目标装配对象的轮廓信息和标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，继而根据得出的水平位置差距利用终端设备给出对应的水平位置调整信息，水平位置调整信息可以为以目标装配对象为起点，以标准位置为终点的第二虚拟箭头，第二虚拟箭头沿水平方向设置且第二虚拟箭头的方向为：由目标装配对象指向标准位置；以引导工作人员根据第二虚拟箭头的指示将目标装配对象移动至标准位置进行装配。
其中，目标装配对象与标准位置之间的高度一致在实际实施时，实际的设定可以为：高度差在预设允许的误差范围之内时即认定高度一致，例如预设允许的误差范围为五毫米，则目标装配对象与标准位置之间的高度误差在五毫米之内时，均判定为高度一致；设置允许的误差范围减少了工作人员在调整目标装配对象的高度时，由于工作人员手部抖动等原因而需要反复调整零件位置的可能，从而进一步提高了工作人员的实际装配效率。依次给出高度调整信息和水平位置调整信息的引导方式，可以适用于无需调整姿态的球类零件的安装引导，或者引导至标准位置后，工作人员即可自行得知如何调整零件姿态进行安装的零部件，例如螺栓和螺母之间的连接等。
在一个实施例中，如图3所示，S40还可以包括以下三个子步骤：
S403，根据角度差利用终端设备给出位姿调整信息。
具体来说，首先在预设的装配对象特征库中查询与当前需要装配的目标装配对象相对应的目标基准面，其中装配对象特征库内的数据为工作人员利用Opencv库机器识别技术，预先对所有装配对象进行特征点数据的采集后得到；其中，基准面为三个不共线的特征点构成的平面；继而确定标准装配结果中的轮廓信息中与目标基准面相对应的标准基准面，标准基准面和目标基准面为目标装配对象上的同一个基准面；之后根据目标基准面和标准基准面之间的角度差，利用终端设备给出位姿调整信息，位姿调整信息可以为以目标基准面所在平面为起点，以标准基准面所在平面为终点的第三虚拟箭头，第三虚拟箭头为弧形且箭头长度与需要旋转的角度相对应，第三虚拟箭头的箭头指向为：由目标基准面指向标准基准面；以引导工作人员根据第三虚拟箭头的指示将目标装配对象转动至需要的角度。
S404，根据高度差利用终端设备给出高度调整信息。
具体来说，待目标基准面转动至与标准基准面之间的角度一致时，根据目标装配对象的轮廓信息和标准装配结果的轮廓信息，确定出目标装配对象与标准装配结果对应的标准位置之间的高度差；继而根据得出的高度差利用终端设备给出对应的高度调整信息，以引导工作人员将目标装配对象移动至标准位置的高度；为了提高了工作人员的实际装配效率，角度一致在实际实施时的设定可以与上述高度一致的设定相同。
S405，根据水平位置差距利用终端设备给出水平位置调整信息。
具体来说，待目标装配对象与标准位置之间的高度一致时，根据目标装配对象的轮廓信息和标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，继而根据得出的水平位置差距利用终端设备给出对应的水平位置调整信息，以引导工作人员将目标装配对象移动至标准位置进行装配。依次给出位姿调整信息、高度调整信息和水平位置调整信息的引导方式，可以适用于安装过程中需要调整姿态、高度和水平位置的零件，从而提升了引导系统的适用范围。
S50，待图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。
具体来说，基于前述举例，当系统通过工业相机拍摄到的图像信息中目标装配对象的轮廓信息与标准结果的轮廓信息一致时，也即A零件已被对应插接到B零件内时，此时A零件当前的轮廓信息与标准装配结果中A零件的轮廓信息一致，则判定A零件的装配已完成，并利用3LCD投影仪或工作人员佩戴的AR眼镜对应给出符号“对钩”或文字“安装合格”等成功指示信息，以提醒工作人员当前工艺的装配工作已顺利完成；系统可以在工作人员进行装配的过程中，按照工艺顺序协助工作人员识别当前需要装配的零部件，并指导工作人员逐个对工作台上的装配对象进行装配，使得工作人员在整个装配过程中无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率。
在一个实施例中，如图4所示，为了便于工作人员可以更加快速且准确的理解终端设备给出的装配指示信息，在S30和S40之间还可以包括以下三个子步骤；
S31，根据目标装配对象与标准装配对象的位置区域，确定图像信息中目标装配对象与标准装配对象的间距。
具体来说，计算目标装配对象与标准装配对象所对应的位置区域之间的最短距离，基于上述举例，也即零件A的外缘与零件B的外缘之间的最短距离；继而将该最短距离设置为图像信息中目标装配对象与标准装配对象的间距。
在一个实施例中，为了降低部分零件的不规则外缘对间距确定的影响，提高间距的测定精度，根据目标装配对象与标准装配对象的位置区域，确定图像信息中目标装配对象与标准装配对象的间距的步骤还可以为：首先确定目标装配对象所对应位置区域的目标中心点和标准装配对象所对应的位置区域的标准中心点；继而将目标中心点与标准中心点之间的直线距离设置为图像信息中目标装配对象与标准装配对象的间距；通过采用确定中心点的方式，降低了零件外缘对间距测定时的影响，提升了间距测定时的精度。
S32，根据图像信息中目标装配对象与标准装配对象的位置区域，利用终端设备给出方向指示信息。
具体来说，方向指示信息可以为以目标装配对象的位置区域为起点，以标准装配对象所在位置区域为终点的第四虚拟箭头，第四虚拟箭头的方向为：由目标装配对象指向标准装配对象；以引导工作人员根据第四虚拟箭头的指示将目标装配对象首先调整至标准装配对象附近。
在一个实施例中，考虑到方向指示信息可能需要经过障碍物的情况，智能装配引导方法还可以包括：若方向指示信息所对应的虚拟轮廓信息与工作台上装配对象的轮廓信息存在重合，也即第四虚拟箭头与工作台上剩余装配对象的轮廓信息之间存在重合的情况时，则根据存在重合情况的装配对象的轮廓，重新规划绕过所有装配对象的轮廓信息的方向指示信息；具体来说，可以在第四虚拟箭头的起点和终点均不变的前提下，将第四虚拟箭头设置为弧形，以使第四虚拟箭头所经过的路径能够绕开所有装配对象的轮廓信息，在实施操作时，系统可通过不断改变第四虚拟箭头弧度的方式，重新调整验证方向指示信息所对应的路径；系统可以根据现场装配情况灵活调整方向指示信息对应的路径，减少了工作人员在按照方向指示信息移动目标装配对象时，目标装配对象与其他装配对象之间出现碰撞的情况，导致目标装配对象损坏的可能，从而进一步提升了系统的引导效果。
S33，判断间距是否小于预设的标准值。
具体来说，在工作人员根据方向指示信息对目标装配对象的位置进行调整的过程中，实时判断图像信息中目标装配对象与标准装配对象的间距是否小于预设的标准值，也即判断目标装配对象是否被移动至标准装配对象附近，若是，则跳转执行S40给出更加详细的引导信息；否则继续监测图像信息中目标装配对象与标准装配对象的间距；工作人员在对目标装配对象进行装配的过程中，系统首先引导工作人员将目标装配对象移动至标准装配对象附近，继而给出更加详细的引导信息指示工作人员对目标装配对象进行装配，减少了工作人员在装配过程中，由于目标装配对象与标准装配对象之间的距离较远，导致工作人员难以理解系统给出的装配指示信息的可能，从而进一步提升了工作人员的实际装配效率。
上述智能装配引导方法，在工作人员对工作台上的装配对象进行装配时，可以根据预先设定的工艺步骤，利用3LCD投影仪或工作人员佩戴的AR眼镜等终端设备引导工作人员将需要装配的目标装配对象移动至标准装配对象附近，继而根据目标装配对象与最终安装状态之间的差异给出进一步的详细装配指示，以便于工作人员可以根据详细装配指示快速进行装配；工作人员在对工作台上的装配对象进行装配的过程中，无需花费较多时间理解工艺图纸中各个装配步骤的要求和引导指示，从而提升了工作人员的实际装配效率。
图1为一个实施例中智能装配引导方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行；除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行；并且图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，一种智能装配引导装置，包括：
图像信息接收模块310，用于实时接收摄像机发送的图像信息，图像信息包括工作台上所有装配对象的轮廓信息；
轮廓信息查询模块320，用于从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息；
位置区域确定模块330，用于根据目标装配对象与标准装配对象的轮廓信息，确定图像信息中目标装配对象与标准装配对象的位置区域；
指示信息输出模块340，用于根据图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息；
装配结果核查模块350，用于待图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。
在一个实施例中，指示信息输出模块340还用于根据目标装配对象与标准装配对象的位置区域，确定图像信息中目标装配对象与标准装配对象的间距；根据图像信息中目标装配对象与标准装配对象的位置区域，利用终端设备给出方向指示信息；在间距小于预设的标准值时，根据图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息。
在一个实施例中，指示信息输出模块340还用于计算目标装配对象与标准装配对象所对应的位置区域之间的最短距离；将最短距离设置为图像信息中目标装配对象与标准装配对象的间距。
在一个实施例中，指示信息输出模块340还用于确定目标装配对象所对应位置区域的目标中心点和标准装配对象所对应的位置区域的标准中心点；将目标中心点与标准中心点之间的直线距离设置为图像信息中目标装配对象与标准装配对象的间距。
在一个实施例中，如图6所示，智能装配引导装置还包括指示信息调整模块360，用于若方向指示信息所对应的虚拟轮廓信息与工作台上装配对象的轮廓信息存在重合，则根据存在重合情况的装配对象的轮廓，重新规划绕过所有装配对象的轮廓信息的方向指示信息。
在一个实施例中，装配指示信息包括高度调整信息和水平位置调整信息；指示信息输出模块340还用于根据目标装配对象的轮廓信息与标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的高度差，根据高度差利用终端设备给出高度调整信息；待目标装配对象与标准位置之间的高度一致时，根据目标装配对象的轮廓信息与标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，根据水平位置差距利用终端设备给出水平位置调整信息。
在一个实施例中，装配指示信息包括位姿调整信息、高度调整信息和水平位置调整信息；指示信息输出模块340还用于在预设的装配对象特征库中查询与目标装配对象相对应的目标基准面；确定标准装配结果的轮廓信息中与目标基准面对应的标准基准面；确定目标基准面与标准基准面之间的角度差，根据角度差利用终端设备给出位姿调整信息；待目标基准面与标准基准面之间的角度一致时，根据目标装配对象的轮廓信息与标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的高度差，根据高度差利用终端设备给出高度调整信息；待目标装配对象与标准位置之间的高度一致时，根据目标装配对象的轮廓信息与标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，根据水平位置差距利用终端设备给出水平位置调整信息。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述智能装配引导方法的步骤。此处智能装配引导方法的步骤可以是上述各个实施例的智能装配引导方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其存储有能够被处理器加载并执行如上述智能装配引导方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种智能装配引导方法，其特征在于，所述方法包括：
实时接收摄像机发送的图像信息，所述图像信息包括工作台上所有装配对象的轮廓信息；
从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息；
根据所述目标装配对象与标准装配对象的轮廓信息，确定所述图像信息中目标装配对象与标准装配对象的位置区域；
根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息；
待所述图像信息中目标装配对象的轮廓信息与所述标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息，包括：
根据所述目标装配对象与标准装配对象的位置区域，确定所述图像信息中目标装配对象与标准装配对象的间距；
根据所述图像信息中目标装配对象与标准装配对象的位置区域，利用终端设备给出方向指示信息；
在所述间距小于预设的标准值时，根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标装配对象与标准装配对象的位置区域，确定所述图像信息中目标装配对象与标准装配对象的间距，包括：
计算所述目标装配对象与标准装配对象所对应的位置区域之间的最短距离；
将所述最短距离设置为所述图像信息中目标装配对象与标准装配对象的间距。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标装配对象与标准装配对象的位置区域，确定所述图像信息中目标装配对象与标准装配对象的间距，包括：
确定所述目标装配对象所对应位置区域的目标中心点和所述标准装配对象所对应的位置区域的标准中心点；
将所述目标中心点与所述标准中心点之间的直线距离设置为所述图像信息中目标装配对象与标准装配对象的间距。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述方向指示信息所对应的虚拟轮廓信息与工作台上装配对象的轮廓信息存在重合，则根据存在重合情况的装配对象的轮廓，重新规划绕过所有装配对象的轮廓信息的方向指示信息。
6.根据权利要求1所述的方法，其特征在于，所述装配指示信息包括高度调整信息和水平位置调整信息；
所述根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息，包括：
根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的高度差，根据所述高度差利用终端设备给出高度调整信息；
待所述目标装配对象与标准位置之间的高度一致时，根据所述目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，根据所述水平位置差距利用终端设备给出水平位置调整信息。
7.根据权利要求1所述的方法，其特征在于，所述装配指示信息包括位姿调整信息、高度调整信息和水平位置调整信息；
所述根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息，包括：
在预设的装配对象特征库中查询与所述目标装配对象相对应的目标基准面；
确定所述标准装配结果的轮廓信息中与所述目标基准面对应的标准基准面；
确定所述目标基准面与所述标准基准面之间的角度差，根据所述角度差利用终端设备给出位姿调整信息；
待所述目标基准面与所述标准基准面之间的角度一致时，根据目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的高度差，根据所述高度差利用终端设备给出高度调整信息；
待所述目标装配对象与标准位置之间的高度一致时，根据所述目标装配对象的轮廓信息与所述标准装配结果的轮廓信息，确定目标装配对象与标准装配结果对应的标准位置之间的水平位置差距，根据所述水平位置差距利用终端设备给出水平位置调整信息。
8.一种智能装配引导装置，其特征在于，所述装置包括：
图像信息接收模块(310)，用于实时接收摄像机发送的图像信息，所述图像信息包括工作台上所有装配对象的轮廓信息；
轮廓信息查询模块(320)，用于从预设的工艺数据库中查询与当前工艺对应的标准装配结果的轮廓信息及目标装配对象和标准装配对象的轮廓信息；
位置区域确定模块(330)，用于根据所述目标装配对象与标准装配对象的轮廓信息，确定所述图像信息中目标装配对象与标准装配对象的位置区域；
指示信息输出模块(340)，用于根据所述图像信息中目标装配对象的轮廓信息与标准装配结果的轮廓信息之间的差异，利用终端设备给出装配指示信息；
装配结果核查模块(350)，用于待所述图像信息中目标装配对象的轮廓信息与所述标准装配结果的轮廓信息一致时，利用终端设备给出与装配结束相关的成功指示信息。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
CN202110750870.0A 2021-07-01 2021-07-01 智能装配引导方法、装置、设备及存储介质 Pending CN113449133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110750870.0A CN113449133A (zh) 2021-07-01 2021-07-01 智能装配引导方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110750870.0A CN113449133A (zh) 2021-07-01 2021-07-01 智能装配引导方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113449133A true CN113449133A (zh) 2021-09-28

Family

ID=77814911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110750870.0A Pending CN113449133A (zh) 2021-07-01 2021-07-01 智能装配引导方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113449133A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114197884A (zh) * 2021-12-27 2022-03-18 广东景龙建设集团有限公司 一种订制装饰墙板的装配引导方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114197884A (zh) * 2021-12-27 2022-03-18 广东景龙建设集团有限公司 一种订制装饰墙板的装配引导方法及系统
CN114197884B (zh) * 2021-12-27 2022-07-08 广东景龙建设集团有限公司 一种订制装饰墙板的装配引导方法及系统

Similar Documents

Publication Publication Date Title
US10094652B2 (en) Method and apparatus for laser projection, and machining method
CN107584263B (zh) 一种视觉定位引导装置及引导方法
US6919956B2 (en) Method of automatically repairing cracks and apparatus for use in such method
CN112734945B (zh) 一种基于增强现实的装配引导方法、系统及应用
CN102172806B (zh) 基于图像识别技术的全自动焊接系统及其运行方法
CN110102886A (zh) 一种应用于金属结构的智能焊接系统
CN109715307B (zh) 具有工作区图像捕获设备的弯曲机以及用于表示工作区的方法
US20170235301A1 (en) Robot programming device for teaching robot program
CN109976258B (zh) 链接信息生成装置、链接信息生成方法以及记录介质
US20210237278A1 (en) Method for checking a safety area of a robot
CN201906929U (zh) 基于图像识别技术的全自动焊接系统
CN113449133A (zh) 智能装配引导方法、装置、设备及存储介质
US10782671B2 (en) Method for operating a pass-through machine and a pass-through machine for edge machining and trimming of workpieces
CN108015762B (zh) 机器人视觉定位的验证方法
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化系统
CN111993420A (zh) 一种固定式双目视觉3d引导上件系统
CN109814434A (zh) 控制程序的校准方法及装置
CN116329824A (zh) 一种吊装式智能焊接机器人及其焊接方法
CN110893525B (zh) 焊接工件的焊接区域识别方法、计算机装置及计算机可读存储介质
CN112084940A (zh) 物资盘点管理系统及方法
JPH1063324A (ja) 画像入力型ロボットシステム
KR102428841B1 (ko) 구조광을 이용한 연마 로봇 시스템 및 그 제어방법
CN115494790A (zh) 一种废钢切割路径确定方法、装置、电子设备和存储介质
JP7317977B2 (ja) 工作機械をセットアップするための方法および製造システム
KR100926272B1 (ko) Ｘ―ｙ스테이지를 이용한 엘브이에스 캘리브레이션 자동화방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination