CN117953047A - 部件装配方法、装置、计算机设备、可读存储介质和产品 - Google Patents
部件装配方法、装置、计算机设备、可读存储介质和产品 Download PDFInfo
- Publication number
- CN117953047A CN117953047A CN202311806366.3A CN202311806366A CN117953047A CN 117953047 A CN117953047 A CN 117953047A CN 202311806366 A CN202311806366 A CN 202311806366A CN 117953047 A CN117953047 A CN 117953047A
- Authority
- CN
- China
- Prior art keywords
- assembly
- assembled
- target
- image data
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 39
- 230000011218 segmentation Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种部件装配方法、装置、计算机设备、可读存储介质和计产品，涉及机器人技术领域。方法包括：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。采用本方法能够提高部件装配的精度。
Description
技术领域
本申请涉及机器人技术领域，特别是涉及一种部件装配方法、装置、计算机设备、可读存储介质和产品。
背景技术
随着人工智能的快速发展，机器人被应用在不同的领域，执行不同的工作，尤其是在部件装配上，机器人被广泛应用，大大的提高了部件装配的效率。
目前，通常是通过给定机器人准确的移动位置，使机器人能够携带待装配部件移动至装配载体处，并将待装配部件安装在装配载体上，从而完成装配工作。这种方式对于机器人移动位置的精度要求很高，然而在实际应用中，不可避免会存在各种误差影响机器人的移动位置，从而导致最终的装配精度较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高部件装配精度的部件装配方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种部件装配方法。方法包括：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
在一实施例中，装配载体中包含多个装配点位，根据目标图像数据，确定装配载体对应的目标装配位置，包括：在目标图像数据中，定位多个装配点位各自对应的装配点位置；获取多个装配点位置对应的装配点中心坐标；基于多个装配点中心坐标，生成中心装配点坐标；将中心装配点坐标进行坐标投影，得到目标装配位置。
在一实施例中，基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差，包括：获取目标装配位置对应的相机坐标和目标装配位置对应的平面坐标；建立相机坐标与平面坐标之间的坐标关系；获取目标装配位置对应的目标速度，以及目标图像数据对应的采集速度；建立目标速度与采集速度之间的速度关系；基于坐标关系和速度关系，确定目标装配位置对应的状态矩阵；根据状态矩阵，确定待装配控件对应的运动速度和运动方向。
在一实施例中，基于多个装配点中心坐标，生成中心装配点坐标，包括：对多个装配点位置进行点云分割，得到多个装配点位置对应的点云分割结果；基于多个装配点中心坐标，确定多个装配点位置各自对应的中心射线；定位点云分割结果和中心射线之间的交点坐标，基于交点坐标，确定中心装配点坐标。
在一实施例中，基于装配位置误差，执行与装配指令对应的装配动作，包括：检测装配位置误差是否达到预设精度值；若未达到，则返回步骤：采集目标图像数据；若达到，则执行与装配指令对应的装配动作。
在一实施例中，在返回步骤：采集目标图像数据的步骤之前，还包括：根据状态矩阵，确定待装配部件对应的运动速度和待装配部件对应的运动方向；基于运动速度和运动方向，控制待装配部件运动，得到待装配部件对应的当前位置；基于当前位置，采集目标图像数据。
第二方面，本申请还提供了一种部件装配装置。装置包括：图像采集模块，用于响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；装配位置确定模块，用于根据目标图像数据，确定装配载体对应的目标装配位置；中心位置确定模块，用于获取待装配部件对应的中心位置；误差分析模块，用于基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；装配模块，用于基于装配位置误差，执行与装配指令对应的装配动作。
第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
第五方面，本申请还提供了一种计算机程序产品。计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现以下步骤：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
上述部件装配方法、装置、计算机设备、存储介质和计算机程序产品，首先响应于针对待装配部件的装配指令，采集目标图像数据，该目标图像数据是指与待装配部件对应的装配载体的图像数据，通过实时采集图像数据，以供后续不断计算装配位置误差。然后根据目标图像数据，确定装配载体对应的目标装配位置，以及获取述待装配部件对应的中心位置，从而基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差，如此，通过直接分析装配载体对应的目标装配位置与待装配部件对应的中心位置之间的位置误差，从而执行与装配指令对应的装配动作，确保待装配部件能够准确移动至目标装配位置处，进而提高了部件装配的精度。
附图说明
图1为一个实施例中部件装配方法的应用场景示意图；
图2为一个实施例中部件装配方法的流程示意图；
图3为一个实施例中获取目标装配位置的流程示意图；
图4为一个实施例中误差分析的流程示意图；
图5为一个实施例中重新采集目标图像数据的流程示意图；
图6为一个实施例中支重轮示意图；
图7为一个实施例中下车架示意图；
图8为一个实施例中部件装配方法的另一流程示意图；
图9为一个实施例中部件装配装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着人工智能的快速发展，机器人被应用在不同的领域，执行不同的工作，比如工件抓取、上下料、分拣、部件装配等，大大的提高了生产效率。目前普遍使用视觉引导的技术来控制机器人完成上述工作，也即视觉系统计算基于机器人底座坐标系下的物体的位置及姿态，机器人则通过测量标定其关节位置及角度并根据正向运动学来计算末端执行器相对于机器人底座的三维位置，随后通过将机器人末端夹具引导至在同一坐标系下的物体的位置，就能够完成引导机器人执行上述工作的需求。此过程中，视觉系统计算出来的是物体的位置及姿态，也即机器人的末端执行器需要抵达的最终位置。针对部件装配，同样是通过视觉系统给定机器人准确的移动位置，使机器人能够移动至装配载体处，从而完成部件装配。但是在这个过程中，对于机器人移动位置的精度要求很高，也即需要机器人能够精准的通过传感器和各个关节的准确位置，来执行正向运动学的结果，但是在实际应用中，不可避免会存在各种因素影响到机器人末端执行器的移动位置，导致机器人移动过程中存在误差，因此在高精度需求的部件装配场景下，目前的视觉系统难以满足此类高精度引导的要求。也即，现有技术中存在部件装配精度较低的技术问题。
为了解决这一技术问题，本申请提出一种部件装配方法，通过不断采集装配载体的图像数据，从而不断计算出装配载体与待装配部件之间的位置误差，以引导机器人准确的将待装配部件安装在装配载体上，有效提高了部件装配的精度。
本公开实施例提供的部件装配方法，可以应用于如图 1所示的应用环境中。其中，服务器102与终端104通信，服务器102接收到终端104发送的针对待装配部件的装配指令时，首先采集待装配部件对于的装配载体所对应的目标图像数据。根据该目标图像数据，确定装配载体所对应的目标装配位置。接着获取待装配部件的中心位置，并基于中心位置和目标装配位置，对待装配部件进行误差分析，得到待装配部件对于的装配位置误差。从而基于该装配位置误差，控制机器人执行与该装配指令对于的装配动作，也即将待装配部件安装在装配载体上的目标装配位置处。其中，服务器102用独立的服务器或者是多个服务器组成的服务器集群来实现。终端104可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备。
在一个实施例中，如图2所示，提供了一种部件装配方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：
步骤S202，响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据。
其中，待装配部件可以是指需要进行装配的工件或者零件，装配载体则可以是指安装待装配部件的工件或者零件，在一示例中，待装配部件可以是支重轮，装配载体可以是挖掘机下车架，支重轮需要安装在下车架上。目标图像数据可以是指装配载体对应的图像数据，图像数据可以是通过相机拍摄到的包含装配载体全局的图像。
具体的，服务器在接收到针对待装配部件的装配指令时，可首先控制机器人将待装配部件进行抓取，抓取之后控制机器人移动至待装配部件上方，使用预先安装在机器人末端的相机对装配载体进行图像采集，保证采集到的图像能够包含装配载体的整体。
在一实施例中，机器人可以是六轴机械臂。采集目标图像数据的相机可以是3D结构光相机，3D结构光相机是一种利用结构光原理进行三维重建的设备。相比传统的相机，3D结构光相机能够获取到更多的深度信息，即拍摄空间的景深距离，即图像中每个点距离摄像头的距离。以确保目标装配位置的深度值的准确性，从而提高引导机器人进行部件装配的准确性。
在一实施例中，3D结构光相机可采用眼在手上（eye-on-hand）的方式安装在机器人末端。眼在手上是指相机和机器人末端绑定在一个位置，机器人末端移动，相机也跟着移动。
步骤S204，根据目标图像数据，确定装配载体对应的目标装配位置。
其中，目标装配位置是指装配载体上的各装配点位置所对应的中心位置，装配载体可以包含多个装配点位，每一个装配点位对应存在一个装配点位置，也即装配部件可以安装在装配点位置处。
例如，支重轮若要安装在下车架上，需要通过支重轮上的通孔将螺丝拧入下车架中，以此将支重轮固定于下车架。下车架中的每个螺丝孔即为装配点位，螺丝孔对应的位置即为装配点位置，各个螺丝孔位置所对应的中心位置即为目标装配位置。可以理解的是，本实施例是计算目标装配位置与待装配部件对应的中心位置之间的误差，这个过程可以理解为将待装配部件与装配载体进行对准，对准之后才能准确完成后续的装配。
具体的，服务器获取到目标图像数据之后，可先从目标图像数据中确定各个装配点位所对应的装配点位置，再根据各个装配点位置，计算装配载体的中心位置，也即目标装配位置。
步骤S206，获取待装配部件对应的中心位置。
步骤S208，基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差。
其中，中心位置可以是指待装配部件对应的机器人的抓手中心位置，中心位置是不变的，可预先存储在服务器中。装配位置误差是指目标装配位置与中心位置之间的误差。
具体的，服务器可直接获取到待装配部件的中心位置，并计算中心位置与目标装配位置之间的位置误差。
步骤S210，基于装配位置误差，执行与装配指令对应的装配动作。
其中，装配动作可以是指将待装配部件安装在装配载体上的动作。
具体的，服务器计算出装配位置误差之后，可进一步检测该装配位置误差是否达到预设精度值，预设精度值可以是指预先设定的精度值，达到该值则说明本次机器人携带待装配部件的运动精度达到了要求，则可以控制机器人执行装配动作。若装配位置误差未达到预设精度值，则说明本次机器人的运动并没有达到精度要求，还是存在一定的距离误差，故而需要返回步骤：采集目标图像数据，也即重新采集装配载体的当前图像数据，并重新计算装配载体的当前图像数据与待装配部件的中心位置之间的位置误差，再检测该位置误差是否达到预设精度值。重复上述过程，直至装配位置误差达到预设精度值。
本实施例中，首先响应于针对待装配部件的装配指令，采集目标图像数据，该目标图像数据是指与待装配部件对应的装配载体的图像数据，通过实时采集图像数据，以供后续不断计算装配位置误差。然后根据目标图像数据，确定装配载体对应的目标装配位置，以及获取述待装配部件对应的中心位置，从而基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差，如此，通过直接分析装配载体对应的目标装配位置与待装配部件对应的中心位置之间的位置误差，从而执行与装配指令对应的装配动作，确保待装配部件能够准确移动至目标装配位置处，进而提高了部件装配的精度。
在一实施例中，如图3所示，根据目标图像数据，确定装配载体对应的目标装配位置，包括：
步骤S302，在目标图像数据中，定位多个装配点位各自对应的装配点位置。
其中，装配点位置可以是指装配点位对应的中心位置。
具体的，服务器获取到装配载体的目标图像数据之后，可在目标图像数据中选择出各个装配点位，从而定位各个装配点位对应的中心位置。
步骤S304，获取多个装配点位置对应的装配点中心坐标。
其中，装配点中心坐标可以是指装配点位对应的中心位置的坐标。
具体的，服务器获取到每个装配点位对应的中心位置之后，可进一步计算每个中心位置所对应的位置坐标，在一示例中，以装配点位为螺丝孔为例，由于螺丝孔具有椭圆形特征，故而可以使用椭圆估计算法来计算每一个螺丝孔对应的位置坐标，即服务器可先对目标图像数据进行图像处理，图像处理可包括图像去噪、灰度化和二值化等，接着可以使用二次曲线的方法计算出椭圆的中心坐标，也即螺丝孔的中心位置所对应的坐标，也即装配点中心坐标。
步骤S306，基于多个装配点中心坐标，生成中心装配点坐标。
其中，中心装配点坐标可以是指多个装配点位所对应的中心装配点的坐标。
具体的，服务器可利用点云分割技术，对每一个装配点位置进行点云分割，得到点云分割结果，从而基于点云分割结果和装配点中心坐标，得到中心装配点坐标。
在一实施例中，服务器可对多个装配点位置进行点云分割，得到多个装配点位置对应的点云分割结果；基于多个装配点中心坐标，确定多个装配点位置各自对应的中心射线；定位点云分割结果和中心射线之间的交点坐标，将基于交点坐标，确定中心装配点坐标。
其中，点云分割是指根据空间、几何和纹理等特征对每一个装配点附近的点云平面进行分割，得到每一个装配点对应的点云切割平面。点云分割结果可以是指点云分割之后得到的平面表达式，该平面表达式可以是平面方程，具体可根据实际情况进行设定。中心射线可以是指经过相机坐标系原点和装配点中心坐标的射线，相机坐标系是指以相机的聚焦中心为原点，以光轴为Z轴（竖轴）建立的三维直角坐标系，x轴（横轴）与y轴（纵轴）与图像坐标系的X（横轴）、Y轴（纵轴）平行，图像坐标系是指相机拍摄时，在成像平面上使用的坐标系。交点坐标可以是指中心射线与平面方程也即点云分割结果之间的交点的坐标。
具体的，针对每一个装配点位置，均可以对该装配位置附近的点云平面进行分割，得到每一个装配点位置对应的点云平面，并求出每个点云平面对应的平面表达式，可以是平面方程，接着获取经过相机坐标系原点以及装配点中心坐标的中心射线，一条中心射线对应一个装配点位，对每条中心射线与各自对应的平面方程进行求交点运算，也即求中心射线与平面方程之间的交点坐标，如此可得到每一个装配点位置所对应的交点坐标，该交点坐标可以表示每个装配点位在相机坐标系下的三维坐标，从而可以根据各个交点坐标求解出位于中心的中心装配点坐标，该中心装配点坐标同样是相机坐标系下的三维坐标。
步骤S308，将中心装配点坐标进行坐标投影，得到目标装配位置。
具体的，服务器计算出中心装配点坐标之后，将中心装配点坐标反投影回图像中，得到目标装配位置的坐标。
本实施例中，使用椭圆估计法和点云分割技术，基于装配载体对应的目标图像数据，求解出目标装配位置的坐标，提高了目标装配位置的准确性，从而提高部件装配的准确性。
在一实施例中，如图4所示，基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差，包括：
步骤S402，获取目标装配位置对应的相机坐标和目标装配位置对应的平面坐标。
其中，相机坐标可以是指目标装配位置在相机坐标系下的三维坐标。平面坐标可以是指目标装配位置在图像坐标系下的二维坐标。
需要说明的是，本申请是通过3D结构光相机，为引导机器人进行部件装配提供必要的深度信息，主要是通过图像数据，计算机器人需要的速度和方向，再以一段时间间隔重复迭代此过程，直至机器人也即待装配部件与装配载体之间的位置误差达到预设精度值。进一步的，可以定义机器人的期望状态s*，定义机器人的实际运行状态为s，那么实际运行状态与期望运行状态之间的误差就是e=s-s*。机器人的实际运行状态可以表示为s=[m(t)，a]，其中，m(t)为图像测量值，a为相机固有参数，在本申请中，将目标安装位置的坐标作为图像测量值，因此实际运行状态s的变化与目标安装位置的坐标在图像中的位置有关。
具体的，服务器获取目标装配位置在相机坐标系下的相机坐标(X，Y，Z)，以及在成像平面下的平面坐标(x，y)，再进一步获取目标装配位置的像素坐标(u，v)，像素坐标也是一个二维坐标系，反映了图像中像素的排列情况，原点位于图像的左上角，像素坐标与平面坐标实际是平移的关系，像素坐标中坐标轴单位为像素。
步骤S404，建立相机坐标与平面坐标之间的坐标关系。
其中，坐标关系可以是指相机坐标与平面坐标之间坐标表达式。
具体的，基于相机坐标、平面坐标以及像素坐标，建立坐标表达式，在一示例中，坐标表达式可以为：
其中，(cu，cv)表示主点坐标，主点是指光轴与成像平面的交点，f为相机焦距，(cu，cv)和f都属于相机固有参数。
对坐标表达式进行求导即可得到：
步骤S406，获取目标装配位置对应的目标速度，以及目标图像数据对应的采集速度。
步骤S408，建立目标速度与采集速度之间的速度关系。
其中，目标速度可以是指目标装配位置的移动速度。采集速度可以是指相机采集目标图像数据的速度。
具体的，根据控制学理论中的正向运动学公式可知，目标装配位置的目标速度与相机的采集速度之间的速度关系满足：
其中，(vc，wc)表示机器人末端的移动速度，vc表示线速度，wc表示角速度。
步骤S410，基于坐标关系和速度关系，确定目标装配位置对应的状态矩阵。
步骤S412，根据状态矩阵，确定待装配控件对应的运动速度和运动方向。
其中，状态矩阵可以是指目标装配位置对应的雅可比矩阵。
具体的，结合坐标关系和速度关系，即可得到：
即：
因而上述雅可比矩阵可表示为：
其中，表示装配位置误差。
在一实施例中，如图5所示，在返回步骤：采集目标图像数据的步骤之前，还包括：
步骤S502，根据状态矩阵，确定待装配控件对应的运动速度和运动方向。
步骤S504，基于运动速度和运动方向，控制待装配部件运动，得到待装配部件对应的当前位置。
步骤S506，基于当前位置，采集目标图像数据。
其中，运动速度可以是指待装配部件对应的机器人的运动速度，运动方向可以是指待装配部件对应的机器人的运动方向。当前位置是指机器人抓取待装配部件基于运动速度和运动方向移动预设时间段之后的位置。
具体的，服务器计算得到雅可比矩阵之后，对其求伪逆/>，带入公式，即可得到运动速度和运动方向，使用此速度和此方向控制机器人运行预设时间段，得到当前位置，并在当前位置处重新采集目标图像数据，继而重新分析装配位置误差。
本实施例中，通过不断控制机器人运动，从而不断计算位置误差，基于位置误差，再不断调整机器人的运动速度和运动方向，以完成最终的部件装配，从而提高了部件装配的准确性。
在一具体实施例中，如图6所示，待装配部件可以是支重轮，如图7所示，装配载体可以是挖掘机的下车架，1表示下车架上支重轮待安装位置的螺丝孔孔位。部件装配方法还包括以下步骤，参照图8：
S1：响应于针对支重轮的装配指令，采集目标图像数据；目标图像数据是指与支重轮对应的下车架的图像数据。可以使用3D结构光相机进行图像采集，3D结构光相机采用眼在手上的方式安装在机器人末端。
S2：根据目标图像数据，确定下车架上的目标装配位置即车架螺孔定位。
S3：获取执行支重轮的装配的机器人的抓手中心位置，机器人抓取支重轮进行移动。
S4：计算车架螺孔定位和抓手中心位置之间的误差，得到支重轮对应的装配位置误差。
S5：检测装配位置误差是否达到预设精度值，若是，则控制机器人执行与装配指令对应的装配动作，若否，则计算机器人末端的运动速度和运动方向，根据该运动速度和运动方向，控制机器人运动，并重新采集图像数据。
本实施例中，通过直接分析下车架对应的目标装配位置与支重轮对应的中心位置之间的位置误差，从而控制机器人执行与装配指令对应的装配动作，确保支重轮能够准确移动至目标装配位置处，进而提高了支重轮装配的精度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的部件装配方法的部件装配装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个部件装配装置实施例中的具体限定可以参见上文中对于部件装配方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种部件装配装置，包括：图像采集模块902，用于响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；装配位置确定模块904，用于根据目标图像数据，确定装配载体对应的目标装配位置；中心位置确定模块，用于获取待装配部件对应的中心位置；误差分析模块906，用于基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；装配模块908，用于基于装配位置误差，执行与装配指令对应的装配动作。
在其中一个实施例中，装配位置确定模块904还用于：在目标图像数据中，定位多个装配点位各自对应的装配点位置；获取多个装配点位置对应的装配点中心坐标；基于多个装配点中心坐标，生成中心装配点坐标；将中心装配点坐标进行坐标投影，得到目标装配位置。
在其中一个实施例中，误差分析模块906还用于：获取目标装配位置对应的相机坐标和目标装配位置对应的平面坐标；建立相机坐标与平面坐标之间的坐标关系；获取目标装配位置对应的目标速度，以及目标图像数据对应的采集速度；建立目标速度与采集速度之间的速度关系；基于坐标关系和速度关系，确定目标装配位置对应的状态矩阵；根据状态矩阵，确定所述待装配控件对应的运动速度和运动方向。
在其中一个实施例中，装配位置确定模块904还用于：对多个装配点位置进行点云分割，得到多个装配点位置对应的点云分割结果；基于多个装配点中心坐标，确定多个装配点位置各自对应的中心射线；定位点云分割结果和中心射线之间的交点坐标，基于交点坐标，确定中心装配点坐标。
在其中一个实施例中，装配模块908还用于：检测装配位置误差是否达到预设精度值；若未达到，则返回步骤：采集目标图像数据；若达到，则执行与装配指令对应的装配动作。
在其中一个实施例中，装配模块908还用于：根据状态矩阵，确定待装配部件对应的运动速度和待装配部件对应的运动方向；基于运动速度和运动方向，控制待装配部件运动，得到待装配部件对应的当前位置；基于所述当前位置，采集目标图像数据。
上述部件装配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储物品推荐数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种部件装配方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在目标图像数据中，定位多个装配点位各自对应的装配点位置；获取多个装配点位置对应的装配点中心坐标；基于多个装配点中心坐标，生成中心装配点坐标；将中心装配点坐标进行坐标投影，得到目标装配位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标装配位置对应的相机坐标和目标装配位置对应的平面坐标；建立相机坐标与平面坐标之间的坐标关系；获取目标装配位置对应的目标速度，以及目标图像数据对应的采集速度；建立目标速度与采集速度之间的速度关系；基于坐标关系和速度关系，确定目标装配位置对应的状态矩阵；根据状态矩阵，确定所述待装配控件对应的运动速度和运动方向。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对多个装配点位置进行点云分割，得到多个装配点位置对应的点云分割结果；基于多个装配点中心坐标，确定多个装配点位置各自对应的中心射线；定位点云分割结果和中心射线之间的交点坐标，基于交点坐标，确定中心装配点坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：检测装配位置误差是否达到预设精度值；若未达到，则返回步骤：采集目标图像数据；若达到，则执行与装配指令对应的装配动作。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据状态矩阵，确定待装配部件对应的运动速度和待装配部件对应的运动方向；基于运动速度和运动方向，控制待装配部件运动，得到待装配部件对应的当前位置；基于所述当前位置，采集目标图像数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在目标图像数据中，定位多个装配点位各自对应的装配点位置；获取多个装配点位置对应的装配点中心坐标；基于多个装配点中心坐标，生成中心装配点坐标；将中心装配点坐标进行坐标投影，得到目标装配位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标装配位置对应的相机坐标和目标装配位置对应的平面坐标；建立相机坐标与平面坐标之间的坐标关系；获取目标装配位置对应的目标速度，以及目标图像数据对应的采集速度；建立目标速度与采集速度之间的速度关系；基于坐标关系和速度关系，确定目标装配位置对应的状态矩阵；根据状态矩阵，确定所述待装配控件对应的运动速度和运动方向。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对多个装配点位置进行点云分割，得到多个装配点位置对应的点云分割结果；基于多个装配点中心坐标，确定多个装配点位置各自对应的中心射线；定位点云分割结果和中心射线之间的交点坐标，基于交点坐标，确定中心装配点坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测装配位置误差是否达到预设精度值；若未达到，则返回步骤：采集目标图像数据；若达到，则执行与装配指令对应的装配动作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据状态矩阵，确定待装配部件对应的运动速度和待装配部件对应的运动方向；基于运动速度和运动方向，控制待装配部件运动，得到待装配部件对应的当前位置；基于所述当前位置，采集目标图像数据。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：响应于针对待装配部件的装配指令，采集目标图像数据；目标图像数据是指与待装配部件对应的装配载体的图像数据；根据目标图像数据，确定装配载体对应的目标装配位置；获取待装配部件对应的中心位置；基于目标装配位置和中心位置，对待装配部件进行误差分析，得到待装配部件对应的装配位置误差；基于装配位置误差，执行与装配指令对应的装配动作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在目标图像数据中，定位多个装配点位各自对应的装配点位置；获取多个装配点位置对应的装配点中心坐标；基于多个装配点中心坐标，生成中心装配点坐标；将中心装配点坐标进行坐标投影，得到目标装配位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标装配位置对应的相机坐标和目标装配位置对应的平面坐标；建立相机坐标与平面坐标之间的坐标关系；获取目标装配位置对应的目标速度，以及目标图像数据对应的采集速度；建立目标速度与采集速度之间的速度关系；基于坐标关系和速度关系，确定目标装配位置对应的状态矩阵；根据状态矩阵，确定所述待装配控件对应的运动速度和运动方向。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对多个装配点位置进行点云分割，得到多个装配点位置对应的点云分割结果；基于多个装配点中心坐标，确定多个装配点位置各自对应的中心射线；定位点云分割结果和中心射线之间的交点坐标，基于交点坐标，确定中心装配点坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测装配位置误差是否达到预设精度值；若未达到，则返回步骤：采集目标图像数据；若达到，则执行与装配指令对应的装配动作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据状态矩阵，确定待装配部件对应的运动速度和待装配部件对应的运动方向；基于运动速度和运动方向，控制待装配部件运动，得到待装配部件对应的当前位置；基于所述当前位置，采集目标图像数据。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种部件装配方法，其特征在于，所述方法包括：
响应于针对待装配部件的装配指令，采集目标图像数据；所述目标图像数据是指与所述待装配部件对应的装配载体的图像数据；
根据所述目标图像数据，确定所述装配载体对应的目标装配位置；
获取所述待装配部件对应的中心位置；
基于所述目标装配位置和所述中心位置，对所述待装配部件进行误差分析，得到所述待装配部件对应的装配位置误差；
基于所述装配位置误差，执行与所述装配指令对应的装配动作。
2.根据权利要求1所述的方法，其特征在于，所述装配载体中包含多个装配点位，所述根据所述目标图像数据，确定所述装配载体对应的目标装配位置，包括：
在所述目标图像数据中，定位多个所述装配点位各自对应的装配点位置；
获取多个所述装配点位置对应的装配点中心坐标；
基于多个所述装配点中心坐标，生成中心装配点坐标；
将所述中心装配点坐标进行坐标投影，得到所述目标装配位置。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标装配位置和所述中心位置，对所述待装配部件进行误差分析，得到所述待装配部件对应的装配位置误差，包括：
获取所述目标装配位置对应的相机坐标和所述目标装配位置对应的平面坐标；
建立所述相机坐标与所述平面坐标之间的坐标关系；
获取所述目标装配位置对应的目标速度，以及所述目标图像数据对应的采集速度；
建立所述目标速度与所述采集速度之间的速度关系；
基于所述坐标关系和所述速度关系，确定所述目标装配位置对应的状态矩阵；
根据所述状态矩阵，对所述待装配部件进行误差分析，得到所述待装配部件对应的装配位置误差。
4.根据权利要求2所述的方法，其特征在于，所述基于多个所述装配点中心坐标，生成中心装配点坐标，包括：
对多个所述装配点位置进行点云分割，得到多个所述装配点位置对应的点云分割结果；
基于多个所述装配点中心坐标，确定多个所述装配点位置各自对应的中心射线；
定位所述点云分割结果和所述中心射线之间的交点坐标，基于所述交点坐标，确定所述中心装配点坐标。
5.根据权利要求1所述的方法，其特征在于，所述基于所述装配位置误差，执行与所述装配指令对应的装配动作，包括：
检测所述装配位置误差是否达到预设精度值；
若未达到，则返回步骤：采集目标图像数据；
若达到，则执行与所述装配指令对应的装配动作。
6.根据权利要求5所述的方法，其特征在于，在所述返回步骤：采集目标图像数据的步骤之前，还包括：
根据状态矩阵，确定所述待装配部件对应的运动速度和所述待装配部件对应的运动方向；
基于所述运动速度和所述运动方向，控制所述待装配部件运动，得到所述待装配部件对应的当前位置；
基于所述当前位置，采集所述目标图像数据。
7.一种部件装配装置，其特征在于，所述装置包括：
图像采集模块，用于响应于针对待装配部件的装配指令，采集目标图像数据；所述目标图像数据是指与所述待装配部件对应的装配载体的图像数据；
装配位置确定模块，用于根据所述目标图像数据，确定所述装配载体对应的目标装配位置；
中心位置确定模块，用于获取所述待装配部件对应的中心位置；
误差分析模块，用于基于所述目标装配位置和所述中心位置，对所述待装配部件进行误差分析，得到所述待装配部件对应的装配位置误差；
装配模块，用于基于所述装配位置误差，执行与所述装配指令对应的装配动作。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311806366.3A CN117953047A (zh) | 2023-12-26 | 2023-12-26 | 部件装配方法、装置、计算机设备、可读存储介质和产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311806366.3A CN117953047A (zh) | 2023-12-26 | 2023-12-26 | 部件装配方法、装置、计算机设备、可读存储介质和产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117953047A true CN117953047A (zh) | 2024-04-30 |
Family
ID=90793548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311806366.3A Pending CN117953047A (zh) | 2023-12-26 | 2023-12-26 | 部件装配方法、装置、计算机设备、可读存储介质和产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117953047A (zh) |
-
2023
- 2023-12-26 CN CN202311806366.3A patent/CN117953047A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563923B (zh) | 获得稠密深度图的方法及相关装置 | |
| CN109752003B (zh) | 一种机器人视觉惯性点线特征定位方法及装置 | |
| CN110842901B (zh) | 基于一种新型三维标定块的机器人手眼标定方法与装置 | |
| JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111127422A (zh) | 图像标注方法、装置、系统及主机 | |
| Zhang et al. | Point cloud based three-dimensional reconstruction and identification of initial welding position | |
| CN112102375B (zh) | 一种点云配准可靠性检测的方法、装置、移动智慧设备 | |
| CN111325663B (zh) | 基于并行架构的三维点云匹配方法、装置和计算机设备 | |
| CN111179351B (zh) | 一种参数标定方法及其装置、处理设备 | |
| CN109213202A (zh) | 基于光学伺服的货物摆放方法、装置、设备和存储介质 | |
| CN110930444B (zh) | 一种基于双边优化的点云匹配方法、介质、终端和装置 | |
| CN116604212A (zh) | 一种基于面阵结构光的机器人焊缝识别方法和系统 | |
| CN117876358A (zh) | 焊接路径规划方法、装置、计算机设备和存储介质 | |
| Li et al. | Method for detecting pipeline spatial attitude using point cloud alignment | |
| CN117944025A (zh) | 机器人手眼标定方法、装置、计算机设备和存储介质 | |
| Shao et al. | Out-of-plane full-field vibration displacement measurement with monocular computer vision | |
| CN114952832B (zh) | 基于单目六自由度物体姿态估计的机械臂拼装方法及装置 | |
| JP2778430B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN117953047A (zh) | 部件装配方法、装置、计算机设备、可读存储介质和产品 | |
| CN115855026A (zh) | 一种大型场景图元地图切换方法、系统、装置及存储介质 | |
| Huang et al. | Methods on visual positioning based on basketball shooting direction standardisation | |
| Xu et al. | A fast and straightforward hand-eye calibration method using stereo camera | |
| Kim et al. | Pose initialization method of mixed reality system for inspection using convolutional neural network | |
| CN115937261B (zh) | 基于事件相机的空间目标运动参数测量方法 | |
| Al-Isawi et al. | Pose estimation for mobile and flying robots via vision system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |