CN117283570A - 用于fpc装配的目标引导式机器人系统及其控制方法、装置 - Google Patents

Abstract

本发明提供了用于FPC装配的目标引导式机器人系统及其控制方法、装置，属于机器人技术领域，旨在提高机器人系统的灵活性和装配精度，所述方法包括：控制第一机械臂抓取待装配对象；采用相机以预设角度拍摄包括待装配对象的目标图像，并确定其中待装配对象的多个关键点的像素坐标；基于关键点的像素坐标和关键点对应的参考像素坐标，确定待装配对象与期望对齐位置之间的位置误差；在位置误差大于或等于预设阈值时，基于位置误差和预设映射关系，确定机械臂控制量；根据机械臂控制量，控制第一机械臂运动，并重复上述过程，直到所述位置误差小于预设阈值；在位置误差小于预设阈值时，控制所述第二机械臂将待装配对象扣合于母座。

Description

用于FPC装配的目标引导式机器人系统及其控制方法、装置

技术领域

本发明涉及机器人技术领域，特别是涉及用于FPC装配的目标引导式机器人系统及其控制方法、装置。

背景技术

机器人已经广泛应用于各行各业的各种任务中。然而，在手机维修工艺中，FPC（Flexible Printed Circuit，柔性电路板）的装配仍然依赖人工的辅助，这是由于目前通过机器人实现FPC装配面临两个难点：第一，FPC及其上的连接器初始位置任意，使得机器人装配需要在线检测连接器的位姿以实现灵活操作；第二，FPC装配精度要求高达0.4mm，否则容易损坏FPC的连接器。因此，如何同时保证机器人操作的灵活性和高精度，以实现FPC的精准装配是目前主要的研究方向。

发明内容

有鉴于此，本发明旨在提出用于FPC装配的目标引导式机器人系统及其控制方法、装置，以解决当前机器人操作无法同时满足灵活性和高精度要求，进而导致无法实现FPC的精准装配的问题。

本发明的第一方面，提供了一种用于柔性电路板装配的目标引导式机器人系统的控制方法，应用于机器人系统，所述机器人系统包括第一机械臂、第二机械臂以及相机，所述方法包括：

步骤S1，控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

步骤S2，在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

步骤S3，基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

步骤S4，在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；

步骤S5，根据所述机械臂控制量，控制所述第一机械臂运动，并重复上述步骤S2-S4，直到所述位置误差小于所述预设阈值；

步骤S6，在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

进一步地，在所述重复过程中，所述相机每间隔预设时长，以所述预设角度拍摄所述目标图像；所述基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量，包括：

基于所述位置误差，确定每个所述关键点的特征速度；

按照所述预设映射关系，将多个所述关键点的特征速度映射为所述末端速度；

基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量；

将所述位姿增量确定为所述机械臂控制量；

所述根据所述机械臂控制量，控制所述第一机械臂运动，包括：

获取所述第一机械臂的当前位姿；

基于所述位姿增量和所述当前位姿，确定所述第一机械臂的目标位姿；

控制所述第一机械臂运动，以将所述第一机械臂从所述当前位姿调整至所述目标位姿。

进一步地，所述末端速度包括末端线速度和末端角速度，所述基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量，包括：

基于所述末端线速度和所述预设时长，确定所述第一机械臂的位移增量；

基于所述末端角速度和所述预设时长，确定所述第一机械臂的旋转轴和旋转角度；

将所述位移增量、所述旋转轴和所述旋转角度确定为所述位姿增量。

进一步地，所述预设映射关系的获取步骤包括：

确定所述特征运动速度与所述相机的相机运动速度之间的第一映射关系；其中，所述相机运动速度包括相机运动的线速度和角速度；

基于所述相机的相机外参和所述第一机械臂的末端相对于所述第一机械臂的基座的位姿，确定所述相机运动速度与所述第一机械臂的末端运动速度之间的第二映射关系；

基于所述第一映射关系和所述第二映射关系，确定所述预设映射关系。

进一步地，所述确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标，包括：

基于所述相机的相机外参，从所述目标图像中识别出包括所述待装配对象的子区域；

对所述子区域进行图像截取，得到包括所述待装配对象的子区域图像；

对所述子区域图像进行图像处理，以确定所述子区域图像中多个所述关键点的位置；

基于所述子区域图像中多个所述关键点的位置，确定多个所述关键点在所述目标图像中的像素坐标。

进一步地，所述第一机械臂的末端设置有真空吸盘，所述真空吸盘连接真空泵；所述控制所述第一机械臂抓取待装配对象，包括：

采用所述相机拍摄包括所述待装配对象的待处理图像；

从所述待处理图像中，确定所述待装配对象的多个关键点的位置；

基于多个所述关键点的位置和所述待装配对象的尺寸参数，确定所述待装配对象相对于所述相机的相对位姿；

基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述第一机械臂的末端的吸盘位姿，确定所述第一机械臂的运动量；

控制所述第一机械臂运动所述运动量后，控制所述真空泵开启，以吸取所述待装配对象。

进一步地，所述基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述末端的吸盘位姿，确定所述第一机械臂的运动量，包括：

根据所述相对位姿和预设偏移量，确定在所述待处理图像中，对所述待装配对象进行抓取的抓取点位置；

基于所述抓取点位置、所述相机外参以及所述吸盘位姿，确定所述真空吸盘运动至所述抓取点时，所述第一机械臂所需的运动量。

进一步地，所述第二机械臂的末端包括压紧杆和力传感器；所述控制所述第二机械臂将所述待装配对象扣合于所述母座，包括：

控制所述第二机械臂移动，以将所述压紧杆的位置调整至预设位置；其中，所述预设位置位于所述期望对齐位置的正上方；

控制所述第二机械臂沿垂直方向向下运动，以使所述压紧杆对所述待装配对象施加压紧力；

在所述下压的过程中，通过所述力传感器实时检测所述压紧力；

在检测到所述压紧力突变时，控制所述第二机械臂停止运动，并确定所述待装配对象已扣合于所述母座。

本发明的第二方面，提供了一种用于FPC装配的目标引导式机器人系统的控制装置，应用于机器人系统，所述机器人系统至少包括第一机械臂、第二机械臂以及相机，所述装置包括：

第一控制模块，用于控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

图像处理模块，用于在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

第一确定模块，用于基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

第二确定模块，用于在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；

第二控制模块，用于根据所述机械臂控制量，控制所述第一机械臂运动，并使所述图像处理模块、所述第一确定模块、所述第二确定模块以及所述第二控制模块重复工作，直到所述位置误差小于所述预设阈值；

第三控制模块，用于在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

本发明的第三方面，提供了一种用于FPC装配的目标引导式机器人系统，所述系统用于实现上述第一方面所述的用于柔性电路板装配的目标引导式机器人系统的控制方法，所述系统包括：

第一机械臂、第二机械臂、固定在六自由度云台的相机以及用于固定包括母座的设备的夹具；

其中，所述第一机械臂固定于第一基座，所述第二机械臂固定于第二基座，所述六自由度云台固定于支撑座；所述第一基座、所述第二基座和所述支撑座分别设置于所述夹具的三个不同方向；

所述第一机械臂设的末端设置有真空吸盘，所述真空吸盘连接真空泵，用于抓取待装配对象；

所述第二机械臂的末端设置有压紧杆以及与所述压紧杆连接力传感器，所述压紧杆用于对所述待装配对象输出压紧力，所述力传感器用于监测所述压紧杆的压力变化；

所述相机通过相机安装座和可调节的光轴固定夹固定于所述六自由度云台。

本发明提供的用于柔性电路板装配的目标引导式机器人系统的控制方法，通过控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座；在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；根据所述机械臂控制量，控制所述第一机械臂运动，并重复上述步骤，直到所述位置误差小于所述预设阈值；在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座；

由此，本发明通过将FPC装配过程分为抓取步骤和扣合步骤，在扣合时，根据待装配对象的位置和期望对齐位置的位置误差，来控制第一机械臂移动，使得待装配对象的位置和期望对齐位置的位置误差在装配精度范围内，再将待装配对象扣合于母座；其中，通过实时确定待装配对象的位置，并根据实时确定的待装配对象的位置和期望对齐位置的位置误差来控制第一机械臂移动，以实现不断调整待装配对象的位置，由此，通过不断调整第一机械臂的位姿来调整待装配对象的位置，提高机器人系统在装配过程中的灵活性；同时，通过位置误差来对第一机械臂进行调控，将待装配对象的调整后位置和期望对齐位置的误差控制在装配精度以内，提高了机器人系统的装配精准性；此外，由于本发明的控制方法是通过位置误差调控，还能够避免在第一机械臂移动过程造成待装配对象位置发生偏移带来误差，进而导致准配精度较差，连接器损坏的问题。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了本发明提供的用于FPC装配的目标引导式机器人系统的控制方法的步骤流程图；

图2示出了本发明实施例中柔性电路板的连接器公座的结构以及位置；

图3示出了本发明实施例中位于手机背板的连接器母座的结构和位置；

图4示出了本发明实施例中待装配对象从当前位置调整至期望对齐位置，再扣合于母座的示意图；

图5示出了目标图像中待装配对象的当前像素坐标位置和参考像素坐标位置；

图6示出了控制第一机械臂抓取待装配对象的抓取方法的步骤流程图；

图7示出了利用模板匹配算法确定待装配对象的包围框的示意图；

图8示出了对待装配对象进行图像处理得到的四条边线和四个角点的位置示意图；

图9示出了待装配对象的抓取点示意图；

图10示出了从目标图像中确定多个关机的关键点的像素坐标的方法的步骤流程图；

图11示出了空间中某点P在相机以预设角度拍摄的目标图像中位置示意图；

图12示出了本发明实施例中控制第二机械臂将待装配对象扣合于母座的步骤流程图；

图13示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的控制方法的控制逻辑图；

图14示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的控制装置的结构示意图；

图15示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的结构示意图；

附图标记说明：801、第一机械臂；8011、第一基座；8012、真空吸盘；802、第二机械臂；8021、第二基座；8022、压紧杆；8023、力传感器；803、相机；8031、相机安装座；8032、光轴固定夹；8033、光源安装座；804、夹具；805、六自由度云台；8051、支撑座；8052、光轴。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

柔性电路板为智能手机、平板电脑以及车载导航系统等电子设备的常用零器件，其柔性能够适应复杂的装配环境，方便安装和维修。当前将柔性电路板安装于电子设备是将柔性电路板上的连接器公座与电子设备中的连接器母座连接。

具体地，在手机维修和装配过程中，FPC装配过程是将FPC的BTB（board-to-board，板对板）连接器的公座与手机背板中的母座连接，其中，在实现机器人装配FPC的过程中，（1）在夹持方法上，相关技术已有通过机械臂夹持FPC的BTB公座实现公座的运动的技术方案。然而，一方面，电子设备中元器件中间空隙很小，即使使用精细化的夹持器也不能避免夹持器碰撞到BTB母座周边的元器件，造成损伤。另一方面，夹持BTB公座，容易造成BTB公座被遮挡，从而难以提取其特征。因此本发明提出吸附FPC的软板部分来携带BTB公座运动。这避免了通过夹持BTB公座带来的碰撞和遮挡问题。（2）在控制方法上，现有技术已有基于传感器获取公座相对传感器的位姿，然后利用标定得到的传感器外参，得到公座在机器人基座中的位姿，从而控制机器人携带公座运动的技术方案。基于这种控制方法实现的装配精度极大地受到标定精度的影响，装配精度不能满足FPC装配精度的要求（通常要求装配精度小于0.4mm）。因此，本发明提出根据图像空间的像素误差驱动机械臂运动，像素误差小于等于误差阈值则意味着公座到达目标位置，像素误差大于误差阈值就意味机械臂仍需调整位姿，直到像素误差小于误差阈值。这种方法实现的装配精度不依赖于标定精度，也避免了在机械臂运动过程中，由于FPC是柔性的造成的BTB公座与机械臂末端相对位姿变化的问题。

综上，本发明提供了用于FPC装配的目标引导式机器人系统及其控制方法、装置，通过将FPC的装配过程分为开环抓取和闭环扣合两个步骤，在对FPC上的BTB连接器的公座进行抓取后，通过误差驱动，调整第一机械臂的控制量，进而对BTB公座的位置进行调整，使其与手机背板中BTB母座的位置误差小于0.4mm，实现了FPC的精准装配。

下面将参考附图并结合实施例来详细说明本发明。

参照图1，图1示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的控制方法的步骤流程图，所述控制方法应用于机器人系统，所述机器人包括第一机械臂、第二机械臂以及相机，如图1所示，该控制方法具体包括：

步骤S1，控制所述第一机械臂抓取待装配对象。

其中，所述待装配对象包括柔性电路板的连接器公座；所述连接器公座待装配至母座上。

本发明实施例中柔性电路板的连接器公座和母座可以参照图2和图3，图2和图3分别示出了柔性电路板中公座和母座的位置和结构，以及手机背板中母座的位置和结构，连接器公座设置在柔性电路板的末端，其中，连接器公座的公座引脚侧用于与母座连接，该公座引脚侧的背面为公座补强侧，该公座补强侧为刚性平面矩形结构，其上几何特征的相对位置不会变化，进而视觉测量过程中，采集公座补强侧的边缘和角点，方便定位公座位置。

具体地，控制第一机械臂抓取柔性电路板可以根据确定出的柔性电路板的空间位置对其进行抓取，示例地，可以是通过机器人系统的相机拍摄出包括柔性电路板的图像，基于图像中柔性电路板的BTB公座补强位置以及补强的真实三维尺寸，确定出BTB公座补强的空间位置，再对这个位置加一个偏置，得到柔性电路板的软板的空间位置，进而控制第一机械臂末端移动至软板的空间位置进行抓取；还可以是将待装配对象放置于固定位置，则在抓取过程中，可以根据固定位置的位置信息，直接对待装配对象进行抓取，无需进行实时计算。其中，第一机械臂可以是连接有夹持件以夹取待装配对象，还可以是连接有吸盘以吸取待装配对象。

在一些实施例中，若是待装配对象的初始位置为任意位置，则可能待装配对象并未在相机的视野下，则可以设置相机每次移动预设位移或角度，再拍摄图像，直至拍摄到包含待装配对象的图像。

步骤S2，在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标。

其中，考虑到抓取成功后，待装配对象的位置必然因为抓取滑移或者末端振动等原因变化，则此时重新以预设角度拍摄包括待装配对象的目标图像，进而通过待装配对象的多个关键点在目标图像中的像素坐标表征待装配对象的位置。其中，预设角度为相机能够拍摄到待装配对象的最佳视野，可以提前对相机进行调节并记录该最佳视野对应的相机位姿，则在抓取成功后，能够直接根据记录的位姿信息将相机调节到对应的位姿，以在拍摄过程中使相机具有最佳视野。

本发明实施例中，待装配对象的位置通过该待装配对象的多个关键点在目标图像中的像素坐标来描述，每个关键点均可以是待装配对象上的任意一点，而为方便图像识别过程，可以将较为明显的特征点作为关键点，示例地，待装配对象为四边形，则将四个角点作为关键点。

步骤S3，基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差。

其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方，该期望对齐位置满足3个旋转自由度和2个位置自由度与母座对齐，待装配对象和母座之间仅仅存在沿着法向方向上的位置偏差。

本发明实施例中，对于同一类型的电子设备，其母座的位置较为固定，则可以预先确定将连接器公座置于期望对齐位置，并采用相机以预设角度拍摄包括连接器公座的图像，而后，根据图像处理结果得到期望对齐位置中连接器公座的多个关键点的像素坐标，并将其作为参考坐标。其中，该预设角度与步骤S2中的预设角度相同，则关键点的像素坐标和参考像素坐标位于同一坐标系中，即直接能够获取差值，进而可以将真实空间内待装配对象的当前位姿与期望位姿之间的差距转换为同一图像中的像素坐标的差值，方便数据处理过程。

具体地，参照图4，图4示出了待装配对象从当前位置调整至期望对齐位置的示意图，其中，待装配对象为BTB公座，期望对齐位置位于BTB母座的正上方，如图4所示，本发明实施例通过的将点1、点2、点3和点4的位置转化为点①、点②、点③和点④的位置来实现待装配对象的调整，参照图4，在调整过程中，通过将点1调整到点①，将点2调整到点②，将点3调整到点③，将点4调整到点④，则能够将待装配对象整体调整至期望对齐位置，即BTB母座的正上方，此时，由于BTB公座和BTB母座的位置正对，两者仅存在法向方向上的位置偏差，则可以直接对BTB公座施加向下的压力，将其与BTB母座扣合，BTB公座扣合时所处的位置即为装配位置。

其中，在图像拍摄后，点的位置可以转化为目标图像中像素坐标位置，如图5所示，图5示出了目标图像中待装配对象中多个关键点的当前像素坐标位置和多个关键点的参考像素坐标位置，其中，s(t)表示待装配对象的多个关键点的实时位置，表示待装配对象的多个关键点的参考位置，则由于待装配对象中的多个关键点的像素坐标位置和每个关键点对应的参考像素坐标位于同一坐标系，位置误差e(t)能够直接根据两者求出：。

步骤S4，在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量。

其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系。

可以理解的是，装配精度是实际装配过程中的距离范围要求，而预设阈值是目标图像中的像素距离的差值范围，因此需要根据实际的距离范围要求、相机以预设角度拍摄的图像中的物体与真实物体的尺寸的比值，确定预设阈值。

本发明实施例中，所述位置误差大于或等于预设阈值则表示当前待装配对象的位置与期望对齐位置的误差较大，无法进行装配，则需要调整待装配对象的位置以接近期望对齐位置。而调整待装配对象的位置，需要调整第一机械臂的位置，此时，根据位置误差来获取第一机械臂的机械臂控制量，以将待装配对象调整至期望对齐位置。其中，位置误差反映的是待装配对象的多个关键点的像素坐标与每个关键点对应的参考像素坐标之间的差值，需要将其转换为第一机械臂的控制量，则需要预先建立两者的映射关系，来确定第一机械臂的控制量。

其中，若是建立位置的映射关系，则仅能通过期望对齐位置的像素坐标确定实际的期望对齐位置，难以反映位置的变化量，由此，本发明实施例建立像素点运动的特征速度和第一机械臂运动的末端速度的映射关系，基于速度的映射关系再来确定变化量，从而得到第一机械臂的机械臂控制量。其中，机械臂控制量表征的是机械臂末端的位姿变化量，以通过调整第一机械臂的末端位姿调整待装配对象的位姿接近待装配对象处于期望对齐位置时的位姿。

步骤S5，根据所述机械臂控制量，控制所述第一机械臂运动，并重复上述步骤S2-S4，直到所述位置误差小于所述预设阈值。

其中，考虑到在第一机械臂运动的过程中，待装配对象的位姿可能由于第一机械臂的运动而发生偏移，则在控制第一机械臂运动后并不能确定待装配对象与期望对齐位置的误差达到了装配精度。此时，重复步骤S2-S4，重新确定待装配对象在目标图像中的多个关键点的当前像素坐标，以确定当前像素坐标与参考像素坐标之间的位置误差，若是该位置误差仍然大于或等于阈值，则再次控制第一机械臂运动，直至确定出的位置误差小于预设阈值。

其中，在重复过程中，相机的拍摄时间间隔可以是固定的，也可以是变化的；示例地，在固定采样时间间隔，以预设角度拍摄目标图像，此时，可以直接基于该固定采样时间间隔，确定间隔时间内第一机械臂的末端的位姿增量；而在变化的采样时间间隔情况下，可以是根据位置误差与预设阈值的关系来确定，如位置误差与预设阈值差距越大，则说明待装配对象与期望对齐位置之间间隔较远，此时，将采样时间间隔设置较大，使得第一机械臂移动较长的距离，而位置误差与预设阈值差距越小，则说明待装配对象与期望对齐位置之间间隔较小，此时，将采样时间间隔设置较小，以实现待装配对象的位姿的精细调整；在此过程中，避免将采样时间间隔设置过小，以防止第一机械臂的位姿增量小于第一机械臂的运动分辨率，无法进行机械臂位姿调整的情况。

在具体实施时，机械臂控制量为位姿增量，难以实现对机械臂的控制，需要获取第一机械臂的末端的当前位姿，根据该当前位姿和位姿增量来确定第一机械臂的目标位姿，进而将第一机械臂的末端位姿从当前位姿调整至目标位姿。

步骤S6，在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

本发明实施例中，在确定位置误差小于预设阈值时，说明待装配对象已经移动至期望对齐位置或接近期望对齐位置，且位置误差符合装配精度要求，此时，控制第二机械臂将待装配对象扣合于母座。

其中，考虑到第二机械臂的操作是固定的，即从初始位置移动至期望对齐位置的上方，然后将待装配对象扣合于母座，因此，可以直接预先设置第二机械臂执行的操作，则在确定位置误差小于预设阈值时，控制第二机械臂直接执行预设的操作即可。

在一些实施例中，为实现流程化的装配过程，每次第二机械臂将待装配对象扣合于母座后，控制第一机械臂、第二机械臂均返回初始位置，以进行下一次装配。

本发明实施例提供的用于柔性电路板装配的目标引导式机器人系统的控制方法，通过在采用第一机械臂抓取待装配对象后，确定待装配对象在固定的视角图像中的位置坐标与参考坐标之间的位置误差，而后在位置误差大于等于预设阈值的情况下，反复调整第一机械臂的位置以调整待装配对象的位置，以使带装配对象的位置与参考位置的坐标误差小于预设预阈值，再将待装配对象扣合于母座；其中，由于本发明实施例通过相机拍摄的图像调控第一机械臂的运动量，通过实时确认位置误差，并基于位置误差调整第一机械臂的位姿，提高了机器人系统装配灵活性，而同时由于是通过位置误差确认，提高了装配精度，可达像素级精度，避免了仅基于位置坐标进行装配带来的装配误差，减少连接器损坏的情况。

在一些实施例中，所述步骤S1的抓取步骤参照图6，图6示出了控制第一机械臂抓取待装配对象的抓取方法的步骤流程图，其中，第一机械臂的末端设置有真空吸盘，该真空吸盘连接有真空泵，如图6所示，抓取方法具体包括：

步骤S101，采用所述相机拍摄包括所述待装配对象的待处理图像。

其中，待装配对象的初始位置是任意的，则在采用相机拍摄时，可以控制相机按照预设速度运动或是旋转，直到拍摄到包括待装配对象的待处理图像；也可以是固定待装配对象的位置，和相机的拍摄角度，以确保相机能够直接拍摄到包括待装配对象的待处理图像。

步骤S102，从所述待处理图像中，确定所述待装配对象的多个关键点的位置。

其中，将连接器公座的四个角点作为关键点。

在具体实施时，首先通过模板匹配算法确定待装配对象的大致位置，如图7所示，图7示出了利用模板匹配算法确定待装配对象的包围框的示意图，该包围框的左上角点坐标为(a,b)，宽为w，高为h，以该包围框为边框对待处理图像进行裁剪，得到包括待装配对象的子图像，以方便进行图像处理。而后，对子图像顺序进行阈值分割、边缘检测和直线拟合，得到如图8所示的四条边线并对四条边线排序得到四条有序直线，记为，之后，根据L，求取两两相邻的直线的交点，可以定位四个有序角点，记为/>，即四个关键点位置，结合包围框左上角点坐标，则可以得到四个关键点位置的坐标。

步骤S103，基于多个所述关键点的位置和所述待装配对象的尺寸参数，确定所述待装配对象相对于所述相机的相对位姿。

在得到四个关键点位置的坐标后，则可以根据四个关键点位置的坐标和待装配对象的尺寸参数，基于PnP算法，确定出待装配对象相对于相机的6D位姿，记为。其中，待装配对象的尺寸参数可以是根据待装配对象的CAD模型尺寸确定的，也可以是提前存储的同一类型的FPC的连接器的尺寸数据，在图像处理过程中直接检索获取。其中，采用PnP算法进行位姿估计的具体步骤为：根据图像中公座补强的四个角点位置，确定公座补强的四条边的尺寸；基于公座补强的四个角点位置和四条边的尺寸，得到公座补强相对于相机的位姿。

在一些实施例中，由于公座补强是刚性平面，其边缘和角点位置位于同一平面，其相对位置不会发生变化，则还可以是在待装配对象的位置印有包括关键点位置坐标的二维码，识别该二维码则可以直接得到关键点位置坐标，此时则无需复杂的图像处理过程，能够快速识别出关键点的位置坐标。

步骤S104，基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述第一机械臂的末端的吸盘位姿，确定所述第一机械臂的运动量。

在获取到待装配对象的相对位姿后，则可以根据真空吸盘相对于第一机械臂的末端位姿以及相机外参，则可以确定真空吸盘相对于相机的位姿，进而根据相对位姿和真空吸盘相对于相机的位姿，即可确定出第一机械臂的运动量。

在一些实施例中，考虑到若是直接吸取连接器公座的位置，则可能对相机的视线造成遮挡，进而导致后续移动待装配对象的过程中，难以识别出待装配对象的角点位置，因此，可以预先设置一个偏移量，该偏移量用于确定偏移后的抓取点，其中，为使相机能够识别出公座补强的四个关键点，即四个角点位置，可以将该抓取点位置设置于FPC软板处，以方便后续对待装配对象的关键点的识别。

具体地，所述基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述末端的吸盘位姿，确定所述第一机械臂的运动量，包括：

根据所述相对位姿和预设偏移量，确定在所述待处理图像中，对所述待装配对象进行抓取的抓取点位置；

基于所述抓取点位置、所述相机外参以及所述吸盘位姿，确定所述真空吸盘运动至所述抓取点时，所述第一机械臂所需的运动量。

其中，该预设偏移量可以是从公座补强侧中心偏移至公座补强侧外部的偏移量，可以理解的是，由于连接器位于FPC的左侧边缘或右侧边缘，则可以预设偏移量的方向为向左偏移或向右偏移，以方便后续对待装配对象的关键点的识别过程。

参照图9，图9示出了待装配对象的抓取点示意图，如图9所示，可以根据关键点坐标确定出抓取点p，抓取点p可以是根据四个关键点坐标确定的中心位置坐标，而后根据预设偏移量向左偏移抓取点p，得到抓取点o，将抓取点o作为最终的抓取点。根据图9，抓取点o位于FPC软板处且与公座补强有一定的距离，进而在该抓取点对FPC进行抓取后，抓取后的公座补强能够完整地暴露在相机的视野中，方便对公座补强的关键点的识别过程。

步骤S105，控制所述第一机械臂运动所述运动量后，控制所述真空泵开启，以吸取所述待装配对象。

其中，控制真空泵开启可以是在检测到第一机械臂停止运动之后，也可以是确定第一机械臂移动到抓取点后。在通过检测第一机械臂停止运动来控制真空泵开启的步骤中，可以是在第一机械臂设置有位置传感器，根据位置传感器检测出第一机械臂的位置停止变化，则说明第一机械臂停止运动，此时，控制真空泵开启；而在通过确定第一机械臂移动到抓取点来控制真空泵开启的步骤中，可以是通过相机重新拍摄包括待装配对象的图像，根据图像处理结果来识别第一机械臂的末端吸盘是否移动至抓取点，进而根据识别结果控制真空泵开启。

在一些实施例中，所述步骤2中，在目标图像中确定待装配对象的多个关键点的像素坐标的方法参照图10，图10示出了从目标图像中确定多个关机的关键点的像素坐标的方法的步骤流程图，具体方法包括：

步骤S201，基于所述相机的相机外参，从所述目标图像中识别出包括所述待装配对象的子区域。

具体地，在待装配对象被第一机械臂抓取后，可以将第一机械臂末端与第一机械臂基座之间的距离视为待装配对象与第一机械臂基座之间的距离，进而再结合相机外参，得到待装配对象与相机之间的大致距离。

而后，基于小孔成像原理，根据待装配对象与相机之间的大致距离，确定出待装配对象位于目标图像中的大致位置，即为包括待装配对象的子区域。

步骤S202，对所述子区域进行图像截取，得到包括所述待装配对象的子区域图像。

步骤S203，对所述子区域图像进行图像处理，以确定所述子区域图像中多个所述关键点的位置。

步骤S204，基于所述子区域图像中多个所述关键点的位置，确定多个所述关键点在所述目标图像中的像素坐标。

进而，根据确定出的子区域对目标图像进行截取，其中，在截取过程中，可以标定用于截取的裁剪框上任一点的坐标位置，以方便后续确定多个关键点在目标图像中的像素坐标。

本发明实施例中，对子区域图像的图像处理过程与步骤S102中相同，在此不做赘述。

在一些实施例中，考虑到像素的特征运动和第一机械臂的末端运动之间并不存在直接的关系，而像素的特征运动和相机运动之间存在直接关系，相机运动和第一机械臂的末端与运动之间存在之间关系，则可以基于相机运动，建立像素运动的特征速度和第一机械臂运动的末端速度的之间的间接关系，进而得到预设映射关系。

则具体地，所述预设映射关系的获取步骤包括：

确定所述特征速度与所述相机的相机速度之间的第一映射关系；其中，所述相机速度包括相机运动的线速度和角速度；

基于所述相机的相机外参和所述第一机械臂的末端相对于所述第一机械臂的基座的位姿，确定所述相机速度与所述第一机械臂的末端速度之间的第二映射关系；

基于所述第一映射关系和所述第二映射关系，确定所述预设映射关系。

在具体实施过程中，参照图11，图11为空间中某点P在相机以预设角度拍摄的目标图像中位置示意图，在具体映射关系中，已知P相对世界坐标系为固定的，其坐标为，其在像素平面的像素坐标为/>，采用相机内参将像素坐标/>转换为相机图像坐标系下的图像坐标/>，具体转换方法为：先建立像素平面的像素坐标与世界坐标系下的坐标之间的转换关系：/>，其中，K为相机内参。再根据相机图像坐标系下p点的坐标与世界坐标系下P点的坐标之间的转换关系进而将像素坐标/>转换为相机图像坐标系下的图像坐标/>：/>。而像素运动可以转化为相机的相对运动，即在像素运动过程中，将像素坐标视为不变，而将相机视为运动，此时，相机运动包括角速度/>和线速度v，结合上述转换关系，则点p在图像中的运动速度可以表示为：，而对于待装配对象中的四个关键点，四个点的运动速度可以表示为/>，进而得到像素的特征速度与相机速度之间的第一映射关系，即。

而后，通过手眼标定得到相机外参，其能够表征相机及其机械臂基座的位姿参数，确定机械臂末端相对于机械臂基座的位姿参数/>，进而得到相机的位姿与末端的位姿变换关系：/>，则此时末端位姿与相机位姿的变换关系为，而后得到雅克比矩阵/>，其表征末端速度与相机速度之间的映射关系，即为第二映射关系。

而后，将第一映射关系和第二映射关系/>点乘，得到复合雅克比矩阵，该复合雅克比矩阵/>即为预设映射关系。

在一些实施例中，考虑到预设映射关系为特征运动速度和末端运动速度之间的映射关系，需要对位置误差也进行处理，得到速度才能够根据预设映射关系确定出机械臂控制量，进而所述步骤S4中，所述基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量，包括：

基于所述位置误差，确定每个所述关键点的特征速度；

按照所述预设映射关系，将多个所述关键点的特征速度映射为所述第一机械臂的末端速度；

基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量；

将所述位姿增量确定为所述机械臂控制量。

在具体实施时，为使误差指数衰减，将位置误差的一阶导数定义为，其中，/>为常数；则基于预设映射关系/>，进而根据预设映射关系，将第一机械臂的末端速度y表示出来：/>。此时确定出的仅是第一机械臂的末端速度，而由于机器人系统无法接收速度指令进行实时控制，需要将速度转化为位姿的变化量，即位姿增量。

此时，根据在相机重复拍摄目标图像的过程中间隔的预设时长，以及第一机械臂的末端速度，将速度量转换为位姿增量，则可以直接根据位姿增量和第一机械臂的末端的当前位姿，确定出末端的目标位姿，此时，根据目标位姿控制第一机械臂移动，以将末端调整为目标位姿。其中预设时长为相机的拍摄时间间隔，预设时长可以是固定值，如每间隔2s进行拍摄，则确定2s内第一机械臂的位姿增量；在一些实施例中，还可以根据位置误差来确定预设时长的大小，如位置误差与预设阈值相差较大，则设置预设时长较长，如预设时长为5s，而在位置误差靠近预设阈值时，则设置预设时长较短，如预设时长为1s，以在位置误差靠近预设阈值时，使第一机械臂缓慢运动，防止位置移动过度，反而增大位置误差与预设阈值的差距。

其中，需要注意的是，由于位姿的变化不仅包括位移增量，还包括旋转角度，则在基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量时，实际过程是将末端速度分为末端线速度和末端角速度，将位姿增量划分为位移量和旋转量分别来确定的，具体过程如下：

基于所述末端线速度和所述预设时长，确定所述第一机械臂的位移增量；

基于所述末端角速度和所述预设时长，确定所述第一机械臂的旋转轴和旋转角度；

将所述位移增量、所述旋转轴和所述旋转角度确定为所述位姿增量。

其中，由于第一机械臂包括六个自由度，即三个位移自由度和三个旋转自由度，第一机械臂的控制转化为六个自由度的变化量，在确定线速度和预设时长的情况下，可以直接确定出是三个位移自由度的增量；而对于旋转量，则需要根据角速度和采样时间，通过指数映射确定出旋转轴和旋转角。其中，位姿增量的获取还可以是通过指数映射得到第一机械臂的末端速度和位姿增量的线性微分关系，进而根据该线性微分关系、第一机械臂的末端速度以及预设时长，得到第一机械臂的位姿增量。

在一些实施例中，参照图12，示出了第二机械臂的控制过程，其中，所述第二机械臂的末端包括压紧杆和力传感器，所述控制所述第二机械臂将所述待装配对象扣合于所述母座，包括：

步骤S601，控制所述第二机械臂移动，以将所述压紧杆的位置调整至预设位置。

其中，所述预设位置位于所述期望对齐位置的正上方。

本发明实施例中，由于第二机械臂末端的压紧杆需要将第一机械臂吸取的待装配对象下压，因此，其位置高度需要高于待装配对象的高度，而为了确保待装配对象能够保持正对母座，预设位置需位于期望对齐位置的正上方，以保证在压紧杆下压过程中，待装配对象的受力均匀。

步骤S602，控制所述第二机械臂沿垂直方向向下运动，以使所述压紧杆对所述待装配对象施加压紧力。

步骤S603，在所述下压过程中，通过所述力传感器实时检测所述压紧力。

步骤S604，在检测到所述压紧力突变时，控制所述第二机械臂停止运动，并确定所述待装配对象已扣合于所述母座。

本发明实施例中，下压过程中，需要实时检测压紧杆对待装配对象施加的压紧力，因此，第二机械臂还装配有与压紧杆连接的力传感器，进而在下压过程中通过力传感器检测压紧杆的压紧力。

由于下压的压紧力作用，待装配对象从期望对齐位置开始向下扣合于母座，而在待装配对象扣合于母座的瞬间，其会产生反作用力，导致压紧力受到抵抗，此时，力传感器检测到的压紧力会突然减小，则在检测到压紧力突变时，控制压紧杆停止运动，此时，确定待装配对象已扣合于母座。在确定待装配对象已扣合于母座时，关闭第一机械臂的真空泵，并将第一机械臂和第二机械臂还原至初始位置，以方便后续的装配过程。

在一些实施例中，在连接器的公座和母座扣合时，会发出较大的声响，则还可以在靠近压紧杆设置声音传感器，通过声音传感器检测是否存在声响来判断是待装配对象是否扣合于母座置。若是检测到声音，则关闭第一机械臂的真空泵，并将第一机械臂和第二机械臂还原至初始位置。

本发明实施例提供的用于FPC装配的目标引导式机器人系统的控制方法，通过在采用第一机械臂抓取待装配对象后，确定待装配对象在固定的视角图像中的位置坐标与参考坐标之间的位置误差，而后在位置误差大于等于预设阈值的情况下，反复调整第一机械臂的位置以调整待装配对象的位置，以使带装配对象的位置与参考位置的坐标误差小于预设预阈值，再将待装配对象扣合于母座；其中，由于本发明实施例通过相机拍摄的图像调控第一机械臂的运动量，由于相机每预设时长，就对待装配对象进行采样，能够实时确定待装配对象的位置，进而根据其位置误差调整第一机械臂的位姿，提高了机器人装配过程的灵活性，而同时由于是通过位置误差确认，提高了机器人装配过程的装配精度，也避免了仅基于位置坐标进行装配带来的装配误差，减少连接器损坏的情况。

下面结合一个具体示例对上述过程进行阐述：

参照图13，图13示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的控制方法的控制逻辑图，如图13所示，包括开环抓取和闭环扣合两个过程。

在开环抓取过程中，首先，将拍摄到的包括待装配对象即FPC的连接器公座的待处理图像，采用模板匹配算法对待处理图像进行识别，以根据识别出的子区域进行角点检测，得到连接器公座的四个角点的在待处理图像中的角点坐标，而后，根据角点坐标和待装配对象的尺寸参数，利用PnP算法对待装配对象进行位姿估计，得到待装配对象相对于相机的相对位姿，而后可以根据四个角点的角点坐标、以及预设偏移量确定抓取FPC的抓取点，进而根据抓取点位置、相对位姿以及相机外参确定第一机械臂的运动量；最后，控制第一机械臂运动该运动量到达抓取点，采用末端的真空吸盘对FPC进行吸附。

在抓取步骤完成后，执行扣环闭合的步骤，首先，采用相机在预设角度拍摄包括连接器公座的目标图像，并确定出目标图像中四个角点的像素坐标，而后基于每个角点的像素坐标和参考像素坐标，确定位置误差。其中，参考像素坐标是相机在预设角度拍摄放置于期望对齐位置的待装配对象的图像中，待装配对象的四个角点的坐标。

在得到位置误差后，确定位置误差与预设阈值的大小关系，若是位置误差大于或等于预设阈值，则根据位置误差确定特征运动速度，然后根据预设映射关系将特征运动速度映射为第一机械臂的末端运动速度，进而根据相机采样间隔的预设时长，确定机械臂的控制量，并根据该控制量控制机械臂运动，在运动完成后，重新采用相机拍摄目标图像，以确定目标图像中连接器公座的四个角点的角点坐标，以重新比较位置误差和预设阈值的大小关系。

若是位置误差小于预设阈值，则说明待装配对象的当前位置满足装配精度要求，可以执行扣合动作，此时，控制第二机械臂移动，以将第二机械臂的末端移动至待装配对象的正上方，而后控制第二机械臂沿垂直方向向下运动，通过第二机械臂的末端的压紧杆将第二机械臂扣合于母座，并且在第二机械臂运动过程中，通过与压紧杆连接的力传感器实时检测压紧杆的压紧力，以根据压力来判断连接器公座是否与母座扣合。

在确定连接器公座与母座扣合后，则关闭第一机械臂的真空泵，并将第一机械臂和第二机械臂均还原至初始位置。

基于同一发明构思，本发明实施例还提供了用于FPC装配的目标引导式机器人系统的控制装置，参照图14，图14示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的控制装置的结构示意图，应用于机器人系统，所述机器人系统包括第一机械臂、第二机械臂以及相机，如图14所示，所述装置包括：

第一控制模块701，用于控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

图像处理模块702，用于在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

第一确定模块703，用于基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

第二确定模块704，用于在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征运动速度与所述第一机械臂的末端运动速度之间的映射关系；

第二控制模块705，用于根据所述机械臂控制量，控制所述第一机械臂运动，并使所述图像处理模块、所述第一确定模块、所述第二确定模块以及所述第二控制模块重复工作，直到所述位置误差小于所述预设阈值；

第三控制模块706，用于在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

在一些可行的实施例中，在所述重复过程中，所述相机每间隔预设时长，以所述预设角度拍摄所述目标图像；所述第二确定模块704还包括：

第一确定子模块，用于基于所述位置误差，确定每个所述关键点的特征速度；

映射模块，用于按照所述预设映射关系，将多个所述关键点的特征速度映射为所述第一机械臂的末端速度；

转化模块，用于基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量；

第二确定子模块，用于将所述位姿增量确定为所述机械臂控制量；

所述第二控制模块705还包括：

获取模块，用于获取所述第一机械臂的当前位姿；

第三确定子模块，用于基于所述位姿增量和所述当前位姿，确定所述第一机械臂的目标位姿；

第一控制子模块，用于控制所述第一机械臂运动，以将所述第一机械臂从所述当前位姿调整至所述目标位姿。

在一些可行的实施例中，所述图像处理模块702包括：

第一识别子模块，用于基于所述相机的相机外参，从所述目标图像中识别出包括所述待装配对象的子区域；

截取模块，用于对所述子区域进行图像截取，得到包括所述待装配对象的子区域图像；

图像处理子模块，用于对所述子区域图像进行图像处理，以确定所述子区域图像中多个所述关键点的位置；

第四确定子模块，用于基于所述子区域图像中多个所述关键点的位置，确定多个所述关键点在所述目标图像中的像素坐标。

在一些可行的实施例中，所述第一机械臂的末端设置有真空吸盘，所述真空吸盘连接真空泵；所述第一控制模块701包括：

拍摄模块，用于采用所述相机拍摄包括所述待装配对象的待处理图像；

第五确定子模块，用于从所述待处理图像中，确定所述待装配对象的多个关键点的位置；

第六确定子模块，用于基于多个所述关键点的位置和所述待装配对象的尺寸参数，确定所述待装配对象相对于所述相机的相对位姿；

第七确定子模块，用于基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述末端的吸盘位姿，确定所述第一机械臂的运动量；

第二控制子模块，用于控制所述第一机械臂运动所述运动量后，控制所述真空泵开启，以吸取所述待装配对象。

在一些可行的实施例中，所述第二机械臂的末端包括压紧杆和力传感器；所述第三控制模块706包括：

第三控制子模块，用于控制第二机械臂移动，以将所述压紧杆的位置调整至预设位置；其中，所述预设位置位于所述期望对齐位置的正上方；

第四控制子模块，用于控制所述第二机械臂沿垂直方向向下运动，以使所述压紧杆对所述待装配对象施加压紧力；

检测模块，用于在所述下压的过程中，通过所述力传感器实时检测所述压紧力；

第五控制子模块，用于在检测到所述压紧力突变时，控制所述压紧杆停止运动，并确定所述待装配对象已扣合于所述母座。

基于同一发明构思，本发明实施例还提供用于FPC装配的目标引导式机器人系统，参照图15，图15示出了本发明实施例提供的用于FPC装配的目标引导式机器人系统的结构示意图，如图15所示，所述系统包括：

第一机械臂801、第二机械臂802、固定在六自由度云台805的相机803以及用于固定包括母座的设备的夹具804；

其中，所述第一机械臂801固定于第一基座8011，所述第二机械臂802固定于第二基座8021，所述六自由度云台805固定于支撑座8051；所述第一基座8011、所述第二基座8021和所述支撑座8051分别设置于所述夹具804的三个不同方向；

所述第一机械臂801的末端设置有真空吸盘8012，所述真空吸盘8012连接真空泵（图中未示出），用于在真空泵开启时抓取待装配对象；

所述第二机械臂802的末端设置有压紧杆8022以及与所述压紧杆8022连接力传感器8023，所述压紧杆8022用于对所述待装配对象输出压紧力，所述力传感器8023用于监测所述压紧杆8022的压力变化；

所述相机803通过相机安装座8031和可调节的光轴固定夹8032固定于所述六自由度云台805。其中，相机安装座8031上设置有光源安装座8033，该光源安装座8033用于安装光源，以方便相机803的拍摄过程。所述六自由度云台805通过光轴8052固定于支撑座8051。

在机器人系统工作时，示例地，装配任务为将FPC的BTB公座与BTB母座扣合，则通过夹具固定手机背板。首先，通过可调节的光轴固定夹8032调节相机803的位置，以拍摄包括BTB公座的待处理图像，相机803将待处理图像发送至第一机械臂801的处理器，通过处理器处理待处理图像，确定出BTB公座的位置，以根据BTB公座的位置确定出抓取点，在确定出抓取点后，根据该抓取点以及获取相机803的相机外参，以及第一机械臂801的初始位姿，进而得到第一机械臂801的运动量，而后第一机械臂801的控制器控制第一机械臂运动至抓取点位置，并根据控制真空泵开启，以使真空吸盘8012吸取BTB公座；在抓取BTB公座后，将通过光轴固定夹8032将相机803固定在预设角度，然后拍摄包括BTB公座的目标图像，而后相机803将拍摄的目标图像发送至第一机械臂801的处理器继续处理，以确定BTB公座的当前像素坐标和参考像素坐标之间的位置误差，并将其与预设阈值比较。

在位置误差大于等于预设阈值的情况下，根据位置误差和预设映射关系，确定出第一机械臂801的控制量控制第一机械臂801运动，再重新确定位置误差，重复相机803拍摄目标图像，控制第一机械臂801运动的过程，直至第一机械臂801吸取的BTB公座在目标图像中的像素坐标与参考像素坐标之间的位置误差小于预设阈值。

在位置误差小于预设阈值的情况下，第一机械臂801向第二机械臂802发送指令，控制第二机械臂802响应于指令运动，以使第二机械臂802末端的压紧杆8022移动至此时的BTB公座的正上方，并控制第二机械臂802沿垂直方向向下运动，将BTB公座压向BTB母座的位置，在此过程中，通过力传感器8023实时检测压紧杆的压紧力，若是压紧力突然减小，则说明BTB公座已与BTB母座扣合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内；

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和部件并不一定是本发明所必须的。

以上对本发明所提供的用于FPC装配的目标引导式机器人系统及其控制方法、装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，应用于机器人系统，所述机器人系统包括第一机械臂、第二机械臂以及相机，所述方法包括：

步骤S1，控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

步骤S2，在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

步骤S3，基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

步骤S4，在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；

步骤S5，根据所述机械臂控制量，控制所述第一机械臂运动，并重复上述步骤S2-S4，直到所述位置误差小于所述预设阈值；

步骤S6，在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

2.根据权利要求1所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，在所述重复过程中，所述相机每间隔预设时长，以所述预设角度拍摄所述目标图像；所述基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量，包括：

基于所述位置误差，确定每个所述关键点的特征速度；

按照所述预设映射关系，将多个所述关键点的特征速度映射为所述末端速度；

基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量；

将所述位姿增量确定为所述机械臂控制量；

所述根据所述机械臂控制量，控制所述第一机械臂运动，包括：

获取所述第一机械臂的当前位姿；

基于所述位姿增量和所述当前位姿，确定所述第一机械臂的目标位姿；

控制所述第一机械臂运动，以将所述第一机械臂从所述当前位姿调整至所述目标位姿。

3.根据权利要求2所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，所述末端速度包括末端线速度和末端角速度，所述基于所述预设时长，将所述末端速度转化为所述第一机械臂的位姿增量，包括：

基于所述末端线速度和所述预设时长，确定所述第一机械臂的位移增量；

基于所述末端角速度和所述预设时长，确定所述第一机械臂的旋转轴和旋转角度；

将所述位移增量、所述旋转轴和所述旋转角度确定为所述位姿增量。

4.根据权利要求1所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，所述预设映射关系的获取步骤包括：

确定所述特征速度与所述相机的相机速度之间的第一映射关系；其中，所述相机速度包括相机运动的线速度和角速度；

基于所述相机的相机外参和所述第一机械臂的末端相对于所述第一机械臂的基座的位姿，确定所述相机速度与所述第一机械臂的末端运动速度之间的第二映射关系；

基于所述第一映射关系和所述第二映射关系，确定所述预设映射关系。

5.根据权利要求1所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，所述确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标，包括：

基于所述相机的相机外参，从所述目标图像中识别出包括所述待装配对象的子区域；

对所述子区域进行图像截取，得到包括所述待装配对象的子区域图像；

对所述子区域图像进行图像处理，以确定所述子区域图像中多个所述关键点的位置；

基于所述子区域图像中多个所述关键点的位置，确定多个所述关键点在所述目标图像中的像素坐标。

6.根据权利要求1所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，所述第一机械臂的末端设置有真空吸盘，所述真空吸盘连接真空泵；所述控制所述第一机械臂抓取待装配对象，包括：

采用所述相机拍摄包括所述待装配对象的待处理图像；

从所述待处理图像中，确定所述待装配对象的多个关键点的位置；

基于多个所述关键点的位置和所述待装配对象的尺寸参数，确定所述待装配对象相对于所述相机的相对位姿；

基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述第一机械臂的末端的吸盘位姿，确定所述第一机械臂的运动量；

控制所述第一机械臂运动所述运动量后，控制所述真空泵开启，以吸取所述待装配对象。

7.根据权利要求6所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，所述基于所述相对位姿、所述相机的相机外参以及所述真空吸盘相对于所述末端的吸盘位姿，确定所述第一机械臂的运动量，包括：

根据所述相对位姿和预设偏移量，确定在所述待处理图像中，对所述待装配对象进行抓取的抓取点位置；

基于所述抓取点位置、所述相机外参以及所述吸盘位姿，确定所述真空吸盘运动至所述抓取点时，所述第一机械臂所需的运动量。

8.根据权利要求1所述的用于FPC装配的目标引导式机器人系统的控制方法，其特征在于，所述第二机械臂的末端包括压紧杆和力传感器；所述控制所述第二机械臂将所述待装配对象扣合于所述母座，包括：

控制所述第二机械臂移动，以将所述压紧杆的位置调整至预设位置；其中，所述预设位置位于所述期望对齐位置的正上方；

控制所述第二机械臂沿垂直方向向下运动，以使所述压紧杆对所述待装配对象施加压紧力；

在所述向下运动的过程中，通过所述力传感器实时检测所述压紧力；

在检测到所述压紧力突变时，控制所述第二机械臂停止运动，并确定所述待装配对象已扣合于所述母座。

9.一种用于FPC装配的目标引导式机器人系统的控制装置，其特征在于，应用于机器人系统，所述机器人系统包括第一机械臂、第二机械臂以及相机，所述装置包括：

第一控制模块，用于控制所述第一机械臂抓取待装配对象；其中，所述待装配对象包括柔性电路板的连接器公座，所述连接器公座待装配至母座上；

图像处理模块，用于在抓取成功后，采用所述相机以预设角度拍摄包括所述待装配对象的目标图像，并确定在所述目标图像中，所述待装配对象的多个关键点的像素坐标；

第一确定模块，用于基于多个所述关键点的像素坐标和每个所述关键点对应的参考像素坐标，确定所述待装配对象与期望对齐位置之间的位置误差；其中，所述参考像素坐标为当所述待装配对象处于所述期望对齐位置时，所述关键点在所述目标图像中的像素坐标；其中，所述期望对齐位置位于所述母座的正上方；

第二确定模块，用于在所述位置误差大于或等于预设阈值的情况下，基于所述位置误差以及预设映射关系，确定所述第一机械臂的机械臂控制量；其中，所述预设阈值根据所述装配对象的装配精度要求确定；所述预设映射关系表征所述关键点从所述像素坐标运动到所述参考像素坐标的特征速度与所述第一机械臂的末端速度之间的映射关系；

第二控制模块，用于根据所述机械臂控制量，控制所述第一机械臂运动，并使所述图像处理模块、所述第一确定模块、所述第二确定模块以及所述第二控制模块重复工作，直到所述位置误差小于所述预设阈值；

第三控制模块，用于在所述位置误差小于所述预设阈值时，控制所述第二机械臂将所述待装配对象扣合于所述母座。

10.一种用于FPC装配的目标引导式机器人系统，其特征在于，所述系统用于实现上述权利要求1-8任一所述的用于FPC装配的目标引导式机器人系统的控制方法，所述系统包括：

第一机械臂、第二机械臂、固定在六自由度云台的相机以及用于固定包括母座的设备的夹具；

其中，所述第一机械臂固定于第一基座，所述第二机械臂固定于第二基座，所述六自由度云台固定于支撑座；所述第一基座、所述第二基座和所述支撑座分别设置于所述夹具的三个不同方向；

所述第一机械臂的末端设置有真空吸盘，所述真空吸盘连接真空泵，用于抓取待装配对象；

所述第二机械臂的末端设置有压紧杆以及与所述压紧杆连接力传感器，所述压紧杆用于对所述待装配对象输出压紧力，所述力传感器用于监测所述压紧杆的压力变化；

所述相机通过相机安装座和可调节的光轴固定夹固定于所述六自由度云台。