CN114147707A - 一种基于视觉识别信息的机器人对接方法与设备 - Google Patents
一种基于视觉识别信息的机器人对接方法与设备 Download PDFInfo
- Publication number
- CN114147707A CN114147707A CN202111415527.7A CN202111415527A CN114147707A CN 114147707 A CN114147707 A CN 114147707A CN 202111415527 A CN202111415527 A CN 202111415527A CN 114147707 A CN114147707 A CN 114147707A
- Authority
- CN
- China
- Prior art keywords
- robot
- identification information
- visual identification
- docking
- image corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 210
- 238000003032 molecular docking Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 43
- 210000001503 joint Anatomy 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000004048 modification Effects 0.000 abstract description 3
- 238000012986 modification Methods 0.000 abstract description 3
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本申请的目的是提供一种基于视觉识别信息的机器人对接方案。具体地，机器人接收到对接任务信息，获取登陆点信息和视觉识别信息，然后，所述机器人运动至所述登陆点信息对应的登陆点，检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹，最后，所述机器人基于所述理想对接轨迹，到达所述对接任务信息对应的对接点。本申请具有对接精度高、对环境的改造较小、成本低廉等优点。进一步地，根据所述视觉识别信息对应的图像与所述机器人的实时距离，判断所述机器人使用所述视觉识别信息对应的第一图像或第二图像，从而保证机器人的定位精度维持在毫米级别。
Description
技术领域
本申请涉及信息技术领域，尤其涉及一种基于视觉识别信息的机器人对接技术。
背景技术
机器人应用中存在诸多的对接场景，例如，扫地机器人回桩充电，机器人与货柜进行对接取物，机器人到达传送带进行取物等。其中，机器人精准对接的主要难点在于机器人定位精度不足。目前，机器人的对接方案主要有以下几种：(1)基于轨道进行对接，该方案需要对环境进行改造，修建轨道，基于机器人编码器以及电磁感性进行定位，该方案容易受到电磁干扰影响，而且对环境改造较大。(2)基于反射光进行定位，该方案主要由机器人搜寻对接端的光信号来确定对接的位置，由光信号的强弱判断对接，该方案存在对接失败率较高，而且对接精度较低的缺点。
发明内容
本申请的一个目的是提供一种基于视觉识别信息的机器人对接方法与设备。
根据本申请的一个方面，提供了一种基于视觉识别信息的机器人对接方法，其中，所述方法包括：
机器人获取对接任务信息，其中，所述对接任务信息包括登陆点信息和视觉识别信息；
根据所述对接任务信息，所述机器人运动至所述登陆点信息对应的登陆点；
所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹；
基于所述理想对接轨迹，所述机器人到达所述对接任务信息对应的对接点。
进一步地，所述视觉识别信息包括二维码信息。
进一步地，所述视觉识别信息对应的图像数量为一个或多个。
进一步地，若所述视觉识别信息对应的图像数量为多个，所述视觉识别信息对应的各个图像的面积大小互不相同。
进一步地，所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹，包括：
所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；
根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断使用所述视觉识别信息对应的多个图像中的实时目标图像，确定所述机器人的理想对接轨迹。
进一步地，根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断使用所述视觉识别信息对应的多个图像中的实时目标图像，确定所述机器人的理想对接轨迹，包括：
根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，计算所述视觉识别信息对应的图像与所述机器人的实时距离；
其中，所述视觉识别信息对应的第一图像的面积大于所述视觉识别信息对应的第二图像的面积；
若该实时距离大于预定距离阈值，则将所述视觉识别信息对应的第一图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第一图像确定所述机器人的理想对接轨迹；
若该实时距离小于所述预定距离阈值，则将所述视觉识别信息对应的第二图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第二图像确定所述机器人的理想对接轨迹。
进一步地，所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹，包括：
所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；
基于所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断所述机器人是否超过所述对接点；
若所述机器人已超过所述对接点，则调整至所述机器人的摄像头正对着所述视觉识别信息对应的图像，所述机器人进行后退运动；
若所述机器人未超过所述对接点，则计算所述机器人的理想对接轨迹。
根据本申请的另一个方面，还提供了一种基于视觉识别信息的机器人对接系统，其中，所述系统包括：
第一模块，用于机器人获取对接任务信息，其中，所述对接任务信息包括登陆点信息和视觉识别信息；
第二模块，用于根据所述对接任务信息，所述机器人运动至所述登陆点信息对应的登陆点；
第三模块，用于所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹；
第四模块，用于基于所述理想对接轨迹，所述机器人到达所述对接任务信息对应的对接点。
根据本申请的又一个方面，还提供了一种计算设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行所述的基于视觉识别信息的机器人对接方法。
根据本申请的又一个方面，还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现所述的基于视觉识别信息的机器人对接方法。
本申请提供的方案中，机器人接收到对接任务信息，获取登陆点信息和视觉识别信息，然后，所述机器人运动至所述登陆点信息对应的登陆点，检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹，最后，所述机器人基于所述理想对接轨迹，到达所述对接任务信息对应的对接点。本申请具有对接精度高、对环境的改造较小、成本低廉等优点。进一步地，所述视觉识别信息对应的第一图像的面积大于所述视觉识别信息对应的第二图像的面积，根据所述视觉识别信息对应的图像与所述机器人的实时距离，判断所述机器人使用所述第一图像或所述第二图像，从而保证机器人的定位精度维持在毫米级别。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其他特征、目的和优点将会变得更明显：
图1是根据本申请实施例的一种基于视觉识别信息的机器人对接方法流程图；
图2是根据本申请实施例的一种基于视觉识别信息的机器人对接流程中各要素的示意图；
图3是根据本申请实施例的一种视觉识别信息对应的图像的示意图；
图4是根据本申请实施例的一种基于视觉识别信息的机器人对接流程示意图；
图5是根据本申请实施例的一种控制机器人的对接运动的流程示意图；
图6是根据本申请实施例的一种基于视觉识别信息的机器人对接系统示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的装置或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例提供了基于视觉识别信息的机器人对接方法，不仅对接精度高，计算量较小，而且对环境改造较小，成本低廉。该方法适用场景广泛，可应用于机器人对桩，多机器人对接，机器人与目标对接等场景。
在实际场景中，实现该方法的设备可以是用户设备、网络设备或者用户设备与网络设备通过网络相集成所构成的设备。其中，所述用户设备包括但不限于机器人、智能手机、平板电脑、个人计算机等终端设备，所述网络设备包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图1是根据本申请实施例的一种基于视觉识别信息的机器人对接方法流程图，该方法包括步骤S101、步骤S102、步骤S103和步骤S104。
步骤S101，机器人获取对接任务信息，其中，所述对接任务信息包括登陆点信息和视觉识别信息。
例如，所述机器人可以通过解析所述登陆点信息，确定所述登陆点信息对应的登陆点。如图2所示，所述登陆点是所述机器人进行对接任务的粗略到达点，所述机器人到达所述登陆点附近即可检测到所述视觉识别信息对应的图像。
在一些实施例中，所述视觉识别信息包括二维码信息。例如，所述视觉识别信息对应的图像可以包括二维码图像。
在一些实施例中，所述视觉识别信息对应的图像数量为一个或多个。例如，所述视觉识别信息对应的图像可以包括一个或多个二维码图像。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。基于二维码的机器人定位，其定位精度会受到二维码图像大小，以及机器人与二维码图像距离的影响。机器人摄像头实时拍摄到的二维码图像大小，会影响基于二维码的机器人定位精度。由于摄像头可视范围的局限性，当摄像头距离二维码图像较近的时候，二维码图像过大会导致摄像头实时拍摄到的二维码图像的范围减少，使得基于二维码的机器人定位难以进行。而当摄像头实时拍摄到的二维码图像过小的时候，会导致基于二维码的机器人定位精度降低，无法满足精准定位的需求。因此，基于二维码的机器人定位过程中，为达到毫米级别的定位精度，需要保证机器人摄像头实时拍摄到的二维码图像保持一定的大小。
在一些实施例中，如图3所示，所述视觉识别信息对应的图像包括大小不同的2个二维码图像。机器人在远处时使用较大的二维码图像进行定位，机器人在近处时使用较小的二维码图像进行定位，从而保证机器人的定位精度维持在毫米级别。
在一些实施例中，若所述视觉识别信息对应的图像数量为多个，所述视觉识别信息对应的各个图像的面积大小互不相同，以满足所述机器人与所述视觉识别信息对应的图像在不同实时距离下的需求。例如，如图3所示，所述视觉识别信息对应的图像数量可以是2个，所述视觉识别信息对应的图像可以包括：所述视觉识别信息对应的第一图像和第二图像；所述视觉识别信息对应的第一图像和第二图像可以是上下排列，所述视觉识别信息对应的第一图像和第二图像也可以是左右排列。
在一些实施例中，所述视觉识别信息还可以包括回形码信息。例如，所述视觉识别信息对应的图像可以包括回形码图像。当然，本领域技术人员应能理解上述视觉识别信息仅为举例，其他现有的或今后可能出现的视觉识别信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
步骤S102，根据所述对接任务信息，所述机器人运动至所述登陆点信息对应的登陆点。
例如，如图4所示，所述机器人接收到所述对接任务信息之后，可以基于栅格地图使用Astar算法到达该对接任务的登陆点。所述机器人只需运动至所述登陆点附近即可检测到所述视觉识别信息对应的图像，在此，所述机器人并不需要非常精准地到达所述登陆点。在一些实施例中，所述机器人也可以基于除了栅格地图之外的其他地图，使用除了Astar算法之外的其他算法，到达该对接任务的登陆点。
在一些实施例中，所述视觉识别信息对应的图像位于所述登陆点与所述对接点的连接线的延长线上。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。如图2所示，对接点位于登陆点与二维码图像之间。其中，对接点是机器人执行对接任务的目的地，机器人需要精确达到该对接点，在该对接点完成对接任务；登陆点是机器人执行对接任务的准备点，在前往对接点之前，机器人到达登陆点附近即可；理想轨迹是指在机器人坐标系下，朝向为Yaw角，过对接点的一条直线；Yaw角是指在机器人坐标系下，二维码图像朝向角旋转180°为Yaw角。在具体的实施例中，可以根据所述视觉识别信息对应的图像信息实时算出登录点以及对接点，从而得到机器人实时的理想对接轨迹。
步骤S103，所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。如图4所示，所述机器人到达所述登陆点之后，开启摄像头，实时检测二维码图像，并且计算二维码图像在机器人坐标系下的位姿。然后，基于计算出的二维码图像在机器人坐标系下的位姿，控制机器人的对接运动(如图5所示)。
在一些实施例中，所述步骤S103包括：所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断使用所述视觉识别信息对应的多个图像中的实时目标图像，确定所述机器人的理想对接轨迹。
例如，所述视觉识别信息对应的图像大小，以及所述机器人与所述视觉识别信息对应的图像的距离，会影响机器人的定位精度。在此，所述视觉识别信息对应的多个图像的面积大小互不相同，可以根据所述视觉识别信息对应的图像与所述机器人的实时距离，从所述视觉识别信息对应的多个图像中确定实时目标图像。
在一些实施例中，所述步骤S103包括：根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，计算所述视觉识别信息对应的图像与所述机器人的实时距离；其中，所述视觉识别信息对应的第一图像的面积大于所述视觉识别信息对应的第二图像的面积；若该实时距离大于预定距离阈值，则将所述视觉识别信息对应的第一图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第一图像确定所述机器人的理想对接轨迹；若该实时距离小于所述预定距离阈值，则将所述视觉识别信息对应的第二图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第二图像确定所述机器人的理想对接轨迹。
例如，当机器人在远处时使用面积较大的所述视觉识别信息对应的第一图像进行定位，当机器人在近处时使用面积较小的所述视觉识别信息对应的第二图像进行定位，从而保证机器人的定位精度维持在毫米级别。
在一些实施例中，所述步骤S103包括：所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；基于所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断所述机器人是否超过所述对接点；若所述机器人已超过所述对接点，则调整至所述机器人的摄像头正对着所述视觉识别信息对应的图像，所述机器人进行后退运动；若所述机器人未超过所述对接点，则计算所述机器人的理想对接轨迹。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。如图5所示，基于二维码图像在机器人坐标系下的位姿，判断机器人是否超过对接点。若机器人已经超过对接点，此时一般机器人与对接点的横向偏差相差不大，可以将机器人调整到正对着二维码图像，然后进行后退运动。若机器人没有超过对接点，则计算机器人的理想对接轨迹。如图2所示，机器人的理想对接轨迹是指以对接点为起点，以二维码图像的Yaw角为方向延伸至机器人相对位置的线段。如图5所示，计算出机器人的理想对接轨迹之后，基于模型预测控制的方法控制机器人到达对接点，该方法具有控制连续且控制精度高的优点。
步骤S104，基于所述理想对接轨迹，所述机器人到达所述对接任务信息对应的对接点。
例如，如图2所示，基于所述视觉识别信息可以实时计算出对接点在机器人坐标系下的坐标P(x，y，Yaw)。基于P(x，y，Yaw)可以计算出机器人实时的理想对接轨迹。如图5所示，计算出机器人的理想对接轨迹之后，基于模型预测控制的方法控制机器人到达对接点。
图6是根据本申请实施例的一种基于视觉识别信息的机器人对接系统示意图，该系统包括第一模块601、第二模块602、第三模块603和第四模块604。
第一模块601，机器人获取对接任务信息，其中，所述对接任务信息包括登陆点信息和视觉识别信息。
例如，所述机器人可以通过解析所述登陆点信息，确定所述登陆点信息对应的登陆点。如图2所示，所述登陆点是所述机器人进行对接任务的粗略到达点，所述机器人到达所述登陆点附近即可检测到所述视觉识别信息对应的图像。
在一些实施例中，所述视觉识别信息包括二维码信息。例如，所述视觉识别信息对应的图像可以包括二维码图像。
在一些实施例中，所述视觉识别信息对应的图像数量为一个或多个。例如，所述视觉识别信息对应的图像可以包括一个或多个二维码图像。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。基于二维码的机器人定位，其定位精度会受到二维码图像大小，以及机器人与二维码图像距离的影响。机器人摄像头实时拍摄到的二维码图像大小，会影响基于二维码的机器人定位精度。由于摄像头可视范围的局限性，当摄像头距离二维码图像较近的时候，二维码图像过大会导致摄像头实时拍摄到的二维码图像的范围减少，使得基于二维码的机器人定位难以进行。而当摄像头实时拍摄到的二维码图像过小的时候，会导致基于二维码的机器人定位精度降低，无法满足精准定位的需求。因此，基于二维码的机器人定位过程中，为达到毫米级别的定位精度，需要保证机器人摄像头实时拍摄到的二维码图像保持一定的大小。
在一些实施例中，如图3所示，所述视觉识别信息对应的图像包括大小不同的2个二维码图像。机器人在远处时使用较大的二维码图像进行定位，机器人在近处时使用较小的二维码图像进行定位，从而保证机器人的定位精度维持在毫米级别。
在一些实施例中，若所述视觉识别信息对应的图像数量为多个，所述视觉识别信息对应的各个图像的面积大小互不相同，以满足所述机器人与所述视觉识别信息对应的图像在不同实时距离下的需求。例如，如图3所示，所述视觉识别信息对应的图像数量可以是2个，所述视觉识别信息对应的图像可以包括：所述视觉识别信息对应的第一图像和第二图像；所述视觉识别信息对应的第一图像和第二图像可以是上下排列，所述视觉识别信息对应的第一图像和第二图像也可以是左右排列。
在一些实施例中，所述视觉识别信息还可以包括回形码信息。例如，所述视觉识别信息对应的图像可以包括回形码图像。当然，本领域技术人员应能理解上述视觉识别信息仅为举例，其他现有的或今后可能出现的视觉识别信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
第二模块602，根据所述对接任务信息，所述机器人运动至所述登陆点信息对应的登陆点。
例如，如图4所示，所述机器人接收到所述对接任务信息之后，可以基于栅格地图使用Astar算法到达该对接任务的登陆点。所述机器人只需运动至所述登陆点附近即可检测到所述视觉识别信息对应的图像，在此，所述机器人并不需要非常精准地到达所述登陆点。在一些实施例中，所述机器人也可以基于除了栅格地图之外的其他地图，使用除了Astar算法之外的其他算法，到达该对接任务的登陆点。
在一些实施例中，所述视觉识别信息对应的图像位于所述登陆点与所述对接点的连接线的延长线上。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。如图2所示，对接点位于登陆点与二维码图像之间。其中，对接点是机器人执行对接任务的目的地，机器人需要精确达到该对接点，在该对接点完成对接任务；登陆点是机器人执行对接任务的准备点，在前往对接点之前，机器人到达登陆点附近即可；理想轨迹是指在机器人坐标系下，朝向为Yaw角，过对接点的一条直线；Yaw角是指在机器人坐标系下，二维码图像朝向角旋转180°为Yaw角。在具体的实施例中，可以根据所述视觉识别信息对应的图像信息实时算出登录点以及对接点，从而得到机器人实时的理想对接轨迹。
第三模块603，所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。如图4所示，所述机器人到达所述登陆点之后，开启摄像头，实时检测二维码图像，并且计算二维码图像在机器人坐标系下的位姿。然后，基于计算出的二维码图像在机器人坐标系下的位姿，控制机器人的对接运动(如图5所示)。
在一些实施例中，所述第三模块603用于：所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断使用所述视觉识别信息对应的多个图像中的实时目标图像，确定所述机器人的理想对接轨迹。
例如，所述视觉识别信息对应的图像大小，以及所述机器人与所述视觉识别信息对应的图像的距离，会影响机器人的定位精度。在此，所述视觉识别信息对应的多个图像的面积大小互不相同，可以根据所述视觉识别信息对应的图像与所述机器人的实时距离，从所述视觉识别信息对应的多个图像中确定实时目标图像。
在一些实施例中，所述第三模块603用于：根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，计算所述视觉识别信息对应的图像与所述机器人的实时距离；其中，所述视觉识别信息对应的第一图像的面积大于所述视觉识别信息对应的第二图像的面积；若该实时距离大于预定距离阈值，则将所述视觉识别信息对应的第一图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第一图像确定所述机器人的理想对接轨迹；若该实时距离小于所述预定距离阈值，则将所述视觉识别信息对应的第二图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第二图像确定所述机器人的理想对接轨迹。
例如，当机器人在远处时使用面积较大的所述视觉识别信息对应的第一图像进行定位，当机器人在近处时使用面积较小的所述视觉识别信息对应的第二图像进行定位，从而保证机器人的定位精度维持在毫米级别。
在一些实施例中，所述第三模块603用于：所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；基于所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断所述机器人是否超过所述对接点；若所述机器人已超过所述对接点，则调整至所述机器人的摄像头正对着所述视觉识别信息对应的图像，所述机器人进行后退运动；若所述机器人未超过所述对接点，则计算所述机器人的理想对接轨迹。
例如，所述视觉识别信息包括二维码信息，所述视觉识别信息对应的图像包括二维码图像。如图5所示，基于二维码图像在机器人坐标系下的位姿，判断机器人是否超过对接点。若机器人已经超过对接点，此时一般机器人与对接点的横向偏差相差不大，可以将机器人调整到正对着二维码图像，然后进行后退运动。若机器人没有超过对接点，则计算机器人的理想对接轨迹。如图2所示，机器人的理想对接轨迹是指以对接点为起点，以二维码图像的Yaw角为方向延伸至机器人相对位置的线段。如图5所示，计算出机器人的理想对接轨迹之后，基于模型预测控制的方法控制机器人到达对接点，该方法具有控制连续且控制精度高的优点。
第四模块604，基于所述理想对接轨迹，所述机器人到达所述对接任务信息对应的对接点。
例如，如图2所示，基于所述视觉识别信息可以实时计算出对接点在机器人坐标系下的坐标P(x，y，Yaw)。基于P(x，y，Yaw)可以计算出机器人实时的理想对接轨迹。如图5所示，计算出机器人的理想对接轨迹之后，基于模型预测控制的方法控制机器人到达对接点。
综上所述，本申请实施例提供的基于视觉识别信息的机器人对接方法，具有对接精度高的优点，距离精度可以达到毫米级别，角度精度可以控制在1°以内。而且本申请实施例仅需在环境中添加视觉识别信息对应的图像，对环境的改造较小；仅需在机器人上安装一个摄像头，成本低廉。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此，本申请的一些实施例提供了一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述本申请的多个实施例的方法和/或技术方案。
此外，本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种基于视觉识别信息的机器人对接方法，其中，所述方法包括：
机器人获取对接任务信息，其中，所述对接任务信息包括登陆点信息和视觉识别信息；
根据所述对接任务信息，所述机器人运动至所述登陆点信息对应的登陆点；
所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹；
基于所述理想对接轨迹，所述机器人到达所述对接任务信息对应的对接点。
2.根据权利要求1所述的方法，其中，所述视觉识别信息包括二维码信息。
3.根据权利要求1或2所述的方法，其中，所述视觉识别信息对应的图像数量为一个或多个。
4.根据权利要求3所述的方法，其中，若所述视觉识别信息对应的图像数量为多个，所述视觉识别信息对应的各个图像的面积大小互不相同。
5.根据权利要求4所述的方法，其中，所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹，包括：
所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；
根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断使用所述视觉识别信息对应的多个图像中的实时目标图像，确定所述机器人的理想对接轨迹。
6.根据权利要求5所述的方法，其中，根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断使用所述视觉识别信息对应的多个图像中的实时目标图像，确定所述机器人的理想对接轨迹，包括：
根据所述视觉识别信息对应的图像在该机器人坐标系下的位姿，计算所述视觉识别信息对应的图像与所述机器人的实时距离；
其中，所述视觉识别信息对应的第一图像的面积大于所述视觉识别信息对应的第二图像的面积；
若该实时距离大于预定距离阈值，则将所述视觉识别信息对应的第一图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第一图像确定所述机器人的理想对接轨迹；
若该实时距离小于所述预定距离阈值，则将所述视觉识别信息对应的第二图像确定为所述实时目标图像，并使用所述视觉识别信息对应的第二图像确定所述机器人的理想对接轨迹。
7.根据权利要求1至6中任一项所述的方法，其中，所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹，包括：
所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿；
基于所述视觉识别信息对应的图像在该机器人坐标系下的位姿，判断所述机器人是否超过所述对接点；
若所述机器人已超过所述对接点，则调整至所述机器人的摄像头正对着所述视觉识别信息对应的图像，所述机器人进行后退运动；
若所述机器人未超过所述对接点，则计算所述机器人的理想对接轨迹。
8.一种基于视觉识别信息的机器人对接系统，其中，所述系统包括：
第一模块，用于机器人获取对接任务信息，其中，所述对接任务信息包括登陆点信息和视觉识别信息；
第二模块，用于根据所述对接任务信息，所述机器人运动至所述登陆点信息对应的登陆点；
第三模块，用于所述机器人检测所述视觉识别信息对应的图像，并且计算所述视觉识别信息对应的图像在该机器人坐标系下的位姿，确定所述机器人的理想对接轨迹；
第四模块，用于基于所述理想对接轨迹，所述机器人到达所述对接任务信息对应的对接点。
9.一种计算设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至7中任一项所述的方法。
10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111415527.7A CN114147707B (zh) | 2021-11-25 | 2021-11-25 | 一种基于视觉识别信息的机器人对接方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111415527.7A CN114147707B (zh) | 2021-11-25 | 2021-11-25 | 一种基于视觉识别信息的机器人对接方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114147707A true CN114147707A (zh) | 2022-03-08 |
| CN114147707B CN114147707B (zh) | 2024-04-26 |
Family
ID=80457660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111415527.7A Active CN114147707B (zh) | 2021-11-25 | 2021-11-25 | 一种基于视觉识别信息的机器人对接方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114147707B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758239A (zh) * | 2022-04-22 | 2022-07-15 | 安徽工业大学科技园有限公司 | 基于机器视觉的物品飞离预定行进线路的监测方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101398277A (zh) * | 2008-11-06 | 2009-04-01 | 上海交通大学 | 火箭两栖自动对接与脱离机器人系统 |
| CN107756447A (zh) * | 2017-09-07 | 2018-03-06 | 苏州三体智能科技有限公司 | 巡逻机器人网络及其巡逻方法 |
| CN108168539A (zh) * | 2017-12-21 | 2018-06-15 | 儒安科技有限公司 | 一种基于计算机视觉的盲人导航方法、装置及系统 |
| CN109018810A (zh) * | 2018-10-18 | 2018-12-18 | 北京极智嘉科技有限公司 | 对接货物容器的方法、装置、机器人和存储介质 |
| WO2020155615A1 (zh) * | 2019-01-28 | 2020-08-06 | 速感科技（北京）有限公司 | Vslam方法、控制器和可移动设备 |
| JP2021153534A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社安川電機 | 処理物製造装置、処理物製造方法、処理物製造装置用プログラム、および、処理物製造システム |
| CN113485350A (zh) * | 2021-07-22 | 2021-10-08 | 乐聚(深圳)机器人技术有限公司 | 一种机器人移动控制方法、装置、设备及存储介质 |
-
2021
- 2021-11-25 CN CN202111415527.7A patent/CN114147707B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101398277A (zh) * | 2008-11-06 | 2009-04-01 | 上海交通大学 | 火箭两栖自动对接与脱离机器人系统 |
| CN107756447A (zh) * | 2017-09-07 | 2018-03-06 | 苏州三体智能科技有限公司 | 巡逻机器人网络及其巡逻方法 |
| CN108168539A (zh) * | 2017-12-21 | 2018-06-15 | 儒安科技有限公司 | 一种基于计算机视觉的盲人导航方法、装置及系统 |
| CN109018810A (zh) * | 2018-10-18 | 2018-12-18 | 北京极智嘉科技有限公司 | 对接货物容器的方法、装置、机器人和存储介质 |
| WO2020155615A1 (zh) * | 2019-01-28 | 2020-08-06 | 速感科技（北京）有限公司 | Vslam方法、控制器和可移动设备 |
| JP2021153534A (ja) * | 2020-03-30 | 2021-10-07 | 株式会社安川電機 | 処理物製造装置、処理物製造方法、処理物製造装置用プログラム、および、処理物製造システム |
| CN113485350A (zh) * | 2021-07-22 | 2021-10-08 | 乐聚(深圳)机器人技术有限公司 | 一种机器人移动控制方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758239A (zh) * | 2022-04-22 | 2022-07-15 | 安徽工业大学科技园有限公司 | 基于机器视觉的物品飞离预定行进线路的监测方法和系统 |
| CN114758239B (zh) * | 2022-04-22 | 2024-06-04 | 安徽工业大学科技园有限公司 | 基于机器视觉的物品飞离预定行进线路的监测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114147707B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345596B (zh) | 多传感器标定方法、装置、计算机设备、介质和车辆 | |
| CN106767852B (zh) | 一种生成探测目标信息的方法、装置和设备 | |
| CN108638062B (zh) | 机器人定位方法、装置、定位设备及存储介质 | |
| Peng et al. | An improved AMCL algorithm based on laser scanning match in a complex and unstructured environment | |
| CN109752003B (zh) | 一种机器人视觉惯性点线特征定位方法及装置 | |
| CN108829116B (zh) | 基于单目摄像头的避障方法及设备 | |
| US10645668B2 (en) | Indoor positioning system and method based on geomagnetic signals in combination with computer vision | |
| CN111986472B (zh) | 车辆速度确定方法及车辆 | |
| CN114236564B (zh) | 动态环境下机器人定位的方法、机器人、装置及存储介质 | |
| CN113432533B (zh) | 一种机器人定位方法、装置、机器人及存储介质 | |
| CN110263713A (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN113763430B (zh) | 检测移动目标的方法、装置和计算机可读存储介质 | |
| CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
| CN114147707B (zh) | 一种基于视觉识别信息的机器人对接方法与设备 | |
| US8737686B2 (en) | 3D object tracking method and apparatus | |
| Mörwald et al. | Advances in real-time object tracking: Extensions for robust object tracking with a Monte Carlo particle filter | |
| US11120572B2 (en) | Method, system and apparatus for associating a target object in images | |
| CN111951328A (zh) | 一种物体位置检测方法、装置、设备和存储介质 | |
| CN116203579A (zh) | 基于点云残差的激光雷达slam退化检测方法及系统 | |
| CN113203424B (zh) | 多传感器的数据融合方法、装置及相关设备 | |
| CN111665470A (zh) | 一种定位方法及装置和机器人 | |
| US11620846B2 (en) | Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device | |
| CN115437369A (zh) | 路径规划方法、装置、电子设备及存储介质 | |
| CN104236518B (zh) | 一种基于光学成像与模式识别的天线主波束指向探测方法 | |
| KR102212268B1 (ko) | 위치 측정 시스템과 이를 구비하는 이동 수단 및 이를 수행하기 위한 컴퓨팅 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |