CN115576330B - 实现单向潜伏牵引式agv和料车对接的方法及其装置 - Google Patents

实现单向潜伏牵引式agv和料车对接的方法及其装置 Download PDF

Info

Publication number
CN115576330B
CN115576330B CN202211442266.2A CN202211442266A CN115576330B CN 115576330 B CN115576330 B CN 115576330B CN 202211442266 A CN202211442266 A CN 202211442266A CN 115576330 B CN115576330 B CN 115576330B
Authority
CN
China
Prior art keywords
unidirectional
agv
latent
traction
skip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211442266.2A
Other languages
English (en)
Other versions
CN115576330A (zh
Inventor
周玄昊
何晶杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202211442266.2A priority Critical patent/CN115576330B/zh
Publication of CN115576330A publication Critical patent/CN115576330A/zh
Application granted granted Critical
Publication of CN115576330B publication Critical patent/CN115576330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60—Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种实现单向潜伏牵引式AGV和料车对接的方法及其装置，该方法包括：在单向潜伏牵引式AGV进入到指定区域后，获取单向潜伏牵引式AGV的相机拍摄的第一图像；其中，指定区域为料车所在的区域；从第一图像中搜寻至少一个辅助标记；若搜寻到至少一个辅助标记，则将单向潜伏牵引式AGV从非潜伏定位阶段切换到潜伏定位阶段，并且在潜伏定位阶段中，基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置，以及基于相对位置，引导单向潜伏牵引式AGV移动到与料车对接的对接位置。借助于上述技术方案，本申请实施例能够降低用户操作的复杂度。

Description

实现单向潜伏牵引式AGV和料车对接的方法及其装置
技术领域
本发明涉及AGV技术领域，尤其涉及一种实现单向潜伏牵引式AGV和料车对接的方法及其装置。
背景技术
单向潜伏牵引式AGV的结构紧凑，行走灵活，牵引能力可达1吨以上，可替代物料员完成物料配送及空料车回收，实现生产物料配送自动化，适用于运输量较大的生产体系或使用多台AGV构建柔性生产线。因此，其广泛应用于汽车、家电、电器和电子等诸多行业。
现有的单向潜伏牵引式AGV主要是通过磁条导航的方式来实现定位，由于单向潜伏牵引式AGV只能沿着固定的磁条行走，因此料车停放位置必须严格精确放置，增加了用户使用的操作复杂度。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种实现单向潜伏牵引式AGV和料车对接的方法及其装置，以解决现有技术中存在着的由于单向潜伏牵引式AGV只能沿着固定的磁条行走导致的用户操作比较复杂等问题。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种实现单向潜伏牵引式AGV和料车对接的方法，单向潜伏牵引式AGV包括设置在其顶部的相机，料车的底部设置有多个辅助标记，以及单向潜伏牵引式AGV的定位过程包括潜伏定位阶段和非潜伏定位阶段，方法包括：在单向潜伏牵引式AGV进入到指定区域后，获取单向潜伏牵引式AGV的相机拍摄的第一图像；其中，指定区域为料车所在的区域；从第一图像中搜寻至少一个辅助标记；若搜寻到至少一个辅助标记，则将单向潜伏牵引式AGV从非潜伏定位阶段切换到潜伏定位阶段，并且在潜伏定位阶段中，基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置，以及基于相对位置，引导单向潜伏牵引式AGV移动到与料车对接的对接位置。
因此，本申请实施例通过在单向潜伏牵引式AGV进入到指定区域后，获取单向潜伏牵引式AGV的相机拍摄的第一图像，以及从第一图像中搜寻至少一个辅助标记，以及若搜寻到至少一个辅助标记，则将单向潜伏牵引式AGV从非潜伏定位阶段切换到潜伏定位阶段，并且在潜伏定位阶段中，基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置，以及基于相对位置，引导单向潜伏牵引式AGV移动到与料车对接的对接位置，从而基于上述方案，可允许料车放置位置具有一定偏差，进而降低了用户操作的复杂度。
在一个可能的实施例中，基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置，包括：确定至少一个辅助标记中每个辅助标记在第一图像中的像素坐标；将至少一个辅助标记和料车的底部设置的多个辅助标记中全部辅助标记进行匹配，以从全部辅助标记中确定出至少一个匹配命中的辅助标记，并确定至少一个匹配命中的辅助标记中每个匹配命中的辅助标记在料车坐标系中的坐标值；基于像素坐标和坐标值，建立用于求解相对位置的优化命题；利用非线性优化方法对优化命题进行求解，以获得相对位置。
因此，本申请实施例通过建立优化命题，并利用非线性优化方法对优化命题进行求解，以获得相对位置，从而能够精确地获取相对位置。
在一个可能的实施例中，优化命题为：
Figure 323223DEST_PATH_IMAGE001
其中，
Figure 324546DEST_PATH_IMAGE002
表示相对位置；M表示至少一个辅助标记中所有辅助标记的总个数；K表示相机的内参矩阵；D表示相机距料车的底部的垂直距离；/>
Figure 615850DEST_PATH_IMAGE003
表示至少一个辅助标记中第i个辅助标记对应的坐标值。
因此，本申请实施例通过构建上述优化命题，可进一步精确地获取相对位置。
在一个可能的实施例中，相机为彩色相机；多个辅助标记中每个辅助标记的形状呈圆形、三角形、正方形和长方形中的任意一种形状；或者，相机为深度相机；多个辅助标记中每个辅助标记的形状呈球形、三棱锥、正方体和长方体中的任意一种形状。
在一个可能的实施例中，多个辅助标记中每个辅助标记均为二维码；基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置，包括：对第一图像中的至少一个二维码进行解码，以获得单向潜伏牵引式AGV相对于至少一个二维码中每个二维码的相对位置关系；以及基于单向潜伏牵引式AGV相对于每个二维码的相对位置关系，计算单向潜伏牵引式AGV相对于料车的相对位置。
在一个可能的实施例中，该方法进一步包括：若未搜寻到至少一个辅助标记，则确定连续未搜寻到至少一个辅助标记的次数是否超过预设次数；若次数未超过预设次数，则继续维持单向潜伏牵引式AGV为非潜伏定位阶段，以及在非潜伏定位阶段，从第一图像中提取第一视觉特征，并且将第一视觉特征和单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得单向潜伏牵引式AGV的实时位置，以及基于实时位置，移动单向潜伏牵引式AGV，以及返回获取单向潜伏牵引式AGV的相机拍摄的第一图像的步骤。
因此，本申请实施例基于上述视觉特征的定位方法可以有效克服周边环境变化对定位稳定性的影响，提高鲁棒性。同时本申请实施例允许料车初始摆放的位置在一定的可允许范围内变动（只要能搜寻到至少一个辅助标记即可），提升了料车使用者的便利性。
在一个可能的实施例中，该方法进一步包括：若次数超过预设次数，则停止运行单向潜伏牵引式AGV，以及生成用于表示未搜寻到料车的异常报警信号，并上报该异常报警信号。
因此，在持续未搜寻到至少一个辅助标记的次数超过预设次数的情况下，本申请实施例可确定搜寻料车失败，此时可停止运行单向潜伏牵引式AGV，以及生成用于表示未搜寻到料车的异常报警信号，并上报该异常报警信号。
在一个可能的实施例中，在单向潜伏牵引式AGV未到达指定区域前，该方法进一步包括：将单向潜伏牵引式AGV保持在非潜伏定位阶段，以及在非潜伏定位阶段，获取相机拍摄的第二图像；从第二图像中提取第二视觉特征，并且将第二视觉特征和单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得单向潜伏牵引式AGV的实时位置，以及基于实时位置，引导单向潜伏牵引式AGV向指定区域移动。
因此，本申请实施例基于上述视觉特征的定位方法可以有效克服周边环境变化对定位稳定性的影响，提高鲁棒性。
在一个可能的实施例中，在单向潜伏牵引式AGV和料车在对接位置完成对接后，方法进一步包括：将单向潜伏牵引式AGV从潜伏定位阶段切换到非潜伏定位阶段，并且在非潜伏定位阶段中，获取相机拍摄的第三图像；从第三图像中提取第三视觉特征，并且将第三视觉特征和单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得单向潜伏牵引式AGV的实时位置，以及基于实时位置，引导单向潜伏牵引式AGV向目标任务点移动。
因此，本申请实施例基于上述视觉特征的定位方法可以有效克服周边环境变化对定位稳定性的影响，提高鲁棒性。
第二方面，本发明实施例提供一种实现单向潜伏牵引式AGV和料车对接的装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面中任一实现单向潜伏牵引式AGV和料车对接的方法的步骤。
为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种单向潜伏牵引式AGV的示意图；
图2a和图2b示出了本申请实施例提供的一种料车的示意图；
图3示出了本申请实施例提供的一种实现单向潜伏牵引式AGV和料车对接的方法的流程图；
图4a至图4d示出了本申请实施例提供的一种实现单向潜伏牵引式AGV和料车对接的方法的示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
目前，单向潜伏牵引式AGV主要的定位方式为磁条导航，但磁条导航技术至少具有如下不足之处：线路固定，后续修改线路必须执行二次作业；在人、车混流等场景，磁条易损，需要定期维护；因为磁条车只能沿着固定的磁条行走，因此料车停放位置必须严格精确放置，增加了用户使用的操作复杂度。
此外，目前也有单向潜伏牵引式AGV采用无标记的激光同步定位与建图（Simultaneous Localization and Mapping，SLAM）定位方式，然而，由于汽车制造企业车间内物料、人员和车辆流动频繁，其属于高动态的环境，可供激光定位使用的可靠的轮廓信息并不多，因此激光定位容易出现定位丢失的问题。
基于此，本申请实施例提供了一种单向潜伏牵引式AGV的定位方案，通过将单向潜伏牵引式AGV的定位过程分为非潜伏定位阶段（或者说导航定位阶段）和潜伏定位阶段这两个阶段，以及在非潜伏定位阶段，通过设置在单向潜伏牵引式AGV的顶部的相机拍摄的车间内图像来计算定位值，而后在潜伏定位阶段，通过设置在料车底部的辅助标记所提供的信息，计算单向潜伏牵引式AGV和料车的相对位置关系，从而本申请能够解决导航定位阶段与潜伏定位阶段的AGV定位问题。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了便于理解本申请实施例，下面通过对本申请实施例所涉及的一些术语进行解释：
“非潜伏定位阶段”：它可以是指相机没有被料车车身遮挡的阶段，此过程中使用相机拍摄运行场景中的上部的图像，并从该图像中提取其中的视觉特征，以及通过将视觉特征和地图的特征进行匹配来实现视觉定位。
应理解，视觉特征所包含的特征可根据实际需求来进行设置，本申请实施例并不局限于此。
例如，视觉特征可包括纹理特征和几何特征等。
“潜伏定位阶段”：它可以是指单向潜伏牵引式AGV小车在料车下潜伏行走时，相机被料车车身遮挡，此时使用其顶部的相机拍摄料车底部图像，寻找已知类型的辅助标记，如果发现吻合的辅助标记，根据标记在图片中的信息计算得到单向潜伏牵引式AGV相对于料车的位置，进而引导单向潜伏牵引式AGV准确行走到对接位置，使其牵引杆升起后能够准确插入料车上的燕尾槽中，完成料车挂接。
“对接位置”：它可以是指AGV和料车完成对接的位置。例如，对接位置可以是指在该位置，AGV的顶部的牵引杆升起后能够准确插入料车上的燕尾槽中。
请参见图1，图1示出了本申请实施例提供的一种单向潜伏牵引式AGV的示意图。如图1所示，该单向潜伏牵引式AGV包括相机和用于根据相机提供的图像信息计算得到定位值的计算模块。其中，该相机可安装于单向潜伏牵引式AGV的车前头部位置，并且该相机可垂直安装，以及该计算模块可安装于单向潜伏牵引式AGV的车身内部。
具体地，相机可负责采集图像，并将图像提供给计算模块，以便计算模块计算得到单向潜伏牵引式AGV的定位值。其中，单向潜伏牵引式AGV的定位值是指单向潜伏牵引式AGV在地图中所处的位置信息，以及基于该定位值，单向潜伏牵引式AGV能够进行导航行走。
应理解，相机的具体装置可根据实际需求来进行设置，本申请实施例并不局限于此。
例如，该相机可以是彩色相机，也可以是深度相机，也可以是结合彩色与深度信息的RGBD相机。
还应理解，计算模块的具体装置可根据实际需求来进行设置，本申请实施例并不局限于此。
例如，计算模块可以选择采用计算机、工控机和ARM等算力满足图像处理、定位计算需求的任一种类计算模块。
以及，结合图2a和图2b所示，辅助标记可粘贴于单向潜伏牵引式AGV所牵引的料车的底部，并且辅助标记所粘于料车底部的位置必须是固定且已知的，从而当单向潜伏牵引式AGV在料车下潜伏行走时，相机能够拍摄到辅助标记，并且基于该辅助标记所提供的信息，计算模块可以精确的计算出AGV与料车的相对位置关系。
其中，辅助标记的选取的原则是具有独特视觉特征，其形状、颜色和数量可根据料车的尺寸与相机模组的类型确定，本申请实施例并不局限于此。
例如，针对彩色相机，辅助标记可以为特定的几何形状。比如圆形、三角形、正方形和长方形等，并且针对这些特定形状的辅助标记，各标记之间的位置关系以各标记相对料车中心的位置关系均需满足预先给定的位置关系（不失一般性，假设共粘贴N个辅助标记，并可将N个辅助标记记为m1、m2....和mN，以及可以料车中心为坐标系原点，并且还可以单向潜伏牵引式AGV进入料车的前进方向为X轴方向，建立料车坐标系，则每个标记在料车坐标系中均有固定的坐标值p1、p2...和pN）。
这里需要说明的是，其他的辅助标记的预先给定位置关系的方式与上述辅助标记的预先给定位置关系的方式是类似的，后续不再一一说明。
再例如，针对深度相机，辅助标记可以为具有特定空间几何结构的物体。比如小圆块、小方块和V型块等。
再例如，针对RGBD相机，可以综合考虑上述两种辅助标记。
此外，除了上述方式，也可以采用二维码等可以直接解算位姿的标记，这类标记相对料车中心的位置关系也是预先给定。
请参见图3，图3示出了本申请实施例提供的一种实现单向潜伏牵引式AGV和料车对接的方法的流程图。具体地，单向潜伏牵引式AGV包括设置在其顶部的相机，以及单向潜伏牵引式AGV的定位过程包括潜伏定位阶段和非潜伏定位阶段，以及料车的底部设置有多个辅助标记，如图3所示的方法包括：
步骤S310，单向潜伏牵引式AGV上线运行。
具体地，可使用预设方法（例如，视觉SLAM等）建立一张单向潜伏牵引式AGV运行的全局地图，并且在该全局地图中将包含料车的区域的指定区域（即指定区域包括料车所处的区域）的坐标值设置为D，以及该单向潜伏牵引式AGV的计算模块可记录该坐标值D。此外，若有多个料车的放置位置，则该单向潜伏牵引式AGV可以记录多个坐标值D。
随后，单向潜伏牵引式AGV可上线运行，并且在单向潜伏牵引式AGV上线时，需要确保相机没有被料车遮挡。以及，可通过操作员给定单向潜伏牵引式AGV在地图中的大致位置作为该单向潜伏牵引式AGV上线的初始值。因此，该单向潜伏牵引式AGV上线后可进入非潜伏定位阶段。
应理解，指定区域也可以称为料车的放置区域。
步骤S320，单向潜伏牵引式AGV在非潜伏定位阶段向指定区域行走，实时计算定位的实时位置为p NS 。
具体地，在单向潜伏牵引式AGV未到达指定区域前，计算模块可将单向潜伏牵引式AGV保持在非潜伏定位阶段，以及在非潜伏定位阶段，计算模块可获取相机拍摄的第二图像。以及，计算模块可从第二图像中提取第二视觉特征，并且将第二视觉特征和全局地图的特征进行匹配，以获得单向潜伏牵引式AGV的实时的实时位置p NS 。
步骤S330，判断实时位置p NS 是否在指定区域D内。
若确定实时位置p NS 在指定区域D内，则确定单向潜伏牵引式AGV已经进入到指定区域内，并执行步骤S340；若确定实时位置p NS 不在指定区域D内，则返回步骤S320。
步骤S340，获取单向潜伏牵引式AGV的相机拍摄的第一图像，以及从第一图像中搜寻至少一个辅助标记。
具体地，在单向潜伏牵引式AGV进入到指定区域后，计算模块可获取单向潜伏牵引式AGV的相机拍摄的第一图像。由于计算模块可存储有料车的底部设置的多个辅助标记，则计算模块可从第一图像中搜寻料车底部设置的辅助标记。
若第一图像中存在辅助标记，则可执行步骤S360；若第一图像中不存在辅助标记，则可执行步骤S350。
步骤S350，确定连续未搜寻到至少一个辅助标记的次数是否超过预设次数。其中，次数也可以称为连续次数等。
若连续未搜寻到至少一个辅助标记的次数未超过预设次数，则执行步骤S360（例如，若从第n个第一图像中未搜寻到辅助标记，并且连续未搜寻到至少一个辅助标记的次数未超过预设次数，则返回步骤S360，以便获取第n+1个第一图像，以及可对第n+1个第一图像进行辅助标记的搜寻等）；若连续未搜寻到至少一个辅助标记的次数超过预设次数，则可确定搜寻料车失败，并执行步骤S370。
步骤S360，继续维持单向潜伏牵引式AGV为非潜伏定位阶段，单向潜伏牵引式AGV仍根据实时位置p NS 在指定区域内行走，并返回步骤S340。
具体地，继续维持单向潜伏牵引式AGV为非潜伏定位阶段，以及在非潜伏定位阶段，从第一图像中提取第一视觉特征，并且将第一视觉特征和单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得单向潜伏牵引式AGV的实时位置p NS ，以及基于实时位置p NS 进行移动。
这里需要说明的是，在返回步骤S340后，可获取单向潜伏牵引式AGV的相机拍摄的下一个第一图像，以及从下一个第一图像中搜寻至少一个辅助标记，从而可继续搜寻辅助标记。
步骤S370，停止运行单向潜伏牵引式AGV，以及生成用于表示未搜寻到料车的异常报警信号，并上报异常报警信号。
应理解，上报异常报警信号可以是指向服务上传异常报警信号，以便通知用户。
步骤S380，将单向潜伏牵引式AGV从非潜伏定位阶段切换到潜伏定位阶段，并且在潜伏定位阶段中，基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置，以及基于相对位置，引导单向潜伏牵引式AGV移动到与料车对接的对接位置。
应理解，基于至少一个辅助标记，计算单向潜伏牵引式AGV和料车的相对位置的具体过程可根据实际需求来进行设置，本申请实施例并不局限于此。
可选地，在辅助标记为特定的几何形状或者具有特定空间几何结构的物体的情况下，确定至少一个辅助标记中每个辅助标记在第一图像中的像素坐标，以及将至少一个辅助标记和料车的底部设置的多个辅助标记中全部辅助标记进行匹配，以从全部辅助标记中确定出至少一个匹配命中的辅助标记，并确定至少一个匹配命中的辅助标记中每个匹配命中的辅助标记在料车坐标系中的坐标值，以及基于像素坐标和坐标值，建立用于求解相对位置的优化命题，以及利用非线性优化方法对优化命题进行求解，以获得相对位置。
例如，假设在当前相机所拍摄到图像中共提取到M个辅助标记，记为d 1 、d 2 ...d M ，以及M个辅助标记在图像中的像素坐标值分别为c 1 、c 2 ...c M ，根据这些辅助标记的形状和尺寸等特点，可以找到这些标记分别对应于已知的粘贴在料车底部的标记为m 1 、m 2 ...m M ，以及这些标记在料车坐标系中的坐标值p 1 、p 2 ...p M ，构造如下优化命题：
Figure 305720DEST_PATH_IMAGE001
其中，
Figure 770199DEST_PATH_IMAGE002
表示所述相对位置；M表示至少一个辅助标记中所有辅助标记的总个数；K表示相机的内参矩阵，并且该内参矩阵为相机生产时预先标定得到的；D表示相机距料车的底部的垂直距离（或者说相机距离料车底部粘标记平面的垂直距离）；/>
Figure 907920DEST_PATH_IMAGE003
表示至少一个辅助标记中第i个辅助标记对应的坐标值。
以及，对于上述优化命题，可采用采用高斯-牛顿法等非线性优化方法求解。
可选地，在辅助标记为二维码的情况下，可对第一图像中的至少一个二维码进行解码，以获得单向潜伏牵引式AGV相对于至少一个二维码中每个二维码的相对位置关系，以及基于单向潜伏牵引式AGV相对于每个二维码的相对位置关系，计算单向潜伏牵引式AGV相对于料车的相对位置。
步骤S390，在单向潜伏牵引式AGV和料车对接完成后，将单向潜伏牵引式AGV从潜伏定位阶段切换到非潜伏定位阶段，单向潜伏牵引式AGV牵引料车运行至目标任务点。
具体地，在单向潜伏牵引式AGV到达对接位置后，单向潜伏牵引式AGV上的牵引杆升起，以实现和料车的对接。以及，在该对接位置，单向潜伏牵引式AGV的车头部分可从料车底部前方伸出，确保相机不被料车遮挡。
以及，在对接完成后，将单向潜伏牵引式AGV从潜伏定位阶段切换到非潜伏定位阶段，并且在非潜伏定位阶段中，获取相机拍摄的第三图像，以及从第三图像中提取第三视觉特征，并且将第三视觉特征和单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得单向潜伏牵引式AGV的实时位置，以及基于实时位置，引导单向潜伏牵引式AGV向目标任务点移动。
这里需要说明的是，本申请实施例中的位置不仅包括二维平面的X和Y的坐标值，还可包括单向潜伏牵引式AGV的朝向，本申请实施例并不局限于此。
因此，在潜伏对接阶段，本申请采用辅助标记引导精确对接的方式，至少具有以下两个优点：允许料车放置位置具有一定程度的偏差，因为辅助标记可以覆盖整个料车底部，因此，只要顶视相机能够检测到任一辅助标记，即可定位AGV与料车的相对位置关系，进行对AGV的位置进行校正，达到精确对接的目标；由于相机与料车底部间距不大，因此，相机与辅助标记的距离较近，这样有利于得到较高的定位精度。
以及，在非潜伏定位阶段，基于视觉特征的定位方法可以有效克服周边环境变化对定位稳定性的影响，使定位系统具有好高的鲁棒性。
为了便于理解本申请实施例，下面通过具体的实施例来进行描述。
具体地，请参见图4a至图4d所示，基于上述图3的相关方法，在对接时，单向潜伏牵引式AGV从料车后面行驶进入到料车底部，在料车底部潜伏向前行驶，直到车头驶出到料车前面，车身主体仍在料车底下，对接到位后，车体中央的牵引杆自动升起，挂接上料车，而后可牵引料车移动至目标任务点，牵引杆自动下降，可脱离料车，执行下一趟任务。
应理解，上述实现单向潜伏牵引式AGV和料车对接的方法仅是示例性的，本领域技术人员根据上述的方法可以进行各种变形，该变形之后的方案也属于本申请的保护范围。
本申请提供一种实现单向潜伏牵引式AGV和料车对接的装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种实现单向潜伏牵引式AGV和料车对接的方法，其特征在于，所述单向潜伏牵引式AGV包括设置在其顶部的相机，所述料车的底部设置有多个辅助标记，以及所述单向潜伏牵引式AGV的定位过程包括潜伏定位阶段和非潜伏定位阶段，所述非潜伏定位阶段是指所述单向潜伏牵引式AGV的所述相机没有被料车车身遮挡的阶段，并且在此过程中使用所述单向潜伏牵引式AGV的所述相机拍摄运行场景中的上部的图像，并从拍摄的运行场景中的上部的图像中提取其中的视觉特征，以及通过将地图的特征和所述视觉特征进行匹配来实现视觉定位；所述方法包括：
在所述单向潜伏牵引式AGV进入到指定区域后，获取所述单向潜伏牵引式AGV的所述相机拍摄的第一图像；其中，所述指定区域为所述料车所在的区域；
从所述第一图像中搜寻至少一个所述辅助标记；
若搜寻到至少一个所述辅助标记，则将所述单向潜伏牵引式AGV从所述非潜伏定位阶段切换到所述潜伏定位阶段，并且在所述潜伏定位阶段中，基于至少一个所述辅助标记，计算所述单向潜伏牵引式AGV和所述料车的相对位置，以及基于所述相对位置，引导所述单向潜伏牵引式AGV移动到与所述料车对接的对接位置。
2.根据权利要求1所述的方法，其特征在于，所述基于至少一个所述辅助标记，计算所述单向潜伏牵引式AGV和所述料车的相对位置，包括：
确定至少一个所述辅助标记中每个辅助标记在所述第一图像中的像素坐标；
将至少一个所述辅助标记和所述料车的底部设置的多个辅助标记中全部辅助标记进行匹配，以从所述全部辅助标记中确定出至少一个匹配命中的辅助标记，并确定所述至少一个匹配命中的辅助标记中每个匹配命中的辅助标记在料车坐标系中的坐标值；
基于所述像素坐标和所述坐标值，建立用于求解所述相对位置的优化命题；
利用非线性优化方法对所述优化命题进行求解，以获得所述相对位置。
3.根据权利要求2所述的方法，其特征在于，所述优化命题为：
Figure FDA0004240847290000021
其中，ps表示所述相对位置；M表示至少一个所述辅助标记中所有辅助标记的总个数；K表示所述相机的内参矩阵；D表示所述相机距所述料车的底部的垂直距离；pi表示至少一个所述辅助标记中第i个辅助标记对应的坐标值。
4.根据权利要求3所述的方法，其特征在于，所述相机为彩色相机，所述多个辅助标记中每个辅助标记的形状呈圆形、三角形、正方形和长方形中的任意一种形状；
或者，所述相机为深度相机，所述多个辅助标记中每个辅助标记的形状呈球形、三棱锥、正方体和长方体中的任意一种形状。
5.根据权利要求1所述的方法，其特征在于，所述多个辅助标记中每个辅助标记均为二维码；所述基于至少一个所述辅助标记，计算所述单向潜伏牵引式AGV和所述料车的相对位置，包括：
对所述第一图像中的至少一个二维码进行解码，以获得所述单向潜伏牵引式AGV相对于所述至少一个二维码中每个二维码的相对位置关系；
基于所述单向潜伏牵引式AGV相对于所述每个二维码的相对位置关系，计算所述单向潜伏牵引式AGV相对于所述料车的相对位置。
6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
若未搜寻到至少一个所述辅助标记，则确定连续未搜寻到至少一个所述辅助标记的次数是否超过预设次数；
若所述次数未超过所述预设次数，则继续维持所述单向潜伏牵引式AGV为所述非潜伏定位阶段，以及在所述非潜伏定位阶段，从所述第一图像中提取第一视觉特征，并且将所述第一视觉特征和所述单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得所述单向潜伏牵引式AGV的实时位置，以及基于所述实时位置，移动所述单向潜伏牵引式AGV，以及返回所述获取所述单向潜伏牵引式AGV的所述相机拍摄的第一图像的步骤。
7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：
若所述次数超过所述预设次数，则停止运行所述单向潜伏牵引式AGV，以及生成用于表示未搜寻到所述料车的异常报警信号，并上报所述异常报警信号。
8.根据权利要求1所述的方法，其特征在于，在所述单向潜伏牵引式AGV未到达所述指定区域前，所述方法进一步包括：
将所述单向潜伏牵引式AGV保持在所述非潜伏定位阶段，以及在所述非潜伏定位阶段，获取所述相机拍摄的第二图像；
从所述第二图像中提取第二视觉特征，并且将所述第二视觉特征和所述单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得所述单向潜伏牵引式AGV的实时位置，以及基于所述实时位置，引导所述单向潜伏牵引式AGV向所述指定区域移动。
9.根据权利要求1所述的方法，其特征在于，在所述单向潜伏牵引式AGV和所述料车在所述对接位置完成对接后，所述方法进一步包括：
将所述单向潜伏牵引式AGV从所述潜伏定位阶段切换到所述非潜伏定位阶段，并且在所述非潜伏定位阶段中，获取所述相机拍摄的第三图像；
从所述第三图像中提取第三视觉特征，并且将所述第三视觉特征和所述单向潜伏牵引式AGV运行的全局地图的特征进行匹配，以获得所述单向潜伏牵引式AGV的实时位置，以及基于所述实时位置，引导所述单向潜伏牵引式AGV向目标任务点移动。
10.一种实现单向潜伏牵引式AGV和料车对接的装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一所述实现单向潜伏牵引式AGV和料车对接的方法的步骤。
CN202211442266.2A 2022-11-17 2022-11-17 实现单向潜伏牵引式agv和料车对接的方法及其装置 Active CN115576330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211442266.2A CN115576330B (zh) 2022-11-17 2022-11-17 实现单向潜伏牵引式agv和料车对接的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211442266.2A CN115576330B (zh) 2022-11-17 2022-11-17 实现单向潜伏牵引式agv和料车对接的方法及其装置

Publications (2)

Publication Number Publication Date
CN115576330A CN115576330A (zh) 2023-01-06
CN115576330B true CN115576330B (zh) 2023-06-27

Family

ID=84588844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211442266.2A Active CN115576330B (zh) 2022-11-17 2022-11-17 实现单向潜伏牵引式agv和料车对接的方法及其装置

Country Status (1)

Country Link
CN (1) CN115576330B (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104555222A (zh) * 2014-12-25 2015-04-29 北京物资学院 一种基于潜入式agv的储分一体化系统和方法
CN104828446B (zh) * 2015-04-16 2017-03-08 昆山华恒工程技术中心有限公司 智能搬运车用顶升机构、智能搬运车和智能搬运系统
US10222798B1 (en) * 2016-09-29 2019-03-05 Amazon Technologies, Inc. Autonomous ground vehicles congregating in meeting areas
CN206312215U (zh) * 2016-10-09 2017-07-07 浙江国自机器人技术有限公司 一种移动单元以及库存物品管理系统
CN106843238A (zh) * 2017-04-10 2017-06-13 锥能机器人（上海）有限公司 一种仓库自动化分拣系统及方法
CN112694035B (zh) * 2019-09-29 2022-08-02 杭州海康机器人技术有限公司 自动导引运输车搬运货架的方法、装置及系统
CN110843648A (zh) * 2019-11-28 2020-02-28 中车广东轨道交通车辆有限公司 一种列车设备箱自动装配系统
CN110987019A (zh) * 2019-12-19 2020-04-10 南京极智嘉机器人有限公司 标定工装及标定方法
CN111486848B (zh) * 2020-05-25 2022-02-22 上海杰销自动化科技有限公司 Agv视觉导航方法、系统、计算机设备以及存储介质
CN212401416U (zh) * 2020-05-27 2021-01-26 北京京东乾石科技有限公司 一种车辆
CN215205144U (zh) * 2021-06-03 2021-12-17 重庆宇飞特科技有限公司 潜伏牵引式推车agv系统
CN113240731B (zh) * 2021-06-28 2021-10-15 浙江华睿科技股份有限公司 托盘中心位置的确定方法、装置、电子设备及存储介质
CN114071077A (zh) * 2021-10-23 2022-02-18 河南中烟工业有限责任公司 基于视觉检测技术的潜伏式agv监视调控系统及方法
CN216917266U (zh) * 2021-10-28 2022-07-08 北京迈格威科技有限公司 一种托盘纠偏装置和具有其的仓储系统

Also Published As

Publication number Publication date
CN115576330A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN110243360B (zh) 机器人在运动区域的地图构建及定位方法
US10417781B1 (en) Automated data capture
CN101163940B (zh) 摄影位置分析方法
US8498472B2 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
US20150314443A1 (en) Visual-based obstacle detection method and apparatus for mobile robot
CN104732196B (zh) 车辆检测方法及系统
US9734429B2 (en) Method, system and computer program product for detecting an obstacle with a camera
CN112686951A (zh) 用于确定机器人位置的方法、装置、终端及存储介质
KR101549165B1 (ko) 차량 자세 추정 장치 및 차량 자세 추정 방법
Kim et al. External vehicle positioning system using multiple fish-eye surveillance cameras for indoor parking lots
CN115576330B (zh) 实现单向潜伏牵引式agv和料车对接的方法及其装置
JP2010225126A (ja) 移動経路計画装置、移動体制御装置及び移動体
US20220148216A1 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
CN111380535A (zh) 基于视觉标签的导航方法、装置、移动式机器及可读介质
CN116958935A (zh) 基于多视角的目标定位方法、装置、设备及介质
CN111781606A (zh) 一种新型激光雷达和超声波雷达融合的小型化实现方法
Han et al. Lane detection & localization for UGV in urban environment
Fleischer et al. 3D-model-based-vision for innercity driving scenes
Iz et al. An image-based path planning algorithm using a UAV equipped with stereo vision
Nowak et al. Vision-based positioning of electric buses for assisted docking to charging stations
CN110703773B (zh) 一种使用圆和编码光源作为标识物进行agv定位的方法
Lee et al. Semi-automatic framework for traffic landmark annotation
Choi et al. Autonomous homing based on laser-camera fusion system
Trusheim et al. Cooperative image orientation considering dynamic objects
CN111397609A (zh) 路径规划方法、移动式机器及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant