CN115311332A - 一种自动引导车对接方法及装置 - Google Patents

一种自动引导车对接方法及装置 Download PDF

Info

Publication number
CN115311332A
CN115311332A CN202210944001.6A CN202210944001A CN115311332A CN 115311332 A CN115311332 A CN 115311332A CN 202210944001 A CN202210944001 A CN 202210944001A CN 115311332 A CN115311332 A CN 115311332A
Authority
CN
China
Prior art keywords
coordinate system
pallet
point
docking
cloud information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210944001.6A
Other languages
English (en)
Inventor
邢佩毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202210944001.6A priority Critical patent/CN115311332A/zh
Publication of CN115311332A publication Critical patent/CN115311332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种自动引导车对接方法及装置，以解决自动引导车插齿与栈板对接失败的问题。本申请提供的方法包括：控制自动引导车移动到指引标识位置，通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得指引标识位置在世界坐标系下的三维坐标；根据栈板的第一点云信息确定世界坐标系下栈板的几何中心点的三维坐标；根据世界坐标系下栈板的几何中心点的三维坐标以及第一位置的三维坐标确定指引标识位置对应的距离，当指引标识位置对应的距离大于设定阈值时，根据指引标识位置对应的距离控制自动引导车移动，直到自动引导车移动到识别点位置；根据识别点位置控制自动引导车移动到用于插齿与栈板对接的对接位置。

Description

一种自动引导车对接方法及装置
技术领域
本申请涉及自动搬运技术领域，尤其涉及一种自动引导车对接方法及装置。
背景技术
随着科技的发展，科技的应用无处不在。目前，自动引导车(AutomatedGuidedVehicles，AGV)由于其自动化程度高以及智能化水平高的特点，被广泛应用于自动搬运领域中。在相关技术中，通过图像传感器拍摄获得的图像确定指引标识位置，进而使AGV到达指引标识位置。但是，在实际情况指引标识位置是固定的，无论栈板如何摆放，该指引标识都是不变的。因此，当栈板放置位置存在偏差时，根据指引标识位置确定的对接位置会存在偏差，从而导致AGV插齿与栈板进行对接会出现AGV的插齿撞到栈板导致对接搬运失败的问题。
发明内容
本申请实施例提供了一种自动引导车对接方法及装置，用以解决自动引导车插齿与栈板对接失败的问题。
第一方面，本申请实施例提供了一种自动引导车对接方法，包括：
控制所述自动引导车移动到指引标识位置，通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得所述指引标识位置在世界坐标系下的三维坐标；根据所述栈板的第一点云信息确定所述世界坐标系下所述栈板的几何中心点的三维坐标；根据所述世界坐标系下所述栈板的几何中心点的三维坐标以及所述指引标识位置的三维坐标确定指引标识位置对应的距离，所述指引标识位置对应的距离为在所述自动引导车的插齿朝向的垂直方向上所述栈板的几何中心点与所述指引标识位置之间的距离；当所述指引标识位置对应的距离大于设定阈值时，根据所述指引标识位置对应的距离控制所述自动引导车移动，直到所述自动引导车移动到识别点位置；其中，所述识别点位置对应的距离小于或者等于所述设定阈值；根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置。
基于上述方案，可以在栈板不完全在TOF相机的视野内时，根据TOF相机获得的栈板的点云信息确定自动引导车与栈板的相对位置关系，进而使自动引导车移动到识别点位置，进而在识别点确定用对接位置，提高了自动引导车的对接成功率。
一种可能的实施例中，根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置，包括：在所述识别点位置通过所述自动引导车上的飞行时间TOF相机获得栈板的点云信息，并获得所述识别点位置在世界坐标系下的三维坐标以及设备坐标系相对于世界坐标系的旋转角度，所述设备坐标系为基于所述自动引导车建立的坐标系；根据所述栈板的点云信息确定在相机坐标系下栈板中心点的三维坐标；根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标；所述对接位置用于自动引导车识别及对接栈板；基于所述对接位置在所述相机坐标下的三维坐标和所述相机坐标系与所述设备坐标系的转换关系获得所述对接位置在设备坐标系下的三维坐标；根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标；根据所述对接位置在所述世界坐标系下的坐标控制所述自动引导车移动到所述对接位置，以识别所述栈板上的对接口，根据所述对接口将所述自动引导车的插齿与所述栈板对接。
基于上述方案，通过获取栈板的点云信息可以确定世界坐标系下的对接位置的真实位置，以便于自动引导车可以移动至对接位置与栈板进行对接，提高了对接的成功率。
一种可能的实现方式中，所述通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，包括：
在所述指引标识位置通过所述自动引导车上的TOF相机对视场区域的场景进行拍摄得到第三点云信息；
过滤所述第三点云信息中的错误点云信息得到第四点云信息，所述错误点云信息包括位于所述自动引导车所在的水平面以下的点云信息；
对所述第四点云信息进行聚类得到聚类结果，根据聚类结果从所述第四点云信息中过滤出所述栈板的第一点云信息。
基于上述方案，可以从TOF相机拍摄的点云信息中确定栈板的第一点云信息，以便于确定栈板的位置。
一种可能的实现方式中，所述根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标，包括：
获取所述栈板的第二点云信息中栈板面的点云信息，所述栈板面为所述栈板上相对于所述TOF相机的平面；
根据所述栈板面的点云信息确定所述栈板面的中心点坐标，所述栈板面的中心点坐标作为在相机坐标系下栈板中心点的三维坐标。
一种可能的实现方式中，所述栈板中心点与对接位置相对位置关系包括栈板中心点与对接位置之间在世界坐标系下的第一相对距离；所述根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标，包括：
确定所述栈板面的法向量与所述TOF相机的夹角；
根据所述第一相对距离以及所述相机坐标系与所述世界坐标系的转换关系，确定在所述相机坐标系下所述栈板中心点与对接位置之间的第二相对距离；
根据所述第二相对距离、所述栈板中心点的三维坐标以及所述夹角确定在所述相机坐标系下的所述对接位置的三维坐标。
基于上述方案，相机坐标系下对接位置的三维坐标是根据栈板中心点的位置确定的，因此无论栈板如何放置，都可以计算出相机坐标系下对接位置的真实位置。
一种可能的实现方式中，所述相机坐标系下的所述对应位置点的三维坐标满足如下公式所示的条件：
Figure BDA0003784978090000031
其中，x0，y0，z0表示所述相机坐标系下所述栈板中心点的三维坐标，x1，y1，z1表示所述相机坐标系下所述对接位置的三维坐标，d表示第二相对距离，θ表示栈板面法向量与相机光轴间的夹角。
一种可能的实现方式中，根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标，包括：
通过如下公式获得所述对接位置在所述世界坐标系下的三维坐标；
Figure BDA0003784978090000032
其中，x1w表示所述对接位置在所述世界坐标系下的X坐标，y1w表示所述对接位置在所述世界坐标系下的Y坐标；x1d表示所述对接位置在所述设备坐标系中的X坐标，y1d表示所述对接位置在所述设备坐标系中的Y坐标，x0t表示所述识别点位置在所述世界坐标系中的X坐标，y0t表示所述识别点位置在所述世界坐标系中的Y坐标，η表示所述旋转角度。
基于上述方案，可以获得世界坐标系下对接位置的坐标，无论栈板如何放置，都能根据栈板放置的位置确定对接位置的位置，以便于自动引导车移动自对接位置并与栈板进行对接。
第二方面，本申请实施例提供了一种自动引导车对接装置，包括：
控制模块，用于控制所述自动引导车移动到指引标识位置；
获取模块，用于通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得所述指引标识位置在世界坐标系下的三维坐标；
确定模块，用于根据所述栈板的第一点云信息确定所述世界坐标系下所述栈板的几何中心点的三维坐标；根据所述世界坐标系下所述栈板的几何中心点的三维坐标以及所述指引标识位置的三维坐标确定指引标识位置对应的距离，所述指引标识位置对应的距离为在所述自动引导车的插齿朝向的垂直方向上所述栈板的几何中心点与所述指引标识位置之间的距离；当所述指引标识位置对应的距离大于设定阈值时，根据所述指引标识位置对应的距离控制所述自动引导车移动，直到所述自动引导车移动到识别点位置；其中，所述识别点位置对应的距离小于或者等于所述设定阈值；根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置。
一种可能的实现方式中，获取模块，还用于在所述识别点位置通过所述TOF相机获得栈板的第二点云信息，并获得所述识别点位置在世界坐标系下的三维坐标以及设备坐标系相对于世界坐标系的旋转角度，所述设备坐标系为基于所述自动引导车建立的坐标系；
确定模块，还用于根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标；根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标；所述对接位置用于自动引导车识别及对接栈板；基于所述对接位置在所述相机坐标下的三维坐标和所述相机坐标系与所述设备坐标系的转换关系获得所述对接位置在设备坐标系下的三维坐标；根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标；
所述控制模块，还用于根据所述对接位置在所述世界坐标系下的坐标控制所述自动引导车移动到所述对接位置，以识别所述栈板上的对接口，根据所述对接口将所述自动引导车的插齿与所述栈板对接。
一种可能的实现方式中，所述获取模块，在通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息时，具体用于：
在所述指引标识位置通过所述自动引导车上的TOF相机对视场区域的场景进行拍摄得到第三点云信息；
过滤所述第三点云信息中的错误点云信息得到第四点云信息，所述错误点云信息包括位于所述自动引导车所在的水平面以下的点云信息；
对所述第四点云信息进行聚类得到聚类结果，根据聚类结果从所述第四点云信息中过滤出所述栈板的第一点云信息。
一种可能的实现方式中，所述确定模块，在根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标时，具体用于：
获取所述栈板的第二点云信息中栈板面的点云信息，所述栈板面为所述栈板上相对于所述TOF相机的平面；
根据所述栈板面的点云信息确定所述栈板面的中心点坐标，所述栈板面的中心点坐标作为在相机坐标系下栈板中心点的三维坐标。
一种可能的实现方式中，所述栈板中心点与对接位置相对位置关系包括栈板中心点与对接位置之间在世界坐标系下的第一相对距离；所述确定模块，在根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标时，具体用于：
确定所述栈板面的法向量与所述TOF相机光轴的夹角；
根据所述第一相对距离以及所述相机坐标系与所述世界坐标系的转换关系，确定在所述相机坐标系下所述栈板中心点与对接位置之间的第二相对距离；
根据所述第二相对距离、所述栈板中心点的三维坐标以及所述夹角确定在所述相机坐标系下的所述对接位置的三维坐标。
一种可能的实现方式中，所述相机坐标系下的所述对接位置的三维坐标满足如下公式所示的条件：
Figure BDA0003784978090000051
其中，x0，y0，z0表示所述相机坐标系下所述栈板中心点的三维坐标，x1，y1，z1表示所述相机坐标系下所述对接位置的三维坐标，d表示第二相对距离，θ表示栈板面法向量与相机光轴间的夹角。
一种可能的实现方式中，所述确定模块，在根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标时，具体用于：
通过如下公式获得所述对接位置在所述世界坐标系下的三维坐标；
Figure BDA0003784978090000052
其中，x1w表示所述对接位置在所述世界坐标系下的X坐标，y1w表示所述对接位置在所述世界坐标系下的Y坐标；x1d表示所述对接位置在所述设备坐标系中的X坐标，y1d表示所述对接位置在所述设备坐标系中的Y坐标，x0t表示所述识别点位置在所述世界坐标系中的X坐标，y0t表示所述识别点位置在所述世界坐标系中的Y坐标，η表示所述旋转角度。
第三方面，本申请实施例提供了一种自动引导车对接装置，包括：
存储器，用于存储程序指令；
TOF相机，用于获取点云信息；
处理器，用于调用所述存储器中存储的程序指令以及TOF相机获得的点云信息，按照获得的程序和点云信息执行第一方面以及第一方面不同实现方式所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面以及第一方面不同实现方式所述的方法。
另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面以及第一方面不同实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种自动引导车的结构示意图；
图2为本申请实施例提供的一种对接场景示意图；
图3为本申请实施例提供的一种自动引导车对接方法的流程图；
图4为本申请实施例提供的自动引导车的移动角度示意图；
图5为本申请实施例提供的自动引导车的移动示意图；
图6为本申请实施例提供的栈板面点云信息的示意图；
图7为本申请实施例提供的通过识别点位置确定对接位置的流程图；
图8为本申请实施例提供的相机光轴与栈板对接装置的法向量的示意图；
图9为本申请实施例提供的一种自动引导车对接装置的示意图；
图10为本申请实施例提供的另一种自动引导车对接装置的示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了便于理解本申请实施例提出的方案，首先对本申请涉及的技术用语进行介绍：
飞行时间相机：飞行时间(Time of Flight，TOF)相机其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离，所有的像素点测量的距离就构成了一幅深度图。深度图是一张灰度图，一张三维的图：水平垂直坐标对应像素位置，该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的每个像素可以表示空间中一个点的三维坐标，所以深度图中的每个像素也称为体像素(voxel)。反应到软件上深度信息其是一张二维的深度点云信息，也就是原始得到的信息是一张图像，每个点的值代表着相机和物体的距离的值。
自动引导车：自动引导车((Automated Guided Vehicles，AGV)包括左插齿和右插齿，每个插齿上包括一个车轮。AGV上还包括TOF相机，TOF相机安装于AGV的车头。如图1所示，AGV车头的中线L1与两个插齿车轮的连线L2的交点即为车体中心，也可称为运动中心或者旋转中心。
图像坐标系：又称深度图像坐标系，每个坐标点的值对应TOF相机和被测物体的距离。基于TOF相机的内参可以将图像坐标系转换为相机坐标系。
相机坐标系：又称TOF坐标系，坐标原点为TOF相机的镜头光心，Z轴为垂直中心的纵轴即镜头的光轴，X、Y轴分别与图像坐标系的x、y轴平行。
世界坐标系：即现实坐标系，可以放置在任一环境中，用于描述TOF相机和被测物体的空间位置关系。相机坐标系与世界坐标系可以相互转换，相机坐标系可以根据相机外参转换为世界坐标系。
本申请实施例中，相机在标定时是基于自动引导车进行标定的。因此，本申请实施例中的设备坐标系可以对应于相机标定时的世界坐标系。设备坐标系可以理解为以自动引导车上的某一固定点为原点建立的坐标系。设备坐标系是建立在自动引导车上的，无论自动引导车是否移动，设备坐标系相对于自动引导车都是固定不变的。相机坐标系与设备坐标系之间可以相互转化，相机坐标系可以通过转换关系转化为设备坐标系。
本申请实施例中还涉及到地图坐标系，地图坐标系可以理解为自动引导车所在的现实坐标系。自动引导车上具有定位模块，可以获得设备坐标系相对于世界坐标系的旋转角度。通过设备坐标系相对于地图坐标系的旋转角度可以实现设备坐标系和世界坐标系的转换。
现有技术中，在通过自动引导车对接栈板时，是直接选取预设对接位置，通过图像传感器拍摄获得的图像确定指引标识位置，进而使AGV到达指引标识位置，并进行栈板识别并调整，以实现栈板与自动引导车的对接。但是，在实际情况中指引标识位置是固定的，无论栈板如何摆放，或者栈板以及货物在放置过程中出现移动时，该指引标识都是不变的。因此，当栈板放置位置存在偏差时，根据指引标识位置确定的对接位置会存在偏差，从而在AGV插齿与栈板进行对接时会出现插齿撞到栈板导致对接搬运失败的问题。
为了解决上述问题，本申请提出了一种自动引导车对接方法及装置，通过自动引导车上的飞行时间相机(TOF相机)确定根据栈板的位置和位姿，以获得栈板的识别点位置，进而通过识别点位置控制自动引导车移动到对接位置，以提高栈板识别和对接的成功率。
下面对本申请实施例中的自动引导车对接方法进行介绍。
如图2所示，TOF相机具有一定的视场角度，因此控制自动引导车在设定区域内进行移动，使自动引导车到达识别点位置C处以识别栈板。进一步地，自动引导车开始识别，通过TOF相机获得的栈板位置以及栈板与对接位置O的相对位置关系，进而获得对接位置O在世界坐标系中的坐标，以控制自动引导车移动到对接位置O，进而识别栈板上的对接口，根据对接口控制插齿与栈板对接。
图3示例性的示出了本申请实施例中的自动引导车对接方法的流程，具体如下：
301，控制自动引导车移动到指引标识位置，通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得指引标识位置在世界坐标系下的三维坐标。
一些实施例中，自动引导车具有固定的视场角度。可以控制自动引导车移动到指引标识位置，并在指引标识位置通过TOF相机获取栈板的第一点云信息。
一些实施例中，当自动引导车移动到指引标识位置时，可以在指引标识位置通过自动引导车上的TOF相机对视场区域的场景进行拍摄，以获得视场区域的第三点云信息。
一些实施例中，在获得视场区域的第三点云信息后，可以过滤视场区域的点云信息中的错误点云信息，以得到第四点云信息。其中，错误点云信息包括位于自动引导车所在的水平面以下的点云信息。例如，自动引导车所在的水平面方程可以表示为ax+by+cz+d＝0(c>0且a2+b2+c2＝1)。根据自动引导车所在的水平面方程，过滤掉自动引导车所在的水平面方程以下的错误点云信息，以获得自动引导车所在的水平面以上的第四点云信息。进一步地，可以对第四点云信息进行聚类得到聚类结果。其中，聚类方法可以为K-Means(K均值)聚类、均值漂移聚类法、基于密度的聚类方法、用高斯混合模型(GMM)的最大期望(EM)聚类、凝聚层次聚类、图团体检测(Graph Community Detection)等，本申请对此不作具体限制。
一些实施例中，对过滤后的第四点云信息进行聚类后，可以获得至少一个聚类结果。进一步地，可以将聚类结果进行再次过滤，过滤栈板以外的背景点云信息的聚类结果，以获得栈板的第一点云信息。具体地，可以根据栈板的特征信息确定栈板的边缘点云信息的坐标，进而通过边缘点云信息的坐标过滤掉栈板以外的背景点云信息。作为一种举例，可以根据三个坐标轴对点云信息进行过滤，以获得第一点云信息。例如，点云信息集合Qpoint包括n个点云信息，点云信息集合坐标可以表示为pi(xi,yi,zi)。其中，i的取值范围为1≤i≤n。首先过滤远近距离信息，即过滤x坐标在第一设定范围外的点，以获得第一点云信息集合。作为一种举例，第一设定范围可以表示为xmin≤xi≤xmax，以获得点云信息集合1，点云信息集合1可以表示为Qx。进一步地，从点云信息集合1中过滤左右距离信息，即过滤y坐标在第二设定范围外的点，以获得点云信息集合2。作为一种举例，Qx中包括m个点pj(xj,yj,zj)，其中1≤j≤m≤n。第二设定范围可以表示为ymin≤yj≤ymax，以获得点云信息集合2，点云信息集合2可以表示为Qxy。进一步地，可以根据点云信息集合2过滤竖直距离信息，即过滤z坐标在第三设定范围外的点，以获得点云信息集合3。作为一种举例，点云信息集合2Qxy中包括q个点pk(xk,yk,zk)，其中1≤k≤j≤m≤n。第三设定范围可以表示为zmin≤zk≤zmax，过滤掉第三设定范围以外的点云信息，以获得点云信息集合3。其中，点云信息集合3可以表示为Qxyz。点云信息集合3包括的点云信息即为栈板的第一点云信息。
一些实施例中，自动引导车移动到指引标识位置后，自动引导车上有定位模块，可以通过定位模块获得指引标识位置在世界坐标系下的三维坐标。
302，根据栈板的第一点云信息确定世界坐标系下栈板的几何中心点的三维坐标。
一些实施例中，在获得栈板的第一点云信息后，可以根据栈板的第一点云信息确定相机坐标系下栈板的几何中心点的三维坐标。其中，栈板的第一点云信息为有序点云信息，通过有序点云信息可以确定相机坐标系下栈板的几何中心点的三维坐标。进一步地，可以根据相机坐标系与设备坐标系的转换关系、设备坐标系与世界坐标系的转换关系，可以确定世界坐标系下栈板的几何中心点的三维坐标。
303，根据世界坐标系下栈板的几何中心点的三维坐标以及指引标识位置的三维坐标确定指引标识位置对应的距离。
其中，指引标识位置对应的距离为在自动引导车的插齿朝向的垂直方向上栈板的几何中心点与指引标识位置之间的距离。
304，当指引标识位置对应的距离大于设定阈值时，根据指引标识位置对应的距离控制自动引导车移动，直到自动引导车移动到识别点位置。
一些实施例中，当指引标识位置对应的距离大于设定阈值时，可以根据指引标识位置对应的距离控制自动引导车向识别点位置方向移动，直至自动引导车移动到识别点位置。其中，识别点位置对应的距离小于或者等于设定阈值。即在识别点位置确定的栈板的几何中心点的三维坐标与识别点位置的三维坐标在自动引导车插齿朝向的垂直方向上栈板的几何中心点与识别点位置之间的距离小于或者等于设定阈值。
在一些实施例中，自动引导车可以在对接方向上在设定角度内进行移动。作为一种举例，自动引导车在对接方向上只能在30°的角度内前后移动，如图4所示。一些场景中，自动引导车的对接方向上的移动受限于自动引导车所在的场地大小，自动引导车需要经过多次移动才能移动到识别点位置。在一种示例中，当栈板与自动引导车的相对位置关系如图5所示时，当自动引导车位于A点时，自动引导车上的TOF相机只能拍摄到部分栈板。在如图5所示的场景下，TOF相机拍摄获得的栈板的几何中心点W的三维坐标与A点的三维坐标在自动引导车的插齿朝向的垂直方向上的距离大于设定阈值。因此，可以控制自动引导车按照减小栈板的几何中心点与指定标识位置之间的距离的方向移动。由于自动引导车所在的场地的限制，自动引导车只能先按照AB的方向移动，然后再沿BC的方向移动至C点。一种可能的示例中，当自动引导车移动到C点后，在C点通过TOF相机获取栈板的点云信息，进而确定栈板的几何中心点的三维坐标与C点的三维坐标在自动引导车的插齿朝向的垂直方向的距离。当距离大于设定阈值时，需要按照上述移动方法再次控制自动引导车进行移动。当距离小于或者等于设定阈值时，可以确定用于表征自动引导车位置的三维坐标即为识别点位置坐标。
一些实施例中，可以根据栈板的第一点云信息获取栈板面的点云信息，根据栈板面的点云信息确定栈板面三条腿的宽度以及两个空档的宽度，如图6所示。当确定的栈板面三条腿的宽度以及两个空档的宽度满足预设阈值时，可以确定该位置为识别点位置。具体地，可以将左腿的点云信息E中y的最小值与中间腿的点云信息F的最大值之差称为左空档距离，同理可以计算右空档距离。因此，可以根据左空档距离与右空档距离与实际预设阈值进行比较，进而确定自动引导车所在的位置是否为识别点位置。
305，根据识别点位置控制自动引导车移动到用于插齿与栈板对接的对接位置。
基于上述方案，可以在栈板不完全在TOF相机的视野内时，根据TOF相机获得的栈板的点云信息确定自动引导车与栈板的相对位置关系，进而使自动引导车移动到识别点位置，进而在识别点确定用对接位置，提高了自动引导车的对接成功率。
参见图7，图7示例性地示出了通过识别点位置确定对接位置的方法流程，具体如下：
701，在识别点位置通过自动引导车上的飞行时间TOF相机获得栈板的第二点云信息，并获得识别点位置在世界坐标系下的三维坐标以及设备坐标系相对于世界坐标系的旋转角度。
其中，设备坐标系为基于自动引导车建立的坐标系。
一些实施例中，在识别点为指通过TOF相机获得栈板的第二点云信息的具体过程可以参见步骤301，此处不再赘述。
702，根据栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标。
一些实施例中，可以根据栈板的第二点云信息确定栈板面的点云信息。其中，栈板面为栈板上相对于TOF相机的平面。进一步地，可以根据栈板面的点云信息确定栈板面的中心点坐标，栈板面的中心点坐标作为在相机坐标系下栈板中心点的三维坐标。具体地，可以根据相机坐标系下栈板的第二点云信息的坐标确定栈板面的点云信息的坐标。进而通过栈板面的点云信息的坐标确定相机坐标系下的栈板中心点的三维坐标。相机坐标系下的栈板中心点的三维坐标可以表示为M(x0w,y0w,z0w)。
一种可能的实例中，可以计算栈板面的中间腿的点云信息中的每一行的中心坐标，然后将每一行的中心坐标求和取平均作为栈板中心点的三维坐标。
703，根据栈板中心点与对接位置相对位置关系、栈板中心点的三维坐标确定对接位置在TOF相机的相机坐标系下的三维坐标。
其中，对接位置用于自动引导车在识别及对接栈板。
一些实施例中，栈板中心点与对接位置相对位置关系包括栈板中心点与对接位置之间在世界坐标系下的第一相对距离。可以根据第一相对距离以及相机坐标系与世界坐标系的转换关系确定相机坐标系下栈板中心点与对接位置之间的第二相对距离。进一步地，根据第二相对距离、栈板中心点的三维坐标以及栈板面的法向量与TOF相机光轴的夹角确定在相机坐标系下的对接位置的三维坐标。
具体地，在确定栈板面的法向量与TOF相机光轴的夹角时，可以通过如下方式实现：根据栈板面的点云信息进行平面拟合得到栈板面的第一平面，进而确定第一平面的法向量，即栈板面的法向量。作为一种举例，可以根据栈板面三条腿的点云信息确定栈板面的法向量。具体地，可以分别根据三条腿的点云信息对三个点云信息集合进行平面拟合，然后根据每个拟合后的平面计算法向量。进一步地，可以将三个平面的法向量的中间值作为栈板面的法向量。
一些实施例中，可以根据栈板的法向量与相机光轴确定法向量与相机光轴间的夹角。作为一种举例，如图8所示，栈板面的法向量与相机光轴间的夹角满足如下公式所示的条件：
Figure BDA0003784978090000121
其中，θ表示栈板面的法向量与相机光轴间的夹角，
Figure BDA0003784978090000122
表示栈板的法向量，
Figure BDA0003784978090000123
表示相机光轴方向的单位向量。一种可能的示例中，
Figure BDA0003784978090000124
可以为单位法向量，
Figure BDA0003784978090000125
还可以为其他长度的法向量。例如，
Figure BDA0003784978090000126
的长度可以选取为
Figure BDA0003784978090000127
进而可以根据P0的坐标以及法向量确定P1的坐标。
进一步地，在确定栈板面的法向量与相机光轴间的夹角后，可以根据法向量与相机光轴间的夹角、第二相对距离和栈板中心点的三维坐标确定相机坐标系下的对接位置的三维坐标。具体地，相机坐标系下对接位置的三维坐标满足如下公式所示的条件：
Figure BDA0003784978090000128
其中，x0，y0，z0表示相机坐标系下栈板中心点的三维坐标，x1，y1，z1表示相机坐标系下对接位置的三维坐标，d表示第二相对距离，θ表示栈板面法向量与相机光轴间的夹角。
例如，第二相对距离可以为车轮到插齿尾部的距离再加20cm。
704，基于对接位置在相机坐标下的三维坐标和相机坐标系与设备坐标系的转换关系获得对接位置在设备坐标系下的三维坐标。
一些实施例中，在进行TOF相机标定时，TOF相机是相对于自动引导车进行标定的。因此，相机坐标系与设备坐标系的转换关系可以通过TOF相机的变换矩阵表示。其中，变换矩阵可以通过旋转矩阵和平移矩阵获得。
一些实施例中，可以根据预先标定好的TOF相机的旋转矩阵和平移矩阵将对接位置从相机坐标系转换到设备坐标系。对接位置在设备坐标系中的三维坐标满足如下公式所示的条件：
Figure BDA0003784978090000129
其中，x1d，y1d，z1d表示对接位置在设备坐标系中的三维坐标，x1，y1，z1表示对接位置在相机坐标系中的三维坐标，
Figure BDA0003784978090000131
表示TOF相机的变换矩阵，其中R表示TOF相机坐标系相对于基于自动引导车建立的设备坐标系的旋转矩阵，t表示相机坐标系相对于设备坐标系的平移矩阵。
705，根据对接位置在设备坐标系下的三维坐标、识别点位置在世界坐标系下的三维坐标以及旋转角度获得对接位置在世界坐标系下的坐标。
一些实施例中，自动引导车中包括定位模块。当定位模块为订阅状态时就默认识别点位置在世界坐标系的三维坐标和设备坐标系相对于世界坐标系的旋转角度正确。因此，当控制自动引导车移动到识别点位置后，可以通过定位模块获取识别点位置在世界坐标系下的三维坐标以及旋转角度。进一步地，可以通过识别点位置在世界坐标系下的三维坐标和旋转角度、对接位置在设备坐标系下的三维坐标确定对接位置在地图坐标系下的坐标。具体地，可以通过如下公式获得对接位置在世界坐标系下的三维坐标；
Figure BDA0003784978090000132
其中，x1w表示对接位置在世界坐标系下的X坐标，y1w表示对接位置在世界坐标系下的Y坐标；x1d表示对接位置在设备坐标系中的X坐标，y1d表示对接位置在设备坐标系中的Y坐标，x0t表示识别点位置在世界坐标系中的X坐标，y0t表示识别点位置在所述世界坐标系中的Y坐标，η表示设备坐标系相对于世界坐标系的旋转角度。
706，根据对接位置在世界坐标系下的坐标控制自动引导车移动到对接位置，以识别栈板上的对接口，根据对接口将自动引导车的插齿与栈板对接。
通过上述方法，可以根据TOF相机采集的栈板点云信息确定栈板的位置和朝向，并根据对接位置与栈板的相对位置关系确定对接位置在世界坐标系下的真实坐标，进而控制自动引导车移动到对接位置，以识别栈板上的对接口。
一些实施例中，TOF相机的变换矩阵可以通过标定获得。首先，获取水平地面的第五点云信息，以及获取垂直于地面的平面及位于自动导引车的叉齿平面的第六点云信息。之后，基于第五点云信息及第六点云信息分别确水平地面、垂直于地面的平面及自动导引车的插齿平面的平面方程。进一步地，可以根据平面方程确定TOF相机的外参参数。其中，TOF相机的外参参数用于表示相机坐标系相对于设备坐标系的翻滚角、俯仰角、偏航角以及三个坐标轴的偏移量。
一些实施例中，可以通过相机标定获得变换矩阵，变换矩阵可以通过旋转矩阵和平移矩阵获得。其中，平移矩阵可以表示为3×1的平移向量。作为一种举例，平移矩阵可以表示为t＝[TX，TY，TZ]T。旋转矩阵可以通过欧拉角获得，包括滚动角、俯仰角和偏航角。滚动角用于表示绕X轴的旋转角γ，俯仰角用于表示绕Y轴的旋转角β，偏航角用于表示绕Z轴的旋转角α。相机坐标系可以绕Z轴旋转α，再绕自身的Y轴旋转β，最后绕自身的X轴旋转γ，以获得旋转矩阵。旋转矩阵满足如下公式所示的条件：
Figure BDA0003784978090000141
通过上述方法，可以获得TOF相机的旋转矩阵，进而通过旋转矩阵和平移矩阵确定变换矩阵。进一步地，可以通过变换矩阵实现相机坐标系与设备坐标系之间的转换。
基于相同的技术构思，本申请实施例提供了一种自动引导车对接装置900，如图9所示。该装置900可以实现上述自动引导车的对接方法中的任一步骤，为了避免重复，此处不再赘述。该装置900包括控制模块901、获取模块902和确定模块903。
控制模块901，用于控制所述自动引导车移动到指引标识位置；
获取模块902，用于通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得所述指引标识位置在世界坐标系下的三维坐标；
确定模块903，用于根据所述栈板的第一点云信息确定所述世界坐标系下所述栈板的几何中心点的三维坐标；
根据所述世界坐标系下所述栈板的几何中心点的三维坐标以及所述第一位置的三维坐标确定指引标识位置对应的距离，所述指引标识位置对应的距离为在所述自动引导车的插齿朝向的垂直方向上所述栈板的几何中心点与所述指引标识位置之间的距离；
当所述指引标识位置对应的距离大于设定阈值时，根据所述指引标识位置对应的距离控制所述自动引导车移动，直到所述自动引导车移动到识别点位置；
其中，所述识别点位置对应的距离小于或者等于所述设定阈值；
根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置。
一些实施例中，获取模块902，还用于在所述识别点位置通过所述TOF相机获得栈板的第二点云信息，并获得所述识别点位置在世界坐标系下的三维坐标以及设备坐标系相对于世界坐标系的旋转角度，所述设备坐标系为基于所述自动引导车建立的坐标系；
确定模块903，还用于根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标；根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标；所述对接位置用于自动引导车识别及对接栈板；基于所述对接位置在所述相机坐标下的三维坐标和所述相机坐标系与所述设备坐标系的转换关系获得所述对接位置在设备坐标系下的三维坐标；根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标；
所述控制模块901，还用于根据所述对接位置在所述世界坐标系下的坐标控制所述自动引导车移动到所述对接位置，以识别所述栈板上的对接口，根据所述对接口将所述自动引导车的插齿与所述栈板对接。
一种可能的实现方式中，所述获取模块902，在通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息时，具体用于：
在所述指引标识位置通过所述自动引导车上的TOF相机对视场区域的场景进行拍摄得到第三点云信息；
过滤所述第三点云信息中的错误点云信息得到第四点云信息，所述错误点云信息包括位于所述自动引导车所在的水平面以下的点云信息；
对所述第四点云信息进行聚类得到聚类结果，根据聚类结果从所述第四点云信息中过滤出所述栈板的第一点云信息。
一种可能的实现方式中，所述确定模块903，在根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标时，具体用于：
获取所述栈板的第二点云信息中栈板面的点云信息，所述栈板面为所述栈板上相对于所述TOF相机的平面；
根据所述栈板面的点云信息确定所述栈板面的中心点坐标，所述栈板面的中心点坐标作为在相机坐标系下栈板中心点的三维坐标。
一种可能的实现方式中，所述栈板中心点与对接位置相对位置关系包括栈板中心点与对接位置之间在世界坐标系下的第一相对距离；所述确定模块903，在根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标时，具体用于：
确定所述栈板面的法向量与所述TOF相机光轴的夹角；
根据所述第一相对距离以及所述相机坐标系与所述世界坐标系的转换关系，确定在所述相机坐标系下所述栈板中心点与对接位置之间的第二相对距离；
根据所述第二相对距离、所述栈板中心点的三维坐标以及所述夹角确定在所述相机坐标系下的所述对接位置的三维坐标。
一种可能的实现方式中，所述相机坐标系下的所述对接位置的三维坐标满足如下公式所示的条件：
Figure BDA0003784978090000161
其中，x0，y0，z0表示所述相机坐标系下所述栈板中心点的三维坐标，x1，y1，z1表示所述相机坐标系下所述对接位置的三维坐标，d表示第二相对距离，θ表示栈板面法向量与相机光轴间的夹角。
一种可能的实现方式中，所述确定模块903，在根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标时，具体用于：
通过如下公式获得所述对接位置在所述世界坐标系下的三维坐标；
Figure BDA0003784978090000162
其中，x1w表示所述对接位置在所述世界坐标系下的X坐标，y1w表示所述对接位置在所述世界坐标系下的Y坐标；x1d表示所述对接位置在所述设备坐标系中的X坐标，y1d表示所述对接位置在所述设备坐标系中的Y坐标，x0t表示所述识别点位置在所述世界坐标系中的X坐标，y0t表示所述识别点位置在所述世界坐标系中的Y坐标，η表示所述旋转角度。
基于相同的技术构思，本申请实施例提供了一种自动引导车对接装置1000，参见图10所示。该装置1000包括存储器1001、TOF相机1002和处理器1003。
存储器1001，用于存储程序指令；
TOF相机1002，用于获取点云信息；
处理器1003，用于调用所述存储器中存储的程序指令以及TOF相机获得的点云信息，按照获得的程序和点云信息执行上述自动引导车的对接方法。
在本申请实施例中，处理器1003可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1001作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1001可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1001是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1001还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于相同的技术构思，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述自动引导车的对接方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种自动引导车对接方法，其特征在于，包括：
控制所述自动引导车移动到指引标识位置，通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得所述指引标识位置在世界坐标系下的三维坐标；
根据所述栈板的第一点云信息确定所述世界坐标系下所述栈板的几何中心点的三维坐标；
根据所述世界坐标系下所述栈板的几何中心点的三维坐标以及所述指引标识位置的三维坐标确定指引标识位置对应的距离，所述指引标识位置对应的距离为在所述自动引导车的插齿朝向的垂直方向上所述栈板的几何中心点与所述指引标识位置之间的距离；
当所述指引标识位置对应的距离大于设定阈值时，根据所述指引标识位置对应的距离控制所述自动引导车移动，直到所述自动引导车移动到识别点位置；
其中，所述识别点位置对应的距离小于或者等于所述设定阈值；
根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置。
2.如权利要求1所述的方法，其特征在于，根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置，包括：
在所述识别点位置通过所述TOF相机获得所述栈板的第二点云信息，并获得所述识别点位置在世界坐标系下的三维坐标以及设备坐标系相对于世界坐标系的旋转角度，所述设备坐标系为基于所述自动引导车建立的坐标系；
根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标；
根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标；所述对接位置用于自动引导车识别及对接栈板；
基于所述对接位置在所述相机坐标下的三维坐标和所述相机坐标系与所述设备坐标系的转换关系获得所述对接位置在设备坐标系下的三维坐标；
根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标；
根据所述对接位置在所述世界坐标系下的坐标控制所述自动引导车移动到所述对接位置，以识别所述栈板上的对接口，根据所述对接口将所述自动引导车的插齿与所述栈板对接。
3.如权利要求1或2所述的方法，其特征在于，所述通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，包括：
在所述指引标识位置通过所述自动引导车上的TOF相机对视场区域的场景进行拍摄得到第三点云信息；
过滤所述第三点云信息中的错误点云信息得到第四点云信息，所述错误点云信息包括位于所述自动引导车所在的水平面以下的点云信息；
对所述第四点云信息进行聚类得到聚类结果，根据聚类结果从所述第四点云信息中过滤出所述栈板的第一点云信息。
4.如权利要求2所述的方法，其特征在于，所述根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标，包括：
获取所述栈板的第二点云信息中栈板面的点云信息，所述栈板面为所述栈板上相对于所述TOF相机的平面；
根据所述栈板面的点云信息确定所述栈板面的中心点坐标，所述栈板面的中心点坐标作为在相机坐标系下栈板中心点的三维坐标。
5.如权利要求2或4所述的方法，其特征在于，所述栈板中心点与对接位置相对位置关系包括栈板中心点与对接位置之间在世界坐标系下的第一相对距离；所述根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标，包括：
确定所述栈板面的法向量与所述TOF相机光轴的夹角；
根据所述第一相对距离以及所述相机坐标系与所述世界坐标系的转换关系，确定在所述相机坐标系下所述栈板中心点与对接位置之间的第二相对距离；
根据所述第二相对距离、所述栈板中心点的三维坐标以及所述夹角确定在所述相机坐标系下的所述对接位置的三维坐标。
6.如权利要求5所述的方法，其特征在于，所述相机坐标系下的所述对接位置的三维坐标满足如下公式所示的条件：
Figure FDA0003784978080000031
其中，x0，y0，z0表示所述相机坐标系下所述栈板中心点的三维坐标，x1，y1，z1表示所述相机坐标系下所述对接位置的三维坐标，d表示第二相对距离，θ表示栈板面法向量与相机光轴间的夹角。
7.如权利要求2所述的方法，其特征在于，根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标，包括：
通过如下公式获得所述对接位置在所述世界坐标系下的三维坐标；
Figure FDA0003784978080000032
其中，x1w表示所述对接位置在所述世界坐标系下的X坐标，y1w表示所述对接位置在所述世界坐标系下的Y坐标；x1d表示所述对接位置在所述设备坐标系中的X坐标，y1d表示所述对接位置在所述设备坐标系中的Y坐标，x0t表示所述识别点位置在所述世界坐标系中的X坐标，y0t表示所述识别点位置在所述世界坐标系中的Y坐标，η表示所述旋转角度。
8.一种自动引导车对接装置，其特征在于，包括：
控制模块，用于控制所述自动引导车移动到指引标识位置；
获取模块，用于通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息，并获得所述指引标识位置在世界坐标系下的三维坐标；
确定模块，用于根据所述栈板的第一点云信息确定所述世界坐标系下所述栈板的几何中心点的三维坐标；
根据所述世界坐标系下所述栈板的几何中心点的三维坐标以及所述第一位置的三维坐标确定指引标识位置对应的距离，所述指引标识位置对应的距离为在所述自动引导车的插齿朝向的垂直方向上所述栈板的几何中心点与所述指引标识位置之间的距离；
当所述指引标识位置对应的距离大于设定阈值时，根据所述指引标识位置对应的距离控制所述自动引导车移动，直到所述自动引导车移动到识别点位置；
其中，所述识别点位置对应的距离小于或者等于所述设定阈值；
根据所述识别点位置控制所述自动引导车移动到用于所述插齿与所述栈板对接的对接位置。
9.如权利要求8所述的装置，其特征在于，所述获取模块，还用于：
在所述识别点位置通过所述TOF相机获得栈板的第二点云信息，并获得所述识别点位置在世界坐标系下的三维坐标以及设备坐标系相对于世界坐标系的旋转角度，所述设备坐标系为基于所述自动引导车建立的坐标系；
所述确定模块，还用于根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标；根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标；所述对接位置用于自动引导车识别及对接栈板；基于所述对接位置在所述相机坐标下的三维坐标和所述相机坐标系与所述设备坐标系的转换关系获得所述对接位置在设备坐标系下的三维坐标；根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标；
所述控制模块，还用于根据所述对接位置在所述世界坐标系下的坐标控制所述自动引导车移动到所述对接位置，以识别所述栈板上的对接口，根据所述对接口将所述自动引导车的插齿与所述栈板对接。
10.如权利要求8或9所述的装置，其特征在于，所述获取模块，在通过自动引导车上的时间飞行TOF相机获取栈板的第一点云信息时，具体用于：
在所述指引标识位置通过所述自动引导车上的TOF相机对视场区域的场景进行拍摄得到第三点云信息；
过滤所述第三点云信息中的错误点云信息得到第四点云信息，所述错误点云信息包括位于所述自动引导车所在的水平面以下的点云信息；
对所述第四点云信息进行聚类得到聚类结果，根据聚类结果从所述第四点云信息中过滤出所述栈板的第一点云信息。
11.如权利要求9所述的装置，其特征在于，所述确定模块，在根据所述栈板的第二点云信息确定在相机坐标系下栈板中心点的三维坐标时，具体用于：
获取所述栈板的第二点云信息中栈板面的点云信息，所述栈板面为所述栈板上相对于所述TOF相机的平面；
根据所述栈板面的点云信息确定所述栈板面的中心点坐标，所述栈板面的中心点坐标作为在相机坐标系下栈板中心点的三维坐标。
12.如权利要求9或11所述的装置，其特征在于，所述栈板中心点与对接位置相对位置关系包括栈板中心点与对接位置之间在世界坐标系下的第一相对距离；所述确定模块，在根据所述栈板中心点与对接位置相对位置关系、所述栈板中心点的三维坐标确定所述对接位置在所述TOF相机的相机坐标系下的三维坐标时，具体用于：
确定所述栈板面的法向量与所述TOF相机光轴的夹角；
根据所述第一相对距离以及所述相机坐标系与所述世界坐标系的转换关系，确定在所述相机坐标系下所述栈板中心点与对接位置之间的第二相对距离；
根据所述第二相对距离、所述栈板中心点的三维坐标以及所述夹角确定在所述相机坐标系下的所述对接位置的三维坐标。
13.如权利要求12所述的装置，其特征在于，所述相机坐标系下的所述对接位置的三维坐标满足如下公式所示的条件：
Figure FDA0003784978080000061
其中，x0，y0，z0表示所述相机坐标系下所述栈板中心点的三维坐标，x1，y1，z1表示所述相机坐标系下所述对接位置的三维坐标，d表示第二相对距离，θ表示栈板面法向量与相机光轴间的夹角。
14.如权利要求8所述的装置，其特征在于，所述确定模块，在根据所述对接位置在设备坐标系下的三维坐标、所述识别点位置在世界坐标系下的三维坐标以及所述旋转角度获得所述对接位置在所述世界坐标系下的坐标时，具体用于：
通过如下公式获得所述对接位置在所述世界坐标系下的三维坐标；
Figure FDA0003784978080000062
其中，x1w表示所述对接位置在所述世界坐标系下的X坐标，y1w表示所述对接位置在所述世界坐标系下的Y坐标；x1d表示所述对接位置在所述设备坐标系中的X坐标，y1d表示所述对接位置在所述设备坐标系中的Y坐标，x0t表示所述识别点位置在所述世界坐标系中的X坐标，y0t表示所述识别点位置在所述世界坐标系中的Y坐标，η表示所述旋转角度。
15.一种自动引导车对接装置，其特征在于，包括：
存储器，用于存储程序指令；
TOF相机，用于获取点云信息；
处理器，用于调用所述存储器中存储的程序指令以及TOF相机获得的点云信息，按照获得的程序和点云信息执行如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。
CN202210944001.6A 2022-08-05 2022-08-05 一种自动引导车对接方法及装置 Pending CN115311332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210944001.6A CN115311332A (zh) 2022-08-05 2022-08-05 一种自动引导车对接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210944001.6A CN115311332A (zh) 2022-08-05 2022-08-05 一种自动引导车对接方法及装置

Publications (1)

Publication Number Publication Date
CN115311332A true CN115311332A (zh) 2022-11-08

Family

ID=83861058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210944001.6A Pending CN115311332A (zh) 2022-08-05 2022-08-05 一种自动引导车对接方法及装置

Country Status (1)

Country Link
CN (1) CN115311332A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115771866A (zh) * 2023-02-02 2023-03-10 福勤智能科技（昆山）有限公司 一种用于无人驾驶高位叉车的栈板位姿识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115771866A (zh) * 2023-02-02 2023-03-10 福勤智能科技（昆山）有限公司 一种用于无人驾驶高位叉车的栈板位姿识别方法及装置

Similar Documents

Publication Publication Date Title
CN109074668B (zh) 路径导航方法、相关装置及计算机可读存储介质
CN110673115B (zh) 雷达与组合导航系统的联合标定方法、装置、设备及介质
CN113748357B (zh) 激光雷达的姿态校正方法、装置和系统
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN109887033A (zh) 定位方法及装置
CN109902637A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN114120149B (zh) 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
CN112017236A (zh) 一种基于单目相机计算目标物位置的方法及装置
CN115311332A (zh) 一种自动引导车对接方法及装置
CN113034605B (zh) 目标对象的位置确定方法、装置、电子设备及存储介质
CN114900609B (zh) 一种无人机的自动化拍摄控制方法和系统
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
CN114677663A (zh) 车辆定位方法、装置及电子设备、计算机可读存储介质
Kim et al. External vehicle positioning system using multiple fish-eye surveillance cameras for indoor parking lots
CN114119682A (zh) 一种激光点云和图像配准方法及配准系统
WO2019012004A1 (en) METHOD FOR DETERMINING SPATIAL UNCERTAINTY IN IMAGES OF AN ENVIRONMENTAL REGION OF A MOTOR VEHICLE, DRIVING ASSISTANCE SYSTEM AND MOTOR VEHICLE
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN113301248B (zh) 拍摄方法、装置、电子设备及计算机存储介质
CN111272176B (zh) 一种联合多波束测深的潜艇导航方法及系统
CN115131273A (zh) 信息处理方法、测距方法及装置
Cho et al. Analysis in long-range apriltag pose estimation and error modeling
CN115018935B (zh) 相机与车辆的标定方法、装置、电子设备及存储介质
CN115035425B (zh) 一种基于深度学习的目标识别方法、系统、电子设备及存储介质
US11348278B2 (en) Object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination