CN110852180A - 用于自动引导车的tof相机标定方法及自动引导车 - Google Patents

用于自动引导车的tof相机标定方法及自动引导车 Download PDF

Info

Publication number
CN110852180A
CN110852180A CN201910988114.4A CN201910988114A CN110852180A CN 110852180 A CN110852180 A CN 110852180A CN 201910988114 A CN201910988114 A CN 201910988114A CN 110852180 A CN110852180 A CN 110852180A
Authority
CN
China
Prior art keywords
tof camera
plane
gear shaping
point cloud
baffle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910988114.4A
Other languages
English (en)
Other versions
CN110852180B (zh
Inventor
周子鹏
吴月鹏
孙宇
罗磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Quicktron Intelligent Technology Co Ltd
Original Assignee
Shanghai Quicktron Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Quicktron Intelligent Technology Co Ltd filed Critical Shanghai Quicktron Intelligent Technology Co Ltd
Priority to CN201910988114.4A priority Critical patent/CN110852180B/zh
Publication of CN110852180A publication Critical patent/CN110852180A/zh
Application granted granted Critical
Publication of CN110852180B publication Critical patent/CN110852180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本公开提供了一种用于自动引导车的TOF相机标定方法，所述自动引导车具有车体和设置在车体上的插齿、TOF相机、及设置在插齿上的挡板，所述方法包括：通过TOF相机进行图像采集，获取所述图像的点云数据；对所述点云数据进行分割处理，获得挡板平面、地面和插齿平面的点云；根据所述挡板平面、地面和插齿平面的点云，获得所述挡板平面、地面和插齿平面的平面方程；利用所述挡板平面、地面和插齿平面的平面方程，获得插齿坐标系与TOF相机坐标系的坐标变换关系。根据本公开的实施方式，可获得自动引导车的插齿与相机相对位置变化关系，操作简便，适用于工厂搬运车间等各类复杂的环境。对于自动引导车准确高效的完成搬运任务具有重要意义。

Description

用于自动引导车的TOF相机标定方法及自动引导车
技术领域
本公开涉及TOF技术领域，尤其涉及一种可用于自动引导车的TOF相机 标定方法及自动引导车。
背景技术
随着光学测量的发展，基于TOF(Time of Flight)技术的相机逐渐成 熟，已经在三维测量、手势控制、机器人导航、安防和监控等领域应用。TOF 相机的基本原理是通过向目标连续发送光脉冲，然后用传感器接收从物体返 回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。
自动引导车以其自动化程度高、适应特殊环境等优势被广泛应用于仓储 业、制造业及特种行业等领域。针对托盘搬运等作业场景，自动引导车通过 TOF相机及一系列识别算法实现托盘识别，与智能驾驶等技术相结合，实现 了无人搬运作业“货到人”的搬运方式。常规TOF相机外参标定利用高精度 标定靶标进行，对标定靶标精度、标定环境要求高，成本较高，且便捷性、 可操作性不强，无法适用于自动引导车的工作领域与环境。
为了实现托盘的定位，需要建立起TOF相机坐标系、插齿坐标系及托盘 坐标系之间的关系。如何获取插齿在TOF相机坐标系下的位姿，对坐标系转 换及准确高效的完成托盘搬运任务具有重要意义。目前TOF相机外参标定主 要基于高精度标定靶标进行，测量成本较高且对测量环境要求较高，暂无适 用于无人堆高车领域及复杂工作环境的标定方案。这种现有技术无法适应无 人堆高车的工作环境，成本较高，且便捷性、可操作性不强，并不适合AGV 工作领域。
背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域 的现有技术。
公开内容
有鉴于此，本公开旨在提供一种改进的可用于自动引导车的标定定位方 案。
在一个方面，提供一种可用于自动引导车的TOF相机标定方法，所述自 动引导车具有车体和设置在车体上的插齿、TOF相机、及设置在插齿上的挡 板，所述TOF相机标定方法包括：
通过TOF相机进行图像采集，获取所述图像的点云数据；
对所述点云数据进行分割处理，获得挡板平面、地面和插齿平面的点云；
根据所述挡板平面、地面和插齿平面的点云，获得所述挡板平面、地面 和插齿平面的平面方程；
利用所述挡板平面、地面和插齿平面的平面方程，获得插齿坐标系与TOF 相机坐标系的坐标变换关系。
在一个实施例中，所述TOF相机标定方法还包括对所述点云数据进行过 滤处理，所述过滤处理包括：
对所述点云数据进行环境过滤；
剔除所述环境过滤后的点云数据的离群点。
在一个实施例中，所述对所述点云数据进行环境过滤包括：仅留下单位 体积的绝对区域的点云数据进行后续处理。
在一个实施例中，所述分割处理包括：
对所述点云数据进行空间区域划分；
对所述空间区域划分后的点云数据进行分类。
在一个实施例中，所述空间区域划分包括：利用KD树进行空间区域划分。
在一个实施例中，所述TOF相机标定方法还包括：获取各个平面的中心 点坐标。
在一个实施例中，所述获得插齿坐标系与TOF相机坐标系的坐标变换关 系为：获得插齿坐标系与TOF相机坐标系的六自由度，所述六自由度为：绕 x轴、y轴和z轴的旋转量和延x轴、y轴和z轴的平移量。
在一个实施例中，所述TOF相机标定方法还包括：剔除所述插齿坐标系 与TOF相机坐标系的坐标变换关系的粗大误差，获得剔除粗大误差后的坐标 变换关系。
在一个实施例中，所述剔除所述插齿坐标系与TOF相机坐标系的坐标变 换关系的粗大误差包括：采用3σ准则进行粗大误差判断，剔除粗大误差。
以及
在另一个方面，还提供一种自动引导车，包括：
车体；
TOF相机，设置在所述车体上；
插齿，也设置在所述车体上；
标定挡板，设置在所述插齿的前端；和
控制装置，所述控制装置安装在所述车体上，并配置成可执行如上所述 的TOF相机标定方法。
根据本公开的实施方式，通过采用简易的标定工装，获得自动引导车的 插齿与相机相对位置变化关系，为实现自动引导车插取托盘提供了定位依据， 适应性强，可操作性好。解决了常规TOF相机外参标定对标定靶标精度、标 定环境要求高等问题，适用于工厂搬运车间等各类复杂的环境，对于自动引 导车准确高效的完成搬运任务具有重要意义。本公开通过采用简易的标定工 装，解决了常规TOF相机外参标定对标定靶标精度、标定环境要求高等问题， 适用于工厂搬运车间等各类复杂环境，适应性强，可操作性好。
附图说明
构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的 示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在 附图中：
图1示出了根据本公开一个实施例的自动引导车示意图；
图2示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定 方法；
图3示出了根据本公开一个实施例的坐标系关系示意图；
图4示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定 方法的流程示意图；
图5示出了根据本公开一个实施例的点云分割流程示意图；以及
图6示出了根据本公开一个实施例的剔除粗大误差流程示意图；以及
图7示出了区域划分和展开后进行区域生长的结果的示例。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可 认识到的那样，在不脱离本公开的精神或范围的情况下，可通过各种不同方 式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限 制性的。
在本公开的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、" 长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、 "水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位 置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化 描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的 方位构造和操作，因此不能理解为对本公开的限制。此外，术语"第一"、" 第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所 指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者 隐含地包括一个或者更多个所述特征。在本公开的描述中，"多个"的含义是 两个或两个以上，除非另有明确具体的限定。
在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语" 安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯； 可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连 通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据 具体情况理解上述术语在本公开中的具体含义。
在本公开中，除非另有明确的规定和限定，第一特征在第二特征之"上" 或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不 是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特 征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅 仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方 "和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水 平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本公开的不同结 构。为了简化本公开的公开，下文中对特定例子的部件和设置进行描述。当 然，它们仅仅为示例，并且目的不在于限制本公开。此外，本公开可以在不 同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的， 其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本公开提供 了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其 他工艺的应用和/或其他材料的使用。
以下结合附图对本公开的优选实施例进行说明，应当理解，此处所描述 的优选实施例仅用于说明和解释本公开，并不用于限定本公开。
图1示出了根据本公开一个实施例的自动引导车100示意图。如图1所 示，自动引导车100包括：车体1、TOF相机2、插齿3、挡板4。插齿3上 可用于承载货物或者托盘。其中，另外，所述自动引导车可以包括车轮、电 机以及控制装置，此处不再赘述。
所述TOF相机2设置在所述车体1上，自动引导车100上可以设置有一 个或者多个TOF相机2，所述TOF相机2在所述车体1上的位置可为固定或 者非固定，所述TOF相机2用于图像采集，例如采集所述插齿3、所述挡板4、 所述自动引导车100所处环境等的图像，通过图像处理，可以获得自动引导 车100的所述插齿3的中心位置(或插齿坐标系)相对于所述TOF相机2的 坐标系的相对位置变化关系，进而获得托盘的定位。所述插齿3也设置在所 述车体1上，所述插齿3用于托举托盘，承载货物，所述插齿3包括第一插 齿31和第二插齿32(或称左插齿和右插齿)。所述挡板4设置在所述叉齿3 上，位于所述插齿远离所述车体1一端的中心线处，所述挡板4包括第一挡 板41和第二挡板42，所述第一挡板41位于所述第一插齿31远离所述车体1 一端的中心线处，所述第二挡板42位于所述第二插齿32远离所述车体1一 端的中心线处，用于标定所述TOF相机2的外参，进而得到插齿3的中心位 置(或插齿坐标系)相对于所述TOF相机2的坐标系的相对位置变化关系。
本公开将采用挡板4与插齿3配合构成TOF相机2的图像采集目标，利 用设置于自动引导车100上的TOF相机2进行相机外参的标定，进而得到所 述插齿3相对于所述TOF相机2的位置变换关系，为实现自动引导车100插 取托盘提供定位依据。
图2示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定 方法200。如图2所示，所述TOF相机标定方法200包括：
在步骤S201，通过TOF相机2进行图像采集，获取所述图像的点云数据。
所述TOF相机2例如可以向其周围环境中发射出测量光脉冲，测量光脉 冲在周围物体上漫反射，部分反射回波回到TOF相机2，TOF相机2采集该反 射回波，根据该反射回波的飞行时间以及光速，就可以获得该障碍物所在的 位置、距离以及角度等信息。TOF相机2通常在接收到反射回波后，对该回 波进行信号过滤和放大，可生成点云数据，点云中的每一个点可代表一个周 围环境的一个点。注意，在点云数据中，每个点的位置参数，例如均为在所 述TOF相机2的坐标系下的位置坐标。
所述TOF相机2向其周围环境发射探测光脉冲，对所述插齿2、所述挡 板4、以及自动引导车100所处环境等进行图像采集，根据所述采集的图像 生成相应的点云数据并获取所述点云数据。
在步骤S202，对所述点云数据进行分割处理，获得挡板4的平面、地面 和插齿3的平面的点云。
对在获得的所述点云数据进行分割处理，对不同平面的点云进行区分， 并按类输出，获取挡板4平面、地面和插齿3平面的点云数据，其中所述挡 板4平面包括第一挡板41平面和第二挡板42平面，所述插齿平面包括第一 插齿31平面和第二插齿32平面。
在进行分割处理时，可根据预设的一些条件或者参数来进行分割处理。 例如，在所采集的点云中，选择在竖直方向最低的点作为地面的基点，与该 地面的基点在竖直方向距离差在数厘米(例如4厘米)范围内的点，被认为 是属于地面反射回波形成的点或点云。叉齿的高度也是阈值的，例如可设定 叉齿高度的范围，竖直位置在该范围内的点，可认为是属于叉齿反射回波形 成的点或点云。类似的，第一挡板和第二挡板的高度和/或与所述TOF相机2 在水平方向的距离，都可以设定相应的范围，用于进行点云的分隔处理。在 本发明下面的优选实施例中将详细描述。
在步骤S203，根据所述挡板4的平面、地面和插齿3的平面的点云，获 得所述挡板4平面、地面和插齿3平面的平面方程。
通过对在步骤S202中获得的挡板4平面、地面和插齿3平面的点云数据 进行拟合，求得三维坐标系中所述平面方程的参数，从而获得所述挡板4平 面、地面和插齿3平面的平面方程。
在步骤S204，利用所述挡板4平面、地面和插齿3平面的平面方程，获 得插齿3的坐标系与TOF相机2的坐标系的坐标变换关系。
结合在步骤S203中获得的平面方程及在步骤S202获得的各个平面的点 云数据，计算得出插齿3的坐标系与TOF相机2的坐标系之间的坐标变换量， 即两者之间的坐标变换关系。
根据本公开的一个实施例，所述TOF相机标定方法200还包括对所述点 云数据进行过滤处理，所述过滤处理包括：对所述点云数据进行环境过滤； 剔除所述环境过滤后的点云数据的离群点。
由于自动引导车通常在货物搬运车间内工作，环境相对比较复杂，极易 对TOF相机2的图像采集带来干扰。因此为了减少周围环境的干扰、提升算 法的运行速度，首先TOF相机2采集的图像中周围环境的点云数据进行过滤， 例如仅留下单位体积的绝对区域的点云数据进行后续处理，在减少运算量的 同时降低了环境干扰。
在自动引导车的工作环境中，环境复杂程度较高，人员走动、遮挡及目 标物体本身的反射特性不均等因素都会对真实点云数据带来离群点干扰。所 以剔除离群点有利于减少离群点对所述坐标变换关系求解的干扰。
根据本公开的一个实施例，所述TOF相机标定方法200中所述分割处理 还包括：对所述点云数据进行空间区域划分；对所述空间区域划分后的点云 数据进行分类。
由于TOF相机2的拍摄目标为地面、插齿3及挡板4，因此点云图像中 可分为地面、第一插齿31、第二插齿32、第一挡板41和第二挡板42共五部 分。例如可利用KD树进行空间区域划分，然后采用KD树搜索方法，将每个 部分的点云以点簇的形式输出。
根据本公开的一个实施例，所述TOF相机标定方法200还包括：剔除所 述插齿坐标系与TOF相机坐标系的坐标变换关系的粗大误差。自动引导车工 作环境中的干扰物可能会对最后的坐标变换关系的求取带来粗大误差，所以 在最后进行剔除粗大误差处理确保了算法的准确性。进行粗大误差剔除可采 用但不限于3σ准则进行判断，将粗大误差剔除。
所述过滤、区域划分、粗大误差剔除等步骤将在图3-图6中详细描述。
下面结合图3-图6详细介绍本公开的一个实施例。
图3示出了根据本公开一个实施例的坐标系关系示意图。如图3所示， 地面坐标系为OwXwYwZw，插齿坐标系为OpXpYpZp(图3中，插齿坐标系的原 点例如位于第一叉齿和第二叉齿的端部连线的中点位置处)，TOF相机坐标系 为OcXcYcZc，第一挡板坐标系为OlXlYlZl，第二挡板坐标系为OrXrYrZr，其中， 第一挡板41和第二挡板42与TOF相机坐标系OXY平面相垂直。设定挡板4、 插齿3、地面的坐标系方向相同，三者仅存在平移变换关系。可替换的，挡 板4、插齿3、地面三者的坐标系方向可部分相同或者均不相同，本公开对于 坐标系的方向不做任何限制。
插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系如式 (1-1)所示：
Figure BDA0002237355460000091
其中，R——旋转矩阵，
Figure BDA0002237355460000092
θx,θy,θz分别为绕x轴、y轴和z轴的旋转量；
T——平移矩阵，T＝[tx ty tz]T，
tx,ty,tz分别为延x轴、y轴和z轴的平移量。
设定θx,θy,θz,tx,ty,tz为插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间 的坐标变换关系的六个自由度，因此，只需要获取所述六个自由度，即可获 得插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系，从而 完成所述TOF相机2的外参标定。
图4示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定 方法300的流程示意图。如图4所示，所述TOF相机标定方法300的步骤包 括：点云录入、点云过滤、半径滤波、区域生长、点云分割、位姿解算、粗 大误差剔除、六自由度输出。
在步骤S301，点云录入。
所述TOF相机2向所述插齿2、所述挡板4、以及自动引导车100所处环 境等发射探测光脉冲，进行图像采集，根据反射回波生成相应的点云数据并 获取所述点云数据。
在步骤S302，点云过滤。
由于自动引导车100通常在货物搬运车间内进行操作，工作环境相对比 较复杂，非常容易对TOF相机2的点云采集带来干扰。因此为了减少周围环 境的干扰、提升算法的运行速度，首先对周围环境进行过滤，仅留下在该TOF 相机为原点、周围1m*1m*1m体积的绝对区域的点云进行后续点云处理，所述 点云过滤在减少运算量的同时降低了环境的干扰。可替换的，还可以仅留下 2m*2m*2m或者其他任一体积的绝对区域进行后续点云处理，本公开对于所述 绝对区域的大小不做任何限制。
在步骤S303，半径滤波。
在自动引导车100的工作环境中，环境复杂程度较高，人员走动、遮挡 及图像采集目标物本身的发射特性不均等因素均会对真实点云数据带来离群 点干扰，也就是在点云中可能产生噪点。为了剔除离群点，进一步地方便后 续的点云处理，根据本发明的一个优选实施例，可遍历所述点云数据，指定 每一点以该点为圆心，0.04m的半径范围内至少存在8个近邻点，否则认定 为该点为离群点，并将该离群点剔除，以减少离群点对算法求解的干扰。可 替换的，所述半径范围还可以为0.05m或者其他任一数值，所述近邻点还可 以为10个或者其他任一个数，本公开对于所述半径范围的大小和/或所述近 邻点的数量不做任何限制。
在步骤S304，进行区域生长。
在完成所述点云过滤及半径滤波之后，将在所述点云数据的空间内进行 特征点搜索。首先利用KD树进行空间区域划分，便于后期在划分后的各个部 分中进行数据搜索。在所述KD树展开后，分别在展开后的各个部分的点云数 据中进行相关搜索，将具有相似性质的点集合起来构成区域，设置每个平面 包含的最小点数为10，超过10点的集合则认为其组成平面。可替换的，还 可设置每个平面包含的最小点数为12或者其他任一数值，本公开对于每个平 面包含的最小点数不做任何限制。接着再采用KD树搜索方法，基于点法线之间的角度比较，将满足平滑约束的相邻点合并在一起，以点簇的形式输出， 此时每簇点集处于同一平面。图7示出了利用KD树进行去区域划分和展开后 进行区域生长的结果，图7中，红色(区域A)和蓝色(区域B)代表挡板平 面的点簇，绿色(区域C)代表地面的点簇。
在步骤S305，点云分割。
图5示出了根据本公开一个实施例的点云分割流程示意图。如图5所示， 具体点云分割步骤如下：
(1)在TOF相机坐标系下设定挡板4平面的距离阈值上下限分别为0.8m、 1.2m，在此范围内的平面即为挡板4的平面；即以TOF相机的坐标原点为零 点(如图3中的坐标系OcXcYcZc)，沿着X方向距离TOF相机的坐标原点在0.8 到1.2m范围内的平面为挡板4的平面。该范围的具体数值仅为示例性的，可 以根据具体的情况而修改和设定，例如挡板的长度等。
(2)对于与挡板4对应的点，若其y轴方向坐标为负，则为第一挡板 41的平面，反之则为第二挡板42的平面。通过上述步骤(1)和(2)，从而 获得了第一挡板平面的点云以及第二挡板平面的点云。
(3)对于对应于地面的点簇，找到其中的最低点，设置为最低高度z， 判断各个点的Z轴坐标与该最低高度z之间的距离，设定距离小于0.04m为 判断条件，距离小于0.04m的平面为平面，点簇中的其他点，可以抛弃或者 删除处理。通过步骤(3)，可找到地面的点云。
(4)其余两面则为插齿3的平面，若y轴方向坐标为负，则为第一插齿 31的平面，反之则为第二插齿32的平面，至此点云分割完毕。或者根据本 发明的一个实施例，可以不识别插齿平面。
所述TOF相机2的图像采集目标为地面、插齿3及挡板4，于是所述图 像的点云数据可以分为地面、第一插齿31、第二插齿32、第一挡板41及第 二挡板42，并以五簇点集分类输出。基于各个坐标系之间关系进行初步位姿 估计，设定条件判断阈值，进行平面区分。设定地面、第一挡板41及第二挡 板42的平面中心点的坐标分别为(Cxw,Cyw,Czw)，(Cxl,Cyl,Czl)，(Cxr,Cyr,Czr)， 将区域生长后的各个区域内所有点的坐标求均值，即为该平面的中心点坐标， 如式(2-1)所示。
在步骤S306，位姿解算。
在点云分割完毕后，即可获得地面、第一挡板41及第二挡板42的平面中 心坐标。地面坐标系可以用平面方程标准式表示，如式(2-2)所示：
AwXw+BwYw+CwZw+Dw＝0 (2-2)
同理第一挡板41、第二挡板42坐标系分别可以用式(2-3)、式(2-4) 表示：
AlXl+BlYl+ClZl+Dl＝0 (2-3)
ArXr+BrYr+CrZr+Dr＝0 (2-4)
通过平面上的点云拟合可以求得各个平面方程参数，即Aw，Bw，Cw，Dw等 参量；随后即可根据地平面及两挡板平面中心点坐标求得第一插齿31的远离 车体1端与第二插齿32远离车体1端之间的中心点相对于TOF相机坐标系下的 六自由度，如式(2-5)所示：
Figure BDA0002237355460000131
以上六自由度，即插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的 坐标变换关系，从而可实现所述TOF相机2的外参标定。
在步骤S307，粗大误差剔除。
由于自动引导车的工作环境较为复杂，操作过程中可能会有干扰物进入 图像采集区域，可能会对求取的六自由度带来粗大误差，因此上述方法300还 可进行粗大误差剔除。图6示出了根据本公开一个实施例的剔除粗大误差流程 示意图。如图6所示，例如可以通过多帧点云数据(例如数十帧，数百帧)， 分别进行六自由度求取后，分别求出六自由度的均值μ、标准差σ以及每时 刻的残差v，采用3σ准则作为判断标准，若残差vi大于3σ，如式(2-6)所 示：
|vi|＞3σ (2-6)
则认为该测得值含有粗大误差，将其予以剔除。最终分别求取剔除粗大 误差后的六自由度均值，即为最终求取的六自由度。
在步骤S308，六自由度输出。
将所述最终求取的六自由度输出，带入式(1-1)即可获得插齿坐标系 OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系，从而完成所述TOF 相机2的外参标定。
根据本公开的实施方式，通过采用简易的标定工装，获得自动引导车的 插齿与相机相对位置变化关系，为实现自动引导车插取托盘提供了定位依据， 适应性强，可操作性好。解决了常规TOF相机外参标定对标定靶标精度、标 定环境要求高等问题，适用于工厂搬运车间等各类复杂的环境，对于自动引 导车准确高效的完成搬运任务具有重要意义。
本发明适用于各种自动引导车，尤其适用于无人堆高车，可在工厂搬运 车间等环境复杂的地点稳定运行，且对标定工装要求不高，操作简便、便捷 性较好且标定精度较高。本发明解决了常规TOF相机外参标定的对标定靶标 精度、标定环境要求高等问题，适用于工厂搬运车间等各类复杂环境，适应 性强，可操作性好。本发明仅需要两块大小相同的标定板(挡光板)即可进 行，操作方便、便捷性好，对操作人员无技术要求，适用于工厂搬运车间等 复杂环境的高精度TOF相机外参标定。
本发明的第二方面还涉及一种自动引导车100，包括：车体1、TOF相机 2、插齿3、以及标定挡板4，其中TOF相机2设置在所述车体上，插齿也设 置在所述车体上，标定挡板设置在所述插齿的前端。另外，自动引导车100 还包括控制装置(未示出)，所述控制装置配置成可执行如上所述的TOF相机 标定方法。本领域技术人员容易理解，所述控制装置可以安装在所述车体1 上，除了用于控制所述自动引导车的动作之外，还可用于执行所述TOF相机标定方法200和300。或者可选的，所述控制装置与所述车体1是分离的装 置，其与所述TOF相机2相通讯，控制根据所述TOF相机2的点云数据，对 其外参进行标定。这些都在本公开的保护范围内。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本 公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本公开的保护范围之内。
最后应说明的是：以上所述仅为本公开的优选实施例而已，并不用于限 制本公开，尽管参照前述实施例对本公开进行了详细的说明，对于本领域的 技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换。凡在本公开的精神和原则之内，所作 的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种用于自动引导车的TOF相机标定方法，所述自动引导车具有车体和设置在车体上的插齿、TOF相机、及设置在插齿上的挡板，所述TOF相机标定方法包括：
通过所述TOF相机进行图像采集，获取所述图像的点云数据；
对所述点云数据进行分割处理，获得挡板平面、地面和插齿平面的点云；
根据所述挡板平面、地面和插齿平面的点云，获得所述挡板平面、地面和插齿平面的平面方程；
利用所述挡板平面、地面和插齿平面的平面方程，获得所述插齿的坐标系与所述TOF相机的坐标系的坐标变换关系。
2.根据权利要求1所述的TOF相机标定方法，其特征在于，还包括对所述点云数据进行过滤处理，所述过滤处理包括：
对所述点云数据进行环境过滤；
剔除所述环境过滤后的点云数据的离群点。
3.根据权利要求2所述的TOF相机标定方法，其特征在于，所述对所述点云数据进行环境过滤包括：仅留下单位体积的绝对区域的点云数据进行后续处理。
4.根据权利要求1所述的TOF相机标定方法，其特征在于，所述分割处理包括：
对所述点云数据进行空间区域划分；
对所述空间区域划分后的点云数据进行分类。
5.根据权利要求4所述的TOF相机标定方法，其特征在于，所述空间区域划分包括：利用KD树进行空间区域划分。
6.根据权利要求1所述的TOF相机标定方法，其特征在于，还包括：获取各个平面的中心点坐标。
7.根据权利要求1-6中任一项所述的TOF相机标定方法，其特征在于，所述获得插齿坐标系与TOF相机坐标系的坐标变换关系为：获得插齿坐标系与TOF相机坐标系的六自由度，所述六自由度为：绕x轴、y轴和z轴的旋转量和延x轴、y轴和z轴的平移量。
8.根据权利要求1-6中任一项所述的TOF相机标定方法，其特征在于，还包括：
通过多帧点云数据分别计算相对应的多个坐标变换关系；
剔除所述多个坐标变换关系中的粗大误差；
通过剩余的坐标变换关系，获得剔除粗大误差后的坐标变换关系。
9.根据权利要求8中所述的TOF相机标定方法，其特征在于，所述剔除所述多个坐标变换关系中的粗大误差包括：采用3σ准则进行粗大误差判断，剔除粗大误差。
10.一种自动引导车，包括：
车体；
TOF相机，设置在所述车体上；
插齿，设置在所述车体上；
标定挡板，设置在所述插齿的前端；和
控制装置，所述控制装置配置成可执行如权利要求1-9中任一所述的TOF相机标定方法。
CN201910988114.4A 2019-10-17 2019-10-17 用于自动引导车的tof相机标定方法及自动引导车 Active CN110852180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910988114.4A CN110852180B (zh) 2019-10-17 2019-10-17 用于自动引导车的tof相机标定方法及自动引导车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910988114.4A CN110852180B (zh) 2019-10-17 2019-10-17 用于自动引导车的tof相机标定方法及自动引导车

Publications (2)

Publication Number Publication Date
CN110852180A true CN110852180A (zh) 2020-02-28
CN110852180B CN110852180B (zh) 2022-08-02

Family

ID=69597370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910988114.4A Active CN110852180B (zh) 2019-10-17 2019-10-17 用于自动引导车的tof相机标定方法及自动引导车

Country Status (1)

Country Link
CN (1) CN110852180B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581451A (zh) * 2020-12-21 2021-03-30 北京科技大学 一种基于激光雷达的仓库线卷位置检测系统及方法
CN113284197A (zh) * 2021-07-22 2021-08-20 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备
CN113689391A (zh) * 2021-08-16 2021-11-23 炬佑智能科技(苏州)有限公司 ToF设备的安装参数获取方法、系统和ToF设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205340A1 (en) * 2008-08-12 2011-08-25 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor
DE102013209721A1 (de) * 2012-08-20 2014-02-20 Johnson Controls Gmbh Verfahren zur Kalibrierung einer TOF-Kamera
US20160119611A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Time of flight depth camera
CN107218927A (zh) * 2017-05-16 2017-09-29 上海交通大学 一种基于tof相机的货物托盘检测系统和方法
CN107610176A (zh) * 2017-09-15 2018-01-19 斯坦德机器人（深圳）有限公司 一种基于Kinect的栈板动态识别与定位方法、系统及介质
CN107862719A (zh) * 2017-11-10 2018-03-30 未来机器人（深圳）有限公司 相机外参的标定方法、装置、计算机设备和存储介质
CN107862716A (zh) * 2017-11-29 2018-03-30 合肥泰禾光电科技股份有限公司 机械臂定位方法及定位机械臂
CN108007451A (zh) * 2017-11-10 2018-05-08 未来机器人（深圳）有限公司 货物承载装置位姿的检测方法、装置、计算机设备和存储介质
CN207827780U (zh) * 2017-09-08 2018-09-07 合肥柯金自动化科技股份有限公司 叉车后向托盘插孔定位检测系统
US20180302611A1 (en) * 2017-04-12 2018-10-18 Sick Ag 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data
CN109061609A (zh) * 2018-08-01 2018-12-21 歌尔股份有限公司 Tof模组标定装置及方法
CN109087345A (zh) * 2018-09-06 2018-12-25 上海仙知机器人科技有限公司 基于ToF成像系统的栈板识别方法及自动导引运输车
CN109160452A (zh) * 2018-10-23 2019-01-08 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN109573526A (zh) * 2018-12-29 2019-04-05 北京艾瑞思机器人技术有限公司 搬运控制方法及搬运机器人
CN109949371A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种用于激光雷达和相机数据的标定方法
CN110040669A (zh) * 2018-01-17 2019-07-23 林德（中国）叉车有限公司 一种高位叉货辅助方法
CN110054116A (zh) * 2019-03-15 2019-07-26 广州蓝胖子机器人有限公司 应用于叉车的货叉导航方法、系统及无人叉车
CN110335295A (zh) * 2019-06-06 2019-10-15 浙江大学 一种基于tof相机的植物点云采集配准与优化方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205340A1 (en) * 2008-08-12 2011-08-25 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor
DE102013209721A1 (de) * 2012-08-20 2014-02-20 Johnson Controls Gmbh Verfahren zur Kalibrierung einer TOF-Kamera
US20160119611A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Time of flight depth camera
US20180302611A1 (en) * 2017-04-12 2018-10-18 Sick Ag 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data
CN107218927A (zh) * 2017-05-16 2017-09-29 上海交通大学 一种基于tof相机的货物托盘检测系统和方法
CN207827780U (zh) * 2017-09-08 2018-09-07 合肥柯金自动化科技股份有限公司 叉车后向托盘插孔定位检测系统
CN107610176A (zh) * 2017-09-15 2018-01-19 斯坦德机器人（深圳）有限公司 一种基于Kinect的栈板动态识别与定位方法、系统及介质
CN108007451A (zh) * 2017-11-10 2018-05-08 未来机器人（深圳）有限公司 货物承载装置位姿的检测方法、装置、计算机设备和存储介质
CN107862719A (zh) * 2017-11-10 2018-03-30 未来机器人（深圳）有限公司 相机外参的标定方法、装置、计算机设备和存储介质
CN107862716A (zh) * 2017-11-29 2018-03-30 合肥泰禾光电科技股份有限公司 机械臂定位方法及定位机械臂
CN110040669A (zh) * 2018-01-17 2019-07-23 林德（中国）叉车有限公司 一种高位叉货辅助方法
CN109061609A (zh) * 2018-08-01 2018-12-21 歌尔股份有限公司 Tof模组标定装置及方法
CN109087345A (zh) * 2018-09-06 2018-12-25 上海仙知机器人科技有限公司 基于ToF成像系统的栈板识别方法及自动导引运输车
CN109160452A (zh) * 2018-10-23 2019-01-08 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN109573526A (zh) * 2018-12-29 2019-04-05 北京艾瑞思机器人技术有限公司 搬运控制方法及搬运机器人
CN110054116A (zh) * 2019-03-15 2019-07-26 广州蓝胖子机器人有限公司 应用于叉车的货叉导航方法、系统及无人叉车
CN109949371A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种用于激光雷达和相机数据的标定方法
CN110335295A (zh) * 2019-06-06 2019-10-15 浙江大学 一种基于tof相机的植物点云采集配准与优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. BUCK等: "Generic 3D obstacle detection for AGVs using time-of-flight cameras", 《2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
肖载鸿: "基于视觉的AGV导航及运动规划方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581451A (zh) * 2020-12-21 2021-03-30 北京科技大学 一种基于激光雷达的仓库线卷位置检测系统及方法
CN112581451B (zh) * 2020-12-21 2024-02-23 北京科技大学 一种基于激光雷达的仓库线卷位置检测系统及方法
CN113284197A (zh) * 2021-07-22 2021-08-20 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备
CN113284197B (zh) * 2021-07-22 2021-11-23 浙江华睿科技股份有限公司 Agv的tof相机外参标定方法及装置、电子设备
CN113689391A (zh) * 2021-08-16 2021-11-23 炬佑智能科技(苏州)有限公司 ToF设备的安装参数获取方法、系统和ToF设备

Also Published As

Publication number Publication date
CN110852180B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN110852180B (zh) 用于自动引导车的tof相机标定方法及自动引导车
EP3683721B1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
CN109160452B (zh) 基于激光定位和立体视觉的无人转运叉车及导航方法
CN110054116B (zh) 应用于叉车的货叉导航方法、系统及无人叉车
KR101003168B1 (ko) 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법
CN110837814B (zh) 车辆导航方法、装置及计算机可读存储介质
US20230260071A1 (en) Multicamera image processing
EP3324210B1 (en) Self-calibrating sensor system for a wheeled vehicle
CN113483664B (zh) 一种基于线结构光视觉的屏风板自动上料系统及方法
US20220221304A1 (en) Method for creating a surroundings map for use in the autonomous navigation of a mobile robot
KR20180066668A (ko) 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법
US11557058B2 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
CN116863371A (zh) 一种基于深度学习的agv叉车货物托盘位姿识别方法
CN115546202A (zh) 一种用于无人叉车的托盘检测与定位方法
Meyer et al. Automatic extrinsic rotational calibration of lidar sensors and vehicle orientation estimation
Han et al. Vision-based range finder for automated guided vehicle navigation
CN116757350B (zh) 一种无人叉车集群调度处理系统
CN116342858B (zh) 物体检测方法、装置、电子设备及存储介质
CN116342695B (zh) 无人叉车放货检测方法及装置、无人叉车、存储介质
CN116757350A (zh) 一种无人叉车集群调度处理系统
WO2023192331A1 (en) Localization of horizontal infrastructure using point clouds
WO2023192295A1 (en) Extrinsic calibration of a vehicle-mounted sensor using natural vehicle features
CA3204014A1 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
CN117593365A (zh) 车辆姿态管理
CN117367460A (zh) 自动驾驶车辆标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant