CN110852180B - 用于自动引导车的tof相机标定方法及自动引导车 - Google Patents
用于自动引导车的tof相机标定方法及自动引导车 Download PDFInfo
- Publication number
- CN110852180B CN110852180B CN201910988114.4A CN201910988114A CN110852180B CN 110852180 B CN110852180 B CN 110852180B CN 201910988114 A CN201910988114 A CN 201910988114A CN 110852180 B CN110852180 B CN 110852180B
- Authority
- CN
- China
- Prior art keywords
- tof camera
- plane
- gear shaping
- point cloud
- baffle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010862 gear shaping Methods 0.000 claims abstract description 88
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000002592 echocardiography Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开提供了一种用于自动引导车的TOF相机标定方法，所述自动引导车具有车体和设置在车体上的插齿、TOF相机、及设置在插齿上的挡板，所述方法包括：通过TOF相机进行图像采集，获取所述图像的点云数据；对所述点云数据进行分割处理，获得挡板平面、地面和插齿平面的点云；根据所述挡板平面、地面和插齿平面的点云，获得所述挡板平面、地面和插齿平面的平面方程；利用所述挡板平面、地面和插齿平面的平面方程，获得插齿坐标系与TOF相机坐标系的坐标变换关系。根据本公开的实施方式，可获得自动引导车的插齿与相机相对位置变化关系，操作简便，适用于工厂搬运车间等各类复杂的环境。对于自动引导车准确高效的完成搬运任务具有重要意义。
Description
技术领域
本公开涉及TOF技术领域，尤其涉及一种可用于自动引导车的TOF相机标定方法及自动引导车。
背景技术
随着光学测量的发展，基于TOF(Time of Flight)技术的相机逐渐成熟，已经在三维测量、手势控制、机器人导航、安防和监控等领域应用。TOF相机的基本原理是通过向目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。
自动引导车以其自动化程度高、适应特殊环境等优势被广泛应用于仓储业、制造业及特种行业等领域。针对托盘搬运等作业场景，自动引导车通过TOF相机及一系列识别算法实现托盘识别，与智能驾驶等技术相结合，实现了无人搬运作业“货到人”的搬运方式。常规TOF相机外参标定利用高精度标定靶标进行，对标定靶标精度、标定环境要求高，成本较高，且便捷性、可操作性不强，无法适用于自动引导车的工作领域与环境。
为了实现托盘的定位，需要建立起TOF相机坐标系、插齿坐标系及托盘坐标系之间的关系。如何获取插齿在TOF相机坐标系下的位姿，对坐标系转换及准确高效的完成托盘搬运任务具有重要意义。目前TOF相机外参标定主要基于高精度标定靶标进行，测量成本较高且对测量环境要求较高，暂无适用于无人堆高车领域及复杂工作环境的标定方案。这种现有技术无法适应无人堆高车的工作环境，成本较高，且便捷性、可操作性不强，并不适合AGV工作领域。
背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。
发明内容
有鉴于此，本公开旨在提供一种改进的可用于自动引导车的标定定位方案。
在一个方面，提供一种可用于自动引导车的TOF相机标定方法，所述自动引导车具有车体和设置在车体上的插齿、TOF相机、及设置在插齿上的挡板，所述TOF相机标定方法包括：
通过TOF相机进行图像采集，获取所述图像的点云数据；
对所述点云数据进行分割处理，获得挡板平面、地面和插齿平面的点云；
根据所述挡板平面、地面和插齿平面的点云，获得所述挡板平面、地面和插齿平面的平面方程；
利用所述挡板平面、地面和插齿平面的平面方程，获得插齿坐标系与TOF相机坐标系的坐标变换关系。
在一个实施例中，所述TOF相机标定方法还包括对所述点云数据进行过滤处理，所述过滤处理包括：
对所述点云数据进行环境过滤；
剔除所述环境过滤后的点云数据的离群点。
在一个实施例中，所述对所述点云数据进行环境过滤包括：仅留下单位体积的绝对区域的点云数据进行后续处理。
在一个实施例中，所述分割处理包括：
对所述点云数据进行空间区域划分；
对所述空间区域划分后的点云数据进行分类。
在一个实施例中，所述空间区域划分包括：利用KD树进行空间区域划分。
在一个实施例中，所述TOF相机标定方法还包括：获取各个平面的中心点坐标。
在一个实施例中，所述获得插齿坐标系与TOF相机坐标系的坐标变换关系为：获得插齿坐标系与TOF相机坐标系的六自由度，所述六自由度为：绕x轴、y轴和z轴的旋转量和延x轴、y轴和z轴的平移量。
在一个实施例中，所述TOF相机标定方法还包括：剔除所述插齿坐标系与TOF相机坐标系的坐标变换关系的粗大误差，获得剔除粗大误差后的坐标变换关系。
在一个实施例中，所述剔除所述插齿坐标系与TOF相机坐标系的坐标变换关系的粗大误差包括：采用3σ准则进行粗大误差判断，剔除粗大误差。以及
在另一个方面，还提供一种自动引导车，包括：
车体；
TOF相机，设置在所述车体上；
插齿，也设置在所述车体上；
标定挡板，设置在所述插齿的前端；和
控制装置，所述控制装置安装在所述车体上，并配置成可执行如上所述的TOF相机标定方法。
根据本公开的实施方式，通过采用简易的标定工装，获得自动引导车的插齿与相机相对位置变化关系，为实现自动引导车插取托盘提供了定位依据，适应性强，可操作性好。解决了常规TOF相机外参标定对标定靶标精度、标定环境要求高等问题，适用于工厂搬运车间等各类复杂的环境，对于自动引导车准确高效的完成搬运任务具有重要意义。本公开通过采用简易的标定工装，解决了常规TOF相机外参标定对标定靶标精度、标定环境要求高等问题，适用于工厂搬运车间等各类复杂环境，适应性强，可操作性好。
附图说明
构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1示出了根据本公开一个实施例的自动引导车示意图；
图2示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定方法；
图3示出了根据本公开一个实施例的坐标系关系示意图；
图4示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定方法的流程示意图；
图5示出了根据本公开一个实施例的点云分割流程示意图；
图6示出了根据本公开一个实施例的剔除粗大误差流程示意图；以及
图7示出了区域划分和展开后进行区域生长的结果的示例。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本公开的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本公开的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本公开的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
在本公开中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本公开的不同结构。为了简化本公开的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本公开。此外，本公开可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本公开提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本公开的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本公开，并不用于限定本公开。
图1示出了根据本公开一个实施例的自动引导车100示意图。如图1所示，自动引导车100包括：车体1、TOF相机2、插齿3、挡板4。插齿3上可用于承载货物或者托盘。其中，另外，所述自动引导车可以包括车轮、电机以及控制装置，此处不再赘述。
所述TOF相机2设置在所述车体1上，自动引导车100上可以设置有一个或者多个TOF相机2，所述TOF相机2在所述车体1上的位置可为固定或者非固定，所述TOF相机2用于图像采集，例如采集所述插齿3、所述挡板4、所述自动引导车100所处环境等的图像，通过图像处理，可以获得自动引导车100的所述插齿3的中心位置(或插齿坐标系)相对于所述TOF相机2的坐标系的相对位置变化关系，进而获得托盘的定位。所述插齿3也设置在所述车体1上，所述插齿3用于托举托盘，承载货物，所述插齿3包括第一插齿31和第二插齿32(或称左插齿和右插齿)。所述挡板4设置在所述叉齿3上，位于所述插齿远离所述车体1一端的中心线处，所述挡板4包括第一挡板41和第二挡板42，所述第一挡板41位于所述第一插齿31远离所述车体1一端的中心线处，所述第二挡板42位于所述第二插齿32远离所述车体1一端的中心线处，用于标定所述TOF相机2的外参，进而得到插齿3的中心位置(或插齿坐标系)相对于所述TOF相机2的坐标系的相对位置变化关系。
本公开将采用挡板4与插齿3配合构成TOF相机2的图像采集目标，利用设置于自动引导车100上的TOF相机2进行相机外参的标定，进而得到所述插齿3相对于所述TOF相机2的位置变换关系，为实现自动引导车100插取托盘提供定位依据。
图2示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定方法200。如图2所示，所述TOF相机标定方法200包括：
在步骤S201，通过TOF相机2进行图像采集，获取所述图像的点云数据。
所述TOF相机2例如可以向其周围环境中发射出测量光脉冲，测量光脉冲在周围物体上漫反射，部分反射回波回到TOF相机2，TOF相机2采集该反射回波，根据该反射回波的飞行时间以及光速，就可以获得该障碍物所在的位置、距离以及角度等信息。TOF相机2通常在接收到反射回波后，对该回波进行信号过滤和放大，可生成点云数据，点云中的每一个点可代表一个周围环境的一个点。注意，在点云数据中，每个点的位置参数，例如均为在所述TOF相机2的坐标系下的位置坐标。
所述TOF相机2向其周围环境发射探测光脉冲，对所述插齿2、所述挡板4、以及自动引导车100所处环境等进行图像采集，根据所述采集的图像生成相应的点云数据并获取所述点云数据。
在步骤S202，对所述点云数据进行分割处理，获得挡板4的平面、地面和插齿3的平面的点云。
对在获得的所述点云数据进行分割处理，对不同平面的点云进行区分，并按类输出，获取挡板4平面、地面和插齿3平面的点云数据，其中所述挡板4平面包括第一挡板41平面和第二挡板42平面，所述插齿平面包括第一插齿31平面和第二插齿32平面。
在进行分割处理时，可根据预设的一些条件或者参数来进行分割处理。例如，在所采集的点云中，选择在竖直方向最低的点作为地面的基点，与该地面的基点在竖直方向距离差在数厘米(例如4厘米)范围内的点，被认为是属于地面反射回波形成的点或点云。叉齿的高度也是阈值的，例如可设定叉齿高度的范围，竖直位置在该范围内的点，可认为是属于叉齿反射回波形成的点或点云。类似的，第一挡板和第二挡板的高度和/或与所述TOF相机2在水平方向的距离，都可以设定相应的范围，用于进行点云的分隔处理。在本发明下面的优选实施例中将详细描述。
在步骤S203，根据所述挡板4的平面、地面和插齿3的平面的点云，获得所述挡板4平面、地面和插齿3平面的平面方程。
通过对在步骤S202中获得的挡板4平面、地面和插齿3平面的点云数据进行拟合，求得三维坐标系中所述平面方程的参数，从而获得所述挡板4平面、地面和插齿3平面的平面方程。
在步骤S204，利用所述挡板4平面、地面和插齿3平面的平面方程，获得插齿3的坐标系与TOF相机2的坐标系的坐标变换关系。
结合在步骤S203中获得的平面方程及在步骤S202获得的各个平面的点云数据，计算得出插齿3的坐标系与TOF相机2的坐标系之间的坐标变换量，即两者之间的坐标变换关系。
根据本公开的一个实施例，所述TOF相机标定方法200还包括对所述点云数据进行过滤处理，所述过滤处理包括：对所述点云数据进行环境过滤；剔除所述环境过滤后的点云数据的离群点。
由于自动引导车通常在货物搬运车间内工作，环境相对比较复杂，极易对TOF相机2的图像采集带来干扰。因此为了减少周围环境的干扰、提升算法的运行速度，首先TOF相机2采集的图像中周围环境的点云数据进行过滤，例如仅留下单位体积的绝对区域的点云数据进行后续处理，在减少运算量的同时降低了环境干扰。
在自动引导车的工作环境中，环境复杂程度较高，人员走动、遮挡及目标物体本身的反射特性不均等因素都会对真实点云数据带来离群点干扰。所以剔除离群点有利于减少离群点对所述坐标变换关系求解的干扰。
根据本公开的一个实施例，所述TOF相机标定方法200中所述分割处理还包括：对所述点云数据进行空间区域划分；对所述空间区域划分后的点云数据进行分类。
由于TOF相机2的拍摄目标为地面、插齿3及挡板4，因此点云图像中可分为地面、第一插齿31、第二插齿32、第一挡板41和第二挡板42共五部分。例如可利用KD树进行空间区域划分，然后采用KD树搜索方法，将每个部分的点云以点簇的形式输出。
根据本公开的一个实施例，所述TOF相机标定方法200还包括：剔除所述插齿坐标系与TOF相机坐标系的坐标变换关系的粗大误差。自动引导车工作环境中的干扰物可能会对最后的坐标变换关系的求取带来粗大误差，所以在最后进行剔除粗大误差处理确保了算法的准确性。进行粗大误差剔除可采用但不限于3σ准则进行判断，将粗大误差剔除。
所述过滤、区域划分、粗大误差剔除等步骤将在图3-图6中详细描述。
下面结合图3-图6详细介绍本公开的一个实施例。
图3示出了根据本公开一个实施例的坐标系关系示意图。如图3所示，地面坐标系为OwXwYwZw，插齿坐标系为OpXpYpZp(图3中，插齿坐标系的原点例如位于第一叉齿和第二叉齿的端部连线的中点位置处)，TOF相机坐标系为OcXcYcZc，第一挡板坐标系为OlXlYlZl，第二挡板坐标系为OrXrYrZr，其中，第一挡板41和第二挡板42与TOF相机坐标系OXY平面相垂直。设定挡板4、插齿3、地面的坐标系方向相同，三者仅存在平移变换关系。可替换的，挡板4、插齿3、地面三者的坐标系方向可部分相同或者均不相同，本公开对于坐标系的方向不做任何限制。
插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系如式(1-1)所示：
其中，R——旋转矩阵，
θx,θy,θz分别为绕x轴、y轴和z轴的旋转量；
T——平移矩阵，T＝[tx ty tz]T，
tx,ty,tz分别为延x轴、y轴和z轴的平移量。
设定θx,θy,θz,tx,ty,tz为插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系的六个自由度，因此，只需要获取所述六个自由度，即可获得插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系，从而完成所述TOF相机2的外参标定。
图4示出了根据本公开一个实施例的可用于自动引导车的TOF相机标定方法300的流程示意图。如图4所示，所述TOF相机标定方法300的步骤包括：点云录入、点云过滤、半径滤波、区域生长、点云分割、位姿解算、粗大误差剔除、六自由度输出。
在步骤S301，点云录入。
所述TOF相机2向所述插齿2、所述挡板4、以及自动引导车100所处环境等发射探测光脉冲，进行图像采集，根据反射回波生成相应的点云数据并获取所述点云数据。
在步骤S302，点云过滤。
由于自动引导车100通常在货物搬运车间内进行操作，工作环境相对比较复杂，非常容易对TOF相机2的点云采集带来干扰。因此为了减少周围环境的干扰、提升算法的运行速度，首先对周围环境进行过滤，仅留下在该TOF相机为原点、周围1m*1m*1m体积的绝对区域的点云进行后续点云处理，所述点云过滤在减少运算量的同时降低了环境的干扰。可替换的，还可以仅留下2m*2m*2m或者其他任一体积的绝对区域进行后续点云处理，本公开对于所述绝对区域的大小不做任何限制。
在步骤S303，半径滤波。
在自动引导车100的工作环境中，环境复杂程度较高，人员走动、遮挡及图像采集目标物本身的发射特性不均等因素均会对真实点云数据带来离群点干扰，也就是在点云中可能产生噪点。为了剔除离群点，进一步地方便后续的点云处理，根据本发明的一个优选实施例，可遍历所述点云数据，指定每一点以该点为圆心，0.04m的半径范围内至少存在8个近邻点，否则认定为该点为离群点，并将该离群点剔除，以减少离群点对算法求解的干扰。可替换的，所述半径范围还可以为0.05m或者其他任一数值，所述近邻点还可以为10个或者其他任一个数，本公开对于所述半径范围的大小和/或所述近邻点的数量不做任何限制。
在步骤S304，进行区域生长。
在完成所述点云过滤及半径滤波之后，将在所述点云数据的空间内进行特征点搜索。首先利用KD树进行空间区域划分，便于后期在划分后的各个部分中进行数据搜索。在所述KD树展开后，分别在展开后的各个部分的点云数据中进行相关搜索，将具有相似性质的点集合起来构成区域，设置每个平面包含的最小点数为10，超过10点的集合则认为其组成平面。可替换的，还可设置每个平面包含的最小点数为12或者其他任一数值，本公开对于每个平面包含的最小点数不做任何限制。接着再采用KD树搜索方法，基于点法线之间的角度比较，将满足平滑约束的相邻点合并在一起，以点簇的形式输出，此时每簇点集处于同一平面。图7示出了利用KD树进行去区域划分和展开后进行区域生长的结果，图7中，红色(区域A)和蓝色(区域B)代表挡板平面的点簇，绿色(区域C)代表地面的点簇。
在步骤S305，点云分割。
图5示出了根据本公开一个实施例的点云分割流程示意图。如图5所示，具体点云分割步骤如下：
(1)在TOF相机坐标系下设定挡板4平面的距离阈值上下限分别为0.8m、1.2m，在此范围内的平面即为挡板4的平面；即以TOF相机的坐标原点为零点(如图3中的坐标系OcXcYcZc)，沿着X方向距离TOF相机的坐标原点在0.8到1.2m范围内的平面为挡板4的平面。该范围的具体数值仅为示例性的，可以根据具体的情况而修改和设定，例如挡板的长度等。
(2)对于与挡板4对应的点，若其y轴方向坐标为负，则为第一挡板41的平面，反之则为第二挡板42的平面。通过上述步骤(1)和(2)，从而获得了第一挡板平面的点云以及第二挡板平面的点云。
(3)对于对应于地面的点簇，找到其中的最低点，设置为最低高度z，判断各个点的Z轴坐标与该最低高度z之间的距离，设定距离小于0.04m为判断条件，距离小于0.04m的平面为平面，点簇中的其他点，可以抛弃或者删除处理。通过步骤(3)，可找到地面的点云。
(4)其余两面则为插齿3的平面，若y轴方向坐标为负，则为第一插齿31的平面，反之则为第二插齿32的平面，至此点云分割完毕。或者根据本发明的一个实施例，可以不识别插齿平面。
所述TOF相机2的图像采集目标为地面、插齿3及挡板4，于是所述图像的点云数据可以分为地面、第一插齿31、第二插齿32、第一挡板41及第二挡板42，并以五簇点集分类输出。基于各个坐标系之间关系进行初步位姿估计，设定条件判断阈值，进行平面区分。设定地面、第一挡板41及第二挡板42的平面中心点的坐标分别为(Cxw,Cyw,Czw)，(Cxl,Cyl,Czl)，(Cxr,Cyr,Czr)，将区域生长后的各个区域内所有点的坐标求均值，即为该平面的中心点坐标，如式(2-1)所示。
在步骤S306，位姿解算。
在点云分割完毕后，即可获得地面、第一挡板41及第二挡板42的平面中心坐标。地面坐标系可以用平面方程标准式表示，如式(2-2)所示：
AwXw+BwYw+CwZw+Dw＝0 (2-2)
同理第一挡板41、第二挡板42坐标系分别可以用式(2-3)、式(2-4)表示：
AlXl+BlYl+ClZl+Dl＝0 (2-3)
ArXr+BrYr+CrZr+Dr＝0 (2-4)
通过平面上的点云拟合可以求得各个平面方程参数，即Aw，Bw，Cw，Dw等参量；随后即可根据地平面及两挡板平面中心点坐标求得第一插齿31的远离车体1端与第二插齿32远离车体1端之间的中心点相对于TOF相机坐标系下的六自由度，如式(2-5)所示：
以上六自由度，即插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系，从而可实现所述TOF相机2的外参标定。
在步骤S307，粗大误差剔除。
由于自动引导车的工作环境较为复杂，操作过程中可能会有干扰物进入图像采集区域，可能会对求取的六自由度带来粗大误差，因此上述方法300还可进行粗大误差剔除。图6示出了根据本公开一个实施例的剔除粗大误差流程示意图。如图6所示，例如可以通过多帧点云数据(例如数十帧，数百帧)，分别进行六自由度求取后，分别求出六自由度的均值μ、标准差σ以及每时刻的残差v，采用3σ准则作为判断标准，若残差vi大于3σ，如式(2-6)所示：
|vi|＞3σ (2-6)
则认为该测得值含有粗大误差，将其予以剔除。最终分别求取剔除粗大误差后的六自由度均值，即为最终求取的六自由度。
在步骤S308，六自由度输出。
将所述最终求取的六自由度输出，带入式(1-1)即可获得插齿坐标系OpXpYpZp与TOF相机坐标系OcXcYcZc之间的坐标变换关系，从而完成所述TOF相机2的外参标定。
根据本公开的实施方式，通过采用简易的标定工装，获得自动引导车的插齿与相机相对位置变化关系，为实现自动引导车插取托盘提供了定位依据，适应性强，可操作性好。解决了常规TOF相机外参标定对标定靶标精度、标定环境要求高等问题，适用于工厂搬运车间等各类复杂的环境，对于自动引导车准确高效的完成搬运任务具有重要意义。
本发明适用于各种自动引导车，尤其适用于无人堆高车，可在工厂搬运车间等环境复杂的地点稳定运行，且对标定工装要求不高，操作简便、便捷性较好且标定精度较高。本发明解决了常规TOF相机外参标定的对标定靶标精度、标定环境要求高等问题，适用于工厂搬运车间等各类复杂环境，适应性强，可操作性好。本发明仅需要两块大小相同的标定板(挡光板)即可进行，操作方便、便捷性好，对操作人员无技术要求，适用于工厂搬运车间等复杂环境的高精度TOF相机外参标定。
本发明的第二方面还涉及一种自动引导车100，包括：车体1、TOF相机2、插齿3、以及标定挡板4，其中TOF相机2设置在所述车体上，插齿也设置在所述车体上，标定挡板设置在所述插齿的前端。另外，自动引导车100还包括控制装置(未示出)，所述控制装置配置成可执行如上所述的TOF相机标定方法。本领域技术人员容易理解，所述控制装置可以安装在所述车体1上，除了用于控制所述自动引导车的动作之外，还可用于执行所述TOF相机标定方法200和300。或者可选的，所述控制装置与所述车体1是分离的装置，其与所述TOF相机2相通讯，控制根据所述TOF相机2的点云数据，对其外参进行标定。这些都在本公开的保护范围内。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
最后应说明的是：以上所述仅为本公开的优选实施例而已，并不用于限制本公开，尽管参照前述实施例对本公开进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种用于自动引导车的TOF相机标定方法，所述自动引导车具有车体和设置在车体上的插齿、TOF相机、及设置在插齿上的挡板，所述TOF相机标定方法包括：
通过所述TOF相机进行图像采集，获取所述图像的点云数据；
对所述点云数据进行分割处理，获得挡板平面、地面和插齿平面的点云；
根据所述挡板平面和地面的点云，获得所述挡板平面和地面的平面方程；
利用所述挡板平面和地面的平面方程，获得所述插齿的坐标系与所述TOF相机的坐标系的坐标变换关系。
2.根据权利要求1所述的TOF相机标定方法，其特征在于，还包括对所述点云数据进行过滤处理，所述过滤处理包括：
对所述点云数据进行环境过滤；
剔除所述环境过滤后的点云数据的离群点。
3.根据权利要求2所述的TOF相机标定方法，其特征在于，所述对所述点云数据进行环境过滤包括：仅留下单位体积的绝对区域的点云数据进行后续处理。
4.根据权利要求1所述的TOF相机标定方法，其特征在于，所述分割处理包括：
对所述点云数据进行空间区域划分；
对所述空间区域划分后的点云数据进行分类。
5.根据权利要求4所述的TOF相机标定方法，其特征在于，所述空间区域划分包括：利用KD树进行空间区域划分。
6.根据权利要求1所述的TOF相机标定方法，其特征在于，还包括：获取各个平面的中心点坐标。
7.根据权利要求1-6中任一项所述的TOF相机标定方法，其特征在于，所述获得插齿坐标系与TOF相机坐标系的坐标变换关系为：获得插齿坐标系与TOF相机坐标系的六自由度，所述六自由度为：绕x轴、y轴和z轴的旋转量和延x轴、y轴和z轴的平移量。
8.根据权利要求1-6中任一项所述的TOF相机标定方法，其特征在于，还包括：
通过多帧点云数据分别计算相对应的多个坐标变换关系；
剔除所述多个坐标变换关系中的粗大误差；
通过剩余的坐标变换关系，获得剔除粗大误差后的坐标变换关系。
9.根据权利要求8中所述的TOF相机标定方法，其特征在于，所述剔除所述多个坐标变换关系中的粗大误差包括：采用3σ准则进行粗大误差判断，剔除粗大误差。
10.一种自动引导车，包括：
车体；
TOF相机，设置在所述车体上；
插齿，设置在所述车体上；
标定挡板，设置在所述插齿的前端；和
控制装置，所述控制装置配置成可执行如权利要求1-9中任一所述的TOF相机标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988114.4A CN110852180B (zh) | 2019-10-17 | 2019-10-17 | 用于自动引导车的tof相机标定方法及自动引导车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988114.4A CN110852180B (zh) | 2019-10-17 | 2019-10-17 | 用于自动引导车的tof相机标定方法及自动引导车 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852180A CN110852180A (zh) | 2020-02-28 |
| CN110852180B true CN110852180B (zh) | 2022-08-02 |
Family
ID=69597370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910988114.4A Active CN110852180B (zh) | 2019-10-17 | 2019-10-17 | 用于自动引导车的tof相机标定方法及自动引导车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852180B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581451B (zh) * | 2020-12-21 | 2024-02-23 | 北京科技大学 | 一种基于激光雷达的仓库线卷位置检测系统及方法 |
| CN113284197B (zh) * | 2021-07-22 | 2021-11-23 | 浙江华睿科技股份有限公司 | Agv的tof相机外参标定方法及装置、电子设备 |
| CN113689391B (zh) * | 2021-08-16 | 2024-07-19 | 炬佑智能科技(苏州)有限公司 | ToF设备的安装参数获取方法、系统和ToF设备 |
| CN115063489A (zh) * | 2022-05-18 | 2022-09-16 | 北京高仙智能科技发展有限公司 | 一种外参标定方法、装置、设备和存储介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2154650A1 (en) * | 2008-08-12 | 2010-02-17 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | 3D time-of-flight camera system and position/orientation calibration method therefor |
| DE102013209721A1 (de) * | 2012-08-20 | 2014-02-20 | Johnson Controls Gmbh | Verfahren zur Kalibrierung einer TOF-Kamera |
| US9578311B2 (en) * | 2014-10-22 | 2017-02-21 | Microsoft Technology Licensing, Llc | Time of flight depth camera |
| DE102017107903A1 (de) * | 2017-04-12 | 2018-10-18 | Sick Ag | 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten |
| CN107218927B (zh) * | 2017-05-16 | 2019-08-09 | 上海交通大学 | 一种基于tof相机的货物托盘检测系统和方法 |
| CN207827780U (zh) * | 2017-09-08 | 2018-09-07 | 合肥柯金自动化科技股份有限公司 | 叉车后向托盘插孔定位检测系统 |
| CN107610176B (zh) * | 2017-09-15 | 2020-06-26 | 斯坦德机器人（深圳）有限公司 | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 |
| CN107862719B (zh) * | 2017-11-10 | 2020-10-27 | 未来机器人（深圳）有限公司 | 相机外参的标定方法、装置、计算机设备和存储介质 |
| CN108007451B (zh) * | 2017-11-10 | 2020-08-11 | 未来机器人（深圳）有限公司 | 货物承载装置位姿的检测方法、装置、计算机设备和存储介质 |
| CN107862716A (zh) * | 2017-11-29 | 2018-03-30 | 合肥泰禾光电科技股份有限公司 | 机械臂定位方法及定位机械臂 |
| CN110040669B (zh) * | 2018-01-17 | 2021-12-10 | 林德（中国）叉车有限公司 | 一种高位叉货辅助方法 |
| CN109061609B (zh) * | 2018-08-01 | 2021-09-07 | 歌尔光学科技有限公司 | Tof模组标定装置及方法 |
| CN109087345A (zh) * | 2018-09-06 | 2018-12-25 | 上海仙知机器人科技有限公司 | 基于ToF成像系统的栈板识别方法及自动导引运输车 |
| CN109160452B (zh) * | 2018-10-23 | 2023-06-20 | 西安中科光电精密工程有限公司 | 基于激光定位和立体视觉的无人转运叉车及导航方法 |
| CN109573526A (zh) * | 2018-12-29 | 2019-04-05 | 北京艾瑞思机器人技术有限公司 | 搬运控制方法及搬运机器人 |
| CN110054116B (zh) * | 2019-03-15 | 2021-01-08 | 广州蓝胖子机器人有限公司 | 应用于叉车的货叉导航方法、系统及无人叉车 |
| CN109949371A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种用于激光雷达和相机数据的标定方法 |
| CN110335295B (zh) * | 2019-06-06 | 2021-05-11 | 浙江大学 | 一种基于tof相机的植物点云采集配准与优化方法 |
-
2019
- 2019-10-17 CN CN201910988114.4A patent/CN110852180B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852180A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852180B (zh) | 用于自动引导车的tof相机标定方法及自动引导车 | |
| EP3683721B1 (en) | A material handling method, apparatus, and system for identification of a region-of-interest | |
| CN109160452A (zh) | 基于激光定位和立体视觉的无人转运叉车及导航方法 | |
| CN110054116B (zh) | 应用于叉车的货叉导航方法、系统及无人叉车 | |
| KR101003168B1 (ko) | 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법 | |
| CN111989544A (zh) | 基于光学目标的室内车辆导航的系统和方法 | |
| CN110793512A (zh) | 位姿识别方法、装置、电子设备和存储介质 | |
| US11557058B2 (en) | Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system | |
| CN110243380A (zh) | 一种基于多传感器数据与角度特征识别的地图匹配方法 | |
| EP3324210A1 (en) | Self-calibrating sensor system for a wheeled vehicle | |
| CN116757350B (zh) | 一种无人叉车集群调度处理系统 | |
| CN113267180B (zh) | 一种基于3d深度视觉的agv叉车托盘定位及叉取方法 | |
| CN114742883B (zh) | 一种基于平面类工件定位算法的自动化装配方法及系统 | |
| CN115546202A (zh) | 一种用于无人叉车的托盘检测与定位方法 | |
| CN116863371A (zh) | 一种基于深度学习的agv叉车货物托盘位姿识别方法 | |
| CA3204014A1 (en) | Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system | |
| KR20180066668A (ko) | 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법 | |
| CN115755888A (zh) | 多传感器数据融合的agv障碍物检测系统及避障方法 | |
| Rashd et al. | Open-box target for extrinsic calibration of LiDAR, camera and industrial robot | |
| Meyer et al. | Automatic extrinsic rotational calibration of lidar sensors and vehicle orientation estimation | |
| Kita et al. | Image Measurement Method for Automatic Insertion of Forks into Inclined Pallet | |
| CN116342858B (zh) | 物体检测方法、装置、电子设备及存储介质 | |
| CN116873819B (zh) | 货物运输方法、装置、终端设备以及存储介质 | |
| CN113140007B (zh) | 一种基于稠密点云的集卡定位方法及装置 | |
| CN118458272A (zh) | 一种agv导航避障和搬移堆垛装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 210-69 Yangmuqiao, Huangxiang Street, Liangxi District, Wuxi City, Jiangsu Province Patentee after: Wuxi Kuaicang Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room 1030, Zone B, Room 1205, No. 968 Memorial Road, Baoshan District, Shanghai Patentee before: SHANGHAI QUICKTRON INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |