CN107507167A - 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 - Google Patents
一种基于点云平面轮廓匹配的货物托盘检测方法及系统 Download PDFInfo
- Publication number
- CN107507167A CN107507167A CN201710611765.2A CN201710611765A CN107507167A CN 107507167 A CN107507167 A CN 107507167A CN 201710611765 A CN201710611765 A CN 201710611765A CN 107507167 A CN107507167 A CN 107507167A
- Authority
- CN
- China
- Prior art keywords
- profile
- mrow
- point cloud
- cargo pallet
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于点云平面轮廓匹配的货物托盘检测方法及系统，所述方法步骤包括：步骤1、原始点云滤波；步骤2、点云平面分割；步骤3、投影生成栅格图；步骤4、轮廓提取；步骤5、轮廓匹配；步骤6、获取相对位姿。所述系统包括：原始点云滤波模块，点云平面分割模块，投影生成栅格图模块，轮廓提取模块，轮廓匹配模块，获取相对位姿模块。本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘，具有精度高、价格低、鲁棒性强等优点。
Description
技术领域
本发明涉及工业机器人技术领域，具体地，涉及一种基于点云平面轮廓匹配的货物托盘检测方法及系统。
背景技术
随着现代物流技术的发展，自动引导车(AGV)在智能仓储技术中发挥着越来越重要的作用，而对货物托盘的检测是AGV的核心技术之一。仓储环境具有背景复杂、光线条件不稳定、动/静态障碍物较多等特点，精准高效的对货物托盘检测与定位是目前亟待解决的问题。
目前对货物托盘的检测主要采用视觉检测、激光雷达检测等方法。其中，单目视觉成本虽然不高，但精度不高、受光线影响大；多线激光雷达和双目视觉检测都具有精度高的特点，但是多线激光雷达价格过于昂贵、双面视觉检测受光照影响大；单线激光雷达成本相对较低，但是获取信息量不足，容易产生误检；基于特征标签的视觉检测方法，对于标签的敷设精度要求比较高，环境鲁棒性不好等等。
比如公开号为CN104777835A，申请号为CN201510106059.3的发明专利申请，其公开一种全向自动叉车及3D立体视觉导航定位方法，采用双目立体视觉进行托盘定位，易受仓储环境中复杂光照的影响；公开号为CN106044645A，申请号为CN201610620160.5的发明专利申请，其公开一种基于二维码定位的货物托盘存取系统、及其存取方法，采用单目视觉检测托盘表面敷设的二维码实现对托盘的定位，但仅限于近距离检测场景。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于轮廓匹配的货物托盘检测方法及系统，具有精度高、价格低、鲁棒性强等优点。
为实现以上目的，本发明采用以下技术方案：
根据本发明第一目的，提供一种基于点云平面轮廓匹配的货物托盘检测方法，所述方法包括如下步骤：
步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；
步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；
步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；
步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；
步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
优选地，步骤2中，所述的平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。
优选地，步骤4中：
若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤5；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。
根据本发明第二目的，提供一种基于点云平面轮廓匹配的货物托盘检测系统，包括：
原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；
点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；
投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；
轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；
轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；
获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
优选地，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。
优选地，所述轮廓提取模块，若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转轮廓匹配模块；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。
与现有技术相比，本发明具有如下的有益效果：
本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例的方法流程图；
图2为本发明一优选实施例中系统结构框图；
图3a为本发明一实施例中实际场景图；
图3b为本发明一实施例中原始点云图；
图3c为本发明一实施例中颜色滤波后的点云图；
图3d为本发明一实施例中离群点剔除的点云图；
图3e为本发明一实施例中法线估计的点云图；
图3f为本发明一实施例中区域生长的点云图；
图3g为本发明一实施例中点云栅格化图；
图3h为本发明一实施例中点云栅格图轮廓提取图；
图3i为本发明一实施例中托盘平面轮廓图；
图3j为本发明一实施例中托盘识别结果。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
参照图1所示，一种基于点云平面轮廓匹配的货物托盘检测方法的流程图，包括如下步骤：
步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；
步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；
步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；
步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；
步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
参照图2所示，对应于上述方法，提供一种基于点云平面轮廓匹配的货物托盘检测系统，包括：
原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；
点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；
投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；
轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；
轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；
获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
在一优选实施例中，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。
在一优选实施例中，所述轮廓提取模块，若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转轮廓匹配模块；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。
参照图3a-3j所示，为本发明一实施例中托盘检测的图像处理过程，其中：
步骤1：原始点云滤波
由传感器采集仓储环境点云，通过颜色滤波可以将可能包含托盘的点云分割出来，并使用滤波算法剔除稀疏的离群点。在本实施例中，具体地：
计算每个点到其邻域K个临近点的平均距离x，并给定邻域平均距离的均值μ和标准差σ，若x超出邻域平均距离均值3σ以上，则认为该点为离群点并剔除，根据点云的颜色分量分割出场景中的点云；
如图3a所示，为实际场景图，其中中间部分为要检测的托盘；如图3b所示，为图3a中的托盘的原始点云；如图3d所示，为离群点剔除后的点云。
步骤2：点云平面分割
对步骤1中滤波得到的点云中任一点进行法线估计，并采用区域生长的方式进行平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点集数量上限和下限以剔除过大或过小的平面，得到分割后的点云平面；
如图3e所示，本实施例中为法线估计后的点云图，如图3f所示，为区域生长后的点云图。
步骤3：投影生成栅格图
对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图，具体地，
1)取视点O(0,0,0)作为原点，平面法向量作为z轴单位向量建立托盘坐标系，托盘坐标系与传感器坐标系之间存在旋转关系：
其中R3*3为旋转矩阵；
2)设置单通道栅格图长宽分别为W、H，每个栅格的物理尺度长宽分别为grid_W、grid_H，栅格图对应托盘坐标系中区域R沿z轴方向在xOy平面的投影；
3)将所有数据点归入对应的栅格，并将归一化的投影高度设置为栅格灰度值；
如图3g所示，为本实施例中点云栅格化后的示意图。
步骤4：轮廓特征提取
使用Canny算子提取步骤3中的各点云栅格图的轮廓，采用融合轮廓Hu不变矩和尺度比例特征为托盘轮廓特征向量，用于托盘的检测和识别，具体地：
对于轮廓C，以像素为基本单位，定义其轮廓外接矩形的长和宽分别为w、h，轮廓周长为l，轮廓面积(区域内像素个数)为s，以此构建目标轮廓的长宽比S1和占空比S2两个尺度比例特征：
S1＝w/h
S2＝s/(w*h)
融合前两个Hu不变矩M1、M2及两个尺度比例特征，构建新的托盘轮廓特征向量
如图3h所示，为本实施例中点云栅格图轮廓提取图。
步骤5：轮廓匹配
对于待检测轮廓A和模板轮廓B，采用欧式距离建立轮廓匹配相似度d(A,B)，即：
由相似度d(A,B)的定义可知，相似度d(A,B)越小，表明待检测轮廓与模板轮廓越接近；反之表明待检测轮廓与模板轮廓偏离程度越大。分别指轮廓A和B的Hu不变矩；分别指轮廓A和B的尺度比例特征。
将步骤4提取的轮廓分别与货物托盘立面轮廓模板进行匹配；若提取的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤6；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配；
如图3i所示，为托盘平面轮廓图。
步骤6：获取相对位姿
匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
如图3j所示，为本实施例中托盘识别结果。
本发明成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。
需要说明的是，本发明提供的所述基于点云平面轮廓匹配的货物托盘检测方法中的步骤，可以利用所述基于点云平面轮廓匹配的货物托盘检测系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，所述方法包括如下步骤：
步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；
步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；
步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；
步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；
步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
2.根据权利要求1所述的一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，步骤2中，所述的平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。
3.根据权利要求1所述的一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，步骤4中，先进行轮廓特征提取，然后进行轮廓匹配，具体为：
S1:使用Canny算子提取步骤3中的各点云栅格图的轮廓，采用融合轮廓Hu不变矩和尺度比例特征为托盘轮廓特征向量，用于托盘的检测和识别；
对于轮廓C，以像素为基本单位，定义其轮廓外接矩形的长和宽分别为w、h，轮廓周长为l，轮廓面积即区域内像素个数为s，以此构建目标轮廓的长宽比S1和占空比S2两个尺度比例特征：
S1＝w/h
S2＝s/(w*h)
融合前两个Hu不变矩M1、M2及两个尺度比例特征，构建新的托盘轮廓特征向量
S2：轮廓匹配
对于待检测轮廓A和模板轮廓B，采用欧式距离建立轮廓匹配相似度d(A,B)，即：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>A</mi>
<mo>-</mo>
<mi>B</mi>
<mo>|</mo>
<mo>|</mo>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>B</mi>
<mo>-</mo>
<mi>A</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>M</mi>
<mi>i</mi>
<mi>A</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>M</mi>
<mi>i</mi>
<mi>B</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mi>A</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mi>B</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
由相似度d(A,B)的定义可知，相似度d(A,B)越小，表明待检测轮廓与模板轮廓越接近；反之表明待检测轮廓与模板轮廓偏离程度越大；分别指轮廓A和B的Hu不变矩；分别指轮廓A和B的尺度比例特征。
4.根据权利要求1-3任一项所述的一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，步骤4中：
若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤5；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。
5.一种基于点云平面轮廓匹配的货物托盘检测系统，其特征在于包括：
原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；
点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；
投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；
轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；
轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；
获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。
6.根据权利要求5所述的一种基于点云平面轮廓匹配的货物托盘检测系统，其特征在于，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。
7.根据权利要求5所述的一种基于点云平面轮廓匹配的货物托盘检测系统，其特征在于，所述轮廓提取模块，使用Canny算子提取各点云栅格图的轮廓，采用融合轮廓Hu不变矩和尺度比例特征为托盘轮廓特征向量，用于托盘的检测和识别；
对于轮廓C，以像素为基本单位，定义其轮廓外接矩形的长和宽分别为w、h，轮廓周长为l，轮廓面积即区域内像素个数为s，以此构建目标轮廓的长宽比S1和占空比S2两个尺度比例特征：
S1＝w/h
S2＝s/(w*h)
融合前两个Hu不变矩M1、M2及两个尺度比例特征，构建新的托盘轮廓特征向量
8.根据权利要求5所述的一种基于点云平面轮廓匹配的货物托盘检测系统，其特征在于，所述轮廓匹配模块，对于待检测轮廓A和模板轮廓B，采用欧式距离建立轮廓匹配相似度d(A,B)，即：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>,</mo>
<mi>B</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>A</mi>
<mo>-</mo>
<mi>B</mi>
<mo>|</mo>
<mo>|</mo>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>B</mi>
<mo>-</mo>
<mi>A</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>M</mi>
<mi>i</mi>
<mi>A</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>M</mi>
<mi>i</mi>
<mi>B</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mi>A</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mi>B</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
由相似度d(A,B)的定义可知，相似度d(A,B)越小，表明待检测轮廓与模板轮廓越接近；反之表明待检测轮廓与模板轮廓偏离程度越大。
9.根据权利要求5-8任一项所述的一种基于点云平面轮廓匹配的货物托盘检测系统，其特征在于，所述轮廓提取模块，若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转轮廓匹配模块；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710611765.2A CN107507167B (zh) | 2017-07-25 | 2017-07-25 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710611765.2A CN107507167B (zh) | 2017-07-25 | 2017-07-25 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507167A true CN107507167A (zh) | 2017-12-22 |
| CN107507167B CN107507167B (zh) | 2020-03-10 |
Family
ID=60689438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710611765.2A Active CN107507167B (zh) | 2017-07-25 | 2017-07-25 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507167B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564013A (zh) * | 2018-03-23 | 2018-09-21 | 上海数迹智能科技有限公司 | 一种基于手势轮廓快速匹配的手势识别方法 |
| CN108931206A (zh) * | 2018-08-01 | 2018-12-04 | 湖南大学 | 用于钢轨轮廓离群点检测及有效廓形识别的方法 |
| CN109463003A (zh) * | 2018-03-05 | 2019-03-12 | 香港应用科技研究院有限公司 | 对象识别 |
| CN110059993A (zh) * | 2018-01-19 | 2019-07-26 | 北京京东尚科信息技术有限公司 | 一种仓储管理的方法和装置 |
| CN110058591A (zh) * | 2019-04-24 | 2019-07-26 | 合肥柯金自动化科技股份有限公司 | 一种基于激光雷达与深度摄像机混合导航的agv系统 |
| CN110780276A (zh) * | 2019-10-29 | 2020-02-11 | 杭州易博特科技有限公司 | 一种基于激光雷达的托盘识别方法、系统和电子设备 |
| CN111445517A (zh) * | 2020-03-14 | 2020-07-24 | 苏州艾吉威机器人有限公司 | 机器人视觉末端定位方法、装置及计算机可读存储介质 |
| CN111738253A (zh) * | 2019-04-30 | 2020-10-02 | 北京京东乾石科技有限公司 | 叉车托盘定位方法、装置、设备和可读存储介质 |
| CN112070759A (zh) * | 2020-09-16 | 2020-12-11 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
| CN112084940A (zh) * | 2020-09-08 | 2020-12-15 | 南京和瑞供应链管理有限公司 | 物资盘点管理系统及方法 |
| CN112102397A (zh) * | 2020-09-10 | 2020-12-18 | 敬科(深圳)机器人科技有限公司 | 一种多层零件的定位方法、设备、系统及可读存储介质 |
| CN112784799A (zh) * | 2021-02-01 | 2021-05-11 | 三一机器人科技有限公司 | Agv后向栈板及障碍物识别方法、装置及agv |
| CN113112500A (zh) * | 2021-05-06 | 2021-07-13 | 安徽省特种设备检测院 | 基于机器视觉的电梯曳引轮磨损量表征方法及系统 |
| CN113418467A (zh) * | 2021-06-16 | 2021-09-21 | 厦门硅谷动能信息技术有限公司 | 基于ToF点云数据检测一般及黑色行李尺寸的方法 |
| CN113435524A (zh) * | 2021-06-30 | 2021-09-24 | 兰剑智能科技股份有限公司 | 智能堆垛机及托盘位置异常的识别方法、装置和设备 |
| CN113627548A (zh) * | 2021-08-17 | 2021-11-09 | 熵智科技(深圳)有限公司 | 一种平面工件模板匹配方法、装置、介质及计算机设备 |
| CN114049352A (zh) * | 2022-01-11 | 2022-02-15 | 中航源创(天津)智能设备有限公司 | 一种应用于自助行李托运的行李托盘快速检测方法 |
| CN114332219A (zh) * | 2021-12-27 | 2022-04-12 | 机科发展科技股份有限公司 | 一种基于三维点云处理的托盘定位方法及装置 |
| CN114820391A (zh) * | 2022-06-28 | 2022-07-29 | 山东亚历山大智能科技有限公司 | 基于点云处理的仓储托盘检测定位方法及系统 |
| CN115761210A (zh) * | 2023-01-09 | 2023-03-07 | 成都睿芯行科技有限公司 | 一种基于深度相机的托盘识别定位方法 |
| CN115965855A (zh) * | 2023-02-14 | 2023-04-14 | 成都睿芯行科技有限公司 | 一种提高托盘识别精度的方法及装置 |
| CN116040261A (zh) * | 2022-12-23 | 2023-05-02 | 青岛宝佳智能装备股份有限公司 | 一种专用托盘翻转机 |
| CN116342695A (zh) * | 2023-05-29 | 2023-06-27 | 未来机器人（深圳）有限公司 | 无人叉车放货检测方法及装置、无人叉车、存储介质 |
| CN117853484A (zh) * | 2024-03-05 | 2024-04-09 | 湖南建工交建宏特科技有限公司 | 一种基于视觉的桥梁损伤智能监测方法及系统 |
| CN110780276B (zh) * | 2019-10-29 | 2024-06-04 | 杭州海康机器人股份有限公司 | 一种基于激光雷达的托盘识别方法、系统和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809689A (zh) * | 2015-05-15 | 2015-07-29 | 北京理工大学深圳研究院 | 一种基于轮廓的建筑物点云模型底图配准方法 |
| CN105572687A (zh) * | 2015-12-11 | 2016-05-11 | 中国测绘科学研究院 | 一种基于车载激光雷达点云制作建筑物数字线划图的方法 |
| CN106248035A (zh) * | 2016-08-19 | 2016-12-21 | 苏州大学 | 一种基于点云模型的面轮廓度精确检测的方法及系统 |
-
2017
- 2017-07-25 CN CN201710611765.2A patent/CN107507167B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809689A (zh) * | 2015-05-15 | 2015-07-29 | 北京理工大学深圳研究院 | 一种基于轮廓的建筑物点云模型底图配准方法 |
| CN105572687A (zh) * | 2015-12-11 | 2016-05-11 | 中国测绘科学研究院 | 一种基于车载激光雷达点云制作建筑物数字线划图的方法 |
| CN106248035A (zh) * | 2016-08-19 | 2016-12-21 | 苏州大学 | 一种基于点云模型的面轮廓度精确检测的方法及系统 |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059993A (zh) * | 2018-01-19 | 2019-07-26 | 北京京东尚科信息技术有限公司 | 一种仓储管理的方法和装置 |
| CN109463003A (zh) * | 2018-03-05 | 2019-03-12 | 香港应用科技研究院有限公司 | 对象识别 |
| CN108564013B (zh) * | 2018-03-23 | 2021-08-03 | 上海数迹智能科技有限公司 | 一种基于手势轮廓快速匹配的手势识别方法 |
| CN108564013A (zh) * | 2018-03-23 | 2018-09-21 | 上海数迹智能科技有限公司 | 一种基于手势轮廓快速匹配的手势识别方法 |
| CN108931206A (zh) * | 2018-08-01 | 2018-12-04 | 湖南大学 | 用于钢轨轮廓离群点检测及有效廓形识别的方法 |
| CN108931206B (zh) * | 2018-08-01 | 2020-04-24 | 湖南大学 | 用于钢轨轮廓离群点检测及有效廓形识别的方法 |
| CN110058591A (zh) * | 2019-04-24 | 2019-07-26 | 合肥柯金自动化科技股份有限公司 | 一种基于激光雷达与深度摄像机混合导航的agv系统 |
| CN111738253B (zh) * | 2019-04-30 | 2023-08-08 | 北京京东乾石科技有限公司 | 叉车托盘定位方法、装置、设备和可读存储介质 |
| CN111738253A (zh) * | 2019-04-30 | 2020-10-02 | 北京京东乾石科技有限公司 | 叉车托盘定位方法、装置、设备和可读存储介质 |
| CN110780276A (zh) * | 2019-10-29 | 2020-02-11 | 杭州易博特科技有限公司 | 一种基于激光雷达的托盘识别方法、系统和电子设备 |
| CN110780276B (zh) * | 2019-10-29 | 2024-06-04 | 杭州海康机器人股份有限公司 | 一种基于激光雷达的托盘识别方法、系统和电子设备 |
| WO2021184757A1 (zh) * | 2020-03-14 | 2021-09-23 | 苏州艾吉威机器人有限公司 | 机器人视觉末端定位方法、装置及计算机可读存储介质 |
| CN111445517A (zh) * | 2020-03-14 | 2020-07-24 | 苏州艾吉威机器人有限公司 | 机器人视觉末端定位方法、装置及计算机可读存储介质 |
| CN112084940A (zh) * | 2020-09-08 | 2020-12-15 | 南京和瑞供应链管理有限公司 | 物资盘点管理系统及方法 |
| CN112102397A (zh) * | 2020-09-10 | 2020-12-18 | 敬科(深圳)机器人科技有限公司 | 一种多层零件的定位方法、设备、系统及可读存储介质 |
| CN112102397B (zh) * | 2020-09-10 | 2021-05-11 | 敬科(深圳)机器人科技有限公司 | 一种多层零件的定位方法、设备、系统及可读存储介质 |
| CN112070759A (zh) * | 2020-09-16 | 2020-12-11 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
| CN112070759B (zh) * | 2020-09-16 | 2023-10-24 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
| CN112784799A (zh) * | 2021-02-01 | 2021-05-11 | 三一机器人科技有限公司 | Agv后向栈板及障碍物识别方法、装置及agv |
| CN113112500A (zh) * | 2021-05-06 | 2021-07-13 | 安徽省特种设备检测院 | 基于机器视觉的电梯曳引轮磨损量表征方法及系统 |
| CN113418467A (zh) * | 2021-06-16 | 2021-09-21 | 厦门硅谷动能信息技术有限公司 | 基于ToF点云数据检测一般及黑色行李尺寸的方法 |
| CN113435524A (zh) * | 2021-06-30 | 2021-09-24 | 兰剑智能科技股份有限公司 | 智能堆垛机及托盘位置异常的识别方法、装置和设备 |
| WO2023272985A1 (zh) * | 2021-06-30 | 2023-01-05 | 兰剑智能科技股份有限公司 | 智能堆垛机及托盘位置异常的识别方法、装置和设备 |
| CN113627548A (zh) * | 2021-08-17 | 2021-11-09 | 熵智科技(深圳)有限公司 | 一种平面工件模板匹配方法、装置、介质及计算机设备 |
| CN114332219B (zh) * | 2021-12-27 | 2023-01-17 | 机科发展科技股份有限公司 | 一种基于三维点云处理的托盘定位方法及装置 |
| CN114332219A (zh) * | 2021-12-27 | 2022-04-12 | 机科发展科技股份有限公司 | 一种基于三维点云处理的托盘定位方法及装置 |
| CN114049352A (zh) * | 2022-01-11 | 2022-02-15 | 中航源创(天津)智能设备有限公司 | 一种应用于自助行李托运的行李托盘快速检测方法 |
| CN114820391A (zh) * | 2022-06-28 | 2022-07-29 | 山东亚历山大智能科技有限公司 | 基于点云处理的仓储托盘检测定位方法及系统 |
| CN116040261B (zh) * | 2022-12-23 | 2023-09-19 | 青岛宝佳智能装备股份有限公司 | 一种专用托盘翻转机 |
| CN116040261A (zh) * | 2022-12-23 | 2023-05-02 | 青岛宝佳智能装备股份有限公司 | 一种专用托盘翻转机 |
| CN115761210A (zh) * | 2023-01-09 | 2023-03-07 | 成都睿芯行科技有限公司 | 一种基于深度相机的托盘识别定位方法 |
| CN115965855A (zh) * | 2023-02-14 | 2023-04-14 | 成都睿芯行科技有限公司 | 一种提高托盘识别精度的方法及装置 |
| CN116342695B (zh) * | 2023-05-29 | 2023-08-25 | 未来机器人（深圳）有限公司 | 无人叉车放货检测方法及装置、无人叉车、存储介质 |
| CN116342695A (zh) * | 2023-05-29 | 2023-06-27 | 未来机器人（深圳）有限公司 | 无人叉车放货检测方法及装置、无人叉车、存储介质 |
| CN117853484A (zh) * | 2024-03-05 | 2024-04-09 | 湖南建工交建宏特科技有限公司 | 一种基于视觉的桥梁损伤智能监测方法及系统 |
| CN117853484B (zh) * | 2024-03-05 | 2024-05-28 | 湖南建工交建宏特科技有限公司 | 一种基于视觉的桥梁损伤智能监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507167B (zh) | 2020-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507167A (zh) | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 | |
| CN110084850B (zh) | 一种基于图像语义分割的动态场景视觉定位方法 | |
| Keller et al. | A new benchmark for stereo-based pedestrian detection | |
| Fu et al. | A survey of traffic sign recognition | |
| CN103927526B (zh) | 一种基于高斯差分多尺度边缘融合的车辆检测方法 | |
| CN107610176A (zh) | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 | |
| CN107218927B (zh) | 一种基于tof相机的货物托盘检测系统和方法 | |
| CN112613378B (zh) | 3d目标检测方法、系统、介质及终端 | |
| CN111273305A (zh) | 基于全局与局部栅格图多传感器融合道路提取与索引方法 | |
| CN106251353A (zh) | 弱纹理工件及其三维位姿的识别检测方法及系统 | |
| CN111046843B (zh) | 一种智能驾驶环境下的单目测距方法 | |
| KR20200126141A (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
| CN107885224A (zh) | 基于三目立体视觉的无人机避障方法 | |
| CN109407115B (zh) | 一种基于激光雷达的路面提取系统及其提取方法 | |
| Liu et al. | 6D pose estimation of occlusion-free objects for robotic Bin-Picking using PPF-MEAM with 2D images (occlusion-free PPF-MEAM) | |
| Sun et al. | Accurate lane detection with atrous convolution and spatial pyramid pooling for autonomous driving | |
| Li et al. | A new 3D LIDAR-based lane markings recognition approach | |
| Kok et al. | Validation of Harris detector and eigen features detector | |
| Xu et al. | 2D/3D sensor exploitation and fusion for enhanced object detection | |
| Seegmiller et al. | Optical flow odometry with robustness to self-shadowing | |
| CN108460348B (zh) | 基于三维模型的道路目标检测方法 | |
| Börcs et al. | A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
| Lertniphonphan et al. | 2d to 3d label propagation for object detection in point cloud | |
| Han et al. | A real-time lidar and vision based pedestrian detection system for unmanned ground vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |