CN113674342B - 一种基于面阵3d相机的行李筐快速识别与定位的方法 - Google Patents

一种基于面阵3d相机的行李筐快速识别与定位的方法 Download PDF

Info

Publication number
CN113674342B
CN113674342B CN202111000239.5A CN202111000239A CN113674342B CN 113674342 B CN113674342 B CN 113674342B CN 202111000239 A CN202111000239 A CN 202111000239A CN 113674342 B CN113674342 B CN 113674342B
Authority
CN
China
Prior art keywords
image
camera
weight
array
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111000239.5A
Other languages
English (en)
Other versions
CN113674342A (zh
Inventor
陈翼
杨秀清
向勇
伏鑫炜
马俊勇
陈伯宇
李支茂
王小锐
刘膑丹
廖诗来
李婷
陈小虎
王一锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jing Ke Shenzhen Robot Technology Co ltd
Civil Aviation Logistics Technology Co ltd
Original Assignee
Jing Ke Shenzhen Robot Technology Co ltd
Civil Aviation Logistics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jing Ke Shenzhen Robot Technology Co ltd, Civil Aviation Logistics Technology Co ltd filed Critical Jing Ke Shenzhen Robot Technology Co ltd
Priority to CN202111000239.5A priority Critical patent/CN113674342B/zh
Publication of CN113674342A publication Critical patent/CN113674342A/zh
Application granted granted Critical
Publication of CN113674342B publication Critical patent/CN113674342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于面阵3D相机的行李筐快速识别与定位的方法，其包括：图像获取：通过面阵3D相机获取图像；样本匹配：用训练好的样本集对获取的图像进行匹配，匹配成功则进行图像处理，否则进行下一轮的图像获取并进行样本匹配；图像处理：a.对匹配成功的图像进行灰度化处理；b.对灰度化处理后的图像二值化处理；c.对二值化后的图像进行形态学操作；d.获取行李筐中心点在相机坐标系下的三维信息。该识别方法的硬件部分采用了面阵3D相机进行行李筐的三维信息获取，算法部分使用了深度信息和图像处理相结合的方法。

Description

一种基于面阵3D相机的行李筐快速识别与定位的方法
技术领域
本发明涉及机场行李传送技术领域，更具体的说是一种基于面阵3D相机的行李筐快速识别与定位的方法。
背景技术
随着社会经济的发展，机场的客流量日渐增多，行李筐的回收任务变得繁重，传统的人工搬运的方式不足与满足要求。现发明了协作机器人配合多激光结构光相机完成自动抓取以及码垛的任务。因此，快速准确的对行李筐进行识别与定位，成为了提高机器人抓取效率的关键因素。但由于行李筐在传送带的摆放比较凌乱，这给行李筐识别、定位工作带来了极大的困难。
在传统的视觉识别应用中，多采用线激光扫描相机对物体进行识别。线激光扫描相机在固定时间内只能测量一个截面的轮廓尺寸，如果需要得到一个物体的完整长宽高数据，需要将相机或者物体进行匀速移动进行一次完整的扫描，并且需要知道精确的运行速度才能获取运动方向的长度值。这些特点限制了线扫相机无法满足现阶段的机场行李筐识别的要求。
发明内容
本发明提供一种基于面阵3D相机的行李筐快速识别与定位的方法，以期解决背景技术中的问题。
为了实现上述目的，本发明采用以下技术方案：
一种基于面阵3D相机的行李筐快速识别与定位的方法，包括：
图像获取：通过面阵3D相机获取图像；
样本匹配：用训练好的样本集对获取的图像进行匹配，匹配成功则进行图像处理，否则进行下一轮的图像获取并进行样本匹配；
图像处理：
a.对匹配成功的图像进行灰度化处理；
b.对灰度化处理后的图像二值化处理；
c.对二值化后的图像进行形态学操作；
d.获取行李筐中心点在相机坐标系下的三维信息。
在一些实施例中，所述图像获取：通过面阵3D相机获取图像，具体包括：通过面阵3D相机获取图像，按照实际查询函数返回的帧缓冲的大小分配两组buffer空间，并传递给底层驱动缓冲队列，作为数据获取的通道，在连续模式下，以最高帧率输出图像，上位机对输出图像像素点进行逐个读取作为获取的图像。
在一些实施例中，所述样本集的训练包括用提前采集好需要识别的行李筐图片，并将有效图片和背景图片进行分类，在上位机里进行训练生成样本集。
在一些实施例中，所述对匹配成功的图像进行灰度化处理，包括：24位彩色图像每个像素用3个字节表示，每个字节对应着RGB分量的亮度，当RGB分量值不同时，表现为彩色图像；当RGB分量值相同时，变现为灰度图像，使用转换公式将获取到的图像的RGB分量值转换为相同。
在一些实施例中，所述转换公式为：Gray(i,j)=[R(i,j)+G(i,j)+B(i,j)]/3;
其中，R(i,j)、G(i,j)、B(i,j)分别代表像素第i行的第j列的R、G、B通道的值,Gray(i,j)为单通道第i行的第j列的值。
在一些实施例中，所述对灰度化处理后的图像二值化处理，包括用图像灰度值与二值化阈值进行比较，像素灰度值小于二值化阈值全为0,大于二值化阈值全为255。
在一些实施例中，所述二值化阈值的计算方法为：
T = total / weightTotal，其中：
T为二值化阈值；
total为加权像素之和；
weightTotal为目标轮廓的权重；
所述total的计算公式为：
total = [weight1 * I(x1, y1)]1+[weight2 * I(x2,y2)]2 + …+ [weighti * I(xi, yi)]i；其中，
weight1~weighti为每个像素水平和垂直方向的梯度的最大值，I(x1,y1) ~I(xi,yi)为对应像素点的灰度值；
所述weightTotal的计算方法为：
计算当前像素水平和垂直方向的梯度：
|I(x + 1, y) - I(x - 1, y)|和|I(x, y + 1) - I(x, y - 1)|取两个梯度的最大值作为权重weighti，经过权重累加得出weightTotal：
weightTotal = weight1 + weight2 + … + weighti
其中，I为作用图像，I(x,y)为像素点(x,y)的灰度值，I(x+1,y)、I(x-1,y)、I(x,y+1)、I(x,y-1)是I(x,y)的四个邻域。
在一些实施例中，所述对二值化后的图像进行形态学操作，包括：运用开运算，用3*3的矩阵，扫描图像的每一个像素，用矩阵与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，结果会使二值图像减小一圈；清除异物，放大局部低亮度的区域，简化图像数据，保持基本的形状特性，并除去不相干的结构。
在一些实施例中，所述获取行李筐中心点在相机坐标系下的三维信息，包括：检测行李筐最外层轮廓，优化直线轮廓像素；最后画出行李筐的轮廓和最小外接矩形；通过检测行李筐的高低来获取旋转角度，并得到行李筐中心点在相机坐标系下的三维信息。
附图说明
图1是根据本申请一些实施例所示的基于面阵3D相机的行李筐快速识别与定位的方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
本发明提出了一种基于面阵3D相机的行李筐快速识别与定位方法，以实现对机场传送带中行李筐识别与定位的准确性与快速性。该识别方法的硬件部分采用了面阵3D相机进行行李筐的三维信息获取，算法部分使用了深度信息和图像处理相结合的方法。以下将结合图1对本申请实施例所涉及的基于面阵3D相机的行李筐快速识别与定位的方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。
在本申请的实施例中，如图1所示，本发明的基于面阵3D相机的行李筐快速识别与定位的方法主要由以下几个步骤：
S101：图像获取：将面阵3D相机安装在固定的支架末端，调节支架末端，使相机镜头垂直于传送带，并且使传送带处于相机的视野范围之内； 通过面阵3D相机获取图像；按照实际查询函数返回的帧缓冲的大小分配两组buffer空间，并传递给底层驱动缓冲队列，作为数据获取的通道，在连续模式下，以最高帧率输出图像。上位机对图像像素点进行逐个读取。
本发明采用面阵3D相机进行 RGB 图像和深度图像采集，具体为本实施例使用了FM851相机进行RGB 图像和深度图像的数据采集，然后使用PC 机对采集到的图像进行二值化处理、形态学操作、修正矩形旋转角度等操作。
S102：样本匹配：用训练好的样本集对获取的图像进行匹配，匹配成功则进行图像处理，否则进行下一轮的图像获取并进行样本匹配；其中，所述样本集的训练包括用提前采集好需要识别的行李筐图片，并将有效图片和背景图片进行分类，在上位机里进行训练生成样本集。
S103：图像处理：为了便于获取图像的信息，需要经过以下的步骤处理；
a.为了加快图像处理的速度，先对获取到的图像进行灰度化，24位彩色图像每个像素用3个字节表示，每个字节对应着RGB分量的亮度，当RGB分量值不同时，表现为彩色图像；当RGB分量相同时，变现为灰度图像。使用的转换公式为：
Gray(i,j)=[R(i,j)+G(i,j)+B(i,j)]/3;
其中，R(i,j)、G(i,j)、B(i,j)分别代表像素第i行的第j列的R、G、B通道的值,Gray(i,j)为单通道第i行的第j列的值。
b.对灰度化处理后的图像二值化处理；二值化处理，像素灰度值小于阈值全为0,大于阈值全为255，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。计算当前像素水平和垂直方向的梯度：
|I(x + 1, y) - I(x - 1, y)|和|I(x, y + 1) - I(x, y - 1)|取两个梯度的最大值作为权重，经过权重累加：
weightTotal = weight1 + weight2 + … + weighti
经过乘积累加运算后，得到新的加权像素：
total = [weight1 * I(x1, y1)]1+[weight2 * I(x2,y2)]2 + …+ [weighti *I(xi, yi)]i
最终的阈值为加权像素的值和权重的值相除：
T = total / weightTotal
其中，I为作用图像，I(x,y)为像素点(x,y)的灰度值，I(x+1,y)、I(x-1,y)、I(x,y+1)、I(x,y-1)是I(x,y)的四个邻域，weight1 ~ weighti为每个像素水平和垂直方向的梯度的最大值，I(x1,y1) ~ I(xi,yi)为对应像素点的灰度值，weightTotal为目标轮廓的权重，total为加权像素之和，T为二值化阈值。
c.对二值化后的图像进行形态学操作：运用开运算，先腐蚀再膨胀，腐蚀操作，用3*3的矩阵，扫描图像的每一个像素，用矩阵与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，结果会使二值图像减小一圈。清除一些小异物，放大局部低亮度的区域，简化了图像数据，保持它们基本的形状特性，并除去不相干的结构。
d.获取行李筐中心点在相机坐标系下的三维信息：检测物体最外层轮廓，优化直线轮廓像素；最后画出行李筐的轮廓和最小外接矩形。通过检测行李筐的高低来获取旋转角度，并得到行李筐中心点在相机坐标系下的三维信息。
本申请所披露的基于面阵3D相机的行李筐快速识别与定位的方法可能带来的有益效果包括但不限于：1) 相比于传统双目视觉，采用主动双目技术能够获得更多的景深细节，具有比单目结构光更强的环境光抗干扰能力。2)相比于线激光扫描相机，拥有直观的测量图像的优势。3)受环境干扰小，能够识别不匀速运动的目标
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，包括：
图像获取：通过面阵3D相机获取图像；
样本匹配：用训练好的样本集对获取的图像进行匹配，匹配成功则进行图像处理，否则进行下一轮的图像获取并进行样本匹配；
图像处理：
a.对匹配成功的图像进行灰度化处理；
b.对灰度化处理后的图像二值化处理；
c.对二值化后的图像进行形态学操作；
d.获取行李筐中心点在相机坐标系下的三维信息；
所述二值化阈值的计算方法为：
T = total / weightTotal，其中：
T为二值化阈值；
total为加权像素之和；
weightTotal为目标轮廓的权重；
所述total的计算公式为：
total = [weight1 * I(x1, y1)]1+[weight2 * I(x2,y2)]2 + …+ [weighti * I(xi,yi)]i；其中，
weight1~weighti为每个像素水平和垂直方向的梯度的最大值，I(x1,y1) ~I(xi,yi)为对应像素点的灰度值；
所述weightTotal的计算方法为：
计算当前像素水平和垂直方向的梯度：
|I(x + 1, y) - I(x - 1, y)|和|I(x, y + 1) - I(x, y - 1)|取两个梯度的最大值作为权重weighti，经过权重累加得出weightTotal：
weightTotal = weight1 + weight2 + … + weighti
其中，I为作用图像，I(x,y)为像素点(x,y)的灰度值，I(x+1,y)、I(x-1,y)、I(x,y+1)、I(x,y-1)为像素点(x,y)的四个邻域的像素点的灰度值。
2.根据权利要求1所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述图像获取：通过面阵3D相机获取图像，具体包括：通过面阵3D相机获取图像，按照实际查询函数返回的帧缓冲的大小分配两组buffer空间，并传递给底层驱动缓冲队列，作为数据获取的通道，在连续模式下，以最高帧率输出图像，上位机对输出图像像素点进行逐个读取作为获取的图像。
3.根据权利要求1所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述样本集的训练包括用提前采集好需要识别的行李筐图片，并将有效图片和背景图片进行分类，在上位机里进行训练生成样本集。
4.根据权利要求1所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述对匹配成功的图像进行灰度化处理，包括：24位彩色图像每个像素用3个字节表示，每个字节对应着RGB分量的亮度，当RGB分量值不同时，表现为彩色图像；当RGB分量值相同时，变现为灰度图像，使用转换公式将获取到的图像的RGB分量值转换为相同。
5.根据权利要求4所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述转换公式为：Gray(i,j)=[R(i,j)+G(i,j)+B(i,j)]/3;
其中，R(i,j)、G(i,j)、B(i,j)分别代表像素第i行的第j列的R、G、B通道的值,Gray(i,j)为单通道第i行的第j列的值。
6.根据权利要求4所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述对灰度化处理后的图像二值化处理，包括用图像灰度值与二值化阈值进行比较，像素灰度值小于二值化阈值全为0,大于二值化阈值全为255。
7.根据权利要求1所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述对二值化后的图像进行形态学操作，包括：运用开运算，用3*3的矩阵，扫描图像的每一个像素，用矩阵与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，结果会使二值图像减小一圈；清除异物，放大局部低亮度的区域，简化图像数据，保持基本的形状特性，并除去不相干的结构。
8.根据权利要求1所述的一种基于面阵3D相机的行李筐快速识别与定位的方法，其特征在于，所述获取行李筐中心点在相机坐标系下的三维信息，包括：检测行李筐最外层轮廓，优化直线轮廓像素；最后画出行李筐的轮廓和最小外接矩形；通过检测行李筐的高低来获取旋转角度，并得到行李筐中心点在相机坐标系下的三维信息。
CN202111000239.5A 2021-08-30 2021-08-30 一种基于面阵3d相机的行李筐快速识别与定位的方法 Active CN113674342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111000239.5A CN113674342B (zh) 2021-08-30 2021-08-30 一种基于面阵3d相机的行李筐快速识别与定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111000239.5A CN113674342B (zh) 2021-08-30 2021-08-30 一种基于面阵3d相机的行李筐快速识别与定位的方法

Publications (2)

Publication Number Publication Date
CN113674342A CN113674342A (zh) 2021-11-19
CN113674342B true CN113674342B (zh) 2022-02-11

Family

ID=78547262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000239.5A Active CN113674342B (zh) 2021-08-30 2021-08-30 一种基于面阵3d相机的行李筐快速识别与定位的方法

Country Status (1)

Country Link
CN (1) CN113674342B (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289153B2 (en) * 1998-09-14 2016-03-22 The Board Of Trustees Of The Leland Stanford Junior University Joint and cartilage diagnosis, assessment and modeling
CN100487725C (zh) * 2006-02-15 2009-05-13 中国科学院自动化研究所 一种文档图像二值化方法
GB2453452B (en) * 2006-05-16 2010-12-01 Purdue Research Foundation Three dimensional purified collagen matrices
CN104750969B (zh) * 2013-12-29 2018-01-26 刘进 智能机全方位增强现实信息叠加方法
US10192133B2 (en) * 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
CN206075336U (zh) * 2016-06-22 2017-04-05 成都科曦科技有限公司 自动仓储系统
CN106225678B (zh) * 2016-09-27 2018-10-19 北京正安维视科技股份有限公司 基于3d相机的动态物体定位与体积测量方法
CN106651882B (zh) * 2016-12-29 2019-06-11 广东工业大学 一种基于机器视觉的燕窝杂质识别与检测方法及装置
EP3668437A2 (en) * 2017-08-16 2020-06-24 Covidien LP Method of spatially locating points of interest during a surgical procedure
CN107945192B (zh) * 2017-12-14 2021-10-22 北京信息科技大学 一种托盘纸箱垛型实时检测方法
CN108535789A (zh) * 2018-05-23 2018-09-14 成都圭目机器人有限公司 一种基于机场跑道的异物识别系统
US20210031297A1 (en) * 2019-08-01 2021-02-04 GM Global Technology Operations LLC System and method for multi-task laser welding
CN210295153U (zh) * 2019-08-02 2020-04-10 广东德泰克自动化科技股份有限公司 一种基于面阵视觉的行李识别系统
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN112489065B (zh) * 2020-11-27 2023-07-07 广东奥普特科技股份有限公司 一种棋盘格标定点亚像素提取方法

Also Published As

Publication number Publication date
CN113674342A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
JP6305171B2 (ja) シーン内の物体を検出する方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
CN114219805B (zh) 一种玻璃缺陷智能检测方法
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN107315990B (zh) 一种基于xcs-lbp特征的行人检测算法
Ronggui et al. Extracting roads based on Retinex and improved Canny operator with shape criteria in vague and unevenly illuminated aerial images
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN111339830A (zh) 一种基于多模态数据特征的目标分类方法
CN112287859A (zh) 物体识别方法、装置和系统，计算机可读存储介质
CN111223180A (zh) 一种料场的三维建模方法、装置、存储介质及电子终端
CN112395962A (zh) 数据增广方法及装置、物体识别方法及系统
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN115017931A (zh) 一种批量qr码实时提取方法及系统
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN113674342B (zh) 一种基于面阵3d相机的行李筐快速识别与定位的方法
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN116935356A (zh) 基于弱监督的自动驾驶多模态图片和点云实例分割方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN113537397B (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant