CN116805234A - 一种基于激光雷达及相机融合的仓库物资管控方法 - Google Patents

一种基于激光雷达及相机融合的仓库物资管控方法 Download PDF

Info

Publication number
CN116805234A
CN116805234A CN202310682382.XA CN202310682382A CN116805234A CN 116805234 A CN116805234 A CN 116805234A CN 202310682382 A CN202310682382 A CN 202310682382A CN 116805234 A CN116805234 A CN 116805234A
Authority
CN
China
Prior art keywords
camera
coordinate system
laser radar
detection
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310682382.XA
Other languages
English (en)
Inventor
朱伟
王刘俊
单宝旭
郑林英
杨秀彬
卢迪
张成威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Original Assignee
Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch filed Critical Jiaxing Hengchuang Electric Power Group Co ltd Bochuang Material Branch
Priority to CN202310682382.XA priority Critical patent/CN116805234A/zh
Publication of CN116805234A publication Critical patent/CN116805234A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开一种基于激光雷达及相机融合的仓库物资管控方法，旨在解决目前仓库监控采用相机监控导致出现目标检测假阳性的问题，包括：获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；在图像上划定禁止乱堆放物资区域，得到基于设备坐标系的三维电子围栏闭合区域；分别进行检测得到相机检测结果和激光雷达初步检测结果；将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果；激光雷达和相机联合管控，对物资进行检测判断。本发明的方法解决了目标检测假阳性的问题，大大提升了检测的准确性。

Description

一种基于激光雷达及相机融合的仓库物资管控方法
技术领域
本发明涉及物资管控技术领域，具体涉及一种基于激光雷达及相机融合的仓库物资管控方法。
背景技术
目前的仓库监控技术仅仅依赖于监控枪机的画面检测，并根据现场人员判断是否存在物资乱堆放和违规操作的问题。对于仓库管控，人员违规行为、物资物料乱堆放的问题仅依赖于监控摄像头完全不能判断，通过监控枪机对仓库过道或者规定区域进行物资检测不能达到完全准确的效果，甚至可能由于光线等问题出现目标检测假阳性的问题；导致检测结果不精确，甚至定位失败。
相比较于相机监控，激光雷达不受外部光照影响，能够在弱光等环境下稳定工作，并能够获得物体的形状大小和深度，但不能够扫描出物体的具体纹理、颜色、类别等信息，缺乏捕捉具体信息的能力。当基于图像目标检测物资出现假阳性、错误检测的问题时，仅仅依赖于相机不能解决是否存在假阳性的问题。
在中国专利文献上公开的“一种基于计算机视觉的新能源备品备件仓库智能管理方法”，其公开号为CN114971483A，公开了一种基于计算机视觉的新能源备品备件仓库智能管理方法，该方法包括：获取仓库监控图像，并通过监控图像的矫正拼接得到全局图像；获取全局图像中的人员位置信息，并根据人员位置信息得到人体姿态识别结果；获取根据人员位置信息和人体姿态识别结果得到的备品备件数量值；通过判断备品备件数量值和预设阈值大小以实时预警。但其仅仅根据仓库监控图像来对仓库进行管理，容易出现目标检测中假阳性的问题，导致检测结果不精确。
发明内容
本发明解决了目前仓库监控采用相机监控导致出现目标检测假阳性的问题，提出一种基于激光雷达及相机融合的仓库物资管控方法，对物资进行是否乱堆放和融合定位的检测；根据融合物资检测关联的结果，得到物资的完整属性从而判断是否存在物资乱堆放问题，大大提升检测的准确性。
为了实现上述目的，本发明采用以下技术方案：一种基于激光雷达及相机融合的仓库物资管控方法，包括以下步骤：
S1，获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；
S2，在图像上划定禁止乱堆放物资区域，经过矩阵转换至设备坐标系下，得到基于设备坐标系的三维电子围栏闭合区域；
S3，采用改进后的YOLOv5检测网络进行目标检测，得到相机检测结果；采用改进后的PointNet检测模型进行点云检测，得到激光雷达初步检测结果；
S4，将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；
S5，将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果；
S6，激光雷达和相机联合管控，对物资进行检测判断。
本发明中，首先进行坐标系的标定并划定禁止堆放区域，采用激光雷达和相机对仓库物资堆放处进行物资检测得到激光雷达初步检测结果和相机检测结果；通过聚类算法去除点云数据中的噪点数据和背景点云数据得到检测后结果，再将检测结果通过雷达激光与相机之间的外参矩阵投影到相机的像素坐标系下，确定基于相机的物料检测结果中的2D边界框，将2D边界框中的点云与相机检测结果进行关联，保留正确的检测结果，再与原始三维点云数据检测结果机型关联可对物资进行融合定位，获取物资的三维特征信息，并能够可视化在图像中，使得三维物体的展示更加直观。
作为优选，所述步骤S1具体为：获取时间同步的激光雷达点云和相机图像，通过标定工具获得相机内参矩阵和激光雷达到相机坐标系的外参矩阵，雷达坐标系和相机坐标系之间通过旋转平移矩阵进行转换，雷达坐标系和像素坐标系之间的转换由相机内部参数和外部参数决定。
本发明中，在获取到相应的激光雷达点云和相机图像之后，获取标定参数，并进行坐标系之间的转换。
作为优选，所述步骤S2包括以下步骤：
S21，定义设备坐标系，计算设备坐标系分别与像素坐标系和雷达坐标系之间的转换矩阵；
S22，在图像上手动划定区域，获取所划定区域的像素坐标值，转换至设备坐标系下得到设备坐标系下电子围栏所有坐标信息；
S23，激光雷达监测到物资存在后，获取所有基于雷达坐标系的物资坐标值，经矩阵转换至设备坐标系后得到设备坐标系下的物资三维坐标特征信息。
本发明中，首先，定义设备坐标系，通过设备坐标系和像素坐标系之间的H矩阵转换得到设备坐标系下的三维特征信息；此外，激光雷达坐标系通过矩阵转换到定义的设备坐标系下，将激光雷达坐标系和像素坐标系统一到设备坐标系下；手动划定区域在图像上获得所划区域的像素坐标值，转换到设备坐标系下得到设备坐标系下电子围栏所有的(X,Y,Z)坐标，即确定电子围栏在设备坐标系下的位置信息。
作为优选，所述改进后的YOLOv5检测网络包括：
将主干网络中的SPP网络替换成PANet特征金字塔网络；
引入CBAM注意力机制模块选择聚焦位置，CBAM注意力机制模块包括通道注意力机制模块和空间注意力模块。
本发明中，将主干网络中的SPP网络替换成PANet特征金字塔网络，达到轻量化的目的，且具有更少的计算量和参数量，PANet是一种特征金字塔网络，能够将不同尺度的特征图进行有效的融合；引入CBAM注意力机制模块能够产生更具有分辨性的特征，并使网络获取更多的上下文和空间信息。
作为优选，所述改进后的PointNet检测模型包括：
PointNet检测模型包括特征提取模块和全连接层，在特征提取模块和全连接层之间引入GAT模块处理点云局部特征。
本发明中，使用GAT模块对PointNet输出的全局特征向量进行进一步的节点信息提取；GAT模块利用注意力机制为每个节点分配不同的重要性，提高节点的表示质量。
作为优选，所述步骤S4包括以下步骤：
S41，根据激光雷达初步检测结果并通过K-means聚类算法对检测到的点云进行聚类形成点云簇，点云簇覆盖物资表面；
S42，经过外参矩阵和内参矩阵转换至像素坐标系下，继而投影至基于相机目标检测到的物资边界框中。
本发明中，通过聚类算法去除点云数据中的噪点数据和背景点云数据得到检测后结果，再将检测结果通过雷达激光与相机之间的外参矩阵投影到相机的像素坐标系下，确定基于相机的物料检测结果中的2D边界框。
作为优选，所述步骤S6包括：
S61，当相机检测到物资假阳性时，激光雷达和相机融合判断是否出现错误检测；
S62，当相机检测错误检测所划定区域外物资时，与激光雷达联合判断是否存在于设备坐标系下闭合区域内。
本发明中，由于基于相机的检测结果可能受到光线、角度的问题干扰，导致出现检测假阳性以及错误检测到物资的问题，针对两种不同的问题，分别采用不同的措施。
作为优选，所述S61包括以下步骤：
S611，激光雷达和相机采集同时间的点云数据和图像，采用RANSAC算法提取地面的所有点云数据并转换至设备坐标系下；
S612，判断是否有与地面Z轴差异超过3cm的点云簇，若是，进入步骤S513，若否，说明目标检测出现假阳性；
S613，判断点云簇是否在电子围栏闭合区域内，若是，则进行告警。
本发明中，使用步骤S61的方法能够解决目标检测假阳性的问题，且能够大大提升检测准确性。
作为优选，所述步骤S62包括以下步骤：
S621，激光雷达检测到物资，采用RANSAC算法提取地面的所有点云数据；
S622，判断该物资在设备坐标系下的地面坐标是否在地面闭合区域位置范围内，若是，则进行告警，若否，则相机出现错误检测。
本发明中，采用步骤S62的方法能够解决错误检测到区域外物资的问题，并且能够发出报警。
作为优选，所述地面闭合区域位置范围为基于设备坐标系的X轴和Y轴坐标范围，物资在设备坐标系下的地面坐标为物资关于X轴和Y轴的坐标。
本发明中，判断物资在设备坐标系下X轴和Y轴的坐标是否在地面闭合区域位置范围的X轴和Y轴坐标范围之内，即可验证相机是否出现错误检测。
本发明具有如下的有益效果：
本发明涉及的一种基于激光雷达及相机融合的仓库物资管控方法，对物资进行是否乱堆放和融合定位的检测；根据融合物资检测关联的结果，得到物资的完整属性从而判断是否存在物资乱堆放问题，大大提升检测的准确性。
附图说明
图1是本发明一种基于激光雷达及相机融合的仓库物资管控方法的流程图；
图2是本发明一种基于激光雷达及相机融合的仓库物资管控方法步骤S61的流程图；
图3是本发明一种基于激光雷达及相机融合的仓库物资管控方法步骤S62的流程图；
图4是本发明一种基于激光雷达及相机融合的仓库物资管控方法改进后的YOLOv5检测网络示意图；
图5是本发明一种基于激光雷达及相机融合的仓库物资管控方法CBAM注意力机制模块的示意图；
图6是本发明一种基于激光雷达及相机融合的仓库物资管控方法改进后的PointNet检测模型示意图；
图7是本发明一种基于激光雷达及相机融合的仓库物资管控方法GAT模块的示意图。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
本实施例提出一种基于激光雷达及相机融合的仓库物资管控方法，参考图1，包括有以下的多个步骤。
步骤S1，获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；具体的，获取时间同步的激光雷达点云和相机图像，通过标定工具获得相机内参矩阵和激光雷达到相机坐标系的外参矩阵，雷达坐标系和相机坐标系之间通过旋转平移矩阵进行转换，雷达坐标系和像素坐标系之间的转换由相机内部参数和外部参数决定。
雷达坐标系和相机坐标系之间需通过旋转平移矩阵进行刚体变换，雷达坐标系下的点表示为(XL,YL,ZL)T，相机坐标系下的点表示为(Xc,Yc,Zc)T
并且有如下关系：
其中，R3×3表示旋转矩阵，T3×1表示平移矩阵。雷达坐标系转换到像素坐标系通过相机内部参数和外部参数共同决定，其过程如下：
其中，Zc是比例因子，fx，fy是焦距，u0，v0是相对于成像平面的坐标。
步骤S2，在图像上划定禁止乱堆放物资区域，经过矩阵转换至设备坐标系下，得到基于设备坐标系的三维电子围栏闭合区域；具体的，包括以下子步骤。
步骤S21，定义设备坐标系，计算设备坐标系分别与像素坐标系和雷达坐标系之间的转换矩阵；具体的，通过设备坐标系和像素坐标系之间的H矩阵转换得到设备坐标系下的三维特征信息；此外，激光雷达坐标系同时需要通过矩阵转换到定义的设备坐标系下，将激光雷达坐标系和像素坐标系统一到设备坐标系下。
步骤S22，在图像上手动划定区域，获取所划定区域的像素坐标值，转换至设备坐标系下得到设备坐标系下电子围栏所有坐标信息；具体的，经过坐标系之间的互相转换，手动划定区域在图像上可获得所划区域的像素坐标值，转换到设备坐标系下得到设备坐标系下电子围栏所有的(X,Y,Z)坐标，即可确定电子围栏在设备坐标系下的位置信息。
步骤S23，激光雷达监测到物资存在后，获取所有基于雷达坐标系的物资坐标值，经矩阵转换至设备坐标系后得到设备坐标系下的物资三维坐标特征信息；具体的，激光雷达采集到的点云信息有自身的坐标系，并对应属于自己坐标系的(x,y,z)的坐标值信息，当检测到有物资存在时，获得物资所有基于雷达坐标系的(x,y,z)坐标值，则经过矩阵转换到设定的设备坐标系下得到该坐标系下的物资三维坐标特征信息。
步骤S3，参考图4和图5，采用改进后的YOLOv5检测网络进行目标检测，得到相机检测结果；参考图6和图7，采用改进后的PointNet检测模型进行点云检测，得到激光雷达初步检测结果；
参考图4和图5，改进后的YOLOv5检测网络包括：将主干网络中的SPP网络替换成PANet特征金字塔网络；引入CBAM注意力机制模块选择聚焦位置，CBAM注意力机制模块包括通道注意力机制模块和空间注意力模块。
更为具体的，在相机的目标检测过程中，传统的YOLOv5检测网络仍然存在小目标难以检测、复杂场景检测困难的问题，为了提升对小目标物体的检测准确性，采用改进后的YOLOv5检测网络进行检测。
改进点一，YOLOv5检测网络对于物资以及部署的监控枪机来说，由于图像帧中的物资的大小、位置的不确定性，因此去除YOLOv5检测网络在最高尺度的融合和预测，采用两层结构两层的检测网络，在保持检测效果的同时，节省了检测的时间。如图4所示，YOLOv5检测网络包括主干网络、头网络和检测网络，将其中的主干网络中的SPP网络替换成PANet特征金字塔网络达到更轻量化，具有更少的计算量和参数量效果；其中，PANet是一种特征金字塔网络，它能够将不同尺度的特征图进行有效的融合；首先进行上采样得到不同尺寸的特征图，上采样具体公式如下：
其中，到/>是分别表示特征提取网络的不同层次的输出特征图，Up(·)表示上采样操作，P2到P5分别表示不同尺度的特征金字塔，通过对不同尺度特征的融合，PANet网络可以提高目标检测的准确性和鲁棒性。
改进点二，参考图5，引入CBAM注意力机制模块选择聚焦位置，产生更具有分辨性的特征，并使网络获取更多的上下文和空间信息，CBAM注意力机制模块分为通道注意力机制模块和空间注意力机制模块；通道注意力模块采用了全局平均池化和最大池化两种方式来分别利用不同的信息，具体如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，σ表示激活函数，F是输入特征图。在通道注意力模块之后，再引入空间注意力模块，将通道注意力模块输出的特征F'作为本模块的输入特征图，经过平均池化和最大池化得到特征图；具体为：
Ms(F)＝σ(f7*7([AvgPool(F)；MaxPool(F)]))
其中，f7*7表示是滤波大小。YOLOv5检测网络中引入CBAM注意力机制可以提高模型的准确性，减少噪声通道和不重要的空间位置的影响，取得更加准确的检测结果。
更为具体的，参考图6和图7，在激光雷达点云检测过程中，由于传统的PointNet检测模型无法适用于仓库等大规模场景，并且无法获取点云的局部特征，所以在原先得PointNet检测模型中也引入GAT模块处理点云局部特征，PointNet检测模型将点云中每个点的坐标作为输入，经过多个全连接层，最终输出整个点云的全局特征向量，具体如下：
zi＝Wxi
αi＝softmaxj(a(Wxi,Wxj))
其中，W代表权重，σ代表激活函数，softmax是分类函数，a是一个与权重矩阵W相关的函数，通常为一个前馈神经网络。αij表示节点i和节点j的相对重要性，理解为节点j对节点i的贡献，表示节点i的更新特征向量。
使用GAT模块对PointNet检测模型输出的全局特征向量进行进一步的节点信息提取；GAT模块利用注意力机制为每个节点分配不同的重要性，提高节点的表示质量。这可以通过将全局特征向量作为输入传递给GAT模块，并通过多层图卷积操作来提取节点特征最后将节点特征向量传递给分类器进行检测分类。对于改进后的检测模型，如图6所示。
参考图6和图7，通过引入GAT模块，可以逐渐提取出点云中更抽象的语义特征。最后，将点级别特征和全局特征通过拼接的方式进行融合，输出检测结果。GAT模块中采用LeakyReLu激活函数和自注意力机制自适应调整点云特征聚合方式，从而提高特征表示能力；具体如下：
其中，α通常设置为0.1。
在经过点云检测后得到的检测结果，通过体素滤波方法将点云分割成体素(三维像素)网格，然后对每个体素中的点云进行平均或随机采样，从而减少点云的密度并去除噪点。有利于准确的检测到完整的物资点云结果。
步骤S4，将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；经过步骤S3的目标检测和三维点云检测之后得到检测结果，将激光雷达初步检测结果经过外参矩阵投影到图像进行物资定位；具体包括以下两个子步骤。
步骤S41，根据激光雷达初步检测结果并通过K-means聚类算法对检测到的点云进行聚类形成点云簇，点云簇覆盖物资表面；具体的，对于每一个样本i计算其应该属于的类：
其中，c(i)代表样例i与k个类中距离最近的类，arg是标记符号，即表明哪个样本参数属于哪个类用的，x(i)是给定的样本，min表示最小化类的函数，对于每一个类，重新计算该类的质心μj，具体表示为：
经过聚类算法得到的点云簇基本覆盖物资表面，具体大小为50cm×50cm×50cm。
步骤S42，经过外参矩阵和内参矩阵转换至像素坐标系下，继而投影至基于相机目标检测到的物资边界框中。
步骤S5，将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果。
步骤S6，激光雷达和相机联合管控，对物资进行检测判断；具体包括以下步骤。
步骤S61，参考图2，当相机检测到物资假阳性时，激光雷达和相机融合判断是否出现错误检测；具体步骤如下：
步骤S611，激光雷达和相机采集同时间的点云数据和图像，采用RANSAC算法提取地面的所有点云数据并转换至设备坐标系下。
步骤S612，判断是否有与地面Z轴差异超过3cm的点云簇，若是，进入步骤S513，若否，说明目标检测出现假阳性。
步骤S613，判断点云簇是否在电子围栏闭合区域内，若是，则进行告警。
具体的，采用RANSAC算法提取地面的所有点云数据并转换到设备坐标系下；有如下表达式：
其中，k是算法规定的最大遍历次数，p表示有用的概率，ωn是需要的n个数据的取样概率。为了得到更可信的参数，标准偏差或它的乘积可以被加到k上。k的标准偏差定义为：
根据k的标准差可知算法对点云数据进行处理得到具体差异，从而将点云中地面点云提取出来。
步骤S61中，设置与Z轴变化差异的阈值为3cm之内，在设备坐标系下通过Z轴变化范围判断，若没有发现与地面差异超过3cm的点云簇，说明目标检测出现假阳性问题；若发现与Z轴有超过3cm的点云簇，判断该点云簇是否在电子围栏闭合区域内，若在闭合区域内则告警该禁止堆放区域出现物资。
步骤S62，参考图3，当相机检测错误检测所划定区域外物资时，与激光雷达联合判断是否存在于设备坐标系下闭合区域内，具体包括以下子步骤。
步骤S621，激光雷达检测到物资，采用RANSAC算法提取地面的所有点云数据。
步骤S622，判断该物资在设备坐标系下的地面坐标是否在地面闭合区域位置范围内，若是，则进行告警，若否，则相机出现错误检测。
在步骤S62中，当相机检测到物资存在，但是无法判断物资是否在划分区域内，可能会出现在区域外，但仍然检测到物资并且误判断在区域内，则需要与激光雷达联合判断是否存在设备坐标系下闭合区域内。
步骤S62中，地面闭合区域位置范围为基于设备坐标系的X轴和Y轴坐标范围，物资在设备坐标系下的地面坐标为物资关于X轴和Y轴的坐标。具体的，获得设备坐标系下X轴和Y轴的坐标信息，通过两个轴定义一个基于地面点云的地面闭合区域位置范围。激光雷达检测到物资后得到物资所有点云的坐标信息，判断该物资在设备坐标系下的X轴和Y轴的坐标是否在设定的地面闭合区域位置的X轴和Y轴的坐标范围之内，若在该地面闭合区域位置内，则判定该物资在划定区域中，发出警报告知该禁止堆放物资区域内存在物资堆放。
本实施例中，首先进行坐标系的标定并划定禁止堆放区域，采用激光雷达和相机对仓库物资堆放处进行物资检测得到激光雷达初步检测结果和相机检测结果；通过聚类算法去除点云数据中的噪点数据和背景点云数据得到检测后结果，再将检测结果通过雷达激光与相机之间的外参矩阵投影到相机的像素坐标系下，确定基于相机的物料检测结果中的2D边界框，将2D边界框中的点云与相机检测结果进行关联，保留正确的检测结果，再与原始三维点云数据检测结果机型关联可对物资进行融合定位，获取物资的三维特征信息，并能够可视化在图像中，使得三维物体的展示更加直观。

Claims (10)

1.一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，包括以下步骤：
S1，获取时间同步的激光雷达点云和相机图像，根据激光雷达和相机的标定参数进行坐标系标定；
S2，在图像上划定禁止乱堆放物资区域，经过矩阵转换至设备坐标系下，得到基于设备坐标系的三维电子围栏闭合区域；
S3，采用改进后的YOLOv5检测网络进行目标检测，得到相机检测结果；采用改进后的PointNet检测模型进行点云检测，得到激光雷达初步检测结果；
S4，将激光雷达初步检测结果投影至图像中，确定基于相机下的物资边界框；
S5，将基于相机下的物资边界框与相机目标检测物资边界框进行关联修正，得到最终的检测结果；
S6，激光雷达和相机联合管控，对物资进行检测判断。
2.根据权利要求1所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S1具体为：获取时间同步的激光雷达点云和相机图像，通过标定工具获得相机内参矩阵和激光雷达到相机坐标系的外参矩阵，雷达坐标系和相机坐标系之间通过旋转平移矩阵进行转换，雷达坐标系和像素坐标系之间的转换由相机内部参数和外部参数决定。
3.根据权利要求2所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S2包括以下步骤：
S21，定义设备坐标系，计算设备坐标系分别与像素坐标系和雷达坐标系之间的转换矩阵；
S22，在图像上手动划定区域，获取所划定区域的像素坐标值，转换至设备坐标系下得到设备坐标系下电子围栏所有坐标信息；
S23，激光雷达监测到物资存在后，获取所有基于雷达坐标系的物资坐标值，经矩阵转换至设备坐标系后得到设备坐标系下的物资三维坐标特征信息。
4.根据权利要求1或2或3所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述改进后的YOLOv5检测网络包括：
将主干网络中的SPP网络替换成PANet特征金字塔网络；
引入CBAM注意力机制模块选择聚焦位置，CBAM注意力机制模块包括通道注意力机制模块和空间注意力模块。
5.根据权利要求1或2或3所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述改进后的PointNet检测模型包括：
PointNet检测模型包括特征提取模块和全连接层，在特征提取模块和全连接层之间引入GAT模块处理点云局部特征。
6.根据权利要求5所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S4包括以下步骤：
S41，根据激光雷达初步检测结果并通过K-means聚类算法对检测到的点云进行聚类形成点云簇，点云簇覆盖物资表面；
S42，经过外参矩阵和内参矩阵转换至像素坐标系下，继而投影至基于相机目标检测到的物资边界框中。
7.根据权利要求1或2或3所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S6包括以下步骤：
S61，当相机检测到物资假阳性时，激光雷达和相机融合判断是否出现错误检测；
S62，当相机检测错误检测所划定区域外物资时，与激光雷达联合判断是否存在于设备坐标系下闭合区域内。
8.根据权利要求7所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述S61包括以下步骤：
S611，激光雷达和相机采集同时间的点云数据和图像，采用RANSAC算法提取地面的所有点云数据并转换至设备坐标系下；
S612，判断是否有与地面Z轴差异超过3cm的点云簇，若是，进入步骤S513，若否，说明目标检测出现假阳性；
S613，判断点云簇是否在电子围栏闭合区域内，若是，则进行告警。
9.根据权利要求7或8所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述步骤S62包括以下步骤：
S621，激光雷达检测到物资，采用RANSAC算法提取地面的所有点云数据；
S622，判断该物资在设备坐标系下的地面坐标是否在地面闭合区域位置范围内，若是，则进行告警，若否，则相机出现错误检测。
10.根据权利要求9所述的一种基于激光雷达及相机融合的仓库物资管控方法，其特征在于，所述地面闭合区域位置范围为基于设备坐标系的X轴和Y轴坐标范围，物资在设备坐标系下的地面坐标为物资关于X轴和Y轴的坐标。
CN202310682382.XA 2023-06-09 2023-06-09 一种基于激光雷达及相机融合的仓库物资管控方法 Pending CN116805234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310682382.XA CN116805234A (zh) 2023-06-09 2023-06-09 一种基于激光雷达及相机融合的仓库物资管控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310682382.XA CN116805234A (zh) 2023-06-09 2023-06-09 一种基于激光雷达及相机融合的仓库物资管控方法

Publications (1)

Publication Number Publication Date
CN116805234A true CN116805234A (zh) 2023-09-26

Family

ID=88080281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310682382.XA Pending CN116805234A (zh) 2023-06-09 2023-06-09 一种基于激光雷达及相机融合的仓库物资管控方法

Country Status (1)

Country Link
CN (1) CN116805234A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117329971A (zh) * 2023-12-01 2024-01-02 海博泰科技(青岛)有限公司 一种基于三维激光雷达的车厢平衡检测方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117329971A (zh) * 2023-12-01 2024-01-02 海博泰科技(青岛)有限公司 一种基于三维激光雷达的车厢平衡检测方法和系统
CN117329971B (zh) * 2023-12-01 2024-02-27 海博泰科技(青岛)有限公司 一种基于三维激光雷达的车厢平衡检测方法和系统

Similar Documents

Publication Publication Date Title
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
JP5551595B2 (ja) 滑走路監視システムおよび方法
CN111027401A (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
Wang et al. An overview of 3d object detection
CN114581831B (zh) 基于图像和点云的无人机障碍物检测和避障方法及系统
CN116805234A (zh) 一种基于激光雷达及相机融合的仓库物资管控方法
CN113781415B (zh) 一种x射线图像的缺陷检测方法、装置、设备及介质
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
CN112766046B (zh) 一种目标检测方法及相关装置
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统
CN112215873A (zh) 用于对变电站内多目标跟踪定位的方法
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
CN117606500A (zh) 减速带检测方法、通过方法、网络训练方法及相关装置
CN118097933A (zh) 双光谱雷视一体机交通事件监测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination