CN117291912A - 一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统 - Google Patents

一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统 Download PDF

Info

Publication number
CN117291912A
CN117291912A CN202311575319.2A CN202311575319A CN117291912A CN 117291912 A CN117291912 A CN 117291912A CN 202311575319 A CN202311575319 A CN 202311575319A CN 117291912 A CN117291912 A CN 117291912A
Authority
CN
China
Prior art keywords
aluminum bar
aluminum
cross
image
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311575319.2A
Other languages
English (en)
Inventor
嵇绪
李伯东
黄翔煊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huidao Information Technology Co ltd
Jiangxi Zhonghui Cloud Chain Supply Chain Management Co ltd
Original Assignee
Shanghai Huidao Information Technology Co ltd
Jiangxi Zhonghui Cloud Chain Supply Chain Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huidao Information Technology Co ltd, Jiangxi Zhonghui Cloud Chain Supply Chain Management Co ltd filed Critical Shanghai Huidao Information Technology Co ltd
Priority to CN202311575319.2A priority Critical patent/CN117291912A/zh
Publication of CN117291912A publication Critical patent/CN117291912A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统,属于仓储管理领域,方法包括:实时采集仓库内目标区域的铝棒图像及点云数据;采用图像分割模型对铝棒图像进行分割,以确定铝棒图像中的铝棒横截面区域;根据铝棒图像中铝棒横截面区域的数量确定目标区域内的铝棒真实数量;在铝棒图像中标注初步铝棒外轮廓;根据铝棒图像中的铝棒横截面区域及初步铝棒外轮廓确定铝棒图像中的铝棒有效比例;根据点云数据确定目标区域内的初步铝棒横截面总面积;根据初步铝棒横截面总面积及铝棒有效比例确定目标区域内的真实铝棒横截面总面积;根据真实铝棒横截面总面积及铝棒长度确定目标区域内的铝棒总体积。本发明提高了铝棒盘点的效率及精度。

Description

一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统
技术领域
本发明涉及仓储管理领域,特别是涉及一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统。
背景技术
传统的铝棒清点方式主要分为手工盘点和盘点机盘点。其中,手工盘点主要依靠人员手工记录盘点内容和商品数据,然后跟电脑核对;盘点机盘点利用数据采集器设备把需要盘点的商品信息导入到采集器中,然后利用盘点机扫描商品条码,显示相应的信息,盘点人员录入实际数量,通过导入系统管理软件进行比对。这种两种盘点方式都需要盘点工人进入到仓储现场进行一一盘点,需要耗费大量的人力和时间,还容易发生误差,导致盘点结果不精确。
此外,还有基于机器视觉的方式实现货物的盘点,但是单纯基于视觉的盘点系统只能得到货物的数量,不能确定货物精确的面积或体积,并且,图像中可能存在遮挡,导致盘点结果不够精准。
发明内容
本发明的目的是提供一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统,可提高铝棒盘点的精度,并精准的确定铝棒的面积和体积。
为实现上述目的,本发明提供了如下方案:
一种基于深度学习和激光雷达的铝棒仓储盘点方法,包括:
实时采集仓库内目标区域的铝棒图像及点云数据;所述目标区域为堆放铝棒的区域;所述点云数据包括多个数据点及各数据点的坐标信息;
采用预先训练好的图像分割模型对所述铝棒图像进行分割,以确定所述铝棒图像中的铝棒横截面区域;
根据所述铝棒图像中铝棒横截面区域的数量,确定所述目标区域内的铝棒真实数量;
在所述铝棒图像中标注初步铝棒外轮廓;
根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例;
根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积;
根据所述初步铝棒横截面总面积及所述铝棒有效比例,确定所述目标区域内的真实铝棒横截面总面积;
根据所述真实铝棒横截面总面积及铝棒长度,确定所述目标区域内的铝棒总体积。
可选地,所述铝棒图像是通过部署在目标区域的摄像头采集的;所述点云数据是通过部署在所述目标区域的激光雷达采集的。
可选地,所述图像分割模型为yolov5。
可选地,根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例,具体包括:
根据所述铝棒图像中的铝棒横截面区域,确定所述铝棒图像中的铝棒总面积;
根据所述初步铝棒外轮廓确定铝棒轮廓面积;所述铝棒有效比例为所述铝棒总面积与所述铝棒轮廓面积的比值。
可选地,根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积,具体包括:
将所述点云数据的x轴分为多段,得到多个分段;
针对任一分段,根据所述分段中各数据点的y轴坐标,确定所述分段中数据点的平均高度;
根据所述分段中数据点的平均高度及所述分段的长度,计算所述分段的面积;
将各分段的面积进行累加,得到初步铝棒横截面总面积。
可选地,所述真实铝棒横截面总面积为所述初步铝棒横截面总面积与所述铝棒有效比例的乘积。
可选地,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:
获取预先存储的所述目标区域内的铝棒参考数量;
判断所述目标区域内的铝棒参考数量与所述目标区域内的铝棒真实数量是否相等,若不相等,则计算所述铝棒参考数量与所述铝棒真实数量的差值,并产生报警信息。
可选地,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:在前端页面上实时显示所述目标区域内的铝棒真实数量及铝棒总体积。
可选地,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:将所述铝棒真实数量嵌入所述铝棒图像的指定位置,得到目标铝棒图像,并在前端页面上实时显示所述目标铝棒图像。
为实现上述目的,本发明还提供了如下方案:
一种基于深度学习和激光雷达的铝棒仓储盘点系统,包括:摄像头、激光雷达及处理器;所述摄像头及所述激光雷达均设置在仓库内,且所述摄像头及所述激光雷达均与所述处理器连接;
所述摄像头用于实时采集仓库内目标区域的铝棒图像;所述目标区域为堆放铝棒的区域;
所述激光雷达用于实时采集仓库内目标区域的点云数据;所述点云数据包括多个数据点及各数据点的坐标信息;
所述处理器采用预先训练好的图像分割模型对所述铝棒图像进行分割,以确定所述铝棒图像中的铝棒横截面区域;根据所述铝棒图像中铝棒横截面区域的数量,确定所述目标区域内的铝棒真实数量;在所述铝棒图像中标注初步铝棒外轮廓;根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例;根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积;根据所述初步铝棒横截面总面积及所述铝棒有效比例,确定所述目标区域内的真实铝棒横截面总面积;根据所述真实铝棒横截面总面积及铝棒长度,确定所述目标区域内的铝棒总体积。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明采用图像分割模型对铝棒图像进行分割,以确定铝棒横截面区域,进而根据铝棒横截面区域的数量实现对铝棒的盘点,在图像分割的基础上,结合点云数据确定目标区域内的真实铝棒横截面总面积;根据真实铝棒横截面总面积及铝棒长度,确定目标区域内的铝棒总体积。能够自动对目标区域内的铝棒进行盘点,自动确定铝棒的横截面面积和体积,降低了铝棒仓储盘点的复杂度,并提高了铝棒仓储盘点的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于深度学习和激光雷达的铝棒仓储盘点方法的流程图;
图2为图像分割模型的训练过程示意图;
图3为本发明提供的基于深度学习和激光雷达的铝棒仓储盘点系统的示意图。
符号说明:1-摄像头,2-激光雷达,3-处理器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统,通过图像分割与点云识别相结合,提高铝棒仓储盘点的准确度,并提供给用户可视化的结果。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示,本实施例提供了一种基于深度学习和激光雷达的铝棒仓储盘点方法,包括:
步骤S100:实时采集仓库内目标区域的铝棒图像及点云数据。所述目标区域为堆放铝棒的区域。所述点云数据包括多个数据点及各数据点的坐标信息。
本实施例中,铝棒图像是通过部署在目标区域的摄像头采集的。点云数据是通过部署在所述目标区域的激光雷达采集的。摄像头和激光雷达可以实时采集铝棒图像和点云数据,也可以按照设定时间间隔采集铝棒图像和点云数据。其中,设定时间间隔为10分钟。
在步骤S200之前,需要先引入OpenCV库和Python的图像处理库,使用OpenCV库中的函数初始化摄像头,并指定摄像头的编号或直接使用默认的摄像头,使用OpenCV库中的函数从摄像头中读取铝棒图像,并使用循环实时获取铝棒图像。之后对每一帧铝棒图像进行预处理操作。
步骤S200:采用预先训练好的图像分割模型对所述铝棒图像进行分割,以确定所述铝棒图像中的铝棒横截面区域。具体地,所述图像分割模型为yolov5。
具体地,图像分割模型的训练过程包括:
步骤S210:获取铝棒图像样本集。所述铝棒图像样本集中包括多张铝棒样本图像及各铝棒样本图像中的铝棒横截面区域标签。
进一步地,步骤S210包括:
步骤S211:从铝棒的生产线及仓储系统中获取多张初步铝棒样本图像。具体地,从各个数据源(例如生产线、仓储系统等)获取铝棒图像及相关的铝棒数据,如长度、重量、生产日期等。
步骤S212:使用Python的图像处理库对所述初步铝棒样本图像进行数据增强。具体地,对初步铝棒样本图像进行大小调整、裁剪、旋转、镜像翻转等操作,以使初步铝棒样本图像符合深度学习模型的输入要求,从而扩充数据集并增强深度学习模型的鲁棒性。
步骤S213:分别对每张初步铝棒样本图像中的铝棒横截面区域进行标注,以得到多张标注好的初步铝棒样本图像。此外,也可以直接对每张初步铝棒样本图像中的铝棒横截面区域进行标注。
步骤S214:分别对每张标注好的初步铝棒样本图像进行清洗和标准化处理,以得到多张铝棒样本图像。以确保铝棒样本图像的一致性和可用性。
本发明使用机器学习算法和铝棒图像样本集构建图像分割模型,通过对铝棒图像样本集进行特征提取,对图像分割模型进行参数优化,学习到铝棒横截面区域与其他特征之间的关系,并建立一个准确的图像分割模型。
步骤S220:采用所述铝棒图像样本集对图像分割模型进行迭代训练,以得到训练好的图像分割模型。
进一步地,如图2所示,步骤S220包括:
步骤S221:提取铝棒特征,得到原始铝棒数据。选择yolov5作为深度学习框架,卷积神经网络作为模型结构,建立图像分割模型。然后将铝棒图像样本集划分为训练集、验证集和测试集,其中70%用于训练,10%用于验证,20%用于测试。
步骤S222:使用训练集对图像分割模型进行训练。
训练过程中,首先将训练集中的铝棒样本图像输入图像分割模型,通过CSPDarknet网络对铝棒样本图像进行特征提取,并在特征提取的基础上利用多层卷积、全连接层和激活函数来检测目标的位置、类别和置信度。输出结果中,检测框的位置使用边界框的左上角和右下角坐标表示,检测类别使用标签索引表示,置信度表示该检测框包含目标的可信程度。之后,使用IoU作为损失函数,将检测框和检测类别与标注数据进行比较,再通过链式法将总损失函数的梯度分解为各个参数的梯度,并确定损失函数的下降方向,根据梯度信息,使用随机梯度下降法更新深度学习模型的参数,以减小损失函数的值,调整网络权重来提高图像分割模型的性能。反复执行以上步骤,直到达到预设的训练步数或停止条件。
步骤S223:使用验证集评估图像分割模型的准确性和性能。
将验证集中的铝棒样本图像输入图像分割模型,得到检测结果,并对比检测结果与验证集标注的真实结果,计算准确率、损失值等指标,监控深度学习模型的训练进展和效果。
其中,准确率计算:使用IoU作为评估指标的计算公式为:IoU=intersection_area/union_area,其中,intersection_area为检测框与真实框的交叉面积,union_area为检测框与真实框的面积之和。若检测框与真实框的IoU超过0.5,则被认为是正确检测的目标。
损失值计算:使用分类损失、位置损失和置信度损失的加权和作为总损失值衡量深度学习模型在验证集上的性能。
步骤S224:根据图像分割模型的验证结果,调整图像分割模型的学习率、权重衰减、批量大小、训练轮数、激活函数以及网络结构的参数,并不断重复步骤S222至步骤S223直到达到满意的性能。
步骤S225:使用测试集测试图像分割模型。
具体地,将测试集中的铝棒样本图像输入到图像分割模型中,并通过图像分割模型进行图像分割,使用平均精度和召回率作为评估指标,对图像分割模型的分割性能进行综合评估,根据评估结果和项目需求,确定最终的检测效果。
步骤S226:将经过训练和测试的图像分割模型部署到实际应用中,进行实时检测或其他相关任务。
步骤S300:根据所述铝棒图像中铝棒横截面区域的数量,确定所述目标区域内的铝棒真实数量。
步骤S400:在所述铝棒图像中标注初步铝棒外轮廓。
步骤S500:根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例。
具体地,根据所述铝棒图像中的铝棒横截面区域,确定所述铝棒图像中的铝棒总面积。根据所述初步铝棒外轮廓确定铝棒轮廓面积。所述铝棒有效比例为所述铝棒总面积与所述铝棒轮廓面积的比值。
步骤S600:根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积。
具体地,将所述点云数据的x轴分为多段,得到多个分段。针对任一分段,根据所述分段中各数据点的y轴坐标,确定所述分段中数据点的平均高度。根据所述分段中数据点的平均高度及所述分段的长度,计算所述分段的面积。将各分段的面积进行累加,得到初步铝棒横截面总面积。
步骤S700:根据所述初步铝棒横截面总面积及所述铝棒有效比例,确定所述目标区域内的真实铝棒横截面总面积。所述真实铝棒横截面总面积为所述初步铝棒横截面总面积与所述铝棒有效比例的乘积。
步骤S800:根据所述真实铝棒横截面总面积及铝棒长度,确定所述目标区域内的铝棒总体积。
进一步地,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:
步骤S900:获取预先存储的所述目标区域内的铝棒参考数量。判断所述目标区域内的铝棒参考数量与所述目标区域内的铝棒真实数量是否相等,若不相等,则计算所述铝棒参考数量与所述铝棒真实数量的差值,并产生报警信息。
进一步地,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:在前端页面上实时显示所述目标区域内的铝棒真实数量及铝棒总体积。
进一步地,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:将所述铝棒真实数量嵌入所述铝棒图像的指定位置,得到目标铝棒图像,并在前端页面上实时显示所述目标铝棒图像。本实施例中,使用OpenCV库中的函数将所述铝棒真实数量显示在所述铝棒图像的指定位置。
具体地,在前端页面中,使用JavaScript处理后端输出的结果(铝棒真实数量、铝棒总体积、目标铝棒图像),并将结果显示在页面上。采用可视化的方式将铝棒盘点结果展示给用户,如生成图表或报告,以便用户能够更直观地了解铝棒数量的检测结果。
本发明通过监控系统与图像分割模型的配合,实现对仓库铝棒数量和体积的实时监测,提高了铝棒的盘点效率,减少了人力资源的需求,降低成本,并提高了盘点的准确性。
实施例二
为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种基于深度学习和激光雷达的铝棒仓储盘点系统。
如图3所示,本实施例提供的基于深度学习和激光雷达的铝棒仓储盘点系统包括摄像头1、激光雷达2及处理器3。所述摄像头1及所述激光雷达2均设置在仓库内,且所述摄像头1及所述激光雷达2均与所述处理器3连接。所述处理器3中部署有仓库管理系统。
具体地,摄像头1的数量为多个,多个摄像头1分别设置在仓库的不同位置,以采集仓库内不同区域的铝棒图像。
所述摄像头1用于实时采集仓库内目标区域的铝棒图像,并将所述铝棒图像上传至所述处理器3。此外,摄像头1还可以按照设定的时间间隔采集目标区域的铝棒图像。目标区域为仓库内堆放铝棒的区域。
所述激光雷达2用于实时采集仓库内目标区域的点云数据。所述点云数据包括多个数据点及各数据点的坐标信息。
所述处理器3采用预先训练好的图像分割模型对所述铝棒图像进行分割,以确定所述铝棒图像中的铝棒横截面区域;根据所述铝棒图像中铝棒横截面区域的数量,确定所述目标区域内的铝棒真实数量;在所述铝棒图像中标注初步铝棒外轮廓;根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例;根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积;根据所述初步铝棒横截面总面积及所述铝棒有效比例,确定所述目标区域内的真实铝棒横截面总面积;根据所述真实铝棒横截面总面积及铝棒长度,确定所述目标区域内的铝棒总体积。
其中,图像分割模型为yolov5。
进一步地,所述处理器3还用于将所述铝棒真实数量嵌入所述铝棒图像的指定位置,得到目标铝棒图像,并在前端页面上实时显示所述目标铝棒图像。
综上,本发明提供的基于深度学习和激光雷达的铝棒仓储盘点系统由一组摄像头1、激光雷达2和处理器3组成。摄像头1实现对仓库铝棒的实时监测并上传到处理器3。
本发明采用基于yolov5的深度学习模型,可以准确识别铝棒的横截面区域,避免传统清点方式中可能出现的误差。同时,通过摄像头1和处理器3的连接,将监测到的数据上传到处理器3,并进行显示和管理,在实际应用中具有很高的可行性和实用性。本发明可以大大减少清点铝棒所需的人力和时间成本,并提高铝棒盘点的准确性和效率,在仓储物流行业和其他需要盘点大批量物品的场景中具有重要的应用前景和市场潜力。
综上,相对于现有技术,本发明具有如下的有益效果:
1.自动化盘点:摄像头组成的监控系统能够实时监测铝棒的情况,无需人工干预,避免了手工盘点的繁琐和耗时。
2.盘点效率:图像分割模型能够对铝棒数量进行准确检测,大大提高了盘点的效率。相比传统的人工盘点,可以在短时间内完成大量铝棒的盘点工作。
3.准确性:基于yolov5的图像分割模型能够精确地检测铝棒的横截面区域,并且结合激光雷达扫描的点云数据,能够精准的确定目标区域内的铝棒总体积,减少了人为误差和盗窃风险。
4.系统集成:本发明结合了摄像头、激光雷达、处理器、仓库管理系统和基于yolov5的图像分割模型,具有良好的系统集成性,可以方便地与现有的仓库管理系统进行对接。
5.可扩展性:本发明可以根据实际需要进行灵活配置,适应不同规模和场景的仓库盘点需求。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述基于深度学习和激光雷达的铝棒仓储盘点方法包括:
实时采集仓库内目标区域的铝棒图像及点云数据;所述目标区域为堆放铝棒的区域;所述点云数据包括多个数据点及各数据点的坐标信息;
采用预先训练好的图像分割模型对所述铝棒图像进行分割,以确定所述铝棒图像中的铝棒横截面区域;
根据所述铝棒图像中铝棒横截面区域的数量,确定所述目标区域内的铝棒真实数量;
在所述铝棒图像中标注初步铝棒外轮廓;
根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例;
根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积;
根据所述初步铝棒横截面总面积及所述铝棒有效比例,确定所述目标区域内的真实铝棒横截面总面积;
根据所述真实铝棒横截面总面积及铝棒长度,确定所述目标区域内的铝棒总体积。
2.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述铝棒图像是通过部署在目标区域的摄像头采集的;所述点云数据是通过部署在所述目标区域的激光雷达采集的。
3.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述图像分割模型为yolov5。
4.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例,具体包括:
根据所述铝棒图像中的铝棒横截面区域,确定所述铝棒图像中的铝棒总面积;
根据所述初步铝棒外轮廓确定铝棒轮廓面积;所述铝棒有效比例为所述铝棒总面积与所述铝棒轮廓面积的比值。
5.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积,具体包括:
将所述点云数据的x轴分为多段,得到多个分段;
针对任一分段,根据所述分段中各数据点的y轴坐标,确定所述分段中数据点的平均高度;
根据所述分段中数据点的平均高度及所述分段的长度,计算所述分段的面积;
将各分段的面积进行累加,得到初步铝棒横截面总面积。
6.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述真实铝棒横截面总面积为所述初步铝棒横截面总面积与所述铝棒有效比例的乘积。
7.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:
获取预先存储的所述目标区域内的铝棒参考数量;
判断所述目标区域内的铝棒参考数量与所述目标区域内的铝棒真实数量是否相等,若不相等,则计算所述铝棒参考数量与所述铝棒真实数量的差值,并产生报警信息。
8.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:
在前端页面上实时显示所述目标区域内的铝棒真实数量及铝棒总体积。
9.根据权利要求1所述的基于深度学习和激光雷达的铝棒仓储盘点方法,其特征在于,所述基于深度学习和激光雷达的铝棒仓储盘点方法还包括:
将所述铝棒真实数量嵌入所述铝棒图像的指定位置,得到目标铝棒图像,并在前端页面上实时显示所述目标铝棒图像。
10.一种基于深度学习和激光雷达的铝棒仓储盘点系统,其特征在于,所述基于深度学习和激光雷达的铝棒仓储盘点系统包括:摄像头、激光雷达及处理器;所述摄像头及所述激光雷达均设置在仓库内,且所述摄像头及所述激光雷达均与所述处理器连接;
所述摄像头用于实时采集仓库内目标区域的铝棒图像;所述目标区域为堆放铝棒的区域;
所述激光雷达用于实时采集仓库内目标区域的点云数据;所述点云数据包括多个数据点及各数据点的坐标信息;
所述处理器采用预先训练好的图像分割模型对所述铝棒图像进行分割,以确定所述铝棒图像中的铝棒横截面区域;根据所述铝棒图像中铝棒横截面区域的数量,确定所述目标区域内的铝棒真实数量;在所述铝棒图像中标注初步铝棒外轮廓;根据所述铝棒图像中的铝棒横截面区域及所述初步铝棒外轮廓,确定所述铝棒图像中的铝棒有效比例;根据所述点云数据确定所述目标区域内的初步铝棒横截面总面积;根据所述初步铝棒横截面总面积及所述铝棒有效比例,确定所述目标区域内的真实铝棒横截面总面积;根据所述真实铝棒横截面总面积及铝棒长度,确定所述目标区域内的铝棒总体积。
CN202311575319.2A 2023-11-24 2023-11-24 一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统 Pending CN117291912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311575319.2A CN117291912A (zh) 2023-11-24 2023-11-24 一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311575319.2A CN117291912A (zh) 2023-11-24 2023-11-24 一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统

Publications (1)

Publication Number Publication Date
CN117291912A true CN117291912A (zh) 2023-12-26

Family

ID=89240977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311575319.2A Pending CN117291912A (zh) 2023-11-24 2023-11-24 一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统

Country Status (1)

Country Link
CN (1) CN117291912A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931883A (zh) * 2017-03-30 2017-07-07 信阳师范学院 一种基于激光点云数据的树干材积获取方法
CN107727675A (zh) * 2017-09-20 2018-02-23 武汉钢铁有限公司 小直径棒材横截面odf测量方法
US20180130258A1 (en) * 2016-11-08 2018-05-10 Fuji Xerox Co., Ltd. Information processing system
CN109712180A (zh) * 2019-01-19 2019-05-03 北京伟景智能科技有限公司 一种钢筋计数方法
CN112053337A (zh) * 2020-08-31 2020-12-08 中冶赛迪重庆信息技术有限公司 一种基于深度学习的棒材检测方法、装置及设备
JP2020201946A (ja) * 2019-06-05 2020-12-17 Jfeプラントエンジ株式会社 計数装置及び計数方法
CN113450315A (zh) * 2021-06-08 2021-09-28 北京伟景智能科技有限公司 棒材计数方法、装置及分钢系统
KR20210123058A (ko) * 2020-04-02 2021-10-13 서한석 철근 콘크리트 구조물 자재의 수량 자동 산출 장치 및 방법
CN114694032A (zh) * 2022-06-02 2022-07-01 中建电子商务有限责任公司 一种基于密集目标检测的钢筋计数处理方法
CN114708284A (zh) * 2022-05-16 2022-07-05 河北科技大学 成捆棒材端面信息码图像分割与增强方法
CN115810006A (zh) * 2022-12-29 2023-03-17 无锡图创智能科技有限公司 基于MobileNetV3改进模型的钢筋计数方法及系统
KR20230047279A (ko) * 2021-09-30 2023-04-07 단국대학교 산학협력단 영상분석을 활용한 철근 정보 추출 자동화 방법
CN116309788A (zh) * 2023-03-23 2023-06-23 中铁武汉电气化局集团有限公司 一种3d点云铁路接触线横截面积检测方法
CN116542968A (zh) * 2023-06-29 2023-08-04 中国铁路设计集团有限公司 一种基于模板匹配的钢筋智能计数方法
CN117029667A (zh) * 2023-08-16 2023-11-10 东南大学 钢筋截面面积无损检测装置及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180130258A1 (en) * 2016-11-08 2018-05-10 Fuji Xerox Co., Ltd. Information processing system
CN106931883A (zh) * 2017-03-30 2017-07-07 信阳师范学院 一种基于激光点云数据的树干材积获取方法
CN107727675A (zh) * 2017-09-20 2018-02-23 武汉钢铁有限公司 小直径棒材横截面odf测量方法
CN109712180A (zh) * 2019-01-19 2019-05-03 北京伟景智能科技有限公司 一种钢筋计数方法
JP2020201946A (ja) * 2019-06-05 2020-12-17 Jfeプラントエンジ株式会社 計数装置及び計数方法
KR20210123058A (ko) * 2020-04-02 2021-10-13 서한석 철근 콘크리트 구조물 자재의 수량 자동 산출 장치 및 방법
CN112053337A (zh) * 2020-08-31 2020-12-08 中冶赛迪重庆信息技术有限公司 一种基于深度学习的棒材检测方法、装置及设备
CN113450315A (zh) * 2021-06-08 2021-09-28 北京伟景智能科技有限公司 棒材计数方法、装置及分钢系统
KR20230047279A (ko) * 2021-09-30 2023-04-07 단국대학교 산학협력단 영상분석을 활용한 철근 정보 추출 자동화 방법
CN114708284A (zh) * 2022-05-16 2022-07-05 河北科技大学 成捆棒材端面信息码图像分割与增强方法
CN114694032A (zh) * 2022-06-02 2022-07-01 中建电子商务有限责任公司 一种基于密集目标检测的钢筋计数处理方法
CN115810006A (zh) * 2022-12-29 2023-03-17 无锡图创智能科技有限公司 基于MobileNetV3改进模型的钢筋计数方法及系统
CN116309788A (zh) * 2023-03-23 2023-06-23 中铁武汉电气化局集团有限公司 一种3d点云铁路接触线横截面积检测方法
CN116542968A (zh) * 2023-06-29 2023-08-04 中国铁路设计集团有限公司 一种基于模板匹配的钢筋智能计数方法
CN117029667A (zh) * 2023-08-16 2023-11-10 东南大学 钢筋截面面积无损检测装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯维岩;张利伟;党蟒;段政伟;宋杨;王海宽;: "一种基于图像处理的棒材计数测量系统的设计与实现", 仪器仪表学报, no. 05, pages 142 - 148 *

Similar Documents

Publication Publication Date Title
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN111724355B (zh) 一种鲍鱼体型参数的图像测量方法
Guan et al. DEM generation from lidar data in wooded mountain areas by cross-section-plane analysis
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN116229007B (zh) 利用bim建模的四维数字图像构建方法、装置、设备及介质
CN114387332B (zh) 一种管道测厚方法及装置
CN114494845A (zh) 一种用于施工项目现场人工智能隐患排查系统及其排查方法
CN116129135A (zh) 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法
CN111967443A (zh) 基于图像处理与bim的档案馆内感兴趣区域分析方法
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN113569801A (zh) 一种配电施工现场带电设备及其带电区域识别方法及装置
CN117237747A (zh) 基于人工智能的五金件缺陷分类识别方法
CN117197085A (zh) 基于改进YOLOv8网络的公路快检图像路面病害检测方法
CN117291912A (zh) 一种基于深度学习和激光雷达的铝棒仓储盘点方法及系统
CN114882020A (zh) 产品的缺陷检测方法、装置、设备及计算机可读介质
CN114037993A (zh) 变电站指针仪表读数方法、装置、存储介质以及电子设备
CN111814764A (zh) 一种遗撒物确定系统
CN112598738A (zh) 一种基于深度学习的人物定位方法
CN117911796B (zh) 一种基于图像识别的智能化数据处理系统及方法
CN117253176B (zh) 基于视频分析与计算机视觉的安全生产Al智能检测方法
CN117710756B (zh) 一种目标检测及模型训练方法、装置、设备、介质
CN117726239B (zh) 工程质量验收实测实量方法及系统
CN116523906B (zh) 一种玻璃基板光学性能检测方法和系统
CN115757842A (zh) 一种基于云计算的图像数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination