CN112308003A - 一种废钢货车装载状态识别方法、系统、设备及介质 - Google Patents

一种废钢货车装载状态识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN112308003A
CN112308003A CN202011233496.9A CN202011233496A CN112308003A CN 112308003 A CN112308003 A CN 112308003A CN 202011233496 A CN202011233496 A CN 202011233496A CN 112308003 A CN112308003 A CN 112308003A
Authority
CN
China
Prior art keywords
truck
scrap steel
scrap
threshold value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011233496.9A
Other languages
English (en)
Other versions
CN112308003B (zh
Inventor
刘斌
毛尚伟
袁钰博
杨东海
黄达文
庞殊杨
谢永辉
龚强
李邈
贾鸿盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202011233496.9A priority Critical patent/CN112308003B/zh
Publication of CN112308003A publication Critical patent/CN112308003A/zh
Application granted granted Critical
Publication of CN112308003B publication Critical patent/CN112308003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种废钢货车装载状态识别方法、系统、设备及介质，所述的方法包括：在废钢料场上设置相机，相机进行运动并采集料场图像；对所述料场图像中的货车进行标注，获取数据集；将所述数据集输入检测神经网络进行训练，获取训练模型；通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态。在废钢料场上方设置相机，并对料场进行图像采集获取料场图像，确定料场图像中的货车位置及货车中的废钢数量，完成对货车装载状态的识别，提高了识别效率和正确率，避免人工识别造成的误差，保障安全生产。

Description

一种废钢货车装载状态识别方法、系统、设备及介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种废钢货车装载状态识别方法、系统、设备及介质。
背景技术
在废钢料场中，会存在许多的废钢货车，废钢货车需要进行装料和卸料的过程，进而需要对货车的装载状态进行监控，该装载状态包括：装载、卸载。废钢货车卸料过程中会存在废钢料掉落的情况，这个过程如果由工人来进行监管控制，会存在一定的危险性。以目前情况而言，废钢货车卸料过程主要通过有经验的工人来识别卸料状态。但由于车辆较多、卸料过程时间较长，若仅仅依靠人工识别，可能存在漏检、错检的情况。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种废钢货车装载状态识别方法、系统、设备及介质，用于解决现有技术中废钢货车装载状态识别不便的问题。
为实现上述目的及其他相关目的，本发明提供一种废钢货车装载状态识别方法，包括：
在废钢料场上设置相机，相机进行运动并采集料场图像；
对所述料场图像中的货车进行标注，获取数据集；
将所述数据集输入检测神经网络进行训练，获取训练模型；
通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态。
可选的，将所述料场图像中的货车进行标注和分类，并将完成标注和分类的料场图像输入分类神经网络，获取分类模型；
通过所述分类模型对所述料场图像进行分类，确定所述货车为满载或者空载。
可选的，通过所述分类模型对所述料场图像进行分类的步骤还包括：
所述分类模型对所述料场图像进行分类并获取物料特征和对应的区域；
根据所述物料特征和对应的区域计算废钢数量；
当所述废钢数量大于预设的满载阈值时，则判定所述大货车为满载状态，当所述废钢数量小于预设的空载阈值时，则判定所述大货车为空载状态，当所述废钢数量大于所述空载阈值且小于所述满载阈值时，则判定所述大货车为卸货状态。
可选的，确定所述货车位置的步骤包括：
通过所述训练模型识别所述料场图像中的货车，并输出货车的位置，所述货车的位置表达为：
Figure BDA0002765982110000021
其中，PartNxmin,PartNymin分别为第N个货车在料场图像中X和Y轴坐标的最小值；PartNxmax,PartNymax分别为第N个货车在料场图像中X和Y轴坐标的最大值。
可选的，所述检测神经网络至少包括以下之一：SSD-MobileNet网络、R-CNN网络、Faster-RCNN网络、YOLO网络。
一种废钢货车装载状态识别系统，包括：
采集模块，用于在废钢料场上设置相机，相机进行运动并采集料场图像；
识别模块，对所述料场图像中的货车进行标注，获取数据集；
处理模块，将所述数据集输入检测神经网络进行训练，获取训练模型，通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态；所述采集模块、所述识别模块与所述处理模块连接。
对于其中废钢数量的判断方法包括：物料特征所对应的区域图像色彩分割处理是以HSV色彩格式为基础，根据废钢和货车的颜色设定颜色阈值，并对物料特征所对应的区域进行色彩分割处理，将超出颜色阈值的部分转为黑色、符合阈值范围的部分转为白色，得到仅有黑白两色的二值化区域图像，色彩分割处理的数学表达为：
HSVmin＝(Hmin，Smin，Vmin)
HSVmax＝(Hmax，Smax，Vmax)
Figure BDA0002765982110000022
其中，mask(x，y)为得到的二值化图像像素值，255为白色像素值，0为黑色像素值，HSV(x，y)为待色彩分割处理的物料特征所对应的区域的像素值，HSVmin与HSVmax分别为所述颜色阈值的最小值和最大值，即可判断出所装物料的高度hsteel，同时已知火车装货部分固定高度htruck，满载时废钢数量Tmax，通过数学式Ttime＝(hsteel/htruck)×Tmax，计算出实时废钢数量Ttime。
可选的，所述处理模块将所述料场图像中的货车进行标注和分类，并将完成标注和分类的料场图像输入分类神经网络，获取分类模型，通过所述分类模型对所述料场图像进行分类，确定所述货车为满载或者空载。
可选的，所述处理模块通过所述分类模型对所述料场图像进行分类的步骤还包括：
所述分类模型对所述料场图像进行分类并获取物料特征和对应的区域；
根据所述物料特征和对应的区域计算废钢数量；
当所述废钢数量大于预设的满载阈值时，则判定所述大货车为满载状态，当所述废钢数量小于预设的空载阈值时，则判定所述大货车为空载状态，当所述废钢数量大于所述空载阈值且小于所述满载阈值时，则判定所述大货车为卸货状态。
一种电子设备，包括：
一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述电子设备执行一个或多个所述的方法。
一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行一个或多个所述的方法。
如上所述，本发明的废钢货车装载状态识别方法、系统、设备及介质，具有以下有益效果：
在废钢料场上方设置相机，并对料场进行图像采集获取料场图像，确定料场图像中的货车位置及货车中的废钢数量，完成对货车装载状态的识别，提高了识别效率和正确率，避免人工识别造成的误差，保障安全生产。
附图说明
图1显示为本发明实施例的废钢货车装载状态识别方法的示意图。
图2显示为本发明实施例的废钢货车装载状态识别系统的示意图。
图3显示为本发明实施例中废钢数量的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1，本发明提供一种废钢货车装载状态识别方法，包括：
S1：在废钢料场上设置相机，可以在废钢料场的设置行车吊梁，并在该吊梁上设置无人车带动相机做直线步进往返运动，相机进行运动并采集料场图像，遍历废钢料场，完成图像采集；
S2：对所述料场图像中的货车进行标注，获取数据集；
S3：将所述数据集输入检测神经网络进行训练，获取训练模型；
S4：通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态。在废钢料场上方设置相机，并对料场进行图像采集获取料场图像，确定料场图像中的货车位置及货车中的废钢数量，完成对货车装载状态的识别，提高了识别效率和正确率，避免人工识别造成的误差，保障安全生产。
在一些实施过程中，通过在现场的行车吊梁上设置相机，相机包含工业，IP(球机，枪机)等相机，从作业场景的俯视图方向识别废钢货车特征较为明显，同时，可以获得更大得检测范围。
进一步地，对在废钢无人吊运现场景下拍摄进行矩形目标框的标记，完成废钢货车的图像进行框选，记录保存货车的位置信息，获取数据集，货车的位置信息格式及内容为：
[truckxmin，truckymin，truckxmax，truckymax]
其中，truckxmin、truckymin分别为货车矩形目标框在图像中的左上角x、y坐标，truckxmax、truckymax分别为货车矩形目标框在图像中的右下角x、y坐标，通过学习矩形目标框范围内的货车的目标特征，最终得到目标检测模型用于检测废钢货车的位置，目标检测模型可用SSD-MobileNet，R-CNN，Faster-RCNN与YOLO等可以实现目标检测的神经网络代替。
在一些实施过程中，将所述料场图像中的货车进行标注和分类，并将完成标注和分类的料场图像输入分类神经网络，获取分类模型；
通过所述分类模型对所述料场图像进行分类，确定所述货车为满载或者空载。
进一步的，通过所述分类模型对所述料场图像进行分类的步骤还包括：
所述分类模型对所述料场图像进行分类并获取物料特征和对应的区域；
根据所述物料特征和对应的区域计算废钢数量；
当所述废钢数量大于预设的满载阈值时，则判定所述大货车为满载状态，当所述废钢数量小于预设的空载阈值时，则判定所述大货车为空载状态，当所述废钢数量大于所述空载阈值且小于所述满载阈值时，则判定所述大货车为卸货状态。
对于其中废钢数量的判断方法包括：物料特征所对应的区域图像色彩分割处理是以HSV色彩格式为基础，根据废钢和货车的颜色设定颜色阈值，并对物料特征所对应的区域进行色彩分割处理，将超出颜色阈值的部分转为黑色、符合阈值范围的部分转为白色，得到仅有黑白两色的二值化区域图像，色彩分割处理的数学表达为：
HSVmin＝(Hmin,Smin,Vmin)
HSVmax＝(Hmax，Smax，Vmax)
Figure BDA0002765982110000051
其中，mask(x，y)为得到的二值化图像像素值，255为白色像素值，0为黑色像素值，HSV(x，y)为待色彩分割处理的物料特征所对应的区域的像素值，HSVmin与HSVmax分别为所述颜色阈值的最小值和最大值，即可判断出所装物料的高度hsteel，同时已知火车装货部分固定高度htruck，满载时废钢数量Tmax，通过数学式Ttime＝(hsteel/htruck)×Tmax，计算出实时废钢数量Ttime，请参考图3，1为火车，2为废钢。
可选的，确定所述货车位置的步骤包括：
通过所述训练模型识别所述料场图像中的货车，并输出货车的位置，所述货车的位置表达为：
Figure BDA0002765982110000052
其中，PartNxmin,PartNymin分别为第N个货车在料场图像中X和Y轴坐标的最小值；PartNxmax,PartNymax分别为第N个货车在料场图像中X和Y轴坐标的最大值。
请参阅图2，本发明还提供一种废钢货车装载状态识别系统，包括：
采集模块，用于在废钢料场上设置相机，相机进行运动并采集料场图像；
识别模块，对所述料场图像中的货车进行标注，获取数据集；
处理模块，将所述数据集输入检测神经网络进行训练，获取训练模型，通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态；所述采集模块、所述识别模块与所述处理模块连接。
可选的，所述处理模块将所述料场图像中的货车进行标注和分类，并将完成标注和分类的料场图像输入分类神经网络，获取分类模型，通过所述分类模型对所述料场图像进行分类，确定所述货车为满载或者空载。
可选的，所述处理模块通过所述分类模型对所述料场图像进行分类的步骤还包括：
所述分类模型对所述料场图像进行分类并获取物料特征和对应的区域；
根据所述物料特征和对应的区域计算废钢数量；
当所述废钢数量大于预设的满载阈值时，则判定所述大货车为满载状态，当所述废钢数量小于预设的空载阈值时，则判定所述大货车为空载状态，当所述废钢数量大于所述空载阈值且小于所述满载阈值时，则判定所述大货车为卸货状态。对于其中废钢数量的判断方法包括：物料特征所对应的区域图像色彩分割处理是以HSV色彩格式为基础，根据废钢和货车的颜色设定颜色阈值，并对物料特征所对应的区域进行色彩分割处理，将超出颜色阈值的部分转为黑色、符合阈值范围的部分转为白色，得到仅有黑白两色的二值化区域图像，色彩分割处理的数学表达为：
HSVmin＝(Hmin,Smin,Vmin)
HSVmax＝(Hmax，Smax，Vmax)
Figure BDA0002765982110000061
其中，mask(x，y)为得到的二值化图像像素值，255为白色像素值，0为黑色像素值，HSV(x，y)为待色彩分割处理的物料特征所对应的区域的像素值，HSVmin与HSVmax分别为所述颜色阈值的最小值和最大值，即可判断出所装物料的高度hsteel，同时已知火车装货部分固定高度htruck，满载时废钢数量Tmax，通过数学式Ttime＝(hsteel/htruck)×Tmax，计算出实时废钢数量Ttime。
本发明实施例提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明实施例还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行中一个或多个所述的方法。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种废钢货车装载状态识别方法，其特征在于，包括：
在废钢料场上设置相机，相机进行运动并采集料场图像；
对所述料场图像中的货车进行标注，获取数据集；
将所述数据集输入检测神经网络进行训练，获取训练模型；
通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态。
2.根据权利要求1所述的废钢货车装载状态识别方法，其特征在于，将所述料场图像中的货车有料/无料状态进行标注和分类，并将完成标注和分类的料场图像输入分类神经网络，获取分类模型，通过所述分类模型对所述料场图像进行分类，确定所述货车为装载和空载状态，再将装载状态分为满载状态和未满载状态。
3.根据权利要求2所述的废钢货车装载状态识别方法，其特征在于，通过所述分类模型对所述料场图像进行分类的步骤还包括：
所述分类模型对所述料场图像进行分类并获取物料特征和对应的区域；
根据所述物料特征和对应的区域计算废钢数量；
当所述废钢数量大于预设的满载阈值时，则判定所述大货车为满载状态，当所述废钢数量小于预设的空载阈值时，则判定所述大货车为空载状态，当所述废钢数量大于所述空载阈值且小于所述满载阈值时，则判定所述大货车为卸货状态。
4.根据权利要求1所述的废钢货车装载状态识别方法，其特征在于，确定所述货车位置的步骤包括：
通过所述训练模型识别所述料场图像中的货车，并输出货车的位置，所述货车的位置表达为：
Figure FDA0002765982100000011
其中，PartNxmin，PartNymin分别为第N个货车在料场图像中X和Y轴坐标的最小值；PartNxmax，PartNymax分别为第N个货车在料场图像中X和Y轴坐标的最大值。
5.根据权利要求3所述的废钢货车装载状态识别系统，其特征在于，对于其中废钢数量的判断方法包括：物料特征所对应的区域图像色彩分割处理是以HSV色彩格式为基础，根据废钢和货车的颜色设定颜色阈值，并对物料特征所对应的区域进行色彩分割处理，将超出颜色阈值的部分转为黑色、符合阈值范围的部分转为白色，得到仅有黑白两色的二值化区域图像，色彩分割处理的数学表达为：
HSVmin＝(Hmin，Smin，Vmin)
HSVmax＝(Hmax，Smax，Vmax)
Figure FDA0002765982100000021
其中，mask(x，y)为得到的二值化图像像素值，255为白色像素值，0为黑色像素值，HSV(x，y)为待色彩分割处理的物料特征所对应的区域的像素值，HSVmin与HSVmax分别为所述颜色阈值的最小值和最大值，即可判断出所装物料的高度hsteel，同时已知火车装货部分固定高度htruck，满载时废钢数量Tmax，通过数学式Ttime＝(hsteel/htruck)×Tmax，计算出实时废钢数量Ttime。
6.一种废钢货车装载状态识别系统，其特征在于，包括：
采集模块，用于在废钢料场上设置相机，相机进行运动并采集料场图像；
识别模块，对所述料场图像中的货车进行标注，获取数据集；
处理模块，将所述数据集输入检测神经网络进行训练，获取训练模型，通过所述训练模型对所述料场图像进行识别处理，确定所述货车位置及货车中的废钢数量，确定所述货车的装载状态；
所述采集模块、所述识别模块与所述处理模块连接。
7.根据权利要求6所述的废钢货车装载状态识别系统，其特征在于，所述处理模块将所述料场图像中的货车有料/无料状态进行标注和分类，并将完成标注和分类的料场图像输入分类神经网络，获取分类模型，通过所述分类模型对所述料场图像进行分类，确定所述货车为装载和空载状态，再将装载状态分为满载状态和未满载状态。
8.根据权利要求7所述的废钢货车装载状态识别系统，其特征在于，所述处理模块通过所述分类模型对所述料场图像进行分类的步骤还包括：
所述分类模型对所述料场图像进行分类并获取物料特征和对应的区域；
根据所述物料特征和对应的区域计算废钢数量；当所述废钢数量大于预设的满载阈值时，则判定所述大货车为满载状态，当所述废钢数量小于预设的空载阈值时，则判定所述大货车为空载状态，当所述废钢数量大于所述空载阈值且小于所述满载阈值时，则判定所述大货车为卸货状态。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-5中一个或多个所述的方法。
10.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-5中一个或多个所述的方法。
CN202011233496.9A 2020-11-06 2020-11-06 一种废钢货车装载状态识别方法、系统、设备及介质 Active CN112308003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011233496.9A CN112308003B (zh) 2020-11-06 2020-11-06 一种废钢货车装载状态识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011233496.9A CN112308003B (zh) 2020-11-06 2020-11-06 一种废钢货车装载状态识别方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112308003A true CN112308003A (zh) 2021-02-02
CN112308003B CN112308003B (zh) 2023-04-28

Family

ID=74326547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011233496.9A Active CN112308003B (zh) 2020-11-06 2020-11-06 一种废钢货车装载状态识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112308003B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936439A (zh) * 2021-10-27 2022-01-14 鸿富锦精密电子(郑州)有限公司 废料混装的预警方法、装置、设备及存储介质
CN114926623A (zh) * 2022-05-12 2022-08-19 重庆大学 一种基于目标抛雪区自动识别的抛雪管转向控制方法
CN116912747A (zh) * 2023-08-04 2023-10-20 北京中电汇智科技有限公司 一种基于视频识别载重异物的数据处理系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100025407A1 (en) * 2008-08-04 2010-02-04 Lynn Benson Method Of Converting Shipping Containers To Fluid Tanks
CN102616600A (zh) * 2008-05-29 2012-08-01 佳能株式会社 片材堆叠装置及图像形成装置
CN103298656A (zh) * 2010-12-03 2013-09-11 卡特彼勒公司 装载分析系统和方法
WO2014015963A1 (de) * 2012-07-27 2014-01-30 Daimler Ag Erkennen eines beladungszustands eines kraftfahrzeugs durch messen eines hydraulischen drucks
KR101675070B1 (ko) * 2015-06-26 2016-11-10 주식회사 조아로지스 금속 스크랩 납품을 위한 방통차 하화 대기 시간 최소화 방법
CN108890692A (zh) * 2018-07-05 2018-11-27 陕西大中科技发展有限公司 一种用于工业机器人视觉分拣的物料颜色识别方法
CN109359535A (zh) * 2018-09-12 2019-02-19 北京木业邦科技有限公司 木材装载信息的识别方法、装置、电子设备及存储介质
WO2019148453A1 (zh) * 2018-02-02 2019-08-08 深圳蓝胖子机器人有限公司 目标识别模型训练方法、目标识别方法、设备及机器人
CN110197166A (zh) * 2019-06-04 2019-09-03 西安建筑科技大学 一种基于图像识别的车体装载状态识别装置及方法
CN110508706A (zh) * 2019-09-18 2019-11-29 福州中澳科技有限公司 冲压产线机器人自动上下料系统及其控制方法
CN110689723A (zh) * 2019-11-06 2020-01-14 北京交通大学 基于功率分布与车辆自学习的货车超载识别方法
CN110717455A (zh) * 2019-10-10 2020-01-21 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
CN110784681A (zh) * 2019-09-26 2020-02-11 中国矿业大学 一种基于图像识别的矿用破碎机前端人员保护系统
CN110799444A (zh) * 2017-06-29 2020-02-14 米其林集团总公司 用于自动叉车的控制系统及用于操纵这种搬运车的方法
CN110862005A (zh) * 2019-11-11 2020-03-06 杭州欣禾工程管理咨询有限公司 一种基于物联网的商场用防逆行自动安全扶梯
US10586203B1 (en) * 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
CN111311580A (zh) * 2020-02-19 2020-06-19 中冶赛迪重庆信息技术有限公司 一种基于图像识别的汽包液位异常识别方法及系统
CN111340027A (zh) * 2020-03-05 2020-06-26 中冶赛迪重庆信息技术有限公司 一种堆钢识别方法、系统、电子设备及介质
CN111348446A (zh) * 2020-02-26 2020-06-30 浙江明度智控科技有限公司 一种实现多型号智能装载的方法和系统
CN111415106A (zh) * 2020-04-29 2020-07-14 上海东普信息科技有限公司 货车装载率识别方法、装置、设备及存储介质
CN111723480A (zh) * 2020-06-15 2020-09-29 珠海格力电器股份有限公司 电控箱模块化设计方法、电控箱及组合式空调机组

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102616600A (zh) * 2008-05-29 2012-08-01 佳能株式会社 片材堆叠装置及图像形成装置
US20100025407A1 (en) * 2008-08-04 2010-02-04 Lynn Benson Method Of Converting Shipping Containers To Fluid Tanks
CN103298656A (zh) * 2010-12-03 2013-09-11 卡特彼勒公司 装载分析系统和方法
WO2014015963A1 (de) * 2012-07-27 2014-01-30 Daimler Ag Erkennen eines beladungszustands eines kraftfahrzeugs durch messen eines hydraulischen drucks
US10586203B1 (en) * 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
KR101675070B1 (ko) * 2015-06-26 2016-11-10 주식회사 조아로지스 금속 스크랩 납품을 위한 방통차 하화 대기 시간 최소화 방법
CN110799444A (zh) * 2017-06-29 2020-02-14 米其林集团总公司 用于自动叉车的控制系统及用于操纵这种搬运车的方法
WO2019148453A1 (zh) * 2018-02-02 2019-08-08 深圳蓝胖子机器人有限公司 目标识别模型训练方法、目标识别方法、设备及机器人
CN108890692A (zh) * 2018-07-05 2018-11-27 陕西大中科技发展有限公司 一种用于工业机器人视觉分拣的物料颜色识别方法
CN109359535A (zh) * 2018-09-12 2019-02-19 北京木业邦科技有限公司 木材装载信息的识别方法、装置、电子设备及存储介质
CN110197166A (zh) * 2019-06-04 2019-09-03 西安建筑科技大学 一种基于图像识别的车体装载状态识别装置及方法
CN110508706A (zh) * 2019-09-18 2019-11-29 福州中澳科技有限公司 冲压产线机器人自动上下料系统及其控制方法
CN110784681A (zh) * 2019-09-26 2020-02-11 中国矿业大学 一种基于图像识别的矿用破碎机前端人员保护系统
CN110717455A (zh) * 2019-10-10 2020-01-21 北京同创信通科技有限公司 一种收储中的废钢等级分类检测方法
CN110689723A (zh) * 2019-11-06 2020-01-14 北京交通大学 基于功率分布与车辆自学习的货车超载识别方法
CN110862005A (zh) * 2019-11-11 2020-03-06 杭州欣禾工程管理咨询有限公司 一种基于物联网的商场用防逆行自动安全扶梯
CN111311580A (zh) * 2020-02-19 2020-06-19 中冶赛迪重庆信息技术有限公司 一种基于图像识别的汽包液位异常识别方法及系统
CN111348446A (zh) * 2020-02-26 2020-06-30 浙江明度智控科技有限公司 一种实现多型号智能装载的方法和系统
CN111340027A (zh) * 2020-03-05 2020-06-26 中冶赛迪重庆信息技术有限公司 一种堆钢识别方法、系统、电子设备及介质
CN111415106A (zh) * 2020-04-29 2020-07-14 上海东普信息科技有限公司 货车装载率识别方法、装置、设备及存储介质
CN111723480A (zh) * 2020-06-15 2020-09-29 珠海格力电器股份有限公司 电控箱模块化设计方法、电控箱及组合式空调机组

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨静等: ""基于Fluent仿真的铁路货车驼峰溜放风阻力系数研究"" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936439A (zh) * 2021-10-27 2022-01-14 鸿富锦精密电子(郑州)有限公司 废料混装的预警方法、装置、设备及存储介质
CN114926623A (zh) * 2022-05-12 2022-08-19 重庆大学 一种基于目标抛雪区自动识别的抛雪管转向控制方法
CN116912747A (zh) * 2023-08-04 2023-10-20 北京中电汇智科技有限公司 一种基于视频识别载重异物的数据处理系统
CN116912747B (zh) * 2023-08-04 2024-04-05 北京中电汇智科技有限公司 一种基于视频识别载重异物的数据处理系统

Also Published As

Publication number Publication date
CN112308003B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112308003B (zh) 一种废钢货车装载状态识别方法、系统、设备及介质
Mi et al. A fast automated vision system for container corner casting recognition
CN111415106A (zh) 货车装载率识别方法、装置、设备及存储介质
CN111310645B (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
CN112528721B (zh) 一种桥吊集卡安全定位方法和系统
CN112861631B (zh) 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN111652869B (zh) 基于深度学习的板坯空洞识别方法、系统、介质及终端
CN111401162A (zh) 渣土车违法审核方法、电子装置、计算机设备和存储介质
CN114998824A (zh) 一种车辆装卸任务监控方法、装置及系统
CN111274951B (zh) 料箱状态的监控方法及装置、自动投料系统
CN116187718B (zh) 基于计算机视觉的智慧货物识别分拣方法及系统
CN112365453A (zh) 快递货物堆放的检测方法、装置、设备和存储介质
CN111814739A (zh) 快递包裹体积的检测方法、装置、设备及存储介质
CN114022537A (zh) 一种用于动态称重区域车辆装载率和偏载率分析方法
CN112308848A (zh) 一种废钢货车挡板状态识别方法、系统、电子设备及介质
CN113721605B (zh) 一种气缸套货物架摆放自识别系统
CN114873465A (zh) 基于机器视觉高精度井下单轨吊车定位方法、系统
CN114648233A (zh) 一种动态工位货物搬运方法和系统
Naumann et al. Literature review: Computer vision applications in transportation logistics and warehousing
CN111582778B (zh) 操作场地货物堆积度量方法、装置、设备及存储介质
CN115116026B (zh) 一种物流搬运机器人自动循迹方法及系统
CN111784031A (zh) 物流车辆分类预测方法、装置、设备及存储介质
CN114299282A (zh) 一种自动化码头集装箱的箱型识别系统及其方法
CN113978987B (zh) 栈板物品打包提货方法、装置、设备及介质
CN116503774A (zh) 装载机作业行为的分析方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant