CN116194229A - 废料辨别系统和废料辨别方法 - Google Patents

废料辨别系统和废料辨别方法 Download PDF

Info

Publication number
CN116194229A
CN116194229A CN202180057784.XA CN202180057784A CN116194229A CN 116194229 A CN116194229 A CN 116194229A CN 202180057784 A CN202180057784 A CN 202180057784A CN 116194229 A CN116194229 A CN 116194229A
Authority
CN
China
Prior art keywords
scrap
image
waste
model
grade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180057784.XA
Other languages
English (en)
Inventor
小笠原太
岸本康夫
高雄保嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of CN116194229A publication Critical patent/CN116194229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/20—Recycling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Of Solid Wastes (AREA)
  • Sorting Of Articles (AREA)

Abstract

提供能够改善废料的辨别技术的废料辨别系统和废料辨别方法。一种废料辨别系统，具备：废料部位提取模型(221)，其基于相机图像，以在图像内预先设置的窗部(107)为基准而提取存在于该相机图像所含的中央部的废料部位；废料辨别模型(222)，其从通过废料部位提取模型(221)提取出的废料图像中筛选废料的等级和各等级的比率，且是通过包含学习用图像的教师数据而生成的；以及输出部(24)，其将使用废料辨别模型(222)并基于废料图像而辨别出的废料的等级和各等级的比率的信息输出。

Description

废料辨别系统和废料辨别方法
技术领域
本公开涉及废料辨别系统和废料辨别方法。
背景技术
近年来，从有效活用资源的观点来看，追求作为能够回收废料等废弃物的资源而进行再利用。为了再利用废弃物，需要辨别可回收的资源。已经提出一种不依赖于人力的废弃物的辨别处理方法，其预先通过人力生成针对废弃物的图像，同时使用以针对废弃物的信息作为教师数据并通过机器学习而构建的学习完毕模型，由此根据相机图像来判定废弃物(例如专利文献1)。
专利文献1：日本特开2017-109197号
专利文献2：日本特开2020ー95709号
然而，专利文献1的技术将进行了拆解处理的住宅和灾害残骸等废弃物作为辨别的对象，例如针对高效地辨别金属等废料的方法没有进行研究。例如作为铁的再利用资源而在市场上流通有铁废料，并使用电炉等回收出铁。以往，在铁废料处理的现场通过作业人员的目视观察进行废料的等级的辨别。这是由于：粉碎后的废料金属片具有各种尺寸，并且各废料的形状也不同，为了进行等级的辨别而不得不目视观察整体，其自动化较为困难。另一方面，在作业人员的目视观察的辨别作业中，因此作业人员的熟练度不同而产生辨别结果的不一致的问题。另外，存在上述作业人员的高龄化和人员确保的问题。
专利文献2公开一种判定铁废料的重量等级的技术。在该方法中，利用磁力起重机悬吊废料，使用在此处拍摄到的图像，针对吊起的部位推断废料等级的比例，多次反复进行该推断作业，由此最终进行总合的判定。然而专利文献2的技术能够应用的局限于一边通过磁力起重机吊起一边测定废料等级的情况。在实际的废料处理中，不使用起重机而搬入废料的情况也较多，这样的情况下难以使用上述的方法。另外，在专利文献2的方法中，一边利用磁铁吊起废料一边依次进行判定，因此，判定所有废料需要较长时间。这样，关于从所得到的图像中掌握废料的整体形状，并辨别废料的等级的技术，存在改善的余地。
发明内容
鉴于这样的状况而完成的本公开的目的在于提供能够改善废料的辨别技术的废料辨别系统和废料辨别方法。
本公开的一技术方案所涉及的废料辨别系统具备：获取部，其获取包含废料的相机图像；废料部位提取模型，其基于上述相机图像，以在图像内预先设置的窗部为基准而提取存在于该相机图像所含的中央部的废料部位；废料辨别模型，其从通过上述废料部位提取模型提取出的废料图像中筛选废料的等级和各等级的比率，且是通过包含学习用图像的教师数据而生成的；以及输出部，其将使用上述废料辨别模型并基于上述废料图像而辨别出的废料的等级和各等级的比率的信息输出。
此外，本公开的一技术方案所涉及的废料辨别方法使用基于包含废料的相机图像来提取存在于该相机图像所含的中央部的废料部位的废料部位提取模型和辨别废料的等级和各等级的比率且通过包含学习用图像的教师数据而生成的废料辨别模型，上述废料辨别方法包括如下步骤：获取包含上述废料的相机图像；使用上述废料部位提取模型并基于上述相机图像来提取废料图像；以及将使用废料辨别模型并基于上述废料图像而辨别出的废料的等级和各等级的比率的信息输出。
此外，本公开的一技术方案所涉及的废料辨别系统具备：获取部，其获取包含废料的相机图像；废料部位提取模型，其基于上述相机图像，以在图像内预先设置的窗部为基准而提取存在于该相机图像所含的中央部的废料部位；异物辨别模型，其从通过上述废料部位提取模型而提取出的废料图像筛选废料中的除铁废料以外的异物，且是通过包含学习用图像的教师数据而生成的；以及输出部，其将针对使用上述异物辨别模型并基于上述废料图像而辨别出的铁废料中有无异物的信息输出。
根据本公开的一技术方案所涉及的废料辨别系统和废料辨别方法，能够改善废料的辨别技术。
附图说明
图1是表示本公开的一实施方式所涉及的废料辨别系统的概要结构的图。
图2是成为辨别的对象的废料的相机图像的具体例。
图3是辨别对象外的物体等包含于相机图像的具体例。
图4是提取对象的废料部位的处理的概要图。
图5是表示基于窗部而提取出的废料部位的具体例的图。
图6是包含废料的原始图像和带标签的图像的具体例。
图7是废料部位提取模型的学习阶段的流程图。
图8是表示通过学习完毕的废料部位提取模型而提取的废料部位的图。
图9是表示第1废料辨别模型的学习处理的概要的图。
图10是表示通过第1废料辨别模型进行的辨别处理的概要的图。
图11是表示第2废料辨别模型的学习处理的概要的图。
图12是表示本公开的一实施方式所涉及的废料辨别方法的流程图。
图13是与相机图像的缩放等级对应的每组的标准化的概念图。
图14是例示包含异物的合成图像的图。
具体实施方式
以下，参照附图对本公开的实施方式进行说明。
各图中，对相同或者相当的部分标注相同的附图标记。在本实施方式的说明中，针对相同或者相当的部分，适当地省略或者简化说明。
图1是表示本发明的一实施方式所涉及的废料辨别系统1的整体概要的示意图。以下，对本实施方式中辨别的废料的对象为铁废料的情况进行说明，但辨别对象不局限于铁废料。例如辨别对象也可以是其他金属废料。
铁废料能够基于其产生源而大致分为两种。一种是在制造业的生产阶段中产生的加工废料(也称为工厂产生废料)。加工废料在由回收业者回收之后，更名为剩余端材、钢屑、铁屑而进行流通。而且，加工废料的大部分不进行加工处理(中间处理)而被炼钢制造商取回。加工废料换言之是可知出处的铁废料，与回收屑同样，是在品质方面使用便利性好的废料。另外，在产生、回收和搬运阶段中异物混入的可能性也少。
另一种废料是钢构造物老化而产生的老化废料。老化废料也包括在修理或者损伤的阶段中产生的废料。产生位置为建筑物拆解时、接下设备更新时、使用完毕的汽车、容器等多种多样，产生形状也多种多样。因此，老化废料在回收后为了提高炼钢投入效率而进行了整形、粉碎、减容等加工处理之后作为重屑进行处理。此外，对于家电设备、汽车的车身、自动售货机等的钢板产品，主要是为了通过粉碎而减容之后，通过磁选而仅筛选出铁而进行的。这些老化废料在产生阶段、回收阶段和加工处理阶段各自均多种多样，因此，在加工处理后进行等级的辨别。老化废料的等级辨别根据形状即废料的厚度、宽度、长度等来决定。当前多使用日本铁源协会(公司)在1996年制定的铁废料检收统一规格。
如上述那样，以往，在铁废料处理的现场通过作业人员的目视观察来进行废料的等级的辨别。此外，通过作业人员的目视观察进行的辨别作业存在因作业人员的熟练度不同引起的辨别结果的不一致的问题等。本实施方式所涉及的废料辨别系统1是鉴于该问题等而完成的，作为概要，是代替通过作业人员的目视观察进行的辨别，而基于拍摄到铁废料的相机图像来进行废料的辨别。
以下，在本实施方式中，对在废料中也进行一般的HS、H1、H2、H3和生锈的镀锌板等铁成分较低的L1、L2这6个种类的辨别的例子进行说明，但辨别的对象的等级不局限于此。此外，辨别的对象的等级也可以包括剩余端材屑(剪切屑)、铁屑(切屑)等。即在本实施方式中辨别的废料的等级能够与制造现场的需求匹配地包括任意的废料的等级。
如图1所示，本实施方式所涉及的废料辨别系统1包括多个相机10和信息处理装置20。多个相机10与信息处理装置20由网络30连接。多个相机10例如为网络相机，经由网络30将拍摄到的相机图像发送至信息处理装置20。图1中例示出具备4台相机10的情况，但相机10的台数不局限于此。相机10的台数也可以不足4台，也可以为1台。另外，相机10的台数也可以多于4台。相机图像是在由卡车搬运铁废料之后，在临时移动至调车场的时间点拍摄到铁废料的图像。图2表示由相机10拍摄的相机图像的具体例。如图2所示，相机图像所含的废料混合有多个等级的铁废料。作为概要，信息处理装置20基于通过机器学习而生成的多个模型，辨别相机图像中的铁废料的等级和各等级的比率。在实际的操作中，根据废料的各等级的重量比和总重量而进行废料的交易。因此，以下，在本实施方式中，信息处理装置20以辨别相机图像中的各等级的废料的重量所涉及的比率这种情况进行说明。
信息处理装置20具备控制部21、存储部22、获取部23、输出部24。
控制部21包括至少1个处理器、至少1个专用电路或者它们的组合。处理器是CPU(central processing unit)等通用处理器或者专门用于特定处理的专用处理器。专用电路例如为FPGA(field-programmable gate array)或者ASIC(application specificintegrated circuit)。控制部21一边控制信息处理装置20的各部分，一边执行与信息处理装置20的动作相关的处理。
存储部22包括至少1个半导体存储器、至少1个磁存储器、至少1个光存储器或者它们当中的至少两种的组合。半导体存储器例如为RAM(random access memory)或者ROM(read only memory)。RAM例如为SRAM(static random access memory)或者DRAM(dynamicrandom access memory)。ROM例如为EEPROM(electrically erasable programmable readonly memory)。存储部22例如作为主存储装置、辅助存储装置或者高速缓存存储器发挥功能。存储部22存储有用于信息处理装置20的动作的数据、通过信息处理装置20的动作而得到的数据。例如存储部22存储废料部位提取模型221和废料辨别模型222。废料辨别模型222包括第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3。
废料辨别系统1通过使用相机图像进行废料的等级辨别来替代作业人员的通过目视观察进行的辨别，但有时因相机图像而产生判定误差。在搬运废料之后，通过相机图像进行废料的等级判定的情况下，实际上难以仅拍摄辨别对象的废料，导致辨别对象之外的物体等包含于相机图像。辨别对象之外的物体等例如包括地面、背景、辨别对象之外的废料。图3是包含辨别对象外的物体等的相机图像的一例。如图3所示，相机图像包含地面101、背景102、辨别对象的废料以外的废料103、104、搬运车辆105(卡车105)。相机图像所含的辨别对象之外的物体等不局限于这些内容，还包括附近的废料放置场等的进入画面。这样存在即便当相机拍摄时欲仅拍摄废料，也会因周围的状况而较困难的情况，根据该情况导致辨别处理产生误差。
为了减少这样的误差，发明人针对基于使用了后述的神经网络等机器学习算法的机器学习来判定废料的等级的系统的构建反复进行了研究。作为其结果，发明人发现了通过经由以下的2个工艺判定废料等级，能够以高精度判定废料等级。第1工艺是从相机图像提取废料部位的工艺。第2工艺是对通过第1工艺提取出的废料部位的等级进行辨别的工艺。作为概要，废料辨别系统1通过废料部位提取模型221执行第1工艺，通过废料辨别模型222执行第2工艺。
首先，对第1工艺进行说明。拍摄了进行等级判定的对象的废料的相机图像被经由网络30送入信息处理装置20之后，废料部位提取模型221从这样的相机图像中提取废料部位。在本实施方式中，作为废料部位提取模型221提取废料部位的方法，使用作为空间分类处理之一的语义分割。
语义分割是将各像素基于其含义(周围的像素的信息)进行类别分类的方法(日本特开2020-21188号，Badrinarayanan,V.,A.Kendall,and R.Cipolla.Segnet:Adeepconvolutional encoder decoder architecture for imagesegmentation.arXiv.Preprint arXiv:1511.0051)。语义分割例如为了在车的自动驾驶等中调查外观(道路、建筑物)、形状(车、行人)，并理解道路、人行道等不同类别间的空间关系(条理)而使用。
使用图4，从相机图像中使用语义分割来对辨别等级的对象的废料部位进行提取的处理的概要进行说明。相机图像包括对图像的中央部进行等级判定的废料图像。此处，如图4所示，在提取废料部位时，使用预先设置于相机图像106内的窗部107，确定出对象的废料。这样的窗部107是位于废料拍摄图像中从图像中心起分别沿短边、长边位于相机图像的1/2的部分(从图像中心起分别1/4的部分)的区域。换言之，窗部107是在将相机图像的长边和短边的长度分别设为M、L的情况下，从图像中心起分别在长边方向和短边方向上分别具有1/4M、1/4L的长度的矩形区域。而且，如图4所示，在本实施方式中，提取以窗部107内的废料为起点的废料部位108。“以窗部内的废料为起点的废料部位”是指多个废料形成的废料的集合体(以下，也称为废料组)的至少一部分存在于窗部内的废料部位。换言之，在窗部107内存在废料组的一部分的情况下，将该废料组所含的废料作为以窗部内的废料为起点的废料部位而处理。
图5表示从图像提取废料部位时的成为基准的窗部107和用于进行提取出的等级判定的废料部位的具体例。如上述那样，废料部位通过以存在于窗部的废料作为起点而以任意形状构成废料组。图5的例1～例5中，各个部位109～113表示提取出的废料部位。
在此处基于语义分割的提取处理中，如上述自动驾驶的例子所示的那样，能够对图像所含的多个对象(道路、建筑物、车、行人)分别进行分类，因此，在本实施方式中，也能够从原始图像中，将该图像中所含的所有废料从除废料以外的对象物提取(分类)出。但是，在本实施方式中，为了仅提取新搬入的应该进行等级判定的废料，不以窗部内的废料为起点的废料被作为背景处理。这点上与通常的语义分割不同。
为了通过废料部位提取模型221进行上述的提取处理，通过多个相机图像进行废料部位提取模型221的参数学习。首先准备设想在废料等级判定中拍摄的包含废料的相机图像。优选相机图像包含在进行废料等级的场所中设想的各种废料，并且存在多个包含各种背景的图像。针对包含各个废料的图像数据，操作者预先通过目视将用于等级判定的废料组与除废料以外的部分(背景等)分别利用不同颜色赋予带标，制作带标签的图像。图6表示包含废料的原始图像和带标签的图像的例子。这些原始图像和该带标签的图像相当于教师数据。换言之，废料部位提取模型221是以包含废料的原始图像和标签图像的组合作为教师数据而生成的学习模型。如图6所示，带标签的图像包含表示废料部位的区域的标签(标签114、115)和表示除此以外的部分的区域的标签(标签116、117)。使用这样的教师数据，执行废料部位提取模型221的参数学习(学习阶段)。
图7表示废料部位提取模型221的学习阶段的流程图。首先准备相机图像(废料原始图像)和与废料原始图像对应的标签图像的数据的组合来作为教师数据(步骤S1，S2)。另外，标签图像优选使用足够的数量(例如1000个左右)，由此能够高精度地进行废料部位的提取。废料原始图像和标签图像分割为参数学习用的训练集和网络的精度评价用的测试集(步骤S3)，使用参数学习用的训练集，进行废料部位提取模型221的参数学习(步骤S4)。其后，使用精度评价用的测试集，使网络进行学习并进行评价(步骤S5)，再次进行参数调整。以该结果为基础，决定网络的参数，使网络进行学习(步骤S6)。此外，例如在出现与1000个中所呈现那样的背景完全不同的背景而判定产生误差的情况下，也可以再次使用包含该完全不同的背景的新的图像而进行重新学习。作为以上的学习的结果，能够从包含废料的拍摄中提取存在于中央部的废料部位。图8示出通过学习完毕的废料部位提取模型221从相机图像提取出废料部位的例子。如图8所示，废料部位118被从除此以外的区域119中提取出。
在使用通过语义分割进行的废料部位的提取处理提取废料部位的工艺由废料部位提取模型221执行之后，执行第2工艺即辨别通过第1工艺提取出的废料部位的等级的工艺。在本实施方式中，第2工艺由第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3执行。
第1废料辨别模型222-1，是基于废料图像来辨别该废料图像所含的废料的等级和各等级的比率的学习模型。第1废料辨别模型222-1由包含第1学习用图像的教师数据生成。第1学习用图像为单一等级的铁废料的图像。即，基于包含第1学习用图像和该第1学习用图像所涉及的辨别的实绩数据的教师数据，并通过使用了神经网络等机器学习算法的机器学习而生成第1废料辨别模型222-1。图9表示第1废料辨别模型222-1的学习处理的概要。如图9所示，向第1废料辨别模型222-1所涉及的输入层输入第1学习用图像即单一等级的铁废料的图像。对于各单一等级的铁废料的图像，使作为实绩数据由操作人员辨别出的等级的实绩数据建立起对应关系。通过该教师数据来调整神经元间的加权因子，由此进行第1废料辨别模型222-1的学习处理。此外，图9中示出各图像与HS、H1、H2、H3、L1和L2建立起对应关系的例子，但等级不局限于这些。单一等级的铁废料的图像也可以是其他任意的等级的铁废料图像。此处，图9中示出了第1废料辨别模型222-1为基于由输入层、隐藏层和输出层构成的多层感知器而生成的模型的例子，但不局限于此。第1废料辨别模型222-1可以是通过其他任意的机器学习算法而生成的模型。例如第1废料辨别模型222-1也可以是基于Convolutional Neural Network(CNN：卷积神经网络)、深度学习等机器学习算法而生成的模型。
在通过第1废料辨别模型222-1辨别废料图像所含的废料的等级和各等级的比率时，控制部21使用第1废料辨别模型222-1，并基于废料图像中的各等级的废料的面积比来辨别废料的比率。图10表示由第1废料辨别模型222-1进行的辨别处理的概要。如图10所示，控制部21将分割为格子状的废料图像的各部分的图像输入至第1废料辨别模型222-1，辨别该局部图像的废料的等级。这样，随机提取分割为格子状的废料图像的局部图像而辨别废料的等级，控制部21计算该图像中的废料的等级的面积比。而且，控制部21基于各废料的体积密度，将面积比换算为重量比。这样，控制部21计算废料图像所含的废料的等级和各等级的比率。此外，此处，示出了控制部21随机提取废料图像的一部分局部图像而计算上述面积比的例子，但不局限于此。例如控制部21也可以基于废料图像的所有局部图像来计算上述面积比。
第2废料辨别模型222-2，是基于废料图像来辨别该废料图像所含的废料的等级和各等级的比率的学习模型。第2废料辨别模型222-2通过包含与第1学习用图像不同第2学习用图像的教师数据生成。第2学习用图像是混合等级的铁废料的图像。混合等级的铁废料是包含多个等级的铁废料的铁废料。即第2废料辨别模型222-2，基于包含第2学习用图像和该第2学习用图像所涉及的辨别的实绩数据的教师数据，通过使用了神经网络等机器学习算法的机器学习而生成。图11示出第2废料辨别模型222-2的学习处理的概要。如图11所示，向第2废料辨别模型222-2所涉及的输入层输入第2学习用图像即混合等级的铁废料的图像。对于各混合等级的铁废料的图像，使作为实绩数据而由操作人员辨别出的等级和各等级的比率建立起对应关系。通过该教师数据调整神经元间的加权因子，进行模型的学习处理。此处，图11中图示第2废料辨别模型222-2是基于由输入层、隐藏层和输出层构成的多层感知器生成的模型的例子，但不局限于此。第2废料辨别模型222-2可以是通过其他任意的机器学习算法而生成的模型。例如第2废料辨别模型222-2也可以是基于Convolutional NeuralNetwork(CNN)、深度学习等机器学习算法而生成的模型。在通过第2废料辨别模型222-2辨别废料图像所含的废料的等级和各等级的比率时，也与第1废料辨别模型222-1同样，随机提取将废料图像分割出的局部图像来辨别废料的等级，控制部21计算该图像中的废料的等级的重量比。这是因为通过分割图像并多次辨别随机选出的图像而能够提高判定精度。此外，此处，示出随机提取相机图像的一部分局部图像而计算废料的等级的重量比的例子，但不局限于此，在这方面也与第1废料辨别模型相同，控制部21也可以基于废料图像的所有局部图像并分割图像，来计算上述重量比。
选择模型222-3是在基于废料图像辨别该废料图像所含的废料的等级和各等级的比率时，对是否第1废料辨别模型222-1或者第2废料辨别模型222-2中任一者输出可靠性更高的解进行推断的模型。选择模型222-3基于推断结果选择输出可靠性更高的解的模型。而且，控制部21利用使用选择模型222-3选择出的模型，基于废料图像来辨别废料的等级和各等级的比率。换言之，选择模型222-3对基于相机图像而将第1废料辨别模型222-1或者第2废料辨别模型222-2中任一者是否用于废料的等级所涉及的辨别进行辨别。选择模型222-3所涉及的教师数据为从相机10处经由网络30而获取到的包含废料的废料图像、由第1废料辨别模型222-1推断的废料的等级和各等级的比率、由第2废料辨别模型222-2推断的废料的等级和各等级的比率、以及作为实绩数据而由操作人员辨别出的等级和各等级的比率。模型选择所涉及的实绩数据基于分别输入至第1废料辨别模型222-1和第2废料辨别模型222-2时的辨别结果和该废料图像所涉及的操作人员辨别出的等级和各等级的比率的结果来决定。换句话说，选择模型222-3是使用这样的教师数据，通过使用了神经网络等机器学习算法的机器学习而生成的推断模型。选择模型222-3例如基于多层感知器、Convolutional Neural Network(CNN)、深度学习等机器学习算法而生成。
获取部23从相机10处经由网络30获取包含废料的相机图像，获取部23包含至少1个通信用接口。通信用接口例如为LAN接口、WAN接口、LTE(Long Term Evolution：长期演进)、4G(4th generation)或者5G(5th generation)等与移动通信标准对应的接口或者Bluetooth(注册商标)等与近距离无线通信对应的接口。获取部23接收用于信息处理装置20的动作的数据，并且发送通过信息处理装置20的动作而得到的数据。
输出部24包括至少1个输出用接口。输出用接口例如为显示器。显示器例如为LCD(liquid crystal display：液晶显示器)或者有机EL(electro luminescence：电致发光)显示器。输出部24输出通过信息处理装置20的动作而得到的数据。输出部24也可以取代由信息处理装置20具备这种形式，而是作为外部的输出设备而与信息处理装置20连接。作为连接方式，例如能够使用USB、HDMI(注册商标)或者Bluetooth(注册商标)等任意方式。
信息处理装置20的功能通过由相当于控制部21的处理器执行本实施方式所涉及的程序来实现。即，信息处理装置20的功能通过软件来实现。程序通过使计算机执行信息处理装置20的动作，使计算机作为信息处理装置20发挥功能。即，计算机通过根据程序执行信息处理装置20的动作而作为信息处理装置20发挥功能。
在本实施方式中，程序能够预先记录于计算机可读取的记录介质。计算机可读取的记录介质包括非临时计算机可读取介质，例如为磁记录装置、光盘、光磁记录介质或者半导体存储器。程序的流通通过例如通过销售、转让或者出借记录有程序的DVD(digitalversatile disc)或者CD-ROM(compact disc read only memory)等便携式记录介质来进行。另外，程序的流通也可以通过预先将程序储存于服务器的储存器并从服务器对其他计算机发送程序来进行。另外，程序也可以作为程序产品来提供。
在本实施方式中，计算机例如将便携式记录介质中记录的程序或者从服务器发送的程序临时储存于主存储装置。而且，计算机利用处理器读取储存于主存储装置的程序，利用处理器执行根据读取到的程序的处理。也可以是，计算机从便携式记录介质直接读取程序，并执行根据程序的处理。也可以是，计算机每当从服务器接收程序时，依次执行根据接受到的程序的处理。也可以是不进行程序从服务器向计算机的发送，而仅通过执行指示和结果获取而实现功能这种所谓的ASP(application service provider：应用服务提供商)型服务来执行处理。程序包含供用于电子计算机进行处理的信息且是遵照程序的信息。例如，不是针对计算机的直接指令而是具有规定计算机的处理的性质的数据也可以属于“遵照程序的信息”。
信息处理装置20的一部分或者全部功能也可以通过相当于控制部21的专用电路来实现。即，信息处理装置20的一部分或者全部功能也可以通过硬件来实现。
接下来，对通过本公开的一实施方式所涉及的废料辨别系统1执行的废料辨别方法进行说明。图12是表示本公开的一实施方式所涉及的废料辨别方法的流程图。
首先，废料辨别系统1的相机10拍摄包含废料的相机图像(步骤S10)。接下来，相机10将该相机图像经由网络30发送至信息处理装置20。信息处理装置20的获取部23经由网络30获取该相机图像(步骤S20)。
接着，控制部21基于获取到的相机图像，从图像中提取拍摄废料的部位(步骤S30)。提取废料的工艺成为图4所示那样，使用语义分割等方法，提取存在于图像的中心的搬入的废料图像。
接着，控制部21基于确定出废料部位的图像即废料图像，使用选择模型222-3来辨别使用第1废料辨别模型222-1或者第2废料辨别模型222-2中哪一个(步骤S40)。
接着，控制部21使用第1废料辨别模型222-1或者第2废料辨别模型222-2中的由选择模型222-3选择出的模型，辨别相机图像所含的废料的等级和比率(步骤S50)。
接着，控制部21使步骤S40中辨别出的废料的等级和比率输出至输出部24。输出部24输出步骤S40中辨别出的废料的等级和比率(步骤S60)。
这样，根据本公开的一实施方式所涉及的废料辨别系统1，从由相机10拍摄到的废料的相机图像，确定出存在于相机图像的中心的搬入废料的特定部位并提取废料图像，通过这样的废料图像，使用第1废料辨别模型222-1或者第2废料辨别模型222-2能够自动地辨别废料的等级和比率。另外，选择模型222-3选择使用第1废料辨别模型222-1或者第2废料辨别模型222-2中哪一个，自动地选择更适当的模型。换言之，根据本公开的一实施方式所涉及的废料辨别系统1，能够不经由手工地辨别该废料的等级和比率并输出。换句话说，根据本公开的一实施方式所涉及的废料辨别系统1，能够改善废料的辨别技术。
此外，本公开的一实施方式所涉及的废料辨别系统1的废料部位提取模型221使用语义分割来提取废料部位。若将基于语义分割的方法与使用其他物体检测方法的方法进行比较，则语义分割法在下述方面有利。
(1)语义分割对像素标注标签，因此，比其他物体检测法精度高。
(2)物体检测需要在边界框内收纳对象物，相对于此，语义分割能够清楚地捕获不规则的形状的对象物。在日本特开2020-95709号中公开有一种方法，通过YOLO等物体检测模型，从包含废料的图像中提取起重机部，但在该方法中在图像中设置用于提取的提取框，进行检测。
本实施方式中成为对象的进行等级判定的废料图像应该提取的部分具有不规则的形状，而且需要与作为背景的各种形状的物体分离，因此，物体检测法不适用，通过使用语义分割，能够更高精度地提取废料图像。如以上叙述的那样，拍摄包含废料的图像，利用语义分割提取存在于图像的中心部的废料，使用该提取图像判定废料等级，从而能够迅速地一次判定所搬入的废料。
通过以上叙述的系统，能够判定废料的等级，但检测废料中的异物(包含除铁以外的物质)也能够应用相同的系统。即，异物是铁废料所含的除铁以外的物体，例如马达、木片、轮胎等各种异物包含于铁废料。期望在融解废料时尽可能不存在异物。特别是在直接融解异物时，若融解于铁则导致无法除去的残存元素残留于熔钢。作为残存元素，可举出Cu、Sn、Cr、Ni等。特别是众所周知若Cu变高，则热轧时产生损伤等。
现状为，操作人员在对废料进行等级判定的同时，利用目视观察进行观察，若发现异物则除去。但是，难以通过目视观察完全发现异物，并且，在为了能够通过本系统自动地判定废料等级的情况下，期望能够以无人方式自动检测异物。
作为基于机器学习的检测系统，能够利用与废料等级系统的想法相同的想法来检测异物。即，在利用相机拍摄图像之后，通过语义分割而从图像中检测废料部位。其后，检测异物。该系统通过与第2废料辨别模型222-2相同的逻辑进行判定。即，使学习用图像预先学习包含铁废料和异物的图像，能够检测废料中的异物。异物辨别模型基于包含与包含异物的废料图像(异物混入废料图像)相关的学习用图像和该学习用图像所涉及的异物的实绩数据的教师数据，通过使用了神经网络等机器学习算法的机器学习而生成。
然而，异物的判定上存在较大的课题。在废料中混入有成为问题的异物的例子稀少。因此，获得成为学习用图像的包含铁废料和异物的大量的图像极为困难。而且，即便欲大量积蓄图像，进行学习，也根据时间序列的变化而导致异物的种类改变。因此，使用通过数据扩充而人工地制作包含铁废料和异物的图像的方法。数据扩充是指通过对原始学习用数据施加某种加工而扩张学习用数据。
以下，作为合成检测对象的图像和背景图像的方法的过程的一例，此处，针对制作铁废料中大量包含成为课题的铜的包含异物的图像的情况，进行了以下的过程的处理。另外，作为含有铜的异物，以电动马达(以下，也仅称为“马达”)作为例子。
(1)准备异物单体(马达)的图像。换句话说，准备多个一般的马达的图像。
(2)设想马达混入废料的状态，删除马达的局部形状，或者进行变更局部的颜色等处理，增加马达的图像的变更。
(3)制作组合有废料图像和上述马达图像的人工图像。
此处，关于上述的过程(3)，即便将马达等检测对象的图像单合成在铁废料的背景图像上，马达的图像也因情况不同而成为从背景浮起那样的合成图像，进而需要生成同化为背景图像的图像。因此，通过利用泊松图像编辑(Poisson image editing)进行合成，可抑制误认为除马达以外的合成物。泊松图像编辑(Poisson image editing)是由M.Prez等提出的图像编辑方法(Patrick Perez,Michel Gangnet,and Andrew Blake,“Poissonimage editing”,Association for Computing Machinery vol.22,3,313-318,2003)。泊松图像编辑(Poisson image editing)是通过计算与图像的梯度相关的泊松方程式的联立方程式而能够制作没有不协调的合成照片的图像处理方法。
图14示出含有进行了以上的处理之后制作的马达的铁废料的合成图像的例子。图14中，在由圆圈围起的部分存在作为异物的马达。若使用泊松图像编辑(Poisson imageediting)则能够生成任意数量，因此，从废料图像和马达图像，取出30000个用于学习的教师数据而进行了学习。针对使用了该教师数据的废料辨别模型以5000张确认了验证用数据之后，确认出能够在90％的例子中检测马达(异物)。
基于各附图和实施例对本公开进行了说明，但应该注意到只要是本领域技术人员就容易基于本公开进行各种变形和修正。因此，应该留意这些变形和修正包含于本公开的范围。例如，各结构或者各步骤等所含的功能等能够在逻辑上不矛盾地进行再配置，能够将多个构成或者步骤等组合为1个，或者进行分割。
例如在本实施方式中，对废料部位提取模型221通过语义分割而提取废料部位的方法进行了说明，但提取废料部位的方法不局限于此，可以使用任意的空间分类处理。
另外，例如在本实施方式中，作为废料辨别模型222而示出包含第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3的例子。这样，通过使用包含第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3的模型作为废料辨别模型222，能够进行高精度的废料等级判定。此外，废料辨别模型222不局限于此。例如，废料辨别模型222也可以通过第1废料辨别模型222-1或者第2废料辨别模型222-2的任一者构成。换言之，废料辨别系统1也可以仅使用基于包含第1学习用图像即单一等级的铁废料的图像和该第1学习用图像所涉及的辨别的实绩数据的教师数据并通过使用了神经网络等机器学习算法的机器学习而生成的第1废料辨别模型222-1。或者，废料辨别系统1也可以仅使用基于包含混合等级的铁废料的图像和第2学习用图像所涉及的辨别的实绩数据的教师数据并通过使用了神经网络等机器学习算法的机器学习而生成的第2废料辨别模型222-2。换句话说，在本实施方式中，对作为废料辨别模型222而并用第1废料辨别模型222-1和第2废料辨别模型222-2来判定废料等级的系统进行了说明，但也可以使用第1废料辨别模型222-1或者第2废料辨别模型222-2中任一者来辨别废料等级。在这种情况下，省略上述的步骤S40。而且，在使用第1废料辨别模型222-1或者第2废料辨别模型222-2中任一者的情况下，期望预先充分备齐包含各个学习用图像和该学习用图像所涉及的辨别的实绩数据的教师数据而提高等级判定精度。另外，也可以在系统运转后继续拍摄图像，同时获取操作人员的判断结果，并进行重新学习，由此提高精度。
另外，例如，在第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3的学习处理和辨别处理中，控制部21也可以使用与各图像对应的缩放信息。在使用缩放信息的情况下，相机10将与相机图像对应的ONVIF数据的缩放信息和该相机图像一起经由网络30而发送至信息处理装置20。例如，第1学习用图像、第2学习用图像和废料图像也可以基于与各图像对应的缩放信息而被标准化。换句话说，控制部21基于与第1学习用图像、第2学习用图像和废料图像分别对应的缩放信息而将各图像以预定的放大率而标准化。而且，控制部21使用标准化后的第1学习用图像、第2学习用图像进行学习处理，另外，进行基于废料图像的辨别处理。通过这样的标准化的处理使各图像标准化，因此，能够提高基于废料辨别系统1的辨别精度。
此处，在基于缩放信息将各图像标准化为预定的放大率的情况下，控制部21也可以基于缩放信息将图像按组分类，按每组以不同的放大率进行标准化。图13表示每组废料图像的标准化的概念图。图13中，根据放大率对废料图像进行分类。具体而言，在废料图像的放大率处于x 0以上且不足x 1的范围R 01(以下，也称为第1范围R 01)的情况下，该废料图像被分类为第1组。在废料图像的放大率处于x 1以上且不足x 2的范围R12(以下，也称为第2范围R12)的情况下，该废料图像被分类为第2组。在废料图像的放大率处于x 2以上且不足x3的范围R 23(以下，也称为第3范围R 23)的情况下，该废料图像被分类为第3组。在废料图像的放大率处于x 3以上且不足x 4的范围R 34(以下，也称为第4范围R 34)的情况下，该废料图像被分类为第4组。在废料图像的放大率处于x 4以上且不足x 5的范围R 45(以下，也称为第5范围R 45)的情况下，该废料图像被分类为第5组。而且，第1范围R 01、第2范围R12、第3范围R23、第4范围R 34和第5范围R 45中的各废料图像分别被标准化为各范围的基准的放大率X 01、X 12、X 23、X 34和X 45。换句话说，第1学习用图像、第2学习用图像和废料图像被根据与各图像对应的缩放信息标准化为不同的放大率。换言之，控制部21以基于废料图像的缩放信息决定的多个基准中任一个基准放大率进行标准化。通过这样，能够抑制因过度放大或者缩小废料图像而引起的图像分辨率的不一致，能够提高基于废料辨别系统1的辨别精度。此外，图13中，示出了控制部21将图像分类为5个组，并以对应的5个放大率进行标准化的例子，但不局限于此。例如控制部21也可以将分类数形成为4以下或者6以上，并分别以不同的放大率进行标准化。
此外，在上述说明中，示出了将图像的缩放信息用于学习处理和辨别处理的例子，但不局限于此。例如废料辨别系统1也可以将从相机10获得的ONVIF数据的至少一部分用于学习处理和辨别处理。ONVIF数据包含平移、倾斜和缩放的信息。即，废料辨别系统1也可以使用平移、倾斜和缩放的信息中至少任一者而进行学习处理和辨别处理。
另外，例如，在第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3的学习处理和辨别处理中，控制部21也可以追加使用搬入废料的搬入业者所涉及的信息。通过这样，能够考虑按每个搬入公司搬入的废料的趋势，而提高基于废料辨别系统1的辨别精度。
另外，例如，废料辨别系统1也可以还在辨别处理后，积蓄用于辨别的图像来作为新的教师数据。而且，控制部21也可以基于该图像，结合操作人员辨别出的等级和各等级的比率的结果，重新学习第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3。例如假设在输出结果(辨别结果)存在问题的情况下，也可以将存在问题的输出的信息和与该信息对应的图像和实绩数据作为教师数据，重新学习第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3中至少任一者。由此，能够提高由第1废料辨别模型222-1、第2废料辨别模型222-2和选择模型222-3进行的辨别的精度和速度。
另外，例如，在本实施方式中，相机图像为在利用卡车搬运铁废料之后在临时移至调车场的时间点拍摄到的图像，但不局限于此。例如相机图像也可以为拍摄在制造现场利用起重机吊起废料的状态的图像。另外，在这种情况下，也可以使用在拍摄时照射废料的照明装置。由此，能够选取清晰的相机图像。在任一种情况下均可从拍摄到的图像中使用已经说明的方法而进一步确定出废料部位的提取作业之后，使废料等级判定系统运转，由此能够提高废料等级判定的精度。
另外，例如在本实施方式中，窗部107是以相机图像的中心为基准的整体图像的1/4的范围(在将相机图像的长边和短边的长度分别设为M、L的情况下，从图像中心起分别沿长边方向和短边方向分别为1/4M、1/4L的矩形的区域)，但不局限于此。窗部107只要是以相机图像的中心为基准的整体图像的一部分的范围则可以是任意范围。例如窗部107也可以是在将相机图像的长边和短边的长度分别设为M、L的情况下从图像中心分别沿长边方向和短边方向分别为1/3M、1/3L的矩形的区域。
附图标记说明
1...废料辨别系统；10...相机；101...地面；102...背景；103、104...废料；105...搬运车辆(卡车)；106...相机图像；107...窗部；108～113、118...废料部位；114～117...标签；119...区域；20...信息处理装置；21...控制部；22...存储部；23...获取部；24...输出部；221...废料部位提取模型；222...废料辨别模型；222-1...第1废料辨别模型；222-2...第2废料辨别模型；222-3...选择模型；30...网络。

Claims (13)

1.一种废料辨别系统，其特征在于，具备：
获取部，其获取包含废料的相机图像；
废料部位提取模型，其基于所述相机图像，以在图像内预先设置的窗部为基准而提取存在于该相机图像所含的中央部的废料部位；
废料辨别模型，其从通过所述废料部位提取模型提取出的废料图像中筛选废料的等级和各等级的比率，且是通过包含学习用图像的教师数据而生成的；以及
输出部，其将使用所述废料辨别模型并基于所述废料图像而辨别出的废料的等级和各等级的比率的信息输出。
2.根据权利要求1所述的废料辨别系统，其特征在于，
所述窗部确定出以所述相机图像的中心为基准的整体图像的1/4的范围，利用语义分割法来提取以存在于该窗部的废料为起点的废料部位。
3.根据权利要求1或2所述的废料辨别系统，其特征在于，
所述学习用图像为单一等级的铁废料的图像，在使用所述废料辨别模型来辨别所述废料图像所含的废料的等级和各等级的比率时，基于所述废料图像中的各等级的废料的面积比来辨别所述比率。
4.根据权利要求1或2所述的废料辨别系统，其特征在于，
所述学习用图像是混合等级的铁废料的图像。
5.根据权利要求1～4中任一项所述的废料辨别系统，其特征在于，
所述废料辨别模型包括：
第1废料辨别模型，其基于所述废料图像，来辨别该相机图像所含的废料的等级和各等级的比率，且通过包含第1学习用图像的教师数据而生成；
第2废料辨别模型，其基于所述废料图像，来辨别该相机图像所含的废料的等级和各等级的比率，且通过包含与所述第1学习用图像不同的第2学习用图像的教师数据而生成；以及
选择模型，其基于所述废料图像，来辨别使用所述第1废料辨别模型或者所述第2废料辨别模型中哪一个，
所述输出部将使用所述第1废料辨别模型或者所述第2废料辨别模型中的由所述选择模型选择出的模型并基于所述废料图像而辨别出的废料的等级和各等级的比率的信息输出。
6.根据权利要求5所述的废料辨别系统，其特征在于，
所述第1学习用图像为单一等级的铁废料的图像，在使用所述第1废料辨别模型来辨别所述废料图像所含的废料的等级和各等级的比率时，基于所述废料图像中的各等级的废料的面积比来辨别所述比率。
7.根据权利要求5或6所述的废料辨别系统，其特征在于，
所述第2学习用图像为混合等级的铁废料的图像。
8.根据权利要求5～7中任一项所述的废料辨别系统，其特征在于，
所述第1学习用图像、所述第2学习用图像和所述废料图像基于与各图像对应的缩放信息而被标准化。
9.根据权利要求5～7中任一项所述的废料辨别系统，其特征在于，
所述第1废料辨别模型、所述第2废料辨别模型和所述选择模型中至少任一者被基于所述废料图像和所述输出部输出的所述信息重新学习。
10.一种废料辨别方法，使用基于包含废料的相机图像来提取存在于该相机图像所含的中央部的废料部位的废料部位提取模型和辨别废料的等级和各等级的比率且通过包含学习用图像的教师数据而生成的废料辨别模型，
所述废料辨别方法的特征在于，包括如下步骤：
获取包含所述废料的相机图像；
使用所述废料部位提取模型并基于所述相机图像来提取废料图像；以及
将使用废料辨别模型并基于所述废料图像而辨别出的废料的等级和各等级的比率的信息输出。
11.一种废料辨别系统，其特征在于，具备：
获取部，其获取包含废料的相机图像；
废料部位提取模型，其基于所述相机图像，以在图像内预先设置的窗部为基准而提取存在于该相机图像所含的中央部的废料部位；
异物辨别模型，其从通过所述废料部位提取模型而提取出的废料图像中筛选废料中的除铁废料以外的异物，且是通过包含学习用图像的教师数据而生成的；以及
输出部，其将针对使用所述异物辨别模型并基于所述废料图像而辨别出的铁废料中有无异物的信息输出。
12.根据权利要求11所述的废料辨别系统，其特征在于，
所述窗部确定出以所述相机图像的中心为基准的整体图像的1/4的范围，利用语义分割法来提取以存在于该窗部的废料为起点的废料部位。
13.根据权利要求11或12所述的废料辨别系统，其特征在于，
使用通过泊松图像编辑的图像编辑方法将异物的图像和铁废料图像合成的异物混入废料图像，来作为所述异物辨别模型的学习用图像。
CN202180057784.XA 2020-08-14 2021-07-28 废料辨别系统和废料辨别方法 Pending CN116194229A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-137100 2020-08-14
JP2020137100 2020-08-14
PCT/JP2021/027954 WO2022034798A1 (ja) 2020-08-14 2021-07-28 スクラップ判別システム、及びスクラップ判別方法

Publications (1)

Publication Number Publication Date
CN116194229A true CN116194229A (zh) 2023-05-30

Family

ID=80247140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180057784.XA Pending CN116194229A (zh) 2020-08-14 2021-07-28 废料辨别系统和废料辨别方法

Country Status (7)

Country Link
US (1) US20230316489A1 (zh)
EP (1) EP4197656A4 (zh)
JP (1) JP7036296B1 (zh)
KR (1) KR20230029989A (zh)
CN (1) CN116194229A (zh)
TW (1) TWI787943B (zh)
WO (1) WO2022034798A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023157278A (ja) * 2022-04-14 2023-10-26 株式会社アーステクニカ 判定装置、選別装置、及び判定方法
KR102650811B1 (ko) * 2023-09-27 2024-03-25 주식회사 에이트테크 폐기물 분류 사업장 별 특성을 고려한 폐기물 분류 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017109197A (ja) 2016-07-06 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP7132743B2 (ja) * 2018-04-27 2022-09-07 日立造船株式会社 情報処理装置、制御装置、および不適物検出システム
JP2020021188A (ja) 2018-07-31 2020-02-06 田中　成典 自動車の姿勢推定装置
JP7386681B2 (ja) 2018-11-29 2023-11-27 株式会社コベルコE&M スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
CN111292026A (zh) * 2020-04-27 2020-06-16 江苏金恒信息科技股份有限公司 一种基于神经网络模型融合的废钢评级方法及装置

Also Published As

Publication number Publication date
JPWO2022034798A1 (zh) 2022-02-17
TW202208078A (zh) 2022-03-01
KR20230029989A (ko) 2023-03-03
WO2022034798A1 (ja) 2022-02-17
EP4197656A4 (en) 2024-01-24
EP4197656A1 (en) 2023-06-21
TWI787943B (zh) 2022-12-21
US20230316489A1 (en) 2023-10-05
JP7036296B1 (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
Park et al. Patch-based crack detection in black box images using convolutional neural networks
Zhang et al. Pavement distress detection using convolutional neural network (CNN): A case study in Montreal, Canada
Hadjidemetriou et al. Automated pavement patch detection and quantification using support vector machines
Hannan et al. An automated solid waste bin level detection system using a gray level aura matrix
CN116194229A (zh) 废料辨别系统和废料辨别方法
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
EP3899508A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
KR20190094005A (ko) 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법
Cao et al. Image processing-based automatic detection of asphalt pavement rutting using a novel metaheuristic optimized machine learning approach
Diaz-Romero et al. Deep learning computer vision for the separation of Cast-and Wrought-Aluminum scrap
CN108256554A (zh) 基于深度学习的车辆逆向停车判断方法、服务器及系统
US20200265575A1 (en) Flaw inspection apparatus and method
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN116189099B (zh) 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN110263692A (zh) 大场景下集装箱开关门状态识别方法
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN115359392A (zh) 一种基于改进YOLOv5模型的路边施工行为检测方法
CN114283383A (zh) 一种智慧城市公路养护方法、计算机设备及介质
TWI777527B (zh) 廢料判別系統及廢料判別方法
CN116206155A (zh) 基于YOLOv5网络的废钢分类识别方法
CN115641555B (zh) 一种基于ai视觉的货车超载超限预警方法
Nhat-Duc et al. Computer Vision-Based Severity Classification of Asphalt Pavement Raveling Using Advanced Gradient Boosting Machines and Lightweight Texture Descriptors
Pramanik et al. Detection of Potholes using Convolutional Neural Network Models: A Transfer Learning Approach
JP2019185410A (ja) 車両推定装置、学習装置、及び車両推定方法
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination