CN114549940B - 图像处理方法 - Google Patents
图像处理方法 Download PDFInfo
- Publication number
- CN114549940B CN114549940B CN202210447992.7A CN202210447992A CN114549940B CN 114549940 B CN114549940 B CN 114549940B CN 202210447992 A CN202210447992 A CN 202210447992A CN 114549940 B CN114549940 B CN 114549940B
- Authority
- CN
- China
- Prior art keywords
- scrap
- steel
- deduction
- unpacking
- pressing block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本说明书实施例提供图像处理方法,其中,该方法包括获取每个废钢压块的至少一组拆包图像,其中,所述每个废钢压块从目标车辆中获取,并且所述每个废钢压块的至少一组拆包图像从至少三个不同视角获取;将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例;根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种图像处理方法。
背景技术
废钢是非常重要的一种炼钢原料,其对降低能耗和成本有着重要作用,尤其在节能减排,调节生产,供应链安全有着重要的意义。
对于货车拉入钢厂的某种等级的整车废钢,先要对车上非钢杂物进行识别,如果存在不允许存在的杂物(如铸钢等),需要进行拒收退货等操作。对于其他类的杂物(泥土、塑料等),估算重量作为扣杂重量;再对车上低于整车废钢等级的不达标废钢进行重量估测,作为扣重重量;然后根据扣杂、扣重的重量对整车废钢扣重扣杂。
但是,目前市面上对废钢压块的判级、扣重扣杂估测的研究,基本上是以废钢散料为主,没有涉及废钢打包料、压块等;那么废钢打包料、压块的中间若存在杂质就难以识别,掺假风险较高。
发明内容
有鉴于此,本说明书实施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置,一种图像处理交互方法,一种图像处理交互系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理方法,应用于废钢压块处理,包括:
获取每个废钢压块的至少一组拆包图像,其中,所述每个废钢压块从目标车辆中获取,并且所述每个废钢压块的至少一组拆包图像从至少三个不同视角获取;
将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型;
根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
根据本说明书实施例的第二方面,提供了一种图像处理装置,应用于废钢压块处理,包括:
图像获取模块,被配置为获取每个废钢压块的至少一组拆包图像,其中,所述每个废钢压块从目标车辆中获取,并且所述每个废钢压块的至少一组拆包图像从至少三个不同视角获取;
模型处理模块,被配置为将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型;
确定模块,被配置为根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
结果获得模块,被配置为根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
根据本说明书实施例的第三方面,提供了一种图像处理交互方法,应用于图像处理交互系统,所述系统包括至少三个不同视角的拍摄设备、拆包设备以及图像处理装置,其中,所述方法包括:
所述图像处理装置,在接收到用户的拆包指令的情况下,触发至少三个不同视角的拍摄设备;
所述至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像,并将所述全景图像发送至所述图像处理装置,其中,所述每个废钢压块从目标车辆中获取;
所述图像处理装置,根据所述全景图像,确定所述至少三个不同视角的拍摄设备的拍摄参数,并根据所述拍摄参数调整所述至少三个不同视角的拍摄设备,且向所述拆包设备发送启动指令;
所述拆包设备,根据所述启动指令对所述每个废钢压块进行拆包;
所述图像处理装置,在接收到所述拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,接收调整后的至少三个不同视角的拍摄设备,获取的所述每个废钢压块在不同视角下的至少一组拆包图像,
将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型;
根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,并将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给所述用户。
根据本说明书实施例的第四方面,提供了一种图像处理交互系统,包括至少三个不同视角的拍摄设备、拆包设备以及图像处理装置,其中,
所述图像处理装置,用于在接收到用户的拆包指令的情况下,触发至少三个不同视角的拍摄设备;
所述至少三个不同视角的拍摄设备,用于获取每个废钢压块在不同视角下的全景图像,并将所述全景图像发送至所述图像处理装置,其中,所述每个废钢压块从目标车辆中获取;
所述图像处理装置,用于根据所述全景图像,确定所述至少三个不同视角的拍摄设备的拍摄参数,并根据所述拍摄参数调整所述至少三个不同视角的拍摄设备,且向所述拆包设备发送启动指令;
所述拆包设备,用于根据所述启动指令对所述每个废钢压块进行拆包;
所述图像处理装置,用于在接收到所述拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,接收调整后的至少三个不同视角的拍摄设备,获取的所述每个废钢压块在不同视角下的至少一组拆包图像,
将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型;
根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,并将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给所述用户。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述图像处理方法的步骤。
根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图像处理方法的步骤。
本说明书一个实施例实现了一种图像处理方法,其中,该方法包括获取每个废钢压块的至少一组拆包图像,其中,所述每个废钢压块从目标车辆中获取,并且所述每个废钢压块的至少一组拆包图像从至少三个不同视角获取;将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型;根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
具体的,该图像处理方法,采用多角度成像技术,通过从至少三个不同视角获取废钢压块的拆包图像,结合整体+局部分析的方法,对废钢打包料、压块的拆包过程进行多角度分析,通过检测模型对废钢打包料、压块的等级自动识别,再结合扣重扣杂模型实现对废钢打包料、压块的扣重扣杂的自动计算;同时可以实现对废钢打包料、压块的拆包过程中的杂质进行检测识别。
附图说明
图1是本说明书一个实施例提供的一种图像处理方法应用于废钢压块处理场景中的结构示意图;
图2是本说明书一个实施例提供的一种图像处理方法的流程图;
图3是本说明书一个实施例提供的一种图像处理方法中拆包设备针对废钢压块的拆包操作示意图;
图4是本说明书一个实施例提供的一种图像处理方法中废钢压块拆包过程中识别到异物的处理示意图;
图5是本说明书一个实施例提供的一种图像处理方法应用于废钢压块处理场景的具体处理示意图;
图6是本说明书一个实施例提供的一种图像处理方法中的废钢处理界面示意图;
图7是本说明书一个实施例提供的一种自迭代学习的废钢判级扣罚模型更新方法中目标废钢判级扣罚模型的评测结果示意图;
图8是本说明书一个实施例提供的一种图像处理方法中自迭代学习的废钢判级扣罚模型更新的处理过程流程图;
图9是本说明书一个实施例提供的一种图像处理装置的结构示意图;
图10是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
地磅:也被称为汽车衡,设置在地面上的大磅秤,通常用来称卡车的载货吨数;是厂矿、商家等用于大宗货物计量的主要称重设备。
过磅:卡车开到地磅上进行称重。
废钢打包料、压块:是在生产生活工程中淘汰或者损坏的作为回收利用的废旧钢铁,在专用的压力机上经过多道压缩把松散散料压成长方形包块,便于装运和冶炼。
扣重:废钢货物等级未达标的金属或存在的拒收物件,需要识别出来并在货物重量中进行扣除。
扣杂:废钢货物中存在水泥、沙石等非钢铁物质,需要识别出来并在货物重量中进行扣除。
判级:废钢按照厚度划分不同的等级,系统需要对供应商上报的废钢等级进行识别,以确定等级是否一致。
异物:废钢货物中存在的一些拒收物品(比如塑料等),影响钢铁冶炼,需要识别出来。
单层判级:按照车斗最上面一层废钢货物进行级别判定。
整车判级:按照车斗各层的废钢货物级别综合对整车废钢货物进行级别判定。
毛重:车辆第一次过地磅称重后的车辆本身+废钢压块的总体重量。
废钢净重:车辆二次过地磅称重,去除掉车辆本身重量以后的废钢重量。
结算系统:企业用于进行废钢采购,入口,判级,结算于一体的信息系统。
部署:是指将算法/服务发布到公共云/硬件终端的行为。
废钢:指的是钢铁厂生产过程中不成为产品的钢铁废料(如切边、切头等)以及使用后报废的设备、构件中的钢铁材料,成分为钢的叫废钢;成分为生铁的叫废铁,统称废钢。
废钢是非常重要的一种炼钢原料,其对降低能耗和成本有着重要作用,并且在供给侧改革中也具有重要意义,尤其在节能减排,调节生产,供应链安全有着重要战略意义。
目前,废钢等级主要由废钢厚度来决定,废钢分为多个等级,比如20mm废钢,15mm废钢、10mm废钢、8mm废钢、6mm废钢、4mm废钢,2mm废钢等多个等级。
其中,废钢定级过程主要包括废钢等级判定以及废钢扣重扣杂两部分,是废钢定级系统的核心项目。而废钢压块的扣重扣杂主要是对不达标的钢制品和非钢制品进行识别统计,并得出一车废钢中需要额外扣除的废钢重量。
对于货车拉入钢厂的某种等级的整车废钢,先要对车上非钢杂物进行识别,如果存在不允许存在的杂物(如铸钢等),需要进行拒收退货等操作。对于其他类的杂物(泥土、塑料等),估算重量作为扣杂重量;再对车上低于整车废钢等级的不达标废钢进行重量估测,作为扣重重量,最后根据扣杂、扣重的重量对整车废钢扣重扣杂。
当前,废钢等级判定、扣重扣杂等都由人工肉眼估测来操作,受到心情、疲劳状态、认知差异、人际关系等各种因素的影响,人工操作存在很大的不稳定性,操作过程不透明,这也直接影响了废钢定级成本,对钢厂造成损失。
市场上已经有很多企业对废钢判级技术以及扣重扣杂估计进行研究,但是基本上以废钢散料(即自然成形)为主,没有涉及废钢打包料、压块,那么废钢打包料、压块中间的物质就难以识别,即废钢打包料、压块就会存在中空或者掺假的风险。
针对该问题,在本说明书中,提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置,一种图像处理交互方法,一种图像处理交互系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种图像处理方法应用于废钢压块处理场景中的结构示意图。
图1中包括拆包机102、安装在拆包机102上中下三个视角的第一摄像头104、第二摄像头106、第三摄像头108以及服务器110。
其中,第一摄像头104、第二摄像头106以及第三摄像头108可以理解为三类不同视角的高清摄像头,并且第一摄像头104、第二摄像头106以及第三摄像头108的数量均不作限制,可以根据实际需求进行设置,例如第一摄像头104可以设置为2个,第二摄像头106可以设置为2个,第三摄像头108可以设置为2个等。
为了便于理解,本说明书实施例中,均以第一摄像头104、第二摄像头106以及第三摄像头108的数量各为一个进行介绍。
具体的,装载废钢压块的车辆进入卸料区域,将每一个废钢压块放置到拆包机102底盘上,拆包机102上中下三个视角各安装一个摄像头:第一摄像头104、第二摄像头106以及第三摄像头108,形成多角度拍摄采样。
以对一个废钢压块的判级以及扣重扣罚为例进行介绍。
具体实施时,人工刷卡触发针对废钢压块的拆包流程,三个视角的摄像头各拍摄一张废钢压块的全景图像,得到该废钢压块的三个视角的全景图像,并将该废钢压块的三个视角的全景图像发送至服务器110,服务器110根据该废钢压块的三个视角的全景图像对第一摄像头104以及第二摄像头106的拍摄参数进行调整;拆包机102对该废钢压块进行拆包,每次拆包机102对废钢压块进行拆包断电的瞬间,触发第一摄像头104、第二摄像头106以及第三摄像头108对拆包的废钢压块拍摄拆包图像,拆包机102经过n次通电作业,第一摄像头104、第二摄像头106以及第三摄像头108就会拍摄n组系列拆包图像。
将该废钢压块的n组系列拆包图像发送至服务器110,服务器110即可根据该废钢压块的n组系列拆包图像,计算该废钢压块的等级以及扣重扣杂重量。
而针对整车废钢压块的等级以及扣重扣杂重量,则可以根据整车中每个废钢压块的等级以及扣重扣杂重量计算获得,具体下述实施例会进行详细介绍。
本说明书实施例提供的图像处理方法应用于废钢压块的扣重扣杂计算场景中,可以通过设置在不同位置的第一拍摄设备102、第二拍摄设备104以及第三拍摄设备106在废钢自卸作业中进行图像数据的多视角采集,后续可以基于该丰富的不同角度的图像通过图像智能分析快速、准确的实现废钢压块等级判定、扣重扣杂自动估测等;极大的提高废钢压块定级的工作效率,提升用户的使用体验。
参见图2,图2示出了根据本说明书一个实施例提供的一种图像处理方法的流程图,该图像处理方法应用于废钢压块处理,具体包括以下步骤。
步骤202:获取每个废钢压块的至少一组拆包图像。
其中,所述每个废钢压块从目标车辆中获取,并且所述每个废钢压块的至少一组拆包图像从至少三个不同视角获取。
其中,废钢压块可以理解为将多件废钢进行挤压处理后,形成固定形状(如长方形或者正方形等)的废钢压块;目标车辆可以理解为装载有多个废钢压块的货车、卡车等。
实际应用中,目标车辆中会存在多个废钢压块,而为了对每个废钢压块进行准确的判级以及扣重扣杂估计,可以通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的拆包图像,以实现后续可以根据每个废钢压块的拆包图像对每个废钢压块进行判级以及扣重扣杂估计。具体实现方式如下所述:
所述获取每个废钢压块的至少一组拆包图像,包括:
通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像;
根据所述每个废钢压块在不同视角下的全景图像,确定所述每个废钢压块的拆包位置;
根据所述每个废钢压块的拆包位置,调整所述至少三个不同视角的拍摄设备的拍摄参数;
通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像。
其中,拍摄设备可以理解为任意类型、任意分辨率的拍摄设备,例如高清摄像头;那么在拍摄设备理解为高清摄像头的情况下,至少三个不同视角的拍摄设备可以理解为,至少三个不同视角的高清摄像头,例如上中下三个不同视角的高清摄像头等。
以一个废钢压块a为例,对获取废钢压块a的至少一组拆包图像进行详细介绍。
具体的,通过至少三个不同视角的拍摄设备,获取废钢压块a在至少三个视角下的全景图像,例如Left(左视角),center(中心视角),right(右视角)这三个视角下的全景图像;根据该废钢压块a在Left,center,right这三个视角下的全景图像,计算该废钢压块a的拆包位置;根据该废钢压块a的拆包位置,调整Left(左视角),center(中心视角),right(右视角)的拍摄设备的拍摄参数(例如调整左中右三个视角的拍摄参数、或者调整左右两个视角的拍摄参数等),最后通过参数调整后的Left(左视角),center(中心视角),和/或right(右视角)的拍摄设备,拍摄获取该废钢压块a在Left(左视角),center(中心视角),right(右视角)下的至少一组拆包图像。
实际应用中,一个废钢压块的拆包工作可能不能一次性实现,即可能无法实现一次就可以将该废钢压块拆包的特别合适,那么一个废钢压块可能就会经过多次拆包,而每一次拆包操作均会通过至少三个不同视角的拍摄设备获取一组拆包图像。
具体实施时,由于废钢压块是人工或者机械不固定的放置在拆包设备(如拆包机)上,若直接根据至少三个不同视角的拍摄设备对其拆包图像进行拍摄,则有可能会由于对焦不合适,造成拆包图像虚化不真实;还有可能由于拍摄倍数不合理,造成拆包图像较大或者较小而失真;因此,为了避免此种情况的发生,在对每个废钢压块的拆包图像进行获取之前,均会根据废钢压块当前在拆包机的拆包位置,对拍摄设备的拍摄参数进行调整,以保证后续通过拍摄设备拍摄的废钢压块的拆包图像的准确性。具体实现方式如下所述:
所述根据所述每个废钢压块的拆包位置,调整所述至少三个不同视角的拍摄设备的拍摄参数,包括:
根据所述每个废钢压块的拆包位置,确定拍摄焦点位置以及拍摄放大倍数;
根据所述拍摄焦点位置以及所述拍摄放大倍数,调整所述至少三个不同视角的拍摄设备的拍摄参数。
其中,每个废钢压块的拆包位置可以理解为,根据至少三个不同视角的拍摄设备,获取的每个废钢压块在不同视角下的全景图像,计算出来的每个废钢压块在拆包设备上的初始放置位置。
沿用上例,仍以废钢压块a为例,首先,根据废钢压块a的拆包位置,确定拍摄焦点位置以及拍摄放大倍数;再根据拍摄焦点位置以及拍摄放大倍数,调整Left(左视角),center(中心视角),和/或right(右视角)的拍摄设备的拍摄参数;后续即可根据拍摄参数调整后的拍摄设备对废钢压块a的拆包图像进行更加精确的获取。
实际应用中,为了避免拍摄设备一直开启造成的资源浪费,当接收到用户的拆包指令的情况下,再启动拍摄设备,获取每个废钢压块在不同视角下的全景图像,而在没有接收到用户的拆包指令的情况下,可以暂时关闭拍摄设备,节省拍摄资源以及拍摄设备的空间占用。具体实现方式如下所述:
所述通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像,包括:
在接收到用户的拆包指令的情况下,通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像。
其中,用户的拆包指令可以为用户通过刷卡或者在拆包判级系统的显示界面进行点击操作触发的。
以用户的拆包指令为用户通过刷卡操作触发的为例,在接收到用户的拆包指令的情况下,通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像,可以理解为,在接收到用户通过刷卡操作触发的、针对废钢压块的拆包指令的情况下,启动至少三个不同视角的拍摄设备,再通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像。
由于后续为了保证每个废钢压块的判级以及扣重扣杂估计的准确性,会根据每个废钢压块的拆包图像进行计算,那么为了避免在废钢压块无拆包操作的情况下,也通过至少三个不同视角的拍摄设备获取废钢压块的拍摄操作,获取到没有实际参考价值的废钢压块图像,影响每个废钢压块的判级以及扣重扣杂估计的计算效果以及计算效率,则会根据拆包设备的拆包断电指令,触发至少三个不同视角的拍摄设备对每个废钢压块的拆包图像进行拍摄获取。具体实现方式如下所述:
所述通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像,包括:
在接收到拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像。
其中,断电指令为拆包设备每次对废钢压块进行拆包操作后发出指令。
仍沿用上例,在每次接收到拆包设备对废钢压块a的拆包结束、发送的断电指令的情况下,通过拍摄参数调整后的Left(左视角),center(中心视角),和right(右视角)的拍摄设备,获取该废钢压块a在这三个不同视角下的一组拆包图像。而拆包设备对该废钢压块a进行多少次拆包操作,即可获取该废钢压块a的多少组拆包图像。
参见图3,图3示出了本说明书一个实施例提供的一种图像处理方法中拆包设备针对废钢压块的拆包操作示意图。
图3中包括a、b、c三部分,其中,a、b、c三部分中的钳形为拆包设备的拆卸爪,拍摄设备分别设置在拆包设备的左中右三个位置,a部分为废钢压块未被拆包设备拆包的示意图,b部分为拆包设备的拆卸爪放置在废钢压块上,待对该废钢压块进行拆包的示意图,c部分为拆包设备的拆卸爪抓着废钢压块向左右拉拽,废钢压块散料散落的示意图;而c部分中间的三角符号则为在对废钢压块拆包的过程中发现异物报警的示意图。
步骤204:将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例。
其中,所述检测模型为机器学习模型。
具体的,在获取每个废钢压块的至少一组拆包图像之后,则可以通过预先训练的检测模型,获得每个废钢压块的每组拆包图像中的不同等级的废钢区域以及杂质区域。具体实现方式如下所述:
所述将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,包括:
将所述每个废钢压块的至少一组拆包图像中、每组拆包图像的每个拆包图像输入检测模型,获得所述每个拆包图像中的不同等级的废钢区域以及杂质区域;
根据所述每个拆包图像中的不同等级的废钢区域以及杂质区域,确定所述每个拆包图像中不同等级的废钢比例以及杂质比例;
根据所述每个拆包图像中不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例以及杂质比例。
其中,杂质区域可以理解为除废钢区域以及异物之外的其他区域;检测模型包括Mask-RCNN(Mask-Regions with CNN features,区域卷积神经网络)、SSD(Single ShotMultiBox Detector)、或YOLO(You Only Look Once: Unified, Real-Time ObjectDetection)等基于CNN的图像实例分割算法模型,也可以为采用resnet50(残差网络),densenet (分类网络)等分类深度神经网络算法模型。
具体实施时,将每个废钢压块的至少一组拆包图像中,每组拆包图像的每个拆包图像输入检测模型,获得每个拆包图像中的不同等级的废钢区域以及杂质区域;根据每组拆包图像中每个拆包图像的不同等级的废钢区域以及杂质区域,确定每组拆包图像中每个拆包图像的不同等级的废钢比例以及杂质比例;再根据每组拆包图像中每个拆包图像的不同等级的废钢比例以及杂质比例,通过加权求平均的方式,计算每组拆包图像中不同等级的废钢比例以及杂质比例。
仍沿用上例,以废钢压块a,通过左中右三个视角的摄像头拍摄废钢压块a的两组拆包图像,第一组拆包图像包括[a1、a11、a111];第二组图像包括[a2、a22、a222]为例。
通过上述方式对废钢压块a的两组拆包图像中的不同等级的废钢区域以及杂质区域进行获取。
具体的,将第一组拆包图像中[a1、a11、a111]三个拆包图像,分别输入检测模型,获得拆包图像a1中每个等级的废钢的废钢区域、拆包图像a1中杂质的杂质区域;拆包图像a11中每个等级的废钢的废钢区域、拆包图像a11中杂质的杂质区域;拆包图像a111中每个等级的废钢的废钢区域、拆包图像a111中杂质的杂质区域。
再根据拆包图像[a1、a11、a111]的废钢区域以及杂质区域,确定拆包图像[a1、a11、a111]中每个拆包图像中每个等级的废钢的废钢比例以及杂质比例;将拆包图像a1、a11、a111中每个等级的废钢占比进行加权平均,即可获得第一组拆包图像中不同等级的废钢比例,例如第一等级的废钢比例为25%,第二等级的废钢比例为70%;同时,将拆包图像a1、a11、a111中杂质的杂质比例进行加权求平均,即可获得该第一组拆包图像中杂质的杂质比例,例如杂质比例为5%。
同理,通过上述方法,即获得第二组拆包图像中每个等级的废钢压块的废钢比例和杂质比例。
步骤206:根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比。
而在获取每个废钢压块的每组拆包图像中不同等级的废钢比例以及杂质比例之后,即可根据该废钢压块中每组拆包图像中不同等级的废钢比例以及杂质比例,快速计算获得该废钢压块的废钢等级以及杂质占比。具体实现方式如下所述:
所述根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比,包括:
根根据所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例,通过线性衰减加权的方式以及面积大小投票估测的方式,获得所述每个废钢压块的废钢等级;
根据所述每组拆包图像的杂质比例,通过加权求平均的方式,获得所述每个废钢压块的杂质占比。
仍沿用上例,在计算出废钢压块a的两组拆包图像中每组拆包图像的不同等级的废钢比例以及杂质比例之后,则可以通过线性衰减加权的方式,计算出该废钢压块a中不同等级的废钢比例,例如该废钢压块a中第一等级的废钢比例为25%,第二等级的废钢比例为70%;再通过面积大小投票估测的方式,从该废钢压块a的不同等级的废钢比例中,选择废钢比较70%的第二等级,作为该废钢压块a的废钢等级。同理,其他废钢压块的废钢等级也可以通过此种方式获得。
而废钢压块a的杂质比例,则通过废钢压块的两组拆包图像的杂质比例,通过加权求平均的方式确定。
实际应用中,若针对某个废钢压块进行n次拆包,产生了n组拆包图像;那么对于该废钢压块的等级判定,首先采用线性衰减加权的方式进行融合,假设每组拆包图像中均包含A、B、C、D四类废钢等级,其中,每类废钢等级的废钢比例分别为:RA,RB,RC,RD,则第一组至第n组中每层权重计算公式为Ri = (n-i)/n;该废钢压块的废钢等级通过如下公式计算获得:Max(sum(RA*i),sum(RB*i),sum(RC*i),sum(RD*i))(i=1~n)。
而对于n次拆包过程分割所得杂质比例进行加权平均,得到该废钢压块的杂质占比;同时,对于拆包过程中识别到的异物(如水泥、塑料、泥土等非钢制品等),则可以给予报警提醒或者触发,并显示异物类型以及在废钢压块中的位置。
参见图4,图4示出了本说明书一个实施例提供的一种图像处理方法中废钢压块拆包过程中识别到异物的处理示意图。
图4中展示的为对某个废钢压块拆包后,检测模型识别出该废钢压块中存在异物:水泥块,发出报警提示的示意图。
用户可以根据该报警提示选择整车退货、部分退货、扣重处罚、整车没收等处理。
步骤208:根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
具体的,在确定每个废钢压块的废钢等级、杂质占比之后,即可根据每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。具体实现方式如下所述:
所述根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,包括:
根据所述每个废钢压块的废钢等级以及杂质占比,确定所述目标车辆中整车废钢压块的整车废钢等级以及整车杂质占比;
根据所述整车废钢等级、所述整车杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的扣重扣杂结果。
具体的,所述根据所述每个废钢压块的废钢等级以及杂质占比,确定所述目标车辆中整车废钢压块的整车废钢等级以及整车杂质占比,包括:
根据所述每个废钢压块的废钢等级,通过面积大小投票估测的方式,确定所述目标车辆中整车废钢压块的整车废钢等级;
根据所述每个废钢压块的杂质占比,通过求平均的方式,确定所述目标车辆中整车废钢压块的整车杂质占比。
具体实施时,若目标车辆中存在多个废钢压块,则可以抽取预设数量的废钢压块的废钢等级,然后通过面积大小投票估测的方式,选择面积较大的废钢等级作为整车废钢压块的整车废钢等级;其中,预设数量可以根据实际应用进行设置,例如预设数量可以设置为15块、20块等;当然,为了更加准确的确定该整车废钢压块的整车废钢等级,也可以对目标车辆中所有废钢压块的废钢等级,通过面积大小投票估测的方式,获取该整车废钢压块的整车废钢等级。
而实际应用中,对于整车废钢压块的整车杂质占比的计算,可以从整车的废钢压块中选择预设数量(例如15块或者20块)的目标废钢压块,通过计算该目标废钢压块的平均杂质占比,将该平均杂质占比作为整车废钢压块的整车杂质占比。
那么,在确定整车废钢等级、整车杂质占比之后,即可根据整车废钢等级、整车杂质占比以及扣重扣杂模型,准确计算目标车辆中整车废钢压块的扣重扣杂结果。具体实现方式如下所述:
所述根据所述整车废钢等级、所述整车杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的扣重扣杂结果,包括:
根据所述整车废钢等级,确定所述目标车辆中整车废钢压块中不满足所述整车废钢等级的不达标废钢面积占比;
根据所述目标车辆中每个废钢压块的废钢等级的分布、以及所述整车杂质占比,确定所述目标车辆中废钢压块的混杂程度;
确定包含整车废钢压块的目标车辆的重量、以及不包含整车废钢压块的目标车辆的重量,将所述包含整车废钢压块的目标车辆的重量,与所述不包含整车废钢压块的目标车辆的重量的差值,确定为所述目标车辆的重量;
将所述不达标废钢面积占比、所述目标车辆中废钢压块的混杂程度、所述目标车辆的重量中的至少两个输入扣重扣杂模型,获得所述目标车辆中整车废钢压块的扣重扣杂结果。
其中,若整车废钢等级为4mm,该目标车辆中包括三个废钢压块,这三个废钢压块的废钢等级分别为6mm、4mm,2mm,那么整车废钢等级为4mm的情况下,废钢等级为2mm的废钢压块则为不达标废钢压块,该废钢压块在整车的废钢面积占比即为不达标废钢面积占比。
同时,也可以根据目标车辆中每个废钢压块的废钢等级的分布、以及整车杂质占比,计算目标车辆中废钢压块的混杂程度。
并根据目标车辆包含整车废钢压块的重量、与该目标车辆不包含整车废钢压块的重量差值,确定为目标车辆的实际重量。
最后,将不达标废钢面积占比、目标车辆中废钢压块的混杂程度、目标车辆的重量中的至少两个输入扣重扣杂模型,获得目标车辆中整车废钢压块的扣重扣杂结果。
而在具体实施时,对目标车辆中整车废钢压块的扣重扣杂结果计算时,还应当考虑目标车辆中不符合处理的特殊扣罚物品的占比,比如超长件以及密闭容器,由于超长件可能会撑破炼钢炉,密闭容器可能会在融钢的过程中造成爆炸等情况,因此对废钢压块中的特殊钢材料进行剔除。那么在整车的废钢压块的扣重扣杂结果计算时,也要考虑到特殊扣罚物品的占比。
实际应用中,根据判定的整车废钢等级统计基本等级以下每一次的不达标废钢面积占比,n次的不达标废钢面积占比采用均值方式,得到整车的不达标废钢面积占比kouzhong_ratio,结合整车杂质的占比kouza_ratio,根据整车的不同等级的分布,估测出整车废钢料型的混杂程度mix_ratio(0~1之间),再结合车辆两次过磅之差得到的净重netweight以及识别出业务特殊扣罚的超长件、密闭容器等特殊器件的比例ex_kouzhong_ratio,对于最终整车扣重扣杂的估计,采用回归模型进行预测,可与选取kouzhong_ratio,kouza_ratio,mix_ratio,ex_kouzhong_ratio 两个或多个单因子或组合作为回归模型的输入自变量,回归得到整车的扣重扣杂重量,对于回归模型,可以选用机器学习回归算法,包括但不限于逻辑回归,随机森林,GDBT(Gradient Boosting Decision Tree,梯度提升决策树) ,xgboot(eXtreme Gradient Boosting,极端梯度提升),lightGBM(Light GradientBoosting Machine,实现GBDT算法的框架)等模型,也可以选用深度神经网络回归模型,对于回归模型的训练,可以采用历史的废钢压块的扣重扣杂重量进行回归学习。
参见图5,图5示出了本说明书一个实施例提供的一种图像处理方法应用于废钢压块处理场景的具体处理示意图。
具体的,通过该图像处理方法对废钢压块进行处理时,通过图像采集模块502、算法模块504、应用模块506三部分交互实现。
其中,图像采集模块502,通过多角度拍摄,获取废钢压块的多视角图像;并将获取的废钢压块的多视角图像发送至算法模块504。
算法模块504,根据该废钢压块的多视角图像对该废钢压块的料型进行判定,并调整至少三个视角的摄像头的拍摄参数,并对拆包机对该废钢压块的拆包行为进行识别,在识别出拆包机对该废钢压块存在拆包行为的情况下,通过拍摄参数调整后的至少三个视角的摄像头对拆包后的废钢压块进行特写抓拍,以及根据特写抓拍的图像进行掺假识别(例如识别出里面的杂质以及异物);而在确定该废钢压块中存在掺假情况时,将该拆包后的废钢压块的特写抓拍图像发送至应用模块506。
应用模块506,在终端的废钢处理界面进行掺假报警、人工核验(人工核验该废钢压块中是否真实存在掺假情况)以及结果确认等处理。
实际应用中,目前废钢压块的等级的判定、扣重扣杂等一般会采用废钢判级扣罚模型实现,但是基于以生成模型使用为主,一次交付后,对模型的升级不及时,无法实时满足用户需求,为了解决该技术问题,在根据初始废钢判级扣罚模型(检测模型和扣重扣杂模型)获得目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果之后,若该目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果存在误差,则可以根据该误差对该初始废钢判级扣罚模型进行实时更新。具体实现方式如下所述:
所述检测模型和所述扣重扣杂模型构成初始废钢判级扣罚模型;
相应地,所述根据所述每个废钢压块的废钢等级、杂质比例以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果之后,还包括:
将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给用户;
接收所述用户在所述废钢处理界面对所述废钢等级和/或扣重扣杂结果的修改操作,并根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
具体的,用户通过废钢处理界面可以直观的观看到该目标车辆中废钢压块的废钢等级以及扣重扣杂结果;在确认该目标车辆中废钢压块的废钢等级以及扣重扣杂结果存在问题的情况下,则可以在废钢处理界面对目标车辆中废钢压块的废钢等级以及扣重扣杂结果进行修改,以保证该目标车辆中废钢压块的废钢等级以及扣重扣杂结果的准确性。具体实现方式如下所述:
所述接收所述用户在所述废钢处理界面对所述废钢等级和/或扣重扣杂结果的修改操作,包括:
接收在所述用户确认所述废钢压块的废钢等级和/或扣重扣杂结果错误的情况下,在所述废钢处理界面对所述废钢压块的废钢等级和/或扣重扣杂结果的修改操作。
本说明书实施例中,废钢压块的判级扣罚系统在接收到用户确认该废钢压块的废钢等级和/或扣重扣杂结果任意一项存在错误的情况下,可以在废钢处理界面为用户展示编辑控件,使得用户可以通过点击编辑控件,实现在废钢处理界面对废钢压块的废钢等级和/或扣重扣杂结果进行修改操作,以保证目标车辆中废钢压块的废钢等级以及扣重扣杂结果的准确性;后续可以基于准确的目标车辆中废钢压块的废钢等级以及扣重扣杂结果,对废钢判级扣罚模型进行更新训练,进一步保证废钢判级扣罚模型的准确性。
实际应用中,用户可以通过第三方检测设备对目标车辆中废钢压块的废钢等级以及扣重扣杂结果进行检验,若第三方检测设备检测出的目标车辆中废钢压块的废钢等级以及扣重扣杂结果、与根据初始废钢判级扣罚模型获得的目标车辆中废钢压块的废钢等级以及扣重扣杂结果不同的情况下,则可以确定根据初始废钢判级扣罚模型获得的目标车辆中废钢压块的废钢等级以及扣重扣杂结果出现了异常。此时,为了保证目标车辆中废钢压块的废钢等级以及扣重扣杂结果的准确性,则可以接收用户在废钢处理界面对废钢压块的废钢等级和/或扣重扣杂结果的修改操作。具体实现方式如下所述:
所述接收所述用户在所述废钢处理界面对所述废钢等级和/或扣重扣杂结果的修改操作,包括:
接收所述用户通过第三方检测设备对所述废钢压块的废钢等级以及扣重扣杂结果的核验结果;
在所述核验结果为所述废钢压块的废钢等级和/或扣重扣杂结果错误的情况下,接收所述用户在所述废钢处理界面对所述废钢压块的废钢等级和/或扣重扣杂结果的修改操作。
其中,第三方检测设备可以为任意可以实现对目标车辆中废钢压块的废钢等级以及扣重扣杂结果进行质检的设备。
此外,也可以通过图像比对的方式,直接匹配到历史相似作业车次,通过参考历史车次的扣罚结果,估算目标车辆中废钢压块的废钢等级以及扣重扣杂结果;将该估算的目标车辆中废钢压块的废钢等级以及扣重扣杂结果作为基准,对根据初始废钢判级扣罚模型获得的目标车辆中废钢压块的废钢等级以及扣重扣杂结果的准确性进行判断。
而在根据第三方检测设备检测出、根据初始废钢判级扣罚模型获得的目标车辆中废钢压块的废钢等级以及扣重扣杂结果出现了异常的情况下,为了保证目标车辆中废钢压块的废钢等级以及扣重扣杂结果的准确性,则可以根据第三方检测设备检测出的目标车辆中废钢压块的废钢等级以及扣重扣杂结果对其进行修正。具体实现方式如下所述:
所述接收所述用户在所述废钢处理界面对所述废钢等级和/或扣重扣杂结果的修改操作,包括:
接收所述用户根据所述第三方检测设备对所述废钢压块的检测结果,在所述废钢处理界面对所述废钢压块的废钢等级和/或扣重扣杂结果的修改操作。
而废钢压块的判级扣罚系统在确定用户对根据初始废钢判级扣罚模型获得的目标车辆中废钢压块的废钢等级以及扣重扣杂结果的修改操作的情况下,为了保证后续废钢判级扣罚模型的准确性,则会根据该目标车辆的废钢图像以及修改后的废钢压块的废钢等级以及扣重扣杂结果,对初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。具体实现方式如下所述:
所述根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型,包括:
将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据存储至本地数据库,并为所述样本数据添加问题注释;
在预设时间段内,所述问题注释的数量大于等于第一数量阈值的情况下,获取所述问题注释对应的所有样本数据;
根据所述问题注释对应的所有样本数据,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
其中,问题注释可以理解为样本数据出现的问题原因,例如废钢压块的图像中有部分废钢压块的废钢等级无法识别、或者有部分杂质无法识别等;并且,预设时间段以及第一数量阈值均可以根据实际应用进行设置,例如预设时间段可以设置为一天、两天;第一数量阈值可以设置为100个、200个等。
具体的,将所有废钢压块的图像、以及修改后的废钢压块的废钢等级和扣重扣杂结果作为样本数据存储至本地数据库,同时,将该目标车辆的所有废钢压块的图像、以及修改后的废钢压块的废钢等级和扣重扣杂结果作为一个样本数据,为其添加问题注释;其中,为样本数据添加问题注释,可以理解,废钢压块的判级扣罚系统将该样本数据通过废钢处理界面展示给用户,接收用户对该样本数据添加的问题注释。
然后,以预设时间段为一天,第一数量阈值为100为例;在预设时间段内,所述问题注释的数量大于等于第一数量阈值的情况下,获取所述问题注释对应的所有样本数据,可以理解为,在一天内,该问题注释的数量大于等于100个的情况下,获取该问题注释对应的所有样本数据。
这里可以理解为,当被添加相同问题注释的样本数据的数量大于等于第一数量阈值的情况下,则获取具有该相同问题注释的样本数据。
再根据该问题注释对应的所有样本数据,对初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
实际应用中,将废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果作为样本数据存储至本地数据库后,会在废钢处理界面显示上传的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果,用户可以在给废钢处理界面中,对上传的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果进行样本清洗、自动标注后,将最终的样本数据加载至训练区进行模型更新训练。具体参见图4。
参见图6,图6示出了本说明书一个实施例提供的一种图像处理方法中的废钢处理界面示意图。
图6的废钢处理界面示意图中,展示的为模型训练中心,该模型训练中心包括存储的多个废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果,且该模型训练中心还包括样本清洗、自动标准以及加载至训练区三个操作控件,用户可以通过对这三个操作控件进行点击,进行相应的操作。
具体实施时,若出现一个样本数据,即对初始废钢判级扣罚模型进行更新训练,会造成资源浪费,并且模型训练效果不明显;若多个不同问题的样本数据对初始废钢判级扣罚模型进行更新训练时,由于样本数据的问题不同,那么就会造成大量相同问题的样本数据会对模型训练过程产生较大的影响,极大的影响了相同问题的、少量的样本数据对模型的训练效果。
因此,为了解决该问题,本说明书实施例会对模型训练的样本数据的数量进行限制,例如当一天内,具有相同问题注释(即存在相同异常)的样本数量的数量大于等于设定数量阈值的情况下,才会触发对初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型;避免对模型进行较为频繁的更新训练,带来的计算资源浪费;以及不同问题的样本数据对模型训练的影响。
而在将目标车辆的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果作为样本数据存储至本地数据库之后,为了保证样本数据的可用性以及准确性,可以对样本数据进行数据清洗以及自动的数据打标。具体实现方式如下所述:
所述将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据存储至本地数据库之后,还包括:
确定所述问题注释对应的所有问题数据中的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果;
在同一车辆中的废钢压块的图像的数量大于第二数量阈值的情况下,对所述同一车辆中的废钢压块的图像进行数据清洗;
将清洗后的所述同一车辆中的每个废钢压块的图像作为训练样本,将所述同一车辆修改后的废钢压块的废钢等级和扣重扣杂结果作为每个训练样本的训练标签。
具体的,确定该目标车辆的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果形成的样本数据对应的问题注释;获取与该问题注释相同的所有样本数据,即具有相同问题的所有车辆的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果。
对这些废钢压块的图像进行数据清洗,例如删除不完整、曝光、以及重复的废钢压块的图像等;在根据每个车辆的数据清洗后的废钢图像,对应的修改后的废钢压块的废钢等级和扣重扣杂结果,对其进行自动打标。
实际应用中,由于会存在有的车辆的废钢图像数量较少,有的车辆的废钢压块的图像数量较多的情况,若数量较少的情况下,再进行数据清洗,可能会造成该车辆的废钢压块的图像全部被删除,从而无法形成样本数据进行模型训练的参与;那么为了避免此种情况的发生,则可以在同一车辆的废钢压块的图像的数量大于等于第二数量阈值(如10张)的情况下,再对该车辆的废钢压块的图像进行数据清洗。但是并不排除,当某个车辆的废钢压块的图像、以及其对应的修改后的废钢压块的废钢等级和扣重扣杂结果,对模型训练的影响效果不大的情况下,也可以进行数据清洗,具体可以根据实际需求进行确定。
而在数据清洗后,则将同一车辆中的每个废钢压块的图像作为训练样本,将同一车辆中废钢压块的图像对应的、修改后的废钢压块的废钢等级和扣重扣杂结果作为每个训练样本对应的训练标签,以通过所有车辆的训练样本以及训练标签作为样本数据,对初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。具体实现方式如下所述:
所述根据所述问题注释对应的所有样本数据,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型,包括:
根据所述问题注释对应的所有样本数据中的训练样本和训练标签,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
上述为模型在终端进行更新训练的详细介绍,而实际应用中,为了减轻终端的计算压力,也可以将模型的更新训练过程放置在云端进行更新训练。具体实现方式如下所述:
所述获取所述问题注释对应的所有样本数据之后,还包括:
将所述问题注释对应的所有样本数据发送至服务端;
接收所述服务端发送的、根据所述问题注释对应的所有样本数据,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
其中,服务端可以理解为普通服务端或者是云端,用户可以通过登录云端账号,将问题注释对应的所有样本数据发送至服务端;服务端在接收到这些样本数据之后,可以通过上述实施例的方式对其进行数据清洗以及自动打标后,形成最终的样本数据,通过这些样本数据对模型进行更新训练后,再返回至终端的废钢压块的判级扣罚系统。
而在具体实施时,为了进一步的减轻终端的计算压力,在获得每个目标车辆的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果之后,即可将其发送至服务端,由服务端为其添加问题注释、数据清洗、自动打标、模型更新训练,最终将更新训练后的模型返回至终端进行部署。具体实现方式如下所述:
所述根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型,包括:
将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据发送至服务端;
接收所述服务端发送的、根据所述样本数据对所述初始废钢判级扣罚模型进行更新训练,获得的目标废钢判级扣罚模型。
实际应用中,为了保证使用过程中的模型性能,模型更新后,还会对其进行性能评测,在性能评测满足要求的情况下,才会在终端进行部署。具体实现方式如下所述:
所述获得目标废钢判级扣罚模型之后,还包括:
在确定所述目标废钢判级扣罚模型的评测结果满足评测条件的情况下,将所述目标废钢判级扣罚模型替换所述初始废钢判级扣罚模型。
其中,评测条件可以根据实际应用进行设置,例如评测条件可以设置评测结果大于75分等。
具体的,在确定目标废钢判级扣罚模型的评测结果满足评测条件的情况下,将目标废钢判级扣罚模型替换初始废钢判级扣罚模型。
参见图7,图7示出了本说明书一个实施例提供的一种自迭代学习的废钢判级扣罚模型更新方法中目标废钢判级扣罚模型的评测结果示意图。
以评测条件为评测结果大于70分为例,根据图7中废钢处理界面的模型训练中心页面的展示内容可知,目标废钢判级扣罚模型的评测结果为73.88;此时,则可以确定将目标废钢判级扣罚模型替换初始废钢判级扣罚模型。
本说明书实施例中,在进行模型更新训练时,实际会把样本数据分为训练数据和测试数据,采用训练数据对模型进行更新训练,在获得更新后的模型后,再根据测试数据对更新后的模型进行评测,在评测结果满足预设的评测条件的情况下,则可以确定更新后获得的目标废钢判级扣罚模型性能较优,此时则可以将该目标废钢判级扣罚模型替换初始废钢判级扣罚模型,即将目标废钢判级扣罚模型部署在终端的废钢压块的判级扣罚系统中进行判级扣罚使用。
本说明书实施例提供的自迭代学习的废钢判级扣罚模型更新方法,在初始废钢判级扣罚模型运行过程中,若用户发现模型结果存在异常,可通过废钢处理界面对模型结果进行修改,并将存在异常的废钢图像以及修改结果作为数据样本回流,并通过该数据样本对初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型,从而实现对模型的及时迭代升级,使得模型可以实时满足用户需求。
此外,本说明书实施例提供的图像处理方法中自迭代学习的废钢判级扣罚模型更新,还可以应用于普通的废钢扣重扣杂场景中。
下述结合附图8,以本说明书提供的图像处理方法中自迭代学习的废钢判级扣罚模型,在普通的废钢扣重扣杂场景中进行更新的应用为例,对自迭代学习的废钢判级扣罚模型更新进行进一步说明。其中,图8示出了本说明书一个实施例提供的一种图像处理方法中自迭代学习的废钢判级扣罚模型更新的处理过程流程图,具体包括以下步骤。
图8中包括三部分内容:a部分的推理系统,b部分的项目系统,c部分的训练系统;其中,推理系统,用于通过废钢判级扣罚算法,实现废钢的级别判定以及扣重扣杂结果的确定;项目系统,用于展示推理系统计算的废钢的级别以及扣重扣杂结果,并在判定废钢的级别以及扣重扣杂结果准确的情况下,根据废钢的级别以及扣重扣杂结果进行结算;训练系统,用于接收用户在判定废钢的级别以及扣重扣杂结果不准确的情况下,通过结算系统对废钢的级别以及扣重扣杂结果的修改结果、以及废钢的图像,并将其作为样本数据对推理系统中的废钢判级扣罚算法进行更新训练。
步骤802:货车停放开始卸料。
具体的,货车停放开始卸料,可以理解为,装载有废钢的货车停放至卸料区域,开始将装载的废钢卸载到卸料区域。
步骤804:卸料拍摄。
具体的,卸料拍摄,可以理解为,货车在进行废钢卸料的过程中,通过固定设置在货车周边的摄像机、或者是可移动设置在货车周边的摄像机(如无人机),对倾泻的废钢进行拍照,获得废钢的第一层图像、第二层图像...第n层图像。
步骤806:算法识别。
具体的,算法识别,可以理解为,将拍摄的废钢的第一层图像、第二层图像...第n层图像输入到预先训练的废钢判级扣罚模型中进行识别,识别每一层图像中废钢的等级以及杂质比例等,即获得第一层结果、第二层结果...第n层结果等。
步骤808:等级扣重扣杂。
具体的,根据第一层结果、第二层结果...第n层结果,获得货车的整车的废钢级别以及扣重扣杂结果。
步骤810:结算系统展示。
具体的,结算系统展示,可以理解为将货车的整车的废钢级别以及扣重扣杂结果,通过结算系统中的废钢处理界面展示给用户。若用户确定该整车的废钢级别以及扣重扣杂结果正确,则在结算系统中进行废钢结算;若用户确定该整车的废钢级别以及扣重扣杂结果错误,则在该废钢处理界面进行人工修正。
步骤812:修正样本回流库。
具体的,修正样本回流库,可以理解为,将该货车的废钢图像,以及将修正后的该整车的废钢级别以及扣重扣杂结果作为样本数据回流本地样本库或者云端样本库,在样本库中进行数据标注。
步骤814:确定模型训练框架。
具体的,确定模型训练框架,可以理解为,通过上述样本数据采用内嵌的模型训练框架进行自助算法优化。
步骤816:放入模型生成库。
具体的,放入模型生成库,可以理解为,将每次迭代训练获得的模型均放置到模型生成库中。
步骤818:模型评测。
具体的,模型评测可以理解为,通过模型训练框架对多次训练结果进行综合评测,给出优选模型。
步骤820:模型部署。
具体的,通过系统一键导出功能,将优化后的优选模型部署下发到现有运行环境上,实现模型的版本升级/功能新增。
本说明书实施例提供的自迭代学习的废钢判级扣罚模型更新方法,实现了从系统算法的生产、优化、部署、迭代自学习、自动完成问题数据的收集、标注、模型更新训练、优选模型部署、适配等自闭环升级流程;在生产侧,本方法使用深度学习图像处理技术,实现对车上废钢等级的自动识别以及各种杂物的检测识别,再结合行业历史扣罚规则数据,进行大数据的统计分析,进而实现整车废钢的等级以及扣重扣杂的自动计算;在自学习方面,系统(整个自迭代学习系统)在运行过程中,若用户发现推理系统的输出结果与准确的判级结果差异较大的情况下,可以对问题数据进行确认后,通过界面的结果改判功能,对推理系统的输出结果进行修订并记录,推理系统的升级功能触发相应数据样本的回流,并上传至样本库进行数据标注,模型训练,测试,再次部署,最终形成算法模型的自优化升级闭环,模型的迭代升级效率较高,并且可以实现模型可以及时满足用户需求,用户体验较好。
与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图9示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图9所示,该装置应用于废钢压块处理,包括:
图像获取模块902,被配置为获取每个废钢压块的至少一组拆包图像,其中,所述每个废钢压块从目标车辆中获取,并且所述每个废钢压块的至少一组拆包图像从至少三个不同视角获取;
模型处理模块904,被配置为将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型;
确定模块906,被配置为根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
结果获得模块908,被配置为根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
可选地,所述图像获取模块902,进一步被配置为:
通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像;
根据所述每个废钢压块在不同视角下的全景图像,确定所述每个废钢压块的拆包位置;
根据所述每个废钢压块的拆包位置,调整所述至少三个不同视角的拍摄设备的拍摄参数;
通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像。
可选地,所述图像获取模块902,进一步被配置为:
根据所述每个废钢压块的拆包位置,确定拍摄焦点位置以及拍摄放大倍数;
根据所述拍摄焦点位置以及所述拍摄放大倍数,调整所述至少三个不同视角的拍摄设备的拍摄参数。
可选地,所述图像获取模块902,进一步被配置为:
在接收到用户的拆包指令的情况下,通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像。
可选地,所述图像获取模块902,进一步被配置为:
在接收到拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像。
可选地,所述模型处理模块904,进一步被配置为:
将所述每个废钢压块的至少一组拆包图像中、每组拆包图像的每个拆包图像输入检测模型,获得所述每个拆包图像中的不同等级的废钢区域以及杂质区域;
根据所述每个拆包图像中的不同等级的废钢区域以及杂质区域,确定所述每个拆包图像中不同等级的废钢比例以及杂质比例;
根据所述每个拆包图像中不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例以及杂质比例。
可选地,所述确定模块906,进一步被配置为:
根据所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例,通过线性衰减加权的方式以及面积大小投票估测的方式,获得所述每个废钢压块的废钢等级;
根据所述每组拆包图像的杂质比例,通过加权求平均的方式,获得所述每个废钢压块的杂质占比。
可选地,所述结果获得模块908,进一步被配置为:
根据所述每个废钢压块的废钢等级以及杂质占比,确定所述目标车辆中整车废钢压块的整车废钢等级以及整车杂质占比;
根据所述整车废钢等级、所述整车杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的扣重扣杂结果。
可选地,所述结果获得模块908,进一步被配置为:
根据所述整车废钢等级,确定所述目标车辆中整车废钢压块中不满足所述整车废钢等级的不达标废钢面积占比;
根据所述目标车辆中每个废钢压块的废钢等级的分布、以及所述整车杂质占比,确定所述目标车辆中废钢压块的混杂程度;
确定包含整车废钢压块的目标车辆的重量、以及不包含整车废钢压块的目标车辆的重量,将所述包含整车废钢压块的目标车辆的重量,与所述不包含整车废钢压块的目标车辆的重量的差值,确定为所述目标车辆的重量;
将所述不达标废钢面积占比、所述目标车辆中废钢压块的混杂程度、所述目标车辆的重量中的至少两个输入扣重扣杂模型,获得所述目标车辆中整车废钢压块的扣重扣杂结果。
可选地,所述检测模型和所述扣重扣杂模型构成初始废钢判级扣罚模型;
所述装置,还包括:
模型更新模块,被配置为:
将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给用户;
接收所述用户在所述废钢处理界面对所述废钢等级和/或扣重扣杂结果的修改操作,并根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
可选地,所述模型更新模块,进一步被配置为:
将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据存储至本地数据库,并为所述样本数据添加问题注释;
在预设时间段内,所述问题注释的数量大于等于第一数量阈值的情况下,获取所述问题注释对应的所有样本数据;
根据所述问题注释对应的所有样本数据,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
可选地,所述模型更新模块,进一步被配置为:
确定所述问题注释对应的所有问题数据中的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果;
在同一车辆中的废钢压块的图像的数量大于第二数量阈值的情况下,对所述同一车辆中的废钢压块的图像进行数据清洗;
将清洗后的所述同一车辆中的每个废钢压块的图像作为训练样本,将所述同一车辆修改后的废钢压块的废钢等级和扣重扣杂结果作为每个训练样本的训练标签。
可选地,所述模型更新模块,进一步被配置为:
将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据发送至服务端;
接收所述服务端发送的、根据所述样本数据对所述初始废钢判级扣罚模型进行更新训练,获得的目标废钢判级扣罚模型。
本说明书实施例提供的该图像处理装置,采用多角度成像技术,通过从至少三个不同视角获取废钢压块的拆包图像,结合整体+局部分析的方法,对废钢打包料、压块的拆包过程进行多角度分析,通过检测模型对废钢打包料、压块的等级自动识别,再结合扣重扣杂模型实现对废钢打包料、压块的扣重扣杂的自动计算;同时可以实现对废钢打包料、压块的拆包过程中的杂质进行检测识别。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
本说明书另一实施例提供了一种图像处理交互方法,应用于图像处理交互系统,所述系统包括至少三个不同视角的拍摄设备、拆包设备以及图像处理装置,其中,所述方法包括:
所述图像处理装置,在接收到用户的拆包指令的情况下,触发至少三个不同视角的拍摄设备;
所述至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像,并将所述全景图像发送至所述图像处理装置,其中,所述每个废钢压块从目标车辆中获取;
所述图像处理装置,根据所述全景图像,确定所述至少三个不同视角的拍摄设备的拍摄参数,并根据所述拍摄参数调整所述至少三个不同视角的拍摄设备,且向所述拆包设备发送启动指令;
所述拆包设备,根据所述启动指令对所述每个废钢压块进行拆包;
所述图像处理装置,在接收到所述拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,接收调整后的至少三个不同视角的拍摄设备,获取的所述每个废钢压块在不同视角下的至少一组拆包图像,
将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢区域以及杂质区域,其中,所述杂质区域为除所述废钢区域之外的其他区域,
根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢区域以及杂质区域,确定所述每个废钢压块的废钢等级以及杂质比例,
根据所述每个废钢压块的废钢等级、杂质比例以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,并将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给所述用户。
图10示出了根据本说明书一个实施例提供的一种计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接,数据库1050用于保存数据。
计算设备1000还包括接入设备1040,接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图10所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1000可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
其中,处理器1020用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图像处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的图像处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (13)
1.一种图像处理方法,应用于废钢压块处理,包括:
根据每个废钢压块的拆包位置调整至少三个不同视角的拍摄设备的拍摄参数,并通过调整后的所述至少三个不同视角的拍摄设备获取所述每个废钢压块的至少一组拆包图像,其中,所述每个废钢压块从目标车辆中获取,所述拆包位置为所述每个废钢压块在拆包设备上的初始放置位置;
将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型,所述将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例包括将所述每个废钢压块的至少一组拆包图像中、每组拆包图像的每个拆包图像输入检测模型,获得所述每个拆包图像中的不同等级的废钢区域以及杂质区域,根据所述每个拆包图像中的不同等级的废钢区域以及杂质区域,确定所述每个拆包图像中不同等级的废钢比例以及杂质比例,根据所述每个拆包图像中不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例以及杂质比例;
根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果。
2.根据权利要求1所述的图像处理方法,所述获取所述每个废钢压块的至少一组拆包图像,包括:
通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像;
根据所述每个废钢压块在不同视角下的全景图像,确定所述每个废钢压块的拆包位置;
根据所述每个废钢压块的拆包位置,调整所述至少三个不同视角的拍摄设备的拍摄参数;
通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像。
3.根据权利要求2所述的图像处理方法,所述根据所述每个废钢压块的拆包位置,调整所述至少三个不同视角的拍摄设备的拍摄参数,包括:
根据所述每个废钢压块的拆包位置,确定拍摄焦点位置以及拍摄放大倍数;
根据所述拍摄焦点位置以及所述拍摄放大倍数,调整所述至少三个不同视角的拍摄设备的拍摄参数。
4.根据权利要求2所述的图像处理方法,所述通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像,包括:
在接收到用户的拆包指令的情况下,通过至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像。
5.根据权利要求2所述的图像处理方法,所述通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像,包括:
在接收到拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,通过调整后的至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的至少一组拆包图像。
6.根据权利要求1所述的图像处理方法,所述根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比,包括:
根据所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例,通过线性衰减加权的方式以及面积大小投票估测的方式,获得所述每个废钢压块的废钢等级;
根据所述每组拆包图像的杂质比例,通过加权求平均的方式,获得所述每个废钢压块的杂质占比。
7.根据权利要求1所述的图像处理方法,所述根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,包括:
根据所述每个废钢压块的废钢等级以及杂质占比,确定所述目标车辆中整车废钢压块的整车废钢等级以及整车杂质占比;
根据所述整车废钢等级、所述整车杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的扣重扣杂结果。
8.根据权利要求7所述的图像处理方法,所述根据所述整车废钢等级、所述整车杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的扣重扣杂结果,包括:
根据所述整车废钢等级,确定所述目标车辆中整车废钢压块中不满足所述整车废钢等级的不达标废钢面积占比;
根据所述目标车辆中每个废钢压块的废钢等级的分布、以及所述整车杂质占比,确定所述目标车辆中废钢压块的混杂程度;
确定包含整车废钢压块的目标车辆的重量、以及不包含整车废钢压块的目标车辆的重量,将所述包含整车废钢压块的目标车辆的重量,与所述不包含整车废钢压块的目标车辆的重量的差值,确定为所述目标车辆的重量;
将所述不达标废钢面积占比、所述目标车辆中废钢压块的混杂程度、所述目标车辆的重量中的至少两个输入扣重扣杂模型,获得所述目标车辆中整车废钢压块的扣重扣杂结果。
9.根据权利要求1所述的图像处理方法,所述检测模型和所述扣重扣杂模型构成初始废钢判级扣罚模型;
相应地,所述根据所述每个废钢压块的废钢等级、杂质比例以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果之后,还包括:
将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给用户;
接收所述用户在所述废钢处理界面对所述废钢等级和/或扣重扣杂结果的修改操作,并根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
10.根据权利要求9所述的图像处理方法,所述根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型,包括:
将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据存储至本地数据库,并为所述样本数据添加问题注释;
在预设时间段内,所述问题注释的数量大于等于第一数量阈值的情况下,获取所述问题注释对应的所有样本数据;
根据所述问题注释对应的所有样本数据,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型。
11.根据权利要求10所述的图像处理方法,所述将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据存储至本地数据库之后,还包括:
确定所述问题注释对应的所有问题数据中的废钢压块的图像以及、修改后的废钢压块的废钢等级和扣重扣杂结果;
在同一车辆中的废钢压块的图像的数量大于第二数量阈值的情况下,对所述同一车辆中的废钢压块的图像进行数据清洗;
将清洗后的所述同一车辆中的每个废钢压块的图像作为训练样本,将所述同一车辆修改后的废钢压块的废钢等级和扣重扣杂结果作为每个训练样本的训练标签。
12.根据权利要求9所述的图像处理方法,所述根据所述整车废钢压块的图像以及、修改后的废钢等级和扣重扣杂结果,对所述初始废钢判级扣罚模型进行更新训练,获得目标废钢判级扣罚模型,包括:
将所述整车废钢压块的图像以及、修改后的废钢级别和扣重扣杂结果作为样本数据发送至服务端;
接收所述服务端发送的、根据所述样本数据对所述初始废钢判级扣罚模型进行更新训练,获得的目标废钢判级扣罚模型。
13.一种图像处理交互方法,应用于图像处理交互系统,所述系统包括至少三个不同视角的拍摄设备、拆包设备以及图像处理装置,其中,所述方法包括:
所述图像处理装置,在接收到用户的拆包指令的情况下,触发至少三个不同视角的拍摄设备;
所述至少三个不同视角的拍摄设备,获取每个废钢压块在不同视角下的全景图像,并将所述全景图像发送至所述图像处理装置,其中,所述每个废钢压块从目标车辆中获取;
所述图像处理装置,根据所述全景图像,确定所述至少三个不同视角的拍摄设备的拍摄参数,并根据所述拍摄参数调整所述至少三个不同视角的拍摄设备,且向所述拆包设备发送启动指令;
所述拆包设备,根据所述启动指令对所述每个废钢压块进行拆包;
所述图像处理装置,在接收到所述拆包设备对所述每个废钢压块的拆包结束、发送的断电指令的情况下,接收调整后的至少三个不同视角的拍摄设备,获取的所述每个废钢压块在不同视角下的至少一组拆包图像,
将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,其中,所述检测模型为机器学习模型,所述将所述每个废钢压块的至少一组拆包图像输入检测模型,获得所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例包括将所述每个废钢压块的至少一组拆包图像中、每组拆包图像的每个拆包图像输入检测模型,获得所述每个拆包图像中的不同等级的废钢区域以及杂质区域,根据所述每个拆包图像中的不同等级的废钢区域以及杂质区域,确定所述每个拆包图像中不同等级的废钢比例以及杂质比例,根据所述每个拆包图像中不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的至少一组拆包图像中、每组拆包图像的不同等级的废钢比例以及杂质比例;
根据所述每个废钢压块的至少一组拆包图像中的不同等级的废钢比例以及杂质比例,确定所述每个废钢压块的废钢等级以及杂质占比;
根据所述每个废钢压块的废钢等级、杂质占比以及扣重扣杂模型,确定所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,并将所述目标车辆中整车废钢压块的废钢等级以及扣重扣杂结果,通过废钢处理界面展示给所述用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447992.7A CN114549940B (zh) | 2022-04-27 | 2022-04-27 | 图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447992.7A CN114549940B (zh) | 2022-04-27 | 2022-04-27 | 图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549940A CN114549940A (zh) | 2022-05-27 |
CN114549940B true CN114549940B (zh) | 2022-09-09 |
Family
ID=81667600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210447992.7A Active CN114549940B (zh) | 2022-04-27 | 2022-04-27 | 图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549940B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564271A (zh) * | 2018-04-10 | 2018-09-21 | 西王金属科技有限公司 | 一种废钢质检统计系统 |
CN108600647A (zh) * | 2018-07-24 | 2018-09-28 | 努比亚技术有限公司 | 拍摄预览方法、移动终端及存储介质 |
CN110714109A (zh) * | 2019-10-17 | 2020-01-21 | 柳州钢铁股份有限公司 | 一种控制转炉废钢入炉冒烟的方法 |
CN111438983A (zh) * | 2020-04-02 | 2020-07-24 | 长沙中金智能装备有限公司 | 一种用于废钢打包机推头的液压系统及废钢打包机 |
CN113642539A (zh) * | 2021-10-14 | 2021-11-12 | 阿里巴巴达摩院(杭州)科技有限公司 | 一种货物处理、废钢处理方法和装置 |
CN113743210A (zh) * | 2021-07-30 | 2021-12-03 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像识别方法和废钢等级的识别方法 |
CN113810605A (zh) * | 2021-08-17 | 2021-12-17 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标对象处理方法及装置 |
CN114078126A (zh) * | 2022-01-19 | 2022-02-22 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0704944A8 (pt) * | 2007-11-30 | 2017-08-15 | V & M Do Brasil S/A | Eixo forjado de tubo sem costura para veículos ferroviários e processo de fabricação de eixo forjado de tubo sem costura para veículos ferroviários |
CN110487812A (zh) * | 2019-07-23 | 2019-11-22 | 北京首钢股份有限公司 | 一种对钢包的洁净度进行评判的方法及装置 |
-
2022
- 2022-04-27 CN CN202210447992.7A patent/CN114549940B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564271A (zh) * | 2018-04-10 | 2018-09-21 | 西王金属科技有限公司 | 一种废钢质检统计系统 |
CN108600647A (zh) * | 2018-07-24 | 2018-09-28 | 努比亚技术有限公司 | 拍摄预览方法、移动终端及存储介质 |
CN110714109A (zh) * | 2019-10-17 | 2020-01-21 | 柳州钢铁股份有限公司 | 一种控制转炉废钢入炉冒烟的方法 |
CN111438983A (zh) * | 2020-04-02 | 2020-07-24 | 长沙中金智能装备有限公司 | 一种用于废钢打包机推头的液压系统及废钢打包机 |
CN113743210A (zh) * | 2021-07-30 | 2021-12-03 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像识别方法和废钢等级的识别方法 |
CN113810605A (zh) * | 2021-08-17 | 2021-12-17 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标对象处理方法及装置 |
CN113642539A (zh) * | 2021-10-14 | 2021-11-12 | 阿里巴巴达摩院(杭州)科技有限公司 | 一种货物处理、废钢处理方法和装置 |
CN114078126A (zh) * | 2022-01-19 | 2022-02-22 | 江苏金恒信息科技股份有限公司 | 一种基于机器学习的废钢评级方法及装置 |
Non-Patent Citations (3)
Title |
---|
Based on scrap index to research the adaptation of scrap iron resource to the steel industry;Shujun Cui 等;《2010 Third International Symposium on Knowledge Acquisition and Modeling》;20101231;第387-390页 * |
外购废钢抽样计量称杂检验实践;何荣福 等;《山东工业技术》;20161231(第21期);第43-44页 * |
废钢检验方法改进;曾赞喜 等;《南方金属》;20070228(第154期);第46-47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549940A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113743210A (zh) | 图像识别方法和废钢等级的识别方法 | |
US9347818B2 (en) | Automated collection and scale system | |
CA3118067C (en) | Apparatus for analyzing composition of electronic and electrical device part scraps, device for processing electronic and electrical device part scraps, and method for processing electronic and electrical device part scraps | |
CN112036755B (zh) | 一种建筑工程质量检测的监管方法及系统 | |
GB2554361A (en) | Automatic image based object damage assessment | |
CN114078126B (zh) | 一种基于机器学习的废钢评级方法及装置 | |
US20190005507A1 (en) | Systems implementing solid-waste carbon exchange | |
CN110335426A (zh) | 商品计价方法、智能电子秤和收银系统 | |
CN113810605A (zh) | 目标对象处理方法及装置 | |
CN114549940B (zh) | 图像处理方法 | |
CN113850244B (zh) | 基于图像识别的输煤量监测方法、装置、设备及存储介质 | |
EP4197656A1 (en) | Scrap discrimination system and scrap discrimination method | |
CN113869103A (zh) | 对象的检测方法、存储介质和系统 | |
JP7103004B2 (ja) | ヤード待ち滞船時間予測装置、方法及びプログラム | |
CN116597364B (zh) | 图像处理方法及装置 | |
CN114511046A (zh) | 对象识别方法以及装置 | |
JP7311455B2 (ja) | スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム | |
KR20220131358A (ko) | 스크랩 판별 시스템 및, 스크랩 판별 방법 | |
CN114550102A (zh) | 货物堆积检测方法、装置、设备和系统 | |
KR101222383B1 (ko) | 금속스크랩 압축물의 유통 및 이미지 데이터를 활용한 검수 시스템 및 그 방법 | |
JP2005208024A (ja) | 粉粒体の粒度分布作成方法 | |
KR101086201B1 (ko) | 고철 매입 검수방법 | |
CN117726965A (zh) | 基于神经网络的无人值守过磅控制方法及系统 | |
WO2022254202A1 (en) | Method for automated waste composition reporting | |
JP2023070671A (ja) | 情報処理装置、情報処理方法、情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |