CN116597364B - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN116597364B
CN116597364B CN202310329639.3A CN202310329639A CN116597364B CN 116597364 B CN116597364 B CN 116597364B CN 202310329639 A CN202310329639 A CN 202310329639A CN 116597364 B CN116597364 B CN 116597364B
Authority
CN
China
Prior art keywords
information
target object
image
target
scrap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310329639.3A
Other languages
English (en)
Other versions
CN116597364A (zh
Inventor
陈伟璇
徐海华
魏溪含
杨昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310329639.3A priority Critical patent/CN116597364B/zh
Publication of CN116597364A publication Critical patent/CN116597364A/zh
Application granted granted Critical
Publication of CN116597364B publication Critical patent/CN116597364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本说明书实施例提供图像处理方法及装置，其中所述图像处理方法包括：接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息；根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果。本说明书提供的方法，可以直接获得目标对象对应的预测结果，并且多个图像中提取的信息综合计算预测结果，提升预测准确率。

Description

图像处理方法及装置
技术领域
本说明书实施例涉及计算机技术领域，特别涉及图像处理方法。
背景技术
随着AI(Artificial Intelligence，人工智能)技术的发展和普及，工业智能对制造业，尤其是钢铁行业意味着更多的发展可能，AI的工业化思维将大大促进产业链、服务链的扩展延伸和优化，提升整个行业的技术含量和附加值。
在很多的工业场景中，会涉及到从原料中提取成品的过程，例如以钢铁行业为例，钢铁厂每年都会处理大量的废钢，从废钢中提取可以使用的钢铁。废钢包括有各种形状的钢材，还有一些杂质、异物，钢铁厂需要对废钢进行定级分类，不同等级的废钢能提炼出的钢材量、定价也各有不同，因此，如何能对原料进行准确的定级，进而能准确的对提取结果进行预测，就成为技术人员亟待解决的问题。
发明内容
有鉴于此，本说明书实施例提供了图像处理方法。本说明书一个或者多个实施例同时涉及图像处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种图像处理方法，包括：
接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；
识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息；
根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果。
根据本说明书实施例的第二方面，提供了一种图像处理方法，包括：
接收至少两张待处理图像，其中，各待处理图像为废钢在不同角度的图像；
识别各待处理图像中的废钢和异物，并根据各待处理图像中的废钢和异物，获取废钢信息和异物信息；
根据所述废钢信息和异物信息，确定所述废钢对应的废钢出水率。
根据本说明书实施例的第三方面，提供了一种图像处理装置，包括：
接收模块，被配置为接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；
识别模块，被配置为识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息；
确定模块，被配置为根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果。
根据本说明书实施例的第四方面，提供了一种图像处理装置，包括：
图像接收模块，被配置为接收至少两张待处理图像，其中，各待处理图像为废钢在不同角度的图像；
废钢识别模块，被配置即为识别各待处理图像中的废钢和异物，并根据各待处理图像中的废钢和异物，获取废钢信息和异物信息；
预测模块，被配置为根据所述废钢信息和异物信息，预测所述废钢对应的废钢出水率。
根据本说明书实施例的第五方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述图像处理方法的步骤。
根据本说明书实施例的第七方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像处理方法的步骤。
本说明书一个实施例实现了一种图像处理方法，包括：接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息；根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果。
本说明书实施例提供的图像处理方法，通过针对同一目标对象在不同角度的待处理图像，可以获取到同一个目标对象在不同视角的信息，便于在后续图像识别的过程中，可以更准确的目标对象在多个视角的信息，避免因单独视角导致的预测失误。将各待处理图像经过识别后，可以从各图像中获得关于目标对象和非目标对象的信息，保证了获取对象信息的全面性，在综合了各图像的目标对象信息和非目标对象信息之后，即直接获得目标对象对应的预测结果，多个图像中提取的信息综合计算预测结果，提升预测准确率。
附图说明
图1是本说明书一个实施例提供的一种图像处理方法的流程图；
图2是本说明书一个实施例提供的图像采集场景的示意图；
图3是本说明书一个实施例提供的整车货物的成品预测的流程示意图；
图4是本说明书一个实施例提供的图像在图像分割模型中的处理示意图；
图5是本说明书一个实施例提供的在废钢定级预测出水率的应用的图像处理方法的处理过程流程图；
图6是本说明书一个实施例提供的废钢定级预测出水率的应用示意图；
图7是本说明书一个实施例提供的一种图像处理装置的结构示意图；
图8是本说明书又一个实施例提供的一种图像处理装置的结构示意图；
图9是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
需要说明的是，本说明书所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
废钢定级：对废钢货物装卸过程进行逐层判定级别，形成多层分析结果，并进行综合分析得到废钢等级，扣重扣杂的过程。
单层判级：按照车斗最上面一层废钢货物进行级别判定。
整车判级：按照车斗各层的废钢货物级别综合对整车废钢货物进行级别判定。
异物：废钢货物中会存在一些拒收物品，影响钢铁冶炼。
杂质：废钢货物中存在的水泥、砂石等非钢铁物质。
电炉：将炉内的电能转化为热量对废钢进行冶炼的加热炉。
出水率：一顿废钢入炉，最后连成钢水，如果钢水的重量为A，则出水率＝A/1,出水率也叫收得率。
随着AI(Artificial Intelligence，人工智能)技术的发展和普及，工业智能对制造业，尤其是钢铁行业意味着更多的发展可能，AI的工业化思维将大大促进产业链、服务链的扩展延伸和优化，提升整个行业的技术含量和附加值。
在很多的工业场景中，会涉及到从原料中提取成品的过程，例如以钢铁行业为例，钢铁厂每年都会处理大量的废钢，从废钢中提取可以使用的钢铁。废钢包括有各种形状的钢材，还有一些杂质、异物，钢铁厂需要对废钢进行定级分类，不同等级的废钢能提炼出的钢材量、定价也各有不同，因此，如何能对原料进行准确的定级，进而能准确的对提取结果进行预测，就成为技术人员亟待解决的问题。
在本说明书中，提供了图像处理方法，本说明书同时涉及图像处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种图像处理方法的流程图，具体包括以下步骤。
步骤102：接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像。
在很多工业场景下，都会涉及到从原料中提取产成品的过程，从大量的原材料中提取成品就会涉及到提取率的问题，提取率越高，原材料的收购价格就会越高。因此，需要对原材料中的成分进行分析，从而可以获得更准确的预测提取率。而工业场景下，原材料的重量都较大，依靠人力筛选会耗费大量的人力和物力，成本较大，因此提出了本说明书一个或多个实施例提供的图像处理方法，通过对包括原材料的图像进行分析，来准确的预测成品的提取率。
基于此，目标对象即为原料，例如以炼钢为例，目标对象即为废钢。待处理图像具体是指拍摄有目标对象的图像，在本说明书提供的一个或多个实施例中，要接收同一个目标对象的至少两张待处理图像，更进一步的，是同一个目标对象在不同角度的图像。
具体的，接收至少两张待处理图像，包括：
接收至少两个图像采集设备针对同一目标对象的待处理图像。
在本说明书提供的一个或多个实施方式中，可以设置至少两个图像采集设备，各个图像采集设备对准同一个区域，将目标对象放置在该区域，通过各个图像采集设备，采集同一个目标对象在同一时刻不同角度的图像，通过图像采集设备采集到的图像即为待处理图像。
参见图2，图2示出了本说明书一实施例提供的图像采集场景的示意图，如图2所示，共有3个图像采集设备，对向同一个区域，可以拍摄到目标对象的待处理图像。以炼钢场景为例，当有一车废钢抵达后，会将货车停靠到装卸作业区域，对货车上的废钢进行卸料作业，至少两个摄像头会对准装卸作业区域，在装卸过程中进行拍摄，从而获得多个待处理图像。
通过本说明书一个或多个实施例提供的图像处理方法，会对待处理图形进行检测识别，对目标对象进行定级判定、杂物识别、目标对象的新旧程度判别、尺寸测算等处理，最后根据识别结果来预测可以从目标对象中进行提炼后获得的多少的成品。
在本说明书提供的一个或多个实施方式中，有多个图像采集设备进行采集，因此可以获得多个待处理图像，另外，由于货物的数量通常比较大，在本说明书提供的一个或多个实施方式中，通常是采用多层拍摄的方式获得待处理图像。
例如，依然以炼钢场景为例，当货车停靠到装卸作业区后，先向装卸作业区域卸载部分货物，当货物铺满一层后，多个摄像头拍摄第一层待处理图像；货车继续装卸货物，当货物铺满第二层后，多个摄像头拍摄第二层待处理图像；……直至货车中的货物全部装卸完毕。
在本说明书提供的一个或多个实施例中，至少两张待处理图像具体是指某一层的图像，更进一步的，可以对某一层对应的待处理图像中的目标对象进行预测，可以分别对各层对应的待处理图像中的目标对象进行预测后，再将各预测结果进行整合，获得整车的预测结果。
参见图3，图3示出了本说明书一实施例提供的整车货物的成品预测的流程示意图，如图3所示，整车货物分层装卸到指定区域，多个摄像头拍摄多个第1层图像；货车继续装卸，多个摄像头拍摄多个第2层图像……，再分别对多个第1层图像进行识别分析，获得第1层结果，对多个第2层图像进行识别分析，获得第2层结果，……最终根据第1层结果到第N层结果，获得整车的预测。
为了便于解释说明，在本说明书的一个或多个实施方式中，均以其中某一层的处理为例进行解释说明。
步骤104：识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息。
在本说明书提供的一个或多个实施方式中，通常是有多个对象，其中，可以被提炼的对象即为目标对象，不可以被提炼的对象被称为非目标对象，例如在钢铁提炼过程中，废钢即为目标对象，泥土、塑料、纸板等即为非目标对象。又例如在纸张提炼过程中，纸板、废纸、报纸等为目标对象，塑料、铁制品即为非目标对象。
相应的，目标对象对应的目标对象信息具体是指与目标对象相关的、影响最终预测结果的对象信息，非目标对象对应的非目标对象信息具体是指与非目标对象相关的、影响最终预测结果的对象信息。在本说明书提供的一个或多个实施方式中，所述目标对象信息包括对象等级信息、对象尺寸信息、对象亮度信息和对象杂质信息，所述非目标对象信息包括非目标对象占比信息和非目标对象数量。
其中，对象等级信息用于标识目标对象的等级，例如1级、2级、3级等，也可以是初级、中级、高级等，也可以是根据目标对象的尺寸信息来确定，例如在炼钢场景下，是根据钢板的厚度来为废钢定级，例如钢板的等级为4级，则钢板的厚度为4毫米，若钢板的等级为2级，则钢板的厚度为2毫米等等。在本说明书提供的一个或多个实施方式中，对象等级信息以具体设计为准，在此不做限定。
对象尺寸信息具体是指目标对象的具体尺寸，例如是正方形、长方形、细长形等等。
对象亮度信息具体是指目标对象的新旧程度，在本说明书提供的一个或多个实施方式中，目标对象越亮则说明目标对象越新，为了避免因灯光导致的亮度差异，通常在拍摄待处理图像是都会进行补光操作，尽量避免因光线问题导致的亮度误差。
对象杂质信息具体是指目标对象上附着杂质的信息，例如钢铁上的铁锈、腐蚀情况，黄铜上的铜锈等等。对象杂质信息通常表示目标对象本身的纯度信息。
非目标对象占比信息具体是指非目标对象在整体中的占比情况，例如以整体为1吨来统计，非目标对象的重量有0.1吨，则非目标对象占比信息为0.1，通常情况下，非目标对象占比信息用于表示非目标对象占用的重量信息，便于在后续的预测过程中进行相应的扣除。
非目标对象数量具体是指非目标对象在待处理图像中的数量信息，例如检测到有3个纸箱、5个塑料板，3个泥土块，则非目标对象数量有11个。
通过目标对象信息和非目标对象信息，便于在后续的预测过程中，可以更准确的预测出成品的信息，使得最终的预测结果更加准确。
具体的，识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息，包括S1042-S1046：
S1042、在各待处理图像中确定目标待处理图像。
在本说明书一个或多个实施例中，各待处理图像具体是指同一层的多个待处理图像，需要分别对各待处理图像分别进行分析，再将分析结果整合，获得最终的结果，具体的，在本实施方式中，以其中1个待处理图像为例进行解释说明。
目标待处理图像即为在后续过程中被识别的图像，目标待处理图像是各待处理图像中的任一个。
在本说明书提供的实施例中，以有3个摄像头为例，对同一层的目标对象会有3个待处理图像，在3个待处理图像中确定目标待处理图像。
S1044、将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果。
其中，图像分割模型具体是指使用深度学习图像实例分割算法的模型，例如使用了Mask-RCNN算法的模型，Mask-RCNN是一种在有效检测目标的同时输出高质量的实例分割标记的算法。图像分割模型可以实现对图像中的内容进行实例分割、目标检测、对象定级等处理。
将目标待处理图像输入至预先训练好的图像分割模型，即可获得图像分割模型输出的图像识别结果。
具体的，所述图像分割模型包括特征提取层、区域候选层、对象分类层；
将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，包括：
将所述目标待处理图像输入至所述特征提取层，获得所述目标待处理图像对应的图像特征信息；
将所述图像特征信息输入至所述区域候选层，获得所述区域候选层输出的至少一个对象区域信息；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息；
根据各对象对应的对象分类确定目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息。
在本说明书提供的一个或多个实施方式中，图像分割模型具体包括有特征提取层、区域候选层、对象分类层，其中，特征提取层具体是指用于对输入的图像进行特征提取；区域候选层具体是指根据提取到的图像特征确定候选框区域；对象分类层具体是指根据候选框区域和图像特征，识别图像中的对象，并确定各对象对应的对象信息。
更进一步的，将目标待处理图像输入至图像分割模型后，首先将目标待处理图像输入至特征提取层，特征提取层应用了特征提取网络，如卷积网络(Convolutional NeuralNetwork，CNN)、残差网络(ResNets)或其他主干特征提取网络，目标待处理图像经过特征提取层进行特征提取之后，会获得目标待处理图像对应的图像特征信息(Feature Maps)。
参见图4，图4示出了本说明书一实施例提供的图像在图像分割模型中的处理示意图，如图4所示，目标图像在经过特征提取层之后，获得特征提取层输出的图像特征信息。
在获得了图像特征信息后，将图像特征信息输入至用于获取图像中对象对应的候选区域的区域候选层，获得区域候选层输出的各对象对应的对象区域信息，参见图4，将图像特征信息输入至区域候选层，获得区域候选层输出的各对象对应的对象区域信息。
参见图4，在获得对象区域信息后，将对象区域信息和图像特征信息输入至对象分类层，获得对象分类层输出的各对象的对象分类和各对象的对象信息。
在本说明书提供的一个或多个实施方式中，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息，包括：
将各对象区域信息和所述图像特征信息输入至所述第一分类网络，获得目标对象、非目标对象，以及所述目标对象的目标对象位置信息、非目标对象的非目标对象位置信息，目标对象对应的目标对象属性信息、非目标对象对应的非目标对象属性信息；
将所述目标对象位置信息和所述图像特征信息输入至所述第二分类网络，获得所述目标对象对应的对象亮度信息；
将所述目标对象位置信息和所述图像特征信息输入至所述第三分类网络，获得所述目标对象对应的对象杂质信息。
其中，第一分类网络具体是指用于确定对象类型、对象位置信息和对象属性信息的网络，第二分类网络具体是指用于确定目标对象亮度信息的网络，第三分类网络具体是指用于确定目标对象杂质信息的网络。
更进一步的，首先将各对象区域信息和图像特征信息输入至第一分类网络，通过第一分类网络确定哪些对象是目标对象以及目标对象位置信息，哪些对象是非目标对象以及非目标对象位置信息，这里的目标对象位置信息和非目标对象位置信息具体是指在待处理图像中的位置信息，也可以理解为在待处理图像中目标对象对应的区域坐标，非目标对象对应的区域坐标。
在第一分类网络中，除了可以确定各对象对应的位置信息之后，还可以确定各对象对应的对象属性信息，更进一步的，在确定了目标对象和非目标对象之后，可以获得目标对象对应的目标对象属性信息、非目标对象对应的非目标对象属性信息。其中目标对象属性信息包括对象等级信息和对象尺寸信息，所述非目标对象属性信息包括非目标对象占比信息和非目标对象数量。
目标对象的对象等级信息具体是指通过图像识别后，获得的图像的等级信息，例如以废钢为例，目标对象为废钢的情况下，会识别每个废钢的等级，在废钢等级分类中，按照厚度区分，即每2毫米一个等级，在识别到的废钢等级中选取等级最高的废钢等级为目标对象的对象等级信息，例如，在待处理图像中识别到2毫米的废钢占比有10％，4毫米的废钢占比有50％，6毫米的废钢占比有百分之30％，8毫米的废钢占比有10％。则确定废钢的对象等级信息为4。
对象尺寸信息具体是指目标对象的实际尺寸，例如对于目标对象是细长型的、矩形的、三角形的、不规则形的等等，在本说明书提供的一个或多个实施方式中，目标对象的尺寸可能有很多，为了便于表示，可以根据各个目标对象的尺寸来计算平均长宽比，将待处理图像中各目标对象的平均长宽比作为对象尺寸信息。
除了上述信息之外，非目标对象也会对最终的成品预测造成影响，因此，还要获取非目标对象的非目标对象属性信息。非目标对象属性信息包括非目标对象占比信息和非目标对象数量。
具体的，非目标对象占比信息具体是指预测的非目标对象在整体中的占比情况，更进一步的，先预测非目标对象的质量信息，具体的，可以根据识别出的非目标对象的类型、尺寸等信息预测出非目标对象的质量，再结合待处理图像对应的对象质量来确定非目标对象占比信息。
非目标对象数量即从待处理图像中获取到的非目标对象的实际数量。
在确定了目标对象对应的目标对象位置信息后，将目标对象位置信息和图像特征信息输入至第二分类网络，获得第二分类网络输出的亮度置信度评分，并将该亮度置信度评分作为目标对象对应的对象亮度信息。在钢铁冶炼场景中，对象亮度信息可以表征废钢的新旧程度。
同时还可以将目标对象位置信息和图像特征信息输入至第三分类网络，获得第三分类网络输出的杂质置信度评分，并将该杂质置信度评分作为目标对象对应的对象杂质信息。在钢铁冶炼场景中，对象杂质信息可以表征废钢的中锈蚀程度。
在本说明书提供的一个或多个实施方式中，对待处理图像进行图像识别，获得图像识别结果的方法，还可以使用YOLO网络、SSD(Single Shot MultiBox Detector)等图像实例分割网络，也可以使用Resnet50,Densenet等分类深度神经网络，在本说明书提供的实施例中，对图像识别模型的具体方式不做限定，以实际应用为准。
S1046、根据各待处理图像对应的图像识别结果，确定目标对象和非目标对象，以及所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息。
对各待处理图像进行上述步骤的处理操作后，会获得各待处理图像的图像识别结果，最终会融合各待处理图像的图像识别结果，从而确定当前层对应的目标对象和非目标对象，以及各目标对象对应的目标对象信息和非目标对象对应的非目标对象信息。
具体的，结合各待处理图像对应的图像识别结果，确定当前层对应的对象和对象信息，避免了单个待处理图像因为有遮挡而导致的识别不清楚的情况，通过对当前层的多个待处理图像进行识别，提高了当前层的识别准确率。
步骤106：根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果。
在经过上述步骤确定了目标对象信息和非目标对象信息之后，即可结合这两者来预测目标对象生成成品的预测结果，例如以碎纸为例，目标对象即为废纸，目标对象的成品即为纸浆，预测结果就是对产出纸浆比例的预测；以炼钢场景为例，目标对象为废钢，目标对象对应的成品即为钢水，预测结果就是对产出钢水比例的预测。
在本说明书提供的一具体实施方式中，根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果，包括：
将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测结果。
其中，结果预测模型具体可以是以回归预测网络为基础的预测模型，将目标对象信息和非目标对象信息输入至回归预测网络中，最终得到所述目标对象对应的预测结果。更进一步的，回归预测网络具体可以选择深度交叉网络DCN(Deep&Cross Network)，DCN拥有更高的计算效率并且能够提取到更高阶的交叉特征，可以隐式地提取到交叉组合特征，自动找到不同输入参数之间的相互关联。
在本说明书提供的一具体实施方式中，结果预测模型以DCN网络为基础，DCN网络包括一个嵌入层，由嵌入层对输入的信息做嵌入化处理。在嵌入层后并列连接交叉网络层和特征提取层，分别对输入的信息进行交叉特征提取和深度特征提取。最后将交叉网络层和特征提取层的输出信息拼接之后，输入到全连接层中，由全连接层输出最终的预测结果。
基于此，结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层；基于此，将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测结果，包括：
将所述目标对象信息和所述非目标对象信息输入至所述嵌入层，获得目标对象特征信息和非目标对象特征信息；
将所述目标对象特征信息和所述非目标对象特征信息输入至所述交叉网络层，获得交叉特征信息；
将所述目标对象特征信息和所述非目标对象特征信息输入至所述特征提取层，获得对象特征信息；
将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述目标对象对应的预测结果。
嵌入层具体是指将输入的信息转换为计算机可以识别的特征信息，在本说明书提供的一个或多个实施方式中，将目标对象信息和非目标对象信息输入至嵌入层后，获得嵌入层输出的目标对象特征信息和非目标特征对象信息。目标对象信息包括有对象等级信息、对象尺寸信息、对象亮度信息和对象杂质信息，非目标对象信息包括有非目标对象占比信息和非目标对象数量，对象等级信息、对象尺寸信息、对象亮度信息和对象杂质信息拼接后，输入到嵌入层，获得目标对象特征信息；将非目标对象占比信息和非目标对象数量拼接后，输入到嵌入层，获得非目标特征信息。
在获得了目标对象特征信息和非目标对象特征信息之后，分别将这两种信息输入至交叉网络层和特征提取层，在交叉网络层中进行交叉特征提取，提取各对象特征信息之间的特征信息，即交叉特征信息；在特征提取层中进行深度特征提取，提取各对象特征信息与最终输出结果信息间的特征信息，即对象特征信息。
在获得了交叉特征信息和对象特征信息之后，将两者进行拼接，获得拼接特征信息，具体的是将交叉特征信息和对象特征信息进行特征信息维度上的拼接，例如交叉特征信息是230*728维度，对象特征信息是200*728维，则拼接特征信息是430*728维。
在获得了拼接特征信息之后，将拼接特征信息输入至全连接层，最终通过全连接层获得目标对象对应的预测结果。
在本说明书提供的一个或多个实施方式中，预测模型除了使用回归预测网络外，还可以采用各类机器学习回归模型，例如xgboost、随机森林等等。在本说明书提供的实施例中，对预测模型的具体方式不做限定，以实际应用为准。
在本说明书提供的一具体实施方式中，以目标对象为废纸为例，经过图像识别处理后，获得的目标对象信息为<对象等级信息：“0.2”；对象尺寸信息：“5:3”；对象亮度信息：“0.8”；对象杂质信息：“0.1”>；非目标对象信息为<非目标对象占比信息：“0.2”；非目标对象数量：“50”>。将目标对象信息进行拼接后，获得拼接后目标对象信息“0.2，1.66，0.8，0.1”，将非目标对象信息进行拼接后获得拼接后非目标对象信息“0.2，50”。将拼接后目标对象信息和拼接后非目标对象信息输入至结果预测模型，获得结果预测模型输出的预测纸浆转换率为“80％”。
本说明书实施例提供的图像处理方法，通过针对同一目标对象在不同角度的待处理图像，可以获取到同一个目标对象在不同视角的信息，便于在后续图像识别的过程中，可以更准确的目标对象在多个视角的信息，避免因单独视角导致的预测失误。将各待处理图像经过识别后，可以从各图像中获得关于目标对象和非目标对象的信息，保证了获取对象信息的全面性，在综合了各图像的目标对象信息和非目标对象信息之后，即可直接获得目标对象对应的预测结果，根据多个图像中的目标对象信息和非目标对象信息获得更加准确的预测结果。提升预测准确率。
其次，在获取目标对象信息和非目标对象信息的过程中，结合AI视觉算法，对包含有目标对象的图像进行分析，综合考虑对象等级信息、对象尺寸信息、对象亮度信息、对象杂质信息、非目标对象占比信息和非目标对象数量，再通过回归预测模型直接计算成品的预测结果，即解决了人工操作存在的复杂、成本高的问题，也避免了准备化学方法测试的复杂度和不准确性，建立了原料和成品之间的关联评价关系，简化了预测流程，提升了预测效率。
下述结合附图5，以本说明书提供的图像处理方法在废钢定级预测出水率的应用为例，对所述图像处理方法进行进一步说明。其中，图5示出了本说明书一个实施例提供的一种图像处理方法的处理过程流程图，具体包括以下步骤。
步骤502：接收至少两张待处理图像，其中，各待处理图像为废钢在不同角度的图像。
步骤504：识别各待处理图像中的废钢和异物，并根据各待处理图像中的废钢和异物，获取废钢信息和异物信息。
步骤506：根据所述废钢信息和异物信息，确定所述废钢对应的废钢出水率。
可选的，识别各待处理图像中的废钢和异物，并根据各待处理图像中的废钢和异物，获取废钢信息和异物信息，包括：
在各待处理图像中确定目标待处理图像；
将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果；
根据各待处理图像对应的图像识别结果，确定废钢和异物，以及所述废钢对应的废钢信息和所述异物对应的异物信息。
可选的，所述图像分割模型包括特征提取层、区域候选层、对象分类层；
将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，包括：
将所述目标待处理图像输入至所述特征提取层，获得所述目标待处理图像对应的图像特征信息；
将所述图像特征信息输入至所述区域候选层，获得所述区域候选层输出的至少一个对象区域信息；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息；
根据各对象对应的对象分类确定废钢和异物，并获取所述废钢对应的废钢信息和所述异物对应的异物信息。
可选的，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息，包括：
将各对象区域信息和所述图像特征信息输入至所述第一分类网络，获得废钢、异物，以及所述废钢的废钢位置信息、异物的异物位置信息，废钢对应的废钢属性信息、异物对应的异物属性信息；
将所述废钢位置信息和所述图像特征信息输入至所述第二分类网络，获得所述废钢对应的废钢亮度信息；
将所述废钢位置信息和所述图像特征信息输入至所述第三分类网络，获得所述废钢对应的废钢杂质信息。
可选的，所述废钢属性信息包括废钢等级信息和废钢尺寸信息，所述异物属性信息包括异物占比信息和异物数量。
可选的，根据所述废钢信息和异物信息，确定所述废钢对应的废钢出水率，包括：
将所述废钢信息和所述异物信息输入至结果预测模型，获得所述结果预测模型输出的所述废钢对应的废钢出水率。
可选的，所述结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层；
将所述废钢信息和所述异物信息输入至结果预测模型，获得所述结果预测模型输出的所述废钢对应的废钢出水率，包括：
将所述废钢信息和所述异物信息输入至所述嵌入层，获得废钢特征信息和异物特征信息；
将所述废钢特征信息和所述异物特征信息输入至所述交叉网络层，获得交叉特征信息；
将所述废钢特征信息和所述异物特征信息输入至所述特征提取层，获得对象特征信息；
将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述废钢对应的废钢出水率。
可选的，所述废钢信息包括废钢等级信息、废钢尺寸信息、废钢亮度信息和废钢杂质信息，所述异物信息包括异物占比信息和异物数量。
可选的，接收至少两张待处理图像，包括：
接收至少两个图像采集设备针对同一废钢的待处理图像。
本说明书实施例提供的图像处理方法，通过针对同一废钢在不同角度的待处理图像，可以获取到同一个废钢在不同视角的信息，便于在后续图像识别的过程中，可以更准确的废钢在多个视角的信息，避免因单独视角导致的预测失误。将各待处理图像经过识别后，可以从各图像中获得关于废钢和异物的信息，保证了获取废钢信息和异物信息的全面性，在综合了各图像的废钢信息和异物信息之后，即可直接获得废钢对应的废钢出水率，根据多个图像中的废钢信息和异物信息获得更加准确的预测结果。提升预测准确率。
其次，在获取废钢信息和异物信息的过程中，结合AI视觉算法，对包含有废钢的图像进行分析，综合考虑废钢等级信息、废钢尺寸信息、废钢亮度信息、废钢杂质信息、异物占比信息和异物数量，再通过回归预测模型直接计算废钢出水率，即解决了人工操作存在的复杂、成本高的问题，也避免了准备化学方法测试的复杂度和不准确性，建立了废钢和废钢出水率之间的关联评价关系，简化了预测流程，提升了预测效率。
参见图6，图6示出了本说明书一实施例提供的废钢定级预测出水率的应用示意图，如图6所示，整车废钢共卸货有5层，每一层都通过3个摄像头拍摄3张不同角度的图像，共有15张图像，每层废钢对应的3张图像进行图像识别和分析，获得每层废钢对应的废钢信息和异物信息，再将各层的废钢信息和异物信息进行综合判定，确定整车的称重重量、扣去杂质的重量，再判定废钢中的材料类型、材料等级、新旧程度等信息，最后综合判断出整车材料最终可以获得的废钢出水率为89％。
与上述方法实施例相对应，本说明书还提供了图像处理装置实施例，图7示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图7所示，该装置包括：
接收模块702，被配置为接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；
识别模块704，被配置为识别各待处理图像中的目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息；
确定模块706，被配置为根据所述目标对象信息和所述非目标对象信息，确定所述目标对象对应的预测结果。
可选的，所述识别模块704，进一步被配置为：
在各待处理图像中确定目标待处理图像；
将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果；
根据各待处理图像对应的图像识别结果，确定目标对象和非目标对象，以及所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息。
可选的，所述图像分割模型包括特征提取层、区域候选层、对象分类层；
所述识别模块704，进一步被配置为：
将所述目标待处理图像输入至所述特征提取层，获得所述目标待处理图像对应的图像特征信息；
将所述图像特征信息输入至所述区域候选层，获得所述区域候选层输出的至少一个对象区域信息；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息；
根据各对象对应的对象分类确定目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息。
可选的，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络；
所述识别模块704，进一步被配置为：
将各对象区域信息和所述图像特征信息输入至所述第一分类网络，获得目标对象、非目标对象，以及所述目标对象的目标对象位置信息、非目标对象的非目标对象位置信息，目标对象对应的目标对象属性信息、非目标对象对应的非目标对象属性信息；
将所述目标对象位置信息和所述图像特征信息输入至所述第二分类网络，获得所述目标对象对应的对象亮度信息；
将所述目标对象位置信息和所述图像特征信息输入至所述第三分类网络，获得所述目标对象对应的对象杂质信息。
可选的，所述目标对象属性信息包括对象等级信息和对象尺寸信息，所述非目标对象属性信息包括非目标对象占比信息和非目标对象数量。
可选的，所述确定模块706，进一步被配置为：
将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测结果。
可选的，所述结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层；
所述确定模块706，进一步被配置为：
将所述目标对象信息和所述非目标对象信息输入至所述嵌入层，获得目标对象特征信息和非目标对象特征信息；
将所述目标对象特征信息和所述非目标对象特征信息输入至所述交叉网络层，获得交叉特征信息；
将所述目标对象特征信息和所述非目标对象特征信息输入至所述特征提取层，获得对象特征信息；
将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述目标对象对应的预测结果。
可选的，所述目标对象信息包括对象等级信息、对象尺寸信息、对象亮度信息和对象杂质信息，所述非目标对象信息包括非目标对象占比信息和非目标对象数量。
可选的，所述接收模块702，进一步被配置为：
接收至少两个图像采集设备针对同一目标对象的待处理图像。
本说明书实施例提供的图像处理装置，通过针对同一目标对象在不同角度的待处理图像，可以获取到同一个目标对象在不同视角的信息，便于在后续图像识别的过程中，可以更准确的目标对象在多个视角的信息，避免因单独视角导致的预测失误。将各待处理图像经过识别后，可以从各图像中获得关于目标对象和非目标对象的信息，保证了获取对象信息的全面性，在综合了各图像的目标对象信息和非目标对象信息之后，即可直接获得目标对象对应的预测结果，根据多个图像中的目标对象信息和非目标对象信息获得更加准确的预测结果。提升预测准确率。
其次，在获取目标对象信息和非目标对象信息的过程中，结合AI视觉算法，对包含有目标对象的图像进行分析，综合考虑对象等级信息、对象尺寸信息、对象亮度信息、对象杂质信息、非目标对象占比信息和非目标对象数量，再通过回归预测模型直接计算成品的预测结果，即解决了人工操作存在的复杂、成本高的问题，也避免了准备化学方法测试的复杂度和不准确性，建立了原料和成品之间的关联评价关系，简化了预测流程，提升了预测效率。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是，该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理装置的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了图像处理装置实施例，图8示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图8所示，该装置包括：
图像接收模块802，被配置为接收至少两张待处理图像，其中，各待处理图像为废钢在不同角度的图像；
废钢识别模块804，被配置即为识别各待处理图像中的废钢和异物，并根据各待处理图像中的废钢和异物，获取废钢信息和异物信息；
预测模块806，被配置为根据所述废钢信息和异物信息，预测所述废钢对应的废钢出水率。
本说明书实施例提供的图像处理装置，通过针对同一废钢在不同角度的待处理图像，可以获取到同一个废钢在不同视角的信息，便于在后续图像识别的过程中，可以更准确的废钢在多个视角的信息，避免因单独视角导致的预测失误。将各待处理图像经过识别后，可以从各图像中获得关于废钢和异物的信息，保证了获取废钢信息和异物信息的全面性，在综合了各图像的废钢信息和异物信息之后，即可直接获得废钢对应的废钢出水率，根据多个图像中的废钢信息和异物信息获得更加准确的预测结果。提升预测准确率。
其次，在获取废钢信息和异物信息的过程中，结合AI视觉算法，对包含有废钢的图像进行分析，综合考虑废钢等级信息、废钢尺寸信息、废钢亮度信息、废钢杂质信息、异物占比信息和异物数量，再通过回归预测模型直接计算废钢出水率，即解决了人工操作存在的复杂、成本高的问题，也避免了准备化学方法测试的复杂度和不准确性，建立了废钢和废钢出水率之间的关联评价关系，简化了预测流程，提升了预测效率。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是，该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理装置的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。
计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，networkinterface controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)。
在本说明书的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中，处理器920用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述图像处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的图像处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减，例如在某些地区，根据专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种图像处理方法，包括：
接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；
在各待处理图像中确定目标待处理图像；
将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，其中，所述图像分割模型中包括对象分类层，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络，基于第一分类网络获得目标对象和非目标对象，以及目标对象的目标对象位置信息、非目标对象的非目标对象位置信息，目标对象对应的目标对象属性信息、非目标对象对应的非目标对象属性信息，基于第二分类网络获得目标对象的对象亮度信息，基于第三分类网络获得目标对象的对象杂质信息，目标对象属性信息包括对象等级信息和对象尺寸信息，对象亮度信息表示目标对象的新旧程度，对象杂质信息表示目标对象的纯度信息；
根据各图像识别结果，确定所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息，其中，所述目标对象信息包括对象等级信息、对象尺寸信息、对象亮度信息和对象杂质信息，所述非目标对象信息包括非目标对象占比信息和非目标对象数量；
将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测提取率，其中，所述结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层，将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测提取率包括将所述目标对象信息和所述非目标对象信息输入至所述嵌入层，获得目标对象特征信息和非目标对象特征信息；将所述目标对象特征信息和所述非目标对象特征信息输入至所述交叉网络层，获得交叉特征信息；将所述目标对象特征信息和所述非目标对象特征信息输入至所述特征提取层，获得对象特征信息；将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述目标对象对应的预测提取率。
2.如权利要求1所述的方法，所述图像分割模型还包括特征提取层、区域候选层；
将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，包括：
将所述目标待处理图像输入至所述特征提取层，获得所述目标待处理图像对应的图像特征信息；
将所述图像特征信息输入至所述区域候选层，获得所述区域候选层输出的至少一个对象区域信息；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息；
根据各对象对应的对象分类确定目标对象和非目标对象，并获取所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息。
3.如权利要求2所述的方法，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络；
将各对象区域信息和所述图像特征信息输入至所述对象分类层，获得各对象对应的对象分类和对象信息，包括：
将各对象区域信息和所述图像特征信息输入至所述第一分类网络，获得目标对象、非目标对象，以及所述目标对象的目标对象位置信息、非目标对象的非目标对象位置信息，目标对象对应的目标对象属性信息、非目标对象对应的非目标对象属性信息；
将所述目标对象位置信息和所述图像特征信息输入至所述第二分类网络，获得所述目标对象对应的对象亮度信息；
将所述目标对象位置信息和所述图像特征信息输入至所述第三分类网络，获得所述目标对象对应的对象杂质信息。
4.如权利要求1所述的方法，接收至少两张待处理图像，包括：
接收至少两个图像采集设备针对同一目标对象的待处理图像。
5.一种图像处理方法，包括：
接收至少两张待处理图像，其中，各待处理图像为废钢在不同角度的图像；
在各待处理图像中确定目标待处理图像，将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，其中，所述图像分割模型包括对象分类层，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络，基于第一分类网络获得废钢、异物，以及所述废钢的废钢位置信息、异物的异物位置信息，废钢对应的废钢属性信息、异物对应的异物属性信息，基于第二分类网络获得废钢对应的废钢亮度信息，基于第三分类网络获得废钢对应的废钢杂质信息，废钢属性信息包括废钢等级信息和废钢尺寸信息，废钢亮度信息表示废钢的新旧程度，废钢杂质信息表示废钢的纯度信息；
根据各图像识别结果，确定所述废钢对应的废钢信息和所述异物对应的异物信息，其中，所述废钢信息包括废钢等级信息、废钢尺寸信息、废钢亮度信息和废钢杂质信息，所述异物信息包括异物占比信息和异物数量；
将所述废钢信息和所述异物信息输入至结果预测模型，获得所述结果预测模型输出的所述废钢对应的废钢出水率，其中，所述结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层，将所述废钢信息和所述异物信息输入至结果预测模型，获得所述结果预测模型输出的所述废钢对应的废钢出水率包括将所述废钢信息和所述异物信息输入至所述嵌入层，获得废钢特征信息和异物特征信息；将所述废钢特征信息和所述异物特征信息输入至所述交叉网络层，获得交叉特征信息；将所述废钢特征信息和所述异物特征信息输入至所述特征提取层，获得对象特征信息；将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述废钢对应的废钢出水率。
6.一种图像处理装置，包括：
接收模块，被配置为接收至少两张待处理图像，其中，各待处理图像为同一目标对象在不同角度的图像；
识别模块，被配置为将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，其中，所述图像分割模型中包括对象分类层，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络，基于第一分类网络获得目标对象和非目标对象，以及目标对象的目标对象位置信息、非目标对象的非目标对象位置信息，目标对象对应的目标对象属性信息、非目标对象对应的非目标对象属性信息，基于第二分类网络获得目标对象的对象亮度信息，基于第三分类网络获得目标对象的对象杂质信息，目标对象属性信息包括对象等级信息和对象尺寸信息，对象亮度信息表示目标对象的新旧程度，对象杂质信息表示目标对象的纯度信息；根据各图像识别结果，确定所述目标对象对应的目标对象信息和所述非目标对象对应的非目标对象信息，其中，所述目标对象信息包括对象等级信息、对象尺寸信息、对象亮度信息和对象杂质信息，所述非目标对象信息包括非目标对象占比信息和非目标对象数量；
确定模块，被配置为将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测提取率，其中，所述结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层，将所述目标对象信息和所述非目标对象信息输入至结果预测模型，获得所述结果预测模型输出的所述目标对象对应的预测提取率包括将所述目标对象信息和所述非目标对象信息输入至所述嵌入层，获得目标对象特征信息和非目标对象特征信息；将所述目标对象特征信息和所述非目标对象特征信息输入至所述交叉网络层，获得交叉特征信息；将所述目标对象特征信息和所述非目标对象特征信息输入至所述特征提取层，获得对象特征信息；将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述目标对象对应的预测提取率。
7.一种图像处理装置，包括：
图像接收模块，被配置为接收至少两张待处理图像，其中，各待处理图像为废钢在不同角度的图像；
废钢识别模块，被配置为在各待处理图像中确定目标待处理图像，将所述目标待处理图像输入至图像分割模型，获得所述目标待处理图像对应的图像识别结果，其中，所述图像分割模型包括对象分类层，所述对象分类层包括第一分类网络、第二分类网络、第三分类网络，基于第一分类网络获得废钢、异物，以及所述废钢的废钢位置信息、异物的异物位置信息，废钢对应的废钢属性信息、异物对应的异物属性信息，基于第二分类网络获得废钢对应的废钢亮度信息，基于第三分类网络获得废钢对应的废钢杂质信息，废钢属性信息包括废钢等级信息和废钢尺寸信息，废钢亮度信息表示废钢的新旧程度，废钢杂质信息表示废钢的纯度信息；根据各图像识别结果，确定所述废钢对应的废钢信息和所述异物对应的异物信息，其中，所述废钢信息包括废钢等级信息、废钢尺寸信息、废钢亮度信息和废钢杂质信息，所述异物信息包括异物占比信息和异物数量；
预测模块，被配置为将所述废钢信息和所述异物信息输入至结果预测模型，获得所述结果预测模型输出的所述废钢对应的废钢出水率，其中，所述结果预测模型包括嵌入层、交叉网络层、特征提取层和全连接层，将所述废钢信息和所述异物信息输入至结果预测模型，获得所述结果预测模型输出的所述废钢对应的废钢出水率包括将所述废钢信息和所述异物信息输入至所述嵌入层，获得废钢特征信息和异物特征信息；将所述废钢特征信息和所述异物特征信息输入至所述交叉网络层，获得交叉特征信息；将所述废钢特征信息和所述异物特征信息输入至所述特征提取层，获得对象特征信息；将所述交叉特征信息和所述对象特征信息进行拼接，获得拼接特征信息，并将所述拼接特征信息输入至所述全连接层，获得所述废钢对应的废钢出水率。
8.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-5任意一项所述方法的步骤。
9.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-5任意一项所述方法的步骤。
CN202310329639.3A 2023-03-29 2023-03-29 图像处理方法及装置 Active CN116597364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310329639.3A CN116597364B (zh) 2023-03-29 2023-03-29 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310329639.3A CN116597364B (zh) 2023-03-29 2023-03-29 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN116597364A CN116597364A (zh) 2023-08-15
CN116597364B true CN116597364B (zh) 2024-03-29

Family

ID=87610558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310329639.3A Active CN116597364B (zh) 2023-03-29 2023-03-29 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN116597364B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810605A (zh) * 2021-08-17 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 目标对象处理方法及装置
CN113869103A (zh) * 2021-08-03 2021-12-31 阿里巴巴达摩院(杭州)科技有限公司 对象的检测方法、存储介质和系统
CN114078126A (zh) * 2022-01-19 2022-02-22 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114912578A (zh) * 2022-04-26 2022-08-16 清华大学 结构响应预测模型的训练方法、装置和计算机设备
CN115546207A (zh) * 2022-11-24 2022-12-30 杭州市富阳区科源食药质量安全工程研究院 杂质的快速检测方法、计算设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400017B1 (ko) * 2017-05-17 2022-05-19 삼성전자주식회사 객체를 식별하는 방법 및 디바이스

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869103A (zh) * 2021-08-03 2021-12-31 阿里巴巴达摩院(杭州)科技有限公司 对象的检测方法、存储介质和系统
CN113810605A (zh) * 2021-08-17 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 目标对象处理方法及装置
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114078126A (zh) * 2022-01-19 2022-02-22 江苏金恒信息科技股份有限公司 一种基于机器学习的废钢评级方法及装置
CN114912578A (zh) * 2022-04-26 2022-08-16 清华大学 结构响应预测模型的训练方法、装置和计算机设备
CN115546207A (zh) * 2022-11-24 2022-12-30 杭州市富阳区科源食药质量安全工程研究院 杂质的快速检测方法、计算设备和存储介质

Also Published As

Publication number Publication date
CN116597364A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US11823365B2 (en) Automatic image based object damage assessment
US20220084186A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
CN112036755B (zh) 一种建筑工程质量检测的监管方法及系统
CN113743210A (zh) 图像识别方法和废钢等级的识别方法
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
Diaz-Romero et al. Deep learning computer vision for the separation of Cast-and Wrought-Aluminum scrap
CN110569856B (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN108323209B (zh) 信息处理方法、系统、云处理设备以及计算机存储介质
CN112881412B (zh) 一种废钢产品中非金属异物检测方法
CN114926441A (zh) 一种注塑件加工成型的缺陷检测方法及系统
EP4197656A1 (en) Scrap discrimination system and scrap discrimination method
CN111008956A (zh) 基于图像处理的梁底裂纹检测方法、系统、装置及介质
CN116597364B (zh) 图像处理方法及装置
CN113810605A (zh) 目标对象处理方法及装置
CN116433228B (zh) 废旧电子产品回收方法及其回收系统
Koyanaka et al. Sensor-based sorting of waste digital devices by CNN-based image recognition using composite images created from mass and 2D/3D appearances
CN114693554A (zh) 一种大数据图像处理方法及系统
CN114511046A (zh) 对象识别方法以及装置
KR20220131358A (ko) 스크랩 판별 시스템 및, 스크랩 판별 방법
CN114549940B (zh) 图像处理方法
CN111627018A (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN117173172B (zh) 一种基于机器视觉的硅胶成型效果检测方法及系统
Candra et al. Computer Vision Implementation in Scratch Inspection and Color Detection on The Car Roof Surface
Fernández et al. Automated Detection of Rust Defects from 3D Point Cloud Data Through Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant