CN109671124B - 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统 - Google Patents

一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统 Download PDF

Info

Publication number
CN109671124B
CN109671124B CN201811616796.8A CN201811616796A CN109671124B CN 109671124 B CN109671124 B CN 109671124B CN 201811616796 A CN201811616796 A CN 201811616796A CN 109671124 B CN109671124 B CN 109671124B
Authority
CN
China
Prior art keywords
color
image
foam
under
froth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811616796.8A
Other languages
English (en)
Other versions
CN109671124A (zh
Inventor
刘金平
何捷舟
王雨倩
王杰
周嘉铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN201811616796.8A priority Critical patent/CN109671124B/zh
Publication of CN109671124A publication Critical patent/CN109671124A/zh
Application granted granted Critical
Publication of CN109671124B publication Critical patent/CN109671124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统,包括以下步骤:收集特定光照下的泡沫图像构成泡沫图像的基准色域样本集;训练两个生成式对抗网络A和B用于未知光照下泡沫图像颜色校正;最后,计算校正后的泡沫图像在HSV空间和CIE Lab空间的均值、偏度、峰度等统计量构成泡沫颜色特征向量,可用于浮选过程精矿品位预估与工况评价。其中,A与B共享两个相同的生成器G1和G2,但拥有各自独立的判别器;通过对抗训练,最终使生成器G1能将任意光照下色偏泡沫图像转换为基准色域下的颜色表示,且保持原始图像结构细节不变。该颜色检测系统具有在线模型修正功能,可有效检测各种未知光照条件下浮选泡沫在基准光照下的颜色特征。

Description

一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统
技术领域
本发明涉及工业过程在线监测领域,尤其涉及基于机器视觉的矿物浮选过程自动化监控中泡沫图像颜色校正与泡沫颜色检测。
背景技术
矿产资源是经济、民生和国防工业、高新科学技术发展不可或缺的重要物资。我国矿产资源虽然总量多,但以伴生矿为主且贫矿多、富矿少。因此,必须提升选矿技术以加大矿产利用率。利用矿物间表面润湿性差异对不同矿物粒子进行浮游分离的矿物浮选技术,是选矿工程技术领域应用最为广泛的一种选矿方法。矿物浮选过程属于连续的、长流程生产过程,过程由多个耦合关联的子过程构成,且浮选生产工艺指标参量无法在线检测。因此,矿物浮选过程自动化监控水平低,难以保证浮选生产的稳定优化运行。
浮选过程中机器视觉系统能够从捕获的泡沫图像中提取视觉特征并将基于泡沫图像的工况感知和过程优化操作结果呈现给过程控制系统,因此,基于机器视觉的浮选过程监控是当前进一步提高浮选生产性能与选矿自动化水平的发展趋势。研究表明,泡沫表面颜色是精矿品位和生产工况的一种重要的指示器。准确的泡沫颜色检测对于基于机器视觉的浮选过程自动化监控具有重要的意义。
在矿物浮选过程监测中,光源强弱、空气中的粉尘雾气以及同一天不同的光照强度以及入射角度的不同,极易造成泡沫图像偏色,进而对准确的泡沫图像颜色信息采集造成严重的干扰,从而严重影响浮选生产指标的预估与生产工况的评判,不准确的预估和评判会影响基于机器视觉的矿物浮选过程自动化操作的有效性,造成最终的成矿品位波动以及浮选生产资源利用率低。因此,对于基于机器视觉的矿物浮选工业过程监控来说,获得具有特定(参考)光照条件下的泡沫颜色特征,或者称为颜色恒常特征,成为了一个至关重要的问题。
传统的颜色恒常性算法通常是基于统计学的方法,如单光照的颜色恒常、图像增强算法、对图像的各像素颜色值进行线性变换等,但它们都是建立在对外界环境的假设之上的,作用域受限,不能完美解决问题。
本发明基于深度学习中生成式对抗网络的基本原理来对发生色偏的浮选图像进行颜色恒常处理,通过学习基准光照下泡沫图像颜色域和待校正输入图像颜色域的映射关系,实现未知光照条件下(色偏)泡沫图像颜色到基准光照条件下(基准颜色域上)的颜色转换。校正模型不受光照等因素影响,能得到较为理想的校正图像,通过将其转换到HSV和CIELab颜色空间,并通过提取H,S,a,b四个颜色通道的均值、标准差、偏度、峰度来组成校正后的泡沫图像颜色特征向量,可以用于基于机器视觉的工业浮选过程自动化监测,实现统一参考光照下泡沫颜色特征提取。
发明内容
(1)解决的技术问题
针对现有技术的不足,本发明提供了一种应用于矿物浮选过程自动化监控的浮选泡沫图像颜色校正方法及基于统一参考光照的泡沫图像颜色检测系统,结合深度学习中的对抗式网络思想,通过学习基准色域泡沫图像的颜色域与非特定光照下泡沫图像颜色域的非线性映射关系,实现非标准光照下泡沫图像到基准颜色域上的转换;将转换后的泡沫图像由RGB颜色空间转换到HSV与CIE Lab颜色空间,通过计算H,S,a,b四个颜色通道的均值,标准差、偏度、峰度等统计量来获得未知光照下泡沫图像在统一参考光照条件下的标准颜色特征。
(2)技术方案
为了达到以上目的,本发明通过以下技术方案予以实现。
一种矿物浮选泡沫图像颜色校正方法,其特征在于包括以下步骤:
S1:基于工业现场搭建的矿物浮选泡沫图像视觉监控系统,收集各种光照下泡沫图像样本,将特定光照下的泡沫图像作为基准图像,建立泡沫图像基准色域样本集S;利用其它未知光照条件下的泡沫图像构成非标准色域样本集I。
S2:构建两个生成式对抗卷积网络A和B;网络A和B包含两个公用的生成器G1和G2,以及各自独立的判别器DA和DB。其特征在于,对抗卷积网络A的鉴别器DA的最终训练目标为:输入一张泡沫图像对其颜色进行评判,如果判定泡沫图像颜色为特定光照条件(基准色域)下所呈现出的颜色,则输出1,否则输出为0;对抗卷积网络B对应的判别器DB的最终训练目标为:输入一张泡沫图像对其颜色进行评判,如果判定泡沫图像颜色为特定光照条件(基准色域)下所呈现出的颜色,则输出0,否则输出1。共享的两个成器G1和G2采用U-net网络实现图到图的颜色域的转换,具体包括:
首先,采用卷积网络提取原始泡沫图像的轮廓特征图;然后,通过残差网络对轮廓特征图进行转换,在实现原始泡沫图像颜色向基准色域图像颜色转换的同时,保证原始泡沫图像的结构以及轮廓信息保持不变;最后,采用反卷积神经网络对转换后的轮廓特征图进行颜色细节信息填充;从而,在保证其轮廓不变的情况下,实现图像颜色域的转换。
S3:利用非标准色域泡沫图像样本集I与基准色域图像样本集S迭代交叉训练网络A与B,具体包括如下步骤:
S31:利用基准色域样本集S与非标准色域样本集I训练生成式对抗网络A的鉴别器DA,使该鉴别器DA对于S中的样本S(S∈S),DA(S)输出为1,而对于I中的样本I(I∈I),DA(I)输出为0。
S32:对于任意一帧非标准色域泡沫图像样本I(I∈I),将泡沫图像I输入至对抗卷积网络A的生成器G1获得校正结果O,采用DA对O进行鉴别,根据DA的判别结果,对生成器G1与判别器DA进行反向修正,具体步骤如下:
S321:采用Wassertein距离计算图像I的颜色分布到O的颜色分布的最小损失作为生成器G1与判别器DA的对抗代价损失函数,表示如下:
Figure BDA0001924576250000031
其中O=G1(I),
Figure BDA0001924576250000032
为1-Lipschitz函数,Pdata(i)表示数据i的颜色分布,i∈{I,S},/>
Figure BDA00019245762500000310
表示数学期望;/>
S322:如果DA输出为0,则基于对抗损失函数JA(G1,DA,I,S),采用RMSProp优化算法对G1进行反向修正;
S323:如果DA输出为1,则通过RMSProp优化算法对DA进行反向修正,并将G1生成的泡沫图像O输入至生成器G2,获得还原图像I′,采用||I′-I||1计算图像I与I′的差别作为循环一致性损失函数,即
Figure BDA0001924576250000034
或者/>
Figure BDA0001924576250000035
并采用RMSProp优化算法对G1进行反向修正,其中||·||1表示1向量范数,在计算时图像已经表示成向量形式;
S33:重复S32,迭代修改网络A;
S34:利用泡沫图像基准色域样本集S与非标准色域泡沫图像样本集I训练生成式对抗网络B的鉴别器DB,使得其对于S中的任意样本S,DB(S)输出为0,对于I中的任意样本I,DB(I)输出为1;
S35:对于任意特定光照条件下的基准泡沫图像样本S(S∈S),将泡沫图像S输入至对抗卷积网络B的生成器G2中获得校正结果U,采用DB对U进行鉴别,根据DB的判别结果,对生成器G2与判别器DB进行反向修正,具体步骤如下:
S351:采用Wassertein距离计算图像S的颜色分布到U的颜色分布的最小损失作为生成器G2与判别器DB的对抗代价损失函数,计算如下:
Figure BDA0001924576250000036
其中U=G2(S),
Figure BDA0001924576250000037
为1-Lipschitz函数,Pdata(i)表示数据i的颜色分布,i∈{I,S};
S352:如果DB输出为0,则基于对抗损失函数JB(G2,DB,S,I)采用RMSProp优化算法对G2进行反向修正;
S353:如果DB输出为1,则采用RMSProp优化算法对DB进行反向修正,并将G2生成的泡沫图像U输入至生成器G1,获得还原图像S′,采用1范数||S′-S||1计算图像S与S′的差别作为循环一致性损失函数,即
Figure BDA0001924576250000038
也即/>
Figure BDA0001924576250000039
并采用RMSProp优化算法对G2进行反向修正;
S36:重复S35,迭代修改网络B;
S37:并发执行步骤S32-S33与S35-S36,交叉修正生成器G1和生成器G2,直至整体目标函数收敛于某个极小值ε。整体目标函数如下:
L(G1,G2,DA,DB)=JA(G1,DA,I,S)+JB(G2,DB,S,I)+λ(JCA+JCB)
其中调整参数λ代表循环损失函数的重要程度。
S4:对在线采集的未知光照下的泡沫图像,用训练好的生成器G1进行颜色校正;其可将任意光照条件下的泡沫图像,校正到基准色域下的颜色表示;同时,还可利用该校正图像对生成式对抗网络A进行在线更新。
一种矿物浮选泡沫图像颜色检测系统,其特征在于,该系统由泡沫图像信号在线采集模块、泡沫图像颜色校正模块和泡沫图像颜色特征提取模块组成。
其中,所述的泡沫图像信息在线采集模块主要用于获取浮选泡沫图像信号,由工控机、高频光源、工业摄像机、图像采集卡组成;其中,高频光源和工业摄像机安装在浮选机正上方,一起置于一物理遮光罩中;工业摄像机实时采集泡沫图像,工控机通过图像采集卡和光纤与工业摄像机进行互联,通过光纤通信将工业摄像机实时采集到的泡沫图像传输至工控机进行颜色校正。
工控机利用事先训练好的对抗网络生成器G1将实时采集的未知光照下的泡沫图像校正到基准色域下(特定光照下)颜色表示;同时,还可利用该校正图像对生成式对抗网络A进行在线更新。
对校正到基准色域下的泡沫图像,启动泡沫颜色特征提取模块进行泡沫颜色检测,泡沫颜色特征提取的具体步骤如下:
将校正图像由RGB颜色空间转换至XYZ颜色空间,再由XYZ空间转换为CIE Lab颜色空间,计算a,b颜色通道的均值、标准差、偏度、峰度,四个参量;将校正图像由RGB颜色空间转换至HSV颜色空间,计算其H,S颜色通道的均值、标准差、偏度、峰度,四个参量。
将H、S,a、b四个通道的四种参量共16个特征组成泡沫图像的颜色特征向量。
(三)有益效果
本发明提出了一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统,具有以下几个方面的优势:
1.提出了一种基于对抗卷积网络的泡沫图像颜色校正方法,无需基于复杂的光照模型假设与光照机理建模,可通过对抗学习泡沫图像基准色域颜色特征与非标准色域颜色特征的映射关系,实现未知光照条件下的非标准色域泡沫图像向基准色域的转换。
2.校正模型采用对称循环结构进行训练,在工业过程中可实现实时在线更新。
3.工业浮选过程监测中,泡沫图像颜色校正仅需对抗网络中的一个生成器G1即可,转换速度快,满足工业上过程监控系统对时效性需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明实施提供的矿物浮选泡沫图像颜色检测系统流程图。
图2是本发明实施提供的矿物浮选过程泡沫图像颜色校正模型训练图。
图3是本发明实施提供的矿物浮选过程泡沫图像颜色校正模型中的生成器结构图。
图4是本发明实施提供的矿物浮选过程泡沫图像颜色校正模型中的判别器结构图。
具体实施方式:
本发明提供了一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统,该发明能很好地把未知光照下(发生色偏)的泡沫图像的颜色映射到基准色域下的颜色显示,有效提高了基于机器视觉的矿物浮选过程监测系统对泡沫颜色特征提取的准确度,且该发明提供的泡沫图像颜色校正方法,颜色校正速度快且支持在线模型修正,可以适应各种未知工况下不同类型的泡沫图像颜色的有效校正。该方法及系统包括以下步骤:
S1:搭建泡沫图像信号在线采集模块,该模块由工控机、高频光源、工业摄像机、图像采集卡组成;其中,高频光源和工业摄像机安装在浮选机正上方,一起置于一物理遮光罩中,以尽量减少工业现场各种光源的干扰;工业摄像机实时采集泡沫图像信号,工控机通过图像采集卡和光纤与工业摄像机进行互联,采用光纤进行图像信息传输。结构如图1所示。
基于工业现场搭建的矿物浮选泡沫图像视觉监控系统,收集各种光照下泡沫图像样本,将特定光照下的泡沫图像作为基准图像,建立泡沫图像基准色域样本集S;利用其它未知光照条件下的泡沫图像构成非标准色域样本集I。
S2:按照图2方式,构建两个生成式对抗卷积网络A和B;网络A和B包含两个公用的生成器G1和G2,以及各自独立的判别器DA和DB。其中生成器G1和G2结构如图3所示,判别器DA和DB结构如图4所示。
S3:利用非标准色域泡沫图像样本集I与基准色域图像样本集S迭代训练网络A与B,具体步骤如下:
S31:按如图4所示的四层卷积神经网络模型建立判别器DA和DB;对于判别器DA,其训练目标为:对于数据集S中的样本,DA的输出为1,对于数据集I中的样本,DA的输出为0;判别器DB的训练目标为:对于数据集S中的样本,DB的输出为0,对于数据集I中的样本,DB的输出为1;利用基准色域样本集S与非标准色域样本集I训练鉴别器DA与鉴别器DB,其具体步骤如下:
S311:定义判别器DA与DB(二分类卷积神经网络)的损失函数如下:
Figure BDA0001924576250000051
损失函数JL为N次评判的平均损失,其中x是输入的图像,W为DA或者DB的多层卷积核参数,y为图像的真实标签,函数f(x,W)为网络对图像x的预测值,λR(W)为惩罚项,本发明采用L2作为损失函数的惩罚项。DL为损失函数,本发明采用log对数函数进行求解如下式所示:
DL=logf(x,W)+(1-y)log(1-y) (2)
S312:根据公式(1)分别计算判别器DA与DB的损失,并使用SGD优化算法对网络的卷积核W进行反向正,修正方法如下所示:
Figure BDA0001924576250000061
S313:重复执行步骤S312,使判别器DA与DB的损失函数JL小于某个阈值εD则停止训练,从而使DA对于S集中的任意样本S(S∈S),DA输出为1即DA(S)=1;而对于I中的任意样本I(I∈I),DA输出为0即DA(I)=0;而DB则相反,即对于S集中的任意样本S(S∈S),DB(S)=0,对于I中的任意样本I(I∈I),DB(I)=1。
S32:对于任意一帧非标准色域泡沫图像样本I(I∈I),将泡沫图像I输入至对抗卷积网络A的生成器G1获得校正结果O,采用DA对O进行鉴别,根据DA的判别结果,对生成器G1与判别器DA进行反向修正,具体步骤如下:
S321:采用Wassertein距离计算图像I的颜色分布到I颜色分布的最小损失作为生成器G1与判别器DA的对抗代价损失函数如公式(4):
Figure BDA0001924576250000062
其中O=G1(I),
Figure BDA0001924576250000063
为1-Lipschitz函数,Pdata(i)表示数据i的颜色分布,i∈{I,S},/>
Figure BDA00019245762500000611
表示数学期望;
S322:如果DA输出为0,则基于对抗损失函数JA(G1,DA,I,S),采用RMSProp优化算法对G1进行反向修改。RMSProp优化算法采用梯度下降的方式对网络G1的多层卷积参数W1进行优化求解,令每个参数的迭代修正量反比于所有历史梯度的加权平方总和
Figure BDA0001924576250000065
的平方根,从而可以消除梯度下降中的震荡,能更快的得到最优参数解,网络参数W1的优化求解迭代修正公式如下:
Figure BDA0001924576250000066
其中
Figure BDA0001924576250000067
表示参数W1所有历史梯度的加权平方和,Ldw的迭代更新公式为:
Figure BDA0001924576250000068
β1为衰减速率,α1为学习率,θ为一个小常数,用于保证公式(5)中的分母项不为0,比如可以设置为10-6
S323:如果DA输出为1,则通过RMSProp优化算法对判别器DA进行反向修正,具体计算如公式所示:
Figure BDA0001924576250000069
其中/>
Figure BDA00019245762500000610
其中WA表示DA的多层卷积网络参数,βA为衰减速率,αA为学习率;并将G1生成的泡沫图像O输入至生成器G2,获得还原图像I′,采用||I′-I||1计算图像I′与I的差别作为循环一致性损失函数如下所示:
Figure BDA0001924576250000071
基于JCA,采用RMSProp优化算法对网络G1进行反向修正,即:
Figure BDA0001924576250000072
其中/>
Figure BDA0001924576250000073
S33:重复执行步骤S32,迭代修正网络A的生成器G1
S34:对于任意特定光照条件下的基准泡沫图像样本S(S∈S),将泡沫图像S输入至对抗卷积网络B的生成器G2中获得校正结果U,采用DB对U进行鉴别,根据DB的判别结果,对生成器G2与判别器DB进行反向修正,具体步骤如下:
S341:采用Wassertein距离计算图像S颜色分布到U颜色分布的最小损失作为生成器G2与判别器DB的对抗代价损失函数,公式如下:
Figure BDA0001924576250000074
其中
Figure BDA0001924576250000075
为1-Lipschitz函数,Pdata(i)表示数据i的颜色分布,i∈{I,S};/>
Figure BDA00019245762500000713
表示数学期望;
S342:如果DB输出为0,则基于上述对抗损失函数JB采用RMSProp优化算法对G2的多层卷积网络参数W2进行反向修改,其迭代优化公式如下:
Figure BDA0001924576250000077
其中/>
Figure BDA0001924576250000078
其中β2为衰减速率,α2为学习率。
S343:如果DB输出为1,则采用RMSProp优化算法对判别器DB的多层卷积网络参数WB进行反向修正,具体计算如下:
Figure BDA0001924576250000079
其中/>
Figure BDA00019245762500000710
并将G2生成的泡沫沫图像U输入至生成器G1,获得还原图像S′,采用||S′-S||1计算图像S′与S的差别作为循环一致性损失函数JCB如下所示:
Figure BDA00019245762500000711
即/>
Figure BDA00019245762500000712
基于JCB采用RMSProp优化算法对网络G2的多层卷积参数W2进行反向修正,优化修正公式如下:
Figure BDA0001924576250000081
其中/>
Figure BDA0001924576250000082
S35:重复步骤S34,反复迭代修正生成式对抗网络B。
S36:并发执行步骤S32-S33与S34-S35,直至整体目标函数收敛于某个极小值ε1,其整体目标函数如下式所示:
L(G1,G2,DA,DB)=JA(G1,DA,I,S)+JB(G2,DB,S,I)+λ(JCA+JCB) (14)
S4:对在线采集的(未知光照下)的泡沫图像,用训练好的生成器G1进行颜色校正;同时,还可利用该校正图像,通过并行执行步骤S32-S33与S34-S35,对生成式对抗网络A进行在线更新。
S5:RGB图像是从颜色发光的原理由三基色定义的。而在矿物浮选的工业控制中三基色的特征与矿物成品品位以及工业过程的控制并没有直接关联,因此,本发明将RGB图像转换到HSV与CIE Lab颜色模型上分别提取其H通道(色调),S通道(饱和度),a通道(红绿颜色),b通道(黄蓝颜色)的均值、标准差、斜偏差、峰度四个参量作为泡沫图像的特征向量,其具体步骤如下:
S51:将由校正模型的生成器G1矫正好的RGB图像转换为HSV颜色空间图像,其转换步骤如下:
S511:使用公式(15)计算转换参数
Figure BDA0001924576250000083
其中R,G,B为RGB图像三通道的值
S512:使用公式(16)计算H通道颜色分量
Figure BDA0001924576250000084
使用公式(17)计算S通道颜色分量
Figure BDA0001924576250000085
使用公式(18)计算V通道:
V=Cmax (18)
S52:将由校正模型的生成器G1矫正好的RGB图像转换为CIE Lab颜色空间图像,由于RGB颜色空间不能直接转换到CIE Lab颜色空间,首先使用公式(19)把RGB颜色空间转换到XYZ颜色空间上:
Figure BDA0001924576250000091
S53:再使用公式(20)、(21)将泡沫图像从XYZ颜色空间转换到CIE Lab颜色空间,转换公式如下:
Figure BDA0001924576250000092
Figure BDA0001924576250000093
其中L*a*b*为CIE Lab颜色空间对应三通道的值。Xn Yn Zn默认为95.047,100.0,108.883。
S54:对步骤S51和S52中求出的H,S,a,b通道分量,分别各颜色通道分量的均值、标准差、偏度、峰度,其公式如(22)~(25):
均值:
Figure BDA0001924576250000094
标准差:
Figure BDA0001924576250000095
斜偏差:
Figure BDA0001924576250000096
峰度:
Figure BDA0001924576250000097
S52:将H,S,a,b四个颜色通道所计算的均值、标准差、偏度、峰度共16个统计量组成图像的特征向量
Figure BDA0001924576250000098
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施样例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各实施样例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种矿物浮选泡沫图像颜色校正方法,其特征在于,包括以下步骤:
S1:基于工业现场搭建的矿物浮选泡沫图像视觉监控系统,收集各种光照下泡沫图像样本,将特定光照下的泡沫图像作为基准图像,建立泡沫图像基准色域样本集S;利用其它未知光照条件下的泡沫图像构成非标准色域样本集I;
S2:构建两个生成式对抗卷积网络A和B;网络A和B包含两个公用的生成器G1和G2,以及各自独立的判别器DA和DB
S3:利用非标准色域泡沫图像样本集I与基准色域图像样本集S,对网络A和B进行迭代交叉训练;网络A和B训练好之后,G1将任意光照条件下具有色偏的泡沫图像,校正到基准色域下的颜色表示;
S4:对在线采集的未知光照下的泡沫图像,用训练好的生成器G1进行颜色校正;同时,利用该校正图像对生成式对抗网络A进行在线更新。
2.根据权利要求1所述的一种矿物浮选泡沫图像颜色校正方法,其特征在于,步骤S2中所述的生成式对抗卷积网络A的判别器DA的最终训练目标为:输入一张泡沫图像对其颜色进行评判,如果判定泡沫图像颜色为特定光照条件基准色域下所呈现出的颜色,则输出1,否则输出为0;对抗卷积网络B对应的判别器DB的最终训练目标为:输入一张泡沫图像对其颜色进行评判,如果判定泡沫图像颜色为特定光照条件基准色域下所呈现出的颜色,则输出0,否则输出1。
3.根据权利要求1所述的一种矿物浮选泡沫图像颜色校正方法,其特征在于,步骤S2中所述的生成器G1和G2采用U-net网络实现图到图的颜色域的转换,具体包括:
首先,采用卷积网络提取原始泡沫图像的轮廓特征图;然后,通过残差网络对轮廓特征图进行转换,在实现原始泡沫图像颜色向基准色域图像颜色转换的同时,保证原始泡沫图像的结构以及轮廓信息保持不变;最后,采用反卷积神经网络对转换后的轮廓特征图进行颜色细节信息填充;从而,在保证其轮廓不变的情况下,实现色偏图像颜色域的转换。
4.根据权利要求1所述的一种矿物浮选泡沫图像颜色校正方法,其特征在于,步骤S3中所述的对抗卷积网络A和B的迭代交叉训练的具体步骤如下:
S31:利用基准色域样本集S与非标准色域样本集I训练生成式对抗网络A的鉴别器DA,最终,对于S中的样本S(S∈S),使DA(S)输出为1,而对于I中的样本I(I∈I),使DA(I)输出为0;
S32:对于任意一帧非标准色域泡沫图像样本I(I∈I),将泡沫图像I输入至对抗卷积网络A的生成器G1获得校正结果O,采用DA对O进行鉴别,根据DA的判别结果,对生成器G1与判别器DA进行反向修正,具体步骤如下:
S321:采用Wassertein距离计算图像I的颜色分布到O的颜色分布的最小损失作为生成器G1与判别器DA的对抗代价损失函数,表示如下:
Figure FDA0003980158210000021
其中O=G1(I),L=ES~Pdata(S)[DA(S)]-EI~Pdata(I)[DA(I)]为1-Lipschitz函数,Pdata(i)表示数据i的颜色分布,i∈{I,S},E[·]表示数学期望;
S322:如果DA输出为0,则基于对抗损失函数JA(G1,DA,I,S),采用RMSProp优化算法对G1进行反向修正;
S323:如果DA输出为1,则基于对抗损失函数JA(G1,DA,I,S),采用RMSProp优化算法对DA进行反向修正;并将G1生成的泡沫图像O输入至生成器G2,获得还原图像I',采用||I'-I||1计算图像I与I'的差别作为循环一致性损失函数,即
Figure FDA0003980158210000022
或者JCA=EI~Pdata(I)[||G2(G1(I))-I||1],并采用RMSProp优化算法对G1进行反向修正;其中||·||1表示1向量范数,在计算时图像已经表示成向量形式;
S33:重复S32,迭代修改网络A;
S34:利用泡沫图像基准色域样本集S与非标准色域泡沫图像样本集I训练生成式对抗网络B的鉴别器DB,最终使得DB对于S中的任意样本S(S∈S),DB(S)输出为0,对于I中的任意样本I(I∈I),DB(I)输出为1;
S35:对于任意特定光照条件下的基准泡沫图像样本S(S∈S),将泡沫图像S输入至对抗卷积网络B的生成器G2中获得校正结果U,采用DB对U进行鉴别,根据DB的判别结果,对生成器G2与判别器DB进行反向修正,具体步骤如下:
S351:采用Wassertein距离计算图像S的颜色分布到U的颜色分布的最小损失作为生成器G2与判别器DB的对抗代价损失函数,计算如下:
Figure FDA0003980158210000031
其中U=G2(S),L=EI~Pdata(I)[DB(I)]-ES~Pdata(S)[DB(S)]为1-Lipschitz函数,Pdata(i)表示数据i的颜色分布,i∈{I,S};
S352:如果DB输出为0,则基于对抗损失函数JB(G2,DB,S,I)采用RMSProp优化算法对G2进行反向修正;
S353:如果DB输出为1,则采用RMSProp优化算法对DB进行反向修正,并将G2生成的泡沫图像U输入至生成器G1,获得还原图像S',采用1范数||S'-S||1计算图像S与S'的差别作为循环一致性损失函数,即
Figure FDA0003980158210000032
也即JCB=ES~Pdata(S)[||G1(G2(S))-S||1],并采用RMSProp优化算法对G2进行反向修正;
S36:重复S35,迭代修改网络B;
S37:并发执行步骤S32-S33与S35-S36,直至整体目标函数收敛于某个极小值ε;整体目标函数如下:
L(G1,G2,DA,DB)=JA(G1,DA,I,S)+JB(G2,DB,S,I)+λ(JCA+JCB)
其中调整参数λ代表循环损失函数的重要程度。
5.一种矿物浮选泡沫图像颜色检测系统,其特征在于,该系统由泡沫图像信号在线采集模块、泡沫图像颜色校正模块和泡沫图像颜色特征提取模块组成;
所述的泡沫图像信号在线采集模块用于获取浮选泡沫图像信号,由工控机、高频光源、工业摄像机、图像采集卡组成;其中,高频光源和工业摄像机安装在浮选机正上方,一起置于一物理遮光罩中;工业摄像机实时采集泡沫图像,工控机通过图像采集卡和光纤与工业摄像机进行互联,通过光纤通信将工业摄像机实时采集到的泡沫图像传输至工控机进行颜色校正;
工控机利用事先训练好的对抗网络生成器G1将实时采集的未知光照下的色偏泡沫图像校正到基准色域下特定光照下颜色表示;同时,利用该校正图像对生成式对抗网络A进行在线更新;
对校正到基准色域下的泡沫图像,启动泡沫图像颜色特征提取模块进行泡沫颜色检测,泡沫颜色特征提取的具体步骤如下:
将颜色校正后的泡沫图像由RGB颜色空间转换至HSV和CIE Lab颜色空间表示,分别获取H,S,a,b颜色通道下的均值、标准差、偏度、峰度,四个参量共16个统计量组成泡沫颜色特征向量。
CN201811616796.8A 2018-12-27 2018-12-27 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统 Active CN109671124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811616796.8A CN109671124B (zh) 2018-12-27 2018-12-27 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811616796.8A CN109671124B (zh) 2018-12-27 2018-12-27 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统

Publications (2)

Publication Number Publication Date
CN109671124A CN109671124A (zh) 2019-04-23
CN109671124B true CN109671124B (zh) 2023-03-24

Family

ID=66146409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811616796.8A Active CN109671124B (zh) 2018-12-27 2018-12-27 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统

Country Status (1)

Country Link
CN (1) CN109671124B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189268A (zh) * 2019-05-23 2019-08-30 西安电子科技大学 基于gan网络的水下图像色彩校正方法
CN110310286B (zh) * 2019-07-02 2022-04-22 中南大学 基于泡沫图像多特征的分层工况感知判别方法
CN110837856B (zh) * 2019-10-31 2023-05-30 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质
EP3957712A1 (en) * 2020-08-21 2022-02-23 Sartorius Stedim Data Analytics AB Automated foam detection
CN112669311A (zh) * 2021-01-08 2021-04-16 西北大学 一种陶瓷显微图像气泡的提取方法
CN112884682B (zh) * 2021-01-08 2023-02-21 福州大学 一种基于匹配与融合的立体图像颜色校正方法及系统
CN113128126B (zh) * 2021-04-26 2022-06-10 湖南理工学院 一种基于生成对抗网络的浮选加药过程的建模方法
CN114820385B (zh) * 2022-05-20 2023-06-23 河南科技学院 局部自适应的水下图像颜色校正方法
WO2024052790A1 (en) * 2022-09-08 2024-03-14 Blue Cube Technology (Pty) Ltd Accurate measurement of spectral reflectivity of flotation froth bubbles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163382A (ja) * 1995-12-07 1997-06-20 Toyo Ink Mfg Co Ltd 色ずれ修正方法及び装置
CN104268600A (zh) * 2014-03-11 2015-01-07 中南大学 一种基于Minkowski距离的矿物浮选泡沫图像纹理分析及工况识别方法
CN104835124A (zh) * 2015-05-08 2015-08-12 中南大学 一种基于光谱信息融合的泡沫图像颜色校正方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163382A (ja) * 1995-12-07 1997-06-20 Toyo Ink Mfg Co Ltd 色ずれ修正方法及び装置
CN104268600A (zh) * 2014-03-11 2015-01-07 中南大学 一种基于Minkowski距离的矿物浮选泡沫图像纹理分析及工况识别方法
CN104835124A (zh) * 2015-05-08 2015-08-12 中南大学 一种基于光谱信息融合的泡沫图像颜色校正方法及装置

Also Published As

Publication number Publication date
CN109671124A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109671124B (zh) 一种矿物浮选泡沫图像颜色校正方法及泡沫颜色检测系统
CN111968080B (zh) 一种基于高光谱和深度学习的肥城桃内外品质检测方法
EP2161555B1 (en) Coating color database creating method, search method using the database, their system, program, and recording medium
CN104899845B (zh) 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN109191428B (zh) 基于掩蔽纹理特征的全参考型图像质量评价方法
CN104835124B (zh) 一种基于光谱信息融合的泡沫图像颜色校正方法及装置
CN103344583B (zh) 一种基于机器视觉的镨-钕(Pr/Nd)组分含量检测系统及方法
CN105678767A (zh) 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法
WO2020189189A1 (ja) 検査装置及び方法
CN109520706A (zh) 汽车保险丝盒装配检测系统、图像识别方法及螺孔定位法
CN114972085B (zh) 一种基于对比学习的细粒度噪声估计方法和系统
CN104952754B (zh) 基于机器视觉的镀膜后硅片分选方法
CN109671113B (zh) 一种基于图像技术的色纺面料的测配色方法
Wang et al. Features Extraction of Flotation Froth Images and BP Neural Network Soft‐Sensor Model of Concentrate Grade Optimized by Shuffled Cuckoo Searching Algorithm
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN111311695A (zh) 一种基于卷积神经网络的清水混凝土表面色差分析方法
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN115761467A (zh) 一种基于高低频特征差分金字塔神经网络的水下目标检测方法
CN107194313A (zh) 一种并行智能化面向对象分类方法
CN113670268A (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
Lin et al. Wood color classification based on color spatial features and k-means algorithm
CN113192034A (zh) 基于反向传播神经网络的混合染液浓度检测方法
CN107784662B (zh) 一种图像目标显著性度量方法
Wang et al. Hybrid intelligence model based on image features for the prediction of flotation concentrate grade

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant