CN102023160A

CN102023160A - 一种基于图像的燃烧品质测量方法

Info

Publication number: CN102023160A
Application number: CN2009101736863A
Authority: CN
Inventors: 郑仪诚; 许铭修; 陈志坚; 黄嘉弘; 傅家麟; 徐振凯
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2009-09-15
Filing date: 2009-09-15
Publication date: 2011-04-20
Anticipated expiration: 2029-09-15
Also published as: CN102023160B

Abstract

本发明涉及一种基于图像的燃烧品质测量方法，包括取得一原始图像，并且利用至少一色彩空间将原始图像转换映射至一维度空间。接着，利用一数学函数对转换后的图像中的每一维度的图像进行全域特征选取，并根据选取的图像特征产生一特征向量，并且对特征向量执行数据前处理操作。最后，根据先前实验所得的多个测量参数，利用一回归技术建立过程参数的至少一回归模型，并且利用已建立的回归模型来推估后续过程的测量参数。

Description

一种基于图像的燃烧品质测量方法

技术领域

本发明有关于一种基于图像的过程品质测量方法，且特别有关于一种基于图像的燃烧过程品质测量方法。

背景技术

一般而言，半导体厂或化工厂进行过程监测与诊断等应用之前，会先收集并评估过程相关变量的数据。常见的过程变量包括温度、压力、流量......等物理量，这些物理量的感测信息通常是在线可实时连续获得的且测量成本较低的，因此在半导体或化工工业中被大量使用，藉以提升工业过程的成品率和降低生产成本。

然而，有些过程变量或是产品品质，例如固体表面的涂布(Coating)浓度、肉品或咖啡豆的品质等，其测量信息是无法实时获得的，并且需要等待实验室分析化验后才能得知测量结果。由于人力成本和时效的考量，使得该过程变量或是产品品质测量信息不易导入实际过程的应用。另外，有些过程变量的感测信息存在时间延迟特性，或者用来测量该过程变量的测量分析仪器价格昂贵且维护不易，例如燃烧系统的气体排放浓度的测量，故使得无法取得实时且可靠的感测信息。

由于部分工业程序缺乏取得必要信息的在线传感器，所以传统非流体品质性质通常无法自动化有效测量，过程也无法导入有效的自动化控制系统，因而造成生产成本过高以及产品品质无法提升。因此，开发可信赖、快速及不昂贵的在线品质传感器，是提高业者市场竞争力的基本需求，其中又以燃烧系统的燃烧品质测量最为重要，因其关联大量的燃料成本与环境保护议题。

近年来随着半导体产业的蓬勃发展，摄像机等多频谱图像采集装置的成本越来越低，也大量普及于民生及工业用途，因此利用含有丰富信息的图像来代替无法实时测量品质指标的技术，是最适当的解决方案。

发明内容

基于上述目的，本发明提出一种基于图像的燃烧品质测量方法，用以通过计算单元(例如，计算机)，从所采集的火焰图像萃取出火焰图像的全域特征，并建立过程参数以及对应过程参数的具鲁棒性的图像特征回归模型，以便估算无法实时测量的燃烧品质特性，藉以提供实时和更可靠的测量信息，并作为燃烧系统监测与控制的延伸应用。

本发明实施例揭露了一种基于图像的燃烧品质测量方法。此方法利用一图像采集装置取得一炉膛内含火焰图像的一个原始图像，并且利用至少一色彩空间将原始图像转换映射至一维度空间。接着，利用一数学函数对转换后的图像中的每一维度的图像空间进行全域特征选取。当取得各维的特征后，即根据选取的图像特征产生一特征向量，并且对特征向量执行数据前处理操作。执行数据前处理操作后，根据先前实验所得的多个测量参数，利用一回归技术建立过程参数的至少一回归模型，并且利用已建立的回归模型来推估后续过程的测量参数。

附图说明

图1显示本发明实施例的基于图像的燃烧品质测量方法的步骤流程图。

图2显示本发明实施例的图像空间转换的示意图。

图3显示本发明实施例的图像全域特征的示意图。

图4A显示本发明实施例的图像全域特征的另一示意图。

图4B显示本发明实施例的图像全域特征的另一示意图。

图5A～图5C显示本发明实施例的以灰阶空间转换建立的回归模型所推估的炉壁温度、O₂和NO浓度与实际测量值的趋势图。

图6A～图6C显示本发明实施例的以MIA空间转换建立的回归模型所推估的炉壁温度、O₂和NO浓度与实际测量值的趋势图。

图7A～图7C显示本发明实施例的以RGB空间转换建立的回归模型所推估的炉壁温度、O₂和NO浓度与实际测量值的趋势图。

图8A显示本发明实施例的以灰阶空间转换建立的回归模型所推估的炉壁温度、O₂和NO浓度推估值和实际值的散布图。

图8B显示本发明实施例的以MIA空间转换建立的回归模型所推估的炉壁温度、O₂和NO浓度推估值和实际值的散布图。

图8C显示本发明实施例的以RGB空间转换建立的回归模型所推估的炉壁温度、O₂和NO浓度推估值和实际值的散布图。

图9显示本发明实施例的PLS的误差指标的示意图。

图10显示本发明实施例的计算机可读取储存媒体的示意图。

附图标记说明

300：测量参数；

1000：计算机可读取储存媒体；

1500：计算机程序；

1510～1570：程序逻辑；

S31～S37：流程步骤。

具体实施方式

为了让本发明的目的、特征、及优点能更明显易懂，下文特举较佳实施例，并配合附图1至图10，做详细的说明。本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各组件的配置为说明之用，并非用以限制本发明。且实施例中附图标记的部分重复，是为了简化说明，并非意指不同实施例之间的关联性。

本发明实施例揭露了一种基于图像的燃烧品质测量方法。

本发明实施例的基于图像的燃烧品质测量方法通过各种过程环境中得到的信息含量充分的原始图像，结合多维图像特征萃取的算法，以便由原始图像萃取出全域特征。该全域特征具有物理意义且对外界干扰具有鲁棒性，并能有较广的适用性。通过数据前处理技术和回归模型的导入，建立图像和品质测量的关系，以作为在线实时品质测量的推论模型。本发明实施例的装置与方法所使用的回归技术，需对训练集合外的图像的品质推估具备兼容性，也就是要具有可接受的准确度以确保其可信赖度。

除了基于图像的虚拟品质感测外，本发明实施例的基于图像的燃烧品质测量方法也涵盖基于视觉的监测与控制，其所产生的衍生利益相当可观，特别是高科技产业的应用。

图1显示本发明实施例的基于图像的燃烧品质测量方法的步骤流程图。本实施例的基于图像的燃烧品质测量方法主要分为两个阶段，第一阶段为特征萃取，主要是针对多维图像的特征进行萃取，而第二阶段为参数推估，主要是图像特征与过程参数的回归。

参考图2，在多维图像特征萃取阶段中，原始图像可被萃取出多种维度的图像空间，例如是一维的灰阶(Gray)空间、二维的多变量(如T-image)空间或是三维的RGB空间。请回到图1，假设原始图像包含RGB的三维图像信息，以分辨率492×658的图像为例，该图像共包括323736个像素。由于其数据量过大，故需从大量的像素数据中萃取出有代表性的图像特征。本发明方法将原始图像进行空间转换(步骤S31)，在本实施例中可分别利用灰阶投影和多变量图像分析(Multivariate Image Analysis，MIA)将原始图像转换映射至一维的灰阶空间和二维的T-image空间，以产生一维的灰阶空间和二维的T-image空间，然后利用基于亮度值的累加分配函数(Cumulative Distribution Function，CDF)对转换后的图像进行灰阶、T-image和原始RGB空间的全域特征选取(步骤S32)。上述操作可以有效将原始图像的像素分别减至为256、512以及768个特征数。当取得各维的特征后，即根据取得的全部图像特征产生特征向量(步骤S34)。需注意到，在本发明的其它实施例中亦可仅选取不同维空间中的部分全域图像特征，即区域图像特征的区域选定(步骤S33)，以产生特征向量(步骤S34)。

本发明提出的特征萃取法具有重要的物理意义，故能达成高准确度的分析。以一张炉膛火焰的原始图像为例，当进行了一维灰阶空间转换之后，经由CDF所绘得的图像全域特征向量曲线如图3所示，横轴表示为0至255的亮度值，而纵轴表示为0至1的维度像素面积累加比例值。在本实施例中，灰阶强度小的区域即为原始图像亮度较灰暗的部位，例如灰阶强度值＜10，可表示炉壁部分，灰阶强度大的区域即为原始图像亮度较明亮的部位，例如灰阶强度≥235，可表示火焰内心，然而介于中等的灰阶强度则分别表示火焰及其外围部分，因此从火焰图像的特征向量可解读火焰的燃烧状况。

在此实施例的步骤S32中，亦可利用基于几何坐标的累加分配函数对转换后的图像进行灰阶、T-image和原始RGB空间的全域特征选取。同样地，以一张炉膛火焰的原始图像为例，当进行了一维灰阶空间转换之后，经由基于几何坐标的CDF可绘得X坐标累积映射强度曲线以及Y坐标累积映射强度曲线，分别作为图像在X方向与Y方向上的几何特征曲线。

举例而言，X坐标累积映射强度曲线的求法为：计算出每栏(即每纵向单位)的平均灰阶值，再将各栏平均灰阶值除以“各栏平均灰阶值的加总”，以得到标准化的X方向映射强度曲线，如图4A下方第一个坐标图所示。此时，横轴表示为X坐标，而纵轴表示映射强度值，曲线下方的面积应为1。接着，将此X方向映射强度曲线由左至右进行累加，以得到X坐标累积映射强度曲线，如图4A下方第二个坐标图所示。此时，横轴表示为X坐标，而纵轴表示累积映射强度值。相对地，Y坐标累积映射强度曲线的求法为计算出每列(即每横向单位)的平均灰阶值，再将各列平均灰阶值除以“各列平均灰阶值的加总”，以得到标准化的Y方向映射强度曲线，如图4B左方第一个坐标图所示。此时，横轴表示为Y坐标，而纵轴表示映射强度值，曲线下方的面积应为1。接着，将此Y方向映射强度曲线由左至右进行累加，以得到Y坐标累积映射强度曲线，如图4B左方第二个坐标图所示。此时，横轴表示为Y坐标，而纵轴表示累积映射强度值。

几何坐标特征曲线的物理意义在于X、Y坐标累积映射强度曲线为X、Y轴方向的投影，故以火焰图像而言，所在的X、Y位置代表X、Y坐标累积映射强度曲线的斜率较大之处。因此，X、Y坐标累积映射强度曲线具有火焰图像的位置信息。基于亮度值的CDF所到的特征曲线以图像明亮度为基础，且其物理意义在于累积明亮度的比例，但如果火焰的明亮度不变，而位置有所差异时，应仅能得到相同的特征曲线。然而，火焰位置改变的信息会反应在几何特征曲线的改变上，故，X、Y坐标累积映射强度曲线可以补强基于亮度值的CDF所到的特征曲线在图像几何坐标信息上的不足。在此实施例的步骤S32中，亦可同时以基于亮度值与几何坐标的累加分配函数对转换后的图像进行灰阶、T-image和原始RGB空间的全域特征选取。

本发明所提出的多维图像特征萃取技术的特点为：(1)所取得的全域图像特征具广泛适用性及鲁棒性，其中自图像采集的所有特征能适用于各应用平台及异常状况，而采用累加分配函数(CDF)的作法则因为含有累加的处理，所以其计算的特征会较具有鲁棒性；(2)图像特征具有浅显易懂的物理意义，其中根据累加分配函数(CDF)所取得的每一点特征表示小于某明亮度的面积比例，故容易从一维(度)特征描述高维(度)的图像状况；(3)本发明的图像特征萃取技术不受限于图像的训练集合或设定门坎值，例如传统以MIA为基础(MIA-based)的特征萃取，若要推估的图像超出建模阶段的图像训练集合，则无法进行特征萃取，此外典型灰阶图像的特征萃取需定义一个门坎值参数；以及(4)本发明方法在运用上简单且快速，其中概念简单有效且计算量少。

特征向量已于特征萃取阶段时从火焰图像中采集出来，包括灰阶的特征、T-image的特征与RGB的特征，之后进入参数推估阶段，请参考图1，其包括前处理流程、测量信息以及回归模型建立。其中，测量信息包含过程参数的测量(如炉膛的温度及排放气体浓度)。

在参数推估阶段中，需将萃取出的特征向量进行数据前处理(步骤S35)，例如：特征向量过滤与延迟处理(时间延迟)。在对特征向量过滤方面，主因是火焰在炉膛为立体分布，而图像是火焰在平面上的投影。因此，在同样的过程操作条件下，会有火焰图像的大小不同，但是排放气体浓度等测量相同的情况发生，所以就需要先对火焰图像的特征向量过滤，进行移动平均的运算。至于在延迟处理方面，假设测量过程参数是针对排放的气体浓度进行测量，因为气体浓度的测量可能受到气体分析仪的取样延迟(Time Delay)，故在建立回归模型前，需将此因素纳入考虑。

另一方面，可根据先前实验所得的测量参数300例如为：如炉膛的温度及排放气体浓度，利用回归技术来建立出气体浓度的一个回归模型(步骤S36)。针对燃烧系统，建立回归模型所使用的回归方式可以选择：主成分回归(Principal Component Regression，PCR)、部分最小平方(Partial Least Square，PLS)、神经网络(Neural Network，NN)、具主成分分析的神经网络(Neural Network with Principal Component Analysis(PCA))等回归模型。要说明的是，回归模型的建立(即步骤S36)仅需在第一次使用时建立即可，当后续使用时，待数据前处理(步骤S35)完成，即可与建立好的气体浓度回归模型进行比对，最后再来推估后续过程的测量参数(步骤S37)。

需注意到，本发明实施例的基于图像的燃烧品质测量方法所使用的色彩空间包括：灰阶、MIA、RGB、HSB(Hue/Saturation/Brightness)、HSL(Hue/Saturation/Lightness)、HSV(Hue/Saturation/Value)、YIQ(Luminace/Inphase/Quadrature)、CMYK(Cyan/Magenta/Yellow/Black)、YUV(Luminace/Chrominance)、YCbCr(Luminace/blue and red Chrominance)或是温度场，但其并非用以限制本发明。

本发明实施例的基于图像的燃烧品质测量装置已获得实际验证，其中燃烧机使用重油作为燃料，而空气来源为直驱式空压机，使用气体分析仪和图像采集装置来搜集炉膛图像和过程参数，其中操作条件及相关设定如下：

操作变数：调整空气流量/燃料流量；

输出参数：火焰图像，并测量排气口气体的CO、CO₂、NO_X与O₂浓度信息；

采样频率：每秒记录1张火焰图像与1笔气体浓度数据；

采样时间：每次改变燃烧空气流量，每次至少收集5～10分钟数据；以及

稳定状态：炉内温度升温至1,000度并稳定。

将实验数据分成两部分，一部分是训练资料，用来建构三种回归模型，分别是利用灰阶空间、MIA空间和RGB空间所萃取的图像特征和排放气体浓度建立的PLS回归模型，另一部分为用来验证回归模型的准确度。三种回归模型所推估的参数分别为炉壁温度、O₂和NO浓度，回归模型与实际测量值的趋势图分别如图5A～7C所示，其中横轴代表时间，而纵轴是物理量，虚线是根据火焰图像所推估的物理量，实线则是实际测量值。图5A～5C为以灰阶空间转换建立的回归模型与实际测量值的趋势图，由图5A的炉壁温度推估、图5B的O₂浓度推估以及图5C的NO浓度推估，皆可看出与实际测量值的误差是很小的。而图6A～6C为以MIA空间转换建立的回归模型与实际测量值的趋势图，由图6A的炉壁温度推估、图6B的O₂浓度推估以及图6C的NO浓度推估，皆可看出与实际测量值的误差是很小的。图7A～图7C为以RGB空间转换建立的推估模型与实际测量值的趋势图，由图7A的炉壁温度推估、图7B的O₂浓度推估以及图7C的NO浓度推估，皆可看出与实际测量值的误差是很小的。

此外，三种空间转换回归模型的炉壁温度、O₂和NO浓度的实际值和推估值的散布图分别如图8A～8C所示，图8A灰阶空间转换所建立的回归模型，可以看出炉壁温度、O₂和NO浓度的推估值与实际值呈现趋近线性的关系；图8B的MIA空间转换建立的回归模型与图8C的RGB空间转换建立的回归模型也相同的可以看出炉壁温度、O₂和NO浓度的推估值与实际值呈现趋近线性的关系，这表示本实施例的测量方法可以得到高的准确度的推估结果。

其中推估误差如图9的表格所示。比较的推估误差指标有均方根误差(Root-Mean-Square Error，RMSE)、平均绝对误差(Mean Absolute Error，MAE)以及绝对平均百分比误差(Mean Absolute Percentage Error，MAPE)，相对应的误差指标的定义也列于图9的表格。从结果发现，本实施例的基于图像的燃烧品质测量方法可以得到非常高准确度的气体浓度推估结果，且随着越高维的特征采集，推估准确度更加提高。

本发明实施例的基于图像的燃烧品质测量方法可以从各种过程环境中采集信息含量够丰富的图像，并结合了多维图像特征萃取的算法，将原始照片萃取出图像的全域特征。此图像特征能具有物理含意且对外界扰动具有强韧性，并能有较广的适用性。接着，通过数据前处理技术和回归模型的导入，建立图像和过程测量的回归关系以作为在线实时品质测量的推论模型，此阶段的回归技术需对训练集合外的图像的品质推估要具兼容性，也就是要具有可接受的准确度来确保其可信赖度，所开发的虚拟传感器可以推估燃烧系统的炉壁温度和O₂、CO、CO₂、NO_x、SO_x等气体浓度。

本发明实施例另揭露一种用以执行基于图像的燃烧品质测量方法的计算机程序的储存媒体。图10显示本发明实施例的计算机可读取储存媒体的示意图。本发明实施例的计算机可读取储存媒体1000用以储存一计算机程序1500。计算机程序1500用以加载至一计算机系统中，并且使得上述计算机系统执行如前所述的基于图像的燃烧品质测量方法的步骤。计算机程序1500主要包括取得一原始图像的程序逻辑1510、利用至少一色彩空间将原始图像转换映射至一维度空间的程序逻辑1520、利用一数学函数对该转换后图像中的每一维度的图像进行全域特征选取的程序逻辑1530、根据选取或全部的图像特征产生一特征向量的程序逻辑1540、对该特征向量执行数据前处理操作的程序逻辑1550、根据先前实验所得的多个测量参数并利用一回归技术建立气体浓度的至少一回归模型的程序逻辑1560以及利用已建立的回归模型来推估后续过程的测量参数的程序逻辑1570。

本发明的方法，或特定型态或其部分，可以以程序代码的型态存在。程序代码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置。程序代码也可以透过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元实作时，程序代码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims

1.一种基于图像的燃烧品质测量方法，包括下列步骤：

取得一炉膛内含火焰图像的一原始图像；

利用至少一色彩空间将该原始图像转换映射至一维度空间；

利用一数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取；

根据选取的图像特征产生一特征向量；

对该特征向量执行数据前处理操作；

根据先前实验所得的多个测量参数，利用一回归技术建立过程参数的至少一回归模型；以及

利用已建立的该回归模型来推估后续过程的测量参数。

2.如权利要求1所述的基于图像的燃烧品质测量方法，其中利用该色彩空间将该原始图像转换映射至该维空间的步骤包括：利用灰阶投影将该原始图像转换映射至一维的灰阶空间。

3.如权利要求2所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于亮度值的累加分配函数对该原始图像转换后的该一维图像灰阶的空间进行全域特征选取。

4.如权利要求2所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于几何坐标的累加分配函数对该原始图像转换后的该一维图像灰阶的空间进行全域特征选取。

5.如权利要求1所述的基于图像的燃烧品质测量方法，其中利用该色彩空间将该原始图像转换映射至该维空间的步骤包括：利用多变量图像分析将该原始图像转换映射至二维的T-mage空间。

6.如权利要求5所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于亮度值的累加分配函数对该原始图像转换后的该二维的T-image空间进行全域特征选取。

7.如权利要求5所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于几何坐标的累加分配函数对该原始图像转换后的该二维的T-image空间进行全域特征选取。

8.如权利要求1所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于亮度值的累加分配函数对该原始图像中的原始RGB空间的全域特征选取。

9.如权利要求1所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于几何坐标的累加分配函数对该原始图像中的原始RGB空间进行全域特征选取。

10.如权利要求1所述的基于图像的燃烧品质测量方法，其中利用该数学函数对该转换后图像中的每一维度的图像空间进行全域特征选取的步骤包括：利用一基于亮度值与几何坐标的累加分配函数对该原始图像中的原始RGB空间进行全域特征选取。

11.如权利要求1所述的基于图像的燃烧品质测量方法，其中根据该全域特征选取的部分或全部图像特征产生该特征向量。

12.如权利要求1所述的基于图像的燃烧品质测量方法，其中该数据前处理包括：特征向量过滤与延迟处理。

13.如权利要求1所述的基于图像的燃烧品质测量方法，其中该回归模型包括：主成分回归、部分最小平方、神经网络、具主成分分析的神经网络。

14.如权利要求1所述的基于图像的燃烧品质测量方法，其中该色彩空间包括：灰阶、MIA、RGB、HSB、HSL、HSV、YIQ、CMYK、YUV、YC_bC_r或温度场。