CN1929530A - 图像质量预测方法和设备以及故障诊断系统 - Google Patents

Abstract

提供一种图像质量预测方法和设备以及故障诊断系统，所述图像质量预测方法包括：获取步骤，获取多个原始数据，训练步骤，通过所述多个原始数据来训练预测模型，以优化所述预测模型的系统参数；以及预测步骤，利用优化后的预测模型预测图像的质量。本发明的图像质量预测方法和设备以及故障诊断系统可以尽早发现诸如多功能一体机的设备和系统的故障。

Description

图像质量预测方法和设备以及故障诊断系统

技术领域

本发明涉及一种多功能一体机的故障诊断系统和方法，特别涉及以嵌入式的多传感器信息预测多功能一体机的图像质量的系统和方法。同时，本发明涉及故障诊断系统的设计与实现，包括系统功能、体系结构和人机界面的设计。本发明用于多功能一体机的故障诊断领域，同时也可用于打印机、扫描仪等设备的故障诊断。

背景技术

本发明所述的多功能一体机，是指将打印机、扫描仪、传真机、复印机等的功能集于一体的机器。对多功能一体机而言，市场的调研分析表明，设备的维护对用户和生产厂商都是非常重要的，因而对设备制造商来说，有必要提供故障诊断系统，利用该故障系统可以在故障发生前预测故障的发生，因而可以减少设备维护的花费，进而提高用户满意度。与此同时，技术的发展也使故障诊断技术的设计和应用成为可能。

市场调研分析表明：大约25％的多功能一体机的故障与其图像质量相关，因而有必要设计和开发图像质量的评估和预测方法及系统。

传统上，多功能一体机的图像质量评估是由其领域的专家来完成的。通常来说，首先，多功能一体机打印出C/M/Y/K四种图像，然后图像质量由专家来分别进行评估。该方法的主要缺点是评估的结果完全依赖于专家的知识和水平，而缺乏统一的标准。

随着信息技术的发展，人们希望能设计出图像质量的自动评估/预测系统和方法。

发明内容

因此，本发明的目的在于提供预测多功能一体机图像质量的方法及系统。

本发明的另一个目的在于针对图像质量预测问题，提供一种诊断方法及系统，如果该系统的诊断结果为异常，则可以及时地维护该设备。

根据本发明的一个方面，提供一种图像质量预测方法，包括：获取步骤，获取多个原始数据，训练步骤，通过所述多个原始数据来训练预测模型，以优化所述预测模型的系统参数；以及预测步骤，利用优化后的预测模型预测图像的质量。

根据本发明的另一个方面，提供一种图像质量预测方法，包括步骤：获取步骤，获取多个被打印图像的相关数据；训练步骤，用所述相关数据来训练预测模型，以优化所述预测模型的系统参数；以及估计步骤，用优化后的预测模型来估计当前打印的图像的质量。

根据本发明的再一个方面，提供一种用于预测图像质量的设备，包括：数据获取装置，用于获取多个数据；存储装置，用于存储所述多个数据；信息处理装置，用于通过所述多个数据来训练预测模型，以优化所述预测模型的系统参数，并用优化后的预测模型来预测图像的质量。

本发明还提供一种用于预测图像质量的设备，包括：图像获取装置，用于获取多个被打印图像的相关数据；存储装置，用于存储所述多个相关数据；以及信息处理装置，用于通过所述多个相关数据训练预测模型，以优化所述预测模型的系统参数，并用优化后的预测模型估计当前打印的图像的质量。

本发明还提供一种故障诊断系统，包括：多功能一体机，用于打印图像；以及图像质量预测装置，用于利用预测模型来预测所述图像的质量，并根据所预测的质量输出通知信息。

本发明还提供一种打印及扫描设备，包括：图像质量预测装置，用于通过获取所述打印及扫描设备的多个传感器数据或图像数据来训练预测模型，并利用所述预测模型来预测所述打印及扫描设备要打印的图像的质量。

本发明的图像质量自动估计/预测系统和方法的优势在于：具有客观的评估结果，从而避免专家主观因素的影响；可以发现人眼所不能见的缺陷，尤其是在故障发生的初期，该自动估计/预测系统可以尽早发现故障。另外，在现今的企业内联网中，经常是用户要打印的文档并不在自己的位置附近，在这种情况下，利用本发明的图像质量估计/预测系统和方法，可以不用亲眼见到所打印出的文档，就能知道所打印的文档的质量。

附图说明

图1描述了本发明基本策略中的训练和测试过程。

图2是本发明的多功能一体机图像质量预测(故障诊断)系统的结构图。

图3是本发明基于传感器的图像质量预测方法的流程图。

图4为图像质量在特征空间中分布的示例图，其中示出了两维正交空间中的判别函数值、质心以及图像质量之间的关系。

图5是本发明基于图像的图像质量自动估计方法的流程图。

图6示出了本发明的多功能一体机打印的带有标识的图像。

图7示出了本发明用于调节色调的调节函数。

图8示出了本发明正常图像的投影曲线。

图9示出了本发明中具有水平或垂直缺陷的图像的投影曲线。

图10示出了本发明中正常图像的差值曲线。

图11示出了本发明中异常图像的差值曲线。

图12是示出了利用三个不同的窗口函数对同一个特征值序列(多组特征值)进行平滑处理后的示图。

图13是本发明基于图像的图像质量分析系统的预测模型的示图。

图14示出了本发明系统的领域支持体系结构。

图15示出了本发明系统的网络支持体系结构。

图16示出了本发明系统的嵌入式体系结构。

具体实施方式

通常而言，多功能一体机的图像质量可以分为三类：垂直缺陷、水平缺陷及点状缺陷。从打印的图像上来看，垂直缺陷和水平缺陷是垂直或水平的白线或深颜色的线，点状缺陷是直径大约是3毫米左右的斑点。在本发明中，考虑到各种缺陷均有不同的严重程度，因而将各种缺陷(图像质量)分为四个级别，即，级别0为无缺陷正常图像，级别1为轻微缺陷，级别2为中等缺陷，级别3为严重缺陷。

但是上述四个级别不对本发明的技术范围构成限制，本发明的其它实施例可以采用其它的级别数目。

下面结合附图来说明本发明的优选实施例。

本发明中对图像质量进行预测的基本策略包括训练、测试和预测三个过程。

图1描述了本发明基本策略中的训练和测试过程。

如图1所示，本发明的基本策略是：在多功能一体机中收集原始数据，形成原始数据集，并利用原始数据对预测模型(分类器)进行训练，或者将所收集的原始数据分为训练集和测试集，利用训练集对预测模型(分类器)进行训练，然后用测试集对训练后的预测模型进行测试。如果测试结果合格，则将所训练的预测模型作为该多功能一体机的标准预测模型，来供用户使用，以对用户需要预测的图像的质量进行预测。

如果所有多功能一体机都具有相同的属性，则该训练和测试过程不是必须的，因为在一个多功能一体机上的一次训练数据可以被用于其它的多功能一体机，即多个多功能一体机可以使用同一个预测模型。但由于每个多功能一体机的工作环境各不相同，且具有不同的个体特征，因此在大多数情况下，都需要训练和测试过程，作为预测过程的前期阶段。

图2是本发明的多功能一体机图像质量预测(故障诊断)系统的结构图。

如图2所示，本发明的多功能一体机故障诊断(图像质量预测)系统200由四个基本模块组成，即，数据获取模块210、信息处理模块220、存储管理模块230和用户接口模块240。

数据获取模块210用于获取各种数据，包括原始数据和实时数据，同时所获取的各个数据被存储管理模块230存储于存储装置(未示出)中，作为系统应用日志。

存储管理模块230包括存储装置(未示出)，并用于管理系统参数(主要是分类器系数，还包括例如短信中心的号码以及手机号码等)、用户设置、系统维护日志、传感器数据日志及图像质量日志等。对于系统参数而言，由于该诊断系统在应用中可被用于各种不同种类的多功能一体机，或同一多功能一体机的不同工作环境，因而几组不同的系统参数被存储在存储装置中。

信息处理模块220执行预测模型的训练和图像质量的预测功能，在该模块中，将通过数据获取模块210收集的原始数据分为训练集和测试集，利用训练集对预测模型(分类器)进行训练，以优化该预测模型的系统参数，然后用测试集对训练后的预测模型进行测试。另外，信息处理模块220接收通过数据获取模块210从传感器采集的实时传感器数据，然后根据多功能一体机的类型及运行环境，在存储装置(未示出)中检索相应的优化后的系统参数，并将该系统参数输入到预测模型(分类器)中，对所采集的实时传感器数据进行计算，以进行图像质量的预测。最终的预测结果被输入到用户接口模块240中。

信息处理模块220可以是运行实现本发明方法的软件的CPU(中央处理单元)，或是能够完成本发明功能的专用集成电路。因此，本发明的信息处理模块220可以通过仅软件、仅硬件或软件和硬件结合的方式来实现。

用户接口模块240用于向用户提供相关信息，例如向用户提供由信息处理模块220的预测结果。在该诊断系统的实际应用中，根据不同角色将用户分为最终用户和维护工程师，也就是说，为用户接口模块240提供最终用户接口和维护工程师接口。对于最终用户来说，该接口模块提供了预测的图像质量、当前的传感器数据、图像质量的日志信息等。对于维护工程师来说，除了上述信息外，还可以查询和设置附加的其它信息，如维护日志、模型的参数等。

用户接口模块240连接有输入/输出装置(未示出)，输入装置例如是键盘、鼠标、输入笔、触摸屏、麦克风等，用于输入系统指令和/或各种数据，而输出装置可以是各种显示器(LCD、CRT等)和/或扬声器，用于向用户呈现所要输出的各种信息和数据。

以上结合附图描述了本发明的多功能一体机的故障诊断系统200的系统结构。

下面，将结合附图描述本发明的图像质量预测方法。

在本发明中，可以将要利用的数据源分为两类：一类为传感器数据，另一类为打印出的图像。对传感器数据而言，多个传感器被嵌入到多功能一体机中，因而传感器数据可以被实时的获取。对打印的图像而言，图像被多功能一体机打印出后又被重新扫描到该多功能一体机的处理装置中，成为数字化的图像数据，该数字化的图像数据可以用于图像质量预测(故障诊断)系统。

因此，根据所用数据源的不同，可以将本发明的图像质量预测(故障诊断)方法分为如下两类：基于传感器的方法和基于图像的方法。即，在本发明中，可以分别利用传感器信息或图像信息来预测图像中的缺陷种类或等级。

1.基于传感器的图像质量预测方法

图3是本发明基于传感器的图像质量预测方法的流程图。

对于基于传感器的系统和方法而言，数据获取模块210连接于多功能一体机中的多个传感器(未示出)。在训练阶段，为了建立预测图像质量的预测模型(分类器)，首先需要测试多功能一体机，以通过其中布置的多个传感器获取原始数据。

如图3所示，过程开始后，在步骤S310(训练阶段)，首先，本发明的系统200通过数据获取模块210采集传感器的历史数据，即在过去一段时间内的传感器数据，并将采集的传感器数据输入到存储管理模块230中，以形成传感器数据集。

在步骤S320(训练阶段)，通过信息处理模块220对所采集的传感器数据进行预处理，以删除或替换所采集的原始数据中的孤立点、缺陷值或不完整的数据。该预处理过程的目的在于删除数据中的孤立点，即对错误数据进行处理，例如去掉噪声数据、对缺失的值进行补充等。举例来说，当多功能一体机处于一定的环境和条件下时，若从某个传感器采集的数据基本都在8-10的范围内，此时，如果突然采集到一个等于180的数据，则这个数据在很大程度上是由噪声等外部不确定因素引起的。因此，为了保证系统预测的准确性，将通过信息处理模块220删除这个孤立的数据。

接下来，在步骤S330(训练阶段)，将所获取的原始数据分为两个部分，其中一个部分(例如含有70％的原始数据)作为训练用的数据，被称为“训练集”，用于确定和优化预测模型的系统参数；而另一个部分(例如含有30％的原始数据)作为测试用的数据，被称为“测试集”，用于测试预测模型的性能。

本发明中的原始数据是多功能一体机内部的各种物理量，如一体机内部各个部件的工作电流、电压、湿度、温度等等各种信号值。对于原始数据，可以使用上述物理量中的任意一种或几种的任何组合。

接下来，在步骤S340(训练阶段)，将所获取的训练集中的原始数据输入到待训练的预测模型中，对其中的系统参数进行优化(后面将进行详细地描述)。对预测模型的系统参数进行优化后，即完成了预测模型的训练。在本发明中，可以将分类器作为所述预测模型使用，

然后，在步骤S350(测试阶段)，将测试集中的原始数据代入训练后的预测模型中，对所训练的预测模型进行测试，来检验所训练的预测模型的预测精度，即测试该预测模型的预测准确度。也就是说，通过被训练完成的预测模型，对测试集中的原始数据进行测试，通过计算可以得出测试结果。该测试结果可能是例如80％或90％，其表示所述预测模型的预测精度。

可以为预测精度设置适当的阈值，例如，当预测模型的预测精度＞＝90％时，认为该预测模型达到了预期的要求，可以将其作为标准预测模型，来预测多功能一体机的图像质量。

在步骤S350中，如果所测试的精确度合格(即大于等于预定阈值)，则将该预测模型作为该多功能一体机在一定时间范围内的标准预测模型。如果所测试的精确度不合格(即小于所预定的阈值)，则需要对该预测模型进行修正，以提高其预测精度，得到标准的预测模型。例如，如果该预测精度只有60％，则需要对该预测模型进行修正，以提高其预测精度。修正的方法可以是如下的方法：如果所述测试结果表明所述预测模型的预测精度不合格，则更新训练集，用新的训练集来对所述预测模型重新进行训练。更新训练集的方法可以是将测试集的部分原始数据加入到训练集中，也可以是将新采集的数据加入到训练集中，以形成新的训练集。当然，也可以采用本领域技术人员所知道的其它方法来更新训练集。

当然，所设定的阈值也可以采用错误率的方式，即设定所进行的测试的错误率应该小于某个阈值，例如3％。

在步骤S360(预测阶段)，通过数据获取模块210采集实时的传感器数据。如果用户需要打印图像，并对其质量进行预测，则进入预测阶段。在预测阶段，用户可以通过用户接口模块240启动多功能一体机的预测功能，并向信息处理模块220给出打印命令。此时，分布于多功能一体机中的多个(例如可以是60个)传感器实时采集其中的各种必需的物理量数据，并将所采集的数据输入到数据获取模块210中。

在步骤S370(预测阶段)，信息处理模块220将通过数据获取模块210所得到的实时数据输入到测试后的标准预测模型中，对预测模型进行计算，以得出关于图像质量的预测结果。

在步骤S380(预测阶段)，信息处理模块220将所述原始数据、实时数据、以及预测结果保存到日志文件中，并将所得出的预测结果输入到用户接口模块240中，以通知相应的用户(最终用户或是维护工程师)，所(要)打印的图像的质量属于0、1、2、3级别中的哪个级别。另外，信息处理模块220还可以确定所述预测结果是否超出预定的阀值，如果超出，则自动发送电子邮件或短消息给系统用户或系统维护工程师。

如果所预测的图像的质量属于0级，则表示该图像基本没有任何质量缺陷。如果所预测的图像质量属于1级，则表示该图像将有轻微的缺陷，在对图像质量要求不高的情况下，可以对其进行忽略。然而，如果所预测的图像的质量属于2级，则表示其具有中度缺陷，此时应该对多功能一体机进行适当的维护。如果所预测的图像质量属于3级，则表示该图像具有严重的缺陷，应立即对多功能一体机进行维护和修理。

如果所预测的图像质量属于1、2、3级别中的任何一个级别，信息处理模块220将生成报警信息，并通过用户接口模块240将所述报警信息输出给用户，并在用户输入的命令或是信息处理模块220中预存储的命令的控制下，调用其它后处理过程。然后，预测过程结束。

以上描述了本发明基于传感器的图像质量预测方法。

下面将说明本发明中对预测模型的训练过程。

在本发明中，可以将分类器作为预测模型使用，该分类器可以是多个线性判别函数，例如

$F_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_{i,j}{s}_j+{\mathrm{\β}}_i,i=\mathrm{1,2},...m---\left(1\right)$

这里，β_i，i＝1，...，m为常量，s_j，j＝1，2，...，m表示诊断系统200中的传感器的数据值，α_i，j，j＝1，2，...，n为分类器的系数，在这里作为预测模型的系统参数。

由于在本发明的诊断系统200中存在多个传感器，例如60个传感器，直接将传感器数据划分为不同的图像质量区域是非常困难的，因而有必要先将原始的传感器数据空间降维到低维的特征空间。在本发明中，例如将原始传感器空间维数降低到3维特征空间。当然，在其它实施例中，可以将原始传感器空间维数降低到2或其它维数的特征空间。

这样，在本发明基于传感器的图像质量预测模型中，定义3个判别函数，每个判别函数都是各个传感器数据的线性组合，如下式所示。

F_i＝α_i，1s₁+α_i，2s₂+...+α_i，ns_n+β_i，i＝1，2，3    (2)

其中，β_i，i＝1，2，3为常量，s_j，j＝1，2，...，n表示系统中的传感器数据值，α_i，j，j＝1，2，...，n为模型系数，该系数可以利用训练集数据来进行优化。

具体地，预测模型的模型系数(系统参数)的训练过程如下所述。

第一步，获取训练用的数据集合，即训练集，并通过专家提供训练集中的每组数据所对应的图像的质量级别(缺陷级别)，即0、1、2或3级。

第二步，确定训练过程的准则函数，例如错误率函数，如下所示，

设训练集中一共有m组数据，经过评估后共有n组数据被正确判断，则错误率为：

$\mathrm{\δ}\left(n\right)=\frac{m-n}{m}\×100\%$

第三步，设置准则函数的优化阀值，例如：错误率应小于3％，其含义为若按当前参数得到的错误率小于3％，则认为该参数满足训练要求。

第四步，初始化上述三个模型的参数α_i，j，j＝1，2，...，n，例如将模型参数设置为任意选择的数值。

第五步，利用当前的模型参数计算所有训练集数据的判别函数值，并计算与每一级图像质量对应的所有判别函数值的质心(F₁、F₂，F₃)，即分别计算出与0级图像质量对应的所有判别函数值的质心、与1级图像质量对应的所有判别函数值的质心、与2级图像质量对应的所有判别函数值的质心、和与3级图像质量对应的所有判别函数值的质心。

第六步，对训练集中的每一组数据，计算其判别函数值与每一质心值的距离，并将该组数据分类为与其距离最小的质心所属的图像质量级别，即分类为0、1、2或3级。然后，比较所得到的该组数据的分类结果是否与通过专家提供(预先确定)的分类结果一致。

第七步，将第六步所得的判断结果代入第二步所确定的准则函数，计算当前准则函数值。

第八步，比较第七步计算的准则函数值和第三步设置的优化阀值，如果小于等于准则函数的优化阀值，则训练结束，且训练结果为当前的模型参数，否则，转到第九步。

第九步，调整当前的模型参数，即重新设置初始化模型参数α_i，j，j＝1，2，...，n，重新设置初始化模型参数的方法可以使用梯度下降法等参数优化方法。得到新的模型参数后，转到第五步，以重复执行第五步至第八步，直到所计算出的判别函数值小于该优化阈值为止。

这样，重复上述过程，就可以形成所需的三个判别函数如下：

F₁＝α₁₁s₁+α₁₂s₂+...+α_1ns_n+β₁    (3)

F₂＝α₂₁s₁+α₂₂s₂+...+α_2ns_n+β₂    (4)

F₃＝α₃₁s₁+α₃₂s₂+...+α_3ns_n+β₃    (5)

此3个判别函数的判别值，可以看作是将原始传感器数据映射到一个3维特征空间的数据，但通常该3维空间不是正交的，因而，本发明中采用了Schmidt(施密特)正交化方法将3维特征空间正交化，即对上述三个线性判别函数的系数向量进行正交化，得到下面的公式(3’)、(4’)和(5’)，

F′₁＝F₁，                          (3’)

${F^{\′}}_2=F_2-\frac{(F_2,{F^{\′}}_1)}{({F^{\′}}_1,{F^{\′}}_1)}{F^{\′}}_1,---\left(4^{\′}\right)$

${F^{\′}}_3=F_3-\frac{(F_3-{F^{\′}}_1)}{({F^{\′}}_1,{F^{\′}}_1)}{F^{\′}}_1-\frac{(F_3,{F^{\′}}_2)}{({F^{\′}}_2,{F^{\′}}_2)}{F^{\′}}_2,---\left(5^{\′}\right)$

上述值F’₁、F’₂和F’₃可以看作是三维正交空间中的一组坐标值，它们形成三维正交空间中的一个点。

然后，再将每个质心的坐标(F₁、F₂，F₃)代入上述等式(3’)、(4’)、(5’)中，求出正交化后的质心坐标。

这样，就形成了初步的预测模型(分类器)。

图4为图像质量在特征空间中分布的示例图，其中示出了两维正交空间中的判别函数的值、质心以及图像质量之间的关系。

如图4所示，其中0代表0级图像质量，1代表1级图像质量，2代表2级图像质量，和3代表3级图像质量，它们分别是各自级别中的判别函数值的质心。

下面，对计算判别函数值的质心的过程说明如下。

在该过程中，首先对训练集中的数据按照缺陷等级(对应于图像质量级别)进行分组，即0组缺陷数据、1组缺陷数据、2组缺陷数据和3组缺陷数据。然后分别将每组数据代入上述公式(3)、(4)和(5)中，计算出与每个图像对应的判别值F₁、F₂和F₃，它们对应于三维特征空间中的多个点(F₁、F₂，F₃)。

选出与质量被鉴别为0级的图像对应的点(F₁、F₂，F₃)(例如有1100个)，求出这些点的质心坐标(例如用加权平均的方法)；再选出与质量被鉴别为1级的图像对应的点(例如有500个)，求出这些点的质心坐标；再选出与质量被鉴别为2级的图像对应的点(例如有200个)，求出这些点的质心坐标；然后再选出与质量被鉴别为3级的图像对应的点(例如有100个)，求出这些点的质心坐标。

所求出的4个质心坐标，代表图像质量的值，即该4个质心坐标分别与图像质量0、1、2、3级对应。根据所采集的数据组数的多少，4个质心坐标也相应地改变，采集的数据组数越多，所计算出的质心坐标越准确。

接下来，再对所形成的预测模型进行测试。首先，利用测试集中的一组数据(与预先打印的一个图像的质量对应，并假设该图像的质量为1级)，代入到公式(3)、(4)和(5)中，求出F₁、F₂，F₃的值。再将上述F₁、F₂，F₃的值分别代入公式(3’)、(4’)和(5’)中，计算出三维正交特征空间中的点(F’₁、F’₂，F’₃)。

然后，将此点的坐标与每一级图像质量的质心坐标相比较，即计算此点与每个质心的距离，若距离第1类质心的距离最小，则该图像的质量被预测为1级，表示该预测模型判断准确，否则该预测模型判断错误。

这样，可以通过测试集中的多组原始数据来测试该预测模型的准确率。

在使用足够多的测试数据进行测试后，若准确率达到预先设置的准确率要求，则说明该模型(包括模型参数及各类的质心)可以应用于实际预测任务；若测试所得模型的准确率小于要求，则需调整该系统的训练集，例如选择部分测试集中的数据加入训练集，形成新的训练集数据，从而利用上述训练算法重新确定预测模型的参数，并得到如下另外三个判别函数：

F₁＝α₁₁′s₁+α₁₂′s₂+...+α_1n′s_n+β₁′    (6)

F₂＝α₂₁′s₁+α₂₂′s₂+...+α_2n′s_n+β₂′    (7)

F₃＝α₃₁′s₁+α₃₂′s₂+...+α_3n′s_n+β₃′    (8)

然后在新的训练集数据的基础上，计算上述三个判别函数的多个判别值，并按照如上所述的方法计算出它们的质心。

这样，就形成了经过修改的预测模型。

经过如上所述相同的过程，即再进行测试过程，如此循环，就得出了经过优化的、能准确反映图像质量的标准判别函数。

2.基于图像的多功能一体机图像质量分析方法

基于图像的多功能一体机图像质量分析方法的目的在于直接利用图像信息预测多功能一体机在未来某一时刻或周期的图像质量。在本发明中，考虑到每一种型号或某一个具体的多功能一体机的特性和环境各不相同，因而首先对该机器的图像质量进行自动估计，在多次估计后组成图像质量序列，从而可以利用该序列进行图像质量的预测。

具体来说，本发明中，基于图像的多功能一体机图像质量分析方法由以下两个阶段组成：

第一阶段：基于图像的多功能一体机单幅图像质量自动估计；

在该部分中，输入信息是扫描的多功能一体机图像，经过自动估计后，可以得到该图像的图像质量。在经过多次估计后，可以得到一个图像质量的序列，该序列被输入到第二阶段进行图像质量的预测。

第二阶段：基于图像序列的多功能一体机图像质量预测；

当获取到图像质量的序列后，利用该序列，采用时间序列分析的方法来预测在下一个时刻或周期的图像质量。

在本发明基于图像的分析方法中，仍然使用如图2所示的体系结构。并且，在图像质量自动估计过程中，本发明所采用的分类器仍然是线性判别函数，其系统参数的训练和测试过程也与上面所描述的基于传感器的图像质量预测方法中所使用的训练和测试过程相同。

在此两种方法中，不同的是在训练和测试过程中所使用的训练集和测试集中的数据的种类。在基于传感器的图像质量预测方法中，训练集和测试集中的数据是通过传感器获得的关于多功能一体机的物理量的数据，而在基于图像的图像质量预测方法，训练集和测试集中的数据是通过对图像进行处理后所获得的特征值。

具体地，在本发明基于图像的分析方法中，图2所示的体系结构中的数据获取模块210用于获取多个被打印图像的相关数据，其中的存储管理模块230用于存储上述多个相关数据，并由信息处理装置220通过所述多个相关数据训练预测模型，以优化所述预测模型的系统参数，并用优化后的预测模型对当前打印的图像的质量进行自动估计。上述相关数据是如下获得的：数据获取模块210从多个被打印图像(图像序列)中提取与缺陷相关的多组特征值，并(通过专家提供等方式)获取与所述多个被打印图像对应的质量序列(由数字0、1、2、3组成的序列)，其中所述多组特征值和质量序列构成所述相关数据。此方法中的预测模型及其训练和测试过程与前述基于传感器的图像质量预测方法中相同，这里不再进行详细描述。

另外，数据获取模块210还对多个实时打印的图像进行扫描，并从中提取与缺陷相关的多组特征值，将其中的每组特征值代入训练后的预测模型中，以自动估计每个实时打印的图像的质量，将所述多组特征值及所评估的质量组成实时特征值序列和对应的实时质量序列，并通过另一预测模型预测下一时刻要打印的图像的质量。所述另一预测模型由多个ARIMA模块和一个线性判别函数组成(后面将进行详细的描述)。

在这里，仍然使用上面的公式(1)作为本发明基于图像的图像质量分析(自动估计)模型，并不再对其训练和测试过程进行详细的描述。

下面将结合附图，说明在本发明基于图像的图像质量自动估计方法中，对图像的处理和特征值提取等过程。

多功能一体机的图像质量自动估计过程由如下几个步骤组成：图像的输入、预处理、特征值提取、和估计，如图5所示。

图5是本发明基于图像的图像质量自动估计方法的流程图。

首先，在步骤510，对于基于图像的方法，利用多功能一体机打印出带有标识的图像，该标识包括人类可以识别的各种代码(例如数字等)，也包括计算机可读的编码(例如条形码等)。

图6示出了本发明的多功能一体机打印出的带有标识的图像。

该图像例如可以是t1、t2、t3、t4、t5和t6时刻的图像序列，并通过专家鉴别出上述6个图像的质量分别为0、0、1、1、2和3。

然后，利用该多功能一体机对所打印出的图像进行扫描，再通过数据获取模块210将所扫描的图像数据存储到其中的存储管理模块230的存储装置(未示出)中，并将所鉴别的图像质量0、0、1、1、2和3对应地存储在该存储装置中，以形成图像质量序列，例如：分别对应于时刻t1、t2、t3、t4、t5和t6的图像质量序列0、0、1、1、2和3。

在图像质量的自动估计/预测过程中，信息处理模块220可以识别出所扫描的图像标识，并通过该标识检索出与该标识所对应的图像数据。

在步骤520，对所扫描的时刻t1、t2、t3、t4、t5和t6的图像序列进行预处理。在这个步骤中，每个图像的原始真彩色图像首先被转换为灰度图像，然后对其分辨率和色调进行调整，并对图像的缺陷部分进行增强。在预处理步骤中，通过以下三个步骤来增强图像中的缺陷：(1)将原始真彩色图像转换为灰度图像；(2)降低图像的分辨率；(3)调整色调。

降低图像的分辨率不仅可以减少系统的处理时间和所需内存，而且也可以使系统关注于所关心的对象，如点、线等缺陷，而不是集中在像素值本身。

在调整色调过程中，本发明采用了如图7所示的调节函数。在该调节函数中，其参数(x₁，y₁)和(x₂，y₂)的值可以根据不同的多功能一体机的图像颜色进行调节。例如，在点(x₁，y₁)之前，是一段水平的直线，其对色调调整不具有显著的影响，而在点(x₁，y₁)之后，是一段倾斜的线性函数，其可以起到对不同部分的色调进行适当加强的作用。

在步骤530，从预处理后的时刻t1、t2、t3、t4、t5和t6的图像序列中提取多组特征值。首先计算每个原始图像的投影曲线，即在垂直或水平方向对像素值进行求和运算。对于正常图像而言，其投影曲线通常是一个较为平坦的曲线，如图8所示。但是对于存在水平或垂直缺陷的图像而言，该投影曲线会在缺陷区域产生剧烈的波动，如图9所示。

计算出水平或垂直的投影曲线后，利用平滑方法对该曲线进行平滑以去除孤立点的影响。孤立点对系统的预测有很大的影响，因而利用平滑方法对投影曲线进行平滑处理，以消除孤立点的影响。在本发明中，采用了修削平均算法，即：对于落入窗口中的像素值，删除最大值和最小值，然后取剩下的像素值的均值作为平滑值。在该方法中，首先，利用移动平均方法平滑从时刻t1、t2、t3、t4、t5和t6的图像序列提取的特征值序列，即计算出的水平或垂直投影曲线。由于平滑窗口的大小对最终的平滑值有显著的影响，因此其核心问题是确定窗口的大小。在本发明的算法中，平滑窗口的大小可以被调整。

在获得平滑的投影曲线后，计算并绘制时刻t1、t2、t3、t4、t5和t6的图像序列的每一组原始投影曲线和平滑后投影曲线的差值曲线。

从获得的差值曲线中发现，对于正常图像/区域，该差值曲线靠近水平坐标轴，比较平滑，而对于异常的区域，该曲线在异常区域会有很大的波动。图10和图11分别为正常图像和异常图像的示例。

然后，从每个差值曲线中提取多个与缺陷相关的特征值，例如：最大值、均值、中值、方差等等。

以上描述了从目标图像中提取特征值的过程，其中的一个图像，例如t1时刻的图像，相当于一个传感器，从一个图像中提取出的特征值，相当于从一个传感器获取的传感器数据。

这样，上述从多个图像中提取的多组特征值形成多个数据组，并被划分为训练集和测试集，从而对预测模型(1)进行训练和测试，并形成标准的预测模型，以对当前打印的图像的质量进行自动估计。上述时刻t1、t2、t3、t4、t5和t6的6个图像仅仅是作为示例而描述，在实际的训练和测试中，所需要的数据远远多于6个，例如可以是200个，这样训练出的模型才更准确。

针对图像质量分析的过程，下面结合一个实例来具体说明。在实例的说明中，包括了图像质量的自动估计和预测两个阶段。

现在假设对在0至T时刻的时间范围内的时刻t’1、t’2、t’3、t’4、t’5和t’6实时打印的六个图像(与时刻t1、t2、t3、t4、t5和t6的6个图像不同)进行扫描，得到按时间顺序排列的图像序列，并从其中提取多组特征值(可以是从每个图像中提取一组特征值)，这些特征值相当于基于传感器的图像质量预测方法中的实时数据。

将上述t’1、t’2、t’3、t’4、t’5和t’6时刻的六个实时打印图像的特征值分别输入到预测模型中，以自动估计出与其分别对应的图像质量，并形成实时图像质量序列，例如0、0、1、1、2和3级。

在预测阶段，可以利用另一个预测模型，根据上面获得的与图像序列对应的多组特征值及其质量序列来预测下一个时刻T+1将打印出来的图像质量。

在本发明中，在获取了上述实时图像质量序列后，本发明利用时间序列分析的方法对下一时刻即T+1时刻的图像质量进行预测。

在本实施例中，例如对上述与0、0、1、1、2和3实时图像质量序列对应的多组特征值，分别利用W＝1、W＝2和W＝4的窗口函数进行平滑处理，得到三组经过平滑处理的数据。图12显示了利用不同的窗口大小对同一特征值序列平滑后的结果，从图12中可见，窗口越大，平滑处理后的曲线越平滑。

将经过平滑处理的数据输入到另一预测模型中，该预测模型由多个ARIMA模块(本发明示出3个)和一个LDA(线性判别函数)模块组成，如图13所示。三组经过平滑处理的数据分别被输入到三个ARIMA模块中，并将各个ARIMA模块的计算结果R1、R2、R3输入到该LDA模块，由LDA模块计算出的结果即为对下一时刻T+1的图像质量的预测结果。

上述LDA模块仍然是经过训练和测试过程的线性判别函数，其训练和测试的过程如上所述，这里不再进行详细描述。只是这里使用的训练集和测试集的数据是从ARIMA模块中输出的多组数据，每组数据包括三个分别从每个ARIMA模块输出的计算结果。

上述ARIMA方法是本领域的技术人员所熟知的技术，因此，这里不再进行更详细的描述。

另外，在测试阶段，为了准确地分析预测模型的自动估计/预测能力，除了该预测模型的准确度外，还可以测试该预测模型的运行时间、所需内存等指标。在这种情况下，首先构建测试图像集，并由专家对该图像集中的所有图像质量进行评价，记录为图像质量。然后利用本发明的方法预测图像质量，并对模型的运行准确度、运行时间和所需内存等做出评估。

3.下面说明多功能一体机图像质量预测系统的系统组成。

对于故障诊断(图像质量预测)系统，本发明的多功能一体机可以采用三种体系结构，即领域支持体系结构、网络支持体系结构、和嵌入式体系结构。

图14描绘了领域支持体系结构。在该结构中，故障诊断系统被安装到一个便携式计算机中，该计算机可以通过一些通用的接口和多功能一体机通信，例如：串行通信端口、并行通信端口等等。领域支持体系结构的优点在于系统的简单性，但是该结构需要专家的支持，并且在某些情况下，支持的费用或代价很高。

图15为网络支持体系结构。在该结构中，安装诊断系统的计算机和多功能一体机之间通过网络进行通信。该结构的优点在于网络通信的代价低、但缺点在于复杂的网络支持和网络带宽的限制，在某些情况下，低的网络带宽或网络拥塞会影响系统的实时数据采集和反馈。

图16为嵌入式体系结构。在该结构中，诊断系统被嵌入到多功能一体机中，通过机器的显示面板，系统可以输出有关的信息，用户也可输入相应的控制指令。该结构的优点在于信息处理的高速和高的诊断性能。

在本发明中，系统的维护日志被加密存放在存储装置(未示出)中，同时系统提供的人机交互界面可用于检索用户需要的信息。由于系统的用户被分为最终用户和系统维护工程师，系统对不同的用户角色提供不同的信息。另外，本发明的诊断系统还可以同时提供使用识别信息(例如ID卡)验证用户身份的功能。

该诊断系统同时提供异常发现及报告功能。系统的用户可以输入自然语言以查询其所需的信息。对于异常发现及报告功能，用户可以指定警报阈值，若当前的诊断结果超过该警报阀值，系统可以利用电子邮件或手机短消息来向用户发出警报信息。

由于专家知识可以有效地提高系统的诊断性能，本发明的故障诊断系统中还可以集成专家知识利用模块和功能。

本发明的系统具有自学习的功能(训练和测试过程可以自动地被不断重复)，利用该功能可以自动根据机器所处环境及其型号来调整系统的参数，因此该系统可以被用于不同类型的多功能一体机，或处于不同环境下的同一类型的机器。该功能可以被人工启动或关闭，并且学习的结果可以通过专门的界面显示给用户。

本领域的技术人员知道，本发明的上述系统和方法可以通过仅软件、仅硬件和/或软件与硬件相结合的方式来实现，因此，其实现方式不对本发明的技术范围构成限制。

另外，本发明的多功能一体机不对本发明的技术范围构成限制，本发明的多功能一体机可以仅包括打印和扫描装置。

另外，本发明的方法不限于按照说明书中所描述的时间顺序来执行，也可以按照其它的时间循序，或并行或独立地执行，因此，本发明中描述的方法的执行顺序步对本发明的技术范围构成限制。

尽管以上参照实施例对本发明进行了详细的描述，但是本领域的技术人员知道，在不脱离本发明的精神和范围的情况下，可以对本发明的实施例做出各种修改、替换和变更。

Claims (36)

1.一种图像质量预测方法，包括：

获取步骤，获取多个原始数据，

训练步骤，通过所述多个原始数据来训练预测模型，以优化所述预测模型的系统参数；以及

预测步骤，利用优化后的预测模型预测图像的质量。

2.如权利要求1所述的图像质量预测方法，还包括：

预处理步骤，对所获取的多个原始数据进行预处理，以删除或替换所述多个原始数据中的孤立点、缺值或不完整的数据。

3.如权利要求1所述的图像质量预测方法，其中将所述多个原始数据分为训练集和测试集，并使用训练集中的原始数据来训练所述预测模型。

4.如权利要求1-3中任一所述的图像质量预测方法，其中所述预测模型包括多个线性判别函数，所述系统参数是所述多个线性判别函数的系数，并且每个线性判别函数均为所述多个原始数据的线性组合。

5.如权利要求4所述的图像质量预测方法，其中所述训练步骤包括：

预先确定所述训练集中的每组数据的缺陷级别；

设定准则函数及其优化阀值；

初始化所述预测模型的参数；

利用初始化参数计算训练集中各组数据的判别函数值，并计算与每一缺陷级别对应的所有判别函数值的质心；

对训练集中的每一组数据，计算其判别函数值与每一质心的距离，并将该组数据分类为与其距离最小的质心所属的缺陷级别；

比较所得到的该组数据的缺陷级别与预先确定的缺陷级别，以判断它们是否一致；以及

将上述判断结果代入所述准则函数，计算准则函数值。

6.如权利要求5所述的图像质量预测方法，其中所述训练步骤还包括：

对所述准则函数值和所述优化阀值进行比较，如果所述准则函数值小于等于所述优化阀值，则训练完成；如果所述准则函数值大于所述优化阀值，则使用预定方法调整所述系数，并重新开始训练步骤。

7.如权利要求6所述的图像质量预测方法，其中所述训练步骤还包括：

正交化步骤，对所述多个线性判别函数的系数向量进行正交化。

8.如权利要求7所述的图像质量预测方法，还包括：

测试步骤，用所述测试集中的原始数据来测试所述预测模型的预测精度，并且如果所述测试步骤的结果表明所述预测精度不合格，则更新训练集，以对所述预测模型重新进行训练。

9.如权利要求8所述的图像质量预测方法，其中所述预测步骤包括：

获取多个实时数据；

将所述实时数据输入到所述预测模型中，以产生关于所述图像质量的预测结果；以及

输出所述预测结果或进行其它处理。

10.如权利要求9所述的图像质量预测方法，其中输出所述预测结果或进行其它处理的步骤还包括：

将所述原始数据、实时数据、以及预测结果保存到日志文件中；和

确定所述预测结果是否超出预定阀值，如果超出，则自动发送电子邮件或短消息给系统用户或系统维护工程师。

11.如权利要求9所述的图像质量预测方法，其中所述原始数据和实时数据是内置于多功能一体机中的多个传感器所采集的数据。

12.如权利要求9所述的图像质量预测方法，其中所述原始数据和实时数据是从多功能一体机打印的图像中提取的特征值。

13.如权利要求12所述的图像质量预测方法，还包括步骤：

通过所述多功能一体机对由其打印的图像进行扫描，并获得按照时间顺序建立的图像序列；

对所述图像序列进行预处理；以及

从预处理后的图像序列中提取与缺陷相关的多组特征值。

14.如权利要求13所述的图像质量预测方法，其中所述预处理包括：

将真彩色图像转换为灰度图像；

降低所述灰度图像的分辨率；和

调整所述灰度图像的色调，以增强缺陷部分。

15.如权利要求13所述的图像质量预测方法，其中提取特征值包括：

对所述图像序列中的图像的像素值进行水平及垂直投影，绘制水平及垂直投影曲线；

利用平滑算法对水平及垂直投影曲线进行平滑处理，绘制平滑曲线；

计算所述投影曲线与所述平滑曲线的差值，绘制差值曲线；以及

从差值曲线上提取与缺陷相关的特征值。

16.如权利要求15所述的图像质量预测方法，其中所述特征值是所述差值曲线上的最大值、均值、中值、或方差等。

17.一种图像质量预测方法，包括步骤：

获取步骤，获取多个被打印图像的相关数据；

训练步骤，用所述相关数据来训练预测模型，以优化所述预测模型的系统参数；以及

估计步骤，用优化后的预测模型来估计当前打印的图像的质量。

18.如权利要求17所述的图像质量预测方法，其中所述获取步骤包括：

通过多功能一体机对由其打印的多个图像进行扫描，以获得按照时间顺序建立的图像序列，并预先确定与所述图像序列对应的质量序列；

对所述图像序列进行预处理；以及

从预处理后的图像序列中提取与缺陷相关的多组特征值，

其中所述多组特征值和质量序列构成所述相关数据。

19.如权利要求17所述的图像质量预测方法，其中所述估计步骤包括：

利用多功能一体机扫描由其实时打印的多个图像，以获得按照时间顺序建立的实时图像序列；

对所述实时图像序列进行预处理；

从预处理后的实时图像序列中提取多组实时特征值；以及

将所述多组实时特征值代入训练后的预测模型，以估计所述实时打印的多个图像的质量，并形成实时质量序列。

20.如权利要求19所述的图像质量预测方法，还包括步骤：

利用所述多组实时特征值及所述实时质量序列，通过另一预测模型来预测下一时刻要打印的图像的质量，其中所述另一预测模型由多个ARIMA模块和一个线性判别函数组成。

21.如权利要求20所述的图像质量预测方法，还包括步骤：

利用多个平滑函数对所述多组实时特征值进行平滑处理，其中平滑函数的数量与ARIMA模块的数量一致；

将经过各个平滑函数处理后的所述多组实时特征值及其实时质量序列输入到对应的ARIMA模块中；以及

将所述多个ARIMA模块的输出值输入到所述线性判别函数中，以预测下一时刻要打印的图像的质量。

22.一种用于预测图像质量的设备，包括：

数据获取装置，用于获取多个数据；

存储装置，用于存储所述多个数据；

信息处理装置，用于通过所述多个数据来训练预测模型，以优化所述预测模型的系统参数，并用优化后的预测模型来预测图像的质量。

23.如权利要求22所述的设备，还包括：

用户接口装置，用于向终端用户或系统维护工程师提供所述信息处理装置的预测结果，以及用于输入系统指令。

24.如权利要求22所述的设备，其中所述多个数据被分为训练集和测试集，其中所述训练集中的数据用来训练所述预测模型。

25.如权利要求24所述的设备，其中所述信息处理装置还用所述测试集的数据来测试所述预测模型的预测精度，并且如果所述测试结果表明所述预测精度不合格，则更新训练集，以对所述预测模型重新进行训练。

26.如权利要求22-25中任一所述的设备，其中所述预测模型包括多个线性判别函数，所述系统参数是所述多个线性判别函数的系数，并且每个线性判别函数均为所述多个数据的线性组合。

27.一种用于预测图像质量的设备，包括：

图像获取装置，用于获取多个被打印图像的相关数据；

存储装置，用于存储所述多个相关数据；以及

信息处理装置，用于通过所述多个相关数据训练预测模型，以优化所述预测模型的系统参数，并用优化后的预测模型估计当前打印的图像的质量。

28.如权利要求27所述的设备，其中所述图像获取装置从所述多个被打印图像中提取与缺陷相关的多组特征值，并获取与所述多个被打印图像对应的质量序列，其中所述多组特征值和质量序列构成所述相关数据。

29.如权利要求27所述的设备，其中

所述图像获取装置从多个实时打印的图像中提取与缺陷相关的多组实时特征值，所述信息处理装置将所述多组实时特征值代入训练后的所述预测模型，以估计所述实时打印的多个图像的质量，并形成实时质量序列，并且所述信息处理装置利用所述多组实时特征值及所述实时质量序列，通过另一预测模型来预测下一时刻要打印的图像的质量。

30.如权利要求29所述的设备，其中所述另一预测模型由多个ARIMA模块和一个线性判别函数组成。

31.一种故障诊断系统，包括：

多功能一体机，用于打印图像；以及

图像质量预测装置，用于利用预测模型来预测所述图像的质量，并根据所预测的质量输出通知信息。

32.如权利要求31所述的故障诊断系统，其中所述多功能一体机包括：

打印及扫描装置，用于打印带有标识的图像，并将所述图像扫描为图像数据，其中所述标识能够被人类和机器识别，并且所述图像数据与预先确定的图像质量数据一起形成训练集，用来训练所述预测模型。

33.如权利要求31所述的故障诊断系统，其中所述多功能一体机包括：

多个传感器，用于获取多个传感器数据，所述多个传感器数据与预先确定的图像质量数据一起形成训练集，用来训练所述预测模型。

34.如权利要求31所述的故障诊断系统，其中所述图像质量预测装置通过外部接口与所述多功能一体机相连，或通过网络与所述多功能一体机远程相连，或者所述图像质量预测装置内置于所述多功能一体机中。

35.一种打印及扫描设备，包括：

图像质量预测装置，用于通过获取所述打印及扫描设备的多个传感器数据或图像数据来训练预测模型，并利用所述预测模型来预测所述打印及扫描设备要打印的图像的质量。

36.如权利要求35所述的打印及扫描设备，其中通过用户来指定使用所述多个传感器数据还是使用所述多个图像数据来训练所述预测模型。

Images