CN103383774B - 图像处理方法及其设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及其设备，通过置信度计算单元，以预先准备的参照图像模板为基准，规定反映不合格品或合格品近似度高低的置信度，依据相关置信度，对对象物的状态进行优劣判断。这样，即使是对有抽象模糊概念区域的对象物，也能像处理对象物图像那样，进行准备迅速的判断。

Description

图像处理方法及其设备

技术领域

本发明涉及一种图像处理方法及其设备。

背景技术

目前，通过拍摄对象物如瓶口的外观，获取拍摄图像，以获取的图像为基础来检查是否有异物的混入、破损、缺口以及污垢等缺陷的技术非常多，但这些只将获取的图像数据用一定的阈值进行2值化，并测试2值化数据的黑色或白色面积(面积比)，以此来检查有无缺陷，这种单纯的2值化方法有时很难提高检查的可靠性；有的图像处理设备能够判定玻璃瓶口等局部形状特征明显的特定部分是否合格，能够迅速而准确地进行检查，但是玻璃瓶以外的对象，因为没有这种明显的局部特征，因此无法检查；有的图像处理设备虽然能够以图像信息所表现出来的颜色、形状、结构、尺寸等各种参数为基础，自动判断对象物的属性，但对显示在每个裁取部分的状态无法判断，这就严重影响判断结果的准确性。

发明内容

为了克服上述缺陷，本发明提供了一种图像处理方法及其设备，该图像处理方法及其设备能够从拍摄到的对象物图像中，快速准确的判断对象物的状态是否良好。

本发明为了解决其技术问题所采用的技术方案是：一 判断对象物状态的图像处理设备，对具有一定形态的对象物进行拍摄，从拍摄到的对象图像中判断对象物的状态，其包括拍摄装置：拍摄对象物并获取对象图像；参照图像存储单元：基于对象图像判断对象物状态时，把基准参照图像的相关信息参数化，并作为参照物形状参数进行存储；提取对象物形状参数的单元：从拍摄装置获取的对象图像中，提取出对象物形状参数，作为和参照物形状参数相比较的比较对象；置信度计算单元：置信度就是把对象物形状参数和参照物形状参数的近似度数值化；状态判断单元：以置信度计算单元算出的置信度为基准，判断对象物的状态。这里所说的形状参数是，把图像中裁取的形状、颜色、纹理、大小等参数化，以多维向量的形式表现出来。

通过上述图像处理设备，状态判断单元是以置信度计算单元算出的置信度为基准、来判断对象物的状态是否良好等，因此能快速准确的判断出对象物的状态。由于置信度是从形状参数相关的比较结果计算出来的，在根据照片等图像判断对象物状态是否良好时，即便是存在抽象的概念模糊的对象，也能快速准确的进行比较，然后使用精度较高的置信度，判断对象物的状态。

作为本发明的进一步改进，还配备了用来提取参照物形状参数的参照物形状参数提取单元，通过图像处理设备获取样本图像，把样本图像的相关信息参数化以后，存放在参照图像存储单元里。

在这种情况下，在参照物形状参数提取单元，利用拍摄装置，可从拍摄到的样本图像创建参照物形状参数。

作为本发明的进一步改进，置信度计算单元分别算出第一置信度和第二置信度，两个置信度的参照基准是不同的。状态判断单元，依据第一置信度和第二置信度，判断对象物的状态。这样，依据不同的基准从多个方面进行判断，能较准确的判断对象物的状态。

作为本发明的进一步改进，所述参照图像存储单元，在表示不合格品状态的图像相关信息和表示合格品状态的图像相关信息中，会记住参照物形状参数中至少一项信息。这样，在参照图像存储单元，根据存储信息，就能判断对象物是不合格品状态还是合格品状态。

作为本发明的进一步改进，参照图像存储单元既包括反映不合格品状态的图像信息，又包括反映合格品状态的图像信息。仅从不合格品中抽样，抽样获取的不合格品的参照图像模板构成反映不合格品状态的图像信息；仅从合格品中抽样，抽样获取的合格品的参照图像模板构成反映合格品状态的图像信息。这样情况下，根据不合格品的参照图像模板，可算出关于不合格品状态的置信度；根据合格品的参照图像模板，可算出关于合格品状态的置信度。然后从不合格品状态和合格品状态两个方面测算出置信度，这样可信度就比较高。

作为本发明的进一步改进，状态判断单元以两个阈值为基准判断对象物的状态判断时，和置信度相关的第一个阈值，为优先判断基准；当出现比第一个阈值小的值时，使用第一个阈值便不能判断了，要使用第二个阈值作为基准。这样，可进行多级判断，这样，可在一定程度上保证可靠性，还可以减少不能判断的概率。

作为本发明的进一步改进，在参照图像存储单元，参照物形状参数至少包含外形参数、颜色参数、结构参数及大小参数中的一个。这种情况下，在有关图像的外形，颜色，结构或是大小这些信息中，例如根据对象的属性和判断目标，以相应对象所表现出来的明显状态为基础，生成参照物形状参数。因此即使是判断像照片图像具有抽象模糊概念区域的图像，也很可靠。

作为本发明的进一步改进，还配备了学习单元。对于存储在参照图像存储单元的参照图像，通过更新参照图像的相关信息进行学习。这样，通过学习单元的学习，不仅可以修改参照图像的相关信息，还可以提高置信度及判断的可靠性。

作为本发明的进一步改进，在包含这样一些参照图像(作为判断同一种状态的基准而被参照的参照图像)相关信息的参照物形状参数中，学些单元会从所有参照物形状参数的平均中，使用发散度(指偏离、发散的程度)，删除那些超出预定值的参数。这种情况下，作为基准不被采用的信息，就能从参照图像的相关信息中排除。也就是，可以蓄积符合意图的参照物形状参数，提高判断的可靠性。

为实现上述目的，本发明采用的图像处理方法是：拍摄具有一定形态的对象物，从拍摄到的对象图像，判断相关的对象物的状态。该方法具有以下工序：①参照图像存储工序。根据对象图像判断对象物状态时，把作为基准被参照的参照图像的相关信息参数化，然后把其作为提取到的参照物形状参数进行存储。②对象图形状参数提取工序。从对象图像中，提取出和参照物形状参数相比较的对象图形状参数。③置信度计算工 序。对于和参照物形状参数相对应的对象图形状参数，把其近似度数值化，算出置信度。④状态判断工序。根据置信度工序算出的置信度，判断对象物的状态。

本发明的有益效果是：通过上述图像处理方法及其设备，状态判断工序是以置信度计算单元算出的置信度为基准、来判断对象物的状态是否良好等，因此能快速准确的判断出对象物的状态。由于置信度是从形状参数相关的比较结果计算出来的，在根据照片等图像判断对象物状态是否良好时，即便是存在抽象的概念模糊的对象，也能快速准确的进行比较，然后使用精度较高的置信度，判断对象物的状态。

附图说明

图1为本发明所述图像处理设备构造模块示意图；

图2为使用图1的图像处理设备的方法流程图；

图3A为创建不合格品参照图像模板的工序流程图；

图3B为创建合格品参照图像模板的工序流程图；

图4为使用图2中修改后的示例图像处理设备的方法流程图；

图5为使用图2中修改后的示例图像处理设备创建不合格品参照图像模板的工序流程图；

图6为用于判断对象物是否良好的工序流程图；

图7为判断修改后的示例是否良好的工序流程图；

图8为图7中不合格品类型判断处理的流程图；

图9A-9B为第三实施例中的图像处理设备来自动分割图像的示意图；

图10A为创建不合格品参照分割图像模板的工序流程图；

图10B为创建合格品参照分割图像模板的工序流程图；

图11为使用第三实施例的图像处理设备的方法流程图；

图12为自动分割图像的示意图；

图13为使用第四实施例的图像处理设备的方法流程图；

图14为使用第五实施例的图像处理设备的方法流程图。

具体实施方式

实施例1：

下面将参照附图，对与本实施例的第一实施形态相关的图像处理设备进行说明。

如图1所示，与本发明相关的图像处理设备包括拍摄装置1、参照图像存储单元2、置信度计算单元3和状态判断单元4。状态判断单元收到输入指令后，从参照图像存储单元读出指定的程序和数据，然后根据这些程序和数据做各种相应的处理。

具体来说，状态判断单元在对象物(需判断其状态的对象)的图像数据，以及拍摄装置所拍摄到的图像信息的基础上，把对象物状态是否良好和预先存储在参照图像存储单元的图像数据相比较，从而作出判断并输出判断结果。举例来说，状态判断单元可以把判断结果显示在显示设备上，还可以通过输出设备打印。

拍摄装置1内部装有由CCD等组成的固体拍摄装置。该固体拍摄装置检测出的图像可作为数字图像信号输出。拍摄装置1对作为判断对象的对象物进行拍摄，经数字处理制作出可以 判断其状态的对象图像。

参照图像存储单元里有程序存储区域和数据临时存储区域。程序存储区域用来存储多个可运行图像处理设备的各种程序，数据临时存储区域可临时存放输入指令、输入数据、处理结果等。在测算拍摄装置所拍摄图像的近似性时，为了便于比较，存储设备里存储了各种程序。比如，参数化程序，把从图像裁取的形状等参数化。置信度计算单元里设有置信度计算程序，通过比较参数化图像相关的图像数据，把那些近似性高的数值化，计算出置信度。另外，参照图像存储单元里还存放有典型图像信息的参照图像模板等各种信息，这些信息是指，为了判断对象物状态，在比较时，作为基准的是否良好的状态。例如，将拍摄装置所拍摄的图像作为参照图像进行提取，把参数化程序参数化后的图像数据，作为参照图像模板(典型的显示状态是否良好的图像)的参照物形状参数进行保存。置信度计算单元根据需要从参照图像存储单元读出参照物形状参数，比较对象物形状参数和参照图现状参数，算出近似性较高的指数，状态判断单元判断对象物是否良好。且在进行图像处理设备判断对象物状态良否的操作之前，参照图像模板已经预先准备好了。

图像相关的各种信息数据化后，包含在上述形状参数中。形状参数作为图像信息，以多维向量的形式表现出来。例如符合图像中的颜色、形状、纹理、尺寸等相关参数，并以这些特性为基础判断对象物状态。关于颜色参数，可以制作成RGB三色的平均值、中位数、颜色的直方图，得出的偏差在测量近似高度的基础上，可作为判断基准。关于形状参数，在测量轮 廓(边缘)裁取图形的圆度、复杂度、峰度以及力矩的近似高度的基础上，可作为判断基准。此处的圆度为根据裁取图形的纵横比决定的指数；复杂度为根据裁取图形是否有空洞、空洞的个数或者外侧轮廓的屈曲度决定的指数。峰度根据直线距离和轮廓线的距离比、轮廓线的中心角和像素数的比例决定；力矩根据裁取图形的形状决定。关于纹理参数，将通过一维投影法获取的模式相关数据偏差在测量近似高度的基础上，可作为判断基准。关于尺寸即大小的参数，在测量轮廓(边缘)裁取图形的面积、周长以及弗雷特直径(纵向或横向)的近似高度的基础上，可作为判断基准。

基于运用图1所示图像处理设备的图像处理方法，下面将对判断对象物的主要操作的一个例子进行说明。图2为流程说明图，是对图像处理方法的抽象说明。在此作为基准判断是否良好的参照图像模板已经创建，保存在参照图像存储单元中，也就是对为判断做准备的东西进行说明。关于参照图像模板的准备过程，后面会在图3A里面进行详细说明。

首先，拍摄装置运行拍摄程序，提取要判断的图像(S1)。其次，拍摄装置对拍摄的判断对象图像进行定位(S2)。例如，假设判断对象图像为具有外框的图像的，那么就可把沿着外框的轮廓作为定位的基准。其次，参照图像存储单元读出参数化程序，从判断对象图像中抽取形状参数(S3)，保存到参照图像存储单元中。通过以上步骤，判断对象可数据化为可判断的状态。

状态判断单元根据从参照图像存储单元读取的判断程序进行比较判断。首先，在事先存储在参照图像存储单元的作为 判断基准的参照图像模板中，置信度计算单元从不合格品参照图像模板读取形状参数(S4a)。然后，置信度计算单元把来自不合格品参照图像模板的形状参数(也即参照物形状参数)，和S3中抽取出的判断对象的形状参数相比较(S5a)；依据S5a中的比较结果，从判断对象图像中，可算出判断对象图像或对象物状态和典型不合格品的接近程度，也即置信度，并把该置信度作为第一置信度(S6a)。下面就把该第一置信度称作为不合格品置信度。关于不合格品置信度，依据图像的颜色、形状等相关的形状参数，需考虑到使用各种不同的算法对其进行规定的情况。比如，从向量方面考虑形状参数的差，以向量各成分的差所规定的距离为基础，可确定出不合格品置信度。和S5a、S6a中比较、计算求得的典型不合格品比较，把近似度(比如上述向量的距离)的高低数值化(下文中，把数值化后的数据称为不合格品指数)，把不合格品指数作为不合格品置信度。也就是，不合格品指数越高，就把其判断为不合格品。比如当获得的图像数据的参数和最典型的不合格品的图像数据参数完全相同的话，就把不合格品指数定为最大值100％。

这里，对于像上面规定的不合格品指数值，通过提供的第一阈值及第二阈值，判断对象物是否为不合格品。第一阈值被设定为比较高的值，作为不合格品判断，是满足确定范围的值。第二阈值设定的比第一阈值小，通过设定一定程度上较高的值，像超过第二阈值为不合格品的可能性仍然比较高的那些值就成为了第二阈值。第一阈值和第二阈值，作为关于已知对象物的不合格品判断，是在确定范畴内被指定的值。可以准确判断的阈值，在对象物位置的情况下，最好还是确定出阈值，比 如可以通过反复调试进行调整。

关于第一以及第二阈值的设定下面举一个以不合格品性确信度的偏差值为基础来规定阈值的例子。首先，从不合格品性确信度从高到低的所有对象中随机抽取标本(第一标本)，计算标本在分布上的标准偏差，这种情况下，把偏差值高于规定时的不合格品性确信度的值规定为第一阈值。通过规定上述的第一阈值，在超过第一阈值的情况，那么把这个值作为准确判断对象为不合格品的数值来应用。此外，例如计算典型劣质图像的集合即从不合格品性确信度相对较高的对象中随机抽取的标本(第二标本)在分布上的标准偏差，这种情况下，虽然偏差值比第二标本的平均值要低，但是在某种程度上也有高于平均值的，把高于上述第一标本平均值的偏差值规定为第二阈值。在典型劣质图像的集合中，因为具有某种程度的不合格品性确信度，所以把该值作为判断不合格品或然性比较高的数值来应用。根据每个标本的分布特性，规定第一以及第二阈值，来提高判断具有抽象模糊概念区域对象的可靠性。此外，通过设定上述的第一以及第二阈值，在调整第一阈值时，可以将要判断的对象限制在更加准确的范围，然后在进行判断。另外一方面，在调整第二阈值时，尽可能地可以判断更多与之相应的对象。通过适当地调整第一以及第二阈值，可以根据必要的精确度进行设定。

与上述S4a-S6a并行，参照图像存储单元从合格品参照图像模板读取形状参数(S4b)。然后，置信度计算单元把来自合格品参照图像模板的形状参数(也即参照物形状参数)，和S3中抽取出的判断对象的形状参数相比较(S5b)；其次，从判断 对象图像中，算出和合格品的接近程度，也即置信度，并把该置信度作为第一置信度(S6b)。下面就把该第二置信度称作为合格品置信度。比如当获得的图像数据的参数和最典型的合格品的图像数据参数完全相同的话，那么合格品指数就定为最大值100％。对于规定的值，就像上述不合格品参照图像模板的形状参数中规定的第一或第二阈值那样，在合格品参照图像模板的形状参数中也设定阈值，然后由此阈值判断对象物是否为合格品。但是，超出阈值仍为合格品的可能性还是比较高的。

如上所述，这里可以从第一置信度和第二置信度两个方面对判断对象物进行判断。依据不同的基准从多个方面进行判断，可以比较准确的判断对象物的状态。比如，使用第一置信度把一个对象物判断为不合格品，如果使用第二置信度又没有把它判断为合格品，那么就可以断定该对象物为不合格品的可能性非常高。

如果S6a算出的不合格品置信度超出了第一阈值，并且S6b算出的合格品置信度又判断为没有超出阈值(S7a：Yes)，状态判断单元就把该判断对象图像(判断对象物)判断为不合格品(S8)。

另一方面，如果在S7a中，不合格品置信度为第一阈值以下，合格品置信度为阈值以上(S7a：No)；那么状态判断单元就会作出这样的判断：合格品置信度超出了阈值，不合格品置信度有没有超出阈值(S7b)。在这里如果合格品置信度超出阈值，且不合格品置信度没有超出第1阈值(S7b：Yes)，那么就把该判断对象图像或判断对象物判断为合格品(S9)。

另一方面，如果在S7b中，合格品置信度为阈值以下或不 合格品置信度为第一阈值以上(S7b：No)；那么状态判断单元就会作出这样的判断：不合格品置信度超出了第一阈值，合格品置信度有没有超出阈值(S7c)。在这里，如果不合格品置信度超出第一阈值，且合格品置信度也超出了阈值(S7c：Yes)，那么比起作为第二置信度的合格品置信度，第一置信度的不合格品置信度要优先使用，把该判断对象图像或判断对象物判断为不合格品(S8)。

如果在S7c中，合格品置信度为阈值以下或不合格品置信度为第一阈值以下(S7c：No)；那么状态判断单元就会作出这样的判断：不合格品置信度是否超出了第二阈值(S7d)。在这里，如果不合格品置信度超出了第二阈值(S7d：Yes)，优先使用不合格品置信度，把该判断对象图像或判断对象物判断为不合格品(S8)。

状态判断单元在S7d判断不合格品确信度低于第二阈值(S7d：No)，以统计比例为基础，进行良否判断(SQ)。在此所谓的统计比例为在检查判断对象物中统计所知的合格品和不合格品的比例。在S7d判断为No的情况下，判断对象图像即对象物的合格品确信度和不合格品确信度都不高，所以通过上述S7d之前的方法是不可能判断的，可以说判断良否是非常困难的。在SQ中对处于这种情况的对象物使用随机数等，通过与统计比例相应的比例来决定是合格品还是不合格品。例如，在检查对象物时，大概地了解不合格品和合格品的比例为q∶(1-q)，状态判断单元在SQ以q×100％的概率判断对象物为合格品，以(1-q)×100％的概率判断对象为不合格品。

接受来自状态判断单元的指令后，上述S8或S9的判断结 果可在一显示设备上显示。此时，也可以一起显示不合格品确信度和合格品确信度等数值计算结果。

下面将运用图3A及图3B，说明如何创建作为判断基准的参照图像模板。流程说明图3A是对不合格品参照图像模板创建工序的说明，流程说明图3B是对合格品参照图像模板创建工序的说明。也就是说，图3A所示的工序是在提供图2的S4a里读出的形状参数。图3B所示的工序是在提供图2的S4b里读出的形状参数。

首先，在图3A中，为了创建不合格品参照图像模板，准备了多个(或一个)典型的明显为不合格品的样品。然后，参照图像存储单元从中读出参数化程序，从参照图像中抽取形状参数(S103a)。也就是说参照图像存储单元有参照物形状参数抽取单元的功能。最后，对于那些包含已抽取的形状参数信息的参照图像，参照图像存储单元将这些参照图像的相关信息保存在其上的特定区域内(S104a)。通过上述操作，参照图像模板就创建好了。因为通常要准备多个典型样品，需重复上述的S101a-S104a的操作，对各样品进行参数化。

另外，如图3B所示，合格品参照图像模板的创建，和上述不合格品参照图像模板的创建是一样的，通过人眼就能判别出的典型的样品就可以了。通过上述S101b-S104b的操作，即可创建参照图像模板。

上面的样品为相当于现实判断对象物的实实在在的事物也好，为图像样品也好。这种情况下，图像样品如数码图像一样可以通过参照图像存储单元进行处理，不需要由拍摄装置来获取图像。样品成为被参数化的数据，这种情况下直接将该数 据存储在参照图像存储单元即可。

在该操作前的调试阶段中，判断结果有误的情况会有很多，这种情况下需要重复上述学习，直到能够恰当准确地判断。

与本实施例有关的图像处理设备，置信度计算单元以预先提供的参照图像模板为基准，确定出反映与不合格品或合格品近似度高低的置信度，然后依据该置信度，状态判断单元判断对象物的状态是否良好。因此，即使是对有抽象模糊概念区域的对象物，也能像处理对象物图像那样，进行准备迅速的判断。

在上述中，即使是不进行基于SQ所示的统计比列的良否判断也可以。例如在S7d，当不合格品置信度被判断为低于第二阈值(S7d：No)，状态判断单元把判断对象图像或判断对象物判断为合格品也是可以的。

有很多对象进行到SQ却无法判断，也有很多错误的判断，当类似这种判断精确度低下的状况持续时，可以通过调整各个阈值来解决。但是希望在运行图像处理设备的前一个阶段即试运行阶段之前进行阈值的调整。在本操作中，当到达S7d甚至SQ的情况下，例如已经储存了到达这些步骤的形状参数的信息，可以用人眼去观察这些形状参数相关的图像，确认是否为合格品，然后以这样图像为样本，强制性地重新创建如图3A或图3B所示的参照图像模板，也是可以的。

另外，如果到达SQ的情况比较少的话，在SQ不做判断也可以。这种情况下，对于到达SQ的图像，考虑不使用设备自动判断，而是使用比如人眼这样的方法进行判断。

下面将参照流程图图4，对与修改示例相关的图像处理设备进行说明。由于本修改示例中的图像处理设备的构成，和图 1相同，这里就不对图示及说明进行叙述了。在上述的一个例子中，参照图像模板为，运行图像处理设备前的预先准备或事先学习的东西。在本修改示例中，比如在操作过程中，通过适当地学习，更新参照图像模板，可实现改善、修改、发展判断基准的目标。

图4是对图2的其中一部分做修改得到的，它反映了通过进行和图2所示的相同操作，在S8判断为不合格品或在S9判断为合格品之后，更新参照图像的工序(也可以说是学习工序)(S10a、S10b)。具体地说，如果在S8被判断为不合格品，CPU10首先确认判断对象物的形状参数的判断过程；在S7中如果有判断为Yes、被判断为不合格品的情况，那么该形状参数的信息，将被作为新的不合格品参照图像模板的一部分进行添加(S10a)。其中，在stepS7a里被判断为Yes的对象物，也就是如所述的那样，为不合格品置信度超过第一阈值且合格品置信度没有超过阈值的对象物。把这样的图像作为不合格品参照图像模板进行添加，可以提高不合格品参照图像模板的可靠性，换言之，也就是可以提高S6a算出的不合格品置信度的可靠性。

同样地，如果在S9被判断为优良，状态判断单元首先确认判断对象物的形状参数的判断过程；在S7中如果有判断为Yes、被判断为合格品的情况，那么该形状参数的信息，将被作为新的合格品参照图像模板的一部分进行添加(S10b)。通过这样可以提高S6a算出的合格品置信度的可靠性。

如上，在本修改示例中，为了提高不合格品置信度及合格品置信度的可靠性，通过更新参照图像相关信息，参照图像存 储单元发挥着学习单元的作用。

有关S10a以及S10b的学习操作，除了在本操作中每次进行的情况外还包括在本操作中间接性进行的等各种时间所进行的操作。在作为参照图像模板的一部分进行添加时，例如通过比较不合格品置信度进行等级排名，排除低等级，在参照图像模板中进行数据的添加、变更、删除，统一保存该数据。

实施例2：

下面将通过图5等，说明与本发明的第2实施例相关的图像处理设备。

图5，是对创建本实施形态中作为判断基准而使用的参照图像模板的说明。如图示所示，提高了多种不合格品相关的参照图像模板。

例如，一般认为合格品有典型的样式，通过准备多个或是单个的样品也就是说收集平均标准的数据，可以生成能够准确判断合格品近似性的参照图像模板。但是，根据对象物的属性等不同，不合格品产生的原因有多个。作为不合格品所表现出来的形状等在每一个原因上都有很大的不同。作为产生不合格品的原因，例如有错位、异物的混入、破裂、缺口以及污点等各种原因。根据这些原因的不同，表现在对象物上的形状，颜色，大小等的差异也有很大不同，形状参数所表现出来的特征也会有差异。尽管是这样的情况，但是归纳关于这些多种类的典型不合格品的参照物形状参数生成一个模板的话，那么参数太过于混乱，就可能不能恰当地判断与不合格品之间的近似性。对此，如图5所示，本实施例将每个不合格品产生的原因即类型分别分类为多个不同的样品，将这些被分类的样品一个 一个地生成有关不合格品的参照图像模板，把这些作为判断的基准。例如，收集有关对象物的破裂这样的不合格品样品，作为类型1，生成一个模板(S201a-S204a)；收集有关对象物的缺口这样的不合格品样品，作为类型2，生成一个模板(S201b-S204b)。下面进行同样的操作，制作出多组参照图像模板。

图6为说明有关多种不合格品的参照图像模板被准备的情况下，判断对象物方法的一个例子的流程图。在此，有关一种不合格品的参照图像模板和有关(L-1)中不合格品的参照图像被准备好。发生劣质的不同类型有L种，这些当中参照图像模板准备的典型劣质类型有(L-1)种，把发生劣质的类型不属于这些当中任何一个的类型作为最后的第L种。

首先，置信度计算单元以有关(L-1)类不合格品的参照图像模板为基础，算出不合格品确信度(S26a)。置信度计算单元以有关合格品的参照图像模板为基础，跟S26a同步算出合格品确信度(S26b)。

其次，如果状态判断单元作出如下判断：S26a算出的各类型不合格品确信度全都大于第一阈值、且S26b算出的合格品确信度没有超过阈值(S27a：Yes)、可把判断对象图像即判断对象物判断为为不合格品(S28)。

如果状态判断单元作出如下判断：S27a中，各类型不合格品确信度全都小于第一阈值、或合格品确信度大于阈值(S27a：No)；合格品确信度大于阈值、且不合格品确信度全度小于第一阈值(S27b：Yes)；可把判断对象图像即判断对象物判断为合格品(S29)。

如果状态判断单元作出如下判断：S27b中，不合格品确信度全都大于第一阈值、或合格品确信度小于阈值(S27b：No)；合格品确信度大于阈值、且不合格品确信度全度大于第一阈值(S27c：Yes)；此时优先使用不合格品置信度进行判断，把判断对象图像即判断对象物判断为为不合格品(S28)。

如果状态判断单元作出如下判断：S27c中，不合格品确信度全都小于第一阈值、或合格品确信度小于阈值(S27c：No)；不合格品确信度全度大于第二阈值(S27d：Yes)；此时优先使用不合格品置信度进行判断，把判断对象图像即判断对象物判断为为不合格品(S28)。

如果状态判断单元作出如下判断：S27d中，不合格品确信度全都小于第二阈值(S27d：No)，依据统计比例进行状态判断(SQ)，判断是合格品还是不合格品(S28，29)。

图7是对与本实施例中修改示例相管的参照图像模板进行说明的。在图7所示的例子中，关于图6中S28被判断为不合格品的判断对象图像，进一步对不合格品的类型进行分类处理(SR)。

下面，通过图8说明图7中SR的不合格品分类处理的一个例子。首先，状态判断单元对在S28被判断为不合格品的判断对象图像进行各类型中是否有不合格品确信度超过第一阈值的情况(SR1)。在SR1判断任意一种类型超过第一阈值，(SR1：YES)、该判断对象图像相应的对象物被判断为该类的不合格品(SJ1)。一个判断对象图像的多个类型超过第一阈值，这种情况下，可以判断与该对象相应的所有类型都为不合格品。例如，类型1表示有关对象物破裂的不合格品确信度，类 型2表示有关对象物缺口的不合格品确信度，这种情况如果某个判断对象图像的类型1以及2双方都超过第一阈值的话，那么把与这个判断对象图像相应的判断对象物作为发生了破裂以及缺口的两种劣质性的对象物来处理。

一方面，在SR1判断所有类型的不合格品确信度没有超过第1阈值(SR1：NO)、判断类型1-类型(L-1)的不合格品确信度是否超过第2阈值(SR2)。在SR2，判断类型1-类型(l-1)的不合格品确信度是否超过第二阈值(SR2：YES)、判断与该判断对象图像相应的判断对象物类型1-类型(L-1)中与之相应类型的不合格品(SJ2)。有关多个类型超过第二阈值的情况下，判断为与之相应的所有类型的不合格品。

另一方面，在SR2，判断类型1-类型(L-1)的不合格品确信度低于第二阈值(SR2：NO)，与该判断对象图像相应的判断对象物为类型L的不合格品(SJ3)。也就是说，参照图像模板不属于被准备的(L-1)种典型不合格品中的任何一个，为第L种不合格品。

上面分类处理了SR的不合格品。在此把在SR1被判断为超过第一阈值的判断对象图像作为有关不合格品的参照图像模板进行添加(SK)。也就是说添加SK的学习工序，以此提高每种劣质类型的不合格品确信度的可靠性。

本实施例对于具有抽象模糊概念区域的对象的判断，也能像对对象物图像一样准确迅速的进行。

特别是，本实施例对于存在多个不合格品产生类型的判断对象也适用。

还有，如果发生第L个不合格品的情况比较多的话，可以 把它添加到新类型的参照图像模板中。

在上述S27a等中，除了可以依据每个(L-1)类型的不合格品置信度的阈值进行状态判断，还可以依据多个类型的平均值进行判断。比如，把K个类型的不合格品置信度假定为A 1-A K，把各类型的不合格品产生率即频度定为α1-αK，加权不合格品置信度设定为∑αi×A i，此时就可以依据该加权不合格品置信度，进行状态判断。具体来说，也可以设定加权不合格品置信度相关的阈值，根据SQ的统计比例进行替代处理，如果∑αi×A i的值大于上述阈值，则判断为不合格品；反之，如果小于上述阈值，则判断为合格品。

由于产生不合格品的类型存在多个，需要提供多个类型的参照图像模板。对于合格品，虽然仅提供一个类型的参照图像模板就够了，但是最好还是提供多个类型的合格品参照模板。另外，提供多个类型的不合格品参照模板，而对与不合格品仅提供一个类型的参照模板，这种情况也是可能存在的。

实施例3：

下面将通过图9A等，说明与本发明的第3实施例相关的图像处理设备。

图9A、图9B是对本实施例中的图像处理进行说明的。如图所示，拍摄装置(参照图1)获取的图9A所示的所有图像PH，通过自动分割，如图9B所示，切分为P 1-P m，使用各分割图像制作出模板(以下简称为参照分割图像模板)作为判断基准以供使用。图9A、图9B的例子中，拍摄存放在盒子等里面的m个瓶B T 1-B T m(图中是6行8列，也就是m＝6×8＝48)，图像如示意图所示。这种情况下，m个瓶的 排列是事先定好的，根据这种排列，统一按照划定区域的分割线LL，反映出从之前所有的图像PH，自动切分包含各个瓶的m个分割图像P 1-P m的样子。本实施例中，对于自动分割的分割图像，分别制作出参照分割图像模板，然后依次作为判断对象物的基准。关于上述自动分割操作，比如参照图像存储单元(参照图1)在保存分割线LL相关的数据时，依据被保存的数据，可以保存进行自动分割的分割程序；然后参照图像存储单元会读出这些相应的数据及程序，进行图像分割操作。

下面将通过图10A、图10B，对参照分割图像模板的制作进行说明。

首先，为了制作不合格品参照分割图像模板，图10A中实现提供了多个(或单个)明显的典型的不合格品样本。拍摄装置(参照图1)对样本进行拍摄，然后把拍摄到的参照图像作为整体图像PH读取来(S301a)，然后对整体图像PH进行定位(S302a)及区域划分(S303a)。具体来讲，从参照图像存储单元读取自动分割的数据及程序，依据分割线LL划定的区域，把整体图像PH划分为m个分割图像P 1-P m。接着，读取参数化程序，分别抽取出各分割图像P1-P m的形状参数(S304a)。最后，把包含上述形状参数的参照分割图像的图像信息，保存到参照图像存储单元的特定区域中(S305a)。到此，就制作出了不合格品参照分割图像模板。

如图10B所示，合格品参照分割图像模板的制作，和上述不合格品参照分割图像模板的制作相同。通过S301b-S305b的操作，即可制作出合格品参照分割图像模板。

关于使用上述操作提高的参照分割图像模板的对象物判 断方法，流程说明图图11对该判断方法的一个示例进行说明，它和第1实施例的图2是相对应的。

首先，拍摄装置把整体图像作为判断对象图像读取来(S1)，然后进行定位(S2)。然后参照图像存储单元读取自动分割的数据及程序，把相应的整体图像自动分割成m个判断对象分割图像(S401)。其次，参照图像存储单元读取参数化程序，从个判断对象分割图像中分别抽取出形状参数(S403)。

置信度计算单元，从不合格品参照分割图像模板读取形状参数(S404a)，和判断对象物的形状参数进行比较(S405a)，算出不合格品置信度(S406a)。和上述S404a-S406a同步，置信度计算单元从合格品参照分割图像模板中读取形状参数，和判断对象物的形状参数进行比较，计算出合格品置信度(S404b-S406b)。

和图2所示的情况相同，状态判断单元将根据不合格品置信度及合格品置信度，对各判断对象分割图像(即判断对象物的各个分割部分)进行是否为合格品的判断(S407a-S407d，SQ，S8，S9)。

在本实施例中，即便是针对那些具有抽象模糊概念区域的图像，也能像处理对象物图像那样进行快速准确的判断。

特别是，本实施例中，可以对整体对象物的每一个分割部分进行优劣判断。这样的话，如果整体中的一部分存在劣质区域，就可以把那部分劣质区域特别指定出来。

关于自动分割现再举一个例子。如图12所示，把便当等使用的食器容器作为对象物收纳在容器TR中，依据容器TR里划分的收纳空间SP1-SP6，可以进行区域划分。图11的示例是通过分割线LL进行统一分割的，这里却可以分割成各个形状、大小各异的区域。

本实施形态中也设置了学习单元，用来提高合格品置信度及不合格品置信度的可靠性。

实施例4：

下面将通过图13，说明与本发明的第4实施例相关的图像处理设备。该图像处理设备，是第1实施例的变形例。关于设备的构造，因为和图1所示的第1实施形态中的图像处理设备相同，所以这里对图示及说明就不作叙述了。

图13为图像处理方法的抽象化流程说明图。本实施例中，仅把不合格品参照图像模板作为基准参照图像模板，而不使用合格品参照图像模板，在这一点上和第1实施形态是不同的。也就是说，通过S1-S3抽取出判断对象图像的形状参数后，通过S4及S5把抽取到的形状参数仅和不合格品参照图像模板的形状参数进行比较，然后利用S6算出不合格品指数(不合格品置信度)。如果该不合格品置信度大于阈值(S7a：Yes)，把判断对象物判断为不合格品(S8)；如果该不合格品置信度不大于阈值(S7a：No)，则把判断对象物判断为合格品(S9)。

在本实施例中，即便是针对那些具有抽象模糊概念区域的图像，也能像处理对象物图像那样进行快速准确的判断。

以上是仅用了不合格品参照图像模板，没有使用合格品参照图像模板。相反，仅使用合格品参照图像模板，而不使用不合格品参照图像模板的情况也是存在的。

本实施例中也设置了学习单元，用来提高合格品置信度及不合格品置信度的可靠性。

实施例5：

下面将通过图14，说明与本发明的第5实施例相关的图像处理设备。该图像处理设备，就是第1实施形态-第4实施例的变形例。关于设备的构造，因为和图1所示的第1实施例的图像处理设备相同，所以这里对图示及说明就不作叙述了。

本实施例的图像处理设备，和第1实施例-第4实施例相同，通过任意一个实施形态中所示的图像处理，反复进行优劣判断。并且在优劣判断操作中，更新参照图像模板。也就是要进行学习操作。这种情况下，在更新参照图像模板时，有可能把不合适的参照图像模板的一部分作为参照基准吸收了。或者是，通过更新参照图像模板更改判断基准时，要考虑到是否有把合适的参照图像模板当成不合适的来进行处理的情况。本实施形态中，设计了监察单元功能，监查参照图像模板，以确定合适的参照图像模板，作为通常的判断基准来使用。

如图14所示，首先，状态判断单元进行优劣判断(S701)。在S701操作中，如果参照图像模板被更新了，置信度计算单元就会从各形状参数的平均中算出发散度(step S702)。这里所说的发散度，是反映相对于某参照图像模板包括的形状参数的平均发散程度的值。比如，在合格品参照图像模板包括的形状参数中，对于颜色、形状、纹理、尺寸等表现出来的所有的多维向量，要考虑到把所有的多维向量囊括到某个范畴内的向量值中。因此，假如原本不属于合格品参照图像模板的形状参数却混入到了合格品参照图像模板中，则把混入的形状参数的多维向量当作和其它形状参数的多维向量相异的向量来考虑。 按照一定的法则，把合格品参照图像模板包括的所有形状参数数值化，然后把数值化后得到的值和所有形状参数平均值求差，求的差定义为各形状参数的发散度，然后利用发散度指定出应该排除的形状参数。置信度计算单元计算出发散度超过规定值的形状参数的个数(S703)。置信度计算单元会一直监察参照图像模板，直到S70计算出的形状参数的个数达到规定的个数(S704)。如果在S704中作出了已达到规定书的判断，置信度计算单元就会从参照图像模板中删除相应的形状参数(S705)。置信度计算单元一直重复上述操作，直到优劣判断处理结束(S706)。在上述步骤中，置信度计算单元发挥着监察参照图像模板的监察单元的作用。

对于上述各形状参数的数值化后的值，可以使用合格品置信度。参照图像模板的形状参数，全部都是典型的不合格品或合格品相关的信息，不合格品置信度和合格品置信度应该都非常的高。

因此，求出置信度分布的标准偏差，参数中如果有极其偏离平均值的偏差值，也即如果有发散度非常大的偏差值存在的话，就把该参数排除，这样可以作为判断基准确保合适的状态。超过发散度相关规定值的情况，就是拒绝把其归入置信度遵从正常分布的情况的区域。

在本实施例中，即便是针对那些具有抽象模糊概念区域的图像，也能像处理对象物图像那样进行快速准确的判断。

特别是，本实施例通过更新参照图像模板或进行判断基准相关的学习，对参照图像模板作为常用的判断基准是否合适，可是进行监察。

结合以上各实施例说明本发明，但是本发明并不只是限定于上述的各实施例。例如，关于不合格品性确信度，考虑到了以关于图像的颜色、形状等的形状参数为基础，通过各种计算方法来规定的情况、根据判断对象物的性质可以对此进行各种调整。例如，对颜色、形状等各种参数可以进行加权。具体地说，判断对象是否良好，由于判断对象物的颜色差异而表现出来巨大不同，这种情况下比起其它的要素要加大颜色参数要素的判断比重，优先处理颜色参数，以此可以更加准确地进行判断。

在上述个实施例中，为了检测出缺陷品，关于置信度，采用不合格品置信度和合格品置信度，虽然用第一置信度和第二置信度进行了规定，但是不应该仅针对不合格品和合格品，而应针对不同的判断对象和判断目的等，从多种观点进行规定。比如，使用显微镜观察生命体的部位，识别特定形状的情况、探查出森林里有特殊形状害虫的情况、获取的图像中特定的形状是否存在、特定形状的东西存在多少个等等都需要判断，要采用复合这些判断需求的置信度。也就是说，像上述那样的不合格品、合格品，要从其它的观点计算置信度。还有，不能单单使用一个置信度(仅从不合格品置信度得出)，或两个置信度(从不合格品置信度和合格品置信度得出)进行判断，而应用三个以上的置信度进行判断。另外，不能局限于单一的图像，应能对合成加工获得的单一图像或多张图像进行判断。

Claims (1)

1.一种图像处理设备，该图像处理设备可从拍摄具有一定形态的对象物所获得的图像中判断该对象物的状态，它包括：

拍摄装置(1)，对具有一定形态的对象物进行拍摄并获取其图像；

参照图像存储单元(2)，基于对象图像判断对象物状态时，把基准参照图像的相关信息参数化，并作为参照物形状参数进行存储；

置信度计算单元(3)，把对象物形状参数相对于参考物形状参数的近似性的高度用数值来表示，计算出置信度；

状态判断单元(4)，基于置信度计算单元算出的置信度，判断对象物的状态；

其中：所述参照图像存储单元里还具有参照物形状参数提取单元，通过所述拍摄装置拍摄样品，将获取的样品图像的信息参数化，将所述参照图像存储单元中应存储的所述参照物形状参数提取出来；

所述置信度计算单元分别计算出第一置信度以及与该第一置信度不同标准下的第二置信度，所述状态判断单元根据该第一置信度和第二置信度判断所述对象物的状态；

所述参照图像存储单元，至少会将表示不合格品状态的图像相关信息和表示合格品状态的图像相关信息中的一个作为所述参照物形状参数记录下来；

所述参照图像存储单元既包括反映不合格品状态的图像信息，又包括反映合格品状态的图像信息；反映不合格品状态的图像信息由仅从不合格品中抽样获取的不合格品的参照图像模板组成；反映合格品状态的图像信息，由仅从合格品中抽样获取的合格品的参照图像模板构成；

所述状态判断单元以两个阈值为基准判断对象物的状态时，与所述置信度相关的第一个阈值，为优先判断基准；当出现比所述第一个阈值小的值时，使用第二个阈值作为基准；

所述参照物形状参数至少包含外形参数、颜色参数、结构参数及大小参数中的一个参数；

该图像处理设备还包括学习单元，该学习单元通过更新存储在所述参照图像存储单元里的所述参照图像信息进行学习；

所述学习单元从参照图像信息中包含的所述参照物形状参数中删除超过规定值的发散度，作为同类型状态的判断标准。