具体实施方式
实施例1:
如图1所示,一种图像处理设备,包括拍摄装置1、参照分割图像生成单元2、对象分割图像生成单元3、参照分割图像存储单元4和状态判断单元5,拍摄装置拍摄对象物图像和参照物图像;参照分割图像生成单元根据对象物的属性,自动分割以对象物图像为基础判断对象物状态时作为基准参照的多个参照分割图像,该多个参照分割图像存储在所述图像存储单元中;对象分割图像生成单元以参照分割图像生成单元的自动分割为基础,自动分割拍摄装置拍摄的对象物图像,以此生成与上述多个参照分割图像分别对应的多个对象分割图像,该多个对象分割图像存储在图像存储单元中;状态判断单元对比对象分割图像和参照分割图像并作出状态良否的判断。
在上述参照分割图像生成单元具有参照物形状参数抽取单元,可将所述多个参照分割图像的信息作为被参数化的参照物形状参数进行抽取,并存储在上述图像存储单元;对象分割图像生成单元具有对象物形状参数抽取单元,可从多个对象分割图像中抽取与参照物形状参数进行比较的对象物形状参数; 状态判断单元比较抽取的参照物形状参数和对象物形状参数来作出对象物状态良否的判断。
上述拍摄装置1内部装有由CCD等组成的固体拍摄装置。使用固体拍摄装置检测出的图像以类似数码图像信号的方式输出。拍摄装置1拍摄判断对象物并生成可以判断的对象图像。
参照分割图像存储单元4具备存储多个可运行该图像处理设备的各种程序的程序区域和暂时存储输入指示、输入数据、处理结果等的数据区域。比如:为了可以比较在测量拍摄装置1所拍摄图像的近似性之前,参数化从图像裁取的形状等的参数化程序;比较有关参数化的图像数据,进行判断的程序;分割已获取的图像,生成分割图像的图像分割程序等。本实施例以通过上述图像分割程序生成的分割图像为基础,判断对象物的良否。参照分割图像存储单元4存储上述分割图像的参照分割图像模板等信息。例如,将拍摄装置1拍摄的图像作为参照图像进行提取,以图像分割程序为基础,参照分割图像生成单元2根据该参照图像生成参照分割图像,再以参数化被生成的参照分割图像的程序为基础生成被参数化的图像数据,参照分割图像存储单元4将这个数据作为表示典型良否状态的参照分割图像模板的参照物形状参数进行保存。即,参照分割图像存储单元4是参照分割图像的存储单元。并且,参照分割图像存储单元4存储由图像分割程序划定的图像分割模式。状态判断单元5根据需要从参照分割图像存储单元4读出这个参照物形状参数,比较从有关对象物的分割图像抽取的形状参数和参照物形状参数,计算出表示这两个近似性高低的指数,判断 对象物的良否。在进行状态判断单元判断对象物状态良否的操作之前,参照分割图像模板已预先备好。
图像相关的各种信息数据化后,包含在上述形状参数中。形状参数作为图像信息,以多维向量的形式表现出来。例如符合图像中的颜色、形状、纹理、尺寸等相关参数,并以这些特性为基础判断对象物状态。关于颜色参数,可以制作成RGB三色的平均值、中位数、颜色的直方图,得出的偏差在测量近似高度的基础上,可作为判断基准。关于形状参数,在测量轮廓(边缘)裁取图形的圆度、复杂度、峰度以及力矩测量的近似高度的基础上,可作为判断基准。此处的圆度为根据裁取图形的纵横比决定的指数;复杂度为根据裁取图形是否有空洞、空洞的个数或者外侧轮廓的屈曲度决定的指数。峰度根据直线距离和轮廓线的距离比、轮廓线的中心角和像素数的比例决定;力矩根据裁取图形的形状决定。关于纹理参数,将通过一维投影法获取的模式相关数据偏差在测量近似高度的基础上,可作为判断基准。关于尺寸即大小的参数,在测量轮廓(边缘)裁取图形的面积、周长以及费雷特直径(纵向或横向)的近似高度的基础上,可作为判断基准。
下面说明运用图1所示图像处理设备进行对象物状态判断的一个主要操作示例。有关判断的对象即图像处理设备处理的对象物我们考虑了便当、线路基板等各种东西,此处已经预先规定好了判断处理的对象物,意即,在一个判断处理中,对象物的形状等并非完全无秩序地存在,而是根据对象物的属性被局限在有限的范围内。因此,该图像处理设备通过测量有限范围中形状参数的相关性,判断对象物的良否。图2为抽象说 明图像处理方法的流程图。在此作为判断良否基准的参照分割图像模板已经生成,保存在参照分割图像存储单元4,意即判断对象的准备已经做好。而且关于准备参照分割图像模板的过程将运用图4,图5进行详细说明。
首先,对象分割图像生成单元读出运行拍摄装置的程序,提取判断对象图像(S1)。其次,对象分割图像生成单元决定被拍摄的判断对象图像的位置(S2)。例如,假设判断对象图像为具有外框的图像,那么把沿着外框的轮廓作为定位的基准。其次,对象分割图像生成单元进行判断对象图像的自动分割,作成多个对象分割图像(S3)。意即,对象图像生成单元具有生成多个对象分割图像的对象分割图像生成单元的功能。判断对象图像的分割方法是仿照生成参照分割图像模板的参照图像自动分割的方法。意即对象分割图像生成单元读出分割存储在图像存储单元的参照图像的分割样式,以此为基础分割判断对象图像。有关生成分割参照图像的模式的详细情况将用图4,图5进行叙述。其次,对象分割图像生成单元从图像存储单元读出参数化的程序,从各对象分割图像中分别抽取形状参数,保存在图像存储单元(S4)。上述对象分割图像生成单元具有对象物形状参数抽取单元的功能。通过以上步骤,判断对象可被数据化为可进行状态判断的状态。
其次,状态判断单元进行比较判断。首先状态判断单元从事先存储在图像存储单元的作为良否判断基准的参照分割图像中读出形状参数(S5)。进一步,状态判断单元比较参照物形状参数和被抽取的判断对象物形状参数,判断良否(S6)。例如,参照分割图像模板收集有关典型不合格品的信息,在 S6确认判断这个模板的形状参数的对象物形状参数的近似性时,若判断该判断对象的形状参数不合格性高,则对象物为不合格品。
下面运用图3说明有关上述作为判断基准的参照分割图像模板的生成。图3为说明生成参照分割图像模板工序的一例流程图。意即,图3所示的工序准备在图2的S5将被读出的形状参数。此处有关准备阶段的学习包含操作图像处理设备之前的所有阶段的学习,例如,也包含在进行真正运行之前的试运行阶段的学习。
图3中,为了生成参照分割图像模板,准备了多个(或是单个)典型样品。意即准备了通过肉眼等可以知道良否情况的样品。此处准备已知为典型不合格品的样品。参照分割图像生成单元(参照图1)用拍摄装置1拍摄被准备的样品,作为参照图像进行提取(S101)。其次,参照分割图像生成单元定位参照图像(S102)。其次,参照分割图像生成单元决定参照图像的分割方法,也就是从参照图像占领的区域中划定各参照分割图像的分割区域(S103)。其次,参照分割图像生成单元按照在S103决定的分割,自动进行参照图像的区域分割(S104)。其次,参照分割图像生成单元从图像存储单元中读出参数化程序,从各参照分割图像中抽取形状参数(S105)。意即参照分割图像生成单元有参照物形状参数抽取单元的功能。最后,参照分割图像生成单元将包含被抽取的形状参数信息的参照分割图像的信息存储于设定在图像存储单元上的特定区域内(S106)。意即参照分割图像存储单元4有存储参照分割图像信息的参照分割图像存储单元的功能。通过上述步骤,生成参 照分割图像模板,并在准备了多个典型样品的情况下,重复上述的S101-S106之间的操作,对各样品进行参数化。
下面运用图4A-4D以及图5说明图3的S103划定分割区域工序即生成分割模式的一个例子。在此说明自动抽取从对象物的一部分样品中分割的区域,具体地说,例如以便当等内容物和容纳内容物的支持容器TR构成对象物,在该对象物中把容纳内容物的容器TR作为划定分割区域的样品。首先如图4A所示,通过间隔SC隔开,在容器TR设定6个分别容纳食品等内容物的容纳空间SP1-SP6,并在一部分间隔SC上设定花纹,纹路这样的装饰部分Q1-Q6,这些装饰部分不收纳内容物,不作为判断状态的对象部分。图4B显示从容器TR的整体图像PH中自动裁取对象分割图像候补区域R1-R12(图中的点线)的状态。拍摄装置通过图像处理判断容纳空间SP1-SP6等的边缘部分,进行自动裁取操作。为了统一进行这个操作,在由上述的裁取所提取的东西中不仅包含与分割图像对象的容纳空间SP1-SP6相应的分割候补区域R1-R6,还包含例如与装饰部分Q1-Q6相应的不是判断对象的分割候补区域R7-R12。因此,从在图4B被裁取的分割候补区域R1-R12中,如在图4C虚线所示那样,选择与对象分割区域的容纳区域SP1-SP6相应的分割候补区域R1-R6作为分割区域P1-P6。有必要排除图4B所示的没有意图的分割候补区域R7-R12。在此对于低于规定尺寸的区域的例子,自动除去这样的区域,保留区域R1-R6即分割区域P1-P6。通过规定分割区域R1-R6,可以如图4D所示那样自动裁取容纳在容器TR的容纳空间SP1-SP6内的每个内容物的分割对象PP1-PP6。
下面通过图5的流程图来说明有关决定分割区域P1-P6的顺序。图5相当于图3的S103的处理内容。首先参照分割图像生成单元从拍摄图4A的容器TR所获得的整体图像PH中自动裁取图4B所示的分割候补区域R1-R12(S103a)。其次,参照分割图像生成单元从分割候补区域R1-R12中选择分割区域P1-P6(S103b)。此处测量分割候补区域R1-R12每个区域所占的面积,去除低于规定值的区域,排除与不能成为判断对象的装饰部分Q1-Q6相应的区域R7-R12。如图4C所示,仅保留分割候补区域R1-R6即分割区域P1-P6。最后,参照分割图像生成单元将在S103b选择的分割区域P1-P6的信息存储在图像存储单元即保存分割区域P1-P6的信息(S103c)。通过以上规定了用于生成图3的S103的参照分割图像进而图2的S3的对象分割图像的分割范围。意即在图3的S104以分割区域P1-P6为基础,自动分割参照图像区域,在S105生成参照分割图像模板。且以这个分割区域P1-P6为基础也自动生成图2的S3的判断对象图像的分割区域。因此生成的多个对象分割图像与多个参照分割图像一一对应,在S6可分别进行比较。
如上,本实施例的图像处理设备的状态判断单元比较参照分割图像和对象分割图像,判断对象物每部分的状态。因此即使对象物的一部分有异常也能捕捉到这个异常,更加准确地判断对象物的状态。在构成对象物每个部分的分割对象物PP1-PP6进行可以包含对象物重要部位的分割,准确地判断整体图像的良否。例如,以人脸为对象物时,人通过捕捉眼睛,鼻子,口等脸的重要组成部分的特征,可以判断这是谁的脸。意即通过对每一个重要组成部分进行判断可以特定整体。如上 述那样对分割图像的每个部分进行判断,接近人类判断对象物的方法。且通过自动分割整体图像可以迅速生成参照分割图像和对象分割图像,也能在某种程度上确保判断处理的速度。且即使像对象物图像那样有抽象模糊概念领域的图像通过以形状参数为基础,从数值化之后的数值进行比较,可以迅速准确地进行判断。
而且,状态判断单元在图2S6的判断上,比起多个对象分割图像中相对占领小区域的对象分割图像的比较结果更加优先相对占领大区域的对象分割图像的比较结果。例如,图4包含分割对象物PP1-PP6的对象分割图像中占比较大区域的分割对象物PP2和包含分割对象物PP4的对象分割图像被判断为不合格性高的情况下,即使其他的对象分割图像被判断为优良性高,整体上还是判断为不合格品。根据对象物的属性给多个对象分割图像设定优先度,可以更准确地判断。
在上述中,我们把类似便当的由内容物和容纳内容物的容器TR构成的事物作为对象物的一个例子。但是本实施例中的对象物不仅限于此,可以设想为各种各样的事物。例如,可以把搭载IC芯片等的元件的线路基板作为对象物。这种情况下,基板部分为支持体,被固定在这上面的IC芯片等的元件为支持体上的内容物。这种情况下,把电路基板上分离IC芯片等的元件的区域作为间隔,这种间隔不仅包含占领细线状区域的间隔也包含占领广区域的间隔。
实施例2:
以下通过图6A-6F等对与本实用新型的第二实施例相关的图像处理设备进行说明。与本实施例相关的图像处理设备是 第一实施例的变形例,图像处理设备的构造与图1所示的第一实施例的图像处理设备是一样,所以省略图示以及说明。且图像处理的顺序除了特别说明的情况外,与图2以及图3的流程图所示的情况是一样。
如图6A-6F所示,在本实施例中划定分割区域的工序与第一实施形态的图4A-4D所示的情况是不同的。意即图3的流程图所示的各工序中S103的具体内容各异。
下面运用图6A-6F以及图7,说明有关在图3的S103划定分割区域工序的一个例子。此处如图6A所示对象物容器TR和分别容纳在容纳空间SP1-SP6内的分割对象物PP1-PP6之间的整体成为划定分割区域的样品。如图6B所示拍摄装置(参照图1)拍摄的对象物整体的样品图像PH中,从与分割对象物PP1-PP6相应的内容物C1-C6中,通过图6C所示的轮廓图像边缘部分自动裁取被划定的区域R1-R6。但是,为了统一进行该裁取操作,也可能裁取对象区域R1-R6以外的部分。如图6C所示对象以外的区域R7-R12被裁取。有必要把这些没有意图的区域从分割区域的对象中除去。在此作为一个例子自动除去低于规定的区域。如图6D所示仅保留对象区域R1-R6。其次,如图6E所示扩张区域R1-R6。例如在区域R2如箭头所示,压宽边缘部分E2具有椭圆状的区域,成为划定分割图像的分割区域P2。其他的区域R1,R3-R6用同样的方法划定分割区域P1,P3-P6。
因此,如果把在一个样品的边缘部分E1-E6划定的区域R1-R6直接作为分割图像的区域的话,在提取多个对象图像时就可能不能正确捕捉到各分割对象物的分割图像。于是像上述 一样,把扩张边缘部分E1-E6得到的区域作为分割区域P1-P6,让其具有一定的空白。因此,即使具有相当于内容物图像C2的区域R2这样比较复杂的形状,也可以捕捉到分割对象的全体。并且,参照分割图像生成单元把图6F所示的状态区域作为分割区域P1-P6的分割模式,存储在参照分割图像存储单元4内。
下面通过图7的流程图说明决定分割区域P1-P6的顺序。图7相当于图3的S103的处理内容。首先,拍摄图6A的容器TR以及分割对象物PP1-PP6,参照分割图像生成单元从图6B所示的全体图像PH中自动裁取分割候补区域R1-R12(参照图6C)(S103a)。其次,参照分割图像生成单元从区域R1-R12中排除对象以外的区域R7-R12,选择区域R1-R6(S103b)。测量区域R1-R12每个区域所占的面积,排除低于规定值的区域,排出不是判断对象的区域R7-R12,保留如图6D所示的区域R1-R6。其次,参照分割图像生成单元从存储在图像存储单元的程序中准确地读出变形区域的程序,如图6E所示,从区域RI-R6开始变形分别形成被划定的分割区域P1-P6(S103x)。最后,参照分割图像生成单元将在S103b选择的分割区域P1-P6的信息保存在图像存储单元即保存分割区域P1-P6的分割模式(S103c)。通过上述规定了用于生成图3的S104的参照分割图像以及图2的S3的对象分割图像的分割区域P1-P6的分割模式。
在本实施例中,即使是有关像对象物图像那样具有抽象模糊概念区域的图像的判断也能迅速准确地进行。
用与图3的S104的生成参照分割图像相同的方法生成图 2的S3的对象分割图像,但也可通过其他方法生成参照分割图像。意即关于作为整体图像的判断对象图像可以采用另外的方法进行如图6A-6F所示的操作,生成对象分割图像。各判断对象图像中的各分割对象物的配置等差异很大且和参照图像进行比较不一致的情况下,通过个别裁取每个判断对象图像的对象分割图像,可以更加准确地捕捉到被包含在各对象分割图像中的分割对象物的状态,进行可靠地判断。
在上述实施例中,例如紧挨的两个分割候补区域中的一个区域扩张,包含了另一个区域,那么把被包含的那个区域从候补区域中排除也可以。
实施例3:
下面,运用图8A-8H等说明与本实用新型的第三实施例相关的图像处理设备。且与本实施例相关的图像处理设备是第一实施例的变形例,图像处理设备的构造与图1所示的第一实施例的图像处理设备相同,所以省略图示以及说明。且图像处理的顺序中关于状态良否的判断和图2的流程图所示的情况一样。
图8A-8F是为说明本实施例中图像处理的图,分别表示分割区域的模式的图。在本实施例中,多个分割模式作为分割模板被分别保存在图像存储单元(参照图1),参照分割图像生成单元可从多个分割模板中选择一个分割模式。这种情况下,根据被保存在图像存储单元的多个分割模式可判断各种各样的对象物、特定对象,选择与之相应的一种分割模式,进行判断。因此,在本实施例中有关划定分割区域的顺序与第一实施例的图3的流程图显示的情况是不同的。
关于分割区域的模式如在第1以及第2实施例所说明的那样,选择实际的对象物和容器作为样品,通过拍摄样品来划定。例如读取通过手绘图8A所示的间隔线HL分割的8个分割区域P1-P8生成的图,也可形成分割区域的模式。如图8B-8D所示预先统一决定分割区域的情况也有。例如判断薄纸状物体卷曲面的状态,通过图8B那样的分割判断每个部分的状态,进行更加准确地判断。并且假设是事先被配列在已经规定好的格子状物体里的被捆包的物体的话,那么可通过如图8C的分割,判断每个部分的状态,若是被配列在黑白小格子状物体里的捆包的物体的话,通过图8D那样的分割判断每个部分的状态是可取,且图8E为通过图C所示的操作生成的一例。图8F为通过和图6F一样的操作生成的一例。且即使如图8F那样分割区域重复也可以。
在本实施例中,类似于图8A-8D那样的各种分割模式被作为分割模板被储存在图像存储单元,根据对象物,分割图像生成单元读出恰当的分割模式,或是生成类似于图8E和图8F那样的各种分割模式,以被读出的分割模式或是被作成的分割模式为基础进行图像分割。
此处作为配列在图8C所示的格子状物体中的一个例子,考虑到了如图8G以及图8H所示那样拍摄收纳在箱子等的m个瓶子BT1-BT8(如果是图的话为6行8列,m=6x8)的图像。这种对象物的话,m个瓶子BT1-BTm的配列是已经预先规定好的,根据这个配列,按照统一划定区域的分割线LL从原整体图像P中可以自动裁取包含每个瓶子的m个分割图像P1-Pm。
下面通过图9说明有关生成参照分割图像模板的一个例 子。此处从通过图8A-8D所示的已经规定好的手绘等提取的图像中选择分割区域的模式,从类似于统一分割区域的模式那样被预先保存在图像存储单元中的模式中选择一个模式的分割模式选择样式和通过用如图8E,8F所示的图5或是图7的流程图说明的顺序,自动裁取生成分割区域的模式都是可以选择。
首先,参照分割图像生成单元让拍摄装置拍摄样品,把其作为参照图像进行提取(图9的S201a)。其次,参照分割图像生成单元进行参照图像的定位(S202a)。再次,参照分割图像生成单元决定参照图像的分割方法即从参照图像所占的区域中划定各参照分割图像的部分分割区域(S203a-S203d)。具体地说,首先选择分割模式(S203a)。其次判断选择的分割模式是否是分割模式选择样式中的模式(S203b)。在S203b从作为分割模板被事先保存在图像存储单元内的模式中选择一个模式进行判断(S203b:YES),参照分割图像生成单元从图像存储单元中读出该模式(S203c)。另一方面,在S203b判断没有选择分割模式选择样式,参照分割图像生成单元自动裁取分割区域的样式进行作成处理(S203b)。意即按照图5或是图7的顺序规定分割区域的模式。其次,参照分割图像生成单元以在S203c或是S203d决定的分割样式为基础,进行参照图像区域的自动分割(S204)。再次,参照分割图像生成单元从图像存储单元中读出参数化的程序,从各参照分割图像中抽取参数(S205),将包含被抽取的形状参数信息的参照分割图像的信息存储设定在图像存储单元上的特定区域内(S206)。通过以上生成参照分割图像模板。
上述操作中,有关S203a等的参照图像的分割方法即分割模式的选择方法,其中一种方法为参照分割图像生成单元可以根据通过一输入设备进行的人的判断而得到的指示,选择一种模式。
另外一种分割模式的选择方法,不需要人的判断,而是通过试着运转存储在图像存储单元的所有的模式,以此来自动选择最适合的一种模式。具体地说,对在S202a已经被定位的一个参照图像,抽取存储在图8A-8D所示图像存储单元的所有模式的形状参数,确认数据的零散,以此可以判断最合适的一个模式。例如,某个参照图像如图8G所示那样,那么有关图8C的模式的形状参数的零散程度最小。如果为图8A、8B、 8D所示那样的话,是因为瓶子BT1-BTm的配置与间隔线不一致。例如,图8D所示的一部分分割因为与图C所示的模式一致,所以也会产生零散较少之处。但是,对所有的分割模式计算形状参数的零散程度,与其他的模式进行比较,就可以明确地判断图8C所示模式中的零散程度低。参照分割图像生成单元通过设定对所有模式、所有分割图像抽取形状参数这一步骤和对所有的形状参数计算零散程度这一步骤,以及比较已计算的每个模式上的零散程度,选择零散程度最小的分割模式这一步骤,以此可以自动选择最合适的模式。
在本实施例中,即使是对于类似对象物图像的具有抽象模糊概念区域的对象物状态的判断也能准确迅速地进行。
这种情况,作为参照分割图像生成单元的参照分割图像生成单元有把在S203d新生成的分割样式的分割模板添加为多个分割模板中的一个的分割模板更新单元的功能。意即参照分 割图像生成单元可以把新的分割样式保存在图像存储单元。
例如图8C所示的格子状的分割模式可适当地调整每个框眼的尺寸。例如在图8C中6行8列,分割的个数m=48。通过事先准备分割成m=48之外个数的格子状的分割样式,即使是瓶子的排列数不同的情况也可以应付。此时,参照分割图像生成单元对由多个分割模式分割的图像分别自动地进行抽取和测量,根据参数的零散情况判断所选分割模式的成功与否。这种情况下,可从多个格子状的分割模式中自动选择恰当的模式。
如图8G以及8H所示,对有多个统一形状的瓶子BT1-BTm进行状态良否判断时可以共用一个参照分割图像模板。意即在分割对象物瓶子BT1-BTm具有统一的形状和颜色等情况下,对m个分割图像P1-Pm进行抽取所得的形状参数的特征彼此相似。因此,没有必要分别为m个参照图像P1-Pm准备良否判断基准的参照分割图像模板,通过一个共通的参照分割图像模板可以对所有的分割图像P1-Pm进行良否判断。但是即使分割图像P1-Pm是统一的,例如由于判断的时间段和判断时的光照情况等这样的使用环境的不同,瓶子BT1-BTm的配置位置不同使得每个瓶子以不同的形状参数显现出来的颜色等特征都不同,这种情况下,需要准备个别的参照分割图像模板。
实施例4:
下面通过图10A、10B等对与本发明的第4实施例相关的图像处理设备进行说明。与本实施形态相关的图像处理设备是第一实施形态的变形例,图像处理设备的构造与图1所示的第一实施形态的图像处理设备100相同,因此省略图示以及说 明。
图10A以及图10B为说明生成参照分割图像模板的图。图10A为说明参照分割图像模板中有关不合格品的参照分割图像模板作成工序的流程图,图10B为说明参照分割图像模板中有关合格品的参照分割图像模板作成工序的流程图。本实施例的情况,以有关不合格品的参照分割图像模板为基础,可以算出有关不合格品性置信度,以有关合格品的参照分割图像模板为基础,可以算出合格品性置信度,从而从不合格品性以及合格品性两方面来进行判断。通过规定显示合格品性以及不合格品性的指数即置信度,更加提高判断的可靠性。
首先,在图10A,为了生成有关不合格品的参照分割图像模板,准备多个(或是单个)满足对象物整体的明确为不合格品的典型样品。意即准备通过人的眼睛等事先就已经知道是典型不合格品的已知样品。参照分割图像生成单元(参照图1)用拍摄装置拍摄被准备的样品,把其作为分割前的参照图像(全体图像)进行提取(S301a)。其次,参照分割图像生成单元定位参照分割图像(S3021a)。其次,参照分割图像生成单元按照在S303被决定的分割进行参照图像区域的自动分割(S304a)。其次,参照分割图像生成单元从参照分割图像存储单元4中读出参数化的程序,从各参照分割图像中分别抽取形状参数(S305a)。最后,将有关包含被抽取的形状参数信息的参照分割图像的信息分别存储于设定在图像存储单元上的特定区域内(S306a)。通过以上生成有关典型不合格品的参照分割图像模板。
如图10B所示,有关合格品的参照分割图像模板的生成与 上述有关不合格品的参照分割图像模板的生成相同,准备通过人眼等就已经事先明白为典型合格品的已知样品,进行S301b-S306b的操作,生成参照分割图像模板。
下面运用图11说明基于图像处理的判断对象物的主要操作的一个例子。有关作为判断良否基准的参照分割图像模板通过在上述的图10A以及图10B说明的操作已经被生成,被存储在参照分割图像存储单元4。
首先,参照分割图像生成单元读出启动拍摄装置的程序,提取所拍摄的判断对象物的图像(S401)。其次,参照分割图像生成单元定位被拍摄的判断对象图像(S402)。其次,参照分割图像生成单元进行判断对象图像区域的自动分割(S403)。此处分割的方法即分割模式仿照上述参照分割图像生成时的分割模式进行分割。由判断对象物图像被生成的各个对象分割图像与各个参照分割对象相对应。其次,参照分割图像生成单元从图像存储单元读出参数化的程序,从各判断对象分割图像中分别抽取形状参数(S404)。
其次,状态判断单元从参照分割图像存储单元4读出的良否判断程序为基础,进行比较判断。因此首先参照分割图像生成单元从事先被存储在图像存储单元的良否判断基准的参照分割图像模板中,如图10A所示的工序所准备的有关不合格品的参照分割图像模板(参照不合格品分割图像模板)中读出形状参数(S405a)。状态判断单元比较有关不合格品的参照分割图像中的形状参数即参照物形状参数和在S404被抽取的判断对象物形状参数(S406a),在S406a比较对象分割图像或是对象物的状态与典型不合格品的相似度,将比较的结果作为表示 与关于对象物的不合格品之间相似程度的置信度并计算出来(SCa)。下面把这个置信度称为不合格品性置信度。有关不合格品性置信度,以关于图像的颜色、形状等的形状参数为基础,通过各种计算方法来进行规定的情况。此处把在S406a,SCa比较,计算得出和典型不合格品之间近似性的高低数值化(下面称为不合格品指数),作为不合格品性置信度。意即不合格品指数越高就越能判断为不合格品。例如获得的图像数据的参数与典型不合格品的图像数据的参数完全相同的情况下,把不合格品指数规定为最大值100%,比较规定值,设定第一阈值和第二阈值,根据这些阈值判断对象是否为不合格品。作为判断有关已知对象的不合格,第一以及第二阈值被规定在一个可靠的范围。且如果能可靠判断的阈值未知的情况的下,例如通过边重复试验边调整来规定阈值即可。将第一阈值设定为一个比第二阈值高的数值。超过第一阈值的情况下,可准确地判断为不合格品。将第二阈值设定为比第一阈值小的数值,超过第二阈值的情况下,将其作为是不合格品的或然性比较高的来处理。
上述的S405a-S407a以及SCa平行,状态判断单元从由图10B所示工序准备的有关合格品的参照分割图像模板中读出形状参数(S405b),比较来自有关合格品的参照分割图像模板的形状参数即参照物形状参数和在S404被抽取的判断对象物形状参数(S406b)。状态判断单元进一步算出表示与对象物合格品近似程度的置信度(SCb)。下面,把该置信度称为合格品性置信度。把与典型合格品之间的近似性的高低数值化,以此作为合格品性置信度。意即,合格品指数越高就越可以判断为 合格品。例如获得的图像数据的参数和典型合格品的图像数据的参数完全一样的话,那么规定合格品指数为最大值100%,对比规定值,设定一个阈值,根据设定的阈值判断对象物是否为合格品。超过阈值的情况下,将其作为是合格品的或然性比较高的来处理。此处,对不合格品性置信度设置第一和第二两个阶段的阈值,对合格品性置信度设置一个阈值。这个阈值设置在多个对象分割图像上,当通过状态判断单元判断超过了所有设定在对象分割图像上的阈值,这种情况下可判断判断对象图像整体都超过了阈值。
关于第一以及第二阈值的设定,下面以不合格品性置信度的偏差值为基础规定阈值这样一个具体例子。首先,从不合格品性置信度从高到低的所有对象中随机抽取标本(第一标本),计算标本在分布上的标准偏差,这种情况下,把偏差值高于规定时的不合格品性置信度的值规定为第一阈值。通过规定上述的第一阈值,在超过第一阈值的情况,那么把这个值作为准确判断对象为不合格品的数值来应用。此外,例如计算典型不合格图像的集合即从不合格品性置信度相对较高的对象中随机抽取的标本(第二标本)在分布上的标准偏差,这种情况下,虽然偏差值比第二标本的平均值要低,但是在某种程度上也有高于平均值的,把高于上述第一标本平均值的偏差值规定为第二阈值。在典型不合格图像的集合中,因为具有某种程度的不合格品性置信度,所以把该值作为判断不合格品或然性比较高的数值来应用。根据每个标本的分布特性,规定第一以及第二阈值,来提高判断具有抽象模糊概念区域对象的可靠性。此外,通过设定上述的第一以及第二阈值,在调整第一阈值时,可以 将要判断的对象限制在更加准确的范围,然后在进行判断。另外一方面,在调整第二阈值时,尽可能地可以判断更多与之相应的对象。通过适当地调整第一以及第二阈值,可以根据必要的精确度进行设定。
状态判断单元于S407a判断在SCa算出的不合格品性置信度超过第一阈值且在SCb算出的合格品性置信度没有超过阈值(S407a:YES),判断对象图像即判断对象物为不合格品(S8)。
一方面,状态判断单元在pS407a判断不合格品性置信度低于第一阈值或是合格品性置信度高于阈值(S407a:a),进一步判断合格品性置信度是否超过阈值且不合格品性置信度不超过第一阈值(S407a)。在此判断合格品性置信度超过阈值且不合格品性置信度不超过第一阈值(S407b:YES),判断对象图像即判断对象为合格品(S9)。
状态判断单元在S407b判断合格品性置信度低于阈值或是不合格品性置信度高于第一阈值(S407b:NO),进一步判断不合格品性置信度是否超过第一阈值且合格品性置信度是否超过阈值(S407c)。在此判断不合格品性置信度超过第一阈值且合格品性置信度超过阈值(S407c:YES),优先应有不合格品性置信度判断判断对象图像即判断对象物为不合格品(S8)。
状态判断单元在S407c判断不合格品性置信度低于第一阈值或是合格品性置信度低于阈值(S407c:NO),更进一步判断不合格品性置信度是否超过第二阈值(S407d)。在此,判断不合格品性置信度超过第二阈值(S407d:YES),优先应有不合格品性置信度,判断对象物为不合格品(S8)。
状态判断单元在S407d判断不合格品性置信度低于第二 阈值(S407d:NO),以统计比例为基础,进行良否判断(SQ)。在此所谓的统计比例为在检查判断对象物中统计所知的合格品.不合格品。在S407d被判断为NO的情况下,判断对象图像即对象物的合格品性置信度和不合格品性置信度都不高,所以通过上述S407d之前的方法不可能进行判断,可以说判断良否是非常困难的。在SQ对处于这种情况的对象物使用随机数等,通过与统计比例相应的比例来决定是合格品还是不合格品。例如,在检查对象物时,大概地了解不合格品和合格品的比例为q:(1-q),状态判断单元在SQ以q×100%的概率判断对象物为合格品,以(1-q)×100%的概率判断对象为不合格品。
状态判断单元在S8判断不合格品或是在S9判断合格品之后,进行参照图像模板的更新即进行学习工序的处理(S10a、S10b)。具体地说,首先状态判断单元在S8进行不合格品判断,确认判断对象物形状参数的判断过程,在S407a被判断为不合格品(S407a:YES)的对象物的形状参数信息作为有关新不合格品的参照分割图像模板的一部分进行追加S10a)。在S407a被判断为YES的对象物如所述那样为被判断为不合格品性置信度超过第一阈值且合格品性置信度没有超过阈值的对象物。意即,判断对象图像为显示典型不合格品状态的图像,但不为显示合格品状态的图像。把这样的图像作为有关不合格品的参照分割图像模板进行追加,可以提高有关不合格品参照分割图像模板的可靠性,换句话说就是可以提高在SCa算出的不合格品性置信度的可靠性。
同样地,状态判断单元在S9进行合格品判断,确认判断对象物形状参数的判断过程,将在SCa被判断对合格品 (SCa:YES)的对象物的形状参数信息作为有关新合格品的参照分割图像模板的一部分进行追加(S10b)。由此可提高在SCa算出的合格品性置信度的可靠性。
上述情况下,为了提高不合格品性置信度以及合格品性置信度的可靠性,状态判断单元具有通过在S10a,10b更新参照分割图像信息进行学习的学习单元功能。因此,例如在进行操作过程中,通过适当地学习,更新参照分割图像模板,可实现改善、修改、发展判断基准的目标。
上述pS8或是pS9的判断结果可由接受来自状态判断单元指令的显示设备来显示。此时,一起显示不合格品性置信度和合格品性置信度的数值等算出结果也可以。
上面的样品为相当于现实判断对象物的实实在在的事物也好,为图像样品也好。这种情况下,图像样品如数码图像一样可以通过状态判断单元进行处理,不需要由拍摄装置来获取图像。样品成为被参数化的数据,这种情况下直接将该数据存储在图像存储单元即可。
在该操作之前进行的试运行阶段,良否判断的结果有很多错误,这种情况下需要重复上述的事前学习直到能够恰当准确地判断良否。
与本实施例有关的图像处理设备以由置信度算出单元预先准备的参照分割图像模板为基准规定显示跟不合格品或是合格品的近似性高低的置信度,以该置信度为基础,对判断对象物的良否状态进行判断。因此,即使是对有抽象模糊概念区域的对象物也能像对象物图像那样进行准备迅速的判断。
且在上述中不进行基于SQ所示的统计比列的良否判断 也可以。例如在S407d,判断不合格品性置信度为低于第2阈值的情况下(S407d:YES)、状态判断单元判断判断对象图像即判断对象物为合格品。
很多对象不能判断因此停留在SQ,或是良否判断有很多的错误,持续这种低判断精度的情况的话,可以调整每个阈值。但是希望在操作图像处理设备的前一个阶段即试运行阶段之前进行阈值的调整。在本操作中,到达S407d进一步到达SQ的情况下,例如储蓄到达这些步的形状参数信息,用人眼去观察该形状参数,确认良否,以该图像为样品强制性地重新作成如图10A或是图10B所示的参照分割图像模板。
有关S10a以及pS10b的学习操作,除了在本操作中每次进行的情况外还包括在本操作中间接性进行的等各种时间所进行的操作。在作为参照分割图像模板的一部分进行追加的时候,例如通过比较不合格品性置信度进行等级排名,排除低等级,在参照分割图像模板中进行数据的追加、变更、删除,统一保存这个数据。
实施例5:
下面通过图12说明运用与本发明的第5种实施例相关的图像处理设备的图像处理方法。与本实施例相关的图像处理设备是第一种实施例的变形例,图像处理设备的构造与图1所示的第一种实施例的图像处理设备相同,所以省略图示以及说明。本实施例准备了多种有关不合格品的参照分割图像模板。
例如,一般认为合格品有典型的样式,通过准备多个或是单个的样品意即收集平均标准的数据,可以生成能够准确判断合格品近似性的参照分割图像模板。但是,根据对象物的属性 等不同,不合格品产生的原因有多个。作为不合格所表现出来的形状等在每一个原因上都有很大的不同。作为产生不合格品的原因,例如有错位、异物的混入、破裂、缺口以及污点等各种原因。根据这些原因的不同,表现在对象物上的形状,颜色,大小等的差异也有很大不同,形状参数所表现出来的特征也会有差异。尽管是这样的情况,但是归纳关于这些多种类的典型不合格品的参照物形状参数生成一个模板的话,那么参数太过于混乱,就可能无法恰当地判断与不合格品之间的近似性。对此,本实施例准备将每个不合格品产生的原因即类型分别分类为多个不同的样品,将这些被分类的样品一个一个地作成有关不合格品的参照图像分割模板,把这些作为判断的基准。例如,收集有关对象物的破裂这样的不合格品样品,作为类型1,生成一个模板,收集有关对象物的缺口这样的不合格品样品,作为类型2,生成一个模板。下面进行同样的操作,生成多组参照分割图像模板。
图12为说明有关多种不合格品的参照分割图像模板被准备的情况下,判断对象物方法的一个例子的流程图。在此,有关一种不合格品的参照分割图像模板和有关(L—1)中不合格品的参照分割图像被准备好。发生不合格的不同类型有L种,这些当中参照分割图像模板被准备的典型不合格类型有(L—1)种,把发生不合格的类型不属于这些当中任何一个的类型作为最后的第L种。
首先,状态判断单元以有关(L—1)类不合格品的参照分割图像模板为基础,算出不合格品性置信度(S26a)。例以有关合格品的参照分割图像模板为基础,跟S26a同步算出合格 品性置信度(S26b)。
其次,状态判断单元判断在S26a算出的各类型不合格品性置信度中的任何一个超过第一阈值且在S26b算出的合格品性置信度没有超过阈值(S27a:YES)、判断判断对象图像即判断对象物为不合格品(S28)。
另一方面,在S27a, 状态判断单元判断各类型的不合格品性置信度低于第一阈值或是合格品性置信度高于阈值。(S27a:NO)。判断合格品性置信度超过阈值且不合格品性置信度没有超过第一阈值(S27b:YES)、判断判断对象图像即判断对象物为合格品(S29)。
在S27b,状态判断单元判断合格品性置信度低于阈值或是不合格品性置信度的任何一个高于第一阈值(S27b:NO)、进一步判断不合格品性置信度中的任何一个超过第一阈值且合格品性置信度超过阈值(S27c:YES)、优先应用不合格品性置信度,判断判断对象图像即判断对象物为不合格品(S28)。
在S27c,状态判断单元判断不合格品性置信度低于第一阈值或是合格品性置信度低于阈值(S27:NO),进一步判断不合格品性置信度中的任何一个超过第2阈值(S27d:YES)、优先应用不合格品性置信度,判断判断对象图像即判断对象物为不合格品(S28)。
在S27d, 状态判断单元判断不合格品性置信度低于第2阈值(S27d:NO)、以统计比例为基础,进行良否判断(SQ)、判断良否(S28,S29)。
此外,状态判断单元在S28进行不合格品判断,进行不合格品类型的分类处理(SR)。
下面,通过图13说明图12SR的不合格品分类处理的一个例子。首先,状态判断单元对在S28被判断为不合格品的判断对象图像进行各类型中是否有不合格品性置信度超过第一阈值的情况(SR1)。在SR1判断任意一种类型超过第一阈值,(SR1:YES)、该判断对象图像相应的对象物被判断为该类的不合格品(SJ1)。一个判断对象图像的多个类型超过第一阈值,这种情况下,可以判断与该对象相应的所有类型都为不合格品。例如,类型1表示有关对象物破裂的不合格品性置信度,类型2表示有关对象物缺口的不合格品性置信度,这种情况如果某个判断对象图像的类型1以及2双方都超过第一阈值的话,那么把与这个判断对象图像相应的判断对象物作为发生了破裂以及缺口的两种不合格性的对象物来处理。
一方面,在SR1判断所有类型的不合格品性置信度没有超过第一阈值(stepSR1:NO)、判断类型1-类型(L—1)的不合格品性置信度是否超过第二阈值(SR2)。在SR2,判断类型1-类型(L—1)的不合格品性置信度是否超过第二阈值(SR2:YES)、判断与该判断对象图像相应的判断对象物类型1-类型(L—1)中与之相应类型的不合格品(SJ2)。有关多个类型超过第二阈值的情况下,判断为与之相应的所有类型的不合格品。
一方面,在SR2,判断类型1-类型(L—1)的不合格品性置信度低于第二阈值(SR2:NO),与该判断对象图像相应的判断对象物为类型L的不合格品(SJ3)。意即,参照分割图像模板不属于被准备的(L—1)种典型不合格品中的任何一个,为第L种不合格品。
上面分类处理了SR的不合格品。在此把在SR1被判断为超过第一阈值的判断对象图像作为有关不合格品的参照分割图像模板进行追加(SK)。意即追加SK的学习工序,以此能够提高每种不合格类型的不合格品性置信度的可靠性。
本实施例对于具有抽象模糊概念区域的对象的判断也能像对对象物图像一样准确迅速的进行。
实施例6:
下面,通过图14来说明运用与本实用新型的第6实施例相关的图像处理设备的图像处理方法。与本实施例相关的图像处理设备是第一实施例的变形例,图像处理设备的构造与图1所示的第一实施例的图像处理设备相同,所以省略图示和说明。
图14为抽象说明图像处理方法的流程图。首先,对象分割图像生成单元读出操作拍摄装置的程序,提取判断对象图像(S1)。其次,对象分割图像生成单元进行判断对象图像的定位(S2)。其次,对象分割图像生成单元进行判断对象的自动分割,生成多个对象分割图像(S3)。判断对象图像的自动分割方法采用在上述的其他实施例中说明的分割模式(例参照如图8A-8F)中任意一种。最后,从存储设备12中读出参照分割图像,根据协调模式来进行比较、判断对象分割图像(S704)。
如上所述本实施形态通过协调模式来进行比较判断,参照图像以及判断对象图像双方都没有必要进行抽取参数这样的参数化,所以可以进行迅速的处理。
本实施例对于那些具有抽象模糊概念区域的对象物也能像对对象物图像那样进行准确快速地良否等状态的判断。
结合以上各实施例说明本实用新型,但是本实用新型并不只是限定于上述的各实施形态。例如,关于不合格品性置信度,考虑到了以关于图像的颜色、形状等的形状参数为基础,通过各种计算方法来规定的情况、根据判断对象物的性质可以对此进行各种调整。例如,对颜色、形状等各种参数可以进行加权(标注重要度)。具体地说,判断对象是否良好,由于判断对象物的颜色差异而表现出来巨大不同,这种情况下比起其他的要素要加大颜色参数要素的判断比重,优先处理颜色参数,以此可以更加准确地进行判断。
在划定第一实施例的图4A-4D和第二实施例的图6A-6F所示的分割区域工序上,虽然可进行自动地划定,但是也可加入部分人的判断。例如,在排除分割候补区域R1-R12中非判断对象区域的R7-R12的时候,检测每个区域所占的面积,去除低于规定值的区域,可自动进行划定,也可人工选择排除哪个区域。