CN1573800A - 图像识别装置和方法以及图像识别装置的示教装置和方法 - Google Patents

Abstract

本发明提供一种图像识别装置和方法以及图像识别装置的示教装置和方法，提供可以根据少量的示教图像简单地作成正确的示教数据的技术。获取标准对象物的图像，通过图像处理从该标准对象物的示教图像中抽出特征量，另一方面，使用者输入对象物的结构或公差等与对象物有关的已知知识，将该知识登录到知识库中。然后，根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据。然后，从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据。

Description

图像识别装置和方法以及图像识别装置的示教装置和方法

技术领域

本发明涉及一种根据图像来识别对象物的图像识别装置以及该图像识别装置的示教装置。

背景技术

专利文献1：特开平8-21803号公报

专利文献2：专利第3140177号公报

专利文献3：特开2001-168160号公报

以往已经公知以下技术：对利用照相机拍摄的图像实施图像处理，通过抽出特征量来识别对象物。这种图像识别技术被应用于以工业产品的检查装置或机器人的视觉装置为代表的各种图像识别装置中。

为了通过图像识别来确定对象物，需要将该对象物的特征预先教给计算机。将该作业称为示教。以检查装置为例进行说明，首先分别准备合格品和不合格品的样品，从对这些样品进行拍摄所得到的图像(示教图像(教師画像))中抽出合格品的相关特征量和不合格品的缺陷部分(伤痕或缺口等)的相关特征量，根据这些特征量，决定用于进行检查对象物是否合格的判定的判定基准值(示教数据)。

作为有关该领域的现有技术，已经公知有专利文献1～3等公开的技术。专利文献1提出了一种使神经处理单元事先学习各种缺陷信息，对通过缺陷检查检测到的缺陷的类型进行判定的装置。专利文献2提出了一种可以修改属于合格品和不合格品中间的对象物的检查基准值的装置。专利文献3提出了一种根据缺陷检测参数和缺陷的特征量数据判别对象物的缺陷类型的装置。

一般来说，需要识别的对象物总是具有因个体差异造成的偏差，而且由于照明或环境光等的摄像环境的变化致使图像产生偏差的情况也是经常发生的。并且，关于不合格品，缺陷类型是无数的，产生缺陷的位置及其形状大小等各式各样。因此，在进行示教时，需要准备尽可能多(例如几十～几百个)的合格品和不合格品的示教图像。

图9是表示以往的图像示教的概念图。图中用符号○绘制的点表示合格品的特征量，用符号×绘制的点表示不合格品的特征量。这样，通过收集大量的合格品和不合格品的特征量，把握合格品的偏差的趋势和不合格品的趋势之间的差异，在两者之间设定判定基准值(图中的实线)。

但是，由于不可能包罗万象地准备示教图像，所以仅通过图像示教很难把握合格品的偏差范围和不合格品的范围的正确边界。因此，如图所示，几乎所有情况下基准值(实线)与正确边界(虚线)都是不一致的。在该情况下，会导致发生下述的检查失误等：本来应该判定为合格品的对象物(图中的符号△)被判定为不合格品，本来应该判定为不合格品的对象物(图中的符号▲)被判定为合格品。

因此，以往为了正确(即按照使用者的意愿)判定合格品和不合格品，必须反复进行几次示教，或通过手工作业调整示教数据，或追加示教数据。但是，这种作业需要由具有很高技能和诀窍的熟练作业者花费大量的劳力和时间来进行的，所以期望得到改善。

发明内容

本发明就是鉴于上述情况而提出的，其目的是提供一种可以根据少量的示教图像简单地作成正确的示教数据的技术。

并且，本发明的另一目的是提供可以提高识别处理的成功率和精度的技术。

为了达到上述目的，本发明的示教装置进行以下所述的示教处理。

在本发明中，获取作为对象物而应该识别的物品中具有标准形态的标准对象物的图像，通过图像处理从该标准对象物的示教图像中抽出特征量。另一方面，由使用者输入对象物的偏差范围及其他有关对象物的已知知识，将该知识登录在知识库中。可以先进行这些处理的任一处理，也可以并行进行。

通过将从示教图像中抽出的标准对象物的形态的相关信息和作为知识而获得的有关对象物的偏差的信息进行组合，可以把握以标准对象物为中心的对象物的偏差范围、即作为对象物而应该识别的范围。

此处，作为对象物的偏差范围的知识，优选输入因对象物的个体差异造成的偏差范围和因摄像时的环境差异造成的偏差范围。由此，可以获得有关对象物固有的偏差的信息和有关因照明或环境光等的影响而产生的偏差的信息。

在工业产品的情况下，例如，作为因对象物的个体差异造成的偏差范围的知识，可以输入设计上的公差。设计上的公差可以根据CAD数据等的设计信息容易地得知，因为该公差原本就是表示对象物的可允许范围的信息。

并且，作为知识不限于对象物的偏差范围，也优选输入标准对象物的相关属性。例如，通过根据设计信息给出正确的尺寸或形状等的属性，可以更准确地定义作为对象物应该具备的形态的标准对象物。

在本发明中，根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景(context)数据，将该背景数据登录在知识库中。

从示教图像中抽出的特征量是仅表示作为具体物的标准对象物的特定信息，而根据该特征量和知识库的知识所生成的背景数据是表现应该识别的对象物整体(即、作为对象物而应该识别的范围)的一般信息的集合体。并且，由于同时管理各种属性和其意义，所以信息的通用性/挪用性得到提高，可以容易地将背景数据用于各种用途和用于解决问题。

此处，背景数据优选使用结构化语言来描述各种属性。这样，不限于可以定量定义的数值或数值范围，也可以系统地以计算机可处理的形式管理字符串、函数、构成要素的相关关系等的各种属性。

作为背景数据的代表性用途，其可以用于生成示教数据。在本发明中，从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据。由此，可以仅根据标准对象物的示教图像简单地作成正确的示教数据。

这样生成的示教数据被存储在示教数据存储单元中，供图像识别装置进行识别处理时使用。

本发明的图像识别装置获取工件的图像，通过图像处理从该工件的图像中抽出特征量，根据从示教数据存储单元读出的示教数据和所抽出的特征量进行识别处理，判定工件是否是对象物，由此进行工件的识别。使用在上述示教步骤中作成的正确的示教数据，在图像识别步骤中可以进行高精度的识别处理。另外，所谓的工件是指在图像识别步骤中供识别处理的物品。

并且，在图像识别步骤中也可以利用上述背景数据。

例如，在图像识别步骤中识别失败的情况下，根据所抽出的工件的特征量，生成定义该工件的各种属性的工件背景数据，根据所生成的工件背景数据和已登录在知识库中的对象物的背景数据的属性差异，对工件图像实施图像处理，可以使用实施了图像处理的工件图像进行识别处理。

由于在背景数据中定义了对象物的各种属性的标准状态，所以通过调查与该标准状态的差异，可以发现工件图像的问题点、即识别处理失败的原因。因此，如果实施用于消除该问题点的图像处理，用该图像处理后的图像再次进行识别处理，则可以提高识别处理的成功率和精度。

并且，在图像识别步骤中未得到正确的判定结果的情况下，根据所抽出的工件的特征量，生成定义该工件的各种属性的工件背景数据，根据所生成的工件背景数据和已登录在知识库中的对象物的背景数据的属性差异，选出能够正确进行工件判定的属性，从在识别处理中可以使用的多个识别逻辑中，查找可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑，可以生成查找到的识别逻辑用的示教数据。

这样，自动生成最佳识别逻辑的新的示教数据，所以不需要通过手工作业追加示教数据，可以降低示教所需时间和劳力，并提高识别处理的成功率和精度。

此处，在未查找到可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑的情况下，将该信息通知使用者即可。在该情况下，优选根据所选出的属性通知应该追加的识别逻辑的规范(仕樣)。这样，使用者可以发现应该追加的新的识别逻辑。

另外，本发明可以提供具有进行上述处理的至少一部分的单元的图像识别装置或图像识别装置的示教装置。并且，本发明可以提供具有进行上述处理的至少一部分的单元的图像识别方法或图像识别装置的示教方法，或实现该方法的图像识别程序或图像识别装置的示教程序。

附图说明

图1是表示本发明的第1实施方式涉及的图像识别装置的功能结构的方框图。

图2是表示本发明的实施方式中的示教的概念图。

图3是表示示教处理流程的流程图。

图4是说明示教处理中的数据流程的图。

图5是表示已登录在知识库中的背景数据的一例的图。

图6是表示本发明的第2实施方式涉及的图像识别装置的功能结构的方框图。

图7是表示识别处理流程的流程图。

图8是表示示教数据更新处理流程的流程图。

图9是表示以往的图像示教的概念图。

符号说明

1：图像识别部；2：示教部；3：桌子；4：检查物；10：摄像部；11：图像存储部；12：图像处理部；13：识别处理部；14：示教数据存储部；15：识别图像作成部20：背景化部；21：知识库；22：知识库作成部；23：示教数据生成部。

具体实施方式

以下，参照附图，根据示例详细说明本发明的优选实施方式。此处，示出把本发明应用于进行工业产品的产品检查的检查装置的示例。

第1实施方式

图1是表示本发明的第1实施方式涉及的图像识别装置的功能结构的方框图。如该图所示，图像识别装置大概由进行图像识别处理的图像识别部1和进行示教处理的示教部2构成。

图像识别装置的基本硬件可以由通用的计算机系统构成，该计算机系统具有：CPU(中央运算处理装置)、存储器(主存储装置)、硬盘(辅助存储装置)、显示器(显示部)、键盘(输入部)、MO装置(外部存储装置)、照相机(摄像部)等。图像识别部1和示教部2的各种功能是通过将存储在硬盘中的程序读入存储器，并由CPU执行，在软件和硬件的协同动作下而实现的。

图像识别部1由摄像部10、图像存储部11、图像处理部12、识别处理部13和示教数据存储部14构成。

摄像部10是获取图像的摄像单元。摄像部10可以使用CCD照相机等。摄像部10拍摄放置在桌子3上的检查物4，将其图像取入图像识别装置。通过摄像部10获取的图像被临时存储在由帧存储器等构成的图像存储部11中。另外，图像可以是彩色图像或深浅图像(黑白图像)，也可以是红外线图像等特殊图像。图像的种类可以根据图像识别装置的用途等进行适当选择。

图像处理部12是通过图像处理从图像中抽出特征量的图像处理单元。图像处理部12对从图像存储部11读入的图像实施图像处理，例如抽出检查物4的表面的透明度、纹理、颜色、明度、长度、面积等各种特征量。在此抽出的特征量被提供给识别处理部13。

识别处理部13是根据示教数据和由图像处理部12抽出的特征量进行识别处理，并判定图像中的检查物4是否是应该识别的对象物的识别处理单元。识别处理部13具有数量达几十～几百的多个识别逻辑，根据应该识别的对象物，区分使用一个或多个识别逻辑。应该识别的对象物例如有时是合格品，有时相反是包括含有缺陷(伤痕、缺口、装配不合格、锡焊不合格等)的不合格品。

识别处理的内容(所使用的识别逻辑的组合、识别逻辑的执行顺序、识别逻辑所参照的阈值或数值范围等)由示教数据来定义。示教数据可以为在识别处理部13中执行的各个识别处理准备多个数据，识别处理部13根据应该识别的对象物从设在硬盘或MO装置中的示教数据存储部14读出合适的示教数据并加以使用。这些示教数据是由示教部2生成的。

本实施方式的示教部2中的示教处理采用和以往完全不同的方法。首先，说明其不同点。

在以往的图像示教中，如上所述，尽可能多地准备应该识别的对象物(例如合格品)和除此以外的非对象物(例如不合格品)的示教图像，根据从这些示教图像得到的特征量的趋势决定合格品的偏差范围和不合格品的范围(参照图9)。

与此相对，本实施方式的示教具有以下特征。

第一是采用下述方法，即，在正确定义作为对象物而应该识别的物品中具有标准形态的对象物(以下称为标准对象物)之后，定义以该标准对象物为中心的对象物的偏差范围(即作为对象物而应该识别的范围)。

图2是表示该方法的概念图。图中用符号○绘制的点表示“标准对象物”，用个体差异的偏差和环境差的偏差的并集表示的范围表示“作为对象物而应该识别的范围”。

第二，为了实现该方法，不仅利用从示教图像得到的特征量，而且也利用使用者已经知道的有关对象物的知识。

从标准对象物的示教图像中，能够容易地得到有关标准对象物的形态的信息。并且，实际上也能获得只有观察图像才能明白的信息(例如，由于随着拍摄环境不同而看上去不同的颜色或明度等的信息、图像中的位置、大小、范围等信息)。但是，仅依靠这些信息不能得知作为对象物而应该识别的范围。并且，能够得到的关于标准对象物的信息也是有限的。

因此，在本实施方式中，通过从标准对象物的示教图像获取有关形态的特征量，另一方面根据设计信息等知识获取正确的尺寸、类型、结构、名称等各种属性，更准确地定义作为对象物应该具备的形态的标准对象物。并且，对于对象个体差异的偏差或环境差异的偏差等那样不能从示教图像获得的信息，作为知识予以提供。例如，提供设计信息的尺寸公差作为个体差值范围，将照明的照明强度变化对图像的影响数值化，作为环境差值范围来提供。

第三，为了系统地以计算机可处理的形式管理对象物的各种属性，采用作为背景数据的数据形式。背景数据是记述了用于得到对象物的各种属性及其意义的数据，利用XML(eXtensible Markup Language)等结构化语言进行描述。作为背景数据中所记述的属性，不限于可以定量定义的数值或数值范围，也可以包括字符串、函数、构成要素的相关关系等的信息。通过把各种信息记述在背景数据中，可以从各种侧面多方面地定义对象物。

从示教图像中抽出的特征量是仅表示作为具体物的标准对象物的特定信息，而根据该特征量和知识所生成的背景数据是表现应该识别的对象物整体(即、作为对象物而应该识别的范围)的一般信息的集合体。

因此，通过调查从工件图像得到的特征量是否包含在由背景数据定义的范围内，可以判断工件是否是对象物。当然，在实际识别处理中没有必要使用背景数据中包含的所有属性，所以在作成示教数据时，可以从背景数据仅抽出必要属性，生成阈值或数值范围等的判定基准值。

在本实施方式中，通过利用这种方法进行示教，可以根据少量的示教图像简单地作成正确的示教数据。

下面，说明用于实现上述示教处理的具体结构。

如图1所示，示教部2由摄像部10、图像存储部11、图像处理部12、背景化部20、知识库21、知识库作成部22和示教数据生成部23构成。另外，在本实施方式中，使图像识别部1和示教部2构成为一体，共用摄像部10、图像存储部11和图像处理部12的各构成要素，但也可以分别构成示教部2的部分和图像识别部1，形成外部示教装置。

知识库21是以背景数据的形式系统地存储对象物的各种属性的数据库。知识库作成部22的功能是向使用者提供把背景数据登录在知识库21中，或浏览、编辑、删除登录在知识库21中的背景数据的界面。

背景化部20是接受由图像处理部12抽出的特征量，根据该特征量和登录在知识库21中的知识生成背景数据的背景数据生成单元。在此生成的背景数据被登录在知识库21中。

示教数据生成部23是根据背景数据生成示教数据的示教数据生成单元。在此生成的示教数据被存储在示教数据存储部14中。

然后，参照图3～图5，说明示教处理的具体处理流程。图3是表示示教处理流程的流程图，图4是说明示教处理中的数据流程的图，图5是表示已登录在知识库中的背景数据的一例的图。

此处，以用于检查IC芯片合格与否的示教为例进行说明。即，“合格的IC芯片”成为应该识别的对象物，除合格的IC芯片以外的物品全部成为非对象物。

首先，使用者选定标准对象物的样品。作为标准对象物，例如可以选择样件。或者，也可以选择高精度制作的两三个合格样品。然后，利用摄像部10对选定的样品进行拍摄，获取示教图像(步骤S1)。

在图像处理部12中，对所获取的标准对象物的示教图像实施图像处理，抽出IC芯片表面的透明度、颜色、明度、纵横长度、面积等特征量(步骤S2)。并且，也可以抽出IC芯片周围的背景部分的特征量。在图4的示例中，抽出透明度“9”、颜色“RGB(50、50、50)”、明度“10”、长度“3.0001cm”、面积“9.0006cm²”等特征量。另外，在选择了多个样品作为标准对象物的情况下，把从各示教图像得到的特征量进行平均，作为标准对象物的特征量。

另一方面，在知识库作成部22中，使用者输入知识(步骤S2)。使用者操作知识库作成部22提供的知识输入用界面，可以输入对象物的名称、类型、结构、功能、个体差值范围、环境差值范围及其他有关对象物的已知知识。在图4的示例中，输入名称“IC芯片”、型号“QFP”、结构“IC封装体和引线管脚”、形状“正方形”、长度“3cm”、面积“9cm²”、管脚数“52管脚”、公差“长度±0.05mm”等知识。这些知识通过知识库作成部22被登录在知识库21中。另外，步骤S3的处理可以在步骤S1、S2之前进行，也可以并行进行。

然后，背景化部20将从示教图像中抽出的特征量和登录在知识库21中的知识进行组合，生成用于定义合格的IC芯片的背景数据(步骤S4)。此时，各属性按照其意义被分类/分级，使属性和其意义相对应地记述在背景数据中。这样，各种属性的意义结构变得明确化，成为使用者和计算机双方都容易使用的数据，同时提高信息的通用性/挪用性，可以容易地将背景数据用于各种用途和用于解决问题。

背景化部20在特征量和知识中都包含与相同属性有关的数据的情况下，优先使用作为知识提供的数据。这是因为作为知识提供的数据的可靠性高。在图4的示例中，在特征量和知识中都包含有关IC芯片的“长度”和“面积”的数据，但采用在背景数据中作为知识提供的“3cm”和“9cm²”。

这样作成的背景数据通过背景化部20被登录在知识库21中。如图5所示，在知识库21中可以登录大量对象物的背景数据。并且，不限于合格品，也可以登录缺陷自身等与对象物的种类无关的各种背景数据。

背景化部20在生成新的对象物的背景数据时，可以把所储存的背景数据作为知识加以利用。例如，可以使用具有共同性的对象物的背景数据的一部分，或通过沿用基础产品的背景数据并向其追加属性，生成多种变更产品的背景数据。并且，也可以使背景数据自身成为其他背景数据的构成要素。之所以可以这样容易地利用背景数据是因为背景数据是将各种属性和意义内容一起结构化保持的。

在生成背景数据后，示教数据生成部23生成识别处理用的示教数据(步骤S5)。具体处理如下。

首先，决定在识别处理中所利用的识别逻辑。这可以由使用者来选择。此时，优选示教数据生成部23将背景数据中包含的属性和在各识别逻辑中使用的特征量的类型进行对比，将可以利用或最适合的识别逻辑作为候补选出。在图4的示例中，通过示教数据生成部23选出可以利用的4个(A～D)识别逻辑，使用者从其中选择识别逻辑B。

然后，参照在识别逻辑中使用的特征量的类型，从已登录在知识库21中的背景数据中抽出与该类型对应的属性。例如，在识别逻辑B是使用明度和面积这两个特征量的情况下，示教数据生成部23从背景数据抽出IC芯片的明度和面积以及与明度和面积的偏差有关的属性(个体差值范围、环境差值范围等)。在此抽出明度“10”、面积“9cm²”、明度的公差“±0.2”、面积的公差“±0.003cm²”。

然后，根据识别逻辑B的内容适当加工所抽出的属性，生成用于进行该识别处理的示教数据。例如，识别逻辑B把明度的上限值和面积的下限值用作阈值时，根据上述属性算出明度的上限值“10.2”和面积的下限值“8.997cm²”。并且，在实际的识别处理中，由于按照像素数处理面积，所以根据图像清晰度，把面积的下限值“8.997cm²”变换为像素数“7440”。根据这样算出的阈值生成示教数据。另外，图4的示教数据中包含的“范围”值是表示图像中的IC芯片的位置的范围，是由使用者设定的。

在步骤S6中，对是否能够利用所生成的示教数据正确地进行(按照使用者的意愿)识别处理进行测试检查。例如，准备几个IC芯片的合格样品和不合格样品，对这些样品进行识别处理，确认其判断结果。

在正确进行识别处理的情况下，将示教数据存储在示教数据存储部14，结束示教处理。反之，在识别处理失败的情况下，返回到步骤S3，将有关对象物的更详细的知识登录在知识库中后，再次重复生成背景数据和示教数据(步骤S7)。

根据以上所述的本实施方式的示教处理，可以根据一个或几个少量的示教图像简单地作成正确的示教数据，能够降低示教所需时间和劳力。

在上述示教步骤结束后，图像识别装置进入图像识别步骤(IC芯片的产品检查)。在产品检查中，通过摄像部10获取工件(检查物)的图像，在图像处理部12中通过图像处理从工件的图像中抽出特征量，在识别处理部13中，根据从示教数据存储部14读出的示教数据和所抽出的特征量进行识别处理，判定工件是否是对象物。并且，在判定为对象物的情况下，输出合格品的判定结果，在除此以外的情况下输出不合格品的判定结果。根据本实施方式，使用通过上述示教处理所作成的正确的示教数据，可以进行高精度的识别处理。

第2实施方式

如上所述，在背景数据中记述了对象物的各种属性及其意义。因此，背景数据的信息的通用性/挪用性良好，可容易地用于各种用途和用于解决问题。在第1实施方式中把背景数据用于生成示教数据，但在第2实施方式中还把背景数据用于识别处理。

图6是表示本发明的第2实施方式涉及的图像识别装置的功能结构的方框图。其与第1实施方式涉及的图像识别装置的结构差异是具有识别图像作成部15。以下，以本实施方式特有的结构和作用为中心进行说明，对与第1实施方式相同的部分使用相同符号，并省略其详细说明。

图7是表示识别处理流程的流程图。参照该图，对使用在第1实施方式中生成的示教数据进行IC芯片的合格与否的检查时的处理流程进行说明。

首先，通过摄像部10对工件进行拍摄，获取工件的图像(步骤S10)。在图像处理部12中，对所获取的工件图像实施图像处理，抽出IC芯片表面的透明度、纹理、颜色、明度、长度、面积等各种特征量(步骤S11)。并且，也可以抽出IC芯片周围的背景部分的特征量。

识别处理部13从示教数据存储部14读出示教数据。并且，根据示教数据和在图像处理部12中抽出的特征量进行识别处理(步骤S12)。

此处，按照由示教数据所定义的识别处理的内容，从特征量中选出明度和面积，将它们的数值提供给识别逻辑B。通过识别逻辑B检查工件的明度是否小于等于阈值“10.2”，工件的面积(像素)数是否大于等于“7440”。在满足这两个条件的情况下，判定为合格的IC芯片，在至少不满足一个条件的情况下，判定为不合格品。在得到判定结果的情况下视为识别成功。在该情况下，将判定结果输出给显示器，结束识别处理(步骤S13、S14)。

另外，在图像处理部12中不能抽出识别处理所需要的特征量(明度和面积)的情况下、即使抽出但其值大大偏离正常值的情况下、以及其他识别处理不能正常进行的情况下，不能得到判定结果，视为识别失败。在该情况下，转入步骤S15～S17的识别图像作成处理(步骤S13)。

在识别图像作成处理中，首先，背景化部20从图像处理部12接受从工件图像中抽出的特征量，根据这些特征量生成定义工件的各种属性的工件背景数据(步骤S15)。工件背景数据是和背景数据形式相同的数据，其记述了工件属性及其意义。所生成的工件背景数据被提供给识别图像作成部15。

识别图像作成部15读出已登录在知识库21中的对象物的背景数据，对工件背景数据的各属性和与背景数据对应的属性进行比较，调查属性上的差异(步骤S16)。由于在背景数据中定义了对象物的各种属性的标准状态，所以通过调查与该标准状态的差异，可以发现工件的原图像的问题点、即识别处理失败的原因。

然后，识别图像作成部15从图像存储部11接受工件的原图像，根据所检测到的属性差异，对工件的图像实施适当的图像处理，作成识别图像(步骤S17)。

例如，在面积和长度的数值大不相同的情况下，推测为在图像处理部12中不能正常进行边缘抽出或区域抽出，为了解决该问题，实施清晰化(sharpness)或强调边缘等的图像处理。或者，在图像整体的色调和深浅度偏离标准状态的情况下，为了校正该差异，实施色调校正、深浅度校正、对比度校正等图像处理。除此之外，还根据属性的类型或差异的内容等，实施清除噪声、清晰度变换等适当的图像处理。

这样得到的识别图像成为消除了工件的原图像问题点的图像。因此，如果使用该识别图像再次进行识别处理(步骤S11、S12)，识别成功的概率高。并且，识别图像与原图像相比，S/N提高，所以也提高了识别精度。

根据以上所述的本实施方式的图像识别装置，即使在根据拍摄得到的原图像进行的识别失败的情况下，也能自动生成改正了原图像的问题点的识别图像，使用识别图像再次进行识别处理，所以提高了识别处理的成功率和精度。

第3实施方式

在本发明的第3实施方式中，把背景数据用于示教数据的更新处理。

另外，本实施方式涉及的图像识别装置的结构与第1或第2实施方式的相同，所以省略图示，以下使用相同符号进行说明。

图8是表示示教数据更新处理流程的流程图。该流程图的步骤S20的识别处理的内容和图7的流程图中的步骤S10～S17相同。

在识别处理成功的情况下，将其判定结果输出给显示器(步骤S20)。使用者可以在此输入判定结果是否正确(是否是符合使用者意愿的结果)。

判定结果不正确指的是示教数据不合适。因此，在使用者输入判定结果错误的情况下(步骤S21)，进行后面所述的示教数据更新处理。

首先，背景化部20从图像处理部12接受从工件图像中抽出的特征量，根据这些特征量生成工件背景数据(步骤S22)。所生成的工件背景数据被提供给示教数据生成部23。

示教数据生成部23读出已登录在知识库21中的对象物的背景数据，对工件背景数据的各属性和与背景数据对应的属性进行比较，调查属性上的差异(步骤S23)。然后，根据属性差异选出至少一个能够正确进行工件判定的属性(例如，差异表现明显的属性、或相反几乎没有差异的属性等)。

然后，示教数据生成部23从在识别处理中可以使用的多个识别逻辑中，查找可以使用与在步骤S23中选出的属性对应的特征量进行识别处理的识别逻辑或识别逻辑的组合(步骤S24)。

在查找到符合的识别逻辑的情况下(步骤S25)，更新示教数据(步骤S26)。此时，可以向已有的示教数据追加此次查找到的识别逻辑的相关内容，也可以用此次的内容替换原有的示教数据。

另一方面，在未查找到符合的识别逻辑的情况下，将该信息通知使用者(步骤S27)。此时，可以在显示器上显示通知应该追加的识别逻辑的规范的信息，例如“请追加根据特征量X、Y、Z进行识别处理的识别逻辑”。使用者按照所通知的规范开发并追加新的识别逻辑，由此可以进行正确的识别处理。

根据以上所述的本实施方式的图像识别装置，在未能得到正确的判定结果的情况下，自动生成最佳识别逻辑的新的示教数据，所以不需要通过手工作业追加示教数据，可以降低示教所需要的时间和劳力，并提高识别处理的成功率和精度。

并且，在不存在符合的识别逻辑的情况下，通知应该追加的识别逻辑的规范，所以可以发现新的应该追加的识别逻辑。这一点在处理利用现有的识别逻辑不能识别的新对象物时等非常有效。

另外，上述第1～第3实施方式只不过示出了本发明的一个具体示例。本发明的范围不限于上述实施方式，可以在其技术思想的范围内进行各种变更。

例如，在上述实施方式中，把本发明应用于进行工业产品的产品检查的检查装置，但也可以把本发明应用于检查装置以外的以机器人的视觉装置为代表的各种图像识别装置。

并且，关于示教处理和图像识别处理中使用的特征量和属性的类型、背景数据和示教数据的格式，也不限于上述实施方式所例示的形态，可以根据应该识别的对象物和图像识别装置的结构等进行适当变更。

如上所述，根据本发明，可以根据少量的示教图像简单地作成正确的示教数据。并且，根据本发明可以提高识别处理的成功率和精度。

Claims (22)

1.一种图像识别装置的示教方法，其特征在于，包括以下步骤：

获取作为对象物而应该识别的物品中具有标准形态的标准对象物的图像，通过图像处理从该标准对象物的示教图像中抽出特征量；

由使用者输入对象物的偏差范围及其他有关对象物的已知知识，将该知识登录在知识库中；

根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据，将该背景数据登录在知识库中；

从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据。

2.权利要求1所述的图像识别装置的示教方法，其特征在于，

作为对象物的偏差范围的知识，输入因对象物的个体差异造成的偏差范围和因拍摄时的环境差异造成的偏差范围。

3.权利要求2所述的图像识别装置的示教方法，其特征在于，

作为因对象物的个体差异造成的偏差范围的知识，输入设计上的公差。

4.权利要求1～3中任一项所述的图像识别装置的示教方法，其特征在于，

作为知识，输入标准对象物的相关属性。

5.权利要求1～4中任一项所述的图像识别装置的示教方法，其特征在于，

背景数据使用结构化语言描述各种属性。

6.一种图像识别装置的示教装置，其特征在于，具有：

摄像部，其获取作为对象物而应该识别的物品中具有标准形态的标准对象物的图像；

图像处理部，其通过图像处理从该标准对象物的示教图像中抽出特征量；

知识库，其存储知识及背景数据；

知识库作成部，其把使用者输入的对象物的偏差范围及其他有关对象物的已知知识登录在知识库中；

背景数据生成部，其根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据，将该背景数据登录在知识库中；

示教数据生成部，其从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据。

7.权利要求6所述的图像识别装置的示教装置，其特征在于，

作为对象物的偏差范围的知识，输入因对象物的个体差异造成的偏差范围和因摄像时的环境差异造成的偏差范围。

8.权利要求7所述的图像识别装置的示教装置，其特征在于，

作为因对象物的个体差异造成的偏差范围的知识，输入设计上的公差。

9.权利要求6～8中任一项所述的图像识别装置的示教装置，其特征在于，

作为知识，输入标准对象物的相关属性。

10.权利要求6～9中任一项所述的图像识别装置的示教装置，其特征在于，

背景数据使用结构化语言描述各种属性。

11.一种图像识别装置的示教程序，其特征在于，

使计算机执行下述处理：

获取作为对象物而应该识别的物品中具有标准形态的标准对象物的图像，通过图像处理从该标准对象物的示教图像中抽出特征量的处理；

由使用者输入对象物的偏差范围及其他有关对象物的已知知识，将该知识登录在知识库中的处理；

根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据，将该背景数据登录在知识库中的处理；

从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据的处理。

12.一种图像识别方法，其特征在于，

包括示教步骤和图像识别步骤，

其中，在示教步骤中执行下述处理：

获取作为对象物而应该识别的对象物中具有标准形态的标准对象物的图像，通过图像处理从该标准对象物的示教图像中抽出特征量；

由使用者输入对象物的偏差范围及其他有关对象物的已知知识，将该知识登录在知识库中；

根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据，将该背景数据登录在知识库中；

从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据；

将所生成的示教数据存储在示教数据存储单元中，

在图像识别步骤中执行下述处理：

获取工件的图像，通过图像处理从该工件图像中抽出特征量；

根据从示教数据存储单元读出的示教数据和所抽出的特征量，执行识别处理，判定工件是否是对象物。

13.权利要求12所述的图像识别方法，其特征在于，

在图像识别步骤的识别失败的情况下，

根据所抽出的工件的特征量，生成定义该工件的各种属性的工件背景数据；

根据所生成的工件背景数据和已登录在知识库中的对象物的背景数据的属性差异，对工件图像实施图像处理；

使用实施了图像处理的工件图像进行识别处理。

14.权利要求12或13所述的图像识别方法，其特征在于，

在图像识别步骤未得到正确的判定结果的情况下，

根据所抽出的工件的特征量，生成定义该工件的各种属性的工件背景数据；

根据所生成的工件背景数据和已登录在知识库中的对象物的背景数据的属性差异，选出能够正确进行工件判定的属性；

从在识别处理中可以使用的多个识别逻辑中，查找可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑；

生成查找到的识别逻辑用的示教数据。

15.权利要求14所述的图像识别方法，其特征在于，

在未查找到可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑的情况下，将该信息通知使用者。

16.权利要求15所述的图像识别方法，其特征在于，

在未查找到可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑的情况下，根据所选出的属性通知应该追加的识别逻辑的规范。

17.一种图像识别装置，其特征在于，

包括示教单元和图像识别单元，

其中，示教单元包括：

摄像部，其获取作为对象物而应该识别的物品中具有标准形态的标准对象物的图像；

图像处理部，其通过图像处理从该标准对象物的示教图像中抽出特征量；

知识库，其存储知识和背景数据；

知识库作成部，其把使用者输入的对象物的偏差范围及其他有关对象物的已知知识登录在知识库中；

背景数据生成部，其根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据，将该背景数据登录在知识库中；

示教数据生成部，其从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据，

图像识别单元包括：

摄像部，其获取工件的图像；

图像处理部，其通过图像处理从该工件图像中抽出特征量；

示教数据存储部，其存储示教数据生成部所生成的示教数据；

识别处理部，其根据从示教数据存储部读出的示教数据和所抽出的特征量，执行识别处理，判定工件是否是对象物。

18.权利要求17所述的图像识别装置，其特征在于，

图像识别单元还包括：

背景数据生成部，其根据图像处理部所抽出的工件的特征量，生成定义该工件的各种属性的工件背景数据；

识别图像作成部，其根据所生成的工件背景数据和已登录在知识库中的对象物的背景数据的属性差异，对工件图像实施图像处理。

19.权利要求18所述的图像识别装置，其特征在于，

图像识别单元还具有可以在识别处理中使用的多个识别逻辑；

上述示教数据生成部根据背景数据生成部所生成的工件背景数据和已登录在知识库中的对象物的背景数据的属性差异，选出能够正确进行工件判定的属性，查找可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑，生成查找到的识别逻辑用的示教数据。

20.权利要求19所述的图像识别装置，其特征在于，

还具有显示部，

上述背景数据生成部在未查找到可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑的情况下，将该信息显示在上述显示部上。

21.权利要求20所述的图像识别装置，其特征在于，

上述背景数据生成部在未查找到可以使用与所选出的属性对应的特征量进行识别处理的识别逻辑的情况下，根据所选出的属性将应该追加的识别逻辑的规范显示在上述显示部上。

22.一种图像识别程序，其特征在于，

使计算机执行示教处理和图像识别处理，

其中，示教处理的内容为：

获取作为对象物而应该识别的对象物中具有标准形态的标准对象物的图像，通过图像处理从该标准对象物的示教图像中抽出特征量；

由使用者输入对象物的偏差范围及其他有关对象物的已知知识，将该知识登录在知识库中；

根据从标准对象物的示教图像中抽出的特征量和已登录在知识库中的知识，生成记述了用于得到对象物的各种属性及其意义的背景数据，将该背景数据登录在知识库中；

从已登录在知识库中的背景数据中抽出与在识别处理中使用的特征量类型对应的属性，生成该识别处理用的示教数据；

将所生成的示教数据存储在示教数据存储单元，

图像识别处理的内容为：

获取工件的图像，通过图像处理从该工件图像中抽出特征量；

根据从示教数据存储单元读出的示教数据和所抽出的特征量，执行识别处理，判定工件是否是对象物。

Images