CN108876761B - 图像处理装置、电脑可读取记录媒体、图像处理系统 - Google Patents

图像处理装置、电脑可读取记录媒体、图像处理系统 Download PDF

Info

Publication number
CN108876761B
CN108876761B CN201810143688.7A CN201810143688A CN108876761B CN 108876761 B CN108876761 B CN 108876761B CN 201810143688 A CN201810143688 A CN 201810143688A CN 108876761 B CN108876761 B CN 108876761B
Authority
CN
China
Prior art keywords
image
processing
feature detection
post
measurement result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810143688.7A
Other languages
English (en)
Other versions
CN108876761A (zh
Inventor
池田泰之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN108876761A publication Critical patent/CN108876761A/zh
Application granted granted Critical
Publication of CN108876761B publication Critical patent/CN108876761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明提出一种图像处理装置、电脑可读取记录媒体、图像处理系统。图像处理装置包括：特征检测图像生成单元，通过将经过事前学习的具有多个类别的卷积神经网络应用于输入图像，从而分别生成对应于多个类别的多个特征检测图像；后处理单元，通过按照设定参数对多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果；以及用户界面单元，向用户提示多个特征检测图像的至少一部分及计测结果该两者中的至少一者，并且接收设定参数，所述多个特征检测图像是由特征检测图像生成单元生成，所述计测结果是通过使用由特征检测图像生成单元生成的多个特征检测图像的至少一部分并利用后处理单元进行后处理而生成。

Description

图像处理装置、电脑可读取记录媒体、图像处理系统
技术领域
本发明涉及一种图像处理装置、电脑可读取记录媒体、图像处理系统，能够执行使用有卷积神经网络(CNN，convolutional neural network)的图像计测处理。
背景技术
在工业自动化(Factory Automation，FA)领域中，使用有图像计测处理的自动控制正在被广泛实用化。例如，能够实现如下这样的检查工序：通过拍摄工件等被检查对象并根据该所拍摄的图像算出缺陷等特征值，以此来检查该工件的好坏。
作为这种图像计测处理的一例，卷积神经网络(以下也简称为“CNN”)受到关注。例如，如非专利文献1所示，CNN是卷积层(convolutional layer)与池化层(pooling layer)交替配置而成的具有多层化结构的网络。
[背景技术文献]
[非专利文献]
[非专利文献1]"Learning Deep Features for DiscriminativeLocalization",Bolei Zhou,Aditya Khosla,Agata Lapedriza,Aude Oliva,AntonioTorralba,The IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,pp.2921-2929
发明内容
[发明欲解决的课题]
如所述非专利文献1中公开的方法，在使用CNN执行图像分析等时，通过使用多个学习图像的学习来构筑CNN，并将该所构筑的CNN用于图像分析。
另一方面，当考虑FA领域中的使用方式时，在生产线上经过的工件的种类等被频繁变更的情况也较多，每次都要构筑CNN，这样没有效率。因此，业界正期待一种适合在FA领域中利用使用有CNN的图像计测处理的构成。
[解决课题的手段]
根据本发明的一方面，提供一种图像处理装置，它对通过拍摄被检查对象而生成的输入图像进行图像计测处理。图像处理装置包括：特征检测图像生成单元，通过将经过事前学习的具有多个类别的卷积神经网络应用于输入图像，分别生成对应于多个类别的多个特征检测图像；后处理单元，通过按照设定参数对多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果；以及用户界面单元，向用户提示多个特征检测图像的至少一部分及计测结果该两者中的至少一者，并且接收设定参数的输入，所述多个特征检测图像是由特征检测图像生成单元生成，所述计测结果是通过使用由特征检测图像生成单元生成的多个特征检测图像的至少一部分并利用后处理单元进行后处理而生成。
优选的是，后处理单元包括图像运算单元，所述图像运算单元通过使用多个特征检测图像中的两个以上特征检测图像进行图像运算处理，从而生成运算结果图像。
优选的是，图像运算处理包括特征检测图像彼此的相加、特征检测图像间的相减、特征检测图像彼此的加权相加、特征检测图像间的加权相减中的至少一种。
优选的是，用户界面单元除向用户提示根据单个特征检测图像生成的计测结果以外，还向用户提示根据运算结果图像生成的计测结果。
优选的是，用户界面单元根据用户选择来决定要提示给用户的图像种类。
优选的是，后处理单元还包括二值化处理单元，所述二值化处理单元对特征检测图像或运算结果图像进行二值化处理。用户界面单元接收二值化处理单元中的二值化处理所用的阈值的设定作为设定参数。
优选的是，当用户界面单元接收用户对于设定参数的变更时，后处理单元通过按照变更后的设定参数进行后处理而生成新的计测结果，并且由用户界面单元向用户提示新生成的计测结果。
优选的是，用户界面单元向用户提示在输入图像上重叠计测结果而成的图像。
根据本发明的另一方面，提供一种电脑可读取记录媒体，记录有图像处理程序，所述图像处理程序用以实现图像处理装置，所述图像处理装置对通过拍摄被检查对象而生成的输入图像进行图像计测处理。图像处理程序使电脑执行如下步骤：通过将经过事前学习的具有多个类别的卷积神经网络应用于输入图像，从而分别生成对应于多个类别的多个特征检测图像；通过按照设定参数对多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果；以及向用户提示所要生成的多个特征检测图像的至少一部分及计测结果该两者中的至少一者，并且接收设定参数的输入，所述计测结果是通过使用所要生成的多个特征检测图像的至少一部分进行后处理而生成。
根据本发明的又一方面，提供一种图像处理系统，所述图像处理系统包括：拍摄部，用以拍摄被检查对象；以及图像处理装置，对由拍摄部生成的输入图像进行图像计测处理。图像处理装置包括：特征检测图像生成单元，通过将经过事前学习的具有多个类别的卷积神经网络应用于输入图像，从而分别生成对应于多个类别的多个特征检测图像；后处理单元，通过按照设定参数对多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果；以及用户界面单元，向用户提示多个特征检测图像的至少一部分及计测结果该两者中的至少一者，并且接收设定参数的输入，所述多个特征检测图像是由特征检测图像生成单元生成，所述计测结果是通过使用由特征检测图像生成单元生成的多个特征检测图像的至少一部分并利用后处理单元进行后处理而生成。
[发明的效果]
根据本发明，能够实现适合在FA领域中利用使用有CNN的图像计测处理的构成。
附图说明
图1是表示本实施方式的图像处理系统的系统构成例的示意图。
图2是表示本实施方式的图像处理装置的硬件构成的示意图。
图3是用以说明本实施方式的图像处理系统中的使用有CNN的图像计测处理的处理顺序的一例的图。
图4是用以说明本实施方式的图像处理系统中的图像运算处理的一例的图。
图5是表示本实施方式的图像处理装置的功能构成的示意图。
图6(a)、图6(b)是用以说明本实施方式的图像处理装置中的图像运算处理的一例的图。
图7(a)、图7(b)是用以说明本实施方式的图像处理装置中的图像运算处理的另一例的图。
图8是用以说明本实施方式的图像处理装置中的图像运算处理的又一例的图。
图9是表示本实施方式的图像处理装置所提供的用户界面画面200的一例的示意图。
图10是表示本实施方式的图像处理装置所提供的用户界面画面202的一例的示意图。
图11是表示本实施方式的图像处理装置所提供的用户界面画面204的一例的示意图。
图12是用以说明图10及图11所示的用户界面画面中的计测结果图像的重叠显示的图。
图13是表示本实施方式的图像处理装置所提供的输入图像上重叠显示有计测结果的一例的图。
图14是表示本实施方式的图像处理系统中的准备工序的处理顺序的流程图。
图15是表示本实施方式的图像处理系统中的运用工序的处理顺序的流程图。
[符号的说明]
1：图像处理系统
2：带式输送机
4：工件
6：拍摄视野
8：上级网络
10：PLC
12：数据库装置
100：图像处理装置
102：相机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主内存
114：相机界面
116：输入界面
118：显示界面
120：通信界面
122：内部总线
130：存储器
132：图像处理程序
134：OS
136：设定参数
138：输入图像
140：计测结果
152：输入缓冲器
154：前处理部
156：CNN引擎
158：选择部
160：图像运算部
162：二值化处理部
164：判定处理部
166：用户界面部
170：后处理部
200、202、204：用户界面画面
212、214、216、218：特征检测图像
220、224：选择受理区域
222、226、227：单选按钮群
232、234、236、238、242：计测结果图像
240：检测区域
244：显示区域
246：下拉列表
250：后处理设定受理区域
252、254：滑动条
具体实施方式
一边参照附图，一边对本发明的实施方式进行详细说明。另外，对图中的相同或相当部分标附相同符号且不重复进行其说明。
＜A.系统构成例＞
首先，对本实施方式的图像处理系统1的系统构成例进行说明。本实施方式的图像处理系统1对通过拍摄被检查对象而生成的输入图像进行图像计测处理。
图1是表示本实施方式的图像处理系统1的系统构成例的示意图。参照图1，图像处理系统1例如通过对输入图像执行图像计测处理来实现工件4的外观检查或外观计测，所述输入图像是拍摄在带式输送机2上搬送的被检查对象即工件4而获得。在以下的说明中，作为图像计测处理的典型例，以工件4表面上有无缺陷的检查等为应用例进行说明，但并不限定于此，也能够应用于缺陷种类的指定或外观形状的计测等。
在带式输送机2的上部配置有作为拍摄部的相机102，相机102的拍摄视野6以包含带式输送机2的规定区域的方式构成。利用相机102的拍摄生成的图像数据(以下也称作“输入图像”)被发送到图像处理装置100。相机102所进行的拍摄是周期性地执行或按事件执行。
图像处理装置100具有CNN引擎，使用CNN引擎从输入图像生成每个类别的特征检测图像。基于所生成的一个或多个特征检测图像，判断对象工件有无缺陷等。或者，也能够检测缺陷的大小或位置等。
图像处理装置100通过上级网络8，与可编程逻辑控制器(Programmable LogicController，PLC)10及数据库装置12等连接。图像处理装置100中的计测结果也可被发送到PLC 10和/或数据库装置12。另外，对于上级网络8，除PLC 10及数据库装置12以外，也可连接任意装置。
图像处理装置100也可连接有显示器104、键盘106及鼠标108，所述显示器104用以显示处理中的状态或计测结果等，所述键盘106及鼠标108作为接收用户操作的输入部。
＜B.图像处理装置100的硬件构成＞
其次，对本实施方式的图像处理系统1中包含的图像处理装置100的硬件构成进行说明。
图2是表示本实施方式的图像处理装置100的硬件构成的示意图。参照图2，作为一例，图像处理装置100也可使用通用电脑来实现，所述通用电脑按照通用性电脑体系结构构成。图像处理装置100包含处理器110、主内存112、相机界面114、输入界面116、显示界面118、通信界面120及存储器130。典型来说，这些元件经由内部总线122以能够相互通信的方式连接。
处理器110通过将存储在存储器130中的程序扩展到主内存112并执行，从而实现如下所述的功能及处理。主内存112由易失性内存构成，作为处理器110执行程序所需的工作内存发挥功能。
相机界面114与相机102连接，获取利用相机102拍摄的输入图像。相机界面114也可对相机102指示拍摄时序等。
输入界面116与键盘106及鼠标108等输入部连接，获取表示用户对输入部进行的操作等的指令。
显示界面118与显示器104连接将通过处理器110执行程序而生成的各种处理结果输出到显示器104。
通信界面120负责用以经由上级网络8而与PLC 10及数据库装置12等进行通信的处理。
存储器130存储有图像处理程序132以及操作系统(operating system，OS)134等用以使电脑作为图像处理装置100发挥功能的程序。存储器130也可更存储有如下所述的用以实现图像计测处理的设定参数136、从相机102获取的输入图像138以及通过图像计测处理获得的计测结果140。
存储器130中存储的图像处理程序132也可经由数字多功能光盘(digitalversatile disc，DVD)等光学记录介质或通用串行总线(universal serial bus，USB)内存等半导体记录介质等，安装到图像处理装置100中。或者，图像处理程序132也可从网络上的服务器装置等进行下载。
如此，使用通用电脑来实现时，也可通过以规定的顺序和/或时序调出OS 134所提供的软件模块中的所需软件模块进行处理，以此来实现本实施方式的部分功能。也就是说，本实施方式的图像处理程序132也可不包含用以实现本实施方式的功能的全部软件模块，而通过与OS协动来提供所需的功能。
本实施方式的图像处理程序132也可组入其他程序的一部分而提供。此时，图像处理程序132本身也不包含如上所述所组合的其他程序中包含的模块，而与该其他程序协动地执行处理。如此，本实施方式的图像处理程序132也可为组入其他程序的方式。
在图2中表示使用通用电脑实现图像处理装置100的例子，但并不限定于此，也可使用专用电路(例如，专用集成电路(application specific integrated circuit，ASIC)或现场可编程门阵列(field-programmable gate array，FPGA)等)实现其全部或部分功能。而且，也可让经网络连接的外部装置来负责部分处理。
＜C.使用有CNN的图像计测处理＞
其次，对将使用有CNN的图像计测处理应用于FA领域时的课题等进行说明。
图3是用以说明本实施方式的图像处理系统1中的使用有CNN的图像计测处理的处理顺序的一例的图。在本实施方式的图像处理系统1中，使用经过事前学习的具有多个类别的CNN。在图3中表示“白点”、“黑点”、“白线”、“黑线”作为工件上产生的四个缺陷的种类(类别)。通过使用多个具有这四个类别的任一特征的学习图像进行事前学习，从而构筑CNN。另外，当进行CNN的事前学习时，可采用所谓的监督学习以及无监督学习的任一种。
在本实施方式的图像处理系统1中，使用预先具有多个种类(类别)的CNN，因此，当对CNN提供某输入图像时，分别生成针对各类别的特征检测图像。
如图3所示，通过将由相机102等拍摄的输入图像输入至CNN，分别生成将特征值设为“白点”、“黑点”、“白线”、“黑线”的特征检测图像。在图3所示的特征检测图像中，以表示相对应的各特征的区域与其他区域相比更亮的方式进行浓淡显示。
另一方面，输入图像中包含的缺陷的种类未知，因此，通过将各特征检测图像加以比较，选择认为是最恰当地提取出缺陷的特定的一张特征检测图像，并采用二值化处理等后处理，由此获得计测结果。在图3所示的例子中，示出选择“黑线”的特征检测图像并对该所选择的“黑线”的特征检测图像进行二值化处理所得的结果。也可对经二值化处理所得的结果，例如算出提取对象图案(例如缺陷)的有无、提取对象图案的大小、提取对象图案的位置等，并作为计测结果输出。
在本说明书中，“计测结果”除包含对输入图像执行图像计测处理时所获得的判定结果(例如提取对象图案(例如缺陷)的有无、提取对象图案的大小、提取对象图案的位置等)以外，还可包含用于输出判定结果的图像(以下也称作“计测结果图像”)。根据后处理的处理内容，计测结果图像有时为用于生成最终判定结果的图像，有时为在后处理的中间阶段生成的图像。
如此，通过采用如下这样的构成，能够实现通用性图像处理系统，所述构成是：可使用作为代表性样本的多个类别的学习图像，预先构筑一种通用性CNN，并使用这种CNN来执行图像计测处理。
另一方面，当采用通用性CNN时，也可能产生如下课题。
首先，根据输入图像内存在的特征的种类或大小，有时无法将该特征完全分类至特定的类别，而出现在多个类别的特征检测图像中。如果参照图3所示的例子，则在“黑线”的特征检测图像内也出现有相当于“黑点”的特征值。也就是说，在“黑线”的特征检测图像及“黑点”的特征检测图像中，都共同出现点状的特征部分。相反地，有时也会某一个特征分裂出现在多个类别的特征检测图像中。
根据这种输入图像中包含的特征的种类或大小，变得难以进行缺陷与缺陷以外(例如背景部分)的图案分离。
其次，需要设定与应提取的特征(例如缺陷)的种类或大小相应的后处理。此时，必须将应提取的特征所在的输入图像内的位置与通过后处理获得的计测结果图像内的位置加以比较以进行确认，所以需要工夫及时间。此外，当在暂时设定后处理后再次变更设定时，也需要相同的工夫。也就是说，必须针对从某个输入图像生成的全部特征检测图像确认计测结果，这种情况也需要工夫及时间。
因此，在本实施方式的图像处理系统1中，共同使用通用地经过事前学习的CNN，同时还使用由该CNN生成的多个特征检测图像的一部分或全部，根据对象工件而生成要成为后处理对象的图像。通过采用这种方法，实现更灵活的图像计测处理。
在本实施方式的图像处理系统1中，能够灵活地选择由CNN生成的多个特征检测图像中的用于图像计测处理的一个或多个特征检测图像。例如，如图3所示，在多个特征检测图像之中，选择被认为是最恰当的一个特征检测图像，并通过执行后处理而输出计测结果图像。
在本实施方式的图像处理系统1中，也能够通过针对所选择的多个特征检测图像的图像运算处理，生成如变得更容易将出现在对象工件中的特征提取出来的图像。
如图3所示，在“黑线”的特征检测图像内也出现有相当于“黑点”的特征值。当如这种同一特征出现在多个类别的特征检测图像中时，能够通过从一个特征检测图像中减去出现在另一个特征检测图像中的特征，而仅提取目标特征。
图4是用以说明本实施方式的图像处理系统1中的图像运算处理的一例的图。在图4中表示从“黑线”的特征检测图像减去“黑点”的特征检测图像的图像运算处理的例子。
在本说明书中，“图像运算处理”包括：在多个图像间，在对应的像素间进行包含四则运算在内的任意数学处理。在图4所示的例子中，执行以下处理：使用构成“黑线”的特征检测图像的各像素的亮度值和构成“黑点”的特征检测图像的各像素的亮度值，针对每个像素求出亮度值的差。
通过执行这种图像运算处理，获得如图4所示的运算结果图像。可知，在该运算结果图像中，出现在“黑线”的特征检测图像中的表示“黑点”的特征已删除或缩小。
而且，通过对运算结果图像执行包含二值化处理的后处理，而获得计测结果图像。可知，在图4所示的计测结果图像中，已充分提取出输入图像中包含的特征(缺陷)。
＜D.图像处理装置100的功能构成＞
其次，对本实施方式的图像处理系统1中包含的图像处理装置100的功能构成进行说明。
图5是表示本实施方式的图像处理装置100的功能构成的示意图。典型来说，图像处理装置100所具有的功能构成通过由处理器110执行图像处理程序132来实现。
参照图5，图像处理装置100包含输入缓冲器152、前处理部154、CNN引擎156、后处理部170以及用户界面部166作为功能构成。
输入缓冲器152暂时存储由相机102拍摄的输入图像。能够自前处理部154及用户界面部166访问输入缓冲器152。
前处理部154对输入缓冲器152中存储的输入图像执行所需的前处理。这种前处理的目的在于，对输入图像进行加工以使处于后段的利用CNN引擎156进行的特征提取变得容易。作为前处理的具体例，可列举明亮度修正或彩色/灰色转换等。关于前处理的内容，也可由用户经由用户界面部166进行指定。前处理后的输入图像被输出到CNN引擎156。
CNN引擎156提供特征检测图像生成功能，所述特征检测图像生成功能是通过将经过事前学习的具有多个类别的CNN应用于输入图像，从而分别生成对应于多个类别的多个特征检测图像。更具体来说，CNN引擎156具有经过事前学习以拥有对规定数量的类别的分级能力的网络，从而输出对应于各类别的特征检测图像(特征检测图像1、特征检测图像2、……、特征检测图像N)。利用CNN引擎156分别生成的多个特征检测图像被输出到后处理部170，并且也能从用户界面部166进行访问。
后处理部170通过按照设定参数对从CNN引擎156输出的多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果。后处理部170包含选择部158、图像运算部160、二值化处理部162以及判定处理部164。
选择部158按照来自用户界面部166的设定参数，将从CNN引擎156输出的多个特征检测图像中被指定的一个或多个特征检测图像输出到图像运算部160。设定参数包含应选择多个特征检测图像中的哪一个特征检测图像的信息。
图像运算部160按照来自用户界面部166的设定参数，对来自选择部158的多个特征检测图像，视需要执行图像运算处理，并将其结果输出到二值化处理部162。也就是说，图像运算部160提供图像运算功能，所述图像运算功能是通过使用多个特征检测图像中的两个以上特征检测图像进行图像运算处理，从而生成运算结果图像。另外，当选择部158仅提供一个特征检测图像时等，图像运算部160也可不进行任何图像运算处理，而直接输出到二值化处理部162。设定参数包含表示执行哪种图像运算处理的信息。
作为图像运算处理，例如，可列举加法处理、减法处理及它们的加权运算处理等。也就是说，图像运算处理典型来说包含特征检测图像彼此的相加、特征检测图像间的相减、特征检测图像彼此的加权相加、特征检测图像间的加权相减中的至少一种。
二值化处理部162按照来自用户界面部166的设定参数，对来自图像运算部160的图像(任意特征检测图像或运算结果图像)进行二值化处理，由此生成二值化图像。也就是说，二值化处理部162提供针对特征检测图像或运算结果图像进行二值化处理的功能。设定参数包含用于二值化处理的阈值(也称作“二值化电平”)等。
判定处理部164按照来自用户界面部166的设定参数，对来自二值化处理部162的二值化图像执行判定处理。更具体来说，判定处理部164对由二值化处理部162生成的二值化图像作标记，并且计算经标记后的面积及形状等，并且将计算结果与预先确定的阈值加以比较，由此进行更精密的判定。
作为这种判定处理，例如包括如下处理：基于作为特征区域提取出的部分的面积是否为预先确定的阈值以上，而判定输入图像中是否包含目标特征。设定参数包含指定用于判定处理的阈值或判断逻辑的信息等。
选择部158、图像运算部160、二值化处理部162、判定处理部164是指负责对从CNN引擎156输出的特征检测图像执行后处理的部位。
用户界面部166向用户提示多个特征检测图像的至少一部分及计测结果该两者中的至少一者，并且接收设定参数的输入，所述多个特征检测图像是由CNN引擎156生成，所述计测结果是通过使用由CNN引擎156生成的多个特征检测图像的至少一部分并利用后处理部170进行后处理而生成。更具体来说，用户界面部166经由显示器104向用户提示(图像显示)由图像计测处理生成的计测结果图像以及在图像计测处理的中途过程中生成的图像等，并且接收由用户经由键盘106及鼠标108等输入的指示(用户操作)。用户界面部166生成与用户操作相符的设定参数，并输出到担当后处理部的选择部158、图像运算部160、二值化处理部162、判定处理部164。用户界面部166所生成的设定参数被存储在存储器130等中(图2所示的存储器130的设定参数136)。
下文对用户界面部166提供的用户界面画面例进行说明。
＜E.图像运算处理例＞
其次，对能够通过针对多个特征检测图像的图像运算处理更恰当地提取特征的若干例子进行说明。
(e1：提取对象图案局部地兼具多个类别的特征时)
图6(a)、图6(b)是用以说明本实施方式的图像处理装置100中的图像运算处理的一例的图。在图6(a)中表示用于构筑CNN的学习图像的一例，在图6(b)中表示针对特征检测图像的图像运算处理的一例，所述特征检测图像是从利用图6(a)所示的学习图像构筑的CNN中生成。
例如，使用如图6(a)所示的作为类别1包含黑线特征的多个学习图像和作为类别2包含白线特征的多个学习图像来构筑CNN。当对这种CNN提供如图6(b)所示的输入图像时，单个提取对象图案分裂出现在多个类别的特征检测图像中。也就是说，图6(b)所示的输入图像兼具黑线特征和白线特征，以各自的特征不同的类别的特征检测图像分别进行提取。
在这种情况下，能够通过采用将各特征检测图像相加的图像运算处理，生成包含两种特征的图像。
(e2：提取对象图案的特征包含在多个类别中时)
图7(a)、图7(b)是用以说明本实施方式的图像处理装置100中的图像运算处理的另一例的图。在图7(a)中表示用于构筑CNN的学习图像的一例，在图7(b)中表示针对特征检测图像的图像运算处理的一例，所述特征检测图像是从利用图7(a)所示的学习图像构筑的CNN中生成。
例如，使用如图7(a)所示的作为类别1包含直线特征的多个学习图像和作为类别2包含点特征的多个学习图像来构筑CNN。在对这种CNN提供如图7(b)所示的输入图像时，特征出现在可能的全部类别的特征检测图像中。也就是说，存在于图7(b)所示的输入图像下侧的椭圆状的点图案作为特征出现在点的类别及直线的类别这两个类别中。该椭圆状的点图案是点，因此是不应作为直线提取的特征。
在这种状态下，当想要仅提取输入图像中包含的直线时，能够通过从直线的特征检测图像(图像A)减去点的特征检测图像(图像B)，从而生成不含椭圆状的点图案的运算结果图像(图像C)。
(e3：提取对象图案的特征以每个类别不同的强度出现时)
图8是用以说明本实施方式的图像处理装置100中的图像运算处理的又一例的图。使用如所述图7(a)所示的作为类别1包含直线特征的多个学习图像和作为类别2包含点特征的多个学习图像来构筑CNN。
当对这种CNN提供如图8所示的输入图像时，特征出现在可能的全部类别的特征检测图像中。其中，关于非提取对象的椭圆的点图案，相比于在点的特征检测图像，更强地出现在直线的特征检测图像中。此外，提取对象的线图案的对比度低，在直线的特征检测图像中反应也小(在该例中，浓度低)。
当这种出现在各特征检测图像中的强度不同时，即便从直线的特征检测图像(图像A)减去点的特征检测图像(图像B)，也可能残留非提取对象的椭圆状的点图案的特征。也就是说，在特征检测图像彼此的图像运算处理中，有时优选对至少一个特征检测图像乘以恰当的系数。
在图8所示的例子中，通过对直线的特征检测图像(图像A)及点的特征检测图像(图像B)分别乘以系数α及系数β(在图8所示的例子中，β＞α)，而能够执行“C＝α×A－β×B”的图像运算处理，由此，能够生成不含椭圆状的点图案的运算结果图像(图像C)。
另外，关于系数α及系数β，用户可一边目测运算结果图像，一边进行调整，用户也可通过指定不应提取的区域，使各系数最佳化。
(e4：小结)
本实施方式的图像运算处理并不限定于所述图像运算处理例，可根据用途采用任意运算。此外，为了方便说明，例示了使用有两个特征检测图像的图像运算处理，但并不限定于此，也可执行使用有三个以上特征检测图像的图像运算处理。
也就是说，本实施方式的图像运算处理可包括：以提取对象图案强烈出现的方式，对多个特征检测图像执行任意线性运算或非线性运算。
通过执行这种图像运算处理，典型来说，通过在特征检测图像间进行减法运算，能够消除重复出现在多个类别的特征检测图像中的非提取对象的图案。或者，当同一提取对象图案分裂出现在多个类别的特征检测图像中时，通过在特征检测图像间进行加法运算，而能够生成包含提取对象图案整体的图像。
＜F.用户界面画面例＞
其次，对本实施方式的图像处理装置100提供的用户界面画面的若干例子进行说明。
(f1：特征检测图像的选择)
图9是表示本实施方式的图像处理装置100提供的用户界面画面200的一例的示意图。参照图9，在用户界面画面200中，一览显示了通过对任意输入图像采用CNN而生成的四个特征检测图像212、特征检测图像214、特征检测图像216、特征检测图像218。
用户界面画面200包含选择受理区域220，所述选择受理区域220接收将四个特征检测图像212、214、216、218中的哪一个特征检测图像用于图像计测处理的选择。选择受理区域220例如包含用以接收特征检测图像的选择的单选按钮群222。
用户一边观察用户界面画面200上一览显示的多个特征检测图像212、214、216、218，一边提供对单选按钮群222的选择操作，选择适合图像计测处理的特征检测图像。将通过这种操作所选择的特征检测图像用于图像计测处理。对单选按钮群222的选择操作也可包含在图5所示的从用户界面部166提供给选择部158的设定参数中。
(f2：计测结果图像的选择)
图10是表示本实施方式的图像处理装置100提供的用户界面画面202的一例的示意图。参照图10，在用户界面画面202中，一览显示了通过对各特征检测图像采用后处理而生成的计测结果图像232、计测结果图像234、计测结果图像236、计测结果图像238，所述各特征检测图像是通过对任意输入图像采用CNN而生成。
用户界面画面202包含选择受理区域224，所述选择受理区域224接收将四个计测结果图像232、234、236、238中的哪一个计测结果图像用于图像计测处理的选择。选择受理区域224例如包含用以接收计测结果图像的选择的单选按钮群226。
用户一边观察用户界面画面202上一览显示的多个计测结果图像232、234、236、238，一边提供对单选按钮群226的选择操作，选择适合图像计测处理的计测结果图像。基于通过这种操作所选择的计测结果图像，输出计测结果。
也能够接收对单选按钮群226的多项选择。此时，也可将使所选择的两个以上计测结果图像相加所得的图像作为计测结果图像输出。
对单选按钮群226的选择操作也可包含在图5所示的从用户界面部166提供给选择部158的设定参数中。
在用户界面画面202上一览显示的计测结果图像232、计测结果图像234、计测结果图像236、计测结果图像238各图像中，被作为相对应的特征(在本例中为缺陷)提取的部分(检测区域240)以不同于其他区域的显示方式示出。用户能够通过确认计测结果图像232、计测结果图像234、计测结果图像236、计测结果图像238各自所显示的检测区域240的大小或位置等，而决定宜将哪一个计测结果图像用作计测结果。
用户界面画面202包含后处理设定受理区域250，所述后处理设定受理区域250接收与后处理相关的设定参数。后处理设定受理区域250例如包含滑动条252和滑动条254，所述滑动条252用以接收用于二值化处理的阈值(二值化电平(binarization level))的设定值，所述滑动条254用以接收反应为相对应的特征量的区域中的被视作缺陷的区域的最小面积(以下也称作“最小缺陷面积”)的设定值。
通过由用户操作滑动条252，用于二值化处理的阈值发生变化，伴随于此，用户界面画面202上一览显示的多个计测结果图像232、计测结果图像234、计测结果图像236、计测结果图像238的图像内容也连动地发生变化。更具体来说，与用户对滑动条252的操作连动地，各计测结果图像内的检测区域240的大小等发生变化。
这种对滑动条252的用户操作也可包含在图5所示的从用户界面部166提供给二值化处理部162的设定参数中。也就是说，图像处理装置100的用户界面部166(图5)接收二值化处理部162中的二值化处理所用的阈值的设定作为设定参数。
同样地，通过由用户操作滑动条254，最小缺陷面积发生变化，伴随于此，用户界面画面202上一览显示的多个计测结果图像232、计测结果图像234、计测结果图像236、计测结果图像238的图像内容也连动地发生变化。更具体来说，与用户对滑动条254的操作连动地，各计测结果图像内的检测区域240的大小等发生变化。
这种对滑动条254的用户操作也可包含在图5所示的从用户界面部166提供给判定处理部164的设定参数中。
图11是表示本实施方式的图像处理装置100提供的用户界面画面204的一例的示意图。参照图11，用户界面画面204是使图10所示的用户界面画面202扩展而成的。
参照图11，在用户界面画面204中，一览显示了通过对各特征检测图像采用后处理而生成的计测结果图像232、计测结果图像234、计测结果图像236、计测结果图像238，所述各特征检测图像是通过对任意输入图像采用CNN而生成。
在用户界面画面204中，还显示有计测结果图像242，所述计测结果图像242是通过对用户任意选择的运算结果图像提供后处理而生成。关于图11所示的计测结果图像242，是从黑线的特征检测图像减去黑点的特征检测图像而获得运算结果图像，对所述运算结果图像采用与下述后处理相同的后处理，即，应用于其他特征检测图像的后处理，从而获得所述计测结果图像242。
如此，用户界面画面204除向用户提示根据单个特征检测图像生成的计测结果以外，还能够向用户提示根据运算结果图像生成的计测结果。
而且，在用户界面画面204中，还可操作下拉列表246，自由选择要让显示区域244显示的图像。用户通过选择出选择受理区域224中包含的单选按钮群227的任一个，而选择作为计测结果输出的计测结果图像。如此，对于要显示图像处理装置100所具有的特征检测图像中的哪一个，用户能够任意选择。也就是说，图像处理装置100的用户界面部166(图5)能够根据用户选择来决定要提示给用户的图像种类。
图11所示的用户界面画面204的其他部分与图10所示的用户界面画面202的对应部分相同，因此不重复进行详细的说明。
在所述图10及图11所示的用户界面画面中，当通过用户的操作变更设定参数时，所显示的图像(除输入图像以外)按照变更后的设定参数重新生成，基于重新生成的图像更新显示。也就是说，当图像处理装置100的用户界面部166(图5)接收用户对于设定参数的变更后，后处理部170(图5)通过按照变更后的设定参数进行后处理而生成新的计测结果，并且由用户界面部166向用户提示新生成的计测结果。如此，与用户的设定操作连动地更新显示内容，因此，用户进行的设定参数的最佳化变容易。
(f3：计测结果图像及输入图像的重叠显示)
在所述图10及图11所示的用户界面画面中，也可使计测结果图像重叠显示在输入图像上。通过进行这种重叠显示，能够一边观察实际拍摄到的输入图像内存在的应提取的特征(例如缺陷)，一边对在计测结果图像内特征是否已作为检测区域240准确提取进行评价。用户能够一边逐次进行这种画面内的比较，一边调整后处理设定受理区域250中包含的滑动条252和/或滑动条254，由此来决定恰当的设定参数。
图12是用以说明图10及图11所示的用户界面画面中的计测结果图像的重叠显示的图。参照图12，使计测结果图像的除检测区域240以外的区域透明化，并且将输入图像配置为背景。通过进行这种分层的图像显示，能够表现出在输入图像上重叠显示有检测区域240的状态。如此，在本实施方式的图像处理装置100中，也可在输入图像上重叠显示所检测出的检测区域240。
此外，也可不使计测结果图像重叠显示在输入图像上，而使特征检测图像重叠显示在输入图像上。而且，还可使用户能够任意选择重叠显示在输入图像上的图像。
而且，也可使计测结果重叠显示在输入图像上。
图13是表示本实施方式的图像处理装置100所提供的输入图像上重叠显示有计测结果的一例的图。参照图13，也可使通过针对某些输入图像的图像计测处理而获得的计测结果重叠显示在该输入图像上。
此时，也可使所提取的检测区域所表示的缺陷位置等重叠显示在输入图像上。而且，也可在所提取的检测区域的重心位置显示十字状的光标，或者也可显示包围所提取的检测区域的矩形。
如上所述，图像处理装置100的用户界面部166(图5)向用户提示在输入图像重叠计测结果所得的图像。如此，通过用以对计测结果进行评价的对象物被重叠显示，用户能够更容易调整用于图像计测处理的设定参数。
(f4：检测区域的显示方式)
在所述图10～图13中，示出了以下示例：被认为相当于提取对象图案而提取出的检测区域240以经二值化的状态显示。所提取的检测区域240优选使用例如像红色或黄色等能够一眼与其他区域区分开的颜色等进行显示。
检测区域240也可为未经二值化的状态，而根据出现在特征检测图像中的强度的大小，使显示浓度或亮度等发生变化。例如可为，在特征检测图像内显示越大的强度，则使显示浓度越浓。也就是说，也可根据出现在特征检测图像内的强度的大小，使显示浓度或显示颜色连续地不同。
此外，也可根据出现在特征检测图像内的强度的大小，使显示浓度阶段性地不同。或者，也可根据出现在特征检测图像内的强度的大小，使显示颜色阶段性地不同。
当这种连续地或阶段性地使显示方式不同时，也可使变化的方式或变化的程度等能够进行用户设定或外部设定。例如，也可使用户能够任意设定所要变化的显示色的颜色范围等。
(f5：多个图像的显示)
在所述图9中，表示一览显示不同类别的特征检测图像的例子，在图10及图11中，表示一览显示从不同类别的特征检测图像生成的计测结果图像的例子。
也可不仅显示这种相同种类的多个图像，还可一览显示在图像计测处理的处理过程中依次生成的图像，例如输入图像、对输入图像进行前处理而获得的前处理结果图像、特征检测图像、运算结果图像、二值化图像中的任意选择的图像。也可使用户任意选择以所述方式一览显示的图像。
＜G.处理顺序＞
其次，对本实施方式的图像处理系统1中的处理顺序进行说明。在本实施方式的图像处理系统1中，存在准备工序和运用工序，所述准备工序用以设定图像计测处理相关的设定参数，所述运用工序是实际地拍摄对象工件并执行图像计测处理。
图14是表示本实施方式的图像处理系统1中的准备工序的处理顺序的流程图。图15是表示本实施方式的图像处理系统1中的运用工序的处理顺序的流程图。典型来说，图14及图15所示的处理顺序的各步骤通过图像处理装置100的处理器110执行图像处理程序132等而实现。
参照图14，图像处理装置100获取输入图像，所述输入图像是在将成为图像计测处理的基准的工件配置在规定位置的状态下使用相机102拍摄而获得的图像(步骤S100)。此时，通过相机102拍摄工件而生成的输入图像(图像数据)被传送给图像处理装置100，并被扩展到图像处理装置100的主内存112。接着，图像处理装置100对所获取的输入图像执行前处理(步骤S102)。
而且，图像处理装置100使用经过事前学习的CNN来执行以下处理：自前处理后的输入图像中，按照一个或多个特征的种类(类别)的每一个提取特征。图像处理装置100通过该提取特征的处理，生成一个或多个类别的每一个的特征检测图像(步骤S104)。最后，图像处理装置100在显示器104等显示以下图像：所生成的一个或多个特征检测图像、或者通过对一个或多个特征检测图像执行预设的后处理而生成的一个或多个计测结果图像(步骤S106)。
然后，图像处理装置100在对用户提示一个或多个特征检测图像或者一个或多个计测结果图像的状态下，接收来自用户的图像计测处理相关的设定(一个或多个设定参数)(步骤S108)。图像处理装置100通过按照来自用户的设定参数再次执行图像运算处理和/或后处理，从而重新生成一个或多个图像计测处理(步骤S110)，并使生成的一个或多个计测结果图像显示在显示器104等上(步骤S112)。
也就是说，图像处理装置100对用户提示使用CNN生成的一个或多个特征检测图像，并且按照来自用户的设定，选择所设定的一个或多个特征检测图像，并执行所设定的图像运算处理和/或后处理，由此，按照变更后的设定参数再次执行图像计测处理。
在接受用户关于决定设定参数的指示之前，步骤S108～步骤S112的处理也可反复进行多次(在步骤S114中为否(NO)时)。
最后，当接受用户关于决定设定参数的指示后(在步骤S114中为是(YES)时)，图像处理装置100存储当前设定值作为运用工序中的设定参数(步骤S116)。于是，准备工序中的处理结束。
参照图15，图像处理装置100获取输入图像，所述输入图像是在成为图像计测处理的基准的工件到达相机102的拍摄视野6后，使用相机102拍摄该工件而获得(步骤S200)的图像。此时，通过相机102拍摄工件而生成的输入图像(图像数据)被传送给图像处理装置100，并被扩展到图像处理装置100的主内存112。
接着，图像处理装置100对所获取的输入图像执行前处理(步骤S202)。而且，图像处理装置100使用经过事前学习的CNN来执行以下处理：自前处理后的输入图像中，按照一个或多个特征的种类(类别)的每一个提取特征。图像处理装置100通过该提取特征的处理，生成一个或多个类别的每一个的特征检测图像(步骤S204)。
图像处理装置100在设定参数中指定有图像运算处理时，对所选择的一个或多个特征检测图像执行被指定的图像运算处理，生成运算结果图像(步骤S206)。作为图像运算处理，可包括设定参数中指定的加法处理、减法处理及它们的加权运算处理等。
接着，图像处理装置100按照设定参数，对所选择的特征检测图像或运算结果图像执行二值化处理而生成二值化图像(步骤S208)。设定参数可包含用于二值化处理的阈值等。
接着，图像处理装置100按照设定参数，对二值化图像执行判定处理，生成计测结果图像和/或计测结果(步骤S210)。设定参数中可包含用于判定处理的标记的方法及判定阈值等。
最后，图像处理装置100输出所生成的计测结果图像和/或计测结果(步骤S212)。作为计测结果图像和/或计测结果的输出目的地，可为显示器104等，也可为经由上级网络8连接的PLC 10和/或数据库装置12。于是，运用工序的处理结束。
另外，使图15所示的运用工序的处理过程开始的条件可为来自用于检测工件的到达的正时传感器(timing sensor)的触发信号、来自上级装置的执行开始指令、来自用户的指示中的任一个。
＜H.优点＞
本实施方式的图像处理装置使用经过事前学习的具有多个类别的通用性CNN来实现针对任意被检查对象的图像计测处理。在使用这种通用性CNN时，可能产生以下等情况：同一特征分裂出现在多个类别的特征检测图像中；或者，同一特征共同出现在多个类别的特征检测图像中。
也能够根据目标被检查对象而采取再学习CNN等应对方法，但在如目标被检查对象频繁发生变化的应用程序中，此种应对方法并不实际。因此，在本实施方式中，通过在按每一类别生成的特征检测图像中的两个以上特征检测图像间进行任意图像运算，而能够减少出现在多个类别的特征检测图像上的因目标被检查对象产生的特征图案，或者，将分裂出现在多个类别的特征检测图像中的因同一被检查对象产生的特征图案汇总。
如此，在本实施方式的图像处理装置中，能够在特征检测图像间进行任意图像运算，由此，使用通用性CNN时也能够提供与应用程序相应的实用性图像计测处理。
此外，本实施方式的图像处理装置能够将在图像计测处理的过程中生成的图像以可进行比较的方式提示给用户。例如，能够将利用CNN按每一类别生成的特征检测图像的一览提示给用户，或将通过对各特征检测图像进行后处理而生成的计测结果图像的一览提示给用户。
用户能够一边观察这种提示的多个图像，一边视需要调整设定参数。而且，也能够使计测结果图像重叠显示在输入图像上，由此，用户能够一眼掌握设定参数是否合适。并且，随着用户对设定参数的调整，重新生成计测结果图像等，因此，用户能够实时确认设定参数是否合适。
此外，在本实施方式的图像处理装置提供的用户界面画面中，用户能够任意选择所要显示的图像，作为该选择对象，除通过对单个特征检测图像进行后处理而生成的计测结果图像以外，还可包含通过对运算结果图像进行后处理而生成的计测结果图像，所述运算结果图像是通过用户所指定的任意图像运算处理而生成。通过提高这种所要显示的图像的选择自由度，而能够使用户对设定参数的调整变得容易。
应认为本次公开的实施方式全部内容都是例示，而非对本发明的限制。本发明的范围并非由所述说明表示而是由权利要求所表示，且意图包含与权利要求均等的含义及范围内的全部变更。

Claims (10)

1.一种图像处理装置，对通过拍摄被检查对象而生成的输入图像进行图像计测处理，其特征在于包括：
特征检测图像生成单元，通过将经过事前学习的具有多个类别的卷积神经网络应用于所述输入图像，从而分别生成对应于所述多个类别的多个特征检测图像；
后处理单元，通过按照设定参数对所述多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果，其中所述后处理包括：对所述至少一部分特征检测图像执行包含四则运算的图像运算处理，从而生成运算结果图像，对所述运算结果图像执行判定处理，由此生成包括目标特征的所述计测结果；以及
用户界面单元，向用户提示所述多个特征检测图像的至少一部分及计测结果两者中的至少一者，并且接收所述设定参数的输入，所述多个特征检测图像是由所述特征检测图像生成单元生成，所述计测结果是通过使用由所述特征检测图像生成单元生成的所述多个特征检测图像的至少一部分并利用所述后处理单元进行所述后处理而生成。
2.根据权利要求1所述的图像处理装置，其中所述后处理单元包括图像运算单元，所述图像运算单元通过使用所述多个特征检测图像中的两个以上特征检测图像进行所述图像运算处理，从而生成所述运算结果图像。
3.根据权利要求1所述的图像处理装置，其中所述图像运算处理的四则运算包括所述特征检测图像彼此的相加、所述特征检测图像间的相减、所述特征检测图像彼此的加权相加、所述特征检测图像间的加权相减中的至少一种。
4.根据权利要求2或3所述的图像处理装置，其中所述用户界面单元除向所述用户提示根据单个所述特征检测图像生成的计测结果以外，还向所述用户提示根据所述运算结果图像生成的计测结果。
5.根据权利要求2或3所述的图像处理装置，其中所述用户界面单元根据用户选择来决定要提示给所述用户的图像种类。
6.根据权利要求2或3所述的图像处理装置，其中
所述后处理单元还包括二值化处理单元，所述二值化处理单元对所述特征检测图像或所述运算结果图像进行二值化处理，
所述用户界面单元接收所述二值化处理单元中的所述二值化处理所用的阈值的设定作为所述设定参数。
7.根据权利要求1至3中任一项所述的图像处理装置，其中当所述用户界面单元接收所述用户对于所述设定参数的变更后，所述后处理单元通过按照变更后的设定参数进行所述后处理而生成新的计测结果，并且所述用户界面单元向所述用户提示新生成的所述计测结果。
8.根据权利要求1至3中任一项所述的图像处理装置，其中所述用户界面单元向所述用户提示在所述输入图像上重叠所述计测结果而成的图像。
9.一种电脑可读取记录媒体，记录有图像处理程序，其中所述图像处理程序用以实现图像处理装置，所述图像处理装置对通过拍摄被检查对象而生成的输入图像进行图像计测处理，其特征在于，所述图像处理程序使电脑执行如下步骤：
通过将经过事前学习的具有多个类别的卷积神经网络应用于所述输入图像，从而分别生成对应于所述多个类别的多个特征检测图像；
通过按照设定参数对所述多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果，其中所述后处理包括：对所述至少一部分特征检测图像执行包含四则运算的图像运算处理，从而生成运算结果图像，对所述运算结果图像执行判定处理，由此生成包括目标特征的所述计测结果；以及
向用户提示所生成的所述多个特征检测图像的至少一部分及计测结果两者中的至少一者，并且接收所述设定参数的输入，所述计测结果是通过使用所生成的所述多个特征检测图像的至少一部分进行所述后处理而生成。
10.一种图像处理系统，其特征在于包括：
拍摄部，用以拍摄被检查对象；以及
图像处理装置，对由所述拍摄部生成的输入图像进行图像计测处理；且所述图像处理装置包括：
特征检测图像生成单元，通过将经过事前学习的具有多个类别的卷积神经网络应用于所述输入图像，从而分别生成对应于所述多个类别的多个特征检测图像；
后处理单元，通过按照设定参数对所述多个特征检测图像的至少一部分特征检测图像进行后处理，从而生成计测结果，其中所述后处理包括：对所述至少一部分特征检测图像执行包含四则运算的图像运算处理，从而生成运算结果图像，对所述运算结果图像执行判定处理，由此生成包括目标特征的所述计测结果；以及
用户界面单元，向用户提示所述多个特征检测图像的至少一部分及计测结果两者中的至少一者，并且接收所述设定参数的输入，所述多个特征检测图像是由所述特征检测图像生成单元生成，所述计测结果是通过使用由所述特征检测图像生成单元生成的所述多个特征检测图像的至少一部分并利用所述后处理单元进行所述后处理而生成。
CN201810143688.7A 2017-05-11 2018-02-11 图像处理装置、电脑可读取记录媒体、图像处理系统 Active CN108876761B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017094647A JP6932987B2 (ja) 2017-05-11 2017-05-11 画像処理装置、画像処理プログラム、画像処理システム
JP2017-094647 2017-05-11

Publications (2)

Publication Number Publication Date
CN108876761A CN108876761A (zh) 2018-11-23
CN108876761B true CN108876761B (zh) 2022-05-27

Family

ID=63962432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810143688.7A Active CN108876761B (zh) 2017-05-11 2018-02-11 图像处理装置、电脑可读取记录媒体、图像处理系统

Country Status (4)

Country Link
US (1) US10824906B2 (zh)
JP (1) JP6932987B2 (zh)
CN (1) CN108876761B (zh)
DE (1) DE102018102688A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
JP7214432B2 (ja) * 2018-10-22 2023-01-30 キヤノン株式会社 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
JP7346816B2 (ja) * 2018-12-17 2023-09-20 株式会社大林組 表面の不具合検査方法
JP7130190B2 (ja) * 2018-12-27 2022-09-05 オムロン株式会社 画像判定装置、学習方法及び画像判定プログラム
CN109631794A (zh) * 2018-12-28 2019-04-16 天津大学 基于卷积神经网络的目标物体弯曲度测量方法
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11113838B2 (en) * 2019-03-26 2021-09-07 Nec Corporation Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
JP7359607B2 (ja) * 2019-09-12 2023-10-11 株式会社日立ソリューションズ 振動試験解析装置および振動試験解析方法
CN111080633A (zh) * 2019-12-20 2020-04-28 Oppo（重庆）智能科技有限公司 屏缺陷检测方法、装置、终端设备以及存储介质
WO2021166058A1 (ja) * 2020-02-18 2021-08-26 日本電気株式会社 画像認識装置、画像認識方法、及び、記録媒体
CN112191544A (zh) * 2020-09-10 2021-01-08 沅陵县向华电子科技有限公司 一种基于机器视觉的电子元件检查方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318256A (zh) * 2014-11-17 2015-01-28 上海埃蒙特自动化系统有限公司 基于计算机软件实现玻璃缺陷自动检测分类的方法
CN104731446A (zh) * 2013-12-20 2015-06-24 奥多比公司 基于提示的斑点修复技术
CN104766097A (zh) * 2015-04-24 2015-07-08 齐鲁工业大学 基于bp神经网络和支持向量机的铝板表面缺陷分类方法
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法
CN106650823A (zh) * 2016-12-30 2017-05-10 湖南文理学院 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546323A (en) * 1990-10-10 1996-08-13 Cell Analysis Systems, Inc. Methods and apparatus for measuring tissue section thickness
JPH10150569A (ja) * 1996-11-15 1998-06-02 Hitachi Medical Corp 画像処理装置
US8543519B2 (en) * 2000-08-07 2013-09-24 Health Discovery Corporation System and method for remote melanoma screening
KR100513784B1 (ko) * 2004-01-15 2005-09-09 삼성전자주식회사 영상 개선 방법 및 장치
JP5028014B2 (ja) * 2006-02-08 2012-09-19 株式会社日立ハイテクノロジーズ パターン検査方法及びその装置
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5310247B2 (ja) * 2009-05-13 2013-10-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5519202B2 (ja) * 2009-07-16 2014-06-11 オリンパス株式会社 画像処理装置およびプログラム
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
JP6470506B2 (ja) * 2014-06-09 2019-02-13 株式会社キーエンス 検査装置
US10181091B2 (en) * 2014-06-20 2019-01-15 Google Llc Fine-grained image similarity
US10289910B1 (en) * 2014-07-10 2019-05-14 Hrl Laboratories, Llc System and method for performing real-time video object recognition utilizing convolutional neural networks
US9928570B2 (en) * 2014-10-01 2018-03-27 Calgary Scientific Inc. Method and apparatus for precision measurements on a touch screen
WO2016194161A1 (ja) * 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法
GB201512278D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Hybrid neural network
JP2017059207A (ja) * 2015-09-18 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像認識方法
US9741125B2 (en) * 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US10206646B2 (en) * 2016-03-10 2019-02-19 Siemens Healthcare Gmbh Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
US9495764B1 (en) * 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
NL2016542B1 (en) * 2016-04-04 2017-10-10 Fugro N V Spatial data analysis.
US10089717B2 (en) * 2016-04-05 2018-10-02 Flipboard, Inc. Image scaling using a convolutional neural network
US10176198B1 (en) * 2016-05-09 2019-01-08 A9.Com, Inc. Techniques for identifying visually similar content
US10346727B2 (en) * 2016-10-28 2019-07-09 Adobe Inc. Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media
US10282639B2 (en) * 2016-11-29 2019-05-07 Sap Se Object detection in image data using depth segmentation
US10471955B2 (en) * 2017-07-18 2019-11-12 lvl5, Inc. Stop sign and traffic light alert
US10956795B2 (en) * 2017-09-15 2021-03-23 Case Western Reserve University Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731446A (zh) * 2013-12-20 2015-06-24 奥多比公司 基于提示的斑点修复技术
CN104318256A (zh) * 2014-11-17 2015-01-28 上海埃蒙特自动化系统有限公司 基于计算机软件实现玻璃缺陷自动检测分类的方法
CN104766097A (zh) * 2015-04-24 2015-07-08 齐鲁工业大学 基于bp神经网络和支持向量机的铝板表面缺陷分类方法
CN106504238A (zh) * 2016-10-31 2017-03-15 成都交大光芒科技股份有限公司 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法
CN106650823A (zh) * 2016-12-30 2017-05-10 湖南文理学院 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Depth-Based Visual Servoing Using Low-Accurate Arm;Ludovic Hofer等;《2016 Joint 8th International Conference on Soft Computing and Intelligent Systems》;20161229;第1-8页 *
面向数码产品外壳表面缺陷的适应性智能视觉检测技术研究;张坤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215(第12期);第I138-644页 *

Also Published As

Publication number Publication date
US10824906B2 (en) 2020-11-03
JP6932987B2 (ja) 2021-09-08
DE102018102688A1 (de) 2018-11-15
US20180330193A1 (en) 2018-11-15
CN108876761A (zh) 2018-11-23
JP2018190329A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN108876761B (zh) 图像处理装置、电脑可读取记录媒体、图像处理系统
US10776909B2 (en) Defect inspection apparatus, defect inspection method, and non-transitory computer readable medium
US11301978B2 (en) Defect inspection device, defect inspection method, and computer readable recording medium
JP6869490B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US10489900B2 (en) Inspection apparatus, inspection method, and program
US8275189B2 (en) Defect inspection system
EP3142045B1 (en) Predicting accuracy of object recognition in a stitched image
JP2010008159A (ja) 外観検査処理方法
US20150170355A1 (en) Wafer appearance inspection system and method of sensitivity threshold setting
US10083516B2 (en) Method for segmenting a color image and digital microscope
JP2019045510A (ja) 検査装置
JP2019168930A5 (zh)
CN114270182A (zh) 带电粒子束装置
CN116074646A (zh) 参数调整辅助装置以及参数调整辅助方法
CN116685997A (zh) 用于检测3d打印机中的缺陷的方法
JP2015090294A (ja) 表皮材への埃付着量を求める解析装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant