CN114255206A - 信息处理方法以及信息处理装置 - Google Patents
信息处理方法以及信息处理装置 Download PDFInfo
- Publication number
- CN114255206A CN114255206A CN202111053097.9A CN202111053097A CN114255206A CN 114255206 A CN114255206 A CN 114255206A CN 202111053097 A CN202111053097 A CN 202111053097A CN 114255206 A CN114255206 A CN 114255206A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- distribution
- trace
- coordinate system
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 134
- 238000007689 inspection Methods 0.000 claims abstract description 58
- 238000003754 machining Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 63
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 56
- 239000000203 mixture Substances 0.000 description 21
- 230000032258 transport Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 239000003990 capacitor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开提供信息处理方法以及信息处理装置。该信息处理方法包含如下步骤:算出以图像的视野为基准定义的第1坐标系中的相当于痕迹的特征的位置;算出以图像中记录的工件(4)的位置为基准定义的第2坐标系中的相当于痕迹的特征的位置;算出第1坐标系中的相当于痕迹的特征的位置的第1分布的大小、和第2坐标系中的相当于痕迹的特征的位置的第2分布的大小;和在第1分布的大小与第2分布的大小的差分超过第1给定值的情况下,输出表示相当于痕迹的特征是在加工工序中形成于工件(4)的表面的痕迹的意思的信息,在上述差分为第1给定值以下的情况下,输出表示相当于痕迹的特征是检查工序中的痕迹的误检测的意思的信息。
Description
技术领域
本公开涉及用于检测形成于工件的表面的痕迹的信息处理方法以及信息处理装置。
背景技术
在用于生产工件的制造线中包含:对工件实施加工的加工工序;和检查在加工工序中实施了加工的工件的外观的检查工序。在专利文献1中公开了如下技术:在检查工序中,基于检测到形成于工件的表面的痕迹的检查信息来确定痕迹的产生原因。
现有技术文献
专利文献
专利文献1:JP特开2004-153228号公报
发明内容
本公开的一个方式所涉及的信息处理方法用于在用于生产工件的制造线所包含的检查工序中检测形成于所述工件的表面的痕迹,其中,该检查工序拍摄通过加工工序实施了加工的所述工件来检查所述工件的外观,该信息处理方法包含如下步骤:(a)在所述检查工序中拍摄的图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像的视野为基准定义的第1坐标系中的相当于所述痕迹的特征的位置;(b)在所述图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像中记录的所述工件的位置为基准定义的第2坐标系中的相当于所述痕迹的特征的位置;(c)算出所述第1坐标系中的相当于所述痕迹的特征的位置的第1分布的大小、和所述第2坐标系中的相当于所述痕迹的特征的位置的第2分布的大小;和(d)在所述第1分布的大小与所述第2分布的大小的差分超过第1给定值的情况下,输出表示相当于所述痕迹的特征是在所述加工工序中形成于所述工件的表面的所述痕迹的意思的信息,在所述第1分布的大小与所述第2分布的大小的差分为所述第1给定值以下的情况下,输出表示相当于所述痕迹的特征是所述检查工序中的所述痕迹的误检测的意思的信息。
附图说明
图1是表示实施方式所涉及的制造线的概念的图。
图2是表示实施方式所涉及的制造线的整体的流程的流程图。
图3是具体表示图2的步骤S104(检查工序)的内容的流程图。
图4是表示检查工序中由摄像机拍摄的工件的图像的一例的图。
图5是用于说明图3的流程图的步骤S1045的内容的图。
图6是用于说明图3的流程图的步骤S1050以及S1051的内容的图。
图7是表示存放于数据库的位置坐标信息的一例的图。
附图标记的说明
2 制造线
4 工件
4a 顶面
6 第1加工设备
8 第2加工设备
10 第3加工设备
12 第1运送装置
14 第1加工装置
16,30 卡盘
17 检查设备
18 运送装置
20 摄像机
22 保存用服务器
24 数据库
26 解析用终端
28 解析结果显示用显示器
32 图像
34 特征
具体实施方式
在专利文献1公开的现有技术中,不能明确地区分加工工序中产生的痕迹和检查工序中的痕迹的误检测。
本公开的目的在于,提供能明确区分加工工序中产生的痕迹和检查工序中的痕迹的误检测的信息处理方法以及信息处理装置。
本公开的一个方式所涉及的信息处理方法用于在用于生产工件的制造线所包含的检查工序中检测形成于所述工件的表面的痕迹,该检查工序拍摄通过加工工序实施了加工的所述工件来检查所述工件的外观,所述信息处理方法包含如下步骤:(a)在所述检查工序中拍摄的图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像的视野为基准定义的第1坐标系中的相当于所述痕迹的特征的位置;(b)在所述图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像中记录的所述工件的位置为基准定义的第2坐标系中的相当于所述痕迹的特征的位置;(c)算出所述第1坐标系中的相当于所述痕迹的特征的位置的第1分布的大小、和所述第2坐标系中的相当于所述痕迹的特征的位置的第2分布的大小;和(d)在所述第1分布的大小与所述第2分布的大小的差分超过第1给定值的情况下,输出表示相当于所述痕迹的特征是在所述加工工序中形成于所述工件的表面的所述痕迹的意思的信息,在所述第1分布的大小与所述第2分布的大小的差分为所述第1给定值以下的情况下,输出表示相当于所述痕迹的特征是所述检查工序中的所述痕迹的误检测的意思的信息。
根据本方式,能明确地区分加工工序中产生的痕迹和检查工序中的痕迹的误检测。其结果,能提高检查工序中的工件的外观检查的精度。
例如也可以构成为,在所述加工工序中,使用在抓握所述工件的状态下对所述工件实施第1加工的第1加工设备,所述信息处理方法还包含如下步骤:(e)算出所述第2坐标系中的相当于所述痕迹的特征的位置与所述第2坐标系中的所述第1加工设备对所述工件的抓握位置的差分即第1差分,在所述(d)中,在所述第1分布的大小与所述第2分布的大小的差分超过所述第1给定值、且所述第1差分为第2给定值以下的情况下,输出表示所述痕迹的产生要因是缘于所述第1加工设备对所述工件的抓握的意思的信息。
根据本方式,能确定痕迹的产生要因是缘于第1加工设备对工件的抓握。
例如也可以构成为,在所述加工工序中,还使用在抓握所述工件的状态下对所述工件实施第2加工的第2加工设备,所述信息处理方法还包含如下步骤:(f)算出所述第2坐标系中的相当于所述痕迹的特征的位置与所述第2坐标系中的所述第2加工设备对所述工件的抓握位置的差分即第2差分,在所述(d)中,在所述第1分布的大小与所述第2分布的大小的差分超过所述第1给定值、且所述第1差分比所述第2差分小、且所述第1差分为所述第2给定值以下的情况下,输出表示所述痕迹的产生要因是缘于所述第1加工设备对所述工件的抓握的意思的信息。
根据本方式,在痕迹的产生要因是缘于加工工序所包含的多个加工设备中的任一者对工件的抓握的情况下,能准确地确定成为痕迹的产生要因的加工设备。
例如,也可以构成为,在所述(c)中,在算出所述第2分布的大小后,利用所述第2分布的大小的算出结果来算出所述第1分布的大小。
根据本方式,在算出第2分布的大小后,利用第2分布的大小的算出结果来算出第1分布的大小,由此能容易地进行第1分布的大小与第2分布的大小的比较。
本公开的一个方式所涉及的信息处理装置用于在用于生产工件的制造线所包含的检查工序中检测形成于所述工件的表面的痕迹,该检查工序拍摄通过加工工序进行了加工的所述工件来检查所述工件的外观,所述信息处理装置具备:处理器;和存储能由所述处理器执行的程序的存储器,所述处理器使用存储于所述存储器的所述程序来执行:在所述检查工序中拍摄的图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像的视野为基准定义的第1坐标系中的相当于所述痕迹的特征的位置,在所述图像中包含相当于所述痕迹的特征的位置的情况下,算出以所述图像中记录的所述工件的位置为基准定义的第2坐标系中的相当于所述痕迹的特征的位置,算出所述第1坐标系中的相当于所述痕迹的特征的位置的第1分布的大小、和所述第2坐标系中的相当于所述痕迹的特征的位置的第2分布的大小,在所述第1分布的大小与所述第2分布的大小的差分超过给定值的情况下,输出表示相当于所述痕迹的特征是在所述加工工序中形成于所述工件的表面的所述痕迹的意思的信息,在所述第1分布的大小与所述第2分布的大小的差分为所述给定值以下的情况下,输出表示相当于所述痕迹的特征是所述检查工序中的所述痕迹的误检测的意思的信息。
根据本方式,能明确地区分加工工序中产生的痕迹和检查工序中的痕迹的误检测。其结果,能提高检查工序中的工件的外观检查的精度。
另外,这些总括或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合来实现。
以下参考附图来具体说明实施方式。
另外,以下说明的实施方式均表示总括或具体的示例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例,主旨并不是限定本公开。另外,关于以下的实施方式中的构成要素当中未记载于表示最上位概念的独立权利要求的构成要素,作为任意的构成要素来说明。
(实施方式)
[1.制造线的概要]
首先参考图1来说明实施方式所涉及的制造线2的概要。图1是表示实施方式所涉及的制造线2的概念的图。
如图1所示那样,制造线2是用于生产工件4的制造线,包含加工工序和检查工序。工件4例如是大致圆柱形状的电容器。
在加工工序中,对工件4例如按第1加工、第2加工以及第3加工的顺序来实施加工。在加工工序中使用第1加工设备6、第2加工设备8和第3加工设备10。
第1加工设备6具有:运送工件4的第1运送装置12;和对由第1运送装置12运送的工件4实施第1加工的第1加工装置14。在第1运送装置12中配置有用于抓握工件4的多个卡盘16。
虽未图示,但第2加工设备8具有:运送工件4的第2运送装置;和对由第2运送装置运送的工件4实施第2加工的第2加工装置。在第2运送装置中配置有用于抓握工件4的多个卡盘。另外,第2运送装置的卡盘对工件4的抓握位置与第1运送装置12的卡盘16对工件4的抓握位置不同。
另外,虽未图示,但第3加工设备10具有:运送工件4的第3运送装置;和对由第3运送装置运送的工件4实施第3加工的第3加工装置。在第3运送装置中配置有用于抓握工件4的多个卡盘。另外,第3运送装置的卡盘对工件4的抓握位置分别与第1运送装置12的卡盘16对工件4的抓握位置以及第2运送装置的卡盘对工件4的抓握位置不同。
在检查工序中,使用对加工工序中实施了第1加工、第2加工以及第3加工的工件4进行拍摄来检查工件4的外观的检查设备17。检查设备17具有运送装置18、摄像机20、保存用服务器22、数据库24、解析用终端26(信息处理装置的一例)和解析结果显示用显示器28。
运送装置18是用于将工件4依次运送到摄像机20的正下方的拍摄区域的装置。在运送装置18中配置有用于抓握工件4的多个卡盘30。
摄像机20配置于运送装置18的上方,拍摄由运送装置18运送来的工件4。在本实施方式中,摄像机20拍摄工件4的圆形形状的顶面4a。摄像机20将表示拍摄到的工件4的图像的图像数据输出到保存用服务器22。
在保存用服务器22中蓄积来自摄像机20的多个图像数据。
在数据库24中预先存放表示第1加工设备6的卡盘16、第2加工设备8的卡盘以及第3加工设备10的卡盘的各位置坐标(即,各卡盘对工件4的抓握位置)的位置坐标信息。
解析用终端26通过解析蓄积于保存用服务器22的多个图像数据来检测形成于各工件4的表面(顶面4a)的痕迹。另外,在本说明书中,所谓痕迹,是指工件4被第1加工设备6的卡盘16、第2加工设备8的卡盘以及第3加工设备10的卡盘中的任一者抓握时形成于工件4的表面的划痕、擦伤或污渍等。
另外,解析用终端26在检测到形成于工件4的表面的痕迹的情况下,通过参考数据库24来从第1加工设备6、第2加工设备8以及第3加工设备10之中确定成为痕迹的产生要因的加工设备。解析用终端26将表示解析结果的信息输出到解析结果显示用显示器28。
另外,解析用终端26例如由个人计算机等构成。解析用终端26由处理器和存储器构成,处理器通过将存储于存储器的软件程序读出并执行,来执行各种处理。
解析结果显示用显示器28是用于显示来自解析用终端26的解析结果的显示器。
[2.制造线的整体流程]
接下来,参考图2来说明实施方式所涉及的制造线2的整体流程。图2是表示实施方式所涉及的制造线2的整体流程的流程图。
如图2所示那样,首先,通过第1加工设备6对工件4实施第1加工(S101)。具体地,对由第1运送装置12的卡盘16抓握的工件4,通过第1加工装置14来实施第1加工。
之后,通过第2加工设备8对工件4实施第2加工(S102)。具体地,对由第2运送装置的卡盘抓握的工件4,通过第2加工装置来实施第2加工。
之后,通过第3加工设备10对工件4实施第3加工(S103)。具体地,对由第3运送装置的卡盘抓握的工件4,通过第3加工装置来实施第3加工。
最后,通过检查设备17进行工件4的外观检查(S104)。
如以上那样,在步骤S101~S103中进行加工工序,之后,在步骤S104中进行检查工序。
[3.检查工序的流程]
接下来,参考图3~图7来详细说明检查工序的流程。图3是具体表示图2的步骤S104(检查工序)的内容的流程图。图4是表示在检查工序中由摄像机20拍摄的工件4的图像32的一例的图。图5是用于说明图3的流程图的步骤S1045的内容的图。图6是用于说明图3的流程图的步骤S1050以及S1051的内容的图。图7是表示存放于数据库24的位置坐标信息的一例的图。
如图3所示那样,在检查工序中,首先,由摄像机20拍摄成为外观检查的对象的工件4(S1041)。在图4所示的示例中,在由摄像机20拍摄的图像32中记录了工件4的顶面4a,该工件4的顶面4a包含相当于痕迹的特征34(例如黑色的点)。另外,所谓相当于痕迹的特征34,是有可能是形成于工件4的顶面4a的痕迹的、包含在图像32中的图像性的特征。
摄像机20将表示所拍摄的图像32的图像数据输出到保存用服务器22。保存用服务器22保存来自摄像机20的图像数据(S1042)。在从外观检查的开始(或者,前次的解析用终端26对多个图像数据的提取)起未经过给定期间(例如2小时)的情况下(S1043“否”),返回上述的步骤S1041。
在从外观检查的开始(或者,前次的解析用终端26对多个图像数据的提取)起经过了给定期间的情况下(S1043“是”),解析用终端26通过访问保存用服务器22来提取蓄积于保存用服务器22的多个图像数据(S1044)。解析用终端26进行所提取的多个图像数据的采样(S1045)。即,解析用终端26以给定的时间间隔(例如2小时间隔)进行所提取的多个图像数据的采样。
具体地,如图5的(a)以及(b)所示那样,解析用终端26通过使分别拍摄多个工件4(工件4-1~工件4-N)而得到的多个图像数据各自所包含的相当于痕迹的特征(图5的(a)以及(b)中以黑色的三角形的点示出)的坐标数据重叠,来进行多个图像数据的采样。采样的结果,通过将多个图像数据各自所包含的相当于痕迹的特征重叠,来形成相当于痕迹的特征的位置的分布。
由此,解析用终端26算出相对坐标系(第2坐标系的一例)中的相当于痕迹的特征的位置。在此,所谓相对坐标系,是以由摄像机20拍摄的图像32(参考图4)中记录的工件4的位置(即,工件4的轮廓)为基准定义的坐标系。解析用终端26算出相对坐标系中的相当于痕迹的特征的位置的分布即相对坐标系分布(第2分布的一例)的大小(方差)、和相对坐标系分布的中心坐标(S1046)。
另外,在相对坐标系中,在工件4的外形例如是圆或正方形那样的对称图形的情况下,可以在绝对坐标系(后述)是垂直坐标系的情况下设定与绝对坐标系相同的垂直坐标系,将原点位置设定为对称图形的中心点。或者,也可以在极坐标系中,基于工件4的表面的印刷信息等来定义半径方向的轴。
关于解析用终端26的分布的大小的算出,例如能运用混合高斯模型(GMM:Gaussian Mixture Model)。混合高斯模型是在给出某概率分布时用高斯函数的线性结合来近似该概率分布的手法。在该混合高斯模型中,在按二维考虑的情况下,将第k个高斯函数即具有X的平均值μx_k、Y的平均值μy_k、X的方差∑x_k、Y的方差∑y_k和XY的协方差∑xy_k的高斯函数(正态分布)以权重πk进行结合。各分布的大小能简单地以∑y_k+∑x_k来对待。
另外,针对作为混合高斯模型中的超参数的局部分布个数,一边变更局部分布个数,一边解析混合高斯模型,例如通过使用采用了赤池信息量基准(AIC:Akaike’sInformation Criterion)或贝叶斯信息量基准(BIC:Bayesian Information Criterion)成为最小的局部分布个数的流程,不设想各种前提,就能自动解析在图像内局部集中的相当于痕迹的特征。
回到图3的流程图,在步骤S1046后,解析用终端26算出绝对坐标系(第1坐标系的一例)中的相当于痕迹的特征的位置。在此,所谓绝对坐标系,是以由摄像机20拍摄的图像32(参考图4)的视野(即,图像32整体的轮廓)为基准定义的坐标系。解析用终端26通过利用步骤S1046中的相对坐标系分布的大小以及中心坐标的算出结果,来算出绝对坐标系中的相当于痕迹的特征的位置的分布即绝对坐标系分布(第1分布的一例)的大小(方差)、和绝对坐标系分布的中心坐标(S1047)。
具体地,对于作为针对相对坐标系的混合高斯模型的运用结果而判断为属于第k个高斯函数的坐标群,通过单纯总计来算出绝对坐标中的X的平均值μx_k、Y的平均值μy_k、X的方差∑x_k、Y的方差∑y_k和XY的协方差∑xy_k。
另外,假设在对相当于痕迹的特征的局部的集中的情形所不同的绝对坐标系以及相对坐标系各自个别地运用混合高斯模型的情况下,由于有时会分别算出没有统一感的分布信息(分布的大小以及中心坐标),因此难以将两者进行比较。因此,优选地,首先对绝对坐标系以及相对坐标系中的一者运用混合高斯模型来算出分布信息,之后,通过利用该算出的分布信息,在不运用混合高斯模型的情况下算出与绝对坐标系以及相对坐标系中的另一者相关的分布信息。
另外,在相对坐标系中,虽然从绝对坐标系向相对坐标系变换的变换误差会给坐标带来偏差,但基本上,想要设为对象的工件4基准下的痕迹的产生具有集中的倾向,混合高斯模型的运用很容易。另一方面,在绝对坐标系中,工件4的运送偏差给坐标带来偏差,混合高斯模型的运用并不容易。因此,在本实施方式中,在对相对坐标系运用混合高斯模型而算出分布信息后,对不运用混合高斯模型的绝对坐标系,基于与相对坐标系相关的分布信息来算出分布信息。由此,能将与绝对坐标系相关的分布信息和与相对坐标系相关的分布信息进行比较。另外,根据工件4的运送偏差与从绝对坐标系向相对坐标系变换的变换偏差的相对的关系,也可以与上述相反地,在对绝对坐标系运用混合高斯模型而算出分布信息后,对不运用混合高斯模型的相对坐标系,基于与绝对坐标系相关的分布信息来算出分布信息。
如图5的(c)所示那样,相当于痕迹的特征的位置的分布(分布1~3)以椭圆形形状显示。该椭圆形形状是将基于混合高斯模型算出的k个高斯分布相加而算出混合高斯密度并将给定密度的混合高斯密度连起来而得到的等高线。给定密度大多采用在对数刻度下等间隔的密度,例如通过将100.333、100.663、101.000等给定密度的混合高斯密度连起来,能显示得易于直观地理解混合高斯分布。分布的大小是算出取与图5的(c)所示的各椭圆形形状相当的第k个高斯函数的X的方差∑x_k以及Y的方差∑y_k各自的正的平方根而得的标准偏差σx_k以及σy_k来作为(σx_k2+σy_k2)0.5的近似分布的大小,阈值设为数百μm程度。将分布的大小不足阈值的情况定义为“密”,将阈值以上的情况定义为“疏”,如后述那样比较绝对坐标系分布的大小和相对坐标系分布的大小。
回到图3的流程图,在步骤S1047后,解析用终端26判定步骤S1047中算出的绝对坐标系分布的大小(绝对坐标系方差)与步骤S1046中算出的相对坐标系分布的大小(相对坐标系方差)的差分是否超过第1给定值(例如“0”)(S1048)。
在绝对坐标系分布的大小与相对坐标系分布的大小的差分超过第1给定值的情况下(S1048“是”),解析用终端26进一步判定相对坐标系分布的大小是否不足第3给定值(例如数百μm)(S1049)。在相对坐标系分布的大小不足第3给定值的情况下(S1049“是”),解析用终端26判定为相当于痕迹的特征是在加工工序中形成于工件4的顶面4a的痕迹(S1050)。
回到步骤S1048,在绝对坐标系分布的大小与相对坐标系分布的大小的差分为第1给定值以下的情况下(S1048“否”),解析用终端26判定为相当于痕迹的特征是检查工序中的痕迹的误检测(S1051)。
由于检查设备17中的摄像机20的位置被固定,因此在由摄像机20对存在于被固定的拍摄区域的工件4进行摄像时,由于工件4的运送偏差,因而工件4的位置在摄像机20的固定角度内有偏差。
另外,在痕迹形成于工件4的顶面4a的情况下,痕迹集中在工件4的顶面4a中的特定的位置。另一方面,在异物附着于摄像机20的镜头中的特定的位置的情况下,痕迹集中在摄像机20的固定角度中的特定的位置。
即,如图6的(a)所示那样,在摄像机20基准即绝对坐标系中的相当于痕迹的特征的位置的分布是“疏”的情况下,能推定为异物附着于摄像机20的镜头中的特定的位置的可能性低,在工件4基准即相对坐标系中的相当于痕迹的特征的位置的分布是“密”的情况下,能推定为痕迹形成于工件4的顶面4a中的特定的位置的可能性高。这是因为,认为在痕迹形成于工件4的顶面4a中的特定的位置的状态下,在出现工件4的运送偏差的情况下,绝对坐标系分布成为“疏”,且相对坐标系分布成为“密”。
因此,在绝对坐标系分布是“疏”且相对坐标系分布是“密”的情况下,换言之,在绝对坐标系分布的大小与相对坐标系分布的大小的差分超过第1给定值且相对坐标系分布的大小不足第3给定值的情况下,解析用终端26判定为相当于痕迹的特征是在加工工序中形成于工件4的顶面4a的痕迹。
另一方面,如图6的(b)所示那样,在摄像机20基准即绝对坐标系中的相当于痕迹的特征的位置的分布是“密”的情况下,能推定为异物附着于摄像机20的镜头中的特定的位置的可能性高,在工件4基准即相对坐标系中的相当于痕迹的特征的位置的分布是“疏”的情况下,能推定为痕迹形成于工件4的顶面4a中的特定的位置的可能性低。这是因为,认为在异物附着于摄像机20的镜头中的特定的位置的状态下,在出现工件4的运送偏差的情况下,绝对坐标系分布成为“密”,且相对坐标系分布成为“疏”。
因此,在绝对坐标系分布是“密”且相对坐标系分布是“疏”的情况下,换言之,在绝对坐标系分布的大小与相对坐标系分布的大小的差分为第1给定值以下的情况下,解析用终端26判定为相当于痕迹的特征是检查工序中的痕迹的误检测。
回到图3的流程图,在步骤S1050后,解析用终端26通过参考存放于数据库24的位置坐标信息,来分别比较相对坐标系分布的中心坐标(即,相当于痕迹的特征的位置)、和相对坐标系中的第1加工设备6的卡盘16、第2加工设备8的卡盘以及第3加工设备10的卡盘的各位置坐标(即,相对坐标系中的各卡盘对工件4的抓握位置)。具体地,解析用终端26判定相对坐标系分布的中心坐标与卡盘的位置坐标的差分是否是第2给定值(例如1mm)以下(S1052)。在相对坐标系分布的中心坐标与卡盘的位置坐标的差分为第2给定值以下的情况下(S1052“是”),解析用终端26基于上述的比较结果来确定作为形成于工件4的顶面4a的痕迹的产生要因的加工设备(S1053)。
在此,位置坐标信息例如是图7所示那样的数据表格。在图7所示的示例中,在位置坐标信息的第1行存放相对坐标系中的第1加工设备6的卡盘16的位置坐标(X,Y)=(10,10)。在位置坐标信息的第2行存放相对坐标系中的第2加工设备8的卡盘的位置坐标(X,Y)=(100,100)。在位置坐标信息的第3行存放相对坐标系中的第3加工设备10的卡盘的位置坐标(X,Y)=(150,150)。
例如,在相对坐标系分布的中心坐标为(X,Y)=(10,10)的情况下,解析用终端26算出相对坐标系分布的中心坐标与相对坐标系中的第1加工设备6的卡盘16的位置坐标的差分即第1差分(ΔX1,ΔY1)。另外,解析用终端26算出相对坐标系分布的中心坐标与相对坐标系中的第2加工设备8的卡盘的位置坐标的差分即第2差分(ΔX2,ΔY2)。另外,解析用终端26算出相对坐标系分布的中心坐标与相对坐标系中的第3加工设备10的卡盘的位置坐标的差分即第3差分(ΔX3,ΔY3)。
解析用终端26从算出的第1差分、第2差分以及第3差分之中确定最小的第1差分。例如在上述的示例中,第1差分是(0,0)。第2差分是(90,90)。第3差分是(140,140)。第1差分比第2差分小。而且,第1差分比第3差分小。解析用终端26在所确定的第1差分(ΔX1以及ΔY1各自)为第2给定值以下的情况下,将第1加工设备6确定为作为痕迹的产生要因的加工设备,判定为痕迹的产生要因是缘于第1加工设备6对工件4的抓握。
回到图3的流程图,在步骤S1053后,在解析结果显示用显示器28中显示来自解析用终端26的解析结果(S1054)。由此,在解析结果显示用显示器28中显示表示第1加工设备6的卡盘16的抓握作为原因而在工件4的顶面4a形成痕迹的意思的信息。
回到步骤S1052,在相对坐标系分布的中心坐标与卡盘的位置坐标的差分超过第2给定值的情况下(S1052“否”),解析用终端26判定为相当于痕迹的特征的产生要因不明(在工件4上集中)(S1055)。之后,在解析结果显示用显示器28中显示表示相当于痕迹的特征的产生要因不明的意思的信息,作为来自解析用终端26的解析结果(S1054)。
回到步骤S1048,在从步骤S1048前进到步骤S1051的情况下,与上述同样地,在解析结果显示用显示器28中显示来自解析用终端26的解析结果(S1054)。由此,在解析结果显示用显示器28中显示表示附着于摄像机20的镜头的异物作为原因而发生了痕迹的误检测的意思的信息。
回到步骤S1048,在绝对坐标系分布的大小与相对坐标系分布的大小的差分超过第1给定值(S1048“是”)且相对坐标系分布的大小为第3给定值以上的情况下(S1049“否”),解析用终端26判定为相当于痕迹的特征的产生要因不明(在工件4上未集中)(S1056)。这是因为,在相对坐标系分布的大小为第3给定值以上(即,相对坐标系分布为“疏”)的情况下,存在混合高斯模型中的评价不合适的可能性,不能适当地判定相当于痕迹的特征的产生要因。之后,在解析结果显示用显示器28中显示表示相当于痕迹的特征的产生要因不明的意思的信息,作为来自解析用终端26的解析结果(S1054)。
[4.效果]
如上述那样,在本实施方式中,在绝对坐标系分布的大小与相对坐标系分布的大小的差分超过第1给定值的情况下,解析用终端26判定为相当于痕迹的特征是在加工工序中形成于工件4的顶面4a的痕迹。另一方面,在绝对坐标系分布的大小与相对坐标系分布的大小的差分为第1给定值以下的情况下,解析用终端26判定为相当于痕迹的特征是检查工序中的痕迹的误检测。
由此,能明确地区分加工工序中产生的痕迹和检查工序中的痕迹的误检测。其结果,能提高检查工序中的工件4的外观检查的精度。
(其他变形例)
以上基于上述实施方式说明了一个或多个方式所涉及的信息处理方法以及信息处理装置,但本公开并不限定于上述实施方式。只要不脱离本公开的主旨,对实施方式施予本领域技术人员所想到的各种变形而得到的方案、将不同实施方式中的构成要素组合而构建的形态也可以包含在一个或多个方式的范围内。
在上述实施方式中说明了工件4是电容器的情况,但并不限定于此,例如也可以是电阻或电感器等各种电子部件,还可以是汽车部件等金属加工品等。
另外,在上述实施方式中,各构成要素可以由专用的硬件构成,或者可以通过执行适合各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部将记录于硬盘或半导体存储器等记录介质的软件程序读出并执行来实现。
另外,也可以将上述实施方式所涉及的信息处理装置的功能的一部分或全部通过由CPU等处理器执行程序来实现。
构成上述的各装置的构成要素的一部分或全部可以由能在各装置拆装的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块可以包含上述的超多功能LSI。
通过由微处理器遵循计算机程序而动作,所述IC卡或所述模块达成该功能。该IC卡或该模块也可以具有防篡改性。
本公开可以设为上述所示的方法。另外,也可以将这些方法设为通过计算机实现的计算机程序,还可以设为由所述计算机程序构成的数字信号。另外,本公开可以设为将所述计算机程序或所述数字信号记录于计算机可读的记录介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等中。另外,也可以设为记录于这些记录介质的所述数字信号。另外,本公开也可以设为将所述计算机程序或所述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据播送等进行传输。另外,本公开也可以是具备微处理器和存储器的计算机系统,所述存储器存储上述计算机程序,所述微处理器遵循所述计算机程序而动作。另外,也可以通过将所述程序或所述数字信号记录于所述记录介质并进行移送,或者将所述程序或所述数字信号经由所述网络等进行移送,从而由独立的其他计算机系统来实施。
工业可利用性
本公开所涉及的信息处理方法例如能运用在通过拍摄工件来检查工件的外观的检查工序中。
Claims (5)
1.一种信息处理方法,用于在用于生产工件的制造线所包含的检查工序中检测形成于所述工件的表面的痕迹,其中,所述检查工序拍摄通过加工工序实施了加工的所述工件来检查所述工件的外观,
所述信息处理方法包含如下步骤:
(a)在所述检查工序中拍摄的图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像的视野为基准定义的第1坐标系中的相当于所述痕迹的特征的位置;
(b)在所述图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像中记录的所述工件的位置为基准定义的第2坐标系中的相当于所述痕迹的特征的位置;
(c)算出所述第1坐标系中的相当于所述痕迹的特征的位置的第1分布的大小、和所述第2坐标系中的相当于所述痕迹的特征的位置的第2分布的大小;和
(d)在所述第1分布的大小与所述第2分布的大小的差分超过第1给定值的情况下,输出表示相当于所述痕迹的特征是在所述加工工序中形成于所述工件的表面的所述痕迹的意思的信息,在所述第1分布的大小与所述第2分布的大小的差分为所述第1给定值以下的情况下,输出表示相当于所述痕迹的特征是所述检查工序中的所述痕迹的误检测的意思的信息。
2.根据权利要求1所述的信息处理方法,其中,
在所述加工工序中,使用在抓握所述工件的状态下对所述工件实施第1加工的第1加工设备,
所述信息处理方法还包含如下步骤:
(e)算出所述第2坐标系中的相当于所述痕迹的特征的位置与所述第2坐标系中的所述第1加工设备对所述工件的抓握位置的差分即第1差分,
在所述(d)中,在所述第1分布的大小与所述第2分布的大小的差分超过所述第1给定值、且所述第1差分为第2给定值以下的情况下,输出表示所述痕迹的产生要因是缘于所述第1加工设备对所述工件的抓握的意思的信息。
3.根据权利要求2所述的信息处理方法,其中,
在所述加工工序中,还使用在抓握所述工件的状态下对所述工件实施第2加工的第2加工设备,
所述信息处理方法还包含如下步骤:
(f)算出所述第2坐标系中的相当于所述痕迹的特征的位置与所述第2坐标系中的所述第2加工设备对所述工件的抓握位置的差分即第2差分,
在所述(d)中,在所述第1分布的大小与所述第2分布的大小的差分超过所述第1给定值、且所述第1差分比所述第2差分小、且所述第1差分为所述第2给定值以下的情况下,输出表示所述痕迹的产生要因是缘于所述第1加工设备对所述工件的抓握的意思的信息。
4.根据权利要求1~3中任一项所述的信息处理方法,其中,
在所述(c)中,在算出所述第2分布的大小后,利用所述第2分布的大小的算出结果来算出所述第1分布的大小。
5.一种信息处理装置,用于在用于生产工件的制造线所包含的检查工序中检测形成于所述工件的表面的痕迹,其中,所述检查工序拍摄通过加工工序进行了加工的所述工件来检查所述工件的外观,
所述信息处理装置具备:
处理器;和
存储能由所述处理器执行的程序的存储器,
所述处理器使用存储于所述存储器的所述程序来执行:
在所述检查工序中拍摄的图像中包含相当于所述痕迹的特征的情况下,对每个所述工件算出以所述图像的视野为基准定义的第1坐标系中的相当于所述痕迹的特征的位置,
在所述图像中包含相当于所述痕迹的特征的位置的情况下,算出以所述图像中记录的所述工件的位置为基准定义的第2坐标系中的相当于所述痕迹的特征的位置,
算出所述第1坐标系中的相当于所述痕迹的特征的位置的第1分布的大小、和所述第2坐标系中的相当于所述痕迹的特征的位置的第2分布的大小,
在所述第1分布的大小与所述第2分布的大小的差分超过给定值的情况下,输出表示相当于所述痕迹的特征是在所述加工工序中形成于所述工件的表面的所述痕迹的意思的信息,
在所述第1分布的大小与所述第2分布的大小的差分为所述给定值以下的情况下,输出表示相当于所述痕迹的特征是所述检查工序中的所述痕迹的误检测的意思的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153369A JP2022047442A (ja) | 2020-09-11 | 2020-09-11 | 情報処理方法及び情報処理装置 |
JP2020-153369 | 2020-09-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114255206A true CN114255206A (zh) | 2022-03-29 |
Family
ID=80626888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111053097.9A Pending CN114255206A (zh) | 2020-09-11 | 2021-09-08 | 信息处理方法以及信息处理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11836914B2 (zh) |
JP (1) | JP2022047442A (zh) |
CN (1) | CN114255206A (zh) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000269286A (ja) * | 1999-03-16 | 2000-09-29 | Toshiba Microelectronics Corp | 半導体基板の欠陥位置特定方法 |
US7072503B2 (en) * | 1999-05-04 | 2006-07-04 | Speedline Technologies, Inc. | Systems and methods for detecting defects in printed solder paste |
JP2001176941A (ja) | 1999-12-17 | 2001-06-29 | Seiko Epson Corp | 自動欠陥検出装置のウェハ座標認識方法 |
US6931149B2 (en) * | 2002-04-19 | 2005-08-16 | Norsk Elektro Optikk A/S | Pipeline internal inspection device and method |
JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
US6741941B2 (en) * | 2002-09-04 | 2004-05-25 | Hitachi, Ltd. | Method and apparatus for analyzing defect information |
JP3982428B2 (ja) * | 2002-09-04 | 2007-09-26 | 株式会社日立製作所 | 欠陥情報解析方法およびその装置 |
JP2005158780A (ja) * | 2003-11-20 | 2005-06-16 | Hitachi Ltd | パターン欠陥検査方法及びその装置 |
KR101530456B1 (ko) * | 2005-11-18 | 2015-06-22 | 케이엘에이-텐코 코포레이션 | 검사 데이터와 조합하여 설계 데이터를 활용하는 방법 및 시스템 |
JP2009025004A (ja) | 2007-07-17 | 2009-02-05 | Nikon Corp | 平面基板検査装置および平面基板の検査方法 |
US8792705B2 (en) * | 2011-11-03 | 2014-07-29 | United Technologies Corporation | System and method for automated defect detection utilizing prior data |
US10290118B2 (en) * | 2015-08-06 | 2019-05-14 | Cognex Corporation | System and method for tying together machine vision coordinate spaces in a guided assembly environment |
JP6666046B2 (ja) * | 2016-04-25 | 2020-03-13 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6955211B2 (ja) * | 2017-12-14 | 2021-10-27 | オムロン株式会社 | 識別装置、識別方法及びプログラム |
US11468590B2 (en) * | 2018-04-24 | 2022-10-11 | Cyberoptics Corporation | Wireless substrate-like teaching sensor for semiconductor processing |
JP7206892B2 (ja) * | 2018-12-20 | 2023-01-18 | 富士通株式会社 | 画像検査装置、画像検査のための学習方法および画像検査プログラム |
-
2020
- 2020-09-11 JP JP2020153369A patent/JP2022047442A/ja active Pending
-
2021
- 2021-08-06 US US17/395,966 patent/US11836914B2/en active Active
- 2021-09-08 CN CN202111053097.9A patent/CN114255206A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220084177A1 (en) | 2022-03-17 |
JP2022047442A (ja) | 2022-03-24 |
US11836914B2 (en) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0726836B2 (ja) | テキスト方位決定方法 | |
KR102106349B1 (ko) | 인쇄 회로 기판 검사 장치, 솔더 페이스트 이상 감지 방법 및 컴퓨터 판독 가능한 기록 매체 | |
EP2889834A1 (en) | Object discrimination device, object discrimination method, and program | |
CN110766095A (zh) | 基于图像灰度特征的缺陷检测方法 | |
JP2006250609A (ja) | 回路実装基板の外観検査方法 | |
Szymanski et al. | Automated PCB inspection in small series production based on SIFT algorithm | |
US7352901B2 (en) | Contour inspection method and apparatus | |
CN114266764A (zh) | 一种印刷标签的字符完整性检测方法及其装置 | |
CN111882547A (zh) | 一种基于神经网络的pcb漏件检测方法 | |
JP2007305005A (ja) | 真円度を計測する手法に特長をもつ画像処理方法および画像処理装置 | |
CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
CN114255206A (zh) | 信息处理方法以及信息处理装置 | |
JP2014126445A (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
JP2002163637A (ja) | 画像検査装置及び画像検査方法 | |
JP2008139262A (ja) | 欠陥検査方法およびその方法を用いた検査装置 | |
CN114708582B (zh) | 基于ai和rpa的电力数据智慧稽查方法及装置 | |
US6757421B1 (en) | Method and apparatus for detecting defects | |
Guan et al. | A golden-block-based self-refining scheme for repetitive patterned wafer inspections | |
JP6397292B2 (ja) | 画像処理による品目識別及び異品判別方法 | |
JPH0217832B2 (zh) | ||
JP5540595B2 (ja) | 印刷物検査装置、印刷物検査システム、印刷物検査方法及び印刷物検査プログラム | |
CN111209834A (zh) | 一种orb机器人图像配准方法 | |
JP2000321038A (ja) | パターン欠陥検出方法 | |
Wu et al. | A system for automated BGA inspection | |
CN110349174B (zh) | 一种滑轨多参数测量方法以及测量装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |