CN109213090A - 位置控制系统、位置检测装置及记录介质 - Google Patents

位置控制系统、位置检测装置及记录介质 Download PDF

Info

Publication number
CN109213090A
CN109213090A CN201810141083.4A CN201810141083A CN109213090A CN 109213090 A CN109213090 A CN 109213090A CN 201810141083 A CN201810141083 A CN 201810141083A CN 109213090 A CN109213090 A CN 109213090A
Authority
CN
China
Prior art keywords
detection
detection processing
image data
detecting device
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810141083.4A
Other languages
English (en)
Other versions
CN109213090B (zh
Inventor
枦山博幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109213090A publication Critical patent/CN109213090A/zh
Application granted granted Critical
Publication of CN109213090B publication Critical patent/CN109213090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4189Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q3/00Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine
    • B23Q3/18Devices holding, supporting, or positioning work or tools, of a kind normally removable from the machine for positioning only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

本发明提供一种位置控制系统、位置检测装置及记录介质,能在未检测出对象物的位置的情况下尽力防止生产性降低的技术。位置控制系统(1)取得拍摄工件所得的图像数据,通过第一检测处理根据图像数据检测工件的位置,在检测出工件位置的情况下,输出用于控制工件位置的控制指令,在未检测出工件位置的情况下,通过稳健性高于第一检测处理的第二检测处理根据图像数据检测工件的位置,并根据第二检测处理的检测结果输出用于控制工件位置的控制指令。

Description

位置控制系统、位置检测装置及记录介质
技术领域
本技术涉及一种对由移动机构移动的对象物的位置进行控制的位置控制系统、对由移动机构移动的对象物的位置进行检测的位置检测装置及实现位置检测装置的记录介质。
背景技术
一直以来,在工厂自动化(FactoryAutomation,FA)领域等中进行以下处理:根据拍摄对象物(以下也称为“工件”)所得的图像数据检测工件的位置,并根据检测出的位置数据将工件配置在本应位置。
例如日本专利特开2014-203365号公报(专利文献1)公开了一种处理装置,此处理装置对配置在工作台上的工件的定位标记进行拍摄并且根据其图像数据检测工件的位置,将基于检测出的工件位置数据的指令输出至控制工作台的控制器。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2014-203365号公报
发明内容
[发明所要解决的问题]
在使用所述现有处理装置的生产线上,在工件的位置检测失败的情况下,有时为了接纳后续工件而不得不将位置检测失败的工件搬送到外部。此情况下,为了将工件顺利地搬送到外部,即便并未准确到工件的位置检测成功时检测出的位置坐标,也由用户(操作员、作业人员等)目测设定在某种程度上具有精度的位置坐标。但是,在工件的位置检测失败的情况下,有时在用户赶来之前生产线停止,或由用户的处置不当导致生产线的停止时间扩大等,可能生产性降低。
本技术提供一种能在未检测出对象物的位置的情况下尽力防止生产性降低的技术。
[解决问题的技术手段]
根据本发明的某一方面,提供一种位置控制系统,此位置控制系统对由移动机构移动的对象物的位置进行控制。位置控制系统具备:控制机制,控制移动机构;取得机制,取得拍摄对象物所得的图像数据;第一检测机制,按照第一检测处理根据图像数据检测对象物的位置;第一输出机制,在通过第一检测机制检测出对象物的位置的情况下,将用于控制对象物的位置的第一控制指令输出至控制机制;第二检测机制,在通过第一检测机制未检测出对象物的位置的情况下,按照稳健性高于第一检测处理的第二检测处理根据图像数据检测对象物的位置;以及第二输出机制,根据第二检测机制的检测结果将用于控制对象物的位置的第二控制指令输出至控制机制。
根据本发明的另一方面,提供一种位置检测装置,此位置检测装置对由移动机构移动的对象物的位置进行检测。位置检测装置具备:取得机制,取得拍摄对象物所得的图像数据;第一检测机制,通过第一检测处理根据图像数据检测对象物的位置;第一输出机制,在通过第一检测机制检测出对象物的位置的情况下,输出用于控制对象物的位置的第一控制指令;第二检测机制,在通过第一检测机制未检测出对象物的位置的情况下,通过稳健性高于第一检测处理的第二检测处理根据图像数据检测对象物的位置;以及第二输出机制,根据第二检测机制的检测结果输出用于控制对象物的位置的第二控制指令。
优选第二检测处理所依的运算法与第一检测处理所依的运算法不同。
优选第二检测处理所依的参数的设定值与第一检测处理所依的参数的设定值不同。
优选通过第二检测处理进行对象物的位置检测的次数多于通过第一检测处理进行对象物的位置检测的次数。
优选位置检测装置还具备接受机制,此接受机制在通过第二检测机制未检测出对象物的位置的情况下,接受能确定对象物的位置的位置数据。
优选位置检测装置还具备:存储机制,存储图像数据并且与图像数据对应地存储位置数据;以及更新机制,根据存储机制所存储的图像数据及位置数据,更新第二检测处理所依的运算法及参数的设定值中的至少一者。
优选第二控制指令为用于控制对象物的位置以将对象物从生产线上搬送到外部的指令。无论是否通过第二检测机制检测出了对象物的位置,第二输出机制均输出第二控制指令。
优选第一控制指令为用于控制对象物的位置以将对象物搬送至生产线的下一工序的指令。第二控制指令为用于控制对象物的位置以将对象物从生产线上搬送到外部的指令。第二输出机制在通过第二检测机制检测出对象物的位置的情况下输出第一控制指令,在通过第二检测机制未检测出对象物的位置的情况下输出第二控制指令。
根据本发明的另一方面,提供一种控制程序,此控制程序是通过由计算机进行执行而实现对由移动机构移动的对象物的位置进行检测的位置检测装置。控制程序使计算机执行以下步骤:取得步骤,取得拍摄对象物所得的图像数据;第一检测步骤,通过第一检测处理根据图像数据检测对象物的位置;第一输出步骤,在通过第一检测步骤检测出对象物的位置的情况下,输出用于控制对象物的位置的第一控制指令;第二检测步骤,在通过第一检测步骤未检测出对象物的位置的情况下,通过稳健性高于第一检测处理的第二检测处理根据图像数据检测对象物的位置;以及第二输出步骤,根据第二检测步骤的检测结果输出用于控制对象物的位置的第二控制指令。
[发明的效果]
根据本技术,能在未检测出对象物的位置的情况下尽力防止生产性降低。
附图说明
图1为用于对应用本实施方式的位置控制系统的生产线的一例进行说明的图。
图2为表示本实施方式的位置控制系统的总体构成的图。
图3为表示本实施方式的位置检测装置的硬件构成的图。
图4为表示本实施方式的动作控制器的硬件构成的图。
图5为表示在本实施方式的位置检测装置中设定处理流程时的画面显示例的图。
图6为表示在本实施方式的位置检测装置中设定处理流程时的画面显示例的图。
图7为表示本实施方式的位置检测装置执行的对准处理的流程图。
图8为表示本实施方式的位置检测装置中位置检测失败时的画面显示例的图。
图9为表示本实施方式的位置检测装置执行的处理流程决定处理的流程图。
图10为用于对本实施方式的位置检测装置执行的处理流程决定处理的概况进行说明的图。
图11为用于对本实施方式的位置检测装置中的处理流程的评价结果进行说明的图。
图12为表示用于对本实施方式的位置检测装置中的第一检测处理与第二检测处理的稳健性的差别进行说明的一例的图。
图13为表示用于对本实施方式的位置检测装置中的第一检测处理与第二检测处理的稳健性的差别进行说明的一例的图。
图14为表示用于对本实施方式的位置检测装置中的第一检测处理与第二检测处理的稳健性的差别进行说明的一例的图。
图15为表示用于对本实施方式的位置检测装置中的第一检测处理与第二检测处理的稳健性的差别进行说明的一例的图。
图16为表示本实施方式的变形例的位置检测装置执行的对准处理的流程图。
[符号的说明]
1:位置控制系统
2:工作台板
4:工件
5:待组装构件
10:数据群
10a:图像数据
10b:手动输入坐标
12、14:定位标记
22:检测处理应用
26:检测结果
32:评价处理应用
40:现行处理流程应用
50:候选处理流程生成应用
60:处理流程
70:评价结果
100:位置检测装置
102、104:相机
110、214:处理器
112:RAM
114:显示控制器
116:系统控制器
118:控制器
120:硬盘
122:相机接口
122a、122b:图像缓冲器
124:输入接口
126:动作控制器接口
128、228:通信接口
130、222:存储卡接口
132:显示部
134:键盘
136、224:存储卡
138:鼠标
150:控制程序
200:动作控制器
210:主控制单元
212:芯片组
216:非易失性存储器
218:主存储器
220:系统时钟
226:内部总线
230:内部总线控制器
232:控制电路(DMA控制电路)
236:缓冲存储器
240、242、244:伺服单元
250、252、254:伺服驱动器
300:工作台
310、312、314:伺服电机
400A、400B、400C:设定画面
401、402、403:标签页
401#:模型登记区
404、490:图像显示区
403#:测量参数设定区
406:总体显示区
407、495:确定按钮
408、488:显示控制图标群
409:取消按钮
410:模型参数设定区
412:单选按钮
414:勾选框
415、422、424、426、428:数值框
416、418:滑动条
420:判定条件设定区
430:模型编辑按钮
432:登记图形显示框
440:模型登记图像区
442:登记画面显示按钮
444:模型再登记按钮
446:删除按钮
450:测量条件设定区
452:测量按钮
460:光标
465:十字图标
470:数据设定区
471:数据显示栏
472:X坐标值栏
473:Y坐标值栏
474:十字按钮
480:坐标显示区
485:指示点
500:查找区域
510:模型
600:边缘区域
910、930:搬送机器人
911、912、931、932:臂
920:搬送路
1100:候选处理流程
1200:运算法
1210:测量运算法
1211:查找检测处理
1212:边缘检测处理
1220:附加处理
1221:过滤处理
1222:大小变动处理
1300:参数的设定值
1301:查找区域
1400:评价结果
S2~S30、S3202~S3210:步骤
具体实施方式
一方面参照附图一方面对本发明的实施方式进行详细说明。此外,对附图中的相同或相应部分标注相同符号,不重复进行说明。
<A.应用位置控制系统的生产线的一例>
图1为用于对应用本实施方式的位置控制系统1的生产线的一例进行说明的图。
参照图1,本实施方式的位置控制系统1在工业产品的生产线等中,使用图像处理进行对准(alignment)。对准典型而言是指将工件配置在生产线的本应位置的处理等。作为此种对准的一例,位置控制系统1根据对配置在工作台板2上表面的对象物(工件4)进行拍摄所得的图像数据检测工件4的位置,并根据检测出的位置数据(本实施方式中为位置坐标)控制工作台300,由此将工件配置在正确位置。
具体而言,如图1的(A)所示,将经搬送机器人910的臂911、臂912搬送的工件4配置在由工作台300进行位置控制的工作台板2的上表面。如图1的(B)所示,工件4的上表面设有定位标记12、定位标记14。本实施方式中,作为定位标记12、定位标记14,在工件4的四角中的至少一部分印刷有十字标记。此外,定位标记不限于工件4的四角,也可设于中央等工件4上的任意位置。另外,定位标记不限于十字,可为长方形、圆、扇形、任意多边形等任意形状。
利用相机102、相机104分别拍摄定位标记12、定位标记14。此外,也可使一台相机一边移动一边拍摄多个定位标记,而非对多个定位标记各自分配一台相机。如图1的(C)所示,根据由相机102、相机104所得的定位标记12、定位标记14的拍摄数据进行工件的位置检测处理。
在工件4的位置检测成功的情况下,如图1的(D)所示,根据检测出的工件4的位置坐标控制工作台300,由此工作台板2移动。此处,若工件4的位置并非要求精度内,则将工件4的位置更正至本应位置。例如,通过控制工作台300使工作台板2逆时针旋转,由此将工件4的位置更正成与下文将述的待组装构件5的位置一致。此外,虽省略图示,但更正工件4的位置后,再次利用相机102、相机104拍摄定位标记并根据拍摄所得的图像数据再次检测工件4的位置。然后,再次判定工件4的位置是否为要求精度内。在工件4的位置为要求精度内的情况下,如图1的(E)所示,随着工作台300的移动将工件4导入成功路径,将经搬送机器人930的臂931、932搬送的待组装构件5贴附在工件4上。如此可组装工业产品。
另一方面,在工件4的位置检测失败的情况下,为了将工件4顺利地从生产线上搬送到外部,即便并未准确到工件4的位置检测成功时检测出的位置坐标,也必须设定在某种程度上具有精度的位置坐标。作为其原因的一例,如下文将述的图1的(G)所示,用于将工件4搬送到外部的搬送路920的宽度是固定的。具体而言,在并未对工作台300输入表示位置坐标的指令,或即便对工作台300输入了表示位置坐标的指令但此位置坐标不恰当的情况下,可能产生并未将工件4收纳在搬送路920中的事态。如此,可能导致生产线停止。因此,为了顺畅地接纳后续的工件4,在工件4的位置检测失败的情况下,必须设定在某种程度上具有精度的位置坐标。
因此,以前在工件4的位置检测失败的情况下,由用户手动输入工件4的位置坐标。但是,若每当工件4的位置检测失败时由用户手动输入位置坐标,则有时在用户赶来之前生产线停止,或因用户的处置不当而导致生产线的停止时间扩大等,可能生产性降低。
因此,本实施方式的位置控制系统1中,将以往由用户手动输入的位置坐标(以下也称为手动输入坐标)与图像数据对应地加以存储。而且,根据此累积的手动输入坐标及图像数据的组,在工件4的位置检测失败的情况下进行第二次位置检测处理。此第二次位置检测处理的稳健(robust)性高于图1的(C)中进行的第一次位置检测处理,因此即便在第一次位置检测处理中位置检测失败的情况下,第二次位置检测处理中位置检测成功的概率也提高。结果,即便用户不手动输入位置坐标,也能自动设定位置坐标。
如图1的(F)所示,通过第二次位置检测处理检测位置坐标,并根据此位置坐标控制工作台300。例如,通过控制工作台300使工作台板2逆时针旋转,由此将工件4的位置更正成收纳在搬送路920内。然后,如图1的(G)所示,随着工作台300的移动将工件4导入失败路径,通过搬送路920将工件4从生产线上搬送到外部。
<B.位置控制系统的总体构成>
图2为表示本实施方式的位置控制系统1的总体构成的图。如图2所示,位置控制系统1具备位置检测装置100、动作控制器200及工作台300。
位置检测装置100取得一个以上的相机(图2的示例中为相机102、相机104)拍摄的图像数据,并检测所取得的图像数据所含的定位标记12、定位标记14的位置,由此确定工件4的位置。位置检测装置100根据所确定的工件4的位置,将用于将工件4配置在正确位置的指令输出至动作控制器200。
动作控制器200按照来自位置检测装置100的指令对工作台300给予指令,由此实现对工件4的对准。
工作台300只要为能将工件4配置在正确位置的机构,则可为任何自由度。本实施方式中,工作台300能对工件4给予水平方向的移位及旋转移位。
<C.位置检测装置的总体构成>
图3为表示本实施方式的位置检测装置100的硬件构成的图。如图3所示,位置检测装置100典型而言具有遵循通用计算机架构(computerarchitecture)的结构,通过由处理器执行预先安装的程序而实现下文将述般的各种处理。
更具体而言,位置检测装置100包含中央处理器(CentralProcessingUnit,CPU)或微处理器(Micro-ProcessingUnit,MPU)等处理器110、随机存取存储器(RandomAccessMemory,RAM)112(RAM112)、显示控制器114、系统控制器116、输入/输出(InputOutput,I/O)控制器118、硬盘120、相机接口122、输入接口124、动作控制器接口126、通信接口128及存储卡接口130。所述各部以系统控制器116为中心而以能互相进行数据通信的方式连接。
处理器110在与系统控制器116之间交换程序(代码)等,并按规定顺序执行所述程序(代码),由此实现目标运算处理。
系统控制器116经由总线分别与处理器110、RAM112、显示控制器114及I/O控制器118连接,与各部之间进行数据交换等,并且管理整个位置检测装置100的处理。
RAM112典型而言为动态随机存取存储器(DynamicRandomAccessMemory,DRAM)等易失性的存储装置,保持从硬盘120读取的程序或由相机102和相机104取得的相机图像(图像数据)、与图像数据有关的数据(手动输入坐标等)及工件数据等。
显示控制器114与显示部132连接,按照来自系统控制器116的内部命令,将用于表示各种信息的信号输出至显示部132。
I/O控制器118控制与连接于位置检测装置100的记录介质或外部设备之间的数据交换。更具体而言,I/O控制器118与硬盘120、相机接口122、输入接口124、动作控制器接口126、通信接口128及存储卡接口130连接。
硬盘120典型而言为非易失性的磁性存储装置,除了存储处理器110所执行的运算法(algorithm)等控制程序150以外,还存储各种设定值等。此硬盘120中安装的控制程序150是以存储在存储卡136等中的状态流通。此外,也可采用闪速存储器等半导体存储装置或随机存取数字万能光盘(DigitalVersatileDiskRandomAccessMemory,DVD-RAM)等光学存储装置代替硬盘120。
相机接口122取得通过拍摄工件所得的图像数据,为处理器110与相机102、相机104之间的数据传输中介。相机接口122包含用于分别暂时存储来自相机102、相机104的图像数据的图像缓冲器122a、图像缓冲器122b。也可对多个相机设置能在相机之间共享的单一图像缓冲器,但为了实现处理高速化,优选与各相机对应地独立配置多个。
输入接口124为处理器110与键盘134、鼠标138、触摸屏、专用控制台(console)等输入装置之间的数据传输中介。
动作控制器接口126为处理器110与动作控制器200之间的数据传输中介。
通信接口128为处理器110与未图示的其他个人计算机或服务器(server)装置等之间的数据传输中介。通信接口128典型而言由以太网(Ethernet,注册商标)或通用串行总线(UniversalSerialBus,USB)等构成。
存储卡接口130为处理器110与作为记录介质的存储卡136之间的数据传输中介。以存储卡136中存储有位置检测装置100执行的控制程序150等的状态流通,存储卡接口130从所述存储卡136中读取控制程序。存储卡136是由安全数字卡(SecureDigital,SD)等通用的半导体存储设备、软盘(FlexibleDisk)等磁性记录介质或只读光盘(CompactDiskReadOnlyMemory,CD-ROM)等光学记录介质等构成。或者,也可将通过通信接口128从分发服务器(deliveryserver)等下载的程序安装在位置检测装置100中。
在利用具有所述般的遵循通用计算机架构的结构的计算机的情况下,也可除了安装有用于提供本实施方式的功能的应用以外,还安装有用于提供计算机的基本功能的操作系统(OperatingSystem,OS)。此情况下,本实施方式的控制程序也能以规定的顺序和/或时机调用作为OS的一部分而提供的程序模块中必要的模块并执行处理。
进而,本实施方式的控制程序也可组入到其他程序的一部分中而提供。即便是此情况下,程序自身中也不含所述般组合的其他程序所含的模块,而是与此其他程序联合执行处理。即,本实施方式的控制程序也可为此种组入到其他程序中的形态。
此外,也可取而代之而以专用硬件电路的形式来安装通过执行控制程序所提供的一部分或全部功能。
<D.动作控制器的总体构成>
图4为表示本实施方式的动作控制器200的硬件构成的图。如图4所示,动作控制器200包含主控制单元210及多个伺服单元240、242、244。本实施方式的位置控制系统1中,示出工作台300具有三轴的伺服电机310、伺服电机312、伺服电机314的示例,动作控制器200中包含与所述轴数相应的个数的伺服单元240、伺服单元242、伺服单元244。
主控制单元210管理动作控制器200的总体控制。主控制单元210经由内部总线226与伺服单元240、伺服单元242、伺服单元244连接,互相交换数据。伺服单元240、伺服单元242、伺服单元244按照来自主控制单元210的内部指令等,对伺服驱动器250、伺服驱动器252、伺服驱动器254分别输出控制命令(典型而言为驱动脉冲等)。伺服驱动器250、伺服驱动器252、伺服驱动器254分别驱动所连接的伺服电机310、伺服电机312、伺服电机314。
主控制单元210包含芯片组(chipset)212、处理器214、非易失性存储器216、主存储器218、系统时钟220、存储卡接口222、通信接口228及内部总线控制器230。芯片组212与其他部分(component)之间经由各种总线而分别结合。
处理器214及芯片组212典型而言具有遵循通用计算机架构的构成。即,处理器214解释从芯片组212按内部时钟依次供给的命令代码并执行。芯片组212与所连接的各种部分之间交换内部数据,并且生成处理器214所需要的命令代码。系统时钟220产生预定周期的系统时钟并提供给处理器214。芯片组212具有缓存(cache)处理器214中执行运算处理结果所得的数据等的功能。
主控制单元210具有非易失性存储器216及主存储器218,非易失性存储器216非易失性地保持OS、系统程序、用户程序、数据定义信息、日志信息(loginformation)等。主存储器218为易失性的存储区域,保持处理器214应执行的各种程序,并且也被用作执行各种程序时的作业用存储器。
主控制单元210具有通信接口228及内部总线控制器230作为通信机构。所述通信电路进行数据的发送及接收。
通信接口228与位置检测装置100之间交换数据。内部总线控制器230控制经由内部总线226的数据交换。更具体而言,内部总线控制器230包含缓冲存储器(buffermemory)236及动态内存访问(DynamicMemoryAccess,DMA)控制电路232(DMA232)。
存储卡接口222将可相对于主控制单元210进行装卸的存储卡224与芯片组212连接。
<E.处理流程设定时的画面显示例>
图5及图6为表示在本实施方式的位置检测装置100中设定处理流程时的画面显示例的图。图5及图6中,作为图像处理的一例,示出设定查找检测处理的运算法作为处理流程的情况的示例。此外,通过位置检测装置100的处理器110及未图示的显卡(graphicsboard)等协同工作而显示图5及图6所示般的画面。此种画面显示是由作为OS(OperatingSystem)的一部分而组入的图形用户界面(GraphicalUserInterface,GUI)程序实现,另外GUI也提供以下环境:用于由用户通过键盘134或鼠标138操作画面上的光标(cursor)或箭头图标,使用此光标或箭头图标进行各种用户设定。
“处理流程”为位置检测所用的运算法及参数的设定值。用户能经由图5及图6所示的画面,选择位置检测所用的运算法及参数的设定值作为处理流程。
“查找检测处理”为以图像模式(模型)的形式预先登记工件的需检测的特征部分,从图像数据中找出登记的模型的特征部分,由此确定位置坐标的处理。作为一例,位置检测装置100一边在图像数据上扫描一边算出各坐标的浓淡程度而确定特征部分,算出所确定的特征部分与登记的模型的特征部分之间的类似度,由此检测定位标记的位置。此外,查找检测处理不限于所述方法,也可使用周知方法。
此外,也可与查找检测处理无关而在位置检测中使用其他处理。例如,用户在位置检测中也能选择边缘检测处理。“边缘检测处理”为在图像数据上的X轴(例如横轴)及Y轴(例如纵轴)两者上一边扫描一边算出各坐标的浓淡程度,将邻接坐标间的浓淡程度的差值超过阈值的部分确定为边缘,由此确定位置坐标的处理。扫描的区域能作为边缘区域而预先由用户设定。此外,边缘检测处理不限于所述方法,也可使用周知方法。
如图5所示,若选择“模型登记”的标签页(tag)401,则显示部132中显示设定画面400A。设定画面400A包含模型登记区401#、图像显示区404、总体显示区406及显示控制图标群408。
图像显示区404中显示由相机102、相机104取得的图像数据。各种设定中,此图像显示区404中显示的图像实时更新。总体显示区406中,与图像显示区404同样地显示相机102、相机104所取得的图像数据。但是,总体显示区406中,与图像显示区404中的显示范围无关而独立地显示整个对象图像数据。进而,响应用户对显示控制图标群408的操作(扩大或缩小等),图像显示区404中显示的图像数据的显示范围及显示精度变更。
模型登记区401#中显示模型编辑按钮430、登记图形显示框432、模型参数设定区410及模型登记图像区440。
在用户登记需查找模型的情况下,在以下状态下进行操作:使用相机102、相机104预先取得包含模型的基准物,并使所取得的图像数据显示在图像显示区404及总体显示区406中。
首先,若用户操作鼠标138等按下模型编辑按钮430,则显示未图示的描画工具对话框。用户操作此描画工具对话框,在图像显示区404中显示的图像数据上重叠指定需作为模型而登记的范围。图5中示出在图像显示区404上设定包含定位标记(十字标记)的四边形范围作为模型510的情况。在某一模型登记完毕的情况下,登记图形显示框432中显示已登记模型的形状(图5的情况下为“四边形”)。此外,模型登记的形状不限于四边形,可为长方形、圆、扇形、任意多边形等任意形状。
在进行已登记模型的设定变更等的情况下,用户按下模型登记图像区440的必要按钮。保存有用于模型登记的图像数据,之后能够仅变更与已登记模型有关的参数。更具体而言,若按下登记画面显示按钮442,则显示用于模型登记的图像数据。若再次按下此登记画面显示按钮442,则切换为当前正输入的图像数据的显示。若按下模型再登记按钮444,则在已登记的模型图像保持原样且变更了其他参数的状态下再次登记模型。进而若按下删除按钮446,则删除已登记模型。
模型参数设定区410中作为设定项目,接受查找模式的选择。查找模式为评价与模型以何种程度类似的方法的选择。关于此查找模式,通过操作单选按钮412,能选择“相关”及“形状”的任一个。“相关”为将输入的图像数据的亮度归一化后算出与模型的相关值,由此测量类似度的方法。另一方面,“形状”为根据与模型的轮廓形状的一致度测量类似度的运算法。通常“相关”模式的情况下能实现稳定测量。
若在所述查找模式中选择“相关”,则能设定“旋转”、“稳定度”、“精度”。另一方面,若在查找模式中选择“形状”,则能设定“旋转范围”及“稳定度”。
“旋转”是在工件旋转般的情况下,指定与以下处理有关的参数的设定值:在内部生成使已登记模型以预定角度为单位旋转所得的多个模型,并根据所生成的各模型测量类似度。即,若勾选旋转的勾选框414,则旋转处理生效。然后,若在数值框415中分别输入旋转范围(旋转角度上限值及旋转角度下限值)及单位角度,则指定生成在旋转范围内以单位角度逐次旋转所得的模型。通常单位角度越小则稳定性越高,但处理时间变长。此外,也能设定能高速地进行旋转查找的精准模式(smartmode)。
“稳定度”是设定以测量的稳定度与处理速度的哪一个为优先。即,将滑动条416在规定幅度(例如1~15)的范围内设定为任一个值,此设定值越小则处理时间越缩短,此值越大则处理时间越变长但能提高稳定度。
“精度”是设定以测量的位置精度与处理速度的哪一个为优先。即,将滑动条418在规定幅度(例如1~3)的范围内设定为任一个值,此设定值越小则处理时间越缩短,此值越大则处理时间越变长但能提高精度。
通过按下确定(OK)按钮407而反映所述般的内容作为位置检测的处理。此外,在按下取消按钮409的情况下,将未反映的内容重置(reset)。
若继此种模型登记之后选择“区域设定”的标签页402,则显示用于指定搜索模型的范围的设定画面(图示省略)。此设定画面中,用户能在图像显示区404上将任意区域设定为查找区域。此外,也可将整个输入图像数据设为查找区域,但若将查找区域限制为一部分区域则能缩短处理时间。
如图6所示,若继输入区域设定之后选择“测量参数”的标签页403,则显示设定画面400B。设定画面400B包含测量参数设定区403#、图像显示区404、总体显示区406及显示控制图标群408。测量参数设定区403#中显示判定条件设定区420、测量条件设定区450及测量按钮452。
图像显示区404中显示定位标记及经区域设定决定的查找区域500。
测量条件设定区450接受“过滤处理”的有效/无效及“大小变动处理”的有效/无效作为查找检测处理的附加性处理(以下也称为附加处理)。
“过滤处理”为用于强调图像数据中与定位标记对应的部分,由此使定位标记容易检测的处理。例如在印刷定位标记般的情况下,若印刷精度差则定位标记与其周边的浓淡差变小,其边界难以辨别。即便是此种情况,若将过滤处理设定为有效,则也能强调定位标记与其周边的浓淡差之后进行查找检测处理。但是对于过滤处理而言,用于调整定位标记与其周边的浓淡差的图像处理费时,因此整个查找检测处理的处理时间变长。
“大小变动处理”为用于在即便图像数据中与定位标记对应的部分的大小与原本大小不同的情况下,也追加与所述大小相应的处理,由此使定位标记容易检测的处理。例如若定位标记的印刷精度差,则有时定位标记是以与已登记模型图像的大小不同的方式而印刷。即便是此种情况,若将大小变动处理设定为有效,则也能考虑定位标记的大小而进行查找检测处理。作为处理的一例,将通过在图像数据上扫描而确定的特征部分与已登记模型图像比较时,生成多张使所述模型图像的大小变动所得的模型图像。然后,将生成的多张模型图像全部或一部分与特征部分比较。然后,根据最匹配的模型图像进行比较,由此确定特征部分的位置。但是,对于大小变动处理而言,与定位标记的大小相应的处理费时,因此整个查找检测处理的处理时间变长。
在设定、变更了测量条件设定区450的项目的情况下,用户按下测量按钮452,判断能否正确执行查找检测处理。
判定条件设定区420接受以下条件:用于在测量出的各坐标的类似度(相关值)中,设定判定为与已登记模型一致(“可以(OK)”)者。更具体而言,作为设定项目,能设定测量坐标X、测量坐标Y、测量角度及相关值此四个项目。关于测量坐标X及测量坐标Y,通过在数值框422、数值框424中分别输入数值范围,而设定应包含测量出的坐标值(X坐标值及Y坐标值)的各坐标范围。关于测量角度,通过在数值框426中输入数值范围,而设定应包含测量出的模型的旋转角度的角度范围。进而,关于相关值,通过在数值框428中输入数值范围,而设定应包含测量出的与模型的相关值的数值范围。
此外,所述般的查找检测处理中,通过在输入图像内逐渐依次更新算出与已登记模型之间的类似度的区域,而探索输入图像的任一位置(坐标)的类似度是否高。因此,作为实际的内部处理,算出输入图像内的多个坐标各自的类似度。因此,也可在算出的所有类似度中,除了具有最高值的类似度以外,也将具有第二高、第三高的类似度的坐标作为检测结果而输出。
如上所述,用户能选择“模型登记”的标签页401、“区域设定”的标签页402或“测量参数”的标签页403,并在此时显示的各种设定画面中设定位置检测所用的处理流程(运算法、参数的设定值)。
本实施方式中所谓“运算法”,是指位置检测的方法及与此方法关联的附加性处理(附加处理)。例如运算法所含的位置检测的方法包括查找检测处理及边缘检测处理。所述运算法为用于进行位置检测的主要运算法,因此以下也称为测量运算法。运算法所含的附加处理包括过滤处理及大小变动处理。
运算法包含位置检测的方法(测量运算法)及与此方法关联的附加性处理(附加处理),因此通过变更运算法,位置检测时的处理量改变,处理时间也随之改变。例如若使附加处理作为运算法而生效,则位置检测的成功概率提高而稳健性变高,但相应地位置检测时的处理量变多而处理时间延长。另外,若使用多种运算法,则位置检测的成功概率提高而稳健性变高,但相应地位置检测时的处理量变多而处理时间延长。此外,所述运算法为一例,只要通过进行变更而稳健性变化,则可包含任意的位置检测的方法及与此方法关联的附加处理。
所谓“参数的设定值”,是指进行遵循所述运算法的位置检测时所用的各种设定值。例如查找检测处理中的参数的设定值包括:图5所示的模型参数设定区410中能设定的各种参数的设定值、通过选择“区域设定”的标签页402而能设定的查找区域的设定值、图6所示的判定条件设定区420中能设定的各种参数的设定值。由于参数的设定值为进行遵循运算法的位置检测时所用的各种设定值,因此通过变更参数的设定值,位置检测时的处理量改变,处理时间也随之改变。例如若以扩大查找区域的方式设定参数的设定值,则位置检测的成功概率提高而稳健性变高,但相应地位置检测时的处理量变多而处理时间延长。另外,若使用多种参数的设定值,则位置检测的成功概率提高而稳健性变高,但相应地位置检测时的处理量变多而处理时间延长。此外,所述参数的设定值为一例,只要通过进行变更而稳健性变化,则包含任意种类的参数的设定值。
<F.对准处理>
图7为表示本实施方式的位置检测装置100执行的对准处理的流程图。此外,以下将各步骤简称为“S”。
如图7所示,位置检测装置100利用相机102、相机104对经工作台300搬送的工件进行拍摄,由此取得工件的图像数据(S2)。位置检测装置100按照作为第一次位置检测处理的第一检测处理,尝试根据图像数据进行工件的位置检测(S4)。具体而言,位置检测装置100按照用户在图5及图6所示的画面中设定的处理流程,尝试根据图像数据进行定位标记的位置检测。
位置检测装置100判定是否通过第一检测处理成功地进行了工件的位置检测(S6)。位置检测装置100在工件的位置检测成功的情况下(S6中为是),判定工件的当前位置是否为要求精度内(S8)。在工件的当前位置为要求精度内的情况下(S8中为是),位置检测装置100对工作台300输出用于控制工件位置的指令(S10)。具体而言,位置检测装置100向动作控制器200输出用于将工件导入成功路径并将工件搬送至生产线的下一工序的指令。然后,位置检测装置100结束处理。
另一方面,在工件的当前位置并非要求精度内的情况下(S8中为否),位置检测装置100算出用于将工件位置更正为本应位置的工作台控制量(S12)。然后,位置检测装置100根据算出的工作台控制量,对动作控制器200输出用于控制工件位置的指令(S14),回到S4的处理。由此,将工件位置更正为本应位置。
在S6的处理中位置检测装置100的工件位置检测失败的情况下(S6中为否),位置检测装置100按照第二检测处理,尝试根据与S4中所用的图像数据相同的图像数据进行作为第二次位置检测处理的第二检测处理(S16)。此时,位置检测装置100使用稳健性较S4的第一检测处理中所用的处理流程高的处理流程。
例如,第二检测处理可与第一检测处理不同而采用稳健性高的运算法。第二检测处理也可与第一检测处理不同而采用稳健性高的参数的设定值。第二检测处理也可使用与第一检测处理相同的运算法及参数的设定值,但尝试检测的次数较第一检测处理多。第二检测处理也可与第一检测处理不同而使用稳健性高的运算法,且尝试检测的次数较第一检测处理多。第二检测处理也可与第一检测处理不同而使用稳健性高的参数的设定值,且尝试检测的次数较第一检测处理多。如此,第二检测处理为通过使处理流程的内容(运算法、参数的设定值)或检测次数与第一检测处理不同而进行稳健性更高的位置检测的处理。
位置检测装置100判定是否通过第二检测处理成功地进行了工件的位置检测(S18)。位置检测装置100在工件的位置检测成功的情况下(S18中为是),算出用于更正工件位置以从生产线上搬送到外部的工作台控制量(S20)。然后,位置检测装置100根据算出的工作台控制量,对动作控制器200输出用于控制工件位置的指令(S22)。具体而言,位置检测装置100向动作控制器200输出用于将工件导入失败路径的指令。然后,位置检测装置100结束处理。
另一方面,位置检测装置100在工件的位置检测失败的情况下(S18中为否),接受用户进行的工件位置坐标(准确而言为定位标记的位置坐标)的手动输入(S24)。此外,关于用户手动输入位置坐标的具体方法,将使用图8在下文中描述。
位置检测装置100存储位置检测失败时的图像数据,并且与图像数据对应地存储在S24中由用户手动输入的位置坐标(手动输入坐标)(S26)。
位置检测装置100判定学习开始条件是否成立(S28)。所谓学习开始条件,为用于开始处理流程决定处理的条件。所谓处理流程决定处理,为用于通过机械学习来决定第二检测处理所依的处理流程的处理,具体情况将使用图9在下文中描述。
处理流程决定处理中,若不存在某种程度的样本数据则无法决定恰当的处理流程。因此,学习开始条件例如只要设定为在位置检测失败时的图像数据与手动输入坐标的组数超过规定数时成立即可。此外,学习开始条件也可不限于样本数据的数量而使用时间经过,或不限于位置检测的成功或失败而使用搬送到生产线上的工件数等其他条件。
在学习开始条件成立的情况下(S28中为是),位置检测装置100执行处理流程决定处理(S30),进入S20以后的处理。另一方面,在学习开始条件不成立的情况下(S28中为否),不执行处理流程决定处理而进入S20以后的处理。
如此,位置检测装置100按照第一检测处理根据图像数据检测工件的位置(S4),在检测出工件位置的情况下,输出用于控制工件位置的控制指令(S10),在未检测出工件位置的情况下,按照稳健性高于第一检测处理的第二检测处理根据图像数据检测工件的位置(S16),并根据检测结果输出用于控制工件位置的控制指令(S22)。
另外,无论是否通过第二检测处理检测出了工件位置,位置检测装置100均输出用于控制工件位置以从生产线上搬送到外部的控制指令(S22)。
<G.位置检测失败时的画面显示例>
图8为表示本实施方式的位置检测装置100中位置检测失败时的画面显示例的图。如图8所示,在第二检测处理中位置检测失败的情况下(图7的S18中为否的情况),显示部132中显示坐标设定画面400C。以下,对坐标设定画面400C进行说明。
坐标设定画面400C包含图像显示区490、数据设定区470、坐标显示区480及显示控制图标群488。
图像显示区490中显示进行了位置检测的图像数据。图像显示区490中显示的图像中虽然显示出定位标记,但由于印刷精度差,因此定位标记与其周边的浓淡差变小,其边界难以辨别。另外,图像显示区490中显示出包含十字图标465的光标460。用户能通过使用键盘134或鼠标138选择下文将述的十字按钮474而移动光标460,能将十字图标465的中心位置的坐标设定为手动输入坐标。
数据设定区470中显示数据显示栏471、X坐标值栏472、Y坐标值栏473及十字按钮474。数据显示栏471中显示整理号(No.)、测量坐标(像素)及状态。X坐标值栏472中显示十字图标465的中心位置的坐标中的X坐标值。Y坐标值栏473中显示十字图标465的中心位置的坐标中的Y坐标值。
坐标显示区480中示意性地显示通过相机102、相机104所取得的图像数据,并且显示用于容易地理解坐标的X轴及Y轴。若用户通过选择十字按钮474而使光标460移动,则坐标显示区480中指示点(pointer)485随之而移动。进而,响应用户对显示控制图标群488的操作(扩大或缩小等),坐标显示区480中显示的图像数据的显示范围及显示精度变更。用户能通过一边确认指示点485的位置一边选择十字按钮474,而更准确地决定定位标记的位置坐标。
若用户按下确定(OK)按钮495,则反映由用户所决定的位置坐标作为手动输入坐标的设定值。如此,在第二检测处理中位置检测失败的情况下,用户能一边目测确认坐标设定画面400C中显示的图像,一边设定位置坐标。
<H.处理流程决定处理>
图9为表示本实施方式的位置检测装置100执行的处理流程决定处理的流程图。此外,以下将各步骤简称为“S”。
如图9所示,位置检测装置100提取现行的第二检测处理所用的处理流程(S3202)。具体而言,位置检测装置100提取图7的S16所示的第二检测处理所用的处理流程。
位置检测装置100根据提取的处理流程,生成候选处理流程(S3204)。例如,位置检测装置100以现行处理流程所含的运算法及参数的设定值为基准,更新运算法及参数的设定值中的至少一者,由此生成多种候选处理流程。此外,生成候选处理流程的方法可使用任意方法。例如也可根据以往第二检测处理中位置检测失败的次数、及当时所用的处理流程的内容,通过机械学习而生成多种候选处理流程。
位置检测装置100根据生成的各处理流程,使用图7的S26的处理中累积存储的位置检测失败时的图像数据尝试位置检测(S3206)。此时,位置检测装置100可使用累积存储的以往所有图像数据尝试位置检测,也可限定图像数据的数量。
位置检测装置100根据基于生成的各处理流程进行检测的结果、及与位置检测失败时的图像数据对应地存储的手动输入坐标,评价生成的各处理流程是否恰当(S3208)。
位置检测装置100根据S3208的处理所得的评价结果,从生成的各处理流程中决定最优处理流程,并将决定的处理流程设定为下一次开始的第二检测处理用处理流程(S3210)。然后,位置检测装置100结束处理。此外,关于最优处理流程的决定,将使用图11在下文中描述。
如此,位置检测装置100根据存储的图像数据及与图像数据对应的位置数据,更新第二检测处理所依的运算法及参数的设定值中的至少一者,由此决定最佳处理流程。
<I.处理流程决定处理的概况>
图10为对本实施方式的位置检测装置100执行的处理流程决定处理的概况进行说明的图。
如图10所示,位置检测装置100利用现行处理流程应用40提取现行的第二检测处理所用的处理流程。其次,位置检测装置100利用候选处理流程生成应用50,根据提取的处理流程生成候选处理流程60。位置检测装置100利用检测处理应用22,根据生成的各处理流程60,从累积存储的位置检测失败时的数据群10中使用一个图像数据10a尝试位置检测。
位置检测装置100利用评价处理应用32,根据检测处理应用22所输出的检测结果26、及与尝试位置检测的图像数据10a对应的手动输入坐标10b,评价生成的各处理流程60是否恰当。
位置检测装置100根据通过评价处理应用32所得的评价结果70,从生成的各处理流程60中决定最优处理流程。
<J.评价结果的概况>
图11为用于对本实施方式的位置检测装置100中的处理流程的评价结果进行说明的图。
如图11所示,评价结果与生成的各候选处理流程1100对应,包括包含运算法1200及参数的设定值1300的处理流程及其评价结果1400。
运算法1200中包含测量运算法1210及附加处理1220。测量运算法1210包括查找检测处理1211及边缘检测处理1212。附加处理1220包括过滤处理1221及大小变动处理1222。参数的设定值1300包括查找区域1301。此外,所述运算法1200及参数的设定值1300为一例,评价结果中也可包含其他运算法及参数的设定值。
本示例中,生成六种候选作为候选处理流程。任一候选中,作为测量运算法均将查找检测处理设定为有效,将边缘检测处理设定为无效。另外,候选1~候选3中,作为附加处理,将过滤处理及大小变动处理均设定为无效。候选4~候选6中,作为附加处理,将过滤处理设定为无效,但将大小变动处理设定为有效。另外,任一候选均设定查找区域作为参数的设定值,但候选间对应于其设定值而查找区域不同。例如,候选1及候选4在所有候选中查找区域最广。另一方面,候选3及候选6在所有候选中查找区域最窄。
将过滤处理设定为有效的候选与将过滤处理设定为无效的候选相比稳健性高,但有处理时间延长的倾向。另外,将查找区域设定得广的候选与将查找区域设定得窄的候选相比稳健性高,但有处理时间延长的倾向。
位置检测装置100若获得图11所示般的评价结果,则根据规定的采用基准从所举出的候选1~候选6中决定最优处理流程。採用基准可由用户适当设定。
例如,位置检测装置100可将评价时检测出的位置坐标与以往存储的手动输入坐标之间的背离度最小的候选决定为最优处理流程。在选择了背离度最小的候选的情况下,决定稳健性更高的处理流程。
另外,位置检测装置100也可将处理时间最短的候选决定为最优处理流程。在选择了处理时间最短的候选的情况下,决定处理时间更短的处理流程。
进而,位置检测装置100也可对评价时检测出的位置坐标与以往存储的手动输入坐标之间的背离度1401、及处理时间1402分别进行加权而算出值,并根据算出的值决定最优处理流程。此外,对背离度及处理时间的加权方法及加权比率等可由用户设定,也可由位置检测装置100根据累积的数据通过机械学习而决定。如此,在考虑背离度与处理时间两者而选择候选的情况下,决定考虑到稳健性与处理时间的最优处理流程。
<K.具体例>
图12~图15为表示用于对本实施方式的位置检测装置100中的第一检测处理与第二检测处理的稳健性的差别进行说明的一例的图。
图12示出第一检测处理与第二检测处理中运算法相同且参数的设定值不同的情况的示例。具体而言,第一检测处理及第二检测处理均使用查找检测处理作为运算法,且将附加处理设定为无效。然而,第一检测处理中将查找区域设定为一部分,相对于此,第二检测处理中将查找区域设定为全体。
此外,图12的(A)的(A-1)为位置检测成功,图12的(A)的(A-2)为位置检测失败,图12的(B)的(B-1)为位置检测成功,图12的(B)的(B-2)为位置检测成功。图12的(A)的(A-1)及图12的(B)的(B-1)各自所示的示例中,均对同样的正常的图像数据(以下也称为正常时图像数据)进行位置检测。例如,正常时图像数据为对正常印刷了定位标记且配置在工作台上的正常位置的工件进行拍摄所得的图像数据。另一方面,图12的(A)的(A-2)及图12的(B)的(B-2)各自所示的示例中,均对非正常的图像数据(以下也称为非正常时图像数据)进行位置检测。本示例的非正常时图像数据为虽然正常印刷了定位标记,但配置在工作台上的非正常位置(本示例中为从正常位置向左上偏离的位置)的工件的图像数据。
如图12的(A)的(A-1)所示,当对正常时图像数据进行第一检测处理时,由于查找区域500中包含定位标记,因此位置检测装置100能检测出定位标记。另一方面,如图12的(B)的(B-1)所示,当对正常时图像数据进行第二检测处理时,由于与第一检测处理同样地查找区域500中包含定位标记,因此位置检测装置100能检测出定位标记。
如图12的(A)的(A-2)所示,当对非正常时图像数据进行第一检测处理时,由于查找区域500中不含定位标记,因此位置检测装置100无法检测出定位标记。另一方面,如图12的(B)的(B-2)所示,当对非正常时图像数据进行第二检测处理时,由于查找区域500中包含定位标记,因此位置检测装置100能检测出定位标记。但是,第二检测处理的查找区域500广,与第一检测处理相比,位置检测时的处理量相应地变多而处理时间延长。
图13示出第一检测处理与第二检测处理中运算法不同且参数的设定值相同的情况的示例。具体而言,第一检测处理及第二检测处理均使用查找检测处理作为运算法,但作为附加处理,第一检测处理将过滤处理设定为无效,相对于此,第二检测处理将过滤处理设定为有效。
此外,图13的(A)的(A-1)为位置检测成功,图13的(A)的(A-2)为位置检测失败,图13的(B)的(B-1)为位置检测成功,图13的(B)的(B-2)为位置检测成功。图13的(A)的(A-1)及图13的(B)的(B-1)各自所示的示例中,均对同样的正常时图像数据进行位置检测。另一方面,图13的(A)的(A-2)及图13的(B)的(B-2)各自所示的示例中,均对非正常时图像数据进行位置检测。本示例的非正常时图像数据为定位标记与其周边之间的边界难以辨别的工件的图像数据。
如图13的(A)的(A-1)所示,当对正常时图像数据进行第一检测处理时,由于定位标记清晰,因此位置检测装置100能检测出定位标记。另一方面,如图13的(B)的(B-1)所示,当对正常时图像数据进行第二检测处理时,由于与第一检测处理同样地定位标记清晰,因此位置检测装置100能检测出定位标记。
如图13的(A)的(A-2)所示,当对非正常时图像数据进行第一检测处理时,由于定位标记不清晰,因此位置检测装置100无法检测出定位标记。另一方面,如图13的(B)的(B-2)所示,当对非正常时图像数据进行第二检测处理时,由于定位标记因过滤处理而变清晰,因此位置检测装置100能检测出定位标记。但是,第二检测处理执行过滤处理,因此与第一检测处理相比,位置检测时的处理量相应地变多而处理时间延长。
图14为表示第一检测处理与第二检测处理中运算法不同且参数的设定值相同的情况的示例。具体而言,第一检测处理及第二检测处理均使用查找检测处理作为运算法,但作为附加处理,第一检测处理将大小变动处理设定为无效,相对于此,第二检测处理将大小变动处理设定为有效。
此外,图14的(A)的(A-1)为位置检测成功,图14的(A)的(A-2)为位置检测失败,图14的(B)的(B-1)为位置检测成功,图14的(B)的(B-2)为位置检测成功。图14的(A)的(A-1)及图14的(B)的(B-1)各自所示的示例中,均对同样的正常时图像数据进行位置检测。另一方面,图14的(A)的(A-2)及图14的(B)的(B-2)各自所示的示例中,均对非正常时图像数据进行位置检测。本示例的非正常时图像数据为将定位标记印刷得较原本大的工件的图像数据。
如图14的(A)的(A-1)所示,当对正常时图像数据进行第一检测处理时,由于定位标记是以原本的大小印刷,因此位置检测装置100能检测出定位标记。另一方面,如图14的(B)的(B-1)所示,当对正常时图像数据进行第二检测处理时,由于与第一检测处理同样地定位标记是以原本的大小印刷,因此位置检测装置100能检测出定位标记。
如图14的(A)的(A-2)所示,当对非正常时图像数据进行第一检测处理时,由于定位标记印刷得较原本大,因此位置检测装置100无法检测出定位标记。另一方面,如图14的(B)的(B-2)所示,当对非正常时图像数据进行第二检测处理时,由于利用大小变动处理对应于定位标记的大小生成多个模型图像,并根据生成的多个模型图像进行查找检测处理,因此位置检测装置100能检测出定位标记。但是,第二检测处理执行大小变动处理,因此与第一检测处理相比,位置检测时的处理量相应地变多而处理时间变长。
图15为表示第一检测处理与第二检测处理中运算法不同且参数的设定值也不同的情况的示例。具体而言,作为测量运算法,第一检测处理使用边缘检测处理,相对于此,第二检测处理使用查找检测处理。另外,作为参数的设定值,第一检测处理使用边缘检测处理用参数,相对于此,第二检测处理使用查找检测处理用参数。例如,将第一检测处理所用的边缘区域设定为一部分,相对于此,将第二检测处理所用的查找区域设定为全体。
此外,图15的(A)的(A-1)为位置检测成功,图15的(A)的(A-2)为位置检测失败,图15的(B)的(B-1)为位置检测成功,图15的(B)的(B-2)为位置检测成功。图15的(A)的(A-1)及图15的(B)的(B-1)各自所示的示例中,均对同样的正常时图像数据进行位置检测。另一方面,图15的(A)的(A-2)及图15的(B)的(B-2)各自所示的示例中,均对非正常时图像数据进行位置检测。本示例的非正常时图像数据为虽正常印刷了定位标记(本示例中为圆形),但配置在工作台上的非正常位置(本示例中为从正常位置向左上偏离的位置)的工件的图像数据。
如图15的(A)的(A-1)所示,当对正常时图像数据进行第一检测处理时,由于边缘区域600中包含定位标记,因此位置检测装置100能检测出定位标记。另一方面,如图15的(B)的(B-1)所示,当对正常时图像数据进行第二检测处理时,由于查找区域500中包含定位标记,因此位置检测装置100能检测出定位标记。
如图15的(A)的(A-2)所示,当对非正常时图像数据进行第一检测处理时,由于边缘区域600中不含定位标记,因此位置检测装置100无法检测出定位标记。另一方面,如图15的(B)的(B-2)所示,当对非正常时图像数据进行第二检测处理时,由于查找区域500中包含定位标记,因此位置检测装置100能检测出定位标记。但是,第二检测处理所用的查找检测处理与第一检测处理所用的边缘检测处理相比,处理量较多,另外其扫描区域也较广。因此,第二检测处理与第一检测处理相比处理时间延长。
如此,第二检测处理为与第一检测处理相比处理量变多而处理时间延长,但稳健性较高的处理。
如以上般,位置检测装置100在无法通过第一检测处理根据图像数据检测出工件位置的情况下,通过稳健性高于第一检测处理的第二检测处理根据相同的图像数据检测工件的位置。而且,位置检测装置100在能通过第二检测处理检测出工件位置的情况下,使用检测出的位置坐标算出工作台300的控制量,并根据算出的工作台控制量对动作控制器200输出用于控制工件位置的指令。由此,即便在无法检测出工件位置的情况下,也能减少用户目测确认并手动输入位置坐标的频率,因此能尽力防止生产性降低。
另外,位置检测装置100在无法通过第二检测处理根据图像数据检测出工件位置的情况下,接受用户的手动输入,但将由此所得的手动输入坐标与图像数据对应地存储。然后,当累积存储的图像数据及手动输入坐标的组超过规定数时,位置检测装置100通过处理流程决定处理来决定考虑到稳健性或处理时间等的用于第二检测处理的最优处理流程。位置检测装置100能从下一次开始使用所决定的最优处理流程执行第二检测处理。
<L.变形例>
本实施方式的位置控制系统1中,如图7所示,无论是否通过第二检测处理检测出了工件位置(与S18的结果无关),位置检测装置100均对动作控制器200输出用于控制工件位置以将工件从生产线上搬送到外部的指令(S22)。但是,位置检测装置100也可执行图16所示般的处理。
图16为表示本实施方式的变形例的位置检测装置100执行的对准处理的流程图。具体而言,位置检测装置100在通过第二检测处理检测出工件位置的情况下(S18a中为是),也可进入S8的处理,以经过与通过第一检测处理检测出工件位置时(S6中为是时)相同的流程。例如,图12或图15所示的非正常时图像数据仅不过是配置在工作台上的非正常位置,工件本身正常印刷了定位标记。因此若如图16所示,在通过稳健性高于第一检测处理的第二检测处理检测出工件位置的情况下进入用于将工件搬送至生产线的下一工序的流程,则能提高良率。
本实施方式的位置控制系统1中,位置检测装置100执行工件的位置检测,进而算出工作台300的控制量并输出用于控制工作台300的指令。但是,位置控制系统1也可包含除了位置检测装置100具有的功能以外还具有其他功能的装置。另外,位置控制系统1中,也可使位置检测装置100仅具有检测工件位置的功能,且与位置检测装置100不同的装置或动作控制器200具有算出工作台300的控制量的功能、或输出用于控制工作台300的指令的功能。
本实施方式的位置控制系统1中,位置检测装置100在图7的S26的处理中仅累积存储位置检测失败的图像数据,但不限于此。例如,位置检测装置100不限于存储位置检测失败的图像数据,也可将S18的处理中位置检测成功的图像数据与检测出的位置坐标对应地存储。而且,处理流程决定处理中,也可不限于位置检测失败的图像数据,而根据位置检测成功的图像数据决定最优处理流程。
<M.优点>
根据本实施方式的位置控制系统1及位置检测装置100,即便在未检测出工件位置的情况下,也能减少用户目测确认并手动输入位置坐标的频率,因此能尽力防止生产性降低。
应认为本次公开的实施方式在所有方面为例示而非限制性。本发明的范围是由权利要求而非所述说明揭示,且意图包含与权利要求均等的含意及范围内的所有变更。

Claims (10)

1.一种位置控制系统,对由移动机构移动的对象物的位置进行控制,且所述位置控制系统的特征在于,包括:
控制机制,控制所述移动机构;
取得机制,取得拍摄所述对象物所得的图像数据;
第一检测机制,按照第一检测处理根据所述图像数据检测所述对象物的位置;
第一输出机制,在通过所述第一检测机制检测出所述对象物的位置的情况下,将用于控制所述对象物的位置的第一控制指令输出至所述控制机制;
第二检测机制,在通过所述第一检测机制未检测出所述对象物的位置的情况下,按照稳健性高于所述第一检测处理的第二检测处理根据所述图像数据检测所述对象物的位置;以及
第二输出机制,根据所述第二检测机制的检测结果将用于控制所述对象物的位置的第二控制指令输出至所述控制机制。
2.一种位置检测装置,对由移动机构移动的对象物的位置进行检测,且所述位置检测装置的特征在于,包括:
取得机制,取得拍摄所述对象物所得的图像数据;
第一检测机制,通过第一检测处理根据所述图像数据检测所述对象物的位置;
第一输出机制,在通过所述第一检测机制检测出所述对象物的位置的情况下,输出用于控制所述对象物的位置的第一控制指令;
第二检测机制,在通过所述第一检测机制未检测出所述对象物的位置的情况下,通过稳健性高于所述第一检测处理的第二检测处理根据所述图像数据检测所述对象物的位置;以及
第二输出机制,根据所述第二检测机制的检测结果输出用于控制所述对象物的位置的第二控制指令。
3.根据权利要求2所述的位置检测装置,其特征在于:所述第二检测处理所依的运算法与所述第一检测处理所依的运算法不同。
4.根据权利要求2或3所述的位置检测装置,其特征在于:所述第二检测处理所依的参数的设定值与所述第一检测处理所依的参数的设定值不同。
5.根据权利要求2或3所述的位置检测装置,其特征在于:通过所述第二检测处理对所述对象物进行位置检测的次数多于通过所述第一检测处理对所述对象物进行位置检测的次数。
6.根据权利要求2或3所述的位置检测装置,其特征在于,还包括接受机制,所述接受机制在通过所述第二检测机制未检测出所述对象物的位置的情况下,接受能确定所述对象物的位置的位置数据。
7.根据权利要求6所述的位置检测装置,其特征在于,还包括:
存储机制,存储所述图像数据并且与所述图像数据对应地存储所述位置数据;以及
更新机制,根据所述存储机制所存储的所述图像数据及所述位置数据,更新所述第二检测处理所依的运算法及参数的设定值中的至少一者。
8.根据权利要求2或3所述的位置检测装置,其特征在于:所述第二控制指令为用于控制所述对象物的位置以将所述对象物从生产线上搬送到外部的指令,
无论是否通过所述第二检测机制检测出了所述对象物的位置,所述第二输出机制均输出所述第二控制指令。
9.根据权利要求2或3所述的位置检测装置,其特征在于:所述第一控制指令为用于控制所述对象物的位置以将所述对象物搬送至生产线的下一工序的指令,
所述第二控制指令为用于控制所述对象物的位置以将所述对象物从生产线上搬送到外部的指令,
所述第二输出机制在通过所述第二检测机制检测出所述对象物的位置的情况下输出所述第一控制指令,
在通过所述第二检测机制未检测出所述对象物的位置的情况下输出所述第二控制指令。
10.一种记录介质,其特征在于,包括记录在所述记录介质的控制程序,通过由计算机进行执行而实现对由移动机构移动的对象物的位置进行检测的位置检测装置,并且所述控制程序使所述计算机执行以下步骤:
取得步骤,取得拍摄所述对象物所得的图像数据;
第一检测步骤,通过第一检测处理根据所述图像数据检测所述对象物的位置;
第一输出步骤,在通过所述第一检测步骤检测出所述对象物的位置的情况下,输出用于控制所述对象物的位置的第一控制指令;
第二检测步骤,在通过所述第一检测步骤未检测出所述对象物的位置的情况下,通过稳健性高于所述第一检测处理的第二检测处理根据所述图像数据检测所述对象物的位置;以及
第二输出步骤,根据所述第二检测步骤的检测结果输出用于控制所述对象物的位置的第二控制指令。
CN201810141083.4A 2017-06-30 2018-02-11 位置控制系统、位置检测装置及记录介质 Active CN109213090B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017128749A JP7167418B2 (ja) 2017-06-30 2017-06-30 位置制御システム、位置検出装置、および制御プログラム
JP2017-128749 2017-06-30

Publications (2)

Publication Number Publication Date
CN109213090A true CN109213090A (zh) 2019-01-15
CN109213090B CN109213090B (zh) 2021-01-29

Family

ID=64662193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810141083.4A Active CN109213090B (zh) 2017-06-30 2018-02-11 位置控制系统、位置检测装置及记录介质

Country Status (4)

Country Link
US (1) US10664939B2 (zh)
JP (1) JP7167418B2 (zh)
CN (1) CN109213090B (zh)
DE (1) DE102018102833A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US11002529B2 (en) 2018-08-16 2021-05-11 Mitutoyo Corporation Robot system with supplementary metrology position determination system
US10871366B2 (en) * 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
US11745354B2 (en) 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10913156B2 (en) 2018-09-24 2021-02-09 Mitutoyo Corporation Robot system with end tool metrology position coordinates determination system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718057B1 (en) * 1998-12-22 2004-04-06 Mitsubishi Denki Kabushiki Kaisha Position error measurement method and device using positioning mark, and machining device for correcting position based on result of measuring position error using positioning mark
US20080212057A1 (en) * 2006-12-12 2008-09-04 Asml Netherlands B.V. Substrate comprising a mark

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344592A (ja) * 2000-05-31 2001-12-14 Toyo Jidoki Co Ltd キャップ取付け状態検査方法
JP2002140694A (ja) 2000-10-31 2002-05-17 Keyence Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
US7636449B2 (en) * 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
JP2006214816A (ja) * 2005-02-02 2006-08-17 Nikon Corp 半導体検査装置
JP6167622B2 (ja) 2013-04-08 2017-07-26 オムロン株式会社 制御システムおよび制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718057B1 (en) * 1998-12-22 2004-04-06 Mitsubishi Denki Kabushiki Kaisha Position error measurement method and device using positioning mark, and machining device for correcting position based on result of measuring position error using positioning mark
US20080212057A1 (en) * 2006-12-12 2008-09-04 Asml Netherlands B.V. Substrate comprising a mark

Also Published As

Publication number Publication date
JP2019012016A (ja) 2019-01-24
JP7167418B2 (ja) 2022-11-09
CN109213090B (zh) 2021-01-29
DE102018102833A1 (de) 2019-01-03
US10664939B2 (en) 2020-05-26
US20190005600A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
CN109213090A (zh) 位置控制系统、位置检测装置及记录介质
US11854173B2 (en) System and method for finding lines in an image with a vision system
US8422759B2 (en) Image processing method and image processing device
KR102649038B1 (ko) 비전 시스템으로 이미지에서 라인을 찾기 위한 시스템 및 방법
CN107430686A (zh) 用于移动设备定位的区域描述文件的众包创建和更新
JP6160290B2 (ja) 情報処理装置、判定方法および判定プログラム
CN110288040A (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN110672620B (zh) 芯片缺陷检测方法及系统
Karagiannis et al. Automated photogrammetric image matching with SIFT algorithm and Delaunay triangulation
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
US9842402B1 (en) Detecting foreground regions in panoramic video frames
US9824455B1 (en) Detecting foreground regions in video frames
CN115187769A (zh) 一种定位方法及装置
JP3474772B2 (ja) センサキャリブレーション方法及び装置及びセンサキャリブレーションプログラムを記録した記録媒体
JP6897431B2 (ja) 画像処理装置、設定支援方法、および設定支援プログラム
CN112215032A (zh) 图像中的目标识别方法、装置、电子设备及程序介质
JP2019220163A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
US20210173973A1 (en) Method and Apparatus for Automated Test Plan Generation to Measure a Measurement Object
CN108230538A (zh) 一种纸币鉴定方法、装置、设备和储存介质
JP4550767B2 (ja) 画像検出方法および画像検出装置
CN116736272A (zh) 一种联合标定参数确定方法、装置、设备及介质
Bassie Image-based Flight Data Acquisition
JP2022187407A (ja) 検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システム
JP2022094474A (ja) 画像処理装置、画像処理方法、及びプログラム
CN116309790A (zh) 段差测量方法、段差测量装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant