CN108627515B - 计算成为检查系统的检查对象外的图像区域的装置及方法 - Google Patents

计算成为检查系统的检查对象外的图像区域的装置及方法 Download PDF

Info

Publication number
CN108627515B
CN108627515B CN201810225234.4A CN201810225234A CN108627515B CN 108627515 B CN108627515 B CN 108627515B CN 201810225234 A CN201810225234 A CN 201810225234A CN 108627515 B CN108627515 B CN 108627515B
Authority
CN
China
Prior art keywords
workpiece
imaging
image
unit
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810225234.4A
Other languages
English (en)
Other versions
CN108627515A (zh
Inventor
吉田顺一郎
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN108627515A publication Critical patent/CN108627515A/zh
Application granted granted Critical
Publication of CN108627515B publication Critical patent/CN108627515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/889—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a bare video image, i.e. without visual measurement aids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37206—Inspection of surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明提供一种计算成为检查系统的检查对象外的图像区域的装置及方法，能够容易地特定工件的被检查面以外的区域。该装置具备：获取工件的绘图数据的绘图获取部；接受绘图数据中工件的被检查面的指定的指定接受部；在将工件和拍摄部定位在被指定的被检查面的至少一部分进入拍摄部的视场的拍摄位置时的该拍摄部的视场内的图像中，将被检查面以外的区域作为非检查区域来进行计算的非检查区域计算部。

Description

计算成为检查系统的检查对象外的图像区域的装置及方法
技术领域
本发明涉及计算成为检查工件的表面的检查系统的检查对象外的区域的装置以及计算成为检查对象外的区域的方法。
背景技术
已知用于检查工件的表面的损伤等的检查系统(例如，日本特开平7－63537号公报)。
如上述的检查系统中，检查工件的表面时，通过拍摄部拍摄该表面，根据拍摄的图像检测损伤等。在这种情况下，拍摄的图像中有可能存在需要检查的被检查面以外的区域。以往，期望能够容易确定这样的被检查面以外的区域的技术。
发明内容
本发明的一个方案是一种计算成为检查系统的检查对象外的区域的装置，该检查系统具有拍摄工件的拍摄部以及使上述工件或者上述拍摄部移动而将该工件和该拍摄部相互定位的移动机构，并检查工件表面，该装置具备：绘图获取部，其获取上述工件的绘图数据；指定接受部，其接受上述绘图数据中上述工件的被检查面的指定；以及非检查区域计算部，其在将上述工件和上述拍摄部定位到被指定的上述被检查面的至少一部分进入上述拍摄部的视场的拍摄位置时的该拍摄部的视场内的图像中，将上述被检查面以外的区域作为非检查区域来进行计算。
本发明的另一方案是一种计算成为检查系统的检查对象外的区域的方法，该检查系统具有拍摄工件的拍摄部以及使上述工件或者上述拍摄部而将该工件和该拍摄部相互定位的移动机构，并检查工件表面，该方法具备：获取上述工件的绘图数据；接受上述绘图数据中上述工件的被检查面的指定；以及在将上述工件和上述拍摄部定位到被指定的上述被检查面的至少一部分进入上述拍摄部的视场的拍摄位置时的该拍摄部的视场内的图像中，将上述被检查面以外的区域作为非检查区域来进行计算。
根据本公开的一方式，能够根据工件的绘图数据计算不需要通过检查系统检查的非检查区域。由此，因为检查被检查面时能够自动计算出非检查区域，所以能够省去操作人员按拍摄部的视场手动设定非检查区域的作业。
附图说明
本发明的目的、特征以及优点，通过与附图相关的以下的实施方式的说明进一步明确。
图1是一实施方式的检查系统的立体图。
图2是图1所示的检查系统的框图。
图3是图1所示的机械手的放大图，是从工具坐标系的y轴正方向观察该机械手的图。
图4是放大图1的拍摄部以及工件的放大图。
图5是表示工件和拍摄部定位在第1拍摄位置上时的被检查面的视场的图。
图6表示工件和拍摄部配置在第1拍摄位置时通过拍摄部拍摄的图像的例。
图7是表示工件和拍摄部配置在第n拍摄位置(n＝1～12)时的被检查面的视场的图。
图8是表示图1所示的装置的动作流程的一个例子的流程图。
图9表示工件的绘图数据。
图10表示图8中的步骤S4中生成的点群的例。
图11是表示图8中的步骤S6的流程的一个例子的流程图。
图12表示通过图11所示的步骤S6的一系列的流程生成的推断图像的例。
图13表示其它的实施方式的点群的例。
图14表示基于图13所示的点群在步骤S6中生成的推断图像的例。
图15是另一实施方式的检查系统的框图。
图16是表示图15所示的装置的动作流程的一个例子的流程图。
图17表示图16中的步骤S21中生成的掩码数据的一个例子。
图18是其它的实施方式的检查系统的立体图。
图19是表示图18所示的装置的动作流程的一个例子的流程图。
图20是表示图19中的步骤S6’的动作流程的一个例子的流程图。
图21是又一实施方式的检查系统的立体图。
图22是表示图21所示的装置的动作流程的一个例子的流程图。
图23是表示图22中的步骤S30的动作流程的一个例子的流程图。
图24是用于说明图21所示的拍摄部的各拍摄元件的视线的图。
图25是表示又一实施方式的检查系统的立体图。
具体实施方式
以下，基于附图对本公开的实施方式详细进行说明。此外，在以下进行说明的各种的实施方式中，对相同的要素赋予相同的附图标记，省略重复说明。首先，参照图1～图3，对一实施方式的检查系统10进行说明。
检查系统10具备控制部12、移动机构14、拍摄部16、照明装置18、以及装置50(图2)。控制部12具有CPU以及存储部(未图示)等，控制移动机构14、拍摄部16以及照明装置18。
本实施方式中，移动机构14为垂直多关节机器人，其具有机器人基座20、转动缸22、机械臂24、手腕部26、以及机械手28。机器人基座20固定在工作单元的地面上。转动缸22以能够绕垂直轴旋转的方式设置在机器人基座20上。
机械臂24具有以能够转动的方式连结在转动缸22的上臂部30和以能够转动的方式连结在该上臂部30的前端的前臂部32。手腕部26安装在前臂部32的前端，将机械手28以能够绕三个轴转动的方式支承。
如图3所示，机械手28具有机械手基座34、多个指部36以及指部驱动部(未图示)。机械手基座34连结在手腕部26。多个指部36以能够开闭的方式设置在机械手基座34。
多个指部36从机械手基座34向一方延伸，相互对置的面上具有台阶部36a。机械手28把持工件W时，工件W的上表面SU与台阶部36a卡合。指部驱动部是例如气缸，内置在机械手基座34。指部驱动部根据来自控制部12的指令，使指部36开闭。
移动机构14具有多个伺服马达38(图2)。伺服马达38分别内置于移动机构14的转动缸22、机械臂24以及手腕部26，根据来自控制部12的指令(速度指令、转矩指令等)，驱动这些构成要素。
作为用于控制移动机构14的各构成要素的自动控制的坐标系的一种，设定机器人坐标系CR(图1)。控制部12以机器人坐标系CR为基准，使该移动机构14的各构成要素动作。例如，机器人坐标系CR的z轴平行于实空间的垂直方向，转动缸22绕机器人坐标系CR的z轴转动。
另一方面，对于机械手28，设定工具坐标系CT。该工具坐标系CT是自动控制的坐标系的一种，通过用机器人坐标系CR表现该工具坐标系CT的位置以及方向，来规定空间内的机械手28的位置以及姿势。
如图3所示，本实施方式中，工具坐标系CT的原点位于指部36的台阶部36a之间，指部36从机械手基座34向工具坐标系CT的z轴正方向延伸突出，向工具坐标系CT的x轴向开闭地设定有工具坐标系CT。
控制部12在机器人坐标系CR使转动缸22、机械臂24以及手腕部26动作，使得机械手28的位置以及姿势与由工具坐标系CT规定的位置以及姿势一致。由此，机械手28在机器人坐标系CR配置为任意的位置以及姿势。
拍摄部16具有调焦透镜等的光学系统和CCD传感器或者CMOS传感器等的拍摄传感器。本实施方式中，拍摄部16在机器人坐标系CR中预先决定的位置上，从移动机构14分离地被固定。拍摄部16根据来自控制部12的指令拍摄工件W等的物体，将拍摄的图像发送到控制部12。
拍摄部16的固定位置以及该拍摄部16的光轴O(即，入射到拍摄部16的光学系统的被拍摄体像的光路)在机器人坐标系CR中被坐标化，并预先存储到控制部12的存储部。由此，控制部12能够识别机器人坐标系CR中的拍摄部16以及光轴O的位置。
照明装置18具有白炽灯、荧光灯或者LED等，其被固定在预先决定的位置。照明装置18根据来自控制部12的指令而打开/关闭，在打开时，向把持在移动机构14的工件W照射光。
接下来，参照图1～图7，对通过检查系统10检查工件W的被检查面SI的动作的概要进行说明。如图4以及图5所示，本实施方式中，工件W是长方形的板部件，具有共计四个孔H。
检查工件W的被检查面SI时，控制部12首先，使移动机构14动作，通过机械手28把持在预先决定的保管场所保管的工件W。此时，机械手28在预先指定的把持位置把持工件W。该把持位置的指定后述。
之后，控制部12使移动机构14动作，使工件W移动到被检查面SI的至少一部分进入拍摄部16的视场A的拍摄位置，将该工件W和该拍摄部16相互定位。参照图4对拍摄部16的视场A进行说明。
拍摄部16中，存在表示能够拍摄的范围的视角。该视角取决于拍摄部16的光学系统以及拍摄传感器的样式。具体而言，照相机透镜的焦距越长，或者拍摄传感器的受光面越小，视角就越窄。
将拍摄部16的视角的例作为图1以及图4中的虚拟线B表示。根据该视角B以及拍摄部16和被检查面SI之间的距离D，如图1所示定位工件W和拍摄部16时决定拍摄部16能够拍摄的被检查面SI上的范围(即，视场A)。
换句话说，该视场A表示，拍摄部16和被检查面SI配置成相互分离距离D时，拍摄部16的聚焦状态下拍摄部16能够拍摄的被检查面SI上的区域。此外，通过拍摄部16拍摄的图像的分辨率和视场A成反比例的关系，视场A越小，得到的图像的分辨率越高。
由机械手28将工件W的把持位置把持后，控制部12使移动机构14动作，将机械手28配置成图1所示的第1位置以及姿势。
具体而言，控制部12将工具坐标系CT设定为图1所示的第1位置以及方向(即，原点位置以及各轴的方向)。而且，控制部12使移动机构14动作，将把持工件W的机械手28移动至与由图1所示的工具坐标系CT规定的位置以及姿势相一致。
其结果，机械手28配置成第1位置以及姿势，由机械手28把持的工件W相对于拍摄部16定位在第1拍摄位置。此时，拍摄部16的视场A相对于被检查面SI配置在图1、图4、以及图5所示的位置。而且，拍摄部16的光轴O与被检查面SI正交，且拍摄部16和被检查面SI相互分离距离D。
之后，控制部12向照明装置18发送指令，使该照明装置18为打开。由此，通过照明装置18照射被移动机构14把持的工件W。
之后，控制部12向拍摄部16发送拍摄指令。拍摄部16若从控制部12接收拍摄指令，则拍摄工件W的被检查面SI。图6表示将工件W和拍摄部16定位到第1拍摄位置时通过拍摄部16拍摄的图像的例。
图6所示的图像40是将工件W和拍摄部16定位到第1拍摄位置时(即，把持工件W的机械手28配置成第1位置以及姿势时)，进入拍摄部16的视场A的图像。通过拍摄部16拍摄的图像的各像素以图6中的拍摄部坐标系CI表示。换言之，拍摄部坐标系CI规定拍摄部16拍摄的图像40的各像素的x－y坐标。
机器人坐标系CR中拍摄部坐标系CI的位置以及方向(即，原点位置以及各轴的方向)，由机器人坐标系CR中拍摄部16的固定位置和拍摄部16的视线方向及视角决定。
之后，控制部12使移动机构14动作，使把持工件W的机械手28配置成第2位置以及姿势。机械手28配置成第2位置以及姿势时，由机械手28把持的工件W相对于拍摄部16配置在第2拍摄位置。此时，拍摄部16的视场A相对于被检查面SI配置在图7中的区域A2所示的位置。
将工件W和拍摄部16定位到第2拍摄位置时(即，将机械手28配置成第2位置以及姿势时)，控制部12向拍摄部16发送拍摄指令，拍摄工件W的被检查面SI，并将拍摄的图像传送到控制部12。由此，拍摄对应图7中的区域A2的图像。
这里，图7中的区域An(n＝1～12)表示，把持工件W的机械手2配置成第n位置以及姿势，由此，表示工件W相对于拍摄部16配置在第n拍摄位置时的，相对于被检查面SI的拍摄部16的视场A的位置。
如图7所示，区域An和区域An+1以一条边相互一致的方式邻接。此外，也可以以相互邻接的2个区域An的至少一部分相互重复的方式，规定工件W以及拍摄部16的第n拍摄位置。
将机械手28配置成第n位置以及姿势时，控制部12将工具坐标系CT设定为第n位置以及方向。而且，控制部12使移动机构14动作而移动机械手28使其与由配置在第n位置以及方向上的工具坐标系CT规定的位置以及姿势相一致。
这样，控制部12将机械手28依次配置成第3位置以及姿势、第4位置以及姿势、···第n位置以及姿势，由此，将由机械手28把持的工件W相对于拍摄部16依次定位到第3拍摄位置、第4拍摄位置、···第n拍摄位置。控制部12在每次将工件W和拍摄部16定位到各自的拍摄位置时，通过拍摄部16拍摄工件W的被检查面SI。
由此，控制部12获取对应图7中的区域A1～A12的共计12个图像。而且，控制部12解析从拍摄部16获取的各图像，检测被检查面SI上形成的伤痕等的缺陷。
控制部12根据机器人程序执行上述的一个例子的动作。该机器人程序例如，能够通过操作人员使用教学操作面板(未图示)，对移动机构14进行使机械手28配置成第n位置以及姿势的动作的教学而构建。
或者，机器人程序也能够通过基于工件W的绘图数据自动地生成移动机构14将机械手28配置到第n位置以及姿势的动作而构建。
机器人程序包含使机械手28配置到第n位置以及姿势时的、工具坐标系CT的第n位置以及方向的信息以及移动机构14的各伺服马达38的旋转角度的信息。
如图6所示，在拍摄部16拍摄的图像40包含工件W的孔H、工件W的外部空间E这样的，被检查面SI以外的区域。这样的被检查面S以外的区域H、E是不需要通过检查系统10检查的图像区域。
本实施方式的装置50自动地计算出这样的成为检查对象外的图像区域H、E。如图2所示，装置50具备绘图获取部52、指定接受部54、图像生成部56、以及非检查区域计算部58。图像生成部56具有点群生成部57以及绘制图像生成部59。
此外，本实施方式中，装置50安装于控制部12。因此，绘图获取部52、指定接受部54、图像生成部56(点群生成部57、绘制图像生成部59)以及非检查区域计算部58的功能由控制部12承担。
以下，参照图8～图12，对装置50的动作流程进行说明。图8所示的流程在控制部12从操作人员接受非检查区域计算指令时开始。
步骤S1中，控制部12获取工件W的绘图数据(2DCAD或者3DCAD数据等)。作为一个例子，工件W的绘图数据存储在以与控制部12能够进行通信的方式设置在该控制部12的外部的外部服务器。该情况下，控制部12在该步骤S1中，访问该外部服务器，从该外部服务器下载工件W的绘图数据。
作为其它的例，工件W的绘图数据存储在EEPROM(注册商标)等的外部存储器。该情况下，控制部12具有外部存储器以能够卸下的方式插入的I/O端口(例如，USB端口)。而且，步骤S1中，操作人员将外部存储器插入到控制部12的I/O端口，控制部12从该外部存储器下载工件W的绘图数据。
作为其它的例，工件W的绘图数据预先存储在控制部12的存储部。该情况下，控制部12在该步骤S1中，从该存储部读出工件W的绘图数据。
这样，本实施方式中，控制部12承担获取工件W的绘图数据的绘图获取部52的功能。该步骤S1中，控制部12作为工件W的绘图数据，获取图9所示的3DCAD数据的工件模型WM。
步骤S2中，控制部12接受被检查面SI的指定。作为一个例子，在控制部12设置有LCD或者有机EL显示器等的显示部、以及键盘或者触摸面板等的操作部。
操作人员操作操作部，在显示在显示部的图9所示的工件模型WM中，指定被检查面模型SIM。控制部12接受由操作人员进行的操作部的操作，接受被检查面模型SIM的指定。
这样，本实施方式中，控制部12承担作为接受绘图数据中的被检查面SI(即，被检查面模型SIM)的指定的指定接受部54的功能。
步骤S3中，控制部12从操作人员接受机械手28把持工件W时的把持位置的指定。该把持位置根据机械手28中把持工件W时控制部12设定的工具坐标系CT的位置以及方向来决定。例如，操作人员操作控制部12的操作部，在显示在显示部的工件模型WM中，指定工具坐标系CT的原点的位置。
这里，假设操作人员如图9所示，将工具坐标系CT的原点的位置指定为工件模型WM的上表面模型SUM的中心。该情况下，控制部12以用机械手28把持保管在保管场所的工件W时，工具坐标系CT的原点位于该工件W的上表面SU的中心，且工具坐标系CT的y－z平面与被检查面SI平行的方式，对该工件W设定工具坐标系CT。
而且，控制部12使移动机构14动作，使机械手28配置为由所设定的工具坐标系CT规定的位置以及姿势，通过该机械手28把持工件W。
其结果，机械手28如图1、图3以及图4所示，在与操作人员指定的工具坐标系CT对应的把持位置，把持工件W。控制部12接受由操作人员进行的操作部的操作而将工具坐标系CT的原点设定在工件模型WM中图9所示的位置。
步骤S4中，控制部12基于在步骤S1中获取的绘图数据，在步骤S2中指定的被检查面SI(即，被检查面模型SIM)生成点群。在被检查面模型SIM生成点群的图像的例子如图10所示。
如图10所示的图像60中，在被检查面模型SIM生成点群61，该点群61具有在被检查面模型SIM上均匀地分散的多个点。这些点分别在步骤S3中被指定的工具坐标系CT中被坐标化。这样，被检查面模型SIM通过点群61表示。
这样，本实施方式中，控制部12承担作为基于工件W的绘图数据而在被检查面SI(即，被检查面模型SIM)生成点群61的点群生成部57的功能。
步骤S5中，控制部12将第n拍摄位置(即，配置机械手28的第n位置以及姿势，以及设定工具坐标系CT的第n位置以及方向)的编号“n”设为“1”。
步骤S6中，控制部12基于工件W的绘图数据(工件模型WM)生成推断通过移动机构14将工件W相对于拍摄部16定位到第n拍摄位置时由拍摄部16所拍摄的推断图像。
参照图11，对该步骤S6进行说明。以下，对在步骤S6的开始时刻，第n拍摄位置的编号“n”被设为“1”情况进行说明。
步骤S11中，控制部12获取将工件W相对于拍摄部16定位在第1拍摄位置时所设定的工具坐标系CT的第1位置以及方向的信息。
如上所述，该工具坐标系CT的位置以及方向包含在通过教学等构建的机器人程序。控制部12在该步骤S11中，从存储部读出工具坐标系CT的第1位置以及方向的信息。
步骤S12中，控制部12计算将工具坐标系CT配置到第1位置以及方向时的、在步骤S4中生成的点群61的各点的机器人坐标系CR中的坐标。使用图10如上述，点群61的各点能够作为工具坐标系CT的坐标表示。
控制部12基于在步骤S11中获取的工具坐标系CT的第1位置以及方向的信息，将使工具坐标系CT配置在第1位置以及方向时的、点群61的各点的工具坐标系CT中的坐标转换为机器人坐标系CR。
具体而言，控制部12通过在点群61的各点的工具坐标系CT中的坐标乘以转换矩阵，从而将点群61的各点的工具坐标系CT中的坐标转换为机器人坐标系CR。该转换矩阵是用于将配置在第1位置以及方向的工具坐标系CT的坐标转换为机器人坐标系的矩阵(例如，雅克比矩阵)。
这样，控制部12计算将工具坐标系CT配置在第1位置以及方向时的、点群61的各点的机器人坐标系CR中的坐标。这样计算出的各点的坐标相当于在如图1以及图4所示定位的被检查面SI上生成点群61时的、各点的机器人坐标系CR中的坐标。
接下来，控制部12对计算出坐标的各点赋予编号“m”。例如，假设计算坐标的点的总数为γ(＝10000)，则各点被编号为第m个(m＝1～γ)点。步骤S13中，控制部12将赋予点的编号“m”设为“1”。
步骤S14中，控制部12将在步骤S12中计算坐标的点群61的点中，第m个点的坐标转换为拍摄部坐标系CI(即，投影)。
具体而言，控制部12通过在步骤S12中计算的第m个点的坐标乘以转换矩阵，将该第m个点的机器人坐标系CR中的坐标转换为拍摄部坐标系CI。该转换矩阵是用于将机器人坐标系CR的坐标转换为拍摄部坐标系CI的矩阵(例如，雅克比矩阵)。
步骤S15中，控制部12判定在步骤S14中转换的拍摄部坐标系CI的坐标(x，y)是否收敛于预先决定的范围(例如，0≤x≤α，且，0≤y≤β)。该预先决定的范围用于规定拍摄部16的视场A的范围，根据拍摄部16的式样来决定，存储于控制部12的存储部。
控制部12在判定为点的坐标收敛于预先决定的范围的(即，“是”)情况下，进入步骤S16。另一方面，控制部12在判定为点的坐标在预先决定的范围外(即，“否”)的情况下，进入步骤S17。
步骤S16中，控制部12生成将步骤S14中转换为拍摄部坐标系CI的坐标以点绘制的图像。这样，本实施方式中，控制部12承担作为绘制图像生成部59的功能。
步骤S17中，控制部12将赋予点的编号“m”自加“1”(即，m＝m+1)。
步骤S18中，控制部12判定赋予点的编号“m”是否成为比点的总数“γ”大的值。控制部12在判定为编号“m”比“γ”大(即，“是”)的情况下，结束图11所示的流程，进入图8的步骤S7。另一方面，控制部12在判定为编号“m”为“γ”以下的(即，“否”)情况下，返回步骤S14。
这样，控制部12直到在步骤S18中判定为“是”为止，循环步骤S14～S18，生成将点群61的点中，转换为拍摄部坐标系CI(投影)的情况下收敛于视场A的范围的点绘制的图像。
这样生成的图像的例如图12所示。图12所示的图像62是推断将工件W相对于拍摄部16定位到第1拍摄位置时由拍摄部16所拍摄的图像(即，推断图像)，对应于图6所示的视场A的图像。
该推断图像62被拍摄部坐标系CI的原点、拍摄部坐标系CI的点P1(α，0)、点P2(α，β)、P3(0，β)划分，点群61包含转换为拍摄部坐标系CI的点群61’。
这样，控制部12作为点群生成部57发挥功能而生成点群61，作为绘制图像生成部59发挥功能而将各个点群61绘制在拍摄部坐标系CI，从而生成推断图像62。因此，控制部12承担作为基于工件W的绘图数据生成推断图像62的图像生成部56的功能。
再次参照图8，在步骤S7中，控制部12计算非检查区域。具体而言，控制部12将步骤S6中生成的推断图像62所包含的点群61’的区域以外的图像区域作为非检查区域来计算。
如图12所示，推断图像62中，作为点群61’的区域以外的图像区域，有图像区域H’以及E’。图像区域H’是对应于图6所示的孔H的区域，图像区域E’是对应于图6所示的外部空间E的区域。
例如，控制部12计算推断图像62内的单位区域(例如，10像素×10像素的区域)的点群61’的点的个数，在该个数为预先决定的阈值以下的情况下，判定为该区域为点群61’以外的图像区域H’、E’。
控制部12将该动作遍及推断图像62的全域执行，从而能够计算图像区域H’以及E’。这样，本实施方式中，控制部12承担作为将图像区域H’以及E’作为非检查区域H’以及E’计算的非检查区域计算部58的功能。
步骤S8中，控制部12将第n拍摄位置的编号“n”自加“1”(即，n＝n+1)。步骤S9中，控制部12判定编号“n”是否成为比12大的值。
控制部12在判定为编号“n”比12大(即，“是”)的情况下，结束图8所示的流程。另一方面，控制部12判定为编号“n”为12以下(即，“否”)的情况下，返回步骤S6。
这样，控制部12直到在步骤S9中判定为YES为止，循环步骤S6～S9。由此，控制部12依次生成对应于图7中的区域An(n＝1～12)的、拍摄部16的视场A的推断图像，在各推断图像中，计算非检查区域。这样，控制部12关于第n拍摄位置(即，区域An)的每一个，计算非检查区域。
如上所述，本实施方式中，控制部12根据工件W的绘图数据，计算不需要通过检查系统10检查的非检查区域H’、E’。根据该构成，在被检查面SI的检查时能够自动地计算出非检查区域H’、E’，所以能够省去操作人员按每个视场A手动设定非检查区域的作业。因此，能够减少在检查系统10的启动上花费的工时。
另外，根据本实施方式，即使变更将工件W和拍摄部16定位的拍摄位置，也能够根据变更后的拍摄位置自动计算非检查区域。因此，能够省去每当变更移动机构14的位置以及姿势时修正非检查区域的设定的作业。
另外，根据本实施方式，基于在实空间中控制部12使机械手28配置为第n位置以及姿势时所使用的参数(例如，工具坐标系CT的位置以及方向)，生成图12所示的推断图像62。
根据该构成，能够使被检查面SI的检查时拍摄部16在实空间拍摄的图像40中的区域H、E与在步骤S16中生成的推断图像62中的非检查区域H’、E’高精度地一致。
此外，上述的步骤S4中，控制部12也可以基于步骤S1中获取的绘图数据，仅在被检查面SI的边缘生成点群。这样的图像如图13所示。如图13所示的图像64中，在被检查面SI的边缘66、68、70以及72和划分孔H的壁面74、76、78以及80生成有点群。
该实施方式的情况下，图11的步骤S12中，控制部12计算将工具坐标系CT配置在第n位置以及方向时的、点群66、68、70、72、74、76、78以及80的各点的机器人坐标系CR中的坐标，在计算坐标的各点赋予编号“m”。
而且，步骤S14中，控制部12将在步骤S12中计算坐标的点群66、68、70、72、74、76、78，以及80的点中，第m个点的坐标转换为拍摄部坐标系CI(即，投影)。
而且，步骤S16中，控制部12生成拍摄部16的视场A的推断图像，在该推断图像中，将在步骤S14中转换的拍摄部坐标系CI的坐标以点绘制。这样生成的推断图像的例如图14所示。
如图14所示的推断图像82与图12相同，对应于将工件W相对于拍摄部16定位在第1拍摄位置时进入拍摄部16的视场A的图像(图6)。如图14所示的推断图像82包含图13所示的点群70以及72被转换后的点群70’以及72’和图13所示的点群76被转换后的点群76’。
而且，图8的步骤S7中，控制部12基于包含在推断图像82的点群70’、72’以及76’，计算非检查区域H’以及E’。例如，控制部12在步骤S14中，将用于将图13的点群74、76、78以及80的内侧的区域作为非检查区域识别的信息(例如标志)赋予构成该点群74、76、78以及80的各点。
另外，控制部12将用于将被点群66、68、70以及72围起的区域作为被检查面SI的区域识别的信息(例如标志)赋予构成该点群66、68、70以及72的各点。
由此，步骤S14中转换点群66、68、70、72、74、76、78以及80时，参照赋予变换源的点群66、68、70、72、74、76、78以及80的信息，能够判定由转换后的点群划分的区域是否为非检查区域。
接下来，参照图1以及图15，对另一实施方式的检查系统90进行说明。检查系统90具备控制部12、移动机构14、拍摄部16、照明装置18以及装置100。本实施方式中，装置100安装于控制部12，还具备掩码生成部102这一点与上述的装置50不同。
以下，参照图16，对装置100的动作进行说明。应予说明，图16所示的流程中，对与图8所示的流程相同的工序标注相同的步骤编号，省略详细的说明。在开始图16的流程后，控制部12与上述的实施方式相同地执行步骤S1～步骤S7。
步骤S7后，在步骤S21中，控制部12生成掩码数据。该掩码数据是用于执行相对于检查系统90检查被检查面SI时拍摄部16在实空间拍摄的被检查面SI的图像(例如，图6所示的图像40)，使在该图像内存在的被检查面SI以外的区域(例如，图6中区域H、E)成为检查对象外的处理的数据。
以下，对检查系统90检查被检查面SI时，拍摄部16拍摄图6所示的图像40的情况进行说明。
作为一个例子，控制部12在步骤S21中，删除在步骤S6中生成的推断图像62(图12)的点群61’的点而仅提取非检查区域H’以及E’，生成将提取的非检查区域H’以及E’用与被检查面SI不同的单色(例如，黑色)填涂的掩码数据。
这样的掩码数据的一个例子如图17所示。图17所示的掩码数据104中，表示非检查区域H’以及E’的像素被涂成黑色。控制部12将生成的掩码数据104存储到存储部。
而且，控制部12使得在被检查面SI的检查时拍摄部16所拍摄的图像40上重叠步骤S21中生成的掩码数据104。由此，与非检查区域H’以及E’一致的图像40的像素(即，表示图6中的孔H以及外部空间E的像素)被涂成单色。
其结果，在为了检测伤痕等的缺陷而控制部12解析图像40时，图像40中的孔H以及外部空间E的区域被涂成单色，所以在该区域不存在任何的特征，因此，不会检测出伤痕等的缺陷。这样，实际上能够将不需要通过检查系统90检查的图像40内的区域H、E从检查对象除去。
另外，作为其它的例，控制部12也可以生成使得将与非检查区域H’以及E’一致的图像40的像素从在被检查面SI的检查时进行的图像解析的对象除去的掩码数据。
例如，控制部12在该步骤S21中，从步骤S6中生成的推断图像62仅提取非检查区域H’以及E’，生成使该非检查区域H’以及E’具有标志赋予功能的掩码数据。
而且，控制部12使在检查面SI的检查时拍摄部16所拍摄的图像40重叠生成的掩码数据，对与包含在掩码数据的非检查区域H’以及E’一致的图像40的像素赋予标志。
该情况下，控制部12在为了检测伤痕等的缺陷而解析图像40时，关于被赋予该标志的像素，不进行图像解析。这样，能够将不需要通过检查系统90检查的图像40内的区域H、E从检查对象除去。
这样，本实施方式中，控制部12承担作为对非检查区域H’、E’赋予与被检查面SI不同的颜色，或者，对像素赋予用于使非检查区域H’、E’成为检查对象外的标志的掩码生成部102(图15)的功能。
根据本实施方式，利用步骤S7中计算的非检查区域H’、E’，能够将不需要检查的图像区域从检查对象除去，所以能够使检查系统90对被检查面SI的检查作业迅速化。另外，能够减少检查时控制部12进行图像解析时的信息处理量，所以能够减少对控制部12的资源(例如，CPU)施加的负担。
接下来，参照图2以及图18，对又一实施方式的检查系统110进行说明。检查系统110与上述的检查系统10相比，以下的构成中不同。
即，检查系统110中，拍摄部16固定在移动机构14的手腕部26。另一方面，工件W固定于工件保持部112，在机器人坐标系CR中的预先决定的位置上，从移动机构14分离地配置。控制部12的存储部预先存储机器人坐标系CR中的工件W的固定位置的信息。
本实施方式中，工具坐标系CT对于拍摄部16设定。该工具坐标系CT是自动控制的坐标系的一个，将该工具坐标系CT的位置在机器人坐标系CR上表现，从而规定空间内的拍摄部16的位置以及姿势。本实施方式中，工具坐标系CT的z轴与拍摄部16的光轴O一致地设定工具坐标系CT。
控制部12在机器人坐标系CR中使转动缸22、机械臂24以及手腕部26动作而使拍摄部16的位置以及姿势与由工具坐标系CT规定的位置以及姿势一致。这样，拍摄部16在机器人坐标系CR中配置在任意的位置以及姿势。
接下来，对通过检查系统110检查工件W的被检查面SI的动作的概要进行说明。在检查工件W的被检查面SI时，控制部12使移动机构14动作，使拍摄部16移动到被检查面SI的至少一部分进入拍摄部16的视场A的拍摄位置，将该工件W和该拍摄部16相互定位。
具体而言，控制部12将工具坐标系CT设定为第1位置以及方向。而且，控制部12使移动机构14动作，使拍摄部16移动为与由设定为第1位置以及方向的工具坐标系CT规定的第1位置以及姿势一致。
其结果，拍摄部16配置在第1位置以及姿势，由此，相对于工件W定位在第1拍摄位置。接下来，控制部12对照明装置18发送指令，将该照明装置18打开。由此，通过照明装置18照射固定在工件保持部112的工件W。
接下来，控制部12对拍摄部16发送拍摄指令。拍摄部16若从控制部12接收拍摄指令，则拍摄工件W的被检查面SI。将拍摄部16相对于工件W定位在第1拍摄位置时由该拍摄部16拍摄的图像的例如图6所示。
如图6所示的图像40是将拍摄部16和工件W定位在第1拍摄位置时进入该拍摄部16的视场A的图像。通过拍摄部16拍摄的图像40的各像素以图6中的拍摄部坐标系CI表示。
机器人坐标系CR中的拍摄部坐标系CI的位置以及方向能够根据机器人坐标系CR中的拍摄部16的位置和该拍摄部16的视线方向以及视角求出。
接下来，控制部12使移动机构14动作，使拍摄部16配置在第2位置以及姿势。由此，拍摄部16相对于工件W定位在第2拍摄位置。在将拍摄部16相对于工件W定位到第2拍摄位置时，拍摄部16的视场A相对于被检查面SI，配置在图7中的区域A2所示的位置。
在使拍摄部16和工件W配置在第2拍摄位置时，控制部12对拍摄部16发送拍摄指令，拍摄工件W的被检查面SI。由此，拍摄对应于图7中的区域A的图像。
这样，控制部12使拍摄部16依次配置在第3位置以及姿势、第4位置以及姿势，···第n位置以及姿势，由此，将拍摄部16相对于工件W依次定位到第3拍摄位置、第4拍摄位置，···第n拍摄位置。控制部12在每当将拍摄部16和工件W定位到各自的拍摄位置时，通过拍摄部16拍摄工件W的被检查面SI。
这样，控制部12获取对应于图7中的区域A1～A12的合计12个图像。而且，控制部12解析从拍摄部16获取的各图像，检测形成于被检查面SI的伤痕等的缺陷。
接下来，参照图19以及图20，对设置在检查系统110的装置50的功能进行说明。此外，图19所示的流程中，对与图8所示的流程相同的工序标注相同的步骤编号，省略详细的说明。
步骤S2后，在步骤S3’中，控制部12接受机器人坐标系CR中的工件W的固定位置的指定。例如，操作人员操作控制部12的操作部，输入规定机器人坐标系CR中的工件W的位置的参数。
例如，图18所示的实施方式中，工件W被固定为：工件W的被检查面SI与机器人坐标系CR的y－z平面平行，且配置在从机器人坐标系CR的原点朝向x轴正方向分离预定距离的位置。
操作人员操作控制部12的操作部，输入用于规定机器人坐标系CR中的工件W的配置的参数(被检查面SI的角度、离原点的距离等)。控制部12接受操作人员对操作部的操作，获取机器人坐标系CR中的工件W的固定位置。
步骤S5’中，控制部12将第n拍摄位置(即，配置拍摄部16的第n位置以及姿势以及设定工具坐标系CT的第n位置以及方向)的编号“n”设为“1”。
步骤S6’中，控制部12基于工件W的绘图数据(工件模型WM)来生成推断通过移动机构14将拍摄部16相对于工件W定位在第n拍摄位置时由该拍摄部16拍摄的推断图像。
参照图20，对该步骤S6’进行说明。此外，图20所示的流程中，对与图11所示的流程相同的工序标注相同的步骤编号，省略详细的说明。以下，对在步骤S6’的开始时刻，第n拍摄位置的编号“n”被设为“1”(步骤S5)的情况进行说明。
在步骤S6’的开始后，步骤S12’中，控制部12计算在步骤S4中生成的点群61的各点的机器人坐标系CR中的坐标。这里，上述的步骤S3’中，机器人坐标系CR中的工件W的固定位置被指定。
因此，控制部12基于机器人坐标系CR中的工件W的固定位置和步骤S4中生成的点群61，能够计算相当于固定在该固定位置的被检查面SI的点群61的各个点的机器人坐标系CR中的坐标。而且，控制部12在计算坐标的各点赋予编号“m”(m＝1～γ)。
步骤S14’中，控制部12将在步骤S12’中计算坐标的点群61的点中，第m个点的坐标转换为拍摄部坐标系CI(即，投影)。
此时的拍摄部坐标系CI根据设定有工具坐标系CT的第1位置以及方向的信息、拍摄部16的视线方向(即，工具坐标系CT的z轴)以及视角决定。
控制部12通过对在步骤S12’中计算出的点的坐标乘以转换矩阵，将该点的机器人坐标系CR中的坐标转换为拍摄部坐标系CI。该转换矩阵是用于将机器人坐标系CR的坐标转换为拍摄部坐标系CI的矩阵。
而且，控制部12直到在图20中的步骤S18中判定为“是”，循环步骤S14’～S18，生成图12所示的推断图像62。
这样，控制部12直到在图19中的步骤S9中判定为“是”为止，循环步骤S6’～S9。由此，控制部12依次生成对应于图7中的区域An(n＝1～12)的、拍摄部16的视场A的推断图像，在各推断图像中，计算非检查区域。
这样，根据本实施方式，控制部12与上述的实施方式相同，能够根据工件W的绘图数据自动计算非检查区域H’、E’，所以能够省去操作人员按每个视场A手动设定非检查区域的作业。因此，能够减少检查系统90的启动上花费的工时。
接下来，参照图21，对又一实施方式的检查系统120进行说明。检查系统120与上述的检查系统10相比，具备装置130这一点不同。本实施方式的装置130具备绘图获取部52、指定接受部54以及非检查区域计算部132。
装置130被安装于控制部12。因此，控制部12承担绘图获取部52、指定接受部54、以及非检查区域计算部132的功能。本实施方式中，控制部12生成上述的点群61，判定内置于拍摄部16的拍摄传感器的各拍摄元件的视线是否通过点群61的点，来计算非检查区域。
以下，参照图24，对拍摄元件的视线进行说明。图24的区域(a)是放大拍摄传感器16a的受光面的一部分的放大图。拍摄部16具有拍摄传感器16a和包含至少一个透镜的光学系统16b。拍摄传感器16a如图24的区域(a)所示，具有在拍摄部坐标系CI的x轴向以及y轴向对齐地配设的多个拍摄元件I。
拍摄元件I分别具有视线K。该视线K与连结各拍摄元件I和焦点J的虚拟直线一致。这里，机器人坐标系CR中的各拍摄元件I以及焦点J的坐标能够根据机器人坐标系CR中的拍摄部16的固定位置以及拍摄部16的绘图数据等求出。而且，各拍摄元件I的视线K的机器人坐标系CR中的坐标(或者函数)能够根据机器人坐标系CR中的各拍摄元件I以及焦点J的坐标求出。
控制部12计算各拍摄元件I的视线K，判定该视线K是否通过生成的点群61的点，从而计算在工件W相对于拍摄部16配置在第n拍摄位置时进入拍摄部16的视场A的图像(图6)所包含的非检查区域H、E。
以下，参照图22，对装置130的动作流程进行说明。此外，图22所示的流程中，对与图8所示的流程相同的工序标注相同的步骤编号，省略详细的说明。开始图22的流程后，控制部12与上述的实施方式相同，执行步骤S1～S5。
步骤S5后，在步骤S30中，控制部12计算非检查区域。对于该步骤30，参照图23进行说明。此外，图23所示的流程中，对与图11所示的流程相同的工序标注相同的步骤编号，省略详细的说明。
图23所示的流程开始后，控制部12执行上述的步骤S11。具体而言，控制部12获取将工件W相对于拍摄部16定位在第n拍摄位置时设定的工具坐标系CT的第n位置以及方向的信息。
接下来，控制部12执行上述的步骤S12。具体而言，控制部12计算将工具坐标系CT配置在第n位置以及方向时的、点群61的各点的机器人坐标系CR中的坐标。
步骤S31中，控制部12将对各拍摄元件I赋予的编号“i”设为“1”。例如，拍摄部16的拍摄传感器具有计107个的拍摄元件I的情况下，各拍摄元件I被赋予1～107中任意一个编号“i”。
步骤S32中，控制部12计算第i个拍摄元件I的视线Ki。例如，该步骤S32的开始时刻，拍摄元件I的编号“i”被设为“100”(即，i＝100)的情况下，控制部12计算第100个的拍摄元件I的视线K100。
如上所述，控制部12能够根据机器人坐标系CR中的拍摄部16的固定位置、以及拍摄部16的绘图数据等，求出机器人坐标系CR中的第i个的拍摄元件I以及焦点J的坐标。
而且，控制部12能够根据这些坐标，计算出机器人坐标系CR中的视线Ki的坐标(或者函数)。控制部12将计算出的视线Ki的坐标(或者函数)存储到存储部。
步骤S33中，控制部12判定步骤S32中计算出的视线Ki是否通过在步骤S4中生成的点群61的点。具体而言，控制部12基于在步骤S32中计算出的视线Ki的坐标(或者函数)和在步骤S12中计算出的、点群61的各点的机器人坐标系CR中的坐标，判定视线Ki是否通过点群61的一个点。
控制部12在判定为视线Ki通过点群61的点的情况下(即，“是”)，进入步骤S34。另一方面，控制部12在判定为视线Ki不通过点群61的任何点的情况下(即，“否”)，进入步骤S35。
在步骤S33中判定为“是”的情况下，步骤S34中，控制部12将工件W相对于拍摄部16配置在第n拍摄位置时第i个拍摄元件I拍摄的第i像素设定为显示被检查面S1的被检查面像素。
另一方面，步骤S34中，在步骤S33中判定为“否”的情况下，步骤S35中，控制部12将工件W相对于拍摄部16配置在第n拍摄位置时第i个拍摄元件I拍摄的第i像素设定为显示非检查区域H、E的非检查区域像素。
步骤S36中，控制部12将第i个拍摄元件I的编号“i”自加“1”(即，i＝i+1)。步骤S37中，控制部12判定编号“i”是否成为比拍摄元件I的总数δ(例如，δ＝107)大的值。
控制部12在判定为编号“i”比总数δ大的情况下(即，“是”)，进入步骤S38。另一方面，控制部12判定编号“i”为总数δ以下的情况下(即，“否”)，返回步骤S32。
这样，控制部12直到在步骤S37中判定为“是”为止，循环步骤S32～S37。由此，控制部12关于全部的拍摄元件I，判定它们的视线Ki是否通过点群61的点，将构成在第n拍摄位置进入拍摄部16的视场A的图像的像素设定为被检查面像素或者非检查区域像素。
步骤S38中，控制部12划分被检查区域。具体而言，基于第i像素(i＝1～δ)的设定(被检查面像素或者非检查区域像素)，划分工件W相对于拍摄部16配置在第n拍摄位置时的、包含在拍摄部16的视场A内的图像(即，由第1像素～第δ像素构成的图像)的非检查区域(例如，区域H、E)。
作为一个例子，控制部12计算拍摄部16的视场A的图像内的单位区域(例如，10像素×10像素的区域)的被检查面像素的个数，在该个数为预先决定的阈值以下的情况下，判定该区域为非检查区域H、E。
控制部12通过将该动作遍及视场A内的图像的全域执行，从而能够计算非检查区域H、E。这样，本实施方式中，控制部12承担作为计算非检查区域H、E的非检查区域计算部132的功能。
根据本实施方式，控制部12不生成上述的推断图像62，而能够基于拍摄元件I的视线K，计算出非检查区域H、E。
此外，拍摄元件I的视线Ki相当于入射该拍摄元件I的被拍摄体像，所以机器人坐标系CR中的各拍摄元件I的视线Ki的坐标(或者函数)也可以不是直线，而是作为具有规定的剖面积的光束(例如，圆柱状)来计算。或者，点群61的点也可以是具有规定的面积的闭区域(例如，圆)。
另外，本领域技术人员容易理解图21所示的装置130的技术的概念也可以适用于图18所示的检查系统(即，拍摄部16固定于手腕部26的实施方式)。
此外，控制部12也可以将装置50、100、130的功能使用模拟软件等模拟执行。具体而言，控制部12将检查系统10的构成要素(机器人基座20、转动缸22、机械臂24、手腕部26以及机械手28)的三维模型以及工件模型WM配置在虚拟空间。
而且，控制部12以被检查面模型SIM进入拍摄部16的三维模型的虚拟视场A的方式，将工件模型WM和拍摄部16的三维模型在虚拟空间内模拟地定位。
而且，控制部12通过拍摄部16的三维模型模拟地拍摄被检查面模型SIM，生成虚拟视场A内的推断图像。而且，控制部12根据生成的推断图像计算非检查区域。通过这样的模拟的手法，也能够与上述的实施方式相同地计算出非检查区域。
另外，检查系统10、90、110、120的成为检查对象外的图像区域(即，非检查区域)也可以任意地设定。具体而言，检查系统10或者90中，机械手28把持工件W时进入实空间的拍摄部16的视场A的图像中有可能映入被检查面SI上的指部36。
在这种情况下，控制部12在图8中的步骤S4中生成点群61时，将配置指部36的被检查面SI上的区域从赋予点群的对象除去。配置指部36的被检查面SI上的区域能够根据指部36的绘图数据、工件W的绘图数据、机械手28把持工件W的把持位置特定。
由此，控制部12在上述的步骤S7中，能够将配置指部36的被检查面SI的图像区域作为非检查区域计算。其结果，能够将该图像区域不作为检查系统10的检查对象。
另外，上述的实施方式中，说明了图像生成部56生成点群61、66、68、70、72、74、76、78、80(步骤S4)，将该点群61、66、68、70、72、74、76、78、80转换为拍摄部坐标系CI(步骤S14、S14’)，生成推断图像62，82的情况。
然而，并不限于此，图像生成部56也可以在机器人坐标系CR中，将工具坐标系CT配置在第n位置以及方向时的被检查面SI的三维模型(即，被检查面模型SIM)模拟，将配置在机器人坐标系CR的被检查面模型SIM转换为拍摄部坐标系CI，生成拍摄部16的视场A内的推断图像。该情况下，控制部12能够生成与图6所示的图像40大致一致的推断图像。
另外，上述的实施方式中，说明了装置50、100安装于控制部12的情况。然而，并不限于此，装置50、100也可以作为与控制部12不同的要素构成。
图25表示这样的实施方式。图25所示的检查系统10’具备控制部12、移动机构14、拍摄部16、照明装置18以及装置50’。
本实施方式中，装置50’作为与控制部12不同的要素构成，与控制部12以能够进行通信的方式连接。装置50’与上述的装置50相同，执行图8以及图11所示的流程，计算非检查区域。
相同地，也可以将图21所示的装置130作为与控制部12不同的要素构成。另外，也可以从上述的检查系统10、10’、90、110或者130省略照明装置18，例如通过自然光照射被检查面SI。
另外，上述的实施方式中，说明了移动机构14由垂直多关节机器人构成的情况，但并不限于此，也可以由例如装载机等构成。
另外，上述的装置50、50’、100或者130也可以由具有CPU以及存储部等的一个计算机构成。或者，绘图获取部52、指定接受部54、图像生成部56(点群生成部57、绘制图像生成部59)、非检查区域计算部58以及132、以及掩码生成部102分别由具有CPU以及存储部等的一个计算机构成。
以上，通过实施方式说明了本公开，然而上述的实施方式不限定权利要求书的发明。

Claims (17)

1.一种计算成为检查系统的检查对象外的图像区域的装置，该检查系统具有拍摄工件的拍摄部以及使上述工件或者上述拍摄部移动而将该工件和该拍摄部相互定位的移动机构，并检查工件表面，
上述装置的特征在于，具备：
绘图获取部，其获取对上述工件进行模型化的工件模型的CAD数据；
指定接受部，其接受上述CAD数据中上述工件模型所包含的被检查面模型的指定；
点群生成部，其基于上述CAD数据在上述被检查面模型上生成点群；以及
非检查区域计算部，其基于将上述工件和上述拍摄部定位到与被指定的上述被检查面模型相当的上述工件的被检查面的至少一部分进入上述拍摄部的视场的拍摄位置时的用于控制上述移动机构的移动机构坐标系中的上述点群的坐标数据，在该拍摄部的视场内的图像中将上述被检查面以外的图像区域作为非检查区域来进行计算。
2.根据权利要求1所述的装置，其特征在于，
具备图像生成部，该图像生成部基于上述CAD数据生成推断图像，该推断图像是将上述工件和上述拍摄部定位到上述拍摄位置时被推断为由上述拍摄部拍摄到的上述视场内的推断图像，
上述图像生成部具有：
上述点群生成部；以及
绘制图像生成部，其使用上述坐标数据，在规定上述视场的拍摄部坐标系上绘制与将上述工件和上述拍摄部定位到上述拍摄位置时被推断为拍摄到的上述被检查面的至少一部分相当的上述被检查面模型的至少一部分上所生成的各个上述点群，从而生成上述推断图像，
上述非检查区域计算部将上述图像生成部生成的上述推断图像所包含的上述被检查面以外的图像区域作为上述非检查区域来进行计算。
3.根据权利要求1所述的装置，其特征在于，
还具备判定部，该判定部基于上述坐标数据和将上述工件及上述拍摄部定位到上述拍摄位置时的该拍摄部的多个拍摄元件的视线的上述移动机构坐标系中的坐标数据，来判定在该移动机构坐标系中该视线是否通过构成上述点群的点，
上述非检查区域计算部基于构成将上述工件及上述拍摄部定位到上述拍摄位置时的该拍摄部的视场内的图像的与判定为上述视线通过上述点的上述拍摄元件对应的被检查面像素和与判定为上述视线未通过上述点的上述拍摄元件对应的非检查区域像素，来计算上述非检查区域。
4.根据权利要求1至3中任一项所述的装置，其特征在于，
还具备掩码生成部，该掩码生成部对上述非检查区域赋予与上述被检查面不同的颜色，或者对上述非检查区域的像素赋予用于使上述非检查区域成为检查对象外的标志。
5.根据权利要求1至3中任一项所述的装置，其特征在于，
上述移动机构在预先决定的把持位置把持上述工件，并使该工件相对于上述拍摄部移动。
6.根据权利要求1至3中任一项所述的装置，其特征在于，
上述拍摄部被固定在上述移动机构，并通过该移动机构相对于上述工件移动。
7.根据权利要求1至3中任一项所述的装置，其特征在于，
上述非检查区域计算部针对将上述工件和上述拍摄部定位到上述被检查面的相互不同的多个区域进入上述拍摄部的上述视场的多个上述拍摄位置时的多个上述拍摄位置的每一个，计算上述拍摄部的视场内的上述图像中的上述非检查区域。
8.一种计算成为检查系统的检查对象外的图像区域的装置，该检查系统具有拍摄工件的拍摄部以及使上述工件或者上述拍摄部移动而将该工件和该拍摄部相互定位的移动机构，并检查工件表面，
上述装置的特征在于，具备：
绘图获取部，其获取对上述工件进行模型化的工件模型的CAD数据；
指定接受部，其接受上述CAD数据中上述工件模型所包含的被检查面模型的指定；
图像生成部，其基于上述CAD数据生成推断图像，该推断图像是将上述工件和上述拍摄部定位到与被指定的上述被检查面模型相当的上述工件的被检查面的至少一部分进入上述拍摄部的视场的上述拍摄位置时被推断为由上述拍摄部拍摄到的上述视场内的推断图像；以及
非检查区域计算部，其在将上述工件和上述拍摄部定位到上述拍摄位置时的该拍摄部的视场内的图像中，将上述被检查面以外的图像区域作为非检查区域来进行计算，
上述图像生成部具有：
点群生成部，其基于上述CAD数据在上述被检查面模型上生成点群；以及
绘制图像生成部，其在规定上述视场的拍摄部坐标系上绘制与将上述工件和上述拍摄部定位到上述拍摄位置时被推断为拍摄到的上述被检查面的至少一部分相当的上述被检查面模型的至少一部分上所生成的各个上述点群，从而生成上述推断图像，
上述非检查区域计算部将上述图像生成部生成的上述推断图像所包含的上述被检查面以外的图像区域作为上述非检查区域来进行计算。
9.根据权利要求8所述的装置，其特征在于，
还具备掩码生成部，该掩码生成部对上述非检查区域赋予与上述被检查面不同的颜色，或者对上述非检查区域的像素赋予用于使上述非检查区域成为检查对象外的标志。
10.根据权利要求8所述的装置，其特征在于，
上述移动机构在预先决定的把持位置把持上述工件，并使该工件相对于上述拍摄部移动。
11.根据权利要求9所述的装置，其特征在于，
上述移动机构在预先决定的把持位置把持上述工件，并使该工件相对于上述拍摄部移动。
12.根据权利要求8至11中任一项所述的装置，其特征在于，
上述拍摄部被固定在上述移动机构，并通过该移动机构相对于上述工件移动。
13.根据权利要求8至11中任一项所述的装置，其特征在于，
上述非检查区域计算部针对将上述工件和上述拍摄部定位到上述被检查面的相互不同的多个区域进入上述拍摄部的上述视场的多个上述拍摄位置时的多个上述拍摄位置的每一个，计算上述拍摄部的视场内的上述图像中的上述非检查区域。
14.根据权利要求12所述的装置，其特征在于，
上述非检查区域计算部针对将上述工件和上述拍摄部定位到上述被检查面的相互不同的多个区域进入上述拍摄部的上述视场的多个上述拍摄位置时的多个上述拍摄位置的每一个，计算上述拍摄部的视场内的上述图像中的上述非检查区域。
15.一种检查系统，其特征在于，
具备权利要求1至14中任一项所述的装置。
16.一种计算成为检查系统的检查对象外的图像区域的方法，该检查系统具有拍摄工件的拍摄部以及使上述工件或者上述拍摄部移动而将该工件和该拍摄部相互定位的移动机构，并检查工件表面，
上述方法的特征在于，具备：
获取对上述工件进行模型化的工件模型的CAD数据；
接受上述CAD数据中上述工件模型所包含的被检查面模型的指定；
基于上述CAD数据在上述被检查面模型上生成点群；以及
基于在将上述工件和上述拍摄部定位到与被指定的上述被检查面模型相当的上述工件的被检查面的至少一部分进入上述拍摄部的视场的拍摄位置时的用于控制上述移动机构的移动机构坐标系中的上述点群的坐标数据，在该拍摄部的视场内的图像中将上述被检查面以外的图像区域作为非检查区域来进行计算。
17.一种计算成为检查系统的检查对象外的图像区域的方法，该检查系统具有拍摄工件的拍摄部以及使上述工件或者上述拍摄部移动而将该工件和该拍摄部相互定位的移动机构，并检查工件表面，
上述方法的特征在于，具备：
获取对上述工件进行模型化的工件模型的CAD数据；
接受上述CAD数据中上述工件模型所包含的被检查面模型的指定；
基于上述CAD数据生成推断图像，该推断图像是将上述工件和上述拍摄部定位到与被指定的上述被检查面模型相当的上述工件的被检查面的至少一部分进入上述拍摄部的视场的拍摄位置时被推断为由上述拍摄部拍摄到的上述视场内的推断图像；以及
在将上述工件和上述拍摄部定位到上述拍摄位置时的该拍摄部的视场内的图像中，将上述被检查面以外的图像区域作为非检查区域来进行计算，
基于上述CAD数据在上述被检查面模型上生成点群，
在规定上述视场的拍摄部坐标系上绘制与将上述工件和上述拍摄部定位到上述拍摄位置时被推断为拍摄到的上述被检查面的至少一部分相当的上述被检查面模型的至少一部分上所生成的各个上述点群，从而生成上述推断图像，
将生成的上述推断图像所包含的上述被检查面以外的图像区域作为上述非检查区域来进行计算。
CN201810225234.4A 2017-03-21 2018-03-19 计算成为检查系统的检查对象外的图像区域的装置及方法 Active CN108627515B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017054628A JP6392922B1 (ja) 2017-03-21 2017-03-21 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法
JP2017-054628 2017-03-21

Publications (2)

Publication Number Publication Date
CN108627515A CN108627515A (zh) 2018-10-09
CN108627515B true CN108627515B (zh) 2020-02-18

Family

ID=63449992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810225234.4A Active CN108627515B (zh) 2017-03-21 2018-03-19 计算成为检查系统的检查对象外的图像区域的装置及方法

Country Status (4)

Country Link
US (1) US10724963B2 (zh)
JP (1) JP6392922B1 (zh)
CN (1) CN108627515B (zh)
DE (1) DE102018105955B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207069A1 (de) * 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung
US11926058B2 (en) * 2017-12-28 2024-03-12 Fuji Corporation Information providing device, information providing method and program
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
US10969771B2 (en) * 2019-06-12 2021-04-06 Edison Welding Institute, Inc. Computed tomography for non-destructive evaluation of manufactured parts
CN111007084B (zh) * 2020-01-03 2023-10-24 佛亚智能装备（苏州）有限公司 一种轴类表面360度瑕疵检测方法及拍摄机构

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034070A (zh) * 2006-03-10 2007-09-12 欧姆龙株式会社 表面状态的检查方法以及表面状态检查装置
CN102959355A (zh) * 2010-07-05 2013-03-06 株式会社拓普康 点群数据处理装置、点群数据处理系统、点群数据处理方法及点群数据处理程序
CN103313921A (zh) * 2011-02-15 2013-09-18 欧姆龙株式会社 图像处理装置及图像处理系统
JP2016224707A (ja) * 2015-05-29 2016-12-28 リコーエレメックス株式会社 検査システム
JP2017015396A (ja) * 2015-06-26 2017-01-19 キヤノン株式会社 検査方法、検査装置、処理装置、プログラム及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321767A (en) * 1992-08-28 1994-06-14 Kabushiki Kaisha Komatsu Seisakusho Method of forming a mask in image processing operation
JP3293257B2 (ja) 1993-08-30 2002-06-17 株式会社デンソー 表面欠陥検査装置
JP3433333B2 (ja) * 1994-05-09 2003-08-04 大日本印刷株式会社 欠陥検査方法
JP4206192B2 (ja) * 2000-11-09 2009-01-07 株式会社日立製作所 パターン検査方法及び装置
SE524818C2 (sv) * 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
DE102004007829B4 (de) * 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen
JP2009097922A (ja) * 2007-10-15 2009-05-07 Daido Steel Co Ltd 外観検査方法及び外観検査装置
WO2010091086A1 (en) * 2009-02-03 2010-08-12 Fanuc Robotics America, Inc. Method of controlling a robotic tool
DE112011104658B4 (de) * 2010-12-29 2020-06-18 Koh Young Technology Inc. Verfahren zum Prüfen eines Substrats
JP5799516B2 (ja) * 2011-02-03 2015-10-28 セイコーエプソン株式会社 ロボット装置、検査装置、検査プログラム、および検査方法
JP5912627B2 (ja) * 2012-02-14 2016-04-27 川崎重工業株式会社 撮像検査装置ならびにその制御装置および制御方法
JP6286921B2 (ja) * 2012-09-14 2018-03-07 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
JP6676286B2 (ja) * 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034070A (zh) * 2006-03-10 2007-09-12 欧姆龙株式会社 表面状态的检查方法以及表面状态检查装置
CN102959355A (zh) * 2010-07-05 2013-03-06 株式会社拓普康 点群数据处理装置、点群数据处理系统、点群数据处理方法及点群数据处理程序
CN103313921A (zh) * 2011-02-15 2013-09-18 欧姆龙株式会社 图像处理装置及图像处理系统
JP2016224707A (ja) * 2015-05-29 2016-12-28 リコーエレメックス株式会社 検査システム
JP2017015396A (ja) * 2015-06-26 2017-01-19 キヤノン株式会社 検査方法、検査装置、処理装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
DE102018105955A1 (de) 2018-09-27
US10724963B2 (en) 2020-07-28
CN108627515A (zh) 2018-10-09
JP2018155695A (ja) 2018-10-04
JP6392922B1 (ja) 2018-09-19
US20180275073A1 (en) 2018-09-27
DE102018105955B4 (de) 2021-04-01

Similar Documents

Publication Publication Date Title
CN108627515B (zh) 计算成为检查系统的检查对象外的图像区域的装置及方法
CN106873550B (zh) 模拟装置以及模拟方法
JP5897624B2 (ja) ワークの取出工程をシミュレーションするロボットシミュレーション装置
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
CN110712194B (zh) 物体检查装置、物体检查系统以及调整检查位置的方法
US20080013825A1 (en) Simulation device of robot system
CN108961144A (zh) 图像处理系统
JP4553437B2 (ja) 画像検査システム及び制御方法
US7711507B2 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
US20190255706A1 (en) Simulation device that simulates operation of robot
CN109945780B (zh) 物体检查系统以及物体检查方法
Marchand Control camera and light source positions using image gradient information
US10434650B2 (en) Programming device which generates operation program and method for generating program
US20180231474A1 (en) Apparatus and method for generating operation program of inspection system
GB2582931A (en) A method for determining camera placement within a robotic cell environment
CN116472551A (zh) 调整参数的装置、机器人系统、方法以及计算机程序
JPH09323280A (ja) マニピュレータの制御方法及びシステム
JP2017113815A (ja) 対象物をロボットを用いて把持するロボットシステムの画像表示方法
JP2021010994A (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
US20230154162A1 (en) Method For Generating Training Data Used To Learn Machine Learning Model, System, And Non-Transitory Computer-Readable Storage Medium Storing Computer Program
US20240123611A1 (en) Robot simulation device
WO2022249295A1 (ja) ロボットシミュレーション装置
WO2022181500A1 (ja) 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置
JP2019036072A (ja) 画像処理方法、画像処理装置、および製造方法
JP2023056623A (ja) 遠隔検査装置及び遠隔検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant