CN108965690A - 图像处理系统、图像处理装置及计算机可读存储介质 - Google Patents

图像处理系统、图像处理装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108965690A
CN108965690A CN201810357326.8A CN201810357326A CN108965690A CN 108965690 A CN108965690 A CN 108965690A CN 201810357326 A CN201810357326 A CN 201810357326A CN 108965690 A CN108965690 A CN 108965690A
Authority
CN
China
Prior art keywords
workpiece
measurement point
image processing
photographing unit
reference line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810357326.8A
Other languages
English (en)
Other versions
CN108965690B (zh
Inventor
饭田豊男
谷保勇树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018061951A external-priority patent/JP6973233B2/ja
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN108965690A publication Critical patent/CN108965690A/zh
Application granted granted Critical
Publication of CN108965690B publication Critical patent/CN108965690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理系统、图像处理装置及计算机可读存储介质。使用相机执行工件外观检查等处理时，产生工件设置时的位置偏离、或机器人的控制误差时，相机的焦点不能对焦检查部位，由此有可能导致检查精度下降。本发明的图像处理系统特定出由生产线提供的工件的配置状况。图像处理系统根据特定出的工件的配置状况，特定出设定好的工件的测量点的法线，并以特定出的法线和二维相机的光轴一致的方式，改变二维相机的位置姿势。图像处理系统改变二维相机和测量点的距离，使得特定出的法线和二维相机的光轴一致，由此使二维相机的焦点对焦测量点。本发明的图像处理系统可针对工件上设定的测量点将拍摄部配置于恰当的位置而进行恰当的拍摄。

Description

图像处理系统、图像处理装置及计算机可读存储介质
技术领域
在工厂自动化(Factory Automation，FA)领域，正普及一种机器人，其对工件(work)进行零件组装是否正确进行、或是否有损伤等的视觉检查的图像处理系统、图像处理装置及计算机可读存储介质。在这种机器人中，预先示教并存储着测量点的位置数据，用来显示检查时机器人的位置及姿势。
背景技术
作为向机器人示教并存储测量点的位置数据的方法，例如在日本专利特开2005-052926号公报(专利文献1)中公开了一种技术，“在三维CAD系统上对虚拟工件求出虚拟相机的位置”(参考段落[0009])。
此外，关于进行准确视觉检查的技术，例如在日本专利特开平8-313225号公报(专利文献2)中公开了一种视觉检查装置，“以检查部位为中心移动相机，测量图像的亮度、形状等特征量的变化，由此决定适合于图像处理的相机位置”(参考段落[0014])。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2005-052926号公报
[专利文献2]日本专利特开平8-313225号公报
发明内容
[发明欲解决的课题]
不过，专利文献1及专利文献2的装置均未考虑产生工件设置时的位置偏离、或机器人的控制误差。
因产生工件设置时的位置偏离、或控制机器人时的误差，实际使机器人移动至测量点时之机器人与工件的相对位置关系，有可能会和机器人中存储的机器人与工件的相对位置关系不同。结果，作为拍摄部的相机的焦点不能对焦检查部位。当拍摄部的焦点未对焦检查部位时，有可能导致检查精度下降。
为了使焦点对焦每个检查部位，虽然有用户使用示教盒(teaching pendant)来调整机器人位置的方法，但存在检查部位越增加，则用户的调整工时越增大的问题。
而且，虽然有利用自动聚焦功能来对焦拍摄部的焦点的方法，但使用自动聚焦功能时，存在拍摄部的焦距变化导致光学尺寸变化的问题。
因此，期望有一种技术，针对工件上设定的测量点，将拍摄部配置在恰当的位置上进行恰当的拍摄。
[解决课题的手段]
根据一方面，本发明的图像处理系统使用工件的外观图像，对工件上预先设定的一个或多个测量点进行图像测量，且包含：第一拍摄部，对外观图像进行拍摄；机器人，改变第一拍摄部和工件的相对位置关系；基准线特定部，基于拍摄工件所得的信息，特定出工件的配置状况，并根据特定出的工件的配置状况，对工件上设定的各测量点特定出基准线；距离调整部，在特定出的基准线上定位第一拍摄部，并在第一拍摄部的光轴和特定出的基准线方向一致的状态下，向机器人发出指令以改变第一拍摄部和工件之间的距离；第一特征量算出部，基于第一拍摄部拍摄的外观图像，算出第一拍摄部的聚焦度相关的第一特征量；以及距离决定部，基于与第一拍摄部和工件之间的距离的变化相应的第一特征量的变化，决定第一拍摄部和工件之间的距离，以对测量点进行图像测量。
优选为，图像处理系统还包含：第二拍摄部，以视野范围包含工件及机器人的至少一部分的方式配置，对视野范围内存在的被摄体的三维图像进行拍摄；以及存储部，储存对基准线方向进行规定的信息，所述基准线方向和一个或多个测量点的各个关联。基准线特定部包含：第一搜寻部，在三维图像内搜寻和工件的形状信息一致的部分；以及基准线决定部，基于第一搜寻部搜寻的部分的信息、和存储部储存的对基准线方向进行规定的信息，对各测量点决定基准线。
优选为，基准线特定部还包含：第二搜寻部，针对在基准线决定部决定的基准线上已定位第一拍摄部的状态下由第一拍摄部拍摄的图像，搜寻和对应测量点的基准图像一致的部分；以及修正部，基于第二搜寻部搜寻的部分的信息，对基准线决定部决定的基准线进行修正。
优选为，图像处理系统包含：位置调整部，在保持第一拍摄部和工件之间的距离的状态下，向机器人发出指令以使特定出的基准线和第一拍摄部的光轴所成角度从0变化到预先规定值；以及位置决定部，基于和角度的变化相应的第一特征量的变化，决定第一拍摄部和工件的相对位置关系，以对测量点进行图像测量。
优选为，图像处理系统还包含：第二特征量算出部，基于第一拍摄部拍摄的外观图像，算出预先设定的检测对象部位相关的第二特征量；以及图像测量部，基于在将第一拍摄部和工件之间定位成距离决定部决定的距离的状态下算出的第二特征量，判断对象测量点或测量点附近有无检测对象部位。
优选为，若图像测量部对检测对象部位的有无判断完成，则基准线特定部向机器人发出指令以将第一拍摄部定位到下一测量点。
优选为，图像处理系统还包含测量点设定受理部，所述测量点设定受理部显示工件的设计信息，并根据用户对显示的设计信息的操作，对一个或多个测量点进行设定。
优选为，图像处理系统还包含基准线算出部，所述基准线算出部针对测量点设定受理部设定的各测量点，基于工件的设计信息算出各测量点的表面形状，并基于算出的表面形状，算出各测量点的基准线。
根据另一方面，本发明的图像处理装置使用工件的外观图像，对所述工件上预先设定的一个或多个测量点进行图像测量，且包含：接口，从拍摄外观图像的第一拍摄部接收外观图像相关的信息；接口，用于和机器人进行通讯，所述机器人改变工件和第一拍摄部的相对位置关系；基准线特定部，基于拍摄工件所得的信息，特定出工件的配置状况，并根据特定出的工件的配置状况，对工件上设定的各测量点特定出基准线；距离调整部，在特定出的基准线上定位第一拍摄部，并在第一拍摄部的光轴和特定出的基准线方向一致的状态下，向机器人发出指令以改变第一拍摄部和工件之间的距离；第一特征量算出部，基于第一拍摄部拍摄的外观图像，算出第一拍摄部的聚焦度相关的第一特征量；以及距离决定部，基于与第一拍摄部和工件之间的距离的变化相应的第一特征量的变化，决定第一拍摄部和工件之间的距离，以对测量点进行图像测量。
根据另一方面，本发明的图像处理程序用于使用工件的外观图像对所述工件上预先设定的一个或多个测量点进行图像测量，且使计算机执行以下步骤：使用第一拍摄部对工件进行拍摄；基于拍摄工件所得的信息，特定出工件的配置状况；根据特定出的工件的配置状况，对工件上设定的各测量点特定出基准线；在特定出的基准线上定位第一拍摄部；在第一拍摄部的光轴和特定出的基准线方向一致的状态下，向机器人发出指令改变第一拍摄部和工件的相对位置关系，以改变第一拍摄部和工件之间的距离；基于第一拍摄部拍摄的外观图像，算出第一拍摄部的聚焦度相关的第一特征量；以及基于与第一拍摄部和工件之间的距离的变化相应的第一特征量的变化，决定第一拍摄部和工件之间的距离，以对测量点进行图像测量。
[发明的效果]
在一方面，可针对工件上设定的测量点将拍摄部配置于恰当的位置而进行恰当的拍摄。
本发明的所述及其他目的、特征、方面及优点，根据随附的附图及关联理解的本发明相关的以下详细说明当可明了。
附图说明
图1是表示第一实施方式涉及的图像处理系统的基本构成的示意图。
图2是表示图像处理系统的硬件构成的示意图。
图3是表示执行使二维相机的焦点对焦工件的测量点的处理时的机器人的动作的一个例子的图。
图4是检查处理的流程图。
图5是表示图像处理装置的功能构成的一个例子的图。
图6是检查路径生成处理的流程图。
图7是表示在执行检查路径生成处理时发挥作用的图像处理装置的功能构成的一个例子的图。
图8是法线修正处理的流程图。
图9是表示法线决定系统的功能构成的示意图。
图10是焦点调整处理的流程图。
图11是表示焦点调整系统的功能构成的示意图。
图12是检查执行处理的流程图。
图13是表示检查执行系统的功能构成的示意图。
图14A、图14B、图14C是表示相机的圆弧轨道的一个例子的图。
图15A、图15B是表示用户使用输入装置输入检查路径时的处理的一个例子的图。
图16是第二实施方式涉及的法线决定处理的流程图。
图17是表示第三实施方式涉及的图像处理系统的构成的示意图。
图18A、图18B、图18C是表示基准线的变形例的示意图。
附图标号说明
2：图像处理装置
100：管理装置
110：显示装置
120：输入装置
131：位置决定部
132：路径生成部
133：法线修正部
1330：背离值算出部
1331：更新部
1332：修正量算出部
134：法线轨道生成部
135：焦点位置决定部
136：圆弧轨道生成部
137：检查结果判定部
138：检查结果登记部
139、220：变换部
140：主存储器
141、335、433：储存部
142：第一存储部
143：第二存储部
144：第三存储部
150：硬盘
160：显示控制器
170：数据读写器
171：存储卡
181：输入接口
182：机器人接口
183：二维相机接口
184：三维相机接口
185、350、450：总线
200：机器人控制部
210：机器人
300：二维图像处理装置
310：二维相机
320、420：拍摄控制部
330、430：图像处理引擎
331、431：特定部
332：聚焦度算出部
333：特征量算出部
334、432：存储部
340、440：输入输出接口
400：三维图像处理装置
410：三维相机
a：聚焦度
b：特征量
L：生产线
NW：网络
SYS：图像处理系统
O：光轴
V：法线
V1、V2、V3、V4、V5、V6：基准线
W：工件
WL：检查路径
Wp、Wp1、Wp2、Wp3、Wp4、Wp5、Wp6：测量点
具体实施方式
下面，边参考附图边说明依照本发明的各实施方式。下面的说明中，对相同零件及构成要素附加相同的符号。它们的名称及功能也相同。因此，关于它们的详细说明将不再重复。另外，下面说明的各实施方式及各变形例也可以适当地选择性进行组合。
<第一实施方式>
[A.图像处理系统构成]
图1是表示第一实施方式涉及的图像处理系统SYS的基本构成的示意图。图1所示的图像处理系统SYS是以下系统：用于使用生产线L提供的工件W的外观图像，对工件W的外观进行检查。在图像处理系统SYS中，对预先规定的工件W的一个或多个设定测量点分别进行外观检查。
图像处理系统SYS包含图像处理装置2、机器人210、二维相机310及三维相机410。典型来说，机器人210可以是多关节机器人即SCARA型机器人等。二维相机310是安装在机器人210的末端。通过机器人210的动作，变更二维相机310的位置及姿势。因此，机器人210可以改变二维相机310和工件W的相对位置关系。
三维相机410设置在生产线L上的规定位置，以其拍摄视野中包含生产线L的至少一部分的方式配置。当生产线L提供工件W使其位于三维相机410的拍摄视野内时，三维相机410可以对所述工件W进行拍摄。
图像处理装置2包含管理装置100、机器人控制部200、二维图像处理装置300及三维图像处理装置400。另外，在第一实施方式中，图像处理装置2包含四个装置，但可以包含一个装置，也可以包含两个以上或者五个以上装置。
管理装置100经由网络NW分别连接机器人控制部200、二维图像处理装置300及三维图像处理装置400。网络NW例如是现场网络。作为一个例子，网络NW采用EtherCAT(注册商标)或EtherNet/IP(注册商标)等。
此外，管理装置100电连接显示装置110及输入装置120。机器人控制部200电连接机器人210。二维图像处理装置300电连接二维相机310。三维图像处理装置400电连接三维相机410。另外，电连接的各装置也可以一体地构成。即，机器人210和机器人控制部200可以一体地构成。二维图像处理装置300和二维相机310可以一体地构成。三维图像处理装置400和三维相机410可以一体地构成。
[B.图像处理系统SYS的硬件构成]
图2是表示图像处理系统SYS的硬件构成的示意图。管理装置100包含作为运算处理部的中央处理单元(Central Processing Unit，CPU)130、作为存储部的主存储器140及硬盘150、显示控制器160、数据读写器170、输入接口(I/F)181、机器人接口(I/F)182、二维相机接口(I/F)183、三维相机接口(I/F)184。这些各部分经由总线185而可相互进行数据通讯地连接。
CPU130将硬盘150中安装的包含图像处理程序151的程序(代码)在主存储器140展开，并按照规定顺序执行这些程序，由此实施各种运算。
主存储器140典型来说是动态随机存取存储器(Dynamic Random Access Memory，DRAM)等易失性存储装置。主存储器140除了保存从硬盘150读出的程序外，还保存用于对工件W的外观进行检查的检查用信息1411、从二维图像处理装置300或三维图像处理装置400发送的图像处理结果、CPU130的处理结果、以及机器人210、二维相机310及三维相机410的位置姿势(三维坐标上的坐标值(X，Y，Z)及角度(θx，θy，θz))相关的信息等。
检查用信息1411包含例如工件W的三维CAD信息、工件W的测量点的坐标位置、表示测量点的基准线方向的法线向量、在测量点检查的检查内容、有多个测量点时的检查顺序、检查时的二维相机310的移动路径等。而且，对每种工件W设置一种检查用信息1411。工件W的种类有例如发动机缸体(engining block)或塑料瓶(PET bottle)等。
硬盘150中还可以储存各种设定值等。另外，还可以除了硬盘150外再采用闪速存储器等半导体存储装置，或者代替硬盘150而采用闪速存储器等半导体存储装置。
显示控制器160连接作为显示装置110的显示器，向用户通知CPU130的处理结果等。即，显示控制器160连接于显示装置110，控制所述显示装置110上的显示。
数据读写器170负责CPU130和作为记录介质的存储卡171之间的数据传输。即，存储卡171以储存有管理装置100执行的程序等的状态流通，数据读写器170从所述存储卡171中读出程序。此外，数据读写器170响应CPU130的内部指令，将从二维图像处理装置300或三维图像处理装置400发送的图像处理结果、CPU130的处理结果等写入存储卡171。另外，存储卡171包含微型快擦写存储卡(Compact Flash，CF(注册商标))、安全数字卡(SecureDigital，SD)等通用半导体存储设备、软盘(FlexibleDisk)等磁存储介质、或CD-ROM(Compact Disk Read Only Memory)等光学存储介质等。
输入接口181负责CPU130和鼠标、键盘、触控面板等输入装置120之间的数据传输。即，输入接口181受理用户操作输入装置120而提供的操作指令。操作指令包含例如指定工件W的测量点的指令、指定工件W的指令、开始检查的指令。
机器人接口182负责CPU130和机器人控制部200之间的数据传输。即，机器人接口182连接机器人控制部200。而且，机器人接口182按照来自CPU130的内部命令，向机器人控制部200发出指示移动的命令。
二维相机接口183负责CPU130和二维图像处理装置300之间的数据传输。即，二维相机接口183连接二维图像处理装置300，所述二维图像处理装置300用于对拍摄工件W所得的二维图像进行处理。而且，二维相机接口183按照来自CPU130的内部命令，对二维图像处理装置300发出指示执行各种图像处理的命令。
三维相机接口184负责CPU130和三维图像处理装置400之间的数据传输。而且，三维相机接口184按照来自CPU130的内部命令，向三维图像处理装置400发出指示执行各种图像处理的命令。
机器人控制部200按照从机器人接口182发出的命令，控制机器人210的动作。所谓机器人210的动作，是指改变机器人210上安装的二维相机310的位置及姿势的动作。即，也可以说机器人控制部200控制二维相机310的位置及姿势。
二维图像处理装置300包含拍摄控制部320、图像处理引擎330及输入输出接口340。这些各部分经由总线350而可相互进行数据通讯地连接。拍摄控制部320按照来自图像处理引擎330的指示，控制连接的二维相机310的拍摄动作。图像处理引擎330执行经由输入输出接口340而从CPU130指示的各种图像处理。输入输出接口340将图像处理引擎330执行的各种图像处理的结果经由二维相机接口183发送给管理装置100。而且，输入输出接口340接收经由二维相机接口183发送的来自CPU130的各种指示。
三维图像处理装置400包含拍摄控制部420、图像处理引擎430及输入输出接口440。这些各部分经由总线450而可相互进行数据通讯地连接。另外，三维图像处理装置400包含的硬件之中、和二维图像处理装置300包含的硬件相同名称的硬件具有和所述相同名称的硬件相同的功能，所以省略说明。
二维相机310及三维相机410是分别对拍摄视野中存在的被摄体进行拍摄的拍摄部。二维相机310的主要构成要素包含透镜(1ens)、光圈等光学系统、电荷耦合器件(ChargeCoupled Device，CCD)影像传感器或互补金氧半导体(Complementary Metal OxideSemiconductor，CMOS)影像传感器等受光组件。三维相机410典型来说是主动方式的三维相机，包含对测量用图案进行投光的投影仪、及相机，相机的主要构成要素包含透镜、光圈等光学系统、CCD影像传感器或CMOS影像传感器等受光组件。另外，也可以是被动方式的静态相机。
二维相机310按照来自二维图像处理装置300的指令进行拍摄，并将拍摄所得的二维图像数据向二维图像处理装置300进行输出。
三维相机410按照来自三维图像处理装置400的指令进行拍摄，并将拍摄所得的三维图像数据向三维图像处理装置400进行输出。
[C.图像处理系统的概要]
接下来，说明图像处理系统SYS的概要。图像处理系统SYS是用来对工件W上设定的一个或多个测量点Wp分别进行工件W的外观检查的系统。图像处理系统SYS执行的工件W的外观检查相关的处理包含以下处理：使二维相机310的焦点对焦工件W的测量点Wp；及在二维相机310的焦点对焦测量点Wp的状态下执行检查。所谓对各测量点Wp进行工件W的外观检查，是指针对工件W上设定的各测量点Wp，对包含测量点Wp的测量区域进行外观检查。测量点Wp是代表测量区域的点，相当于用来对准二维相机310的光轴的基准点。
图像处理系统SYS中通过执行重复以下处理来进行工件W整体的外观检查，即，使二维相机310的焦点对焦工件W的测量点Wp的处理，及在二维相机310的焦点对焦测量点Wp的状态下执行检查的处理。
使二维相机310的焦点对焦工件W的测量点Wp的处理包含以下处理：对测量点Wp特定出基准线的处理；及在特定出的基准线上使二维相机310的焦点对焦测量点Wp的处理。图像处理系统SYS中，可以在特定出的法线V上定位二维相机310。于此，所谓“基准线”，是设定二维相机310朝向时成为基准的线，包含测量点Wp相对于所处工件W的微小平面大体垂直的垂线即法线、用户任意设定的线。本实施方式中，是将基准线作为法线V进行说明的。
参考图3，说明执行使二维相机310的焦点对焦工件W的测量点Wp的处理时机器人210的具体动作。图3是表示执行使二维相机310的焦点对焦工件W的测量点Wp的处理时机器人210的动作的一个例子的图。
图3中表示了以下动作：执行在法线V上定位二维相机310的处理(步骤S1)时的机器人210的动作；及执行在法线V上对焦二维相机310的焦点的处理(步骤S1)时的机器人210的动作。
在步骤S1中，管理装置100基于拍摄工件W所得的信息，特定出工件W的配置状况。于此，配置状况的概念不仅包含工件W的位置，还包含工件W的朝向。管理装置100根据特定出的工件W的配置状况，对工件W上设定的各测量点Wp特定出法线V。于此，当测量点Wp如图3所示那样设定了多个的情况下，通过特定出法线V而生成检查路径WL。即，为了生成检查路径WL，管理装置100需要特定出工件W的配置状况，并根据特定出的工件W的配置状况，对工件W上设定的各测量点Wp特定出法线V。
管理装置100以特定出的法线V和二维相机310的光轴O一致的方式决定二维相机310的位置姿势，并将决定好的二维相机310的位置姿势相关的信息发送给机器人控制部200。机器人控制部200基于收到的二维相机310的位置姿势相关的信息，向机器人210发出动作指令。由此，通过将机器人210的姿势变成图3(S1)中虚线表示的机器人210′的姿势，而使二维相机310的位置姿势变成图3(S1)中的虚线表示的二维相机310′的位置姿势。
在步骤S2中，管理装置100在决定好的法线V和二维相机310的光轴O一致的状态下生成使二维相机310移动的法线轨道。管理装置100将生成的法线轨道相关的信息及指示动作的命令发送给机器人控制部200。由此，机器人210使二维相机310沿着图3(S2)中的双向箭头的方向移动，改变二维相机310和测量点Wp的距离。
在步骤S2中，管理装置100还指示二维图像处理装置300基于二维相机310拍摄的二维图像，算出二维相机310的聚焦度a相关的特征量。于此，所谓“聚焦度a”，是指二维相机310的焦点对焦到哪种程度的指标。另外，下面还会将聚焦度a相关的特征量仅称为聚焦度a。管理装置100获得测量点Wp和二维相机310的距离不同的各位置上的二维相机310的聚焦度a。管理装置100基于与二维相机310和测量点Wp之间的距离的变化相应的聚焦度a的变化，决定二维相机310的焦点对焦测量点Wp的二维相机310和测量点Wp之间的距离。
以此方式，图像处理系统SYS可以根据生产线L提供的工件W的配置状况，对设定的工件W的测量点Wp特定出法线V。而且，图像处理系统SYS通过改变二维相机310和测量点Wp的距离，可以使二维相机310的焦点对焦测量点Wp。结果，不用改变二维相机310的光学系统，就能使二维相机310的焦点对焦测量点Wp。由此，图像处理系统SYS中，可以执行准确的外观检查。此外，图像处理系统SYS中，管理装置100是基于外观图像决定测量点Wp的法线V，并基于使二维相机310沿着法线V上移动时的二维相机310的聚焦度a，决定二维相机310的焦点对焦测量点Wp的位置。因此，图像处理系统SYS中，可以调整生产线L提供的工件W的位置、和二维相机310的位置关系。
[D.检查处理]
图像处理系统SYS中执行的工件W的外观检查相关的处理包含：使二维相机310的焦点对焦工件W的测量点Wp的处理；以及在二维相机310的焦点对焦测量点Wp的状态下执行检查的处理。使二维相机310的焦点对焦工件W的测量点Wp的处理包含：对测量点特定出法线V的处理；以及在特定出的法线V上使二维相机310的焦点对焦测量点Wp的处理。
对测量点Wp特定出法线V的处理更具体来说包含：基于拍摄工件W所得的信息，特定出工件W的配置状况的处理；以及根据特定出的配置状况，对工件W上设定的各测量点Wp特定出法线V的处理。
在第一实施方式中，对测量点Wp特定出法线V的处理是使用三维相机410及二维相机310进行。具体来说，对测量点Wp特定出法线V的处理包含：基于三维相机410拍摄的三维图像，对工件W上设定的各测量点Wp决定法线V的处理；以及在决定好的法线V上定位二维相机310的状态下，基于所述二维相机310拍摄的二维图像，对决定好的法线V进行修正的处理。
即，在第一实施方式中，对测量点Wp特定出法线V的处理包含：(1)基于三维图像，特定出工件W的配置状况的处理；(2)根据基于三维图像特定出的配置状况，对工件W上设定的各测量点Wp决定法线V的处理；(3)在决定好的法线V上定位二维相机310的状态下，基于所述二维相机310拍摄的二维图像，特定出工件W的配置状况的处理；以及(4)根据基于二维图像特定出的配置状况，对决定好的法线V进行修正的处理。
参考图4，为了实现图像处理系统SYS中执行的工件W的外观检查相关的处理，先说明管理装置100的CPU130要执行的检查处理。图4是检查处理的流程图。CPU130基于执行工件W检查的指令的接收，而执行检查处理。另外，执行工件W检查的指令例如由用户从输入装置120输入。此外，执行工件W检查的指令也可以响应于工件W被提供到三维相机410的拍摄视野范围内，而从三维图像处理装置400或管理生产线L的装置(未图示)输入。在第一实施方式中，CPU130接收执行工件W检查的指令，同时接收可特定出工件W种类的工件序号(number)。
在步骤Si00中，CPU130从主存储器140中存储的多个检查用信息1411之中，特定出和工件序号对应的检查用信息1411。
在步骤S200中，CPU130基于三维相机410拍摄的工件W的三维图像，特定出工件W的配置状况，执行生成检查路径WL的检查路径生成处理。通过CPU130执行检查路径生成处理，而执行：(1)基于三维图像特定出工件W的配置状况的处理；以及(2)根据基于三维图像特定出的配置状况，对工件W上设定的各测量点Wp决定法线V的处理。
在步骤S300中，CPU130判断是否有检查部位。具体来说，CPU130判断是否有尚未检查的测量点Wp。当所有测量点Wp都已检查时(步骤S300中的否)，CPU130结束检查处理。当有尚未检查的测量点Wp时(步骤S300中的是)，CPU130将控制切换到步骤S310。
在步骤S310中，CPU130决定尚未检查的一个测量点Wp。
在步骤S400中，CPU130执行法线修正处理。法线修正处理是对尚未检查的一个测量点Wp的法线V进行修正的处理。通过CPU130执行法线修正处理，而执行：(3)在决定好的法线V上定位二维相机310的状态下，基于所述二维相机310拍摄的二维图像，特定出工件W的配置状况的处理；以及(4)根据基于二维图像特定出的工件W的配置状况，对决定好的法线V进行修正的处理。
在步骤S500中，CPU130执行焦点调整处理。焦点调整处理是使二维相机310的焦点对焦测量点Wp的处理。通过CPU130执行焦点调整处理，而执行在决定好的法线V上使二维相机310的焦点对焦测量点Wp的处理。
在步骤S600中，CPU130执行检查执行处理。检查执行处理是对测量点Wp执行检查的处理。通过CPU130执行检查执行处理，而执行在二维相机310的焦点对焦测量点Wp的状态下执行检查的处理。
[E.图像处理装置的功能构成]
参考图5，对图像处理装置2的全体功能进行说明。图5是表示图像处理装置2的功能构成的一个例子的图。如上所述，图像处理装置2包含管理装置100、机器人控制部200、二维图像处理装置300、及三维图像处理装置400。
管理装置100包含作为存储部的主存储器140。主存储器140包含储存部141作为对检查用信息1411进行储存的功能构成。此外，管理装置100包含位置决定部131、路径生成部132、法线修正部133、法线轨道生成部134、焦点位置决定部135、圆弧轨道生成部136、检查结果判定部137、及检查结果登记部138作为其他功能构成。位置决定部131、路径生成部132、法线修正部133、法线轨道生成部134、焦点位置决定部135、圆弧轨道生成部136、检查结果判定部137、及检查结果登记部138典型来说是由管理装置100的CPU执行程序而实现。
机器人控制部200包含变换部220作为功能构成，所述变换部220将世界坐标系中的二维相机310的位置姿势的信息，变换成机器人坐标系中的二维相机310的位置姿势的信息。具体来说，变换部将世界坐标系的位置坐标(Xw，Yw，Zw)变换成机器人坐标系的位置坐标(Xr，Yr，Zr)，并将世界坐标系的朝向相关的信息(Nw)变换成机器人坐标系的朝向相关的信息(Nr)。于此，朝向相关的信息例如用向量表示。另外，也可以用角度表示。
二维图像处理装置300包含图像处理引擎330。图像处理引擎330包含特定部331、聚焦度算出部332、及特征量算出部333作为功能构成。
三维图像处理装置400包含图像处理引擎430。图像处理引擎430包含特定部431作为功能构成。
另外，图5所示的图像处理装置2的功能构成之中，部分功能或全部功能也可以使用ASL(Application Sub-Layer)或FPGA(Field Programmable Gate Array)等硬接线电路实现。另外，管理装置100、机器人控制部200、二维图像处理装置300及三维图像处理装置400的各装置的部分功能或全部功能也可以安装到其他装置。
储存部141对从输入装置120输入的检查路径WL相关的信息进行储存。CPU130在从输入装置120输入了检查路径WL相关的信息时，就将信息记录到储存部141。另外，储存部141中存储的信息并不限于从输入装置120输入的信息，还包含从存储卡171或/和硬盘150读出的信息。作为检查路径WL相关的信息，包含例如各测量点Wp的3D CAD上的坐标位置(Xm，Ym，Zm)及各测量点Wp的法线向量(Nm)。
位置决定部131根据从路径生成部132、法线修正部133、法线轨道生成部134、焦点位置决定部135及圆弧轨道生成部136分别发送来的二维相机310的位置及朝向相关的信息，决定二维相机310的世界坐标系中的位置及朝向。位置决定部131将二维相机310的世界坐标系中的位置及朝向相关的信息，发送给机器人控制部200。
三维图像处理装置400的特定部431根据三维图像，特定出生产线L上提供的工件W的配置状况。作为一个例子，特定部431利用三维图案匹配或ICP(Iterative ClosestPoint)等三维图像处理，算出工件W的配置状况。特定部431测量的工件W的位置典型地是用三维相机410的相机坐标系的坐标值(Xc3，Yc3，Zc3)[pixcel]表示。而且，特定部431测量的工件W的朝向典型地是用三维相机410的绕相机坐标系的x轴、y轴、z轴的旋转角(θxc3，θyc3，θzc3)[弧度]表示。特定部431测量的工件W的位置及倾斜度被发送给管理装置100。
路径生成部132基于从特定部431发送的三维相机410的相机坐标系的工件W的位置及朝向、以及储存部141储存的工件W的检查用信息1411等，生成检查路径WL。检查路径WL典型来说是用世界坐标系的坐标位置(Xw，Yw，Zw)[mm]及法线向量(Nw)表现。即，路径生成部132根据基于三维图像特定出的配置状况，对工件W上设定的各测量点Wp决定法线V。
此外，路径生成部132对检查的开始及结束进行管理。具体来说，基于检查的开始指示的接收，生成检查路径WL。路径生成部132基于生成的检查路径WL，决定二维相机310的位置及朝向(Xw，Yw，Zw，Nw)，并向位置决定部131发出指示。而且，路径生成部132收到表示一个测量点的检查结束的结束信号，为了将二维相机310定位到下一测量点Wp而决定二维相机310的位置及朝向(Xw，Yw，Zw)，并向位置决定部131发出指示。路径生成部132基于所有测量点Wp的结束信号的接收，而结束检查。
以此方式，在第一实施方式中，路径生成部132接收表示检查结束的结束信号，向机器人控制部200发出指示以依次移动二维相机310。因此，用户不需要确认测量点的检查完成，并在确认后向管理装置100指示开始下一测量点Wp的检查。即，第一实施方式的图像处理系统SYS由于包含路径生成部132，用户的操作性提升。
二维图像处理装置300的特定部331根据二维图像特定出用于对路径生成部132决定的测量点Wp的法线V进行修正的信息。作为一个例子，特定部331利用图案匹配等图像处理，算出用于对测量点Wp的法线V进行修正的信息。于此，所谓用于对测量点Wp的法线V进行修正的信息，是指测量点Wp的位置相关的信息。由特定部431算出的测量点Wp的位置典型来说是用二维相机310的相机坐标系的坐标值(Xc2，Yc2)[pixcel]、和以法线为轴时的绕轴旋转角θc2[弧度]表示。特定部331测量的测量点Wp的位置相关的信息被发送给管理装置100。
法线修正部133对路径生成部132决定的测量点Wp的法线V进行修正。具体来说，法线修正部133基于特定部331测量的测量点Wp的位置相关的信息，特定出测量点Wp的法线V。即，法线修正部133间接地基于二维图像特定出测量点Wp的法线V。下面，将基于二维图像特定出的测量点Wp的法线V也称为“测量的测量点Wp的法线V”(实测值)。另一方面，将定位二维相机310时参考的测量点Wp的法线V也称为“决定的测量点Wp的法线V”(指定值)。
法线修正部133算出测量的测量点Wp的法线V和决定的测量点Wp的法线V的背离值，并基于所述背离值对决定的测量点Wp的位置进行修正，再次决定测量点Wp的位置。法线修正部133基于决定的测量点Wp的位置决定二维相机310的位置及朝向(Xw，Yw，Zw，Nw)，并发送给位置决定部131。法线修正部133基于背离值为预先规定值以下的情况，决定测量点Wp的位置及法线向量。法线修正部133将决定的测量点Wp的位置及法线向量(Xw，Yw，Zw，Nw)发送给法线轨道生成部134。
法线轨道生成部134基于接收的测量点Wp的位置及法线向量，在二维相机310的光轴O和测量点Wp的法线V一致的状态下，生成将二维相机310和测量点Wp之间的距离改变而成的二维相机310的法线轨道(Xw(t)，Yw(t)，Zw(t))。法线轨道生成部134将生成的法线轨道、移动范围等发送给位置决定部131及焦点位置决定部135。
聚焦度算出部332根据二维图像算出聚焦度a，并将所述聚焦度a和二维相机310拍摄所述二维图像的时间t的关系a(t)发送焦点位置决定部135。
焦点位置决定部135根据聚焦度算出部332发送的二维图像的聚焦度a(t)、及法线轨道生成部134发送的法线轨道等信息，特定出聚焦度a最高的位置。焦点位置决定部135根据特定出的位置视需要对法线轨道生成部134发出指示，用于指定移动范围而生成法线轨道。焦点位置决定部135从聚焦度算出部332获得用于决定焦点位置的足够的信息，来决定焦点位置(Xw，Yw，Zw)，并发送给圆弧轨道生成部136。
圆弧轨道生成部136以在保持焦点位置决定部135发送的焦点位置上的二维相机310和测量点Wp的距离的状态下，测量点的法线V和二维相机310的光轴O所成角度改变的方式，生成圆弧轨道。圆弧轨道生成部136以二维相机310的光轴O和测量点Wp相交的方式，针对二维相机310的位置及朝向生成圆弧轨道(Xw(t)，Yw(t)，Zw(t)，Nw(t))。圆弧轨道生成部136将生成的圆弧轨道、移动范围等，发送给位置决定部131及检查结果判定部137。
特征量算出部333算出特征量b，用于执行对每个测量点规定的检查。特征量算出部333根据二维图像算出和检查内容对应的特征量b。特征量b的算出方法例如可以根据工件W的种类和检查内容来决定。特征量算出部333将算出的特征量b和二维相机310拍摄所述二维图像的时间t的关系b(t)，发送给检查结果判定部137。
检查结果判定部137根据二维图像的特征量b(t)及从圆弧轨道生成部136发送的圆弧轨道等信息，特定出特征量b增加的方向。将特征量b增加的方向发送给圆弧轨道生成部136。圆弧轨道生成部136在二维相机310的可移动范围内，能够在特征量b增加的方向上移动二维相机310时，便生成圆弧轨道等。检查结果判定部137获得二维相机310的可移动范围内的特征量b的情况下，会特定出特征量b的最大值，并基于最大值是否为预先规定的规定值以上，来判定检查结果。检查结果判定部137将获得的检查结果发送给检查结果登记部138。
检查结果登记部138将检查结果判定部137发送的检查结果进行输出，并将结束信号发送给路径生成部132。输出的检查结果被存储在主存储器140的规定区域。检查结果登记部138也可以将检查结果存储在主存储器140，并在显示装置110显示检查结果。
[F.检查路径生成处理]
参考图6及图7，详细地说明管理装置100的CPU130执行的检查路径生成处理(步骤S200，参考图4)。图6是检查路径生成处理的流程图。图7是表示执行检查路径生成处理时发挥作用的图像处理装置2的功能构成的一个例子的图。另外，图7中，相比图1及图3，记载工件W的形状时进行了简化。
通过CPU130执行检查路径生成处理，特定出工件W的配置状况，并根据特定出的工件W的配置状况，对工件W上设定的各测量点Wp特定出法线V。
如图4所示，检查路径生成处理(步骤S200)是在步骤S100中特定出对应工件序号的检查用信息1411之后，再执行。检查用信息1411例如按照工件序号存储到主存储器140中设置的储存部141。例如，作为检查用信息1411，将识别用CAD模型、以及按测量点序号(No.i)的测量点Wp的3D CAD上的坐标值(Xmi，Ymi，Zmi)、将大小作为规定值的法线向量(Nmi)、检查项目、及参考模型图像(Ii)存储到储存部141(参考图7)。测量点No.i(i＝1、2、···)表示测量顺序，路径生成部132以对No.i的测量点后面的No.(i+1)的测量点Wp执行检查的方式进行控制。
于此，所谓参考模型图像(Ii)，是测量点的基准图像，只要是二维相机310的光轴O、和No.i的测量点Wp的法线V一致时二维相机310的拍摄区域内包含的成为基准的图像即可。此外，参考模型图像(Ii)典型来说是用识别用CAD模型通过计算机图形(ComputerGraphics，CG)渲染(rendering)生成的。另外，参考模型图像(Ii)也可以用实际拍摄工件W的图像生成。
特定出工件W的检查用信息1411之后，在步骤S201中，CPU130向三维图像处理装置400发送特定出的检查用信息1411的识别用CAD模型。三维图像处理装置400将识别用CAD模型临时存储在图像处理引擎430的存储部432。另外，三维图像处理装置400也可以按工件序号预先存储识别用CAD模型。这种情况下，在步骤S201中，CPU130只将工件序号发送给三维图像处理装置400。
在步骤S202中，CPU130指示三维图像处理装置400特定出工件W的配置状况。
参考图7，说明三维图像处理装置400执行的工件W的配置状况的特定方法。三维图像处理装置400的特定部431接收特定出工件W的配置状况的指示，并指示拍摄控制部420获取三维图像。拍摄控制部420将获取的三维图像储存到图像处理引擎430的储存部433。特定部431在储存部433中存储的三维图像内，搜寻和存储部432存储的识别用CAD模型类似的图像区域。特定部431根据搜寻到的图像区域，算出三维图像内的工件W的位置(Xc3，Yc3，Zc3)和三维图像内的工件W的朝向(θxc3，θyc3，θzc3)。特定部431将算出的三维图像内的工件w的位置及朝向发送给管理装置100。
返回到图6，说明检查路径生成处理。CPU130从三维图像处理装置400接收工件W的位置及工件W的朝向相关的信息，在步骤S203中，特定出本地坐标系中的工件W的配置状况。具体来说，CPU130的功能构成所含的变换部139(参考图7)基于三维相机410的坐标值(Xw0，Yw0，Zw0)及预先规定坐标变换式，将相机坐标系的值(Xc3，Yc3，Zc3，θxc3，θyc3，θzc3)变换成本地坐标系的值(Xw，Yw，Zw，θxw，θyw，θzw)。由此，如图7所示，生成生产线L提供的工件W的检查路径WL。
在步骤S204中，CPU130通过决定法线V生成检查路径WL，并返回到检查处理。具体来说，路径生成部132(参考图7)基于本地坐标系的工件W的位置(Xw，Yw，Zw)及朝向(θxw，θyw，θzw)以及预先规定变换式，将储存部141储存的检查用信息1411之中、各测量点Wpi的坐标(Xmi，Ymi，Zmi)及法线向量(Nmi)变换成本地工件坐标系的坐标值(Xwi，Ywi，Zwi)及法线向量(Nwi)。通过算出本地坐标系的测量点Wp的坐标值及法线向量，决定法线V。此外，通过算出本地坐标系的测量点Wp的坐标值及法线向量，还生成检查路径WL。路径生成部132将储存部141的检查用信息1411更新到生成的检查路径的信息。路径生成部132将更新后的信息存储到主存储器140的第一存储部142(参考图9)。
以此方式，通过CPU130执行检查路径生成处理，三维图像处理装置400基于三维图像特定出工件W的配置状况。而且，通过CPU130执行检查路径生成处理，对工件W上设定的各测量点Wp算出世界坐标系的各测量点Wp的位置及法线向量。即，通过CPU130执行检查路径生成处理，根据特定出的工件W的配置状况，对工件W上设定的各测量点Wp决定法线V。
[G.法线修正处理1
参考图8及图9，详细地说明管理装置100的CPU130执行的法线修正处理(步骤S400，参考图4)。图8是法线修正处理的流程图。图9是表示执行法线修正处理时发挥作用的图像处理装置2的功能构成的一个例子的图。另外，图9中，相比图1及图3，记载工件W的形状时进行了简化。
在步骤S401中，CPU130向二维图像处理装置300发送参考模型图像。具体来说，路径生成部132从第一存储部142特定出在步骤S310决定的测量点Wp的参考模型图像，并通过二维相机接口183发送给二维图像处理装置300。二维图像处理装置300将参考模型图像临时存储在图像处理引擎330的存储部334。另外，二维图像处理装置300也可以按测量点预先存储参考模型图像。这种情况下，在步骤S401中，CPU130只将测量点序号发送给二维图像处理装置300。
在步骤S402中，CPU130根据第一存储部142存储的测量点Wp的位置及法线向量，决定二维相机310的位置及朝向。具体来说，路径生成部132从第一存储部142特定出在步骤S310中决定的测量点Wp的世界坐标系的坐标位置及法线向量。路径生成部132以特定出的法线向量和二维相机310的光轴O一致的方式，决定二维相机310的朝向。而且，路径生成部132以二维相机310位于测量点Wp的法线V上、且二维相机310和测量点Wp的距离变成预先规定的距离的方式，决定二维相机310的位置。于此，所谓预先规定的距离，是指根据二维相机310的焦距算出的距离，理论上是二维相机310的焦点对焦测量点的距离。
在步骤S403中，CPU130向机器人控制部200指示动作。具体来说，路径生成部132将决定的二维相机310的位置(Xw，Yw，Zw)及朝向(Nw)发送给位置决定部131。位置决定部131通过机器人接口182向机器人控制部200发送二维相机310的位置及朝向(参考图9)。
在步骤S404中，CPU130指示二维图像处理装置300特定出测量点Wp的法线。
参考图9，说明二维图像处理装置300执行的测量点Wp的法线的特定方法。二维图像处理装置300的特定部331接收对测量点Wp的法线进行特定的指示，指示拍摄控制部320获取二维图像。拍摄控制部320将获取的二维图像储存到图像处理引擎330的储存部335。
特定部331在储存部335存储的二维图像内，搜寻和存储部334存储的参考模型图像类似的图像区域。特定部331根据搜寻到的图像区域，算出二维图像内的测量点Wp的位置(Xc2，Yc2)和二维图像内的测量点Wp的朝向(θc2)。特定部331将算出的二维图像内的测量点Wp的位置及朝向，发送给管理装置100。
返回到图8，说明法线修正处理。CPU130从二维图像处理装置300接收测量点Wp的位置及测量点Wp的朝向相关的信息，在步骤S405中特定出本地坐标系的测量点Wp的位置及测量点Wp的法线向量。具体来说，CPU130的功能构成所含的变换部139(参考图9)基于位置决定部131发送给机器人控制部200的二维相机310的位置(Xw，Yw，Zw)及朝向(Nw)、以及预先规定的坐标变换式，将相机坐标系的值(Xc2，Yc2，θc2)变换成本地坐标系的值(Xw，Yw，Zw，Nw)。由此，特定出测量的测量点Wp的法线V(实测值)。
在步骤S406中，CPU130决定背离值。所谓背离值，是表示测量的测量点Wp的法线V(实测值)和决定的测量点的法线(指定值)偏差的值。于此，二维相机310的位置及朝向是以决定的测量点Wp的法线V(指定值)和二维相机310的光轴O一致的方式决定。由此，所谓背离值，也是表示测量的测量点Wp的法线V和二维相机310的光轴O的偏差的值。背离值例如用向量(ΔN)等表示。具体来说，法线修正部133的功能构成所含的背离值算出部1330(参考图9)根据二维相机310的位置及朝向、以及测量的测量点Wp的法线Wp的法线V(实测值)，算出背离值(ΔN)。于此，在第一实施方式中，所谓二维图像内的测量点Wp的朝向(θc2)是指以法线为轴的绕轴旋转角。因此，变换部139变换后的本地坐标系的测量点Wp的法线向量、和决定的测量点的法线向量一致。即，所谓测量点Wp的法线V(实测值)和决定的测量点的法线(指定值)的偏差，并非因法线向量不一致引起的偏差，而是因测量点Wp的位置坐标不一致引起的偏差。
在步骤S407中，CPU130判断背离值是否为预先规定的第一阈值以下。当背离值并非第一阈值以下时(步骤S407中的否)，CPU130将控制切换到步骤S408。
在步骤S408中，CPU130根据背离值算出修正量。具体来说，法线修正部133的功能构成所含的修正量算出部1332(参考图9)基于背离值(ΔN)决定二维相机310的移动修正量(ΔX，ΔY，ΔZ，Δθx，Δθy，Δθz)。由此，算出要使二维相机310的光轴O和测量的测量点Wp的法线V(实测值)一致所需的修正量。
在步骤S409中，CPU130根据修正量决定二维相机310的位置及朝向。具体来说，修正量算出部1332根据算出的修正量、步骤S403中由位置决定部131指示的二维相机310的位置及朝向，决定二维相机310的位置及朝向(Xw，Yw，Zw，Nw)。此时，法线修正部133的功能构成所含的更新部1331基于修正量对第一存储部142存储的测量点Wp的位置进行修正，并在修正后的测量点Wp的位置上更新第一存储部142的信息。由此，将测量的测量点Wp的法线V(实测值)作为决定的测量点Wp的法线V(指示值)存储到第一存储部142。
CPU130重复进行步骤S403至步骤S409，直到背离值变成第一阈值以下(步骤S407中的是)。当背离值为第一阈值以下时(步骤S407中的是)，CPU130将控制切换到步骤S410。
CPU130在步骤S410中决定修正后的测量点Wp的法线V。具体来说，将步骤S409由更新部1331更新后的第一存储部142的信息，作为修正后的测量点Wp的位置及法线向量进行决定。
以此方式，图像处理系统SYS的图像处理装置2所含的特定部431在三维相机410拍摄的三维图像内，搜寻和存储部432存储的识别用CAD模型类似的图像区域。图像处理系统SYS的图像处理装置2所含的路径生成部132将从特定部431搜寻到的图像区域获得的信息、以及储存部141储存的3D CAD上的各测量点Wp的坐标(Xmi，Ymi，Zmi)及法线向量(Nmi)，变换成本地工件坐标系的坐标值(Xwi，Ywi，Zwi)及法线向量(Nwi)。由此，特定部431决定工件W上设定的各测量点Wp的法线V。
进而，图像处理系统SYS中，特定部331在特定部431决定的法线V上定位二维相机310的状态下由二维相机310拍摄的二维图像内，搜寻和存储部334存储的参考模型图像类似的图像区域。图像处理系统SYS的图像处理装置2所含的法线修正部133基于从特定部331搜寻到的图像区域获得的信息，对特定部431决定的法线V进行修正而决定法线V。
即，第一实施方式涉及的图像处理系统SYS中，是基于从三维图像获得的信息决定工件W上设定的各测量点Wp的法线V之后，再基于从二维图像获得的信息进行修正。即，可以基于从二维图像获得的信息，对因机器人210的控制误差产生的二维相机310的光轴O和测量点Wp的法线V的偏差进行修正。而且，可以基于从二维图像获得的信息，对因工件W的CAD模型和生产线L提供的工件W的误差产生的二维相机310的光轴O和测量点Wp的法线V的偏差进行修正。因此，通过使用第一实施方式涉及的图像处理系统SYS，可以更准确地调整二维相机310和工件W的位置关系。
另外，在第一实施方式中，所谓二维图像内的测量点Wp的朝向(θc2)，是指以法线为轴的绕轴旋转角。但是，二维图像处理装置300也可以搜寻和参考模型图像类似的图像区域，根据搜寻到的图像区域内的图像的变形，求出测量点Wp所处平面和工件W的设置面的角度。这种情况下，CPU130还可以检测法线向量的偏差。
[H.焦点调整处理]
参考图10及图11，详细地说明管理装置100的CPU130执行的焦点位置调整处理(步骤S500，参考图4)。图10是焦点位置调整处理的流程图。图11是表示执行焦点位置调整处理时发挥作用的图像处理装置2的功能构成的一个例子的图。另外，在图11中，相比图1及图3，记载工件W的形状时进行了简化。
在步骤S501中，CPU130生成让二维相机310移动的轨道。具体来说，法线轨道生成部134在法线修正处理(步骤S400)中决定的修正后的法线V和二维相机310的光轴O一致的状态下，生成改变二维相机310和测量点Wp的距离的二维相机310的法线轨道(Xw(t)，Yw(t)，Zw(t)，Nw)。
在步骤S502中，CPU130决定二维相机310的移动范围。移动范围是先决定初始值，再通过重复进行步骤S502～步骤S506慢慢地变化。具体来说，根据步骤S505中获得的聚焦度a和二维相机310的位置的关系，以二维相机310在聚焦度a增加的方向上移动的方式决定移动范围。
在步骤S503中，CPU130指示机器人控制部200移动二维相机310。具体来说，CPU130指示机器人控制部200让二维相机310在步骤S502决定的移动范围内，沿着步骤S501的轨道上以固定速度移动。于此，二维相机310的移动速度是一次拍摄所需时间内移动的距离为二维相机310的焦点深度以下的速度。
在步骤S504中，CPU130指示二维图像处理装置300算出聚焦度a。具体来说，CPU130指示二维图像处理装置300根据二维图像算出二维相机310的聚焦度a，所述二维图像是在二维相机310在步骤S503中CPU130向机器人控制部200指示的移动范围内移动的第一期间内，由二维相机310拍摄的。
参考图11，说明二维图像处理装置300执行的聚焦度a的算出方法。二维图像处理装置300的聚焦度算出部332接收聚焦度a的算出指示，指示拍摄控制部320获取在第一期间内拍摄的二维图像。拍摄控制部320将获取的二维图像储存在图像处理引擎330的储存部335。聚焦度算出部332对二维图像执行规定的图像处理，用于算出储存部335存储的二维图像的聚焦度a。例如，也可以将二维图像的浓度偏差作为聚焦度a相关的特征量，算出浓度偏差作为聚焦度a。聚焦度算出部332将算出的聚焦度a、和二维相机310拍摄所述二维图像的时间t的关系a(t)，发送给焦点位置决定部135。
返回到图10，说明焦点调整处理。CPU130从二维图像处理装置300接收聚焦度a和二维相机310拍摄所述二维图像的时间t的关系a(t)，在步骤S505中，对聚焦度a和二维相机310的位置的关系进行存储。具体来说，CPU130根据步骤S503中指示的二维相机310的移动范围等，特定出拍摄时间t的二维相机310的位置。将特定出的二维相机310的位置(Xw(t)，Yw(t)，Zw(t))和聚焦度a(t)的关系，存储到第二存储部143。
在步骤S506中，CPU130判断聚焦度a在移动范围内是否取得极值。当聚焦度a在移动范围内未取得极值时(步骤S506中的否)，CPU130重复进行步骤S502～步骤S506，直到聚焦度a在移动范围内取得极值。于此，CPU130在步骤S502中决定移动范围时，通过将二维相机310的起点位置设为与工件W隔开的位置、或者工件W的附近，来搜寻聚焦度a取得极值的位置。另外，将二维相机310的起点位置设定为靠近工件W的位置时，要设定比如工件W不和二维相机310及机器人210接触的位置。
当聚焦度a在移动范围内取得极值时(步骤S506中的是)，CPU130将控制切换步骤S507。
在步骤S507中，将聚焦度a取得极值的位置决定为焦点位置，并返回到检查处理。具体来说，焦点位置决定部135将对存储部存储的聚焦度a之中最高聚焦度amax的二维图像进行拍摄时的二维相机310的位置，决定为焦点位置(Xw，Yw，Zw)(参考图11)。
以此方式，通过CPU130执行焦点调整处理，执行在决定的法线V上使二维相机310的焦点对焦测量点Wp的处理。
[I.检查执行处理]
参考图12～图14C，详细地说明管理装置100的CPU130执行的检查执行处理(步骤S600，参考图4)。图12是检查执行处理的流程图。图13是表示执行检查执行处理时发挥作用的图像处理装置2的功能构成的一个例子的图。图14A、图14B、图14C是表示二维相机310的圆弧轨道的一个例子的图。另外，图13中，相比图1及图3，记载工件W的形状时进行了简化。
在步骤S601中，CPU130特定出测量点的检查项目。具体来说，CPU130基于第一存储部142存储的测量点Wp和检查项目的对应关系，特定出检查项目。
在步骤S602中，CPU130判断检查项目是否为检查A。于此，所谓检查A，是指工件W表面是否准确印字等检查结果会根据二维相机310的拍摄方向不同而改变的检查。当检查项目是检查A时(步骤S602中的是)，CPU130将控制切换到步骤S615。
在步骤S615中，CPU130在焦点位置执行检查。具体来说，检查结果判定部137在焦点位置调整处理(步骤S500)中决定的焦点位置执行检查A。
当检查项目并非检查A时(步骤S602中的否)，CPU130在步骤S603中生成以焦点位置为中心的圆弧轨道。具体来说，圆弧轨道生成部136以在保持焦点位置决定部135决定的二维相机310的位置和测量点Wp的距离的状态下，测量点Wp的法线V和二维相机310的光轴O所成角度从0变化到预先规定值的方式，生成圆弧轨道(Xw(t)，Yw(t)，Zw(t)，Nw(t))。于此，使用图14A、图14B、图14C来说明圆弧轨道。如图14A所示，圆弧轨道生成部136以二维相机310位于球的表面上的方式生成圆弧轨道，所述球以焦点位置决定部135决定的二维相机310的位置C和测量点Wp的距离作为半径r。如图14B所示，圆弧轨道也可以是：将二维相机310的光轴O和法线V的角度固定地绕测量点Wp一周后，改变角度再绕一周，重复以上动作得到的轨道。此外，如图14C所示，圆弧轨道还可以是：一边缓缓改变二维相机310的光轴O和法线V的角度，一边绕测量点Wp周围螺旋状移动而得到的轨道。
返回到图12，说明检查执行处理。在步骤S604中，CPU130决定二维相机310的移动范围。移动范围是例如绕测量点Wp周围至少一周的范围。
在步骤S605中，CPU130指示机器人控制部200移动二维相机310。具体来说，CPU130指示机器人控制部200使二维相机310在步骤S604决定的移动范围内沿着步骤S601的轨道上以固定速度移动。
在步骤S606中，CPU130指示二维图像处理装置300算出和检查内容对应的特征量b。具体来说，CPU130指示二维图像处理装置300，根据在步骤S605中二维相机310在CPU130向机器人控制部200指示的移动范围内移动的第二期间内由二维相机310拍摄的二维图像，算出按各检查内容预先规定的特征量b。
参考图13，对二维图像处理装置300执行的特征量b的算出方法进行说明。二维图像处理装置300的特征量算出部333接收特征量b的算出指示，指示拍摄控制部320获取在第二期间内拍摄的二维图像。拍摄控制部320将获取的二维图像存储在图像处理引擎330的储存部335。特征量算出部333对二维图像执行规定的图像处理，用于算出储存部335存储的二维图像的特征量b。特征量算出部333将算出的特征量b和二维相机310拍摄所述二维图像的时间t的关系b(t)，发送给检查结果判定部137。
特征量b是在外观检查中用于判断外观是否异常的指标量。例如，比如对外观施加了条纹样式等特定图案的工件W执行伤痕检查时，特征量算出部333在对二维图像执行用于去除特定图案的处理之后，会执行用于特定出表现出缺陷的区域的标记处理。由此，特征量算出部333将缺陷面积或缺陷长度作为特征量b算出。另外，也可以用其他方法来算出特征量b。
例如，特征量算出部333也可以将二维图像分割成多个区域，根据相邻区域之间的色差算出缺陷度，并执行标记处理，由此特定出缺陷度为规定值以上的区域，根据所述区域算出缺陷面积或缺陷长度作为特征量b。该方法典型来说是以检测细微伤痕为目的时使用的方法。
另外，特征量算出部333还可以使用以下方法来算出特征量b。特征量算出部333对二维图像执行公知的边缘抽取处理之后，进行公知的膨胀处理。特征量算出部333在膨胀处理后执行用于特定出表现出缺陷的区域的标记处理，由此算出缺陷面积或缺陷长度作为特征量b。该方法典型来说是以检测打痕、凹陷等为目的时使用的方法。
另外，算出特征量b的方法只要是用于抽取在外观检查中作为判断外观是否异常的指标的量的方法，则并不限定于以上公开的方法。
返回到图12，对检查执行处理进行说明。CPU130从二维图像处理装置300接收特征量b和二维相机310拍摄所述二维图像的时间t的关系b(t)，在步骤S607中，存储特征量b和二维相机310的位置的关系。具体来说，CPU130根据在步骤S505中指示的二维相机310的移动范围等，特定出拍摄时间t的二维相机310的位置及朝向。将特定出的二维相机310的位置及朝向(Xw(t)，Yw(t)，Zw(t)，Nw(t))和聚焦度a(t)的关系存储到第三存储部144。
在步骤S608中，CPU130判断特征量b是否为增加的方向。具体来说，CPU130特定出移动范围内的特征量b的最大值和最小值，并基于最大值和最小值的差是否为第三阈值以上来判断特征量b是否为增加的方向。CPU130在最大值和最小值的差为第三阈值以上时，将从最小值的位置朝向最大值的位置的方向设为增加方向，判断特征量b为增加的方向。
在特征量b并非增加的方向时(步骤S608中的否)，CPU130将控制切换到步骤S616。
在特征量b为增加的方向时(步骤S609中的是)，CPU130在步骤S609中生成朝向特征量b增加的方向的轨道。具体来说，CPU130根据第三存储部144存储的二维相机310的位置及朝向的信息、以及特征量b，决定特征量b增加的方向，生成朝向所述方向的轨道。
在步骤S610中，CPU130决定二维相机310的移动范围。具体来说，CPU130在特征量b的增加方向上决定移动范围。
在步骤S611中，CPU130指示机器人控制部200移动二维相机310。具体来说，CPU130指示机器人控制部200使二维相机310在步骤S610中决定的移动范围内沿着步骤S609的轨道上以固定速度移动。
在步骤S612中，CPU130指示二维图像处理装置300算出和检查内容对应的特征量b。
在步骤S613中，CPU130对特征量b和二维相机310的位置的关系进行存储。
在步骤S614中，CPU130将判断移动范围是否为极限值。具体来说，CPU130判断是否能在增加方向上移动二维相机310。是否能在增加方向上移动二维相机310，是由位置决定部131根据二维相机310或/和机器人210是否不和工件W碰触、或者是否为机器人210的运转极限来决定。当移动范围并非极限值时(步骤S614中的否)，CPU130重复进行步骤S609～步骤S614，直到移动范围变成极限值。
当移动范围是极限值时(步骤S614的是)，且特征量b并非增加的方向时(步骤S608的否)，在焦点位置执行检查之后(执行步骤S615后)，CPU130在步骤S616中发送检查数据。具体来说，CPU130向检查结果登记部138发送检查结果进行登记。CPU130在特征量b并非增加的方向时(步骤S608中的否)，算出第三存储部144存储的特征量b的最大值，并判断算出的最大值是否为规定值以下。当算出的最大值为规定值以下时，CPU130判断无异常，作为检查结果登记无异常(图13中的圆形标记)。当算出的最大值高于规定值时，CPU130判定有异常，作为检查结果登记有异常((图13中的叉形标记)。CPU130在移动范围为极限值时(步骤S614中的是)，特定出第三存储部144存储的特征量b中的最高特征量bmax(参考图13)，判定特征量bmax是否为规定值以下。当特征量bmax为规定值以下时，CPU130判定无异常，对检查结果进行登记。当特征量bmax高于规定值时，CPU130判定有异常，对检查结果进行登记。在焦点位置执行检查之后(执行步骤S615后)，CPU130对焦点位置的检查结果进行登记。例如，检查结果判定部137指示二维图像处理装置300算出在焦点位置获得的二维图像和成为基准的二维图像的匹配程度，并根据获得的匹配程度，判定是否有异常。
以此方式，在第一实施方式涉及的图像处理系统SYS中，圆弧轨道生成部136生成比如在保持二维相机310和测量点Wp之间的距离的状态下使测量点Wp的法线V和二维相机310的光轴O所成角度从0变化到预先规定值的圆弧轨道上。CPU130指示机器人控制部200使二维相机310在圆弧轨道生成部136生成的圆弧轨道上移动。此外，检查结果判定部137基于与法线V和光轴O所成角度的变化相应的特征量b的变化，决定二维相机310的移动范围。即，检查结果判定部137基于与法线V和光轴O所成角度的变化相应的特征量b的变化，决定二维相机310和工件W的相对位置关系。
检查结果判定部137是基于特征量b决定二维相机310和工件W的位置关系，因此算出特征量b之后就能在最佳的位置上执行检查。即，通过使用本实施方式涉及的图像处理系统SYS，可以在不容易因光照射工件W的状况而产生光晕的位置上执行检查。另外，本实施方式的特征量b还可以是聚焦度算出部332算出的作为聚焦度a的浓度偏差。即，也可以将特征量算出部333和聚焦度算出部332设为一体。
[J.使用输入装置的检查路径的登记方法]
参考图15A、图15B，对使用输入装置的检查路径WL的登记方法进行说明。图15A、图15B是表示用户使用输入装置120输入检查路径WL时的处理的一个例子的图。图15A是用户使用输入装置120输入路径时，显示在显示装置110上的画面的一个例子。图15B是用于对法线向量的作成方法进行说明的图。
如图15A所示，用户将光标放置在显示装置110显示的工件的3D CAD模型上，选择测量点和所述检查部位要检查的项目。选择了测量点后，用图15B所示的方法作成测量点的法线。管理装置100的CPU130基于工件的3D CAD数据作成法线向量。具体来说，CPU130特定出测量点Wp2所处的P1(x1，y1，z1)、P2(x2，y2，z2)及P3(x3，y3，z3)围成的微小平面。CPU130基于特定出的微小平面，算出和所述微小平面垂直的向量作为法线向量Nm2。
CPU130将用户通过输入装置120登记的信息登记到储存部141。由此，将检查用信息1411存储到储存部141。
以此方式，第一实施方式的图像处理系统SYS的图像处理装置2将作为工件W的设计信息的工件的3D CAD模型显示在显示装置110上，并根据用户操作设定测量点Wp。因此，在第一实施方式的图像处理系统SYS中，测量点Wp的设定自由度高。
此外，第一实施方式的图像处理系统SYS的图像处理装置2可以对根据用户操作设定的各测量点Wp算出法线V。因此，用户只要设定测量点Wp并指示开始检查，便可执行准确的检查，用户利用图像处理系统SYS的便利性提升。
<第二实施方式>
在第一实施方式中，决定工件W的各测量点Wp的法线时，管理装置100对基于三维图像生成路径时决定的、进而基于二维图像对各测量点Wp决定的法线V进行修正。不过，也可以不使用二维相机310。具体来说，通过参考图6及图7说明的路径生成处理，将各测量点的3D CAD上的各测量点Wp的坐标位置及各测量点Wp的法线向量变化成本地坐标系，算出本地坐标系的测量点Wp的坐标位置及各测量点Wp的法线向量，由此也可以决定测量点Wp的法线V。这种情况下，管理装置100不执行图8所示的法线修正处理(步骤S400)，而执行焦点位置调整处理(步骤S500)。
例如，也可以代替第一实施方式的路径生成处理(步骤S200)及法线修正处理(步骤S400)，而执行图16所示的法线决定处理(步骤S400A)。图16是第二实施方式涉及的法线决定处理的流程图。
在步骤S401A中，CPU130向三维图像处理装置400发送特定出的检查用信息1411的识别用CAD模型。
在步骤S402A中，CPU130指示三维图像处理装置400特定出工件W的配置状况。
在步骤S403A中，CPU130特定出本地坐标系的工件W的配置状况。
在步骤S404A中，CPU130决定各测量点Wp的法线V。具体来说，CPU130基于本地坐标系的工件W的位置(Xw，Yw，Zw)及朝向(θxw，θyw，θzw)以及预先规定变换式，将储存部141储存的检查信息之中、各测量点Wp的坐标(Xmi、Ymi、Zmi)及法线向量(Nmi)，变换成本地工件坐标系的坐标值(Xwi，Ywi，Zwi)及法线向量(Nwi)，决定各测量点Wp的法线V。路径生成部132将储存部141的检查用信息1411更新成本地坐标系的坐标值及法线向量，并存储到第一存储部142(参考图9)。
于此，在第二实施方式的焦点调整处理的步骤S501中，基于通过步骤S404A决定的法线V而生成二维相机310的轨道。
以此方式，第二实施方式涉及的图像处理系统SYS的图像处理装置2所含的特定部431在三维相机410拍摄的三维图像内，搜寻和存储部432存储的识别用CAD模型类似的图像区域。图像处理系统SYS的图像处理装置2所含的路径生成部132将根据特定部431搜寻的图像区域获得的信息、和储存部141储存的3D CAD上的各测量点的坐标(Xmi，Ymi，Zmi)及法线向量(Nmi)，变换成本地工件坐标系的坐标值(Xwi，Ywi，Zwi)及法线向量(Nwi)。由此，决定工件W上设定的各测量点Wp的法线V。即，在图像处理系统SYS中，进行一次拍摄就能决定工件W上设定的各测量点Wp的法线V，从而可以快速地决定法线V。
<第三实施方式>
在第一及第二实施方式中，机器人210是通过移动二维相机310的位置来改变二维相机310和工件W的距离。但，如图17所示，机器人210也可以通过移动工件W的位置来变更二维相机310和工件W的距离。图17是表示第三实施方式涉及的图像处理系统的构成的示意图。机器人210典型来说是SCARA型机器人，可以在世界坐标系的X，Y，Z方向(图17所示的坐标轴)上移动工件W。由此，可以使二维相机310和工件W的测量点的法线一致，而对焦二维相机310的焦点。
另外，在图17中，列举了SCARA型机器人为例，但当工件W足够小时，还可以构成为利用机械臂型机器人，不仅能变更工件W的位置，还能改变姿势。而且，当工件W足够小时，和移动二维相机310的情况相比，由于机器人210的动作范围变小，所以能快速地移动。
<变形例>
[检查用的相机]
第一实施方式～第三实施方式中，外观检查用相机是二维相机310。另外，也可以使用变位传感器来代替二维相机310。变位传感器包含光切断传感器、超音波变位传感器等。和使用二维相机的情况相比，使用变位传感器能检测细微的缺陷。
[照明装置]
在第一实施方式～第三实施方式中，图像处理系统SYS通过使二维相机310沿着圆弧轨道移动，而在不容易产生光晕的位置上执行检查。另外，也可以不变更二维相机310的位置，而是变更对工件W照射光的照明装置(未图示)的位置或/和朝向，而在不容易产生光晕的状况下执行检查。即，圆弧轨道生成部136也可以不生成使二维相机310的位置及朝向变化的轨道，而是生成用于变更照明装置的位置或/和朝向的轨道。
[二维相机的定位方法]
在第一实施方式～第三实施方式中，对执行检查时的二维相机310的位置进行决定的方法是，在对焦之后根据检查内容改变法线V和光轴O所成角度，由此在执行检查时决定最佳的位置作为二维相机310的位置。不过，也可以一边对焦一边根据检查内容改变法线V和光轴O所成角度，由此决定最佳的位置作为二维相机310的位置。具体来说，也可以沿着法线轨道上稍微移动二维相机310，在移动后的位置上改变法线V和光轴O所成角度。图像处理装置2也可以算出表示二维图像和参考模型图像的匹配程度的特征量，基于所述特征量，从法线V和光轴O所成角度中决定出作为二维相机310的朝向的角度。之后，图像处理装置2也可以在保持决定的二维相机310的朝向的状态下，改变工件W和二维相机310之间的距离，并根据表示二维图像和参考模型图像的匹配程度的特征量，来决定距离。
此外，在第一实施方式中，是使用二维相机和三维相机来进行二维相机的定位。而且，在第二实施方式中，只使用三维相机进行检查用二维相机的定位。也可以只使用二维相机来决定工件W上设定的各测量点Wp的各法线V。
[关于基准线]
在本实施方式中，所谓基准线是指作为和测量点Wp所处的微小平面垂直的垂线的垂线。不过，基准线也可以由用户设定。例如，基准线可以是以位于拍摄区域内的工件尽可能位于二维相机310的景深内的方式对二维相机310的朝向进行设定时的基准线。
图18A、图18B、图18C是表示基准线的变形例的示意图。基准线例如也可以基于工件W的材质和照射光的入射方向来设定。例如，图18A的基准线V1是为了在照明光沿着二维相机310的光轴照射，且工件W的表面材质是正反射材质的情况下，在不入射正反射光的位置上配置相机而设定的。具体来说，基准线V1是穿过测量点Wp1的线，以使垂线倾斜的方式设定。这样，就能考虑入射至包含测量点Wp1的测量区域并从此测量区域反射的光的方向，来配置二维相机310。
此外，基准线也可以基于包含测量点Wp的测量区域的工件W的表面形状来设定。例如，图18A的基准线V2、基准线V3、图18B的基准线V5、以及图18C的基准线V6分别是以测量点Wp(即测量点Wp2、测量点Wp3、测量点Wp5、测量点Wp6)附近由多个面构成的情况下，多个面分别包含在二维相机310的拍摄视野内的方式设定。像这样，即使工件W的表面形状复杂时，也能考虑其形状来配置二维相机310。
另外，图18B的基准线V4是为了将设定着测量点Wp4的区域包含在拍摄视野内而设定的。具体来说，基准线V5是以避开作为障碍物的工件W的表面上的凹凸的方式设定的。像这样，即使工件W的表面有凹凸，也能防止此凹凸挡住视野的状况。
这些基准线可以在使用图15说明的登记检查路径WL的一系列处理中由图像处理装置2算出，还可以由用户将测量点Wp设定为基准。此外，还可以构成为，图像处理装置2算出之后，用户可进行微调整。
应该考虑到此次公开的实施方式的所有内容均为例示而非限制。本发明的范围并非由所述说明表示，而是由权利要求表示，且意图包含和权利要求均等的含义及范围内的所有变更。

Claims (10)

1.一种图像处理系统，使用工件外观图像，对所述工件上预先设定的一个或多个测量点进行图像测量，其特征在于，包括：
第一拍摄部，对所述外观图像进行拍摄；
机器人，改变所述第一拍摄部和所述工件的相对位置关系；
基准线特定部，基于拍摄所述工件所得的信息，特定出所述工件的配置状况，并根据所述特定出的工件的配置状况，特定出所述工件上设定的各测量点的基准线；
距离调整部，在所述特定出的基准线上定位所述第一拍摄部，并在所述第一拍摄部的光轴和所述特定出的基准线一致的状态下，向所述机器人发出指令，以改变所述第一拍摄部和所述工件之间的距离；
第一特征量算出部，基于所述第一拍摄部拍摄的外观图像，算出所述第一拍摄部的聚焦度相关的第一特征量；以及
距离决定部，基于所述第一特征量的变化，决定所述第一拍摄部和所述工件之间的距离，以对所述测量点进行图像测量，所述第一特征量的变化和所述第一拍摄部与所述工件之间的距离的变化相应。
2.根据权利要求1所述的图像处理系统，其特征在于，还包括：
第二拍摄部，以视野范围包含所述工件及所述机器人的至少一部分范围的方式配置，对所述视野范围内存在的被摄体的三维图像进行拍摄；以及
存储部，储存对基准线方向进行规定的信息，所述基准线方向和所述一个或多个测量点的各个关联；且
所述基准线特定部包含：
第一搜寻部，在所述三维图像内搜寻和所述工件的形状信息一致的部分；以及
基准线决定部，基于所述第一搜寻部搜寻的部分的信息、和所述存储部储存的对基准线方向进行规定的信息，决定各测量点的基准线。
3.根据权利要求2所述的图像处理系统，其特征在于，所述基准线特定部还包含：
第二搜寻部，针对在所述基准线决定部决定的基准线上已定位所述第一拍摄部的状态下由所述第一拍摄部拍摄的图像，搜寻和对应测量点的基准图像一致的部分；以及
修正部，基于所述第二搜寻部搜寻的部分的信息，对所述基准线决定部决定的基准线进行修正。
4.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，还包括：
位置调整部，在保持所述第一拍摄部和所述工件之间的距离的状态下，向所述机器人发出指令，使所述特定出的基准线和所述第一拍摄部的光轴所成角度从0变化到预先规定值；以及
位置决定部，基于和所述角度的变化相应的所述第一特征量的变化，决定所述第一拍摄部和所述工件的相对位置关系，以对所述测量点进行图像测量。
5.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，还包括：
第二特征量算出部，基于所述第一拍摄部拍摄的外观图像，算出和预先设定的检测对象部位相关的第二特征量；以及
图像测量部，基于所述第二特征量，判断在对象测量点或所述测量点附近有无所述检测对象部位，所述第二特征量是在将所述第一拍摄部和所述工件之间定位成所述距离决定部决定的距离的状态下算出的。
6.根据权利要求5所述的图像处理系统，其特征在于，若所述图像测量部对所述检测对象部位的有无判断完成，则所述基准线特定部向所述机器人发出指令，用于使所述第一拍摄部定位到下一测量点。
7.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，还包括测量点设定受理部，所述测量点设定受理部显示所述工件的设计信息，并根据用户对所述显示的设计信息的操作，设定所述一个或多个测量点。
8.根据权利要求7所述的图像处理系统，其特征在于，还包括基准线算出部，所述基准线算出部针对所述测量点设定受理部设定的各测量点，基于所述工件的设计信息算出各测量点的表面形状，并基于算出的表面形状，算出各测量点的基准线。
9.一种图像处理装置，用于使用工件的外观图像，对所述工件上预先设定的一个或多个测量点进行图像测量，其特征在于，包括：
接口，从拍摄所述外观图像的第一拍摄部，接收外观图像相关的信息；
接口，用于和机器人进行通讯，所述机器人改变所述工件和所述第一拍摄部的相对位置关系；
基准线特定部，基于拍摄所述工件所得的信息，特定出所述工件的配置状况，并根据所述特定出的工件的配置状况，对所述工件上设定的各测量点特定出基准线；
距离调整部，在所述特定出的基准线上定位所述第一拍摄部，并在所述第一拍摄部的光轴和所述特定出的基准线一致的状态下，向所述机器人发出指令，改变所述第一拍摄部和所述工件之间的距离；
第一特征量算出部，基于所述第一拍摄部拍摄的外观图像，算出所述第一拍摄部的聚焦度相关的第一特征量；以及
距离决定部，基于与所述第一拍摄部和所述工件之间的距离的变化相应的所述第一特征量的变化，决定所述第一拍摄部和所述工件之间的距离，以对所述测量点进行图像测量。
10.一种计算机可读存储介质，包括图像处理程序，用于使用工件的外观图像，对所述工件上预先设定的一个或多个测量点进行图像测量，其特征在于，
所述图像处理程序使计算机执行以下步骤：
使用第一拍摄部对所述工件进行拍摄；
基于拍摄所述工件所得的信息，特定出所述工件的配置状况；
根据所述特定出的工件的配置状况，对所述工件上设定的各测量点特定出基准线；
在所述特定出的基准线上定位所述第一拍摄部；
在所述第一拍摄部的光轴和所述特定出的基准线一致的状态下，向机器人发出指令以改变所述第一拍摄部和所述工件之间的距离，所述机器人改变所述第一拍摄部和所述工件的相对位置关系；
基于所述第一拍摄部拍摄的外观图像，算出所述第一拍摄部的聚焦度相关的第一特征量；以及
基于与所述第一拍摄部和所述工件之间的距离的变化相应的所述第一特征量的变化，决定所述第一拍摄部和所述工件之间的距离，以对所述测量点进行图像测量。
CN201810357326.8A 2017-05-17 2018-04-19 图像处理系统、图像处理装置及计算机可读存储介质 Active CN108965690B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017098361 2017-05-17
JP2017-098361 2017-05-17
JP2018061951A JP6973233B2 (ja) 2017-05-17 2018-03-28 画像処理システム、画像処理装置および画像処理プログラム
JP2018-061951 2018-03-28

Publications (2)

Publication Number Publication Date
CN108965690A true CN108965690A (zh) 2018-12-07
CN108965690B CN108965690B (zh) 2021-02-26

Family

ID=64272189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810357326.8A Active CN108965690B (zh) 2017-05-17 2018-04-19 图像处理系统、图像处理装置及计算机可读存储介质

Country Status (3)

Country Link
US (1) US10805546B2 (zh)
CN (1) CN108965690B (zh)
DE (1) DE102018109774B4 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196337A (zh) * 2019-01-09 2021-07-30 株式会社富士 图像处理装置、作业机器人、基板检查装置及检体检查装置
WO2021185220A1 (zh) * 2020-03-16 2021-09-23 左忠斌 一种基于坐标测量的三维模型构建及测量方法
CN114786888A (zh) * 2020-01-16 2022-07-22 欧姆龙株式会社 控制装置、控制方法以及控制程序
CN115589531A (zh) * 2022-09-13 2023-01-10 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6693981B2 (ja) * 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
US11312020B2 (en) * 2018-11-20 2022-04-26 Beijing Jingdong Shangke Information Technology Co System and method for fast object detection in robot picking
JP6878391B2 (ja) * 2018-12-18 2021-05-26 ファナック株式会社 ロボットシステムとその調整方法
CN112797897B (zh) * 2019-04-15 2022-12-06 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
FR3095606B1 (fr) * 2019-05-03 2021-12-24 I Mc Procédé et dispositif pour le contrôle d’une pièce en cours de fabrication
JP7391571B2 (ja) * 2019-08-28 2023-12-05 キヤノン株式会社 電子機器、その制御方法、プログラム、および記憶媒体
DE102019127250B3 (de) * 2019-10-10 2020-12-03 Franka Emika Gmbh Verifikation einer Vorwärtskinematik eines Robotermanipulators
CN110962128B (zh) * 2019-12-11 2021-06-29 南方电网电力科技股份有限公司 一种变电站巡检布点方法及巡检机器人控制方法
JP7310750B2 (ja) * 2020-08-07 2023-07-19 トヨタ自動車株式会社 色味補正システム及び色味補正方法
US20220176564A1 (en) 2020-12-04 2022-06-09 GM Global Technology Operations LLC Accurate position control for fixtureless assembly

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021489A (zh) * 2006-02-15 2007-08-22 奥林巴斯株式会社 外观检查装置
CN101034070A (zh) * 2006-03-10 2007-09-12 欧姆龙株式会社 表面状态的检查方法以及表面状态检查装置
US20090234502A1 (en) * 2008-03-12 2009-09-17 Denso Wave Incorporated Apparatus for determining pickup pose of robot arm with camera
JP2011136377A (ja) * 2009-12-25 2011-07-14 Ihi Corp ロボット制御装置及び方法
US20150262346A1 (en) * 2012-10-18 2015-09-17 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
US20160267668A1 (en) * 2015-03-13 2016-09-15 Canon Kabushiki Kaisha Measurement apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
US5400638A (en) 1992-01-14 1995-03-28 Korea Institute Of Science And Technology Calibration system for compensation of arm length variation of an industrial robot due to peripheral temperature change
JP3666108B2 (ja) 1995-03-16 2005-06-29 株式会社デンソー 外観検査装置
JP4227863B2 (ja) 2003-08-04 2009-02-18 株式会社デンソー 視覚検査装置の教示装置及び教示方法
DE102005022344B4 (de) 2005-05-13 2008-06-19 Siemens Ag Vorrichtung und Verfahren zur Werkstückeinmessung
JP2009269134A (ja) 2008-05-08 2009-11-19 Denso Wave Inc 視覚検査装置のシミュレーション装置
JP6004809B2 (ja) 2012-03-13 2016-10-12 キヤノン株式会社 位置姿勢推定装置、情報処理装置、情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021489A (zh) * 2006-02-15 2007-08-22 奥林巴斯株式会社 外观检查装置
CN101034070A (zh) * 2006-03-10 2007-09-12 欧姆龙株式会社 表面状态的检查方法以及表面状态检查装置
US20090234502A1 (en) * 2008-03-12 2009-09-17 Denso Wave Incorporated Apparatus for determining pickup pose of robot arm with camera
JP2011136377A (ja) * 2009-12-25 2011-07-14 Ihi Corp ロボット制御装置及び方法
US20150262346A1 (en) * 2012-10-18 2015-09-17 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
US20160267668A1 (en) * 2015-03-13 2016-09-15 Canon Kabushiki Kaisha Measurement apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196337A (zh) * 2019-01-09 2021-07-30 株式会社富士 图像处理装置、作业机器人、基板检查装置及检体检查装置
CN113196337B (zh) * 2019-01-09 2023-08-29 株式会社富士 图像处理装置、作业机器人、基板检查装置及检体检查装置
CN114786888A (zh) * 2020-01-16 2022-07-22 欧姆龙株式会社 控制装置、控制方法以及控制程序
US12109686B2 (en) 2020-01-16 2024-10-08 Omron Corporation Control apparatus, control method, and computer-readable storage medium storing a control program
WO2021185220A1 (zh) * 2020-03-16 2021-09-23 左忠斌 一种基于坐标测量的三维模型构建及测量方法
CN115589531A (zh) * 2022-09-13 2023-01-10 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质
CN115589531B (zh) * 2022-09-13 2023-10-20 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质

Also Published As

Publication number Publication date
DE102018109774B4 (de) 2019-06-13
DE102018109774A1 (de) 2018-11-22
US10805546B2 (en) 2020-10-13
US20180338090A1 (en) 2018-11-22
CN108965690B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN108965690A (zh) 图像处理系统、图像处理装置及计算机可读存储介质
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP4226550B2 (ja) 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
JP6323993B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
CN112161619B (zh) 位姿检测方法、三维扫描路径规划方法和检测系统
US20170160077A1 (en) Method of inspecting an object with a vision probe
JP2017062262A (ja) 対象物の３次元座標を決定するための、および工業用ロボットを較正するための装置および方法
US20020164067A1 (en) Nearest neighbor edge selection from feature tracking
JP5030953B2 (ja) 第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体
ES2894935T3 (es) Aparato de medición de distancias tridimensionales y procedimiento para el mismo
JP6453908B2 (ja) ４カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法
Hosseininaveh et al. Towards fully automatic reliable 3D acquisition: From designing imaging network to a complete and accurate point cloud
JP2021193400A (ja) アーチファクトを測定するための方法
JP2002236909A (ja) 画像データ処理方法およびモデリング装置
JP6973233B2 (ja) 画像処理システム、画像処理装置および画像処理プログラム
Kinnell et al. Autonomous metrology for robot mounted 3D vision systems
CN109477714A (zh) 非接触式测头和操作方法
JP2015031601A (ja) ３次元計測装置及び方法並びにプログラム
CN114638795A (zh) 一种多结构光测量单元在线测量方法及系统
JP5563930B2 (ja) 非接触三次元計測装置及び非接触三次元計測方法
KR20190050819A (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
Gothandaraman et al. Robot-assisted 3D digital reconstruction of heritage artifacts: area similarity approach
Lari et al. Multi-camera system calibration with built-in relative orientation constraints (part 2) automation, implementation, and experimental results
JP2021071420A (ja) 情報処理装置、情報処理方法、プログラム、システム、物品の製造方法、計測装置及び計測方法
CN118551583B (zh) 一种基于多评估算法的多机器人协同测量视点规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant