CN100460807C - 进行三维计测的图像处理装置及图像处理方法 - Google Patents

Abstract

一种图像处理装置，使用户能易于执行用于在示出所拍摄的对象物的图像上确定三维计测的对象位置的设定，该装置具有摄像部1，其包括：第一摄像机C0，使光轴向铅直方向而设置，生成工件W的正视图像；第二摄像机C1，使光轴向倾斜方向而设置，生成工件W的斜视图像。在计测之前的设定时，由各摄像机C0、C1拍摄设定用对象物，利用来自第一摄像机C0的正视图像，使用户进行对用于确定计测对象位置的指定区域的设定。在计测时，基于设定而在来自第一摄像机C0的正视图像决定指定区域，进行在该区域内确定计测对象位置的处理。进而，对来自第二摄像机C1的斜视图像，确定与在正视图像所确定的位置对应的位置，进行计算三维坐标的处理。

Description

进行三维计测的图像处理装置及图像处理方法

技术领域

本发明涉及一种基于由以从相互不同的方向拍摄对象物的方式所配置的多个摄像机分别拍摄到的图像而进行三维计测的装置。

在本说明书中上述的“计测”包括以检查为目的的计测。即，一般来说，考虑到在检查过程中会进行一些计测，而只称为“计测”的情况下，也视为包括如下的情况：最终的输出例如仅为检查的合格与否、而不输出计测值的情况。

背景技术

一直以来，对于对象物的形状或表面图案进行根据二维图像处理的计测的装置，广泛利用于各种产品的生产现场。在这些二维图像处理装置中，以代表对象物的面(例如对象物的底面)或者对象物的计测对象面为对象，基于从与该面垂直的方向、即从正视该面的方向所拍摄到的图像，而进行计测。

另一方面，公知有利用了多个摄像机的、基于体视学原理的三维计测方法，例如在专利文献1中记载有使用了这种方法的印刷电路板的检查装置。但是，现有的进行三维计测的装置限定对象物的种类和性质，例如，如果其目的是对检查印刷电路板的检查，则作为专用于此的装置而被构成，因此无法实现具有能够适用于各种产品的制造现场的通用性、和即使没有有关三维计测的专门知识也能够使用自如的操作性的装置。

专利文献1：日本国公表特许公报2003—522347号

在这种情况下，发明人决定要开发出与现有的二维图像处理装置同样富于通用性、且用户容易操作自如的、具备三维计测功能的图像处理装置。在这种方针下，发明人将使用户能够容易地进行用于如下动作的设定这一点设定为课题：以各种形状的对象物作为计测对象，并在示出拍摄对象物得到的图像上确定三维计测的对象位置。

发明的公开

(1).为了解决上述课题，而在该说明书中提出第一图像处理装置，利用第一图像和第二图像进行处理，其中，上述第一图像是基于第一摄像机拍摄对象物得到的图像而获得的正视图像，上述第二图像则基于第二摄像机拍摄的图像，配置第二摄像机时，使该拍摄对象物的方向不同于第一摄像机的拍摄方向，其具备：设定装置，其利用设定用图像，使用户进行关于指定区域的设定，而上述设定用图像是基于第一摄像机拍摄设定用对象物得到的图像而获得的正视图像；位置确定装置，其对作为基于第一摄像机拍摄计测对象的对象物得到的图像而获得的正视图像时的第一图像，基于上述设定而决定指定区域，并在该指定区域内确定对象物上的位置；三维计测装置，其确定与在第一图像中所确定的上述位置对应的第二图像中的位置，并利用所确定的第一图像上的位置和第二图像上的位置而计算出三维坐标。

在此，第一摄像机以从正视对象物的方向进行拍摄的方式被配置，而第一摄像机所拍摄到的图像本身为正视图像时，可以将第一摄像机所拍摄到的计测对象的对象物的图像直接作为第一图像而使用，进而，将对于第一摄像机所拍摄到的图像实施了例如为了校正错位而移动图像的处理的图像，作为第一图像而使用也可。在第一摄像机所拍摄到的对象物的图像是斜视图像时，将至少实施了将该斜视图像转换为正视图像的处理的图像，作为第一图像而使用。

若根据这种图像处理装置，则用户只要对正视图像进行用于确定对象物上的位置的指定区域的设定即可，所以能够容易地进行用于确定三维计测的对象位置的设定。

(2).在上述的图像处理装置中，还具备转换装置也可，该转换装置进行转换运算，将配置为从斜视的方向拍摄对象物的第一摄像机所拍摄到的斜视图像，转换为正视图像。此时的设定用图像是通过转换装置对第一摄像机从斜视的方向拍摄设定用对象物得到的图像进行转换而获得的，而且，第一图像是通过转换装置对第一摄像机从斜视的方向拍摄计测对象的对象物得到的图像进行转换而获得的。

若根据上述的装置，则即使在正视对象物的方向(例如对象物的铅直上方)上没有设置摄像机或者无法设置摄像机的情况下，也能够进行对正视图像的区域设定。

(3).进而，在上述的设置有转换装置的图像处理装置的一实施方式中，能够利用在所转换的正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息、与标度(Scale)信息匹配的正视高度即标度基准高度值、和包含标度基准高度在内的正视高度容许范围值。进而，还具备：二维图像处理装置，其以第一图像为对象，使用标度信息进行二维图像处理；判断装置，其判断通过三维计测装置所计算出的上述三维坐标所表示的正视高度是否包含在上述容许范围内。

根据上述的实施方式，若所计算出的三维坐标不在正视高度的容许范围内，则可以知道：在二维图像处理装置所利用的标度信息所表示的标度、和第一图像的实际的标度之间，存在大于所预想的程度的差异。

(4).在设置有转换装置的图像处理装置的其他的实施方式中，还具有：标度信息计算装置，其利用通过三维计测装置所计算出的上述三维坐标所表示的正视高度，而计算出在通过转换装置所转换的正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息；二维图像处理装置，其以第一图像为对象，使用标度信息进行二维图像处理。

若根据上述的实施方式，则利用根据正视高度的实测值所计算出的标度信息而进行二维图像处理，因此针对对象物能够进行更加正确的计测。

(5).在设置有转换装置的图像处理装置的其他的实施方式中，能够利用在所转换的正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值，而且，还具有调整装置，该调整装置基于用户的操作而匹配性地变更标度基准高度以及标度信息。

根据上述的方式，如果基于用户的操作进行调整，以使标度基准高度与三维计测的对象位置的实际的正视高度大致一致，则在第二图像上可能会出现计测对象位置的范围就会缩小。因此，如果以这种小的范围为对象而确定与在第一图像上所确定的位置对应的位置，则会降低在第一图像、第二图像间建立计测对象部位的对应关系时出错的可能性，而且确定对应位置的运算所需要的时间也会缩短。

此外，如果基于用户的操作而正确地调整了标度信息，则对第一图像进行伴随尺寸或面积的计测的各种二维图像处理时，其结果中所包含的误差会减少。

(6).在上述(5)的实施方式的图像处理装置中，还具备图像编辑装置也可，该图像编辑装置对显示用图像进行编辑，其中，上述显示用图像是对第一图像加上表示在位于标度基准高度平面上的实际尺寸的标度图形而获得的。此时，如果编辑过的图像被显示，则用户能够进行调整操作而使所显示的标度图形和计测对象位置的像之间的大小关系变得正确。

(7).作为解决所谓使用户易于执行用于在示出所拍摄的对象物的图像上确定三维计测的对象位置的设定的课题的图像处理装置的第二结构，该说明书提出了一种图像处理装置，利用第一图像和第二图像进行处理，其中，上述第一图像是基于第一摄像机从斜视的方向拍摄对象物得到的图像而获得的正视图像，上述第二图像则基于第二摄像机拍摄的图像，配置第二摄像机时，使该拍摄对象物的方向不同于第一摄像机的拍摄方向，其具备：转换装置，其进行转换运算，将配置为从斜视的方向拍摄对象物的第一摄像机所拍摄到的斜视图像，转换为正视图像；设定装置，其利用设定用图像，而使用户进行关于计测对象位置的设定，其中，上述设定用图像是通过上述转换装置对第一摄像机拍摄设定用对象物得到的图像进行转换而获得的；位置确定装置，其在通过上述转换装置对第一摄像机拍摄计测对象的对象物得到的图像进行转换而获得的第一图像上，基于上述设定而确定对象物上的位置；三维计测装置，其确定与在第一图像中所确定的上述位置对应的第二图像中的位置，并利用所确定的第一图像上的位置和第二图像上的位置而计算出三维坐标。

若根据这种图像处理装置，则无论摄像机所拍摄到的图像是不是斜视图像，用户只要对正视图像进行用于确定对象物上的位置的设定即可，因此能够容易地进行用于确定三维计测的对象位置的设定。进而，即使是在对于对象物正视的方向上没有设置摄像机、或者无法设置摄像机的情况下，也能够容易地进行设定。

(8).在上述第二结构的图像处理装置的一个实施方式中，能够利用在通过转换装置所转换的正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值、和包含标度基准高度在内的正视高度容许范围值，而且还具备：二维图像处理装置，其以第一图像为对象，使用标度信息进行二维图像处理；判断装置，其判断通过三维计测装置所计算出的上述三维坐标所表示的正视高度是否包含在上述容许范围内。

根据上述的实施方式，若所计算出的三维坐标不在正视高度的容许范围内，则可以知道：在二维图像处理装置所利用的标度信息所表示的标度、和第一图像的实际的标度之间，存在大于所预想的程度的差异。

(9).在第二结构的图像处理装置的其他的实施方式中，还具有：标度信息计算装置，其利用通过三维计测装置所计算出的三维坐标所表示的正视高度，而计算出在通过转换装置所转换的正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息；二维图像处理装置，其以第一图像为对象，使用标度信息进行二维图像处理。

若根据上述的实施方式，则利用根据正视高度的实测值所计算出的标度信息而进行二维图像处理，因此针对对象物能够进行更加正确的计测。

(10).在第二结构的图像处理装置的其他的实施方式中，能够利用在通过转换装置所转换的正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值，而且，还具有调整装置，该调整装置基于用户的操作而匹配性地变更标度基准高度以及标度信息。

在上述的实施方式中，如果基于用户的操作而进行调整，以使标度基准高度与三维计测的对象位置的实际的正视高度大致一致，则在第二图像上可能会出现计测对象位置的范围就会缩小。因此，如果以这种小的范围为对象而确定与在第一图像上所确定的位置对应的位置，则会降低在第一图像、第二图像间建立计测对象部位的对应关系时出错的可能性，而且确定对应位置的运算所需要的时间也会缩短。

此外，如果基于用户的操作而正确地调整了标度信息，则对第一图像进行伴随尺寸或面积的计测的各种二维图像处理时，其结果所包含的误差会减少。

(11).在上述(10)的实施方式的图像处理装置中，还具备图像编辑装置也可，该图像编辑装置对显示用图像进行编辑，其中，上述显示用图像是对于第一图像加上表示位于标度基准高度平面上的实际尺寸的标度图形而获得的。如此，如果编辑过的图像被显示，则用户能够进行调整操作而使所显示的标度图形和计测对象位置的像之间的大小关系变正确。

(12).在该说明书中提出第一图像处理方法，利用第一图像和第二图像进行处理，其中，上述第一图像是基于第一摄像机拍摄对象物得到的图像而获得的正视图像，上述第二图像则基于第二摄像机拍摄的图像，配置第二摄像机时，使该拍摄对象物的方向不同于第一摄像机的拍摄方向，其具备：设定步骤，其显示设定用图像，并使用户利用该设定用图像而进行关于指定区域的设定，其中，上述设定用图像是基于第一摄像机拍摄设定用对象物得到的图像而获得的正视图像；位置确定步骤，对作为基于第一摄像机拍摄计测对象的对象物得到的图像而获得的正视图像时的第一图像，基于上述设定而决定指定区域，并在该指定区域内确定对象物上的位置；三维计测步骤，其确定与在第一图像中所确定的上述位置对应的第二图像中的位置，并利用所确定的第一图像上的位置和第二图像上的位置而计算出三维坐标。

(13).该说明书提出第二图像处理方法，利用第一图像和第二图像进行处理，其中，上述第一图像是基于以从斜视的方向拍摄对象物的方式配置的第一摄像机拍摄对象物得到的图像而获得的正视图像，上述第二图像则基于第二摄像机拍摄的图像，配置第二摄像机时，使该拍摄对象物的方向不同于第一摄像机的拍摄方向，其具备：设定步骤，通过将第一摄像机所拍摄到的斜视图像转换为正视图像的转换运算，将第一摄像机拍摄设定用对象物得到的图像转换为设定用图像，并使用户利用该设定用图像而进行关于计测对象位置的设定；位置确定步骤，通过上述转换运算，将第一摄像机拍摄计测对象的对象物得到的图像转换为第一图像，并在第一图像上，基于上述设定而确定对象物上的位置；三维计测步骤，确定与在第一图像中所确定的上述位置对应的第二图像中的位置，并利用所确定的第一图像上的位置和第二图像上的位置而计算出三维坐标。

若根据上述第一、第二图像处理方法，则用户能够容易地进行用于在示出拍摄对象物得到的图像上确定三维计测的对象位置的设定。

附图的简单说明

图1是与设置例一起表示本发明所适用的检查装置的拍摄部的结构的立体图。

图2是表示由各摄像机所拍摄到的图像的例子的说明图。

图3是检查装置的框图。

图4是表示关于IC检查的步骤的流程图。

图5是表示检测区域的设定例的说明图。

图6是表示示教处理的步骤的流程图。

图7是表示定位区域的设定例的说明图。

图8是表示引线检查的详细的步骤的流程图。

图9是表示相对检查时的正视图像中的工件的定位区域以及检测区域的关系的说明图。

图10是表示各图像之间的对应点的关系的说明图。

图11是表示检索区域的设定方法的说明图。

图12是表示高度范围与检索区域的关系的说明图。

图13是表示相对工件上的检查对象部位的模型登记例的说明图。

图14是表示关于文字键的检查的步骤的流程图。

图15是表示对检查时的图像设定了检查对象的区域以及检索区域的例子的说明图。

图16是表示关于具有圆形的表示区域的工件的正视图像以及斜视图像的说明图。

图17是表示对于合格工件的表示区域以及计测对象区域的指定结果的说明图。

图18是表示对图16的工件进行高度检查时的步骤的流程图。

图19是表示计测对象区域以及检索区域追随工件的位置变化的例子的说明图。

图20是表示了设定正视用的假想的摄像机的说明图。

图21是表示用于将斜视图像转换为正视图像的方法的说明图。

图22是表示在检查之前所进行的设定的步骤的流程图。

图23是表示伴随向正视图像的转换处理而进行的检查的步骤的一个例子的流程图。

图24是表示伴随向正视图像的转换处理而进行的检查的步骤的一个例子的流程图。

图25是表示伴随向正视图像的转换处理而进行的检查的步骤的一个例子的流程图。

图26是表示包含标度基准高度以及标度信息的变更的设定的步骤的流程图。

图27是表示利用斜视摄像机的工件的拍摄状况的说明图。

图28是表示显示在监视器的视窗的内容的说明图。

图29是表示伴随标度基准高度的变更的编辑图像的显示内容的变化的说明图。

用于实施发明的最佳方式

图1与设置例一起表示本发明所适用的检查装置(图像处理装置)的拍摄部的结构。

该检查装置具有三维以及二维两种计测处理功能，而由摄像部1依次拍摄在工厂的检查流水线L所搬送的检查对象物W(以下称为“工件W”)，并执行根据各种检查目的的计测处理和判断处理。

摄像部1采用在筐体15内安装有2台摄像机C0、C1的结构，并被设置在检查流水线L的上方。一侧的摄像机C0以使其光轴朝向铅直方向的状态(对于工件正视的状态)被设置。另一侧的摄像机C1以与摄像机C0的视场相重叠的方式，在使光轴倾斜的状态下被设置。决定摄像机C0以及摄像机C1的视场范围的成像面是矩形，而且，摄像机C1相对于摄像机C0而以沿着摄像机C0的视场范围的横方向(对应于图2中的图像A0的x轴方向)并排的方式被配置。

图2表示由各摄像机C0、C1所生成的工件W的图像的例子。图中的A0是来自摄像机C0的图像，A1是来自摄像机C1的图像。在该图2以及后述的图5等例示工件W的图像的图中，与图1同样，也用W表示各图像A0、A1中的工件。此外，图像A0的横方向(水平方向)设为x轴，纵轴方向(垂直方向)设为y轴。

由于摄像机C0是以使其光轴朝向铅直方向的方式设置的，所以图像A0表示从正面看工件W的上面的状态。与此相对，由于摄像机C1是以使光轴倾斜的方式设置的，所以图像A1示出从倾斜方向看到的工件W。以下，将来自摄像机C0的图像A0称为“正视图像A0”，将来自摄像机C1的图像A1称为“斜视图像A1”。正视图像A0相当于“第一图像”，斜视图像A1相当于“第二图像”。在该检查装置中，首先利用图像的畸变小(与工件的俯视图相近)的正视图像A0而确定计测对象部位，接着在斜视图像A1上确定与正视图像A0上的计测对象位置对应的位置。

图3是表示检查装置的整体结构的框图。该检查装置除了摄像部1之外，还由主体部2，监视器3，控制台4等构成。在主体部2设置有与各摄像机C0、C1相对的图像输入部10、11，摄像机驱动部12，运算处理部20，输出部28等。

摄像机驱动部12接收来自未图示的工件检测用的传感器的检测信号，而同时驱动各摄像机C0、C1。由各摄像机C0、C1所生成的图像信号分别输入到图像输入部10、11，并进行数字转换。由此，针对每台摄像机生成计测处理用的数字图像(正视图像A0以及斜视图像A1)。

运算处理部20由计算机构成，其执行了利用摄像机C0、C1的图像的计测处理之后，根据其处理结果而判断工件W的合格与否。输出部28是一种用于将计测处理或判断处理的结果输出到PLC等外部设备的输出用接口。

在运算处理部20，除了用于存储图像A0、A1的图像存储器21之外，还设置有图像处理部22、计测处理部23、判断部24、显示控制部25、参数计算部26、参数存储部27等。图像存储器21和参数存储部27以外的各部是利用专用的程序而被设定在作为运算处理部20的计算机上的功能。图像存储器21或者参数存储部27被设定在该计算机的存储器(RAM等)中。

虽在图3中未图示，但是在运算处理部20还设置有用于对检查所需的信息(检查区域的设定条件或者模型的图像等)进行登记的存储器。向该登记用存储器的登记处理、或者运算处理部20的各处理部所执行的处理的设定或者变更，能够适当地通过对控制台4的操作来进行。

图像处理部22通过二值化、边缘提取、图案匹配等确定工件W的检查对象部位。计测处理部23对于由图像处理部22所确定的检查对象部位执行计测位置或者大小等的处理。图像处理部22以及计测处理部23能够执行二维计测和三维计测的处理。

判断部24将计测处理部23的计测结果与规定的阈值进行比较等，从而判断工件W的合格与否。其计测结果和判断结果会输出到输出部28和显示控制部25。

显示控制部25用于控制监视器3的显示动作，其能够在一个画面内并列显示由图像输入部10、11所生成的正视图像A0、斜视图像A1。进而，能够适当接收图像处理部22、计测处理部23、判断部24的处理结果，而与图像一起将其显示出来。

在参数存储部27中保存有用于三维计测的运算所利用的各种系数。这些系数的值，根据由各摄像机C0、C1构成的立体坐标系与表示实际空间中的位置的空间坐标系之间的关系(各坐标系的原点间的距离、立体坐标系相对空间坐标系的旋转偏移量等)而发生变化(以下将这些系数称为“参数”)。在检查之前，这些参数被图像处理部22和参数计算部26计算出，并存储在参数存储部27中。在计算该参数的处理中，使用具有多个特征点的校准用工件。

进而，在参数存储部27还登记有构成后述的运算式(1)的单应矩阵的参数。

该检查装置给用户提示多种检查菜单而接收选择操作，从而能够组合检查的算法。此外，根据检查对象的部位，而能够选择执行二维计测处理的检查和三维计测处理的检查。在二维计测处理的检查中，将来自摄像机C0的正视图像A0作为对象，而执行图案匹配处理、二值化处理、边缘提取处理等，从而确定工件整体或工件中的检查对象部位。

进而，该检查装置在三维计测处理的检查中，也有效利用来自摄像机C0的正视图像A0，由此实现了三维计测处理的高速化。对于这一点，在后面详细说明。

图4表示工件W是IC时所实施的检查的步骤。接收到来自工件检测用的传感器的检测信号而开始该步骤。在最初的ST1(ST是“步骤”的省略，以下也相同)中，通过摄像机驱动部12同时驱动摄像机C0、C1，而生成正视图像A0、斜视图像A1。

在接下来的ST2中，将印刷在IC的封装部分上的文字作为对象而执行检查。在该检查中，执行仅使用了正视图像A0的二维的图像处理。例如，通过图案匹配处理提取文字的印刷区域，并根据该匹配时的相关度或匹配位置而判别文字的印刷状态的适当与否。

在接下来的ST3中，在正视图像A0中通过边缘检测的方法求出各引线的前端位置的坐标，接着，在斜视图像A1中通过边缘检测的方法求出对应的各引线的前端位置的坐标。然后，根据两图像中的各引线的前端位置坐标求出各引线的前端的三维坐标，并根据该计算值而判别在各引线是否存在浮起或弯曲等异常。

若ST2、3的检查结束，则在ST4将各检查的结果输出到外部设备或监视器3。进而，如果通过工件检测用的传感器检测出下一个IC，则返回ST1，而执行与上述相同的步骤。

如此，通过利用两台摄像机C0、C1分别拍摄一次工件W，而能够连续地执行二维计测的检查和三维计测的检查。由于在二维的计测处理中使用正视图像A0，因此能够利用没有文字畸变的图像而进行高精度的计测处理。

在进行三维计测处理时，确定在正视图像A0和斜视图像A1之间所对应的计测对象的点，并通过将所确定的各点的坐标代入到基于三角测量原理的运算式中，而计算出三维坐标。

图5表示正视图像A0中的检测区域(由用户所设定的指定区域)和斜视图像A1中的检测区域的设定例。将图像的纵方向(在正视图像A0中沿着引线排列的方向)设为y方向，将横方向(在正视图像A0中沿着引线长度的方向)设为x方向。在正视图像A0中，对每个引线6设定有分别独立的检测区域7，而且，对每个检测区域7确定一个相当于引线的前端的边缘点。

即，在此，由于摄像机C0、C1并排在x方向，所以主要在x方向上产生视差。因此，对检测区域7内的图像进行二值化，并将所得到的二值化图像沿y方向进行投影，由此画出以x方向为横轴、且以投影所得到的“明”像素数或者“暗”像素数为纵轴的直方图。然后，将直方图的值急剧变化的位置的x坐标作为引线6的前端的x坐标。另一方面，关于引线6的前端的y坐标，取检测区域7的y方向的中点的y坐标。将由如此所求出的x坐标和y坐标所表示的点称为边缘点。

在此，虽然对检测区域7内的图像进行了二值化，但并不仅限定于此，也可以对检测区域7内的图像的各像素在原来的浓淡图像的状态下直接在y方向上进行积分，而求出这样所得到的积分浓度分布的值沿x方向急剧变化的位置(例如横切阈值的位置)的x坐标。

这样，沿着特定的一个方向检测出边缘的位置。在图5的例子中，x方向是边缘的检测方向。在此，在正视图像A0设定了检测区域7之后，对该检测区域7指定边缘的检测方向。但是，不仅限定于此，也可以设定具备本来所固有的边缘的检测方向的检测区域7，还可以事先指定检测区域7的边缘检测方向，其后在正视图像A0设定检测区域7。

在斜视图像A1中，也针对每个引线6设定检测区域8。这些检测区域8是基于用于将一方图像上的一个点转换为另一方图像上的一个点的运算式(后述的式(1))，而利用在正视图像A0的各检测区域7所确定的边缘点的坐标和由用户指定的高度范围(可取得三维计测的对象位置的高度的范围)而进行设定的。这里的高度是指以工件W的安置面为基准的在铅直方向、即正视方向的高度，也就是正视高度。高度的基准不仅限定于工件W的安置面，而也可以取摄像机C0的位置、或者其他任意的位置。由用户指定的高度范围就是沿着摄像机C0的光轴的三维计测的对象范围。

在图5中，虽只表示了对于工件W的右侧引线的区域设定，但是对于左侧的引线也进行相同的设定(在以下的图中也相同)。

图6表示用于IC的引线检查的示教处理(设定处理)的步骤。该步骤在开始图4的IC检查之前被执行。

在该步骤的最初的步骤、即ST11中，关于检查对象的工件W(在该例子中为IC)，输入引线6的长度和引线6之间的间距等。在此所输入的数据被登记在操作用的存储器中，而在后述的ST15中被使用。

在接下来的ST12中，在拍摄对象位置作为设定用对象物而设置合格工件，并通过摄像机C0、C1对其进行拍摄。另外，在示教处理中，只要生成来自摄像机C0的正视图像A0就足够，但是在此，即使是在示教处理时，也同时驱动各摄像机C0、C1，并将所生成的两张图像并列显示在监视器3上。

在接下来的ST13中，利用作为设定用图像的正视图像A0而接受定位区域的指定操作。图7表示该指定操作时的正视图像A0的显示例，图中的9就是定位区域。

该定位区域9用于抽取排成一列的引线6中位于最边缘的引线(在图例中是最上端的引线6a。以下将其称为“前头引线6a”)。在图7的例子中，设定仅包含前头引线6a的正方形的区域9。定位区域9被调整为即使工件W发生了可预想程度的错位、都能够在定位区域9中拍摄到前头引线6a的大小。此外，定位区域9以在其下半部分的范围内拍摄到前头引线6a的方式被设定。由此，能够根据在定位区域9的上半部分的范围内没有拍摄到引线的情况，而确认在定位区域9下半部分的范围内所拍摄到的就是前头引线6a。

返回图6，若指定了定位区域9，在接下来的ST14中，从该定位区域9抽取前头引线6a。在该抽取处理中，例如通过对定位区域9内的图像进行二值化、并沿y轴方向以及x轴方向对二值化后的图像进行投影的方法，而求出前头引线6a的前端的x坐标和y坐标。或者，也可以通过抽取定位区域9内的边缘和其浓度梯度方向，而抽取引线6a的轮廓线，进而求出引线6a的前端的x坐标和y坐标。

在ST15中，基于引线6a的前端的x坐标、y坐标和在ST11中所输入的数据，对各引线6设定检测区域7。具体地说，利用在ST11中所输入的数据、摄像机C0的像素数、倍率等，计算出在图像上的引线6的长度和引线6之间的间距，并基于该计算值而决定各检测区域7的大小和区域之间的间隔。这样，以前头引线6a的位置为基准，而作成用于对含有该引线6a的各引线6设定检测区域7所需的数据、即设定条件。

之所以能够采用这种方法，是因为使用原样反映了工件W的检查对象部位的特性(各引线的长度相等、引线之间的间距相等等)的正视图像A0。因此，如果能够在由用户设定的定位区域9抽取前头引线6a，则即使不抽取其他的引线6，也能够对所有的引线6设定检测区域7，从而能够大幅度地提高处理效率。

在ST16中，在登记用存储器中登记在ST13所指定的定位区域9的设定条件(区域的位置以及大小)、和在ST15所设定的检测区域7的设定条件。进而，在ST17中，在登记用存储器中作为模型而登记定位区域9内的图像。由此结束一系列的示教处理。

从ST11到ST17为止的一系列的处理，相当于：利用作为基于第一摄像机拍摄设定用对象物得到的图像而得到的正视图像时的设定用图像，而使用户对指定区域进行设定(以更一般的说法来讲，就是让用户对于计测对象位置进行设定)。此外，示教处理用的程序所运作的运算处理部20作为执行该一系列处理的设定装置而工作。

另外，在执行ST16之前，优选在监视器3显示将根据所作成的设定条件而设定的检测区域7与正视图像A0重叠表示的图像，并根据用户的确认操作进行登记。此外，此时，也可以对检测区域7的位置或大小进行微调整。

图8表示关于IC的引线检查(图4的ST3)的详细的步骤。

该步骤的从ST21到ST24为止的处理，是对作为所拍摄到的计测对象的对象物的图像的正视图像A0进行的处理。首先，在ST21中，基于在示教处理中所登记的设定条件，在正视图像A0设定定位区域9。在接下来的ST22中，核对该定位区域9内的图像和在示教处理的ST17中所登记的模型，而抽取相对模型的错位量(在该处理，例如可以应用图案匹配方法)。

在ST23中，基于在ST22所抽取的错位量而对在示教处理时所登记的检测区域7的设定条件进行调整，并利用该调整后的设定条件，作为设定区域而设定各引线的检测区域7。若根据正视图像A0，则不需要考虑图像上的工件W的畸变，所以能够将定位区域9的错位量直接适用于各检测区域7，从而能够利用与示教处理时相同的位置关系而对各引线6设定检测区域7。

图9表示进行检查时的正视图像A0的一个例子。在该例子的工件W与图7所示的示教处理时的图像A0相比向右侧错位，所以引线6的前端处于从定位区域9露出的状态。但是，关于检测区域7，会进行上述的调整处理，所以对哪一个引线6均都以与图4所示的相同的条件设定有检测区域7。

在该例子中，虽然根据错位了的工件W调整了检测区域7在图像内的位置(图像相对于框的位置)，但是也可以代替它，而即使工件W发生了错位，也以工件W相对图像的框始终保持一定的位置关系的方式使图像的整体内容移动，从而将检测区域7设定在相对图像的框始终保持一定的位置。

若如此对每个引线设定了检测区域7，则在接下来的ST24中，针对各检测区域7的每一个，取得引线前端的x、y坐标。

从ST21到ST24为止的一系列的处理，相当于：对作为基于第一摄像机拍摄计测对象的对象物得到的图像而得到的正视图像时的第一图像，基于设定而决定指定区域，并在该指定区域内确定对象物上的位置(更一般的说法来讲，根据设定确定对象物上的位置)。此外，为了执行用于引线检查处理的步骤而被组合的程序所运作的运算处理部20，作为执行该一系列处理的位置确定装置而工作。

在接下来的ST25中，在斜视图像A1上设定用于检测出各引线的前端位置的检测区域8。进而在ST26中，在所设定的检测区域8执行与ST24相同的处理，而计算出引线前端的x、y坐标。该设定检测区域8、计算出x、y坐标的处理，相当于：确定与在第一图像中所确定的位置对应的、第二图像中的位置。

其后，在ST27中，针对各前端，利用分别在ST24、26所计算出的坐标而计算出三维坐标。该处理相当于：利用所确定的第一图像上的位置和第二图像上的位置，而计算出三维坐标。以执行用于确定第二图像中的位置、且计算出三维坐标的步骤的方式所组合的程序所运作的运算处理部20，作为执行该一系列处理的三维计测装置而工作。

进而，在ST28中，将所计算出的三维坐标与预先登记的基准值进行比较等，而判断各引线前端部的合格与否。例如，如果任一个引线的前端部存在浮起，则表示其前端部的高度的Z坐标就变成超过基准值的值，从而判断该引线不合格。

接着，针对在ST25的对检测区域8的设定，进行详细的说明。

图10表示在位于空间内的任意高度位置的平面D上的一点P分别成像在摄像机C0、C1的成像面F0、F1上的点p0、p1的状态。在图10中，X、Y、Z是表示三维空间的坐标轴，平面D与XY平面相平行。此外，在成像面F0上设定有由x0、y0轴构成的二维坐标系，在成像面F1上设定有由x1、y1轴构成的二维坐标系。在图10中，偶然将成像到两个成像面的原点上的平面D上的点作为P，但是并不仅限定于此，点P的位置可以是平面D上的任意位置。

将在成像面F0中的点P的成像位置(点p₀)的坐标设为(x_cam0，y_can0)，将在成像面F1中的点P的成像位置(点p₁)的坐标设为(x_cam1，y_cam1)，则点p₀、p₁之间的关系如下式(1)所示。

$\mathrm{\λ}\left[\begin{array}{c}{x}_{\mathrm{cam}1}\\ y_{\mathrm{cam}1}\\ 1\end{array}\right]=H_z\left[\begin{array}{c}{x}_{\mathrm{cam}0}\\ y_{\mathrm{cam}0}\\ 0\end{array}\right]\·\·\·\left(1\right)$

另外，在式(1)中，H_Z是针对高度为Z的平面D上的点表示成像面F0上的成像位置和成像面F1上的成像位置之间的关系的3×3的单应矩阵，λ是常数。矩阵H_Z是能够预先通过利用了平面D上的已知的坐标的校准而求出的(关于校准的详细情况，请参照下述的非专利文献1)。

非专利文献1：见市伸裕，和田俊和，松山隆司“关于投影仪及摄像机系统的校准的研究(Calibration of Projector-Camera System)”、“平成17年6月1日检索”、因特网<URL:http://vision.kuee.Kyoto-u.ac.jp/Research/Thesis/Thesis_PDF/Miichi_2002_P_147.pdf>

因此，将在正视图像A0的各检测区域7中所抽取的引线的边缘点认为是p₀，而将该坐标代入到式(1)的(x_cam0，y_cam0)时，可认为所计算出的(x_cam1，y_cam1)相当于斜视图像A1中的引线前端的位置。但是，如果认为引线前端高度在变化，则平面D的高度Z也随之变化，而随之单应矩阵H_Z也变化，从而(x_cam1，y_cam1)的值也随之变化。

在ST25中，根据该原理，将所预想的高度范围(沿摄像机C0的光轴的三维计测的对象范围)的上限值设定为平面D的高度Z时、以及将下限值设定为高度Z时，分别使用对应于其高度Z的单应矩阵H_Z执行式(1)，由此作为(x_cam1，y_cam1)而得到图11所示的e、f两点的坐标。然后，如图11所示，在斜视图像A1，设定将线段ef在与线段ef垂直的方向上向各侧平行移动正视图像A0侧的检测区域7的半辐值而得到的线段gh和线段g’h’，并将连接该4点而成的矩形区域ghh’g’作为检测区域8。

图12针对与图5相同的斜视图像A1、比较表示在将引线6可取的高度范围设为0～5mm的情况下和将高度范围设为—15～15mm的情况下的检测区域8的大小的图。从这个例子可知，若高度范围的变化幅度越小则检测区域8就越小。在图12中简化而互相平行地画出了各检测区域8，但是，在实际上，因透视效果而在斜视图像A1会产生矩形的对象物被拍摄为梯形的畸变，因此各检测区域8成为它们的中心线(线段ef)彼此的间隔越到图的右侧就变得越大的非平行的配置。在各检测区域8，在与检测区域8的中心线垂直的方向上进行用于求出边缘前端位置的二值化图像的投影。

在上述检查装置中，为了在基准图像A0确定引线的前端位置，而设定了与各引线6对应的检测区域7，但是代替它，而以包含各引线的前端的方式在y轴方向设定一个长的检测区域，并在该区域内分别独立地求出各引线的前端位置也可。

接着，针对将配设有按钮式的文字键的工件(遥控器、电话机等)作为检查对象而对各键的高度进行检查的情况进行说明。在该检查中使用这种方法，即，在检查的准备阶段登记模型图像，并在正视图像A0和斜视图像A1中搜索与该模型图像一致的区域的方法。

在检查的准备阶段，如图13所示，使用拍摄作为设定用对象物的合格工件W而得到的正视图像A0，而对各键60指定包含画在该键60上的文字的区域70，并将该区域70内的图像作为模型而进行登记。这个处理相当于：使用作为基于第一摄像机拍摄设定用对象物得到的图像而得到的正视图像时的设定用图像，而使用户进行对计测对象部位的设定。即，在此仅登记模型图像，而不是直接指定计测对象位置，但是，因为在检查时与模型图像一致的区域会被指定为计测对象区域，所以等于通过登记模型图像而间接地设定计测对象位置。虽然省略了图示，但是，考虑检查时的工件W的可预想到的错位，而将检查时与模型图像一致的区域指定为应搜索区域也可。该应搜索区域相当于指定区域。

图14表示检查的步骤。首先在ST31中，同时驱动各摄像机C0、C1而生成图像。在接下来的ST32中，对正视图像A0执行使用了在检查前被登记的模型的图案匹配处理，而确定与模型最一致的区域而作为计测对象区域。在设定有指定区域的情况下，仅在指定区域内进行对计测对象区域的搜索。对计测对象区域的确定处理是对与各键60对应的每一个模型进行的，但在此为了简化说明，仅限定为一个模型而进行说明。

若确定好计测对象区域，则在接下来的ST33中，确定该区域的代表点(例如区域的中心点)的坐标。这相当于：根据利用设定用图像所进行的设定，确定对象物上的位置。也可以确定多个代表点(例如，与预先决定的模型上的多个特征点对应的点)。

在ST34中，根据代表点的坐标，在斜视图像A1设定搜索区域。在这种情况下，也与在上述的引线检查中设定了检测区域8的情况同样，将预先所指定的高度范围的上限值和下限值设为高度Z而设定单应矩阵H_Z，并利用代表点的坐标和高度范围的上限值及下限值而执行2次运算，由此求出在图像A1中可存在代表点的范围，并将在该范围的基础上考虑了模型的大小的区域作为搜索区域。

在ST35，在搜索区域中执行与模型之间的图案匹配处理，而确定计测对象区域和该区域内的代表点的位置。进而在ST36中，利用在正视、斜视的各图像A0、A1中的计测对象区域的代表点的坐标，而计算三维坐标。然后，在ST37中，通过将所计算出的三维坐标中的Z坐标与规定的阈值进行比较，而判断键的高度的合格与否。然后，在ST38中，输出判断结果，并结束处理。

在基准图像A0上，将与在模型上所决定的特征点对应的点确定为代表点时，在ST36中同样也能够确定模型上的对应点。此外，在ST35中，利用与所指定的高度范围内的规定高度(例如成为工件正常时的标准的高度)对应的单应矩阵，而将模型转换为应被斜视摄像机C1所拍摄的形状，并利用该转换后的模型而确定计测对象区域也可。相反地，将斜视图像A1转换为正视图像，并在所转换的图像上确定与模型一致的区域也可。

图15表示在上述检查中基于在正视图像A0上针对键60所确定的计测对象区域71、该区域71的位置和大小而设定的斜视图像A1侧的搜索区域80、以及在搜索区域80中所确定的计测对象区域81。

在图14所示的步骤中，虽然仅进行三维计测处理的检查，但是在该检查中，也能够通过利用了正视图像A0的二维计测处理而进行对各键的文字的印刷状态等的检查。

接着，针对对于在中央部具有圆状的表示区域的工件、检查该表示区域内的高度是否合格的情况，进行说明。在该检查中，每进行拍摄时均执行这种方法，即，抽取正视图像A0的一部分而作为模型图像，并在斜视图像A1中搜索与模型图像一致的部分的方法。

图16表示由各摄像机C0、C1所生成的工件W的图像A0、A1。图中，S是作为检查对象的文字的显表示(印刷)区域。在正视图像A0中，由于示出工件W的正视像，故表示区域S的轮廓线72也成为圆状。与此相对，在斜视图像A1中，表示区域S的轮廓线72的形状、表示区域S内的文字的配置状态等发生有畸变。

在该检查之前，拍摄作为设定用对象物的工件W的合格模型，并让用户在所得到的正视图像A0上指定表示区域S的半径和计测对象区域。此时，在图像处理部22执行从正视图像A0求出表示区域S的中心点的位置的处理，并在登记用存储器中登记计测对象区域相对该中心点的相对位置。该处理相当于：使用作为基于第一摄像机拍摄设定用对象物得到的图像而得到的正视图像时的设定用图像，而使用户进行对计测对象位置的设定。

图17放大表示了正视图像A0中的表示区域S。图中，73是由用户指定的计测对象区域，74是表示区域S的中心点。该中心点74的位置是：执行从正视图像A0提取圆形图案的处理，并利用该提取结果而确定与由用户指定的大小的圆(位置校正用模型)最为一致的轮廓线72，而求出的位置。

图18表示对图16中的工件W的高度检查的步骤。

在ST41中，同时驱动各摄像机C0、C1，而生成正视图像A0和斜视图像A1。在ST42，通过进行上述处理，而从正视图像A0求出表示区域S的中心点74。

在接下来的ST43，以在ST42所求出的中心点74的坐标为基准，且根据预先所登记的相对位置，而设定计测对象区域73。然后，在接下来的ST44，将计测对象区域73的图像作为搜索用的模型图像而进行登记，进而对计测对象区域73的代表点位置(例如，区域内的中心点位置)也进行登记。这相当于：根据利用设定用图像所进行的设定，而确定在对象物上的位置。

在ST45，在斜视图像A1设定搜索区域82(如图19所示)。将在ST44所登记的代表点的坐标代入到式(1)，并利用与预先所指定的高度范围的上限值和下限值对应的单应矩阵H_Z而执行式(1)，从来决定搜索区域82的位置和大小。

在ST46，利用在ST44所登记的模型图像，而在搜索区域82执行相关匹配处理。然后，确定与所登记的图像最相近的区域，并将其作为斜视图像A1侧的计测对象区域。在ST47，对于斜视图像A1侧的计测对象区域，求出代表点的坐标，并利用该坐标和正视图像A0侧的代表点的坐标而计算三维坐标。在接下来的ST48，判断所求出的Z坐标的合格与否。然后，在ST49输出判断结果，然后结束处理。

图19(1)、图19(2)分别针对一组正视图像A0和斜视图像A1而表示正视图像A0的计测对象区域73、斜视图像A1的搜索区域82以及计测对象区域83。此外，在正视图像A0，用粗线示出表示区域S的轮廓线72的同时，示出所求出的表示区域S的中心点74的位置。在图19(1)的图像和图19(2)的图像中，虽工件W的位置不同，但是不论何种情况均都以在其中包含有作为目标的文字的方式正确地设定有计测对象区域73。

若根据上述图18所示的检查的步骤，则利用正视图像A0而进行对中心点74的抽取处理和对区域73的位置调整处理，所以没有必要考虑图像的畸变，而能够根据相对中心点74的相对位置关系而将计测对象区域73设定在适当的位置。在图19的例子中的(1)的例子的图像和(2)的例子的图像中，虽然工件W的位置不同，但是以相同的条件设定有计测对象区域73。

进而，若根据图18所示的检查的步骤，则对检查对象的每个工件W从该工件W取得搜索用的模型图像，所以即使在每个工件W的、作为三维计测的对象的文字等表面图案不同的情况下，也能够使用相同的步骤而进行三维计测。在此，虽然表面图案也许根据每一个工件都不同，但是，利用工件W的形状和以工件W的形状为基准的计测对象区域的位置、无论对哪个工件W都相同的这一点，而设定计测对象区域。

在图18的步骤中，也可以利用单应矩阵Hz而将所登记的搜索用的模型图像转换为应被斜视摄像机C1所拍摄的形状，并利用转换后的图像而确定计测对象区域83。相反地，将斜视图像A1转换为正视图像，并在所转换的图像上确定与模型一致的计测对象区域83也可。

进而，在图18的步骤中，也能够编入利用正视图像A0而检查表示区域S内的文字的印刷状态的处理。

但是，在上述检查装置中，为了生成正视图像，以使光轴沿着铅直方向的防止设置了一侧的摄像机C0，但是，即使在该摄像机C0的光轴倾斜地被设定的情况下，也能够通过对由摄像机C0所生成的图像进行转换，而生成正视图像。

图20表示用于进行上述转换处理的校准方法。在该方法中，在平行于工件W的安置面的、任意高度的平面上设置校准工件75，并以分别从斜上方拍摄校准工件75的方式而配置摄像机C0、C1。

在该例子中，作为校准工件75而采用具有在上面等间隔地配置有多个圆形的图案76的结构的平面状的工件。

在校准处理中，假想使光轴朝向铅直方向而设置的假想的摄像机C2，并假想在由该摄像机C2拍摄校准工件75时所得到的假想的图像。然后，如图21所示，求出用于将由拍摄机C0所生成的图像A0转换为由假想的摄像机C2所拍摄到的图像B0的单应矩阵。为此，首先，在图像A0和B0上求出各圆形图案的中心坐标。关于图像A0，从实际的图像求出变形为椭圆形状的圆形图案的中心的坐标(重心坐标等)。关于图像B0，给假想摄像机C2设定任意的拍摄倍率，而利用给假想摄像机C2所设定的倍率而将校准工件75上的圆形图案的实际的间隔转换为图像上的间隔d，由此计算出图像上的圆形图案的中心坐标。然后，根据各圆形图案的排列顺序，确定在图像A0、B0之间所对应的圆的中心位置的组合，并通过利用了这些圆的中心坐标的最小二乘法，而能够求出单应矩阵。

若根据图20的摄像机配置，则在对工件W进行正面拍摄的假想的摄像机C2的光轴方向上的拍摄对象位置的高度会成为“正视高度”。正视高度是以与摄像机C2的光轴方向正交的任意的平面(例如工件W的安置面)为基准而表示的。该基准的平面一般为水平面，但并不仅限定于此，而也可以将相对水平面具有倾斜度的面、或者垂直面作为基准面。

当通过上述校准处理决定了单应矩阵时，通过利用了来自摄像机C0的图像A0的转换处理，而针对处于与校准工件75相同的正视高度的平面，能够生成判明有标度的正视图像。

还有，在将虽与校准工件75平行、但正视高度与校准工件75不同的平面作为拍摄对象的情况下，也能够通过相同的转换运算而得到正视图像。但是，若跟位于与校准工件75相同的正视高度的平面被转换时的正视图像相比，则在拍摄对象平面位于比校准工件75更靠近摄像机C2处的情况下，会被转换为放大了的正视图像。此外，若从摄像机C2处观察，则拍摄对象平面位于比校准工件75更远处的情况下，会转换成比拍摄对象平面位于与校准工件75相同的正视高度的情况更缩小了的正视图像。

因此，只要知道拍摄对象平面的正视高度，则能够通过计算求出转换为正视图像时的图像的放大缩小的程度。因此，关于已知道正视高度的拍摄对象平面，能够在所转换的正视图像上进行尺寸计测。

下面，针对如图20所示那样对摄像机C0、C1均进行倾斜配置的检查装置进行说明。虽然整体的框图结构与图3所示的结构相同，但是，在作为运算处理部20的计算机中设定有进行转换运算的功能(转换装置)，该转换运算是将由摄像机C0所生成的斜视图像转换为正视图像的运算。决定通过转换而得到的正视图像(下面称为“正视转换图像”)被显示在监视器3的画面上时的大小的重要因素包括假想成像倍率和显示倍率。此外，关于设定用的工件W的正视转换图像相当于设定用图像，关于计测对象的工件W的正视转换图像相当于第一图像。

假想成像倍率是处于相同的正视高度的工件W上的两点间的实际距离、与成像于假想的摄像机C2的假想成像面上的该两点间的距离之间的比率，而且用将实际的距离设为1时的假想成像面上的距离来表示。假想成像倍率根据拍摄对象的正视高度而变化，例如，若拍摄对象远离假想摄像机C2则其会变小。

假想成像倍率也可以，若假设假想摄像机C2的焦距发生了变化，则能够通过调整正视转换运算的参数而进行变更，但在此，设定假想摄像机C2的焦距为固定的。

显示倍率是假想成像面上的两点间的距离、和显示在监视器上的该两点间的距离之间的比率。显示倍率可以通过进行放大或者缩小图像的运算而进行变更。显示倍率不会影像用于计测的标度，也不会影响后述的标度图形的大小和所显示的正视转换图像的大小的比率，因此以在显示画面上容易观察图像的方式选择适当的值即可。例如，若以工件W的像的大小在由摄像机C0所拍摄到的斜视图像和正视转换图像之间几乎没有变化的方式选择正视转换图像的显示倍率，则在从这些图像的一方向另一方切换显示内容时容易把握图像内容。

如上所述，针对与校准工件75处于相同的正视高度的平面，能够直接适用在进行校准时所使用的假想成像倍率。

如果指定正视高度，则能够通过计算而求出与其相对应的假想成像倍率。如果知道了假想成像倍率，则能够利用正视转换图像而正确地进行针对处于该正视高度的计测对象位置的尺寸计测。

将成为该尺寸计测和假想成像倍率的前提的正视高度称为标度基准高度。即，所谓标度基准高度，可以说是当从正视转换图像的尺寸求出计测对象位置的实际尺寸时作为前提的计测对象位置的正视高度。

此外，将在正视转换图像的尺寸和计测对象位置的实际尺寸之间建立关联的信息称为标度信息。例如，可以将对应于正视转换图像的一个像素的实际尺寸设定为标度信息。标度基准高度和标度信息必须相互匹配，并具有如果对一方进行变更则对另一方也必须进行变更的关系。

图22表示在检查之前所进行的设定处理的步骤。首先，在ST51，用摄像机C0拍摄设定用的工件W(设定用对象物)。接着，在ST52，将所拍摄到的斜视图像转换为正视图像。该转换运算用的程序所运作的运算处理部20作为转换装置而工作。对于在后述的检查中的从斜视图像向正视图像的转换也是同样的。

通过转换处理所得到的正视转换图像作为设定用图像而被利用。

在ST53，设定标度基准高度和标度信息。具体地说，关于设定用工件的计测对象位置的正视高度接收用户的输入，并将所输入的值作为标度基准高度。进而，从标度基准高度计算出标度信息，并将标度基准高度和标度信息存储在运算处理部20。

在ST54，利用设定用图像，而使用户进行对测量计测处理所需的设定。具体的设定内容的例子，与关于之前的摄像机C0被正视配置时的引线检查、文字键的检查、工件的高度检查所进行的处理相同。此外，对于在计测时以什么样的步骤进行什么样的处理也进行设定。

在上述的ST53，作为标度基准高度而例如输入表示相对工件W的安置面的计测对象位置的高度的尺寸。正视高度和标度基准高度的值，在装置的内部没有必要一定要以工件W的安置面为基准来表示，例如，也可以表示为图10的坐标系中的Z坐标的值。或者，通过能够相互进行坐标变换的其他任意的坐标系来表示也可。

但是，使用户输入的标度基准高度，优选为用户能够自然而然地认为是计测对象位置的高度的高度。通过将以工件W的安置面为基准的计测对象位置的高度作为标度基准高度，而即使是不熟悉装置的内部处理的详细内容的用户，也能够容易地理解作为标度基准高度而要求输入的尺寸是什么尺寸。

但是，也有省略该ST53的步骤，有时会存在可以代替它而使用例如校准工件75的正视高度那样的某些已知值而作为标度基准高度的情况。一般，假想成像倍率大多其值较小。此时，即使计测对象位置的正视高度与标度基准高度不同，但标度的误差也比较小。因此，在没有必要高精度地计测尺寸和面积时，例如，进行以判断有无污染、检测外形轮廓的缺口、判断文字种类等为目的的二维图像处理时，无需根据检查对象位置的正视高度的不同而每次输入标度基准高度，而且，即使用已知值作为标度基准高度也大多没有任何问题。此外，在确定用于三维计测的计测对象位置时，也同样大多能够作为标度基准高度而使用上无任何问题地利用已知值。

图23表示上述设定处理结束之后所执行的检查的步骤的一个例子。

首先，在ST61，根据来自工件检测用的传感器的检测信号，用摄像机C0和C1拍摄工件W(计测对象的对象物)。在ST62，将由摄像机C0所拍摄到的斜视图像转换为正视图像，从而得到第一图像。在ST63，在第一图像上确定作为三维计测的对象的位置。该确定位置的方法的例子，与在之前针对正视配置摄像机C0时的各种检查所做的说明相同。在ST64，在由摄像机C1所拍摄到的第二图像上，确定与在第一图像上之前所确定的位置对应的位置。

在ST65，利用所确定的第一图像上的位置和第二图像上的位置而计算出三维坐标。在ST66，利用第一图像而进行二维计测。由于第一图像是正视转换图像，所以能够适用现有的、以将正视图像作为处理对象为前提而开发的各种二维图像处理的方法。在进行伴随对尺寸和面积的计测的二维计测时，利用在图22的设定处理中所设定的标度信息。此时，二维计测用的程序所运作的运算处理部20，作为二维图像处理装置而工作。若ST66的计测结束，则在ST67，执行在ST65、66所得到的计测结果是否合格的判断处理。其后，返回ST61，而等待下一个工件W。

图23的ST63～66相当于用于计测处理的步骤，但是，对于这些步骤的处理内容和顺序，可采用各种各样的设定。例如，针对多个点进行三维计测也可。此时，可以分别在ST63、ST64中确定多个位置，并在ST65中计算出多个点的三维坐标，或者，也可以重复多次针对一个点进行位置确定的三维坐标计算的从ST63至ST65为止的步骤，而每重复一次就计算出一个位置的三维坐标。ST66的二维计测不管是多少种类都可以进行设定，而且，只要是在ST62以后，则设定为在哪一时刻执行二维计测均可。

图24是检查步骤的其他的例子。在进行该检查时，在图22的ST54由用户设定正视高度的容许范围，并储存在运算处理部20中。正视高度的容许范围是以使标度基准高度包含在该范围中的方式被决定的。正视高度的容许范围是根据如下观点所决定的，而与关于工件W的合格与否的判断基准不同，该观点为：只要计测对象位置的正视高度位于其范围内，则正视转换图像的标度的误差就会被控制在预想的范围内。

从ST61到ST67分别是与图23的相同步骤序号的处理相同的内容。ST71的处理是判断在ST65所计算出的三维坐标所表示的正视高度是否包含在所设定的容许范围内的处理。进行该判断的程序所运作的运算处理部20，作为判断装置而工作。

若所计算出的三维坐标不在正视高度的容许范围内，则经由ST72的报告处理而返回到ST61，若在容许范围内，则不进行报告处理而返回到ST61。在进入到ST72时，针对在二维计测中所利用的标度信息所表示的标度、和在第一图像的实际的标度之间存在比预想的程度还要大的差异的情况，进行报告。例如，显示该情况，或者发出警告音。作为报告的其他的例子，而将误差被包含在计测值中的情况，附加显示在对二维计测的结果的显示中也可，其中，该误差是因为基于具有标度误差的第一图像而进行了处理而导致的。

图25是检查步骤的另外其他的例子。从ST61到ST65、以及ST67的处理内容分别是与图23的相同步骤序号的处理相同的内容。在ST81，将在ST65所求出的三维坐标所表示的正视高度作为标度基准高度，而计算出第一图像的标度信息。进行对该标度信息的计算的程序所运作的运算处理部20，作为标度信息计算装置而工作。在ST82，利用所计算出的标度信息，进行对第一图像的二维计测。

接着，图26是对图22所示的设定处理的步骤进行了变更的图，而使得用户能够一边确认标度基准高度和标度信息的设定是否适当、一边调整设定值。在该步骤中，首先，在ST91用摄像机C0拍摄设定用的工件W。接着，在ST92，将所拍摄到的斜视图像转换为正视图像。将所得到的正视转换图像作为设定用图像来利用。此外，此时，在监视器3显示正视转换图像以及包含转换前的原图像的设定用的窗口90(如图28所示)。

虽然详细内容在后面叙述，但是在该阶段，作为标度基准高度的初始值而设定有在进行校准时所输入的校准工件75的正视高度。在接下来的ST94中，使用户利用设定用窗口90而进行变更标度基准高度的值的操作，而根据该操作而变更标度基准高度和标度信息。该变更操作被反复执行，直到由用户判断为标度基准高度适当为止。若变更处理结束，则进入ST95，而与图22的ST54的情况同样，利用设定用图像而使用户进行计测处理所需的设定。

图27表示上述设定处理时的摄像机C0对设定用的工件W的拍摄状况(虽然也设置有摄像机C1，但省略其图示)。设定用工件W是从计测对象工件W中所选出的合格品。在此的工件W的整体形状是立方体。附图标记T表示工件W的上表面。在图27中示出了假想的平面R0、R1、R2、R3。R0是工件W的安置面，例如为装载工件W的传送带的表面。平面R1、R2、R3与R0平行，而且，从R0开始的高度分别为h1、h2、h3(h1<h2<h3)，平面R2的高度h2与工件W的上表面T的高度一致。此外，将校准工件75放置在平面R1的高度而进行了校准，而且，作为标度基准高度的初始值而设定有平面R1的高度h1。

图28表示在图27的拍摄状态下显示在监视器3的设定用窗口90的内容。在该窗口90显示有由摄像机C0所拍摄到的设定用工件W的图像91、编辑图像92、标度基准高度的调整滚动条93和调整游标94、标度基准高度的数值显示部95、标度基准高度的确定按钮96、标度图形的尺寸输入部97、对标度图形的种类的选择部98。在编辑图像92上，除了工件W的正视转换图像之外，还显示有标度图形99。作成编辑图像92的内容的程序所运作的运算处理部20，作为图像编辑装置而工作。

在由摄像机C0所拍摄到的图像91上，工件W的上表面T被显示为梯形，但是在编辑图像92中转换为本来的正方形而被显示。但是，标度基准高度的初始值被设定为校准工件75的正视高度h1，但与此相对，实际的上表面T的正视高度为h2，所以在被转换显示的上表面T的标度产生了误差。即，上表面T与假设其处于标度基准高度的情况相比被显示得更大。

标度图形99是基于标度基准高度的假想成像倍率而在监视器3的显示画面上对处于标度基准高度平面上的实际尺寸的图像。关于标度图形99的种类，可在选择部98选择正方形、圆形、网格中得任意一个。对尺寸输入部97所输入的尺寸，在标度图形99为正方形时代表一个边的边长度，圆形时代表直径，网格时代表网格线之间的间隔。标度图形99可以通过拖曳操作而移动到编辑图像92内的任意的位置，而使得容易与工件W的正视转换图像进行比较。

在此，作为标度图形99而选择易于与工件W的上表面T的形状进行比较的图像(在此选择了与上表面T形状相同的正方形)、且对尺寸输入部97输入了适合于跟工件W的上表面T的大小进行比较的值时(在此输入了与上表面T的边长相同的尺寸)，如果工件W的上表面T(计测对象位置)的实际的高度高于标度基准高度(若接近于假想摄像机C2)，则与标度图形99进行对比而被识别的上表面T的大小变得比实际更大，而在相反的情况下，则变得比实际更小。

因此，如果设定用工件W的计测对象位置的大小是已知的，则在选择易于跟在监视器3上所观察到的工件W的形状进行比较的标度图形99、且将该尺寸设定为适合于跟计测对象位置的已知的大小进行比较的值时，只要工件W的正视转换图像的计测对象位置的大小与标度图形99的大小之间的比率正确，则此时的标度基准高度与工件W的计测对象位置(此时为上表面T)的正视高度一致。

最初执行图26的ST93时，在从标度基准高度的初始值计算出标度信息的初始值之后，利用对尺寸输入部97所输入的尺寸和对应于标度信息的初始值的大小而将用户所选择的标度图形99显示在编辑图像92上，并使用户进行对标度基准高度的调整。此外，每进行调整，均从调整过的标度基准高度计算出标度信息，并根据该计算结果而变更标度图形99的大小。

沿着调整滚动条93对调整游标94进行拖曳操作，由此能够对标度基准高度进行调整。当前时刻的调整基准高度被显示在标度基准高度的数值显示部95上。若对标度基准高度的调整结束，则通过按下确定按钮96而进行从图26的ST94进入到ST95的处理。此时，标度信息也被确定。这样，就匹配性地变更了标度基准高度和标度信息。用于进行该一系列处理的程序所运作的运算处理部20，作为调整装置而工作。

图29表示针对图28所示的编辑图像92的伴随标度基准高度的变更的显示内容的变化。编辑图像92a是将标度基准高度的初始值设为h1的情况。现在，假设上表面T为边长为100mm的正方形，而且，作为标度图形99而显示有边长为100mm的正方形。此时所显示的标度图形99相当于这种图形，即，假设在标度基准高度(此时的高度为h1)处存在边长为100mm的正方形，在对其进行了拍摄的情况下，对该所拍摄到的正方形进行了正视转换时应被显示的图形。由于实际的上表面T的高度为h2，所以显示大于标度图形99。

如果将标度基准高度调整为h2，则如编辑图像92b所示那样，会得到上表面T的大小和标度图形的大小一致的编辑图像。进而，如果将标度基准高度增大到h3，则编辑图像92c所示那样，标度图形99被显示得比上表面T的正视转换图像更大。

通过上述操作，用户在将标度基准高度设定为h2时，能够判断该设定值与上表面T的正视高度一致。如果通过拖曳操作而使标度图形99与上表面T的正视转换图像重叠，则能够对大小更加正确地进行对比。

如此，用户对标度基准高度进行调整，直到编辑图像中的计测对象位置和标度图形99的比率成为正确的状态为止，由此能够使标度基准高度与计测对象位置的正视高度正确地匹配。由此，还能够正确地设定标度信息。

若根据上述的显示，则用户通过编辑图像92的显示，而能够直接确认设定用工件W的计测对象位置的正视高度与标度基准高度大致一致的情况。若关于该高度一致的误差小，则即使在第二图像上的高度方向上的对应位置搜索范围小，也能够找到对应位置。此外，若关于该高度一致的误差小，则在利用第一图像而进行包含尺寸计测或面积计测的二维计测时，其计测结果的误差变小。

这样，在上述例子中，在观察编辑图像92的同时，进行了使标度基准高度与计测对象位置的正视高度匹配的调整，但是，因为不一定要用户理解关于标度基准高度的概念，所以对于用户来说，也不一定需要表示出调整对象就是标度基准高度。例如，也可以使用户认为是正在调整正视转换图像的标度，而实际上是在调整基准高度。此外，实际上也进行对于正视转换图像的标度的调整处理，而根据标度的调整结果而计算出对应的标度基准高度也可。

例如，取代直接调整标度基准高度，而为了使工件W的正视转换图像中的计测对象位置的大小和标度图形99的大小之间的比率变得正确，而放大或者缩小标度图形99以及工件W的正视转换图像中的任意一方、或者以互不相同的比率放大或缩小两者，并根据它们的放大缩小率而求出标度信息的同时，计算出对应的标度基准高度也可。

如此的、参照工件W的正视转换图像中的计测对象位置的大小和标度图形99的大小之间的比率的同时最终求出标度基准高度的方法，能够利用于如下的情况，即，在不知工件W的计测对象位置的正视高度的情况下，在观察显示在监视器3上的图像的同时设定标度基准高度的情况。

但是，根据标度基准高度和标度信息中的一个而求出另一个的方法，并不仅限定于将从斜视图像所转换的正视图像作为二维计测的对象的情况，而如图1所示，也可以适用于将以正视的方式所配置的摄像机C0所拍摄的正视图像作为二维计测的对象的情况。此时，也同样可能够获得易于设定的优点。

此外，在第一摄像机被斜视配置或正视配置的任一情况下，均对通过三维计测的结果所显示的正视高度和标度基准高度进行比较，从而能够对于标度信息的值是否适当进行评价。这样，进行三维计测就可以验证二维计测的正确性。

显而易见地，用图24来说明了的、判断所计算出的三维坐标所表示的正视高度是否包含在容许范围的方法、用图25来说明了的、利用所计算出的三维坐标所表示的正视高度而计算出标度信息的方法、用图26至图29说明了的、根据用户的操作而调整标度基准高度的方法，均都能够适用于将第一摄像机朝向正视方向所配置的情况。

作为从标度基准高度计算出标度信息时所使用的标度基准高度，可以使用用户输入的值，也可以使用装置自身实际以工件W为对象而进行计测得到的正视高度。该正视高度的计测可以利用使用了第一、第二摄像机的三维计测功能而进行计测，但是，设置正视高度计测用的传感器，并通过该传感器而进行计测也可。作为正视高度计测用的传感器，可以使用公知的各种传感器，如基于激光束的投射和其反射光的受光的三角测距方式的激光位移计、或探针接触式的位移计等。

基于上述的公开，也能够得出下述的图像处理装置。

(A).一种图像处理装置，利用第一图像和第二图像进行处理，其中，上述第一图像是基于第一摄像机拍摄对象物得到的图像而获得的正视图像，上述第二图像则基于第二摄像机拍摄的图像，配置第二摄像机时，使该拍摄对象物的方向不同于第一摄像机的拍摄方向，其具备：

设定装置，其利用设定用图像，而使用户进行关于计测对象位置的设定，其中，上述设定用图像是基于第一摄像机拍摄设定用对象物得到的图像而获得的正视图像；

位置确定装置，其对作为基于第一摄像机拍摄计测对象的对象物得到的图像而获得的正视图像时的第一图像，基于上述设定而确定对象物上的位置；

三维计测装置，其确定与在第一图像中所确定的上述位置对应的第二图像中的位置，并利用所确定的第一图像上的位置和第二图像上的位置而计算出三维坐标，

能够利用在正视图像中的尺寸与计测对象位置的实际尺寸之间建立关联的标度信息、以及与标度信息匹配的正视高度即标度基准高度，

还具备二维图像处理装置，该二维图像处理装置以第一图像为对象，使用标度信息进行二维图像处理。

(B).如(A)所述的图像处理装置，还能够利用包含标度基准高度在内的正视高度容许范围值，

还具备判断装置，该判断装置判断通过上述三维计测装置所计算出的上述三维坐标所表示的正视高度是否包含在上述容许范围内。

(C).如(A)所述的图像处理装置，还具有标度信息计算装置，上述标度信息计算装置利用通过上述三维计测装置所计算出的上述三维坐标所表示的正视高度，而计算出标度信息。

(D).如(A)所述的图像处理装置，还具有调整装置，该调整装置基于用户的操作而匹配性地变更标度基准高度以及标度信息。

(E).如(D)所述的图像处理装置，还具备图像编辑装置，该图像编辑装置对显示用图像进行编辑，其中，上述显示用图像是对于第一图像加上表示在位于标度基准高度平面上的实际尺寸的标度图形而获得的。

在(A)的图像处理装置中所使用的正视图像，可以是用正视配置的摄像机所拍摄到的图像，也可以是由用倾斜配置的摄像机所拍摄到的图像所转换的正视图像。若根据该图像处理装置，则能够利用相互匹配的标度信息和标度基准高度，而对计测对象的对象物可进行利用了标度信息的二维图像处理的同时，也可进行三维计测。因此，通过三维计测所求出的正视高度与标度基准高度之间的差很大时，就可以知道：在利用了标度信息的二维图像处理的结果中发生有误差。

此外，如果将计测对象位置的正视高度作为标度基准高度，而根据标度基准高度计算出标度信息，则即使在对象物的种类被变更而计测对象位置的高度发生变化的情况下，也能够容易地设定标度信息。用于决定标度信息的正视高度，可以是用户指定的，也可以是图像处理装置自身所计测出来的。

若根据(B)的图像处理装置，则所计算出的三维坐标不在正视高度的容许范围内时，就可以知道：在二维图像处理装置所利用的标度信息所表示的标度、和第一图像的实际的标度之间，存在比预想的程度还要大的差异。

若根据(C)的图像处理装置，则利用根据正视高度的实测值所计算出的标度信息而进行二维图像处理，所以能够更加正确地进行关于对象物的计测。

若根据(D)的图像处理装置，则当基于用户的操作而将标度基准高度调整得与三维计测的对象位置的实际的正视高度大致一致时，在第二图像上可能会出现计测对象位置的范围变小。因此，如果将这种小的范围作为对象而确定与在第一图像上所确定的位置对应的位置，则在第一图像、第二图像之间建立计测对象位置的对应关系时出错的可能性会降低，而且，确定对应位置的运算所需要的时间也会缩短。

此外，如果基于用户的操作而正确地调整标度信息，则对第一图像进行伴随尺寸或面积的计测的各种二维图像处理时，在其结果中所包含的误差会变少。

若根据(E)的图像处理装置，则当显示了被编辑过的图像时，用户能够进行调整操作，以使得所显示出的标度图形和计测对象位置的像之间的大小关系变得正确。

Claims (13)

1.一种图像处理装置，利用第一图像和第二图像进行处理，上述第一图像是基于第一摄像机拍摄对象物得到的图像所获得的正视图像，上述第二图像则基于第二摄像机拍摄到的图像，配置第二摄像机时，使拍摄该对象物的方向不同于第一摄像机的拍摄方向，其特征在于，具有：

设定装置，其使用户利用设定用图像来进行关于指定区域的设定，其中上述设定用图像是基于第一摄像机拍摄设定用对象物得到的图像所获得的正视图像；

位置确定装置，其针对作为基于第一摄像机拍摄计测对象的对象物得到的图像所获得的正视图像的第一图像，基于上述设定来决定指定区域，并在该指定区域内确定对象物上的位置；

三维计测装置，其确定与在第一图像上所确定的上述位置对应的第二图像上的位置，并利用所确定的第一图像上的位置和第二图像上的位置来计算三维坐标。

2.如权利要求1所述的图像处理装置，其特征在于，

还具有转换装置，该转换装置进行转换运算，将配置为从斜视的方向拍摄对象物的第一摄像机所拍摄的斜视图像转换为正视图像，

上述设定用图像是指，通过上述转换装置对第一摄像机从斜视的方向拍摄设定用对象物得到的图像进行转换，由此所获得的图像，

第一图像是指，通过上述转换装置对第一摄像机从斜视的方向拍摄计测对象的对象物得到的图像进行转换，由此所获得的图像。

3.如权利要求2所述的图像处理装置，其特征在于，还具有：

存储装置，其存储用于对上述转换装置所转换的正视图像上的尺寸和计测对象位置的实际尺寸建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值、包含标度基准高度在内的正视高度容许范围值；

二维图像处理装置，其以第一图像为对象，利用标度信息来进行二维图像处理；

判断装置，其判断上述三维计测装置计算出的上述三维坐标所表示的正视高度是否包含在上述容许范围内。

4.如权利要求2所述的图像处理装置，其特征在于，还具有：

标度信息计算装置，其利用上述三维计测装置计算出的上述三维坐标所表示的正视高度，计算用于对转换装置所转换的正视图像上的尺寸和计测对象位置的实际尺寸建立关联的标度信息；

二维图像处理装置，其以第一图像为对象，利用标度信息来进行二维图像处理。

5.如权利要求2所述的图像处理装置，其特征在于，还具有：

存储装置，其存储用于对上述转换装置所转换的正视图像上的尺寸和计测对象位置的实际尺寸建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值；

调整装置，其基于用户的操作，匹配性地变更标度基准高度以及标度信息。

6.如权利要求5所述的图像处理装置，其特征在于，还具有图像编辑装置，该图像编辑装置对显示用图像进行编辑，其中，上述显示用图像是指，对第一图像加上表示位于标度基准高度的平面上的实际尺寸的标度图形的图像。

7.一种图像处理装置，利用第一图像和第二图像进行处理，上述第一图像是基于第一摄像机从斜视的方向拍摄对象物得到的图像所获得的正视图像，上述第二图像则基于第二摄像机拍摄到的图像，配置第二摄像机时，使拍摄该对象物的方向不同于第一摄像机的拍摄方向，其特征在于，具有：

转换装置，其进行转换运算，将配置为从斜视的方向拍摄对象物的第一摄像机所拍摄到的斜视图像，转换为正视图像；

设定装置，其使用户利用设定用图像来进行关于计测对象位置的设定，其中上述设定用图像是指，通过上述转换装置对第一摄像机拍摄设定用对象物得到的图像进行转换，由此所获得的图像；

位置确定装置，其在上述转换装置对第一摄像机拍摄计测对象的对象物得到的图像进行转换所获得的第一图像上，基于上述设定来确定对象物上的位置；

三维计测装置，其确定与在第一图像上所确定的上述位置对应的第二图像上的位置，并利用所确定的第一图像上的位置和第二图像上的位置来计算三维坐标。

8.如权利要求7所述的图像处理装置，其特征在于，还具有：

存储装置，其存储用于对上述转换装置所转换的正视图像上的尺寸和计测对象位置的实际尺寸建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值、包含标度基准高度在内的正视高度容许范围值；

二维图像处理装置，其以第一图像为对象，利用标度信息来进行二维图像处理；

判断装置，其判断上述三维计测装置计算出的上述三维坐标所表示的正视高度是否包含在上述容许范围内。

9.如权利要求7所述的图像处理装置，其特征在于，还具有：

标度信息计算装置，其利用上述三维计测装置计算出的上述三维坐标所表示的正视高度，计算用于对转换装置所转换的正视图像上的尺寸和计测对象位置的实际尺寸建立关联的标度信息；

二维图像处理装置，其以第一图像为对象，利用标度信息来进行二维图像处理。

10.如权利要求7所述的图像处理装置，其特征在于，还具有：

存储装置，其存储用于对上述转换装置所转换的正视图像上的尺寸和计测对象位置的实际尺寸建立关联的标度信息、与标度信息匹配的正视高度即标度基准高度值；

调整装置，其基于用户的操作，匹配性地变更标度基准高度以及标度信息。

11.如权利要求10所述的图像处理装置，其特征在于，还具有图像编辑装置，该图像编辑装置对显示用图像进行编辑，其中，上述显示用图像是指，对第一图像加上表示位于标度基准高度的平面上的实际尺寸的标度图形的图像。

12.一种图像处理方法，利用第一图像和第二图像进行处理，上述第一图像是基于第一摄像机拍摄对象物得到的图像所获得的正视图像，上述第二图像则基于第二摄像机拍摄到的图像，配置第二摄像机时，使拍摄该对象物的方向不同于第一摄像机的拍摄方向，其特征在于，包括：

设定步骤，显示设定用图像，并使用户利用该设定用图像进行关于指定区域的设定，其中，上述设定用图像是基于第一摄像机拍摄设定用对象物得到的图像所获得的正视图像；

位置确定步骤，针对作为基于第一摄像机拍摄计测对象的对象物得到的图像所获得的正视图像的第一图像，基于上述设定来决定指定区域，并在该指定区域内确定对象物上的位置；

三维计测步骤，确定与在第一图像上所确定的上述位置对应的第二图像上的位置，并利用所确定的第一图像上的位置和第二图像上的位置来计算三维坐标。

13.一种图像处理方法，利用第一图像和第二图像进行处理，上述第一图像是基于配置成从斜视的方向拍摄对象物的第一摄像机拍摄对象物得到的图像所获得的正视图像，上述第二图像则基于第二摄像机拍摄到的图像，配置第二摄像机时，使拍摄该对象物的方向不同于第一摄像机的拍摄方向，其特征在于，具有：

设定步骤，通过将第一摄像机拍摄到的斜视图像转换为正视图像的转换运算，将第一摄像机拍摄设定用对象物得到的图像转换为设定用图像，并使用户利用该设定用图像来进行关于计测对象位置的设定；

位置确定步骤，通过上述转换运算，将第一摄像机拍摄计测对象的对象物得到的图像转换为第一图像，并在第一图像上，基于上述设定来确定对象物上的位置；

三维计测步骤，确定与在第一图像上所确定的上述位置对应的第二图像上的位置，并利用所确定的第一图像上的位置和第二图像上的位置来计算三维坐标。

Images