CN105378573A - 信息处理装置、检查范围的计算方法以及程序 - Google Patents

Abstract

本发明用于使示教作业高效化。提供一种信息处理装置(20)，其具有存储部(21)以及计算部(22)，存储部存储现实装置(10)的三维信息，现实装置包括：对象物；产生源，其产生作用于对象物来赋予能够从外部检测的变化(CH)的作用要素；以及检测部，其能够在已设定的检测范围内检测由作用要素引起的变化(CH)，计算部基于三维信息生成将现实装置(10)再现于虚拟空间内而得到的虚拟装置(23)，利用虚拟装置(23)模拟由作用要素引起的变化(CH)，计算满足已设定的条件的变化(CH)被检测出的对象物的范围(A3)。

Description

信息处理装置、检查范围的计算方法以及程序

技术领域

本发明涉及信息处理装置、检查范围的计算方法以及程序。

背景技术

在制造物件的现场，使用装配装置、检查装置等各种装置。在使这样的装置运转时，进行对运转的装置登记用于动作的信息的作业。对装置登记运转用信息的作业被称为示教作业。在较多情况下，示教作业基于从装置检测出的信息，并基于人的高度的识别力、判断力以手动作业进行。因此，在示教作业上花费时间。另外，作业的熟练程度对示教作业的精度产生影响。而且，基于从装置检测出的信息识别对装置的运转有用的信息的处理较复杂，通过计算机将示教作业自动化并不容易。

关于辅助示教作业的技术，提出了如下那样的示教装置。该示教装置具有个人计算机主体、显示装置、鼠标。该示教装置是对基于一边以依次通过多个检查点的方式移动、一边拍摄工件的相机的图像来检查工件的视觉检查装置示教检查点的位置的装置。个人计算机主体使用三维CAD(ComputerAidedDesign，计算机辅助设计)功能，将用相机虚拟地拍摄工件而得到的检查图像显示于显示装置。操作员操作个人计算机主体，使得在显示装置显示适当的检查图像，并指定适当的检查图像。个人计算机主体计算与操作员所指定的检查图像对应的检查点，并执行检查顺序的决定等处理。

专利文献1：日本特开2005-52926号公报

通过应用上述示教装置，操作员能够一边观察基于三维CAD的虚拟空间内的检查图像，一边不运转现实的视觉检查装置来进行示教作业。因此，上述示教装置在如下用途上较有用：在以通过多个检查点的方式使相机移动时，事先验证使相机移动的机器人与工件不干扰的移动路径，选择适宜的移动路径。然而，适合工件检查的检查点的登记是由操作员边看虚拟空间内的检查图像边进行。这种作业才是基于人的高度的识别力、判断力的花费时间的作业。如果能够将示教作业中的涉及人的判断的工程自动化，则示教作业及示教后的装置运用等高效化。

发明内容

因此，根据一个方面，本发明的目的在于提供能够将示教作业高效化的信息处理装置、检查范围的计算方法以及程序。

根据本公开的一个方面，提供一种信息处理装置，其具有存储部以及计算部，存储部存储现实装置的三维信息，现实装置包括：对象物；产生源，其产生作用于对象物来赋予能够从外部检测的变化的作用要素；以及检测部，其能够在已设定的检测范围内检测由作用要素引起的变化，计算部基于三维信息生成将现实装置再现于虚拟空间内而得到的虚拟装置，利用虚拟装置模拟由作用要素引起的变化，计算满足已设定条件的变化被检测出的对象物的范围。

根据本公开的另一个方面，提供一种检查范围的计算方法，在该方法中，计算机具有存储现实装置的三维信息的存储器，现实装置包括：对象物；产生源，其产生作用于对象物来赋予能够从外部检测的变化的作用要素；以及检测部，其能够在已设定的检测范围内检测由作用要素引起的变化，计算机基于三维信息生成将现实装置再现于虚拟空间内而得到的虚拟装置，利用虚拟装置模拟由作用要素引起的变化，计算满足已设定条件的变化被检测出的对象物的范围。

根据本公开的另一个方面，提供一种程序。计算机具有存储现实装置的三维信息的存储器，现实装置包括：对象物；产生源，其产生作用于对象物来赋予能够从外部检测的变化的作用要素；以及检测部，其能够在已设定的检测范围内检测由作用要素引起的变化。该程序使计算机执行以下处理：基于三维信息生成将现实装置再现于虚拟空间内而得到的虚拟装置，利用虚拟装置模拟由作用要素引起的变化，计算满足已设定条件的变化被检测出的对象物的范围。

此外，根据本公开的另一个方面，能够提供一种记录有上述程序的通过计算机能够读取的记录介质。

如上所述，根据本发明，能够使示教作业高效化。

附图说明

通过与表示作为本发明的例子而优选的实施方式的附图相关联的下述说明，本发明的上述及其它目的、特征及优点变得更加明确。

图1是示出第一实施方式所涉及的系统的一个例子的图。

图2是示出第二实施方式所涉及的系统的一个例子的图。

图3是示出第二实施方式所涉及的现实装置的一个例子的图。

图4是用于对第二实施方式所涉及的现实装置的机构进行说明的图。

图5是用于对第二实施方式所涉及的控制装置的硬件进行说明的图。

图6是用于对第二实施方式所涉及的控制装置的功能进行说明的框图。

图7是用于对第二实施方式所涉及的信息处理装置的功能进行说明的框图。

图8是用于对第二实施方式所涉及的现实装置侧的处理流程进行说明的第一流程图。

图9是用于对第二实施方式所涉及的现实装置侧的处理流程进行说明的第二流程图。

图10是用于对第二实施方式所涉及的虚拟装置侧的处理流程进行说明的第一流程图。

图11是用于对第二实施方式所涉及的虚拟装置侧的处理流程进行说明的第二流程图。

图12是用于对在第二实施方式所涉及的现实装置中所拍摄的拍摄图像进行说明的图。

图13是用于对在第二实施方式所涉及的虚拟装置中所拍摄的拍摄图像进行说明的图。

图14是用于对第二实施方式所涉及的二次数据的计算方法(区域计算)进行说明的图。

图15是用于对第二实施方式所涉及的二次数据的计算方法(分辨率计算)进行说明的图。

图16是用于对第二实施方式所涉及的二次数据的计算方法(二次数据生成)进行说明的图。

图17是用于对第二实施方式所涉及的将二次数据用于光量水平的调整的方法进行说明的图。

图18是用于对第二实施方式所涉及的二次数据的计算方法(考虑到除外区域的区域计算)进行说明的第一图。

图19是用于对第二实施方式所涉及的二次数据的计算方法(考虑到除外区域的区域计算)进行说明的第二图。

图20是用于对第二实施方式所涉及的二次数据的部件化进行说明的图。

图21是用于对第二实施方式所涉及的部件化后的二次数据的利用方法进行说明的第一图。

图22是用于对第二实施方式所涉及的部件化后的二次数据的利用方法进行说明的第二图。

图23是用于对第二实施方式所涉及的部件化后的二次数据的利用方法进行说明的第三图。

图24是用于对第二实施方式所涉及的部件化后的二次数据的利用方法进行说明的第四图。

图25是用于对第二实施方式的一变形例(变形例#1)所涉及的二次数据的计算方法进行说明的第一图。

图26是用于对第二实施方式的一变形例(变形例#1)所涉及的二次数据的计算方法进行说明的第二图。

图27是示出第二实施方式的一变形例(变形例#2)所涉及的系统的一个例子的图。

图28是用于对第二实施方式的一变形例(变形例#2)所涉及的二次数据的计算方法进行说明的图。

具体实施方式

在以下，参照添加的附图对本发明的实施方式进行说明。此外，对于本说明书及附图中实质上具有相同功能的要素，存在通过标记相同的附图标记来省略重复说明的情况。

＜1.第一实施方式＞

参照图1对第一实施方式进行说明。图1是示出第一实施方式所涉及的系统的一个例子的图。

第一实施方式所涉及的系统包括现实装置10及信息处理装置20。

现实装置10包括：对象物；产生源，其产生作用于对象物来赋予能够从外部检测的变化CH的作用要素；以及检测部，其能够在已设定的检测范围内检测由作用要素引起的变化CH。

信息处理装置20具有存储部21及计算部22。

此外，存储部21可以具有RAM(RandomAccessMemory，随机存取存储器)等易失性存储装置(未图示)及HDD(HardDiskDrive，硬盘驱动器)或者闪存等非易失性存储装置(未图示)。

计算部22可以是CPU(CentralProcessingUnit，中央处理器)或DSP(DigitalSignalProcessor，数字信号处理器)等处理器。计算部22也可以是ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)或FPGA(FieldProgrammableGateArray，现场可编程门阵列)等处理器以外的电子电路。计算部22执行例如存储于存储部21或其它存储器的程序。

存储部21存储现实装置10的三维信息。例如，存储部21将表示上述对象物、设置该对象物的设置机构、上述检测部和上述产生源的位置、姿势、形状等的三维CAD数据作为三维信息来存储。计算部22基于三维信息生成将现实装置10再现于虚拟空间内而得到的虚拟装置23。

例如，计算部22生成将现实装置10所包含的上述对象物再现于虚拟空间内而得到的对象物OBJ。另外，计算部22生成将现实装置10所包含的上述检测部再现于虚拟空间内而得到的检测部24。而且，计算部22生成将现实装置10所包含的上述产生源再现于虚拟空间内而得到的产生源25。此外，计算部22还在虚拟空间内生成上述设置机构等。

像这样，计算部22通过利用三维CAD数据等三维信息在虚拟空间内再现现实装置10。

如上述那样，利用三维信息再现现实装置10，所以计算部22能够用虚拟装置23再现与现实装置10的动作相同的动作。例如，计算部22能够接收控制现实装置10的动作的控制信号，使虚拟装置23进行与现实装置10相同的动作等。

另外，计算部22利用虚拟装置23模拟由作用要素引起的变化CH。例如，在作用要素是光的情况下，计算部22执行虚拟装置23的环境中的光学模拟。在该情况下，检测部24及产生源25分别成为模拟相机及光源的部件。

在作用要素是热的情况下，计算部22执行温度模拟。在该情况下，检测部24及产生源25分别成为模拟温度传感器及热源的部件。

另外，在作用要素是声音的情况下，计算部22执行音响模拟。在该情况下，检测部24及产生源25分别成为模拟话筒及声源的部件。

在作用要素是电磁波的情况下，计算部22执行电磁场模拟。在该情况下，检测部24及产生源25分别成为模拟电磁场传感器及电磁场产生源的部件。

在作用要素是压力的情况下，计算部22使用有限元分析等执行模拟。在该情况下，检测部24及产生源25分别成为模拟应变仪及压力源的部件。

另外，计算部22计算满足已设定的条件的变化CH被检测出的对象物的范围(与计算结果A3对应)。以作用要素是光的情况为例进行说明。在该情况下，计算部22模拟用检测部24拍摄用产生源25照明后的对象物OBJ的拍摄图像Pv的处理。拍摄图像Pv包括受到产生源25的照明的影响的对象物OBJ。在对象物OBJ的表面反射的光的强度分布根据对象物OBJ的位置、姿势、形状及照明的强度等发生变化。

例如，计算部22检测满足关于对象物OBJ的形状而设定的条件的对象物OBJ的范围(第一范围A1)。例如，在因对象物OBJ的形状及设置条件等而不考虑反射光的强度分布较好的范围存在的情况下，设定将该范围除外的条件。该条件与对象物OBJ的形状有关，所以计算部22能够通过利用三维CAD数据等三维信息来计算第一范围A1。

而且，计算部22检测反射光的强度比已设定的阈值大的对象物OBJ的范围。在该情况下，变化CH是反射光的强度变得比已设定的阈值大。例如，计算部22能够计算拍摄图像Pv中的明亮度的分布，根据该计算结果计算变化CH产生了的对象物OBJ的范围(第二范围A2)。然后，计算部22将计算出的第一范围A1与第二范围A2的重叠范围作为计算结果A3输出。在该情况下，计算结果A3是满足与对象物OBJ的形状有关的条件和与反射光的强度分布有关的条件的对象物OBJ的范围。

通过将上述的计算结果A3反馈至现实装置10，能够使现实装置10中的示教作业、现实装置10的运用高效化。

例如，通过注目于上述的计算结果A3来调整产生源25所产生的光的光量水平，能够使调整作业高效化。另外，通过边参照计算结果A3边进行对象物OBJ的移动、姿势控制，能够不依赖于操作员的熟练程度而高效地进行照明对象物OBJ的整个面那样的操作。虽然以作用要素是光的情况为例进行了说明，但对于其它作用要素的情况也相同。

以上，对第一实施方式进行了说明。

＜2.第二实施方式＞

接下来，对第二实施方式进行说明。

[2-1.系统]

首先，参照图2对第二实施方式所涉及的系统进行说明。图2是示出第二实施方式所涉及的系统的一个例子的图。

如图2所示，第二实施方式所涉及的系统包括：现实装置100、控制装置200、信息处理装置300以及显示装置250、350。

现实装置100具有拍摄部101、设置台102、照明103及机器人104。此外，通过控制装置200来控制拍摄部101、设置台102、照明103及机器人104的动作。

拍摄部101是拍摄包括设置于机器人104的工件WK的范围的拍摄设备。拍摄部101例如包括：透镜等光学系统、CCD(ChargeCoupledDevice，电荷耦合元件)或CMOS(ComplementaryMetal-OxideSemiconductor，互补金属氧化物半导体)等拍摄元件、以及执行A/D转换或数字信号处理等的图像处理处理器等。

设置台102是固定照明103、机器人104的台。照明103是设置于设置台102上，对包括设置于机器人104的工件WK的区域照明的光源。机器人104是把持工件WK，移动工件WK的位置或者改变工件WK的姿势的机构。

现实装置100例如用于工件WK表面的状态检查等。在该情况下，现实装置100将网状图案等照明图案映射于工件WK的表面，拍摄映射有照明图案的工件WK。根据像这样拍摄到的拍摄图像来分析映射于工件WK的照明图案的形状，由此能够检测在工件WK的表面形成的划痕、凹陷等缺陷。

然而，在工件WK是立体形状的情况下，有时只在工件WK表面的有限范围(检查视野)映射有照明图案。因此，现实装置100一边利用机器人104改变工件WK的位置、姿势，一边通过拍摄部101拍摄映射有照明图案的工件WK。通过利用一边改变工件WK的位置、姿势一边拍摄而得到的多个拍摄图像，能够对工件WK表面的较广的范围分析照明图案的形状。此外，也可以改变拍摄部101的位置、姿势，但在第二实施方式中，以固定拍摄部101而改变工件WK的位置、姿势的情况为例进行说明。

如上所述，若利用现实装置100，则能够获得从多个检查视野拍摄到的工件WK的拍摄图像。然而，检查视野的决定由操作员进行。若改变工件WK的位置、姿势，则操作员难以准确识别变化前的检查视野是工件WK表面的哪个范围。因此，第二实施方式所涉及的系统提供一种使操作员能够容易识别检查视野的结构。通过使用该结构，能够抑制对于工件WK的一部分范围产生检查遗漏、为了避免检查遗漏而使检查视野的重叠过多进而导致检查时间增多。

通过控制装置200来控制如上所述的现实装置100的动作。控制装置200经由通信线路与信息处理装置300连接。例如，控制装置200利用套接字通信将现实装置100的控制信息等发送至信息处理装置300。另外，控制装置200与显示装置250连接。

显示装置250例如是CRT(CathodeRayTube，阴极射线管)、LCD(LiquidCrystalDisplay，液晶显示器)、PDP(PlasmaDisplayPanel，等离子显示屏)、ELD(Electro-LuminescenceDisplay，电致发光显示器)等显示器装置。控制装置200使拍摄部101拍摄到的拍摄图像显示在显示装置250。操作员一边观察显示装置250的拍摄图像一边进行操作。

信息处理装置300保持现实装置100的三维CAD数据，利用三维CAD数据来生成将现实装置100再现于虚拟空间内而得到的虚拟装置。另外，信息处理装置300接收现实装置100的控制信息等，基于接收到的控制信息来模拟虚拟装置的动作。信息处理装置300计算与检查视野对应的工件WK表面的范围。而且，信息处理装置300将表示计算出的与检查视野对应的工件WK表面的范围的信息发送至控制装置200。

信息处理装置300与显示装置350连接。显示装置350例如是CRT、LCD、PDP、ELD等显示器装置。信息处理装置300使在虚拟装置内虚拟地拍摄到的工件WK的拍摄图像显示在显示装置350。信息处理装置300使与检查视野对应的工件WK的范围与显示在显示装置350的拍摄图像重叠显示。另外，信息处理装置300将与检查视野对应的工件WK的范围转换成三维CAD数据并保持。表示与检查视野对应的工件WK的范围的信息适当地被发送至控制装置200，与显示在显示装置250的拍摄图像重叠显示。

以上，对第二实施方式所涉及的系统进行了说明。此外，虽然以利用照明图案的映射的检查方法为例进行了说明，但其它检查方法也能够应用于第二实施方式所涉及的系统。以下，对第二实施方式所涉及的系统所包含的装置的硬件、功能及处理流程进行说明。

[2-2.硬件]

参照图3～图5，对第二实施方式所涉及的系统所包含的装置的硬件进行说明。

此外，图3是示出第二实施方式所涉及的现实装置的一个例子的图。图4是用于对第二实施方式所涉及的现实装置的机构进行说明的图。图5是用于对第二实施方式所涉及的控制装置的硬件进行说明的图。

(现实装置)

参照图3及图4对现实装置100的硬件进行说明。

如图3所示，现实装置100具有：拍摄部101、设置台102、照明103、X机构111、Y机构112、第一旋转机构113、第二旋转机构114以及把持机构115。X机构111、Y机构112、第一旋转机构113、第二旋转机构114以及把持机构115是设置机构的一个例子。

X机构111设置于设置台102上。Y机构112设置于X机构111上。第一旋转机构113设置于Y机构112上。第二旋转机构114设置于第一旋转机构113上。在第二旋转机构114设置有把持机构115。在把持机构115设置有工件WK。

如图4所示，X机构111是沿着X方向如箭头a所示那样移动的机构。伴随着X机构111的移动，Y机构112、第一旋转机构113、第二旋转机构114、把持机构115以及工件WK沿X方向移动。Y机构112是沿着与X方向正交的Y方向如箭头b所示那样移动的机构。伴随着Y机构112的移动，第一旋转机构113、第二旋转机构114、把持机构115以及工件WK沿Y方向移动。

第一旋转机构113在X-Y面内如箭头c所示那样旋转。伴随着第一旋转机构113的旋转，第二旋转机构114、把持机构115以及工件WK在X-Y面内旋转。第二旋转机构114从Z方向朝向X-Y面沿使把持机构115倾倒的方向旋转(如箭头d所示那样旋转。)。伴随着第二旋转机构114的旋转，把持机构115及工件WK从Z方向朝向X-Y面倾倒旋转角度的量。

通过X机构111及Y机构112的动作，工件WK的位置发生移动。另外，通过第一旋转机构113及第二旋转机构114的动作，工件WK的姿势发生改变。因此，通过控制X机构111、Y机构112、第一旋转机构113以及第二旋转机构114的动作，能够自由地调整检查视野。

(控制装置、信息处理装置)

接下来，参照图5对控制装置200的硬件进行说明。

例如能够使用图5所示的信息处理装置的硬件资源来实现控制装置200所具有的功能。即，通过使用计算机程序控制图5所示的硬件来实现控制装置200所具有的功能。

如图5所示，该硬件主要具有CPU902、ROM(ReadOnlyMemory，只读存储器)904、RAM906、主机总线908和桥接器910。而且，该硬件具有外部总线912、接口914、输入部916、输出部918、存储部920、驱动器922、连接端口924和通信部926。

CPU902例如作为运算处理装置或控制装置发挥作用，基于记录于ROM904、RAM906、存储部920或者可移动记录介质928的各种程序来控制各构成要素的动作的全部或其一部分。ROM904是储存用于被CPU902读入的程序、运算的数据等的存储装置的一个例子。在RAM906，暂时或永久地储存例如被CPU902读入的程序、执行该程序时变化的各种参数等。

这些要素例如经由能够实现高速的数据传送的主机总线908相互连接。另一方面，主机总线908例如经由桥接器910与数据传送速度较低的外部总线912连接。另外，作为输入部916例如能够使用鼠标、键盘、触摸面板、触摸板、按钮、开关、杆(lever)等。而且，作为输入部916有时也使用能够利用红外线或其它电波来发送控制信号的遥控器。

输出部918例如是将图像信号输出至CRT、LCD、PDP、ELD等显示器装置的视频输出设备。另外，作为输出部918，有时也使用扬声器或耳机等音频输出装置、或者打印机等。即，输出部918是能够输出视觉上或听觉上的信息的装置。

存储部920是用于储存各种数据的装置。作为存储部920，例如使用HDD等磁性存储设备。另外，作为存储部920，也可以使用SSD(SolidStateDrive，固态硬盘)或RAM盘(随机存取存储器磁盘)等半导体存储设备、光存储设备或者光磁性存储设备等。

驱动器922是读出记录于作为能够装卸的记录介质的可移动记录介质928的信息，或者将信息写入至可移动记录介质928的装置。作为可移动记录介质928，例如使用磁盘、光盘、磁光盘或者半导体存储器等。

连接端口924例如是USB(UniversalSerialBus)端口、IEEE1394端口、SCSI(SmallComputerSystemInterface，小型计算机系统接口)、RS-232C端口或者光音频端子等用于连接外部连接设备930的端口。作为外部连接设备930，例如使用打印机等。

通信部926是用于与网络932连接的通信设备。作为通信部926，例如使用有线或无线LAN(LocalAreaNetwork，局域网)用的通信电路、WUSB(WirelessUSB，无线USB)用的通信电路、光通信用的通信电路或路由器、ADSL(AsymmetricDigitalSubscriberLine，非对称数字用户环线)用的通信电路或路由器、便携式电话网络用的通信电路等。与通信部926连接的网络932是通过有线或无线连接的网络，例如包括互联网、LAN、广播网、卫星通信线路等。

此外，后述的信息处理装置300的功能能够与控制装置200相同地通过图5例示出的硬件来实现。因此，对于信息处理装置300的硬件，省略详细说明。

[2-3.控制装置的功能]

接下来，参照图6对控制装置200的功能进行说明。图6是用于对第二实施方式所涉及的控制装置的功能进行说明的框图。

如图6所示，控制装置200具有信息管理部201、机器人控制部202、图像获取部203、光量调整部204、存储部205、作业处理部206以及显示控制部207。

此外，信息管理部201、机器人控制部202、图像获取部203、光量调整部204、作业处理部206以及显示控制部207的功能能够使用上述的CPU902等来实现。另外，存储部205的功能能够使用上述的RAM906或存储部920等来实现。

信息管理部201获取操作员输入的信息。信息管理部201获取到的信息被输入至机器人控制部202、光量调整部204、作业处理部206。机器人控制部202按照从信息管理部201输入的信息，将用于控制机器人104的第一控制信息发送至现实装置100，控制机器人104的动作。另外，机器人控制部202将发送至现实装置100的第一控制信息输入至信息管理部201。信息管理部201将从机器人控制部202输入的第一控制信息发送至信息处理装置300。

图像获取部203从现实装置100接收拍摄部101拍摄到的拍摄图像。图像获取部203接收到的拍摄图像被储存于存储部205。光量调整部204按照从信息管理部201输入的信息，将用于控制照明103的第二控制信息发送至现实装置100，控制照明103的光量水平。另外，光量调整部204将发送至现实装置100的第二控制信息输入至信息管理部201。信息管理部201将从光量调整部204输入的第二控制信息发送至信息处理装置300。此外，第一控制信息及第二控制信息被储存于存储部205。

另外，信息管理部201接收信息处理装置300计算出的与检查视野有关的信息。信息管理部201接收到的与检查视野有关的信息被储存于存储部205。光量调整部204根据储存于存储部205的与检查视野有关的信息来调整照明103的光量水平。在通过光量调整部204调整照明103的光量水平后，作业处理部206执行由操作员指定的处理。例如，作业处理部206针对光量调整部204的光量水平的调整所使用的检查视野的范围分析映射在工件WK的表面的照明图案。

显示控制部207使储存于存储部205的拍摄图像显示在显示装置250。另外，在存储部205储存有与检查视野有关的信息的情况下，显示控制部207使与检查视野对应的范围的信息以能够视觉确认的显示形式与显示在显示装置250的拍摄图像重叠显示。例如，显示控制部207使与过去已结束基于作业处理部206的作业的检查视野对应的范围与拍摄图像重叠显示。此外，如下所述，在拍摄图像中表示与检查视野对应的范围的信息，由信息处理装置300生成，并由信息管理部201接收。

以上，对控制装置200的功能进行了说明。

[2-4.信息处理装置的功能]

接下来，参照图7对信息处理装置300的功能进行说明。图7是用于对第二实施方式所涉及的信息处理装置的功能进行说明的框图。

如图7所示，信息处理装置300具有存储部301、虚拟装置生成部302、虚拟装置控制部303、模拟器304、二次数据生成部305以及部件化部306。

此外，虚拟装置生成部302、虚拟装置控制部303、模拟器304、二次数据生成部305以及部件化部306的功能能够使用上述CPU902等来实现。存储部301的功能能够使用上述RAM906或存储部920等来实现。

存储部301储存有现实装置100的三维CAD数据。虚拟装置生成部302读出储存于存储部301的三维CAD数据，利用读出的三维CAD数据生成将现实装置100再现于虚拟空间内而得到的虚拟装置310。虚拟装置310具有拍摄部311、照明312、X机构313、Y机构314、第一旋转机构315、第二旋转机构316以及把持机构317。另外，在工件WK设置于现实装置100的情况下，虚拟装置生成部302生成具有工件WKv的虚拟装置310。此外，表示工件WK的设置的信息从控制装置200获取。

通过虚拟装置生成部302生成的虚拟装置310的信息被输入至虚拟装置控制部303。虚拟装置控制部303控制虚拟装置310的动作。例如，虚拟装置控制部303参照从控制装置200接收到的第一控制信息及第二控制信息，与现实装置100的动作联动地使虚拟装置310动作。通过虚拟装置控制部303受到控制而动作的虚拟装置310的信息被输入至模拟器304。

模拟器304在虚拟装置310的环境下执行模拟。例如，模拟器304对照明312发出的光执行光学模拟，计算通过拍摄部311拍摄到的拍摄图像。在拍摄图像的计算中例如使用光线追踪法(Raytracingmethod)、辐射成像法(Radiositymethod)、光子映射法(Photonmappingmethod)、环境映射法(Environmentmappingmethod)等绘制手法。通过模拟器304计算出的拍摄图像被输入至二次数据生成部305。二次数据生成部305利用从模拟器304输入的拍摄图像计算工件WKv表面中映射有照明的范围。而且，二次数据生成部305计算从检查视野除外的范围，将计算出的范围从映射有照明的范围除外而生成二次数据。

通过二次数据生成部305生成的二次数据被发送至控制装置200。通过利用该二次数据，例如能够注目于与检查视野对应的工件WKv上的范围来调整光量水平。另外，通过二次数据生成部305生成的二次数据被输入至部件化部306。二次数据是与表示拍摄图像所包含的工件WKv的一部分范围的二维图像对应的数据。部件化部306将二次数据转换成三维CAD数据来生成部件数据。通过部件化部306生成的部件数据被储存于存储部301。

另外，部件化部306读出储存于存储部301的部件数据，计算与读出的部件数据对应的拍摄图像上的范围。之后，部件化部306将计算出的表示范围的二次数据发送至控制装置200。例如，在工件WKv的姿势变化了的情况下，部件化部306从存储部301读出在变化前生成的部件数据，将读出的部件数据转换成在变化后的虚拟装置310拍摄到的拍摄图像的范围。之后，部件化部306将表示该范围的二次数据发送至控制装置200。通过使该二次数据与现实装置100的拍摄图像重叠显示，操作员能够准确识别在姿势变化前已检查的检查视野的范围。

以上，对信息处理装置300的功能进行了说明。

[2-5.处理流程]

接下来，参照图8～图11对由第二实施方式所涉及的系统执行的处理的流程进行说明。在该说明中，适当地参照图12～图19对控制装置200及信息处理装置300的功能进行补充说明。

图8是用于对第二实施方式所涉及的现实装置侧的处理流程进行说明的第一流程图。图9是用于对第二实施方式所涉及的现实装置侧的处理流程进行说明的第二流程图。

图10是用于对第二实施方式所涉及的虚拟装置侧的处理流程进行说明的第一流程图。图11是用于对第二实施方式所涉及的虚拟装置侧的处理流程进行说明的第二流程图。

此外，在下文的说明中，存在将现实装置100及控制装置200表现为现实装置侧的情况。另外，存在将信息处理装置300表现为虚拟装置侧的情况。

(现实装置侧的处理流程)

参照图8及图9，对现实装置侧的处理流程进行说明。图8及图9所示出的处理主要通过现实装置100及控制装置200来执行。

(S101)工件WK被设置于现实装置100的机器人104。表示工件WK已设置于机器人104的设置信息可以由现实装置100自动检知并发送至控制装置200，也可以操作员在设置工件WK之后输入至控制装置200。在设置信息中例如包括工件WK已设置于机器人104、以及识别工件WK的种类的识别信息等。

(S102)控制装置200的信息管理部201从现实装置100将工件WK的设置信息发送至信息处理装置300。通过利用该工件WK的设置信息，能够在信息处理装置300中生成设置有工件WKv的虚拟装置310。

(S103)在用于控制现实装置100的机器人104所具有的机构的位置、姿势的信息被输入至控制装置200的情况下，控制装置200的机器人控制部202按照所输入的信息来控制机器人104。例如，在操作员指定了X机构111及Y机构112的位置、第一旋转机构113及第二旋转机构114的旋转角度的情况下，机器人控制部202按照所指定的位置及旋转角度来控制机器人104的动作。此外，机器人控制部202将机器人104的控制信息储存于存储部205。

(S104)控制装置200的信息管理部201将表示现实装置100的机器人104所具有的各机构的位置、姿势的第一控制信息发送至信息处理装置300。通过利用该第一控制信息，能够在信息处理装置300中控制虚拟装置310的X机构313、Y机构314、第一旋转机构315、第二旋转机构316。

(S105)控制装置200的图像获取部203获取现实装置100的拍摄部101拍摄到的拍摄图像。例如，图像获取部203获取如图12所示那样的拍摄图像。图12是用于对在第二实施方式所涉及的现实装置中所拍摄的拍摄图像进行说明的图。如图12所示，在工件WK的表面映射有照明的范围照得较亮。另外，在拍摄图像中，不仅照有工件WK，还照有机器人104的机构的一部分。并且，与工件WK上的映射部分以相同明亮度照着的部分存在于机器人104的一部分。另外，工件WK的底面部分照得较暗。

在对工件WK映射照明图案来检查工件WK的情况下，照明的映射部分成为检查视野。因此，将照明103的光量水平调整为在照明的映射部分适当地映射照明图案。

若能够通过拍摄图像的图像处理决定照明的映射部分，则能够将光量水平自动调整为映射部分的反射光量最优化。然而，在拍摄图像中存在机器人104的一部分与工件WK上的映射部分以相同明亮度照着的部分等，通过单纯的图像处理难以决定映射部分。而且，还存在在工件WK的一部分存在欲从检查视野除外的部分的情况等。因此，执行如下处理。

(S106)控制装置200的信息管理部201从现实装置100的拍摄部101拍摄到的拍摄图像提取二次数据D1。例如，信息管理部201提取与在工件WK的表面实施了丝网印刷的部分、设置有集音用的孔等的部分对应的拍摄图像内的范围，将去除所提取的范围之后的工件WK的范围作为二次数据D1(例如，参照图18)。此外，所提取的范围也可以由操作员指定。若S106的处理完成，则处理进入至图9的S107。

(S107)控制装置200的信息管理部201接收信息处理装置300从在虚拟装置310内虚拟地拍摄到的拍摄图像提取出的二次数据D2。该二次数据D2是考虑了工件WK的形状、照明的映射部分后的检查视野的计算结果。对于二次数据D2的计算方法，将在与虚拟装置侧的处理流程相关的说明中进行详细描述。

(S108)控制装置200的光量调整部204基于拍摄图像及二次数据D1、D2来调整照明103的光量水平。例如，光量调整部204从预先设定的多阶段的光量水平中选择检查视野内的光量变得适宜的光量水平。此时，光量调整部204可以边改变光量水平边确认拍摄图像，并且通过外插法或内插法来预测检查视野的反射光量变为最优光量的光量水平。此外，光量调整部204将调整后的光量水平储存于存储部205。

如上所述，通过二次数据D1、D2限制适当的检查视野的范围并使光量水平的调整自动化，由此实现精度良好的自动示教。因此，即使不是熟练的操作员，也能够进行适合检查的光量水平的调整。另外，通过自动调整光量水平，还能够期待缩短示教时间的效果。

(S109)控制装置200的作业处理部206按照操作员的操作来执行与检查作业有关的处理。在S108中照明103的光量水平被最优化，所以能够在适宜的条件下进行作业。此时，控制装置200的显示控制部207也可以基于二次数据D1、D2将检查视野的信息与拍摄图像重叠显示。通过进行这样的重叠显示，能够操作员一边确认检查视野的范围一边进行作业，使作业高效化。

(S110)控制装置200的信息管理部201将二次数据D1发送至信息处理装置300。该二次数据D1通过信息处理装置300被转换成三维CAD数据，并作为部件数据保持。像这样，通过预先将二次数据D1部件化成三维CAD数据，能够在位置、姿势变化后的工件WK上容易地计算与部件化了的二次数据D1对应的范围。此外，对于部件化，将在与虚拟装置侧的处理流程相关的说明中进行详细描述。

(S111、S112)在结束作业的情况下，处理进入S112。另一方面，在不结束作业的情况下，处理进入图8的S103。在处理进入S112的情况下，通过操作员回收工件WK，图8及图9所示的一系列的处理结束。

以上，对现实装置侧的处理流程进行了说明。

(虚拟装置侧的处理流程)

参照图10及图11对虚拟装置侧的处理流程进行说明。图10及图11所示的处理主要通过信息处理装置300来执行。

(S131、S132)虚拟装置生成部302读出储存于存储部301的现实装置100的三维CAD数据。之后，虚拟装置生成部302基于读出的现实装置100的三维CAD数据生成虚拟装置310。虚拟装置生成部302从控制装置200接收工件WK的设置信息。

(S133)接收到工件WK的设置信息的虚拟装置生成部302根据设置信息识别工件WK的种类。接着，虚拟装置生成部302从存储部301读出识别出的工件WK的三维CAD数据。接着，虚拟装置生成部302基于读出的工件WK的三维CAD数据生成工件WKv。接着，虚拟装置生成部302在虚拟装置310设置工件WKv。

(S134、S135)虚拟装置控制部303接收表示现实装置100所具有的机构的位置、姿势的第一控制信息。接着，虚拟装置控制部303基于第一控制信息控制虚拟装置310所具有的机构的位置、姿势。即，虚拟装置控制部303将虚拟装置310控制成与现实装置100的机构所具有的位置、姿势呈相同状态。此外，在实时地从控制装置200发送第一控制信息的情况下，也可以使现实装置100与虚拟装置310实时同步。

(S136)模拟器304从虚拟装置310的拍摄部311获取所拍摄的拍摄图像。此时，模拟器304例如使用光线追踪法、辐射成像法、光子映射法、环境映射法等绘制手法。此外，能够获得如图13所示那样的虚拟装置310的拍摄图像。图13是用于对在第二实施方式所涉及的虚拟装置中所拍摄的拍摄图像进行说明的图。在图13的例子中，为了突出照明的映射部分，对映射部分的范围设定了较浓的配色。为了进一步提高视觉确认性，例如还可以考虑将工件WKv的颜色设定为白色，将照明色设定为红色，来进行彩色显示的方法等。

另外，在第二实施方式中，考虑照明的映射，所以模拟器304执行基于作为环境映射法之一的立方体映射法的模拟。另外，在现实装置100中，决定向工件WK的映射位置的主要因素是照明103，所以模拟器304将映射的对象设定为照明312。而且，模拟器304将制作立方体映射时的视点位置设定为工件WKv的重心位置来制作环境映射。接着，模拟器304以拍摄部311的透镜主点位置作为视点来绘制工件WKv和在工件WKv反射的立方体映射，模拟拍摄部311所拍摄的拍摄图像。

若S136的处理完成，则处理进入图11的S137。

(S137、S138)二次数据生成部305从虚拟装置310的拍摄图像提取二次数据D2。二次数据D2的提取例如用图14～图16所示那样的计算方法来实现。其中，图14是用于对第二实施方式所涉及的二次数据的计算方法(区域计算)进行说明的图。图15是用于对第二实施方式所涉及的二次数据的计算方法(分辨率计算)进行说明的图。图16是用于对第二实施方式所涉及的二次数据的计算方法(二次数据生成)进行说明的图。

如图14所示，二次数据生成部305利用设置有工件WKv的虚拟装置310的三维CAD数据，从虚拟装置310的拍摄图像提取仅包括工件WKv的范围(以下称为工件区域)(S1)。在图14的例子中，作为工件区域信息，示出了将工件区域用白色显示、除此之外的范围用黑色显示的图像。工件区域信息是表示拍摄图像中的工件区域的信息的一个例子。

例如，二次数据生成部305使用在模拟器304执行绘制时获得的每个部件的深度信息来提取离视点最近的部件。之后，二次数据生成部305在提取到的部件是工件WKv的情况下，将该部件的像素设定为白色，将其它像素设定为黑色，由此生成工件区域信息。此外，在存在多个工件WKv的情况下，也能够通过执行相同处理来生成工件区域信息。

接着，二次数据生成部305从工件区域中提取分辨率高的范围(以下称为分辨率良好区域)(S2)。在图15中示出分辨率的定义。在图15的例子中，示出了将光轴方向设定为-Z轴方向的拍摄部、与Z轴垂直的工件的面(第一面)、以及相对于Z轴倾斜的工件的面(第二面)。第一面正对着拍摄部，所以与拍摄图像的像素数q对应的工件上的距离为d1。另一方面，在第二面的情况下，与拍摄图像的像素数q对应的工件上的距离为d2(d2＞d1)。

分辨率Rc使用拍摄图像的像素数q及与其对应的工件上的距离d以q/d定义。因此，第一面中的分辨率Rc1大于第二面中的分辨率Rc2。此外，通过相反地进行从进行绘制时的三维坐标向拍摄图像的转换处理，获得拍摄图像的像素与工件上的位置之间的关系。因此，如图16所示，与工件区域信息对应的图像上的二维坐标p1(x1，y1)、p2(x2，y2)与虚拟装置310中的工件WKv的三维坐标P1(X1，Y1，Z1)、P2(X2，Y2，Z2)能够相互转换。

因此，二次数据生成部305使用二维坐标p1、p2及三维坐标P1、P2，根据下述式(1)计算分辨率Rc12。相同地，二次数据生成部305对工件区域的整个范围计算分辨率Rc12。其中，上限值RcH及下限值RcL是预先设定的。另外，可以限制计算分辨率Rc12的2点的位置关系。例如，可以考虑限制为二维坐标系的x方向或y方向中的一个方向，或者限制为x方向及y方向这两个方向的制限方法。除此之外，可以考虑：考虑对检查结果给予的影响较大的方向、工件WK的形状、照明103的特性等来限制2点的位置关系。

[式1]

${\mathrm{Rc}}_{12}=\frac{\sqrt{{(X2-X1)}^2+{(Y2-Y1)}^2+{(Z2-Z1)}^2}}{\sqrt{{(x2-x1)}^2+{(y2-y1)}^2}}\mathrm{...}\left(1\right)$

接着，二次数据生成部305提取分辨率Rc12落在上限值RcH与下限值RcL之间的像素。之后，二次数据生成部305将提取出的像素的集合所构成的范围设定为分辨率良好区域。在图14及图16的例子中，作为分辨率良好区域信息D21，示出了将分辨率良好区域用白色显示、除此之外的范围用黑色显示的图像。通过这种方法，二次数据生成部305生成工件区域中的、去除不作为检查对象来考虑的低分辨率的范围之后的范围亦即分辨率良好区域的信息(分辨率良好区域信息D21)。此外，分辨率良好区域信息D21是二次数据D2的一个例子。

另外，二次数据生成部305提取与照明的映射部分对应的照明区域(S3)。在虚拟装置310的拍摄图像中照明的映射部分被用红色等突出显示的情况下，二次数据生成部305从拍摄图像提取红色的像素。之后，二次数据生成部305将提取出的像素的集合所构成的范围设定为照明区域。在图14的例子中，作为照明区域信息D22，示出了将照明区域用白色来显示、将除此之外的范围用黑色来显示的图像。此外，照明区域信息D22是二次数据D2的一个例子。

虽然也可以将分辨率良好区域信息D21及照明区域信息D22分别作为二次数据D2来利用，但二次数据生成部305提取分辨率良好区域信息D21所表示的范围和照明区域信息D22所表示的范围重叠的范围来作为二次数据D2。之后，二次数据生成部305将二次数据D2发送至控制装置200。如图17所示，在现实装置侧中，基于二次数据D2进行光量水平的调整。图17是用于对第二实施方式所涉及的将二次数据用于光量水平的调整的方法进行说明的图。

若利用用上述方法计算出的二次数据D2，则控制装置200能够如图17所示那样确定检查区域Af。因此，能够仅注目于检查区域Af的部分来进行光量水平的调整。例如，在将光量水平调整为在检查区域Af达到最优的情况下，如图17所示，存在在机器人104的一部分产生形成白斑的范围AO，在分辨率较低的工件WK的一部分范围AU产生黑斑的情况。然而，由于范围AO、范围AU不属于检查对象，所以不对检查结果产生影响。虽然通过拍摄图像的图像处理来判断哪一部分不属于检查对象一般较困难，但通过利用二次数据D2，能够容易地进行该判断。

(S139、S140)部件化部306从控制装置200接收从现实装置100的拍摄图像提取的二次数据D1。之后，部件化部306将二次数据D1、D2所表示的范围转换成三维CAD数据来生成部件数据。例如，部件化部306计算二次数据D1所表示的范围与二次数据D2所表示的范围的重叠范围，将计算出的重叠范围转换成三维CAD数据来生成部件数据。

二次数据D1例如是表示将操作员指定的检查对象外的范围(例如，图18的除外区域SP)去除后的拍摄图像的范围的信息。此外，图18是用于对第二实施方式所涉及的二次数据的计算方法(考虑到除外区域的区域计算)进行说明的第一图。作为除外区域SP，例如指定实施了丝网印刷的工件WK上的范围、包括设置于工件WK的话筒的孔等的范围。

如图19所示，部件化部306从二次数据D2所表示的范围去除二次数据D1所表示的范围来生成二次数据D25。此外，图19是用于对第二实施方式所涉及的二次数据的计算方法(考虑到除外区域的区域计算)进行说明的第二图。接着，部件化部306用图20所示的方法将二次数据D25转换成三维CAD数据来生成部件数据。图20是用于对第二实施方式所涉及的二次数据的部件化进行说明的图。

如图20所示，二次数据D25是二维坐标系中的范围的信息。即，该二次数据D25是表示在某一设定条件下拍摄到的拍摄图像中的范围的信息，并不是考虑了与三维坐标系中的工件WK的位置、工件WK的立体形状之间的关系后的信息。因此，即使将二次数据D25与在使工件WK的位置、姿势变化后拍摄到的拍摄图像重叠，也不会与在变化前在拍摄图像上二次数据D25所表示的工件WK表面的范围重叠。因此，部件化部306将二次数据D25转换成三维CAD数据，以使得即使在使工件WK的位置、姿势变化后，也能够有效应用从变化前的拍摄图像获得的二次数据D25。

在与分辨率Rc的计算有关的说明中也提到了，通过相反地进行从进行绘制时的三维坐标向拍摄图像的转换处理，获得拍摄图像的像素与工件上的位置之间的关系。如图20所示，部件化部306将二次数据D25所表示的范围内的二维坐标p1(x1，y1)、p2(x2，y2)、…转换成三维坐标P1(X1，Y1，Z1)、P2(X2，Y2，Z2)、…。之后，部件化部306基于转换后的三维坐标的集合生成三维CAD数据，并将其作为部件数据。

部件化部306将部件数据储存于存储部301。另外，部件化部306适当地将部件数据发送至控制装置200。此外，部件化部306也可以将部件数据的点组信息转换成多边形信息。向多边形信息的转换例如能够利用移动立方体(Marchingcubes)法、霍普(Hoppe)方法等。对于霍普(Hoppe)方法，可参考HuguesHoppeetal.,Surfacereconstructionfromunorganizedpoints,ComputerGraphics(SIGGRAPH'92Proceedings)等。

(S141、S142)在结束作业的情况下，进入处理S142。在不结束作业的情况下，处理进入图10的S134。在处理进入S142的情况下，虚拟装置生成部302从存储器上消除虚拟装置310的信息(卸载)。若S142的处理结束，则图10及图11所示的一系列的处理结束。

以上，对虚拟装置侧的处理流程进行了说明。

(关于二次数据的利用方法)

在此，参照图21～图24，对二次数据的利用方法进行补充说明。虽然已经对利用二次数据来调整光量水平的利用方法进行了说明，但在此对改变工件WK的姿势并继续进行作业的情况(在图11的S141中进入“否”的情况)下的二次数据的利用方法进行说明。

此外，图21是用于对第二实施方式所涉及的部件化了的二次数据的利用方法进行说明的第一图。图22是用于对第二实施方式所涉及的部件化了的二次数据的利用方法进行说明的第二图。图23是用于对第二实施方式所涉及的部件化了的二次数据的利用方法进行说明的第三图。图24是用于对第二实施方式所涉及的部件化了的二次数据的利用方法进行说明的第四图。

图21是在改变工件WK的姿势后由现实装置100拍摄到的拍摄图像。控制机器人104来进行工件WK的姿势变更。工件WK的姿势变化，所以照明的映射部分的位置改变。

虚拟装置控制部303与现实装置100的动作同步地控制虚拟装置310的动作。模拟器304在姿势变更后的条件下再次执行模拟，计算在虚拟装置310映射有照明的虚拟装置310的拍摄图像。之后，虚拟装置控制部303从存储部301读出姿势变更前的部件数据，如图22所示那样，使基于部件数据的检查范围与虚拟装置310重叠显示。

在工件WK的姿势已设定的情况下，二次数据生成部305用已描述的图14所述的方法从虚拟装置310的拍摄图像生成二次数据D24。而且，如图23所示，二次数据生成部305对于与当前的拍摄图像重叠显示的过去的二次数据所表示的范围，也生成二次数据D23。由于若工件WK的姿势发生变更则过去的二次数据所表示的拍摄图像上的范围也改变，所以对该范围也进行二次数据D23的生成。

此外，通过二次数据生成部305生成的二次数据D23、D24被发送至控制装置200。如图24所示，接收到二次数据D23、D24的控制装置200的显示控制部207将二次数据D23所表示的过去的检查范围与现实装置100的拍摄图像重叠地显示在显示装置250。通过进行这种重叠显示，操作员能够容易地识别已检查完的范围。因此，操作员能够以将已经检查的范围与选作当前检查对象的范围之间的重叠最小化且没有检查遗漏的方式一边确认检查范围一边操作机器人104。

若决定进行检查作业的最适合的工件WK的位置、姿势，则利用二次数据来自动调整照明103的光量水平，进行检查作业、示教作业。如上所述，基于二次数据的检查范围的重叠显示能够针对现实装置100的拍摄图像进行，也能够针对虚拟装置310的拍摄图像进行，但也可以按照用途省略其中一方的重叠显示。

以上，对二次数据的利用方法进行了说明。

此外，在上述说明中，以现实装置100、控制装置200、信息处理装置300协作来进行装置运用、示教的情况为例进行了说明。然而，若仅执行示教工件WK的位置、姿势的作业，则能够仅用信息处理装置300进行作业。

例如，信息处理装置300边在虚拟装置310中改变工件WK的位置、姿势边执行模拟，计算用于将工件WK的整个表面用多个检查视野覆盖的工件WK的位置、姿势。之后，信息处理装置300将赋予这些多个检查视野的工件WK的位置、姿势的信息发送至控制装置200。在该情况下，控制装置200基于接收到的信息控制现实装置100。其结果是，能够用适当的检查视野进行作业。

[2-6.变形例#1(亮视野照明)]

在此，参照图25及图26，对第二实施方式的一变形例(变形例#1)进行说明。图25是用于对第二实施方式的一变形例(变形例#1)所涉及的二次数据的计算方法进行说明的第一图。图26是用于对第二实施方式的一变形例(变形例#1)所涉及的二次数据的计算方法进行说明的第二图。

在变形例#1中，假定利用表面是亮视野照明的工件WK的情况。在工件WK的表面是亮视野照明的情况下，现实装置100的拍摄图像成为如图25所示那样的图像。在该情况下，工件区域的几乎整个面成为照明区域。如图26所示，对于虚拟装置310的拍摄图像，工件区域的几乎整个面成为照明区域。在该情况下，若与图14所述的方法相同地计算二次数据，则能够获得图26所示那样的工件区域信息、分辨率良好区域信息以及照明区域信息。虽然工件区域信息与照明区域信息成为几乎相同的信息，但能够利用已描述的第二实施方式的方法来进行检查作业、示教作业。

以上，对变形例#1进行了说明。

[2-7.变形例#2(热模拟)]

接下来，参照图27及图28，对第二实施方式的一变形例(变形例#2)进行说明。图27是示出第二实施方式的一变形例(变形例#2)所涉及的系统的一个例子的图。图28是用于对第二实施方式的一变形例(变形例#2)所涉及的二次数据的计算方法进行说明的图。

在上文中，对检查所使用的源是光的情况进行了说明。然而，也能够利用光以外的源。在变形例#2中介绍以热为源的例。

如图27所示，变形例#2所涉及的系统包括现实装置170、控制装置270、信息处理装置370以及显示装置290、390。

现实装置170具有拍摄部171、设置台172、热源173、机器人174以及热传感器175。此外，通过控制装置270来控制拍摄部171、设置台172、热源173、机器人174及热传感器175的动作。

拍摄部171是拍摄包括设置于机器人174的工件WK的范围的拍摄设备。拍摄部171例如包括透镜等光学系统、CCD或CMOS等拍摄元件、以及执行A/D转换或数字信号处理等的图像处理处理器等。设置台172是固定热源173、机器人174的台。

热源173是设置于设置台172、对包括设置于机器人174的工件WK的区域加热的热源。机器人174是把持工件WK、移动工件WK的位置或者改变工件WK的姿势的机构。现实装置170例如用于工件WK的状态检查等。在该情况下，现实装置170均匀地加热工件WK的表面，检测表面的热分布。通过分析检测出的热分布，能够检测存在于工件WK的缺陷。

然而，在工件WK具有立体形状的情况下，存在被均匀加热的范围受限制的情况。因此，现实装置170边利用机器人174改变工件WK的位置、姿势，边用热传感器175检测加热后的工件WK的温度分布。另外，包括工件WK的图像由拍摄部171拍摄。通过一边改变工件WK的位置、姿势一边检测温度分布，能够对工件WK表面的较广范围进行温度分布的分析。

如上所述，若利用现实装置170，则能够改变加热区域而获得多个温度分布。然而，加热区域的决定由操作员进行。若改变工件WK的位置、姿势，则操作员难以准确识别变化前的加热区域是工件WK表面的哪一区域。因此，变形例#2所涉及的系统提供一种操作员能够容易地识别加热区域的结构。通过使用该结构，能够抑制对工件WK的一部分区域发生检查遗漏、为了避免检查遗漏而使加热区域的重叠过多进而导致检查时间增多。

上述那样的现实装置170的动作由控制装置270控制。控制装置270经由通信线路与信息处理装置370连接。例如，控制装置270利用套接字通信将现实装置170的控制信息等发送至信息处理装置370。另外，控制装置270与显示装置290连接。显示装置290例如是CRT、LCD、PDP、ELD等显示器装置。控制装置270使拍摄部171拍摄的拍摄图像显示在显示装置290。操作员边观察显示装置290的拍摄图像边进行操作。

信息处理装置370保持现实装置170的三维CAD数据，利用三维CAD数据生成将现实装置170再现于虚拟空间内而得到的虚拟装置。另外，信息处理装置370接收现实装置170的控制信息等，基于接受到的控制信息来模拟虚拟装置的动作。并且，信息处理装置370计算工件WK表面的温度分布。

例如，信息处理装置370执行热分析模拟，计算虚拟装置中的工件WKv的表面温度分布。另外，信息处理装置370计算与已设定的温度相比表面温度高的工件WKv的范围。例如，如图28所示，信息处理装置370用参照图16已经说明了的方法来计算分辨率良好区域信息D28(S1、S2)，并生成高温区域信息D29(S3)。之后，信息处理装置370将分辨率良好区域信息D21所表示的区域与高温区域信息D29所表示的区域重叠的范围作为二次数据。

而且，信息处理装置370计算虚拟装置中的拍摄图像。另外，信息处理装置370将二次数据及拍摄图像的计算结果发送至控制装置270。此外，计算出的拍摄图像被显示在显示装置390。此外，信息处理装置370将二次数据转换成三维CAD数据并进行保持。另外，二次数据被适当地发送至控制装置270，与显示在显示装置290的拍摄图像重叠显示。

以上，对变形例#2进行了说明。如变形例#2那样，即使检查所使用的源的种类改变，也能够同样地使用第二实施方式所涉及的技术。例如，在将源设为声音的情况下，通过在现实装置设置声源及话筒并利用音响模拟，能够使用上述技术。在将源设为电磁场的情况下，通过在现实装置设置电磁场产生源及电磁场传感器并利用电磁场分析模拟，能够使用上述技术。

以上，对第二实施方式进行了说明。

以上，参照附图对优选实施方式进行了说明，但本发明并不局限于上述例子。若为本领域技术人员，则在权利要求书所记载的范围内能够想到多种变形例及修正例是显而易见的，这种变形例及修正例当然也属于本发明的技术范围。

附图标记说明：10…现实装置；20…信息处理装置；21…存储部；22…计算部；23…虚拟装置；24…检测部；25…产生源；OBJ…对象物；Pv…拍摄图像；CH…变化；A1…第一范围；A2…第二范围；A3…计算结果。

Claims (17)

1.一种信息处理装置，其具有存储部以及计算部，

所述存储部存储现实装置的三维信息，所述现实装置包括：对象物；产生源，其产生作用于所述对象物来赋予能够从外部检测的变化的作用要素；以及检测部，其能够在已设定的检测范围内检测由所述作用要素引起的所述变化，

所述计算部基于所述三维信息生成将所述现实装置再现于虚拟空间内而得到的虚拟装置，利用所述虚拟装置模拟由所述作用要素引起的所述变化，计算满足已设定的条件的所述变化被检测出的所述对象物的范围。

2.根据权利要求1所述的信息处理装置，其中，

所述存储部存储表示与所述变化有关的第一条件的信息以及表示与所述对象物的形状有关的第二条件的信息，

所述计算部计算满足所述第一条件的所述对象物的范围亦即第一范围和满足所述第二条件的所述对象物的范围亦即第二范围，并将所述第一范围和所述第二范围重叠的范围作为计算结果。

3.根据权利要求2所述的信息处理装置，其中，

所述检测部包括对包括所述对象物的范围进行拍摄的拍摄部，

所述计算部生成由所述虚拟装置的拍摄部拍摄的二维的拍摄图像，

所述第一范围及所述第二范围是所述拍摄图像内的范围。

4.根据权利要求3所述的信息处理装置，其中，

所述计算部将所述重叠的范围转换成所述虚拟空间内的三维信息，并使转换成三维信息后的所述重叠的范围的信息存储于所述存储部。

5.根据权利要求4所述的信息处理装置，其中，

所述计算部使所述虚拟装置显示于显示画面，并且基于存储于所述存储部的所述重叠的范围的信息使该重叠的范围与所述虚拟装置的显示重叠显示。

6.根据权利要求2～5中任一项所述的信息处理装置，其中，

所述信息处理装置还具有供输入表示所述对象物的范围的信息的输入部，

所述计算部计算将从所述输入部输入的信息所表示的范围除外后的所述对象物的范围亦即第三范围，并将所述第一范围和所述第二范围和所述第三范围重叠的范围作为计算结果。

7.根据权利要求2～6中任一项所述的信息处理装置，其中，

所述作用要素是光，

所述变化是所述光被反射，

所述第一条件是反射光的亮度达到设定值以上。

8.根据权利要求2～6中任一项所述的信息处理装置，其中，

所述作用要素是热，

所述变化是温度变化，

所述第一条件是所述温度上升至规定温度以上。

9.一种检查范围的计算方法，其中，

计算机具有存储现实装置的三维信息的存储器，所述现实装置包括：对象物；产生源，其产生作用于所述对象物来赋予能够从外部检测的变化的作用要素；以及检测部，其能够在已设定的检测范围内检测由所述作用要素引起的所述变化，

所述计算机基于所述三维信息生成将所述现实装置再现于虚拟空间内而得到的虚拟装置，利用所述虚拟装置模拟由所述作用要素引起的所述变化，计算满足已设定的条件的所述变化被检测出的所述对象物的范围。

10.一种程序，其中，

计算机具有存储现实装置的三维信息的存储器，所述现实装置包括：对象物；产生源，其产生作用于所述对象物来赋予能够从外部检测的变化的作用要素；以及检测部，其能够在已设定的检测范围内检测由所述作用要素引起的所述变化，

所述程序使所述计算机执行以下处理：基于所述三维信息生成将所述现实装置再现于虚拟空间内而得到的虚拟装置，利用所述虚拟装置模拟由所述作用要素引起的所述变化，计算满足已设定的条件的所述变化被检测出的所述对象物的范围。

11.根据权利要求9所述的检查范围的计算方法，其中，

所述存储器存储表示与所述变化有关的第一条件的信息以及表示与所述对象物的形状有关的第二条件的信息，

所述计算机的处理器计算满足所述第一条件的所述对象物的范围亦即第一范围和满足所述第二条件的所述对象物的范围亦即第二范围，并将所述第一范围和所述第二范围重叠的范围作为计算结果。

12.根据权利要求11所述的检查范围的计算方法，其中，

所述检测部包括对包括所述对象物的范围进行拍摄的拍摄部，

所述处理器生成由所述虚拟装置的拍摄部拍摄的二维的拍摄图像，

所述第一范围及所述第二范围是所述拍摄图像内的范围。

13.根据权利要求12所述的检查范围的计算方法，其中，

所述处理器将所述重叠的范围转换成所述虚拟空间内的三维信息，并使转换成三维信息后的所述重叠的范围的信息存储于所述存储器。

14.根据权利要求13所述的检查范围的计算方法，其中，

所述处理器使所述虚拟装置显示于显示画面，并且基于存储于所述存储器的所述重叠的范围的信息使该重叠的范围与所述虚拟装置的显示重叠显示。

15.根据权利要求11～14中任一项所述的检查范围的计算方法,其中，

在输入有表示所述对象物的范围的信息的情况下，所述处理器计算将所输入的所述信息所表示的范围除外后的所述对象物的范围亦即第三范围，并将所述第一范围和所述第二范围和所述第三范围重叠的范围作为计算结果。

16.根据权利要求11～15中任一项所述的检查范围的计算方法，其中，

所述作用要素是光，

所述变化是所述光被反射，

所述第一条件是反射光的亮度达到设定值以上。

17.根据权利要求11～15中任一项所述的检查范围的计算方法，其中，

所述作用要素是热，

所述变化是温度变化，

所述第一条件是所述温度上升至规定温度以上。