CN104802173B - 视觉传感器的数据生成装置和检测模拟系统 - Google Patents

Abstract

本发明提供一种数据生成装置和检测模拟系统，其不进行使机器人和视觉传感器关联起来的校准，就能够使用视觉传感器进行离线模拟。数据生成装置具备：配置部，其将机器人、视觉传感器、以及对象物的三维模型配置在假想空间内；机器人配置位置指定部，其根据在假想空间内规定的基准坐标系，指定假想空间内的机器人的配置位置；视觉传感器配置位置指定部，其根据基准坐标系，指定假想空间内的视觉传感器的配置位置；配置位置存储部，其存储机器人和视觉传感器的配置位置；位置关系计算部，其计算机器人坐标系和传感器坐标系之间的位置关系；位置关系存储部，其将上述位置关系存储为视觉传感器的检测处理所使用的数据。

Description

视觉传感器的数据生成装置和检测模拟系统

技术领域

本发明涉及一种生成使用了配置在假想空间内的视觉传感器的检测处理所使用的数据的数据生成装置、以及具有该数据生成装置的检测模拟系统。

背景技术

在现有的离线模拟中，通过具有视觉传感器的机器人系统检测工件的位置姿势的情况下，一般首先确定机器人、视觉传感器、工件、或保持该工件的夹具各自的配置位置，接着进行使机器人和视觉传感器关联起来的校准。

例如，在日本特开平06-137840号公报中，记载了一种自动自动校准装置，其通过照相机摄像具有椭圆的基准指示点的校准工件，根据该基准指示点的位置/方向识别各指示点在图像上的位置，自动地与空间上的位置对应起来，利用与各指示点有关的图像坐标值和空间坐标值的组来计算照相机参数。

在日本特开平06-175712号公报中，记载了以下的自动校准方法，其向安装在机器人的前端轴上的工具的底面涂抹墨水等，在任意的坐标平面上转印其形状，通过安装在机器人的前端轴上的视觉传感器从多个位置取入转印像，根据该取入的数据通过图像处理装置和主计算机检测机器人前端轴的坐标，根据该坐标位置计算机器人前端轴和工具和视觉传感器之间的相关位置。

在日本特开平10-340112号公报中，记载了以下一种带自动校准功能的机器人，其在具备装配了工件把持用的机器人手的机器人主体、照相机、图像处理装置的机器人中，具备：高精度地形成为工件形状的测量构件；根据由机器人手把持并定位在照相机上的测量构件的图像而对测量构件位置进行测量的单元；根据机器人主体侧的控制位置和测量构件位置进行机器人主体和照相机的坐标对位的计算的单元。

进而，在日本特开平08-071972号公报中，记载了以下的自动调整方法，其使机器人具有在四角具有圆的对位板，使该对位板在照相机的多个视野的每个视野并且跨过各视野地沿着机器人坐标轴移动，求出上述各视野中的圆中心坐标，根据照相机坐标轴上的圆相互的偏差求出校准和照相机倾斜，在跨越上述各视野的状态下求出圆中心坐标，根据照相机坐标轴上的圆相互的偏差求出视野重叠量和照相机轴偏差。

如上述那样，公开若干个进行用于确定机器人和视觉传感器之间的位置关系的校准的现有技术，但为了进行校准需要进行视觉传感器的测量作业。另外，对于这样的校准需要特殊的知识，需要时间也长，会对操作者产生很多负担。

发明内容

因此，本发明的目的在于：提供一种数据生成装置和检测模拟系统，其不进行使机器人和视觉传感器关联起来的校准，也能够使用视觉传感器进行离线模拟。

为了达到上述目的，本发明的一个形式提供一种数据生成装置，是根据配置在假想空间内的机器人、视觉传感器、以及对象物的三维模型的位置生成上述视觉传感器的检测处理所使用的数据的数据生成装置，其特征在于，具备：机器人配置位置指定部，其根据在上述假想空间内规定的基准坐标系，指定上述假想空间内的上述机器人的配置位置；视觉传感器配置位置指定部，其根据上述基准坐标系，指定上述假想空间内的上述视觉传感器的配置位置；配置位置存储部，其存储上述机器人和上述视觉传感器所指定的配置位置；位置关系计算部，其根据上述机器人和上述视觉传感器的配置位置，计算对上述机器人规定的机器人坐标系和对上述视觉传感器规定的传感器坐标系之间的位置关系；位置关系存储部，其将上述位置关系存储为上述视觉传感器的检测处理所使用的数据。

在优选的实施方式中，数据生成装置还具备：对象物位置指定部，其根据上述基准坐标系，指定上述假想空间内的上述对象物的位置；CG图像生成部，其根据上述视觉传感器和上述对象物之间的位置关系，生成相当于在通过上述视觉传感器摄像上述对象物的情况下得到的图像的模拟图像即计算机图形图像。

在优选的实施方式中，上述视觉传感器的三维模型被安装在上述机器人的三维模型的可动部。

本发明的其他形式提供一种检测模拟系统，其具备上述数据生成装置、使用上述视觉传感器的检测处理所使用的数据进行上述对象物的位置的检测处理的图像处理装置。

在优选的实施方式中，上述图像处理装置具备：检测处理部，其使用上述数据对上述计算机图形图像进行检测处理；对象物位置计算部，其根据上述检测处理部的检测处理结果求出上述对象物的位置。

在优选的实施方式中，上述视觉传感器的三维模型被安装在上述机器人的三维模型的可动部。

附图说明

通过参照附图说明以下的优选的实施方式，能够进一步了解本发明的上述或其他目的、特征和优点。

图1是本发明的检测模拟系统的一个实施方式的功能框图。

图2是表示本发明的检测模拟系统的处理的一个例子的流程图。

图3是表示将机器人、视觉传感器、工件、以及夹具配置在假想空间内的状态的显示例子的图。

图4是表示针对假想空间内的机器人和视觉传感器分别规定了机器人坐标系和传感器坐标系的状态的图。

图5是表示通过视觉传感器摄像工件所得到的计算机图形图像的一个例子的图。

图6是说明工件位置的修正的例子的图。

图7是表示将视觉传感器安装在机器人的可动部的例子的图。

具体实施方式

图1是本发明的检测模拟系统的一个实施方式的功能框图。检测模拟系统10具备：数据生成装置12，其根据配置在假想空间内的机器人、视觉传感器以及对象物的位置，生成使用了视觉传感器的检测处理所需要的数据；图像处理装置14，其根据上述数据进行对象物的位置的检测处理。

数据生成装置12具备：配置部16，其将机器人、视觉传感器以及对象物的三维模型配置在假想空间内；机器人配置位置指定部18，其根据在假想空间内规定的基准坐标系，指定假想空间内的机器人的配置位置；视觉传感器配置位置指定部20，其根据基准坐标系指定假想空间内的视觉传感器的配置位置；配置位置存储部22，其存储机器人和视觉传感器所指定的配置位置；位置关系计算部24，其根据机器人和视觉传感器的配置位置，计算针对机器人规定的机器人坐标系和针对视觉传感器规定的传感器坐标系之间的位置关系；位置关系存储部26，其将上述位置关系存储为视觉传感器的检测处理所使用的数据；对象物位置指定部28，其根据基准坐标系指定假想空间内的对象物的位置；CG图像生成部30，其根据视觉传感器和对象物之间的位置关系，生成相当于在通过视觉传感器摄像对象物的情况下得到的图像的模拟图像即计算机图形图像。

另一方面，图像处理装置14具备：检测处理部32，其使用上述数据对上述计算机图形图像进行检测处理；对象物位置计算部34，其根据检测处理部32的检测处理结果，求出对象物的位置。以下，参照图2和图3说明使用了检测模拟系统10的处理。

图2是表示检测模拟系统10的处理的一个例子的流程图，图3是表示将机器人、视觉传感器、以及对象物的三维模型配置在假想空间内的状态的显示例子的图。首先，如图3所示，将机器人36、控制机器人36的控制器38、照相机等视觉传感器40、工件42以及保持工件42的夹具44的三维模型配置在假想空间内(步骤S1)。在图示例子中，机器人36是6轴的多关节机器人，具备基部46、可盘旋地安装在基部46的盘旋躯体48、可旋转地安装在盘旋躯体48上的上臂50、可旋转地安装在上臂50上的前臂52、可旋转地安装在前臂52上的手腕部54、安装在手腕部54上的作业工具56，能够对工件42进行机械加工、焊接等规定作业的模拟。

此外，在本申请说明书中，通过视觉传感器摄像的对象物表示工件和夹具的至少一方，但在本实施方式中，假想通过视觉传感器40摄像被夹具44保持的工件42。另外，在本申请发明中，需要将机器人、视觉传感器以及对象物配置在假想空间内，但不需要在操作者能够识别的显示画面等内描绘机器人、视觉传感器、以及对象物的全部。

接着在步骤S2中，根据在假想空间内规定的基准坐标系58，指定假想空间内的机器人36的配置位置，同样在步骤S3中，根据基准坐标系58，指定假想空间内的视觉传感器40的配置位置。然后，在下一个步骤S4中，存储在步骤S2和S3中分别指定的机器人36和视觉传感器40的配置位置。

接着如图4所示，针对机器人36规定机器人坐标系60，同样在针对视觉传感器40规定了传感器坐标系62后，根据机器人36和视觉传感器40的配置位置，计算机器人坐标系60和传感器坐标系62之间的位置关系(步骤S5)。例如能够作为机器人坐标系60和相对于传感器坐标系62的一方的原点的另一方的原点的坐标(X、Y、Z)来求出该位置关系。此外，在图示例子中，基准坐标系58、机器人坐标系60以及传感器坐标系62都是正交坐标系，但也可以将这些坐标系的至少一个设为极坐标系(r、θ、z)。

接着，在步骤S6中，将在步骤S5中求出的位置关系存储为使用视觉传感器40进行的检测处理所需要的数据。既可以将该数据存储在控制器38内，也可以作为另外的文件进行保存。另外，作为使用视觉传感器进行的检测处理所需要的数据，除了上述位置关系以外，也可以存储视觉传感器的焦点距离、图像大小(像素数)、镜头的失真、像素大小以及像素的长宽比等参数。

在下一个步骤S7中，根据基准坐标系58指定假想空间内的对象物(工件42和夹具44的至少一方)的配置位置。接着，在步骤S8中，根据视觉传感器40和工件42或夹具44之间的位置关系，生成相当于在通过视觉传感器40摄像工件42或夹具44的情况下得到的图像的模拟图像即计算机图形图像(CG)。图5是表示通过视觉传感器40摄像工件42所得到的计算机图形图像的一个例子的图。

最后，在步骤S9中，使用视觉传感器的检测处理所需要的数据，针对在步骤S8中生成的计算机图形图像进行检测处理，根据该检测处理结果，求出相对于机器人36的工件42或夹具44的位置。在该处理中，可以根据需要，使用视觉传感器的焦点距离、图像大小(像素数)、镜头的失真、像素大小以及像素的长宽比等参数。

图6是表示步骤S9的处理的一个具体例子的图。相对于用虚线64所示的基准工件摄像位置，在假想空间内在某个条件下通过视觉传感器40摄像工件42时的工件摄像位置是用参照符号66所示的位置的情况下，摄像位置66和基准位置64之间的差(变位量)68为该条件下的工件42的位置修正量，能够使用该位置修正量求出相对于视觉传感器40的工件42的位置。能够根据这样求出的视觉传感器40和工件42之间的位置关系、存储的机器人36(机器人坐标系60)和视觉传感器40(传感器坐标系62)之间的位置关系，求出相对于机器人36的工件42的位置，能够针对机器人36对工件42的作业进行正确的离线模拟。

在本发明中，通过在假想空间内计算出机器人(机器人坐标系)和视觉传感器(传感器坐标系)之间的位置关系并存储，而不需要进行将机器人和视觉传感器关联起来的校准。因此，操作者不需要特殊的知识，就能够短时间地进行模拟，操作者的负担大幅减轻。

在上述实施方式中，分开配置机器人36和视觉传感器40，视觉传感器40的位置/姿势不会由于机器人36的动作而变化，但如图7所示的变形例子那样，也可以将视觉传感器40安装(固定)在机器人36的前臂和手腕部等的可动部、或可动部的链接部。在该情况下，也能够根据机器人36的各轴的位置和旋转角度来求出视觉传感器40的位置/姿势，因此能够与上述实施方式同样，计算/存储机器人(机器人坐标系)和视觉传感器(传感器坐标系)之间的位置关系。

根据本发明的数据生成装置，能够根据机器人和视觉传感器的配置位置，生成视觉传感器的检测处理所使用的数据，因此不需要进行使机器人和视觉传感器关联起来的校准作业，不需要知识，作业时间也能缩短，从而能够大幅减轻操作者的负担。

Claims (6)

1.一种数据生成装置，其根据配置在假想空间内的机器人、视觉传感器以及对象物的三维模型的位置生成上述视觉传感器的检测处理所使用的数据，该数据生成装置的特征在于，该数据生成装置具备：

机器人配置位置指定部，其根据在上述假想空间内规定的基准坐标系，指定上述假想空间内的上述机器人的配置位置；

视觉传感器配置位置指定部，其根据上述基准坐标系，指定上述假想空间内的上述视觉传感器的配置位置；

配置位置存储部，其存储上述机器人和上述视觉传感器的指定的配置位置；

位置关系计算部，其不进行使机器人和视觉传感器关联起来的校准，而是根据上述机器人和上述视觉传感器的配置位置，计算对上述机器人规定的机器人坐标系和对上述视觉传感器规定的传感器坐标系之间的位置关系；以及

位置关系存储部，其将上述位置关系存储为上述视觉传感器的检测处理所使用的数据。

2.根据权利要求1所述的数据生成装置，其特征在于，上述数据生成装置还具备：

对象物位置指定部，其根据上述基准坐标系，指定上述假想空间内的上述对象物的位置；以及

CG图像生成部，其根据上述视觉传感器和上述对象物之间的位置关系生成计算机图形图像，该计算机图形图像是相当于在通过上述视觉传感器摄像上述对象物时得到的图像的模拟图像。

3.根据权利要求1或2所述的数据生成装置，其特征在于，

上述视觉传感器的三维模型被安装在上述机器人的三维模型的可动部。

4.一种检测模拟系统，其特征在于，具备：

权利要求2所述的数据生成装置；以及

图像处理装置，其使用上述视觉传感器的检测处理所使用的数据进行上述对象物的位置的检测处理。

5.根据权利要求4所述的检测模拟系统，其特征在于，

上述图像处理装置具备：

检测处理部，其使用上述数据对上述计算机图形图像进行检测处理；以及

对象物位置计算部，其根据上述检测处理部的检测处理结果求出上述对象物的位置。

6.根据权利要求4或5所述的检测模拟系统，其特征在于，

上述视觉传感器的三维模型被安装在上述机器人的三维模型的可动部。