CN116829903A - 三维测定系统 - Google Patents

Abstract

能够不受测定对象的位置影响地准确地测定测定对象的本公开的第一方式所涉及的三维形状的三维测定系统(1)具备：三维测定部(32)，其利用用于测定到测定对象的距离的三维传感器(20)，来测定所述测定对象的位置及形状；机器人(10)，其使所述三维传感器(20)或所述测定对象移动；距离测定部(33)，其测定所述三维传感器(20)与所述测定对象之间的距离；以及测定姿势设定部(34)，其根据所述距离测定部(33)测定出的所述三维传感器(20)与所述测定对象之间的距离，来设定使所述三维传感器(20)与所述测定对象之间的距离为规定的基准距离的所述机器人(10)的测定姿势。

Description

三维测定系统

技术领域

本发明涉及一种三维测定系统。

背景技术

在例如通过机器人来拾取(pick up)以随机的位置及方向配置的工件的系统等中，为了掌握工件的位置及方向，有时会利用三维测定系统，所述三维测定系统利用三维传感器来测定测定对象的三维形状，所述三维传感器针对二维视角的每个位置检测到测定对象及周围物体的距离。

为了掌握测定对象的更准确的三维形状，还提出了由三维传感器从不同的方向测定测定对象的三维形状，由此根据其它的三维测定的结果，来补全测定对象的通过1次的三维测定所不能够确认的背面侧的形状(参考例如专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2019-184340号公报

发明内容

发明要解决的问题

三维传感器能够准确地检测的距离范围有时比较小。在该情况下，若三维传感器与测定对象之间的距离不适当，则无法准确地测定测定对象的三维形状。例如在多个工件随机地相互重叠的情况下，存在无法使最上部的工件与最下部的工件双方同时落入三维传感器的适当的距离范围内的可能性。因此，期望一种能够不受测定对象的位置影响地准确地测定测定对象的三维形状的三维测定系统。

用于解决问题的方案

本公开的第一方式所涉及的三维测定系统具备：三维测定部，其利用用于测定到测定对象的距离的三维传感器，来测定所述测定对象的位置及形状；机器人，其使所述三维传感器或所述测定对象移动；距离测定部，其测定所述三维传感器与所述测定对象之间的距离；以及测定姿势设定部，其根据所述距离测定部测定出的所述三维传感器与所述测定对象之间的距离，来设定使所述三维传感器与所述测定对象之间的距离为规定的基准距离的所述机器人的测定姿势。

本公开的第二方式所涉及的三维测定系统具备：三维测定部，其利用用于测定到测定对象的距离的三维传感器，来测定测定对象的位置及形状；机器人，其使所述三维传感器或所述测定对象移动；基准姿势设定部，其设定所述机器人的基准姿势；形状存储部，其预先存储所述测定对象的形状；匹配度计算部，其计算所述三维测定部测定出的所述测定对象的形状与所述形状存储部所存储的所述测定对象的形状的匹配度；偏差量计算部，其根据所述三维测定部测定出的所述测定对象的位置及形状，来计算所述三维传感器与所述测定对象之间的距离相对于规定的基准距离的偏差量；以及修正姿势设定部，在所述匹配度小于规定的判定阈值的情况下，所述修正姿势设定部设定使所述三维传感器移动了所述偏差量后的所述机器人的修正姿势。

发明的效果

本公开所涉及的三维测定系统能够不受测定对象的位置影响地准确地测定测定对象的三维形状。

附图说明

图1是表示本发明的第一实施方式所涉及的三维测定系统的结构的示意图。

图2是表示图1的三维测定系统的初始设定处理的过程的流程图。

图3是表示图1的三维测定系统的工件检测处理的过程的流程图。

图4是表示本发明的第二实施方式所涉及的三维测定系统的结构的示意图。

具体实施方式

下面，参考附图来说明本公开所涉及的三维测定系统的实施方式。图1是表示本公开的第一实施方式所涉及的三维测定系统1的结构的示意图。

三维测定系统1具备机器人10、三维传感器20以及控制装置30。三维测定系统1是测定例示的工件W等测定对象的位置及形状的系统，构成为也作为将工件W一个一个地取出的拾取系统来使用。

在三维测定系统1中，工件W配置于例如工作台的表面、带式输送机的皮带表面、容器的底面等基准面S上。工件W能够配置成在基准面S上相互重叠。

为了能够将三维测定系统1作为拾取系统使用，机器人10在前端具有保持工件W的手部11。机器人10将三维传感器20定位在能够测定工件W(用手部11保持之前的工件W)的位置。机器人10能够如图1所例示的那样设为垂直多关节型机器人，但不限于此，也能够为例如正交坐标型机器人、水平多关节型机器人、并联连杆型机器人等。

手部11能够保持工件W即可，能够采用具有把持工件W的多个指状构件、吸附工件W的真空吸盘等的结构。

三维传感器20测定到测定对象及其它物体的距离。更详细地说，三维传感器20针对其视野内的每个二维位置、也就是与测定范围的中心轴垂直的平面方向的每个位置，检测到测定对象及其它物体的距离。也就是说，三维传感器20获取测定对象的距离图像、点云数据等能够制作三维影像的信息。测定对象不局限于工件W，能够考虑初始设定治具等，该初始设定治具用于进行决定能够使三维测定系统1准确地进行测定的条件的初始设定。

三维传感器20只在如图中以阴影线例示的一定的距离范围内，保证以规定的精度测定到测定对象的距离，若脱离该距离范围，则存在测定误差变大或无法得到测定值的可能性。

三维传感器20也能够采用具有拍摄测定对象的二维图像的2个二维摄像机21、22以及向测定对象投影包含网格(grid)状的基准点的图像的投影机23的结构。这样的三维传感器20能够通过2个二维摄像机21、22来拍摄被投影了网格状的基准点的测定对象，根据因2个二维摄像机21、22的摄影图像的视差所产生的网格的位置偏差，来计算从三维传感器20到各网格的距离。

控制装置30具备形状存储部31、三维测定部32、距离测定部33、测定姿势设定部34、基准姿势设定部35、匹配度计算部36、偏差量计算部37、修正姿势设定部38、初始设定控制部39、工件检测控制部40以及工件取出控制部41。控制装置30能够通过使具有例如存储器、CPU、输入输出接口等的1个或多个计算机装置执行适当的程序来实现。控制装置30的各构成要素也可以是以其功能进行分类得到的，但在物理性构造及程序构造上不能明确地区分。

形状存储部31预先存储测定对象(工件W、未图示的初始设定治具等)的形状。在三维测定系统1中，将具有与存储于形状存储部31的形状匹配的形状的物体识别为测定对象。

三维测定部32利用三维传感器20来测定测定对象及周围物体的位置及形状。也就是说，对三维传感器20给予检测的触发(trigger)，根据三维传感器20的检测数据，来制作三维传感器20的坐标系统中的测定对象等物体的表面形状的三维数据。

距离测定部33测定三维传感器20与测定对象之间的距离(以下称为初始配置距离)。距离测定部33也可以构成为利用专用的传感器，但是能够构成为利用三维传感器20的2个二维摄像机21、22中的任一者来测定三维传感器20与测定对象之间的初始配置距离。作为例子，距离测定部33能够构成为根据使机器人10的姿势变化并由二维摄像机21、22从不同的位置拍摄测定对象而得到的多个二维图像，来计算三维传感器20与测定对象之间的初始配置距离。

测定姿势设定部34根据距离测定部33测定出的三维传感器20与测定对象之间的初始配置距离，来设定使三维传感器20与测定对象之间的距离的预测值为规定的基准距离的机器人10的测定姿势。基准距离设为三维传感器20能够准确地检测距离的距离。也就是说，“测定姿势”是机器人10将三维传感器20定位在使三维测定部32的测定变得准确的位置的姿势。此外，“测定姿势”是根据可能包含误差的初始配置距离的1个测定值所求出的，三维传感器20与测定对象之间的实际距离未必准确地与基准距离一致。

基准姿势设定部35设定机器人10的基准姿势，该机器人10的基准姿势使得根据在使机器人10为测定姿势的状态下由三维测定部32测定出的测定对象的位置及形状计算出的三维传感器20与测定对象之间的距离(以下称为测定配置距离)同基准距离一致。也就是说，“基准姿势”是被认为根据在测定姿势下由三维测定部32较为准确地测定出的三维传感器20与测定对象之间的测定配置距离来使三维传感器20与测定对象之间的实际距离更准确地同基准距离一致的姿势。

匹配度计算部36计算三维测定部32测定出的测定对象的形状与形状存储部31所存储的测定对象的形状的匹配度。在测定对象的形状固定的情况下，若三维传感器20与测定对象之间的实际距离同基准距离之间的偏差越大，则该“匹配度”会因三维测定部32的测定误差而越低。

偏差量计算部37根据三维测定部32测定出的测定对象的位置及形状，来计算三维传感器20与测定对象之间的测定配置距离相对于基准距离的偏差量、也就是测定配置距离与基准距离之差。由于测定对象配置于基准面上，因此在测定对象重叠地配置的情况下，测定配置距离会短于基准距离。因此，将偏差量设为从基准距离减去测定配置距离后的值较为简便。

修正姿势设定部38在匹配度计算部36计算出的匹配度小于规定的判定阈值的情况下，设定使三维传感器20移动了偏差量计算部所计算出的偏差量后的机器人的修正姿势。匹配度的大幅降低可能在基准姿势设定部35设定基准姿势之后因测定对象被堆叠而使到测定对象的实际距离变小那样的情况下发生。因此，在匹配度小于判定阈值的情况下，设定使三维传感器20移动了偏差量后的修正姿势。也就是说，修正姿势设定部38通过设为使三维传感器20与测定对象之间的实际距离接近基准距离的状态，来设定能够通过三维传感器20更准确地测定测定对象的位置及形状的修正姿势。

初始设定控制部39通过以适当的顺序来使三维测定部32、距离测定部33、测定姿势设定部34以及基准姿势设定部35发挥功能，由此在通过三维测定系统1检测工件W的位置及方向的情况下，执行设定基准姿势的初始设定处理，所述基准姿势是作为初始设定来利用的机器人10的姿势。

在图2中示出由初始设定控制部39进行的初始设定处理的过程。初始设定处理具备初始定位工序(步骤S01)、距离测定工序(步骤S02)、测定姿势设定工序(步骤S03)、测定姿势定位工序(步骤S04)、三维测定工序(步骤S05)以及基准姿势设定工序(步骤S06)。初始设定处理可以利用工件W来进行，但优选的是将具有三维测定部32及距离测定部33能够准确地检测的形状及色彩的初始设定治具(未图示)载置于基准面S上来进行。此外，优选的是，使用在与将工件W在基准面S上配置成不重叠的状态大致相同的高度位置具有形状上的特征的初始设定治具。初始设定治具优选设为将三维测定部32及距离测定部33能够检测的特征点呈旋转不对称地配置。

在步骤S01的初始定位工序中，将机器人10的姿势决定为能够由距离测定部33测定到测定对象的距离的姿势。该姿势也可以预先设定为例如使三维传感器20充分远离基准面S的机器人10的姿势，但也可以由操作者或管理者手动地设定。也就是说，初始定位工序也可以设为请求操作者或管理者进行机器人10的定位并受理确认定位完成的输入的工序。

在步骤S02的距离测定工序中，使距离测定部33测定三维传感器20与测定对象之间的初始配置距离。具体而言，距离测定工序能够具有例如以下工序：使二维摄像机21拍摄测定对象；使机器人10的姿势变化以使三维传感器20移动；使二维摄像机21再次拍摄测定对象；以及根据2个摄影图像中的测定对象的位置配置、形状等的变化，来计算三维传感器20与测定对象之间的初始配置距离。

在步骤S03的测定姿势设定工序中，使测定姿势设定部34根据通过距离测定工序测定出的初始配置距离，来设定使三维传感器20与测定对象之间的距离为规定的基准距离的机器人10的测定姿势。

在步骤S04的测定姿势定位工序中，使机器人10进行姿势变化而成为通过测定姿势设定工序所设定的设想姿势。

在步骤S05的三维测定工序中，使三维测定部32利用三维传感器20来测定测定对象的位置及形状，计算三维传感器20与测定对象之间的测定配置距离。

在步骤S06的基准姿势设定工序中，根据通过三维测定工序测定出的测定配置距离，来使基准姿势设定部35设定使三维传感器20与测定对象之间的距离为规定的基准距离的机器人10的基准姿势。

工件检测控制部40通过以适当的顺序使三维测定部32、匹配度计算部36、偏差量计算部37以及修正姿势设定部38发挥功能，来执行检测工件W的位置及方向的工件检测处理。

在图3中示出由工件检测控制部40进行的工件检测处理的过程。工件检测处理具备基准姿势定位工序(步骤S11)、第一测定工序(步骤S12)、第一工件形状识别工序(步骤S13)、匹配度计算工序(步骤S14)、匹配度确认工序(步骤S15)、偏差量计算工序(步骤S16)、修正姿势设定工序(步骤S17)、修正姿势定位工序(步骤S18)、第二测定工序(步骤S19)、第二工件形状识别工序(步骤S20)以及工件位置确定工序(步骤S21)。

在步骤S11的基准姿势定位工序中，使机器人10以成为在初始设定处理中预先设定的基准姿势位置的方式进行动作。

在步骤S12的第一测定工序中，使三维测定部32利用三维传感器20来测定测定对象及周围物体的位置及形状。若工件W是与在初始设定处理中所使用的测定对象相同的条件、典型的是在基准面S上不重叠地载置的状态，则通过该第一测定工序所测定的形状包含与工件W的形状较为准确地匹配的部分。

在步骤S13的第一工件形状识别工序中，通过众所周知的图案(pattern)识别技术，根据通过第一测定工序测定出的形状，来确定出具有与存储于形状存储部31的工件W的形状近似的形状的部分。

在步骤S14的匹配度计算工序中，使匹配度计算部36计算匹配度，所述匹配度表示通过第一工件形状识别工序所确定出的部分与存储于形状存储部31的工件W的形状之间的匹配程度。

在步骤S15的匹配度确认工序中，确认通过匹配度计算工序计算出的匹配度是否为预先设定的判定阈值以上。在匹配度为规定的判定阈值以上的情况下，进入步骤S21，在匹配度小于规定的判定阈值的情况下，进入步骤S16。匹配度变低的情况能够设想工件W堆叠从而最上部的工件W脱离三维传感器20的最佳距离范围的情况等。

在步骤S16的偏差量计算工序中，使偏差量计算部37根据通过第一测定工序测定出的测定对象的位置及形状，来计算三维传感器20与测定对象(已通过匹配度计算工序计算出匹配度的形状部分)之间的距离相对于基准距离的偏差量。

在步骤S17的修正姿势设定工序中，使修正姿势设定部38设定相对于基准姿势而使三维传感器20后退通过偏差量计算工序计算出的偏差量的机器人的修正姿势。

在步骤S18的修正姿势定位工序中，使机器人10以成为通过修正姿势设定工序所设定的修正姿势的方式进行动作。由此，能够使三维传感器20到通过第一工件形状识别工序所确定出的工件W的距离接近能够进行适当的测定的基准距离。

在步骤S19的第二测定工序中，使三维测定部32再次测定测定对象及周围物体的位置及形状。也就是说，在第二测定工序中，在修正姿势下重新测定测定对象及周围物体的位置及形状。

在步骤S20的第二工件形状识别工序中，与第一工件形状识别工序同样，根据通过第二测定工序测定出的形状，来确定出具有与存储于形状存储部31的工件W的形状近似的形状的部分。

在步骤S21的工件位置确定工序中，在匹配度确认工序中匹配度为判定阈值以上的情况下，视为工件W存在于与通过第一工件形状识别工序所确定出的形状部分匹配的位置及方向上，在匹配度确认工序中匹配度小于判定阈值的情况下，视为工件W存在于与通过第二工件形状识别工序所确定出的形状部分匹配的位置及方向上，从而确定出工件W的位置及方向。

工件取出控制部41通过以往进行的方法，来执行使机器人10以用手部11把持通过工件检测控制部40所进行的工件检测处理而确定出的工件W并取出该工件W的方式进行动作的工件取出处理。

在三维测定系统1中，在基准面S上配置有多个工件W的情况下，通过交替地重复执行工件检测处理及工件取出处理，能够将工件W一个一个地取出。

如上所述，三维测定系统1能够不受测定对象的位置影响地准确地测定测定对象的三维形状。因此，三维测定系统1能够可靠地取出工件W。

在图4中示出本公开的第二实施方式所涉及的三维测定系统1A的结构。关于图4的三维测定系统1A，对与图1的三维测定系统1同样的构成要素标注相同的附图标记，并省略重复的说明。

三维测定系统1A具备具有手部11的机器人10、三维传感器20以及控制装置30。在三维测定系统1A中，三维传感器20被固定在机器人10的上方，例如被固定在配设有三维测定系统1A的房间的天花板或梁部等。

该三维测定系统1A通过在用手部11把持着工件W的状态下测定工件W的位置及形状，由此来确认由手部11把持工件W的把持位置的偏差。因此，在三维测定系统1A中，机器人10使手部11所把持的测定对象相对于三维传感器20移动。

图4的三维测定系统1A的控制装置30也与图1的三维测定系统1同样地具备形状存储部31、三维测定部32、距离测定部33、测定姿势设定部34、基准姿势设定部35、匹配度计算部36、偏差量计算部37、修正姿势设定部38、初始设定控制部39、工件检测控制部40以及工件取出控制部41。

图4的三维测定系统1A的初始设定处理和工件检测处理使得，在三维测定部32进行测定以及距离测定部33进行测定时，机器人10会进入二维摄像机21、22的视野中，关于初始设定处理及工件检测处理的过程，与图1的三维测定系统1相同。

图4的三维测定系统1A能够不受手部11把持测定对象的把持位置影响地准确地测定测定对象的三维形状。由此，三维测定系统1A能够校正手部11把持工件W的把持位置的偏差，来通过机器人10将工件W相对于例如加工装置等准确地定位。

上面说明了本发明的实施方式，但本发明不限于上述的实施方式。另外，本实施方式所记载的效果只是列举了由本发明产生的最佳效果，但本发明所产生的效果不限定于本实施方式所记载的效果。

在本发明所涉及的三维测定系统中，在工件检测处理中，也可以与初始设定处理同样地确认由距离测定部测定的三维传感器及测定对象的位置，设定使三维传感器与测定对象之间的距离为基准距离的测定姿势，并根据该测定姿势下的由三维测定部获得的测定对象的位置及形状的测定结果，来确定工件的位置及方向。在该情况下，在第二次以后的初始定位工序中，优选的是自动地再现在最初的初始定位工序中所设定的机器人的姿势。

另外，在本发明所涉及的三维测定系统中，也可以不进行初始设定处理而手动地设定基准姿势，来进行工件检测处理。

另外，在本发明所涉及的三维测定系统中，修正姿势设定部也可以取代匹配度，而根据三维测定部能够测定出的三维点的数量、工件检测控制部所检测到的工件的数量等，来判断三维测定部的测定结果的准确性，并在判断出测定结果不准确的情况下设定修正姿势，或者修正姿势设定部除了匹配度以外，还根据三维测定部能够测定出的三维点的数量、工件检测控制部所检测到的工件的数量等，来判断三维测定部的测定结果的准确性，并在判断出测定结果不准确的情况下设定修正姿势。

附图标记说明

1：三维测定系统；10：机器人；11：手部；20：三维传感器；21、22：二维摄像机；23：投影机；30：控制装置；31：形状存储部；32：三维测定部；33：距离测定部；34：测定姿势设定部；35：基准姿势设定部；36：匹配度计算部；37：偏差量计算部；38：修正姿势设定部；39：初始设定控制部；40：工件检测控制部；41：工件取出控制部；S：基准面；W：工件。

Claims (6)

1.一种三维测定系统，具备：

三维测定部，其利用用于测定到测定对象的距离的三维传感器，来测定所述测定对象的位置及形状；

机器人，其使所述三维传感器或所述测定对象移动；

距离测定部，其测定所述三维传感器与所述测定对象之间的距离；以及

测定姿势设定部，其根据所述距离测定部测定出的所述三维传感器与所述测定对象之间的距离，来设定使所述三维传感器与所述测定对象之间的距离为规定的基准距离的所述机器人的测定姿势。

2.根据权利要求1所述的三维测定系统，其中，

所述三维传感器包括二维摄像机，

所述距离测定部利用所述二维摄像机，来测定所述三维传感器与所述测定对象之间的距离。

3.根据权利要求2所述的三维测定系统，其中，

所述距离测定部根据多个二维图像来计算所述三维传感器与所述测定对象之间的距离，其中，所述多个二维图像是使所述机器人的姿势变化并由所述二维摄像机从不同的位置拍摄所述测定对象而得到的。

4.根据权利要求1至3中的任一项所述的三维测定系统，其中，

还具备基准姿势设定部，所述基准姿势设定部根据在使所述机器人为所述测定姿势的状态下由所述三维测定部测定出的所述测定对象的位置及形状，来设定使所述三维传感器与所述测定对象之间的距离同所述基准距离一致的所述机器人的基准姿势。

5.根据权利要求4所述的三维测定系统，还具备：

形状存储部，其预先存储所述测定对象的形状；

匹配度计算部，其计算所述三维测定部测定出的所述测定对象的形状与所述形状存储部所存储的所述测定对象的形状的匹配度；

偏差量计算部，其根据所述三维测定部测定出的所述测定对象的位置及形状，来计算所述三维传感器与所述测定对象之间的距离相对于所述基准距离的偏差量；以及

修正姿势设定部，在所述匹配度小于规定的判定阈值的情况下，所述修正姿势设定部设定使所述三维传感器移动了所述偏差量后的所述机器人的修正姿势。

6.一种三维测定系统，具备：

三维测定部，其利用用于测定到测定对象的距离的三维传感器，来测定测定对象的位置及形状；

机器人，其使所述三维传感器或所述测定对象移动；

基准姿势设定部，其设定所述机器人的基准姿势；

形状存储部，其预先存储所述测定对象的形状；

匹配度计算部，其计算所述三维测定部测定出的所述测定对象的形状与所述形状存储部所存储的所述测定对象的形状的匹配度；

偏差量计算部，其根据所述三维测定部测定出的所述测定对象的位置及形状，来计算所述三维传感器与所述测定对象之间的距离相对于规定的基准距离的偏差量；以及

修正姿势设定部，在所述匹配度小于规定的判定阈值的情况下，所述修正姿势设定部设定使所述三维传感器移动了所述偏差量后的所述机器人的修正姿势。