CN103999125B - 三维测量方法和机器人设备 - Google Patents
三维测量方法和机器人设备 Download PDFInfo
- Publication number
- CN103999125B CN103999125B CN201280062326.6A CN201280062326A CN103999125B CN 103999125 B CN103999125 B CN 103999125B CN 201280062326 A CN201280062326 A CN 201280062326A CN 103999125 B CN103999125 B CN 103999125B
- Authority
- CN
- China
- Prior art keywords
- edge
- workpiece
- arithmetic element
- dimensional
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005259 measurement Methods 0.000 title claims abstract description 19
- 238000011084 recovery Methods 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims description 13
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 16
- 239000013598 vector Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 241000193935 Araneus diadematus Species 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种三维测量方法，其三维地恢复具有接近平行于极线的交叉角度的边缘。工件的同一平面上的边缘e2L、e3L以及e4L被选择，并且在这些边缘中，通过立体法三维地恢复位于关于与极线交叉的90°的交叉角度的预定角度范围内的至少两个边缘e2L和e4L。然后，求得包括这些三维恢复的e2L和e4L的三维平面P1，并且将位于关于与极线交叉的90°的交叉角度的预定角度范围外的边缘e3L投影到该三维平面P1，由此三维地恢复边缘e3L。
Description
技术领域
本发明涉及基于所拍摄的图像的工件(work)的三维测量。
背景技术
通常，作为通过照相机拍摄测量目标(以下简称为工件)的图像并基于所拍摄的图像来求得工件的三维点的坐标的方法，被称为立体法(stereo method)的方法被广泛已知。该立体法用于使用照相机的视差来测量三维位置。首先，在通过具有不同视点的两个照相机所拍摄的图像之间求得关于三维位置的要测量的点的对应点。然后，使用这些图像上的对应点和照相机的位置之间的位置关系，基于三角测量的原理来计算三维位置。
这种立体法广泛用于三维测量技术(其用于例如产品检查或通过工业机器人的工件的识别)，并且例如用于计算工件的线状边缘(线状部分)的三维直线的公式。
也就是说，在已知关于工件的设计数据的情况下，当计算工件的线状边缘的直线的两个或更多个三维公式以便确定工件的姿势时，则原则上可以从设计数据等求得工件的三维位置。然后，使用线状部分上的两个或更多个点的三维位置来计算这些线状部分的直线的三维公式，并且上述立体法被用于计算线状部分上的点的位置。
然而，与求得点状物体的三维位置的情况不同，在通过一个照相机所拍摄的图像的直线上的一个点的情况下，难以在通过另一照相机所拍摄的图像的直线上指定与该一个点相对应的点。
于是，为了检测各图像平面中的线状部分的对应点，已知使用被称为极线(epipolar line)的虚拟基准线。该极线是通过将关于由照相机中的一个所观看的物体(例如，工件的线状部分上的一个点)的视线投影到通过另一照相机所拍摄的图像上来获得的，并且可以说要求得的对应点位于该极线上。因此，为了关于一个图像上的线状部分上的一个点指定另一图像上的对应点，可以在另一图像上绘制极线并且可以使该极线与另一图像的线状部分的交点作为对应点。
然而，该极线被投影到图像平面上作为包括两个照相机的视点和工件上的点的平面(极平面)与各图像平面相交的直线，因此其梯度将由两个照相机之间的位置关系来唯一地确定。结果，在具有与该极线平行的梯度的线状部分的情况下，由于极线和线状部分重叠，因此不能指定对应点。
此外，当图像上极线与线状部分之间的交叉角度接近平行时，与图像上的线状部分的检测的误差相比，对应点的检测误差的影响变得显著，并因此存在测量精度、尤其是深度方向上的测量精度下降的可能性。
于是，传统上提出使用算子来提取相对于极线具有接近直角的交叉角度的线状部分、由此仅提取相对于极线具有充分的相对角度的线状部分的技术(参见PTL1)。
引文列表
专利文献
PTL1：日本专利申请公开No.H05(1993)-5609
发明内容
技术问题
以这种方式，仅提取相对于极线具有接近直角的交叉角度的线状部分允许求得图像之间的对应点。结果，如图10A所示，当可以从实际工件的边(线状部分)的一端到另一端精确地提取边缘时，只要可以提取两个或更多个相似的边缘，就可以精确地三维恢复工件。
然而，实际上，如图10B所示，由于诸如图像的对比度和工件的形状(例如工件的角部为曲线)的问题，因而可能难以从所拍摄的图像严格提取出直至线状部分的端部的边缘。
在这种情况下，为了测量工件的三维位置，需要求得对于极线具有接近平行的交叉角度的线状部分的三维直线的公式与对于极线具有接近直角的交叉角度的线状部分的三维直线的公式之间的交叉点，以便计算端点。
于是，本发明的目的在于提供能够三维地恢复具有接近平行于极线的交叉角度的边缘的三维测量方法、三维测量程序和机器人设备。
问题的解决方案
根据本发明的三维测量方法，包括以下步骤：由运算单元获取由第一和第二照相机所拍摄的工件的立体图像；由所述运算单元从所获取的立体图像提取边缘；由所述运算单元从在所述立体图像上提取的边缘中选择所述工件的存在于同一平面上的边缘；由所述运算单元通过立体法三维地恢复存在于所述同一平面上的边缘中的至少两个第一边缘，所述第一边缘位于关于通过与极线交叉所形成的90°的交叉角度的预定角度范围内；由所述运算单元使用经三维恢复的至少两个第一边缘来计算包括经三维恢复的第一边缘的三维平面；以及由所述运算单元通过将存在于与所述第一边缘相同的平面上的边缘中的第二边缘投影在所述三维平面上来三维地恢复所述第二边缘，所述第二边缘位于关于通过与极线交叉所形成的90°的交叉角度的预定角度范围外。
根据本发明的机器人设备，包括：第一和第二照相机，所述第一和第二照相机拍摄工件的图像；机器人臂，所述机器人臂对所述工件执行操作；以及运算单元，所述运算单元基于由所述第一和第二照相机所拍摄的工件的立体图像来识别所述工件的三维位置，并且向所述机器人臂给出驱动指令，其中，所述运算单元从所获取的立体图像提取边缘，从所提取的边缘中选择所述工件的存在于同一平面上的边缘，通过立体法三维地恢复存在于所述同一平面上的边缘中的至少两个第一边缘，通过将第二边缘投影在包括经三维恢复的第一边缘的三维平面上来三维地恢复所述第二边缘，并且使用经三维恢复的第一边缘和第二边缘来识别所述工件的三维位置，所述第一边缘位于关于通过与极线交叉所形成的90°的交叉角度的预定角度范围内，所述第二边缘位于关于通过与极线交叉所形成的90°的交叉角度的预定角度范围外。
发明的有益效果
根据本发明，通过立体法来三维地恢复同一平面上且位于关于与极线交叉的90°的交叉角度的预定角度范围内的至少两个边缘。然后，求得包括这些三维恢复的第一边缘的三维平面。只要在与这些三维恢复的第一边缘相同的平面上存在边缘，即使在接近平行于极线的边缘的情况下，也可以通过将边缘投影在所求得的三维平面上来精确地三维恢复这样的边缘。
本发明的其它特征从以下参考附图对于示例性实施例的描述将变得清楚。
附图说明
图1示意性地示出根据本发明的一个实施例的机器人设备。
图2示意性地示出图1的机器人设备的照相机与机器人控制器之间的关系。
图3示意性地示出图1的机器人控制器的配置。
图4是示出根据本发明的一个实施例的三维测量方法的流程图。
图5A示出通过照相机所拍摄的工件的图像，图5B示出通过对图5A的图像执行边缘提取所获得的图像。
图6A、6B以及6C示意性地示出用于模式匹配的方法，其中图6A示意性地示出模板图像，图6B示意性地示出搜索过程，图6C示意性地示出用于选择同一平面上的边缘的方法。
图7示出边缘与极线之间的交叉角度的关系。
图8示意性地示出创建有界平面的方法。
图9示意性地示出接近平行于极线的边缘的三维恢复方法。
图10A和10B示出三维工件和从该工件的图像提取的边缘之间的关系，其中图10A示出可以提取直至工件的边的边缘点的边缘的情况，图10B示出不能提取直至工件的边的边缘点的边缘的情况。
具体实施方式
以下描述根据本发明的一个实施例的工件的三维测量。在以下描述中，边缘指的是所拍摄的图像具有对比度的突然变化的部分。三维恢复指的是从二维图像恢复目标物体的三维位置。此外，在以下附图中，三维坐标系具有位于左照相机的光学中心O1处的原点、从原点指向右照相机的光学中心O2的方向上的X轴、从原点O1到左图像的垂直方向上的Z轴以及垂直于X轴和Z轴的Y轴。
(机器人设备的结构)
如图1所示，根据本实施例的机器人设备1是作为所谓的机器人单元的组装机器人，其包括多个机器人的组合以配置一系列生产线。该机器人设备1包括机器人臂2，其执行设置在框架形式的展台(booth)7的内部的工件W的组装等，并且在展台7的上部附连有照相机3和照明器材5以从机器人臂2的上方拍摄工件的图像。
支持机器人臂2的基座6的内部设置有机器人控制器(控制设备)10，其被配置为基于照相机3所拍摄的图像来识别工件W的三维位置并向机器人臂2给出驱动指令。机器人设备1基本上包括这些机器人臂2、照相机3以及机器人控制器10，并且被配置为基于照相机3所拍摄的图像来识别工件W并通过利用机器人臂2抓取工件W来执行诸如组装的操作。
通过这种方式，机器人设备1配置使用照相机3和机器人控制器10来识别工件W的三维位置的三维测量设备4，并且图2示意性地示出该三维测量设备4。如图2所示，照相机3包括由其照相机参数被校准的第一、第二照相机3a和3b构成的立体照相机，并且通过上述立体法来识别工件W的三维位置。
如图3所示，机器人控制器10包括具有运算单元102和存储单元103的计算机主单元，机器人臂2和照相机3与其连接。运算单元102基于第一、第二照相机3a和3b所拍摄的工件的立体图像来识别该工件W的三维位置并向机器人臂2给出驱动指令。该计算机主单元与操作员通过其执行输入操作的输入单元106和示教器(teaching pendant)116、显示单元107等连接。
存储单元103存储关于第一、第二工件W1和W2的设计数据、用于机器人臂2和照相机3的控制驱动等。存储单元103还存储用于使计算机(运算单元102)执行基于照相机3所拍摄的图像来求得物体的三维位置的操作的三维测量程序CPR、用于模式匹配的模板(template)图像GT等。
更具体地，计算机主单元主要包括CPU 102a以及图像处理设备102b和语音处理设备102c，由此配置运算单元102。除图像处理设备102b和语音处理设备102c以外，CPU 102a还经由总线111与ROM 103a和RAM 103b连接。ROM 103a存储机器人的基本控制所需的程序、以及诸如上述三维测量程序CPR的各种程序和数据。RAM 103b保持用于CPU 102a的工作区域。图像处理设备102b根据来自CPU 102a的绘制指令来控制作为显示单元107的显示器，以将预定的图像显示在显示器的屏幕上。语音处理设备102c根据来自CPU 102a的发音指令生成语音信号，并且将该语音信号输出到扬声器109。
总线111与机器人臂2和照相机3以及记录盘读取设备115连接。因此，例如，可将三维测量程序CPR记录在诸如记录盘或USB存储器的记录介质D中，并且机器人控制器10可以读取该记录介质D并将数据存储在ROM 103a中。除作为主存储设备的ROM 103a和RAM 103b以外，存储单元103还包括计算机可读记录介质和其它外部存储设备。
总线111还与通信设备112连接。因此，代替使用上述记录介质D，可经由通信设备112下载从因特网等传送的三维测量程序CPR。
(三维形状测量方法)
以下描述使用上述三维测量程序的工件的三维测量方法。在以下描述中，第一、第二照相机3a和3b所拍摄的图像被称为输入图像或立体图像GE，并且经受边缘提取的立体图像被称为GE1。当存在区分这样的立体图像GE中的每一个的需要时，可通过分配字母LR将它们称为GEL和GER来进行区分。
如图4所示，当机器人设备1开始对工件W操作时(图4的步骤S1)，首先，通过第一、第二照相机3a和3b拍摄作为测量目标的工件W的图像，由此获取两个输入图像(立体图像)GE(S2，获取步骤)。
通过接收立体图像GE作为输入，机器人控制器6的运算单元102提取所输入的立体图像GE的边缘(S3，边缘提取步骤)。也就是说，如图5A所示使用边缘检测滤波器(诸如Sobel滤波器或Prewitt滤波器)来对立体图像GE执行滤波，以检测边缘e1～e9从而提取工件W的轮廓(参见图5B)。
在提取这些边缘e1～e9之后，运算单元102在所检测的多个边缘e1～e9中选择存在于工件W的同一平面上的边缘(S4～S6，同一平面边缘选择步骤)。
更具体地，机器人控制器6读取在存储单元103中作为基准图像预先存储的用于工件W的模板图像GT(参见6A)，并使用该模板图像GT对于立体图像GE执行模式匹配(S4)。
模式匹配是如图6B所示搜索与模板图像相似的立体图像GE的位置的方法，并且例如基于图像中的亮度值来搜索模板图像GE上的工件W的位置。
这里，以下描述指示作为模式匹配的典型方法的归一化相关法的公式。这里，相关值指的是输入图像GE相对于模板图像GT的相似度。
相关值
(i，j)：输入图像中的位置
fij：输入图像中的位置(i，j)处的亮度值
gij：模板图像中的位置(i，j)处的亮度值
要搜索的图像中的与模板相对应的区域的平均亮度值
模板图像的平均亮度值
更具体地，如图6B所示，当模板图像GT的范围在立体图像中以像素单位偏移时，从立体图像GE提取在大小上与模板图像GT相对应的图像。
然后，通过以上公式1求得所提取的图像与模板图像之间的相关值R，由此从立体图像搜索测量目标物体存在的位置(x，y)。这里，公式1中的“图像中的位置(i，j)”表示从立体图像GE所提取的在大小上与模板图像GT相对应的图像中以及模板图像中的位置。
同时，在登记(register)模板图像GT时，存储单元103将工件的同一平面上的边缘存在的区域(边缘区域位置)存储为例如图6A-6C中的利用虚线指示的矩形区域T的形式。
因此，当可以从输入图像GE求得工件W存在的位置(x，y)时，基于该模式匹配结果和边缘区域位置T来推定同一平面上的边缘存在的立体图像上的位置(S5)。
然后，在推定出同一平面上的边缘存在的区域时，如图6C所示，该边缘区域位置R被应用于经受边缘e1～e9的提取的立体图像GE1(边缘图像)。然后，选择存在于边缘区域位置中的边缘e1～e4作为存在于同一平面上的边缘(S6)。
当选择了存在于同一平面上的边缘e1～e4时，运算单元102检测分别通过边缘e1～e4与极线EP交叉所形成的交叉角度θ1～θ4(S7，交叉角度检测步骤)。
更具体地，如图7所示，对于立体图像中的至少一个、优选对于左、右立体图像两者测量与极线EP的交叉角度θ。
当检测到与极线EP的交叉角度θ1～θ4时，运算单元102基于所检测的交叉角度θ1～θ4来将所选择的边缘分类成第一边缘e2和e4以及第二边缘e1和e3(S8，分类步骤)。
第一边缘e2和e4是位于同一平面上的边缘中的、关于与极线EP交叉的交叉角度90°的预定角度范围内的边缘，其为通过立体法精确地三维可恢复的边缘。
另一方面，第二边缘e1和e3是位于与第一边缘e2和e4相同的平面上的边缘中的、关于与极线EP交叉的交叉角度90°的预定角度范围外的边缘，其为接近平行于极线EP的边缘。换句话讲，可以说这些边缘是不能通过立体法精确地三维恢复的边缘。
这里，可以基于边缘提取精度来确定该交叉角度的范围，并且在本实施例的情况下，优选将以交叉角度90°为中心的45°的范围(45°与135°之间的范围)设定为第一边缘。优选将除第一边缘以外的范围(0≤θ＜44，135＜θ≤180)设定为第二边缘。
可替代地，当将该角度范围定义为极线EP与边缘e1～e4之间所形成的角度中的较小角度时，则期望可以将具有45°或更大的交叉角度的边缘设定为第一边缘并可以将小于45°的边缘设定为第二边缘。然而，例如，在不能获得具有45°或更大的交叉角度的边缘作为第一边缘或者边缘提取精度高时，例如，代替45°，可以将具有20°或更大的交叉角度(即，交叉角度在20°～160°的范围内)的边缘设定为第一边缘，并可以将小于20°的边缘设定为第二边缘。
在边缘的分类完成之后，由于第一边缘e2和e4可以是通过立体法精确地三维可恢复的，因此运算单元102三维地恢复至少两个第一边缘(S9，第一边缘三维恢复步骤)。
更具体地，在图7的左图像GE1L中对于边缘e2和e4中的每一个选择任意的两个点，并且使用极线EP来在右图像上指定所选择的这两个点的对应点。
然后，使用右图像GE1R与GE1L之间的视差来求得所选择的这两个点的三维位置，并且从所求得的这两个点引出(introduce)关于各边缘的三维直线的公式，由此三维地恢复边缘。
另一方面，第二边缘e1、e3不能通过立体法精确地三维恢复。因此，为了三维地恢复这些第二边缘e1和e3，运算单元使用三维恢复的至少两个第一边缘e2和e4来计算包括三维恢复的第一边缘的三维平面(以下称为有界平面)(S10，有界平面计算步骤)。
这里，可以通过求得要求得的平面的法向矢量和该平面上的一个点来计算三维平面的公式。因此，如图8所示，运算单元102首先从三维恢复的第一边缘中的一个提取任意的两个点，并从另一边缘提取任意的一个点。
此时，假定这些点具有坐标(x1，y1，z1)、(x2，y2，z2)和(x3，y3，z3)，则可以通过以下公式2和3来求得图8的方向矢量V1(x4，y4，z4)和V2(x5，y5，z5)。
(x4，y4，z4)＝(x1-x2，y1-y2，z1-z2)...(公式2)
(x5，y5，z5)＝(x3-x2，y3-y2，z3-z2)...(公式3)
然后，可以基于这些方向矢量V1(x4，y4，z4)和V2(x5，y5，z5)通过公式4来表示有界平面的法向矢量(a，b，c)。
(a，b，c)＝(y4z5-y5z4，z4x5-z5x4，x4y5-x5y4)...(公式4)
然后，可以基于法向矢量(a，b，c)和三维恢复的边缘的任意一个点的坐标(x3，y3，z3)通过公式5来求得有界平面P1。
ax+by+cz-(ax3+by3+cz3)＝0...(公式5)
由于求得了有界平面P1，因此运算单元102通过将第二边缘e1和e3投影在该有界平面P1上来执行三维恢复(S11、S12，第二边缘三维恢复步骤)。更具体地，如图9所示，运算单元102形成包括作为左照相机的光学中心O1和左图像上的所选择的第二边缘e3L的端点的两个点的边缘的视线平面P2(S11)。
也就是说，假定图像上的边缘点为(Xc1，Yc1，Zc1)和(Xc2，Yc2，Zc2)，则可以通过公式6来表示边缘的视线平面P2的法向矢量(i，j，k)。
(i，j，k)＝(Yc1Zc2-Yc2Zc1，Zc1Xc2-Zc2Xc1，Xc1Yc2-Xc2Yc1)...(公式6)
这里，由于边缘的视线平面P2具有坐标原点(光学中心)(0，0，0)的固定点，因此可以基于法向矢量(i，j，k)通过公式7来表示该边缘的视线平面。
ix+jy+kz＝0...(公式7)
第二边缘e1和e3存在于边缘的视线平面上的三维位置处。此外，由于第二边缘存在于与第一边缘e1和e3的平面相同的平面上，因此可以说它们存在于有界平面上的三维位置处。
因此，运算单元102计算边缘的视线平面P2与有界平面P1之间的交叉线E3，并将该交叉线E3设定为第二边缘的三维位置(S12)。
也就是说，可以通过有界平面P1的法向矢量(a，b，c)和边缘的视线平面P2的法向矢量(i，j，k)的外积来表示边缘的视线平面P2与有界平面P1之间的交叉线E3的方向矢量(Xe，Ye，Ze)，这可以通过公式8来表示。
(Xe，Ye，Ze)＝(bk-cj，ci-ak，aj-bi)...(公式8)
此外，由于交叉线E3通过的任意固定点(Xp，Yp，Zp)满足对于有界平面P1的公式和对于边缘的视线平面P2的公式两者，因此运算单元102通过求得以上公式5和7的联立方程的解来计算该固定点(Xp，Yp，Zp)。
在以上公式5和7的联立方程中，除非Ze＝0，否则可以通过设定Z＝0来求得x和y，并因此可以使用有界平面的公式、边缘的视线平面的公式以及Z＝0通过公式9来表示固定点(Xp，Yp，Zp)。
(Xp，Yp，Zp)＝((ax3+by3+cz3)j)/Ze，(ax3+by3+cz3)i)/(-Ze)，0)...(公式9)
由此，可以使用方向矢量(Xe，Ye，Ze)和固定点(Xp，Yp，Zp)通过公式10来表示交叉线E3。然后，运算单元102求得公式10的解并将该解设定为第二边缘e3的三维位置(S12)。
(x-Xp)/Xe＝(y-Yp)/Ye＝(z-Zp)/Ze ...(公式10)
运算单元102三维地恢复第一边缘和第二边缘，并然后使用这样三维恢复的第一边缘和第二边缘E2、E4以及E3来识别工件W的三维位置(S13)。
更具体地，首先，运算单元102求得三维恢复的第二边缘E3(第二边缘的三维直线的公式)与三维恢复的第一边缘E2和E4(第一边缘的三维直线的公式)之间的交点。然后，使用包括这样求得的交点、三维恢复的第一边缘E2和E4的一个点以及三维恢复的第二边缘E3的一个点的三个点，通过将工件的角部设定为起点来表示工件的姿势位置。
以这种方式，使用对于立体恢复具有良好的精度、即相对于极线EP具有大的交叉角度的第一边缘e2和e4创建有界平面P1。然后，将同一平面上的相对于极线EP具有小的交叉角度的第二边缘e1和e3投影在该有界平面P1上。由此，即使对于相对于极线具有小的角度的第二边缘e1和e3，也能够进行三维恢复。
此外，边缘的区域位置T可以连同模板图像GT一起存储，并且可以使用模式匹配来选择同一平面上的边缘。由此，可以快速且准确地指定同一平面上的边缘。
这里，注意，尽管在本实施例中仅选择直线上的边缘，但它们可以不总是直线上的边缘。此外，可以通过三个或者更多个照相机来拍摄工件，并且可以从多个所拍摄的图像中选择两个图像。
此外，可以通过除模式匹配以外的任意方法来检测同一平面上的边缘。例如，可以通过使用关于边缘的特征量的检测方法来检测边缘，例如使得基于基准图像来预先存储同一平面上的边缘的诸如重心、角度、边缘强度以及长度的特征量，并且选择与这些特征量相似的边缘。
而且，根据本发明的三维测量方法不限于仅机器人设备，并且可应用于诸如三维形状测量设备或用于车辆的防碰撞设备的、使用图像来识别目标的任意设备。不用说，本实施例中所描述的发明可以以任意方式组合以供使用。
尽管已参照示例性实施例描述了本发明，但应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围要被赋予最宽泛的解释，以包含所有这样的修改以及等同的结构和功能。
本申请要求2011年12月22日提交的日本专利申请No.2011-281150的权益，在此通过引用而合并其全部内容。
附图标记列表
3a：第一照相机
3b：第二照相机
102：运算单元
W：工件
GE，GE1：立体图像
e：边缘
e2，e4：第一边缘
e1，e3：第二边缘
EP：极线
P1：三维平面(有界平面)
Claims (6)
1.一种三维测量方法，包括以下步骤：
由运算单元获取由第一和第二照相机所拍摄的工件的立体图像；
由所述运算单元从所获取的立体图像提取边缘；
由所述运算单元从在所述立体图像上提取的边缘中选择所述工件的存在于同一平面上的边缘；
由所述运算单元通过立体法三维地恢复存在于所述同一平面上的边缘中的至少两个第一边缘，其中，所述第一边缘与极线之间的交叉角度位于预定角度范围内；
由所述运算单元使用经三维恢复的至少两个第一边缘来计算包括经三维恢复的第一边缘的三维平面；以及
由所述运算单元通过将存在于与所述第一边缘相同的平面上的边缘中的第二边缘投影在所述三维平面上来三维地恢复所述第二边缘，其中，所述第二边缘与极线之间的交叉角度位于所述预定角度范围外。
2.根据权利要求1所述的三维测量方法，其中，所述运算单元通过使用模板图像相对于所述立体图像执行模式匹配来选择存在于同一平面上的边缘。
3.根据权利要求1所述的三维测量方法，其中，所述第一边缘是所提取的边缘中边缘与极线的交叉角度为45°以上且135°以下的边缘。
4.根据权利要求1所述的三维测量方法，其中，所述第一边缘是所提取的边缘中边缘与极线的交叉角度为20°以上且160°以下的边缘。
5.根据权利要求1所述的三维测量方法，还通过第三照相机来拍摄所述工件，并且从由第一、第二以及第三照相机所拍摄的多个图像中选择两个图像以获取立体图像。
6.一种机器人设备，包括：
第一和第二照相机，所述第一和第二照相机拍摄工件的图像；
机器人臂，所述机器人臂对所述工件执行操作；以及
运算单元，所述运算单元基于由所述第一和第二照相机所拍摄的工件的立体图像来识别所述工件的三维位置，并且向所述机器人臂给出驱动指令，
其中，所述运算单元从所获取的立体图像提取边缘，从所提取的边缘中选择所述工件的存在于同一平面上的边缘，通过立体法三维地恢复存在于所述同一平面上的边缘中的至少两个第一边缘，通过将第二边缘投影在包括经三维恢复的第一边缘的三维平面上来三维地恢复所述第二边缘，并且使用经三维恢复的第一边缘和第二边缘来识别所述工件的三维位置，其中，所述第一边缘与极线之间的交叉角度位于预定角度范围内，所述第二边缘与极线之间的交叉角度位于所述预定角度范围外。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011281150A JP5858773B2 (ja) | 2011-12-22 | 2011-12-22 | ３次元計測方法、３次元計測プログラム及びロボット装置 |
| JP2011-281150 | 2011-12-22 | ||
| PCT/JP2012/081589 WO2013094420A1 (en) | 2011-12-22 | 2012-11-29 | Three dimension measurement method, three dimension measurement program and robot device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103999125A CN103999125A (zh) | 2014-08-20 |
| CN103999125B true CN103999125B (zh) | 2016-09-07 |
Family
ID=47557435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280062326.6A Expired - Fee Related CN103999125B (zh) | 2011-12-22 | 2012-11-29 | 三维测量方法和机器人设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9292932B2 (zh) |
| EP (1) | EP2795577B1 (zh) |
| JP (1) | JP5858773B2 (zh) |
| CN (1) | CN103999125B (zh) |
| WO (1) | WO2013094420A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015076026A (ja) * | 2013-10-11 | 2015-04-20 | キヤノン株式会社 | パターンマッチング装置及びパターンマッチング方法 |
| JP5911934B2 (ja) | 2014-09-18 | 2016-04-27 | ファナック株式会社 | 輪郭線計測装置およびロボットシステム |
| KR101700729B1 (ko) | 2015-08-28 | 2017-02-14 | 티클로버(주) | 단일 프레임에 의하여 3차원 형상을 복원하기 위한 장치 및 시스템 |
| JP6836561B2 (ja) * | 2018-09-20 | 2021-03-03 | ファナック株式会社 | 画像処理装置及び画像処理方法 |
| CN111161297B (zh) * | 2019-12-31 | 2023-06-16 | 上海联影医疗科技股份有限公司 | 限束器边缘的确定方法、装置及x射线系统 |
| DE112021000595T5 (de) | 2020-01-17 | 2022-12-01 | Fanuc Corporation | Bildverarbeitungssystem |
| US12017371B2 (en) | 2022-03-15 | 2024-06-25 | Fanuc Corporation | Efficient and robust line matching approach |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2882910B2 (ja) * | 1991-06-27 | 1999-04-19 | 富士通株式会社 | 画像立体認識方法 |
| CN102164293A (zh) * | 2010-02-16 | 2011-08-24 | 索尼公司 | 图像处理装置、图像处理方法、图像处理程序和成像装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11155151A (ja) | 1997-11-19 | 1999-06-08 | Hamamatsu Photonics Kk | ３次元撮像表示システム |
| JP5245938B2 (ja) * | 2009-03-12 | 2013-07-24 | オムロン株式会社 | ３次元認識結果の表示方法および３次元視覚センサ |
| KR101055411B1 (ko) * | 2010-03-12 | 2011-08-09 | 이상원 | 입체 영상 생성 방법 및 그 장치 |
| JP5713159B2 (ja) * | 2010-03-24 | 2015-05-07 | 独立行政法人産業技術総合研究所 | ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム |
-
2011
- 2011-12-22 JP JP2011281150A patent/JP5858773B2/ja not_active Expired - Fee Related
-
2012
- 2012-11-29 US US14/355,685 patent/US9292932B2/en not_active Expired - Fee Related
- 2012-11-29 EP EP12814002.7A patent/EP2795577B1/en not_active Not-in-force
- 2012-11-29 CN CN201280062326.6A patent/CN103999125B/zh not_active Expired - Fee Related
- 2012-11-29 WO PCT/JP2012/081589 patent/WO2013094420A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2882910B2 (ja) * | 1991-06-27 | 1999-04-19 | 富士通株式会社 | 画像立体認識方法 |
| CN102164293A (zh) * | 2010-02-16 | 2011-08-24 | 索尼公司 | 图像处理装置、图像处理方法、图像处理程序和成像装置 |
Non-Patent Citations (2)
| Title |
|---|
| Estimation of 3D reconstruction errors in a stereo-vision system;Belhaoua A.等;《Modeling Aspects in Optical Metrology II》;20090615;第7390卷;第73900X-1-73900X-10页 * |
| 基于图像处理的三维测量方法;黄锦等;《电子器件》;20021231;第25卷(第4期);第364-368页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103999125A (zh) | 2014-08-20 |
| WO2013094420A1 (en) | 2013-06-27 |
| JP5858773B2 (ja) | 2016-02-10 |
| US9292932B2 (en) | 2016-03-22 |
| JP2013130508A (ja) | 2013-07-04 |
| EP2795577A1 (en) | 2014-10-29 |
| US20140294286A1 (en) | 2014-10-02 |
| EP2795577B1 (en) | 2016-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103999125B (zh) | 三维测量方法和机器人设备 | |
| KR102261020B1 (ko) | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 | |
| CN108028871B (zh) | 移动设备上的无标记的多用户多对象增强现实 | |
| JP6789624B2 (ja) | 情報処理装置、情報処理方法 | |
| CN106503671B (zh) | 确定人脸姿态的方法和装置 | |
| JP5388932B2 (ja) | 情報処理装置およびその制御方法 | |
| JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
| JP4508049B2 (ja) | ３６０°画像撮影装置 | |
| US9696543B2 (en) | Information processing apparatus and information processing method | |
| US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
| JP4593968B2 (ja) | 位置姿勢計測方法および装置 | |
| JP4532982B2 (ja) | 配置情報推定方法および情報処理装置 | |
| JP4914039B2 (ja) | 情報処理方法および装置 | |
| JP7107166B2 (ja) | 床面検出プログラム、床面検出方法及び端末装置 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
| CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
| JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
| US20140307053A1 (en) | Method of prompting proper rotation angle for image depth establishing | |
| JP5960471B2 (ja) | 画像監視装置 | |
| JP2021047516A (ja) | 情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラム | |
| WO2021145304A1 (ja) | 画像処理システム | |
| JP2004252815A (ja) | 画像表示装置、画像表示方法およびプログラム | |
| JP6429240B2 (ja) | 形状検出装置、形状検出方法、及びプログラム | |
| WO2017125983A1 (en) | Information processing apparatus, information processing method, and program for estimating position and orientation of a camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160907 |