CN102374860A

CN102374860A - 三维视觉定位方法及系统

Info

Publication number: CN102374860A
Application number: CN2011102869111A
Authority: CN
Inventors: 吴俊宁; 姚国庆; 朱晓曦
Original assignee: Chery Automobile Co Ltd
Current assignee: Chery Automobile Co Ltd
Priority date: 2011-09-23
Filing date: 2011-09-23
Publication date: 2012-03-14
Anticipated expiration: 2031-09-23
Also published as: CN102374860B

Abstract

本发明公开了一种三维视觉定位方法及系统，属于机器视觉领域。所述方法包括：将图像采集模块设置在目标物体上方预定高度，在匀速直线运动过程中每隔预定时间间隔采集一帧目标物体的二维图像；根据若干帧连续的所述二维图像合成所述目标物体的三维图像；将所述目标物体的三维图像与预定模板进行轮廓匹配，确定所述目标物体的中心点以及所述中心点在空间坐标系中的坐标；根据所述预定模板在所述目标物体的三维图像中确定一个定位面；根据所述定位面所在平面和所述定位面参考平面计算目标物体的偏移夹角。该三维视觉定位方法及系统减少了采用多个相机的成本和加大视觉定位系统的测量范围。

Description

三维视觉定位方法及系统

技术领域

本发明涉及视觉定位领域，特别涉及一种三维视觉定位方法及系统。

背景技术

机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维物体的识别。据不完全统计，大约80％的工业机器视觉系统被用在检测与机械引导方面。

现有技术中有一种视觉定位方法，其采用固定的两个二维相机来实现目标物体的视觉定位，具体实施时，将两个二维相机采集的二维图像合成3D图像来实现目标物体的景深等计算。现有技术中存在的另一种用于机器人搬运作业的视觉定位方法则采用固定的一个二维相机结合一个三维相机的方式来实现目标物体的视觉定位，具体实施时，利用二维相机采集的二维图像完成目标物体的粗定位，利用三维相机来完成目标物体的相关位置参数和偏移参数的确定。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：第一，现有技术中通常需要两个甚至更多的二维相机或者三维相机来完成视觉定位过程，而工业用相机的成本相对较高；第二，现有技术中采用的二维相机或者三维相机多采用固定式，所以这些二维相机或者三维相机的测量范围为固定的一块区域，测量范围较小。

发明内容

为了能够减少采用多个相机的成本和加大视觉定位系统的测量范围，本发明实施例提供了一种三维视觉定位方法及系统。所述技术方案如下：

根据本发明的一个方面，本发明实施例提供一种三维视觉定位方法，所述方法包括：

将图像采集模块设置在目标物体上方预定高度，所述图像采集模块在匀速直线运动过程中每隔预定时间间隔采集一帧目标物体的二维图像；

根据若干帧连续的所述二维图像合成所述目标物体的三维图像；

将所述目标物体的三维图像与预定模板进行轮廓匹配，确定所述目标物体的中心点以及所述中心点在空间坐标系中的坐标；

根据所述预定模板在所述目标物体的三维图像中确定至少三个位于定位面上的特征点，并根据所述至少三个特征点确定所述定位面所在平面，所述定位面为所述目标物体的一个表面；

在所述空间坐标系中确定一定位面参考平面；

根据所述定位面所在平面和所述定位面参考平面计算目标物体与空间坐标系各轴的偏移夹角。

进一步地，在所述图像采集模块采集所述二维图像时，使所述图像采集模块的成像角度固定。

进一步地，所述将所述目标物体的三维图像与预定模板进行轮廓匹配包括：将所述目标物体的三维图像进行图像的二值化；将二值化后的三维图像中的若干个特征点与所述预定模板中的若干个对应特征点比对以进行轮廓匹配。

进一步地，所述并根据所述至少三个特征点确定所述定位面所在平面包括：利用有效区域合成工具确定所述定位面所在平面。

进一步地，所述在所述空间坐标系中确定一定位面参考平面包括：利用参考平面选定工具确定定位面参考平面。

进一步地，所述根据所述定位面所在平面和所述定位面参考平面计算目标物体与空间坐标系各轴的偏移夹角包括：利用与参考平面夹角选定工具计算所述定位面所在平面和所述定位面参考平面之间的夹角。

根据本发明的另一方面，本发明实施例还提供一种三维视觉定位系统，所述系统包括：

被设置在目标物体上方预定高度的图像采集模块，用于在匀速直线运动过程中每隔预定时间间隔采集一帧目标物体的二维图像；

图像合成模块，用于根据若干帧连续的所述二维图像合成所述目标物体的三维图像；

模板匹配模块，用于将所述目标物体的三维图像与预定模板进行轮廓匹配，确定所述目标物体的中心点以及所述中心点在空间坐标系中的坐标；

定位面确定模块，用于根据所述预定模板在所述目标物体的三维图像中确定至少三个位于定位面上的特征点，并根据所述至少三个特征点确定所述定位面所在平面，所述定位面为所述目标物体的一个表面；

定位面参考平面确定模块，用于在所述空间坐标系中确定一定位面参考平面；

偏移角度确定模块，用于根据所述定位面所在平面和所述定位面参考平面计算目标物体与空间坐标系各轴的偏移夹角。

进一步地，所述图像采集模块的成像角度固定。

进一步地，所述模板匹配模块将所述目标物体的三维图像进行图像的二值化，然后将二值化后的三维图像中的若干个特征点与所述预定模板中的若干个对应特征点比对以进行轮廓匹配。

进一步地，所述定位面确定模块，用于通过有效区域合成工具确定所述定位面所在平面；所述定位面参考平面确定模块，用于通过参考平面选定工具确定定位面参考平面；所述偏移角度确定模块，用于通过参考平面夹角选定工具计算所述定位面所在平面和所述定位面参考平面之间的夹角。

本发明实施例提供的技术方案带来的有益效果是：

通过采用在目标物体上方预定高度设置图像采集模块，并利用图像采集模块做匀速直线运动的过程中每隔预定时间间隔来采集目标物体的二维图像的方式，实现了一个图像采集模块就可以完成图像的采集过程，相较于现有技术，节省了至少一个相机的成本。另外，由于图像采集模块是处于动态的，所以图像采集模块的测量区域并不固定，比如将图像采集模块安装在机器人端时，所述图像采集模块能够采集的测量区域是机器人能够到达的所有区域。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的三维视觉定位方法的方法流程图；

图2是本发明实施例二提供的三维视觉定位系统的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

请参考图1，其示出了本发明实施例提供的三维视觉定位方法的方法流程图。该三维视觉定位方法包括：

步骤102，将图像采集模块设置在目标物体上方预定高度，图像采集模块在匀速直线运动过程中每隔预定时间间隔采集一帧目标物体的二维图像；

将图像采集模块设置在目标物体上方的预定高度，并且使得图像采集模块中的相机的采集方向斜向下，与水平面成预定的角度。在需要图像采集模块采集一个目标物体的图像时，使图像采集模块在该目标物体上方的预定高度做匀速直线运动，并且在匀速直线运动过程中每隔预定时间间隔采集一帧目标物体的二维图像。为了能够保证采集到的二维图像的质量，图像采集模块中还可以设置激光光源，激光光源可以与相机基本设置于同一高度，且激光光源的照明角度垂直向下。激光光源的波长可以选择658nm±15nm，激光滤光片：60nmFWHM，电源电压24V±20％，激光等级II级/2M。为了使得相机在移动过程中准确获取目标物体的轮廓尺寸，预定高度的设定需要根据相机的测量范围来设定，尽量使得目标物体处于相机的最佳或者较佳测量范围内。而且相机的运动速度也应当根据相机的采集灵敏度来设置为合适的、稳定的速率。在一个具体的实施例中，图像采集模块可以设置在机器人端，由机器人完成图像采集模块的姿态调整和运动驱动过程。

步骤104，根据若干帧连续的二维图像合成目标物体的三维图像；

可以采用一个二维相机完成二维图像的采集过程，而利用安装有特定软件的计算机系统来合成目标物体的三维图像，也可以采用一个三维相机同时完成二维图像的采集过程和三维图像的合成过程。

步骤106，将目标物体的三维图像与预定模板进行轮廓匹配，确定目标物体的中心点以及该中心点在空间坐标系中的坐标；

预先采集和设定目标物体的一个模板。如果有多种目标物体，可以针对不同目标物体设置多个模板。并在这些模板上预先选定有多个代表轮廓特征、形状特征或者表面特征的特征点。当合成目标物体的三维图像后，可以将目标物体的三维图像与预定模板进行轮廓匹配，以确定目标物体的中心点以及该中心点在空间坐标系中的坐标。为了突出图像中的重要细节，改善视觉质量，可以首先将目标物体的三维图像进行图像的二值化，也即将图像的灰度值(阈值)进行增强或减弱，然后在二值化后的三维图像中寻找若干个特征点与预定模板中的若干个对应特征点比对以进行轮廓匹配，并根据轮廓匹配的结果确定目标物体的中心点，以及中心点在根据相机构建的空间坐标系内的坐标。该中心点的坐标代表了目标物体在空间坐标系内的位置，该中心点的坐标包括X、Y和Z，其中X表示中心点在X轴上的偏移值，Y表示中心点在Y轴上的偏移值，Z表示中心点在Z轴上的偏移值。

步骤108，根据预定模板在目标物体的三维图像中确定至少三个位于定位面上的特征点，并根据至少三个特征点确定定位面所在平面，定位面为目标物体的一个表面；

在确定目标物体的空间位置也即中心点的坐标以后，还需要确定目标物体在空间中的姿态，也即需要确定目标物体与空间坐标系各个轴之间的角度偏差，为此需要确定目标物体的一个定位面，这个定位面通常是目标物体的一个表面，比如目标物体的顶面，然后根据定位面与参考面之间的角度偏移来计算目标物体与空间坐标系各个轴之间的角度偏差值。也就是说，在目标物体的三维图像与预定模板进行匹配后，可以选择目标物体的三维图像中的至少三个特征点来进行定位面的确定，定位面为目标物体的一个表面。比如在一个实施例中，目标物体为汽车发动机缸盖，其定位面预先定义为发动机缸盖的顶面，则此时需要确定目标物体的三维图像中处于发动机缸盖的顶面的三个特征点。在寻找到位于定位面的三个特征点后，可以利用ROI UNION工具(Region of interest union，有效区域合成工具)经过两次组合来形成定位面，也即确定了定位面在空间坐标系中的所在平面。

步骤110，在空间坐标系中确定一定位面参考平面；

当定位面为目标物体的顶面时，可以利用FIT SURFACE工具(FIT SURFAC，参考平面选定工具)在空间坐标系内确定一水平参考面。

步骤112，根据定位面所在平面和定位面参考平面计算目标物体与空间坐标系各轴的偏移夹角。

可以利用CO-PLANARITY工具(CO-PLANARITY，与参考平面夹角选定工具)在空间坐标系内确定定位面所在平面和定位面参考平面之间的夹角，从而计算出目标物体的A、B和C值，其中A代表目标物体绕Z轴的偏移夹角，B代表目标物体绕X轴的旋转夹角，C代表目标物体绕Y轴的旋转夹角。在计算完成后，可以将目标物体的X、Y、Z、A、B和C值存储到诸如可擦除的临时变量表之类的数据存储器中，以方便诸如机器人搬运模块之类的其它模块对数据的调用与输出。

综上所述，本发明实施例提供的三维视觉定位方法只采用一个相机就可以完成目标物体的三维图像的采集过程，节省了至少一个相机的成本，同时由于该相机是处于动态的，所以该相机的测量范围为该相机能够运动到的所有区域。当设置不同的模板时，本发明实施例提供的三维视觉定位方法还可以对目标物体进行识别，并在识别成功后进行目标物体的3D尺寸测量与空间姿态坐标定位。同时，通过改变相机的预定高度，还可以适应不同的定位精度测量要求。

实施例二

请参考图2，其示出了本发明实施例二提供的三维视觉定位系统的结构方框图。该三维视觉定位系统包括图像采集模块210、图像合成模块220、模板匹配模块230、定位面确定模块240、定位面参考平面确定模块250和偏移角度确定模块260。

图像采集模块210包括一个相机，图像采集模块210被设置在目标物体上方的预定高度，并且图像采集模块210中的相机的采集方向斜向下，与水平面成预定的角度。图像采集模块210在采集一个目标物体的图像时，在该目标物体上方的预定高度做匀速直线运动，并且在匀速直线运动过程中每隔预定时间间隔采集一帧目标物体的二维图像。为了能够保证采集到的二维图像的质量，图像采集模块210还可以包括激光光源，激光光源可以与相机基本设置于同一高度，且激光光源的照明角度垂直向下。激光光源的波长可以选择658nm±15nm，激光滤光片：60nmFWHM，电源电压24V±20％，激光等级II级/2M。为了使得相机在移动过程中准确获取目标物体的轮廓尺寸，预定高度的设定需要根据相机的测量范围来设定，尽量使得目标物体处于相机的最佳或者较佳测量范围内。而且相机的运动速度也应当根据相机的采集灵敏度来设置为合适的、稳定的速率。另外，当图像采集模块210采集多个目标物体时，由于多个目标物体的位置关系，图像采集模块210在采集过程中可能做匀速折线运动。

图像合成模块220根据图像采集模块210采集的若干帧连续的二维图像合成目标物体的三维图像。图像采集模块210采集到若干帧连续的二维图像后，图像合成模块220根据这些二维图像来合成目标物体的三维图像。通过多张不同空间位置的二维图像来合成三维图像是现有技术中较为成熟的技术，本文不再累述。图像合成模块220可以合成目标物体的1∶1三维图像。在一个实施例中，图像采集模块210可以包括一个二维相机和激光光源，图像合成模块220为运行有特定软件的计算机设备；在另一个实施例中，图像采集模块210和图像合成模块220可以为一个三维相机中的一部分。

模板匹配模块230将目标物体的三维图像与预定模板进行轮廓匹配，确定目标物体的中心点以及该中心点在空间坐标系中的坐标。由于视觉定位系统大部分用于工业领域的机器人搬运作业，所以目标物体的形状和特点等信息通常是已知的，比如在一个具体的实施例中，目标物体可以是汽车发动机的缸盖。故可以在模板匹配模块230内预先采集和设定目标物体的一个模板。如果有多种目标物体，可以针对不同目标物体设置多个模板。并在这些模板上预先选定有多个代表轮廓特征、形状特征或者表面特征的特征点。当模板匹配模块230获得图像合成模块220合成的目标物体的三维图像后，可以将目标物体的三维图像与预定模板进行轮廓匹配，以确定目标物体的中心点以及该中心点在空间坐标系中的坐标。为了突出图像中的重要细节，改善视觉质量，模板匹配模块230首先将目标物体的三维图像进行图像的二值化，也即将图像的灰度值(阈值)进行增强或减弱，然后模板匹配模块230在二值化后的三维图像中寻找若干个特征点与预定模板中的若干个对应特征点比对以进行轮廓匹配，并根据轮廓匹配的结果确定目标物体的中心点，以及中心点在根据相机构建的空间坐标系内的坐标。该中心点的坐标代表了目标物体在空间坐标系内的位置，该中心点的坐标包括X、Y和Z，其中X表示中心点在X轴上的偏移值，Y表示中心点在Y轴上的偏移值，Z表示中心点在Z轴上的偏移值。

在确定目标物体的空间位置也即中心点的坐标以后，还需要确定目标物体在空间中的姿态，也即需要确定目标物体与空间坐标系各个轴之间的角度偏差，为此需要确定目标物体的一个定位面，这个定位面通常是目标物体的一个表面，比如目标物体的顶面。然后根据定位面与参考面之间的角度偏移来计算目标物体与空间坐标系各个轴之间的角度偏差值。

定位面确定模块240根据预定模板在目标物体的三维图像中确定至少三个位于定位面上的特征点，并根据至少三个特征点确定定位面所在平面，定位面为目标物体的一个表面。在目标物体的三维图像与预定模板进行匹配后，可以选择目标物体的三维图像中的至少三个特征点来进行定位面的确定，比如在一个实施例中，目标物体为汽车发动机缸盖，其定位面预先定义为发动机缸盖的顶面，则此时需要确定目标物体的三维图像中处于发动机缸盖的顶面的三个特征点。在寻找到位于定位面的三个特征点后，可以利用ROI UNION工具(Region ofinterest union，有效区域合成工具)经过两次组合来形成定位面，也即确定了定位面在空间坐标系中的所在平面。

定位面参考平面确定模块250在空间坐标系中确定一定位面参考平面。当定位面为目标物体的顶面时，可以利用FIT SURFACE工具(FIT SURFAC，参考平面选定工具)在空间坐标系内确定一水平参考面。

偏移角度确定模块260根据定位面所在平面和定位面参考平面计算目标物体与空间坐标系各轴的偏移夹角。偏移角度确定模块260可以利用CO-PLANARITY工具(CO-PLANARITY，与参考平面夹角选定工具)在空间坐标系内确定定位面所在平面和定位面参考平面之间的夹角，从而计算出目标物体的A、B和C值，其中A代表目标物体绕Z轴的偏移夹角，B代表目标物体绕X轴的旋转夹角，C代表目标物体绕Y轴的旋转夹角。在计算完成后，可以将目标物体的X、Y、Z、A、B和C值存储到诸如可擦除的临时变量表之类的数据存储器中，以方便诸如机器人搬运模块之类的其它模块对数据的调用与输出。

综上所述，本发明实施例提供的三维视觉定位系统只采用一个相机就可以完成目标物体的三维图像的采集过程，节省了至少一个相机的成本，同时由于该相机是处于动态的，所以该相机的测量范围为该相机能够运动到的所有区域。当设置不同的模板时，本发明实施例提供的三维视觉定位系统还可以对目标物体进行识别，并在识别成功后进行目标物体的3D尺寸测量与空间姿态坐标定位。同时，通过改变相机的预定高度，还可以适应不同的定位精度测量要求。

本发明实施例提供的三维视觉定位系统及方法可以通过软件、硬件及其两者的组合实施成为一个模块、一个系统或者一个系统的一部分。比如本发明实施例提供的三维视觉定位系统及方法在应用于机器人搬运作业时，可以实施成为待搬运物体的视觉定位模块，来指导机器人抓取模块对待搬运物体的抓取过程。

需要说明的是：上述实施例提供的三维视觉定位装置在上述实施例描述时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的三维视觉定位装置与三维视觉定位方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种三维视觉定位方法，其特征在于，其包括：

在所述空间坐标系中确定一定位面参考平面；

2.根据权利要求1所述的三维视觉定位方法，其特征在于，在所述图像采集模块采集所述二维图像时，使所述图像采集模块的成像角度固定。

3.根据权利要求1或2所述的三维视觉定位方法，其特征在于，所述将所述目标物体的三维图像与预定模板进行轮廓匹配包括：

将所述目标物体的三维图像进行图像的二值化；

将二值化后的三维图像中的若干个特征点与所述预定模板中的若干个对应特征点比对以进行轮廓匹配。

4.根据权利要求1所述的三维视觉定位方法，其特征在于，所述根据所述至少三个特征点确定所述定位面所在平面包括：

利用有效区域合成工具确定所述定位面所在平面。

5.根据权利要求1所述的三维视觉定位方法，其特征在于，所述在所述空间坐标系中确定一定位面参考平面包括：

利用参考平面选定工具确定定位面参考平面。

6.根据权利要求1、4或5所述的三维视觉定位方法，其特征在于，所述根据所述定位面所在平面和所述定位面参考平面计算目标物体与空间坐标系各轴的偏移夹角包括：

利用与参考平面夹角选定工具计算所述定位面所在平面和所述定位面参考平面之间的夹角。

7.一种三维视觉定位系统，其特征在于，其包括：

8.根据权利要求7所述的三维视觉定位系统，其特征在于，所述图像采集模块的成像角度固定。

9.根据权利要求7或8所述的三维视觉定位系统，其特征在于，所述模板匹配模块，用于将所述目标物体的三维图像进行图像的二值化，然后将二值化后的三维图像中的若干个特征点与所述预定模板中的若干个对应特征点比对以进行轮廓匹配。

10.根据权利要求7所述的三维视觉定位系统，其特征在于，

所述定位面确定模块，用于通过有效区域合成工具确定所述定位面所在平面；

所述定位面参考平面确定模块，用于通过参考平面选定工具确定定位面参考平面；

所述偏移角度确定模块，用于通过参考平面夹角选定工具计算所述定位面所在平面和所述定位面参考平面之间的夹角。