CN106813595A - 三相机组特征点匹配方法、测量方法及三维检测装置 - Google Patents

Abstract

本发明涉及光学电子测量技术领域，尤其是涉及一种三相机组特征点匹配方法、测量方法及三维检测装置。其中测量方法包括以下步骤：b1.图像采集完成后，找出所述基像平面中的所有特征点对应的唯一性匹配点组；b2.根据所述步骤b1.中获得的唯一性匹配点组的像坐标，计算被视点的空间位置坐标；b3.根据所述步骤b2中获得的被视点的空间位置坐标，形成三维点云数据，建立三维点云图形，重现三维立体图像。本发明至少具备以下有益效果：第一、能够在三个相机上均成像的被视点的通用性、唯一性的匹配；第二、实现对被视物的三维测量；第三、快速实现三维感知和测量。第四、使用相机少，减少了应用成本。

Description

三相机组特征点匹配方法、测量方法及三维检测装置

技术领域

本发明涉及光学电子测量技术领域，尤其是涉及一种三相机组特征点匹配方法、测量方法及三维检测装置。

背景技术

目前三维立体视觉测量一般采用线激光光截图测量技术或双目测量加结构光照明的方式，线激光或结构光在三维测量中得到广泛使用的主要原因是：通过线激光或结构光的指示使成像中明确了对应的匹配点，减少了匹配的歧义性，实现了确定且唯一的匹配。但是如果取消了线激光或结构光的指示，双目匹配就不能避免出现多点匹配的歧义性，从而不能满足测量要求，同时采用线激光或结构光只能对线激光或结构光成像部位进行测量，限定了该技术的适用范围，而且线激光或结构光的使用对被测物例如人会产生不良影响。

此外，目前双目匹配还经常采用一种在被视物表面贴标识点的方式，采用这种方式也是为了提高匹配的准确性。但是，在被视物表面贴标识点的方式存在需要提前对被测物进行人工处理和干预的缺点。

专利文件，“四相机组平面阵列特征点匹配方法及基于四相机组平面阵列特征点匹配方法的测量方法”，匹配方法包括以四个像平面中的一个像平面为基像平面，对基像平面上的一个特征点找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；对于基像平面上的特征点找出在纵向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；将找出的横纵两个方向上所有匹配点进行再匹配，找出所有子匹配点组；找出对角位置像平面上与基像平面上的特征点以及找出的所有子匹配点组对应的匹配点；确定四个像平面中对应于同一被视点的唯一性匹配点组。对于每组唯一性匹配点组，可根据该匹配点组的像坐标和相机系统本身的参数，计算被视点的三维空间坐标。在任何光照条件下只要采集的图像足够清晰对于任何在四相机组平面阵列的图像上成像且有一定的图像特征的被视物，采用完全相同的匹配方法和测量方法均可以实现被视物的三维测量。

四相机组平面阵列特征点匹配方法使用相机多，增加了应用成本，同时，由于相机多，也增加了加工难度和计算的复杂度，也影响了测量精度。

发明内容

有鉴于此，本发明实施例的目的在于提供一种三相机组特征点匹配方法、测量方法及三维检测装置；以降低现有的多相机匹配方法及测量方法的复杂度，简化空间尺寸计算过程，减小系统测量误差。

本发明提供了如下技术方案：

一种三相机组特征点匹配方法，包括以下步骤：

a1.以一组三相机组的横向像平面中的一个像平面为基像平面，对于所述基像平面上的一个特征点找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

a2.对于所述步骤a1中的所述基像平面上的所述特征点和对应的在横向方向上与所述基像平面相邻的像平面上与该特征点匹配的所有匹配点，组成的匹配点组，找出在第三个像平面上与该对匹配点组相匹配的匹配点，根据匹配条件，去除不满足匹配条件的匹配点组，形成由三个像平面上都存在的满足匹配条件的匹配点组；

a3.重复步骤a1和a2，找出基像平面上所有能够实现匹配的特征点及其对应的匹配点组，以及匹配点组中其它两个像平面上对应的匹配点；

a4.将所有匹配点组中位于其它两个非基像平面上对应的匹配点进行全图验证，确定出所述三个像平面对应于同一被视点的唯一性匹配点组。

更进一步地，

所述步骤a1中，对于所述基像平面上的一个特征点根据匹配条件1)找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

其中，

所述匹配条件1)，为一个被视点在一组三相机组的三个像平面上成像时，在横向方向上相邻的两个像平面上的成像点满足：该被视点在左像平面上的成像点与该被视点在对应的右像平面上的成像点位于平行于横向坐标轴的同一条直线上，并且该左像平面上的成像点相对于该左像平面的坐标原点的水平偏移量大于该右像平面上的成像点相对于该右像平面的坐标原点的水平偏移量。

更进一步地，

所述步骤a2中，根据匹配条件2)和匹配条件3)找出在第三个像平面上与该对匹配点组相匹配的匹配点；

其中，所述匹配条件2)为，一个被视点在一组三相机组的三个像平面上成像时，在另一个高度方向上的像平面上的成像点位于，与该像平面相邻的左右两侧的两个像平面上的成像点与该被视点在该像平面上的成像点的连线的交点上，且两条连线分别平行于该被视点所在该像平面上的中心点与对应的水平轴上两个左右像平面上的中心点的连线；

其中，所述匹配条件3)为，一个被视点在一组三相机组的三个像平面上对应的匹配点组满足的必要条件为该三个成像点组成一个三角形，该三角形的三条边与三个像平面的焦点组成的三角形的三条边平行，且该三角形与三个像平面的焦点组成的三角形相似。

更进一步地，

步骤a4中，如果在其他两个非基像平面上出现同一匹配点对应基像平面上的两个或多个匹配点组时，以该点为基点，按照匹配条件1)、2)和3)，以及步骤a1、a2和a3，在基像平面上依次寻找对应的匹配点，判断在该匹配点上是否还存在另外的匹配点组，如果有，就将本匹配关系删除，直到出现匹配关系为两两对应的唯一匹配关系为止；如果，一直存在一点对多点，且已经在非基像平面上的两个平面都完成了全图验证的情况下，就将该匹配关系全部删除。

一种基于三相机组特征点匹配方法的测量方法，

包括以下步骤：

b1.图像采集完成后，使用如上所述的三相机组特征点匹配方法找出所述基像平面中的所有特征点对应的唯一性匹配点组；

b2.根据所述步骤b1中获得的唯一性匹配点组的像坐标，计算被视点的空间位置坐标；

b3.根据所述步骤b2中获得的被视点的空间位置坐标，形成三维点云数据，建立三维点云图形，重现三维立体图像。

更进一步地，

所述步骤b1包括：

b11.以一组三相机组的横向像平面中的一个像平面为基像平面，对于所述基像平面上的一个特征点找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

b12.对于所述步骤b11中的所述基像平面上的所述特征点和对应的在横向方向上与所述基像平面相邻的像平面上与该特征点匹配的所有匹配点，组成的匹配点组，根据匹配条件2)和匹配条件3)找出在第三个像平面上与该对匹配点组相匹配的匹配点，根据匹配条件，去除不满足匹配条件的匹配点组，形成由三个像平面上都存在的满足匹配条件3)的匹配点组；

b13.重复步骤b11和b12，找出基像平面上所有能够实现匹配的特征点及其对应的匹配点组，以及匹配点组中位于其它两个像平面上对应的匹配点；

b14.将所有匹配点组中位于非基像平面的其它两个像平面上对应的匹配点进行全图验证，如果在图上出现同一匹配点对应基像平面上的两个或多个匹配点组时，以该点为基点，按照匹配原理以及以上步骤在基像平面上依次寻找对应的匹配点，判断在该匹配点上是否还存在另外的匹配点组，如果有，就将本匹配关系删除。直到出现匹配关系为两两对应的唯一匹配关系为止，如果，一直存在一点对多点，且已经在非基像平面上的两个平面都完成了全图验证的情况下，就将该匹配关系全部删除。

更进一步地，

所述步骤b2中，

三相机组以任意三角形设置，包括分别位于空间坐标水平轴两侧位置的a相机和b相机、位于垂直坐标轴上部位置的c相机，三个相机的焦点Oa、Ob、Oc在同一平面上，且三个相机的焦距相同设为f，三个相机的光轴均垂直于该平面，被视点P(Px，Py，Pz)和该点在a像平面、b像平面和c像平面上的成像点分别为Pa(Pax，Pay)、Pb(Pbx，Pby)、Pc(Pcx，Pcy)，m为OaOb的长度，u为各像平面上的图像传感器的靶面长度，v为各相机的图像传感器的靶面宽度，P＇点、Pa＇点和Pb＇点分别为P点、Pa点、Pb点在OXZ坐标平面上的投影点，Pax和Pbx分别为Pa＇点和Pb＇点在a像平面和b像平面上的X轴方向的坐标值；θa为a像平面像素投影角，θb为b像平面像素投影角，其中像素投影角θ(θa或θb)是指对于一个固定焦距和参数已知的图像采集系统，其图像上每个像素点与其焦点的连线与光轴中心的夹角叫做像素投影角；

P点的空间位置坐标的表达式为：

a，b像平面横向匹配时Px坐标计算公式：

a，b像平面横向匹配时Pz坐标计算公式：

由横向匹配已知的Px和Pz的值得出Py的值：

其中：

一种三维检测装置，采用了上述的测量方法，包括三相机镜头阵列。

更进一步地，

还包括相互平行的第一基板和第二基板、设置于所述第二基板背离所述第一基板一侧的控制电路板，以及用于容纳所述第一基板、所述第二基板和所述控制电路板的固定后壳；

所述三相机镜头阵列设置于第一基板上，所述三相机镜头阵列的各个镜头的轴线分别垂直于所述第一基板所在的平面，所述第二基板朝向所述第一基板的表面设置有感光元件阵列，所述感光元件阵列中的各个感光元件与各个所述镜头一一对应设置。

更进一步地，

所述感光元件阵列焊接在第二基板上或与第二基板一体成型，所述感光元件阵列形成的三角形底部的两个所述感光元件的扫描线水平平行且上下完全对齐，同时，所述感光元件阵列顶部的感光元件的扫描线与底部的两个所述感光元件的扫描线平行，且三个所述感光元件组成以底边为底的等腰三角形或者以底边为一个直角边的直角三角形。

更进一步地，

包括图像生成电路板、用于固定所述图像生成电路板的固定基板、以及位于所述固定基板后方的图像采集电路板；

所述图像生成电路板上设置有三个微型镜头、与三个所述微型镜头一一对应的微型感光元件、以及设置于所述微型感光元件下方的图像生成电路，三个微型镜头组成三相机镜头阵列。

更进一步地，

所述微型感光元件阵列焊接在图像生成电路板上或与图像生成电路板一体成型，所述微型感光元件阵列形成的三角形底部的两个所述微型感光元件的扫描线水平平行且上下完全对齐，同时，所述微型感光元件阵列顶部的微型感光元件的扫描线与底部的两个所述微型感光元件的扫描线平行，且三个所述微型感光元件组成以底边为底的等腰三角形或者以底边为一个直角边的直角三角形。

更进一步地，

根据被测物视场的范围，可以以所述三维检测装置为基本测量单元，形成多于三台相机的三维检测装置平面检测相机阵列。

本发明至少具备以下有益效果：

1.平面三相机组特征点匹配方法，能够根据被视物的一个被视点在一组平面三相机组的三个像平面上的成像点的位置，快速匹配出该被视点在三个像平面上对应的唯一性成像点组，实现对能够在三个相机上均成像的被视点的通用性、唯一性的匹配；

2.基于平面三相机组特征点匹配方法的测量方法，在任何光照条件下，只要采集的图像足够清晰，在未知被视物的情况下，对于任何被视物，采用完全相同的测量方法就可以实现对被视物的三维测量，并且该测量方法无需对视场做任何标定，其测量精度和分辨率只与测量系统有关，与被视物无关，能够完全实现自主性测量。

3.由于所述匹配方法和测量方法的通用性和可靠性，便于程序优化以及实现嵌入式级别和芯片级别的运算，从而快速实现三维感知和测量。

4.相对于四相机组平面阵列特征点匹配方法，该方法使用相机少，减少了应用成本，同时，由于相机少，也减少了加工难度和计算的复杂度，提高了测量精度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是基于三相机组建立的空间坐标系的示意图；

图2是被视物的某个被视点P(Px，Py，Pz)和该点在a像平面、b像平面和c像平面上的成像示意图；

图3是任意被视点P在平面三相机组上的成像平面示意图；

图4是任意被视点P在a、b相机组上的成像立体示意图；

图5是P点在a、b相机组上的成像点在OXZ坐标平面上的投影图；

图6是像素投影角和P点Y值计算示意图；

图7是实施例3提供的其中一种三维检测装置的爆炸图；

图8是图7的总装示意图；

图9是图7中的固定后壳的结构示意图；

图10是图8的截面图；

图11是实施例3提供的另一种三维检测装置的爆炸图；

图12是图11的总装示意图；

图13是基于三相机组特征点匹配方法的测量方法的流程图。

图标：100－第一基板；101－镜头；102－安装通孔；200－第二基板；201－感光元件；300－控制电路板；400－固定后壳；401－第一电源输入口；402－第一数据通信接口；301－固定柱；500－前壳；501－镜头孔；600－图像生成电路板；601－微型感光元件；602－安装孔；603－微型镜头；604－图像生成电路；700－固定基板；800－图像采集电路板；900－后壳；901－第二电源输入口；902－第二数据通信接口。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图对实施例1、实施例2和实施例3进行详细描述：

图1是基于三相机组建立的空间坐标系的示意图；图2是被视物的某个被视点P(Px，Py，Pz)和该点在a像平面、b像平面和c像平面上的成像示意图；图3是任意被视点P在平面三相机组上的成像平面示意图；图4是任意被视点P在a、b相机组上的成像立体示意图；图5是P点在a、b相机组上的成像点在OXZ坐标平面上的投影图；图6是像素投影角和P点Y值计算示意图；图7是实施例3提供的其中一种三维检测装置的爆炸图；图8是图7的总装示意图；图9是图7中的固定后壳900的结构示意图；图10是图8的截面图；图11是实施例3提供的另一种三维检测装置的爆炸图；图12是图11的总装示意图。

本发明中，成像点是指被视物的被视点在像平面(或图像)上对应像素位置的呈像，被视物的每个被视点在一组三相机组的三个像平面上分别对应有一个成像点；匹配点是指对于一个像平面上的成像点，在该像平面或其他像平面上寻找到的与该成像点满足某种匹配条件且与该成像点的图像特征(例如纹理、颜色或灰度等)相近的成像点。一个成像点对应的匹配点可能有一个或多个。

本发明中，特征点是指对应有一个或多个匹配点的如下成像点，该成像点具有区别于其他成像点的图像特征，例如不同的纹理、颜色或灰度值等，本发明实施例中不作具体限定，可以根据实际情况选择不同的图像特征作为判断依据。一般的，被测物边缘或纹理过渡区等位置的被视点对应的成像点都具有鲜明的图像特征，图13是基于三相机组特征点匹配方法的测量方法的流程图。

实施例1

本实施例涉及一种三相机组特征点匹配方法。

1、建立平面三相机组前像模型三维测量系统和三维坐标系。

为了便于阐述本发明实施例的平面三相机组特征点匹配方法和测量方法，需要建立一个满足要求的平面三相机组三维测量系统以及该平面三相机组三维测量系统所对应的三维坐标系，为了更方便应用本发明实施例的方法，使用前向投影模型，采用以如下方式建立的平面三相机组三维测量系统和对应的三维坐标系：

图1是基于三相机组建立的空间坐标系的示意图。

设三相机组的焦点在同一平面上以任意三角形设置，包括分别位于空间坐标水平轴两侧位置的a相机和b相机、位于垂直坐标轴上部位置的c相机，三个相机的配置完全相同，相同配置即三个相机的镜头101、图像传感器、焦距等参数完全相同。三个相机的焦点Oa、Ob、Oc在同一平面上，且三个相机的焦距相同设为f，三个相机的光轴均垂直于该平面，Oa、Ob、Oc组成底边为m，高度为h，两个底角分别为α、β的任意三角形，三角形的底边的中点设为O，以O为原点建立一个三维直角坐标系。其中，X轴在三角形的底边上，X轴的方向称为长度方向或水平方向或横向方向，X轴可以在左右方向上延伸(以Z坐标方向为相机像平面成像观察方向，X轴的箭头所示的方向向右，在此定义为正方向)；Y轴垂直于三角形的底边，且与Oa、Ob、Oc在同一平面上，Y轴的方向称为宽度方向或竖直方向或纵向方向，Y轴可以在上下方向上延伸(Y轴的箭头所示的方向向上，在此定义为正方向)；Z轴垂直于焦点所在的平面且与三个相机的光轴方向平行，Z轴的方向称为深度方向(定义Z轴的箭头所示的方向为深度方向的正方向)。在Z轴的正方向上，设与焦点Oa、Ob、Oc所在的平面平行且与该平面的距离为焦距f的平面，在该平面上设a、b、c三个像平面，根据成像原理，每个像平面的中心为各自对应的相机的光轴的通过点，设每个像平面的平面坐标原点为该像平面的左上角，分别为Oa＇、Ob＇和Oc＇，a像平面的二维直角坐标轴设为Oa＇XaYa，b像平面的二维直角坐标轴设为Ob＇XbYb，c像平面的二维直角坐标轴设为Oc＇XcYc，并且设每个像平面的长度(对应于各相机的图像传感器的靶面长度)为u，宽度(对应于各相机的图像传感器的靶面宽度)为v(图中未示出)。同时，定义a、b、c三个像平面的横向扫描线都与X轴方向平行，且a、b二个像平面的横向扫描线在垂直方向上下对齐。且a、b、c三个像平面的中心与对应的相机的光轴的通过点重合。

本发明中所提出的采用以上布置结构的一组平面三相机组为一个最小的基本三维立体测量单元。可以根据类似的规则和方法构建由更多相机(大于等于3的正整数)组成的多相机组平面阵列三维测量系统，同时根据类似的规则和方法可以构建各组三相机组对应的三维坐标系，或者构建统一的三维坐标系。本发明的实施例的匹配方法和测量方法适用于能够在如上布置的一组三相机组的三个相机上均成像的被测物的被视点的三维坐标位置的匹配和测量。

2、平面三相机组特征点匹配条件的推导

图2是被视物的某个被视点P(Px，Py，Pz)和该点在a像平面、b像平面和c像平面上的成像示意图，参见图2，按照成像原理，P点在a、b、c像平面上的成像点分别为Pa(Pax，Pay)、Pb(Pbx，Pby)、Pc(Pcx，Pcy)。

图3是任意被视点P在平面三相机组上的成像平面示意图。

在三相机成像的像平面上，三个成像点Pa、Pb、Pc分别组成的直线PaPb和直线OaOb平行，直线PaPc和直线OaOc平行，直线PbPc和直线ObOc平行，三角形PaPbPc和三角形OaObOc相似。具体证明过程如下：

请参见图4，图4是任意被视点P在a、b相机组上的成像立体示意图。P点、Pa点、Pb点在两个焦点Oa、Ob所在的OXZ坐标平面上的投影分别为：P′点、Pa′点、Pb′点。

由于OaOb直线平行于a，b两个像平面组成的成像面，P点、Oa点和Ob点三点组成的三角形与a，b两个像平面所在的平面相交，交线为直线PaPb，所以PaPb直线与OaOb直线平行。

同理，也可以证明，PbPc直线与ObOc直线平行，PaPc直线与OaOc直线平行，同时，也证明了，三角形PaPbPc和三角形OaObOc相似。

请参见图5，图5是P点在a、b相机组上的成像点在OXZ坐标平面上的投影图。m为OaOb的长度，u为各图像传感器的靶面长度，P＇点、Pa＇点和Pb＇点分别为P点、Pa点、Pb点在OXZ坐标平面上的投影点，Pax和Pbx分别为Pa＇点和Pb＇点在a像平面和b像平面上的X轴方向的坐标值。

明显的，Pax大于Pbx，也就是说P点在a像平面中的成像点相对于a像平面的坐标原点的水平偏移量大于该点在b像平面中的成像点相对于b像平面的坐标原点的水平偏移量。

由以上证明，得出以下匹配条件：

匹配条件1)：一个被视点在一组三相机组的三个像平面上成像时，在横向方向上相邻的两个像平面上的成像点满足：该被视点在左像平面上的成像点与该被视点在对应的右像平面上的成像点位于平行于横向坐标轴的同一条直线上，并且该左像平面上的成像点相对于该左像平面的坐标原点的水平偏移量大于该右像平面上的成像点相对于该右像平面的坐标原点的水平偏移量。

由于PbPc直线与ObOc直线平行，PaPc直线与OaOc直线平行，三角形PaPbPc和三角形OaObOc相似，可以得出以下匹配条件：

匹配条件2)：一个被视点在一组三相机组的三个像平面上成像时，在另一个高度方向上的像平面上的成像点位于，与该像平面相邻的左右两侧的两个像平面上的成像点与该被视点在该像平面上的成像点的连线的交点上，且两条连线分别平行于该被视点所在该像平面上的中心点与对应的水平轴上两个左右像平面上的中心点的连线。

因而，根据前述的匹配条件1)和匹配条件2)可以得出以下匹配条件：

匹配条件3)：一个被视点在一组三相机组的三个像平面上对应的匹配点组满足的必要条件为该三个成像点组成一个三角形，该三角形的三条边与三个像平面的焦点组成的三角形的三条边平行，且该三角形与三个像平面的焦点组成的三角形相似。

按照以上匹配条件，当选定任意图像上的一个成像点后，其在另外两幅图像上对应的成像点，可按照匹配3)进行匹配，找到的三幅图像上对应的匹配点构成一对匹配点组。

3、平面三相机组特征点空间位置坐标计算。

请参见图5，图5是P点在a、b相机组上的成像点在OXZ坐标平面上的投影图。

参见图5，m为OaOb的长度，u为各图像传感器的靶面长度，P＇点、Pa＇点和Pb＇点分别为P点、Pa点、Pb点在OXZ坐标平面上的投影点，Pax和Pbx分别为Pa＇点和Pb＇点在a像平面和b像平面上的X轴方向的坐标值。

明显的，Pax大于Pbx，也就是说P点在a像平面中的成像点相对于a像平面的坐标原点的水平偏移量大于该点在b像平面中的成像点相对于b像平面的坐标原点的水平偏移量。

基于上述内容以及三角形相似原理，对于图5有：

根据①②推导出

根据①③推导出

将(P_ax-P_bx)定义为横向匹配时b像平面上的成像点相对于a像平面上的成像点的横向偏移值，定义为Δx。那么，可以得出：

a，b像平面横向匹配时Px坐标计算公式(公式一)：

a，b像平面横向匹配时Pz坐标计算公式(公式二)：

按照双目视觉前述的两个公式，对于横向匹配我们可以直接得到X和Z的值，无法得出Y值。下面我们进一步推导出横向匹配的Y值的计算方法。

由图6所示，图6是像素投影角和P点Y值计算示意图；横向匹配已知Px和Pz的值，需要进一步推导得出Py的值，我们引入像素投影角θ的概念。

像素投影角θ是指对于一个固定焦距和参数已知的图像采集系统，其图像上每个像素与其焦点的连线与光轴中心的夹角叫做像素投影角。像素投影线是指焦点与该像素点的连线的延长线组成的一条射线。如附图6所示的θ角为像素投影角，OaP为像素投影线。当焦距和图像传感器确定后，其每个像素的像素投影角是个唯一确定的值，该像素上的呈像影像对应于像素投影线与被视物的交点图像。也就是说，每个像素的成像点对应的被视物都位于该像素投影线的延长线上。

由附图6，我们可以由横向匹配已知的Px和Pz的值，进一步推导得出Py的值，其中对于a图像设像素投影角为θa，对于b图像设像素投影角为θb，记为公式三：

其中，对于公式三：

4、平面三相机组特征点匹配方法。

根据前述匹配原理、匹配条件、匹配公式，得到一种平面三相机组特征点匹配方法，包括以下步骤：

a1.以一组三相机组的横向像平面中的一个像平面为基像平面，对于基像平面上的一个特征点，根据匹配条件1)找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

a2.对于步骤a1中的基像平面上的特征点和对应的在横向方向上与基像平面相邻的像平面上与该特征点匹配的所有匹配点，组成的匹配点组，找出在第三个像平面上与该对匹配点组相匹配的匹配点，根据匹配条件2)和3)，去除不满足匹配条件的匹配点组，形成由三个像平面上都存在的满足匹配条件的匹配点组；

a3.重复步骤a1和a2，找出基像平面上所有能够实现匹配的特征点及其对应的匹配点组，以及该匹配点组中在其它两个像平面上对应的匹配点；

a4.将所有匹配点组中其它两个像平面上对应的匹配点进行全图验证，确定出三个像平面对应于同一被视点的唯一性匹配点组。

步骤a1中，对于基像平面上的一个特征点根据匹配条件1)找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

其中，

匹配条件1)，为一个被视点在一组三相机组的三个像平面上成像时，在横向方向上相邻的两个像平面上的成像点满足：该被视点在左像平面上的成像点与该被视点在对应的右像平面上的成像点位于平行于横向坐标轴的同一条直线上，并且该左像平面上的成像点相对于该左像平面的坐标原点的水平偏移量大于该右像平面上的成像点相对于该右像平面的坐标原点的水平偏移量。

步骤a2中，根据匹配条件2)和匹配条件3)找出在第三个像平面上与该对匹配点组相匹配的匹配点；

其中，匹配条件2)为，一个被视点在一组三相机组的三个像平面上成像时，在另一个高度方向上的像平面上的成像点位于，与该像平面相邻的左右两侧的两个像平面上的成像点与该被视点在该像平面上的成像点的连线的交点上，且两条连线分别平行于该被视点所在该像平面上的中心点与对应的水平轴上两个左右像平面上的中心点的连线；

其中，匹配条件3)为，一个被视点在一组三相机组的三个像平面上对应的匹配点组满足的必要条件为该三个成像点组成一个三角形，该三角形的三条边与三个像平面的焦点组成的三角形的三条边平行，且该三角形与三个像平面的焦点组成的三角形相似。

步骤a4中，如果出现在其它两个非基像平面上的同一匹配点对应基像平面上的两个或多个匹配点组时，以该点为基点，按照匹配条件1)、2)和3)，以及步骤a1、a2和a3，在基像平面上依次寻找对应的匹配点，判断在基像平面上的该匹配点上是否还存在另外的匹配点组，如果有，就将本匹配关系删除，直到出现匹配关系为两两对应的唯一匹配关系为止；如果，一直存在一点对多点，且已经在非基像平面上的两个平面都完成了全图验证的情况下，就将该匹配关系全部删除。

实施例2

本实施例涉及一种三相机平面阵列特征点测量方法。

包括以下步骤：

b1.图像采集完成后，使用实施例1中所采用的方法找出基像平面中的所有特征点对应的唯一性匹配点组；

b2.根据步骤b1中获得的唯一性匹配点组的像坐标，计算被视点的空间位置坐标；

b3.根据步骤b2中获得的被视点的空间位置坐标，形成三维点云数据，建立三维点云图形，重现三维立体图像。

步骤b1包括：

b11.以一组三相机组的横向像平面中的一个像平面为基像平面，对于基像平面上的一个特征点，根据匹配条件1)找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

b12.对于步骤b11中的基像平面上的特征点和对应的在横向方向上与基像平面相邻的像平面上与该特征点匹配的所有匹配点，组成的匹配点组，根据匹配条件2)和匹配条件3)找出在第三个像平面上与该对匹配点组相匹配的匹配点，根据匹配条件，去除不满足匹配条件的匹配点组，形成由三个像平面上都存在的满足匹配条件3)的匹配点组；

b13.重复步骤b11和b12，找出基像平面上所有能够实现匹配的特征点及其对应的匹配点组，以及匹配点组中位于其它两个像平面上对应的匹配点；

b14.将所有匹配点组中其它两个像平面上对应的匹配点进行全图验证，如果在图上出现同一匹配点对应基像平面上的两个或多个匹配点组时，以该点为基点，按照匹配原理以及以上步骤在基像平面上依次寻找对应的匹配点，判断在该匹配点上是否还存在另外的匹配点组，如果有，就将本匹配关系删除。直到出现匹配关系为两两对应的唯一匹配关系为止，如果，一直存在一点对多点，且已经在非基像平面上的两个平面都完成了全图验证的情况下，就将该匹配关系全部删除。

步骤b2中，

三相机组以任意三角形设置，包括分别位于空间坐标水平轴左侧位置的a相机、右侧位置的b相机、位于垂直坐标轴上部位置的c相机，三个相机的焦点Oa、Ob、Oc在同一平面上，且三个相机的焦距相同设为f，三个相机的光轴均垂直于该平面，被视点P(Px，Py，Pz)和该点在a像平面、b像平面和c像平面上的成像点分别为Pa(Pax，Pay)、Pb(Pbx，Pby)、Pc(Pcx，Pcy)，m为OaOb的长度，u为各像平面上的图像传感器的靶面长度，v为各相机的图像传感器的靶面宽度，P＇点、Pa＇点和Pb＇点分别为P点、Pa点、Pb点在OXZ坐标平面上的投影点，Pax和Pbx分别为Pa＇点和Pb＇点在a像平面和b像平面上的X轴方向的坐标值；θ为像素投影角，其中像素投影角θ是指对于一个固定焦距和参数已知的图像采集系统，其图像上每个像素与其焦点的连线与光轴中心的夹角叫做像素投影角；

P点的空间位置坐标的表达式为：

a，b像平面横向匹配时Px坐标计算公式：

a，b像平面横向匹配时Pz坐标计算公式：

由横向匹配已知的Px和Pz的值得出Py的值：

其中对于a图像设像素投影角为θa，对于b图像设像素投影角为θb：

其中：

实施例3

本实施例涉及一种采用了实施例2中述及的三相机平面阵列特征点检测方法的三维检测装置。

其中，上述的三维测量装置，至少包括一组由三台技术参数完全一致的数码相机组成，该测量系统中，三台相机的焦点组成一个平面，且相机的光轴垂直于该平面。

本实施例的可选方案中，作为三维检测装置的其中一种结构形式，请一并参照图7至图10。

包括三相机镜头阵列、相互平行的第一基板100和第二基板200、设置于第二基板200背离第一基板100一侧的控制电路板300，以及用于容纳第一基板100、第二基板200和控制电路板300的固定后壳400。

三相机镜头阵列安装在第一基板100上，三相机镜头阵列的各个镜头101的轴线分别垂直于第一基板100所在的平面，第二基板200朝向第一基板100的表面设置有感光元件201阵列，感光元件201阵列中的各个感光元件201与各个镜头101一一对应设置。另外，请参照图10，控制电路板300通过固定柱301与第二基板200连接。请参照图9，在固定后壳400上设置有第一电源输入口401和第一数据通信结构402。

将多个感光元件201组成的感光元件201阵列集成在同一块基板上，因此能够保证感光元件201相互位置的几何精度，以及镜头101光轴的平行以及阵列结构的几何精度，也可以根据需要缩小相邻的镜头101之间的距离。以上措施，保证了三维立体图像精确度和准确度更高，测量范围更大，相机的集成度更高，方便加工制作，使该装置成为真正意义上的三维图像采集装置。

较为优选地，以上述及的镜头101为工业镜头101，每个镜头101与对应的感光元件201组成一个工业数字相机，从而形成由多个工业数字相机形成的工业数字相机阵列，其中，工业数字相机以下简称相机，工业数字相机阵列以下简称相机阵列，上述镜头101阵列中的各个镜头101型号、类型完全相同，其可以为定焦镜头101，也可以为变焦镜头101。上述感光元件201阵列中的各个感光元件201的作用是将镜头101捕获到的光信号转变为电信号，以便于后续图像处理，其可以为CCD(Charge－coupled Device，图像传感器)，也可以CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)，当然，也可以为其他公知的能够应用在图像获取过程中实现光信号转变为电信号的电器件。

第二基板200可以采用PCB(Printed Circuit Board，印制电路板)电路板的方式，然后将各个感光元件201按照前述的镜头101的布设要求焊接在第二基板200上。采用焊接方式时，为了保证焊接精度，可使用专用的感光元件201定位卡具，以保证焊接后各感光元件201的位置精度。另外，感光元件201也可以和第二基板200一体成型，直接为感光阵列板。

上述可选方案中，感光元件201阵列形成的三角形底部的两个感光元件201的扫描线水平平行且上下完全对齐，同时，感光元件201阵列顶部的感光元件201的扫描线与底部的两个感光元件201的扫描线平行，且三个感光元件201组成以底边为底的等腰三角形或者以底边为一个直角边的直角三角形。

作为三维检测装置的另一种结构形式，请一并参照图11和图12。

包括图像生成电路板600、用于固定图像生成电路板600的固定基板700、以及位于固定基板700后方的图像采集电路板800；

图像生成电路板600上设置有三个微型镜头603、与三个微型镜头603一一对应的微型感光元件601、以及设置于微型感光元件601下方的图像生成电路604，图像生成电路板600四周设置有安装孔602。三个微型镜头603组成三相机镜头阵列。

另外，还设置有前壳500和后壳900，图像生成电路板600、固定基板700和图像采集电路板800集成于由前壳500和后壳900围设而成的空间内。前壳500上设置有与微型镜头603一一对应设置的镜头孔501，后壳900上设置有第二电源输入口901和第二数据通信接口902。

微型感光元件601均包括CCD和/或CMOS，根据视场范围、测量精度和测量速度等要求，可以选择适合使用的微型感光元件601，然后设计对应的图像生成电路板600，图像生成电路板600可以采用PCB(Printed Circuit Board，印制电路板)电路板的方式，然后将各个微型感光元件601按照前述的微型镜头603的布设要求焊接在图像生成电路板600上。采用焊接方式时，为了保证焊接精度，可使用专用的感光元件201定位卡具，保证焊接后各微型感光元件601的位置精度。另外，微型感光元件601也可以和图像生成电路板600一体成型，直接为微型感光阵列板。

更进一步地，微型感光元件601阵列形成的三角形底部的两个微型感光元件601的扫描线水平平行且上下完全对齐，同时，微型感光元件601阵列顶部的微型感光元件601的扫描线与底部的两个微型感光元件601的扫描线平行，且三个微型感光元件601组成以底边为底的等腰三角形或者以底边为一个直角边的直角三角形。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种三相机组特征点匹配方法，其特征在于，包括以下步骤：

a1.以一组三相机组的横向像平面中的一个像平面为基像平面，对于所述基像平面上的一个特征点找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

a2.对于所述步骤a1中的所述基像平面上的所述特征点和对应的在横向方向上与所述基像平面相邻的像平面上与该特征点匹配的所有匹配点，组成的匹配点组，找出在第三个像平面上与该对匹配点组相匹配的匹配点，根据匹配条件，去除不满足匹配条件的匹配点组，形成由三个像平面上都存在的满足匹配条件的匹配点组；

a3.重复步骤a1和a2，找出基像平面上所有能够实现匹配的特征点及其对应的匹配点组，以及匹配点组中其它两个像平面上对应的匹配点；

a4.将所有匹配点组中位于其它两个非基像平面上对应的匹配点进行全图验证，确定出所述三个像平面对应于同一被视点的唯一性匹配点组。

2.根据权利要求1所述的三相机组特征点匹配方法，其特征在于，

所述步骤a1中，对于所述基像平面上的一个特征点根据匹配条件1)找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

其中，

所述匹配条件1)，为一个被视点在一组三相机组的三个像平面上成像时，在横向方向上相邻的两个像平面上的成像点满足：该被视点在左像平面上的成像点与该被视点在对应的右像平面上的成像点位于平行于横向坐标轴的同一条直线上，并且该左像平面上的成像点相对于该左像平面的坐标原点的水平偏移量大于该右像平面上的成像点相对于该右像平面的坐标原点的水平偏移量。

3.根据权利要求2所述的三相机组特征点匹配方法，其特征在于，

所述步骤a2中，根据匹配条件2)和匹配条件3)找出在第三个像平面上与该对匹配点组相匹配的匹配点；

其中，所述匹配条件2)为，一个被视点在一组三相机组的三个像平面上成像时，在另一个高度方向上的像平面上的成像点位于，与该像平面相邻的左右两侧的两个像平面上的成像点与该被视点在该像平面上的成像点的连线的交点上，且两条连线分别平行于该被视点所在该像平面上的中心点与对应的水平轴上两个左右像平面上的中心点的连线；

其中，所述匹配条件3)为，一个被视点在一组三相机组的三个像平面上对应的匹配点组满足的必要条件为该三个成像点组成一个三角形，该三角形的三条边与三个像平面的焦点组成的三角形的三条边平行，且该三角形与三个像平面的焦点组成的三角形相似。

4.根据权利要求3所述的三相机组特征点匹配方法，其特征在于，

步骤a4中，如果在其它两个非基像平面上出现同一匹配点对应基像平面上的两个或多个匹配点组时，以该点为基点，按照匹配条件1)、2)和3)，以及步骤a1、a2和a3，在基像平面上依次寻找对应的匹配点，判断在该匹配点上是否还存在另外的匹配点组，如果有，就将本匹配关系删除，直到出现匹配关系为两两对应的唯一匹配关系为止；如果，一直存在一点对多点，且已经在非基像平面上的两个平面都完成了全图验证的情况下，就将该匹配关系全部删除。

5.一种基于三相机组特征点匹配方法的测量方法，其特征在于，

包括以下步骤：

b1.图像采集完成后，使用权利要求1-4任一项所述的匹配方法找出所述基像平面中的所有特征点对应的唯一性匹配点组；

b2.根据所述步骤b1中获得的唯一性匹配点组的像坐标，计算被视点的空间位置坐标；

b3.根据所述步骤b2中获得的被视点的空间位置坐标，形成三维点云数据，建立三维点云图形，重现三维立体图像。

6.根据权利要求5所述的测量方法，其特征在于：

所述步骤b1包括：

b11.以一组三相机组的横向像平面中的一个像平面为基像平面，对于所述基像平面上的一个特征点找出在横向方向上与该基像平面相邻的像平面上与该特征点匹配的所有匹配点；

b12.对于所述步骤b11中的所述基像平面上的所述特征点和对应的在横向方向上与所述基像平面相邻的像平面上与该特征点匹配的所有匹配点，组成的匹配点组，根据匹配条件2)和匹配条件3)找出在第三个像平面上与该对匹配点组相匹配的匹配点，根据匹配条件，去除不满足匹配条件的匹配点组，形成由三个像平面上都存在的满足匹配条件3)的匹配点组；

b13.重复步骤b11和b12，找出基像平面上所有能够实现匹配的特征点及其对应的匹配点组，以及匹配点组中位于其它两个像平面上对应的匹配点；

b14.将所有匹配点组中位于非基像平面的其它两个像平面上对应的匹配点进行全图验证，如果在图上出现同一匹配点对应基像平面上的两个或多个匹配点组时，以该点为基点，按照匹配原理以及以上步骤在基像平面上依次寻找对应的匹配点，判断在该匹配点上是否还存在另外的匹配点组，如果有，就将本匹配关系删除，直到出现匹配关系为两两对应的唯一匹配关系为止，如果，一直存在一点对多点，且已经在非基像平面上的两个平面都完成了全图验证的情况下，就将该匹配关系全部删除。

7.根据权利要求5所述的测量方法，其特征在于：

所述步骤b2中，

三相机组以任意三角形设置，包括分别位于空间坐标水平轴两侧位置的a相机和b相机、位于垂直坐标轴上部位置的c相机，三个相机的焦点Oa、Ob、Oc在同一平面上，且三个相机的焦距相同设为f，三个相机的光轴均垂直于该平面，被视点P(Px，Py，Pz)和该点在a像平面、b像平面和c像平面上的成像点分别为Pa(Pax，Pay)、Pb(Pbx，Pby)、Pc(Pcx，Pcy)，m为OaOb的长度，u为各像平面上的图像传感器的靶面长度，v为各相机的图像传感器的靶面宽度，P＇点、Pa＇点和Pb＇点分别为P点、Pa点、Pb点在OXZ坐标平面上的投影点，Pax和Pbx分别为Pa＇点和Pb＇点在a像平面和b像平面上的X轴方向的坐标值；θ为a像平面的像素投影角(同理，可以据此推导出有关b像平面像素投影角的对应公式)，其中像素投影角θ是指对于一个固定焦距和参数已知的图像采集系统，其图像上每个像素点与其焦点的连线与光轴中心的夹角叫做像素投影角；

P点的空间位置坐标的表达式为：

a，b像平面横向匹配时Px坐标计算公式：

$P_x=\frac{m(P_{ax}+P_{bx}-u)}{2\left(\begin{array}{cc}{P}_{ax}& P_{bx}\end{array}\right)}=\frac{m(P_{ax}+P_{bx}-u)}{2\mathrm{\Δ}x}$

a，b像平面横向匹配时Pz坐标计算公式：

$P_z=\frac{mf}{P_{ax}-P_{bx}}=\frac{mf}{\mathrm{\Δ}x}$

由横向匹配已知的Px和Pz的值得出Py的值：

$p_y=\sqrt{{(p_z\×\tan \mathrm{\θ}a)}^2-{(p_x+m/2)}^2}$

$p_y=\sqrt{{(p_z\×\tan \mathrm{\θ}b)}^2-{(p_x-m/2)}^2}$

其中：

$\tan \mathrm{\θ}a=\frac{\sqrt{{(p_{ax}-u/2)}^2+{(p_{ay}-v/2)}^2}}{f}$

$\tan \mathrm{\θ}b=\frac{\sqrt{{(p_{bx}-u/2)}^2+{(p_{by}-v/2)}^2}}{f}.$

8.一种采用了如权利要求6-7任一项所述的测量方法的三维检测装置，其特征在于，包括三相机镜头阵列。

9.根据权利要求8所述的三维检测装置，其特征在于，

还包括相互平行的第一基板和第二基板、设置于所述第二基板背离所述第一基板一侧的控制电路板，以及用于容纳所述第一基板、所述第二基板和所述控制电路板的固定后壳；

所述三相机镜头阵列设置于第一基板上，所述三相机镜头阵列的各个镜头的轴线分别垂直于所述第一基板所在的平面，所述第二基板朝向所述第一基板的表面设置有感光元件阵列，所述感光元件阵列中的各个感光元件与各个所述镜头一一对应设置。

10.根据权利要求9所述的三维检测装置，其特征在于，

所述感光元件阵列焊接在第二基板上或与第二基板一体成型，所述感光元件阵列形成的三角形底部的两个所述感光元件的扫描线水平平行且上下完全对齐，同时，所述感光元件阵列顶部的感光元件的扫描线与底部的两个所述感光元件的扫描线平行，且三个所述感光元件组成以底边为底的等腰三角形或者以底边为一个直角边的直角三角形。

11.根据权利要求8所述的三维检测装置，其特征在于，

包括图像生成电路板、用于固定所述图像生成电路板的固定基板、以及位于所述固定基板后方的图像采集电路板；

所述图像生成电路板上设置有三个微型镜头、与三个所述微型镜头一一对应的微型感光元件、以及设置于所述微型感光元件下方的图像生成电路，三个微型镜头组成三相机镜头阵列。

12.根据权利要求11所述的三维检测装置，其特征在于，

所述微型感光元件阵列焊接在图像生成电路板上或与图像生成电路板一体成型，所述微型感光元件阵列形成的三角形底部的两个所述微型感光元件的扫描线水平平行且上下完全对齐，同时，所述微型感光元件阵列顶部的微型感光元件的扫描线与底部的两个所述微型感光元件的扫描线平行，且三个所述微型感光元件组成以底边为底的等腰三角形或者以底边为一个直角边的直角三角形。

13.根据权利要求8所述的三维检测装置，其特征在于，

根据被测物视场的范围，可以以所述三维检测装置为基本测量单元，形成多于三台相机的三维检测装置平面检测相机阵列。