CN102621143B - 基于多维阈值约束的双视角多气泡同名匹配方法 - Google Patents

Abstract

本发明涉及流体气泡测量、图像处理。为满足气液两相流特征参数三维测量系统中，左、右画幅双视角多气泡的准确同名匹配，本发明采取的技术方案是，基于多维阈值约束的双视角多气泡同名匹配方法，包括下列步骤：(1)、利用数字图像处理技术获取待匹配图像中多气泡的质心坐标和投影高度，判断气泡对的纵坐标差值，并对其进行下一步判断；(2)、利用双视角图像中气泡的投影相容性约束，对候选基元进行进一步判断；(3)、将距离外极线几何距离最近的匹配基元作为候选基元；(4)、将筛选得到的匹配点进行反向外极线求取，再基于多维阈值约束进行计算，最终实现同名匹配。本发明主要应用于流体气泡测量。

Description

基于多维阈值约束的双视角多气泡同名匹配方法

技术领域

本发明涉及流体气泡测量、图像处理，尤其是涉及基于多维阈值约束的双视角多气泡同名匹配方法。

背景技术

在石油、化工、冶金、制药、核能等领域，气液两相流中气泡的形态及其分散相与连续相之间的相互作用，在很大程度上影响着工程应用的效果。为了进一步研究气液两相流的内在机理，更准确的描述气泡间的相互作用关系，需要对气液两相流中气泡的关键特征参数进行三维测量，如三维轨迹、速度场等。而三维测量和重建的先决条件，是建立高速摄像机所采集的双视角图像中图元(此处为气泡)的对应关系，即实现多气泡同名匹配。

典型的同名匹配方法一般分为基于灰度的匹配和基于特征的匹配。基于灰度的匹配算法，通过二维滑动模板来实现图像的匹配，虽然定位精度高，但是运算量很大，在多相流测量实时性方面难以满足需求。基于特征的匹配算法，从两幅对应的图像中将对象的特征(点特征、线特征和区域特征等)提取出来，再进行特征图元的匹配，可以大大减少运算量，并降低噪声的影响。针对高速摄像机采集的双视角气泡图像，可以利用多气泡的质心作为匹配特征点来进行匹配，但目前已有的匹配算法及固有约束(如极线约束)，对于气泡这种特殊的测量对象并不完全适应。因为气泡具有一定体积，同时又近似为一个透明体，在背景光源照明下，高速摄像机采集得到的气泡图片，不仅仅是前景的信息，而往往体现为前景与背景的综合信息。因此，如何实现气液两相流中双视角多气泡图像的同名匹配，成为气泡特征参数三维重建中亟待解决的关键问题。

发明内容

本发明旨在解决克服现有技术的不足，提供基于多维阈值约束的双视角多气泡图像同名匹配方法，以满足气液两相流特征参数三维测量系统中，左、右画幅双视角多气泡的准确同名匹配。为达到上述目的，本发明采取的技术方案是，基于多维阈值约束的双视角多气泡同名匹配方法，包括下列步骤：

(1)、利用数字图像处理技术获取待匹配图像中多气泡的质心坐标和投影高度，利用双视角图像中匹配基元即气泡质心的纵坐标相容性约束，判断气泡对的纵坐标差值，当大于一定阈值时，则认为这两个候选匹配基元不对应，否则，将满足条件的匹配基元作为候选基元，并对其进行下一步判断；

(2)、将气泡的投影高度选为匹配基元，利用双视角图像中气泡的投影相容性约束，对候选基元进行进一步判断，当原气泡的匹配基元即投影高度与候选气泡的匹配基元即投影高度之间的差值小于一定阈值时，则选为候选基元，否则，则去除此候选基元；

(3)、经过以上两步，得到原气泡的待匹配点集合，根据相机标定时建立的基础矩阵，求取气泡的外极线方程，利用双视角图像中气泡的最小距离外极线约束，将距离外极线几何距离最近的匹配基元作为候选基元，以进一步缩小匹配基元的范围；

(4)、将筛选得到的匹配点进行反向外极线求取，根据反向外极线约束，将筛选得到的待匹配基元作为原匹配基元，将原匹配基元作为待匹配基元，再基于多维阈值约束进行计算，最终实现气液两相流中双视角多气泡准确的同名匹配。

采用基于单台高速摄像机和折光分光光路组成的三维测量平台或者采用两台高速摄像机组成的三维测量平台获取所述数字图像。

本发明的技术特点及效果：

本发明方法基于多维阈值约束，综合纵坐标相容性约束、投影相容性约束、距离最小及反向外极约束，实现了双视角多气泡图像中同名气泡的准确匹配，为气液两相流中气泡特征参数三维重建奠定了坚实的技术基础。

附图说明

图1为基于两台高速摄像机的双视角多气泡图像采集和测量系统。

图2为基于单台高速摄像机的双视角多气泡图像采集和测量系统。

图3为双视角多气泡的外极线匹配图像，以图2采集系统采集图像为例。

图4为双视角气泡纵坐标相容性约束示意图。

图5为双视角气泡投影相容性约束示意图。

图6为双视角多气泡同名匹配流程图。

具体实施方式

本方法适用于基于单台高速摄像机和折光分光光路组成的气液两相流特征参数三维测量平台中双视角多气泡的同名匹配，同样也适用于两台高速摄像机组成的三维测量平台中双视角多气泡的同名匹配。

针对匹配基元的选取，在获得双视角气泡原始图片基础上，利用数字图像处理技术，通过气泡投影面积的区域特征，提取出气泡的质心点坐标，并以此作为匹配的点状特征，即点状基元。同时，考虑双视角图像中左、右画幅多个“气泡对”的质心纵坐标近似相等，且在竖直平面上的投影高度近似相等。经过综合考虑，本发明选用质心点作为主匹配基元，气泡的投影高度作为辅匹配基元来进行多气泡的同名匹配。针对匹配准则的选取，由于选取的为多气泡点状基元，数目一般较多，为了排除匹配上所存在的歧义，提高算法的效率，在选择匹配策略及约束准则时都有较高的要求。考虑到气泡透光性、容器及背景光源等因素的影响，以及基于单台或两台高速摄像机的气液两相流三维测量系统本身所固有的几何结构，本发明提出一种基于多维阈值约束的双视角多气泡匹配方法，即选取极线约束作为主匹配准则，并辅以纵坐标相容性约束、投影相容性约束等来提高匹配精度，进一步优化匹配算法。

具体匹配方法如下：

1、利用数字图像处理技术获取待匹配图像中多气泡的质心坐标和投影高度，利用双视角图像中匹配基元(气泡质心)的纵坐标相容性约束，判断气泡对的纵坐标差值，当大于一定阈值时，则认为这两个候选匹配基元不对应，否则，将满足条件的匹配基元作为候选基元，并对其进行下一步判断；

2、将气泡的投影高度选为匹配基元，利用双视角图像中气泡的投影相容性约束，对候选基元进行进一步判断，当原气泡的匹配基元(投影高度)与候选气泡的匹配基元(投影高度)之间的差值小于一定阈值时，则选为候选基元，否则，则去除此候选基元；

3、经过以上两步，得到原气泡的待匹配点集合，根据相机标定时建立的基础矩阵，求取气泡的外极线方程，利用双视角图像中气泡的最小距离外极线约束，将距离外极线几何距离最近的匹配基元作为候选基元，以进一步缩小匹配基元的范围；

4、将筛选得到的匹配点进行反向外极线求取，根据反向外极线约束，将筛选得到的待匹配基元作为原匹配基元，将原匹配基元作为待匹配基元，再基于多维阈值约束进行计算，最终实现气液两相流中双视角多气泡准确的同名匹配。

下面结合附图对本发明做进一步的说明。

本专利申请发明一种全新的基于多维阈值约束的气液两相流中双视角多气泡图像的同名匹配方法，其独特之处在于：根据气液两相流参数三维测量系统本身所固有的几何结构，以及双视角气泡图像的特点，确定气泡质心点作为主匹配基元，投影高度作为辅匹配基元，外极线约束作为主匹配准则，结合纵坐标相容性约束、投影相容性约束、距离最小约束及反向外极线约束的多维阈值约束方法实现气液两相流中多气泡的同名匹配。

图1、2所示为双视角气泡图像采集系统，其中图1为基于两台高速摄像机的气泡采集及三维测量系统，两台高速摄像机交汇、对称摆放，从两个不同视角采集气液两相流中气泡图像并进行三维重建；图2为基于单台高速摄像机的气泡采集及三维测量系统，其中C为实体高速摄像机，经两组反射镜组P₁、P₂和M₁、M₂虚拟为左、右虚拟摄像机C_L、C_R，在此基础上获得气液两相流的双视角多气泡图像并进行三维重建。本发明专利适用于以上两类平台中采集的双视角多气泡图像的同名匹配。

图3所示为以图2采集系统为例采集的双视角多气泡图像，以及极线匹配后的结果，其中红色“+”号与蓝色“+”号分别为左、右画幅中气泡的质心，左画幅中直线为右画幅中气泡质心所对应的外极线。从图中可以看出，由于气泡具有一定体积，而且形状不规则，虽然外极线基本穿过理论上对应的气泡，且气泡的质心基本在外极线上或者距离外极线很近，但仅仅依靠外极线来进行匹配显然会产生很多误匹配。因此，本发明提出一种基于多维阈值约束的双视角多气泡同名匹配方法。

图4所示为双视角多气泡纵坐标相容性约束示意图。如图中所示，图4A和图4B分别为采集到的左、右双视角图像，以一个气泡为例，虽然气泡的不规则性导致提取出的气泡质心y向坐标y_l、y_r不一致，但根据三维测量系统结构，其差值Δy应在一个很小的阈值范围内。因此，可利用两视场中匹配基元(气泡)的纵坐标差值的绝对值作为一个约束条件，当绝对值大于一定阈值时，则认为这两个候选匹配基元不对应，否则将满足条件的匹配基元作为候选基元，并对其进行下一步判断。

图5所示为双视角多气泡投影相容性约束示意图。如图中所示，图5A和图5B左右画幅中的气泡为同一气泡在两个不同方向上的投影，由双视角图像特点，虽然气泡的投影面积差异可能较大，但是气泡对的投影高度理论上应该是相同的，实际中其差值应该在一个很小的阈值范围之内。因此，可将气泡的投影高度选为匹配基元，利用此阈值对候选基元进行判断，当原气泡的匹配基元(投影高度)与候选气泡的匹配基元(投影高度)之间的差值小于一定阈值时，则选为候选基元，否则，则去除此候选基元，从而对合适的候选基元进一步筛取。

图6所示为双视角多气泡同名匹配流程图。首先，利用气液两相流三维测量平台采集原始图像，经过数字图像处理，将气泡的主要特征参数提取出来，包括气泡的二维质心坐标及其对应的投影高度，然后，通过标定求取双视角图像的基础矩阵，并基于多维阈值约束实现多气泡的准确同名匹配，具体如下：

1、纵坐标相容性约束

考虑到图1、2所示三维采集和测量系统的结构及图像特点，虽然气泡的不规则性导致了提取出的气泡质心y向坐标差值Δy在一个很小的阈值范围内。因此，可利用两视场中匹配基元(气泡)的纵坐标差值的绝对值的大小作为一个评判条件，当绝对值大于一定阈值时，则认为这两个候选匹配基元不对应；否则，将满足条件的匹配基元作为候选基元，并对其进行下一步判断。

2、投影相容性约束

一般情况下，进行完纵坐标相容性约束后，剩下的气泡数量可能还比较多，可通过投影相容性约束，进一步缩小匹配的范围。虽然气泡为同一气泡在两个不同方向上的投影，投影面积差异可能较大，但是气泡的投影高度应该是相同的，或差值在一个很小的阈值范围之内。因此，可将气泡的投影高度选为匹配基元，利用此阈值再次对候选基元进行判断，当原气泡的匹配基元(投影高度)与候选气泡的匹配基元(投影高度)之间的差值小于一定阈值时，则选为候选基元，否则，则去除此候选基元，从而完成合适的候选基元进一步提取。

3、距离最小约束

经过以上两个约束匹配后，若只剩下一个匹配基元，则这一匹配基元就为其中一个画幅中原匹配基元所对应的匹配基元(即对应的气泡)，此时同名匹配便完成。然若仍留有两个或者多个候选匹配基元，则还需要进行距离最小极线约束运算。设左、右画幅图像中待匹配基元分别为{m_i|i＝0，Λ，n}及{m′_j|j＝0，Λ，k}，则点m′(右画幅中某一待匹配气泡质心)在左画幅中相对应的外极线方程l为：

l＝F^Tm′

其中F为相机标定时建立的基础矩阵，T表示转置，求取{m_i|i＝0，Λ，n}到极线l的距离，利用距离最小极线约束，即将到外极线的几何距离最近的匹配基元作为候选基元，进一步缩小匹配基元的范围，以达成匹配。

4、反向外极线约束

通过距离最小极线约束，如右(虚拟)高速摄像机C_R所摄取的右画幅图像中还存在两个或者多个候选匹配基元，则可进行反向外极线匹配。考虑双视角气泡图像各自覆盖了一个二维平面的信息，且信息一般存在较大的差异，同时，根据极线几何原理，两摄像机的空间几何关系具有对应性和互逆性。在外极线约束匹配的基础上，将右画幅中经过纵坐标相容性约束、投影相容性约束及距离最小约束后，所剩下的待匹配基元作为原匹配基元，将左画幅中的原匹配基元作为待匹配基元，再进行以上多维阈值约束匹配，从右画幅中剩下的几个原匹配基元中选出与左画幅中待匹配基元最对应的基元，从而实现多气泡准确的同名匹配。

按照图6所示流程，利用数字图像处理技术获取气泡的质心坐标和投影高度，根据质心的纵坐标相容性约束和投影高度约束得出待匹配点集合，求取外极线方程，根据最小距离外极线约束对待匹配点集合进行筛选，将筛选得到的匹配点进行反向求取，最终完成同名匹配。

Claims (2)

1.一种基于多维阈值约束的双视角多气泡同名匹配方法，其特征是，包括下列步骤：

（1）、利用数字图像处理技术获取待匹配图像中多气泡的质心坐标和投影高度，利用双视角图像中匹配基元即气泡质心的纵坐标相容性约束，判断气泡对的纵坐标差值，当大于一定阈值时，则认为这两个候选匹配基元不对应，否则，将满足条件的匹配基元作为候选基元，并对其进行下一步判断；

（2）、将气泡的投影高度选为匹配基元，利用双视角图像中气泡的投影相容性约束，对候选基元进行进一步判断，当原气泡的匹配基元即投影高度与候选气泡的匹配基元即投影高度之间的差值小于一定阈值时，则选为候选基元，否则，则去除此候选基元；

（3）、经过以上两步，得到原气泡的待匹配点集合，根据相机标定时建立的基础矩阵，求取气泡的外极线方程，利用双视角图像中气泡的最小距离外极线约束，将距离外极线几何距离最近的匹配基元作为候选基元，以进一步缩小匹配基元的范围；

（4）、将筛选得到的匹配点进行反向外极线求取，根据反向外极线约束，将筛选得到的待匹配基元作为原匹配基元，将原匹配基元作为待匹配基元，再基于多维阈值约束进行计算，最终实现气液两相流中双视角多气泡准确的同名匹配。

2.如权利要求1所述的一种基于多维阈值约束的双视角多气泡同名匹配方法，其特征是，采用基于单台高速摄像机和折光分光光路组成的三维测量平台或者采用两台高速摄像机组成的三维测量平台获取待匹配图像，所述待匹配图像为数字图像。

Images