CN104867182A - 一种类镜面相关反射点集的获取方法及系统 - Google Patents

Abstract

本发明公开了一种类镜面相关反射点集的获取方法及系统，该方法包括：计算类镜面上的多处镜面光流，并确定所述多处镜面光流的运动相关性；根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。该方法能够获取准确的类镜面相关反射点集，对类镜面实现三维重建，具有重要意义。

Description

一种类镜面相关反射点集的获取方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种类镜面相关反射点集的获取方法及系统。

背景技术

目前类镜面物体三维重建问题成为了三维重建技术的研究前沿。类镜面是指有较强镜面反射特征的表面，与之相对的是缺乏镜面反射特征或高光的漫反射表面。漫反射特性的样品表面三维重建方法已经比较成熟，目前已经被应用于多种产业和产品中。这一类三维重建方法以立体视觉为理论基础，分析不同视角下样品表面的固定特征。但是，这些方法通常不能用于重建具有明显高光特性的类镜面。这类样品表面的特征主要来自于对环境特征的反射。因为观察者在类镜面上所观察到的特征与环境有关，观察者在不同位置观察到的特征并不是在物体表面的同一位置，环境变化也会导致特征在物体表面发生移动。因此，对于类镜面/镜面的三维重建需要专门的类镜面三维重建算法。

在目前正在发展中的类镜面三维重建算法中，基于类镜面相关反射点集的镜面重建算法具有很好的发展前景。复杂的弯曲镜面通常包含多个位置不同，但是法线相同的多个点。在假设环境光照无穷远和平行投影相机的条件下，在这些点上可以观察到同一环境特征的反射，将这种现象称为相关反射。在一个复杂镜面上观察到的具有相关反射现象的一组点的集合，被称为类镜面相关反射点集。图1是一个类镜面相关反射点集的例子，图中的镜面兔子模型在至少9个位置可以观察到环境中一个特征明显的三角架的反射图案。简单形状的镜面，例如平面、球面、单凹/凸曲面上不能观察到这个现象。

获得准确的类镜面相关反射点集是类镜面三维重建的基础。类镜面相关反射点集的探测要求算法能够分析类镜面物体的图像或视频，从中探测到环境特征的反射点，并将同一环境特征的反射点匹配为一组类镜面相关反射点集。

目前不存在专用的类镜面相关反射点集探测算法，最接近类镜面相关反射点集探测要求的是图像局部特征匹配算法。图像局部特征是一种用于在图像中识别和匹配物体的同一局部位置的技术。这种技术的假设是：真实世界中的同一物体，在不同照片中出现时，它们在图像局部中的亮度信息内含有可被分析的具有共性的信息。经过多年的发展，与局部特征识别和匹配有关的理论和方法大致被分为局部特征点检测、局部特征描述、局部特征匹配这三个不同的阶段。

局部特征点检测的目的是从图像中筛选出信息量大的候选位置，一般认为，角点的信息量大于边缘，边缘的信息量大于均匀色块。局部特征描述的目的指在检测阶段得到的位置附近的邻域进行一定的计算和数据处理，将其转换为具有某些性质的向量。局部特征匹配的目的是利用上个阶段中得到的图像局部特征的描述性向量的性质进行匹配和查找，通常图像局部的特征向量的匹配被认为图像特征点所在位置处描述的是真实世界中的同一个物体或相似的物体。

目前的图像局部特征检测、描述和匹配算法都不适用于对类镜面相关反射点集的检测、匹配和划分。弯曲镜面对环境图像产生的扭曲往往超出了仿射变换能够描述的范围。由于这类算法通常假设匹配的局部特征满足仿射变换，因此在类镜面上的特征检测和匹配错误率较高。同时，这类图像局部特征匹配算法不能确定多个特征是否属于同一环境特征的反射点，只能找到特征向量最近的两个或多个特征点。

发明内容

针对现有技术中的缺陷，本发明提供了一种类镜面相关反射点集的获取方法及系统，能够获取准确的类镜面相关反射点集，对类镜面实现三维重建，具有重要意义。

第一方面，本发明提供一种类镜面相关反射点集的获取方法，包括：

计算类镜面上的多处镜面光流，并确定所述多处镜面光流的运动相关性；

根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；

将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；

在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。

可选的，所述计算类镜面上的多处镜面光流，包括：

通过Lucas-Kanade镜面光流的计算方法计算所述类镜面上的多处镜面光流。

可选的，所述确定所述多处镜面光流的运动相关性，包括：

根据所述镜面光流随时间的变化，确定所述多处镜面光流的运动相关性。

可选的，所述在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，包括：

通过Bron-Kerbosch算法计算出所述无权无向图中的最大团，在每个所述最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离距离小于预设阈值时，将所述最大团去除。

第二方面，本发明还提供了一种类镜面相关反射点集的获取系统，包括：

光流计算模块，用于计算类镜面上的多处镜面光流；

相关性计算模块，用于确定所述多处镜面光流的运动相关性；

镜面相关反射点对计算模块，用于根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；

最大团计算模块，用于将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；

镜面相关反射点集计算模块，用于在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。

可选的，所述光流计算模块，用于：

通过Lucas-Kanade镜面光流的计算方法计算所述类镜面上的多处镜面光流。

可选的，所述相关性计算模块，用于：

根据所述镜面光流随时间的变化，确定所述多处镜面光流的运动相关性。

可选的，所述镜面相关反射点集计算模块，用于：

通过Bron-Kerbosch算法计算出所述无权无向图中的最大团，在每个所述最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离距离小于预设阈值时，将所述最大团去除。

由上述技术方案可知，本发明提出了一种类镜面相关反射点集的获取方法及系统，该方法通过计算类镜面上的多处镜面光流，确定所述多处镜面光流的运动相关性，并根据运动相关性初选出类镜面相关反射点对，将每个镜面相关反射点对定义一条边，则全部镜面相关反射点对可以定义一个无权无向图，计算无权无向图中由多个类镜面相关反射点组成的最大团，然后将初选出的镜面相关反射点之间的距离小于预设阈值的最大团去除，获取准确的类镜面相关反射点集，对类镜面实现三维重建，具有重要意义。

附图说明

图1为本发明一实施例提供的类镜面相关反射点集的示意图；

图2为本发明一实施例提供的类镜面相关反射点集的获取方法的流程示意图；

图3为本发明一实施例提供的在类镜面上获取镜面光流的虚拟曲面示意图；

图4为本发明一实施例提供的虚拟曲面中镜面光流的示意图；

图5为本发明另一实施例提供的虚拟曲面中镜面光流的示意图；

图6为本发明一实施例提供的镜面光流的运动相关性的示意图；

图7为本发明一实施例提供的无权无向图的示意图；

图8A至图8B为本发明一实施例提供的确定无权无向图中相关点对的示意图；

图9为本发明一实施例提供的镜面光流的运动相关关系的无权无向图；

图10为本发明一实施例提供的类镜面相关反射点集的获取系统的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图2示出了本发明一实施例提供的一种类镜面相关反射点集的获取方法的流程示意图，如图2所示，该方法包括如下步骤：

201、计算类镜面上的多处镜面光流，并确定所述多处镜面光流的运动相关性；

202、根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；

203、将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；

204、在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。

上述步骤201中所述计算类镜面上的多处镜面光流，包括：

通过Lucas-Kanade镜面光流的计算方法计算所述类镜面上的多处镜面光流。

上述步骤201中所述确定所述多处镜面光流的运动相关性，包括：

根据所述镜面光流随时间的变化，确定所述多处镜面光流的运动相关性。

上述步骤204中在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，包括：

通过Bron-Kerbosch算法计算出所述无权无向图中的最大团，在每个所述最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离距离小于预设阈值时，将所述最大团去除。

上述方法假设相机和目标类镜面物体相对位置不变，且类镜面物体周围存在运动的环境特征。该方法能够分析类镜面物体的视频数据，在未知环境光照的条件下，从视频数据中利用光流法探测到运动环境特征的反射点；通过分析这些反射点的运动相关性，将同一环境特征在类镜面上的反射点匹配为相关反射点对；最后通过分析所有反射点之间的相关关系，将相关反射点划分类镜面相关反射点集。类镜面相关反射点集可以用于分析具有复杂形状的类镜面的几何属性，或用于对这类表面实现三维重建，具有重要的意义。

下面对上述方法进行详细说明。

本方法包括三个步骤：镜面光流的计算、特征点相关性分析和类镜面相关反射点集的确定。为了说明本实施例提出的方法，用一个实验来给出计算结果。图3给出了用于展示算法的虚拟表面的渲染结果。该表面由一个函数 $f(x,y)=\sqrt{4-x^2-y^2-\cos (2x-2)-\sin 2y}$ 定义。图3中给出所述虚拟曲面的渲染结果，当渲染场景中的环境运动时可以观察到特征点在虚拟镜面上的运动。反射特征点在类镜面上的运动引起镜面光流。

步骤一：镜面光流的计算采用成熟的Lucas-Kanade镜面光流计算方法。该方法通过假设在图像中某个像素的邻域内光流运动相等，通过在这个邻域内求解一个光流方程组，得到该像素处光流的优化解。该方法为经典方法，在本发明中不赘述。

通过步骤一，在镜面上可以计算得到多处光流，反映了环境特征的运动。当环境中只有一个运动特征时，得到的多处光流都是相关的，因此这些点的集合为相关反射点集，如图4；当环境中有多个运动特征时，得到的多处光流不都是相关的，如图5。这时需要分析光流之间的运动相关性，将这些点匹配为多个相关反射点集。

步骤二：类镜面相关反射点集集合中所有的点法线相同，可以证明其上观察到的光流向量的各个分量之间存在线性相关性。

在本发明，视频数据中表示位置向量；表示光流向量；表示在视频的第i帧的处所检测到的光流向量。假设和是一组类镜面相关反射点集中的两个点a和b的坐标。若a和b两点光流之间确实存在运动相关性，则在同一帧中所检测到的光流和之间应该符合线性关系。

对于视频中的所有帧，是光流的x方向分量构成的矢量，是所有的y方向分量构成的矢量；是所有的x方向分量构成的矢量，是所有的y方向分量构成的矢量。根据线性相关系数的定义，光流各个分量之间的相关性可以写作：

${\mathrm{\ρ}}_{{\stackrel{\→}{X}}_a,{\stackrel{\→}{X}}_b}=\frac{\mathrm{cov}({\stackrel{\→}{X}}_a,{\stackrel{\→}{X}}_b)}{{\mathrm{\σ}}_{{\stackrel{\→}{X}}_a}{\mathrm{\σ}}_{{\stackrel{\→}{X}}_b}}=\frac{E\left({\stackrel{\→}{X}}_a{\stackrel{\→}{X}}_b\right)-E\left({\stackrel{\→}{X}}_a\right)E\left({\stackrel{\→}{X}}_b\right)}{\sqrt{E\left({{\stackrel{\→}{X}}_a}^2\right)-E^2\left({\stackrel{\→}{X}}_a\right)}\sqrt{E\left({{\stackrel{\→}{X}}_b}^2\right)-E^2\left({\stackrel{\→}{X}}_b\right)}}$

${\mathrm{\ρ}}_{{\stackrel{\→}{Y}}_a,{\stackrel{\→}{X}}_b}=\frac{\mathrm{cov}({\stackrel{\→}{Y}}_a,{\stackrel{\→}{X}}_b)}{{\mathrm{\σ}}_{{\stackrel{\→}{Y}}_a}{\mathrm{\σ}}_{{\stackrel{\→}{X}}_b}}=\frac{E\left({\stackrel{\→}{Y}}_a{\stackrel{\→}{X}}_b\right)-E\left({\stackrel{\→}{Y}}_a\right)E\left({\stackrel{\→}{X}}_b\right)}{\sqrt{E\left({{\stackrel{\→}{Y}}_a}^2\right)-E^2\left({\stackrel{\→}{X}}_b\right)}\sqrt{E\left({{\stackrel{\→}{Y}}_a}^2\right)-E^2\left({\stackrel{\→}{X}}_b\right)}}$

${\mathrm{\ρ}}_{{\stackrel{\→}{Y}}_a,{\stackrel{\→}{X}}_b}=\frac{\mathrm{cov}({\stackrel{\→}{Y}}_a,{\stackrel{\→}{Y}}_b)}{{\mathrm{\σ}}_{{\stackrel{\→}{Y}}_a}{\mathrm{\σ}}_{{\stackrel{\→}{Y}}_b}}=\frac{E\left({\stackrel{\→}{Y}}_a{\stackrel{\→}{Y}}_b\right)-E\left({\stackrel{\→}{Y}}_a\right)E\left({\stackrel{\→}{Y}}_b\right)}{\sqrt{E\left({{\stackrel{\→}{Y}}_a}^2\right)-E^2\left({\stackrel{\→}{Y}}_b\right)}\sqrt{E\left({{\stackrel{\→}{Y}}_a}^2\right)-E^2\left({\stackrel{\→}{Y}}_b\right)}}$

线性相关系数的取值范围在[-1,1]之间，且其绝对值越大，变量之间的关联性越强。运动相关性的定义形式不止一种。这里，定义两个点的光流时空相关性为：

$C({\stackrel{\→}{u}}_a,{\stackrel{\→}{u}}_b)=\min ({{\mathrm{\ρ}}_{{\stackrel{\→}{X}}_a{\stackrel{\→}{X}}_b}}^2,{{\mathrm{\ρ}}_{{\stackrel{\→}{X}}_a,{\stackrel{\→}{X}}_b}}^2,{{\mathrm{\ρ}}_{{\stackrel{\→}{Y}}_a,{\stackrel{\→}{Y}}_b}}^2)$

这个光流时空相关性的定义是一个较严格的定义，将两点之间的光流时空相关性定义为两个光流的方向分量中相关性绝对值最低的值。同时，该定义统一了线性相关系数中的正负相关概念。在考察运动相关性时，无论是正相关还是负相关，都认为光流之间具有较强的时空关联性。的取值应该在[0,1]之间。对于视频数据中所有的像素，计算每两个像素之间的光流时空相关性。通过设定阈值，可以确定两个像素之间是否存在光流时空相关性。

在实际检测过程中，有时在一个反射点的邻域会检测到光流时空相关性较强的相关点，因此会出现错误的匹配点对。图6给出8个反射相关点之间光流时空相关性检测结果。其中，实线表示一个点与其反射相关点集中其他成员的相关关系；虚线表示一个点的错误匹配结果，匹配的点不是其反射相关点集的成员。

步骤三：分析匹配点对，划分相关反射点集。

将每个检测到的反射点定义为图的顶点，每个匹配的点对定义为图的一条边，可以将所有的反射相关点的相关关系定义为一个无权无向图，如图7。由于反射相关点集内的所有成员具有以下特点：对于该点集内的点，其余点在图内都是它的邻居。因此反射相关点集的计算就被转换成为图论的经典的极大全连同分量(或最大团)的问题。

本发明采用经典的Bron-Kerbosch算法求解所述无权无向图的极大团问题，该算法是经典算法，在本发明中不赘述，计算结果如图8A和图8B,其中虚线部分为两个最大团的连接线。

用所述方法获得的极大团不全是反射相关点集。在弯曲镜面上曲率较小的部分，有时会观察到一组距离很近的反射相关点具有较强的光流时空相关性，如图9。本发明对获得的所有最大团进行评估，其成员之间平均距离小于某个阈值的最大团被判断为错误的划分结果。这样的最大团被从结果中删除。

上述方法可以在通过分析复杂类镜面的视频数据，获得该类镜面的反射相关点集。在环境光照无穷远和平行投影相机的条件下，每个反射相关点集中的成员具有相同的法线方向。在基于类镜面相关反射点集的三维重建算法中，类镜面相关反射点集可以建立目标样品表面上离散点之间的几何约束，是三维重建算法中的关键步骤。获得大量准确的类镜面相关反射点集对三维重建精度具有重要影响。

图10示出了本发明实施例提供的一种类镜面相关反射点集的获取系统的结构示意图，如图10所示，该系统包括：

光流计算模块101，用于计算类镜面上的多处镜面光流；

相关性计算模块102，用于确定所述多处镜面光流的运动相关性；

镜面相关反射点对计算模块103，用于根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；

最大团计算模块104，用于将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；

镜面相关反射点集计算模块105，用于在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。

在本实施例的一个优选的实施例中，所述光流计算模块101，用于：

通过Lucas-Kanade镜面光流的计算方法计算所述类镜面上的多处镜面光流。

在本实施例的一个优选的实施例中，所述相关性计算模块102，用于：

根据所述镜面光流随时间的变化，确定所述多处镜面光流的运动相关性。

在本实施例的一个优选的实施例中，所述镜面相关反射点集计算模块105，用于：

通过Bron-Kerbosch算法计算出所述无权无向图中的最大团，在每个所述最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离距离小于预设阈值时，将所述最大团去除。

上述系统与上述方法是一一对应的关系，本实施例不对上述系统进行详细说明。

以上所述各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种类镜面相关反射点集的获取方法，其特征在于，包括：

计算类镜面上的多处镜面光流，并确定所述多处镜面光流的运动相关性；

根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；

将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；

在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。

2.根据权利要求1所述的方法，其特征在于，所述计算类镜面上的多处镜面光流，包括：

通过Lucas-Kanade镜面光流的计算方法计算所述类镜面上的多处镜面光流。

3.根据权利要求1所述的方法，其特征在于，所述确定所述多处镜面光流的运动相关性，包括：

根据所述镜面光流随时间的变化，确定所述多处镜面光流的运动相关性。

4.根据权利要求1所述的方法，其特征在于，所述在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，包括：

通过Bron-Kerbosch算法计算出所述无权无向图中的最大团，在每个所述最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除。

5.一种类镜面相关反射点集的获取系统，其特征在于，包括：

光流计算模块，用于计算类镜面上的多处镜面光流；

相关性计算模块，用于确定所述多处镜面光流的运动相关性；

镜面相关反射点对计算模块，用于根据所述多处镜面光流的运动相关性，计算镜面相关反射点对；

最大团计算模块，用于将每个镜面相关反射点对定义一条边，所述类镜面上所有的镜面相关反射点对定义一个无权无向图，计算所述无权无向图中由多个所述镜面相关反射点对组成的最大团；

镜面相关反射点集计算模块，用于在一个最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离小于预设阈值时，将所述最大团去除，并将剩余的最大团作为最终的类镜面相关反射点集。

6.根据权利要求5所述的系统，其特征在于，所述光流计算模块，用于：

通过Lucas-Kanade镜面光流的计算方法计算所述类镜面上的多处镜面光流。

7.根据权利要求5所述的系统，其特征在于，所述相关性计算模块，用于：

根据所述镜面光流随时间的变化，确定所述多处镜面光流的运动相关性。

8.根据权利要求5所述的系统，其特征在于，所述镜面相关反射点集计算模块，用于：

通过Bron-Kerbosch算法计算出所述无权无向图中的最大团，在每个所述最大团中的多个镜面相关反射点对所对应的两个镜面相关反射点之间的平均距离距离小于预设阈值时，将所述最大团去除。