CN105303554B - 一种图像特征点的3d重建方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像特征点的3D重建方法和装置，从第一聚类中选取第一特征点m，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点，根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m′_s，R_wc为车体坐标系到相机坐标系的旋转矩阵，使用所述单目相机的安装高度以及m′_s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。由此可以实现对单目相机采集的视频图像中的运动特征点的3D重建，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

Description

一种图像特征点的3D重建方法和装置

技术领域

本发明涉及数据处理领域，特别是涉及一种图像特征点的3D重建方法和装置。

背景技术

随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和运动的特征点。从场景中识别出的特征点的坐标可以是处于相机坐标系中的坐标，所述相机坐标系具有相互垂直的三个坐标轴，其中一个坐标轴与摄像装置的光轴重合，另外两个坐标轴均与图像帧所在平面平行，相机坐标系的坐标原点可以是摄像装置光心的位置。

对获取的特征点进行3D重建，计算得出特征点具体在车体坐标系中的坐标值，所述3D重建可以为通过计算得出特征点在车体坐标系下的坐标值，从而实现场景3D位置重建。车体坐标系具有相互垂直的三个坐标轴，其中一个坐标轴垂直指向地面，另外两个坐标轴处于水平方向，这两个坐标轴中的一个坐标轴指向车辆的正前方，车体坐标系的坐标原点可以是摄像装置光心的位置。

通过3D重建获得特征点在车体坐标系下的坐标值，可以有效的为实现汽车辅助驾驶、汽车自动驾驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。

目前能够实现上述对特征点进行3D重建功能的摄像装置需为双目相机，通过双目相机特殊的双目定位功能，可以有效的完成对特征点尤其是运动特征点的3D重建。然而双目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。

发明内容

为了解决上述技术问题，本发明提供了一种图像特征点的3D重建方法和装置，使得可以通过成本低廉的单目相机有效的实现对运动特征点的3D重建。

本发明实施例公开了如下技术方案：

一种图像特征点的3D重建方法，应用于安装了单目相机的车辆，分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括：

从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m′_s，R_wc为车体坐标系到相机坐标系的旋转矩阵；

使用所述单目相机的安装高度以及m′_s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

可选的，还包括：

假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

可选的，所述对第t帧图像中识别出的运动特征点进行聚类，具体包括：

为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；

进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止；

再次进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止；

具有同一类编号的运动特征点属于一个聚类。

可选的，和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为 的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点；

从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包括：

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值；

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值；

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点；

其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。

可选的，在对第t帧图像中识别出的运动特征点进行聚类之前，还包括识别特征点为运动特征点或静止特征点，所述识别包括：

分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，包括：

根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

根据m_t和计算m_t和的位置残差dis；

若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

可选的，针对第t帧图像中识别出的静止特征点，还包括：

根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值；

根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，计算所述静止特征点在所述相机坐标系下的坐标点的坐标值；

根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值，完成对所述静止特征点的3D重建。

可选的，所述根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值，包括：

其中，d_t为所述静止特征点的向量模值，车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，m_t为所述静止特征点在第t帧图像中对应的位置，m_t-1为所述静止特征点在第t-1帧图像中对应的位置；

所述根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，包括：

P_t＝d_tm_s,t

其中，P_t为所述静止特征点在所述相机坐标系下的坐标点的坐标值，m_s,t为所述静止特征点在相机坐标系中归一化坐标值。

可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

一种图像特征点的3D重建装置，应用于安装了单目相机的车辆，所述装置包括：

聚类单元，用于分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；

选取单元，用于从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

计算单元，用于根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m′_s，R_wc为车体坐标系到相机坐标系的旋转矩阵；

重建单元，用于使用所述单目相机的安装高度以及m′_s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

可选的，还包括：

所述计算单元还用于假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

所述重建单元还用于根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

可选的，所述聚类单元具体包括：

设置子单元，用于为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

第一判断子单元，用于进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；

第二判断子单元，用于进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止；

再次触发所述第一判断子单元，进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止；

所述聚类单元将具有同一类编号的运动特征点属于一个聚类。

可选的，和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为 的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点；

从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包括：

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值；

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值；

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点；

其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。

可选的，在触发所述聚类单元之前，还包括：

分析单元，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

第一确定单元，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

第二确定单元，用于根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

第三确定单元，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

识别单元，用于根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述识别单元还包括：

第一计算子单元，用于根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

第二计算子单元，用于根据m_t和计算m_t和的位置残差dis；

第一识别子单元，用于若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

第二识别子单元，用于若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

可选的，针对第t帧图像中识别出的静止特征点，

所述计算单元还用于根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值；

所述计算单元还用于根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，计算所述静止特征点在所述相机坐标系下的坐标点的坐标值；

所述重建单元还用于根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值，完成对所述静止特征点的3D重建。

可选的，所述计算单元根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值，包括：

其中，d_t为所述静止特征点的向量模值，车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，m_t为所述静止特征点在第t帧图像中对应的位置，m_t-1为所述静止特征点在第t-1帧图像中对应的位置；

所述根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，包括：

P_t＝d_tm_s,t

其中，P_t为所述静止特征点在所述相机坐标系下的坐标点的坐标值，m_s,t为所述静止特征点在相机坐标系中归一化坐标值。

可选的，所述相机成像模型，具体包括：

其中，r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

由上述技术方案可以看出，从第一聚类得到的运动特征点中选取在图像坐标系下距所述场景中地面位置最近的第一特征点m，并计算所述第一特征点m在车体坐标系下的归一化坐标点m′_s，由于所述第一特征点m为所述第一聚类中距离所述场景地面最近的特征点，由于所述单目相机的安装高度是已知的，利用所述安装高度代替第一特征点m在车体坐标系下的坐标点的Y′轴坐标，并根据m′_s与第一特征点m对应在车体坐标系下的坐标点的比例关系，计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建，由此可以实现对单目相机采集的视频图像中的运动特征点的3D重建，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像特征点的3D重建方法的方法流程图；

图2为本发明实施例提供的一种坐标系的示意图；

图3为本发明实施例提供的一种特征点聚类方法的方法流程图；

图4为本发明实施例提供的一种图像特征点类型的识别方法的方法流程图；

图5为本发明实施例提供的一种特征点在坐标系中的示意图；

图6为本发明实施例提供的一种图像特征点的3D重建装置的装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和运动的特征点。从场景中识别出的特征点的坐标可以是处于相机坐标系中的坐标。

对获取的特征点进行3D重建，计算得出特征点具体在车体坐标系中的坐标值，所述3D重建可以为通过计算得出特征点在车体坐标系下的坐标值，从而实现场景3D位置重建。通过3D重建获得特征点在车体坐标系下的坐标值，可以有效的为实现汽车辅助驾驶、汽车自动驾驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。

目前能够实现上述对特征点进行3D重建功能的摄像装置需为双目相机，通过双目相机特殊的双目定位功能，可以有效的完成对特征点尤其是运动特征点的3D重建。然而双目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。

为此，本发明实施例提供了一种图像特征点的3D重建方法和装置，从第一聚类得到的运动特征点中选取在图像坐标系下距所述场景中地面位置最近的第一特征点m，并计算所述第一特征点m在车体坐标系下的归一化坐标点m′_s，由于所述第一特征点m为所述第一聚类中距离所述场景地面最近的特征点，由于所述单目相机的安装高度是已知的，利用所述安装高度代替第一特征点m在车体坐标系下的坐标点的Y′轴坐标，并根据m′_s与第一特征点m对应在车体坐标系下的坐标点的比例关系，计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建，由此可以实现对单目相机采集的视频图像中的运动特征点的3D重建，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

通过聚类，将属于同一个运动物体的特征点放在一个聚类中，而且绝大多数的运动物体都与所述场景中的地面呈垂直状态，故可以以此为基础，假设所述第一聚类中特征点在车体坐标系下所对应的真实3D坐标在O_X′Z′平面的投影点距离车体坐标系坐标原点O的距离均相同，根据所述第一特征点m对应在车体坐标系下的真实3D坐标点的坐标值计算所述投影点到坐标原点的距离；根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。也就是说，可以通过根据一个聚类中v轴坐标值最大的运动特征点的计算，实现整个聚类中其他运动特征点的3D重建。由此提高了对运动特征点3D重建的效率并解决基于单目相机对运动特征点无法重建的问题。

进一步的，本发明实施例还提供了一种可选的聚类方式，为运动特征点设置类编号和标记号，以及针对邻近特征点的配置方式。通过用于判断是否存在类编号为空、标记号为未标记的运动特征点的第一判断和用于判断是否存在具有类编号但标记号为未标记的运动特征点的第二判断的循环，可以快速有效的为处于同一个运动物体上的运动特征点设置相同的类编号，完成聚类操作。

实施例一

图1为本发明实施例提供的一种图像特征点的3D重建方法的方法流程图，应用于安装了单目相机的车辆，分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括：

S101：从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点。

举例说明，通过附图解释本发明实施例所提到的图像坐标系、相机坐标系和车体坐标系等概念。图2为本发明实施例提供的一种坐标系的示意图，如图2所示，车体上安装有单目相机，所述单目相机的光心为O，O_XYZ为相机坐标系，O_X′Y′Z′为车体坐标系，o_uv为图像坐标系。特征点m在图像坐标系下的坐标为(u，v)，该特征点m对应在车体坐标系下的坐标点为P，其坐标值可以为(X′，Y′，Z′)。也就是说，在本发明实施例中，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

属于同一个聚类的运动特征点可以为属于所述场景中同一个运动物体上的特征点。在图像坐标系下距所述场景中地面位置最近的特征点可以理解为，所述第一聚类中v轴坐标值最大的特征点。也就是说，所述第一特征点m为所述第一聚类所对应运动物体中最接近所述场景的地面的特征点。

S102：根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m′_s，R_wc为车体坐标系到相机坐标系的旋转矩阵。

可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。可以通过离线标定算法得到。所述相机成像模型对普通平面相机和鱼眼相机均适用。

计算得到的m_s在相机坐标系下的坐标值可以为(X_s,Y_s,Z_s)；

根据等式m′_s＝R_wcm_s，可以得到m′_s，m′_s在车体坐标系下的坐标值可以为(X′_s,Y′_s,Z′_s)。

S103：使用所述单目相机的安装高度以及m′_s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

计算其在车体坐标系下的地面投影点P＝(X′,Y′,Z′)^T，

其中，H为所述安装高度。

由于所述第一特征点m为所述第一聚类中距离所述场景地面最近的特征点，且所述单目相机的安装高度是已知的，可以将所述第一特征点m看作为位于所述场景地面上的特征点，由此利用已知的所述安装高度代替第一特征点m在车体坐标系下的坐标点的Y′轴坐标。

m′_s和第一特征点m对应在车体坐标系下的真实3D坐标点是具有比例关系的，根据所述比例关系，计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

其中r为第一特征点m对应的在车体坐标系下的真实3D点坐标在O_X′Z′平面上的投影位置到O点的距离。

可见，从第一聚类得到的运动特征点中选取在图像坐标系下距所述场景中地面位置最近的第一特征点m，并计算所述第一特征点m在车体坐标系下的归一化坐标点m′_s，由于所述第一特征点m为所述第一聚类中距离所述场景地面最近的特征点，且所述单目相机的安装高度是已知的，利用所述安装高度代替第一特征点m在车体坐标系下的坐标点的Y′轴坐标，并根据m′_s与第一特征点m对应在车体坐标系下的坐标点的比例关系，计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建，由此可以实现对单目相机采集的视频图像中的运动特征点的3D重建，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

通过聚类，将属于同一个运动物体的特征点放在一个聚类中，而且绝大多数的运动物体都是和所述场景中的地面呈垂直状态的，故可以以此为基础，假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点到原点O的距离均相同。该假设可以理解为，所述第一聚类中特征点在所述场景的真实3D坐标点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，该真实3D坐标点可以如图2所示的P点，P点位于所述场景中的地面上。根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。也就是说，可以通过根据一个聚类中v轴坐标值最大的运动特征点的计算，实现整个聚类中其他运动特征点的3D重建。由此提高了对运动特征点3D重建的效率。

具体的，假设第二特征点在在车体坐标系下的归一化坐标点m′_s,2，m′_s,2的坐标值为(X′_s,2,Y′_s,2,Z′_s,2)。第二特征点在车体坐标系中的坐标点为P₂，P₂的坐标值为(X′₂,Y′₂,Z′₂)。

由于r为第一特征点m对应在车体坐标系下的真实3D坐标点在O_X′Z′的上投影位置到O点的向量长度，且认为与第二特征点在车体坐标系下的坐标点在OX′Z′的上投影位置到O点的向量长度相同，那么在对所述第二特征点进行3D重建时，r属于已知值。

这里的所述第二特征点为所述第一聚类中除了所述第一特征点m之外，其他运动特征点中的任一个特征点。

本发明并不限定如何对运动特征点进行聚类。不过想开点，本发明实施例提供了一种运动特征点的聚类方法，如图3所示，图3为本发明实施例提供的一种特征点聚类方法的方法流程图，所述对第t帧图像中识别出的运动特征点进行聚类，具体包括：

S301：为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记。

S302：进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，执行S303。

S303：从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记。

S304：进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，执行S305。

S305：从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止。

再次进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止。

S306：具有同一类编号的运动特征点属于一个聚类。

接下来将详细分析如何判断邻居特征点。其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。

和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为 的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点。

举例说明，至少需要符合所述第一条件，才能确定一个特征点为目标特征点的邻居特征点。所述第一条件通过数学表达式可以表达为：

其中R为所述第一阈值，也可以理解为距离阈值，单位可以为像素，例如可以10像素。所谓的满足第一阈值可以理解为小于所述第一阈值。

为了进一步提高判断邻居特征点的判断精度，从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还可以包括下述两个条件中的至少一个条件。

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值。

所述第二条件通过数学表达式可以表达为：

其中λ为所述第二阈值，也可以理解为长度变化阈值，例如可以为0.5。所谓的满足第二阈值可以理解为小于所述第二阈值。

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值。

所述第二条件通过数学表达式可以表达为：

其中C为第三阈值，也可以理解为角度阈值，例如可以为30°。所谓的满足第三阈值可以理解为小于所述第三阈值。

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点。

也就是说，所述第一条件为判断目标特征点的邻居特征点的必要条件，第二条件和第三条件属于可选条件，可以根据具体应用场景的精度需求和计算能力而定。有些情况下，符合第一条件和第二条件，便可以确定为的邻居特征点。有些情况下，符合第一条件和第三条件，便可以确定为的邻居特征点。有些情况下，符合第一条件、第二条件和第三条件，便可以确定为的邻居特征点。

所述特征点的类编号可以为字母、数字等形式。

可以看出，为运动特征点设置类编号和标记号，以及针对邻近特征点的配置方式。通过用于判断是否存在类编号为空、标记号为未标记的运动特征点的第一判断和用于判断是否存在具有类编号但标记号为未标记的运动特征点的第二判断的循环，可以快速有效的为处于同一个运动物体上的运动特征点设置相同的类编号，完成聚类操作。

本发明实施例除了可以对运动特征点进行3D重建以外，还可以对静止特征点进行3D重建，所述静止特征点可以理解为在所述场景中，相对于所述场景静止的物体上的特征点。

对于所述静止特征点，针对第t帧图像中识别出的静止特征点，还包括：

根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值。

举例说明，计算所述静止特征点的向量模值可以为：

其中，车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，R_ww和T_ww可以通过车速传感器获得。m_t为所述静止特征点m在第t帧图像中对应的位置，m_t-1为所述静止特征点m在第t-1帧图像中对应的位置。

根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，计算所述静止特征点在所述相机坐标系下的坐标点的坐标值。

举例说明，所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系可以为：

P_t＝d_tm_s,t

其中，P_t为所述静止特征点在所述相机坐标系下的坐标点的坐标值，m_s,t为所述静止特征点在相机坐标系中归一化坐标值。

根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值，完成对所述静止特征点的3D重建。

举例说明，根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值可以为：

P_w＝R_wcP_t

其中，P_w为所述静止特征点在所述车体坐标系下的坐标点的坐标值。

还需要说明的是，在对第t帧图像中识别出的运动特征点进行聚类之前，还可以包括识别特征点为运动特征点或静止特征点的步骤，以便将特征点进行合理分类。可选的，本发明实施例提供了一种识别特征点的方法。

在图1所对应实施例的基础上，图4为本发明实施例提供的一种图像特征点类型的识别方法的方法流程图，所述识别包括：

S401：分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置。

举例说明，本发明并不限定如何获取一个图像帧中的特征点，也不限定如何从相邻两帧中确定出一一对应的特征点对。例如可以利用Harris特征点检测方法获得图像I_t中的特征点集合S_t，并利用Lucas and Kanade’s特征点跟踪方法对特征点集合S_t在图像I_t-1上进行跟踪，获得与S_t相匹配的特征点集合S_t-1，S_t-1与S_t中的特征点一一对应，构成了图像I_t-1与I_t间匹配的特征点对。

在本发明实施例中，特征点对可以理解为同一个特征点分别在相邻两个图像帧中的位置。同一个特征点可以为所述单目相机所采集的场景中一个物体上的点，例如街边垃圾桶上的一个颜色点等。

接下来通过附图解释本发明实施例所提到的图像坐标系、相机坐标系等概念。图5为本发明实施例提供的一种特征点在坐标系中的示意图，如图5所示，其中O_XYZ坐标系为相机坐标系，相机坐标系中的坐标原点O为所述单目相机的光心。o_uv为图像坐标系，本发明并不限定图像坐标系的坐标原点o的位置，例如可以为图像的左上角。m(u,v)为特征点m在一个图像帧中的位置，(u,v)为该位置在图像坐标系中的坐标。

S402：假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量。

继续以图5为例，图5中的P可以理解为m在相机坐标系下对应的位置，P在相机坐标系下的坐标为(X,Y,Z)，向量OP的长度为m对应的向量模值d。

其中可选的，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

S403：根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点。

其中可选的，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，

d_t为特征点m在第t帧图像的向量模值，

(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

设车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，R_ww和T_ww可以通过车速传感器获得，那么带入所述第一对等关系后得到：

其中，从车体坐标系到相机坐标系的旋转矩阵为R_wc,一般情况下，单目相机安装后R_wc为定值。为R_wc的逆矩阵。

将上式带入所述第二对等关系后得到：

求解向量模值d_t，

本发明并不限定S402和S403执行先后关系。

S404：根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

S405：根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，包括：

根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ。根据m_t和计算m_t和的位置残差dis。

其中可选的，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)，在图像坐标系下的坐标

其中可选的，所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。

计算出所述光流方向残差角θ和位置残差dis后，若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点。

若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

由于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，故理论上或所述特征点m确实为一个相对于所述场景静止的特征点时，计算出的和m_t应该是重合的。但是一般情况下会考虑到测量误差和计算误差，故所述第一阈值(thre_1)可以为数值范围内的一个值，所选取的大小可以和计算精度相关。所述第二阈值(thre_2)也可以为数值范围内的一个值，所选取的大小可以和计算精度相关。可选的，所述第一阈值可以为0.5像素，所述第二阈值可以为0.52弧度。

当θ大于所述第一阈值和dis大于所述第二阈值时，可以理解为特征点m的变化程度已经超出了测量误差和计算误差可以达到的程度，那么可以判定所述特征点m为运动特征点。当θ小于所述第一阈值和dis小于所述第二阈值时，可以理解为特征点m的变化程度还处于测量误差和计算误差可以达到的程度之内，那么可以判定所述特征点m为静止特征点。

由图4所对应实施例可以看出，在假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止的条件下，根据第一对等关系、第二对等关系以及相机成像模型反向推算出P_t的坐标值，在带入所述相机成像模型中，确定P_t在图像坐标系的投影点的坐标。由于在假设特征点m静止的条件下，应该基于与m_t重合，故以此理论为基础，计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，根据m_t和计算m_t和的位置残差dis，并根据所述光流方向残差角θ和位置残差dis是否满足阈值作为判断特征点m类型的依据，由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运动特征点，从而提高了低成本的视频识别在汽车驾驶等方面的应用。实施例二

图6为本发明实施例提供的一种图像特征点的3D重建装置的装置结构图，应用于安装了单目相机的车辆，所述装置包括：

聚类单元601，用于分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；

选取单元602，用于从第一聚类第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

计算单元603，用于根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m′_s，R_wc为车体坐标系到相机坐标系的旋转矩阵；

重建单元604，用于使用所述单目相机的安装高度以及m′_s计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

可选的，

所述计算单元603还用于假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

所述重建单元604还用于根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

可选的，所述聚类单元601具体包括：

设置子单元，用于为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

第一判断子单元，用于进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；

第二判断子单元，用于进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止；

再次触发所述第一判断子单元，进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止；

所述聚类单元401将具有同一类编号的运动特征点属于一个聚类。

可选的，和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为 的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点；

从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包括：

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值；

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值；

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点；

其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。

在触发所述聚类单元601之前，还包括：

分析单元，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

第一确定单元，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

第二确定单元，用于根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

第三确定单元，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

识别单元，用于根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述识别单元还包括：

第一计算子单元，用于根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

第二计算子单元，用于根据m_t和计算m_t和的位置残差dis；

第一识别子单元，用于若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

第二识别子单元，用于若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

可选的，针对第t帧图像中识别出的静止特征点，

所述计算单元603还用于根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值；

所述计算单元603还用于根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，计算所述静止特征点在所述相机坐标系下的坐标点的坐标值；

所述重建单元604还用于根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值，完成对所述静止特征点的3D重建。

可选的，所述计算单元603根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值，包括：

其中，d_t为所述静止特征点的向量模值，车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，m_t为所述静止特征点在第t帧图像中对应的位置，m_t-1为所述静止特征点在第t-1帧图像中对应的位置；

所述根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，包括：

P_t＝d_tm_s,t

其中，P_t为所述静止特征点在所述相机坐标系下的坐标点的坐标值，m_s,t为所述静止特征点在相机坐标系中归一化坐标值。

可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

可以看出，从第一聚类得到的运动特征点中选取在图像坐标系下距所述场景中地面位置最近的第一特征点m，并计算所述第一特征点m在车体坐标系下的归一化坐标点m′_s，由于所述第一特征点m为所述第一聚类中距离所述场景地面最近的特征点，由于所述单目相机的安装高度是已知的，利用所述安装高度代替第一特征点m在车体坐标系下的坐标点的Y′轴坐标，并根据m′_s与第一特征点m对应在车体坐标系下的坐标点的比例关系，计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建，由此可以实现对单目相机采集的视频图像中的运动特征点的3D重建，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (20)

1.一种图像特征点的3D重建方法，其特征在于，应用于安装了单目相机的车辆，分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；所述方法包括：

从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m_s′，R_wc为车体坐标系到相机坐标系的旋转矩阵；

使用所述单目相机的安装高度以及m_s′计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

2.根据权利要求1所述的方法，其特征在于，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

3.根据权利要求1所述的方法，其特征在于，还包括：

假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对第t帧图像中识别出的运动特征点进行聚类，具体包括：

为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；

进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止；

再次进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止；

具有同一类编号的运动特征点属于一个聚类。

5.根据权利要求4所述的方法，其特征在于，和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为 的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点；

从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包括：

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值；

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值；

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点；

其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。

6.根据权利要求1所述的方法，其特征在于，在对第t帧图像中识别出的运动特征点进行聚类之前，还包括识别特征点为运动特征点或静止特征点，所述识别包括：

分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

7.根据权利要求6所述的方法，其特征在于，所述根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，包括：

根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

根据m_t和计算m_t和的位置残差dis；

若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

8.根据权利要求1所述的方法，其特征在于，针对第t帧图像中识别出的静止特征点，还包括：

根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值；

根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，计算所述静止特征点在所述相机坐标系下的坐标点的坐标值；

根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值，完成对所述静止特征点的3D重建。

9.根据权利要求8所述的方法，其特征在于，所述根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值，包括：

<mrow> <msub> <mi>d</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>R</mi> <mrow> <mi>w</mi> <mi>c</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>T</mi> <mrow> <mi>w</mi> <mi>w</mi> </mrow> </msub> <mo>&amp;times;</mo> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> <mrow> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <msubsup> <mi>R</mi> <mrow> <mi>w</mi> <mi>c</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>R</mi> <mrow> <mi>w</mi> <mi>w</mi> </mrow> </msub> <msub> <mi>R</mi> <mrow> <mi>w</mi> <mi>c</mi> </mrow> </msub> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，d_t为所述静止特征点的向量模值，车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，m_t为所述静止特征点在第t帧图像中对应的位置，m_t-1为所述静止特征点在第t-1帧图像中对应的位置；

所述根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，包括：

P_t＝d_tm_s,t

其中，P_t为所述静止特征点在所述相机坐标系下的坐标点的坐标值，m_s,t为所述静止特征点在相机坐标系中归一化坐标值。

10.根据权利要求1所述的方法，其特征在于，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹，k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数，u和v用于表示所述图像坐标系中u轴和v轴的坐标值，X、Y和Z用于表示所述相机坐标系中X轴、Y轴和Z轴的坐标值。

11.一种图像特征点的3D重建装置，其特征在于，应用于安装了单目相机的车辆，所述装置包括：

聚类单元，用于分析所述单目相机采集的所述车辆周围场景图像，对第t帧图像中识别出的运动特征点进行聚类，得到的聚类与在所述场景中相对运动的物体具有对应关系；

选取单元，用于从第一聚类中选取第一特征点m，所述第一聚类为所述对第t帧图像中识别出的运动特征点进行聚类后得到的聚类中的一个聚类，所述第一特征点m为所述第一聚类中在图像坐标系下距所述场景中地面位置最近的特征点；

计算单元，用于根据相机成像模型计算所述第一特征点m在相机坐标系下的归一化坐标点m_s，并根据R_wc将m_s转换为所述第一特征点m在车体坐标系下的归一化坐标点m_s′，R_wc为车体坐标系到相机坐标系的旋转矩阵；

重建单元，用于使用所述单目相机的安装高度以及m_s′计算所述第一特征点m对应在车体坐标系下的坐标点的坐标值，完成对所述第一特征点m的3D重建。

12.根据权利要求11所述的装置，其特征在于，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行，所述车体坐标系的坐标原点为所述单目相机的光心位置，Y′轴垂直指向地面，Z′轴和X′轴处于水平方向，Z′轴指向车辆的正前方。

13.根据权利要求11所述的装置，其特征在于，还包括：

所述计算单元还用于假设所述第一聚类中特征点在车体坐标系下的O_X′Z′平面的投影点距离车体坐标系的坐标原点O的距离相同，根据所述第一特征点m对应在车体坐标系下的坐标点的坐标值计算所述投影点到坐标原点的距离；

所述重建单元还用于根据所述相机成像模型计算所述第一聚类中第二特征点在相机坐标系下的归一化坐标点，再利用所述投影点到坐标原点的距离计算所述第二特征点对应在车体坐标系下的坐标点的坐标值，完成对所述第二特征点的3D重建。

14.根据权利要求11至13任一项所述的装置，其特征在于，所述聚类单元具体包括：

设置子单元，用于为所述第t帧图像中的运动特征点设置类编号和标记号，所述类编号的初始值为空，所述标记号的初始值为未标记；

第一判断子单元，用于进行第一判断，所述第一判断用于判断是否存在类编号为空、标记号为未标记的运动特征点，若存在，从中选取第三特征点；为所述第三特征点的类编号分配一个未使用的编号；开始从所述第t帧图像中的运动特征点中搜索所述第三特征点的邻居特征点，将所述第三特征点的邻居特征点的类编号分配为所述第三特征点的类编号，并将所述第三特征点的标记号设为已标记；

第二判断子单元，用于进行第二判断，所述第二判断用于判断是否存在具有类编号但标记号为未标记的运动特征点，若存在，从中选取第四特征点，从所述第t帧图像中的运动特征点中搜索所述第四特征点的邻居特征点，将所述第四特征点的邻居特征点的类编号分配为所述第四特征点的类编号，并将所述第四特征点的标记号设为已标记，重复所述第二判断，直到不存在具有类编号但标记号为未标记的运动特征点为止；

再次触发所述第一判断子单元，进行所述第一判断，直到不存在类编号为空、标记号为未标记的运动特征点为止；

所述聚类单元将具有同一类编号的运动特征点属于一个聚类。

15.根据权利要求14所述的装置，其特征在于，和分别为所述第t帧图像中的运动特征点中的两个运动特征点，为目标特征点，坐标值为 的坐标值为从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，包括：

第一条件，所述第一条件为和之间的距离满足第一阈值，若符合所述第一条件，确定为的邻居特征点；

从所述第t帧图像中的运动特征点中搜索所述目标特征点的邻居特征点，还包括：

第二条件，所述第二条件为和之间的光流向量的长度与和之间的光流向量的长度满足第二阈值；

第三条件，所述第三条件为和之间的光流向量与和之间的光流向量之间的夹角满足第三阈值；

若在符合所述第一条件的基础上，还符合所述第二条件和/或第三条件，确定为的邻居特征点；

其中，和分别为特征点mⁱ在第t帧图像和第t-1帧图像中的对应的位置，和分别为特征点m^j在第t帧图像和第t-1帧图像中的对应的位置。

16.根据权利要求11所述的装置，其特征在于，在触发所述聚类单元之前，还包括：

分析单元，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

第一确定单元，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

第二确定单元，用于根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

第三确定单元，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

识别单元，用于根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

17.根据权利要求16所述的装置，其特征在于，所述识别单元还包括：

第一计算子单元，用于根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

第二计算子单元，用于根据m_t和计算m_t和的位置残差dis；

第一识别子单元，用于若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

第二识别子单元，用于若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

18.根据权利要求11所述的装置，其特征在于，针对第t帧图像中识别出的静止特征点，

所述计算单元还用于根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值；

所述计算单元还用于根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，计算所述静止特征点在所述相机坐标系下的坐标点的坐标值；

所述重建单元还用于根据R_wc以及所述静止特征点在所述相机坐标系下的坐标点的坐标值计算得到所述静止特征点在所述车体坐标系下的坐标点的坐标值，完成对所述静止特征点的3D重建。

19.根据权利要求18所述的装置，其特征在于，所述计算单元根据所述静止特征点在图像坐标系中的坐标计算所述静止特征点的向量模值，包括：

<mrow> <msub> <mi>d</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>R</mi> <mrow> <mi>w</mi> <mi>c</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>T</mi> <mrow> <mi>w</mi> <mi>w</mi> </mrow> </msub> <mo>&amp;times;</mo> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> <mrow> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <msubsup> <mi>R</mi> <mrow> <mi>w</mi> <mi>c</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>R</mi> <mrow> <mi>w</mi> <mi>w</mi> </mrow> </msub> <msub> <mi>R</mi> <mrow> <mi>w</mi> <mi>c</mi> </mrow> </msub> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中，d_t为所述静止特征点的向量模值，车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，m_t为所述静止特征点在第t帧图像中对应的位置，m_t-1为所述静止特征点在第t-1帧图像中对应的位置；

所述根据所述向量模值与所述静止特征点在相机坐标系中归一化坐标值的关系，包括：

P_t＝d_tm_s,t

其中，P_t为所述静止特征点在所述相机坐标系下的坐标点的坐标值，m_s,t为所述静止特征点在相机坐标系中归一化坐标值。

20.根据权利要求11所述的装置，其特征在于，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数，u和v用于表示所述图像坐标系中u轴和v轴的坐标值，X、Y和Z用于表示所述相机坐标系中X轴、Y轴和Z轴的坐标值。