CN105205459B - 一种图像特征点类型的识别方法和装置 - Google Patents

Abstract

本发明实施例公开了一种图像特征点类型的识别方法和装置，分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t‑1帧图像的特征点对m_t和m_t‑1，根据P_t、R_cc和T_cc确定出与P_t‑1之间的第一对等关系，根据P_t确定出与m_s,t的第二对等关系，根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点的坐标；根据m_t、m_t‑1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运动特征点，提高了低成本的视频识别在汽车驾驶等方面的应用。

Description

一种图像特征点类型的识别方法和装置

技术领域

本发明涉及数据处理领域，特别是涉及一种图像特征点类型的识别方法和装置。

背景技术

随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和运动的特征点。从场景中识别出的特征点的坐标可以是处于相机坐标系中的坐标，所述相机坐标系具有相互垂直的三个坐标轴，其中一个坐标轴与摄像装置的光轴重合，另外两个坐标轴均与图像帧所在平面平行，相机坐标系的坐标原点可以是摄像装置光心的位置。

对获取的特征点进行3D重建，计算得出特征点具体在车体坐标系中的坐标值。通过3D重建获得的坐标值，可以有效的为实现汽车辅助驾驶、汽车自动驾驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。

目前能够实现上述图像特征点识别功能的摄像装置需为双目相机，通过双目相机特殊的双目定位功能，可以有效的识别出场景特征点为静止特征点或运动特征点。然而双目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。

发明内容

为了解决上述技术问题，本发明提供了一种图像特征点类型的识别方法和装置，使得可以通过成本低廉的单目相机有效的识别图像中特征点的类型。

本发明实施例公开了如下技术方案：

一种图像特征点类型的识别方法，应用于安装了单目相机的车辆，所述方法包括：

分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，包括：

根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

根据m_t和计算m_t和的位置残差dis；

若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。

可选的，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

可选的，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，d_t为特征点m在第t帧图像的向量模值，

(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

可选的，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)，在图像坐标系下的坐标

所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。

一种图像特征点类型的识别装置，应用于安装了单目相机的车辆，所述装置包括：

分析单元，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

第一确定单元，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

第二确定单元，用于根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

第三确定单元，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

识别单元，用于根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述识别单元还包括：

第一计算子单元，用于根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

第二计算子单元，用于根据m_t和计算m_t和的位置残差dis；

第一识别子单元，用于若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

第二识别子单元，用于若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。

可选的，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

可选的，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，d_t为特征点m在第t帧图像的向量模值，

(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

可选的，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)，在图像坐标系下的坐标

所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。

由上述技术方案可以看出，在假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止的条件下，根据第一对等关系、第二对等关系以及相机成像模型反向推算出P_t的坐标值，在带入所述相机成像模型中，确定P_t在图像坐标系的投影点的坐标。由于在假设特征点m静止的条件下，应该基于与m_t重合，故以此理论为基础，计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，根据m_t和计算m_t和的位置残差dis，并根据所述光流方向残差角θ和位置残差dis是否满足阈值作为判断特征点m类型的依据，由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运动特征点，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像特征点类型的识别方法的方法流程图；

图2为本发明实施例提供的一种特征点在坐标系中的示意图；

图3为本发明实施例提供的一种图像特征点类型的识别装置的装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和运动的特征点。对获取的特征点进行3D重建，将特征点在相机坐标系的坐标重建为在车体坐标系中的坐标。通过3D重建获得的坐标，可以有效的为实现汽车辅助驾驶、汽车自动驾驶等功能提供数据依据，例如应用在车辆轨迹规划、规避碰撞等。

目前能够实现上述图像特征点识别功能的摄像装置需为双目相机，通过双目相机特殊的双目定位功能，可以有效的识别出场景特征点为静止特征点或运动特征点。然而双目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。

为此，本发明实施例提供了一种图像特征点类型的识别方法和装置，在假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止的条件下，根据第一对等关系、第二对等关系以及相机成像模型反向推算出P_t的坐标值，在带入所述相机成像模型中，确定P_t在图像坐标系的投影点的坐标。由于在假设特征点m静止的条件下，应该基于与m_t重合，故以此理论为基础，计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，根据m_t和计算m_t和的位置残差dis，并根据所述光流方向残差角θ和位置残差dis是否满足阈值作为判断特征点m类型的依据，由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运动特征点，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

实施例一

图1为本发明实施例提供的一种图像特征点类型的识别方法的方法流程图，应用于安装了单目相机的车辆，所述方法包括：

S101：分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置。

举例说明，本发明并不限定如何获取一个图像帧中的特征点，也不限定如何从相邻两帧中确定出一一对应的特征点对。例如可以利用Harris特征点检测方法获得图像I_t中的特征点集合S_t，并利用Lucas and Kanade’s特征点跟踪方法对特征点集合S_t在图像I_t-1上进行跟踪，获得与S_t相匹配的特征点集合S_t-1，S_t-1与S_t中的特征点一一对应，构成了图像I_t-1与I_t间匹配的特征点对。

在本发明实施例中，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下。特征点对可以理解为同一个特征点分别在相邻两个图像帧中的位置。同一个特征点可以为所述单目相机所采集的场景中一个物体上的点，例如街边垃圾桶上的一个颜色点等。

接下来通过附图解释本发明实施例所提到的图像坐标系、相机坐标系等概念。图2为本发明实施例提供的一种特征点在坐标系中的示意图，如图2所示，其中O_XYZ坐标系为相机坐标系，相机坐标系中的坐标原点O为所述单目相机的光心。o_uv为图像坐标系，本发明并不限定图像坐标系的坐标原点o的位置，例如可以为图像的左上角。m(u,v)为特征点m在一个图像帧中的位置，(u,v)为该位置在图像坐标系中的坐标。也就是说，在本发明实施例中，所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。

S102：假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量。

继续以图2为例，图2中的P可以理解为m在相机坐标系下对应的位置，P在相机坐标系下的坐标为(X,Y,Z)，向量OP的长度为m对应的向量模值d。

其中可选的，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

S103：根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点。

其中可选的，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，

d_t为特征点m在第t帧图像的向量模值，

(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

设车体坐标系从第t-1帧运动到第t帧的旋转矩阵为R_ww,平移向量为T_ww，R_ww和T_ww可以通过车速传感器获得，那么带入所述第一对等关系后得到：

其中，从车体坐标系到相机坐标系的旋转矩阵为R_wc,一般情况下，单目相机安装后R_wc为定值。为R_wc的逆矩阵。

将上式带入所述第二对等关系后得到：

求解向量模值d_t，

本发明并不限定S102和S103执行先后关系。

S104：根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

其中可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。可以通过离线标定算法得到。所述相机成像模型对普通平面相机和鱼眼相机均适用。

S105：根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，包括：

根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ。根据m_t和计算m_t和的位置残差dis。

其中可选的，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)，在图像坐标系下的坐标

其中可选的，所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。

计算出所述光流方向残差角θ和位置残差dis后，若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点。

若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

由于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，故理论上或所述特征点m确实为一个相对于所述场景静止的特征点时，计算出的和m_t应该是重合的。但是一般情况下会考虑到测量误差和计算误差，故所述第一阈值(thre_1)可以为数值范围内的一个值，所选取的大小可以和计算精度相关。所述第二阈值(thre_2)也可以为数值范围内的一个值，所选取的大小可以和计算精度相关。可选的，所述第一阈值可以为0.5像素，所述第二阈值可以为0.52弧度。

当θ大于所述第一阈值和dis大于所述第二阈值时，可以理解为特征点m的变化程度已经超出了测量误差和计算误差可以达到的程度，那么可以判定所述特征点m为运动特征点。当θ小于所述第一阈值和dis小于所述第二阈值时，可以理解为特征点m的变化程度还处于测量误差和计算误差可以达到的程度之内，那么可以判定所述特征点m为静止特征点。

由上述实施例可以看出，在假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止的条件下，根据第一对等关系、第二对等关系以及相机成像模型反向推算出P_t的坐标值，在带入所述相机成像模型中，确定P_t在图像坐标系的投影点的坐标。由于在假设特征点m静止的条件下，应该基于与m_t重合，故以此理论为基础，计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，根据m_t和计算m_t和的位置残差dis，并根据所述光流方向残差角θ和位置残差dis是否满足阈值作为判断特征点m类型的依据，由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运动特征点，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

实施例二

图3为本发明实施例提供的一种图像特征点类型的识别装置的装置结构图，应用于安装了单目相机的车辆，所述装置包括：

分析单元301，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

第一确定单元302，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

第二确定单元303，用于根据P_t确定出与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

第三确定单元304，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

识别单元305，用于根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

可选的，所述识别单元305还包括：

第一计算子单元，用于根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

第二计算子单元，用于根据m_t和计算m_t和的位置残差dis；

第一识别子单元，用于若所述光流方向残差角θ满足第一阈值，且所述位置残差dis满足第二阈值，识别所述特征点m为运动特征点；

第二识别子单元，用于若所述光流方向残差角θ不满足第一阈值，且所述位置残差dis不满足第二阈值，识别所述特征点m为静止特征点。

可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。

可选的，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

可选的，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，

d_t为特征点m在第t帧图像的向量模值，

(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

可选的，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

可选的，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)_， 在图像坐标系下的坐标

所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。

可见，在假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止的条件下，根据第一对等关系、第二对等关系以及相机成像模型反向推算出P_t的坐标值，在带入所述相机成像模型中，确定P_t在图像坐标系的投影点的坐标。由于在假设特征点m静止的条件下，应该基于与m_t重合，故以此理论为基础，计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，根据m_t和计算m_t和的位置残差dis，并根据所述光流方向残差角θ和位置残差dis是否满足阈值作为判断特征点m类型的依据，由此可以在单目相机所采集的视频图像中准确识别出图像特征点的类型，合理判断出静止特征点或运动特征点，从而提高了低成本的视频识别在汽车驾驶等方面的应用。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种图像特征点类型的识别方法，其特征在于，应用于安装了单目相机的车辆，所述方法包括：

分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出P_t、R_cc和T_cc与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

根据P_t确定出P_t与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

2.根据权利要求1所述的方法，其特征在于，所述根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点，包括：

根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

根据m_t和计算m_t和的位置残差dis；

若所述光流方向残差角θ大于第一阈值，且所述位置残差dis大于第二阈值，识别所述特征点m为运动特征点；

若所述光流方向残差角θ小于或等于第一阈值，且所述位置残差dis小于或等于第二阈值，识别所述特征点m为静止特征点。

3.根据权利要求1或2所述的方法，其特征在于，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。

4.根据权利要求1所述的方法，其特征在于，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

5.根据权利要求1所述的方法，其特征在于，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，d_t为特征点m在第t帧图像的向量模值，(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

6.根据权利要求1所述的方法，其特征在于，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

7.根据权利要求2所述的方法，其特征在于，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)，在图像坐标系下的坐标

所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。

8.一种图像特征点类型的识别装置，其特征在于，应用于安装了单目相机的车辆，所述装置包括：

分析单元，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t-1帧图像的特征点对m_t和m_t-1，m_t为特征点m在第t帧图像中对应的位置，m_t-1为所述特征点m在第t-1帧图像中对应的位置；

第一确定单元，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若m_t在相机坐标系下的位置为P_t,m_t-1在相机坐标系下的位置为P_t-1，根据P_t、R_cc和T_cc确定出P_t、R_cc和T_cc与P_t-1之间的第一对等关系，其中R_cc为相机坐标系从第t-1帧到第t帧的旋转矩阵，T_cc为相机坐标系从第t-1帧到第t帧的平移向量；

第二确定单元，用于根据P_t确定出P_t与m_s,t的第二对等关系，其中，m_s,t为m_t在相机坐标系下的归一化坐标点；

第三确定单元，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出P_t在图像坐标系中的投影点

识别单元，用于根据m_t、m_t-1和之间的位置关系，识别所述特征点m为运动特征点或静止特征点。

9.根据权利要求8所述的装置，其特征在于，所述识别单元还包括：

第一计算子单元，用于根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ；

第二计算子单元，用于根据m_t和计算m_t和的位置残差dis；

第一识别子单元，用于若所述光流方向残差角θ大于第一阈值，且所述位置残差dis大于第二阈值，识别所述特征点m为运动特征点；

第二识别子单元，用于若所述光流方向残差角θ小于或等于第一阈值，且所述位置残差dis小于或等于第二阈值，识别所述特征点m为静止特征点。

10.根据权利要求8或9所述的装置，其特征在于，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。

11.根据权利要求8所述的装置，其特征在于，所述根据P_t、R_cc和T_cc确定出与P_t-1之间的第一对等关系，所述第一对等关系具体包括：

P_t-1＝R_ccP_t+T_cc；

其中，P_t-1在相机坐标系下的坐标为(X_t-1,Y_t-1,Z_t-1)，P_t的坐标为(X_t,Y_t,Z_t)。

12.根据权利要求8所述的装置，其特征在于，所述根据P_t确定出与m_s,t的第二对等关系，所述第二对等关系具体包括：

其中，d_t为特征点m在第t帧图像的向量模值，

(X_t,Y_t,Z_t)^T为(X_t,Y_t,Z_t)的转置矩阵。

13.根据权利要求8所述的装置，其特征在于，所述相机成像模型，具体包括：

其中，

r(α)＝k₁α+k₃α³+k₅α⁵+k₇α⁷+k₉α⁹,k₁,k₃,k₅,k₇,k₉,u₀,v₀,f_x,f_y为相机内部参数。

14.根据权利要求9所述的装置，其特征在于，所述根据m_t、m_t-1和计算m_t-1和m_t构成的光流向量与m_t-1和构成的光流向量之间的光流方向残差角θ，具体包括：

其中，m_t在图像坐标系下的坐标为(u_t,v_t)，m_t-1在图像坐标系下的坐标为(u_t-1,v_t-1)，在图像坐标系下的坐标

所述根据m_t和计算m_t和的位置残差dis，具体包括：

其中，为的向量长度。