CN109523570A - 运动参数计算方法及装置 - Google Patents

Abstract

本发明公开了一种运动参数计算方法及装置，属于图像处理技术领域，所述方法包括：确定当前图像帧中的路面区域，当前图像帧为行车影像中的图像帧；提取路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，特征描述子根据第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点；确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配；根据第一特征点和第二特征点计算运动参数。本发明实施例利用特征点周侧的多组参考像素点对描述特征点，增加了特征点的描述维度，提高了特征点描述以及匹配的可靠性，提高计算得到的运动参数的准确性。

Description

运动参数计算方法及装置

技术领域

本发明实施例涉及图像处理技术领域，特别涉及一种运动参数计算方法及装置。

背景技术

随着智能驾驶技术的不断成熟，越来越多的车辆开始具备辅助驾驶甚至自动驾驶功能，而实现辅助驾驶甚至自动驾驶功能的关键在于计算车辆自身的运动参数。

相关技术中，车辆通过分析实时采集的行车影像计算自身运行参数。具体的，车辆获取到行车影像后，识别行车影像中各帧图像包含的路面区域，并提取路面区域中包含的若干个特征点。进一步的，车辆根据特征点的像素特征值，比如RGB(Red-Green-Blue，红绿蓝)值或灰度值，确定相邻两帧图像中相同的特征点，从而根据相同特征点在两帧图像中成像位置的差异，计算出车辆的运动参数。

然而，受到环境光等因素影响，仅根据像素特征值确定相同特征点时存在较大的误差，当确定出的相邻两帧图像中的相同特征点有误时，将影响后续计算得到的运动参数的准确性。

发明内容

为了解决仅根据特征点的像素特征值确定相同特征点时存在较大误差，导致的运动参数的准确性不足的问题，本发明实施例提供了一种运动参数计算方法及装置，所述技术方案如下：

第一方面，提供了一种运动参数计算方法，所述方法包括：

确定当前图像帧中的路面区域，当前图像帧为行车影像中的图像帧；

提取路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，特征描述子根据第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数；

确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配；

根据第一特征点和第二特征点计算运动参数。

在一个可选的实施例中，确定当前图像帧中的路面区域，包括：

将当前图像帧输入全卷积网络，全卷积网络通过深度学习算法训练得到，用于标注图像帧中各个像素点的属性；

获取全卷积网络输出的分割图，分割图用于描述当前图像帧中各个像素点的属性；

根据分割图确定路面区域，路面区域中各个像素点对应的属性为路面属性或车道线属性。

在一个可选的实施例中，提取路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，包括：

通过FAST(Features from Accelerated Segment Test，加速段测试特征)算法提取第一特征点；

通过BRIEF(Binary Robust Independent Elementary，二元鲁棒独立基本特征)算法生成第一特征点对应的特征描述子；

其中，FAST算法和BRIEF算法为ORB(Oriented Binary Robust IndependentElementary，定向二元鲁棒独立基本特征)算法中的子算法。

在一个可选的实施例中，通过BRIEF算法生成第一特征点对应的特征描述子，包括：

获取第一特征点周侧预定尺寸的候选图像区域；

根据预定选取规则，从候选图像区域中选取n组参考像素点对；

计算各组参考像素点对各自对应的二值码，其中，当参考像素点对中第一参考像素点的灰度值＞第二参考像素点的灰度值时，参考像素点对对应的二值码为1；当参考像素点对中第一参考像素点的灰度值≤第二参考像素点的灰度值时，参考像素点对对应的二值码为0；

将n个二值码组合生成的二值码串确定为第一特征点对应的特征描述子。

在一个可选的实施例中，根据第一特征点和第二特征点计算运动参数，包括：

获取第一特征点在当前图像帧中的第一图像坐标，以及第二特征点在上一帧图像帧中的第二图像坐标；

将第一图像坐标转换为第一空间坐标，并将第二图像坐标转换为第二空间坐标，第一空间坐标和第二空间坐标用于指示特征点在三维空间中的坐标；

根据第一空间坐标、第二空间坐标和帧间隔，计算运动参数，帧间隔为相邻图像帧之间的时间间隔，运动参数包括行进速度和偏转角速度。

在一个可选的实施例中，根据第一特征点和第二特征点计算运动参数之后，包括：

对m帧图像帧中包含的特征点进行聚类，m帧图像帧连续，且聚类后同一类中各个特征点对应的运动参数的相似度大于阈值；

根据聚类结果过滤特征点中包含的干扰特征点。

第二方面，提供了一种运动参数计算装置，所述装置包括：

第一确定模块，用于确定当前图像帧中的路面区域，当前图像帧为行车影像中的图像帧；

提取生成模块，用于提取路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，特征描述子根据第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数；

第二确定模块，用于确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配；

计算模块，用于根据第一特征点和第二特征点计算运动参数。

在一个可选的实施例中，第一确定模块，包括：

输入单元，用于将当前图像帧输入全卷积网络，全卷积网络通过深度学习算法训练得到，用于标注图像帧中各个像素点的属性；

获取单元，用于获取全卷积网络输出的分割图，分割图用于描述当前图像帧中各个像素点的属性；

确定单元，用于根据分割图确定路面区域，路面区域中各个像素点对应的属性为路面属性或车道线属性。

在一个可选的实施例中，提取生成模块，包括：

提取单元，用于通过FAST算法提取第一特征点；

生成单元，用于通过BRIEF算法生成第一特征点对应的特征描述子；

其中，FAST算法和BRIEF算法为ORB算法中的子算法。

在一个可选的实施例中，生成单元，还用于：

获取第一特征点周侧预定尺寸的候选图像区域；

根据预定选取规则，从候选图像区域中选取n组参考像素点对；

计算各组参考像素点对各自对应的二值码，其中，当参考像素点对中第一参考像素点的灰度值＞第二参考像素点的灰度值时，参考像素点对对应的二值码为1；当参考像素点对中第一参考像素点的灰度值≤第二参考像素点的灰度值时，参考像素点对对应的二值码为0；

将n个二值码组合生成的二值码串确定为第一特征点对应的特征描述子。

在一个可选的实施例中，计算模块，包括：

坐标获取单元，用于获取第一特征点在当前图像帧中的第一图像坐标，以及第二特征点在上一帧图像帧中的第二图像坐标；

坐标转换单元，用于将第一图像坐标转换为第一空间坐标，并将第二图像坐标转换为第二空间坐标，第一空间坐标和第二空间坐标用于指示特征点在三维空间中的坐标；

计算单元，用于根据第一空间坐标、第二空间坐标和帧间隔，计算运动参数，帧间隔为相邻图像帧之间的时间间隔，运动参数包括行进速度和偏转角速度。

在一个可选的实施例中，所述装置，包括：

聚类模块，用于对m帧图像帧中包含的特征点进行聚类，m帧图像帧连续，且聚类后同一类中各个特征点对应的运动参数的相似度大于阈值；

过滤模块，用于根据聚类结果过滤所述特征点中包含的干扰特征点。

第三方面，提供了一种车载电子设备，所述车载电子设备包括处理器、与处理器相连的存储器，以及存储在存储器上的程序指令，处理器执行程序指令时实现如上述第一方面所述的运动参数计算方法。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有程序指令，程序指令被处理器执行时实现如上述第一方面所述的运动参数计算方法。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，确定出当前图像帧中的路面区域后，从路面区域中提取第一特征点，并根据第一特征点周侧的参考像素点对生成该第一特征点对应的特征描述子，从而根据该特征描述子从上一帧图像帧中确定与第一特征点匹配的第二特征点，进而根据第一特征点和第二特征点计算得到运动参数；不同于现有技术中仅根据像素特征值描述特征点，特征点描述的维度单一，导致特征点匹配的可靠性较低，本发明实施例中，利用特征点周侧的多组参考像素点对描述特征点，增加了特征点的描述维度，提高了特征点描述以及匹配的可靠性，进而提高后续计算得到的运动参数的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个示例性实施例提供的运动参数计算方法的流程图；

图2是本发明另一个示例性实施例提供的运动参数计算方法的流程图；

图3是本发明一个示例性实施例提供的路面分割效果的示意图；

图4是图2所示运动参数计算方法所涉及的特征描述子生成过程的流程图；

图5是选取参考像素点过程的实施示意图；

图6是本发明一个示例性实施例提供的车辆运动过程的示意图；

图7是本发明另一个示例性实施例提供的运动参数计算方法的流程图；

图8是特征点聚类后的效果图；

图9是本发明一个实施例提供的运动参数计算装置的结构图；

图10是本发明一个示例性实施例提供的车载电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

相关技术中，在确定相邻图像帧中相同的特征点时，通常采用简单的像素特征值匹配来实现，即通过计算相邻图像帧中特征点的像素特征值相似度来确定两个特征点是否匹配。比如，在确定第i图像帧中的特征点A与第i+1图像帧中的特征点A’是否匹配时，计算特征点A的RGB值与特征点A’的RGB值的相似度，并在相似度大于阈值(比如90％)时，则确定特征点A和A’匹配。

然而，受到环境光、阴影等外界因素的影响，仅根据像素特征值进行特征像素点匹配的可靠性较低，容易导致特征点匹配错误，相应的，基于匹配错误的特征点计算得到运动参数不符合车辆真实的运动状态。

本发明各个实施例提供的运动参数计算方法中，利用特征点周侧的多组参考像素点对描述特征点，并生成相应的特征描述子，后续进行特征点匹配时，即根据特征描述子的相似度确定相邻图像帧中相同的特征点。与像素特征值仅能够反映出单个像素点的特征相比，特征描述子能够反映出特征点周侧多组像素点对的特征，描述的维度及复杂度更高，因此，基于该特征描述子确定出的相同特征点的可靠性更高，进而保证后续计算得到的运动参数的准确性。下面采用示意性的实施例进行说明。

本发明各个实施例提供的运动参数计算方法用于车载电子设备，该车载电子设备可以是安装在车辆中的车机或车载行车记录设备。为了方便描述，下述各个实施例以运动参数计算方法用于车载电子设备为例进行说明。

图1是本发明一个示例性实施例提供的运动参数计算方法的流程图。本实施例以运动参数计算方法应用于车载电子设备来举例说明，该运动参数计算方法包括如下步骤。

步骤101，确定当前图像帧中的路面区域，当前图像帧为行车影像中的图像帧。

车辆行驶过程中，图像采集组件(比如摄像头)实时采集行车影像，并将行车影像提供给车载电子设备，由车载电子设备根据该行车影像计算车辆实时的运动参数。

由于路面保持静止，且路面上的点在三维空间中处于同一平面，因此车载电子设备以路面为静态参照物进行运动参数计算，从而提高计算得到的运动参数的准确性。相应的，车载电子设备获取到行车影像后，对于行车影像中的各帧图像帧，车载电子设备确定其中包含的路面区域，以便后续从该路面区域中选取特征点进行运动参数计算。

在一种可能的实施方式中，车载电子设备通过预先训练生成的全卷积网络对各帧图像帧进行分析，确定出各帧图像帧中包含的路面区域。

步骤102，提取路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，特征描述子根据第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数。

其中，车载电子设备从路面区域中提取到多个第一特征点，即提取到一个特征点集。

特征点是指图像中灰度值发生剧烈变化的像素点，即特征点的灰度值与周侧像素点的灰度值差异较大。

在一种可能的实施方式中，确定出路面区域后，车载电子设备即通过ORB算法从路面区域中提取若干个第一特征点。其中，利用ORB算法从不同图像帧提取到的第一特征点的数量相同或不同。

进一步的，对于提取到的各个第一特征点，车载电子设备通过ORB算法生成第一特征点对应的特征描述子。

与现有技术中利用像素特征值描述特征点自身属性不同，本发明实施例中，车载电子设备利用特征点周侧参考像素点对的属性对特征点进行描述，从而提高特征点描述的准确性。

在一种可能的实施方式中，车载电子设备在第一特征点周侧的候选图像区域内选取n组参考像素点对，根据各组参考像素点对中参考像素点的灰度值大小关系，生成一个长度为n的二值码串(由0和1构成)，并将该二值码串确定为第一特征点的特征描述子。

步骤103，确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配。

在一种可能的实施方式中，车载电子设备计算当前图像帧中第一特征点的特征描述子与上一帧图像帧中各个特征点的特征描述子的相似度，并在两个特征描述子的相似度大于阈值时，确定两者相匹配。比如，该阈值为80％。

步骤104，根据第一特征点和第二特征点计算运动参数。

根据确定出的第一特征点和第二特征点，车载电子设备进一步根据两个特征点在两帧图像中成像位置的差异，计算得到车辆的运动参数。可选的，该运动参数包括车辆的行进速度和偏转角速度。需要说明的是，相邻两帧图像中包含多组特征点对(一个第一特征点和一个第二特征点构成一组特征点对)，车载电子设备根据多组特征点对最终计算得到运动参数。

综上所述，本发明实施例中，确定出当前图像帧中的路面区域后，从路面区域中提取第一特征点，并根据第一特征点周侧的参考像素点对生成该第一特征点对应的特征描述子，从而根据该特征描述子从上一帧图像帧中确定与第一特征点匹配的第二特征点，进而根据第一特征点和第二特征点计算得到运动参数；不同于现有技术中仅根据像素特征值描述特征点，特征点描述的维度单一，导致特征点匹配的可靠性较低，本发明实施例中，利用特征点周侧的多组参考像素点对描述特征点，增加了特征点的描述维度，提高了特征点描述以及匹配的可靠性，进而提高后续计算得到的运动参数的准确性。

图2是本发明另一个示例性实施例提供的运动参数计算方法的流程图。本实施例以运动参数计算方法应用于车载电子设备来举例说明，该运动参数计算方法包括如下步骤。

步骤201，将当前图像帧输入全卷积网络，全卷积网络通过深度学习算法训练得到，用于标注图像帧中各个像素点的属性。

现有技术中，通常采用基于纹理特征的方式确定图像中的路面区域。比如，根据路面纹理特征识别图像，确定路面区域。然而，现实情况中道路环境复杂多样，诸如阴影、光照变化、路面破损、车辆遮挡等都会对纹理特征识别产生影响，导致基于纹理特征识别出的路面区域的准确性较低。

而本发明实施例中，车载电子设备将当前图像帧输入训练得到的像素到像素的全卷积网络，利用该全卷积网络提取当前图像帧中符合路面属性以及车道线属性的像素点，并基于全卷积网络的提取结果确定出路面区域。由于全卷积网络能够对图像中的各个像素点进行识别，因此识别精度相较于纹理特征识别更高。

针对全卷积网络的生成方式，在一种可能的实施方式中，预先采用人工标记的方式，对路面样本图像中各个像素点的属性进行分类和标记，比如将像素点标记为“路面”、“车道线”、“车辆”、“行人”或“树木”等等，然后将标记后的路面样本图像输入深度学习算法中，从而训练生成全卷积网络，该全卷积网络即用于标记图像帧中各个像素点的属性。

步骤202，获取全卷积网络输出的分割图，分割图用于描述当前图像帧中各个像素点的属性。

在一种可能的实施方式中，全卷积网络对输入图像帧中各个像素点进行识别，识别出图像帧中符合路面属性或车道线属性的像素点，并根据识别结果输出与原始图像帧尺寸一致的分割图，该分割图中即包含当前图像帧中各个像素点的属性。

示意性的，如图3所示，全卷积网络对输入的原始图像帧31进行特征提取后，输出分割图32，该分割图32中包含识别出的路面321以及车道线322。

步骤203，根据分割图确定路面区域，路面区域中各个像素点对应的属性为路面属性或车道线属性。

进一步的，车载电子设备根据输出分割图以及原始图像帧，确定原始图像帧中的路面区域。

示意性的，如图3所示，车载电子设备将路面321和车道线322确定为路面区域。

步骤204，通过FAST算法提取第一特征点。

通过上述步骤确定出路面区域后，车载电子设备进一步通过FAST算法提取路面区域中包含的第一特征点。

在一种可能的实施方式中，车载电子设备从路面区域中选取一个候选像素点，并计算该候选像素点与周侧各个像素点的灰度值之差。当候选像素点与周侧像素点的灰度值的之差大于第一阈值时，确定两者不同；当与候选像素点不同的周侧像素点所占的比例大于第二阈值时，则确定该候选像素点为第一特征点。

比如，车载电子设备选取候选像素点后，获取候选像素点周围16个周侧像素点的灰度值，并计算该候选像素点与各个周侧像素点的灰度值之差。当候选像素点与周侧像素点的灰度值的之差大于50时，确定两者不同；当与候选像素点不同的周侧像素点所占的比例大于75％(即超过12个)时，则确定该候选像素点为第一特征点。

可选的，车载电子设备通过构建高斯金字塔的方式进行特征点提取，即对不同尺度下的图像帧进行特征点提取，以弥补FAST算法在尺度不变性方面的缺陷，本发明实施例并不对此进行限定。

步骤205，通过BRIEF算法生成第一特征点对应的特征描述子。

与现有技术中通过像素特征值描述特征点不同，本发明实施例中，对于提取到的第一特征点，车载电子设备通过BRIEF算法，利用根据第一特征点周侧的参考像素点对生成的特征描述子描述第一特征点。在一种可能的实施方式中，如图4所示，本步骤包括如下步骤：

步骤205A，获取第一特征点周侧预定尺寸的候选图像区域。

针对提取出的第一特征点，车载电子设备将第一特征点周侧预定尺寸的图像区域确定为候选图像区域。

在一种可能的实施方式中，车载电子设备以第一特征点为圆心，将预定半径(比如15px)范围内的图像区域确定为候选图像区域。

步骤205B，根据预定选取规则，从候选图像区域中选取n组参考像素点对。

可选的，该预定选取规则用于指示选取候选图像区域中，指定位置的像素点对作为参考像素点对，其中，该指定位置为相对于第一特征点的位置。

比如，如图5所示，以特征点P为圆心构建坐标系，该预定选取规则指示选取坐标为(-2，-1)的像素点51以及坐标为(2，1)的像素点52为P1(A，B)，选取坐标为(-1，3)的像素点53以及坐标为(1，-3)的像素点54为P2(A，B)，选取坐标为(1，5)的像素点55以及坐标为(-1，-5)的像素点56为P3(A，B)，选取坐标为(-4，1)的像素点57以及坐标为(4，-1)的像素点58为P4(A，B)。

需要说明的是，实际实施过程中，n的取值较大，比如n＝512，本实施例仅以n＝4为例进行示意性说明，并不对此构成限定。

步骤205C，计算各组参考像素点对各自对应的二值码，其中，当参考像素点对中第一参考像素点的灰度值＞第二参考像素点的灰度值时，参考像素点对对应的二值码为1；当参考像素点对中第一参考像素点的灰度值≤第二参考像素点的灰度值时，参考像素点对对应的二值码为0。

在一种可能的实施方式中，预先定义求取参考像素点对对应的二值码的公式如下：

其中，IA表示参考点像素点对中像素点A的灰度值，IB表示参考点像素点对中像素点B的灰度值。

选取出n组参考像素点对后，车载电子设备即根据上述公式计算各组参考像素点对对应的二值码。

示意性的，如图5所示，车载电子设备计算得到T(P₁(A,B))＝1，T(P₂(A,B))＝0，T(P₃(A,B))＝1，T(P₄(A,B))＝1。

步骤205D，将n个二值码组合生成的二值码串确定为第一特征点对应的特征描述子。

进一步的，车载电子设备将计算得到的n个二值码进行组合，生成长度为n的二值码串，并将该二值码串确定为第一特征点对应的特征描述子。

示意性的，车载电子设备将上述步骤205C中计算得到的4个二值码进行组合，生成第一特征点对应的二值码串为1011。

步骤206，确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配。

在一种可能的实施方式中，当第一特征点的特征描述子为二值码串时，车载电子设备即将第一特征点对应的二值码串与上一帧图像中第二特征点对应的二值码串进行异或操作，从而计算得到两个二值码串的相似度，并在相似度大于阈值时，确定第一特征点与第二特征点匹配。比如，该阈值为80％。

在一个示意性的例子中，当前图像帧中第一特征点与上一帧图像中第二特征点的特征描述子分别为10101011和10101010，通过异或操作计算得到两者的相似度为87.5％，大于阈值80％，车载电子设备即确定第一特征点与第二特征点相匹配。

步骤207，获取第一特征点在当前图像帧中的第一图像坐标，以及第二特征点在上一帧图像帧中的第二图像坐标。

车辆行进过程中(相对于路面的位置发生变化)，路面上某一固定点与车辆的相对位置将发生变化，相应的，该固定点对应的特征点在图像帧中所处的显示位置不断发生变化，因此，车载电子设备确定出相匹配的第一特征点和第二特征点后，可以根据第一特征点和第二特征点在各自图像帧中所处显示位置的差异，计算车辆当前时刻的运动参数。

在一种可能的实施方式中，车载电子设备以图像帧左上角为坐标原点建立直角坐标系，以像素点为单位，确定特征点在图像帧中的图像坐标。

比如，车载电子设备获取到第一特征点的第一图像坐标为(200px，256px)，第二特征点的第二图像坐标为(201px，260px)。

步骤208，将第一图像坐标转换为第一空间坐标，并将第二图像坐标转换为第二空间坐标，第一空间坐标和第二空间坐标用于指示特征点在三维空间中的坐标。

由于第一图像坐标和第二图像坐标的度量单位为像素，而实际路面的度量单位为长度，因此，为了计算出车辆在真实三维空间中运动参数，车载电子设备需要将特征点的图像坐标转换为三维空间中的空间坐标。

在一种可能的实施方式中，车载电子设备根据图像采集组件的标定参数，比如焦距、分辨率等标定参数，确定出图像坐标与空间坐标的转换矩阵，从而根据该转换矩阵将特征点对应的图像坐标转换为空间坐标。

比如，结合步骤207中的示例，车载电子设备根据标定参数确定出图像坐标与空间坐标的转换矩阵，该转换矩阵用于将图像坐标转换为以相机位置为原点的路面坐标(空间坐标)，从而经过转换矩阵转换得到第一空间坐标为(200cm，256cm)，第二空间坐标为(201cm，260cm)。

步骤209，根据第一空间坐标、第二空间坐标和帧间隔，计算运动参数，帧间隔为相邻图像帧之间的时间间隔，运动参数包括行进速度和偏转角速度。

在实际行驶过程中，车辆运动可以分解为原地旋转和平移，因此，车载电子设备可以根据第一空间坐标和第二空间坐标计算出车辆的旋转角度和平移距离，并根据图像帧之间的帧间隔，计算得到包括偏转角速度和行进速度等运动参数。

在一种可能的实施方式中，如图6所示，车辆从A点做圆周运动移动到B点，路面上的一个固定C为特征点。以A点为坐标系原点构建坐标系，C点的坐标为(x1,y1)；以B点为坐标系原点构建坐标系，C点的坐标为(x2,y2)。当车辆圆周运动的半径为r，且车辆偏转角度为θ时，利用如下公式可以计算得到一对r和θ。

其中，为车辆的旋转矩阵，为车辆的平移矩阵。

计算得到r和θ后，车载电子设备进一步根据公式计算得到车辆的偏转角速度，并根据公式v＝r*ω计算得到车辆的行进速度。

综上所述，本发明实施例中，确定出当前图像帧中的路面区域后，从路面区域中提取第一特征点，并根据第一特征点周侧的参考像素点对生成该第一特征点对应的特征描述子，从而根据该特征描述子从上一帧图像帧中确定与第一特征点匹配的第二特征点，进而根据第一特征点和第二特征点计算得到运动参数；不同于现有技术中仅根据像素特征值描述特征点，特征点描述的维度单一，导致特征点匹配的可靠性较低，本发明实施例中，利用特征点周侧的多组参考像素点对描述特征点，增加了特征点的描述维度，提高了特征点描述以及匹配的可靠性，进而提高后续计算得到的运动参数的准确性。

本发明实施例中，车载电子设备利用深度学习算法训练得到的全卷积网络对图像帧进行路面和车道线提取，并根据提取结果确定图像帧中的路面区域，提高了确定出的路面区域的准确性，进一步提高了后续提取到的特征点的准确性。

本发明实施例中，车载电子设备计算特征点周侧n组参考像素点对各自对应的二值码，并根据n个二值码生成二值码串，从而利用该二值码串作为特征描述子描述特征点，提高了特征点描述的准确性和全面性，有利于提高后续确定出的匹配特征点的准确性。

在提取路面区域中包含的特征点时，可能会提取到部分干扰特征点，比如将路面区域上杂物影像的像素点提取为特征点，而根据干扰特征点计算得到的运动参数并不符合车辆真实的运动状态。为了提高计算得到的运动参数的准确性，在一种可能的实施方式，在图2的基础上，如图7所示，上述步骤209之后，还包括如下步骤。

步骤210，对m帧图像帧中包含的特征点进行聚类，m帧图像帧连续，且聚类后同一类中各个特征点对应的运动参数的相似度大于阈值。

在一种可能的实施方式中，由于短时间内车辆的运动状态保持不变，且干扰特征点对应的运动参数与非干扰特征点对应的运动参数相差较大，因此，计算得到各个特征点对应的运动参数后，车载电子设备根据运动参数对连续的m帧图像帧中的特征点进行聚类(比如对连续8帧图像帧中的特征点进行聚类)，从而根据聚类结果识别出干扰特征点。其中，聚类后同一类中各个特征点对应的运动参数的相似度大于阈值。

在一种可能的实施方式中，车载电子设备根据运动参数中的偏转角速度对特征点进行聚类，聚类后，同一类中各个特征点对应的偏转角速度的差值小于阈值。

在另一种可能的实施方式中，车载电子设备根据运动参数中的行进速度对特征点进行聚类，聚类后，同一类中各个特征点对应的行进速度的差值小于阈值。

在其他可能的实施方式中，车载电子设备还可以同时根据偏转角速度和行进速度对特征点进行聚类，本发明实施例并不对此进行限定。

步骤211，根据聚类结果过滤特征点中包含的干扰特征点。

在一种可能的实施方式中，车载电子设备根据聚类结果，将包含特征点最少的类，或，将包含特征点数量小于阈值的类，或，将包含特征点数量占特征点总量的比例小于阈值的类确定为干扰类，并将干扰类中的特征点作为干扰特征点进行过滤。

示意性的，如图8所示，特征点经过聚类后分为第一类(包含编号为1的特征点)和第二类(包含编号为2的特征点)，且第一类中特征点的数量小于阈值，第二类中特征点的数量大于阈值，车载电子设备即将第一类中各个特征点确定为干扰特征点。

本发明实施例中，车载电子设备采用多帧聚类的方式对连续图像帧中的特征点进行聚类，从而识别其中包含的干扰特征点，并对干扰特征点进行过滤，进一步提高了计算得到的运动参数的准确性。

请参考图9，其示出了本发明一个实施例提供的运动参数计算装置的结构图。该装置可以通过软件、硬件或者两者的结合实现成为车载电子设备的全部或者一部分。该装置包括：第一确定模块910、提取生成模块920、第二确定模块930、计算模块940。

第一确定模块910，用于确定当前图像帧中的路面区域，当前图像帧为行车影像中的图像帧；

提取生成模块920，用于提取路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，特征描述子根据第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数；

第二确定模块930，用于确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配；

计算模块940，用于根据第一特征点和第二特征点计算运动参数。

可选的，第一确定模块910，包括：输入单元、获取单元和确定单元。

输入单元，用于将当前图像帧输入全卷积网络，全卷积网络通过深度学习算法训练得到，用于标注图像帧中各个像素点的属性；

获取单元，用于获取所述全卷积网络输出的分割图，分割图用于描述当前图像帧中各个像素点的属性；

确定单元，用于根据分割图确定路面区域，路面区域中各个像素点对应的属性为路面属性或车道线属性。

可选的，提取生成模块920，包括：提取单元和生成单元。

提取单元，用于通过FAST算法提取第一特征点；

生成单元，用于通过BRIEF算法生成第一特征点对应的特征描述子；

其中，FAST算法和BRIEF算法为ORB算法中的子算法。

可选的，生成单元，还用于：

获取第一特征点周侧预定尺寸的候选图像区域；

根据预定选取规则，从候选图像区域中选取n组参考像素点对；

计算各组参考像素点对各自对应的二值码，其中，当参考像素点对中第一参考像素点的灰度值＞第二参考像素点的灰度值时，参考像素点对对应的二值码为1；当参考像素点对中第一参考像素点的灰度值≤第二参考像素点的灰度值时，参考像素点对对应的二值码为0；

将n个二值码组合生成的二值码串确定为第一特征点对应的特征描述子。

可选的，计算模块940，包括：坐标获取单元、坐标转换单元和计算单元。

坐标获取单元，用于获取第一特征点在所述当前图像帧中的第一图像坐标，以及第二特征点在所述上一帧图像帧中的第二图像坐标；

坐标转换单元，用于将第一图像坐标转换为第一空间坐标，并将第二图像坐标转换为第二空间坐标，第一空间坐标和所述第二空间坐标用于指示特征点在三维空间中的坐标；

计算单元，用于根据第一空间坐标、第二空间坐标和帧间隔，计算运动参数，帧间隔为相邻图像帧之间的时间间隔，运动参数包括行进速度和偏转角速度。

可选的，该装置还包括：聚类模块和过滤模块。

聚类模块，用于对m帧图像帧中包含的特征点进行聚类，m帧图像帧连续，且聚类后同一类中各个特征点对应的运动参数的相似度大于阈值；

过滤模块，用于根据聚类结果过滤所述特征点中包含的干扰特征点。

综上所述，本发明实施例中，确定出当前图像帧中的路面区域后，从路面区域中提取第一特征点，并根据第一特征点周侧的参考像素点对生成该第一特征点对应的特征描述子，从而根据该特征描述子从上一帧图像帧中确定与第一特征点匹配的第二特征点，进而根据第一特征点和第二特征点计算得到运动参数；不同于现有技术中仅根据像素特征值描述特征点，特征点描述的维度单一，导致特征点匹配的可靠性较低，本发明实施例中，利用特征点周侧的多组参考像素点对描述特征点，增加了特征点的描述维度，提高了特征点描述以及匹配的可靠性，进而提高后续计算得到的运动参数的准确性。

本发明实施例中，车载电子设备利用深度学习算法训练得到的全卷积网络对图像帧进行路面和车道线提取，并根据提取结果确定图像帧中的路面区域，提高了确定出的路面区域的准确性，进一步提高了后续提取到的特征点的准确性。

本发明实施例中，车载电子设备计算特征点周侧n组参考像素点对各自对应的二值码，并根据n个二值码生成二值码串，从而利用该二值码串作为特征描述子描述特征点，提高了特征点描述的准确性和全面性，有利于提高后续确定出的匹配特征点的准确性。

本发明实施例中，车载电子设备采用多帧聚类的方式对连续图像帧中的特征点进行聚类，从而识别其中包含的干扰特征点，并对干扰特征点进行过滤，进一步提高了计算得到的运动参数的准确性。

图10示出了本发明一个示例性实施例提供的车载电子设备的结构示意图。该车载电子设备包括：处理器1011、存储器1012和总线1013。

处理器1011包括一个或者一个以上处理核心，存储器1012通过总线1013与处理器1011相连，存储器1012用于存储程序指令，处理器1011执行存储器1012中的程序指令时实现上述各个方法实施例提供的车载电子设备的运动参数计算方法。

示意性地，处理器1011执行存储器1012中的程序指令实现：确定当前图像帧中的路面区域，当前图像帧为行车影像中的图像帧；提取路面区域包含的第一特征点，并生成第一特征点对应的特征描述子，特征描述子根据第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数；确定上一帧图像帧中与第一特征点匹配的第二特征点，第一特征点对应的特征描述子与第二特征点对应的特征描述子相匹配；根据第一特征点和第二特征点计算运动参数。

可选地，存储器1012可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

上述结构示意仅为对车载电子设备的示意性说明，车载电子设备可以包括更多或更少的部件，比如：传感器、显示屏等其它部件，本实施例不再赘述。

本发明实施例还提供一种计算机可读介质，其上存储有程序指令，程序指令被处理器执行时实现上述各个方法实施例提供的运动参数计算方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

本领域普通技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种运动参数计算方法，其特征在于，所述方法包括：

确定当前图像帧中的路面区域，所述当前图像帧为行车影像中的图像帧；

提取所述路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，所述特征描述子根据所述第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数；

确定上一帧图像帧中与所述第一特征点匹配的第二特征点，所述第一特征点对应的特征描述子与所述第二特征点对应的特征描述子相匹配；

根据所述第一特征点和所述第二特征点计算运动参数。

2.根据权利要求1所述的方法，其特征在于，所述确定当前图像帧中的路面区域，包括：

将所述当前图像帧输入全卷积网络，所述全卷积网络通过深度学习算法训练得到，用于标注图像帧中各个像素点的属性；

获取所述全卷积网络输出的分割图，所述分割图用于描述所述当前图像帧中各个像素点的属性；

根据所述分割图确定所述路面区域，所述路面区域中各个像素点对应的属性为路面属性或车道线属性。

3.根据权利要求1或2所述的方法，其特征在于，所述提取所述路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，包括：

通过加速段测试特征FAST算法提取所述第一特征点；

通过二元鲁棒独立基本特征BRIEF算法生成所述第一特征点对应的特征描述子；

其中，所述FAST算法和所述BRIEF算法为定向二元鲁棒独立基本特征ORB算法中的子算法。

4.根据权利要求3所述的方法，其特征在于，所述通过BRIEF算法生成所述第一特征点对应的特征描述子，包括：

获取所述第一特征点周侧预定尺寸的候选图像区域；

根据预定选取规则，从所述候选图像区域中选取n组参考像素点对；

计算各组参考像素点对各自对应的二值码，其中，当参考像素点对中第一参考像素点的灰度值＞第二参考像素点的灰度值时，所述参考像素点对对应的二值码为1；当参考像素点对中第一参考像素点的灰度值≤第二参考像素点的灰度值时，所述参考像素点对对应的二值码为0；

将n个二值码组合生成的二值码串确定为所述第一特征点对应的特征描述子。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点和所述第二特征点计算运动参数，包括：

获取所述第一特征点在所述当前图像帧中的第一图像坐标，以及所述第二特征点在所述上一帧图像帧中的第二图像坐标；

将所述第一图像坐标转换为第一空间坐标，并将所述第二图像坐标转换为第二空间坐标，所述第一空间坐标和所述第二空间坐标用于指示特征点在三维空间中的坐标；

根据所述第一空间坐标、所述第二空间坐标和帧间隔，计算所述运动参数，所述帧间隔为相邻图像帧之间的时间间隔，所述运动参数包括行进速度和偏转角速度。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点和所述第二特征点计算运动参数之后，包括：

对m帧图像帧中包含的特征点进行聚类，所述m帧图像帧连续，且聚类后同一类中各个特征点对应的运动参数的相似度大于阈值；

根据聚类结果过滤所述特征点中包含的干扰特征点。

7.一种运动参数计算装置，其特征在于，所述装置包括：

第一确定模块，用于确定当前图像帧中的路面区域，所述当前图像帧为行车影像中的图像帧；

提取生成模块，用于提取所述路面区域包含的第一特征点，并生成各个第一特征点对应的特征描述子，所述特征描述子根据所述第一特征点周侧的n组参考像素点对生成，每组参考像素点对中包含两个参考像素点，n≥2，n为整数；

第二确定模块，用于确定上一帧图像帧中与所述第一特征点匹配的第二特征点，所述第一特征点对应的特征描述子与所述第二特征点对应的特征描述子相匹配；

计算模块，用于根据所述第一特征点和所述第二特征点计算运动参数。

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块，包括：

输入单元，用于将所述当前图像帧输入全卷积网络，所述全卷积网络通过深度学习算法训练得到，用于标注图像帧中各个像素点的属性；

获取单元，用于获取所述全卷积网络输出的分割图，所述分割图用于描述所述当前图像帧中各个像素点的属性；

确定单元，用于根据所述分割图确定所述路面区域，所述路面区域中各个像素点对应的属性为路面属性或车道线属性。

9.根据权利要求7或8所述的装置，其特征在于，所述提取生成模块，包括：

提取单元，用于通过加速段测试特征FAST算法提取所述第一特征点；

生成单元，用于通过二元鲁棒独立基本特征BRIEF算法生成所述第一特征点对应的特征描述子；

其中，所述FAST算法和所述BRIEF算法为定向二元鲁棒独立基本特征ORB算法中的子算法。

10.根据权利要求9所述的装置，其特征在于，所述生成单元，还用于：

获取所述第一特征点周侧预定尺寸的候选图像区域；

根据预定选取规则，从所述候选图像区域中选取n组参考像素点对；

计算各组参考像素点对各自对应的二值码，其中，当参考像素点对中第一参考像素点的灰度值＞第二参考像素点的灰度值时，所述参考像素点对对应的二值码为1；当参考像素点对中第一参考像素点的灰度值≤第二参考像素点的灰度值时，所述参考像素点对对应的二值码为0；

将n个二值码组合生成的二值码串确定为所述第一特征点对应的特征描述子。

11.根据权利要求7所述的装置，其特征在于，所述计算模块，包括：

坐标获取单元，用于获取所述第一特征点在所述当前图像帧中的第一图像坐标，以及所述第二特征点在所述上一帧图像帧中的第二图像坐标；

坐标转换单元，用于将所述第一图像坐标转换为第一空间坐标，并将所述第二图像坐标转换为第二空间坐标，所述第一空间坐标和所述第二空间坐标用于指示特征点在三维空间中的坐标；

计算单元，用于根据所述第一空间坐标、所述第二空间坐标和帧间隔，计算所述运动参数，所述帧间隔为相邻图像帧之间的时间间隔，所述运动参数包括行进速度和偏转角速度。

12.根据权利要求7所述的装置，其特征在于，所述装置，还包括：

聚类模块，用于对m帧图像帧中包含的特征点进行聚类，所述m帧图像帧连续，且聚类后同一类中各个特征点对应的运动参数的相似度大于阈值；

过滤模块，用于根据聚类结果过滤所述特征点中包含的干扰特征点。

13.一种车载电子设备，其特征在于，所述车载电子设备包括处理器、与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至6任一所述的运动参数计算方法。