CN111860224A

CN111860224A - 图像处理的方法、装置、电子设备和计算机可读存储介质

Info

Publication number: CN111860224A
Application number: CN202010622371.9A
Authority: CN
Inventors: 姚萌
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-10-30

Abstract

本申请公开了图像处理的方法、装置、电子设备和计算机可读存储介质，涉及自动驾驶领域。该方法包括针对捕获第一图像帧和捕获第二图像帧的时间间隔，获取设备的控制数据，控制数据用于控制设备的运动；通过控制数据来确定第一约束关系，第一约束关系表示时间间隔内设备的位姿变化；基于第一约束关系来确定第二约束关系，第二约束关系表示时间间隔内的第一图像帧与第二图像帧中的像素变化；以及基于第二约束关系，执行第一图像帧和第二图像帧间的图像匹配。本公开的实施例能够不增加任何硬件成本，实现图像帧间的图像匹配。

Description

图像处理的方法、装置、电子设备和计算机可读存储介质

技术领域

本公开的实施例主要涉及自动驾驶领域，并且更具体地，涉及图像处理的方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来，自动驾驶(也称为无人驾驶)作为人工智能的一个应用场景，已经成为各种交通工具、特别是汽车、无人机以及工业自动化产业的新发展方向。自动驾驶技术需要重构三维地图以实现辅助驾驶。在重构三维地图的过程中，需要执行图像匹配对所捕获的图像帧中的特征点进行匹配和标识。在三维重构过程中，图像匹配需要消耗大量时间和计算资源。尤其是当周围环境比较复杂或者所捕获的图像大幅增加时，特征点的数量和待执行图像匹配的图像帧的数量将大幅增加。此时，图像匹配的计算量将急剧增长，这对有限的计算资源提出了很大的挑战。

发明内容

根据本公开的示例实施例，提供了一种图像处理的方案。

在本公开的第一方面中，提供了一种图像处理的方法。该方法包括针对捕获第一图像帧和捕获第二图像帧的时间间隔，获取设备的控制数据，控制数据用于控制设备的运动；通过控制数据来确定第一约束关系，第一约束关系表示时间间隔内设备的位姿变化；基于第一约束关系来确定第二约束关系，第二约束关系表示时间间隔内的第一图像帧与第二图像帧中的像素变化；以及基于第二约束关系，执行第一图像帧和第二图像帧间的图像匹配。

在本公开的第二方面中，提供了一种图像处理的装置。该装置包括控制数据获取模块，被配置为针对捕获第一图像帧和捕获第二图像帧的时间间隔，获取设备的控制数据，控制数据用于控制设备的运动；第一约束关系确定模块，被配置为通过控制数据来确定第一约束关系，第一约束关系表示时间间隔内设备的位姿变化；第二约束关系确定模块，被配置为基于第一约束关系来确定第二约束关系，第二约束关系表示时间间隔内的第一图像帧与第二图像帧中的像素变化；以及图像匹配模块，被配置为基于第二约束关系，执行第一图像帧和第二图像帧间的图像匹配。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行使，使得该电子设备实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了根据本公开的多个实施例的图像处理方案在其中实现的示例环境的示意图；

图2示出了根据本公开的多个实施例的图像处理过程的流程图；

图3示出了根据本公开的多个实施例的图像处理方案在其中实现的另一示例环境的示意图；

图4示出了根据本公开的多个实施例的图像捕获时序图；

图5示出了根据本公开的多个实施例的图像处理装置的示意框图；以及

图6示出了根据本公开的多个实施例的图像设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上提及的，在自动驾驶领域中，设备(诸如，车辆、无人机、工业机器人等等)需要捕获图像帧以执行三维重构。在三维重构的过程中，需要对捕获的图像帧执行图像匹配以标识特征点。在三维重构过程中，图像匹配需要消耗大量时间以及大量计算资源。尤其是当图像特征点数量/待匹配的图像帧的数量上升时，执行图像匹配所需的计算量剧烈增长。这对有限的计算资源提出了很大的挑战。先验知识可以用来减少图像匹配过程中的特征点检索范围，以提升计算效率。

在传统的方案中，为了获得先验知识，通常在设备上安装了额外的传感器(即，惯性测量单元(IMU))，例如包括陀螺仪、加速度计等。IMU实时采集设备的惯性测量数据(诸如，由陀螺仪采集的角速度、陀螺仪的零偏、由加速度计采集的加速度、加速度计的零偏等等)，以获得设备的位姿变化信息，从而辅助图像匹配过程。然而，该传统的方案需要额外追加新的传感器，增加了设备的硬件成本。

根据本公开的实施例，提出了一种图像处理的方案。该方案不依赖于惯性测量数据，通过获取设备的控制数据(例如，从设备的控制器局域网络(CAN)总线获取控制数据)来确定设备的位姿变化。以此方式，本公开的实施例无需额外追加新的传感器，即可有效地缩小特征点的检索范围，从而能辅助实现图像匹配操作。

以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，图像处理设备130可以获取控制数据110，在一些示例实施例中，控制数据110可以是控制设备运动的任何参数，仅作为示例，其可以包括但限于，控制设备的转向数据(诸如，方向盘转角)以及控制设备的速度数据(诸如，四轮转速)等等。在一些示例实施例中，控制数据110可以通过有线通信(诸如，从CAN总线读取)或无线通信(诸如，蓝牙、红外以及射频通信等等)的方式而被传输到图像处理设备130。如图1所示，图像处理设备130还获取待匹配的第一图像帧120-1和第二图像帧120-2。为了方便描述，待匹配的第一图像帧120-1和第二图像帧120-2可以统称为图像帧120。

图像处理设备130可以基于所获取的控制数据110对第一图像帧120-1和第二图像帧120-2执行图像匹配以标识相应的特征点，并输出图像匹配结果140。图像匹配结果140可以被用于三维重构。

应当理解，在图1中仅示出了一个控制数据110，在实际应用中，控制数据110可以包括一个或多个控制参数，且可以由图像处理设备130通过一次或多次信令/消息交互而被获取，本公开的范围在此方面不受限制。尽管在图1中仅示出了两个图像帧，即，第一图像帧120-1和第二图像帧120-2，应该理解，在实际应用中，图像帧120的数目可以是任意的，其与实际捕获的图像帧的数目相关联，本公开的范围在此方面不受限制。还应当理解，图像匹配结果140虽然作为输出参数而被示出，在实际应用中，图像匹配结果140可以被输出至其他模块以实现其它应用，也可以被图像处理设备130保存以用于后续图像处理操作。

下文将参考图2来更详细地描述根据本公开的图像处理过程。图2示出了根据本公开的多个示例实施例的图像处理的过程200的流程图。过程200可以由图1的图像处理设备130来实现。为了方便讨论，将结合图1来描述过程200。

在框210，图像处理设备130针对捕获第一图像帧120-1和捕获第二图像帧120-2的时间间隔，获取设备的控制数据110。例如，设备在t₀时刻通过其自身的摄影设备(诸如，相机或摄像头等)捕获第一图像帧120-1，在t₁时刻通过其自身的摄影设备捕获第二图像帧120-2，其中t₀时刻至t₁时刻之间的时间间隔可以表示为Δt。对于设备而言，其可以在时间间隔Δt内发生转弯、前进、后退、平移等各种位姿改变。针对上述时间间隔Δt，图像处理设备130获取设备的控制数据110。

在一些实施例中，控制数据110包括控制所述设备的转向数据，诸如，方向盘数据。备选地或附加地，控制数据110还可以包括控制设备的速度数据，诸如，发动机转速、四轮速度等。

在自动驾驶领域，CAN总线运行串行通信协议，其为设备的各个模块间的交互提供可靠的数据通信。在驾驶过程中，控制设备运动的控制信令通过CAN总线传输到设备的各个操控模块，以控制设备的运动。因此，在一些实施例中，图像处理设备130可以从CAN总线获取控制数据110。

应当理解，本公开控制数据110的获取可以通过多种方式，包括但不限于，通过自动驾驶模块、车载安全系统以及第三方应用程序等来获取控制数据110。

为进一步说明获取控制数据110的操作，现结合图3进一步说明如下。图3示出了根据本公开的多个实施例的图像处理方案在其中实现的示例环境300。

在环境300中，设备被以车辆135的形式被示出。应当理解，在此所述的车辆135可以包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车等等。在一些实施例中，车辆135可以是具有部分或完全自动驾驶能力的车辆，也被称为无人驾驶车辆。备选地，在另一些实施例中，车辆135也可以是其他设备或交通工具等，诸如无人机、工业机器人等。本公开的范围在此方面不受限制。

在一些实施例中，车辆135上安装有摄像设备(诸如，相机或摄像机等)。图像处理设备130可以被实现为在车辆135的内部。如图3所示，车辆135在t₀时刻通过其自身的摄像设备捕获第一图像帧120-1，在t₁时刻通过其自身的摄像设备捕获第二图像帧120-2，其中t₀时刻至t₁时刻之间的时间间隔可以表示为Δt。在该时间间隔Δt内，车辆135发生了角度和平移的位姿变化。针对该时间间隔Δt，车辆135通过其自身的图像处理设备130获得控制数据110。在一些实施例中，获得控制数据110为车辆135的CAN总线上的方向盘信息以及四轮转速。

由于控制数据110为车辆在驾驶过程中系统交互数据，且与车辆135的运动之间存在关联关系，因此可以由该控制数据110获得车辆135的在时间间隔Δt内的位姿变化。以此方式，与传统的通过增加IMU的方式相比，本公开无需增加任何新的传感器，即可获得设备在时间间隔Δt内的位姿变化。

以上讨论了设备获取控制数据110的操作。现在返回图2进一步讨论本公开的图像处理过程。

在框220处，图像处理设备130通过在框210处获取的控制数据110来确定第一约束关系，即，在时间间隔Δt内设备的位姿变化。

在某些实施例中，位姿变化可以通过设备的角度变化以及平移变化两个维度来衡量。因此，第一约束关系可以转为表示时间间隔Δt内设备的角度变化的第三约束关系，以及表示时间间隔Δt内设备的位移变化的第四约束关系。

在一些实施例中，图像处理设备130通过所述控制数据110来确定时间间隔Δt内所述设备的转动航向角，并且基于所述转动航向角来确定所述第三约束关系，即，确定设备在时间间隔Δt内的角度变化；然后，基于第三约束关系以及设备在所述时间间隔Δt内的相对位移值来确定所述第四约束关系，即，确定设备在时间间隔Δt内的位移变化。

仅作为示例，现参考图3来进一步地阐述确定第一约束关系的过程。在一些实施例中，车辆135的图像处理设备130自CAN总线读取的车辆135的方向盘数据/方向盘转角以及四轮轮速，其中方向盘转角可以通过θ来表示，四轮轮速可以通过u来表示。

在该示例实施例中，图像处理设备130计算第一约束关系可以通过以下过程来实现。

在一些实施例中，可以首先使用阿克曼车体动力学模型来将四轮轮速u换算为后轴中心点速度，其中后轴中心点速度用v来表示。应当理解，阿克曼车体动力学模型仅仅作为示例被示出，将四轮轮速u换算为后轴中心点速度的方式不限于此，其可以使用现有技术中的其他模式，或者自定义的其他算法等等。在获得四轮轮速u和之后，可以进一步计算时间间隔Δt内车辆135经过的弧长310，弧长310可以用L表示，其中弧长310L可以通过L＝Δt*v获得。

可以进一步地车辆135计算时间间隔Δt内的转弯半径320，转弯半径320可以用R表示，其中转弯半径320R可以通过R＝S*θ获得。S为车辆方向盘转角与车辆转弯半径之间的系数，其与特定车辆135相对应。

在该示例实施例中，基于上述计算的弧长和转弯半径，可以计算获得车辆135在时间间隔Δt内的转动航向角330，转动航向角330可以用

表示，其中转动航向角330

可以通过

来获得。

在计算得到转动航向角

之后，可以基于转动航向角

确定车体运动矩阵，车体运动矩阵表示时间间隔Δt内车辆135的角度变化，即，第三约束关系。车体运动矩阵可以用M表示，其可以通过三维旋转矩阵来表示。在一些实施例中，可以认为车辆在行驶过程中不发生高度的变化，此时车体运动矩阵M可以被表示为：

在一些实施例中，可以基于确定的车体运动矩阵M来确定平移矩阵，其表示时间间隔Δt内车辆135的位移变化，平移矩阵可以通过N来表示。在该特定实施例中，可以通过-M^TN＝c推导得到平移矩阵N，其中c为车辆135在时间间隔Δt内的相对位移。

本领域技术人员应当理解，上述计算第一约束条件的过程仅仅是示例性而非限定性的。在其他实施例中，例如在无人机或者工业机器人的应用场景中，可以获得转弯角度、飞行高度等其他控制参数，并基于上述参数进一步获得第一约束关系。本公开在此方面并不加以限定。

以此方式，图像处理设备130仅需要获得控制设备的转向数据(诸如，方向盘转角)以及控制设备的速度数据(诸如，四轮转速)，即可以确定设备(例如，车辆135)的在时间间隔Δt内的位姿变化。与传统的通过IMU获取的传感器数据来确定位姿变化的方式相比，本公开仅需有限参数(例如，两个参数)即可获得车辆135的位姿变化信息，计算量小，节约了计算资源。

以上讨论了设备确定第一约束关系的过程。现在返回图2进一步讨论本公开的图像处理过程。

在框230，图像处理设备130基于在框220处确定的第一约束关系来确定第二约束关系，其中，第二约束关系表示时间间隔Δt内的第一图像帧120-1与第二图像帧120-2中的像素变化。第二约束关系可以通过基础矩阵F来表示。

在一些实施例中，图像处理设备130首先确定本质矩阵，本质矩阵可以用E来表示，其表示第一图像帧120-1和第二图像帧120-2的的光心在时间间隔Δt内的变化。在一些实施例中，本质矩阵E可以通过E＝N^M来确定。附加地，考虑到捕获图像帧的摄影设备(诸如，相机或摄像头等)之间的设备差异，在确定第二约束关系时，还需要进一步考虑摄影设备的设备特性。在一些实施例中，表示第二约束关系的基础矩阵F可以通过F＝K^-TEK^-1来确定，其中K为相机矩阵，其捕获第一图像帧120-1和第二图像帧120-2的摄影设备相对应。

以此方式，本公开通过设备在时间间隔Δt内的位姿变化来获得两个图像帧间的像素的变化，从而辅助图像匹配过程。

在框240，图像处理设备130基于所述第二约束关系，执行第一图像帧120-1和第二图像帧120-2间的图像匹配。在一些实施例中，图像处理设备130首先针对第一图像帧120-1中的待匹配特征点，基于与第一图像帧相对应的光心位置以及第二约束关系来确定该待匹配特征点在第二图像帧120-2中的投影极线。然后，图像处理设备130在第二图像帧120-2中，在在以所确定的投影极线作为中心线的带状范围内，执行图像匹配。

在一些实施例中，可以通过计算极线方程的方式来确定投影极线。现结合图4来对图像匹配过程进行进一步的说明。

图4示出了根据本公开的多个实施例的图像捕获时序图400。如图4所示，第一图像帧120-1为在t0时刻所捕获的图像帧，第二图像帧120-2为在t1时刻所捕获的图像帧。图像帧120-1包括待匹配特征点410-1。进一步地，如图4所示，捕获图像帧120-1以及120-2时的所对应的光心的位置分别通过位置410-1和410-2被示出。特征点在的在三维中的位置通过位置420-3被示出，特征点在第一图像帧120-1的呈像平面中的位置以及在第二图像帧120-2的呈像平面中的位置通过位置420-1和420-2被示出。

针对第一图像帧中的特征点，其可以在第二图像帧120-2中唯一确定映射极线430来减小检索范围。映射极线430可以通过极线方程来获取，其中极线方程可以表示为I＝Fx。其表示第一图像帧120-1所对应的光心410-1与待匹配特征点在第一图像帧120-1所对应的成像平面内的位置420-1的连线在第二图像帧120-2的呈像平面内的映射。

在一些实施例中，如图4所示，以映射极线430为中心线的带状范围内执行特征点检索。其中带状范围可以通过阈值长度440来调节。

如图4所示，由于仅在缩小的检索范围检索特征点在第二图像帧中的位置420-2，图像匹配过程的效率得到提升。

以此方式，在执行图像匹配时，特征点的查找范围基于第二约束关系而被减小，使得无需在整个第二图像帧120-2中查找相应的特征点，图像匹配的执行性能得到了提升。

在一些实施例中，阈值半径r可以是用户预先配置，也可以是图像处理设备基于历史数据分析获得的，本公开在此方不受限制。此意方式，本公开可通过调整搜索范围(即，阈值半径r)的方式，提高对计算误差的容忍度。

基于以上描述能够看出，本公开的实施例提出了一种图像匹配方案。该方案通过读取设备的控制数据来实现设备位姿变化的确定。相较于传统的通过增加IMU的方式，本公开无需增加任何额外的成本，更加。此外，本公开仅需获取有限控制数据(诸如，转向数据和速度数据)即可实现设备位姿变化的确定，计算量小。相较于传统的通过增加IMU数据获得位姿变化信息的方式，有效地节约了计算资源，提升了图像匹配性能。进一步地，本公开的执行图像匹配的过程中，通过对于阈值半径430的调整，提高对计算误差的容忍度。

图5示出了根据本公开实施例的用于图像处理的装置500的示意性框图。装置500可以被包括在如图1所示的图像处理设备130中或者被实现为图像处理设备130。如图5所示，装置500包括控制数据获取模块510，被配置为针对捕获第一图像帧120-1和捕获第二图像帧120-2的时间间隔，获取设备的控制数据110，控制数据110用于控制设备的运动。装置500还可以包括第一约束关系确定模块520，被配置为通过控制数据110来确定第一约束关系，第一约束关系表示时间间隔内设备的位姿变化；装置500还可以包括第二约束关系确定模块530，被配置为基于第一约束关系来确定第二约束关系，第二约束关系表示时间间隔内的第一图像帧120-1与第二图像帧120-2中的像素变化。此外，装置500还可以包括图像匹配模块530，被配置为基于第二约束关系，执行第一图像帧120-1和第二图像帧120-2间的图像匹配。

在一些实施例中，控制数据110至少包括以下之一：控制设备的转向数据以及控制设备的速度数据。

在一些实施例中，设备为车辆。

在一些实施例中，控制数据获取510模块包括：控制器局域网络总线获取单元：被配置为从设备的控制器局域网络总线获取控制数据110。

在一些实施例中，第一约束关系包括：第三约束关系，第三约束关系表示时间间隔内设备的角度变化；以及第四约束关系，第四约束关系表示时间间隔内设备的位移变化。第一约束关系确定模块520包括：航向角确定单元，被配置为通过控制数据110来确定时间间隔内设备的转动航向角；第三约束关系确认单元，被配置为基于转动航向角来确定第三约束关系；以及第四约束关系确认单元，被配置为基于第三约束关系以及设备在时间间隔内的相对位移值来确定第四约束关系。

在一些实施例中，第二约束关系确定模块530包括：像素关系确定单元，被配置为基于第一约束关系以及相机矩阵来确定第二约束关系，相机矩阵与捕获第一图像帧和第二图像帧的摄影设备相对应。

在一些实施例中，图像匹配模块540包括：投影极线确定单元，被配置为针对第一图像帧120-1中的待匹配特征点，基于基于与所述第一图像帧相对应的光心位置以及所述第二约束关系来确定所述待匹配特征点在所述第二图像帧中的投影极线；以及特征点匹配单元，被配置为在所述第二图像帧中，在以所述投影极线作为中心线的带状范围内，执行所述图像匹配。

图6示出了可以用来实施本公开的实施例的示例设备600的示意性框图。设备600可以用于实现如图1所示的图像处理设备130。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元601执行上文所描述的各个方法和处理，例如过程400。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的过程400的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程400。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种图像处理方法，包括：

针对捕获第一图像帧和捕获第二图像帧的时间间隔，获取设备的控制数据，所述控制数据用于控制所述设备的运动；

通过所述控制数据来确定第一约束关系，所述第一约束关系表示所述时间间隔内所述设备的位姿变化；

基于所述第一约束关系来确定第二约束关系，所述第二约束关系表示所述时间间隔内的所述第一图像帧与所述第二图像帧中的像素变化；以及

基于所述第二约束关系，执行所述第一图像帧和所述第二图像帧间的图像匹配。

2.根据权利要求1所述的方法，其中所述控制数据至少包括以下之一：控制所述设备的转向数据以及控制所述设备的速度数据。

3.根据权利要求1所述的方法，其中所述设备为车辆。

4.根据权利要求1所述的方法，其中获取所述设备的所述控制数据包括：

从所述设备的控制器局域网络总线获取所述控制数据。

5.根据权利要求1所述的方法，

其中所述第一约束关系包括：

第三约束关系，所述第三约束关系表示所述时间间隔内所述设备的角度变化；以及

第四约束关系，所述第四约束关系表示所述时间间隔内所述设备的位移变化，

并且其中通过所述控制数据来确定所述第一约束关系包括：

通过所述控制数据来确定所述时间间隔内所述设备的转动航向角；

基于所述转动航向角来确定所述第三约束关系；以及

基于所述第三约束关系以及所述设备在所述时间间隔内的相对位移值来确定所述第四约束关系。

6.根据权利要求1所述的方法，其中基于所述第一约束关系来确定第二约束关系包括：

基于所述第一约束关系以及相机矩阵来确定所述第二约束关系，所述相机矩阵与捕获所述第一图像帧和所述第二图像帧的摄影设备相对应。

7.根据权利要求1所述的方法，其中基于所述第二约束关系，执行所述第一图像帧和所述第二图像帧间的所述图像匹配包括：

针对所述第一图像帧中的待匹配特征点，基于与所述第一图像帧相对应的光心位置以及所述第二约束关系来确定所述待匹配特征点在所述第二图像帧中的投影极线；以及

在所述第二图像帧中，在以所述投影极线作为中心线的带状范围内，执行所述图像匹配。

8.一种图像处理装置，包括：

控制数据获取模块，被配置为针对捕获第一图像帧和捕获第二图像帧的时间间隔，获取设备的控制数据，所述控制数据用于控制所述设备的运动；

第一约束关系确定模块，被配置为通过所述控制数据来确定第一约束关系，所述第一约束关系表示所述时间间隔内所述设备的位姿变化；

第二约束关系确定模块，被配置为基于所述第一约束关系来确定第二约束关系，所述第二约束关系表示所述时间间隔内的所述第一图像帧与所述第二图像帧中的像素变化；以及

图像匹配模块，被配置为基于所述第二约束关系，执行所述第一图像帧和所述第二图像帧间的图像匹配。

9.根据权利要求8所述的装置，其中所述控制数据至少包括以下之一：控制所述设备的转向数据以及控制所述设备的速度数据。

10.根据权利要求8所述的装置，其中所述设备为车辆。

11.根据权利要求8所述的装置，其中控制数据获取模块包括：

控制器局域网络总线获取单元：被配置为从所述设备的控制器局域网络总线获取所述控制数据。

12.根据权利要求8所述的装置，

其中所述第一约束关系包括：

并且其中所述第一约束关系确定模块包括：

航向角确定单元，被配置为通过所述控制数据来确定所述时间间隔内所述设备的转动航向角；

第三约束关系确认单元，被配置为基于所述转动航向角来确定所述第三约束关系；以及

第四约束关系确认单元，被配置为基于所述第三约束关系以及所述设备在所述时间间隔内的相对位移值来确定所述第四约束关系。

13.根据权利要求8所述的装置，其中所述第二约束关系确定模块包括：

像素关系确定单元，被配置为基于所述第一约束关系以及相机矩阵来确定所述第二约束关系，所述相机矩阵与捕获所述第一图像帧和所述第二图像帧的摄影设备相对应。

14.根据权利要求8所述的装置，其中所述图像匹配模块包括：

投影极线确定单元，被配置为针对所述第一图像帧中的待匹配特征点，基于与所述第一图像帧相对应的光心位置以及所述第二约束关系来确定所述待匹配特征点在所述第二图像帧中的投影极线；以及

特征点匹配单元，被配置为在所述第二图像帧中，在以所述投影极线作为中心线的带状范围内，执行所述图像匹配。

15.一种电子设备，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现根据权利要求1-7中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-7中任一项所述的方法。