CN112215748A - 图像处理方法和装置 - Google Patents

Abstract

本申请公开了图像处理方法和装置，涉及自动驾驶或辅助驾驶技术领域，有助于提高图像补偿效果。该方法应用于车载设备，该方法可以包括：获取多帧图像，该多帧图像包括该车载设备所在车辆的周边道路的图像信息；获取该多帧图像的每帧图像中的第一图像区域；其中，该多帧图像的多个第一图像区域对应于第一场景；对该多个第一图像区域进行超分运算。该方法可以用于辅助驾驶和自动驾驶中的目标探测和跟踪。

Description

图像处理方法和装置

技术领域

本申请涉及自动驾驶或辅助驾驶技术领域，尤其涉及图像处理方法和装置。

背景技术

图像超分辨率(image super resolution)技术在监控设备、卫星图像和自动驾驶技术领域都有重要的应用价值。图像超分辨率技术包括单帧超分技术和多帧超分技术。单帧超分是指由一帧低分辨率图像恢复出一帧高分辨率图像。多帧超分是指由多帧低分辨率图像恢复出一帧高分辨率图像。

在自动驾驶技术领域中，通常需要对道路上的对象进行检测，例如检测一个对象是人或交通灯等，以及该对象与车辆之间的距离等，以辅助自动驾驶路径规划。目前，通常对所拍摄的车辆周边道路的图像进行单帧超分，得到高分辨率图像，并基于该高分辨率图像对道路上的对象进行检测。由于单帧超分仅对一帧图像中的对象的边缘特征、锐化特征等进行补偿，而一帧图像中的特征信息较少，因此图像补偿效果较差。

发明内容

本申请实施例提供了图像处理方法和装置，有助于提高图像补偿效果。

第一方面，提供一种图像处理方法，应用于车载设备，该方法包括：首先，获取多帧图像，该多帧图像包括该车载设备所在车辆的周边道路的图像信息；然后，获取该多帧图像的每帧图像中的第一图像区域；其中，该多帧图像的多个第一图像区域(其中每帧图像包括一个第一图像区域)对应于第一场景；接着，对该多个第一图像区域进行超分运算。该超分运算具体为多帧超分，这样，可以结合多帧图像中的图像信息的特征信息进行图像补偿，与现有技术中使用单帧超分进行图像补偿的技术方案相比，有助于提高图像补偿效果。另外，由于本技术方案中，对该多帧图像中对应于同一场景的多个图像区域进行多帧超分，而非对该多帧图像本身进行超分运算，因此，有助于降低超分运算的复杂度，从而加快超分处理速率。进一步地，当本技术方案提供的图像处理方法的处理结果应用于辅助自动驾驶路径规划场景时，有助于提高自动驾驶路径规划的精确度。

作为示例，第一场景可以理解为该车辆周边的路况或者行驶视野中的一个或多个对象所在的空间区域。第一图像区域可以是一帧图像中的部分或全部区域。第一图像区域中可以包含或不包含目标对象的图像信息。目标对象可以是预定义的，当然本申请实施例不限于此。

在一种可能的设计中，该方法还包括：确定超分运算得到的图像区域中存在目标对象的图像信息。

在一种可能的设计中，该方法还包括：检测该车辆与该目标对象之间的相对位置。相对位置包括相对距离和相对角度，相对角度包括方位角和/或俯仰角。在一个示例中，该相对位置可以用于辅助自动驾驶路径规划。

在一种可能的设计中，对于该多帧图像的每帧图像：第一图像区域是置信度低于或等于第一阈值的区域；或者，第一图像区域对应于该车辆的可行驶区域中与该车辆之间的距离大于或等于第二阈值的空间区域；或者，第一图像区域是预设位置的区域。该可能的设计提供了几种第一图像区域所具有的特征，具体实现时，可以基于这些特征之一确定第一图像区域。

在一种可能的设计中，该多帧图像包括第一图像和第二图像；获取该多帧图像的每帧图像中的第一图像区域，包括：获取第二图像中的第一图像区域。获取第二图像中的第一图像区域，包括：根据第一图像中的第一图像区域(具体可以包括：第一图像中的第一图像区域在第一图像中的位置和大小)和该车辆的第一车体信息，获取第二图像中的第一图像区域(具体可以包括：获取第二图像中的第一图像区域在第二图像中的位置和大小)。也就是说，本申请实施例支持基于车体信息，由第一图像中的第一图像区域推理得到第一图像中的第一图像区域的技术方案，这有助于提高超分运算的精确度。

其中，车体信息(包括第一车体信息和下文中的第二车体信息)，可以是直接通过车辆中安装的传感器等设备检测得到的车辆的信息，也可以是对这些传感器等设备检测到的信息进行处理得到的该车辆的信息。

在一种可能的设计中，第一车体信息可以包括：第一相对距离、第二相对距离和第一车辆转向角度中的至少一种。第一相对距离是拍摄第一图像时该车辆与第一图像区域所对应的空间区域之间的相对距离。第二相对距离是拍摄第二图像时该车辆与第一图像区域所对应的空间区域之间的相对距离。第一车辆转向角度是在第一图像和第二图像的拍摄时间间隔内，该车辆的朝向之间的夹角。

在一种可能的设计中，第一图像是多帧超分中的参考图像，第二图像是多帧超分中的任意一帧非参考图像。

在一种可能的设计中，对该多个第一图像区域进行超分运算，包括：对景物对齐后的所该多个第一图像区域进行超分运算。这是在考虑到车辆在运行过程中，前景和背景均可能变化，而提出的技术方案。基于此，有助于提高超分运算的精确度。

在一种可能的设计中，多帧图像包括第三图像和第四图像；在对景物对齐后的该多个第一图像区域进行超分运算之前，该方法还包括：根据该车辆的第二车体信息，执行该多个第一图像区域的景物对齐。也就是说，本申请实施例支持基于车体信息实现景物对齐的技术方案，这有助于提高超分运算的精确度。

在一种可能的设计中，第二车体信息包括第一相对角度、第二相对角度和第二车辆转向角度中的至少一种。其中，第一相对角度是拍摄第三图像时该车辆与第一图像区域所对应的空间区域之间的相对角度。第二相对角度是拍摄第四图像时该车辆与第一图像区域所对应的空间区域之间的相对角度。第二车辆转向角度是在第三图像和第四图像的拍摄时间间隔内，该车辆的朝向之间的夹角。

其中，第三图像与第一图像或第二图像可以相同或不同，第四图像与第一图像或第二图像可以相同或不同，且第三图像和第四图像不同。

在一种可能的设计中，该多帧图像是时序上连续的多帧图像。这样，方便处理。

在一种可能的设计中，该多帧图像中的首帧图像的拍摄时刻与末帧图像的拍摄时刻之间的时间间隔小于或等于第三阈值。这样，有助于提高超分运算精确度。

在一种可能的设计中，该方法还包括：获取该多帧图像的每帧图像中的第二图像区域；其中，该多帧图像的多个第二图像区域对应于第二场景；然后，对该多个第二图像区域进行超分运算。也就是说，本申请支持一帧图像中包括多个待检测图像区域的方案。第一图像区域与第二图像区域之间可以有交叠或无交叠。第一场景与第二场景不同。

第二方面，提供了一种图像处理装置，该装置可用于执行上述第一方面或第一方面的任一种可能的设计提供的任一种方法。示例的，该装置可以是车载设备或芯片等。

在一种可能的设计中，可以根据上述第一方面或第一方面的任一种可能的设计提供的方法对该装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。

在一种可能的设计中，该装置可以包括存储器和处理器。存储器用于存储计算机程序。处理器用于调用该计算机程序，以执行第一方面或第一方面的任一种可能的设计提供的方法。

第三方面，提供了一种计算机可读存储介质，如计算机非瞬态的可读存储介质。其上储存有计算机程序(或指令)，当该计算机程序(或指令)在计算机上运行时，使得该计算机执行上述第一方面或第一方面的任一种可能的设计提供的任一种方法。

第四方面，提供了一种计算机程序产品，当其在计算机上运行时，使得第一方面或第一方面的任一种可能的设计提供的任一种方法被执行。

可以理解的是，上述提供的任一种图像处理装置、计算机存储介质、计算机程序产品或系统等均可以应用于上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。

附图说明

图1为可适用于本申请实施例的一种计算机系统的结构示意图；

图2为可适用于本申请实施例的一种目标检测的结果示意图；

图3为可适用于本申请实施例的一种图像分割的示意图；

图4为本申请实施例提供的一种图像处理方法的流程示意图；

图5为本申请实施例提供的另一种图像处理方法的流程示意图；

图6为本申请实施例提供的一种车体信息在车体坐标系中的示意图；

图7为本申请实施例提供的一种基于ROI1获得ROI2的示意图；

图8为本申请实施例提供的一种ROI1和ROI2的场景示意图；

图9为本申请实施例提供的一种车辆右转弯时视角变换的示意图；

图10为本申请实施例提供的一种获取景物对齐角度的示意图；

图11为本申请实施例提供的一种将ROI2映射到ROI1所在的平面的示意图；

图12为本申请实施例提供的另一种图像处理方法的流程示意图；

图13为本申请实施例提供的一种可行驶区域的示意图；

图14为本申请实施例提供的一种第一图像区域的示意图；

图15为本申请实施例提供的另一种图像处理方法的流程示意图；

图16为本申请实施例提供的另一种第一图像区域的示意图；

图17为本申请实施例提供的一种车载设备的结构示意图。

具体实施方式

如图1所示，为可适用于本申请实施例的一种计算机系统的结构示意图。其中，该计算机系统可以位于车辆上，该计算机系统可以包括车载设备101，以及与车载设备直接或间接连接的设备/器件/网络等。参见图1，车载设备101包括处理器103，处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器，其中每个处理器都可以包括一个或多个处理器核。显示适配器(video adapter)107，显示适配器可以驱动显示器109，显示器109和系统总线105耦合。系统总线105通过总线桥111和输入输出(input/output，I/O)总线113耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信，比如输入设备117(如键盘、鼠标、触摸屏等)，多媒体盘(media tray)121(如只读光盘(compact disc read-only memory，CD-ROM)、多媒体接口等)。收发器123(可以发送和/或接受无线电通信信号)，摄像头155(可以捕捉景田和动态数字视频图像)和外部通用串行总线(universal serialbus，USB)接口125。其中，可选地，和I/O接口115相连接的接口可以是USB接口。

其中，处理器103可以是任何传统处理器，包括精简指令集计算(reducedinstruction set computer，RISC)处理器、复杂指令集计算(complex instruction setcomputer，CISC)处理器或上述的组合。可选地，处理器可以是诸如专用集成电路(application specific integrated circuit，ASIC)的专用装置。可选地，处理器103可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。例如，处理器103可以是中央处理器(central processing unit，CPU)。

摄像头155可以是任何用于采集图像的摄像头，例如，可以是单目摄像头或双目摄像头等。摄像头的数量可以有一个或多个，每个摄像头可以位于车辆的前方、后方或侧方等。为了方便描述，下文中的具体示例中均是以摄像头位于车辆内的正前方为例进行说明的。在本申请实施例中，摄像头155可以用于采集该车辆的周边环境(包括周边道路等)的信息。在一个示例中，摄像头155中可以包含一个软件模块，该软件模块可以用于记录摄像头所拍摄的图像的拍摄时间。或者，用于记录拍摄时间的模块也可以是一个与摄像头155连接的硬件。在一个示例中，摄像头155相对于车辆的位置可以是固定不变的。在另一个示例中，摄像头155相对于车辆的位置可以是变化的，例如摄像头155可以进行旋转拍摄。

可选地，在本文所述的各种实施例中，车载设备101可位于远离自动驾驶车辆的地方，并且可与自动驾驶车辆无线通信。在其它方面，本文所述的一些过程在设置在自动驾驶车辆内的处理器上执行，其它由远程处理器执行，包括采取执行单个操纵所需的动作。

车载设备101可以通过网络接口129和软件部署服务器(deploying server)149通信。网络接口129是硬件网络接口，比如，网卡。网络127可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(virtual private network，VPN)。可选地，网络127还可以是无线网络，比如WiFi网络，蜂窝网络等。

硬盘驱动接口和系统总线105耦合。硬件驱动接口和硬盘驱动器相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括车载设备101的操作系统137和应用程序143。

操作系统包括shell 139和内核(kernel)141。shell 139是介于使用者和操作系统之内核间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互,等待使用者的输入，向操作系统解释使用者的输入，并且处理各种各样的操作系统的输出结果。

内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、IO管理等等。

应用程序143包括控制车辆自动驾驶相关的程序。例如，对车载设备所获取到包含车辆道路上的图像信息的图像进行处理程序，如用于实现本申请实施例所提供的图像处理方法的程序。又如，管理自动驾驶车辆和路上障碍物交互的程序，控制自动驾驶车辆路线或者速度的程序，控制自动驾驶车辆和路上其他自动驾驶车辆交互的程等。应用程序143也存在于软件部署服务器149的系统上。在一个实施例中，在需要执行应用程序143时，车载设备101可以从软件部署服务器149下载应用程序143。

传感器153和车载设备101关联。传感器153用于探测车载设备101周围的环境。举例来说，传感器153可以探测动物、车辆、障碍物和人行横道等，进一步传感器还可以探测上述动物、车辆、障碍物和人行横道等物体周围的环境，比如：动物周围的环境，例如，动物周围出现的其他动物，天气条件，周围环境的光亮度等。可选地，如果车载设备101位于自动驾驶的车辆上，传感器可以是摄像头，红外线感应器，化学检测器，麦克风等。可选地，传感器153可以包括速度传感器，用于测量本车辆(即图1所示的计算机系统所在的车辆)的速度信息(如速度、加速度等)；角度传感器，用于测量车辆的方向信息，以及车辆与车辆周边的物体/对象之间的相对角度等。

需要说明的是，图1所示的计算机系统仅为示例，其不对本申请实施例可适用的计算机系统构成限定。例如，图1中所示意的与车载设备所连接的一个或多个器件可以与车载设备集成在一起，例如摄像头与车载设备集成在一起等。

以下对本申请实施例中所涉及的部分术语或技术进行解释说明：

1)、多帧超分、参考图像、非参考图像

多帧超分是利用多帧图像中的非参考图像的图像信息，对该多帧图像中的参考图像的图像信息进行处理，如对边缘特征、锐化特征等进行补偿，得到一帧图像，该图像的分辨率高于参考图像的分辨率。其中，参考图像可以是该多帧图像中的任意一帧图像。非参考图像是该多帧图像中的除参考图像之外的所有图像。

2)、对象、目标对象

对象，也可以称作道路对象或者障碍物或者道路障碍物等。在本申请实施例中，对象可以是车辆周边道路上的人、车辆、交通灯、交通指示牌(如限速指示牌等)、电线杆、垃圾桶、异物等。其中，异物是指本不应该出现在道路上的物体，如遗落在道路上的箱子、轮胎等。

目标对象，是车载设备需要识别的对象。目标对象可以是预定义的，或者可以是用户指示的，本申请实施例对此不进行限定。示例的，在自动驾驶场景中，目标对象可以包括：人、车、交通灯等。

3)、目标检测、图像分割

目标检测和图像分割均是图像处理技术。

目标检测的任务是找出图像中所有感兴趣的目标的图像信息所在的区域，并确定该区域的大小和该区域在该图像中的位置。感兴趣的目标可以是预定义的，也可以是用户确定的。在本申请实施例中，在本申请实施例中，感兴趣的目标可以是指目标对象。目标检测所得到的不同区域(即不同目标的图像信息所在的区域)之间可能有交叠，也可能没有交叠。如图2所示，为一种目标检测的结果示意图。图2中是以感兴趣的目标是车辆为例进行说明的。图2中的每个矩形框所限定的区域为一个感兴趣的目标的图像信息所在的区域。

图像分割，是根据图像内容对图像中的指定区域进行标记的计算机视觉任务。简言之，就是确定一帧图像中有哪些物体的图像信息，以及该物体的图像信息在该图像中的位置等。具体而言，图像分割的目的是确定图像中的每一个像素所表示的是哪个物体的像素。图像分割可以包括：语义分割、实例分割等。图像分割所得到的图像区域之间通常没有交叠。如图3所示，为一种图像分割的示意图。图3中的每个连通区域表示图像分割所得到的一个区域。

4)、图像区域、空间区域

为了清楚地区分实际场景中的区域(即客观存在的区域)与实际场景中的区域的图像(即图像或图片中的区域)，在本申请中，将实际场景中的区域称为“空间区域”，并将空间区域的图像称为“图像区域”。

5)、待检测图像区域、第一图像区域、第二图像区域

待检测图像区域，是指图像中包含目标对象的图像信息的概率较高(如该概率大于预设阈值)的区域。此为本申请实施例给出的待检测图像区域的定义，但是，在实际实现时，确定图像中的待检测图像区域时，通常不需要直接确定一个图像区域中包含目标对象的图像信息的概率，以及不需要在车载设备中设置该预设阈值，而是通过其他方法间接确定一个区域中包含目标对象的图像信息的概率是否高于预设阈值。例如，当车载设备所获取的图像包含具有如下任一种特征的图像区域时，确定该图像区域是待检测图像区域：

特征1：置信度低于或等于第一阈值。

特征2：对应于车辆可行驶区域中与该车辆之间的距离大于或等于第二阈值的空间区域。

特征3：在其所属图像中的位置是预设位置。

也就是说，待检测图像区域是置信度低于或等于第一阈值的区域，或者，是对应于该车辆的可行驶区域中与该车辆之间的距离大于或等于第二阈值的空间区域的图像区域，或者，是图像中预设位置的区域。当然，在不冲突的情况下，上述特征1～3中的任意多个可以组合，作为待检测图像区域的特征。关于这3种特征的相关说明，以及具体示例可以参考下文。

待检测图像区域可以包含一个或多个对象的图像信息。待检测图像区域可能包含一个或多个目标对象的图像信息，也可能不包含目标对象的图像信息。待检测图像区域可以是一帧图像中的部分或全部区域。

一帧图像可以包含一个或多个待检测图像区域。本申请实施例中所描述的第一图像区域和第二图像区域均为待检测图像区域。

6)、其他术语

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例中，“至少一个”是指一个或多个。“多个”是指两个或两个以上。

在本申请实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

以下，结合附图对本申请实施例提供的图像处理方法进行说明。该方法可以应用于上文中所描述的车载设备101中。

如图4所示，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可以包括：

S101：车载设备获取N帧图像，该N帧图像包括该车载设备所在车辆的周边道路的图像信息。N是大于等于2的整数。

该N帧图像可以是该车辆中安装的摄像头(如上述摄像头155)所拍摄的图像。车辆的周边道路可以包括：车辆的前方道路、后方道路和侧方道路等中的一种或多种。

该N帧图像中的任意一帧图像可以是该车辆处于静止状态时所拍摄的图像，或者可以是该车辆处于运动状态(如直行、变道或转弯等)时所拍摄的图像。

可选地，该N帧图像是时序上连续的N帧图像。换句话说，该N帧图像是该车辆中安装的摄像头连续拍摄的N帧图像。

基于该可选地实现方式，在多次执行图4所示的方法时，车载设备可以基于滑动窗口N，在摄像头所拍摄的图像中确定S101中的“N帧图像”。本申请实施例对N的取值不进行限定。在任意两次执行图4所示的方法时，N的取值可以相同，也可以不同。相邻两次执行图4所示的方法时，S101中的N帧图像之间可以有重叠，也可以没有重叠。例如，假设按照拍摄时间的先后顺序对摄像头所拍摄的图像进行排序后得到如下序列：图像1、图像2、图像3……图像n。n是整数，n的取值随着摄像头的拍摄次数的增加而增加；并且，N＝3，那么，第一次执行图4所示的方法时，S101中的N帧图像可以是图像1～3，第二次执行图4所示的方法时，S101中的N帧图像可以是图像2～4，第三次执行图4所示的方法时，S101中的N帧图像可以是图像3～6，依此类推，从而执行本申请实施例提供的图像处理方法。

S102：车载设备获取该N帧图像中N1帧图像的每帧图像中的第一图像区域。该N1帧图像的N1个第一图像区域对应于第一场景。其中，2≤N1≤N，N1是整数。不同第一图像区域是不同图像中的图像区域。

第一图像区域，是一个待检测图像区域。关于待检测图像区域的相关解释可以参考上文。

第一场景，为该车辆周边的部分路况或者部分行驶视野。第一场景可以理解为该车辆周边的路况或者行驶视野中的一个或多个对象所在的空间区域。一个对象所在的空间区域，是指包含该对象的区域。例如，假设该N1帧图像中均包含同一个交通灯的图像信息，则第一场景可以为该交通灯所在的空间区域，第一图像区域可以为该N1帧图像的每帧图像中该交通灯的图像所在的图像区域。又如，假设该N1帧图像中均包含同一车辆的图像信息，则第一场景可以为该车辆所在的空间区域，第一图像区域可以为该N1帧图像的每帧图像中该车辆的图像所在的图像区域。

可以理解的是，随着车辆的移动，或者随着车辆周边道路上可移动的对象(如人或车辆等)的移动，会导致该车辆上安装的摄像头所拍摄的不同图像所包含的信息不同，这就可能导致，在S101中所获取的N帧图像中，并非每帧图像中均包含同一场景所对应的图像区域，当然也可能存在每帧图像中均包含同一场景所对应的图像区域，因此，在S102中，将车载设备所获取到的是第一图像区域的个数标记为N1，而非N。

在一种实现方式中，对于该N1帧图像中的每帧图像来说，车载设备可以独立确定该图像中的第一图像区域。例如，根据上述特征1～3中的至少一种确定该图像中的第一图像区域。

在另一种实现方式中，对于该N帧图像中的部分图像来说，车载设备可以先确定该图像中的第一图像区域，例如，根据上述特征1～3中的至少一种确定该部分图像中的第一图像区域；再基于此推理得到该N帧图像中的其他图像中的第一图像区域。具体示例可以参考下文。

可选地，该N帧图像中相邻两帧图像的拍摄时间间隔小于或等于第三阈值。其中，两帧图像的拍摄时间间隔，是指拍摄这两帧的时刻之间的时间段。本申请实施例对第三阈值的具体取值及取值方式不进行限定。这样，当车速较快时，有助于提高多帧超分的图像补偿效果。

可以理解的是，当车速较快时，如果相邻两帧图像的拍摄时间间隔较大，则该两帧图像中可能不存在对应于同一场景的图像区域，例如，如果车速较快，则可能出现一帧图像中包括：交通灯1的图像信息和车辆1～3的图像信息，且不包括其他对象的图像信息；而该图像的下一帧图像中包括：交通灯2的图像信息和车辆4～5的图像信息，且不包括其他对象的图像信息；那么，这两帧图像中没有对应同一场景的图像区域。这可能导致不能利用其它帧图像中的图像信息，对该场景所对应的图像区域中的图像信息进行补偿，从而导致多帧超分的图像补偿效果较差。因此，该可选地实现方式，有助于提高多帧超分的图像补偿效果。

可选地，该N帧图像中的首帧图像与末帧图像的拍摄时间间隔小于或等于一阈值。这样，当车速较快时，有助于提高多帧超分的图像补偿效果。其具体分析过程可以参考上文。

S103：车载设备执行该N1个第一图像区域的景物对齐。

当车辆处于静止状态时，该车辆上安装的摄像头所拍摄的不同图像的背景不变，前景可能改变。因此，当车辆处于静止状态时，对N1帧图像中的第一图像区域进行对齐的步骤(即S103)可以是可选地步骤。当车辆处于运动状态时，该车辆上安装的摄像头所拍摄的不同图像的背景和前景均可能改变。该情况下，可以在执行S104的超分运算之前，进行景物对齐。

景物对齐，是保证多帧图像中对应于同一场景的图像区域内包含统一或近似的前景和背景。例如，可以将该多帧图像中的对应于同一场景的图像区域缩放到统一尺寸，并通过角度等参数将该多帧图像中的部分或全部景象进行旋转，从而保证该多帧中对应于该场景的图像区域内包含统一或近似的前景和背景。

S104：车载设备对景物对齐后的该N1个第一图像区域进行超分运算，得到第一目标图像区域。该超分运算也可称作多帧超分运算。

具体的，车载设备根据景物对齐后的非参考图像中的第一图像区域，对景物对齐后的参考图像中的第一图像区域进行处理(如补偿边缘特征、锐化特征等)，得到第一目标图像区域。其中，第一目标图像区域的分辨率高于参考图像中的第一图像区域的分辨率。具体的处理过程可以参考现有技术。

本申请实施例对第一目标图像区域的应用场景不进行限定，例如可以应用于目标对象检测场景中。当应用于目标对象检测场景中时，上述方法还可以包括以下步骤S105：

S105：车载设备确定第一目标图像区域中是否存在目标对象。若存在，则确定目标对象与该车辆的相对位置。若不存在，则结束。

步骤S105的具体实现方式可以参考现有技术。例如，车载设备对第一目标图像区域进行目标检测或图像分割等，以确定第一目标图像区域中是否包含目标对象，并在存在的情况下，确定目标对象与该车辆的相对位置。

本申请实施例提供的图像处理方法中，超分运算具体是多帧超分，这样可以结合多帧图像中的图像信息的特征信息进行图像补偿，与现有技术中使用单帧超分进行图像补偿的技术方案相比，有助于提高图像补偿效果。另外，由于本技术方案中，对该多帧图像中对应于同一场景的多个图像区域进行多帧超分，而非对该多帧图像本身进行超分运算，因此，有助于降低超分运算的复杂度，从而加快超分处理速率。进一步地，当本申请实施例提供的图像处理方法的处理结果应用于辅助自动驾驶路径规划时，有助于提高自动驾驶路径规划的精确度。

可选地，在执行S101之后，该方法还可以包括：车载设备获取该N帧图像中N2帧图像的每帧图像中的第二图像区域。该N2帧图像的N2个第二图像区域对应于第二场景。2≤N2≤N，N2是整数。不同第二图像区域是不同图像中的图像区域。基于此，该方法还包括：步骤S102'～S105'。S102'～S105'是将S102～S105中的“第一图像区域”替换为“第二图像区域”，“N1”替换为“N2”，以及“第一目标图像区域”替换为“第二目标图像区域”后得到的。

其中，第二图像区域是区别于第一图像区域的待检测图像区域。第一图像区域与第二图像区域之间可能部分重叠，也可能不重叠。

其中，本申请实施例对N1与N2之间的大小关系不进行限定。并且，该N1帧图像和该N2帧图像可以包含相同的图像，也可以不包含相同的图像。

可选地，该N1帧图像和该N2帧图像中均包含参考图像(即超分运算时所采用的参考图像)。例如，假设该N帧图像为第1～10帧图像，且第1～5帧图像中均包含交通灯1的图像信息，第1～7帧图像中均包含车辆1的图像信息，第1帧图像是参考图像；那么，该N1帧图像可以是第1～5帧图像，第一图像区域可以是交通灯1的图像信息所在的区域，该N2帧图像可以是第1～7帧图像，第二图像区域可以是车辆1的图像信息所在的区域。

以下，通过具体示例对上文中提供的图像处理方法进行说明：

实施例1

如图5所示，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可以包括：

S201：可以参考上述S101，当然本申请实施例不限于此。

S202：车载设备根据候选类型集合，对该N帧图像中的第一图像进行预处理(如图像分割或目标检测等)，得到第一图像包括的至少一个候选图像区域、每个候选图像区域的识别结果以及每个识别结果的置信度。第一图像可以是该N帧图像中的任意一帧图像。可选的，第一图像是参考图像，该参考图像是指多帧超分中的参考图像。

候选类型集合，是至少一个候选类型构成的集合。候选类型是车载设备需要识别的目标对象的类型(即车载设备感兴趣的对象的类型)。对象的类型可以理解为该对象是什么。例如，如果一个对象是人，则该对象的类型是人；如果一个对象是交通灯，则该对象的类型是交通灯。示例的，在自动驾驶场景中，该候选类型集合可以包括：人、车、交通灯等。

候选图像区域，是包含具有候选类型的对象的图像信息的区域。示例的，如果候选类型集合是人、车和交通灯构成的集合，则候选图像区域包括：人的图像信息所在的图像区域、车的图像信息所在的图像区域和交通灯的图像信息所在的图像区域。例如，当“预处理”是目标检测时，以第一图像是图2所示的图像为例，图2中的矩形框所限定的区域可以作为一个候选图像区域。又如，当“预处理”是图像分割时，以第一图像是图3所示的图像为例，图3中所示的每个连通区域可以作为一个候选图像区域。S202中所描述的至少一个候选图像区域所占的区域可以是第一图像中的部分或全部区域。

候选图像区域的识别结果，可以包括：该候选图像区域中的图像信息是哪一种目标对象的图像信息。可选地，还可以包括该目标对象与该车辆之间的相对位置。

一个候选图像区域的识别结果的置信度，可以被称作该候选图像区域的置信度，可以理解为该候选图像区域的识别结果的准确度。

可以理解的是，对于同一对象来说，如果该对象距离车辆较近，则该车辆中的摄像头所拍摄的图像中该对象所占的图像区域较大，且较清晰；如果该对象距离该车辆较远，则该摄像头所拍摄的图像中该对象所占的图像区域较小，且较模糊。因此，在同一图像中，第一候选图像区域(即包含与车辆之间的距离较近的对象的图像信息的候选图像区域)的识别结果的置信度，一般高于，第二候选图像区域(即包含与车辆之间的距离较远的对象的图像信息的候选图像区域)的识别结果的置信度。例如，一个候选图像区域的识别结果为：该候选图像区域中包括的对象的图像信息是人的图像信息时，如果该对象距离车辆较近，则该对象实际是“人”的概率会较高，即识别结果的置信度较高；如果该对象距离车辆较远，则该对象实际是“人”的概率会较低，即识别结果的置信度较低，例如该对象实际可能是一个电线杆等。

S203：车载设备获取第一图像中的至少一个待检测区域。其中，待检测区域是置信度小于或等于第一阈值的候选图像区域。该至少一个待检测区域包括第一图像区域。

其中，获取第一图像中的第一图像区域，可以包括：获取第一图像区域在第一图像中的位置和第一图像区域的大小。

以下步骤中以该至少一个待检测区域包括第一图像区域为例进行说明。可选地，该至少一个待检测区域还可以包括第二图像区域等。

需要说明的是，对于置信度高于第一阈值的候选图像区域来说，车载设备在S202中所获取到的该候选图像区域的识别结果的准确度较高。因此，在后续步骤中，可以车载设备可以不再对这些候选图像区域中所包括的图像信息进行重复检测(或识别)，也就是说，在后续步骤中，仅对置信度低于或等于第一阈值的候选图像区域所包括的图像信息进行检测(或识别)，有助于降低检测复杂度，从而提高检测效率。

S204：车载设备获取该车辆的速度v、第一图像与第二图像的拍摄时间间隔T、拍摄第一图像时车辆与第一图像区域所对应的空间区域之间的相对角度θ1、拍摄第二图像时车辆与第一图像区域所对应的空间区域之间的相对角度θ2、以及在时间间隔T内车辆的朝向之间的相对角度(即车辆转向角度)α。

车辆的速度可以是变化的，也可以是不变的。

v、T、θ1、θ2和α均可以通过车辆中的相应传感器测量得到，或者用于获得这些参数中的部分或全部参数的原始信息均可以通过车辆中的相应传感器测量得到。例如，对于参数T来说，原始信息可以是第一图像的拍摄时刻t1和第二图像的拍摄时刻t2，其中，T＝t2-t1。又如，对于参数α来说，原始信息可以是t1时刻车辆的朝向和t2时刻车辆的朝向。这些传感器中的部分或全部可以与车载设备集成在一起，也可以是独立设置的。

S205：车载设备根据v、T、θ1和θ2，确定拍摄第一图像时车辆与第一图像区域所对应的空间区域之间的相对距离R1，以及拍摄第二图像时车辆与第一图像区域所对应的空间区域之间的相对距离R2。

如图6所示，假设：t1时刻，车体坐标系为X1轴和Y1轴构成X1-Y1坐标系，车辆所在的位置为X1-Y1坐标系的原点，且Y1轴为车辆行驶正前方向，X1轴为车辆切向右方向，摄像头拍摄的图像为第一图像；在t2时刻，车体坐标系为X2轴和Y2轴构成X2-Y2坐标系，车辆所在的位置为X2-Y2坐标系的原点，且Y2轴为车辆行驶正前方向，X2轴为车辆切向右方向，摄像头拍摄的图像为第二图像。那么：θ1为第一图像中的第一图像区域与Y1轴之间的夹角，θ2为第二图像中的第二图像区域与Y2轴之间的夹角。α、R1和R2在相应车体坐标系中的位置可以如图6所示。图6中的点划线区域为假设的车辆前视摄像头成像区域，其中，成像区域1为t1时刻的成像区域(即第一图像)，成像区域2为t2时刻的成像区域(即第二图像)。当然在实际场景中，由于摄像头有视角等参数，因此，成像区域不会像图6中这样横平竖直。在本例中为了方便解释，假定摄像头的成像区域为车辆前方的一片矩形区域。

需要说明的是，图6中是基于车体坐标系确定R1和R2的，实际实现时，还可以基于其他坐标系(如世界坐标系、相机坐标系等)来确定R1和R2，本申请实施例对此不进行限定。

S206：车载设备根据第一图像中的第一图像区域、R1、R2和α，确定第二图像中的第一图像区域。

第一图像和第二图像可以是S201中所描述的N帧图像中的任意两帧图像。在一种实现方式中，第一图像是该N帧图像中的参考图像(如第一帧图像)，第二图像是该N帧图像中的任意一帧非参考图像。也就是说，本申请实施例支持“根据参考图像中的第一图像区域，确定其他任意一帧非参考图像中的第一图像区域”的技术方案。在另一种实现方式中，第一图像和第二图像是时序上相邻的图像。也就是说，本申请实施例支持“根据一帧图像的前一帧图像中的第一图像区域，确定该帧图像中的第一图像区域”的技术方案。

在图6中，ROI1为第一图像中的第一图像区域。当前示例中为一个矩形，其中心点已标粗处理。ROI2为第二图像中的第一图像区域，S206具体为：根据ROI1在第一图像中的位置和大小、R1、R2和α，确定ROI2在第二图像中的位置和大小。下面说明ROI2在第二图像中的位置和大小是如何确定的。

由于α是t1时刻至t2时刻这段时间内的车辆转向角度，因此，可以确定ROI2相对于ROI1的旋转角度也是α。假设ROI1和ROI2的中心点在t1、t2时刻没有发生变化，也就是说，在世界坐标系下，ROI1中心点和ROI2中心点的坐标相同。因此，可以将ROI1的中心点坐标从X1-Y1坐标系转换到世界坐标系下，再转换到X2-Y2坐标系下，从而可以得到ROI2中心点在X2-Y2坐标系下的坐标。至此，可以得到ROI2在第二图像中的位置。

将ROI1旋转α之后，得到ROI1’，如图7所示。由于在本示例中，相比t1时刻，当车辆行驶到t2时刻时，距离第一图像区域所对应的空间区域更近了，因此，根据成像原理，理论上t2时刻要用更大的框才能框住和t1时刻同样信息量的区域。基于此，在ROI1’的基础上，可以根据R1和R2的比值(可选地，还可以根据一定的权重)，将ROI1’的长进行缩放(本示例中是放大)，得到ROI2的长；同理可得ROI2的宽。至此，可以得到ROI2的大小。

这里以一个示例，对t2时刻要用更大的框才能框住和t1时刻同样信息量的区域进行说明：假设第一图像为图8中的(a)图所示，第一图像中的第一图像区域为(a)图中矩形框所示的区域；第二图像为图8中的(b)图所示，第二图像中的第一图像区域为(b)图中矩形框所示的区域。基于此，可知，相比在t1时刻，第一图像区域所对应的车辆在t2时刻与本实施例的执行主体所在的车辆的距离较近，因此，第二图像中的第一图像区域的大小必须大于第一图像中的第一图像区域(如(b)图中的矩形框所示的区域)的大小，才可以使得第二图像中的第一图像区域包含该骑着摩托车的人的全部图像信息。

上述S204～S206是以根据第一图像中的第一图像区域，推理得到第二图像中的第一图像区域为例进行说明的。据此，针对不同的第二图像，执行一次或多次执行S204～S206，可以获得N帧图像中的部分或全部图像中所包括的第一图像区域。

需要说明的是，上述参数v、T、θ1、θ2、α、R1和R2统称为车体信息。其中，车体信息可以是直接通过车辆中安装的传感器等设备检测得到的该车辆的信息(如上述v、T、θ1、θ2和α等)，也可以是对这些传感器等设备检测到的信息进行处理得到的该车辆的信息(如R1和R2等)。上述S204～S206仅为本申请实施例提供的“一种基于车体信息推理得到第二图像中的第一图像区域”的示例，其不对可适用本申请实施例的“基于车体信息推理得到第二图像中的第一图像区域”的具体实现方式构成限定。具体实现时，可以基于比上述所列举的车体信息更多或更少的车体信息，来实现“推理得到第二图像中的第一图像区域”。

S207：车载设备执行该N1个第一图像区域的景物对齐。

当车辆处于运动状态时，由于车辆运动状态不定，因此，对齐过程涉及比较多的场景，不同场景可以使用不同的方案进行景物对齐，这里根据车辆运动轨迹举两个示例。以下两个示例均以摄像头是前视摄像头且安装在车辆内部的正前方为例，对两帧图像中的第一图像区域对齐过程进行说明。

示例1：车辆笔直向前方运动场景。

在车辆笔直向前运动的过程中，前视摄像头采集不同时刻的第一图像和第二图像，第一图像和第二图像包括的第一图像区域分别为ROI1和ROI2。若ROI1和ROI2的中心点恰好处于车辆正前方，则由于在获取第一图像区域时，已经确保了ROI2包含了和ROI1相同的景物(包括前景和背景)的信息，因此景物对齐，具体可以是将ROI1缩放(本例中是放大)到ROI2的大小即可。

示例2：车辆向右前方转弯的场景。

在车辆向右前方转弯的过程中，前视摄像头采集不同时刻(即t1、t2时刻)的第一图像和第二图像，第一图像和第二图像包括的第一图像区域分别为ROI1和ROI2。车辆转弯会导致ROI1和ROI2除了拥有由于车辆位移带来的比例关系外，还拥有车辆方向偏移所带来的视角变换。若ROI1在车辆右前方，则车辆向右转弯(即X2-Y2坐标系的原点在X1-Y1坐标系的右上方)时，视角必然会更多的包含ROI左侧的信息，如图9所示。其中，图9中是以第一图像区域所包括的对象的图像信息是一个矩形为例进行说明的。在t1时刻，车体坐标系是X1-Y1坐标系。在t2时刻，车体坐标系是X2-Y2坐标系。

根据图9，可以很明显的看到，摄像头在t1时刻位置采集的第一图像中，该对象的正面信息更多，摄像头在t2时刻位置采集第二图像中，该对象的左侧信息更多。其中，摄像头所在的位置是坐标系的原点。这样，会使得第一图像、第二图像中的第一图像区域中的景物包含的信息量不同，从而除了ROI1、ROI2大小要对齐，其视野中的景物方向也要做一次对齐，也就是说，需要获取第一图像中的第一图像区域与第二图像中的第一图像区域之间的景物对齐角度。示例的，景物对齐角度可以为图10中β。图10是基于图6进行绘制的。如图10所示，可知，β＝180°-γ-θ1获取；而γ＝180°-α-θ2。其中，γ是为了方便计算而引入的一个中间量。由此可知，基于α、θ1和θ2可以得到景物对齐角度β。

在景物方向对齐之后，需要按像素进行景物对齐。在一个示例中，基于如图10中的示例，可以按照景物对齐角度β将ROI2中的景物进行映射。图11为将ROI2以β为角度，以像素点为单位向ROI1所在的平面进行映射，得到ROI2’，图11中ROI2’所在的平面即为ROI1所在的平面。然后，将ROI1对照ROI2’进行缩放(本例是放大)，以使得ROI1与ROI2’的大小相同。至此，完成了景物对齐。

需要说明的是，为了便于描述，S207中的示例中是以第一图像和第二图像中的第一图像区域对齐为例进行说明的。这里的第一图像和第二图像仅仅是为了区分N1图像中的任意两帧图像。在实际实现时，对齐过程中的第一图像和第二图像，与上述确定第一图像区域的过程中的第一图像和第二图像可以对应相同，也可以不同。

需要说明的是，上述示例2仅为本申请实施例提供的“一种基于车体信息实现景物对齐”的示例，其不对可适用本申请实施例的“基于车体信息实现景物对齐”的实现方式构成限定。具体实现时，可以基于比示例2所列举的车体信息更多或更少的车体信息，来实现景物对齐。

S208～S209：可以参考上述S104～S105，当然本申请实施例不限于此。

本实施例中相关内容的解释，以及能够达到的有益效果均可以参考上述图4所示的实施例。除此之外，一方面，本实施例中，选择一帧图像中置信度低于第一阈值的候选图像区域作为第一图像区域，并对多帧图像中的第一图像区域进行超分处理。这样，不需要对置信度高于第一阈值的候选图像区域进行超分处理，有助于降低超分处理的复杂度，从而提高超分处理的效率。另一方面，本实施例中，依据一帧图像中的第一图像区域以及车体信息，确定另一帧图像中的第一图像区域，这样，在执行超分运算时，有助于车载设备获取到更多地空间信息，从而提高超分运算的精确度。

实施例2

如图12所示，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可以包括：

S301：可以参考上述S101，当然本申请实施例不限于此。

S302：车载设备对该N帧图像中的第一图像进行预处理(如图像分割等)，得到第一图像中的可行驶区域的图像信息。

可行驶区域，是视野范围内各个方向上距离车辆的第一个对象之间的区域。例如，图13中的黑色线框住的区域表示一种可行驶区域的示意图。

可以理解的是，由于图像分割技术或其他得到第一图像的可行区域的图像信息的技术，均不能百分之百确定所获得的可行区域中没有对象，因此，可以基于本申请实施例提供的技术方案进一步确定是否包含其他对象，也就是说，可以接着执行以下S303。

关于第一图像的相关描述可以参考上文，此处不再赘述。

S303：车载设备根据第一图像中的可行驶区域的图像信息，将可行驶区域中的与该车辆之间的距离大于或等于第二阈值的空间区域所对应的图像信息，作为第二图像中的第一图像区域。

可选地，车载设备可以先确定其所在车辆对应在摄像头所拍摄的图像中的位置，然后将第二图像中的且与该位置的距离大于或等于一个阈值的图像区域，作为第二图像中的第一图像区域。其中，第二阈值与该阈值之间的比例，等于空间距离与图像距离(即该空间距离映射到图像中的图像距离)之间的比例。

需要说明的是，虽然摄像头所拍摄的图像中没有本车辆(即本实施例中车载设备所在的车辆)的图像信息，但是，可以基于摄像头在该车辆中的位置信息，可选地还以基于该车辆的运动状态(如转弯或直行等)，确定出该车辆对应在该图像中的位置。

例如，以摄像头位于车辆内部的前方正中间，且车辆与摄像头的相对位置不变为例，该车辆对应在图像中的位置可以是该图片的下边界正中间，如图14所示。图14中还示意出了该情况下的第一图像区域。

又如，以摄像头位于车辆内部的前方正中间，且摄像头相对于车辆向左旋转为例，该车辆对应在摄像头所拍摄的图像中的位置可以是该图片的右下角。

确定车辆对应在摄像头所拍摄的图像中的位置的方法不限于此，如可参考现有技术。

S304～S309：可以参考上述S204～S209，当然本申请实施例不限于此。

依据S302～S306，车载设备可以获得N帧图像的N1帧图像中每帧图像所包括的第一图像区域。在本示例中，由于通常每帧图像中均具有可行驶区域，因此，通常N＝N1。

本实施例中相关内容的解释，以及能够达到的有益效果均可以参考上述图4所示的实施例。除此之外，一方面，本实施例中，将一帧图像中对应于车辆的可行驶区域中与该车辆之间的距离大于或等于第二阈值的空间区域的图像区域，作为第一图像区域，并对多帧图像中的第一图像区域进行超分处理。考虑到：虽然可行驶区域被定义为“视野范围内各个方向上距离车辆的第一个对象之间的区域”，但是，不能百分百保证所确定的可行驶区域中不包含对象(或目标对象)，而对于所确定的可行驶区域而言，距离车辆越远的区域中包含目标对象的概率就越高，基于此，提出本实施例。这样，有助于在现有技术的基础上，提高检测目标对象的精确度。另一方面，本实施例中，依据一帧图像中的第一图像区域以及车体信息，确定另一帧图像中的第一图像区域，这样，在执行超分运算时，有助于车载设备获取到更多地空间信息，从而提高超分运算的精确度。

实施例3

如图15所示，为本申请实施例提供的一种图像处理方法的流程示意图。该方法可以包括：

S401：可以参考上述S101，当然本申请实施例不限于此。

S402：车载设备将该N帧图像中的第一图像中的预设位置的区域作为第一图像区域。

在目标对象不同场景中，第一图像区域在第一图像中的位置可能相同，也可能不同。

例如，如果目标对象是交通灯，由于交通灯的图像信息通常在一帧图像中的上方，因此，可以将一帧图像内的上方预设位置的区域(如上方五分之二的区域)作为第一图像区域。图16中给出了一种第一图像区域的示意图。

又如，如果目标对象是高速公路上的限速指示牌，由于高速公路上的限速指示牌的图像信息通常在一帧图像中的右侧，因此，可以将一帧图像内的右侧预设位置的区域(如右侧四分之一的区域)作为第一图像区域。

S403～S408：可以参考上述S204～S209，当然本申请实施例不限于此。

依据S402～S405，车载设备可以获得N帧图像的N1帧图像中每帧图像所包括的第一图像区域。

本实施例中相关内容的解释，以及能够达到的有益效果均可以参考上述图4所示的实施例。除此之外，一方面，本实施例中，将一帧图像中预设位置的区域作为第一图像区域，并对多帧图像中的第一图像区域进行超分处理。该方法实现较简单，方便。另一方面，本实施例中，依据一帧图像中的第一图像区域以及车体信息，确定另一帧图像中的第一图像区域，这样，在执行超分运算时，有助于车载设备获取到更多地空间信息，从而提高超分运算的精确度。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对车载设备进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图17所示，为本申请实施例提供的一种设备，具体可以为车载设备170的结构示意图。作为设备的一个示例，车载设备170可以用于执行图4、图5、图12或图15所示的方法中车载设备所执行的步骤。

车载设备170可以包括：第一获取模块1701、第二获取模块1702和超分模块1703。其中，第一获取模块1701，用于获取多帧图像，该多帧图像包括该车载设备所在车辆的周边道路的图像信息。第二获取模块1702，用于获取该多帧图像的每帧图像中的第一图像区域；其中，该多帧图像的多个第一图像区域对应于第一场景。超分模块1703，用于对该多个第一图像区域进行超分运算。例如，结合图4，第一获取模块1701可以用于执行S101，第二获取模块1702可以用于执行S102，超分模块1703可以用于执行S104。

可选地，车载设备170还包括：确定模块1704，用于确定超分运算得到的图像区域中存在目标对象的图像信息。例如，结合图4，确定模块1704可以用于执行S105。

可选地，对于该多帧图像的每帧图像：第一图像区域是置信度低于或等于第一阈值的区域；或者，第一图像区域对应于该车辆的可行驶区域中与该车辆之间的距离大于或等于第二阈值的空间区域；或者，第一图像区域是预设位置的区域。

可选地，该多帧图像包括第一图像和第二图像。第二获取模块1702具体用于：获取第二图像中的第一图像区域。获取第二图像中的第一图像区域，包括：根据第一图像中的第一图像区域和该车辆的第一车体信息获取第二图像中的第一图像区域。例如，第一车体信息可以包括第一相对距离、第二相对距离和第一车辆转向角度中的至少一种。其中，第一相对距离是拍摄第一图像时该车辆与第一图像区域所对应的空间区域之间的相对距离，第二相对距离是拍摄第二图像时该车辆与第一图像区域所对应的空间区域之间的相对距离，第一车辆转向角度是在第一图像和第二图像的拍摄时间间隔内，该车辆的朝向之间的夹角。例如，结合图5，第二获取模块1702可以用于执行S204和S205。可选的，所述第一车体信息还可以包括车身高度参数，例如摄像头离地高度和/或车体高度等。

可选地，超分模块1703具体用于：对景物对齐后的多个第一图像区域进行超分运算。例如，超分模块1703可以用于执行图4中的S104，图5中的S208，图12中的S308或图13中的S407。

可选地，该多帧图像包括第三图像和第四图像。车载设备170还包括：对齐模块1705，用于根据该车辆的第二车体信息，执行该多个第一图像区域的景物对齐。例如，第二车体信息可以包括第一相对角度、第二相对角度和第二车辆转向角度中的至少一种。其中，第一相对角度是拍摄第三图像时该车辆与第一图像区域所对应的空间区域之间的相对角度，第二相对角度是拍摄所述第四图像时该车辆与第一图像区域所对应的空间区域之间的相对角度，第二车辆转向角度是在第三图像和第四图像的拍摄时间间隔内，该车辆的朝向之间的夹角。可选的，所述第二车体信息还可以包括车身高度参数，例如摄像头离地高度和/或车体高度等。

可选地，该多帧图像是时序上连续的多帧图像。

可选地，该多帧图像中的首帧图像的拍摄时刻与末帧图像的拍摄时刻之间的时间间隔小于或等于第三阈值。

可选地，第二获取模块1702还用于：获取该多帧图像的每帧图像中的第二图像区域；其中，该多帧图像的多个第二图像区域对应于第二场景。超分模块1703还用于：对该多个第二图像区域进行超分运算。

在一个示例中，参见图1，上述第一获取模块1701可以通过图1中的I/O接口115实现，上述第二获取模块1702、超分模块1703、确定模块1704和对齐模块1705中的至少一种可以由图1中的处理器103调用应用程序143实现。

关于上述可选方式的具体描述参见前述的方法实施例，此处不再赘述。上述提供的任一种车载设备170的解释以及有益效果的描述均可参考上述对应的方法实施例，不予赘述。

需要说明的是，上述各个单元对应执行的动作仅是具体举例，各个单元实际执行的动作参照上述基于行图4、图5、图12或图15所述的实施例的描述中提及的动作或步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可通过程序来指令相关的硬件完成。所述的程序可以存储于一种计算机可读存储介质中。上述提到的存储介质可以是只读存储器，随机接入存储器等。上述处理单元或处理器可以是中央处理器，通用处理器、特定集成电路(application specific integrated circuit，ASIC)、微处理器(digital signal processor，DSP)，现场可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

本申请实施例还提供了一种包含指令的计算机程序产品，当该指令在计算机上运行时，使得计算机执行上述实施例中的任意一种方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

应注意，本申请实施例提供的上述用于存储计算机指令或者计算机程序的器件，例如但不限于，上述存储器、计算机可读存储介质和通信芯片等，均具有非易失性(non-transitory)。

在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。

Claims (20)

1.一种图像处理方法，应用于车载设备，其特征在于，所述方法包括：

获取多帧图像，所述多帧图像包括所述车载设备所在车辆的周边道路的图像信息；

获取所述多帧图像的每帧图像中的第一图像区域；其中，所述多帧图像的多个第一图像区域对应于第一场景；

对所述多个第一图像区域进行超分运算。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定超分运算得到的图像区域中存在目标对象的图像信息。

3.根据权利要求1或2所述的方法，其特征在于，对于所述多帧图像的每帧图像：

所述第一图像区域是置信度低于或等于第一阈值的区域；

或者，所述第一图像区域对应于所述车辆的可行驶区域中与所述车辆之间的距离大于或等于第二阈值的空间区域；

或者，所述第一图像区域是预设位置的区域。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述多帧图像包括第一图像和第二图像；

所述获取所述多帧图像的每帧图像中的第一图像区域，包括：获取所述第二图像中的第一图像区域；

所述获取所述第二图像中的第一图像区域，包括：

根据所述第一图像中的第一图像区域和所述车辆的第一车体信息，确定所述第二图像中的第一图像区域；其中，所述第一车体信息包括第一相对距离、第二相对距离和第一车辆转向角度中的至少一种，所述第一相对距离是拍摄所述第一图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对距离，所述第二相对距离是拍摄所述第二图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对距离，所述第一车辆转向角度是在所述第一图像和所述第二图像的拍摄时间间隔内，所述车辆的朝向之间的夹角。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述多个第一图像区域进行超分运算，包括：

对景物对齐后的所述多个第一图像区域进行超分运算。

6.根据权利要求5所述的方法，其特征在于，所述多帧图像包括第三图像和第四图像；在所述对景物对齐后的所述多个第一图像区域进行超分运算之前，所述方法还包括：

根据所述车辆的第二车体信息，执行所述多个第一图像区域的景物对齐；其中，所述第二车体信息包括第一相对角度、第二相对角度和第二车辆转向角度中的至少一种；其中，所述第一相对角度是拍摄所述第三图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对角度，所述第二相对角度是拍摄所述第四图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对角度，所述第二车辆转向角度是在所述第三图像和所述第四图像的拍摄时间间隔内，所述车辆的朝向之间的夹角。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述多帧图像是时序上连续的多帧图像。

8.根据权利要求7所述的方法，其特征在于，所述多帧图像中的首帧图像的拍摄时刻与末帧图像的拍摄时刻之间的时间间隔小于或等于第三阈值。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

获取所述多帧图像的每帧图像中的第二图像区域；其中，所述多帧图像的多个第二图像区域对应于第二场景；

对所述多个第二图像区域进行超分运算。

10.一种车载设备，其特征在于，所述车载设备包括：

第一获取模块，用于获取多帧图像，所述多帧图像包括所述车载设备所在车辆的周边道路的图像信息；

第二获取模块，用于获取所述多帧图像的每帧图像中的第一图像区域；其中，所述多帧图像的多个第一图像区域对应于第一场景；

超分模块，用于对所述多个第一图像区域进行超分运算。

11.根据权利要求10所述的车载设备，其特征在于，所述车载设备还包括：

确定模块，用于确定超分运算得到的图像区域中存在目标对象的图像信息。

12.根据权利要求10或11所述的车载设备，其特征在于，对于所述多帧图像的每帧图像：

所述第一图像区域是置信度低于或等于第一阈值的区域；

或者，所述第一图像区域对应于所述车辆的可行驶区域中与所述车辆之间的距离大于或等于第二阈值的空间区域；

或者，所述第一图像区域是预设位置的区域。

13.根据权利要求10至12任一项所述的车载设备，其特征在于，所述多帧图像包括第一图像和第二图像；

所述第二获取模块具体用于：获取所述第二图像中的第一图像区域；所述获取所述第二图像中的第一图像区域，包括：

根据所述第一图像中的第一图像区域和所述车辆的第一车体信息，确定所述第二图像中的第一图像区域；其中，所述第一车体信息包括第一相对距离、第二相对距离和第一车辆转向角度中的至少一种，所述第一相对距离是拍摄所述第一图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对距离，所述第二相对距离是拍摄所述第二图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对距离，所述第一车辆转向角度是在所述第一图像和所述第二图像的拍摄时间间隔内，所述车辆的朝向之间的夹角。

14.根据权利要求10至13任一项所述的车载设备，其特征在于，

所述超分模块具体用于：对景物对齐后的所述多个第一图像区域进行超分运算。

15.根据权利要求14所述的车载设备，其特征在于，所述多帧图像包括第三图像和第四图像；所述车载设备还包括：

对齐模块，用于根据所述车辆的第二车体信息，执行所述多个第一图像区域的景物对齐；其中，所述第二车体信息包括第一相对角度、第二相对角度和第二车辆转向角度中的至少一种；其中，所述第一相对角度是拍摄所述第三图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对角度，所述第二相对角度是拍摄所述第四图像时所述车辆与所述第一图像区域所对应的空间区域之间的相对角度，所述第二车辆转向角度是在所述第三图像和所述第四图像的拍摄时间间隔内，所述车辆的朝向之间的夹角。

16.根据权利要求10至15任一项所述的车载设备，其特征在于，所述多帧图像是时序上连续的多帧图像。

17.根据权利要求16所述的车载设备，其特征在于，所述多帧图像中的首帧图像的拍摄时刻与末帧图像的拍摄时刻之间的时间间隔小于或等于第三阈值。

18.根据权利要求10至17任一项所述的车载设备，其特征在于，

所述第二获取模块还用于：获取所述多帧图像的每帧图像中的第二图像区域；其中，所述多帧图像的多个第二图像区域对应于第二场景；

所述超分模块还用于：对所述多个第二图像区域进行超分运算。

19.一种图像处理装置，其特征在于，包括：存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行权利要求1至9任一项所述的方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至9任一项所述的方法。

Images