CN110505466B - 图像处理方法、装置、电子设备、存储介质和系统 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、电子设备、存储介质和系统，该方法包括：获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对；根据每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个图像帧对中的图像帧进行对齐处理；根据对齐处理后的图像帧，执行图像帧业务。本申请中不依据现有技术中的时钟同步的方法确定对齐的图像帧，而是根据图像帧的序列号和时间戳确定对齐的图像帧，适用于所有类型的双目相机。

Description

图像处理方法、装置、电子设备、存储介质和系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备、存储介质和系统。

背景技术

自动驾驶技术的发展依赖于图像的处理。自动驾驶的车辆上通常设置有拍摄图像的摄像头，该摄像头用于采集车辆周围的图像。车辆通过对图像的处理能够确定车辆所处的场景，以实现安全驾驶。例如，车辆可以通过对图像的处理，确定此时正处于三车道中的左侧车道，在车辆的正前方50米有一其他车辆，在车辆左侧有障碍物栏杆的场景中，以实现对车辆的驾驶控制。目前，为了提高自动驾驶的安全性，车辆上设置有高精度的双目相机。双目相机包括左相机和右相机，左相机和右相机能够根据其各自的内部时钟在同一时刻进行图像拍摄。但由于相机自身时钟的原因，在时钟工作的过程中，会逐渐发生时钟漂移现象，导致左相机和右相机的内部时钟的时间不一致，进而导致采集的图像帧无法对齐(即将同一时刻左相机和右相机拍摄的图像进行对齐)。

现有技术中，采用支持精确时间协议(precise time protocol，PTP)的同步设备与双目相机连接，同步设备可以实现双目相机中左相机和右相机内部时钟的同步，进而使得左相机和右相机采集的图像帧对齐。

但该帧对齐的方法中接入同步设备必须通过以太网接口，且双目相机必须支持PTP协议，对于其他接口(例如USB、FireWire)的相机或者不支持PTP协议的相机无法使用。

发明内容

本申请提供一种图像处理方法、装置、电子设备、存储介质和系统，根据图像帧的序列号和时间戳确定对齐的图像帧，适用于所有类型的双目相机。

本申请的第一方面提供一种图像处理方法，包括：

获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；

根据所述第一图像帧序列中每个第一图像帧的序列号和所述第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：所述第一图像帧序列中的一个第一图像帧，以及所述第二图像帧序列中与该第一图像帧对应的第二图像帧；

根据每个所述图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个所述图像帧对中的图像帧进行对齐处理；

根据对齐处理后的图像帧，执行图像帧业务。

可选的，所述第一图像帧序列是所述左相机以第一帧率拍摄的，所述第二图像帧序列是所述右相机以所述第一帧率拍摄的；

所述获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列之前，还包括：

对所述左相机和所述右相机同时加电；

获取第二时间段内所述左相机以第二帧率拍摄的第三图像帧序列，以及所述右相机以所述第二帧率拍摄的第四图像帧序列，所述第二帧率小于所述第一帧率；

根据所述第三图像帧序列中每个第三图像帧的时间戳，以及所述第四图像帧序列中每个第四图像帧的时间戳，获取所述第一预设时间戳差值。

可选的，所述根据所述第三图像帧序列中每个第三图像帧的时间戳，以及所述第四图像帧序列中每个第四图像帧的时间戳，获取所述第一预设时间戳差值，包括：

判断所述第三图像帧序列和所述第四图像帧序列中的丢帧率是否小于丢帧率阈值；

若是，则根据每个所述第三图像帧的序列号和每个所述第四图像帧的序列号，获取所述第三图像帧序列和所述第四图像帧序列中的对齐帧，以及每个所述对齐帧的第二时间戳差值；

根据每个所述对齐帧的第二时间戳差值，获取所述第一预设时间戳差值。

可选的，所述根据所述第一图像帧序列中每个第一图像帧的序列号和所述第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，包括：

根据每个所述第一图像帧的序列号和每个所述第二图像帧的序列号，保留所述第一图像帧序列和所述第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列；

按照序列号顺序，确定所述处理后的第一图像帧序列中的每个图像帧在所述处理后的第二图像帧序列中对应的图像帧，得到所述多个图像帧对。

可选的，所述根据每个所述图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个所述图像帧对中的图像帧进行对齐处理，包括：

获取每个所述第一时间戳差值和所述第一预设时间戳差值的第三时间戳差值；

将第三时间戳差值大于所述第一预设时间戳差值对应的图像帧对删除，且将第三时间戳差值小于或等于所述第一预设时间戳差值对应的图像帧对作为对齐帧。

可选的，所述获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列之前，还包括：

获取当前拍摄环境的亮度；

根据所述当前拍摄环境的亮度，确定相机曝光范围；

控制所述左相机和所述右相机均以所述相机曝光范围，分别拍摄所述第一图像帧序列、所述第二图像帧序列。

本申请的第二方面提供一种图像处理装置，包括：

第一处理模块，用于获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；根据所述第一图像帧序列中每个第一图像帧的序列号和所述第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：所述第一图像帧序列中的一个第一图像帧，以及所述第二图像帧序列中与该第一图像帧对应的第二图像帧；根据每个所述图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个所述图像帧对中的图像帧进行对齐处理，并根据将对齐处理后的图像帧对执行图像帧业务。

可选的，所述第一图像帧序列是所述左相机以第一帧率拍摄的，所述第二图像帧序列是所述右相机以所述第一帧率拍摄的。

可选的，所述装置还包括：第二处理模块；

第二处理模块，用于对所述左相机和所述右相机同时加电；获取第二时间段内所述左相机以第二帧率拍摄的第三图像帧序列，以及所述右相机以所述第二帧率拍摄的第四图像帧序列，所述第二帧率小于所述第一帧率；根据所述第三图像帧序列中每个第三图像帧的时间戳，以及所述第四图像帧序列中每个第四图像帧的时间戳，获取所述第一预设时间戳差值。

可选的，所述第二处理模块，具体用于判断所述第三图像帧序列和所述第四图像帧序列中的丢帧率是否小于丢帧率阈值；若是，则根据每个所述第三图像帧的序列号和每个所述第四图像帧的序列号，获取所述第三图像帧序列和所述第四图像帧序列中的对齐帧，以及每个所述对齐帧的第二时间戳差值；根据每个所述对齐帧的第二时间戳差值，获取所述第一预设时间戳差值。

可选的，所述第二处理模块，具体用于若每个所述对齐帧的第二时间戳差值均小于第二预设时间戳差值，则将时间最晚的对齐帧的第二时间戳差值作为所述第一预设时间戳差值。

可选的，所述第一处理模块，具体用于根据每个所述第一图像帧的序列号和每个所述第二图像帧的序列号，保留所述第一图像帧序列和所述第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列；按照序列号顺序，确定所述处理后的第一图像帧序列中的每个图像帧在所述处理后的第二图像帧序列中对应的图像帧，得到所述多个图像帧对。

可选的，所述第一处理模块，具体用于获取每个所述第一时间戳差值和所述第一预设时间戳差值的第三时间戳差值；将第三时间戳差值大于所述第一预设时间戳差值对应的图像帧对删除，且将第三时间戳差值小于或等于所述第一预设时间戳差值对应的图像帧对作为对齐帧。

可选的，所述装置还包括：亮度获取模块；

所述亮度获取模块，用于获取当前拍摄环境的亮度；

所述第一处理模块，还用于根据所述当前拍摄环境的亮度，确定相机曝光范围；控制所述左相机和所述右相机均以所述相机曝光范围，分别拍摄所述第一图像帧序列、所述第二图像帧序列。

本申请的第三方面提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行上述图像处理方法。

本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述图像处理方法。

本申请的第五方面提供一种图像处理系统，包括如上第二方面所述的图像处理装置或第三方面所述的电子设备，以及由左相机和右相机组成的双目相机。

本申请提供一种图像处理方法、装置和存储介质，该方法包括：获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对；根据每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个图像帧对中的图像帧进行对齐处理；根据对齐处理后的图像帧，执行图像帧业务。本申请中不依据现有技术中的时钟同步的方法使得图像帧对齐，而是根据图像帧的序列号和时间戳确定对齐的图像帧，适用于所有类型的双目相机。

附图说明

图1为相机内部时钟计时的示意图；

图2为时钟漂移的示意图；

图3为本申请中提供的硬件设备连接示意图；

图4为本申请中提供的双目相机的控制连接示意图；

图5为图4中左相机和右相机连接的局部示意图；

图6为本申请采用的曝光模式示意图；

图7为本申请提供的图像处理方法适用的场景示意图；

图8为本申请提供的图像处理方法的流程示意图一；

图9为本申请提供的图像处理方法的流程示意图二；

图10为本申请提供的获取第一预设时间戳差值的流程示意图；

图11为本申请提供的图像处理装置的结构示意图；

图12为本申请提供的电子设备的结构示意图；

图13为本申请提供的图像处理系统的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的实施例，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下述先对本申请中的专业术语和现有技术进行介绍：

双目视觉：(Stereo Vison)，由两个相机固定在一起，同一时刻触发进行拍摄，分别得到两张图像，左边的相机拍摄到的图像为左目图像，右边相机拍摄到的图像为右目图像，两张图像一起为双目图像。在这两张图像的基础上进行的所有计算机视觉领域内的应用，称为双目视觉。区别于双目视觉，只有一个相机拍摄到图像，并在此基础上进行应用的领域叫单目视觉。应理解，本申请中对图像的处理为对双目相机拍摄的双目图像的处理，应用为双目视觉。

主相机：一般为双目相机中的左相机，指发出触发信号的相机。

从相机：一般为双目相机中的右相机，指接收主相机发出的触发信号的相机。

左目图像：指左相机拍摄的图像。

右目图像：指右相机拍摄的图像。

双目图像：指同一时刻左相机和右相机拍摄得到的左目图像和右目图像。

触发：指相机接收到通用型之输入输(General-purpose input/output，GPIO)脉冲指令或者软件指令，开始相应动作为触发，通常分为硬件触发和软件触发。

开始曝光：指相机张开快门的瞬间，开始接收光子进入到相机的传感器里面。

结束曝光：指相机关闭快门的瞬间，结束曝光也就是成像时刻，图像数据中的时间戳就指的是这一时刻。

曝光时长：指相机从开始曝光到结束曝光的持续时间。

曝光一致：双目相机中左相机和右相机，开始曝光和结束曝光这两个时刻都一致，或者误差很小，叫曝光一致。

时间戳：指结束曝光也就是成像时刻。

相机同步：(Camera Synchronization)，是指让左相机和右相机在“同一时刻”进行拍摄，主相机和从相机越接近同一时刻拍摄，同步精度越高，常见的同步方式：软件同步、硬件同步、主从同步、外部触发同步。

应理解，在相机同步的前提下，左相机和右相机每个时刻拍摄的图像均为对齐的图像，即本申请中所述的图像帧对齐。其中，相机同步指的是和系统时间的同步。例如，系统当前时刻为00:00，左相机和右相机均为00:00，则左相机和右相机同步。

应理解，现有技术中依据相机内部的时钟同步，将时间戳相同的图像帧确定为对齐的图像帧。例如，若左相机和右相机的内部时钟同步，则左相机和右相机相同的时刻采集的图像帧为对齐的图像帧，即可以依据图像标记的时间戳获取对齐的图像帧。示例性的，下述表一左相机的右相机采集的图像帧序列，括号中为对每个图像帧标记的时间戳(同一时间段内采集的多个帧组成，应理解，如未作特殊说明，本申请中的图像帧序列均是按照时间戳的前后时间顺序排列的)。

表一

左相机	右相机
		图像帧1(201901010000)	图像帧1'(201901010000)
图像帧2(201901010001)	图像帧2'(201901010001)
		图像帧3(201901010002)	图像帧3'(201901010002)

依据上述表一可以确定，当左相机和右相机的内部时钟同步的情况下，图像帧1和图像帧1'、图像帧2和图像帧2'、图像帧3和图像帧3'均为对齐的图像帧。

下述以PointGrey GS2-GE-20S4C-C双目相机为例，对相机的内部时钟的计时方法进行说明。图1为相机内部时钟计时的示意图。如图1所示，相机内部时钟每秒共24576000个ticks，由三部分组成，分别为：周期性偏移数目cycle_offset、周期性计数cycle_count、秒计数second_count。其中，cycle_offset从0增加到3071，共3072个cycle_offset等于一个cycle_count，cycle_count从0增加到7999，共8000个cycle_count等于一个second_count，second_count从0到127。其中3072个cycle_offset为125微妙，8000个cycle_count为1秒。这三部分在各自周期结束后会重新从0开始，例如cycle_offset到3071后下一个数字是0。

双目相机在加电开机那一刻，内部时钟开始运行。若让左相机和右相机同时加电开机，若内部时钟是同步的状态，则左相机和右相机内部时钟的计时也同步。但由于内部时钟的自身原因，其不同的相机的内部时钟是不一致的，随着时间积累，有的会慢慢变快，有的会慢慢变慢，发生时钟漂移现象。

图2为时钟漂移的示意图。图2示例性的用实线和虚线分别表示标准时刻和实际时刻，从图2中可以确定实际时刻滞后与标准时刻。

例如，左相机当前时刻为00:00，其由于时钟漂移，相较于系统时间的00:00可能滞后或者超前，即左相机显示的当前时刻为00:00可能并非真正的系统时间的00:00。

且相机在捕获连续图像帧的过程中，由于带宽满、电源不稳定、相机不稳定等各种原因，会发生丢帧现象。若左相机和右相机一起出现丢帧，则为一致丢帧，只要不是很频繁的一致丢帧对双目视觉后续影响很小，只影响整体帧率。如果主相机或者相机在某一时刻其中一个相机发生丢帧，而另一个相机未丢帧，则会引发双目图像不一致，即不是同一时刻拍摄到的图片，不一致的双目图像对双目后续立体匹配算法带来严重影响，是必须要解决的问题。在发生丢帧后，一般常见的做法也是利用时间戳去进行对齐，图像帧的时间戳无法对应上的则需要丢弃。

在上述的基础上，若现有技术中还按照图像的时间戳确定对齐的图像帧，则确定出的对齐的图像帧不准确。

因此，现有技术中为了解决相机内部时钟漂移导致时间戳不一致的问题，提出了一种时钟同步设备，其可以分别于左相机和右相机连接，对左相机和右相机内部时钟进行调整，使得左相机和右相机内部时钟同步，进而使得可以采用时间戳的方式确定左相机和右相机采集的对齐的图像帧。

但现有技术中的接入同步设备必须通过以太网接口，且双目相机必须支持PTP协议，对于其他接口(例如USB、FireWire)的相机或者不支持PTP协议的相机无法使用。这就限制了图像帧对齐的使用场景。

为了解决现有技术中的问题，本申请提供了一种图像处理方法，通过左相机拍摄的图像帧序列中每个图像帧的序列号、时间戳，以及右相机拍摄的图像帧序列中每个图像帧的序列号、时间戳，确定对齐的图像帧，不依赖现有技术中左相机和右相机的内部时钟的同步，能够适用于所有的双目相机。

为了更为清楚的对本申请提供的图像处理方法进行说明，下述首先对本申请中的硬件设备进行介绍。其中，GPIO线缆：通用输入输出线缆，用于实现对相机的控制，以及主从控制。

图3为本申请中提供的硬件设备连接示意图。如图3所示，本申请中涉及的硬件设备包括：双目相机(左相机和右相机)、集线器、GPIO控制线缆、电源适配器、工控机PC。

其中，电源适配器用于为双目相机提供电源，以使双目相机正常进行工作。PC为本申请中图像处理方法的执行主体，其可以对双目相机获取的图像帧进行对齐处理，且PC可以输出系统时间，即标准时间。其中，各硬件设备之间的连接采用GPIO控制线缆进行连接。

可选的，本申请中的双目相机为PointGrey的GS2-GE-20S4C-C，镜头为KowaLM5JCM，工控机为NETGEAR ProSAFE GS105，GPIO控制线缆为8PIN的GPIO线缆，电源适配器输出12V电源。值得注意的是，本申请中的图像处理方案对于其他种类的接口譬如USB或者FireWire接口等同样适用。

图4为本申请中提供的双目相机的控制连接示意图。如图4所示，左相机的PIN3与右相机的PIN4连接，左相机的PIN5与电源适配器的负极连接，左相机的PIN7与电源适配器的正极连接；右相机的PIN5与电源适配器的负极连接，右相机的PIN7与电源适配器的正极连接；且左相机的PIN5和右相机的PIN5连接，即均接地。

左相机在开始曝光(打开快门)的瞬间从PIN3发出脉冲，右相机在PIN4接收脉冲，右相机接收到脉冲后被触发从而张开快门开始曝光，以实现左相机和右相机的同步触发。其中，左相机和右相机的PIN7均与电源适配器的正极连接，PIN5均与电源适配器的负极连接，以实现电源适配器为左相机和右相机的供电。其中，左相机和右相机剩余的5个PIN脚可以不与其他硬件设备连接。图5为图4中左相机和右相机连接的局部示意图。图5中仅示出了左相机和右相机之间的连接。

下述表二为对双目相机(左相机和右相机)中的各PIN脚的释义：

表二

引脚编号	作用	简介
			1	I0(第零输入)	光电隔离输入(默认触发输入)
2	O1(第一输出)	光电隔离输出
			3	IO2(第二输入输出)	输入/输出/串行发送
4	IO3(第三输入输出)	输入/输出/串行接收
			5	GND(接地)	双向输入输出接地
6	OPTO_GND(光电隔离地)	光电隔离接地
			7	Vext(外部接电)	允许相机外部供电
8	+3.3V(对外供电)	对外供电最大150毫安

值得注意的是，本申请中在左相机和右相机拍摄图像帧之前，还需要对左相机和右相机进行如下配置，以使左相机和右相机能够同步触发、一致曝光：

左相机需要开启PIN3(GPIO2)的脉冲，这样左相机在快门张开时才会发出脉冲信号。右相机需要开启触发功能，并且设置触发脉冲的来源为GPIO3(即来自PIN 4)，极性Polarity设置为High，这样在脉冲的上升沿右相机才会触发开始曝光。

其中现有的触发模式包括：触发模式0、触发模式1。其中，触发模式0为默认模式，脉冲信号来了后相机开始曝光，然后进行曝光数据的读出。触发模式1为本申请采用的触发模式。图6为本申请采用的曝光模式示意图，如图6所示，指的是右相机的曝光时长等于脉冲时长，而脉冲时长等于主摄像机的曝光时长，即用脉宽控制曝光，这样使得左相机和右相机的曝光时间做到完全一致。

本实施例中，如上图4和图5所示，可以将左相机的PIN3和右相机的PIN3连接示波器，以确定左相机和右相机输出的脉冲是否一致，若一致，则可以确定左相机和右相机同步触发。

图7为本申请提供的图像处理方法适用的场景示意图。如图7所示，本申请提供的图像处理方法适用的场景中包括：双目相机图像处理装置，其中，双目相机中包括左相机、右相机(如图7中的黑色圆圈)。其中，图像处理装置可以为上述图3中所示的工控机。

可选的，本申请中可以根据图像处理方法的应用场景，确定不同的图像处理装置。例如，当双目相机为设置在车辆上的相机时，图像处理装置可以为车辆上的主控器。当双目相机为设置在固定拍摄场所的相机时，图像处理装置可以为对图像进行处理的服务器、笔记本电脑等电子设备。

下述以具体的实施例对本申请提供的图像处理方法进行说明。图8为本申请提供的图像处理方法的流程示意图一。图8所示方法流程的执行主体可以为图像处理装置，该图像处理装置可由任意的软件和/或硬件实现。如图8所示，本实施例提供的图像处理方法可以包括：

S801，获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列。

第一时间段为左相机和右相机加电后的任一个时间段。应理解，左相机获取拍摄的第一图像帧序列，以及右相机拍摄的第二图像帧序列对应的时间段均为同一时间段，即第一时间段。例如，获取8:00-8:05这一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列。

其中，第一图像帧序列为左相机在该第一时间段内连续拍摄获取的图像帧的集合，同理的，第二图像帧序列为右相机在该第一时间段内连续拍摄获取的图像帧的集合。

示例性的，下述表三示出了第一图像帧序列和第二图像帧序列：

表三

可选的，本实施例中，左相机和右相机中分别设置有存储图像帧的内存空间。以左相机为例，左相机在拍摄图像帧后，确定是否有内存存储该图像帧。若是有内存存储该图像帧，则将该图像帧放入第一图像帧序列。若是没有内存存储该图像帧，则将该图像帧丢弃，继续获取图像帧，执行如上述相同的步骤。

可选的，本实施例中双目相机可以接收到结束指令，该结束指令可以是图像处理装置下发的，还可以是用户触发双目相机发送的。当双目相机接收到结束指令后，不再拍摄图像帧，以将左相机拍摄的第一图像帧序列，以及右相机拍摄的第二图像帧序列发送给图像处理装置。或者，当双目相机接收到结束指令后，图像处理装置分别从将左相机的内存空间中获取第一图像帧序列，以及从右相机的内存空间中获取第二图像帧序列。

在一种可能的实施方式中，本申请中的图像处理方法包括三个线程，如上S801为生产者线程中的流程。

S802，根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：第一图像帧序列中的一个第一图像帧，以及第二图像帧序列中与该第一图像帧对应的第二图像帧。

在相机拍摄图像帧时，可以给图像帧进行编号，即为图像帧的序列号。其中，该序列号可以用于表示图像帧为相机拍摄的第几个图像帧。

示例性的，如上表三所示，以左相机为例，第一图像帧序列中的图像帧1中的“1”为该图像帧的序列号，其为左相机在第一时间段拍摄的第一个图像帧。按理来说，左相机在正常工作的条件下，拍摄获取的第一图像帧序列中的图像帧的序列号应为连续的。

但如上表三第一图像帧序列中包括：图像帧1、图像帧3、图像帧4、图像帧5、图像帧8、图像帧9和图像帧10。第一图像帧序列中的图像帧的序列号不连续，原因是左相机在拍摄图像帧的过程中发生了丢帧。同理的，右相机在拍摄图像帧的过程中也发生了丢帧。

本申请中可以根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对。其中，每个图像帧对为粗匹配的图像帧对，即先按照图像帧的序列号进行预对齐的图像帧对，即预测的对齐的图像帧对，还需要进一步验证是否为真正对齐的图像帧对。

其中，获取多个图像帧对的方式可以为：根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，确定第一图像帧序列和第二图像帧序列发生丢帧的类型，该丢帧的类型为一致丢帧或不一致丢帧。进一步的，根据第一图像帧序列和第二图像帧序列发生丢帧的类型，获取多个图像帧对。

示例性的，如上表三所示，第一图像帧序列中图像帧1和图像帧3之间丢了一个图像帧，对应的，第二图像帧序列中图像帧1'和图像帧3'之间也丢了一个图像帧，即确定第一图像帧序列和第二图像帧序列发生一致丢帧。对应的，图像帧3和图像帧5之间未发生丢帧，以及图像帧3'与图像帧3'之间未发生丢帧，则可以将图像帧1和图像帧1'作为一个图像帧对、图像帧3和图像帧3'作为一个图像帧对、图像帧4和图像帧4'作为一个图像帧对，以及将图像帧5和图像帧5'作为一个图像帧对。

进一步的，图像帧5和图像帧8之间丢了两个图像帧，而第二图像帧序列中图像帧5'和图像帧7'之间丢了一个图像帧，即确定第一图像帧序列和第二图像帧序列发生不一致丢帧。对应的，由于第一图像帧序列中与图像帧7'对应的图像帧已经丢弃，则图像帧7'不能形成图像帧对。

根据与上述相同的方式，可以获取第一图像帧序列和第二图像帧序列中的多个图像帧对。

可选的，如下表四所示，第一图像帧序列和第二图像帧序列中的图像帧的序列号也可以并非均从相同的序列号开始标记，如第一图像帧序列中的图像帧的序列号从1开始标记，而第二图像帧序列中的序列号可以从10'开始标记：

表四

对应的，本实施例中也可以采用相同的方式获取第一图像帧序列和第二图像帧序列中的多个图像帧对。

示例性的，第一图像帧序列中图像帧1和图像帧3之间丢了一个图像帧，对应的，第二图像帧序列中图像帧10'和图像帧12'之间也丢了一个图像帧，即确定第一图像帧序列和第二图像帧序列发生一致丢帧。对应的，图像帧3和图像帧5之间未发生丢帧，以及图像帧12'与图像帧14'之间未发生丢帧，则可以将图像帧1和图像帧10'作为一个图像帧对、图像帧3和图像帧12'作为一个图像帧对、图像帧4和图像帧13'作为一个图像帧对，以及将图像帧5和图像帧14'作为一个图像帧对。

进一步的，图像帧5和图像帧8之间丢了两个图像帧，而第二图像帧序列中图像帧14'和图像帧16'之间丢了一个图像帧，即确定第一图像帧序列和第二图像帧序列发生不一致丢帧。对应的，由于第一图像帧序列中与图像帧16'对应的图像帧已经丢弃，则图像帧16'不能形成图像帧对。

S803，根据每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个图像帧对中的图像帧进行对齐处理。

其中，采用上述序列号的方式可以对第一图像帧序列和第二图像帧序列中的对齐的图像帧进行粗确定，但由于左相机和右相机内部时钟的原因，其可能存在误差，该粗确定的图像帧对中的图像帧可能并非真正对齐的图像帧，因此需要进一步验证粗确定的多个图像帧对是否为真正的对齐的图像帧。

本实施例中，可以预先设置第一预设时间戳差值，采用该第一预设时间戳差值对上述获取的多个图像帧对进行验证。可选的，第一预设时间戳差值可以为根据用户经验设置的，也可以是根据该左相机和右相机拍摄的历史图像帧序列中的时间戳差值确定的。本实施例中对如何设置第一预设时间戳差值的方式不做限制。

应理解，以左相机为例，左相机在拍摄图像帧时，可以对图像帧进行时间戳标记，如上述表二所示。对应的，图像处理装置可以得到第一图像帧序列中的每个第一图像帧的时间戳，以及，第二图像帧序列中的每个第二图像帧的时间戳；进一步的，还可以得到每个图像帧对中的第一图像帧的时间戳和第二图像帧的时间戳。进而能够获取每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值。

本实施例中，可以将每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，与第一预设时间戳差值进行比较。

可选的，本实施例中可以将小于第一预设时间戳差值的第一时间戳差值对应的图像帧对中的第一图像帧和第二图像帧作为对齐的图像帧。

可选的，本实施例中可以将大于第一预设时间戳差值的第一时间戳差值对应的图像帧对删除，确定该图像帧对为非对齐的图像帧对。

S804，根据对齐处理后的图像帧，执行图像帧业务。

本实施例中，图像处理装置根据对齐处理后的图像帧，执行图像帧业务。其中，根据业务类型的不同，可以执行不同的业务。

示例性的，该双目相机应用在自动驾驶的场景中，需要执行的业务为识别图像帧中的目标对象(如车道线、其他车辆)，则可以根据对齐处理后的图像帧，对其中的目标对象进行识别并标注。

示例性的，该双目相机应用在自动驾驶的场景中，需要执行的业务为确定与目标对象的距离，则可以将对齐处理后的图像帧，依据现有技术中的距离确定方法获取双目相机与目标对象的距离。

应理解，本实施例中对业务业务的类型不做限制。

在一种可能的实施方式中，上述S802-S804为消费者线程中的流程。

本申请提供一种图像处理方法、装置、电子设备、存储介质和系统，该方法包括：获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：第一图像帧序列中的一个第一图像帧，以及第二图像帧序列中与该第一图像帧对应的第二图像帧；根据每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个图像帧对中的图像帧进行对齐处理；根据对齐处理后的图像帧，执行图像帧业务。本实施例中提供的图像处理方式，根据图像帧的序列号和时间戳确定对齐的图像帧，不需要借助现有技术中的同步设备使得左相机和右相机的内部时钟同步，可以适用于任何双目相机，适用范围广。

在上述实施例的基础上，下面结合图9对本申请提供的图像处理方法中的第一预设时间戳差值的获取方式，以及对每个图像帧对中的图像帧进行对齐处理的方式进项详细说明。图9为本申请提供的图像处理方法的流程示意图二。如图9所示，本实施例提供的图像处理方法可以包括：

S901，对左相机和右相机同时加电。

本实施例中为了保证左相机和右相机同步开机、同步触发，以使得两个相机的内部时钟的second_count和cycle_count基本一致，相差不会很大，以此确定准确的第一预设时间戳差值diff，以提高对图像帧对齐处理的准确性。

S902，获取第二时间段内左相机以第二帧率拍摄的第三图像帧序列，以及右相机以第二帧率拍摄的第四图像帧序列，第二帧率小于第一帧率。

本实施例中的第二时间段为对左相机和右相机同时加电后的时间段。值得注意的是，本实施例中的第一图像帧序列是左相机以第一帧率拍摄的，第二图像帧序列是右相机以第一帧率拍摄的。

图像处理装置可以获取第二时间段内左相机以第二帧率拍摄的第三图像帧序列，以及右相机以第二帧率拍摄的第四图像帧序列。其中左相机、右相机拍摄第三图像帧序列、第四图像帧序列的方式，可以参照上述拍摄第一图像帧序列、第二图像帧序列的方式。

应注意，本实施例中的第三图像帧序列是左相机以第二帧率拍摄的，第四图像帧序列是右相机以第二帧率拍摄的。

本实施例中设置第二帧率小于第一帧率，目的是为了获取准确的第一预设时间戳差值diff。因为在低帧率下相机拍摄图像帧时，丢帧的几率很小，左相机和右相机拍摄的所有的图像帧几乎是对齐的，因此可以获取准确的第一预设时间戳差值diff。可选的，第二帧率可以为第一帧率的70％，第一帧率可以为满帧帧率。

可选的，本实施例中的第二时间段可以为3s-10s。

S903，根据第三图像帧序列中每个第三图像帧的时间戳，以及第四图像帧序列中每个第四图像帧的时间戳，获取第一预设时间戳差值。

本实施例中，因为第三图像帧序列和第四图像帧序列是以第二帧率拍摄的，其中的丢帧率很小，据此可以根据第三图像帧序列中每个第三图像帧的时间戳，以及第四图像帧序列中每个第四图像帧的时间戳，获取第一预设时间戳差值。

可选的，本实施例中可以根据每个第三图像帧的序列号和每个第四图像帧的序列号，获取第三图像帧序列和第四图像帧序列中的对齐帧，以及每个对齐帧的第二时间戳差值，将所有的对齐帧的第二时间戳差值的均值作为第一预设时间戳差值diff。

可选的，图10为本申请提供的获取第一预设时间戳差值的流程示意图。如图10所示，本实施例中为了进一步提高获取的第一预设时间戳差值diff，可以采用如下方式：

S9031，判断第三图像帧序列和第四图像帧序列中的丢帧率是否小于丢帧率阈值；若是，执行S9032，若否，则执行S9034。

本实施例中，可以根据第三图像帧序列中每个第三图像帧的序列号，以及第四图像帧序列中每个第四图像帧的序列号，获取第三图像帧序列和第四图像帧序列中的图像的丢帧率。

如上表三所示，假设第二时间段为3s，以第二帧率左相机可以拍摄20个图像帧，但最终获取的图像帧为15个，则确定左相机拍摄的第三图像帧序列的丢帧率为25％。

本实施例中可以预先设置丢帧率阈值。分别获取第三图像帧序列和第四图像帧序列中的丢帧率后，判断第三图像帧序列和第四图像帧序列中的丢帧率是否小于丢帧率阈值。可选的，本实施例中的丢帧率阈值可以为50％。当第三图像帧序列和第四图像帧序列中的丢帧率大于50％时，确定双目相机存在严重不稳定性隐患。

S9032，根据每个第三图像帧的序列号和每个第四图像帧的序列号，获取第三图像帧序列和第四图像帧序列中的对齐帧，以及每个对齐帧的第二时间戳差值。

其中，在确定第三图像帧序列和第四图像帧序列中的丢帧率均小于丢帧率阈值时，可以根据每个第三图像帧的序列号和每个第四图像帧的序列号，获取第三图像帧序列和第四图像帧序列中的对齐帧。其中，对齐帧的获取方式可以参照上述实施例中的获取多个图像帧对的方式，在此不做赘述。

本实施例中，在获取第三图像帧序列和第四图像帧序列中的对齐帧，可以根据每个对齐帧中的第三图像帧的时间戳和第四图像帧的时间戳，获取每个对齐帧的第二时间戳差值。

S9033，根据每个对齐帧的第二时间戳差值，获取第一预设时间戳差值。

可选的，可以将每个对齐帧的第二时间戳差值的均值作为第一预设时间戳差值。

相机内部的时钟漂移会随着时间逐渐累积，进而导致左相机和右相机拍摄的图像帧之间的时间戳差值会越来越大。本实施例中为了提高获取的第一预设时间戳差值diff的准确性，若每个对齐帧的第二时间戳差值均小于第二预设时间戳差值，则可以将时间最晚的对齐帧的第二时间戳差值作为第一预设时间戳差值。因为最晚的对齐帧的第二时间戳差值为所有的对齐帧的第二时间戳差值中的最大值，可以起到很好的标准的作用，以此验证第一图像帧序列和第二图像帧序列中的图像帧对是否为真正对齐的图像帧。

S9034，停止。

当第三图像帧序列或第四图像帧序列中的丢帧率大于50％时，确定双目相机存在严重不稳定性隐患，停止拍摄。

S904，获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列。

其中，第一时间段为第二时间段之后的时间段。

S905，根据每个第一图像帧的序列号和每个第二图像帧的序列号，保留第一图像帧序列和第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列。

本实施例中在获取第一图像帧序列、第二图像帧序列以及第一预设时间戳差值后，可以根据每个第一图像帧的序列号和每个第二图像帧的序列号，删除第一图像帧序列和第二图像帧序列中的不一致丢帧的图像帧，并保留第一图像帧序列和第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列。

例如删除上述表三中第二图像帧序列中的图像帧7'，保留第一图像帧序列和第二图像帧序列中的对齐帧，即对齐帧分比为：图像帧1和图像帧1'、图像帧3和图像帧3'、图像帧4和图像帧4'，以及图像帧5和图像帧5'。对应的，得到的处理后的第一图像帧序列和处理后的第二图像序列可以如下表五所示：

表五

左相机(处理后的第一图像帧序列)	右相机(处理后的第二图像帧序列)
		图像帧1	图像帧1'
图像帧3	图像帧3'
		图像帧4	图像帧4'
图像帧5	图像帧5'

其中，处理后的第一图像帧序列为图像帧1、图像帧3、图像帧4，以及图像帧5，处理后的第二图像序列为图像帧1'、图像帧3'、图像帧4'，以及图像帧5'。

S906，按照序列号顺序，确定处理后的第一图像帧序列中的每个图像帧在处理后的第二图像帧序列中对应的图像帧，得到多个图像帧对。

本实施例中，如上表五所示，按照序列号顺序，确定处理后的第一图像帧序列中的每个图像帧处理后的第二图像帧序列中对应的图像帧，即处理后的第一图像帧序列中的图像帧1在处理后的第二图像帧序列中对应的图像帧为图像帧1'，以此类推，可以得到多个图像帧对，分别为：图像帧1和图像帧1'、图像帧3和图像帧3'、图像帧4和图像帧4'，以及图像帧5和图像帧5'。

S907，获取每个图像帧对中的第一时间戳差值和第一预设时间戳差值的第三时间戳差值。

其中，本实施例中可以根据每个图像帧对中的第一时间戳差值和第一预设时间戳差值的第三时间戳差值。该获取第三时间戳差值的方式可以参照上述实施例中获取第一时间戳差值的方式，在此不做赘述。

S908，将第三时间戳差值大于第一预设时间戳差值对应的图像帧对删除，且将第三时间戳差值小于或等于第一预设时间戳差值对应的图像帧对作为对齐帧。

本实施例中，将上述每个图像帧对中的第一图像帧和第二图像帧对齐的方式为：将第三时间戳差值大于第一预设时间戳差值对应的图像帧对删除，且将第三时间戳差值小于或等于第一预设时间戳差值对应的图像帧对作为对齐帧，即最终获取的为对齐的图像帧，对齐的图像帧的第三时间戳差值小于或等于第一预设时间戳差值。

S909，将对齐处理后的图像帧对发送给业务处理设备，以使业务处理设备根据对齐处理后的图像帧执行业务。

应理解，本实施例中的S904、S909中的实施方式可以参照上述实施例中的S801、S804中的相关描述，在此不做赘述。

在一种可能的实施方式中，上述S901-S909为主线程中的流程。

现有技术中的相机的曝光范围是确定的，例如相机的曝光范围为[S1，S2]，其中的上界S2和下界S1是确定的，当遇到环境中的亮度发生较大变化时，成像会发生过曝或欠曝情况，导致成像质量不佳。本实施例中为了解决该问题，可以在拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列之前，获取当前拍摄环境的亮度，根据当前拍摄环境的亮度，确定相机曝光范围。

可选的，本实施例中的相机均设置有感光模块，可以用于获取当前拍摄环境的亮度。对应的，图像处理装置中可以预先设置有不同的拍摄环境的亮度与相机曝光范围的对应关系，根据该对应关系可以确定当前拍摄环境的亮度下对应的相机曝光范围。

据此，可以控制左相机和右相机均以相机曝光范围，分别拍摄第一图像帧序列、第二图像帧序列，以提高获取的图像帧序列的成像质量。本实施例中的相机的曝光范围可以适应环境中的亮度的变化，设置一个自动化的快门曝光范围[s1,s2]，s1和s2可以根据当前拍摄环境的亮度设置。

在该种情况下，例如黄昏时，或者天气由晴变阴或者由阴变晴，或者车在行驶时走进不同亮度的拍摄环境时，自动调整s1和s2，让成像质量更高，便于双目立体视觉后续流程例如立体匹配环节的使用。

同理的，可以左相机在拍摄的第三图像帧序列和右相机拍摄的第四图像帧序列之前，获取当前拍摄环境的亮度，根据当前拍摄环境的亮度，确定相机曝光范围。对应的，图像处理装置可以控制左相机和右相机均以该相机曝光范围，分别拍摄第三图像帧序列、第四图像帧序列，以提高获取的图像帧序列的成像质量。

本实施例中，获取在对左相机和右相机加电后的第二时间段内左相机以第二帧率拍摄的第三图像帧序列，以及右相机以第二帧率拍摄的第四图像帧序列。其中设置第二帧率小于第一帧率，目的是为了获取准确的第一预设时间戳差值diff。因为在低帧率下相机拍摄图像帧时，丢帧的几率很小，左相机和右相机拍摄的所有的图像帧几乎是对齐的，可以获取准确的第一预设时间戳差值diff，进一步可以提高对图像帧对进行对齐处理的准确性。另，本实施例中还可以适应环境中的亮度的变化，控制左相机和右相机以与亮度对应的曝光范围进行拍摄，可以提高图像帧的成像质量，进一步便于图像在双目立体视觉后续流程中的使用。

图11为本申请提供的图像处理装置的结构示意图。如图11所示，该图像处理装置1100包括：第一处理模块1101、第二处理模块1102和亮度获取模块1103。

第一处理模块1101，用于获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；根据第一图像帧序列中每个第一图像帧的序列号和第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：第一图像帧序列中的一个第一图像帧，以及第二图像帧序列中与该第一图像帧对应的第二图像帧；根据每个图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个图像帧对中的图像帧进行对齐处理，以及根据对齐处理后的图像帧，执行图像帧业务。

可选的，第一图像帧序列是左相机以第一帧率拍摄的，第二图像帧序列是右相机以第一帧率拍摄的。

可选的，图像处理装置还包括：第二处理模块1102；

第二处理模块1102，用于对左相机和右相机同时加电；获取第二时间段内左相机以第二帧率拍摄的第三图像帧序列，以及右相机以第二帧率拍摄的第四图像帧序列，第二帧率小于第一帧率；根据第三图像帧序列中每个第三图像帧的时间戳，以及第四图像帧序列中每个第四图像帧的时间戳，获取第一预设时间戳差值。

可选的，第二处理模块1102，具体用于判断第三图像帧序列和第四图像帧序列中的丢帧率是否小于丢帧率阈值；若是，则根据每个第三图像帧的序列号和每个第四图像帧的序列号，获取第三图像帧序列和第四图像帧序列中的对齐帧，以及每个对齐帧的第二时间戳差值；根据每个对齐帧的第二时间戳差值，获取第一预设时间戳差值。

可选的，第二处理模块1102，具体用于若每个对齐帧的第二时间戳差值均小于第二预设时间戳差值，则将时间最晚的对齐帧的第二时间戳差值作为第一预设时间戳差值。

可选的，第一处理模块1101，具体用于根据每个第一图像帧的序列号和每个第二图像帧的序列号，保留第一图像帧序列和第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列；按照序列号顺序，确定处理后的第一图像帧序列中的每个图像帧在处理后的第二图像帧序列中对应的图像帧，得到多个图像帧对。

可选的，第一处理模块1101，具体用于获取每个第一时间戳差值和第一预设时间戳差值的第三时间戳差值；将第三时间戳差值大于第一预设时间戳差值对应的图像帧对删除，且将第三时间戳差值小于或等于第一预设时间戳差值对应的图像帧对作为对齐帧。

可选的，图像处理装置还包括：亮度获取模块1103；

亮度获取模块1103，用于获取当前拍摄环境的亮度；

第一处理模块1101，还用于根据当前拍摄环境的亮度，确定相机曝光范围；控制左相机和右相机均以相机曝光范围，分别拍摄第一图像帧序列、第二图像帧序列。

本实施例提供的图像处理装置与上述图像处理方法实现的原理和技术效果类似，在此不作赘述。

图12为本申请提供的电子设备的结构示意图。电子设备例如可以是终端设备，比如智能手机、平板电脑、计算机等。如图12所示，该电子设备1200包括：存储器1201和至少一个处理器1202。

存储器1201，用于存储程序指令。

处理器1202，用于在程序指令被执行时实现本实施例中的图像处理方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。

该电子设备1200还可以包括及输入/输出接口1203。

输入/输出接口1203可以包括独立的输出接口和输入接口，也可以为集成输入和输出的集成接口。其中，输出接口用于输出数据，输入接口用于获取输入的数据，上述输出的数据为上述方法实施例中输出的统称，输入的数据为上述方法实施例中输入的统称。

本申请中还提供一种图像处理系统。图13为本申请提供的图像处理系统的结构示意图。如图13所示，该图像处理系统1300中包括如上述图11所述的用于执行上述图8-图10中的图像处理方法的图像处理装置1100或图12所示的电子设备1200，以及由左相机和右相机组成的双目相机。

应理解，本申请提供的图像处理系统与上述图像处理方法实现的原理和技术效果类似，在此不作赘述。

本申请还提供一种可读存储介质，可读存储介质中存储有执行指令，当电子设备的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的图像处理方法。

本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的图像处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在上述图像处理装置的实施例中，应理解，处理模块可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种图像处理方法，其特征在于，应用于车辆上的图像处理装置，所述方法包括：

获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列；所述左相机和所述右相机设置在所述车辆上；

根据所述第一图像帧序列中每个第一图像帧的序列号和所述第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：所述第一图像帧序列中的一个第一图像帧，以及所述第二图像帧序列中与该第一图像帧对应的第二图像帧；

根据每个所述图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个所述图像帧对中的图像帧进行对齐处理；

根据对齐处理后的图像帧，执行图像帧业务；

所述根据所述第一图像帧序列中每个第一图像帧的序列号和所述第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，包括：

根据每个所述第一图像帧的序列号和每个所述第二图像帧的序列号，保留所述第一图像帧序列和所述第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列；按照序列号顺序，确定所述处理后的第一图像帧序列中的每个图像帧在所述处理后的第二图像帧序列中对应的图像帧，得到所述多个图像帧对。

2.根据权利要求1所述的方法，其特征在于，所述第一图像帧序列是所述左相机以第一帧率拍摄的，所述第二图像帧序列是所述右相机以所述第一帧率拍摄的；

所述获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列之前，还包括：

对所述左相机和所述右相机同时加电；

获取第二时间段内所述左相机以第二帧率拍摄的第三图像帧序列，以及所述右相机以所述第二帧率拍摄的第四图像帧序列，所述第二帧率小于所述第一帧率；

根据所述第三图像帧序列中每个第三图像帧的时间戳，以及所述第四图像帧序列中每个第四图像帧的时间戳，获取所述第一预设时间戳差值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第三图像帧序列中每个第三图像帧的时间戳，以及所述第四图像帧序列中每个第四图像帧的时间戳，获取所述第一预设时间戳差值，包括：

判断所述第三图像帧序列和所述第四图像帧序列中的丢帧率是否小于丢帧率阈值；

若是，则根据每个所述第三图像帧的序列号和每个所述第四图像帧的序列号，获取所述第三图像帧序列和所述第四图像帧序列中的对齐帧，以及每个所述对齐帧的第二时间戳差值；

根据每个所述对齐帧的第二时间戳差值，获取所述第一预设时间戳差值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据每个所述图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个所述图像帧对中的图像帧进行对齐处理，包括：

获取每个所述第一时间戳差值和所述第一预设时间戳差值的第三时间戳差值；

将第三时间戳差值大于所述第一预设时间戳差值对应的图像帧对删除，且将第三时间戳差值小于或等于所述第一预设时间戳差值对应的图像帧对作为对齐帧。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列之前，还包括：

获取当前拍摄环境的亮度；

根据所述当前拍摄环境的亮度，确定相机曝光范围；

控制所述左相机和所述右相机均以所述相机曝光范围，分别拍摄所述第一图像帧序列、所述第二图像帧序列。

6.一种图像处理装置，其特征在于，所述图像处理装置应用于车辆，所述装置包括：

第一处理模块，用于获取第一时间段内左相机拍摄的第一图像帧序列和右相机拍摄的第二图像帧序列，并根据所述第一图像帧序列中每个第一图像帧的序列号和所述第二图像帧序列中每个第二图像帧的序列号，获取多个图像帧对，每个图像帧对中包括：所述第一图像帧序列中的一个第一图像帧，以及所述第二图像帧序列中与该第一图像帧对应的第二图像帧，以及，根据每个所述图像帧对中第一图像帧的时间戳和第二图像帧的时间戳的第一时间戳差值，以及第一预设时间戳差值，对每个所述图像帧对中的图像帧进行对齐处理，并根据对齐处理后的图像帧，执行图像帧业务；所述左相机和所述右相机设置在所述车辆上；

所述第一处理模块，具体用于：根据每个所述第一图像帧的序列号和每个所述第二图像帧的序列号，保留所述第一图像帧序列和所述第二图像帧序列中的对齐帧，得到处理后的第一图像帧序列和处理后的第二图像序列；按照序列号顺序，确定所述处理后的第一图像帧序列中的每个图像帧在所述处理后的第二图像帧序列中对应的图像帧，得到所述多个图像帧对。

7.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-5任一项所述的方法。

9.一种图像处理系统，其特征在于，包括：如上权利要求6所述的图像处理装置或如上权利要求7所述的电子设备，以及由左相机和右相机组成的双目相机。

Images