CN103973989A - 获取高动态图像的方法及系统 - Google Patents

Abstract

本发明提出了一种获取高动态图像的方法及系统。其中，该系统包括双目摄像机和计算机，所述双目摄像机包括同向紧挨设置的长曝光摄像头、短曝光摄像头，长曝光摄像头和短曝光摄像头通过数据线与计算机连接。长曝光摄像头以长曝光快门时间获取长曝光道路场景图像；短曝光摄像头以短曝光快门时间获取短曝光道路场景图像；计算机获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像的处理获得高动态图像。本发明的方法及系统由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度，因此能够降低由摄像机的运动而导致的运动模糊。

Description

获取高动态图像的方法及系统

技术领域

本发明涉及图像处理领域，特别涉及车载运动场景下由双目摄像机实现的获取高动态图像的方法及系统。

背景技术

有些场景中某些区域的亮度差异较大，有些区域较亮，而另一部分区域则较暗，摄像机在普通曝光拍摄这个场景时，无法同时获取那些区域的纹理信息，解决办法是使用高动态技术来控制摄像机的拍摄方式，使用动态非线性方式来记录环境中额亮度信息，使所拍摄图像包含更广阔的亮度信息，这就是高动态图像。

目前，一般是利用单个摄像机在时间上先后进行长曝光和短曝光而分别获取长曝光道路场景图像和短曝光道路场景图像，再将所获得的长曝光道路场景图像与短曝光道路场景图像进行合成来获取高动态图像。

现有的使用单个摄像机在时间序列上变换曝光来获取高动态图像的方法，由于是通过感光像素阵列进行时间上的长、短积分时间复位和读出来实现的，即分别进行长曝光时间和短曝光时间。那么，合成一张高动态图像的曝光时应为长曝光时间与短曝光时间之和，总的曝光时间过长，该单个摄像机的运动易产生运动模糊。

此外，现有的使用单个摄像机所采用的图像融合技术主要为区域的像素融合，容易造成合成图像的光流不平滑，不自然；对合成图像的后续处理技术较少，不能适合不同亮度的环境；运动补偿技术未考虑空间位置信息，不能进行较大位置变换的运动补偿。

发明内容

为了克服以上由单个摄像机在曝光时长引起的运动模糊的缺陷，本发明提出了一种可用于车载双目摄像机获取高动态图像的方法及系统，特别是可适用于车载运动场景下双目摄像机获取高动态图像的方法及系 统。这里所述的双目摄像机可以由两个独立摄像机（其中两个独立摄像机分别具有长曝光摄像头和短曝光摄像头）组成，或者是一体式双目摄像机（同时具有长曝光摄像头和短曝光摄像头）。

一方面，本发明提出了一种双目摄像机获取高动态图像的方法，包括：获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为t_l的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为t_s的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

进一步地，所述分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，包括：对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；根据所述第n帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。

进一步地，当n*t_l/t_s为非整数时，在所述分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差之后，还包括：对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。

进一步地，所述对所述第m帧有效短曝光道路场景图像进行运动补偿，包括：根据所述第n帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。

进一步地，依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及第n帧合成图像的直方图，调整t_l、t_s和W，其中当n为1时，t_l、t_s和W分别为其初始值。

第二方面，本发明提出了一种获取高动态图像的系统，包括：双目摄像机和计算机，所述双目摄像机包括同向紧挨设置的长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述计算机连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；所述长曝光摄像头以曝光快门时间t_l获取长曝光道路场景图像；所述短曝光摄像头以曝光快门时间t_s获取短曝光道路场景图像；所述计算机获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第n帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1。

进一步地，所述计算机基于对所述第n帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，包括：所述计算机对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；所述计算机根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述 道路平面的直线斜率；所述计算机依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；所述计算机对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

进一步地，当n*t_l/t_s为非整数时，所述计算机对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；所述计算机根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；所述计算机根据所述第n帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像；所述计算机依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；所述计算机对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

进一步地，所述计算机对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，包括：所述计算机利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正。

进一步地，在获取所述第n帧高动态图像之后，所述计算机依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及第n帧合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s分别提供给所述长曝光 摄像头和所述短曝光摄像头；其中当n为1时，t_l、t_s和W分别为其初始值。

第三方面，本发明提出了一种获取高动态图像的装置，包括：获取单元、校正单元、合成单元和均衡化处理单元。其中，获取单元用于获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为t_l的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为t_s的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；校正单元用于分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；合成单元用于依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；均衡化处理单元用于对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

此外，本发明的装置还可以包括：运动补偿单元，用于当n*t_l/t_s为非整数时，在所述合成单元进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。

进一步地，本发明的装置还可以包括：调整单元，依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s提供给长曝光摄像头和短曝光摄像头。同样地，当n为1时，t_l、t_s和W可以分别为其初始值。

第四方面，本发明提出了一种获取高动态图像的系统，包括：双目摄像机和如第三方面及其各实施方式中的获取高动态图像的装置，所述双目摄像机包括同向紧挨设置的长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述装置连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；所述长曝光摄像头以曝光快门时间t_l获取长曝光道路场景图 像；所述短曝光摄像头以曝光快门时间t_s获取短曝光道路场景图像；所述装置获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第n帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1。

进一步地，获取高动态图像的装置包括：获取单元、校正单元、合成单元和均衡化处理单元；还可以包括：运动补偿单元和/或调整单元。其中：

获取单元用于获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为tl的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为ts的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；

校正单元用于分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；

合成单元用于依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

均衡化处理单元用于对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像；

运动补偿单元用于当n*t_l/t_s为非整数时，在所述合成单元进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差；

调整单元依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s提供给长曝光摄像头和短曝光摄像头。同样地，当n为1时，t_l、t_s和W可以分别为其初始值。

由此可见，本发明采用多线程异步拍摄图像，以最长曝光时间内各 摄像头最后拍摄的图像作为计算机的输入图像，从而可以减少拍摄时间间隔。

此外，本发明的方法及系统在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。

进一步地，本发明的方法和系统还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明的获取高动态图像的系统的结构示意图。

图2示出了根据本发明的获取高动态图像的方法的流程图。

图3示出了根据本发明的获取高动态图像的装置的结构示意图。

图4示出了根据本发明具体实施例的获取高动态图像的方法的流程图。

图5a和图5b为本发明具体实施例的使用V视差图像消除合成误差的视图。

图6示出了本发明具体实施例中所使用的透射变换示意图。

图7示出了本发明具体实施例所使用的车辆运动学弥补示意图。

图8a示出了本发明具体实施例的直方图分析示意图，图8b、图8c、图8d分别为图8a所示直方图分析示意图中的相应的合成图像直方图，短曝光道路场景图像直方图，长曝光道路场景图像直方图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施 例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

根据本发明的获取高动态图像的系统包括计算机（例如，可以是满足车载振动环境条件要求的车载计算机或嵌入式微计算机）和双目摄像机。该双目摄像机通过数据线与该计算机进行数据通讯。这里，双目摄像机可以由两个单目摄像机组成。容易想到，所述双目摄像机也可以是由两个摄像机一体式形成的双目摄像机。其中，双目摄像机中的长曝光摄像头和短曝光摄像头须并排紧挨放置，且光轴近似平行，其结构示意图如图1所示。在该系统中，该双目摄像机优选地具有同型号的曝光值可调整的电子摄像头。

将双目摄像机的两个摄像头并排紧挨放置在车辆上，摄像头的光轴近似平行。其中，一个摄像头负责获取车辆所行驶的道路的长曝光图像（以下称“长曝光道路场景图像”），曝光快门时间为t_l，另一个摄像头负责获取道路的短曝光图像（以下称“短曝光道路场景图像”），曝光快门时间为t_s。为了方便描述，称获取长曝光道路场景图像的摄像头为长曝光摄像头，称获取短曝光道路场景图像的摄像头为短曝光摄像头。

也就是说，根据本发明的获取高动态图像的系统包括双目摄像机和计算机，该双目摄像机包括长曝光摄像头和短曝光摄像头，该长曝光摄像头和该短曝光摄像头均通过数据线与该计算机连接，其中长曝光摄像头以曝光快门时间t_l获取长曝光道路场景图像；短曝光摄像头以曝光快门时间t_s获取短曝光道路场景图像；计算机获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像的处理获得高动态图像，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1。

由此可见，本发明采用多线程异步拍摄图像，以最长曝光时间内各摄像头最后拍摄的图像作为计算机的输入图像，从而可以减少拍摄时间间隔。

如上所述，为了获得高动态图像，计算机可以对第n帧长曝光道路场 景图像以及第m帧短曝光道路场景图像进行合成及直方图均衡化等处理。在对图像进行合成之前，需要消除两幅图像之间的合成误差。例如，本发明中利用图像双目校正以及V视差图像中的道路直线来指导线性切向变形，进而分别消除不同摄像机间的静态纵向合成误差及静态横向合成误差。

具体而言，计算机可以对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；然后，再根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对第n帧有效长曝光像素区域或第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的第n帧有效长曝光像素区域或变形后的第m帧有效短曝光像素区域的边缘斜率为V视差图像中道路平面的直线斜率。至此，长、短曝光道路场景图像之间的静态合成误差被消除。

此外，为了获取质量更优的高动态图像，合成的图像应尽量同步。若合成的两幅图像在时间上不同步，则需要对其中的一幅图像进行运动补偿，以确保需要合成的两幅图像之间的同步性。本发明使用透射变换将摄像机获取的图像投影到道路平面，使用运动学模型进行位置转换，再进行逆透射变换回摄像机图像，进而消除不同时刻所拍摄的图像间的动态合成误差。

也就是说，当n*t_l/t_s为非整数时，在分别将第n帧长曝光道路场景图像和第m帧短曝光道路场景图像消除静态合成误差之后，还可以对第m帧有效短曝光道路场景图像进行运动补偿，以消除第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像之间的动态合成误差。

具体而言，计算机根据第n帧长曝光道路场景图像与第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。

由此，依据合成图像是否同步，可以将计算机的实现的处理概况为以下两个实施例。

在第一实施例中，计算机首先对第n帧长曝光道路场景图像和第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；接着，根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对第n帧有效长曝光像素区域或第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧长曝光道路场景图像或第m帧短曝光道路场景图像，其中变形后的第n帧有效长曝光像素区域或变形后的第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；然后，依据权重W，合成第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像，以生成第n帧合成图像；最后，对第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。以上步骤适于当n*t_l/t_s为整数的场合，即输入计算机的第n帧长曝光道路场景图像和第m帧短曝光道路场景图像同步，因此无需进行运动补偿。由此，本发明使用双目校正和V视差图像中的道路直线来指导线性切向变形，进而消除不同摄像机间的静态合成误差。

在第二实施例中，当n*t_l/t_s为非整数时，即输入计算机的第n帧长曝光道路场景图像和第m帧短曝光道路场景图像存在拍摄时间间隔。于是，计算机首先对第n帧长曝光道路场景图像和第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；接着，根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对第n帧有效长曝光像素区域或第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧长曝光道路场景图像或第m帧短曝光道路场景图像，其中变形后的第n帧有效长曝光像素区域或变形后的第m帧有效短曝光像素区域的边缘斜率为V视差图像中道路平面的直线斜率；然后，根据第n帧长曝光道路场景图像与第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将第 m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像；进一步地，依据权重W，合成第n帧有效长曝光道路场景图像和m帧有效短曝光道路场景图像，以生成第n帧合成图像；最后，对第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

以上，计算机通过利用长曝光摄像头和短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对第n帧长曝光道路场景图像和第m帧短曝光道路场景图像进行去畸变及校正，以实现对第n帧长曝光道路场景图像和第m帧短曝光道路场景图像分别进行双目校正。

由上可知，合成图像是通过设定合成权值，以整幅图像为单位进行图层级的合成，进而使合成图像的光流更加平滑自然。此外，本发明中需要对合成图像进行直方图均衡化的灰度映射处理，从而提高输出的合成图像的清晰度。

合成图像后，对长、短曝光道路场景图像和合成图像的各自的直方图进行分析，获取主要灰度区域范围。依据长、短曝光道路场景图像两直方图中间无间隙原则、长、短曝光道路场景图像两直方图距离两端灰度范围尽可能小原则、长、短曝光道路场景图像两直方图宽度限定原则和经验公式对各摄像头的曝光控制参数（曝光快门时间t_l和t_s）和合成权值进行反馈调节，进而提高各摄像头的环境适应性。

这里所述的经验公式可通过如下方式得到：先进行大量人工手动调节实验，记录人为调整的最佳效果的相关参数，对这些参数进行统计记录，再通过数据分析拟合，从而确定公式中的相关参数。图像调整的最佳效果可通过三种方式确定：一是简单的人为评价，即通过人眼直观评价；二是量化评价，即使用相关的图像评价参数（如峰值信噪比（PSNR，Peak Signal to Noise Ratio））；三是前两者评价方法结合。

具体而言，在获取第n帧高动态图像之后，计算机依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及第n帧合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s分别提供给长曝光摄像头和短 曝光摄像头。接着，长曝光摄像头和短曝光摄像头则利用调整后的t_l和t_s（例如，记为t_l’和t_s’）进行拍摄，以便将第(n+1)帧长曝光道路场景图像以及第[(n+1)*t_l’/t_s’]帧短曝光道路场景图像提供给计算机。容易理解，当n为1时，t_l、t_s和W可以分别为其设定的初始值。

综上所述，本发明的系统由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度，因此能够降低由摄像机的运动而导致的运动模糊。

此外，本发明的系统在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。

进一步地，本发明的系统还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。

下面，参考图2，详细描述根据本发明的获取高动态图像的方法的流程。

如图2所示，获取高动态图像的方法包括以下步骤：

步骤21，获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为t_l的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为t_s的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；

步骤22，分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；

步骤23，依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

步骤24，对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

由此可见，本发明的方法由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度因此能够降低由摄像机的运动 而导致的运动模糊。

进一步地，当n*t_l/t_s为非整数时，在分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差之后，本发明的方法还可以包括步骤25，即对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。

具体而言，对所述第m帧有效短曝光道路场景图像进行运动补偿是指：根据所述第n帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。

进一步地，在步骤22中，分别对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差是指：分别对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态纵向合成误差和静态横向合成误差。

其中，消除静态纵向合成误差的步骤是：对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域。这里，可以利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正，以实现第n帧长曝光道路场景图像和第m帧短曝光道路场景图像的双目校正。

其中，消除静态横向合成误差的步骤是：根据所述第n帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所 述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。

进一步地，在获取到第n帧高动态图像之后，本发明的方法还可以包括步骤26，即依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整tl、ts和W，其中当n为1时，tl、ts和W分别为其初始值。

由上可知，本发明的方法在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。进一步地，本发明的方法还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。

在图3中，获取高动态图像的装置30包括获取单元31、校正单元32、合成单元33和均衡化处理单元34。其中，

获取单元31用于获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为t_l的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为t_s的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；

校正单元32用于分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；

合成单元33用于依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

均衡化处理单元34用于对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

此外，在图3所示的获取高动态图像的装置30中，还可以包括运动补偿单元35，用于当n*t_l/t_s为非整数时，在所述合成单元34进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。

进一步地，运动补偿单元35可以根据所述第n帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。

此外，校正单元32可以包括纵向校正子单元和横向校正子单元。其中，纵向校正子单元可以对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域。这里，纵向校正子单元可以利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正，以实现双目校正。接着，横向校正子单元可以根据所述第n帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。

进一步地，在图3所示的获取高动态图像的装置30中，除了以上单元，获取高动态图像的装置30还可以包括调整单元36，以便依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s提供给长曝光摄像头和短曝光摄像头。同样地，当n为1时，t_l、t_s和W可以分别为其初始值。

综上所述，本发明的获取高动态图像的装置由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度因此能够降低由摄像机的运动而导致的运动模糊。此外，在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。进一步地，还可 以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。

据此，本发明提出了一种获取高动态图像的系统，如图3所示，包括双目摄像机和如上所述的获取高动态图像的装置30，所述双目摄像机包括同向紧挨设置的长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述装置连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；所述长曝光摄像头以曝光快门时间t_l获取长曝光道路场景图像；所述短曝光摄像头以曝光快门时间t_s获取短曝光道路场景图像；所述装置30获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第n帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1。

这里，获取高动态图像的装置30可以车载计算机的形态呈现，也可以是包括以下部件的形态呈现：

获取单元用于获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为t_l的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为t_s的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；

校正单元用于分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；

合成单元用于依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

均衡化处理单元用于对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像；

运动补偿单元用于当n*t_l/t_s为非整数时，在所述合成单元进行合成图像之前，对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差；

调整单元依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及其合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s提供给长曝光摄像头和短曝光摄像头。同样地，当n为1时，t_l、t_s和W可以分别为其初始值。

下面，将参照附图4至图8d，仍以包括双目摄像机的高动态图像系统为例，具体说明根据本发明的获取高动态图像的方法。

如图4所示，根据本发明具体实施例的获取高动态图像的方法包括以下步骤：

步骤S1：将两个摄像头并排紧挨放置在车辆上（可为同样放置的一体式双目摄像机），两个摄像头的光轴近似平行。其中，一个摄像头负责获取车辆所行驶的道路的长曝光图像（以下称“长曝光道路场景图像”），曝光快门时间为t_l，另一个摄像头负责获取道路的短曝光图像（以下称“短曝光道路场景图像”），曝光快门时间为t_s。为了方便描述，称获取长曝光道路场景图像的摄像头为长曝光摄像头，称获取短曝光道路场景图像的摄像头为短曝光摄像头。

这里，两个摄像头的频率应相同，初始的长、短曝光快门时间可以分别为摄像头在该拍摄频率下所允许的最大、最小曝光快门时间。然后，为了使两摄像头能在不同环境亮度均获取充分的灰度纹理信息，可以调节曝光快门时间。例如，在本发明的实施例中，是通过反馈调节来进一步调整曝光快门时间。

步骤S₂：两个摄像头分别被控制在各自的曝光快门时间内不断拍摄图像。于是，在长曝光摄像头获取第n帧长曝光道路场景图像时间内，短曝光摄像头获取的最后一帧图像为第m=[n*t_l/t_s]帧短曝光道路场景图像，以第n帧长曝光道路场景图像和第m帧短曝光道路场景图像作为车载计算机的输入图像。

也就是说，该两个摄像头分别被控制，以使其在各自的快门时间内不断拍摄图像。这样，长曝光摄像头获取第n帧图像时，车载计算机选择该第n帧长曝光道路场景图像以及该时间段内短曝光摄像头拍摄的最后一帧短曝光道路场景图像作为输入图像。

换句话说，车载计算机在n*t_l时刻能够获得的输入图像分别为：第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中m=[n*t_l/t_s]。

步骤S₃：车载计算机分别对输入的第n帧长曝光道路场景图像和第m帧短曝光道路场景图像进行双目校正，即根据对两摄像头标定（例如，通用标定技术）得到的内参数矩阵K、外参数矩阵[R|T]、畸变矩阵D和旋转矩阵R，其中 $R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],T=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],K=\left[\begin{array}{ccc}{\mathrm{ff}}_u& 0& u_o\\ 0& {\mathrm{ff}}_v& o\\ 0& 0& 1\end{array}\right],$ D=[k₁,k₂,k₃,p₁,p₂]，其中的变量r_11-33为旋转矩阵公式中的待定系数，t₁、t₂、t₃分别为右摄像头成像面相对于左摄像头成像面的横向、纵向、前后向的位置偏移量，ff_u、ff_v分别为摄像机的横、纵向焦距，u₀、v₀分别为摄像机图像中心的横、纵坐标，k_1-3为径向形变系数、p_1-3为切向形变系数。

对输入的第n帧长曝光道路场景图像和第m帧短曝光道路场景图像进行矩阵运算之后，接着分别从双目校正后的长、短曝光道路场景图像中裁切出相同大小的有效像素区域，以该裁切出的两个有效像素区域替代原来的长、短曝光道路场景图像，作为预进行线性切向变形处理的基础图像。为了方便描述，将从第n帧长曝光道路场景图像中裁切出的有效像素区域称为第n帧有效长曝光像素区域，将从第m帧短曝光道路场景图像中裁切出的有效像素区域称为第m帧有效短曝光像素区域。然后，对第n帧有效长曝光像素区域以及第m帧有效短曝光像素区域中的一帧图像进行线性切向变形，而另一帧图像则保持不变。

参照图5a、5b、6和7，步骤S₃具体包括以下过程：

a、使用通用的“棋盘网格”标定法确定两个摄像头（长曝光摄像头和短曝光摄像头）的内参数矩阵K、外参数矩阵[R|T]、畸变矩阵D和旋转矩阵R，其中两个摄像头的相对位置保持不变。

b、利用内参数矩阵K、外参数矩阵[R|T]、畸变矩阵D和旋转矩阵R对第n帧长曝光道路场景图像和第m帧短曝光道路场景图像进行去畸变、校正和裁切，裁切出的有效像素区域应为两个摄像头的对应区域，即同 一点像素的纵坐标轴相同，裁切完成后即完成双目校正，得到第n帧有效长曝光像素区域和第m帧有效短曝光像素区域。

c、由于两个摄像头固定于车辆上时，自动曝光拍摄车辆行驶的道路，并通过车载计算机处理生成第n帧有效长曝光像素区域和第m帧有效短曝光像素区域的校正图像，结合校正后的第n帧有效长曝光像素区域和第m帧有效短曝光像素区域，计算出道路的一个V视差图像，用于消除后续图像的纵向合成误差。相对于两个摄像头各自的图像坐标系，同一点在两个摄像头图像坐标系中的坐标分别为（u₁,v₁）和（u₂,v₂）。在相同纵坐标（即v₁=v₂）下，同一个点在两个摄像头图像坐标系中的横坐标分别为u₁和u₂，于是确定该点的视差d=u₂-u₁。对全图均计算各点的视差d_u,v，绘制v-d坐标图就能得到V视差图像，V视差图中的视差点将呈现线性分布。这里，假设车辆行驶的道路是平面的，那么可以通过V视差图像确定道路平面的直线斜率μ=(d_max-d_min)/(v_max-v_min)，其中（v_min,d_min）和（v_max,d_max）分别是道路平面所对应直线的起始点和终点坐标，如图5a所示。

d、将该斜率μ应用于线性切向变形处理中，对于第n帧有效长曝光像素区域和第m帧有效短曝光像素区域，令其中的一帧图像保持不变，而对另一帧图像进行线性切向变形，使得变形后的图像的边缘斜率为上步骤中确定的道路平面的直线斜率μ（如图5b所示）。由此，将经过双目校正和线性切向变形的第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像称为第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像。

步骤S₄：若n*t_l/t_s整除，两图像实现拍摄同步，无需进行运动补偿。但是，若n*t_l/t_s不整除，需利用运动补偿来实现同步，将静态合成误差消除后（包括双目校正和V视差消除）的第m=[n*t_l/t_s]帧有效短曝光道路场景图像透射变换到车辆运动坐标系的道路平面。

具体而言，根据输入的第n帧长曝光道路场景图像与第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v_v和横摆角速度w，运用车辆运动学公式将第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景 图像，作为下一步骤中图像合成的输入图像。

如图6所示，为了将第m帧有效短曝光道路场景图像准确透射到车辆运动坐标系道路平面上，先要对两个摄像头进行透射变换标定。例如，选取拍摄场景中的四个点，假设其中一个点的实际坐标为（x,y），并找到短曝光道路场景图像中该点的对应点的像素坐标（u,v），这样（x,y）和（u,v）就可通过转化公式 $\left\{\begin{array}{c}x=\frac{\mathrm{Au}+\mathrm{Bv}+D}{\mathrm{Mu}+\mathrm{Nv}+1}\\ y=\frac{\mathrm{Eu}+\mathrm{Fv}+H}{\mathrm{Mu}+\mathrm{Nv}+1}\end{array}\right.$ 进行相互转换。其中，通过A、B、D、E、F、H、M、N八个待定系数确定相应的透射变换矩阵。由此，可以获得四个点的四组对应点的坐标，并通过这四组已知对应点的坐标进行透射变换。

进一步地，前向速度v_v为汽车两后轮速度平均值，横摆角速度w为两后轮速度差值除以后轮轴距1/2的商，运动学公式为二自由度车辆运动学公式。汽车在获取第m帧短曝光道路场景图像时刻的位置在（X₁,Y₁），在时间△t内，车辆运动的距离s=v_v*△t，转过角度θ=w*△t，如图7所示，那么在运动△t后的车辆的新位置坐标（X₂,Y₂）可按以下公式计算获得：

$\left[\begin{array}{c}{X}_2\\ Y_2\end{array}\right]=\left[\begin{array}{cc}\cos (-\mathrm{\θ})& \sin (-\mathrm{\θ})\\ -\sin (-\mathrm{\θ})& \cos (-\mathrm{\θ})\end{array}\right]\left[\begin{array}{c}{X}_1\\ Y_1\end{array}\right]+\left[\begin{array}{c}s\·\sin \left(\mathrm{\θ}\right)\\ s\·\cos \left(\mathrm{\θ}\right)\end{array}\right]$

例如，将第m帧有效短曝光道路场景图像中的像素（u,v）透射变换到道路平面坐标（X₁,Y₁），经过运动补偿后坐标为（X₂,Y₂），再进行逆透射变换到图像像素坐标（u’,v’），将第m帧有效短曝光道路场景图像中的全部像素均进行这种处理后就获得运动补偿后的第m帧有效短曝光道路场景图像，如图7所示。

步骤S₅：当摄像机运动缓慢（或静止）时，若n*tl/ts不整除，也可不进行运动补偿；对于车载摄像机，摄像机随车运动，速度较快，需要添加运动补偿。将运动补偿后的第m帧有效短曝光道路场景图像再与第n帧有效长曝光道路场景图像按权重W进行合成，合成为一帧图像，即获得 第n帧合成图像。应理解，若n*t_l/t_s整除，则可以直接将第m帧有效短曝光道路场景图像与第n帧有效长曝光道路场景图像进行合成。

具体而言，获取运动补偿后的第m帧有效短曝光道路场景图像再与第n帧有效长曝光道路场景图像后，合成图像中任意点的像素坐标的像素灰度值L可由第n帧有效长曝光道路场景图像中该点的坐标的像素灰度值L_L乘以合成权值W加上第m帧有效短曝光道路场景图像中该点的坐标的像素灰度值L_S乘以(1-W)确定。即，L=L_L*W+L_S*(1-W)。

这里，合成权值W可以是设定值，例如0.5。或者，合成权值W可以在后续步骤中由直方图分析函数确定，具体内容如下所述。

步骤S6：对合成图像进行直方图均衡化处理，输出处理后的图像。

具体地，绘出合成图像的灰度色阶直方图（见图8b朝上直方图）；以直方图中最大色阶值的10%为阈值划分直方图，确定图像的主体灰度区域的上下限L_max和L_min；将主体灰度区域内的像素灰度值L按255(L-L_min)/(L_max-L_min)进行灰度映射，进行直方图均衡化。

步骤S7：分析输入的第n帧长曝光道路场景图像、第m帧短曝光道路场景图像和第n帧合成图像的直方图，分别确定长、短曝光道路场景图像大于各自最大值5%的直方图上下限h_L1、h_L2、h_S1、h_S2，以及合成图像的灰度均值ε_Syn（全图像像素的灰度平均值）；下次循环的合成权值按经验公式（如W=(-0.047656ε_Syn+1135.841078)/1000）来确定，经验公式可在不同环境中记录实验中手动调节参数与合成图像的灰度均值ε_Syn，确定相应变量的关系曲线；下次循环的长、短曝光快门时间由h_L1、h_L2、h_S1、h_S2按长、短曝光道路场景图像的两直方图中间无间隙原则，两直方图距离两端灰度范围尽可能小原则和两直方图宽度限定原则进行确定；进行下次循环。

如图8b所示的直方图，确定合成图像的灰度均值ε_Syn，下次循环的合成权值W按经验公式（如W=(-0.047656ε_Syn+1135.841078)/1000）。以该图像分辨率的总像素量的10%为阈值分别确定长曝光直方图的主体灰度区域的上下限h_L1、h_L2和短曝光直方图的主体灰度区域的上下限h_S1、h_S2，按以下原则调整下轮曝光时间大小：

a、长、短曝光道路场景图像两直方图中间无间隙原则（快门时间调整量按5%最大快门时间进行调节）：

若h_S2<h_L1，增加短曝光快门时间，减少长曝光快门时间；

若h_L1≤h_S2≤h_L1+(h_L2－h_L1)/3，快门时间保持不变；

若h_L1+(h_L2－h_L1)/3<h_S2，减少短曝光快门时间，增加长曝光快门时间；

b、长、短曝光道路场景图像两直方图距离两端灰度范围尽可能小原则（快门时间调整量按1%最大快门时间进行调节）：

若h_S1>216×15%，减少短曝光快门时间；

若h_L2<216×85%，增加长曝光快门时间；

c、长、短曝光道路场景图像两直方图宽度限定原则（快门时间调整量按5%最大快门时间进行调节）：

若短曝光直方图宽度wS=h_S2－h_S1<ηwall，其中wall是摄像机的最大灰度范围，η是人工设定的范围比例，应增加短曝光快门时间；

若长曝光直方图宽度wL=h_L2－h_L1<ηwall，应减少长曝光快门时间。

由上可知，本发明的方法及系统由于采用双目摄像机分别同时获取不同曝光图像，缩短高动态图像的曝光时间长度因此能够降低由摄像机的运动而导致的运动模糊。

此外，本发明的方法及系统在图层级上合成图像，能够提高合成图像的光流平滑性；并且，图像合成后通过映射曲线进行直方图均衡化调整，提高合成图像对环境亮度的适应性。

进一步地，本发明的方法和系统还可以加入具有道路空间位置信息的运动补偿，从而减少图像的合成误差。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种双目摄像机获取高动态图像的方法，其特征在于，包括：

获取第n帧长曝光道路场景图像和第m帧短曝光道路场景图像，其中所述第n帧长曝光道路场景图像由曝光快门时间为t_l的长曝光摄像头拍摄，所述第m帧短曝光道路场景图像由曝光快门时间为t_s的短曝光摄像头拍摄，所述长曝光摄像头与所述短曝光摄像头同向紧挨设置，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1；

分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，以获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像；

依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

2.根据权利要求1所述的方法，其特征在于，所述分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差，包括：

对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；

根据所述第n帧有效长曝光像素区域和所述第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率。

3.根据权利要求1或2所述的方法，其特征在于，当n*t_l/t_s为非整数时，在所述分别将所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像消除静态合成误差之后，还包括：对所述第m帧有效短曝光道路场景图像进行运动补偿，以消除所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像之间的动态合成误差。

4.根据权利要求3所述的方法，其特征在于，所述对所述第m帧有效短曝光道路场景图像进行运动补偿，包括：

根据所述第n帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像。

5.根据权利要求1至4中任一项所述的方法，其特征在于，依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及第n帧合成图像的直方图，调整t_l、t_s和W，其中当n为1时，t_l、t_s和W分别为其初始值。

6.一种获取高动态图像的系统，其特征在于，包括：双目摄像机和计算机，所述双目摄像机包括长曝光摄像头和短曝光摄像头，所述长曝光摄像头和所述短曝光摄像头通过数据线与所述计算机连接，其中所述长曝光摄像头和所述短曝光摄像头并排紧挨放置，其光轴近似平行且采样频率相同；

所述长曝光摄像头以曝光快门时间t_l获取长曝光道路场景图像；

所述短曝光摄像头以曝光快门时间t_s获取短曝光道路场景图像；

所述计算机获取第n帧长曝光道路场景图像以及第m帧短曝光道路场景图像，并基于对所述第n帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，其中m=[n*t_l/t_s]，n大于或等于1，m大于或等于1。

7.根据权利要求6所述的系统，其特征在于，所述计算机基于对所述第n帧长曝光道路场景图像以及所述第m帧短曝光道路场景图像的处理获得高动态图像，包括：

所述计算机对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；

所述计算机根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像和第m帧有效短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；

所述计算机依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

所述计算机对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

8.根据权利要求6所述的系统，其特征在于，当n*t_l/t_s为非整数时，

所述计算机对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，并裁切出有效像素区域，作为第n帧有效长曝光像素区域和第m帧有效短曝光像素区域；

所述计算机根据第n帧有效长曝光像素区域和第m帧有效短曝光像素区域计算出道路的V视差图像，对所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域进行线性切向变形，从而获得第n帧有效长曝光道路场景图像或第m帧有效短曝光道路场景图像，其中变形后的所述第n帧有效长曝光像素区域或所述第m帧有效短曝光像素区域的边缘斜率为所述V视差图像中所述道路平面的直线斜率；

所述计算机根据所述第n帧长曝光道路场景图像与所述第m帧短曝光道路场景图像拍摄的时间间隔△t、汽车前向速度v和横摆角速度w，运用车辆运动学公式将所述第m帧有效短曝光道路场景图像移至△t后时刻所对应的位置，再进行逆透射变换，得到运动补偿后的第m帧有效短曝光道路场景图像；

所述计算机依据权重W，合成所述第n帧有效长曝光道路场景图像和所述第m帧有效短曝光道路场景图像，以生成第n帧合成图像；

所述计算机对所述第n帧合成图像进行直方图均衡化处理，并获得第n帧高动态图像。

9.根据权利要求7或8所述的系统，其特征在于，所述计算机对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像分别进行双目校正，包括：

所述计算机利用所述长曝光摄像头和所述短曝光摄像头在标定坐标中的内参数矩阵、外参数矩阵、畸变矩阵和旋转矩阵对所述第n帧长曝光道路场景图像和所述第m帧短曝光道路场景图像进行去畸变及校正。

10.根据权利要求6至9中任一项所述的系统，其特征在于，在获取所述第n帧高动态图像之后，所述计算机依据第n帧长曝光道路场景图像、第m帧短曝光道路场景图像及第n帧合成图像的直方图，调整t_l、t_s和W，并将调整后的t_l和t_s分别提供给所述长曝光摄像头和所述短曝光摄像头；其中当n为1时，t_l、t_s和W分别为其初始值。