CN105578021A - 双目相机的成像方法及其装置 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，公开了一种用于视频拼接的双目相机成像控制方法及其装置。本发明中双目相机的成像方法包括以下步骤：将双目相机采集到的当前帧中的两幅当前图像进行拼接融合；计算当前图像的融合区域在融合前后的融合亮度差和融合颜色差；根据融合亮度差和融合颜色差调整拍摄当前图像相机的拍摄参数；控制拍摄当前图像的相机以调整后的拍摄参数拍摄下一帧图像。本发明可从视频源上控制相机的亮度和颜色，使得下一帧的两幅图像在拼接融合后，融合区域和非融合区域的亮度和颜色较为接近，避免了在两相机的亮度或颜色差异过大情况下融合产生的整体拼接效果不均匀的情况。

Description

双目相机的成像方法及其装置

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种双目相机的成像技术。

背景技术

视频拼接融合的目的是使得拼接后的视频图像亮度和颜色均衡、过渡自然，现有的融合技术，基本都是基于拼接视频帧的图像处理，调整图像的亮度、颜色，也有一些基于相机颜色校准的方法，使得多相机采集的颜色值基本接近。下面介绍几种常用的融合及相关方法的优缺点。

1)基于图像融合的方法：

此方法为常用的拼接视频的融合方法，该方法对于视频每一帧的数据以常规的图像融合方法对拼接结果做融合，如阿尔法(alpha)融合、泊松融合、拉普拉斯金字塔融合、颜色校正等。基于图像融合的方法实现简单且通用性较强，但对于两路视频而言，此类方法主要存在如下问题：

a、在亮度和颜色差异较大的情况下，图像在融合区域虽然可以做到亮度和颜色的接近及平滑过渡，但从整体来看，图像融合的方法很难在拼接图像全局上达到亮度和颜色的自然均衡。

b、亮度和颜色基于软件的图像调整损失了原始视频的信息量，比如当画面过亮的情况下虽然拼接融合图像通过软件可以降低图像的亮度值，但是由于原始亮度过饱和，信息已经损失。

c、全局的亮度和色差调整增加了视频拼接融合的计算量。

2)基于相机颜色校准的方法：

该方法在相机安装前以色卡等对于多台相机进行颜色校准，优点在是降低了多个相机成像颜色的差异性，常规情况可以使得视频融合色差控制在较好的效果范围，例如专利号为CN101996407B一种多相机颜色标定方法，就采用了这种方法；专利号为CN102137272B一种开放环境下的多相机间的颜色校准方法，在相机颜色标定的基础上增加了软件调整图像白平衡一致性。此类方法的主要问题如下：

a、相机的成像颜色在不同的环境光照情况下仍然会呈现出颜色的差异性。

b、软件的白平衡调整方法同基于图像融合的方法一样，存在着相同的问题。

3)基于双通道CCD(电荷耦合元件)图像传感器图像增益调整的方法：

该方法通过相机的增益调整，将一台相机的重合区域均值亮度调整到与另外一台相机重合区域的均值亮度一致，该方法的优点是使得重合区域亮度较为接近，便于拼接融合。此类方法的主要问题如下：

a、亮度的调整只采用了增益的调整方案，在强顺光、逆光或远近亮度差异较大的的情况下，单一的增益调整对于过曝或过暗的抑制调整不够充分。

b、只控制一个相机的亮度值，没有综合考虑两个相机的成像调整。

发明内容

本发明的目的在于提供一种双目相机的成像方法及其装置，可从视频源上控制相机的亮度和颜色，使得下一帧的两幅图像在拼接融合后，融合区域和非融合区域的亮度和颜色较为接近，避免了在两相机的亮度或颜色差异过大情况下融合产生的整体拼接效果不均匀的情况。

为解决上述技术问题，本发明的实施方式公开了一种双目相机的成像方法，包括以下步骤：

将双目相机采集到的当前帧中的两幅当前图像进行拼接融合；

计算当前图像的融合区域在融合前后的融合亮度差和融合颜色差；

根据融合亮度差和融合颜色差调整拍摄当前图像相机的拍摄参数；

控制拍摄当前图像的相机以调整后的拍摄参数拍摄下一帧图像。

本发明的实施方式还公开了一种双目相机的成像装置，包括：

拼接融合单元，用于将双目相机采集到的当前帧中的两幅当前图像进行拼接融合；

差值计算单元，用于计算当前图像的融合区域在融合前后的融合亮度差和融合颜色差；

参数调整单元，用于根据融合亮度差和融合颜色差调整拍摄当前图像相机的拍摄参数；

图像拍摄单元，用于控制拍摄当前图像的相机以调整后的拍摄参数拍摄下一帧图像。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在双目相机进行拍摄的过程中，通过分析当前帧中融合的两幅图像的融合区域在拼接融合前后的亮度差和颜色差，可以调整下一帧图像的拍摄参数，从视频源上控制相机的亮度和颜色，使得下一帧的两幅图像在拼接融合后，融合区域和非融合区域的亮度和颜色较为接近，避免了在两相机的亮度或颜色差异过大情况下融合产生的整体拼接效果不均匀的情况。

进一步地，控制亮度与色彩的调整顺序，可避免亮度和颜色调整的冲突问题，同时可使得亮度和颜色在可接受的范围内不做调整，避免频繁调整亮度和颜色带来的画面闪烁。

进一步地，融合区域的颜色调整可能引起全局图像的偏色，引入偏色度可以控制相机调整的结果在视觉可接受的范围以内。

进一步地，通过分析双相机的亮度协同调整快门和增益参数，可调整双相机成像的亮度一致性，在不损伤图像信息的条件下，在视频源上控制后续整体拼接的亮度成像效果，提升整体视频融合的亮度均衡效果，同时减小全局亮度调整的计算量。

进一步地，通过协同调整双相机的融合颜色差，可以在不损失图像信息的条件下，在视频源上控制整体拼接的颜色效果，使得待拼接的两台相机色差最小化，提升整体视频融合的色彩一致性效果，同时减小全局色差调整的计算量。

附图说明

图1是本发明第一实施方式中一种双目相机的成像方法的流程示意图；

图2是本发明第一实施方式中仿射变化过程的示意图；

图3是本发明第一实施方式中亮度和颜色的成像控制决策的流程示意图；

图4是本发明第一实施方式中通过融合颜色差和偏色度调整拍摄参数的流程示意图；

图5是本发明第二实施方式中一种双目相机的成像装置的结构示意图；

图6是本发明第三实施方式中一种双目相机的成像装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种双目相机的成像方法。图1是该双目相机的成像方法的流程示意图。

如图1所示，该双目相机的成像方法包括以下步骤：

在步骤101中，将双目相机采集到的当前帧中的两幅当前图像进行拼接融合。

在本实施方式的一个优选例中，本步骤101包括以下子步骤：

1)特征提取匹配

常用的特征提取匹配方法有SIFT特征(尺度不变特征转换)、ORB(OrientedBinaryRobustIndependentElementaryFeatures，定向二值鲁棒独立基本特征)特征、FAST(Featuresfromacceleratedsegmenttest，加速分割检测特征)等，这里我们采用Harris角点(哈里斯角点)特征匹配，Harris角点特征提取与匹配流程如下：

a)以高斯(Gaussian)函数计算图像在x、y方向的导数I_x和I_y。

b)经过偏移(u,v)后，图像在坐标为(x,y)上的像素点I(x,y)的亮度变化 $E(u,v)=[u,v]M\left[\begin{array}{c}u\\ v\end{array}\right],$ 其中 $M=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right].$

c)计算角点响应函数R＝det(M)-k(trace(M))²，其中k＝0.04，det为矩阵M的行列式，trace表示矩阵M的迹，当R大于阈值且在某邻域内取得局部极值时对应的点即为Harris角点。

d)对于两幅图像得到的角点做聚类匹配，经过RANSAC(为RANdomSAmpleConsensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法)过滤掉匹配错误的点，得到图像匹配的特征点。

2)图像拼接

常用的图像拼接算法有基于特征计算单应性矩阵、图像变形等，本优选例中采用特征点匹配后对应的图像进行网格变形，对变形结果进行图像拼接。匹配特征点确定后，对图像采用德洛内(Delaunay)三角剖分可获得特征网格结构，改变某个特征点的位置会引起其相关三角形的变化，对变化的三角形做仿射变换，可以得到图像变形的效果。假设要将图2中的T_s变形为T₁，这里有两种方法：第一种是正向变形，它对源图象中每一个点做坐标变换，得到其在目标图象中的位置，然后将颜色值拷贝过去；第二种是反向变形，它对目标图象中的每一个点进行计算，得到其在源图象中的位置，然后将颜色值拷贝过来。正向变形有一个问题，就是目标图象中有可能有的像素没有颜色值，而反向变形可以保证目标图象中每一个点都能在原始图象中找到对应的点，所以这里采用反向变形技术。

设T_s和T₁对应的顶点分别为P_s1、P_s2、P_s3和P₁、P₂、P₃，由此6个点可以唯一确定一个仿射变换

$\left[\begin{array}{c}{P}_s.x\\ P_s.y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}P.x\\ P.y\\ 1\end{array}\right]---(2-1)$

式中P.x、P.y为T₁中某一点P的x、y坐标，P_s.x、P_s.y为T_s中某一点P_s的x、y坐标。令

$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]$

则

$A=\left[\begin{array}{ccc}{P}_{s1.x}& P_{s2}.x& P_{s3}.x\\ P_{s1}.y& P_{s2}.y& P_{s3}.y\end{array}\right]{\left[\begin{array}{ccc}{P}_1.x& P_2.x& P_3.x\\ P_1.y& P_2.y& P_3.y\\ 1& 1& 1\end{array}\right]}^{-1}---(2-2)$

这样，对改变的每个三角形以式(2-2)计算出仿射变换系数A，以式(2-1)计算改变后的三角形内的每一点对应原三角形的像素点，拷贝其颜色，若计算出的点的坐标非整数，则利用其临近的坐标颜色作为仿射变换后的颜色。

3)图像融合

常用的融合算法有阿尔法(ALPHA)融合、泊松融合、拉普拉斯金字塔融合等，这里我们采用色彩迁移和ALPHA融合作为图像融合的方法，获得两路相机当前帧的拼接融合效果，流程如下：

a)对于待融合的图像A和图像B，分别计算得到RGB三通道直方图HistR_A、HistG_A、HistB_A和HistR_B、HistG_B、HistB_B。

b)对于图像A和图像B，令w1、h1为图像A的宽和高，w2、h2为图像B的宽和高，计算每个通道从0到255每个灰度级i上累加直方图概率HistproR_A、HistproG_A、HistproB_A和HistproR_B、HistproG_B、HistproB_B。其中，

$\mathrm{HistproR}\_A=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{HistR}\_A}{w1*h1},$

$\mathrm{HistproG}\_A=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{HistG}\_A}{w1*h1},$

$\mathrm{HistproB}\_A=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{HistB}\_A}{w1*h1},$

$\mathrm{HistproR}\_B=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{HistR}\_B}{w2*h2},$

$\mathrm{HistproG}\_B=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{HistG}\_B}{w2*h2},$

$\mathrm{HistproB}\_B=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}\mathrm{HistB}\_B}{w2*h2}.$

c)在R分量上，寻找HistproR_A与HistproR_B接近的灰度级，建立A图到B图的R分量灰度级映射表mapR，同样的方法计算得到B和G分量的灰度级映射表mapG和mapB。对B图的每个像素点的颜色值按照映射表重新计算目标颜色值，得到与A图接近的颜色迁移图像B2。

4)对于图像A和颜色迁移图像B2，在重合区域以alpha融合进行过渡，得到拼接后的融合图像。

此后进入步骤102，计算当前图像的融合区域在融合前后的融合亮度差和融合颜色差。

在本发明中，融合亮度差指表示当前图像中融合区域在融合前后亮度差异的值，为正值，如当前图像中融合区域在融合前后亮度平均值差的绝对值。融合颜色差指表示当前图像中融合区域在融合前后颜色差异的值，为正值，如当前图像中融合区域的RGB三分量在融合前后平均值差的绝对值。

在本发明上个优选例中，融合亮度差和融合颜色差计算如下：

a)融合亮度差计算：

双目相机中的相机A融合区域融合前的均值亮度为L_A1，融合后的均值亮度为L_A2，相机A的融合亮度差为：

difL_A＝|L_A1-L_A2|

相机B融合区域融合前的均值亮度为L_B1，融合后的均值亮度为L_B2，相机B的融合亮度差为：

difL_B＝|L_B1-L_B2|

b)融合颜色差计算：

相机A融合区域融合前的RGB(代表红、绿、蓝三个通道的颜色)三分量均值分别为R_A1、G_A1、B_A1，融合后的三分量均值为R_A2、G_A2、B_A2，相机A的三分量融合颜色差为：

difR_A＝|R_A1-R_A2|

difG_A＝|G_A1-G_A2|

difB_A＝|B_A1-B_A2|

相机B融合区域融合前的RGB三分量均值分别为R_B1、G_B1、B_B1，融合后的三分量均值为R_B2、G_B2、B_B2，相机B的三分量融合颜色差为：

difR_B＝|R_B1-R_B2|

difG_B＝|G_B1-G_B2|

difB_B＝|B_B1-B_B2|

此后进入步骤103，根据融合亮度差和融合颜色差调整拍摄当前图像相机的拍摄参数。

在本发明中，拍摄参数包括与增益、快门、光圈等相关的参数。

在本发明的一优选例中，拍摄参数包括增益和快门时间，颜色的调整通过调整相机的RGB分类实现。对于图像亮度和颜色而言，在常规环境情况下，随着自然光线的变化，两相机的亮度和颜色差异会同步发生变化，但对于某些情况而言，如室内场景，当A相机在照射远端光线明亮的地方(如门口)，B相机照射近端，在某些逆光的时刻会出现AB两相机在融合区域亮度差异过大的情况，但这种情况也是随自然光照的变化而变化，因此，对于亮度和颜色的调整策略不应有太频繁的变化，否则容易造成图像的闪烁。为此，给出融合亮度阈值thresholdB和融合颜色阈值thresholdC，亮度和颜色的成像控制决策如图3所示，即步骤103包括以下子步骤(以相机A为例)：

如果当前图像的融合亮度差difL_A大于等于融合亮度阈值thresholdB，则根据当前图像的全局亮度差aveL_A和全局亮度阈值thresholdL调整拍摄该当前图像的相机的增益和快门时间；如果当前图像的融合亮度差aveL_A小于融合亮度阈值thresholdB且当前图像的融合颜色差(例如，为)大于融合颜色阈值thresholdC，则根据当前图像的融合颜色差(例如，difR_A/difG_A/difB_A)和整个该当前图像的偏色度k调整拍摄该当前图像的相机的增益和快门时间。

控制亮度与色彩的调整顺序，可避免亮度和颜色调整的冲突问题，同时可使得亮度和颜色在可接受的范围内不做调整，避免频繁调整亮度和颜色带来的画面闪烁。同时，融合区域的颜色调整可能引起全局图像的偏色，引入偏色度可以控制相机调整的结果在视觉可接受的范围以内。

此外，可以理解，全局亮度差是整幅当前图像与两幅当前图像融合后的融合图像的亮度差，可以是能够表示当前图像亮度的值与表示融合图像亮度的值的差值，比如图像亮度的平均值。

在本发明的其他实施方式中，也可以先判断当前图像的融合颜色差是否满足调整阈值，再判断亮度差是否满足调整阈值，然后对相机的拍摄参数进行调整。

此外，在本发明的一优选例中，根据当前图像的全局亮度差和全局亮度阈值调整拍摄该当前图像的相机的增益和快门时间的子步骤是通过以下方式实现的(以相机A为例)：

a)如果当前图像的aveL_A≥thresholdB，且当前图像的difL_A≥thresholdB，则降低增益，在增益降低到增益下限时，减少快门时间。例如，如果增益值没有调到最低，按照调整步长1减小增益，直至增益下限，如果增益已调至下限，以difL_A查找difL_A和快门调整比例映射表(表1)，按照调整比例提高快门值，直至最大快门值。

表1.difL_A和快门调整比例映射表

difLA	0-8	8-16	16-32	32-64	64-128	128-256
							快门调整比例	0.015625	0.03125	0.0625	0.125	0.25	0.5

b)如果当前图像的aveL_A≥thresholdB，且当前图像的difL_A<thresholdB，则增加增益，在增益增加到增益上限时，延长快门时间。例如，如果增益值没有调到增益上限，按照调整幅度为1增加增益，直至增益设定上限；如果增益值达到设定上限，以融合亮度差difL_A查找融合亮度差difL_A和快门调整比例映射表1，按调整比例提高快门值，直至最大快门值。

c)如果当前图像的aveL_A<thresholdB，且当前图像的difL_A<thresholdB，则延长快门时间，在快门时间延长到快门时间上限时，增加增益。例如，如果快门没有调到快门上限，以difL_A查找difL_A和快门调整比例映射表1，按调整比例提高快门值，直至快门上限；如果快门值已至快门上限，则按照调整步长1增加增益，直至增益上限。

d)如果当前图像的aveL_A<thresholdB，且当前图像的difL_A≥thresholdB，则减小快门时间，在快门时间减小到快门时间下限时，则按照调整步长1降低增益，直至增益下限。

通过分析双相机的亮度协同调整快门和增益参数，可调整双相机成像的亮度一致性，在不损伤图像信息的条件下，在视频源上控制后续整体拼接的亮度成像效果，提升整体视频融合的亮度均衡效果，同时减小全局亮度调整的计算量。

此外，可以理解，在本发明中，增益和快门时间的调整可以以一定的步长进行调整，也可以通过查表的方式进行调整，如融合亮度差与融合亮度阈值的差值大小不同，对应不同的调整比例，还可以是其他方式。

此外，在本发明的一优选例中，根据当前图像的融合颜色差和整个该当前图像的偏色度调整拍摄该当前图像的相机的增益和快门时间的子步骤是通过以下方式实现的，如图4所示：

如果(当前图像的)偏色度小于等于偏色阈值，则根据当前图像的融合颜色差调整增益和快门时间(即以融合颜色差调整相机的颜色偏量)；如果偏色度大于偏色阈值，则执行以下循环操作直到当前图像的偏色度小于等于偏色阈值：将融合颜色差乘以偏色系数后(即按比例降低融合颜色差)，计算当前帧中所述当前图像的偏色度。

在本发明的其他实施方式中，也可以采用其他方式调节偏色度。优选地，本实施方式中，采用更接近人类视觉的CIELAB颜色空间计算和调整偏色度。

例如，采用相机RGB参数控制双相机的整体颜色调节，以RGB三分量融合颜色差作为调整目标，为了控制全局色彩在调整时出现偏色，引入了偏色度计算参数作为颜色调节约束条件。当前图像的偏色度k计算如下：由于CIELAB颜色空间(颜色-对立空间，带有维度L表示亮度，a和b表示颜色对立维度)更接近于人类的视觉，为了使得计算的颜色距离能更接近于实际感知的偏色程度，这里将RGB颜色空间转换到了CIELAB颜色空间进行计算。在LAB空间中，以图像的平均色度D和色度中心距M的比值作为图像的偏色度k。计算流程如下：

a)RGB颜色空间转换为LAB颜色空间的转换公式如下：

L＝0.2126007*R+0.7151947*G+0.0722046*B

a＝0.3258960*R+0.4992596*G+0.1733409*B+128

b＝0.1218128*R+0.3785610*G+0.5003738*B+128b

b)平均色度D的计算

令w、h为图像的宽和高，在a-b色度平面上，等效圆中心为(d_a,d_b)，则 $D=\sqrt{d_a^2+d_b^2},$ 其中

$d_a=\frac{\underset{i=1}{\overset{w}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{h}{\mathrm{\&Sigma;}}}a}{w*h},d_b=\frac{\underset{i=1}{\overset{w}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{h}{\mathrm{\&Sigma;}}}b}{w*h}$

c)色度中心距M为其中

$M_a=\frac{\underset{i=1}{\overset{w}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{h}{\mathrm{\&Sigma;}}}{(a-d_a)}^2}{w*h},d_b=\frac{\underset{i=1}{\overset{w}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{h}{\mathrm{\&Sigma;}}}{(b-d_b)}^2}{w*h}$

d)偏色度k＝D/M

优选地，我们取偏色阈值为2.5，当偏色度高于偏色阈值的时，认为当前图像偏色。

而该优选例中，基于当前图像的融合颜色差的相机参数调整如下，如图4所示：

以相机A为例，以RGB三分量融合颜色差difR_A、difG_A、difB_A调整A相机当前帧中当前图像的效果，对于调整后的图像计算偏色度k。

如不存在偏色情况，将当前的三分量融合颜色差作为相机RGB三分量调整参数部署到相机；

如存在偏色，以偏色系数scale调整三分量颜色差，其中，difR_A＝diffR_A*scale，difG_A＝diffG_A*scale，difB_A＝diffB_A*scale，并计算当前帧中当前图像的偏色度，循环计算直至出现偏色终止，以当前的三分量融合颜色差作为相机RGB三分量调整参数部署到相机，优选地，取scale为0.9。

通过协同调整双相机的融合颜色差，可以在不损失图像信息的条件下，在视频源上控制整体拼接的颜色效果，使得待拼接的两台相机色差最小化，提升整体视频融合的色彩一致性效果，同时减小全局色差调整的计算量。

此外，可以理解，偏色系数可根据双目相机的性能、拍摄环境、拍摄要求等实际情况进行试验得到，需能有效调节使偏色度低于偏色阈值。

此后进入步骤104，控制拍摄当前图像的相机以调整后的拍摄参数拍摄下一帧图像。

此后结束本流程。

在双目相机进行拍摄的过程中，通过分析当前帧中融合的两幅图像的融合区域在拼接融合前后的亮度差和颜色差，可以调整下一帧图像的拍摄参数，从视频源上控制相机的亮度和颜色，使得下一帧的两幅图像在拼接融合后，融合区域和非融合区域的亮度和颜色较为接近，避免了在两相机的亮度或颜色差异过大情况下融合产生的整体拼接效果不均匀的情况。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(ProgrammableArrayLogic，简称“PAL”)、随机存取存储器(RandomAccessMemory，简称“RAM”)、可编程只读存储器(ProgrammableReadOnlyMemory，简称“PROM”)、只读存储器(Read-OnlyMemory，简称“ROM”)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(DigitalVersatileDisc，简称“DVD”)等等。

本发明第二实施方式涉及一种双目相机的成像装置。图5是该双目相机的成像装置的结构示意图。

具体地，如图5所示，该双目相机的成像装置包括：

拼接融合单元，用于将双目相机采集到的当前帧中的两幅当前图像进行拼接融合。

差值计算单元，用于计算当前图像的融合区域在融合前后的融合亮度差和融合颜色差。

参数调整单元，用于根据融合亮度差和融合颜色差调整拍摄当前图像相机的拍摄参数。

图像拍摄单元，用于控制拍摄当前图像的相机以调整后的拍摄参数拍摄下一帧图像。

优选地，在本实施方式中，拍摄参数包括增益和快门时间。

此外，上述参数调整单元包括以下子单元：

亮度调整子单元，用于当当前图像的融合亮度差大于等于融合亮度阈值时，根据当前图像的全局亮度差和全局亮度阈值调整拍摄该当前图像的相机的增益和快门时间。颜色调整子单元，用于当当前图像的融合亮度差小于融合亮度阈值且当前图像的融合颜色差大于融合颜色阈值时，根据当前图像的融合颜色差和整个该当前图像的偏色度调整拍摄该当前图像的相机的增益和快门时间。

其中，亮度调整子单元通过以下方式实现对增益和快门的调整：

如果当前图像的全局亮度差大于等于全局亮度阈值，且当前图像的融合亮度差大于等于融合亮度阈值，则降低增益，在增益降低到增益下限时，减少快门时间。如果当前图像的全局亮度差大于等于全局亮度阈值，且当前图像的融合亮度差小于融合亮度阈值，则增加增益，在增益增加到增益上限时，延长快门时间。如果当前图像的全局亮度差小于全局亮度阈值，且当前图像的融合亮度差小于融合亮度阈值，则延长快门时间，在快门时间延长到快门时间上限时，增加增益。如果当前图像的全局亮度差小于全局亮度阈值，且当前图像的融合亮度差大于等于融合亮度阈值，则减小快门时间，在快门时间减小到快门时间下限时，降低增益。

且颜色调整子单元通过以下方式实现对增益和快门时间的调整：

如果偏色度小于等于偏色阈值，则根据当前图像的融合颜色差调整增益和快门时间。如果偏色度大于偏色阈值，则执行以下循环操作直到当前图像的偏色度小于等于偏色阈值：将融合颜色差乘以偏色系数后，计算当前帧中所述当前图像的偏色度。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第三实施方式涉及一种双目相机的成像装置。图6是该双目相机的成像装置的结构示意图。

具体地，如图6所示，该双目相机的成像装置包括：

图像采集模块，用于采集当前图像；

图像拼接融合模块，用于将双目相机的两路相机采集的帧图像拼接成一幅完整的全景图，包括特征匹配、图像拼接和图像融合三个功能。

亮度颜色差异计算模块，用于计算相机当前帧图像与融合图像在对应融合区域的亮度和颜色的差异性，即融合亮度差和融合颜色差，作为后续成像控制的目标。

亮度协同控制模块，用于根据融合亮度差、融合亮度阈值、全局亮度差和全局亮度阈值调整相机拍摄参数。

颜色协同控制模块，用于根据当前图像的融合颜色差和整个该当前图像偏色度k调整拍摄该当前图像的相机的增益和快门时间。

成像控制决策模块，用于控制亮度协同控制模块和颜色协同控制模块的调整顺序，避免亮度和颜色调整的冲突，使得亮度和颜色在可接受的范围内不做调整，避免频繁调整亮度和颜色带来的画面闪烁。例如，当融合亮度差大于等于融合亮度阈值时，采用亮度协同控制模块对拍摄参数进行调整，当融合亮度差小于融合亮度阈值，且融合颜色差大于等于融合颜色阈值时，采用颜色协同控制模块对拍摄参数进行调整。

成像参数部署模块，用于将亮度协同控制模块或颜色协同控制模块调整的拍摄参数部署到下一帧图像的拍摄中以调整后的拍摄参数拍摄下一帧图像。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种双目相机的成像方法，其特征在于，包括以下步骤：

将双目相机采集到的当前帧中的两幅当前图像进行拼接融合；

计算所述当前图像的融合区域在融合前后的融合亮度差和融合颜色差；

根据所述融合亮度差和融合颜色差调整拍摄所述当前图像相机的拍摄参数；

控制拍摄所述当前图像的相机以调整后的拍摄参数拍摄下一帧图像。

2.根据权利要求1所述的双目相机的成像方法，其特征在于，所述拍摄参数包括增益和快门时间。

3.根据权利要求2所述的双目相机的成像方法，其特征在于，所述根据所述融合亮度差和融合颜色差调整拍摄所述当前图像相机的拍摄参数的步骤包括以下子步骤：

如果所述当前图像的融合亮度差大于等于融合亮度阈值，则根据当前图像的全局亮度差和全局亮度阈值调整拍摄该当前图像的相机的增益和快门时间；

如果所述当前图像的融合亮度差小于融合亮度阈值且当前图像的融合颜色差大于融合颜色阈值，则根据所述当前图像的融合颜色差和整个该当前图像的偏色度调整拍摄该当前图像的相机的增益和快门时间。

4.根据权利要求3所述的双目相机的成像方法，其特征在于，所述根据当前图像的全局亮度差和全局亮度阈值调整拍摄该当前图像的相机的增益和快门时间的子步骤是通过以下方式实现的：

如果当前图像的全局亮度差大于等于全局亮度阈值，且当前图像的融合亮度差大于等于融合亮度阈值，则降低增益，在增益降低到增益下限时，减少快门时间；

如果当前图像的全局亮度差大于等于全局亮度阈值，且当前图像的融合亮度差小于融合亮度阈值，则增加增益，在增益增加到增益上限时，延长快门时间；

如果当前图像的全局亮度差小于全局亮度阈值，且当前图像的融合亮度差小于融合亮度阈值，则延长快门时间，在快门时间延长到快门时间上限时，增加增益；

如果当前图像的全局亮度差小于全局亮度阈值，且当前图像的融合亮度差大于等于融合亮度阈值，则减小快门时间，在快门时间减小到快门时间下限时，降低增益。

5.根据权利要求3或4所述的双目相机的成像方法，其特征在于，所述根据所述当前图像的融合颜色差和整个该当前图像的偏色度调整拍摄该当前图像的相机的增益和快门时间的子步骤是通过以下方式实现的：

如果所述偏色度小于等于偏色阈值，则根据当前图像的融合颜色差调整增益和快门时间；

如果所述偏色度大于偏色阈值，则执行以下循环操作直到当前图像的偏色度小于等于偏色阈值：

将所述融合颜色差乘以偏色系数后，计算当前帧中所述当前图像的偏色度。

6.一种双目相机的成像装置，其特征在于，包括：

拼接融合单元，用于将双目相机采集到的当前帧中的两幅当前图像进行拼接融合；

差值计算单元，用于计算所述当前图像的融合区域在融合前后的融合亮度差和融合颜色差；

参数调整单元，用于根据所述融合亮度差和融合颜色差调整拍摄所述当前图像相机的拍摄参数；

图像拍摄单元，用于控制拍摄所述当前图像的相机以调整后的拍摄参数拍摄下一帧图像。

7.根据权利要求6所述的双目相机的成像装置，其特征在于，所述拍摄参数包括增益和快门时间。

8.根据权利要求7所述的双目相机的成像装置，其特征在于，所述参数调整单元包括以下子单元：

亮度调整子单元，用于当所述当前图像的融合亮度差大于等于融合亮度阈值时，根据当前图像的全局亮度差和全局亮度阈值调整拍摄该当前图像的相机的增益和快门时间；

颜色调整子单元，用于当所述当前图像的融合亮度差小于融合亮度阈值且当前图像的融合颜色差大于融合颜色阈值时，根据所述当前图像的融合颜色差和整个该当前图像的偏色度调整拍摄该当前图像的相机的增益和快门时间。

9.根据权利要求8所述的双目相机的成像装置，其特征在于，所述亮度调整子单元通过以下方式实现对增益和快门的调整：

如果当前图像的全局亮度差大于等于全局亮度阈值，且当前图像的融合亮度差大于等于融合亮度阈值，则降低增益，在增益降低到增益下限时，减少快门时间；

如果当前图像的全局亮度差大于等于全局亮度阈值，且当前图像的融合亮度差小于融合亮度阈值，则增加增益，在增益增加到增益上限时，延长快门时间；

如果当前图像的全局亮度差小于全局亮度阈值，且当前图像的融合亮度差小于融合亮度阈值，则延长快门时间，在快门时间延长到快门时间上限时，增加增益；

如果当前图像的全局亮度差小于全局亮度阈值，且当前图像的融合亮度差大于等于融合亮度阈值，则减小快门时间，在快门时间减小到快门时间下限时，降低增益。

10.根据权利要求8或9所述的双目相机的成像装置，其特征在于，所述颜色调整子单元通过以下方式实现对增益和快门时间的调整：

如果所述偏色度小于等于偏色阈值，则根据当前图像的融合颜色差调整增益和快门时间；

如果所述偏色度大于偏色阈值，则执行以下循环操作直到当前图像的偏色度小于等于偏色阈值：

将所述融合颜色差乘以偏色系数后，计算当前帧中所述当前图像的偏色度。