CN105530502A - 根据立体相机拍摄的图像帧生成视差图的方法和装置 - Google Patents

Abstract

本发明的实施例提供了一种根据立体相机拍摄的图像帧生成视差图的方法和装置。所述方法包括：生成第一图像帧的初始基准灰度直方图和初始参考灰度直方图；根据第二图像帧的历史信息生成第一基准图像的预定区域的目标基准灰度直方图和目标参考灰度直方图；计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数和从初始参考灰度直方图到目标参考灰度直方图的参考映射函数；对第一基准图像的预定区域执行基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参考映射函数以获得第一图像帧的增强参考图像；以及根据第一图像帧的增强基准图像和增强参考图像，生成对应于第一图像帧的第一视差图。

Description

根据立体相机拍摄的图像帧生成视差图的方法和装置

技术领域

本发明涉及生成视差图的方法和装置，更具体地，本发明涉及根据立体相机拍摄的图像帧生成视差图的方法和装置。

背景技术

随着三维重建、虚拟现实等技术的发展，指示相机和所拍摄的特定对象之间距离的视差信息已经在例如辅助驾驶等应用中被广泛使用。通过对立体相机对同一场景拍摄的基准图像和参考图像进行图像匹配，可在基准图像和参照图像中找到匹配的像素点对，并且计算出每个像素点坐标对应的视差。进而可利用视差来准确地描述场景的三维空间信息。

发明内容

本发明实施例的目的在于提供一种根据立体相机拍摄的图像帧生成视差图的方法和装置的方法和装置，通过利用历史帧的增强直方图加权和生成目标直方图，以解决上述过度增强的问题。

本发明的一个实施例提供了一种根据立体相机拍摄的图像帧生成视差图的方法，其中每个图像帧包括基准图像和参考图像。所述方法包括：根据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据第一图像帧的第一参考图像的预定区域生成初始参考灰度直方图，其中第一图像帧是立体相机在第一时刻拍摄的；根据第二图像帧的历史信息，生成第一基准图像的预定区域的目标基准灰度直方图和第一参考图像的预定区域的目标参考灰度直方图，其中第二图像帧是立体相机在第一时刻之前的时刻拍摄的；计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数，并且计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数；对第一基准图像的预定区域执行基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参考映射函数以获得第一图像帧的增强参考图像；以及根据第一图像帧的增强基准图像和增强参考图像，生成对应于第一图像帧的第一视差图。

本发明的另一实施例提供了一种根据立体相机拍摄的图像帧生成视差图的装置，其中每个图像帧包括基准图像和参考图像。所述装置包括：初始直方图生成单元，配置来根据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据第一图像帧的第一参考图像的预定区域生成初始参考灰度直方图，其中第一图像帧是立体相机在第一时刻拍摄的；目标直方图生成单元，配置来根据第二图像帧的历史信息，生成第一基准图像的预定区域的目标基准灰度直方图和第一参考图像的预定区域的目标参考灰度直方图，其中第二图像帧是立体相机在第一时刻之前的时刻拍摄的；函数计算单元，配置来计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数，并且计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数；映射单元，配置来对第一基准图像的预定区域执行基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参考映射函数以获得第一图像帧的增强参考图像；以及视差图生成单元，配置来根据第一图像帧的增强基准图像和增强参考图像，生成对应于第一图像帧的第一视差图。

在上述发明实施例提供的根据立体相机拍摄的图像帧生成视差图的方法和装置中，通过使用根据立体相机所拍摄的图像帧的历史信息和当前信息计算的映射函数对该相机在当前时刻拍摄的图像帧中的基准图像和增强基准图像的预定区域的像素进行映射，可获得更易于获得准确视差图的增强基准图像和增强参考图像，并且根据增强基准图像和增强参考图像得到准确的视差图，以便于为用户提供更多有效的信息。

附图说明

图1是描述了根据本发明一个实施例的根据立体相机拍摄的图像帧生成视差图的方法的流程图。

图2是示出根据本发明一个实施例的示意性像素距离直方图。

图3是描述了根据本发明一个实施例，根据第二图像帧的历史信息生成目标基准灰度直方图和目标参考灰度直方图的方法的流程图。

图4是示出了根据本发明的一个实施例的根据立体相机拍摄的图像帧生成视差图的装置的示范性结构框图。

图5是示出了根据本发明的一个实施例的函数计算单元的示范性结构框图。

图6是示出按照本发明实施例的生成视差图的硬件系统600的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

图1是描述了根据本发明一个实施例的根据立体相机拍摄的图像帧生成视差图的方法的流程图。下面，将参照图1来描述根据本发明实施例的根据立体相机拍摄的图像帧生成视差图的方法(以下简称为“生成视差图的方法”)100。在根据本发明的实施例中，立体相机的具体形式包括但不限于双目相机。立体相机所拍摄的每个图像帧包括基准图像和参考图像。例如，在立体相机为双目相机的情况下，每个图像帧中的基准图像可以是双目相机拍摄的左眼图像，而参考图像可以是双目相机拍摄的右眼图像。

如图1所示，在步骤S101中，根据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据第一图像帧的第一参考图像的预定区域生成初始参考灰度直方图，其中第一图像帧是立体相机在第一时刻拍摄的。根据本发明的一个示例，第一时刻可以是当前时刻，并且第一图像帧可以是立体相机拍摄的当前图像帧。此外，在步骤S101中，可根据第一基准图像的预定区域中像素的灰度值生成初始参考灰度直方图，并且类似地，可根据第一参考图像的预定区域中像素的灰度值生成初始参考灰度直方图。在根据本发明的实施例中，灰度直方图的纵坐标轴可以指示像素的个数并且灰度直方图的横坐标轴可以指示灰度值，反之亦然。

此外，预定区域可以是第一基准图像中的一部分，可替换地，预定区域也可以是第一基准图像中的全部。优选地，预定区域可以是立体相机所拍摄的目标对象(例如，正在行驶的车辆等)在图像帧的基准图像或参考图像中所在的区域。例如，可根据通过先前对目标对象追踪所获得的目标对象的运动信息来确定预定区域。又例如，可根据目标对象的运动信息分别在基准图像和参考图像中确定预定区域，可替换地，也可根据目标对象的运动信息在基准图像和参考图像中的一个图像中确定预定区域并将另一图像中的相应区域确定为该另一图像的预定区域。

在步骤S102中，根据第二图像帧的历史信息，生成第一基准图像的预定区域的目标基准灰度直方图和第一参考图像的预定区域的目标参考灰度直方图，其中第二图像帧是立体相机在第一时刻之前的时刻拍摄的。例如，历史信息可包括根据第二图像帧中的基准图像和参考图像生成的灰度直方图等，稍后将对此进行详细描述。应注意，步骤S101和步骤S102不必按照图1所示的顺序执行。可以颠倒或并行地执行步骤S101和步骤S102。

然后在步骤S103中，计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数，并且计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。根据本发明的一个示例，可对在步骤S101获得的第一图像帧的初始基准灰度直方图进行直方图均衡化，以获得从第一图像帧的初始基准灰度直方图到该图像帧的均衡化的或基本均衡化的基准灰度直方图E的映射函数G(p)；并且对在步骤S102获得的第一图像帧的目标基准灰度直方图进行直方图均衡化，以获得从第一图像帧的目标基准灰度直方图到上述均衡化的或基本均衡化的基准灰度直方图E的映射函数F(p)。然后，可通过以下公式(1)计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数D(p)：

D(p)＝F^-1(G(p))……(1)

此外，可以与计算基准映射函数类似的方式，计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。

接下来，在步骤S104中，对第一基准图像的预定区域执行基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参考映射函数以获得第一图像帧的增强参考图像。具体地，在步骤S104中，可通过将第一基准图像的预定区域中的每个像素的灰度值代入上述基准映射函数来执行灰度映射，以获得该像素的增强灰度值。然后，根据所获得的各个像素的增强灰度值生成第一图像帧的增强基准图像。此外，可以与生成第一图像帧的增强参考图像类似的方式，生成第一图像帧的增强参考图像。经过灰度映射后，与通过立体相机直接拍摄的第一基准图像和第一参考图像中的像素的原始灰度值相比，通过在增强基准图像和增强参考图像中的像素的增强灰度值能够更容易地计算准确的视差值。

最后，在步骤S105中，根据第一图像帧的增强基准图像和增强参考图像，生成对应于第一图像帧的第一视差图。可使用任何已知的根据基准图像和参考图像计算视差值的方法来获得视差值，并进而根据所获得的视差值生成对应于第一图像帧中的预定区域的第一视差图。例如，对于增强基准图像中的每个像素p，可将像素p的灰度值与在增强参考图像中具有相同横坐标的各个像素p’的灰度值进行比较，选择其灰度值与像素p的灰度值最相似的像素p’作为匹配点，并且根据像素p的横坐标与匹配点的横坐标值计算像素p的视差值。

以上结合图1描述了根据本发明一个实施例的生成视差图的方法。此外，根据本发明的一个示例，在步骤S102中使用的第二图像帧的历史信息可包括第二图像帧的权重、根据预先存储的第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的第二图像帧的增强参考图像生成的增强参考灰度直方图。例如，一个第二图像帧的增强基准图像和增强参考图像可以是在该第二图像帧为立体相机在当前时刻拍摄的当前图像帧时，根据图1中所示的生成视差图的方法100中的步骤S101至S104生成并存储的。

此外，根据本发明的另一个示例，在步骤S102中可根据在一个第二图像帧中视差值可靠的像素点的个数与该第二图像帧中总像素点的个数的比值，确定该第二图像帧的权重。例如，可将第二图像帧的性能因子作为该图像帧的权重，并且可根据以下公式(2)来计算该图像帧的性能因子Q_m：

Q_m＝P_m*R_m……(2)

其中P_m为在第二图像帧的预定区域中具有可靠的视差值的像素的个数，并且R_m为具有在第二图像帧的预定区域中具有可靠的视差值的像素的个数与在第二图像帧的预定区域中的像素的总数的比值。

具体地，可根据图1中所示的生成视差图的方法100中的步骤S105，基于上述第二图像帧的增强基准图像和增强参考图像，生成对应于第二图像帧的第二视差图，并且根据第二视差图确定在第二图像帧的预定区域中具有可靠的视差值的像素的个数P_m。

优选地，可根据第二视差图所指示的像素的视差来计算与视差对应的距离，其中与视差对应的距离指示该像素所对应的实际场景中的对象与立体相机之间的距离，并且根据所计算的距离生成像素距离直方图。图2是示出根据本发明一个实施例的示意性像素距离直方图。如图2所示，在像素距离直方图200中，纵坐标轴Y指示像素的个数并且横坐标轴X指示与视差对应的距离。可在像素距离直方图200中确定峰值距离210，并且将与峰值距离之间的差值小于或等于预定距离阈值(例如1m)的距离(如图2中的两条虚线之间的距离)所对应的视差作为可靠的视差，进而将具有与峰值距离之间的差值小于或等于预定距离阈值的距离的像素的个数作为具有可靠的视差值的像素的个数P_m。

又例如，可根据第二图像帧与第一图像帧之间的时间间隔，确定该第二图像帧的权重。根据本发明的一个示例，可将第二图像帧的时间因子作为该图像帧的权重，并且可根据以下公式(3)来计算该图像帧的时间因子T_m：

T_m＝(t-m)^-α……(3)

其中t是第一图像帧的序号，m是第二图像帧的序号，α是介于0和1之间的常数，例如可设置为0.5。从而当第二图像帧与第一图像帧之间的时间间隔越小时其权重越大，反之其权重越小。

此外，还可根据一个第二图像帧的性能因子和时间因子共同确定该第二图像帧的权重。例如可根据以下公式(4)来计算一个第二图像帧的权重W_m：

W_m＝Q_m*T_m……(4)

图3是描述了根据本发明一个实施例，根据第二图像帧的历史信息生成目标基准灰度直方图和目标参考灰度直方图的方法的流程图。如图3所示，在第二图像帧的历史信息包括第二图像帧的权重、根据预先存储的第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的第二图像帧的增强参考图像生成的增强参考灰度直方图的情况下，在步骤S301中，可根据第二图像帧的权重和增强基准灰度直方图，生成目标基准灰度直方图。根据本发明的一个示例，可根据第二增强图像帧的增强基准灰度直方图中直方条(bin)的加权值来生成目标基准灰度直方图。

例如，可根据以下公式(4)来计算第一基准图像的预定区域的目标基准灰度直方图

$H_{t\arg \mathrm{et}}^t=\left\{h_n^t\right|n=1,...,N\}$

$h_n^t=\frac{\underset{m=t-1}{\overset{t-M}{\mathrm{\Σ}}}{W}_m*h_n^m}{\underset{m=t-1}{\overset{t-M}{\mathrm{\Σ}}}{W}_m}......\left(5\right)$

其中N是大于1的正整数，是目标基准灰度直方图中的第n个直方条的值，M是大于或等于1的正整数并且可指示用于计算目标基准灰度直方图的第二图像帧的个数。为了提高准确性，优选地，可根据多个(例如5个)第二图像帧的增强基准灰度直方图来生成目标基准灰度直方图。

在步骤S302中，根据第二图像帧的权重和增强参考灰度直方图，生成目标参考灰度直方图。可以与计算目标基准灰度直方图类似的方式来计算目标参考灰度直方图。应注意，步骤S301和步骤S302不必按照图3所示的顺序执行。可以颠倒或并行地执行步骤S301和步骤S302。

此外，根据本发明另一示例，图1所示的生成视差图的方法100还可包括在步骤S105中生成目标参考灰度直方图之后，存储第一图像帧的增强基准图像、增强参考图像和第一视差图，以用于生成对应于第三图像帧的第三视差图，其中第三图像帧是立体相机在第一时刻之后的时刻拍摄的。也就是说，可存储所计算的第一图像帧的增强基准图像、增强参考图像和第一视差图作为计算下一帧视差图的历史信息。

在根据本实施例的生成视差图的方法中，通过使用根据立体相机所拍摄的图像帧的历史信息和当前信息计算的映射函数对该相机在当前时刻拍摄的图像帧中的基准图像和增强基准图像的预定区域的像素进行映射，可获得更易于获得准确视差图的增强基准图像和增强参考图像，并且根据增强基准图像和增强参考图像得到准确的视差图，以便于为用户提供更多有效的信息。

下面，参照图4说明本发明的实施例的根据立体相机拍摄的图像帧生成视差图的装置。图4是示出了根据本发明的一个实施例的根据立体相机拍摄的图像帧生成视差图的装置(以下简称为“生成视差图的装置”)400的示范性结构框图。如图4中所示，本实施例的生成视差图的装置400包括初始直方图生成单元410、目标直方图生成单元420、函数计算单元430、映射单元440和视差图生成单元450。生成视差图的装置400的各个单元可分别执行上述图1中的生成视差图的方法100的各个步骤/功能。因此，以下仅对生成视差图的装置400的主要部件进行了描述，而省略了以上已经结合图1描述过的细节内容。

例如，初始直方图生成单元410可根据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据第一图像帧的第一参考图像的预定区域生成初始参考灰度直方图，其中第一图像帧是立体相机在第一时刻拍摄的。根据本发明的一个示例，第一图像帧可以是立体相机拍摄的当前图像帧，并且第一时刻可以是当前时刻。可根据第一基准图像的预定区域中的像素的灰度值生成初始参考灰度直方图，并且类似地，可根据第一参考图像的预定区域中的像素的灰度值生成初始参考灰度直方图。

如上所述，预定区域可以是第一基准图像中的一部分，可替换地，预定区域也可以是第一基准图像中的全部。优选地，预定区域可以是立体相机所拍摄的目标对象(例如，正在行驶的车辆等)在图像帧的基准图像或参考图像中所在的区域。例如，可根据通过先前对目标对象追踪所获得的目标对象的运动信息来确定预定区域。又例如，可根据目标对象的运动信息分别在基准图像和参考图像中确定预定区域，可替换地，也可根据目标对象的运动信息在基准图像和参考图像中的一个图像中确定预定区域并将另一图像中的相应区域确定为该另一图像的预定区域。

目标直方图生成单元420可根据第二图像帧的历史信息，生成第一基准图像的预定区域的目标基准灰度直方图和第一参考图像的预定区域的目标参考灰度直方图，其中第二图像帧是立体相机在第一时刻之前的时刻拍摄的。例如，历史信息可包括根据第二图像帧中的基准图像和参考图像生成的灰度直方图等，稍后将对此进行详细描述。

然后函数计算单元430可计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数，并且计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。图5是示出了根据本发明的一个实施例的函数计算单元430的示范性结构框图。如图5所示，函数计算单元430可包括第一函数计算模块510、第二函数计算模块520和第三函数计算模块530。具体地，第一函数计算模块510可对第一图像帧的初始基准灰度直方图进行直方图均衡化，以获得从第一图像帧的初始基准灰度直方图到该图像帧的均衡化基准灰度直方图E的映射函数G(p)。第二函数计算模块520可对第一图像帧的目标基准灰度直方图进行直方图均衡化，以获得从第一图像帧的目标基准灰度直方图到上述均衡化基准灰度直方图E的映射函数F(p)。然后，第二函数计算模块520可通过上述公式(1)来计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数D(p)。此外，第一函数计算模块510、第二函数计算模块520和第三函数计算模块530可以与计算基准映射函数类似的方式，计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。

接下来，映射单元540可对第一基准图像的预定区域执行基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参考映射函数以获得第一图像帧的增强参考图像。具体地，映射单元540可通过将第一基准图像的预定区域中的每个像素的灰度值代入上述基准映射函数来执行灰度映射，以获得该像素的增强灰度值，并且根据所获得的各个像素的增强灰度值生成第一图像帧的增强基准图像。此外，映射单元540可以与生成第一图像帧的增强参考图像类似的方式，生成第一图像帧的增强参考图像。经过映射单元540执行灰度映射后，与通过立体相机直接拍摄的第一基准图像和第一参考图像中的像素的原始灰度值相比，通过在增强基准图像和增强参考图像中的像素的增强灰度值能够更容易地计算准确的视差值。

最后，视差图生成单元550可根据第一图像帧的增强基准图像和增强参考图像，生成对应于第一图像帧的第一视差图。可使用任何已知的根据基准图像和参考图像计算视差值的方法来获得视差值，并进而根据所获得的视差值生成对应于第一图像帧中的预定区域的第一视差图。例如，视差图生成单元550对于增强基准图像中的每个像素p，可将像素p的灰度值与在增强参考图像中具有相同横坐标的各个像素p’的灰度值进行比较，选择其灰度值与像素p的灰度值最相似的像素p’作为匹配点，并且根据像素p的横坐标与匹配点的横坐标值计算像素p的视差值。

以上结合图4描述了根据本发明一个实施例的生成视差图的装置。此外，根据本发明的一个示例，生成视差图的装置400还可包括存储单元，以存储第二图像帧的历史信息。如上所述，第二图像帧的历史信息可包括第二图像帧的权重、根据预先存储的第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的第二图像帧的增强参考图像生成的增强参考灰度直方图。

此外，目标直方图生成单元420可根据在一个第二图像帧中视差值可靠的像素点的个数与该第二图像帧中总像素点的个数的比值，确定该第二图像帧的权重。如上所述，根据本发明的一个示例，目标直方图生成单元420可将第二图像帧的性能因子和/或时间因子来确定该图像帧的权重。此外，在第二图像帧的历史信息包括第二图像帧的权重、根据预先存储的第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的第二图像帧的增强参考图像生成的增强参考灰度直方图的情况下，目标直方图生成单元420可根据第二图像帧的权重和增强基准灰度直方图，生成目标基准灰度直方图。例如目标直方图生成单元420可根据上述公式(4)来计算第一基准图像的预定区域的目标基准灰度直方图。类似地，标直方图生成单元420可根据第二图像帧的权重和增强参考灰度直方图，生成目标参考灰度直方图。

此外，存储单元还可在视差图生成单元450生成第一视差图之后，存储第一图像帧的增强基准图像、增强参考图像和第一视差图，以用于生成对应于第三图像帧的第三视差图，其中第三图像帧是立体相机在第一时刻之后的时刻拍摄的。也就是说，存储单元可存储所计算的第一图像帧的增强基准图像、增强参考图像和第一视差图作为计算下一帧视差图的历史信息。

在根据本实施例的生成视差图的装置中，通过使用根据立体相机所拍摄的图像帧的历史信息和当前信息计算的映射函数对该相机在当前时刻拍摄的图像帧中的基准图像和增强基准图像的预定区域的像素进行映射，可获得更易于获得准确视差图的增强基准图像和增强参考图像，并且根据增强基准图像和增强参考图像得到准确的视差图，以便于为用户提供更多有效的信息。

此外，根据本发明的另一示例，本发明还可以通过一种根据立体相机拍摄的图像帧生成视差图的硬件系统(以下简称为“生成视差图的硬件系统”)来实施。图6是示出按照本发明实施例的生成视差图的硬件系统600的总体硬件框图。如图6所示，生成视差图的硬件系统600可以包括：输入设备610，用于从外部输入有关图像或信息，例如立体相机拍摄的图像帧、立体相机的参数、或初始视差图等，输入设备610的具体形式可包括但不限于键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备620，用于实施上述的按照本发明实施例的生成视差图的方法，处理设备620的具体形式可包括但不限于计算机的中央处理器或其它的具有处理能力的芯片等等，此外，处理设备620还可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的图像等等；输出设备630，用于向外部输出实施上述生成视差图的方法所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备640，用于以易失或非易失的方式存储上述例如：第二图像帧的权重、第二图像帧的增强基准图像生成第二图像帧的增强参考图像之类的历史信息，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“组件、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品(manufacture)。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种根据立体相机拍摄的图像帧生成视差图的方法，其中每个所述图像帧包括基准图像和参考图像，所述方法包括：

根据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据所述第一图像帧的第一参考图像的预定区域生成初始参考灰度直方图，其中所述第一图像帧是所述立体相机在第一时刻拍摄的；

根据第二图像帧的历史信息，生成所述第一基准图像的预定区域的目标基准灰度直方图和所述第一参考图像的预定区域的目标参考灰度直方图，其中所述第二图像帧是所述立体相机在第一时刻之前的时刻拍摄的；

计算从所述初始基准灰度直方图到所述目标基准灰度直方图的基准映射函数，并且计算从所述初始参考灰度直方图到所述目标参考灰度直方图的参考映射函数；

对所述第一基准图像的预定区域执行所述基准映射函数以获得所述第一图像帧的增强基准图像，并且对所述第一参考图像的预定区域执行所述参考映射函数以获得所述第一图像帧的增强参考图像；以及

根据所述第一图像帧的增强基准图像和增强参考图像，生成对应于所述第一图像帧的第一视差图。

2.如权利要求1所述的方法，其中

第二图像帧的历史信息包括：第二图像帧的权重、根据预先存储的所述第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的所述第二图像帧的增强参考图像生成的增强参考灰度直方图；

所述根据第二图像帧的历史信息，生成所述第一基准区域的目标基准灰度直方图和所述第一参考区域的目标参考灰度直方图包括：

根据第二图像帧的权重和增强基准灰度直方图，生成目标基准灰度直方图，以及

根据第二图像帧的权重和增强参考灰度直方图，生成目标参考灰度直方图。

3.如权利要求2所述的方法，还包括：

根据在所述第二图像帧中视差值可靠的像素点的个数与该第二图像帧中总像素点的个数的比值，确定所述第二图像帧的权重。

4.如权利要求2或3所述的方法，还包括：

根据所述第二图像帧与所述第一图像帧之间的时间间隔，确定所述第二图像帧的权重。

5.如权利要求1至3中任意一项所述的方法，还包括：

存储所述第一图像帧的增强基准图像、增强参考图像和第一视差图，以用于生成对应于第三图像帧的第三视差图，其中所述第三图像帧是所述立体相机在第一时刻之后的时刻拍摄的。

6.一种根据立体相机拍摄的图像帧生成视差图的装置，其中每个所述图像帧包括基准图像和参考图像，所述装置包括：

初始直方图生成单元，配置来根据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据所述第一图像帧的第一参考图像的预定区域生成初始参考灰度直方图，其中所述第一图像帧是所述立体相机在第一时刻拍摄的；

目标直方图生成单元，配置来根据第二图像帧的历史信息，生成所述第一基准图像的预定区域的目标基准灰度直方图和所述第一参考图像的预定区域的目标参考灰度直方图，其中所述第二图像帧是所述立体相机在第一时刻之前的时刻拍摄的；

函数计算单元，配置来计算从所述初始基准灰度直方图到所述目标基准灰度直方图的基准映射函数，并且计算从所述初始参考灰度直方图到所述目标参考灰度直方图的参考映射函数；

映射单元，配置来对所述第一基准图像的预定区域执行所述基准映射函数以获得所述第一图像帧的增强基准图像，并且对所述第一参考图像的预定区域执行所述参考映射函数以获得所述第一图像帧的增强参考图像；以及

视差图生成单元，配置来根据所述第一图像帧的增强基准图像和增强参考图像，生成对应于所述第一图像帧的第一视差图。

7.如权利要求6所述的装置，其中

第二图像帧的历史信息包括：第二图像帧的权重、根据预先存储的所述第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的所述第二图像帧的增强参考图像生成的增强参考灰度直方图；

所述目标直方图生成单元根据第二图像帧的权重和增强基准灰度直方图，生成目标基准灰度直方图，以及根据第二图像帧的权重和增强参考灰度直方图，生成目标参考灰度直方图。

8.如权利要求7所述的装置，其中

所述目标直方图生成单元还配置来根据在一个所述第二图像帧中视差值可靠的像素点的个数与该第二图像帧中总像素点的个数的比值，确定该第二图像帧的权重。

9.如权利要求7或8所述的装置，其中

所述目标直方图生成单元还配置来根据一个所述第二图像帧与所述第一图像帧之间的时间间隔，确定该第二图像帧的权重。

10.如权利要求6至8中任意一项所述的装置，还包括：

存储单元，配置来存储所述第一图像帧的增强基准图像、增强参考图像和第一视差图，以用于生成对应于第三图像帧的第三视差图，其中所述第三图像帧是所述立体相机在第一时刻之后的时刻拍摄的。