CN105574926A - 生成三维图像的方法和装置 - Google Patents

Abstract

本发明实施例涉及生成三维图像的方法和装置。该方法包括：获取多个微单元图像；在每个该微单元图像上划分多个特征区域，该多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；根据该多个特征区域，确定多个区域平面，其中，该每个区域平面包括的特征区域属于同一物体或属于同源区域，该多个特征区域中的每个特征区域只属于该多个区域平面中的一个区域平面；确定该每个区域平面的区域平面深度值；根据该区域平面深度值得到三维图像。本发明实施例的生成三维图像的方法和装置，能够更加准确地提取深度值，进而使得生成三维图像更加准确逼真，应用场景范围更广泛。

Description

生成三维图像的方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及生成三维图像的方法和装置。

背景技术

三维立体重建由于能够重建出物体的三维模型信息，越来越受到大家的重视。现有的三维重建技术中提出了一种对视点图抗混叠迭代的求取深度的方法，主要解决了深度求取错误的问题。由于该方法将深度求取的目标放到了视点图上，这必然导致深度分辨率不高并且不能求取过于复杂的场景，从而导致该方法的应用范围极大的受限。

另外，在机器视觉研究领域中，如何从两幅具有位差的二维图像中，提取目标的深度信息，以重建目标的三维轮廓一直以来都是一个重要问题，而光场成像的计算重建过程，也是从一系列方向和视角信息不同的二维微单元图像还原物体的三维信息的过程，两者有众多相似之处，因此，将深度提取应用于光场成像领域的计算重建方法层出不穷。然而目前现有的光场成像三维重建算法，重建的效果较差，较难应用于实践。

现有技术中提出了一种改进的计算集成图像的高分辨率重建方法,主要解决现有计算集成成像重建方法重建图像分辨率低及重建复杂度高的问题。该方法通过逐点判断重建图像中的非零像素点,将其颜色值叠加到相邻8个像素点中的零像素点上,整合还原出目标的三维图像。但是，该方法所描述的重建方法，重建的结果仍然是二维图像，而不能还原出三维物体的深度信息，降低了光场成像的优势。

发明内容

本发明提供了一种生成三维图像的方法和装置，能够更准确地提取深度值，并更加准确地进行生成三维图像。

第一方面，提供了一种生成三维图像的方法，该方法包括：获取多个微单元图像；在每个该微单元图像上划分多个特征区域，该多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；根据该多个特征区域，确定多个区域平面，其中，该每个区域平面包括的特征区域属于同一物体或属于同源区域，该多个特征区域中的每个特征区域只属于该多个区域平面中的一个区域平面；确定该每个区域平面的区域平面深度值；根据该区域平面深度值得到三维图像。

结合第一方面，在第一方面的第一种可能的实现方式中，该根据该多个特征区域，确定多个区域平面，包括：确定该多个特征区域中的第一特征区域和该第一特征区域的邻接区域；确定该第一特征区域与该第一特征区域的邻接特征区域不属于同一物体的第一联合概率密度；确定该第一特征区域与该第一特征区域的邻接特征区域属于同一物体的第二联合概率密度；当该第一联合概率密度与该第二联合概率密度之比小于或等于第二阈值时，确定该第一特征区域与该第一特征区域的邻接特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同一物体。

结合第一方面，在第一方面的第二种可能的实现方式中，该根据该多个特征区域，确定多个区域平面，包括：确定该多个特征区域中的第二特征区域和该第二特征区域的邻接区域；确定合并区域与该第二特征区域的第一似然比、该合并区域与该第二特征区域的邻接特征区域的第二似然比，该合并区域包括该第二特征区域和该第二特征区域的邻接区域；当该第一似然比和/或该第二似然比小于或等于第三阈值时，确定该第二特征区域和该第二特征区域的邻接特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同一物体。

结合第一方面，在第一方面的第三种可能的实现方式中，该根据该多个特征区域，确定多个区域平面，包括：确定该多个特征区域中的第一微单元图像中的第三特征区域；确定该多个特征区域中的第二微单元图像中与该第三特征区域的颜色误差值最小的第四特征区域，该第二微单元图像与该第一微单元图像相邻，该第四特征区域与该第三特征区域的颜色误差值小于或等于第四阈值；确定该第三特征区域和该第四特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同源区域。

结合第一方面，在第一方面的第四种可能的实现方式中，该根据该多个特征区域，确定多个区域平面，包括：确定该多个特征区域中的第三微单元图像中的第五特征区域和该第五特征区域的中心像素点；在第四微单元图像中，以与该中心像素点位于同一极线上的像素点为中心，确定与该第五特征区域大小和形状相同的多个区域，该第四微单元图像与该第三微单元图像相邻；在该多个区域中确定与该第五特征区域颜色误差值最小的第六特征区域，该第六特征区域与该第五特征区域的颜色误差值小于或等于第五阈值；确定该第五特征区域和该第六特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同源区域。

结合第一方面或第一方面的第一种至第四种可能的实现方式中的任一种可能的实现方式，在第一方面的第五种可能的实现方式中，该获取多个微单元图像，包括：通过光场相机获取光场图像；将该光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，该五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；将该映射像素点邻域内密度最大区域的平均颜色值确定为该映射像素点的颜色值；根据确定了颜色值的该映射像素点确定该多个微单元图像。

结合第一方面或第一方面的第一种至第四种可能的实现方式中的任一种可能的实现方式，在第一方面的第六种可能的实现方式中，该确定该每个区域平面的区域平面深度值，包括：确定该每个区域平面内的至少一个特征点；确定该至少一个特征点的深度值；确定该每个区域平面的区域平面深度值，该区域平面深度值为该至少一个特征点的深度值的平均值。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，该获取多个微单元图像，包括：利用光场相机，获取该多个微单元图像；该确定该至少一个特征点的深度值，包括：确定该光场相机相邻透镜的中心间隔；确定该多个微单元图像所在的平面到该光场相机透镜阵列平面的距离；确定第m个特征点的视差值；根据下列公式计算该第m个特征点的深度值w_m'：

${w_m}^{\′}=\frac{t\×i}{d_m}$

其中，t为该光场相机相邻透镜的中心间隔；i为该多个微单元图像所在的平面到该光场相机透镜阵列平面的该距离；d_m为该第m个特征点的视差值。

结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，该确定该第m个特征点的视差值，包括：以该第m个特征点为中心建立原始匹配块；确定与该原始匹配块所在的微单元图像相邻的微单元图像中的待匹配块；根据该原始匹配块和该待匹配块，确定该第m个特征点的原始视差值；根据该原始视差值确定与该第m个特征点所在的微单元图像距离最远的待匹配微单元图像，并确定该待匹配微单元图像与该原始匹配块所在的微单元图像之间的图像数量差值；根据该原始匹配块和该待匹配微单元图像中与该原始匹配块颜色误差值最小的匹配块，确定该第m个特征点的匹配视差值；根据下列公式计算该第m个特征点的精确视差值d_m：

$d_m=\frac{D}{n}$

其中，D为该匹配视差值；n为该图像数量差值。

结合第一方面或第一方面的第一种至第八种可能的实现方式中的任一种可能的实现方式，在第一方面的第九种可能的实现方式中，该获取多个微单元图像，包括：利用光场相机，获取该多个微单元图像；该根据该区域平面深度值得到三维图像，包括：建立三维坐标系，该三维坐标系包括x轴、y轴和z轴；根据下列公式，在该三维坐标系内生成三维图像：

$P_j=\frac{i\×(C_j-X_j)}{w_j}+C$

其中，P_j表示该多个微单元图像中的第j个像素点对应该三维坐标系的坐标值，C_j表示该第j个像素点在该多个微单元图像中对应微透镜中心的坐标值，X_j表示该第j个像素点在该多个微单元图像中对应的坐标值，w_j表示该第j个像素点所在的区域平面的该区域平面深度值，i表示该多个微单元图像所在的平面到该光场相机透镜阵列平面的距离，该j小于或等于该多个微单元图像中所有像素点的个数。

第二方面，提供了一种生成三维图像的装置，该装置包括：获取模块，用于获取多个微单元图像；划分模块，用于在每个该微单元图像上划分多个特征区域，该多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；第一确定模块，用于根据该多个特征区域，确定多个区域平面，其中，该每个区域平面包括的特征区域属于同一物体或属于同源区域，该多个特征区域中的每个特征区域只属于该多个区域平面中的一个区域平面；第二确定模块，用于确定该每个区域平面的区域平面深度值；第三确定模块，用于根据该区域平面深度值得到三维图像。

结合第二方面，在第二方面的第一种可能的实现方式中，该第一确定模块具体用于：确定该多个特征区域中的第一特征区域和该第一特征区域的邻接区域；确定该第一特征区域与该第一特征区域的邻接特征区域不属于同一物体的第一联合概率密度；确定该第一特征区域与该第一特征区域的邻接特征区域属于同一物体的第二联合概率密度；当该第一联合概率密度与该第二联合概率密度之比小于或等于第二阈值时，确定该第一特征区域与该第一特征区域的邻接特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同一物体。

结合第二方面，在第二方面的第二种可能的实现方式中，该第一确定模块具体用于：确定该多个特征区域中的第二特征区域和该第二特征区域的邻接区域；确定合并区域与该第二特征区域的第一似然比、该合并区域与该第二特征区域的邻接特征区域的第二似然比，该合并区域包括该第二特征区域和该第二特征区域的邻接区域；当该第一似然比和/或该第二似然比小于或等于第三阈值时，确定该第二特征区域和该第二特征区域的邻接特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同一物体。

结合第二方面，在第二方面的第三种可能的实现方式中，该第一确定模块具体用于：确定该多个特征区域中的第一微单元图像中的第三特征区域；确定该多个特征区域中的第二微单元图像中与该第三特征区域的颜色误差值最小的第四特征区域，该第二微单元图像与该第一微单元图像相邻，该第四特征区域与该第三特征区域的颜色误差值小于或等于第四阈值；确定该第三特征区域和该第四特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同源区域。

结合第二方面，在第二方面的第四种可能的实现方式中，该第一确定模块具体用于：确定该多个特征区域中的第三微单元图像中的第五特征区域和该第五特征区域的中心像素点；在第四微单元图像中，以与该中心像素点位于同一极线上的像素点为中心，确定与该第五特征区域大小和形状相同的多个区域，该第四微单元图像与该第三微单元图像相邻；在该多个区域中确定与该第五特征区域颜色误差值最小的第六特征区域，该第六特征区域与该第五特征区域的颜色误差值小于或等于第五阈值；确定该第五特征区域和该第六特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同源区域。

结合第二方面或第二方面的第一种至第四种可能的实现方式中的任一种可能的实现方式，在第二方面的第五种可能的实现方式中，该获取模块具体用于：通过光场相机获取光场图像；将该光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，该五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；将该映射像素点邻域内密度最大区域的平均颜色值确定为该映射像素点的颜色值；根据确定了颜色值的该映射像素点确定该多个微单元图像。

结合第二方面或第二方面的第一种至第四种可能的实现方式中的任一种可能的实现方式，在第二方面的第六种可能的实现方式中，该第二确定模块具体用于：确定该每个区域平面内的至少一个特征点；确定该至少一个特征点的深度值；确定该每个区域平面的区域平面深度值，该区域平面深度值为该至少一个特征点的深度值的平均值。

结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，该获取模块具体用于：利用光场相机，获取该多个微单元图像；该第二确定模块具体用于：确定该光场相机相邻透镜的中心间隔；确定该多个微单元图像所在的平面到该光场相机透镜阵列平面的距离；确定第m个特征点的视差值；根据下列公式计算该第m个特征点的深度值w_m'：

${w_m}^{\′}=\frac{t\×i}{d_m}$

其中，t为该光场相机相邻透镜的中心间隔；i为该该微单元图像所在的平面到该光场相机透镜阵列平面的该距离；d_m为该第m个特征点的视差值。

结合第二方面的第七种可能的实现方式，在第二方面的第八种可能的实现方式中，该第二确定模块具体用于：以该第m个特征点为中心建立原始匹配块；确定与该原始匹配块所在的微单元图像相邻的微单元图像中的待匹配块；根据该原始匹配块和该待匹配块，确定该第m个特征点的原始视差值；根据该原始视差值确定与该第m个特征点所在的微单元图像距离最远的待匹配微单元图像，并确定该待匹配微单元图像与该原始匹配块所在的微单元图像之间的图像数量差值；根据该原始匹配块和该待匹配微单元图像中与该原始匹配块颜色误差值最小的匹配块，确定该第m个特征点的匹配视差值；根据下列公式计算该第m个匹配块的精确视差值d_m：

$d_m=\frac{D}{n}$

其中，D为该匹配视差值；n为该图像数量差值。

结合第二方面或第二方面的第一种至第八种可能的实现方式中的任一种可能的实现方式，在第二方面的第九种可能的实现方式中，该获取模块具体用于：利用光场相机，获取该多个微单元图像；该第三确定模块具体用于：建立三维坐标系，该三维坐标系包括x轴、y轴和z轴；根据下列公式，在该三维坐标系内生成三维图像：

$P_j=\frac{i\×(C_j-X_j)}{w_j}+C$

其中，P_j表示该多个微单元图像中的第j个像素点对应该三维坐标系的坐标值，C_j表示该第j个像素点在该多个微单元图像中对应微透镜中心的坐标值，X_j表示该第j个像素点在该多个微单元图像中对应的坐标值，w_j表示该第j个像素点所在的区域平面的该区域平面深度值，i表示该多个微单元图像所在的平面到该光场相机透镜阵列平面的距离，该j小于或等于该多个微单元图像中所有像素点的个数。

基于上述技术方案，本发明实施例的生成三维图像的方法和装置，通过获取多个微单元图像，在多个微单元图像上划分特征区域，合并特征区域为区域平面，计算区域平面的深度值，根据该深度值生成三维图像，避免了深度值提取过程中的误匹配，从而能够更加准确地提取深度值，进而使得生成的三维图像更加准确逼真，应用场景范围更广泛。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的生成三维图像的方法的示意性流程图。

图2是根据本发明实施例的生成三维图像的方法的示意图。

图3是根据本发明实施例的生成三维图像的装置的示意框图。

图4是根据本发明实施例的生成三维图像的装置的另一示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

图1示出了根据本发明实施例的生成三维图像的方法100的示意性流程图，该方法100可以由终端执行。如图1所示，该方法100包括：

S110，获取多个微单元图像；

S120，在每个该微单元图像上划分多个特征区域，该多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；

S130，根据该多个特征区域，确定多个区域平面，其中，该每个区域平面包括的特征区域属于同一物体或属于同源区域，该多个特征区域中的每个特征区域只属于该多个区域平面中的一个区域平面；

S140，确定该每个区域平面的区域平面深度值；

S150，根据该区域平面深度值得到三维图像。

具体地，可以利用光场相机获取二维的多个微单元图像，在微单元图像上划分特征区域，该特征区域内的像素点满足任意两个像素点的颜色值的差值小于或等于第一阈值，而且微单元图像上的每个像素点属于多个特征区域中的一个特征区域。通过合并特征区域得到区域平面，计算每个区域平面内的深度值，将该深度值作为该区域平面内所有像素点的深度值，建立三维坐标系，并根据各个像素点的深度值确定每个像素点的三维坐标值，从而生成三维图像。

因此，本发明实施例的生成三维图像的方法，通过在获取的多个微单元图像上划分特征区域，合并特征区域为区域平面，计算区域平面的深度值，根据该深度值生成三维立体图像，避免了深度值提取过程中的误匹配，从而能够更加准确地提取深度值，进而使得三维立体图像更加准确逼真，应用场景范围更广泛。

在S110中，可以通过光场相机获得多个微单元图像。具体地，可以通过光场相机直接拍摄得到光场图像，该光场图像即为多个微单元图像而组成的微单元图像阵列。为了使该微单元图像阵列在划分特征区域时更加准确，可选地，可以对该光场图像通过均值偏移法进行映射处理。具体地，将该光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，该五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；对于映射得到的每个映射像素点，获取每个映射像素点一个邻域内密度最大区域的平均颜色值；将该颜色值作为该映射像素点的新颜色值，进而从该五维空间重新确定原像素点的颜色值而得到新的微单元图像阵列。可选地，映射像素点邻域的大小可以根据经验值确定。

在S120中，可以在获取的多个微单元图像组成的微单元图像阵列中的每个微单元图像上划分多个特征区域，使每个特征区域包括的像素点满足任意两个像素点的颜色值的差值小于或等于第一阈值。该每个微单元图像划分多个特征区域后，不同特征区域之间不重合，每个像素点只属于多个特征区域中的一个特征区域。可选地，该像素点的颜色值可以包括该像素点的RGB(Red红，Green绿，Blue蓝)值或HSV(Hue色调，Saturation饱和度，Value亮度)值，但本发明并不限于此。

可选地，可以通过漫水法划分特征区域。在任意一个微单元图像上任意选择一个未被划分为特征区域或未被标记为区域平面的像素点作为种子点，并将该种子点作为一个新的特征区域。逐渐在该特征区域的邻接集合内寻找与种子点的颜色值的差值小于或等于第一阈值的像素点，例如，该颜色值可以为RGB值，第一阈值即为对应的RGB阈值，依次计算种子点与其邻接集合内的像素点的颜色值的差值，是否满足小于或等于该设定阈值。将满足与种子点的颜色值的差值小于或等于第一阈值的像素点划分为该特征区域内，直到该特征区域的邻接集合内不存在小于或等于该第一阈值的像素点时，重新设定种子点，并划分另一个新的特征区域，循环该过程，将该微单元图像划分出多个特征区域。可选地，该特征区域的邻接集合可以包括4邻域像素点，还可以包括8邻域像素点。可选地，该第一阈值可以根据经验设定，也可以根据图像处理要求设定，本发明并不限于此。通过漫水法划分的特征区域为连续区域，且属于同一特征区域的任意两个像素点的颜色值的差值满足小于或等于第一阈值。

可选地，还可以通过Kmeans算法划分特征区域，得到的特征区域包括非连续区域，且每个特征区域都满足同一个特征区域内任意两个像素点的颜色值的差值小于或等于第一阈值，该第一阈值可以根据经验值设定。

在本发明实施例中，可选地，可以同时将所有微单元图像都进行特征区域划分，还可以按照一定方向的顺序依次进行划分，例如，按照从左至右，从上至下的顺序依次划分多个微单元图像，本发明并不限于此。

在S130中，根据划分的多个特征区域，确定多个区域平面。可选地，可以通过判断多个特征区域是否属于同一物体，将属于同一物体的多个特征区域进行合并得到区域平面；还可以通过判断多个特征区域是否属于同源区域，将属于同源区域的多个特征区域进行合并得到区域平面；还可以通过判断多个特征区域是否属于同一物体，将属于同一物体的特征区域进行合并，并判断多个特征区域是否属于同源区域，将属于同源区域的多个特征区域也进行合并，最终得到区域平面。可选地，合并特征区域，可以通过位置上的合并特征区域得到区域平面，还可以通过标记不同位置的特征区域为同一区域平面来合并特征区域。

在本发明实施例中，可以通过以下方法确定多个特征区域是否属于同一物体。具体地，在任一幅微单元图像上，确定相邻的两个特征区域分别为第一特征区域R₁和第一特征区域的邻接区域R₂。假设图像中的区域具有恒定灰度值，并且被独立、加性和零均值高斯噪声污染，所以灰度值服从正态分布。计算特征区域R₁和邻接特征区域R₂分别包括m₁和m₂个像素点，并有如下两种假设：

H₀：R₁和R₂两个区域属于同一物体，在这种情况下，两个区域的灰度值都服从单一高斯分布(μ₀,σ₀ ²)；

H₁：R₁和R₂两个区域不属于同一物体，在这种情况下，两个区域的灰度值都服从不同的高斯分布(μ₁,σ₁ ²)和(μ₂,σ₂ ²)。

一般情况下，上面的参数是未知的，但可以使用样本来估计。例如，当区域包含有n个像素点，每个像素点的灰度值为g_i，i＝1,2…n，服从正态分布：

$p\left(g_i\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{{(g_i-\mathrm{\μ})}^2}{{2\mathrm{\σ}}^2}}---\left(1\right)$

因此，可以通过下面的公式(2)和(3)求得以下参数：

$\widehat{\mathrm{\μ}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_i---\left(2\right)$

${\widehat{\mathrm{\σ}}}^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(g_i-\widehat{\mathrm{\μ}})}^2---\left(3\right)$

即通过公式(2)和(3)可以求得本发明实施例中的相关参数σ₀,σ₁,σ₂。

因此，在H₀的情况下，联合密度为：

$\begin{array}{c}p(g_1,g_2,...,g_{m_1+m_2}|H_0)\\ =\underset{i=1}{\overset{m_1+m_2}{\mathrm{\Π}}}p(g_i,H_0)\\ =\underset{i=1}{\overset{m_1+m_2}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{{(g_i-{\mathrm{\μ}}_0)}^2}{{{2\mathrm{\σ}}_0}^2}}\\ =\frac{1}{{\left(\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_0\right)}^{m_1+m_2}}{e}^{-\frac{{\mathrm{\Σ}}_{i=1}^{m_1+m_2}{(g_i-{\mathrm{\μ}}_0)}^2}{{{2\mathrm{\σ}}_0}^2}}\\ =\frac{1}{{\left(\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_0\right)}^{m_1+m_2}}{e}^{-\frac{(m_1+m_2)}{2}}\end{array}---\left(4\right)$

在H₁的情况下，联合密度为：

$\begin{array}{c}p(g_1,g_2,...,g_{m_1},g_{m_1+1},...,g_{m_1+m_2}|H_1)\\ =\frac{1}{{\left(\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_1\right)}^{m_1}}{e}^{-\frac{m_1}{2}}\·\frac{1}{{\left(\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_2\right)}^{m_2}}{e}^{-\frac{m_2}{2}}\end{array}---\left(5\right)$

通过下面的公式(6)，计算H₁与H₀二者联合密度的比，该比值为似然比L：

$\begin{array}{c}L=\frac{p(g_1,g_2,...,|H_1)}{p(g_1,g_2,...,|H_0)}\\ =\frac{{{\mathrm{\σ}}_0}^{m_1+m_2}}{{{\mathrm{\σ}}_1}^{m_1}\·{{\mathrm{\σ}}_2}^{m_2}}\end{array}---\left(6\right)$

当该L值小于或等于第二阈值时，确定该特征区域R₁和邻接特征区域R₂属于同一物体，当L值大于第二阈值时，确定该特征区域R₁和邻接特征区域R₂不属于同一物体。通过上述方法将每个微单元图像中的每个特征区域和该特征区域的邻接区域都进行判断并进行合并得到多个区域平面。可选地，该第二阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。

可选地，在本发明实施例中，还可以通过合并特征区域和该特征区域的邻接区域为合并区域，通过计算合并区域与该特征区域和该特征区域的邻接区域的似然比来确定特征区域与该特征区域的邻接区域是否属于同一物体。具体地，选取多个微单元图像中任一微单元图像中的任一相邻的两个特征区域为第二特征区域R₁和第二特征区域的邻接区域R₂，将R₁和R₂合并为一个合并区域R₃，按照上述公式(1)-(6)分别计算R₃和R₁的似然比L₃₁、R₃和R₂的似然比L₃₂，若L₃₁和/或L₃₂小于或等于第三阈值，则可以确定R₁和R₂属于同一物体，否则，则可以确定R₁和R₂不属于同一物体。例如，当要求图像处理比较精确时，可以设置为当L₃₁和L₃₂均小于或等于第三阈值时，可以确定R₁和R₂属于同一物体，否则，则可以确定R₁和R₂不属于同一物体；当要求图像处理不是比较精确时，可以设置为当L₃₁或L₃₂小于或等于第三阈值时，则可以确定R₁和R₂属于同一物体，否则，则可以确定R₁和R₂不属于同一物体。可选地，该第三阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。

在本发明实施例中，可以通过判断多个特征区域属于同源区域来确定区域平面。具体地，在任意相邻的两幅微单元图像第一微单元图像和第二微单元图像中，选取第一微单元图像中的任意一个特征区域为第三特征区域，将第二微单元图像上的每个特征区域分别作为疑似同源区域。按照下面的公式(7)分别计算第三特征区域与每一个疑似同源区域的颜色误差值E：

$E=\underset{p}{\mathrm{\Σ}}|I_p-I_{p+d}|---\left(7\right)$

其中，p为第三特征区域内像素点的个数；I_p表示第三特征区域内的像素点的颜色值，I_p+d表示疑似同源区域内与第三特征区域内的像素点相对应的像素点的颜色值；E表示第三特征区域和疑似同源区域内所有像素点的颜色值的差值之和。选取满足颜色误差值E小于或等于第四阈值的所有疑似同源区域中，颜色误差值E最小的疑似同源区域为第四特征区域，则该第四特征区域与第三特征区域属于同源区域。若不存在第四特征区域，则确定为该第三特征区域的同源区域为该第三特征区域本身。可选地，该第四阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。通过上述方法依次判断每个微单元图像和相邻的微单元图像中的每个特征区域，将属于同源区域的特征区域进行合并得到区域平面。可选地，该像素点的颜色值可以包括该像素点的RGB值或HSV值，但本发明并不限于此。

可选地，在本发明实施例中，还可以通过下面的方法确定多个特征区域是否属于同源区域。将多个微单元图像中任一微单元图像中任一特征区域作为第五特征区域，并确定该第五特征区域的中心像素点。在与第五特征区域所在的微单元图像相邻的微单元图像中，依次选取与该中心像素点位于同一极线上的每个像素点，以这些像素点作为中心建立与第五特征区域大小和形状一样的多个区域为疑似同源区域。按照公式(7)，依次计算第五特征区域与多个疑似同源区域中的每个区域之间的颜色误差值E。选取满足颜色误差值E小于或等于第五阈值的所有区域中，颜色误差值E最小的区域为第六特征区域，则该第六特征区域是第五特征区域的同源区域。若不存在第六特征区域，则确定为该第五特征区域的同源区域为该第五特征区域本身。可选地，该第五阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。可选地，该像素点的颜色值可以包括该像素点的RGB值或HSV值，但本发明并不限于此。

在本发明实施例中，通过上述方法合并特征区域时，可以按照一定方向的顺序进行划分特征区域，并按照一定的顺序合并特征区域得到区域平面。例如，可以按照从左至右，从上至下的顺序依次将微单元图像划分为多个特征区域，在划分了特征区域的微单元图像中确定第五特征区域，在相邻的未被划分特征区域的微单元图像中确定第六特征区域。

在S140中，确定多个区域平面后，计算各个区域平面的区域平面深度值。可选的，可以通过确定每个区域平面内的特征点，并计算各个特征点深度值的方法确定区域平面的深度值。具体地，可以通过SIFT特征点查找法来确定该区域平面内的特征点，还可以通过FAST特征点查找法来确定特征点，本发明并不限于此。

在本发明实施例中，确定区域平面内的所有特征点后，计算各个特征点的深度值。具体地，可以通过光场相机得到多个微单元图像，这些微单元图像构成二维的微单元图像阵列，并根据下面的公式(8)来确定第m个特征点的深度值w_m'：

${w_m}^{\′}=\frac{t\×i}{d_m}---\left(8\right)$

如图2所示，其中，t为光场相机相邻透镜中心间隔；i为微单元图像阵列平面到光场相机透镜阵列平面的距离；d_m为第m个特征点的视差值，m表示所有特征点中任意一个特征点，通过该公式(8)计算每个区域平面上的每个特征点的深度值。

在本发明实施例中，公式中的视差值d_m可以通过块匹配算法进行计算。

可选地，还可以通过颜色误差值匹配的方法更加精确地计算视差值d_m。具体地，以计算第m个特征点为例，以第m个特征点为中心建立原始匹配块，该匹配块的大小可以根据经验值设定，根据块匹配算法，确定与该第m个特征点所在的微单元图像相邻的微单元图像上的待匹配块，并计算该第m个特征点的原始视差值。根据计算得到的原始视差值，估算与该第m个特征点所在的微单元图像距离最远的，且包括与原始匹配块相匹配的匹配块的匹配微单元图像，确定该匹配微单元图像与原始匹配块所在微单元图像之间微单元图像个数的差值n。根据块匹配算法，确定该匹配微单元图像中与原始匹配块最匹配的匹配块，并通过块匹配算法根据原始匹配块与该匹配块计算该第m个特征点的匹配视差值D。根据下列公式(9)计算出第m个特征点的精确度视差值d_m：

$d_m=\frac{D}{n}---\left(9\right)$

其中，d_m表示第m个特征点的视差值，第m个特征点为任一区域平面中任一特征点，类似地，可以根据上述方法计算出每个特征点的视差值。

在本发明实施例中，通过上述方法得到区域平面内的各个特征点的深度值后，可以将该区域平面内所有特征点的深度值求取平均值，将该平均深度值作为该区域平面内所有像素点的深度值，但本发明并不限于此。

在本发明实施例中，可选地，当某一个区域平面内不存在特征点时，可以将该区域平面忽略，不再进行计算深度值，但本发明并不限于此。

在S150中，确定各个区域平面的深度值后，根据该深度值生成三维图像。首先，建立三维坐标系，该三维坐标系包括x轴、y轴和z轴，可选地，可以将生成的三维立体场景的向后的方向设为z轴正方向，生成的三维立体场景向右的方向设为x轴正方向，生成的三维立体场景向上的方向设为y轴正方向。可选地，x和y方向可以与原始的多个微单元图像构成的二维微单元图像阵列的水平方向和垂直方向相对应。根据建立的三维坐标系，利用下面的公式(10)，计算任一微单元图像中任一像素点在三维坐标系中的坐标值P_j：

$P_j=\frac{i\×(C_j-X_j)}{w_j}+C---\left(10\right)$

其中，P_j表示该微单元图像阵列中的第j个像素点对应该三维坐标系的坐标值，C_j表示该第j个像素点在该微单元图像阵列中对应微透镜中心的坐标值，X_j表示该第j个像素点在该微单元图像阵列中对应的坐标值，w_j表示该第j个像素点所在该区域平面的该深度值，i表示该微单元图像阵列平面到该光场相机透镜阵列平面的距离，其中，j小于或等于微单元图像阵列中所有像素点的个数。

应理解，在本发明的实施例中，微单元图像的相邻微单元图像或特征区域的相邻特征区域，可以为该微单元图像或该特征区域的4邻域内的或8邻域内的微单元图像或特征区域，本发明并不限于此。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

因此，本发明实施例的生成三维图像的方法，通过光场相机获取多个微单元图像，对每个微单元图像划分特征区域，通过判断各个特征区域是否属于同一物体，和/或各个特征区域是否属于同源区域，合并属于同一物体和/或属于同源区域的特征区域为区域平面，计算各个区域平面内的特征点的平均深度值，将该平均深度值作为该区域平面内所有像素点的深度值来生成三维立体图像，避免了深度值提取过程中的误匹配，从而能够更加准确快速地提取深度值，进而使得生成的三维图像更加准确逼真，应用场景范围更广泛。

上文中结合图1至图2，详细描述了根据本发明实施例的生成三维图像的方法，下面将结合图3，描述根据本发明实施例的生成三维图像的装置。

图3示出了根据本发明实施例的生成三维图像的装置的示意性框图。如图3所示，该装置包括：

获取模块210，用于获取多个微单元图像；

划分模块220，用于在每个该微单元图像上划分多个特征区域，该多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；

第一确定模块230，用于根据该多个特征区域，确定多个区域平面，其中，该每个区域平面包括的特征区域属于同一物体或属于同源区域，该多个特征区域中的每个特征区域只属于该多个区域平面中的一个区域平面；

第二确定模块240，用于确定该每个区域平面的区域平面深度值；

第三确定模块250，用于根据该区域平面深度值得到三维图像。

因此，本发明实施例的生成三维图像的方法，通过在获取的多个微单元图像上划分特征区域，合并特征区域为区域平面，计算区域平面的深度值，根据该深度值生成三维立体图像，避免了深度值提取过程中的误匹配，从而能够更加准确地提取深度值，进而使得三维立体图像更加准确逼真，应用场景范围更广泛。

在本发明实施例中，可以通过光场相机获取多个微单元图像构成微单元图像阵列，获取模块210获取该微单元图像阵列，该微单元图像阵列包括多个微单元图像。具体地，为了使该微单元图像阵列在划分特征区域时更加准确，可选地，获取模块210可以对该光场图像通过均值偏移法进行映射处理。具体地，将该光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，该五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；对于映射得到的每个映射像素点，获取每个映射像素点一个邻域内密度最大区域的平均颜色值；将该颜色值作为该映射像素点的新颜色值，进而从该五维空间重新确定原像素点的颜色值而得到新的微单元图像阵列。可选地，映射像素点邻域的大小可以根据经验值确定。

在本发明实施例中，可以将多个微单元图像中的每个微单元图像通过划分模块220划分成多个特征区域，使每个特征区域包括的像素点满足任意两个像素点的颜色值的差值小于或等于第一阈值。该每个微单元图像划分多个特征区域后，不同特征区域之间不重合，每个像素点只属于多个特征区域中的一个特征区域。可选地，该像素点的颜色值可以包括该像素点的RGB值或HSV值，但本发明并不限于此。

可选地，可以通过漫水法划分特征区域。通过漫水法划分的特征区域为连续区域，且属于同一特征区域的任意两个像素点的颜色值的差值满足小于或等于第一阈值。可选地，还可以通过Kmeans算法划分特征区域，得到的特征区域包括非连续区域，且每个特征区域都满足同一个特征区域内任意两个像素点的颜色值的差值小于或等于第一阈值，该第一阈值可以根据经验值设定。

在本发明实施例中，可选地，可以同时将所有微单元图像都进行特征区域划分，还可以按照一定方向的顺序依次进行划分，例如，按照从左至右，从上至下的顺序依次划分多个微单元图像，本发明并不限于此。

在本发明实施例中，根据划分模块220划分的多个特征区域，通过第一确定模块230确定多个区域平面。可选地，可以通过判断多个特征区域是否属于同一物体，将属于同一物体的多个特征区域进行合并得到区域平面；还可以通过判断多个特征区域是否属于同源区域，将属于同源区域的多个特征区域进行合并得到区域平面；还可以通过判断多个特征区域是否属于同一物体，将属于同一物体的特征区域进行合并，并判断多个特征区域是否属于同源区域，将属于同源区域的多个特征区域也进行合并，最终得到区域平面。可选地，合并特征区域，可以通过位置上的合并特征区域得到区域平面，还可以通过标记不同位置的特征区域为同一区域平面来合并特征区域。

在本发明实施例中，第一确定模块430可以通过以下方法确定多个特征区域是否属于同一物体。具体地，在任一幅微单元图像上，确定相邻的两个特征区域分别为第一特征区域R₁和第一特征区域的邻接区域R₂。假设图像中的区域具有恒定灰度值，并且被独立、加性和零均值高斯噪声污染，所以灰度值服从正态分布。计算特征区域R₁和邻接特征区域R₂分别包括m₁和m₂个像素点，并有如下两种假设：

H₀：R₁和R₂两个区域属于同一物体，在这种情况下，两个区域的灰度值都服从单一高斯分布(μ₀,σ₀ ²)；

H₁：R₁和R₂两个区域不属于同一物体，在这种情况下，两个区域的灰度值都服从不同的高斯分布(μ₁,σ₁ ²)和(μ₂,σ₂ ²)。

一般情况下，上面的参数是未知的，但可以使用样本来估计。例如，当区域包含有n个像素点，每个像素点的灰度值为g_i，i＝1,2…n，服从正态分布如公式(1)所示，即可以通过公式(2)和(3)可以求得本发明实施例中的相关参数σ₀,σ₁,σ₂。因此，在H₀的情况下，联合密度如公式(4)所示；在H₁的情况下，联合密度如公式(5)所示。通过公式(6)，计算H₁与H₀二者联合密度的比，该比值为似然比L。

当该L值小于或等于第二阈值时，确定该特征区域R₁和邻接特征区域R₂属于同一物体，当L值大于第二阈值时，确定该特征区域R₁和邻接特征区域R₂不属于同一物体。通过上述方法将每个微单元图像中的每个特征区域和该特征区域的邻接区域都进行判断并进行合并得到多个区域平面。可选地，该第二阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。

可选地，在本发明实施例中，第一确定模块430还可以通过合并特征区域和该特征区域的邻接区域为合并区域，通过计算合并区域与该特征区域和该特征区域的邻接区域的似然比来确定特征区域与该特征区域的邻接区域是否属于同一物体。具体地，选取多个微单元图像中任一微单元图像中的任一相邻的两个特征区域为第二特征区域R₁和第二特征区域的邻接区域R₂，将R₁和R₂合并为一个合并区域R₃，按照上述公式(1)-(6)分别计算R₃和R₁的似然比L₃₁、R₃和R₂的似然比L₃₂，若L₃₁和/或L₃₂小于或等于第三阈值，则可以确定R₁和R₂属于同一物体，否则，则可以确定R₁和R₂不属于同一物体，可选地，该第三阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。

在本发明实施例中，第一确定模块430可以通过判断多个特征区域属于同源区域来确定区域平面。具体地，在任意相邻的两幅微单元图像第一微单元图像和第二微单元图像中，选取第一微单元图像中的任意一个特征区域为第三特征区域，将第二微单元图像上的每个特征区域分别作为疑似同源区域。按照公式(7)分别计算第三特征区域与每一个疑似同源区域的颜色误差值E，其中，p为第三特征区域内像素点的个数；I_p表示第三特征区域内的像素点的颜色值，I_p+d表示疑似同源区域内与第三特征区域内的像素点相对应的像素点的颜色值；E表示第三特征区域和疑似同源区域内所有像素点的颜色值的差值之和。选取满足颜色误差值E小于或等于第四阈值的所有疑似同源区域中，颜色误差值E最小的疑似同源区域为第四特征区域，则该第四特征区域与第三特征区域属于同源区域。若不存在第四特征区域，则确定为该第三特征区域的同源区域为该第三特征区域本身。可选地，该第四阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。通过上述方法依次判断每个微单元图像和相邻的微单元图像中的每个特征区域，将属于同源区域的特征区域进行合并得到区域平面。可选地，该像素点的颜色值可以包括该像素点的RGB值或HSV值，但本发明并不限于此。

可选地，在本发明实施例中，第一确定模块430还可以通过下面的方法确定多个特征区域是否属于同源区域。将多个微单元图像中任一微单元图像中任一特征区域作为第五特征区域，并确定该第五特征区域的中心像素点。在与第五特征区域所在的微单元图像相邻的微单元图像中，依次选取与该中心像素点位于同一极线上的每个像素点，以这些像素点作为中心建立与第五特征区域大小和形状一样的多个区域为疑似同源区域。按照公式(7)，依次计算第五特征区域与多个疑似同源区域中的每个区域之间的颜色误差值E。选取满足颜色误差值E小于或等于第五阈值的所有区域中，颜色误差值E最小的区域为第六特征区域，则该第六特征区域是第五特征区域的同源区域。若不存在第六特征区域，则确定为该第五特征区域的同源区域为该第五特征区域本身。可选地，该第五阈值可以根据经验值设定，也可以根据图像处理要求设定，本发明并不限于此。可选地，该像素点的颜色值可以包括该像素点的RGB值或HSV值，但本发明并不限于此。

在本发明实施例中，通过上述方法合并特征区域时，可以按照一定方向的顺序进行划分特征区域，并按照一定的顺序合并特征区域得到区域平面。例如，可以按照从左至右，从上至下的顺序依次将微单元图像划分为多个特征区域，在划分了特征区域的微单元图像中确定第五特征区域，在相邻的未被划分特征区域的微单元图像中确定第六特征区域。

在本发明实施例中，第一确定模块230确定多个区域平面后，通过第二确定模块240确定各个区域平面的区域平面深度值。可选的，该确定模块240可以通过确定每个区域平面内的特征点，并计算各个特征点深度值的方法确定区域平面的深度值。具体地，可以通过SIFT特征点查找法来确定该区域平面内的特征点，还可以通过FAST特征点查找法来确定特征点，本发明并不限于此。

在本发明实施例中，第二确定模块240确定区域平面内的所有特征点后，计算各个特征点的深度值。具体地，可以通过光场相机得到多个微单元图像，这些微单元图像构成二维的微单元图像阵列，并根据公式(8)来确定第m个特征点的深度值w_m'，如图2所示，其中，t为光场相机相邻透镜中心间隔；i为微单元图像阵列平面到光场相机透镜阵列平面的距离；d_m为各个特征点的视差值，m表示所有特征点中任意一个特征点，通过该公式(8)计算每个区域平面上的每个特征点的深度值。

在本发明实施例中，公式中的视差值d_m可以通过块匹配算法进行计算。可选地，还可以通过颜色误差值匹配的方法更加精确地计算视差值d_m。具体地，以计算第m个特征点为例，以第m个特征点为中心建立原始匹配块，该匹配块的大小可以根据经验值设定，根据块匹配算法，确定与该第m个特征点所在的微单元图像相邻的微单元图像上的待匹配块，并计算该第m个特征点的原始视差值。根据计算得到的原始视差值，估算与该第m个特征点所在的微单元图像距离最远的，且包括与原始匹配块相匹配的匹配块的匹配微单元图像，确定该匹配微单元图像与原始匹配块所在微单元图像之间微单元图像个数的差值n。根据块匹配算法，确定该匹配微单元图像中与原始匹配块最匹配的匹配块，并通过块匹配算法根据原始匹配块与该匹配块计算该第m个特征点的匹配视差值D。根据下列公式(9)计算出第m个特征点的精确度视差值d_m，其中，d_m表示第m个特征点的视差值，第m个特征点为任一区域平面中任一特征点，类似地，可以根据上述方法计算出每个特征点的视差值。。

在本发明实施例中，第二确定模块240通过上述方法得到区域平面内的各个特征点的深度值后，可以将该区域平面内所有特征点的深度值求取平均值，将该平均深度值作为该区域平面内所有像素点的深度值，但本发明并不限于此。

在本发明实施例中，可选地，当某一个区域平面内不存在特征点时，可以将该区域平面忽略，不再进行计算深度值，但本发明并不限于此。

在本发明实施例中，第二确定模块240确定各个区域平面的深度值后，第三确定模块250根据该深度值生成三维图像。首先，建立三维坐标系，该三维坐标系包括x轴、y轴和z轴，可选地，可以将生成的三维立体场景的向后的方向设为z轴正方向，生成的三维立体场景向右的方向设为x轴正方向，生成的三维立体场景向上的方向设为y轴正方向。可选地，x和y方向可以与原始的多个微单元图像构成的二维微单元图像阵列的水平方向和垂直方向相对应。根据建立的三维坐标系，利用下面的公式(10)，计算任一微单元图像中任一像素点在三维坐标系中的坐标值P_j，其中，C_j表示该第j个像素点在该微单元图像阵列中对应微透镜中心的坐标值，X_j表示该第j个像素点在该微单元图像阵列中对应的坐标值，w_j表示该第j个像素点所在该区域平面的该深度值，i表示该微单元图像阵列平面到该光场相机透镜阵列平面的距离，其中，j小于或等于微单元图像阵列中所有像素点的个数。

应理解，在本发明的实施例中，微单元图像的相邻微单元图像或特征区域的相邻特征区域，可以为该微单元图像或该特征区域的4邻域内的或8邻域内的微单元图像或特征区域，本发明并不限于此。

应理解，根据本发明实施例的生成三维图像的装置200可对应于执行本发明实施例中的生成三维图像的方法100，并且生成三维图像的装置200中的各个模块的上述和其它操作和/或功能分别为了实现图1至图2中的各个方法的相应流程，为了简洁，在此不再赘述。

因此，本发明实施例的生成三维图像的装置，通过光场相机获取多个微单元图像，对每个微单元图像划分特征区域，通过判断各个特征区域是否属于同一物体，和/或各个特征区域是否属于同源区域，合并属于同一物体和/或属于同源区域的特征区域为区域平面，计算各个区域平面内的特征点的平均深度值，将该平均深度值作为该区域平面内所有像素点的深度值来生成三维立体图像，避免了深度值提取过程中的误匹配，从而能够更加准确快速地提取深度值，进而使得生成的三维图像更加准确逼真，应用场景范围更广泛。

如图4所示，本发明实施例还提供了一种生成三维图像的装置300，包括处理器310、存储器320和总线系统330。其中，处理器310和存储器320通过总线系统330相连，该存储器320用于存储指令，该处理器310用于执行该存储器320存储的指令。该存储器320存储程序代码，且处理器310可以调用存储器320中存储的程序代码执行以下操作：

获取多个微单元图像；

在每个该微单元图像上划分多个特征区域，该多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；

根据该多个特征区域，确定多个区域平面，其中，该每个区域平面包括的特征区域属于同一物体或属于同源区域，该多个特征区域中的每个特征区域只属于该多个区域平面中的一个区域平面；

确定该每个区域平面的区域平面深度值；

根据该区域平面深度值得到三维图像。

因此，本发明实施例的生成三维图像的装置，通过在获取的多个微单元图像上划分特征区域，合并特征区域为区域平面，计算区域平面的深度值，根据该深度值生成三维立体图像，避免了深度值提取过程中的误匹配，从而能够更加准确地提取深度值，进而使得三维立体图像更加准确逼真，应用场景范围更广泛。

应理解，在本发明实施例中，该处理器310可以是中央处理单元(CentralProcessingUnit，简称为“CPU”)，该处理器310还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器320可以包括只读存储器和随机存取存储器，并向处理器310提供指令和数据。存储器320的一部分还可以包括非易失性随机存取存储器。例如，存储器320还可以存储设备类型的信息。

该总线系统330除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统330。

在实现过程中，上述方法的各步骤可以通过处理器310中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器320，处理器310读取存储器320中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：确定该多个特征区域中的第一特征区域和该第一特征区域的邻接区域；确定该第一特征区域与该第一特征区域的邻接特征区域不属于同一物体的第一联合概率密度；确定该第一特征区域与该第一特征区域的邻接特征区域属于同一物体的第二联合概率密度；当该第一联合概率密度与该第二联合概率密度之比小于或等于第二阈值时，确定该第一特征区域与该第一特征区域的邻接特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同一物体。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：确定该多个特征区域中的第二特征区域和该第二特征区域的邻接区域；确定合并区域与该第二特征区域的第一似然比、该合并区域与该第二特征区域的邻接特征区域的第二似然比，该合并区域包括该第二特征区域和该第二特征区域的邻接区域；当该第一似然比和/或该第二似然比小于或等于第三阈值时，确定该第二特征区域和该第二特征区域的邻接特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同一物体。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：确定该多个特征区域中的第一微单元图像中的第三特征区域；确定该多个特征区域中的第二微单元图像中与该第三特征区域的颜色误差值最小的第四特征区域，该第二微单元图像与该第一微单元图像相邻，该第四特征区域与该第三特征区域的颜色误差值小于或等于第四阈值；确定该第三特征区域和该第四特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同源区域。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：确定该多个特征区域中的第三微单元图像中的第五特征区域和该第五特征区域的中心像素点；在第四微单元图像中，以与该中心像素点位于同一极线上的像素点为中心，确定与该第五特征区域大小和形状相同的多个区域，该第四微单元图像与该第三微单元图像相邻；在该多个区域中确定与该第五特征区域颜色误差值最小的第六特征区域，该第六特征区域与该第五特征区域的颜色误差值小于或等于第五阈值；确定该第五特征区域和该第六特征区域属于该多个区域平面中的同一区域平面，该同一区域平面包括的特征区域属于同源区域。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：通过光场相机获取光场图像；将该光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，该五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；将该映射像素点邻域内密度最大区域的平均颜色值确定为该映射像素点的颜色值；根据确定了颜色值的该映射像素点确定该多个微单元图像。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：确定该每个区域平面内的至少一个特征点；确定该至少一个特征点的深度值；确定该每个区域平面的区域平面深度值，该区域平面深度值为该至少一个特征点的深度值的平均值。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：利用光场相机，获取该多个微单元图像；确定该光场相机相邻透镜的中心间隔；确定该多个微单元图像所在的平面到该光场相机透镜阵列平面的距离；确定第m个特征点的视差值；根据下列公式计算该第m个特征点的深度值w_m'：

${w_m}^{\′}=\frac{t\×i}{d_m}$

其中，t为该光场相机相邻透镜的中心间隔；i为该多个微单元图像所在的平面到该光场相机透镜阵列平面的该距离；d_m为该第m个特征点的视差值。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：以该第m个特征点为中心建立原始匹配块；确定与该原始匹配块所在的微单元图像相邻的微单元图像中的待匹配块；根据该原始匹配块和该待匹配块，确定该第m个特征点的原始视差值；根据该原始视差值确定与该第m个特征点所在的微单元图像距离最远的待匹配微单元图像，并确定该待匹配微单元图像与该原始匹配块所在的微单元图像之间的图像数量差值；根据该原始匹配块和该待匹配微单元图像中与该原始匹配块颜色误差值最小的匹配块，确定该第m个特征点的匹配视差值；根据下列公式计算该第m个特征点的精确视差值d_m：

$d_m=\frac{D}{n}$

其中，D为该匹配视差值；n为该图像数量差值。

可选地，作为一个实施例，处理器310可以调用存储器320中存储的程序代码执行以下操作：利用光场相机，获取该多个微单元图像；建立三维坐标系，该三维坐标系包括x轴、y轴和z轴；根据下列公式，在该三维坐标系内生成三维图像：

$P_j=\frac{i\×(C_j-X_j)}{w_j}+C$

其中，P_j表示该多个微单元图像中的第j个像素点对应该三维坐标系的坐标值，C_j表示该第j个像素点在该多个微单元图像中对应微透镜中心的坐标值，X_j表示该第j个像素点在该多个微单元图像中对应的坐标值，w_j表示该第j个像素点所在的区域平面的该区域平面深度值，i表示该多个微单元图像所在的平面到该光场相机透镜阵列平面的距离，该j小于或等于该多个微单元图像中所有像素点的个数。

应理解，根据本发明实施例的生成三维图像的装置300可对应于本发明实施例中的生成三维图像的装置200，并可以对应于执行根据本发明实施例的方法100中的相应主体，并且生成三维图像的装置300中的各个模块的上述和其它操作和/或功能分别为了实现图1至图2中的各个方法的相应流程，为了简洁，在此不再赘述。

因此，本发明实施例的生成三维图像的装置，通过在获取的多个微单元图像上划分特征区域，合并特征区域为区域平面，计算区域平面的深度值，根据该深度值生成三维立体图像，避免了深度值提取过程中的误匹配，从而能够更加准确地提取深度值，进而使得三维立体图像更加准确逼真，应用场景范围更广泛。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种生成三维图像的方法，其特征在于，包括：

获取多个微单元图像；

在每个所述微单元图像上划分多个特征区域，所述多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；

根据所述多个特征区域，确定多个区域平面，其中，所述每个区域平面包括的特征区域属于同一物体或属于同源区域，所述多个特征区域中的每个特征区域只属于所述多个区域平面中的一个区域平面；

确定所述每个区域平面的区域平面深度值；

根据所述区域平面深度值得到三维图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个特征区域，确定多个区域平面，包括：

确定所述多个特征区域中的第一特征区域和所述第一特征区域的邻接区域；

确定所述第一特征区域与所述第一特征区域的邻接特征区域不属于同一物体的第一联合概率密度；

确定所述第一特征区域与所述第一特征区域的邻接特征区域属于同一物体的第二联合概率密度；

当所述第一联合概率密度与所述第二联合概率密度之比小于或等于第二阈值时，确定所述第一特征区域与所述第一特征区域的邻接特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同一物体。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多个特征区域，确定多个区域平面，包括：

确定所述多个特征区域中的第二特征区域和所述第二特征区域的邻接区域；

确定合并区域与所述第二特征区域的第一似然比、所述合并区域与所述第二特征区域的邻接特征区域的第二似然比，所述合并区域包括所述第二特征区域和所述第二特征区域的邻接区域；

当所述第一似然比和/或所述第二似然比小于或等于第三阈值时，确定所述第二特征区域和所述第二特征区域的邻接特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同一物体。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个特征区域，确定多个区域平面，包括：

确定所述多个特征区域中的第一微单元图像中的第三特征区域；

确定所述多个特征区域中的第二微单元图像中与所述第三特征区域的颜色误差值最小的第四特征区域，所述第二微单元图像与所述第一微单元图像相邻，所述第四特征区域与所述第三特征区域的颜色误差值小于或等于第四阈值；

确定所述第三特征区域和所述第四特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同源区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述多个特征区域，确定多个区域平面，包括：

确定所述多个特征区域中的第三微单元图像中的第五特征区域和所述第五特征区域的中心像素点；

在第四微单元图像中，以与所述中心像素点位于同一极线上的像素点为中心，确定与所述第五特征区域大小和形状相同的多个区域，所述第四微单元图像与所述第三微单元图像相邻；

在所述多个区域中确定与所述第五特征区域颜色误差值最小的第六特征区域，所述第六特征区域与所述第五特征区域的颜色误差值小于或等于第五阈值；

确定所述第五特征区域和所述第六特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同源区域。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取多个微单元图像，包括：

通过光场相机获取光场图像；

将所述光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，所述五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；

将所述映射像素点邻域内密度最大区域的平均颜色值确定为所述映射像素点的颜色值；

根据确定了颜色值的所述映射像素点确定所述多个微单元图像。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述确定所述每个区域平面的区域平面深度值，包括：

确定所述每个区域平面内的至少一个特征点；

确定所述至少一个特征点的深度值；

确定所述每个区域平面的区域平面深度值，所述区域平面深度值为所述至少一个特征点的深度值的平均值。

8.根据权利要求7所述的方法，其特征在于，所述获取多个微单元图像，包括：

利用光场相机，获取所述多个微单元图像；

所述确定所述至少一个特征点的深度值，包括：

确定所述光场相机相邻透镜的中心间隔；

确定所述多个微单元图像所在的平面到所述光场相机透镜阵列平面的距离；

确定第m个特征点的视差值；

根据下列公式计算所述第m个特征点的深度值w_m'：

${w_m}^{\′}=\frac{t\×i}{d_m}$

其中，t为所述光场相机相邻透镜的中心间隔；i为所述多个微单元图像所在的平面到所述光场相机透镜阵列平面的所述距离；d_m为所述第m个特征点的视差值。

9.根据权利要求8所述的方法，其特征在于，所述确定所述第m个特征点的视差值，包括：

以所述第m个特征点为中心建立原始匹配块；

确定与所述原始匹配块所在的微单元图像相邻的微单元图像中的待匹配块；

根据所述原始匹配块和所述待匹配块，确定所述第m个特征点的原始视差值；

根据所述原始视差值确定与所述第m个特征点所在的微单元图像距离最远的待匹配微单元图像，并确定所述待匹配微单元图像与所述原始匹配块所在的微单元图像之间的图像数量差值；

根据所述原始匹配块和所述待匹配微单元图像中与所述原始匹配块颜色误差值最小的匹配块，确定所述第m个特征点的匹配视差值；

根据下列公式计算所述第m个特征点的精确视差值d_m：

$d_m=\frac{D}{n}$

其中，D为所述匹配视差值；n为所述图像数量差值。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述获取多个微单元图像，包括：

利用光场相机，获取所述多个微单元图像；

所述根据所述区域平面深度值生成三维图像，包括：

建立三维坐标系，所述三维坐标系包括x轴、y轴和z轴；

根据下列公式，在所述三维坐标系内生成三维图像：

$P_j=\frac{i\×(C_j-X_j)}{w_j}+C$

其中，P_j表示所述多个微单元图像中的第j个像素点对应所述三维坐标系的坐标值，C_j表示所述第j个像素点在所述多个微单元图像中对应微透镜中心的坐标值，X_j表示所述第j个像素点在所述多个微单元图像中对应的坐标值，w_j表示所述第j个像素点所在的区域平面的所述区域平面深度值，i表示所述多个微单元图像所在的平面到所述光场相机透镜阵列平面的距离，所述j小于或等于所述多个微单元图像中所有像素点的个数。

11.一种生成三维图像的装置，其特征在于，包括：

获取模块，用于获取多个微单元图像；

划分模块，用于在每个所述微单元图像上划分多个特征区域，所述多个特征区域中的每个特征区域内的任意两个像素点的颜色值的差值小于或等于第一阈值；

第一确定模块，用于根据所述多个特征区域，确定多个区域平面，其中，所述每个区域平面包括的特征区域属于同一物体或属于同源区域，所述多个特征区域中的每个特征区域只属于所述多个区域平面中的一个区域平面；

第二确定模块，用于确定所述每个区域平面的区域平面深度值；

第三确定模块，用于根据所述区域平面深度值得到三维图像。

12.根据权利要求11所述的装置，其特征在于，所述第一确定模块具体用于：

确定所述多个特征区域中的第一特征区域和所述第一特征区域的邻接区域；

确定所述第一特征区域与所述第一特征区域的邻接特征区域不属于同一物体的第一联合概率密度；

确定所述第一特征区域与所述第一特征区域的邻接特征区域属于同一物体的第二联合概率密度；

当所述第一联合概率密度与所述第二联合概率密度之比小于或等于第二阈值时，确定所述第一特征区域与所述第一特征区域的邻接特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同一物体。

13.根据权利要求11所述的装置，其特征在于，所述第一确定模块具体用于：

确定所述多个特征区域中的第二特征区域和所述第二特征区域的邻接区域；

确定合并区域与所述第二特征区域的第一似然比、所述合并区域与所述第二特征区域的邻接特征区域的第二似然比，所述合并区域包括所述第二特征区域和所述第二特征区域的邻接区域；

当所述第一似然比和/或所述第二似然比小于或等于第三阈值时，确定所述第二特征区域和所述第二特征区域的邻接特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同一物体。

14.根据权利要求11所述的装置，其特征在于，所述第一确定模块具体用于：

确定所述多个特征区域中的第一微单元图像中的第三特征区域；

确定所述多个特征区域中的第二微单元图像中与所述第三特征区域的颜色误差值最小的第四特征区域，所述第二微单元图像与所述第一微单元图像相邻，所述第四特征区域与所述第三特征区域的颜色误差值小于或等于第四阈值；

确定所述第三特征区域和所述第四特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同源区域。

15.根据权利要求11所述的装置，其特征在于，所述第一确定模块具体用于：

确定所述多个特征区域中的第三微单元图像中的第五特征区域和所述第五特征区域的中心像素点；

在第四微单元图像中，以与所述中心像素点位于同一极线上的像素点为中心，确定与所述第五特征区域大小和形状相同的多个区域，所述第四微单元图像与所述第三微单元图像相邻；

在所述多个区域中确定与所述第五特征区域颜色误差值最小的第六特征区域，所述第六特征区域与所述第五特征区域的颜色误差值小于或等于第五阈值；

确定所述第五特征区域和所述第六特征区域属于所述多个区域平面中的同一区域平面，所述同一区域平面包括的特征区域属于同源区域。

16.根据权利要求11至15中任一项所述的装置，其特征在于，所述获取模块具体用于：

通过光场相机获取光场图像；

将所述光场图像中的每个像素点一一映射到五维空间得到对应的映射像素点，所述五维空间的坐标包括：水平X方向坐标，垂直Y方向坐标，红色分量强度值坐标，绿色分量强度值坐标和蓝色分量强度值坐标；

将所述映射像素点邻域内密度最大区域的平均颜色值确定为所述映射像素点的颜色值；

根据确定了颜色值的所述映射像素点确定所述多个微单元图像。

17.根据权利要求11至15中任一项所述的装置，其特征在于，所述第二确定模块具体用于：

确定所述每个区域平面内的至少一个特征点；

确定所述至少一个特征点的深度值；

确定所述每个区域平面的区域平面深度值，所述区域平面深度值为所述至少一个特征点的深度值的平均值。

18.根据权利要求17所述的装置，其特征在于，所述获取模块具体用于：

利用光场相机，获取所述多个微单元图像；

所述第二确定模块具体用于：

确定所述光场相机相邻透镜的中心间隔；

确定所述多个微单元图像所在的平面到所述光场相机透镜阵列平面的距离；

确定第m个特征点的视差值；

根据下列公式计算所述第m个特征点的深度值w_m'：

${w_m}^{\′}=\frac{t\×i}{d_m}$

其中，t为所述光场相机相邻透镜的中心间隔；i为所述所述微单元图像所在的平面到所述光场相机透镜阵列平面的所述距离；d_m为所述第m个特征点的视差值。

19.根据权利要求18所述的装置，其特征在于，所述第二确定模块具体用于：

以所述第m个特征点为中心建立原始匹配块；

确定与所述原始匹配块所在的微单元图像相邻的微单元图像中的待匹配块；

根据所述原始匹配块和所述待匹配块，确定所述第m个特征点的原始视差值；

根据所述原始视差值确定与所述第m个特征点所在的微单元图像距离最远的待匹配微单元图像，并确定所述待匹配微单元图像与所述原始匹配块所在的微单元图像之间的图像数量差值；

根据所述原始匹配块和所述待匹配微单元图像中与所述原始匹配块颜色误差值最小的匹配块，确定所述第m个特征点的匹配视差值；

根据下列公式计算所述第m个匹配块的精确视差值d_m：

$d_m=\frac{D}{n}$

其中，D为所述匹配视差值；n为所述图像数量差值。

20.根据权利要求11至19中任一项所述的装置，其特征在于，所述获取模块具体用于：

利用光场相机，获取所述多个微单元图像；

所述第三确定模块具体用于：

建立三维坐标系，所述三维坐标系包括x轴、y轴和z轴；

根据下列公式，在所述三维坐标系内生成三维图像：

$P_j=\frac{i\×(C_j-X_j)}{w_j}+C$

其中，P_j表示所述多个微单元图像中的第j个像素点对应所述三维坐标系的坐标值，C_j表示所述第j个像素点在所述多个微单元图像中对应微透镜中心的坐标值，X_j表示所述第j个像素点在所述多个微单元图像中对应的坐标值，w_j表示所述第j个像素点所在的区域平面的所述区域平面深度值，i表示所述多个微单元图像所在的平面到所述光场相机透镜阵列平面的距离，所述j小于或等于所述多个微单元图像中所有像素点的个数。