CN117036445B - 基于随机分配的深度估计方法、装置、计算机设备和介质 - Google Patents

Abstract

本公开提供一种基于随机分配的深度估计方法、装置、计算机设备和介质，包括：采用深度估计算法确定目标图像中目标像素点的初始深度值；以初始深度值为搜索中心，确定初始深度值对应的随机搜索范围；基于随机搜索范围中的深度值构建候选深度值集合；遍历候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值；基于遍历的每个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度，确定每个第一候选深度值与所有参考图像之间的相关性得分；基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值。从而，有效提升像素点的深度估计精度。

Description

基于随机分配的深度估计方法、装置、计算机设备和介质

技术领域

本公开的实施例涉及计算机技术领域，具体地，涉及适用于一种基于随机分配的深度估计方法、装置、计算机设备和介质。

背景技术

图像的像素深度决定了彩色图像中每个像素可能有的颜色数，或者确定灰度图像中每个像素可能有的灰度级数。

在对图像的像素深度的估计过程中，通常是通过初始化方式得到图像中各像素点的深度初值，然后利用空间传播得到相应像素点更加准确的深度值，但是，对于所以像素点的深度值估计并不是都很准确，有些像素点的深度值通过空间传播会得到的数值和真实值之间有一定的差值，会影响深度估计精度。

然而，上述实现方式，深度估计精度不高。

发明内容

本文中描述的实施例提供了一种基于随机分配的深度估计方法、装置、计算机设备和介质，克服了上述问题。

第一方面，根据本公开的内容，提供了一种基于随机分配的深度估计方法，包括：

采用深度估计算法确定目标图像中目标像素点的初始深度值；

以所述初始深度值为搜索中心，确定所述初始深度值对应的随机搜索范围，所述随机搜索范围为所述初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，所述左边界深度值大于所述初始深度值，所述初始深度值大于所述右边界深度值；

基于所述随机搜索范围中的深度值构建候选深度值集合；

遍历所述候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，所述第一候选深度值用于描述为所述目标像素点随机指定的当前深度值；

基于遍历的每个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度，确定每个所述第一候选深度值与所有所述参考图像之间的相关性得分，所述参考图像与所述目标图像为拍摄元素相同且拍摄角度不同的图像，所述参考图像与所述目标图像之间的对应关系为多对一；

基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值。

第二方面，根据本公开的内容，提供了一种基于随机分配的深度估计装置，包括：

第一确定模块，用于采用深度估计算法确定目标图像中目标像素点的初始深度值；

第二确定模块，用于以所述初始深度值为搜索中心，确定所述初始深度值对应的随机搜索范围，所述随机搜索范围为所述初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，所述左边界深度值大于所述初始深度值，所述初始深度值大于所述右边界深度值；

构建模块，用于基于所述随机搜索范围中的深度值构建候选深度值集合；

选取模块，用于遍历所述候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，所述第一候选深度值用于描述为所述目标像素点随机指定的当前深度值；

第三确定模块，用于基于遍历的每个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度，确定每个所述第一候选深度值与所有所述参考图像之间的相关性得分，所述参考图像与所述目标图像为拍摄元素相同且拍摄角度不同的图像，所述参考图像与所述目标图像之间的对应关系为多对一；

预估模块，用于基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值。

第三方面，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如以上任意一个实施例中基于随机分配的深度估计方法的步骤。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任意一个实施例中基于随机分配的深度估计方法的步骤。

本申请实施例提供的基于随机分配的深度估计方法，采用深度估计算法确定目标图像中目标像素点的初始深度值；以初始深度值为搜索中心，确定初始深度值对应的随机搜索范围，随机搜索范围为初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，左边界深度值大于初始深度值，初始深度值大于右边界深度值；基于随机搜索范围中的深度值构建候选深度值集合；遍历候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，第一候选深度值用于描述为目标像素点随机指定的当前深度值；基于遍历的每个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度，确定每个第一候选深度值与所有参考图像之间的相关性得分，参考图像与目标图像为拍摄元素相同且拍摄角度不同的图像，参考图像与目标图像之间的对应关系为多对一；基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值。如此，对于图像中的每个像素点，设定其对应的随机搜索范围，并通过通过判定随机搜索范围中每个候选深度值对应的相关性得分，以此预估出目标图像中目标像素点对应的最佳深度值，有效提升像素点的深度估计精度。

上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的附图进行简要说明，应当知道，以下描述的附图仅仅涉及本公开的一些实施例，而非对本公开的限制，其中：

图1是本公开提供的一种基于随机分配的深度估计方法的流程示意图。

图2是本公开提供的一种随机搜索范围的示意图。

图3是本公开提供的另一种随机搜索范围的示意图。

图4是本公开提供的一种基于随机分配的深度估计装置的结构示意图。

图5是本公开提供的一种计算机设备的结构示意图。

需要注意的是，附图中的元素是示意性的，没有按比例绘制。

具体实施方式

为了使本公开的实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本公开的实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域技术人员在无需创造性劳动的前提下所获得的所有其它实施例，也都属于本公开保护的范围。

除非另外定义，否则在此使用的所有术语（包括技术和科学术语）具有与本公开主题所属领域的技术人员所通常理解的相同含义。进一步将理解的是，诸如在通常使用的词典中定义的那些的术语应解释为具有与说明书上下文和相关技术中它们的含义一致的含义，并且将不以理想化或过于正式的形式来解释，除非在此另外明确定义。如在此所使用的，将两个或更多部分“连接”或“耦接”到一起的陈述应指这些部分直接结合到一起或通过一个或多个中间部件结合。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语“实施例”并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：存在A，同时存在A和B，存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。诸如“第一”和“第二”的术语仅用于将一个部件（或部件的一部分）与另一个部件（或部件的另一部分）区分开。

在本申请的描述中，除非另有说明，“多个”的含义是指两个以上（包括两个），同理，“多组”指的是两组以上（包括两组）。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图1是本公开实施例提供的一种基于随机分配的深度估计方法的流程示意图。如图1所示，基于随机分配的深度估计方法的具体过程包括：

S110、采用深度估计算法确定目标图像中目标像素点的初始深度值。

其中，初始深度值为对目标图像中的目标像素点进行粗估计而得到的一个深度值。

深度估计算法可包括但不限于是：基于深度学习的双目深度估计算法、基于深度学习的单目深度估计算法、基于光场图像的深度估计算法。

S120、以初始深度值为搜索中心，确定初始深度值对应的随机搜索范围。

其中，随机搜索范围为初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，左边界深度值大于初始深度值，初始深度值大于右边界深度值，也即是，左边界深度值与初始深度值之间的深度差值与右边界深度值与初始深度值之间的深度差值相同。

随机搜索范围为一个二维搜索范围，可看作一条线段形式，随机搜索范围搜索中心为初始深度值，搜索边界点分别为初始深度值对应的左边界深度值和右边界深度值。

一些实施例中，以初始深度值为搜索中心，确定初始深度值对应的随机搜索范围，包括：

基于初始深度值、预设次数阈值以及深度范围阈值，分别确定初始深度值对应的左边界深度值和右边界深度值；基于初始深度值对应的左边界深度值和右边界深度值，构建初始深度值对应的随机搜索范围。

举例而言，基于初始深度值、预设次数阈值以及深度范围阈值，分别确定初始深度值对应的左边界深度值和右边界深度值，可包括：采用如下公式（1），基于初始深度值、预设次数阈值以及深度范围阈值，确定初始深度值对应的左边界深度值。

（1）

采用如下公式（2），基于初始深度值、预设次数阈值以及深度范围阈值，确定初始深度值对应的右边界深度值。

（2）

其中，为初始深度值对应的左边界深度值，/>为初始深度值对应的右边界深度值，/>为初始深度值，/>为预设次数阈值，即随机分配的搜索尝试次数，本实施例中，/>可取3，/>为深度范围阈值，其阈值范围可为[0.005,0.05]，本实施例中，/>可取0.01。

基于初始深度值对应的左边界深度值/>和右边界深度值/>，构建的随机搜索范围如图2所示，其中，/>为/>和/>中间的一个深度位置点。

从而，通过初始深度值、预设次数阈值以及深度范围阈值，分别确定出初始深度值对应的左边界深度值和右边界深度值，以基于初始深度值对应的左边界深度值和右边界深度值，有效构建出初始深度值对应的随机搜索范围。

S130、基于随机搜索范围中的深度值构建候选深度值集合。

其中，随机搜索范围中的深度值构建候选深度值集合，可为将随机搜索范围中包括的所有深度值插入一个预先建立的候选深度值集合中，或者，可将随机搜索范围的两个边界深度值插入建立的候选深度值集合中，预先建立的候选深度值集合为一个空集合，如插入深度值后候选深度值集合/>。

S140、遍历候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值。

其中，第一候选深度值可用于描述为目标像素点随机指定的当前深度值。

在随机选取一个候选深度值作为第一候选深度值时，可基于候选深度值集合中每个候选深度值的排列顺序，从前到后依次选取一个候选深度值作为第一候选深度值，如第一候选深度值可为；或者，基于候选深度值集合中每个候选深度值的排列顺序，从后到前依次选取一个候选深度值作为第一候选深度值，如第一候选深度值可为/>；或者，基于与初始深度值之间的深度差值的大小关系，从小到大依次选取一个候选深度值作为第一候选深度值。

S150、基于遍历的每个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度，确定每个第一候选深度值与所有参考图像之间的相关性得分。

其中，参考图像与目标图像为拍摄元素相同且拍摄角度不同的图像，参考图像与目标图像之间的对应关系为多对一。

第一候选深度值与所有参考图像之间的相关性得分可通过如下公式（3）确定得出。

（3）

公式（3）中，为第一候选深度值与所有参考图像之间的相关性得分，/>为目标图像中第一候选深度值对应的图像块（patch），/>为参考图像中第一候选深度值对应的图像块（patch），/>表示patch内像素点的下标（即位置坐标）。/>，数值越接近于0的时候，说明相关性越低，反之/>数值越接近于1的时候，说明相关性越高。

一些实施例中，一个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度的数值有多个，数值与参考图像的数量相对应。本实施例中，参考图像的数量为k。

基于遍历的每个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度，确定每个第一候选深度值与所有参考图像之间的相关性得分，包括：

基于每个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度，以及参考图像的数量，确定每个第一候选深度值与所有参考图像之间的相关性得分。

举例而言，每个第一候选深度值与所有参考图像之间的相关性得分，可通过如下公式（4）确定。

（4）

其中，为一个第一候选深度值与所有参考图像之间的相关性得分，/>为随机选取的一个第一候选深度值，k为参考图像的数量。从而，有效衡量出每个第一候选深度值与所有参考图像之间的相关性得分。

S160、基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值。

举例而言，初始，则表明目标图像中目标像素点对应的当前的最佳深度值为/>，若基于公式（4）确定出/>，则表明目标图像中目标像素点对应的当前的最佳深度值为d，并将d从集合CD中删除，重新进行搜索，若确定不出当前的最佳深度值，即表明d为最终的目标图像中目标像素点对应的最佳深度值。d为/>或/> d为中的一个深度值。

本实施例中，采用深度估计算法确定目标图像中目标像素点的初始深度值；以初始深度值为搜索中心，确定初始深度值对应的随机搜索范围，随机搜索范围为初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，左边界深度值大于初始深度值，初始深度值大于右边界深度值；基于随机搜索范围中的深度值构建候选深度值集合；遍历候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，第一候选深度值用于描述为目标像素点随机指定的当前深度值；基于遍历的每个第一候选深度值对应的图像块与每个参考图像中第一候选深度值对应的图像块之间的相关度，确定每个第一候选深度值与所有参考图像之间的相关性得分，参考图像与目标图像为拍摄元素相同且拍摄角度不同的图像，参考图像与目标图像之间的对应关系为多对一；基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值。如此，对于图像中的每个像素点，设定其对应的随机搜索范围，并通过通过判定随机搜索范围中每个候选深度值对应的相关性得分，以此预估出目标图像中目标像素点对应的最佳深度值，有效提升像素点的深度估计精度。

一些实施例中，基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值，包括：

若遍历的所有第一候选深度值与所有参考图像之间的相关性得分中最大相关性得分对应的候选深度值为初始深度值对应的左边界深度值时，则基于左边界深度值与初始深度值更新随机搜索范围；获取基于随机搜索范围更新后的候选深度值集合中处于区域中间点的第二候选深度值。

举例而言，基于左边界深度值与初始深度值/>更新的随机搜索范围如图3所示，处于基于随机搜索范围更新后的候选深度值集合的区域中间点的第二候选深度值如图3中的/>，基于随机搜索范围更新后的候选深度值集合为/>。

基于第二候选深度值对应的图像块与每个参考图像中第二候选深度值对应的图像块之间的相关度，确定第二候选深度值与所有参考图像之间的相关性得分。

其中，第二候选深度值与所有参考图像之间的相关性得分的确定公式可参见如上公式（3）和公式（4），此处不再赘述。

若基于初始最佳得分以及第二候选深度值与所有参考图像之间的相关性得分，确定第二候选深度值不属于当前最佳时，则确定遍历的所有第一候选深度值与所有参考图像之间的相关性得分中最大相关性得分对应的候选深度值，为目标图像中目标像素点对应的最佳深度值。

其中，初始最佳得分用于描述初始深度值与所有参考图像之间的相关性得分，即初始最佳得分。

参见图3所示，遍历集合CD中的每个元素，采用“二分随机分配过程”，进一步寻找更好的深度值。

，将/>插入集合CD中，若计算出/>，表明第二候选深度值/>不属于当前最佳，则将/>从集合CD中删除，终止当前“二分随机分配过程”。从而，搜索出目标像素点的最佳深度值。

一些实施例中，本实施例方法还包括：

若基于初始最佳得分以及第二候选深度值与所有参考图像之间的相关性得分，确定第二候选深度值属于当前最佳时，则以第二候选深度值为搜索中心更新随机搜索范围。

其中，更新后的随机搜索范围由第二候选深度值对应的左边界深度值和有边界深度值组成的深度区域范围，第二候选深度值对应的左边界深度值大于第二候选深度值，第二候选深度值大于其对应的右边界深度值。

若，表明第二候选深度值/>属于当前最佳，则当前搜索状态下，/>，/>，将/>从集合CD中删除，以第二候选深度值为搜索中心更新得到的随机搜索范围如图3中/>和/>之间的范围，/>为第二候选深度值对应的左边界深度值，/>为第二候选深度值对应的右边界深度值。

若判断出第二候选深度值对应的左边界深度值和右边界深度值均不属于当前最佳时，则确定第二候选深度值为目标图像中目标像素点对应的最佳深度值；若判断出第二候选深度值对应的左边界深度值或右边界深度值属于当前最佳时，基于第二候选深度值更新随机搜索范围，直至搜索不到处于当前最佳的候选深度值。

其中，将和/>插入集合CD中，同理，分别基于第二候选深度值对应的左边界深度值与所有参考图像的相关性得分和第二候选深度值对应的右边界深度值与所有参考图像的相关性得分，判断/>和/>是否属于当前最佳时，如果是，则采用同样的“二分随机分配过程”，继续寻找，直到不再有最佳深度为止。从而，搜索出目标像素点的最佳深度值。

一些实施例中，基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值，包括：

若遍历的所有第一候选深度值与所有参考图像之间的相关性得分中最大相关性得分对应的候选深度值为初始深度值对应的右边界深度值，则基于右边界深度值与初始深度值更新随机搜索范围；获取基于随机搜索范围更新后的候选深度值集合中处于区域中间点的第三候选深度值；基于第三候选深度值对应的图像块与每个参考图像中第三候选深度值对应的图像块之间的相关度，确定第三候选深度值与所有参考图像之间的相关性得分；若基于初始最佳得分以及第三候选深度值与所有参考图像之间的相关性得分，确定第三候选深度值不属于当前最佳时，则确定遍历的所有第一候选深度值与所有参考图像之间的相关性得分中最大相关性得分对应的候选深度值，为目标图像中目标像素点对应的最佳深度值。

其中，第三候选深度值与所有参考图像之间的相关性得分的确定公式可参见如上公式（3）和公式（4），此处不再赘述。

初始最佳得分用于描述初始深度值与所有参考图像之间的相关性得分，即初始最佳得分。

另外，若基于初始最佳得分以及第三候选深度值与所有参考图像之间的相关性得分，确定第三候选深度值属于当前最佳时，则以第三候选深度值为搜索中心更新随机搜索范围；若判断出第三候选深度值对应的左边界深度值或右边界深度值不属于当前最佳时，则确定第三候选深度值为目标图像中目标像素点对应的最佳深度值；若判断出第三候选深度值对应的左边界深度值或右边界深度值属于当前最佳时，基于第三候选深度值更新随机搜索范围，直至搜索不到处于当前最佳的候选深度值。从而，搜索出目标像素点的最佳深度值。

一些实施例中，基于每个第一候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值，包括：

若遍历的所有第一候选深度值与所有参考图像之间的相关性得分中最大相关性得分对应的候选深度值不是初始深度值对应的左边界深度值也不是初始深度值对应的右边界深度值，且当前搜索次数小于或等于预设次数阈值时，扩大以初始深度值为搜索中心对应的左边界深度值和右边界深度值，以更新随机搜索范围。

其中，若和/>均不属于当前最佳时，且当前搜索次数小于或等于3时，扩大以初始深度值为搜索中心对应的左边界深度值和右边界深度值，更新得到的随机搜索范围如图2中/>和/>组成的深度区域范围，/>为随机搜索范围的左边界深度值，/>为随机搜索范围的右边界深度值。基于更新后的随机搜索范围更新候选深度集合。

遍历随机搜索范围对应的候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第四候选深度值；

基于遍历的每个第四候选深度值对应的图像块与每个参考图像中第四候选深度值对应的图像块之间的相关度，确定每个第四候选深度值与所有参考图像之间的相关性得分；基于每个第四候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值。

其中，如图2所示，得到和/>两个随机深度值，形成了“第二次随机搜索范围”，采用相同的“二分随机分配过程”，寻找最佳深度，集合CD中的元素为空。从而，搜索出目标像素点的最佳深度值。

另外，基于每个第四候选深度值与所有参考图像之间的相关性得分，预估目标图像中目标像素点对应的最佳深度值，可包括：若基于每个第四候选深度值与所有参考图像之间的相关性得分判断出一个第四候选深度值为当前最佳时，则可将此一个第四候选深度值作为目标图像中目标像素点对应的最佳深度值；若基于每个第四候选深度值与所有参考图像之间的相关性得分未判断出任一个第四候选深度值为当前最佳时，则可将最大相关性得分对应的一个第四候选深度值作为目标图像中目标像素点对应的最佳深度值，便于在有限搜索次数的情况下找出当前最好的一个深度值作为目标像素点的最佳深度值。

需要说明的是，在确定出一个第四候选深度值为目标像素点对应的最佳深度值时，可继续通过判断这一个第四候选深度值与目标像素点的两个相邻像素值之间的关系，来确定出目标图像中目标像素点对应的最佳深度值，例如，计算出目标像素点的两个相邻像素值分别对应的初始深度值的深度均值，若深度均值与这一个第四候选深度值之间的深度差值小于或等于预设阈值时，则确定出这一个第四候选深度值为目标像素点的最佳深度值，若深度均值与这一个第四候选深度值之间的深度差值大于预设阈值时，则确定出目标像素点对应的初始深度值为目标像素点的最佳深度值，便于进一步衡量出误差更小的深度值。

图4为本实施例提供的一种基于随机分配的深度估计装置的结构示意图。基于随机分配的深度估计装置可以包括：第一确定模块410、第二确定模块420、构建模块430、选取模块440、第三确定模块450和预估模块460。

第一确定模块410，用于采用深度估计算法确定目标图像中目标像素点的初始深度值。

第二确定模块420，用于以所述初始深度值为搜索中心，确定所述初始深度值对应的随机搜索范围，所述随机搜索范围为所述初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，所述左边界深度值大于所述初始深度值，所述初始深度值大于所述右边界深度值。

构建模块430，用于基于所述随机搜索范围中的深度值构建候选深度值集合。

选取模块440，用于遍历所述候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，所述第一候选深度值用于描述为所述目标像素点随机指定的当前深度值。

第三确定模块450，用于基于遍历的每个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度，确定每个所述第一候选深度值与所有所述参考图像之间的相关性得分，所述参考图像与所述目标图像为拍摄元素相同且拍摄角度不同的图像，所述参考图像与所述目标图像之间的对应关系为多对一。

预估模块460，用于基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值。

在本实施例中，可选的，预估模块460，包括：第一更新单元、第一获取单元、第一确定单元和第二确定单元。

第一更新单元，用于若遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值为所述初始深度值对应的左边界深度值时，则基于所述左边界深度值与所述初始深度值更新所述随机搜索范围。

第一获取单元，用于获取基于所述随机搜索范围更新后的所述候选深度值集合中处于区域中间点的第二候选深度值。

第一确定单元，用于基于所述第二候选深度值对应的图像块与每个所述参考图像中所述第二候选深度值对应的图像块之间的相关度，确定所述第二候选深度值与所有所述参考图像之间的相关性得分。

第二确定单元，用于若基于初始最佳得分以及所述第二候选深度值与所有所述参考图像之间的相关性得分，确定所述第二候选深度值不属于当前最佳时，则确定遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值，为所述目标图像中所述目标像素点对应的最佳深度值，所述初始最佳得分用于描述所述初始深度值与所有所述参考图像之间的相关性得分。

在本实施例中，可选的，第二确定单元，还用于若基于所述初始最佳得分以及所述第二候选深度值与所有所述参考图像之间的相关性得分，确定所述第二候选深度值属于当前最佳时，则以所述第二候选深度值为中心更新所述随机搜索范围。

第二确定单元，还用于若判断出所述第二候选深度值对应的左边界深度值和右边界深度值均不属于当前最佳时，则确定所述第二候选深度值为所述目标图像中所述目标像素点对应的最佳深度值。

第一更新单元，还用于若判断出所述第二候选深度值对应的左边界深度值或右边界深度值属于当前最佳时，基于所述第二候选深度值更新所述随机搜索范围，直至搜索不到处于当前最佳的候选深度值。

在本实施例中，可选的，预估模块460，包括：第二更新单元、第二获取单元、第三确定单元和第四确定单元。

第二更新单元，用于若遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值为所述初始深度值对应的右边界深度值，则基于所述右边界深度值与所述初始深度值更新所述随机搜索范围。

第二获取单元，用于获取基于所述随机搜索范围更新后的所述候选深度值集合中处于区域中间点的第三候选深度值。

第三确定单元，用于基于所述第三候选深度值对应的图像块与每个所述参考图像中所述第三候选深度值对应的图像块之间的相关度，确定所述第三候选深度值与所有所述参考图像之间的相关性得分。

第四确定单元，用于若基于所述初始最佳得分以及所述第三候选深度值与所有所述参考图像之间的相关性得分，确定所述第三候选深度值不属于当前最佳时，则确定遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值，为所述目标图像中所述目标像素点对应的最佳深度值。

在本实施例中，可选的，预估模块460，包括：扩大单元、选取单元、第五确定单元和预估单元。

扩大单元，用于若遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值不是所述初始深度值对应的左边界深度值也不是所述初始深度值对应的右边界深度值，且当前搜索次数小于或等于预设次数阈值时，扩大以所述初始深度值为搜索中心对应的左边界深度值和右边界深度值，以更新所述随机搜索范围。

选取单元，用于遍历所述随机搜索范围对应的候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第四候选深度值。

第五确定单元，用于基于遍历的每个所述第四候选深度值对应的图像块与每个所述参考图像中所述第四候选深度值对应的图像块之间的相关度，确定每个所述第四候选深度值与所有所述参考图像之间的相关性得分。

预估单元，用于基于每个所述第四候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值。

在本实施例中，可选的，一个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度的数值有多个，所述数值与所述参考图像的数量相对应。

第三确定模块450，具体用于：

基于每个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度，以及所述参考图像的数量，确定每个所述第一候选深度值与所有所述参考图像之间的相关性得分。

在本实施例中，可选的，第二确定模块420，具体用于：

基于所述初始深度值、所述预设次数阈值以及深度范围阈值，分别确定所述初始深度值对应的左边界深度值和右边界深度值；基于所述初始深度值对应的左边界深度值和右边界深度值，构建所述初始深度值对应的随机搜索范围。

本公开提供的基于随机分配的深度估计装置，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本公开此处不再赘述。

本申请实施例还提供了一种计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。

计算机设备包括通过系统总线相互通信连接存储器510和处理器520。需要指出的是，图中仅示出了具有组件510-520的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路（Application SpecificIntegratedCircuit，ASIC）、可编程门阵列（Field-Programmable Gate Array，FPGA）、数字处理器（DigitalSignal Processor，DSP）、嵌入式设备等。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

存储器510至少包括一种类型的可读存储介质，可读存储介质包括非易失性存储器（non-volatile memory）或易失性存储器，例如，闪存（flash memory）、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（random access memory，RAM）、只读存储器（read-only memory，ROM）、可擦写可编程只读存储器（erasable programmableread-only memory，EPROM）、电可擦写可编程只读存储器（electricallyerasableprogrammable read-only memory，EEPROM）、可编程只读存储器（programmable read-onlymemory，PROM）、磁性存储器、磁盘、光盘等，RAM可以包括静态RAM或动态RAM。在一些实施例中，存储器510可以是计算机设备的内部存储单元，例如，该计算机设备的硬盘或内存。在另一些实施例中，存储器510也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡或闪存卡（Flash Card）等。当然，存储器510还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器510通常用于存储安装于计算机设备的操作系统和各类应用软件，例如上述方法的程序代码等。此外，存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器520通常用于执行计算机设备的总体操作。本实施例中，存储器510用于存储程序代码或指令，程序代码包括计算机操作指令，处理器520用于执行存储器510存储的程序代码或指令或者处理数据，例如运行上述方法的程序代码。

本文中，总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外设部件互连标准（Peripheral Component Interconnect，PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，EISA）总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在上述方法中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。

计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，存储器用于存储程序代码或指令，程序代码包括计算机操作指令，处理器用于执行存储器存储的上述方法的程序代码或指令。

存储器和处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

在本申请各个实施例中的各功能单元或模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请描述的“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了装置若干的单元权利要求中，这些装置中的若干个单元可以是通过同一个硬件项来具体体现。第一、第二、以及第三等的使用不表示任何顺序，可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种基于随机分配的深度估计方法，其特征在于，包括：

采用深度估计算法确定目标图像中目标像素点的初始深度值；

以所述初始深度值为搜索中心，确定所述初始深度值对应的随机搜索范围，所述随机搜索范围为所述初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，所述左边界深度值大于所述初始深度值，所述初始深度值大于所述右边界深度值；

基于所述随机搜索范围中的深度值构建候选深度值集合；

遍历所述候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，所述第一候选深度值用于描述为所述目标像素点随机指定的当前深度值；

基于遍历的每个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度，确定每个所述第一候选深度值与所有所述参考图像之间的相关性得分，所述参考图像与所述目标图像为拍摄元素相同且拍摄角度不同的图像，所述参考图像与所述目标图像之间的对应关系为多对一；所述第一候选深度值与所有参考图像之间的相关性得分通过下式确定得出；

；

为所述第一候选深度值与所有参考图像之间的相关性得分，/>为目标图像中所述第一候选深度值对应的图像块patch，/>为参考图像中第一候选深度值对应的图像块patch，/>表示patch内像素点的下标，像素点的下标为位置坐标，/>；

基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值；

其中，所述以所述初始深度值为搜索中心，确定所述初始深度值对应的随机搜索范围，包括：采用下式，基于所述初始深度值、预设次数阈值以及深度范围阈值，确定初始深度值对应的左边界深度值；

；

采用下式，基于初始深度值、预设次数阈值以及深度范围阈值，确定初始深度值对应的右边界深度值；

；

为初始深度值对应的左边界深度值，/>为初始深度值对应的右边界深度值，/>为初始深度值，/>为预设次数阈值，所述预设次数阈值为随机分配的搜索尝试次数，为深度范围阈值；

基于所述初始深度值对应的左边界深度值和右边界深度值，构建所述初始深度值对应的随机搜索范围。

2.根据权利要求1所述的方法，其特征在于，所述基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值，包括：

若遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值为所述初始深度值对应的左边界深度值时，则基于所述左边界深度值与所述初始深度值更新所述随机搜索范围；

获取基于所述随机搜索范围更新后的所述候选深度值集合中处于区域中间点的第二候选深度值；

基于所述第二候选深度值对应的图像块与每个所述参考图像中所述第二候选深度值对应的图像块之间的相关度，确定所述第二候选深度值与所有所述参考图像之间的相关性得分；

若基于初始最佳得分以及所述第二候选深度值与所有所述参考图像之间的相关性得分，确定所述第二候选深度值不属于当前最佳时，则确定遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值，为所述目标图像中所述目标像素点对应的最佳深度值，所述初始最佳得分用于描述所述初始深度值与所有所述参考图像之间的相关性得分。

3.根据权利要求2所述的方法，其特征在于，还包括：

若基于所述初始最佳得分以及所述第二候选深度值与所有所述参考图像之间的相关性得分，确定所述第二候选深度值属于当前最佳时，则以所述第二候选深度值为中心更新所述随机搜索范围；

若判断出所述第二候选深度值对应的左边界深度值和右边界深度值均不属于当前最佳时，则确定所述第二候选深度值为所述目标图像中所述目标像素点对应的最佳深度值；

若判断出所述第二候选深度值对应的左边界深度值或右边界深度值属于当前最佳时，基于所述第二候选深度值更新所述随机搜索范围，直至搜索不到处于当前最佳的候选深度值。

4.根据权利要求2所述的方法，其特征在于，所述基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值，包括：

若遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值为所述初始深度值对应的右边界深度值，则基于所述右边界深度值与所述初始深度值更新所述随机搜索范围；

获取基于所述随机搜索范围更新后的所述候选深度值集合中处于区域中间点的第三候选深度值；

基于所述第三候选深度值对应的图像块与每个所述参考图像中所述第三候选深度值对应的图像块之间的相关度，确定所述第三候选深度值与所有所述参考图像之间的相关性得分；

若基于所述初始最佳得分以及所述第三候选深度值与所有所述参考图像之间的相关性得分，确定所述第三候选深度值不属于当前最佳时，则确定遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值，为所述目标图像中所述目标像素点对应的最佳深度值。

5.根据权利要求2所述的方法，其特征在于，所述基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值，包括：

若遍历的所有所述第一候选深度值与所有所述参考图像之间的相关性得分中最大相关性得分对应的候选深度值不是所述初始深度值对应的左边界深度值也不是所述初始深度值对应的右边界深度值，且当前搜索次数小于或等于预设次数阈值时，扩大以所述初始深度值为搜索中心对应的左边界深度值和右边界深度值，以更新所述随机搜索范围；

遍历所述随机搜索范围对应的候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第四候选深度值；

基于遍历的每个所述第四候选深度值对应的图像块与每个所述参考图像中所述第四候选深度值对应的图像块之间的相关度，确定每个所述第四候选深度值与所有所述参考图像之间的相关性得分；

基于每个所述第四候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值。

6.一种基于随机分配的深度估计装置，其特征在于，包括：

第一确定模块，用于采用深度估计算法确定目标图像中目标像素点的初始深度值；

第二确定模块，用于以所述初始深度值为搜索中心，确定所述初始深度值对应的随机搜索范围，所述随机搜索范围为所述初始深度值对应的左边界深度值和右边界深度值组成的深度区域范围，所述左边界深度值大于所述初始深度值，所述初始深度值大于所述右边界深度值；

构建模块，用于基于所述随机搜索范围中的深度值构建候选深度值集合；

选取模块，用于遍历所述候选深度值集合中的每个候选深度值，依次随机选取一个候选深度值作为第一候选深度值，所述第一候选深度值用于描述为所述目标像素点随机指定的当前深度值；

第三确定模块，用于基于遍历的每个所述第一候选深度值对应的图像块与每个参考图像中所述第一候选深度值对应的图像块之间的相关度，确定每个所述第一候选深度值与所有所述参考图像之间的相关性得分，所述参考图像与所述目标图像为拍摄元素相同且拍摄角度不同的图像，所述参考图像与所述目标图像之间的对应关系为多对一；所述第一候选深度值与所有参考图像之间的相关性得分通过下式确定得出；

；

为所述第一候选深度值与所有参考图像之间的相关性得分，/>为目标图像中所述第一候选深度值对应的图像块patch，/>为参考图像中第一候选深度值对应的图像块patch，/>表示patch内像素点的下标，像素点的下标为位置坐标，/>；

预估模块，用于基于每个所述第一候选深度值与所有所述参考图像之间的相关性得分，预估所述目标图像中所述目标像素点对应的最佳深度值；

其中，所述第二确定模块，具体用于：

采用下式，基于所述初始深度值、预设次数阈值以及深度范围阈值，确定初始深度值对应的左边界深度值；

；

采用下式，基于初始深度值、预设次数阈值以及深度范围阈值，确定初始深度值对应的右边界深度值；

；

为初始深度值对应的左边界深度值，/>为初始深度值对应的右边界深度值，/>为初始深度值，/>为预设次数阈值，所述预设次数阈值为随机分配的搜索尝试次数，为深度范围阈值；

基于所述初始深度值对应的左边界深度值和右边界深度值，构建所述初始深度值对应的随机搜索范围。

7.一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如权利要求1~5中任一所述的基于随机分配的深度估计方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1~5中任一所述的基于随机分配的深度估计方法。