CN104657936B - 用于调整深度值的方法及电子装置 - Google Patents

Abstract

本发明提供一种深度处理方法、电子装置和介质。所述深度处理方法包含：获得彩色图像和对应于所述彩色图像的深度图；从所述深度图和所述彩色图像中的至少一个提取多个区域；获得所述区域的区域信息，以及根据所述区域信息而将所述区域分类为感兴趣区域和非感兴趣区域中的至少一个，其中所述区域信息包括区信息和边缘信息；以及根据所述区域信息而调整所述深度图中的多个深度值。

Description

用于调整深度值的方法及电子装置

技术领域

本发明涉及深度处理方法。更明确地说，本发明涉及通过使用彩色图像与深度图两者来调整深度值的方法、电子装置和介质。

背景技术

现今通过照相设备来取得数码图像正越来越容易。在一些应用中，取得深度信息以产生一些视觉效果，例如，散景(bokeh，或称焦外成像)或重新对焦(refocusing)。一般来说，散景效果用于聚焦在一个物件(object)上，以使得所述物件呈现的清晰，而远处的其它物件将呈现得模糊。且，重新对焦效果用于在取得数码图像之后改变焦距。然而，深度信息有时不准确，这可能产生低质量的图像。举例来说，如果通过左眼图像和右眼图像来取得深度信息，那么深度信息可能具有一些“深度孔”、不连续深度值或模糊边界。因此，如何调整深度值以便提供赏心悦目的视觉效果对于所属领域的技术人员来说以成为该行业中的主要课题之一。

此处所述的任何内容不应解释为对本发明的任何部分的现有技术中的知识的认可。此外，本申请案中对任何文件的引用或标识不是认可该文件适用于本发明的现有技术，或任何引用形成此项技术中的一般知识的一部分。

发明内容

本发明涉及用于调整深度且产生光学效果的深度处理方法、电子装置和介质。

在本发明的示范性实施例中，提供一种用于电子装置的深度处理方法。所述深度处理方法包含：取得深度图和对应于所述深度图的彩色图像；从所述深度图和所述彩色图像中的至少一个提取多个区域；取得所述区域的区域信息，以及根据所述区域信息而将所述区域分类为感兴趣区域和非感兴趣区域中的至少一个，其中所述区域信息包括区信息和边缘信息；以及根据所述区域信息而调整所述深度图中的多个深度值。

在本发明的示范性实施例中，提供一种电子装置。所述电子装置包括：存储器，存储多个指令；以及处理器，用于执行所述指令以执行方法步骤。

在本发明的示范性实施例中，提供一种非暂时性计算机可读介质。所述非暂时性计算机可读介质存储经配置以执行方法步骤的指令。

鉴于以上内容，根据示范性实施例，所述深度处理、所述电子装置和所述介质能够在取得区域后调整深度值，且所述调整是通过使用深度图和彩色图像两者来进行的。因此，所述所调整的深度值可产生较好的视觉效果。

然而，应理解，此发明内容可能不含有本发明的所有方面和实施例，且不打算以任何方式进行限制，且如本文所公开的本发明现被所属领域的技术人员理解且将被所属领域的技术人员理解涵盖本发明的明显改进和修改。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1说明根据本发明的示范性实施例的电子装置。

图2说明根据本发明的示范性实施例的用于调整深度值的流程图。

图3为说明根据示范性实施例的彩色图像和深度图的示意图。

图4为说明根据本发明的示范性实施例将边界用于改进语义主体分类的示意图。

图5说明根据本发明的示范性实施例的范围选择。

图6为说明根据本发明的示范性实施例的原始图像和散景图像的示意图。

图7说明根据本发明的示范性实施例的深度处理方法的流程图。

【主要元件标号说明】

100：电子装置

101：处理器

102：存储器

103：触控单元

104：相机模块

110：彩色图像

120：深度图

121、122、123、230：区域

210、220：边界

240：深度孔

242：水平线

501～504、506～509：相邻范围

505：触控范围

S210～S260、S701～S704：步骤

具体实施方式

图1说明根据本发明的示范性实施例的电子装置。

参看图1，电子装置100包含处理器101、存储器102、触控单元103和相机模块104。电子装置100可实施为呈任何形式的智能电话、平板计算机、笔记本计算机、台式计算机或嵌入式系统，这在本发明中不受限制。

处理器101可控制电子装置100的整体操作。举例来说，处理器101可为中央处理单元(central processing unit，CPU)、微处理器、数字信号处理器(digital signalprocessor，DSP)、可编程控制器、专用集成电路(application specific integratedcircuit，ASIC)或可编程逻辑装置(programmable logic device，PLD)。存储器102经配置以存储指令。举例来说，存储器102可为(但不限于)随机存取存储器(random accessmemory，RAM)或快闪存储器。此外，处理器101执行存储器102中的指令以执行深度处理方法。

触控单元103经配置以检测触控操作。举例来说，触控单元103可包含液晶显示器(liquid crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器、场致发射显示器(field emission display，FED)等与电阻型、电容型或任何其它类型的触控感测单元的组合，以使得可同时提供显示功能和触控控制功能。

相机模块104耦接到处理器101。相机模块104可具有单一相机传感器、两个相机传感器或多个相机传感器。对于两个相机传感器和多个相机传感器，这些传感器可配置有相同分辨率，或较低分辨率的传感器和较高分辨率的传感器的组合。

图2说明根据本发明的示范性实施例的用于调整深度值的流程图。图3为说明根据本发明的示范性实施例的彩色图像和深度图的示意图。图4为说明根据本发明的示范性实施例将边界用于改进语义主体(semantic subject)分类的示意图。图2的步骤可由图1所示的元件实施。此外，将参看图3和图4来论述图2中的步骤中的每一个的细节。

参看图2和图3，在步骤S210之前，处理器101首先取得彩色图像110和对应于彩色图像110的深度图120。彩色图像110可为由具有单一相机传感器、两个相机传感器或多个相机传感器的相机模块104拍摄的图像。深度图120包含多个深度值，所述深度值可通过相机模块104的多个彩色图像的分析而产生或由具有红外线镜头单元的相机模块104产生；或者，深度值可由处理器101在接收到两个彩色图像之后计算，这在本公开中不受限制。接着，在步骤S210中，处理器101可对彩色图像110、深度图120或彩色图像110与深度图120两者执行预处理程序，例如，去噪声(de-noise)、腐蚀(erosion)、膨胀(dilation)或平滑化(smoothing)。

在预处理程序后，在步骤S220中，处理器101从彩色图像110提取一些特征。举例来说，可从彩色图像110提取或对彩色图像110执行像素梯度(pixel gradient)、寻找边缘(finding edge)、分割(segmentation)、局部/整体特征(local/global feature)、尺度不变特征(scale-invariant feature)、旋转不变特征(rotation-invariant feature)、统计信息(statistic information)。且，对彩色图像110执行聚类(clustering)程序，例如，分水岭算法(watershed algorithm)、k均值算法(k-means algorithm)或grab-cut算法(grab-cut algorithm)。然而，还可使用其它监督式/非监督式(supervised/un-supervised)或交互式/非交互式(interactive/non-interactive)聚类做法，本发明并不限定于上述。在另一实施例中，还可对深度图120执行特征提取和聚类程序。在聚类方法后，可将彩色图像110、深度图120或彩色图像110与深度图120两者划分为多个区域。在一些示范性实施例中，区域可为具有类似颜色的像素的集群(cluster)和/或由特定轮廓(contour)围绕的像素的群组，但本发明不限于此。

处理器101可根据各种算法来界定区域。举例来说，如果处理器101执行聚类算法以在彩色图像110中界定区域，那么所界定的区域可为分别包含具有类似颜色的像素的集群。如果处理器101执行边缘检测算法以在深度图120中界定区域，那么所界定的区域可为分别由特定轮廓围绕的集群。

接着，处理器101取得区域的区域信息，且根据区域信息而将区域分类为感兴趣区域(region-of-interest，ROI)或非感兴趣区域(非ROI)。在一些实施例中，区域信息可包含区信息和边缘信息，且处理器101可在执行聚类算法和/或边缘检测算法期间取得区信息和边缘信息。举例来说，虽然处理器101执行聚类算法以在彩色图像110中界定区域，但还可取得区信息(例如，位于区域中的每一个中的像素的坐标)。类似地，虽然处理器101执行边缘检测算法以在深度图120中界定区域，但还可取得边缘信息(例如，位于每一区域的轮廓上的像素的坐标)。然而，可通过任何其它图像处理做法从彩色图像110或深度图120取得区信息和边缘信息，这在本发明中并不限定。此后，处理器101根据区域信息而调整深度图120中的深度值。举例来说，如果处理器101根据边缘信息查明在区域中的一个中存在深度孔(边缘信息例如为位于这区域的轮廓上的像素的坐标)，那么处理器101可填充这区域中的深度孔，或使区域的边界锐化，但本发明不限定如何根据区域信息来调整深度值。

语义主体分类(步骤S230)

更具体来说，当对区域进行分类时，处理器101可对彩色图像110、深度图120或彩色图像110与深度图120两者中的区域或像素执行分类程序。分类程序的结果将指示区域是ROI还是非ROI。举例来说，对深度图120中的像素与彩色图像110中的区域两者执行最大类间方差算法(Otsu algorithm，又称大津法)。应注意，可执行最大类间方差算法若干次以得到多个层(layers)。然而，在另一实施例中，可使用其它监督式/非监督式分类程序，这不应解释为限制本公开。在一个示范性实施例中，彩色图像110中的区域被称为彩色区域，其指示这彩色区域内的颜色值类似或相同，且深度图120中的区域被称为深度区域，其表示这深度区域内的深度值类似或相同。当对深度区域进行分类时，可使用每一深度区域的尺寸、位置或深度。基本上，具有较大尺寸、位于图像中央或较小深度(较接近于相机)的深度区域有较高概率被视为ROI。明确地说，在一个示范性实施例中，还可组合尺寸、位置和深度的信息。举例来说，基于尺寸、位置和深度来执行三个分类程序，且每一分类程序可对每一区域进行表决，即，将得分给予每一区域，其中每一得分表示区域为ROI的概率。将每一区域的得分相加，且将每一区域的相加的得分与阈值进行比较以确定区域是否为ROI。然而，本公开不限于此，在另一实施例中，可采用由不同分类程序计算的分类结果的并集或交集以对区域进行分类。

在分类程序后，在图4中，区域121为ROI，且区域122和123为非ROI。彩色图像110和深度图120的聚类结果也可组合以提高精确度。举例来说，参看图4，处理器101对区域121(也称为第一深度区域)执行腐蚀程序以取得边界210，且对区域121执行膨胀程序以取得边界220。将边界210和220映射到彩色图像110中，且在彩色图像110中在边界210与220之间的区中执行分割算法以调整区域121的轮廓。举例来说，分割算法为分水岭算法，其会将彩色图像110中的边界210与边界220之间的区分为两个子区，且这两个子区之间的边界将成为区域121的较平滑的轮廓。

深度信息校正(步骤S240)

深度图120可能包含有一些不具有深度值的深度孔或一些不准确的深度值，且这些深度孔或深度值可基于所分类区域来解决。在示范性实施例中，以不同校正方法处理不同的所分类区域。当填充ROI中的深度孔时，可使用关于像素域(pixel domain)或区域域(region domain)的信息。举例来说，深度孔中的像素可由附近像素的统计值(例如，平均深度或深度的中值)、所述像素的区域的统计值、相邻区域的统计值或所有ROI的统计值来填充。

对于非ROI中的深度孔，背景深度信息较复杂，这是因为背景深度信息具有从室内环境到室外环境的各种场景。此外，可根据背景深度信息的特性来应用不同统计模型。

举例来说，假设在背景区域123中存在深度孔240。在一个实施例中，处理器101可在水平线242上扫描深度值，以建立深度直方图或统计模型且因此填充深度孔240。具体来说，处理器101将查明是否存在显著偏离附近深度值的一些深度值(即，深度孔)。如果存在，那么处理器101将通过将与深度孔相关的深度值替换为附近深度值的平均值、中值或其它统计值来填充深度孔。

在实施例中，为了处理非ROI中的各种深度值，处理器101可使用基于多尺度区域的统计估计器来解决深度图中存在的各种深度孔。处理器101可通过任何形状来界定多尺度区域以适合于深度图的深度分布。举例来说，处理器101可产生大尺度区域以融合深度图的整体变化的信息，且填充大尺寸的深度孔。同时，处理器101可产生小尺度区域以在局部统计意义上填充小尺寸的深度孔。因此，处理器101可按照多分辨率来处理深度孔。

在另一实施例中，取得深度孔240的搜索范围中的多个有效深度值以填充深度孔240。具体来说，当处理器101确定所选择的像素为深度孔时，处理器101可在多方向和多尺度上从深度孔扩展搜索范围，以搜索相邻像素来查明其它有效深度值。从另一观点来说，搜索范围可被视为以波纹方式扩展以搜索有效深度值。此后，处理器101可使用有效深度值来填充深度孔。

不连续区移除(步骤S250)

原始深度图120可能含有不准确的值，且其中的一些可根据语义区域来校正。举例来说，如果区域121内部具有与背景区域相同的深度值，那么区域121中的深度值可为错误的；因此，这些错误深度值替换为区域121中的深度值。具体来说，处理器对彩色图像110执行物件检测程序，以检测区域230对应于物件。将物件的物件区映射到深度图中(成为区域121)。因为区域121中的深度值属于同一物件，所以这些深度值应为连续的。因此，根据区域121中的深度值来调整区域121(即，物件的物件区)中的不连续的深度值；或根据区域121中的深度值来填充区域121中的深度孔(例如，通过低通滤波器来进行或替换为其它深度值)。应注意，物件检测可为人类检测、车辆检测、行人检测或任何其它物件检测，这在本发明中不应受限制。此外，深度值的调整或填充可通过滤波器、统计做法、图案识别模型或替换来进行，这不应解释为限制本公开。

物件边界锐度(步骤S260)

接着，使用彩色图像110中的边缘或边界来使深度图120中的边缘或边界锐化。举例来说，可根据彩色图像110中的边缘或边界的位置来对深度图120应用高通滤波器。因此，深度图120中的ROI与非ROI之间的边界较清晰。最后，取得已改进的深度图(参见图2)。

范围选择

图5说明根据本发明的示范性实施例的范围选择。当用户拍摄相片时，根据上文论述的步骤而自动地检测至少一个ROI，且选择一个ROI作为目标物件。焦距将在目标物件上，也就是说，焦距等于目标物件的深度值。因此，目标物件呈现得清晰，而其它物件可模糊。然而，用户可选择另一物件作为目标物件。在一个实施例中，在触控单元103的显示器上呈现彩色图像110，且在触控单元103上检测触控操作。根据触控操作而取得触控范围(例如，40×40像素的长方形)，且根据触控范围中的深度值而计算新的焦距。举例来说，参看图5，用户对触控范围505进行触控。处理器101计算触控范围505中的深度值的方差(variance)，其中，选择小于第一预定深度值且大于第二预定深度值的深度值来计算所述方差。换句话说，当计算方差时，舍弃大于第一阈值或小于第二阈值的触控范围505中的深度值。如果方差小于阈值，那么将触控区域505中的剩余深度值的统计值(例如，平均值或中值)设置为焦距。另一方面，如果方差大于第三阈值，那么处理器101取得接近触控范围505的相邻范围501到504和506到509，且根据具有最小方差的相邻范围中的一个中的深度值来设置焦距。具体来说，对相邻范围501到504和506到509中的每一个执行上文论述的阈值和方差的相同计算。在一个示范性实施例中，将选择具有最小方差的相邻范围。在另一示范性实施例中，选择具有最小深度值(最接近相机)的相邻范围，或选择具有与触控区域505最类似的深度值的相邻范围。然而，可通过表决、加权或任何其它方式来组合这些选择准则，这在本公开中不受限制。接着，使用所选择的相邻范围中的深度值来计算焦距。

渐进式散景效果

在取得焦距后，可产生散景图像(参见图6)。具体来说，计算深度图120中的所取得的焦距与其它深度值之间的深度差，且根据深度差来设置多个强度。在一个实施例中，以函数来界定深度差与强度之间的关系。函数可为线性函数、多项式函数、指数函数或任何类型的函数，这在本公开中不受限制。根据强度来对彩色图像110执行卷积，以使得较大深度差将导致较模糊的图像。因此，用户选择的物件呈现得清晰，而远离所选择的物件的其它物件呈现得模糊以产生散景效果。

图7说明根据本发明的示范性实施例的深度处理方法的流程图。

参看图7，在步骤S701中取得彩色图像和对应于彩色图像的深度图。在步骤S702中，从深度图和彩色图像中的至少一个提取多个区域。在步骤S703中，取得所述区域的区域信息，以及根据区域信息而将所述区域分类为感兴趣区域或非感兴趣区域。在步骤S704中，根据区域信息而调整深度图中的多个深度值。上文已阐述图7所示的每一步骤，且在下文中将不再描述所述步骤。应注意，可按编程代码或电路的形式实施图7所提供的步骤，这不应解释为限制本发明。此外，可参考前述实施例来应用图7所提供的方法，或可个别地应用所述方法，且本发明不限于此。

本发明的一个示范性实施例还提供一种非暂时性计算机可读介质，其可实施为存储器102、磁盘或CD的形式。非暂时性计算机可读介质存储由处理器101执行以便执行上述深度处理方法的多个指令。

总的来说，根据本发明的示范性实施例中所描述的深度处理方法、电子装置和非暂时性计算机可读介质，通过使用彩色图像与深度图两者来调整深度值。因此，改进深度值以便产生较好的视觉效果。

所属领域的技术人员将明白，可在不脱离本发明的范围或精神的情况下对本发明的结构作各种修改和变化。鉴于以上内容，希望本发明涵盖本发明的修改和变化，只要所述修改和变化落入所附权利要求书和其等效物的范围内。

相关申请案的交叉参考

本申请案主张2013年11月15日申请的第61/904，467号美国临时申请案的优先权权益。上述专利申请案的全文特此以引用的方式并入本文中并且成为本说明书的一部分。

Claims (11)

1.一种用于电子装置的深度处理方法，其中所述电子装置包括触控单元，其特征在于，所述深度处理方法包括：

取得彩色图像和对应于所述彩色图像的深度图；

从所述深度图和所述彩色图像中的至少一个提取多个区域；

取得所述区域的区域信息，以及根据所述区域信息而将所述区域分类为感兴趣区域和非感兴趣区域中的至少一个，其中所述区域信息包括区信息和边缘信息；

根据所述区域信息而调整所述深度图中的多个深度值；

在所述触控单元上检测触控操作；

根据所述触控操作而取得触控范围；

计算所述触控范围中的所述深度值的方差，其中，选择小于第一预定深度值且大于第二预定深度值的所述深度值来计算所述方差；以及

如果所述方差大于阈值，取得接近所述触控范围的多个相邻范围，且根据具有最小方差的所述相邻范围中的一个中的所述深度值来设置焦距。

2.根据权利要求1所述的深度处理方法，其特征在于，其中所述区域包括多个彩色区域和多个深度区域，所述深度区域自所述深度图取得，且所述根据所述区域信息而将所述区域分类为所述感兴趣区域和所述非感兴趣区域中的至少一个的步骤包括：

根据所述深度区域中的每一个的尺寸、深度、位置中的至少一个而将所述深度区域分类为所述感兴趣区域或所述非感兴趣区域。

3.根据权利要求2所述的深度处理方法，其特征在于，其中所述彩色区域中的第一彩色区域对应于所述深度区域中的第一深度区域，且所述根据所述区域信息而调整所述深度图中的所述深度值的步骤包括：

对所述第一深度区域执行腐蚀程序以取得第一边界；

对所述第一深度区域执行膨胀程序以取得第二边界；以及

将所述第一边界和所述第二边界映射到所述彩色图像中，且在所述彩色图像中在所述第一边界与所述第二边界之间的区中执行分割算法以调整所述第一深度区域的轮廓。

4.根据权利要求2所述的深度处理方法，其特征在于，所述的深度处理方法还包括：

对所述彩色图像执行物件检测程序以取得物件；以及

将所述物件的物件区映射到所述深度图中，且根据所述深度图中的所述物件的所述物件区中的所述深度值来填充所述深度图中的所述物件的所述物件区中的深度孔。

5.根据权利要求4所述的深度处理方法，其特征在于，所述的深度处理方法还包括：

根据所述深度图中的所述物件的所述物件区中的所述深度值而调整所述深度图中的所述物件的所述物件区中的不连续深度值。

6.根据权利要求1所述的深度处理方法，其特征在于，其中所述区信息是通过对所述彩色图像执行聚类算法而取得的。

7.根据权利要求1所述的深度处理方法，其特征在于，其中所述边缘信息是通过对所述彩色图像执行边缘检测算法而取得的。

8.一种电子装置，其特征在于，所述电子装置包括：

触控单元；

存储器，存储多个指令；以及

处理器，耦接到所述存储器与所述触控单元，且经配置以执行所述指令来执行多个步骤：

取得彩色图像和对应于所述彩色图像的深度图；

从所述深度图和所述彩色图像中的至少一个提取多个区域；

取得所述区域的区域信息，以及根据所述区域信息而将所述区域分类为感兴趣区域和非感兴趣区域中的至少一个，其中所述区域信息包括区信息和边缘信息；

根据所述区域信息而调整所述深度图中的多个深度值；

在所述触控单元上检测触控操作；

根据所述触控操作而取得触控范围；

计算所述触控范围中的所述深度值的方差，其中，选择小于第一预定深度值且大于第二预定深度值的所述深度值来计算所述方差；以及

如果所述方差大于阈值，那么取得接近所述触控范围的多个相邻范围，且根据具有最小方差的所述相邻范围中的一个中的所述深度值来设置焦距。

9.根据权利要求8所述的电子装置，其特征在于，其中所述区域包括多个彩色区域和多个深度区域，所述深度区域自所述深度图取得，且所述根据所述区域信息而将所述区域分类为所述感兴趣区域和所述非感兴趣区域中的至少一个的步骤包括：

根据所述深度区域中的每一个的尺寸、深度、位置中的至少一个而将所述深度区域分类为所述感兴趣区域或所述非感兴趣区域。

10.根据权利要求9所述的电子装置，其特征在于，其中所述彩色区域中的第一彩色区域对应于所述深度区域中的第一深度区域，且所述根据所述区域信息而调整所述深度图中的所述深度值的步骤包括：

对所述第一深度区域执行腐蚀程序以取得第一边界；

对所述第一深度区域执行膨胀程序以取得第二边界；以及

将所述第一边界和所述第二边界映射到所述彩色图像中，且在所述彩色图像中在所述第一边界与所述第二边界之间的区中执行分割算法以调整所述第一深度区域的轮廓。

11.根据权利要求9所述的电子装置，其特征在于，其中所述步骤还包括：

对所述彩色图像执行物件检测程序以取得物件；以及

将所述物件的物件区映射到所述深度图中，且根据所述深度图中的所述物件的所述物件区中的所述深度值来填充所述深度图中的所述物件的所述物件区中的深度孔。