CN102113017A - 使用边缘检测产生深度数据的系统及方法 - Google Patents

Abstract

本发明揭示使用边缘检测来产生深度数据的系统及方法。在特定实施例中，接收由图像捕捉装置在第一距离处的第一焦点位置处所记录的对应于一场景的第一图像数据。接收对应于在大于所述第一距离的第二距离处的第二焦点位置的第二图像数据。边缘检测产生对应于所述第一图像数据的至少第一部分的第一边缘数据，且产生对应于所述第二图像数据的至少第二部分的第二边缘数据。所述边缘检测检测在所述第一部分及所述第二部分的每一位置处存在或不存在边缘，以将每一检测到的边缘识别为硬边缘或软边缘。基于针对所述第一焦点位置及第二焦点位置所产生的所述边缘数据而产生深度数据。

Description

使用边缘检测产生深度数据的系统及方法

技术领域

本发明大体上涉及基于经捕捉图像的边缘检测及深度数据产生。

背景技术

数字成像技术允许紧凑型装置捕捉图像数据，并且增强及发射图像数据。举例来说，许多个人数字助理(PDA)及无线电话装置包括内建式成像系统，其允许捕捉可经由有线连接或无线连接而发射到其它装置的静态图像或运动视频。

在利用数字成像技术时，可能需要区分在距图像捕捉装置的变化距离处的对象，且因而控制捕捉、存储或发射场景的何种方面。举例来说，在视频电话的状况下，出于清晰、保密或其它原因，可能需要展示前景中的呼叫者，而不捕捉背景中的其它人或设定。在进一步利用所述技术时，安装于车辆上或由视觉障碍者所携带的数字成像装置可在对象位于特定阈值距离内时提供近接警报。

然而，确定距离的许多常规系统通常使用立体视觉，涉及两个或两个以上图像传感器。由于尺寸及电力消耗考虑，可能不需要在例如PDA或无线电话的便携型电子装置中包括多个图像传感器。

发明内容

在特定实施例中，揭示一种方法，其中接收由图像捕捉装置在第一距离处的第一焦点位置处所记录的对应于一场景的第一图像数据。接收对应于在大于第一距离的第二距离处的第二焦点位置的第二图像数据。边缘检测产生对应于第一图像数据的至少第一部分的第一边缘数据，且产生对应于第二图像数据的至少第二部分的第二边缘数据。边缘检测检测在第一部分及第二部分的每一位置处存在或不存在边缘，且将每一检测到的边缘识别为硬边缘或软边缘。基于针对第一焦点位置及第二焦点位置所产生的边缘数据而产生深度数据。

在另一特定实施例中，揭示一种系统，其中所述系统包括用以接收控制信号以捕捉图像数据的输入。图像捕捉装置响应于控制信号而产生在多个焦点位置处所捕捉的多个图像数据集合。输出提供至少一个图像数据集合且提供所述至少一个图像数据集合中的至少一个点的深度数据。深度数据是基于所述至少一个点经确定为具有可检测边缘的焦点位置。

在另一特定实施例中，揭示一种系统，其包括适于从图像捕捉装置接收视频图像数据的输入。视频图像数据包括与第一焦点位置相关联的第一图像数据及与第二焦点位置相关联的第二图像数据。处理器接收第一图像数据及第二图像数据。处理器经配置以通过应用边缘检测滤波器的单次通过(single pass)来确定视频图像数据的背景部分，以产生深度数据以使用深度数据来识别第一图像数据的前景部分及背景部分。输出适于提供视频数据，其选择性地以不同于背景部分的图像数据的方式呈现前景部分的图像数据。

由所揭示实施例中的至少一者所提供的一个特定优点是能够使用单个图像捕捉装置来确定对象相对于图像捕捉装置的深度，以便可基于在由图像捕捉装置所记录的场景中的对象的深度而选择性地呈现图像数据。

在审阅整个申请案后，本发明的其它方面、优点及特征将变得显而易见，整个申请案包括以下部分：“附图说明”、“具体实施方式”及“权利要求书”。

附图说明

图1为一系统的特定说明性实施例的框图，所述系统包括具有边缘检测及深度图产生模块的图像处理系统；

图2为描绘信号的特定说明性实施例的一对图，所述信号经增强以放大潜在地包括于所述信号中的边缘特性；

图3为描绘在三个点处所取样的表示软边缘及硬边缘的信号的特定说明性实施例的一对图；

图4为说明信号被取样及分析的点之间的线的差分的图3的所述对图；

图5为在叠加有用于边缘分类的阈值点的三个点处所取样的信号的特定说明性实施例的图；

图6为包括在距图像捕捉装置的变化焦点距离处的多个对象的场景的透视图；

图7为图6的场景中的对象的图像数据集合的二维视图，其中所述图像中的每一者均在焦点上；

图8为在来自图7的图像数据集合的选定点周围所取样的点范围的特定说明性实施例；

图9为在不同焦点距离处所捕捉的一系列图像数据集合的特定说明性实施例的图解，其指示每一图像数据集合中在焦点上及在焦点外的多个对象；

图10为从图9的图像数据集合所导出的一系列边缘检测表示的特定说明性实施例的图解；

图11为从图9的所述系列图像数据集合所产生的深度图的特定说明性实施例的图解；

图12为多个对象的一系列图像数据集合的特定说明性实施例的透视图，其中所述对象被分类为具有硬边缘、软边缘或不具有可检测边缘；

图13为用于呈现图像数据的一对飞越视图的特定说明性实施例的透视图；

图14为使用边缘检测以产生深度数据的过程的特定说明性实施例的流程图；

图15为使用一系列图像数据集合及边缘检测以基于深度数据而选择性地呈现图像数据的特定说明性实施例的流程图；

图16为包括边缘检测器/深度数据产生器的系统的特定说明性实施例的框图；及

图17为包括边缘检测器/深度数据产生器的系统的特定说明性实施例的框图。

具体实施方式

图1为大概表示为100的系统的特定说明性实施例的框图，系统100包括图像捕捉装置110、图像处理系统140及图像存储装置170。单个图像捕捉装置110接收指导图像捕捉装置110收集图像数据130的控制输入信号120。图像捕捉装置110耦合到接收及处理图像数据130的图像处理系统140。图像处理系统140产生经处理图像数据160。图像处理系统140耦合到接收及存储经处理图像数据160的图像存储装置170。经处理图像数据160包括从图像数据130所提取的至少一个图像及深度数据。在输出180处呈现经处理图像数据160、从经处理图像数据160所产生的深度数据或其任何组合。通常，系统100可实施于经配置以使用相对有限处理资源来执行实时图像处理的便携型电子装置中。

在一特定实施例中，图像捕捉装置110为相机，例如摄像机或静态相机。图像捕捉装置110包括响应于聚焦模块114及曝光模块116的透镜112。聚焦模块114操纵透镜112以基于透镜112/聚焦模块114配置而聚焦于为聚焦模块114所知的距所述透镜的指定距离处。聚焦模块114还经适当地配置以自动地将透镜112聚焦于场景的假定主题(例如占据视场的中心部分的对象)上。聚焦模块114经配置以将透镜112从其最近焦点(其被称为场景的微距焦点位置(macro focus position))聚焦到其最远焦点(其被称为无穷远焦点位置(infinity focus position))。如下文进一步所描述，当产生深度图时，聚焦模块114可经配置以操纵透镜112以在多个不同焦点距离处捕捉场景的图像数据。

图像捕捉装置还包括传感器118(例如电荷耦合装置(CCD)阵列或另一图像感测装置)，其经耦合以经由透镜112而接收光且响应于经由透镜112所接收的图像而产生图像数据120。耦合到传感器118的曝光模块116可响应于传感器118及/或透镜112以控制图像的曝光。

控制信号输入120可通过激活开关的用户或通过图像处理系统140而产生。控制信号输入120指导图像捕捉装置110捕捉图像数据且可指导图像捕捉装置110在多个焦点距离处捕捉场景的多个图像，使得由图像捕捉装置110所产生的图像数据130包括针对所述多个焦点距离中的每一者的多个图像数据集合。焦点距离可包括微距焦点位置、无穷远焦点位置、微距焦点位置与无穷远焦点位置之间的一个或一个以上其它焦点位置，或其任何组合。

图像捕捉装置110所产生的图像数据130由图像处理系统140在图像数据输入142处接收。图像处理系统130可包括缺陷像素校正模块144，其经配置以对图像数据130进行调整以校正经识别为有缺陷的像素或像素群组。图像处理系统140还可包括色彩校正模块146，其经配置以调整经确定为不良的色值。缺陷像素校正模块144及色彩校正模块146可选择性地致力于处理图像数据130。因而，在本发明的实施例中，在处理用于如下文进一步所描述产生深度图的图像数据集合时，校正模块144及146可应用于所有图像数据130或可跳过。

边缘检测及深度数据产生模块148适于识别图像数据集合中的边缘且将可检测边缘识别为硬边缘或软边缘。如下文进一步所解释，边缘检测及深度数据产生模块148识别由图像捕捉装置110所收集的单个场景的多个图像数据集合中的硬边缘及软边缘。使用经设定以聚焦于在多个相应距离(例如最近焦点距离、由自动聚焦系统针对场景的假定主题所选择的距离、无穷远等等中的两者或两者以上)处的多个焦点位置处的图像捕捉装置110来收集多个图像数据集合。一旦边缘检测及深度数据产生模块148识别出在不同焦点距离处所收集的多个图像数据集合中的边缘，边缘检测及深度数据产生模块148便识别场景中何种对象的何种边缘呈现硬边缘，且因而在不同焦点距离处在焦点上或较接近于在焦点上。因而，边缘检测及深度数据产生模块148使用由图像捕捉装置110所收集的二维图像数据来识别图像数据集合中的对象相对于图像捕捉装置110的深度。

图像数据、深度数据及其任何组合经传递到压缩及存储模块150，其产生呈现给图像存储系统170的经处理图像数据160。图像存储系统170可包括任何类型的存储媒体，例如一个或一个以上显示缓冲器、寄存器、高速缓存、快闪存储器元件、硬盘、任何其它存储装置或其任何组合。系统100的输出180提供包括经处理图像数据160中所包括的深度数据的经处理图像数据160。输出180可从如图1所示的图像存储装置170提供或从图像处理系统140提供。

在一特定实施例中，边缘检测及深度数据产生模块148将核心滤波器或核心应用于图像数据，以评估图像数据点之间的差分及差分的比率以将边缘识别为硬或软。如本文所使用，术语“差分”用以指示图像数据集合中的两个图像数据点之间的一个或一个以上值差。换句话说，如下文进一步所描述，差分可被认为接合两个图像数据点的线或曲线的斜率。核心包括应用于选定点周围的点范围的测量值的系数或权重矩阵。在一说明性实施例中，矩阵为3×3或5×5矩阵，且因而比其所应用于的实际图像数据集合小得多。为了滤波图像数据，将核心相继地应用于图像数据中的所有点或选定点的邻域。举例来说，当使用5×5核心时，将核心应用于以在研究中的每一点为中心的5×5点范围，以选择性地应用系数或权重以放大数据值以辅助确定在研究中的每一点是否指示为硬边缘、软边缘或根本无边缘的一部分。

在一特定实施例中，输出180耦合到无线发射器(未图示)以提供实时视频数据发射。实时视频数据发射可实现实时无线电话。通过使用深度数据，实时视频电话可包括增强的前景分辨率、背景抑制，或基于图像的部分的深度而增强或抑制场景的若干部分的某其它组合。

图2展示描绘表示软边缘及硬边缘分别可如何出现于沿着图像数据集合的轴线的一系列点上的图像数据中的实例的一对曲线200及250的图。为了设法识别硬边缘及软边缘，例如图1的边缘检测及深度产生模块136的边缘检测模块或系统可将核心滤波器或核心应用于图像数据中的点，以放大或扩大邻近点之间的差。举例来说，将核心应用于点P 210会将加权系数应用于周围数据点以扩大点P的值与周围数据点的值之间的差分以产生经修改曲线220。为了实例起见，假定第一曲线200表示沿着软边缘的点的取样且第二曲线250表示沿着硬边缘的点的取样。将核心的加权值应用于第一曲线200会得到第一经修改曲线220。第一经修改曲线220的扩大轮廓可阐明存在边缘，但甚至在第一经修改曲线220的扩大形式的情况下，第一经修改曲线220仍可被识别为软边缘。对比来说，将核心应用于点P′260会得到第二经修改曲线270，曲线270可阐明边缘为硬边缘。检查第二经修改曲线270的若干部分的差分、差分的比率或其组合会使得能够将边缘分类为硬边缘。如下文进一步所解释，检查经修改曲线220及270以确定经修改曲线220及270的差分、经修改曲线220及270的若干部分的差分的比率或其任何组合，以识别所述经修改曲线是表示硬边缘还是表示软边缘。下文进一步描述核心的应用以及示范性核心及核心值。

图3为三个数据点的两个集合的两个假想经修改曲线300及350的图形表示。呈现曲线300及350以说明差分及其比率可如何用以识别图像数据中的软边缘及硬边缘。图3的图形表示的垂直轴线上所表示的数据点的值在经修改曲线300与350两者中增加相同量。然而，数据点的值增加的速率在两个经修改曲线300与350之间不同，从而指示在第一经修改曲线300中存在软边缘且在第二经修改曲线350中存在硬边缘。

第一数据点集合300(包括点A 310、B 320及C 330)表示软边缘，其中点A 310、B 320及C 330的图像强度从点A 310的低值逐渐地移位到点B 320的较高值且接着移位到点C 330的下一较高值。沿着第一经修改曲线从点A 310到点B 320到点C 330的强度值的相对逐渐增加指示软边缘的存在。对比来说，第二经修改曲线350包括点D 360、E 370及F 380且表示硬边缘。第二经修改曲线350描绘在点D 360及E 370的强度值与点F 380的强度值之间相对尖锐地移位的图像强度。相比于点D 360与点F 380之间的图像强度移位，点E 370与点F 380之间的图像强度的相对尖锐增加指示硬边缘的存在。

尽管第一经修改曲线300及第二经修改曲线350表示可通过增加的强度值(“上升边缘”)而识别的软边缘及硬边缘，但软边缘及硬边缘也可通过减小的强度值(“下降边缘”)而识别。举例来说，在点A的强度值为200、点B的强度值为100且点C的强度值为0的另一实施例中，从点A到点B到点C的强度值的相对平缓减小可指示软下降边缘。因此，可比较点之间的强度差的量值或绝对值，以供应软边缘及硬边缘(上升与下降两者)的检测及识别。举例来说，从点A到点C的强度变化的量值与从点B到点C的强度变化的量值之间的比较可用以识别上升软边缘或下降软边缘以及上升硬边缘或下降硬边缘。

由曲线300及350所表示的点集合可表示一图像内的不同点，其分别展示图像数据中的软边缘及硬边缘。或者，所表示的点集合可展示同一场景的两个图像数据集合中的相同的三个点。因为对象处于与场景在焦点上的点不同的场景中的深度，所以第一经修改曲线300可表示由对象的边缘未在焦点上所引起的对象的软边缘。第二经修改曲线350可表示由对象在焦点上且因而被清晰地界定所引起的对象的硬边缘。在此状况下，根据本发明的实施例，通过确定边缘是否在第一已知焦点距离或焦点位置处被柔和地界定而在第二已知焦点距离、第三已知焦点距离或其它已知焦点距离处被清晰地界定或相反的情况，可确定场景中的对象的相对深度。通过相继地进行针对场景中的一个或一个以上对象的硬/软边缘确定，可以与场景中的对象中的每一者相关联的深度数据来建立场景的深度图。

本发明的实施例可通过应用核心以在三个点(例如，点A 310、B 320及C 330或点D 360、E 370及F 380)处沿着图像的一个轴线取样二维信号而在单次通过过程中识别硬边缘及软边缘。本发明的实施例接着使用前导点(例如点B 320及C 330)的第一导数相对于从第一点到第三点的滞后点(例如点A 310及C 330)的第二导数的比率，如图4以图形所描绘。

图4将这些点的差分以图形说明为接合所述点的线的斜率。在图4中，通过考虑与软边缘相关联的第一经修改曲线300，将前导点B 320与C 330之间的线的差分或斜率表示为d_BC 410且将滞后点A 310与C 330之间的线的差分表示为d_AC 420。图4的视觉检查指示差分d_BC410与d_AC420之间的差相对微小。对比来说，通过考虑与硬边缘相关联的第二经修改曲线350，将前导点E 370与F 380之间的线的差分表示为d_EF 460且将滞后点D 360与F 380之间的线的差分表示为d_DF470。如图4所描绘，差分d_EF 460与d_DF470之间的差至少大于差分d_BC410与d_AC420之间的差。因而，当不知道边缘是硬还是软时，差分的比率可用以将边缘分类为硬或软。

图5说明可用以将差分及差分的比率分类为指示硬边缘或软边缘的假想差分阈值。在图5中，前导点集合之间的差分是通过从点A 310、B 320及C 330的实际值到点1510、点2520、点3530及点4540处的经验选定值的点线进行展示。滞后点集合之间的差分是通过相应点之间的虚线进行展示。

除了所表示的值的量值增加指示边缘的存在以外，点之间的差分及这些差分的比率还可指示边缘是软边缘还是硬边缘。前导差分与滞后差分之间的较大比率指示硬边缘，例如图4的差分d_EF460与d_DF 470的比率所说明。因而，例如，如果比率为点B 320与点1510之间的前导差分同点A 310与点1410之间的滞后差分的比率，则所述比率将指示硬边缘。另一方面，如果点B 320与点3530之间的前导差分同点A 310与点3530之间的滞后差分的比率接近于一(指示表示点B 320与点3530之间的前导差分及点A310与点3530之间的滞后差分的线大体上共线)，则所述比率将指示软边缘。因而，通过确定差分的比率且将其与选定阈值比较，可进行关于边缘是硬还是软的有效确定。

用于核心中的系数控制在检测硬边缘、软边缘或硬边缘与软边缘两者时核心的有效性。举例来说，核心(1)的以下第一阶核心在识别硬边缘时有效：

$\left[\begin{array}{ccccc}-1& -1& -1& -1& -1\\ -2& -2& -2& -2& -2\\ 6& 6& 6& 6& 6\\ -2& -2& -2& -2& -2\\ -1& -1& -1& -1& -1\end{array}\right]\left[\begin{array}{ccccc}-1& -2& 6& -2& -1\\ -1& -2& 6& -2& -1\\ -1& -2& 6& -2& -1\\ -1& -2& 6& -2& -1\\ -1& -2& 6& -2& -1\end{array}\right]---\left(1\right)$

然而，核心(1)不识别软边缘。应注意，所谓的第一阶核心及第二阶核心中的“阶”不指代连续量阶，其中一为第一量阶，十为第二量阶，一百为第三量阶，等等。实情为，量阶指代第一量阶(例如单数位值)作为第一量阶，且无论如何，下一量阶(例如一千)作为第二量阶。

进一步举例来说，核心(2)的以下第二阶核心在识别软边缘时比核心(1)有效：

$\left[\begin{array}{ccccc}0& -1& -2& -1& 0\\ 0& 0& 0& 0& 0\\ 0& 2& 4& 2& 0\\ 0& 0& 0& 0& 0\\ 0& -1& -2& -1& 0\end{array}\right]\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ -1& 0& 2& 0& -1\\ -2& 0& 4& 0& -2\\ -1& 0& 2& 0& -1\\ 0& 0& 0& 0& 0\end{array}\right]---\left(2\right)$

然而，核心(2)对于硬边缘比对于软边缘敏感，且可能对于噪声及纹理敏感。

本发明的实施例应用经选择以识别硬边缘与软边缘两者的核心。举例来说，本发明的实施例可将5×5二阶核心应用于以当前在研究中的选定点为中心的8位数据值的5×5点邻域。可操作以识别硬边缘与软边缘两者的核心的实例是通过核心(3)而给出：

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ -1& 0& -1000& 0& 1001\\ -2& 0& -2000& 0& 2002\\ -1& 0& -1000& 0& 1001\\ 0& 0& 0& 0& 0\end{array}\right]---\left(3\right)$

核心(3)包括仅包括零值的两行：第一行及最后第五行。核心(3)还包括包括非零值的三行：核心(3)的第二行包括值-1、0、-1000、0及1001；核心的第三行包括值-2、0、-2000、0及2002；且核心的第四行包括值-1、0、-1000、0及1001。因而，三个非零行中的每一者具有为-1或-2的负第一量阶、为-1000或-2000的负第二量阶，及具有第一量阶的分量的正第一量阶，例如包括于值1001中的值-1的1。如下文进一步所描述，选择具有第一量阶及第二量阶的核心值会使得边缘检测模块136能够在单次通过中识别选定数据点的两个或两个以上差分。

核心中的非零值的量阶可基于被分析的信号的类型进行选择。核心(3)可特别良好地适于八位数字图像信号，其中每一像素值的强度是使用导致零与255之间的十进制值(base-ten value)的八位值而表示。选择经选择用于非零值的第二量阶，使得像素值在乘以一列的第一阶非零分量时的和将很少有机会或没有机会溢出到第二量阶中。使用八位图像作为实例，最大像素值255乘以核心(3)的第一量阶(-1、-2及-1)的和等于1*255+(2*255)+1*255或1020，其溢出到为-1000、-2000、1001及2002的核心(3)的第二量阶值中。因而，溢出到核心(3)的第二量阶值中对于为250或更高的像素值是可能的。

在相应位置中像素中的每一者将呈现为250或更大的八位值且因而溢出到核心(3)的第二量阶中可能是未必可能的。虽然不大可能存在将导致溢出到核心(3)的第二量阶中的条件，但选择较大第二量阶(例如10,000)会消除溢出的可能性。对于以较大或较小数目的位所表示的信号，可使用具有较大或较小量阶的非零值。举例来说，对于16位图像，可使用具有较大量阶(例如1,000,000)的非零值。另一方面，对于2位信号，可使用具有较小量阶(例如100)的非零值。因而，核心的非零值的第二量阶可经选择为信号的最大可能值的函数以适当地放大数据值，以设法将边缘分类为硬边缘或软边缘。

为了应用核心(3)且导出差分以识别图像中的边缘，边缘检测模块(例如图1的边缘检测及深度数据产生模块136)将核心应用于图像数据集合中的点中的每一者。边缘检测模块136识别选定点且读取选定点及相邻点的数据值。在选择分析5×5点邻域及5×5核心时，图像的分析开始于图像的第三行及第三列中的点以确保值可用于在选定点左边、右边、上方及下方的至少两个点。边缘检测模块136接着通过计算核心(3)与选定点周围的数据值的卷积以计算核心乘以像素值的和来应用核心。将识别与点中的每一者相关联的强度的数据值中的每一者乘以核心中的对应位置的值以获得加权点值。接着将加权点值求和。对于图像的边缘上的选定点(对于这些选定点，数据范围可能不包括在选定点左边、右边、上方或下方的点)，可跳过这些点。或者，可从选定点的邻域中的可用点外插或内插这些点的值，或以来自任何其它适当过程的值来供应这些点的值。

为了说明起见，将核心(3)应用于由以下矩阵(4)所表示的数据值范围。根据矩阵(4)的平滑变化但稳定增加的数据值，可将在数据值的中心处的选定点推断为在软边缘上：

$\left[\begin{array}{ccccc}10& 20& 30& 40& 50\\ 10& 20& 30& 40& 50\\ 10& 20& 30& 40& 50\\ 10& 20& 30& 40& 50\\ 10& 20& 30& 40& 50\end{array}\right]---\left(4\right)$

核心(3)与矩阵(4)的卷积返回由等式(1)所给出的求和值：

-40-120,000+200,200＝80,160      (1)

应用除以1000或“div 1000”运算及以1000为模或“mod 1000”运算会得到为80的信号的前导边缘的差分及为160的信号的滞后边缘的差分。为了将两个值正规化成在五个像素上的斜率测量，将前导边缘结果乘以二，从而得到为160及160的差分。前导边缘差分与滞后边缘差分的比率因而为一，从而指示指示软边缘的逐渐差分。

为了进一步说明起见，将核心(3)应用于由矩阵(5)所表示的信号，其中强度值不平滑地增加，因而认为可能存在硬边缘：

$\left[\begin{array}{ccccc}10& 10& 10& 50& 50\\ 10& 10& 10& 50& 50\\ 10& 10& 10& 50& 50\\ 10& 10& 10& 50& 50\\ 10& 10& 10& 50& 50\end{array}\right]---\left(5\right)$

核心(3)与矩阵(5)的卷积返回由等式(2)所给出的求和值：

-40-40,000+200,200＝160,160      (2)

应用除以1000或“div 1000”运算及以1000为模或“mod 1000”运算会得到为160的信号的前导边缘的差分及为160的滞后边缘的差分。为了将两个结果正规化成在五个像素上的差分测量，将前导边缘结果乘以二，从而得到为320及160的差分。前导斜率与滞后斜率的比率因而为二。此指示边缘未在均一地上升，如同在由矩阵(4)所表示的先前信号的状况下。因为边缘未在均一地上升，所以边缘可被分类为硬边缘。

通过使用从将核心(3)应用于数据值矩阵(4)及(5)所导出的前导边缘差分、滞后边缘差分及前导边缘差分与滞后边缘差分的比率，在数据值的中心处的选定点指示硬边缘或是软边缘可通过使用IF型语句、查找表或其它编程或电路结构将差分及其比率与预定阈值比较而确定。

在处理数据以将选定点周围的数据值分类为指示硬边缘或软边缘的一个实施例中，因为前导边缘的差分比滞后边缘的差分跨越更大距离，所以前导边缘的差分被指定称为宽边缘或“w边缘”且滞后边缘的差分被指定为窄边缘或“n边缘”。n边缘、w边缘及n边缘与w边缘的比率是用以确定事实上数据值是否指示确实存在边缘。如果差分指示存在边缘，则差分的比率被认为确定边缘是软边缘还是硬边缘：

      If(w-edge＞120&&//slope of wide，lagging edge

           (across 5pixels)has to be large enough to indicate an edge

w-edge＜300&&//but if slope of wide edge is too large，it will not be a soft edge

          n-edge＞25&&//slope of narrow，leading edge(across 2pixels)has to

                 be large enough to indicate an edge

n-edge＜300&&//but if slope of narrow edge is too large，it will not

      be a soft edge

ratio＜1.6&&//ratio of leading/lagging slopes has to be close or the

       edge will not be a narrow edge

ratio＞0.4

)

基于将核心应用于图像数据中的点时的相同计算分析，可评估差分及其比率以确定是否存在硬边缘。如先前所描述，在确定数据值是否指示软边缘的存在时，确定数据是否指示存在任何类型的边缘以及边缘是否为软边缘。如果数据值指示边缘的存在，但边缘被确定不为软边缘，则确定边缘是否应被分类为硬边缘的过程可能相对较短：

if((n-edge＞300&&//slope of narrow，leading edge must be large to

          indicate a hard edge

(ratio＞1.5||ratio＜0.9))//ratio of slope of leading edge to slope of

        lagging edge must vary appreciably to indicate a hard edge

将核心应用于图像数据中的数据点矩阵的过程可经大体上最佳化或修改以减少计算过程。在本发明的一个实施例中，5×5核心(例如先前所描述的5×5核心(3))可通过消除如核心(6)中所呈现的矩阵的零值以得到3×3核心(7)而减少到3×3矩阵：

$\left[\begin{array}{ccc}-1& -1000& 1001\\ -2& -2000& 2002\\ -1& -1000& 1001\end{array}\right]---\left(7\right)$

使用消除零值的应用于3×3数据值矩阵的3×3核心(7)会处理数据值，仿佛将5×5核心应用于5×5数据值矩阵一样。因而，将3×3核心应用于3×3点矩阵的结果与将5×5核心应用于5×5点矩阵大体上一样严密，但在将核心应用于数据矩阵时所涉及的计算较少。

此外，代替应用div 1000及mod 1000运算以得到数据点的两个跨距的高度，可使用1024来执行div及mod运算，其为二的倍数且因而使得能够将较快移位算子用于二进制处理系统中。通过将1024代入核心(7)中以供应div 1024及mod 1024运算，核心(7)经修改以得到经修改的3×3核心(8)：

$\left[\begin{array}{ccc}-1& -1024& 1025\\ -2& -2048& 2050\\ -1& -1024& 1025\end{array}\right]---\left(8\right)$

通过对针对一场景所收集的一系列图像数据集合执行如先前所描述的边缘检测过程，可针对所述场景而产生深度图或另一深度数据集合。根据本发明的特定实施例，针对在多个不同焦点距离处的单个视图而捕捉多个图像数据集合。接着，通过监视图像数据集合中的每一者被捕捉的焦点距离及在何种焦点距离处场景中的对象的边缘变得硬或软，可将深度数据与对象相关联。

图6展示大概表示为600的场景，其图像数据是使用图像捕捉装置602而捕捉。距图像捕捉装置602的增加距离604的轴线从场景600的前景或前景部分606跨越到场景600的背景或背景部分608。所述场景包括三个对象：正方形612、圆形614及三角形616。如图7所示，如果对象612、614及616中的每一者是在所述对象中的每一者在焦点上的图像数据集合中被捕捉，则所述图像数据集合将得到例如图像710的视觉表示。在图像710中，正方形712的表示部分地与圆形714的表示重叠，圆形714的表示又部分地与三角形716的表示重叠。为了简单起见，在包括于所述图中的后续图像中，将使用对象的名称以表示对象的视图或表示。因而，例如，正方形712的视图或表示将被称为正方形712。

图8为来自图7的图像710的图像数据的部分的特定说明性实施例，其经取样以执行边缘检测及深度数据确定。图像数据的一部分800经放大以展示在选定点820周围所取样的点范围810。如先前所描述，使用3×3核心所处理的3×3点范围可用以基于点范围810中的强度值而执行可靠边缘检测。因而，对于选定点820，从在选定点820下方的行830、选定点830的行840、在选定点820上方的行850、在选定点820左边的列860、包括选定点820的列870及在选定点820右边的列880收集适当点范围。或者，可使用较大点范围(例如5×5点范围)且使用5×5核心而对其进行处理。

因而，针对图像数据的若干部分(例如图像数据的第一部分890及图像数据的第二部分892)而收集点范围的数据。第一部分890可包括图像数据的前景的一部分，且第二部分892可包括图像数据的背景，或在场景中的任何其它点处的图像数据的部分。通过如先前所描述而处理图像数据的部分890及892(例如通过将核心894应用于图像数据的部分890及892中的每一者)，图像数据的部分890及892将被分类为指示不存在边缘或存在边缘。举例来说，对于包括正方形的边缘的图像数据的第一部分890，可检测到边缘的存在。另一方面，对于不包括场景中的任何对象的图像数据的第二部分892，将检测不到边缘。对于检测到边缘的图像数据的部分，可接着将边缘分类为硬边缘或软边缘。

图9展示包括多个对象的单个场景的大概表示为900的一系列不同图像数据集合。所述系列图像数据集合900用作一实例以说明本发明的实施例如何使用图像数据中的硬边缘及软边缘的检测以产生深度数据。所述系列图像数据集合900对应于如由图像捕捉装置602在不同焦点距离处所捕捉的图6的场景600。

第一图像910为使用聚焦于在第一近焦点距离(例如微距焦点距离)处的对象上的图像捕捉装置所记录的图像。在第一图像910中，所述第一图像的前景中的正方形912被描绘为具有实线外形以反映在视觉上正方形912在第一焦点距离处是在焦点上。在正方形912后方是由前景中的正方形912部分地阻挡的圆形914。圆形914是以单点外形进行呈现以反映在视觉上圆形914在第一焦点距离处不在焦点上。在圆形后方是由出现于三角形916前方的圆形914部分地阻挡的三角形916。三角形916是以双点外形进行呈现以反映在视觉上三角形916在第一焦点距离处比圆形914更在焦点外。

第二图像920为在大于第一焦点距离的第二焦点距离处所记录的图像。第二图像920聚焦于定位有圆形924的图像的中心上。圆形924被描绘为具有实线外形以反映圆形924在第二焦点距离处是在焦点上。在前景中，正方形922是以虚线外形进行呈现以反映在视觉上正方形922在第二焦点距离处不在焦点上。三角形926也是以虚线外形进行呈现以反映三角形926在第二焦点距离处同样是在焦点外，但比在第一图像910中的程度要小。

第三图像930为在第三焦点距离处所记录的图像，其中在无穷远处或朝向无穷远聚焦所述图像，从而使三角形936被聚焦。三角形936被描绘为具有实线外形以反映三角形936在第三焦点距离处在第三图像930中是在焦点上。在前景中，正方形932是以双点外形进行呈现以反映在视觉上正方形932在第二焦点距离处更在焦点外。圆形934是以单点外形进行呈现以反映圆形934在第三焦点距离处仍在焦点外，但比正方形932更在焦点上。

图10展示与图9的图像数据集合900对应的大概表示为1000的一系列边缘表示。在边缘表示1000中，硬边缘是以实线外形进行表示，软边缘是以虚线外形进行表示，且当未检测到可辨别边缘时，不展示外形。

在图9的第一图像910的第一边缘表示1010中，具有实线外形的正方形1012是呈现于第一边缘表示1010的前景中，此指示第一图像目标(image cause)的正方形912的在焦点上的边缘被识别为硬边缘。圆形1014是以虚线外形进行呈现，此指示图9的第一图像910中的圆形914是在焦点外，但其边缘仍可被辨别为在第一焦点距离处呈现软边缘。第一边缘表示1010中不包括图9的第一图像910的三角形916的表示，因为其图像未充分地在焦点上而无法检测到任何边缘。

在第二焦点距离处的第二边缘表示1020中，呈现具有虚线外形的正方形1022以将图9的第二图像920中的在焦点外的正方形922的分类反映为在第二焦点距离处具有软边缘。圆形1024是以实线外形进行呈现以反映图9的第二图像920的在焦点上的圆形924的边缘在第二焦点距离处被分类为硬边缘。三角形1024是以虚线外形进行呈现以反映图9的第二图像920的在焦点外的三角形924的边缘在第二焦点距离处被分类为软边缘。

在第三焦点距离处的第三边缘表示1030中，不包括分别为图9的第一图像910的正方形912及第二图像920的正方形922的表示，因为正方形太过于在焦点外以致于其边缘在第三图像930中甚至不能被分类为软边缘。圆形1034是以虚线边缘进行呈现以指示图9的第三图像930中的圆形934的在焦点外的边缘被分类为软边缘。最后，三角形1036具有实线外形以反映图9的第三图像930的三角形936的边缘在第三边缘表示1030的焦点距离处被分类为硬边缘。

通过使用从图9的图像数据集合900所导出的图10的边缘表示1000，可针对图像数据集合900中所表示的场景中的对象而产生深度数据(例如深度图)。在本发明的一个实施例中，深度图的产生开始于对在最近焦点位置处拍摄的图像的边缘分析及检查图像中的每一点以确定其边缘分类。存储每一点的分类。所述过程接着评估在下一最近焦点位置处的下一图像中的每一点，以确定所述点的边缘分类是否已改变。更具体地说，当点(如果其全部)在焦点位置的任一者处被分类为硬边缘时，针对所述点中的每一者而确定所述点的边缘分类是否已改变。点中的每一者与硬边缘相关联的焦点位置被识别为将指派给深度数据中的点的点的深度。

举例来说，在本发明的一个实施例中，使用以下算法以产生深度图：

       For every pixel in output image{

See if that pixel location in the first image(taken when lens is in macro mode，whereobjects closes to lens  would be in focus)is on soft，hard，or non-edge.Store this asprev_state.

For all remaining pictures i from 1 to n-1，(in order of macro to infinity)，do{

see if pixel is on a hard edge，soft edge，or neither.Store this is as curr_state

see if prev_state was hard，but curr_state is either soft or neither.

if so，then mark output pixel with value indicative for frame number，i.e.distance

                        if not，set prev_state to state and repeat for next image.

                }

             }

图11表示使用从图9的图像数据集合900及图10的边缘表示1000所导出的深度数据的逻辑表示1100而建立的深度图1150的特定实施例。深度数据的逻辑表示1100展示焦点距离，对于所述焦点距离，对象中的每一者均在焦点上，如由被识别为硬边缘的对象的边缘所指示。每一对象进入焦点的焦点位置与每一对象相关联以作为其深度。具体地说，正方形1112的边缘在深度或焦点距离11122处被分类为硬边缘。类似地，圆形1114的边缘在深度或焦点距离21124处被分类为硬边缘，且三角形1116的边缘在深度或焦点距离31126处被分类为硬边缘。

因而，在深度图1150中，识别硬边缘的点经指派等于硬边缘被识别的焦点距离的深度。正方形1152的边缘上的点因而经指派深度“1”。圆形1154的边缘上的点经指派深度“2”。三角形1156的边缘上的点因而经指派深度“3”。未识别硬边缘的点(例如点1158)经指派深度0或某其它空值深度值。因而，深度图1150将对应于图6的场景600的图9的图像910、920及930的图像数据与场景600中的对象612、614及616中的每一者的相对距离的数值指示相关联。数值指示指示对象612、614及616中的每一者距图像捕捉装置602的相对距离。深度图1150还将空值深度值与未检测到边缘的图像数据的部分相关联。或者，在深度图1150中，每一对象可经指派对应于对象失去焦点(亦即从硬边缘转变成软边缘，或从软边缘转变成无边缘)的焦点距离的深度。

图12为图10的边缘表示1010、1020及1030的透视图，其表示图6的场景600中的对象612、614及616的边缘，所述边缘经分类以表示从表示图6的图像捕捉装置602的近焦点位置的透视图的近点1202直到最远焦点位置1204的边缘转变。边缘分类表1208在多个帧(包括第一帧1210、第二帧1220及第三帧1230)中的每一者中将边缘分类与场景600中的对象中的每一者(包括正方形612、圆形614及三角形616)相关联。边缘分类及边缘分类之间的转变是用以确定对象612、614及616中的哪一者将呈现于图6的场景600的飞越视图(flythrough view)中，如下文进一步所描述。

在边缘分类表1208中，在第一帧1210中正方形1212的边缘被识别为硬边缘1213，圆形1214的边缘被识别为软边缘1215，且三角形1216的边缘未被检测到且因而被分类为呈现无边缘1217。对于第二帧1220，正方形1222的边缘被识别为软边缘1223，圆形1224的边缘被识别为硬边缘1225，且三角形1226的边缘被分类为软边缘1227。对于第三帧1230，未出现正方形，因而，正方形被识别为呈现无边缘1233，圆形1234的边缘被识别为软边缘1235，且三角形1236的边缘被分类为硬边缘1237。

在本发明的一个实施例中，当对象的边缘无论是作为软边缘还是硬边缘而首先出现时，将于飞越视图的帧中呈现对象。在移动到下一帧后(无论是从当前帧移动到表示下一更远焦点位置的帧还是从当前帧移动到表示下一较近焦点位置的帧)，即刻将再次呈现具有相同边缘分类或从软边缘分类转变成硬边缘分类的对象。另一方面，不呈现针对特定焦点位置未检测到边缘或其边缘分类从硬边缘转变成软边缘的对象。因而，在从当前焦点位置处的帧移动到下一更远焦点位置的飞越视图中，当对象的边缘从硬边缘转变成软边缘时，假定对象将随着观看者“飞入”场景而在观看者后方通过。对应地，在从当前焦点位置处的帧移动到下一较近焦点位置的飞越视图中，当对象的边缘从硬边缘转变成软边缘时，假定对象随着观看者“飞出”场景而进入背景且不再受关注。

图13展示图6的场景600的第一飞越视图1300，其从表示最接近于图像捕捉装置1302的参考点的近或前景焦点位置的第一帧1310移动到表示朝向光学无穷远1304的远或背景焦点位置的第三帧1330。图13还展示第二飞越视图1350，其从表示朝向光学无穷远1354的远或背景焦点位置的第三帧1380移动到表示最近或前景焦点位置1352的第一帧1360。在第一飞越视图1300(其中用户正“飞入”图6的场景600)中，第一帧1320展示正方形1312及圆形1314的视图。如先前参看图12所描述，正方形1212与圆形1214两者的边缘均首先出现于第一帧1210中，因而，正方形1312与圆形1314两者均出现于第一帧1320中。三角形的图像未出现于第一帧1310中，因为对于图12中的第一帧1210，三角形被分类为不具有检测到的边缘1217。

通过移动到第二帧1330，呈现圆形1324及三角形1326的视图。参看图12，圆形1224的边缘分类在第一焦点位置与第二焦点位置之间从软1215改变成硬1225，此指示圆形1224在第二帧1220的第二焦点位置处更在焦点上且因而更接近。因而，圆形1324包括于第二视图1320中。三角形1326还出现于第二视图1320中，因为参看图12的边缘分类表，在由第二帧1220所表示的第二焦点位置处首先检测到三角形1226的边缘。正方形的图像未出现于第二帧1320中，因为如图12的边缘分类表1208中所指示，正方形的边缘分类从硬1213改变成软1223，此指示正方形正移动到焦点外且因而在第二帧1320的飞越视图中的观看者后方移动。然而，例如，如果正方形在第二帧1220中仍被分类为具有硬边缘(此指示正方形仍在焦点上且因而不在第二帧1220的观看者后方移动)，则将再次呈现正方形。

通过移动到第三帧1340，仅呈现三角形1336的视图。参看图12，三角形1236的边缘分类在第二焦点位置处的第二帧1220与第三焦点位置处的第三帧1230之间从软1227改变成硬1237，此指示三角形1236在第三视图1230中所表示的第三焦点位置处更接近且更在焦点上。因而，三角形1336包括于第三视图1330中。对比来说，图12的边缘分类表1208指示圆形1224的边缘分类在第二帧1320与第三帧1330之间从硬1225改变成软1235，此指示圆形在第三帧1330的飞越视图中正远离于观看者而移动且在观看者后方移动。

在将视图1310、1320及1330呈现给观看者时，随着观看者“飞入”图6的场景600，当对象充分地出现于焦点上以用于检测其边缘时或当其边缘变得较清晰且被分类为硬边缘时，观看者将被呈现有包括所述对象的视图。随着观看者被呈现有朝向最远或背景焦点位置1304移动的相继视图，从视图移除具有暗示对象正移动到焦点外且因而离观看者更远的边缘分类的所述对象。因而，观看者最初被呈现有在焦点上或至少具有可辨别边缘的对象的视图，接着随着飞越进展，从视图移除正移动到焦点外的对象且呈现进入焦点或较清晰焦点的对象，就仿佛观看者“飞越”如由选择性包括的视图所表示的场景。

图13的飞越视图1350，其展示从最远或背景焦点位置1354改变成最近或前景焦点位置1352的透视图。将相同规则应用于飞越视图1350中：当对象的边缘首先被检测到或从软边缘分类转变成硬边缘分类时呈现所述对象的视图。在第三视图1380中，呈现三角形1386及圆形1384。以表示最远焦点位置的第三视图1380开始，如图12的边缘分类表1208中所指示，三角形1386与圆形1384两者均首先分别被分类为具有硬边缘或软边缘。未出现正方形的图像，因为确定在图12的第三帧1230中不存在正方形的可检测边缘1233。

通过移动到表示下一较近焦点位置的第二帧1370，出现圆形1374及正方形1372的图像。展示圆形1374，因为根据图12的边缘分类表1208，圆形的边缘已从在第三视图1230中被分类为软边缘1235转变成在第二视图1220中被分类为硬边缘1225。出现正方形1372，因为正方形首先在第二视图1220中被分类为具有边缘1223。三角形的图像未出现于第二视图1220中，因为三角形的边缘从被分类为硬边缘1237转变成软边缘1227。如先前所描述，随着对象的边缘从硬边缘转变成软边缘，对象被认为正在移动到焦点外且可从视图移除。

在第一帧1360中，仅出现正方形1362。如由图12的边缘分类表1208所指示，正方形的边缘从被分类为软边缘1223转变成被分类为硬边缘1213，此指示正方形1212在第一视图1210的焦点距离处正进入较清晰焦点。另一方面，圆形的图像未出现于第一帧1360中，因为在图12的边缘分类表1208中，圆形被分类为从在第二帧1220中呈现硬边缘1225转变成在第一帧1210中呈现软边缘1215。

在将视图1380、1370及1360呈现给观看者时，随着观看者“飞出”图6的场景600，当对象充分地出现于焦点上而可检测到其边缘时或当其边缘变得较清晰且被分类为硬边缘时，观看者将被呈现有包括所述对象的视图。当观看者被呈现有朝向最近或前景焦点位置1352移动的相继视图时，从视图移除边缘分类暗示对象正在移动到焦点外且因而离观看者更远的所述对象。因而，观看者最初被呈现有在远焦点位置处在焦点上或至少具有可辨别边缘的对象的视图。接着，随着飞越进展，从视图移除移动到焦点外的对象且呈现进入焦点或较清晰焦点的对象，就仿佛观看者正向后飞越如由选择性包括的视图所表示的场景。

除了使用此过程以实现飞越视图以外，相同过程可用以使得能够选择性地捕捉前景或背景图像，以及在中间距离处的对象的图像。举例来说，如果移动电话的用户希望进行视频电话呼叫，但出于保密或偏好起见而不希望包括任何背景，则可抑制更远图像集合中仅进入焦点的对象上的点。或者，如果某人希望捕捉景观的远景而不捕捉任何前景对象，则可抑制近图像集合中在焦点上的点。

图14为根据本发明的实施例的用于使用边缘检测来接收及处理图像数据的过程的流程图1400。在1402处，接收针对在对应于第一距离的第一焦点位置处所捕捉的场景而捕捉的第一图像数据。举例来说，第一距离可表示图像捕捉装置的最近焦点距离，例如微距焦点距离。在1404处，接收针对在对应于第二距离的第二焦点位置处所捕捉的场景而捕捉的第二图像数据。第二距离大于第一距离。第二距离可包括图像捕捉装置的远焦距(例如光学无穷远)或超出图像捕捉装置的最近焦点距离的某其它距离。

在1406处，执行边缘检测过程以产生第一图像数据的第一部分的第一边缘数据以检测边缘的存在或不存在。在1408处，执行边缘检测过程以产生对应于第二图像数据的第二部分的点的边缘数据。在1410处，确定是否已检测到边缘的存在或不存在。如果已检测到边缘，则在1412处，将边缘识别为硬边缘或软边缘且接着方法前进到1414。另一方面，如果确定未检测到边缘，则所述过程前进到1414。在1414处，基于边缘的存在或不存在而产生深度数据，且将每一边缘识别为硬边缘或软边缘。针对第一图像数据及第二图像数据而产生深度数据。所产生的深度数据可包括如参看图11所描述的深度图，或深度数据的任何其它表示，其可(例如)使得能够选择性地呈现前景部分、背景部分或图像数据的其它方面，以允许抑制图像数据的若干部分、支持飞越模式或支持其它应用。

图15为用于使用与场景的多个图像数据集合相关联的深度数据来选择性地呈现图像数据的过程的流程图1500。在1502处，接收与场景的多个图像数据集合相关联的深度数据。在1504处，基于识别距捕捉点的指定范围内的图像数据的若干部分的深度数据而选择性地呈现来自图像数据集合的图像数据。结果，例如，可增强经确定为在场景的前景中的图像数据，可抑制经确定为在图像的背景中的图像数据，或其组合。类似地，可在飞越模式中连续地或选择性地显示经确定为在场景的前景、背景或其它部分中的图像数据，以使得用户能够在距捕捉点的变化位置处查看场景。

图16为包括边缘检测器及深度数据产生器1664的系统1600的特定实施例的框图。系统1600可实施于便携型电子装置中且包括耦合到存储器1632的信号处理器1610，例如数字信号处理器(DSP)。边缘检测器及深度数据产生器1664包括于信号处理器1610中。在说明性实例中，边缘检测器及深度数据产生器1664如根据图1到图13所描述及根据图14及图15的过程或其任何组合而操作。

相机接口1668耦合到信号处理器1610且还耦合到相机，例如摄像机1670。相机接口1368可适于响应于单个图像捕捉命令(例如来自用户“敲击”快门控制或其它图像捕捉输入)而自动地或响应于由DSP 1610所产生的信号来拍摄场景的多个图像。显示器控制器1626耦合到信号处理器1610且耦合到显示装置1628。编码器/解码器(CODEC)1634也可耦合到信号处理器1610。扬声器1636及麦克风1638可耦合到CODEC 1634。无线接口1640可耦合到信号处理器1610且耦合到无线天线1642。

信号处理器1610适于基于如先前所描述的相邻数据点之间的强度值变化而检测图像数据中的边缘。信号处理器1610还适于产生以如先前所描述的图像数据集合所导出的深度数据1646，例如深度图或其它形式的深度数据。作为说明性非限制性实例，图像数据可包括来自摄像机1670的视频数据、来自经由天线1642的无线发射或来自其它源(例如经由通用串行总线(USB)接口(未图示)而耦合的外部装置)的图像数据。

显示器控制器1626经配置以接收经处理图像数据且将经处理图像数据提供给显示装置1628。另外，存储器1632可经配置以接收及存储经处理图像数据，且无线接口1640可经配置以接收经处理图像数据以供经由天线1642而发射。

在特定实施例中，信号处理器1610、显示器控制器1626、存储器1632、CODEC 1634、无线接口1640及相机接口1668包括于封装内系统或芯片上系统装置1622中。在特定实施例中，输入装置1630及电源1644耦合到芯片上系统装置1622。此外，在特定实施例中，如图16所说明，显示装置1628、输入装置1630、扬声器1636、麦克风1638、无线天线1642、摄像机1670及电源1644在芯片上系统装置1622外部。然而，显示装置1628、输入装置1630、扬声器1636、麦克风1638、无线天线1642、摄像机1670及电源1644中的每一者可耦合到芯片上系统装置1622的组件，例如接口或控制器。

图17为包括边缘检测器及深度数据产生器1764的系统1700的特定实施例的框图。系统1700包括图像传感器装置1722，其耦合到透镜1768且还耦合到便携型多媒体装置的应用处理器芯片组1770。在一个实施例中，图像传感器装置1722从应用处理器芯片组1770接收输入信号以在使用系统1700所捕捉的每一场景的变化焦点距离处捕捉多个图像数据集合。包括于应用处理器芯片组1770中的边缘检测器及深度数据产生器1764接收多个图像数据集合且执行如先前所描述的边缘检测及深度数据产生。或者，边缘检测器及深度数据产生器1764可并入于处理器1710内，处理器1710可包括于图像传感器装置1722中或独立地安置于图像传感器装置1722中，使得当图像传感器装置接收到捕捉图像数据的命令时，可在图像传感器装置1722中执行多个图像数据集合的捕捉及边缘检测/深度数据产生。另外，或者，边缘检测器及深度数据产生器1764可以其它方式并入于系统1700中，并与应用处理器芯片组1770、图像传感器装置1722或其组合通信。

应用处理器芯片组1770以及边缘检测器及深度数据产生器1764从图像传感器装置1722接收图像数据。图像传感器装置1722通过从透镜1768接收视觉图像且在图像阵列1766中接收数据来捕捉图像数据。处理在图像阵列1766中所接收的数据以通过传递(例如)经由经耦合以接收图像阵列1766的输出的模-数转换器1726所接收的数据来建立数字图像数据。如果被包括，则图像传感器装置1722的处理器1710进一步处理图像数据，例如，以校正错误群集(bad cluster)、非最佳色彩或照明条件或其它因素。通过边缘检测器及深度数据产生器1764来接收所得图像数据以从由系统1700所捕捉的图像数据产生深度数据，例如深度图。

所属领域的技术人员应进一步了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路及算法步骤实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此互换性，已大概就其功能性在上文描述了各种说明性组件、块、配置、模块、电路及步骤。将所述功能性实施为硬件还是软件是取决于特定应用及强加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以变化的方式来实施所描述功能性，但所述实施决策不应被理解为会引起脱离本发明的范围。

结合本文中所揭示的实施例而描述的方法或算法的步骤可直接以硬件、以由处理器所执行的软件模块或以两者的组合进行体现。软件模块可驻留于随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸盘、光盘只读存储器(CD-ROM)或此项技术中已知的任何其它形式的存储媒体中。将示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代方案中，处理器及存储媒体可作为离散组件而驻留于计算装置或用户终端中。

提供所揭示实施例的先前描述以使所属领域的技术人员能够制造或使用所揭示实施例。在不脱离本发明的范围的情况下，对这些实施例的各种修改对于所属领域的技术人员来说将是显而易见的，且本文中所界定的原理可应用于其它实施例。因而，不希望将本发明限于本文中所展示的实施例，而是符合其与如由所附权利要求书所界定的原理及新颖特征一致的可能的最广泛范围。

Claims (24)

1.一种方法，其包含：

接收由图像捕捉装置在与距所述图像捕捉装置的第一距离相关联的第一焦点位置处所记录的对应于一场景的第一图像数据；

接收在与距所述图像捕捉装置的第二距离相关联的第二焦点位置处的对应于所述场景的第二图像数据，其中所述第二距离大于所述第一距离；

执行边缘检测过程以产生对应于所述第一图像数据的至少第一部分的第一边缘数据且产生对应于所述第二图像数据的至少第二部分的第二边缘数据，其中所述边缘检测过程检测在所述第一图像数据的所述第一部分及所述第二图像数据的所述第二部分的每一位置处存在或不存在边缘，且将每一检测到的边缘识别为硬边缘或软边缘；以及

基于所述第一边缘数据及所述第二边缘数据而产生深度数据。

2.根据权利要求1所述的方法，其中所述第一图像数据包括对于较近对象比对于较远对象更清晰的焦点，且所述第二图像数据包括对于所述较远对象比对于所述较近对象更清晰的焦点。

3.根据权利要求1所述的方法，其中所述第一图像数据及所述第二图像数据包括多个强度值。

4.根据权利要求3所述的方法，其中在跨越所述第一图像数据或第二图像数据的选定点周围的点范围的逐渐强度变化指示软边缘条件，且在跨越所述点范围的清晰强度变化指示硬边缘条件。

5.根据权利要求4所述的方法，其中所述深度数据识别所述第二图像数据中存在所述第一边缘数据中曾不存在的硬边缘条件的至少一个位置，且所述深度数据将所述第二焦点位置与所述第二图像数据中的所述位置相关联。

6.根据权利要求5所述的方法，其中所述深度数据包括深度图。

7.根据权利要求1所述的方法，其中所述第一焦点位置包括微距焦点距离。

8.根据权利要求7所述的方法，其中所述第二焦点位置包括无穷远焦点距离。

9.根据权利要求8所述的方法，其进一步包含在所述微距焦点距离与所述无穷远焦点距离之间的中间焦点距离处所捕捉的至少一个额外图像数据集合。

10.一种成像系统，其包含：

输入，其用以接收控制信号以捕捉图像数据；

图像捕捉装置，其用以响应于所述控制信号而产生在多个焦点位置处所捕捉的多个图像数据集合；以及

输出，其用以提供输出图像且基于焦点位置提供所述输出图像中的至少一个点的深度数据，其中在所述焦点位置中所述至少一个点被确定为在所述输出图像中具有可检测边缘。

11.根据权利要求10所述的系统，其进一步包含边缘检测器，所述边缘检测器经配置以基于强度值变化而确定所述输出图像中的选定点是否指示所述可检测边缘的存在。

12.根据权利要求11所述的系统，其中所述可检测边缘包括硬边缘及软边缘中的一者。

13.根据权利要求11所述的系统，其中所述控制信号经配置以使所述图像捕捉装置在包括微距焦点位置及无穷远焦点位置的多个焦点位置处产生图像数据集合。

14.根据权利要求10所述的系统，其中所述图像捕捉装置包括电荷耦合装置(CCD)图像捕捉装置。

15.一种系统，其包含：

图像数据输入，其用以接收第一图像数据及第二图像数据，其中所述第一图像数据及所述第二图像数据对应于单个图像捕捉装置的不同焦点位置；以及

深度模块，其用以对所述第一图像数据及所述第二图像数据执行边缘检测，且基于所述第一图像数据中的边缘的第一清晰度与所述第二图像数据中所述边缘的第二清晰度之间的差而产生深度数据。

16.根据权利要求15所述的系统，其中所述第一图像数据及所述第二图像数据包括静态图像输入数据。

17.根据权利要求16所述的系统，其中所述第一图像数据及所述第二图像数据是从摄像机接收的。

18.根据权利要求15所述的系统，其进一步包含用以将控制信号提供到图像捕捉装置的图像控制输出，其中所述控制信号使所述图像捕捉装置使用第一焦点位置来捕捉所述第一图像数据且使用第二焦点条件来捕捉所述第二图像数据。

19.根据权利要求18所述的系统，其中所述第二焦点条件基于选定对象处在焦点上的位置而选择第二焦点位置。

20.一种系统，其包含：

输入，其适于从图像捕捉装置接收视频图像数据，所述视频图像数据包括与第一焦点位置相关联的第一图像数据及与第二焦点位置相关联的第二图像数据；

处理器，其经配置以通过将边缘检测滤波器的单次通过应用于所述第一图像数据及所述第二图像数据来确定所述视频图像数据的背景部分，且产生深度数据以识别所述第一图像数据的前景部分及背景部分；以及

输出，其适于提供视频数据，所述视频数据包括对于所述前景部分比对于所述背景部分更高分辨率的数据。

21.根据权利要求20所述的系统，其进一步包含产生控制信号以使所述图像捕捉装置使用至少三个不同焦点距离来执行图像捕捉操作。

22.根据权利要求20所述的系统，其中所述深度数据经产生且所述输出耦合到无线发射器以在所述图像捕捉装置的视频图像捕捉时间间隔内提供所述视频图像数据，以提供具有增强的前景分辨率的实时无线视频电话。

23.根据权利要求20所述的系统，其中所述深度数据是使用硬边缘及软边缘而确定的。

24.根据权利要求20所述的系统，其中所述输出提供所述视频图像数据的飞越视图，所述飞越视图在近景中显示所述前景部分且在所述背景部分的远景中移除所述前景部分。

Images