CN104813343A - 具有边缘选择功能的图像处理器 - Google Patents

Abstract

本发明涉及具有边缘选择功能的图像处理器。一种图像处理系统包括图像处理器，其被配置成对第一图像执行边缘检测操作以获得第二图像、标识展示出至少一个指定可靠性的第二图像的特定边缘以及生成包括该特定边缘且不包括第二图像的其他边缘的第三图像。仅以示例的方式，在给定实施例中，第一图像可包括由深度成像器生成的深度图像，第二图像可包括通过对深度图像应用边缘检测操作而生成的边缘图像，并且第三图形可包括仅具有展示出至少指定可靠性的特定边缘的已修改边缘图像。

Description

具有边缘选择功能的图像处理器

技术领域

本领域一般地涉及图像处理，并且更特别地涉及在一个或多个图像中检测到的边缘的处理。

背景技术

已知有用于检测图像中的边缘的多种不同技术。此类技术一般地在应用于高分辨率图像时产生可接受的结果，诸如照片或由数字式照相机产生的其他二维(2D)图像。然而，许多重要机器视觉应用利用由诸如结构光(SL)照相机或飞行时间(ToF)照相机之类的深度照相机产生的三维(3D)图像。这些深度图像常常是低分辨率图像且通常包括高噪声且模糊的边缘。

常规边缘检测技术一般地在被应用于深度图像时表现并不很好。例如，这些常规技术可遗漏给定深度图像中的重要边缘或将多个伪边缘连同重要边缘一起定位。结果产生的检测边缘质量差，并且因此破坏后续图像处理操作的有效性，诸如特征提取、图案识别、姿势识别、对象识别和跟踪。

发明内容

在一个实施例中，图像处理系统包括图像处理器，其被配置成对第一图像执行边缘检测操作以获得第二图像、标识展示出至少指定可靠性的第二图像的特定边缘以及生成包括该特定边缘且不包括第二图像的其他边缘的第三图像。

仅以示例的方式，给定实施例中的第一图像可包括由深度成像器生成的深度图像，第二图像可包括通过对深度图像应用边缘检测操作生成的边缘图像，并且第三图像可包括仅具有展示出至少指定可靠性的特定边缘的已修改边缘图像。

本发明的其他实施例包括但不限于方法、设备、系统、处理设备、集成电路以及具有体现在其中的计算机程序代码的计算机可读存储介质。

附图说明

图1是一个实施例中的包括具有边缘选择功能的图像处理器的图像处理系统的框图。

图2是用于使用图1系统的图像处理器来标识边缘图像中的可靠边缘的示例性过程的流程图。

图3、4A和4B示出了边缘图像的各部分中的所标识边缘段的示例。

图4A和4B在本文中还共同地称为图4。

图5是用于使用图1系统的图像处理器来标识边缘图像中的可靠边缘的另一示例性过程的流程图。

具体实施方式

在本文中将结合示例性图像处理系统来举例说明本发明的实施例，该示例性图像处理系统包括图像处理器或其他类型的处理设备并实现用于生成具有可靠边缘的边缘图像的技术。然而，应理解的是本发明实施例更一般地可应用于涉及到一个或多个图像中的边缘处理的任何图像处理系统或关联设备或技术。

图1示出了本发明的实施例中的图像处理系统100。图像处理系统100包括从一个或多个图像源105接收图像并将已处理图像提供给一个或多个图像目的地107的图像处理器102。图像处理器12还通过网络104与多个处理设备106通信。

虽然图像源105和图像目的地107在图1中被示为与处理设备分离，但可至少部分地利用处理设备106中的一个或多个来实现将此类源和目的地的至少一个子集。相应地，可通过网络104将图像提供给图像处理器102以用于来自处理设备106中的一个或多个的处理。同样地，已处理图像可被图像处理器102通过网络104传送至处理设备106中的一个或多个。因此可将此类处理设备视为图像源或图像目的地的示例。

给定图像源可包括例如诸如被配置成生成深度图像的SL照相机或ToF照相机之类的3D成像器或者被配置成生成灰度图像、彩色图像、红外图像或其他类型的2D图像的2D成像器。图像源的另一示例是向图像处理器102提供图像以用于处理的存储设备或服务器。

给定图像目的地可包括例如计算机或移动电话的人机接口的一个或多个显示屏，或者从图像处理器102接收已处理图像的至少一个存储设备或服务器。

并且，虽然图像源105和图像目的地107在图1中被示为与图像处理器102分离，但可至少部分地将图像处理器102与公共处理设备装置的一个或多个图像源和一个或多个图像目的地的至少一个子集组合。因此，例如，可在同一处理设备上共同地实现给定图像源和图像处理器102。同样地，可在同一处理设备上共同地实现给定图像目的地和图像处理器102。

在本实施例中，图像处理器102被配置成对来自给定图像源的第一图像执行边缘检测操作以便获得第二图像，标识展示出至少一个指定可靠性的第二图像的特定边缘，并生成包括该特定边缘且不包括第二图像的其他边缘的第三图像。

如图1中所示的图像处理器102包括预处理模块110、边缘检测模块112和边缘选择模块114。边缘检测模块112被配置成对由给定图像源供应的第一图像执行边缘检测操作，并且边缘选择模块114被配置成标识展示出至少指定可靠性的第二图像的特定边缘。假设预处理器模块110被耦合或布置在给定图像源与边缘检测模块112的输入端之间，并被配置成在第一图像在边缘检测模块112中经受边缘检测操作之前对该第一图像应用诸如去噪声和均衡化之类的预处理操作。

作为上述第一、第二和第三图像的一个可能示例，给定实施例中的第一图像可包括由诸如SL照相机或ToF照相机之类的深度成像器生成的深度图像，该第二图像可包括通过在边缘检测模块112中对深度图像应用边缘检测操作而生成的边缘图或其他类型的边缘图像，并且第三图像可包括已修改边缘图像，其仅具有被边缘选择模块114选择为展示出至少指定可靠性的特定边缘。其他类型和布置的图像在其他实施例中可被接收、处理和生成。

在其他实施例中，能够改变图1实施例中的图像处理器102中所示的模块的特定数目和布置。例如，在其他实施例中，可将这些模块中的两个或更多组合成较少数目的模块。可使用其他常规图像处理集成电路或被适当地修改成执行如本文公开的处理操作的其他类型的图像处理电路来实现图像处理器102的模块110、112和104中的一个或多个的至少一部分。

下面将结合图2和5的流程图来更详细地描述边缘选择模块114的操作。这些流程图中的每一个举例说明用于识别由边缘检测模块112提供的边缘图像中的可靠边缘的不同过程。

如由图像处理器102生成的仅具有展示出至少指定可靠性的特定边缘的已修改边缘图像可在图像处理器102中经受附加处理操作，诸如，例如特征提取、图案识别、姿势识别、对象识别和跟踪。

替换地，可通过网络104将如由图像处理器102生成的仅具有展示出至少指定可靠性的特定边缘的已修改边缘图像提供给处理设备106中的一个或多个。一个或多个此类处理设备可包括被配置成执行上述后续操作，诸如特征提取、图案识别、姿势识别、对象识别和跟踪，的各图像处理器。

处理设备106可以任何组合包括例如计算机、移动电话、服务器或存储设备。一个或多个此类设备还可包括例如被用来呈现由图像处理器102生成的图像的显示屏或其他用户接口。处理设备106因此可包括多种不同的目的地设备，其通过网络104从图像处理器102接收已处理图像流，举例来说，包括从图像处理器102接收一个或多个已处理图像流的至少一个服务器或存储设备。

虽然在本实施例中被示为与处理设备106分离，但可至少部分地将图像处理器102与处理设备106中的一个或多个组合。因此，例如，可至少部分地使用处理设备106中的给定的一个来实现图像处理器102。举例来说，可将计算机或移动电话配置成结合图像处理器102和可能的给定图像源。图像源105因此可包括与计算机、移动电话或其他处理设备相关联的照相机或其他成像器。如先前所指示的，可至少部分地将图像处理器102与公共处理设备上的一个或多个图像源或图像目的地组合。

本实施例中的图像处理器102假设是使用至少一个处理设备实现的，并包括被耦合到存储器122的处理器120。处理器120执行存储在存储器122中的软件代码以便控制图像处理操作的性能。图像处理器102还包括支持通过网络104的通信的网络接口124。

处理器1可以任何组合方式包括例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器(DSP)或其他类似处理设备部件以及其他类型和布置的图像处理电路。

存储器122存储用于由处理器120在实现图像处理器的功能的各部分、诸如模块110、112和114的各部分时执行的代码。存储软件代码以供相应的处理器执行的给定此类存储器是在本文中更一般地称为计算机可读介质或具有在其中体现的计算机程序代码的其他类型的计算机程序产品的示例，并且可以任何组合方式包括例如电子存储器，诸如随机存取存储器(RAM)或只读存储器(ROM)、磁存储器、光学存储器或其他类型的存储设备。如上文所指示的，处理器可包括微处理器、ASIC、FPGA、CPU、ALU、DSP或其他图像处理电路的各部分或组合。

还应认识到的是可以集成电路的形式来实现本发明的实施例。在给定此类集成电路实施方式中，通常在半导体晶片的表面上以重复图案来形成相同的管芯。每个管芯包括如本文所述的图像处理器或其他图像处理电路，并且可包括其他结构或电路。单独管芯被从晶片切割或分割，然后封装为集成电路。本领域的技术人员将知晓如何分割晶片并封装管芯以产生集成电路。这样制造的集成电路被视为本发明的实施例。

如图1中所示的图像处理系统100的特定配置仅仅是示例性的，并且其他实施例中的系统100可除具体地示出的那些之外或作为其替代而包括其他元件，包括一般地在此类系统的常规实施方式中发现的类型的一个或多个元件。

例如，在某些实施例中，图像处理系统100被实现为视频游戏系统或其他类型的基于姿势的系统，其处理图像流以便识别用户姿势。公开的技术能够同样地适合于在要求基于姿势的人机接口的多种其他系统中使用，并且还能够应用于除姿势识别之外的应用，诸如机器人及其他工业应用中的机器视觉系统。

现在参考图2，示出了用于标识图1的图像处理系统中的边缘图像中的可靠边缘的示例性过程。假设图2过程由图像处理器102使用其边缘选择模块114实现。本实施例中的过程包括步骤200至212。在本实施例中假设在图像处理器102中从图像源105接收到的输入图像是失真图像，诸如来自深度成像器的深度图或其他深度图像。

在步骤200中，对输入图像应用预处理以便生成灰度图像G。预处理可涉及到诸如去噪声、均衡化等操作。本实施例中的灰度图像G是在本文中更一般地称为“第一图像”的示例。

在步骤202中，对灰度图像G执行边缘检测操作以便获得边缘图像E。本实施例中的边缘图像E是在本文中更一般地称为“第二图像”的示例。可应用多种已知边缘检测技术中的任何一个以在步骤202中生成边缘图像E。例如在J.Canny在IEEE Transactions on Pattern Analysisand Machine Intelligence,Vol.PAMI-8,Issue6,pp.679-698,November1986中的“A computational approach to edge detection”中；R.Kimmel和A.M.Bruckstein在International Journal of ComputerVision,53(3):225-243,2003中的“On regularized Laplacian zerocrossings and other optimal edge integrators”中；以及W.K.Pratt的3^rdEdition,John Wiley&Sons,2001中公开了此类边缘检测技术的示例，其被通过引用结合到本文中。在步骤202中应用给定边缘检测操作时，应将任何关联边缘检测阈值设置为足够低，从而确保重要边缘的保持，因为将描述的后续处理将确保不可靠边缘的拒绝。

应注意的是如本文所使用的术语“图像”意图被宽泛地理解，并且在边缘图像E的语境下可包括例如边缘图或表征所检测边缘的其他像素信息组。术语“边缘”也意图被宽泛地理解，从而涵盖例如在与被成像对象的周界的一部分与该图像的其他部分之间的过渡相关联的给定图像中的一组像素。

在步骤204中，可将边缘图像E中的某些边缘由于具有不足尺寸而可选地排斥。

在步骤206中，在步骤304中的任何尺寸不足边缘的可选拒绝之后，对边缘图像E应用边缘分段操作。该边缘分段操作标识表示为ES_n的多个不同边缘段，n＝1,...,N。在图3和4中示出了在边缘图像的各部分中标识的边缘段的示例。在这些示例中，给定边缘段的每个框对应于边缘图像E的特定像素，并且假设所有边缘为一个像素厚。并且，与边缘段相关联的像素被说明性地示为白色，并且所示边缘图像的各部分中的所有其他像素被说明性地示为黑色，虽然在其他实施例中可以其他方式来表征边缘和非边缘像素。例如，在本文中用来表征各边缘和非边缘像素的术语“白色”和“黑色”可另外或替换地使用分别地诸如“1”和“0”之类的二进制值来表示。

图3中所示的两个示例性边缘段ES1和ES2具有起始像素s_i和结束像素e_i，其中，i＝1或2。在左侧的第一边缘段ES₁包括已填充拐角位置，而在右侧的第二边缘段ES2包括未填充拐角位置。图4A和4B每个同样地示出具有起始像素s_i和结束像素e_i的两个附加示例性边缘段，其中，i＝1或2。在步骤206中可生成许多其他类型的边缘段。例如，其他实施例中的边缘段在厚度方面可超过不止一个像素。

如下面将更详细地描述的，可将边缘分段操作表征为将分叉边缘图分离成单元曲线段，使得每个元素段不包括分叉。

更特别地，将步骤206的边缘分段操作中的边缘图像E分离成局部化不交叉但可能邻近单元曲线段ES_n的有限集，n＝1,...N。用每个段的起始像素s_n、结束像素e_n和起始像素与结束像素之间的相邻像素(如果有的话)的数目来表征每个段，使得在s_n与e_n之间不存在间隙，在s_n与e_n之间不存在分叉，并且曲线段的长度大于或等于两个像素，但是不具有除图像分辨率所暗示的之外的上界。

作为一个示例，可使用以下步骤来实现此类边缘分段操作：

1.将任意边缘像素定位于边缘图像E中并确定其是否是单个隔离像素。如果是这样，则擦除该边缘像素并重复步骤1直至找到非隔离边缘像素或所有边缘像素都被擦除，在该点处边缘分段操作终止。针对本实施例的描述和本文中的其他地方将假设边缘像素是白色的且非边缘像素是黑色的，如在图3和4的示例中。因此，对任意边缘像素进行定位涉及到对白色像素进行定位，并且擦除边缘像素涉及到将像素设置成黑色。

2.如果被定位边缘像素具有精确地一个直接相邻白色像素，则将被定位边缘像素标记为起始像素s_n并在唯一可能方向上沿着边缘移动，访问每个像素。如果被定位边缘像素具有两个或更多直接相邻白色像素，则在每个可能方向上沿着相应的边缘移动并访问每个像素。不同的可能方向表示各分支，并且为了避免分支重叠，应将分支中的仅一个视为具有最初定位的边缘像素作为其起始像素s_n。一旦相应的边缘段结束或分叉成两个或更多方向，则沿着边缘的移动停止。在两个情况下，将移动停止处的边缘像素视为起始或结束像素。一旦识别到其起始和结束像素，则完全获取给定边缘段。应记录或标记被访问的边缘像素以便允许边缘段被完全表征，因为其各自结束像素被识别。此记录或标记还帮助避免这样的可能性，即给定边缘像素可能在同一边缘段中包括两次或更多次，如在环回边缘的情况下。

3.重复步骤1和2，装置在边缘图像E中不再留下任何非隔离边缘像素。因此，重复步骤1和2，直至E中的所有非隔离边缘像素被擦除或视为边缘段中的一个的被考虑部分。

4.可选地，擦除具有少于指定数目的边缘像素的任何边缘段。这类似于在步骤204中执行的可选边缘拒绝，但被应用于所识别边缘段。其能够帮助降低图2过程的后续步骤208、210和212的复杂性，但是由多个小段呈现的边缘将丢失，在某些情况下可能导致降低的性能。

上述示例性四步边缘分段操作的输出是一组分离的未分叉边缘段ES_n，n＝1,...,N。

应注意的是，边缘图像E如果已经以其提供具有与上述边缘段ES_n相同或类似的性质的边缘段的方式来配置，则可消除步骤206的边缘分段操作。

在步骤208中，针对各边缘段ES_n来定义边缘段邻域。在本实施例中该邻域包括各直接近邻，但在其他实施例中可使用其他类型的近邻。因此将邻域考虑为在本文中更一般地称为各边缘段的“近邻”的示例。

现在将描述可用以在步骤208中定义边缘段邻域的方式的许多不同示例。

在第一示例中，使用以下步骤基于边缘环路闭合而针对各边缘段来确定邻域：

1.将步骤206的边缘分段图像输出的所有帧边界像素设置成白色，从而将其定义为替代边缘段。这四个替代边缘段(每个与分段图像的每侧相关联)分别被编号为边缘段N+1至N+4。

2.针对每个边缘段ES_n，n＝1,...,N，针对其起始和结束像素s_n和e_n中的每一个，找到所有其他边缘段ES_m的所有白色像素中的最近白色像素，m＝1,...,N+4，m≠n，并用直线段将s_n和e_n连接到各自的最近白色像素。可使用欧几里德距离、曼哈顿距离或其他类型的距离度量来确定“最近”白色像素。

3.针对边缘段中的一个或多个重复步骤2直至没有附加的未连接起始或结束像素可用为止。

在这里，将存在许多闭合边缘环路。图4A的两个示例性边缘段ES₁和ES₂形成一个此类闭合边缘环路，用阴影像素来表示连接直线段。在这种情况下，两个阴影像素的一个直线段将ES₁的中间白色像素连接到ES₂的起始像素s₂，并且两个阴影像素的另一直线段将ES₁的起始像素s1连接到ES₂的结束像素e₂。相应地，在图4A中所示的特定示例中，每个边缘段的悬垂末端被连接到另一段中的最近白色像素。

在使用如上所述的步骤2和3的边缘环路闭合过程的某些实施方式中，能够出现包含大的区域的非常长的边缘。如果情况是这样，则估计的边缘可靠性估计可差异显著，导致性质从一个边缘段部分到同一段内的另一边缘段部分的扩展。这种情况能够通过应用如下附加像素连接规则来解决。在执行步骤2和3之后，当且仅当两个白色像素沿着最短路径分离至多D_join个黑色像素且两个白色像素沿着同一边缘段相互分离超过D_disjoin个白色像素或属于不同边缘段时，才将来自同一或不同边缘段的两个白色像素与直线段相连。

在图4B中图示出将此附加像素连接规则应用于图4A的闭合边缘环路的结果。在本示例中，一个阴影像素的附加直线段将ES₁的结束像素e₁连接到ES₁的中间白色像素。

参数D_join确定将出现的附加边缘段环的数目，并且其值越高，闭合环路分解将越详细，其趋向于使得更好的局部化边缘段可用于后续处理。在约1至5范围内的D_join的值设定用于低分辨率图像的计算复杂性和边缘质量之间的合理折中。参数D_disjoin用来防止同一边缘段的紧密部分的连接。用于此参数的适当值对于低分辨率图像而言在约5至20的范围内。可将较高值用于更好分辨率的图像。在图4B示例中，选择这些参数，使得D_join>＝1且D_disjoin<＝5。

4.针对每个边缘段ES_n，n＝1,...,N，对一对像素进行定位，ES_n的每侧一个，以限定用于区域填充的相邻区域。向每个边缘段ES_n分配至少两个相邻区域。

5.针对每个边缘段ES_n，n＝1,...,N，使用快速填充算法，诸如泛洪填充或快速填充算法，来填充如在步骤4中确定的其相邻区域。每组已填充相邻区域表示将在步骤210中被用于针对相应边缘段的统计聚集的一组像素。

在前述示例中，在步骤2中被链接在一起的多个边缘段可共享相同已填充区域中的一个或多个。相应地，为了降低与区域填充相关联的计算复杂性，每个此类共享区域能够被填充一次，并且然后能够标识共享该区域的所有边缘段，并且其将共享在步骤210中聚集的相应统计。并且，在边缘段连接的过程中，一个段能够分成两个或更多部分，这通过一个段的中间像素到其他段的起始或结束像素的连接来实现。

虽然本邻域定义示例显示出比下面将描述的其他邻域定义示例更高的计算复杂性，但其也提供了增加的边缘验证置信度，因为其涉及到对用于每个边缘段的较大邻域范围内的统计采样。

在第二实施例中，使用以下步骤基于最大近邻半径参数针对各边缘段来确定邻域：

1.针对每个边缘段ES_n，n＝1,...,N，使用直线段将边缘段的两端每个扩展R_v个像素。如果在此扩展过程的过程中，已扩展的边缘段与白色像素相遇，将边缘段连接到白色像素并停止扩展边缘段。参数R_v是表示近邻半径的正整数。近邻半径R_v越大，将在针对各边缘段定义的邻域中包括的像素越多。

2.针对来自步骤1的每个已扩展边缘段，将所有像素定位于已扩展段的每侧，其位于不远于与步骤1扩展之前的边缘段ES_n的距离R_v且不远于在扩展边缘段的时遇到的第一白色像素处。

本示例中的边缘段扩展的使用促进包含每个边缘段的两侧的适当邻域的确定。其计算复杂性相对于前述示例明显降低，但是对于典型深度图像而言，其能够提供相当量的边缘验证置信度。

在第三示例中，使用以下步骤，基于沿着滑动垂直线的最大近邻距离针对各边缘段来确定邻域：

1.针对每个边缘段ES_n，n＝1,...,N，在边缘段的每个像素处，构造到边缘段的当前切线的垂直线，在两个方向上沿着垂直线移动等于D_v个像素的距离或者直至遇到白色像素为止，并使所有被访问像素加入到用于该边缘段的邻域。结果产生的邻域类似于宽度为2D_v的一个像素带，并且边缘本身位于该带的中间。

类似于前述示例，本第三示例也利用单个正整数参数，在这种情况下为最大近邻距离D_v，并且相应地产生与在前述示例中所产生的类似的邻域。近邻距离D_v越大，将在针对各边缘段定义的邻域中包括的像素越多。本示例具有比上述第一和第二示例的计算复杂性小的计算复杂性，但是再次地，对于典型深度图像而言，其能够提供相当量的边缘验证置信度。

如上文所指示的，如本文所使用的术语“近邻”意图被比结合前述示例所述的示例性邻域更宽泛地理解。用于给定边缘段的近邻可更一般地包括(虽然再次地以示例的方式)落在闭合边缘曲线的各侧的像素的子集，该子集被相应边缘完全相互分离。可使用多种不同技术来选择近邻像素并进行加权以供在如下所述地获得水平统计时使用，并且可确定这些技术中的特定的一个以便通过考虑诸如计算复杂性和期望边缘验证置信度之类的因素而在给定应用中使用。

在步骤210中，利用预处理步骤200的输出端处的灰度图像G和在步骤208中定义的边缘段邻域来获得用于边缘段的水平统计。在本实施例中，在两侧边缘段近邻范围内收集灰度水平统计。如下面将更详细地描述的，这可涉及到例如估计在每个边缘段的两侧的局部灰度水平参数。该水平统计因此可包括诸如两侧横向平均值类值和用于各边缘段的协方差估计之类的信息。

更特别地，步骤210中的水平统计的收集可涉及到评估用于在边缘段ES_n(n＝1,...,N)的两侧s_n(s＝1或2)范围内定义的边缘段近邻的特征积分灰度水平MG_P(n,s)。根据图像G的特定性质，灰度水平可表示被成像场景中的对象的深度或距离、亮度、温度、密度或其他物理属性。在这方面应注意的是术语“深度”意图被宽泛地理解从而涵盖距离度量。

能够以多种不同方式来定义积分灰度水平MG_P(n,s)，作为中值包括：

       ${\mathrm{MG}}_p(n,s)=\underset{n=1}{\overset{M(n,s)}{\mathrm{median}}}\left(g_m^p(n,s)\right),$

或作为广义化中值：

       ${\mathrm{MG}}_p(n,s)={\left(\frac{1}{M(n,s)}\underset{m=1}{\overset{M(n,s)}{\mathrm{\&Sigma;}}}{g}_m^p(n,s)\right)}^{1/p},$

其中，M(n,s)表示用于相应边缘段的在步骤208中确定的像素的总数，p≥1表示距离度量空间参数，并且g_m(n,s)表示像素灰度水平。在p＝1的情况下，上述广义化平均缩减成简单算术平均MG₁(n,s)。

如果MG_p(n,1)和MG_p(n,2)仅略有不同，则可将边缘段指定为不可靠并丢弃，因为其并未划分不同积分灰度水平的两个几何区域。例如，此类边缘段的两侧可属于被成像场景中的同一对象且因此不应被边缘分离。相反地，用于边缘段的不同侧的积分灰度水平中的显著差异指示跨由边缘段定义的边界的图像灰度水平和相关对象性质的阶梯状过渡。可将此类边缘段指定为可靠并接受。

相应地，指示边缘段ES_n的可靠性的可能水平统计能够基于MG_p(n,1)与MG_p(n,2)之间的差。能够用许多不同方式来表示此差，包括例如作为简单算术差：

ΔMG_psa(n)＝|MG_p(n，1)-MG_p(n，2)|，

归一化算术差：

ΔMG_pna(n)＝|MG_p(n，1)-MG_p(n，2)|/|MG_p(n，1)+MG_p(n，2)|，

或几何差：

       $\mathrm{\&Delta;}{\mathrm{MG}}_{\mathrm{pg}}\left(n\right)=\frac{\min \left(\right|{\mathrm{MG}}_p(n,1)|,|{\mathrm{MG}}_p(n,2)\left|\right)}{\max \left(\right|{\mathrm{MG}}_p(n,1)|,|{\mathrm{MG}}_p(n,2)\left|\right)}.$

另一水平统计可包括灰度水平方差。能够如下定义此类方差：

       ${\mathrm{var}}_p(n,s)=\frac{1}{M(n,s)}\underset{m=1}{\overset{M(n,s)}{\mathrm{\&Sigma;}}}{(g_m(n,s)-{\mathrm{MG}}_p(n,s))}^2.$

其值显示出边缘段近邻的均匀度。较高的方差一般地指示ΔMG(n)的不那么可靠估计。在这种情况下，能够使用基于MG_p(n,s)的加权估计的水平平滑器。

例如，此类加权估计能够将更接近于边缘段的近邻像素视为具有较高重要性，如下：

       ${\mathrm{MG}}_{\mathrm{pwd}}(n,s)={(\frac{1}{M(n,s)}\underset{m=1}{\overset{M(n,s)}{\mathrm{\&Sigma;}}}{g}_m^p(n,s)\&CenterDot;\frac{1}{\mathrm{dis}\tan \mathrm{ce}\_\mathrm{from}\_\mathrm{edge}{\left(g_m(n,s)\right)}^r})}^{1/p},$

其中，参数r＞0设定随着像素与边缘段距离增加而像素重要性减小的速率。作为另一示例，能够如下抑制水平界外值：

       ${\mathrm{MG}}_{\mathrm{pwl}}(n,s)={(\frac{1}{M(n,s)}\underset{m=1}{\overset{M(n,s)}{\mathrm{\&Sigma;}}}{g}_m^o(n,s)\&CenterDot;\frac{1}{|{\mathrm{MG}}_p(n,s)-g_m{(n,s)|}^r})}^{1/p},$

其中，参数r设定界外值抑制函数的锐度。

能够将这些示例性水平平滑器组合在一起以充当双边滤波器。替换地，能够使用常规双边滤波器，如本领域的技术人员将认识到的。

另一水平统计能够基于估计水平脱离特定动态范围的下界或上界的程度。例如，该水平可在边缘段的一侧经受噪声和下溢或在边缘段的另一侧经受饱和和上溢。在该范围内部的值显示出更多统计置信度，如在下面所指示的：

       $\mathrm{value}\_\mathrm{confidence}(n,s)=\left(\frac{1}{M(n,s)}\underset{m=1}{\overset{M(n,s)}{\mathrm{\&Sigma;}}}\right|g_m(n,s)-\mathrm{saruration}\_\mathrm{level}|\&CenterDot;|g_m(n,s)-\mathrm{noise}\_\mathrm{level}\left|\right),$

其中，saturation_level表示动态范围的顶部，并且noise_level表示动态范围的底部。在动态范围的底部处，由于成像器的物理限制而未准确地测量该值。用于给定像素的value_confidence(n,s)越高，由成像器确定其灰度水平越精确。

前述仅仅是可在步骤210中针对各种边缘段收集的水平统计的示例。应注意的是，基于跨边缘段的水平差ΔG(n)的统计一般地在确定边缘段的可靠性方面比诸如var_p(n,s)和value_confidence(n,s)之类的其他统计更重要。后两个统计可用来例如确定已使用基于水平差ΔG(n)的统计而被标识为可靠的给定边缘段的相关性。在其他实施例中能够使用许多其他类型的水平统计，包括基于除灰度水平之外的各种类型的图像信息的统计。

在步骤212中，基于在步骤210中确定的水平统计和指定阈值值而针对每个边缘段生成接受或丢弃判定。本实施例中的阈值值确立特定可靠性，可将其视为在本文中更一般地称为“指定可靠性”的示例。一个给定的此类指定可靠性可表示一个可靠性值，在其值或其之上边缘像素被接受且在其之下边缘像素被丢弃的。相应地，本文中的用于边缘的指定可靠性可涵盖各种基于阈值的可靠性度量。在其他实施例中可使用许多其他类型的指定可靠性。以说明性示例的方式，在步骤212中利用的阈值值可以是无单位归一化值，诸如0＜阈值＜1，或者另一值，诸如min(G)＜阈值＜max(G)，其基于图像G的各最小和最大灰度值。

作为更特定示例，关于边缘段ES_n应被接受还是丢弃的判定可涉及到将相应的水平差ΔMG(n)与阈值相比较，可能利用以下规则中的特定的一个或这些规则中的两个或更多的组合：

1.如果ΔMG_psa(n)≥threshold_psa，则批准ES_n，否则从G去除ESn。

2.如果ΔMG_pna(n)≥threshold_pna，则批准ES_n，否则从G去除ESn。

3.如果ΔMG_pg(n)≥threshold_pg，则批准ES_n，否则从G去除ESn。

能够以简单方式来使图2过程成流水线。例如，能够针对在步骤206中标识的不同边缘段并行地执行步骤208、210和212的至少一部分，从而减少用于给定输入图像的过程的总等待时间，并促进实时图像处理应用中的所述技术的实施。并且，能够使用固件中的矢量处理来加速该过程的各部分，诸如步骤210中的统计聚集。

步骤212中的接受边缘段共同地表示允许在由图像处理器102提供的已修改边缘图像中保持的一组可靠边缘。如上所述，此已修改边缘图像可在图像处理器102中进一步处理，或供应给另一处理设备106或图像目的地107。每个接受的边缘段可具有由其关联水平统计或由此导出的信息给定的关联置信度估计。

图5图示出用于标识图1图像处理系统中的边缘图像的可靠边缘的另一示例性过程。类似于图2过程，将图5过程假设为由图像处理器102使用其边缘选择模块114实施。本实施例中的该过程包括步骤500至508。步骤500和502是一般地对应于图2中的各步骤200和202的各预处理和边缘检测，并且可以与先前所述基本上相同的方式来实现。

在步骤504中，对灰度图像G应用可分离线性滤波操作，并且然后从结果产生的滤波灰度图像生成归一化伪梯度(NPG)。

在本实施例中应用于灰度图像G的给定像素G(i,j)的可分离线性滤波可被配置成利用沿着图像高度和宽度的2L个相邻像素来获得一维线性和类和差类有限估计，如下：

       $\begin{array}{cc}\mathrm{gx}(i,j)=\underset{l=L}{\overset{L}{\mathrm{\&Sigma;}}}G(i,j+l)w_g\left(j\right),& \mathrm{gy}(i,j)=\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}G(i+l,j)w_g\left(l\right)\\ \mathrm{dx}(i,j)=\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}G(i,j+l)w_d\left(l\right),& \mathrm{dy}(i,j)=\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}G(i+l,j)w_d\left(l\right).\end{array}$

其中，从自然对称和方向等价性考虑，w_g(l)＝w_g(-l)≥0，w_d(l)＝-w_d(-l)，并且因此w_d(0)＝0。作为更特定示例，能够应用用于L＝3的情况下的以下计算上的简单估计量。

gx(i，j)＝G(i，j-3)+G(i，j-2)+G(i，j-1)+G(i，j+1)+G(i，j+2)+G(i，j+3)，

gy(i，j)＝G(i-3，j)+G(i-2，j)+G(i-1，j)+G(i+1，j)+G(i+2，j)+G(i+3，j)，

dx(i，j)＝-G(i，j-3)-G(i，j-2)-G(i，j-1)+G(i，j+1)+G(i，j+2)+G(i，j+3)，

dy(i，j)＝-G(i-3，j)-G(i-2，j)-G(i-1，j)+G(i+1，j)+G(i+2，j)+G(i+3，j).

应注意的是上述示例性可分离线性滤波器可在x和y方面是可分离的，这帮助减少计算负担。然而，其他实施例能够使用多种其他类型的滤波器，并且那些滤波器能够包括各种类型的不可分离和非线性滤波器。

能够以以下方式生成NPG。针对每对估计gx(i,j)和gy(i,j)，找到相应水平：

gm(i，j)＝(|gx(i，j)|^p+|gy(i，j)|^p)^1/p.

如果提供灰度图像G的成像器仅提供非负样本值，则能够如下简化水平确定：

gm(i，j)＝(gx(i，j)^p+gy(i，j)^p)^1/p

通常针对p＝1和p＝∞而获得最小计算复杂性，对于其而言，前述等式分别地减化至gm(i，j)＝|gx(i，j)|+|gy(i，j)|和gm(i，j)＝max(|gx(i，j)|，|gy(i，j)|)。

本实施例利用由SL或ToF照相机或其他类型的深度成像器提供的图像的特性。更特别地，在此类深度成像器中，距离测量不可靠性通常是到被成像对象的距离的函数。让作为距离G(i,j)的函数的距离测量不可靠性表示为D_v(G(i,j))。对于典型SL照相机而言，下式由于使用三角测量来测量距离而适用：

DV_SL(G(i，j))∝G²(i，j)，

而典型的ToF照相机的特征在于较慢的准确度损失：

DV_ToF(G(i，j))∝G(i，j).

本实施例当在步骤504中生成NPG时利用由SL或ToF照相机或其他类型的深度成像器提供的图像的此特征性属性。

举例来说，能够如下使用距离测量不可靠性相关性D_v(G(i,j))来定义NPG：

       $\mathrm{NPG}(i,j)=\sqrt{{\mathrm{dx}}^2(i,j)+{\mathrm{dy}}^2(i,j)}/\mathrm{DV}\left(\mathrm{gm}(i,j)\right),$

在此等式中用于NPG的平方微分分量gx(i,y)和gy(i,j)的平方根和提供伪梯度的方向不变估计，并且用DV(·)的除法提供结果的自动归一化达到G(i,j)的邻域中的原始像素数据的准确度。此示例性非负值NPG(i,j)以类似于匹配滤波器的方式操作，因为其抑制了不可靠数据区的影响并将可靠数据区的影响放大。然而，应理解的是在其他实施例中可使用其他NPG。

在步骤506中，基于上述NPG来生成边缘掩蔽。作为用于生成边缘掩蔽的技术的一个可能示例，首先使用诸如2D高斯滤波器之类的旋转不变2D低通滤波器(LPF)来使NPG平滑化。然后将该平滑化NPG逐个像素地与正值恒定重要性阈值相比较。在阈值以下的NPG(·)中的所有像素被表示为黑色，并且在该阈值以上的所有像素被表示为白色：

PG_thresholded(i，j)＝vrai(LPF(NPG(i，j))＞threshold)，

其中，vrai(true)＝1且vrai(false)＝0。最后，使用以下规则中的一个或多个应用来解决不连续性：如果NPG(i,j)＝0且其直接邻域中的至少一个是1，则设定NPG(i,j)＝1。该程序的此部分在边缘掩蔽中结合错误分离的边缘部分。

在步骤508中，将在步骤506中确定的边缘掩蔽应用于边缘图像E。更特别地，在此步骤中如下通过逐个像素掩蔽应用来消除不可靠边缘：

E_improved(ij)＝(E(i,j)and mask(i,j)),

其中，and在本文中是逻辑算子。

如在图2实施例中，图5过程的输出是被允许在由图像处理器102提供的已修改边缘图像中保持的一组可靠边缘。再次地，此已修改边缘图像可在图像处理器102中进一步处理，或供应给另一处理设备106或图像目的地107。

图5过程使用局部化基于像素的来方案确定给定边缘像素是否是可靠边缘的一部分。这种方案利用局部化统计，通常涉及到相对少的相邻像素，以便将与不那么重要的背景对象相关联的不那么精确的边缘和与更重要的前景对象相关联的更好地限定的边缘区别开。图5过程中的边缘可靠性判定并不是如在图2过程中一样整体地针对边缘段进行的，而是替代地单独地针对每个边缘像素进行的。并且，图5过程考虑到距离测量不可靠性作为用于提供输入图像的成像器的距离的函数而变的特定方式。

在图5过程中能够进行许多简化。例如，边缘图像E如果已经以使得其提供具有与上述边缘段ESn相同或类似的性质的边缘段的方式来配置，则能够将该信息提供给步骤504以促进用于每个边缘像素的适当相邻像素的确定。并且，能够以简单的方式使图5过程中的各种操作成流水线。例如，能够单独地计算不同的掩码区域并在步骤504、506和508中相互并行地应用。

因此将认识到的是在图2和5的实施例中所使用的特定过程步骤仅仅是示例性的，并且其他实施例能够利用不同类型和布置的图像处理操作。例如，在其他实施例中能够改变用以标识可靠边缘的特定方式和用以使用可靠边缘来提供已修改边缘图像的特定方式。并且，如上所述，在其他实施例中，能够至少部分地与一个或多个其他步骤并行地执行在图中被指示为串行地执行的步骤。

本发明的实施例提供了用于标识图像中的可靠边缘的特别高效的技术。例如，这些技术相对于针对诸如来自SL或ToF照相机或其他类型的深度成像器的深度图像之类的某些类型的图像一般地产生质量差的检测图像的常规边缘检测技术而言能够提供明显改善的边缘图像。此外，在没有常规边缘检测操作常常要求的过度参数调谐的成本和复杂性的情况下使用在本文中公开的技术来提供可靠边缘。

相应地，在本发明的实施例中提供的可靠边缘图像显著地增强了利用此类边缘图像的后续图像处理操作的有效性，包括例如特征提取、图案识别、姿势识别、对象识别和跟踪。

再次地应强调的是如本文所述的本发明的实施例意图仅仅是说明性的。例如，能够利用多种与在本文所述的特定实施例中利用的那些不同类型和布置的图像处理电路、模块和处理操作来实现本发明的其他实施例。另外，在其他实施例中不需要应用在本文中在描述某些实施例的背景下进行的特定假设。在以下权利要求范围内的这些和许多其他替换实施例对于本领域的技术人员而言将是显而易见的。

Claims (20)

1.一种方法，包括：

对第一图像执行边缘检测操作以获得第二图像；

标识展示出至少一个指定可靠性的第二图像的特定边缘；以及

生成包括特定边缘且不包括第二图像的其他边缘的第三图像；

其中，所述执行、标识和生成在包括被耦合到存储器的处理器的至少一个处理设备中实施。

2.如权利要求1的方法，其中，第一图像包括由深度成像器生成的深度图像。

3.如权利要求2的方法，其中，所述第二图像包括通过对深度图像应用边缘检测操作而生成的边缘图像。

4.如权利要求3的方法，其中，所述第三图像包括仅具有展示出至少指定可靠性的特定边缘的已修改边缘图像。

5.如权利要求1的方法，其中，标识展示出至少指定可靠性的第二图像的特定边缘包括：

对第二图像应用边缘分段操作以标识多个不同边缘段；

针对各边缘段定义边缘段近邻；

利用第一图像和边缘段近邻来获得用于边缘段的水平统计；以及

基于水平统计和指定阈值值针对每个边缘段生成接受或丢弃判定。

6.如权利要求5的方法，其中，不同边缘段中的每一个包括一组以起始像素、结束像素和起始像素与结束像素之间的间隙或分支的不存在为特征的两个或更多相邻边缘像素。

7.如权利要求5的方法，其中，针对各边缘段定义边缘段近邻包括：基于边缘环路闭合、最大近邻半径和沿着滑动垂直线的最大近邻距离中的一个来定义边缘段近邻中的至少给定的一个。

8.如权利要求5的方法，其中，针对边缘段获得的水平统计包括：基于用于在边缘段的两侧范围内定义的相应边缘段近邻的一个或多个积分灰度水平而针对每个边缘段确定的灰度水平统计。

9.如权利要求8的方法，其中，用于边缘段中的给定的一个的接受或丢弃判定基于用于在边缘段的第一侧的近邻的一部分的第一积分灰度水平和用于在边缘段的第二侧的近邻的一部分的第二积分灰度水平之间的差。

10.如权利要求1的方法，其中，标识展示出至少一个指定可靠性的第二图像的特定边缘包括：

对第一图像应用可分离线性滤波操作以获得滤波的第一图像；

从滤波的第一图像生成归一化伪梯度；

基于归一化伪梯度来生成边缘掩蔽；以及

对第二图像应用边缘掩蔽。

11.如权利要求10的方法，其中，应用于第一图像的给定像素的可分离线性滤波操作生成以下估计：

$\begin{array}{cc}\mathrm{gx}(i,j)=\underset{l=L}{\overset{L}{\mathrm{\&Sigma;}}}G(i,j+l)w_g\left(j\right),& \mathrm{gy}(i,j)=\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}G(i+l,j)w_g\left(l\right)\\ \mathrm{dx}(i,j)=\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}G(i,j+l)w_d\left(l\right),& \mathrm{dy}(i,j)=\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}G(i+l,j)w_d\left(l\right).\end{array}$

其中，G(i,j)表示给定像素，L表示被用于给定像素的可分离线性滤波的局部像素邻域，w_g(l)＝w_g(-l)≥0，w_d(l)＝-w_d(-l)且w_d(0)＝0。

12.如权利要求11的方法，其中，通过针对每对估计gx(i,j)和gy(i,j)来确定相应水平而生成归一化伪梯度：

gm(i，j)＝(|gx(i，j)|^p+|gy(i，j)|^p)^1/p，

并如下计算归一化伪梯度：

$\mathrm{NPG}(i,j)=\sqrt{{\mathrm{dx}}^2(i,j)+{\mathrm{dy}}^2(i,j)}/\mathrm{DV}\left(\mathrm{gm}(i,j)\right),$

其中，DV(G(i,j))表示作为用于第一图像的距离的函数的距离测量不可靠性，并且其中，p≥1。

13.如权利要求10的方法，其中，基于归一化伪梯度来生成边缘掩蔽包括：

使用旋转不变低通滤波器来使归一化伪梯度平滑化；

将平滑化的归一化伪梯度的每个像素与阈值相比较；以及

基于所述比较的结果而生成边缘图。

14.如权利要求10的方法，其中，对第二图像应用边缘掩蔽包括：根据以下等式通过边缘掩蔽的逐个像素应用而消除第二图像中的不可靠边缘：

E_improved(i，j)＝(E(i，j)and mask(i，j))，

其中，E(i,j)表示第二图像的像素，E_improved(i,j)表示第三图像的像素，and表示逻辑算子,且mask(i,j)表示边缘掩蔽的像素。

15.一种具有体现在其中的计算机程序代码的计算机可读存储介质，其中，该计算机程序代码当在处理设备中执行时促使处理设备执行如权利要求1的方法。

16.一种装置，包括：

至少一个处理设备，包括被耦合到存储器的处理器；

其中，所述至少一个处理设备被配置成对第一图像执行边缘检测操作以获得第二图像，标识展示出至少一个指定可靠性的第二图像的特定边缘，并生成包括特定边缘且不包括第二图像的其他边缘的第三图像。

17.如权利要求16的装置，其中，所述处理设备包括图像处理器，该图像处理器包括：

边缘检测模块，被配置成执行边缘检测操作；以及

边缘选择模块，被配置成标识展示出至少指定可靠性的第二图像的特定边缘。

18.如权利要求17的装置，其中，所述图像处理器还包括耦合在第一图像的源和边缘检测模块的输入端之间的预处理器模块。

19.一种图像处理系统，包括：

提供至少第一图像的图像源；

一个或多个图像目的地；以及

耦合在所述图像源和所述一个或多个图像目的地之间的图像处理器；

其中，所述图像处理器被配置成对第一图像执行边缘检测操作以获得第二图像，标识展示出至少一个指定可靠性的第二图像的特定边缘，生成包括该特定边缘且不包括第二图像的其他边缘的第三图像，并将第三图形提供给所述一个或多个图像目的地。

20.如权利要求19的系统，其中，图像源包括深度成像器。