CN106462965B - 用于评估图像中的边界的存在的方法和装置 - Google Patents

Abstract

一种用于评估图像中的边界的存在的方法和装置，该方法包括以下步骤：针对两个像素位置中的每一个像素位置，针对多个方向在所述像素位置处，估算所述图像的卷积的二阶变化率的强度，并且根据所述强度是否超出预定阈值来确定所述像素位置的二元条件；并且通过比较两个二元条件来评估边界的存在。

Description

用于评估图像中的边界的存在的方法和装置

技术领域

本发明涉及检测图像中的边界。

背景技术

对于计算装置来说，收集、处理以及显示图像是常有的事。例如，多个移动电话、平板计算机以及个人计算机可以从机载摄像机收集图像、处理那些图像以及在屏幕上显示所处理的图像。该处理可以涉及非常简单的算法，如将静止图像从彩色转换成灰度。更复杂的算法可能包括噪声缩减和色调增强，并且可能应用于视频而非静止照片。

图像分析的一重要领域是边界(border)或界限检测(boundary detection)。边界检测涉及评估如图像中表示的目标之间的边界的位置。一旦评估出边界的位置，就可以在该图像上执行附加处理。在一个示例中，该附加处理可以涉及以明亮的颜色加亮边界，以便引起对目标的注意。这可以有用于向车辆提供夜视能力。在第二示例中，附加处理可以涉及重新着色图像中的被边界包围的区域，以便创建可视效果。在第三示例中，附加处理可以涉及根据单个图像或者根据按不同位置拍摄的相似场景的一系列图像，来推断已经评估了边界的目标之间的三维关系。

尽管边界检测可以提供许多优点，但其是复杂问题，而且特别难于在具有相对较小计算功率的装置上实现。其一示例是，当要在移动电话上执行边界检测时，移动电话的计算功率增加，但该计算功率仍非常有限，而且因为移动电话通过电池供电，所以希望最小化它们在执行视频处理方面所消耗能量的量，由此改进电池寿命。

边界检测的示例在EP 2615597A、US 2014/072208、WO 2013/186662以及CN103440644A中进行了公开。

希望具有一种边界检测算法，其相对准确并且可以在诸如移动电话这样的便携式装置上操作，以分析具有合理分辨率的实时视频。这种算法在这种便携式装置的能力方面可以提供的主要优点是，按三维来解释它们的环境，并且向许多希望应用特征提供了一种途径。

发明内容

根据本发明的一个方面，提供了一种用于评估图像中的边界的存在的方法，该方法包括以下步骤：针对两个像素位置中的每一个像素位置，针对多个方向在所述像素位置处，估算所述图像的卷积的二阶变化率的强度，并且根据所述强度是否超出预定阈值来确定所述像素位置的二元条件；并且通过比较两个二元条件来评估边界的存在。

根据本发明第二方面，提供了一种用于评估图像中的边界的存在的装置，该装置被配置成执行以下步骤：针对两个像素位置中的每一个像素位置，针对多个方向在所述像素位置处，估算所述图像的卷积的二阶变化率的强度，并且根据所述强度是否超出预定阈值来确定所述像素位置的二元条件；并且通过比较两个二元条件来评估边界的存在。

所述二阶变化率的强度可以依靠在所述像素位置处针对所述多个方向，所述图像的卷积的二阶导数的一个或更多个、优选为多个值来估算。所述强度可以被估算为那些二阶导数的最高绝对值。所述强度可以被估算为，那些二阶导数中的一个或更多个二阶导数的绝对量值的测量。

针对一指定方向的所述二阶导数可以通过如下方式来估算：观察和/或依靠在所述像素位置和沿所述方向并且处于所述像素位置的任一侧的两个其它位置处所述图像的卷积的属性。

可以针对四个方向来估算所述二阶导数。所述方向可以被规则地旋转地偏移。

所述图像可以通过像素的阵列限定，每一个像素均具有一组离散属性。

所述两个像素可以是相邻像素。

所述方法可以包括以下步骤：如果那些像素位置的所述二元条件不同，则评估两个像素位置之间存在边界。

所述方法可以包括以下步骤：如果那些像素位置的所述二元条件相同，则评估两个直接相邻像素位置之间不存在边界。

在一像素位置处所述图像的卷积可以取决于如在相邻该像素位置的多个像素中表示的、限定所述图像的数据。

所述图像的卷积是各向同性Gaussian卷积。

所述装置可以包括摄像机。所述图像可以从所述摄像机获得。

附图说明

下面，参照附图，通过示例对本发明进行描述。在图中：

图1例示了图像中的像素的阵列。

图2例示了图像中的像素的阵列，每一个像素的属性值在相应像素中按圆圈示出。

图3示出了适于图像处理的装置。

具体实施方式

在一个示例算法中，图像由布置在正交网格上的一组像素组成。确定一组九个代表值，在三乘三区块的像素位置中，每一个像素位置一个代表值。针对每一个像素位置的代表值可以通过以相应像素位置为中心的各向同性函数(isotropic function)来确定，该各向同性函数取决于相应像素及其周围像素的一个或更多个可视属性。该各向同性函数可以或可以不取决于应用至相关像素的亮度的Gaussian过滤器或其它卷积。接着，对这九个代表值加以分析，以估算属性。该属性在概念上归于处于该三乘三区块中心的像素位置。该属性可用于估算边界是否经过中心像素位置的区域，或者其可以被用于其它目的。一旦针对该区块中的每一个像素计算出代表值，该分析就涉及估算多个系列的那些值的二阶导数，其中每一个均包括该区块的中心像素和该中心像素相对两侧的两个像素。

在随后处理中，那些二阶导数或根据它们导出的值，可以与按类似方式针对以另一像素位置为中心的三乘三区域确定的一值或多个值进行比较。该比较的结果可以用于评估这两个中心像素位置之间是否存在边界。

图1示出了示例图像。该图像由布置在正交网格上的像素阵列组成。该图像包括：第一区域1，其在图1中被示为阴影；和第二区域2，其被示为无阴影。该区域之间的边界用3示出。

可能希望检测边界3。想要检测该边界的一个理由可能是，建立区域1的位置以便例如通过重新着色来变换其。另一理由可能是，通过检测显示在该图像中的目标来特征化该图像，例如，作为用于估算它们在三维空间中的相对位置的一种方式。该边界可能是该图像的两个可视独特部分之间的边界。

限定横跨该图像的路径4。下面，对可以限定该路径的方式进行更详细描述。检测该边界的处理涉及：

1、沿路径4选择连续相邻多对像素位置，例如，像素位置5和9；

2、基于相应位置处的像素及其周围像素的一个或更多个可视属性，针对那些像素位置中的每一个像素位置执行处理；以及

3、比较所确定的属性，以评估这两个像素之间是否存在边界。例如，如果所确定的属性位于一域值的任一侧，则可以确定存在边界。

便利的是，该路径4可以是笔直的并且平行于设置该像素的轴，但其可以另选地为弯曲的和/或按针对像素轴的一角度来设置。沿该路径选择连续像素的处理可以涉及沿该路径按一个像素步进，或者按一个以上像素步进。

下面，对其中针对一个像素位置确定属性的方式进行描述。

处于该图像边缘处的、该路径上的像素位置可能因该图像边缘必需构成边界而被忽略。不与该图像的边缘相邻的、该路径上的第一像素位置是像素5。其被八个其它像素6-13包围，其中每一个均与像素5横向或对角地相邻。像素5-13构成三乘三区块的像素。为了评估针对像素位置5的属性，按次序执行以下步骤。

1、就像素位置5-13中的每一个进行评估。像素位置的代表值可以是相应像素位置的简单特征，例如，其亮度或色调。另选的是，其可以是取决于相应像素及其周围其它像素的性质的值。在一个特别有利的情况下，通过将以相应像素位置为中心的Gaussian过滤器应用至该位置处的像素及其周围其它像素的亮度来导出该代表值。针对该像素中的每一个，利用同一函数来评估该代表值。

2、限定四个方向14-17。每一个方向与中心像素5和周围像素6-13中的两个相交。方向14按像素7、5以及12的次序垂直穿过它们。方向15按像素11、5以及8的次序从底左侧至顶右侧对角穿过它们。方向16按像素9、5以及10的次序水平穿过它们。方向17按像素6、5以及13的次序从顶左侧至底右侧对角穿过它们。这些方向用符号表示四个数字系列，每一个系列按次序构成位于相应一个方向上的像素位置的代表值。例如，如果该像素的代表值是：

则这些系列是：

系列	方向	值
			A	14	9、9、4
B	15	3、9、10
			C	16	2、9、8
D	17	12、9、11

这些方向按规则旋转偏移排列。对于四个方向的情况来说，它们可以针对在其上设置该图像像素的水平/垂直轴具有0°、45°、90°以及135°。

3、估算每一个系列的二阶导数。该二阶导数可以被估算为第二数值差：(V₃-V₂)-(V₂-V₁)或者V₁-2V₂+V₃，其中，V₁、V₂以及V₃是一系列中的第一、第二以及第三个值。由此，对于上述示例来说，第二导数是：

系列	第二导数
		A	-5
B	-5
		C	-8
D	5

随后，该二阶导数可以与一预定域值相比，作为用于进一步分析的前提，例如，定位该图像中的一边界。这可以以许多方法来进行。首先，每一个第二导数均可以单个地与该域值相比较，或者另选地，该二阶导数可以组合地与该域值相比较：例如，可以将四个所确定的第二导数的平均值与该域值相比较。第二，有关是否存在边界的确定可以取决于相关测量是超出该域值，还是该相关测量低于该域值，或者该相关测量的绝对值高于或低于该域值。这些中的哪一个最合适将取决于针对该像素评估的属性。如果该相关测量高于或低于该域值，那么，是否指示边界可能还取决于该第二导数是否被确定为前向差分或后向差分。在一个优选示例中，每一个第二导数的绝对值与两个相应相邻像素位置处的域值相比较，并且如果第一像素位置的第二导数中的任一个超出该域值，但针对第二像素位置的第二导数都未超出该域值，则确定存在边界，否则确定不存在边界。

一般来说，边界的存在可以通过如下方式来评估：在像素位置处针对多个方向，向所卷积的图像的二阶变化率的强度应用二元测试(binary test)，以便生成一个二元条件，例如，0或1。该二阶变化率可以被计算为该二阶导数或其近似值。便利的是，该二阶变化率的强度借助于把相应像素位置处的针对不同方向的所有二阶变化率视为输入的函数来形成。在一个示例中，其可以用那些二阶变化率中的任一个的最高绝对值来表示。在另一示例中，其可以用所有那些二阶变化率的平方和来表示。该二元测试可以是，评估该强度是超出还是未超出预定阈值。

一旦确定两个相邻像素位置之间存在边界，则该处理可以按许多方式继续进行。在一个示例中，如果确定存在边界，则该算法可以尝试跟随其，以便获知其横跨该图像的路线，如果确定不存在边界，则该算法可以继续进行，考虑沿原始路径4的另一组像素位置，以评估是否存在以该另一组为中心的边界。这些处理可以重复，并且在合适时候选择附加路径4，直到全部特征化了该图像的边界为止。可以扫描附加路径4(其平行于原始路径4)，并且相对于其偏移多个像素。该偏移例如可以处于10个像素与70个像素之间，更优选为20个像素与40个像素之间。

另外，其它输入可以贡献于评估一组像素位置之间是否存在边界。例如，如果上述分析指示存在边界，则边界仍然可以仅被评估成，在满足一个或更多个附加标准的情况下存在。类似的是，如果上述分析指示不存在边界，则边界仍然可以仅被评估成，在满足一个或更多个附加标准的情况下不存在。

在上述示例中，在每一个像素位置处分析四个系列，并且每一个系列均由三个属性值构成。在另选布置中，每一个像素位置均可以包括更多属性值：例如，每一个系列均可以扩展至候选像素任一侧上的两个像素、每系列总计五个像素。可以利用更多或更少系列。例如，仅如上标识的系列A和C，或者处于如上标识的系列A至D那些中间的角度的附加系列。每一个系列均可以由被一直线相交的所有像素的属性构成，该直线穿过针对边界的存在而测试其邻域的像素，并且在该像素位置的任一侧上延伸相等距离。限定该系列的该组线可以按规则角度(例如，90°、45°或22.5°)隔开。

图2示出了一图像的一部分的另一示例。在图2中，每一个像素位置的代表值均在相应像素中示出，并且沿该图的顶部和左侧，根据编号，按像素的网格位置来引用它们。在这个示例中，该预定阈值是6。

起始像素是B3，并且在从B3行进至G3的路径上，初始地扫描这些图像。针对像素B3的第二导数为-4、-1、0以及-1。这些导数中没有一个的最高绝对值超过该域值。因此，该像素位置被视为负的。处理沿初始扫描路径步进至下一个像素，其为C3。针对像素位置C3的第二导数为2、-1、1以及4。这些导数中没有一个的绝对值超过该域值。因此，该像素位置被视为负的。因为B3和C3都被视为负的，所以认为它们之间不存在边界。处理沿初始扫描路径步进至下一个像素，其为D3。针对像素位置D3的第二导数为4、7、8以及7。因为这些导数中的至少一个的绝对值超过该域值，所以该像素位置被视为正的。因为C3和D3之一为正而另一个为负，所以认为它们之间存在边界。该算法随后可以尝试跟随该边界。

如果完全跟踪了一边界(例如，如果已经沿一连续环路跟踪回至第一次检测到其的地方)，则扫描可以沿原始路径重新开始(在这个示例中从B3至G3的路径)。

一旦已经到达该图像的边缘，就可以沿从原始扫描路径起线性偏移的一路径(从B3至G3)扫描其。可以根据所需准确度水平、该图像中的希望细节、可以用于处理该图像的时间亮以及正在运行该算法的装置的处理能力中的任一个或更多个来设置偏移量。该偏移例如可以处于10个像素与70个像素之间，更优选为20个像素与40个像素之间。

在上述处理中使用的每一个像素位置的代表值可以根据希望分析的特征来选择。在一些示例中，该属性可以单独取决于该单个像素的值：例如，其亮度或色调。在其它示例中，像素位置的属性可以通过还取决于相邻像素的值的函数来确定。在后一种情况下，该算法可变，以允许增加或降低远离所讨论的像素的像素的相对影响。可以通过求和针对相邻所讨论的像素的一组像素所计算的中间值来确定该属性。那些相邻值的范围可以改变。该范围例如可以根据所考虑的图像的细节水平、聚焦或范围来选择。每一个中间值均可以通过根据加权算法确定的加权因子来加权。在一个优选示例中，每一个像素的属性均可以借助于Gaussian模糊过滤器来确定，该Gaussian可以通过确定与所讨论像素相邻的像素的密度的加权和来计算，该权重根据集中于所讨论的像素位置的Gaussian过滤器来确定。随着所讨论的像素位置为x＝0，y＝0，Gaussian过滤器向x、y处的像素赋予加权：

其中，σ表示Gaussian标准偏差。该加权可以预先计算，并且存储在查寻表中，以供在要计算一指定像素的属性时使用。针对σ的值范围的加权可以预先计算和存储，并且在要按恰当细节水平分析该图像时在恰当时候应用。为方便起见，可以将该加权进行近似。在评估一特定像素位置的属性时，该加权可以仅便利地应用至以该像素为中心的方块(即，其的边具有相等像素长度)的像素，并由此不应用至该区块外侧的像素。这可以简化该计算。

图3例示了用于实现上述方法的装置。该装置包括外壳80，在外壳80中有摄像机81、显示器82、处理器83、非易失性存储器或ROM 84、以及工作存储器或RAM 85。该装置通过电池86供电。在这个示例中，显示器82是触摸屏，因而，其向处理器83提供用户输入并通过处理器来驱动，但可以设置分离小键盘。ROM 84存储可通过处理器执行的程序代码。该程序代码按非暂时形式存储。该程序代码可通过处理器执行，以执行上述功能。在操作中，处理器可以从摄像机81或者从远程通信收发器87接收图像。在前一情况下，该图像可以是通过摄像机拍摄该装置位置处的环境的图像。在后一情况下，该图像可以从因特网下载。处理器将该图像存储在RAM 85中。该图像可以显示在显示器82上。一旦将该图像存储在RAM中，处理器就可以利用如上所述的算法来分析该图像。接着，根据该分析的结果，该处理可以根据所存储程序代码来执行进一步操作。例如，其可以将该图像改变成加亮所检测的边界。另选的是，可以重新着色一个或更多个所检测的边界内部的区域，例如，响应于用户借助于该触摸屏选择的那些区域。另选的是，用户可以选择那些区域之一，并且处理器可以标识被所检测的边界包围并且具有和选定区域一样的属性(例如，与选定区域的平均色调不同达小于预定域值的色调)的其它区域，并接着类似地重新着色选定区域和标识区域。另选的是，处理器可以使用所检测的边界的位置，来推断与该图像中表示的目标的三维空间关系有关的信息。这可以通过如下方式来进行：比较利用第一有效分析半径(例如，上面讨论的值σ)在该图像上的第一边界检测通过的结果，与利用不同于第一有效分析半径的第二有效分析半径在该图像上的第二边界检测通过的结果。

在上述示例中，该装置可以捕获图像数据，并且本地处理该图像数据。另选的是，其可以捕获图像数据，将该图像数据发送至远程服务器以供分析，并接着从该服务器接收与所检测边界有关的信息。

图3的装置可以是移动电话。

该图像可以是静止图像或者视频流的帧的一部分。

每一个像素均是该图像的子单元。该像素可以是单色或彩色像素。为了显示或图像拍摄，通常将彩色图像划分成单个颜色的通道，这些通道在共同考虑时表示特定位置处的特定亮度或色度。出于执行上述算法的目的，该图像的单一像素可以被视为通过组合的那些通道形成。优选的是，出于执行上述算法的目的，每一个像素完全特征化该像素位置处的图像的可视内容。

本申请人特此孤立地将在此描述的每一个单个特征和两个或更多个这种特征的任何组合公开到这种程度，以致这种特征或组合能够按照本领域技术人员的公知常识，总体上基于本说明书来执行，而不管这种特征或特征的组合是否解决在此公开的任何问题，并且不对权利要求书的范围进行限制。本申请人表示，本发明的方面可以由任何这种单个特征或特征的组合来构成。鉴于前述描述，本领域技术人员应当明白，在本发明的范内，可以进行各种修改。

Claims (12)

1.一种用于评估图像中的边界的存在的方法，该方法包括以下步骤：

针对两个像素位置中的每一个像素位置，针对多个方向在所述像素位置处，估算所述图像的卷积的二阶变化率的强度，并且根据所述强度是否超出预定阈值来确定所述像素位置的二元条件；以及

通过比较两个二元条件来评估边界的存在，

其中，所述二阶变化率的所述强度被估算为针对所述多个方向在所述像素位置处所卷积的图像的二阶导数的最高绝对值。

2.根据权利要求1所述的方法，其中，针对一指定方向的所述二阶导数通过如下方式来估算：观察在所述像素位置和沿所述指定方向并且处于所述像素位置的任一侧的两个其它位置处所卷积的图像的属性。

3.根据权利要求1或2所述的方法，其中，针对四个方向来估算所述二阶导数。

4.根据权利要求1或2所述的方法，其中，所述多个方向被规则地旋转地偏移。

5.根据权利要求1或2所述的方法，其中，所述图像通过像素的阵列来限定，每一个像素均具有一组离散属性。

6.根据权利要求1或2所述的方法，其中，所述两个像素是相邻像素。

7.根据权利要求1或2所述的方法，所述方法包括以下步骤：如果那些像素位置的所述二元条件不同，则评估两个像素位置之间存在边界。

8.根据权利要求1或2所述的方法，所述方法包括以下步骤：如果那些像素位置的所述二元条件相同，则评估两个直接相邻的像素位置之间不存在边界。

9.根据权利要求1或2所述的方法，其中，在一像素位置处所述图像的卷积取决于在与该像素位置相邻的多个像素中表示的、限定所述图像的数据。

10.根据权利要求1或2所述的方法，其中，所述图像的卷积是各向同性Gaussian卷积。

11.一种用于评估图像中的边界的存在的装置，该装置被配置成执行以下步骤：

针对两个像素位置中的每一个像素位置，针对多个方向在所述像素位置处，估算所述图像的卷积的二阶变化率的强度，并且根据所述强度是否超出预定阈值来确定所述像素位置的二元条件；以及

通过比较两个二元条件来评估边界的存在，

其中，所述二阶变化率的所述强度被估算为针对所述多个方向在所述像素位置处所卷积的图像的二阶导数的最高绝对值。

12.根据权利要求11所述的装置，其中，所述装置包括摄像机，并且所述图像从所述摄像机获得。