CN115278109A - 用于合并候选区域的装置和方法 - Google Patents

Abstract

一种用于合并候选区域的装置和方法。公开了用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的装置、非暂时性计算机可读存储介质和方法。第一图像和第二图像具有重叠区域，并且第一候选区域的至少一部分和第二候选区域的至少一部分位于重叠区域中。确定图像重叠大小，该图像重叠大小指示第一图像和第二图像的重叠区域的大小，并且确定候选区域重叠比例，该候选区域重叠比例指示在第一候选区域与第二候选区域之间的重叠的比例。然后基于图像重叠大小来确定合并阈值，并且在候选区域重叠比例大于合并阈值的条件下，合并第一候选区域和第二候选区域，从而形成合并的候选区域。

Description

用于合并候选区域的装置和方法

技术领域

本发明涉及合并候选区域，尤其涉及合并与第一图像中的特征相关的候选区域和与第二图像中的特征相关的第二候选区域。

背景技术

在一些图像处理应用中，图像中的候选区域被识别，其中，候选区域涉及图像中的诸如对象、对象的片段等的特征。例如，这种候选区域可以是与图像中的对象检测相关的候选包围框，其中，候选包围框可以借助于对象检测算法(例如使用神经网络)来获得。在其他示例中，这样的候选区域可以是借助于实例分割算法获得的候选多边形或者像素掩模，或者是从运动检测算法获得的像素掩模。一旦识别了图像中的候选区域，就可以执行合并算法，以便确定是否应当将两个候选区域合并成单个候选区域。这种确定通常基于在两个候选区域之间的重叠的比例的阈值，即候选区域相对于它们的总大小重叠多少。对于超过阈值的重叠的比例，合并候选区域，而对于低于阈值的重叠的比例，不合并候选区域。这种合并算法的目的是：确定要合并两个候选区域应当与两个候选区域实际上与图像中的相同特征相关的情况相对应。这种合并算法是针对已经在单个连续图像中识别了候选区域的情况而开发的。但是，当候选区域应当被合并时，即，当候选区域实际上与图像中的相同特征相关时，存在该算法无法成功识别所有相关情况的情形。这种情形的一个示例是当候选区域已经在由单个图像传感器所捕获的不连续图像中被识别时，其中，不连续图像的两个部分(在识别候选区域时作为两个单独图像处理)具有重叠区域，在这种情形下，该重叠区域是由单个图像传感器的相同区域捕获的区域。这种情形的另一个示例是当候选区域已经在由两个单独图像传感器所捕获的两个单独图像中被识别时，其中，这两个图像包括重叠区域，在这种情况下，该重叠区域是表示由两个单独图像传感器两者所捕获的场景的一部分的区域。

发明内容

本发明的一个目的是促进与两个相应图像相关的两个候选区域的增强识别和合并，其中两个相应图像具有重叠区域。

根据第一方面，提供了一种用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的方法。第一图像和第二图像具有重叠区域，并且第一候选区域的至少一部分和第二候选区域的至少一部分位于重叠区域中。方法包括：确定图像重叠大小，该图像重叠大小指示第一图像和第二图像的重叠区域的大小；确定候选区域重叠比例，该候选区域重叠比例指示第一候选区域与第二候选区域之间的重叠的比例；基于图像重叠大小来确定合并阈值；以及在候选区域重叠比例大于合并阈值的情况下，合并第一候选区域和第二候选区域，从而形成合并的候选区域。

“候选特征”是指对象、对象的一部分、对象的片段、存在运动的部分或图像的任何其他特征，针对这些特征的候选区域已经在先前处理中被识别并被输入到根据第一方面的方法中。

与第一图像和第二图像相关的“图像”是指在识别候选区域时，第一图像和第二图像已经被分开处理。第一图像和第二图像可能已经由第一图像传感器和第二图像传感器中的相应一个所捕获。可替代地，第一图像和第二图像可以分别是使用单个图像传感器所捕获的图像的第一部分和第二部分。在后一种情况下，第一图像和第二图像可以分别是第一部分的变换和第二部分的变换。

与具有重叠区域的第一图像和第二图像相关的“重叠区域”是指存在于经过或者未经过变换的第一图像和第二图像中的一个图像中的、但其也包括在另一个图像中的区域，或者存在于第一图像和第二图像中的一个图像中的、其表示与在另一个图像中的区域相同的场景部分。在前一种情况下，第一图像和第二图像可以例如是场景的广角视图的部分的变换，以便减少特征大小关系的失真。在后一种情况下，第一图像和第二图像可以是分别由第一图像传感器和第二图像传感器所捕获的图像，其中，第一图像传感器和第二图像传感器捕获了场景的各自的、但部分重叠的部分。

与在第一候选区域与第二候选区域之间的重叠的比例相关的“比例”是指与第一候选区域和第二候选区域的大小相关的任何类型的归一化。

发明人已经认识到，对于在第一图像中所识别的第一候选区域和在第二图像中所识别的第二候选区域，其中，第一图像和第二图像具有重叠区域，第一候选区域与第二候选区域之间的重叠在大小上受到重叠区域的大小的限制。对于一部分在第一图像中而一部分在第二图像中的候选特征，在重叠区域中将存在该候选特征的共同部分，即，该共同部分将出现在第一图像和第二图像中。因为与在第一图像中所识别的候选特征相关的第一候选区域和与在第二图像中所识别的候选特征相关的第二候选区域只能在重叠区域中重叠。为了适应这种限制，根据第一方面，合并阈值是基于重叠区域的大小来确定的。

通过基于图像重叠大小来确定合并阈值，降低了不合并第一候选区域和第二候选区域的风险，即使它们与相同的候选特征相关。因此，降低了两个单独图像中的相同候选特征被识别为两个单独候选特征的风险。

合并阈值可以被确定为随着图像重叠大小而增加。例如，合并阈值可以被确定为与图像重叠大小成比例。因此，对于给定的重叠大小，合并阈值将被确定为给定的重叠大小乘以比例常数。

候选区域重叠比例可被确定为第一候选区域和第二候选区域的交集除以第一候选区域和第二候选区域的并集。候选区域重叠比例的这种度量通常被称为交并比(IoU)。

可以在包括第一图像和第二图像的组合图像的坐标中识别第一候选区域和第二候选区域。这可以例如涉及第一图像和第二图像已经分别被第一图像传感器和第二图像传感器所捕获的情况，其中，第一图像传感器和第二图像传感器捕获了场景的各自的、但部分重叠的部分。

第一图像可以是鱼眼图像的第一部分的第一变换视图，并且第二图像可以是鱼眼图像的第二部分的第二变换视图，并且第一候选区域和第二候选区域可以在鱼眼图像的坐标中或在一些其他坐标系的坐标中被识别。这涉及第一图像和第二图像分别是使用单个图像传感器所捕获的图像的第一部分和第二部分的情况，并且其中，第一图像和第二图像分别是第一部分和第二部分的变换。因此，已经分别在第一图像和第二图像中被识别的第一候选区域和第二候选区域已经被变换回来，使得它们在鱼眼图像的坐标中或者在一些其他坐标系的坐标中被识别。

合并的候选区域可以由第一候选区域和第二候选区域的并集组成。设想了替代方案。例如，如果合并的候选区域应当具有特定形状，则合并的候选区域可以是包括第一候选区域和第二候选区域的特定形状的区域。例如，合并的候选区域可以是包括第一候选区域和第二候选区域的特定形状的最小区域。

第一候选区域和第二候选区域可以是包围框、像素掩模和多边形区域中之一。合并的候选区域可以是相同的类型。例如，如果第一候选区域和第二候选区域是包围框，则合并的候选区域也可以是包围框。

根据第二方面，提供了一种其上存储有指令的非暂时性计算机可读存储介质，该指令当由具有处理能力的装置执行时，用于实现根据第一方面的方法。

当适用时，根据第一方面的方法的上述可选附加特征也适用于该第二方面。为了避免不必要的重复，请参照上文。

根据第三方面，提供了一种用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的装置。第一图像和第二图像具有重叠区域，并且第一候选区域的至少一部分和第二候选区域的至少一部分位于重叠区域中。该装置包括被配置成执行以下功能的电路：图像重叠大小确定功能，被配置成确定图像重叠大小，该图像重叠大小指示第一图像和第二图像的重叠区域的大小；候选区域重叠比例确定功能，被配置成确定候选区域重叠比例，该候选区域重叠比例指示在第一候选区域与第二候选区域之间的重叠；合并阈值确定功能，被配置成基于图像重叠大小来确定合并阈值；以及合并功能，被配置成在候选区域重叠比例大于合并阈值的情况下，合并第一候选区域和第二候选区域，从而形成合并的候选区域。

当适用时，根据第一方面的方法的上述可选附加特征也适用于该第三方面。为了避免不必要的重复，请参照上文。

从下文给出的详细描述中，本发明的进一步应用范围将变得显而易见。但是应当理解的是，详细描述和具体示例虽然指示了本发明的优选实施例，但仅仅以说明的方式给出，因为从该详细描述中，本发明范围内的各种变化和修改对于本领域技术人员而言将显而易见。

因此，应当理解的是，本发明不限于所描述的装置的特定组成部分或者所描述的方法的动作，因为这种装置和方法可以变化。还应当理解的是，本文所使用的术语仅仅是为了描述特定的实施例，而非旨在限制。必须注意的是，如在说明书和所附权利要求中所使用的，冠词“一”、“该”和“所述”旨在表示存在一个或者多个元件，除非上下文另有明确指示。因此，例如，对“一单元”或者“该单元”的引用可以包括几个装置等。此外，词语“包括”、“包含”和类似措辞不排除其他元件或者步骤。

附图说明

现在将参照附图更详细地描述本发明的上述和其他方面。附图不应被认为是限制性的，而是用于解释和理解。

图1a示出了使用鱼眼镜头和单个图像传感器所捕获的全景图像。

图1b示出了图1a的图像的所谓四视图，该四视图包括图1a的图像的四个部分中相应之一的四个变换视图。

图1c示出了具有重叠的两个图像的示意图。

图2a示出了第一图像和第二图像以及分别与第一图像和第二图像中的候选特征相关的第一候选区域和第二候选区域的图示。

图2b示出了第一图像和第二图像以及分别与第一图像和第二图像中的候选特征相关的第一候选区域和第二候选区域的进一步图示。

图3示出了与本公开的方法的实施例相关的流程图，该方法用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域。

图4示出了与本公开的装置的实施例相关的示意图，该装置用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域。

具体实施方式

本发明现在将参照附图在下文中描述，在附图中图示了本发明的当前优选实施例。但是，本发明可以以多种不同的形式实施，并且不应当被解释为限于本文阐述的实施例。

在下文中，当提到候选特征时，这种候选特征可以涉及在先前处理(诸如对象检测、实例分割、全景分割或者用于找到图像中存在运动的位置的、基于运动的任务)中已经相对其识别了候选区域的对象、对象的一部分、对象的一段、其中存在运动的部分或图像的任何其他特征。

此外，在下文中，当提到图像时，这种图像可能已经由图像传感器中的相应一个所捕获，或者可能涉及使用单个图像传感器所捕获的单个图像的部分。在后一种情况下，图像可以是单个图像的部分的变换。

此外，在下文中，当提到涉及两个图像的重叠区域或者重叠时，这种重叠区域或者重叠是：经过或未经过变换的两个图像中的一个图像中的、但其也包括在两个图像中的另一个图像中的区域；或者是两个图像中的一个图像中的、其表示与在两个图像中的另一个图像中的区域相同的场景部分的区域。在前一种情况下，两个图像可以例如是场景的广角视图的部分的变换，以便减少特征大小关系的失真。在后一种情况下，第一图像和第二图像可以是分别由第一图像传感器和第二图像传感器所捕获的图像，其中，第一图像传感器和第二图像传感器捕获了场景的各自的、但部分重叠的部分。

当已经相对于第一图像和第二图像分别执行了用于识别分别与第一图像中的候选特征和第二图像中的候选特征相关的候选区域的处理时，本发明是适用的。例如，该处理可以涉及对象检测，其中，与每个候选区域相关的候选特征是对象。这种对象检测可以使用诸如You Only Look Once(YOLO)架构的一阶神经网络、单发多盒检测器(SSD)/SSD-Lite、诸如CenterNet或全卷积一阶对象检测(FCOS) 的无锚架构，以及诸如检测变换器(DETR)的基于变换器的网络。对象检测可以进一步涉及诸如基于区域的卷积神经网络(R-CNN)、更快的R-CNN等的两阶/ 多阶检测器。对象检测可以进一步基于梯度方向直方图(HOG)。对于对象检测输出，候选区域可以是方框或者其他类型的多边形。该处理可以进一步涉及分割，诸如实例分割(例如，掩模R-CNN)和全景分割，其中与每个候选区域相关的候选特征是片段。对于分割输出，候选区域可以是多边形或者像素掩模。该处理可以进一步涉及基于运动的任务，其中，该任务是找到图像中存在运动的位置，其中与每个候选区域相关的候选特征是存在运动的部分。来自基于运动的任务的输出候选区域可以是多边形或者像素掩模。

当已经执行了上述或者其他处理时，部分地位于重叠区域中的候选特征将通常产生在第一图像和第二图像两者中的候选区域。但是，由于在不同图像中的候选区域之间的重叠受到重叠大小的限制，因此使用与合并相同的图像中的候选区域时相同的合并阈值将在某些情况下导致不合并候选框，即使候选区域确实与相同的候选特征相关。

本发明然后涉及确定何时合并候选区域。为此，通常应用非最大抑制 (Non-Maximum Suppression，NMS)。例如，大多数对象检测方法会在特征图上应用滑动窗口，并且根据在该窗口中所计算的候选特征来分配前景/背景置信度值(分数)。在诸如单次多盒检测器、更快的RCNN检测器的一些深度学习检测器中，会在不同分辨率的特征层中使用预定义的锚定框。邻域窗口(锚定框)在某种程度上具有相似的置信度值，并且被认为是候选区域。这导致针对相同的候选对象(候选特征)的许多候选区域。NMS被用于基于交并比(IoU)来过滤提议，IoU可被定义为两个候选区域的交集除以两个候选区域的并集。

通过计算每个候选区域与所有其他候选区域的IoU，将每个候选区域与所有其他候选区域进行比较。如果IoU大于合并阈值N，则候选区域被合并。一种典型的合并方法是选择具有最高置信度值的提议。

在下文中，将参照图1a描述第一种情形，图1a示出了使用鱼眼镜头捕获的全景图像110，图1b示出了图1a的图像的所谓四视图，该四视图包括图1a的图像110a的四个部分中相应之一的四个变换视图(图像)112、114、116、118，并且图1c示意性示出了具有重叠区域140的两个图像120、130。

从图1a可以看出，使用鱼眼镜头将提供广角视图110，但是该视图将会失真，使得图像中特征的相对大小将取决于其在视图中的位置。当处理如在图1a中所公开的图像110以便识别与图像中的候选特征相关的候选区域时，一些特征由于失真可能变得相对较小，并且图像的处理可能会导致与这些相对较小的特征相关的误差。因此，代替如在图1a中所示出的对图像110的处理，图像可以被划分成多个部分，诸如四个部分。此外，为了减少失真，每个部分可以被变换成可以被指定为不连续图像的一部分或者单独图像(诸如在图1b的四视图中的第一图像至第四图像(部分)112、114、116、118)，使得特征的相对大小更少地取决于其在图像112、114、116、118中之一中的位置。单独地对图像112、114、116、118 进行处理将提供与在图像112、114、116、118中的各个图像中的候选特征相关的候选区域。此外，在图1a中的图像110被划分成多个部分，并且这些部分被变换成单独图像，使得减少了失真，并且使得图像112、114、116、118中的每个图像将包括也包括在图像112、114、116、118中的其他图像中的区域。如上所述，包括在图像112、114、116、118中的两个图像中的区域被称为这两个图像的重叠区域。在图1c示出了具有重叠区域140的第一图像120和第二图像130的示意图。图1c的第一图像120和第二图像130可以与在图1b中的图像对(诸如第一图像112和第二图像114、第一图像112和第三图像116、第二图像114和第四图像118，以及第三图像116和第四图像118)相对应。应当注意的是，图1c仅提供了采取对象形式的特征150如何可以具有仅位于第一图像120中的第一部分、仅位于第二图像130中的第二部分和位于重叠区域140中的第三部分(这意味着它位于第一图像120和第二图像130中)的示意图。例如，在图1c中的第一图像120与第二图像130之间的重叠区域140是矩形的。在实际情况下，图1b的四视图中的四个图像112、114、116、118中的两个图像的重叠区域通常不是矩形的。但是，可以基于如何从图1a的图像110创建图1b的四视图中的四个图像112、114、116、 118的知识(诸如，用于图1b的四视图中的四个图像112、114、116、118中的每个图像的、图1a的图像110的各个部分，以及所使用的变换等)来确定图1b的四视图中的四个图像112、114、116、118的图像的各个重叠区域。

为了保证进行用于识别候选区域的适当的处理，原始图像到多个部分的划分以及这些部分到单独图像的变换应当优选地被配置成使得不存在原始图像的未被在任何一个单独图像中示出的区域。对于在图1a中的原始图像110和在图1b中的单独图像112、114、116、118，情况并非如此。

应当注意的是，图1b的四视图也可以被创建并用于其他原因，诸如为了在观看场景的一个或多个图像或视频时提供场景的更好概览。

下文将结合图1c描述第二种情形，图1c示出了具有重叠的两个图像的示意图。作为使用诸如鱼眼镜头的广角镜头的替代方案，可以通过使用两个图像传感器来产生覆盖广角的全景图像。在第二种情形中，第一图像120将是由第一图像传感器所捕获的图像，并且第二图像130将是由第二图像传感器所捕获的图像。重叠区域140将是由第一图像传感器和第二图像传感器两者所捕获的区域。与第一种情形相反，重叠区域将因此不涉及在由同一图像传感器所捕获的第一图像和第二图像两者中的区域，并且因此不包括相同的图像数据。相反，它将包括来自第一图像传感器和第二图像传感器中的相应图像传感器的、表示由第一图像传感器和第二图像传感器所捕获的场景中的相同部分的图像数据。在该第二情形中，第一图像120和第二图像130将来可以被拼接在一起以形成单个组合图像，该单个组合图像示出了由第一图像传感器和第二图像传感器所捕获的场景的表示。但是，同样在该第二情形中，例如当使用上述处理类型之一进行用于识别候选区域的处理时，单独地处理第一图像120和第二图像130可能是有利的。例如，第一图像传感器和第二图像传感器可以位于同一位置或者采用其他方式与两个处理单元中的相应一个相关，并且因此，第一图像120和第二图像130的处理可以是并行执行的，以在更短的时间内从处理中提供结果候选区域。此外，通过单独地处理第一图像120和第二图像130，将导致处理两个更小的图像，这将例如通过能够检测更小的对象而能够识别更小的候选区域。还可以存在硬件限制，以防止将第一图像120和第二图像130的组合处理为组合图像。

在不同的情形和不同的具体实施方式中，在两个图像之间的重叠区域可以具有不同的大小，如图在2a和图2b中所反映的。图2a示出了具有重叠区域240a 的第一图像220a和第二图像230a的图示。此外，在图2a中，相对于第一图像220a 和第二图像230a中的采用对象形式的候选特征250a，分别以虚线示出了采用包围框形式的第一候选区域260a以及以点线示出了采用包围框形式的第二候选区域 270a。图2b示出了具有重叠区域240b的第一图像220b和第二图像230b的进一步图示。此外，在图2b中，相对于第一图像220b和第二图像230b中的采用对象形式的候选特征250b，分别以虚线示出了包围框形式的第一候选区域260b以及以点线示出了包围框形式的第二候选区域270b。从图2a和图2b的图示中可以看出，图2a中的第一图像220a和第二图像230a的重叠区域240a小于图2b中的第一图像220b和第二图像230b的重叠区域240b。此外，在一个图像中的候选区域与另一个图像中的候选区域之间的交集的大小受重叠区域的大小限制，对于其至少一部分位于重叠区域中的特征，在候选区域之间的交集的大小将取决于重叠区域的大小。从图2a和图2b的图示中可以看出，由于在图2a中的重叠区域240a小于在图2b中的重叠区域，因此在图2a的第一图像220a中的候选区域260a与第二图像 230a中的候选区域270a之间的交集小于在图2b的第一图像220b中的候选区域 260b与第二图像230b中的候选区域270b之间的交集。另一方面，在一个图像中的候选区域与另一个图像中的候选区域之间的并集的大小通常不会受到重叠区域的大小的显著影响，而是，在图像中的候选区域实际上与至少一部分位于重叠区域中的相同特征相关的情况下，并集的大小取决于与它们相关的特征的大小。

图2a和图2b分别公开了采取矩形包围框形式的两个候选区域，每个候选区域都具有在重叠区域中的一部分。本公开的候选区域的合并在加以必要的修正后可应用于其他类型和形状的候选区域，诸如上述像素掩模和多边形的形状。此外，在图2a和图2b中的两个候选区域涉及采用对象形式的特征。但是，本公开的候选区域的合并在加以必要的修正后可应用于与其他类型的特征相关的并且是其他类型的处理结果的候选区域，诸如从上述不同类型的分割中得到的片段以及其中存在由上述基于运动的任务得到的运动的部分。

现在将参照示出了流程图300的图3并参照图1a、图1b、图1c、图2a和图 2b来描述方法300的实施例，方法300用于合并与第一图像220、220a、220b中的候选特征250、250a、250b相关的第一候选区域260a、260b和与第二图像230、 230a、230b中的候选特征250、250a、250b相关的第二候选区域270a、270b。第一图像220、220a、220b和第二图像230、230a、230b具有重叠区域240、240a、 240b，并且第一候选区域260a、260b的至少一部分和第二候选区域270a、270b 的至少一部分位于重叠区域240a、240b中。

第一图像220、220a、220b和第二图像230、230a、230b可以涉及导致它们具有重叠区域240、240a、240b的任何情形。

例如，第一图像220、220a、220b可以是鱼眼图像110(即，借助于鱼眼镜头捕获的全景图像110)的第一部分的第一变换视图，并且第二图像230、230a、230b 可以是鱼眼图像110的第二部分的第二变换视图，如相对于图1a和图1b所述。在该示例中，第一候选区域260a、260b和第二候选区域270a、270b可以在图像110的坐标中被识别。例如，如果基于先前处理(用于识别在图1b中的四视图中的第一变换视图(图像)112和第二变换视图(图像)114中的候选特征)已经识别候选区域，则候选区域可以首先借助于用于将图像110的对应部分变换为第一变换视图(图像)112和第二变换视图(图像)114的变换的逆变换被变换为图1a的图像110的坐标。因此，即使第一候选区域260a、260b与在第一图像220、220a、 220b中的候选特征250、250a、250b相关，并且第二候选区域270a、270b与在第二图像230、230a、230b中的候选特征250、250a、250b相关，这也不一定意味着第一候选区域260a、260b和第二候选区域270a、270b分别在第一图像220、220a、 220b和第二图像230，230a、230b的坐标中被识别。应当注意的是，图2a和图2b 中的第一候选区域260a、260b和第二候选区域270a、270b是矩形包围框。但是，在图1a和图1b所涉及的情形中，该包围框将涉及在四个变换视图(图像)112、 114、116、118中所识别的矩形包围框到图像110的坐标的变换。

作为另一示例，如参照图1c所公开的，第一图像220、220a、220b可以是由第一图像传感器所捕获的图像，并且第二图像230、230a、230b可以是由第二图像传感器是捕获的图像。在该示例中，第一候选区域260a、260b和第二候选区域 270a、270b可以在包括第一图像220、220a、220b和第二图像230、230a、230b 的组合图像的坐标中被识别。

第一候选区域260a、260b和第二候选区域270a、270b可以是从用于分别识别第一图像220、220a、220b和第二图像270a、270b中的候选特征的先前处理(诸如上文所述类型的处理)中所产生的任何候选区域。取决于情形，第一候选区域 260a、260b和第二候选区域270a、270b可以是分别在第一图像220、220a、220b 和第二图像230、230a、230b中所识别的候选区域的变换。

此外，第一候选区域260a、260b和第二候选区域270a、270b可以是从用于识别第一图像220、220a、220b和第二图像270a、270b中的候选特征的先前处理中直接得到的、根据情形进行了或未进行变换的候选区域。可替代地，第一候选区域260a、260b和第二候选区域270a、270b可以是首先基于候选区域合并算法(诸如上述NMS算法)分别合并各个图像中的候选区域而得到的候选区域。因此，例如，第一候选区域260a、260b可以与在第一图像220、220a、220b中所识别的两个或更多个候选区域相关，该候选区域是借助于仅对在第一图像220、220a、220b 中的候选区域应用的合并算法来合并的，即不考虑在第二图像230、230a、230b 中所识别的任何候选区域。

第一候选区域260a、260b和第二候选区域270a、270b可以是上述包围框、像素掩模或多边形区域。第一候选区域260a、260b和第二候选区域270a、270b 的形状取决于用于识别它们的处理类型(诸如上述处理类型)。此外，当第一图像220、220a、220b和第二图像230、230a、230b是单个图像110的变换部分时，第一候选区域260a、260b和第二候选区域270a、270b的形状也可以取决于对分别在第一图像220、220a、220b和第二图像230、230a、230b中所识别的对应候选区域所执行的变换。

在方法300中，确定S310图像重叠大小，该图像重叠大小指示第一图像220、 220a、220b和第二图像230、230a、230b的重叠区域240、240a、240b的大小。确定大小的方式通常取决于重叠区域的形状。例如，对于如在图1c、图2a和图2b 中所公开的、矩形的且具有均匀的宽度的重叠区域240、240a、240b，图像重叠大小可以被设置为重叠的宽度。

此外，确定S320候选区域重叠比例，该候选区域重叠比例指示在第一候选区域260a、260b与第二候选区域270a、270b之间的重叠的比例。可以使用与第一候选区域260a、260b和第二候选区域270a、270b的大小相关的任何类型的归一化，并且通常与第一候选区域260a、260b和第二候选区域270a、270b的并集的大小相关。例如，候选区域重叠比例可以被确定为第一候选区域260a、260b和第二候选区域270a、270b的交集除以第一候选区域260a、260b和第二候选区域270a、270b 的并集。

然后，基于图像重叠大小来确定S330合并阈值。合并阈值可以被确定为随着图像重叠大小而增加。例如，合并阈值可以被确定为与图像重叠大小成比例。因此，对于给定的重叠大小，合并阈值将被确定为给定的重叠大小乘以比例常数。

在候选区域重叠比例大于合并阈值的条件C335下，合并S340第一候选区域 260a、260b和第二候选区域270a、270b以形成合并的候选区域。合并的候选区域可以由第一候选区域260a、260b和第二候选区域270a、270b的并集组成。

通过基于图像重叠大小来确定合并阈值，降低了不合并第一候选区域和第二候选区域的风险，即使当它们与相同的特征相关时。因此，单独图像中的相同特征被识别为两个单独特征的风险被降低。

方法300可以适合于更好地适应特征的不同形状和方向，从而识别候选区域的不同形状和方向。例如，如果一个特征被拉长，则该特征的不同定向将导致该特征的不同比例，并且因此，不同比例的所识别的候选区域通常将处于重叠区域中。例如，相对于图2a和图2b，如果特征250、250a、250c已经是水平的而不是垂直的，那么该特征的较小部分就会在重叠区域240、240a、240b中。因此，为了考虑这一点，可以确定重叠区域240、240a、240b与第一候选区域260a、 260b和第二候选区域270a、270b的并集的交集大小。通过将合并阈值建立在重叠区域240、240a、240b与第一候选区域260a、260b和第二候选区域270a、270b 的并集的交集大小的基础上，可以基于图像重叠大小来确定合并阈值。例如，合并阈值可以被确定为与重叠区域240、240a、240b与第一候选区域260a、260b和第二候选区域270a、270b的并集的交集的大小成比例。因此，对于给定的重叠区域240、240a、240b与第一候选区域260a、260b和第二候选区域270a、270b的并集的交集大小，合并阈值将被确定为给定的重叠区域240、240a、240b与第一候选区域260a、260b和第二候选区域270a、270b的并集的交集的大小乘以比例常数。当重叠区域不具有均匀的宽度时，这种适应性也是适用的。

尽管已经相对于两个图像描述了方法300的实施例，但是该方法的实施例也适用于存在三个或者更多个图像的情况。在这种情况下，方法300的实施例可以在一个步骤中针对所有图像应用，或者递归地应用于三个或者更多个图像，即首先针对具有重叠的前两个图像应用，然后针对来自前两个图像的结果和三个或者更多个图像中与前两个图像中的任一个具有重叠的另一个图像，等等。

图4示出了与本公开的装置400的实施例相关的示意图，该装置用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域，其中，第一图像和第二图像具有重叠区域，并且其中，第一候选区域的至少一部分和第二候选区域的至少一部分位于重叠区域中。装置400例如可以是摄像机。装置400包括电路410。电路410被配置成执行装置400的功能432、 434、436、438。电路410可以包括诸如中央处理单元(CPU)、微控制器或微处理器的处理器412。处理器412被配置成执行程序代码。程序代码例如可以被配置成执行装置400的功能432、434、436、438。

装置400可以进一步包括存储器430。存储器430可以是缓冲器、闪存、硬盘驱动器、可移除介质、易失性存储器、非易失性存储器、随机存取存储器(RAM) 或其他合适的装置中的一个或者多个。在典型的布置中，存储器430可以包括用于长期数据存储的非易失性存储器和用作电路410的系统存储器的易失性存储器。存储器430可以通过数据总线与电路410交换数据。在存储器430与电路410之间还可以存在伴随的控制线和地址总线。

装置400的功能432、434、436、438可以采取可执行逻辑例程(例如代码行、软件程序等)的形式实现，该可执行逻辑例程存储在装置400的非暂时性计算机可读介质(存储器)430上，并由电路410(例如使用电路410中的处理器412) 执行。此外，装置400的功能432、434、436、438可以是独立的软件应用或者形成软件应用的一部分。所描述的功能可以被认为是处理单元(例如电路410的处理器412)被配置以执行的方法。此外，虽然所描述的功能432、434、436、438 可以在软件中实现，但是这种功能也可以经由专用硬件或固件，或者硬件、固件和/或软件的一些组合来实现。

电路410被配置成执行图像重叠大小确定功能432，图像重叠大小确定功能 432被配置成确定图像重叠大小，该图像重叠大小指示第一图像和第二图像的重叠区域的大小。

电路410被进一步配置成执行候选区域重叠比例确定功能434，候选区域重叠比例确定功能434被配置成确定候选区域重叠比例，该候选区域重叠比例指示在第一候选区域与第二候选区域之间的重叠。

电路410被进一步配置成执行合并阈值确定功能436，合并阈值确定功能436 被配置成基于图像重叠大小来确定合并阈值。

电路410被进一步配置成执行合并功能438，合并功能438被配置成在候选区域重叠比例大于合并阈值的情况下，合并第一候选区域和第二候选区域，从而形成合并的候选区域。

装置400和由电路410执行的功能432、434、436、438可以进一步分别适合于方法300以及参照图3描述的方法300的相应步骤。

本领域技术人员将认识到的是，本发明不限于上述实施例。相反，在所附权利要求的范围内，多种修改和变型是可能的。通过对附图、公开内容和所附权利要求书的研究，实践所要求保护的发明的本领域技术人员可以理解和实现这些修改和变型。

Claims (15)

1.一种用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的方法，其中，所述第一图像和所述第二图像具有重叠区域，并且其中，所述第一候选区域的至少一部分和所述第二候选区域的至少一部分位于所述重叠区域中，所述方法包括：

确定图像重叠大小，所述图像重叠大小指示所述第一图像和所述第二图像的所述重叠区域的大小；

确定候选区域重叠比例，所述候选区域重叠比例指示在所述第一候选区域与所述第二候选区域之间的重叠的比例；

基于所述图像重叠大小来确定合并阈值；以及

在所述候选区域重叠比例大于所述合并阈值的情况下，合并所述第一候选区域和所述第二候选区域，从而形成合并的候选区域。

2.根据权利要求1所述的方法，其中，所述合并阈值被确定为与所述图像重叠大小成比例。

3.根据权利要求1所述的方法，其中，所述候选区域重叠比例被确定为所述第一候选区域和所述第二候选区域的交集除以所述第一候选区域和所述第二候选区域的并集。

4.根据权利要求1所述的方法，其中，在包括所述第一图像和所述第二图像的组合图像的坐标中识别所述第一候选区域和所述第二候选区域。

5.根据权利要求1所述的方法，其中，所述第一图像是鱼眼图像的第一部分的第一变换视图，并且所述第二图像是所述鱼眼图像的第二部分的第二变换视图，并且其中，所述第一候选区域和所述第二候选区域在所述鱼眼图像的坐标中被识别。

6.根据权利要求1所述的方法，其中，所述合并的候选区域由所述第一候选区域和所述第二候选区域的并集组成。

7.根据权利要求1所述的方法，其中，所述第一候选区域和所述第二候选区域是包围框、像素掩模和多边形区域之一。

8.一种其上存储有指令的非暂时性计算机可读存储介质，所述指令当在具有处理能力的装置上执行时，用于实现根据权利要求1至7中任一项所述的方法。

9.一种用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的装置，其中，所述第一图像和所述第二图像具有重叠区域，并且其中，所述第一候选区域的至少一部分和所述第二候选区域的至少一部分位于所述重叠区域中，所述装置包括：

电路，被配置成执行：

图像重叠大小确定功能，被配置成确定图像重叠大小，所述图像重叠大小指示所述第一图像和所述第二图像的所述重叠区域的大小；

候选区域重叠比例确定功能，被配置成确定候选区域重叠比例，所述候选区域重叠比例指示在所述第一候选区域与所述第二候选区域之间的重叠；

合并阈值确定功能，被配置成基于所述图像重叠大小来确定合并阈值；以及

合并功能，被配置成在所述候选区域重叠比例大于所述合并阈值的情况下，合并所述第一候选区域和所述第二候选区域，从而形成合并的候选区域。

10.根据权利要求9所述的装置，其中，所述合并阈值确定功能被配置成确定与所述图像重叠大小成比例的合并阈值。

11.根据权利要求9所述的装置，其中，所述候选区域重叠比例确定功能被配置成，将所述候选区域重叠比例确定为所述第一候选区域和所述第二候选区域的交集除以所述第一候选区域和所述第二候选区域的并集。

12.根据权利要求9所述的装置，其中，所述第一候选区域和所述第二候选区域在包括所述第一图像和所述第二图像的组合图像的坐标中被识别。

13.根据权利要求9所述的装置，其中，所述第一图像是鱼眼图像的第一部分的第一变换视图，并且所述第二图像是所述鱼眼图像的第二部分的第二变换视图，并且其中，所述第一候选区域和所述第二候选区域在所述鱼眼图像的坐标中被识别。

14.根据权利要求9所述的装置，其中，所述合并的候选区域由所述第一候选区域和所述第二候选区域的并集组成。

15.根据权利要求9的装置，其中，所述第一候选区域和所述第二候选区域是包围框、像素掩模和多边形区域中之一。

Images