CN115830304A

CN115830304A - 物体检测系统

Info

Publication number: CN115830304A
Application number: CN202210059579.3A
Authority: CN
Inventors: 陈品融; 郭达人; 陈奕玮
Original assignee: Himax Technologies Ltd
Current assignee: Himax Technologies Ltd
Priority date: 2021-09-17
Filing date: 2022-01-19
Publication date: 2023-03-21
Also published as: US11900643B2; TWI804083B; TW202314587A; US20230091892A1

Abstract

一种物体检测系统，用以检测一物体，包含：一局部影像获取装置，用以从一输入影像获取至少二检测部分，其中该些检测部分具有一第一长宽比，该输入影像具有一第二长宽比；以及一物体检测器，用以接收具有该第一长宽比的该些检测部分，并用以确认该些检测部分中的每一个是否检测到任何物体，并用以取得被检测到的该物体的多个对应的边界框；其中该第一长宽比与该第二长宽比不同。

Description

物体检测系统

技术领域

本发明有关于物体检测系统，特别有关于可较精确检测目标物体如人体、动物或是交通工具的物体检测系统。

背景技术

近年来，人体检测技术变得越来越流行。例如，安防相机可以使用人体检测来检测是否有人靠近，从而相对应的产生通知信息。再例如，相机可以使用人体检测来帮助对焦，以增加图片的清晰度。

然而，当人体影像在相机获取的整个影像中相对较小时，很难检测到人的存在。现有技术可以放大可能为人体影像的影像以确认它是否真的是人体影像。然而，这种技术可能需要一个相当大的缓冲器来进行影像计算。

此外，在现有的人体检测方法中，输入影像和用于人体检测的影像可能具有不同的尺寸和不同的长宽比。因此，现有的人体检测方法可以缩放整个输入影像以满足用于人体检测的影像的尺寸和长宽比的需求。然而，由于输入影像和用于人体检测的影像的长宽比之间的差异，缩放后的输入影像可能会有一些空白区域。

例如，如图1所示，输入影像100为640×480影像，缩放后输入影像103(即用以进行人体检测的影像)的长度为224。因此，缩放后输入影像103的宽度为

如此，缩放后输入影像103具有总宽度为224-168＝56个像素的空白区域BR。在这种情况下，缩放后输入影像103中的人体影像101的尺寸变小，因而更难被检测到。因此，人体检测的准确度会降低。

发明内容

本发明一目的为提供一种物体检测系统，其可以不增加缓冲器的可使用空间而增加人体检测的准确度。

本发明一实施例公开了一种物体检测系统，用以检测一物体，包含：一局部影像获取装置，用以从一输入影像获取至少二检测部分，其中该些检测部分具有一第一长宽比，该输入影像具有一第二长宽比；以及一物体检测器，用以接收具有该第一长宽比的该些检测部分，并用以确认该些检测部分中的每一个是否检测到任何物体，并用以取得被检测到的该物体的多个对应的边界框；其中该第一长宽比与该第二长宽比不同。

根据前述实施例，可在不增加缓冲器的可用空间的情况下，可让人体检测更加精确。

附图说明

图1示出了现有人体检测方法的示意图。

图2示出了根据本发明一实施例的物体检测方法的示意图。

图3示出了对应图2所示的物体检测方法的流程图。

图4示出了以物体范围来协助定义ROI的例子的示意图。

图5和图6示出了根据本发明另一实施例的物体检测方法的示意图。

图7示出了对应图5和图6所示的物体检测方法的流程图。

图8示出了根据本发明另一实施例的物体检测方法的示意图。

图9示出了对应图8所示的物体检测方法的流程图。

图10示出了根据本发明一实施例的物体检测系统的方框图。

附图标记说明：

100 输入影像

101 人体影像

103 缩放后输入影像

200 输入影像

201 目标物体影像

301-315 701-705 901-907步骤

800 输入影像

801 目标物体影像

1000 物体检测系统

1001 图框缓冲器

1003 局部影像获取装置

1005 尺寸调整器

1007 缓冲器

1009 物体检测器

1011 筛选器

BR 空白区域

DP1 第一检测部分

DP2 第二检测部分

FR1、FR2 筛选区

NT 物体

OR 物体范围

RDP1 第一调整后检测部分

RDP2 第二调整后检测部分

ROI、ROI’ 重点区域

OR1 第一物体范围

OR2 第二物体范围

ORa、Orb 物体范围

R1、R2、R3 区域

X1,X2,X3,X4 水平坐标

T 目标物体

具体实施方式

以下将以多个实施例来描述本发明的内容，还请留意，各实施例中的元件可通过硬件(例如装置或电路)或是固件(例如微处理器中写入至少一程序)来实施。此外，以下描述中的“第一”、“第二”以及类似描述仅用来定义不同的元件、参数、数据、信号或步骤。并非用以限定其次序。举例来说，第一装置和第二装置可为具有相同结构但为不同的装置。

此外，在以下实施例中，待检测的目标物体为人(或称人体)，但目标物体可以是任何其他物体，例如特定的动物或交通工具。此外，以下实施例可以使用在例如相机的影像获取装置，但也可以是任何其他装置。

图2示出了根据本发明一实施例的物体检测方法的示意图。这种方法也可以称为2次裁切(2crop)方法。如图2所示，接收具有第一长宽比的输入影像200，其包含对应一目标物体的目标物体影像201。输入影像200可以是相机拍摄的影像，也可以来自任何其他来源。之后，输入影像200的第一检测部分DP1被调整尺寸以产生一第一调整后检测部分RDP1。第一检测部分DP1包含目标物体影像201的至少第一部分。之后，第一调整后检测部分RDP1会被暂存到缓冲器。此外，目标物体影像201的第一部分的第一坐标是根据缓冲器中的第一调整后检测部分RDP1和目标物体检测来计算的。许多方法可用以计算目标物体影像201的第一部分的第一坐标。例如，可将包含特定边缘或特定特征的影像视为目标物体影像201，从而可以记录其坐标。

此外，在计算并记录第一坐标之后，会从缓冲器中移除第一调整后检测部分DP1。输入影像200的第二检测部分DP2被调整尺寸以产生第二调整后检测部分RDP2。第二检测部分DP2至少包含目标物体影像201的第二部分。请注意，第二调整后检测部分RDP2的产生不限于在计算第一坐标之后执行。第一部分的至少一部分与第二部分相同，如图2所示。

在第一调整后检测部分RDP1从缓冲器中移除之后，第二调整后检测部分RDP2会被暂存到缓冲器中。然后，根据缓冲器中的第二调整后检测部分RDP2计算目标物体影像201的第二部分的第二坐标。在得到第一坐标和第二坐标后，会根据第一坐标和第二坐标计算目标物体影像201的物体范围。第一/第二检测部分DP1/DP2和第一/第二调整后检测部分RDP1/RDP2具有第二长宽比，与目标物体检测所须的影像相匹配。通过这样的方法，可以防止过度缩小目标物体。在另一类输入影像的实施例中，检测部分DP1和DP2不限于均包含目标物体影像201的至少一部分。

在一实施例中，第一检测部分DPl和第二检测部分DP2是第一正方形。此外，第一调整后检测部分RDP1和第二调整后检测部分RDP2是小于第一正方形的第二正方形。此外，在一实施例中，第一调整后检测部分RDP1和第二调整后检测部分RDP2的宽度和长度分别小于第一检测部分DP1和第二检测部分DP2的宽度和长度一半。

例如，在一实施例中，输入影像200是640×480影像。此外，第一检测部分DP1和第二检测部分DP2是480×480影像。此外，第一调整后检测部分份RDP1和第二调整后检测部分RDP2是224×224影像。然而，第一检测部分DP1、第二检测部分DP2、第一调整后检测部分RDP1和第二调整后检测部分RDP2的尺寸不限于这些例子。

在上述例子中，输入影像200的长宽比(640/480)与检测部分DP1和DP2中的长宽比(480/480)不同。此外，检测部分DP1和DP2的长宽比(480/480)与调整后检测部分RDP1和RDP2(224/224)的长宽比相同。

此外，上述基于第一坐标和第二坐标计算的物体范围可以是图2所示的边界框，但不限于此。物体范围可以是任何形状。这类边界框包含目标物体影像201的一部分，但也可以包含输入影像200的其他部分。可用以记录物体范围的坐标。或者，在一实施例中，可显示由物体范围标记的影像。

还请留意，在图2的实施例中，检测部分DP1和DP2被调整尺寸以产生调整后检测部分RDP1和RDP2，用以匹配物体检测的输入要求。然而，在一实施例中，如果检测部分DP1和DP2的尺寸与物体检测的输入要求已相匹配，则检测部分DP1和DP2则不会被调整尺寸且直接用于物体检测。

前述物体检测可以简示如图3，其示出了与图2所示的物体检测方法对应的流程图。图3包含以下步骤：

步骤301

调整输入影像200的第一检测部分DP1的尺寸以产生第一调整后检测部分RDP1。第一检测部分DP1包含了目标物体的目标物体影像201的至少第一部分。

目标物体可以是人、动物、车辆或任何其他希望被检测的物体。

步骤303

将第一调整后检测部分RDP1暂存到缓冲器。

步骤305

根据缓冲器中的第一调整后检测部分RDP1计算目标物体影像201的第一部分的第一坐标。

步骤307

从缓冲器中移除第一调整后检测部分RDP1。

步骤309

调整输入影像200的第二检测部分DPl的尺寸以产生第二调整后检测部分RDP2。第二检测部分RDP2包含目标物体影像201的至少第二部分。

步骤311

在第一调整后检测部分RDP1从缓冲器中移除之后，将第二调整后检测部分RDP2暂存到缓冲器。

步骤313

根据缓冲器中的第二调整后检测部分RDP2和物体检测算法计算目标物体影像201的第二部分的第二坐标。

步骤315

根据第一坐标和第二坐标计算目标物体影像201的物体范围。

还请留意，图2实施例对应的物体检测方法的顺序不限于图3所示的顺序。

与现有技术相比，由于是根据较小的影像处理输入影像200，因此可以减少缓冲器的所须容量。此外，调整后检测部分像RDP1和RDP2没有如图1所示的空白区域，因此目标物体影像201的尺寸没有变小。此外，图2所示的物体检测方法可以放大目标物体影像201，从而更容易检测到目标物体。

在一实施例中，会在输入影像中提供ROI(重点区域，region of interest)以计算ROI中目标物体的移动(motion)。但是，如果某些物体被错误地认定为目标物体，则ROI可能会过大。在这种情况下，功耗较高且移动计算可能不准确。可应用图2所示的物体检测方法来改善这样的问题。

如图4的上图所示，ROI包含目标物体T和不是目标物体的另一物体NT。在这种情况下，可以应用图2所示的物体检测方法来定义目标物体T的物体范围。因此，图2所示的物体检测方法将不会得到物体NT的物体范围，可将其从ROI中移除。如此，ROI会被调整为较小的ROI’，其中仅包含目标物体T。在某些情况下，如有需要，可以将ROI调整为较大的ROI。还请留意，在图4所示的实施例中，是首先提供一个ROI，然后通过图2所示的物体检测方法将其调整为ROI’。然而，在另一实施例中，可以在不提供任何ROI的情况下执行图2所示的物体检测方法，然后可以根据图2所示的物体检测方法计算出的物体范围来设置ROI。

通过图4所示的实施例，可以将ROI调整或设置为更合适的尺寸。在一实施例中，因为小的ROI会包含较少的不需要的物体，图2所示的物体检测方法在ROI在大于ROI临界面积时执行，而在ROI小于ROI临界面积时不执行。ROI的设定和移动检测可以通过各种方法执行。例如，申请号为17/079,255的美国专利申请公开了这样的方法。

根据图2所示的实施例，可以得到多个物体范围。然而，一些物体范围可能会与其他物体范围重叠，因而降低物体检测的准确性。因此，在以下实施例中，提供了一些去除不需要的物体范围的方法。在以下实施例中，物体范围为上述边界框，但不限于此。

图5示出了对应于目标物体影像201的第一物体范围OR1和第二物体范围OR2。第一物体范围OR1和第二物体范围OR2分别对应目标物体影像201的至少一部分。请注意，第一物体范围OR1和第二物体范围OR2可以通过图1所示的物体检测方法获得，但也可以通过其他方法获得。

此外，会计算第一物体范围ORl和第二物体范围OR2的交集区。此外，还会计算第一物体范围OR1和第二物体范围OR2的联集区。交集区和联集区的定义如图6所示。在图6中，物体范围ORa包含区域R1和R2，物体范围ORb包含区域R1和R3。物体范围ORa和Orb的交集区为R1，物体范围ORa和Orb的联集区为R1+R2+R3。换言之，交集区是指重叠区域，联集区是指物体范围ORa和Orb所覆盖的所有范围。

在得到交集区和联集区后，会根据交集区的面积与联集区的面积的关系，移除第一物体范围Orl或第二物体范围Or2。在一实施例中，如果

大于第一临界值，则去除第一物体范围OR1和第二物体范围OR2中较小的一个。AI是交集区的面积，AU是联集区的面积。

图5和图6所示的步骤可不断重复，直到处理完所有物体范围。还请注意，虽然图5和图6所示的实施例以两个物体范围为例，但图5和图6中所公开的概念可以使用于两个以上的物体。因此，图5和图6所示的物体检测方法可以简示为图7所示的步骤：

步骤701

计算与目标物体的目标物体影像对应的多个物体范围。每一物体范围分别对应目标物体影像的至少一部分。

物体范围可以通过图2所示的物体检测方法取得，也可以通过任何其他方法取得。

步骤703

计算物体范围中的至少两个的交集区并计算物体范围中的至少两个的联集区。

步骤705

根据交集区的面积与联集区的面积的关系，移除对应物体范围中的至少一个。

在一实施例中，如果

大于第一临界值，步骤705移除对应的至少一个物体范围。AI为步骤703中取得的交集区的面积，AU为步骤703中取得的联集区的面积。

以下图8提供了另一种去除不需要的物体范围的方法。还请留意，图8中的物体范围可以通过图2所示的物体检测方法取得，也可以通过任何其他方法取得。此外，图8的实施例可以在影像经过图5和图6所示的方法处理后使用。然而，图8的实施例也可以不使用图5和图6所示的方法。

如图8所示，在输入影像800中定义了至少一个筛选区FR1、FR2(在本例中为两个筛选区)。此外，会计算出与目标物体影像801对应的多个物体范围。之后，将具有在筛选区FR1、FR2中的边缘的物体范围定义为候选物体范围，并将不具有在筛选区FR1、FR2中的边缘的物体范围定义为维持物体范围。因此，在图8的实施例中，物体范围OR1是维持物体范围，物体范围OR2是候选物体范围。之后，会根据候选物体范围与维持物体范围的交集区的面积与候选物体范围的面积的关系，或根据交集区的面积与维持物体范围的面积的关系，来从物体范围中移除候选物体范围。

在一实施例中，如果

大于第二临界值，则从物体范围中移除候选物体范围。第二临界值可以与上述第一临界值相同或不同。AI为候选物体范围与维持物体范围的交集区的面积，MA为候选物体范围与维持物体范围的面积中最小的一个。

筛选区可以根据不同的需求进行设置。在一实施例中，筛选区包含第一筛选区(例如筛选区FR1)和第二筛选区(例如筛选区FR2)。如图8所示，第一筛选区涵盖输入影像800的所有垂直坐标和X1至X2水平坐标。此外，第二筛选区涵盖输入影像800的所有垂直坐标和X3至X4水平坐标。

在图8的实施例中，X4>X3>X2>X1。此外，Xm是输入影像的中间水平坐标，X2小于Xm且具有第一值的差异，X3大于Xm且具有第二值的差异。第一值和第二值相同。换句话说，X2和Xm之间的差异和X3和Xm之间的差异是相同的。

图8所示的实施例可以简示为图9所示的步骤：

步骤901

在输入影像中定义至少一个筛选区。输入影像可以是尚未处理的影像，也可以是已经按照图2的方法且/或图5所示的方法处理过的影像。

步骤903

计算与目标物体的目标物体影像对应的多个物体范围。物体范围可以通过图2所示的物体检测方法产生，但也可以通过任何其他方法产生。

步骤905

将具有在筛选区中的边缘的物体范围定义为候选物体范围，将不具有在筛选区中的边缘的物体范围定义为维持物体范围。

例如，在图8的实施例中，物体范围ORl是维持物体范围，物体范围OR2是候选物体范围。

步骤907

根据候选物体范围与维持物体范围的交集区的面积与候选物体范围的面积之间的关系，或者交集区面积和维持物体范围面积之间的关系，来从物体范围中去除候选物体范围。

其他详细步骤已在图8的实施例中进行了说明，为简洁起见，在此不再赘述。

图10示出了根据本发明一实施例的物体检测系统的方框图。请注意，图10所示的元件仅为举例说明，并不意味着限制本发明的范围。可用于执行上述实施例的物体检测系统1000包含图框缓冲器1001、局部影像获取装置1003、尺寸调整器1005、缓冲器1007、物体检测器1009和筛选器1011。

图框缓冲器1001用以暂存输入影像，例如图2所示的输入影像200。此外，局部影像获取装置1003用以从具有第二长宽比的输入影像中获取至少两个具有第一长宽比的检测部分。举例来说，局部影像获取装置1003用以从具长宽比(640/480)的输入影像200获取图2所示的具有不同长宽比(480/480)的第一检测部分DP1/第二检测部分DP2。因此，根据图2所示的实施例，检测部分的联集区的尺寸可以等于输入影像。

物体检测器1009用以确认在每个检测部分中是否检测到任何目标物体，例如人，并取得检测物体的对应边界框。在一实施例中，物体检测器执行CNN(ConvolutionalNeural Network，卷积神经网络)模型来确认并取得相应的边界框。CNN模型是已知CNN训练方法的结果，此方法通过大量影像训练CNN模型，可用于检测至少一种特定物体，例如交通工具、人、狗等。

在图10的实施例中，物体检测系统1000包含尺寸调整器1005，其调整检测部分的尺寸以产生调整后检测部分(例如，图2中的第一调整后检测部分RDPl和第二调整后检测部分RDP2)。在这种情况下，物体检测器1009会根据调整后检测部分确认在每个检测部分中是否检测到任何物体。然而，在另一实施例中，由于检测部分的长宽比和尺寸均与物体检测器1009的输入匹配，因此可从物体检测系统1000移除尺寸调整器1005。在这种情况下，会根据检测部分确认在每个物体中是否检测到任何物体。筛选器1011用以去除或合并边界框，举例来说，可通过图5或图8所述的方法。

除了图10所示的元件之外，在一实施例中，物体检测系统1000还包含用以执行图4所示的方法的移动计算装置(未示出)。另外，可以根据图10的描述得到相对应的物体检测方法，但在此不再重复赘述。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims

1.一种物体检测系统，用以检测一物体，包含：

一局部影像获取装置，用以从一输入影像获取至少二检测部分，其中该些检测部分具有一第一长宽比，该输入影像具有一第二长宽比；以及

一物体检测器，用以接收具有该第一长宽比的该些检测部分，并用以确认该些检测部分中的每一个是否检测到任何物体，并用以取得被检测到的该物体的多个对应的边界框；

其中该第一长宽比与该第二长宽比不同。

2.如权利要求1所述的物体检测系统，其中该些检测部分被缩放以提供给该物体检测器来确认该些检测部分中的每一个是否检测到任何物体。

3.如权利要求1所述的物体检测系统，其中该物体检测器执行一卷积神经网络模型以确认并取得该些边界框。

4.如权利要求1所述的物体检测系统，其中该些检测部分的一联集的一尺寸与该输入影像的一尺寸相同。

5.如权利要求1所述的物体检测系统，其中该些检测部分的至少一部分相同。

6.如权利要求1所述的物体检测系统，还包含：

一移动计算装置，用以提供一重点区域，并用以计算该重点区域中的该物体的移动；

其中当该重点区域大于一重点区域临界面积时该移动计算装置调整该重点区域，且当该重点区域小于该重点区域临界面积时该移动计算装置不调整该重点区域。

7.如权利要求1所述的物体检测系统，还包含：

一筛选器，用以移除或合并该些边界框。

8.如权利要求7所述的物体检测系统，其中该筛选器执行以下步骤来移除或合并该些边界框：

在该输入影像中定义至少一筛选区；

将具有位于该筛选区的一边界的该边界框定义为一候选边界框，并将不具有位于该筛选区的该边界的该边界框定义为一维持边界框；

根据该候选边界框以及该维持边界框的一交集区的一面积以及该候选边界框的一面积的一关系，或是根据该交集区的该面积以及该维持边界框的一面积的一关系，来将该候选边界框从该些边界框移除。

9.如权利要求8所述的物体检测系统，其中将该候选边界框从该些边界框移除的该步骤在

大于临界值时将该候选边界框从该些边界框移除，其中AI为该候选边界框以及该维持边界框的该交集区的该面积，MA为该候选边界框以及该维持边界框的面积中最小的一面积。

10.如权利要求8所述的物体检测系统，其中该筛选区包含一第一筛选区以及一第二筛选区，其中该第一筛选区涵盖了该输入影像中所有垂直坐标以及X1至X2的水平坐标，其中该第二筛选区涵盖了该输入影像中所有垂直坐标以及X3至X4的水平坐标，X4＞X3＞X2＞X1。