CN103597514B

CN103597514B - 物体检测框显示装置和物体检测框显示方法

Info

Publication number: CN103597514B
Application number: CN201280028590.8A
Authority: CN
Inventors: 松本裕一
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2011-06-10
Filing date: 2012-05-15
Publication date: 2016-04-06
Anticipated expiration: 2032-05-15
Also published as: US9165390B2; EP2696326A1; JPWO2012169119A1; EP2696326A4; CN103597514A; WO2012169119A1; US20140104313A1; JP5923746B2

Abstract

本发明提供能够以比较少的处理量显示对用户来说容易看的物体检测框的物体框显示装置（100）。物体检测框计算单元（102）通过对于输入图像进行模式识别处理，求出表示检测对象物体的区域的第一物体检测框，并且将被推测为是与同一检测对象物有关的物体检测框的第一物体检测框彼此整合，由此求第二物体检测框。包含框计算单元（103）对每个第二物体检测框求第三物体检测框，所述第三物体检测框包含作为该第二物体检测框的基础的第一物体检测框。显示框形成单元（105）基于第二物体检测框的大小相对于第三物体检测框的大小的关系，形成要显示的物体检测框。

Description

物体检测框显示装置和物体检测框显示方法

技术领域

本发明涉及物体检测框显示装置及物体检测框显示方法，特别涉及在数码相机等拍摄装置中，在显示器上显示脸部检测框等物体检测框的技术。

背景技术

近年来，在数码相机等拍摄装置中有如下的拍摄装置：从拍摄图像中检测人或脸部等区域，利用框（以下称其为物体检测框）将该区域围起来并显示于显示器（例如参照专利文献1）。

通过显示物体检测框，用户能够瞬时地判断人或脸部等目标（以下，也称其为检测对象物体）位于被拍摄体图像中的哪里，从而能够顺利地进行将目标配置于拍摄图像的中心等操作。另外，在针对由物体检测框围起来的目标进行自动焦点控制（AF）或自动曝光控制（AE）的拍摄装置中，用户能够根据物体检测框确认对准了焦点或曝光度的区域。

在此，为了显示物体检测框，当然需要对物体进行检测的技术。在专利文献2中，记载了检测拍摄图像中的脸部的技术。在专利文献2中，计算表示在预先通过学习所求出的脸部样本图像和拍摄图像之间的相似性的指标值（得分），检测出该指标值为阈值以上的图像区域作为脸部图像的候选区域。在此，实际上，因为在同一脸部图像的周边检测出多个候选区域即候选区域组，所以在专利文献2中，通过对这些候选区域组进一步进行阈值判定，从而整合对于同一脸部图像的候补区域组。

若将专利文献1中记载的物体检测框和专利文献2中记载的物体检测进行组合，则进行如下的物体检测框显示处理。

即，首先，使用物体检测器对输入图像进行光栅扫描，从而在目标物体周边形成物体检测候补框。接着，通过整合附近的物体检测候补框，从而形成最终整合框，并显示该最终整合框。具体而言，利用检测候选框的得分等来进行分组，整合被分组后的附近的检测候选框并将其显示。其结果为，显示将目标物体围起来的物体检测框（最终整合框）。

现有技术文献

专利文献

专利文献1：日本特开2005-286940号公报

专利文献2：日本特开2007-188419号公报

发明内容

发明要解决的问题

然而，当在拍摄图像中有多个检测对象物体接近的情况下，物体检测候选框彼此的重叠大，难以在正确位置形成并显示最终整合框。

具体而言，当在拍摄图像中有多个检测对象物体接近的情况下，最终整合框未分离，在多个检测对象物体之间形成最终整合框并显示，所以最终整合框不能在框内包含检测对象物体，美观度不佳。

图1表示其具体例。图1A、图1B、图1C、图1D为表示按图1A→图1B→图1C→图1D的顺序拍摄大致相同的位置而得到的时间序列图像。物体检测框显示装置检测出拍摄图像中的两个人。图中以细线表示的矩形框为物体检测候选框，以粗线表示的矩形框为最终整合框。实际上所显示的是拍摄图像和与其重叠的最终整合框，可以显示物体检测候选框，也可以不显示。

图1A和图1D是最终整合框的分离成功的例子。在该成功例子中，以包含作为检测对象的各个人的方式显示了各最终整合框。图1B和图1C是最终整合框的分离失败的例子，在两个人的中间显示了最终整合框。在该失败例子中，最终整合框未能包含作为检测对象的人。因此，根据图1B、图1C也可知，由于与检测对象物体之间的关系，最终整合框的美观度变差。

作为用于解决这种问题的一个方法，可以考虑对形成最终整合框时的整合算法进行研究。但是，若这样做则使算法复杂化，所以存在处理量增加、结构复杂化的缺点。

本发明是考虑以上的方面而完成的，其的目的在于，提供能够以比较少的处理量显示对用户来说容易看的物体检测框的物体框显示装置和物体框显示方法。

解决问题的方案

本发明的物体检测框显示装置的一个形态包括：物体检测框计算单元，其根据输入图像求表示检测对象物体的区域的第一物体检测框，并且，将被推测为是与同一检测对象物有关的物体检测框的所述第一物体检测框彼此整合，由此求第二物体检测框；包含框计算单元，其对每个所述第二物体检测框求第三物体检测框，所述第三物体检测框包含作为该第二物体检测框的基础的所述第一物体检测框；显示框形成单元，其基于所述第二物体检测框的大小相对于所述第三物体检测框的大小的关系，形成要显示的物体检测框；以及显示单元，其显示由所述显示框形成单元形成的所述物体检测框。

本实施方式的物体检测框显示方法的一个形态包括如下的步骤：物体检测框计算步骤，根据输入图像求表示检测对象物体的区域的第一物体检测框，并且，将被推测为是与同一检测对象物有关的物体检测框的所述第一物体检测框彼此整合，由此求第二物体检测框；包含框计算步骤，对每个所述第二物体检测框求第三物体检测框，所述第三物体检测框包含作为该第二物体检测框的基础的所述第一物体检测框；以及显示框形成步骤，基于所述第二物体检测框的大小相对于所述第三物体检测框的大小的关系，形成要显示的物体检测框。

发明效果

根据本发明，能够以比较少的处理量显示对用户来说容易看的物体检测框。

附图说明

图1是表示物体检测框未分离而显示了美观度不佳的物体检测框的例子的图。

图2是表示实施方式1的物体检测框显示装置的结构的方框图。

图3是用于说明第三物体检测框（包含框）的图。

图4是表示由多个物体存在估计单元和显示框形成单元进行的处理的情况的图。

图5是表示实施方式1的物体检测框显示装置的处理步骤的流程图。

图6是容易理解地表示实施方式1的物体检测框形成处理的图。

图7是表示实施方式1的物体检测框的显示例的图。

图8是表示实施方式2的物体检测框显示装置的结构的方框图。

图9是表示由显示框整合单元进行的整合处理的情况的图。

图10是表示实施方式2的物体检测框显示装置的处理步骤的流程图。

图11是容易理解地表示实施方式2的物体检测框形成处理的图。

图12是表示实施方式2的物体检测框的显示例的图。

图13是表示实施方式3的物体检测框显示装置的结构的方框图。

图14是用于说明由实施方式3的显示框形成单元进行的?物体检测框形成处理的图。

图15是用于说明实施方式3的显示框形成单元进行的、物体检测框形成处理的图，特别是用于说明所确定的物体检测框个数与物体检测框的候选位置的数量不一致时的处理的图。

图16是容易理解地表示实施方式3的物体检测框形成处理的图。具体实施方式

以下，参照附图对本发明的实施方式详细地进行说明。

［实施方式1］

图2表示本发明的实施方式1中的物体检测框显示装置的结构。物体检测框显示装置100例如安装于数码相机或车载用导航装置、监视摄像机系统等。

物体检测框显示装置100将图像输入到图像输入单元101。所输入的图像例如是由数码相机或车载用导航装置装置、监视摄像机系统等拍摄的图像。图像输入单元101将输入图像发送到显示单元110及物体检测框计算单元102。

物体检测框计算单元102通过对输入图像进行模式识别处理，求出表示检测对象物体的区域的第一物体检测框（物体检测候选框），并且将推测为是与同一检测对象物有关的物体检测框的第一物体检测框彼此整合，从而求第二物体检测框。换言之，物体检测框计算单元102通过将第一物体检测框分组为集群，由此求第二物体检测框。

第一物体检测框为图1的以细线表示的框。第二物体检测框为图1的以粗线表示的框。

具体而言，物体检测框计算单元102例如通过采用如专利文献2中记载的处理，求第一物体检测框和第二物体检测框。

第一物体检测框是将表示与检测对象物体之间的相似性的指标值在第一阈值以上的部分图像区域围起来的矩形框。第一物体检测框是所谓的物体检测候选框，实际上，可在检测对象物体的周边求出多个。

接着，物体检测框计算单元102对每个由第一物体检测框围起来的区域（每个候选区域），将该区域设定为关注候选区域，在与该关注候选区域不同的其他候选区域中存在距该关注候选区域的坐标上的距离在规定的距离以下的附近候选区域时，将该关注候选区域和该附近候选区域设定为一个候选组。接着，物体检测框计算单元102对每个所述候选组，根据对构成该候选组的各候选区域分别计算出的多个指标值，计算反映了该多个指标值的大小的综合性指标值。接着，当所述综合性指标值在第二阈值以上时，物体检测框计算单元102将包含计算出所述综合性指标值的所述候选组的所述输入图像上的规定区域内的图像设为检测对象物体图像，形成将该图像围起来的第二物体检测框。

此外，物体检测框计算单元102进行的处理不限于上述处理，总之，只要将与检测对象物体图像（例如人的图像或脸部图像、车辆等）相似性高的图像区域作为候选区域进行检测并形成将该候选图像区域围起来的第一物体检测框，将第一物体检测框中的被推测为是与相同物体有关的物体检测框的第一物体检测框彼此整合，由此求第二物体检测框即可。本发明不限定于第一物体检测框和第二物体检测框的求出方法。

物体检测框计算单元102将第一物体检测框的位置信息及第二物体检测框的位置信息传送到包含框计算单元103。另外，物体检测框计算单元102将第二物体检测框的位置信息传送到多个物体存在估计单元104。此外，物体检测框的位置信息也包含物体检测框的矩形尺寸的信息（有关矩形大小的信息）。也就是，物体检测框的位置信息是可以表示物体检测框整体的位置的信息。以下记载的物体检测框的位置信息也同样。

如图3所示，包含框计算单元103对每个第二物体检测框12，求包含作为其基础的第一物体检测框11的包含框，作为第三物体检测框13。在此，第三物体检测框（包含框）13正如其名，只要是包含第一物体检测框11的框即可。第三物体检测框13例如是包含多个第一物体检测框11的最小的矩形。另外，第三物体检测框13例如是多个第一物体检测框11的并集。包含框计算单元103将所求出的第三物体检测框13的位置信息传送到多个物体存在估计单元104。

多个物体存在估计单元104输入第二物体检测框12的位置信息和第三物体检测框13的位置信息，并使用这些信息调整第二物体检测框12的大小相对于第三物体检测框13的大小的关系。由此，多个物体存在估计单元104估计第二物体检测框12附近是否存在多个检测对象物体。多个物体存在估计单元104将表示是否存在多个物体的估计结果信息、第二物体检测框12的位置信息、以及第三物体检测框13的位置信息传送到显示框形成单元105。

显示框形成单元105形成要显示的物体检测框（以下称其为显示物体检测框）。在从多个物体存在估计单元104输入了表示第二物体检测框12附近不存在多个检测对象物体的估计结果信息的情况下，显示框形成单元105输出第二物体检测框12作为显示物体检测框。相对于此，在从多个物体存在估计单元104输入了表示在第二物体检测框12附近存在多个检测对象物体的估计结果信息的情况下，显示框形成单元105形成将第二物体检测框12放大所得的显示物体检测框作为显示物体检测框并输出。

图4表示由多个物体存在估计单元104和显示框形成单元105进行的处理的情况。图中的细虚线表示第二物体检测框12，粗虚线表示第三物体检测框13，实线表示显示物体检测框14。

图4A（上段的图）表示输入到多个物体存在估计单元104的、第二物体检测框12和第三物体检测框13的例子。在图中表示了四个例子。图4B（下段的图）表示由显示框形成单元105形成的显示物体检测框14的情况。

如图中所示，将第三物体检测框13的纵向、横向的长度分别设为A_H、A_W，将第二物体检测框12的纵向、横向的长度分别设为B_H、B_W。

在将距离阈值设为TH_H、TH_W时，在满足|A_H－B_H|>TH_H、或者、|A_W－B_W|>TH_W、的条件的情况下，多个物体存在估计单元104认为第二物体检测框12的附近存在着多个物体。

在第二物体检测框12与第三物体检测框13之间的关系满足上述条件的情况下，显示框形成单元105形成以第二物体检测框12的中心位置为中心，纵向的长度为(A_H+B_H)/2、横向的长度为(A_W+B_W)/2的显示物体检测框14。此外，显示物体检测框14的大小不限于此，只要在第二物体检测框12的大小以上，并且在第三物体检测框13的大小以下即可。

在图4中，左端的例子表示由多个物体存在估计单元104估计为在第二物体检测框12附近不存在多个物体的情况。在这种情况下，如图4A左端的例子所示，第二物体检测框12与第三物体检测框13之间的大小的差在阈值以下，显示框形成单元105如图4B左端的例子所示，输出第二物体检测框12作为显示物体检测框14。

相对于此，在图4中，左端以外的三个例子表示由多个物体存在估计单元104估计为在第二物体检测框12附近存在多个物体的情况。在这种情况下，如图4A的左端以外的例子所示，第二物体检测框12与第三物体检测框13之间的大小的差比阈值大（左起第二个例子为横向的长度的差比阈值大、左起第三个例子为纵向的长度的差比阈值大，左起第四个例子为横向的长度的差及纵向的长度的差都比阈值大），如图4B左端以外的例子所示，显示框形成单元105在第二物体检测框12与第三物体检测框13之间形成显示物体检测框14。更详细而言，该显示物体检测框14比第二物体检测框12大，且在第三物体检测框13的大小以下。

显示单元110将从显示框形成单元105输入的显示物体检测框14与从图像输入单元101输入的拍摄图像重叠进行显示。

图5是表示物体检测框显示装置100的处理步骤的流程图。物体检测框显示装置100在步骤ST1中将图像输入到图像输入单元101。在接着的步骤ST2中，物体检测框计算单元102计算第一物体检测框（物体检测候选框）11。在接着的步骤ST3中，物体检测框计算单元102整合第一物体检测框11，由此计算第二物体检测框12。在接着的步骤ST4中，包含框计算单元103计算第三物体检测框（包含框）13。在接着的步骤ST5中，多个物体存在估计单元104根据第二物体检测框（整合框）12的大小与第三物体检测框（包含框）13的大小之间的关系，估计在第二物体检测框12附近是否存在多个检测对象物体。

在得到了在第二物体检测框12附近存在多个检测对象物体的估计结果的情况下（步骤ST5：“是”），物体检测框显示装置100转移到步骤ST6，由显示框形成单元105形成将第二物体检测框12放大所得的形状的显示物体检测框14，在接着的步骤ST7中，使该显示物体检测框14与拍摄图像一起显示于显示单元110。

与此相对，在得到了第二物体检测框12附近不存在多个检测对象物体的估计结果的情况下（步骤ST5：“否”），物体检测框显示装置100转移到步骤ST7，使第二物体检测框12与拍摄图像一起显示于显示单元110。

图6容易理解地表示检测对象物体（在图的例中是人）与各物体检测框之间的关系。在图6中，上段的图表示检测对象物体、第二物体检测框（整合框）12和第三物体检测框（包含框）13之间的关系。下段的图表示检测对象物体和最终显示的显示物体检测框14之间的关系。

图6A所示的例子表示各个第二物体检测框12准确地将各个人围起来的理想的状态，在这种情况下，如下段所示那样，第二物体检测框12直接作为显示物体检测框14被显示。

图6B所示的例子表示由于第二物体检测框12不准确而从第二物体检测框12超出的人存在的状态，在这种情况下，如下段所示，显示通过将第二物体检测框12放大而形成的显示物体检测框14。由此，能够将若直接显示第二物体检测框12则从框超出的人，利用显示物体检测框14围起来。此外，可以根据第二物体检测框12的大小相对于第三物体检测框13的大小在阈值以下来判断第二物体检测框12不准确的情况。

图6Ｃ所示的例子是左侧的第二物体检测框12-1准确而右侧的第二物体检测框12-2不准确的例子。在这种情况下，如下段所示，左侧的第二物体检测框12-1直接作为显示物体检测框14-1被显示，右侧的第二物体检测框12-2被放大而作为显示物体检测框14-2被显示。由此，能够将若直接显示右侧的第二物体检测框12-2则从框超出的人，利用显示物体检测框14-2围起来。此外，可以根据右侧的第二物体检测框12-2的大小相对于右侧的第三物体检测框13-2的大小在阈值以下来判断右侧的第二物体检测框12-2为不准确的情况。

图7表示由本实施方式的物体检测框显示装置所显示的图像的例子。图7A、图7B、图7C、图7D为表示按图7A→图7B→图7C→图7D的顺序拍摄大致相同的位置而得到的时间序列图像。物体检测框显示装置100检测出拍摄图像中的两个人。图中的用细线表示的框是第一物体检测框11，用粗线表示的矩形框是在本实施方式中最终显示的物体检测框14。

作为本实施方式的显示例的图7与作为以往的显示例的图1进行比较可知，在图7A、图7D的时间序列图像中，第二物体检测框12的分离成功了，所以与图1A、图1D同样，第二物体检测框（在图1的说明中作为最终整合框进行说明过）直接作为物体检测框14被显示。

相对于此，在图7B、图7C的时间序列图像中，第二物体检测框12的分离失败了（参照图1B、图1C)，所以显示将第二物体检测框12放大而成的物体检测框14。该显示物体检测框14因为不超出范围地包含作为检测对象物体的两个人，所以与图1B、图1C所显示的第二物体检测框（最终整合框）12相比较，成为美观度良好且容易看的物体检测框。

如以上说明，根据本实施方式，设置有：物体检测框计算单元102，其对输入图像进行模式识别处理，由此求表示检测对象物体的区域的第一物体检测框11，并且，将被推测为是有关同一检测对象物的物体检测框的第一物体检测框11彼此整合，由此求第二物体检测框12；包含框计算单元103，其对每个第二物体检测框12求第三物体检测框13,该第三物体检测框13包含作为该第二物体检测框12的基础的第一物体检测框11；以及显示框形成单元105，其基于第二物体检测框12的大小相对于第三物体检测框13的大小的关系，形成要显示的物体检测框14。

由此，即使在物体检测框计算单元102中对第二物体检测框12的分离失败了的情况下，也能够由显示框形成单元105形成将第二物体检测框12放大所得的物体检测框14，所以可以显示美观度良好、容易看的物体检测框14。

并且，如果采用了本实施方式的结构，则无需使物体检测框计算单元102中的整合算法复杂化，并且也能够使新追加的包含框计算单元103及显示框形成单元105的处理量比较少，所以处理量的增加少。

［实施方式2］

在对与图2对应的部分赋予相同的标号进行表示的图8中，示出本实施方式的物体检测框显示装置200的结构。图8的物体检测框显示装置200除了图2的物体检测框显示装置100的结构以外还具有显示框整合单元201。

显示框整合单元201输入由显示框形成单元105形成的物体检测框的位置信息。若举具体例子，则显示框整合单元201从显示框形成单元105输入第二物体检测框（包含放大后的第二物体检测框）的位置信息。

显示框整合单元201检测满足相互的距离在第一阈值以下且相互的大小的比率在第二阈值以下这样的条件的第二物体检测框，整合检测出的第二物体检测框，并形成包含满足该条件的多个第二物体检测框的显示物体检测框，并将其输出到显示单元110。另一方面，显示框整合单元201对不满足上述条件的第二物体检测框，不整合而直接输出到显示单元110。在此，在整合的条件中追加了“相互的大小的比率在阈值以下”是因为，例如，虽然有不应该将位于画面近处的人的检测框与位于画面远处的人的检测框进行整合的情况，可是若仅将检测框的距离阈值设为整合的条件，则有可能将这些检测框进行整合。通过追加大小的阈值，由于位于画面近处的人的检测框大，而位于画面远处的人的检测框小，所以其大小的比率应该比阈值大，能够防止不希望的整合。此外，以下，为了简化说明，说明主要仅使用距离阈值作为整合的条件的情况。

此外，显示框整合单元201例如也可以将一部分区域相互重叠的第二物体检测框彼此整合。这相当于上述距离的阈值为0的情况。但是不限于此，适当设定阈值即可。

图9表示由显示框整合单元201进行的整合处理的情况。在如图9A所示，从显示框形成单元105输出的第二物体检测框12的距离在阈值以下的情况下，如图9B所示，显示框整合单元201整合距离在阈值以下的第二物体检测框12，并形成包含这些第二物体检测框12的物体检测框15。而且，由显示单元110显示所形成的物体检测框15。此外，在图9B中，为了方便，虽然也记载了显示框整合单元201所显示的物体检测框15以外的框，但是在图9B中显示单元110所显示的物体检测框只是物体检测框15。

图10是表示物体检测框显示装置200的处理步骤的流程图。在图10中，对与图5相同的处理步骤赋予了与图5相同的标号。以下说明与图5不同的步骤。

物体检测框显示装置200在步骤ST6中由显示框形成单元201形成了将第二物体检测框12放大所得的形状的显示物体检测框14后，进入步骤ST10。在步骤ST10中，显示框整合单元201对各第二物体检测框12（包括放大后的第二物体检测框14）分别进行上述距离判定，由此判定是否是应该进行整合的物体检测框。

在此，显示框整合单元201对于距离大于阈值的第二物体检测框12、14，在步骤ST10中得到否定结果（步骤ST10：“否”），将第二物体检测框12、14不整合而直接输出到显示单元110。由此，在步骤ST7中直接显示第二物体检测框12、14。

相对于此，显示框整合单元201对于距离在阈值以下的第二物体检测框12、14，在步骤ST10中得到肯定结果（步骤ST10：“是”），移至步骤ST11。在步骤ST11中，显示框整合单元201将距离在阈值以下的第二物体检测框12、14进行整合，由此形成包含它们的物体检测框15，并将该整合后的物体检测框15输出到显示单元。由此，在步骤ST7显示整合后的第二物体检测框15。

图11容易理解地表示本实施方式所显示的物体检测框的情况。此外，若与在实施方式1中说明的图6进行比较，则容易理解本实施方式所显示的物体检测框的特征，所以以下对与图6不同之处进行说明。

如图11A所示的例子那样，在由物体检测框计算单元102得到如上段所示的第二物体检测框12时，因为这些物体检测框12的距离在阈值以下，所以显示框整合单元201整合这些物体检测框12，形成如下段所示的物体检测框15，并使之显示。

如图11B所示的例子那样，在由物体检测框计算单元102得到了如上段所示的第二物体检测框12的情况下，如在实施方式1中说明的那样，由显示框形成单元105放大第二物体检测框12而设为物体检测框14。此时，因为没有与物体检测框14之间的距离在阈值以下的物体检测框，所以物体检测框14不被整合，而如下段所示那样被显示。

如图11Ｃ所示的例子，在由物体检测框计算单元102得到如上段所示的第二物体检测框12的情况下，如在实施方式1中说明的那样，由显示框形成单元105放大第二物体检测框12而设为物体检测框14。此时，因为多个物体检测框14的距离在阈值以下，所以如下段所示，使这些多个物体检测框14成为被整合后的物体检测框15并显示。

图12表示由本实施方式的物体检测框显示装置200显示的图像的例子。图12A、图12B、图12C、图12D为表示按图12A→图12B→图12C→图12D的顺序对大致相同的位置进行拍摄而得到的时间序列图像。图中以细线表示的框为第一物体检测框11，以粗线表示的矩形框为在本实施方式中最终显示的物体检测框15。

将本实施方式的显示例的图12与实施方式1的显示例的图7进行比较，则在图12A、图12D的时间序列图像中，将距离在阈值以下的物体检测框进行整合并显示为物体检测框15。此外，在图12B、图12C的时间序列图像中，因为没有与物体检测框14之间的距离在阈值以下的物体检测框，所以物体检测框14不被整合并直接显示为物体检测框15。

如以上说明，根据本实施方式，除了实施方式1的结构以外，还设置了整合接近的第二物体检测框12、14的显示框整合单元201，由此除了实施方式1的效果以外，还由于能够抑制在时间序列图像中所显示的物体检测框15的数量发生变动的情况，所以能够显示更容易看的物体检测框15。

也就是，若采用实施方式1的结构，的确能够形成检测物体不会极端地超出范围的物体检测框，但是有可能在时间序列图像中，在同一物体区域中的物体检测框的数量变成两个或变成一个地频繁变动。根据本实施方式的结构，能够防止该情况，而在时间序列图像中，抑制对于同一检测物体的物体检测框数量的变动。

另外，大小相似（即相互的大小的比率在阈值以下）且存在重叠（即相互的距离在阈值以下）的物体检测框虽然有可能成为闪烁的原因，但是通过整合而使这样的物体检测框不存在，所以能够消除闪烁。

［实施方式3］

在对与图2对应的部分赋予相同的标号来表示的图13中，示出本实施方式的物体检测框显示装置300的结构。相比于图2的物体检测框显示装置100，在图13的物体检测框显示装置300中，显示框形成单元301的结构与显示框形成单元105的结构不同。

在从多个物体存在估计单元104输入了表示在第二物体检测框12附近不存在多个检测对象物体的估计结果信息的情况下，显示框形成单元301输出第二物体检测框12作为显示物体检测框。与此相对，在从多个物体存在估计单元104输入了表示在第二物体检测框12附近存在多个检测对象物体的估计结果信息的情况下，显示框形成单元301在第三物体检测框13的内部形成多个第二物体检测框作为显示物体检测框。

换言之，当第二物体检测框12的大小在与第三物体检测框13的大小之间的关系中，小于阈值的情况下，显示框形成单元301在第三物体检测框13的内部形成多个物体检测框并显示。

在本实施方式的情况下，显示框形成单元301基于第二物体检测框12的大小相对于第三物体检测框13的大小的比率，确定在第三物体检测框13的内部形成的显示物体检测框的个数。

使用图14说明由本实施方式的显示框形成单元301进行的物体检测框形成处理。图中的细虚线表示第二物体检测框12，粗虚线表示第三物体检测框13，实线表示显示物体检测框16。

1）物体检测框16的个数的确定：

通过对第三物体检测框13和第二物体检测框12之间的面积比进行阈值判定，确定要形成的显示物体检测框16的个数。这里，如图14A所示，将第三物体检测框13的纵向、横向的长度分别设为A_H、A_W，将第二物体检测框12的纵向、横向的长度分别设为B_H、B_W。则面积比R=(A_W×A_H)/(B_W×B_H)。通过将该面积比与规定的阈值进行比较，确定显示物体检测框16的个数。例如，设定TH1＞TH2＞TH3＞TH4的关系的阈值TH1、TH2、TH3、TH4。而且，只要如下确定物体检测框16的个数即可:在TH1＜R时为1个，在TH1≥R＞TH2时为2个，在TH2≥R＞TH3时为3个，在TH3≥R＞TH4时为4个。图14B表示显示物体检测框16的个数为2个的例子。

2）物体检测框16的大小：

对于物体检测框16的大小，其纵横长度分别为B_H、B_W。也就是，各物体检测框16的大小与第二物体检测框12的大小相同。换言之，各物体检测框16是复制第二物体检测框12所得的框。

3）物体检测框16的位置：

在设为X=(A_W)/(B_W)、Y=(A_H)/(B_H)时，各物体检测框16的位置以将第三物体检测框13的横向A_W、纵向A_H分别进行了X+1、Y+1等分后的位置为中心位置。图14B的例子是X=2、Y=1时的例子，形成并显示以将A_W、A_H分别进行了2+1=3、1+1=2等分后的位置为中心的物体检测框16。

另外，有时所确定的物体检测框16的个数与物体检测框16的位置的数量不一致。具体而言，在检测物体（人）在横向、纵向接近的情况下没有问题，但在检测物体纵横接近的情况下，有时上述数量不一致。以下，使用图15说明其理由及对策。

图15A是所确定的物体检测框16的个数与物体检测框16的位置的数量一致的情况，在这样的情况下没有问题。另一方面，在图15B所示的例子中，产生了使物体检测框16的个数为3个还是4个的问题（实际上，优选确定为3个）。

因此，作为其对策，在本实施方式中，首先，以将A_W、A_H分别进行了X+1、Y+1等分后的位置为最终显示的物体检测框16的中心位置的候选点。在该候选点数与根据上述面积比确定的物体检测框数一致的情况下，形成以该候选点为中心位置的物体检测框16，并直接进行显示。

相对于此，在根据上述面积比确定的物体检测框数比候选点数少的情况下，求出以各自的候选点位置为中心的物体检测框16的区域和在求第三物体检测框13时作为基础的第一物体检测框11的区域之间的重叠区域，从重叠区域大的候选点开始依序采用。在此，所谓在求第三物体检测框13时作为基础的第一物体检测框11的区域是指如图15C的网格区域所示那样，在求第三物体检测框13时作为基础的、多个第一物体检测框11的并集区域。

若考虑图15B、图15C的例子，则与以候选点K2、K3、K4为中心所形成的物体检测框16-2、16-3、16-4进行比较，以候选点K1为中心所形成的物体检测框16-1与图15C的网格区域的重叠小，所以只要将以候选点K1为中心所形成的物体检测框16-1从最终显示的物体检测框中排除即可。由此，可以使最终显示的框与根据面积比确定的物体检测框数一致，并且可以从多个候选点之中留下准确的候选点而形成物体检测框16-2、16-3、16-4（参照图15B）。

图16容易理解地表示在本实施方式中显示的物体检测框16的情况。此外，若与在实施方式1中说明的图6进行比较，则容易理解本实施方式所显示的物体检测框16的特征，所以以下对与图6不同之处进行说明。

如图16A所示的例子那样，在由物体检测框计算单元102得到如上段所示的第二物体检测框12的情况下，第二物体检测框12的大小在与第三物体检测框13的大小之间的关系中在阈值以上，所以如下段所示，直接显示第二物体检测框12作为显示物体检测框16。

如图16B所示的例子那样，在由物体检测框计算单元102得到如上段所示那样的第二物体检测框12的情况下，第二物体检测框12的大小在与第三物体检测框13的大小之间的关系中小于阈值，所以如下段所示，在第三物体检测框13的内部形成多个物体检测框16。

如图16Ｃ所示的例子那样，在由物体检测框计算单元102得到如上段所示的第二物体检测框12的情况下，左侧的第二物体检测框12-1在与第三物体检测框13-1之间的关系中，大小在阈值以上，右侧的第二物体检测框12-2在与第三物体检测框13-2之间的关系中，大小小于阈值。从而，如下段所示，左侧的第二物体检测框12-1直接作为显示物体检测框16被显示，对于右侧的第二物体检测框12-2，在第三物体检测框13-2的内部形成多个物体检测框16并显示。

如以上说明，根据本实施方式，除了实施方式1的结构以外还构成为，当第二物体检测框12的大小在与第三物体检测框13的大小之间的关系中小于阈值的情况下，由显示框形成单元301在第三物体检测框13的内部形成多个物体检测框16。另外，基于第二物体检测框12的大小相对于第三物体检测框13的大小的比率，确定在第三物体检测框13的内部形成的显示物体检测框16的个数。

由此，除了实施方式1的效果以外，还可以抑制在时间序列图像中所显示的物体检测框16的数量发生变动的情况，所以能够显示更容易看的物体检测框16。

此外，可以由包含存储器、CPU的个人电脑等计算机，构成上述实施方式的物体检测框显示装置100、200、300中除了图像输入单元101和显示单元110以外的构成要素。而且，可以通过CPU读取存储器上所存储的计算机程序并进行执行处理来实现各构成要素的功能。

2011年6月10日提交的日本专利申请特愿2011-130200号中包含的说明书、附图及说明书摘要的公开内容全部援引于本申请。

标号说明

11第一物体检测框

12第二物体检测框

13第三物体检测框

14、15、16显示物体检测框

100、200、300物体检测框显示装置

102物体检测框计算单元

103包含框计算单元

104多个物体存在估计单元

105、301显示框形成单元

110显示单元

201显示框整合单元

Claims

1.物体检测框显示装置，包括：

物体检测框计算单元，其根据输入图像求表示检测对象物体的区域的物体检测候选框，并且，将被推测为是与同一检测对象物有关的物体检测框的所述物体检测候选框彼此整合，由此求整合框；

包含框计算单元，其对每个所述整合框求包含框，所述包含框包含作为该整合框的基础的所述物体检测候选框；

显示框形成单元，其基于所述整合框的大小相对于所述包含框的大小的关系，形成要显示的物体检测框；以及

显示单元，其显示由所述显示框形成单元形成的所述物体检测框，

当所述整合框的大小在与所述包含框的大小之间的关系中小于阈值的情况下，所述显示框形成单元形成将所述整合框放大所得的物体检测框。

2.物体检测框显示装置，包括：

所述显示单元所显示的所述物体检测框的大小在所述整合框的大小以上且在所述包含框的大小以下。

3.物体检测框显示装置，包括：

显示框形成单元，其基于所述整合框的大小相对于所述包含框的大小的关系，形成要显示的物体检测框；

显示单元，其显示由所述显示框形成单元形成的所述物体检测框；以及

物体检测框整合单元，其检测满足相互距离在第一阈值以下且相互的大小比率在第二阈值以下的条件的所述整合框，将检测出的所述整合框整合来形成包含满足所述条件的多个所述整合框的显示物体检测框，

所述显示单元显示由所述显示框形成单元和所述物体检测框整合单元形成的所述显示物体检测框。

4.如权利要求3所述的物体检测框显示装置，

所述物体检测框整合单元进行整合的所述整合框是一部分区域相互重叠的多个所述整合框。

5.物体检测框显示装置，包括：

当所述整合框的大小在与所述包含框的大小之间的关系中小于阈值的情况下，所述显示框形成单元在所述包含框的内部形成多个物体检测框。

6.物体检测框显示装置，包括：

所述显示框形成单元基于所述整合框的大小相对于所述包含框的大小的比率，确定在所述包含框的内部要形成的所述显示物体检测框的个数。

7.物体检测框显示方法，包括如下的步骤：

物体检测框计算步骤，根据输入图像求表示检测对象物体的区域的物体检测候选框，并且，将被推测为是与同一检测对象物有关的物体检测框的所述物体检测候选框彼此整合，由此求整合框；

包含框计算步骤，对每个所述整合框求包含框，所述包含框包含作为该整合框的基础的所述物体检测候选框；

显示框形成步骤，基于所述整合框的大小相对于所述包含框的大小的关系，形成要显示的物体检测框；以及

显示步骤，显示由所述显示框形成步骤形成的所述物体检测框，

当所述整合框的大小在与所述包含框的大小之间的关系中小于阈值的情况下，所述显示框形成步骤形成将所述整合框放大所得的物体检测框。

8.物体检测框显示方法，包括如下的步骤：

所述显示步骤所显示的所述物体检测框的大小在所述整合框的大小以上且在所述包含框的大小以下。

9.物体检测框显示方法，包括如下的步骤：

显示框形成步骤，基于所述整合框的大小相对于所述包含框的大小的关系，形成要显示的物体检测框；

显示步骤，显示由所述显示框形成步骤形成的所述物体检测框；以及

物体检测框整合步骤，检测满足相互距离在第一阈值以下且相互的大小比率在第二阈值以下的条件的所述整合框，将检测出的所述整合框整合来形成包含满足所述条件的多个所述整合框的显示物体检测框，

所述显示步骤显示由所述显示框形成步骤和所述物体检测框整合步骤形成的所述显示物体检测框。

10.如权利要求9所述的物体检测框显示方法，

所述物体检测框整合步骤进行整合的所述整合框是一部分区域相互重叠的多个所述整合框。

11.物体检测框显示方法，包括如下的步骤：

当所述整合框的大小在与所述包含框的大小之间的关系中小于阈值的情况下，所述显示框形成步骤在所述包含框的内部形成多个物体检测框。

12.物体检测框显示方法，包括如下的步骤：

所述显示框形成步骤基于所述整合框的大小相对于所述包含框的大小的比率，确定在所述包含框的内部要形成的所述显示物体检测框的个数。