CN113646803A - 人检测装置以及人检测方法 - Google Patents

Abstract

人检测装置分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人，其特征在于，具有：检测部，从鱼眼图像检测人体候选以及物体；以及误检测判定部，基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系，判定所述人体候选是否为误检测。

Description

人检测装置以及人检测方法

技术领域

本发明涉及使用鱼眼相机的图像来检测人的技术。

背景技术

在楼宇自动化(Building Automation(BA))或工厂自动化(Factory Automation(FA))的领域中，需要通过图像传感器自动地计测人的“数量”、“位置”、“移动路线”等来最佳地控制照明或空调等的设备的应用。在这样的用途中，为了尽可能地取得宽范围的图像信息，利用搭载了鱼眼透镜(鱼眼(fish eye)透镜)的超广角的相机(虽然称为鱼眼相机、全方位相机、全天球相机等，但意思都是相同的。在本说明书中，使用“鱼眼相机”的用语。)的情况较多。

由鱼眼相机摄影的图像大幅失真。因此，在从鱼眼相机的图像(以后称为“鱼眼图像”。)检测人体或面部等的情况下，一般的方法是通过预先将鱼眼图像进行平面展开来校正为失真少的图像后，施加检测处理(参考专利文献1)。

现有技术文献

专利文献

专利文献1:日本特开2016－39539号公报

发明内容

发明要解决的课题

但是，在以往的技术中，存在以下问题。一个是：将鱼眼图像平面展开的预处理的发生，使得整体的处理成本增大的问题。这使实时的检测处理变得困难，且有导致设备控制延迟的可能性，不被优选。第二个问题是：存在于鱼眼相机的正下方等刚好是平面展开时的边界(图像的接缝)的位置的人或物体的像，因平面展开的处理会大幅变形或者像被截断，有无法正确地检测的顾虑。

为了回避这些问题，本发明人们正在研究将鱼眼图像保持原样地(“不平面展开”的意思。)施加检测处理的解决方案。但是，与通常的相机图像相比，在鱼眼图像的情况下，成为检测对象的人的外观(人体的倾斜、失真、大小)的变化增加，因此检测变得困难。特别地，设想BA或FA等的应用的情况下，在图像中存在很多椅子、个人计算机、垃圾桶、电风扇、循环器等容易误认为人体或头部的物体。因此，将物体作为人体而辨识的误检测增加，容易导致检测精度的降低。

本发明是鉴于上述的实际情况而完成的，其目的在于提供一种从鱼眼图像高速并且高精度地检测人的技术。

用于解决课题的手段

为了达成上述目的，本发明采用以下的结构。

本发明的第一侧面提供了一种人检测装置，是分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人的人检测装置，其特征在于，具有：检测部，从鱼眼图像检测人体候选以及物体；以及误检测判定部，基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系，判定所述人体候选是否为误检测。

“鱼眼相机”是搭载了鱼眼透镜的相机，是与通常的相机相比能够以超广角摄影的相机。全方位相机或全天球相机也是鱼眼相机的一种。鱼眼相机可以被设置为从检测对象区域的上方俯视检测对象区域。典型地将鱼眼相机的光轴设置为沿铅垂线向下，但鱼眼相机的光轴也可以对于铅垂方向倾斜。

“人体”可以是人的全身，也可以是半身(例如，上半身、头部与躯干等)。作为人体检测到的检测结果中，可能包含不是人体的物体，因此在检测的阶段中，也称为“人体候选”。“物体”的示例包括在办公室中的椅子、桌子、架子等，在工厂中的工作台、各种装置等。“人体候选的检测位置”，可以作为包围人体候选的区域整体来确定与物体的检测位置的位置关系，也可以作为包围人体候选的区域的中心坐标来确定与物体的检测位置的位置关系。同样地，“物体的检测位置”可以作为包围物体的区域全体，也可以作为包围物体的区域的中心坐标。“位置关系”包含人体候选与物体重叠的位置关系、人体候选相邻于物体而存在的位置关系等。

本发明通过验证被检测到的人体候选的检测位置与存在于人体候选的周边的物体的检测位置的位置关系的妥当性而进行误检测判定，能够通过简易的处理而实现高精度的人检测。而且，不需要将鱼眼图像平面展开等的预处理，因此能够实现高速的处理。此外，从设备管理的观点看，通过提高人检测的精度，能够适合地控制照明或者空调。

所述检测部确定所述物体的种类，所述误检测判定部也可以基于所述物体的种类来判定所述人体候选是否为误检测。根据物体的种类，与被设想的人体的位置关系不同。例如，人体坐在椅子上但不坐在桌子上。这样，本发明考虑物体的种类，通过验证人体候选的检测位置与物体的检测位置的位置关系的妥当性而进行误检测判定，能够更高精度地检测人体。

所述检测部可以设定所述物体的除外区域，所述误检测判定部也可以基于所述人体候选的检测位置与所述物体的除外区域的位置关系来判定所述人体候选是否为误检测。“除外区域”是在包围物体的区域中被设想为不与人体重叠的区域。检测部例如在人体候选的检测位置与除外区域重叠的情况下，或者在人体候选的中心包含于除外区域的情况下，能够将该人体候选的检测判定为误检测。除外区域可以对已知的物体预先设定。此外，除外区域也可以设为在包围物体的区域中除去了从周围起的特定的宽度的区域后的区域。本发明通过验证人体候选的检测位置与物体的除外区域的位置关系的妥当性而进行误检测判定，能够更高精度地检测人体。

所述误检测判定部也可以基于包围所述人体候选的区域与所述包围物体的区域或者所述物体的除外区域的重叠的区域的比例，来判定所述人体候选是否为误检测。重叠的区域的比例能够通过将重叠的区域的面积除以包围人体候选的区域面积来算出。在算出的比例比特定的阈值大的情况下，误检测判定部能够判定人体候选的检测为误检测。本发明通过根据人体候选与物体何种程度地重叠来验证位置关系的妥当性而进行误检测判定，能够更高精度地检测人体。

本发明的另一方式，提供了一种人体检测装置，是分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人的人检测装置，其特征在于，具有：检测部，从鱼眼图像检测人体候选以及物体；以及姿势估计部，基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系，估计所述人体候选的姿势。姿势估计部基于与物体的位置关系，能够估计人体是站立还是坐下的姿势。人检测装置包含人的姿势，能够更高精度地检测人体。通过估计人的姿势，能够适合地控制照明或者空调等的设备管理。

所述姿势估计部也可以对于所述人体候选的检测位置与所述物体的检测位置的位置关系，基于从所述鱼眼图像之前的帧起的该位置关系的变化来估计所述人体候选的动作。根据人体候选的检测位置与物体的检测位置的位置关系的变化，能够估计人体的动作。姿势估计部基于与物体的位置关系的变化，能够估计人体是站立还是坐下的动作。人检测装置包含人的动作，能够更高精度地检测人体。通过估计人的动作，能够合适地控制照明或者空调等的设备管理。

本发明的第二侧面提供了一种人检测方法，是分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人的人检测方法，其特征在于，具有：从鱼眼图像检测人体候选以及物体的检测步骤；以及基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系来判定所述人体候选是否为误检测的误检测判定步骤。

本发明可以作为具有上述手段的至少一部分的人检测装置来理解，也可以作为辨识(识别)检测到的人的人辨识装置、跟踪检测到的人的人追踪装置、或者图像处理装置或监视系统来理解。此外，本发明也可以作为包含上述处理的至少一部分的人检测方法、人辨识方法、人追踪方法、图像处理方法、监视方法来理解。此外，本发明能够作为用于实现该方法的程序或非暂时地记录该程序的记录介质来理解。另外，上述各个手段以及处理能够尽可能地相互地组合来构成本发明。

发明效果

根据本发明，能够提供一种从鱼眼图像高速并且高精度地检测人的技术。

附图说明

图1是表示本发明所涉及的人检测装置的应用例的图。

图2是表示鱼眼图像与边界框的例子的图。

图3是表示具备人检测装置的监视系统的结构例的图。

图4是人检测处理的流程图。

图5是表示基于检测部的人体候选的检测结果的例子的图。

图6是表示基于检测部的物体的检测结果的例子的图。

图7是例示误检测除去列表的图。

图8是说明基于与物体的位置关系的误检测的判定的图。

图9是说明基于与物体重叠的区域的比例的误检测的判定的图。

图10是表示具备变形例所涉及的人检测装置的监视系统的结构例的图。

图11是人的姿势估计处理的流程图。

具体实施方式

<应用例>

参考图1，对本发明所涉及的人检测装置的应用例进行说明。人检测装置1是分析通过设置在检测对象区域11的上方(例如顶棚12等)的鱼眼相机10得到的鱼眼图像来检测存在于检测对象区域11的人13的装置。该人检测装置1在例如办公室或工厂等中，进行对在检测对象区域11中工作的人13的检测、辨识、追踪等。

人检测装置1从鱼眼图像检测人体候选。在图1的例子中，从鱼眼图像检测到的3个人体各自的区域以矩形的边界框14表示。此外，放置在桌子上的笔记本电脑被误检测为人体，以边界框14表示。边界框14是表示包围人体候选的区域的封闭图形或者框线。人体候选的检测结果包含人体候选的检测位置。

此外，人检测装置1从鱼眼图像检测物体。被检测到的物体可以由与人体候选的边界框14能够区别的边界框表示。人检测装置1为了检测物体，使用被预先准备的词典，能够确定桌子、椅子、工作台、脚踏台之类的物体的种类。物体的检测结果包含物体的检测位置以及物体的种类。

人检测装置1确定存在于人体候选的周边的物体，基于人体候选的检测位置与存在于人体候选的周边的物体的检测位置的位置关系来判定所述人体候选是否为误检测。被判定为误检测的人体候选从人体的检测结果中被排除。基于人检测装置1的人体的检测结果被输出到外部装置，被利用于例如对人数的计数、对照明或空调等各种设备的控制、对可疑者的监视等。

在通过鱼眼相机10以俯视检测对象区域11的方式摄影的情况下，依赖于与鱼眼相机10的位置关系，人体的外观(拍摄方式)发生大幅变化。因此，鱼眼图像具有如下特征：边界框14的形状或尺寸根据图像上的检测位置而变化。人检测装置1具有的特征之一在于，考虑到这样的鱼眼图像的特性，通过验证被检测到的人体候选的边界框14的形状或尺寸的妥当性这一简单的方法而进行误检测判定，进行是否为误检测的判定。此外，人检测装置1具有的特征之一在于，将鱼眼图像保持原样地(即，不进行平面展开或失真校正等的预处理)用于人检测处理。

<实施方式>

(鱼眼图像的特性)

图2表示从鱼眼相机10获取的鱼眼图像的例子。图像坐标系以鱼眼图像的左下角为原点(0，0)，以横方向右侧为x轴，以纵方向上侧为y轴。

在将鱼眼相机10设置为光轴沿铅垂线向下的情况下，在鱼眼图像的中心表示从头顶部观察存在于鱼眼相机10的正下方的人的像。而且，随着去往鱼眼图像的端部而俯角变小，表示从斜上方观察人的像。此外，在直立的情况下，鱼眼图像中的人体以脚下位于图像的中心侧、头部位于图像的端侧，并且大致平行于穿过图像的中心的放射状的线(图2的虚线)的角度拍摄。此外，鱼眼图像的中心的失真相对较小，随着去往鱼眼图像的端部图像的失真变大。

符号14a～14f表示配置为包围鱼眼图像中的人体的区域的边界框。在本实施方式中，为了便于图像处理，使用由与x轴或者y轴平行的四边构成的矩形的边界框。

如图2所示，存在于鱼眼图像的中央区域边界框(例如，14a)大致呈正方形。此外，存在于对于中央区域的斜45度的区域的边界框(例如，14b、14c)也大致呈正方形。存在于中央区域的上侧以及下侧的区域的边界框(例如，14d)为纵长的长方形(具有平行于y轴的长边的长方形)，距离图像的中心越近则越接近正方形，距离图像的中心越远则越成为纵长。存在于中央区域的左侧以及右侧的区域的边界框(例如，14e、14f)为横长的长方形(具有平行于x轴的长边的长方形)，距离图像的中心越近则越接近正方形，距离图像的中心越远则越成为横长。

这样，鱼眼图像具有如下特性：依赖于以图像中心为基准的方位与距离，边界框的形状(例如，长宽比)产生变化。鱼眼图像上的每个位置或者区域的边界框的长宽比基于鱼眼相机10的光学特性、鱼眼相机10与检测对象区域11的位置关系以及平均人体尺寸，能够进行几何学计算(预测)。

此外，如图2所示，人体的拍摄的大小，在鱼眼图像的中心最大，越去往端部则变得越小。也就是说鱼眼图像具有如下特性：依赖于以图像中心为基准的距离，边界框的尺寸(例如，面积)产生变化(距离越远则尺寸变得越小)。针对鱼眼图像上每个位置或者区域的边界框的面积，基于鱼眼相机10的光学特性、鱼眼相机10与检测对象区域11的位置关系以及平均人体尺寸，能够进行几何学计算(预测)。

(监视系统)

参考图3对本发明的实施方式进行说明。图3是例示应用了本发明的实施方式所涉及的人检测装置1的监视系统2的结构的框图。监视系统2具备鱼眼相机10与人检测装置1。

鱼眼相机10是具有包含鱼眼透镜的光学系统与摄像元件(CCD或CMOS等的图像传感器)的摄像装置。例如如图1所示，鱼眼相机10被以光轴沿铅垂线向下的状态设置在检测对象区域11的顶棚12等，可以对检测对象区域11的全方位(360度)的图像进行摄影。鱼眼相机10通过有线(USB线缆、LAN线缆等)或者无线(WiFi等)连接到人检测装置1，由鱼眼相机10摄影的图像数据被取入到人检测装置1。图像数据可以是黑白图像、彩色图像的任一个，并且图像数据的分辨率或帧速率或格式是任意的。在本实施方式中，设想为：使用以10fps(每1秒10枚)取入的黑白图像。

本实施方式的人检测装置1具有：图像输入部20、检测部21、存储部23、判定基准列表24、误检测判定部25、输出部26。图像输入部20具有从鱼眼相机10取入图像数据的功能。被取入的图像数据被移交给检测部21。该图像数据也可以被储存在存储部23。

检测部21具有使用检测人体的算法来从鱼眼图像检测人体候选的功能。人体检测词典22A是预先登记表示在鱼眼图像的人体的图像特征的词典。此外，检测部21具有使用检测不是人体的物体的算法来从鱼眼图像检测存在于人体的周边的物体的功能。物体检测词典22B是预先登记表示在鱼眼图像的物体的图像特征的词典。物体检测词典22B按物体的每个种类登记图像特征，例如桌子、椅子、架子、梯子等。检测部21参考物体检测词典22B，能够确定检测到的物体的种类。

存储部23具有存储鱼眼图像、检测结果等的功能。存储部23区别并存储由检测部21检测到的人体与物体。判定基准列表24具有如下功能：基于人体与物体的位置关系，存储用于判定是否为误检测、或辨识人体的姿势的信息。该信息在监视系统2的运转之前(例如，在监视系统2的工厂出厂时、设置时、维护时等)被预先设定。此外，可以在监视系统2的运转之后被更新。

误检测判定部25具有验证检测部21的检测结果、判定误检测的有无的功能。输出部26具有将鱼眼图像或检测结果等的信息输出到外部装置的功能。例如，输出部26可以将信息显示在作为外部装置的显示器，也可以将信息转发到作为外部装置的计算机，也可以对作为外部装置的照明装置、空调或FA装置发送信息或控制信号。

人检测装置1能够由具备例如CPU(处理器)、存储器、储存器等的计算机构成。在这种情况下，图3所示的结构通过将储存在储存器的程序加载到存储器，由CPU执行该程序而实现。该计算机可以是个人计算机、服务器计算机、平板终端、智能手机这样的通用计算机，也可以是机载计算机这样的嵌入式计算机。或者，图3所示的结构的全部或者一部分可以由ASIC或FPGA等构成。或者，图3所示的结构的全部或者一部分可以由云计算或分布式计算实现。

(人检测处理)

图4是基于人检测装置1的人检测处理的流程图。参照图4对人检测处理的整体流程进行说明。另外，图4的流程图表示对于1帧的鱼眼图像的处理。在鱼眼图像以10fps被输入的情况下，图4的处理在1秒内被执行10次。

首先，图像输入部20从鱼眼相机10输入1帧的鱼眼图像(步骤S40)。如背景技术栏所述，以往是在作成了校正了鱼眼图像的失真的平面展开图像之后进行检测或辨识等的图像处理，但在本实施方式的监视系统2中，将鱼眼图像保持原样地(失真地)用于检测或辨识的处理。

接着，检测部21从鱼眼图像检测人体以及存在于人体的周边的物体(步骤S41)。在鱼眼图像内存在多个人的情况下，多个人体以及存在于各人体的周边的物体被检测。检测部21可以针对各自的人体执行如下处理：检测人体并检测存在于该人体的周边的物体。此外，检测部21可以在检测了被包含于鱼眼图像的人体与物体之后，对于检测到的各自的人体，确定存在于周边的物体。检测部21能够将检测到的人体与存在于该人体的周边的物体相对应地储存在存储部23。

检测部21识别检测到的物体的种类(桌子、椅子、架子、梯子等)。物体的种类的识别也称为物体辨识。由检测部21检测到的物体的检测结果被用于人体的误检测的判定。

这里，针对步骤S41中的人体的检测进行说明。检测部21错误地将不是人体的物体(例如，电风扇、桌椅、衣帽架等形状或颜色容易与人体混淆的物体)作为人体而检测的情况。这样检测部21作为人体检测到的检测结果中也能够包含不是人体的物体，因此在该阶段中称为“人体候选”。

图5是基于检测部21的人体候选的检测结果的例子。在该例子中，除了人体50、51、52，不是人体的物体53也作为人体候选被检测到。符号50a～53a表示各人体候选的边界框。

在人体候选的检测结果中，可以包含例如表示被检测到的人体候选的区域的边界框的信息与检测的信赖度(是人体的情况的可靠度(確からしさ))的信息。边界框的信息可以包含例如边界框的中心坐标(x，y)、高度h、宽度w(相当于人体候选的检测位置)。人体候选的检测结果被储存在存储部23。

另外，在人体检测中使用什么样的算法都可以。例如，可以使用组合HoG或Haar－like等的图像特征与提升方法(boosting)的识别器，也可以使用基于深度学习(deeplearning)(例如，R－CNN、Fast R－CNN、YOLO、SSD等)的人体辨识。在本实施方式中，作为人体检测人的全身，但不限于此，可以将上半身等身体的一部分作为检测对象。

接着，针对步骤S41中的物体的检测进行说明。图6是基于检测部21的物体的检测结果的例子。在该例子中，物体60～物体66被检测。在物体的检测结果中，包含例如表示被检测到的物体的区域的边界框的信息、物体的种类。边界框的信息可以包含例如边界框的中心坐标(x，y)、高度h、宽度w(相当于物体的检测位置)。边界框的信息被储存在存储部23。

物体60被辨识为桌子，作为物体的种类“桌子”被储存在存储部23。此外，物体61～物体66被辨识为椅子，作为物体的种类“椅子”被储存在存储部23。符号60a表示物体60(桌子)的边界框，符号61a～66a表示物体61～物体66(椅子)的边界框。另外，图6所示的物体的检测结果可以通过输出部26，重叠在图5所示的人体候选的检测结果上，并显示在作为外部装置的显示器上。

另外，在物体的检测以及物体辨识中使用什么样的算法都可以，与人体检测同样地，能够进行基于提升方法(boosting)(机器学习)或深度学习(deep learning)的检测以及辨识。在基于机械学习的物体辨识中，能够将存在于检测对象区域11的物体作为教师数据预先学习。

接着，误检测判定部25针对基于检测部21的人体候选的检测结果中包含的各个边界框50a～53a进行误检测的判定(步骤S42)。是否为误检测，基于各人体候选与在步骤S41中检测到的物体的位置关系被判定。例如，在与其他物体重叠的区域的比例大于特定的阈值的情况下，也就是说存在于其他物体之上这样的情况下，设想为：人体候选不是人体。在图5的例子中，人体候选53整体与桌子重叠，因此不是人体，被判定为误检测。误检测判定的详细将在后面叙述。

在被判定为误检测(即，不是人体)的人体候选被发现的情况(步骤S43的“是(YES)”)下，误检测判定部25修正被存储在存储部23中的检测结果(步骤S44)。具体地，误检测判定部25可以将被判定为误检测的人体候选的信息从检测结果除外，或者将被判定为误检测的人体候选的信赖度降低。最后，输出部26将检测结果输出到外部装置(步骤S45)。以上对于1帧的鱼眼图像的处理结束。

根据本实施方式的人检测处理，保持原样地分析鱼眼图像，从鱼眼图像直接地进行人检测。从而，能够省略诸如鱼眼图像的平面展开或失真校正的预处理，能够进行高速的人检测处理。将鱼眼图像保持原样地用于检测处理的方法，与在平面展开(失真校正)之后进行检测处理的方法相比，存在检测精度降低的问题。在本实施方式中，通过验证与存在于人体的周边的物体的位置关系来排除误检测，能够实现高精度的检测。

(误检测判定)

对基于误检测判定部25的误检测判定的具体例子进行说明。误检测判定部25基于人体候选的检测位置与存在于人体候选的周边的物体的检测位置的位置关系判定人体候选是否为误检测。位置关系包含例如人体候选与物体重叠的位置关系、人体候选相邻于物体而存在的位置关系。进一步地，误检测判定部25也可以根据重叠的物体的种类、或者相邻的物体的种类判定误检测。此外，误检测判定部25根据人体候选与物体重叠的程度或者与相邻的物体的距离来判定误检测。

(1)基于位置关系以及物体的种类的判定

设想为：人相对于会议室的桌子或者工厂内的工作台，存在于相邻的位置或存在于手与之重叠，但不坐在桌子或者工作台上。另一方面，椅子或者梯子等，有时会有人坐上去。这样，在判定对象的人体候选处于与物体重叠或者与物体相邻的位置关系的情况下，基于物体的种类，能够判定人体候选是否为人体。在这里，针对人体候选与物体重叠的情况中的误检测的判定进行说明。

在步骤S41中检测到的物体，与物体的种类一起被储存在存储部23。此外，判定基准列表24包含定义被设想为人不会重叠的物体的种类的误检测除去列表。图7是例示误检测除去列表的图。如图7例示的这样，桌子、架子、生产线工作台(用于进行基于流程作业的生产、组装等一系列工序的工作台)、工作台等是被设想为人不会重叠的物体。

误检测判定部25从在步骤S41中检测到的物体中，确定与判定对象的人体候选重叠的物体。在步骤S41中检测到的物体的边界框的中心坐标(x，y)、高度h、宽度w被储存在存储部23。从而，误检测判定部25确定人体候选的边界框与物体的边界框重叠的物体，作为与人体候选重叠的物体。人体候选的边界框与物体的边界框是否重叠，能够使用各边界框的中心坐标间的距离、以及各边界框的高度h、宽度w来判定。

另外，在步骤S41中，对于各人体候选，确定并检测与各自的人体候选重叠的物体的情况下，各人体候选对应于与各自的人体候选重叠的物体地被储存在存储部23。在该情况下，误检测判定部25能够参考存储部23，取得(确定)与人体候选重叠的物体。

误检测判定部25从与人体候选重叠的物体的检测结果取得物体的种类。误检测判定部25判定取得的物体的种类是否被包含于图7所示的误检测除去列表中。在物体的种类被包含于误检测除去列表的情况下，误检测判定部25判定为：步骤S41中的人体候选的检测是误检测。

例如，图5的人体候选53的边界框53a与图6的物体60的边界框60a重叠。物体60的种类是“桌子”。在误检测除去列表中包含“桌子”，因此误检测判定部25能够判定为：人体候选53的检测是误检测。

(2)基于与物体的除外区域的位置关系的判定

作为人体候选被检测到的人，通过把手放在桌子的边上或者在工作台上工作，存在与物体的周边部分重叠的情况。另一方面，在被多个人使用的大型的桌子上，认为人不会重叠在与周围隔着特定的宽度的中央部分。这样，基于人体候选与物体的位置关系，即人体候选与物体的哪一部分重叠，误检测判定部25能够判定人体候选是否为人体。

例如在人体候选的中心坐标被包含于对与人体候选重叠的物体而设定的除外区域内的情况下，误检测判定部25能够判定为：步骤S41中的人体候选的检测是误检测。此外，在人体候选的边界框与除外区域重叠的情况下，误检测判定部25判定为：步骤S41中的人体候选的检测是误检测。

对在步骤S41中被检测到的每个物体设定除外区域。检测部21例如能够将除去了从边界框的周围起的特定的宽度的区域后的区域，作为除外区域来设定。此外，如架子那样，设想为在前面侧与人体重叠的物体中，可以将背面侧(与人体不重叠的一侧)作为除外区域来设定。这样，检测部21能够基于被检测到的物体的种类来设定除外区域。

检测部21对每个检测到的物体，算出设定的除外区域的中心坐标(x，y)、高度h、宽度w，储存到存储部23。误检测判定部25能够参考被储存在存储部23中的除外区域的信息，判定人体候选的中心坐标是否被包含于重叠的物体的除外区域内。

这里，使用图8，针对基于与物体的位置关系的误检测的判定进行说明。在作为物体被检测到的物体60(桌子)中，由点划线表示的除外区域60b被设定。人体候选50的边界框50a与桌子60的边界框60a重叠，与除外区域60b不重叠。在该情况下，误检测判定部25能够判定为：人体候选50的检测不是误检测。

此外，人体候选53的边界框53a与除外区域60b重叠。边界框53a的中心坐标被包含于除外区域60b，因此误检测判定部25能够判定：人体候选53的检测是误检测。

(3)基于由与物体重叠的比例来确定的位置关系的判定

在人体候选与物体重叠的情况下，误检测判定部25能够使用人体候选与物体重叠的区域的比例，来判定人体候选是否为人体。也就是说，基于由人体候选与物体何种程度地重叠而确定的、人体候选与物体的位置关系，误检测判定部25能够判定人体候选是否为人体。

人体候选与物体重叠的区域的比例，例如，能够作为重叠的物体的边界框相对于人体候选的边界框所占的区域的比例而算出。误检测判定部25在算出的比例比特定的阈值更大的情况下，判定为：步骤S41中的人体候选的检测是误检测。另外，特定的阈值可以根据物体的种类被确定。例如，特定的阈值，能够在物体的种类为桌子的情况下设定为30％，在物体的种类为椅子的情况下设定为80％。这样，设想为椅子与人体重叠的区域与桌子相比更广，因此对于椅子的特定的阈值能够设定为比桌子更大的值。特定的阈值预先被储存于判定基准列表。

这里，使用图9，针对基于与物体重叠的区域的比例的误检测的判定进行说明。在图9(A)中，人体候选50与桌子60以及椅子62重叠。将人体候选50的边界框50a与桌子60的边界框60a重叠的区域设为区域A1。此外，将人体候选50的边界框50a与椅子62的边界框62a重叠的区域设为区域A2。如果区域A1相对于边界框50a的比例在阈值以下，误检测判定部25能够判定为：检测不是误检测。此外，如果区域A2相对于边界框50a的比例在阈值以下，误检测判定部25能够判定为：检测不是误检测。

另一方面，在图9(B)中，人体候选53与桌子60重叠。人体候选53的边界框53a被包含于桌子60的边界框60a的区域内。因此，桌子60的边界框60a相对于人体候选53的边界框53a重叠区域的比例是100％。在将对于桌子的特定的阈值设为30％的情况下，边界框60a对边界框53a重叠的区域的比例超过阈值。从而，误检测判定部25能够判定为：步骤S41中的人体候选的检测是误检测。

另外，上述的(1)～(3)的误检测判定的方法能够适当地组合。例如，误检测判定部25可以基于人体候选的边界框与物体的除外区域重叠的区域的比例，判定人体候选的检测是否为误检测。

<实施方式的作用效果>

在上述实施方式中，人检测装置1从鱼眼图像检测人体以及存在于人体候选的周边的物体。人检测装置1基于人体候选的检测位置与物体的检测位置的位置关系，判定人体候选的检测是否为误检测。由此，人检测装置1能够从鱼眼图像高速并且高精度地检测人。

此外，人检测装置1也可以基于人体候选的检测位置与物体的检测位置的位置关系以及物体的种类，判定人体候选的检测是否为误检测。通过物体的种类验证人体候选与物体的位置关系的妥当性，因此能够更高精度地检测人体。

此外，人检测装置1也可以基于人体候选的检测位置与物体的除外区域的位置关系，判定人体候选是否为误检测。除外区域作为不与人体重叠的区域被设定。与除外区域重叠的人体候选能够判定为是误检测，因此人检测装置1能够更高精度地检测人体。

进而，人检测装置1也可以基于人体候选与物体重叠的区域的比例，判定人体候选是否为误检测。人检测装置1根据人体候选与物体何种程度地重叠来验证位置关系的妥当性而进行误检测判定，因此能够更高精度地检测人体。

<变形例>

在实施方式中，通过人体与周边的物体的位置关系，判定人体候选的检测是否为误检测。对此，在变形例中，通过人体与周边的物体的位置关系，估计人体的姿势。

图10是表示具备变形例所涉及的人检测装置的监视系统的结构例的图。变形例所涉及的人检测装置1除了图3所示的实施方式的结构以外，具备姿势估计部27。姿势估计部27基于从鱼眼图像检测到的人体或者物体的检测结果，估计检测到的人体(人体候选)的姿势以及动作。姿势估计部27能够通过人体与周围的物体的位置关系估计人体的姿势。此外，姿势估计部27能够通过从当前帧之前的帧起的人体与物体的位置关系的变化，估计人体的动作，例如站立或坐下。姿势估计部27也能够通过从之前的帧起的人体的形状的变化，进行人体的动作的估计。

图11是人的姿势估计处理的流程图。根据图11对人的姿势估计的整体的流程。另外，图11的流程图表示对于1帧的鱼眼图像的处理。在鱼眼图像以10fps被输入的情况下，图11的处理在1秒内执行10次。步骤S100以及步骤S101的处理与图4的步骤S40以及步骤S41是同样的，因此省略说明。

姿势估计部27基于在S101中检测到的人体以及物体的检测结果，估计人的姿势以及动作(步骤S102)。姿势估计部27取得存在于检测到的人体的周边的物体的种类。在物体是椅子且人体与椅子重叠的情况下，估计为：检测到的人是坐着。在物体是桌子且人体在桌子前的情况下，也估计为：人是坐着。

姿势估计部27参考被储存在存储部23的、之前的帧中的检测结果，能够估计人的动作。例如，在之前的帧中被检测到的椅子在当前帧中未被检测到，且在椅子的周边检测到人体的情况下，姿势估计部27能够估计站着的人坐下了。此外，在之前的帧中被检测到的人体的形状变长的情况下，姿势估计部27能够估计为从坐着的状态站起来。相反地，在之前的帧中被检测到的人体的形状变短的情况下，姿势估计部27能够估计为从站着的状态坐下。

最后，输出部26将估计的结果输出到外部装置(步骤S103)。以上对于1帧的鱼眼图像的处理结束。

<变形例的作用效果>

只从鱼眼图像分析检测到的人体的图像，估计人的姿势或者动作很困难。在本变形例中，人检测装置1能够检测存在于人体的周边的物体，基于人体与物体的位置关系估计人体的姿势以及动作。这样，人检测装置1能够包含人的姿势以及动作，高精度地进行人体的检测。

<其他>

上述实施方式只是例示地对本发明的结构例进行说明。本发明不限定于上述的具体的方式，在该技术的思想的范围内能够进行各种各样的变形。例如，图7所示的表格的值、在上述实施方式中表示的阈值等都只是用于说明的例示。此外，在上述实施方式中，例示了矩形的边界框，也可以使用矩形以外的方式(多边形、椭圆、自由图形等)的边界框。

<附记1>

(1)一种人检测装置，是分析通过设置在检测对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像来检测存在于所述检测对象区域内的人(13)的人检测装置(1)，其特征在于，具有：

检测部(21)，从鱼眼图像检测人体候选以及存在于所述人体候选的周边的物体；以及

误检测判定部(25)，基于所述人体候选的检测位置与所述物体的检测位置的位置关系，判定所述人体候选是否为误检测。

(2)一种人检测装置，是分析通过设置在检测对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像来检测存在于所述检测对象区域内的人(13)的人检测装置(1)，其特征在于，具有：

检测部(21)，从鱼眼图像检测人体候选以及存在于所述人体候选的周边的物体；以及

姿势估计部(27)，基于所述人体候选的检测位置与所述物体的检测位置的位置关系，估计所述人体候选的姿势。

(3)一种人检测方法，是分析通过设置在检测对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像来检测存在于所述检测对象区域内的人(13)的人检测方法，其特征在于，具有：

从鱼眼图像检测人体候选以及存在于所述人体候选的周边的物体的检测步骤(S41)；以及

基于所述人体候选的检测位置与所述物体的检测位置的位置关系，判定所述人体候选是否为误检测的误检测判定步骤(S42)。

符号说明

1：人检测装置

2：监视系统

10：鱼眼相机

11：检测对象区域

12：顶棚

13：人

Claims (8)

1.一种人检测装置，分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人，其特征在于，具有：

检测部，从鱼眼图像检测人体候选以及物体；以及

误检测判定部，基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系，判定所述人体候选是否为误检测。

2.根据权利要求1所述的人检测装置，其特征在于，

所述检测部确定所述物体的种类，

所述误检测判定部基于所述物体的种类来判定所述人体候选是否为误检测。

3.根据权利要求1或者2所述的人检测装置，其特征在于，

所述检测部设定所述物体的除外区域，

所述误检测判定部基于所述人体候选的检测位置与所述物体的除外区域的位置关系来判定所述人体候选是否为误检测。

4.根据权利要求1至3中任一项所述的人检测装置，其特征在于，

所述误检测判定部基于包围所述人体候选的区域与包围所述物体的区域或者所述物体的除外区域重叠的区域的比例来判定所述人体候选是否为误检测。

5.一种人检测装置，分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人，其特征在于，具有：

检测部，从鱼眼图像检测人体候选以及物体；以及

姿势估计部，基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系，估计所述人体候选姿势。

6.根据权利要求5所述的人检测装置，其特征在于，具有：

所述姿势估计部具有姿势估计部，对于所述人体候选的检测位置与所述物体的检测位置的位置关系，基于从所述鱼眼图像之前的帧起的变化，估计所述人体候选的动作。

7.一种人检测方法，分析通过设置在检测对象区域的上方的鱼眼相机得到的鱼眼图像来检测存在于所述检测对象区域内的人，其特征在于，具有：

检测步骤，从鱼眼图像检测人体候选以及物体；以及

误检测判定步骤，基于所述人体候选的检测位置与存在于所述人体候选的周边的所述物体的检测位置的位置关系，判定所述人体候选是否为误检测。

8.一种程序，用于使计算机执行权利要求7中记载的人检测方法的各步骤。

Images