CN110383295B

CN110383295B - 图像处理装置、图像处理方法以及计算机能读取的存储介质

Info

Publication number: CN110383295B
Application number: CN201780088044.6A
Authority: CN
Inventors: 服部亮史; 奥村诚司; 守屋芳美; 西辻崇
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-03-14
Filing date: 2017-03-14
Publication date: 2022-11-11
Anticipated expiration: 2037-03-14
Also published as: JP6559378B2; TW201833822A; CN110383295A; SG11201906822YA; JPWO2018167851A1; WO2018167851A1; MY184063A

Abstract

参数取得部(204)从第1摄影图像提取被摄体的图像即被摄体图像，根据提取出的被摄体图像，按照每个参照图像改变存在于摄影空间内的被摄体的数量而生成在摄影空间内存在多个被摄体的多个参照图像，第1摄影图像是拍摄存在被摄体的摄影空间而得到的映出有被摄体的摄影图像。人数分析部(206)对第2摄影图像和多个参照图像进行比较，估计第2摄影图像中映出的被摄体的数量，第2摄影图像是摄影时刻与第1摄影图像不同的摄影空间的摄影图像。

Description

图像处理装置、图像处理方法以及计算机能读取的存储介质

技术领域

本发明涉及图像处理装置、图像处理方法以及计算机能读取的存储介质。

背景技术

以往，公知有从摄像机图像估计人的数量、密度或流量等的技术。作为从摄像机图像估计人的数量的技术，具有根据人物检测而对人数进行计数的手法或根据前景面积估计人的数量的手法等。前者在集群密度低的情况下在精度方面具有优势，但在集群密度变高时，因人物彼此的遮挡(隠蔽)的影响而出现检测精度下降的问题。后者在低密度时的分析精度不如前者，但在高密度时也能够以低运算量进行处理。

例如，在专利文献1中公开有后者的技术。具体而言，在专利文献1中，从拍摄集群而得到的图像指定通过背景差分提取出的前景作为人物区域。并且，在专利文献 1中，根据人物区域的面积估计图像内的人的数量。在专利文献1中，预先以多个拥挤度生成模仿集群的CG(Computer Graphics：电脑图像)模型。并且，能够导出考虑到集群彼此的遮挡的、前景面积与人数的关系式，进行抑制了遮挡影响的人数估计。

现有技术文献

专利文献

专利文献1：日本特开2005-25328号公报

发明内容

发明要解决的课题

通过背景差分取得的每个人物的前景面积根据基于实际观测到的人物的尺寸、照明条件等的前景提取精度而发生变化。因此，在专利文献1的技术中存在如下课题：预先生成的CG模型与从实际的摄像机图像提取出的前景不一致而使人数估计结果发生误差。

本发明的主要目的在于，解决如上所述的课题。具体而言，本发明的主要目的在于，提高估计摄影图像中映出的被摄体的数量的精度。

用于解决课题的手段

本发明的图像处理装置具有：

参照图像生成部，其从第1摄影图像提取被摄体的图像即被摄体图像，根据提取出的所述被摄体图像，按照每个参照图像改变存在于摄影空间内的所述被摄体的数量而生成在所述摄影空间内存在多个被摄体的多个参照图像，所述第1摄影图像是拍摄存在被摄体的所述摄影空间而得到的映出有所述被摄体的摄影图像；以及

被摄体数估计部，其对第2摄影图像和所述多个参照图像进行比较，估计所述第 2摄影图像中映出的被摄体的数量，所述第2摄影图像是摄影时刻与所述第1摄影图像不同的所述摄影空间的摄影图像。

发明效果

根据本发明，能够提高估计摄影图像中映出的被摄体的数量的精度。

附图说明

图1是示出实施方式1的集群监视装置的功能结构例的图。

图2是示出实施方式1的参数取得部的内部结构例的图。

图3是示出实施方式1的人数分析部的内部结构例的图。

图4是示出实施方式1的集群监视装置的动作例的流程图。

图5是示出实施方式1的参数取得部的动作例的流程图。

图6是示出实施方式1的人数分析部的动作例的流程图。

图7是示出实施方式1的人物检测结果的例子的图。

图8是示出实施方式1的前景提取结果的例子的图。

图9是示出实施方式1的关于检测到的人物而保存的信息的例子的图。

图10是说明实施方式1的摄像机的俯角的估计方法的图。

图11是说明实施方式1的水平线高度的导出方法的图。

图12是说明实施方式1的铅直点坐标的导出方法的图。

图13是示出实施方式1的拥挤等级1的集群前景图像的例子的图。

图14是示出实施方式1的拥挤等级2的集群前景图像的例子的图。

图15是示出实施方式1的拥挤等级3的集群前景图像的例子的图。

图16是示出实施方式1的拥挤等级1的集群前景图像的前景面积量的例子的图。

图17是示出实施方式1的拥挤等级2的集群前景图像的前景面积量的例子的图。

图18是示出实施方式1的拥挤等级3的集群前景图像的前景面积量的例子的图。

图19是说明实施方式1的人数估计处理的图。

图20是说明实施方式1的人数估计处理的图。

图21是说明实施方式1的人数估计处理的图。

图22是示出实施方式1的集群监视装置的硬件结构例的图。

图23是示出实施方式1的集群监视装置的功能结构与硬件结构的关系的图。

具体实施方式

下面，参照附图说明本发明的实施方式。在以下的实施方式的说明和附图中，标注有相同标号的部分表示相同的部分或相当的部分。

实施方式1

***结构说明***

图1示出实施方式1的集群监视装置20的功能结构例。

另外，图22示出实施方式1的集群监视装置20的硬件结构例。

集群监视装置20相当于图像处理装置。另外，由集群监视装置20进行的动作相当于图像处理方法和图像处理程序。

如图1所示，集群监视装置20与摄像机10连接。

摄像机10设置于俯视存在被摄体的摄影空间的位置处。摄影空间是摄像机10 的监视对象的空间。在本实施方式中，被摄体是人物。另外，在本实施方式中，假设在摄影空间内存在多个人物。下面，将存在于摄影空间内的多个人物又称作集群。

在说明图1的集群监视装置20的功能结构例之前，参照图22说明集群监视装置 20的硬件结构例。

集群监视装置20是计算机。

集群监视装置20作为硬件具备处理器1101、内存1102、网络接口1103以及存储装置1104。

在存储装置1104中存储有实现图1所示的图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的功能的程序。将该程序从存储装置1104加载到内存1102。处理器1101从内存1102 读入该程序。并且，处理器1101执行该程序，进行后述的图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的动作。

图1所示的参数保存存储器205通过存储装置1104实现。

图23示出图1所示的功能结构与图22所示的硬件结构的关系。在图23中，示出通过处理器1101实现图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的情况。另外，在图23 中，示出通过存储装置1104实现参数保存存储器205的情况。

网络接口1103接收来自摄像机10的压缩图像流。

接下来，说明图1所示的集群监视装置20的功能结构例。

图像接收解码部201对从摄像机10发布的压缩图像流进行解码，将压缩图像流变换成图像帧。图像帧是摄影空间的摄影图像。

模式切换控制部203对集群监视装置20的动作模式进行控制。集群监视装置20 的动作模式具有参数取得模式和人数计数模式。模式切换控制部203向切换开关202 输出模式控制信号。

切换开关202根据来自模式切换控制部203的模式控制信号切换图像帧的输出目的地。更具体而言，如果集群监视装置20的动作模式是参数取得模式，则切换开关 202将图像帧输出到参数取得部204。另一方面，如果集群监视装置20的动作模式是人数计数模式，则切换开关202将图像帧输出到人数分析部206。此外，从切换开关 202输出到参数取得部204的图像帧相当于第1摄影图像。另外，从切换开关202输出到人数分析部206的图像帧相当于第2摄影图像。从切换开关202输出到人数分析部206的图像帧是摄影时刻与从切换开关202输出到参数取得部204的图像帧不同的摄影空间的摄影图像。

在集群监视装置20的动作模式是参数取得模式时，参数取得部204利用图像帧取得用于人数分析的分析参数。

更具体而言，参数取得部204估计摄像机10的俯角作为摄像机10的外部参数。另外，参数取得部204从作为第1摄影图像的图像帧提取被摄体的图像即被摄体图像，根据提取出的被摄体图像和估计出的摄像机10的俯角来生成多个前景图。参数取得部204按照每个前景图改变存在于摄影空间内的被摄体的数量生成多个前景图。前景图被分割成多个部分区域。在前景图中，按照每个部分区域，示出部分区域中映出的被摄体的数量(区域被摄体数)和部分区域中的前景面积量。前景图是在由人数分析部206进行人数分析时与图像帧进行比较的图像。前景图相当于参照图像。

参数取得部204将生成的多个前景图作为分析参数存储到参数保存存储器205。

参数取得部204相当于参照图像生成部。另外，由参数取得部204进行的处理相当于参照图像生成处理。

参数保存存储器205保存由参数取得部204生成的分析参数。

在集群监视装置20的动作模式是人数计数模式时，人数分析部206实施人数分析。

更具体而言，人数分析部206比较作为第2摄影图像的图像帧和由参数取得部 204生成的多个前景图，估计图像帧中映出的被摄体的数量。

人数分析部206相当于被摄体数估计部。由人数分析部206进行的处理相当于被摄体数估计处理。

分析结果输出部207将由人数分析部206进行的人数分析的结果输出到外部。

图2示出参数取得部204的内部结构例。

参数取得部204由人物检测部2041、前景提取部2042、俯角估计部2043、前景图生成部2044以及人物信息保存存储器2045构成。

人物检测部2041从作为第1摄影图像的图像帧检测作为被摄体的人物的图像。

前景提取部2042提取由人物检测部2041确定的人物的前景图像。

俯角估计部2043根据大量人物的人物检测结果信息和前景图像估计摄像机10 的俯角。

前景图生成部2044根据摄像机10的俯角、大量人物的人物检测结果信息以及前景图像生成多个前景图。

并且，前景图生成部2044将前景图作为分析参数存储到参数保存存储器205。

人物信息保存存储器2045存储人物检测结果信息和前景图像。

图3示出人数分析部206的内部结构例。

人数分析部206由前景提取部2061和人数估计部2062构成。

前景提取部2061从作为第2摄影图像的图像帧提取前景图像。

人数估计部2062利用参数保存存储器205中保存的分析参数根据前景图像进行人数估计。

***动作的说明***

接下来，对实施方式1的集群监视装置20的动作例进行说明。

图4是示出集群监视装置20的动作例的流程图。

首先，在启动集群监视装置20之后，模式切换控制部203立刻将动作模式设定成参数取得模式(步骤ST01)。即，模式切换控制部203向切换开关202输出通知参数取得模式的模式控制信号。

接下来，模式切换控制部203参照参数保存存储器205，确认是否已经取得分析参数(步骤ST02)。即，模式切换控制部203确认是否在参数保存存储器205中保存有分析参数。

在尚未取得分析参数的情况(在ST02中“否”)下，经由步骤ST04、步骤ST05、 ST06，将分析参数存储到参数保存存储器205。

在将分析参数存储到参数保存存储器205之后的步骤ST02中，判断为已取得分析参数，处理进入到步骤ST03。

另一方面，在已经取得分析参数的情况(在步骤ST02中“是”)下，模式切换控制部203将动作模式变更成人数计数模式(步骤ST03)。

在启动集群监视装置20之前已经在参数保存存储器205中保存有分析参数的情况下，步骤ST02判定为“是”。另外，如上所述，经由步骤ST04、步骤ST05、ST06 而在参数保存存储器205中存储分析参数之后的步骤ST02也判定为“是”。

接下来，图像接收解码部201从摄像机10接收压缩图像流，对接收到的压缩图像流的至少1帧量的图像帧进行解码(步骤ST04)。图像接收解码部201作为压缩图像流，接收以例如H.262/MPEG-2video、H.264/AVC、H.265/HEVC或JPEG等图像压缩编码方式压缩后的图像编码数据。另外，图像接收解码部201作为压缩图像流，也可以接收以例如MPEG-2TS(Moving Picture Experts Group 2Transport Stream)、 RTP/RTSP(Real-timeTransport Protocol/Real Time Streaming Protocol)、MMT(MPEG Media Transport)或DASH(Dynamic Adaptive Streaming over HTTP)等图像发布协议进行IP发布的图像数据。

另外，图像接收解码部201作为压缩图像流，也可以接收以上述以外的编码方式编码后的图像数据或以上述以外的发布格式发布的图像数据。图像接收解码部201 作为压缩图像流，也可以接收以SDI(Serial Digital Interface)、HD(High Definition) -SDI等非压缩传输规格发布的图像数据。

接下来，切换开关202按照模式切换控制部203设定的动作模式，将从图像接收解码部201输出的图像帧输出到参数取得部204或人数分析部206(步骤ST05)。

即，如果从模式切换控制部203输出通知参数取得模式的模式控制信号，则切换开关202将图像帧输出到参数取得部204。另一方面，如果从模式切换控制部203输出通知人数计数模式的模式控制信号，则切换开关202将图像帧输出到人数分析部 206。

此外，在以下的说明中，以使参数取得部204和人数分析部206排他性地进行动作的结构为前提。但是，也可以设为在使人数分析部206进行动作的同时使参数取得部204进行动作，随时更新分析参数这样的结构。

在动作模式是参数取得模式的情况下，参数取得部204进行参数取得处理(步骤ST06)。即，参数取得部204依次处理来自切换开关202的图像帧而生成分析参数，将生成的分析参数存储到参数保存存储器205。参数取得部204通过对某个程度的期间的图像帧进行处理而生成分析参数。当完成分析参数的生成时，参数取得部204 向参数保存存储器205存储分析参数。当将分析参数存储到参数保存存储器205时，处理返回到步骤ST02。参数取得部204的动作的详情情况容后再述。

在动作模式是人数计数模式的情况下，人数分析部206进行人数计数处理(步骤ST07)。即，人数分析部206利用参数保存存储器205中保存的分析参数分析来自切换开关202的图像帧，从而分析该图像帧中映出的人物的人数。人数分析部206的动作的详情情况容后再述。

在由人数分析部206分析人数之后，分析结果输出部207将表示人数分析部206 的分析结果的人数分析结果输出到外部(步骤ST08)。

分析结果输出部207例如通过向监视器的显示、向日志文件的输出、向外部连接设备的输出或向网络的送出等而输出人数分析结果。另外，分析结果输出部207也可以通过其他形式输出人数分析结果。另外，也可以在每次从人数分析部206输出人数分析结果时输出到外部，还可以是间歇性的输出，例如对特定的期间或特定数量的人数分析结果进行合计或统计处理之后输出等。在步骤ST08之后返回到步骤ST04，进行接下来的图像帧的处理。

下面，对参数取得部204的详细的动作进行说明。

图5是示出参数取得部204的动作的流程图。

首先，人物检测部2041针对输入的图像帧实施人物检测处理，将人物检测结果信息保存到人物信息保存存储器2045(步骤ST11)。

人物检测部2041检测满足处于站立的状态、看到脚尖与地面的接触位置和头顶部、以及未引起与其他人物的遮挡或与其他人物的遮挡的比例小的人物。

人物检测部2041按照检测到的每个人物将人物检测结果信息输出到人物信息保存存储器2045。人物检测结果信息例如包含：表示恰好地包围检测到的人物的矩形、椭圆或其他形状的框的信息，表示检测到的人物的地面与脚的接地位置的坐标信息，表示人物的头顶部的坐标信息以及接地点的移动速度。

图7示出人物检测部2041的人物检测结果的图像。

作为人物检测的手法，可以使用HOG(Histogram of Oriented Gradients)、ICF(Integral Channel Features)、ACF(Aggregate Channel Features)等利用静止图像库的特征量的手法。另外，作为人物检测的手法，也可以使用利用运动图像库的特征量的手法，该运动图像库使用在时间上接近的多个图像帧。

另外，在本实施方式中，人物检测部2041使用以图像帧中映出的人物的尺寸未知为前提的人物检测手法。取而代之，人物检测部2041也可以进行多次人物检测，在得到按照每个图像区域的人物的标尺的倾向的时间点，切换成以该标尺为前提的人物检测手法，从而使处理更加高速化。

人物检测部2041根据横跨多个图像帧的特征点的追踪、人物的追踪等取得接地点的移动速度的信息。另外，也可以在从摄像机10输入的压缩图像流内包含用于压缩编码的运动向量的情况下，人物检测部2041直接使用该运动向量信息取得接地点的移动速度的信息。

参数取得部204既可以构成为将检测结果全部作为人物检测结果信息保存到人物信息保存存储器2045，也可以构成为为了节约人物信息保存存储器2045的容量，将人物信息保存存储器2045中蓄积的数据量抑制到一定以下。例如，在已经检测到人物的图像区域中人物检测部2041再次检测到别的人物的情况下，人物检测部2041 废弃任意的检测结果，将人物信息保存存储器2045中蓄积的数据量抑制到一定以下。另外，也可以是人物检测部2041取得检测结果的平均值，合并检测结果，将人物信息保存存储器2045中蓄积的数据量抑制到一定以下。

接下来，前景提取部2042根据人物检测结果信息进行包围检测到的人物的框区域内的前景提取，将其前景提取结果的图像与人物检测结果信息对应起来存储到人物信息保存存储器2045(步骤ST12、ST13)。

由前景提取部2042提取出的前景图像相当于被摄体图像。

图8示出前景提取结果的图像。

另外，图9示出人物信息保存存储器2045中保存的人物检测结果信息和与各个人物检测结果信息对应的人物的前景图像的成对的图像。此外，将人物检测结果信息和前景图像合起来称作人物信息。

前景提取部2042使用例如背景差分法、自适应型的背景差分法以及密集光流导出算法提取前景图像。

背景差分法是预先登记背景图像，计算输入图像与背景图像的差分的手法。另外，自适应型的背景差分法是根据连续地输入的图像帧，利用MOG(Mixture of Gaussian)Distribution等模型自动更新背景图像的手法。另外，密集光流导出算法是以像素为单位取得图像内的运动信息的手法。

接下来，前景提取部2042通过步骤ST11～13的处理判定是否取得了充分的人物信息(步骤ST14)。

在取得了充分的人物信息的情况下，处理进入到步骤ST15。另一方面，在未取得充分的人物信息的情况下，结束处理。

例如，以此前取得的人物信息的个数、从开始参数取得处理起的经过时间等尺度判定是否取得了充分的人物信息。另外，也可以实施从步骤ST15起的参数估计处理，以通过参数估计处理估计出的参数的可靠性判定是否取得了充分的人物信息。

在取得了充分的人物信息的情况下，俯角估计部2043使用人物信息保存存储器2045中保存的人物信息估计摄像机10的俯角(步骤ST15)。

图10、图11以及图12示出俯角估计处理的概要。

如图10所示，在本实施方式中，以将摄像机比水平更靠下方设置为前提。另外，以摄像机的镜头失真得到校正而视为针孔摄像机为前提。另外，以摄像机的内部参数已知，并且图像内的各个坐标的方向从光轴起具有何种程度的角度已知为前提。

在该情况下，如果在图像内与水平线高度相当的图像坐标已知，则可唯一地求出光轴方向与水平方向所成的角α[rad]。通过θ＝α求出光轴方向与地面所成的角即俯角θ[rad]。或者，如果在图像内与铅直点相当的图像坐标已知，则可唯一地求出光轴方向与铅直方向所成的角β[rad]。通过θ＝π/2-β求出俯角θ[rad]。

图11示出水平线高度的导出图像。

俯角估计部2043根据人物信息延长要移动的人物的接地点的移动方向，将多个人物的移动方向的延长线最常交叉的点视为水平线上的点。这基于多个行人并列且向前步行这样的前提。由于移动方向检测的精度误差、未平行地步行的行人等的影响，各个线未必在一点交叉。因此，俯角估计部2043利用大量人物信息，将更加似然的结果估计为水平高度。

图12示出铅直点坐标的导出图像。

俯角估计部2043根据人物信息延长连接头顶部与接地点的坐标而成的线即法线方向的线，将多个人物的法线方向的线最常交叉的点视为铅直点。这基于行人相对于地面直立这样的前提。由于头顶部与接地点的坐标的检测误差、未直立的行人等的影响，各个线未必在一点交叉。因此，俯角估计部2043利用大量人物信息，将更加似然的结果估计为铅直点坐标。

此外，利用水平线高度的方法适用于摄像机的俯角浅的情况即摄像机的俯角接近水平方向的情况。另外，利用铅直点的方法适用于摄像机的俯角深的情况即摄像机的俯角接近铅直方向的情况。俯角估计部2043既可以选择使用两个方法得到的俯角中的通过更加适合的方法得到的俯角，也可以选择两者的平均值。或者，俯角估计部 2043也可以使用其他俯角估计方法。

接下来，前景图生成部2044利用由俯角估计部2043得到的俯角信息和人物信息保存存储器2045中保存的人物信息，生成在人数分析部206中使用的前景图(步骤 ST16)。

更具体而言，前景图生成部2044首先根据俯角信息和人物接地点的移动信息计算路面上的二维坐标系(以下，称作路面坐标系)。例如，前景图生成部2044将人物的主要的移动方向定义为X方向，将与X方向正交的方向定义为Y方向。

接下来，前景图生成部2044求出路面坐标系下的坐标即路面坐标的绝对标尺。前景图生成部2044例如将路面坐标上的单位时间的移动幅度视为基于预先给出的行人的平均移动速度的移动幅度而，求出路面坐标的绝对标尺。

接下来，在取得路面坐标系之后，前景图生成部2044对在步骤ST13中取得的每个人物的前景图像进行合成，生成假定在特定的拥挤度下观测的集群的前景图像 (以下，称作集群前景图像)。

图13、图14以及图15示出集群前景图像的例子。图13示出拥挤等级1的集群前景图像的例子。图14示出拥挤等级2的集群前景图像的例子。图15示出拥挤等级 3的集群前景图像的例子。

如图13～图15所示，前景图生成部2044按照每个集群前景图像改变存在于摄影空间内的人物的数量，生成在摄影空间内存在多个人物的多个集群前景图像。

另外，如图13～图15所示，在集群前景图像中，根据人物的密度、配置，在人物之间发生遮挡。

前景图生成部2044在将此前取得的人物信息的接地点的图像坐标变换成路面坐标之后，在路面坐标系下在人物密度为既定值的多个位置粘贴前景图像而生成集群前景图像。例如图13所示的路面坐标的栅格在路面坐标系下为50cm间隔。即，栅格整体为4[m²]。在设拥挤等级1的集群密度为1[人/m²]时，前景图生成部2044在栅格内随机地配置4个人物。在设拥挤等级2的集群密度为2[人/m²]时，前景图生成部2044 在栅格内随机地配置8个人物。在设拥挤等级3的集群密度为4[人/m²]时，前景图生成部2044在栅格内随机地配置16个人物。在任何情况下，前景图生成部2044均以人物彼此不会过于靠近的方式，例如以确保人的肩宽平均值、每个密度的个人空间半径平均值以上的距离的方式随机地配置人物。

接下来，如图16、图17以及图18所示，前景图生成部2044在生成集群前景图像之后，将集群前景图像划分为多个部分区域，按照拥挤等级计算每1个人物的前景面积量(例：150像素/人)。此外，在图17和图18中，由于制图方面的原因，对一部分人物不显示前景面积量。

另外，前景图生成部2044按照每个部分区域计算部分区域中包含的前景面积量。例如，在由图16的标号161所示的部分区域中，例如得到90像素/部分区域。集群前景图像是将多个人物的前景图像合成而生成的，因此，前景图生成部2044能够得到各个部分区域中映出的人物的数量的真值。前景图生成部2044按照每个部分区域计数部分区域中映出的人物的数量。在1个部分区域中包含有1个人物的全部前景图像的情况下，该部分区域中映出的人物的数量为1人(1人/部分区域)。在1个部分区域中仅包含人物的一部分前景图像的情况下，前景图生成部2044将该人物的前景图像的面积整体除以该部分区域中包含的该人物的部分的面积，从而以小数点以下的单位求出该部分区域中包含的人数。例如，标号161的部分区域中包含的人物的前景面积量是150像素。假设在标号161的部分区域中包含有90像素，前景图生成部2044 将标号161的部分区域中包含的人数定义为0.6人(90÷150＝0.6)(0.6人/部分区域)。

并且，前景图生成部2044对各个部分区域附加部分区域中包含的人物的前景面积量(例：90像素/部分区域)和部分区域中包含的人物的数量(例：1人/部分区域、 0.6人/部分区域)。

下面，将部分区域中包含的人物的前景面积量(例：90像素/部分区域)称作区域人物面积量。另外，将部分区域中包含的人物的数量(例如：1人/部分区域、0.6 人/部分区域)称作区域人物数。

将对各个部分区域附加区域人物面积量和区域人物数而成的集群前景图像称作前景图。如上所述，前景图相当于参照图像。

此外，前景图生成部2044也可以按照每个拥挤等级生成多个集群前景图像。即，前景图生成部2044也可以针对1个拥挤等级(例如，拥挤等级3)随机地改变人物的配置来生成多个集群前景图像。这样，在针对1个拥挤等级生成多个集群前景图像的情况下，前景图生成部2044也可以将从多个集群前景图像得到的多个前景图全部存储到参数保存存储器205。另外，前景图生成部2044也可以通过取从多个集群前景图像得到的多个前景图的平均值，将多个前景图合并成1个前景图，仅将该1个前景图存储到参数保存存储器205。由此，可预测到能够与各种人物的配置图案对应的效果。

最后，人物信息保存存储器2045将生成的前景图存储到参数保存存储器205(步骤ST17)。通过存储前景图而完成参数取得处理。

下面，对人数分析部206的详细的动作进行说明。图6是示出人数分析部206 的动作的流程图。

首先，前景提取部2061针对输入的图像帧整体或关注区域进行前景提取(步骤ST21)。该前景提取处理是与参数取得部204的前景提取部2042的前景提取处理相同的处理。

接下来，人数估计部2062针对由前景提取部2061提取出的前景图像，利用参数保存存储器205中保存的每个拥挤等级的前景图进行人数估计(步骤ST22)。

图19、图20以及图21对人数估计处理进行说明。

如图19所示，人数估计部2062从图像帧提取前景图像。并且，人数估计部2062 将前景图像划分为与前景图相同的部分区域。下面，将图19所示的前景图像中的部分区域称作估计对象部分区域。

如图20所示，人数估计部2062按照每个估计对象部分区域判定前景面积量。

接下来，人数估计部2062按照每个估计对象部分区域，从每个拥挤等级的多个前景图提取位于相同位置的部分区域，对提取出的部分区域的各个部分区域中的前景面积量和估计对象部分区域中的前景面积量进行比较。并且，人数估计部2062选择与估计对象部分区域中的前景面积量最相似的前景面积量的前景图的部分区域。

人数估计部2062例如针对图20的前景图像的第1行第1列(最上段的左端)的估计对象部分区域，从拥挤等级1～3的前景图的各个前景图中提取第1行第1列的部分区域。接下来，人数估计部2062对从拥挤等级1～3的前景图提取出的3个部分区域的各个部分区域中的前景面积量和图20的估计对象部分区域中的前景面积量进行比较。并且，人数估计部2062从提取出的3个部分区域中选择附加有与图20的估计对象部分区域中的前景面积量最相似的前景面积量的部分区域。人数估计部2062 对图20的全部估计对象部分区域进行以上的处理。下面，将针对估计对象部分区域选择出的部分区域称作选择部分区域。

这样，人数估计部2062按照每个估计对象部分区域，从拥挤等级1～3的前景图中选择选择部分区域。因此，有时选择部分区域的拥挤等级根据估计对象部分区域而不同。例如可能发生如下情况：针对图20的前景图像的第n行第m列的估计对象部分区域，选择拥挤等级3的前景图的部分区域，针对第n行第m+1列的估计对象部分区域，选择拥挤等级2的前景图的部分区域，针对第n行第m+2列的估计对象部分区域，选择拥挤等级1的前景图的部分区域。

接下来，人数估计部2062按照每个估计对象部分区域选择估计对象部分区域中包含的人物的数量。具体而言，人数估计部2062将估计对象部分区域的前景面积量除以选择部分区域的区域人物面积量，并对商乘以选择部分区域的区域人物数。即，人数估计部2062进行(估计对象部分区域的前景面积量)÷(选择部分区域的区域人物面积量)×(选择部分区域的区域人物数)这样的计算，求出估计对象部分区域中包含的人物的数量。

并且，人数估计部2062合计按照每个估计对象部分区域得到的人数，得到图像帧整体或关注区域中包含的人数。

***实施方式的效果的说明***

如上所述，在本实施方式中，参数取得部204利用实际观测到的前景图像，考虑遮挡而求出区域人物面积量和区域人物数。并且，人数分析部206对人数估计对象的前景图像应用区域人物面积量和区域人物数而估计人数，因此，无需预先取得人物的平均尺寸而能够高精度地估计人数。

另外，在本实施方式中，参数取得部204估计作为摄像机的外部参数的摄像机的俯角，因此无需预先测定摄像机的外部参数。在专利文献1公开的技术中，为了生成 CG模型，需要预先测定而取得摄像机外部参数。摄像机外部参数例如是摄像机的俯角、散布的人物的各个人物到摄像机的距离等参数。这样，在专利文献1公开的技术中，需要预先测定而取得摄像机外部参数，因此存在设置摄像机时的成本较大这样的课题。在本实施方式中，如上所述，具有无需预先测定摄像机的外部参数这样的效果。

此外，以上将人作为被摄体的例子进行了说明，但被摄体不限于人。被摄体例如也可以是野生动物、昆虫等生命体或车辆等人以外的移动体。

另外，本申请能够在其发明的范围内进行实施方式所示的结构要素或步骤的自由组合、变形、省略。

***硬件结构的说明***

最后，对集群监视装置20的硬件结构进行补充说明。

图22所示的处理器901是进行处理的IC(Integrated Circuit：集成电路)。

处理器1101是CPU(Central Processing Unit：中央处理单元)、DSP(DigitalSignal Processor：数字信号处理器)等。

图22所示的内存1102是RAM(Random Access Memory：随机存取存储器)。

图22所示的存储装置1104是ROM(Read Only Memory：只读存储器)、闪存、 HDD(Hard Disk Drive：硬盘驱动器)等。

图22所示的网络接口1103包含接收数据的接收机和发送数据的发送机。

网络接口1103例如是通信芯片或NIC(Network Interface Card：网络接口卡)。

另外，在存储装置1104中还存储有OS(Operating System：操作系统)。

并且，由处理器1101执行OS的至少一部分。

处理器1101在执行OS的至少一部分的同时执行实现图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的功能的程序。

通过处理器1101执行OS，进行任务管理、内存管理、文件管理、通信控制等。

另外，将表示图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的处理结果的信息、数据、信号值以及变量值的至少任意一个存储于内存1102、存储装置1104、处理器1101内的寄存器以及高速缓冲存储器中的至少任意一个。

另外，还可以将实现图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的功能的程序存储于磁盘、软盘、光盘、高密度盘、蓝光(注册商标)光盘、DVD等移动存储介质。

另外，也可以将图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207的“部”改称作“电路”或“工序”或“步骤”或“处理”。

另外，集群监视装置20也可以通过逻辑IC(Integrated Circuit：集成电路)、GA(Gate Array：门阵列)、ASIC(Application Specific Integrated Circuit：面向特定用途的集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)这样的电子电路来实现。

在该情况下，图像接收解码部201、切换开关202、模式切换控制部203、参数取得部204、人数分析部206以及分析结果输出部207分别作为电子电路的一部分来实现。

此外，还将处理器和上述的电子电路统称作处理线路。

(符号说明)

10摄像机；20集群监视装置；201图像接收解码部；202切换开关；203模式切换控制部；204参数取得部；205参数保存存储器；206人数分析部；207分析结果输出部；1101处理器；1102内存；1103网络接口；1104存储装置；2041人物检测部； 2042前景提取部；2043俯角估计部；2044前景图生成部；2045人物信息保存存储器； 2061前景提取部；2062人数估计部。

Claims

1.一种图像处理装置，该图像处理装置具有：

被摄体数估计部，其对第2摄影图像和所述多个参照图像进行比较，估计所述第2摄影图像中映出的被摄体的数量，所述第2摄影图像是摄影时刻与所述第1摄影图像不同的所述摄影空间的摄影图像。

2.根据权利要求1所述的图像处理装置，其中，

所述参照图像生成部将所述多个参照图像的各个参照图像划分为多个部分区域，按照各个参照图像的每个部分区域，计算部分区域中映出的被摄体的数量作为区域被摄体数，

所述被摄体数估计部将所述第2摄影图像划分为所述多个部分区域，按照所述第2摄影图像的每个部分区域，从所述多个参照图像的各个参照图像提取位于与所述第2摄影图像的部分区域的位置相同的位置处的部分区域，对提取出的多个部分区域的各个部分区域和所述第2摄影图像的部分区域进行比较，从提取出的所述多个部分区域中选择任意的部分区域，使用选择出的部分区域的区域被摄体数，估计所述第2摄影图像中映出的被摄体的数量。

3.根据权利要求2所述的图像处理装置，其中，

所述参照图像生成部按照各个参照图像的每个部分区域，计算所述区域被摄体数和部分区域中的前景面积量，

所述被摄体数估计部按照所述第2摄影图像的每个部分区域，计算所述第2摄影图像的部分区域中的前景面积量，

所述被摄体数估计部按照所述第2摄影图像的每个部分区域，对提取出的所述多个部分区域的各个部分区域中的前景面积量和所述第2摄影图像的部分区域中的前景面积量进行比较，选择与所述第2摄影图像的部分区域中的前景面积量相似的前景面积量的部分区域，

所述被摄体数估计部按照所述第2摄影图像的每个部分区域，使用选择出的部分区域的区域被摄体数、选择出的部分区域中的前景面积量以及所述第2摄影图像的部分区域中的前景面积量，估计所述第2摄影图像的部分区域中映出的被摄体的数量，

所述被摄体数估计部根据按照所述第2摄影图像的每个部分区域估计出的被摄体的数量，估计所述第2摄影图像中映出的被摄体的数量。

4.根据权利要求1所述的图像处理装置，其中，

所述参照图像生成部按照存在于所述摄影空间内的被摄体的数量，生成存在于所述摄影空间内的被摄体的数量相同且被摄体的配置不同的多个参照图像。

5.根据权利要求1所述的图像处理装置，其中，

所述参照图像生成部生成在被摄体之间发生遮挡的参照图像。

6.根据权利要求1所述的图像处理装置，其中，

所述参照图像生成部从由设置于俯视所述摄影空间的位置处的摄像机拍摄到的所述第1摄影图像提取所述被摄体图像，分析所述第1摄影图像来估计所述摄像机的俯角，根据提取出的所述被摄体图像和估计出的所述摄像机的俯角，生成所述多个参照图像。

7.一种图像处理方法，其中，

计算机从第1摄影图像提取被摄体的图像即被摄体图像，根据提取出的所述被摄体图像，按照每个参照图像改变存在于摄影空间内的所述被摄体的数量而生成在所述摄影空间内存在多个被摄体的多个参照图像，所述第1摄影图像是拍摄存在被摄体的所述摄影空间而得到的映出有所述被摄体的摄影图像，

所述计算机对第2摄影图像和所述多个参照图像进行比较，估计所述第2摄影图像中映出的被摄体的数量，所述第2摄影图像是摄影时刻与所述第1摄影图像不同的所述摄影空间的摄影图像。

8.一种存储有图像处理程序的计算机能读取的存储介质，该图像处理程序使计算机执行如下处理：

参照图像生成处理，从第1摄影图像提取被摄体的图像即被摄体图像，根据提取出的所述被摄体图像，按照每个参照图像改变存在于摄影空间内的所述被摄体的数量而生成在所述摄影空间内存在多个被摄体的多个参照图像，所述第1摄影图像是拍摄存在被摄体的所述摄影空间而得到的映出有所述被摄体的摄影图像；以及

被摄体数估计处理，对第2摄影图像和所述多个参照图像进行比较，估计所述第2摄影图像中映出的被摄体的数量，所述第2摄影图像是摄影时刻与所述第1摄影图像不同的所述摄影空间的摄影图像。