CN111279392A - 集群密度计算装置、集群密度计算方法以及集群密度计算程序 - Google Patents
集群密度计算装置、集群密度计算方法以及集群密度计算程序 Download PDFInfo
- Publication number
- CN111279392A CN111279392A CN201780096261.XA CN201780096261A CN111279392A CN 111279392 A CN111279392 A CN 111279392A CN 201780096261 A CN201780096261 A CN 201780096261A CN 111279392 A CN111279392 A CN 111279392A
- Authority
- CN
- China
- Prior art keywords
- unit
- density distribution
- image
- cluster density
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 49
- 238000009826 distribution Methods 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
在计算集群密度的集群密度计算装置(100)中，影像取得部(110)从拍摄有人的影像流(22)取得影像帧(21)。分析部(120)将三维坐标与影像帧(21)对应起来，取得表示在影像帧(21)上根据三维坐标而得到的多个立体空间的各个立体空间的区域，作为多个立体区域的各个立体区域。分析部(120)根据多个立体区域的各个立体区域中存在的人的数量计算影像帧中的人的密度分布作为集群密度分布(225)。
Description
技术领域
本发明涉及集群密度计算装置、集群密度计算方法以及集群密度计算程序。
背景技术
具有根据摄像机影像估计人的数量或人的密度的技术。作为根据摄像机影像估计人的数量的技术，具有根据人物检测而对人数进行计数的手法或根据前景面积估计人数的手法这样的技术。
在基于人物检测的手法中，当集群密度低时，能够高精度地估计人的数量。但是，在该手法中，运算量随着人数增加而增加。进而，在该手法中，集群密度随着人数增加而升高，因此，由于人物彼此的遮挡即隠蔽的影响而导致估计精度下降。
在根据前景面积估计人数的手法中，在集群密度低的情况下，与基于人物检测的手法相比，估计精度下降。但是，在该手法中，即便在集群密度高的情况下，运算量也不会改变。
另外，估计人的密度的技术与按照影像帧的每个任意区域估计人数的技术是等效的。
在专利文献1和专利文献2中公开有如下的技术：取得拍摄集群而得到的影像，将通过背景差分提取出的前景作为人物区域，根据人物区域的面积估计画面内的人数。
在专利文献1中，计算以数量的方式表示图像中的各个像素对人的数量的帮助程度的负荷值。根据图像中的对象物的表观上的体积计算负荷值。由此，解决由于进深的不同而使每单位人数的前景面积的表现方式不同这样的课题，即使是具有进深的图像也能够估计人数。
另外，在专利文献2中，以多个拥挤度制作预先模拟集群而成的CG(computergraphics：计算机图形)模型，导出考虑到集群彼此的遮挡的前景面积与人数的关系式。并且，在专利文献2中，能够抑制遮挡的影响而估计人数。
现有技术文献
专利文献
专利文献1：日本特开2009-294755号公报
专利文献2：日本特开2005-025328号公报
发明内容
发明要解决的课题
在专利文献1和专利文献2公开的技术中，计算存在于影像帧的人的数量和影像帧中的任意区域中的人的密度。但是，未进行现实世界的物理空间上的人位置的估计。这是因为，在专利文献1和专利文献2中进行了从物理空间上的点到影像帧上的点的应对，但未进行相反的应对。
本发明的目的在于，根据影像帧计算现实世界的物理空间上的集群的存在位置，作为集群的密度分布输出。
用于解决课题的手段
本发明的集群密度计算装置具备：
影像取得部，其从拍摄有人的影像流取得影像帧；以及
分析部，其将三维坐标与所述影像帧对应起来，取得表示在所述影像帧上根据所述三维坐标而得到的多个立体空间的各个立体空间的区域，作为多个立体区域的各个立体区域，根据所述多个立体区域的各个立体区域中存在的人的数量计算所述影像帧中的人的密度分布作为集群密度分布。
发明效果
根据本发明的集群密度计算装置，分析部将三维坐标与影像帧对应起来，取得表示在影像帧上根据三维坐标而得到的多个立体空间的各个立体空间的区域作为多个立体区域的各个立体区域。另外，分析部根据多个立体区域的各个立体区域中存在的人的数量计算影像帧中的集群密度分布。因此，根据本发明的集群密度计算装置，能够根据影像帧定量地掌握现实世界的物理空间中的集群密度分布。
附图说明
图1是实施方式1的集群密度计算装置的结构图。
图2是实施方式1的分析部的详细结构图。
图3是说明集群密度分布的定义的图。
图4是示出将ΔX与ΔY的大小固定时的集群密度分布的图像的图。
图5是示出将现实世界的物理空间上的点映射到影像帧坐标系的图像的图。
图6是实施方式1的集群密度计算处理的流程图。
图7是实施方式1的分析处理的流程图。
图8是示出按照每个立体区域将前景面积换算成人数的图像的图。
图9是示出根据每个立体区域的人数输出暂定密度分布的图像的图。
图10是示出正确前景图像的图像的图。
图11是示出在正确前景图像中将拥挤等级数值化的图像的图。
图12是示出实施方式1的存在判定处理的图像的图。
图13是实施方式1的变形例的集群密度计算装置的结构图。
图14是实施方式2的分析部的详细结构图。
图15是实施方式2的分析处理的流程图。
图16是示出实施方式2的位置校正处理的图像的图。
图17是实施方式3的分析处理的流程图。
具体实施方式
以下，参照附图，对本发明的实施方式进行说明。另外，在各个图中，对相同或相应的部分标注相同的标号。在实施方式的说明中，对相同或相应的部分适当省略或简化说明。
实施方式1
***结构的说明***
利用图1，对本实施方式的集群密度计算装置100的结构进行说明。
集群密度计算装置100为计算机。集群密度计算装置100具备处理器910，并且具备存储器921、辅助存储装置922、输入接口930、输出接口940以及通信装置950这样的其他硬件。处理器910经由信号线而与其他硬件连接，对这些其他硬件进行控制。
作为功能要素，集群密度计算装置100具备影像取得部110、分析部120、结果输出部130以及存储部140。存储部140存储有在分析部120的分析处理中使用的分析参数141。
影像取得部110、分析部120以及结果输出部130的功能通过软件实现。存储部140设置于存储器921。存储部140也可以设置于辅助存储装置922。
处理器910是执行集群密度计算程序的装置。集群密度计算程序是实现影像取得部110、分析部120以及结果输出部130的功能的程序。
处理器910是进行运算处理的IC(Integrated Circuit：集成电路)。处理器910的具体例为CPU、DSP(Digital Signal Processor：数字信号处理器)、GPU(GraphicsProcessing Unit：图形处理单元)。
存储器921是临时存储数据的存储装置。存储器921的具体例为SRAM(StaticRandom Access Memory：静态随机存取存储器)或DRAM(Dynamic Random Access Memory：动态随机存取存储器)。
辅助存储装置922是保管数据的存储装置。辅助存储装置922的具体例为HDD。另外，辅助存储装置922也可以是SD(注册商标)存储卡、CF、NAND闪存、软盘、光盘、高密度盘、蓝光(注册商标)光盘、DVD这样的移动存储介质。另外，HDD是Hard Disk Drive(硬盘驱动器)的简称。SD(注册商标)是Secure Digital(安全数字)的简称。CF是Compact Flash(紧凑型闪存卡)的简称。DVD是Digital Versatile Disk(数字多功能盘)的简称。
输入接口930是与鼠标、键盘或触摸面板这样的输入装置连接的端口。另外，输入接口930也可以是与摄像机200连接的端口。具体而言，输入接口930是USB(UniversalSerial Bus：通用串行总线)端子。另外，输入接口930也可以是与LAN(Local AreaNetwork：局域网)连接的端口。集群密度计算装置100也可以经由输入接口930而从摄像机200取得影像流21。
输出接口940是连接有显示器这样的输出设备的缆线的端口。具体而言，输出接口940是USB端子或HDMI(注册商标)(High Definition Multimedia Interface：高清晰度多媒体接口)端子。具体而言，显示器为LCD(Liquid Crystal Display：液晶显示器)。集群密度计算装置100经由输出接口940而将由结果输出部130输出的分析结果显示到显示器。
通信装置950经由网络而与其他装置通信。通信装置950具有接收器和发射器。通信装置950以有线或无线的方式与LAN、互联网或电话线路这样的通信网连接。具体而言，通信装置950为通信芯片或NIC(Network Interface Card：网络接口卡)。集群密度计算装置100经由通信装置950而从摄像机200接收影像流22。另外，集群密度计算装置100经由通信装置950而将由结果输出部130输出的分析结果发送到外部的装置。
集群密度计算程序由处理器910读入，由处理器910执行。在储器921中不仅存储有集群密度计算程序，还存储有OS(Operating System：操作系统)。处理器910一边执行OS一边执行集群密度计算程序。集群密度计算程序和OS也可以存储于辅助存储装置922。存储于辅助存储装置922的集群密度计算程序和OS被加载到存储器921，由处理器910执行。另外，也可以将集群密度计算程序的一部分或全部组入OS。
集群密度计算装置100也可以具备代替处理器910的多个处理器。这些多个处理器分担执行集群密度计算程序。各个处理器是与处理器910同样地执行集群密度计算程序的装置。
由集群密度计算程序利用、处理或输出的数据、信息、信号值以及变量值存储于存储器921、辅助存储装置922或处理器910内的寄存器或高速缓冲存储器。
集群密度计算程序使计算机执行将影像取得部110、分析部120以及结果输出部130的各部的“部”改写成“处理”、“顺序”或“工序”的各个处理、各个顺序或各个工序。另外，集群密度计算方法是通过集群密度计算装置100执行集群密度计算程序而进行的方法。
集群密度计算程序存储于计算机能读取的记录介质来提供。另外，集群密度计算程序也可以作为程序产品来提供。
利用图2，对本实施方式的分析部120的具体结构进行说明。
分析部120具备前景提取部121、暂定密度计算部122、存在判定部123、标准化部124以及分布输出部125。即，影像取得部110、分析部120以及结果输出部130的各部是影像取得部110、前景提取部121、暂定密度计算部122、存在判定部123、标准化部124、分布输出部125以及结果输出部130的各部。
利用图1和图2，对集群密度计算装置100的各个功能要素的概要进行说明。
集群密度计算装置100与拍摄物体并作为影像流21发布的摄像机200连接。具体而言，物体是指人。即，影像流21是集群影像。
影像取得部110经由输入接口930而取得从摄像机200发送的影像流21。影像取得部110从影像流21取得影像帧22。具体而言，影像取得部110对影像流21进行解码而变换成影像帧22。
分析部120将三维坐标与影像帧22对应起来。分析部120取得表示在影像帧22上根据三维坐标而得到的多个立体空间的各个立体空间的区域，作为多个立体区域的各个立体区域。并且，分析部120根据多个立体区域的各个立体区域中存在的人的数量计算影像帧22中的集群密度分布。即，分析部120利用影像帧22计算物理空间上的三维坐标中的集群的位置作为集群密度分布225。
结果输出部130经由输出接口940而将从分析部120输出的集群密度分布225输出到显示器这样的输出装置。
接下来，对分析部120具有的各个功能要素的概要进行说明。
前景提取部121从影像帧22提取具有前景特征的部分作为前景图像221。暂定密度计算部122利用前景图像221和存储于存储部140的分析参数141计算表观上的集群相对于物理空间上的各个位置的密度分布即暂定密度分布222。存在判定部123判定在物理空间上不存在人的位置，从而校正暂定密度分布222。存在判定部123输出校正后的暂定密度分布222作为校正密度分布223。标准化部124利用由影像帧22表示的图像中存在的总人数将校正密度分布223标准化，输出确定密度分布224。分布输出部125将确定密度分布224变换成输出形式，最终作为集群密度分布225输出。
利用图3，对集群密度分布的定义进行说明。集群密度分布是指现实世界的物理空间上的人数分布。
如图3所示，设在现实世界的三维坐标即物理空间坐标系Xr-Yr-Zr中，由与现实世界的地面对应的Xr-Yr平面上的某一位置(Xi，Yi)处的宽度ΔX和进深ΔY包围的区域为ΔSij。并且，设由以ΔSij为底面的高度H的棱柱包围的立体空间的区域为立体空间Vij。设立体空间Vij内存在的人数为htij。使人数htij与ΔSij对应，整个分析区域的分布排列而成的是集群密度分布。高度H为人的身高程度的高度。
图4是示出将ΔX和ΔY的大小固定时的集群密度分布的图像的图。在区域ΔS02和区域ΔS10与区域ΔS20的中间地点分别存在一个人时的集群密度分布如下。此时的集群密度分布为如下的分布：在ΔS02的位置存在1个人，在ΔS10的位置存在0.5个人，在ΔS20的位置存在0.5个人，在其他ΔSij的位置存在0人。
另外，ΔX和ΔY的大小没有规定。ΔX和ΔY的大小也可以可变。
图5是示出将现实世界的物理空间上的点映射到影像帧坐标系的图像的图。即，图5是将三维坐标与影像帧对应起来的图像。设现实世界的物理空间中的地面上的点为Pgij＝(Xij，Yij，0)。设现实世界的物理空间中的高度H的平面上的点为Phij＝(Xij，Yij，H)。设将地面上的点Pgij和高度H的平面上的点Phij映射到影像帧坐标系ximg-yimg上的点为pgij和phij。使Pgij与pgij、Phij与phij对应的信息作为分析参数141存储于存储部140。另外，设将物理空间上的立体空间Vij映射到影像帧坐标系上的区域为立体区域vij。立体区域vij是在图5中由斜线所示的二维区域。即，立体区域vij是在影像帧示出三维坐标的立体空间Vij时，由影像帧上的立体空间Vij的外周所示的二维区域。将立体区域vij称作棱柱区域或长方体区域。
多个立体区域的各个立体区域vij具备当人站立在多个立体空间的各个立体空间Vij的情况下人的头对应的头区域和与人站立的地面对应的地面区域。头区域是由在立体区域vij中相当于头的高度位置的phij、phi+1j、phij+1、phi+1j+1包围的区域。另外，地面区域是由在立体区域vij中相当于地面的位置的pgij、pgi+1j、pgij+1、pgi+1j+1包围的区域。
关于将物理空间上的坐标和影像帧上的坐标对应起来的信息，既可以是坐标变换式，也可以是对应的物理空间上的坐标和影像帧上的坐标的组。
另外，各个Pgij或各个Phij无需在同一平面上。只要能够定义立体空间的区域Vij，则各个Pgij或各个Phij表示的面也可以是曲面或阶梯状。
***动作的说明***
利用图6，对本实施方式的集群密度计算装置100的集群密度计算处理S100进行说明。
<分析参数读入处理>
在步骤ST01中，集群密度计算装置100向存储部140读入分析参数141。分析参数141可以存储于辅助存储装置922，也可以经由输入接口930或通信装置950而从外部输入。分析部120使用读入的分析参数141。
<影像取得处理>
在步骤ST02中，影像取得部110为了从摄像机200接收影像流21而进行待机。当从摄像机200接收影像流21时，影像取得部110对接收到的影像流21的至少1帧进行解码。在此，作为接收对象的影像流例如是将以影像压缩编码方式压缩后的影像编码数据按照影像发布协议而IP发布的。影像压缩编码方式的具体例为H.262/MPEG-2video、H.264/AVC、H.265/HEVC或JPEG。影像发布协议的具体例为MPEG-2TS、RTP/RTSP、MMT或DASH。MPEG-2TS为Moving Picture Experts Group2 Transport Stream(运动图像专家组2传输流)的简称。RTP/RTSP为Real-time Transport Protocol/Real Time Streaming Protocol(实时传输协议/实时流协议)的简称。MMT为MPEG Media Transport(MPEG介质传输)的简称。DASH为Dynamic Adaptive Streaming over HTTP(自适应流介质传输)的简称。作为接收对象的影像流既可以是上述以外的编码或发布格式，也可以是SDI、HD-SDI这样的非压缩的传输规格。SDI为Serial Digital Interface(串行数字接口)的简称。HD-SDI为High Definition-Serial Digital Interface(高清晰度串行数字接口)的简称。
<分析处理>
在步骤ST03中，分析部120从影像取得部110取得影像帧22。分析部120利用分析参数141分析影像帧22。分析部120通过分析影像帧22而计算映射到影像帧22的集群的集群密度分布。另外，分析部120将计算出的集群密度分布变换成输出形式，作为集群密度分布225输出。
<结果输出处理>
在步骤ST04中，结果输出部130经由输出接口940而将从分析部120输出的集群密度分布225输出到集群密度计算装置100的外部。作为输出的形式，例如可例举向监视器显示、向日志文件输出、向外部连接设备输出或向网络送出这样的形式。结果输出部130也可以以上述以外的形式输出集群密度分布225。另外，结果输出部130在每次从分析部120输出集群密度分布225时，向外部输出集群密度分布225。或者，结果输出部130还可以进行在特定的期间或对特定数的集群密度分布225进行累计或统计处理之后输出这样的断断续续的输出。集群密度计算装置100在步骤ST04之后返回到步骤ST02，进行下一个影像帧22的处理。
<<分析处理的具体情况>>
利用图7，对本实施方式的分析处理的具体情况进行说明。
在步骤ST11中，前景提取部121提取影像帧22中的人的图像即前景作为前景图像221。前景提取部121将前景图像221输出到暂定密度计算部122。
图8是示出按照每个立体区域根据前景面积换算人数的图像的图。图9是根据每个立体区域的人数输出暂定密度分布的图。在图8中，提取2个人的图像作为前景图像221。
作为前景提取处理的手法，具有预先登记背景图像并计算与输入图像的差分的背景差分法。另外，具有根据连续输入的影像帧利用MOG(Mixtureof Gaussian Distribution：高斯分布混合)这样的模型自动更新背景图像的自适应型背景差分法。另外，具有以像素单位取得图像内的运动信息的稠密光流导出算法。
在步骤ST12中，暂定密度计算部122根据前景图像221，计算在多个立体区域的各个立体区域表观上存在的人的数量作为暂定密度分布222。具体而言，暂定密度计算部122在将物理空间上的点映射到影像帧坐标系的基础上，利用前景图像221和关系式142计算各个立体区域vij中存在的人的数量。暂定密度计算部122利用暂定集群密度估计作为计算各个立体区域vij中存在的人的数量的手法。
如图8所示，暂定密度计算部122按照影像帧22中的各个立体区域vij累计前景面积。暂定密度计算部122根据各个立体区域vij中的前景面积计算各个立体区域vij中的人数。此时，暂定密度计算部122利用预先求出的前景面积与人的数量的关系式142计算各个立体区域vij中的人的数量。暂定密度计算部122将各个立体区域vij中的人的数量作为与各个立体区域vij对应的区域ΔSij的人数hij。如图9所示，暂定密度计算部122输出计算出全部区域ΔSij的人数hij的集群密度分布作为暂定密度分布222。
<<<前景面积与人数的关系式的求出方式>>>
在此，设前景面积与人数的关系式142考虑到集群彼此的遮挡。设前景面积与人数的关系式142存储于存储部140。下面，对前景面积与人数的关系式142的导出方法进行说明。
图10是示出正确前景图像的图像的图。
图11是示出在正确前景图像中将拥挤等级数值化的图像的图。
准备映射到影像帧的人数已知且人在物理坐标系上的接地点已知的正确图像。对正确图像进行前景提取，如图10所示制作正确前景图像。
如图11所示，将正确前景图像分割成多个小区域，按照各个拥挤等级在各个小区域计算每一个人物的前景面积量。另外，将同样的处理适用到改变了拥挤等级和配置图案的多个正确前景图像，对各个小区域中的每一个人物的前景面积进行累计。由此，能够导出每个拥挤等级的各个小区域中的人数与前景的关系作为前景面积与人数的关系式142。前景面积与人数的关系式142保存到存储部140。将各个拥挤等级的小区域内的前景面积的占有比例作为判定拥挤等级的等级阈值143保存到存储部140。
暂定密度计算部122在使用前景面积与人数的关系式142时，按照每个小区域判定拥挤等级，利用与拥挤等级对应的关系式142根据前景面积计算人数。暂定密度计算部122通过小区域内的前景的占有比例与等级阈值143的比较而判定拥挤等级。
<<存在判定处理>>
在步骤ST13中，存在判定部123判定在多个立体区域的各个立体区域vij是否存在人。即，存在判定部123判定多个立体空间的各个立体空间Vij是否存在人，对与被判定为不存在人的立体空间对应的立体区域vij判定为不存在人。存在判定部123对各个立体区域vij判定人的存在，设判定为不存在人的立体区域vij的人的数量为0。即，存在判定部123设与判定为不存在人的立体区域vij对应的区域ΔSij的人数为0。即，存在判定部123输出暂定密度分布222作为校正密度分布223，该暂定密度分布222是将与被判定为不存在人的立体空间对应的立体区域vij的人的数量校正为0的分布。
图12是本实施方式的存在判定处理的图像图。
如上所述，多个立体区域的各个立体区域vij具备在人站立在立体空间Vij的情况下该人的头对应的头区域。另外，多个立体区域的各个立体区域vij具备与人站立的地面对应的地面区域。在立体区域vij中头区域和地面区域这两个区域存在人的情况下，存在判定部123判定为在与该立体区域vij对应的立体空间Vij存在人。具体而言，如图12所示，在各个立体区域vij的头区域和地面区域中的各个前景面积为规定值以下的情况下，存在判定部123判定为不存在人，hij＝0。另外，存在判定部123仅对头区域和地面区域这两个区域存在规定值以上的前景面积的立体区域vij直接使用暂定密度分布222的值。
存在判定部123输出实施人存在处理后的暂定密度分布222作为校正密度分布223。
<<标准化部>>
在步骤ST14中，标准化部124根据前景图像221取得影像帧22中的人的总数。标准化部124根据人的总数，将校正密度分布223中的多个立体区域的各个立体区域vij的人的数量标准化。具体而言，标准化部124利用以下的式(1)和式(2)，以影像帧内存在的总人数htotal进行集群密度的标准化。标准化部124将前景面积与人数的关系式142应用于整个前景图像221，从而计算影像帧22中的总人数htotal。式(2)中的Rows为i的总数。另外，式(2)中的Cols为j的总数。
[数学式1]
[数学式2]
标准化部124对整个校正密度分布的立体区域vij实施标准化处理，作为确定密度分布224输出。
<<分布输出处理>>
在步骤ST15中，分布输出部125从标准化部124取得确定密度分布224。分布输出部125将确定密度分布224变换成输出形式，作为集群密度分布225输出到结果输出部130。
***其他的结构***
在本实施方式中，影像取得部110、分析部120以及结果输出部130的功能由软件实现。以下，作为变形例，影像取得部110、分析部120以及结果输出部130的功能由硬件实现。
图13是示出本实施方式的变形例的集群密度计算装置100的结构的图。
集群密度计算装置100具备电子电路909、存储器921、辅助存储装置922、输入接口930、输出接口940以及通信装置950。
电子电路909是实现影像取得部110、分析部120以及结果输出部130的功能的专用的电子电路。
具体而言，电子电路909是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA、ASIC或FPGA。GA为Gate Array(门阵列)的简称。AS IC是ApplicationSpecific Integrated Circuit(面向特定用途的集成电路)的简称。F PGA是Field-Programmable Gate Array(现场可编程门阵列)的简称。
影像取得部110、分析部120以及结果输出部130的功能可由一个电子电路实现，也可以分散到多个电子电路实现。
作为别的变形例，影像取得部110、分析部120以及结果输出部130的一部分功能由电子电路实现，剩余的功能由软件实现。
处理器和电子电路分别还被称作处理线路。即，在集群密度计算装置100中，由处理线路实现影像取得部110、分析部120以及结果输出部130的功能。
在集群密度计算装置100中，还可以将影像取得部110、前景提取部121、暂定密度计算部122、存在判定部123、标准化部124、分布输出部125以及结果输出部130的“部”改写成“工序”或“处理”。另外，还可以将影像取得处理、前景提取处理、暂定密度计算处理、存在判定处理、标准化处理、分布输出处理以及结果输出处理的“处理”改写成“程序”、“程序产品”或“记录有程序的计算机能读取的存储介质”。
***本实施方式的效果的说明***
在本实施方式的集群密度计算装置100中，前景提取部从由摄像机拍摄到的影像的影像帧提取前景图像。暂定密度计算部计算将物理空间上的区域映射到影像帧的区域中存在的人数即表观上的人数，生成暂定密度分布。存在判定部判定不存在人的物理空间上的区域，根据判定结果校正暂定密度分布。结果输出部将校正和标准化后的暂定密度分布作为集群密度分布输出到显示器这样的输出装置。
因此，根据本实施方式的集群密度计算装置100，能够根据从摄像机输入的影像帧计算现实世界的物理空间上中的人的存在位置，作为集群密度分布输出。
实施方式2
在本实施方式中，对与实施方式1不同之处进行说明。另外，对与实施方式1同样的结构标注相同的标号并有时省略其说明。
在实施方式1中，多个立体区域的各个立体区域vij相互重叠。因此，在计算暂定密度分布时，有时在本来存在人的立体区域vij以外也出现前景。由此，有时计算出的暂定密度分布不准确。在本实施方式中，对排除立体区域的重复导致的影响并将集群密度分布更高精度化的方式进行说明。
在本实施方式中，省略实施方式1中的标准化部124，在暂定密度计算部122与存在判定部123之间新追加位置校正部126。
利用图14，对本实施方式的分析部120a的具体结构进行说明。
分析部120a具备前景提取部121、暂定密度计算部122、位置校正部126、存在判定部123以及分布输出部125。
利用图15，对本实施方式的分析部120a的分析处理的具体情况进行说明。
在图15中，步骤ST11和步骤ST12与实施方式1相同。
在步骤ST16中，位置校正部126从暂定密度计算部122取得暂定密度分布222。位置校正部126根据重复区域中的人的数量校正暂定密度分布222，输出校正后的暂定密度分布222，重复区域表示多个立体空间中的相邻的立体空间彼此的重复部分。即，位置校正部126利用暂定密度分布222校正考虑到立体区域vij的重复导致的影响的人位置。
图16是示出本实施方式的位置校正部126的位置校正处理的图像的图。
如图16所示，重复区域Aduplm是立体区域vl与立体区域vm重叠的区域。
如图16所示，位置校正部126的位置校正处理起到缩减分散在周围的值的一种过滤器的作用。
在此，为了方便起见，下标l和m是将作为2个变量的下标ij改写成1个变量。在以下的本实施方式的说明中，使用下标l和m。下标l和ij的关系是l＝i×Cols+j。下标m和ij的关系也相同。
在此，设应求出的各个区域ΔSl的人数的向量标记为ht，表示单元彼此的重复关系的系数矩阵为A，由暂定密度分布222得到的输出的向量标记为h。可用式(3)和式(4)计算各个区域ΔSl的人数。
通过利用式(3)和式(4)，位置校正部126能够输出去除重复区域的影响后的高精度的集群密度分布225。
下面，对式(3)的导出进行详细说明。设存在于立体空间Vl的人数为htl，设出现在立体区域vl的人数为hl。设存在于立体空间Vl的人数htl的人出现在立体区域vm的人数为hcom_l→m。这样，能够用式(5)表示出现在立体区域vl的表观上的人数hl。假设存在于单元l的人数htl乘以系数αlm来表示hcom_l→m。因此，表示单元彼此的重复关系的系数矩阵为式(4)。当l＝m时，如果αlm＝1，则根据式(5)和式(6)，表观上的人数能够用存在的人数乘以系数的式(7)表示。
当设l的总数为N时，根据式(7)，成为N个N限1次联立方程式，因此当改写成矩阵表现时，成为式(8)。通过将来自式(8)两边的系数矩阵A的逆矩阵相乘，可导出式(3)。
[数学式3]
ht＝A-1h (式3)
[数学式4]
[数学式5]
[数学式6]
hcomi→j＝αijhti (式6)
[数学式7]
[数学式8]
另外，系数αlm的求出方法没有限定。例如，可以利用图15所示的立体区域vl的面积Al和立体区域vl与立体区域vm的重复区域Aduplm如式(9)所示求出系数αlm。
[数学式9]
另外，在步骤ST01的分析参数读入处理中，仅利用式(9)计算一次系数矩阵A。
之后的步骤ST13和步骤ST15与实施方式1相同。
如上所述，根据利用本实施方式的分析部120a的集群密度计算装置，通过去除重复区域的影响，能够更高精度地计算集群密度分布。
实施方式3
在本实施方式中，对与实施方式2不同之处进行说明。另外，有时对与实施方式1、2同样的结构标注相同的符号并省略其说明。
在实施方式2中，假设利用式(9)计算出的表示重复关系的系数矩阵A在立体区域vij上均等地出现前景。实际上，表示重复关系的系数矩阵A由于在立体空间Vij内实际存在人的位置而受到影响。因此，根据在立体空间Vij内实际存在人的位置计算出的集群密度分布可能产生误差。在本实施方式中，通过数值计算优化系数矩阵A。此时的集群密度分布的总人数htotal使用存在于画面内的总人数。通过将前景面积与人数的关系式应用于整个前景图像而计算画面内的总人数htotal。
利用图17，对本实施方式的分析处理的具体情况进行说明。
在图17中，步骤ST11、步骤ST12以及步骤ST16与实施方式1相同。
在步骤ST17中，位置校正部126再次计算系数矩阵A，由此进行优化。另外，位置校正部126反复进行暂定密度分布的校正，直到影像帧中的人的总数的误差成为阈值以下为止。
在h’total的计算中利用式(2)和式(7)。
用式(10)确定与暂定密度分布的校正有关的评价函数。位置校正部126利用最速下降法反复进行计算，直到用式(10)计算出的误差E成为阈值以下为止。
[数学式10]
E＝(htotal-h′total)2 (式10)
另外，位置校正部126的优化手法不限于最速下降法。
如上所述，本实施方式的集群密度计算装置利用式(10)，按照每帧更新系数矩阵A。因此，根据本实施方式的集群密度计算装置，与实施方式2相比，能够更高精度地计算集群密度分布。
在以上的实施方式1～3中，设集群密度计算装置的各部为独立的功能块进行了说明。但是，集群密度计算装置的结构也可以不是上述的实施方式的结构。只要能够实现在上述的实施方式中说明的功能，则集群密度计算装置的功能块可以是任意的结构。另外，集群密度计算装置也可以不是一个装置，而是由多个装置构成的系统。
另外，也可以组合实施实施方式1～3中的多个部分。或者，也可以实施这些实施方式中的一部分。另外，也可以作为整体或部分地任意组合实施这些实施方式。
即，在实施方式1～3中，能够进行各个实施方式的自由组合或各个实施方式的任意结构要件的变形或各个实施方式中的任意结构要件的省略。
另外，上述实施方式在本质上只是优选的例示，并非意图限制本发明的范围、本发明的适用物的范围以及本发明的用途范围。在上述的实施方式中，能够根据需要进行各种变更。上述实施方式的集群密度计算装置可应用于估计集群密度的集群密度估计装置以及集群密度估计系统。
(符号说明)
21影像流；22影像帧；100集群密度计算装置；110影像取得部；120、120a分析部；121前景提取部；122暂定密度计算部；123存在判定部；124标准化部；125分布输出部；126位置校正部；130结果输出部；140存储部；141分析参数；142关系式；143等级阈值；200摄像机；221前景图像；222暂定密度分布；223校正密度分布；224确定密度分布；225集群密度分布；909电子电路；910处理器；921存储器；922辅助存储装置；930输入接口；940输出接口；950通信装置；S100集群密度计算处理。
Claims (8)
1.一种集群密度计算装置，该集群密度计算装置具备：
影像取得部，其从拍摄有人的影像流取得影像帧；以及
分析部，其将三维坐标与所述影像帧对应起来，取得表示在所述影像帧上根据所述三维坐标而得到的多个立体空间的各个立体空间的区域，作为多个立体区域的各个立体区域，根据所述多个立体区域的各个立体区域中存在的人的数量计算所述影像帧中的人的密度分布作为集群密度分布。
2.根据权利要求1所述的集群密度计算装置，其中，
所述分析部具备：
前景提取部，其提取所述影像帧中的人的图像作为前景图像；
暂定密度计算部，其根据所述前景图像计算所述多个立体区域的各个立体区域中表观上存在的人的数量作为暂定密度分布；
存在判定部，其判定在所述多个立体空间的各个立体空间中是否存在人；以及
存在判定部，其输出将与被判定为不存在人的立体空间对应的立体区域的人的数量校正为0的所述暂定密度分布，作为校正密度分布。
3.根据权利要求2所述的集群密度计算装置，其中，
所述多个立体区域的各个立体区域具备在所述人站立在所述多个立体空间的各个立体空间的情况下所述人的头对应的头区域和与所述人站立的地面对应的地面区域，
当在立体区域中所述头区域和所述地面区域这两个区域存在人的情况下，所述存在判定部判定为在与所述立体区域对应的立体空间存在人。
4.根据权利要求2或3所述的集群密度计算装置，其中，
所述分析部具备：
标准化部，其根据所述前景图像取得所述影像帧中的人的总数，根据所述人的总数，将所述校正密度分布中的所述多个立体区域的各个立体区域的人的数量标准化；以及
分布输出部，其取得由所述标准化部标准化后的所述校正密度分布作为确定密度分布，将所述确定密度分布变换成输出形式。
5.根据权利要求2或3所述的集群密度计算装置，其中，
所述分析部具备位置校正部，该位置校正部根据重复区域中的人的数量校正所述暂定密度分布，输出校正后的所述暂定密度分布，所述重复区域表示所述多个立体区域中的相邻的立体区域彼此的重复部分。
6.根据权利要求5所述的集群密度计算装置，其中，
所述位置校正部反复进行所述暂定密度分布的校正，直到所述影像帧中的人的总数的误差成为阈值以下为止。
7.一种集群密度计算方法，其中，
影像取得部从拍摄有人的影像流取得影像帧，
分析部将三维坐标与所述影像帧对应起来，取得表示在所述影像帧上根据所述三维坐标而得到的多个立体空间的各个立体空间的区域，作为多个立体区域的各个立体区域，根据所述多个立体区域的各个立体区域中存在的人的数量计算所述影像帧中的人的密度分布即集群密度分布。
8.一种集群密度计算程序，该集群密度计算程序使计算机执行如下处理：
影像取得处理，从拍摄有人的影像流取得影像帧；以及
分析处理，将三维坐标与所述影像帧对应起来，取得表示在所述影像帧上根据所述三维坐标而得到的多个立体空间的各个立体空间的区域，作为多个立体区域的各个立体区域，根据所述多个立体区域的各个立体区域中存在的人的数量计算所述影像帧中的人的密度分布即集群密度分布。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/039901 WO2019087383A1 (ja) | 2017-11-06 | 2017-11-06 | 群集密度算出装置、群集密度算出方法および群集密度算出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111279392A true CN111279392A (zh) | 2020-06-12 |
| CN111279392B CN111279392B (zh) | 2023-12-15 |
Family
ID=66331546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780096261.XA Active CN111279392B (zh) | 2017-11-06 | 2017-11-06 | 集群密度计算装置、集群密度计算方法以及计算机能读取的存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP6678835B2 (zh) |
| CN (1) | CN111279392B (zh) |
| SG (1) | SG11202002953YA (zh) |
| WO (1) | WO2019087383A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287929B (zh) * | 2019-07-01 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 群体区域中目标的数量确定方法、装置、设备及存储介质 |
| CN112749589B (zh) * | 2019-10-30 | 2023-04-18 | 中移(苏州)软件技术有限公司 | 巡检路径的确定方法、装置以及存储介质 |
| US11106904B2 (en) * | 2019-11-20 | 2021-08-31 | Omron Corporation | Methods and systems for forecasting crowd dynamics |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464944A (zh) * | 2007-12-19 | 2009-06-24 | 中国科学院自动化研究所 | 一种基于统计特征的人群密度分析方法 |
| CN101714293A (zh) * | 2009-12-16 | 2010-05-26 | 上海交通投资信息科技有限公司 | 基于立体视觉的公交客流拥挤度采集方法 |
| CN102982341A (zh) * | 2012-11-01 | 2013-03-20 | 南京师范大学 | 一种可跨摄像机的自适应人群密度估计方法 |
| CN104182987A (zh) * | 2013-05-22 | 2014-12-03 | 株式会社日立制作所 | 人数计测装置和人物流动线解析装置 |
| CN104504688A (zh) * | 2014-12-10 | 2015-04-08 | 上海大学 | 基于双目立体视觉的客流密度估计的方法和系统 |
| JP2016091326A (ja) * | 2014-11-05 | 2016-05-23 | 日本電信電話株式会社 | カメラ画像人数計数方法及びカメラ画像人数計数装置 |
| US20160253579A1 (en) * | 2015-02-26 | 2016-09-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| CN106326937A (zh) * | 2016-08-31 | 2017-01-11 | 郑州金惠计算机系统工程有限公司 | 基于卷积神经网络的人群密度分布估计方法 |
| JP2017041869A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 画像処理装置、画像処理方法、およびプログラム |
| US20170053172A1 (en) * | 2015-08-20 | 2017-02-23 | Kabushiki Kaisha Toshiba | Image processing apparatus, and image processing method |
| CN107256225A (zh) * | 2017-04-28 | 2017-10-17 | 济南中维世纪科技有限公司 | 一种基于视频分析的热度图生成方法及装置 |
-
2017
- 2017-11-06 JP JP2019550118A patent/JP6678835B2/ja active Active
- 2017-11-06 WO PCT/JP2017/039901 patent/WO2019087383A1/ja active Application Filing
- 2017-11-06 SG SG11202002953YA patent/SG11202002953YA/en unknown
- 2017-11-06 CN CN201780096261.XA patent/CN111279392B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464944A (zh) * | 2007-12-19 | 2009-06-24 | 中国科学院自动化研究所 | 一种基于统计特征的人群密度分析方法 |
| CN101714293A (zh) * | 2009-12-16 | 2010-05-26 | 上海交通投资信息科技有限公司 | 基于立体视觉的公交客流拥挤度采集方法 |
| CN102982341A (zh) * | 2012-11-01 | 2013-03-20 | 南京师范大学 | 一种可跨摄像机的自适应人群密度估计方法 |
| CN104182987A (zh) * | 2013-05-22 | 2014-12-03 | 株式会社日立制作所 | 人数计测装置和人物流动线解析装置 |
| JP2016091326A (ja) * | 2014-11-05 | 2016-05-23 | 日本電信電話株式会社 | カメラ画像人数計数方法及びカメラ画像人数計数装置 |
| CN104504688A (zh) * | 2014-12-10 | 2015-04-08 | 上海大学 | 基于双目立体视觉的客流密度估计的方法和系统 |
| US20160253579A1 (en) * | 2015-02-26 | 2016-09-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP2016163075A (ja) * | 2015-02-26 | 2016-09-05 | キヤノン株式会社 | 映像処理装置、映像処理方法、およびプログラム |
| JP2017041869A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | 画像処理装置、画像処理方法、およびプログラム |
| US20170053172A1 (en) * | 2015-08-20 | 2017-02-23 | Kabushiki Kaisha Toshiba | Image processing apparatus, and image processing method |
| CN106326937A (zh) * | 2016-08-31 | 2017-01-11 | 郑州金惠计算机系统工程有限公司 | 基于卷积神经网络的人群密度分布估计方法 |
| CN107256225A (zh) * | 2017-04-28 | 2017-10-17 | 济南中维世纪科技有限公司 | 一种基于视频分析的热度图生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 贾永华;呼志刚;浦世亮;: "基于视频前景边缘和特征检测的人群密度估计方法" * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6678835B2 (ja) | 2020-04-08 |
| JPWO2019087383A1 (ja) | 2020-04-02 |
| WO2019087383A1 (ja) | 2019-05-09 |
| SG11202002953YA (en) | 2020-05-28 |
| CN111279392B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5846517B2 (ja) | 画像構図変更の品質評価 | |
| EP2963926A1 (en) | Method and apparatus for downscaling depth data for view plus depth data compression | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| US8244054B2 (en) | Method, apparatus and integrated circuit capable of reducing image ringing noise | |
| RU2603529C2 (ru) | Уменьшение шума в последовательностях изображений | |
| EP2398247A2 (en) | Method and apparatus for converting 2D image into 3D image | |
| CN111279392B (zh) | 集群密度计算装置、集群密度计算方法以及计算机能读取的存储介质 | |
| KR20140091094A (ko) | 영상 처리 장치 및 방법 | |
| CN112529854B (zh) | 一种噪声估计方法、装置、存储介质及设备 | |
| US20150279003A1 (en) | Image processing apparatus, image processing method, and medium | |
| US20200380641A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN113688907A (zh) | 模型训练、视频处理方法，装置，设备以及存储介质 | |
| US20150187051A1 (en) | Method and apparatus for estimating image noise | |
| US10706507B2 (en) | Hybrid denoising of images and videos based on interest metrics | |
| CN111046893A (zh) | 图像相似性确定方法和装置、图像处理方法和装置 | |
| CN109544557A (zh) | 基于区块的主成分分析转换方法及其装置 | |
| US9064190B2 (en) | Estimating pixel values in digital image processing | |
| KR20080031548A (ko) | 실시간 화질 평가 방법 및 장치 | |
| US9077963B2 (en) | Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data | |
| EP3565253A1 (en) | A method and an apparatus for reducing an amount of data representative of a multi-view plus depth content | |
| US9478044B2 (en) | Method and apparatus of creating a perceptual harmony map | |
| Jeevan et al. | Comparative study of DCT based image compression on hexagonal and conventional square pixel images | |
| WO2016180198A1 (zh) | 一种图像压缩方法和装置 | |
| Wazirali et al. | Objective quality metrics in correlation with subjective quality metrics for steganography | |
| AlZahir et al. | New gage for measuring image quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |