CN110383832B - 显示处理设备、系统和存储介质 - Google Patents

Abstract

本发明的特征在于提供：设置部件，用于将照相机所拍摄的图像中的位置与预先获得的地图上的位置相关联；检测部件，用于从照相机所拍摄的图像中检测人；以及显示处理部件，用于基于设置部件所进行的设置将检测到的人的位置转换为地图中的关联位置，基于转换后的位置来计算表示人的拥挤状态和人的移动的人流的结果，并显示所获得的结果。

Description

显示处理设备、系统和存储介质

技术领域

本发明涉及用于通过使用图像中的人的位置来对人的拥挤(congestion)状态和人的移动流进行分析和可视化的技术。

背景技术

分析和使用监视照相机的图像的情况的数量正在增加。例如，可以通过对特定区域内的人数进行计数或对移动通过区域或线的人数进行计数来掌握该特定区域内的被摄体的活动状态。这样的信息可以用于：改善由于通知或布局改变而引起的人流，考虑安保人员的最佳安排，并且利用购物中心内的营销。

日本专利5597781公开了一种滞留状态分析设备，该滞留状态分析设备将拍摄图像分割成块，统计各个块中的被摄体的检测结果，创建没有描绘被摄体的背景图像，并在所创建的背景上叠加用于将统计结果可视化的热图。存在用于实现拍摄图像中的人的移动路径和动线的可视化的技术。

然而，需要同时掌握拥挤、滞留和人流，并且进一步改善可视化。

发明内容

解决问题的技术手段

为了实现上述目的，一种系统，用于显示人的拥挤状态、或者表示人的移动的人流、或者这两者的分析结果，所述系统包括：设置单元，用于将照相机所拍摄的图像中的位置与预先获得的地图中的位置相关联；检测单元，用于检测所述照相机所拍摄的图像中的人；统计单元，用于基于所述设置单元所进行的设置来将所述检测单元所检测到的人的位置转换为所述地图中的关联位置，并基于转换后的位置来对人的拥挤状态、或者表示人的移动的人流的结果、或者这两者进行统计；以及显示单元，用于将所述统计单元所获得的结果显示在所述地图被分割成的区域中。

附图说明

图1是示出根据本发明的第一实施例的人流分析系统的操作环境的网络连接图。

图2是根据本发明的第一实施例的人流分析系统的框图。

图3示出针对面部和人体的检测框与用于统计的坐标信息之间的关联。

图4示出拍摄图像和地图之间的关联。

图5示出拍摄图像和地图中的关联点的输入方法。

图6示出拍摄图像被变形并叠加在地图上以检查关联点的示例。

图7示出将移动轨迹输入到拍摄图像中并且在地图上绘制关联点以检查关联点的示例。

图8示出在地图上表达的拍摄图像中的盲点的示例。

图9A示出用于想到将关联点输入到地面的UI的示例。

图9B示出用于想到将关联点输入到地面的UI的示例。

图10A示出考虑拥挤统计的方式。

图10B示出考虑拥挤统计的方式。

图10C示出考虑拥挤统计的方式。

图11示出通过使用密度执行的拥挤统计的示例。

图12示出判断人流的方法。

图13示出拥挤和人流的分析结果的显示示例。

图14示出各个设备的硬件结构的示例。

图15示出由图像分析服务器设备300进行的图像分析处理的流程图。

图16示出由图像显示设备500进行的设置处理的流程图。

图17示出由人流分析服务器设备400进行的统计处理的流程图。

具体实施方式

下文将通过参考附图使用优选实施例详细描述本发明。通过示例描述根据以下实施例的结构。本发明不限于所示的结构。

现在将参考附图描述本发明的实施例。

图1是示出作为根据本发明实施例的信息处理系统的人流分析系统的操作环境的网络连接图。如图1所示，网络照相机100、网络存储装置200、图像分析服务器设备300、人流分析服务器设备400和图像显示设备500通过作为网络线路的LAN 600连接。

网络照相机100是摄像装置并且具有经由LAN 600分发编码图像数据和图像数据的图像分析结果的功能。网络存储装置200经由LAN 600记录从网络照相机100分发的图像数据以及图像分析处理的结果。图像分析服务器设备300经由LAN 600读取网络存储装置200中所记录的图像数据和图像分析处理的结果，并生成要统计的被摄体的检测结果。人流分析服务器设备400对图像分析服务器设备300生成的检测结果进行统计，并生成人的拥挤程度和人流的分析结果。图像显示设备500播放和显示从网络照相机100分发的图像数据和网络存储装置200中所记录的图像数据。另外，显示诸如用于可视化设置的窗口等的输入画面，响应于用户操作将用于设置叠加图像和用于统计方法的指示发送到人流分析服务器设备400，并且显示接收到的统计结果。在图1中，作为不同设备的网络存储装置200、图像分析服务器设备300、人流分析服务器设备400和图像显示设备500连接到LAN 600，但不限于此。这些设备可以一体地形成为单个设备或多个设备。当网络照相机100具有存储功能时，网络照相机100可以具有网络存储装置200的功能。网络照相机100可以具有图像分析服务器设备300和人流分析服务器设备400的功能。

图2是图1中的人流分析系统的框图。网络照相机100包括例如具有摄像元件的图像获得单元101、编码单元102和通信单元103。拍摄图像被转换为可以由LAN 600通信的格式的图像数据。经由通信单元103将转换后的图像数据发送到网络存储装置200、图像分析服务器设备300和图像显示设备500。网络存储装置200通过使用通信单元201从LAN 600接收图像数据，并将图像数据记录在记录单元202中，该记录单元202包括诸如硬盘驱动器等的具有大容量的非易失性存储器。图像分析服务器设备300通过使用通信单元301从LAN600获得记录在网络照相机100和网络存储装置200中的图像数据。图像分析服务器设备300检测由人检测单元302检测到的人体位置。图像分析服务器设备300的人属性提取单元303提取诸如年龄和性别等的与人的外观特征有关的人属性信息。经由通信单元301将属性信息和与所获得的图像中的检测位置有关的信息发送到人流分析服务器设备400。人流分析服务器设备400通过使用通信单元401从LAN 600接收与人的外观特征有关的属性信息和与图像中的人的检测位置有关的信息，并且通过记录单元402记录该信息。当从图像显示设备500接收到用于设置与人的拥挤程度和人流有关的统计的指示时，将所指示的设置保存在统计设置单元403中。根据所保存的设置，统计单元404进行拥挤和人流的统计处理。图像显示设备500通过使用通信单元501从LAN 600接收人的拥挤程度和人流的统计结果，并且显示单元502显示该结果。图像显示设备500还具有用于接收通过设置单元503对统计方法的设置的功能。

图14示出用作图像显示设备500、人流分析服务器设备400和图像分析服务器设备300的信息处理设备1400的硬件结构的示例。

CPU 1401通过使用RAM 1402和ROM 1403中所存储的计算机程序和数据来控制整个信息处理设备1400。

RAM 1402具有临时存储从ROM 1403加载的计算机程序和数据以及从外部经由I/F(接口)1407获得的数据的区域。RAM 1402还具有当CPU 1401进行各种处理时使用的工作区域。也就是说，RAM 1402可以被指定为例如图像存储器，并且可以适当地提供各种其它区域。

ROM 1403存储例如信息处理设备1400的设置数据和可以由作为计算机的信息处理设备所执行的软件程序。操作单元1404包括例如键盘和鼠标，并且可以响应于用户对信息处理设备1400的操作将各种指示输入到CPU 1401中。显示单元1405是包括诸如LCD等的屏幕并显示来自网络照相机100的图像和由CPU 1401进行的处理的结果的显示装置。

二次存储装置1406是由硬盘驱动器装置表示的具有大容量的信息存储装置。在二次存储装置1406中，保存OS(操作系统)和用于通过CPU 1401进行图14所示的组件的功能的计算机程序。具体地，通过CPU 1401针对图15至图17所示的操作的流程图执行程序。在二次存储装置1406中，还存储来自网络照相机100的图像。

保存在二次存储装置1406中的计算机可执行的软件程序和数据根据CPU 1401的控制适当地加载到RAM 1402，并由CPU 1401处理。I/F 1407连接诸如LAN或互联网等的网络以及诸如投影装置和显示装置等的其它装置。信息处理设备1400可以经由I/F 1407获得和发送各种信息。

在网络照相机100的硬件结构的情况下，向图14所示的硬件结构添加诸如摄像元件和透镜等的摄像单元，但是可以省略操作单元1404和显示单元1405。此外，关于网络存储装置200的硬件结构，可以从图14省略操作单元1404和显示单元1405。

人流分析系统的处理主要分为图像分析处理、设置处理和统计处理。将详细描述根据应用本发明的实施例的具有上述结构的人流分析系统。

描述从图像分析服务器设备300参考图15所进行的图像分析处理开始。

在S1501中，人检测单元通过分析从网络照相机100拍摄到的图像所获得的图像数据来检测作为被摄体的人。在图像中存在人的情况下，以时间序列识别并追踪各个人。在人检测期间要检测的对象包括人体的面部、上半身和全身。图3示出各情况下的检测结果的示例。根据本实施例，通过以矩形示出检测到的人体的部位来示出各个检测结果。通常，可以容易地获得检测到的矩形的中心坐标。然而，当人体的远离地面的部位的位置与地图中的位置相关联时，误差可能会增加。因此，与远离地面的面部中心的坐标相比，更优选使用人体中心的位置或足部位置的坐标作为要检测的人体的位置。

当可以检测到全身时，可以容易地获得人体中心或足部的坐标。然而，存在很多由于拥挤环境下的重叠或障碍物导致未拍摄到从下半身到足部位置的部位的情况。上半身重叠的频率由于拥挤而增加。因此，优选根据具体情况来切换上半身检测和面部检测。例如，可以使用拍摄图像中的移动体区域的比例来判断切换。具体地，当人体区域与图像区域的比小于预定值时，进行上半身检测和面部检测处理。可以基于各个移动体区域的宽高比来判断是检测全身还是检测人体。例如，当移动体区域的宽度与高度的比大于预定值时，进行上半身检测处理或面部检测处理。

在S1502中检测到的人体部位是面部或上半身的情况下，流程进入S1503，并推测拍摄图像中的足部的位置(或人体中心的位置)。在使用面部或上半身的S1503中，通过基于预定规则改变各个检测框的宽高比来推测人体中心和足部位置的坐标。例如，可以以使上半身的检测框沿下方向变成四倍而处理为虚拟全身框的方式来推测足部位置的坐标。

要传递到随后要进行的统计处理的信息不仅需要包括当前处理的图像的检测结果，而且包括过去图像的检测结果和追踪结果中的至少一个，因为这用于通过统计处理来计算人的移动方向。

在S1501中，诸如性别和年龄等的外观特征和属性可以从所检测到的面部、上半身和全身图像中提取，并且除了检测坐标外，可以将这些特征传递到统计处理。将属性应用于检测到的人，这使得可以将该属性用作统计期间的条件。例如，由于例如性别和年龄的拥挤和人流可以用于例如营销。

可以针对输入的所有图像获得表示人体检测位置的坐标值和与人体属性有关的信息。然而，当统计时间段被设置为比图像的帧频长时，可以不对所有结果都进行统计，而是可以根据预定规则省略所有结果的一部分。例如，规则可以由诸如每秒一次或每几秒一次等的预定间隔来定义。代替按预定间隔的省略，可以选择用于写入的预定时间段内的大多数检测结果或具有高检测精度的结果以供使用。

现在将参考图16来描述由图像显示设备500的设置单元503进行的设置处理。设置单元503设置用于将在拍摄图像中检测到的人体位置的坐标转换为预先获得的地图中的人体检测位置的坐标的方法。

将描述使用图像和地图中的关联点的方法。如图4所示，显示画面以供用户指定在显示单元502上显示的拍摄图像中的自由选择的四个点和地图中的自由选择的四个点，这些点将作为多边形的顶点(S1601)。当检测到图像和地图中的四个点的指定时，设置单元503基于这些点的位置之间的关系来推导出用于将拍摄图像中的自由选择的点转换为地图中的关联位置的投影变换表达式(单应性矩阵H)。当用户指定关联点时，优选地预先确定对指定这些点的顺序的限制以防止误关联。例如，顺序被确定为“从左上开始的顺时针”。如图4所示，指定这些点的顺序用数字表示是有效的。当指定的坐标及其顺序已知时，还可以判断输入是否符合预定限制。因此，在违反限制的情况下，可以报告设置失败，并可以再次提示输入。在安装多个照相机的情况下，设置单元503针对所有照相机与地图建立关联。然而，在图像显示设备500可以获得与照相机的三维位置有关的物理信息的情况下，针对照相机其中之一的与地图的关联使得可以获得针对其它照相机的关联。根据本实施例，描述了具有四个点的区域的设置。然而，在多边形具有三个点、或者五个点或更多点的情况下，可以进行相同的处理。可以针对多个区域将拍摄图像和地图彼此相关联。

现在将从以下三个角度简单且直观地描述用于进行通过投影变换所做的设置的处理。

1.实现在短时间内可以设置的用户界面。

2.掌握拍摄图像的检测坐标和叠加在拍摄图像上的区域的位置之间的关系。

3.检查是否获得期望的转换结果。

首先将描述在短时间内可以设置的用户界面的实现。通过使用投影变换对检测坐标的转换可能产生误差，并且获得期望的统计结果和可视化结果经常需要精细调整。因此，优选四个关联点能够单独设置和改变，而不是每次按顺序输入。图5示出用户界面的示例，该用户界面用于通过移动在拍摄图像中始终显示的四个点来指定区域，以便实现精细的位置调整。可以在初始状态下自动地选择拍摄图像和地图的自由选择的四个点或四个角作为关联点以减少输入所用的时间，并且设置者仅移动这些点。为了减少点的移动，根据拍摄图像推测地面，并且可以将地面上适当的四个角设置为初始点。

现在将描述拍摄图像的检测坐标和叠加在拍摄图像上的区域的位置之间的关系的掌握。在选择人体足部的坐标作为检测坐标的情况下，需要相对于地面设置关联点。当如图9A所示以半透明和叠加的方式仅显示指定区域时，在该区域后面显示被摄体，并且存在该区域被误识别为该区域并非相对于地面设置的风险。在图9B中，想出了两种方式，从而识别出关联点是相对于地面设置的。在第一种方式中，以不是诸如“O”等的简单符号的方式布置拍摄图像中的四个点，而是以针形图形与指定多边形的顶点上方的位置邻接使得想到针形图形钉入地面的方式布置拍摄图像中的四个点。在第二种方式中，绘制人体使得表示指定区域的框线和区域的颜色不会叠加在人体上，这是因为当在指定区域后面显示人体时，给出了指定区域位于人体上方的感觉。例如，这是通过将各移动体区域或检测结果绘制在表示指定区域的图形之外来实现的。在这两种方式中，看到人体位于指定区域的上方，并且可以容易看到该区域是相对于地面高度指定的。

将描述检查是否实现从拍摄图像到地图的期望转换。当需要进行视觉调整时，可以考虑将统计结果叠加在关联点的设置画面上，并且响应于设置者操作而再次获得统计结果并且再次叠加统计结果。然而，该方法不适合对无意显示的统计结果的原因进行密切调查。有鉴于此，如图6所示，拍摄图像的一部分基于投影变换表达式而变形，叠加在地图中的关联位置处，被粘贴并显示(S1602)。这使用户能够从俯瞰检查关联。如图7所示，存在另一方法，在该方法中，在设置关联点之后在拍摄图像中绘制自由选择的动线，并且在地图上显示投影变换后的相应动线(人的轨迹)以供精细检查。在用户判断为图6中的画面没有问题的情况下，用户在未示出的画面上选择“OK”按钮。当检测到选择了“OK”按钮时(S1603中为“是”)，确定正在计算的投影变换表达式(S1604)，并且将投影变换表达式用于图像中自由选择的位置。在重做的情况下，选择“取消”按钮，再次设置区域的关联(S1603中为“否”)。

上面描述了投影变换的设置。然而，可以自动而不是手动输入关联点。例如，可以考虑的方法是在可以是拍摄图像中的关联点的位置处物理地提供具有特定大小的标记，并且仅手动输入地图中的关联点。检测标记而不是输入拍摄图像中的关联点。仅需要设置者将由设置者提供的标记的位置指定为地图中的位置。

在以上描述中，针对单个拍摄图像和单个地图设置投影变换。该关系可以发展成多个关系。单个拍摄图像可以与针对不同的目的和比例的多个图像相关联。存在越靠近照相机的位置处拍摄的图像和越远离照相机的位置处拍摄的图像具有越大的关联误差的趋势。因此，可以针对单个拍摄图像多次设置投影变换，并且例如在前方图像和中央图像之间可以改变投影变换表达式。在设置了多个投影变换表达式的情况下，发生投影变换的误差的位置可能取决于安装的照相机的高度、角度和视角。因此，可以基于这样的信息自动确定设置的候选。

将参考图17来描述人流分析服务器设备400的统计单元404的处理。获得与由图像显示设备500推导出的投影变换表达式有关的信息，并通过使用所获得的投影变换表达式来将拍摄图像中的检测坐标转换为地图中的坐标(S1701)。人流分析服务器设备400基于与转换后的坐标有关的信息来进行统计处理(S1702)。统计处理包括针对人的拥挤状态的处理和针对表示人的移动流的人流的处理。

现在将参考图10和图11来描述获得人的拥挤状态分布的方法的两个示例。

图10示出当使用检测到的总人数时的统计处理的示例。如图10A所示，将地图区域分割成具有预定大小的区域以表达表示人的拥挤状态的分布。在分割后的区域中以黑圈示出表示所检测到的人的位置的坐标。图10B示出各个区域中检测到的人数。如图10C所示，基于统计结果来生成各个区域的集中度根据检测数而变化的热图。在图10C中，判断为检测到的人数越多，拥挤程度越高，并且以深色绘制分割后的区域。可以不仅以单一颜色仅对区域进行着色、而且还可以对特别拥挤的区域附近进行一定程度的着色来绘制热图。在图10所示的示例中，以矩形分割区域。然而，可以通过使用诸如地图的面积或室内房间等的自由选择的单位来分割区域。

关于各个区域的分割大小(分割数)，当分割大小太大(分割数太小)时，各个区域中的检测数增加，并且不太可能掌握拥挤的不同。当分割大小太小(分割数太大)时，不仅不太可能从俯瞰掌握拥挤，而且还存在由于检测位置的精度误差的影响而导致的结果与事实不同的风险。在分割区域的方法中，例如，基于检测的精度误差预先确定与地图比例尺有关的距离信息。可以从与比例尺有关的距离信息获得与地图中获得的区域相对应的实际空间的大小。考虑到所获得的大小和检测精度误差，确定分割大小。例如，当位置精度为±1米时，以作为精度的2至3倍的2米至3米的单位来分割区域。这使得能够以更高的精度获得拥挤状态的分布。

在图11中，将表示预定距离内的人的检测位置的坐标进行分组。判断为拥挤程度随着各个组中的坐标彼此越接近而增加。如在上面的描述中，可以通过以深色绘制拥挤区域来获得右手侧的热图。可以不作为整体进行分组处理，而是可以获得各检测结果和与该检测结果最接近的检测结果之间的距离。检测坐标附近的各个区域可以根据其值进行着色。

现在将参考图17来描述判断人流的方法。统计单元404获得当前拍摄图像中的人的最新(当前)检测坐标和该人的过去(相对于最新检测结果的预定时间段之前)的检测坐标(S1701)，并通过利用这些坐标来判断人流。具体地，将用以获得表示当前图像中的人的检测位置的检测坐标和过去图像中检测到的人的检测坐标的转换公式用于投影变换以获得地图中的位置。通过计算mp＝Hfp(mp是地图中足部的位置的坐标，fp是足部的位置的坐标，并且H是单应性转换矩阵)来计算地图坐标。在地图中，可以将两点的移动方向作为地图中的移动方向来处理，并且两点之间的距离可以作为移动速度来处理。

在获得表示图像中的人的检测位置的坐标的情况下，需要提供大致整个人流(人的移动方向)以改善可视性。图12示出获得人流的方法的示例。图12示出单个地图中的分割区域。在判断人流的方法中，从检测到的人随机选择人，并且人流被确定为人的移动方向。在图12所示的示例中，选择位于分割区域中最左上或右边的人。原因是可以认为人不太可能在狭小的区域内沿多个方向移动，而且可以判断为任何选择都不会产生大的差异。还可以认为使用人的平均移动方向，或者为了多数决定而将方向分类为四个方向或八个方向。这是用于抑制当在一定程度上人流指向同一方向时由于误检测而导致随机选择到错误的有效方法。另一想法是选择移动距离大的人或快速移动的人。不存在所有情况下都准确表达人流的方法，并且优选适当地使用这些方法。

以上描述了用于统计拥挤和人流的方法。关于统计时间段，当统计时间段太短时，实际看到结果与拍摄图像尽可能地接近，并且不太可能掌握当区域宽且使用多个照相机时获得的结果的概览。与此相对，当统计时间段太长时，不太可能追踪拥挤和人流的细微变化。有鉴于此，随着要统计的区域的变宽，优选地基于地图比例尺的设置来增加该时间段。

在通过使用投影变换来转换位置的坐标的某些情况下，根据位置而产生大的误差，并且转换后的坐标在地图之外，或者转换后的坐标在墙中。这样的转换结果是错误的，并且可以设置地图中的除统计期间以外的区域。当安装多个照相机时，在某些情况下关联区域重叠。在这些情况下，存在当仅统计各个检测结果时重复计数的风险。可以根据投影变换的设置来判断重叠区域。因此，当统计可以重叠的区域时，可以统计同时从不同照相机发送的检测结果的坐标的集合。在许多情况下，无法安装各个照相机使得覆盖地图上的所有区域，并且需要将结果返回到显示装置以知道照相机的盲点。通过拍摄图像的四个角的投影变换知道地图中的关联点。使用该信息使得能够在地图中判断照相机的视角内和盲点。因此，优选地将盲点的位置发送到显示装置，并且如图8所示优选地以灰色显示照相机的盲点。

可以每次基于来自显示装置的请求来计算统计。然而，各个检测结果本身是冗余的，并且在保存长时间段时限制了装置的记录容量。当每次计算统计时，对显示装置的响应都花费时间。有鉴于此，无论是否存在来自显示装置的对结果的请求，统计单元都以规则的间隔进行统计处理，将统计结果保存在人流分析服务器中，并在预定时间段之后删除用于统计处理的对象数据。

图像显示设备500获得与由人流分析服务器设备400的统计单元404获得的统计结果有关的信息，并使显示单元502将该信息显示在画面上。图13示出拥挤和人流的统计结果的示例。示出了随着各个位置的颜色变深，检测到的人的数量增加，这意味着发生拥挤。其上绘制的符号表示人流。点表示滞留。箭头表示移动方向。要想出表达人流的方法。例如，可以认为绘制的箭头的大小、形状、长度和颜色会改变，或者箭头是取决于人流的大小的动画。可以以不用箭头示出滞留位置或者仅在检测到拥挤的位置上叠加任何符号的方式来有意强调滞留的位置。可以由图像显示设备500或人流分析服务器设备400进行绘制处理。

当绘制热图时，拥挤位置的颜色相对于非拥挤位置的颜色发生改变。可以由绝对值或相对值来进行该判断。用于判断颜色的阈值可以手动设置，或可以通过使用过去的检测结果来手动选择。用户可以选择例如在一平方米上有多少人的指标，并且可以使用通过从该指标逆算求出的块中的人数作为阈值。可以根据时区、照相机和地图来单独设置这些值。该判断可以不由图像显示设备500的显示单元502做出，而是可以由人流分析服务器设备400的统计单元404做出，并且显示单元可以遵从用于绘制拥挤和人流的指示。

以上详细描述了实施例。本发明可以包括例如系统、设备、方法、程序或记录介质(存储介质)的实施例。具体地，本发明可以应用于包括多个装置(例如，主机计算机、接口装置、摄像装置和web应用)的系统或包括单个装置的设备。

本发明的目的还通过如下方式实现。也就是说，向系统或设备提供记录用于执行根据上述实施例的功能的软件的程序代码(计算机程序)的记录介质(或存储介质)。不用说，存储介质可以由计算机读取。系统或设备的计算机(或CPU或MPU)读取并执行记录介质中所存储的程序代码。在这种情况下，从记录介质读取的程序代码执行根据上述实施例的功能，并且本发明包括用于记录程序代码的记录介质。

本发明涉及用于根据由照相机拍摄的图像来分析和可视化人的移动流的人流分析系统、人流分析系统的控制方法和程序。

本发明不限于上述实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改和改变。因此，添加所附权利要求书以公开本发明的范围。

本申请要求2017年3月6日提交的日本专利申请2017-042043的权益，其全部内容通过引用包含于此。

Claims (27)

1.一种显示处理系统，用于显示人的拥挤状态和表示人的移动的人流的分析结果，所述系统包括：

设置单元，用于将照相机所拍摄的图像中的位置与预先获得的地图中的位置相关联；

检测单元，用于检测所述照相机所拍摄的图像中的人；

统计单元，用于基于所述设置单元所进行的设置来将所述检测单元所检测到的人的位置转换为所述地图中的关联位置，并基于转换后的位置来对人的拥挤状态和表示人的移动的人流的结果进行统计；以及

显示单元，用于基于所述统计单元所获得的所述结果，将表示人的拥挤状态的第一图像、表示人流的第二图像和表示人的滞留的第三图像显示在所述地图被分割成的区域中，其中，所述第二图像和所述第三图像叠加在所述第一图像上。

2.根据权利要求1所述的显示处理系统，其中，所述检测单元在无法检测到人体的足部的位置的情况下，根据所检测到的人体的面部或上半身来推测该人体的足部的位置。

3.根据权利要求1所述的显示处理系统，还包括绘制单元，所述绘制单元用于响应于用户输入而在所述显示单元所显示的拍摄图像和地图上绘制具有相同顶点数的多边形，以及

其中，所述设置单元基于各个多边形的区域来确定用于将所述拍摄图像中的位置与所述地图中的位置相关联的投影变换。

4.根据权利要求3所述的显示处理系统，其中，所述设置单元通过所述投影变换在所述地图上所绘制的多边形的区域中绘制所绘制的多边形的区域中的图像。

5.根据权利要求3所述的显示处理系统，其中，所述绘制单元在与各个多边形的各个顶点相关的位置处绘制针形图形。

6.根据权利要求3所述的显示处理系统，其中，所述绘制单元在所检测到的人的区域中不绘制多边形。

7.根据权利要求2所述的显示处理系统，其中，所述统计单元通过使用所确定的投影变换将人足部的位置的坐标转换为所述地图中的位置，并且针对所述地图被分割成的各个分割区域进行所检测到的人数的统计。

8.根据权利要求1所述的显示处理系统，其中，所述设置单元根据地图比例尺来确定分割区域的大小。

9.根据权利要求7所述的显示处理系统，其中，所述显示单元基于移动的人的数量、或者移动的人的移动速度、或者这两者，针对各个分割区域显示表示人的拥挤状态和人流的画面。

10.根据权利要求9所述的显示处理系统，其中，在所述地图被分割成的分割区域中存在人的情况下，所述统计单元选择用于检测人流的人，并获得该人的移动方向和移动速度。

11.根据权利要求1所述的显示处理系统，其中，所述统计单元根据地图比例尺来确定统计时间段。

12.根据权利要求1所述的显示处理系统，其中，所述统计单元对预定时间段期间的图像的人检测结果中的大部分结果进行统计。

13.根据权利要求1所述的显示处理系统，其中，所述显示单元基于拍摄图像和地图之间的关联，在所述地图上显示所述照相机的盲点区域。

14.根据权利要求1所述的显示处理系统，其中，所述统计单元基于地图比例尺来确定表示拥挤状态的阈值。

15.一种显示处理设备，用于显示人的拥挤状态和表示人的移动的人流的分析结果，所述显示处理设备包括：

统计单元，用于基于设置单元所进行的设置来将照相机所拍摄的图像中检测到的人的位置转换为地图中的关联位置，并基于转换后的位置来对人的拥挤状态和表示人的移动的人流的结果进行统计；以及

显示单元，用于基于所述统计单元所获得的所述结果，将表示人的拥挤状态的第一图像、表示人流的第二图像和表示人的滞留的第三图像显示在所述地图被分割成的分割区域中，其中，所述第二图像和所述第三图像叠加在所述第一图像上。

16.根据权利要求15所述的显示处理设备，还包括设置单元，所述设置单元用于将所述照相机所拍摄的图像中的位置与预先获得的地图中的位置相关联。

17.根据权利要求15所述的显示处理设备，还包括绘制单元，所述绘制单元用于响应于用户输入而在所述显示单元所显示的拍摄图像和地图上绘制具有相同顶点数的多边形，以及

其中，所述设置单元基于各个多边形的区域来确定用于将所述拍摄图像中的位置与所述地图中的位置相关联的投影变换。

18.根据权利要求17所述的显示处理设备，其中，所述设置单元通过所述投影变换在所述地图上所绘制的多边形的区域中绘制所绘制的多边形的区域中的图像。

19.根据权利要求17所述的显示处理设备，其中，所述统计单元通过使用所确定的投影变换将人的位置的坐标转换为所述地图中的位置，并且针对所述地图被分割成的各个分割区域进行所检测到的人数的统计。

20.根据权利要求15所述的显示处理设备，其中，所述设置单元根据地图比例尺来确定分割区域的大小。

21.根据权利要求19所述的显示处理设备，其中，所述显示单元基于移动的人的数量、或者移动的人的移动速度、或者这两者，针对各个分割区域显示表示人数和人流的画面。

22.根据权利要求21所述的显示处理设备，其中，在所述地图被分割成的分割区域中存在人的情况下，所述统计单元选择用于检测人流的人，并获得该人的移动方向和移动速度。

23.根据权利要求15所述的显示处理设备，其中，所述统计单元根据地图比例尺来确定统计时间段。

24.根据权利要求15所述的显示处理设备，其中，所述统计单元对预定时间段期间的图像的人检测结果中的大部分结果进行统计。

25.根据权利要求16所述的显示处理设备，其中，所述显示单元基于拍摄图像和地图之间的关联，在所述地图上显示所述照相机的盲点区域。

26.根据权利要求15所述的显示处理设备，其中，所述统计单元基于地图比例尺来确定表示拥挤状态的阈值。

27.一种存储有计算机程序的非暂时性计算机可读存储介质，所述计算机程序用于使根据权利要求15至26中任一项所述的显示处理设备进行操作。

Images