CN111914819A - 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 - Google Patents
一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN111914819A CN111914819A CN202011058469.2A CN202011058469A CN111914819A CN 111914819 A CN111914819 A CN 111914819A CN 202011058469 A CN202011058469 A CN 202011058469A CN 111914819 A CN111914819 A CN 111914819A
- Authority
- CN
- China
- Prior art keywords
- perspective
- generating
- target detection
- cameras
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000004927 fusion Effects 0.000 title abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 161
- 238000010586 diagram Methods 0.000 claims abstract description 79
- 238000006243 chemical reaction Methods 0.000 claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 9
- 238000013215 result calculation Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
- G06F7/78—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data for changing the order of data flow, e.g. matrix transposition or LIFO buffers; Overflow or underflow handling therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种多摄像头融合的人群密度预测方法、装置、存储介质及终端，方法包括：多个摄像头实时采集场景图像分别输入透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；基于检测物体信息生成多个摄像头的透视转换矩阵；基于行人目标检测结果进行修正，生成行人目标全身框图坐标；调用透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果进行融合，并将各重叠区域行人去重后生成平面图；根据平面图中的坐标，生成平面图对应的人群密度热力图。因此，采用本申请实施例，通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，从而提高了管理部门的信息感知能力和应急处置能力。
Description
技术领域
本发明涉及计算机领域，特别涉及一种多摄像头融合的人群密度预测方法、装置、存储介质及终端。
背景技术
近年来，在世界范围内非常规突发事件时常发生，而这些事件很可能带来灾难性后果，从而大规模群体的疏散方案成为了公共安全领域日益重视的问题。迄今为止，在微观和宏观层面，均已存在大量针对大规模人群的疏散问题的模型研究，这些研究有力地推动了基于非常规突发事件的应急处置领域的发展。但是，关于在非常规突发事件下大规模人群的疏散问题的不确定性尚没有得到充分的认识。
在当前的人群监控方式中，通常使用普通摄像机的实时监控和红外摄像机的热力图成像监控进行应用场景下不同情况的监视，由于这两种方式都只能起到监控单一范围内人群的分布情况，不能宏观显示场馆中人群密度的准确分布情况，从而使得管理部门不能宏观的观察到整个场景下的人群分布情况，从而降低了管理部门的信息感知能力和应急处置能力。
发明内容
本申请实施例提供了一种多摄像头融合的人群密度预测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种多摄像头融合的人群密度预测方法，该方法包括：
利用多个摄像头实时采集场景图像；
将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
基于检测物体信息生成多个摄像头的透视转换矩阵；
基于行人目标检测结果进行修正，生成行人目标全身框图坐标；
调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
根据平面图中的坐标，生成平面图对应的人群密度热力图。
可选的，生成平面图对应的人群密度热力图之后，还包括：
将人群密度热力图发送至客户端进行展示。
可选的，检测物体信息包括类别以及位置坐标；
基于检测物体信息生成多个摄像头的透视转换矩阵，包括：
根据面积最大化从场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点；
根据类别以及位置坐标从预设实际空间坐标集合中匹配透视转换的目标点对应的实际空间坐标，生成多组透视转换点对；
基于多组透视转换点对计算后生成多个摄像头的透视转换矩阵。
可选的，利用摄像头实时采集场景图像之前，还包括：
采用yolo技术创建行人目标检测模型以及透视目标检测模型；
将预先转换的第一训练样本输入行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将训练后的行人目标检测模型确定为预先训练的行人目标检测模型；
将预先转换的第二训练样本输入透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将训练后的透视目标检测模型确定为预先训练的透视目标检测模型。
可选的，预先转换的第一训练样本和第二训练样本，包括：
从图像库中获取多个连续时刻的视频图像帧；
抓取视频图像帧中的目标行人进行打标，生成第一训练样本数据；
抓取视频图像帧中固定物体进行打标，生成第二训练样本数据；
将第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据；
将转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本。
可选的，图像库，包括：
采集应用场景下的视频流数据；
将视频流数据转换成图像数据；
将图像数据保存至历史图像库。
可选的，在利用摄像头实时采集场景图像之前，还包括：
针对应用场景下的多个摄像头进行标定，并检测每个摄像头的畸变程度；
当多个摄像头中存在畸变摄像头时，对畸变摄像头进行校正；
校正结束后获得多个预处理后的摄像头。
第二方面，本申请实施例提供了一种多摄像头融合的人群密度预测装置，该装置包括：
图像采集模块，用于利用多个摄像头实时采集场景图像；
识别模块，用于将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
透视转换矩阵生成模块，用于基于检测物体信息生成多个摄像头的透视转换矩阵；
坐标生成模块，用于基于行人目标检测结果进行修正，生成行人目标全身框图坐标；
结果生成模块，用于调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
平面图生成模块，用于将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
热力图绘制模块，用于根据平面图中的坐标，生成平面图对应的人群密度热力图。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，多摄像头融合的人群密度预测装置首先利用多个摄像头实时采集场景图像，再将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果，然后基于检测物体信息生成多个摄像头的透视转换矩阵，并基于行人目标检测结果进行修正，生成行人目标全身框图坐标，再调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果，再将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图，最后根据平面图中的坐标，生成平面图对应的人群密度热力图。申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种多摄像头融合的人群密度预测方法的流程示意图；
图2是本申请实施例提供的一种多摄像头融合的人群密度预测是行人目标遮挡情形展示的示意图；
图3是本申请实施例提供的一种多摄像头融合的人群密度预测是行人目标遮挡情形修正后的示意图；
图4是本申请实施例提供的一种热力图成像时两个摄像头交叠的区域热度将会出现假高的示意图；
图5是本申请实施例提供的一种多摄像头信号控制机制的示意图；
图6是本申请实施例提供的一种模型训练的流程示意图；
图7是本申请实施例提供的一种多摄像头融合的人群密度预测过程的过程示意图；
图8是本申请实施例提供的另一种多摄像头融合的人群密度预测方法的流程示意图；
图9是本申请实施例提供的一种透视转换矩阵转换的流程示意图；
图10是本申请实施例提供的一种多摄像头融合的人群密度预测装置的结构示意图；
图11是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，在当前的人群监控方式中，通常使用普通摄像机的实时监控和红外摄像机的热力图成像监控进行应用场景下不同情况的监视，由于这两种方式都只能起到监控单一范围内人群的分布情况，不能宏观显示场馆中人群密度的准确分布情况，从而使得管理部门不能宏观的观察到整个场景下的人群分布情况，从而降低了管理部门的信息感知能力和应急处置能力。为此，本申请提供了一种多摄像头融合的人群密度预测方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图9，对本申请实施例提供的多摄像头融合的人群密度预测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的多摄像头融合的人群密度预测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的多摄像头融合的人群密度预测装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理（personal digital assistant，PDA）、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种多摄像头融合的人群密度预测方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，利用多个摄像头实时采集场景图像；
其中，多个摄像头是在应用场景中设置的多个图像采集设备，场景图像是通过多个摄像头采集的视频图像帧。
通常，在利用摄像头采集图像之前还需要对多个摄像头进行预先处理，首先针对应用场景下的多个摄像头进行标定，并检测每个摄像头的畸变程度，然后当多个摄像头中存在畸变摄像头时，对畸变摄像头进行校正，最后校正结束后获得多个预处理后的摄像头。
在一种可能的实现方式中，在进行人群密度预测时，多摄像头融合的人群密度预测装置首先开启用户终端以及通过无线或者有线的方式和用户终端连接的多个摄像头，在开启设备后，多个摄像头实时采集监控场景下的视频图像帧，并将视频图像帧发送到用户终端进行进一步的处理。
S102，将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
其中，预先训练的透视目标检测模型和行人目标检测模型是检测和识别场景图像中物体信息及行人目标检测结果的数学模型。物体信息是通过透视目标检测模型检测结束后得到的，行人目标检测结果是通过行人目标检测模型检测结束后得到的。
通常，预先训练的透视目标检测模型和行人目标检测模型在生成时，首先采用yolo技术创建生成目标检测模型和行人目标检测模型，再获取预先转换的第一训练样本和第二训练样本，并将第一训练样本输入行人目标检测模型中进行训练，训练结束后生成训练后的行人目标检测模型，再将第二训练样本输入透视目标检测模型中进行训练，训练结束后生成训练后的透视目标检测模型。
进一步地，第一训练样本和第二训练样本的生成方式为，首先从图像库中获取多个连续时刻的视频图像帧，再抓取视频图像帧中的目标行人进行打标，生成第一训练样本数据，再抓取视频图像帧中固定物体进行打标，生成第二训练样本数据，然后将第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据，最后将转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本。
进一步地，图像库是保存历史图像信息的数据仓库，首先采集应用场景下的视频流数据，然后将视频流数据转换成图像数据，最后将图像数据保存在历史图像库。
例如，在进行模型训练时，例如图6所示，首先采集应用场景下的视频流数据，并转换成图像数据，再对采集的数据中的行人进行打标，打标类型分为三个类别。Head(只露出头部的人)、pedestrians（完整的人），partially-visible persons（被遮挡的人），然后对场景中落地的固定物体进行打标，打标类型包括墙的边角、地面指示标等，最后将打标的数据统一转换成yolo格式。
在一种可能的实现方式中，用户终端在检测到多个摄像头发送来的视频图像数据时，首先调取预先训练的透视目标检测模型和行人目标检测模型，然后将视频图像帧分别输入到透视目标检测模型和行人目标检测模型中进行检测，检测结束后得到检测物体信息以及行人目标检测结果。
具体的，通过训练得到的透视转换点检测模型，对摄像头中采集的图像进行识别检测，输出图像中的目标检测物体信息 (类别，位置框四个顶点图像坐标)，输出的坐标结果如表格1所示，然后通过训练的行人目标检测模型对摄像头中采集的图像中行人目标进行识别，得到行人目标检测结果。
表1
S103，基于检测物体信息生成多个摄像头的透视转换矩阵；
通常，Yolo模型在视频流中检测到的目标物体的坐标，是基于图像像素的相对坐标；而平面图中所需要的坐标是目标物体在实际空间中的绝对坐标。因此，需要将检测结果进行透视转换，将目标物体在图像像素中的相对坐标转移到所对应的空间中的绝对坐标。现有的透视转换方式需要在图像空间与平面空间中人工选取一一对应的四组坐标点，计算出整张图像的透视转换矩阵，进而将图像中的所有点透视转换到平面坐标系中。转换原理图如图9所示。
在一种可能的实现方式中，在生成多个摄像头的透视转换矩阵时，首先根据面积最大化从场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点，然后根据类别以及位置坐标从预设实际空间坐标集合中匹配透视转换的目标点对应的实际空间坐标，生成多组透视转换点对，最后基于多组透视转换点对计算后生成多个摄像头的透视转换矩阵。
具体的，通过最大化面积方法，从物体信息（例如表1）选取4个不同线的物体类别的位置坐标得到透视转换的一组目标点。面积最大化计算如公式1与公式2所示：
其中
代表透视预测模型检测出的目标点坐标，每四个点计算一次面积，其中A为该图像目标检测出的所有点的坐标序号。
在根据面积最大化方法得到一组目标点后，根据目标点对应的类别位置信息从预设空间位置坐标中获取该组目标点的实际空间坐标，将这一组目标点对应的实际空间位置坐标确定为四对透视转换点对，将该四对透视转换点对代入公式3计算得到摄像头的透视转换矩阵。
透视转换矩阵的计算公式为：
其中源点矩阵：
，目标点矩阵：
，a为矩阵中的元素， 其中
。通过展开得到公式4与公式5：
例如，通过面积最大化计算公式获取的
由物体位置坐标点（84，122）、（112，308）、（568，314）与（597，176）组成，同时获取得到空间中四个点的坐标分别为：（519，418）、（651，296）、（656，251）、（597，190），将空间中四个点的坐标代入公式（3），计算得到透视矩阵。实现自动化的获取每个摄像头透视转换矩阵。该方法主要能够在实时监控时，自动化的调整，由于误触导致摄像头出现偏移，从而造成透视出现偏差等问题。
空间中四个点的坐标经过透视转换计算得到透视转换矩阵A为：
S104，基于行人目标检测结果进行修正，生成行人目标全身框图坐标；
在一种可能的实现方式中，根据步骤S102得到行人目标检测结果后，行人目标检测结果包括行人目标的坐标位置、行人类别以及判定置信度，由于行人目标存在相互遮挡或建筑障碍物遮挡等情况，如图2所示，在透视转换中，相对于行人目标其他身体部位，脚底在透视转换时相对保持其原先的坐标位置，不容易发生大幅度偏移，但由于图3所示的几种情况，此时通过目标检测获取的坐标框，将难以计算行人脚底的位置坐标。
为保持透视转换的准确性，针对以上问题，进行预测框修正。首先通过大量数据的计算，获取目标场景下类别为pedestrians（完整的人）时坐标框的长宽比均值∂。对类别为partially-visible persons（被遮挡的人）与 Head(只露出头部的人)的行人目标框进行修正，首先选取其一定范围阈值r内距离最近的pedestrians的长宽比进行坐标框下修正，如图3中所示的a位置。若阈值范围内不存在类别为pedestrians的人，则采用全局长宽比均值∂进行修正，如图3中所示的c位置，获得行人目标全身框图坐标，例如图3所示的b位置。
S105，调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
在一种可能的实现方式中，在根据步骤S103得到摄像头的透视转换矩阵以及基于步骤S104得到修正后的行人目标时，调用多个摄像头透视矩阵进行行人目标坐标的转换，将行人目标坐标转换成行人目标的空间位置坐标，从而得到了多个透视转换结果。
S106，将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
在一种可能的实现方式中，通过信号控制机制，将多个摄像头同一时刻透视转换后的坐标进行融合，并将各重叠区域行人去重后得到某一时间点平面空间图中坐标分布，根据生成的平面图中的坐标，绘制平面图人群密度热力图，并传输到前端，进行展示。
进一步的，在进行去重时，针对两个相邻摄像头交叉覆盖区域内重叠的行人目标，经透视转换后，交叉区域将会出现同一个人，出现两次的情况。因此热力图成像时两个摄像头交叠的区域热度将会出现假高的问题，如图4阴影部分所示（摄像头拍摄区域交叠情形）。
针对该问题，本发明将采用透视转换后，计算两个摄像头交叠区域透视准确率的方式，并对该区域进行划分。主要实现过程是，在重叠区域选取多个原始图像坐标
与
，其中X与X*的实际空间坐标应相同，并根据之前计算的透视转换矩阵各自进行转换得到转换后的坐标
与
，将转换的坐标与实际平面的空间坐标
分别进行对比,如公式6与公式7所示所示：
最终将所有的坐标点按照公式8进行划分，得到两个集合，其中集合A表示所有的透视转换后的点中，摄像头a的准确度比摄像头b的准确度更高的点。集合B则表示，摄像头b比摄像头a的准确度更高的点的集合。根据其中一个集合的点，进行非线性拟合，获得两个摄像头的划分曲线s,示例如公式9所示。每个摄像头只保留划分曲线左侧或者右侧的点，此时完成两个摄像头交叠区域的划分工作。
通过实验测试得到某个集合点坐标如表2所示：
表2非线性拟合坐标点
通过拟合得到曲线s,如公式10所示
需要说明的是，在本申请实施例中，为提高实时响应速度，每个视频流通过建立单独的进程进行目标检测，对行人目标坐标进行修正后，调用该摄像头透视矩阵进行行人目标坐标的转换。通过信号控制机制，将多个摄像头同一时刻透视转换后的坐标进行组合，得到某一时间点平面空间中目标的坐标分布。信号控制机制，通过给每一个进程传递一个控制信号，初始时，信号为开启状态，每个摄像头开始进行检测，先完成检测的进程获得等待信号，直到所有进程完成检测，此时融合所有摄像头的坐标结果，并赋予所有进程开启信号，进行下一帧的多进程检测，流程如图5所示。
S107，根据平面图中的坐标，生成平面图对应的人群密度热力图。
在一种可能的实现方式中，例如图7所示，图7是本申请实施例提供的一种多摄像头融合的人群密度预测过程的过程示意图，首先实时摄像头1采集视频流数据、实时摄像头2采集视频流数据、实时摄像头3采集视频流数据传输到用户终端，用户终端获取预先训练的透视目标检测模型以及行人目标检测模型，首先将3个摄像头的视频流数据载入到透视目标检测模型中进行透视目标检测，从而获取到最大面积对应的目标点组合，将目标点组合输入透视矩阵计算公式中计算出3个摄像头的透视矩阵。然后再将视频输入载入行人目标检测模型中进行行人目标检测，再将检测到的行人目标进行结果框修正，最后调用3个摄像头的透视矩阵进行行人目标修正后的坐标点转换，从而得到透视结果1、2、3（即多个行人的空间位置坐标点），融合多个摄像头的透视结果，并将重叠区域行人重识别后去重，最后得到某一时间点平面空间中目标的坐标分布，根据坐标分布绘生成当前时刻的热力图。
在本申请实施例中，多摄像头融合的人群密度预测装置首先利用多个摄像头实时采集场景图像，再将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果，然后基于检测物体信息生成多个摄像头的透视转换矩阵，并基于行人目标检测结果进行修正，生成行人目标全身框图坐标，再调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果，再将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图，最后根据平面图中的坐标，生成平面图对应的人群密度热力图。申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力。
请参见图8，为本申请实施例提供的一种多摄像头融合的人群密度预测时模型训练的方法的流程示意图。方法可以包括以下步骤：
S201，采集应用场景下的视频流数据；
S202，将视频流数据转换成图像数据；
S203，将图像数据保存至历史图像库；
S204，从图像库中获取多个连续时刻的视频图像帧；
S205，抓取视频图像帧中的目标行人进行打标，生成第一训练样本数据；
S206，抓取视频图像帧中固定物体进行打标，生成第二训练样本数据；
S207，将第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据；
S208，将转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本；
S209，采用yolo技术创建行人目标检测模型以及透视目标检测模型；
其中，yolo技术为Yolov5模型技术，Yolov5是目前开源的一种目标检测模型，能够通过前期的训练，检测图像中目标物体的位置与类别。由于其超高的检测性能及运行效率，在实时视频流检测中具有较好的表现。
通常，通过将打标的训练图像输入到yolov5模型中，原始图像分别经过mosaic数据增强、自适应锚框计算等预处理方法，将不同大小的图像进行统一处理，并随机缩放、排布，得到维度统一的输出图像序列。预处理完成的图像经过深层次的网络结构，提取图像特征，并通过CSPNet等结构，不断加强网络特征融合的能力，最终通过不同缩放尺度的Head检测不同大小的物体，输出检测目标的类别、位置信息与检测置信度。
S210，将预先转换的第一训练样本输入行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将训练后的行人目标检测模型确定为预先训练的行人目标检测模型；
S211，将预先转换的第二训练样本输入透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将训练后的透视目标检测模型确定为预先训练的透视目标检测模型。
本申请提出了一种基于Yolov5模型的多摄像头图像透视转换并融合的人群密度分布的呈现方法。该方法利用Yolov5模型对摄像头的视频流进行目标检测，将多个摄像头的检测结果透视转换到平面图中，并进行实时融合，最终得到整个场景的人群密度的热力图，从而达到对整个场景监控的作用。
在本申请实施例中，多摄像头融合的人群密度预测装置首先利用多个摄像头实时采集场景图像，再将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果，然后基于检测物体信息生成多个摄像头的透视转换矩阵，并基于行人目标检测结果进行修正，生成行人目标全身框图坐标，再调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果，再将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图，最后根据平面图中的坐标，生成平面图对应的人群密度热力图。申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图10，其示出了本发明一个示例性实施例提供的多摄像头融合的人群密度预测装置的结构示意图。该多摄像头融合的人群密度预测装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括图像采集模块10、识别模块20、透视转换矩阵生成模块30、坐标生成模块40、结果生成模块50、平面图生成模块60、热力图绘制模块70。
图像采集模块10，用于利用多个摄像头实时采集场景图像；
识别模块20，用于将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
透视转换矩阵生成模块30，用于基于检测物体信息生成多个摄像头的透视转换矩阵；
坐标生成模块40，用于基于行人目标检测结果进行修正，生成行人目标全身框图坐标；
结果生成模块50，用于调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
平面图生成模块60，用于将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
热力图绘制模块70，用于根据平面图中的坐标，生成平面图对应的人群密度热力图。
需要说明的是，上述实施例提供的多摄像头融合的人群密度预测装置在执行多摄像头融合的人群密度预测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多摄像头融合的人群密度预测装置与多摄像头融合的人群密度预测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，多摄像头融合的人群密度预测装置首先利用多个摄像头实时采集场景图像，再将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果，然后基于检测物体信息生成多个摄像头的透视转换矩阵，并基于行人目标检测结果进行修正，生成行人目标全身框图坐标，再调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果，再将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图，最后根据平面图中的坐标，生成平面图对应的人群密度热力图。申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的多摄像头融合的人群密度预测方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的多摄像头融合的人群密度预测方法。
请参见图11，为本申请实施例提供了一种终端的结构示意图。如图11所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多摄像头融合的人群密度预测应用程序。
在图11所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的多摄像头融合的人群密度预测应用程序，并具体执行以下操作：
利用多个摄像头实时采集场景图像；
将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
基于检测物体信息生成多个摄像头的透视转换矩阵；
基于行人目标检测结果进行修正，生成行人目标全身框图坐标；
调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
根据平面图中的坐标，生成平面图对应的人群密度热力图。
在一个实施例中，处理器1001在执行筛查生成平面图对应的人群密度热力图之后时，还执行以下操作：
将人群密度热力图发送至客户端进行展示。
在一个实施例中，处理器1001在执行基于检测物体信息生成多个摄像头的透视转换矩阵时，具体执行以下操作：
根据面积最大化从场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点；
根据类别以及位置坐标从预设实际空间坐标集合中匹配透视转换的目标点对应的实际空间坐标，生成多组透视转换点对；
基于多组透视转换点对计算后生成多个摄像头的透视转换矩阵。
在一个实施例中，处理器1001在执行利用摄像头实时采集场景图像之前时，还执行以下操作：
采用yolo技术创建行人目标检测模型以及透视目标检测模型；
将预先转换的第一训练样本输入行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将训练后的行人目标检测模型确定为预先训练的行人目标检测模型；
将预先转换的第二训练样本输入透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将训练后的透视目标检测模型确定为预先训练的透视目标检测模型。
在一个实施例中，处理器1001在执行预先转换的第一训练样本和第二训练样本时，具体执行以下操作：
从图像库中获取多个连续时刻的视频图像帧；
抓取视频图像帧中的目标行人进行打标，生成第一训练样本数据；
抓取视频图像帧中固定物体进行打标，生成第二训练样本数据；
将第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据；
将转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本。
在本申请实施例中，多摄像头融合的人群密度预测装置首先利用多个摄像头实时采集场景图像，再将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果，然后基于检测物体信息生成多个摄像头的透视转换矩阵，并基于行人目标检测结果进行修正，生成行人目标全身框图坐标，再调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果，再将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图，最后根据平面图中的坐标，生成平面图对应的人群密度热力图。申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种多摄像头融合的人群密度预测方法，其特征在于，所述方法包括：
利用多个摄像头实时采集场景图像；
将所述场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
基于所述检测物体信息生成多个摄像头的透视转换矩阵；
基于所述行人目标检测结果进行修正，生成行人目标全身框图坐标；
调用所述多个摄像头的透视转换矩阵对所述行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
将所述多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
根据所述平面图中的坐标，生成所述平面图对应的人群密度热力图。
2.根据权利要求1所述的方法，其特征在于，所述生成所述平面图对应的人群密度热力图之后，还包括：
将所述人群密度热力图发送至客户端进行展示。
3.根据权利要求1所述的方法，其特征在于，所述检测物体信息包括类别以及位置坐标；
所述基于所述检测物体信息生成多个摄像头的透视转换矩阵，包括：
根据面积最大化从所述场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点；
根据所述类别以及位置坐标从预设实际空间坐标集合中匹配所述透视转换的目标点对应的实际空间坐标，生成多组透视转换点对；
基于所述多组透视转换点对计算后生成多个摄像头的透视转换矩阵。
4.根据权利要求1所述的方法，其特征在于，所述利用摄像头实时采集场景图像之前，还包括：
采用yolo技术创建行人目标检测模型以及透视目标检测模型；
将预先转换的第一训练样本输入所述行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将所述训练后的行人目标检测模型确定为预先训练的行人目标检测模型；
将预先转换的第二训练样本输入所述透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将所述训练后的透视目标检测模型确定为预先训练的透视目标检测模型。
5.根据权利要求4所述的方法，其特征在于，所述预先转换的第一训练样本和第二训练样本，包括：
从图像库中获取多个连续时刻的视频图像帧；
抓取所述视频图像帧中的目标行人进行打标，生成第一训练样本数据；
抓取所述视频图像帧中固定物体进行打标，生成第二训练样本数据；
将所述第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据；
将所述转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本。
6.根据权利要求5所述的方法，其特征在于，所述图像库，包括：
采集应用场景下的视频流数据；
将所述视频流数据转换成图像数据；
将所述图像数据保存至历史图像库。
7.根据权利要求1所述的方法，其特征在于，在所述利用摄像头实时采集场景图像之前，还包括：
针对应用场景下的多个摄像头进行标定，并检测每个摄像头的畸变程度；
当所述多个摄像头中存在畸变摄像头时，对所述畸变摄像头进行校正；
校正结束后获得多个预处理后的摄像头。
8.一种多摄像头融合的人群密度预测方法，其特征在于，所述装置包括：
图像采集模块，用于利用多个摄像头实时采集场景图像；
识别模块，用于将所述场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
透视转换矩阵生成模块，用于基于所述检测物体信息生成多个摄像头的透视转换矩阵；
坐标生成模块，用于基于所述行人目标检测结果进行修正，生成行人目标全身框图坐标；
结果生成模块，用于调用所述多个摄像头的透视转换矩阵对所述行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
平面图生成模块，用于将所述多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
热力图绘制模块，用于根据所述平面图中的坐标，生成所述平面图对应的人群密度热力图。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058469.2A CN111914819B (zh) | 2020-09-30 | 2020-09-30 | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058469.2A CN111914819B (zh) | 2020-09-30 | 2020-09-30 | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914819A true CN111914819A (zh) | 2020-11-10 |
| CN111914819B CN111914819B (zh) | 2021-01-26 |
Family
ID=73265368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011058469.2A Active CN111914819B (zh) | 2020-09-30 | 2020-09-30 | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914819B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112557815A (zh) * | 2020-11-27 | 2021-03-26 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| CN112613422A (zh) * | 2020-12-26 | 2021-04-06 | 上海有个机器人有限公司 | 基于加权融合的行人空间位置估计方法、装置和机器人 |
| CN112668451A (zh) * | 2020-12-24 | 2021-04-16 | 南京泓图人工智能技术研究院有限公司 | 一种基于YOLOv5的人群密度实时监测方法 |
| CN112735083A (zh) * | 2021-01-19 | 2021-04-30 | 齐鲁工业大学 | 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法 |
| CN113158780A (zh) * | 2021-03-09 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 区域人群密度估计方法、电子设备及存储介质 |
| CN113159004A (zh) * | 2021-05-27 | 2021-07-23 | 苏州大学 | 轨道交通车厢客流估计方法 |
| CN113205515A (zh) * | 2021-05-27 | 2021-08-03 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、及计算机存储介质 |
| CN113420726A (zh) * | 2021-08-20 | 2021-09-21 | 北京文安智能技术股份有限公司 | 基于俯视图像的区域去重客流统计方法 |
| CN114120372A (zh) * | 2022-01-24 | 2022-03-01 | 深圳爱莫科技有限公司 | 基于人体检测识别的空间客流热力分布方法及系统 |
| WO2022111275A1 (zh) * | 2020-11-27 | 2022-06-02 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置及电子设备 |
| WO2022188030A1 (zh) * | 2021-03-09 | 2022-09-15 | 中国科学院深圳先进技术研究院 | 人群密度估计方法、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8825080B1 (en) * | 2010-06-01 | 2014-09-02 | Google Inc. | Predicting geographic population density |
| US9230169B2 (en) * | 2013-08-29 | 2016-01-05 | Digitalglobe, Inc. | Generation of high resolution population density data sets through exploitation of high resolution overhead imagery data and low resolution population density data sets |
| JP2017157128A (ja) * | 2016-03-04 | 2017-09-07 | 株式会社日水コン | 水圏生物群集構造の変化予測装置およびコンピュータプログラム |
| CN108717528A (zh) * | 2018-05-15 | 2018-10-30 | 苏州平江历史街区保护整治有限责任公司 | 一种基于深度网络的多策略全局人群分析方法 |
| CN110059668A (zh) * | 2019-04-29 | 2019-07-26 | 中国民用航空总局第二研究所 | 行为预测处理方法、装置及电子设备 |
| CN110598558A (zh) * | 2019-08-14 | 2019-12-20 | 浙江省北大信息技术高等研究院 | 人群密度估计方法、装置、电子设备及介质 |
| CN111652152A (zh) * | 2020-06-04 | 2020-09-11 | 上海眼控科技股份有限公司 | 人群密度检测方法、装置、计算机设备和存储介质 |
-
2020
- 2020-09-30 CN CN202011058469.2A patent/CN111914819B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8825080B1 (en) * | 2010-06-01 | 2014-09-02 | Google Inc. | Predicting geographic population density |
| US9230169B2 (en) * | 2013-08-29 | 2016-01-05 | Digitalglobe, Inc. | Generation of high resolution population density data sets through exploitation of high resolution overhead imagery data and low resolution population density data sets |
| JP2017157128A (ja) * | 2016-03-04 | 2017-09-07 | 株式会社日水コン | 水圏生物群集構造の変化予測装置およびコンピュータプログラム |
| CN108717528A (zh) * | 2018-05-15 | 2018-10-30 | 苏州平江历史街区保护整治有限责任公司 | 一种基于深度网络的多策略全局人群分析方法 |
| CN110059668A (zh) * | 2019-04-29 | 2019-07-26 | 中国民用航空总局第二研究所 | 行为预测处理方法、装置及电子设备 |
| CN110598558A (zh) * | 2019-08-14 | 2019-12-20 | 浙江省北大信息技术高等研究院 | 人群密度估计方法、装置、电子设备及介质 |
| CN111652152A (zh) * | 2020-06-04 | 2020-09-11 | 上海眼控科技股份有限公司 | 人群密度检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 宋宏权等: "一种可跨摄像机的人群密度估计模型", 《中国安全科学学报》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112557815B (zh) * | 2020-11-27 | 2022-05-20 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| CN112557815A (zh) * | 2020-11-27 | 2021-03-26 | 广东电网有限责任公司肇庆供电局 | 一种基于固定式和移动式巡视图像的配网线路树障识别与故障定位方法 |
| WO2022111275A1 (zh) * | 2020-11-27 | 2022-06-02 | 杭州海康威视数字技术股份有限公司 | 数据处理方法、装置及电子设备 |
| CN112668451A (zh) * | 2020-12-24 | 2021-04-16 | 南京泓图人工智能技术研究院有限公司 | 一种基于YOLOv5的人群密度实时监测方法 |
| CN112613422A (zh) * | 2020-12-26 | 2021-04-06 | 上海有个机器人有限公司 | 基于加权融合的行人空间位置估计方法、装置和机器人 |
| CN112735083A (zh) * | 2021-01-19 | 2021-04-30 | 齐鲁工业大学 | 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法 |
| CN113158780A (zh) * | 2021-03-09 | 2021-07-23 | 中国科学院深圳先进技术研究院 | 区域人群密度估计方法、电子设备及存储介质 |
| WO2022188030A1 (zh) * | 2021-03-09 | 2022-09-15 | 中国科学院深圳先进技术研究院 | 人群密度估计方法、电子设备及存储介质 |
| CN113158780B (zh) * | 2021-03-09 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 区域人群密度估计方法、电子设备及存储介质 |
| CN113205515A (zh) * | 2021-05-27 | 2021-08-03 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、及计算机存储介质 |
| CN113159004A (zh) * | 2021-05-27 | 2021-07-23 | 苏州大学 | 轨道交通车厢客流估计方法 |
| CN113159004B (zh) * | 2021-05-27 | 2023-03-10 | 苏州大学 | 轨道交通车厢客流估计方法 |
| CN113205515B (zh) * | 2021-05-27 | 2023-04-18 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、及计算机存储介质 |
| CN113420726A (zh) * | 2021-08-20 | 2021-09-21 | 北京文安智能技术股份有限公司 | 基于俯视图像的区域去重客流统计方法 |
| CN113420726B (zh) * | 2021-08-20 | 2021-11-19 | 北京文安智能技术股份有限公司 | 基于俯视图像的区域去重客流统计方法 |
| CN114120372A (zh) * | 2022-01-24 | 2022-03-01 | 深圳爱莫科技有限公司 | 基于人体检测识别的空间客流热力分布方法及系统 |
| CN114120372B (zh) * | 2022-01-24 | 2022-04-22 | 深圳爱莫科技有限公司 | 基于人体检测识别的空间客流热力分布方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914819B (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914819B (zh) | 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端 | |
| CN110660066B (zh) | 网络的训练方法、图像处理方法、网络、终端设备及介质 | |
| CN112216049B (zh) | 一种基于图像识别的施工警戒区监测预警系统及方法 | |
| CN110012209B (zh) | 全景图像生成方法、装置、存储介质及电子设备 | |
| CN109409238B (zh) | 一种障碍物检测方法、装置及终端设备 | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN113192646B (zh) | 目标检测模型构建方法及不同目标间距离监控方法、装置 | |
| WO2023124054A1 (zh) | 一种基于数字孪生监控物理世界的方法、装置及存储介质 | |
| KR20220024986A (ko) | 타깃 추적 방법 및 장치, 저장 매체 및 컴퓨터 프로그램 | |
| CN112434546A (zh) | 人脸活体检测方法及装置、设备、存储介质 | |
| CN112633661A (zh) | 一种基于bim的应急调度指挥方法、系统、计算机设备及可读介质 | |
| CN112508865A (zh) | 一种无人机巡检避障方法、装置、计算机设备和存储介质 | |
| CN110557628A (zh) | 一种检测摄像头遮挡的方法、装置及电子设备 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| EP3585052A1 (en) | Image identification method, device, apparatus, and data storage medium | |
| CN113688820A (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| US20180278914A1 (en) | Image generation system and image generation method | |
| CN111860187A (zh) | 一种高精度的佩戴口罩识别方法及系统 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
| CN113963162A (zh) | 安全帽佩戴识别方法、装置、计算机设备和存储介质 | |
| CN107301373B (zh) | 数据处理方法、装置及存储介质 | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| CN116721516A (zh) | 一种基于视频监控的预警方法、装置及存储介质 | |
| CN114360064B (zh) | 基于深度学习的办公场所人员行为轻量级目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |