CN111444786B - 基于无人机群的人群疏散方法、装置、系统及存储介质 - Google Patents
基于无人机群的人群疏散方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN111444786B CN111444786B CN202010170192.6A CN202010170192A CN111444786B CN 111444786 B CN111444786 B CN 111444786B CN 202010170192 A CN202010170192 A CN 202010170192A CN 111444786 B CN111444786 B CN 111444786B
- Authority
- CN
- China
- Prior art keywords
- crowd
- unmanned aerial
- aerial vehicle
- evacuation
- drone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000009471 action Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 19
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 claims 1
- 229910052739 hydrogen Inorganic materials 0.000 claims 1
- 239000001257 hydrogen Substances 0.000 claims 1
- 230000002787 reinforcement Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- LQIAZOCLNBBZQK-UHFFFAOYSA-N 1-(1,2-Diphosphanylethyl)pyrrolidin-2-one Chemical compound PCC(P)N1CCCC1=O LQIAZOCLNBBZQK-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Alarm Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开一种基于无人机群的人群疏散方法、装置、系统及存储介质，使用无人机协调合作进行疏散引导，引进多主体强化学习方法提出路径规划方案。其中的多主体强化学习方法，具备较强的环境适应能力和自学习能力，能够针对不同实际场景提出人群疏散路径，再结合高效便捷的无人机，使得该系统可在短时间内快速疏散人群，能为管理公共突发事件提供辅助决策支持，不仅适用于人群密集的公共活动区域，还可以应用到地震、海啸等自然灾害发生时的人群疏散。
Description
技术领域
本发明涉及公共安全管理领域，特别涉及一种基于无人机群的人群疏散方法、装置、系统及存储介质。
背景技术
近年来，公共场所的踩踏事故一般都出现人群密度过高的诱因。当前用于拥挤场景分析的方法是通过简单的人群计数以显示密度图。这种发展遵循了现实生活中应用程序的需求，然而相同数量的人可以人群分布完全不同，因此仅计算人数并不足够。
此外，在拥挤的区域中，一旦发生紧急情况，很容易引起恶性事件，例如人群拥挤和践踏。如果不能有效疏散人员，则很可能发生事故，例如大规模死亡。关于疏散模型的很多研究，包括基于多粒子自驱动系统框架的社会力量模型、模型构造规则构成的细胞自动机模型、流体动力学模型和混合模型，以上方法均将个人视为主体做出疏散逃生决策，没有考虑到在实际场景中，个人主体的行为会受到环境的影响，难以在真实场景中规划最佳疏散路径。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于无人机群的人群疏散方法、装置、系统及存储介质，能够对人群进行合理疏散引导。
根据本发明的第一方面实施例的基于无人机群的人群疏散方法，包括：
获取目标区域的人群视频，并每经过一定帧数间隔后从所述人群视频中获取一关键帧；
依据所述关键帧获取所述目标区域的人群密度；
若所述人群密度在一定时间内的波动超过预设阈值，则判断为突发事件；
依据所述人群密度和K-中心点算法对人群进行分组；
根据任务分配策略分配用于执行疏散引导的第一无人机以及用于疏散人群动态密度估计的第二无人机，设定多架所述第一无人机的位置和初始状态，以所述第一无人机的出发点为疏散目标点；
所述第一无人机运用行动更新策略，在Q价值表中选择移动方向；
所述第一无人机移动到下一个栅格，使得状态发生变化，获得环境的奖励，并对所述Q价值表进行更新；
控制多架所述第二无人机用于估计疏散人群动态密度；
所述第二无人机依据疏散人群的初始行人数量与到达出口行人数量，检查组内的行人是否全部到达出口点，若全部到达，则将当前路径序列添加到候选路径中。
根据本发明的一些实施例，所述依据所述关键帧获取所述目标区域的人群密度，包括：
对所述关键帧进行双线性插值预处理；
采用人群动态估计网络模型对所述关键帧进行预测分析，生成人群动态密度分布图，从而获取所述目标区域的人群密度。
根据本发明的一些实施例，还包括：
若两架所述第一无人机即将发生碰撞，根据优先级采用避让策略进行避让操作。
根据本发明的第二方面实施例的地面站控制装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的基于无人机群的人群疏散方法。
根据本发明的第三方面实施例的人群疏散系统，包括无人机平台、终端和如上所述的地面站控制装置，所述无人机平台包括飞行控制模块、摄像机模块和扩音模块，所述地面站控制装置与所述飞行控制模块、所述摄像机模块和所述扩音模块通信连接。
根据本发明的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的基于无人机群的人群疏散方法。
根据本发明实施例的一种基于无人机群的人群疏散方法、装置、系统及存储介质，至少具有如下有益效果：本发明使用无人机协调合作进行疏散引导，引进多主体强化学习方法提出路径规划方案。其中的多主体强化学习方法，具备较强的环境适应能力和自学习能力，能够针对不同实际场景提出人群疏散路径，再结合高效便捷的无人机，使得该系统可在短时间内快速疏散人群，能为管理公共突发事件提供辅助决策支持，不仅适用于人群密集的公共活动区域，还可以应用到地震、海啸等自然灾害发生时的人群疏散。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例的基于无人机群的人群疏散方法的流程图；
图2为本申请另一个实施例的基于无人机群的人群疏散方法的流程图；
图3为本申请另一个实施例的基于无人机群的人群疏散方法的流程图；
图4为本申请一个实施例的地面站控制装置的示意图；
图5为本申请一个实施例的人群疏散系统的示意图；
图6为本申请一个实施例的人群疏散系统中关于无人机平台的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本申请一个实施例提供一种基于无人机群的人群疏散方法，包括：
S110：获取目标区域的人群视频，并每经过一定帧数间隔后从人群视频中获取一关键帧；
S120：依据关键帧获取目标区域的人群密度；
S130：若人群密度在一定时间内的波动超过预设阈值，则判断为突发事件；
S140：依据人群密度和K-中心点算法对人群进行分组；
S150：根据任务分配策略分配用于执行疏散引导的第一无人机以及用于疏散人群动态密度估计的第二无人机，设定多架第一无人机的位置和初始状态，以第一无人机的出发点为疏散目标点；
S160：第一无人机运用行动更新策略，在Q价值表中选择移动方向；
S170：第一无人机移动到下一个栅格，使得状态发生变化，获得环境的奖励，并对Q价值表进行更新；
S180：控制多架第二无人机用于估计疏散人群动态密度；
S190：第二无人机依据疏散人群的初始行人数量与到达出口行人数量，检查组内的行人是否全部到达出口点，若全部到达，则将当前路径序列添加到候选路径中。
在一实施例中，本申请使用无人机协调合作进行疏散引导，引进多主体强化学习方法提出路径规划方案。其中的多主体强化学习方法，具备较强的环境适应能力和自学习能力，能够针对不同实际场景提出人群疏散路径，再结合高效便捷的无人机，使得该系统可在短时间内快速疏散人群，能为管理公共突发事件提供辅助决策支持，不仅适用于人群密集的公共活动区域，还可以应用到地震、海啸等自然灾害发生时的人群疏散。
在一实施例中，可以由执行人群密度估计的无人机搭载摄像仪，对人群进行实时视频拍摄。人群视频中每隔N帧取一关键帧(N可以取15)，经由人群密度算法得到人群动态密度分布图，实时掌握现场人群分布，合理调配密集人群疏散力量。依据人群动态密度分布数据，当区域内人群密度在一定时间内波动超过预设阈值，判断出现公共突发事件，进行疏散引导。先由K-中心点算法(K-Medoids算法)和人群密度对人群分组，基于任务分配策略调配无人机a、b、c、d……执行疏散引导，设定其位置及初始状态，各组以执行疏散引导的无人机出发点为疏散目标点。调配无人机A、B、C、D……配合执行人群密度估计。然后各组无人机基于行动更新策略选择动作，到达下一栅格，即在Q价值表中选择移动方向，使得该动作执行后预期收益最大。各组无人机移动到下一个栅格获得环境的奖励和对应的状态，更新Q价值表。
需要说明的是，关于无人机的协同疏散引导：为有效使用多个无人机进行人群疏散引导工作，无人机需要彼此共享信息，其中需要共享的信息主要包括以下三种：
无人机位置信息：GPS显示无人机的具体地理位置信息。
电池剩余量信息：根据无人机的剩余电量分配每个无人机的行动任务。
工作状态信息：主要分为“正常工作”、“停止飞行”两种状态。
根据行动任务的不同，将无人机划分为人群密度估计、人群疏散两种不同的无人机。
关于无人机之间的协同方式具体如下：
疏散指导过程中，无人机可能会因为电池没电或者意外碰撞障碍物而损坏。通过共享信息模块，如果某无人机的位置信息没有改变，则安排其他在疏散场所等待的无人机代替。
对于多无人机的协同任务分配，多无人机的实时任务分配采取以下策略：
定义疏散现场的实时任务集合T＝{T1，T2,T3,T4………}，待命执行任务的无人机集合R＝{R1,R2,R3,R4………}。无人机的电池电量有限，考虑到无人机距离疏散任务地点的距离，结合无人机的单程巡航半径r与到达疏散目标地的距离Dis(Ri)，满足Dis(Ri)≤r。
对于基于多主体强化学习算法的疏散引导计划，采用马尔科夫决策过程，具体如下：
状态表示采用栅格法。在人群待疏散区域，依据无人机、人群聚集块及场地大小利用单元格(即栅格)代替区域平面内的点。在被均匀划分为栅格的环境中，无人机与其带领的疏散人群用一个栅格表示，目标出口也用单一的栅格表示。障碍物则用不同颜色的多个连续栅格表示。处于边缘位置的栅格，无人机的动作方向将受到限制。而处于中间位置的栅格，在周边无障碍物的情况下，动作方向最多可有8个方向。
强化学习与人群疏散的基本因素之间的对应关系，参数主要包括为路径规划显式建立状态(S)，动作(A)和奖励(R)，价值函数(Q)。
状态参数可以用S表示，St∈S是时间t时无人机的坐标。
动作参数可以用A表示，在at∈A处无人机根据其当前状态选择下一个栅格的动作。无人机的动作方向包括8个方向的运动，分别是上、下、左、右、左上、左下、右上、右下。通常以St+1＝a(St)表示，St+1是无人机在下一时刻的状态。在无人机实际飞行中，将一个栅格设置为无人机的步长，将使得路径关键点过多，造成算法收敛速度慢。故将无人机步长设定为3个栅格。
奖励函数可以用R表示，用于描述无人机执行动作Z后环境对该动作的奖励。若无人机z引导疏散引导的人群到达目标出口点，则奖励值最大，为100。如果在疏散路径中无人机z遇到障碍或者是拥塞的路况，则奖励值最小，为-100。此外，当表征无人机z到目标出口点的距离和拥塞程度适应度函数r>0时，奖励值为1。r<0时，奖励值为-1。在此，i表示导航点的数量，j表示出口的数量。di表示从无人机当前位置到目标点的距离。无人机z当前位置是(xi，yi)，目标点是(xn，yn)。由pj表示在目标出口点i记录的人数。拥塞区域的阈值bj被设置为c0。cj表示出口j的拥塞程度。r是一个距离函数和拥塞函数组成的构造函数，并且R由构造函数r确定。那么无人机z到目标点的距离是：
拥塞函数定义为：
cj＝pj/bj
适应度函数：
r＝w1*(di-di+1)+w2*(c′-cj+1)
其中w1和w2是正权重值，且w1+w2＝1。
奖励函数设置如下：
更新策略参数为π用于描述状态，即从时间t的一组动作中选择at∈A的一个动作并替换无人机当前的动作，它是从状态集S的映射行动集A。考虑行人运动的不确定性。采用一种随机策略，即在特定状态下执行动作的概率π(a|s)＝P[At＝a|St＝s]。π(st)表示在情况st下的最佳策略状态。即在at的集合中Q(st,at)具有最大值。在获得最大值Qc(st+1,a*)之后，每个无人机i都会根据一定概率1-λ替换与自己的Q值表相对应的Qi(st+1，ai)。策略更新公式如下：
对于Q学习算法：Q代表无人机状态动作的估计值。状态行为值函数的迭代计算公式使用标准Q学习算法公式。St表示无人机当前状态。at表示无人机的当前动作。st+1表示无人机下一个状态。at+1表示无人机的下一个动作。其中α表示学习率，介于0和1之间。将其设置为0.01。γ表示折扣因子，并且该值也在0和1之间，将其设置为0.9。R代表获得的奖励。Q(st，at)表示当前状态Q的值。Q(st+1，at+1)表示下一状态的最大估计值。Q(st,at)表示在无人机在状态st时动作at可获得的预期最大收益，而下一步骤的收益取决于下一阶段的动作。每个执行疏散引导任务无人机的Q表更新的公式如下：
Q(st,at)＝(1-α)Q(st，at)+a[R+γ*maxQ(st+1,at+1)]
当到达新的环境状态st+1时，根据分享的经验，无人机选择与该状态对应的最大值，然后进行行为选择。经验分享的公式定义如下：
Qc(st+1,a)＝max{Q1(st+1,a1)Q2(st+1,a2)…Qn(st+1,an)}
在一定的状态s下，当无人机z选择动作时，对每一轮获得的知识和Q值进行连续优化，并经过多次训练得到最优策略。
对于基于人群密度的人群分组疏散：依据人群密度和改进的K-Medoids(K-中心点)算法以及对人群进行分组。在人群密度分布图，将与群集中心差异最小的数据点选择为新的群集核心，无人机将根据群集核心的地理位置信息，到达群集核心。由于人群疏散中的个体具有群体行为特征，因此考虑个体之间的差异程度来反映群体特征。
通常，k1+k2＝1。其中dif(i,j)表示相异函数。其中dist(i,j)代表个体i与个体j之间的几何距离，rel(i,j)代表个体i与个体j之间的关系，rangedist代表距离归一化因子，rangerel代表关系值归一化因子。通过不断调整两个特征的权重，可以获得用于计算相异度的不同公式。
参照图2，根据本申请的一些实施例，依据关键帧获取目标区域的人群密度，包括：
S210：对关键帧进行双线性插值预处理；
S220：采用人群动态估计网络模型对关键帧进行预测分析，生成人群动态密度分布图，从而获取目标区域的人群密度。
在一实施例中，人群动态密度估计网络模型分为前端和后端网络，采用VGG-16作为前端网络，用于提取二维平面上的特征。空洞卷积神经网络作为后端网络，在保持分辨率的同时扩大感知域，生成高质量的人群分布密度图。
对于无人机拍摄的人群视频，每隔15帧截取一个关键帧，对帧进行双线性插值处理后，由人群动态估计网络模型预测分析生成人群动态密度图。
其中双线性插值操作，是利用关键帧图像中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，使原图中的像素和特征图中的像素是完全对齐的，没有偏差，提高检测的精度。
对于数据预处理，包括：生成一张和原图一样大小的单通道图片，其中像素点全部取0，对于含有人头的点，label(标签)标记为1，通过高斯滤波处理该图像，形成的图即为人群密度图。
对于网络架构：
网络的前端采用VGG-16卷积部分，采用3*3的卷积核。为平衡准确性和资源开销，采用10层卷积层和3层池化层的组合，并在其中加入了BatchNormalization(批量标准化)防止梯度消失。
在后端使用空洞卷积增加感受野，空洞率相同，最后采用1*1的普通卷积层输出结果。定义一个二维的空洞卷积如下：
x(m,n)是长宽分别为M和N的输入图像信息，经过卷积核w(i,j)得到空洞卷积的输出y(m,n)，其中参数r表示空洞率。r＝1时空洞卷积是普通卷积。空洞卷积利用稀疏的卷积核，实现交替卷积和池化操作，在没有增加网络参数和计算规模的前提下增大感知域，更适合人群密度估计任务。空洞率为r的空洞卷积操作，K*K会被扩大为K+(K-1)(r-1)。
对于人群数据库，使用公开的人群图像数据集进行训练。UCF_CC_50数据集包含50个不同视角和分辨率的图像。每个图像的被标注人员数量在94到4543之间，平均数量为1280，训练时采用5倍交叉验证。UCSD数据集含有2000帧监控摄像头，这些场景中人群稀少的图片包含11到46人不等，且数据集提供感兴趣区域。2000帧视频图像选取601-1400帧作为训练集，并用双线性插值预处理，其余作为测试集。
对于训练中的Ground Truth的生成：通过使用高斯核(已归一化为1)模糊每个标注数据，生成Ground Truth。使用几何自适应内核来处理高度拥挤的场景，几何自适应内核定义为：
对于Ground Truth的δ中每个目标物体xi，使用di表示K个最近邻居的平均距离。为生成密度图，将δ(x-xi)与具有参数σi(标准偏差)的高斯核进行卷积，其中x是图像中像素的位置。其中β＝0.3，k＝3。对于稀疏人群的输入，将调整高斯核平均头部大小，以适应所有标注数据。
对于训练中的数据增强：使用图像裁剪、旋转、加噪等操作方式进行数据增强。
对于训练中的训练细节：在训练中，前10个卷积层是从已经训练好的VGG-16进行微调。对于其他层，初始值来自标准偏差为0.01的高斯初始化。SGD(随机梯度下降)应用1e-6的固定学习率。
选择欧式距离来测量Ground truth和生成的估计密度图之间的差异。损失函数如下：
其中N是训练批次的大小，Z(Xi；Θ)是参数为Θ时网络的输出结果，而
则是输入图像Xi的Ground Truth结果。
欧式距离如下：
对于视频处理：如果将拍摄人群视频的每一帧全部由人群密度估计模型进行预测，难以实时生成人群密度图，而且不同场景，不同的时间段，区域内人群密度变化存在较大的不确定性。视频图像中，1s包含24帧，为不减少获取视频的时间信息，又能实时动态估计人群，每隔15帧截取视频中一帧。每个关键帧的分辨率都是固定尺寸，不便频繁合并后生成高质量的密度图。这里使用双线性插值对关键帧预处理，将其调整为952×632送入模型，得到人群动态密度分布图。
参照图3，根据本申请的一些实施例，还包括：
S300：若两架第一无人机即将发生碰撞，根据优先级采用避让策略进行避让操作。
在一实施例中，多无人机在动态规划疏散路径中，可能会在疏散区域出现飞行交汇而发生碰撞。不同优先级的无人机在飞行交汇前采取避让策略，即优先级低的无人机在路径上采取避让，优先级高的无人机先通过。当优先级相同时，两个无人机都将进行避让，并随机由一个无人机先选取动作并执行，另一个无人机等待。而无人机的优先级高低，取决于其带领人群中的行人数量。
参照图4，根据本申请的一个实施例提供一种地面站控制装置100，包括至少一个控制处理器110和用于与至少一个控制处理器110通信连接的存储器120；存储器120存储有可被至少一个控制处理器110执行的指令，指令被至少一个控制处理器110执行，以使至少一个控制处理器110能够执行如上的基于无人机群的人群疏散方法。
参照图5-图6，根据本申请的一个实施例提供一种人群疏散系统，包括无人机平台200、终端300和如上的地面站控制装置100，无人机平台200包括飞行控制模块210、摄像机模块220和扩音模块230，地面站控制装置100与飞行控制模块210、摄像机模块220和扩音模块230通信连接。
在一实施例中，无人机可以选择四旋翼无人机。四旋翼无人机具有优良的操控性能，可定点盘旋，安全性高、使用成本低等优点。平台由飞行控制模块210、摄像机模块220、扩音模块230组成。飞行控制模块210包括陀螺仪212、GPS211、PID线性控制器213。陀螺仪212用于感知飞行姿态；GPS211实现水平位置高度粗略定位；PID线性控制器213，使多旋翼系统控制达到动态响应、既不过冲、也不欠缺。摄像机模块220由摄像仪与云台构成。由于无人机的快速移动，往往会存在一定程度的抖动，因此为摄像机模块220提供三轴增稳云台固定，以使得拍摄的视频图像清晰稳定。扩音模块230通过扩音，使得警务人员能够远程喊话、安抚引导群众。
需要说明的是，自动避障是使用激光传感器TFmini，用于监测无人机附近障碍物的距离和方向。使用激光传感器不会出现使用超声波传感器在测距时容易丢失信号的问题，且TFmini是低成本、小体积、低价格的功率激光传感器，适于室外应用环境。
另外，地面站控制装置100为基于apm飞控的mavlink协议的Misssion Planner地面控制系统，终端300可以为手机App端。使用Mission Planner地面控制系统观察无人机平台200的飞行状态，包括飞行距离、角度、电量等信息。同时提供基于Mission Planner地面站系统的手机端地面APP，包括飞控协议选择、界面、登录权限、自主航线、自主避障、多机连接。
本申请的一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上的基于无人机群的人群疏散方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器120技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (6)
1.一种基于无人机群的人群疏散方法，其特征在于，包括：
获取目标区域的人群视频，并每经过一定帧数间隔后从所述人群视频中获取一关键帧；
依据所述关键帧获取所述目标区域的人群密度；
若所述人群密度在一定时间内的波动超过预设阈值，则判断为突发事件；
依据所述人群密度和K-中心点算法对人群进行分组；
根据任务分配策略分配用于执行疏散引导的第一无人机以及用于疏散人群动态密度估计的第二无人机，设定多架所述第一无人机的位置和初始状态，以所述第一无人机的出发点为疏散目标点；
所述第一无人机运用行动更新策略，在Q价值表中选择移动方向；
所述第一无人机移动到下一个栅格，使得状态发生变化，获得环境的奖励，并对所述Q价值表进行更新；
控制多架所述第二无人机用于估计疏散人群动态密度；
所述第二无人机依据疏散人群的初始行人数量与到达出口行人数量，检查组内的行人是否全部到达出口点，若全部到达，则将当前路径序列添加到候选路径中；
奖励函数用R表示，用于描述无人机执行动作Z后环境对该动作的奖励，若无人机z引导疏散引导的人群到达目标出口点，则奖励值最大，为100；如果在疏散路径中无人机z遇到障碍或者是拥塞的路况，则奖励值最小，为-100；当表征无人机z到目标出口点的距离和拥塞程度适应度函数r>0时，奖励值为1；r<0时，奖励值为-1；在此，i表示导航点的数量，j表示出口的数量，di表示从无人机当前位置到目标点的距离，无人机z当前位置是(xi,yi)，目标点是(xn,yn)，由pj表示在目标出口点i记录的人数，拥塞区域的阈值bj被设置为c0，cj表示出口j的拥塞程度，r是一个距离函数和拥塞函数组成的构造函数，并且R由构造函数r确定，那么无人机z到目标点的距离是：
拥塞函数定义为：
cj＝pj/bj
适应度函数：
r＝w1*(di-di+1)+w2*(c′-cj+1)
其中w1和w2是正权重值，且w1+w2＝1；
奖励函数设置如下：
2.根据权利要求1所述的基于无人机群的人群疏散方法，其特征在于，所述依据所述关键帧获取所述目标区域的人群密度，包括：
对所述关键帧进行双线性插值预处理；
采用人群动态估计网络模型对所述关键帧进行预测分析，生成人群动态密度分布图，从而获取所述目标区域的人群密度。
3.根据权利要求1所述的基于无人机群的人群疏散方法，其特征在于，还包括：
若两架所述第一无人机即将发生碰撞，根据优先级采用避让策略进行避让操作。
4.一种地面站控制装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至3任一项所述的基于无人机群的人群疏散方法。
5.一种人群疏散系统，其特征在于，包括无人机平台、终端和如权利要求4所述的地面站控制装置，所述无人机平台包括飞行控制模块、摄像机模块和扩音模块，所述地面站控制装置与所述飞行控制模块、所述摄像机模块和所述扩音模块通信连接。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至3任一项所述的基于无人机群的人群疏散方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010170192.6A CN111444786B (zh) | 2020-03-12 | 2020-03-12 | 基于无人机群的人群疏散方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010170192.6A CN111444786B (zh) | 2020-03-12 | 2020-03-12 | 基于无人机群的人群疏散方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111444786A CN111444786A (zh) | 2020-07-24 |
| CN111444786B true CN111444786B (zh) | 2023-04-18 |
Family
ID=71650561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010170192.6A Active CN111444786B (zh) | 2020-03-12 | 2020-03-12 | 基于无人机群的人群疏散方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111444786B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148008B (zh) * | 2020-09-18 | 2023-05-02 | 中国航空无线电电子研究所 | 一种基于深度强化学习的实时无人机路径预测方法 |
| CN113485422A (zh) * | 2021-07-07 | 2021-10-08 | 南京航空航天大学 | 一种最大化监控时间的可充电无人机分配方法 |
| CN113639755A (zh) * | 2021-08-20 | 2021-11-12 | 江苏科技大学苏州理工学院 | 一种基于深度强化学习的火灾现场逃生-救援联合系统 |
| CN113901727B (zh) * | 2021-11-16 | 2022-02-22 | 枫树谷(成都)科技有限责任公司 | 一种基于分子动力学和机器学习的人群疏散模拟方法 |
| CN115474172B (zh) * | 2022-11-14 | 2023-01-24 | 成都大学 | 结合uwb采集的室内密集人流组群行人群体疏散方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
| CN101587537A (zh) * | 2008-05-21 | 2009-11-25 | 上海新联纬讯科技发展有限公司 | 基于智能视频识别技术的人群密度统计方法与系统 |
| CN107403049A (zh) * | 2017-07-31 | 2017-11-28 | 山东师范大学 | 一种基于人工神经网络的Q‑Learning行人疏散仿真方法及系统 |
| CN107463751A (zh) * | 2017-08-10 | 2017-12-12 | 山东师范大学 | 一种基于折半dbscan聚类算法的人群分组疏散仿真方法及系统 |
| CN109086550A (zh) * | 2018-08-27 | 2018-12-25 | 山东师范大学 | 基于多Agent共享Q学习的疏散仿真方法及系统 |
| CN109670270A (zh) * | 2019-01-11 | 2019-04-23 | 山东师范大学 | 基于多智能体深度强化学习的人群疏散仿真方法及系统 |
-
2020
- 2020-03-12 CN CN202010170192.6A patent/CN111444786B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325690A (zh) * | 2007-06-12 | 2008-12-17 | 上海正电科技发展有限公司 | 监控视频流中人流分析与人群聚集过程的检测方法及系统 |
| CN101587537A (zh) * | 2008-05-21 | 2009-11-25 | 上海新联纬讯科技发展有限公司 | 基于智能视频识别技术的人群密度统计方法与系统 |
| CN107403049A (zh) * | 2017-07-31 | 2017-11-28 | 山东师范大学 | 一种基于人工神经网络的Q‑Learning行人疏散仿真方法及系统 |
| CN107463751A (zh) * | 2017-08-10 | 2017-12-12 | 山东师范大学 | 一种基于折半dbscan聚类算法的人群分组疏散仿真方法及系统 |
| CN109086550A (zh) * | 2018-08-27 | 2018-12-25 | 山东师范大学 | 基于多Agent共享Q学习的疏散仿真方法及系统 |
| CN109670270A (zh) * | 2019-01-11 | 2019-04-23 | 山东师范大学 | 基于多智能体深度强化学习的人群疏散仿真方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111444786A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444786B (zh) | 基于无人机群的人群疏散方法、装置、系统及存储介质 | |
| US11537906B2 (en) | Machine learning based target localization for autonomous unmanned vehicles | |
| EP3766044B1 (en) | Three-dimensional environment modeling based on a multicamera convolver system | |
| US11127162B2 (en) | Method and apparatus for improved location decisions based on surroundings | |
| EP3474111B1 (en) | Target tracking method by an unmanned aerial vehicle | |
| CN106791613B (zh) | 一种基于3dgis和视频相结合的智能监控系统 | |
| Kumaran et al. | Computer vision-guided intelligent traffic signaling for isolated intersections | |
| US10567917B2 (en) | System and method for indicating drones flying overhead | |
| CN110832494A (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
| EP3690811A1 (en) | Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same | |
| CN112506219A (zh) | 一种智能交通监管无人机航迹规划方法、系统及可读存储介质 | |
| CN113906360A (zh) | 可移动平台的控制方法、装置、计算机可读存储介质 | |
| CN111796603A (zh) | 烟雾巡检无人机系统、巡检检测方法和存储介质 | |
| US20230280758A1 (en) | Autonomous Robotic Navigation In Storage Site | |
| CN112580537A (zh) | 一种用于多无人机系统持续覆盖特定区域的深度强化学习方法 | |
| Scott et al. | Occlusion-aware coverage for efficient visual sensing in unmanned aerial vehicle networks | |
| CN116679711A (zh) | 一种基于有模型与无模型强化学习的机器人避障方法 | |
| KR20190096854A (ko) | 인공 지능을 이용하여, 복수의 로봇들을 제어하는 인공 지능 서버 | |
| CN115560753A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN117496322A (zh) | 一种基于云边协同的多模态3d目标检测方法和装置 | |
| CN110390226A (zh) | 人群事件识别方法、装置、电子设备及系统 | |
| CN115460539B (zh) | 一种获取电子围栏的方法、设备、介质及程序产品 | |
| US11673562B1 (en) | Method, apparatus, computer storage medium and terminal for implementing autonomous driving decision-making | |
| CN116360492A (zh) | 一种扑翼飞行机器人目标跟踪方法及系统 | |
| US20220319016A1 (en) | Panoptic segmentation forecasting for augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |