CN117542181B - 一种多模态深度学习的实时异常预警方法及系统 - Google Patents

Abstract

本发明提供了一种多模态深度学习的实时异常预警方法及系统，涉及校园预警技术领域，包括：S1、获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线；S2、接收到该校园车上司机提交的第一行驶路线判定请求，对每个临近对中的相邻关系、相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；S3、根据待替换临近对中临近站点、剩下的目的站点形成该校园车的第二行驶路线；S4、根据设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据得到在预设时间段内的场外人员密度，判定第二行驶路线是否会产生拥堵，若是，则发出第二行驶路线异常预警。

Description

一种多模态深度学习的实时异常预警方法及系统

技术领域

本发明涉及校园预警技术领域，具体涉及一种多模态深度学习的实时异常预警方法及系统。

背景技术

目前，校园车在大学校园中已经普遍纳入使用，为了方便管理，所述校园车一般在固定的起始站点等待乘客，当乘客坐满时，再根据乘客提交的下车站点进行由近到远的路线行驶。由于，校园车行驶自由度较高，所述校园车普遍根据司机的判断结果进行行驶，司机会根据自身经验选择最优路线进行行驶。

由于，校园车常见的方法是根据乘客提交的下车站点距离起始站点的行驶距离，将下车站点从近到远依次排序并形成校园车的行驶路线，而该方法较容易使校园车的行驶路线出现绕行的情况。

当校园车的行驶路线出现绕行的情况，校园车司机普遍会以站点相近的理由使乘客的下车站点发生更换，以此来提升校园车的效率，并且，在目前，基于上述情况生成的替换行驶路线并没有进行安全判定，如果该替换行驶路线会产生拥挤，则不仅不会提高校园车的效率，还会容易造成校园内发生危险事故。

发明内容

本发明的目的是提供一种多模态深度学习的实时异常预警方法及系统，根据乘客提交的目的站点可以获得相对应的临近对集合，通过临近对集合选择临近站点替换目的站点，以临近站点形成第二行驶路线，并对第二行驶路线进行判定，若第二行驶路线易发生拥挤，则对司机进行第二行驶路线预警，选择采用第一行驶路线，以保证校园内的安全。

具体采用了以下方案：

S1、获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线，所述目的站点信息包括目的站点、目的站点对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、临近站点与目的站点之间的相邻距离，所述临近站点与目的站点之间产生相邻关系；

S2、接收到该校园车上司机提交的第一行驶路线判定请求，根据第一行驶路线判定请求获得目的站点信息中的临近对集合，并对每个临近对中的相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；

S3、根据待替换临近对中所指的目的站点与临近站点，将乘客提交的目的站点信息中相同的目的站点替换为待替换临近对中所指的临近站点，并根据临近站点、剩下的目的站点形成该校园车的第二行驶路线；

S4、获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据，通过监测数据得到在预设时间段内的场外人员密度，并根据场外人员密度判定所述第二行驶路线是否会产生拥堵，若是，则向该校园车发出第二行驶路线异常的预警。

进一步的，所述S2中包括以下步骤：

S21、接收到该校园车上司机提交的第一行驶路线判定请求，并根据第一行驶路线判定请求从目的站点信息中获得与目的站点对应的临近对集合；

S22、根据临近对集合对目的站点进行依次判断，判断该目的站点与剩下的目的站点之间是否产生相邻关系，若每个目的站点与剩下的目的站点之间均产生有相邻关系，则转到步骤S23，若有一个目的站点与剩下的目的站点之间均未产生相邻关系，则转到步骤S24；

S23、获得每个目的站点与剩下的目的站点产生相邻关系形成的对应的临近对的数量，并根据目的站点与其它目的站点产生相邻关系形成的对应的临近对的数量，得到对应的数量最多的目的站点，将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对；

S24、将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对。

进一步的，所述临近站点与目的站点之间的相邻距离在阈值范围内，所述相邻距离为该目的站点与临近站点之间的车辆行驶距离。

进一步的，所述S4中具体包括以下步骤：

S41、获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的视频数据，所述摄像机朝向站点场外拍摄，用于监测站点场外人员的人员密度；

S42、对视频数据进行逐帧切分成图像集，并对图像集进行人群统计，得到在预设时间段内场外人员密度的梯度图；

S43、判断所述梯度图中场外人员密度是否呈现上升趋势且超出预设安全值，若是，则判定所述第二行驶路线会产生拥堵，并向该校园车发出第二行驶路线异常的预警。

进一步的，在S42中，得到在预设时间段内场外人员密度的梯度图的具体过程为：

将预设时间段内拍摄的视频数据进行逐帧切分成图像集，所述图像集中包括若干个带有时间戳的图像，对每个图像进行人员识别和人员流量密度统计，得到每个图像中的场外人员密度，

形成一张在预设时间段内场外人员密度的梯度图，所述梯度图的横坐标为图像的时间戳、纵坐标为图像的场外人员密度，将梯度图中场外人员密度进行连接形成曲线梯度图。

进一步的，在S1中，根据目的站点信息、起始站点形成该校园车的第一行驶路线的具体过程为：

根据目的站点的位置与起始站点的位置来获得目的站点与起始站点之间的车辆行驶距离，将目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将目的站点依次连接，形成该校园车的第一行驶路线。

进一步的，在S3中，根据临近站点的位置、目的站点的位置形成该校园车的第二行驶路线的具体过程为：

根据临近站点的位置与起始站点之间的位置、目的站点的位置与起始站点的位置获得临近站点与起始站点之间的车辆行驶距离、目的站点与起始站点之间的车辆行驶距离，将临近站点、目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将临近站点和目的站点进行依次连接，形成该校园车的第二行驶路线。

一种多模态深度学习的实时异常预警系统，包括：

第一行驶路线形成模块：获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线，所述目的站点信息包括目的站点、目的站点对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、临近站点与目的站点之间的相邻距离，所述临近站点与目的站点之间产生相邻关系；

待替换临近对获得模块：接收到该校园车上司机提交的第一行驶路线判定请求，根据第一行驶路线判定请求获得目的站点信息中的临近对集合，并对每个临近对中的相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；

第二行驶路线形成模块：根据待替换临近对中所指的目的站点与临近站点，将乘客提交的目的站点信息中相同的目的站点替换为待替换临近对中所指的临近站点，并根据临近站点、剩下的目的站点形成该校园车的第二行驶路线；

第二行驶路线安全判定模块：获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据，通过监测数据得到在预设时间段内的场外人员密度，并根据场外人员密度判定所述第二行驶路线是否会产生拥堵，若是，则向该校园车发出第二行驶路线异常的预警。

进一步的，所述第二行驶路线安全判定模块还包括以下模块：

场外人员监测模块：获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的视频数据，所述摄像机朝向站点场外拍摄，用于监测站点场外人员的人员密度；

梯度图形成模块：对视频数据进行逐帧切分成图像集，并对图像集进行人群统计，得到在预设时间段内场外人员密度的梯度图；

预警模块：判断所述梯度图中场外人员密度是否呈现上升趋势且超出预设安全值，若是，则判定所述第二行驶路线会产生拥堵，并向该校园车发出第二行驶路线异常的预警。

本发明的有益效果：

本发明提供了一种多模态深度学习的实时异常预警方法及系统，根据乘客提交的目的站点可以获得相对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、该目的站点与临近站点之间的相邻距离，所以，根据相邻关系对每个目的站点的若干个临近对进行判断，就能获得相邻距离最小的临近对，并将相邻距离最小的临近对作为待替换临近对，本发明采用临近对考虑了站点之间的相邻关系以及相邻距离，可以根据该临街对生成最优的第二行驶路线，以此提高校园车运行的效率。

并且，采用站点的摄像机对场外人员密度对该第二行驶路线进行拥挤判定，若第二行驶路线易发生拥挤，则对司机进行第二行驶路线预警，选择采用第一行驶路线，以保证校园内的安全。

附图说明

图1为本发明实施例1的流程示意图。

图2为本发明实施例1的交互示意图。

图3为本发明实施例1的站点在校园地图上的平面分布示意图。

图4为本发明实施例1的目的站点、第一行驶路线在校园地图上的平面分布示意图。

图5为本发明实施例1的待替换站点、第二行驶路线在校园地图上的平面分布示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

下面通过参考附图并结合实施例来详细说明本发明：

实施例1

目前，校园车在大学校园中已经普遍纳入使用，为了方便管理，所述校园车一般在固定的起始站点等待乘客，当乘客坐满时，再根据乘客提交的下车站点进行由近到远的路线行驶。由于，校园车行驶自由度较高，所述校园车普遍根据司机的判断结果进行行驶，司机会根据自身经验选择最优路线进行行驶。

由于，校园车常见的方法是根据乘客提交的下车站点距离起始站点的行驶距离，将下车站点从近到远依次排序并形成校园车的行驶路线，而该方法较容易使校园车的行驶路线出现绕行的情况。

当校园车的行驶路线出现绕行的情况，校园车司机普遍会以站点相近的理由使乘客的下车站点发生更换，以此来提升校园车的效率，并且，在目前，基于上述情况生成的替换行驶路线并没有进行安全判定，如果该替换行驶路线会产生拥挤，则不仅不会提高校园车的效率，还会容易造成校园内发生危险事故。

如图1、图2所示，一种多模态深度学习的实时异常预警方法，所述方法具体包括以下步骤：

S1、获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线，所述目的站点信息包括目的站点、目的站点对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、临近站点与目的站点之间的相邻距离，所述临近站点与目的站点之间产生相邻关系；

S2、接收到该校园车上司机提交的第一行驶路线判定请求，根据第一行驶路线判定请求获得目的站点信息中的临近对集合，并对每个临近对中的相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；

S3、根据待替换临近对中所指的目的站点与临近站点，将乘客提交的目的站点信息中相同的目的站点替换为待替换临近对中所指的临近站点，并根据临近站点、剩下的目的站点形成该校园车的第二行驶路线；

S4、获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据，通过监测数据得到在预设时间段内的场外人员密度，并根据场外人员密度判定所述第二行驶路线是否会产生拥堵，若是，则向该校园车发出第二行驶路线异常的预警。

优选的，所述S2中包括以下步骤：

S21、接收到该校园车上司机提交的第一行驶路线判定请求，并根据第一行驶路线判定请求从目的站点信息中获得与目的站点对应的临近对集合；

S22、根据临近对集合对目的站点进行依次判断，判断该目的站点与剩下的目的站点之间是否产生相邻关系，若每个目的站点与剩下的目的站点之间均产生有相邻关系，则转到步骤S23，若有一个目的站点与剩下的目的站点之间均未产生相邻关系，则转到步骤S24；

S23、获得每个目的站点与剩下的目的站点产生相邻关系形成的对应的临近对的数量，并根据目的站点与其它目的站点产生相邻关系形成的对应的临近对的数量，得到对应的数量最多的目的站点，将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对；

S24、将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对。

优选的，所述临近站点与目的站点之间的相邻距离在阈值范围内，所述相邻距离为该目的站点与临近站点之间的车辆行驶距离。

优选的，所述S4中具体包括以下步骤：

S41、获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的视频数据，所述摄像机朝向站点场外拍摄，用于监测站点场外人员的人员密度；

S42、对视频数据进行逐帧切分成图像集，并对图像集进行人群统计，得到在预设时间段内场外人员密度的梯度图；

S43、判断所述梯度图中场外人员密度是否呈现上升趋势且超出预设安全值，若是，则判定所述第二行驶路线会产生拥堵，并向该校园车发出第二行驶路线异常的预警。

优选的，在S42中，得到在预设时间段内场外人员密度的梯度图的具体过程为：

将预设时间段内拍摄的视频数据进行逐帧切分成图像集，所述图像集中包括若干个带有时间戳的图像，对每个图像进行人员识别和人员流量密度统计，得到每个图像中的场外人员密度，

形成一张在预设时间段内场外人员密度的梯度图，所述梯度图的横坐标为图像的时间戳、纵坐标为图像的场外人员密度，将梯度图中场外人员密度进行连接形成曲线梯度图。

优选的，在S1中，根据目的站点的位置及车辆行驶距离形成该校园车的第一行驶路线的具体过程为：

根据目的站点的位置与起始站点的位置来获得目的站点与起始站点之间的车辆行驶距离，将目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将目的站点依次连接，形成该校园车的第一行驶路线。

优选的，在S3中，根据临近站点的位置、目的站点的位置形成该校园车的第二行驶路线的具体过程为：

根据临近站点的位置与起始站点之间的位置、目的站点的位置与起始站点的位置获得临近站点与起始站点之间的车辆行驶距离、目的站点与起始站点之间的车辆行驶距离，将临近站点、目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将临近站点和目的站点进行依次连接，形成该校园车的第二行驶路线。

基于上述原理，对本发明进行进一步阐述：

如图3所示，图中包括校园车的起始站点X，乘客可选择的乘车点A、乘车点B、乘车点C、乘车点D以及乘车点E，可以看出，站点与站点之间具有相邻关系。所以，当司机想要提高校园车的效率时，司机会将发生绕路的行驶路线选择替换，因为站点与站点之间具有相邻关系，将会发生绕路的行驶路线中一个站点进行替换，则可以使行驶路线不会发生绕路，可以提高校园车的效率，并且，对该不会发生绕路的行驶路线进行预测判定，如果该路线会发生拥挤现象，则立刻对该司机进行预警，可以保证校园安全。

其中，所述站点与站点之间普遍具有相邻关系，所以，在本发明中，可以对相邻关系提前设计一个阈值范围，将站点与站点之间相邻距离设置一个阈值范围，相邻距离在阈值范围内的两个站点称为产生相邻关系的两个站点，可以保证产生相邻关系的两个站点之间的距离较近，因为，本发明为了提高校园车的效率，是需要将两个距离较近的站点进行替换，站点较近，乘客的接受程度也较高。所以，基于相邻关系，可以将每个站点作为乘客的目的站点，使其形成目的站点对应的临近对集合。

当一辆位于起始站点的校园车上乘客提交了目的站点信息，在本发明中，所述乘客提交的目的站点信息不仅包括目的站点，还包括了与目的站点对应的临近对集合，所述目的站点信息的结构为：目的站点<临近对集合>。并且，所述目的站点信息是乘客通过乘车APP上传的，所述乘客可以通过乘车APP选择所述目的站点是否带有临近对集合，则表示该乘客是否接受相邻站点的替换。

比如说，该校园车上具有9位乘客，基于站点与站点之间产生的相邻关系，得到3位乘客提交的目的站点信息为：目的站点A<{A-C}>，2位乘客提交的目的站点信息为：目的站点B<{B-C }>，4位乘客提交的目的站点信息为：目的站点D<{D-C，D-E}>。

首先，如图4所示，可以看出目的站点A、目的站点B、目的站点D的位置与起始站点的位置之间的行驶距离，根据行驶距离的远近可以得到第一行驶路线为：B-A-D，通过车上安装的显示器可以对第一行驶路线进行显示，可以明显看出第一行驶路线中会发生绕路现象，所以，司机普遍会选择替换站点。

当司机通过显示器端提交第一行驶路线判定请求，所述第一行驶路线判定请求实际是根据目的站点的临近对集合对第一行驶路线进行判定，判定其是否可以根据临近对集合对目的站点进行替换，生成一条可以提高校园车效率的第二行驶路线。

根据目的站点A、目的站点B、目的站点D对应的临近对集合对目的站点是否进行替换进行依次判断，第一，目的站点A只与临近站点C产生相邻关系，与剩下的目的站点之间均未产生相邻关系，所以，将目的站点A作为待替换站点，并将临近对A-C作为待替换临近对。

则将乘客提交的目的站点A进行替换，将目的站点A替换为临近站点C，则根据临近站点C、目的站点B、目的站点D的位置与起始站点的位置之间的行驶距离，根据行驶距离的远近可以得到第二行驶路线为：B-C-D，如图5所示。可以明显看出，所述第二行驶路线不会产生绕路现象，并且可以提高校园车的效率。

而第二行驶路线为替换后的行驶路线，为了校园安全，需要对替换后的第二行驶路线进行安全预测，根据第二行驶路线中每个站点上预先设置的摄像机对一段时间内的人员密度进行统计，通过梯度图可以判断该站点的场外人员密度是否呈现上升趋势且超出预设安全值，由于，场外人员不可能在较短的时间内大幅度地减少，所以，根据人员密度呈现上升趋势且超出预设安全值就可以判定该站点在一段时间内处于拥挤状态。

如果此时，判定出第二行驶路线产生拥挤，则向校园车发送第二行驶路线预警，通过显示屏对司机进行第二行驶路线预警显示，并向司机显示第一行驶路线；如果判定出第二行驶路线不产生拥挤，则向校园车发送第二行驶路线，通过显示屏向司机显示第二行驶路线。

所以，本发明基于司机在操作校园车中普遍均有替换站点使其行驶路线更加方便这个操作，对司机这个更改操作是否会产生危险进行预警，保护校园安全。具体的，在本发明中，基于乘客提交的目的站点信息，所述目的站点信息不仅包括乘客提交的目的站点，还包括该目的站点对应的临近对集合，通过乘客选择是否同意进行站点替换，提高司机和乘客之间的交互过程，提高对乘客的友好度。

当接收到司机发出的第一行驶路线判定请求，则表示该司机想要进行更改操作，则本发明调用乘客提交的目的站点信息，根据目的站点信息得到临近对集合，通过判断临近对集合，得到最优的待替换临近对，该待替换临近对中包括待替换站点、对应的临街站点，将两者进行替换，就可以得到替换后的乘客的目的站点，再根据替换后的乘客的目的站点形成第二行驶路线。

其中，所述待替换临近对不仅考虑了站点与站点之间的最小的相邻距离，还考虑了站点与站点之间是否会产生相邻关系，可以保证替换后的第二行驶路线不会发生绕路的现象，提高校园车的效率。

实施例2

一种多模态深度学习的实时异常预警系统，包括：

第一行驶路线形成模块：获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线，所述目的站点信息包括目的站点、目的站点对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、临近站点与目的站点之间的相邻距离，所述临近站点与目的站点之间产生相邻关系；

待替换临近对获得模块：接收到该校园车上司机提交的第一行驶路线判定请求，根据第一行驶路线判定请求获得目的站点信息中的临近对集合，并对每个临近对中的相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；

第二行驶路线形成模块：根据待替换临近对中所指的目的站点与临近站点，将乘客提交的目的站点信息中相同的目的站点替换为待替换临近对中所指的临近站点，并根据临近站点、剩下的目的站点形成该校园车的第二行驶路线；

第二行驶路线安全判定模块：获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据，通过监测数据得到在预设时间段内的场外人员密度，并根据场外人员密度判定所述第二行驶路线是否会产生拥堵，若是，则向该校园车发出第二行驶路线异常的预警。

优选的，所述第二行驶路线安全判定模块还包括以下模块：

场外人员监测模块：获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的视频数据，所述摄像机朝向站点场外拍摄，用于监测站点场外人员的人员密度；

梯度图形成模块：对视频数据进行逐帧切分成图像集，并对图像集进行人群统计，得到在预设时间段内场外人员密度的梯度图；

预警模块：判断所述梯度图中场外人员密度是否呈现上升趋势且超出预设安全值，若是，则判定所述第二行驶路线会产生拥堵，并向该校园车发出第二行驶路线异常的预警。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (6)

1.一种多模态深度学习的实时异常预警方法，其特征在于，所述方法具体包括以下步骤：

S1、获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线，所述目的站点信息包括目的站点、目的站点对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、临近站点与目的站点之间的相邻距离，所述临近站点与目的站点之间产生相邻关系；

其中，在S1中，根据目的站点信息、起始站点形成该校园车的第一行驶路线的具体过程为：根据目的站点的位置与起始站点的位置来获得目的站点与起始站点之间的车辆行驶距离，将目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将目的站点依次连接，形成该校园车的第一行驶路线；

S2、接收到该校园车上司机提交的第一行驶路线判定请求，根据第一行驶路线判定请求获得目的站点信息中的临近对集合，并对每个临近对中的相邻关系、相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；

其中，所述S2中包括以下步骤：

S21、接收到该校园车上司机提交的第一行驶路线判定请求，并根据第一行驶路线判定请求从目的站点信息中获得与目的站点对应的临近对集合；

S22、根据临近对集合对目的站点进行依次判断，判断该目的站点与剩下的目的站点之间是否产生相邻关系，若每个目的站点与剩下的目的站点之间均产生有相邻关系，则转到步骤S23，若有一个目的站点与剩下的目的站点之间均未产生相邻关系，则转到步骤S24；

S23、获得每个目的站点与剩下的目的站点产生相邻关系形成的对应的临近对的数量，并根据目的站点与其它目的站点产生相邻关系形成的对应的临近对的数量，得到对应的数量最多的目的站点，将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对；

S24、将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对；

S3、根据待替换临近对中所指的目的站点与临近站点，将乘客提交的目的站点信息中相同的目的站点替换为待替换临近对中所指的临近站点，并根据临近站点、剩下的目的站点形成该校园车的第二行驶路线；

其中，在S3中，根据临近站点的位置、目的站点的位置形成该校园车的第二行驶路线的具体过程为：根据临近站点的位置与起始站点之间的位置、目的站点的位置与起始站点的位置获得临近站点与起始站点之间的车辆行驶距离、目的站点与起始站点之间的车辆行驶距离，将临近站点、目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将临近站点和目的站点进行依次连接，形成该校园车的第二行驶路线；

S4、获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据，通过监测数据得到在预设时间段内的场外人员密度，并根据场外人员密度判定所述第二行驶路线是否会产生拥堵，若是，则向该校园车发出第二行驶路线异常的预警。

2.根据权利要求1所述的一种多模态深度学习的实时异常预警方法，其特征在于，所述临近站点与目的站点之间的相邻距离在阈值范围内，所述相邻距离为该目的站点与临近站点之间的车辆行驶距离。

3.根据权利要求1所述的一种多模态深度学习的实时异常预警方法，其特征在于，所述S4中具体包括以下步骤：

S41、获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的视频数据，所述摄像机朝向站点场外拍摄，用于监测站点场外人员的人员密度；

S42、对视频数据进行逐帧切分成图像集，并对图像集进行人群统计，得到在预设时间段内场外人员密度的梯度图；

S43、判断所述梯度图中场外人员密度是否呈现上升趋势且超出预设安全值，若是，则判定所述第二行驶路线会产生拥堵，并向该校园车发出第二行驶路线异常的预警。

4.根据权利要求3所述的一种多模态深度学习的实时异常预警方法，其特征在于，在S42中，得到在预设时间段内场外人员密度的梯度图的具体过程为：

将预设时间段内拍摄的视频数据进行逐帧切分成图像集，所述图像集中包括若干个带有时间戳的图像，对每个图像进行人员识别和人员流量密度统计，得到每个图像中的场外人员密度，

形成一张在预设时间段内场外人员密度的梯度图，所述梯度图的横坐标为图像的时间戳、纵坐标为图像的场外人员密度，将梯度图中场外人员密度进行连接形成曲线梯度图。

5.一种多模态深度学习的实时异常预警系统，其特征在于，包括：

第一行驶路线形成模块：获得一辆位于起始站点的校园车上乘客提交的若干个目的站点信息，并根据目的站点信息、起始站点形成该校园车的第一行驶路线，所述目的站点信息包括目的站点、目的站点对应的临近对集合，所述临近对集合包括若干个临近对，一个临近对中包括一个目的站点、一个临近站点、临近站点与目的站点之间的相邻距离，所述临近站点与目的站点之间产生相邻关系；

其中，根据目的站点信息、起始站点形成该校园车的第一行驶路线的具体过程为：根据目的站点的位置与起始站点的位置来获得目的站点与起始站点之间的车辆行驶距离，将目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将目的站点依次连接，形成该校园车的第一行驶路线；

待替换临近对获得模块：接收到该校园车上司机提交的第一行驶路线判定请求，根据第一行驶路线判定请求获得目的站点信息中的临近对集合，并对每个临近对中的相邻距离进行判断，得到相邻距离最小的临近对作为待替换临近对；

其中，所述待替换临近对获得模块包括以下子模块：

接收到该校园车上司机提交的第一行驶路线判定请求，并根据第一行驶路线判定请求从目的站点信息中获得与目的站点对应的临近对集合的子模块；

根据临近对集合对目的站点进行依次判断，判断该目的站点与剩下的目的站点之间是否产生相邻关系的子模块；

获得每个目的站点与剩下的目的站点产生相邻关系形成的对应的临近对的数量，并根据目的站点与其它目的站点产生相邻关系形成的对应的临近对的数量，得到对应的数量最多的目的站点，将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对的子模块；

将该目的站点作为待替换站点，并获得该待替换站点对应的临近对集合中相邻距离最小的临近对作为待替换临近对的子模块；

第二行驶路线形成模块：根据待替换临近对中所指的目的站点与临近站点，将乘客提交的目的站点信息中相同的目的站点替换为待替换临近对中所指的临近站点，并根据临近站点、剩下的目的站点形成该校园车的第二行驶路线；

其中，根据临近站点的位置、目的站点的位置形成该校园车的第二行驶路线的具体过程为：根据临近站点的位置与起始站点之间的位置、目的站点的位置与起始站点的位置获得临近站点与起始站点之间的车辆行驶距离、目的站点与起始站点之间的车辆行驶距离，将临近站点、目的站点根据对应的车辆行驶距离从小到大进行优先排序，并根据优先排序的排序队列将临近站点和目的站点进行依次连接，形成该校园车的第二行驶路线；

第二行驶路线安全判定模块：获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的监测数据，通过监测数据得到在预设时间段内的场外人员密度，并根据场外人员密度判定所述第二行驶路线是否会产生拥堵，若是，则向该校园车发出第二行驶路线异常的预警。

6.根据权利要求5所述的一种多模态深度学习的实时异常预警系统，其特征在于，所述第二行驶路线安全判定模块还包括以下模块：

场外人员监测模块：获得设置在第二行驶路线中每个站点上摄像机在预设时间段内拍摄的视频数据，所述摄像机朝向站点场外拍摄，用于监测站点场外人员的人员密度；

梯度图形成模块：对视频数据进行逐帧切分成图像集，并对图像集进行人群统计，得到在预设时间段内场外人员密度的梯度图；

预警模块：判断所述梯度图中场外人员密度是否呈现上升趋势且超出预设安全值，若是，则判定所述第二行驶路线会产生拥堵，并向该校园车发出第二行驶路线异常的预警。