CN107122765A - 一种高速公路服务区全景监控方法及系统 - Google Patents

Abstract

本发明公开了一种高速公路服务区全景监控方法及系统，涉及机器视觉及人工智能技术，尤其是一种基于图像识别的高速公路服务区监控方法。本发明技术要点包括：S1：安装全景监控设备；S2：全景图像获取：获取全景监控设备拍摄的图像，对两幅鱼眼图像进行预处理、拼接得到360°视场角的全景图像；S3：数据存储：将拼接好的全景图像保存下来；S4：系统检测识别：识别出全景图像中的行人、车辆以及遗留物；分别对行人及车辆进行跟踪及行为分析，当分析出有危险行为的行人或车辆时便发出报警；对遗留物的数量及停留时间进行分析，若数量大于设定数量或停留时间大于设定时间则通知工作人员进行清理；遗留物是指区别于行人和车辆的前景物件。

Description

一种高速公路服务区全景监控方法及系统

技术领域

本发明涉及人工智能技术，尤其是一种基于图像识别的高速公路服务区监控方法。

背景技术

高速公路服务区是作为高速公路上每隔一定距离提供停车、加油、汽车修理、餐饮、休息而设置的能够为司乘人员和车辆提供各种形式的服务的场所，高速公路服务区的建设不仅给行驶的车辆带来安全、快捷、舒适的行车环境，也大大减缓了司机长时间驾驶所带来的驾驶疲劳，降低交通事故，车流量增大从而大幅度增加了通行费，降低运营成本。但是，车流量增加给道路运营带来好处的同时，也给服务区的管理带来很大压力。因此，提高服务区的管理水平十分重要。

现阶段，服务区的监控系统主要着重于人流量以及车流量的监控，而没有考虑服务区的安全状况、环境状况等一些重要的服务区服务状态的监控。而且，目前已有的服务区监控系统主要由一般的监控设备来组成，监控视角小，监控准确率低。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种服务区全景监控系统和方法，使用设备少且能够实现对服务区进行360°的全景监控，使得监控无死角、监控精度高。同时，比较全面地对服务区进行监控，实现多方面的智能化，减少了高速公路管理人员的工作量，提高了服务区管理的工作效率，降低了高速公路运营成本，降低了服务区的安全隐患，提高了服务区服务质量。

本发明提供的一种高速公路服务区全景监控方法，包括：

S1：安装全景监控设备：全景监控设备由一对鱼眼相机背靠背固定而成，单只鱼眼镜头的视场角在180°以上；

S2：全景图像获取：获取全景监控设备拍摄的图像，对鱼眼两幅图像进行预处理、拼接得到360°视场角的全景图像；

S3：数据存储：将拼接好的全景图像保存下来；

S4：系统检测识别：识别出全景图像中的行人、车辆以及遗留物；分别对行人及车辆进行跟踪及行为分析，当分析出有危险行为的行人或车辆时便发出报警；对遗留物的数量及停留时间进行分析，若数量大于设定数量或停留时间大于设定时间则通知工作人员进行清理；

遗留物是指区别于行人和车辆的前景物件。

其中，识别出全景图像中的行人、车辆以及遗留物的步骤进一步包括：

Sa1：建立全景图像的背景模型：以没有任何行人和车辆的服务区的初始状态的全景图像作为物件识别背景；

Sa2：前景分离：利用背景差法提取出当前全景图像相对于所述物件识别背景的前景图像；

Sa3：提取出当前前景图像中特征值；

Sa4：将提取出的当前前景图像的特征值输入预先训练好的物件识别模型，把人、车辆以及遗留物识别出来。

其中，对行人进行跟踪及行为分析的步骤进一步包括：

Sb1：行人跟踪：在连续的全景图像之间跟踪行人，得到行人的行动轨迹，并统计行人数量；如果行人数量大于设定的行人数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

Sb2：行人行为分析：将行人的行动轨迹输入到预先训练好的行人行为分析模型，行人行为分析模型对行人行为进行分类并输出分类结果，行人的行为类型至少包括：休息、喝茶、住宿、使用厕所、到便利店买东西及危险行为；

Sb3：统计不同行为类型的行人数量，如果某一类型的行为数量在一定时间内都小于设定数量，则给出减少对应基础设施的建议；当分类结果出现危险行为，则发出警报。

其中，对车辆进行跟踪及行为分析的步骤进一步包括：

Sc1：车辆跟踪：在连续的全景图像之间跟踪车辆，得到车辆的行动轨迹并统计车辆的数量；如果车辆数量大于设定的车辆数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

Sc2：车辆行为分析：将车辆的行动轨迹输入到预先训练好的车辆行为分析模型，车辆行为分析模型对车辆行为进行分类并输出分类结果，车辆行为类型至少包括：洗车、维修、停车及危险行为；

Sc3：统计不同行为类型的车辆数量，如果某一行为类型的车辆数量大于设定值，则发出拥挤警报并给出减轻拥挤程度的建议；如果某一行为类型的车辆在一定时间内都小于设定数量，则给出减少对应基础设施的建议；

Sc4：统计行为类型为“停留”的车辆的停留时间，如果车辆停留时间大于某设定值，则发出警报，并输出该车辆的停留时间；停留时间统计方式为：以停留第一张全景图像的时间开始，停留时间累加；

Sc5：当分类结果出现危险行为，则发出警报。如果预测哪有危险行为 的车辆，发出警报。

对遗留物的数量及停留时间进行分析的步骤进一步包括：在连续的全景图像间跟踪检测到的遗留物，并统计遗留物的数量，如果发现遗留物的数量过多，则发出警报；如果发现遗留物停留时间大于设定值，则给出移除遗留物建议。

本发明还提供了一种高速公路服务区全景监控系统，包括：

全景图像获取模块：用于获取全景监控设备拍摄的图像，对两幅鱼眼图像进行预处理、拼接得到360°视场角的全景图像；全景监控设备由一对鱼眼相机背靠背固定而成，单只鱼眼镜头的视场角在180°以上；

数据存储模块：用于将拼接好的全景图像保存下来；

系统检测识别模块：用于识别出全景图像中的行人、车辆以及遗留物；分别对行人及车辆进行跟踪及行为分析，当分析出有危险行为的行人或车辆时便发出报警；对遗留物的数量及停留时间进行分析，若数量大于设定数量或停留时间大于设定时间则通知工作人员进行清理；

遗留物是指区别于行人和车辆的前景物件。

系统检测识别模块进一步包括：

全景图像的背景模型建立模块：用于以没有任何行人和车辆的服务区的初始状态的全景图像作为物件识别背景；

前景分离模块：用于利用背景差法提取出当前全景图像相对于所述物件识别背景的前景图像；

特征值提取模块：用于提取出当前前景图像中特征值；

物件识别模块：用于将提取出的当前前景图像的特征值输入预先训练好的物件识别模型，把人、车辆以及遗留物识别出来。

系统检测识别模块进一步包括：

行人跟踪模块：用于在连续的全景图像之间跟踪行人，得到行人的行动轨迹，并统计行人数量；如果行人数量大于设定的行人数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

行人行为分析模块：用于将行人的行动轨迹输入到预先训练好的行人行为分析模型，行人行为分析模型对行人行为进行分类并输出分类结果，行人的行为类型至少包括：休息、喝茶、住宿、使用厕所、到便利店买东西及危险行为；

行人数量统计模块：用于统计不同行为类型的行人数量，如果某一类型的行为数量在一定时间内都小于设定数量，则给出减少对应基础设施的建议；当分类结果出现危险行为，则发出警报。

系统检测识别模块进一步包括：

车辆跟踪模块：用于在连续的全景图像之间跟踪车辆，得到车辆的行动轨迹并统计车辆的数量；如果车辆数量大于设定的车辆数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

车辆行为分析模块：用于将车辆的行动轨迹输入到预先训练好的车辆行为分析模型，车辆行为分析模型对车辆行为进行分类并输出分类结果，车辆行为类型至少包括：洗车、维修、停车及危险行为；

车辆数量统计模块：用于统计不同行为类型的车辆数量，如果某一行为类型的车辆数量大于设定值，则发出拥挤警报并给出减轻拥挤程度的建议；如果某一行为类型的车辆在一定时间内都小于设定数量，则给出减少对应基础设施的建议；

车辆停留时间统计模块：用于统计行为类型为“停留”的车辆的停留时间，如果车辆停留时间大于某设定值，则发出警报，并输出该车辆的停留时间；停留时间统计方式为：以停留第一张全景图像的时间开始，停留时间累加；

车辆危险行为告警模块：用于当分类结果出现危险行为，则发出警报。如果预测哪有危险行为 的车辆，发出警报。

系统检测识别模块进一步包括：遗留物行为分析模块：用于在连续的全景图像间跟踪检测到的遗留物，并统计遗留物的数量，如果发现遗留物的数量过多，则发出警报；如果发现遗留物停留时间大于设定值，则给出移除遗留物建议。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.能够实现对服务区进行360°的全景监控，使得监控无死角、监控精度高。

2.系统对车流量的统计、车辆行为分析、车辆停留时间统计、行人数量的统计、行人行为分析以及服务区的环境清洁监控，比较全面地对服务区进行监控，提高了高速公路管理效率，降低了高速公路运营成本，降低了服务区的安全隐患，提高了服务区服务质量。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为具体实施方式流程图。

图2 为服务区全景监控系统模块结构示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，本发明公开的一种服务区全景监控方法具体实施方式如下：

步骤1：安装全景监控设备：全景监控设备由一对鱼眼相机背靠背固定而成，单只鱼眼镜头的视场角在180°以上。

根据高速公路服务区的设计结构，最好选择能够拍摄到服务区各个区域的地方安装全景相机，或是选择能够偏向于能够拍摄到重点监控对象的地方安装全景相机。在安装全景监控设备的过程中，要注意避免监控对象落入全景监控设备的盲区，全景相机的盲区一般在以相机为中心半径为50厘米左右的圆内。所以相机安装的时候最好保证监控对象在以相机为中心半径为50厘米左右的圆外，或者说保证监控对象距离相机至少50厘米距离。建议全景相机不要安装于地面，以免为了获得较好视野而安装的相机处在容易遭到人为破坏的地方。一般的，摄像机安装在服务区比较高且视野好的建筑物上。

步骤2：通过全景监控设备获得到服务区全景监控图像。具体如下：

步骤2.1:控制打开全景监控设备，拍摄服务区监控视频，获得服务区监控图像。

步骤2.2：调用系统图像预处理单元：对全景相机采集到的图像进行去噪、增强等一系列必要的预处理。

步骤2.3：调用系统图像拼接单元：由于全景监控设备的每个镜头的视场角都不能够达到360°，为了使监控设备能够实现360°监控，需要将监控设备的每个镜头拍摄到的同一场景的图像进行拼接，得到一个360°视场角的图像。具体拼接方式如下：

步骤2.3.1：将两只镜头获取的图像，依据相机标定参数，投影到同一球体坐标系中。

步骤2.3.2：如果两个相机捕捉到的两个像素点经过步骤4.1投影重合于同一点，则需要对两个像素点进行羽化平均；否则直接保留投影后像素点。

可选的，步骤2.4：调用系统全景图像渲染单元：由于全景图像是360°视场角，对于监控者来说，并非最自然的视场角。所以需要将360°全景图重新渲染成多幅较小视场角的图像以符合观看需要。如果在监控系统之上直接应用机器视觉系统进行智能监控，对于360°广角视场角有两种处理方案。第一种方案是利用同一套渲染系统，对监控场景进行视场角矫正，将矫正后的图像作为普通相机输入。第二种方案是，将渲染系统变为可选部件，在机器视觉系统中直接加入全景图处理计算单元。渲染矫正的步骤是在得到360度全景图后，虚拟一个小孔成像相机，将该虚拟相机对准某一监控区域，然后重投影拟合计算全景图在该相机中的投影效果，从而得到矫正图像。

步骤3：数据存储。将拼接好的全景图像保存下来，以图片格式或是视频格式都可以。为了能够更最准确地对服务区进行监控，在系统给出监控结果以后，需要人为确认系统监控结果，因此，将全景图像存储起来，方便后期或是当前人为调出查看确认。

步骤4：系统检测识别。得到全景图像以后，在全景图像中进行检测识别服务区的物件，将服务区内的行人、车辆以及区别于人和车的前景物件识别出来，暂且将区别于人和车的前景物件称为遗留物。该模块主要是利用机器学习的方法，训练一个物件识别模型，然后将当前的全景图像输入到物件识别模型中，最终识别出全景图像中的行人、车辆和区别于人和车的前景物件（遗留物）。这一步能够检测到行人、车辆以及全景视场内的环境清洁的实时情况，为后续的服务区监控处理起到关键作用。具体检测识别方式如下：

步骤4.1：提取车和人的特征：本实施例具体为提前在某一张包含人和车的全景图像中分别提取出人和车的HOG特征。

步骤4.2：利用人和车的特征训练一个物件识别模型，本实施例利用人和车的HOG特征训练一个SVM（支持向量机）分类器，用以识别出人、车以及区别于人和车的前景物件（遗留物）。

步骤4.3：建立全景图像的背景模型：以理想的干净的没有任何人和车的服务区的初始状态的地面全景图像作为物件识别的背景。

步骤4.4：前景分离：利用背景差法提取出当前全景图像相对于物件识别背景的前景。

步骤4.5：提取出前景图像中的HOG特征。

步骤4.6：以提取出的当前前景图像的HOG特征输入先前训练好的SVM（支持向量机）分类器。如此，SVM分类器就能够把人、车辆以及区别于人和车的前景物件（遗留物）识别出来。

步骤4.7：如果检测识别到当前全景图像中有人，则转步骤5，对行人进行数量统计、行人行为分析；如果检测识别到有车，则转步骤6，对车辆进行数量统计、车辆行为分析；如果检测识别到有遗留物，则转步骤7，对服务区环境清洁进行监控分析。

步骤5：对行人进行跟踪及行为分析。具体如下：

步骤5.1：行人跟踪：在连续的全景图像之间或者说在全景视频帧中跟踪行人。本实施例利用Kalman滤波对全景视频中的人进行跟踪。在跟踪行人的同时，一方面将行人的行动轨迹保存下来，另一方面要统计行人数量。对于行人数量的统计方法如下：

步骤5.1.1：在全景图像中检测到当前帧的行人数量为N1。

步骤5.1.2：利用跟踪检测到的行人，同时检测全景视野图像中是否有新的行人出现，如果有k个新的行人出现，那么更新行人数量，即N1=N1+k。

步骤5.1.3：转步骤8，调用系统输出模块 ，将行人数量N1输出，如果行人数量N1大于某一定值，则发出拥挤警报，并给出相应减轻该服务区拥挤度建议。

步骤5.2：行人行为分析：主要实现对行人的行为分析和统计，这些行为包括休息、喝茶、住宿、使用厕所、到便利店买东西、危险行为。具体为训练一个行人行为分析模型。本实施例通过训练一个HMM（隐马尔科夫模型）来实现对行人的行为进行分析。具体如下：

步骤5.2.1：提前提取全景图像特征。在全景图像中利用一个无限冲激响应（IIR）滤波器提取休息、喝茶、住宿、使用厕所、到便利店买东西、危险行为等行为的行动轨迹特征值。

步骤5.2.2：用预先得到的特征值训练一个行人行为分析模型。本实施例用步骤5.2.1提取出的各类行为的行动轨迹特征训练一个HMM行人行为分类器模型。

步骤5.2.3：将步骤5.1跟踪到的行人行动轨迹输入训练好的HMM模型中，从而分析出行人的行为类别。分析出行人的行为类别后，统计每一类别行为的人数。

步骤5.3：转步骤8，调用系统输出模块 ，将行人分析结果输出，并给出相应的警报和建议。具体如下：

1.如果休息、喝茶、住宿、使用厕所、到便利店买东西的人数大于一定数量，则发出拥挤警报并给出减轻拥挤程度的建议。如果休息、喝茶、住宿、使用厕所、到便利店买东西的人数长期小于一定数量，则给出减少对应基础设施的建议。

2.如果分析结果出现行人有危险行为，则发出警报。

步骤6：对车辆进行跟踪及行为分析，具体如下：

步骤6.1：车辆跟踪：在连续的全景图像之间或全景视频帧中跟踪车辆。本实施例利用Kalman滤波对全景视频中的车辆进行跟踪。在跟踪车辆的同时，一方面将车辆的行动轨迹保存下来，另一方面要统计车辆的数量。对于车辆数量的统计方法如下：

步骤6.1.1：在全景图像中检测到当前帧的车辆数量为N2。

步骤6.1.2：利用跟踪检测到的车辆，同时检测全景视野图像中是否有新的车辆出现，如果有k辆新的车辆出现，那么更新车辆数量，即N2=N2+k。

步骤6.1.3：转步骤8，调用系统输出模块 ，将车辆数量N2输出，如果车辆数量N2大于某一定值，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议。

步骤6.2：车辆行为分析：主要实现对车辆的行为分析统计，车辆行为包括洗车、维修、停车、危险行为，同时将车辆的停留时间统计出来，方便服务区的管理，避免某些车辆停留时间过车影响服务区正常运营。本实施例通过训练一个HMM（隐马尔科夫模型）来实现对车辆的行为进行分析。具体如下：

步骤6.2.1：提前提取全景图像特征。在全景图像中利用一个无限冲激响应（IIR）滤波器提取洗车、维修、停车、危险行为等行动轨迹特征值。

步骤6.2.2：训练一个车辆行为分析模型。将步骤6.2.1提取出的各类车辆行为的行动轨迹特征训练一个HMM车辆行为分类器模型。

步骤6.2.3：将步骤6.1跟踪到的车辆行动轨迹输入训练好的HMM模型中，从而分析出车辆的行为类别。分析出车辆的行为类别后，统计每一类别行为的车辆数量，同时，对于对分析结果类别为“停留”的车辆进行停留时间统计，停留时间统计方式为：以停留第一帧的时间开始，停留时间累加，直到该车辆离开停留地点的第一帧为止。

步骤6.3：转步骤8，调用系统输出模块 ，将行人分析结果输出，并给出相应的警报和建议。具体如下：

1.如果洗车、维修、停车的数量大于一定值，则发出拥挤警报并给出减轻拥挤程度的建议。如果洗车、维修、停车、危险行为的车辆数量长期小于一定数量，则给出减少对应基础设施的建议。

2. 如果车辆一直不离开，即车辆停留时间大于某一定值，则发出警报，并输出停留时间。

3.如果预测哪有危险行为 的车辆，发出警报。

步骤7：对遗留物的数量及停留时间进行分析。主要实现对服务区环境的监控，保证服务区环境干净整洁。具体为：跟踪检测到的遗留物，统计遗留物的数量，如果发现遗留物的数量过多，则发出警报；如果发现遗留物长时间停留在某一处，或是长时间出现在监控区内，则给出移除遗留物建议。本实施方式为：利用Kalman滤波跟踪区别于车和人的物件（遗留物），同时实时更新遗留物的数量N3，如果检测到服务区内遗留物数量N3大于某一定值，或是如果发现遗留物出现在监控区内的时间超过一定时间，则发出移除遗留物建议。实时输出遗留物的数量。对遗留物的跟踪、数量统计及停留时间统计参见对车辆的处理，在此不再赘述。

步骤8：调用系统输出模块。输出模块包括一些外部接口,例如显示屏接口、语音播报设备接口，能够将数据显示出来。

本发明还提供了一种与上述方法步骤一一对应的软系统，如图2所示，其包括：

全景图像获取模块：用于获取全景监控设备拍摄的图像，对两幅鱼眼图像进行预处理、拼接得到360°视场角的全景图像；全景监控设备由一对鱼眼相机背靠背固定而成，单只鱼眼镜头的视场角在180°以上。

数据存储模块：用于将拼接好的全景图像保存下来。

系统检测识别模块：用于识别出全景图像中的行人、车辆以及遗留物；分别对行人及车辆进行跟踪及行为分析，当分析出有危险行为的行人或车辆时便发出报警；对遗留物的数量及停留时间进行分析，若数量大于设定数量或停留时间大于设定时间则通知工作人员进行清理。

遗留物是指区别于行人和车辆的前景物件。

其中，系统检测识别模块进一步包括：

全景图像的背景模型建立模块：用于以没有任何行人和车辆的服务区的初始状态的全景图像作为物件识别背景。

前景分离模块：用于利用背景差法提取出当前全景图像相对于所述物件识别背景的前景图像。

特征值提取模块：用于提取出当前前景图像中特征值。

物件识别模块：用于将提取出的当前前景图像的特征值输入预先训练好的物件识别模型，把人、车辆以及遗留物识别出来。

系统检测识别模块进一步包括：

行人跟踪模块：用于在连续的全景图像之间跟踪行人，得到行人的行动轨迹，并统计行人数量；如果行人数量大于设定的行人数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议。

行人行为分析模块：用于将行人的行动轨迹输入到预先训练好的行人行为分析模型，行人行为分析模型对行人行为进行分类并输出分类结果，行人的行为类型至少包括：休息、喝茶、住宿、使用厕所、到便利店买东西及危险行为。

行人数量统计模块：用于统计不同行为类型的行人数量，如果某一类型的行为数量在一定时间内都小于设定数量，则给出减少对应基础设施的建议；当分类结果出现危险行为，则发出警报。

系统检测识别模块进一步包括：

车辆跟踪模块：用于在连续的全景图像之间跟踪车辆，得到车辆的行动轨迹并统计车辆的数量；如果车辆数量大于设定的车辆数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议。

车辆行为分析模块：用于将车辆的行动轨迹输入到预先训练好的车辆行为分析模型，车辆行为分析模型对车辆行为进行分类并输出分类结果，车辆行为类型至少包括：洗车、维修、停车及危险行为。

车辆数量统计模块：用于统计不同行为类型的车辆数量，如果某一行为类型的车辆数量大于设定值，则发出拥挤警报并给出减轻拥挤程度的建议；如果某一行为类型的车辆在一定时间内都小于设定数量，则给出减少对应基础设施的建议。

车辆停留时间统计模块：用于统计行为类型为“停留”的车辆的停留时间，如果车辆停留时间大于某设定值，则发出警报，并输出该车辆的停留时间；停留时间统计方式为：以停留第一张全景图像的时间开始，停留时间累加。

车辆危险行为告警模块：用于当分类结果出现危险行为，则发出警报。如果预测哪有危险行为 的车辆，发出警报。

系统检测识别模块进一步包括：遗留物行为分析模块：用于在连续的全景图像间跟踪检测到的遗留物，并统计遗留物的数量，如果发现遗留物的数量过多，则发出警报；如果发现遗留物停留时间大于设定值，则给出移除遗留物建议。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种高速公路服务区全景监控方法，其特征在于，包括：

S1：安装全景监控设备：全景监控设备由一对鱼眼相机背靠背固定而成，单只鱼眼镜头的视场角在180°以上；

S2：全景图像获取：获取全景监控设备拍摄的图像，对两幅鱼眼图像进行预处理、拼接得到360°视场角的全景图像；

S3：数据存储：将拼接好的全景图像保存下来；

S4：系统检测识别：识别出全景图像中的行人、车辆以及遗留物；分别对行人及车辆进行跟踪及行为分析，当分析出有危险行为的行人或车辆时便发出报警；对遗留物的数量及停留时间进行分析，若数量大于设定数量或停留时间大于设定时间则通知工作人员进行清理；

遗留物是指区别于行人和车辆的前景物件。

2.根据权利要求1所述的一种高速公路服务区全景监控方法，其特征在于，识别出全景图像中的行人、车辆以及遗留物的步骤进一步包括：

Sa1：建立全景图像的背景模型：以没有任何行人和车辆的服务区的初始状态的全景图像作为物件识别背景；

Sa2：前景分离：利用背景差法提取出当前全景图像相对于所述物件识别背景的前景图像；

Sa3：提取出当前前景图像中特征值；

Sa4：将提取出的当前前景图像的特征值输入预先训练好的物件识别模型，把人、车辆以及遗留物识别出来。

3.根据权利要求1所述的一种高速公路服务区全景监控方法，其特征在于，对行人进行跟踪及行为分析的步骤进一步包括：

Sb1：行人跟踪：在连续的全景图像之间跟踪行人，得到行人的行动轨迹，并统计行人数量；如果行人数量大于设定的行人数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

Sb2：行人行为分析：将行人的行动轨迹输入到预先训练好的行人行为分析模型，行人行为分析模型对行人行为进行分类并输出分类结果，行人的行为类型至少包括：休息、喝茶、住宿、使用厕所、到便利店买东西及危险行为；

Sb3：统计不同行为类型的行人数量，如果某一类型的行为数量在一定时间内都小于设定数量，则给出减少对应基础设施的建议；当分类结果出现危险行为，则发出警报。

4.根据权利要求1所述的一种高速公路服务区全景监控方法，其特征在于，对车辆进行跟踪及行为分析的步骤进一步包括：

Sc1：车辆跟踪：在连续的全景图像之间跟踪车辆，得到车辆的行动轨迹并统计车辆的数量；如果车辆数量大于设定的车辆数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

Sc2：车辆行为分析：将车辆的行动轨迹输入到预先训练好的车辆行为分析模型，车辆行为分析模型对车辆行为进行分类并输出分类结果，车辆行为类型至少包括：洗车、维修、停车及危险行为；

Sc3：统计不同行为类型的车辆数量，如果某一行为类型的车辆数量大于设定值，则发出拥挤警报并给出减轻拥挤程度的建议；如果某一行为类型的车辆在一定时间内都小于设定数量，则给出减少对应基础设施的建议；

Sc4：统计行为类型为“停留”的车辆的停留时间，如果车辆停留时间大于某设定值，则发出警报，并输出该车辆的停留时间；停留时间统计方式为：以停留第一张全景图像的时间开始，停留时间累加；

Sc5：当分类结果出现危险行为，则发出警报；

如果预测哪有危险行为的车辆，发出警报。

5.根据权利要求1所述的一种高速公路服务区全景监控方法，其特征在于，

对遗留物的数量及停留时间进行分析的步骤进一步包括：在连续的全景图像间跟踪检测到的遗留物，并统计遗留物的数量，如果发现遗留物的数量过多，则发出警报；如果发现遗留物停留时间大于设定值，则给出移除遗留物建议。

6.一种高速公路服务区全景监控系统，其特征在于，包括：

全景图像获取模块：用于获取全景监控设备拍摄的图像，对两幅鱼眼图像进行预处理、拼接得到360°视场角的全景图像；全景监控设备由一对鱼眼相机背靠背固定而成，单只鱼眼镜头的视场角在180°以上；

数据存储模块：用于将拼接好的全景图像保存下来；

系统检测识别模块：用于识别出全景图像中的行人、车辆以及遗留物；分别对行人及车辆进行跟踪及行为分析，当分析出有危险行为的行人或车辆时便发出报警；对遗留物的数量及停留时间进行分析，若数量大于设定数量或停留时间大于设定时间则通知工作人员进行清理；

遗留物是指区别于行人和车辆的前景物件。

7.根据权利要求6所述的一种高速公路服务区全景监控系统，其特征在于，系统检测识别模块进一步包括：

全景图像的背景模型建立模块：用于以没有任何行人和车辆的服务区的初始状态的全景图像作为物件识别背景；

前景分离模块：用于利用背景差法提取出当前全景图像相对于所述物件识别背景的前景图像；

特征值提取模块：用于提取出当前前景图像中特征值；

物件识别模块：用于将提取出的当前前景图像的特征值输入预先训练好的物件识别模型，把人、车辆以及遗留物识别出来。

8.根据权利要求6所述的一种高速公路服务区全景监控方法，其特征在于，系统检测识别模块进一步包括：

行人跟踪模块：用于在连续的全景图像之间跟踪行人，得到行人的行动轨迹，并统计行人数量；如果行人数量大于设定的行人数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

行人行为分析模块：用于将行人的行动轨迹输入到预先训练好的行人行为分析模型，行人行为分析模型对行人行为进行分类并输出分类结果，行人的行为类型至少包括：休息、喝茶、住宿、使用厕所、到便利店买东西及危险行为；

行人数量统计模块：用于统计不同行为类型的行人数量，如果某一类型的行为数量在一定时间内都小于设定数量，则给出减少对应基础设施的建议；当分类结果出现危险行为，则发出警报。

9.根据权利要求6所述的一种高速公路服务区全景监控系统，其特征在于，系统检测识别模块进一步包括：

车辆跟踪模块：用于在连续的全景图像之间跟踪车辆，得到车辆的行动轨迹并统计车辆的数量；如果车辆数量大于设定的车辆数量，则发出拥挤警报，并给出相应减轻该服务区拥挤度的建议；

车辆行为分析模块：用于将车辆的行动轨迹输入到预先训练好的车辆行为分析模型，车辆行为分析模型对车辆行为进行分类并输出分类结果，车辆行为类型至少包括：洗车、维修、停车及危险行为；

车辆数量统计模块：用于统计不同行为类型的车辆数量，如果某一行为类型的车辆数量大于设定值，则发出拥挤警报并给出减轻拥挤程度的建议；如果某一行为类型的车辆在一定时间内都小于设定数量，则给出减少对应基础设施的建议；

车辆停留时间统计模块：用于统计行为类型为“停留”的车辆的停留时间，如果车辆停留时间大于某设定值，则发出警报，并输出该车辆的停留时间；停留时间统计方式为：以停留第一张全景图像的时间开始，停留时间累加；

车辆危险行为告警模块：用于当分类结果出现危险行为，则发出警报；

如果预测哪有危险行为的车辆，发出警报。

10.根据权利要求6所述的一种高速公路服务区全景监控系统，其特征在于，

系统检测识别模块进一步包括：遗留物行为分析模块：用于在连续的全景图像间跟踪检测到的遗留物，并统计遗留物的数量，如果发现遗留物的数量过多，则发出警报；如果发现遗留物停留时间大于设定值，则给出移除遗留物建议。