CN115514788A - 一种精密北斗与aiot结合的新能源校车司乘多态感知系统及其分析预警方法 - Google Patents

Abstract

本发明涉及一种精密北斗与AIOT结合的新能源校车司乘多态感知系统及其分析预警方法，本专利使用车联网技术和北斗智能腕表实现学生、老师和家长之间的互联互通，家长可以通过腕表定位及时得知学生动向，是否上车，通过监控查看学生身体状况如何以及司机驾驶情况等等。为保证学生和司机身心愉悦，设计了车内舒适度指标，及时智能调节车内温度。提前规划好固定路线，如果司机行驶路线不对及时自动给家长和学校发送信息，实现车端网调度的中心协同。车内智能化安防摄像头，避免火灾等异常情况的发送，人体红外传感器来避免车窗关闭车内有遗留学生的现象。

Description

一种精密北斗与AIOT结合的新能源校车司乘多态感知系统及 其分析预警方法

技术领域

本发明涉及一种精密北斗与AIOT结合的新能源校车司乘多态感知系统及其分析预警方法，属于人工智能物联网与新能源结合技术领域。

背景技术

近年来世界各国大力发展新能源，我国也出台了一系列政策来扶持发展新能源产业，目前许多城市公交车都实现了新能源的转型。校车服务也属于公共交通服务的一种，随着公共交通的普及，越来越多的学生选择乘坐校车上学，校车安全也一直是社会热点问题。

校车的乘坐人员主要是幼儿园、小学、中学阶段学生，这些学生年龄小，自我保护意识差；因此，校车安全问题一直是各方关注的重点，政府方面要制定严格的管理制度和法律法规，起到监督和保障的作用；学校要加强对校车和驾驶员的管理，对校车定时检修，及时关注驾驶员身体和心理状况；同时采用有效的技术手段，使得校车更加智能，来约束和保障校车的安全行驶。

现有技术中，也公开了一些校车智能系统，存在的主要问题：现有技术方案在校车安全监管方面不够具体全面，在细节方面设计不足，家长与老师之间缺少实时信息的互通互联，而且当校车偏离固定路线行驶时，不能够进行及时的预警，同时，在校车舒适度方面没有足够重视。

发明内容

针对现有技术的不足，本发明提供了一种精密北斗与AIOT结合的新能源校车司乘多态感知系统及其分析预警方法，该系统包括车载系统、站点装置、用户腕表、手机和网络服务平台，通过人、车、站、网、路、云多要素融合感知与分析，将人工智能和物联网更好地应用到校车，以提高校车的行车效率、安全性和舒适性。

术语解释：

1.车联网，是指通过在车辆仪表台安装车载终端设备，实现对车辆所有工作情况和静、动态信息的采集、存储并发送。车联网系统一般具有实时实景功能，利用移动网络实现人车交互。

2.新能源，又称非常规能源。是指传统能源之外的各种能源形式。指刚开始开发利用或正在积极研究、有待推广的能源，如太阳能、地热能、风能、海洋能、生物质能和核聚变能等.

3.AIOT，人工智能物联网＝AI(人工智能)+IoT(物联网)。AIoT融合AI技术和IoT技术，通过物联网产生、收集来自不同维度的、海量的数据存储于云端、边缘端，再通过大数据分析，以及更高形式的人工智能，实现万物数据化、万物智联化。

4.北斗虚拟格网差分技术：一种将北斗网格码与北斗系统结合的空间位置服务模式，在差分技术的基础上，采用北斗网格技术，来建立分级时空区域，实现不同精度的定位，可以极大缓解通信宽带压力；差分定位就是指将一台卫星接收机安置在基准站上进行观测，根据基准站已知精密坐标，计算出基准站到卫星的距离改正数，并由基准站实时将这一数据发送出去。用户接收机在进行观测的同时，也接收到基准站发出的改正数，并对其定位结果进行改正。

本发明的技术方案为：

一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，包括车载系统、学生终端设备、家长终端设备、站点装置、网络服务平台；

车载系统设置在新能源校车上，所述车载系统包括信息验证模块、车载摄像机、车载定位模块、数据采集模块、数据转换模块、数据存储模块和车辆端通信模块；信息验证模块用于读取学生终端设备提供的身份二维码，并与存储在信息库里面的人物信息进行比对，确定学生身份；车载摄像机用于监控车内的情况和采集司机的人脸图像；车载定位模块用于对车辆实时定位，及时获取车辆的运动轨迹；数据采集模块用于采集车内温湿度信息和车内空气质量数据，采集车载定位模块获取的定位终端车辆的运动轨迹，以及采集车载摄像机获取的图像数据；并将采集的数据通过5G网络传输给数据存储模块和数据转换模块；数据存储模块用于存储数据采集模块采集到的数据；数据转换模块用于将数据采集模块采集到的信号转换成数字信号；车辆端通信模块用于将数据转换模块得到的数字信号传送到网络服务平台，网络服务平台对数据进行处理，得到处理结果后，再通过网络服务平台将信息传输到系统管理终端或家长终端设备；网络服务平台为服务器端；学生终端设备用于定位学生的位置，并将学生的位置发送给对应家长；家长终端设备用于接收并存储学生的位置信息；站点装置用于对校车在线路上的运行进行监控和实时显示。

根据本发明优选的，车载定位模块为北斗定位终端。选择该终端的优势在于其独有的短报文功能，在紧急情况下，用户终端与卫星之间能够通过卫星信号进行信息传递；同时在亚太地区北斗卫星定位精度比GPS要高。

根据本发明优选的，校车内前后分别设置有一个车载摄像机，所述车载摄像机具有智能安防功能，用于识别车内是否有火警等异常情况，同时便于家长和学校监控车内环境；

进一步优选的，所述车载摄像机具有对话功能；

进一步优选的，所述车载摄像机具有AI识别功能，对车内人员进行上车登记，并且判断车内上下车人数，动态监测车内人员。

根据本发明优选的，所述车载系统还设置有温湿度传感器用于检测车内温湿度信息；CO₂传感器用于检测车内空气质量。

如此设置是为给学生提供良好的乘车环境，选取乘客认为影响舒适度因素选择率最高的几项：空气清新度、嗅觉因素、坐席因素、皮肤因素(温度、湿度、听觉)来设置舒适度评价指标。

根据本发明优选的，所述车载系统还包括人体红外传感器，车辆熄火后，人体红外传感器用于检查车内是否还有遗留人员，避免有小朋友误躲在座位后面监控看不到的地方被遗留在车内的情况发生，当人体红外传感器检测到车内有人，校车将进行灯光闪烁同时发出大声警报，来提醒车辆周围人员。

根据本发明优选的，所述车载系统还包括行车记录仪，用于记录司机驾驶行为。不但要记录行车过程还要分析司机驾驶过程中是否有冒险行为(不礼让行人、驾驶速度过快、频繁变换车道)，纳入司机的考核指标。

根据本发明优选的，所述车载系统还包括指纹识别模块、人脸识别模块、疲劳驾驶检测模块，指纹识别模块用于通过指纹确定司机的身份，人脸识别模块用于通过人脸确定司机的身份，司机上车下车利用指纹+面部识别的打卡功能，提高安全性；疲劳驾驶检测模块包括CPU处理模块和语音提醒模块，CPU处理模块与所述数据转换模块相连接，车载摄像机采集司机的人脸图像，经过数据转换模块，进行模/数转换，将转换后的数字图像传入CPU处理模块，进行提取面部特征，关键点定位以及疲劳状态的判断疲劳等级，如果判定驾驶员处于疲劳驾驶状态，会通过语音提醒模块输出警告。

根据本发明优选的，学生终端设备包括身份识别模块、学生定位模块和学生通信模块；

身份识别模块用于生成的每个学生的二维码信息，学生通过扫描学生终端设备上的身份码来验证自己的信息，可以克服口罩遮挡情况下人脸识别的不准确性，并且如果学生乘坐车辆不对，系统会发出告警声音提示学生出现错误；

学生定位模块用于定位学生所在的位置，通过四颗北斗卫星同时联动，得出四个方程组，求得学生的空间和时间坐标；

学生通信模块利用北斗的短报文功能实现，实现学生终端设备与家长终端设备之间的通信，当学生终端设备与车载系统进行信息匹配后，学生通信模块将学生的位置信息传输给家长终端设备。学生上车后会自动给家长手机发送短信，告知学生乘车状况，短信内容包括乘车人、乘车时间以及地点。

学生通信模块利用北斗的短报文功能实现，这样在普通移动信号不能覆盖的情况下仍然可以实现紧急通信。

根据本发明优选的，家长终端设备包括用户端显示模块、用户通信模块、用户数据存储模块，用户通信模块接收学生终端设备发送的位置信息，用户数据存储模块用于存储接收到的位置信息，用户端显示模块用于显示接收到的学生的位置。

根据本发明优选的，站点装置包括摄像头和LED屏，摄像头用于监视校车到站时间是否准时以及学生下车后的动向；LED屏用于显示校车预计到达时间。并且提出效率要求指标，规定到达时间和实际到达时间相差3分钟是可接受的，相差6分钟要注意效率，相差9分钟要提出警告，同样纳入司机月末考核指标。

上述精密北斗与AIOT结合的新能源校车司乘多态感知系统的分析预警方法，包括：

(1)通过车载定位模块进行车辆定位追踪，将校车的运行轨迹信息显示在监控管理系统的子地图中；

(2)规划校车行驶路线，设置停靠站点，由于校车接送学生基本固定，所以路线也是固定的，利用北斗虚拟格网差分技术规划好一条固定路线和一条备用路线，设置地理围栏，实时显示校车在接送区域内的运动轨迹情况，当驾驶员私自改变路线时，进行后台预警；

(3)当司机上车后，通过指纹识别模块和人脸识别模块双重验证司机身份；当学生上车后，读写模块扫描读取学生佩戴的学生终端设备提供的身份二维码，当学生终端设备与车载系统进行信息匹配后，学生通信模块即刻将学生的位置信息发送给家长终端设备；否则，发出警报，提示人员不匹配错误；

(4)在校车行驶的过程中，数据采集模块采集车载摄像机获取的司机脸部图像，然后图像经过预处理后，输入到疲劳驾驶检测模块进行检测，判断疲劳等级，当疲劳等级处于临界状态及以上时，疲劳驾驶检测模块发出警告。

根据本发明优选的，步骤(2)在设置停靠站点时，既要保证站点设置要尽量使每个学生到家距离最小，来做到不同学生之间相对公平，同时所有学生到达站点的总距离最小，来实现效率的最大化；具体为：

2-1，获取学生的家庭住址，然后通过计算将家庭住址转化为经纬度坐标，假设有学生n位，第i位学生的住址坐标为(r_i,c_i)；学生到达站点能接受的最大距离为d；

2-2，使用半径为d的圆最优划分学生住址点，设置m个站点，第j个站点坐标(x_j,y_j)，建立模型，如下式所示：

2-3，所有学生到达站点的总的距离为f，f满足：

使得站点设置满足每个学生到家距离最小，同时所有学生到达站点的总距离最小，从而确定最少需要圆的个数，所述圆的个数即为站点数m，进而确定圆内包含乘客的个数；

2-4，计算圆内学生住址坐标的重心坐标，该重心坐标即为站点坐标；假设圆内有q位乘客，重心坐标为(x_p,y_p)满足：

2-5，输出站点坐标，以及到达每个站点学生数。

根据本发明优选的，步骤(4)中，司机脸部图像经过预处理后，输入到疲劳驾驶检测模块进行检测，判断疲劳等级，当疲劳等级处于临界状态及以上时，疲劳驾驶检测模块发出警告；具体为：

疲劳驾驶检测模块采用面部多特征融合的分级预警模型，模型判定指标包括眨眼频次、打哈欠频次、闭眼次数以及单位时间内眼睛闭合时间占总时长的比值perclos，根据实时监测计算出模型判定指标，对数据进行标准化处理，根据各指标的可靠程度设置不同权重，得出综合疲劳指标；具体为：

眨眼频次F_b为单位时间内驾驶员的累计眨眼次数与单位时间内视频总帧数的比值，计算公式为：

打哈欠频次F_y与眨眼频次F_b意义相同，用公式表示为：

闭眼次数N是直接通过计算视频中眼睛纵横比的变化得出的；

单位时间内眼睛闭合时间占总时长的比值perclos的计算公式为：

N_k为单位时间内眼睛闭合的连续帧数，N_P为单位时间内视频图像总帧数，由于摄像头采集图像的频率是固定的，所以可以用帧数的比值来代替时间比值；

将上述四个指标用最大最小标准化实现指标融合,得到区间[0,1]内的无量纲化小数

的公式为

其中x_i为要转化的疲劳指标，x_min为检测时间内该指标的最小值，x_max是最大值；

综合疲劳指标权重的设置是根据各判定指标不同可靠性设定的，计算公式为

X₁表示眨眼频次F_b经过最大最小标准化处理后的值，X₂表示打哈欠频次F_y经过最大最小标准化处理后的值，X₃表示闭眼次数N经过最大最小标准化处理后的值，X₄表示perclos经过最大最小标准化处理后的值。

当X＜0.1时，判定校车驾驶员处于清醒状态；当0.1≤X<0.3时，是一个临界状态；当0.3≤X<0.4时，属于轻度疲劳；当0.4≤X<0.5时，属于中度疲劳，当X>0.5时，属于严重疲劳。

根据本发明优选的，当车载系统检测到车内二氧化碳浓度超过1000ppm(0.1％)时，增加空调换气量，提高车内空气清新度，给学生提供一个舒适的环境。

本发明的有益效果为：

1、精密北斗和AIOT结合的可视移动物联网实现人车站网路云多要素融合感知与分析，将人工智能和物联网更好地添加到校车，以提高校车的行车效率、安全性和舒适性。

2、将北斗虚拟格网差分技术赋能校车空间亚米(车道级)+时间秒级监视实现，实时监控校车在接送区域内的运动轨迹情况，当驾驶员私自改变路线时，进行后台预警，提高校车运行的安全性。

3、本申请首次提出关于校车舒适度检测技术和方法，给学生提供一个舒适的环境。

附图说明

图1为人车路网云互联示意图；

图2为学生终端设备和家长终端设备的硬件结构示意图；

图3为学生扫描身份码上车的过程示意图；

图4为车内信息传输流程示意图；

图5为疲劳驾驶检测的流程示意图；

图6为站点设置算法流程示意图；

图7为车内舒适度影响因素及调节示意图。

具体实施方式

下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。

实施例1

一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，如图1和图4所示，包括车载系统、学生终端设备、家长终端设备、站点装置、网络服务平台；

车载系统设置在新能源校车上，所述车载系统包括信息验证模块、车载摄像机、车载定位模块、数据采集模块、数据转换模块、数据存储模块和车辆端通信模块；信息验证模块用于读取学生终端设备提供的身份二维码，并与存储在信息库里面的人物信息进行比对，确定学生身份；车载摄像机用于监控车内的情况和采集司机的人脸图像；车载定位模块用于对车辆实时定位，及时获取车辆的运动轨迹；数据采集模块用于采集车内温湿度信息和车内空气质量数据，采集车载定位模块获取的定位终端车辆的运动轨迹，以及采集车载摄像机获取的图像数据；并将采集的数据通过5G网络传输给数据存储模块和数据转换模块；数据存储模块用于存储数据采集模块采集到的数据；数据转换模块用于将数据采集模块采集到的信号转换成数字信号；车辆端通信模块用于将数据转换模块得到的数字信号传送到网络服务平台，网络服务平台对数据进行处理，得到处理结果后，再通过网络服务平台将信息传输到系统管理终端或家长终端设备；网络服务平台为服务器端；学生终端设备用于定位学生的位置，并将学生的位置发送给对应家长；家长终端设备用于接收并存储学生的位置信息；站点装置用于对校车在线路上的运行进行监控和实时显示。

实施例2

根据实施例1：一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，区别之处在于，

车载定位模块为北斗定位终端。选择该终端的优势在于其独有的短报文功能，在紧急情况下，用户终端与卫星之间能够通过卫星信号进行信息传递；同时在亚太地区北斗卫星定位精度比GPS要高。

校车内前后分别设置有一个车载摄像机，所述车载摄像机具有智能安防功能，用于识别车内是否有火警等异常情况，同时便于家长和学校监控车内环境；

所述车载摄像机具有对话功能；

所述车载摄像机具有AI识别功能，对车内人员进行上车登记，并且判断车内上下人数，动态监测车内人员。

实施例3

根据实施例1：一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，区别之处在于，

为给学生提供良好的乘车环境，如图7所示，选取乘客认为影响舒适度因素选择率最高的几项：空气清新度、嗅觉因素、坐席因素、皮肤因素(温度、湿度、听觉)，设置有温湿度传感器检测车内温湿度信息，设置CO₂检测器，当车内二氧化碳浓度超过1000ppm(0.1％)时，增加空调换气量，提高车内空气清新度，嗅觉因素主要是由司机通过开关窗来控制，在学生上车前以及下车后都要进行通风，坐席因素根据专业数据来固定好，同时车内及时播报提醒学生系好安全带，皮肤因素是把空调设置在自动调节模式，确保学生有一个舒适的环境。

所述车载系统还包括人体红外传感器，车辆熄火后，人体红外传感器用于检查车内是否还有遗留人员，避免有小朋友误躲在座位后面监控看不到的地方被遗留在车内的情况发生，当人体红外传感器检测到车内有人，校车将进行灯光闪烁同时发出大声警报，来提醒车辆周围人员。

所述车载系统还包括行车记录仪，用于记录司机驾驶行为。不但要记录行车过程还要分析司机驾驶过程中是否有冒险行为(不礼让行人、驾驶速度过快、频繁变换车道)，纳入司机的考核指标。

实施例4

根据实施例1：一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，区别之处在于，

所述车载系统还包括指纹识别模块、人脸识别模块、疲劳驾驶检测模块，指纹识别模块用于通过指纹确定司机的身份，人脸识别模块用于通过人脸确定司机的身份，司机上车下车利用指纹+面部识别的打卡功能，提高安全性；疲劳驾驶检测模块包括CPU处理模块和语音提醒模块，CPU处理模块与所述数据转换模块相连接，车载摄像机采集司机的人脸图像，经过数据转换模块，进行模/数转换，将转换后的数字图像传入CPU处理模块，进行提取面部特征，关键点定位以及疲劳状态的判断疲劳等级，如果系统判定驾驶员处于疲劳驾驶状态，会通过语音提醒模块输出警告。

司机疲劳驾驶的检测结合最新技术，CPU处理模块采用面部多特征融合的分级预警算法，模型判定指标包括眨眼频次、打哈欠频次，闭眼次数以及单位时间内眼睛闭合时间占总时长的比值，根据实时监测计算出模型指标，对数据进行标准化处理，根据各指标的可靠程度设置不同权重，得出综合疲劳指标。

实施例5

根据实施例1：一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，区别之处在于，

如图2所示，学生终端设备包括身份识别模块、学生定位模块和学生通信模块，本实施例中学生终端设备为北斗智能腕表。

身份识别模块用于生成的每个学生的二维码信息，学生通过扫描学生终端设备上的身份码来验证自己信息，可以克服疫情影响下，口罩遮挡造成的人脸识别的不准确性，并且如果学生乘坐车辆不对，系统会发出告警声音提示学生出现错误。

学生定位模块用于定位学生所在的位置，通过四颗北斗卫星同时联动，得出四个方程组，求得学生的空间和时间坐标；

学生通信模块用于实现学生终端设备与家长终端设备之间的通信，当学生终端设备与车载系统进行信息匹配后，学生通信模块将学生的位置信息传输给家长终端设备。学生上车后会自动给家长手机发送短信，告知学生乘车状况，短信内容包括乘车人、乘车时间以及地点。

学生通信模块利用北斗的短报文功能实现，这样在普通移动信号不能覆盖的情况下仍然可以实现紧急通信。

实施例6

根据实施例1：一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，区别之处在于，

如图2所示，家长终端设备包括用户端显示模块、用户通信模块、用户数据存储模块，用户通信模块接收学生终端设备发送的位置信息，用户数据存储模块用于存储接收到的位置信息，用户端显示模块用于显示接收到的学生的位置。本实施例中，家长终端设备为智能手机。

实施例7

根据实施例1：一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，区别之处在于，

站点装置包括摄像头和LED屏，摄像头用于监视校车到站时间是否准时以及学生下车后的动向；LED屏用于显示校车预计到达时间；并且提出效率要求指标，规定到达时间和实际到达时间相差3分钟是可接受的，相差6分钟要注意效率，相差9分钟要提出警告，同样纳入司机月末考核指标。

实施例8

一种精密北斗与AIOT结合的新能源校车司乘多态感知系统的分析预警方法，基于实施例1-7任一项所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，包括：

(1)通过车载定位模块进行车辆定位追踪，将校车的运行轨迹信息显示在监控管理系统的子地图中；

(2)规划校车行驶路线，设置停靠站点，由于校车接送学生基本固定，所以路线也是固定的，利用北斗虚拟格网差分技术规划好一条固定路线一条备用路线，设置地理围栏，实时显示校车在接送区域内的运动轨迹情况，当驾驶员私自改变路线时，进行后台预警；

步骤(2)在设置停靠站点时，既要保证站点设置要尽量使每个学生到家距离最小，来做到不同学生之间相对公平，同时所有学生到达站点的总距离最小，来实现效率的最大化；如图6所示，具体为：

2-1，获取学生的家庭住址，然后通过计算将家庭住址转化为经纬度坐标，假设有学生n位，第i位学生的住址坐标为(r_i,c_i)；学生到达站点能接受的最大距离为d；

2-2，使用半径为d的圆最优划分学生住址点，设置m个站点，第j个站点坐标(x_j,y_j)，建立模型，如下式所示：

2-3，所有学生到达站点的总的距离为f，f满足：

使得站点设置满足每个学生到家距离最小，同时所有学生到达站点的总距离最小，从而确定最少需要圆的个数，所述圆的个数即为站点数m，进而确定圆内包含乘客的个数；

2-4，计算圆内学生住址坐标的重心坐标，该重心坐标即为站点坐标；假设圆内有q位乘客，重心坐标为(x_p,y_p)满足：

2-5，输出站点坐标，以及到达每个站点学生数。

(3)当司机上车后，通过指纹识别模块和人脸识别模块双重验证司机身份；如图3所示，当学生上车后，读写模块扫描读取学生佩戴的学生终端设备提供的身份二维码，当学生终端设备与车载系统进行信息匹配后，学生通信模块即刻将学生的位置信息发送给家长终端设备；否则，发出警报，提示人员不匹配错误；

(4)在校车行驶的过程中，如图5所示，数据采集模块采集车载摄像机获取的司机脸部图像，然后图像经过预处理后，输入到疲劳驾驶检测模块进行人脸检测，判断疲劳等级，当疲劳等级处于临界状态及以上时，疲劳驾驶检测模块发出警告，具体为：

疲劳驾驶检测模块采用面部多特征融合的分级预警模型，模型判定指标包括眨眼频次、打哈欠频次、闭眼次数以及单位时间内眼睛闭合时间占总时长的比值perclos，根据实时监测计算出模型判定指标，对数据进行标准化处理，根据各指标的可靠程度设置不同权重，得出综合疲劳指标；具体为：

眨眼频次F_b为单位时间内驾驶员的累计眨眼次数与单位时间内视频总帧数的比值，计算公式为：

打哈欠频次F_y与眨眼频次F_b意义相同，用公式表示为：

闭眼次数N是直接通过计算视频中眼睛纵横比的变化得出的；

单位时间内眼睛闭合时间占总时长的比值perclos的计算公式为：

N_k为单位时间内眼睛闭合的连续帧数，N_P为单位时间内视频图像总帧数，由于摄像头采集图像的频率是固定的，所以可以用帧数的比值来代替时间比值；

将上述四个指标用最大最小标准化实现指标融合,得到区间[0,1]内的无量纲化小数

的公式为

其中x_i为要转化的疲劳指标，x_min为检测时间内该指标的最小值，x_max是最大值；

综合疲劳指标权重的设置是根据各判定指标不同可靠性设定的，计算公式为

X₁表示眨眼频次F_b经过最大最小标准化处理后的值，X₂表示打哈欠频次F_y经过最大最小标准化处理后的值，X₃表示闭眼次数N经过最大最小标准化处理后的值，X₄表示perclos经过最大最小标准化处理后的值。

当X＜0.1时，判定校车驾驶员处于清醒状态；当0.1≤X<0.3时，是一个临界状态；当0.3≤X<0.4时，属于轻度疲劳；当0.4≤X<0.5时，属于中度疲劳，当X>0.5时，属于严重疲劳。

Claims (10)

1.一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，包括车载系统、学生终端设备、家长终端设备、站点装置、网络服务平台；

车载系统设置在新能源校车上，所述车载系统包括信息验证模块、车载摄像机、车载定位模块、数据采集模块、数据转换模块、数据存储模块和车辆端通信模块；信息验证模块用于读取学生终端设备提供的身份二维码，并与存储在信息库里面的人物信息进行比对，确定学生身份；车载摄像机用于监控车内的情况和采集司机的人脸图像；车载定位模块用于对车辆实时定位，及时获取车辆的运动轨迹；数据采集模块用于采集车内温湿度信息和车内空气质量数据，采集车载定位模块获取的定位终端车辆的运动轨迹，以及采集车载摄像机获取的图像数据；并将采集的数据通过5G网络传输给数据存储模块和数据转换模块；数据存储模块用于存储数据采集模块采集到的数据；数据转换模块用于将数据采集模块采集到的信号转换成数字信号；车辆端通信模块用于将数据转换模块得到的数字信号传送到网络服务平台，网络服务平台对数据进行处理，得到处理结果后，再通过网络服务平台将信息传输到系统管理终端或家长终端设备；学生终端设备用于定位学生的位置，并将学生的位置发送给对应家长；家长终端设备用于接收并存储学生的位置信息；站点装置用于对校车在线路上的运行进行监控和实时显示。

2.根据权利要求1所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，车载定位模块为北斗定位终端；

优选的，校车内前后分别设置有一个车载摄像机，所述车载摄像机具有智能安防功能，用于识别车内是否有火警；

优选的，所述车载摄像机具有对话功能；

优选的，所述车载摄像机具有AI识别功能，对车内人员进行上车登记，并且判断车内上下人数，动态监测车内人员。

3.根据权利要求1所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，所述车载系统还设置有温湿度传感器用于检测车内温湿度信息；CO₂传感器用于检测车内空气质量；

进一步优选的，所述车载系统还包括人体红外传感器，车辆熄火后，人体红外传感器用于检查车内是否还有遗留人员，当人体红外传感器检测到车内有人，校车将进行灯光闪烁同时发出大声警报，来提醒车辆周围人员；

进一步优选的，所述车载系统还包括行车记录仪，用于记录司机驾驶行为。

4.根据权利要求1所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，所述车载系统还包括指纹识别模块、人脸识别模块、疲劳驾驶检测模块，指纹识别模块用于通过指纹确定司机的身份，人脸识别模块用于通过人脸确定司机的身份，疲劳驾驶检测模块包括CPU处理模块和语音提醒模块，CPU处理模块与所述数据转换模块相连接，车载摄像机采集司机的人脸图像，经过数据转换模块，进行模/数转换，将转换后的数字图像传入CPU处理模块，进行判断疲劳等级，如果系统判定驾驶员处于疲劳驾驶状态，会通过语音提醒模块输出警告。

5.根据权利要求1所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，学生终端设备包括身份识别模块、学生定位模块和学生通信模块，

身份识别模块用于生成的每个学生的二维码信息，学生定位模块用于定位学生所在的位置，通过四颗北斗卫星同时联动，得出四个方程组，求得学生的空间和时间坐标；学生通信模块用于实现学生终端设备与家长终端设备之间的通信，当学生终端设备与车载系统进行信息匹配后，学生通信模块将学生的位置信息传输给家长终端设备。

6.根据权利要求1所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，家长终端设备包括用户端显示模块、用户通信模块、用户数据存储模块，用户通信模块接收学生终端设备发送的位置信息，用户数据存储模块用于存储接收到的位置信息，用户端显示模块用于显示接收到的学生的位置。

7.根据权利要求1所述的一种精密北斗与AIOT结合的新能源校车司乘多态感知系统，其特征在于，站点装置包括摄像头和LED屏，摄像头用于监视校车到站时间是否准时以及学生下车后的动向；LED屏用于显示校车预计到达时间。

8.根据权利要求1-7任一项所述的精密北斗与AIOT结合的新能源校车司乘多态感知系统的分析预警方法，其特征在于，包括：

(1)通过车载定位模块进行车辆定位追踪，将校车的运行轨迹信息显示在监控管理系统的子地图中；

(2)规划校车行驶路线，设置停靠站点，利用北斗虚拟格网差分技术规划好固定路线和备用路线，设置地理围栏，实时显示校车在接送区域内的运动轨迹情况，当驾驶员私自改变路线时，进行后台预警；

(3)当司机上车后，通过指纹识别模块和人脸识别模块双重验证司机身份；当学生上车后，读写模块扫描读取学生佩戴的学生终端设备提供的身份二维码，当学生终端设备与车载系统进行信息匹配后，学生通信模块即刻将学生的位置信息发送给家长终端设备；否则，发出警报，提示人员不匹配错误；

(4)在校车行驶的过程中，数据采集模块采集车载摄像机获取的司机脸部图像，然后图像经过预处理后，输入到疲劳驾驶检测模块进行检测，判断疲劳等级，当疲劳等级处于临界状态及以上时，疲劳驾驶检测模块发出警告。

9.根据权利要求8所述的精密北斗与AIOT结合的新能源校车司乘多态感知系统的分析预警方法，其特征在于，步骤(2)在设置停靠站点时，既要保证站点设置要尽量使每个学生到家距离最小，同时所有学生到达站点的总距离最小，具体为：

2-1，获取学生的家庭住址，然后通过计算将家庭住址转化为经纬度坐标，假设有学生n位，第i位学生的住址坐标为(r_i,c_i)；学生到达站点能接受的最大距离为d；

2-2，使用半径为d的圆划分学生住址点，设置m个站点，第j个站点坐标(x_j,y_j)，建立模型，如下式所示：

2-3，所有学生到达站点的总的距离为f，f满足：

使得站点设置满足每个学生到家距离最小，同时所有学生到达站点的总距离最小，从而确定最少需要圆的个数，所述圆的个数即为站点数m，进而确定圆内包含乘客的个数；

2-4，计算圆内学生住址坐标的重心坐标，该重心坐标即为站点坐标；假设圆内有q位乘客，重心坐标为(x_p,y_p)满足：

2-5，输出站点坐标，以及到达每个站点学生数。

10.根据权利要求8所述的精密北斗与AIOT结合的新能源校车司乘多态感知系统的分析预警方法，其特征在于，步骤(4)中，司机脸部图像经过预处理后，输入到疲劳驾驶检测模块进行检测，判断疲劳等级，当疲劳等级处于临界状态及以上时，疲劳驾驶检测模块发出警告；具体为：

疲劳驾驶检测模块采用面部多特征融合的分级预警模型，模型判定指标包括眨眼频次、打哈欠频次、闭眼次数以及单位时间内眼睛闭合时间占总时长的比值perclos，根据实时监测计算出模型判定指标，对数据进行标准化处理，根据各指标的可靠程度设置不同权重，得出综合疲劳指标；具体为：

眨眼频次F_b为单位时间内驾驶员的累计眨眼次数与单位时间内视频总帧数的比值，计算公式为：

打哈欠频次F_y与眨眼频次F_b意义相同，用公式表示为：

闭眼次数N是直接通过计算视频中眼睛纵横比的变化得出的；

单位时间内眼睛闭合时间占总时长的比值perclos的计算公式为：

N_k为单位时间内眼睛闭合的连续帧数，N_P为单位时间内视频图像总帧数，用帧数的比值来代替时间比值；

将上述四个指标用最大最小标准化实现指标融合,得到区间[0,1]内的无量纲化小数

的公式为

其中x_i为要转化的疲劳指标，x_min为检测时间内该指标的最小值，x_max是最大值；

综合疲劳指标权重的设置是根据各判定指标不同可靠性设定的，计算公式为

X₁表示眨眼频次F_b经过最大最小标准化处理后的值，X₂表示打哈欠频次F_y经过最大最小标准化处理后的值，X₃表示闭眼次数N经过最大最小标准化处理后的值，X₄表示perclos经过最大最小标准化处理后的值；

当X＜0.1时，判定校车驾驶员处于清醒状态；当0.1≤X<0.3时，是一个临界状态；当0.3≤X<0.4时，属于轻度疲劳；当0.4≤X<0.5时，属于中度疲劳，当X>0.5时，属于严重疲劳。

Images