CN115107915A - 一种自行车车载系统及其使用方法 - Google Patents

Abstract

本发明涉及，本发明涉及自行车车载技术领域，尤其涉及一种自行车车载系统及其使用方法，基于主控单元，结合陀螺仪姿态检测单元、激光测距模块、北斗\GPS模块、蜂鸣器、人脸识别模块和显示输出单元等，构成智能车载系统，进一步结合人工智能，监控骑行者的精神状态，当察觉到出现疲劳征兆时发出预警预防因疲劳驾驶造成的事故。系统保证了自行车安全的基础上尽可能使出行更加便利。

Description

一种自行车车载系统及其使用方法

技术领域

本发明涉及自行车车载技术领域，尤其涉及一种自行车车载系统及其使用方法。

背景技术

自行车的发展历程可谓是悠久，在现代科技如此迅速改新换代的环境下，自行车没有被淘汰，且具备自身独有的一片天地，可见，自行车的存在有着极其重要的意义。绿色出行越来越深入人心，自行车成了很好的代步工具。其次，随着人类生活质量的不断提高，人们的生活越来越丰富多彩，通过运动锻炼来提高身体素质的思想越来越普及，由此，推动了世界各地健身产业的迅速发展。在这样的环境下，有这样一种运动方式脱颖而出，那就是“自由骑行”。

“自由骑行”是一项非常锻炼身体和意志的运动，由于自行车运动是需要大量氧气的运动,所以骑行运动可以强化心脏功能，同时还能防止高血压,有时比药物更有效。不仅如此，对于目前的骑行爱好者而言，锻炼身体的同时，还伴随了一次旅游，有沿途的美丽风景和新鲜空气作伴，对于减轻生活和工作压力有很大的帮助。综上所述，“自由骑行”是一项有利于身心的运动。虽然“自由骑行”有很多好处，但同时也伴随着一些安全问题：

1）长期骑行会导致骑行者疲惫，容易发生交通事故；

2）一些骑行团队喜欢冒险到荒郊野外，信号弱，容易与团队走失；

3）遇到大雾天气时，前进很艰难。

而现有的自行车没有办法解决上述问题。

发明内容

本发明的目的是根据上述现有技术的不足，提出一种自行车车载系统及其使用方法，具体如下：

一种自行车车载系统，包括封装外壳；封装外壳的底部设置有安装卡座，封装外壳中集成有主控单元、陀螺仪姿态检测单元、北斗/GPS模块、人脸识别模块和供电单元；所述封装外壳上嵌入设置有激光测距模块、显示输出单元和蜂鸣器，蜂鸣器与主控单元电性连接。所述陀螺仪姿态检测单元与主控单元通信连接，用于实时获取自行车的姿态数据。所述北斗/GPS模块与主控单元通信连接，用于接收北斗/GPS卫星发向地面的位置数据。所述激光测距模块与主控单元通信连接，用于进行自行车前侧的障碍检测。所述人脸识别模块包括树莓派和以PWM舵机作为底座的摄像头，摄像头通过树莓派与主控单元通讯连接，用于实时采集骑行者的脸部图像数据。所述主控单元用于对姿态数据、位置数据、障碍检测结果和脸部图像数据进行解析，并将解析结果通过显示输出单元进行显示；其中，主控单元还结合姿态数据和脸部图像数据评估骑行者的精神状态，并在判断出骑行者疲劳驾驶后，控制蜂鸣器发出警示。

优选的，所述主控单元上还外接有Zigbee模块，且Zigbee模块设置于封装外壳的内部，用于多辆自行车之间进行多车组网。

优选的，所述主控单元上还外接有ESP32物联网模块，且ESP32物联网模块设置于封装外壳的内部，用于拓展WIFI/蓝牙通信和上位机通信。

优选的，所述主控单元中采用了STM32单片机作为中央处理器。

优选的，所述陀螺仪姿态检测单元中包含了硬件MPU6050；所述激光测距模块中包含了硬件VL53L0X；所述北斗/GPS模块中包含了硬件S1216F8-BD；所述显示输出单元包含了板载的tftLCD模块。

基于上述一种自行车车载系统，本技术方案提出一种自行车车载系统的使用方法，包括系统安装、姿态检测、车辆定位、障碍物检测、疲劳度监测；

所述系统安装：通过封装外壳底部的安装卡座将自行车车载系统安装于自行车的龙头上，并启动自行车车载系统投入使用；

所述姿态检测：利用陀螺仪姿态检测单元获取自行车的姿态信息，经过主控单元对所述姿态信息进行处理后，由显示输出单元进行显示；其中，姿态信息包括自行车的侧位倾斜角度信息以及自行车所处的坡度信息；

所述车辆定位：利用北斗/GPS模块接收北斗/GPS卫星发向地面的位置数据，经过主控单元对所述位置数据进行处理后，由显示输出单元进行显示；其中，位置信息包括经纬度、海拔高度、时区时间信息；

所述障碍物检测：在骑行者视野受限的情况下，启动自行车车载系统中的激光测距模块，利用激光测距模块检测自行车前方的障碍情况；基于激光测距模块的检测结果，利用主控单元进行障碍物距离计算，距离计算的结果在显示输出单元进行显示；当障碍物距离小于设定的安全距离最小值时，主控单元控制蜂鸣器发出警示；

所述疲劳度监测：利用人脸识别模块实时获取骑行者的面部信息，通过骑行者的眨眼频率判断骑行者的疲劳度，在判定骑行者疲劳驾驶时，主控单元控制蜂鸣器发出警示，配合陀螺仪姿态检测单元，使骑行者在自行车拐弯、上下坡以及长期处于稳定状态时保持清醒。

优选的，所述系统安装的过程中还包括将自行车车锁与自行车车载系统通信连接，以通过自行车车载系统控制车锁的打开与关闭。

优选的，还包括团内组网，团内组网包括利用Zigbee模块进行团队多车组网，并配合北斗/GPS模块获取骑行者队员位置信息。

优选的，所述疲劳度检测包括以下步骤：

S1，启动自行车车载系统后，人脸识别模块初始化，并自动打开通信串口，使人脸识别模块中的树莓派与主控单元通信；

S2，主控单元和树莓派进行参数的校验、设置和更新；

S3，利用人脸识别模块的摄像头采集骑行者人脸信息，树莓派对采集人脸信息进行识别，并根据识别结果访问自身的用户面部信息储存空间，读取对应的Q-table；

S4，利用陀螺仪姿态检测单元检测自行车的姿态信息；

S5，根据姿态信息判断自行车是否处于拐弯和/或上下坡状态，或者长期处于稳定状态；若不是，则回到步骤S4；若是，则进入步骤S6；

S6，作为摄像头底座的PWM舵机配合Q-Learning算法，寻找摄像头采集骑行者面部信息的最佳观测角度，并通过摄像头实时采集骑行者面部信息；

S7，基于获取的面部信息，根据骑行者的眨眼频率判断骑行者是否处于疲劳状态；若是，则通过主控单元控制蜂鸣器发出警示；若不是，则回到步骤S4。

本发明的有益效果：

1）本技术方案提出了一种自行车车载系统，首先，系统中设置了激光测距模块，在如大雾天气这样视野受限的情况下，可启动激光测距模块对自行车前方的障碍物进行检测，如此一来，与人体视觉相互配合，多模感知自行车前侧环境的障碍情况，在提高骑行安全的前提下，确保自行车顺利前行；其次，系统中设置了北斗/GPS模块，便于骑行者了解自身所在的区域，有效防止迷路；进一步的，系统中设置了陀螺仪姿态检测单元，实现自行车的姿态检测，骑行者可根据自行车的姿态变化获取骑行地形的精确信息，便于骑行者对骑行速度的把控，更好的确保骑行安全；进一步的，系统设置了人脸识别模块，可通过人脸识别打开系统，甚至可以根据人脸识别控制车锁打开和关闭，基于系统的存在，可为骑行者打造一台专属自行车，极大限度的降低了自行车被盗风险；进一步的，系统中设置了蜂鸣器，与陀螺仪姿态检测单元、人脸识别模块和主控单元配合，实现骑行者疲劳监测与警示，使骑行者清楚知道自己的精神状态，很大程度上避免发生交通事故。

2）本技术方案通过设置Zigbee模块为多车组网提供基础条件，可以有效解决传统的蜂窝网络难于覆盖而卫星通信网络容量有限的问题，在户外移动信号微弱的环境下，骑行者们没有办法通过手机打电话、发短信、发微信等，可以借助自组网进行通信，避免骑行者与团队走失。

附图说明

图1为本技术方案的系统结构框图；

图2为本技术方案的系统使用流程框图；

图3为本技术方案的开锁控制流程图；

图4为本技术方案的疲劳监测流程框图；

图5为本技术方案一种优选的主控单元软件流程图；

图6为本技术方案的一种优选的树莓派软件流程图。

具体实施方式

为使发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本发明的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开一种自行车车载系统，作为本发明一种优选的实施方案，如图1所示，包括封装外壳（图中未展示）；封装外壳的底部设置有安装卡座（图中未展示），封装外壳中集成有主控单元、陀螺仪姿态检测单元、北斗/GPS模块、人脸识别模块和供电单元；所述封装外壳上嵌入设置有激光测距模块、显示输出单元和蜂鸣器，蜂鸣器与主控单元电性连接。

陀螺仪姿态检测单元与主控单元通信连接，用于实时获取自行车的姿态数据。进一步的，陀螺仪姿态检测单元中可采用硬件MPU6050（MPU6050芯片内部整合了 3 轴陀螺仪和 3 轴加速度传感器，并可利用自带的数字运动处理器硬件加速引擎，通过主 IIC 接口，向应用端输出姿态解算后的数据，可以使用 InvenSense 公司提供的运动处理资料库，非常方便的实现姿态解算），借助IIC通信，使用姿态解算算法。

北斗/GPS模块与主控单元通信连接，用于接收北斗/GPS卫星发向地面的位置数据。进一步的，北斗/GPS模块中可采用硬件S1216F8-BD（PZ-S1216F8-BD GPS/北斗模块默认采用 NMEA-0183 协议输出 GPS/北斗定位数据，并可以通过 SkyTraq 协议对模块进行配置），借助相关程序对采集数据进行解读，通过串口发送给主控单元进行处理，并呈现在显示输出单元的LCD显示屏上，其中的信息包括经纬度、海拔高度、时区时间信息等等，特别适合于在野外骑行时骑行者对于位置的把控。

激光测距模块与主控单元通信连接，用于进行自行车前侧的障碍检测。进一步的，激光测距模块中可采用硬件VL53L0X（该芯片内部集成了激光发射器和SPAD 红外接收器，采用了第二代 FightSenseTM 技术，通过接收器所接收到的光子时间来计算距离，最远测量距离可达两米，非常适合中短距离测量的应用），串口通信以及DMA。可以对于远距离物体进行测距，适用于大雾天气，同时也与人体视觉相互配合，多模感知前方环境情况。

人脸识别模块包括树莓派（一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口，以上部件全部整合在一张仅比信用卡稍大的主板上，用此实现人脸检测和疲劳检测）和以PWM舵机作为底座的摄像头，摄像头通过树莓派与主控单元通讯连接，用于实时采集骑行者的脸部图像数据。具体的，可在主控单元上设置AI接口，用于连接树莓派或者Jeston Nano等轻量级嵌入式AI设备，实现人脸识别控制开锁并进入私人界面，以及驾驶员眨眼检测监控驾驶员疲劳状态。其中，通过树莓派处理中运行openCV和dlib机器学习库，实现对于摄像头拍摄内容的图像处理，实现人脸识别。

主控单元用于对姿态数据、位置数据、障碍检测结果和脸部图像数据进行解析，并将解析结果通过显示输出单元进行显示；其中，主控单元还结合姿态数据和脸部图像数据评估骑行者的精神状态，并在判断出骑行者疲劳驾驶后，控制蜂鸣器发出警示。进一步的，主控单元中可使用STM32单片机（具体采用STM32F1ZET6，内核：32 位高性能 ARM Cortex-M3 处理器；时钟：高达 72M；引脚144 ；存储器容量：512K FLASH，64K SRAM），低功耗，供电只需要树莓派部分引出VCC5V和GND；显示输出单元中可采用板载的tftLCD，通信使用SPI或者USART。

进一步的，主控单元上还外接有Zigbee模块（如ZigbeeCC2530，可以用于2.4-GHzIEEE802.15.4、ZigBee的SoC解决方案，以非常低的功耗和较低的成本来建立强大的无线传感器网络），且Zigbee模块设置于封装外壳的内部，用于多辆自行车之间进行多车组网；进一步的，主控单元上还外接有ESP32物联网模块（集成了天线和射频巴伦，功率放大器，低噪声放大器，滤波器和电源管理模块等元器件，性能稳定，工作温度范围从-40℃到125℃），且ESP32物联网模块设置于封装外壳的内部，用于拓展WIFI/蓝牙通信和上位机通信。主控单元可通过蓝牙和/或Wi-Fi实现与用户之间的交互，同时多个车载系统的主控单元之间通过zigbee远距离物联网通信，确保了在移动通信受阻的环境中正常通信。

实施例2

本实施例涉及到实施例1的一种自行车车载系统的软件开发设计，作为本发明一种优选的实施方案，根据图5所示的一种优选的主控单元软件流程图，自行车车载系统实现的功能包括：开机上电进入锁屏界面，手机蓝牙/wifi、人脸、按键等任意一种或多种方式进入到个人的个性化操作界面，呈现车辆姿态、前方障碍物距离的数值、眨眼次数累计以及疲劳警报和障碍物警报，通过按键进入和退出到定位信息界面，显示当前的时间，经纬度，可见卫星数量以及海拔和行驶速度。

首先，MPU6050、PZ-VL53L0X均使用IIC进行数据传输，串口USART1实现ESP32的通信，串口USART2实现树莓派的通信，串口USART3实现北斗/GPS模块的通信。

其次，树莓派的开发环境：linux操作系统， VSCode；涉及语言：pyhon3， shell C。一种优选的树莓派软件流程如图6所示。基于树莓派软件流程，结合姿态数据，进行疲劳监测。其中，疲劳监测涉及到疲劳驾驶指标的确定，具体如下：

疲劳驾驶主要通过眨眼频率检测进行判断。睁开眼睛时眼睛的纵横比基本是恒定的，但是当眨眼时眼睛的纵横比会迅速降至零。基于此，可采用方程式

依靠眼睛界标距离的比率来确定一个人是否在眨眼，无需使用图像处理技术。其中，EAR表示眼睛界标距离的比率；p ₁ 表示内眼角位置；p ₄ 表示外眼角位置；p ₂ 和p ₃ 在上眼皮上，将上眼皮划分为等长的三段；p ₅ 和p ₆ 在下眼皮上，将下眼皮划分为等长的三段。眼睛完全张开时，其宽高比会很大（r），并且随着时间的推移会相对保持恒定。但是，一旦眨眼，眼睛的宽高比就会急剧下降，接近零，然后眼睛的宽高比再次增加，表明已经发生了一次眨眼。

判断有效眨眼次数的两个指标:

①EYE_AR_THRESH = 0.2，是判断阈值。如果EAR大于它，则认为眼睛是睁开的；如果EAR小于它，则认为眼睛是闭上的。

②EYE_AR_CONSEC_FRAMES=5，表示的是，当EAR小于阈值时，接连多少帧一定发生眨眼动作。只有小于阈值的帧数超过了这个值时，才认为当前眼睛是闭合的，即发生了眨眼动作；否则则认为是误操作。

当一段时间内，有效眨眼次数超过若干次（如50次），可以认为骑行者为疲劳状态，此时可以打开蜂鸣器进行报警！

进一步的，自行车前侧的障碍检测涉及到安全距离指标的确定。根据调研，当行车速度在40KM/H时，安全距离为1.4米。受激光测距模块的影响，经过测试，当激光测距模块在1m内测试时精度较高，当超过1m时，精度明显下降，为模拟障碍物预警功能，将按照1：2比例进行缩放，系统将在0.7米内出现障碍物进行报警。经过实验，效果较好。

实施例3

本实施例涉及到实施例1的一种自行车车载系统的功能拓展，作为本发明一种优选的实施方案，对于ESP32物联网模块拓展的上位机通信，可用于拓展上位机操控功能，基于相对原则，此处的上位机指的是手机，由此涉及到Android上位机设计。安卓系统的内部架构图架构分明，自上而下可分为 4 层：应用程序层、应用程序框架层、Android 运行时库及系统核心库层和 Linux 内核层。组件是安卓应用程序的基本组成单元，经过内部关联后将其组成一个个应用程序。Android中有四大组件，分别为：Activity、Servive、ContentProvider、Broadcast Receiver。在搭建完开发环境后，即安装 JDK、安装 Eclipse、ADT 安卓开发工具安装后，即可进行客户端界面的设计。对于界面设计而言，系统本身是为个人量身打造，故无需设计复杂的登录和注册界面，直接连接 WIFI 进行点击验证即可。故主要设计界面为控制调节界面。Android 应用程序的界面是通过 Android 布局和组件协作来实现的，并且通过 XML 文件来安排具体的组件和布局。在界面设计中，主要包括五种布局方式：线性布局、相对布局、绝对布局、表格布局和帧布局。本开发中主要采用了线性布局方式，将相应的元素加入布局中。控制界面以线性布局（LinerLayout）方式，共包含了按摩方式、按摩手法、音乐等 Button 控件，同时，还有电量百分比等 TextView 控件，接收来自系统主控制器的数据。客户端程序的设计中，通过点击事件监听函数 OnClickListener 实现指令的下发。在定义好监听按钮时，程序就会跳转到该函数并执行相应的函数，对用户的操作事件作出响应。

Android 的通信接口资源有三种：Jave.net、Org.apache、Android.net。Java.net为标准 Java 接口，包含 Internet 协议、Socket 等；Android.net 是 Android 的网络接口，主要面向Wi-Fi等特殊网络编程。经过对比，客户端的应用程序使用的是Socket中的UDP通信。

Socket（套接字）是一种双向通信接口，为通信进程提供了端点。Android 应用程序中，为了处理 UI 上的点击、触屏等事件，在启动的时候将会有一个 UI 主线程。而Socket 使用阻塞的方法处理数据，所以主线程会由于线程负担的加大而造成阻塞，以至出错。可采用单独的线程来执行 Socket 与主线程的通信，主线程负责各个按键的点击事件的监听，通信请求发生时启动 Socket 子线程。创建新的线程，即：先实例化带 runnable对象的 Thread 线程，运用 runnable 中的 run（）方法完成 Socket 的创建。

实施例4

本实施例公开一种自行车车载系统的使用方法，作为本发明一种优选的实施方案，如图2所示，包括系统安装、姿态检测、车辆定位、障碍物检测和疲劳度监测。

系统安装：通过封装外壳底部的安装卡座将自行车车载系统安装于自行车的龙头上，并启动自行车车载系统投入使用。具体的，可先将每个单元/模块的功能独自实现，然后将各单元/模块通过组装进行功能整合，最后再安置在自行车上进行效果调试。

姿态检测：自行车车载系统一旦启动，陀螺仪姿态检测单元便会自动运行，利用陀螺仪姿态检测单元获取自行车的姿态信息，经过主控单元对所述姿态信息进行处理后，由显示输出单元进行显示；其中，姿态信息包括自行车的侧位倾斜角度信息以及自行车所处的坡度信息。

车辆定位：利用北斗/GPS模块接收北斗/GPS卫星发向地面的位置数据，经过主控单元对所述位置数据进行处理后，由显示输出单元进行显示；其中，位置信息包括经纬度、海拔高度、时区时间信息。

障碍物检测：在骑行者视野受限的情况下，启动自行车车载系统中的激光测距模块，利用激光测距模块检测自行车前方的障碍情况；基于激光测距模块的检测结果，利用主控单元进行障碍物距离计算，距离计算的结果在显示输出单元进行显示；当障碍物距离小于设定的安全距离最小值时，主控单元控制蜂鸣器发出警示。其中，当没有检测到障碍物时，视为障碍物距离自行车无限远，远大于设定的安全距离最小值。

疲劳度监测：利用人脸识别模块实时获取骑行者的面部信息，通过骑行者的眨眼频率判断骑行者的疲劳度，在判定骑行者疲劳驾驶时，主控单元控制蜂鸣器发出警示，配合陀螺仪姿态检测单元，使骑行者在自行车拐弯、上下坡以及长期处于稳定状态时保持清醒。

实施例5

本实施例公开一种自行车车载系统的使用方法，作为本发明一种优选的实施方案，即在实施例2的系统安装的过程中，还包括将自行车车锁与自行车车载系统通信连接，以通过自行车车载系统控制车锁的打开与关闭。如图3所示，开锁流程包括获取并显示骑行者面部信息，根据面部信息判断该骑行者是否有当前自行车的骑行权限；若有骑行权限，则控制自行车开锁，并显示开锁进度；若没有骑行权限，则维持关锁状态，并显示无权限信息。对于车锁的关闭，包括自动和手动；所谓自动，即当人脸识别模块长时间未检测到有权限骑行者面部信息或长时间检测到有无权限骑行者面部信息时，自行车车载系统控制车锁自动关锁；所谓手动，即可针对车锁直接关锁，也可在自行车车载系统中设置关锁按钮，操作关锁按钮，便可通过自行车车载系统对车锁间接关锁。进一步的，在开锁控制的过程中，采用基于UDP通信协议的Wi-Fi通信传输层进行无线通信，实现开锁开锁校验。

实施例6

本实施例公开一种自行车车载系统的使用方法，作为本发明一种优选的实施方案，即在实施例2中，还包括团内组网，团内组网包括利用Zigbee模块进行团队多车组网，并配合北斗/GPS模块获取骑行者队员位置信息。

Zigbee的基础是IEEE 802.15.4，这是IEEE无线个人区域网(Personal AreaNetwork，PAN)工作组的一项标准，被称作IEEE 802.15.4(Zigbee)技术标准。

Zigbee不仅只是802.15.4的名字。IEEE仅处理低级MAC层和物理层协议，因此Zigbee联盟对其网络层协议和API进行了标准化。完全协议用于一次可直接连接到一个设备的基本节点的4K字节或者作为Hub或路由器的协调器的32K字节。每个协调器可连接多达255个节点，而几个协调器则可形成一个网络，对路由传输的数目则没有限制。Zigbee联盟还开发了安全层，以保证这种便携设备不会意外泄漏其标识，而且这种利用网络的远距离传输不会被其它节点获得。

Zigbee的出现还为了弥补蓝牙的不足。低功耗、低成本的无线网络要求令Zigbee应运而生，大幅简化蓝牙的复杂规格，专注于低传输应用。不过相关规格已与现有的蓝牙脱钩。目前虽然Zigbee不支持语音，但Zigbee的低价格、低功耗和可靠支持成为其闪亮登场的亮点，使得它超越蓝牙的简单实用成为事实。

Zigbee技术的主要特点包括以下几个部分：

①数据传输速率低：只有10k字节/秒到250k字节/秒，专注于低传输应用;

②功耗低：在低耗电待机模式下，两节普通5号干电池可使用6个月到2年，免去了充电或者频繁更换电池的麻烦。这也是Zigbee的支持者所一直引以为豪的独特优势;

③成本低：因为Zigbee数据传输速率低，协议简单，所以大大降低了成本。且Zigbee 协议免收专利费。

④网络容量大：每个Zigbee网络最多可支持255个设备，也就是说，每个Zigbee设备可以与另外254台设备相连接;

⑤时延短：通常时延都在15毫秒至30毫秒之间;

⑥安全：Zigbee提供了数据完整性检查和鉴权功能，加密算法采用AES-128，同时可以灵活确定其安全属性;

⑦有效范围小：有效覆盖范围10～75米之间，具体依据实际发射功率的大小和各种不同的应用模式而定，基本上能够覆盖普通的家庭或办公室环境;

⑧工作频段灵活：使用的频段分别为2.4GHz、868MHz(欧洲)及915MHz(美国)，均为免执照频段。

实施例7

本实施例公开一种自行车车载系统的使用方法，作为本发明一种优选的实施方案，对于面部识别，需要考虑众多因素，具体的：相比于汽车的密闭空间环境，自行车环境更加多变，需要考虑到人的姿态（比如人弯腰、抬头、低头等等）、车的姿态（比如上坡、下坡、转弯等等），以上都会影响摄像头捕捉到人脸，从而无法进行眨眼检测。然而，正是因为自行车环境多变，而多变的环境会刺激人的感知，使得不容易疲惫。而只有在人骑行在一个很稳定的环境下，称为稳定状态S，人才会感受到疲惫，每个不同的S之间会有环境多变的复杂环境，称为非稳定状态NS，所以从一个Si结束到一个复杂的状态NS到新的稳定状态Si+1，也许Si≠ Si+1，所以每次摄像头在一个稳定状态Si状态下适应之后，到了一个新的状态Si+1之后，需要摄像头自己去寻找人脸，调整聚焦，找到最合适的角度观测人脸进行眨眼识别。在摄像头底座安装一个舵机，保证可以扫描到骑者的任何位置，怎样让摄像头更加智能根据环境自动去找到人脸，成为了解决的关键。于是引入Reinforcement Learning中著名的Q-Learning算法，让机器根据环境最高效调整摄像头找到最佳观测人脸。

算法原理：摄像头底座是一个旋转角从0到180度的PWM舵机，使用简单，成本较低。对于Reinforcement Learning中的三种要素（state，action，reward），按如下定义：调整摄像头有三种actions（角度增加，角度减小，角度不变），不同的actions的选择基于S，机器使用传感器（三轴陀螺仪，摄像头视觉信息）来定义S，定义每一种不同的S为ReinforcementLearning中的state。在state下调整action可以得到不同的reward，而reward只有一个，就是是否摄像头可以最好地检测到人脸，因此设定每一个检测帧中人脸的人眼的中心点像素坐标距离帧中心坐标的像素几何距离为D=，而显然D越小越有利，所以reward奖励应该越大，于是设定，而如果完全检测不到人脸，R=0， R为reward。

不同的人有不同的身体条件、骑行习惯，所以针对不同的人设置了不同的Q-table。Q-table中定义了每一种S下针对于每一种actions的Q值，初始化的时候所有的Q值均为0，随着骑行时间的加长，Q-table会不断进行更新。

基于上述算法原理，实施例4中的疲劳度检测包括以下步骤：

S1，启动自行车车载系统后，人脸识别模块初始化，并自动打开通信串口，使人脸识别模块中的树莓派与主控单元通信；

S2，主控单元和树莓派进行参数的校验、设置和更新；

S3，利用人脸识别模块的摄像头采集骑行者人脸信息，树莓派对采集人脸信息进行识别，并根据识别结果访问自身的用户面部信息储存空间，读取对应的Q-table；自行车车载系统开始启动是通过人脸识别和定制APP两种方式，这两种方式都可以得到骑手的信息，可以用来区分不同的骑手，对于之前已经有使用经历的骑手可以从数据库中调取存储的Q-table，而一次使用的骑手，则新创建一个专属的Q-table进行存储；

S4，利用陀螺仪姿态检测单元检测自行车的姿态信息；

S5，根据姿态信息判断自行车是否处于拐弯和/或上下坡状态，或者长期处于稳定状态；若不是，则回到步骤S4；若是，则进入步骤S6；

S6，作为摄像头底座的PWM舵机配合Q-Learning算法，寻找摄像头采集骑行者面部信息的最佳观测角度，并通过摄像头实时采集骑行者面部信息；

S7，基于获取的面部信息，树莓派通过自带的opencv库读取帧，使用边沿检测快速算法寻找人脸，如果搜寻到人脸，向主控单元返回经过计算的R（reward）值和建议的action值，根据骑行者的眨眼频率判断骑行者是否处于疲劳状态；若是，则通过主控单元控制蜂鸣器发出警示；若不是，则回到步骤S4。

具体的，在疲劳度检测过程中，当三轴陀螺仪的3轴角度变化波动在一定小范围内波动并持续了一定时间后（设定空间角度阈值（）和时间阈值），视为进入了稳定状态S。主控制器得到三轴陀螺仪的数据之后，通过串口发送到树莓派中，树莓派接收到之后，结合视觉信息，搜索Q-table中是否存在这种state，如果不存在，就创建新的state。比较Q-table中该state下不同action的Q值，进行选择action并且发送给主机，主机做出相应的调整，从而进入下一个状态。在下一个状态下观察，更新Q-table，从而正式进入下一个状态。之后，循环前述过程，Q-table不断更新，在骑行时间达到一定程度，可以树莓派快速更加当前的环境找到人脸，进行眨眼检测。

Claims (9)

1.一种自行车车载系统，其特征在于：包括封装外壳；封装外壳的底部设置有安装卡座，封装外壳中集成有主控单元、陀螺仪姿态检测单元、北斗/GPS模块、人脸识别模块和供电单元；所述封装外壳上嵌入设置有激光测距模块、显示输出单元和蜂鸣器，蜂鸣器与主控单元电性连接；

所述陀螺仪姿态检测单元与主控单元通信连接，用于实时获取自行车的姿态数据；

所述北斗/GPS模块与主控单元通信连接，用于接收北斗/GPS卫星发向地面的位置数据；

所述激光测距模块与主控单元通信连接，用于进行自行车前侧的障碍检测；

所述人脸识别模块包括树莓派和以PWM舵机作为底座的摄像头，摄像头通过树莓派与主控单元通讯连接，用于实时采集骑行者的脸部图像数据；

所述主控单元用于对姿态数据、位置数据、障碍检测结果和脸部图像数据进行解析，并将解析结果通过显示输出单元进行显示；其中，主控单元还结合姿态数据和脸部图像数据评估骑行者的精神状态，并在判断出骑行者疲劳驾驶后，控制蜂鸣器发出警示。

2.如权利要求1所述一种自行车车载系统，其特征在于：所述主控单元上还外接有Zigbee模块，且Zigbee模块设置于封装外壳的内部，用于多辆自行车之间进行多车组网。

3.如权利要求1所述一种自行车车载系统，其特征在于：所述主控单元上还外接有ESP32物联网模块，且ESP32物联网模块设置于封装外壳的内部，用于拓展WIFI/蓝牙通信和上位机通信。

4.如权利要求1所述一种自行车车载系统，其特征在于：所述主控单元中采用了STM32单片机作为中央处理器。

5.如权利要求1所述一种自行车车载系统，其特征在于：所述陀螺仪姿态检测单元中包含了硬件MPU6050；所述激光测距模块中包含了硬件VL53L0X；所述北斗/GPS模块中包含了硬件S1216F8-BD；所述显示输出单元包含了板载的tftLCD模块。

6.一种自行车车载系统的使用方法，其特征在于：是对如权利要求1至权利要求5中任意一项所述的自行车车载系统的使用，包括系统安装、姿态检测、车辆定位、障碍物检测、疲劳度监测；

所述系统安装：通过封装外壳底部的安装卡座将自行车车载系统安装于自行车的龙头上，并启动自行车车载系统投入使用；

所述姿态检测：利用陀螺仪姿态检测单元获取自行车的姿态信息，经过主控单元对所述姿态信息进行处理后，由显示输出单元进行显示；其中，姿态信息包括自行车的侧位倾斜角度信息以及自行车所处的坡度信息；

所述车辆定位：利用北斗/GPS模块接收北斗/GPS卫星发向地面的位置数据，经过主控单元对所述位置数据进行处理后，由显示输出单元进行显示；其中，位置信息包括经纬度、海拔高度、时区时间信息；

所述障碍物检测：在骑行者视野受限的情况下，启动自行车车载系统中的激光测距模块，利用激光测距模块检测自行车前方的障碍情况；基于激光测距模块的检测结果，利用主控单元进行障碍物距离计算，距离计算的结果在显示输出单元进行显示；当障碍物距离小于设定的安全距离最小值时，主控单元控制蜂鸣器发出警示；

所述疲劳度监测：利用人脸识别模块实时获取骑行者的面部信息，通过骑行者的眨眼频率判断骑行者的疲劳度，在判定骑行者疲劳驾驶时，主控单元控制蜂鸣器发出警示，配合陀螺仪姿态检测单元，使骑行者在自行车拐弯、上下坡以及长期处于稳定状态时保持清醒。

7.如权利要求6所述一种自行车车载系统的使用方法，其特征在于：所述系统安装的过程中还包括将自行车车锁与自行车车载系统通信连接，以通过自行车车载系统控制车锁的打开与关闭。

8.如权利要求6所述一种自行车车载系统的使用方法，其特征在于：还包括团内组网，团内组网包括利用Zigbee模块进行团队多车组网，并配合北斗/GPS模块获取骑行者队员位置信息。

9.如权利要求6所述一种自行车车载系统的使用方法，其特征在于：所述疲劳度检测包括以下步骤：

S1，启动自行车车载系统后，人脸识别模块初始化，并自动打开通信串口，使人脸识别模块中的树莓派与主控单元通信；

S2，主控单元和树莓派进行参数的校验、设置和更新；

S3，利用人脸识别模块的摄像头采集骑行者人脸信息，树莓派对采集人脸信息进行识别，并根据识别结果访问自身的用户面部信息储存空间，读取对应的Q-table；

S4，利用陀螺仪姿态检测单元检测自行车的姿态信息；

S5，根据姿态信息判断自行车是否处于拐弯和/或上下坡状态，或者长期处于稳定状态；若不是，则回到步骤S4；若是，则进入步骤S6；

S6，作为摄像头底座的PWM舵机配合Q-Learning算法，寻找摄像头采集骑行者面部信息的最佳观测角度，并通过摄像头实时采集骑行者面部信息；

S7，基于获取的面部信息，根据骑行者的眨眼频率判断骑行者是否处于疲劳状态；若是，则通过主控单元控制蜂鸣器发出警示；若不是，则回到步骤S4。

Images