CN109819224B - 一种基于车联网的车载视频监管系统 - Google Patents

Abstract

本发明公开了一种基于车联网的车载视频监管系统，包括图像采集模块、音频采集模块、压力感应模块等，通过副压力传感器作为开关，配合副摄像头采集驾驶员面部数据，并联网进行面部识别，可实现车辆的自动联网和驾驶员的账户自动登录，减少驾驶员的操作工序，方便使用。通过图像分析模块对图像采集模块采集的数据进行处理和分析，配合综合控制模块实现对驾驶员驾驶过程中常见的违规现象进行识别和提醒，还可配合账户管理模块对驾驶过程进行记录，方便后期驾驶员内的考核。通过综合控制模块配合音频分析模块对音源的分析，实现副摄像头的状态切换，进而可实现驾驶员和乘客出现紧急情况时的自动影像记录。

Description

一种基于车联网的车载视频监管系统

技术领域

本发明涉及车载视频监管领域，具体涉及一种基于车联网的车载视频监管系统。

背景技术

车辆行驶安全一直是人们追求的目标，通常的方法是在车内配备有车载视频监控系统，以记录车辆在行驶途中的影像资料，由于影像资料数据量较大，实时上传耗时长，且流量耗费大，通常采用的是摄像头采集后直接存储至本地，等出问题后再对视频进行分析找原因，此方法的时效性很差，无法在驾驶的过程中及时提醒驾驶员，及时纠正违规行为，避免事故的发生。

发明内容

为了解决上述的技术问题，本发明的目的在于提供一种基于车联网的车载视频监管系统。

本发明所要解决的技术问题为：

(1)如何通过监控视频识别驾驶员的多种违规行为。

(2)如何控制设备采集监控视频。

本发明的目的可以通过以下技术方案实现：

一种基于车联网的车载视频监管系统，包括图像采集模块、音频采集模块、压力感应模块、图像分析模块、音频分析模块、综合控制模块、存储模块、用于连接网络的网络模块、警报模块、账户管理模块；

所述图像采集模块包括两个摄像头，其中一个摄像头为装配有驱动机构的可调角度式高清摄像头并设置在车头的内顶壁上，用于拍摄驾驶员的图像信息以及驾驶员身后的乘客区域的图像信息，另一个摄像头为固定角度式高清摄像头并安装在驾驶座的正上方的内顶壁上，用于拍摄前方路况的图像信息、仪表盘的图像信息以及方向盘的图像信息；其中，固定角度式高清摄像头作为主摄像头，并将可调角度式高清摄像头作为副摄像头，且副摄像头的角度调节有两个档位，一个是默认档位，在未发出驱动指令时，副摄像头保持朝向驾驶座，另一个为控制档位，在发出机动指令后，副摄像头转动并朝向乘客区域；

所述音频采集模块包括主麦克风和副麦克风，其中主麦克风设置在驾驶座的头枕处，用于采集驾驶员的声音信息，副麦克风设置在驾驶员身后的乘客区域的最后方，用于采集乘车区域发出的声音信息；

所述压力感应模块包括两组压力传感单元，其中一个为设置在方向盘上的压力传感器，用于检测驾驶员手部对方向盘的压力信息，另一个为设置在驾驶座上的压力传感器，用于检测座位的压力信息，且压力感应模块将设置在方向盘上的传感器设为主压力传感器，并预设有主压力阈值，将设置在驾驶座上的压力传感器作为副压力传感器，并预设有副压力阈值；

所述存储模块用于暂存所有采集和处理后的数据；

所述警报模块用于在驾驶员发生违规行为时发出提醒警报；

所述账户管理模块用于将驾驶过程中记录的提醒警报与驾驶员的账户进行关联，上传至远程服务器中进行存储，作为驾驶员的考核依据；

所述音频分析模块用于对采集到的声音信息进行处理和分析；所述图像分析模块用于对采集到的图像信息进行处理和分析，其中图像分析模块将主摄像头的拍摄画面分为三个区域，分别为路况区、仪表盘区以及方向盘区，所述图像分析模块通过对单帧图像进行裁剪，只保留仪表盘区的图像并通过图像识别算法，获得车辆的实时行驶速度；

所述综合控制模块用于控制各个模块的启动和关闭，并根据采集到的数据对各个模块的发出指令，且综合控制模块的具体工作过程如下：

S1、综合控制模块获取副压力传感器的检测值，当检测值小于副压力阈值时，标记为无人，当检测值大于副压力阈值时，标记为有人；

S2、当副压力传感器标记为有人后，接通电源，并使网络模块连接网络，当网络连接成功后，控制副摄像头采集驾驶员的面部信息，并根据远程服务器中的面部信息库进行对比，得到驾驶员的账户信息，并将驾驶员的账户信息发送至账户管理模块，完成驾驶员的账户登录，同时停止副摄像头的拍摄，副摄像头切换至待机状态；

S3、网络连接成功后，综合控制模块控制主摄像头开始摄像，并将拍摄的视频存储至存储模块中，同时控制图像采集模块每隔a秒获取一张视频的单帧截图；

S4、通过图像分析模块对单帧截图的仪表盘区进行分析，获得实时行驶速度，同时控制网络模块进行基站定位，得到车辆实时位置信息，再将实时位置信息传输至远程服务器，对比远程服务器中的限速信息库，返回对应位置的限速信息，将实时行驶速度与限速信息进行比较，当实时行驶速度大于限速信息时，判断为超速，综合控制模块向警报模块发送指令，警报模块通过喇叭向驾驶发出超速提醒，并将该提醒记录在驾驶员的账户中；

S5、综合控制模块获取主压力传感器的检测值，通过检测值与主压力阈值进行比较，判断是否为异常驾驶，当判断异常驾驶时，控制图像分析模块对单帧截图进行裁剪，只保留方向盘区的图像，并保存至存储模块，同时综合控制模块向警报模块发送指令，警报模块通过喇叭向驾驶发出安全驾驶提醒，若该提醒持续超过五秒，则将该提醒记录在驾驶员的账户中；

S6、在音频采集模块采集到声音信息后，综合控制模块通过音频分析模块对采集到的声音信息进行分析，判断出声音发出的位置，若判断出声音位置位于驾驶座，则将副摄像头切换至摄像状态，同时对声音信息进行记录并标记为驾驶员语音记录存储至存储模块，若判断声音位置位于乘客区域，则控制副摄像头切换至控制档位并切换至摄像状态，同时对声音信息进行记录并标记为乘客语音记录存储至存储模块；

S7、在当副压力传感器标记为无人后，控制图像采集模块和音频采集模块停止数据的采集，并控制网络模块断开网络。

进一步的，所述主压力传感器由多个沿方向盘表面分布的薄膜型压力传感器组成，且多个薄膜型压力传感器之间的等距设置，且间距不超过5cm，所述综合控制模块将主压力阈值设置为0，获取各个薄膜型压力传感器的检测值，获取检测值大于主压力阈值的薄膜型压力传感器的数量x，若数量x为2<x<5，则判断为正常驾驶，若数量x<2，则标记为手离开方向盘，或数量x≥5，则标记为异常，并将手离开方向盘和异常均判断为异常驾驶。

进一步的，所述音频分析模块获取主麦克风和副麦克风采集的同一声源的声音强度，若主麦克风采集的声音强度大于副麦克风的声音强度，且主麦克风与副麦克风的声音强度差值大于预设的阈值，则判断声音位置位于驾驶座，若主麦克风采集的声音强度小于副麦克风的声音强度，且副麦克风与主麦克风的声音强度差值大于预设的阈值，则判断声音位置位于乘客区域。

本发明的有益效果：

(1)通过副压力传感器作为开关，配合副摄像头采集驾驶员面部数据，并联网进行面部识别，可实现车辆的自动联网和驾驶员的账户自动登录，减少驾驶员的操作工序，方便使用。

(2)通过图像分析模块对图像采集模块采集的数据进行处理和分析，配合综合控制模块实现对驾驶员驾驶过程中常见的违规现象如手离开方向盘和超速现象进行识别和提醒，及时纠正违规行为，避免车祸发生，还可配合账户管理模块对驾驶过程进行记录，方便后期驾驶员内的考核。

(3)通过综合控制模块配合音频分析模块对音源的分析，实现副摄像头的状态切换，进而可实现驾驶员和乘客出现紧急情况时的自动影像记录。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本实施例提供了一种基于车联网的车载视频监管系统，包括图像采集模块、音频采集模块、压力感应模块、图像分析模块、音频分析模块、综合控制模块、存储模块、用于连接网络的网络模块、警报模块、账户管理模块；网络模块通过插入s im卡实现接入移动网络，也可通过使用USB接口，接入共享网络。

图像采集模块包括两个摄像头，其中一个摄像头为装配有驱动机构的可调角度式高清摄像头并设置在车头的内顶壁上，用于拍摄驾驶员的图像信息以及驾驶员身后的乘客区域的图像信息，且驱动机构可选择步进电机，以实现控制转动角度，另一个摄像头为固定角度式高清摄像头并安装在驾驶座的正上方的内顶壁上，用于拍摄前方路况的图像信息、仪表盘的图像信息以及方向盘的图像信息；其中，固定角度式高清摄像头作为主摄像头，并将可调角度式高清摄像头作为副摄像头，且副摄像头的角度调节有两个档位，一个是默认档位，在未发出驱动指令时，副摄像头保持朝向驾驶座，另一个为控制档位，在发出机动指令后，副摄像头转动并朝向乘客区域；且副摄像头的两个档位拍摄的画面有重叠部分，即为乘客区域与驾驶座之间的中间部分。

音频采集模块包括主麦克风和副麦克风，其中主麦克风设置在驾驶座的头枕处，用于采集驾驶员的声音信息，副麦克风设置在驾驶员身后的乘客区域的最后方，用于采集乘车区域发出的声音信息；

压力感应模块包括两组压力传感单元，其中一个为设置在方向盘上的压力传感器，用于检测驾驶员手部对方向盘的压力信息，另一个为设置在驾驶座上的压力传感器，用于检测座位的压力信息，且压力感应模块将设置在方向盘上的传感器设为主压力传感器，并预设有主压力阈值，可通过调节主压力阈值改变判定的灵敏度，将设置在驾驶座上的压力传感器作为副压力传感器，并预设有副压力阈值，可通过调节副压力阈值改变判定的灵敏度；

存储模块用于暂存所有采集和处理后的数据；

警报模块用于在驾驶员发生违规行为时发出提醒警报；

账户管理模块用于将驾驶过程中记录的提醒警报与驾驶员的账户进行关联，上传至远程服务器中进行存储，作为驾驶员的考核依据；

音频分析模块用于对采集到的声音信息进行处理和分析；图像分析模块用于对采集到的图像信息进行处理和分析，其中图像分析模块将主摄像头的拍摄画面分为三个区域，分别为路况区、仪表盘区以及方向盘区，图像分析模块通过对单帧图像进行裁剪，只保留仪表盘区的图像并通过图像识别算法，获得车辆的实时行驶速度；

综合控制模块用于控制各个模块的启动和关闭，并根据采集到的数据对各个模块的发出指令，且综合控制模块的具体工作过程如下：

S1、综合控制模块获取副压力传感器的检测值，当检测值小于副压力阈值时，标记为无人，当检测值大于副压力阈值时，标记为有人；将副压力传感器作为感应开关。

S2、当副压力传感器标记为有人后，接通电源，并使网络模块连接网络，当网络连接成功后，控制副摄像头采集驾驶员的面部信息，并根据远程服务器中的面部信息库进行对比，通过面部识别找到匹配的驾驶员，进而得到驾驶员的账户信息，并将驾驶员的账户信息发送至账户管理模块，完成驾驶员的账户登录，同时停止副摄像头的拍摄，副摄像头切换至待机状态；通过联网下的面部识别，使驾驶员上车后，自动登录账号，无需人工操作，方便驾驶员的使用，且副摄像头无需一直进行摄像，只需在需要时唤醒即可。

S3、网络连接成功后，综合控制模块控制主摄像头开始摄像，并将拍摄的视频存储至存储模块中，同时控制图像采集模块每隔5秒获取一张视频的单帧截图；在驾驶的过程中，主摄像头保持摄像模式，记录车辆行驶的过程，并定时截取视频图片以便对截图内容进行分析。相比与视频，图片的传输耗时更短，且更省流量和存储空间。

S4、通过图像分析模块对单帧截图的仪表盘区进行分析，获得实时行驶速度，由于主摄像头的视角固定，仪表盘区改变的区域只有指针位置，通过对指针角度的改变，可计算出实时行驶速度。同时控制网络模块进行基站定位，得到车辆实时位置信息，再将实时位置信息传输至远程服务器，对比远程服务器中的限速信息库，返回对应位置的限速信息，将实时行驶速度与限速信息进行比较，当实时行驶速度大于限速信息时，判断为超速，如定位得到坐标为p，将获得p对应的路段名，根据路段名可查询到该路段的限速信息，综合控制模块向警报模块发送指令，警报模块通过喇叭向驾驶发出超速提醒，超速是常见的行驶违规现象，通过对行驶画面的分析，判断是否超速，在超速时及时提醒驾驶员，保证行车安全。并将该提醒记录在驾驶员的账户中；查阅提醒可知驾驶员在工作过程中的工作状态，方便考勤和绩效管理。

S5、综合控制模块获取主压力传感器的检测值，通过检测值与主压力阈值进行比较，判断是否为异常驾驶，当判断异常驾驶时，控制图像分析模块对单帧截图进行裁剪，只保留方向盘区的图像，并保存至存储模块，保留实时的截图，可在后期通过人工查阅修正错误的提醒记录，同时综合控制模块向警报模块发送指令，警报模块通过喇叭向驾驶发出安全驾驶提醒，若该提醒持续超过五秒，则将该提醒记录在驾驶员的账户中；玩手机、聊天等注意力不集中导致的双手未握紧方向盘是常见的违规现象，通过主压力传感器的检测，可在驾驶员双手离开方向盘时及时发出提醒，保证行驶安全。

S6、在音频采集模块采集到声音信息后，综合控制模块通过音频分析模块对采集到的声音信息进行分析，判断出声音发出的位置，若判断出声音位置位于驾驶座，则将副摄像头切换至摄像状态，同时对声音信息进行记录并标记为驾驶员语音记录存储至存储模块，若判断声音位置位于乘客区域，则控制副摄像头切换至控制档位并切换至摄像状态，同时对声音信息进行记录并标记为乘客语音记录存储至存储模块；副摄像头在默认时朝向驾驶员方向，若发送紧急情况，如乘客争吵或是驾驶员受到他人干扰驾驶等突发情况，都会产生明显的声音强度增大，可通过音频采集模块判断出声音的发出位置，自动控制副摄像头转向情况发生的位置，并记录实时的影像，提供车内的行驶影像记录。

S7、在当副压力传感器标记为无人后，控制图像采集模块和音频采集模块停止数据的采集，并控制网络模块断开网络。在车内无人后，自动停止采集数据，并关闭网络，节省流量和存储空间。

主压力传感器由多个沿方向盘表面分布的薄膜型压力传感器组成，且多个薄膜型压力传感器之间的等距设置，且间距不超过5cm，保证手接触的位置至少覆盖一个传感器，一只手最多覆盖两个传感器，综合控制模块将主压力阈值设置为0，获取各个薄膜型压力传感器的检测值，获取检测值大于主压力阈值的薄膜型压力传感器的数量x，若数量x为2<x<5，则判断为正常驾驶，若数量x<2，说明至少一个手不在方向盘上，可能在换挡或是其他操作，则标记为手离开方向盘，或数量x≥5，则标记为异常，并将手离开方向盘和异常均判断为异常驾驶。

音频分析模块获取主麦克风和副麦克风采集的同一声源的声音强度，若主麦克风采集的声音强度大于副麦克风的声音强度，且主麦克风与副麦克风的声音强度差值大于预设的阈值，则判断声音位置位于驾驶座，若主麦克风采集的声音强度小于副麦克风的声音强度，且副麦克风与主麦克风的声音强度差值大于预设的阈值，则判断声音位置位于乘客区域。通过声音强度的大小判断位置，主麦克风和副麦克风的声音强度差值越大，说明声音更靠近声音强度大的一方，因此在差值超过设定的阈值后，可确定更靠近其中一个麦克风，若小于阈值，则说明在声源两个麦克风中部，无需移动视角也可记录到。

本实施例的具体工作过程如下：

通过副压力传感器作为开关，配合副摄像头采集驾驶员面部数据，并联网进行面部识别，可实现车辆的自动联网和驾驶员的账户自动登录，减少驾驶员的操作工序，方便使用。

通过图像分析模块对图像采集模块采集的数据进行处理和分析，配合综合控制模块实现对驾驶员驾驶过程中常见的违规现象如手离开方向盘和超速现象进行识别和提醒，还可配合账户管理模块对驾驶过程进行记录，方便后期驾驶员内的考核。

通过综合控制模块配合音频分析模块对音源的分析，实现副摄像头的状态切换，进而可实现驾驶员和乘客出现紧急情况时的自动影像记录。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (1)

1.一种基于车联网的车载视频监管系统，其特征在于，包括图像采集模块、音频采集模块、压力感应模块、图像分析模块、音频分析模块、综合控制模块、存储模块、用于连接网络的网络模块、警报模块、账户管理模块；

所述图像采集模块包括两个摄像头，其中一个摄像头为装配有驱动机构的可调角度式高清摄像头并设置在车头的内顶壁上，用于拍摄驾驶员的图像信息以及驾驶员身后的乘客区域的图像信息，另一个摄像头为固定角度式高清摄像头并安装在驾驶座的正上方的内顶壁上，用于拍摄前方路况的图像信息、仪表盘的图像信息以及方向盘的图像信息；其中，固定角度式高清摄像头作为主摄像头，并将可调角度式高清摄像头作为副摄像头，且副摄像头的角度调节有两个档位，一个是默认档位，在未发出驱动指令时，副摄像头保持朝向驾驶座，另一个为控制档位，在发出机动指令后，副摄像头转动并朝向乘客区域；

所述音频采集模块包括主麦克风和副麦克风，其中主麦克风设置在驾驶座的头枕处，用于采集驾驶员的声音信息，副麦克风设置在驾驶员身后的乘客区域的最后方，用于采集乘车区域发出的声音信息；

所述压力感应模块包括两组压力传感单元，其中一个为设置在方向盘上的压力传感器，用于检测驾驶员手部对方向盘的压力信息，另一个为设置在驾驶座上的压力传感器，用于检测座位的压力信息，且压力感应模块将设置在方向盘上的传感器设为主压力传感器，并预设有主压力阈值，将设置在驾驶座上的压力传感器作为副压力传感器，并预设有副压力阈值；

所述存储模块用于暂存所有采集和处理后的数据；

所述警报模块用于在驾驶员发生违规行为时发出提醒警报；

所述账户管理模块用于将驾驶过程中记录的提醒警报与驾驶员的账户进行关联，上传至远程服务器中进行存储，作为驾驶员的考核依据；

所述音频分析模块用于对采集到的声音信息进行处理和分析；所述图像分析模块用于对采集到的图像信息进行处理和分析，其中图像分析模块将主摄像头的拍摄画面分为三个区域，分别为路况区、仪表盘区以及方向盘区，所述图像分析模块通过对单帧图像进行裁剪，只保留仪表盘区的图像并通过图像识别算法，获得车辆的实时行驶速度；

所述综合控制模块用于控制各个模块的启动和关闭，并根据采集到的数据对各个模块的发出指令，且综合控制模块的具体工作过程如下：

S1、综合控制模块获取副压力传感器的检测值，当检测值小于副压力阈值时，标记为无人，当检测值大于副压力阈值时，标记为有人；

S2、当副压力传感器标记为有人后，接通电源，并使网络模块连接网络，当网络连接成功后，控制副摄像头采集驾驶员的面部信息，并根据远程服务器中的面部信息库进行对比，得到驾驶员的账户信息，并将驾驶员的账户信息发送至账户管理模块，完成驾驶员的账户登录，同时停止副摄像头的拍摄，副摄像头切换至待机状态；

S3、网络连接成功后，综合控制模块控制主摄像头开始摄像，并将拍摄的视频存储至存储模块中，同时控制图像采集模块每隔a秒获取一张视频的单帧截图；

S4、通过图像分析模块对单帧截图的仪表盘区进行分析，获得实时行驶速度，同时控制网络模块进行基站定位，得到车辆实时位置信息，再将实时位置信息传输至远程服务器，对比远程服务器中的限速信息库，返回对应位置的限速信息，将实时行驶速度与限速信息进行比较，当实时行驶速度大于限速信息时，判断为超速，综合控制模块向警报模块发送指令，警报模块通过喇叭向驾驶发出超速提醒，并将该提醒记录在驾驶员的账户中；

S5、综合控制模块获取主压力传感器的检测值，通过检测值与主压力阈值进行比较，判断是否为异常驾驶，当判断异常驾驶时，控制图像分析模块对单帧截图进行裁剪，只保留方向盘区的图像，并保存至存储模块，同时综合控制模块向警报模块发送指令，警报模块通过喇叭向驾驶发出安全驾驶提醒，若该提醒持续超过五秒，则将该提醒记录在驾驶员的账户中；

S6、在音频采集模块采集到声音信息后，综合控制模块通过音频分析模块对采集到的声音信息进行分析，判断出声音发出的位置，若判断出声音位置位于驾驶座，则将副摄像头切换至摄像状态，同时对声音信息进行记录并标记为驾驶员语音记录存储至存储模块，若判断声音位置位于乘客区域，则控制副摄像头切换至控制档位并切换至摄像状态，同时对声音信息进行记录并标记为乘客语音记录存储至存储模块；

S7、在当副压力传感器标记为无人后，控制图像采集模块和音频采集模块停止数据的采集，并控制网络模块断开网络；

所述主压力传感器由多个沿方向盘表面分布的薄膜型压力传感器组成，且多个薄膜型压力传感器之间的等距设置，且间距不超过5cm，所述综合控制模块将主压力阈值设置为0，获取各个薄膜型压力传感器的检测值，获取检测值大于主压力阈值的薄膜型压力传感器的数量x，若数量x为2<x<5，则判断为正常驾驶，若数量x<2，则标记为手离开方向盘，或数量x≥5，则标记为异常，并将手离开方向盘和异常均判断为异常驾驶；

所述音频分析模块获取主麦克风和副麦克风采集的同一声源的声音强度，若主麦克风采集的声音强度大于副麦克风的声音强度，且主麦克风与副麦克风的声音强度差值大于预设的阈值，则判断声音位置位于驾驶座，若主麦克风采集的声音强度小于副麦克风的声音强度，且副麦克风与主麦克风的声音强度差值大于预设的阈值，则判断声音位置位于乘客区域。

Images