CN115214497A - 具有驾驶员行为识别功能的车顶控制系统 - Google Patents

具有驾驶员行为识别功能的车顶控制系统 Download PDF

Info

Publication number
CN115214497A
CN115214497A CN202210911939.8A CN202210911939A CN115214497A CN 115214497 A CN115214497 A CN 115214497A CN 202210911939 A CN202210911939 A CN 202210911939A CN 115214497 A CN115214497 A CN 115214497A
Authority
CN
China
Prior art keywords
resistor
module
tube
pmos
nmos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210911939.8A
Other languages
English (en)
Inventor
侯丽
陈珍海
汪伟
何千道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huangshan Ruixing Automobile Electronic Co ltd
Original Assignee
Huangshan Ruixing Automobile Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huangshan Ruixing Automobile Electronic Co ltd filed Critical Huangshan Ruixing Automobile Electronic Co ltd
Priority to CN202210911939.8A priority Critical patent/CN115214497A/zh
Publication of CN115214497A publication Critical patent/CN115214497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electronic Switches (AREA)

Abstract

本发明公开了一种具有驾驶员行为识别功能的智能车顶控制系统，具体包括：开关按键及灯光控制模块、高速总线通信模块、电源供电模块、摄像头、图像预处理模块、图像存储器、综合控制模块和应急安全响应模块。本发明在车顶控制模块中集成摄像头、图像存储和处理系统，实现车顶驾驶行为识别技术，并与现有的汽车紧急情况的预警和求救系统进行融合设计，采用多传感融合实现驾驶员行为识别功能的智能车顶控制系统，提升车内安全控制能力，具有高可靠性和高智能化优势。

Description

具有驾驶员行为识别功能的车顶控制系统
技术领域
本发明隶属于汽车智能控制技术领域。本发明采用多模态控制技术，结合驾驶行为识别和其他安全控制技术提升车内安全控制能力，提供了一种具有驾驶员行为识别功能的智能车顶控制系统，实现高安全性和高可靠性。
技术背景
随着我国经济的迅速发展以及人民生活水平的不断提高，我国普通家庭以及单位的车辆保有量不断上升。人们在享受汽车带来的便捷同时，更多的考虑到车辆的舒适性和安全性。近年来汽车安全事故频发，特别是驶员身体突发异常情况导致的安全事故，发生率更高。因此，设计针对汽车上述安全事故的预警和事故发生时的判别和管理系统，具有很强的现实需求。
随着智能识别技术的发展，图像和语音识别技术已经广泛应用于各类安防监控系统。采用类似的技术，提高驾驶员的行为识别，提高车内安全监控效果，是一种很有应用价值的技术手段。汽车顶灯处于汽车内部空间的最高位置，将上述针对紧急情况的预警和求救系统和汽车顶灯控制系统进行融合设计，是一种较好的实现方式。为此，需要开发一款结合驾驶行为识别技术提升车内安全控制能力的具有驾驶员行为识别功能的智能车顶控制系统。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种具有驾驶员行为识别功能的智能车顶控制系统。
本发明的目的可以通过以下技术方案实现：一种具有驾驶员行为识别功能的智能车顶控制系统，其特征是包括：开关按键及灯光控制模块、高速总线通信模块、电源供电模块、摄像头、图像预处理模块、图像存储器、综合控制模块和应急安全响应模块；
上述系统的连接关系为：综合控制模块的第一控制信号输出端连接到开关按键及灯光控制模块的控制信号输入端，综合控制模块的第二控制信号输出端连接到高速总线通信模块的控制信号输入端，综合控制模块的第三控制信号输出端连接到电源供电模块的控制信号输入端，综合控制模块的第四控制信号输出端连接到应急安全响应模块的控制信号输入端；综合控制模块的第一数据端口连接到图像预处理模块的第一数据端口，综合控制模块的第二数据端口连接到图像存储器的第一数据端口，图像预处理模块的第二数据端口连接到图像存储器的第二数据端口，综合控制模块的第三数据端口连接到开关按键及灯光控制模块的数据端口，综合控制模块的第四数据端口连接到高速总线通信模块的数据端口，综合控制模块的第五数据端口连接到电源供电模块的供电状态输出端；电源供电模块为上述所有电路提供供电。
系统启动时，按照先后次序依次开启不同的功能模块：首先开启电源供电模块、高速总线通信模块和综合控制模块；其次开启应急安全响应模块，在出现异常情况时由应急安全响应模块进行应急处理；然后开启开关按键及灯光控制模块、摄像头、图像预处理模块、图像存储器模块，所述摄像头、图像预处理模块和图像存储器模块协同构成驾驶行为识别控制模块；所述综合控制模块根据驾驶行为识别控制模块产生的驾驶行为识别数据和开关按键的指令进行功能控制；
当所有功能模块都开启后，所述综合控制模块根据驾驶行为识别控制模块、开关按键及灯光控制模块、高速总线通信模块和电源供电模块通过各自数据输出端所提供的所有输出数据，综合判决并决定所述具有驾驶员行为识别功能的智能车顶控制系统的工作模式；所述工作模式包括应急安全模式和正常工作模式两种模式；高速总线通信模块和驾驶行为识别控制模块任意一种或多种信号指示非正常时，所述综合控制模块开启应急安全模式，此时应急安全响应模块对外发送求救信号；所述具有驾驶员行为识别功能的智能车顶控制系统进入应急安全模式时，应急安全响应模块将会一直开启。
具体的，所述的驾驶行为识别控制模块采用VGG16深度学习网络、多级空间注意力模块和多级通道注意力模块相融合来构建网络，然后训练网络以获取优选网络模型。
所述的驾驶行为识别控制模块包括6级子网络，具体包括：
第1级子网络以分辨率为224*224*3的原始RGB图像块作为输入，其中 224*224*3表示输入图像块大小为224*224像素、通道数为3，先后经过2个64 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为112*112*64的特征图，其中特征图大小为112*112像素、通道数为 64；
第2级子网络以分辨率为112*112*64的特征图作为输入，先后经过2个128 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为56*56*128的特征图，其中特征图大小为56*56像素、通道数为128；
第3级子网络以分辨率为56*56*128的特征图作为输入，先后经过3个256 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为28*28*256的特征图，其中特征图大小为28*28像素、通道数为256；
第4级子网络以分辨率为28*28*256的特征图作为输入，先后经过3个512 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为14*14*512的特征图，其中特征图大小为14*14像素、通道数为512；
第5级子网络以分辨率为14*14*512的特征图作为输入，先后经过3个512 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为7*7*512的特征图，其中特征图大小为7*7像素、通道数为512；
第6级子网络以分辨率为7*7*512的特征图作为输入，先后经过2个4096 节点的全连接层+ReLU激活层、5个节点的全连接层+ReLU激活层、Softmax 标准化层，输出5维的特征向量，用于表示5种不同驾驶行为类别的概率。
进一步的，所述的驾驶行为识别控制模块第2级子网络、第3级子网络、第4级子网络、第5级子网络均包含1个混合注意力模块，均由空间注意力模块和通道注意力模块并联结构组成，可同时捕获空间维度和通道维度的语义相关性，通过以下步骤生成混合注意力特征：
步骤1，空间注意力模块首先应用3个1*1卷积层对混合注意力模块的输入特征进行降维，获得3个降维特征；
步骤2，空间注意力模块应用1*1卷积层输出的任意2个降维特征来生成空间注意力矩阵，用于反映空间特征中每个像素点对于驾驶员行为识别的重要程度，通道注意力模块应用混合注意力模块的输入特征生成通道注意力矩阵，反映每个通道特征对于驾驶员行为识别的重要程度；
步骤3，空间注意力模块将生成的空间注意力矩阵与1*1卷积层输出的另一个降维特征进行矩阵乘法运算，再经过1*1卷积层升维后与混合注意力模块的输入特征进行逐元素求和运算，获得反映空间维度语义相关性的空间注意力特征，通道注意力模块将混合注意力模块的输入特征与生成的通道注意力矩阵进行矩阵乘法运算后，再与混合注意力模块的输入特征进行逐元素求和运算，获得反映通道维度语义相关性的通道注意力特征。
步骤4，将空间注意力特征和通道注意力特征进行逐元素求和运算，获得混合注意力特征。
优选的，所述电源供电模块包括：Buck变换器、功率开关管Q1、续流电感L1、分压电阻R73、分压电阻R74、续流管Q2和输出电容COUT；
所述Buck变换器70内部包括：抖频时钟产生电路、EA放大器、电流比较器COMP、电流采样电路CS、脉冲锁定Lock模块和控制驱动模块 Logic&Driver；
一方面开关电源输出电压经分压后的反馈电压FB输入到误差放大器EA与基准电压Vref相减放大，得到产生补偿参考电压Vc；另一方面通过将该参考电压Vc与采样的开关电源输出电流信号CS在比较器COMP进行比较从而确定功率开关管导通或断开的时间点，脉冲锁定Lock模块在抖频时钟产生电路的控制下，对脉冲信号进行调制，调制输出Dctrl最终进入控制驱动模块Logic&Driver，产生Q1和Q2的栅极驱动开关信号。
进一步的，所述抖频时钟产生电路包括：PMOS管M800、PMOS管M801、PMOS管M802、PMOS管M803、PMOS管M805、PMOS管M806、PMOS管 M821、PMOS管M830、NMOS管M808、NMOS管M809、NMOS管M810、 PMOS管M811、NMOS管M822、电阻R81、电阻R821、电阻R822、电容C81、电容C82、电容C821、N个开关NMOS管M831～M83N、N个串联电阻 R831～R83N、伪随机码产生电路、反相器Inv800、反相器Inv801、反相器Inv802、反相器Inv830、X个时钟输出反相器、缓冲器Buf80、PMOS管M840、NMOS 管M841、PMOS管M845、NMOS管M846、PMOS管M847、NMOS管M848、电容C840、电阻R840、电容C841、电阻R841、电容C842和电阻R842；
其中，所述PMOS管M800的连接到漏极电阻R821的上端，PMOS管M800 的栅极、PMOS管M801的栅极、PMOS管M802的栅极和PMOS管M803的栅极均连接到偏置电压Vbc81；电阻R821的下端连接到电阻R822上端、PMOS 管M821的源极和PMOS管M805的栅极；PMOS管M821的漏极和NMOS管 M822的漏极相连，并连接到电容C821的上端；
PMOS管M801的源极的漏极连接到PMOS管M805的源极和PMOS管 M806的源极；PMOS管M805的漏极连接到NMOS管M808的栅极和漏极，以及NMOS管M809的栅极；PMOS管M806的漏极连接到NMOS管M809的漏极，以及NMOS管M810的栅极和电阻R81的上端；电阻R81的下端连接到电容C81的上端；NMOS管M810的漏极连接到PMOS管M802的漏极，以及PMOS 管M811的栅极；PMOS管M811的源极连接到电阻R83的下端和电容C82的上端，还作为振荡器电源电压VCC_OSC连接到反相器Inv800的电源电压端口、反相器Inv801的电源电压端口、反相器Inv802的电源电压端口和缓冲器Buf80 的电源电压端口；电阻R83的上端连接到PMOS管M803的漏极；
PMOS管M830的漏极连接到电阻R830的上端，R831的上端即为N个串联电阻组成的电阻串的上端，R83N的下端即为N个串联电阻组成的电阻串的下端，N个串联电阻组成的电阻串的连接关系为：电阻R831的下端连接到电阻 R832的上端、电阻R832的下端连接到电阻R833的上端、电阻R83M-1的下端连接到电阻R83M的上端、电阻R83N-1的下端连接到电阻R83N的上端；NMOS 管M831的漏极连接到电阻R831的上端，NMOS管M831的源极连接到电阻R831的下端、电阻R832的上端和NMOS管M832的漏极；NMOS管M832的源极连接到电阻R832的下端、电阻R833的上端和NMOS管M833的漏极； NMOS管M83M-1的源极连接到电阻R83M-1的下端、电阻R83M的上端和 NMOS管M83M的漏极；NMOS管M83N-1的源极连接到电阻R83N-1的下端、电阻R83N的上端和NMOS管M83N的漏极；伪随机码产生电路输出的伪随机码P1连接到NMOS管M831的栅极，伪随机码产生电路输出的伪随机码P2连接到NMOS管M832的栅极，伪随机码产生电路输出的伪随机码PM连接到 NMOS管M83M的栅极，伪随机码产生电路输出的伪随机码PN连接到NMOS 管M83N的栅极；
NMOS管M808的源极、NMOS管M809的源极、NMOS管M822的源极、电容C821的下端、电容C81的下端、电阻R822的下端、NMOS管M83N的源极、电阻R83N的下端、PMOS管M811的漏极和电容C82的下端均接地电压 GND；PMOS管M800的源极、PMOS管M801的源极、PMOS管M802的源极、 PMOS管M803的源极和PMOS管M830的源极同时连接到电源电压VCC；
反相器Inv800、反相器Inv801、反相器Inv802构成一个参考时钟环形振荡器，参考时钟环形振荡器的输出连接到缓冲器Buf80的输入端，缓冲器Buf80 的输出端为参考时钟信号OSC_out；电容C840的左侧连接到参考时钟信号 OSC_out信号，电容C840的右侧同时连接到电阻R840的上端、电容C841下端和电容C842的上端；电容C841上端连接到电阻R841的下端和PMOS管M85 的栅极，电容C842的下端连接到电阻R842的上端和NMOS管M86的栅极；电阻R841的上端连接到PMOS管M840的漏极，电阻R842的下端连接到NMOS 管M841的漏极，PMOS管M842的栅极连接到偏置电压Vb82P，NMOS管M821 的栅极连接到偏置电压Vb82N；PMOS管M845的漏极连接到NMOS管M846 的漏极，还连接到PMOS管M847和NMOS管M848的栅极；PMOS管M847 的漏极连接到NMOS管M848的漏极，还连接到X个时钟输出反相器的输入端和反相器Inv830的输入端；X个输出反相器的输出端连接X个输出时钟信号 CK1～CKX；反相器Inv830的输出端作为反馈时钟CK_fb，还连接到PMOS管 M821的栅极和NMOS管M822的栅极；所述电阻R840的下端、NMOS管M841 的源极、NMOS管M846的源极和NMOS管M848的源极同时连接到地电压 GND；PMOS管M840的源极、PMOS管M845的源极和PMOS管M847的源极同时连接到电源电压VCC；
其中，X为任意正整数，M为小于N的正整数，N＝2K，K为任意正整数。
具体的，所述抖频时钟产生电路在具体电路结构上，分为7大功能细分模块：由PMOS管M801、PMOS管M802、PMOS管M805、PMOS管M806、 NMOS管M808、NMOS管M809、NMOS管M810、电阻R81和电容C81构成的两级误差放大器；由PMOS管M803、PMOS管M811、电阻R83和电容C82 构成的跟随缓冲器；由PMOS管M800、PMOS管M821、NMOS管M822、电阻R821、电阻R822和电容C821构成的反馈时钟检测电路；由PMOS管M830、电阻R830、N个串联电阻、N个开关NMOS管和伪随机码产生电路构成的抖频参考电压产生电路；由反相器Inv800、反相器Inv801、反相器Inv802构成一个参考时钟环形振荡器；由缓冲器Buf80、PMOS管M840、NMOS管M841、电容C840、电阻R840、电容C841、电阻R841、电容C842和电阻R842构成的滤波耦合电路；由PMOS管M845、NMOS管M846、PMOS管M847、NMOS 管M848、X个时钟输出反相器和反相器Inv830构成的时钟输出缓冲电路；
所述两级误差放大器的第一差分输入端为PMOS管M805的栅极，所述两级误差放大器的第二差分输入端为PMOS管M806的栅极，所述两级误差放大器的放大输出端连接PMOS管M802的漏极和NMOS管M810的漏极；所述跟随缓冲器的信号输入端为PMOS管M811的栅极，所述跟随缓冲器的信号输出端即为振荡器电源电压VCC_OSC；所述反馈时钟检测电路的输入端CK_fb连接到PMOS管M821的栅极和NMOS管M822的栅极，所述反馈时钟检测电路的输出端为时钟反馈电压Vckfb，连接到所述两级误差放大器的第一差分输入端；所述抖频参考电压产生电路的基准电压输入端Vref为PMOS管M830的栅极，所述抖频参考电压产生电路产生的抖频参考电压Vrdith连接到所述两级误差放大器的第二差分输入端；所述两级误差放大器的放大输出端连接到所述跟随缓冲器的信号输入端，所述跟随缓冲器的信号输出端即为振荡器电源电压 VCC_OSC；所述参考时钟环形振荡器根据振荡器电源电压VCC_OSC产生参考时钟信号OSC_out；所述滤波耦合电路对参考时钟信号OSC_out进行滤波和耦合，然后经时钟输出缓冲电路得到X路输出时钟CK1～CKX和反馈时钟CK_fb。
优选的，所述抖频参考电压产生电路中的抖频参考电压Vrdith由电阻R830 和N个串联电阻组成的电阻串总电阻分压得到；
N个串联电阻中任意两个电阻的阻值均不相同，且N个电阻中单个电阻阻值大小选择采用伪随机分布，即任意两个电阻之间的比值均不相同，实现抖频参考电压Vrdith幅度的随机特性；
所述伪随机码产生电路产生的N位伪随机码P1～PN，任意时刻只有1位伪随机码输出高电平，其余N-1位均为低电平；并且N位伪随机码P1～PN中任意 1位伪随机码输出高电平的时间长度均不相同，实现抖频参考电压Vrdith时间上的随机特性。
本发明的优点是：本发明在车顶控制模块中集成摄像头、图像存储和处理系统，实现车顶驾驶行为识别技术，并与现有的汽车紧急情况的预警和求救系统进行融合设计，提高识别的可靠性，从而提升车内安全控制能力。
附图说明
图1为本发明具有驾驶员行为识别功能的智能车顶控制系统架构框图；
图2为本发明系统控制流程图；
图3为本发明驾驶行为识别模块学习模型原理图；
图4为本发明驾驶行为识别模块学习模型各级子网络流程图；
图5为本发明驾驶行为识别模块注意力块流程图；
图6为本发明阅读灯驱动电路原理图；
图7为本发明电源供电模块结构框图；
图8为本发明抖频时钟产生电路的一种实施例。
具体实施方式
下面结合附图和实例对本发明进行进一步详细的说明。
参见图1所示，一种具有驾驶员行为识别功能的智能车顶控制系统，包括开关按键及灯光控制模块、高速总线通信模块、电源供电模块、摄像头、图像预处理模块、图像存储器、综合控制模块和应急安全响应模块；
图1所示系统的连接关系为：综合控制模块的第一控制信号输出端连接到开关按键及灯光控制模块的控制信号输入端，综合控制模块的第二控制信号输出端连接到高速总线通信模块的控制信号输入端，综合控制模块的第三控制信号输出端连接到电源供电模块的控制信号输入端，综合控制模块的第四控制信号输出端连接到应急安全响应模块的控制信号输入端；综合控制模块的第一数据端口连接到图像预处理模块的第一数据端口，综合控制模块的第二数据端口连接到图像存储器的第一数据端口，图像预处理模块的第二数据端口连接到图像存储器的第二数据端口，综合控制模块的第三数据端口连接到开关按键及灯光控制模块的数据端口，综合控制模块的第四数据端口连接到高速总线通信模块的数据端口，综合控制模块的第五数据端口连接到电源供电模块的供电状态输出端；电源供电模块为上述所有电路提供供电。
如图2所示，所述具有驾驶员行为识别功能的智能车顶控制系统启动时，按照先后次序依次开启不同的功能模块：首先开启电源供电模块、高速总线通信模块和综合控制模块；其次开启应急安全响应模块，在出现异常情况时由应急安全响应模块进行应急处理；然后开启开关按键及灯光控制模块、摄像头、图像预处理模块、图像存储器模块，所述摄像头、图像预处理模块和图像存储器模块协同构成驾驶行为识别控制模块；所述综合控制模块根据驾驶行为识别控制模块产生的驾驶行为识别数据和开关按键的指令进行功能控制；
当所有功能模块都开启后，所述综合控制模块根据驾驶行为识别控制模块、开关按键及灯光控制模块、高速总线通信模块和电源供电模块通过各自数据输出端所提供的所有输出数据，综合判决并决定所述具有驾驶员行为识别功能的智能车顶控制系统的工作模式；所述工作模式包括应急安全模式和正常工作模式两种模式；高速总线通信模块和驾驶行为识别控制模块任意一种或多种信号指示非正常时，所述综合控制模块开启应急安全模式，此时应急安全响应模块对外发送求救信号；所述具有驾驶员行为识别功能的智能车顶控制系统进入应急安全模式时，应急安全响应模块将会一直开启。
本发明图像预处理模块可以采用通用的视频图像信号处理器(ISP，Image SignalProcessing)实现，摄像头提供原始图像信号必须经过一系列的后处理，才能将其转换为行为识别训练提取所需要的数字图像。ISP用于处理摄像头的原始数据流，以改善最终图像质量，以便图像识别平台和车辆驾驶员可以使用它。 ISP将图像转换为数字形式需执行的一些操作包括：Bayer、黑电平补偿(black level compensation)、镜头矫正(lens shadingcorrection)、坏像素矫正(bad pixel correction)、颜色插值(demosaic)、Bayer噪声去除、白平衡(AWB)矫正、色彩矫正(color correction)、gamma矫正、色彩空间转换(RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制，图像压缩等。ISP将不同曝光值的图像合并生成图像，进一步为 HDR图像提供局部色调缩放，用长曝光像素填充暗区，用短曝光像素填充类似的亮区。这使得视频流具有扩展的动态范围，非常适合驾驶员和图像识别平台使用。随着数据速率的提高，可以将ISP模块与图像传感器分离，以限制功耗和热量的产生，从而改善图像质量。
具有专用ISP的新一代高性能视觉SoC具有先进的HDR和LFM功能，可以同时处理多个输入数据流。ISP的内部结构通常包括：CPU即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备，主流ISP内部的 CPU一般都是ARM Cortex-A系列的，例如Cortex-A5、Cortex-A7；SUB IP是各种功能模块的通称，对图像进行各自专业的处理，常见的SUB IP如DIS、 CSC、VRA等；图像传输接口，主要分两种，并口ITU和串口CSI，CSI是MIPI CSI的简称，鉴于MIPI CSI的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI接口传输图像数据和各种自定义数据；通用外围设备，指I2C、SPI、 PWM、UART、WATCHDOG等，ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。
本发明综合控制模块除了具备常规汽车ECU执行控制功能之外，还必须具备高速处理和并行计算能力，另外功耗控制也非常严格。所述综合控制模块是一个高性能图像处理平台。这些平台基于计算机视觉技术，可以分析、检测和解释图像的一个或多个元素以做出合理的决策。图像处理平台基于特定的预定义概念从图像帧中提取信息，它可以执行包括识别行人、自行车和其他VRU，可进行图像分类，阅读交通和道路标志。这些动作从向驾驶员发出简单的视听警告到更复杂的决策应用程序(例如AEB、ACC、LKA和其他自动驾驶功能等)。
为了实现本发明的功能，采用的图像处理平台必须满足一系列先决条件：高速处理，平台需要具备实时数据处理能力，应该能够快速检测并识别图像模型，并确定是否存在潜在危险，做出适当的决策；并行计算能力，平台必须具有同时支持多个应用程序的能力，强大的计算能力可以在毫秒内以极低的延迟并行处理多个摄像头的数据；功耗：汽车图像处理计算平台应支持低功耗运行，常规的图像识别系统基于耗电量巨大的处理单元GPU，因此这些平台的设计必须尽可能降低功耗，这一点至关重要；热管理，图像处理平台与图像传感器会一起产生大量的热，这可能会导致热管理问题，这些组件的位置也增加了发热问题，暴露在阳光和发动机热量下也会增加这些组件的热负荷；超高数据传输率，车载摄像头模块可以每秒生成接近GB的数据，需要高速专用数据传输接口才能将生成的数据传递到处理单元。在不久的将来，每辆车会安装5–12个摄像头模块，因此需要采用高速光纤接口解决方案将数据从摄像头模块传输到图像处理平台，实现组件到应用处理器之间的高速和低延迟数据传输。
本发明所述的应急安全响应模块，具备SOS紧急呼叫系统和E-Call系统。 SOS紧急呼叫系统的主要作用是当车辆处于紧急情况时，SOS紧急呼叫可以根据用户反馈提供应急救援服务。例如当用户遭遇车祸受伤或出现疾病时，只需按下SOS按钮，紧急呼叫服务便启动并帮助用户寻求救援。“紧急救援”E-Call 系统，使用移动电话和卫星定位功能，在发生交通事故后，与最近的救援中心的统一号码(如中国的122、欧盟的112)建立电话连接，除语音连接之外，车载eCall系统还上报传输有关事故地点、事故类型和车辆的信息。所有由交通事故造成死亡的人员，绝大部分(90％以上)是在到达医院之前就失去了生命，但是，被顺利送达医院的伤员成功救助的概率非常高。本发明所述的应急安全响应模块将为车主提供全方位的出行安全保障，让所有车辆都能够具备豪华车辆才有的智能急救系统，在车辆发生碰撞等交通事故时能够第一时间主动将碰撞信号传回救援服务中心，为车主提供最及时的救援和救护，大大缩短救人、救援时间。
本发明高速总线通信模块用于对车顶控制模块和车身核心CPU之间通信，此外还需要对典型的车灯信号进行控制，因此需要传输核心信号控制和电气 ECU控制功能，不需要传输高速的图像视频信号，因此采用CAN总线和LIN 总线结合的通信网络。处处都用CAN总线的话，那整车的总线架构成本将会变得很高，在一些比如车身电子配件的地方(如车窗、后视镜、大灯、车锁等)，不需要报文像CAN总线上传输的那样“高速”，采用LIN总线进行通信。LIN 总线是基于UART/SCI(通用异步收发器/串行接口)的低成本串行通讯协议，本发明中LIN总线的目标定位于车身网络模块节点间的低端通信，主要用于触摸屏蔽信号、SOS报警按键信号、前排左阅读灯按键信号、前排右阅读灯按键信号和阅读灯全亮按键信号等传感器和执行器的串行通信。CAN总线是一种多主控(Multi-Master)的总线系统，它不同于USB或以太网等传统总线系统是在总线控制器的协调下，实现A节点到B节点大量数据的传输，CAN网络的消息是广播式的，亦即在同一时刻网络上所有节点侦测的数据是一致的，因此比较适合传输诸如高速控制指令等短消息的快速传输。本发明中高速总线通信模块和驾驶行为识别控制模块任意一种或多种信号指示非正常时，CAN总线用于实现高速控制指令在汽车内互连系统的快速传输。
图3为本发明驾驶行为识别模块学习模型原理图，基于训练样本数据，采用VGG16深度学习网络、多级空间注意力模块和多级通道注意力模块相融合来构建网络，然后训练网络以获取优选网络模型，具体包括以下步骤：
步骤1，通过内置车顶监控摄像头拍摄驾驶员图像，建立驾驶员行为识别数据集，随机选取224*224的RGB图像块作为驾驶员行为识别的训练样本，涵盖正常驾驶、打电话、玩手机、抽烟、喝水5种不同的驾驶行为，分别用1到5 代表训练样本对应的驾驶行为标签。
步骤2，以VGG16深度学习网络融入多级空间注意力模块和多级通道注意力模块来构建网络。图4为本发明驾驶行为识别模块学习模型各级子网络流程图，包括6级子网络，具体如下：
第1级子网络以分辨率为224*224*3的原始RGB图像块作为输入，其中 224*224*3表示输入图像块大小为224*224像素、通道数为3，先后经过2个64 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为112*112*64的特征图，其中特征图大小为112*112像素、通道数为 64；
第2级子网络以分辨率为112*112*64的特征图作为输入，先后经过2个128 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为56*56*128的特征图，其中特征图大小为56*56像素、通道数为128；
第3级子网络以分辨率为56*56*128的特征图作为输入，先后经过3个256 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为28*28*256的特征图，其中特征图大小为28*28像素、通道数为256；
第4级子网络以分辨率为28*28*256的特征图作为输入，先后经过3个512 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为14*14*512的特征图，其中特征图大小为14*14像素、通道数为512；
第5级子网络以分辨率为14*14*512的特征图作为输入，先后经过3个512 通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为7*7*512的特征图，其中特征图大小为7*7像素、通道数为512；
第6级子网络以分辨率为7*7*512的特征图作为输入，先后经过2个4096 节点的全连接层+ReLU激活层、5个节点的全连接层+ReLU激活层、Softmax 标准化层，输出5维的特征向量，用于表示5种不同驾驶行为类别的概率。
图4中第2级子网络、第3级子网络、第4级子网络、第5级子网络均包含1个混合注意力模块，均由空间注意力模块和通道注意力模块并联结构组成，可同时捕获空间维度和通道维度的语义相关性，通过以下步骤生成混合注意力特征：
步骤2.1，空间注意力模块首先应用3个1*1卷积层对混合注意力模块的输入特征进行降维，获得3个降维特征；
步骤2.2，空间注意力模块应用1*1卷积层输出的任意2个降维特征来生成空间注意力矩阵，用于反映空间特征中每个像素点对于驾驶员行为识别的重要程度，通道注意力模块应用混合注意力模块的输入特征生成通道注意力矩阵，反映每个通道特征对于驾驶员行为识别的重要程度；
步骤2.3，空间注意力模块将生成的空间注意力矩阵与1*1卷积层输出的另一个降维特征进行矩阵乘法运算，再经过1*1卷积层升维后与混合注意力模块的输入特征进行逐元素求和运算，获得反映空间维度语义相关性的空间注意力特征，通道注意力模块将混合注意力模块的输入特征与生成的通道注意力矩阵进行矩阵乘法运算后，再与混合注意力模块的输入特征进行逐元素求和运算，获得反映通道维度语义相关性的通道注意力特征。
步骤2.4，将空间注意力特征和通道注意力特征进行逐元素求和运算，获得混合注意力特征。
具体用公式表示如下：
步骤2.1，应用3个1*1卷积层对混合注意力模块的输入特征x进行降维，具体可表示为：
Figure BDA0003772652470000111
其中，Wa、Wb、Wc分别表示3个1*1卷积层要学习的权重矩阵，xa、xb、 xc分别表示1*1卷积层输出的降维特征。
步骤2.2，应用降维特征xa、xb和混合注意力模块的输入特征x分别生成空间注意力矩阵As和通道注意力矩阵Ac，具体可表示为：
Figure BDA0003772652470000112
其中，As反映空间特征中每个像素对于驾驶行为识别的重要程度，Ac反映每个通道特征对于驾驶员行为识别的重要程度。
步骤2.3，应用空间注意力矩阵As、降维特征xc进行矩阵乘法运算后经过1*1 卷积层升维与输入特征x进行逐元素求和，获得反映空间维度语义相关性的空间注意力特征fs(x)，应用输入特征x、通道注意力矩阵Ac进行矩阵乘法运算后与输入特征x进行逐元素求和，获得反映通道维度语义相关性的通道注意力特征 fc(x)，具体可表示为：
Figure BDA0003772652470000113
其中Wd为1*1卷积层要学习的权重矩阵，+x表示残差学习。
步骤2.4，将空间注意力特征fs(x)和通道注意力特征fc(x)进行逐元素求和运算，获得混合注意力特征f(x)，具体可表示为：
f(x)＝fs(x)+fc(x)
步骤3，将代表不同驾驶行为的训练样本送入所构建的网络中进行训练，应用交叉熵损失函数来监督网络的训练过程，通过随机梯度下降法进行多次迭代不断地优化网络模型参数，从而获取用于驾驶员行为识别的优选模型。交叉熵损失函数L具体可表示为：
Figure BDA0003772652470000121
其中N表示驾驶行为类别总数，vi表示真实的类别，
Figure BDA0003772652470000122
表示预测的类别输出。
以上得到了用于驾驶员驾驶行为识别的优选模型，使用该模型进行驾驶员行为识别，能够提升驾驶员行为识别的性能。
本发明所述的开关按键及灯光控制模块，通常设置有触摸屏蔽按键、SOS 报警按键、前排左阅读灯按键、前排右阅读灯按键、阅读灯全亮按键；所述触摸信号的类别包括触摸屏蔽信号、SOS报警按键信号、前排左阅读灯按键信号、前排右阅读灯按键信号、阅读灯全亮按键信号。图6所示为典型的一种阅读灯驱动显示电路包括NPN三极管Q6，该NPN三极管Q6的集电极与电阻R13的一端连接，该电阻R13的一端还经电容C22接地，所述电阻R13的另一端用于连接所述汽车顶灯MCU的前排右阅读灯控制输出端；所述NPN三极管Q6集电极与发射极之间连接有电容C11，所述NPN三极管Q6发射极接地，所述NPN 三极管Q6的集电极还与NPN三极管Q4的基极连接，所述NPN三极管Q4的发射极经电阻R43接地，所述NPN三极管Q6基极与所述NPN三极管Q4发射极连接，所述NPN三极管Q4集电极与发光二极管LED17的阴极连接，所述发光二极管LED17的阳极经由电阻R1、电阻R2、电阻R3组成的并联电阻后接所述电源模块的VS输出端，所述发光二极管LED17的两端并联有电容C1和电阻R8；所述电容C22的电容量均为10nF。
图7本发明电源供电模块电路框图，采用Buck变换器进行控制，具有结构简单，输出电压稳态误差小的优势。该电源系统包括：Buck变换器、功率开关管Q1、续流电感L1、分压电阻R73、分压电阻R74、续流管Q2和输出电容 COUT。通过控制每个周期的开关时间实现电能转换的功率电路，由Buck控制器70生成的PWM信号控制开关管Q1和Q2的闭合与断开，电感L1和输出电容COUT组成一个二阶滤波网络，将左侧斩波电路生成的幅值为VIN的方波信号进行滤波，从而生成直流电压VOUT。通过控制开关管Q1闭合的时间，就能控制Buck变换器的占空比，我们就能控制输出电压的大小。
所述Buck变换器70内部包括：抖频时钟产生电路、EA放大器、电流比较器COMP、电流采样电路CS、脉冲锁定Lock模块和控制驱动模块 Logic&Driver。整体开关电源工作时，一方面开关电源输出电压经分压后的反馈电压FB输入到误差放大器EA与基准电压Vref相减放大，得到产生补偿参考电压Vc；另一方面通过将该参考电压Vc与采样的开关电源输出电流信号CS在比较器COMP进行比较从而确定功率开关管导通或断开的时间点，脉冲锁定Lock 模块在抖频时钟产生电路的控制下，对脉冲信号进行调制，调制输出Dctrl最终进入控制驱动模块Logic&Driver，产生Q1和Q2的栅极驱动开关信号。为限制电源的EMI干扰，本发明Buck控制器采用抖频技术来降低EMI峰值能量。Buck 控制器内部采用了抖频时钟产生电路，对输出控制开关频率的信号带宽进行调制，通过带宽放大减小EMI峰值。
如图8所示，本发明抖频时钟产生电路包括：PMOS管M800、PMOS管 M801、PMOS管M802、PMOS管M803、PMOS管M805、PMOS管M806、PMOS 管M821、PMOS管M830、NMOS管M808、NMOS管M809、NMOS管M810、 PMOS管M811、NMOS管M822、电阻R81、电阻R821、电阻R822、电容C81、电容C82、电容C821、N个开关NMOS管M831～M83N、N个串联电阻 R831～R83N、伪随机码产生电路、反相器Inv800、反相器Inv801、反相器Inv802、反相器Inv830、X个时钟输出反相器、缓冲器Buf80、PMOS管M840、NMOS 管M841、PMOS管M845、NMOS管M846、PMOS管M847、NMOS管M848、电容C840、电阻R840、电容C841、电阻R841、电容C842和电阻R842；
其中，所述PMOS管M800的连接到漏极电阻R821的上端，PMOS管M800 的栅极、PMOS管M801的栅极、PMOS管M802的栅极和PMOS管M803的栅极均连接到偏置电压Vbc81；电阻R821的下端连接到电阻R822上端、PMOS 管M821的源极和PMOS管M805的栅极；PMOS管M821的漏极和NMOS管 M822的漏极相连，并连接到电容C821的上端；
PMOS管M801的源极的漏极连接到PMOS管M805的源极和PMOS管 M806的源极；PMOS管M805的漏极连接到NMOS管M808的栅极和漏极，以及NMOS管M809的栅极；PMOS管M806的漏极连接到NMOS管M809的漏极，以及NMOS管M810的栅极和电阻R81的上端；电阻R81的下端连接到电容C81的上端；NMOS管M810的漏极连接到PMOS管M802的漏极，以及PMOS 管M811的栅极；PMOS管M811的源极连接到电阻R83的下端和电容C82的上端，还作为振荡器电源电压VCC_OSC连接到反相器Inv800的电源电压端口、反相器Inv801的电源电压端口、反相器Inv802的电源电压端口和缓冲器Buf80 的电源电压端口；电阻R83的上端连接到PMOS管M803的漏极；
PMOS管M830的漏极连接到电阻R830的上端，R831的上端即为N个串联电阻组成的电阻串的上端，R83N的下端即为N个串联电阻组成的电阻串的下端，N个串联电阻组成的电阻串的连接关系为：电阻R831的下端连接到电阻 R832的上端、电阻R832的下端连接到电阻R833的上端、电阻R83M-1的下端连接到电阻R83M的上端(其中，M为小于N的整数)、电阻R83N-1的下端连接到电阻R83N的上端；NMOS管M831的漏极连接到电阻R831的上端，NMOS 管M831的源极连接到电阻R831的下端、电阻R832的上端和NMOS管M832 的漏极；NMOS管M832的源极连接到电阻R832的下端、电阻R833的上端和 NMOS管M833的漏极；NMOS管M83M-1的源极连接到电阻R83M-1的下端、电阻R83M的上端和NMOS管M83M的漏极；NMOS管M83N-1的源极连接到电阻R83N-1的下端、电阻R83N的上端和NMOS管M83N的漏极；伪随机码产生电路输出的伪随机码P1连接到NMOS管M831的栅极，伪随机码产生电路输出的伪随机码P2连接到NMOS管M832的栅极，伪随机码产生电路输出的伪随机码PM连接到NMOS管M83M的栅极，伪随机码产生电路输出的伪随机码 PN连接到NMOS管M83N的栅极；
NMOS管M808的源极、NMOS管M809的源极、NMOS管M822的源极、电容C821的下端、电容C81的下端、电阻R822的下端、NMOS管M83N的源极、电阻R83N的下端、PMOS管M811的漏极和电容C82的下端均接地电压 GND；PMOS管M800的源极、PMOS管M801的源极、PMOS管M802的源极、 PMOS管M803的源极和PMOS管M830的源极同时连接到电源电压VCC；
反相器Inv800、反相器Inv801、反相器Inv802构成一个参考时钟环形振荡器，参考时钟环形振荡器的输出连接到缓冲器Buf80的输入端，缓冲器Buf80 的输出端为参考时钟信号OSC_out；电容C840的左侧连接到参考时钟信号 OSC_out信号，电容C840的右侧同时连接到电阻R840的上端、电容C841下端和电容C842的上端；电容C841上端连接到电阻R841的下端和PMOS管M85 的栅极，电容C842的下端连接到电阻R842的上端和NMOS管M86的栅极；电阻R841的上端连接到PMOS管M840的漏极，电阻R842的下端连接到NMOS 管M841的漏极，PMOS管M842的栅极连接到偏置电压Vb82P，NMOS管M821 的栅极连接到偏置电压Vb82N；PMOS管M845的漏极连接到NMOS管M846 的漏极，还连接到PMOS管M847和NMOS管M848的栅极；PMOS管M847 的漏极连接到NMOS管M848的漏极，还连接到X个时钟输出反相器的输入端和反相器Inv830的输入端；X个输出反相器的输出端连接X个输出时钟信号 CK1～CKX；反相器Inv830的输出端作为反馈时钟CK_fb，还连接到PMOS管 M821的栅极和NMOS管M822的栅极；所述电阻R840的下端、NMOS管M841 的源极、NMOS管M846的源极和NMOS管M848的源极同时连接到地电压 GND；PMOS管M840的源极、PMOS管M845的源极和PMOS管M847的源极同时连接到电源电压VCC；其中，X为任意正整数。
如图8所示电路在具体电路结构上，分为7大功能细分模块：由PMOS管 M801、PMOS管M802、PMOS管M805、PMOS管M806、NMOS管M808、 NMOS管M809、NMOS管M810、电阻R81和电容C81构成的两级误差放大器；由PMOS管M803、PMOS管M811、电阻R83和电容C82构成的跟随缓冲器；由PMOS管M800、PMOS管M821、NMOS管M822、电阻R821、电阻R822 和电容C821构成的反馈时钟检测电路；由PMOS管M830、电阻R830、N个串联电阻、N个开关NMOS管和伪随机码产生电路构成的抖频参考电压产生电路；由反相器Inv800、反相器Inv801、反相器Inv802构成一个参考时钟环形振荡器；由缓冲器Buf80、PMOS管M840、NMOS管M841、电容C840、电阻 R840、电容C841、电阻R841、电容C842和电阻R842构成的滤波耦合电路；由PMOS管M845、NMOS管M846、PMOS管M847、NMOS管M848、X个时钟输出反相器和反相器Inv830构成的时钟输出缓冲电路；
所述两级误差放大器的第一差分输入端为PMOS管M805的栅极，所述两级误差放大器的第二差分输入端为PMOS管M806的栅极，所述两级误差放大器的放大输出端连接PMOS管M802的漏极和NMOS管M810的漏极；所述跟随缓冲器的信号输入端为PMOS管M811的栅极，所述跟随缓冲器的信号输出端即为振荡器电源电压VCC_OSC；所述反馈时钟检测电路的输入端CK_fb连接到PMOS管M821的栅极和NMOS管M822的栅极，所述反馈时钟检测电路的输出端为时钟反馈电压Vckfb，连接到所述两级误差放大器的第一差分输入端；所述抖频参考电压产生电路的基准电压输入端Vref为PMOS管M830的栅极，所述抖频参考电压产生电路产生的抖频参考电压Vrdith连接到所述两级误差放大器的第二差分输入端；所述两级误差放大器的放大输出端连接到所述跟随缓冲器的信号输入端，所述跟随缓冲器的信号输出端即为振荡器电源电压 VCC_OSC；所述参考时钟环形振荡器根据振荡器电源电压VCC_OSC产生参考时钟信号OSC_out；所述滤波耦合电路对参考时钟信号OSC_out进行滤波和耦合，然后经时钟输出缓冲电路得到X路输出时钟CK1～CKX和反馈时钟CK_fb。
由于芯片中的时钟信号的输出频率特别容易受PVT波动影响，本发明为限制PVT波动对输出时钟CK1～CKX频率的影响，采用了2种措施。一是参考时钟环形振荡器所依据的振荡器电源电压VCC_OSC依据参考电压产生，与VCC 电压不同，具有更高的抗干扰特性；二是采用反馈时钟CK_fb对振荡器电源电压VCC_OSC进行反馈控制，最终保持输出时钟CK1～CKX的稳定性。电源电压VCC产生变化时，只要保证基准信号控制的振荡器电源电压VCC_OSC不变，输出时钟CK1～CKX频率也将保持不变。
假设PVT变化使得反馈时钟CK_fb频率发生偏移，反馈时钟检测电路将会检测到该偏移并改变时钟反馈电压Vckfb，经两级误差放大器进行误差放大处理并连接到所述跟随缓冲器的信号输入端，并最终改变跟随缓冲器输出的振荡器电源电压VCC_OSC的大小。所述反馈时钟检测电路内部的PMOS管M821和 NMOS管M822将会在反馈时钟CK_fb的控制下，对电容C821进行充放电，使得电容C821形成一个等效阻抗RC821，RC821与R822并联之后的电阻与 R821分压，得到最终的时钟反馈电压Vckfb。反馈时钟CK_fb的频率高低显然等效阻抗RC821成反比。
当反馈时钟CK_fb频率减小时，等效阻抗RC821将会变高，两级误差放大器的误差电压输出将会升高，并最终使得跟随缓冲器输出的振荡器电源电压 VCC_OSC的电压升高，振荡器电源电压VCC_OSC的电压升高将会提高参考时钟环形振荡器输出的参考时钟信号OSC_out的频率，最终补偿提高反馈时钟 CK_fb频率；若反馈时钟CK_fb的频率变高，等效阻抗RC821将会降低，两级误差放大器的误差电压输出将会降低，并最终使得跟随缓冲器输出的振荡器电源电压VCC_OSC的电压降低，振荡器电源电压VCC_OSC的电压降低将会降低参考时钟环形振荡器输出的参考时钟信号OSC_out的频率，最终补偿降低反馈时钟CK_fb频率。
图8给出的实施例中，由缓冲器Buf80、PMOS管M840、NMOS管M841、电容C840、电阻R840、电容C841、电阻R841、电容C842和电阻R842构成的滤波耦合电路；由PMOS管M845、NMOS管M846、PMOS管M847、NMOS 管M848、X个时钟输出反相器和反相器Inv830构成的时钟输出缓冲电路。电容C80和电阻R80组成一个高通滤波器，将产生参考时钟信号OSC_out的高低电平直流分量进行隔直；电容C81和电阻R81组成第二个高通滤波器，电容C82 和电阻R82组成第三个高通滤波器；第二个高通滤波器和第三个高通滤波器的输出分别连接到时钟输出缓冲电路两个时钟信号输入端，即PMOS管M85的栅极和NMOS管M86的栅极；时钟输出缓冲电路两个输入时钟信号经过PMOS 管M85和NMOS管M86构成的推挽放大电路处理，得到高低电平分别转换移位过的新时钟信号，然后经输出反相器缓冲整形，得到最终输出时钟。上述过程的功能是通过高通滤波器的电容耦合，将摆幅为VCC_OSC的输入时钟转换为摆幅为VCC的输出时钟，实现电平的转换。输出时钟使用的电源为VCC，即使再大的干扰也不会反馈到输入时钟，从而保证参考时钟信号OSC_out的稳定性。
本发明通过在抖频参考电压产生电路内部采用伪随机码对振荡器电源电压 VCC_OSC进行调制的方式，产生具有伪随机抖动特性的振荡器电源电压 VCC_OSC，从而使得输出时钟CK1～CKX信号均变为抖频时钟，从而实现降低 EMI干扰的目标。所述抖频参考电压产生电路中，抖频参考电压Vrdith由电阻 R830和N个串联电阻组成的电阻串总电阻Rs83分压得到。而N个串联电阻组成的电阻串总电阻Rs83大小受N位伪随机码控制，因此抖频参考电压产生电路产生的抖频参考电压Vrdith具有伪随机特性。本发明实施方案中，N个串联电阻中任意两个电阻的阻值均不相同，且N个电阻中单个电阻阻值大小选择采用伪随机分布，即任意两个电阻之间的比值均不相同。这样就可以保证不同伪随机码控制下的抖频参考电压Vrdith之间的电压幅度差值均不同，实现抖频参考电压Vrdith幅度的随机特性。所述伪随机码产生电路产生的N位伪随机码 P1～PN，任意时刻只有1位伪随机码输出高电平，其余N-1位均为低电平；并且N位伪随机码P1～PN中任意1位伪随机码输出高电平的时间长度均不相同。这样可以保证保证不同伪随机码控制下的抖频参考电压Vrdith之间的任意一种电压的有效持续时间均不同，实现抖频参考电压Vrdith时间上的随机特性。本发明提供的抖频参考电压Vrdith不仅在幅度上具有伪随机特性，在时间上也具有伪随机特性，从而更接近自然噪声信号。并且随着伪随机码位数增加，抖频参考电压Vrdith越接近自然噪声信号。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种具有驾驶员行为识别功能的智能车顶控制系统，其特征是包括：开关按键及灯光控制模块、高速总线通信模块、电源供电模块、摄像头、图像预处理模块、图像存储器、综合控制模块和应急安全响应模块；
上述系统的连接关系为：综合控制模块的第一控制信号输出端连接到开关按键及灯光控制模块的控制信号输入端，综合控制模块的第二控制信号输出端连接到高速总线通信模块的控制信号输入端，综合控制模块的第三控制信号输出端连接到电源供电模块的控制信号输入端，综合控制模块的第四控制信号输出端连接到应急安全响应模块的控制信号输入端；综合控制模块的第一数据端口连接到图像预处理模块的第一数据端口，综合控制模块的第二数据端口连接到图像存储器的第一数据端口，图像预处理模块的第二数据端口连接到图像存储器的第二数据端口，综合控制模块的第三数据端口连接到开关按键及灯光控制模块的数据端口，综合控制模块的第四数据端口连接到高速总线通信模块的数据端口，综合控制模块的第五数据端口连接到电源供电模块的供电状态输出端；电源供电模块为上述所有电路提供供电。
2.根据权利要求1所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是系统启动时，按照先后次序依次开启不同的功能模块：首先开启电源供电模块、高速总线通信模块和综合控制模块；其次开启应急安全响应模块，在出现异常情况时由应急安全响应模块进行应急处理；然后开启开关按键及灯光控制模块、摄像头、图像预处理模块、图像存储器模块，所述摄像头、图像预处理模块和图像存储器模块协同构成驾驶行为识别控制模块；所述综合控制模块根据驾驶行为识别控制模块产生的驾驶行为识别数据和开关按键的指令进行功能控制；
当所有功能模块都开启后，所述综合控制模块根据驾驶行为识别控制模块、开关按键及灯光控制模块、高速总线通信模块和电源供电模块通过各自数据输出端所提供的所有输出数据，综合判决并决定所述具有驾驶员行为识别功能的智能车顶控制系统的工作模式；所述工作模式包括应急安全模式和正常工作模式两种模式；高速总线通信模块和驾驶行为识别控制模块任意一种或多种信号指示非正常时，所述综合控制模块开启应急安全模式，此时应急安全响应模块对外发送求救信号；所述具有驾驶员行为识别功能的智能车顶控制系统进入应急安全模式时，应急安全响应模块将会一直开启。
3.根据权利要求1所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述的驾驶行为识别控制模块采用VGG16深度学习网络、多级空间注意力模块和多级通道注意力模块相融合来构建网络，然后训练网络以获取优选网络模型。
4.根据权利要求3所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述的驾驶行为识别控制模块包括6级子网络，具体包括：
第1级子网络以分辨率为224*224*3的原始RGB图像块作为输入，其中224*224*3表示输入图像块大小为224*224像素、通道数为3，先后经过2个64通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为112*112*64的特征图，其中特征图大小为112*112像素、通道数为64；
第2级子网络以分辨率为112*112*64的特征图作为输入，先后经过2个128通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为56*56*128的特征图，其中特征图大小为56*56像素、通道数为128；
第3级子网络以分辨率为56*56*128的特征图作为输入，先后经过3个256通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为28*28*256的特征图，其中特征图大小为28*28像素、通道数为256；
第4级子网络以分辨率为28*28*256的特征图作为输入，先后经过3个512通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为14*14*512的特征图，其中特征图大小为14*14像素、通道数为512；
第5级子网络以分辨率为14*14*512的特征图作为输入，先后经过3个512通道3*3卷积层+ReLU激活层、1个混合注意力模块、1个2*2最大池化层，输出分辨率为7*7*512的特征图，其中特征图大小为7*7像素、通道数为512；
第6级子网络以分辨率为7*7*512的特征图作为输入，先后经过2个4096节点的全连接层+ReLU激活层、5个节点的全连接层+ReLU激活层、Softmax标准化层，输出5维的特征向量，用于表示5种不同驾驶行为类别的概率。
5.根据权利要求4所述的的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述的驾驶行为识别控制模块第2级子网络、第3级子网络、第4级子网络、第5级子网络均包含1个混合注意力模块，均由空间注意力模块和通道注意力模块并联结构组成，可同时捕获空间维度和通道维度的语义相关性，通过以下步骤生成混合注意力特征：
步骤1，空间注意力模块首先应用3个1*1卷积层对混合注意力模块的输入特征进行降维，获得3个降维特征；
步骤2，空间注意力模块应用1*1卷积层输出的任意2个降维特征来生成空间注意力矩阵，用于反映空间特征中每个像素点对于驾驶员行为识别的重要程度，通道注意力模块应用混合注意力模块的输入特征生成通道注意力矩阵，反映每个通道特征对于驾驶员行为识别的重要程度；
步骤3，空间注意力模块将生成的空间注意力矩阵与1*1卷积层输出的另一个降维特征进行矩阵乘法运算，再经过1*1卷积层升维后与混合注意力模块的输入特征进行逐元素求和运算，获得反映空间维度语义相关性的空间注意力特征，通道注意力模块将混合注意力模块的输入特征与生成的通道注意力矩阵进行矩阵乘法运算后，再与混合注意力模块的输入特征进行逐元素求和运算，获得反映通道维度语义相关性的通道注意力特征。
步骤4，将空间注意力特征和通道注意力特征进行逐元素求和运算，获得混合注意力特征。
6.根据权利要求1所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述电源供电模块包括：Buck变换器、功率开关管Q1、续流电感L1、分压电阻R73、分压电阻R74、续流管Q2和输出电容COUT；
所述Buck变换器70内部包括：抖频时钟产生电路、EA放大器、电流比较器COMP、电流采样电路CS、脉冲锁定Lock模块和控制驱动模块Logic&Driver；
一方面开关电源输出电压经分压后的反馈电压FB输入到误差放大器EA与基准电压Vref相减放大，得到产生补偿参考电压Vc；另一方面通过将该参考电压Vc与采样的开关电源输出电流信号CS在比较器COMP进行比较从而确定功率开关管导通或断开的时间点，脉冲锁定Lock模块在抖频时钟产生电路的控制下，对脉冲信号进行调制，调制输出Dctrl最终进入控制驱动模块Logic&Driver，产生Q1和Q2的栅极驱动开关信号。
7.根据权利要求6所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述抖频时钟产生电路包括：PMOS管M800、PMOS管M801、PMOS管M802、PMOS管M803、PMOS管M805、PMOS管M806、PMOS管M821、PMOS管M830、NMOS管M808、NMOS管M809、NMOS管M810、PMOS管M811、NMOS管M822、电阻R81、电阻R821、电阻R822、电容C81、电容C82、电容C821、N个开关NMOS管M831～M83N、N个串联电阻R831～R83N、伪随机码产生电路、反相器Inv800、反相器Inv801、反相器Inv802、反相器Inv830、X个时钟输出反相器、缓冲器Buf80、PMOS管M840、NMOS管M841、PMOS管M845、NMOS管M846、PMOS管M847、NMOS管M848、电容C840、电阻R840、电容C841、电阻R841、电容C842和电阻R842；
其中，所述PMOS管M800的连接到漏极电阻R821的上端，PMOS管M800的栅极、PMOS管M801的栅极、PMOS管M802的栅极和PMOS管M803的栅极均连接到偏置电压Vbc81；电阻R821的下端连接到电阻R822上端、PMOS管M821的源极和PMOS管M805的栅极；PMOS管M821的漏极和NMOS管M822的漏极相连，并连接到电容C821的上端；
PMOS管M801的源极的漏极连接到PMOS管M805的源极和PMOS管M806的源极；PMOS管M805的漏极连接到NMOS管M808的栅极和漏极，以及NMOS管M809的栅极；PMOS管M806的漏极连接到NMOS管M809的漏极，以及NMOS管M810的栅极和电阻R81的上端；电阻R81的下端连接到电容C81的上端；NMOS管M810的漏极连接到PMOS管M802的漏极，以及PMOS管M811的栅极；PMOS管M811的源极连接到电阻R83的下端和电容C82的上端，还作为振荡器电源电压VCC_OSC连接到反相器Inv800的电源电压端口、反相器Inv801的电源电压端口、反相器Inv802的电源电压端口和缓冲器Buf80的电源电压端口；电阻R83的上端连接到PMOS管M803的漏极；
PMOS管M830的漏极连接到电阻R830的上端，R831的上端即为N个串联电阻组成的电阻串的上端，R83N的下端即为N个串联电阻组成的电阻串的下端，N个串联电阻组成的电阻串的连接关系为：电阻R831的下端连接到电阻R832的上端、电阻R832的下端连接到电阻R833的上端、电阻R83M-1的下端连接到电阻R83M的上端、电阻R83N-1的下端连接到电阻R83N的上端；NMOS管M831的漏极连接到电阻R831的上端，NMOS管M831的源极连接到电阻R831的下端、电阻R832的上端和NMOS管M832的漏极；NMOS管M832的源极连接到电阻R832的下端、电阻R833的上端和NMOS管M833的漏极；NMOS管M83M-1的源极连接到电阻R83M-1的下端、电阻R83M的上端和NMOS管M83M的漏极；NMOS管M83N-1的源极连接到电阻R83N-1的下端、电阻R83N的上端和NMOS管M83N的漏极；伪随机码产生电路输出的伪随机码P1连接到NMOS管M831的栅极，伪随机码产生电路输出的伪随机码P2连接到NMOS管M832的栅极，伪随机码产生电路输出的伪随机码PM连接到NMOS管M83M的栅极，伪随机码产生电路输出的伪随机码PN连接到NMOS管M83N的栅极；
NMOS管M808的源极、NMOS管M809的源极、NMOS管M822的源极、电容C821的下端、电容C81的下端、电阻R822的下端、NMOS管M83N的源极、电阻R83N的下端、PMOS管M811的漏极和电容C82的下端均接地电压GND；PMOS管M800的源极、PMOS管M801的源极、PMOS管M802的源极、PMOS管M803的源极和PMOS管M830的源极同时连接到电源电压VCC；
反相器Inv800、反相器Inv801、反相器Inv802构成一个参考时钟环形振荡器，参考时钟环形振荡器的输出连接到缓冲器Buf80的输入端，缓冲器Buf80的输出端为参考时钟信号OSC_out；电容C840的左侧连接到参考时钟信号OSC_out信号，电容C840的右侧同时连接到电阻R840的上端、电容C841下端和电容C842的上端；电容C841上端连接到电阻R841的下端和PMOS管M85的栅极，电容C842的下端连接到电阻R842的上端和NMOS管M86的栅极；电阻R841的上端连接到PMOS管M840的漏极，电阻R842的下端连接到NMOS管M841的漏极，PMOS管M842的栅极连接到偏置电压Vb82P，NMOS管M821的栅极连接到偏置电压Vb82N；PMOS管M845的漏极连接到NMOS管M846的漏极，还连接到PMOS管M847和NMOS管M848的栅极；PMOS管M847的漏极连接到NMOS管M848的漏极，还连接到X个时钟输出反相器的输入端和反相器Inv830的输入端；X个输出反相器的输出端连接X个输出时钟信号CK1～CKX；反相器Inv830的输出端作为反馈时钟CK_fb，还连接到PMOS管M821的栅极和NMOS管M822的栅极；所述电阻R840的下端、NMOS管M841的源极、NMOS管M846的源极和NMOS管M848的源极同时连接到地电压GND；PMOS管M840的源极、PMOS管M845的源极和PMOS管M847的源极同时连接到电源电压VCC；
其中，X为任意正整数，M为小于N的正整数，N＝2K，K为任意正整数。
8.根据权利要求7所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述抖频时钟产生电路在具体电路结构上，分为7大功能细分模块：由PMOS管M801、PMOS管M802、PMOS管M805、PMOS管M806、NMOS管M808、NMOS管M809、NMOS管M810、电阻R81和电容C81构成的两级误差放大器；由PMOS管M803、PMOS管M811、电阻R83和电容C82构成的跟随缓冲器；由PMOS管M800、PMOS管M821、NMOS管M822、电阻R821、电阻R822和电容C821构成的反馈时钟检测电路；由PMOS管M830、电阻R830、N个串联电阻、N个开关NMOS管和伪随机码产生电路构成的抖频参考电压产生电路；由反相器Inv800、反相器Inv801、反相器Inv802构成一个参考时钟环形振荡器；由缓冲器Buf80、PMOS管M840、NMOS管M841、电容C840、电阻R840、电容C841、电阻R841、电容C842和电阻R842构成的滤波耦合电路；由PMOS管M845、NMOS管M846、PMOS管M847、NMOS管M848、X个时钟输出反相器和反相器Inv830构成的时钟输出缓冲电路；
所述两级误差放大器的第一差分输入端为PMOS管M805的栅极，所述两级误差放大器的第二差分输入端为PMOS管M806的栅极，所述两级误差放大器的放大输出端连接PMOS管M802的漏极和NMOS管M810的漏极；所述跟随缓冲器的信号输入端为PMOS管M811的栅极，所述跟随缓冲器的信号输出端即为振荡器电源电压VCC_OSC；所述反馈时钟检测电路的输入端CK_fb连接到PMOS管M821的栅极和NMOS管M822的栅极，所述反馈时钟检测电路的输出端为时钟反馈电压Vckfb，连接到所述两级误差放大器的第一差分输入端；所述抖频参考电压产生电路的基准电压输入端Vref为PMOS管M830的栅极，所述抖频参考电压产生电路产生的抖频参考电压Vrdith连接到所述两级误差放大器的第二差分输入端；所述两级误差放大器的放大输出端连接到所述跟随缓冲器的信号输入端，所述跟随缓冲器的信号输出端即为振荡器电源电压VCC_OSC；所述参考时钟环形振荡器根据振荡器电源电压VCC_OSC产生参考时钟信号OSC_out；所述滤波耦合电路对参考时钟信号OSC_out进行滤波和耦合，然后经时钟输出缓冲电路得到X路输出时钟CK1～CKX和反馈时钟CK_fb。
9.根据权利要求8所述的具有驾驶员行为识别功能的智能车顶控制系统，其特征是所述抖频参考电压产生电路中的抖频参考电压Vrdith由电阻R830和N个串联电阻组成的电阻串总电阻分压得到；
N个串联电阻中任意两个电阻的阻值均不相同，且N个电阻中单个电阻阻值大小选择采用伪随机分布，即任意两个电阻之间的比值均不相同，实现抖频参考电压Vrdith幅度的随机特性；
所述伪随机码产生电路产生的N位伪随机码P1～PN，任意时刻只有1位伪随机码输出高电平，其余N-1位均为低电平；并且N位伪随机码P1～PN中任意1位伪随机码输出高电平的时间长度均不相同，实现抖频参考电压Vrdith时间上的随机特性。
CN202210911939.8A 2022-07-29 2022-07-29 具有驾驶员行为识别功能的车顶控制系统 Pending CN115214497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210911939.8A CN115214497A (zh) 2022-07-29 2022-07-29 具有驾驶员行为识别功能的车顶控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210911939.8A CN115214497A (zh) 2022-07-29 2022-07-29 具有驾驶员行为识别功能的车顶控制系统

Publications (1)

Publication Number Publication Date
CN115214497A true CN115214497A (zh) 2022-10-21

Family

ID=83615152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210911939.8A Pending CN115214497A (zh) 2022-07-29 2022-07-29 具有驾驶员行为识别功能的车顶控制系统

Country Status (1)

Country Link
CN (1) CN115214497A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115583249A (zh) * 2022-12-13 2023-01-10 深圳佑驾创新科技有限公司 一种模块化自动驾驶硬件系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115583249A (zh) * 2022-12-13 2023-01-10 深圳佑驾创新科技有限公司 一种模块化自动驾驶硬件系统

Similar Documents

Publication Publication Date Title
JP7141440B2 (ja) 固体撮像素子
CN111164965B (zh) 固态摄像器件和电子设备
US20190228236A1 (en) Method for processing sensor data in multiple control units, preprocessing unit, and transportation vehicle
CN208848911U (zh) 固体摄像元件
CN112913224B (zh) 固态成像元件和成像装置
WO2018163873A1 (ja) 固体撮像装置および電子機器
US20210218913A1 (en) Dynamic Vision Sensor
JP2020072471A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20240015412A1 (en) Sensor and control method
WO2020158583A1 (ja) 固体撮像装置及び撮像装置
JP2020053827A (ja) 固体撮像素子、および、撮像装置
KR20210018257A (ko) 고체 촬상 소자, 촬상 장치, 및 고체 촬상 소자의 제어 방법
CN112585954B (zh) 固态成像元件与成像装置
CN115214497A (zh) 具有驾驶员行为识别功能的车顶控制系统
JP2020127186A (ja) 固体撮像装置及び撮像装置
WO2020195822A1 (ja) 撮像システム
WO2019239887A1 (ja) 撮像素子、制御方法、および電子機器
WO2020031439A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2020090311A1 (ja) 固体撮像素子
CN111742546B (zh) 放大电路、摄像装置和放大电路的控制方法
TWI838375B (zh) 固體攝像元件、攝像裝置及固體攝像元件之控制方法
KR20240002093A (ko) 카메라 모듈
CN218888598U (zh) 图像处理设备和车载系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination