CN102263937A - 基于视频检测的驾驶员驾驶行为监控装置及监控方法 - Google Patents
基于视频检测的驾驶员驾驶行为监控装置及监控方法 Download PDFInfo
- Publication number
- CN102263937A CN102263937A CN2011102107353A CN201110210735A CN102263937A CN 102263937 A CN102263937 A CN 102263937A CN 2011102107353 A CN2011102107353 A CN 2011102107353A CN 201110210735 A CN201110210735 A CN 201110210735A CN 102263937 A CN102263937 A CN 102263937A
- Authority
- CN
- China
- Prior art keywords
- driver
- processing unit
- central processing
- violation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于视频检测的驾驶员驾驶行为监控装置及监控方法。监控装置包括图像采集与预处理模块、功能按键模块、警报器、显示屏、外部存储卡、电源模块及中央处理器。监控方法包括:设备自检及中央处理器配置图像数据采集与预处理模块的内部寄存器;图像采集与预处理模块负责采集图像数据及对图像模拟信号进行预处理;预处理后的数据经中央处理器格式转换;再进行基于视频检测的驾驶员驾驶行为识别;若判断为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡中,以便后期核对跟踪。本发明能够有效监控驾驶员在驾驶期间是否有违规行为,对违规行为发出警报,可以有效的避免因驾驶员违规操作而造成的交通事故。
Description
技术领域
本发明涉及汽车安全技术领域,具体涉及基于视频检测的驾驶员驾驶行为监控装置及监控方法。
背景技术
在人、车、路组成的驾驶系统中,驾驶员是交通事故的最大诱因。2009年,我国道路交通事故近24万起,死亡近6.8万人。其中,绝大部分事故是由于驾驶员操作失误和疲劳驾驶造成的。由于年龄、生理或心理健康状况、情绪等方面的变化,即使优秀驾驶员也不一定能长久地保持其原有的良好驾驶状态,但驾驶员本人却很难意识到这种渐进性的衰减或消退。因此,监控驾驶员的驾驶行为并对违规行为给予警报,对提高驾驶员的驾驶能力并降低其驾驶负荷,协调好驾驶员与车辆以及交通环境之间的关系,从本质上减少交通事故状况的发生,具有重要意义。
目前,国内外在监控驾驶员驾驶行为方面已经取得了一些研究成果,大致可分为两种:一种是根据驾驶员的呼气中的酒精含量判断是否饮酒;根据驾驶员的眼皮和眼球的相对反射原理来判断驾驶员是否疲劳驾驶;根据驾驶员的脑电波或心电图来判断驾驶员是否疲劳等一些监控驾驶员在生理上是否处于正常状态的装置来对驾驶员的驾驶状态进行评价。另一种针对驾驶员的头部活动情况、面部特征(如眼睛,头部,脸部)变化等特征,运用计算机图像处理和模式识别技术进行分析,以判断驾驶员的驾驶行为和精神状态。然而,这些研究成果都是间接地对其驾驶行为进行判断监控,并没有对驾驶员的驾驶行为本身直接进行研究,存在测量误差和硬件成本较高等限制。
发明内容
为了解决上述现有技术所存在的问题,本发明提供了基于视频检测的驾驶员驾驶行为监控装置及监控方法,本发明通过摄像头采集包含驾驶员手部与方向盘的图像,再对图像的处理与识别来判断驾驶员在驾驶期间是否有违规行为,并根据相应违规动作做出警报提示驾驶员。本发明可以有效地避免因驾驶员违规操作而造成的交通事故。
本发明是通过以下的技术方案实现的:
本发明涉及一种基于视频检测的驾驶员驾驶行为监控装置,包括:电源模块、图像采集与预处理模块、功能按键模块、警报器、显示屏、外部存储卡及中央处理器。其中:电源模块的一个输出端与图像采集与预处理模块的电源输入端相连,电源模块的另一输出端与中央处理器的电源输入端相连;图像采集与预处理模块的图像输出接口与中央处理器的图像输入接口相连,且图像采集与预处理模块的总线接口与中央处理器的总线接口相连;功能按键模块的输出端与中央处理器的通用输入输出接口相连;警报器的输入端与中央处理器的PWM输出接口连接;显示屏的输入端与中央处理器的显示输出接口相连;外部存储卡通过外部存储卡插槽中央处理器相连。
上述的一种基于视频检测的驾驶员驾驶行为监控装置中,所述的电源模块包括滤波电路、变压电路及后备电源;电源模块分别给摄像头和中央处理器提供工作电压;另外,当工作电压处于异常状态时(低于正常电压或者断电),后备电源给图像采集与预处理模块及中央处理器提供一段时间的工作电压,以防止异常电压的情况下设备产生数据丢失的现象。
上述的一种基于视频检测的驾驶员驾驶行为监控装置中,所述的图像采集与预处理模块包括摄像头及视频处理芯片,摄像头的输出接口与视频处理芯片的输入端经视频电缆相连,中央处理器的总线接口与图像采集与预处理模块中视频处理芯片的总线接口相连;驾驶员手部和方向盘位于所述摄像头的视野内,以便后观察所述驾驶员的手部动作;中央处理器通过总线接口对视频处理芯片内部寄存器进行配置,从而图像采集与预处理模块具有了对输入模拟信号的预处理功能,预处理包括:色度和亮度的控制,输出数据格式及输出图像同步信号的选择控制等;预处理后的数据再通过视频处理芯片的图像输出接口传输到中央处理器。
上述的一种基于视频检测的驾驶员驾驶行为监控装置中,所述的功能按键模块,可用于手动建立感兴趣区域和自动建立感兴趣区域的确认。
上述的一种基于视频检测的驾驶员驾驶行为监控装置中,所述的警报器,主要用于当驾驶员发生不同的违规驾驶行为时,会产生相应的警报来提醒;还可用于设备自检。
上述的一种基于视频检测的驾驶员驾驶行为监控装置中,所述的显示屏,主要用于显示预览处理后的图像。
上述的一种基于视频检测的驾驶员驾驶行为监控装置中,所述的中央处理器包括:图像输入接口、通用输入输出接口、PWM输出接口、显示屏输出接口、外部存储区插槽,电源输入接口及总线接口。其中:中央处理器的图像输入接口与图像采集与预处理模块的图像输出接口相连,且中央处理器的总线接口与图像采集与预处理模块的总线接口相连,中央处理器通用输入输出接口与功能按键模块输出端相连,中央处理器的PWM输出接口与警报器的输出端连接,中央处理器的显示输出接口与显示屏的输入端相连,中央处理器通过外部存储卡插槽与外部存储卡相连,中央处理器的电源输入接口与电源模块相连。中央处理器主要负责图像数据格式的转换、对基于视频检测的驾驶员驾驶行为的识别、功能按键模块和警报器的驱动、传输数据到显示屏及保存数据信息到外部存储卡中。
上述的中央处理器对基于视频检测的驾驶员驾驶行为的识别包括:读取经格式转换后的图像数据、定位方向盘、建立感兴趣区域、提取手部特征(对原图的感兴趣区域进行特征提取)、对提取的手部特征(0-1特征矩阵)依据驾驶员手部与方向盘的位置关系进行分类识别以及建立违规规则库,并依据规则库判断驾驶员操作是否违规。
上述的一种基于视频检测的驾驶员驾驶行为监控装置,其监控方法为:电源启动后,设备自检以及图像采集与预处理模块通过中央处理器的总线接口配置内部寄存器,从而具有对输入模拟信号经行预处理的功能。图像采集与预处理模块中的摄像头负责采集图像数据,图像采集与预处理模块中的视频处理芯片对图像模拟信号进行预处理,预处理包括: 色度和亮度的控制, 输出数据格式及输出图像同步信号的选择控制;预处理后的数据经中央处理器格式转换,再进行一种基于视频检测的驾驶员驾驶行为识别,若判断为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡中,把违规记录写入记录文件,以便后期核对跟踪。违规记录文件内容包括:违规时间,违规动作,持续时间,对应违规图像的编号组成。
上述的基于视频检测的驾驶员驾驶行为识别方法,具体步骤如下:
步骤1,读取经格式转换后的图像数据,所读取的有效图像应该包含方向盘和驾驶员的手部姿态等信息(以下称原图);
步骤2,定位方向盘。对读取的图像数据进行二次处理,包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤得到边缘图像。经二次处理可以消除图像噪声,增强方向盘的可检测性,从而提高特征提取和图像识别的可靠性;对经过二次处理得到的边缘图像,利用椭圆拟合算法对方向盘的轮廓进行提取、检测和定位;
步骤3,建立感兴趣区域。在原图依据已定位的方向盘建立感兴趣区域,感兴趣区域包含方向盘和驾驶员的手部信息的区域;
步骤4,对原图的感兴趣区域进行特征提取,主要是手部特征提取。该步骤将感兴趣区域划分为M*N个子区,采用肤色模型判断各子区是否包含手部特征,建立0-1特征矩阵。
步骤5,对提取的0-1特征矩阵(代表手部特征)依据驾驶员手部与方向盘的位置关系进行分类识别,将驾驶员驾驶动作区分为正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上以及双手交叉左手在上。
步骤6,基于驾驶员驾驶动作的持续时间与频率建立违规规则库,并依据规则库判断驾驶员操作是否违规。
步骤2中,图像中的方向盘形状大部分为椭圆形或圆形,需要对图像进行椭圆检测来对方向盘进行定位。由于车载视频图像中方向盘轮廓具备最大的圆或椭圆外形轮廓,所以对经过二次处理得到的边缘图像,可以采用直接最小二乘椭圆拟合算法对方向盘的轮廓进行提取并检测出最大的椭圆形状来完成对方向盘区域的定位。
步骤3中,完成对方向盘区域的定位后,以方向盘为中心截取相应的感兴趣区域。感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时,通过从方向盘区域以设定比例系数向外延伸的方式完成截取。对于不同的车型,该比例系数由实验标定或根据经验确定。
步骤4中,该步骤将感兴趣区域划分为M*N个子区,采用肤色模型判断各子区是否包含手部特征,建立0-1特征矩阵。选定简单高斯模型作为肤色模型,对各子区的手部肤色进行识别,建立0-1特征矩阵,其中1代表肤色像素值,0代表背景像素值。这种方法分两步走,首先选择合适的肤色模型并确定模型的参数,参数确定过程如下:选取大量符合人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。首先选取正常光照、强光、夜晚(弱光)下大量符合不同光照下人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型;然后利用不同光照下的模型来判别新的像素或区域是否为肤色;其中依据图像灰度分布判断处于何种光照条件。
步骤5中,在获得0-1特征矩阵(代表手部特征)后,采用神经网络和贝叶斯网络分类器对其进行分类识别,具体实现过程如下:1)根据不同的车型,按一定比例和数量选取各种驾驶行为的图片;2)运用前述方法对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数,组成训练实例集;3)用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器。通过分类器可识别不同手部基本动作,建立基本违规驾驶行为特征库,再根据这些基本违规动作建立基本违规驾驶行为特征库。
步骤6中,违规规则由一种或以上的基本违规动作,以及该动作的持续时间,发生频率来共同决定违规规则;结合感兴趣区和违规规则库,判断行为是否违规。
若按上述方法判断结果为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡中,把违规记录写入记录文件,以便后期核对跟踪。违规记录文件内容包括:违规时间,违规动作,持续时间,对应违规图像的编号组成。
由于采用了以上的方案,使本发明具有以下优点和效果:
1、本发明采用跟踪驾驶员手部动作来判断驾驶员是否违规,开辟了一条新的直接有效的监控途径,对预防由于违规驾驶行为导致的交通事故具有重要的意义。
2、本发明通过中央处理器对皮肤检测来提取手部特征,选择简单高斯模型作为肤色模型,考虑到了落入肤色模型范围内像素点的分布情况,应用概率密度公式判断像素点属于肤色的概率,而不是直接将所有落入模型范围内的像素点简单归类为肤色点,相对于区域模型能更好的表示肤色分布,对肤色检测效率也高的多,并且模型的参数也易于计算。因此本装置具有检测精度高和可靠性高的优点。
3、本发明通过中央处理器识别驾驶员驾驶行为,当驾驶员存在违规驾驶操作时,便产生相应的警报提醒驾驶员,同时将违规图片保存到外部存储卡中,以便后期跟踪查询,有图有据,可以有效减少驾驶员的不良驾驶行为。
4、本发明中的装置智能程度高、体积小、抗干扰性强,便于应用推广。
附图说明
图1 是基于视频检测的驾驶员驾驶行为监控装置的结构示意图。
图2 是基于视频检测的驾驶员违规驾驶行为识别方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施作进一步说明,但本发明的实施和保护范围不限于此。
本实施方式中,摄像头采集包含驾驶员手部与方向盘的图像,通过对图像的处理与识别来判断驾驶员在驾驶期间是否有违规行为,并根据相应违规动作做出警报提示驾驶员。本发明可以有效地避免因驾驶员违规操作而造成的交通事故。如图1所示,一种基于视频检测的驾驶员驾驶行为监控装置,包括:电源模块1、图像采集与预处理模块2、功能按键模块3、警报器4、显示屏5、外部存储卡6及中央处理器7。其中:电源模块1的一个输出端与图像采集与预处理模块2的电源输入端相连,电源模块1的另一输出端与中央处理器7的电源输入端相连;图像采集与预处理模块2的图像输出接口与中央处理器7的图像输入接口相连,且图像采集与预处理模块2中的视频处理芯片的总线接口(I C总线接口)与中央处理器7的总线接口(IC 总线接口)相连;功能按键模块3的输出端与中央处理器7的通用输入输出接口相连;警报器4的输入端与中央处理器7的PWM输出接口连接;显示屏5的输入端与中央处理器7的显示输出接口相连;外部存储卡6通过外部存储卡插槽中央处理器7相连。
所述的电源模块1,包括滤波电路、变压电路及后备电源;电源模块1分别给摄像头和中央处理器提供工作电压;另外,当工作电压处于异常状态时(低于正常电压或者断电),后备电源给图像采集与预处理模块2及中央处理器7提供一段时间的工作电压,以防止异常电压的情况下设备产生数据丢失的现象。
所述的图像采集与预处理模块2,包括摄像头及视频处理芯片,实施例中视频处理芯片选用SAA7113芯片,SAA7113芯片支持多种视频信号的输入及数据输出格式;摄像头的输出接口与视频处理芯片的输入端经视频电缆相连,中央处理器7通过总线接口(IC总线接口)与预处理模块2中的视频处理芯片的IC总线接口相连;驾驶员手部和方向盘位于所述摄像头的视野内,以便观察所述驾驶员的手部动作;中央处理器7通过总线接口(IC总线接口)对配置SAA7113芯片内部相应寄存器,从而图像采集与预处理模块2具有了对输入模拟信号的预处理功能,预处理包括:色度和亮度的控制,输出数据格式及输出图像同步信号的选择控制等;图像采集与预处理模块2的工作原理如下:摄像头感应环境变化,输出的PAL制式模拟信号经视频电缆传输到图像数据采集与预处理模块2,图像数据采集与预处理模块2中的SAA7113芯片(SAA7113芯片支持多种视频信号的输入及数据输出格式)开始采集PAL制式模拟信号(只对输入的一路复合视频信号采样),图像数据采集与预处理模块2中的SAA7113芯片的视频模拟输出信号经预处理后以ITU656协议的标准的4:2:2的数字输出,并作为中央处理器7(S3C2440)的图像输入输出(camera interface)接口的输入。
所述的功能按键模块3,可用于手动建立感兴趣区域以及对自动建立感兴趣区域的确认。
所述的警报器4,主要用于当驾驶员发生不同的违规驾驶时,会产生相应的警报器来提醒;还可用于设备自检。
所述的显示屏5,主要用于显示预览处理后的图像。
所述的中央处理器7,也称MCU,该实施例中选用三星S3C2440微处理器的ARM9芯片,主频400MHz,133MHz总线频率。中央处理器模块7包括:图像输入接口、通用输入输出接口、PWM输出接口、显示输出接口、外部存储卡插槽,电源输入接口及总线接口(IC总线接口)。其中,中央处理器7的图像输入接口与图像采集与预处理模块2的图像输出接口相连,且中央处理器7的总线接口(IC总线接口)与图像采集与预处理模块2的总线接口(IC总线接口)相连;中央处理器7的通用输入输出接口与功能按键模块3输出端相连;中央处理器7的PWM输出接口与警报器4的输入端连接;中央处理器7的显示输出接口与显示屏5的输入端相连;中央处理器7通过外部存储卡与插槽外部存储卡6相连;中央处理器7的电源输入接口与电源模块1相连。中央处理器7主要负责图像数据格式的转换、对基于视频检测的驾驶员驾驶行为的识别、驱动功能按键模块3和警报器4、传输数据到显示屏5及数据信息保存到外部存储卡中。
上述的中央处理器对基于视频检测的驾驶员驾驶行为的识别包括:读取经格式转换后的图像数据、定位方向盘、建立感兴趣区域、手部特征提取(对原图的感兴趣区域进行特征提取)、对提取手部特征(0-1特征矩阵)依据驾驶员手部与方向盘的位置关系进行分类识别以及建立违规规则库,并依据规则库判断驾驶员操作是否违规。
上述的一种基于视频检测的驾驶员驾驶行为监控装置,其监控方法大致如下:电源模块1启动后,设备自检以及图像采集与预处理模块2通过中央处理器7的总线接口配置内部寄存器,从而图像采集与预处理模块2具有了对输入模拟信号的预处理功能。图像采集与预处理模块2中的摄像头负责采集图像数据,图像采集与预处理模块2中的视频处理芯片对图像模拟信号进行预处理,预处理包括: 色度和亮度的控制, 输出数据格式及输出图像同步信号的选择控制;预处理后的数据经中央处理器7图像数据格式转换,再进行一种基于视频检测的驾驶员驾驶行为识别;若判断为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡6中,把违规记录写入记录文件,以便后期核对跟踪。违规记录文件内容包括:违规时间,违规动作,持续时间,对应违规图像的编号组成。
上述的一种基于视频检测的驾驶员驾驶行为识别方法如图2所示,具体步骤如下:
步骤1,读取经格式转换后的图像数据,所读取的有效图像应该包含方向盘和驾驶员的手部姿态等信息(以下称原图);
步骤2,定位方向盘。对读取的图像数据进行二次处理,包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤,得到边缘图像。经二次处理可以消除图像噪声,增强方向盘的可检测性,从而提高特征提取和图像识别的可靠性;对经过二次处理得到的边缘图像,利用椭圆拟合算法对方向盘的轮廓进行提取、检测和定位;
步骤3,建立感兴趣区域。在原图依据已定位的方向盘建立感兴趣区域,感兴趣区域包含方向盘和驾驶员的手部信息的区域;
步骤4,对步骤1中所读取图像的感兴趣区域进行特征提取,主要是手部特征提取。该步骤将感兴趣区域划分为M*N个子区,采用肤色模型判断各子区是否包含手部特征,建立0-1特征矩阵。
步骤5,对提取的0-1特征矩阵(代表手部特征)依据驾驶员手部与方向盘的位置关系进行分类识别,将驾驶员驾驶动作区分为正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上以及双手交叉左手在上。
步骤6,基于驾驶员驾驶动作的持续时间与频率建立违规规则库,并依据规则库判断驾驶员操作是否违规。
步骤2中,图像中的方向盘形状大部分为椭圆形或圆形,需要对图像进行椭圆检测来对方向盘进行定位。常用的椭圆检测可分为基于投票和最优化的两大类方法。投票类方法的代表算法包括Hough变换和RANSAC等算法。最优化方法则包含最小二乘法和遗传算法等。由于椭圆参数较多,投票类研究的重点一般都在于数据点的筛选和椭圆几何性质的利用。Hough变换,RANSAC都是采用映射的方法,将样本点投影到参数空间,用累加器或者类聚的方法来检测椭圆。这类算法有很好的健壮性,能一次检测多个椭圆,但是需要复杂的运算和大量的存储空间。另一类方法包括最小二乘拟合算法,遗传算法以及其他最优化椭圆拟合方法。这类方法的主要特点在于准确性高,不过无法直接用于多个椭圆的检测,对噪声的敏感程度高于前一类方法。由于车载视频图像中方向盘轮廓是具备最大的圆或椭圆外形轮廓,即只需检测出一个最大的椭圆形状,所以本实施方式采用了直接最小二乘椭圆拟合算法提取方向盘轮廓并检测出最大的椭圆形状,再检测出该椭圆的外切矩形,来完成对方向盘区域的定位。
步骤3中,感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时,完成对方向盘区域定位后,通过从方向盘区域以一定比例系数向外延伸的方式完成截取。对于不同的车型,该比例系数由实验标定或可根据经验确定。
步骤4中,对截取的区域进行特征提取,主要是手部特征,可通过对皮肤的检测来提取手部特征。该步骤将感兴趣区域划分为M*N个子区,采用肤色模型判断各子区是否包含手部特征,建立0-1特征矩阵。
为了检测出皮肤,需要选定合适的肤色模型,对截取区域的手部肤色进行识别,图像处理中常用肤色模型大致分为两类:简单阈值分割和概率模型。其中概率模型有直方图模型,简单高斯模型和混合高斯模型。简单高斯模型是假设肤色分布为单峰高斯分布的一种模型。简单高斯模型考虑到了落入肤色模型范围内像素点的分布情况,应用概率密度公式判断像素点属于肤色的概率,而不是直接将所有落入模型范围内的像素点简单归类为肤色点,相对于区域模型能更好的表示肤色分布,因此相对来说它的肤色检测效率也高的多,并且模型的参数也易于计算。本实施方式采用简单高斯模型作为肤色模型,对各子区的手部肤色进行识别。建立0-1特征矩阵,其中1代表肤色像素值,0代表背景像素值。这种方法分两步走,首先选择合适的肤色模型并确定模型的参数,参数确定过程如下:选取大量符合人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。首先选取正常光照、强光、夜晚(弱光)下大量符合不同光照下人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型;然后利用不同光照下的模型来判别新的像素或区域是否为肤色,从而建立0-1特征矩阵。其中依据图像灰度分布判断处于何种光照条件。
步骤5中,对提取的0-1特征矩阵(代表手部特征)进行分类识别。本发明方法采用的是神经网络和贝叶斯网络分类器对0-1特征矩阵进行分类识别,通过识别不同的特征矩阵,辨别是否属于违规驾驶行为。在获得0-1特征矩阵后,采用神经网络和贝叶斯网络分类器对其进行分类识别,具体实现过程如下:1)根据不同的车型,按一定比例和数量选取各种驾驶行为的图片;2)运用前述方法对选取的图像进行处理得到与各类驾驶行为对应状态参数,组成训练实例集;3)用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器。通过分类器即可识别不同的手部基本动作,建立基本违规驾驶行为特征库,该实施例中通过分类器可识别七种基本动作:正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上、双手交叉左手在上。
步骤6,基于驾驶员驾驶动作的持续时间与频率建立违规规则库,并依据规则库判断驾驶员操作是否违规。
若按上述方法判断结果为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡6中,把违规记录写入记录文件,以便后期核对跟踪。违规记录文件内容包括:违规时间,违规动作,持续时间,对应违规图像的编号组成。
本实施例能够自动识别驾驶员驾驶期间是否有手部违规动作,向驾驶员提供警报,并把违规记录写入记录文件,以便后期核对跟踪。本实施例的准确度高,能够有效避免驾驶员因违规操作而造成的交通事故的发生。
Claims (10)
1.基于视频检测的驾驶员驾驶行为监控装置,其特征在于包括电源模块、图像采集与预处理模块、功能按键模块、警报器、显示屏、外部存储卡及中央处理器,其中:电源模块的一个输出端与图像采集与预处理模块的电源输入端相连,电源模块的另一输出端与中央处理器的电源输入端相连;图像采集与预处理模块的图像输出接口与中央处理器的图像输入接口相连,且图像采集与预处理模块的总线接口与中央处理器的总线接口相连;功能按键模块的输出端与中央处理器的通用输入输出接口相连;警报器的输入端与中央处理器的PWM输出接口连接;显示屏的输入端与中央处理器的显示输出接口相连;外部存储卡通过外部存储卡插槽中央处理器相连;所述的功能按键模块用于手动建立感兴趣区域和自动建立感兴趣区域的确认;所述的警报器,用于当驾驶员发生不同的违规驾驶行为时,产生相应的警报来提醒,还能用于设备自检提示;所述的显示屏,用于显示预览处理后的图像。
2.根据权利要求1所述的监控装置,其特征在于所述电源模块包括滤波电路、变压电路及后备电源;电源模块分别给摄像头和中央处理器提供工作电压;另外,当工作电压处于异常状态时,后备电源给图像采集与预处理模块及中央处理器提供一段时间的工作电压。
3.根据权利要求1所述的监控装置,其特征在于所述图像采集与预处理模块包括摄像头及视频处理芯片,摄像头的输出接口与视频处理芯片的输入端经视频电缆相连,中央处理器的总线接口与图像采集与预处理模块中视频处理芯片的总线接口相连;驾驶员手部和方向盘位于所述摄像头的视野内;中央处理器通过总线接口对视频处理芯片内部寄存器进行配置,图像采集与预处理模块具有对输入模拟信号的预处理功能,预处理包括:色度和亮度的控制,输出数据格式及输出图像同步信号的选择控制;预处理后的数据再通过视频处理芯片的图像输出接口传输到中央处理器。
4.根据权利要求1所述的监控装置,其特征在于所述中央处理器包括图像输入接口、通用输入输出接口、PWM输出接口、显示屏输出接口、外部存储区插槽、电源输入接口及总线接口,中央处理器的图像输入接口与图像采集与预处理模块的图像输出接口相连,且中央处理器的总线接口与图像采集与预处理模块的总线接口相连,中央处理器通用输入输出接口与功能按键模块输出端相连,中央处理器的PWM输出接口与警报器的输出端连接,中央处理器的显示输出接口与显示屏的输入端相连,中央处理器通过外部存储卡插槽与外部存储卡相连,中央处理器的电源输入接口与电源模块相连;中央处理器主要负责图像数据格式的转换、对基于视频检测的驾驶员驾驶行为的识别、功能按键模块和警报器的驱动、传输数据到显示屏及保存数据信息到外部存储卡中。
5.根据权利要求1所述的监控装置,其特征在于所述中央处理器对基于视频检测的驾驶员驾驶行为的识别包括:读取经格式转换后的图像数据、定位方向盘、建立感兴趣区域、提取手部特征、对提取的手部特征依据驾驶员手部与方向盘的位置关系进行分类识别以及建立违规规则库,并依据规则库判断驾驶员操作是否违规。
6.采用权利要求1~5任一项所述监控装置的驾驶员驾驶行为监控方法,其特征在于电源启动后,设备自检,图像采集与预处理模块通过中央处理器的总线接口配置内部寄存器,从而具有对输入模拟信号经行预处理的功能;图像采集与预处理模块中的摄像头负责采集图像数据,图像采集与预处理模块中的视频处理芯片对图像模拟信号进行预处理,预处理包括: 色度和亮度的控制, 输出数据格式及输出图像同步信号的选择控制;预处理后的数据经中央处理器格式转换,再进行基于视频检测的驾驶员驾驶行为识别,若判断为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡中,把违规记录写入记录文件,以便后期核对跟踪;违规记录文件内容包括违规时间、违规动作、持续时间和对应违规图像的编号。
7.根据权利要求6所述的监控方法,其特征在于基于视频检测的驾驶员驾驶行为识别包括如下步骤:
步骤1,读取经格式转换后的图像数据,所读取的有效图像应该包含方向盘和驾驶员的手部姿态信息;
步骤2,定位方向盘,对读取的图像数据进行二次处理,包括灰度变换、图像滤波、边缘提取和轮廓增强四个处理步骤,得到边缘图像;对经过二次处理得到的边缘图像,利用椭圆拟合算法对方向盘的轮廓进行提取、检测和定位;
步骤3,建立感兴趣区域,在原图依据已定位的方向盘建立感兴趣区域,感兴趣区域包含方向盘和驾驶员的手部信息的区域;
步骤4,对原图的感兴趣区域进行特征提取,主要包括手部特征提取,该步骤将感兴趣区域划分为M*N个子区,采用肤色模型判断各子区是否包含手部特征,建立0-1特征矩阵;
步骤5,对提取的0-1特征矩阵依据驾驶员手部与方向盘的位置关系进行分类识别,将驾驶员驾驶动作区分为正常驾驶、双手压盘、双手离盘、右手离盘、左手离盘、双手交叉右手在上以及双手交叉左手在上;
步骤6,基于驾驶员驾驶动作的持续时间与频率建立违规规则库,并依据规则库判断驾驶员操作是否违规。
8.根据权利要求7所述的监控方法,其特征在于步骤2中,图像中的方向盘形状大部分为椭圆形或圆形,采用最小二乘椭圆拟合算法对方向盘的轮廓进行提取并检测出最大的椭圆形状来完成对方向盘区域的定位。
9.根据权利要求7所述的监控方法,其特征在于步骤3中,完成对方向盘区域的定位后,以方向盘为中心截取相应的感兴趣区域;感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定;具体截取时,从方向盘区域以设定比例系数向外延伸的方式完成截取;对于不同的车型,该比例系数由实验标定或根据经验确定;
步骤4中,该步骤将感兴趣区域划分为M*N个子区,采用肤色模型判断各子区是否包含手部特征,建立0-1特征矩阵;选定简单高斯模型作为肤色模型,对各子区的手部肤色进行识别,建立0-1特征矩阵,其中1代表肤色像素值,0代表背景像素值;
步骤5中,在获得0-1特征矩阵后,采用神经网络和贝叶斯网络分类器对其进行分类识别,具体是:根据不同的车型,按一定比例和数量选取各种驾驶行为的图片;运用前述步骤对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数,组成训练实例集;用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器;通过分类器能识别不同手部基本动作,建立基本违规驾驶行为特征库,再根据这些基本违规动作建立基本违规驾驶行为特征库;
步骤6中,违规规则由一种以上的基本违规动作、违规动作的持续时间及发生频率来共同决定违规规则;结合感兴趣区和违规规则库,判断行为是否违规;若判断结果为违规行为,警报器产生相应的报警,并把对应的违规图片保存到外部存储卡中,把违规记录写入记录文件,以便后期核对跟踪。
10.根据权利要求7所述的监控方法,其特征在于步骤4中,选取符合人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型;然后利用该模型来判别新的像素或区域是否为肤色;首先选取正常光照、强光、夜晚下大量符合不同光照下人体肤色特征的像素点作为样本,统计其分布并建立肤色高斯模型;然后利用不同光照下的模型来判别新的像素或区域是否为肤色;其中依据图像灰度分布判断处于何种光照条件。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011102107353A CN102263937B (zh) | 2011-07-26 | 2011-07-26 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
PCT/CN2011/084857 WO2013013487A1 (zh) | 2011-07-26 | 2011-12-28 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011102107353A CN102263937B (zh) | 2011-07-26 | 2011-07-26 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102263937A true CN102263937A (zh) | 2011-11-30 |
CN102263937B CN102263937B (zh) | 2013-07-24 |
Family
ID=45010369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102107353A Expired - Fee Related CN102263937B (zh) | 2011-07-26 | 2011-07-26 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN102263937B (zh) |
WO (1) | WO2013013487A1 (zh) |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013013487A1 (zh) * | 2011-07-26 | 2013-01-31 | 华南理工大学 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
CN103029750A (zh) * | 2012-12-11 | 2013-04-10 | 昆山研达电脑科技有限公司 | 自动提醒操作方向盘姿势的系统及方法 |
CN104077820A (zh) * | 2014-07-02 | 2014-10-01 | 东南大学 | 基于物联网的驾驶人行为识别监测系统 |
CN104751663A (zh) * | 2015-02-28 | 2015-07-01 | 北京壹卡行科技有限公司 | 驾驶员安全驾驶辅助系统和方法 |
CN104742802A (zh) * | 2014-12-19 | 2015-07-01 | 北京联合大学 | 一种基于多传感器与视频识别技术的酒驾检测系统与方法 |
CN105035094A (zh) * | 2015-06-24 | 2015-11-11 | 苏州佳世达光电有限公司 | 一种手部侦测系统及手部侦测方法 |
CN105303764A (zh) * | 2015-10-09 | 2016-02-03 | 深圳市凯立德科技股份有限公司 | 一种驾驶安全提示方法及行车记录仪设备 |
CN105404862A (zh) * | 2015-11-13 | 2016-03-16 | 山东大学 | 一种基于手部跟踪的安全驾驶检测方法 |
CN105740910A (zh) * | 2016-02-02 | 2016-07-06 | 北京格灵深瞳信息技术有限公司 | 一种车辆物件检测方法及装置 |
CN105898239A (zh) * | 2016-06-03 | 2016-08-24 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统及监测方法 |
CN106114515A (zh) * | 2016-06-29 | 2016-11-16 | 北京奇虎科技有限公司 | 汽车驾驶行为提醒方法及系统 |
CN106375728A (zh) * | 2016-09-28 | 2017-02-01 | 北京小米移动软件有限公司 | 监控方法及装置 |
CN106379320A (zh) * | 2016-09-06 | 2017-02-08 | 浙江吉利控股集团有限公司 | 一种车辆安全驾驶提醒系统及方法 |
CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
CN107301379A (zh) * | 2017-05-27 | 2017-10-27 | 湖北天业云商网络科技有限公司 | 一种基于机器视觉的方向盘及操作手检测方法及系统 |
CN107330378A (zh) * | 2017-06-09 | 2017-11-07 | 湖北天业云商网络科技有限公司 | 一种基于嵌入式图像处理的驾驶员行为检测系统 |
CN107396058A (zh) * | 2017-08-23 | 2017-11-24 | 芜湖超源力工业设计有限公司 | 一种航天专用飞行模拟训练监控装置 |
CN107423864A (zh) * | 2016-05-23 | 2017-12-01 | 交通运输部水运科学研究院 | 船员行为的分析方法和装置 |
WO2018000814A1 (zh) * | 2016-07-01 | 2018-01-04 | 中兴通讯股份有限公司 | 对车辆行为提醒的方法、车载终端及广播装置、存储介质 |
CN107564280A (zh) * | 2017-08-22 | 2018-01-09 | 王浩宇 | 基于环境感知的驾驶行为数据采集分析系统和方法 |
CN107704918A (zh) * | 2017-09-19 | 2018-02-16 | 平安科技(深圳)有限公司 | 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质 |
CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
CN107891807A (zh) * | 2017-11-01 | 2018-04-10 | 北京汽车研究总院有限公司 | 一种汽车报警方法及车载报警系统 |
CN108082080A (zh) * | 2017-12-06 | 2018-05-29 | 东风商用车有限公司 | 一种车辆控制系统及其控制方法 |
CN108682158A (zh) * | 2018-03-23 | 2018-10-19 | 深圳融易保科技有限公司 | 视频分析及评分预警方法和系统 |
CN108682157A (zh) * | 2018-03-23 | 2018-10-19 | 深圳融易保科技有限公司 | 视频分析及预警方法和系统 |
CN109124587A (zh) * | 2018-08-14 | 2019-01-04 | 上海常仁信息科技有限公司 | 一种基于机器人的皮肤检测系统和方法 |
CN109987102A (zh) * | 2018-01-03 | 2019-07-09 | 田文洪 | 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置 |
CN110008834A (zh) * | 2019-02-28 | 2019-07-12 | 中电海康集团有限公司 | 一种基于视觉的方向盘干预检测与统计方法 |
CN110163037A (zh) * | 2018-03-14 | 2019-08-23 | 北京航空航天大学 | 监测驾驶员状态的方法、设备、系统、处理器及存储介质 |
CN110705502A (zh) * | 2019-10-14 | 2020-01-17 | 首约科技(北京)有限公司 | 一种驾驶员监控设备优化方法 |
CN110738782A (zh) * | 2019-10-24 | 2020-01-31 | 名创优品(横琴)企业管理有限公司 | 一种收银排队分析方法及系统 |
CN110751051A (zh) * | 2019-09-23 | 2020-02-04 | 江苏大学 | 一种基于机器视觉的异常驾驶行为检测方法 |
CN111010544A (zh) * | 2019-12-18 | 2020-04-14 | 广州穗能通能源科技有限责任公司 | 配电房监控方法、装置、计算机设备和存储介质 |
CN111193873A (zh) * | 2019-12-25 | 2020-05-22 | 新大陆数字技术股份有限公司 | 一种图像快速调光系统及方法 |
CN111209797A (zh) * | 2019-12-19 | 2020-05-29 | 广州航天海特系统工程有限公司 | 一种驾驶行为监控的方法、装置、设备和存储介质 |
CN111301428A (zh) * | 2018-12-11 | 2020-06-19 | 上汽通用汽车有限公司 | 机动车驾驶员分心检测警示方法、系统及机动车 |
CN111460989A (zh) * | 2020-03-31 | 2020-07-28 | 武汉大学 | 一种基于单目视觉的方向盘手离检测方法 |
CN111753589A (zh) * | 2019-03-28 | 2020-10-09 | 虹软科技股份有限公司 | 手握方向盘状态的检测方法及装置 |
CN111931639A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 驾驶员行为检测方法、装置、电子设备及存储介质 |
CN112036314A (zh) * | 2020-08-31 | 2020-12-04 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
CN112329555A (zh) * | 2020-10-20 | 2021-02-05 | 易显智能科技有限责任公司 | 一种针对驾驶人员手部动作姿态的智能混合感知系统 |
CN113114995A (zh) * | 2021-04-08 | 2021-07-13 | 深圳市大班长科技有限公司 | 一种监控驾驶训练车上学员行为的系统及方法 |
CN114495073A (zh) * | 2022-01-29 | 2022-05-13 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
CN114663863A (zh) * | 2022-02-24 | 2022-06-24 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
CN114821549A (zh) * | 2022-04-22 | 2022-07-29 | 电子科技大学 | 一种利用方向盘定位驾驶区域的驾驶行为识别方法 |
CN117589798A (zh) * | 2024-01-19 | 2024-02-23 | 中诚华隆计算机技术有限公司 | 一种芯片故障检测方法、装置及电子设备 |
CN117671572A (zh) * | 2024-02-02 | 2024-03-08 | 深邦智能科技集团(青岛)有限公司 | 一种多平台联动的道路图像模型处理系统及方法 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10152642B2 (en) | 2016-12-16 | 2018-12-11 | Automotive Research & Testing Center | Method for detecting driving behavior and system using the same |
CN107323459B (zh) * | 2017-06-23 | 2023-09-12 | 东风商用车有限公司 | 一种驾驶员意图识别传感器装置的识别方法 |
CN110427871B (zh) * | 2019-07-31 | 2022-10-14 | 长安大学 | 一种基于计算机视觉的疲劳驾驶检测方法 |
CN110472549A (zh) * | 2019-08-09 | 2019-11-19 | 紫荆智维智能科技研究院(重庆)有限公司 | 基于车载gpu加速的列车驾驶员动作实时识别系统及方法 |
CN111353365A (zh) * | 2019-08-19 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 一种行为预警方法及装置、电子设备 |
CN110866475A (zh) * | 2019-11-05 | 2020-03-06 | 上海眼控科技股份有限公司 | 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 |
CN111009130A (zh) * | 2019-11-19 | 2020-04-14 | 陕西科技大学 | 一种基于图像处理的驾驶行为记录管理系统及方法 |
CN110946595B (zh) * | 2019-12-16 | 2022-05-17 | 武汉极目智能技术有限公司 | 一种基于dms系统的驾驶员疲劳程度的检测方法 |
CN111222477B (zh) * | 2020-01-10 | 2023-05-30 | 厦门瑞为信息技术有限公司 | 一种基于视觉的双手离开方向盘检测方法及装置 |
CN111242015B (zh) * | 2020-01-10 | 2023-05-02 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
CN111711786B (zh) * | 2020-05-20 | 2022-08-23 | 北京捷信安通科技有限公司 | 一种用于大型养路机械的实时辅助驾驶及作业系统 |
CN112132015B (zh) * | 2020-09-22 | 2024-09-17 | 平安国际智慧城市科技股份有限公司 | 违规驾驶姿势的检测方法、装置、介质和电子设备 |
CN112818802B (zh) * | 2021-01-26 | 2022-07-05 | 四川天翼网络服务有限公司 | 一种银行柜台人员举手识别方法及系统 |
CN112818839A (zh) * | 2021-01-29 | 2021-05-18 | 北京市商汤科技开发有限公司 | 驾驶员违章行为识别方法、装置、设备及介质 |
CN114040164A (zh) * | 2021-11-09 | 2022-02-11 | 南通中安高科电子有限公司 | 一种基于图像视频实时监控的人员作业安全监理云平台 |
CN115346363B (zh) * | 2022-06-27 | 2024-06-21 | 西安电子科技大学 | 基于神经网络的驾驶员违规预测方法 |
CN115484437A (zh) * | 2022-09-09 | 2022-12-16 | 广东重工建设监理有限公司 | 一种佩戴式旁站记录仪和系统及其旁站监理方法 |
CN117061788B (zh) * | 2023-10-08 | 2023-12-19 | 中国地质大学(武汉) | 一种短视频自动化监管与预警方法、设备及存储设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040252027A1 (en) * | 2003-06-12 | 2004-12-16 | Kari Torkkola | Method and apparatus for classifying vehicle operator activity state |
CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
CN102069710A (zh) * | 2009-11-24 | 2011-05-25 | 鸿富锦精密工业(深圳)有限公司 | 驾驶监控装置及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
CN101930669A (zh) * | 2010-06-11 | 2010-12-29 | 金龙联合汽车工业(苏州)有限公司 | 车载驾驶行为实时监控报警装置 |
CN102263937B (zh) * | 2011-07-26 | 2013-07-24 | 华南理工大学 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
-
2011
- 2011-07-26 CN CN2011102107353A patent/CN102263937B/zh not_active Expired - Fee Related
- 2011-12-28 WO PCT/CN2011/084857 patent/WO2013013487A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040252027A1 (en) * | 2003-06-12 | 2004-12-16 | Kari Torkkola | Method and apparatus for classifying vehicle operator activity state |
CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
CN102069710A (zh) * | 2009-11-24 | 2011-05-25 | 鸿富锦精密工业(深圳)有限公司 | 驾驶监控装置及方法 |
Cited By (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013013487A1 (zh) * | 2011-07-26 | 2013-01-31 | 华南理工大学 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
CN103029750A (zh) * | 2012-12-11 | 2013-04-10 | 昆山研达电脑科技有限公司 | 自动提醒操作方向盘姿势的系统及方法 |
CN104077820A (zh) * | 2014-07-02 | 2014-10-01 | 东南大学 | 基于物联网的驾驶人行为识别监测系统 |
CN104742802A (zh) * | 2014-12-19 | 2015-07-01 | 北京联合大学 | 一种基于多传感器与视频识别技术的酒驾检测系统与方法 |
CN104751663A (zh) * | 2015-02-28 | 2015-07-01 | 北京壹卡行科技有限公司 | 驾驶员安全驾驶辅助系统和方法 |
CN105035094A (zh) * | 2015-06-24 | 2015-11-11 | 苏州佳世达光电有限公司 | 一种手部侦测系统及手部侦测方法 |
CN105303764A (zh) * | 2015-10-09 | 2016-02-03 | 深圳市凯立德科技股份有限公司 | 一种驾驶安全提示方法及行车记录仪设备 |
CN105404862A (zh) * | 2015-11-13 | 2016-03-16 | 山东大学 | 一种基于手部跟踪的安全驾驶检测方法 |
CN105740910A (zh) * | 2016-02-02 | 2016-07-06 | 北京格灵深瞳信息技术有限公司 | 一种车辆物件检测方法及装置 |
CN107423864A (zh) * | 2016-05-23 | 2017-12-01 | 交通运输部水运科学研究院 | 船员行为的分析方法和装置 |
CN105898239A (zh) * | 2016-06-03 | 2016-08-24 | 北京中电万联科技股份有限公司 | 一种公交车司机行为异常监测系统及监测方法 |
CN106114515A (zh) * | 2016-06-29 | 2016-11-16 | 北京奇虎科技有限公司 | 汽车驾驶行为提醒方法及系统 |
WO2018000814A1 (zh) * | 2016-07-01 | 2018-01-04 | 中兴通讯股份有限公司 | 对车辆行为提醒的方法、车载终端及广播装置、存储介质 |
CN106379320A (zh) * | 2016-09-06 | 2017-02-08 | 浙江吉利控股集团有限公司 | 一种车辆安全驾驶提醒系统及方法 |
CN106375728A (zh) * | 2016-09-28 | 2017-02-01 | 北京小米移动软件有限公司 | 监控方法及装置 |
CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
CN106941602B (zh) * | 2017-03-07 | 2020-10-13 | 中国铁路总公司 | 机车司机行为识别方法及装置 |
CN107301379A (zh) * | 2017-05-27 | 2017-10-27 | 湖北天业云商网络科技有限公司 | 一种基于机器视觉的方向盘及操作手检测方法及系统 |
CN107330378A (zh) * | 2017-06-09 | 2017-11-07 | 湖北天业云商网络科技有限公司 | 一种基于嵌入式图像处理的驾驶员行为检测系统 |
CN107564280A (zh) * | 2017-08-22 | 2018-01-09 | 王浩宇 | 基于环境感知的驾驶行为数据采集分析系统和方法 |
CN107396058A (zh) * | 2017-08-23 | 2017-11-24 | 芜湖超源力工业设计有限公司 | 一种航天专用飞行模拟训练监控装置 |
CN107396058B (zh) * | 2017-08-23 | 2020-05-15 | 芜湖超源力工业设计有限公司 | 一种航天专用飞行模拟训练监控装置 |
CN107704918A (zh) * | 2017-09-19 | 2018-02-16 | 平安科技(深圳)有限公司 | 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质 |
CN107704918B (zh) * | 2017-09-19 | 2019-07-12 | 平安科技(深圳)有限公司 | 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质 |
CN107891807A (zh) * | 2017-11-01 | 2018-04-10 | 北京汽车研究总院有限公司 | 一种汽车报警方法及车载报警系统 |
CN107891807B (zh) * | 2017-11-01 | 2020-05-26 | 北京汽车研究总院有限公司 | 一种汽车报警方法及车载报警系统 |
CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
CN108082080A (zh) * | 2017-12-06 | 2018-05-29 | 东风商用车有限公司 | 一种车辆控制系统及其控制方法 |
CN109987102A (zh) * | 2018-01-03 | 2019-07-09 | 田文洪 | 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置 |
CN110163037A (zh) * | 2018-03-14 | 2019-08-23 | 北京航空航天大学 | 监测驾驶员状态的方法、设备、系统、处理器及存储介质 |
CN108682158A (zh) * | 2018-03-23 | 2018-10-19 | 深圳融易保科技有限公司 | 视频分析及评分预警方法和系统 |
CN108682157A (zh) * | 2018-03-23 | 2018-10-19 | 深圳融易保科技有限公司 | 视频分析及预警方法和系统 |
CN109124587A (zh) * | 2018-08-14 | 2019-01-04 | 上海常仁信息科技有限公司 | 一种基于机器人的皮肤检测系统和方法 |
CN111301428A (zh) * | 2018-12-11 | 2020-06-19 | 上汽通用汽车有限公司 | 机动车驾驶员分心检测警示方法、系统及机动车 |
CN110008834A (zh) * | 2019-02-28 | 2019-07-12 | 中电海康集团有限公司 | 一种基于视觉的方向盘干预检测与统计方法 |
CN111753589A (zh) * | 2019-03-28 | 2020-10-09 | 虹软科技股份有限公司 | 手握方向盘状态的检测方法及装置 |
CN111753589B (zh) * | 2019-03-28 | 2022-05-03 | 虹软科技股份有限公司 | 手握方向盘状态的检测方法及装置 |
US11423673B2 (en) | 2019-03-28 | 2022-08-23 | Arcsoft Corporation Limited | Method and device for detecting state of holding steering wheel |
CN110751051A (zh) * | 2019-09-23 | 2020-02-04 | 江苏大学 | 一种基于机器视觉的异常驾驶行为检测方法 |
CN110751051B (zh) * | 2019-09-23 | 2024-03-19 | 江苏大学 | 一种基于机器视觉的异常驾驶行为检测方法 |
CN110705502A (zh) * | 2019-10-14 | 2020-01-17 | 首约科技(北京)有限公司 | 一种驾驶员监控设备优化方法 |
CN110738782A (zh) * | 2019-10-24 | 2020-01-31 | 名创优品(横琴)企业管理有限公司 | 一种收银排队分析方法及系统 |
CN111010544A (zh) * | 2019-12-18 | 2020-04-14 | 广州穗能通能源科技有限责任公司 | 配电房监控方法、装置、计算机设备和存储介质 |
CN111209797A (zh) * | 2019-12-19 | 2020-05-29 | 广州航天海特系统工程有限公司 | 一种驾驶行为监控的方法、装置、设备和存储介质 |
CN111193873A (zh) * | 2019-12-25 | 2020-05-22 | 新大陆数字技术股份有限公司 | 一种图像快速调光系统及方法 |
CN111460989A (zh) * | 2020-03-31 | 2020-07-28 | 武汉大学 | 一种基于单目视觉的方向盘手离检测方法 |
CN111931639A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 驾驶员行为检测方法、装置、电子设备及存储介质 |
WO2022027894A1 (zh) * | 2020-08-07 | 2022-02-10 | 上海商汤临港智能科技有限公司 | 驾驶员行为检测方法、装置、电子设备、存储介质和程序 |
CN111931639B (zh) * | 2020-08-07 | 2024-06-11 | 上海商汤临港智能科技有限公司 | 驾驶员行为检测方法、装置、电子设备及存储介质 |
WO2022041671A1 (zh) * | 2020-08-31 | 2022-03-03 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
CN112036314A (zh) * | 2020-08-31 | 2020-12-04 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
CN112329555A (zh) * | 2020-10-20 | 2021-02-05 | 易显智能科技有限责任公司 | 一种针对驾驶人员手部动作姿态的智能混合感知系统 |
CN113114995A (zh) * | 2021-04-08 | 2021-07-13 | 深圳市大班长科技有限公司 | 一种监控驾驶训练车上学员行为的系统及方法 |
CN114495073A (zh) * | 2022-01-29 | 2022-05-13 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
CN114663863A (zh) * | 2022-02-24 | 2022-06-24 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
CN114821549A (zh) * | 2022-04-22 | 2022-07-29 | 电子科技大学 | 一种利用方向盘定位驾驶区域的驾驶行为识别方法 |
CN117589798A (zh) * | 2024-01-19 | 2024-02-23 | 中诚华隆计算机技术有限公司 | 一种芯片故障检测方法、装置及电子设备 |
CN117671572A (zh) * | 2024-02-02 | 2024-03-08 | 深邦智能科技集团(青岛)有限公司 | 一种多平台联动的道路图像模型处理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102263937B (zh) | 2013-07-24 |
WO2013013487A1 (zh) | 2013-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102263937B (zh) | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 | |
CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN101587544B (zh) | 基于计算机视觉的机动车车载反跟踪装置 | |
CN101639894B (zh) | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 | |
Gupta et al. | Implementation of motorist weariness detection system using a conventional object recognition technique | |
CN105261153A (zh) | 车辆行驶监控方法和装置 | |
CN101877051A (zh) | 驾驶人注意力状态监测方法和装置 | |
CN110575163A (zh) | 一种检测驾驶员分心的方法及装置 | |
CN109389806A (zh) | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 | |
CN104240446A (zh) | 基于人脸识别的疲劳驾驶预警系统 | |
CN104183091A (zh) | 一种自适应调整疲劳驾驶预警系统灵敏度的系统 | |
CN104881956A (zh) | 一种疲劳驾驶预警系统 | |
CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
Tang et al. | Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance | |
CN114771545A (zh) | 一种智能安全驾驶系统 | |
CN103247150A (zh) | 防疲劳驾驶系统 | |
Suryawanshi et al. | Driver drowsiness detection system based on lbp and haar algorithm | |
CN202177912U (zh) | 基于视频检测的驾驶员驾驶行为监控装置 | |
CN108304764B (zh) | 模拟飞行驾驶过程中疲劳状态检测装置及检测方法 | |
Reddy et al. | Soft Computing Techniques for Driver Alertness | |
Kavitha et al. | Implementing OpenCV and Dlib Open-Source library for detection of driver’s fatigue | |
CN117333853A (zh) | 基于图像处理的驾驶员疲劳监测方法、装置及存储介质 | |
Liu et al. | Design and implementation of multimodal fatigue detection system combining eye and yawn information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130724 Termination date: 20170726 |