CN111860210A - 双手脱离方向盘检测方法、装置、电子设备和存储介质 - Google Patents
双手脱离方向盘检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111860210A CN111860210A CN202010609801.3A CN202010609801A CN111860210A CN 111860210 A CN111860210 A CN 111860210A CN 202010609801 A CN202010609801 A CN 202010609801A CN 111860210 A CN111860210 A CN 111860210A
- Authority
- CN
- China
- Prior art keywords
- steering wheel
- hands
- area
- pixel points
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000926 separation method Methods 0.000 title description 4
- 230000011218 segmentation Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000009434 installation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种双手脱离方向盘检测方法、装置、电子设备及存储介质。该方法包括：统计方向盘区域被覆盖的像素点的个数；若所述像素点的个数小于预设值，则判定为双手脱离方向盘。本发明实施例通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
Description
技术领域
本发明涉及图像技术领域，尤其涉及一种双手脱离方向盘检测方法、装置、电子设备和存储介质。
背景技术
随着社会进步，经济发展，汽车数量的大规模增加也让交通环境变得复杂了起来，可能由于司机的一个疏忽就会造成车祸，随着汽车保有量的不断增加，我国的交通事故也越来越多，对于驾驶人员驾驶状态监测就显得尤为必要。
DSM(Driver Status Monitor驾驶员行为智能分析系统)可以对驾驶员的状态进行监控，DSM利用单摄像头，通过视觉跟踪、目标检测、动作识别等技术对驾驶员的面部驾驶行为及生理状态进行检测，但是由于单摄像头视角并不能对驾驶员的手部状态进行监控，而通过生理信号和传感器方式检测双手脱离方向盘需要将传感器安装到方向盘上，或者方向盘内部，将导致方向盘的结构复杂，制造工艺繁琐等问题。
因此，如何提出一种方法，用于解决DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，并且能够准确、实时地检测驾驶员方向盘握持情况，是目前业界亟待解决的需要课题。
发明内容
本发明实施例的目的是提供一种克服上述问题或者至少部分地解决上述问题的双手脱离方向盘检测方法、装置、电子设备和存储介质。
为了解决上述技术问题，第一方面，本发明实施例提供一种双手脱离方向盘检测方法，包括：
统计方向盘区域被覆盖的像素点的个数；
若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
进一步地，所述统计方向盘区域被覆盖的像素点的个数前，还包括：
将当前帧图片输入至预设的语义分割网络进行分割，获得所述方向盘区域和手部区域；其中，所述当前帧图片包含方向盘和手部。
进一步地，所述预设的语义分割网络为3层上采样与下采样的U型结构；
所述预设的语义分割网络中卷积为深度可分离卷积。
进一步地，所述将当前帧图片输入至预设的语义分割网络进行分割，获得方向盘区域和手部区域，具体包括：
将所述当前帧图片输入至预设的语义分割网络，获得第一推理图片和第二推理图片；其中，所述第一推理图片表示每一个像素点推理为方向盘类别的概率，所述第二推理图片表示每一个像素点推理为手部类别的概率；
对第一推理图片和第二推理图片进行像素点的类别概率提取关键点，获得方向盘区域和手部区域。
进一步地，所述统计方向盘区域被覆盖的像素点的个数，具体包括：
对所述方向盘区域进行填充；
统计所述手部区域对填充后的方向盘区域覆盖的像素点的个数。
进一步地，所述对所述方向盘区域进行填充，具体包括：
对所述方向盘区域进行闭运算；
对闭运算后的方向盘区域提取轮廓，并选择最大轮廓；
对所述最大轮廓进行椭圆拟合，确定椭圆拟合参数；
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域。
进一步地，所述若所述像素点的个数小于预设值，则判定为双手脱离方向盘后，还包括：
当判定为双手脱离方向盘的累计时间超过预设时间，则将报警信息上传至后台服务器，触发报警。
第二方面，本发明实施例提供一种双手脱离方向盘检测装置，包括：
统计模块，用于统计方向盘区域被覆盖的像素点的个数；
判断模块，用于若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述方法的步骤。
本发明实施例提供的双手脱离方向盘检测方法、装置、电子设备和存储介质，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的双手脱离方向盘检测方法的流程示意图；
图2为本发明实施例提供的语义分割网络的结构示意图；
图3为本发明实施例提供的双手脱离方向盘检测装置的流程示意图；
图4为本发明实施例提供一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，将所述摄像头安装在主副驾驶位A柱上方，主要监控整个驾驶室，并将采集到的图片截取方向盘区域，送入车载终端进行推理；所述车载终端对摄像头采集的图像进行推理，判断驾驶员是否双手脱离方向盘，并将信息传递给多媒体智能中控屏和后台服务器；所述多媒体智能中控屏用于接收车载终端传输的驾驶员方向盘握持信息，并将检测结果展示在屏幕上，在双手脱离方向盘的情况下给予语音提示；所述后台服务器用于接受车载终端传输的报警信息，便于记录存储，供车队监控驾驶员状态，管理驾驶员驾驶行为。
通过基于mobileunet语义分割检测出图中安全带所在的像素点后利用一系列图像降噪拟合算法，确定驾驶员方向盘握持情况，根据像手部像素点和方向盘像素点的重合区域判断驾驶员是否双手脱离方向盘。其中，mobileunet是mobilenet和unet的结合，是在u形网络结构中，用到了mobilenet里的深度可分离卷积模块；mobilenet是一种应用了深度可分离卷积适用于在移动设备上推理的网络结构；unet网络有两部分，第一部分，特征提取，第二部分，上采样部分，网络结构像U型，所以叫Unet网络。
本发明实施例提供一种双手脱离方向盘检测方法，图1为本发明实施例提供的双手脱离方向盘检测方法的流程示意图，如图1所示，该方法包括：
步骤101、统计方向盘区域被覆盖的像素点的个数。
具体的，根据上述实施例的双手脱离方向盘检测方法，在上述步骤101中从摄像头获取一帧图片，送入车载终端的人工智能(Artificial Intelligence，AI)芯片中，根据配置的检测频率，对于需要推理的图片截取标定框内的图像缩放至128*128像素送入语义分割网络进行分割，获得方向盘区域和手部区域；其中，当前帧图片由副驾驶位A柱上方摄像头拍摄，所述当前帧图片包含方向盘和手部。
对所述方向盘区域进行二值图做闭运算，在数学形态学中，闭运算被定义为先膨胀后腐蚀，初步将方向盘区域中存在的因为手部像素点遮挡造成的缺口进行填补。
对闭运算后的方向盘区域提取轮廓，并选择最大轮廓。
对所述最大轮廓进行椭圆拟合，确定椭圆拟合参数。
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域。
统计所述手部区域对填充后的方向盘区域覆盖的像素点的个数。
需要说明的是，图像缩放的大小可以根据实际情况进行设定，本发明实施例将图像缩放至128*128像素，另外，摄像头安装位置能够可以拍摄画面可以完整监控整个驾驶室，包含方向盘与驾驶员手部，具体摄像头安装位置可以根据实际情况选择，本发明实施例将摄像头安装位置设置在驾驶室主副驾驶位的A柱上方。
步骤102、若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
具体的，根据上述实施例的双手脱离方向盘检测方法，在上述步骤102中，对所述方向盘区域进行填充；并对手部区域进行开运算，在数学形态学中，开运算被定义为先腐蚀后膨胀，去除手部推理的噪点。
统计手部区域对填充后的方向盘区域被覆盖重叠的像素点的个数，按覆盖的像素点数和椭圆像素点的个数的比例判断驾驶员是否双手脱离方向盘。
将覆盖的像素个数与判断阈值对比，如果覆盖的像素个数大于等于判断阈值时则视为当前帧图像检测到驾驶员握持方向盘，否则为驾驶员双手脱离方向盘。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，所述统计方向盘区域被覆盖的像素点的个数前，还包括：
将当前帧图片输入至预设的语义分割网络进行分割，获得所述方向盘区域和手部区域；其中，所述当前帧图片包含方向盘和手部。
具体的，根据上述实施例的双手脱离方向盘检测方法，对于红外摄像头的安装要求，拍摄画面可以完整监控整个驾驶室，摄像头安装时画面中存在辅助框标定，以保证安装时保证方向盘始终在框内(司机会根据驾驶习惯调整方向盘位置，考虑到一台车有多驾驶员驾驶的情况)。
从摄像头获取一帧图片，送入车载终端的人工智能(Artificial Intelligence，AI)芯片中，根据配置的检测频率，图2为本发明实施例提供的语义分割网络的结构示意图，如图2所示，对于需要推理的图片截取标定框内的图像缩放至128*128像素送入语义分割网络进行推理，语义分割网络传入128*128*3的图片，其中128代表图像长，128代表图像宽，输入图片的3代表图像分RGB三通道，最终推理出128*128*3的结果，其中128代表图像长，128代表图像宽，推理图片3代表3类，分别为第一推理图片表示每一个像素点推理为方向盘类别的概率，第二推理图片表示每一个像素点推理为手部类别的概率，第三推理图片表示每一个像素点推理为背景类别的概率；其中，所述当前帧图片由副驾驶位A柱上方摄像头拍摄，所述当前帧图片包含方向盘和手部。
从推理结果中依据像素点的类别概率，从第一推理图片提取方向盘的关键点，从第二推理图片提取手部的关键点，分别获得方向盘区域和手部区域，其中，方向盘区域和手部区域均为二值图。
需要说明的是，摄像头安装位置能够可以拍摄画面可以完整监控整个驾驶室，包含方向盘与驾驶员手部，具体摄像头安装位置可以根据实际情况选择，本发明实施例将摄像头安装位置设置在驾驶室主副驾驶位的A柱上方。
本发明实施例提供的双手脱离方向盘检测方法，通过基于mobileunet语义分割检测出图中安全带所在的像素点后利用一系列图像降噪拟合算法，确定驾驶员方向盘握持情况，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，所述预设的语义分割网络为3层上采样与下采样的U型结构；
所述预设的语义分割网络中卷积为深度可分离卷积。
具体的，根据上述实施例的双手脱离方向盘检测方法，预设的语义分割网络参考unet的设计思想，采用u型结构，该算法需要在终端上运行算法，且场景相比其他类别的语义分割要相对简单，推理后也可以通过图像处理的方式进一步提高准确率，在构建网络时尽可能在不丢失大量精度的情况下，减少参数量。语义分割网络将图片输入缩小至128*128，设计3层上采样与下采样，在每一层特征融合前减少的一次卷积，并把网络中的普通卷积替换成了深度可分离卷积。
训练数据集：由于摄像头的安装位置，画面包含了整个驾驶室的画面，而真正算法关注的区域，就只有手和方向盘。该方案以标定框裁剪的形式为网络输入图像中包含手和方向盘的正方形区域，这样可以增加有用像素的占比。(该区域满足两点要求，1方向盘在任何可调节范围内均不会离开该区域，2司机在正常把持方向盘时，手臂需要在框内，保证手部推理时的图像上下文信息)。数据集以多边形标注后填充颜色的方式生成标注分割图，在标注分割图中，背景，方向盘，手分别用BGR(0，0，0)，(80，80，80)，(160，160，160)表示，通过标签文件转成0，1，2作为类别标签。
利用训练数据集对语义分割网络训练，训练从标注完的图片中随机裁剪正方形作为正负样本，裁剪区域包含以下要求，正样本裁剪时包含图片中的全部标注(完整的手和方向盘)，负样本则完全不包含任何标注(纯背景)。训练时对训练集图片进行随机亮度，旋转，水平翻转的数据增强。
本发明实施例提供的双手脱离方向盘检测方法，通过将mobilenet中深度可分离卷积模块融入特征提取，并且采用上采样的U型网络结构，兼顾推理边缘的细化和推理效率，实现了快速准确的对图片进行分割处理。
基于上述任一实施例，进一步地，所述将当前帧图片输入至预设的语义分割网络进行分割，获得方向盘区域和手部区域，具体包括：
将所述当前帧图片输入至预设的语义分割网络，获得第一推理图片和第二推理图片；其中，所述第一推理图片表示每一个像素点推理为方向盘类别的概率，所述第二推理图片表示每一个像素点推理为手部类别的概率；
从推理结果中依据像素点的类别概率，从第一推理图片提取方向盘的关键点，从第二推理图片提取手部的关键点，分别获得方向盘区域和手部区域，其中，方向盘区域和手部区域均为二值图。
具体的，根据上述实施例的双手脱离方向盘检测方法，从摄像头获取一帧图片，送入车载终端的人工智能(Artificial Intelligence，AI)芯片中，根据配置的检测频率，对于需要推理的图片截取标定框内的图像缩放至128*128像素送入语义分割网络进行推理，语义分割网络传入128*128*3的图片，其中128代表图像长，128代表图像宽，输入图片的3代表图像分RGB三通道，最终推理出128*128*3的结果，其中128代表图像长，128代表图像宽，推理图片3代表3类，分别为第一推理图片表示每一个像素点推理为方向盘类别的概率，第二推理图片表示每一个像素点推理为手部类别的概率，第三推理图片表示每一个像素点推理为背景类别的概率；其中，所述当前帧图片由副驾驶位A柱上方摄像头拍摄，所述当前帧图片包含方向盘和手部。
从推理结果中依据像素点的类别概率，提取方向盘和手的关键点，获得方向盘区域和手部区域，其中，方向盘区域和手部区域均为二值图。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，所述统计方向盘区域被覆盖的像素点的个数，具体包括：
对所述方向盘区域进行填充；
统计所述手部区域对填充后的方向盘区域覆盖的像素点的个数。
具体的，根据上述实施例的双手脱离方向盘检测方法，对所述方向盘区域进行闭运算，在数学形态学中，闭运算被定义为先膨胀后腐蚀，初步将方向盘区域中存在的因为手部像素点遮挡造成的缺口进行填补。
对闭运算后的方向盘区域提取轮廓，并选择像素点最大轮廓，确定方向盘的位置；
对所述最大轮廓进行椭圆拟合，确定椭圆拟合参数。
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域；
对手部区域进行开运算，在数学形态学中，开运算被定义为先腐蚀后膨胀，去除手部推理的噪点。
统计手部区域对填充后的方向盘区域被覆盖重叠的像素点的个数，按覆盖的像素点的个数和椭圆像素点数的比例判断驾驶员是否双手脱离方向盘。
将覆盖的像素点的个数p和判断阈值P对比，如果p>＝P则视为当前帧图像检测到驾驶员握持方向盘，否则为驾驶员双手脱离方向盘。
需要说明的是，阈值设置可以根据实际情况进行设定，本发明实施例将阈值P设为拟合实心椭圆像素点*0.02。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，所述对所述方向盘区域进行填充，具体包括：
对所述方向盘区域进行闭运算；
对闭运算后的方向盘区域提取轮廓，并选择最大轮廓；
对所述最大轮廓进行椭圆拟合，确定椭圆拟合参数；
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域。
具体的，根据上述实施例的双手脱离方向盘检测方法，对所述方向盘区域进行闭运算，在数学形态学中，闭运算被定义为先膨胀后腐蚀，初步将方向盘区域中存在的因为手部像素点遮挡造成的缺口进行填补。
对闭运算后的方向盘区域提取轮廓，并选择像素点最大轮廓，确定方向盘的位置。
对方向盘区域中提取的所述最大轮廓进行椭圆拟合，确定椭圆拟合参数；
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，或者，所述确定椭圆拟合参数后，还包括：对包含当前帧的前x帧推理后拟合(不足x取所有)的椭圆拟合参数取平均值，作为当前帧实际椭圆。
根据所述当前帧实际椭圆进行椭圆绘图，得到所述填充后的方向盘区域。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，所述若所述覆盖像素值小于预设值，则判定为双手脱离方向盘后，还包括：
当判定为双手脱离方向盘的累计时间超过预设时间，则将报警信息上传至后台服务器，触发报警。
具体的，根据上述实施例的双手脱离方向盘检测方法，当某一帧图像检测到双手脱离方向盘后，从当前帧时刻开始进行记录一个累计时间，当驾驶员双手脱离方向持续累计超过预设时间时，车载智能终端将报警信息上传至后台服务器，(系统首先对驾驶员进行提示，在提示后依旧长时间保持双手脱离方向盘状态，上传报警信息)。上传至服务器的报警信息包括：报警时间(年月日时分秒)，地点(GPS经纬度)，触发报警时刻的视频画面，视频画面包括报警时刻前后5秒的视频片段。
多媒体智能中控屏在收到驾驶员双手脱离方向盘信息后，将检测结果叠加在视频中展现给驾驶员，同时同时中控屏将播报“驾驶员双手脱离方向盘”的语音信息提示驾驶员恢复方向盘握持状态。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
基于上述任一实施例，进一步地，或者，所述若所述像素点的个数小于预设值，则判定为双手脱离方向盘后，还包括：
用F记录当前累计检测数，初始为0，检测上限以S表示。当前帧检测到驾驶员握持方向盘，则F自增，反之在当前帧检测到驾驶员双手脱离方向盘，F对应自减，F值变动范围为[-S,S]。累计帧判断用于规避偶然的误检，或者真实情况下驾驶员偶尔换挡或调整车窗等动作时造成的短暂双手脱离方向盘现象。
车载智能终端在每一帧检测结束后向多媒体智能中控屏传输驾驶员双手握持方向盘信息，当F>0时传输驾驶员双手握持方向盘的信号，当F<＝0时传输驾驶员双手脱离方向盘的信号。当传输驾驶员双手脱离方向的信号累计超过预设时间时，车载智能终端将报警信息上传至后台服务器，(系统首先对驾驶员进行提示，在提示后依旧长时间保持双手脱离方向盘状态，上传报警信息)。上传至服务器的报警信息包括：报警时间(年月日时分秒)，地点(GPS经纬度)，触发报警时刻的视频画面，视频画面包括报警时刻前后5秒的视频片段。
多媒体智能中控屏在收到驾驶员双手脱离方向盘信息后，将检测结果叠加在视频中展现给驾驶员，同时中控屏将播报“驾驶员双手脱离方向盘”的语音信息提示驾驶员恢复方向盘握持状态。
本发明实施例提供的双手脱离方向盘检测方法，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，能够准确、实时地检测驾驶员方向盘握持情况。
进一步地，在上述实施例的基础上，本发明实施例提供了一种双手脱离方向盘检测装置，该装置用于执行上述方法实施例中的双手脱离方向盘检测方法。图3为本发明实施例提供的双手脱离方向盘检测装置的流程示意图，如图3所示，该装置包括：统计模块301和判断模块302；其中，
统计模块301，用于统计方向盘区域被覆盖的像素点的个数。
具体的，根据上述实施例的双手脱离方向盘检测装置，在上述统计模块301中，从摄像头获取一帧图片，送入车载终端的人工智能(Artificial Intelligence，AI)芯片中，根据配置的检测频率，对于需要推理的图片截取标定框内的图像缩放至128*128像素送入语义分割网络进行分割，获得方向盘区域和手部区域；其中，所述当前帧图片由副驾驶位A柱上方摄像头拍摄，所述当前帧图片包含方向盘和手部。
对所述方向盘区域进行二值图做闭运算，在数学形态学中，闭运算被定义为先膨胀后腐蚀，初步将方向盘区域中存在的因为手部像素点遮挡造成的缺口进行填补。
对闭运算后的方向盘区域提取轮廓，并选择最大轮廓。
对所述最大轮廓进行椭圆拟合，确定椭圆拟合参数。
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域。
统计模块301统计所述手部区域对填充后的方向盘区域覆盖的像素点的个数。
需要说明的是，图像缩放的大小可以根据实际情况进行设定，本发明实施例将图像缩放至128*128像素，另外，摄像头安装位置能够可以拍摄画面可以完整监控整个驾驶室，包含方向盘与驾驶员手部，具体摄像头安装位置可以根据实际情况选择，本发明实施例将摄像头安装位置设置在驾驶室主副驾驶位的A柱上方。
判断模块302，用于若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
具体的，根据上述实施例的双手脱离方向盘检测装置，在上述判断模块302中，对所述方向盘区域进行填充；并对手部区域进行开运算，在数学形态学中，开运算被定义为先腐蚀后膨胀，去除手部推理的噪点。
统计手部区域对填充后的方向盘区域被覆盖重叠的像素点的个数，按覆盖的像素点的个数和椭圆像素点数的比例判断驾驶员是否双手脱离方向盘。
判断模块302将覆盖的像素个数与判断阈值对比，如果覆盖的像素个数大于等于判断阈值时则视为当前帧图像检测到驾驶员握持方向盘，否则为驾驶员双手脱离方向盘。
本发明实施例提供的双手脱离方向盘检测装置，通过对方向盘区域进行统计被覆盖的像素个数，判断双手是否脱离方向盘，解决了DSM单摄像头视角有限只能对面部检测以及生理信号和传感器方向盘检测导致方向盘的结构复杂，制造工艺繁琐等问题，能够准确、实时地检测驾驶员方向盘握持情况。
举个例子如下：
图4为本发明实施例提供一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：统计方向盘区域被覆盖的像素点的个数；若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：统计方向盘区域被覆盖的像素点的个数；若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种双手脱离方向盘检测方法，其特征在于，包括：
统计方向盘区域被覆盖的像素点的个数；
若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
2.根据权利要求1所述的双手脱离方向盘检测方法，其特征在于，所述统计方向盘区域被覆盖的像素点的个数前，还包括：
将当前帧图片输入至预设的语义分割网络进行分割，获得所述方向盘区域和手部区域；其中，所述当前帧图片包含方向盘和手部。
3.根据权利要求2所述的双手脱离方向盘检测方法，其特征在于，所述预设的语义分割网络为3层上采样与下采样的U型结构；
所述预设的语义分割网络中卷积为深度可分离卷积。
4.根据权利要求2或3所述的双手脱离方向盘检测方法，其特征在于，所述将当前帧图片输入至预设的语义分割网络进行分割，获得方向盘区域和手部区域，具体包括：
将所述当前帧图片输入至预设的语义分割网络，获得第一推理图片和第二推理图片；其中，所述第一推理图片表示每一个像素点推理为方向盘类别的概率，所述第二推理图片表示每一个像素点推理为手部类别的概率；
对第一推理图片和第二推理图片进行像素点的类别概率提取关键点，获得方向盘区域和手部区域。
5.根据权利要求2或3所述的双手脱离方向盘检测方法，其特征在于，所述统计方向盘区域被覆盖的像素点的个数，具体包括：
对所述方向盘区域进行填充；
统计所述手部区域对填充后的方向盘区域覆盖的像素点的个数。
6.根据权利要求5所述的双手脱离方向盘检测方法，其特征在于，所述对所述方向盘区域进行填充，具体包括：
对所述方向盘区域进行闭运算；
对闭运算后的方向盘区域提取轮廓，并选择最大轮廓；
对所述最大轮廓进行椭圆拟合，确定椭圆拟合参数；
根据所述椭圆拟合参数进行椭圆绘图，得到所述填充后的方向盘区域。
7.根据权利要求1所述的双手脱离方向盘检测方法，其特征在于，所述若所述像素点的个数小于预设值，则判定为双手脱离方向盘后，还包括：
当判定为双手脱离方向盘的累计时间超过预设时间，则将报警信息上传至后台服务器，触发报警。
8.一种双手脱离方向盘检测装置，其特征在于，包括：
统计模块，用于统计方向盘区域被覆盖的像素点的个数；
判断模块，用于若所述像素点的个数小于预设值，则判定为双手脱离方向盘。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的双手脱离方向盘检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述双手脱离方向盘检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609801.3A CN111860210A (zh) | 2020-06-29 | 2020-06-29 | 双手脱离方向盘检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609801.3A CN111860210A (zh) | 2020-06-29 | 2020-06-29 | 双手脱离方向盘检测方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860210A true CN111860210A (zh) | 2020-10-30 |
Family
ID=72988374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010609801.3A Pending CN111860210A (zh) | 2020-06-29 | 2020-06-29 | 双手脱离方向盘检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860210A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528910A (zh) * | 2020-12-18 | 2021-03-19 | 上海高德威智能交通系统有限公司 | 手脱离方向盘检测方法、装置、电子设备及存储介质 |
| CN112793522A (zh) * | 2021-03-30 | 2021-05-14 | 重庆长安汽车股份有限公司 | 一种方向盘脱手监测预警方法、系统和汽车 |
| CN113246997A (zh) * | 2021-06-28 | 2021-08-13 | 智道网联科技(北京)有限公司 | 智能驾驶中的安全监测方法、装置、电子设备及存储介质 |
| CN114495073A (zh) * | 2022-01-29 | 2022-05-13 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285370A (ja) * | 2005-03-31 | 2006-10-19 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置及びハンドパターン操作方法 |
| KR20110058460A (ko) * | 2009-11-26 | 2011-06-01 | 현대자동차주식회사 | 차량의 조향휠유닛 및 이의 제어방법 |
| CN106599792A (zh) * | 2016-11-23 | 2017-04-26 | 南京信息工程大学 | 一种手部驾驶违规行为的检测方法 |
| CN109215037A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 目标图像分割方法、装置及终端设备 |
| CN109829926A (zh) * | 2019-01-30 | 2019-05-31 | 杭州鸿泉物联网技术股份有限公司 | 道路场景语义分割方法及装置 |
| CN110866475A (zh) * | 2019-11-05 | 2020-03-06 | 上海眼控科技股份有限公司 | 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 |
-
2020
- 2020-06-29 CN CN202010609801.3A patent/CN111860210A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285370A (ja) * | 2005-03-31 | 2006-10-19 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置及びハンドパターン操作方法 |
| KR20110058460A (ko) * | 2009-11-26 | 2011-06-01 | 현대자동차주식회사 | 차량의 조향휠유닛 및 이의 제어방법 |
| CN106599792A (zh) * | 2016-11-23 | 2017-04-26 | 南京信息工程大学 | 一种手部驾驶违规行为的检测方法 |
| CN109215037A (zh) * | 2018-09-18 | 2019-01-15 | Oppo广东移动通信有限公司 | 目标图像分割方法、装置及终端设备 |
| CN109829926A (zh) * | 2019-01-30 | 2019-05-31 | 杭州鸿泉物联网技术股份有限公司 | 道路场景语义分割方法及装置 |
| CN110866475A (zh) * | 2019-11-05 | 2020-03-06 | 上海眼控科技股份有限公司 | 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 |
Non-Patent Citations (3)
| Title |
|---|
| 何龙文: "车辆驾驶行为实时监测关键技术的研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 01, pages 034 - 188 * |
| 何龙文: "车辆驾驶行为实时监测关键技术的研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 2014, 15 January 2014 (2014-01-15), pages 034 - 188 * |
| 杨帆: "《数字图像处理与分析》", vol. 2019, 31 January 2019, 北京航空航天大学出版社, pages: 212 - 214 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528910A (zh) * | 2020-12-18 | 2021-03-19 | 上海高德威智能交通系统有限公司 | 手脱离方向盘检测方法、装置、电子设备及存储介质 |
| CN112793522A (zh) * | 2021-03-30 | 2021-05-14 | 重庆长安汽车股份有限公司 | 一种方向盘脱手监测预警方法、系统和汽车 |
| CN113246997A (zh) * | 2021-06-28 | 2021-08-13 | 智道网联科技(北京)有限公司 | 智能驾驶中的安全监测方法、装置、电子设备及存储介质 |
| CN114495073A (zh) * | 2022-01-29 | 2022-05-13 | 上海商汤临港智能科技有限公司 | 方向盘脱手检测方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860210A (zh) | 双手脱离方向盘检测方法、装置、电子设备和存储介质 | |
| CN112389448B (zh) | 一种基于车辆状态和驾驶员状态的异常驾驶行为识别方法 | |
| CN110532976B (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 | |
| WO2020055992A1 (en) | Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements | |
| CN110866427A (zh) | 一种车辆行为检测方法及装置 | |
| CN111661059B (zh) | 分心驾驶监测方法、系统及电子设备 | |
| US8301577B2 (en) | Intelligent monitoring system for establishing reliable background information in a complex image environment | |
| CN110619747A (zh) | 一种高速公路道路智能监控方法及系统 | |
| CN103366506A (zh) | 一种驾驶员行车途中接打手机行为的自动监控装置及方法 | |
| CN111126171A (zh) | 一种车辆逆行检测方法及系统 | |
| CN105976570A (zh) | 一种基于车载视频监控的驾驶员吸烟行为实时监测方法 | |
| CN112818839A (zh) | 驾驶员违章行为识别方法、装置、设备及介质 | |
| CN111985295A (zh) | 一种电动自行车行为识别方法、系统、工控机及摄像头 | |
| CN111563468A (zh) | 一种基于神经网络注意力的驾驶员异常行为检测方法 | |
| CN113920310A (zh) | 方向盘脱手检测方法及装置 | |
| Rani et al. | Development of an Automated Tool for Driver Drowsiness Detection | |
| CN111539360B (zh) | 安全带佩戴识别方法、装置及电子设备 | |
| CN111709396A (zh) | 一种基于人体姿态的驾驶技能科目二、三考试辅助评判方法 | |
| CN115489536B (zh) | 一种驾驶辅助方法、系统、设备及可读存储介质 | |
| KR101593676B1 (ko) | 주행상황 인지 방법 및 장치 | |
| CN111325130A (zh) | 一种基于改进fr-cnn的驾驶员通话检测方法 | |
| CN113034915B (zh) | 一种双光谱交通事件检测方法及装置 | |
| JP2010257234A (ja) | 車両用情報提示装置 | |
| CN113869146A (zh) | 方向盘持握状态检测方法及装置 | |
| CN112258813A (zh) | 一种车辆主动安全控制方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |