CN111062319A - 一种基于主动红外图像的驾驶员打电话检测方法 - Google Patents

一种基于主动红外图像的驾驶员打电话检测方法 Download PDF

Info

Publication number
CN111062319A
CN111062319A CN201911292045.XA CN201911292045A CN111062319A CN 111062319 A CN111062319 A CN 111062319A CN 201911292045 A CN201911292045 A CN 201911292045A CN 111062319 A CN111062319 A CN 111062319A
Authority
CN
China
Prior art keywords
image
detection method
infrared image
mobile phone
active infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911292045.XA
Other languages
English (en)
Other versions
CN111062319B (zh
Inventor
仇开金
许端
王述良
张文启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jimu Intelligent Technology Co ltd
Original Assignee
Wuhan Jimu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jimu Intelligent Technology Co ltd filed Critical Wuhan Jimu Intelligent Technology Co ltd
Priority to CN201911292045.XA priority Critical patent/CN111062319B/zh
Publication of CN111062319A publication Critical patent/CN111062319A/zh
Application granted granted Critical
Publication of CN111062319B publication Critical patent/CN111062319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于主动红外图像的驾驶员打电话检测方法，基于车载主动红外图像，利用传统模式识别的方法检测图像中驾驶员人脸，扩大驾驶员人脸区域作为打电话行为的检测区域，再利用深度学习的方法在检测区域中同时检测手机和手，根据检测结果做不同处理，最终实现判断驾驶员是否在打电话的功能。本发明全天24小时运行、检测准确率高、计算复杂度低、硬件成本低，有利于大范围推广应用。

Description

一种基于主动红外图像的驾驶员打电话检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于主动红外图像的驾驶员打电话检测方法。
背景技术
随着汽车工业的快速发展，汽车拥有量迅速增多，对安全驾驶提出了新的需求和挑战。在驾驶员的行为中，注意力不集中是造成交通事故的罪魁祸首。特别是随着手机使用的普及，驾驶过程中的打电话行为成为了引发交通事故的重要原因之一。因此检测开车打手机的功能对于提高行车安全有很大的意义。
现有的打电话检测方法主要有：
依靠执法人员现场执法，即通过在路口执勤的交警等执法人员通过人工的方式进行监控；但基于人工的方式，效率低，监控范围太窄。
基于手机信号捕捉的监控方法，通过在固定区域安装指向性天线监控来自行驶中的车辆上的手机信号，若是正在通话中的信号则启动影像设备，拍摄打电话画面，进行现场取证；基于手机信号的检测方法，会因为不能判断车中正在通话的人是驾驶员还是乘客，因此会出现很多误检测情况。
基于摄像头的智能图像检测方法，常基于可见光图像运用计算机视觉技术判断驾驶员是否打电话，基于可见光图像的打电话检测，会因为夜晚光线昏暗，导致可见光失去作用；而不同的计算机视觉方法往往会获得截然不同的性能和效率。目前常用的方法包括传统的模式识别方法和深度学习方法：计算机视觉方法中的传统模式识别方法往往由于检测精度不够导致漏检或者误检，实用性较差；而计算机视觉方法中的深度学习技术由于计算复杂度很大，导致硬件成本高，不利于大范围推广应用。
发明内容
本发明要解决的技术问题是：提供一种基于主动红外图像的驾驶员打电话检测方法，用于通过计算机视觉技术对红外图像进行处理，实现判断驾驶员是否手持打电话的功能。
本发明为解决上述技术问题所采取的技术方案为：一种基于主动红外图像的驾驶员打电话检测方法，包括以下步骤：
S1：获取车载驾驶主动红外图像；
S2：对红外图像进行包括缩放、平衡对比度和去噪滤波的预处理以降低计算量并输出预处理后的图像；
S3：对预处理后的图像的HOG特征进行分类和排序以检测驾驶员人脸；
S4：扩大驾驶员人脸的区域图像作为待检测区，记为G0；
S5：根据深度学习中的YOLO目标检测方法在G0中检测手和手机，获得检测集合记为S0；
S6：判断S0中目标的存在情况并分别进行后处理；
S7：输出分类结果：若在连续时间T秒内，打手机行为计数大于阈值N则输出告警；若在连续时间T秒内，打手机行为计数小于等于阈值N则不输出告警。
按上述方案，所述的步骤S2中，具体步骤为：
S21：通过图像双线性插值对红外图像进行缩放；
S22：通过直方图均衡化平衡红外图像对比度；
S23：通过中值滤波器对红外图像进行去噪滤波处理并输出处理后的图像。
进一步的，所述的步骤S3中，具体步骤为：
S31：利用图像特征提取器提取图像的HOG特征；
S32：利用SVM分类器对HOG特征进行分类，获得满足SVM分类器的位置即为人脸的位置；
S33：将步骤S32得到的人脸按照大小进行排序，输出最大的人脸即为驾驶员人脸。
进一步的，所述的步骤S6中，具体步骤为：
若S0中不存在任何目标，则直接返回；
若S0中同时存在手和手机，则将打手机行为计数加一；
若S0中仅存在手机，则截取S0中对应的手机区域图像，记为G1；将G1送入物品分类的二分类器中，再次判断是否为手机，若是手机则将打手机行为计数加一，若否则返回；
若S0中仅存在手，则截取S0中对应的手区域图像，记为G2；将G2送入手势分类的二分类器中，再次判断手是否为打手机姿态，若是打手机姿态则打手机行为计数加一，若否则返回。
按上述方案，所述的步骤S3中，用根据LBP算法和Adaboost算法处理预处理后的图像，替换对预处理后的图像的HOG特征进行分类和排序。
按上述方案，所述的步骤S3中，用根据深度学习的目标检测方法处理预处理后的图像，替换对预处理后的图像的HOG特征进行分类和排序。
按上述方案，所述的步骤S5中，用RCNN算法替换深度学习中的YOLO目标检测方法。
按上述方案，所述的步骤S5中，用SSD算法替换深度学习中的YOLO目标检测方法。
本发明的有益效果为：
1.本发明的一种基于主动红外图像的驾驶员打电话检测方法通过计算机视觉技术对红外图像进行处理，实现判断驾驶员是否手持打电话的功能。
2.本发明效率高，监控范围广。
3.本发明检测准确率高、误检率低。
4.本发明采用主动红外图像，具有全天24小时运行的优点。
5.本发明在不降低准确率的前提下，计算复杂度低、硬件成本低，有利于大范围推广应用。
附图说明
图1是本发明实施例的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1，本发明的一种基于主动红外图像的驾驶员打电话检测方法，包括以下步骤：
S1：获取车载驾驶主动红外图像。
S2：对红外图像进行包括缩放、平衡对比度和去噪滤波的预处理以降低计算量并输出预处理后的图像：
S21：通过图像双线性插值对红外图像进行缩放；
S22：通过直方图均衡化平衡红外图像对比度；
S23：通过中值滤波器对红外图像进行去噪滤波处理并输出处理后的图像。
S3：对预处理后的图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征进行分类和排序以检测驾驶员人脸：
S31：利用图像特征提取器提取图像的HOG特征；
S32：利用SVM(Support Vector Machine，支持向量机)分类器对HOG特征进行分类，获得满足SVM分类器的位置即为人脸的位置；
S33：将步骤S32得到的人脸按照大小进行排序，输出最大的人脸即为驾驶员人脸。
也可采用LBP(Local Binary Pattern，局部二值模式)算法和Adaboost算法，或采用深度学习的目标检测方法处理预处理后的图像，以检测驾驶员人脸。
S4：扩大驾驶员人脸的区域图像作为待检测区，记为G0。
S5：根据深度学习中的YOLO(You Only Look Once)目标检测方法在G0中检测手和手机，获得检测集合记为S0。
也可采用RCNN(Region Convolutional Neural Networks，区域卷积神经网络)算法或采用SSD(Single Shot MultiBox Detector)算法在G0中检测手和手机，获得检测集合记为S0。
S6：判断S0中目标的存在情况并分别进行后处理：
若S0中不存在任何目标，则直接返回；
若S0中同时存在手和手机，则将打手机行为计数加一；
若S0中仅存在手机，则截取S0中对应的手机区域图像，记为G1；将G1送入物品分类的二分类器中，再次判断是否为手机，若是手机则将打手机行为计数加一，若否则返回；
若S0中仅存在手，则截取S0中对应的手区域图像，记为G2；将G2送入手势分类的二分类器中，再次判断手是否为打手机姿态，若是打手机姿态则打手机行为计数加一，若否则返回；
S7：输出分类结果：若在连续时间T秒内，打手机行为计数大于阈值N则输出告警；若在连续时间T秒内，打手机行为计数小于等于阈值N则不输出告警。
综上所述，本发明的一种基于主动红外图像的驾驶员打电话检测方法基于车载主动红外图像，利用传统模式识别的方法检测图像中驾驶员人脸，扩大驾驶员人脸区域作为打电话行为的检测区域，再利用深度学习的方法在检测区域中同时检测手机和手，根据检测结果做不同处理，最终实现判断驾驶员是否在打电话的功能。本发明全天24小时运行、检测准确率高、计算复杂度低、硬件成本低，有利于大范围推广应用。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (8)

1.一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：包括以下步骤：
S1：获取车载驾驶主动红外图像；
S2：对红外图像进行包括缩放、平衡对比度和去噪滤波的预处理以降低计算量并输出预处理后的图像；
S3：对预处理后的图像的HOG特征进行分类和排序以检测驾驶员人脸；
S4：扩大驾驶员人脸的区域图像作为待检测区，记为G0；
S5：根据深度学习中的YOLO目标检测方法在G0中检测手和手机，获得检测集合记为S0；
S6：判断S0中目标的存在情况并分别进行后处理；
S7：输出分类结果：若在连续时间T秒内，打手机行为计数大于阈值N则输出告警；若在连续时间T秒内，打手机行为计数小于等于阈值N则不输出告警。
2.根据权利要求1所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S2中，具体步骤为：
S21：通过图像双线性插值对红外图像进行缩放；
S22：通过直方图均衡化平衡红外图像对比度；
S23：通过中值滤波器对红外图像进行去噪滤波处理并输出处理后的图像。
3.根据权利要求2所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S3中，具体步骤为：
S31：利用图像特征提取器提取图像的HOG特征；
S32：利用SVM分类器对HOG特征进行分类，获得满足SVM分类器的位置即为人脸的位置；
S33：将步骤S32得到的人脸按照大小进行排序，输出最大的人脸即为驾驶员人脸。
4.根据权利要求3所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S6中，具体步骤为：
若S0中不存在任何目标，则直接返回；
若S0中同时存在手和手机，则将打手机行为计数加一；
若S0中仅存在手机，则截取S0中对应的手机区域图像，记为G1；将G1送入物品分类的二分类器中，再次判断是否为手机，若是手机则将打手机行为计数加一，若否则返回；
若S0中仅存在手，则截取S0中对应的手区域图像，记为G2；将G2送入手势分类的二分类器中，再次判断手是否为打手机姿态，若是打手机姿态则打手机行为计数加一，若否则返回。
5.根据权利要求1所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S3中，用根据LBP算法和Adaboost算法处理预处理后的图像，替换对预处理后的图像的HOG特征进行分类和排序。
6.根据权利要求1所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S3中，用根据深度学习的目标检测方法处理预处理后的图像，替换对预处理后的图像的HOG特征进行分类和排序。
7.根据权利要求1所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S5中，用RCNN算法替换深度学习中的YOLO目标检测方法。
8.根据权利要求1所述的一种基于主动红外图像的驾驶员打电话检测方法，其特征在于：所述的步骤S5中，用SSD算法替换深度学习中的YOLO目标检测方法。
CN201911292045.XA 2019-12-16 2019-12-16 一种基于主动红外图像的驾驶员打电话检测方法 Active CN111062319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911292045.XA CN111062319B (zh) 2019-12-16 2019-12-16 一种基于主动红外图像的驾驶员打电话检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911292045.XA CN111062319B (zh) 2019-12-16 2019-12-16 一种基于主动红外图像的驾驶员打电话检测方法

Publications (2)

Publication Number Publication Date
CN111062319A true CN111062319A (zh) 2020-04-24
CN111062319B CN111062319B (zh) 2023-02-10

Family

ID=70301925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911292045.XA Active CN111062319B (zh) 2019-12-16 2019-12-16 一种基于主动红外图像的驾驶员打电话检测方法

Country Status (1)

Country Link
CN (1) CN111062319B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052815A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
CN112836643A (zh) * 2021-02-04 2021-05-25 成都国翼电子技术有限公司 一种特定场景抽烟和打电话识别方法
CN112861608A (zh) * 2020-12-30 2021-05-28 浙江万里学院 一种分心驾驶行为的检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301384A (zh) * 2017-06-09 2017-10-27 湖北天业云商网络科技有限公司 一种驾驶员接打电话行为检测方法及系统
CN109165607A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种基于深度学习的驾驶员手持电话检测方法
CN109685026A (zh) * 2018-12-28 2019-04-26 南通大学 一种驾驶员手持手机通话的实时监测方法
CN109800686A (zh) * 2018-12-30 2019-05-24 武汉极目智能技术有限公司 一种基于主动红外图像的驾驶员吸烟检测方法
CN110309764A (zh) * 2019-06-27 2019-10-08 浙江工业大学 一种基于深度学习的多阶段驾驶员打电话行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301384A (zh) * 2017-06-09 2017-10-27 湖北天业云商网络科技有限公司 一种驾驶员接打电话行为检测方法及系统
CN109165607A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种基于深度学习的驾驶员手持电话检测方法
CN109685026A (zh) * 2018-12-28 2019-04-26 南通大学 一种驾驶员手持手机通话的实时监测方法
CN109800686A (zh) * 2018-12-30 2019-05-24 武汉极目智能技术有限公司 一种基于主动红外图像的驾驶员吸烟检测方法
CN110309764A (zh) * 2019-06-27 2019-10-08 浙江工业大学 一种基于深度学习的多阶段驾驶员打电话行为检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052815A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
CN112052815B (zh) * 2020-09-14 2024-02-20 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
CN112861608A (zh) * 2020-12-30 2021-05-28 浙江万里学院 一种分心驾驶行为的检测方法及系统
CN112836643A (zh) * 2021-02-04 2021-05-25 成都国翼电子技术有限公司 一种特定场景抽烟和打电话识别方法

Also Published As

Publication number Publication date
CN111062319B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN107851195B (zh) 利用神经网络进行目标检测
CN111062319B (zh) 一种基于主动红外图像的驾驶员打电话检测方法
CN110858295B (zh) 一种交警手势识别方法、装置、整车控制器及存储介质
CN108257158B (zh) 一种基于循环神经网络的目标预测与跟踪方法
CN109635656A (zh) 基于神经网络的车辆属性识别方法、装置、设备及介质
CN100495438C (zh) 一种基于视频监控的运动目标检测与识别方法
CN111695514B (zh) 一种基于深度学习的雾天下车辆检测方法
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN103366506A (zh) 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN106934374B (zh) 一种雾霾场景中交通标识牌的识别方法及系统
EP3090380A1 (en) Driver behavior monitoring systems and methods for driver behavior monitoring
CN107529659B (zh) 安全带佩戴检测方法、装置及电子设备
CN106886778B (zh) 一种监控场景下车牌字符分割与识别方法
CN103400111A (zh) 基于视频检测技术的高速公路隧道火灾事件检测方法
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN110276318A (zh) 夜间公路下雨识别方法、装置、计算机设备及存储介质
Jin et al. A deep-learning-based scheme for detecting driver cell-phone use
CN102254396B (zh) 基于视频的入侵检测方法及装置
Sulehria et al. Mathematical morphology methodology for extraction of vehicle number plates
CN112085018A (zh) 基于神经网络的车牌识别系统
CN109325426B (zh) 一种基于三正交平面时空特征的黑烟车检测方法
CN104239908A (zh) 基于自适应阈值的智能乘客流量自动统计方法
CN109685083A (zh) 驾驶员开车违规使用手机的多尺度检测方法
CN117237867A (zh) 基于特征融合的自适应场面监视视频目标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant