CN107341458A - 一种用于智能驾考的规范行驶判断方法 - Google Patents

一种用于智能驾考的规范行驶判断方法 Download PDF

Info

Publication number
CN107341458A
CN107341458A CN201710490786.3A CN201710490786A CN107341458A CN 107341458 A CN107341458 A CN 107341458A CN 201710490786 A CN201710490786 A CN 201710490786A CN 107341458 A CN107341458 A CN 107341458A
Authority
CN
China
Prior art keywords
driver
timer
face
key point
seconds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710490786.3A
Other languages
English (en)
Inventor
周康明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201710490786.3A priority Critical patent/CN107341458A/zh
Publication of CN107341458A publication Critical patent/CN107341458A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Abstract

本发明公开了一种用于智能驾考的规范行驶判断方法，包括记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；通过速度传感器获取车辆的行驶速度，利用计时器来统计违规时长，且计时器的初始状态设置为0；当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在违规动作；本发明实现了对考试全程智能评判，且考官可在后台对考试道路停车环节进行监督，既节约了警力，又保证了考试工作的公平、公正和公开。

Description

一种用于智能驾考的规范行驶判断方法
技术领域
本发明涉及驾照考试的人工智能判断技术领域，特别涉及一种用于智能驾考的规范行驶判断方法。
背景技术
随着汽车的快速普及，每年学习和考取机动车驾驶证的人也越来越多，从而导致驾照考试的培训和考试任务变得非常繁重。为了适应新形式下的驾培、考试行业发展要求，公安部于2012年修改了《中华人民共和国公共安庆行业标准——机动车驾驶人考试场地、系统及考试内容与要求》，并于2013年1月1日按《公安部第123号令》新标准执行。
其中，规范行驶考试项目要求考生在车辆行驶过程中，能够适时的通过内、外后视镜观察后方交通情况，且在直线行驶过程中，驾驶员视线不能离开行驶方向超过2秒。
针对规范行驶这个考试项目，传统的评判系统只能依靠人工监考；由监考老师全程跟踪，并判断驾驶员的行车规范，这种方式需要消耗大量的人力，且效率低；针对如今大规模考生，已经无法满足驾考的需求。
发明内容
本发明的目的是：提出一种用于智能驾考的规范行驶判断方法，其采用人脸信息，结合转向灯传感器等信息，综合判断考生的操作是否规范，以满足如今对智能驾考的需求。
本发明解决其技术问题所采用的技术方案是：
一种用于智能驾考的规范行驶判断方法，包括：判断驾驶员是否在行驶中观察后方交通情况的方法和判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法；
其中，所述判断驾驶员是否在行驶中观察后方交通情况的方法包括如下步骤：
S11、记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；
S12、通过速度传感器获取车辆的行驶速度，利用第一计时器来统计违规时长，且第一计时器的初始状态设置为0；
S13、当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在通过内、外后视镜观察的动作；
S14、若有，则重置第一计时器，并重复步骤S13，若则利用第一计时器记录时间；
S15、若第一计时器的记录时间等于0，则重复步骤S13,若第一计时器的记录时间大于0，则保存该时间段内的图片，并输出违规状态为1，或当车速为0时，输出违规状态为0；
所述判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法包括如下步骤：
S21、记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；
S22、通过速度传感器获取车辆的行驶速度，利用第二计时器来统计驾驶员头部偏离的时间，利用第三计时器来统计驾驶员视线偏离的时间，并将所述第二计时器和第三计时器的初始状态设置为0；
S23、当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在转头或视线偏离的动作；
S24、若有，则分别利用所述第二计时器和第三计时器统计相应动作的持续时长，若无则返回重复步骤S23；
S25、判断第二计时器或第三计时器的统计时间是否大于2秒，若没有超过2秒，则返回重复步骤S23，若超过2秒，则保存该2秒内的图片，并输出本违规状态为1，并结束考试；或者，当车速为0时，输出本条违规状态为0,并结束考试；
进一步，所述人脸关键点特征向量的生成步骤包括：
a、首先通过深度学习网络提取人脸关键特征点和人脸框坐标；
b、由提取的人脸关键特征点和人脸框坐标计算出人脸关键点特征向量，由八组人脸姿态组成，包含：左大幅度转头、左小幅度转头、正视前方、低头、小幅度右转抬头、右下低头、右小幅度转头和右大幅度转头，分别对应驾驶员看左B柱、看左后视镜、看正前方、看仪表盘、看内后镜、看档位、看右后视镜和看右B柱八组动作；
c、以一长度为8的数组，其包含元素分别对应驾驶员的八组脸部动作，当数组中某一元素为1时，表示当前驾驶员的脸部姿态检测为该元素对应的动作，如：数组当前取值为[1,0,0,0,0,0,0,0],对应驾驶员脸部姿态为“左大幅度转头”。
进一步，所述人脸关键特征点包括眼部、鼻尖和嘴角的特征点的坐标。
本发明的有益效果是：本发明主要应用于机动车驾驶人科目三道路考试现场停车项目的管理，其实现了对考试全程的智能判断，并适用于省、市及县一级驾考主管部门对所辖各分考场的集中管理和监控，考官在后台即可对考试道路停车环节进行监督，既节约了警力，又保证了考试工作的公平、公正和公开。
附图说明
图1是判断驾驶员是否在行驶中观察后方交通情况的方法流程图。
图2是判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法流程图。
图3是人脸关键点特征向量的生成步骤的流程图。
具体实施方式
以下结合附图。对本发明做进一步说明。
本发明的实施方式主要基于人脸关注点判断模块。
人脸关注点判断模块首先提取人脸框位置信息，然后再通过深度学习判断驾驶员观察的位置。
人脸关注点判断的具体方法包括：提取图片中人脸框的位置信息集合；利用人脸框的面积大小构建人脸的远近深度信息，以面积最大的人脸框作为驾驶员的人脸框；将驾驶员的人脸框图像通过深度学习网络，计算出驾驶员关注点的位置，并结合视频流判断驾驶员的低头、转头等动作信息。
本发明的规范驾驶的判断标准：
1、车辆行驶过程中，没有通过观察内、外后视镜观察后方交通情况的。
2、该规定应仅针对直线行驶时，视线偏离行驶方向、在同一侧保留时间超过2秒；其中，左右扫视是正常的观察动作；弯道或直弯/急弯转弯时视线偏向转弯方向持续时间超过2秒应属正常操作。
本发明的实施具体流程包括：判断驾驶员是否在行驶中观察后方交通情况的方法和判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法。
其中，判断驾驶员是否在行驶中观察后方交通情况的方法，如图1所示，包括：
S11、记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；
S12、通过速度传感器获取车辆的行驶速度，利用第一计时器来统计违规时长，且第一计时器的初始状态设置为0；
S13、当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在通过内、外后视镜观察的动作；
S14、若有，则重置第一计时器，并重复步骤S13，若则利用第一计时器记录时间；
S15、若第一计时器的记录时间等于0，则重复步骤S13,若第一计时器的记录时间大于0，则保存该时间段内的图片，并输出违规状态为1，或当车速为0时，输出违规状态为0。
判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法，如图2所示，包括如下步骤：
S21、记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；
S22、通过速度传感器获取车辆的行驶速度，利用第二计时器来统计驾驶员头部偏离的时间，利用第三计时器来统计驾驶员视线偏离的时间，并将所述第二计时器和第三计时器的初始状态设置为0；
S23、当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在转头或视线偏离的动作；
S24、若有，则分别利用所述第二计时器和第三计时器统计相应动作的持续时长，若无则返回重复步骤S23；
S25、判断第二计时器或第三计时器的统计时间是否大于2秒，若没有超过2秒，则返回重复步骤S23，若超过2秒，则保存该2秒内的图片，并输出本违规状态为1，并结束考试；或者，当车速为0时，输出本条违规状态为0,并结束考试；
其中，人脸关键点特征向量的生成步骤，如图3所示，包括：
a、首先通过深度学习网络提取人脸关键特征点，如眼部、鼻尖和嘴角的特征点的坐标，以及人脸框坐标；
b、由提取的人脸关键特征点和人脸框坐标计算出人脸关键点特征向量，由八组人脸姿态组成，包含：左大幅度转头、左小幅度转头、正视前方、低头、小幅度右转抬头、右下低头、右小幅度转头和右大幅度转头，分别对应驾驶员看左B柱、看左后视镜、看正前方、看仪表盘、看内后镜、看档位、看右后视镜和看右B柱八组动作；
c、以一长度为8的数组，其包含元素分别对应驾驶员的八组脸部动作，当数组中某一元素为1时，表示当前驾驶员的脸部姿态检测为该元素对应的动作，如：数组当前取值为[1,0,0,0,0,0,0,0],对应驾驶员脸部姿态为“左大幅度转头”。
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种用于智能驾考的规范行驶判断方法，其特征在于，包括判断驾驶员是否在行驶中观察后方交通情况的方法和判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法；
其中，所述判断驾驶员是否在行驶中观察后方交通情况的方法包括如下步骤：
S11、记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；
S12、通过速度传感器获取车辆的行驶速度，利用第一计时器来统计违规时长，且第一计时器的初始状态设置为0；
S13、当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在通过内、外后视镜观察的动作；
S14、若有，则重置第一计时器，并重复步骤S13，若则利用第一计时器记录时间；
S15、若第一计时器的记录时间等于0，则重复步骤S13,若第一计时器的记录时间大于0，则保存该时间段内的图片，并输出违规状态为1，或当车速为0时，输出违规状态为0；
所述判断驾驶员是否在直线行驶中有视线离开行驶方向超过2秒的方法包括如下步骤：
S21、记录驾驶员的人脸框坐标信息，生成人脸关键点特征向量，并保存至数据库中；
S22、通过速度传感器获取车辆的行驶速度，利用第二计时器来统计驾驶员头部偏离的时间，利用第三计时器来统计驾驶员视线偏离的时间，并将所述第二计时器和第三计时器的初始状态设置为0；
S23、当车速大于0时，开始通过摄像头实时采集驾驶员的人脸图像信息，并根据人脸关键点特征向量判断驾驶员是否存在转头或视线偏离的动作；
S24、若有，则分别利用所述第二计时器和第三计时器统计相应动作的持续时长，若无则返回重复步骤S23；
S25、判断第二计时器或第三计时器的统计时间是否大于2秒，若没有超过2秒，则返回重复步骤S23，若超过2秒，则保存该2秒内的图片，并输出本违规状态为1，并结束考试；或者，当车速为0时，输出本条违规状态为0,并结束考试。
2.如权利要求1所述的一种用于智能驾考的规范行驶判断方法，其特征在于，所述人脸关键点特征向量的生成步骤包括：
a、首先通过深度学习网络提取人脸关键特征点和人脸框坐标；
b、由提取的人脸关键特征点和人脸框坐标计算出人脸关键点特征向量，由八组人脸姿态组成，包含：左大幅度转头、左小幅度转头、正视前方、低头、小幅度右转抬头、右下低头、右小幅度转头和右大幅度转头，分别对应驾驶员看左B柱、看左后视镜、看正前方、看仪表盘、看内后镜、看档位、看右后视镜和看右B柱八组动作；
c、以一长度为8的数组，其包含元素分别对应驾驶员的八组脸部动作，当数组中某一元素为1时，表示当前驾驶员的脸部姿态检测为该元素对应的动作，如：数组当前取值为[1,0,0,0,0,0,0,0],对应驾驶员脸部姿态为“左大幅度转头”。
3.如权利要求2所述的一种用于智能驾考的规范行驶判断方法，其特征在于，所述人脸关键特征点包括眼部、鼻尖和嘴角的特征点的坐标。
CN201710490786.3A 2017-06-26 2017-06-26 一种用于智能驾考的规范行驶判断方法 Withdrawn CN107341458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710490786.3A CN107341458A (zh) 2017-06-26 2017-06-26 一种用于智能驾考的规范行驶判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710490786.3A CN107341458A (zh) 2017-06-26 2017-06-26 一种用于智能驾考的规范行驶判断方法

Publications (1)

Publication Number Publication Date
CN107341458A true CN107341458A (zh) 2017-11-10

Family

ID=60220068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710490786.3A Withdrawn CN107341458A (zh) 2017-06-26 2017-06-26 一种用于智能驾考的规范行驶判断方法

Country Status (1)

Country Link
CN (1) CN107341458A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573210A (zh) * 2018-03-02 2018-09-25 成都高原汽车工业有限公司 一种疲劳驾驶报警方法及装置
CN109871747A (zh) * 2018-12-30 2019-06-11 广州展讯信息科技有限公司 基于人脸检测的左右瞭望评判方法、装置及可读存储介质
CN113591812A (zh) * 2021-09-29 2021-11-02 武汉未来幻影科技有限公司 一种驾驶员查看动作的识别方法、装置以及处理设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573210A (zh) * 2018-03-02 2018-09-25 成都高原汽车工业有限公司 一种疲劳驾驶报警方法及装置
CN109871747A (zh) * 2018-12-30 2019-06-11 广州展讯信息科技有限公司 基于人脸检测的左右瞭望评判方法、装置及可读存储介质
CN113591812A (zh) * 2021-09-29 2021-11-02 武汉未来幻影科技有限公司 一种驾驶员查看动作的识别方法、装置以及处理设备

Similar Documents

Publication Publication Date Title
CN101639894B (zh) 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统
CN104183091B (zh) 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN103770780B (zh) 一种车辆主动安全系统告警屏蔽装置
CN108446600A (zh) 一种车辆驾驶员疲劳监测预警系统及方法
CN107972671A (zh) 一种驾驶行为分析系统
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN104029680B (zh) 基于单目摄像头的车道偏离预警系统及方法
CN105719431A (zh) 一种疲劳驾驶检测系统
CN102982316A (zh) 一种对驾驶员非正常驾驶行为的识别装置和方法
CN108446678A (zh) 一种基于骨骼特征的危险驾驶行为识别方法
CN104574820B (zh) 一种基于眼睛特征的疲劳驾驶检测方法
CN205210977U (zh) 一种识别驾驶人违规培训记录仪
CN105151049A (zh) 基于驾驶员脸部特征和车道偏离检测的预警系统
CN107341458A (zh) 一种用于智能驾考的规范行驶判断方法
CN104021370A (zh) 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN106143308B (zh) 基于智能后视镜的车道偏离预警系统
CN109636924A (zh) 基于现实路况信息三维建模的车载多模式增强现实系统
CN103106703A (zh) 防作弊驾驶员培训记录仪
CN103909826A (zh) 一种协同感知驾驶员违规行为的优化处理方法
CN203397544U (zh) 一种机动车驾驶科目一自助考试系统
CN105185118A (zh) 一种基于视频检测的违章车辆检测装置及其方法
CN112016429A (zh) 基于火车驾驶室场景下疲劳驾驶检测方法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN110866479A (zh) 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20171110