CN114821549A - 一种利用方向盘定位驾驶区域的驾驶行为识别方法 - Google Patents

一种利用方向盘定位驾驶区域的驾驶行为识别方法 Download PDF

Info

Publication number
CN114821549A
CN114821549A CN202210430581.7A CN202210430581A CN114821549A CN 114821549 A CN114821549 A CN 114821549A CN 202210430581 A CN202210430581 A CN 202210430581A CN 114821549 A CN114821549 A CN 114821549A
Authority
CN
China
Prior art keywords
steering wheel
driving
behavior
driving behavior
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210430581.7A
Other languages
English (en)
Inventor
陈浩
佘堃
于钥
姚奡如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210430581.7A priority Critical patent/CN114821549A/zh
Publication of CN114821549A publication Critical patent/CN114821549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域,具体涉及一种利用方向盘定位驾驶区域的驾驶行为识别方法,包括通过摄像头获取驾驶员驾驶行为视频流;基于视频流判断是否已有驾驶员方向盘位置信息,若有方向盘位置信息,则进行图像关键区域数据提前,若无方向盘位置信息,则执行下一步;对视频流进行目标检测预处理,得到预处理数据;使用目标检测算法对预处理数据进行方向盘检测,得到方向盘位置信息;利用方向盘位置信息从视频流中提取图像关键区域数据;对图像关键区域数据进行图像分类处理,得到分类图像;使用行为分类算法从分类图像中识别驾驶行为类别,解决了现有的方法受制于网络,降低了驾驶行为识别的准确率的问题。

Description

一种利用方向盘定位驾驶区域的驾驶行为识别方法
技术领域
本发明涉及数据处理技术领域,尤其涉及一种利用方向盘定位驾驶区域的驾驶行为识别方法。
背景技术
通过计算机视觉算法识别驾驶员的驾驶行为,并根据行为类别进行报警提示能够有效提高驾驶安全性。
由于深度学习算法需要耗费巨大的内存资源和运算资源,当前主流的方法是将车内驾驶员驾驶行为图像上传到云端进行处理,然后将识别结果返回给车载设备。
这种方法严格受制于网络影响,容易出现无法连接网络或者网络时延较高等,降低了驾驶行为识别的准确率。
发明内容
本发明的目的在于提供一种利用方向盘定位驾驶区域的驾驶行为识别方法,旨在解决现有的方法受制于网络,降低了驾驶行为识别的准确率的问题。
为实现上述目的,本发明提供了一种利用方向盘定位驾驶区域的驾驶行为识别方法,包括以下步骤:
S1通过摄像头获取驾驶员驾驶行为视频流;
S2基于所述视频流判断是否已有驾驶员方向盘位置信息,若有方向盘位置信息,则执行步骤S5,若无方向盘位置信息,则执行步骤S3;
S3对所述视频流进行目标检测预处理,得到预处理数据;
S4使用目标检测算法对所述预处理数据进行方向盘检测,得到方向盘位置信息;
S5利用所述方向盘位置信息从所述视频流中提取图像关键区域数据;
S6对所述图像关键区域数据进行图像分类处理,得到分类图像;
S7使用行为分类算法从所述分类图像中识别驾驶行为类别;
S8将所述驾驶行为类别输出。
其中,在步骤通过摄像头获取驾驶员驾驶行为视频流之前,所述方法还包括:
将摄像头安装在副驾驶,并基于驾驶室座椅位置和驾驶员位置对所述摄像头进行位置调整,使得所述摄像头的视频画面左端对准驾驶员座椅。
其中,所述通过摄像头获取驾驶员驾驶行为视频流的具体方式为:
S11通过摄像头获取驾驶员驾驶行为,得到视频流;
S12通过开源计算机视觉库从所述摄像头中获取所述视频流。
其中,所述使用目标检测算法对所述预处理数据进行方向盘检测,得到方向盘位置信息的具体方式为:
S41构建检测模型;
S42制作方向盘定位数据集;
S43使用所述方向盘定位数据训练所述检测模型,得到目标检测模型;
S44通过所述目标检测模型使用目标检测算法的预训练权重初始化模型参数对所述预处理数据进行迁移学习,得到方向盘位置信息。
其中,所述制作方向盘定位数据集的具体方式为:
S421收集车内包含方向盘图片;
S422使用目标检测标注工具从所述车内包含方向盘图片中标注方向盘位置,得到标注位置;
S423基于所述标注位置制作方向盘定位数据集。
其中,所述利用所述方向盘位置信息从所述视频流中提取图像关键区域数据的具体方式为:
S51基于所述方向盘位置信息从所述视频流中裁切出方向盘和驾驶员,得到视频关键区域数据;
S52将所述视频关键区域数据保存为图片,得到图像关键区域数据。
其中,所述使用行为分类算法从所述分类图像中识别驾驶行为类别的具体方式为:
S71构建分类模型;
S72制作驾驶行为数据集;
S73使用所述驾驶行为数据集对所述分类模型进行训练,得到图片分类模型;
S74通过所述图片分类模型使用主流轻量级图片分类算法的预训练权重初始化模型参数对所述分类图像进行迁移学习,得到驾驶行为类别。
其中,所述制作驾驶行为数据集的具体方式为:
S721使用所述摄像头采集驾驶员的驾驶行为,得到采集视频;
S722将所述采集视频处理为图片,得到行为图片;
S723对所述行为图片分类,得到驾驶行为数据集。
其中,所述驾驶行为包括正常驾驶、喝水行为和吸烟行为。
其中,所述对所述行为图片分类,得到驾驶行为数据集的具体方式为:
S7231构建正常驾驶文件夹、喝水行为文件夹和吸烟行为文件夹;
S7232将所述行为图片分类为正常驾驶图片、喝水行为图片和吸烟行为图片;
S7233将所述正常驾驶图片存入所述正常驾驶文件夹,将所述喝水行为图片存入所述喝水行为文件夹,将所述吸烟行为图片存入吸烟行为文件夹,得到驾驶行为数据集。
本发明的一种利用方向盘定位驾驶区域的驾驶行为识别方法,通过摄像头获取驾驶员驾驶行为视频流;基于所述视频流判断是否已有驾驶员方向盘位置信息,若有方向盘位置信息,则进行图像关键区域数据提前,若无方向盘位置信息,则执行下一步;对所述视频流进行目标检测预处理,得到预处理数据;使用目标检测算法对所述预处理数据进行方向盘检测,得到方向盘位置信息;利用所述方向盘位置信息从所述视频流中提取图像关键区域数据;对所述图像关键区域数据进行图像分类处理,得到分类图像;使用行为分类算法从所述分类图像中识别驾驶行为类别;将所述驾驶行为类别输出,本发明能够直接在车载嵌入式设备部署,不再受制于网络因素,独立地实现驾驶行为识别,解决了现有的方法受制于网络,降低了驾驶行为识别的准确率的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种利用方向盘定位驾驶区域的驾驶行为识别方法的流程图。
图2是本发明提供的一种利用方向盘定位驾驶区域的驾驶行为识别方法的原理图。
图3是驾驶行为数据集示例图。
图4是方向盘定位效果图。
图5是图像关键区域效果图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
请参阅图1至图5,本发明提供一种利用方向盘定位驾驶区域的驾驶行为识别方法,包括以下步骤:
S1通过摄像头获取驾驶员驾驶行为视频流;
具体的,在步骤通过摄像头获取驾驶员驾驶行为视频流之前,所述方法还包括:
将摄像头安装在副驾驶,并基于驾驶室座椅位置和驾驶员位置对所述摄像头进行位置调整,使得所述摄像头的视频画面左端对准驾驶员座椅,此时所述摄像头的画面包括座椅、驾驶员和方向盘。
通过摄像头获取驾驶员驾驶行为视频流的具体方式为:
通过摄像头获取驾驶员驾驶行为,得到视频流;
通过开源计算机视觉库(OpenCV)从所述摄像头中获取所述视频流。
S2基于所述视频流判断是否已有驾驶员方向盘位置信息,若有方向盘位置信息,则执行步骤S5,若无方向盘位置信息,则执行步骤S3;
S3对所述视频流进行目标检测预处理,得到预处理数据;
S4使用目标检测算法对所述预处理数据进行方向盘检测,得到方向盘位置信息;
具体方式为:
S41构建检测模型;
S42制作方向盘定位数据集;
具体的,收集车内包含方向盘图片;使用目标检测标注工具从所述车内包含方向盘图片中标注方向盘位置,得到标注位置;基于所述标注位置制作方向盘定位数据集。
所述目标检测标注工具为LabelImg。
S43使用所述方向盘定位数据训练所述检测模型,得到目标检测模型;
S44通过所述目标检测模型使用目标检测算法的预训练权重初始化模型参数对所述预处理数据进行迁移学习,得到方向盘位置信息。
具体的,所述目标检测算法为Yolov4-tiny。
S5利用所述方向盘位置信息从所述视频流中提取图像关键区域数据;
具体的,基于所述方向盘位置信息从所述视频流中裁切出方向盘和驾驶员,得到视频关键区域数据;将所述视频关键区域数据保存为图片,得到图像关键区域数据。
S6对所述图像关键区域数据进行图像分类处理,得到分类图像;
S7使用行为分类算法从所述分类图像中识别驾驶行为类别;
具体方式为:
S71构建分类模型;
S72制作驾驶行为数据集;
具体的,S721使用所述摄像头采集驾驶员的驾驶行为,得到采集视频;
具体的,所述驾驶行为的种类包括正常驾驶、喝水行为和吸烟行为,还包括侧视、操作中控、玩手机、侧身拿东西、整理仪容、接电话等等。
S722将所述采集视频处理为图片,得到行为图片;
S723对所述行为图片分类,得到驾驶行为数据集;
具体的,S7231构建正常驾驶文件夹、喝水行为文件夹和吸烟行为文件夹;
其中,文件夹的构建数量等于所述驾驶行为的种类。
S7232将所述行为图片分类为正常驾驶图片、喝水行为图片和吸烟行为图片;
S7233将所述正常驾驶图片存入所述正常驾驶文件夹,将所述喝水行为图片存入所述喝水行为文件夹,将所述吸烟行为图片存入吸烟行为文件夹,得到驾驶行为数据集。
S73使用所述驾驶行为数据集对所述分类模型进行训练,得到图片分类模型;
S74通过所述图片分类模型使用主流轻量级图片分类算法的预训练权重初始化模型参数对所述分类图像进行迁移学习,得到驾驶行为类别。
具体的,所述主流轻量级图片分类算法为MobileNetv2。
S8将所述驾驶行为类别输出。
有益效果:
1、本发明将目标检测任务处理为图片分类任务,能够同时兼顾识别准确率与检测速度。
2、本发明对硬件内存资源与运算资源要求较低,能够极大降低硬件成本。
3、本发明能够直接在车载嵌入式设备部署,不再受制于网络因素,独立地实现驾驶行为识别。
以上所揭露的仅为本发明一种利用方向盘定位驾驶区域的驾驶行为识别方法较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,包括以下步骤:
S1通过摄像头获取驾驶员驾驶行为视频流;
S2基于所述视频流判断是否已有驾驶员方向盘位置信息,若有方向盘位置信息,则执行步骤S5,若无方向盘位置信息,则执行步骤S3;
S3对所述视频流进行目标检测预处理,得到预处理数据;
S4使用目标检测算法对所述预处理数据进行方向盘检测,得到方向盘位置信息;
S5利用所述方向盘位置信息从所述视频流中提取图像关键区域数据;
S6对所述图像关键区域数据进行图像分类处理,得到分类图像;
S7使用行为分类算法从所述分类图像中识别驾驶行为类别;
S8将所述驾驶行为类别输出。
2.如权利要求1所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
在步骤通过摄像头获取驾驶员驾驶行为视频流之前,所述方法还包括:
将摄像头安装在副驾驶,并基于驾驶室座椅位置和驾驶员位置对所述摄像头进行位置调整,使得所述摄像头的视频画面左端对准驾驶员座椅。
3.如权利要求2所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述通过摄像头获取驾驶员驾驶行为视频流的具体方式为:
S11通过摄像头获取驾驶员驾驶行为,得到视频流;
S12通过开源计算机视觉库从所述摄像头中获取所述视频流。
4.如权利要求3所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述使用目标检测算法对所述预处理数据进行方向盘检测,得到方向盘位置信息的具体方式为:
S41构建检测模型;
S42制作方向盘定位数据集;
S43使用所述方向盘定位数据训练所述检测模型,得到目标检测模型;
S44通过所述目标检测模型使用目标检测算法的预训练权重初始化模型参数对所述预处理数据进行迁移学习,得到方向盘位置信息。
5.如权利要求4所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述制作方向盘定位数据集的具体方式为:
S421收集车内包含方向盘图片;
S422使用目标检测标注工具从所述车内包含方向盘图片中标注方向盘位置,得到标注位置;
S423基于所述标注位置制作方向盘定位数据集。
6.如权利要求5所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述利用所述方向盘位置信息从所述视频流中提取图像关键区域数据的具体方式为:
S51基于所述方向盘位置信息从所述视频流中裁切出方向盘和驾驶员,得到视频关键区域数据;
S52将所述视频关键区域数据保存为图片,得到图像关键区域数据。
7.如权利要求6所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述使用行为分类算法从所述分类图像中识别驾驶行为类别的具体方式为:
S71构建分类模型;
S72制作驾驶行为数据集;
S73使用所述驾驶行为数据集对所述分类模型进行训练,得到图片分类模型;
S74通过所述图片分类模型使用主流轻量级图片分类算法的预训练权重初始化模型参数对所述分类图像进行迁移学习,得到驾驶行为类别。
8.如权利要求7所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述制作驾驶行为数据集的具体方式为:
S721使用所述摄像头采集驾驶员的驾驶行为,得到采集视频;
S722将所述采集视频处理为图片,得到行为图片;
S723对所述行为图片分类,得到驾驶行为数据集。
9.如权利要求8所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述驾驶行为包括正常驾驶、喝水行为和吸烟行为。
10.如权利要求9所述的利用方向盘定位驾驶区域的驾驶行为识别方法,其特征在于,
所述对所述行为图片分类,得到驾驶行为数据集的具体方式为:
S7231构建正常驾驶文件夹、喝水行为文件夹和吸烟行为文件夹;
S7232将所述行为图片分类为正常驾驶图片、喝水行为图片和吸烟行为图片;
S7233将所述正常驾驶图片存入所述正常驾驶文件夹,将所述喝水行为图片存入所述喝水行为文件夹,将所述吸烟行为图片存入吸烟行为文件夹,得到驾驶行为数据集。
CN202210430581.7A 2022-04-22 2022-04-22 一种利用方向盘定位驾驶区域的驾驶行为识别方法 Pending CN114821549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210430581.7A CN114821549A (zh) 2022-04-22 2022-04-22 一种利用方向盘定位驾驶区域的驾驶行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210430581.7A CN114821549A (zh) 2022-04-22 2022-04-22 一种利用方向盘定位驾驶区域的驾驶行为识别方法

Publications (1)

Publication Number Publication Date
CN114821549A true CN114821549A (zh) 2022-07-29

Family

ID=82504860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210430581.7A Pending CN114821549A (zh) 2022-04-22 2022-04-22 一种利用方向盘定位驾驶区域的驾驶行为识别方法

Country Status (1)

Country Link
CN (1) CN114821549A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163900A (ja) * 2004-12-08 2006-06-22 Nissan Motor Co Ltd ドライバモニタシステムおよびその処理方法
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN108564034A (zh) * 2018-04-13 2018-09-21 湖北文理学院 一种驾驶员行车中操作手机行为的检测方法
CN110135327A (zh) * 2019-05-11 2019-08-16 东南大学 一种基于多区域特征学习模型的驾驶员行为识别方法
CN110852233A (zh) * 2019-11-05 2020-02-28 上海眼控科技股份有限公司 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN111860316A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾驶行为的识别方法、装置及存储介质
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN113869146A (zh) * 2021-09-10 2021-12-31 杭州鸿泉物联网技术股份有限公司 方向盘持握状态检测方法及装置
US20220111857A1 (en) * 2020-10-14 2022-04-14 Magna Electronics Inc. Vehicular driving assist with driver monitoring

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163900A (ja) * 2004-12-08 2006-06-22 Nissan Motor Co Ltd ドライバモニタシステムおよびその処理方法
CN102263937A (zh) * 2011-07-26 2011-11-30 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN108564034A (zh) * 2018-04-13 2018-09-21 湖北文理学院 一种驾驶员行车中操作手机行为的检测方法
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN110135327A (zh) * 2019-05-11 2019-08-16 东南大学 一种基于多区域特征学习模型的驾驶员行为识别方法
CN110852233A (zh) * 2019-11-05 2020-02-28 上海眼控科技股份有限公司 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN111860316A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾驶行为的识别方法、装置及存储介质
US20220111857A1 (en) * 2020-10-14 2022-04-14 Magna Electronics Inc. Vehicular driving assist with driver monitoring
CN113869146A (zh) * 2021-09-10 2021-12-31 杭州鸿泉物联网技术股份有限公司 方向盘持握状态检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张德明: "基于深度学习的驾驶行为识别算法研究" *
陈浩: "车载危险驾驶行为报警系统的研究与实现" *

Similar Documents

Publication Publication Date Title
EP3961485A1 (en) Image processing method, apparatus and device, and storage medium
CN108710865B (zh) 一种基于神经网络的司机异常行为检测方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN111260666B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN112906463A (zh) 基于图像的火情检测方法、装置、设备及存储介质
CN111695514A (zh) 一种基于深度学习的雾天下车辆检测方法
US20210209385A1 (en) Method and apparatus for recognizing wearing state of safety belt
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112784724A (zh) 一种车辆变道检测方法、装置、设备及存储介质
WO2023207778A1 (zh) 数据修复方法、装置、计算机及可读存储介质
CN113344826A (zh) 图像处理方法、装置、电子设备及存储介质
CN111091122B (zh) 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN113158966A (zh) 基于深度学习的非机动车骑车带人行为识别的检测方法
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
CN114821549A (zh) 一种利用方向盘定位驾驶区域的驾驶行为识别方法
CN116740124A (zh) 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN109829491B (zh) 用于图像检测的信息处理方法、装置以及存储介质
CN109325521B (zh) 用于虚拟人物的检测方法及装置
CN113239931A (zh) 一种物流站车牌识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220729