CN113610033A - 一种双手脱离方向盘监测方法、终端设备及存储介质 - Google Patents

一种双手脱离方向盘监测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN113610033A
CN113610033A CN202110935872.7A CN202110935872A CN113610033A CN 113610033 A CN113610033 A CN 113610033A CN 202110935872 A CN202110935872 A CN 202110935872A CN 113610033 A CN113610033 A CN 113610033A
Authority
CN
China
Prior art keywords
steering wheel
hand
hands
target
positioning frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110935872.7A
Other languages
English (en)
Inventor
江永付
陈从华
谢超
陈海沯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingjian Xiamen Software Development Co ltd
Original Assignee
Mingjian Xiamen Software Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingjian Xiamen Software Development Co ltd filed Critical Mingjian Xiamen Software Development Co ltd
Priority to CN202110935872.7A priority Critical patent/CN113610033A/zh
Publication of CN113610033A publication Critical patent/CN113610033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本发明涉及一种双手脱离方向盘监测方法、终端设备及存储介质，该方法中包括：S1：采集方向盘监测图像，并对方向盘监测图像进行方向盘目标检测；S2：在方向盘目标区域图像中进行手部目标检测及双手是否脱离方向盘的判断，当判断双手未脱离方向盘时进入S3；S3：根据手部目标检测得到的手部目标定位框，结合加权偏心扩展的方式获取手握方向盘检测区域；S4：根据手握方向盘检测区域对应的图像进行手是否握方向盘分类及双手是否脱离方向盘的判断。在第一视角摄像头的决策结果为双手未脱离方向盘时，结合第二视角摄像头对方向盘状态进行复检。本发明提高了检测准确性。

Description

一种双手脱离方向盘监测方法、终端设备及存储介质
技术领域
本发明涉及车辆技术领域，尤其涉及一种双手脱离方向盘监测方法、终端设备及存储介质。
背景技术
随着机动车的逐渐普及，交通事故也伴随着不断增加。不良的驾驶行为是导致事故发生的重要因素，通过监测司机在驾车行驶过程中双手是否脱离方向盘，并及时进行警示提醒，有助于提高司机的安全意识，规范驾驶行为。
现有的监测驾驶员双手脱离方向盘行为的方式主要包括两种：1、通过在方向盘或方向盘套中加装压力、电磁或温度等传感器，用于监测驾驶员双手是否握方向盘，该方法对传感器的精度要求较高，且在复杂的手握方向盘行为，如手握方向盘的压力小、接触面积小或接触位置在传感器盲区等情况下，容易出现误检测。2、通过非接触视觉检测的方法，随着深度图像学习的发展，由于复杂驾驶环境和驾驶行为导致方向盘监测误报频繁的问题正逐渐得到改善。但是通过卷积神经网络对驾驶员手势或方向盘进行定位与手握方向盘属性分析，只能实现部分场景下的方向盘监测，理由如下：(1)由于上述方法均直接在全图上进行目标检测，将会在产生庞大运算量的同时严重损失手握方向盘信息；(2)手是否握方向盘的轻微差异难以通过局部手势姿态捕捉；(3)通过二维图像分析手与方向盘的三维空间关系存在一定误差。
发明内容
为了解决上述问题，本发明提出了一种双手脱离方向盘监测方法、终端设备及存储介质。
具体方案如下：
一种双手脱离方向盘监测方法，包括以下步骤：
S1：采集方向盘监测图像，并对方向盘监测图像进行方向盘目标检测，按照放大系数将方向盘目标定位框以方向盘目标定位框的中心为原点放大为方向盘目标区域图像；
S2：在方向盘目标区域图像中进行手部目标检测，根据手部目标检测结果进行双手是否脱离方向盘的判断，当判断双手脱离方向盘时，输出双手脱离方向盘信号；否则，进入S3；
S3：根据手部目标检测得到的手部目标定位框，按照放大系数将手部目标定位框以手部目标定位框的中心为原点放大为第一手握方向盘检测区域，并根据方向盘目标定位框与手部目标定位框的位置关系，将第一手握方向盘检测区域偏移至第二手握方向盘检测区域；
S4：根据第二手握方向盘检测区域对应的图像进行手是否握方向盘分类，根据全部分类结果进行双手是否脱离方向盘的判断，当判断双手脱离方向盘时，输出双手脱离方向盘信号；否则，输出手握方向盘信号。
进一步的，针对方向盘监测图像进行方向盘目标检测时，在设备启动后首先进行多次方向盘目标定位框检测后取平均值来作为最终标定结果。标定之后的方向盘监测图像不再进行重复检测，均使用标定的方向盘目标检测结果。
进一步的，根据手部目标检测结果进行双手是否脱离方向盘的判断的方法为：当手部目标检测结果为手部目标为0时或手部目标定位框与方向盘目标定位框的重叠区域面积均小于面积阈值时，判断双手脱离方向盘。
进一步的，第二手握方向盘检测区域的位置确定方法为：设定方向盘目标定位框的中心点为C，手部目标定位框的中心点为A，坐标原点为O，则偏移后的第二手握方向盘检测区域的中心点B位于线段AC上，且点O到点B的向量
Figure BDA0003212832320000031
的计算公式为：
Figure BDA0003212832320000032
其中，
Figure BDA0003212832320000033
表示点O到点A的向量，
Figure BDA0003212832320000034
表示点A到点C的向量，Lh表示手部目标定位框的最大边长，Ls表示方向盘目标定位框的最小边长，S表示放大系数，α表示非对称偏心系数。
进一步的，设定步骤S1中采集的方向盘监测图像为第一视角摄像头拍摄的图像，当步骤S4输出手握方向盘信号时，返回步骤S1，设定采集的方向盘监测图像为第二视角摄像头拍摄的图像，将后续步骤的输出结果作为最终判定结果。
一种双手脱离方向盘监测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，采用级联检测的方式，结合深度学习方法对方向盘状态进行多阶段决策，可以进一步提升检测准确性。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中偏移后的第二手握方向盘检测区域示意图。
图3所示为该实施例中第一视角摄像头拍摄的图像。
图4所示为该实施例中第二视角摄像头拍摄的图像。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种双手脱离方向盘监测方法，如图1所示，所述方法包括以下步骤：
S1：采集方向盘监测图像，并对方向盘监测图像进行方向盘目标检测，根据检测到的方向盘目标定位框提取方向盘目标区域图像。
该实施例中方向盘监测图像通过安装于车辆驾驶舱内的摄像头进行采集，摄像头的安装位置以能够较好的进行方向盘识别和方向盘上手部区域的识别为佳，如安装于驾驶舱顶部。
由于摄像头安装好后位置是不变的，而方向盘在车辆内部的位置在调整结束后是固定不变的，因此通过摄像头采集到的方向盘监测图像中方向盘的位置也是不变的，基于此，在对方向盘监测图像进行方向盘目标检测的过程中，由于方向盘位置不变，因此方向盘目标检测的结果应该是固定不变的，为了避免重复检测方向盘而造成的资源浪费，该实施例中优选设定后续方向盘监测图像中均使用标定后的方向盘目标检测结果，即采用相同的方向盘目标定位框。
方向盘目标检测可以采用现有技术中常用的目标检测模型，如卷积神经网络模型。
S2：在方向盘目标区域图像中进行手部目标检测，根据手部目标检测结果进行双手是否脱离方向盘的判断，当判断双手脱离方向盘时，输出双手脱离方向盘信号；否则，进入S3。
与方向盘目标检测类似，手部目标检测也可以采用现有技术中常用的目标检测模型。
该实施例中根据手部目标检测结果进行双手是否脱离方向盘的判断的方法为：当手部目标检测结果为手部目标为0时或手部目标定位框与方向盘目标定位框的重叠区域面积均小于面积阈值时，判断双手脱离方向盘。面积阈值本领域技术人员可以根据经验或实验数据进行设定，在此不做限制。
S3：根据手部目标检测得到的手部目标定位框，按照放大系数将手部目标定位框以手部目标定位框的中心为原点放大为第一手握方向盘检测区域，并根据方向盘目标定位框与手部目标定位框的位置关系，将第一手握方向盘检测区域偏移至第二手握方向盘检测区域。
如图2所示，该实施例中采用加权偏心扩展的方式，将第一手握方向盘检测区域RectA偏移至第二手握方向盘检测区域RectB。设定方向盘目标定位框的中心点为C，手部目标定位框的中心点为A，坐标原点为O，则偏移后的第二手握方向盘检测区域RectB的中心点B位于线段AC上，且点O到点B的向量
Figure BDA0003212832320000051
的计算公式为：
Figure BDA0003212832320000061
其中，
Figure BDA0003212832320000062
表示点O到点A的向量，
Figure BDA0003212832320000063
表示点A到点C的向量，Lh表示手部目标定位框的最大边长，Ls表示方向盘目标定位框的最小边长，S表示放大系数，该实施例中设定S的取值范围为[2-3]，α表示非对称偏心系数，取值范围为[0.2-0.4]，β为中间变量，取值范围为[0-1]，
Figure BDA0003212832320000064
表示点A到点C的距离。
由于在手握方向盘时，需要检测到的手部位于方向盘上，而不是位于方向盘的外部，当检测图像包含太多背景信息，则会对检测结果的准确性造成影响。为了避免该影响，该实施例中将第一手握方向盘检测区域偏移至第二手握方向盘检测区域，通过该方式，在考虑到手部与方向盘目标定位框中心点之间的距离与角度后，可以剔除第一手握方向盘检测区域中方向盘与手之外的无用信息，而更多地保留方向盘与手的有用信息，提高检测的准确性。
S4：根据第二手握方向盘检测区域对应的图像进行手是否握方向盘分类，根据全部分类结果进行双手是否脱离方向盘的判断，当判断双手脱离方向盘时，输出双手脱离方向盘信号；否则，输出手握方向盘信号。
手是否握方向盘分类用于检测手握方向盘上的概率，可以采用现有的网络模型进行分类。当两手均在方向盘目标区域时，需要进行遍历，当两手均为未握方向盘时，才能判断为双手脱离方向盘。
上述分析过程均是基于第一视角摄像头拍摄的图像(图3)进行判断的，由于二维的图像信息无法充分表达手与方向盘之间的三维空间关系，因此，根据上述分析过程判断双手是否脱离方向盘存在一定的误差。为了解决上述问题，该实施例中还包括：在第一视角摄像头的判断结果为双手未脱离方向盘时，采用额外的第二视角摄像头(图4)对方向盘状态进行复检，进一步提高双手脱离方向盘监测的准确率。该第二视角摄像头的安装应在保证正常监测要求的前提下，尽可能观测到第一视角摄像头无法捕捉的第三个维度信息，并通过重复步骤S1～S4进行第二视角摄像头的判断，将输出结果作为最终判定结果。
本发明首先通过对方向盘目标区域图像进行的一级分析来提高检测效率；然后根据加权偏心扩展技术，将第一手握方向盘检测区域偏移至第二手握方向盘检测区域，通过第二手握方向盘检测区域图像进行二级分析来提高检测准确率；最后结合第二视角摄像头进行辅助分析，弥补根据二维图像分析手与方向盘之间三维位置关系的缺陷，进一步提高了准确率与稳定性。
实施例二：
本发明还提供一种双手脱离方向盘监测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述双手脱离方向盘监测终端设备可以是车载电脑、云端服务器等计算设备。所述双手脱离方向盘监测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述双手脱离方向盘监测终端设备的组成结构仅仅是双手脱离方向盘监测终端设备的示例，并不构成对双手脱离方向盘监测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述双手脱离方向盘监测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述双手脱离方向盘监测终端设备的控制中心，利用各种接口和线路连接整个双手脱离方向盘监测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述双手脱离方向盘监测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述双手脱离方向盘监测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (8)

1.一种双手脱离方向盘监测方法，其特征在于，包括以下步骤：
S1：采集方向盘监测图像，并对方向盘监测图像进行方向盘目标检测，按照放大系数将方向盘目标定位框以方向盘目标定位框的中心为原点放大为方向盘目标区域图像；
S2：在方向盘目标区域图像中进行手部目标检测，根据手部目标检测结果进行双手是否脱离方向盘的判断，当判断双手脱离方向盘时，输出双手脱离方向盘信号；否则，进入S3；
S3：根据手部目标检测得到的手部目标定位框，按照放大系数将手部目标定位框以手部目标定位框的中心为原点放大为第一手握方向盘检测区域，并根据方向盘目标定位框与手部目标定位框的位置关系，将第一手握方向盘检测区域偏移至第二手握方向盘检测区域；
S4：根据第二手握方向盘检测区域对应的图像进行手是否握方向盘分类，根据全部分类结果进行双手是否脱离方向盘的判断，当判断双手脱离方向盘时，输出双手脱离方向盘信号；否则，输出手握方向盘信号。
2.根据权利要求1所述的双手脱离方向盘监测方法，其特征在于：针对方向盘监测图像进行方向盘目标检测时，在设备启动后首先进行多次方向盘目标定位框检测后取平均值来作为最终标定结果，标定之后的方向盘监测图像不再进行重复检测，均使用标定的方向盘目标检测结果。
3.根据权利要求1所述的双手脱离方向盘监测方法，其特征在于：根据手部目标检测结果进行双手是否脱离方向盘的判断的方法为：当手部目标检测结果为手部目标为0时或手部目标定位框与方向盘目标定位框的重叠区域面积均小于面积阈值时，判断双手脱离方向盘。
4.根据权利要求1所述的双手脱离方向盘监测方法，其特征在于：第二手握方向盘检测区域的位置确定方法为：设定方向盘目标定位框的中心点为C，手部目标定位框的中心点为A，坐标原点为O，则偏移后的第二手握方向盘检测区域的中心点B位于线段AC上，且点O到点B的向量
Figure FDA0003212832310000021
的计算公式为：
Figure FDA0003212832310000022
其中，
Figure FDA0003212832310000023
表示点O到点A的向量，
Figure FDA0003212832310000024
表示点A到点C的向量，Lh表示手部目标定位框的最大边长，Ls表示方向盘目标定位框的最小边长，S表示放大系数，α表示非对称偏心系数。
5.根据权利要求1所述的双手脱离方向盘监测方法，其特征在于：设定步骤S1中采集的方向盘监测图像为第一视角摄像头拍摄的图像，当步骤S4输出手握方向盘信号时，返回步骤S1，设定采集的方向盘监测图像为第二视角摄像头拍摄的图像，将后续步骤的输出结果作为最终判定结果。
6.根据权利要求5所述的双手脱离方向盘监测方法，其特征在于：设定第二视角摄像头为能够捕捉到第一视角摄像头所不能捕捉到的第三个维度信息的摄像头。
7.一种双手脱离方向盘监测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～6中任一所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～6中任一所述方法的步骤。
CN202110935872.7A 2021-08-16 2021-08-16 一种双手脱离方向盘监测方法、终端设备及存储介质 Pending CN113610033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110935872.7A CN113610033A (zh) 2021-08-16 2021-08-16 一种双手脱离方向盘监测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110935872.7A CN113610033A (zh) 2021-08-16 2021-08-16 一种双手脱离方向盘监测方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN113610033A true CN113610033A (zh) 2021-11-05

Family

ID=78308622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110935872.7A Pending CN113610033A (zh) 2021-08-16 2021-08-16 一种双手脱离方向盘监测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113610033A (zh)

Similar Documents

Publication Publication Date Title
US8687063B2 (en) Method for predicting lane line and lane departure warning system using the same
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN110610137B (zh) 检测车辆行驶状态的方法、装置以及电子设备、存储介质
TWI595450B (zh) 物件偵測系統
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
JP2012531685A (ja) 少なくとも１つの設定された画像要素の少なくとも一部を検出およびクラス分類する、車両のドライバーアシストシステム用の画像処理方法
CN113688805B (zh) 一种基于无人机的无牌渣土车识别方法及系统
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
JP2011076214A (ja) 障害物検出装置
CN105702027A (zh) 信息检索设备
CN108515967B (zh) 一种基于车牌识别的防撞预警方法及装置
CN113297939A (zh) 障碍物检测方法、系统、终端设备及存储介质
CN111832347B (zh) 动态选取感兴趣区域的方法及装置
EP4113377A1 (en) Use of dbscan for lane detection
CN113553953B (zh) 车辆抛物检测方法、装置、电子装置及可读存储介质
CN113610033A (zh) 一种双手脱离方向盘监测方法、终端设备及存储介质
CN115496775A (zh) 车门被夹物检测方法、装置、设备及存储介质
CN111161542B (zh) 车辆识别方法及装置
CN112686136A (zh) 一种对象检测方法、装置及系统
JP2021152826A (ja) 情報処理装置、被写体分類方法、及び被写体分類プログラム
US20230386222A1 (en) Method for detecting three-dimensional objects in roadway and electronic device
CN113076851B (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
CN114820691B (zh) 本车运动状态检测方法、装置、设备及存储介质
CN115631477B (zh) 目标识别方法及终端
CN112183413B (zh) 一种车位检测方法、装置、存储介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination