CN110852233A - 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统 - Google Patents

Abstract

本发明提供手部脱离方向盘的检测和模型训练方法、终端、装置、及介质，其包括：获取至少包括方向盘画面的实时图像数据；将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据；根据方向盘在图像中的位置数据，并基于实时图像数据，截取方向盘区域的子图像数据；将所截取的子图像数据输入经训练的用于检测手部离开方向盘的目标分类神经网络模型，据以输出子图像数据所对应的置信度数据，据以判断实时图像中的手部是否脱离方向盘。本发明的硬件设备仅需要摄像头和计算机设备，无需改造车体，置于车内即可使用，安装简单、硬件成本低、无需更改车体硬件，且对不同驾驶员和车型的鲁棒性较高。

Description

手部脱离方向盘的检测和训练方法、终端、装置、介质、系统

技术领域

本发明涉及图像处理技术领域，特别是涉及手部脱离方向盘的检测和模型训练方法、终端、装置、及介质。

背景技术

在日常驾驶过程中，双手脱离方向盘是十分危险的驾驶行为，容易引起交通事故；在驾照考试中属于严重违反考试标准的动作。

目前市面中双手脱离方向盘的检测装置主要依赖于硬件传感器，一般需要在方向盘中安装传感器，并连接控制电路，传感器感应到没有手在把握方向盘时会发出信号，并借由控制电路产生报警信息。

但这种检测方法尚存在安装较为复杂、硬件成本高、且需要对车体硬件本身进行改造等亟需改进的地方。

申请内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供手部脱离方向盘的检测和模型训练方法、终端、装置、及介质，用于解决现有技术中用于检测手部是否脱离方向盘的方案尚存在安装较为复杂、硬件成本高、且需要对车体硬件本身进行改造等技术问题。

为实现上述目的及其他相关目的，本发明的第一方面提供一种基于视觉的手部脱离方向盘的检测方法，其包括：获取至少包括方向盘画面的实时图像数据；将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据；根据所述方向盘在图像中的位置数据，并基于所述实时图像数据，截取方向盘区域的子图像数据；将所截取的子图像数据输入经训练的用于检测手部离开方向盘的目标分类神经网络模型，据以输出所述子图像数据所对应的置信度数据，据以判断实时图像中的手部是否脱离方向盘。

于本发明的第一方面的一些实施例中，所述将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据，其包括如下步骤：基于所述实时图像数据，计算由多个尺寸不一的边界框所框选的预设位置所对应的分类结果数据、位置回归结果数据、及置信度数据；选取置信度数据最高的预设位置作为方向盘位置，以形成对应的方向盘位置数据。

于本发明的第一方面的一些实施例中，所述将所截取的子图像数据输入经训练的用于检测手部离开方向盘的目标分类神经网络模型，据以输出所述子图像数据所对应的置信度数据，其包括如下步骤：基于所述子图像数据，分别计算当前的子图像归为手部脱离方向盘类图像的第一置信度以及归为手部未脱离方向盘类图像的第二置信度；根据所述第一置信度或第二置信度与预设阈值的比较结果信息，和/或按照所述第一置信度与第二置信度之间的比较结果信息，判断当前的自图像中的手部是否脱离方向盘。

为实现上述目的及其他相关目的，本发明的第二方面提供一种目标检测神经网络模型训练方法，经训练的目标检测神经网络模型用于检测方向盘在图像中的位置；所述方法包括：获取一或多组画面中至少包括方向盘的车内场景图像数据；预标记每一车内场景图像中的方向盘位置区域，并记录至标签文件中，以形成对应的标签数据；构建一目标检测神经网络模型，并以所述车内场景图像数据及对应的标签数据为训练数据集来训练所述目标检测神经网络模型。

于本发明的第二方面的一些实施例中，以所述车内场景图像数据及对应的标签数据为训练数据集来训练所述目标检测神经网络模型，其包括如下各个步骤：基于所述车内场景图像数据及对应的标签数据，判断在多个图像中的不同尺寸边界框所框选的预设位置区域与预标记的方向盘位置区域的重叠程度是否满足重叠度要求；确定满足重叠度要求的预设位置区域为方向盘位置区域，且不满足重叠度要求的预设位置区域为图像背景区域；分别计算方向盘位置区域和图像背景区域的分类损失以及位置回归损失，并根据损失计算结果做反向传播，以迭代更新所述目标检测神经网络模型直至其趋于收敛。

于本发明的第二方面的一些实施例中，所述目标检测神经网络模型的类型包括SSD检测网络，其结构包括：多个卷积层、多个激活函数层、多个池化层、一反卷积层、一裁剪层、一eltwise层、一flatten层、以及多个拼接层。

为实现上述目的及其他相关目的，本发明的第三方面提供一种目标分类神经网络模型的模型训练方法，经训练的目标分类神经网络模型和权利要求4中的经训练的目标检测神经网络模型共同用于手部脱离方向盘的检测；所述方法包括：获取预标记有方向盘位置区域的多个车内场景图像数据；根据手部是否脱离方向盘将车内场景图像分为手部脱离方向盘的第一类图像和手部未脱离方向盘的第二类图像，并记录至标签文件中，以形成对应的标签数据；构建一目标分类神经网络模型，并以所述车内场景图像数据及对应的标签数据为训练集来训练所述目标分类神经网络模型。

于本发明的第三方面的一些实施例中，以所述车内场景图像数据及对应的标签数据为训练集来训练所述目标分类神经网络模型，其包括如下各个步骤：计算分类损失，并根据损失计算结果做反向传播，以迭代更新所述目标分类测神经网络直至其趋于收敛。

于本发明的第三方面的一些实施例中，所述目标分类神经网络模型的类型包括Resnet分类网络，其结构包括：多个卷积层、多个batchnorm层、多个scale层、多个激活函数层、多个eltwise层、多个池化层层、以及一全连接层。

为实现上述目的及其他相关目的，本发明的第四方面提供一种基于视觉的手部脱离方向盘的检测装置，其与车辆通信连接或固设于车内；所述监测装置包括：目标检测模块，用于输入至少包括方向盘的实时图像数据，并据以输出图像中的方向盘位置数据；截取模块，用于根据所述方向盘在图像中的位置数据，并基于所述实时图像数据，截取方向盘区域的子图像数据；目标分类模块，用于输入所截取的子图像数据，并据以输出所述子图像数据所对应的置信度数据；判断模块，用于根据所述置信度数据判断实时图像中的手部是否脱离方向盘。

为实现上述目的及其他相关目的，本发明的第五方面提供一种计算机可读存储介质，其上存储有第一计算机程序、第二计算机程序、以及第三计算机程序中的任意一种或多种的组合；其中，所述第一计算机程序被处理器执行时实现所述基于视觉的手部脱离方向盘的检测方法；所述第二计算机程序被处理器执行时实现所述目标检测神经网络模型训练方法；所述第三计算机程序被处理器执行时实现所述目标分类神经网络模型的模型训练方法。

为实现上述目的及其他相关目的，本发明的第六方面提供一种基于视觉的手部脱离方向盘的检测终端，其包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本发明第一方面所述的基于视觉的手部脱离方向盘的检测方法。

为实现上述目的及其他相关目的，本发明的第七方面提供一种目标检测神经网络模型的模型训练终端，其包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本发明第二方面所述的目标检测神经网络模型训练方法。

为实现上述目的及其他相关目的，本发明的第八方面提供一种目标分类神经网络模型的模型训练终端，其包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本发明第三方面所述的目标分类神经网络模型的模型训练方法。

为实现上述目的及其他相关目的，本发明的第九方面提供一种电子终端，其包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端至少执行所述基于视觉的手部脱离方向盘的检测方法，还执行所述目标检测神经网络模型训练方法和/或目标分类神经网络模型的模型训练方法。

为实现上述目的及其他相关目的，本发明的第十方面提供一种基于视觉的手部脱离方向盘的检测系统，其包括：图像采集单元，其位于车辆内，用于获取至少包括方向盘画面的实时图像数据；处理单元，其与所述图像采集单元通信连接，用于执行如权利要求1所述基于视觉的手部脱离方向盘的检测方法。

如上所述，本发明的手部脱离方向盘的检测和模型训练方法、终端、装置、及介质，具有以下有益效果：本发明的技术方案的硬件设备仅需要摄像头和计算机设备，这些硬件设备无需改造车体，置于车内即可使用，具有安装简单、硬件成本低、无需更改车体硬件等明显优点，且基于机器学习视觉的检测方法对不同驾驶员和车型的鲁棒性较高。

附图说明

图1显示为本发明一实施例中的应用场景示意图。

图2显示为本发明一实施例中的基于视觉的手部脱离方向盘的检测方法的流程示意图。

图3显示为本发明在上一实施例中的步骤S22的子步骤的流程示意图。

图4显示为本发明在上一实施例中的步骤S24的子步骤的流程示意图。

图5显示为本发明一实施例中的目标检测神经网络模型训练方法的流程示意图。

图6显示为本发明一实施例中的目标分类神经网络模型的模型训练方法的流程示意图。

图7显示为本发明一实施例中的基于视觉的手部脱离方向盘的检测装置的结构示意图。

图8显示为本发明一实施例中的基于视觉的手部脱离方向盘的检测终端的结构示意图。

图9显示为本发明一实施例中的目标检测神经网络模型的模型训练终端的结构示意图。

图10本发明一实施例中的目标分类神经网络模型的模型训练终端的结构示意图。

图11显示为本发明一实施例中的电子终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

针对现有技术中依赖于硬件传感器来实现双手脱离方向盘的检测所存在的安装复杂、硬件成本居高不下、还需对车体进行改造等难题，本发明提供基于视觉图像的双手脱离方向盘判定方案。用于实现本发明的技术方案的硬件设备仅需要摄像头和计算机设备，这些硬件设备无需改造车体，置于车内即可使用，具有安装简单、硬件成本低、无需更改车体硬件等明显优点，且基于机器学习视觉的检测方法对不同驾驶员和车型的鲁棒性较高。下文，将结合多个实施例对本发明的技术方案做详尽的说明。

实施例一

如图1所示，展示了本发明在一实施例中的应用场景示意图。在本实施例的应用场景中，手部11握于方向盘12上，与方向盘共同位于车内的摄像头13的图像采集区域至少覆盖有方向盘12，从而获取实时图像数据。摄像头13与检测装置14通信连接，并将获取的实时图像数据发送至检测装置14。检测装置根据接收到的实时图像数据，基于目标检测和目标分类等神经网络，分析传来的实时图像中的手部是否脱离方向盘。

应理解的是，出于说明性目的而提供以上示例，并且以上示例不应被理解成是限制性的，各装置的形状、数量、位置等都不以本实施例为限。另外，本发明中所述的手部脱离方向盘的检测方案，既可用于检测单手(左手或右手)是否脱离方向盘，也可用于检测双手是否方向盘，本发明对此不作限定。

实施例二

如图2所示，展示本发明一实施例中的基于视觉的手部脱离方向盘的检测方法的流程示意图。本实施例的检测方法包括步骤S21～S24。

需说明的是，本实施例的检测方法可应用于多种类型的硬件设备。所述硬件设备可以是控制器，例如：ARM(Advanced RISC Machines)控制器、FPGA(Field ProgrammableGate Array)控制器、SoC(System on Chip)控制器、DSP(Digital Signal Processing)控制器、或者MCU(Micorcontroller Unit)控制器等等。所述硬件设备也可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述硬件设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。

在步骤S21中，获取至少包括方向盘画面的实时图像数据。

在一些可选的实现方式中，通过图像采集单元来获取车内实时图像，图像采集单元的采集范围至少覆盖方向盘整体。具体而言，所述图像采集单元包括但不限于：照相机、视频摄像机、集成有光学或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等等。

在步骤S22中，将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据。

优选的，将实时图像数据输入目标检测神经网络模型之前，先对实时图像数据进行归一化处理，并且缩放到286×286像素大小。归一化处理是将有量纲的数据转变为无量纲数据，并把数据映射到(0,1)或者(-1,1)等范围内。举例来说，图像数据归一化的处理方式包括但不限于：将整张实时图像的像素值减去127.5后再整体除以127.5，便得到值范围为(-1,1)的归一化数据结果。

在本实施例的一些可选的实现方式中，目标检测神经网络模型包括但不限于如：SSD(SingleShotMultiBoxDetector)目标检测神经网络模型、RCNN目标检测神经网络模型、或者Yolo目标检测神经网络模型等。

目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小，主要采用一个边界框来定位一个物体并判断该物体究竟是什么。目标检测过程一般分解为如下两个独立的操作。首先是定位，主要是用一个矩形的边界框(bounding box)来框定物体，边界框一般由4个整数组成，分别表示矩形左上角和右下角的x和y坐标，或矩形的左上角坐标以及矩形的长度和高度；其次是分类，也即识别边界框(bounding box)中的物体。

在本实施例的一些可选的实现方式中，所述将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据，其包括如图3中所示的步骤S221和步骤S222。

在步骤S221中，基于所述实时图像数据，计算由多个尺寸不一的边界框所框选的预设位置所对应的分类结果数据、位置回归结果数据、及置信度数据。

具体的，可预先设定K个图中不同尺寸和长宽比的边界框作为预选位置，在每个预选位置得到分类结果数据、位置回归结果数据、及置信度数据，将三者对应起来便可获得K组[score,x,y,width,height]数组。

其中，score表示当前预设位置属于方向盘位置的置信度，x,y,width,height分别表示当前预设位置的左上角坐标的x坐标值、y坐标值、宽度值、高度值。当然，数组也可采用边界框的左上角和右下角的x和y坐标来表示，本实施例不作限定。

在步骤S222中，选取置信度数据最高的预设位置作为方向盘位置，以形成对应的方向盘位置数据。

具体来说，由于车内只有一个方向盘，K个数组中只有一组能够代表方向盘的位置信息，因此可以选取score最大的数组最为检测结果。

在步骤S23中，根据所述方向盘在图像中的位置数据，并基于所述实时图像数据，截取方向盘区域的子图像数据。

在步骤S24中，将所截取的子图像数据输入经训练的用于检测手部离开方向盘的目标分类神经网络模型，据以输出所述子图像数据所对应的置信度数据，据以判断实时图像中的手部是否脱离方向盘。

在本实施例的一些可选的实现方式中，目标分类神经网络模型包括但不限于如：Resnet神经网络、Lene神经网络、Alexnet神经网络、或残差网络等等，本实施例不作限定。

在本实施例的一些可选的实现方式中，步骤S24具体又包括如图4中所示的步骤S241和步骤S242。

在步骤S241中，基于所述子图像数据，分别计算当前的子图像归为手部脱离方向盘类图像的第一置信度以及归为手部未脱离方向盘类图像的第二置信度。

具体的，将截取出的子图像做归一化处理，例如：将子图像数据中每个像素点的3个通道数据分别减去104、117、123，将图片缩放到224×224像素等等。将归一化处理后的子图像数据输入经训练的目标分类神经网络模型，得到当前方向盘图像中属于0、1两类的置信度；其中，0、1两类分别表示双手未脱离方向盘和双手脱离方向盘。

在步骤S242中，根据所述第一置信度或第二置信度与预设阈值的比较结果信息，和/或按照所述第一置信度与第二置信度之间的比较结果信息，判断当前的自图像中的手部是否脱离方向盘。

在一些可选的实现方式中，根据所述第一置信度或第二置信度与预设阈值的比较结果信息来判断当前的自图像中的手部是否脱离方向盘。例如：取0类的置信度p，若p值大于预设的置信度阈值，则认为当前双手未脱离方向盘，即双手放在方向盘上；若p值不大于预设的置信度阈值，则认为当前双手脱离方向盘，即双手未放在方向盘上。

在一些可选的实现方式中，根据所述第一置信度与第二置信度之间的比较结果信来判断当前的自图像中的手部是否脱离方向盘。例如：比较0类的置信度p1和1类的置信度p2的大小，若p1值大于p2值，则认为0类更可信，故认为当前双手未脱离方向盘，即双手放在方向盘上；反之，若p1值小于p2值，则认为1类更可信，故认为当前双手脱离方向盘，即双手未放在方向盘上。

上文，针对基于视觉的手部脱离方向盘的检测方法的实施方式和工作原理做了详细的解释；下文，将针对该检测方法中所使用的目标检测神经网络模型以及目标分类神经网络模型做进一步的说明。

实施例三

如图5所示，展示本发明一实施例中的目标检测神经网络模型训练方法的流程示意图。本实施例的目标检测神经网络模型训练方法包括步骤S501～S503。

在步骤S501中，获取一或多组画面中至少包括方向盘的车内场景图像数据。

优选的，通过车内摄像头采集不同司机、不同光照条件下的车内场景RGB图像数据，对所有采集到的图像做归一化处理，例如：每个点的像素值减去127.5再除以127.5，并且缩放到286×286像素大小。

在步骤S502中，预标记每一车内场景图像中的方向盘位置区域，并记录至标签文件中，以形成对应的标签数据。

举例来说，可人工标记每个图像中的方向盘位置[x,y,width,height]，并记录到标签文件中，和图像一起制作成神经网络训练数据集。

在步骤S503中，构建一目标检测神经网络模型，并以所述车内场景图像数据及对应的标签数据为训练数据集来训练所述目标检测神经网络模型。

在本实施例的一些可选的实现方式中，所述目标检测神经网络模型包括但不限于：采用10个卷积层、7个Relu激活层，2个池化层、1个反卷积层、1个裁剪层、1个eltwise层、1个flatten层、3个拼接层搭建而成的SSD检测网络结构。

其中，eltwise层是逐像素操作，包括点乘(product)、求和(sum)、取最大值(max)三种类型的操作；flatten层是将多维输入一维化的网络层；batchnorm层是对网络数据进行归一化操作的网络层；Scale层是对网络数据进行比例缩放和移位的网络层。

需说明的是，为便于本领域技术人员理解而提供了以上示例，但该示例不应被理解成是限制性的。也即，在其他的实现方式中，目标检测神经网络模型也可选用SSD检测网络结构之外的其他神经网络；即使采用SSD检测网络，其结构也不限于本实施例所例举的网络结构。

在本实施例的一些可选的实现方式中，步骤S503又可通过如下各步骤来实现：基于所述车内场景图像数据及对应的标签数据，判断在多个图像中的不同尺寸边界框所框选的预设位置区域与预标记的方向盘位置区域的重叠程度是否满足重叠度要求；确定满足重叠度要求的预设位置区域为方向盘位置区域，且不满足重叠度要求的预设位置区域为图像背景区域；分别计算方向盘位置区域和图像背景区域的分类损失以及位置回归损失，并根据损失计算结果做反向传播，以迭代更新所述目标检测神经网络模型直至其趋于收敛。

具体来说，在训练时同时输入归一化后的图像数据及对应的标签数据到目标检测神经网络模型中，并事先人工设定好K个图中不同尺寸和长宽比的矩形作为预设位置；判断该矩形区域中是否与人工标记的方向盘位置区域重叠度较大，例如判断区域重叠度是否超过重叠度阈值，若重叠度较大，则认为该预设位置是方向盘区域，否则认为该区域是背景区域；分别计算每个预设位置上的分类损失(即背景区域和方向盘区域两类)和位置回归损失。

分类损失的计算方式如下文的公式1)和公式2)所示：

位置回归损失的计算方式如下文的公式3)～公式7)所示：

分类损失和位置回归损失相加得到网络的最终损失，采用如下公式8)表示：

其中，x表示预设位置框集合，c表示预设位置框的类别集合，l表示预设位置框的[x,y,width,height]参数集合，g表示人工标记位置的[x,y,width,height]参数集合，N表示与人工标记位置相匹配的预设位置框个数；Lconf(x,c)表示计算预设位置框的类别与实际类别交叉熵损失；Lloc(x,l,g)表示计算预设位置框的位置信息与实际位置信息的smoothL1损失。

根据损失函数的计算结果进行反向传播，不断迭代更新网络参数，当损失趋于稳定到1.0左右或者更小的值则认为模型收敛。

实施例四

如图6所示，展示本发明一实施例中的目标分类神经网络模型的模型训练方法的流程示意图。本实施例的目标检测神经网络模型训练方法包括步骤S601～S603。

在步骤S601中，获取预标记有方向盘位置区域的多个车内场景图像数据。

在一些可选的实现方式中，可根据在训练目标检测神经网络模型时所标记的方向盘区域信息[x,y,width,height]，将图像中对应的位置截取后保存为一张新的子图像，并将子图像的每个像素点的3个通道数据分别减去104、117、123，将图片缩放到224×224像素。

在步骤S602中，根据手部是否脱离方向盘将车内场景图像分为手部脱离方向盘的第一类图像和手部未脱离方向盘的第二类图像，并记录至标签文件中，以形成对应的标签数据。

在一些可选的实现方式中，可根据所截图的子图像中双手是否放在方向盘上将采集到的图像标记为0类和1类，并记录到标签文件，将上一步处理后的图片和标签文件对应起来组成训练集。

在步骤S603中，构建一目标分类神经网络模型，并以所述车内场景图像数据及对应的标签数据为训练集来训练所述目标分类神经网络模型。

在本实施例的一些可选的实现方式中，所述目标分类神经网络模型包括但不限于：采用21个卷积层、21个batchnorm层、21个scale层、17个relu激活层、8个eltwise层、2个池化层、1个全连接层搭建而成的Resnet分类网络结构。

在本实施例的一些可选的实现方式中，步骤S603又可通过如下步骤来实现：计算分类损失，并根据损失计算结果做反向传播，以迭代更新所述目标分类测神经网络直至其趋于收敛。

具体的，在训练目标分类神经网络模型时输入归一化后的图像数据及其对应的标签数据到网络中，计算如下式9)所示的损失函数：

L＝-(ylog(p)+(1-y)log(1-p))；公式9)

其中，p代表网络计算得到的属于0分类的概率，y代表当前的标签的值；根据损失计算反向传播，迭代更新网络参数，当损失趋于稳定且小于0.001的时候认为模型收敛。

实施例五

如图7所示，展示了本发明一实施例中的基于视觉的手部脱离方向盘的检测装置的结构示意图。本实施例的检测装置包括目标检测模块71、截取模块72、目标分类模块73、判断模块74。

目标检测模块71用于输入至少包括方向盘的实时图像数据，并据以输出图像中的方向盘位置数据；截取模块72用于根据所述方向盘在图像中的位置数据，并基于所述实时图像数据，截取方向盘区域的子图像数据；目标分类模块73用于输入所截取的子图像数据，并据以输出所述子图像数据所对应的置信度数据；判断模块74用于根据所述置信度数据判断实时图像中的手部是否脱离方向盘。

需说明的是，本实施例的基于视觉的手部脱离方向盘的检测装置与上文实施例的基于视觉的手部脱离方向盘的检测方法的实施方式类似，故不再赘述。

应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，目标检测模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上目标检测模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

实施例六

如图8所示，展示本发明一实施例中的基于视觉的手部脱离方向盘的检测终端的结构示意图。本实施例的检测终端包括处理器801、存储器802、及通信器803；存储器802通过系统总线与处理器801和通信器803连接并完成相互间的通信，存储器802用于存储计算机程序，通信器803用于和其他设备进行通信，处理器801用于运行计算机程序，使终端执行如上基于视觉的手部脱离方向盘的检测方法的各个步骤。

实施例七

如图9所示，展示本发明一实施例中的目标检测神经网络模型的模型训练终端的结构示意图。本实施例的模型训练终端包括处理器901、存储器902、及通信器903；存储器902通过系统总线与处理器901和通信器903连接并完成相互间的通信，存储器902用于存储计算机程序，通信器903用于和其他设备进行通信，处理器901用于运行计算机程序，使终端执行如上目标检测神经网络模型训练方法的各个步骤。

实施例八

如图10所示，展示本发明一实施例中的目标分类神经网络模型的模型训练终端的结构示意图。本实施例的模型训练终端包括处理器1001、存储器1002、及通信器1003；存储器1002通过系统总线与处理器1001和通信器1003连接并完成相互间的通信，存储器1002用于存储计算机程序，通信器1003用于和其他设备进行通信，处理器1001用于运行计算机程序，使终端执行如上目标分类神经网络模型的模型训练方法的各个步骤。

实施例九

如图11所示，展示本发明一实施例中的电子终端的结构示意图。本实施例的模型训练终端包括处理器1101、存储器1102、及通信器1103；存储器1102通过系统总线与处理器1101和通信器1103连接并完成相互间的通信，存储器1102用于存储计算机程序，通信器1103用于和其他设备进行通信，处理器1101用于运行计算机程序，使终端至少执行如上基于视觉的手部脱离方向盘的检测方法的各个步骤，并执行如上目标检测神经网络模型训练方法和/或目标分类神经网络模型的模型训练方法的各个步骤。也即在本实施例中，手部脱离方向盘的检测方法与两个模型训练方法中的一者或者两者，集于同一个电子终端执行。

需说明的是，在实施例六、七、八、九中提到的系统总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

另外，上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

实施例十

在本实施例中，本发明还提供一种基于视觉的手部脱离方向盘的检测系统，其包括：图像采集单元，其位于车辆内，用于获取至少包括方向盘画面的实时图像数据；处理单元，其与所述图像采集单元通信连接，用于执行上文实施例中的所述基于视觉的手部脱离方向盘的检测方法。

所述图像采集单元包括但不限于：具体而言，所述图像采集单元包括但不限于：照相机、视频摄像机、集成有光学或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等等。

所述处理单元例如是ARM(Advanced RISC Machines)、FPGA(Field ProgrammableGate Array)、SoC(System on Chip)、DSP(Digital Signal Processing)、或者MCU(Micorcontroller Unit)等控制器，或者是台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等计算机设备，或者是服务器等带有计算处理功能的智能设备。

可选的，所述处理单元位于车内，例如是车载终端(如T-BOX车机)、非固设但可置于车内的智能终端等，本实施例不作限定。

可选的，所述处理单元位于车外，与所述图像采集单元进行远场通信，例如基于公有云或私有云的各种云端服务器等，本实施例亦不作限定。

实施例十一

在本实施例中，本发明提供一种计算机存储介质，其上存储有第一计算机程序、第二计算机程序、以及第三计算机程序中的任意一种或多种的组合。其中，所述第一计算机程序被处理器执行时实现所述基于视觉的手部脱离方向盘的检测方法；所述第二计算机程序被处理器执行时实现所述目标检测神经网络模型训练方法；所述第三计算机程序被处理器执行时实现所述目标分类神经网络模型的模型训练方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提供手部脱离方向盘的检测和模型训练方法、终端、装置、及介质，本发明的技术方案的硬件设备仅需要摄像头和计算机设备，这些硬件设备无需改造车体，置于车内即可使用，具有安装简单、硬件成本低、无需更改车体硬件等明显优点，且基于机器学习视觉的检测方法对不同驾驶员和车型的鲁棒性较高。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于视觉的手部脱离方向盘的检测方法，其特征在于，包括：

获取至少包括方向盘画面的实时图像数据；

将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据；

根据所述方向盘在图像中的位置数据，并基于所述实时图像数据，截取方向盘区域的子图像数据；

将所截取的子图像数据输入经训练的用于检测手部离开方向盘的目标分类神经网络模型，据以输出所述子图像数据所对应的置信度数据，据以判断实时图像中的手部是否脱离方向盘。

2.根据权利要求1所述的方法，其特征在于，所述将所获取的实时图像数据输入经训练的用于检测方向盘位置的目标检测神经网络模型，据以输出图像中的方向盘位置数据，其包括如下步骤：

基于所述实时图像数据，计算由多个尺寸不一的边界框所框选的预设位置所对应的分类结果数据、位置回归结果数据、及置信度数据；

选取置信度数据最高的预设位置作为方向盘位置，以形成对应的方向盘位置数据。

3.一种目标检测神经网络模型训练方法，其特征在于，经训练的目标检测神经网络模型用于检测方向盘在图像中的位置；所述方法包括：

获取一或多组画面中至少包括方向盘的车内场景图像数据；

预标记每一车内场景图像中的方向盘位置区域，并记录至标签文件中，以形成对应的标签数据；

构建一目标检测神经网络模型，并以所述车内场景图像数据及对应的标签数据为训练数据集来训练所述目标检测神经网络模型。

4.一种目标分类神经网络模型的模型训练方法，其特征在于，经训练的目标分类神经网络模型和权利要求3中的经训练的目标检测神经网络模型共同用于手部脱离方向盘的检测；所述方法包括：

获取预标记有方向盘位置区域的多个车内场景图像数据；

根据手部是否脱离方向盘将车内场景图像分为手部脱离方向盘的第一类图像和手部未脱离方向盘的第二类图像，并记录至标签文件中，以形成对应的标签数据；

构建一目标分类神经网络模型，并以所述车内场景图像数据及对应的标签数据为训练集来训练所述目标分类神经网络模型。

5.一种基于视觉的手部脱离方向盘的检测装置，其特征在于，其与车辆通信连接或固设于车内；所述监测装置包括：

目标检测模块，用于输入至少包括方向盘的实时图像数据，并据以输出图像中的方向盘位置数据；

截取模块，用于根据所述方向盘在图像中的位置数据，并基于所述实时图像数据，截取方向盘区域的子图像数据；

目标分类模块，用于输入所截取的子图像数据，并据以输出所述子图像数据所对应的置信度数据；

判断模块，用于根据所述置信度数据判断实时图像中的手部是否脱离方向盘。

6.一种计算机可读存储介质，其上存储有第一计算机程序、第二计算机程序、以及第三计算机程序中的任意一种或多种的组合，其特征在于：

所述第一计算机程序被处理器执行时实现权利要求1或2所述基于视觉的手部脱离方向盘的检测方法；

所述第二计算机程序被处理器执行时实现权利要求3所述目标检测神经网络模型训练方法；

所述第三计算机程序被处理器执行时实现权利要求4所述目标分类神经网络模型的模型训练方法。

7.一种基于视觉的手部脱离方向盘的检测终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1或2所述基于视觉的手部脱离方向盘的检测方法。

8.一种目标检测神经网络模型的模型训练终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求3所述目标检测神经网络模型训练方法。

9.一种目标分类神经网络模型的模型训练终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求4所述目标分类神经网络模型的模型训练方法。

10.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端至少执行如权利要求1或2所述基于视觉的手部脱离方向盘的检测方法，并执行如权利要求3所述目标检测神经网络模型训练方法，和/或执行如权利要求4所述目标分类神经网络模型的模型训练方法。

Images