CN110866475A - 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 - Google Patents

Abstract

本申请提供手部脱离方向盘及图像分割模型训练方法、装置、终端、介质，其包括：获取至少包括方向盘画面的实时图像数据；将所获取的实时图像数据输入经训练的图像分割模型，据以输出图像中每个像素点的所属类别数据；其中，所属类别数据至少包括方向盘类别数据和手部类别数据；基于方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域；根据方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。本发明的技术方案的硬件设备仅需要摄像头和计算机设备，这些硬件设备无需改造车体，置于车内即可使用，具有安装简单、硬件成本低、无需更改车体硬件等明显优点，且基于机器学习视觉的检测方法对不同驾驶员和车型的鲁棒性较高。

Description

手部脱离方向盘及图像分割模型训练方法、装置、终端、介质

技术领域

本申请涉及图像处理技术领域，特别是涉及手部脱离方向盘及图像分割模型训练方法、装置、终端、介质。

背景技术

在日常驾驶过程中，双手脱离方向盘是十分危险的驾驶行为，容易引起交通事故；在驾照考试中属于严重违反考试标准的动作。

目前市面中双手脱离方向盘的检测装置主要依赖于硬件传感器，一般需要在方向盘中安装传感器，并连接控制电路，传感器感应到没有手在把握方向盘时会发出信号，并借由控制电路产生报警信息。

但这种检测方法尚存在安装较为复杂、硬件成本高、且需要对车体硬件本身进行改造等亟需改进的地方。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供手部脱离方向盘及图像分割模型训练方法、装置、终端、介质，用于解决现有技术中用于检测手部是否脱离方向盘的方案尚存在安装较为复杂、硬件成本高、且需要对车体硬件本身进行改造等技术问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种基于图像分割的手部脱离方向盘的检测方法，其包括：获取至少包括方向盘画面的实时图像数据；将所获取的实时图像数据输入经训练的图像分割模型，据以输出图像中每个像素点的所属类别数据；其中，所述所属类别数据至少包括方向盘类别数据和手部类别数据；基于所述方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域；根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。

于本申请的第一方面的一些实施例中，所述根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘，其包括：检测所述方向盘区域和手部位置区域是否有交集；若有交集，则确定手部未脱离方向盘；若无交集，则确定手部脱离方向盘。

于本申请的第一方面的一些实施例中，所述实时图像数据包括图像深度数据；所述根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘，其还包括：检测所述方向盘区域和手部位置区域是否有交集；若所述方向盘区域和手部位置区域有交集，再判断方向盘的图像深度数据与手部的图像深度数据之差是否超过预设阈值；若未超过预设阈值，则确定手部未脱离方向盘；若所述方向盘区域和手部位置区域无交集或者方向盘的图像深度数据与手部的图像深度数据之差超过阈值，则确定手部脱离方向盘。

于本申请的第一方面的一些实施例中，所述方法还包括：在将所获取的实时图像数据输入经训练的图像分割模型之前，先将所述实时图像数据进行归一化处理，以映射至一预设数据范围内。

于本申请的第一方面的一些实施例中，所述方法还包括：所述将所获取的实时图像数据输入经训练的图像分割模型，据以输出图像中每个像素点的所属类别数据，其包括如下执行步骤：将实时图像的尺寸调整至符合图像分割模型要求的预设尺寸后输入图像分割模型，据以输出预设尺寸的预测标签图像；选取每个像素位置上的置信度最大的标签所对应的图像类别作为该像素位置的图像类别；其中，所述图像类别至少包括方向盘位置区域图像和手部位置区域图像。

为实现上述目的及其他相关目的，本申请的第二方面提供一种图像分割模型训练方法，其包括：获取一或多组至少包括方向盘画面的车内场景图像数据；采用多边形区域标记车内场景图像中的手部位置区域和方向盘位置区域，据以生成灰度标签图像；其中，每个多边形所围区域内的像素点值为该多边形的标签；构建一图像分割模型，并以带标签的车内场景图像数据来训练所述图像分割模型。

于本申请的第二方面的一些实施例中，以带标签的车内场景图像数据来训练所述图像分割模型，其包括如下各个步骤：输入标记前的车内场景图像数据以及带标签的车内场景图像数据，据以计算分类损失；根据损失计算结果做反向传播，以迭代更新所述图像分割模型直至其趋于收敛。

于本申请的第二方面的一些实施例中，所述图像分割模型包括的类型包括金字塔场景解析网络模型，其包括：多个卷积层、多个batchnorm层、多个scale层、多个激活函数层、多个eltwise层、多个池化层、多个差值层、多个concat层、以及至少一个随机失活层。

为实现上述目的及其他相关目的，本申请的第三方面提供一种基于图像分割的手部脱离方向盘的检测装置，其包括：图像分割模块，用于输入实时图像数据，据以输出图像中每个像素点的所属类别数据；其中，所述所属类别数据至少包括方向盘类别数据和手部类别数据；检测模块，用于基于所述方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域，并根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。

为实现上述目的及其他相关目的，本申请的第四方面提供一种计算机可读存储介质，其上存储有第一计算机程序和/或第二计算机程序，所述第一计算机程序被处理器执行时实现所述基于图像分割的手部脱离方向盘的检测方法；所述第二计算机程序被处理器执行时实现所述图像分割模型训练方法。

为实现上述目的及其他相关目的，本申请的第五方面提供一种基于图像分割的手部脱离方向盘的检测终端，其包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于图像分割的手部脱离方向盘的检测方法。

为实现上述目的及其他相关目的，本申请的第六方面提供一种图像分割模型训练终端，其包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述图像分割模型训练方法。

如上所述，本申请的手部脱离方向盘及图像分割模型训练方法、装置、终端、介质，具有以下有益效果：本发明的技术方案的硬件设备仅需要摄像头和计算机设备，这些硬件设备无需改造车体，置于车内即可使用，具有安装简单、硬件成本低、无需更改车体硬件等明显优点，且基于机器学习视觉的检测方法对不同驾驶员和车型的鲁棒性较高。

附图说明

图1显示为本申请一实施例中的应用场景示意图。

图2显示为本申请一实施例中的基于图像分割的手部脱离方向盘的检测方法的流程示意图。

图3显示为本申请实施例二中步骤S22的各个子步骤的流程示意图。

图4显示为本申请实施例二中步骤S24的各个子步骤的流程示意图。

图5显示为本申请实施例二中步骤S24的各个子步骤的流程示意图。

图6显示为本申请一实施例中的图像分割模型训练方法的流程示意图。

图7显示为本申请实施例三中步骤S63的各个子步骤的流程示意图。

图8显示为本申请一实施例中的基于图像分割的手部脱离方向盘的检测装置的结构示意图。

图9显示为本申请一实施例中的基于图像分割的手部脱离方向盘的检测终端的结构示意图。

图10显示为本申请一实施例中的图像分割模型训练终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

针对现有技术中依赖于硬件传感器来实现双手脱离方向盘的检测所存在的安装复杂、硬件成本居高不下、还需对车体进行改造等难题，本发明提供基于视觉图像的双手脱离方向盘判定方案，相比于现有技术对车体进行改造后再加装硬件的技术方案，具有安装简单、硬件成本低、无需更改车体硬件等明显优点；此外，本发明所提供的基于深度学习的图案分割方法，相较于其它基于检测定位再判断两者是否重叠的方法而言，准确度大为提高。下文，将结合多个实施例来对本发明的技术方案做详细的解释与说明。

实施例一

如图1所示，展示了本发明在一实施例中的应用场景示意图。在本实施例的应用场景中，手部11握于方向盘12上，与方向盘共同位于车内的摄像头13的图像采集区域至少覆盖有方向盘12，从而获取实时图像数据。摄像头13与检测装置14通信连接，并将获取的实时图像数据发送至检测装置14。检测装置根据接收到的实时图像数据，基于目标检测和目标分类等神经网络，分析传来的实时图像中的手部是否脱离方向盘。

应理解的是，出于说明性目的而提供以上示例，并且以上示例不应被理解成是限制性的，各装置的形状、数量、位置等都不以本实施例为限。另外，本发明中所述的手部脱离方向盘的检测方案，既可用于检测单手(左手或右手)是否脱离方向盘，也可用于检测双手是否方向盘，本发明对此不作限定。

实施例二

如图2所示，展示本发明一实施例中的基于图像分割的手部脱离方向盘的检测方法的流程示意图。本实施例的检测方法包括步骤S21～S24。

需说明的是，本实施例中以及下文实施例中的方法可应用于多种类型的硬件设备。所述硬件设备可以是控制器，例如：ARM(Advanced RISC Machines)控制器、FPGA(FieldProgrammable Gate Array)控制器、SoC(System on Chip)控制器、DSP(Digital SignalProcessing)控制器、或者MCU(Micorcontroller Unit)控制器等等。所述硬件设备也可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述硬件设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。

在步骤S21中，获取至少包括方向盘画面的实时图像数据。

在一些可选的实现方式中，通过图像采集单元来获取车内实时图像，图像采集单元的采集范围至少覆盖方向盘整体。具体而言，所述图像采集单元包括但不限于：照相机、视频摄像机、集成有光学或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等等。

在步骤S22中，将所获取的实时图像数据输入经训练的图像分割模型，据以输出图像中每个像素点的所属类别数据；其中，所述所属类别数据至少包括方向盘类别数据和手部类别数据。

优选的，将实时图像数据输入图像分割模型之前，先对实时图像数据进行归一化处理，并且缩放到286×286像素大小。归一化处理是将有量纲的数据转变为无量纲数据，并把数据映射到(0,1)或者(-1,1)等范围内。举例来说，图像数据归一化的处理方式包括但不限于：将整张实时图像的像素值减去127.5后再整体除以127.5，便得到值范围为(-1,1)的归一化数据结果。

图像分割是指将一副数字图像分割为多个组成部分(一系列像素，或所熟知的超像素)的过程即为图像分割。分割的目标就是简化或变换可以将图像转换为更有意义和更易分析的内容的表达。

本发明中的图像分割模型包括但不限于：金字塔场景解析网络(PSPNet)、U-Net卷积神经网络模型、SegNet神经网络模型、Mask R-CNN神经网络模型、全分辨率残差网络模型(FRRN)、同时采用了编码器解码器和空间金字塔池化模块的DeepLabV3+神经网络模型、Enet神经网络模型等等。

其中，以金字塔场景解析网络(PSPNet)为例，在将实时图像数据输入金字塔场景解析网络(PSPNet)后，得到每个像素点的所属类别，将图像中的手部区域标记为类别1，将方向盘区域标记为类别2，而将其余背景区域标记为类别0。将归一化后的图像数据及对应的图像标签输入图像分割网络，经过迭代训练后获得输入归一化的图像数据返回图像像素标签的网络模型。

具体来说，步骤S22又包括如图3所示的各个子步骤S221～S222。

在步骤S221中，将实时图像的尺寸调整至符合图像分割模型要求的预设尺寸后输入图像分割模型，据以输出预设尺寸的预测标签图像。

举例来说，通过摄像头获取车内场景图像的RGB图像数据，并将图像缩放到286×286像素。

在步骤S222中，选取每个像素位置上的置信度最大的标签所对应的图像类别作为该像素位置的图像类别；其中，所述图像类别至少包括方向盘位置区域图像和手部位置区域图像。

举例来说，将缩放后的图像输入图像分割模型，得到286×286大小的预测标签图像，每个像素位置上的3个通道的值表示当前像素点属于3个分类的置信度(背景、手部、方向盘)，选取3个置信度中最大的值对应的标签，得到一个每个位置上代表一个类别的标签图像，通过寻找标签为方向盘的像素的椭圆外轮廓的位置。

在步骤S23中，基于所述方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域。

优选的，可通过寻找标签类别为方向盘的像素的椭圆外轮廓的位置来确定方向盘区域；通过标签类别为手部的像素的多边形外轮廓的位置来确定手部区域。

在步骤S24中，根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。下文，将结合两种不同的实施方式来解释本步骤的内容。

在一些可选的实现方式中，步骤S24通过图4所示的子步骤S41～S43来实现。

在步骤S41中，检测所述方向盘区域和手部位置区域是否有交集。

在步骤S42中，若有交集，则确定手部未脱离方向盘。

在步骤S43中，若无交集，则确定手部脱离方向盘。

在本实施例中，若手部握于方向盘上，则手部位置区域与方向盘位置区域必会有交集；而若手部位置区域与方向盘位置区域没有交集，则认为手部脱离了方向盘。

在一些可选的实现方式中，步骤S24通过图5所示的子步骤S51～S54来实现。

在步骤S51中，检测所述方向盘区域和手部位置区域是否有交集。

在步骤S52中，若所述方向盘区域和手部位置区域有交集，再判断方向盘的图像深度数据与手部的图像深度数据之差是否超过预设阈值。

在步骤S53中，若未超过预设阈值，则确定手部未脱离方向盘。

在步骤S54中，若所述方向盘区域和手部位置区域无交集或者方向盘的图像深度数据与手部的图像深度数据之差超过阈值，则确定手部脱离方向盘。

在本实施例中，若所述方向盘区域和手部位置区域没有交集，则可直接得出手部脱离方向盘的结论。但若方向盘区域和手部区域有交集，则还需区分手部握于方向盘的情况以及手部虽未握于方向盘但因手部遮挡了方向盘而导致图像中方向盘区域和手部位置区域出现交集。因此，本实施例中引入图像深度数据来验证手部区域和方向盘区域是否位于相同或相近的深度，以此来判断是由于手部握于方向盘而产生位置区域交集，还是由于手部遮挡方向盘而产生位置区域交集。

实施例三

如图6所示，展示了本发明一实施例中的图像分割模型训练方法的流程示意图。本实施例的图像分割模型训练方法包括步骤S61～S63。

在步骤S61中，获取一或多组至少包括方向盘画面的车内场景图像数据。

优选的，通过车内摄像头采集不同司机、不同光照条件下的车内场景RGB图像数据，对所有采集到的图像做归一化处理，例如：每个点的像素值减去127.5再除以127.5，并且缩放到286×286像素大小。

在步骤S62中，采用多边形区域标记车内场景图像中的手部位置区域和方向盘位置区域，据以生成灰度标签图像；其中，每个多边形所围区域内的像素点值为该多边形的标签。

具体来说，可使用多边形区域标记手和方向盘的区域，每个多边形区域标记其物体类型：1为手部、2为方向盘，如果出现手叠加在方向盘上则方向盘的边缘需要绕过手的边缘；通过标记好的多边形区域，生成286×286的灰度标签图像，每个多边形围起来的区域内的像素点值为该多边形的标签，其余地方的值为0，视为背景。

在步骤S63中，构建一图像分割模型，并以带标签的车内场景图像数据来训练所述图像分割模型。

可选的，所述图像分割模型包括的类型包括金字塔场景解析网络模型，例如：采用28个卷积层、27个batchnorm层、27个scale层、33个relu激活层、6个eltwise层、5个池化层、5个差值层、5个concat层、1个随机失活层来搭建金字塔场景解析网络(PSPnet)分割网络结构。

其中，eltwise层是逐像素操作，包括点乘(product)、求和(sum)、取最大值(max)三种类型的操作；flatten层是将多维输入一维化的网络层；batchnorm层是对网络数据进行归一化操作的网络层；Scale层是对网络数据进行比例缩放和移位的网络层；Concat层是对网络数据进行拼接的网络层。

在一些可选的实现方式中，步骤S63又包括如图7所示的子步骤S631～S632。

在步骤S631中，输入标记前的车内场景图像数据以及带标签的车内场景图像数据，据以计算分类损失。

在步骤S632中，根据损失计算结果做反向传播，以迭代更新所述图像分割模型直至其趋于收敛。

损失函数采用如下公式1)来表示：

其中，N表示图像像素个数，p_i表示标签中标记的图片属于该类别的概率(取值为0或1)，qi表示神经网络计算得到的图片属于该类别的概率。

根据损失函数计算反向传播，迭代更新网络参数，当损失趋于稳定且小于预设阈值(如0.05)的时候认为模型收敛。

实施例四

如图8所示，展示了本发明一实施例中的基于图像分割的手部脱离方向盘的检测装置的结构示意图。本实施例的基于图像分割的手部脱离方向盘的检测装置包括图像分割模块81和检测模块82。

图像分割模块81用于输入实时图像数据，据以输出图像中每个像素点的所属类别数据；其中，所述所属类别数据至少包括方向盘类别数据和手部类别数据；检测模块82用于基于所述方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域，并根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。

需说明的是，本实施例的基于图像分割的手部脱离方向盘的检测装置，其实施方式与上文实施例的基于图像分割的手部脱离方向盘的检测方法的实施方式类似，故不再赘述。

应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，图像分割模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上图像分割模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

实施例五

如图9所示，展示了本发明一实施例中的基于图像分割的手部脱离方向盘的检测终端的结构示意图。本实例提供的检测终端，包括：处理器901、存储器902、通信器903；存储器902通过系统总线与处理器901和通信器903连接并完成相互间的通信，存储器902用于存储计算机程序，通信器903用于和其他设备进行通信，处理器901用于运行计算机程序，使检测终端执行如上基于图像分割的手部脱离方向盘的检测方法的各个步骤。

实施例六

如图10所示，展示了本发明一实施例中的图像分割模型训练终端的结构示意图。本实例提供的图像分割模型训练终端，包括：处理器1001、存储器1002、通信器1003；存储器1002通过系统总线与处理器1001和通信器1003连接并完成相互间的通信，存储器1002用于存储计算机程序，通信器1003用于和其他设备进行通信，处理器1001用于运行计算机程序，使检测终端执行如上图像分割模型训练方法的各个步骤。

需说明的是，本发明的实施例四和实施例五提到的系统总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

实施例六

在本实施例中，本发明还提供一种计算机可读存储介质，其上存储有第一计算机程序和/或第二计算机程序；所述第一计算机程序被处理器执行时实现所述基于图像分割的手部脱离方向盘的检测方法；所述第二计算机程序被处理器执行时实现所述图像分割模型训练方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请提供手部脱离方向盘及图像分割模型训练方法、装置、终端、介质，本发明的技术方案的硬件设备仅需要摄像头和计算机设备，这些硬件设备无需改造车体，置于车内即可使用，具有安装简单、硬件成本低、无需更改车体硬件等明显优点，且基于机器学习视觉的检测方法对不同驾驶员和车型的鲁棒性较高。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于图像分割的手部脱离方向盘的检测方法，其特征在于，包括：

获取至少包括方向盘画面的实时图像数据；

将所获取的实时图像数据输入经训练的图像分割模型，据以输出图像中每个像素点的所属类别数据；其中，所述所属类别数据至少包括方向盘类别数据和手部类别数据；

基于所述方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域；

根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。

2.根据权利要求1所述的方法，其特征在于，所述根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘，其包括：

检测所述方向盘区域和手部位置区域是否有交集；

若有交集，则确定手部未脱离方向盘；

若无交集，则确定手部脱离方向盘。

3.根据权利要求1所述的方法，其特征在于，所述实时图像数据包括图像深度数据；所述根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘，其还包括：

检测所述方向盘区域和手部位置区域是否有交集；

若所述方向盘区域和手部位置区域有交集，再判断方向盘的图像深度数据与手部的图像深度数据之差是否超过预设阈值；

若未超过预设阈值，则确定手部未脱离方向盘；

若所述方向盘区域和手部位置区域无交集或者方向盘的图像深度数据与手部的图像深度数据之差超过阈值，则确定手部脱离方向盘。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述将所获取的实时图像数据输入经训练的图像分割模型，据以输出图像中每个像素点的所属类别数据，其包括如下执行步骤：

将实时图像的尺寸调整至符合图像分割模型要求的预设尺寸后输入图像分割模型，据以输出预设尺寸的预测标签图像；

选取每个像素位置上的置信度最大的标签所对应的图像类别作为该像素位置的图像类别；其中，所述图像类别至少包括方向盘位置区域图像和手部位置区域图像。

5.一种图像分割模型训练方法，其特征在于，包括：

获取一或多组至少包括方向盘画面的车内场景图像数据；

采用多边形区域标记车内场景图像中的手部位置区域和方向盘位置区域，据以生成灰度标签图像；其中，每个多边形所围区域内的像素点值为该多边形的标签；

构建一图像分割模型，并以带标签的车内场景图像数据来训练所述图像分割模型。

6.根据权利要求5所述的方法，其特征在于，以带标签的车内场景图像数据来训练所述图像分割模型，其包括如下各个步骤：

输入标记前的车内场景图像数据以及带标签的车内场景图像数据，据以计算分类损失；

根据损失计算结果做反向传播，以迭代更新所述图像分割模型直至其趋于收敛。

7.一种基于图像分割的手部脱离方向盘的检测装置，其特征在于，包括：

图像分割模块，用于输入实时图像数据，据以输出图像中每个像素点的所属类别数据；

其中，所述所属类别数据至少包括方向盘类别数据和手部类别数据；

检测模块，用于基于所述方向盘类别数据和手部类别数据分别确定方向盘位置区域和手部位置区域，并根据所述方向盘区域和手部位置区域是否有交集来检测手部是否脱离方向盘。

8.一种计算机可读存储介质，其上存储有第一计算机程序和/或第二计算机程序；其特征在于：

所述第一计算机程序被处理器执行时实现权利要求1至4中任一项所述基于图像分割的手部脱离方向盘的检测方法；

所述第二计算机程序被处理器执行时实现权利要求5或6所述图像分割模型训练方法。

9.一种基于图像分割的手部脱离方向盘的检测终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至4中任一项所述基于图像分割的手部脱离方向盘的检测方法。

10.一种图像分割模型训练终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求5或6所述图像分割模型训练方法。

Images