CN111860259A - 驾驶检测模型的训练、使用方法、装置、设备及介质 - Google Patents

驾驶检测模型的训练、使用方法、装置、设备及介质 Download PDF

Info

Publication number
CN111860259A
CN111860259A CN202010664034.6A CN202010664034A CN111860259A CN 111860259 A CN111860259 A CN 111860259A CN 202010664034 A CN202010664034 A CN 202010664034A CN 111860259 A CN111860259 A CN 111860259A
Authority
CN
China
Prior art keywords
training
detection model
branch network
face
driving detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010664034.6A
Other languages
English (en)
Inventor
顾一新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Zhengyang Electronic Mechanical Co ltd
Original Assignee
Dongguan Zhengyang Electronic Mechanical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Zhengyang Electronic Mechanical Co ltd filed Critical Dongguan Zhengyang Electronic Mechanical Co ltd
Priority to CN202010664034.6A priority Critical patent/CN111860259A/zh
Publication of CN111860259A publication Critical patent/CN111860259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种驾驶检测模型的训练、使用方法、装置、设备及介质。所述训练方法包括：获取自标注的训练样本；其中，训练样本包括驾驶员图像样本和驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；采用初始驾驶检测模型中基准网络，从自标注的训练样本中提取得到多尺度图像特征；采用多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。采用本申请方案，将多个检测任务集成在一个模型，相比多个单任务的检测模型，其模型数量从三个变为一个，意味着需要更少存储空间和内存，因此可有效提高检测运行效率及降低资源消耗。

Description

驾驶检测模型的训练、使用方法、装置、设备及介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种驾驶检测模型的训练、使用方法、装置、设备及介质。
背景技术
随着经济和交通运输业的高速发展，汽车已经逐渐普及到家家户户。随之而来的各种交通事故成为当前需面对的严重问题，尤其是类似疲劳驾驶所导致的道路交通事故占全部交通事故的比例较大，因此，需在任何不安全状态下及时提醒驾驶员安全行车的技术。
目前，对于车内驾驶人员的检测，主要是基于传统的图像处理、模型识别以及高耗时大内存的深度学习技术来进行训练和检测。但是，基于图像处理或者模式识别存在环境适应性差，识别准确率低等缺点。因此，如何在保证检测准确性和环境适应性进行模型训练成为一种迫切需要解决的问题。
发明内容
本发明实施例中提供了一种驾驶检测模型的训练、使用方法、装置、设备及介质，以实现在保证检测准确率和环境适应性的情况下对驾驶员进行检测。
第一方面，本发明实施例中提供了一种驾驶检测模型的训练方法，包括：
获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
第二方面，本发明实施例中还提供了一种驾驶检测模型的使用方法，所述驾驶检测模型采用本申请实施例中的驾驶检测模型的训练方法训练获得，所述驾驶检测模型的使用方法包括：
将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；
依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。
第三方面，本发明实施例中还提供了一种驾驶检测模型的训练装置，包括：
训练样本获取模块，用于获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
尺度特征提取模块，用于采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
检测模型训练模块，用于采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
第四方面，本发明实施例中还提供了一种驾驶检测模型的使用装置，所述驾驶检测模型采用本申请实施例中的驾驶检测模型的训练方法训练获得，所述驾驶检测模型的使用装置包括：
驾驶员信息识别模块，用于将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；
疲劳驾驶预警模块，用于依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。
第五方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述驾驶检测模型的训练方法或者所述驾驶检测模型的使用方法。
第六方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述驾驶检测模型的训练方法或者所述驾驶检测模型的使用方法。
本发明实施例中提供了一种驾驶检测模型的训练方法，在使用包括驾驶员图像的训练样本进行驾驶检测模型训练时，可先通过初始驾驶检测模型中基准网络从训练样本中提取多尺度图像特征，并将提取的多尺度图像特征提供给初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络来一体化监督训练。采用本申请方案，将人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络在同一个模型进行监督训练，多个分支网络能够共享使用基准网络提取的多尺度图像特征，这样一来只需要一遍多尺度图像特征的提取操作，而不需要针对每一个分支网络均提取一遍，能够有效避免额外增加提取这部分多尺度图像特征的任务量，大幅度降低了模型训练的任务量；而且，由于将多个检测任务集成在一个驾驶检测模型，相比多个单任务的检测模型，其模型数量从三个变为一个，意味着需要更少的存储空间和内存以及更快的运行时间，因此可有效提高检测运行效率及降低资源消耗。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种驾驶检测模型的训练方法的流程图；
图2是本发明实施例中提供的一种驾驶检测模型的多任务检测的简略示意图；
图3是本发明实施例中提供的一种对驾驶检测模型进行训练的架构示意图；
图4是本发明实施例中提供的另一种驾驶检测模型的训练方法的流程图；
图5是本发明实施例中提供的又一种驾驶检测模型的训练方法的流程图；
图6是本发明实施例中提供的一种驾驶检测模型的使用方法的流程图；
图7是本发明实施例中提供的一种驾驶检测模型的训练装置的结构框图；
图8是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面针对本申请中提供的驾驶检测模型的训练方案和使用方案，通过以下各个实施例及其可选方案进行详细阐述。
图1是本发明实施例中提供的一种驾驶检测模型的训练方法的流程图。本发明实施例可适用于对集成有人脸检测任务、人脸关键点检测任务和安全带检测任务的模型进行一体化训练的情形。该方法可由驾驶检测模型的训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的驾驶检测模型的训练方法，可包括以下步骤：
S110、获取自标注的训练样本；其中，训练样本包括驾驶员图像样本和驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果。
在本实施例中，本申请方案所使用的训练数据包括：自标注的训练样本和公共的ImageNet数据集中的训练样本。对于每一个训练样本而言，训练样本中可包括驾驶员图像样本，驾驶员图像可为面向驾驶员位置进行图像采集得到的图像。其中，驾驶员图像的图像格式可采用RGB图像格式。训练样本中还可包括预先对驾驶员图像中人脸、人脸关键点和安全带的标注结果。
在本实施例中，人脸标注结果可包括预先标注的所述驾驶员图像中的人脸位置信息；人脸位置信息可采用人脸位置框的形式进行表示。人脸关键点标注结果可包括预先标注的驾驶员图像中的人脸关键点位置信息；人脸关键点位置信息可采用人脸关键点在驾驶员图像中的人脸关键点坐标的形式表示，例如人脸关键点可为鼻子、眼睛以及嘴巴等部位。安全带标注结果可包括预先标注的所述驾驶员图像中的安全带位置信息；例如，安全带位置信息可采用安全带语义像素在驾驶员图像中的坐标位置来进行表示。
在本实施例中，可选地，对于自标注的训练样本而言，可在不同驾驶场景下面向驾驶员位置进行图像采集得到的驾驶员图像，并将在多个驾驶场景下采集的驾驶员图像作为训练样本中的样本图像。这样的好处在于，通过采用多驾驶场景下训练样本来训练驾驶检测模型，可丰富训练样本的样本图像的采集场景多样性，提高正在训练的驾驶检测模型的采集场景适应性，进而可在检测过程中提升训练完成的检测模型的检测准确度。
在本实施例中，因为在实际场景检测中，实际采集的驾驶员图像中可能仅包含人脸、人脸关键点与安全带中的一种或多种，甚至有些实际采集的驾驶员图像中不包含上述的任何内容，因此在训练时不能仅采用包含上述人脸、人脸关键点与安全带的驾驶图像作为样本图像。为此，对于各个训练样本，在一个训练样本中可包括驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果中的一种或者多种标注结果。这样的好处在于，从多检测任务角度来讲，含有人脸、人脸关键点或者安全带中的一种、两种或者全部组合甚至不含有以上标注的驾驶员图像都可以作为训练样本中的驾驶员图像样本，来参与整个驾驶检测模型训练过程进行训练，这样可丰富训练数据的样本标注场景的多样性，从而提升驾驶检测模型对各种样本标注场景的适应性，进而可在检测过程中提升训练完成的检测模型的检测准确度。
S120、采用初始驾驶检测模型中的基准网络，从自标注的训练样本中提取得到多尺度图像特征。
在本实施例中，图2是本发明实施例中提供的一种驾驶检测模型的多任务检测的简略示意图。参见图2，本申请方案中的驾驶检测模型集成了基准网络和多个任务检测分支网络，其中，任务检测分支网络可包括用于输出人脸位置信息的人脸检测分支网络、用于输出人脸关键点位置的人脸关键点检测分支网络以及用于输出安全带位置信息的安全带检测分支网络。这样的好处在于，通过多个检测任务集成在同一个驾驶检测模型中，以便在一个端到端的模型内通过一次驾驶员图像的前传，就可得到驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息。
在本实施例中，本申请方案的驾驶检测模型中的基准网络可在残差网络基础上进行改进搭建。可选地，驾驶检测模型中的基准网络中可包括不同尺寸卷积核的卷积层，在将训练样本输入到驾驶检测模型的基准网络的情况下，通过基准网络可输出多个尺度的图像特征，这里记为多尺度图像特征。这样，在对后续的多个检测分支网络进行训练时，可利用多尺度信息，将上下几层的图像特征feature map并行连接融合，便于融合不同尺度的图像特征进行训练使用。
在本实施例中，图3是本发明实施例中提供的一种对驾驶检测模型进行训练的架构示意图。参见图3，可选地，驾驶检测模型中的基准网络包括利用不同尺寸卷积核的卷积层分别构成的多个特征提取分支结构，且构成的每一个特征提取分支结构中包括至少一个带孔卷积层。这样的好处在于，利用不同的尺度和使用不同的卷积核，并通过带孔卷积层dilated conv设置不同的rate来增大基准网络的感受区域，即增大了基准网络的感受野，从而增加特征的表征能力，无论是模型训练过程还是使用过程均可提升后续多个任务检测分支的检测性能指标。可选地，对于通过基准网络提取的多个尺度的图像特征，后续各个任务检测分支网络可根据实际检测任务需求对不同尺度的图像特征进行融合，得到融合后的图像特征图，以便使用。
在本实施例的一种可选方式中，本申请实施例中提供的驾驶检测模型的训练方法，还可包括以下操作：
将初步搭建的驾驶检测模型中的基准网络，在ImageNet上进行预训练，得到对基准网络进行初步预训练的驾驶检测模型，以作为初始驾驶检测模型。
在本实施方式中，对于初始驾驶检测模型中搭建的基准网络，基准网络还未进行训练，如果直接将其与后续的多个任务检测分支网络进行训练，那么必然需要同时对基准网络的网络参数和多个任务检测分支网络的网络参数进行同步调整，这样就需要将更多的训练资源使用在基准网络上，相当于抢夺了多个任务检测分支网络的训练资源；同时，由于基准网络提取的多尺度图像特征需要供给后续的多个任务检测分支，可见基准网络与多个任务检测分支网络相互关联和相互影响，会导致基准网络在训练过程中的收敛效果比较差。
基于上述分析，参见图3，可采用公共的ImageNet数据集，先将初步搭建的基准网络在ImageNet上进行预训练，得到经对基准网络进行初步预训练的驾驶检测模型，以及将其作为初始驾驶检测模型并保存。例如，可将初步搭建的基准网络在ImageNet上进行预训练，迭代50个epoch之后停止训练并保存对基准网络进行初步预训练的模型，并将其作为初始驾驶检测模型，便于接下来继续在此初始驾驶检测模型基础上继续训练。这样一来，就可通过将初步搭建的基准网络进行预训练，提高搭建的驾驶检测模型中基准网络在自标注的训练样本上进行训练的收敛效果。
S130、采用提取的多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
在本实施例中，参见图2和图3,在驾驶检测模型中，基准网络的输出可分别连接人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的输入，多个任务检测分支能够共用基准网络输出的多尺度图像特征。这样一来无论是在模型训练过程中还是在使用过程中，只需要提取一次多尺度图像特征就可供多个任务检测分支使用，能避免由于重复提取这部分多尺度图像特征造成的任务量增加等缺陷，从而提高模型训练效率或者检测效率。而且，如果避免重复执行这部分多尺度图像特征的提取过程会降低任务量，那么就可避免为了适配一定任务量来提升硬件性能的操作，从而避免增加硬件成本。
在本实施例中，参见图2和图3，通过初始驾驶检测模型中基准网络从训练样本中得到多个尺度的图像特征，并分别输入到人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络。在此基础上，可采用初始驾驶检测模型中基准网络提取的多尺度图像特征，分别对人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以保证各个任务检测分支网络能够按照自身检测任务特点来进行有目标的监督训练。当对人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络训练完成后，就可完成对驾驶检测模型的训练。
在本实施例中，本申请方案中驾驶检测模型中人脸检测分支网络可基于人脸检测算法进行构建，例如包括anchor-free和anchor-based均可适用；人脸关键点检测分支网络采用常规的L2 loss进行构建；安全带检测分支网络采用安全带分割常用的语义分割进行构建。本申请方案的关键不在于单个任务的检测网络而在于将多个检测任务的网络在同一个模型中一体化训练。
本发明实施例中提供了一种驾驶检测模型的训练方法，将人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络在同一个模型进行监督训练，多个分支网络能够共享使用基准网络提取的多尺度图像特征，这样一来只需要一遍多尺度图像特征的提取操作，而不需要针对每一个分支网络均提取一遍，能够有效避免额外增加提取这部分多尺度图像特征的任务量，大幅度降低了模型训练的任务量；而且，由于将多个检测任务集成在一个模型，相比多个单任务检测模型，其模型数量从三个变为一个，意味着需要更少的存储空间和内存以及更快的运行时间，对运行时间的提高，意味着较低的运算能力就可以满足实时性要求。因此可有效提高检测运行效率及降低资源消耗。
图4是本发明实施例中提供的另一种驾驶检测模型的训练方法的流程图，本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图4所示，本申请实施例中提供的驾驶检测模型的训练方法，可包括以下步骤：
S410、获取自标注的训练样本；其中，训练样本包括驾驶员图像样本和驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果。
S420、采用初始驾驶检测模型中的基准网络，从自标注的训练样本中提取得到多尺度图像特征。
在本实施例中，可选地，在从自标注的训练样本中提取得到多尺度图像特征的情况下，可将得到的多尺度图像特征经过三次步长stride为2的下采样之后，在此将下采样输出的图像特征分别输入人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络。这样，可减少人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络对图像特征的计算量，降低其计算耗时，增加训练效率和检测效率。
S430、分别设定初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的初始损失权重。
在本实施例中，针对人脸检测分支网络的人脸检测任务、人脸关键点检测分支网络的关键点检测任务以及安全带检测分支网络的安全带检测任务，可分别设置三个损失函数。同时，还可分别手动设置人脸检测分支网络的人脸检测任务、人脸关键点检测分支网络的关键点检测任务以及安全带检测分支网络的安全带检测任务这三个任务的初始损失权重；例如，这三个任务的初始损失权重分别可为1，0.1，1。
在一个可选示例中，人脸检测任务损失记为l1，关键点检测任务损失记为l2，安全带分割损失记为l3。上述三个损失函数具体如下：
l1＝lcls(pi,pi*)+λpi*lbox(ti,ti*)
l2＝pi*lpts(li,li*)
l3＝2|A∩B|/(|A|+|B|)
其中，l1为人脸、非人脸分类交叉熵损失以及人脸框损失之和；l2为人脸关键点欧式损失；l3为安全带分割损失，安全带分割任务选取的是Dice loss，主要针对的是前景比例太小的问题提出的。
S440、基于分别设定的初始损失权重，采用提取的多尺度图像特征交替对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
在本实施例中，驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络之间的任务存在一定的差异，即各个任务检测分支网络之间在进行任务训练时的任务特定存在区别。由于各个任务检测分支网络之间任务特性，各个分支网络通常需要按照各自的任务特点进一步提取更高级的图像特征来进行训练，如果选择直接对多个任务检测分支网络进行同时训练，可能会导致各个分支网络均不能快速的收敛，导致各个分支网络的训练均达不到各自最佳收敛效果。为此，可基于设定的各分支网络的损失权重，采用交替训练的方式，分别对人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，便于各个分支网络能够按照自身任务特点进行快速的收敛，能够大幅度加快各个分支网络的训练效果和训练效率。
在本实施例的一种可选方式中，采用提取的多尺度图像特征交替对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，可包括步骤A1-A3：
步骤A1、固定初始驾驶检测模型中安全带检测分支网络的网络模型参数，采用提取的多尺度图像特征对初始驾驶检测模型中的基准网络、人脸检测分支网络以及人脸关键点检测分支网络组合在一起进行监督训练，以得到第一候选驾驶检测模型。
在本实施方式中，由于人脸检测分支网络和人脸关键点检测分支网络的任务主要集中在人脸，两个检测分支网络的任务特性相似，为了避免分别对两个检测分支网络单独训练，造成任务量增加。因此，可将人脸检测分支网络和人脸关键点检测分支网络这两个任务特点相似的分支网络结合在一起训练，既不会影响各自的任务训练，同时相比各个分支网络单独训练又能降低训练任务量。
在本实施方式中，控制安全带检测分支网络的网络模型参数保持不变，在自标注的人脸及人脸关键点的训练数据集上，对人脸检测分支网络和人脸关键点检测分支网络进行训练，并在训练过程中采用上述设置的人脸检测分支网络的损失权重和人脸关键点检测分支网络的损失权重，结合人脸检测分支网络和人脸关键点检测分支网络的损失函数，对人脸检测分支网络和人脸关键点检测分支网络的模型参数进行更新调整，至迭代预设个epoch之后保存模型，得到第一候选驾驶检测模型。例如，可迭代100epoch之后保存模型，得到对人脸检测分支网络和人脸关键点检测分支网络训练后的驾驶检测模型。
步骤A2、固定第一候选驾驶检测模型中的基准网络、人脸检测分支网络以及人脸关键点检测分支网络的网络模型参数，采用提取的多尺度图像特征单独对第一候选驾驶检测模型中的安全带检测分支网络进行监督训练，以得到第二候选驾驶检测模型。
在本实施方式中，控制第一候选驾驶检测模型中的基准网络、人脸检测分支网络以及人脸关键点检测分支网络的网络模型参数保持不变，在自标注的安全带的训练数据集上，对第一候选驾驶检测模型中安全带检测分支网络进行训练，并在训练过程中采用上述设置的安全带检测分支网络的损失权重和安全带检测分支网络的损失函数，对安全带检测分支网络的模型参数进行更新调整，至迭代预设个epoch之后保存模型，得到第二候选驾驶检测模型。例如，可迭代80epoch之后保存模型，得到对安全带检测分支网络训练后的驾驶检测模型。
步骤A3、采用提取的多尺度图像特征对第二候选驾驶检测模型中的基准网络、人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络组合在一起进行监督训练。
在本实施方式中，基于前述设置的人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的初始损失权重，可以设置整个驾驶检测模型的总的损失函数L＝1*l1+0.1*l2+1*l3。采用自标注的人脸、关键点、安全带的训练数据集，结合整个驾驶检测模型的总的损失函数，对上述保存的第二候选驾驶检测模型中的backbone基准网络、人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络，进行整体监督训练，至迭代预设个epoch之后保存模型，得到目标驾驶检测模型。例如，迭代80个epoch之后保存得到对整个驾驶检测模型中的全部网络进行整体监督训练的网络模型。此时，训练出的模型在测试集上测试已有很不错的表现。
本发明实施例中提供了一种驾驶检测模型的训练方法，将人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络在同一个模型进行监督训练，多个分支网络能够共享使用基准网络提取的多尺度图像特征，这样一来只需要一遍多尺度图像特征的提取操作，而不需对每一个分支网络均提取一遍，能够有效避免额外增加提取这部分多尺度图像特征的任务量，大幅度降低了模型训练的任务量；而且，由于将多个检测任务集成在一个模型，相比多个单任务检测模型，其模型数量从三个变为一个，意味着需要更少的存储空间和内存以及更快的运行时间，因此可有效提高检测运行效率及降低资源消耗。同时，采用交替训练的方式，分别对人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，便于各个分支网络能够按照自身任务特点进行快速的收敛，能够大幅度加快各个分支网络的训练效果和训练效率。
图5是本发明实施例中提供的又一种驾驶检测模型的训练方法的流程图，本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图5所示，本申请实施例中提供的驾驶检测模型的训练方法，可包括以下步骤：
S510、获取自标注的训练样本；其中，训练样本包括驾驶员图像样本和驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果。
S520、采用初始驾驶检测模型中的基准网络，从自标注的训练样本中提取得到多尺度图像特征。
S530、采用提取的多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
S540、分别采用不同的损失权重配置信息，对目标驾驶检测模型进行训练，并根据各个训练结果从各个损失权重配置信息中确定目标损失权重配置信息。
在本实施例中，驾驶检测模型集成了人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络等多个任务检测分支网络。多任务学习系统的性能很大程度依赖于任务间的损失权重，因此，对各个任务检测分支网络的损失权重进行分析，找到合适的损失权重对多任务学习尤为重要。为此，可把目标驾驶检测模型中各个分支网络的检测任务的损失权重，分别做一个变量并对按照更改后的损失权重进行训练迭代，以便得到合适的损失权重。
在本实施例中，本申请方案可对各个检测分支网络的损失权重进行调整和组合，得到目标驾驶检测模型的多个不同的损失权重配置信息。进而，可分别采用不同损失权重配置信息对目标驾驶检测模型进行训练，并根据训练结果从多个损失权重配置信息中找到符合条件的目标损失权重配置信息。其中，损失权重配置信息包括人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的损失函数的损失权重，即一个损失权重配置信息包括各个分支网络的损失函数的损失权重。例如，人脸检测分支网络的人脸检测任务、人脸关键点检测分支网络的关键点检测任务、安全带检测分支网络的安全带分割任务的损失权重分别为λ1、λ2、λ3，此时λ1、λ2、λ3可构成损失权重配置信息。
在本实施例的一种可选方式中，分别采用不同损失权重配置信息，对目标驾驶检测模型进行训练，并根据各个训练结果从各个损失权重配置信息中确定目标损失权重配置信息，可包括步骤C1-C3：
步骤C1、确定目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的损失权重配置信息。
步骤C2、采用该损失权重配置信息，对目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行训练，以得到在所述损失权重配置信息下对应的模型训练结果。
在本实施方式中，根据经验分别定义损失权重(λ1、λ2、λ3)∈(0.1,3)，定义d为损失权重增长距离且默认d＝0.1，人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的三个检测任务损失权重初始化为0.1，在此基础上对目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的三个检测任务损失权重进行调整。例如，每一次调整损失权重配置信息，可按照损失权重增长距离d来调整三个检测任务损失权重，且每次调整损失权重增加d。
在本实施方式中，基于每次调整得到的损失权重配置信息，对目标驾驶检测模型进行训练并得到每种损失权重配置信息下对应的训练结果。在对目标驾驶检测模型进行训练时，一轮训练可迭代预设个epoch，一轮迭代训练结束之后再次对损失权重配置信息进行调整，用于进入下一轮对目标驾驶检测模型的迭代训练使用，直至所有的损失权重调整为预设最大值时迭代训练结束。例如以一个比较小的学习率lr在上述得到目标驾驶检测模型上进行微调训练，一轮迭代50个epoch，一轮迭代结束之后对上述三个检测任务的任一损失权重加d进行下一轮迭代训练，直至三个检测任务的所有的损失权重为3时迭代结束。
步骤C3、依据使用各个损失权重配置信息下对应的训练结果，从各个损失权重配置信息中选取训练效果最佳的目标损失权重信息。
在本实施方式中，在迭代过程中计算每一轮迭代训练对应的损失权重配置信息下的训练结果，即迭代训练得到的目标驾驶检测模型的最小loss以及在测试集上的准确率。经多轮迭代之后，可从多个损失权重配置信息下找到能使目标驾驶检测模型的迭代训练效果最佳的目标损失权重信息，例如，损失权重配置信息为λ1＝1.5，λ2＝0.8，λ3＝1.1时，能使目标驾驶检测模型的迭代训练效果最佳，表现效果最好，记录目标损失权重信息下的三个检测任务的损失权重。
采用上述方式，将损失权重做一个变量进行自动调整，并对按照更改后的损失权重进行训练迭代，从训练损失权重的角度来讲，每个损失函数的损失权重通过训练的方式自动获取，而不是人为手动调整，这样就可通过提升训练的收敛效果来得到合适的损失权重来对驾驶检测模型进行训练，提高驾驶检测模型的准确性和召回率。
S550、将目标驾驶检测模型中损失权重配置信息分别更新为目标损失权重配置信息，并对更新损失权重配置信息的目标驾驶检测模型进行训练，以得到更新后的目标驾驶检测模型。
在本实施方式中，将上述遍历出的目标损失权重指示的三个检测任务的损失权重作为定值，并在前述S530训练的目标驾驶检测模型上，设定一定的学习率和衰减系数进行微调，迭代预设个epoch(80个epoch)之后保存训练得到的驾驶检测模型。此时，训练出的驾驶检测模型在测试集上测试效果相比S530训练出的模型亦有小幅度提升。
本发明实施例中提供了一种驾驶检测模型的训练方法，将人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络在同一个模型进行监督训练，多个分支网络能够共享使用基准网络提取的多尺度图像特征，这样一来只需要一遍多尺度图像特征的提取操作，而不需对每一个分支网络均提取一遍，能够有效避免额外增加提取这部分多尺度图像特征的任务量，大幅度降低了模型训练的任务量；而且，由于将多个检测任务集成在一个模型，相比多个单任务检测模型，其模型数量从三个变为一个，意味着需要更少的存储空间和内存以及更快的运行时间，因此可有效提高检测运行效率及降低资源消耗。同时，还能对得到的目标驾驶检测模型使用的损失权重进行自动筛选，并根据自动筛选出的损失权重进行再次训练，调高驾驶检测模型的准确率。
在上述实施例的基础上，可选地，本申请实施例中提供的驾驶检测模型的训练方法，还包括以下操作：
通过结构化稀疏的方式，对更新后的目标驾驶检测模型或者目标驾驶检测模型中的网络通道数和网络深度自适应修改，以得到稀疏化的驾驶检测模型。
在本实施方式中，对更新后的目标驾驶检测模型或者目标驾驶检测模型的损失函数进行修改；按照修改后的损失函数，对更新后的目标驾驶检测模型或者目标驾驶检测模型进行迭代训练，以在迭代训练过程中修改网络通道数和网络深度。例如，通过修改损失函数来对模型稀疏。具体损失函数如下：
Figure BDA0002579676430000171
其中，L为多任务损失，l2为l2正则化项，Lg(wl)为套索回归项。将上述实施例得到的更新后的目标驾驶检测模型或者目标驾驶检测模型作为预训练模型迭加到上述损失中进行进一步的迭代训练，迭代100个epoch并保存模型，至此训练结束得到训练结果较完善的驾驶检测模型。
采用上述稀疏化方案，通过平台转换之后，降低模型在目标平台上的大小以及内存占用，存储空间和内存占用相对不采用稀疏方式都有大幅降低，提升算法在目标平台上的运行速度，经分析运行速度能提升大概百分之五十。
图6是本发明实施例中提供的一种驾驶检测模型的使用方法的流程图。本发明实施例可适用于对驾驶检测模型进行使用的情况。该方法可由驾驶检测模型的使用装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图6所示，本申请实施例中提供的驾驶检测模型的使用方法，可包括以下步骤S610-S620：
S510、将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息。
在本实施例中，在使用过程中的已训练完成的驾驶检测模型是采用本申请实施例中驾驶检测模型的训练方法训练获得，具体训练过程这里不再赘述。
S520、依据识别得到的驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。
图7是本发明实施例中提供的一种驾驶检测模型的训练装置的结构框图。本发明实施例可适用于对集成有人脸检测任务、人脸关键点检测任务和安全带检测任务的模型进行一体化训练的情形。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图7所示，本申请实施例中提供的驾驶检测模型的训练装置，可包括：训练样本获取模块710、尺度特征提取模块720和检测模型训练模块730。其中：
训练样本获取模块710，用于获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
尺度特征提取模块720，用于采用初始驾驶检测模型中的基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
检测模型训练模块730，用于采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
在上述实施例的基础上，可选地，所述人脸标注结果包括预先标注的所述驾驶员图像中的人脸位置信息，所述人脸关键点标注结果包括预先标注的所述驾驶员图像中的人脸关键点位置信息，所述安全带标注结果包括预先标注的所述驾驶员图像中的安全带位置信息。
在上述实施例的基础上，可选地，所述基准网络包括利用不同尺寸卷积核的卷积层分别构成的多个特征提取分支结构，所述特征提取分支结构中包括至少一个带孔卷积层。
在上述实施例的基础上，可选地，所述装置还包括：
模型预训练模块740，用于将初步搭建的驾驶检测模型中的基准网络，在ImageNet上进行预训练，得到对基准网络进行初步预训练的驾驶检测模型，以作为初始驾驶检测模型。
损失权重设定单元，用于分别设定所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络的初始损失权重；
模型交替训练单元，用于基于分别设定的所述初始损失权重，采用所述多尺度图像特征交替对所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络进行监督训练。
在上述实施例的基础上，可选地，模型交替训练单元包括：
固定所述初始驾驶检测模型中安全带检测分支网络的网络模型参数，采用所述多尺度图像特征对所述初始驾驶检测模型中基准网络、人脸检测分支网络以及人脸关键点检测分支网络组合在一起进行监督训练，以得到第一候选驾驶检测模型；
固定所述第一候选驾驶检测模型中的基准网络、所述人脸检测分支网络以及所述人脸关键点检测分支网络的网络模型参数，采用所述多尺度图像特征单独对所述第一候选驾驶检测模型中安全带检测分支网络进行监督训练，以得到第二候选驾驶检测模型；
采用所述多尺度图像特征对所述第二候选驾驶检测模型中的基准网络、人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络组合在一起进行监督训练。
在上述实施例的基础上，可选地，所述装置还包括：
目标损失权重确定模块750，用于分别采用不同损失权重配置信息，对所述目标驾驶检测模型进行训练，并根据各个训练结果从各个损失权重配置信息中确定目标损失权重配置信息；
模型重配置训练模块760，用于将所述目标驾驶检测模型中损失权重配置信息分别更新为所述目标损失权重配置信息，并对更新损失权重配置信息的目标驾驶检测模型进行训练，用以得到更新后的目标驾驶检测模型；
其中，损失权重配置信息包括人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的损失函数的损失权重。
在上述实施例的基础上，可选地，目标损失权重确定模块750包括：
确定所述目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的损失权重配置信息；
采用所述损失权重配置信息，对所述目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行训练，以得到在所述损失权重配置信息下对应的模型训练结果；
依据使用各个损失权重配置信息下对应的训练结果，从各个损失权重配置信息中选取训练效果最佳的目标损失权重信息。
在上述实施例的基础上，可选地，所述装置还包括：
模型稀疏处理模块770，用于通过结构化稀疏的方式，对所述更新后的目标驾驶检测模型或者所述目标驾驶检测模型中的网络通道数和网络深度自适应修改，以得到稀疏化的驾驶检测模型。
在上述实施例的基础上，可选地，模型稀疏处理模块770包括：
对所述更新后的目标驾驶检测模型或者所述目标驾驶检测模型的损失函数进行修改；
按照修改后的损失函数，对所述更新后的目标驾驶检测模型或者所述目标驾驶检测模型进行迭代训练，以在迭代训练过程中修改网络通道数和网络深度。
本发明实施例中所提供的驾驶检测模型的训练装置可执行上述本发明任意实施例中所提供的驾驶检测模型的训练方法，具备执行该驾驶检测模型的训练方法相应的功能和有益效果，详细过程参见前述实施例中驾驶检测模型的训练方法的相关操作。
此外，本发明实施例中还公开了一种驾驶检测模型的使用装置，所述驾驶检测模型采用上述实施例中提供的任一所述的驾驶检测模型的训练方法训练来获得，本申请实施例中的驾驶检测模型的使用装置可包括：驾驶员信息识别模块和疲劳驾驶预警模块。其中，
驾驶员信息识别模块，用于将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；
疲劳驾驶预警模块，用于依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。
本发明实施例中所提供的驾驶检测模型的使用装置可执行上述本发明任意实施例中所提供的驾驶检测模型的使用方法，具备执行该驾驶检测模型的使用方法相应的功能和有益效果，详细过程参见前述实施例中驾驶检测模型的使用方法的相关操作。
图8是本发明实施例中提供的一种电子设备的结构示意图。如图8所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器810和存储装置820；该电子设备中的处理器810可以是一个或多个，图8中以一个处理器810为例；存储装置820用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器810执行，使得所述一个或多个处理器810实现如本发明实施例中任一项所述的驾驶检测模型的训练方法。
该电子设备还可以包括：输入装置830和输出装置840。
该电子设备中的处理器810、存储装置820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。
该电子设备中的存储装置820作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的驾驶检测模型的训练方法对应的程序指令/模块。处理器810通过运行存储在存储装置820中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中驾驶检测模型的训练方法。
存储装置820可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序进行如下操作：
获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
采用初始驾驶检测模型中的基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序还可以进行本发明任意实施例中所提供的驾驶检测模型的训练方法中的相关操作。
此外，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时，程序还可以进行本发明任意实施例中所提供的驾驶检测模型的使用方法中的相关操作。
本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行驾驶检测模型的训练方法，该方法包括：
获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
采用初始驾驶检测模型中的基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的驾驶检测模型的训练方法或者驾驶检测模型的使用方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种驾驶检测模型的训练方法，其特征在于，包括：
获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
2.根据权利要求1所述的方法，其特征在于，所述人脸标注结果包括预先标注的所述驾驶员图像中的人脸位置信息，所述人脸关键点标注结果包括预先标注的所述驾驶员图像中的人脸关键点位置信息，所述安全带标注结果包括预先标注的所述驾驶员图像中的安全带位置信息。
3.根据权利要求1所述的方法，其特征在于，所述基准网络包括利用不同尺寸卷积核的卷积层分别构成的多个特征提取分支结构，所述特征提取分支结构中包括至少一个带孔卷积层。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将初步搭建的驾驶检测模型中的基准网络，在ImageNet上进行预训练，得到对基准网络进行初步预训练的驾驶检测模型，以作为初始驾驶检测模型。
5.根据权利要求1所述的方法，其特征在于，采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行交替监督训练，包括：
分别设定所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络的初始损失权重；
基于分别设定的所述初始损失权重，采用所述多尺度图像特征交替对所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络进行监督训练。
6.根据权利要求5所述的方法，其特征在于，采用所述多尺度图像特征交替对所述人脸检测分支网络、所述人脸关键点检测分支网络以及所述安全带检测分支网络进行监督训练，包括：
固定所述初始驾驶检测模型中安全带检测分支网络的网络模型参数，采用所述多尺度图像特征对所述初始驾驶检测模型中基准网络、人脸检测分支网络以及人脸关键点检测分支网络组合在一起进行监督训练，以得到第一候选驾驶检测模型；
固定所述第一候选驾驶检测模型中的基准网络、所述人脸检测分支网络以及所述人脸关键点检测分支网络的网络模型参数，采用所述多尺度图像特征单独对所述第一候选驾驶检测模型中安全带检测分支网络进行监督训练，以得到第二候选驾驶检测模型；
采用所述多尺度图像特征对所述第二候选驾驶检测模型中基准网络、人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络组合在一起进行监督训练。
7.根据权利要求1所述的方法，其特征在于，在得到目标驾驶检测模型之后，还包括：
分别采用不同的损失权重配置信息，对所述目标驾驶检测模型进行训练，并根据各个训练结果从各个损失权重配置信息中确定目标损失权重配置信息；
将所述目标驾驶检测模型中损失权重配置信息分别更新为所述目标损失权重配置信息，并对更新损失权重配置信息的目标驾驶检测模型进行训练，以得到更新后的目标驾驶检测模型；
其中，损失权重配置信息包括人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的损失函数的损失权重。
8.根据权利要求7所述的方法，其特征在于，分别采用不同的损失权重配置信息，对所述目标驾驶检测模型进行训练，并根据各个训练结果从各个损失权重配置信息中确定目标损失权重配置信息，包括：
确定所述目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络的损失权重配置信息；
采用所述损失权重配置信息，对所述目标驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行训练，以得到在所述损失权重配置信息下对应的模型训练结果；
依据使用各个损失权重配置信息下对应的训练结果，从各个损失权重配置信息中选取训练效果最佳的目标损失权重信息。
9.根据权利要求1或7所述的方法，其特征在于，所述方法还包括：
通过结构化稀疏的方式，对所述更新后的目标驾驶检测模型或者所述目标驾驶检测模型中的网络通道数和网络深度自适应修改，以得到稀疏化的目标驾驶检测模型。
10.一种驾驶检测模型的使用方法，其特征在于，所述驾驶检测模型采用权利要求1-9任一所述的驾驶检测模型的训练方法训练获得，所述驾驶检测模型的使用方法包括：
将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；
依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。
11.一种驾驶检测模型的训练装置，其特征在于，包括：
训练样本获取模块，用于获取自标注的训练样本；其中，所述训练样本包括驾驶员图像样本和所述驾驶员图像中人脸标注结果、人脸关键点标注结果与安全带标注结果；
尺度特征提取模块，用于采用初始驾驶检测模型中基准网络，从所述自标注的训练样本中提取得到多尺度图像特征；
检测模型训练模块，用于采用所述多尺度图像特征对初始驾驶检测模型中人脸检测分支网络、人脸关键点检测分支网络以及安全带检测分支网络进行监督训练，以得到目标驾驶检测模型。
12.一种驾驶检测模型的使用装置，其特征在于，所述驾驶检测模型采用权利要求1-9任一所述的驾驶检测模型的训练方法训练获得，所述驾驶检测模型的使用装置包括：
驾驶员信息识别模块，用于将采集的驾驶员图像输入到训练完成的驾驶检测模型中，获得所述驾驶员图像中驾驶员的人脸位置信息、人脸关键点位置信息以及安全带位置信息；
疲劳驾驶预警模块，用于依据所述人脸位置信息、人脸关键点位置信息以及安全带位置信息，对驾驶员进行疲劳预警，以进行安全驾驶。
13.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-9中任一所述的驾驶检测模型的训练方法或者权利要求10所述的驾驶检测模型的使用方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-9中任一所述的驾驶检测模型的训练方法或者权利要求10所述的驾驶检测模型的使用方法。
CN202010664034.6A 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质 Pending CN111860259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010664034.6A CN111860259A (zh) 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010664034.6A CN111860259A (zh) 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111860259A true CN111860259A (zh) 2020-10-30

Family

ID=72982926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010664034.6A Pending CN111860259A (zh) 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111860259A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215244A (zh) * 2020-11-02 2021-01-12 同方威视科技江苏有限公司 货物图像检测方法、装置、设备及存储介质
CN113255539A (zh) * 2021-06-01 2021-08-13 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质
CN113379715A (zh) * 2021-06-24 2021-09-10 南京信息工程大学 一种水下图像增强和数据集真值图像获得方法
CN113869353A (zh) * 2021-08-16 2021-12-31 深延科技(北京)有限公司 模型训练方法、老虎关键点检测方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485224A (zh) * 2016-10-13 2017-03-08 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
CN106709420A (zh) * 2016-11-21 2017-05-24 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
US20180239975A1 (en) * 2015-08-31 2018-08-23 Sri International Method and system for monitoring driving behaviors
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN110334592A (zh) * 2019-05-27 2019-10-15 天津科技大学 一种司机异常行为监测和安全保障系统及其方法
CN110503161A (zh) * 2019-08-29 2019-11-26 长沙学院 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180239975A1 (en) * 2015-08-31 2018-08-23 Sri International Method and system for monitoring driving behaviors
CN106485224A (zh) * 2016-10-13 2017-03-08 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
CN106709420A (zh) * 2016-11-21 2017-05-24 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system
CN109460699A (zh) * 2018-09-03 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法
CN110334592A (zh) * 2019-05-27 2019-10-15 天津科技大学 一种司机异常行为监测和安全保障系统及其方法
CN110503161A (zh) * 2019-08-29 2019-11-26 长沙学院 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215244A (zh) * 2020-11-02 2021-01-12 同方威视科技江苏有限公司 货物图像检测方法、装置、设备及存储介质
CN113255539A (zh) * 2021-06-01 2021-08-13 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质
CN113255539B (zh) * 2021-06-01 2024-05-10 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质
CN113379715A (zh) * 2021-06-24 2021-09-10 南京信息工程大学 一种水下图像增强和数据集真值图像获得方法
CN113869353A (zh) * 2021-08-16 2021-12-31 深延科技(北京)有限公司 模型训练方法、老虎关键点检测方法及相关装置

Similar Documents

Publication Publication Date Title
CN111860259A (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN108229267B (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN112163465B (zh) 细粒度图像分类方法、系统、计算机设备及存储介质
CN106897714B (zh) 一种基于卷积神经网络的视频动作检测方法
CN115879535B (zh) 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN111126258A (zh) 图像识别方法及相关装置
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN112634209A (zh) 一种产品缺陷检测方法和装置
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN106462940A (zh) 图像中通用对象检测
CN112183482A (zh) 危险驾驶行为识别方法、装置、系统及可读存储介质
CN110889421A (zh) 目标物检测方法及装置
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN111860255A (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
CN113537070B (zh) 一种检测方法、装置、电子设备及存储介质
CN114118124A (zh) 图像检测方法和装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111292377A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN114037640A (zh) 图像生成方法及装置
JP2023527489A (ja) モデル生成方法、オブジェクト検出方法、装置、機器、及び記憶媒体
CN111523558A (zh) 一种基于电子围网的船只遮挡检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 101, No. 1, East Ring 3rd Street, Jitiagang Village, Huangjiang Town, Dongguan City, Guangdong Province, 523750

Applicant after: Guangdong Zhengyang Sensor Technology Co.,Ltd.

Address before: Jitigang village, Huangjiang Town, Dongguan City, Guangdong Province

Applicant before: DONGGUAN ZHENGYANG ELECTRONIC MECHANICAL Co.,Ltd.