CN113139488B - 训练分割神经网络的方法及装置 - Google Patents

训练分割神经网络的方法及装置 Download PDF

Info

Publication number
CN113139488B
CN113139488B CN202110477624.2A CN202110477624A CN113139488B CN 113139488 B CN113139488 B CN 113139488B CN 202110477624 A CN202110477624 A CN 202110477624A CN 113139488 B CN113139488 B CN 113139488B
Authority
CN
China
Prior art keywords
neural network
sample images
image
training
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110477624.2A
Other languages
English (en)
Other versions
CN113139488A (zh
Inventor
于越
谭啸
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110477624.2A priority Critical patent/CN113139488B/zh
Publication of CN113139488A publication Critical patent/CN113139488A/zh
Application granted granted Critical
Publication of CN113139488B publication Critical patent/CN113139488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种训练分割神经网络的方法及装置，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案为：获取多个第一样本图像和第一样本图像的标签，其中，第一样本图像采集自车辆内部的图像采集装置；使用多个第一样本图像和第一样本图像的标签作为训练数据来训练第一神经网络；利用经训练的第一神经网络分割多个第二样本图像，得到与多个第二样本图像中每个第二样本图像对应的分割结果和特征图，其中，第二样本图像采集自车辆外部的图像采集装置；以及根据第二样本图像、分割结果和特征图，训练第二神经网络，得到经训练的第二神经网络，作为分割神经网络。

Description

训练分割神经网络的方法及装置
技术领域
本公开涉及人工智能领域，尤其涉及计算机视觉技术和深度学习技术领域。
背景技术
随着经济的发展，城市内的汽车保有量也逐年增加。汽车保有量的持续增长不仅为城市交通系统带来巨大负担，也增加了交通事故的发生频次。而安全带作为保证车辆内部乘员人身安全的安全装备，可以在交通事故发生时对乘员进行保护，提高乘员的安全性。但是仍有很多人抱有侥幸心理，在驾驶或乘坐车辆的过程中没有按照规定佩戴安全带，存在较大的安全隐患。
发明内容
本公开提供了一种用于训练分割神经网络的方法、确定是否佩戴安全带的方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种训练分割神经网络的方法，包括：获取多个第一样本图像和所述第一样本图像的标签，其中，所述第一样本图像采集自车辆内部的图像采集装置；使用所述多个第一样本图像和所述第一样本图像的标签作为训练数据来训练第一神经网络；利用经训练的所述第一神经网络分割多个第二样本图像，得到与所述多个第二样本图像中每个第二样本图像对应的分割结果和特征图，其中，所述第二样本图像采集自车辆外部的图像采集装置；以及根据第二样本图像、所述分割结果和所述特征图，训练第二神经网络，得到经训练的第二神经网络，作为所述分割神经网络。
根据本公开的另一方面，提供了一种确定是否佩戴安全带的方法，包括：获取原始图像，其中，所述原始图像采集自车辆外部的图像采集装置；利用检测神经网络，确定所述原始图像中的乘员区域；利用经训练的分割神经网络对所述乘员区域进行分割，以得到安全带区域；以及根据所述安全带区域的面积，确定乘员是否佩戴安全带；其中，所述分割神经网络是利用根据本公开实施例所述的训练分割神经网络的方法训练的。
根据本公开的另一方面，提供了一种训练分割神经网络的装置，包括：第一获取模块，用于获取多个第一样本图像和所述第一样本图像的标签，其中，所述第一样本图像采集自车辆内部的图像采集装置；第一训练模块，用于使用所述多个第一样本图像和所述第一样本图像的标签作为训练数据来训练第一神经网络；第一分割模块，用于利用经训练的所述第一神经网络分割多个第二样本图像，得到与所述多个第二样本图像中每个第二样本图像对应的分割结果和特征图，其中，所述第二样本图像采集自车辆外部的图像采集装置；以及第二训练模块，用于根据第二样本图像、所述分割结果和所述特征图，训练第二神经网络，得到经训练的第二神经网络，作为所述分割神经网络。
根据本公开的另一方面，提供了一种确定是否佩戴安全带的装置，包括：第二获取模块，用于获取原始图像，其中，所述原始图像采集自车辆外部的图像采集装置；第一确定模块，用于利用检测神经网络，确定所述原始图像中的乘员区域；第二分割模块，用于利用经训练的分割神经网络对所述乘员区域进行分割，以得到安全带区域，其中，所述分割神经网络是利用根据本公开实施例训练分割神经网络的方法训练的；以及第二确定模块，用于根据所述安全带区域的面积，确定乘员是否佩戴安全带。
本公开的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据本公开实施例所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现根据本公开实施例所述的方法。
根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现根据本公开实施例所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开的实施例的应用场景的示意图；
图2示意性示出了根据本公开的实施例的训练分割神经网络的方法的流程图；
图3A示意性示出了根据本公开的实施例的训练第一神经网络的示意图；
图3B示意性示出了根据本公开的实施例的训练第二神经网络的示意图；
图4示意性示出了根据本公开的实施例的确定是否佩戴安全带的方法的流程图；
图5示意性示出了根据本公开的另一实施例的确定是否佩戴安全带的方法的流程图；
图6示意性示出了根据本公开的实施例的训练分割神经网络的装置的框图；
图7示意性示出了根据本公开的实施例的确定是否佩戴安全带的装置的框图；以及
图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了识别乘员是否系安全带，相关技术采用分类神经网络模型对输入的图片直接进行分类，但是因为输入的图片为整辆车的图片，因此乘员图像在输入的图片中只占很小的比例。而由于不同车型、不同道路、不同拍摄环境的影响，背景的信息十分复杂，使得模型训练过程中很容易受到这些背景因素的影响，很难学习到安全带的特征，造成过拟合的现象。另外，由于监控场景下对算法实时性要求较高，相关技术所采用分类神经网络模型难以满足速度上的需求。
图1示意性示出了根据本公开的实施例的应用场景的示意图。
如图1所示，该应用场景包括道路110、车辆120和监控摄像头130。
其中，车辆120可以行驶在道路110中。车辆120例如可以包括轿车、载货汽车、客车等具有安全带装置的交通工具。车辆120内部可以设置车载摄像头121。车载摄像头121可以用于采集车辆120内部的图像。
监控摄像头130设置在道路110的附近，可以用于采集道路110中车辆的图像。示例性地，本实施例中，监控摄像头130设置在道路110的一侧。
根据本公开的实施例，可以通过车载摄像头121采集的车内视角图像，作为样本图像，训练神经网络，得到第一神经网络。然后利用第一神经网络分割通过监控摄像头130采集的监控视角图像，得到分割结果和特征图。接着根据监控视角图像、分割结果和特征图，训练另一个神经网络，得到第二神经网络。利用该第二神经网络可以分割出监控视角图像中的安全带区域，从而根据安全带区域的面积可以确定乘员是否佩戴安全带。
图2示意性示出了根据本公开的实施例的训练分割神经网络的方法的流程图。
如图2所示，该方法200包括操作S210～S240。
在操作S210，获取多个第一样本图像和第一样本图像的标签。
根据本公开的实施例，第一样本图像可以采集自车辆内部的图像采集装置。该车辆内部的图像采集装置例如可以为图1所示的车载摄像头121。示例性地，本实施例中，可以通过设置在车辆内部的车载摄像头采集车辆内部座椅位置的图像，作为第一样本图像，然后对第一样本图像进行标注，得到第一样本图像的标签。其中，第一样本图像中既包括乘员佩戴安全带时的车内图像，也包括乘员未佩戴安全带时的车内图像。本实施例中，可以将乘员佩戴安全带时的车内图像作为正样本，将乘员未佩戴安全带时的车内图像作为负样本。
根据本公开的实施例，车辆内部的图像采集装置采集的图像，不存在玻璃的遮挡，较为清晰，因此将车辆内部的图像采集装置采集的图像作为样本图像对神经网络进行训练，可以提高训练效果。
在操作S220，使用多个第一样本图像和第一样本图像的标签作为训练数据来训练第一神经网络。
在操作S230，利用经训练的第一神经网络分割多个第二样本图像，得到与多个第二样本图像中每个第二样本图像对应的分割结果和特征图。
根据本公开的实施例，第二样本图像可以采集自车辆外部的图像采集装置。该车辆外部的图像采集装置例如可以为图1所示的监控摄像头130。示例性地，本实施例中，可以通过设置在路侧的监控摄像头采集道路中车辆的正面图像，作为第二样本图像。其中，第二样本图像中既包括乘员佩戴安全带时的车辆正面图像，也包括乘员未佩戴安全带时的车辆正面图像。本实施例中，可以将乘员佩戴安全带时的车辆正面图像作为正样本，将乘员未佩戴安全带时的车辆正面图像作为负样本。
在操作S240，根据第二样本图像、分割结果和特征图，训练第二神经网络，得到经训练的第二神经网络，作为分割神经网络。
示例性地，本实施例中，第一神经网络例如可以包括hrnet-w48网络，第二神经网络例如可以包括hrnet-w18网络。
根据本公开的实施例，通过利用车内视角的图像训练第一神经网络模型，然后利用第一神经网络模型训练第二神经网络模型，得到分割神经网络模型，解决了在训练模型时负样本(即不系安全带的数据)获取困难的问题，另外，还可以解决在背景复杂、图像分辨率低的情况下普通神经网络鲁棒性差、效果不稳定的问题。
图3A示意性示出了根据本公开的实施例的训练第一神经网络的示意图。
如图3A所示，可以将多个第一样本图像31中的一个第一样本图像输入第一神经网络32，得到与该第一样本图像对应的预测结果。然后根据损失函数33确定该第一样本图像的预测结果与该第一样本图像的标签之间的差异，也即损失(loss)。该损失越大，表示第一神经网络的预测结果越不准确。
接下来，判断该损失是否符合预设条件，例如可以判断该损失函数33是否收敛，如果未收敛，则根据该损失调整第一神经网络32的参数，然后将多个第一样本图像31中的另一个第一样本图像输入第一神经网络32，继续上述训练过程。如果该损失函数33收敛，则结束训练。
图3B示意性示出了根据本公开的实施例的训练第二神经网络的示意图。
如图3B所示，在第一神经网络训练完毕之后，可以分别将多个第二样本图像34中的每个第二样本图像输入经训练的第一神经网络35，从而得到与该第二样本图像对应的分割结果36和特征图(feature map)37。其中，特征图37可以包括第一神经网络35中骨干网络(backbone)输出的矩阵。特征图37包含了第一神经网络35在训练过程中学习到的输入图片的特征，该特征例如可以包括边缘信息、纹理信息等。
根据本公开的实施例，可以将多个第二样本图像34中一个第二样本图像输入第二神经网络38，得到与该第二样本图像对应的分割结果39和特征图310，根据第一损失函数311确定使用第一神经网络35确定的分割结果36和使用第二神经网络38确定的分割结果39之间的第一损失，并根据第二损失函数312确定使用第一神经网络确定的特征图37和第二神经网络确定的特征图38之间的第二损失。其中，第一损失函数和第二损失函数可以相同也可以不同。
接下来根据第一损失和第二损失计算总损失313。例如可以根据以下公式计算总差异：
Lsum＝Lce+alpha*Lkd
其中，Lsum为总差异，Lce表示原始的交叉熵损失，Lkd表示知识蒸馏(knowledgedistillation)损失，alpha是第一预设权重。
示例性地，本实施例中，alpha为0.2。其中，下标ce表示交叉熵损失，上标p表示第一神经网络的预测结果(predict)和第二神经网络的预测结果之间的第一损失，f表示第一神经网络的特征图和第二神经网络的特征图之间的第二损失，beta为第二预设权重。
示例性地，本实施例中，beta为0.2。交叉熵损失可以根据如下公式计算：
其中，L表示交叉熵损失，y表示真实值(label)，表示预测值(pred)。
例如可以判断总损失是否均收敛，如果总损失未收敛，则根据总损失调整第二神经网络38的参数，然后将多个第二样本图像34中的另一个第二样本图像输入第二神经网络38，继续上述训练过程。如果总损失收敛，则结束训练。通过该训练，可以将经训练的第一神经网络中包含的知识，蒸馏提取到第二神经网络中。
根据本公开的实施例，第一神经网络与第二神经网络在结构上无本质区别，两者的主要区别在于参数数量不同。其中，第一神经网络的参数数量大于第二神经网络的参数数量，因此第一神经网络学习能力相比第二神经网络更强，但是在预测时第一神经网络相比第二神经网络也会占用更多时间。基于此，本实施例中，通过将已经训练的第一神经网络中包含的知识，蒸馏提取到第二神经网络中，从而可以让第二神经网络也获得和第一神经网络近似的能力。然后利用该第二神经网络进行安全带区域进行预测，由于第二神经网络预测时占用的时间相对于第一神经网络较少，因此可以达到加速预测的效果。
图4示意性示出了根据本公开的实施例的确定是否佩戴安全带的方法的流程图。
如图4所示，该方法400包括操作S410～S440。
在操作S410，获取原始图像。
根据本公开的实施例，原始图像可以采集自车辆外部的图像采集装置。该车辆外部的图像采集装置例如可以为图1所示的监控摄像头130。示例性地，本实施例中，可以通过设置在路侧的监控摄像头采集道路中车辆的正面图像，作为原始图像。
在操作S420，利用检测神经网络，确定原始图像中的乘员区域。
根据本公开的实施例，检测神经网络可以用于检测输入图像中是否存在乘员区域，并在输入图像中存在乘员区域的情况下，提取该乘员区域。基于此，可以将原始图像输入检测神经网络，以得到原始图像中乘员区域的位置信息。然后根据乘员区域的位置信息，提取原始图像中的乘员区域。示例性地，本实施例中，乘员区域被配置为矩形，乘员区域的位置信息例如可以包括位于该矩形对角线上的两个顶点的位置坐标。
示例性地，本实施例中，检测神经网络例如可以包括YOLOv3网络。
在操作S430，利用经训练的分割神经网络对乘员区域进行分割，以得到安全带区域。
根据本公开的实施例，分割神经网络可以用于从输入图像中分割出可能包含安全带的区域，也称为安全带区域。该安全带区域为一个二值图像，该二值图像中每个像素的像素值为0或1。该二值图像中像素值为1的部分表示安全带，像素值为0的部分表示背景。
基于此，可以将操作S420中确定的乘员区域输入分割神经网络，以得到该乘员区域中的安全带区域。
示例性地，本实施例中，分割神经网络可以是利用根据图1所示的方法训练的。
在操作S440，根据安全带区域的面积，确定乘员是否佩戴安全带。
根据本公开的实施例，可以将安全带区域的面积与预设面积阈值进行比较，在安全带区域的面积大于预设面积阈值的情况下，确定乘员有佩戴安全带。在安全带区域的面积小于或等于预设面积阈值的情况下，确定乘员没有佩戴安全带。其中，预设面积阈值可以根据统计数据得到。例如，可以对所有训练数据中乘员佩戴安全带时的图像进行统计，得到这些图像中安全带区域的像素值，然后根据这些像素值确定预设面积阈值。示例性地，本实施例中，可以确定这些像素值中的最小值作为预设面积阈值。
根据本公开的实施例的确定是否佩戴安全带的方法可以应用于智能交通场景下。利用检测神经网络和分割神经网络组合的方式对监控视角图像中的乘员是否佩戴安全带进行检测，提高了检测效果和检测稳定性。
在监控摄像头采集车辆正面图像的过程中，存在夜间光照不足，以及白天车辆的前档玻璃会产生反光的问题。这些问题导致采集到的图像清晰度较差，难以从图像中准确分割安全带区域。基于此，图5示意性示出了根据本公开的另一实施例的确定是否佩戴安全带的方法的流程图。
如图5所示，该方法500包括操作S510～S550。
在操作S510，获取原始图像。
根据本公开的实施例，操作S510可以参考图2所示的操作S410，在此不再赘述。
在操作S520，利用检测神经网络，确定原始图像中的乘员区域。
根据本公开的实施例，操作S520可以参考图2所示的操作S420，在此不再赘述。
在操作S530，针对乘员区域进行预处理，以增加乘员区域对比度。
根据本公开的实施例，预处理例如可以包括直方图均衡化处理。例如，可以确定乘员区域的灰度直方图，确定乘员区域的像素总数和灰度分布频率。接下来根据灰度分布频率，确定灰度累积分布频率。接着根据累计分布频率确定映射关系。然后根据映射关系，对灰度直方图中的像素进行映射，得到直方图均衡化后的乘员区域。
在操作S540，利用经训练的分割神经网络对乘员区域进行分割，以得到安全带区域。
根据本公开的实施例，操作S540可以参考图2所示的操作S430，在此不再赘述。
在操作S550，根据安全带区域的面积，确定乘员是否佩戴安全带。
根据本公开的实施例，操作S550可以参考图2所示的操作S440，在此不再赘述。
根据本公开的实施例，通过对乘员区域进行直方图均衡化处理，可以增加乘员区域的图像对比度，从而解决因为夜间光照不足或白天玻璃反光造成的图像对比度低，看不清细节的问题。
图6示意性示出了根据本公开的实施例的训练分割神经网络的装置的框图。
如图6所示，训练分割神经网络的装置600包括第一获取模块610、第一训练模块620、第一分割模块630和第二训练模块640。该训练分割神经网络的装置600可以执行上面参考图2描述的方法。
具体地，第一获取模块610，可以用于获取多个第一样本图像和第一样本图像的标签，其中，第一样本图像采集自车辆内部的图像采集装置。
第一训练模块620，可以用于使用多个第一样本图像和第一样本图像的标签作为训练数据来训练第一神经网络。
第一分割模块630，可以用于利用经训练的第一神经网络分割多个第二样本图像，得到与多个第二样本图像中每个第二样本图像对应的分割结果和特征图，其中，第二样本图像采集自车辆外部的图像采集装置。
第二训练模块640，可以用于根据第二样本图像、分割结果和特征图，训练第二神经网络，得到经训练的第二神经网络，作为分割神经网络。
根据本公开的实施例，通过利用车内视角的图像训练第一神经网络模型，然后利用第一神经网络模型训练第二神经网络模型，得到分割神经网络模型，解决了在训练模型时负样本(即不系安全带的数据)获取困难的问题，另外，还可以解决在背景复杂、图像分辨率低的情况下普通神经网络鲁棒性差、效果不稳定的问题。
图7示意性示出了根据本公开的实施例的确定是否佩戴安全带的装置的框图。
如图7所示，确定是否佩戴安全带的装置700包括第二获取模块710、第一确定模块720、第二分割模块730和第二确定模块740。该确定是否佩戴安全带的装置700可以执行上面参考图4描述的方法。
具体地，第二获取模块710，用于获取原始图像，其中，原始图像采集自车辆外部的图像采集装置。
第一确定模块720，可以用于利用检测神经网络，确定原始图像中的乘员区域。
第二分割模块730，可以用于利用经训练的分割神经网络对乘员区域进行分割，以得到安全带区域。其中，分割神经网络是利用根据图2所示的方法训练的。
第二确定模块740，可以用于根据安全带区域的面积，确定乘员是否佩戴安全带。
根据本公开的实施例，利用检测神经网络和分割神经网络组合的方式对监控视角图像中的乘员是否佩戴安全带进行检测，提高了检测效果和检测稳定性。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获取模块610、第一训练模块620、第一分割模块630和第二训练模块640中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块610、第一训练模块620、第一分割模块630和第二训练模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块610、第一训练模块620、第一分割模块630和第二训练模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如训练分割神经网络的方法和/或确定是否佩戴安全带的方法。例如，在一些实施例中，训练分割神经网络的方法和/或确定是否佩戴安全带的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的训练分割神经网络的方法和/或确定是否佩戴安全带的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行训练分割神经网络的方法和/或确定是否佩戴安全带的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的训练分割神经网络的方法和/或确定是否佩戴安全带的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种训练分割神经网络的方法，包括：
获取多个第一样本图像和所述第一样本图像的标签，其中，所述第一样本图像采集自车辆内部的图像采集装置；
使用所述多个第一样本图像和所述第一样本图像的标签作为训练数据来训练第一神经网络；
利用经训练的所述第一神经网络分割多个第二样本图像，得到与所述多个第二样本图像中每个第二样本图像对应的分割结果和特征图，其中，所述第二样本图像采集自车辆外部的图像采集装置；以及
根据第二样本图像、所述分割结果和所述特征图，训练第二神经网络，得到经训练的第二神经网络，作为所述分割神经网络；
其中，所述第一神经网络的参数数量大于所述第二神经网络的参数数量。
2.根据权利要求1所述的方法，其中，根据第二样本图像、所述分割结果和所述特征图，训练第二神经网络，包括：
针对所述多个第二样本图像中的每个第二样本图像，利用第二神经网络分割所述第二样本图像，得到与所述第二样本图像对应的分割结果和特征图；
确定由所述第一神经网络得到的分割结果与由所述第二神经网络得到的分割结果之间的第一损失；
确定由所述第一神经网络得到的特征图与由所述第二神经网络得到的特征图之间的第二损失；以及
根据所述第一损失和所述第二损失，调整所述第二神经网络的参数。
3.根据权利要求1至2中任一项所述的方法，其中，所述第一神经网络包括hrnet-w48网络，所述第二神经网络包括hrnet-w18网络。
4.一种确定是否佩戴安全带的方法，包括：
获取原始图像，其中，所述原始图像采集自车辆外部的图像采集装置；
利用检测神经网络，确定所述原始图像中的乘员区域；
利用经训练的分割神经网络对所述乘员区域进行分割，以得到安全带区域；以及
根据所述安全带区域的面积，确定乘员是否佩戴安全带；
其中，所述分割神经网络是利用根据权利要求1至3中任一项所述的方法训练的。
5. 根据权利要求4所述的方法，其中，所述利用检测神经网络，确定所述原始图像中的乘员区域，包括：
将所述原始图像输入所述检测神经网络，以得到所述原始图像中乘员区域的位置信息；以及
根据所述乘员区域的位置信息，提取所述原始图像中的乘员区域。
6.根据权利要求4所述的方法，还包括：
针对所述乘员区域进行预处理，以增加所述乘员区域的对比度。
7.根据权利要求6所述的方法，其中，所述预处理包括直方图均衡化处理。
8. 根据权利要求4所述的方法，其中，根据所述安全带区域的面积，确定乘员是否佩戴安全带，包括：
在所述安全带区域的面积大于预设面积阈值的情况下，确定所述乘员有佩戴安全带；以及
在所述安全带区域的面积小于或等于预设面积阈值的情况下，确定所述乘员没有佩戴安全带。
9.根据权利要求4至8中任一项所述的方法，其中，所述检测神经网络包括YOLOv3网络。
10.一种训练分割神经网络的装置，包括：
第一获取模块，用于获取多个第一样本图像和所述第一样本图像的标签，其中，所述第一样本图像采集自车辆内部的图像采集装置；
第一训练模块，用于使用所述多个第一样本图像和所述第一样本图像的标签作为训练数据来训练第一神经网络；
第一分割模块，用于利用经训练的所述第一神经网络分割多个第二样本图像，得到与所述多个第二样本图像中每个第二样本图像对应的分割结果和特征图，其中，所述第二样本图像采集自车辆外部的图像采集装置；以及
第二训练模块，用于根据第二样本图像、所述分割结果和所述特征图，训练第二神经网络，得到经训练的第二神经网络，作为所述分割神经网络；
其中，所述第一神经网络的参数数量大于所述第二神经网络的参数数量。
11.一种确定是否佩戴安全带的装置，包括：
第二获取模块，用于获取原始图像，其中，所述原始图像采集自车辆外部的图像采集装置；
第一确定模块，用于利用检测神经网络，确定所述原始图像中的乘员区域；
第二分割模块，用于利用经训练的分割神经网络对所述乘员区域进行分割，以得到安全带区域，其中，所述分割神经网络是利用根据权利要求1至3中任一项所述的方法训练的；以及
第二确定模块，用于根据所述安全带区域的面积，确定乘员是否佩戴安全带。
12. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
CN202110477624.2A 2021-04-29 2021-04-29 训练分割神经网络的方法及装置 Active CN113139488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477624.2A CN113139488B (zh) 2021-04-29 2021-04-29 训练分割神经网络的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477624.2A CN113139488B (zh) 2021-04-29 2021-04-29 训练分割神经网络的方法及装置

Publications (2)

Publication Number Publication Date
CN113139488A CN113139488A (zh) 2021-07-20
CN113139488B true CN113139488B (zh) 2024-01-12

Family

ID=76817802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477624.2A Active CN113139488B (zh) 2021-04-29 2021-04-29 训练分割神经网络的方法及装置

Country Status (1)

Country Link
CN (1) CN113139488B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274750B (zh) * 2023-11-23 2024-03-12 神州医疗科技股份有限公司 一种知识蒸馏半自动可视化标注方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805184A (zh) * 2018-05-28 2018-11-13 广州英卓电子科技有限公司 一种固定空间、车辆上的图像识别方法及系统
CN110298240A (zh) * 2019-05-21 2019-10-01 北京迈格威科技有限公司 一种汽车用户识别方法、装置、系统及存储介质
CN110472681A (zh) * 2019-08-09 2019-11-19 北京市商汤科技开发有限公司 基于知识蒸馏的神经网络训练方案和图像处理方案
CN110796619A (zh) * 2019-10-28 2020-02-14 腾讯科技（深圳）有限公司 一种图像处理模型训练方法、装置、电子设备及存储介质
CN110852233A (zh) * 2019-11-05 2020-02-28 上海眼控科技股份有限公司 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
US10846716B1 (en) * 2019-12-27 2020-11-24 Capital One Services, Llc System and method for facilitating training of a prediction model to estimate a user vehicle damage tolerance
CN112069901A (zh) * 2020-08-06 2020-12-11 南京领行科技股份有限公司 车内物品监控方法、电子设备及存储介质
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659258B2 (en) * 2013-09-12 2017-05-23 International Business Machines Corporation Generating a training model based on feedback

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805184A (zh) * 2018-05-28 2018-11-13 广州英卓电子科技有限公司 一种固定空间、车辆上的图像识别方法及系统
CN110298240A (zh) * 2019-05-21 2019-10-01 北京迈格威科技有限公司 一种汽车用户识别方法、装置、系统及存储介质
CN110472681A (zh) * 2019-08-09 2019-11-19 北京市商汤科技开发有限公司 基于知识蒸馏的神经网络训练方案和图像处理方案
CN110796619A (zh) * 2019-10-28 2020-02-14 腾讯科技（深圳）有限公司 一种图像处理模型训练方法、装置、电子设备及存储介质
CN110852233A (zh) * 2019-11-05 2020-02-28 上海眼控科技股份有限公司 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
US10846716B1 (en) * 2019-12-27 2020-11-24 Capital One Services, Llc System and method for facilitating training of a prediction model to estimate a user vehicle damage tolerance
CN112069901A (zh) * 2020-08-06 2020-12-11 南京领行科技股份有限公司 车内物品监控方法、电子设备及存储介质
CN112508169A (zh) * 2020-11-13 2021-03-16 华为技术有限公司 知识蒸馏方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于知识蒸馏的车辆可行驶区域分割算法研究;周苏;易然;郑淼;;汽车技术(01);全文 *

Also Published As

Publication number Publication date
CN113139488A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
Huang et al. Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads
CN110544211B (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
US20160012606A1 (en) Multi-cue object detection and analysis
US10878259B2 (en) Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof
CN107529659B (zh) 安全带佩戴检测方法、装置及电子设备
CN104537649B (zh) 一种基于图像模糊度比较的车辆转向判断方法及系统
CN105095869A (zh) 行人检测方法及装置
KR20210064123A (ko) 안전 벨트의 착용 상태 인식 방법, 장치, 전자 기기 및 저장 매체
CN112818792A (zh) 车道线检测方法、装置、电子设备及计算机存储介质
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN110532875A (zh) 夜晚模式镜头付着物的检测系统、终端和存储介质
CN111079621A (zh) 检测对象的方法、装置、电子设备和存储介质
CN110544232A (zh) 一种镜头付着物的检测系统、终端和存储介质
CN110913209B (zh) 摄像头遮挡检测方法、装置、电子设备及监控系统
CN113139488B (zh) 训练分割神经网络的方法及装置
Helala et al. Road boundary detection in challenging scenarios
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
Lin et al. Two-Stage License Plate Recognition System Using Deep learning
CN115376106A (zh) 基于雷达图的车型识别方法、装置、设备及介质
CN115526837A (zh) 一种异常行车检测方法、装置、电子设备以及介质
Chen et al. Vehicle classification and counting system
CN115546764A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN115170612A (zh) 一种检测跟踪方法、装置、电子设备及存储介质
Tourani et al. Challenges of video-based vehicle detection and tracking in intelligent transportation systems
Kryjak et al. Hardware-software implementation of vehicle detection and counting using virtual detection lines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant