CN115205585A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。该图像处理方法，包括：获取目标图像；基于目标检测模型，确定目标图像中的至少一个初始图片；初始图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；基于每一初始图片，确定与初始图片对应的待分类图片；基于分类模型，确定各待分类图片的分类类型；分类类型包括要求戴头盔且没戴头盔。本申请实施例实现了人骑车的图形进行自动检测和分类，能够有效解决要求戴头盔且没戴头盔的行为的误检、漏检问题，及时准确地识别出要求戴头盔且没戴头盔的情况。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

目前，交通场景对要求戴头盔且没戴头盔(例如骑摩托车或电动车未戴头盔)行为很少采用计算机视觉方式进行图像监督，而是通过交警、辅警现场监督。

但是，在警力不足的路段，特别在雨天、夜间、多车情况下，很容易遗漏或弄错要求戴头盔且没戴头盔的人和车，从而不能及时准确地识别出这种要求戴头盔且没戴头盔的行为。

发明内容

本申请针对现有方式的缺点，提出一种图像处理方法、装置、电子设备及存储介质，用以解决现有技术存在对要求戴头盔且没戴头盔的行为不能及时准确地识别的技术问题。

第一方面，本申请实施例提供一种图像处理方法，包括：

获取目标图像；

基于目标检测模型，确定目标图像中的至少一个初始图片；初始图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

基于每一初始图片，确定与初始图片对应的待分类图片；

基于分类模型，确定各待分类图片的分类类型；分类类型包括要求戴头盔且没戴头盔。

在一个可能的实现方式中，基于目标检测模型，确定目标图像中的至少一个初始图片，包括：

通过目标检测模型，在目标图像中确定至少一个目标区域；目标区域包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

针对每一目标区域，将目标区域采用设定的选择框包围，并将选择框内的图片作为初始图片。

在一个可能的实现方式中，将选择框内的图形作为初始图片之后，还包括：

确定各初始图片在目标图像中的标签信息；标签信息包括：位置信息和尺寸信息。

在一个可能的实现方式中，基于每一初始图片，确定与初始图片对应的待分类图片，包括：

对目标图像中的每一初始图片进行截取，得到各截取后的初始图片；

将各截取后的初始图片缩放到设定尺寸，得到各待分类图片。

在一个可能的实现方式中，目标检测模型通过如下训练得到：

获取第一训练样本集；第一训练样本集包括各第一样本图片，各第一样本图片基于至少一个维度的场景图像确定，第一样本图片包括至少一个标注的检测图片；检测图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

基于各第一样本图片对初始检测模型进行训练，得到目标检测模型。

在一个可能的实现方式中，分类模型通过如下训练得到：

获取第二训练样本集；第二训练样本集包括各第二样本图片以及各第二样本图片对应的分类类型，各第二样本图片基于至少一个维度的场景图像确定，第二样本图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

基于各第二样本图片以及各第二样本图片对应的分类类型，对初始分类模型进行训练，得到分类模型。

在一个可能的实现方式中，要求戴头盔且没戴头盔对应的第二样本图片包括以下至少一项：骑摩托车或电动车没有戴头盔的图片、骑摩托车或电动车戴其他帽子的图片、骑摩托车或电动车无法判断是否戴头盔的图片；

分类类型还包括：戴头盔；戴头盔对应的第二样本图片包括：骑摩托车或电动车戴头盔的图片；

分类类型还包括：不要求戴头盔，不要求戴头盔对应的第二样本图片包括以下至少一项：骑自行车或三轮车的图片、推车的图片。

在一个可能的实现方式中，基于分类模型，确定各待分类图片的分类类型之后，还包括：

针对分类类型为要求戴头盔且没戴头盔的待分类图片，确定待分类图片在目标图像的连续M帧图像中的分类类型是否均为要求戴头盔且没戴头盔；M为正整数；

若是，则确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内；N为正整数；

若是，则发送告警信息。

在一个可能的实现方式中，基于目标检测模型，确定目标图像中的至少一个初始图片之后，且基于每一初始图片，确定与初始图片对应的待分类图片之前，包括：

基于初始图片的标签信息，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片；

确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内，包括：

针对目标图像的连续N帧图像中的每帧图像，确定待分类图片对应的初始图片是否位于设定道路边界内。

在一个可能的实现方式中，获取目标图像，包括：

在目标图像中，确定目标区域的轮廓；

基于目标区域的轮廓，确定设定道路边界；设定道路边界包括第一层道路边界和第二层道路边界，第二层道路边界位于第一层道路边界的外侧；

确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内，包括：

确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于第二层道路边界内。

第二方面，本申请实施例提供一种图像处理装置，包括：

第一获取模块，用于获取目标图像；

检测模块，用于基于目标检测模型，确定目标图像中的至少一个初始图片；初始图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

第二获取模块，用于基于每一初始图片，确定与初始图片对应的待分类图片；

分类模块，用于基于分类模型，确定各待分类图片的分类类型；分类类型包括要求戴头盔且没戴头盔。

第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现如第一方面的图像处理方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被电子设备执行时实现如第一方面的图像处理方法。本申请实施例提供的技术方案带来的有益技术效果包括：

本申请实施例提供的图像处理方法可以基于目标检测模型，确定目标图像中的至少一个初始图片，再基于每一初始图片，确定与初始图片对应的待分类图片，然后基于分类模型，确定各待分类图片的分类类型，从而可以实现人骑车的图形进行自动检测和分类，特别是针对雨天、夜间情况下路口车辆难以识别、路口摩托车密集等情况，以及自行车、摩托车、电动车混合行进的道路情况，本申请实施例能够有效解决要求戴头盔且没戴头盔的行为的误检、漏检问题，及时准确地识别出要求戴头盔且没戴头盔的情况。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种图像处理方法的流程图；

图2a至图2j为本申请实施例提供的一种图像处理方法中的多种待分类图片的示意图；

图3为本申请实施例提供的另一种图像处理方法的流程图；

图4为本申请实施例提供的一种图像处理方法的应用场景的示意图；

图5为本申请实施例提供的一种图像处理装置的结构示意图；

图6为本申请实施例提供的另一种图像处理装置的结构示意图；

图7为本申请实施例提供的一种电子设备的框架示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

本申请实施例提供一种图像处理方法，参见图1所示，该图像处理方法包括：步骤S101至步骤S104。

S101、获取目标图像。

可选地，目标图像可以是基于部署在路口电子眼监控装置拍摄得到的。本申请实施例获取目标图像的成本低、算法可迭代、易部署且省人力成本。

S102、基于目标检测模型，确定目标图像中的至少一个初始图片；初始图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形。

可选地，目标图像可以是视频流，目标检测模型对目标图像进行识别，是依次对目标图像的每一帧图像进行识别，在每帧图像上确定至少一个初始图片。

在一些实施例中，基于目标检测模型，确定目标图像中的至少一个初始图片，包括：

通过目标检测模型，在目标图像中确定至少一个目标区域；目标区域包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

针对每一目标区域，将目标区域采用设定的选择框包围，并将选择框内的图片作为初始图片。

可选地，人物图形和车辆图形，且人物图形部分遮挡车辆图形，即人骑车的图形。目标检测模型可以将目标图像中的人骑车的图形通过选择框包围选中。设定的选择框包括设定颜色和/或设定形状的选择框。

可选地，选择框内的图片作为初始图片，便于后期基于选择框进行截取等处理，得到用于分类模型识别的待分类图片。

在一些实施例中，将选择框内的图形作为初始图片之后，还包括：

确定各初始图片在目标图像中的标签信息，标签信息包括：位置信息和尺寸信息。

可选地，标签信息可以便于本申请实施例后续跟踪初始图片，也就是跟踪待分类图片，确定下一帧图像中与上一帧图像对应的初始图片，以确定下一帧图像中与上一帧图像对应的待分类图片。

S103、基于每一初始图片，确定与初始图片对应的待分类图片。

在一些实施例中，基于每一初始图片，确定与初始图片对应的待分类图片，包括：

对目标图像中的每一初始图片进行截取，得到各截取后的初始图片；

将各截取后的初始图片缩放到设定尺寸，得到各待分类图片。

可选地，对目标图像中的每一初始图片进行截取，包括：基于各初始图片在目标图像中的标签信息，对各待分类图片进行截取。

可选地，初始图片和待分类图片一一对应，初始图片和其对应的待分类图片表征的图片内容一致。

可选地，对目标图像中的每一初始图片进行截取，是针对每一帧图像进行截取。

S104、基于分类模型，确定各待分类图片的分类类型；分类类型包括要求戴头盔且没戴头盔。

可选地，本申请实施例将各初始图片从目标图像中进行截取，经截取出来的初始图片进行缩放到同一尺寸，便于分类模型进行识别分类。

在一些实施例中，要求戴头盔且没戴头盔对应的第二样本图片包括以下至少一项：骑摩托车或电动车没有戴头盔的图片、骑摩托车或电动车戴其他帽子的图片、骑摩托车或电动车无法判断是否戴头盔的图片。

分类类型还包括：戴头盔；戴头盔对应的第二样本图片包括：骑摩托车或电动车戴头盔的图片。

分类类型还包括：不要求戴头盔，不要求戴头盔对应的第二样本图片包括以下至少一项：骑自行车或三轮车的图片、推车的图片。

可选地，本申请实施例中骑两轮或三轮摩托车或电动车是要求戴头盔的，骑自行车和三轮车不区分是否戴头盔，是可以不戴头盔的；穿雨衣、戴非骑士头盔的其他帽子的，视为戴其他帽子的人；对摩托车或电动车进行改装(遮阳棚等)导致看不清头部、画面中露出的部分不足以判断驾驶员是否佩戴头盔的，视为“无法判断是否戴头盔的人”；推摩托车、自行车等前进或者站在车旁等视为“推车的人”，不区分是否戴头盔，是不要求戴头盔的；车上乘坐多人时，以驾驶员是否戴头盔为准。

基于步骤S101至步骤S103，本申请实施例提供的图像处理方法可以基于目标检测模型，确定目标图像中的至少一个初始图片，再基于每一初始图片，确定与初始图片对应的待分类图片，然后基于分类模型，确定各待分类图片的分类类型，从而可以实现人骑车的图形进行自动检测和分类，特别是针对雨天、夜间情况下路口车辆难以识别、路口摩托车密集等情况，以及自行车、摩托车、电动车混合行进的道路情况，本申请实施例能够有效解决误检、漏检问题，及时准确地识别出要求戴头盔且没戴头盔的行为。

在一些实施例中，目标检测模型通过如下训练得到：

获取第一训练样本集；第一训练样本集包括各第一样本图片，各第一样本图片基于至少一个维度的场景图像确定，第一样本图片包括至少一个标注的检测图片；检测图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

基于各第一样本图片对初始检测模型进行训练，得到目标检测模型。

可选地，第一样本图片与目标图像的每帧图像一致，基于各第一样本图片和第一样本图片中的至少一个检测图片，对初始检测模型进行训练，是为了基于目标检测模型，确定目标图像中的至少一个初始图片。

可选地，标注的检测图片为用选择框包围的检测图片。

可选地，本申请实施例的第一样本图片对应的骑车的人包括骑电动车、自行车、摩托车、三轮摩托车，可以收集大量路口或道路的真实场景图片，包括晴天、雨天、雪天、黑夜、城市、乡镇、平视、俯视、远景和近景等多维度场景，再对其中骑车的人进行手动标注框选，形成检测图片和标签信息，标签信息以标签文件形式存储，再将标注好的检测图片的第一样本图片和标签文件作为第一训练样本集，输入深度学习目标检测网络(即初始检测模型)，训练得到相应的目标检测模型。目标检测网络可以使用yolov5网络。

在一些实施例中，分类模型通过如下训练得到：

获取第二训练样本集；第二训练样本集包括各第二样本图片以及各第二样本图片对应的分类类型，各第二样本图片基于至少一个维度的场景图像确定，第二样本图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；

基于各第二样本图片以及各第二样本图片对应的分类类型，对初始分类模型进行训练，得到分类模型。

可选地，第二样本图片与待分类图片一致，基于各第二样本图片以及各第二样本图片对应的分类类型，对初始分类模型进行训练，是为了识别待分类图片的分类类型。

可选地，分类模型旨在对骑车的人进行分类，按照情况分为：骑自行车的人、骑两轮或三轮摩托车或电动车戴头盔的人，如图2a所示、骑两轮或三轮摩托车或电动车没戴头盔的人，如图2b所示、骑两轮或三轮摩托车或电动车戴其他帽子的人、无法判断是否戴头盔的人、推车的人。将待分类数据集中的骑车的人裁剪，然后统一放缩到同一尺寸，送入深度学习分类网络(即初始分类模型)进行训练，得到相应的分类模型。分类网络可以使用resnet分类网络。

可选地，参见图2a至图2j所示，提供一些图像处理方法中的多种待分类图片的示意图，分类模型的分类的原则是，对于穿雨衣、戴非骑士头盔的其他帽子的，视为“戴其他帽子的人”，如图2c和图2d所示。；对摩托车或电动车进行改装(遮阳棚等)导致看不清头部、画面中露出的部分不足以判断驾驶员是否佩戴头盔的，视为“无法判断是否戴头盔的人”，如图2g、图2h和图2i所示；对自行车和三轮车不区分是否戴头盔，如图2j所示；推摩托车、自行车等前进或者站在车旁等视为“推车的人”，如图2f所示，不区分是否戴头盔；车上乘坐多人时，以驾驶员是否戴头盔为准，如图2e所示。

本申请实施例采用深度学习训练得到目标检测模型和分类模型，使得检测和分类更精确。而且，本申请实施例对待分类图片划分为多种分类类型，根据多种分类类型进行分类，提高了分类的精确性。

在一些实施例中，基于分类模型，确定各待分类图片的分类类型之后，还包括：

针对分类类型为要求戴头盔且没戴头盔的待分类图片，确定待分类图片在目标图像的连续M帧图像中的分类类型是否均为要求戴头盔且没戴头盔；M为正整数；

若是，则确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内；N为正整数；若是，则发送告警信息。

可选地，基于告警信息可以是在电子设备的显示界面显示提示信息，显示提示信息可以是抓拍的图片和告警文字，和/或通过告警器播放提示信息。

本申请实施例可以对要求戴头盔且没戴头盔的行为告警，在待分类图片是在设定道路边界内时进行告警，待分类图片是在设定道路边界外时，解除告警。

可选地，发送告警信息时也可以同步进行待分类图片的抓拍存储，便于后续对相关车辆和人员进行追责。

在一些实施例中，基于目标检测模型，确定目标图像中的至少一个初始图片之后，且基于每一初始图片，确定与初始图片对应的待分类图片之前，包括：

基于初始图片的标签信息，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片。

可选地，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片，对同一人和车的行为进行跟踪。

可选地，将各帧图像中同一初始图片给予同一图片标识码，初始图片对应的待分类图片的对应关系，基于图片标识码确定，初始图片与其对应的待分类图片的图片标识码一致。这样相当于实现待分类图片的跟踪。图片标识码为图片的唯一ID(Identification，身份标识号)。

可选地，确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内，包括：

针对目标图像的连续N帧图像中的每帧图像，确定待分类图片对应的初始图片是否位于设定道路边界内。

可选地，基于待分类图片的图片标识码，确定待分类图片对应的初始图片在连续N帧图像中的每帧图像是否都在设定道路边界内。

在一些实施例中，获取目标图像，包括：在目标图像中，确定目标区域的轮廓；

基于目标区域的轮廓，确定设定道路边界；设定道路边界包括第一层道路边界和第二层道路边界，第二层道路边界位于第一层道路边界的外侧。

可选地，目标区域的轮廓可以是路口的道路边界，便于确定要求戴头盔且没戴头盔的行为是否在道路内。第一层道路边界和第二层道路边界之间为缓冲区域，用于防止目标检测选择框在道路的边界附近大小跳变导致的交通违法行为误判断。

本申请实施例可以在目标图像中确定目标区域，确定设定道路边界的第一层道路边界和第二层道路边界之后，再输入目标检测模型。

可选地，确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内，包括：

确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于第二层道路边界内。

可选地，当待分类图片对应的初始图片在第一层道路边界内向第二层道路边界移动时，位于第二层道路边界内也是位于设定道路边界内。当待分类图片对应的初始图片在第二层道路边界外向第一层道路边界移动时，位于第一层道路边界内才是位于设定道路边界内。

作为一种示例，本申请实施例提供一种图像处理方法，参见图3所示，该图像处理方法包括：

S301、在目标图像中，确定目标区域的轮廓，基于目标区域的轮廓，确定设定道路边界。

可选地，作为一种示例，参见图4所示，提供一种图像处理方法的应用场景，设定道路边界包括第一层道路边界10和第二层道路边界20，第二层道路边界20位于第一层道路边界10的外侧。

可选地，基于目标区域的轮廓，确定设定道路边界，包括：基于目标区域的轮廓，确定设定道路边界的第一层道路边界10和第二层道路边界20。

本申请实施例的目标区域的轮廓可以是路口的道路边界，便于确定要求戴头盔且没戴头盔的行为是否在道路内。第一层道路边界10和第二层道路边界20之间为缓冲区域，用于防止目标检测选择框在道路的边界附近大小跳变导致的交通违法行为误判断。

S302、将目标图像输入目标检测模型，确定目标图像中的至少一个初始图片。

可选地，将目标图像输入目标检测模型，确定目标图像中的至少一个初始图片，包括：通过目标检测模型，在目标图像中确定至少一个目标区域；针对每一目标区域，将目标区域采用设定的选择框包围，并将选择框内的图片作为初始图片。

可选地，设定的选择框包括设定颜色和/或设定形状的选择框，选择框可以是矩形、圆形或其他可以将目标区域框选的形状。

本申请实施例是针对雨天、夜间情况下路口车辆难以识别的情况，路口摩托车密集的情况，以及自行车、摩托车、电动车混合行进的道路情况，能很好的解决误检、漏检问题，也能很好地将自行车和摩托车区分，避免了对自行车的误判从而避免错误处罚。本实施例可以简易部署在路口电子眼监控上，成本低、算法可迭代、易部署且省人力成本。

作为一种示例，参见图3所示，本申请实施例的设定的选择框为矩形框，目标检测模型基于目标图像将所有人骑车的目标区域进行框选包围，得到四个选择框，即选择框01、选择框02、选择框03和选择框04。

S303、确定各初始图片在目标图像中的标签信息，标签信息包括：位置信息和尺寸信息。

可选地，确定各初始图片的标签信息即确定选择框的标签信息，便于后续的裁剪和跟踪。

S303、基于初始图片的标签信息，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片。

可选地，对初始图片进行跟踪即对各帧图像中的初始图片进行检测，以确定各帧图像中对应的初始图片。

可选地，基于初始图片的标签信息，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片，包括：

基于初始图片的标签信息，确定前一帧图像中的初始图片和后一帧图像中的初始图片的重叠区域面积是否大于设定面积，若是，则将后一帧图像中的初始图片的图片标识码确定为前一帧图像中的初始图片的图片标识码。

可选地，初始图片的标签信息均包括位置信息和尺寸信息，基于标签信息可以确定前一帧图像中的初始图片和后一帧图像中的初始图片的重叠区域的面积。

可选地，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片，将各帧图像中对应的初始图片给予同一图片标识码，从而实现初始图片的跟踪，也就是待分类图片的跟踪，即对同一辆人和车的行为进行跟踪。

S305、基于每一初始图片，确定与初始图片对应的待分类图片。

可选地，基于每一初始图片，确定与初始图片对应的待分类图片，包括：

对目标图像中的每一初始图片进行截取，得到各截取后的初始图片；

将各截取后的初始图片缩放到设定尺寸，得到各待分类图片。

作为一种示例，参见图4所示，将选择框01、选择框02、选择框03和选择框04进行截取，得到对应的待分类图片。

S306、基于分类模型，确定各待分类图片的分类类型。

可选地，本申请实施例将各初始图片从目标图像中进行截取，经截取出来的初始图片进行缩放到同一尺寸，便于分类模型进行识别分类。

作为一种示例，参见图4所示，将选择框01、选择框02、选择框03和选择框04对应的待分类图片的分类类型分别是：不要求戴头盔、戴头盔、戴头盔、要求戴头盔且没戴头盔。显然，选择框04对应的待分类图片就是需要进一步跟踪和识别的，以确定是否发出告警信息。

本申请实施例对各待分类图片的分类类型进行记录，将各待分类图片的图片标识码与分类类型进行绑定，便于确定连续M帧图像中的分类类型是否均为要求戴头盔且没戴头盔。

S307、针对分类类型为要求戴头盔且没戴头盔的待分类图片，确定待分类图片在目标图像的连续M帧图像中的分类类型是否均为要求戴头盔且没戴头盔；若是，执行步骤S308；若否，执行步骤S302。

可选地，在确定待分类图片在目标图像的连续M帧图像中的分类类型均为要求戴头盔且没戴头盔，也可以直接发出相关提示信息。

S308、确定待分类图片在目标图像的连续N帧图像中是否位于设定道路边界内；若是，执行步骤S309；若否，执行步骤S310。

S309、发送骑车未正确佩戴头盔的告警信息。

可选地，基于告警信息可以是在电子设备的显示界面显示提示信息，显示提示信息可以是抓拍的图片和告警文字，和/或，通过告警器播放提示信息。

S310、发送解除告警的信息，之后执行步骤S302。

可选地，解除告警的信息用于解除骑车未正确佩戴头盔告警，例如不再显示告警信息或播放告警音频，不再对骑车未正确佩戴头盔的人和车进行抓拍等。

基于同一发明构思，本申请实施例提供一种图像处理装置，参见图5所示，该图像处理装置500包括：第一获取模块510、检测模块520、第二获取模块530和分类模块540。

第一获取模块510用于获取目标图像。

检测模块520用于基于目标检测模型，确定目标图像中的至少一个初始图片；初始图片包括人物图形和车辆图形，且人物图形部分遮挡车辆图形。

第二获取模块530用于基于每一初始图片，确定与初始图片对应的待分类图片。

分类模块540用于基于分类模型，确定各待分类图片的分类类型；分类类型包括要求戴头盔且没戴头盔。

可选地，检测模块520还用于通过目标检测模型，在目标图像中确定至少一个目标区域；目标区域包括人物图形和车辆图形，且人物图形部分遮挡车辆图形；针对每一目标区域，将目标区域采用设定的选择框包围，并将选择框内的图片作为初始图片。

可选地，第二获取模块530还用于确定各初始图片在目标图像中的标签信息；标签信息包括：位置信息和尺寸信息。

可选地，第二获取模块530还用于对目标图像中的每一初始图片进行截取，得到各截取后的初始图片；将各截取后的初始图片缩放到设定尺寸，得到各待分类图片。

可选地，参见图6所示，图像处理装置500还包括告警模块550。告警模块550用于针对分类类型为要求戴头盔且没戴头盔的待分类图片，确定待分类图片在目标图像的连续M帧图像中的分类类型是否均为要求戴头盔且没戴头盔；M为正整数；若是，则确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于设定道路边界内；N为正整数；若是，则发送告警信息。

可选地，告警模块550还用于基于初始图片的标签信息，对初始图片进行跟踪，确定目标图像的每帧图像中的初始图片；针对目标图像的连续N帧图像中的每帧图像，确定待分类图片对应的初始图片是否位于设定道路边界内。

可选地，第一获取模块510用于在目标图像中，确定目标区域的轮廓；基于目标区域的轮廓，确定设定道路边界；设定道路边界包括第一层道路边界和第二层道路边界，第二层道路边界位于第一层道路边界的外侧。

可选地，告警模块550用于确定待分类图片对应的初始图片在目标图像的连续N帧图像中是否位于第二层道路边界内。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

基于同一发明构思，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现本申请任一实施例的图像处理方法。

本技术领域技术人员可以理解，本申请实施例提供的电子设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。

本申请在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相通信连接，如通过总线2002相连。

处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选地，电子设备2000还可以包括通信单元2004。通信单元2004可用于信号的接收和发送。通信单元2004可以允许电子设备2000与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中通信单元2004不限于一个。

可选地，电子设备2000还可以包括输入单元2005。输入单元2005可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备2000的用户设置以及功能控制有关的键信号输入。输入单元2005可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。

可选地，电子设备2000还可以包括输出单元2006。输出单元2006可用于输出或展示经过处理器2001处理的信息。输出单元2006可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。

虽然图7示出了具有各种装置的电子设备2000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请实施例提供的任一种图像处理方法。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被电子设备执行时实现如本申请任一实施例的图像处理方法。

本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

在本申请的描述中，词语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方向或位置关系，为基于附图所示的示例性的方向或位置关系，是为了便于描述或简化描述本申请的实施例，而不是指示或暗示所指的装置或部件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本说明书的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程中的步骤可以按照需求以其他的顺序执行。而且，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，也可以在不同的时刻被执行在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

获取目标图像；

基于目标检测模型，确定所述目标图像中的至少一个初始图片；所述初始图片包括人物图形和车辆图形，且所述人物图形部分遮挡所述车辆图形；

基于每一所述初始图片，确定与所述初始图片对应的待分类图片；

基于分类模型，确定各所述待分类图片的分类类型；所述分类类型包括要求戴头盔且没戴头盔。

2.根据权利要求1所述的图像处理方法，其特征在于，所述基于目标检测模型，确定所述目标图像中的至少一个初始图片，包括：

通过目标检测模型，在所述目标图像中确定至少一个目标区域；所述目标区域包括人物图形和车辆图形，且所述人物图形部分遮挡所述车辆图形；

针对每一所述目标区域，将所述目标区域采用设定的选择框包围，并将所述选择框内的图片作为所述初始图片。

3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述选择框内的图形作为所述初始图片之后，还包括：

确定各所述初始图片在所述目标图像中的标签信息；所述标签信息包括：位置信息和尺寸信息。

4.根据权利要求1所述的图像处理方法，其特征在于，所述基于每一所述初始图片，确定与所述初始图片对应的待分类图片，包括：

对所述目标图像中的每一所述初始图片进行截取，得到各截取后的所述初始图片；

将各截取后的所述初始图片缩放到设定尺寸，得到各所述待分类图片。

5.根据权利要求1所述的图像处理方法，其特征在于，所述目标检测模型通过如下训练得到：

获取第一训练样本集；所述第一训练样本集包括各第一样本图片，各所述第一样本图片基于至少一个维度的场景图像确定，所述第一样本图片包括至少一个标注的检测图片；所述检测图片包括人物图形和车辆图形，且所述人物图形部分遮挡所述车辆图形；

基于各所述第一样本图片对初始检测模型进行训练，得到所述目标检测模型。

6.根据权利要求1所述的图像处理方法，其特征在于，所述分类模型通过如下训练得到：

获取第二训练样本集；所述第二训练样本集包括各第二样本图片以及各所述第二样本图片对应的分类类型，各所述第二样本图片基于至少一个维度的场景图像确定，所述第二样本图片包括人物图形和车辆图形，且所述人物图形部分遮挡所述车辆图形；

基于各所述第二样本图片以及各所述第二样本图片对应的分类类型，对初始分类模型进行训练，得到所述分类模型。

7.根据权利要求6所述的图像处理方法，其特征在于，所述要求戴头盔且没戴头盔对应的第二样本图片包括以下至少一项：骑摩托车或电动车没有戴头盔的图片、骑摩托车或电动车戴其他帽子的图片、骑摩托车或电动车无法判断是否戴头盔的图片；

所述分类类型还包括：戴头盔；所述戴头盔对应的第二样本图片包括：骑摩托车或电动车戴头盔的图片；

所述分类类型还包括：不要求戴头盔，所述不要求戴头盔对应的第二样本图片包括以下至少一项：骑自行车或三轮车的图片、推车的图片。

8.根据权利要求3所述的图像处理方法，其特征在于，所述基于分类模型，确定各所述待分类图片的分类类型之后，还包括：

针对分类类型为要求戴头盔且没戴头盔的待分类图片，确定所述待分类图片在所述目标图像的连续M帧图像中的分类类型是否均为要求戴头盔且没戴头盔；M为正整数；

若是，则确定所述待分类图片对应的初始图片在所述目标图像的连续N帧图像中是否位于设定道路边界内；N为正整数；若是，则发送告警信息。

9.根据权利要求8所述的图像处理方法，其特征在于，所述基于目标检测模型，确定所述目标图像中的至少一个初始图片之后，且基于每一所述初始图片，确定与所述初始图片对应的待分类图片之前，包括：

基于所述初始图片的标签信息，对所述初始图片进行跟踪，确定所述目标图像的每帧图像中的所述初始图片；

所述确定所述待分类图片对应的初始图片在所述目标图像的连续N帧图像中是否位于设定道路边界内，包括：

针对所述目标图像的连续N帧图像中的每帧图像，确定所述待分类图片对应的初始图片是否位于设定道路边界内。

10.根据权利要求9所述的图像处理方法，其特征在于，所述获取目标图像，包括：

在所述目标图像中，确定目标区域的轮廓；

基于所述目标区域的轮廓，确定所述设定道路边界；所述设定道路边界包括第一层道路边界和第二层道路边界，所述第二层道路边界位于第一层道路边界的外侧；

所述确定所述待分类图片对应的初始图片在所述目标图像的连续N帧图像中是否位于设定道路边界内，包括：

确定所述待分类图片对应的初始图片在所述目标图像的连续N帧图像中是否位于所述第二层道路边界内。

11.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取目标图像；

检测模块，用于基于目标检测模型，确定所述目标图像中的至少一个初始图片；所述初始图片包括人物图形和车辆图形，且所述人物图形部分遮挡所述车辆图形；

第二获取模块，用于基于每一所述初始图片，确定与所述初始图片对应的待分类图片；

分类模块，用于基于分类模型，确定各所述待分类图片的分类类型；所述分类类型包括要求戴头盔且没戴头盔。

12.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1-10中任一所述的图像处理方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被电子设备执行时实现如权利要求1-10中任一所述的图像处理方法。

Images