CN114638787B - 检测非机动车是否挂牌的方法及电子设备 - Google Patents

检测非机动车是否挂牌的方法及电子设备 Download PDF

Info

Publication number
CN114638787B
CN114638787B CN202210167694.2A CN202210167694A CN114638787B CN 114638787 B CN114638787 B CN 114638787B CN 202210167694 A CN202210167694 A CN 202210167694A CN 114638787 B CN114638787 B CN 114638787B
Authority
CN
China
Prior art keywords
motor vehicle
listing
neural network
network model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210167694.2A
Other languages
English (en)
Other versions
CN114638787A (zh
Inventor
王雯雯
王江涛
孙卓毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Original Assignee
Hisense TransTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense TransTech Co Ltd filed Critical Hisense TransTech Co Ltd
Priority to CN202210167694.2A priority Critical patent/CN114638787B/zh
Publication of CN114638787A publication Critical patent/CN114638787A/zh
Application granted granted Critical
Publication of CN114638787B publication Critical patent/CN114638787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供检测非机动车是否挂牌的方法及电子设备。包括：针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值。由此，本发明中获取了目标图像中更多的抽象特征信息，能够减小由于非机动车牌位置存在遮挡以及拍摄角度等问题的影响，提高了非机动车是否挂牌检测的准确率。

Description

检测非机动车是否挂牌的方法及电子设备
技术领域
本发明涉及智能交通技术领域，特别涉及一种检测非机动车是否挂牌的方法及电子设备。
背景技术
随着国家经济的快速发展，全国各省市之间的交通量也开始变得越来越大，而非机动车在道路上的数量也开始变得越来越多。
随着国家相关政策的出台，要求相关非机动车必须挂牌。非机动车应当经本市公安机关交通管理部门登记，取得非机动车号牌和行驶证。未经登记上牌的非机动车不得在城市道路上行驶。但在实际生产生活中，因非机动车的驾驶人员大多为乡镇人群或者中老年人群，所以非机动车挂牌工作的推进不完善。在当今的非主干道路或者乡镇道路上仍然存在大量的未挂牌非机动车。
现有技术中，采用神经网络模型对非机动车是否挂牌进行检测，但是由于非机动车的车牌位置存在遮挡以及拍摄角度等问题，导致非机动车是否挂牌的检测结果的准确率较低。
发明内容
本发明示例性的实施方式中提供一种检测非机动车是否挂牌的方法及电子设备，用于提高非机动车是否挂牌的检测结果。
本发明的第一方面提供一种检测非机动车是否挂牌的方法，所述方法包括：
针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值；
其中，所述目标检测神经网络模型是通过以下方式训练的：
获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
若所述损失值大于指定阈值，则返回将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取的步骤，直至所述损失值不大于所述指定阈值，则结束对所述目标检测神经网络模型的训练。
本实施例中利用特征融合模块中包括至少一个局部图像膨胀池化层的目标检测神经网络模型对目标图像进行非机动车是否挂牌的检测，得到检测结果。本实施例中通过将目标检测神经网络模型中的特征融合模块中增加至少一个局部图像膨胀池化层，该局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值，所以本实施中获取了目标图像中更多的抽象特征信息，能够减小由于非机动车牌位置存在遮挡以及拍摄角度等问题的影响，提高了非机动车是否挂牌检测的准确率。
在一个实施例中，所述特征融合模块中的多个池化层之间是并行连接的，且所述多个池化层包括所述局部图像膨胀池化层和非局部图像膨胀的池化层。
本实施例中特征融合模块中的局部图像膨胀池化层与该模块中的非局部图像膨胀的池化层是并行连接的，由此，在不影响其他非局部图像膨胀的池化层的前提下，可以扩大检测的目标图像的特征信息，提高非机动车是否挂牌检测的准确率。
在一个实施例中，若所述特征融合模块中的局部图像膨胀池化层的数量为多个，则所述多个局部图像膨胀池化层之间的连接方式是串行连接的。
本实施例中将多个局部图像膨胀池化层之间的连接方式设置为串行连接，是为了可以获取到目标图像更多的细节信息，进一步提高检测的准确率。
在一个实施例中，所述基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值，包括：
通过以下公式确定所述损失值：
其中，L为损失值，N为非机动车训练样本的总数量，yi非机动车练样本i对应的标注的挂牌类别，pij为非机动车是否挂牌训练样本i预测属于挂牌类别j的概率。
本实施例通过利用交叉熵损失函数来对目标检测神经网络模型进行训练，放大了分类时挂牌非机动车、未挂牌非机动车和背景之间的区别，通过限制输出的方式增加了非机动车是否挂牌检测的准确率。
在一个实施例中，所述针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动挂牌检测，得到检测结果之前，所述方法还包括：
针对任意一个电警设备，获取所述电警设备中的待检测视频；
针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像。
本实施例中利用预设算法对待检测视频中的图像进行格式转换，得到所述目标图像，由此，对各图形进行格式上的统一，提高检测效率。
本发明第二方面提供一种电子设备，包括存储单元和处理器，其中：
所述存储单元，被配置为存储待检测视频；
所述处理器，被配置为：
针对所述待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值；
其中，所述目标检测神经网络模型是通过以下方式训练的：
获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
若所述损失值大于指定阈值，则返回将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取的步骤，直至所述损失值不大于所述指定阈值，则结束对所述目标检测神经网络模型的训练。
在一个实施例中，所述特征融合模块中的多个池化层之间是并行连接的，且所述多个池化层包括所述局部图像膨胀池化层和非局部图像膨胀的池化层。
在一个实施例中，若所述特征融合模块中的局部图像膨胀池化层的数量为多个，则所述多个局部图像膨胀池化层之间的连接方式是串行连接的。
在一个实施例中，所述处理器执行所述基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值，具体被配置为：
通过以下公式确定所述损失值：
其中，L为损失值，N为非机动车训练样本的总数量，yi非机动车练样本i对应的标注的挂牌类别，pij为非机动车是否挂牌训练样本i预测属于挂牌类别j的概率。
在一个实施例中，所述处理器，还被配置为：
所述针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动挂牌检测，得到检测结果之前，针对任意一个电警设备，获取所述电警设备中的待检测视频；
针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像。
根据本发明实施例提供的第三方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一个实施例中的适用场景示意图；
图2为根据本发明一个实施例的检测非机动车是否挂牌的方法的流程示意图之一；
图3为根据本发明一个实施例的局部图像膨胀池化层的工作示意图；
图4为根据本发明一个实施例的特征融合模块的结构示意图；
图5为根据本发明一个实施例的yolov4的结构示意图；
图6为根据本发明一个实施例的检测非机动车是否挂牌的方法的流程示意图之二；
图7为根据本发明一个实施例的检测非机动车是否挂牌的装置；
图8为根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
由于现有技术中采用神经网络模型对非机动车是否挂牌进行检测存在非机动车是否挂牌的检测的准确率较低的问题，因此，本发明提供一种检测非机动车是否挂牌的方法，通过将目标检测神经网络模型中的特征融合模块中增加至少一个局部图像膨胀池化层，该局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值，所以本实施中获取了目标图像中更多的抽象特征信息，能够减小由于非机动车牌位置存在遮挡以及拍摄角度等问题的影响，提高了非机动车是否挂牌检测的准确率。下面，结合附图对本发明的方案详细的进行介绍。
如图1所示，一种检测非机动车是否挂牌的方法的应用场景，该应用场景中是以电子设备为服务器为例进行说明。以及该应用场景中包括电警设备110、服务器120以及终端设备130，图1中是以一个终端设备130为例，实际上不限制终端设备130的数量。终端设备130可为手机、平板电脑和个人计算机等。服务器120可以通过单个服务器实现，也可以通过多个服务器实现。服务器120可以通过实体服务器实现，也可以通过虚拟服务器实现。
在一种可能的应用场景中，每隔指定时长，电警设备110将拍摄到的待检测视频发送给服务器120，服务器120针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值。服务器120将所述检测结果发送给终端设备130中进行显示。
在对本发明中的检测非机动车是否挂牌的方法之前，先对本发明中的目标检测神经网络模型的训练进行详细介绍，如图2所示，为训练目标检测神经网络模型的流程示意图，包括以下步骤：
步骤201：获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
需要说明的是：本实施例中的挂牌类别包括挂牌和未挂牌。
步骤202：将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
其中，本实施例中的目标检测神经网络模型包括但不限于R-CNN(Region-Convolutional Neural Networks，区域卷积神经网络)、Fast R-CNN(Fast Region-Convolutional Neural Networks，快速区域卷积神经网络)、YOLOv4(You Only Look Once4th，第四代统一的实时目标检测)、YOLOv3(You Only Look Once3rd，第三代统一的实时目标检测)、YOLOv5(You Only Look Once 5th，第五代统一的实时目标检测)。
步骤203：基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
为了进一步提高非机动车是否挂牌检测的准确率，在一个实施例中，通过公式(1)确定所述损失值：
其中，L为损失值，N为非机动车训练样本的总数量，yi非机动车练样本i对应的标注的挂牌类别，pij为非机动车是否挂牌训练样本i预测属于挂牌类别j的概率，即非机动车挂牌结果。
步骤204：判断所述损失值是否大于指定阈值，若是，则返回执行步骤202，若否，则结束。
在对目标检测神经网络模型训练结束之后，针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌。
为了提高非机动车是否挂牌的检测效率，在一个实施例中，在将目标图像输入至目标检测神经网络模型进行检测之前，针对任意一个电警设备，获取所述电警设备中的待检测视频；针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像。
其中，进行格式转换的具体方式为对图像进行解码然后编码成指定格式，指定格式可根据实际情况来进行设置，本实施例在此并不进行限定。
需要说明的是：本实施例中的目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值。
例如，如图3所示，局部图像膨胀池化层的工作流程示意图中的图像a为4*4大小的图像，以2*2的滑动窗口为例，按照从左到右从上到下的顺序进行滑动，在第一个滑动窗口内，像素值255为该窗口内的最大像素值，则将滑动窗口内的其他三个像素点的像素值均替换为255。然后按照前文所述的顺序继续进行滑动处理，最后得到图3中的图像b所示的特征图。
为了进一步提高检测结果的准确率，在一个实施例中，若所述特征融合模块中的局部图像膨胀池化层的数量为多个，则所述多个局部图像膨胀池化层之间的连接方式是串行连接的。
例如，如图4所示，为目标检测神经网络模型中的特征融合模块的示意图，图4中的特征融合模块是以两个局部图像膨胀池化层为例的，该特征融合模块中包括三个非局部图像膨胀的池化层和两个局部图像膨胀池化层。且各池化层之间是并行连接的，两个局部图像膨胀池化层之间串行连接的。
下面，以目标检测神经网络模型为YOLOv4为例，对本申请中的利用目标检测神经网络模型对待检测视频图像进行非机动车挂牌检测的流程进行详细的说明，如图5所示，为YOLOv4的结构示意图，包括：主干网络、SPP模块(SPATIAL Pyramid Pooling，空间金字塔池化)、PANet网络结构层以及检测层。
其中，本实施例中的主干网络为CSPdarknet53。该主干网络主要用于对本实施例中的目标图像进行特征提取，CSPDarknet53在检测时进行上下层特征图的融合，高层的网络特征提供复杂场景下的目标高级语义信息，低层的网络特征提供复杂场景下的目标位置及多尺度信息。该主干网络的输出分为三个分支，各分支输出的特征图的大小不相同。
SPP模块(即本发明中的特征融合模块)中使用了三个不同大小的非局部图像膨胀的池化层和两个相同大小的局部图像膨胀池化层，对主干网络提取的特征图进行池化操作。即使用5*5、9*9和13*13大小的非局部图像膨胀池化层对主干网络提取的特征图进行池化操作，以及使用2*2大小的两个局部图像膨胀池化层对主干网络提取的特征图连续进行局部图像膨胀操作，然后利用全连接层各池化层输出的特征图进行拼接，拼接后再利用卷积层进行降维。使得确定出的特征更加丰富。
PANet网络结构层主要对各分支得到的特征图进行上采样或下采样处理，然后利用全连接层将进行上采样和进行下采样处理的各特征图进行拼接后，再利用卷积层进行降维处理。得到三个特征图。
检测层是对PANet网络结构层中得到的三个特征图进行非机动车是否挂牌检测，以此得到最终的识别结果。
为了进一步的了解本发明的技术方案，下面结合图6进行详细的说明，可包括以下步骤：
步骤601：获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
步骤602：将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
步骤603：基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
步骤604：判断所述损失值是否大于指定阈值，若是，则返回执行步骤602，若否，则执行步骤605；
步骤605：针对任意一个电警设备，获取所述电警设备中的待检测视频；
步骤606：针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像；
步骤607：针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值。
基于相同的公开构思，本发明如上所述的检测非机动车是否挂牌的方法还可以由一种检测非机动车是否挂牌的装置实现。该检测非机动车是否挂牌的装置的效果与前述方法的效果相似，在此不再赘述。
图7为根据本发明一个实施例的检测非机动车是否挂牌的装置的结构示意图。
如图7所示，本发明的检测非机动车是否挂牌的装置700可以包括非机动车挂牌检测模块710和训练模块720。
非机动车挂牌检测模块710，用于针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值；
训练模块720，用于所述目标检测神经网络模型是通过以下方式训练的：
获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
若所述损失值大于指定阈值，则返回将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取的步骤，直至所述损失值不大于所述指定阈值，则结束对所述目标检测神经网络模型的训练。
在一个实施例中，所述特征融合模块中的多个池化层之间是并行连接的，且所述多个池化层包括所述局部图像膨胀池化层和非局部图像膨胀的池化层。
在一个实施例中，若所述特征融合模块中的局部图像膨胀池化层的数量为多个，则所述多个局部图像膨胀池化层之间的连接方式是串行连接的。
在一个实施例中，所述训练模块720,执行所述基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值，具体用于：
通过以下公式确定所述损失值：
其中，L为损失值，N为非机动车训练样本的总数量，yi非机动车练样本i对应的标注的挂牌类别，pij为非机动车是否挂牌训练样本i预测属于挂牌类别j的概率。
在一个实施例中，所述装置还包括：
获取模块730，用于所述针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动挂牌检测，得到检测结果之前，针对任意一个电警设备，获取所述电警设备中的待检测视频；
目标图像确定模块740，用于针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像。
在介绍了本发明示例性实施方式的一种检测非机动车是否挂牌的方法及装置之后，接下来，介绍根据本发明的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本发明各种示例性实施方式的检测非机动车是否挂牌的方法中的步骤。例如，处理器可以执行如图6中所示的步骤601-607。
下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用电子设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理器801、上述至少一个计算机存储介质802、连接不同系统组件(包括计算机存储介质802和处理器801)的总线803。
总线803表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机存储介质802可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(RAM)821和/或高速缓存存储介质822，还可以进一步包括只读计算机存储介质(ROM)823。
计算机存储介质802还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，电子设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器806通过总线803与用于电子设备800的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的一种检测非机动车是否挂牌的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的检测非机动车是否挂牌的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
本发明的实施方式的检测非机动车是否挂牌的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种检测非机动车是否挂牌的方法，其特征在于，所述方法包括：
针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值；
其中，所述目标检测神经网络模型是通过以下方式训练的：
获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
若所述损失值大于指定阈值，则返回将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取的步骤，直至所述损失值不大于所述指定阈值，则结束对所述目标检测神经网络模型的训练。
2.根据权利要求1所述的方法，其特征在于，所述特征融合模块中的多个池化层之间是并行连接的，且所述多个池化层包括所述局部图像膨胀池化层和非局部图像膨胀的池化层。
3.根据权利要求1或2所述的方法，其特征在于，若所述特征融合模块中的局部图像膨胀池化层的数量为多个，则所述多个局部图像膨胀池化层之间的连接方式是串行连接的。
4.根据权利要求1所述的方法，其特征在于，所述基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值，包括：
通过以下公式确定所述损失值：
其中，L为损失值，N为非机动车训练样本的总数量，yi非机动车练样本i对应的标注的挂牌类别，pij为非机动车是否挂牌训练样本i预测属于挂牌类别j的概率。
5.根据权利要求1-2和4任一所述的方法，其特征在于，所述针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动挂牌检测，得到检测结果之前，所述方法还包括：
针对任意一个电警设备，获取所述电警设备中的待检测视频；
针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像。
6.一种电子设备，其特征在于，包括存储单元和处理器，其中：
所述存储单元，被配置为存储待检测视频；
所述处理器，被配置为：
针对所述待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动车挂牌检测，得到检测结果，其中，所述检测结果为非机动车挂牌或非机动车未挂牌，且所述目标检测神经网络模型的特征融合模块中包括至少一个局部图像膨胀池化层，所述局部图像膨胀池化层用于将滑动窗口内的局部图像的各像素点的像素值替换为所述各像素点的像素值中最大的像素值；
其中，所述目标检测神经网络模型是通过以下方式训练的：
获取非机动车训练样本，其中，所述非机动车训练样本包括非机动车图像以及与所述非机动车图像相对应的标注的挂牌类别；
将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取，得到非机动车的特征之后，利用预设的非机动车的特征与非机动车挂牌结果的对应关系，确定与所述非机动车的特征相对应的非机动车挂牌结果；其中，所述非机动车挂牌结果包括非机动车挂牌类别以及所述挂牌类别对应的概率，且所述非机动车挂牌类别包括非机动车挂牌和非机动车未挂牌；
基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值；
若所述损失值大于指定阈值，则返回将所述非机动车训练样本输入至所述目标检测神经网络模型中进行特征提取的步骤，直至所述损失值不大于所述指定阈值，则结束对所述目标检测神经网络模型的训练。
7.根据权利要求6所述的电子设备，其特征在于，所述特征融合模块中的多个池化层之间是并行连接的，且所述多个池化层包括所述局部图像膨胀池化层和非局部图像膨胀的池化层。
8.根据权利要求6或7所述的电子设备，其特征在于，若所述特征融合模块中的局部图像膨胀池化层的数量为多个，则所述多个局部图像膨胀池化层之间的连接方式是串行连接的。
9.根据权利要求6所述的电子设备，其特征在于，所述处理器执行所述基于所述非机动车挂牌结果与所述标注的挂牌类别，得到损失值，具体被配置为：
通过以下公式确定所述损失值：
其中，L为损失值，N为非机动车训练样本的总数量，yi非机动车练样本i对应的标注的挂牌类别，pij为非机动车是否挂牌训练样本i预测属于挂牌类别j的概率。
10.根据权利要求6-7和9任一所述的电子设备，其特征在于，所述处理器，还被配置为：
所述针对待检测视频中的任意一帧目标图像，将所述目标图像输入至预先训练好的目标检测神经网络模型中进行非机动挂牌检测，得到检测结果之前，针对任意一个电警设备，获取所述电警设备中的待检测视频；
针对所述待检测视频中的任意一帧图像，利用预设算法对所述图像进行格式转换，得到所述目标图像。
CN202210167694.2A 2022-02-23 2022-02-23 检测非机动车是否挂牌的方法及电子设备 Active CN114638787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210167694.2A CN114638787B (zh) 2022-02-23 2022-02-23 检测非机动车是否挂牌的方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210167694.2A CN114638787B (zh) 2022-02-23 2022-02-23 检测非机动车是否挂牌的方法及电子设备

Publications (2)

Publication Number Publication Date
CN114638787A CN114638787A (zh) 2022-06-17
CN114638787B true CN114638787B (zh) 2024-03-22

Family

ID=81946020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210167694.2A Active CN114638787B (zh) 2022-02-23 2022-02-23 检测非机动车是否挂牌的方法及电子设备

Country Status (1)

Country Link
CN (1) CN114638787B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101897A (zh) * 2018-07-20 2018-12-28 中国科学院自动化研究所 水下机器人的目标检测方法、系统及相关设备
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111797829A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种车牌检测方法、装置、电子设备和存储介质
CN113763405A (zh) * 2021-02-02 2021-12-07 北京沃东天骏信息技术有限公司 一种图像检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101897A (zh) * 2018-07-20 2018-12-28 中国科学院自动化研究所 水下机器人的目标检测方法、系统及相关设备
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111797829A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种车牌检测方法、装置、电子设备和存储介质
CN113763405A (zh) * 2021-02-02 2021-12-07 北京沃东天骏信息技术有限公司 一种图像检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力机制和特征融合改进的小目标检测算法;麻森权;周克;;计算机应用与软件;20200512(第05期);全文 *

Also Published As

Publication number Publication date
CN114638787A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN112668588B (zh) 车位信息生成方法、装置、设备和计算机可读介质
CN111274937B (zh) 摔倒检测方法、装置、电子设备及计算机可读存储介质
CN110348463A (zh) 用于识别车辆的方法和装置
CN114332776B (zh) 非机动车占用人行道检测方法、系统、设备及存储介质
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
CN114429566A (zh) 一种图像语义理解方法、装置、设备及存储介质
CN111405475A (zh) 一种多维感知数据碰撞融合分析方法和装置
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
Valencia et al. Overhead view bus passenger detection and counter using deepsort and tiny-yolo v4
CN110909578A (zh) 一种低分辨率图像识别方法、装置和存储介质
CN114638787B (zh) 检测非机动车是否挂牌的方法及电子设备
CN112132015A (zh) 违规驾驶姿势的检测方法、装置、介质和电子设备
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN116580382A (zh) 一种多任务联合检测方法、系统、电子设备及存储介质
CN112132037B (zh) 基于人工智能的人行道检测方法、装置、设备及介质
CN112434601B (zh) 基于行车视频的车辆违法检测方法、装置、设备及介质
CN113920720A (zh) 高速公路隧道设备故障处理方法、装置及电子设备
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
CN113792569A (zh) 对象识别方法、装置、电子设备及可读介质
CN114639037B (zh) 确定高速服务区的车辆饱和的方法及电子设备
CN110688511A (zh) 细粒度图像检索方法、装置、计算机设备及存储介质
CN112270245B (zh) 行车违法检测方法、装置、设备及计算机介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant