CN112132018A - 交警识别方法、装置、介质及电子设备 - Google Patents

交警识别方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN112132018A
CN112132018A CN202011003424.5A CN202011003424A CN112132018A CN 112132018 A CN112132018 A CN 112132018A CN 202011003424 A CN202011003424 A CN 202011003424A CN 112132018 A CN112132018 A CN 112132018A
Authority
CN
China
Prior art keywords
traffic police
traffic
police
recognition
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011003424.5A
Other languages
English (en)
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202011003424.5A priority Critical patent/CN112132018A/zh
Publication of CN112132018A publication Critical patent/CN112132018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及人工智能领域，应用于智慧交通领域，揭示了一种交警识别方法、装置、介质及电子设备。该方法包括：将待识别的目标交通场景图像输入至交警识别模型，得到由交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；其中，交警识别模型包括原始特征提取模块和交警识别模块，交警识别模块包括特征提取模块和分别与特征提取模块相连的分类子模块和位置子模块；基于交警预测框类别矩阵和交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将目标交警预测框坐标映射到目标交通场景图像上，将映射结果作为识别出的交警的位置。此方法下，基于单阶段的模型实现了交警识别，提高了对交警的检测速度，能够满足高实时性的要求。

Description

交警识别方法、装置、介质及电子设备
技术领域
本公开涉及人工智能领域，应用于智慧交通领域，特别涉及一种交警识别方法、装置、介质及电子设备。
背景技术
交警是维护城市道路交通秩序，保证交通运输畅通与安全的国家公职人员，在城市道路交通安全中扮演着十分重要的角色。对交警的自动检测识别，成为智能交通安全监控系统中重要的环节之一。
基于深度学习对交警的自动检测识别方法，由于检测精度高，受到了许多研究者的追捧，但目前采用的方法大多是典型的两阶段检测算法，检测速度较慢，无法满足诸多像交通安全监控系统这种对实时性要求较高的应用场景。
发明内容
在人工智能和智慧交通技术领域，为了解决上述技术问题，本公开的目的在于提供一种交警识别方法、装置、介质及电子设备。
根据本公开的一方面，提供了一种交警识别方法，所述方法包括：
将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；
其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵；
基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
根据本公开的另一方面，提供了一种交警识别装置，所述装置包括：
输入模块，被配置为将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；
其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵；
识别模块，被配置为基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
根据本公开的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，当所述计算机可读指令被计算机执行时，使计算机执行如前所述的方法。
根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开所提供的交警识别方法，包括如下步骤：将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵；基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
此方法下，由于交警识别模型包括原始特征提取模块和交警识别模块，而交警识别模块包括特征提取模块和从特征提取模块出发的两分支，分别用于输出交警预测框类别矩阵，用于输出交警预测框坐标矩阵，最终基于交警预测框类别矩阵和交警预测框坐标矩阵进行交警识别，因此，本发明的交警识别模型的结构足够精简，数据在模型中的处理环节少，基于单阶段的模型实现了交警识别，提高了对交警的检测速度，能够满足高实时性的要求。本方案可应用于智慧交通领域中，从而推动智慧城市的建设。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种交警识别方法的系统架构示意图；
图2是根据一示例性实施例示出的一种交警识别方法的流程图；
图3是根据一示例性实施例示出的交警识别方法的整体流程示意图；
图4是根据图3对应实施例示出的一实施例的交警识别模块的结构示意图；
图5是根据一示例性实施例示出的一种交警识别装置的框图；
图6是根据一示例性实施例示出的一种实现上述交警识别方法的电子设备示例框图；
图7是根据一示例性实施例示出的一种实现上述交警识别方法的计算机可读存储介质。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本公开首先提供了一种交警识别方法。交警是交通的监管者，在治理交通中发挥了主导作用，然而，交警的数量始终是有限的，但是交通状态瞬息万变，一旦发生事故，若交警不能及时赶到现场进行处理，就可能造成更大的危害。因此，对交警进行识别是十分有必要的。交警识别是确定监控图像中是否存在交警的过程，在确定监控图像中存在交警的情况下，还可以在监控图像中标出交警的位置。为了对突发的交通事故进行快速响应，交警识别的实时性特别重要，而本公开提供的一种交警识别方法可以满足高实时性的要求。本方案可应用于智慧交通领域中，从而推动智慧城市的建设。
本公开的实施终端可以是任何具有运算、处理以及通信功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant)等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等，还可以是多个设备的集合，比如云计算的物理基础设施或者服务器集群。
可选地，本公开的实施终端可以为服务器或者云计算的物理基础设施。
图1是根据一示例性实施例示出的一种交警识别方法的系统架构示意图。如图1所示，该系统架构包括服务器110和用户终端120。用户终端120与服务器110通过有线或者无线通信链路相连，因此，用户终端120可以向服务器110发送数据，也可以接收来自服务器110的数据，服务器110上设有预先训练好的交警识别模型，而用户终端120上存储有交通监控装置发来的交通场景图像，服务器110为本实施例中的实施终端。当本公开提供的交警识别方法应用于图1所示的系统架构中时，一个具体过程可以是这样的：服务器110首先通过通信链路从用户终端120获取待识别的目标交通场景图像；然后，服务器110将该目标交通场景图像输入至已部署的交警识别模型，得到由该交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；最后，服务器110根据交警预测框类别矩阵和交警预测框坐标矩阵输出识别结果。
值得一提的是，图1仅为本公开的一个实施例，虽然在本实施例中交通场景图像和预先训练好的交警识别模型分别位于不同的终端上，但在其他实施例或者实际应用中，它们可以位于同一终端上；虽然在本实施例中，服务器110为本实施例的实施终端，但实际情况下，如前所述的各种类型的终端均可以作为本公开的实施终端；虽然在本实施例中，用户终端120与服务器110直接通过通信链路相连，但此处仅仅是示意性的，在实际情况下，用户终端120与服务器110之间还可以包括代理服务器、网关、路由器等各种设备。本公开对此不作限定，本公开的保护范围也不应因此而受到任何限制。
图2是根据一示例性实施例示出的一种交警识别方法的流程图。本实施例提供的交警识别方法可以由服务器执行，如图2所示，包括以下步骤：
步骤210，将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵。
其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵。
目标交通场景图像可以各种交通区域所属场景内的图像，比如可以是马路口、十字路口、高速路口等。
在一个实施例中，在将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵之前，所述方法还包括：
获取交通场景视频流数据；
对交通场景视频流数据进行解帧，得到至少一个交通场景图像帧，并将所述交通场景图像帧作为待识别的目标交通场景图像。
交通场景视频流数据比如可以是十字路口的监控视频数据。对交通场景视频流数据进行解帧即将交通场景视频流数据分为相应的交通场景图像帧的过程。
在一个实施例中，所述将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵，包括：
将待识别的目标交通场景图像调整至预设大小；
将调整后的所述待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵。
预设大小是要将待识别的目标交通场景图像调整至的目标尺寸，其大小可以根据设计需要任意设置，比如可以是608*608。
通过将待识别的目标交通场景图像调整至预设大小可以使代码的实现更为简单。
在一个实施例中，所述原始特征提取模块为CSPResNeXt50网络。CSPResNeXt50网络是CSPNet和ResNeXt网络的结合。
相比于VGG16特征提取网络，CSPResNeXt50网络的性能更强，结构更先进，能够显著增强雾霾、雨天、夜间等困难场景下的特征表达能力，从而提高了交警识别的整体准确率和召回率。
整个交警识别模型的结构和交警识别方法的整体流程可以如图3所示。图3是根据一示例性实施例示出的交警识别方法的整体流程示意图。通过图3可以确定，整个识别流程是这样的：首先输入目标交通场景图像，然后，对该目标交通场景图像进行尺寸调整，并将调整后的目标交通场景图像输入至预先训练好的交警识别模型300，交警识别模型300中的CSPResNeXt50网络310对调整后的目标交通场景图像进行特征提取，并将提取到的特征输入至交警识别模块320，得到交警预测框类别矩阵和交警预测框坐标矩阵，最终基于这些矩阵输出识别结果。
在一个实施例中，所述特征提取模块包括特征提取层，所述分类子模块至少包括依次排布的特征提取层和类别矩阵输出层，所述位置子模块至少包括依次排布的特征提取层和坐标矩阵输出层，所述特征提取层包括依次排布的卷积层、批归一化层和激活函数层。
在一个实施例中，所述分类子模块和所述位置子模块所包括的特征提取层均为多个。
有关交警识别模块320的具体结构请参照图4。图4是根据图3对应实施例示出的一实施例的交警识别模块的结构示意图。如图4所示，输入(Input)为由原始特征提取模块提取得到的第一特征图矩阵。特征提取模块321位于模型的主干部分，具体为CBM层这一特征提取层，可以包括从前向后依次排布的卷积层、批归一化层和Mish激活函数层。特征提取模块321后分出两个分支，上方的分支指向的模块为分类子模块322，而下方分支指向的模块为位置子模块323。
分类子模块322和位置子模块323在前面也分别包括3个CBM层，分类子模块322的类别矩阵输出层即为FCS层，FCS层可以包括从前向后依次排布的全连接层和Sigmoid激活函数层，位置子模块323的坐标矩阵输出层则为FC层，FC层为全连接层。
需要指出的是，分类子模块322和位置子模块323内部结构可以根据需要而进行调整，具体来说，分类子模块322和位置子模块323所包括的CBM层可以不为3个，即可以是其他数量，CBM层的内部结构也不是唯一的，同时，参见上图所示，分类子模块322的CBM层和FCS层之间以及位置子模块323的CBM层和FC层之间还包括PCR层，PCR层可以包括全连接层和Relu激活函数层，分类子模块322和位置子模块323的PCR层可以均为两个，当然也可以是其他数量。
在一个实施例中，预先为所述交警识别模块设置有多个锚框，所述交警识别模块基于各所述锚框进行滑动而输出交警预测框类别矩阵和交警预测框坐标矩阵，各所述锚框的尺寸和比例不同时相同。
具体来说，特征提取模块会根据第一特征图矩阵的输入而输出与第一特征图矩阵相同大小的第二特征图矩阵。在第二特征图矩阵上进行滑动，将第二特征图矩阵各元素分别映射到待识别的目标交通场景图像中的相应区域，然后这些区域的中心点分别构建不同的锚框(anchor box)，从而基于这些锚框输出对应的交警预测框类别和交警预测框坐标，最终形成交警预测框类别矩阵和交警预测框坐标矩阵。
由于锚框的尺寸和比例不同时相同，因此可以针对交通场景图像中不同形状和大小的交警图像进行识别。
比如，锚框是由3种不同尺寸和3种不同比例得到，例如：3种尺寸分别为8、16、32(可配置为其他尺寸),3种不同比例分别为1:1、1:2、2:1(可配置为其他比例)，则得到的9个anchor box分别为(8*8，8*16，16*8，16*16，16*32，32*16，32*32，32*64，64*32)。
继续参照图4，举例来说：假设输入矩阵，即第一特征图矩阵的大小为4*60*40*512，其中4表示batch_size即批大小，60和40分别是特征图矩阵的长和宽，512为通道数，则通过执行特征提取模块321，即第一个CBM层得到的第二特征图矩阵的大小仍为4*60*40*512，然后执行分类子模块322，即执行上方的分支指向的模块中的CBM*3、FCR*2和FCS等各层的操作后得到交警预测框类别矩阵，大小为4*60*40*18＝4*60*40*(9*2)，其中，9表示锚框的个数、2表示是否为交警，接着同步执行位置子模块323，即执行下方的分支指向的模块中的CBM*3、FCR*2和FC等各层的操作后得到交警预测框坐标矩阵，大小为4*60*40*36＝4*60*40*(9*4)，其中，9表示锚框的个数、4表示每个锚框的坐标，具体为锚框的中心点坐标(x,y)以及锚框的宽度w和高度h。
在一个实施例中，所述交警识别模型基于训练样本集训练而成，所述训练样本集包括多个训练样本图像，所述训练样本图像标注了标注框和对应的真实类别，所述交警识别模型利用如下的损失函数训练得到：
loss＝lossreg+losscls，
其中，lossreg为回归损失，所述回归损失与所述位置子模块相对应，用于衡量所述交警识别模型对训练样本图像的预测框坐标与该训练样本图像内标注框之间的差异，losscls为分类损失，所述分类损失与所述分类子模块相对应，用于衡量所述交警识别模型对训练样本图像的标注框的预测类别与该训练样本图像内标注框对应的真实类别之间的差异。
训练样本图像在标注框真实地框选了交警的位置和在图像中的覆盖范围。
在一个实施例中，所述回归损失利用如下的公式计算得到：
lossreg＝1-log IOU，
其中，
Figure BDA0002695094770000081
I为模型预测框与标注框的交集面积，U为模型预测框与标注框的并集面积；
所述分类损失利用如下的公式计算得到：
losscls＝-(ytrue_classlogypredict_class+(1-ytrue_class)log(1-ypredict_class))，
其中，ypredict_class为预测框类别，ytrue_class为真实类别。
由于回归损失是基于IOU损失实现的，因此有效改善了预测框的回归精度，从而进一步提高了交警识别的整体准确率和召回率。
通过利用回归损失，可以使交警识别模型输出的预测框更为精确，而通过利用分类损失，则可以使交警识别模型输出的预测类别更为精确，因此通过上述损失函数的训练，可以使得交警识别模型所输出的交警预测框类别矩阵和交警预测框坐标矩阵更加准确。
步骤220，基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
交警预测框类别矩阵和交警预测框坐标矩阵相对应，对于交警预测框坐标矩阵中的每一交警预测框坐标，交警预测框类别矩阵都有与该交警预测框坐标对应的预测框类别。
在一个实施例中，所述基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，包括：
从所述交警预测框类别矩阵中确定出大于预定预测框类别阈值的预测框类别，作为候选预测框类别；
利用非极大值抑制算法对所述交警预测框坐标矩阵中与所述交警预测框类别矩阵内的候选预测框类别相对应的交警预测框坐标进行筛选，作为目标交警预测框坐标。
非极大值抑制算法即NMS(non-maximum suppression)算法，其通过迭代遍历的方式选择出最合理的交警预测框坐标。预定预测框类别阈值可以根据经验设置，比如可以设置为0.5，那么当一个预测框类别为0.6时，该预测框类别会被选作候选预测框类别。
综上所述，根据图2实施例提供的交警识别方法，通由于交警识别模型包括原始特征提取模块和交警识别模块，而交警识别模块包括特征提取模块和从特征提取模块出发的两分支，分别用于输出交警预测框类别矩阵，用于输出交警预测框坐标矩阵，最终基于交警预测框类别矩阵和交警预测框坐标矩阵进行交警识别，因此，本发明的交警识别模型的结构足够精简，数据在模型中的处理环节少，基于单阶段的模型实现了交警识别，提高了对交警的检测速度，能够满足高实时性的要求。本方案可应用于智慧交通领域中，从而推动智慧城市的建设。
本公开还提供了一种交警识别装置，以下是本公开的装置实施例。
图5是根据一示例性实施例示出的一种交警识别装置的框图。如图5所示，该装置500包括：
输入模块510，被配置为将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；
其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵；
识别模块520，被配置为基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
在一个实施例中，该装置500还包括
获取模块，被配置为在将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵之前：获取交通场景视频流数据；
解帧模块，被配置为对交通场景视频流数据进行解帧，得到至少一个交通场景图像帧，并将所述交通场景图像帧作为待识别的目标交通场景图像。
在一个实施例中，所述输入模块510被进一步配置为：
将待识别的目标交通场景图像调整至预设大小；
将调整后的所述待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵。
在一个实施例中，所述原始特征提取模块为CSPResNeXt50网络。
在一个实施例中，所述特征提取模块包括特征提取层，所述分类子模块至少包括依次排布的特征提取层和类别矩阵输出层，所述位置子模块至少包括依次排布的特征提取层和坐标矩阵输出层，所述特征提取层包括依次排布的卷积层、批归一化层和激活函数层。
在一个实施例中，预先为所述交警识别模块设置有多个锚框，所述交警识别模块基于各所述锚框进行滑动而输出交警预测框类别矩阵和交警预测框坐标矩阵，各所述锚框的尺寸和比例不同时相同。
在一个实施例中，所述交警识别模型基于训练样本集训练而成，所述训练样本集包括多个训练样本图像，所述训练样本图像标注了标注框和对应的真实类别，所述交警识别模型利用如下的损失函数训练得到：
loss＝lossreg+losscls，
其中，lossreg为回归损失，所述回归损失与所述位置子模块相对应，用于衡量所述交警识别模型对训练样本图像的预测框坐标与该训练样本图像内标注框之间的差异，losscls为分类损失，所述分类损失与所述分类子模块相对应，用于衡量所述交警识别模型对训练样本图像的标注框的预测类别与该训练样本图像内标注框对应的真实类别之间的差异。
根据本公开的第三方面，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM)623。存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行，比如与显示单元640通信。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的交警识别方法的各步骤。
根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，当所述计算机可读指令被计算机执行时，使计算机执行本说明书上述的方法。
在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种交警识别方法，其特征在于，所述方法包括：
将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；
其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵；
基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
2.根据权利要求1所述的方法，其特征在于，在将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵之前，所述方法还包括：
获取交通场景视频流数据；
对交通场景视频流数据进行解帧，得到至少一个交通场景图像帧，并将所述交通场景图像帧作为待识别的目标交通场景图像。
3.根据权利要求2所述的方法，其特征在于，所述将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵，包括：
将待识别的目标交通场景图像调整至预设大小；
将调整后的所述待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵。
4.根据权利要求2所述的方法，其特征在于，所述原始特征提取模块为CSPResNeXt50网络。
5.根据权利要求3所述的方法，其特征在于，所述特征提取模块包括特征提取层，所述分类子模块至少包括依次排布的特征提取层和类别矩阵输出层，所述位置子模块至少包括依次排布的特征提取层和坐标矩阵输出层，所述特征提取层包括依次排布的卷积层、批归一化层和激活函数层。
6.根据权利要求1-5任意一项所述的方法，其特征在于，预先为所述交警识别模块设置有多个锚框，所述交警识别模块基于各所述锚框进行滑动而输出交警预测框类别矩阵和交警预测框坐标矩阵，各所述锚框的尺寸和比例不同时相同。
7.根据权利要求1-5任意一项所述的方法，其特征在于，所述交警识别模型基于训练样本集训练而成，所述训练样本集包括多个训练样本图像，所述训练样本图像标注了标注框和对应的真实类别，所述交警识别模型利用如下的损失函数训练得到：
loss＝lossreg+losscls，
其中，lossreg为回归损失，所述回归损失与所述位置子模块相对应，用于衡量所述交警识别模型对训练样本图像的预测框坐标与该训练样本图像内标注框之间的差异，losscls为分类损失，所述分类损失与所述分类子模块相对应，用于衡量所述交警识别模型对训练样本图像的标注框的预测类别与该训练样本图像内标注框对应的真实类别之间的差异。
8.一种交警识别装置，其特征在于，所述装置包括：
输入模块，被配置为将待识别的目标交通场景图像输入至预先训练好的交警识别模型，得到由所述交警识别模型输出的交警预测框类别矩阵和交警预测框坐标矩阵；
其中，所述交警识别模型包括原始特征提取模块和位于所述原始特征提取模块之后的交警识别模块，所述交警识别模块包括特征提取模块和分别与所述特征提取模块相连的分类子模块和位置子模块，所述分类子模块用于输出所述交警预测框类别矩阵，所述位置子模块用于输出所述交警预测框坐标矩阵；
识别模块，被配置为基于所述交警预测框类别矩阵和所述交警预测框坐标矩阵确定出至少一个目标交警预测框坐标，并将所述目标交警预测框坐标映射到所述目标交通场景图像上，将映射结果作为从所述目标交通场景图像中识别出的交警的位置。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可读指令，当所述计算机可读指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。
CN202011003424.5A 2020-09-22 2020-09-22 交警识别方法、装置、介质及电子设备 Pending CN112132018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011003424.5A CN112132018A (zh) 2020-09-22 2020-09-22 交警识别方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003424.5A CN112132018A (zh) 2020-09-22 2020-09-22 交警识别方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN112132018A true CN112132018A (zh) 2020-12-25

Family

ID=73842506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003424.5A Pending CN112132018A (zh) 2020-09-22 2020-09-22 交警识别方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN112132018A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694401A (zh) * 2018-05-09 2018-10-23 北京旷视科技有限公司 目标检测方法、装置及系统
CN109977943A (zh) * 2019-02-14 2019-07-05 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、系统和存储介质
US20190213443A1 (en) * 2018-01-05 2019-07-11 Whirlpool Corporation Detecting objects in images
CN111160379A (zh) * 2018-11-07 2020-05-15 北京嘀嘀无限科技发展有限公司 图像检测模型的训练方法及装置、目标检测方法及装置
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190213443A1 (en) * 2018-01-05 2019-07-11 Whirlpool Corporation Detecting objects in images
CN108694401A (zh) * 2018-05-09 2018-10-23 北京旷视科技有限公司 目标检测方法、装置及系统
CN111160379A (zh) * 2018-11-07 2020-05-15 北京嘀嘀无限科技发展有限公司 图像检测模型的训练方法及装置、目标检测方法及装置
CN109977943A (zh) * 2019-02-14 2019-07-05 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、系统和存储介质
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法

Similar Documents

Publication Publication Date Title
US11210795B2 (en) Pedestrian flow funnel generation method and apparatus, storage medium and electronic device
WO2021135879A1 (zh) 监控车辆数据方法、装置、计算机设备及存储介质
CN110378410B (zh) 多标签场景分类方法、装置及电子设备
CN113095434B (zh) 目标检测方法及装置、电子设备、存储介质
EP3944148A2 (en) Generation method for classification model, classification method, apparatus, and medium
US11783588B2 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN110633716A (zh) 一种目标对象的检测方法和装置
CN114612741A (zh) 缺陷识别模型的训练方法、装置、电子设备及存储介质
CN112203054B (zh) 监控视频点位标注方法、装置、存储介质及电子设备
US20240037911A1 (en) Image classification method, electronic device, and storage medium
CN112132015A (zh) 违规驾驶姿势的检测方法、装置、介质和电子设备
CN112132018A (zh) 交警识别方法、装置、介质及电子设备
US20220207879A1 (en) Method for evaluating environment of a pedestrian passageway and electronic device using the same
US20230072641A1 (en) Image Processing and Automatic Learning on Low Complexity Edge Apparatus and Methods of Operation
US20230306602A1 (en) Information generation method and apparatus, electronic device, and computer readable medium
CN115061386A (zh) 智能驾驶的自动化仿真测试系统及相关设备
CN115775367A (zh) 道路目标检测方法、检测装置、电子设备及存储介质
CN113269301A (zh) 基于神经网络估计多目标跟踪系统参数的方法及系统
CN111160197A (zh) 人脸检测方法、装置、电子设备、存储介质
CN113515971A (zh) 数据处理方法及系统、网络系统及其训练方法、设备
CN112016503B (zh) 人行道检测方法、装置、计算机设备及存储介质
CN116486347B (zh) 基于尺度不变特征变换图像识别的团雾监测捕获方法及装置
WO2023092939A1 (zh) 车辆控制方法、装置、电子设备及介质
US20230401264A1 (en) Method, electronic device, and computer program product for data processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination