CN114219073A - 属性信息的确定方法、装置、存储介质及电子装置 - Google Patents

属性信息的确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN114219073A
CN114219073A CN202111496567.9A CN202111496567A CN114219073A CN 114219073 A CN114219073 A CN 114219073A CN 202111496567 A CN202111496567 A CN 202111496567A CN 114219073 A CN114219073 A CN 114219073A
Authority
CN
China
Prior art keywords
target
determining
training
network model
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111496567.9A
Other languages
English (en)
Inventor
刘天赐
程博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111496567.9A priority Critical patent/CN114219073A/zh
Publication of CN114219073A publication Critical patent/CN114219073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种属性信息的确定方法、装置、存储介质及电子装置，其中，该方法包括：使用训练后的目标网络模型目标图像，以确定目标图像中包括的目标对象的目标属性信息；其中，目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过初始网络模型分析每组训练数据中包括的训练图像，以确定训练图像中包括的训练对象的预测位置信息；基于预测位置信息确定预测极坐标参数；基于每组训练数据中包括的训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及标签极坐标参数确定初始网络模型的位置损失值，基于位置损失值更新初始网络模型的网络参数，得到目标网络模型。

Description

属性信息的确定方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种属性信息的确定方法、装置、存储介质及电子装置。
背景技术
当摄像设备安装在较高的位置，或者与拍摄的对象存在一定的角度时，通常拍摄得到的图像中的对象往往不是正对这摄像设备的，图像中，对象往往会存在一定的角度。下面以对象为机动车为例进行说明：
汽车保有量的快速增长，给城市的交通管理带来了巨大的压力，也使得各种交通问题频繁发生。为了规范停车秩序，缓解乱停乱放给城市交通管理带来的压力，交通管理相关部门会在路边设置一些停车位方便机动车的停放。为了统一管理机动车在划定车位区域的停放行为，会在这些区域的同侧或者异侧设置监控设备，从实时的视频和图像中对车位中驶入和驶出车辆的信息进行监控和管理，由于高度和角度的限制，所捕获场景中的车辆车牌都会出现各种有旋转角度的车牌。
在相关技术中，一般的车牌检测方案是生成一个平行于所获取车检图像的矩形区域来定位车牌的位置，但是在路侧停车场景下，由于监控设备安装位置和高度的限制，使得场景中很多车辆的车牌与当前捕获场景的有着一定的角度，传统的检测对于大角度车牌不能很好的定位其真实位置，使得提取的特征中含有较多的噪声，不利于后续车牌字符的识别。其中，相关技术中检测出的车牌图像示意图可参见附图1。
由此可知，相关技术中存在识别对象的属性信息准确率低的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种属性信息的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的识别对象的属性信息准确率低的问题。
根据本发明的一个实施例，提供了一种属性信息的确定方法，包括：使用训练后的目标网络模型目标图像，以确定目标图像中包括的目标对象的目标属性信息；其中，所述目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过所述初始网络模型分析每组所述训练数据中包括的训练图像，以确定所述训练图像中包括的训练对象的预测位置信息；基于所述预测位置信息确定预测极坐标参数；基于每组所述训练数据中包括的所述训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值，基于所述位置损失值更新所述初始网络模型的网络参数，得到所述目标网络模型。
根据本发明的另一个实施例，提供了一种属性信息的确定装置，包括：分析模块，用于使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息；其中，所述目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过所述初始网络模型分析每组所述训练数据中包括的训练图像，以确定所述训练图像中包括的训练对象的预测位置信息；基于所述预测位置信息确定预测极坐标参数；基于每组所述训练数据中包括的所述训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值，基于所述位置损失值更新所述初始网络模型的网络参数，得到所述目标网络模型。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息。目标网络模型是利用多组训练数据对初始网络模型进行训练得到的模型。通过初始网络模型分析每组训练数据中包括的训练图像，以确定训练图像中包括的训练对象的预测位置信息，根据预测位置信息确定预测极坐标参数，根据每组训练数据中包括的训练对象的标签信息中包括的标签位置信息确定标签极坐标参数，根据预测极坐标参数以及标签极坐标参数确定初始网络模型的位置损失值，根据位置损失值更新初始网络模型的网络参数，得到目标网络模型。由于目标网络模型是对初始网络模型进行训练，利用极坐标参数进行收敛得到的，利于极坐标参数进行收敛训练能够使参数的分布一致，使得到的目标网络模型确定的目标属性信息更准确，因此，可以解决了相关技术中存在的识别对象的属性信息准确率低的问题，达到提高识别对象的属性信息准确率的效果。
附图说明
图1是相关技术中检测出的车牌图像示意图；
图2是本发明实施例的一种属性信息的确定方法的移动终端的硬件结构框图；
图3是根据本发明实施例的属性信息的确定方法的流程图；
图4是根据本发明示例性实施例的获取到的图像示意图；
图5是根据本发明示例性实施例的目标网络模型检测流程示意图；
图6是根据本发明示例性实施例的通过目标网络模型确定的目标对象的图像示意图；
图7是根据本发明示例性实施例的极坐标参数示意图；
图8是根据本发明示例性实施例的极坐标参数下预测目标与真实目标位置差异示意图；
图9是根据本发明示例性实施例的初始网络模型的训练流程示意图；
图10是根据本发明示例性实施例的目标区域示意图；
图11是根据本发明示例性实施例的网络测试推理阶段整体流程图；
图12是根据本发明具体实施例的属性信息的确定方法流程图；
图13是根据本发明实施例的属性信息的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图2是本发明实施例的一种属性信息的确定方法的移动终端的硬件结构框图。如图2所示，移动终端可以包括一个或多个(图2中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的属性信息的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种属性信息的确定方法，图3是根据本发明实施例的属性信息的确定方法的流程图，如图3所示，该流程包括如下步骤：
步骤S302，使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息；
其中，所述目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过所述初始网络模型分析每组所述训练数据中包括的训练图像，以确定所述训练图像中包括的训练对象的预测位置信息；基于所述预测位置信息确定预测极坐标参数；基于每组所述训练数据中包括的所述训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值，基于所述位置损失值更新所述初始网络模型的网络参数，得到所述目标网络模型。
在上述实施例中，目标对象可以为车牌、人、动物、物品等。图像可以是摄像设备拍摄到的图像，也可以是在监控视频中获取到的图像画面。当目标对象为车牌时，目标属性信息可以包括车牌的类型、车牌号码等。当目标对象为人时，目标属性信息可以包括人脸特征(如五官特征)、穿戴特征(如是否戴眼镜、戴口罩等)。当目标对象为动物时，目标属性信息可以包括动物的外部特征，如颜色、类型、是否栓绳子等。当目标对象为物品时，目标属性信息可以包括物品特征，如物品的形状、类型等。
在上述实施例中，当目标对象为车牌时，对于监控视频中获取的图像画面，可以实时的对画面中的车辆进行检测，根据车辆的位置和当前场景下划定的停车区域进行车辆入、驶出和在泊位中三个状态的判断并进行抓拍，进行车牌的检测和识别，确定车辆的状态。针对状态判定之后的抓拍图像进行进一步的检测识别。其中，获取到的图像示意图可参见附图4。对于获取到的图像可以进行车辆的检测，可以使用Faster-RCNN或YOLO模型进行车辆检测，确定出车辆的图像。
在上述实施例中，在确定出车辆的图像后，可以利用目标网络模型分析目标图像，以确定目标对象的目标属性信息。其中，目标网络模型可以是利用多组训练数据对初始网络模型进行训练得到的模型。初始网络模型的结构与目标网络模型的结构相同，利用多组训练数据的每组训练数据对初始网络模型进行多次训练，利用每次得到的损失值更新初始网络模型的网络参数，当连续预定次数训练得到的损失值之间的变化量小于预定阈值的情况下，停止训练，最后一次训练后更新过网络参数的初始网络模型确定为目标网络模型。其中，预定次数可以是预先确定的次数，如5次(该取值仅是一种示例性说明，还可以是2次、3次、6次、8次等，本发明对此不作限制)。预定阈值也是预先确定的阈值，本发明对此不作限制。
在上述实施例中，可以获取多组训练数据，其中，每组训练数据中均包括训练图像以及训练图像中的训练对象的标签信息，标签信息中包括训练对象的标签位置信息。在每次训练的过程中，初始网络模型可以预测训练图像的预测位置信息，根据预测位置信息可以确定预测极坐标参数。还可以根据标签位置信息确定标签极坐标参数，根据预测极坐标参数以及标签极坐标参数确定初始网络模型的位置损失值，利用位置损失值进行反向更新迭代，更新网络参数，直到连续多次训练得到的位置损失值之间的变化量小于预定阈值的情况下，停止训练。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息。目标网络模型是利用多组训练数据对初始网络模型进行训练得到的模型。通过初始网络模型分析每组训练数据中包括的训练图像，以确定训练图像中包括的训练对象的预测位置信息，根据预测位置信息确定预测极坐标参数，根据每组训练数据中包括的训练对象的标签信息中包括的标签位置信息确定标签极坐标参数，根据预测极坐标参数以及标签极坐标参数确定初始网络模型的位置损失值，根据位置损失值更新初始网络模型的网络参数，得到目标网络模型。由于目标网络模型是对初始网络模型进行训练，利用极坐标参数进行收敛得到的，利于极坐标参数进行收敛训练能够使参数的分布一致，使得到的目标网络模型确定的目标属性信息更准确，因此，可以解决了相关技术中存在的识别对象的属性信息准确率低的问题，达到提高识别对象的属性信息准确率的效果。
在一个示例性实施例中，使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息包括：使用所述目标网络模型确定所述目标图像的目标特征；使用所述目标网络模型对所述目标特征进行采样处理，得到多个特征；融合多个所述特征，得到融合特征；基于所述融合特征确定所述目标属性信息。在本实施例中，在利用目标网络模型分析目标图像时，可以使用目标网络模型确定目标图像的目标特征，使用目标网络模型对目标特征进行采样处理，得到多个特征，融合多个特征，得到融合特征，根据融合特征确定目标属性信息。
在上述实施例中，目标网络模型可以包括特征提取网络以及特征融合网络。可以通过目标网络模型中包括的特征提取网络确定目标图像的目标特征，利用特征融合网络对目标特征进行采样处理，并将得到的多个特征进行融合，得到融合特征。
在一个示例性实施例中，基于所述融合特征确定所述目标属性信息包括：基于所述融合特征确定所述目标对象在所述目标图像中的图像区域；基于所述图像区域以及所述融合特征确定所述目标属性信息。在本实施例中，可以根据融合特征确定目标对象在目标图像中的图像区域，根据图像区域以及融合特征确定目标属性信息。
在上述实施例中，目标网络模型还可以包括检测网络以及识别网络。可以通过检测网络对融合特征进行分析确定目标对象的图像区域。通过识别网络对融合特征以及图像区域进行分析确定目标属性信息。实现了将融合网络学习的特征在检测网络和识别网络中进行共享，同时让两个任务协同学习。共享特征可以用一次前向将对象的检测和识别一同输出，同时这种耦合的学习方式，能够让网络学习到一定的上下文信息，两个任务一同约束网络对图像特征的学习。
在一个示例性实施例中，使用所述目标网络模型对所述目标特征进行采样处理，得到多个特征包括：对所述目标特征进行N次下采样处理，得到N+1个不同尺度的第一特征，将所述第一特征中包括的最后一个特征进行所述N次上采样处理，得到N+1个不同尺度的第二特征；融合多个所述特征，得到融合特征包括：将所述第一特征与所述第二特征中包括的尺度相同的特征进行融合，得到所述融合特征。在本实施例中，当目标对象为车牌时，可以将车辆检测的图像和标签信息送入到特征提取网络进行图像高维特征的提取，得到目标特征。其中，目标特征可以是最后一层卷积特征。对应目标特征可以进行两次下采样处理，得到三个尺度的特征图。然后最后一个下采样的特征图，再进行三次上采样，并在上采样过程中与之前下采样过程中的特征图进行融合。融合方式可以选择特征图通道拼接方式，这样先自上而下然后自下而上的融合方式可以增强较小车牌目标的检测效果。其中，目标网络模型检测流程示意图可参见附图5，通过目标网络模型确定的目标对象的图像示意图可参见附图6。
在上述实施例中，在路侧停车场景下很多车辆由于距离监控设备较远，车牌相对较小，使得车牌目标成为小目标，容易出现漏检和误检现象。为了缓解这种现象，采用自上而下和自下而上相结合的特诊融合方式，增强检测网络对小目标位置信息的学习。
在一个示例性实施例中，基于所述预测位置信息确定预测极坐标参数包括：确定所述预测位置信息中包括的所述训练对象的预测中心点坐标，以及预测顶点坐标；基于所述预测中心点坐标，以及所述预测顶点坐标确定所述训练对象的预测极坐标参数；基于所述训练对象的标签位置信息确定标签极坐标参数包括：确定所述标签位置信息中包括的所述训练对象的标签中心点坐标以及标签顶点坐标；基于所述标签中心点坐标，以及所述标签顶点坐标确定所述训练对象的标签极坐标参数。在本实施例中，在进行收敛训练时，可以根据预测中心点坐标以及预测顶点坐标确定预测极坐标参数，根据标签中心点坐标以及标签顶点坐标确定标签极坐标参数。
在相关技术中，对于网络的回归参数，采用(x1，y1，x2，y2)或(x，y，w，h)的角点参数回归，这样生成的预测矩形区域就是平行于所获取图像的边缘。为了更好的定位有一定角度的目标，一些带旋转的目标检测方法采用(x，y，w，h，θ)的回归方式，这种方法没有考虑尺度参数和角度参数的分布的一致性；或者采用(x1，y1，x2，y2，x3，y3，x4，y4)四个角点回归的方式，这种方法参数量过大，不利于网络的收敛和学习。
在本实施例中，为了让网络更好的学习旋转的目标的位置信息，可以采用(x，y，ρ，θ1，θ2)的极坐标参数方式，其中，极坐标参数示意图可参见附图7。其中，x，y表示预测区域的几何中心，即预测中心点坐标，ρ为极径，ρ可以通过公式
Figure BDA0003400218490000091
计算，其中，xi，yi表示预测矩形框四个角点的坐标，即预测顶点坐标，
Figure BDA0003400218490000092
表示标签中目标所在矩形区域的中点坐标，即标签中心点坐标。
在上述实施例中，对于θ1和θ2，由于x，y是检测矩形的几何中心，可以得到θ1＝θ2＝θ，于是网络的需要学习的参数可以转化为x，y，ρ，θ四个参数。则可以根据预测极坐标参数以及标签极坐标参数、预测中心点坐标以及标签中心点坐标确定位置损失值。其中，极坐标参数包括极径以及角度参数。
在上述实施例中，将预测位置的角点参数极坐标化，使得参数的分布一致，便于网络的学习和收敛。
在一个示例性实施例中，基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值包括：基于所述预测中心点坐标以及所述标签中心点坐标确定中心点损失值；基于所述预测极坐标参数以及所述标签极坐标参数确定所述极坐标参数损失值；将所述中心点损失值与所述极坐标参数损失值的和确定为所述位置损失值。在本实施例中，可以根据预测中心点坐标以及标签中心点坐标确定中心点损失值。中心点损失值可以表示为Lreg((x,y),
Figure BDA0003400218490000101
其中，
Figure BDA0003400218490000102
表示标签中心点坐标，(x，y)表示预测中心点坐标。
在上述实施例中，对于ρ，θ参数的学习，为了平衡尺度参数ρ和角度参数θ在分布上的不一致性，可以采用最小化预测目标区域与真实目标区域由于ρ和θ的差异形成的扇形区域的面积差来衡量两个矩形区域在尺度和角度上的差异性。其中，极坐标参数下预测目标与真实目标位置差异示意图可参见附图8，如图8所示，实线框为目标标签矩形区域，即标签信息中指示的训练对象的位置，虚线框为网络预测的目标矩形区域，即初始网络模型预测的训练对象的位置，对于预测矩形区域与目标真实区域的中点距离，使用
Figure BDA0003400218490000103
来进行约束。当两个区域中点重合时，只剩下了极径ρ和旋转角θ的差异，由于ρ的长度和θ的差异，所形成的扇形区域会有所差异，如图8中阴影区域所示，最小化阴影区域就是中点坐标重合后尺度和角度任务的学习目标。ρ和θ的回归损失函数(极坐标参数损失值)可表示为
Figure BDA0003400218490000104
其中，
Figure BDA0003400218490000105
分别表示根据标签信息计算出的目标区域极径和极径相对于图像边缘的角度。最终的回归损失函数(位置损失值)为二者的和，可以表示为
Figure BDA0003400218490000106
在一个示例性实施例中，利用多组训练数据训练初始网络模型还包括：确定所述标签位置信息对应的目标区域的区域特征；将所述区域特征输入至所述初始网络模型中，以识别所述区域特征中包括的预测属性信息；基于所述预测属性信息与所述标签信息中包括的所述训练对象的标签属性信息确定所述初始网络模型的属性损失值；基于所述属性损失值调整所述初始网络模型的所述网络参数。在本实施例中，目标网络模型中还可以包括识别模型，在训练初始网络模型时，还包括对识别模型的训练。可以确定标签位置信息对应的目标区域的区域特征，将区域特征输入值初始识别网络中，以识别区域特征中包括的预测属性信息，根据预测属性信息和标签信息中包括的标签属性信息确定初始网络模型的属性损失值，根据属性损失值调整初始网络模型的网络参数。在训练的过程中，可以根据属性损失值以及位置损失值调整初始网络模型的网络参数，以确定目标网络模型。其中，区域特征可以是从融合特征中包括的最上层的特征。
在上述实施例中，在模型训练的过程中，为了防止前期的检测定位效果不精确，将错误区域的特征送入识别网络，影响识别网络的学习和收敛，直接使用标签上的目标位置信息对最上层的融合特征进行切分，作为对象识别的特征图送入到识别网络中进行识别，并用CTCLoss来约束字符识别网络的学习。其中，CTCLoss可以表示为
Figure BDA0003400218490000111
其中，
Figure BDA0003400218490000112
是的车牌字符标签，s是字符识别网络解码后的序列，N为字符识别区域的数量。其中，初始网络模型的训练流程示意图可参见附图9。
在一个示例性实施例中，确定所述标签位置信息对应的目标区域的区域特征包括：确定所述标签信息中包括的标签类型信息；在所述标签类型信息指示所述训练对象为第一类型的情况下，确定所述标签位置信息对应的标签区域，将所述标签区域扩大预定尺寸，以得到所述目标区域，从训练融合特征中确定出所述区域特征，其中，所述训练融合特征为通过所述初始网络模型对多个训练特征进行融合处理得到的特征，多个所述训练特征为对训练图像的特征进行采样处理得到的特征。在所述标签类型指示所述训练对象为第二类型的情况下，确定所述标签位置信息对应的指示线，按照所述指示线分割所述训练图像，以得到所述目标区域，从所述训练融合特征中确定出所述区域特征。在本实施例中，确定目标区域时，可以首先确定标签信息中包括的标签类型信息。在标签类型信息指示训练对象为第一类型的情况下，可以确定标签位置信息对应的标签区域，将标签区域扩大预定尺寸，以得到目标区域。其中，第一类型可以为单层车牌类型，目标区域示意图可参见附图10。
在上述实施例中，在训练过程中，送入初始识别网络的是用标签信息对网络共享特征进行分割得到的特征，这是为了缓解网络训练前期对目标定位结果不准确影响字符识别的学习。对于模型的测试阶段，是一个网络前向推理过程，输入只有获取的原图像，需要检测网络输出的检测结果作为识别网路的输入。在测试阶段，为了更好的包含车牌的所有字符，将检测网络对车牌的定位结果进行宽高两个尺度方向上进行1/10的扩大(该取值仅是一种示例性说明，预定尺寸还可以是1/8、1/12等，本发明对此不作限定)，根据扩大后的区域然后对共享特征进行切割并送入识别网络，最终解码实现车牌字符的识别。
在上述实施例中，当标签类型指示训练对象为第二类型的情况下，确定标签位置信息对应的指示线，可以按照指示线对训练图像进行分割，得到上下两个区域，则上下两个区域即为目标区域。其中，第二类型可以为双层车牌类型。
在上述实施例中，网络测试推理阶段整体流程图可参见附图11，如图11所示，该流程包括：将训练样本输入值特征提取网络，提取到目标特征，特征融合网络对目标特征进行融合处理，得到融合特征，将融合特征输入至检测网络，确定目标对象的预测位置信息，将预测位置信息以及融合特征输入至字符识别网络(对应于上述识别网络)中，经过CTE解码器确定车牌字符识别结果(对应与上述目标标签信息)。
在前实施例中，当目标对象为人时，目标网络模型还可以用于识别人的目标属性信息(如人脸特征)。例如，在饭店等位置的厨房中，厨房中的监控设备可能与灶台的位置存在一定的角度，导致拍摄的包括厨师的图像存在一定的角度，利用目标网络模型对采集到的图像进行人脸识别时，可以有效避免由于拍摄角度导致识别不准确的问题，提高识别的准确率。
下面以目标对象为车牌为例，结合具体实施方式对属性信息的确定方法进行说明：
图12是根据本发明具体实施例的属性信息的确定方法流程图，如图12所示，该方法包括：
步骤S1202，根据车辆位置进行车辆驶入、驶出和泊位中三个状态的判断并进行抓拍。
步骤S1204，得到场景抓拍图像。
步骤S1206，车辆检测。
步骤S1208，旋转车牌检测输出车牌位置和类型信息并保留车牌的高层特征。
步骤S1210，判断车牌类型。在车牌为单层车牌时，执行步骤S1212，在车牌为双层时，执行步骤S1214。
步骤S1212，单层车牌值需要将车牌检测区域向外扩充1/8的原始长款尺寸。
步骤S1214，双层车牌根据检测框进行上下区域的分割。
步骤S1216。车牌字符识别模型。
在前述实施例中，为了增强带有角度车牌的检测效果，引入极坐标参数回归的方式，预测区域和目标真实区域中点位置的差异使用一个损失函数来约束，中点重合的情况下，尺度和角度的差异采用最小化差异面积来约束，可以在一定程度上解决位置参数、尺度参数和角度参数由于分布不同样网络难以收敛的情况。为了将车牌识别和车牌检测任务耦合，采用了共享特征的方式，卷积神经网络提取的特征用于检测和识别网络的共同学习，同时特征融合使用了自上而下然后自下而上的方式，自上而下过程选用下采样方式，自下而上的过程选用编码方式，并将两个过程横向连接，两个任务的损失函数可以一起约束网络对图像特征的学习。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种属性信息的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图13是根据本发明实施例的属性信息的确定装置的结构框图，如图13所示，该装置包括：
分析模块1302，用于使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息；
其中，所述目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过所述初始网络模型分析每组所述训练数据中包括的训练图像，以确定所述训练图像中包括的训练对象的预测位置信息；基于所述预测位置信息确定预测极坐标参数；基于每组所述训练数据中包括的所述训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值，基于所述位置损失值更新所述初始网络模型的网络参数，得到所述目标网络模型。
在一个示例性实施例中，所述分析模块1302可以通过如下方式实现使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息：使用所述目标网络模型确定所述目标图像的目标特征；使用所述目标网络模型对所述目标特征进行采样处理，得到多个特征；融合多个所述特征，得到融合特征；基于所述融合特征确定所述目标属性信息。
在一个示例性实施例中，所述分析模块1302可以通过如下方式实现基于所述融合特征确定所述目标属性信息：基于所述融合特征确定所述目标对象在所述目标图像中的图像区域；基于所述图像区域以及所述融合特征确定所述目标属性信息。
在一个示例性实施例中，所述分析模块1302可以通过如下方式实现使用所述目标网络模型对所述目标特征进行采样处理，得到多个特征：对所述目标特征进行N次下采样处理，得到N+1个不同尺度的第一特征，将所述第一特征中包括的最后一个特征进行所述N次上采样处理，得到N+1个不同尺度的第二特征；所述分析模块1302可以通过如下方式实现融合多个所述特征，得到融合特征：将所述第一特征与所述第二特征中包括的尺度相同的特征进行融合，得到所述融合特征。
在一个示例性实施例中，所述装置可以用于基于所述预测位置信息确定预测极坐标参数：确定所述预测位置信息中包括的所述训练对象的预测中心点坐标，以及预测顶点坐标，基于所述预测中心点坐标，以及所述预测顶点坐标确定所述训练对象的所述预测极坐标参数；所述装置可以通过如下方式实现基于所述训练对象的标签位置信息确定标签极坐标参数：确定所述标签位置信息中包括的所述训练对象的标签中心点坐标以及标签顶点坐标,基于所述标签中心点坐标，以及所述标签顶点坐标确定所述训练对象的标签极坐标参数。
在一个示例性实施例中，所述装置可以通过如下方式实现基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值：基于所述预测中心点坐标以及所述标签中心点坐标确定中心点损失值；基于所述预测极坐标参数以及所述标签极坐标参数确定所述极坐标参数损失值；将所述中心点损失值与所述极坐标参数损失值的和确定为所述位置损失值。
在一个示例性实施例中，所述装置还可以用于利用多组训练数据训练初始网络模型：确定所述标签位置信息对应的目标区域的区域特征；将所述区域特征输入至所述初始网络模型中，以识别所述区域特征中包括的预测属性信息；基于所述预测属性信息与所述标签信息中包括的所述训练对象的标签属性信息确定所述初始网络模型的属性损失值；基于所述属性损失值调整所述初始网络模型的所述网络参数。
在一个示例性实施例中，所述装置可以通过如下方式实现确定所述标签位置信息对应的目标区域的区域特征：确定所述标签信息中包括的标签类型信息；在所述标签类型信息指示所述训练对象为第一类型的情况下，确定所述标签位置信息对应的标签区域，将所述标签区域扩大预定尺寸，以得到所述目标区域，从训练融合特征中确定出所述区域特征，其中，所述训练融合特征为通过所述初始网络模型对多个训练特征进行融合处理得到的特征，多个所述训练特征为对训练图像的特征进行采样处理得到的特征；在所述标签类型指示所述训练对象为第二类型的情况下，确定所述标签位置信息对应的指示线，按照所述指示线分割所述训练图像，以得到所述目标区域，从所述训练融合特征中确定出所述区域特征。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种属性信息的确定方法，其特征在于，包括：
使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息；
其中，所述目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过所述初始网络模型分析每组所述训练数据中包括的训练图像，以确定所述训练图像中包括的训练对象的预测位置信息；基于所述预测位置信息确定预测极坐标参数；基于每组所述训练数据中包括的所述训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值，基于所述位置损失值更新所述初始网络模型的网络参数，得到所述目标网络模型。
2.根据权利要求1所述的方法，其特征在于，使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息包括：
使用所述目标网络模型确定所述目标图像的目标特征；
使用所述目标网络模型对所述目标特征进行采样处理，得到多个特征；
融合多个所述特征，得到融合特征；
基于所述融合特征确定所述目标属性信息。
3.根据权利要求2所述的方法，其特征在于，基于所述融合特征确定所述目标属性信息包括：
基于所述融合特征确定所述目标对象在所述目标图像中的图像区域；
基于所述图像区域以及所述融合特征确定所述目标属性信息。
4.根据权利要求2所述的方法，其特征在于，
使用所述目标网络模型对所述目标特征进行采样处理，得到多个特征包括：对所述目标特征进行N次下采样处理，得到N+1个不同尺度的第一特征，将所述第一特征中包括的最后一个特征进行所述N次上采样处理，得到N+1个不同尺度的第二特征；
融合多个所述特征，得到融合特征包括：将所述第一特征与所述第二特征中包括的尺度相同的特征进行融合，得到所述融合特征。
5.根据权利要求1所述的方法，其特征在于，
基于所述预测位置信息确定预测极坐标参数包括：确定所述预测位置信息中包括的所述训练对象的预测中心点坐标，以及预测顶点坐标，基于所述预测中心点坐标，以及所述预测顶点坐标确定所述训练对象的所述预测极坐标参数；
基于所述训练对象的标签位置信息确定标签极坐标参数包括：确定所述标签位置信息中包括的所述训练对象的标签中心点坐标以及标签顶点坐标,基于所述标签中心点坐标，以及所述标签顶点坐标确定所述训练对象的标签极坐标参数。
6.根据权利要求5所述的方法，其特征在于，基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值包括：
基于所述预测中心点坐标以及所述标签中心点坐标确定中心点损失值；
基于所述预测极坐标参数以及所述标签极坐标参数确定所述极坐标参数损失值；
将所述中心点损失值与所述极坐标参数损失值的和确定为所述位置损失值。
7.根据权利要求1所述的方法，其特征在于，利用多组训练数据训练初始网络模型还包括：
确定所述标签位置信息对应的目标区域的区域特征；
将所述区域特征输入至所述初始网络模型中，以识别所述区域特征中包括的预测属性信息；
基于所述预测属性信息与所述标签信息中包括的所述训练对象的标签属性信息确定所述初始网络模型的属性损失值；
基于所述属性损失值调整所述初始网络模型的所述网络参数。
8.根据权利要求7所述的方法，其特征在于，确定所述标签位置信息对应的目标区域的区域特征包括：
确定所述标签信息中包括的标签类型信息；
在所述标签类型信息指示所述训练对象为第一类型的情况下，确定所述标签位置信息对应的标签区域，将所述标签区域扩大预定尺寸，以得到所述目标区域，从训练融合特征中确定出所述区域特征，其中，所述训练融合特征为通过所述初始网络模型对多个训练特征进行融合处理得到的特征，多个所述训练特征为对训练图像的特征进行采样处理得到的特征；
在所述标签类型指示所述训练对象为第二类型的情况下，确定所述标签位置信息对应的指示线，按照所述指示线分割所述训练图像，以得到所述目标区域，从所述训练融合特征中确定出所述区域特征。
9.一种属性信息的确定装置，其特征在于，包括：
分析模块，用于使用训练后的目标网络模型分析目标图像，以确定目标图像中包括的目标对象的目标属性信息；
其中，所述目标网络模型是利用多组训练数据通过如下方式训练初始网络模型得到的：通过所述初始网络模型分析每组所述训练数据中包括的训练图像，以确定所述训练图像中包括的训练对象的预测位置信息；基于所述预测位置信息确定预测极坐标参数；基于每组所述训练数据中包括的所述训练对象的标签信息中包括的标签位置信息确定标签极坐标参数；基于预测极坐标参数以及所述标签极坐标参数确定所述初始网络模型的位置损失值，基于所述位置损失值更新所述初始网络模型的网络参数，得到所述目标网络模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至8任一项中所述的方法的步骤。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
CN202111496567.9A 2021-12-08 2021-12-08 属性信息的确定方法、装置、存储介质及电子装置 Pending CN114219073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111496567.9A CN114219073A (zh) 2021-12-08 2021-12-08 属性信息的确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111496567.9A CN114219073A (zh) 2021-12-08 2021-12-08 属性信息的确定方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN114219073A true CN114219073A (zh) 2022-03-22

Family

ID=80700469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111496567.9A Pending CN114219073A (zh) 2021-12-08 2021-12-08 属性信息的确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114219073A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351205A (zh) * 2023-10-23 2024-01-05 中国人民解放军陆军工程大学 一种图像结构化信息提取方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351205A (zh) * 2023-10-23 2024-01-05 中国人民解放军陆军工程大学 一种图像结构化信息提取方法

Similar Documents

Publication Publication Date Title
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN111444921A (zh) 划痕缺陷检测方法、装置、计算设备和存储介质
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
CN109711416B (zh) 目标识别方法、装置、计算机设备和存储介质
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN108986075A (zh) 一种优选图像的判断方法及装置
CN112287912A (zh) 基于深度学习的车道线检测方法以及装置
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN113240623B (zh) 一种路面病害检测方法及装置
CN115601332A (zh) 一种基于语义分割的嵌入式指纹模块外观检测方法
Xing et al. Traffic sign recognition using guided image filtering
CN110796230A (zh) 卷积神经网络的训练及使用方法、设备及存储介质
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN113255580A (zh) 抛洒物识别、车辆抛洒滴漏识别方法和装置
Zhang et al. Image-based approach for parking-spot detection with occlusion handling
CN114219073A (zh) 属性信息的确定方法、装置、存储介质及电子装置
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN115512098A (zh) 一种桥梁电子化巡检系统及巡检方法
CN111968145B (zh) 箱式结构识别方法、装置、电子设备及存储介质
CN114998570A (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination