CN115375978A - 行为信息的确定方法、装置、存储介质及电子装置 - Google Patents

行为信息的确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN115375978A
CN115375978A CN202211322667.4A CN202211322667A CN115375978A CN 115375978 A CN115375978 A CN 115375978A CN 202211322667 A CN202211322667 A CN 202211322667A CN 115375978 A CN115375978 A CN 115375978A
Authority
CN
China
Prior art keywords
determining
feature
image
target
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211322667.4A
Other languages
English (en)
Other versions
CN115375978B (zh
Inventor
李朝光
杨德城
林亦宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shanma Zhijian Technology Co ltd
Hangzhou Shanma Zhiqing Technology Co Ltd
Shanghai Supremind Intelligent Technology Co Ltd
Original Assignee
Beijing Shanma Zhijian Technology Co ltd
Hangzhou Shanma Zhiqing Technology Co Ltd
Shanghai Supremind Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shanma Zhijian Technology Co ltd, Hangzhou Shanma Zhiqing Technology Co Ltd, Shanghai Supremind Intelligent Technology Co Ltd filed Critical Beijing Shanma Zhijian Technology Co ltd
Priority to CN202211322667.4A priority Critical patent/CN115375978B/zh
Publication of CN115375978A publication Critical patent/CN115375978A/zh
Application granted granted Critical
Publication of CN115375978B publication Critical patent/CN115375978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种行为信息的确定方法、装置、存储介质及电子装置，其中，该方法包括：确定第一图像中包括的目标对象的检测框对应的第二图像，其中，第一图像为对第一对象进行拍摄所得到的图像，目标对象为第一对象关联的对象；将第二图像输入至目标网络模型，确定目标对象的属性信息；基于属性信息以及第二图像的数量确定第一对象的行为信息通过本发明，解决了相关技术中存在的确定行为信息不准确的问题，达到提高确定行为信息准确率的效果。

Description

行为信息的确定方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及计算机领域，具体而言，涉及一种行为信息的确定方法、装置、存储介质及电子装置。
背景技术
随着非机动车的使用量日益增多，对交通管理的压力也越来越大，城市中由于非机动车违章造成的交通事故也频频发生，对非机动车的合理有效管理越来越迫切。智能监控技术已经在交通管理领域广泛应用，比如：车辆检测，车辆识别，流量统计，违章抓拍等。然而利用智能监控系统实现非机动车违章行为抓拍取证的方法还没有得到广泛的重视。
在相关技术中，对非机动车的安全管理主要还是依靠交警现场管理和结合摄像头信息进行人工统计等方法，而当前的分类算法虽然能区分大部分特征差异显著的目标，但是对于头盔情况这种细微差距的目标不够精确，对于交警取证来说这些分类算法的精度还是不够严谨的。
由此可知，相关技术中存在确定行为信息不准确的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种行为信息的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的确定行为信息不准确的问题。
根据本发明的一个实施例，提供了一种行为信息的确定方法，包括：确定第一图像中包括的目标对象的检测框对应的第二图像，其中，所述第一图像为对第一对象进行拍摄所得到的图像，所述目标对象为所述第一对象关联的对象；将第二图像输入至目标网络模型，确定所述目标对象的属性信息，其中，所述目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定所述训练图像的第一特征；将所述训练图像输入至所述初始网络模型中包括的第二初始子模型，确定所述训练图像的第二特征；基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值；基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值，基于所述目标损失值更新所述第一初始子模型的网络参数，得到所述目标网络模型，其中，所述第二初始子模型为预先训练完成的模型；基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息。
根据本发明的另一个实施例，提供了一种行为信息的确定装置，包括：第一确定模块，用于确定第一图像中包括的目标对象的检测框对应的第二图像，其中，所述第一图像为对第一对象进行拍摄所得到的图像，所述目标对象为所述第一对象关联的对象；第二确定模块，用于将第二图像输入至目标网络模型，确定所述目标对象的属性信息，其中，所述目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定所述训练图像的第一特征；将所述训练图像输入至所述初始网络模型中包括的第二初始子模型，确定所述训练图像的第二特征；基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值；基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值，基于所述目标损失值更新所述第一初始子模型的网络参数，得到所述目标网络模型，其中，所述第二初始子模型为预先训练完成的模型；第三确定模块，用于基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，确定第一图像中包括的目标对象的检测框对应的第二图像，将第二图像输入至目标网络模型中，以确定出目标对象的属性信息，根据第二图像的数量以及属性信息确定第一对象的行为信息。其中，目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定训练图像的第一特征；将训练图像输入至初始网络模型中包括的预先训练好的第二初始子模型，确定训练图像的第二特征；基于第一特征以及第二特征确定初始网络模型的第一损失值；基于第一特征以及训练图像的标签结果确定初始网络模型的第二损失值，基于第一损失值以及第二损失值确定初始网络模型的目标损失值，基述目标损失值更新第一初始子模型的网络参数，得到目标网络模型。由于在确定第一对象的行为信息时，可以根据与第一对象关联的第二对象的图像的数量以及第一对象的属性信息确定。属性信息是通过由初始网络模型训练得到目标网络模型确定的，训练初始网络模型时，利用预先训练好的第二初始子模型提取训练图像的第二特征，第一初始子模型利用第二特征进行继续学习，使得第一初始子模型能够学习到显著特征，得到的目标网络模型粒度更细，因此，可以解决相关技术中存在的确定行为信息不准确的问题，达到提高确定行为信息准确率的效果。
附图说明
图1是本发明实施例的一种行为信息的确定方法的移动终端的硬件结构框图；
图2是根据本发明实施例的行为信息的确定方法的流程图；
图3是根据本发明实施例的确定目标对象的检测框的流程示意图；
图4是根据本发明实施例的目标对象的属性信息确定流程示意图；
图5是根据本发明实施例的目标网络模型结构示意图；
图6是根据本发明具体实施例的行为信息的确定方法流程图；
图7是根据本发明实施例的行为信息的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种行为信息的确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的行为信息的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种行为信息的确定方法，图2是根据本发明实施例的行为信息的确定方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，确定第一图像中包括的目标对象的检测框对应的第二图像，其中，所述第一图像为对第一对象进行拍摄所得到的图像，所述目标对象为所述第一对象关联的对象；
步骤S204，将第二图像输入至目标网络模型，确定所述目标对象的属性信息，其中，所述目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定所述训练图像的第一特征；将所述训练图像输入至所述初始网络模型中包括的第二初始子模型，确定所述训练图像的第二特征；基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值；基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值，基于所述目标损失值更新所述第一初始子模型的网络参数，得到所述目标网络模型，其中，所述第二初始子模型为预先训练完成的模型；
步骤S206，基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息。
在上述实施例中，第一图像可以是对第一对象进行拍摄所得到的图像，第一对象可以是车辆，如非机动车。目标对象可以是第一对象中承载的对象，如驾驶非机动车的驾驶员以及非机动车载的人。在得到第一图像后，可以对第一图像进行检测，确定第一图像中包括的目标对象的检测框。其中，目标对象的检测框可以通过检测网络模型确定，检测网络模型可以是通过多组训练数据训练得到的，多组训练数据中的每组训练数据均包括对象以及对象的位置。
在上述实施例中，检测网络模型可以是非机动车车载人员检测模型，可以将非机动车特写图输入到模型中得到非机动车车载人员检测框。其中，确定目标对象的检测框的流程示意图可参见附图3，如图3所示，模型的输入为非机动车特写图（即第一图像，一般来源于非机动车检测模型），输出为带检测框结果的非机动车特写图（即第二图像）。这里的检测类别只有车载人员（驾驶员和乘客两部分）。训练的时候只需要将标注好的非机动车数据集输入到检测模型中学习即可，输出数据格式同输入图片格式：带标注框的图片，标注类别为车载人员，标注框的范围可以是只框乘客腰部以上的部分。
在上述实施例中，目标对象的属性信息可以包括戴头盔、不戴头盔。其他情况等，其中，其他情况表示头盔遮挡或者看不清等特殊情况，目标对象的属性信息确定流程示意图可参见附图4。目标网络模型可以是分类模型，可以将目标对象的第二图像通过分类模型进行分析得到该乘客的戴头盔情况。目标网络模型中可以包括第一子模型和第二子模型，第二子模型可以是老师模型，第一子模型可以是学生模型，第二子模型可以为复杂模型，第一子模型可以是简单模型，通过第二子模型可以提取出第二图像中的相似特征，并将相似特征输入至第一子模型中，使得student网络能在目标特征相似的情况下仍然能学习到显著的特征来区别目标并对目标进行正确的分类。
在上述实施例中，从模型backbone提取到的特征可以用FC,H,W表示，即第一特征和第二特征可以表示为FC,H,W，其中C，H，W分别表示特征的通道数，高和宽。可以根据第一特征和第二特征确定第一损失值，根据第二特征和标签结果确定第二损失值，根据第一损失值和第二损失值确定目标损失值。其中，目标网络模型结构示意图可参见附图5。
其中，上述步骤的执行主体可以为处理器等，但不限于此。
通过本发明，确定第一图像中包括的目标对象的检测框对应的第二图像，将第二图像输入至目标网络模型中，以确定出目标对象的属性信息，根据第二图像的数量以及属性信息确定第一对象的行为信息。其中，目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定训练图像的第一特征；将训练图像输入至初始网络模型中包括的预先训练好的第二初始子模型，确定训练图像的第二特征；基于第一特征以及第二特征确定初始网络模型的第一损失值；基于第一特征以及训练图像的标签结果确定初始网络模型的第二损失值，基于第一损失值以及第二损失值确定初始网络模型的目标损失值，基述目标损失值更新第一初始子模型的网络参数，得到目标网络模型。由于在确定第一对象的行为信息时，可以根据与第一对象关联的第二对象的图像的数量以及第一对象的属性信息确定。属性信息是通过由初始网络模型训练得到目标网络模型确定的，训练初始网络模型时，利用预先训练好的第二初始子模型提取训练图像的第二特征，第一初始子模型利用第二特征进行继续学习，使得第一初始子模型能够学习到显著特征，得到的目标网络模型粒度更细，因此，可以解决相关技术中存在的确定行为信息不准确的问题，达到提高确定行为信息准确率的效果。
在一个示例性实施例中，基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值包括：基于所述第一特征确定所述第二图像的第一空间注意力特征图；基于所述第二特征确定所述第二图像的第二空间注意力特征图；基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失值。在本实施例中，利用注意力机制从一个已经训练好的优秀的teacher模型中提取目标的显著特征让student学习，从而使得student网络能在目标特征相似的情况下仍然能学习到显著的特征来区别目标并对目标进行正确的分类。在确定第一损失值时，可以根据第一特征确定第二图像的第一空间注意力特征图，根据第二特征确定第二图像的第二空间注意力图，根据第一空间注意力特征图和第二空间注意力特征图确定第一损失值。
在一个示例性实施例中，基于所述第一特征确定所述第二图像的第一空间注意力特征图包括：针对所述第二图像中包括的每个目标像素点，均执行以下操作，确定每个所述目标像素点对应的第一空间注意力特征：确定所述第一特征中包括的所述目标像素点在每个通道的第一特征值，确定每个所述第一特征值的绝对值，得到多个第二特征值，确定多个第二特征值的第一平均值，将所述第一平均值确定为所述目标像素点的所述第一空间注意力特征；将每个所述目标像素点的所述空间注意力特征构成的特征图确定为所述第一空间注意力特征图；基于所述第二特征确定所述第二图像的第二空间注意力特征图包括：针对所述第二图像中包括的每个目标像素点，均执行以下操作，确定每个所述目标像素点对应的第二空间注意力特征：确定所述第二特征中包括的所述目标像素点在每个通道的第三特征值，确定每个所述第三特征值的绝对值，得到多个第四特征值，确定多个第四特征值的第二平均值，将所述第二平均值确定为所述目标像素点的所述第二空间注意力特征；将每个所述目标像素点的所述第二空间注意力特征构成的特征图确定为所述第二空间注意力特征图。在本实施例中，可以利用
Figure 369671DEST_PATH_IMAGE001
分别将teacher和student的backbone采集到的特征转化为空间注意力特征图Ss H,W和St H,W。其中，k表示特征的通道系数，C表示通道数，Fk,.,.表示特征图中包括的某个特征值，S即空间注意力特征。
在上述实施例中，由于特征图中的绝对值大小，即| Fk,.,.| 表示了该部分特征的重要性，因此，根据
Figure 427757DEST_PATH_IMAGE002
可以确定确定出特征图中的主要部分，得到空间注意力特征图。
在一个示例性实施例中，基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失值包括：针对所述第一特征中包括的每个第一子特征均执行以下操作：确定所述第一子特征与所述第二特征中包括的与所述第一子特征对应的第二子特征的差值的平方，得到多个平方值；将所述多个平方值的和确定为所述第一损失值。在本实施例中，可以根据L2损失函数来求teacher和student的空间注意力特征之间的差异。
在一个示例性实施例中，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值包括：确定所述第一损失值和所述第二损失值的和值；将所述和值确定为所述目标损失值。在本实施例中，在确定目标损失值时，可以将学生模型和老师模型的损失值之和确定为目标损失值。其中，目标损失值可以表示为
Figure 738653DEST_PATH_IMAGE003
。其中，Lkd表示第一损失值，Ltrain表示第二损失值。
在上述实施例中，还可以确定学生模型和老师模型对应的权重，并根据权重对第一损失值以及第二损失值进行加权求和，将加权求和的结果确定为目标损失值。
在一个示例性实施例中，确定第一图像中包括的目标对象的检测框对应的第二图像包括：利用检测网络模型识别所述第一图像，确定所述第一图像中包括的所述目标对象的目标区域的所述检测框；基于所述检测框从所述第一图像中确定出所述第二图像。在本实施例中，在确定第二图像时，可以将第一图像输入到模型中得到非机动车车载人员检测框，即第二图像。在进行模型训练时，可以在标注训练对象的检测框时，将训练对象的目标区域进行框选，将目标区域确定为训练对象的检测框位置。其中，目标区域可以为第二对象的腰部以上的部分。
在一个示例性实施例中，基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息包括：在所述属性信息中存在满足预定条件的目标属性信息的情况下，和/或所述第二图像的数量大于预定阈值的情况下，确定所述第一对象的行为信息为违章行为。在本实施例中，目标属性信息可以是不戴头盔，当检测到的属性信息中包括未佩戴头盔的属性信息时，确定属性信息中存在满足预定条件的目标属性信息，则认为第一对象的行为存在违章行为。或者，当第二图像的数量大于预定阈值时，认为第一对象存在违章行为。其中，预定阈值可以是1。或者二者同时存在时，认为第一对象存在违章行为。
在上述实施例中，在确定第一对象的行为信息后，若第一对象的行为信息为存在违章行为，则可以将第一图像以及行为信息上传至目标平台，交通管理平台。交通管理平台可以保存第一图像以及行为信息，并确定与第一对象绑定的联系方式，并通过该联系方式发送违章通知。
在一个示例性实施例中，基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值包括：基于所述第一特征确定预测结果；确定以目标常数为底，所述预测结果的对数；确定所述对数与所述标签结果的乘积；将所述乘积的相反数确定为所述第二损失值。在本实施例中，第二损失值可以利用交叉熵损失函数确定，即确定分类训练损失。
下面结合具体实施方式对行为信息的确定方法进行说明：
图6是根据本发明具体实施例的行为信息的确定方法流程图，如图6所示，将非机动车车载人员检测模型以及车载人员头盔情况分类模型进行组合，得到非机动车载人及不戴头盔行为智能取证系统。
系统输入为非机动车特写图（对应于上述第一图像，特写图可以直接从具有非机动车检测功能的监控系统中接入），具体运行流程如下：
一、首先，非机动车特写图进入非机动车车载人员检测模型得到车载人员的检测结果；
二、然后，会有两个分支：其一，车载人员的特写图会输入到车载人员头盔情况分类模型中分析戴头盔情况，其二，车载人员检测框情况会输入到载人逻辑判断模块基于检测的车载人员数量判断该非机动车是否存在载人违章行为，人数大于1则判定载人违章，否则没有违章；
三、接着，回到车载人员头盔情况分类模型，该模型输出车载人员戴头盔情况，再结合车上所有车载人员的戴头盔情况判定该非机动车是否存在不戴头盔的违章行为，判定逻辑如下：如果车上只有1名车载人员，则基于该车载人员的戴头盔情况判定该非机动车是否存在不戴头盔的违章行为；如果车上2名及以上车载人员，那么只要有1名车载人员存在不戴头盔的情况则判定该非机动车存在不戴头盔违章情况。
四、最后，将载人违章情况和不戴头盔违章情况结果及非机动车特写图打包上传到交通管理部门相关存储或者平台，方便后续继续处理。
在前述实施例中，基于深度学习非机动车车载人员检测模型，一种细粒度分类的模型训练方法，车载人员戴头盔行为分类模型和逻辑分析模块4个部分；通过检测模型得到非机动车车载人员的特写图，通过细粒度分类的模型训练方法能精准的得到车载人员的戴头盔情况，最后通过逻辑分析模块分析目标非机动车是否存在载人和不戴头盔等违章行为。所述系统用于执行上述方法。本发明提供的非机动车载人及不戴头盔行为智能取证方法，能够自动检测并分析出非机动车载人和不戴头盔的违章行为的发生并对违章行为进行取证保存，方便相关部门对非机动车进行安全出行管理。解决了以下问题：
1）现场管理只能在指定时间指定点位查岗，无法做到全城各个点位实时关注。
2）利用监控摄像头信息人工统计后再取证。需要调动大量人力资源来对摄像头采集的信息进行人工统计，工作效率地下，统计精度也受人为主观因素影响。
3）费时费力而且工作效率不高。
4）分类模型训练方法对头盔情况这种细粒度特征目标分类不够精确。
实现了：
1）结合智能监控系统取证更加高效，降低人工成本。
2）取证结果不受人为主观因素影响，取证结果更加客观公正和精确。
3）能实现全天所有点位24小时不间断分析取证。
4）提出细粒度分类模型训练方法，能提高小模型对如头盔情况分类 这种特征差异不明显的目标的分类精度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
在本实施例中还提供了一种行为信息的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的行为信息的确定装置的结构框图，如图7所示，该装置包括：
第一确定模块72，用于确定第一图像中包括的目标对象的检测框对应的第二图像，其中，所述第一图像为对第一对象进行拍摄所得到的图像，所述目标对象为所述第一对象关联的对象；
第二确定模块74，用于将第二图像输入至目标网络模型，确定所述目标对象的属性信息，其中，所述目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定所述训练图像的第一特征；将所述训练图像输入至所述初始网络模型中包括的第二初始子模型，确定所述训练图像的第二特征；基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值；基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值，基于所述目标损失值更新所述第一初始子模型的网络参数，得到所述目标网络模型，其中，所述第二初始子模型为预先训练完成的模型；
第三确定模块76，用于基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值：基于所述第一特征确定所述第二图像的第一空间注意力特征图；基于所述第二特征确定所述第二图像的第二空间注意力特征图；基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失值。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述第一特征确定所述第二图像的第一空间注意力特征图：针对所述第二图像中包括的每个目标像素点，均执行以下操作，确定每个所述目标像素点对应的第一空间注意力特征：确定所述第一特征中包括的所述目标像素点在每个通道的第一特征值，确定每个所述第一特征值的绝对值，得到多个第二特征值，确定多个第二特征值的第一平均值，将所述第一平均值确定为所述目标像素点的所述第一空间注意力特征；将每个所述目标像素点的所述空间注意力特征构成的特征图确定为所述第一空间注意力特征图；第二确定模块74可以通过如下方式实现基于所述第二特征确定所述第二图像的第二空间注意力特征图：针对所述第二图像中包括的每个目标像素点，均执行以下操作，确定每个所述目标像素点对应的第二空间注意力特征：确定所述第二特征中包括的所述目标像素点在每个通道的第三特征值，确定每个所述第三特征值的绝对值，得到多个第四特征值，确定多个第四特征值的第二平均值，将所述第二平均值确定为所述目标像素点的所述第二空间注意力特征；将每个所述目标像素点的所述第二空间注意力特征构成的特征图确定为所述第二空间注意力特征图。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失值：针对所述第一特征中包括的每个第一子特征均执行以下操作：确定所述第一子特征与所述第二特征中包括的与所述第一子特征对应的第二子特征的差值的平方，得到多个平方值；将所述多个平方值的和确定为所述第一损失值。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值：确定所述第一损失值和所述第二损失值的和值；将所述和值确定为所述目标损失值。
在一个示例性实施例中，第一确定模块72可以通过如下方式实现确定第一图像中包括的目标对象的检测框对应的第二图像：利用检测网络模型识别所述第一图像，确定所述第一图像中包括的所述目标对象的目标区域的所述检测框；基于所述检测框从所述第一图像中确定出所述第二图像。
在一个示例性实施例中，第三确定模块76可以通过如下方式实现基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息：在所述属性信息中存在满足预定条件的目标属性信息的情况下，和/或所述第二图像的数量大于预定阈值的情况下，确定所述第一对象的行为信息为违章行为。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值：基于所述第一特征确定预测结果；确定以目标常数为底，所述预测结果的对数；确定所述对数与所述标签结果的乘积；将所述乘积的相反数确定为所述第二损失值。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种行为信息的确定方法，其特征在于，包括：
确定第一图像中包括的目标对象的检测框对应的第二图像，其中，所述第一图像为对第一对象进行拍摄所得到的图像，所述目标对象为所述第一对象关联的对象；
将第二图像输入至目标网络模型，确定所述目标对象的属性信息，其中，所述目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定所述训练图像的第一特征；将所述训练图像输入至所述初始网络模型中包括的第二初始子模型，确定所述训练图像的第二特征；基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值；基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值，基于所述目标损失值更新所述第一初始子模型的网络参数，得到所述目标网络模型，其中，所述第二初始子模型为预先训练完成的模型；
基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息。
2.根据权利要求1所述的方法，其特征在于，基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值包括：
基于所述第一特征确定所述第二图像的第一空间注意力特征图；
基于所述第二特征确定所述第二图像的第二空间注意力特征图；
基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失值。
3.根据权利要求2所述的方法，其特征在于，
基于所述第一特征确定所述第二图像的第一空间注意力特征图包括：针对所述第二图像中包括的每个目标像素点，均执行以下操作，确定每个所述目标像素点对应的第一空间注意力特征：确定所述第一特征中包括的所述目标像素点在每个通道的第一特征值，确定每个所述第一特征值的绝对值，得到多个第二特征值，确定多个第二特征值的第一平均值，将所述第一平均值确定为所述目标像素点的所述第一空间注意力特征；将每个所述目标像素点的所述空间注意力特征构成的特征图确定为所述第一空间注意力特征图；
基于所述第二特征确定所述第二图像的第二空间注意力特征图包括：针对所述第二图像中包括的每个目标像素点，均执行以下操作，确定每个所述目标像素点对应的第二空间注意力特征：确定所述第二特征中包括的所述目标像素点在每个通道的第三特征值，确定每个所述第三特征值的绝对值，得到多个第四特征值，确定多个第四特征值的第二平均值，将所述第二平均值确定为所述目标像素点的所述第二空间注意力特征；将每个所述目标像素点的所述第二空间注意力特征构成的特征图确定为所述第二空间注意力特征图。
4.根据权利要求2所述的方法，其特征在于，基于所述第一空间注意力特征图以及所述第二空间注意力特征图确定所述第一损失值包括：
针对所述第一特征中包括的每个第一子特征均执行以下操作：
确定所述第一子特征与所述第二特征中包括的与所述第一子特征对应的第二子特征的差值的平方，得到多个平方值；
将所述多个平方值的和确定为所述第一损失值。
5.根据权利要求1所述的方法，其特征在于，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值包括：
确定所述第一损失值和所述第二损失值的和值；
将所述和值确定为所述目标损失值。
6.根据权利要求1所述的方法，其特征在于，确定第一图像中包括的目标对象的检测框对应的第二图像包括：
利用检测网络模型识别所述第一图像，确定所述第一图像中包括的所述目标对象的目标区域的所述检测框；
基于所述检测框从所述第一图像中确定出所述第二图像。
7.根据权利要求1所述的方法，其特征在于，基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息包括：
在所述属性信息中存在满足预定条件的目标属性信息的情况下，和/或所述第二图像的数量大于预定阈值的情况下，确定所述第一对象的行为信息为违章行为。
8.根据权利要求1所述的方法，其特征在于，基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值包括：
基于所述第一特征确定预测结果；
确定以目标常数为底，所述预测结果的对数；
确定所述对数与所述标签结果的乘积；
将所述乘积的相反数确定为所述第二损失值。
9.一种行为信息的确定装置，其特征在于，包括：
第一确定模块，用于确定第一图像中包括的目标对象的检测框对应的第二图像，其中，所述第一图像为对第一对象进行拍摄所得到的图像，所述目标对象为所述第一对象关联的对象；
第二确定模块，用于将第二图像输入至目标网络模型，确定所述目标对象的属性信息，其中，所述目标网络模型是通过如下方式训练得到的：将训练图像输入至初始网络模型中包括的第一初始子模型，确定所述训练图像的第一特征；将所述训练图像输入至所述初始网络模型中包括的第二初始子模型，确定所述训练图像的第二特征；基于所述第一特征以及所述第二特征确定所述初始网络模型的第一损失值；基于所述第一特征以及所述训练图像的标签结果确定所述初始网络模型的第二损失值，基于所述第一损失值以及所述第二损失值确定所述初始网络模型的目标损失值，基于所述目标损失值更新所述第一初始子模型的网络参数，得到所述目标网络模型，其中，所述第二初始子模型为预先训练完成的模型；
第三确定模块，用于基于所述属性信息以及所述第二图像的数量确定所述第一对象的行为信息。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
CN202211322667.4A 2022-10-27 2022-10-27 行为信息的确定方法、装置、存储介质及电子装置 Active CN115375978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211322667.4A CN115375978B (zh) 2022-10-27 2022-10-27 行为信息的确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211322667.4A CN115375978B (zh) 2022-10-27 2022-10-27 行为信息的确定方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN115375978A true CN115375978A (zh) 2022-11-22
CN115375978B CN115375978B (zh) 2023-02-03

Family

ID=84074287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211322667.4A Active CN115375978B (zh) 2022-10-27 2022-10-27 行为信息的确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN115375978B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200053334A1 (en) * 2016-10-14 2020-02-13 Lg Electronics Inc. Data processing method and device for adaptive image playing
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111368788A (zh) * 2020-03-17 2020-07-03 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111767954A (zh) * 2020-06-30 2020-10-13 苏州科达科技股份有限公司 车辆细粒度识别模型生成方法、系统、设备及存储介质
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备
CN113902999A (zh) * 2021-09-24 2022-01-07 青岛海信网络科技股份有限公司 一种跟踪方法、装置、设备及介质
CN114611634A (zh) * 2022-05-11 2022-06-10 上海闪马智能科技有限公司 一种行为类型的确定方法、装置、存储介质及电子装置
CN114821247A (zh) * 2022-06-30 2022-07-29 杭州闪马智擎科技有限公司 一种模型的训练方法、装置、存储介质及电子装置
US20220309762A1 (en) * 2019-06-21 2022-09-29 Adobe Inc. Generating scene graphs from digital images using external knowledge and image reconstruction
CN115187886A (zh) * 2022-03-16 2022-10-14 北京易华录信息技术股份有限公司 一种车辆违规行为检测方法、装置及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200053334A1 (en) * 2016-10-14 2020-02-13 Lg Electronics Inc. Data processing method and device for adaptive image playing
US20220309762A1 (en) * 2019-06-21 2022-09-29 Adobe Inc. Generating scene graphs from digital images using external knowledge and image reconstruction
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111368788A (zh) * 2020-03-17 2020-07-03 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111767954A (zh) * 2020-06-30 2020-10-13 苏州科达科技股份有限公司 车辆细粒度识别模型生成方法、系统、设备及存储介质
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备
CN113902999A (zh) * 2021-09-24 2022-01-07 青岛海信网络科技股份有限公司 一种跟踪方法、装置、设备及介质
CN115187886A (zh) * 2022-03-16 2022-10-14 北京易华录信息技术股份有限公司 一种车辆违规行为检测方法、装置及电子设备
CN114611634A (zh) * 2022-05-11 2022-06-10 上海闪马智能科技有限公司 一种行为类型的确定方法、装置、存储介质及电子装置
CN114821247A (zh) * 2022-06-30 2022-07-29 杭州闪马智擎科技有限公司 一种模型的训练方法、装置、存储介质及电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADIL AFZAL: "Automatic Helmet Violation Detection of Motorcyclists from Surveillance Videos using Deep Learning Approaches of computer Vision", 《ICAI》 *
张之云: "摩托车头盔佩戴检测算法研究综述", 《汽车文摘》 *

Also Published As

Publication number Publication date
CN115375978B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN111178272B (zh) 一种识别驾驶员行为的方法、装置及设备
CN108216252A (zh) 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN113155173B (zh) 感知性能评测方法、装置、电子装置和存储介质
CN111291916B (zh) 驾驶行为安全性预测方法、装置、电子设备及存储介质
CN110147707B (zh) 一种高精度车辆识别方法及系统
CN114611634B (zh) 一种行为类型的确定方法、装置、存储介质及电子装置
CN110838230B (zh) 一种移动视频监控方法、监控中心及系统
CN114495060B (zh) 一种道路交通标线识别方法及装置
Yang Comprehensive visibility indicator algorithm for adaptable speed limit control in intelligent transportation systems
CN113538907B (zh) 一种基于交通流分级的行车时间估计系统
CN114821247A (zh) 一种模型的训练方法、装置、存储介质及电子装置
Xu et al. A machine learning approach to vehicle occupancy detection
CN114241373A (zh) 一种端到端的车辆行为检测方法、系统、设备及存储介质
CN113723273A (zh) 一种车辆轨迹信息确定方法、装置及计算机设备
CN115375978B (zh) 行为信息的确定方法、装置、存储介质及电子装置
CN114998570B (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置
CN113850219B (zh) 一种数据收集方法、装置、交通工具及存储介质
CN113609956B (zh) 训练方法、识别方法、装置、电子设备以及存储介质
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN114743140A (zh) 一种基于人工智能技术的消防通道占用识别方法和装置
CN113537087A (zh) 一种智慧交通信息处理方法、装置及服务器
CN111291597B (zh) 一种基于图像的人群态势分析方法、装置、设备及系统
CN115713751A (zh) 疲劳驾驶检测方法、设备、存储介质及装置
CN113470012B (zh) 标线识别方法、装置、存储介质及电子装置
Singh et al. Evaluating the Performance of Ensembled YOLOv8 Variants in Smart Parking Applications for Vehicle Detection and License Plate Recognition under Varying Lighting Conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant