CN117274953A - 一种车辆和行人属性识别方法系统、设备及介质 - Google Patents

一种车辆和行人属性识别方法系统、设备及介质 Download PDF

Info

Publication number
CN117274953A
CN117274953A CN202311281601.XA CN202311281601A CN117274953A CN 117274953 A CN117274953 A CN 117274953A CN 202311281601 A CN202311281601 A CN 202311281601A CN 117274953 A CN117274953 A CN 117274953A
Authority
CN
China
Prior art keywords
vehicle
pedestrian
attribute
data
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311281601.XA
Other languages
English (en)
Inventor
倪浩杰
倪浩文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Houpu Intelligent Technology Foshan Co ltd
Shenzhen Houpu Technology Development Co ltd
Original Assignee
Houpu Intelligent Technology Foshan Co ltd
Shenzhen Houpu Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Houpu Intelligent Technology Foshan Co ltd, Shenzhen Houpu Technology Development Co ltd filed Critical Houpu Intelligent Technology Foshan Co ltd
Priority to CN202311281601.XA priority Critical patent/CN117274953A/zh
Publication of CN117274953A publication Critical patent/CN117274953A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车辆和行人属性识别方法系统、设备及介质，包括采集原始图像，通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；将所述行人属性标签和所述车辆属性标签集成至原始图像中。本申请解决了现有方法中的多尺度问题，尤其是对小目标、残缺目标存在漏检或误检的情况，提高了图像处理的效率和识别结果准确性。

Description

一种车辆和行人属性识别方法系统、设备及介质
技术领域
本申请涉及自动驾驶技术领域，尤其是涉及一种车辆和行人属性识别方法系统、设备及介质。
背景技术
随着人工智能的快速发展，作为计算机视觉领域的一个分支，目标检测技术取得了许多突破性成果。得益于技术的突破，目标检测技术开始逐渐向实际应用迈进，被广泛应用于自动驾驶、视频监控和国防军事等多个领域。对于自动驾驶，快速准确地对行人车辆进行识别是保障自动驾驶安全性的重要环节。虽然现阶段行人车辆检测技术已经取得了长足的发展，但是仍然存在一些问题。首先，对于自动驾驶的交通场景，目标检测算法更多的需要部署在边缘和移动设备中，这对于设备的算力和内存来说都是一个挑战。现有的许多方法体积大、检测速度较慢，无法兼顾准确性和实时性的需求，对检测结果也没有任何区分度。
发明内容
本申请提供了一种车辆和行人属性识别方法系统、设备及介质，能够提高车辆和行人检测的准确性。
第一方面，本申请提供一种车辆和行人属性识别方法，采用如下的技术方案：
一种车辆和行人属性识别方法，包括：
采集原始图像，通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；
将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；
将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；
将所述行人属性标签和所述车辆属性标签集成至原始图像中。
进一步地，上述行人原始数据包括经所述目标检测算法识别出的行人图像及所述行人图像在原始图像中的坐标；所述车辆原始数据包括经所述目标检测算法识别出的车辆图像及所述车辆图像在原始图像中的坐标。
进一步地，上述目标检测算法为yolov5目标检测算法，所述yolov5目标检测算法的训练步骤包括：
将带有标注的行人车辆历史数据集划分为训练集、测试集和验证集，其中行人车辆历史数据集包括历史行人数据集和历史车辆数据集；
通过k-means聚类方法对所述训练集中的目标框进行聚类分析，得到先验框尺寸；
使用sigmoid损失函数替代所述yolov5目标检测算法中的CIOU损失函数，其中，所述sigmoid损失函数通过随机梯度下降算法进行迭代运算，直到sigmoid损失函数达到目标阈值，再替代所述yolov5目标检测算法中的CIOU损失函数；
通过所述训练集对所述yolov5目标检测算法进行训练，直到所述yolov5目标检测算法经所述测试集测试后，与所述验证集的偏差小于预设误差，停止训练所述yolov5目标检测算法。
进一步地，上述行人属性标签包括：第一类型属性和若干个第一行为预测属性；
所述车辆属性标签包括：第二类型属性和若干个第二行为预测属性。
进一步地，上述行人属性识别网络为ResNet50卷积神经网络，所述ResNet50卷积神经网络的预训练包括以下步骤：
对历史行人数据集进行标注，得到第一标注数据，所述第一标注数据包括历史行人数据集中行人的第一类型、第一距离、第一姿态、第一残缺和第一行为；
所述第一标注数据输入所述ResNet50卷积神经网络后，依次进行卷积、正则化、激活函数和最大池化计算，得到第一行为预测属性；
重复上述步骤，直到所述第一行为预测属性和所述第一行为之间的差值收敛至目标阈值，结束训练。
进一步地，上述车辆属性识别网络为ResNet50卷积神经网络，所述ResNet50卷积神经网络的预训练包括以下步骤：
对历史车辆数据集进行标注，得到第二标注数据，所述第一标注数据包括历史车辆数据集中车辆的第二类型、第二距离、第二姿态、第二残缺和第二行为；
所述第二标注数据输入所述ResNet50卷积神经网络后，依次进行卷积、正则化、激活函数和最大池化计算，得到第二行为预测属性；
重复上述步骤，直到所述第二行为预测属性和所述第二行为之间的差值收敛至目标阈值，结束训练。
进一步地，上述行人车辆历史数据集包括注释后的coco数据集、Market-1501数据集和/或DukeMTMC-relD数据集。
第二方面，本申请提供一种车辆和行人属性识别系统，采用如下的技术方案：
一种车辆和行人属性识别系统，应用上述的车辆和行人属性识别方法，包括：
采集模块，用于采集原始图像和行人车辆历史数据集；
目标检测模块，用于通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；
属性识别模块，用于将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；
输出模块，用于将所述行人属性标签和所述车辆属性标签集成至原始图像中。
第三方面，本申请提供一种计算机设备，采用如下的技术方案：
一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：
本申请提供了一种车辆和行人属性识别方法系统、设备及介质，首先使用目标检测算法，例如R-CNN算法、SSD算法、YOLO算法等，将视频中的行人、车辆检测出来，得到人和车在视频中具体的坐标位置后将其裁剪，分别送入车辆属性识别、行人属性识别的网络中，经过推理后得到人、车的多种属性，然后将得到的信息在原视频中展示或进行进一步地处理，解决了现有方法中的多尺度问题，尤其是对小目标、残缺目标存在漏检或误检的情况，提高了图像处理的效率和识别结果准确性。
附图说明
图1是本申请实施方式中车辆和行人属性识别方法流程示意图。
图2是本申请实施方式中车辆和行人属性识别装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例公开一种车辆和行人属性识别方法，采用如下的技术方案：
参照图1，一种车辆和行人属性识别方法，包括：
S101：采集原始图像，通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；
在本实施方式中，在自动驾驶的过程中，首先需要对原始图像进行采集，原始图像可以通过车辆的摄像头等图像采集装置进行采集和传输。目标检测算法可以是R-CNN算法、SSD算法、YOLO算法等，通过目标检测算法，可以将视频图像中的行人、车辆检测出来，得到人和车在视频中具体的坐标位置后将其裁剪，即可得到行人原始数据和车辆原始数据。
在本申请的其中一种实施方式中，目标检测算法为yolov5目标检测算法，所述yolov5目标检测算法的训练步骤包括：
将带有标注的行人车辆历史数据集划分为训练集、测试集和验证集，其中行人车辆历史数据集包括历史行人数据集和历史车辆数据集；
通过k-means聚类方法对所述训练集中的目标框进行聚类分析，得到先验框尺寸；
使用sigmoid损失函数替代所述yolov5目标检测算法中的CIOU损失函数，其中，所述sigmoid损失函数通过随机梯度下降算法进行迭代运算，直到sigmoid损失函数达到目标阈值，再替代所述yolov5目标检测算法中的CIOU损失函数；
通过所述训练集对所述yolov5目标检测算法进行训练，直到所述yolov5目标检测算法经所述测试集测试后，与所述验证集的偏差小于预设误差，停止训练所述yolov5目标检测算法。
在本实施方式中，yolov5目标检测算法主要包括四层结构，分别是输入端：Mosaic数据增强、自适应锚框计算、自适应图片缩放；Backbone：Focus结构，CSP结构；Neck：FPN+PAN结构；Prediction：GIOU_Loss，主要应用于目标较大的场景下的检测，yolov5目标检测算法可以基于历史数据进行多尺度训练，很好的解决了现有的方法不能解决的多尺度问题，尤其对于小目标存在漏检或误检现象。通过k-means聚类方法可以重新聚类生成先验框尺寸，做到了对行人和车辆的自适应锚框，提高了算法的效率，也减少了对显存的占用。行人车辆历史数据集可以使用开源的coco数据集，在检测时，在coco80类中，人的类别为person，车的类别有car、bus、truck、bicycle，将其他类别注释掉，只保留人和车的类别即可。当然也可以用其他的检测算法，只要时实性能够满足即可，那么在这一步需要做的是，使用yolov5将行人、车辆检测并按照坐标将其裁剪出来，用于后面的属性识别。
在本实施方式中，sigmoid损失函数的计算公式如下：
其中，Loss表示所述sigmoid损失函数，N表示样本总数，N为正整数；M表示属性总数，M为正整数；yij表示第个i样本中第j种属性的标签，logitsij表示第个i样本中第j种属性的预测值，δ(logitsij)表示sigmoid激活函数，log[]表示对数函数。
在本实施方式中，随机梯度下降法的基本公式如下：
其中，θt表示第t次迭代后的模型参数，ηt表示学习率，fi(θt)表示损失函数的第i个样本的梯度。在每次迭代中，随机梯度下降法会随机选择一个样本，并使用该样本的梯度来更新模型参数。
S102：将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；
在本实施方式中，行人属性标签包括：第一类型属性和若干个第一行为预测属性。第一类型属性可以是以行人的性别、年龄、身高等特征划分的行人类型所代表的属性标签，第一行为预测属性是基于行人的类型(第一类型)、行人与车辆的距离(第一距离)、行人的运动姿态(第一姿态)、行人图像的不完整度(第一残缺)等数据进行模拟预测，得到的对行人行为的预测结果所生成的属性标签。
在本申请的其中一个实施方式中，行人属性识别网络为ResNet50卷积神经网络，所述ResNet50卷积神经网络的预训练包括以下步骤：
对历史行人数据集进行标注，得到第一标注数据，所述第一标注数据包括历史行人数据集中行人的第一类型、第一距离、第一姿态、第一残缺和第一行为；
所述第一标注数据输入所述ResNet50卷积神经网络后，依次进行卷积、正则化、激活函数和最大池化计算，得到第一行为预测属性；
重复上述步骤，直到所述第一行为预测属性和所述第一行为之间的差值收敛至目标阈值，结束训练。
在本实施方式中，历史行人数据集可以使用coco数据集，只保留coco数据集中类别为person的数据，也可以Market-1501以及DukeMTMC-relD数据集。其中，第一行为特指行人相对于本车辆的行为，例如走向车辆、与车辆预计行驶轨迹重叠等行为。
在本实施方式中，Resnet50网络中包含了49个卷积层、一个全连接层。Resnet50网络结构可以分成七个部分，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差块，图中的绿色图块不会改变残差块的尺寸，只用于改变残差块的维度。在Resnet50网络结构中，残差块都有三层卷积，那网络总共有1+3×(3+4+6+3)＝49个卷积层，加上最后的全连接层总共是50层，这也是Resnet50名称的由来。网络的输入为224×224×3，经过前五部分的卷积计算，输出为7×7×2048，池化层会将其转化成一个特征向量，最后分类器会对这个特征向量进行计算并输出类别概率。
S103：将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；
在本实施方式中，车辆属性识别网络为ResNet50卷积神经网络，所述ResNet50卷积神经网络的预训练包括以下步骤：
对历史车辆数据集进行标注，得到第二标注数据，所述第一标注数据包括历史行人数据集中行人的第二类型、第二距离、第二姿态、第二残缺和第二行为；
所述第二标注数据输入所述ResNet50卷积神经网络后，依次进行卷积、正则化、激活函数和最大池化计算，得到第二行为预测属性；
重复上述步骤，直到所述第二行为预测属性和所述第二行为之间的差值收敛至目标阈值，结束训练。
其中，第二类型为车辆的类型，第二距离为其它车辆与本车辆的最近距离，第二姿态为其它车辆的行驶姿态，第二残缺为图像中其它车辆的残缺部分，第二行为指其它车辆相对于本车辆的行为，例如并道、转向等行为。
S104：将所述行人属性标签和所述车辆属性标签集成至原始图像中。
在本实施方式中，行人属性标签和车辆属性标签在原始图像中体现为可视化标签，既实时显示在车辆的屏幕上，又可以实时传输到数据处理装置中进行进一步处理。
本申请实施例还公开一种车辆和行人属性识别系统。
一种车辆和行人属性识别系统，应用上述的车辆和行人属性识别方法，包括：
采集模块，用于采集原始图像和行人车辆历史数据集；
目标检测模块，用于通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；
属性识别模块，用于将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；
输出模块，用于将所述行人属性标签和所述车辆属性标签集成至原始图像中。
本申请实施例的车辆和行人属性识别系统能够实现上述车辆和行人属性识别方法的任一种方法，且车辆和行人属性识别系统中各个模块的具体工作过程可参考上述方法实施例中的对应过程。
在本申请所提供的几个实施例中，应该理解到，所提供的方法和系统，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例还公开一种计算机设备。
计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的xx方法。
本申请实施例还公开一种计算机可读存储介质。
计算机可读存储介质，存储有能够被处理器加载并执行如上述的xx方法中任一种方法的计算机程序。
其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
由上可见，本申请提供了一种车辆和行人属性识别方法系统、设备及介质，首先使用目标检测算法，例如R-CNN算法、SSD算法、YOLO算法等，将视频中的行人、车辆检测出来，得到人和车在视频中具体的坐标位置后将其裁剪，分别送入车辆属性识别、行人属性识别的网络中，经过推理后得到人、车的多种属性，然后将得到的信息在原视频中展示或进行进一步地处理，解决了现有方法中的多尺度问题，尤其是对小目标、残缺目标存在漏检或误检的情况，通过改进yolov5目标检测算法，提高了目标检测的检测速度，能够满足自动驾驶的实时性，分别训练行人识别网络和车辆识别网络，可以对原始图像检测出的车辆数据和行人数据并行处理，识别精准。
需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种车辆和行人属性识别方法，其特征在于，包括：
采集原始图像，通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；
将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；
将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；
将所述行人属性标签和所述车辆属性标签集成至原始图像中。
2.根据权利要求1所述的车辆和行人属性识别方法，其特征在于，所述行人原始数据包括经所述目标检测算法识别出的行人图像及所述行人图像在原始图像中的坐标；所述车辆原始数据包括经所述目标检测算法识别出的车辆图像及所述车辆图像在原始图像中的坐标。
3.根据权利要求1所述的车辆和行人属性识别方法，其特征在于，所述目标检测算法为yolov5目标检测算法，所述yolov5目标检测算法的训练步骤包括：
将带有标注的行人车辆历史数据集划分为训练集、测试集和验证集，其中行人车辆历史数据集包括历史行人数据集和历史车辆数据集；
通过k-means聚类方法对所述训练集中的目标框进行聚类分析，得到先验框尺寸；
使用sigmoid损失函数替代所述yolov5目标检测算法中的CIOU损失函数，其中，所述sigmoid损失函数通过随机梯度下降算法进行迭代运算，直到sigmoid损失函数达到目标阈值，再替代所述yolov5目标检测算法中的CIOU损失函数；
通过所述训练集对所述yolov5目标检测算法进行训练，直到所述yolov5目标检测算法经所述测试集测试后，与所述验证集的偏差小于预设误差，停止训练所述yolov5目标检测算法。
4.根据权利要求1-3中任一项所述的车辆和行人属性识别方法，其特征在于，所述行人属性标签包括：第一类型属性和若干个第一行为预测属性；
所述车辆属性标签包括：第二类型属性和若干个第二行为预测属性。
5.根据权利要求4所述的车辆和行人属性识别方法，其特征在于，所述行人属性识别网络为ResNet50卷积神经网络，所述ResNet50卷积神经网络的预训练包括以下步骤：
对历史行人数据集进行标注，得到第一标注数据，所述第一标注数据包括历史行人数据集中行人的第一类型、第一距离、第一姿态、第一残缺和第一行为；
所述第一标注数据输入所述ResNet50卷积神经网络后，依次进行卷积、正则化、激活函数和最大池化计算，得到第一行为预测属性；
重复上述步骤，直到所述第一行为预测属性和所述第一行为之间的差值收敛至目标阈值，结束训练。
6.根据权利要求4所述的车辆和行人属性识别方法，其特征在于，所述车辆属性识别网络为ResNet50卷积神经网络，所述ResNet50卷积神经网络的预训练包括以下步骤：
对历史车辆数据集进行标注，得到第二标注数据，所述第一标注数据包括历史车辆数据集中车辆的第二类型、第二距离、第二姿态、第二残缺和第二行为；
所述第二标注数据输入所述ResNet50卷积神经网络后，依次进行卷积、正则化、激活函数和最大池化计算，得到第二行为预测属性；
重复上述步骤，直到所述第二行为预测属性和所述第二行为之间的差值收敛至目标阈值，结束训练。
7.根据权利要求3所述的车辆和行人属性识别方法，其特征在于，所述行人车辆历史数据集包括注释后的coco数据集、Market-1501数据集和/或DukeMTMC-relD数据集。
8.一种车辆和行人属性识别系统，应用权利要求1-7中任一项所述的车辆和行人属性识别方法，其特征在于，包括：
采集模块，用于采集原始图像和行人车辆历史数据集；
目标检测模块，用于通过目标检测算法识别所述原始图像中的行人和车辆，得到行人原始数据和车辆原始数据；
属性识别模块，用于将行人原始数据输入预训练后的行人属性识别网络，得到行人属性标签；将车辆原始数据输入预训练后的车辆属性识别网络，得到车辆属性标签；
输出模块，用于将所述行人属性标签和所述车辆属性标签集成至原始图像中。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序用于实现如权利要求1-7中任一项所述的方法。
10.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。
CN202311281601.XA 2023-09-28 2023-09-28 一种车辆和行人属性识别方法系统、设备及介质 Pending CN117274953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311281601.XA CN117274953A (zh) 2023-09-28 2023-09-28 一种车辆和行人属性识别方法系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311281601.XA CN117274953A (zh) 2023-09-28 2023-09-28 一种车辆和行人属性识别方法系统、设备及介质

Publications (1)

Publication Number Publication Date
CN117274953A true CN117274953A (zh) 2023-12-22

Family

ID=89214028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311281601.XA Pending CN117274953A (zh) 2023-09-28 2023-09-28 一种车辆和行人属性识别方法系统、设备及介质

Country Status (1)

Country Link
CN (1) CN117274953A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510000A (zh) * 2018-03-30 2018-09-07 北京工商大学 复杂场景下行人细粒度属性的检测与识别方法
CN109284733A (zh) * 2018-10-15 2019-01-29 浙江工业大学 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
US20200090004A1 (en) * 2018-09-14 2020-03-19 Toyota Jidosha Kabushiki Kaisha Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium
CN112232231A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 行人属性的识别方法、系统、计算机设备和存储介质
CN113283404A (zh) * 2021-07-22 2021-08-20 新石器慧通（北京）科技有限公司 行人属性识别方法、装置、电子设备及存储介质
CN114429552A (zh) * 2022-01-21 2022-05-03 北京有竹居网络技术有限公司 对象属性识别方法、装置、可读存储介质及电子设备
CN115761703A (zh) * 2022-12-21 2023-03-07 中移动信息技术有限公司 车辆识别模型训练方法、车辆识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510000A (zh) * 2018-03-30 2018-09-07 北京工商大学 复杂场景下行人细粒度属性的检测与识别方法
US20200090004A1 (en) * 2018-09-14 2020-03-19 Toyota Jidosha Kabushiki Kaisha Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium
CN109284733A (zh) * 2018-10-15 2019-01-29 浙江工业大学 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN112232231A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 行人属性的识别方法、系统、计算机设备和存储介质
CN113283404A (zh) * 2021-07-22 2021-08-20 新石器慧通（北京）科技有限公司 行人属性识别方法、装置、电子设备及存储介质
CN114429552A (zh) * 2022-01-21 2022-05-03 北京有竹居网络技术有限公司 对象属性识别方法、装置、可读存储介质及电子设备
CN115761703A (zh) * 2022-12-21 2023-03-07 中移动信息技术有限公司 车辆识别模型训练方法、车辆识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
X_IMAGINE: "YOLO-V5 系列算法和代码解析（五）—— 损失函数", Retrieved from the Internet <URL:https://blog.csdn.net/kxh123456/article/details/127571352?spm=1001.2014.3001.5502> *
三叔家的猫: "智慧城市交通系列之行人、车辆属性识别方案设计", Retrieved from the Internet <URL:https://blog.csdn.net/qq_39056987/article/details/116905461> *

Similar Documents

Publication Publication Date Title
CN109447034B (zh) 基于YOLOv3网络的自动驾驶中交通标识检测方法
Alghmgham et al. Autonomous traffic sign (ATSR) detection and recognition using deep CNN
US11676365B2 (en) Explainable artificial intelligence (AI) based image analytic, automatic damage detection and estimation system
CN109117701B (zh) 基于图卷积的行人意图识别方法
CN112288770A (zh) 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN112016467B (zh) 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN116052026B (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN112766170B (zh) 基于簇类无人机图像的自适应分割检测方法及装置
CN111428664A (zh) 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
Fan et al. Covered vehicle detection in autonomous driving based on faster rcnn
CN113052071A (zh) 危化品运输车驾驶员分心行为快速检测方法及系统
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
Zhang et al. Bus passenger flow statistics algorithm based on deep learning
CN116311154A (zh) 一种基于YOLOv5模型优化的车辆检测与识别方法
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
CN117274953A (zh) 一种车辆和行人属性识别方法系统、设备及介质
CN114898454A (zh) 一种神经网络模型的训练方法、装置、电子设备及介质
Priya et al. Vehicle Detection in Autonomous Vehicles Using Computer Vision Check for updates
Min et al. Vehicle detection method based on deep learning and multi-layer feature fusion
Al Khafaji et al. Traffic Signs Detection and Recognition Using A combination of YOLO and CNN
CN112733578A (zh) 车辆重识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination