CN113505648B - 行人检测方法、装置、终端设备及存储介质 - Google Patents

行人检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN113505648B
CN113505648B CN202110650093.2A CN202110650093A CN113505648B CN 113505648 B CN113505648 B CN 113505648B CN 202110650093 A CN202110650093 A CN 202110650093A CN 113505648 B CN113505648 B CN 113505648B
Authority
CN
China
Prior art keywords
pedestrian
pedestrian detection
feature
sample
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110650093.2A
Other languages
English (en)
Other versions
CN113505648A (zh
Inventor
刘业鹏
胡淑萍
程骏
顾在旺
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202110650093.2A priority Critical patent/CN113505648B/zh
Publication of CN113505648A publication Critical patent/CN113505648A/zh
Application granted granted Critical
Publication of CN113505648B publication Critical patent/CN113505648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种行人检测方法、装置、终端设备及存储介质，该方法包括：根据行人检测模型中的编码器对样本行人图像进行特征提取，得到行人特征，根据行人检测模型中的特征增强网络中预设的卷积核，分别对行人特征进行反卷积处理，得到特征向量；根据特征向量和与样本行人图像对应的样本行人检测结果，分别确定行人检测模型的行人重识别损失值和行人检测损失值；根据行人重识别损失值和行人检测损失值对行人检测模型进行参数更新，直至行人检测模型收敛，将待检测图像输入收敛后的行人检测模型中进行行人检测，得到行人检测结果。本申请收敛后的行人检测模型能同时进行行人的检测和行人的重识别，提高了行人检测效率。

Description

行人检测方法、装置、终端设备及存储介质
技术领域
本申请涉及人工智能领域，尤其涉及一种行人检测方法、装置、终端设备及存储介质。
背景技术
行人检测是计算机视觉中最重要的任务之一。其目的是在图像或视频序列中准确定位行人。由于其在实际应用中的巨大价值，因此已经有很多研究工作对其进行了深入的研究。当前，行人检测已广泛应用于智能视觉系统中，例如自动驾驶，智能监控和道路场景理解。而基于深度学习的方法的应用大大提高了行人检测的性能。
现有的行人检测过程中，为提高行人检测效果，不仅需要对图像中的行人进行位置定位，还需要对定位后的行人进行重识别，导致对行人检测的效率较低。
发明内容
有鉴于此，本申请实施例提供了一种行人检测方法、装置、终端设备及存储介质，以解决现有技术中，行人检测效率低下的问题。
本申请实施例的第一方面提供了一种行人检测方法，包括：
将训练样本集中的训练样本所包括的样本行人图像输入行人检测模型，根据所述行人检测模型中的编码器对所述样本行人图像进行特征提取，得到行人特征，其中，所述训练样本集中的训练样本包括样本行人图像以及与样本行人图像对应的样本行人检测结果；
将所述行人特征输入所述行人检测模型中的特征增强网络，以及根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，所述特征增强网络中至少包括三个不同的卷积核；
根据所述特征向量和与所述样本行人图像对应的样本行人检测结果，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值；
根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，直至所述行人检测模型收敛；
获取待检测图像，并将所述待检测图像输入收敛后的所述行人检测模型中进行行人检测，得到行人检测结果。
进一步地，所述根据所述行人检测模型中的编码器对所述样本行人图像进行特征提取，得到行人特征，包括：
根据所述编码器中的第一卷积层对所述样本行人图像进行组卷积处理，得到第一特征；
将所述第一特征输入与所述第一卷积层连接的特征通道，以及对所述特征通道中的第一特征进行通道混洗处理，得到第二特征；
根据所述编码器中的第二卷积层对所述第二特征进行深度卷积处理，得到第三特征；
根据所述编码器中的第三卷积层对所述第三特征进行组卷积处理，得到第四特征，以及对所述第四特征进行激活处理，得到所述行人特征。
进一步地，所述预设的卷积核包括第一卷积核、第二卷积核和第三卷积核；以及所述根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，包括：
分别采用所述第一卷积核、所述第二卷积核和所述第三卷积核对所述行人特征进行反卷积处理，得到第一特征向量、第二特征向量和第三特征向量，所述第一特征向量用于表征所述训练集数据中行人检测框的中心坐标、长度和宽度，所述第二特征向量用于表征所述行人检测框归属于背景的概率，所述第三特征向量用于表征所述行人检测框中提取到的特征；
其中，所述特征向量包括所述第一特征向量、所述第二特征向量和所述第三特征向量。
进一步地，所述根据所述特征向量，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值所采用的计算公式为：
其中，L(x，c，l，g)是所述行人检测损失值，Lidentity是所述行人重识别损失值，l是所述行人检测模型中预测框的置信度分数，c是所述预测框的真实标签类别，l是所述预测框的预测位置坐标，g是所述预测框的真实位置坐标；
p(k)是所述特征向量对应的类别概率，L(k)用于表征所述特征向量与对应真实向量之间的欧式距离。
进一步地，所述将训练集数据输入行人检测模型，还包括：
对所述样本行人图像进行腐蚀处理，以及对腐蚀处理后的所述样本行人图形进行高斯滤波处理；
将高斯滤波处理后的所述样本行人图形输入所述行人检测模型。
进一步地，所述对所述样本行人图像进行腐蚀处理，包括：
根据预设腐蚀算子对所述样本行人图像进行卷积处理，得到卷积图像；
确定所述卷积图像中所述腐蚀算子对应的覆盖区域，以及获取所述覆盖区域中的像素点的最小值；
确定所述样本行人图像上的指定像素点，以及将所述像素点的最小值对所述指定像素点进行替换。
进一步地，所述根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，包括：
将所述行人重识别损失值和所述行人检测损失值，在所述行人检测模型中进行反向传播，并采用随机梯度下降法进行参数更新，直至判断到所述行人重识别损失值和所述行人检测损失值均小于对应的损失阈值，或所述行人检测模型的当前迭代次数大于或等于次数阈值时，判定所述行人检测模型收敛。
本申请实施例的第二方面提供了一种行人检测装置，包括：
特征提取单元，用于将训练样本集中的训练样本所包括的样本行人图像输入行人检测模型，根据所述行人检测模型中的编码器对所述样本行人图像进行特征提取，得到行人特征，其中，所述训练样本集中的训练样本包括样本行人图像以及与样本行人图像对应的样本行人检测结果；
特征增强单元，用于将所述行人特征输入所述行人检测模型中的特征增强网络，以及根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，所述特征增强网络中至少包括三个不同的卷积核；
损失值确定单元，用于根据所述特征向量和与所述样本行人图像对应的样本行人检测结果，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值；
参数更新单元，用于根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，直至所述行人检测模型收敛；
行人检测单元，用于获取待检测图像，并将所述待检测图像输入收敛后的所述行人检测模型中进行行人检测，得到行人检测结果。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在终端设备上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方案提供的行人检测方法的各步骤。
本申请实施例的第四方面提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方案提供的行人检测方法的各步骤。
实施本申请实施例提供的一种行人检测方法、装置、终端设备及存储介质具有以下有益效果：
本申请实施例提供的行人检测方法，由于采用卷积核对特征进行卷积处理，可以实现对特征进行特征增强，故，通过特征增强网络中预设的卷积核对行人特征进行卷积处理，可以对行人特征起到特征增强的效果并使得增强得到的特征向量所描述的特征更加准确，采用增强得到的特征向量，来分别确定行人检测模型的行人重识别损失值和行人检测损失值，有助于提高对行人检测模型的参数进行更新的准确性，从而提高训练得到的行人检测模型对行人检测的准确性。另外，采用同一特征向量，同时计算行人检测模型的行人重识别损失值和行人检测损失值，可以实现对特征向量进行共享，使得行人检测模型在训练过程中，行人重识别对应的参数和行人检测对应的参数可以进行同步更新，有助于加快对行人检测模型进行训练的效率。需要指出的是，训练时行人重识别对应的参数和行人检测对应的参数进行同步更新，可以实现收敛后的行人检测模型，能同时进行行人的检测和行人的重识别，进而提高了行人检测的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种行人检测方法的实现流程图；
图2是本申请另一实施例提供的一种行人检测方法的实现流程图；
图3是图2对应申请实施例提供的编码器的结构示意图；
图4是图2对应申请实施例提供的行人检测模型的结构示意图；
图5是本申请实施例提供的一种行人检测装置的结构框图；
图6是本申请实施例提供的一种终端设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例所涉及的行人检测方法，可以由控制设备或终端(以下称“移动终端”)执行。
请参阅图1，图1示出了本申请实施例提供的一种行人检测方法的实现流程图，包括：
步骤S10，将训练样本集中的训练样本所包括的样本行人图像输入行人检测模型，根据所述行人检测模型中的编码器对所述样本行人图像进行特征提取，得到行人特征。
其中，该训练样本集中的训练样本包括样本行人图像以及与样本行人图像对应的样本行人检测结果，该样本行人检测结果包括对应样本行人图像中的图像标签，该图像标签包括样本行人图像中行人检测框的位置和行人检测框的类别。
该步骤中，该编码器用于提取该样本行人图像中行人的特征，该编码器可以根据需求进行设置，该步骤中的编码器为轻量级网络shufflenet，该轻量级网络shufflenet通过对样本行人图像进行卷积处理，以得到该样本行人图像对应的行人特征。
可选的，该步骤中，所述将训练集数据输入行人检测模型，还包括：
对所述样本行人图像进行腐蚀处理，以及对腐蚀处理后的所述样本行人图形进行高斯滤波处理；
将高斯滤波处理后的所述样本行人图形输入所述行人检测模型；
其中，腐蚀处理是一种消除边界点，使边界向内部收缩的过程，可以用于消除样本行人图像中小且无意义的像素点，进而提高了样本行人图像的图像质量，该步骤中，高斯滤波处理是一种线性平滑滤波，可用于消除样本行人图像中的高斯噪声，高斯滤波处理是对样本行人图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
进一步地，所述对所述样本行人图像进行腐蚀处理，包括：
根据预设腐蚀算子对所述样本行人图像进行卷积处理，得到卷积图像，其中，该预设腐蚀算子的参数可以根据需求进行设置，例如，预设腐蚀算子可以设置为20x20的矩阵或21x21的矩阵。
确定所述卷积图像中所述腐蚀算子对应的覆盖区域，以及获取所述覆盖区域中的像素点的最小值，其中，通过分别获取该覆盖区域中每个像素点的像素值，并提取该像素点的像素值中的最小值，以得到该覆盖区域中的像素点的最小值。具体的，该步骤中，通过对获取到的像素点的像素值进行数值比对，以提取该像素点的像素值中的最小值。
确定所述样本行人图像上的指定像素点，以及将所述像素点的最小值对所述指定像素点进行替换；
其中，各样本行人图像上均携带有指定标识，该指定标识用于表征对于指定像素点的坐标，因此，通过分别获取各样本行人图像的指定标识，并根据获取到的指定标识确定对于的指定像素点，该指定像素点用于保障与覆盖区域中的像素点的最小值之间的像素替换。
该步骤中，腐蚀处理用于将预设腐蚀算子对样本行人图像进行探测，找出样本行人图像中可以承载下该预设腐蚀算子的区域，通过确定样本行人图像上的指定像素点，以及将像素点的最小值对指定像素点进行替换，有效地对样本行人图像起到了图像腐蚀的效果，提高了样本行人图像的图像质量。
步骤S20，将所述行人特征输入所述行人检测模型中的特征增强网络，以及根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量。
其中，该特征增强网络采用的是Context增强网络，该Context增强网络由至少三个卷积层构成，每个卷积层内均设置有一个卷积核，且不同卷积层之间的卷积核不相同，即，该特征增强网络中至少包括三个不同的卷积核，该卷积核用于对行人特征进行卷积处理，以得到该行人特征对应的特征向量。
该步骤中，由于特征增强网络中至少包括三个不同的卷积核，因此，行人特征经过三个不同的卷积核进行卷积处理后，得到不同大小的三个特征向量。
步骤S30，根据所述特征向量和与所述样本行人图像对应的样本行人检测结果，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值；
所述根据所述特征向量，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值所采用的计算公式为：
其中，L(x，c，l，g)是所述行人检测损失值，Lidentity是所述行人重识别损失值，l是所述行人检测模型中预测框的置信度分数，c是所述预测框的真实标签类别，l是所述预测框的预测位置坐标，g是所述预测框的真实位置坐标；
p(k)是所述特征向量对应的类别概率，L(k)用于表征所述特征向量与对应真实向量之间的欧式距离。
其中，行人重识别(Person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，该行人重识别损失值用于表征行人检测模型中，针对样本行人图像中特定行人识别的误差，该行人检测损失值用于表征行人检测模型中，针对样本行人图像中行人位置识别的误差。该步骤中，该行人检测损失值包括行人回归损失值和行人分类损失值，该行人回归损失值所采用的损失函数是smoothl1Loss函数，行人分类损失值所采用的损失函数是softmax函数，该行人检测损失值等于行人回归损失值与行人分类损失值之间的和。针对行人重识别损失值所采用的损失函数是多类别分类softmax函数。
步骤S40，根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，直至所述行人检测模型收敛。
其中，将行人重识别损失值和行人检测损失值，在行人检测模型中进行反向传播，并采用随机梯度下降法进行参数更新，直至判断到行人重识别损失值和行人检测损失值均小于对应的损失阈值，或行人检测模型的当前迭代次数大于或等于次数阈值时，则判定该行人检测模型收敛，并输出该行人检测模型。
步骤S50，获取待检测图像，并将所述待检测图像输入收敛后的所述行人检测模型中进行行人检测，得到行人检测结果。
其中，收敛后的行人检测模型，能有效地提取到待检测图像中行人检测框的位置和行人检测框的类别，并同时能输出该行人检测框中对应行人的特征，以达到能同时进行行人的检测和行人的重识别效果，提高了行人检测效率。
本实施例中，由于采用卷积核对特征进行卷积处理，可以实现对特征进行特征增强，故，通过特征增强网络中预设的卷积核对行人特征进行卷积处理，可以对行人特征起到特征增强的效果并使得增强得到的特征向量所描述的特征更加准确，采用增强得到的特征向量，来分别确定行人检测模型的行人重识别损失值和行人检测损失值，有助于提高对行人检测模型的参数进行更新的准确性，从而提高训练得到的行人检测模型对行人检测的准确性。另外，采用同一特征向量，同时计算行人检测模型的行人重识别损失值和行人检测损失值，可以实现对特征向量进行共享，使得行人检测模型在训练过程中，行人重识别对应的参数和行人检测对应的参数可以进行同步更新，有助于加快对行人检测模型进行训练的效率。需要指出的是，训练时行人重识别对应的参数和行人检测对应的参数进行同步更新，可以实现收敛后的行人检测模型，能同时进行行人的检测和行人的重识别，进而提高了行人检测的效率。
请参阅图2，图2是本申请另一实施例提供的一种行人检测方法的实现流程图。相对于图1实施例，本实施例提供的行人检测方法用于对图1实施例中的步骤S20作进一步细化，包括：
步骤S21，根据所述编码器中的第一卷积层对所述样本行人图像进行组卷积处理，得到第一特征，以及对所述第一特征进行通道混洗处理，得到第二特征。
其中，请参阅图3，为本申请实施例提供的编码器的结构示意图，该第一卷积层为1x1GConv层，该第一卷积层内设置有多个特征通道，该步骤中，通过将样本行人图像进行分组，将分组后的图像分别存储至特征通道中，在各特征通道中，将对应分组得到的图像分别与第一卷积层中的卷积核进行卷积处理，得到第一特征。
该步骤中，通过将不同特征通道内的第一特征进行组合，以达到对第一特征的通道混洗效果，使得基于第一卷积层的组卷积处理和通道混洗处理(Channel Shuffle)，能有效地达到逐点卷积的效果，且降低了卷积处理的计算量。
步骤S22，根据所述编码器中的第二卷积层对所述第二特征进行深度卷积处理，得到第三特征。
其中，该第二卷积层为3x3的DWConv层，该深度卷积处理用于将第二特征分别存储至第二卷积层中的各特征通道种，并分别在各特征通道种中对第二特征进行卷积处理，得到该第三特征。
步骤S23，根据所述编码器中的第三卷积层对所述第三特征进行组卷积处理，得到第四特征，以及对所述第四特征进行激活处理，得到所述行人特征。
其中，该第三卷积层为1x1GConv层，通过将第三特征进行分组，将分组后的第三特征分别存储至特征通道中，在各特征通道中，将对应分组得到的第三特征分别与第三卷积层中的卷积核进行卷积处理，得到第四特征。该步骤中，根据预设的激活函数对第四特征进行激活运算，得到该行人特征。
步骤S24，分别采用所述第一卷积核、所述第二卷积核和所述第三卷积核对所述行人特征进行反卷积处理，得到第一特征向量、第二特征向量和第三特征向量；
其中，请参阅图4，通过将行人特征输入解码器进行反卷积，以得到该行人特征对于的特征向量，该解码器中包括第一反卷积层、第二反卷积层和第三反卷积层，该第一卷积核设置在第一反卷积层中，该第二卷积核设置在第二反卷积层中，该第三卷积核设置在第三反卷积层中。
可选的，该第一卷积核、第二卷积核和第三卷积核的大小均可以根据需求进行设置，但第一卷积核、第二卷积核和第三卷积核均不相同，例如，该第一卷积核设置为1x1的卷积，第二卷积核设置为3x3的卷积，第三卷积核设置为5x5的卷积，经第一卷积核、第二卷积核和第三卷积核进行反卷积处理后得到的为w*h*4的第一特征向量，w*h*2的第二特征向量和w*h*128的第三特征向量，其中，w和h分别是针对所述第一特征向量预设的长度和宽度。
该步骤中，该第一特征向量用于表征训练集数据中行人检测框的中心坐标、长度和宽度，第二特征向量用于表征行人检测框归属于背景的概率，第三特征向量用于表征行人检测框中提取到的特征，特征向量包括所述第一特征向量、第二特征向量和第三特征向量。
本实施例中，通过第一卷积层对样本行人图像进行组卷积处理，得到第一特征，以及对第一特征进行通道混洗处理，能有效地对样本行人图像达到逐点卷积的效果，且降低了卷积处理的计算量，通过编码器中的第二卷积层对第二特征进行深度卷积处理，得到第三特征，以及根据编码器中的第三卷积层对第三特征进行组卷积处理，对行人特征起到特征增强的效果并使得增强得到的特征向量所描述的特征更加准确。
在本申请的所有实施例中，根据收敛后的行人检测模型对待检测图像进行行人检测，得到行人检测结果，具体来说，行人检测结果由收敛后的行人检测模型进行行人检测得到。将行人检测结果上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得到该行人检测结果，以便查证行人检测结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
请参阅图5，图5是本申请实施例提供的一种行人检测装置100的结构框图。本实施例中该行人检测装置100包括的各单元用于执行图1、图2对应的实施例中的各步骤。具体请参阅图1、图2以及图1、图2所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图3，行人检测装置100包括：特征提取单元10、特征增强单元11、损失值确定单元12、参数更新单元13和行人检测单元14，其中：
特征提取单元10，用于将训练样本集中的训练样本所包括的样本行人图像输入行人检测模型，根据所述行人检测模型中的编码器对所述样本行人图像进行特征提取，得到行人特征，其中，所述训练样本集中的训练样本包括样本行人图像以及与样本行人图像对应的样本行人检测结果。
可选的，该特征提取单元10还用于：根据所述编码器中的第一卷积层对所述样本行人图像进行组卷积处理，得到第一特征，以及对所述第一特征进行通道混洗处理，得到第二特征；
根据所述编码器中的第二卷积层对所述第二特征进行深度卷积处理，得到第三特征；
根据所述编码器中的第三卷积层对所述第三特征进行组卷积处理，得到第四特征，以及对所述第四特征进行激活处理，得到所述行人特征。
进一步地，该特征提取单元10还用于：对所述样本行人图像进行腐蚀处理，以及对腐蚀处理后的所述样本行人图形进行高斯滤波处理；
将高斯滤波处理后的所述样本行人图形输入所述行人检测模型。
更进一步地，该特征提取单元10还用于：所述对所述样本行人图像进行腐蚀处理，包括：
根据预设腐蚀算子对所述样本行人图像进行卷积处理，得到卷积图像；
确定所述卷积图像中所述腐蚀算子对应的覆盖区域，以及获取所述覆盖区域中的像素点的最小值；
确定所述样本行人图像上的指定像素点，以及将所述像素点的最小值对所述指定像素点进行替换。
特征增强单元11，用于将所述行人特征输入所述行人检测模型中的特征增强网络，以及根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，所述特征增强网络中至少包括三个不同的卷积核。
可选的，所述预设的卷积核包括第一卷积核、第二卷积核和第三卷积核，该特征增强模块11还用于：分别采用所述第一卷积核、所述第二卷积核和所述第三卷积核对所述行人特征进行反卷积处理，得到第一特征向量、第二特征向量和第三特征向量，所述第一特征向量用于表征所述训练集数据中行人检测框的中心坐标、长度和宽度，所述第二特征向量用于表征所述行人检测框归属于背景的概率，所述第三特征向量用于表征所述行人检测框中提取到的特征；
其中，所述特征向量包括所述第一特征向量、所述第二特征向量和所述第三特征向量。
损失值确定单元12，用于根据所述特征向量和与所述样本行人图像对应的样本行人检测结果，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值。
可选的，该损失值确定单元12还用于：所述根据所述特征向量，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值所采用的计算公式为：
其中，L(x，c，l，g)是所述行人检测损失值，Lidentity是所述行人重识别损失值，l是所述行人检测模型中预测框的置信度分数，c是所述预测框的真实标签类别，l是所述预测框的预测位置坐标，g是所述预测框的真实位置坐标；
p(k)是所述特征向量对应的类别概率，L(k)用于表征所述特征向量与对应真实向量之间的欧式距离。
参数更新单元13，用于根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，直至所述行人检测模型收敛。
行人检测单元14，用于获取待检测图像，并将所述待检测图像输入收敛后的所述行人检测模型中进行行人检测，得到行人检测结果。
本实施例中，由于采用卷积核对特征进行卷积处理，可以实现对特征进行特征增强，故，通过特征增强网络中预设的卷积核对行人特征进行卷积处理，可以对行人特征起到特征增强的效果并使得增强得到的特征向量所描述的特征更加准确，采用增强得到的特征向量，来分别确定行人检测模型的行人重识别损失值和行人检测损失值，有助于提高对行人检测模型的参数进行更新的准确性，从而提高训练得到的行人检测模型对行人检测的准确性。另外，采用同一特征向量，同时计算行人检测模型的行人重识别损失值和行人检测损失值，可以实现对特征向量进行共享，使得行人检测模型在训练过程中，行人重识别对应的参数和行人检测对应的参数可以进行同步更新，有助于加快对行人检测模型进行训练的效率。需要指出的是，训练时行人重识别对应的参数和行人检测对应的参数进行同步更新，可以实现收敛后的行人检测模型，能同时进行行人的检测和行人的重识别，有助于提高对行人检测的效率。
图6是本申请另一实施例提供的一种终端设备2的结构框图。如图6所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如行人检测方法的程序。处理器20执行所述计算机程序23时实现上述各个行人检测方法各实施例中的步骤，例如图1所示的S10至S50，或者图2所示的S21至S24。或者，所述处理器20执行所述计算机程序22时实现上述图5对应的实施例中各单元的功能，例如，图5所示的单元10至14的功能，具体请参阅图5对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成切特征提取单元10、特征增强单元11、损失值确定单元12、参数更新单元13和行人检测单元14，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图6仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
本实施例还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述行人检测方法的各步骤。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种行人检测方法，其特征在于，包括：
将训练样本集中的训练样本所包括的样本行人图像输入行人检测模型，根据所述行人检测模型中的编码器的第一卷积层对所述样本行人图像进行组卷积处理，得到第一特征，以及对所述第一特征进行通道混洗处理，得到第二特征；根据所述编码器中的第二卷积层对所述第二特征进行深度卷积处理，得到第三特征；根据所述编码器中的第三卷积层对所述第三特征进行组卷积处理，得到第四特征，以及对所述第四特征进行激活处理，得到行人特征，其中，所述训练样本集中的训练样本包括样本行人图像以及与样本行人图像对应的样本行人检测结果；
将所述行人特征输入所述行人检测模型中的特征增强网络，以及根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，所述特征增强网络中至少包括三个不同的卷积核；
根据所述特征向量和与所述样本行人图像对应的样本行人检测结果，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值；
根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，直至所述行人检测模型收敛；
获取待检测图像，并将所述待检测图像输入收敛后的所述行人检测模型中进行行人检测，得到行人检测结果。
2.根据权利要求1所述的行人检测方法，其特征在于，所述预设的卷积核包括第一卷积核、第二卷积核和第三卷积核；以及所述根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，包括：
分别采用所述第一卷积核、所述第二卷积核和所述第三卷积核对所述行人特征进行反卷积处理，得到第一特征向量、第二特征向量和第三特征向量，所述第一特征向量用于表征所述训练样本集数据中行人检测框的中心坐标、长度和宽度，所述第二特征向量用于表征所述行人检测框归属于背景的概率，所述第三特征向量用于表征所述行人检测框中提取到的特征；
其中，所述特征向量包括所述第一特征向量、所述第二特征向量和所述第三特征向量。
3.根据权利要求1所述的行人检测方法，其特征在于，所述根据所述特征向量，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值所采用的计算公式为：
其中，L(x，c，l，g)是所述行人检测损失值，Lidentity是所述行人重识别损失值，x是所述行人检测模型中预测框的置信度分数，c是所述预测框的真实标签类别，l是所述预测框的预测位置坐标，g是所述预测框的真实位置坐标；
p(k)是所述特征向量对应的类别概率，L(k)用于表征所述特征向量与对应真实向量之间的欧式距离。
4.根据权利要求1所述的行人检测方法，其特征在于，所述将训练集数据输入行人检测模型，还包括：
对所述样本行人图像进行腐蚀处理，以及对腐蚀处理后的所述样本行人图形进行高斯滤波处理；
将高斯滤波处理后的所述样本行人图形输入所述行人检测模型。
5.根据权利要求4所述的行人检测方法，其特征在于，所述对所述样本行人图像进行腐蚀处理，包括：
根据预设腐蚀算子对所述样本行人图像进行卷积处理，得到卷积图像；
确定所述卷积图像中所述腐蚀算子对应的覆盖区域，以及获取所述覆盖区域中的像素点的最小值；
确定所述样本行人图像上的指定像素点，以及将所述像素点的最小值对所述指定像素点进行替换。
6.根据权利要求1所述的行人检测方法，其特征在于，所述根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，包括：
将所述行人重识别损失值和所述行人检测损失值，在所述行人检测模型中进行反向传播，并采用随机梯度下降法进行参数更新，直至判断到所述行人重识别损失值和所述行人检测损失值均小于对应的损失阈值，或所述行人检测模型的当前迭代次数大于或等于次数阈值时，判定所述行人检测模型收敛。
7.一种行人检测装置，其特征在于，包括：
特征提取单元，用于将训练样本集中的训练样本所包括的样本行人图像输入行人检测模型，根据所述行人检测模型中的编码器的第一卷积层对所述样本行人图像进行组卷积处理，得到第一特征，以及对所述第一特征进行通道混洗处理，得到第二特征；根据所述编码器中的第二卷积层对所述第二特征进行深度卷积处理，得到第三特征；根据所述编码器中的第三卷积层对所述第三特征进行组卷积处理，得到第四特征，以及对所述第四特征进行激活处理，得到行人特征，其中，所述训练样本集中的训练样本包括样本行人图像以及与样本行人图像对应的样本行人检测结果；
特征增强单元，用于将所述行人特征输入所述行人检测模型中的特征增强网络，以及根据所述特征增强网络中预设的卷积核，分别对所述行人特征进行反卷积处理，得到特征向量，所述特征增强网络中至少包括三个不同的卷积核；
损失值确定单元，用于根据所述特征向量和与所述样本行人图像对应的样本行人检测结果，分别确定所述行人检测模型的行人重识别损失值和行人检测损失值；
参数更新单元，用于根据所述行人重识别损失值和所述行人检测损失值对所述行人检测模型进行参数更新，直至所述行人检测模型收敛；
行人检测单元，用于获取待检测图像，并将所述待检测图像输入收敛后的所述行人检测模型中进行行人检测，得到行人检测结果。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202110650093.2A 2021-06-10 2021-06-10 行人检测方法、装置、终端设备及存储介质 Active CN113505648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110650093.2A CN113505648B (zh) 2021-06-10 2021-06-10 行人检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110650093.2A CN113505648B (zh) 2021-06-10 2021-06-10 行人检测方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113505648A CN113505648A (zh) 2021-10-15
CN113505648B true CN113505648B (zh) 2023-12-19

Family

ID=78010096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110650093.2A Active CN113505648B (zh) 2021-06-10 2021-06-10 行人检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113505648B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN109102025A (zh) * 2018-08-15 2018-12-28 电子科技大学 基于深度学习联合优化的行人重识别方法
CN111667011A (zh) * 2020-06-08 2020-09-15 平安科技（深圳）有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质
CN111753786A (zh) * 2020-06-30 2020-10-09 中国矿业大学 一种基于全尺度特征融合和轻量级生成式对抗网络的行人重识别方法
WO2020258077A1 (zh) * 2019-06-26 2020-12-30 深圳大学 一种行人检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN109102025A (zh) * 2018-08-15 2018-12-28 电子科技大学 基于深度学习联合优化的行人重识别方法
WO2020258077A1 (zh) * 2019-06-26 2020-12-30 深圳大学 一种行人检测方法及装置
CN111667011A (zh) * 2020-06-08 2020-09-15 平安科技（深圳）有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质
CN111753786A (zh) * 2020-06-30 2020-10-09 中国矿业大学 一种基于全尺度特征融合和轻量级生成式对抗网络的行人重识别方法

Also Published As

Publication number Publication date
CN113505648A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN110378235B (zh) 一种模糊人脸图像识别方法、装置及终端设备
US10482337B2 (en) Accelerating convolutional neural network computation throughput
CN111340195B (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN112633159B (zh) 人-物交互关系识别方法、模型训练方法及对应装置
CN111639653B (zh) 一种误检图像确定方法、装置、设备和介质
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN113505648B (zh) 行人检测方法、装置、终端设备及存储介质
CN110321883A (zh) 验证码识别方法及装置、可读存储介质
CN115984671A (zh) 模型在线更新方法、装置、电子设备及可读存储介质
CN115661198A (zh) 基于单阶段目标追踪模型的目标追踪方法、装置及介质
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN115690752A (zh) 一种驾驶员行为检测方法及装置
CN112084874B (zh) 一种物体检测方法、装置及终端设备
CN114038045A (zh) 一种跨模态人脸识别模型构建方法、装置及电子设备
CN115424250A (zh) 一种车牌识别方法及装置
CN112733670A (zh) 指纹特征提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant