CN114399791A - 一种行人检测方法、装置、设备和介质 - Google Patents

一种行人检测方法、装置、设备和介质 Download PDF

Info

Publication number
CN114399791A
CN114399791A CN202210002049.5A CN202210002049A CN114399791A CN 114399791 A CN114399791 A CN 114399791A CN 202210002049 A CN202210002049 A CN 202210002049A CN 114399791 A CN114399791 A CN 114399791A
Authority
CN
China
Prior art keywords
pedestrian
visible
determining
whole
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210002049.5A
Other languages
English (en)
Inventor
徐鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202210002049.5A priority Critical patent/CN114399791A/zh
Publication of CN114399791A publication Critical patent/CN114399791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种行人检测方法、装置、设备和介质，该方法包括：获取待检测的目标图像；将目标图像输入至预设检测网络模型中，预设检测网络模型用于确定目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，二维概率分布图的概率分布边界为相应行人的全身框，二维概率分布图的概率峰值位于相应行人的可见框的中心位置；根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。通过本发明实施例的技术方案，可以解决因遮挡而导致错误分类的情况，提高行人检测的准确性。

Description

一种行人检测方法、装置、设备和介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种行人检测方法、装置、设备和介质。
背景技术
行人检测作为目标检测的一种，用于识别和定位图像中的所有行人。行人检测是行人跟踪、行人重识别、人体属性分析的前置基础步骤，在自动驾驶等应用场景中具有非常广泛的应用。
目前，现有的行人检测方式是通过利用网络模型检测图像中是否包含行人，若是，则对每个行人进行定位，并利用矩形包围框的方式来表示每个行人的位置和尺寸信息。
然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
在存在遮挡的行人拥挤场景中，高度遮挡的行人所对应的矩形包围框内会包含大量的背景或者其他噪声信息，使得网络模型将其判定为行人的概率值较低，从而会导致对行人的错误分类，降低了行人检测的准确性。
发明内容
本发明实施例提供了一种行人检测方法、装置、设备和介质，以解决因遮挡而导致错误分类的情况，提高行人检测的准确性。
第一方面，本发明实施例提供了一种行人检测方法，包括：
获取待检测的目标图像；
将所述目标图像输入至预设检测网络模型中，所述预设检测网络模型用于确定所述目标图像中的每个行人对应的预设分布参数值，所述预设分布参数值对应一个二维概率分布图，所述二维概率分布图的概率分布边界为相应行人的全身框，所述二维概率分布图的概率峰值位于相应行人的可见框的中心位置；
根据所述预设检测网络模型的输出，确定所述目标图像对应的行人检测结果。
第二方面，本发明实施例还提供了一种行人检测装置，包括：
目标图像获取模块，用于获取待检测的目标图像；
目标图像输入模块，用于将所述目标图像输入至预设检测网络模型中，所述预设检测网络模型用于确定所述目标图像中的每个行人对应的预设分布参数值，所述预设分布参数值对应一个二维概率分布图，所述二维概率分布图的概率分布边界为相应行人的全身框，所述二维概率分布图的概率峰值位于相应行人的可见框的中心位置；
行人检测结果确定模块，用于根据所述预设检测网络模型的输出，确定所述目标图像对应的行人检测结果。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的行人检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任意实施例所提供的行人检测方法。
上述发明中的实施例具有如下优点或有益效果：
通过将待检测的目标图像输入至预设检测网络模型中，预设检测网络模型对目标图像中的行人进行检测，确定出目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，从而每个行人可以利用参数化的二维概率分布图进行表征，即二维概率分布图的概率分布边界为相应行人的全身框，并且二维概率分布图的概率峰值位于相应行人的可见框的中心位置，此时行人的可见区域的概率值较高，遮挡区域的概率值较低，从而利用二维概率分布图可以更加准确地表征和检测出遮挡下的行人，进而可以解决因遮挡而导致错误分类的情况，提高了行人检测的准确性。
附图说明
图1是本发明实施例提供的一种行人检测方法的流程图；
图2是本发明实施例提供的一种行人检测方法的流程图；
图3是本发明实施例所涉及的一种预设检测网络模型的示例；
图4是本发明实施例提供的一种行人检测方法的流程图；
图5是本发明实施例所涉及的一种预设检测网络模型的示例；
图6是本发明实施例提供的一种行人检测装置的结构示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种行人检测方法的流程图，本实施例可适用于检测图像中所包含的行人的情况，尤其是可以用于在存在遮挡的行人拥挤场景中进行行人检测的情况。该方法可以由行人检测装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备。如图1所示，该方法具体包括以下步骤：
S110、获取待检测的目标图像。
其中，目标图像可以是指针对应用场景所采集的需要进行行人检测的图像。例如，可以将自动驾驶场景中的场景图像作为目标图像。本实施例可以在行人拥挤场景中所采集的图像作为目标图像，即目标图像中存在被遮挡的行人。
具体地，本实施例可以获取实时采集的目标图像，也可以获取预先采集好的目标图像，以便满足不同的行人检测需求。
S120、将目标图像输入至预设检测网络模型中，预设检测网络模型用于确定目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，二维概率分布图的概率分布边界为相应行人的全身框，二维概率分布图的概率峰值位于相应行人的可见框的中心位置。
其中，预设检测网络模型可以是预先设置的，利用参数化的二维概率分布图进行行人表征的网络模型。本实施例中的预设检测网络模型可以是预先基于样本数据训练获得的。预设分布参数值可以是指用于确定二维概率分布图所需要的参数值。预设检测网络模型检测出的每个行人均可以利用一个二维概率分布图进行表征。二维概率分布图可以由每个像素点对应的概率值组成。每个像素点对应的概率值可以用于表征像素点属于人体的可能性大小，即像素点对于整个人体的重要性。行人的全身框可以是指整个人体区域。行人的可见框可以是指未被遮挡的可见区域。行人的全身框可以由可见区域和被遮挡的不可见区域组成。本实施例中的全身框和可见框可以利用但不限于矩形包围框进行表征。每个行人对应的二维概率分布图的概率分布边界为相应行人的全身框，并且二维概率分布图的概率峰值位于相应行人的可见框的中心位置，此时行人的可见区域对应的概率值较高，遮挡的不可见区域对应的概率值较低，从而利用二维概率分布图可以更加准确地表征和检测出遮挡下的行人。
具体地，将目标图像输入至预设检测网络模型中，预设检测网络模型可以检测目标图像中所包含的各个行人，并确定检测出的每个行人对应的预设分布参数值，以便利用预设分布参数值可以还原出相应的二维概率分布图。相比于直接确定二维概率分布图而言，通过确定预设分布参数值间接获得二维概率分布图，可以大大减少所需要确定的参数量，提高了检测效率。
示例性地，每个行人对应的预设分布参数值可以是指二维贝塔Beta分布对应的预设参数的取值，二维Beta分布对应的预设参数可以包括：X轴对应的α参数和β参数、以及Y轴对应的α参数和β参数。
其中，二维贝塔Beta分布也称B分布，是指一组定义在[0,1]区间上的连续概率分布，该分布具有两个参数，即α参数和β参数。参数化的二维Beta分布对应的预设参数可以基于行人的全身框和可见框进行确定。由于全身框和可见框这两种边界框是一种二维的表示方式，并且这两个二维边界框是与坐标轴对齐的，从而可以利用分别独立与X轴和Y轴的Beta分布形成的二维联合分布来表征二维Beta分布，此时可以只需确定两组参数即可，即X轴对应的α参数αx和β参数βx、以及Y轴对应的α参数αy和β参数βy，进一步提高了检测效率。
S130、根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。
具体地，预设检测网络模型可以将检测出的每个行人对应的预设分布参数值进行输出，从而可以基于每个行人对应的预设分布参数值还原出相应的二维概率分布图，以便可以更加准确地表征出每个行人的位置和遮挡情况等。
需要说明的是，相比于现有技术中的矩形包围框而言，参数化的二维概率分布图可以更加精确地表征出行人的形状和可见度信息。而且与成对的全身框和可视框相比，参数化的二维概率分布图更像是一个整体，而不是两个单独的部分。
本实施例的技术方案，通过将待检测的目标图像输入至预设检测网络模型中，预设检测网络模型对目标图像中的行人进行检测，确定出目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，从而每个行人可以利用参数化的二维概率分布图进行表征，即二维概率分布图的概率分布边界为相应行人的全身框，并且二维概率分布图的概率峰值位于相应行人的可见框的中心位置，此时行人的可见区域的概率值较高，遮挡区域的概率值较低，从而利用二维概率分布图可以更加准确地表征和检测出遮挡下的行人，进而可以解决因遮挡而导致错误分类的情况，提高了行人检测的准确性。
图2为本发明实施例提供的一种行人检测方法的流程图，本实施例在上述实施例的基础上，对预测检测网络模型进行了优化，即“预设检测网络模型包括：特征提取子模型、框位置提取子模型、第一池化子模型和第一回归子模型”，并利用该预测检测网络模型对行人检测的过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图2，本实施例提供的行人检测方法具体包括以下步骤：
S210、获取待检测的目标图像。
S220、将目标图像输入至特征提取子模型中进行特征提取，获取目标图像对应的目标特征图。
其中，特征提取子模型可以由卷积层、激活层和池化层组成，用于提取目标图像中的特征信息，获得目标特征图。
具体地，图3给出了一种预设检测网络模型的示例。如图3所示，在利用预设检测网络模型进行行人检测过程中，先将待检测的目标图像输入至特征提取子模型中进行特征提取，获得目标图像对应的目标特征图。
S230、将目标特征图输入至框位置提取子模型中，确定候选行人对应的第一全身框位置信息和相应的第一可见框位置信息。
其中，框位置提取子模型可以是用于提取可能为行人的候选第一全身框和第一可见框。本实施例中的框位置提取子模型可以包括两个RPN(Region Proposal Networks，区域候选网络)，分别用于提取属于行人的候选的各个第一全身框以及位于第一全身框中的第一可见框。第一全身框位置信息可以包括第一全身框的中心位置坐标以及全身框的宽度和高度。第一可见框位置信息可以包括第一可见框的中心位置坐标以及可见框的宽度和高度。
具体地，如图3所示，将目标特征图输入至框位置提取子模型中进行第一全身框和第一可见框的提取，确定提取出的各个第一全身框位置信息和相应的第一可见框位置信息。
S240、将目标特征图、各个第一全身框位置信息和相应的第一可见框位置信息输入至第一池化子模型中进行池化操作，确定每个第一全身框对应的第一全身特征图和第一可见框对应的第一可见特征图。
其中，第一池化子模型可以是但不限于ROI Pooling感兴趣区域池化模型。第一池化子模型可以基于各个第一全身框位置信息对目标特征图进行最大池化操作，获得相同尺寸大小的各个第一全身特征图。同理，基于各个第一可见框位置信息对目标特征图进行最大池化操作，获得相同尺寸大小的各个第一可见特征图。
具体地，如图3所示，第一池化子模型基于输入的各个第一全身框位置信息和相应的第一可见框位置信息，对目标特征图进行池化操作，确定每个第一全身框对应的第一全身特征图和第一可见框对应的第一可见特征图。
S250、将各个第一全身特征图和第一可见特征图输入至第一回归子模型中，确定属于行人类别的第二全身框和相应的第二可见框以及第二全身框对应的第二全身框位置信息和第二可见框对应的第二可见框位置信息，并基于每个第二全身框位置信息和相应的第二可见框位置信息确定行人对应的预设分布参数值，并将预设分布参数值进行输出。
其中，第一回归子模型可以用于预测类别为行人的置信度分数，即预测出全身框和相应的可见框属于行人类别的概率值，并回归获得更加准确的属于行人类别的第二全身框位置信息和第二可见框位置信息。例如，可以针对每个第一全身特征图和相应的第一可见特征图，确定每个第一全身框和相应的第一可见框是否属于行人类别，并将同时属于行人类别的第一全身框和相应的第一可见框作为第二全身框和相应的第二可见框，从而可以保证类别检测的准确性，避免分类错误，并且同时利用位置偏移量对第二全身框和相应的第二可见框进行位置修正，获得更加准确地的第二全身框位置信息和第二可见框位置信息。针对每个第二全身框位置信息和相应的第二可见框位置信息，确定出该行人对应的预设分布参数值。
具体地，如图3所示，将各个第一全身特征图和第一可见特征图输入至第一回归子模型中进行预设分布参数的回归，并将确定出的每个行人对应的预设分布参数值进行输出。
示例性地，在利用参数化的二维Beta分布表征行人时，步骤S250中的“基于每个第二全身框位置信息和相应的第二可见框位置信息确定行人对应的预设分布参数值”，可以包括：基于第二全身框位置信息确定行人的全身框的上下左右四个边界参数值，以及基于相应的第二可见框位置信息确定该行人的可见框的上下左右四个边界参数值；基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定X轴对应的α参数和β参数；基于全身框的上下两个边界参数值和可见框的上下两个边界参数值，确定Y轴对应的α参数和β参数。
其中，第二全身框位置信息可以包括第二全身框的中心位置坐标以及全身框的宽度和高度。第二可见框位置信息可以包括第二可见框的中心位置坐标以及可见框的宽度和高度。行人的全身框的上下左右四个边界参数值可以利用全身框的左下角位置坐标(lf，tf)和右上角位置坐标(rf，bf)进行表征，即全身框的左边界参数为lf，右边界参数为rf，下边界参数为tf，上边界参数为bf。可见框的上下左右四个边界参数值也可以利用可见框的左下角位置坐标(lv，tv)和右上角位置坐标(rv，bv)进行表征，即可见框的左边界参数为lv，右边界参数为rv，下边界参数为tv，上边界参数为bv。
具体地，可以基于边界参数与中心位置坐标之间的转化关系，将第二全身框位置信息转化为行人的全身框的上下左右四个边界参数值，以及将第二可见框位置信息转化为该行人的可见框的上下左右四个边界参数值。在X轴上，可以基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定出X轴对应的αx和βx。在Y轴上，可以基于全身框的上下两个边界参数值和可见框的上下两个边界参数值，确定出Y轴对应的αy和βy。
示例性地，基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定X轴对应的α参数和β参数，可以包括：基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定沿X轴变化的每个像素点对应的第一权重值；基于每个像素点对应的第一权重值和全身框的左右两个边界参数值，确定X轴对应的均值和方差；基于X轴对应的均值和方差以及全身框的左右两个边界参数值，确定X轴对应的α参数和β参数。
具体地，本实施例通过赋予可见区域和不可见区域不同的第一权重值，可以利用分布的均值和方差代替峰和半峰全宽，更加便捷地确定出X轴对应的α参数和β参数，从而提高检测效率。例如，可以将可见框对应的可见区域中的每个像素点的X值对应的第一权重值确定为第一数值Wv，以及将不可见区域中的每个像素点的X值对应的第一权重值确定为第二数值Wf，并且第一数值Wv大于第二数值Wf，比如，Wv等于1，Wf等于0.04。本实施例可以基于如下第一权重函数f(x)，确定出沿X轴变化的每个像素点x对应的第一权重值：
Figure BDA0003455066160000111
本实施例可以基于如下公式确定出X轴对应的均值μx和方差σx 2：
Figure BDA0003455066160000112
Figure BDA0003455066160000113
对X轴对应的均值和方差进行归一化，并基于归一化后的均值和方差确定出X轴对应的αx和βx。例如，可以基于如下公式确定出X轴对应的αx和βx：
Figure BDA0003455066160000114
Figure BDA0003455066160000115
Figure BDA0003455066160000116
Figure BDA0003455066160000117
Figure BDA0003455066160000118
其中，λ是用于维持αx和βx均大于等于1的常数。
Figure BDA0003455066160000119
为归一化后的均值。
Figure BDA00034550661600001110
为归一化后的方差。νx为中间参数。
示例性地，基于全身框的上下两个边界参数值和可见框的上下两个边界参数值，确定Y轴对应的α参数和β参数，可以包括：基于全身框的上下两个边界参数值和可见框的上下两个边界参数值，确定沿Y轴变化的每个像素点对应的第二权重值；基于每个像素点对应的第二权重值和全身框的上下两个边界参数值，确定Y轴对应的均值和方差；基于Y轴对应的均值和方差以及全身框的上下两个边界参数值，确定Y轴对应的α参数和β参数。
具体地，与确定X轴对应的α参数和β参数类似的方式，通过赋予可见区域和不可见区域不同的第二权重值，可以利用分布的均值和方差代替峰和半峰全宽，更加便捷地确定出Y轴对应的α参数和β参数，从而提高检测效率。例如，可以将可见框对应的可见区域中的每个像素点的Y值对应的第二权重值确定为第一数值Wv，以及将不可见区域中的每个像素点的Y值对应的第二权重值确定为第二数值Wf，并且第一数值Wv大于第二数值Wf，比如，Wv等于1，Wf等于0.04。本实施例可以基于如下第二权重函数f(y)，确定出沿Y值变化的每个像素点y对应的第二权重值：
Figure BDA0003455066160000121
本实施例可以基于如下公式确定出Y轴对应的均值μy和方差σy 2：
Figure BDA0003455066160000122
Figure BDA0003455066160000123
对Y轴对应的均值和方差进行归一化，并基于归一化后的均值和方差确定出Y轴对应的αy和βy。例如，可以基于如下公式确定出Y轴对应的αy和βy：
Figure BDA0003455066160000124
Figure BDA0003455066160000125
Figure BDA0003455066160000131
Figure BDA0003455066160000132
Figure BDA0003455066160000133
其中，λ是用于维持αy和βy均大于等于1的常数。
Figure BDA0003455066160000134
为归一化后的均值。
Figure BDA0003455066160000135
为归一化后的方差。νy为中间参数。
需要说明的是，在预设检测网络模型的训练过程中，第一回归子模型的训练可以是以anchor锚框为参数物，确定预测框与锚框之间的位置偏移量以及真实框与锚框之间的位置偏移量。例如，基于归一化方式，预测框与锚框之间的位置偏移量以及真实框与锚框之间的位置偏移量可以定义如下：
tx＝(x-xa)/ωa、ty＝(y-ya)/ha、tω＝log(ω/ωa)、th＝log(h/ha)
Figure BDA0003455066160000136
其中，tx、ty、tω和th是指预测框的中心位置(x，y)、宽度ω和高度h分别与锚框的中心位置(xa，ya)、宽度ωa和高度ha之间的偏移量。
Figure BDA0003455066160000137
和
Figure BDA0003455066160000138
是指真实框的中心位置(x*，y*)、宽度ω*和高度h*分别与锚框的中心位置(xa，ya)、宽度ωa和高度ha之间的偏移量。a表示行人类别所对应的数字标识。
同理，X轴对应的均值μx和方差σx 2以及Y轴对应的均值μy和方差σy 2这四个形状参数的训练也可以利用anchor锚框为参数物，确定预测框与锚框之间的形状偏移量以及真实框与锚框之间的形状偏移量。例如，基于归一化方式，预测框与锚框之间的形状偏移量以及真实框与锚框之间的形状偏移量可以定义如下：
Figure BDA0003455066160000139
Figure BDA0003455066160000141
其中，
Figure BDA0003455066160000142
和
Figure BDA0003455066160000143
是指预测框的X轴对应的均值μx和方差σx以及Y轴对应的均值μy和方差σy分别与锚框的中心位置(xa，ya)、宽度ωa和高度ha之间的偏移量。
Figure BDA0003455066160000144
和
Figure BDA0003455066160000145
是指真实框的X轴对应的均值
Figure BDA0003455066160000146
和方差
Figure BDA0003455066160000147
以及Y轴对应的均值
Figure BDA0003455066160000148
和方差
Figure BDA0003455066160000149
分别与锚框的中心位置(xa，ya)、宽度ωa和高度ha之间的偏移量。
本实施例可以利用SmoothL1作为损失函数进行分布参数的回归，该损失函数Lreg可以表示如下：
Figure BDA00034550661600001410
对于类别的预测，可以利用交叉熵损失作为分类的损失函数，该损失函数Lcls可以表示如下：
Figure BDA00034550661600001411
其中，pi为第一回归子模型预测出的置信度数值，
Figure BDA00034550661600001412
为真实目标数值。本实施例可以利用损失函数Lreg和损失函数Lcls对预设检测网络模型进行训练，直到两个损失函数达到收敛条件为止。
S260、根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。
具体地，输出的每个行人对应的αx、βx、αy和βy，可以确定出二维Beta概率分布图的具体形状，从而获得行人的可见性特征。二维Beta概率分布图的概率密度函数P(x,y)可以表示为：
Figure BDA00034550661600001413
其中，
Figure BDA00034550661600001414
为归一化后的x，即
Figure BDA00034550661600001415
为归一化后的y，即
Figure BDA0003455066160000151
C是保证概率值总和为1的归一化因子。对于二维Beta分布，行人的全身框内的像素点对应的概率值等于两个独立的一维Beta分布对应的概率值的乘积。行人的全身框外的像素点对应的概率值为0。
本实施例的技术方案，通过利用包括特征提取子模型、框位置提取子模型、第一池化子模型和第一回归子模型的预设检测网络模型，可以进行准确地行人检测，解决因遮挡而导致错误分类的情况，提高了行人检测的准确性。
在上述技术方案的基础上，在步骤S260中的基于每个第二全身框位置信息和相应的第二可见框位置信息确定行人对应的预设分布参数值之后，还可以包括：基于检测出的行人对应的预设分布参数值，确定每个行人对应的二维概率分布图；采用对称的KL散度方式，基于各个二维概率分布图，确定任意两个行人之间的行人距离；基于行人距离和预设距离阈值，对检测出的各个行人进行过滤，并将过滤后的行人所对应的预设分布参数值进行输出。
具体地，第一回归子模型可以基于检测出的每个行人对应的预设分布参数值还原出相应的的二维概率分布图。例如，可以基于X轴对应的α参数和β参数以及Y轴对应的α参数和β参数可以确定出该行人对应的二维Beta概率分布图。本实施例可以基于任意两个行人对应的二维概率分布图，利用对称的KL散度来衡量任意两个行人之间的行人距离。例如，任意两个行人之间的行人距离为：
Figure BDA0003455066160000152
其中，DKL(pq)是指行人p对应的二维概率分布图转换到行人q对应的二维概率分布图的散度值，DKL(qp)是指行人q对应的二维概率分布图转换到行人p对应的二维概率分布图的散度值。若行人距离小于或者等于预设距离阈值，则表明这两个二维概率分布图对应的两个行人是同一个行人，此时可以其中的一个二维概率分布图进行删除过滤，从而可以识别高度重叠的行人，进一步提高了行人检测的准确性。
图4为本发明实施例提供的一种行人检测方法的流程图，本实施例在上述各实施例的基础上，对预测检测网络模型进行了进一步优化，即“预设检测网络模型还包括：第二池化子模型、掩膜处理子模型和第二回归子模型”，并利用该预测检测网络模型对行人检测的过程进行了详细描述。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例提供的行人检测方法具体包括以下步骤：
S410、获取待检测的目标图像。
S420、将目标图像输入至特征提取子模型中进行特征提取，获取目标图像对应的目标特征图。
S430、将目标特征图输入至框位置提取子模型中，确定候选行人对应的第一全身框位置信息和相应的第一可见框位置信息。
S440、将目标特征图、各个第一全身框位置信息和相应的第一可见框位置信息输入至第一池化子模型中进行池化操作，确定每个第一全身框对应的第一全身特征图和第一可见框对应的第一可见特征图。
S450、将各个第一全身特征图和第一可见特征图输入至第一回归子模型中，确定属于行人类别的第二全身框和相应的第二可见框以及第二全身框对应的第二全身框位置信息和第二可见框对应的第二可见框位置信息，并基于每个第二全身框位置信息和相应的第二可见框位置信息确定行人对应的预设分布参数值。
S460、将目标特征图、各个第二全身框位置信息和相应的第二可见框位置信息输入至第二池化子模型中进行池化操作，确定每个第二全身框对应的第二全身特征图和第二可见框对应的第二可见特征图。
其中，第二池化子模型类似于第一池化子模型。第二池化子模型可以是但不限于ROI Pooling感兴趣区域池化模型。第二池化子模型可以基于各个第二全身框位置信息对目标特征图进行最大池化操作，获得相同尺寸大小的各个第二全身特征图。同理，基于各个第二可见框位置信息对目标特征图进行最大池化操作，获得相同尺寸大小的各个第二可见特征图。
具体地，图5给出了一种预设检测网络模型的示例。如图5所示，还可以进一步将特征提取子模型输出的目标特征图以及第一回归子模型输出的各个第二全身框位置信息和相应的第二可见框位置信息输入至第二池化子模型中，基于输入的各个第二全身框位置信息和相应的第二可见框位置信息，对目标特征图进行池化操作，确定每个第二全身框对应的第二全身特征图和第二可见框对应的第二可见特征图。
S470、将行人对应的预设分布参数值、各个第二全身特征图和第二可见特征图输入至掩膜处理子模型中，基于行人对应的预设分布参数值确定第二全身特征图对应的第一掩膜图像和第二可见特征图对应的第二掩膜图像，并利用第一掩膜图像对第二全身特征图进行注意力处理，获得处理后的第三全身特征图，以及利用第二掩膜图像对第二可见特征图进行注意力处理，获得处理后的第三可见特征图。
其中，掩膜处理子模型可以是指注意力机制网络模型，用于将注意力集中在行人的可见区域，以便进一步提高检测准确性。本实施例中的二维概率分布图中的可见区域的概率值较高，不可见区域的概率值较低，从而可以利用二维概率分布图作为一个滤镜，以便透过该滤镜，将注意力可以集中在行人的可见区域，从而利用二维概率分布可以突出可见区域的特征，同时抑制其他噪声，使得预设检测网络模型可以更加关注区分性特征，实现更精确的定位和更高的可信度。掩膜处理子模型通过利用第一掩膜图像对第二全身特征图进行注意力处理，可以突出全身框中的可见区域的特征。利用第二掩膜图像对第二可见特征图进行注意力处理，可以使得可见区域的特征更加明显，进一步提高检测的准确性。
具体地，如图5所示，掩膜处理子模型可以将第一回归子模型输出的行人对应的预设分布参数值以及第二池化子模型输出的各个第二全身特征图和第二可见特征图进行掩膜注意力处理，获得处理后的第三全身特征图和第三可见特征图。
示例性地，步骤S470中的“基于行人对应的预设分布参数值确定第二全身特征图对应的第一掩膜图像和第二可见特征图对应的第二掩膜图像”，可以包括：基于行人对应的预设分布参数值确定相应的二维概率分布图；基于第二全身特征图对二维概率分布图进行采样，确定第二全身特征图中的每个像素点对应的第一像素值，并基于各个第一像素值确定第一掩膜图像；基于第二可见特征图对二维概率分布图进行采样，确定第二可见特征图中的每个像素点对应的第二像素值，并基于各个第二像素值确定第二掩膜图像。
具体地，在利用参数化的二维Beta分布表征行人时，可以基于X轴对应的α参数和β参数以及Y轴对应的α参数和β参数确定出该行人对应的二维Beta概率分布图，表示为：Be(x,y；αx,βx,αy,βy)＝C·Be(x；αx,βx)·Be(y；αy,βy)，其中，C是保证概率值总和为1的归一化因子。可以基于第二全身特征图从二维Beta概率分布图中进行采样，将第二全身特征图中的每个像素点对应的概率值作为第一像素值，即像素点对应的权重值，并基于各个第一像素值生成第一掩膜图像，即获得与第二全身特征图尺寸大小相同的第一掩膜图像。同理，可以基于第二可见特征图从二维Beta概率分布图中进行采样，将第二可见特征图中的每个像素点对应的概率值作为第二像素值，即像素点对应的权重值，并基于各个第二像素值生成第二掩膜图像，即获得与第二可见特征图尺寸大小相同的第二掩膜图像。
示例性地，利用第一掩膜图像对第二全身特征图进行注意力处理，获得处理后的第三全身特征图，可以包括：将第一掩膜图像和第二全身特征图中的同一像素点对应的像素值进行相乘，并将相乘结果作为第三全身特征图。
具体地，可以将第一掩膜图像Be和第二全身特征图Z进行同一像素点的乘法运算，获得的运算结果作为第三全身特征图Z′，即Z′＝Z·Be，从而可以强化可见区域的特征，并抑制其他区域的特征，进一步提高检测的准确性。
示例性地，同理，利用第二掩膜图像对第二可见特征图进行注意力处理，获得处理后的第三可见特征图，可以包括：将第二掩膜图像和第二可见特征图中的同一像素点对应的像素值进行相乘，并将相乘结果作为第三可见特征图，从而可以进一步突出可见区域的特征。
需要说明的是，在预测检测网络模型的训练过程中，掩膜处理子模型可以利用KL散度作为损失函数进行训练，该损失函数Lmask可以表示为：
Lmask＝∑Be*(x,y)(logBe*(x,y)-logBe(x,y))
其中，Be*(x,y)可以是指像素点对应的真实掩膜数值；Be(x,y)可以是指确定出的掩膜图像中的像素点对应的掩膜数值。
S480、将第三全身特征图和第三可见特征图输入至第二回归子模型中，确定属于行人类别的第三全身框和相应的第三可见框以及第三全身框对应的第三全身框位置信息和第三可见框对应的第三可见框位置信息，并基于每个第三全身框位置信息和相应的第三可见框位置信息重新确定行人对应的预设分布参数值，并将重新确定的预设分布参数值进行输出。
其中，第二回归子模型可以用于预测类别为行人的置信度分数，即预测出全身框和相应的可见框属于行人类别的概率值，并回归获得更加准确的属于行人类别的第三全身框位置信息和第三可见框位置信息。例如，可以针对每个第三全身特征图和相应的第三可见特征图，确定每个第二全身框和相应的第二可见框是否属于行人类别，并将同时属于行人类别的第二全身框和相应的第二可见框作为第三全身框和相应的第三可见框，从而可以进一步保证类别检测的准确性，避免分类错误，并且同时利用位置偏移量对第三全身框和相应的第三可见框进行位置修正，获得更加准确地的第三全身框位置信息和第三可见框位置信息。针对每个第三全身框位置信息和相应的第三可见框位置信息，可以重新确定出该行人对应的预设分布参数值。
本实施例的第二回归子模型中基于第三全身框位置信息和相应的第三可见框位置信息确定预设分布参数值的方式与第一回归子模型中基于第二全身框位置信息和相应的第二可见框位置信息确定预设分布参数值的方式相同，可参见上述实施例的相关描述，此处不再赘述。例如，在利用参数化的二维Beta分布表征行人时，步骤S480中的“基于每个第三全身框位置信息和相应的第三可见框位置信息确定行人对应的预设分布参数值”，可以包括：基于第三全身框位置信息确定行人的全身框的上下左右四个边界参数值，以及基于相应的第三可见框位置信息确定该行人的可见框的上下左右四个边界参数值；基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定X轴对应的α参数和β参数；基于全身框的上下两个边界参数值和可见框的上下两个边界参数值，确定Y轴对应的α参数和β参数。
S490、根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。
本实施例的技术方案，通过利用包括特征提取子模型、框位置提取子模型、第一池化子模型、第一回归子模型、第二池化子模型、掩膜处理子模型和第二回归子模型的预设检测网络模型进行行人检测，可以进一步提高行人检测的准确性。
以下是本发明实施例提供的行人检测装置的实施例，该装置与上述各实施例的行人检测方法属于同一个发明构思，在行人检测装置的实施例中未详尽描述的细节内容，可以参考上述行人检测方法的实施例。
图6为本发明实施例提供的一种行人检测装置的结构示意图，本实施例可适用于检测图像中所包含的行人的情况，尤其是可以用于在存在遮挡的行人拥挤场景中进行行人检测的情况。如图6所示，该装置具体包括：目标图像获取模块610、目标图像输入模块620和行人检测结果确定模块630。
其中，目标图像获取模块610，用于获取待检测的目标图像；目标图像输入模块620，用于将目标图像输入至预设检测网络模型中，预设检测网络模型用于确定目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，二维概率分布图的概率分布边界为相应行人的全身框，二维概率分布图的概率峰值位于相应行人的可见框的中心位置；行人检测结果确定模块630，用于根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。
可选地，每个行人对应的预设分布参数值是指二维贝塔Beta分布对应的预设参数的取值，二维Beta分布对应的预设参数包括：X轴对应的α参数和β参数、以及Y轴对应的α参数和β参数。
可选地，预设检测网络模型包括：特征提取子模型、框位置提取子模型、第一池化子模型和第一回归子模型；
相应地，目标图像输入模块620，包括：
目标图像输入单元，用于将目标图像输入至特征提取子模型中进行特征提取，获取目标图像对应的目标特征图；
目标特征图输入单元，用于将目标特征图输入至框位置提取子模型中，确定候选行人对应的第一全身框位置信息和相应的第一可见框位置信息；
第一位置信息输入单元，用于将目标特征图、各个第一全身框位置信息和相应的第一可见框位置信息输入至第一池化子模型中进行池化操作，确定每个第一全身框对应的第一全身特征图和第一可见框对应的第一可见特征图；
第一特征图输入单元，用于将各个第一全身特征图和第一可见特征图输入至第一回归子模型中，确定属于行人类别的第二全身框和相应的第二可见框以及第二全身框对应的第二全身框位置信息和第二可见框对应的第二可见框位置信息，并基于每个第二全身框位置信息和相应的第二可见框位置信息确定行人对应的预设分布参数值，并将预设分布参数值进行输出。
可选地，第一回归子模型，具体用于：基于第二全身框位置信息确定行人的全身框的上下左右四个边界参数值，以及基于相应的第二可见框位置信息确定该行人的可见框的上下左右四个边界参数值；基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定X轴对应的α参数和β参数；基于全身框的上下两个边界参数值和可见框的上下两个边界参数值，确定Y轴对应的α参数和β参数。
可选地，第一回归子模型，具体用于：：基于全身框的左右两个边界参数值和可见框的左右两个边界参数值，确定沿X轴变化的每个像素点对应的第一权重值；基于每个像素点对应的第一权重值和全身框的左右两个边界参数值，确定X轴对应的均值和方差；基于X轴对应的均值和方差以及全身框的左右两个边界参数值，确定X轴对应的α参数和β参数。
可选地，第一回归子模型，还具体用于：在基于每个第二全身框位置信息和相应的第二可见框位置信息确定行人对应的预设分布参数值之后，基于检测出的行人对应的预设分布参数值，确定每个行人对应的二维概率分布图；采用对称的KL散度方式，基于各个二维概率分布图，确定任意两个行人之间的行人距离；基于行人距离和预设距离阈值，对检测出的各个行人进行过滤，并将过滤后的行人所对应的预设分布参数值进行输出。
可选地，预设检测网络模型还包括：第二池化子模型、掩膜处理子模型和第二回归子模型；
相应地，目标图像输入模块620，还包括：
第二位置信息输入单元，用于将目标特征图、各个第二全身框位置信息和相应的第二可见框位置信息输入至第二池化子模型中进行池化操作，确定每个第二全身框对应的第二全身特征图和第二可见框对应的第二可见特征图；
第二特征图输入单元，用于将行人对应的预设分布参数值、各个第二全身特征图和第二可见特征图输入至掩膜处理子模型中，基于行人对应的预设分布参数值确定第二全身特征图对应的第一掩膜图像和第二可见特征图对应的第二掩膜图像，并利用第一掩膜图像对第二全身特征图进行注意力处理，获得处理后的第三全身特征图，以及利用第二掩膜图像对第二可见特征图进行注意力处理，获得处理后的第三可见特征图；
第三特征图输入单元，用于将第三全身特征图和第三可见特征图输入至第二回归子模型中，确定属于行人类别的第三全身框和相应的第三可见框以及第三全身框对应的第三全身框位置信息和第三可见框对应的第三可见框位置信息，并基于每个第三全身框位置信息和相应的第三可见框位置信息重新确定行人对应的预设分布参数值，并将重新确定的预设分布参数值进行输出。
可选地，掩膜处理子模型，具体用于：基于行人对应的预设分布参数值确定相应的二维概率分布图；基于第二全身特征图对二维概率分布图进行采样，确定第二全身特征图中的每个像素点对应的第一像素值，并基于各个第一像素值确定第一掩膜图像；基于第二可见特征图对二维概率分布图进行采样，确定第二可见特征图中的每个像素点对应的第二像素值，并基于各个第二像素值确定第二掩膜图像。
可选地，掩膜处理子模型，还具体用于：将第一掩膜图像和第二全身特征图中的同一像素点对应的像素值进行相乘，并将相乘结果作为第三全身特征图。
本发明实施例所提供的行人检测装置可执行本发明任意实施例所提供的行人检测方法，具备执行行人检测方法相应的功能模块和有益效果。
值得注意的是，上述行人检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图7为本发明实施例提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种行人检测方法步骤，该方法包括：
获取待检测的目标图像；
将目标图像输入至预设检测网络模型中，预设检测网络模型用于确定目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，二维概率分布图的概率分布边界为相应行人的全身框，二维概率分布图的概率峰值位于相应行人的可见框的中心位置；
根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的行人检测方法的技术方案。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的行人检测方法步骤，该方法包括：
获取待检测的目标图像；
将目标图像输入至预设检测网络模型中，预设检测网络模型用于确定目标图像中的每个行人对应的预设分布参数值，预设分布参数值对应一个二维概率分布图，二维概率分布图的概率分布边界为相应行人的全身框，二维概率分布图的概率峰值位于相应行人的可见框的中心位置；
根据预设检测网络模型的输出，确定目标图像对应的行人检测结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种行人检测方法，其特征在于，包括：
获取待检测的目标图像；
将所述目标图像输入至预设检测网络模型中，所述预设检测网络模型用于确定所述目标图像中的每个行人对应的预设分布参数值，所述预设分布参数值对应一个二维概率分布图，所述二维概率分布图的概率分布边界为相应行人的全身框，所述二维概率分布图的概率峰值位于相应行人的可见框的中心位置；
根据所述预设检测网络模型的输出，确定所述目标图像对应的行人检测结果。
2.根据权利要求1所述的方法，其特征在于，所述每个行人对应的预设分布参数值是指二维贝塔Beta分布对应的预设参数的取值，所述二维Beta分布对应的预设参数包括：X轴对应的α参数和β参数、以及Y轴对应的α参数和β参数。
3.根据权利要求1所述的方法，其特征在于，所述预设检测网络模型包括：特征提取子模型、框位置提取子模型、第一池化子模型和第一回归子模型；
所述将所述目标图像输入至预设检测网络模型中，包括：
将所述目标图像输入至所述特征提取子模型中进行特征提取，获取所述目标图像对应的目标特征图；
将所述目标特征图输入至所述框位置提取子模型中，确定候选行人对应的第一全身框位置信息和相应的第一可见框位置信息；
将所述目标特征图、各个所述第一全身框位置信息和相应的所述第一可见框位置信息输入至所述第一池化子模型中进行池化操作，确定每个第一全身框对应的第一全身特征图和第一可见框对应的第一可见特征图；
将各个所述第一全身特征图和所述第一可见特征图输入至所述第一回归子模型中，确定属于行人类别的第二全身框和相应的第二可见框以及所述第二全身框对应的第二全身框位置信息和所述第二可见框对应的第二可见框位置信息，并基于每个所述第二全身框位置信息和相应的所述第二可见框位置信息确定行人对应的预设分布参数值，并将所述预设分布参数值进行输出。
4.根据权利要求3所述的方法，其特征在于，所述基于每个所述第二全身框位置信息和相应的所述第二可见框位置信息确定行人对应的预设分布参数值，包括：
基于所述第二全身框位置信息确定行人的全身框的上下左右四个边界参数值，以及基于相应的所述第二可见框位置信息确定该行人的可见框的上下左右四个边界参数值；
基于所述全身框的左右两个边界参数值和所述可见框的左右两个边界参数值，确定X轴对应的α参数和β参数；
基于所述全身框的上下两个边界参数值和所述可见框的上下两个边界参数值，确定Y轴对应的α参数和β参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述全身框的左右两个边界参数值和所述可见框的左右两个边界参数值，确定X轴对应的α参数和β参数，包括：
基于所述全身框的左右两个边界参数值和所述可见框的左右两个边界参数值，确定沿X轴变化的每个像素点对应的第一权重值；
基于所述每个像素点对应的第一权重值和所述全身框的左右两个边界参数值，确定X轴对应的均值和方差；
基于所述X轴对应的均值和方差以及所述全身框的左右两个边界参数值，确定X轴对应的α参数和β参数。
6.根据权利要求3所述的方法，其特征在于，在所述基于每个所述第二全身框位置信息和相应的所述第二可见框位置信息确定行人对应的预设分布参数值之后，还包括：
基于检测出的行人对应的所述预设分布参数值，确定每个行人对应的二维概率分布图；
采用对称的KL散度方式，基于各个所述二维概率分布图，确定任意两个行人之间的行人距离；
基于所述行人距离和预设距离阈值，对检测出的各个行人进行过滤，并将过滤后的行人所对应的预设分布参数值进行输出。
7.根据权利要求3-6任一所述的方法，其特征在于，所述预设检测网络模型还包括：第二池化子模型、掩膜处理子模型和第二回归子模型；
所述将所述预设分布参数值进行输出，包括：
将所述目标特征图、各个所述第二全身框位置信息和相应的所述第二可见框位置信息输入至所述第二池化子模型中进行池化操作，确定每个第二全身框对应的第二全身特征图和第二可见框对应的第二可见特征图；
将所述行人对应的预设分布参数值、各个所述第二全身特征图和所述第二可见特征图输入至所述掩膜处理子模型中，基于所述行人对应的预设分布参数值确定所述第二全身特征图对应的第一掩膜图像和所述第二可见特征图对应的第二掩膜图像，并利用所述第一掩膜图像对所述第二全身特征图进行注意力处理，获得处理后的第三全身特征图，以及利用所述第二掩膜图像对所述第二可见特征图进行注意力处理，获得处理后的第三可见特征图；
将所述第三全身特征图和所述第三可见特征图输入至所述第二回归子模型中，确定属于行人类别的第三全身框和相应的第三可见框以及所述第三全身框对应的第三全身框位置信息和所述第三可见框对应的第三可见框位置信息，并基于每个所述第三全身框位置信息和相应的所述第三可见框位置信息重新确定行人对应的预设分布参数值，并将重新确定的预设分布参数值进行输出。
8.根据权利要求7所述的方法，其特征在于，所述基于所述行人对应的预设分布参数值确定所述第二全身特征图对应的第一掩膜图像和所述第二可见特征图对应的第二掩膜图像，包括：
基于所述行人对应的预设分布参数值确定相应的二维概率分布图；
基于所述第二全身特征图对所述二维概率分布图进行采样，确定所述第二全身特征图中的每个像素点对应的第一像素值，并基于各个所述第一像素值确定第一掩膜图像；
基于所述第二可见特征图对所述二维概率分布图进行采样，确定所述第二可见特征图中的每个像素点对应的第二像素值，并基于各个所述第二像素值确定第二掩膜图像。
9.根据权利要求7所述的方法，其特征在于，所述利用所述第一掩膜图像对所述第二全身特征图进行注意力处理，获得处理后的第三全身特征图，包括：
将所述第一掩膜图像和所述第二全身特征图中的同一像素点对应的像素值进行相乘，并将相乘结果作为第三全身特征图。
10.一种行人检测装置，其特征在于，包括：
目标图像获取模块，用于获取待检测的目标图像；
目标图像输入模块，用于将所述目标图像输入至预设检测网络模型中，所述预设检测网络模型用于确定所述目标图像中的每个行人对应的预设分布参数值，所述预设分布参数值对应一个二维概率分布图，所述二维概率分布图的概率分布边界为相应行人的全身框，所述二维概率分布图的概率峰值位于相应行人的可见框的中心位置；
行人检测结果确定模块，用于根据所述预设检测网络模型的输出，确定所述目标图像对应的行人检测结果。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的行人检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的行人检测方法。
CN202210002049.5A 2022-01-04 2022-01-04 一种行人检测方法、装置、设备和介质 Pending CN114399791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210002049.5A CN114399791A (zh) 2022-01-04 2022-01-04 一种行人检测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210002049.5A CN114399791A (zh) 2022-01-04 2022-01-04 一种行人检测方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN114399791A true CN114399791A (zh) 2022-04-26

Family

ID=81228564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210002049.5A Pending CN114399791A (zh) 2022-01-04 2022-01-04 一种行人检测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN114399791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758579A (zh) * 2023-04-17 2023-09-15 三峡大学 一种基于特征增强的多实例行人检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758579A (zh) * 2023-04-17 2023-09-15 三峡大学 一种基于特征增强的多实例行人检测方法

Similar Documents

Publication Publication Date Title
CN110163176B (zh) 车道线变化位置识别方法、装置、设备和介质
CN109726661B (zh) 图像处理方法及装置、介质和计算设备
CN110490073A (zh) 目标检测方法、装置、设备及存储介质
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN112149663A (zh) 结合rpa和ai的图像文字的提取方法、装置及电子设备
CN113012200B (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110796108B (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN111814746A (zh) 一种识别车道线的方法、装置、设备及存储介质
CN109241998B (zh) 模型训练方法、装置、设备及存储介质
CN114332799A (zh) 目标检测方法及装置、电子设备、存储介质
CN111709377A (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN114399791A (zh) 一种行人检测方法、装置、设备和介质
CN111444926A (zh) 基于雷达的区域人数统计方法、装置、设备和存储介质
CN116415020A (zh) 一种图像检索的方法、装置、电子设备及存储介质
CN110363193A (zh) 车辆重识别方法、装置、设备和计算机存储介质
CN109598712A (zh) 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
CN112036516A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN115810020B (zh) 一种基于语义引导的由粗到细的遥感图像分割方法及系统
CN113722203A (zh) 程序测试方法及装置、电子设备和计算机可读存储介质
CN111488776A (zh) 对象检测方法、对象检测装置和电子设备
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112991397B (zh) 交通牌跟踪方法、装置、设备和存储介质
CN117671312A (zh) 物品识别方法、装置、电子设备及计算机可读存储介质
CN115311634A (zh) 一种基于模板匹配的车道线跟踪方法、介质以及设备
CN114821272A (zh) 图像识别方法、系统、介质、电子设备及目标检测模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination