CN115761815A - 人体检测模型的训练方法及人体检测方法、设备、介质 - Google Patents

人体检测模型的训练方法及人体检测方法、设备、介质 Download PDF

Info

Publication number
CN115761815A
CN115761815A CN202310031199.3A CN202310031199A CN115761815A CN 115761815 A CN115761815 A CN 115761815A CN 202310031199 A CN202310031199 A CN 202310031199A CN 115761815 A CN115761815 A CN 115761815A
Authority
CN
China
Prior art keywords
feature map
feature
target
human body
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310031199.3A
Other languages
English (en)
Other versions
CN115761815B (zh
Inventor
许秋菊
艾坤
刘海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202310031199.3A priority Critical patent/CN115761815B/zh
Publication of CN115761815A publication Critical patent/CN115761815A/zh
Application granted granted Critical
Publication of CN115761815B publication Critical patent/CN115761815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种人体检测模型的训练方法及人体检测方法、设备、介质。该训练方法包括:获取多个带有标注信息的训练图像样本,其中,训练图像样本包含人体属性;将训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果;根据标注信息和人体属性检测结果利用预设损失函数计算损失值,并根据损失值更新目标检测模型的参数,直至目标检测模型收敛,得到训练好的人体检测模型。由此,以提升小目标的识别准确度,降低人体属性检测的误检率和漏检率。

Description

人体检测模型的训练方法及人体检测方法、设备、介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人体检测模型的训练方法及人体检测方法、设备、介质。
背景技术
在工业生产过程中,由于人们安全意识不足而导致的安全事故频繁发生,例如,在禁烟区抽烟、高空作业时未佩戴安全帽、工作时间打电话等等,这些违规行为都会带来巨大的安全隐患。针对上述问题,急需要利用智能化技术,以在无人监督的境况下对人的违规行为进行实时监控。
目前,提出了利用基于深度学习的人体属性多目标检测算法,来对人的违规行为进行实时监控。已有的人体属性多目标检测算法一般是通过一级目标检测网络来检测,并且待测数据需为清楚可见的视频或图像。
但是,通常工业生产环境较为复杂,待测图像中不同目标的尺寸也相差较大,且由于部分目标的尺寸较小,因此会存在目标被遮挡或者目标会受光线的影响,导致目标识别的准确率较低,容易造成误检和漏检。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种人体检测模型的训练方法,以提升小目标的识别准确度,降低人体属性检测的误检率和漏检率。
本发明的第二个目的在于提出一种人体检测方法。
本发明的第三个目的在于提出一种边缘处理设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的,本发明第一个实施例提出了一种人体检测模型的训练方法,该方法包括:
获取多个带有标注信息的训练图像样本,其中,所述训练图像样本包含人体属性;将所述训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果;根据所述标注信息和所述人体属性检测结果利用预设损失函数计算损失值,并根据所述损失值更新所述目标检测模型的参数,直至所述目标检测模型收敛,得到训练好的人体检测模型。
本发明实施例的人体检测模型的训练方法,通过将带有标注信息的训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果;再根据标注信息和人体属性检测结果利用预设损失函数计算损失值,并根据损失值更新目标检测模型的参数,直至目标检测模型收敛,得到训练好的人体检测模型,训练好的人体检测模型具有较高的小目标识别准确度,从而降低了人体属性的误检率和漏检率。
在一些可实现的方式中,所述目标检测模型包括特征提取单元、混合池化单元、特征融合单元以及预测单元,所述将所述训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果,包括:利用所述特征提取单元对所述训练图像样本进行特征提取,得到浅层特征图和深层特征图;利用所述混合池化单元对所述深层特征图进行混合池化操作,得到目标混合池化特征图;利用所述特征融合单元将所述目标混合池化特征图分别与所述浅层特征图和所述深层特征图进行特征融合,得到目标特征图;利用所述预测单元根据所述目标特征图确定所述人体属性检测结果。
在一些可实现的方式中,所述特征提取单元包括第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层,所述深层特征图包括第一深层特征图、第二深层特征图以及第三深层特征图,所述利用所述特征提取单元所述对所述训练图像样本进行特征提取,得到浅层特征图和深层特征图,包括:利用所述第一特征提取层对所述训练图像样本进行特征提取,得到所述浅层特征图;利用所述第二特征提取层对所述浅层特征图进行特征提取,得到所述第一深层特征图;利用所述第三特征提取层对所述第一深层特征图进行特征提取,得到所述第二深层特征图;利用所述第四特征提取层对所述第二深层特征图进行特征提取,得到所述第三深层特征图。
在一些可实现的方式中,所述利用所述混合池化单元对所述深层特征图进行混合池化操作,得到目标混合池化特征图,包括:根据多组预设池化参数对所述第三深层特征图进行混合池化操作,得到多个混合池化特征图;将多个所述混合池化特征图进行通道拼接融合,并通过卷积操作得到每个所述混合池化特征图的权重;根据每个所述混合池化特征图、每个所述混合池化特征图的权重和所述第三深层特征图得到所述目标混合池化特征图。
在一些可实现的方式中,所述目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图,所述利用所述特征融合单元将所述目标混合池化特征图分别与所述浅层特征图和所述深层特征图进行特征融合,得到目标特征图,包括:
将所述目标混合池化特征图和所述第二深层特征图进行特征融合,得到第一中间图;将所述第一中间图和所述第一深层特征图进行特征融合,得到第二中间图;将所述第二中间图和所述浅层特征图进行特征融合,得到所述第一目标特征图;将所述第一目标特征图与所述第二中间图进行特征融合,得到所述第二目标特征图;将所述第二目标特征图与所述第一中间图进行特征融合,得到所述第三目标特征图;将所述第三目标特征图与所述目标混合池化特征图进行特征融合,得到所述第四目标特征图。
在一些可实现的方式中,在获取多个带有标注信息的训练图像样本之后,所述方法还包括:利用训练好的自动搜索数据增强模型对所述训练图像样本进行数据增强处理,以便将经过数据增强后的训练图像样本输入至所述预先构建的目标检测模型进行训练。
在一些可实现的方式中,所述预设损失函数为:
Figure 765147DEST_PATH_IMAGE001
其中,Loss为所述预设损失函数,LossGIoU为定位损失,W1为所述定位损失的权重,Lossobj为置信度损失,W2为所述置信度损失的权重,Losscls为分类损失,W3为所述分类损失的权重。
为达上述目的,本发明第二个实施例提出了一种人体检测方法,该方法包括:
获取待测图像;将所述待测图像输入至训练好的人体检测模型,获得人体属性检测结果,其中,所述人体检测模型根据本发明第一方面实施例所述的训练方法训练得到。
为达上述目的,本发明第三个实施例提出了一种边缘处理设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如第二方面实施例提出的人体检测方法。
为达上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如根据本发明第二方面实施例提出的人体检测方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的人体检测模型的训练方法的流程图;
图2是本发明一个具体实施例的目标检测模型的部分网络结构示意图;
图3是本发明实施例的得到人体属性检测结果的方法的流程图;
图4是本发明实施例的得到浅层特征图和深层特征图的方法的流程图;
图5是本发明实施例的对深层特征图进行混合池化的方法的流程图;
图6是本发明实施例的混合池化单元的结构示意图;
图7是本发明实施例的得到目标特征图的方法的流程图;
图8是本发明一个实施例的人体检测方法的流程图;
图9是本发明一个实施例的边缘处理设备的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的人体检测模型的训练方法及人体检测方法、设备、介质。
图1是本发明一个实施例的人体检测模型的训练方法的流程图。如图1所示,该训练方法包括以下步骤:
步骤S110:获取多个带有标注信息的训练图像样本。
需要说明的是,训练图像样本中包含了人体属性,人体属性可以包括安全帽、工装、吸烟行为等。
具体地,可以在工业生产场景中设置一个摄像装置,通过摄像装置来随机抓拍工作人员入镜时的图像。这些图像中可以包含工作人员戴安全帽、工作人员未戴安全帽、工作人员穿工装、工作人员未穿工装、工作人员吸烟、工作人员未吸烟等多种人体属性。这里也可以看出,将不同的人体属性作为检测目标,其目标的尺寸也会不同,例如,安全帽、工装等为大尺寸目标,而吸烟为小尺寸目标。
将摄像装置拍摄的带有不同人体属性的图像作为本实施例的训练图像样本。得到多个训练图像样本后,还需要对训练图像样本进行标注。具体地,可以利用矩形框标注工具,对训练图像样本中包含人体属性的区域进行标注,标注的矩形框即为真实框,其标注信息可以为真实框的边框坐标值。由此,即可获得多个带有标注信息的训练图像样本。
为了提高人体检测模型的训练效果和训练后人体检测模型的鲁棒性,提升小目标训练图像样本的数量和多样性。在一些实施方式中,在步骤S110之后,该训练方法还包括:利用训练好的自动搜索数据增强模型对训练图像样本进行数据增强处理,以便将经过数据增强后的训练图像样本输入至预先构建的目标检测模型进行训练。
本发明实施例中的自动搜索数据增强模型是通过运行强化学习搜索算法和搜索空间,并利用多个样本图像进行训练得到的。其中,搜索空间是由5个子策略构成,每个子策略配置有两种操作,并且每种操作都配置有相应的操作概率和幅度。可以将每种操作的幅度离散为D=11等间距值,并归一化到[0,10],幅度间距可以设置为6,相应的概率间距也可以设置为6。由此,将搜索学习到的增强策略问题转化为离散优化问题。另外,这样取值平衡了强化学习算法计算的可追溯性和学习能力。
强化学习搜索算法包括递归神经网络控制器RNN和近端策略优化训练算法两部分。其中,递归神经网络控制器RNN用于预测softmax函数产生的决策,然后将预测结果作为嵌入输入至下一步。递归神经网络控制器RNN通过30次预测,来预测所需的5个子策略,预测5个子策略包括:预测每个操作的类型、操作概率以及幅度这三个参数。
上述自动搜索数据增强模型的训练方式,能够将运算与真实框标注相结合,从数据本身出发学习增强策略。相比已有的手动数据增强,采用本实施例的自动搜索数据增强模型对训练图像样本进行数据增强,能够有效提高人体检测模型的训练效果和训练后的人体检测模型的鲁棒性。
步骤S120:将训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果。
具体地,对训练图像样本进行数据增强处理后,将经过数据增强处理的训练图像样本输入至预先构建的目标检测模型中,以得到人体属性检测结果。
图2是本发明一个具体实施例的目标检测模型的部分网络结构示意图。如图2所示,在一些实施方式中,目标检测模型包括特征提取单元、混合池化单元(AHA)、特征融合单元以及预测单元(不在图中示出)。
图3是本发明实施例的得到人体属性检测结果的方法的流程图。如图3所示,步骤S120包括以下步骤:
步骤S310:利用特征提取单元对训练图像样本进行特征提取,得到浅层特征图和深层特征图。
步骤S320:利用混合池化单元对深层特征图进行混合池化操作,得到目标混合池化特征图。
步骤S330:利用特征融合单元将目标混合池化特征图分别与浅层特征图和深层特征图进行特征融合,得到目标特征图。
步骤S340:利用预测单元根据目标特征图确定人体属性检测结果。
具体地,将经过数据增强处理的训练图像样本输入至预先构建的目标检测模型后,目标检测模型的特征提取单元会先对训练图像样本进行特征提取。为了提高对小目标检测的检测准确度,在本实施例中,增加了一次对训练图像样本的浅层特征提取过程,来得到一个更大尺度的特征图(即浅层特征图)。大尺度特征图的感受野较小,能够保留小目标的位置特征,因此更有利于对小目标(例如吸烟行为)的检测。
在一些实施方式中,特征提取单元包括第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层。另外,深层特征图包括第一深层特征图、第二深层特征图以及第三深层特征图。
图4是本发明实施例的得到浅层特征图和深层特征图的方法的流程图。如图4所示,在一些实施方式中,步骤S310还包括以下步骤:
步骤S410:利用第一特征提取层对训练图像样本进行特征提取,得到浅层特征图。
步骤S420:利用第二特征提取层对浅层特征图进行特征提取,得到第一深层特征图。
步骤S430:利用第三特征提取层对第一深层特征图进行特征提取,得到第二深层特征图。
步骤S440:利用第四特征提取层对第二深层特征图进行特征提取,得到第三深层特征图。
具体地,第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层均预先配置有一个下采样倍数,其中,第一特征提取层的下采样倍数小于其余三层的下采样倍数。第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层会按照预先配置的下采样倍数进行特征提取。
作为一个示例,设置第一特征提取层对训练图像样本进行4倍下采样,第二特征提取层相对于训练图像样本的下采样倍数为8倍,第三特征提取层相对于训练图像样本的下采样倍数为16倍,第四特征提取层相对于训练图像样本的下采样倍数为32倍,即每次采样步长为4。若输入至特征提取单元的训练图像样本的尺寸为224*224,训练图像样本经过第一特征提取层的特征提取后,得到的浅层特征图尺寸为56*56;浅层特征图再作为输入数据,输入至第二特征提取层,经过第二特征提取层的特征提取后,得到的第一深层特征图尺寸为28*28;第一深层特征图再作为输入数据,输入至第三特征提取层,经过第三特征提取层的特征提取后,得到的第二深层特征图尺寸为14*14;第二深层特征图再作为输入数据,输入至第四特征提取层,经过第四特征提取层的特征提取后,得到的第三深层特征图尺寸为7*7。
在步骤S320中,进行混合池化操作的深层特征图即为上述第三深层特征图。由于,在特征金字塔网络结构中,随着通道数的减少,最后提取出来的第三深层特征图会存在上下文信息丢失的问题。为此,本发明实施例增加了一个混合池化单元,在对第三深层特征图进行上采样之前,需要先将第三深层特征图输入至混合池化单元,来提高第三深层特征图的上下文信息的完整性。
图5是本发明实施例的对深层特征图进行混合池化的方法的流程图。如图5所示,在一些实施方式中,步骤S320包括以下步骤:
步骤S510:根据多组预设池化参数对第三深层特征图进行混合池化操作,得到多个混合池化特征图。
步骤S520:将多个混合池化特征图进行通道拼接融合,并通过卷积操作得到每个混合池化特征图的权重。
步骤S530:根据每个混合池化特征图、每个混合池化特征图的权重和第三深层特征图得到目标混合池化特征图。
需要说明的是,本实施例的混合池化操作包括全局平均池化和全局最大池化。
具体地,参考图2,特征提取单元的第四特征提取层输出了具有高分辨率的第三深层特征图后,特征提取单元会将第三深层特征图输入至混合池化单元(AHA)。
图6是本发明实施例的混合池化单元的结构示意图。参考图5和图6,混合池化单元会先按照预设池化参数对第三深层特征图进行混合池化操作(即全局平均池化操作Avgpool和全局最大池化操作Maxpool),得到三个混合池化特征图。需要说明的是,预设池化参数可以根据实际需求人为设定,可以设置三组不同的预设池化参数,来分别得到三个不同通道数的混合池化特征图。
在一些实施方式中,混合池化公式可以为:
Figure 901730DEST_PATH_IMAGE002
其中,C为混合池化后的结果数据,avgpool为全局平均池化算法,maxpool为全局最大池化算法,M为第三深层特征图的数据,μ为可学习的权重参数。
得到三个不同通道数的混合池化特征图后,将三个不同通道数的混合池化特征图进行通道拼接融合(ɑ1×H×W,ɑ2×H×W,ɑ3×H×W),得到一个拼接融合结果图。其中,ɑ为混合池化特征图的通道数,H为混合池化特征图的高度,W为混合池化特征图的宽度。
得到拼接融合结果图后,对拼接融合结果图进行卷积操作,来得到三个混合池化特征图相应的权重;再将带有权重的三个混合池化特征图与输入的第三深层特征图进行相加融合,就可以得到具有丰富的多尺度上下文信息的目标混合池化特征图。混合池化单元得到目标混合池化特征图后,会将目标混合池化特征图输入至特征融合单元。
在一些实施方式中,目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图。
图7是本发明实施例的得到目标特征图的方法的流程图。如图7所示,在一些实施方式中,步骤S330还包括以下步骤:
步骤S710:将目标混合池化特征图和第二深层特征图进行特征融合,得到第一中间图。
步骤S720:将第一中间图和第一深层特征图进行特征融合,得到第二中间图。
步骤S730:将第二中间图和浅层特征图进行特征融合,得到第一目标特征图。
步骤S740:将第一目标特征图与第二中间图进行特征融合,得到第二目标特征图。
步骤S750:将第二目标特征图与第一中间图进行特征融合,得到第三目标特征图。
步骤S760:将第三目标特征图与目标混合池化特征图进行特征融合,得到第四目标特征图。
具体地,目标混合池化特征图、浅层特征图、第一深层特征图以及第二深层特征图作为输入数据,输入至特征融合单元后,特征融合单元会先对目标混合池化特征图进行上采样,并将经过上采样后的目标混合池化特征图与第二深层特征图进行特征融合,得到第一中间图。得到第一中间图后,再对第一中间图进行上采样,并将经过上采样后的第一中间图与第一深层特征图进行特征融合,得到第二中间图。得到第二中间图后,对第二中间图进行上采样,并将经过上采样后的第二中间图和浅层特征图进行特征融合,可以得到第一目标特征图。
将第一目标特征图与第二中间图进行特征融合,可以得到第二目标特征图。再将第二目标特征图与第一中间图进行特征融合,可以得到第三目标特征图。最后,将第三目标特征图与目标混合池化特征图进行特征融合,得到第四目标特征图。
由此,可以得到第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图,这四个目标特征图。将这四个目标特征图作为预测单元的输入数据,预测单元会根据这四个目标特征图确定人体属性检测结果。其中,人体属性检测结果可以为预测的人体属性区域的坐标信息(即预测框的边框坐标值)。
步骤S130:根据标注信息和人体属性检测结果利用预设损失函数计算损失值,并根据损失值更新目标检测模型的参数,直至目标检测模型收敛,得到训练好的人体检测模型。
具体地,可以根据标注信息(即真实框的边框坐标值)和人体属性检测结果(即预测框的边框坐标值)来计算损失值。在本实施例中,计算的损失包括定位损失、置信度损失以及分类损失。其中,定位损失用于衡量目标检测中预测框与真实框的重叠程度,置信度损失用于表示这个预测框的可靠程度。
在一些实施方式中,预设损失函数为:
Figure 570609DEST_PATH_IMAGE001
其中,Loss为预设损失函数,LossGIoU为定位损失,W1为定位损失的权重,Lossobj为置信度损失,W2为置信度损失的权重,Losscls为分类损失,W3为分类损失的权重。
Figure 563973DEST_PATH_IMAGE003
其中,d2 0为预测框和真实框的中心点的欧氏距离,d2 c为能够同时包含预测框和真实框的最小闭包区域的对角线距离,IoU损失为预测框和真实框之间交并比的差值,
Figure 505253DEST_PATH_IMAGE004
,ωgt和hgt表示真实框的宽和高,ω和h表示预测框的宽和高。
本实施例在计算定位损失时,使用了GIoU,GIoU综合考虑了真实框与预测框之间的重叠程度、中心点距离、长宽比,使目标框回归过程更加稳定,收敛的精度更高,更适合工业生产场景中人体属性目标检测。
综上所述,本发明实施例的人体检测模型的训练方法,通过对训练图像样本增加一次浅层特征提取过程,来得到一个大尺度的特征图(浅层特征图),大尺度的特征图可以包含更多小目标的位置信息。因此使用大尺度的特征图来进行人体属性检测,能够更有利于对小目标的检测,从而能够进一步降低人体属性检测的误检率和漏检率。其次,本实施例的人体检测模型包含有一个混合池化单元,能够对深层特征图进行混合池化操作,使混合池化后的深层特征图包含更丰富的上下文信息,使用混合池化后的深层特征图进行人体属性检测,能够进一步提高检测准确度。最后,本实施例还通过自动搜索数据增强模型对训练图像样本进行数据增强,能够有效提高人体检测模型的训练效果和训练后人体检测模型的鲁棒性。
图8是本发明一个实施例的人体检测方法的流程图。如图8所示,该方法包括以下步骤:
步骤S810:获取待测图像。
步骤S820:将待测图像输入至训练好的人体检测模型,获得人体属性检测结果。其中,人体检测模型根据本发明第一方面实施例提出的训练方法训练得到。
具体地,通过拍摄装置拍摄工业生产场景中,工作人员入镜后的图像,并将该图像作为待测图像。将待测图像输入至训练好的人体检测模型,通过人体检测模型的特征提取单元对待测图像进行浅层特征提取和深层特征提取,得到浅层特征图和深层特征图;混合池化单元再对深层特征图进行混合池化操作,得到目标混合池化特征图;特征融合单元将目标混合池化特征图分别与浅层特征图和深层特征图进行特征融合,得到目标特征图;预测单元根据目标特征图确定人体属性检测结果。人体检测模型的具体工作过程可以参考前述实施例中人体检测模型的工作过程,此处不再赘述。
通过对待测图像增加一次浅层特征提取过程,来得到一个大尺度的特征图(浅层特征图),大尺度的特征图可以包含更多小目标的位置信息,从而更有利于对小目标的检测,提高了人体属性检测的检测准确度,降低了人体属性检测的误检率和漏检率。其次,通过混合池化单元对深层特征图进行混合池化操作,能够保留更多深层特征图中的上下文信息,从而进一步提高人体属性检测准确度。
图9是本发明一个实施例的边缘处理设备的结构框图。
如图9所示,图9所示的边缘处理设备900包括:处理器901和存储器903。其中,处理器901和存储器903相连,如通过总线902相连。可选地,边缘处理设备900还可以包括收发器904。需要说明的是,实际应用中收发器904不限于一个,该边缘处理设备900的结构并不构成对本发明实施例的限定。
处理器901可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器901也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线902可包括一通路,在上述组件之间传送信息。总线902可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线902可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器903可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器903用于存储执行本发明申请方案的应用程序代码,并由处理器901来控制执行。处理器901用于执行存储器903中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,边缘处理设备900包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的边缘处理设备900仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种人体检测模型的训练方法,其特征在于,包括:
获取多个带有标注信息的训练图像样本,其中,所述训练图像样本包含人体属性;
将所述训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果;
根据所述标注信息和所述人体属性检测结果利用预设损失函数计算损失值,并根据所述损失值更新所述目标检测模型的参数,直至所述目标检测模型收敛,得到训练好的人体检测模型。
2.根据权利要求1所述的人体检测模型的训练方法,其特征在于,所述目标检测模型包括特征提取单元、混合池化单元、特征融合单元以及预测单元,所述将所述训练图像样本输入至预先构建的目标检测模型中,得到人体属性检测结果,包括:
利用所述特征提取单元对所述训练图像样本进行特征提取,得到浅层特征图和深层特征图;
利用所述混合池化单元对所述深层特征图进行混合池化操作,得到目标混合池化特征图;
利用所述特征融合单元将所述目标混合池化特征图分别与所述浅层特征图和所述深层特征图进行特征融合,得到目标特征图;
利用所述预测单元根据所述目标特征图确定所述人体属性检测结果。
3.根据权利要求2所述的人体检测模型的训练方法,其特征在于,所述特征提取单元包括第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层,所述深层特征图包括第一深层特征图、第二深层特征图以及第三深层特征图,所述利用所述特征提取单元对所述训练图像样本进行特征提取,得到浅层特征图和深层特征图,包括:
利用所述第一特征提取层对所述训练图像样本进行特征提取,得到所述浅层特征图;
利用所述第二特征提取层对所述浅层特征图进行特征提取,得到所述第一深层特征图;
利用所述第三特征提取层对所述第一深层特征图进行特征提取,得到所述第二深层特征图;
利用所述第四特征提取层对所述第二深层特征图进行特征提取,得到所述第三深层特征图。
4.根据权利要求3所述的人体检测模型的训练方法,其特征在于,所述利用所述混合池化单元对所述深层特征图进行混合池化操作,得到目标混合池化特征图,包括:
根据多组预设池化参数对所述第三深层特征图进行混合池化操作,得到多个混合池化特征图;
将多个所述混合池化特征图进行通道拼接融合,并通过卷积操作得到每个所述混合池化特征图的权重;
根据每个所述混合池化特征图、每个所述混合池化特征图的权重和所述第三深层特征图得到所述目标混合池化特征图。
5.根据权利要求3所述的人体检测模型的训练方法,其特征在于,所述目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图,所述利用所述特征融合单元将所述目标混合池化特征图分别与所述浅层特征图和所述深层特征图进行特征融合,得到目标特征图,包括:
将所述目标混合池化特征图和所述第二深层特征图进行特征融合,得到第一中间图;
将所述第一中间图和所述第一深层特征图进行特征融合,得到第二中间图;
将所述第二中间图和所述浅层特征图进行特征融合,得到所述第一目标特征图;
将所述第一目标特征图与所述第二中间图进行特征融合,得到所述第二目标特征图;
将所述第二目标特征图与所述第一中间图进行特征融合,得到所述第三目标特征图;
将所述第三目标特征图与所述目标混合池化特征图进行特征融合,得到所述第四目标特征图。
6.根据权利要求1-5中任一项所述的人体检测模型的训练方法,其特征在于,在获取多个带有标注信息的训练图像样本之后,所述方法还包括:
利用训练好的自动搜索数据增强模型对所述训练图像样本进行数据增强处理,以便将经过数据增强后的所述训练图像样本输入至所述预先构建的目标检测模型进行训练。
7.根据权利要求1所述的人体检测模型的训练方法,其特征在于,所述预设损失函数为:
Figure 179876DEST_PATH_IMAGE001
其中,Loss为所述预设损失函数,LossGIoU为定位损失,W1为所述定位损失的权重,Lossobj为置信度损失,W2为所述置信度损失的权重,Losscls为分类损失,W3为所述分类损失的权重。
8.一种人体检测方法,其特征在于,包括:
获取待测图像;
将所述待测图像输入至训练好的人体检测模型,获得人体属性检测结果,其中,所述人体检测模型根据权利要求1-7中任一项所述的训练方法训练得到。
9.一种边缘处理设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求8所述的人体检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求8所述的人体检测方法。
CN202310031199.3A 2023-01-10 2023-01-10 人体检测模型的训练方法及人体检测方法、设备、介质 Active CN115761815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310031199.3A CN115761815B (zh) 2023-01-10 2023-01-10 人体检测模型的训练方法及人体检测方法、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310031199.3A CN115761815B (zh) 2023-01-10 2023-01-10 人体检测模型的训练方法及人体检测方法、设备、介质

Publications (2)

Publication Number Publication Date
CN115761815A true CN115761815A (zh) 2023-03-07
CN115761815B CN115761815B (zh) 2023-04-25

Family

ID=85348822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310031199.3A Active CN115761815B (zh) 2023-01-10 2023-01-10 人体检测模型的训练方法及人体检测方法、设备、介质

Country Status (1)

Country Link
CN (1) CN115761815B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695463A (zh) * 2020-05-29 2020-09-22 深圳数联天下智能科技有限公司 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
US20220358334A1 (en) * 2021-05-10 2022-11-10 Qingdao Technological University Assembly body change detection method, device and medium based on attention mechanism
CN115410160A (zh) * 2022-09-29 2022-11-29 中国矿业大学(北京) 一种基于MPDNet模型的行人检测方法及系统
CN115439766A (zh) * 2022-09-23 2022-12-06 重庆邮电大学 一种基于改进yolov5的无人机目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695463A (zh) * 2020-05-29 2020-09-22 深圳数联天下智能科技有限公司 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
US20220358334A1 (en) * 2021-05-10 2022-11-10 Qingdao Technological University Assembly body change detection method, device and medium based on attention mechanism
CN115439766A (zh) * 2022-09-23 2022-12-06 重庆邮电大学 一种基于改进yolov5的无人机目标检测方法
CN115410160A (zh) * 2022-09-29 2022-11-29 中国矿业大学(北京) 一种基于MPDNet模型的行人检测方法及系统

Also Published As

Publication number Publication date
CN115761815B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN111178183B (zh) 人脸检测方法及相关装置
CN113269073A (zh) 一种基于yolo v5算法的船舶多目标追踪方法
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN109711427A (zh) 目标检测方法及相关产品
CN110796701B (zh) 标记点的识别方法、装置、设备及存储介质
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
CN106682092A (zh) 一种目标检索方法及终端
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
CN111753826B (zh) 车辆与车牌的关联方法、装置和电子系统
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
Mei et al. Human intrusion detection in static hazardous areas at construction sites: Deep learning–based method
CN112862730B (zh) 点云特征增强方法、装置、计算机设备和存储介质
CN113627298A (zh) 目标检测模型的训练方法及检测目标对象的方法、装置
CN106033613B (zh) 目标跟踪方法及装置
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN112686190A (zh) 一种基于自适应目标检测的森林火灾烟雾自动识别方法
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备
CN115761815B (zh) 人体检测模型的训练方法及人体检测方法、设备、介质
CN113793364B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN112418316B (zh) 机器人重定位方法、装置、激光机器人及可读存储介质
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant