CN118506397B - 基于单个模型高效率识别人体位置和关键点检测方法 - Google Patents

基于单个模型高效率识别人体位置和关键点检测方法 Download PDF

Info

Publication number
CN118506397B
CN118506397B CN202410444233.4A CN202410444233A CN118506397B CN 118506397 B CN118506397 B CN 118506397B CN 202410444233 A CN202410444233 A CN 202410444233A CN 118506397 B CN118506397 B CN 118506397B
Authority
CN
China
Prior art keywords
human body
key point
body position
position frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410444233.4A
Other languages
English (en)
Other versions
CN118506397A (zh
Inventor
李继凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Uwonders Technology Co ltd
Original Assignee
Beijing Uwonders Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Uwonders Technology Co ltd filed Critical Beijing Uwonders Technology Co ltd
Priority to CN202410444233.4A priority Critical patent/CN118506397B/zh
Publication of CN118506397A publication Critical patent/CN118506397A/zh
Application granted granted Critical
Publication of CN118506397B publication Critical patent/CN118506397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于单个模型高效率识别人体位置和关键点检测方法，该方法包括，步骤1、构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；步骤2、利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；步骤3、将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；步骤4、对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。本发明是在自顶而下的基础上次加以改进，采用一次前向推理的结构，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了检测精度的同时，又提高了运行效率。

Description

基于单个模型高效率识别人体位置和关键点检测方法
技术领域
本发明申请为申请日2023年7月21日，申请号为：202310899391.4，名称为“一种人体关键点检测方法及系统”的发明专利申请的分案申请。
本发明涉及计算机视觉技术领域，尤其涉及一种人体关键点检测方法及系统。
背景技术
人体关键点检测通过对人体主要骨骼点(关键点)的位置预测，实现人体姿态估计。人体姿态估计是计算机视觉领域的基础任务之一，可广泛应用于动作识别、行人跟踪、自动驾驶、人机交互等领域。行业内的技术采用分为自底而上(bottom-up)和自顶而下(top-down)两种思路。
自底而上的方法直接从原图检测人体关键点，再根据不同关键点间的关系进行分组。自顶而下的方法先检测行人区域，再对每个行人进行关键点检测，可视为行人检测和单人姿态估计的组合。通常自顶而下的技术方案的准确性要高于自底而上，但是效率却要低于自底而下。
为了实现高精度的人体关键点检测，发明专利一种多人人体姿态估计方法(CN111339903B)，公开了采用自底向上与自顶向下两种方法结合的两阶段训练方法，训练深度特征人体关键点检测模型，首先进行自底向上的方法训练该深度特征人体关键点检测模型，然后进行自顶向下的方法训练该深度特征人体关键点检测模型，最终利用两阶段训练好深度特征人体关键点检测模型检测人体关键点，采用自底向上训练深度特征人体关键点检测模型，输出人体关键点检测置信度热图；采用自顶向下训练深度特征人体关键点检测模型，识别裁剪后的图像中的所有人体关键点。
上述方法，可实现图像中多人体关键点的识别，但模型训练过程复杂，特提出本发明，本发明是在自顶而下的基础上次加以改进，在确保自顶而下技术方案的准确性的同时，又提高了运行效率。
发明内容
本发明的发明目的是针对现有技术的不足，提供了一种人体关键点检测方法及系统，可精确实现人体关键点的估计，适用范围广。
第一方面，本申请提供一种人体关键点检测方法，包括：
步骤1，构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；
所述多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；
所述检测头模块用于接受特征图并输出多个尺度的检测头特征图；
所述人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；
所述感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；
所述人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标；
步骤2，利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；
步骤3，将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；
步骤4，对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。
进一步地，所述多尺度特征图提取模块输出4个尺度的特征图，所述检测头模块输出4个尺度的检测头特征图，所述人体位置框检测模块输出4个尺度的预测人体位置框；所述感兴趣区域对齐模块输出4个尺度的对齐特征图，所述人体关键点检测模块输出4个不同尺度的17个人体关键点预测坐标。
进一步地，所述多尺度特征图提取模块包括Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块。
进一步地，所述Backbone特征提取模块采用多个残差网络块，得到至少4个尺度的特征图，输出分辨率从小到大的最后4个尺度的特征图，分别为：BONEend，BONEend-1，BONEend-2，BONeend-3；
所述自上而下多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为UPend，UPend-1，UPend-2，UPend-3，其中，UPend通过对BONEend进行卷积操作得到；UPend-1通过对UPend进行转置卷积并加上BONEend-1的卷积操作后得到；UPend-2通过对UPend-1进行转置卷积并加上BONEend-2的卷积操作后得到；UPend-3通过对UPend-2进行转置卷积并加上BONEend-3的卷积操作后得到；
所述自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为DOWNend，DOWNend-1，DOWNend-2，DOWNend-3，其中，DOWNend-3通过对UPend-3卷积操作得到；DOWNend-2通过对DOWNend-3卷积操作并加上UPend-2的卷积操作后得到；DOWNend-1通过对DOWNend-2卷积操作并加上UPend-1的卷积操作后得到；DOWNend通过对DOWNend-1卷积操作并加上UPend的卷积操作后得到。
进一步地，所述检测头模块通过对4个尺度的特征图分别做卷积操作，输出4个尺度的检测头特征图，分别为：Headend，Headend-1，Headend-2，Headend-3。
进一步地，所述人体位置框检测模块分别对4个尺度的检测头特征图做卷积操作，得到4个尺度的预测人体位置框，分别为BOXend，BOXend-1，BOXend-2，BOXend-3，为每个尺度中的每个像素预测至少1个anchor，每个anchor预测6个值，分别为人体位置框的中心位置的横坐标、人体位置框的中心位置的纵坐标、人体位置框相对中心位置宽的偏移量、人体位置框相对中心位置高的偏移量、目标存在的置信度boxconf以及人体类别置信度humanconf。
进一步地，所述预测人体位置框的特征图的通道数为18，为每个像素预测3个anchor。
进一步地，所述感兴趣区域对齐模块采用感兴趣区域对齐技术，输出4个尺度的对齐特征图，分别为ALIGNend，ALIGNend-1，ALIGNend-2，ALIGNend-3。
进一步地，所述人体关键点检测模块对4个尺度的对齐特征图采用卷积操作，得到4个尺度的人体关键点预测特征图，分别为POINTend,POINTend-1,POINTend-2,POINTend-3，所述人体关键点预测特征图的通道数为17。
进一步地，所述步骤2包括：
步骤21，选择所述训练数据集，所述训练数据集为coco数据集；
步骤22，所述人体位置框为真实人体位置框或所述预测人体位置框，所述真实人体位置框为coco数据集中标注的人体位置框，训练过程中实时获取所述真实人体位置框以及所述预测人体位置框；
当所述真实人体位置框与所述预测人体位置框的IOU≤80％时，所述人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框；
当所述真实人体位置框与所述预测人体位置框的IOU＞80％时，所述人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框和预测人体位置框；
步骤23，采用梯度下降法训练所述人体关键点估计网络，得到人体关键点估计中间模型；
步骤24，对所述人体关键点估计中间模型的感兴趣区域对齐模块进行调整，使其输入的所述人体位置框为所述预测人体位置框，得到人体关键点估计模型。
进一步地，所述步骤2中，总误差公式为：
Losstotal＝αLossbox+(1-α)Losspoint
其中，Losstotal为总误差，Lossbox为人体位置框总误差，Losspoint为人体关键点总误差，α∈(0，1)用以权衡人体位置框总误差和人体关键点总误差的权重。
进一步地，所述人体位置框总误差公式为：
采用SIoU来计算所述真实人体位置框和所述预测人体位置框之间的交集；
其中，D表示不同的尺度，i和j分表示人体位置预测特征图的横纵坐标，k表示anchor的序号，Boxgt表示真实人体位置框，Boxpred表示预测人体位置框。
进一步地，所述人体关键点总误差公式为：
其中，D为不同的尺度，h为人体关键点的序号，m和n分别为人体关键点预测特征图的横纵坐标，xm,n,s,h为人体关键点真实高斯值，为人体关键点预测坐标。
进一步地，所述人体关键点真实高斯值根据coco数据集中标定的人体关键点坐标，采用高斯分布对所述人体关键点坐标进行变换获得。
进一步地，人体关键点的采用高斯分布来表示，将人体的关键点真实位置坐标的映射到不同尺度的人体关键点预测特征图，并对坐标并取整，设为；设置高斯圆的半径，设为R；在人体关键点预测特征图上，以为圆心，半径为R填充高斯函数计算值。
进一步地，所述步骤3具体步骤为：
步骤31，将待检测图像输入所述多尺度特征提取模，输出多个尺度的特征图；
步骤32，将所述特征图输入所述检测头模，输出多个尺度的检测头特征图；
步骤33，将所述检测头特征图输入所述人体位置框检测模块，输出多个尺度的预测人体位置框；
步骤34，将所述检测头特征图以及所述预测人体位置框输入所述感兴趣区域对齐模块，输出多个尺度的对齐特征图；
步骤35，将所述对齐特征图输入人体关键点检测模块，输出多个尺度的人体关键点预测特征图；
步骤36，在每个尺度的所述人体关键点预测特征图中，取每个通道中最大值的坐标作为人体关键点预测坐标，得到不同尺度的人体关键点预测坐标。
进一步地，所述步骤4包括：
步骤41，将不同尺度的所述人体关键点预测坐标映射回所述待检测图像中，得到不同尺度的人体关键点映射坐标；
步骤42，将不同尺度的所述人体关键点映射坐标求均值，得到所述人体关键点坐标。
第二方面，本申请还提供一种人体关键点检测系统，包括人体关键点估计网络构建模块、网络训练模块、人体关键点坐标预测模块、人体关键点坐标融合模块；
所述人体关键点估计网络构建模块用于构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；
所述多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；
所述检测头模块用于接受特征图并输出多个尺度的检测头特征图；
所述人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；
所述感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；
所述人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标；
所述网络训练模块利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；
人体关键点坐标预测模块，通过将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；
人体关键点坐标融合模块，通过将不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标。
本发明的有益效果在于：
(1)本发明是在自顶而下的基础上次加以改进，采用一次前向推理的结构，包括了人体位置框检测和人体关键点检测，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了自顶而下技术方案的准确性的同时，又提高了运行效率。
(2)设计了集成多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块的人体关键点检测网络，使用多通道、多阶段的模式对多尺度特征图进行分析，得到不同尺度的人体关键点预测坐标，最后以多尺度融合的方式将多尺度的人体关键点预测坐标进行融合，得到更加全面且有效的人体关键点坐标，实现人体关键点的高精度识别。
(3)集合在密集人群的应用场景中，本发明可实现多人的人体框和关键点同时识别，能够准确且快速地实现人体关键点的估计，无需额外的模型预先提取人体框，算法流程简便，运算量低，满足各种低算力设备的轻量化部署要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为一种人体关键点检测方法的流程示意图。
图2为人体关键点估计网络结构。
图3为一种人体关键点检测方法中步骤S2的流程示意图。
图4为步骤S3的流程示意图。
图5为一种人体关键点检测系统的组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种人体关键点检测方法，包括以下步骤：
步骤1，构建人体关键点估计网络，人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；
多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；
检测头模块用于接受特征图并输出多个尺度的检测头特征图；
人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；
感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；
人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标。
步骤2，利用训练数据集训练人体关键点估计网络，得到人体关键点估计模型。
步骤3，将待检测图像输入人体关键点估计模型，输出不同尺度的人体关键点预测坐标。
步骤4，对不同尺度的人体关键点预测坐标进行融合，得到人体关键点坐标。
本实施例，在自顶而下的基础上次加以改进，采用一次前向推理的结构，包括了人体位置框检测和人体关键点检测，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了自顶而下技术方案的准确性的同时，又提高了运行效率。
不同尺度的人体关键的覆盖的相同区域的语义信息不同，为了实现多尺度的人体关键点特征分析，设计了多尺度特征图提取模块，多尺度特征提取模块用于输出至少两个尺度的特征图。
本实施例中，多尺度特征图提取模块输出4个尺度的特征图，检测头模块输出4个尺度的检测头特征图，人体位置框检测模块输出4个尺度的预测人体位置框；感兴趣区域对齐模块输出4个尺度的对齐特征图，人体关键点检测模块输出4个不同尺度的17个人体关键点预测坐标。
设计了集成多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块的人体关键点检测网，使用多通道、多阶段的模式对多尺度特征图进行分析，得到不同尺度的人体关键点预测坐标，最后以多尺度融合的方式将多尺度的人体关键点预测坐标进行融合，得到更加全面且有效的人体关键点坐标，实现人体关键点的高精度识别。
如图2所示，多尺度特征图提取模块包括Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块。
Backbone特征提取模块采用多个残差网络块，得到至少4个尺度的特征图，输出分辨率从小到大的最后4个尺度的特征图，分别为：BONEend，BONEend-1，BONEend-2，BONeend-3；
自上而下多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为UPend，UPend-1，Pend-2，UPend-3，其中，UPend通过对BONEend进行卷积操作得到；UPend-1通过对UPend进行转置卷积并加上BONEend-1的卷积操作后得到；UPend-2通过对UPend-1进行转置卷积并加上BONEend-2的卷积操作后得到；UPend-3通过对UPend-2进行转置卷积并加上BONEend-3的卷积操作后得到；
自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为DOWNend，DOWNend-1，DOWNend-2，DOWNend-3，其中，DOWNend-3通过对UPend-3卷积操作得到；DOWNend-2通过对DOWNend-3卷积操作并加上UPend-2的卷积操作后得到；DOWNend-1通过对DOWNend-2卷积操作并加上UPend-1的卷积操作后得到；DOWNend通过对DOWNend-1卷积操作并加上UPend的卷积操作后得到。
将图像输入多尺度特征图提取模块输出依次经过Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为DOWNend，DOWNend-1，DOWNend-2，DOWNend-3。
将DOWNend，DOWNend-1，DOWNend-2，DOWNend-3输入检测头模块，检测头模块通过对4个尺度的特征图分别做卷积操作，输出4个尺度的检测头特征图，分别为：Headend，Headend-1，Headend-2，Headend-3。
将Headend，Headend-1，Headend-2，Headend-3输入人体位置框检测模块，人体位置框检测模块分别对4个尺度的检测头特征图做卷积操作，得到4个尺度的预测人体位置框，分别为BOXend，BOXend-1，BOXend-2，BOXend-3，为每个尺度中的每个像素预测至少1个anchor，每个anchor预测6个值，分别为人体位置框的中心位置的横坐标、人体位置框的中心位置的纵坐标、人体位置框相对中心位置宽的偏移量、人体位置框相对中心位置高的偏移量、目标存在的置信度boxconf以及人体类别置信度humanconf。
本实施例中，预测人体位置框的特征图的通道数为18，为每个像素预测3个anchor。
每个预测人体位置框的特征图的通道数为18，18表示为每个人体位置框预测3个anchor，每个anchor预测6个值。
将Headend，Headend-1，Headend-2，Headend-3、人体位置框输入感兴趣区域对齐模块，感兴趣区域对齐模块采用感兴趣区域对齐技术，输出4个尺度的对齐特征图，分别为ALIGNend，ALIGNend-1，ALIGNend-2，ALIGNend-3。
具体地，在预测阶段，将不同尺度的检测头特征图和预测人体位置框分别采用感兴趣区域对齐技术，得到不同尺度的对齐特征图，通过Headend和BOXend得到ALIGNend，通过Headend-1和BOXend-1得到ALIGNend-1，通过Headend-2和BOXend-2得到ALIGNend-2，通过Headend-3和BOXend-3得到ALIGNend-3。
人体关键点检测模块对4个尺度的对齐特征图ALIGNend，ALIGNend-1，ALIGNend-2，ALIGNend-3采用卷积操作，得到4个尺度的人体关键点预测特征图，分别为POINTend,POINTend-1,POINTend-2,POINTend-3，人体关键点预测特征图的通道数为17，17表示人体的17个关键点，即每个通道表示一个人体关键点。
为了建立高精度的人体关键点估计模型，通过步骤2，采用coco数据集对人体关键点估计网络进行训练，如图3所示，步骤2包括：
步骤21，选择训练数据集，训练数据集为coco数据集。
可选择的训练数据集有像COCO、MPII和CrowdPose这样的公共数据集，人体关键点检测属于比较复杂一类的问题。为神经网络模型建立一个合适的数据集是很困难的，图像中每个人的每个关节都必须定位和标记，这是一项琐碎而费时的任务。本实施例采用COCO数据集，它有大约80类图像和大约250000个人物实例。
步骤22，人体位置框为真实人体位置框或预测人体位置框，真实人体位置框为coco数据集中标注的人体位置框，训练过程中实时获取真实人体位置框以及预测人体位置框；
当真实人体位置框与预测人体位置框的IOU≤80％时，人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框；
当真实人体位置框与预测人体位置框的IOU＞80％时，人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框和预测人体位置框。
在人体关键点估计网络训练的初始阶段，由于模型预测的人体位置框不准确，此时，感兴趣区域对齐模块的只接收真实人体位置框，如图2所示，输入包括真实人体位置框，真实人体位置框输入感兴趣区域对齐模块。
随着模型的不断训练，当真实人体位置框与通过模型获得的预测人体位置框的IoU值超过80％时，感兴趣区域对齐模块的将同时接收真实人体位置框和预测人体位置框。增加了样本的多样性和准确性。
步骤23，采用梯度下降法训练人体关键点估计网络，得到人体关键点估计中间模型。
步骤24，对人体关键点估计中间模型的感兴趣区域对齐模块进行调整，使其输入的人体位置框为预测人体位置框，得到人体关键点估计模型。
通过步骤2.3获得了训练好的人体关键点估计中间模型，该模型感兴趣区域对齐模块输入的人体位置框为真实人体位置框和预测人体位置框，但在利用训练好的模型进行人体关键点检测的时候，不存在人工标定的真实人体位置框，只有模型获取的预测人体位置框，基于此，通过步骤2.4对人体关键点估计中间模型的感兴趣区域对齐模块的输入进行调整，将真实人体位置框在感兴趣区域对齐模块中去掉，获得最终的人体关键点估计模型。
步骤2中，训练过程中的总误差公式为：
Losstotal＝aLossbox+(1-α)Losspoint
其中，Losstotal为总误差，Lossbox为人体位置框总误差，Losspoint为人体关键点总误差，α∈(0,1)用以权衡人体位置框总误差和人体关键点总误差的权重。
本实施例中，同时对模型预测的人体的位置框和人体关键点信息进行约束，这样保证了最终的人体位置关键点估计模型更加准确。
人体位置框总误差公式为：
采用SIoU来计算真实人体位置框和所述预测人体位置框之间的交集；
其中，D表示不同的尺度，i和j分表示人体位置预测特征图的横纵坐标，k表示anchor的序号，Boxgt表示真实人体位置框，Boxpred表示预测人体位置框。
人体关键点总误差公式为：
其中，D为不同的尺度，h为人体关键点的序号，m和n分别为人体关键点预测特征图的横纵坐标，xm,n,s,h为人体关键点真实高斯值，为人体关键点预测坐标。
本实施例中，采用均方差来计算真实人体关键点和预测人体关键点之间的误差。
人体关键点真实高斯值根据coco数据集中标定的人体关键点坐标，采用高斯分布对人体关键点坐标进行变换获得。
具体地，人体关键点的采用高斯分布来表示，将人体的关键点真实位置坐标的映射到不同尺度的人体关键点预测特征图，并对坐标并取整，设为；设置高斯圆的半径，设为R；在人体关键点预测特征图上，以为圆心，半径为R填充高斯函数计算值。
通过步骤2获得训练好的人体位置关键点估计模型，通过步骤3获得待检测图像中人体的不同尺度的人体关键点预测坐标，如图4所示，步骤3具体步骤为：
步骤31，将待检测图像输入多尺度特征提取模，输出多个尺度的特征图；
步骤32，将特征图输入检测头模，输出多个尺度的检测头特征图；
步骤33，将检测头特征图输入人体位置框检测模块，输出多个尺度的预测人体位置框；
步骤34，将检测头特征图以及预测人体位置框输入感兴趣区域对齐模块，输出多个尺度的对齐特征图；
步骤35，将对齐特征图输入人体关键点检测模块，输出多个尺度的人体关键点预测特征图；
步骤36，在每个尺度的人体关键点预测特征图中，取每个通道中最大值的坐标作为人体关键点预测坐标，得到不同尺度的人体关键点预测坐标。
步骤4用于实现不同尺度的人体关键点预测坐标的融合，步骤4包括：
步骤41，将不同尺度的人体关键点预测坐标映射回待检测图像中，得到不同尺度的人体关键点映射坐标；
步骤42，将不同尺度的人体关键点映射坐标求均值，得到人体关键点坐标。
具体地，步骤41，将不同尺度中的人体关键点预测坐标{XD,i,YD,i}映射回待检测图像中，得到不同尺度的人体关键点映射坐标
步骤42，将不同尺度的人体关键点映射坐标求均值，如下：
得到最终的人体关键点坐标，其中，i＝0，…，16。
17个关键点所对应的人体部位包括：0：鼻子、1：左眼、2：右眼、3：左耳、4：右耳、5：左肩、6：右肩、7：左肘、8：右肘、9：左腕、10：右腕、11：左胯、12：右胯、13：左膝、14：右膝、15：左踝、16：右踝。
集合在密集人群的应用场景中，本实施例可实现多人的人体框和关键点同时识别，能够准确且快速地实现人体关键点的估计，无需额外的模型预先提取人体框，算法流程简便，运算量低，满足各种低算力设备的轻量化部署要求。
第二方面，本实施例还提供一种人体关键点检测系统，包括人体关键点估计网络构建模块、网络训练模块、人体关键点坐标预测模块、人体关键点坐标融合模块；
人体关键点估计网络构建模块用于构建人体关键点估计网络，人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；
多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；
检测头模块用于接受特征图并输出多个尺度的检测头特征图；
人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；
感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；
人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标；
网络训练模块利用训练数据集训练人体关键点估计网络，得到人体关键点估计模型；
人体关键点坐标预测模块，通过将待检测图像输入人体关键点估计模型，输出不同尺度的人体关键点预测坐标；
人体关键点坐标融合模块，通过将不同尺度的人体关键点预测坐标进行融合，得到人体关键点坐标。
需要说明的是，本实施例中的各模块(或单元)是逻辑意义上的，具体实现时，多个模块(或单元)可以合并成一个模块(或单元)，一个模块(或单元)也可以拆分成多个模块(或单元)。
本实施中的一种人体关键点检测系统实现了自动化识别且成本低廉、简单便捷、效果明显，其应用实现了在密集人群的应用场景中，能够准确且快速地实现人体关键点的估计，具有降低工作人员工作量，且提高工作效率的优势。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (3)

1.基于单个模型高效率识别人体位置和关键点检测方法，其特征在于，包括：
步骤1、构建人体关键点估计网络，所述人体关键点估计网络包括多尺度特征提取模块、检测头模块、人体位置框检测模块、感兴趣区域对齐模块和人体关键点检测模块；
所述多尺度特征提取模块用于接受输入图像并输出多个尺度的特征图；
所述检测头模块用于接受特征图并输出多个尺度的检测头特征图；
所述人体位置框检测模块用于接受检测头特征图并输出多个尺度的预测人体位置框；
所述感兴趣区域对齐模块用于接受检测头特征图、人体位置框并输出多个尺度的对齐特征图；
所述人体关键点检测模块用于接受对齐特征图并输出不同尺度的人体关键点预测坐标；
步骤2、利用训练数据集训练所述人体关键点估计网络，得到人体关键点估计模型；
所述步骤2包括：
步骤2.1，选择所述训练数据集，所述训练数据集为coco数据集；
步骤2.2，所述人体位置框为真实人体位置框或所述预测人体位置框，所述真实人体位置框为coco数据集中标注的人体位置框，训练过程中实时获取所述真实人体位置框以及所述预测人体位置框；
当所述真实人体位置框与所述预测人体位置框的IOU≤80%时，所述人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框；
当所述真实人体位置框与所述预测人体位置框的IOU＞80%时，所述人体关键点估计网络的感兴趣区域对齐模块输入的人体位置框为真实人体位置框和预测人体位置框；
步骤2.3，采用梯度下降法训练所述人体关键点估计网络，得到人体关键点估计中间模型；
步骤2.4，对所述人体关键点估计中间模型的感兴趣区域对齐模块进行调整，使其输入的所述人体位置框为所述预测人体位置框，得到人体关键点估计模型；
步骤3、将待检测图像输入所述人体关键点估计模型，输出不同尺度的人体关键点预测坐标；
所述步骤3具体步骤为：
步骤31，将待检测图像输入所述多尺度特征提取模，输出多个尺度的特征图；
步骤32，将所述特征图输入所述检测头模，输出多个尺度的检测头特征图；
步骤33，将所述检测头特征图输入所述人体位置框检测模块，输出多个尺度的预测人体位置框；
步骤34，将所述检测头特征图以及所述预测人体位置框输入所述感兴趣区域对齐模块，输出多个尺度的对齐特征图；
步骤35，将所述对齐特征图输入人体关键点检测模块，输出多个尺度的人体关键点预测特征图；
步骤36，在每个尺度的所述人体关键点预测特征图中，取每个通道中最大值的坐标作为人体关键点预测坐标，得到不同尺度的人体关键点预测坐标；
步骤4、对不同尺度的所述人体关键点预测坐标进行融合，得到人体关键点坐标；
所述步骤4包括：
步骤41，将不同尺度中的人体关键点预测坐标映射回待检测图像中，得到不同尺度的人体关键点映射坐标；
步骤42，将不同尺度的人体关键点映射坐标求均值，如下： 得到最终的人体关键点坐标，，其中，i=0，…，16；D为不同尺度；
所述多尺度特征图提取模块输出4个尺度的特征图，所述检测头模块输出4个尺度的检测头特征图，所述人体位置框检测模块输出4个尺度的预测人体位置框；所述感兴趣区域对齐模块输出4个尺度的对齐特征图，所述人体关键点检测模块输出4个不同尺度的17个人体关键点预测坐标；
所述多尺度特征图提取模块包括Backbone特征提取模块、自上而下多尺度特征融合模块以及自下而上多尺度特征融合模块；
所述Backbone特征提取模块采用多个残差网络块，得到至少4个尺度的特征图，输出分辨率从小到大的最后4个尺度的特征图，分别为：，，，；
所述自上而下多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为，，，，其中，通过对进行卷积操作得到；通过对进行转置卷积并加上的卷积操作后得到；通过对进行转置卷积并加上的卷积操作后得到；通过对进行转置卷积并加上的卷积操作后得到；
所述自下而上多尺度特征融合模块，输出4个尺度的特征图，分辨率从小到大分别为，，，，其中，通过对卷积操作得到；通过对卷积操作并加上的卷积操作后得到；通过对卷积操作并加上的卷积操作后得到；通过对卷积操作并加上的卷积操作后得到；
所述检测头模块通过对4个尺度的特征图分别做卷积操作，输出4个尺度的检测头特征图，分别为：，，，；
所述人体位置框检测模块分别对4个尺度的检测头特征图做卷积操作，得到4个尺度的预测人体位置框，分别为，，为每个尺度中的每个像素预测至少1个anchor，每个anchor预测6个值，分别为人体位置框的中心位置的横坐标、人体位置框的中心位置的纵坐标、人体位置框相对中心位置宽的偏移量、人体位置框相对中心位置高的偏移量、目标存在的置信度以及人体类别置信度；
所述人体关键点检测模块对4个尺度的对齐特征图采用卷积操作，得到4个尺度的人体关键点预测特征图，分别为,,,，所述人体关键点预测特征图的通道数为17；
所述步骤1-4自顶而下的基础上次加以改进，采用一次前向推理的结构，包括了人体位置框检测和人体关键点检测，即只需要单个模型就可实现人体位置的检测和人体关键点的检测，确保了自顶而下技术方案的准确性的同时，又提高了运行效率。
2.根据权利要求1所述的基于单个模型高效率识别人体位置和关键点检测方法，其特征在于，所述预测人体位置框的特征图的通道数为18，为每个像素预测3个anchor。
3.根据权利要求1所述的基于单个模型高效率识别人体位置和关键点检测方法，其特征在于，所述步骤2中，总误差公式为：其中，为总误差，为人体位置框总误差，为人体关键点总误差，为用以权衡人体位置框总误差和人体关键点总误差的权重；
所述人体位置框总误差公式为：采用SIoU来计算所述真实人体位置框和所述预测人体位置框之间的交集；
其中，D表示不同的尺度，i和j分表示人体位置框的中心位置的横、纵坐标，k表示anchor的序号，表示真实人体位置框，表示预测人体位置框；
所述人体关键点总误差公式为：其中，h为人体关键点的序号，m和n分别为人体关键点的横、纵坐标，为人体关键点真实的高斯值，为人体关键点预测的高斯值。
CN202410444233.4A 2023-07-21 2023-07-21 基于单个模型高效率识别人体位置和关键点检测方法 Active CN118506397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410444233.4A CN118506397B (zh) 2023-07-21 2023-07-21 基于单个模型高效率识别人体位置和关键点检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310899391.4A CN116912884B (zh) 2023-07-21 2023-07-21 一种人体关键点检测方法及系统
CN202410444233.4A CN118506397B (zh) 2023-07-21 2023-07-21 基于单个模型高效率识别人体位置和关键点检测方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202310899391.4A Division CN116912884B (zh) 2023-07-21 2023-07-21 一种人体关键点检测方法及系统

Publications (2)

Publication Number Publication Date
CN118506397A CN118506397A (zh) 2024-08-16
CN118506397B true CN118506397B (zh) 2024-11-08

Family

ID=88356221

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202410411151.XA Active CN118506396B (zh) 2023-07-21 2023-07-21 多尺度融合高精度识别人体关键点检测方法
CN202410479726.1A Active CN118506398B (zh) 2023-07-21 2023-07-21 一种低成本高准确率人体关键点检测系统
CN202410444233.4A Active CN118506397B (zh) 2023-07-21 2023-07-21 基于单个模型高效率识别人体位置和关键点检测方法
CN202310899391.4A Active CN116912884B (zh) 2023-07-21 2023-07-21 一种人体关键点检测方法及系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202410411151.XA Active CN118506396B (zh) 2023-07-21 2023-07-21 多尺度融合高精度识别人体关键点检测方法
CN202410479726.1A Active CN118506398B (zh) 2023-07-21 2023-07-21 一种低成本高准确率人体关键点检测系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310899391.4A Active CN116912884B (zh) 2023-07-21 2023-07-21 一种人体关键点检测方法及系统

Country Status (1)

Country Link
CN (4) CN118506396B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118506396B (zh) * 2023-07-21 2024-11-08 北京优创新港科技股份有限公司 多尺度融合高精度识别人体关键点检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977912A (zh) * 2019-04-08 2019-07-05 北京环境特性研究所 视频人体关键点检测方法、装置、计算机设备和存储介质
CN113673354A (zh) * 2021-07-23 2021-11-19 湖南大学 一种基于上下文信息与联合嵌入的人体关键点检测方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710868B (zh) * 2018-06-05 2020-09-04 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
US11074711B1 (en) * 2018-06-15 2021-07-27 Bertec Corporation System for estimating a pose of one or more persons in a scene
CN110120047B (zh) * 2019-04-04 2023-08-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110276316B (zh) * 2019-06-26 2022-05-24 电子科技大学 一种基于深度学习的人体关键点检测方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111274977B (zh) * 2020-01-22 2023-05-23 中能国际高新科技研究院有限公司 多任务卷积神经网络模型及使用方法、装置和存储介质
EP4081938A4 (en) * 2020-01-29 2024-03-20 Intrinsic Innovation LLC Systems and methods for pose detection and measurement
CN111339903B (zh) * 2020-02-21 2022-02-08 河北工业大学 一种多人人体姿态估计方法
CN111914666A (zh) * 2020-07-08 2020-11-10 南京邮电大学 一种人体姿态估计优化方法
CN112052886B (zh) * 2020-08-21 2022-06-03 暨南大学 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN112270669B (zh) * 2020-11-09 2024-03-01 北京百度网讯科技有限公司 人体3d关键点检测方法、模型训练方法及相关装置
CN112528913A (zh) * 2020-12-18 2021-03-19 中山艾尚智同信息科技有限公司 一种基于图像的砂石颗粒物粒径检测分析系统
CN112465821A (zh) * 2020-12-22 2021-03-09 中国科学院合肥物质科学研究院 一种基于边界关键点感知的多尺度害虫图像检测方法
CN113486732A (zh) * 2021-06-17 2021-10-08 普联国际有限公司 一种人群密度估计方法、装置、设备及存储介质
US20230137337A1 (en) * 2021-10-28 2023-05-04 Texas Instruments Incorporated Enhanced machine learning model for joint detection and multi person pose estimation
CN114119962B (zh) * 2021-11-18 2024-09-17 深圳市人工智能与机器人研究院 一种图像关键点的检测方法、装置、电子设备及存储介质
CN113807334B (zh) * 2021-11-22 2022-02-18 成都航空职业技术学院 一种基于残差网络的多尺度特征融合的人群密度估计方法
CN114973305B (zh) * 2021-12-30 2023-03-28 昆明理工大学 一种针对拥挤人群的精确人体解析方法
CN114022684B (zh) * 2022-01-05 2022-04-05 中科视语(北京)科技有限公司 人体姿态估计方法及装置
CN115424290B (zh) * 2022-07-26 2026-02-17 浙江大华技术股份有限公司 人体姿态估计方法、装置、终端及计算机可读存储介质
CN115223114A (zh) * 2022-09-16 2022-10-21 松立控股集团股份有限公司 一种基于双向融合特征金字塔的端到端车辆姿态估计方法
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统
CN116189140A (zh) * 2022-12-20 2023-05-30 重庆邮电大学 一种基于双目视觉的车辆三维目标检测算法
CN116453226B (zh) * 2023-05-18 2026-03-27 平安科技（深圳）有限公司 基于人工智能的人体姿态识别方法、装置及相关设备
CN118506396B (zh) * 2023-07-21 2024-11-08 北京优创新港科技股份有限公司 多尺度融合高精度识别人体关键点检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977912A (zh) * 2019-04-08 2019-07-05 北京环境特性研究所 视频人体关键点检测方法、装置、计算机设备和存储介质
CN113673354A (zh) * 2021-07-23 2021-11-19 湖南大学 一种基于上下文信息与联合嵌入的人体关键点检测方法

Also Published As

Publication number Publication date
CN118506396B (zh) 2024-11-08
CN118506398A (zh) 2024-08-16
CN116912884A (zh) 2023-10-20
CN118506398B (zh) 2024-11-26
CN118506396A (zh) 2024-08-16
CN116912884B (zh) 2024-03-19
CN118506397A (zh) 2024-08-16

Similar Documents

Publication Publication Date Title
US12196572B2 (en) Method for automatically producing map data, and related apparatus
CN113377888B (zh) 训练目标检测模型和检测目标的方法
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN111915746B (zh) 一种基于弱标注的三维点云目标检测方法及标注工具
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN115601661A (zh) 一种用于城市动态监测的建筑物变化检测方法
CN113989726B (zh) 建筑工地安全帽识别方法、系统
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN118115893A (zh) 一种遥感图像的小目标检测方法
CN111402632B (zh) 一种交叉口行人运动轨迹的风险预测方法
CN113450321A (zh) 基于边缘检测的单阶段目标检测方法
CN112651991A (zh) 视觉定位方法、装置及计算机系统
CN118506396B (zh) 多尺度融合高精度识别人体关键点检测方法
CN116258734A (zh) 一种基于深度信息引导的单目三维实例分割方法
Dong et al. Intelligent pixel-level pavement marking detection using 2D laser pavement images
CN119523799A (zh) 一种多任务共享特征的实时耳廓识别耳穴定位方法及系统
CN111881744B (zh) 一种基于空间位置信息的人脸特征点定位方法及系统
CN115131780A (zh) 一种基于深度集成及细节感知的细粒度三维模型分类方法
CN113487738B (zh) 基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法
Hu et al. Vehicle detection in dark weather based on YOLO and MSRCR method
Aldabbagh et al. Classification of chili plant growth using deep learning
CN116805337B (zh) 一种基于跨尺度视觉变换网络的人群定位方法
CN120032105A (zh) 一种基于YOLOv8改进的红外图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant