CN109190467A - 一种基于关键点回归的多物体检测方法、系统、终端和存储介质 - Google Patents

一种基于关键点回归的多物体检测方法、系统、终端和存储介质 Download PDF

Info

Publication number
CN109190467A
CN109190467A CN201810834358.2A CN201810834358A CN109190467A CN 109190467 A CN109190467 A CN 109190467A CN 201810834358 A CN201810834358 A CN 201810834358A CN 109190467 A CN109190467 A CN 109190467A
Authority
CN
China
Prior art keywords
key point
characteristic pattern
tracking target
standard feature
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810834358.2A
Other languages
English (en)
Inventor
吴子章
王凡
唐锐
李坤仑
丁丽珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Original Assignee
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anchi Zongmu Intelligent Technology Co Ltd filed Critical Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority to CN201810834358.2A priority Critical patent/CN109190467A/zh
Publication of CN109190467A publication Critical patent/CN109190467A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于关键点回归的多物体检测方法、系统、终端和存储介质，包括以下步骤：S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。本发明通过将对应的特征图进行多尺度特征融合，再分两个阶段进行损失函数回归，减小回归难度，提高网络结构的性能，且可以同时进行多个类别的追踪目标同时检测，不同类别之间追踪目标无干扰。

Description

一种基于关键点回归的多物体检测方法、系统、终端和存储 介质
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于关键点回归的多物体检测方法、系统、终端和存储介质。
背景技术
ADAS即先进驾驶辅助系统又称主动安全系统，主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中，同一目标物体由于目标的自身状态、场景所处的环境的影响，同一类物体在不同的图像中所成的像往往会差别很大，在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相很难相匹配。关键点是在不同尺度空间的图像中检测出的具有方向信息的局部极值点，无人驾驶车辆行驶过程中，摄像头会采集到道路上及周围的物体，对于车辆、行人、路牌、路灯杆等物体，我们可以根据关键点检测算法回归出其相应的关键点，根据关键点信息可以辅助无人驾驶车辆进行定位。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于关键点回归的多物体检测方法、系统、终端和存储介质，第一，对多类别追踪目标以及每一个类别追踪目标中每一个个体进行编码，某类别追踪目标的编码具有固定的位数，在总编码中只占一部分，在学习过程中，各个类别追踪目标之间无干扰。第二，分类别对ROI(感兴趣区域)框进行扩充，使得ROI更具有有效性。第三，将追踪目标对应的标准特征图进行多尺度特征融合。第四，使用标准特征图，在不影响耗时的情况下，提高图像精度。第五，分两个阶段进行损失函数回归，先将标准特征图进行下采样操作得到下采样层特征图。阶段一在下采样层特征图中进行学习，当学习充分后，将下采样层特征图中的关键点位置映射到标准特征图中；阶段二在映射得到的标准特征图中进行学习，且利用掩码只学习关键点所在的映射位置，减小回归的难度。
一种基于关键点回归的多物体检测方法，包括以下步骤：
S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；
S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；
S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。
进一步地，步骤S01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点。
进一步地，所述步骤S01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息。
进一步地，所述步骤S02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤S021。
进一步地，所述步骤S021中的特征图的特征融合限定为中低层的特征图进行特征融合。即在神经网络的卷积层中，处于中低层的卷积层的特征图进行特征融合。
进一步地，所述步骤S021中的特征融合为密集性特征融合。即特征融合时，选择神经网络中的卷积层时，选取尽可能多的卷积层进行特征融合。
进一步地，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将相同类别追踪目标的各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。
进一步地，所述标准特征图的尺寸为56*56的特征图，标准特征图的尺寸稍大于追踪目标候选框的尺寸，以防止追踪目标的边缘外露，使关键点处于标准特征图之外。
进一步地，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤S01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。
进一步地，所述将得到的56*56的标准特征图进行下采样，得到7*7的下采样层特征图，在7*7的下采样层特征图中进行学习，学习充分后，再将得到的关键点位置映射到56*56的标准特征图中。
进一步地，还包括步骤S01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。
进一步地，在56*56的标准特征图中，利用mask掩码，只学习含有关键点的部分，降低学习难度，利用损失函数进行学习。
进一步地，所述目标检测区域标记其左上角点为原点，获得参数(X,Y)，目标检测区域的宽设置为W，目标检测区域的高设置为H；得到目标检测区域的参数(X,Y,W,H)。
进一步地，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。
进一步地，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过RoIpooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数。
进一步地，所述关键点检测段生成标准特征图前经过三次卷积、池化操作。
进一步地，所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。
进一步地，所述关键点检测段生成下采样层特征图前经过三次卷积、池化操作。
一种基于关键点回归的多物体检测系统，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；
所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；
所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点标签；
所述特征提取模块用于自检测区域中提取特征，生成特征图；
所述关键点第一位置生成模块用于以关键点标签所在目标检测模块的像素点的位置信息生成关键点第一位置数组；
所述关键点第二位置生成模块用于以关键点标签所在特征图的格点的位置信息生成关键点第二位置数组；
所述损失函数生成模块用于以关键点第一位置数组与第二位置数组对应位数之差的和与系数的乘积得到损失函数，以修正网络结构。
进一步地，还包括特征融合模块，所述特征融合模块用于将基础段中中低层的特征图进行融合生成标准特征图。
进一步地，还包括尺度空间转换模块，所述尺度空间转换模块用于将基础段中各个层特征图转换成相同的尺寸生成标准特征图。
进一步地，还包括下采样层模块，所述下采样层模块用于将标准特征图中各个格点下采样，生成空间尺寸小于标准特征图的下采样层特征图。
进一步地，还包括掩码模块，所述掩码模块用于在下采样层特征图中第二关键点位置信息映射至标准特征图的过程中，对标准特征图中除了与第二关键点位置信息相关的格点进行掩码的操作。
一种基于关键点回归的多物体检测终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。
如上所述，本发明的具有以下有益效果：第一，对多类别追踪目标以及每一个类别追踪目标中每一个个体进行编码，某类别追踪目标的编码具有固定的位数，在总编码中只占一部分，在学习过程中，各个类别追踪目标之间无干扰。第二，分类别对ROI(感兴趣区域)框进行扩充，使得ROI更具有有效性。第三，将追踪目标对应的标准特征图进行多尺度特征融合。第四，使用标准特征图，在不影响耗时的情况下，提高图像精度。第五，分两个阶段进行损失函数回归，先将标准特征图进行下采样操作得到下采样层特征图。阶段一在下采样层特征图中进行学习，当学习充分后，将下采样层特征图中的关键点位置映射到标准特征图中；阶段二在映射得到的标准特征图中进行学习，且利用掩码只学习关键点所在的映射位置，减小回归的难度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程图。
图2显示为本发明的测试效果图。
图3显示为本发明掩码模块操作的示意图。
图4显示为本发明关键点检测段的网络结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图4，一种基于关键点回归的多物体检测方法，包括以下步骤：
S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；
S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；
S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。
作为优选实施例，步骤S01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点。
作为优选实施例，所述步骤S01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息。
该代码序列为多类别追踪目标编码的代码表现形式，本实施例中共有三个类别，类别一为路牌，其中路牌类别下有一个追踪目标个体路牌，此追踪目标个体路牌包括四个关键点。类别二为路灯杆，其中路灯杆类别下有两个追踪目标路灯杆，每一个追踪目标路灯杆包括两个关键点。类别三为电线杆，其中电线杆类别下有两个追踪目标个体电线杆，每一个追踪目标电线杆包括两个关键点。
但每个这样的数据列表中仅表示一种物体，"category_id":0表示当前类别为路牌，id:2表示这是这张图中的第二个路牌，参见以下行代码：
在keypoints这个括号内，每个关键点由x坐标、y坐标和该坐标下的关键点是否可见三个数据表示。比如keypoints这个括号内第一位数666，keypoints这个括号内第二位数237表示第一个关键点的x坐标和y坐标，keypoints这个括号内第三位数1表示坐标为(666,237)的关键点是否可见，1表示该点可见，若为0，则表示第一个关键点不可见。由于该列表表示的是路牌的属性，因此只有前12位数会有数据，其余位数数据为0。路灯杆关键点的数据为第13-18共六位数，电线杆关键点的数据为19-24共六位数。
作为优选实施例，所述步骤S02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤S021。
作为优选实施例，所述步骤S021中的特征图的特征融合限定为中低层的特征图进行特征融合。即在神经网络的卷积层中，处于中低层的卷积层的特征图进行特征融合。
作为优选实施例，所述步骤S021中的特征融合为密集性特征融合。即特征融合时，选择神经网络中的卷积层时，选取尽可能多的卷积层进行特征融合。
作为优选实施例，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。
作为优选实施例，所述标准特征图的尺寸为56*56的特征图，标准特征图的尺寸稍大于追踪目标候选框的尺寸，以防止追踪目标的边缘外露，使关键点处于标准特征图之外。
作为优选实施例，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤S01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。
作为优选实施例，所述将得到的56*56的标准特征图进行下采样，得到7*7的下采样层特征图，在7*7的下采样层特征图中进行学习，学习充分后，再将得到的关键点位置映射到56*56的标准特征图中。
作为优选实施例，还包括步骤S01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。
作为优选实施例，在56*56的标准特征图中，利用mask掩码，只学习含有关键点的部分，降低学习难度，利用损失函数进行学习。
作为优选实施例，所述目标检测区域标记其左上角点为原点，获得参数(X,Y)，目标检测区域的宽设置为W，目标检测区域的高设置为H；得到目标检测区域的参数(X,Y,W,H)。
作为优选实施例，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。
作为优选实施例，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过RoI pooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数。
作为优选实施例，所述关键点检测段生成标准特征图前经过三次卷积、池化操作。
作为优选实施例，所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。
作为优选实施例，所述关键点检测段生成下采样层特征图前经过三次卷积、池化操作。
一种基于关键点回归的多物体检测系统，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；
所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；
所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点标签；
所述特征提取模块用于自检测区域中提取特征，生成特征图；
所述关键点第一位置生成模块用于以关键点标签所在目标检测模块的像素点的位置信息生成关键点第一位置数组；
所述关键点第二位置生成模块用于以关键点标签所在特征图的格点的位置信息生成关键点第二位置数组；
所述损失函数生成模块用于以关键点第一位置数组与第二位置数组对应位数之差的和与系数的乘积得到损失函数，以修正网络结构。
作为优选实施例，还包括特征融合模块，所述特征融合模块用于将基础段中中低层的特征图进行融合生成标准特征图。
作为优选实施例，还包括尺度空间转换模块，所述尺度空间转换模块用于将基础段中各个层特征图转换成相同的尺寸生成标准特征图。
作为优选实施例，还包括下采样层模块，所述下采样层模块用于将标准特征图中各个格点下采样，生成空间尺寸小于标准特征图的下采样层特征图。
作为优选实施例，还包括掩码模块，所述掩码模块用于在下采样层特征图中第二关键点位置信息映射至标准特征图的过程中，对标准特征图中除了与第二关键点位置信息相关的格点进行掩码的操作。
一种基于关键点回归的多物体检测终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的基于实例分割的目标Re-ID的程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行基于实例分割的目标Re-ID程序，以实现实施例中基于实例分割的目标Re-ID系统的功能。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于实例分割的目标Re-ID程序，被处理器执行时实现实施例中的基于实例分割的目标Re-ID方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种基于关键点回归的多物体检测方法，其特征在于，包括以下步骤：
S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；
S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；
S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。
2.根据权利要求1所述的基于关键点回归的多物体检测方法，其特征在于，步骤S01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点；所述步骤S01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息。
3.根据权利要求2所述的基于关键点回归的多物体检测方法，其特征在于，所述步骤S02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤S021。
4.根据权利要求3所述的基于关键点回归的多物体检测方法，其特征在于，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。
5.根据权利要求4所述的基于关键点回归的多物体检测方法，其特征在于，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤S01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。
6.根据权利要求5所述的基于关键点回归的多物体检测方法，其特征在于，还包括步骤S01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。
7.根据权利要求1所述的基于关键点回归的多物体检测方法，其特征在于，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。
8.根据权利要求1所述的基于关键点回归的多物体检测方法，其特征在于，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过RoI pooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数；所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。
9.一种基于关键点回归的多物体检测系统，其特征在于，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；
所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；
所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点标签；
所述特征提取模块用于自检测区域中提取特征，生成特征图；
所述关键点第一位置生成模块用于以关键点标签所在目标检测模块的像素点的位置信息生成关键点第一位置数组；
所述关键点第二位置生成模块用于以关键点标签所在特征图的格点的位置信息生成关键点第二位置数组；
所述损失函数生成模块用于以关键点第一位置数组与第二位置数组对应位数之差的和与系数的乘积得到损失函数，以修正网络结构。
10.一种基于关键点回归的多物体检测系统终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如权利要求1至8任一权利要求所述的方法中的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至8任一权利要求所述的方法中的步骤。
CN201810834358.2A 2018-07-26 2018-07-26 一种基于关键点回归的多物体检测方法、系统、终端和存储介质 Pending CN109190467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810834358.2A CN109190467A (zh) 2018-07-26 2018-07-26 一种基于关键点回归的多物体检测方法、系统、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810834358.2A CN109190467A (zh) 2018-07-26 2018-07-26 一种基于关键点回归的多物体检测方法、系统、终端和存储介质

Publications (1)

Publication Number Publication Date
CN109190467A true CN109190467A (zh) 2019-01-11

Family

ID=64937595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810834358.2A Pending CN109190467A (zh) 2018-07-26 2018-07-26 一种基于关键点回归的多物体检测方法、系统、终端和存储介质

Country Status (1)

Country Link
CN (1) CN109190467A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488774A (zh) * 2019-01-29 2020-08-04 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
CN112801138A (zh) * 2021-01-05 2021-05-14 北京交通大学 基于人体拓扑结构对齐的多人姿态估计方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262736A1 (en) * 2016-03-11 2017-09-14 Nec Laboratories America, Inc. Deep Deformation Network for Object Landmark Localization
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
WO2018108129A1 (zh) * 2016-12-16 2018-06-21 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN108205655A (zh) * 2017-11-07 2018-06-26 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
CN108229490A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN108230390A (zh) * 2017-06-23 2018-06-29 北京市商汤科技开发有限公司 训练方法、关键点检测方法、装置、存储介质和电子设备
CN108229488A (zh) * 2016-12-27 2018-06-29 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262736A1 (en) * 2016-03-11 2017-09-14 Nec Laboratories America, Inc. Deep Deformation Network for Object Landmark Localization
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
WO2018108129A1 (zh) * 2016-12-16 2018-06-21 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN108229488A (zh) * 2016-12-27 2018-06-29 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备
CN108229490A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN108230390A (zh) * 2017-06-23 2018-06-29 北京市商汤科技开发有限公司 训练方法、关键点检测方法、装置、存储介质和电子设备
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法
CN108205655A (zh) * 2017-11-07 2018-06-26 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
THOMAS S. A. WALLIS 等: "A parametric texture model based on deep convolutional features closely matches texture appearance for humans", 《JOURNAL OF VISION》, vol. 17, no. 12, 31 October 2017 (2017-10-31), pages 1 - 29 *
岳文佩: "监控视频中基于显著运动的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2018, 15 April 2018 (2018-04-15), pages 138 - 2342 *
彭营营: "基于深度学习的鲁棒表情关键点定位算法设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2018, 15 January 2018 (2018-01-15), pages 138 - 1794 *
梁军: "基于Multi-Agent和驾驶行为的汽车追尾预警系统关键理论与技术研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, no. 2016, 15 December 2016 (2016-12-15), pages 035 - 4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488774A (zh) * 2019-01-29 2020-08-04 北京搜狗科技发展有限公司 一种图像处理方法、装置和用于图像处理的装置
CN112801138A (zh) * 2021-01-05 2021-05-14 北京交通大学 基于人体拓扑结构对齐的多人姿态估计方法
CN112801138B (zh) * 2021-01-05 2024-04-09 北京交通大学 基于人体拓扑结构对齐的多人姿态估计方法

Similar Documents

Publication Publication Date Title
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN109118519A (zh) 基于实例分割的目标Re-ID方法、系统、终端和存储介质
CN110148148A (zh) 一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质
Min et al. New approach to vehicle license plate location based on new model YOLO‐L and plate pre‐identification
CN109271842A (zh) 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质
CN110119148A (zh) 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN109190662A (zh) 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
Yu et al. Accurate system for automatic pill recognition using imprint information
CN109902556A (zh) 行人检测方法、系统、计算机设备及计算机可存储介质
CN110176017A (zh) 一种基于目标检测的边缘检测模型、方法和存储介质
CN110781856A (zh) 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN115512169B (zh) 基于梯度和区域亲和力优化的弱监督语义分割方法及装置
Qin et al. A specially optimized one-stage network for object detection in remote sensing images
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、系统、终端和存储介质
CN114639087A (zh) 一种交通标志检测方法及装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质
CN113591543B (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN112785601B (zh) 一种图像分割方法、系统、介质及电子终端
Dong et al. SiameseDenseU‐Net‐based Semantic Segmentation of Urban Remote Sensing Images
CN115271055A (zh) 一种神经网络软硬件协同检测方法、装置、设备及存储介质
CN116563840B (zh) 基于弱监督跨模态对比学习的场景文本检测与识别方法
CN115905913B (zh) 数字藏品的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination