CN115375917A - 一种目标边缘特征提取方法、装置、终端及存储介质 - Google Patents

一种目标边缘特征提取方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN115375917A
CN115375917A CN202211311138.4A CN202211311138A CN115375917A CN 115375917 A CN115375917 A CN 115375917A CN 202211311138 A CN202211311138 A CN 202211311138A CN 115375917 A CN115375917 A CN 115375917A
Authority
CN
China
Prior art keywords
pixel
key point
target
edge
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211311138.4A
Other languages
English (en)
Other versions
CN115375917B (zh
Inventor
马子昂
汪鹏飞
刘征宇
谢运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202211311138.4A priority Critical patent/CN115375917B/zh
Publication of CN115375917A publication Critical patent/CN115375917A/zh
Application granted granted Critical
Publication of CN115375917B publication Critical patent/CN115375917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标边缘特征提取方法、装置、终端及存储介质，目标边缘特征提取方法包括：获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；对像素区域进行检测，得到像素区域的检测信息；基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息；基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。本申请基于检测信息对真实目标区域的初始关键点信息进行校正，使目标对象的边缘特征更加明确，进而提高待检测图像中目标对象的边缘特征的准确性。

Description

一种目标边缘特征提取方法、装置、终端及存储介质
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种目标边缘特征提取方法、装置、终端及存储介质。
背景技术
视觉是人类感知获取外界信息的重要手段，其中80%以上的外界信息都是通过人类视觉系统获得的。基于视觉系统，人类能够快速地完成目标检测、运动估计、跟踪、识别等多项任务。视觉特征提取是计算机视觉领域的重要分支，是算法建模的前置条件。其中，目标边缘特征能够提供目标的分布范围信息，因此较适用于目标状态的准确估计。传统的边缘特征提取方法主要借助于像素梯度信息，计算量小，但算法自适应能力较差，容易受到环境变化、动态模糊等因素的影响。
发明内容
本发明主要解决的技术问题是提供一种目标边缘特征提取方法、装置、终端及存储介质，解决现有技术中提取的边缘特征准确性比较低的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种目标边缘特征提取方法，目标边缘特征提取方法包括：获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；待检测图像中包含目标对象；对像素区域进行检测，得到像素区域的检测信息；像素区域的检测信息包括像素区域的检测类别、像素区域对应的各关键点的位置偏置和像素区域对应的位置偏置的置信度；基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息；基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。
其中，获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息，包括：获取待检测图像；对待检测图像进行特征提取，得到待检测图像的特征图；基于特征图中各像素区域的位置坐标，确定各像素区域对应的多个关键点，多个关键点用于表征像素区域的状态；对特征图中的各像素区域对应的多个关键点的位置坐标进行初始化，得到各像素区域对应的初始关键点信息。
其中，对像素区域进行检测，得到像素区域的检测信息，包括：通过边缘特征增强网络对像素区域进行检测，得到像素区域的检测信息。
其中，检测类别包括目标类别和非目标类别；基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，包括：从特征图对应的所有像素区域中选取检测类别为目标类别的像素区域，作为目标对象的真实目标区域。
其中，初始关键点信息包括关键点的初始位置坐标；对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息，包括：基于真实目标区域对应的各关键点的位置偏置和关键点的初始位置坐标，对真实目标区域对应的各关键点的初始位置坐标进行校正，得到各关键点的更新坐标。
其中，基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息，包括：根据真实目标区域对应的各关键点的更新坐标，确定真实目标区域的边缘关键点；根据各边缘关键点的更新坐标，确定目标对象的边缘特征信息。
其中，根据各边缘关键点的更新坐标，确定目标对象的边缘特征信息，包括：根据边缘关键点的更新坐标和边缘关键点的位置偏置的置信度，生成边缘关键点的矩形区域；基于矩形区域内的特征图，确定边缘关键点的增强特征；将各真实目标区域对应的所有边缘关键点的增强特征进行串联，确定目标对象的边缘特征信息。
其中，边缘特征增强网络的训练方法，包括：获取多张包含目标的样本图像；各样本图像关联有特征图，样本图像的特征图中各像素位置具有标注类别；各样本图像关联目标的标注框；通过边缘特征增强网络对特征图中各像素位置对应的最小外接矩形进行检测，得到像素位置的预测框；基于像素位置的预测框与目标的标注框的交并比，确定像素位置的预测类别；基于同一样本图像的特征图中同一像素位置的预测类别和标注类别之间的误差值，迭代训练边缘特征增强网络。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种目标边缘特征提取装置，目标边缘特征提取装置包括：获取模块，用于获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；待检测图像中包含目标对象；检测模块，用于对像素区域进行检测，得到像素区域的检测信息；分析模块，用于基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息；确定模块，用于基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述目标边缘特征提取方法中的步骤。
为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述目标边缘特征提取方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种目标边缘特征提取方法、装置、终端及存储介质，目标边缘特征提取方法包括：获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；待检测图像中包含目标对象；对像素区域进行检测，得到像素区域的检测信息；基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息；基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。本申请通过基于待检测图像的特征图中各像素区域的检测信息确定目标对象的真实目标区域，并基于检测信息对真实目标区域的初始关键点信息进行校正，使目标对象的边缘特征更加明确，进而提高待检测图像中目标对象的边缘特征的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的目标边缘特征提取方法一实施例的流程示意图；
图2是本发明提供的目标边缘特征提取方法一具体实施例的流程示意图；
图3是图2提供的目标边缘特征提取方法中步骤S201一具体实施例的流程示意图；
图4是本发明提供的目标边缘特征提取装置一实施例的框架示意图；
图5是本申请终端一实施例的框架示意图；
图6为本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种目标边缘特征提取方法做进一步详细描述。
请参阅图1，图1是本发明提供的目标边缘特征提取方法一实施例的流程示意图。本实施例中提供一种目标边缘特征提取方法，该方法适用于目标对象边缘比较模糊的场景，该目标边缘特征提取方法包括如下步骤。
S11：获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息。
具体地，待检测图像中包含目标对象。获取待检测图像；对待检测图像进行特征提取，得到待检测图像的特征图；基于特征图中各像素区域的位置坐标，确定各像素区域对应的多个关键点，多个关键点用于表征像素区域的状态；对特征图中的各像素区域对应的多个关键点的位置坐标进行初始化，得到各像素区域对应的初始关键点信息。
S12：对像素区域进行检测，得到像素区域的检测信息。
具体地，像素区域的检测信息包括像素区域的检测类别、像素区域对应的各关键点的位置偏置和像素区域对应的位置偏置的置信度。
具体地，通过边缘特征增强网络对像素区域进行检测，得到像素区域的检测类别、像素区域对应的各关键点的位置偏置和像素区域对应的各关键点的位置偏置的置信度。通过边缘特征增强网络对像素区域进行检测，得到像素区域的检测类别、像素区域对应的各关键点的位置偏置和像素区域对应的各关键点的位置偏置的置信度。
S13：基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息。
在一实施例中，检测类别包括目标类别和非目标类别；从特征图对应的所有像素区域中选取检测类别为目标类别的像素区域，作为目标对象的真实目标区域。
在一实施例中，初始关键点信息包括关键点的初始位置坐标；基于真实目标区域对应的各关键点的位置偏置和关键点的初始位置坐标，对真实目标区域对应的各关键点的初始位置坐标进行校正，得到各关键点的更新坐标。
S14：基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。
在一实施例中，根据真实目标区域对应的各关键点的更新坐标，确定真实目标区域的边缘关键点；根据各边缘关键点的更新坐标，确定目标对象的边缘特征信息。
在一具体实施例中，根据边缘关键点的更新坐标和边缘关键点的位置偏置的置信度，生成边缘关键点的矩形区域；基于矩形区域内的特征图，确定边缘关键点的增强特征；将各真实目标区域对应的所有边缘关键点的增强特征进行串联，确定目标对象的边缘特征信息。
本实施例中提供的目标边缘特征提取方法包括：获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；待检测图像中包含目标对象；对像素区域进行检测，得到像素区域的检测信息；基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息；基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。本申请通过基于待检测图像的特征图中各像素区域的检测信息确定目标对象的真实目标区域，并基于检测信息对真实目标区域的初始关键点信息进行校正，使目标对象的边缘特征更加明确，进而提高待检测图像中目标对象的边缘特征的准确性。
请参阅图2，图2是本发明提供的目标边缘特征提取方法一具体实施例的流程示意图。
本实施例中提供一种目标边缘特征提取方法，该方法适用于目标对象边缘比较模糊的场景，该目标边缘特征提取方法包括如下步骤。
S201：训练得到边缘特征增强网络。
具体地，边缘特征增强网络的训练方法包括如下步骤。
请参阅图3，图3是图2提供的目标边缘特征提取方法中步骤S201一具体实施例的流程示意图。
S2011：获取多张包含目标的样本图像。
具体地，各样本图像关联有特征图，样本图像的特征图中各像素位置具有标注类别；各样本图像关联目标的标注框。
在一实施例中，各样本图像的特征图是通过特征提取网络对各样本图像进行特征提取得到的。
在一实施例中，在各样本图像中标注包含目标的标注框，标注框可以为矩形框。根据目标对象的位置，标注样本图像的特征图中各像素位置的标注类别。其中，像素位置为特征图中各像素的位置坐标（i，j）。具体地，标注类别包括第一类别和第二类别。其中，样本图像中目标对象所处的位置坐标映射到样本图像的特征图中对应的像素位置的标注类别为第一类别；样本图像中背景所处的位置坐标映射到样本图像的特征图中对应的像素位置标注类别为第二类别。
S2012：通过边缘特征增强网络对特征图中各像素位置对应的最小外接矩形进行检测，得到像素位置的预测框。
具体地，像素位置的状态通常表示为一个矩形框，但是矩形框是对像素位置状态的一种粗略表示，矩形框会包含多余的背景信息。因此本实施例中，像素位置的状态表示为一个关键点集合，该关键点集合由多个关键点组成。其中，各关键点的初始位置坐标与对应的像素位置的位置坐标相同。
通过边缘特征增强网络对特征图中各像素位置对应的多个关键点的位置坐标的位置偏置进行预测，得到各关键点的预测位置偏置；根据各关键点的预测位置偏置和各关键点对应的初始位置坐标的加和，确定像素位置对应的各关键点的更新位置坐标。从像素位置对应的所有关键点中选取像素位置对应的边缘关键点。边缘关键点包括最左侧、最右侧、最顶端和最底端四个关键点。通过各像素位置对应的四个边缘关键点确定各像素位置对应的最小外接矩形，像素位置对应的最小外接矩形为像素位置的预测框。
S2013：基于像素位置的预测框与目标的标注框的交并比，确定像素位置的预测类别。
具体地，计算得到各像素位置的预测框与目标的标注框之间的交并比。响应于像素位置的预测框与目标的标注框之间的交并比超过交并比阈值，则确定该像素位置的预测类别为第一类别。也就是说，像素位置的预测框与目标的标注框之间的交并比超过交并比阈值，则预测该像素位置属于目标所处的像素。响应于像素位置的预测框与目标的标注框之间的交并比未超过交并比阈值，则确定该像素位置的预测类别为第二类别。也就是说，像素位置的预测框与目标的标注框之间的交并比未超过交并比阈值，则预测该像素位置不是目标所处的像素。也就是说，该像素位置属于样本图像中的背景区域。
S2014：基于同一样本图像的特征图中同一像素位置的预测类别和标注类别之间的误差值，迭代训练边缘特征增强网络。
具体地，通过边缘特征增强网络计算得到同一样本图像的特征图中同一像素位置的预测类别和标注类别之间的误差值，基于误差值对边缘特征增强网络进行迭代训练。
在一可选实施例中，边缘特征增强网络的结果反向传播，根据样本图像中同一像素位置的预测类别和标注类别之间的误差值对边缘特征增强网络的权重进行修正，实现对边缘特征增强网络的训练。
将样本图像输入到边缘特征增强网络中，边缘特征增强网络对样本图像中的各像素位置的类别进行检测。当样本图像中同一像素位置对应的预测类别和标注类别之间的误差值小于预设阈值，预设阈值可以自行设置，例如1%、5%等，则停止对边缘特征增强网络的训练。
本实施例中借助深度学习海量样本图像的优势，提升了边缘特征增强网络的泛化性能，使边缘特征增强网络可以适用于各种应用场景。
S202：获取待检测图像。
具体地，通过图像采集设备对预设区域的图像进行采集。在一具体实施例中，图像采集设备对商场的行人图像进行采集，将采集的图像作为待检测图像。在另一实施例中，将视频流中的一视频帧作为待检测图像。其中，待检测图像至少包含一目标对象，目标对象可以为行人，也可以为其它动物或植物等。
S203：对待检测图像进行特征提取，得到待检测图像的特征图。
具体地，通过特征提取网络对待检测图像进行特征提取，得到待检测图像的特征图。其中，特征图的特征维度为H×W×C，H表示特征图的高度，W表示特征图的宽度，C表示特征提取网络的通道数。在本实施例中，特征提取网络可以选用CNN网络结构。例如，特征提取网络可以为AlexNet网络结构、VGG网络结构、ResNet网络结构、DenseNet网络结构等，具体根据实际情况进行设定。
S204：基于特征图中各像素区域的位置坐标，确定各像素区域对应的多个关键点。
具体地，根据特征图中各像素区域的位置坐标，确定各像素区域的状态，像素区域的状态通过对应的关键点集合表示。其中，关键点集合由多个关键点组成。
S205：对特征图中的各像素区域对应的多个关键点的位置坐标进行初始化，得到各像素区域对应的初始关键点信息。
具体地，特征图中一像素区域的位置坐标为（i，j），i∈[0，W-1]，j∈[0，H-1]。基于像素区域的位置坐标初始化像素区域对应的所有关键点的位置坐标，使关键点的坐标与像素区域的位置坐标相同。
在一具体实施例中，像素区域对应的关键点集合
Figure 949734DEST_PATH_IMAGE001
。其中，xk=i； yk=j；k=1，2，...，Np。Np表示关键点集合中包含的关键点个数。
S206：通过边缘特征增强网络对像素区域进行检测，得到像素区域的检测类别、像素区域对应的各关键点的位置偏置和像素区域对应的各关键点的位置偏置的置信度。
具体地，边缘特征增强网络包括相互并列的分类分支模块、回归分支模块和不确定分支模块。其中，分类分支模块用于对特征图中各像素位置的类别进行检测。回归分支模块用于对特征图中各像素位置对应的多个关键点的位置坐标的位置偏置进行检测。不确定分支模块用于对各像素位置对应的各关键点的位置坐标的位置偏置的置信度进行检测。其中，像素位置对应的多个关键点用于表示该像素位置的状态。
在一实施例中，将待检测图像的特征图输入到边缘特征增强网络中，分类分支模块对特征图中各像素区域的类别进行检测，得到像素区域的检测类别。其中，检测类别包括目标类别和非目标类别两种类别。检测类别的信息维度为H×W×Nc，Nc表示目标类别的数量。
在一实施例中，回归分支模块对待检测图像的特征图中各像素区域对应的各关键 点的位置偏置进行检测，得到像素区域对应的各关键点的位置偏置。其中，位置偏置包括关 键点在x轴方向上的位置偏置和在y方向上的位置偏置。关键点的位置偏置的信息维度为H ×W×（Np×2），Np表示像素区域对应的关键点的位置偏置的个数。其中，像素区域的关键点 集合对应的位置偏置为
Figure 166083DEST_PATH_IMAGE002
。
在一实施例中，不确定分支模块对特征图中各像素区域对应的各关键点的位置偏 置不确定性的检测，得到像素区域对应的各关键点的位置偏置的置信度。其中，关键点的位 置偏置的置信度的信息维度为H×W×Np。其中，像素区域的关键点集合对应的位置偏置的 置信度为
Figure 690605DEST_PATH_IMAGE003
。
S207：从特征图对应的所有像素区域中选取检测类别为目标类别的像素区域，作为目标对象的真实目标区域。
具体地，为了获取目标对象的边缘特征信息，基于特征图中各像素区域的检测类别，将所有目标类别对应的像素区域作为目标对象的真实目标区域。其中，特征图中各像素区域的检测类别为非目标类别的像素区域为背景区域。根据目标对象的真实目标区域可以确定目标对象的边缘特征信息。
S208：基于真实目标区域对应的各关键点的位置偏置和关键点的初始位置坐标，对真实目标区域对应的各关键点的初始位置坐标进行校正，得到各关键点的更新坐标。
具体地，根据真实目标区域对应的各关键点的位置偏置和关键点的初始位置坐标 的加和，确定真实目标区域对应的各关键点的更新坐标。其中，真实目标区域对应的关键点 集合
Figure 241672DEST_PATH_IMAGE004
。
S209：根据真实目标区域对应的各关键点的更新坐标，确定真实目标区域的边缘关键点。
具体地，在真实目标区域对应的关键点集合包含的Np个关键点中最多选取四个关键点作为真实目标区域对应的边缘关键点。其中，真实目标区域对应的边缘关键点包括最左端关键点、最右端关键点、最上端关键点和最下端关键点。
S210：根据各边缘关键点的更新坐标，确定目标对象的边缘特征信息。
具体地，根据边缘关键点的更新坐标和边缘关键点的位置偏置的置信度，生成边 缘关键点的矩形区域。在一实施例中，以边缘关键点的更新坐标为中心，以该边缘关键点对 应的位置偏置的置信度为半径，生成该边缘关键点对应的矩形区域B。例如，
Figure 509843DEST_PATH_IMAGE005
。其中，
Figure 315119DEST_PATH_IMAGE006
表示边缘关键点的 更新坐标，矩形区域B表示为左上角点的坐标和右下角点的坐标。
基于矩形区域内的特征图，确定边缘关键点的增强特征。在一实施例中，将矩形区 域B内的特征输入至RoI Align模块，特征维度为
Figure 276121DEST_PATH_IMAGE007
，并使用最大池化操作生成 对应边缘关键点的增强特征，特征维度为1×1×C。
将各真实目标区域对应的所有边缘关键点的增强特征进行串联，确定目标对象的边缘特征信息。在一实施例中，将真实目标区域对应的全部边缘关键点处提取出的增强特征串联，生成真实目标区域的增强边缘特征。基于所有真实目标区域的增强边缘特征依次串联可以确定目标对象的边缘特征信息。
本实施例提供的目标边缘特征提取方法利用边缘特征增强网络提取明确的边缘特征信息，并对边缘特征信息的不确定性进行预测，使得所提出的目标边缘特征提取方法能够适应目标边缘模糊、标注数据噪声等问题，提升了目标边缘特征提取方法的准确性和鲁棒性。
本实施例提供的目标边缘特征提取方法包括：获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；待检测图像中包含目标对象；对像素区域进行检测，得到像素区域的检测信息；基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息；基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。本申请通过基于待检测图像的特征图中各像素区域的检测信息确定目标对象的真实目标区域，并基于检测信息对真实目标区域的初始关键点信息进行校正，使目标对象的边缘特征更加明确，进而提高待检测图像中目标对象的边缘特征的准确性。
参阅图4，图4是本发明提供的目标边缘特征提取装置一实施例的框架示意图。本实施例提供一种目标边缘特征提取装置60，目标边缘特征提取装置60包括获取模块61、检测模块62、分析模块63和确定模块64。
获取模块61用于获取待检测图像的特征图，确定特征图中各像素区域对应的初始关键点信息；待检测图像中包含目标对象。
检测模块62用于对像素区域进行检测，得到像素区域的检测信息。
分析模块63用于基于像素区域的检测信息，从像素区域中筛选出目标对象对应的真实目标区域，并对真实目标区域的初始关键点信息进行校正得到真实目标区域的校正关键点信息。
确定模块64用于基于真实目标区域的校正关键点信息，确定目标对象的边缘特征信息。
本实施例提供的目标边缘特征提取装置，通过基于待检测图像的特征图中各像素区域的检测信息确定目标对象的真实目标区域，并基于检测信息对真实目标区域的初始关键点信息进行校正，使目标对象的边缘特征更加明确，进而提高待检测图像中目标对象的边缘特征的准确性。
在一些实施例中，上述目标边缘特征提取装置还可以包括其他功能模块，目标边缘特征提取装置具体可以是移动机器人、智能摄像机等。
请参阅图5，图5是本申请终端一实施例的框架示意图。终端80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一目标边缘特征提取方法实施例的步骤。在一个具体的实施场景中，终端80可以包括但不限于：微型计算机、服务器，此外，终端80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一目标边缘特征提取方法实施例的步骤。处理器82还可以称为CPU（Central Processing Unit，中央处理单元）。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（ApplicationSpecific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable GateArray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
请参阅图6，图6为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一目标边缘特征提取方法实施例的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种目标边缘特征提取方法，其特征在于，所述目标边缘特征提取方法包括：
获取待检测图像的特征图，确定所述特征图中各像素区域对应的初始关键点信息；所述待检测图像中包含目标对象；
对所述像素区域进行检测，得到所述像素区域的检测信息；所述像素区域的检测信息包括所述像素区域的检测类别、所述像素区域对应的各关键点的位置偏置和所述像素区域对应的所述位置偏置的置信度；
基于所述像素区域的检测信息，从所述像素区域中筛选出所述目标对象对应的真实目标区域，并对所述真实目标区域的初始关键点信息进行校正得到所述真实目标区域的校正关键点信息；
基于所述真实目标区域的校正关键点信息，确定所述目标对象的边缘特征信息。
2.根据权利要求1所述的目标边缘特征提取方法，其特征在于，
所述获取待检测图像的特征图，确定所述特征图中各像素区域对应的初始关键点信息，包括：
获取所述待检测图像；
对所述待检测图像进行特征提取，得到所述待检测图像的特征图；
基于所述特征图中各所述像素区域的位置坐标，确定各所述像素区域对应的多个关键点，所述多个关键点用于表征所述像素区域的状态；
对所述特征图中的各所述像素区域对应的所述多个关键点的位置坐标进行初始化，得到各所述像素区域对应的初始关键点信息。
3.根据权利要求1所述的目标边缘特征提取方法，其特征在于，
所述对所述像素区域进行检测，得到所述像素区域的检测信息，包括：
通过边缘特征增强网络对所述像素区域进行检测，得到所述像素区域的检测信息。
4.根据权利要求3所述的目标边缘特征提取方法，其特征在于，所述检测类别包括目标类别和非目标类别；
所述基于所述像素区域的检测信息，从所述像素区域中筛选出所述目标对象对应的真实目标区域，包括：
从所述特征图对应的所有所述像素区域中选取所述检测类别为所述目标类别的所述像素区域，作为所述目标对象的真实目标区域。
5.根据权利要求4所述的目标边缘特征提取方法，其特征在于，所述初始关键点信息包括所述关键点的初始位置坐标；
所述对所述真实目标区域的初始关键点信息进行校正得到所述真实目标区域的校正关键点信息，包括：
基于所述真实目标区域对应的各所述关键点的位置偏置和所述关键点的初始位置坐标，对所述真实目标区域对应的各所述关键点的初始位置坐标进行校正，得到各所述关键点的更新坐标。
6.根据权利要求5所述的目标边缘特征提取方法，其特征在于，
所述基于所述真实目标区域的校正关键点信息，确定所述目标对象的边缘特征信息，包括：
根据所述真实目标区域对应的各所述关键点的更新坐标，确定所述真实目标区域的边缘关键点；
根据各所述边缘关键点的更新坐标，确定所述目标对象的边缘特征信息。
7.根据权利要求6所述的目标边缘特征提取方法，其特征在于，
所述根据各所述边缘关键点的更新坐标，确定所述目标对象的边缘特征信息，包括：
根据所述边缘关键点的更新坐标和所述边缘关键点的位置偏置的置信度，生成所述边缘关键点的矩形区域；
基于所述矩形区域内的特征图，确定所述边缘关键点的增强特征；
将各所述真实目标区域对应的所有所述边缘关键点的增强特征进行串联，确定所述目标对象的边缘特征信息。
8.根据权利要求3所述的目标边缘特征提取方法，其特征在于，
所述边缘特征增强网络的训练方法，包括：
获取多张包含目标的样本图像；各所述样本图像关联有特征图，所述样本图像的特征图中各像素位置具有标注类别；各所述样本图像关联所述目标的标注框；
通过所述边缘特征增强网络对所述特征图中各所述像素位置对应的最小外接矩形进行检测，得到所述像素位置的预测框；
基于所述像素位置的预测框与所述目标的标注框的交并比，确定所述像素位置的预测类别；
基于同一所述样本图像的特征图中同一所述像素位置的预测类别和所述标注类别之间的误差值，迭代训练所述边缘特征增强网络。
9.一种目标边缘特征提取装置，其特征在于，所述目标边缘特征提取装置包括：
获取模块，用于获取待检测图像的特征图，确定所述特征图中各像素区域对应的初始关键点信息；所述待检测图像中包含目标对象；
检测模块，用于对所述像素区域进行检测，得到所述像素区域的检测信息；所述像素区域的检测信息包括所述像素区域的检测类别、所述像素区域对应的各关键点的位置偏置和所述像素区域对应的所述位置偏置的置信度；
分析模块，用于基于所述像素区域的检测信息，从所述像素区域中筛选出所述目标对象对应的真实目标区域，并对所述真实目标区域的初始关键点信息进行校正得到所述真实目标区域的校正关键点信息；
确定模块，用于基于所述真实目标区域的校正关键点信息，确定所述目标对象的边缘特征信息。
10.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1~8任一项所述的目标边缘特征提取方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~8任一项所述的目标边缘特征提取方法中的步骤。
CN202211311138.4A 2022-10-25 2022-10-25 一种目标边缘特征提取方法、装置、终端及存储介质 Active CN115375917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211311138.4A CN115375917B (zh) 2022-10-25 2022-10-25 一种目标边缘特征提取方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211311138.4A CN115375917B (zh) 2022-10-25 2022-10-25 一种目标边缘特征提取方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN115375917A true CN115375917A (zh) 2022-11-22
CN115375917B CN115375917B (zh) 2023-03-24

Family

ID=84073126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211311138.4A Active CN115375917B (zh) 2022-10-25 2022-10-25 一种目标边缘特征提取方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN115375917B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550555A (zh) * 2022-11-28 2022-12-30 杭州华橙软件技术有限公司 云台校准方法及相关装置、摄像器件和存储介质
CN116310189A (zh) * 2023-05-22 2023-06-23 浙江大华技术股份有限公司 地图模型构建方法及终端

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548179A (zh) * 2016-09-29 2017-03-29 北京市商汤科技开发有限公司 物体和服饰关键点的检测方法、装置和电子设备
US20170091943A1 (en) * 2015-09-25 2017-03-30 Qualcomm Incorporated Optimized object detection
CN108229343A (zh) * 2017-12-18 2018-06-29 北京市商汤科技开发有限公司 目标对象关键点检测方法、深度学习神经网络及装置
CN111241947A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备
CN111339846A (zh) * 2020-02-12 2020-06-26 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
CN111985329A (zh) * 2020-07-16 2020-11-24 浙江工业大学 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法
CN112651981A (zh) * 2020-12-23 2021-04-13 浙江工业大学 一种显著边缘特征提取模块引导网络的肠道疾病分割方法
CN113393457A (zh) * 2021-07-14 2021-09-14 长沙理工大学 一种结合残差密集块与位置注意力的无锚框目标检测方法
EP3901817A1 (en) * 2020-04-22 2021-10-27 Continental Automotive GmbH Method and system for keypoint detection based on neural networks
CN114445716A (zh) * 2022-04-07 2022-05-06 腾讯科技（深圳）有限公司 关键点检测方法、装置、计算机设备、介质及程序产品
CN114723965A (zh) * 2022-06-10 2022-07-08 武汉古奥基因科技有限公司 一种鱼类关键点表型数据测量方法
CN115171135A (zh) * 2022-05-31 2022-10-11 武汉大学 基于关键点预测的手绘图表识别方法
CN115187924A (zh) * 2022-06-01 2022-10-14 浙江大华技术股份有限公司 一种目标检测方法、装置、终端及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091943A1 (en) * 2015-09-25 2017-03-30 Qualcomm Incorporated Optimized object detection
CN106548179A (zh) * 2016-09-29 2017-03-29 北京市商汤科技开发有限公司 物体和服饰关键点的检测方法、装置和电子设备
CN108229343A (zh) * 2017-12-18 2018-06-29 北京市商汤科技开发有限公司 目标对象关键点检测方法、深度学习神经网络及装置
CN111241947A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备
CN111339846A (zh) * 2020-02-12 2020-06-26 深圳市商汤科技有限公司 图像识别方法及装置、电子设备和存储介质
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
EP3901817A1 (en) * 2020-04-22 2021-10-27 Continental Automotive GmbH Method and system for keypoint detection based on neural networks
CN111985329A (zh) * 2020-07-16 2020-11-24 浙江工业大学 基于FCN-8s和改进Canny边缘检测的遥感图像信息提取方法
CN112651981A (zh) * 2020-12-23 2021-04-13 浙江工业大学 一种显著边缘特征提取模块引导网络的肠道疾病分割方法
CN113393457A (zh) * 2021-07-14 2021-09-14 长沙理工大学 一种结合残差密集块与位置注意力的无锚框目标检测方法
CN114445716A (zh) * 2022-04-07 2022-05-06 腾讯科技（深圳）有限公司 关键点检测方法、装置、计算机设备、介质及程序产品
CN115171135A (zh) * 2022-05-31 2022-10-11 武汉大学 基于关键点预测的手绘图表识别方法
CN115187924A (zh) * 2022-06-01 2022-10-14 浙江大华技术股份有限公司 一种目标检测方法、装置、终端及计算机可读存储介质
CN114723965A (zh) * 2022-06-10 2022-07-08 武汉古奥基因科技有限公司 一种鱼类关键点表型数据测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RUINIAN XU ET AL: "An Affordance Keypoint Detection Network for Robot Manipulation", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
WEI-LUN HUANG ET AL: "Confidence-Based 6D Object Pose Estimation", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
崔宗勇 等: "基于中心点回归的大场景SAR图像舰船检测方法", 《电波科学学报》 *
李晨瑄 等: "基于深浅层特征融合的舰船要害关键点检测算法", 《系统工程与电子技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550555A (zh) * 2022-11-28 2022-12-30 杭州华橙软件技术有限公司 云台校准方法及相关装置、摄像器件和存储介质
CN116310189A (zh) * 2023-05-22 2023-06-23 浙江大华技术股份有限公司 地图模型构建方法及终端
CN116310189B (zh) * 2023-05-22 2023-09-01 浙江大华技术股份有限公司 地图模型构建方法及终端

Also Published As

Publication number Publication date
CN115375917B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN108304835B (zh) 文字检测方法和装置
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
US20110134221A1 (en) Object recognition system using left and right images and method
CN111914642B (zh) 一种行人重识别方法、装置、设备及介质
Liu et al. Optimal matching problem in detection and recognition performance evaluation
CN112784750B (zh) 基于像素和区域特征匹配的快速视频物体分割方法和装置
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115424290A (zh) 人体姿态估计方法、装置、终端及计算机可读存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN111932582A (zh) 一种视频图像中的目标跟踪方法及装置
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
CN112560856A (zh) 车牌检测识别方法、装置、设备及存储介质
CN111932545A (zh) 图像处理方法、目标计数方法及其相关装置
CN112241736A (zh) 一种文本检测的方法及装置
CN115223173A (zh) 对象识别方法、装置、电子设备及存储介质
CN113762231A (zh) 端对端的多行人姿态跟踪方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant