CN112232420A - 一种图像标注方法、目标检测方法及装置、存储介质 - Google Patents

一种图像标注方法、目标检测方法及装置、存储介质 Download PDF

Info

Publication number
CN112232420A
CN112232420A CN202011119105.0A CN202011119105A CN112232420A CN 112232420 A CN112232420 A CN 112232420A CN 202011119105 A CN202011119105 A CN 202011119105A CN 112232420 A CN112232420 A CN 112232420A
Authority
CN
China
Prior art keywords
image
information
nodes
detection target
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011119105.0A
Other languages
English (en)
Inventor
李杰明
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co ltd filed Critical Shenzhen Huahan Weiye Technology Co ltd
Priority to CN202011119105.0A priority Critical patent/CN112232420A/zh
Publication of CN112232420A publication Critical patent/CN112232420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像标注方法、目标检测方法及装置、存储介质，其中图像标注方法包括：获取待标注图像，对待标注图像进行初始标注，得到检测目标的第一标注信息；在预设的搜索范围内分析出检测目标的第二标注信息，利用第一标注信息和第二标注信息生成训练样本图像。本申请在图像自动标注过程充分利用了图搜索技术，容易获取标准模板与候选模板之间的仿射变换关系，从而自动标注出检测目标上缺失的节点，能够提高图像自动标注的效率，也增强了后续目标检测算法的稳定性。

Description

一种图像标注方法、目标检测方法及装置、存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像标注方法、目标检测方法及装置、存储介质。
背景技术
近年来，人工智能和大数据成为了国内外各大领域关注的焦点。面对越来越多的图像数据，如何高效率的管理和组织这些图像数据，成为了图像检索和目标识别领域研究的热点问题。而通过给图像添加与其内容相关的文本信息，即图像标注成为目前最主要的解决方法，鉴于人工标注存在着标注工作量大、主观性强等问题，智能图像标注在人工智能的浪潮下吸引了广大研究者们的青睐。
图像自动标注技术大多通过图像的语义内容或探索图像视觉特征以及语义特征之间的相似性，从关键词词典中选择合适的标签，对待标注图像进行标注，关键技术就在于建立低层特征和高层语义标签和位置信息之间的联系。现有的基于生成模型的图像自动标注方法通过计算图像特征和词典中标签的联合概率来为待标注图像标注关键词，该标注方法存在一些问题，比如对于预测的标签的最优性无法保证，很难用生成模型去捕捉图像特征、位置信息、仿射变换关系和标签之间的复杂的关系。大部分的图像自动标注算法都是为待标注图像标注固定个数的标签，但在现实中不同的图像的标签个数是不固定的，统一给每幅图像标注相同数目的标签，会导致例如一些内容丰富的图像没有得到完全的表示，而一些内容相对简单的图像却被标注了过多的标签的问题，因而这种统一的标注方式会影响标注模型的准确度。
图像自动标注主要解决两方面的问题，一个是类别的问题，一个是位置的问题。目前解决位置问题基本只获取了位置的坐标信息，其中角度、缩放等信息并没有获取，后续处理缺少位置信息的先验知识。目前获取位置和类别信息，多数通过传统特征建立关键特征点的映射关系，例如通过提取图像数据的SIFT特征和HOG特征训练的SVM分类器，结合通过颜色和纹理特征构建的神经网络分类器对图像数据进行自动标注，但是浅层的图像特征训练的分类器仅对部分目标标注有效，而对其它目标无法得到较高的标注精度。还有一种就是通过特征的相关性分析提供标注信息，例如通过深度玻尔兹曼机模型提取图像数据的高层特征，并通过典型相关性分析等方法筛选出图像数据最佳的标注，但是玻尔兹曼模型的训练需要利用大量的训练样本得到浅层的视觉特征，由于不同视觉目标的特征描述不同，往往需要具有针对性的选择较好的视觉特征描述，导致该方法的可移植性差。
发明内容
本发明主要解决的技术问题是如何提高图像中目标检测的准确度和稳定性。为解决上述技术问题，本申请公开一种图像标注方法、目标检测方法及装置、存储介质。
根据第一方面，一种实施例中提供一种图像标注方法，其包括：获取待标注图像；所述待标注图像包括至少一个检测目标；对所述待标注图像进行初始标注，得到所述检测目标的第一标注信息；所述第一标注信息包括所述检测目标上若干个节点的相对位置信息和搜索范围信息；在预设的搜索范围内分析出所述检测目标的第二标注信息；所述第二标注信息包括所述检测目标上缺失的节点的语义信息、位置信息和尺度信息；利用所述第一标注信息和所述第二标注信息生成训练样本图像。
所述对所述待标注图像进行初始标注，得到所述检测目标第一标注信息，包括：在所述检测目标上选择若干个节点；所述节点用于表征所述检测目标的表面特征；标注生成所述若干个节点的相对位置信息和搜索范围信息，从而形成所述第一标注信息。
所述在预设的搜索范围内分析出所述检测目标的第二标注信息，包括：根据预设的标准模板确定所述若干个节点中每个节点的搜索范围；每个节点的搜索范围包括该节点的搜索角度、搜索区域、剪切范围和搜索尺度；在每个所述节点的搜索范围内寻找所述检测目标上的其它节点，利用所述其它节点构成候选模板；根据所述标准模板对所述候选模板进行缺失的节点的推测分析，得到所述检测目标的第二标注信息。
所述标准模板的构建过程包括：获取所述检测物体对应的标准件的标准件图像，在所述标准件图像上设定多个用于表征所述标准件的表面特征的节点；配置所述检测目标对应的标准件在所述标准件图像上的搜索范围；所述标准件图像上的搜索范围包括所述标准件的搜索角度、剪切角度、搜索区域和搜索尺度；计算所述标准件上每两个节点之间的相对位置，得到每两个节点的边信息；利用每两个节点和对应的边信息生成所述标准件的图结构；根据所述标准件图像的搜索范围和所述标准件的图结构构建得到所述标准模板。
所述根据所述标准模板对所述初始模板进行缺失的节点的推测分析，得到所述检测目标上缺失的节点的第二标注信息，包括：用G＝(V1,A)表示所述标准模板，以及用Ht＝{(Vt,B)}表示所述候选模板的集合；其中，V1为所述标准件上各节点的集合，A为所述标准件上各节点之间的边信息的集合，Vt为第t个候选模板对应的检测目标上各节点的集合，B为第t个候选模板对应的所述检测目标上各节点之间的边信息的集合；根据G＝(V1,A)中的集合A确定各节点之间的相对位置，通过模板位姿仿射变换推测H＝(Vt,B)中具有位置相似关系的节点，从而得到所述检测目标上缺失的节点；生成缺失的节点的语义信息、位置信息和尺度信息，根据已标注的节点和缺失的节点构建出节点之间边的连接关系，获取最高置信度对应的候选模板，从而形成缺失的节点的第二标注信息。
所述根据G＝(V1,A)中的集合A确定各节点之间的相对位置，通过模板位姿仿射变换推测Ht＝{(Vt,B)}中具有位置相似关系的节点，从而得到所述检测目标上缺失的节点，包括：将G＝(V1,A)中的集合A确定各节点之间的相对位置与Ht＝{(Vt,B)}中的集合B确定的各节点之间的相对位置进行比较，推测得到节点的位置相似关系，且表示为
Figure BDA0002731395300000031
其中，n为集合B中的节点数目，i为节点的索引序号，k为所述待标注图像中第i个节点的实例数目，δ为误差且表示为
Figure BDA0002731395300000032
其中，M表示所述标准件图像，E表示所述待标注图像，j为索引序号，ψ为反投影误差函数；在反射投影误差的和达到最小时确定
Figure BDA0002731395300000033
所对应的候选模板，其中bij为集合B中节点的相似度；根据确定的候选模板的分数值找到所述检测目标上缺失的节点；分数值表示为
Figure BDA0002731395300000034
其中，di为过程参数且满足di＝||pi-(Rqi+t)||2，pi为所述标准模板中第i个节点的坐标向量，qi为确定的候选模板中第i个节点的坐标向量，R为坐标向量的旋转变换关系，t为坐标向量的平移变换关系，n、m分别表示为检测目标上的总节点数目和已标注的节点数目。
根据第二方面，一种实施例中提供一种基于图匹配的目标检测方法，其包括：获取待检测图像；所述待检测图像包括至少一个检测目标；根据预设的图像检测模型对所述待检测图像进行检测，得到所述检测目标上各节点的节点信息和所述检测目标的模板信息；所述图像检测模型是利用上述第一方面中的方法得到的训练样本图像对一网络模型进行训练而得到；输出所述节点信息和所述模板信息；所述节点信息包括语义信息、位置信息和尺度信息，所述模板信息包括所述检测目标在角度、区域、尺度方面的姿态变化量。
根据第三方面，一种实施例中提供一种目标检测装置，其包括：图像采集部件，用于采集场景中至少一个检测目标的图像，并得到待检测图像；处理器，与所述图像采集部件连接，用于根据上述第二方面中所述的目标检测方法得到所述检测目标上各节点的节点信息，和/或得到所述检测目标的识别类型；显示器，与所述处理器连接，用于对所述待检测图像、所述检测目标上各节点的节点信息和/或所述检测目标的识别类型进行显示。
所述处理器包括训练模块和检测模块；所述训练模块用于利用一个或多个训练样本图像对一网络模型进行训练，通过更新网络参数得到图像检测模型；所述训练样本图像为上述第一方面中的方法得到的训练样本图像；检测模块与所述训练模块连接，用于将所述待检测图像输入至所述图像检测模型并进行检测处理，输出所述检测目标上各节点的节点信息、所述检测目标的模板信息，和/或所述检测目标的识别类型。
根据第四方面，一种实施例中提供一种计算机可读存储介质，其包括程序，所述程序能够被处理器执行以实现上述第一方面中所述的图像标注方法，或者实现如上述第二方面中所述的目标检测方法。
本申请的有益效果是：
依据上述实施例的一种图像标注方法、目标检测方法及装置、存储介质，其中图像标注方法包括：获取待标注图像，对待标注图像进行初始标注，得到检测目标的第一标注信息；在预设的搜索范围内分析出检测目标的第二标注信息，利用第一标注信息和第二标注信息生成训练样本图像。其中目标检测方法包括：获取待检测图像，根据预设的图像检测模型对待检测图像进行检测，得到检测目标上各节点的节点信息和所述检测目标的模板信息，图像检测模型是利用图像标注方法中得到的训练样本图像对一网络模型进行训练而得到；输出所述节点信息和所述模板信息。第一方面，在图像标注方法中，由于对待标注图像进行了初始标注来先行得到检测目标的第一标注信息，为后续图像标注提供更多的先验知识，使得后续标注可依据已标注节点的相对位置关系而快速地进行自动标注，提高标注效率；第二方面，由于在预设的搜索范围内分析出检测目标的第二标注信息，使得检测目标的自动标注过程充分利用了图搜索技术，容易获取标准模板与候选模板之间的仿射变换关系，从而自动标注出检测目标上缺失的节点，能够提高图像自动标注的效率；第三方面，在目标检测方法中，由于利用已标注的训练样本图像对一网络模型进行训练而得到图像检测模型，则使得图像检测模型具有较高的稳定性和准确性，能够准确输出检测目标上各节点的节点信息和检测目标的模板信息；第四方面，在本申请中，基于预设的标准模板和图的搜索技术解决姿态问题，利用深度学习目标检测技术解决类别问题，从而将图匹配问题分解为两个问题进行解决，进而转化为图匹配算法进行求解，有助于提高图匹配的稳定性；第五方面，本申请在节点搜索和姿态匹配过程中，由于采用基于层级的匹配策略和模板位姿仿射变换，则容易获取得分最高的模板作为最后的匹配姿态，从而降低模板连接关系复杂度，提高算法运行效率。
附图说明
图1为本申请实施例一中图像标注方法的流程图；
图2为构建标准模板的流程图；
图3为得到检测目标的第一标注信息的流程图；
图4为得到检测目标的第二标注信息的流程图；
图5为在螺栓这一检测目标上标注节点的原理示意图；
图6为在螺栓这一检测目标上寻找缺失的节点的原理示意图；
图7为本申请实施例二中基于图匹配的目标检测方法的流程图；
图8为本申请实施例三中目标检测装置的结构示意图；
图9为处理器的结构示意图；
图10为处理器在各处理阶段的工作原理图；
图11为本申请实施例四中目标检测装置的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
本申请技术方案的发明构思是：为了加快图像标注速度，在待标注图像中预先进行少量的初始标注，并使得标注信息的格式与节点信息的格式相同，如此便能够根据标准模板的搜索范围计算出每个节点的搜索范围，在每个节点的搜索范围内寻找其它缺失节点以构成候选模板；找到候选模板后，根据标准模板的节点间的相对位置信息计算出其余缺失节点的标注信息，从而达到通过少量初始标注进行大规模数据集的自动标注功能。本申请采用人工标注和自动标注相结合的方式实现了大规模的数据集标注，为后续的目标检测处理提供了技术支持，利于提高目标检测的性能。
实施例一、
本申请公开一种图像标注方法，该方法主要应用在图像处理设备上以实现对待标注图像的自动标注处理。
在本实施例中，请参考图1，图像标注方法包括步骤S110-S140，下面分别说明。
步骤S110，获取待标注图像。这里的待标注图像用于在图像标注好之后参与网络训练，所以待标注图像应当是针对某一检测场景的图片，且图像内包括至少一个检测目标；比如，当需要对场景中的各类螺栓进行检测和识别时，则待标注图像中应当包括至少一个螺栓。
当然，利用单一的待标注图像无法完成网络训练，所以本实施例中可以获取多幅待标注图像且分别进行图像标注，从而生成多幅训练样本图像，由于针对每幅待标注图像的标注方式都一样，所以本实施例中仅对单幅待标注图像的标注方式进行详细说明。
当然，如果待标注图像中包括多个检测目标，那么就需要分别标注出这些检测目标，所形成的标注信息较多，由于能够采用相同的方式标注出各检测目标，所以本实施例中将只针对单个检测目标的标注过程进行详细说明。
需要说明的是，待标注图像中的检测目标为某一类物体的成像状态，如果将各类螺栓作为检测目标，那么仅对待标注图像中的螺栓进行标注即可。
步骤S120，对待标注图像进行初始标注，得到检测目标的第一标注信息。这里的初始标注可以采用人工标注、机器标注等方式进行，标注得到的第一标注信息包括检测目标上若干个节点的相对位置信息和搜索范围信息。
需要说明的是，图像标注中为减小标注的工作量，往往会对图像上的关键像素点和关键像素区域进行标注，所以可以使用节点来表征检测目标的表面特征，而标注出的节点通常是检测目标上那些具有表现力特征的显示结果。
比如图5，待检测图像包括一个螺栓1，那么可以在螺栓的头部、中间部、尾部分别选取一个像素点或像素区域作为螺栓上的若干个节点，从而使得处理器计算生成节点C、A、B的相位位置信息和搜索范围信息。
步骤S130，在预设的搜索范围内分析出检测目标的第二标注信息。分析处理过程可以采用机器自动标注的方式进行，标注得到的第二标注信息包括检测目标上缺失的节点的语义信息、位置信息和尺度信息。
需要说明的是，虽然可以通过人工标注方式标注出待检测图像中检测目标上的若干个节点，但是检测目标上依然会存在很多还未找出的节点，那么将还未找出的节点作为检测目标上缺失的节点。
对于任一个缺失的节点，其语义信息为所代表的图像特征在各个类别中的置信度，通常用one-hot编码表示，其位置信息为所代表的图像特征的中心点在图像上的坐标(包括x轴坐标、y轴坐标)，其尺度信息为所代表的图像特征在图像上的占用尺寸(比如长、宽的像素数目)。
步骤S140，利用第一标注信息和第二标注信息生成训练样本图像。由于检测目标上缺失的节点也代表了检测目标上一些关键的图像特征(或表面特征)，并且数量较多，同样检测目标上已标注的节点一样，能够反映待标注图像上检测目标的多数姿态信息和纹理信息，那么在待标注图像中添加第一标注信息和第二标注信息之后就可完成对待标注图像的图像标注工作，从而生成训练样本图像。
在本实施例中，图像自动标注的过程中需要用到标准模板进行缺失节点的推测分析，所以这里将对标准模板的构建过程进行预先说明。参见图4，标准模板的构建过程可以用步骤S210-S240进行表示，具体说明如下。
步骤S210，获取待检测物体对应的标准件的标准件图像，在标准件图像上设定多个用于表征所述标准件的表面特征的节点。设定多个用于表征标准件的表面特征的节点可以通过人工标注的方式进行设定，也可以通过自动标注的方式进行设定，这里不做具体限定。
步骤S220，配置检测目标对应的标准件在标准件图像上的搜索范围。在这里，标准件图像上的搜索范围包括标准件的搜索角度、剪切角度、搜索区域和搜索尺度。
需要说明的是，检测目标对应的标准件是指检测目标的标准参考对象，比如对于螺栓这一检测目标，其在不同场景下可能呈现出不同的成像状态，甚至存在变形、不清晰、被遮挡的成像情况，而螺栓对应标准件的标准件图像则是完好的成像状态，可以作为螺栓的基本参考形态。
对于标准件图像上配置的搜索范围，其中搜索角度是指标准件上每个图像特征在图像上的旋转角度变化范围，剪切角度是指标准件上每个图像特征在x方向或y方向的剪切形变角度，搜索区域是指标准件上每个图像特征在图像上可能出现的区域范围，搜索尺度是指标准件上每个图像特征在图像上的缩放范围。
步骤S230，计算标准件上每两个节点之间的相对位置，得到每两个节点的边信息；利用每两个节点和对应的边信息生成标准件的图结构。
需要说明的是，每两个节点的边信息可以是这两个节点的相对位置信息，比如这两个节点所在的直线与x轴的夹角、x坐标的差、y坐标的差、欧氏距离等数值。
步骤S240，根据标准件图像的搜索范围和标准件的图结构构建得到标准模板。
在本实施例中，请参考图3，上面的步骤S120主要涉及标注得到检测目标上第一标注信息的过程，该步骤具体包括步骤S121-S122，分别说明如下。
步骤S121，在检测目标上选择若干个节点，所选择的各个节点用于表征检测目标的表面特征。
比如图5，用户在待标注图像中的螺栓1上手动点击头部、中间部和尾部，从而使得处理器识别到这三个位置的像素区域被选中，从而得到所选中区域重心的坐标，进而容易在检测目标上确定选择了节点C、A、B，并作为选择的若干个节点。其中，节点C表示螺栓头部的图像特征，节点A表示螺栓中间部的图像特征，节点B表示螺栓尾部的图像特征。
步骤S122，标注生成若干个节点的相对位置信息和搜索范围信息，从而形成第一标注信息。
比如图5，由于处理器已经得知若干个节点(即节点C、A、B)的坐标，那么容易根据坐标计算每两个节点所在的直线与x轴的夹角、x坐标的差、y坐标的差、欧氏距离等数值，作为这两个节点的相对位置信息。此外，每个节点的搜索范围信息可以由用户预先设定并通过交互界面的方式进行参数输入。
需要说明的是，搜索范围信息可具体包括搜索角度、剪切角度、搜索区域和搜索尺度。其中搜索角度是指节点表示的图像特征在图像上的旋转角度变化范围，剪切角度是指节点表示的图像特征在x方向或y方向的剪切形变角度，搜索区域是指节点表示的图像特征在图像上可能出现的区域范围，搜索尺度是指节点表示的图像特征在图像上的缩放范围。由于搜索范围信息是图像标注的常见设置参数，所以这里不再进行具体说明。
本领域的技术人员可以理解，这里由于对待标注图像进行了初始标注来先行得到检测目标的第一标注信息，则可以为后续图像标注提供更多的先验知识，使得后续标注可依据已标注节点的相对位置关系而快速地进行自动标注，提高标注效率。
在本实施例中，请参考图4，上面的步骤S130主要涉及标注得到检测目标上第二标注信息的过程，该步骤具体包括步骤S131-S133，分别说明如下。
步骤S131，根据预设的标准模板确定若干个节点中每个节点的搜索范围。
这里预设的标准模板可以是检测目标对应的标准件上所有节点的图像特征总和，包括所有节点的搜索范围和每两个节点构成的图结构。由于标准模板中包括有所有节点的搜索范围，那么可以按照标准模板设置待标注图像内检测目标上若干个节点中每个节点的搜索范围，使得搜索范围的设置参数保持一致。关于标准模板的构建过程可以参考上文的步骤S210-S240。
当然，每个节点的搜索范围包括该节点的搜索角度、搜索区域、剪切范围和搜索尺度。比如图5，对于螺栓上的节点C、A、B，每个节点的外围矩形虚线边框可以作为该节点的搜索区域。
步骤S132，在每个节点的搜索范围内寻找检测目标上的其它节点，利用其它节点构成候选模板。
比如图5，为了寻找螺栓上的其它节点，则可以分别从节点C、A、B出发，在对应的搜索区域内扩展搜寻剩余的像素，在找到其它具有表现力的图像特征时，将图像特征对应的像素点或像素区域作为其它节点，那么就可以利用找到的其它节点构成候选模板。
需要说明的是，若待检测图像中存在多个检测目标时，由于对这些检测目标均进行了图像标注，所以此时将构成多个候选模板，从而形成候选模板的集合。
步骤S133，根据标准模板对候选模板进行缺失的节点的推测分析，得到检测目标的第二标注信息。由于标准模板中包括检测目标上所有节点的信息，候选模板中仅包括一部分节点的信息，所以可以利用标准模板来推测分析候选模板中缺失的节点。
需要说明的是，由于在预设的搜索范围内分析出检测目标的第二标注信息，使得检测目标的自动标注过程充分利用了图搜索技术，容易获取标准模板与候选模板之间的仿射变换关系，从而自动标注出检测目标上缺失的节点，能够提高图像自动标注的效率。
在一个具体实施例中，该步骤S133具体包括以下三个子步骤：
(1)为了便于对推测分析过程进行数值化说明，则可以用G＝(V1,A)表示标准模板，以及用Ht＝{(Vt,B)}表示候选模板的集合；其中，V1为检测目标对应的标准件上各节点的集合，A为标准件上各节点之间的边信息的集合，Vt为第t个候选模板对应的检测目标上各节点的集合，B为第t个候选模板对应的检测目标上各节点之间的边信息的集合。
(2)根据G＝(V1,A)中的集合A确定各节点之间的相对位置，通过模板位姿仿射变换推测H＝(Vt,B)中具有位置相似关系的节点，从而得到检测目标上缺失的节点。
(3)生成缺失的节点的语义信息、位置信息和尺度信息，根据已标注的节点和缺失的节点构建出节点之间边的连接关系，获取最高置信度对应的候选模板，从而形成缺失的节点的第二标注信息。
在上面的子步骤(2)中涉及了一些复杂计算，这里将进行具体说明。在模板位姿仿射变换中，将G＝(V1,A)中的集合A确定各节点之间的相对位置与Ht＝{(Vt,B)}中的集合B确定的各节点之间的相对位置进行比较，推测得到节点的位置相似关系，且表示为
Figure BDA0002731395300000101
其中，n为集合B中的节点数目，i为节点的索引序号，k为待标注图像中第i个节点的实例数目(若待标注图像中存在s个检测目标，那么节点i的实例数目就是s)；→min表示取最小值运算。此外，δ为误差且表示为
Figure BDA0002731395300000102
其中，M表示标准件的标准件图像，E表示待标注图像，j为索引序号，ψ为反投影误差函数；arg min()表示使函数取最小值时的变量值计算。
在反射投影误差的和达到最小时(即满足公式
Figure BDA0002731395300000111
时)确定
Figure BDA0002731395300000112
所对应的候选模板，其中bij为集合B中节点的相似度。
根据确定的候选模板的分数值找到检测目标上缺失的节点；分数值表示为
Figure BDA0002731395300000113
其中，di为过程参数且满足di＝||pi-(Rqi+t)||2，pi为标准模板中第i个节点的坐标向量且满足{pi,i＝1…n}，qi为确定的候选模板中第i个节点的坐标向量且满足{qi,i＝1…n}，R为坐标向量的旋转变换关系，t为坐标向量的平移变换关系；n、m分别表示为检测目标上的总节点数目和已标记的节点数目。
需要说明的是，若虑到角度和长度的影响，反投影误差函数ψ可以为一个单调递增函数，则此时反投影误差函数可以表示为
Figure BDA0002731395300000114
其中，δpos、δorient分别为位置误差和角度误差。
需要说明的是，构成模板的信息包含节点之间的相对位置关系，节点i和节点j之间的权重代表了节点位置关系与模板之间的相似程度Ωij，因此模板可以用全连接的有向图(V,B)进行表示，其中|V|＝n，|B|＝n(n-1)，对于集合边B中的每个边bij∈B，其对应的权重为Ωij。
为计算位姿关系，每次加入数据点后更新位姿变换矩阵，那么为便于进行位姿变换关系的求解则可以建立目标函数
Figure BDA0002731395300000115
根据目标函数就可以计算每个边对应的权重，即获得节点间连接关系的权重表示。在权重表示时，认为距离模板点距离越大则分数值应该越低，距离越小则分数值越高，并且分数值设置在[0,1]范围内。由于考虑到总共有n个节点，已标注的有m个节点，因此可以候选模板的分数值(即置信度)
Figure BDA0002731395300000116
来与一预设阈值进行比较，从而通过比较结果来判定标准模板中还哪些节点候选模板中缺失的节点。
比如图5和图6，对于螺栓这一检测目标，待标注图像中可能存在多个不同的螺栓进行不同姿态的分布，螺栓的头部图像特征用节点C表示，中间部图像特征用节点A表示，尾部图像特征用节点B、R、P表示，并且节点B、R、P分别表示螺栓尾部不同的图像特征。正常情况下，需要根据各个节点的相对位置关系确定一个最优的节点连接方式，若要准确匹配C-A-P、C-A-R和C-A-B，则可以建立候选模板C-A-BPR，这样就能够实现第三个节点模糊控制，从而在这些组合中选择一个或者多个最优的模型。并且，在后续的图像匹配过程中，也可以按照类似的方式，根据各节点的相对位置关系确定每个图像特征，且满足位置变换约束条件，从而由节点特征构建一个模板，在这种情况下可减少搜寻的节点数目，避免多余节点的干扰，从而提高检测的稳定性和准确性。
实施例二、
在实施例一中公开的图像标注方法的基础上，本实施例中公开一种基于图匹配的目标检测方法，该目标检测方法中主要借助实施例一中生成的训练样本图像来训练学习图像检测模型。
在本实施例中，请参考图7，基于图匹配的目标检测方法包括步骤S310-S330，分别说明如下。
步骤S310，获取待检测图像。这里的待检测图像包括至少一个检测目标。
需要说明的是，待检测图像类似于待标注图像，图像内的检测目标同样为某一类物体的成像状态，如果将各类螺栓作为检测目标，那么需要对待检测图像进行自动检测，从而找到图像中的螺栓，以及确认螺栓的具体类型。
步骤S320，根据预设的图像检测模型对待检测图像进行检测，得到检测目标上各节点的节点信息和检测目标的模板信息。
在本实施例中，图像检测模型是利用上述实施例一中得到的训练样本图像对一网络模型进行训练而得到。比如，设置一个用于图像检测的卷积神经网络(CNN)作为网络模型，利用已经标注好的一幅或多幅训练样本图像对卷积神经网络进行训练，使得卷积神经网络学习目标函数的图像特征，并且通过更新网络参数的方式训练形成图像检测模型。
步骤S330，输出检测目标上各节点的节点信息和检测目标的模板信息。
需要说明的是，由于检测目标上的节点是检测目标的表面特征表示，那么每个节点的节点信息包括语义信息、位置信息和尺度信息，其语义信息为所代表的图像特征在各个类别中的置信度，通常用one-hot编码表示，其位置信息为所代表的图像特征的中心点在图像上的坐标(包括x轴坐标、y轴坐标)，其尺度信息为所代表的图像特征在图像上的占用尺寸(比如长、宽的像素数目)。
需要说明的是，模板信息可以包括检测目标在角度、区域、尺度方面的姿态变化量，可以理解，姿态变化量是指候选模板中检测目标的姿态相对于标准模板中标准件的姿态的变化量，其中角度变化量包括检测目标的旋转改变角度和剪切改变角度，区域变化量包括检测目标的区域改变距离，尺度变化量是指缩放改变倍数。
可以理解，得到检测目标上各节点的节点信息之后，就通过节点信息确认检测目标在待检测图像中的位置，以及检测目标的具体类型。
本领域的技术人员可以理解，本实施例中采用标注好的训练样本图像来训练得到图像检测模型，从而便于利用图像训练模型检测待检测图像中的检测目标。其中，采用多个节点的方式进行目标识别，不仅考虑到了图像特征信息的相似性，还会考虑到了节点之间的相对位置关系，从而通过多节点方式获取检测目标的方位变化。此外，采用节点方式，综合利用了检测目标的有效特征信息，且通过剔除无用信息来提高图像检测模型的稳定性。本实施例中的目标检测方法可以减小目标识别所需的运算时长，还可以通过剔除冗余特征来避免误检的情形发生，从而提高目标检测的准确性。
本领域的技术人员可以理解，在目标检测方法中，由于利用已标注的训练样本图像对一网络模型进行训练而得到图像检测模型，则使得图像检测模型具有较高的稳定性和准确性，能够准确输出检测目标上各节点的节点信息。本实施例中，基于预设的标准模板和图的搜索技术解决姿态问题，利用深度学习目标检测技术解决类别问题，从而将图匹配问题分解为两个问题进行解决，进而转化为图匹配算法进行求解，有助于提高图匹配的稳定性。此外，在节点搜索和姿态匹配过程中，由于采用基于层级的匹配策略和模板位姿仿射变换，则容易获取得分最高的节点作为最后的匹配姿态，从而降低模板连接关系复杂度，提高算法运行效率。
实施例三、
在实施例二中公开的图像检测方法的基础上，本实施例中公开一种目标检测装置，该目标检测装置主要利用提供的图像检测方法对待检测图像进行检测处理。
请参考图8，本实施例中的目标检测装置4包括图像采集部件41、处理器42和显示器43，下面分别说明。
图像采集部件41可以是相机、摄像机等装置，具有图像采集功能，那么图像采集部件41就可用于采集场景中至少一个检测目标的图像，并得到待检测图像。如果图像采集部件41设置在工业流水线或者机器人工作台上，那么检测目标将是流水线上的产品组件、工作台上的工具等。
处理器42与图像采集部件41连接，其可以具体是CPU、MCU、可编程逻辑器件等芯片或集成电路，具有数据的逻辑处理能力。在这里，处理器42用于根据实施例二中的目标检测方法得到检测目标上各节点的节点信息，和/或得到检测目标的识别类型。
若检测目标是螺栓，那么检测目标上各节点的节点信息则可以包括螺栓上一些图像特征的语义信息、位置信息和尺度信息；检测目标的识别类型就是螺栓。
显示器43与处理器42连接，用于对待检测图像、检测目标上各节点的节点信息和/或检测目标的识别类型进行显示，以便用户通过显示器43及时了解到待检测图像中检测目标的检测结果。
在一个具体实施例中，参见图9，处理器42包括训练模块421和检测模块422，分别说明如下。
训练模块421用于利用一个或多个训练样本图像对一网络模型进行训练，通过更新网络参数得到图像检测模型。这里的训练样本图像是通过实施例一种的图像标注方法得到的训练样本图像。
检测模块422与训练模块421连接，用于将待检测图像输入至图像检测模型并进行检测处理，输出检测目标上各节点的节点信息，和/或检测目标的识别类型。
在一个具体实施例中，参见图8和图10，处理器42能够实现多个工作阶段的处理功能，比如针对标准模板的构建阶段的处理工作、针对待标注图像的标注阶段的处理工作、针对图像检测模型的训练阶段的处理工作，以及针对待检测图像的检测阶段的处理工作。
在构建阶段中，处理器42获取检测物体对应的标准件的标准件图像，在所述标准件图像上设定多个用于表征所述标准件的表面特征的节点。处理器42根据用户交互输入的参数配置检测目标对应的标准件在标准件图像上的搜索范围，且搜索范围包括标准件的搜索角度、剪切角度、搜索区域和搜索尺度。然后，处理器42计算标准件上每两个节点之间的相对位置，得到每两个节点的边信息，利用每两个节点和对应的边信息生成标准件的图结构。接下来，处理器42根据标准件图像的搜索范围和标准件的图结构构建得到标准模板。可以理解，构建的标准模板将在图像标注阶段中发挥作用。
在标注阶段，处理器42对每一幅待标注图像进行初始标注，得到检测目标的第一标注信息，并且第一标注信息包括检测目标上若干个节点的相对位置信息和搜索范围信息。然后，处理器42根据构建阶段得到的标准模板确定若干个节点中每个节点的搜索范围，在每个节点的搜索范围内寻找检测目标上的其它节点，利用其它节点构成候选模板，从而根据标准模板对候选模板进行缺失的节点的推测分析，得到检测目标的第二标注信息，并且标注得到的第二标注信息包括检测目标上缺失的节点的语义信息、位置信息和尺度信息。接下来，处理器42利用第一标注信息和第二标注信息生成训练样本图像。可以理解，生成的一幅或多幅训练样本图像用于在训练阶段中参与网络模型的训练。
在训练阶段中，处理器42设置一个用于图像检测的卷积神经网络(CNN)作为网络模型，利用已经标注好的一幅或多幅训练样本图像对卷积神经网络进行训练，使得卷积神经网络学习目标函数的图像特征，并且通过更新网络参数的方式训练形成图像检测模型。可以理解，由于图像检测模型具有针对检测目标的检测和识别作用，所以图像检测模型用于在检测阶段中发挥作用。
在检测阶段中，处理器42先从图像采集部件41获取待检测图像，然后根据训练阶段中得到的图像检测模型对待检测图像进行检测，从而得到检测目标上各节点的节点信息和模板信息，这里的节点信息包括语义信息、位置信息和尺度信息，模板信息包括检测目标在角度、区域、尺度方面的姿态变化量。可以理解，得知了检测目标的节点信息和模板信息，那么就能够确认检测目标虽然与标准模板中的标准件存在姿态差异，但是两者仍属于同一类型，从而确定检测目标的识别类型。
实施例四、
请参考图11，本实施例中公开一种目标检测装置，该目标检测装置5包括存储器51和处理器52，下面分别说明。
存储器51用于存储程序，可以理解，存储的程序可以包括实施例一中步骤S110-S140对应的程序代码，还可以包括实施例二中步骤S310-S330对应的程序代码。
处理器52与存储器51连接，用于执行存储器51内存储的程序，以实现实施例一中公开的图像标注方法，或者实现如实施例二中公开的目标检测方法。
需要说明的是，关于处理器52的具体实现的功能既可以参考实施例一和实施例二，还可以参考实施例三中的处理器42，这里不再进行赘述。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种图像标注方法，其特征在于，包括：
获取待标注图像；所述待标注图像包括至少一个检测目标；
对所述待标注图像进行初始标注，得到所述检测目标的第一标注信息；所述第一标注信息包括所述检测目标上若干个节点的相对位置信息和搜索范围信息；
在预设的搜索范围内分析出所述检测目标的第二标注信息；所述第二标注信息包括所述检测目标上缺失的节点的语义信息、位置信息和尺度信息；
利用所述第一标注信息和第二标注信息生成训练样本图像。
2.如权利要求1所述的图像标注方法，其特征在于，所述对所述待标注图像进行初始标注，得到所述检测目标第一标注信息，包括：
在所述检测目标上选择若干个节点；所述节点用于表征所述检测目标的表面特征；
标注生成所述若干个节点的相对位置信息和搜索范围信息，从而形成所述第一标注信息。
3.如权利要求1所述的图像标注方法，其特征在于，所述在预设的搜索范围内分析出所述检测目标的第二标注信息，包括：
根据预设的标准模板确定所述若干个节点中每个节点的搜索范围；每个节点的搜索范围包括该节点的搜索角度、搜索区域、剪切范围和搜索尺度；
在每个所述节点的搜索范围内寻找所述检测目标上的其它节点，利用所述其它节点构成候选模板；
根据所述标准模板对所述候选模板进行缺失的节点的推测分析，得到所述检测目标的第二标注信息。
4.如权利要求3所述的图像标注方法，其特征在于，所述标准模板的构建过程包括：
获取所述检测物体对应的标准件的标准件图像，在所述标准件图像上设定多个用于表征所述标准件的表面特征的节点；
配置所述检测目标对应的标准件在所述标准件图像上的搜索范围；所述标准件图像上的搜索范围包括所述标准件的搜索角度、剪切角度、搜索区域和搜索尺度；
计算所述标准件上每两个节点之间的相对位置，得到每两个节点的边信息；利用每两个节点和对应的边信息生成所述标准件的图结构；
根据所述标准件图像的搜索范围和所述标准件的图结构构建得到所述标准模板。
5.如权利要求3所述的图像标注方法，其特征在于，所述根据所述标准模板对所述初始模板进行缺失的节点的推测分析，得到所述检测目标上缺失的节点的第二标注信息，包括：
用G＝(V1,A)表示所述标准模板，以及用Ht＝{(Vt,B)}表示所述候选模板的集合；其中，V1为所述标准件上各节点的集合，A为所述标准件上各节点之间的边信息的集合，Vt为第t个候选模板对应的检测目标上各节点的集合，B为第t个候选模板对应的所述检测目标上各节点之间的边信息的集合；
根据G＝(V1,A)中的集合A确定各节点之间的相对位置，通过模板位姿仿射变换推测H＝(Vt,B)中具有位置相似关系的节点，从而得到所述检测目标上缺失的节点；
生成缺失的节点的语义信息、位置信息和尺度信息，根据已标注的节点和缺失的节点构建出节点之间边的连接关系，获取最高置信度对应的候选模板，从而形成缺失的节点的第二标注信息。
6.如权利要求5所述的图像标注方法，其特征在于，所述根据G＝(V1,A)中的集合A确定各节点之间的相对位置，通过模板位姿仿射变换推测Ht＝{(Vt,B)}中具有位置相似关系的节点，从而得到所述检测目标上缺失的节点，包括：
将G＝(V1,A)中的集合A确定各节点之间的相对位置与Ht＝{(Vt,B)}中的集合B确定的各节点之间的相对位置进行比较，推测得到节点的位置相似关系，且表示为
Figure FDA0002731395290000021
其中，n为集合B中的节点数目，i为节点的索引序号，k为所述待标注图像中第i个节点的实例数目，δ为误差且表示为
Figure FDA0002731395290000022
其中，M表示所述标准件图像，E表示所述待标注图像，j为索引序号，ψ为反投影误差函数；
在反射投影误差的和达到最小时确定
Figure FDA0002731395290000023
所对应的候选模板，其中bij为集合B中节点的相似度；
根据确定的候选模板的分数值找到所述检测目标上缺失的节点；分数值表示为
Figure FDA0002731395290000031
其中，di为过程参数且满足di＝||pi-(Rqi+t)||2，pi为所述标准模板中第i个节点的坐标向量，qi为确定的候选模板中第i个节点的坐标向量，R为坐标向量的旋转变换关系，t为坐标向量的平移变换关系，n、m分别表示为检测目标上的总节点数目和已标记的节点数目。
7.一种基于图匹配的目标检测方法，其特征在于，包括：
获取待检测图像；所述待检测图像包括至少一个检测目标；
根据预设的图像检测模型对所述待检测图像进行检测，得到所述检测目标上各节点的节点信息和所述检测目标的模板信息；所述图像检测模型是利用权利要求1-6中任一项方法得到的训练样本图像对一网络模型进行训练而得到；
输出所述节点信息和所述模板信息；所述节点信息包括对应节点的语义信息、位置信息和尺度信息，所述模板信息包括所述检测目标在角度、区域、尺度方面的姿态变化量。
8.一种目标检测装置，其特征在于，包括：
图像采集部件，用于采集场景中至少一个检测目标的图像，并得到待检测图像；
处理器，与所述图像采集部件连接，用于根据权利要求7中所述的目标检测方法得到所述检测目标上各节点的节点信息、所述检测目标的模板信息，和/或得到所述检测目标的识别类型；
显示器，与所述处理器连接，用于对所述待检测图像、所述节点信息、所述模板信息和/或所述识别类型进行显示。
9.如权利要求8所述的目标检测装置，其特征在于，所述处理器包括训练模块和检测模块；
所述训练模块用于利用一个或多个训练样本图像对一网络模型进行训练，通过更新网络参数得到图像检测模型；所述训练样本图像为权利要求1-6中任一项方法得到的训练样本图像；
检测模块与所述训练模块连接，用于将所述待检测图像输入至所述图像检测模型并进行检测处理，输出所述检测目标上各节点的节点信息、所述检测目标的模板信息，和/或所述检测目标的识别类型。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的图像标注方法，或者实现如权利要求7中任一项所述的目标检测方法。
CN202011119105.0A 2020-10-19 2020-10-19 一种图像标注方法、目标检测方法及装置、存储介质 Pending CN112232420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011119105.0A CN112232420A (zh) 2020-10-19 2020-10-19 一种图像标注方法、目标检测方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011119105.0A CN112232420A (zh) 2020-10-19 2020-10-19 一种图像标注方法、目标检测方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN112232420A true CN112232420A (zh) 2021-01-15

Family

ID=74118917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011119105.0A Pending CN112232420A (zh) 2020-10-19 2020-10-19 一种图像标注方法、目标检测方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN112232420A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138916A (zh) * 2021-04-06 2021-07-20 青岛以萨数据技术有限公司 基于标注样本的图片结构化算法的自动测试方法及系统
CN113255702A (zh) * 2021-07-01 2021-08-13 深圳市华汉伟业科技有限公司 一种基于图匹配的目标检测方法及目标检测装置
CN113344996A (zh) * 2021-07-01 2021-09-03 深圳市华汉伟业科技有限公司 一种基于图匹配的顶点配准方法及装置、存储介质
CN113378976A (zh) * 2021-07-01 2021-09-10 深圳市华汉伟业科技有限公司 一种基于特征顶点组合的目标检测方法、可读存储介质
CN113706448A (zh) * 2021-05-11 2021-11-26 腾讯科技（深圳）有限公司 确定图像的方法、装置、设备及存储介质
TWI789033B (zh) * 2021-09-29 2023-01-01 瑞昱半導體股份有限公司 物件偵測模型訓練裝置、方法及其非暫態電腦可讀取記錄媒體

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138916A (zh) * 2021-04-06 2021-07-20 青岛以萨数据技术有限公司 基于标注样本的图片结构化算法的自动测试方法及系统
CN113138916B (zh) * 2021-04-06 2024-04-30 青岛以萨数据技术有限公司 基于标注样本的图片结构化算法的自动测试方法及系统
CN113706448A (zh) * 2021-05-11 2021-11-26 腾讯科技（深圳）有限公司 确定图像的方法、装置、设备及存储介质
CN113706448B (zh) * 2021-05-11 2022-07-12 腾讯医疗健康(深圳)有限公司 确定图像的方法、装置、设备及存储介质
CN113255702A (zh) * 2021-07-01 2021-08-13 深圳市华汉伟业科技有限公司 一种基于图匹配的目标检测方法及目标检测装置
CN113344996A (zh) * 2021-07-01 2021-09-03 深圳市华汉伟业科技有限公司 一种基于图匹配的顶点配准方法及装置、存储介质
CN113378976A (zh) * 2021-07-01 2021-09-10 深圳市华汉伟业科技有限公司 一种基于特征顶点组合的目标检测方法、可读存储介质
CN113255702B (zh) * 2021-07-01 2021-11-09 深圳市华汉伟业科技有限公司 一种基于图匹配的目标检测方法及目标检测装置
CN113378976B (zh) * 2021-07-01 2022-06-03 深圳市华汉伟业科技有限公司 一种基于特征顶点组合的目标检测方法、可读存储介质
TWI789033B (zh) * 2021-09-29 2023-01-01 瑞昱半導體股份有限公司 物件偵測模型訓練裝置、方法及其非暫態電腦可讀取記錄媒體

Similar Documents

Publication Publication Date Title
CN112232420A (zh) 一种图像标注方法、目标检测方法及装置、存储介质
Zhu et al. Unconstrained face alignment via cascaded compositional learning
US20200226421A1 (en) Training and using a convolutional neural network for person re-identification
Zhang et al. Predicting failures of vision systems
Hoiem et al. Putting objects in perspective
Mitash et al. Improving 6d pose estimation of objects in clutter via physics-aware monte carlo tree search
JP2008287438A (ja) 画像処理装置及び画像検索方法
Li et al. Hierarchical semantic parsing for object pose estimation in densely cluttered scenes
Ghazaei et al. Dealing with ambiguity in robotic grasping via multiple predictions
Shi et al. Symmetrygrasp: Symmetry-aware antipodal grasp detection from single-view rgb-d images
Lin et al. Hierarchical representation via message propagation for robust model fitting
Lee et al. Learning semantic correspondence exploiting an object-level prior
Juyal et al. Multilabel image classification using the CNN and DC-CNN model on Pascal VOC 2012 dataset
Tang et al. Image dataset creation and networks improvement method based on CAD model and edge operator for object detection in the manufacturing industry
Dewan et al. A deep learning pipeline for Indian dance style classification
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
Liu et al. Data-driven indoor scene modeling from a single color image with iterative object segmentation and model retrieval
Cao et al. Dgecn++: A depth-guided edge convolutional network for end-to-end 6d pose estimation via attention mechanism
Ali et al. A life-long SLAM approach using adaptable local maps based on rasterized LIDAR images
Zhou et al. Training convolutional neural network for sketch recognition on large-scale dataset.
Wang et al. Robot grasping in dense clutter via view-based experience transfer
Li et al. Centroid-based graph matching networks for planar object tracking
Ning et al. Optimized shape semantic graph representation for object understanding and recognition in point clouds
Kalsekar et al. RISC-Net: rotation invariant siamese convolution network for floor plan image retrieval
Mori et al. Active learning for human pose estimation based on temporal pose continuity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination