CN115578392A - 线条检测方法、装置及存储介质 - Google Patents

线条检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115578392A
CN115578392A CN202211576165.4A CN202211576165A CN115578392A CN 115578392 A CN115578392 A CN 115578392A CN 202211576165 A CN202211576165 A CN 202211576165A CN 115578392 A CN115578392 A CN 115578392A
Authority
CN
China
Prior art keywords
line
feature
line segment
line detection
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211576165.4A
Other languages
English (en)
Other versions
CN115578392B (zh
Inventor
李舟军
彭政
肖武魁
刘俊杰
覃维
陈小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intelligent Strong Technology Co ltd
Original Assignee
Shenzhen Intelligent Strong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intelligent Strong Technology Co ltd filed Critical Shenzhen Intelligent Strong Technology Co ltd
Priority to CN202211576165.4A priority Critical patent/CN115578392B/zh
Publication of CN115578392A publication Critical patent/CN115578392A/zh
Application granted granted Critical
Publication of CN115578392B publication Critical patent/CN115578392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域，公开了一种线条检测方法、装置及存储介质。本发明通过获取待检测图片，然后将待检测图片输入至预设线条检测模型，获得线条检测结果，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。本发明通过将待检测图片输入至预设线条检测模型，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，能够对待检测图片中的线条特征进行特征抽取、特征预测、特征匹配以及特征筛选，从而能够精确检测图片中的线条，并且相较于现有的需要频繁地根据新场景进行针对性二次设计，本发明上述方式能够有效应对各种复杂场景，无需二次开发，提高使用人员效率。

Description

线条检测方法、装置及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种线条检测方法、装置及存储介质。
背景技术
自然图片中往往包含着丰富的多层次的信息，其中线条作为非常重要的底层视觉特征，由于其几何特殊性，在更高级的任务诸如人类姿态估计与预测、3D结构重组与构建、图片匹配、图片验证等中扮演着尤为重要的角色。传统的线条检测解决方案通常使用传统图像处理技术诸如OPENCV等进行设计，流程通常包含图片预处理、形态学变换、霍夫变换等，其中大多数方法都严重依赖于阈值，但由于现实场景的复杂性与多样性，一套阈值是远不能适应各种任务的，从而需要频繁地根据新场景进行针对性二次设计，而由于算法本身的复杂性，对设计人员的算法调试能力也提出了一定的要求，这在极大程度上降低了算法的使用效率。因此，如何精确检测图片中的线条，并提高使用人员效率，成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种线条检测方法、装置及存储介质，旨在解决如何精确检测图片中的线条，并提高使用人员效率的技术问题。
为实现上述目的，本发明提供了一种线条检测方法，所述线条检测方法包括以下步骤：
获取待检测图片；
将所述待检测图片输入至预设线条检测模型，获得线条检测结果，所述预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。
可选地，所述将所述待检测图片输入至预设线条检测模型，获得线条检测结果的步骤之前，还包括：
将样本图片输入至初始线条检测模型中，获得初始线条检测结果，所述初始线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络；
获取所述样本图片对应的标准线条检测结果；
根据所述初始线条检测结果和所述标准线条检测结果确定损失函数值；
在所述损失函数值满足预设条件时，获得预设线条检测模型。
可选地，所述将样本图片输入至初始线条检测模型中，获得初始线条检测结果的步骤，具体包括：
将样本图片输入至特征抽取网络中，获得特征图；
将所述特征图输入至特征预测网络中，获得节点热力图和线段表示图；
将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，获得匹配后的线段；
将所述匹配后的线段输入至所述特征筛选网络中，获得初始线条检测结果。
可选地，所述将所述特征图输入至特征预测网络中，获得节点热力图和线段表示图的步骤，具体包括：
将所述特征图输入至特征预测网络中，获得以二维坐标表示的节点热力图；
将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图。
可选地，所述将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图的步骤，具体包括：
将所述特征图输入至特征预测网络中，获取所述特征图上的初始线段和对应的吸引点；
获取所述吸引点与所述初始线段之间的初始垂线距离；
以所述吸引点为原点，对所述初始线段进行旋转，直至所述吸引点与所述初始线段之间的垂线与X轴平行，获得旋转角度和旋转后的线段；
对所述吸引点与所述旋转后的线段构成的图形进行缩放，直至所述吸引点与所述旋转后的线段之间的目标垂线长度达到预设值，获得所述吸引点与缩放后的线段端点构成的直线和所述吸引点与所述缩放后的线段端点之间的垂线形成的第一夹角和第二夹角；
根据所述初始垂线距离、所述旋转角度、所述第一夹角以及所述第二夹角确定以四维坐标表示的线段表示图。
可选地，所述将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，获得匹配后的线段的步骤，具体包括：
将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，根据所述节点热力图确定节点坐标；
根据所述线段表示图确定线段端点坐标；
根据所述节点坐标和所述线段端点坐标确定匹配后的线段。
可选地，所述将所述匹配后的线段输入至所述特征筛选网络中，获得初始线条检测结果的步骤，具体包括：
获取所述样本图片对应的标准标注线段；
根据所述匹配后的线段和所述标准标注线段确定动态正负样本；
根据所述标准标注线段确定静态正负样本；
将所述静态正负样本和所述动态正负样本输入至所述特征筛选网络中，获得初始线条检测结果。
此外，为实现上述目的，本发明还提供一种线条检测装置，所述线条检测装置包括：
图片获取模块，用于获取待检测图片；
线条检测模块，用于将所述待检测图片输入至预设线条检测模型，获得线条检测结果，所述预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有线条检测程序，所述线条检测程序被处理器执行时实现如上文所述的线条检测方法的步骤。
本发明通过获取待检测图片，然后将待检测图片输入至预设线条检测模型，获得线条检测结果，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。本发明通过将待检测图片输入至预设线条检测模型，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，能够对待检测图片中的线条特征进行特征抽取、特征预测、特征匹配以及特征筛选，从而能够精确检测图片中的线条，并且相较于现有的需要频繁地根据新场景进行针对性二次设计，本发明上述方式能够有效应对各种复杂场景，无需二次开发，提高使用人员效率。
附图说明
图1为本发明线条检测方法第一实施例的流程示意图；
图2为本发明线条检测方法第二实施例的流程示意图；
图3为本发明线条检测方法一实施例的初始线条检测模型的结构示意图；
图4为本发明线条检测方法第三实施例的流程示意图；
图5为本发明线条检测方法一实施例的四维坐标表示的示意图；
图6为本发明线条检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种线条检测方法，参照图1，图1为本发明线条检测方法第一实施例的流程示意图。
本实施例中，所述线条检测方法包括以下步骤：
步骤S10：获取待检测图片；
需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等。
可理解的是，待检测图片是指需要进行线条检测的图片，也就是对待检测图片中的线条进行检测，具体可包括检测线条的位置、长度等。
步骤S20：将所述待检测图片输入至预设线条检测模型，获得线条检测结果，所述预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。
应理解的是，预设线条检测模型是指预先设置的线条检测模型，该模型可以对待检测图片中的线条进行检测，获得线条检测结果，线条检测结果可包括检测线条的位置、长度等。
在具体实现中，本实施例中的预设线条检测模型可包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，特征抽取网络可用于对待检测图片中的节点和线段进行特征抽取，特征预测网络可用于对节点和线段的分布情况进行预测，特征匹配网络可用于对节点和线段进行匹配，输出匹配成功的线段，特征筛选网络可用于对匹配成功的线段进一步筛选，最终得到线条检测结果。
本实施例通过获取待检测图片，然后将待检测图片输入至预设线条检测模型，获得线条检测结果，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。本实施例通过将待检测图片输入至预设线条检测模型，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，能够对待检测图片中的线条特征进行特征抽取、特征预测、特征匹配以及特征筛选，从而能够精确检测图片中的线条，并且相较于现有的需要频繁地根据新场景进行针对性二次设计，本实施例上述方式能够有效应对各种复杂场景，无需二次开发，提高使用人员效率。
参考图2，图2为本发明线条检测方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S20之前，还包括：
步骤S01：将样本图片输入至初始线条检测模型中，获得初始线条检测结果，所述初始线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络；
需要说明的是，样本图片是指对初始线条检测模型进行模型训练的样本，具体可从图片库中随机选取，还可通过其他的途径获取，本实施例对此不做具体限制。
可理解的是，初始线条检测模型是指没有完成模型训练的线条检测模型，初始线条检测模型也可包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，具体地，参照图3，图3为本发明线条检测方法一实施例的初始线条检测模型的结构示意图。如图3所示，初始线条检测模型可包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，还可包括CNN卷积神经网络，具体结构可参照现有技术，本实施例对此不过多赘述。
在具体实现中，将样本图片输入至初始线条检测模型中，可得到初始线条检测结果。
步骤S02：获取所述样本图片对应的标准线条检测结果；
需要说明的是，标准线条检测结果是指样本图片中线条实际的位置、长度等，具体可通过人工标注得到。
步骤S03：根据所述初始线条检测结果和所述标准线条检测结果确定损失函数值；
应理解的是，根据初始线条检测结果和标准线条检测结果可得到损失函数值，具体确定损失函数值的方法可参照现有技术，本实施例对此不过多赘述。
步骤S04：在所述损失函数值满足预设条件时，获得预设线条检测模型。
需要说明的是，预设条件是指预先设置的条件，具体可以是小于预设阈值，例如：小于0.65、小于0.7等，该预设阈值可根据实际情况进行设置，本实施例对此不做具体限制。
在具体实现中，在损失函数值满足预设条件时，说明初始线条检测模型训练完成，训练完成的初始线条检测模型即为本实施例中的预设线条检测模型。
本实施例通过将样本图片输入至初始线条检测模型中，获得初始线条检测结果，初始线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，然后获取样本图片对应的标准线条检测结果，再根据初始线条检测结果和标准线条检测结果确定损失函数值，在损失函数值满足预设条件时，获得预设线条检测模型。本实施例根据初始线条检测结果和标准线条检测结果确定损失函数值，在损失函数值满足预设条件时，获得预设线条检测模型，从而能够得到准确的预设线条检测模型，以对待检测图片进行线条检测。
参考图4，图4为本发明线条检测方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，所述步骤S01包括：
步骤S011：将样本图片输入至特征抽取网络中，获得特征图；
可理解的是，特征抽取网络可用于对样本图片中的节点和线段进行抽取，获得包括节点和线段的特征图。
应理解的是，本实施例中的特征抽取网络可以是堆叠沙漏网络（stackedHourglass network），堆叠沙漏网络是由多个沙漏网络串联起来的，可用于对样本图片中的节点和线段进行抽取，获得特征图。
步骤S012：将所述特征图输入至特征预测网络中，获得节点热力图和线段表示图；
进一步地，为了对节点热力图和线段表示图进行表示，在本实施例中，所述步骤S012包括：将所述特征图输入至特征预测网络中，获得以二维坐标表示的节点热力图；将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图。
可理解的是，特征预测网络可用于对特征图进行推理，得到节点热力图和线段表示图，节点热力图是指可包括样本图片中所有可能存在的节点的图，线段表示图是指可包括样本图片中所有可能存在的线段的图。
在具体实现中，本实施例中的节点热力图中的节点可以以二维坐标表示，即X坐标和Y坐标。线段表示图中的线段可以以四维坐标表示，可包括任意一点与线段之间的距离、角度等四个维度。
进一步地，在本实施例中，为了得到以四维坐标表示的线段表示图，所述将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图的步骤，具体包括：将所述特征图输入至特征预测网络中，获取所述特征图上的初始线段和对应的吸引点；获取所述吸引点与所述初始线段之间的初始垂线距离；以所述吸引点为原点，对所述初始线段进行旋转，直至所述吸引点与所述初始线段之间的垂线与X轴平行，获得旋转角度和旋转后的线段；对所述吸引点与所述旋转后的线段构成的图形进行缩放，直至所述吸引点与所述旋转后的线段之间的目标垂线长度达到预设值，获得所述吸引点与缩放后的线段端点构成的直线和所述吸引点与所述缩放后的线段端点之间的垂线形成的第一夹角和第二夹角；根据所述初始垂线距离、所述旋转角度、所述第一夹角以及所述第二夹角确定以四维坐标表示的线段表示图。
需要说明的是，初始线段是指特征图中的线段，吸引点是指可依附于初始线段上的点，也就是在初始线段预设范围内的点，具体可获取与初始线段之间的距离小于预设距离的所有点，预设距离可根据实际情况进行设置，例如4、5等，大于预设距离的点为背景点。
可理解的是，参照图5，图5为本发明线条检测方法一实施例的四维坐标表示的示 意图。如图5所示，吸引点为点o，初始线段为x1x2，d为吸引点点o与初始线段x1x2之间的距 离，即初始垂线距离，然后以吸引点点o为原点，将初始线段x1x2进行旋转，旋转方向为顺时 针方向或逆时针方向，直至吸引点点o与初始线段x1x2之间的垂线与X轴平行，得到初始线段 x1x2的旋转角度α和旋转后的线段x’1x’2，吸引点o为坐标系原点，x’1坐标为（d,y’1），x’2坐 标为（d,y’2），d为吸引点点o与旋转后的线段x’1x’2之间的距离，y’1为吸引点点o与旋转后 的线段端点x’1在竖直方向上的距离，y’2为吸引点点o与旋转后的线段端点x’2在竖直方向 上的距离。再对吸引点与旋转后的线段构成的三角形进行缩放，也就是三角形ox’1x’2进行 缩放，直至吸引点与旋转后的线段之间的目标垂线长度达到预设值，该预设值可根据实际 情况自行设置，本实施例可设为1，得到缩放后的线段
Figure 308357DEST_PATH_IMAGE001
。
应理解的是，在得到缩放后的线段
Figure 125004DEST_PATH_IMAGE001
后，可获取吸引点与缩放后的线段端点构 成的直线与吸引点与缩放后的线段之间的垂线形成的第一夹角和第二夹角，也就是吸引点 与缩放后的线段端点
Figure 176530DEST_PATH_IMAGE002
形成的直线与吸引点与缩放后的线段
Figure 762232DEST_PATH_IMAGE001
之间的垂线形成的第一 夹角θ1，吸引点与缩放后的线段端点
Figure 5125DEST_PATH_IMAGE003
形成的直线与吸引点与缩放后的线段
Figure 246751DEST_PATH_IMAGE001
之间的 垂线形成的第二夹角θ2，吸引点o为坐标系原点，假设吸引点与缩放后的线段
Figure 584191DEST_PATH_IMAGE001
之间的 垂线长度为1，
Figure 539247DEST_PATH_IMAGE002
坐标为（1,tanθ1），
Figure 936730DEST_PATH_IMAGE003
坐标为（1,tanθ2）。
在具体实现中，吸引点与初始线段之间的关系可表示为（d,α,θ1,θ2），d表示初始垂线距离，α表示旋转角度，θ1表示第一夹角，θ2表示第二夹角，可得到以四维坐标表示的线段表示图。
步骤S013：将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，获得匹配后的线段；
应理解的是，匹配后的线段是指节点热力图中的节点与线段表示图中的线段能够匹配成功的线段，判断是否匹配成功的方法可以是判断节点的坐标与线段端点的坐标是否基本相同，若相同，则匹配成功。
进一步地，为了精确确定匹配后的线段，在本实施例中，所述步骤S013包括：将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，根据所述节点热力图确定节点坐标；根据所述线段表示图确定线段端点坐标；根据所述节点坐标和所述线段端点坐标确定匹配后的线段。
可理解的是，将节点热力图和线段表示图输入至特征匹配网络中，可得到节点热力图中所有节点的节点坐标，线段表示图中所有线段的线段端点坐标，由于线段表示图中的线段是以四维坐标的形式表示的，因此本实施例可将四维坐标先转换为二维坐标，再根据节点坐标和线段端点坐标确定匹配后的线段。
在具体实现中，当节点坐标与任意线段的线段端点坐标能够匹配成功时，可将该线段进行保留，匹配失败时，可将该线段移除，匹配成功是指节点坐标与线段端点坐标基本相同，也就是节点坐标与线段端点坐标之间的欧式距离小于预设阈值，该预设阈值可设置为10，还可设为其他值，本实施例对此不做具体限制。
步骤S014：将所述匹配后的线段输入至所述特征筛选网络中，获得初始线条检测结果。
应理解的是，可参照感兴趣区域池化(Region of interest pooling)，本实施例中的特征筛选网络可以是LOI Pooling，可以对匹配后的线段进一步筛选，得到初始线条检测结果。图3中的LOI Features为LOI特征，scores表示各个LOI特征的比值。
进一步地，为了精确确定初始线条检测结果，在本实施例中，所述步骤S014包括：获取所述样本图片对应的标准标注线段；根据所述匹配后的线段和所述标准标注线段确定动态正负样本；根据所述标准标注线段确定静态正负样本；将所述静态正负样本和所述动态正负样本输入至所述特征筛选网络中，获得初始线条检测结果。
需要说明的是，标准标注线段是指使用人员预先对样本图片的线段进行标注得到的线段。
可理解的是，可根据匹配后的线段和标准标注线段确定动态正负样本，具体可获取匹配后的线段和标准标注线段两端之间的最小欧式距离，动态正样本可以是匹配后的线段和标准标注线段两端之间的最小欧式距离小于距离阈值的线段，动态负样本可以是匹配后的线段和标准标注线段两端之间的最小欧式距离大于或等于距离阈值的线段，距离阈值可设置为1.5，还可设置为其他值，本实施例对此不做具体限制。
应理解的是，本实施例可根据标准标注线段确定静态正负样本，静态正样本为标准标注线段，静态负样本为根据标准标注线段随机生成的线段。
在具体实现中，可将静态正负样本和动态正负样本输入至特征筛选网络中，获得初始线条检测结果。能够有效增强初始线条检测模型的鲁棒性，使得初始线条检测模型的精度更高并更具泛化性。
本实施例通过将样本图片输入至特征抽取网络中，获得特征图，然后将特征图输入至特征预测网络中，获得节点热力图和线段表示图，然后将节点热力图和线段表示图输入至所述特征匹配网络中，获得匹配后的线段，再将匹配后的线段输入至特征筛选网络中，获得初始线条检测结果。本实施例通过将特征图输入至特征预测网络中，能够得到精确的节点热力图和线段表示图，能够使得初始线条检测模型学习所需参数更少更高效，也减少了初始线条检测模型推理时间，再将匹配后的线段输入至特征筛选网络中，能够进一步对匹配后的线段进行筛选，得到初始线条检测结果。
参照图6，图6为本发明线条检测装置第一实施例的结构框图。
如图6所示，本发明实施例提出的线条检测装置包括：
图片获取模块10，用于获取待检测图片；
线条检测模块20，用于将所述待检测图片输入至预设线条检测模型，获得线条检测结果，所述预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。
本实施例通过获取待检测图片，然后将待检测图片输入至预设线条检测模型，获得线条检测结果，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。本实施例通过将待检测图片输入至预设线条检测模型，预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络，能够对待检测图片中的线条特征进行特征抽取、特征预测、特征匹配以及特征筛选，从而能够精确检测图片中的线条，并且相较于现有的需要频繁地根据新场景进行针对性二次设计，本实施例上述方式能够有效应对各种复杂场景，无需二次开发，提高使用人员效率。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的线条检测方法，此处不再赘述。
基于本发明上述线条检测装置第一实施例，提出本发明线条检测装置的第二实施例。
在本实施例中，所述线条检测装置还包括模型训练模块30，所述模型训练模块30，用于将样本图片输入至初始线条检测模型中，获得初始线条检测结果，所述初始线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络；获取所述样本图片对应的标准线条检测结果；根据所述初始线条检测结果和所述标准线条检测结果确定损失函数值；在所述损失函数值满足预设条件时，获得预设线条检测模型。
进一步地，所述模型训练模块30，还用于将样本图片输入至特征抽取网络中，获得特征图；将所述特征图输入至特征预测网络中，获得节点热力图和线段表示图；将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，获得匹配后的线段；将所述匹配后的线段输入至所述特征筛选网络中，获得初始线条检测结果。
进一步地，所述模型训练模块30，还用于将所述特征图输入至特征预测网络中，获得以二维坐标表示的节点热力图；将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图。
进一步地，所述模型训练模块30，还用于将所述特征图输入至特征预测网络中，获取所述特征图上的初始线段和对应的吸引点；获取所述吸引点与所述初始线段之间的初始垂线距离；以所述吸引点为原点，对所述初始线段进行旋转，直至所述吸引点与所述初始线段之间的垂线与X轴平行，获得旋转角度和旋转后的线段；对所述吸引点与所述旋转后的线段构成的图形进行缩放，直至所述吸引点与所述旋转后的线段之间的目标垂线长度达到预设值，获得所述吸引点与缩放后的线段端点构成的直线和所述吸引点与所述缩放后的线段端点之间的垂线形成的第一夹角和第二夹角；根据所述初始垂线距离、所述旋转角度、所述第一夹角以及所述第二夹角确定以四维坐标表示的线段表示图。
进一步地，所述模型训练模块30，还用于将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，根据所述节点热力图确定节点坐标；根据所述线段表示图确定线段端点坐标；根据所述节点坐标和所述线段端点坐标确定匹配后的线段。
进一步地，所述模型训练模块30，还用于获取所述样本图片对应的标准标注线段；根据所述匹配后的线段和所述标准标注线段确定动态正负样本；根据所述标准标注线段确定静态正负样本；将所述静态正负样本和所述动态正负样本输入至所述特征筛选网络中，获得初始线条检测结果。
本发明线条检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有线条检测程序，所述线条检测程序被处理器执行时实现如上文所述的线条检测方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种线条检测方法，其特征在于，所述线条检测方法包括以下步骤：
获取待检测图片；
将所述待检测图片输入至预设线条检测模型，获得线条检测结果，所述预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。
2.如权利要求1所述的线条检测方法，其特征在于，所述将所述待检测图片输入至预设线条检测模型，获得线条检测结果的步骤之前，还包括：
将样本图片输入至初始线条检测模型中，获得初始线条检测结果，所述初始线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络；
获取所述样本图片对应的标准线条检测结果；
根据所述初始线条检测结果和所述标准线条检测结果确定损失函数值；
在所述损失函数值满足预设条件时，获得预设线条检测模型。
3.如权利要求2所述的线条检测方法，其特征在于，所述将样本图片输入至初始线条检测模型中，获得初始线条检测结果的步骤，具体包括：
将样本图片输入至特征抽取网络中，获得特征图；
将所述特征图输入至特征预测网络中，获得节点热力图和线段表示图；
将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，获得匹配后的线段；
将所述匹配后的线段输入至所述特征筛选网络中，获得初始线条检测结果。
4.如权利要求3所述的线条检测方法，其特征在于，所述将所述特征图输入至特征预测网络中，获得节点热力图和线段表示图的步骤，具体包括：
将所述特征图输入至特征预测网络中，获得以二维坐标表示的节点热力图；
将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图。
5.如权利要求4所述的线条检测方法，其特征在于，所述将所述特征图输入至特征预测网络中，获得以四维坐标表示的线段表示图的步骤，具体包括：
将所述特征图输入至特征预测网络中，获取所述特征图上的初始线段和对应的吸引点；
获取所述吸引点与所述初始线段之间的初始垂线距离；
以所述吸引点为原点，对所述初始线段进行旋转，直至所述吸引点与所述初始线段之间的垂线与X轴平行，获得旋转角度和旋转后的线段；
对所述吸引点与所述旋转后的线段构成的图形进行缩放，直至所述吸引点与所述旋转后的线段之间的目标垂线长度达到预设值，获得所述吸引点与缩放后的线段端点构成的直线和所述吸引点与所述缩放后的线段端点之间的垂线形成的第一夹角和第二夹角；
根据所述初始垂线距离、所述旋转角度、所述第一夹角以及所述第二夹角确定以四维坐标表示的线段表示图。
6.如权利要求3所述的线条检测方法，其特征在于，所述将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，获得匹配后的线段的步骤，具体包括：
将所述节点热力图和所述线段表示图输入至所述特征匹配网络中，根据所述节点热力图确定节点坐标；
根据所述线段表示图确定线段端点坐标；
根据所述节点坐标和所述线段端点坐标确定匹配后的线段。
7.如权利要求3所述的线条检测方法，其特征在于，所述将所述匹配后的线段输入至所述特征筛选网络中，获得初始线条检测结果的步骤，具体包括：
获取所述样本图片对应的标准标注线段；
根据所述匹配后的线段和所述标准标注线段确定动态正负样本；
根据所述标准标注线段确定静态正负样本；
将所述静态正负样本和所述动态正负样本输入至所述特征筛选网络中，获得初始线条检测结果。
8.一种线条检测装置，其特征在于，所述线条检测装置包括：
图片获取模块，用于获取待检测图片；
线条检测模块，用于将所述待检测图片输入至预设线条检测模型，获得线条检测结果，所述预设线条检测模型包括：特征抽取网络、特征预测网络、特征匹配网络以及特征筛选网络。
9.一种存储介质，其特征在于，所述存储介质上存储有线条检测程序，所述线条检测程序被处理器执行时实现如权利要求1至7中任一项所述的线条检测方法的步骤。
CN202211576165.4A 2022-12-09 2022-12-09 线条检测方法、装置及存储介质 Active CN115578392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211576165.4A CN115578392B (zh) 2022-12-09 2022-12-09 线条检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211576165.4A CN115578392B (zh) 2022-12-09 2022-12-09 线条检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115578392A true CN115578392A (zh) 2023-01-06
CN115578392B CN115578392B (zh) 2023-03-03

Family

ID=84590333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211576165.4A Active CN115578392B (zh) 2022-12-09 2022-12-09 线条检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115578392B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682209A (zh) * 2023-06-15 2023-09-01 南昌交通学院 一种基于机器视觉的自动售货机库存管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113887605A (zh) * 2021-09-26 2022-01-04 中国科学院大学 形状自适应的旋转目标检测方法、系统、介质及计算设备
CN114140683A (zh) * 2020-08-12 2022-03-04 天津大学 一种航拍图像目标检测的方法、设备与介质
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN114140683A (zh) * 2020-08-12 2022-03-04 天津大学 一种航拍图像目标检测的方法、设备与介质
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN113887605A (zh) * 2021-09-26 2022-01-04 中国科学院大学 形状自适应的旋转目标检测方法、系统、介质及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU Q ET.AL: "Measurement method of LCD surface deformation for smartphone based on optical vision sensing system", <OPTIK - INTERNATIONAL JOURNAL FOR LIGHT AND ELECTRON OPTICS> *
宁政通 等: "基于深度学习的葡萄果梗识别与最优采摘定位", 《农业工程学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682209A (zh) * 2023-06-15 2023-09-01 南昌交通学院 一种基于机器视觉的自动售货机库存管理方法及系统

Also Published As

Publication number Publication date
CN115578392B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
CN108304835B (zh) 文字检测方法和装置
US10936911B2 (en) Logo detection
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
Tau et al. Dense correspondences across scenes and scales
Yoon et al. Line as a visual sentence: Context-aware line descriptor for visual localization
WO2013180530A1 (ko) 특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치
Konishi et al. Real-time 6D object pose estimation on CPU
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
US20200005078A1 (en) Content aware forensic detection of image manipulations
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN115578392B (zh) 线条检测方法、装置及存储介质
EP3410389A1 (en) Image processing method and device
CN111241924A (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
CN114187333A (zh) 一种图像对齐方法、图像对齐装置及终端设备
WO2024169397A1 (zh) 印章识别方法、装置、电子设备及存储介质
CN114359352A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
Buniatyan et al. Weakly supervised deep metric learning for template matching
CN109978829B (zh) 一种待检测对象的检测方法及其系统
CN109993695B (zh) 一种不规则图形标注的图像碎片拼接方法及系统
CN113496230A (zh) 图像匹配方法和系统
US20230360262A1 (en) Object pose recognition method based on triangulation and probability weighted ransac algorithm
CN109815791B (zh) 基于血管的身份识别方法和装置
CN112733670A (zh) 指纹特征提取方法、装置、电子设备及存储介质
Sintunata et al. Skewness map: estimating object orientation for high speed 3D object retrieval system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant