CN109509222A - 直线类物体的检测方法及装置 - Google Patents
直线类物体的检测方法及装置 Download PDFInfo
- Publication number
- CN109509222A CN109509222A CN201811259975.0A CN201811259975A CN109509222A CN 109509222 A CN109509222 A CN 109509222A CN 201811259975 A CN201811259975 A CN 201811259975A CN 109509222 A CN109509222 A CN 109509222A
- Authority
- CN
- China
- Prior art keywords
- key point
- vector
- score
- image
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种直线类物体的检测方法及装置,方法包括:标注测试图像中的物体的两个端点坐标,然后将每个检测图像以及测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;构建卷积神经网络模型,然后设置卷积神经网络模型中网络的结构,并通过相关检测数据集中的训练数据训练卷积神经网络模型;将检测图像输入训练后的卷积神经网络模型提取特征并获取检测图像中关键点的矢量热力图和双向关系向量场;将矢量热力图解码成多个离散的关键点;通过矢量热力图和双向关系向量场获取检测图像中不同的关键点之间的关系得分;根据关系得分对检测图像中的关键点进行两两连接,得到检测结果。从而能够有效检测识别直线类物体,且效果显著。
Description
技术领域
本申请涉及图像识别技术领域,具体而言,涉及一种直线类物体的检测方法及装置。
背景技术
目标检测是计算机视觉和数字图像处理的一个热门方向,广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域,通过计算机视觉减少对人力资本的消耗,具有重要的现实意义。因此,目标检测也就成为了近年来理论和应用的研究热点,它是图像处理和计算机视觉学科的重要分支,也是智能监控系统的核心部分,同时目标检测也是泛身份识别领域的一个基础性的算法,对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。
物体的位置信息可以使用包围框、或物体中心、或物体的闭合边界等来进行表示,通常使用方形包围框来表示物体的位置信息。然而对于某些特定物体由于特殊的形状使得无法使用正常的包围框去定位其位置信息,如直线类物体灯杆、电线杆、直线支架等,这类物体的长宽比严重失衡,一般情况下宽度远小于物体的长度,这种情况下无法使用包围框来定位物体,所以需要使用特殊的处理方法来定位检测该类物体。
针对相关技术中一些比例严重失衡的直线类物体无法使用包围框进行定位的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种直线类物体的检测方法及装置,以解决相关技术中一些比例严重失衡的直线类物体无法使用包围框进行定位的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种直线类物体的检测方法。
根据本申请的直线类物体的检测方法包括:
标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;
构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;
将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;
将所述矢量热力图解码成多个离散的关键点;其中,所述关键点为一个二维坐标点(x,y);
通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;
根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。
进一步的,如前述的直线类物体的检测方法,所述将所述矢量热力图解码成多个离散的关键点坐标,包括:
获取所述矢量热力图中关键点的概率分布;
通过所述矢量热力图取模长生成概率图;
确定所述概率图中的概率峰值,所述概率峰值对应的点的坐标即为所述关键点坐标;
依次寻找图像中所有的关键点,并排除掉概率值较小的关键点。
进一步的,如前述的直线类物体的检测方法,所述设置所述卷积神经网络模型中网络的结构,包括:
通过MobileNet和ResNet101做基础网络结构,进行图像特征提取;
将所述卷积神经网络模型主要结构采用多阶段设计策略,且每个阶段均输出对应的矢量热力图和双向关系向量场,并逐步优化。
进一步的,如前述的直线类物体的检测方法,所述通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分,包括:
通过所述矢量热力图确定所述检测图像中每个关键点内指向另一关键点的方向向量;
确定两个关键点内的方向向量在所述两个关键点连线上的投影,并得到重合度得分;
通过所述双线关系向量场确定两个关键点之间的关系向量场;所述关系向量场包括多个关系向量;
确定两个关键点连线上的所有所述关系向量在连线上的投影的平均值,并将所述平均值作为关系向量场得分;
将两个关键点的所述重合度得分和关系向量场得分进行加权平均得到所述两个关键点的关系得分。
进一步的,如前述的直线类物体的检测方法,所述根据所述关系得分对所述检测图像中的关键点坐标进行两两连接,包括:
依次遍历所有候选的所述关键点坐标;
对所有所述关键点坐标通过关系得分进行按序排列;
选择关系得分最高且大于阈值的关键点坐标进行配对;其中,每两个关键点即为一个物体。
为了实现上述目的,根据本申请的另一方面,提供了一种直线类物体的检测装置。
根据本申请的直线类物体的检测装置包括:
预处理单元,用于标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;
模型构建单元,用于构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;
关键点信息获取单元,用于将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;
解码单元,用于将所述矢量热力图解码成多个离散的关键点;其中,所述关键点为一个二维坐标点(x,y);
关系得分确定单元,用于通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;
结果确定单元,用于根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。
进一步的,如前述的直线类物体的检测装置,所述解码单元,包括:
概率分布确定模块,用于获取所述矢量热力图中关键点的概率分布;
概率图确定模块,用于通过所述矢量热力图取模长生成概率图;
关键点坐标确定模块,用于确定所述概率图中的概率峰值,所述概率峰值对应的点的坐标即为所述关键点坐标;
筛选模块,用于依次寻找图像中所有的关键点,并排除掉概率值较小的关键点。
进一步的,如前述的直线类物体的检测装置,所述模型构建单元,包括:
图像特征提取设置模块,用于通过MobileNet和ResNet101做基础网络结构,进行图像特征提取;
多阶设计模块,用于将所述卷积神经网络模型主要结构采用多阶段设计策略,且每个阶段均输出对应的矢量热力图和双向关系向量场,并逐步优化。
进一步的,如前述的直线类物体的检测装置,所述关系得分确定单元,包括:
方向向量确定模块,用于通过所述矢量热力图确定所述检测图像中每个关键点内指向另一关键点的方向向量;
重合度得分确定模块,用于确定两个关键点内的方向向量在所述两个关键点连线上的投影,并得到重合度得分;
关系向量场确定模块,用于通过所述双线关系向量场确定两个关键点之间的关系向量场;所述关系向量场包括多个关系向量;
关系向量场得分确定模块,用于确定两个关键点连线上的所有所述关系向量在连线上的投影的平均值,并将所述平均值作为关系向量场得分;
关系得分确定模块,用于将两个关键点的所述重合度得分和关系向量场得分进行加权平均得到所述两个关键点的关系得分。
进一步的,如前述的直线类物体的检测装置,所述结果确定单元,包括:
遍历模块,用于依次遍历所有候选的所述关键点坐标;
排序模块,用于对所有所述关键点通过关系得分进行按序排列;
配对模块,用于选择关系得分最高且大于阈值的关键点坐标进行配对;其中,每两个关键点即为一个物体。
在本申请实施例中,采用较为鲁棒的检测策略,使用关键点定位和关系聚类替代包围框定位的方式,通过直线类物体的检测方法包括:标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;将所述矢量热力图解码成多个离散的关键点;通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。达到了在普通检测方法不能有效检测长宽比例严重失衡的物体的情况下通过使用两个端点来表示直线类物体物体,通过解码矢量热力图来找出所有的端点坐标,然后通过矢量热力图和双向关系向量场获取端点之间的关系来对端点进行聚类,最终检测出图像中的物体的目的,从而实现了能够有效检测直线类物体,且效果显著的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请一种实施例的直线类物体的检测方法的流程示意图;
图2是根据本申请一种实施例的二维的关键点矢量热力图;
图3是根据本申请一种实施例的双向关系向量场;
图4是根据本申请一种实施例的直线类物体的检测装置的功能模块连接示意图;以及
图5是根据本申请一种实施例的采用多阶段设计策略的卷积神经网络模型的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了实现上述目的,根据本申请的一个方面,提供了一种直线类物体的检测方法。
根据本申请的直线类物体的检测方法,如图1所示,该方法包括如下的步骤S1至步骤S7:包括:
S1.标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;具体的,可以使用标注工具对所述数据库中的所有测试图像中的每一个直线类物体都进行端点的标注,同时可以预先进行训练集、验证集以及测试集的建立,并且可以根据实际情况分配训练集、验证集以及测试集中各个部分的占比;
S2.构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;具体的,在通过所述训练数据对所述卷积神经网络模型进行训练之后,再通过验证集判断所述卷积神经网络模型对其它数据是否适用于其它模型,即做模型的最终优化及确定;而测试集测试数据。跟前两者的最大区别在于:训练集和验证集中的数据均是同一对象的数据,但是测试,则为用跨对象的数据来验证模型的稳定性。且测试模型表现的数据集,根据误差(一般为预测输出与实际输出的不同)来判断该模型的好坏。在进行训练及调整之后,将训练后的所述卷积神经网络模型作为最终的模型进行部署。
S3.将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;具体的,所述矢量热力图和双向关系向量场均用于确定不同的关键点之间的关系;
S4.将所述矢量热力图解码成多个离散的关键点;其中,所述关键点为一个二维坐标点(x,y);
S5.通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;
S6.根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。
从以上的描述中,可以看出,本发明实现了如下技术效果:
达到了在普通检测方法不能有效检测长宽比例严重失衡的物体的情况下通过使用两个端点来表示直线类物体物体,通过解码矢量热力图来找出所有的端点坐标,然后通过矢量热力图和双向关系向量场获取端点之间的关系来对端点进行聚类,最终检测出图像中的物体的目的,从而实现了能够有效检测直线类物体,且效果显著的技术效果。
在一些实施例中,如前述的直线类物体的检测方法,所述将所述矢量热力图解码成多个离散的关键点坐标,包括:
获取所述矢量热力图中关键点的概率分布;其中,如图2所示,所述矢量热力图是二维的向量图,且所述矢量热力图中包括一个或多个大小不一的向量;然后对所述矢量热力图中的向量取模长,模长即概率大小;其中向量越长,概率越大;
通过所述矢量热力图取模长生成概率图;即根据上一步骤的概率分布,进行图像模拟,并确定最终的概率图,一般的,所述概率图为三维的图像;
确定所述概率图中的概率峰值,将所述概率峰值对应的点的坐标记为可能的关键点;在所述概率图为三维的图像时,就容易找到所述概率图中的概率峰值;
依次寻找图像中所有的可能的关键点,并排除掉概率值较小的所述可能的关键点,确定最终的所述关键点坐标。其中,概率值比较小的点的置信度不够,对于概率值比较小的满足条件的点可以排除掉,不认为是关键点。
在一些实施例中,如前述的直线类物体的检测方法,所述设置所述卷积神经网络模型中网络的结构,包括:
通过MobileNet和ResNet101做基础网络结构,进行图像特征提取;
如图5所示,将所述卷积神经网络模型主要结构采用多阶段设计策略,且每个阶段均输出对应的矢量热力图和双向关系向量场,并逐步优化。具体的,在多个阶段都输出矢量热力图和双向关系向量场,然后将前一个阶段的结果(矢量热力图和双向关系向量场)输入到下一个阶段,下一个阶段继续输出矢量热力图和双向关系向量场到下下阶段,依次类推,进而达到逐步优化的效果。
在一些实施例中,如前述的直线类物体的检测方法,所述通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分,包括:
如图2所示,通过所述矢量热力图确定所述检测图像中每个关键点内指向另一关键点的方向向量;具体的,每一个所述关键点内均包含多个方向向量,当所有方向向量均指向同一个方向时,该物体为长条状的概率则会比较高;
确定两个关键点内的方向向量在所述两个关键点连线上的投影,并得到重合度得分;具体的,当两个关键点的连线与所述关键点内的方向向量的方向一致时,且落在所述两个关键点连线上的投影内时,则重合度得分很高;反之,当两个关键点的连线与所述关键点内的方向向量的方向为正交时,因此所述关键点内的方向向量不会落在所述两个关键点连线上的投影内,则重合度得分很低;
通过所述双线关系向量场确定两个关键点之间的关系向量场;如图3所示,所述关系向量场包括多个关系向量;
确定两个关键点连线上的所有所述关系向量在连线上的投影的平均值,并将所述平均值作为关系向量场得分;具体的,当所有所述关系向量如图3所示,与两个关键点之间的连线方向一致时,则得到的对应的关系向量场得分为90或以上的分数,当方向正交或存在一定偏差时,则得分为0或者为90以下的分数;
将两个关键点的所述重合度得分和关系向量场得分进行加权平均得到所述两个关键点的关系得分。具体的,所述重合度得分与所述关系向量场得分两者的占比综合为1,但是可以根据实际操作及使用情况对两者的比例进行调整,以得到一个最佳的识别效果。
在一些实施例中,如前述的直线类物体的检测方法,所述根据所述关系得分对所述检测图像中的关键点坐标进行两两连接,包括:
依次遍历所有候选的所述关键点坐标;具体的
对所有所述关键点坐标通过关系得分进行按序排列;优选的,一般进行降序排列;由于所述关系得分是一个关键点与另一个关键点之间产生的分数,因此每个所述关键点都有与其产生关系得分最高的另一个关键点;
选择关系得分最高且大于阈值的关键点坐标进行配对;其中,每两个关键点即为一个物体。具体的,所述阈值为关系得分阈值,只有在此阈值以上并且选择关系得分最高且大于阈值的关键点进行配对,每两个关键点即为一个物体,如此检测出图像中所有的直线类物体。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述直线类物体的检测方法的直线类物体的检测装置,如图4所示,该装置包括:
预处理单元1,用于标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;
模型构建单元2,用于构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;
关键点信息获取单元3,用于将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;
解码单元4,用于将所述矢量热力图解码成多个离散的关键点;其中,所述关键点为一个二维坐标点(x,y);
关系得分确定单元5,用于通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;
结果确定单元6,用于根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的直线类物体的检测装置,所述解码单元,包括:
概率分布确定模块,用于获取所述矢量热力图中关键点的概率分布;
概率图确定模块,用于通过所述矢量热力图取模长生成概率图;
关键点坐标确定模块,用于确定所述概率图中的概率峰值,所述概率峰值对应的点的坐标即为所述关键点坐标;
筛选模块,用于依次寻找图像中所有的关键点,并排除掉概率值较小的关键点。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的直线类物体的检测装置,所述模型构建单元,包括:
图像特征提取设置模块,用于通过MobileNet和ResNet101做基础网络结构,进行图像特征提取;
多阶设计模块,用于将所述卷积神经网络模型主要结构采用多阶段设计策略,且每个阶段均输出对应的矢量热力图和双向关系向量场,并逐步优化。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的直线类物体的检测装置,所述关系得分确定单元,包括:
方向向量确定模块,用于通过所述矢量热力图确定所述检测图像中每个关键点内指向另一关键点的方向向量;
重合度得分确定模块,用于确定两个关键点内的方向向量在所述两个关键点连线上的投影,并得到重合度得分;
关系向量场确定模块,用于通过所述双线关系向量场确定两个关键点之间的关系向量场;所述关系向量场包括多个关系向量;
关系向量场得分确定模块,用于确定两个关键点连线上的所有所述关系向量在连线上的投影的平均值,并将所述平均值作为关系向量场得分;
关系得分确定模块,用于将两个关键点的所述重合度得分和关系向量场得分进行加权平均得到所述两个关键点的关系得分。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的直线类物体的检测装置,所述结果确定单元,包括:
遍历模块,用于依次遍历所有候选的所述关键点坐标;
排序模块,用于对所有所述关键点通过关系得分进行按序排列;
配对模块,用于选择关系得分最高且大于阈值的关键点坐标进行配对;其中,每两个关键点即为一个物体。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种直线类物体的检测方法,其特征在于,包括:
标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;
构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;
将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;
将所述矢量热力图解码成多个离散的关键点;其中,所述关键点为一个二维坐标点(x,y);
通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;
根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。
2.根据权利要求1所述的直线类物体的检测方法,其特征在于,所述将所述矢量热力图解码成多个离散的关键点坐标,包括:
获取所述矢量热力图中关键点的概率分布;
通过所述矢量热力图取模长生成概率图;
确定所述概率图中的概率峰值,所述概率峰值对应的点的坐标即为所述关键点坐标;
依次寻找图像中所有的关键点,并排除掉概率值较小的关键点。
3.根据权利要求1所述的直线类物体的检测方法,其特征在于,所述设置所述卷积神经网络模型中网络的结构,包括:
通过MobileNet和ResNet101做基础网络结构,进行图像特征提取;
将所述卷积神经网络模型主要结构采用多阶段设计策略,且每个阶段均输出对应的矢量热力图和双向关系向量场,并逐步优化。
4.根据权利要求1所述的直线类物体的检测方法,其特征在于,所述通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分,包括:
通过所述矢量热力图确定所述检测图像中每个关键点内指向另一关键点的方向向量;
确定两个关键点内的方向向量在所述两个关键点连线上的投影,并得到重合度得分;
通过所述双线关系向量场确定两个关键点之间的关系向量场;所述关系向量场包括多个关系向量;
确定两个关键点连线上的所有所述关系向量在连线上的投影的平均值,并将所述平均值作为关系向量场得分;
将两个关键点的所述重合度得分和关系向量场得分进行加权平均得到所述两个关键点的关系得分。
5.根据权利要求4所述的直线类物体的检测方法,其特征在于,所述根据所述关系得分对所述检测图像中的关键点坐标进行两两连接,包括:
依次遍历所有候选的所述关键点坐标;
对所有所述关键点坐标通过关系得分进行按序排列;
选择关系得分最高且大于阈值的关键点坐标进行配对;其中,每两个关键点即为一个物体。
6.一种直线类物体的检测装置,其特征在于,包括:
预处理单元,用于标注测试图像中的物体的两个端点坐标,然后将每个所述测试图像以及物体的两个端点坐标作为相关检测数据集存储在数据库中;
模型构建单元,用于构建卷积神经网络模型,然后设置所述卷积神经网络模型中网络的结构,并通过所述相关检测数据集中的训练数据训练所述卷积神经网络模型;
关键点信息获取单元,用于将检测图像输入训练后的所述卷积神经网络模型提取特征并获取所述检测图像中关键点的矢量热力图和双向关系向量场;
解码单元,用于将所述矢量热力图解码成多个离散的关键点;其中,所述关键点为一个二维坐标点(x,y);
关系得分确定单元,用于通过所述矢量热力图和双向关系向量场获取所述检测图像中不同的关键点之间的关系得分;
结果确定单元,用于根据所述关系得分对所述检测图像中的关键点进行两两连接,得到检测结果。
7.根据权利要求6所述的直线类物体的检测装置,其特征在于,所述解码单元,包括:
概率分布确定模块,用于获取所述矢量热力图中关键点的概率分布;
概率图确定模块,用于通过所述矢量热力图取模长生成概率图;
关键点坐标确定模块,用于确定所述概率图中的概率峰值,所述概率峰值对应的点的坐标即为所述关键点坐标;
筛选模块,用于依次寻找图像中所有的关键点,并排除掉概率值较小的关键点。
8.根据权利要求6所述的直线类物体的检测装置,其特征在于,所述模型构建单元,包括:
图像特征提取设置模块,用于通过MobileNet和ResNet101做基础网络结构,进行图像特征提取;
多阶设计模块,用于将所述卷积神经网络模型主要结构采用多阶段设计策略,且每个阶段均输出对应的矢量热力图和双向关系向量场,并逐步优化。
9.根据权利要求6所述的直线类物体的检测装置,其特征在于,所述关系得分确定单元,包括:
方向向量确定模块,用于通过所述矢量热力图确定所述检测图像中每个关键点内指向另一关键点的方向向量;
重合度得分确定模块,用于确定两个关键点内的方向向量在所述两个关键点连线上的投影,并得到重合度得分;
关系向量场确定模块,用于通过所述双线关系向量场确定两个关键点之间的关系向量场;所述关系向量场包括多个关系向量;
关系向量场得分确定模块,用于确定两个关键点连线上的所有所述关系向量在连线上的投影的平均值,并将所述平均值作为关系向量场得分;
关系得分确定模块,用于将两个关键点的所述重合度得分和关系向量场得分进行加权平均得到所述两个关键点的关系得分。
10.根据权利要求9所述的直线类物体的检测装置,其特征在于,所述结果确定单元,包括:
遍历模块,用于依次遍历所有候选的所述关键点坐标;
排序模块,用于对所有所述关键点通过关系得分进行按序排列;
配对模块,用于选择关系得分最高且大于阈值的关键点坐标进行配对;其中,每两个关键点即为一个物体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811259975.0A CN109509222B (zh) | 2018-10-26 | 2018-10-26 | 直线类物体的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811259975.0A CN109509222B (zh) | 2018-10-26 | 2018-10-26 | 直线类物体的检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109509222A true CN109509222A (zh) | 2019-03-22 |
CN109509222B CN109509222B (zh) | 2020-11-03 |
Family
ID=65746893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811259975.0A Active CN109509222B (zh) | 2018-10-26 | 2018-10-26 | 直线类物体的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109509222B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532984A (zh) * | 2019-09-02 | 2019-12-03 | 北京旷视科技有限公司 | 关键点检测方法、手势识别方法、装置及系统 |
CN111310770A (zh) * | 2020-02-21 | 2020-06-19 | 集美大学 | 目标检测方法和装置 |
CN111985556A (zh) * | 2020-08-19 | 2020-11-24 | 南京地平线机器人技术有限公司 | 关键点识别模型的生成方法和关键点识别方法 |
CN112215301A (zh) * | 2020-10-29 | 2021-01-12 | 上海勘察设计研究院(集团)有限公司 | 基于卷积神经网络的影像直线探测方法 |
CN112288804A (zh) * | 2019-07-25 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 一种目标定位的方法及装置 |
CN112949616A (zh) * | 2021-05-13 | 2021-06-11 | 北京世纪好未来教育科技有限公司 | 一种题目处理方法、装置、电子设备及计算机存储介质 |
CN113537234A (zh) * | 2021-06-10 | 2021-10-22 | 浙江大华技术股份有限公司 | 数量统计方法、装置、电子装置和计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903013A (zh) * | 2014-04-15 | 2014-07-02 | 复旦大学 | 一种无标记平面物体识别的优化算法 |
WO2014200742A1 (en) * | 2013-06-12 | 2014-12-18 | 3M Innovative Properties Company | Presenting results of visual attention modeling |
CN106251338A (zh) * | 2016-07-20 | 2016-12-21 | 北京旷视科技有限公司 | 目标完整性检测方法及装置 |
US20170262475A1 (en) * | 2014-12-16 | 2017-09-14 | A9.Com, Inc. | Approaches for associating terms with image regions |
CN107424161A (zh) * | 2017-04-25 | 2017-12-01 | 南京邮电大学 | 一种由粗至精的室内场景图像布局估计方法 |
CN108416428A (zh) * | 2018-02-28 | 2018-08-17 | 中国计量大学 | 一种基于卷积神经网络的机器人视觉定位方法 |
CN108648224A (zh) * | 2018-05-18 | 2018-10-12 | 杭州电子科技大学 | 一种基于人工神经网络的实时场景布局识别及重建的方法 |
-
2018
- 2018-10-26 CN CN201811259975.0A patent/CN109509222B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014200742A1 (en) * | 2013-06-12 | 2014-12-18 | 3M Innovative Properties Company | Presenting results of visual attention modeling |
CN103903013A (zh) * | 2014-04-15 | 2014-07-02 | 复旦大学 | 一种无标记平面物体识别的优化算法 |
US20170262475A1 (en) * | 2014-12-16 | 2017-09-14 | A9.Com, Inc. | Approaches for associating terms with image regions |
CN106251338A (zh) * | 2016-07-20 | 2016-12-21 | 北京旷视科技有限公司 | 目标完整性检测方法及装置 |
CN107424161A (zh) * | 2017-04-25 | 2017-12-01 | 南京邮电大学 | 一种由粗至精的室内场景图像布局估计方法 |
CN108416428A (zh) * | 2018-02-28 | 2018-08-17 | 中国计量大学 | 一种基于卷积神经网络的机器人视觉定位方法 |
CN108648224A (zh) * | 2018-05-18 | 2018-10-12 | 杭州电子科技大学 | 一种基于人工神经网络的实时场景布局识别及重建的方法 |
Non-Patent Citations (2)
Title |
---|
AIDEN NIBALI等: "Numerical Coordinate Regression with Convolutional Neural Networks", 《 COMPUTER VISION AND PATTERN RECOGNITION》 * |
史文丽: "基于深度学习的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112288804A (zh) * | 2019-07-25 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 一种目标定位的方法及装置 |
CN110532984A (zh) * | 2019-09-02 | 2019-12-03 | 北京旷视科技有限公司 | 关键点检测方法、手势识别方法、装置及系统 |
CN110532984B (zh) * | 2019-09-02 | 2022-10-11 | 北京旷视科技有限公司 | 关键点检测方法、手势识别方法、装置及系统 |
CN111310770A (zh) * | 2020-02-21 | 2020-06-19 | 集美大学 | 目标检测方法和装置 |
CN111310770B (zh) * | 2020-02-21 | 2024-05-14 | 集美大学 | 目标检测方法和装置 |
CN111985556A (zh) * | 2020-08-19 | 2020-11-24 | 南京地平线机器人技术有限公司 | 关键点识别模型的生成方法和关键点识别方法 |
CN112215301A (zh) * | 2020-10-29 | 2021-01-12 | 上海勘察设计研究院(集团)有限公司 | 基于卷积神经网络的影像直线探测方法 |
CN112215301B (zh) * | 2020-10-29 | 2023-04-07 | 上海勘察设计研究院(集团)有限公司 | 基于卷积神经网络的影像直线探测方法 |
CN112949616A (zh) * | 2021-05-13 | 2021-06-11 | 北京世纪好未来教育科技有限公司 | 一种题目处理方法、装置、电子设备及计算机存储介质 |
CN113537234A (zh) * | 2021-06-10 | 2021-10-22 | 浙江大华技术股份有限公司 | 数量统计方法、装置、电子装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109509222B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109509222A (zh) | 直线类物体的检测方法及装置 | |
CN108171184B (zh) | 基于Siamese网络的用于行人重识别的方法 | |
Kong et al. | Ron: Reverse connection with objectness prior networks for object detection | |
CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
CN110221608B (zh) | 一种巡检设备的方法及装置 | |
CN111325347B (zh) | 基于可解释视觉推理模型的危险预警描述自动生成方法 | |
CN110427813A (zh) | 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法 | |
Yao et al. | Robust CNN-based gait verification and identification using skeleton gait energy image | |
CN109271401A (zh) | 一种题目搜索、批改方法、装置、电子设备和存储介质 | |
CN107273836A (zh) | 一种行人检测识别方法、装置、模型和介质 | |
CN108052946A (zh) | 一种基于卷积神经网络的高压机柜开关自动识别方法 | |
CN110263603B (zh) | 基于中心损失和残差视觉仿真网络的人脸识别方法及装置 | |
CN109815874A (zh) | 一种人员身份识别方法、装置、设备及可读存储介质 | |
CN107729901A (zh) | 图像处理模型的建立方法、装置及图像处理方法及系统 | |
CN111914813A (zh) | 基于图像分类的输电线路巡检图像命名方法及系统 | |
CN108875907B (zh) | 一种基于深度学习的指纹识别方法和装置 | |
TWI769787B (zh) | 目標跟蹤方法及裝置、存儲介質 | |
CN109034095A (zh) | 一种人脸对齐检测方法、装置和存储介质 | |
CN109376696A (zh) | 视频动作分类的方法、装置、计算机设备和存储介质 | |
CN109886242A (zh) | 一种行人重识别的方法及系统 | |
CN105139450A (zh) | 一种基于人脸模拟的三维虚拟人物构建方法及系统 | |
CN109038826A (zh) | 基于物联网和ar技术的变电站设备巡视系统及巡视方法 | |
CN109389105A (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
CN110490115A (zh) | 人脸检测模型的训练方法、装置、电子设备及存储介质 | |
CN113822254A (zh) | 一种模型训练方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |