CN113963337A - 物体图像轮廓基元提取方法和装置 - Google Patents
物体图像轮廓基元提取方法和装置 Download PDFInfo
- Publication number
- CN113963337A CN113963337A CN202111576587.7A CN202111576587A CN113963337A CN 113963337 A CN113963337 A CN 113963337A CN 202111576587 A CN202111576587 A CN 202111576587A CN 113963337 A CN113963337 A CN 113963337A
- Authority
- CN
- China
- Prior art keywords
- image
- contour
- primitive
- map
- specific object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种物体图像轮廓基元提取方法和装置,其中,方法包括:获取特定物体的第一图像作为支撑图像;获取所述支撑图像的二值化的轮廓基元标注图;获取所述特定物体的第二图像作为查询图像;将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型得到所述查询图像中的关键轮廓基元。本发明的物体图像轮廓基元提取方法具有单样本学习能力,实现了在有标注支撑图像引导下对任意物体图像中指定轮廓基元的自动提取,具有灵活、易用、实时的优点,可显著提高机器视觉系统的柔性化程度,具有可观的应用前景和社会经济效益。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种物体图像轮廓基元提取方法和装置。
背景技术
近年来,随着人工智能技术的发展,机器视觉的智能化程度得到了显著提高。在智能机器人与工业自动化等应用领域,任务的多样性和快速更新需求,对机器视觉系统进一步提出了柔性化的迫切需求。柔性化是指同一个机器视觉系统可以通过快捷的配置,灵活适用于不同的新任务和新物体。通过单样本学习和卷积神经网络,实现从新物体的图像中提取物体上的关键轮廓特征,为位姿测量和尺寸测量等机器视觉任务提供必要的图像特征,从而使机器视觉系统具有柔性化,是实现多功能机器人和柔性智能制造的重要手段,具有全面实用化的前景。
目前很多机器视觉系统是针对特定任务所开发的专用系统,仅能用于特定的物体类型和功能需求,其灵活性较差,当物体类型或功能需求改变后,往往需要专家进行重新编程开发调试或模型训练,无法实现快捷的功能切换。比如现有公开文献CN106504262A。
图像模板匹配方法具有一定的柔性,允许通过重新配置模板图像,使视觉系统适用于新型物体。但是模板匹配仅能用于物体的整体定位,定位精度有限,无法感知物体的精确轮廓。
发明内容
本发明提供一种物体图像轮廓基元提取方法和装置,用以解决现有技术中系统的功能单一、柔性化程度低、开发调试时间长、通用性受限的的缺陷,实现支撑物体图像及其轮廓基元标注图的引导下,对新型物体上的关键线段和圆弧进行自动精确提取,从而使机器视觉系统的图像特征提取环节具有更强的灵活性和通用性。
第一方面,本发明提供一种物体图像轮廓基元提取方法,包括:
获取特定物体的第一图像作为支撑图像;
获取所述支撑图像的二值化的轮廓基元标注图;
获取所述特定物体的第二图像作为查询图像;
将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述轮廓基元提取模型是通过下述方法训练得到:
步骤一:将第K特定物体的支撑图像和第K特定物体的查询图像输入当前的轮廓基元提取模型中进行下述处理:
根据所述第K特定物体的支撑图像获取原型描述向量;
根据所述第K特定物体的查询图像获取融合前的多尺度查询特征图和融合后的多尺度查询特征图;
根据所述原型描述向量和所述融合后的多尺度查询特征图得到图像间相似度图以及图像间相似性度量损失;
根据所述融合前的多尺度查询特征图和所述图像间相似度图得到三通道几何特征图;
根据所述三通道几何特征图得到归一化尺度图、方向向量图和对应的几何参数回归损失;
根据所述融合前的多尺度查询特征图、所述三通道几何特征图和所述图像间相似度图得到级联特征图;
根据所述图像间相似度图和所述级联特征图确定图像内相似度图,以及对应的图像内相似性度量损失;
根据所述图像间相似度图和所述图像内相似度图确定查询图像的轮廓基元图以及对应的轮廓基元提取损失;
根据所述图像间相似性度量损失、所述几何参数损失、所述图像内相似性度量损失和所述轮廓基元提取损失确定总体损失;
根据梯度反向传播算法确定所述总体损失的最小值,将所述总体损失最小时对应的第K轮廓基元提取模型的参数予以确定;
步骤二:判断所述K是否等于预设定值,若不等于,则执行步骤三;若等于,则执行步骤四;
步骤三:将所述对应的第K轮廓基元提取模型作为步骤一中的当前的轮廓基元提取模型,将第K+1特定物体的支撑图像和第K+1特定物体的查询图像分别替换步骤一中的第K特定物体的支撑图像和第K特定物体的查询图像后输入所述当前的轮廓基元提取模型执行步骤一;
步骤四:将所述对应的第K轮廓基元提取模型的参数予以固定,并将所述第K轮廓基元提取模型作为训练结束的轮廓基元提取模型。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,在所述根据第K特定物体的支撑图像获取原型描述向量之前,还包括:
获取用于训练的图像数据集,随机选择所述图像数据集中的任一个特定物体的两张图像分别作为第K特定物体的支撑图像和第K特定物体的查询图像。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述根据第K特定物体的支撑图像获取原型描述向量,具体包括:
获取所述第K特定物体的支撑图像的第一二值化的轮廓基元标注图;
根据所述第K特定物体的支撑图像获取融合后的多尺度支撑特征图;
根据所述第一二值化的轮廓基元标注图和所述融合后的多尺度支撑特征图获取原型描述向量。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,根据所述三通道几何特征图得到归一化尺度图、方向向量图,具体包括:
将所述三通道几何特征图划分为一通道几何特征图和二通道几何特征图;
对所述一通道几何特征图进行sigmoid激活函数处理得到归一化尺度图;
对所述二通道几何特征图进行L2归一化函数处理得到方向向量图。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述根据所述图像间相似度图和所述级联特征图确定图像内相似度图,具体包括:
获取所述图像间相似度图中最大值像素的坐标;
获取所述级联特征图在所述坐标处的特征向量;
根据所述特征向量与所述级联特征图进行逐像素相似性度量,得到图像内相似度图。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述根据所述图像内相似度图确定查询图像的轮廓基元图,具体包括:
获取所述图像间相似度图中像素最大值;
对所述图像内相似度图进行截断处理,得到对应的截断结果;
根据所述像素最大值、所述截断结果和所述图像内相似度图确定查询图像的轮廓基元图。
第二方面,本发明提供一种物体图像轮廓基元提取装置,包括:
支撑图像获取模块,用于获取特定物体的第一图像作为支撑图像;
标注模块,用于根据所述支撑图像得到二值化的轮廓基元标注图;
查询图像获取模块,用于获取所述特定物体的第二图像作为查询图像;
关键轮廓基元获取模块,用于将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
第三方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述物体图像轮廓基元提取方法的步骤。
第四方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述物体图像轮廓基元提取方法的步骤。
本发明提供的物体图像轮廓基元提取方法和装置,通过获取特定物体的第一图像作为支撑图像,和第二图像作为查询图像,进而获取支撑图像的二值化的轮廓基元标注图,然后根据获取的查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。本发明通过在支撑物体图像及其轮廓基元标注图的引导下,对新型物体上的关键线段和圆弧进行自动精确提取,从而使机器视觉系统的图像特征提取环节具有更强的灵活性和通用性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的物体图像轮廓基元提取方法的流程示意图;
图2是本发明提供的物体图像轮廓基元提取装置的结构示意图;
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1描述本发明的一种物体图像轮廓基元提取方法,包括:
步骤100:获取特定物体的第一图像作为支撑图像;
具体地,拍摄机器视觉任务中某物体的图像作为支撑图像,其中拍摄的装置可以是手机、电脑等等具有摄像功能的装备,本发明中特定的是指预先设置好的对象,或者研究的对象,而不是任意对象,下文中的特定物体中的特定也是如此。
步骤200:获取所述支撑图像的二值化的轮廓基元标注图;
具体地,利用标注软件对支撑图像中物体上的指定的关键轮廓基元进行标注,然后将标准文件转化为二值化图像,得到二值化的轮廓基元标注图。
步骤300:获取所述特定物体的第二图像作为查询图像;
具体地,获取与支撑图像所包含的特定物体相同的物体的第二图像作为查询图像。
步骤400:将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
具体地,将查询图像、支撑图像以及二值化的轮廓基元标注图输入到轮廓基元提取模型中,使得在支撑物体图像及其轮廓基元标注图的引导下,实现对查询图像的上的关键轮廓基元的自动提取。
本发明提供的物体图像轮廓基元提取装置,通过获取特定物体的第一图像作为支撑图像,和第二图像作为查询图像,进而获取支撑图像的二值化的轮廓基元标注图,然后根据获取的查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。本发明通过在支撑物体图像及其轮廓基元标注图的引导下,对新型物体上的关键线段和圆弧进行自动精确提取,从而使机器视觉系统的图像特征提取环节具有更强的灵活性和通用性。
另外,本发明还可以对获取的关键轮廓基元执行轮廓细化与外点剔除算法,获得单像素宽度的轮廓基元图,并进行基于最小二乘法的直线拟合或椭圆拟合,得到指定轮廓基元在图像中的精确几何参数方程。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述轮廓基元提取模型是通过下述方法训练得到:
步骤一:将第K特定物体的支撑图像和第K特定物体的查询图像输入当前的轮廓基元提取模型中进行下述处理:
根据所述第K特定物体的支撑图像获取原型描述向量;
根据所述第K特定物体的查询图像获取融合前的多尺度查询特征图和融合后的多尺度查询特征图;
根据所述原型描述向量和所述融合后的多尺度查询特征图得到图像间相似度图以及图像间相似性度量损失;
根据所述融合前的多尺度查询特征图和所述图像间相似度图得到三通道几何特征图;
根据所述三通道几何特征图得到归一化尺度图、方向向量图和对应的几何参数回归损失;
根据所述融合前的多尺度查询特征图、所述三通道几何特征图和所述图像间相似度图得到级联特征图;
根据所述图像间相似度图和所述级联特征图确定图像内相似度图,以及对应的图像内相似性度量损失;
根据所述图像间相似度图和所述图像内相似度图确定查询图像的轮廓基元图以及对应的轮廓基元提取损失;
根据所述图像间相似性度量损失、所述几何参数损失、所述图像内相似性度量损失和所述轮廓基元提取损失确定总体损失;
根据梯度反向传播算法确定所述总体损失的最小值,将所述总体损失最小时对应的第K轮廓基元提取模型的参数予以确定;
步骤二:判断所述K是否等于预设定值,若不等于,则执行步骤三;若等于,则执行步骤四;
步骤三:将所述对应的第K轮廓基元提取模型作为步骤一中的当前的轮廓基元提取模型,将第K+1特定物体的支撑图像和第K+1特定物体的查询图像分别替换步骤一中的第K特定物体的支撑图像和第K特定物体的查询图像后输入所述当前的轮廓基元提取模型执行步骤一;
步骤四:将所述对应的第K轮廓基元提取模型的参数予以固定,并将所述第K轮廓基元提取模型作为训练结束的轮廓基元提取模型。
具体地,本发明实施例中根据第K特定物体的支撑图像I S获取原型描述向量。再根据第K特定物体的查询图像I Q得到融合前和融合后的多尺度查询特征图HQ0和HQ。
将上述的原型描述向量P与多尺度查询特征图HQ进行逐像素的相似性度量计算,得到图像间相似度图Sinter,即
其中,(i=1,2,…,NCPI)是得到的图像间相似度图Sinter中所有真值轮廓
基元像素的相似度值,NCPI是真值轮廓基元像素的数量。 (i=1,2,…,NBG)是得到
的图像间相似度图Sinter中所有真值背景像素的相似度值,NBG是真值背景像素的数量。为指示函数。为期望间隔,取值范围为(0,1),默认取值为0.2。
根据得到的融合前的多尺度特征图HQ0与得到的图像相间相似度图Sinter进行级联,然后通过三个3*3卷积层组成的回归网络,输出三通道的几何特征图G0Q,继而根据所述三通道的几何特征图G0Q归一化尺度图GScale和方向向量图GAngle。同时,得到对应的几何参数回归损失:
用两个1*1卷积层将得到的HQ0降维到64维,然后得到的三通道的几何特征图G0Q、
归一化二维坐标图X和步骤S132中得到的图像间相似度图Sinter进行级联,然后利用四个
3*3卷积层将级联特征图融合为级联特征图。其中归一化二维坐标图是与具有相同
长度和宽度的二通道图,其每一个像素对应的向量为该像素的实际二维坐标除以该图的对
角线长度。
同时,得到图像内相似性度量损失为:
其中, (i=1,2,…,NCPI)是得到的级联特征图中所有真值轮廓基元像素
的特征集合, (i=1,2,…,NBG)是得到的级联特征图中所有真值背景像素的特征
集合。为余弦距离度量函数,取值范围是[0,1]。是期望类间最小间隔,默认取值
为0.3, 是期望类内最大间隔,默认取值为0.1。
获取图像间相似度图Sinter中的最大值S max,,并对图像内相似度图进行截断操
作,然后与Sinter一起输入函数O,函数O由三个3*3卷积层以及Sigmoid函数
构成,输出第K特定物体的查询图像的轮廓基元图CQ,
最后将CQ进行2倍上采样,使其尺寸与输入第K特定物体的查询图像相同。CQ上像素的值表示了该像素属于查询图像中指定轮廓基元的置信度,取值范围是[0,1]。得到的对应的轮廓基元提取损失:
其中,CQGT是查询图像中轮廓基元的真值图。
最后,总的训练损失函数为以上四个损失项之和,即L Total =Linter + L intra+ L geo + LCPI。模型训练采用梯度反向传播算法,通过最小化总损失函数L Total来优化神经网络的权重,完成训练后保存网络权重。
收集大量的物体图像,并对图像中的关键轮廓基元进行人工标注。可直接收集含有同一物体的成对图像,或通过随机变换将单张图像生成为成对图像,然后将成对图像随机分为支撑图像和查询图像,总共得到1807对支撑图像和查询图像,其中人工轮廓基元标注包括4844个线段和622个圆弧,这些成对的支撑图像和查询图像用于上述训练步骤所构建的卷积神经网络。将经过多次重复训练等到的最终的轮廓基元提取。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,在所述根据第K特定物体的支撑图像获取原型描述向量之前,还包括:
获取用于训练的图像数据集,随机选择所述图像数据集中的任一个特定物体的两张图像分别作为第K特定物体的支撑图像和第K特定物体的查询图像。
具体地,本发明实施例中第K特定物体的支撑图像与第K特定物体的查询图像是针对同一特定的图像拍摄的两张图像。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述根据第K特定物体的支撑图像获取原型描述向量,具体包括:
获取所述第K特定物体的支撑图像的第一二值化的轮廓基元标注图;
根据所述第K特定物体的支撑图像获取融合后的多尺度支撑特征图;
根据所述第一二值化的轮廓基元标注图和所述融合后的多尺度支撑特征图获取原型描述向量。
具体地,首先将320*320尺寸的第K特定物体的支撑图像S输入深度卷积骨干网络,得到该网络不同深度的四个输出特征图,这四个特征图的尺寸分别为输入图像尺寸的1/2、1/4、1/8和1/16。前三个特征图分别通过1*1卷积层和批归一化层的处理,分别得到特征图HM1、HM2和HM3。第四个特征图被并行地输入1*1卷积层、膨胀系数为2的3*3卷积层和膨胀系数为4的3*3卷积层进行处理,处理后的三个特征图进行逐元素相加,然后通过一个1*1卷积层和批归一化层得到特征图HM 4。然后将特征图{HM,i} (i=2,3,4)分别基于双线性插值上采样2、4和8倍,与HM1进行通道级联得到融合前的多尺度特征图H0,进一步将H0通过两个3*3卷积处理后得到融合后的多尺度特征图HS,其维度为160*160*128。
然后利用二值化轮廓基元标注图CS,对多尺度支撑特征图进行有掩模平均池化,得到的128维向量作为关键轮廓基元的原型描述向量P,即
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,根据所述三通道几何特征图得到归一化尺度图、方向向量图,具体包括:
将所述三通道几何特征图划分为一通道几何特征图和二通道几何特征图;
对所述一通道几何特征图进行sigmoid激活函数处理得到归一化尺度图;
对所述二通道几何特征图进行L2归一化函数处理得到方向向量图。
具体地,对GQ0进行2倍双线性插值上采样,其维度变为320*320*3,前两个通道和最后一个通道分别经过sigmoid激活函数与L2归一化函数,从而分别得到轮廓基元的归一化尺度图GScale和方向向量图GAngle。对于线段型轮廓基元,归一化尺度图GScale上的像素表示了线段长度与图像对角线长度的比值,方向向量图GAngle上的像素表示了线段法向的方向向量;对于圆弧型轮廓基元,归一化尺度图GScale上的像素表示了圆弧上像素到圆弧中心距离与图像对角线长度的比值,方向向量图GAngle上的像素表示了圆弧在像素位置法向的方向向量。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述根据所述图像间相似度图和所述级联特征图确定图像内相似度图,具体包括:
获取所述图像间相似度图中最大值像素的坐标;
获取所述级联特征图在所述坐标处的特征向量;
根据所述特征向量与所述级联特征图进行逐像素相似性度量,得到图像内相似度图。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,所述根据所述图像内相似度图确定查询图像的轮廓基元图,具体包括:
获取所述图像间相似度图中像素最大值;
对所述图像内相似度图进行截断处理,得到对应的截断结果;
根据所述像素最大值、所述截断结果和所述图像内相似度图确定查询图像的轮廓基元图。
结合图2所示,本发明提供一种物体图像轮廓基元提取装置,包括:
支撑图像获取模块21,用于获取特定物体的第一图像作为支撑图像;
标注模块22,用于根据所述支撑图像得到二值化的轮廓基元标注图;
查询图像获取模块23,用于获取所述特定物体的第二图像作为查询图像;
关键轮廓基元获取模块24,用于将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
由于本发明实施例提供的装置,可以用于执行上述实施例所述的方法,其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
本发明提供的物体图像轮廓基元提取装置,通过获取特定物体的第一图像作为支撑图像,和第二图像作为查询图像,进而获取支撑图像的二值化的轮廓基元标注图,然后根据获取的查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。本发明通过在支撑物体图像及其轮廓基元标注图的引导下,对新型物体上的关键线段和圆弧进行自动精确提取,从而使机器视觉系统的图像特征提取环节具有更强的灵活性和通用性。
进一步,根据本发明提供的一种物体图像轮廓基元提取装置,其中,所述关键轮廓基元获取模块24,用于:
步骤一:将第K特定物体的支撑图像和第K特定物体的查询图像输入当前的轮廓基元提取模型中进行下述处理:
根据所述第K特定物体的支撑图像获取原型描述向量;
根据所述第K特定物体的查询图像获取融合前的多尺度查询特征图和融合后的多尺度查询特征图;
根据所述原型描述向量和所述融合后的多尺度查询特征图得到图像间相似度图以及图像间相似性度量损失;
根据所述融合前的多尺度查询特征图和所述图像间相似度图得到三通道几何特征图;
根据所述三通道几何特征图得到归一化尺度图、方向向量图和对应的几何参数回归损失;
根据所述融合前的多尺度查询特征图、所述三通道几何特征图和所述图像间相似度图得到级联特征图;
根据所述图像间相似度图和所述级联特征图确定图像内相似度图,以及对应的图像内相似性度量损失;
根据所述图像间相似度图和所述图像内相似度图确定查询图像的轮廓基元图以及对应的轮廓基元提取损失;
根据所述图像间相似性度量损失、所述几何参数损失、所述图像内相似性度量损失和所述轮廓基元提取损失确定总体损失;
根据梯度反向传播算法确定所述总体损失的最小值,将所述总体损失最小时对应的第K轮廓基元提取模型的参数予以确定;
步骤二:判断所述K是否等于预设定值,若不等于,则执行步骤三;若等于,则执行步骤四;
步骤三:将所述对应的第K轮廓基元提取模型作为步骤一中的当前的轮廓基元提取模型,将第K+1特定物体的支撑图像和第K+1特定物体的查询图像分别替换步骤一中的第K特定物体的支撑图像和第K特定物体的查询图像后输入所述当前的轮廓基元提取模型执行步骤一;
步骤四:将所述对应的第K轮廓基元提取模型的参数予以固定,并将所述第K轮廓基元提取模型作为训练结束的轮廓基元提取模型。
进一步,根据本发明提供的一种物体图像轮廓基元提取方法,其中,在所述根据第K特定物体的支撑图像获取原型描述向量之前,还包括:
获取用于训练的图像数据集,随机选择所述图像数据集中的任一个特定物体的两张图像分别作为第K特定物体的支撑图像和第K特定物体的查询图像。
进一步,根据本发明提供的一种物体图像轮廓基元提取装置,其中,所述关键轮廓基元获取模块24,用于:
获取所述第K特定物体的支撑图像的第一二值化的轮廓基元标注图;
根据所述第K特定物体的支撑图像获取融合后的多尺度支撑特征图;
根据所述第一二值化的轮廓基元标注图和所述融合后的多尺度支撑特征图获取原型描述向量。
进一步,根据本发明提供的一种物体图像轮廓基元提取装置,其中,所述关键轮廓基元获取模块24,用于:
将所述三通道几何特征图划分为一通道几何特征图和二通道几何特征图;
对所述一通道几何特征图进行L2归一化处理得到归一尺度图;
对所述二通道几何特征图进行sigmoid激活函数处理得到方向向量图。
进一步,根据本发明提供的一种物体图像轮廓基元提取装置,其中,所述关键轮廓基元获取模块24,用于:
获取所述图像间相似度图中最大值像素的坐标;
获取所述级联特征图在所述坐标处的特征向量;
根据所述特征向量与所述级联特征图进行逐像素相似性度量,得到图像内相似度图。
进一步,根据本发明提供的一种物体图像轮廓基元提取装置,其中,所述关键轮廓基元获取模块24,用于:
获取所述图像间相似度图中像素最大值;
对所述图像内相似度图进行截断处理,得到对应的截断结果;
根据所述像素最大值、所述截断结果和所述图像内相似度图确定查询图像的轮廓基元图。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,以执行一种物体图像轮廓基元提取方法,该方法包括:获取特定物体的第一图像作为支撑图像;获取所述支撑图像的二值化的轮廓基元标注图;获取所述特定物体的第二图像作为查询图像;将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的一种物体图像轮廓基元提取方法,该方法包括:获取特定物体的第一图像作为支撑图像;获取所述支撑图像的二值化的轮廓基元标注图;获取所述特定物体的第二图像作为查询图像;将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的一种物体图像轮廓基元提取方法,该方法包括:获取特定物体的第一图像作为支撑图像;获取所述支撑图像的二值化的轮廓基元标注图;获取所述特定物体的第二图像作为查询图像;将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种物体图像轮廓基元提取方法,其特征在于,包括:
获取特定物体的第一图像作为支撑图像;
获取所述支撑图像的二值化的轮廓基元标注图;
获取所述特定物体的第二图像作为查询图像;
将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
2.根据权利要求1所述的物体图像轮廓基元提取方法,其特征在于,所述轮廓基元提取模型是通过下述方法训练得到:
步骤一:将第K特定物体的支撑图像和第K特定物体的查询图像输入当前的轮廓基元提取模型中进行下述处理:
根据所述第K特定物体的支撑图像获取原型描述向量;
根据所述第K特定物体的查询图像获取融合前的多尺度查询特征图和融合后的多尺度查询特征图;
根据所述原型描述向量和所述融合后的多尺度查询特征图得到图像间相似度图以及图像间相似性度量损失;
根据所述融合前的多尺度查询特征图和所述图像间相似度图得到三通道几何特征图;
根据所述三通道几何特征图得到归一化尺度图、方向向量图和对应的几何参数回归损失;
根据所述融合前的多尺度查询特征图、所述三通道几何特征图和所述图像间相似度图得到级联特征图;
根据所述图像间相似度图和所述级联特征图确定图像内相似度图,以及对应的图像内相似性度量损失;
根据所述图像间相似度图和所述图像内相似度图确定查询图像的轮廓基元图以及对应的轮廓基元提取损失;
根据所述图像间相似性度量损失、所述几何参数回归损失、所述图像内相似性度量损失和所述轮廓基元提取损失确定总体损失;
根据梯度反向传播算法确定所述总体损失的最小值,将所述总体损失最小时对应的第K轮廓基元提取模型的参数予以确定;
步骤二:判断所述K是否等于预设定值,若不等于,则执行步骤三;若等于,则执行步骤四;
步骤三:将所述对应的第K轮廓基元提取模型作为步骤一中的当前的轮廓基元提取模型,将第K+1特定物体的支撑图像和第K+1特定物体的查询图像分别替换步骤一中的第K特定物体的支撑图像和第K特定物体的查询图像后输入所述当前的轮廓基元提取模型执行步骤一;
步骤四:将所述对应的第K轮廓基元提取模型的参数予以固定,并将所述第K轮廓基元提取模型作为训练结束的轮廓基元提取模型。
3.根据权利要求2所述的物体图像轮廓基元提取方法,其特征在于,在所述根据第K特定物体的支撑图像获取原型描述向量之前,还包括:
获取用于训练的图像数据集,随机选择所述图像数据集中的任一个特定物体的两张图像分别作为第K特定物体的支撑图像和第K特定物体的查询图像。
4.根据权利要求2所述的物体图像轮廓基元提取方法,其特征在于,所述根据第K特定物体的支撑图像获取原型描述向量,具体包括:
获取所述第K特定物体的支撑图像的第一二值化的轮廓基元标注图;
根据所述第K特定物体的支撑图像获取融合后的多尺度支撑特征图;
根据所述第一二值化的轮廓基元标注图和所述融合后的多尺度支撑特征图获取原型描述向量。
5.根据权利要求2所述的物体图像轮廓基元提取方法,其特征在于,根据所述三通道几何特征图得到归一化尺度图、方向向量图,具体包括:
将所述三通道几何特征图划分为一通道几何特征图和二通道几何特征图;
对所述一通道几何特征图进行sigmoid激活函数处理得到归一化尺度图;
对所述二通道几何特征图进行L2归一化函数处理得到方向向量图。
6.根据权利要求2所述的物体图像轮廓基元提取方法,其特征在于,所述根据所述图像间相似度图和所述级联特征图确定图像内相似度图,具体包括:
获取所述图像间相似度图中最大值像素的坐标;
获取所述级联特征图在所述坐标处的特征向量;
根据所述特征向量与所述级联特征图进行逐像素相似性度量,得到图像内相似度图。
7.根据权利要求2所述的物体图像轮廓基元提取方法,其特征在于,所述根据所述图像内相似度图确定查询图像的轮廓基元图,具体包括:
获取所述图像间相似度图中像素最大值;
对所述图像内相似度图进行截断处理,得到对应的截断结果;
根据所述像素最大值、所述截断结果和所述图像内相似度图确定查询图像的轮廓基元图。
8.一种物体图像轮廓基元提取装置,其特征在于,包括:
支撑图像获取模块,用于获取特定物体的第一图像作为支撑图像;
标注模块,用于根据所述支撑图像得到二值化的轮廓基元标注图;
查询图像获取模块,用于获取所述特定物体的第二图像作为查询图像;
关键轮廓基元获取模块,用于将所述查询图像、所述支撑图像和所述二值化的轮廓基元标注图输入轮廓基元提取模型,得到所述查询图像的关键轮廓基元。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述物体图像轮廓基元提取方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述物体图像轮廓基元提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576587.7A CN113963337B (zh) | 2021-12-22 | 2021-12-22 | 物体图像轮廓基元提取方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111576587.7A CN113963337B (zh) | 2021-12-22 | 2021-12-22 | 物体图像轮廓基元提取方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113963337A true CN113963337A (zh) | 2022-01-21 |
CN113963337B CN113963337B (zh) | 2022-04-08 |
Family
ID=79473508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111576587.7A Active CN113963337B (zh) | 2021-12-22 | 2021-12-22 | 物体图像轮廓基元提取方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113963337B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3026601A1 (en) * | 2014-11-27 | 2016-06-01 | Agfa Healthcare | Data repository querying method |
CN106052586A (zh) * | 2016-07-21 | 2016-10-26 | 中国科学院自动化研究所 | 基于机器视觉的石材大板表面轮廓尺寸获取系统及方法 |
CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
CN111583284A (zh) * | 2020-04-22 | 2020-08-25 | 中国科学院大学 | 一种基于混合模型的小样本图像语义分割方法 |
US10762629B1 (en) * | 2019-11-14 | 2020-09-01 | SegAI LLC | Segmenting medical images |
CN112001403A (zh) * | 2020-08-11 | 2020-11-27 | 北京化工大学 | 一种图像轮廓检测方法及系统 |
CN112446431A (zh) * | 2020-11-27 | 2021-03-05 | 鹏城实验室 | 特征点提取与匹配方法、网络、设备及计算机存储介质 |
CN113159116A (zh) * | 2021-03-10 | 2021-07-23 | 中国科学院大学 | 一种基于类间距平衡的小样本图像目标检测方法 |
CN113223011A (zh) * | 2021-04-25 | 2021-08-06 | 山东师范大学 | 基于引导网络和全连接条件随机场的小样本图像分割方法 |
CN113313170A (zh) * | 2021-05-28 | 2021-08-27 | 中国人民解放军战略支援部队航天工程大学 | 基于人工智能的全时全域训练大数据平台 |
CN113449735A (zh) * | 2021-07-15 | 2021-09-28 | 北京科技大学 | 一种超像素分割的语义分割方法及装置 |
CN113610097A (zh) * | 2021-08-09 | 2021-11-05 | 西安电子科技大学 | 基于多尺度相似指导网络的sar舰船目标分割方法 |
-
2021
- 2021-12-22 CN CN202111576587.7A patent/CN113963337B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3026601A1 (en) * | 2014-11-27 | 2016-06-01 | Agfa Healthcare | Data repository querying method |
CN106052586A (zh) * | 2016-07-21 | 2016-10-26 | 中国科学院自动化研究所 | 基于机器视觉的石材大板表面轮廓尺寸获取系统及方法 |
CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
US10762629B1 (en) * | 2019-11-14 | 2020-09-01 | SegAI LLC | Segmenting medical images |
CN111583284A (zh) * | 2020-04-22 | 2020-08-25 | 中国科学院大学 | 一种基于混合模型的小样本图像语义分割方法 |
CN112001403A (zh) * | 2020-08-11 | 2020-11-27 | 北京化工大学 | 一种图像轮廓检测方法及系统 |
CN112446431A (zh) * | 2020-11-27 | 2021-03-05 | 鹏城实验室 | 特征点提取与匹配方法、网络、设备及计算机存储介质 |
CN113159116A (zh) * | 2021-03-10 | 2021-07-23 | 中国科学院大学 | 一种基于类间距平衡的小样本图像目标检测方法 |
CN113223011A (zh) * | 2021-04-25 | 2021-08-06 | 山东师范大学 | 基于引导网络和全连接条件随机场的小样本图像分割方法 |
CN113313170A (zh) * | 2021-05-28 | 2021-08-27 | 中国人民解放军战略支援部队航天工程大学 | 基于人工智能的全时全域训练大数据平台 |
CN113449735A (zh) * | 2021-07-15 | 2021-09-28 | 北京科技大学 | 一种超像素分割的语义分割方法及装置 |
CN113610097A (zh) * | 2021-08-09 | 2021-11-05 | 西安电子科技大学 | 基于多尺度相似指导网络的sar舰船目标分割方法 |
Non-Patent Citations (4)
Title |
---|
FANGBO QIN等: "《Contour Primitives of Interest Extraction Method for Microscopic Images and Its Application on Pose Measurement》", 《IEEE TRANSACTIONS ON SYSTEMS》 * |
HAYKO RIEMENSCHNEIDER等: "《Using Partial Edge Contour Matches for Efficient Object Category Localization》", 《COMPUTER VISION-ECCV 2010》 * |
南晓停: "《基于深度学习的空间目标小样本识别与位姿估计算法研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
吴英男: "《基于内容的图像检索技术的研究与系统实现》", 《电子元器件与信息技术》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113963337B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107403141B (zh) | 人脸检测方法及装置、计算机可读存储介质、设备 | |
CN111950638B (zh) | 基于模型蒸馏的图像分类方法、装置和电子设备 | |
CN107369166B (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
CN109902548B (zh) | 一种对象属性识别方法、装置、计算设备及系统 | |
CN114186632B (zh) | 关键点检测模型的训练方法、装置、设备、存储介质 | |
CN113822284B (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
CN110148117B (zh) | 基于电力图像的电力设备缺陷识别方法、装置与存储介质 | |
CN111414915B (zh) | 一种文字识别方法以及相关设备 | |
CN111860060A (zh) | 目标检测方法、装置、终端设备及计算机可读存储介质 | |
CN110648289A (zh) | 图像的加噪处理方法及装置 | |
CN112085789A (zh) | 位姿估计方法、装置、设备及介质 | |
CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
CN108694716B (zh) | 一种工件检测方法、模型训练方法及设备 | |
CN111612043A (zh) | 道路场景匹配方法、装置及存储介质 | |
CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
CN112819893A (zh) | 三维语义地图的构建方法和装置 | |
CN112507992B (zh) | 道路图像之间的拍摄距离确定方法、装置、设备及介质 | |
CN112669452B (zh) | 一种基于卷积神经网络多分支结构的物体定位方法 | |
CN113963337B (zh) | 物体图像轮廓基元提取方法和装置 | |
CN112183303A (zh) | 变电设备图像分类方法、装置、计算机设备和介质 | |
CN110245669B (zh) | 手掌关键点的识别方法、装置、终端及可读存储介质 | |
CN111414823A (zh) | 人体特征点的检测方法、装置、电子设备以及存储介质 | |
CN101539999A (zh) | 平面几何形状的识别方法及装置 | |
CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
CN115409951A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |