CN109993695A - 一种不规则图形标注的图像碎片拼接方法及系统 - Google Patents
一种不规则图形标注的图像碎片拼接方法及系统 Download PDFInfo
- Publication number
- CN109993695A CN109993695A CN201811492457.3A CN201811492457A CN109993695A CN 109993695 A CN109993695 A CN 109993695A CN 201811492457 A CN201811492457 A CN 201811492457A CN 109993695 A CN109993695 A CN 109993695A
- Authority
- CN
- China
- Prior art keywords
- stock layout
- optimal
- image
- particle
- layout sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012634 fragment Substances 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001788 irregular Effects 0.000 title claims abstract description 37
- 238000005304 joining Methods 0.000 title claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 239000002245 particle Substances 0.000 claims description 49
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 239000012141 concentrate Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种不规则图形标注的图像碎片拼接方法及系统,用于快速拼接图像碎片。本发明提供的方法包括:获取图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;提取每个图形的关键点,将图形轮廓简化为由直线段组成的多边形;利用改进粒子群的排样方法对图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;获取图像数据,根据所述新的图形集中每个多边形轮廓像素坐标,对图像数据进行剪裁;根据所述最优排样序,对图像碎片进行拼接,得到拼接图像。本发明能够对图像碎片进行快速的剪裁和拼接,简化处理过程,降低数据计算量。同时,有效减小输入的图像数据大小、提高目标检测与识别效率。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种不规则图形标注的图像碎片拼接方法及系统。
背景技术
图像标注形成的大数据集对基于深度学习的目标分类、目标检测及目标识别等应用上具有重要意义。随着数字成像技术的快速发展,图像分辨率越来越高,目标检测与识别耗费的时间也越来越长,对于资源受限的嵌入式设备,由于系统的计算和存储能力有限,难以使用复杂的深度学习检测与识别模型。采用下采样等方法降低输入图像的分辨率虽能提高嵌入式设备的图像处理速度,但目标检测和识别的性能将显著下降。针对数字视频监控、人脸识别及交通违章视频分析等方面应用,常采用矩形或者不规则图形区标注的方法来获取图像中的关键信息,如何对图像数据集中目标可能出现的区域剪裁并拼接,减少图像数据集的大小,对缩短深度学习模型训练时间具有重要意义。
为了提高图像碎片的拼接复原效率,目前,已公开的防范有通过计算各个图像碎片边缘像素灰度值序列相互之间的相关系数,获得各个相邻的图像碎片,并利用碎片的旋转、平移等方法,最终实现不规则破碎图像碎片的快速自动拼接;或通过轮廓线的近似多边形的配合情况来衡量图像碎片的匹配程度;以及根据特征点的相似性和与邻域的距离得到初始概率,重复计算得到特征点的概率达到稳定值;
这些算法大多是采用图像碎片轮廓曲线上点的曲率特征进行匹配,计算量过大,且步骤繁琐,在尖角问题即曲率无穷大的点,会因平滑受到破坏或者无法表示。而且当下碎片拼接的研究主要集中在对文字碎纸和图形排样的研究上,对图像的拼接研究较少且缺乏快速有效的算法。
发明内容
有鉴于此,本发明实施例提供了一种不规则图形标注的图像碎片拼接方法及系统,能够解决传统图像碎片方法计算量大、步骤繁琐的问题,提高图像拼接效率。
结合本发明实施例的第一方面,提供了一种不规则图形标注的图像碎片拼接方法,包括:
步骤1、根据图像标注文件,获取所述图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;
步骤2、提取所述不规则图形集中每个图形的关键点,将图形轮廓简化为由直线段组成的多边形,形成新的图形集;
步骤3、利用改进粒子群的排样方法对所述新的图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;
步骤4、获取所述图像标注文件对应的图像数据;
步骤5、根据所述新的图形集中每个多边形轮廓像素坐标,对所述图像数据进行剪裁,获得剪裁的图像碎片;
步骤6、根据所述最优排样序,对所述图像碎片进行拼接,得到拼接图像。
结合本发明实施例的第一方面,提供了一种不规则图形标注的图像碎片拼接系统,包括:
第一获取模块,用于根据图像标注文件,获取所述图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;
提取模块,用于提取所述不规则图形集中每个图形的关键点,将图形轮廓简化为由直线段组成的多边形,形成新的图形集;
排样模块,用于利用改进粒子群的排样方法对所述新的图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;
第二获取模块,用于获取所述图像标注文件对应的图像数据;
剪裁模块,用于根据所述新的图形集中每个多边形轮廓像素坐标,对所述图像数据进行剪裁,获得剪裁的图像碎片;
拼接模块,用于根据所述最优排样序,对所述图像碎片进行拼接,得到拼接图像。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,通过对获取图像的图形简化,提取关键点后,利用粒子群算法进行排样,得到最优排样序,根据最优排样序,对原始图像进行剪裁拼接。使得多个潜在目标区的图像碎片能够进行快速的剪裁和拼接,简化处理过程,降低计算量。同时,保留原始图像分辨率,抑制图像背景,提高目标检测与识别效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的不规则图形标注的图像碎片拼接方法的一个实施例流程图;
图2为本发明实施例提供的不规则图形标注的图像碎片拼接方法的另一个实施例流程图;
图3为本发明实施例中不规则图形标注的图像碎片拼接系统一个实施例结构图;
具体实施方式
本发明实施例提供了一种不规则图形标注的图像碎片拼接方法及系统,用于快速拼接图像标注文件中的图像碎片。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种不规则图形标注的图像碎片拼接方法一个实施例包括:
S101、根据图像标注文件,获取所述图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;
所述图像标注文件为对采集图像的目标位置已经标注的文件,所述潜在目标区域指的是再图像中所有可能检测到目标的区域。获取所述图像标注文件中的潜在目标区域,根据标注确定潜在目标区域的范围以获取对应形状大小的图形。
S102、提取所述不规则图形集中每个图形的关键点,将图形轮廓简化为由直线段组成的多边形,形成新的图形集;
所述关键点指的是决定图形形状的主要特征点,如:边缘折线顶点,多边形顶点,近似直线的端点等。在本发明实施例中,图形的关键点过多,或图形过于复杂会影响后续图形的拼接,此处简化图形轮廓既可以降低排样的计算量,同时进一步减少输入图像大小。
可选的,所述简化过程具体为:
步骤201,按逆时针顺序依次提取所述不规则图形集中任一图形相邻的3个顶点aj,aj+1,aj+2;
步骤202,分别求aj,aj+1的向量k1和aj,aj+2的向量k2,并计算向量k1和k2的夹角θj。
步骤203,若θj小于预设阈值φ,则将这3个点视作在一条直线上,剔除点aj+1。优选的,所述φ的数值可以根据实际精度要求进行调整。
重复以上步骤201-203依次遍历每个多边形,提取对轮廓起到关键作用的关键点.
S103、利用改进粒子群的排样方法对所述新的图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;
所述粒子群算法是一种从随机出发寻找最优解的算法,基于粒子群算法的改进有目标优化、约束优化及离散优化等。
粒子定义为排样序列X=((P0,θ0),(P1,θ1),…,(Pn-1,θn-1)),即排样问题的一个解。其中,Pi表示目标区图像碎片排样序列中的序列号,θi表示目标区图像碎片的放置角度,满足θi∈[0,2π)。粒子群定义为粒子的集合即打样序列的集合,代表一个解空间。
本发明实施例中将待排样的目标区图像碎片数量N作为粒子群的规模,然后采用基于中心膨胀的放置策略和基于临界多边形的定位方法,随机生成N个初始排样序列并令其为每个粒子的最优排样序列。
S104、获取所述图像标注文件对应的图像数据;
所述图像数据即标注文件对应的原始图像。
S105、根据所述新的图形集中每个多边形轮廓像素坐标,对所述图像数据进行剪裁,获得剪裁的图像碎片;
对原始的图像数据进行剪裁可以缩小输入图像的大小,提高训练效率。在此处根据多边形轮廓进行剪裁图像,可以简化剪裁过程。
S106、根据所述最优排样序,对所述图像碎片进行拼接,得到拼接图像。
依据预先计算获得的最优排样序,对剪裁后的图像碎片进行拼接,避免直接对剪裁图像碎片进行计算拼接,可以大大减小计算量。
可选的,所述得到拼接图像之后还包括:
步骤7、根据所述最优排样序,更新所述图像标注文件中的坐标位置。
进一步的,所述步骤7具体为:
步骤701,依据图像标注文件,获取集合所有图像碎片及相应图像标注位置数据集;
步骤702,依据最优排样序qbest,获取原图像碎片gi在新拼接图像的位置偏移量Poffset和旋转角度θi;
步骤703,根据点坐标旋转公式,计算拼接图像的目标标注新位置Pi′,即:
其中,Pi为原图像碎片轮廓关键点坐标。
步骤704,依据最优排样序qbest,遍历所有图像碎片,以完成对拼接图像标注文件的更新。
为便于理解,根据图1所描述的实施例,下面以一个实际应用场景对步骤S103方法进行描述:
步骤S1031、粒子群初始化。本发明将待排样的目标区图像碎片数量N作为粒子群的规模,随机生成N个初始排样序列并令其为每个粒子的最优排样序列。其中,j为粒子的序号,j∈[1,N]。设定最大迭代次数T,当前的迭代次数i=0;
在本发明实施例中,粒子表示图像碎片,将粒子定义为排样序列X=((P0,θ0),(P1,θ1),…,(Pn-1,θn-1)),即排样问题的一个解。其中,Pi表示目标区图像碎片排样序列中的序列号,θi表示目标区图像碎片的放置角度,满足θi∈[0,2π)。
粒子群定义为粒子的集合即打样序列的集合,代表一个解空间。
设Xk表示第k次迭代的粒子排样序列,置换操作((Pki,θki),(Pkj,θkj))表示交换Xk序列中序号为Pki和Pkj的图像碎片位置,并继承置换操作中的放置角度。若设X′k表示Xk经过置换操作((Pki,θki),(Pkj,θkj))后新的排样序列,则:X′k=Xk+((Pki,θki),(Pkj,θkj))。
一个或多个置换操作组成的队列定义为置换队列。置换队列D可以表示为:
D={((Pki,θki),(Pkj,θkj))|i,j∈{1,2,…,N}}
步骤1032、计算当前群体中粒子的适应度值。根据适应度函数公式(1-1)计算种群中每个粒子的适应度值;
由于标注的目标区图像碎片(不重叠)都包含于原始图像中,因此可以在与原图像大小一致的母版上进行排样优化。在满足母板长宽比λ0约束条件的母版最大利用率更符合减小图像尺寸工程应用要求。用Ri来表示当前母版的利用率,则对于个体Xi(0≤i<N),N为群体规模,其适应度函数可定义为:
其中,α和β为比例系数,满足α,β∈[-1,0],λi为当前母版图像碎片排样最小外接矩形的长宽比,λ0是指与标注文件对应的原始输入图像最小外接矩形的长宽比,所有图像碎片均剪裁于它,。
1033,将当前粒子的适应度值与该粒子的最优位置pbest适应度值作比较。如果当前值大,则将pbest设置为当前值,否则保留pbest。比较所有粒子当前的适应度值,选出适应度值最大的粒子排样序列作为全局最优排样序列qbest,即选择排样母版利用率最小的排样序列;
1034,根据粒子更新公式(1-2)对粒子的速度进行调整,得到新的最优排样序列;
(1)粒子更新公式
其中,X(i)、X(i+1)分别表示第i次、第i+1次迭代时的排样序列,pbest和qbest分别表示第i次迭代时粒子自身的最优排样序列和种群最优排样序列,操作符表示将一个置换队列添加到另一个置换中,形成新的置换队列,c1和c2分别表示自身学习因子和全局学习因子,r1和r2为比例系数,由计算机随机生成,满足r1、r2∈[0,1]。
(2)排样策略
常见的排样策略有最下最左策略、外围收缩策略和中心膨胀策略。其中,中心膨胀策略是一种由内到外的排放策略。初始样片排列在母版的中心位置,然后剩余的样片围绕初始样片进行放置,逐渐向母版的外轮廓扩散,直到不能再放样片为止。为了充分利用母版中心区域,本发明实施例中采用中心膨胀策略。
(3)基于临界多边形的定位方法
临界多边形(No-Fit Polygon,NFP)的定义:设有多边形A和B,固定多边形A不动,将多边形B(不能旋转和翻转)沿着多边形A的轮廓环绕一周,在整个环绕过程中,保持多边形B上至少有一点和多边形A的边接触但不重叠,多边形B上一点(参考点)的移动轨迹就是多边形B相对于多边形A的临界多边形,记作NFPAB。
同理,固定多边形B不动,将多边形A(不能旋转和翻转)沿着多边形B的轮廓环绕一周,得到的临界多边形记作NFPBA。
多边形B沿着A的边界外侧临界滑动一周形成的NFP称为外靠接NFP,B沿着A的边界内侧临界滑动一周形成的NFP称为内靠接NFP。选取多边形上不同的点作为参考点,形成的NFP的形状完全相同,只是相对位置不同。
临界多边形定位方法可以给出排样的所有靠接位置,满足不规则图形的排样要求。
为了实现目标区图像碎片能快速拼接和提取,减少图像插值运算,简化图像标注文件转换运算,计算临界多边形时对非固定多边形的移动方向角度θ进行限制,θ∈{0°,90°,180°,270°}。
在本发明实施例中,将待排样的目标区图像碎片数量作为粒子群的规模,采用基于中心膨胀的放置策略和基于临界多边形的定位方法可以重复利用样板空间,保障排样的合理的同时,缩减图像数据大小。
进一步的,设定每次循环迭代次数增加一次,直至当前迭代次数等于所述最大迭代次数T,终止算法并输出最优排样序qbest,具体的:
1035,迭代次数i=i+1;
1036,若当前迭代次数i>=T,则迭代算法终止,否则转步骤1032;
1037,输出最优排样序qbest。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种不规则图形标注的图像碎片拼接方法,下面将对一种不规则图形标注的图像碎片拼接系统进行详细描述。
图3示出了本发明实施例中一种不规则图形标注的图像碎片拼接系统一个实施例结构图,包括:
第一获取模块310,用于根据图像标注文件,获取所述图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;
提取模块320,用于提取所述不规则图形集中每个图形的关键点,将图形轮廓简化为由直线段组成的多边形,形成新的图形集;
可选的,所述提取模块320包括:
选取单元,用于按逆时针顺序依次选取所述不规则图形集中任一图形相邻的3个顶点aj,aj+1,aj+2;
计算单元,用于分别求aj,aj+1的向量k1和aj,aj+2的向量k2,并计算向量k1和k2的夹角θj。
剔除单元,用于若θj小于预设阈值φ,则将这3个点视作在一条直线上,剔除点aj+1。
排样模块330,用于利用改进粒子群的排样方法对所述新的图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;
可选的,所述排样模块330包括:
初始化单元,用于粒子群初始化,将待排样的图形数量N作为粒子群的规模,随机生成N个初始排样序列设为每个粒子的最优排样序列,其中,j为粒子的序号,j∈[1,N],设定最大迭代次数T,当前的迭代次数i=0;
计算单元,用于根据适应度函数公式(1)计算所述粒子群中每个粒子的适应度值;
其中,α和β为比例系数,满足α,β∈[-1,0],λi为当前母版图像碎片排样最小外接矩形的长宽比,λ0表示原始输入图像最小外接矩形的长宽比,Ri表示当前模板利用率;
比较单元,用于比较每个粒子的适应度值与每个粒子的最优位置pbest适应度值,若当前适应度值更大,则将最优位置pbest设置为当前的值,若最优位置适应度值更大,则保留最优位置pbest,直至选出适应度值最大的粒子排样序列作为最优排样序列qbest;
调整单元,用于根据粒子更新公式(2)对每个粒子的速度进行调整,得到新的最优排样序列;
其中,X(i)、X(i+1)分别表示第i次、第i+1次迭代时的排样序列,pbest和qbest分别表示第i次迭代时粒子自身的最优排样序列和种群最优排样序列,操作符表示将一个置换队列添加到另一个置换中,形成新的置换队列,c1和c2分别表示自身学习因子和全局学习因子,r1和r2为比例系数,由计算机随机生成,满足r1、r2∈[0,1];
迭代单元,用于每次循环迭代次数增加一次,直至当前迭代次数等于所述最大迭代次数T,终止算法并输出最终的最优排样序qbest。
第二获取模块340,用于获取所述图像标注文件对应的图像数据;
剪裁模块350,用于根据所述新的图形集中每个多边形轮廓像素坐标,对所述图像数据进行剪裁,获得剪裁的图像碎片;
拼接模块360,用于根据所述最优排样序,对所述图像碎片进行拼接,得到拼接图像。
可选的,所述还包括:
更新模块,用于根据所述最优排样序,更新所述图像标注文件中的坐标位置。
可选的,所述更新模块包括:
第一获取单元,依据图像标注文件,获取集合所有图像碎片及相应图像标注位置数据集;
第二获取单元,依据最优排样序qbest,获取原图像碎片gi在新拼接图像的位置偏移量Poffset和旋转角度θi;
计算单元,根据点坐标旋转公式,计算拼接图像的目标标注新位置Pi′,即:
其中,Pi为原图像碎片轮廓关键点坐标。
遍历单元,依据最优排样序qbest,遍历所有图像碎片,以完成对拼接图像标注文件的更新。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种不规则图形标注的图像碎片拼接方法,其特征在于,包括:
步骤1、根据图像标注文件,获取所述图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;
步骤2、提取所述不规则图形集中每个图形的关键点,将图形轮廓简化为由直线段组成的多边形,形成新的图形集;
步骤3、利用改进粒子群的排样方法对所述新的图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;
步骤4、获取所述图像标注文件对应的图像数据;
步骤5、根据所述新的图形集中每个多边形轮廓像素坐标,对所述图像数据进行剪裁,获得剪裁的图像碎片;
步骤6、根据所述最优排样序,对所述图像碎片进行拼接,得到拼接图像。
2.根据权利要求1所述的方法,其特征在于,所述步骤2包括:
步骤201,按逆时针顺序依次提取所述不规则图形集中任一图形相邻的3个顶点aj,aj+1,aj+2;
步骤202,分别求aj,aj+1的向量k1和aj,aj+2的向量k2,并计算向量k1和k2的夹角θj;
步骤203,若θj小于预设阈值φ,则将这3个点视作在一条直线上,剔除点aj+1。
3.根据权利要求1所述的方法,其特征在于,所述步骤3包括:
步骤301:粒子群初始化,将待排样的图形数量N作为粒子群的规模,随机生成N个初始排样序列设为每个粒子的最优排样序列,其中,j为粒子的序号,j∈[1,N],设定最大迭代次数T,当前的迭代次数i=0;
步骤302,根据适应度函数公式(1)计算所述粒子群中每个粒子的适应度值;
其中,α和β为比例系数,满足α,β∈[-1,0],λi为当前母版图像碎片排样最小外接矩形的长宽比,λ0表示原始输入图像最小外接矩形的长宽比,Ri表示当前模板利用率;
步骤303,比较每个粒子的适应度值与每个粒子的最优位置pbest适应度值,若当前适应度值更大,则将最优位置pbest设置为当前的值,若最优位置适应度值更大,则保留最优位置pbest,直至选出适应度值最大的粒子排样序列作为最优排样序列qbest;
步骤304,根据粒子更新公式(2)对每个粒子的速度进行调整,得到新的最优排样序列;
其中,X(i)、X(i+1)分别表示第i次、第i+1次迭代时的排样序列,pbest和qbest分别表示第i次迭代时粒子自身的最优排样序列和种群最优排样序列,操作符表示将一个置换队列添加到另一个置换中,形成新的置换队列,c1和c2分别表示自身学习因子和全局学习因子,r1和r2为比例系数,由计算机随机生成,满足r1、r2∈[0,1];
步骤305,每次循环迭代次数增加一次,直至当前迭代次数等于所述最大迭代次数T,终止算法并输出最终的最优排样序qbest。
4.根据权利要求1所述的方法,其特征在于,所述步骤6还包括:
步骤7、根据所述最优排样序,更新所述图像标注文件中的坐标位置。
5.根据权利要求4所述的方法,其特征在于,所述步骤7包括:
步骤701,依据图像标注文件,获取集合所有图像碎片及相应图像标注位置数据集;
步骤702,依据最优排样序qbest,获取原图像碎片gi在新拼接图像的位置偏移量Poffset和旋转角度θi;
步骤703,根据点坐标旋转公式,计算拼接图像的目标标注新位置Pi′:
其中,Pi为原图像碎片轮廓关键点坐标。
步骤704,依据最优排样序qbest,遍历所有图像碎片,以完成对拼接图像标注文件的更新。
6.一种不规则图形标注的图像碎片拼接系统,其特征在于,包括:
第一获取模块,用于根据图像标注文件,获取所述图像标注文件中包含有潜在目标区域图像碎片轮廓的不规则图形集;
提取模块,用于提取所述不规则图形集中每个图形的关键点,将图形轮廓简化为由直线段组成的多边形,形成新的图形集;
排样模块,用于利用改进粒子群的排样方法对所述新的图形集中的每个图形进行排序,生成满足外接矩形长宽比约束的面积最小的最优排样序;
第二获取模块,用于获取所述图像标注文件对应的图像数据;
剪裁模块,用于根据所述新的图形集中每个多边形轮廓像素坐标,对所述图像数据进行剪裁,获得剪裁的图像碎片;
拼接模块,用于根据所述最优排样序,对所述图像碎片进行拼接,得到拼接图像。
7.根据权利要求6所述的系统,其特征在于,所述提取模块还包括:
选取单元,用于按逆时针顺序依次选取所述不规则图形集中任一图形相邻的3个顶点aj,aj+1,aj+2;
计算单元,用于分别求aj,aj+1的向量k1和aj,aj+2的向量k2,并计算向量k1和k2的夹角θj;
剔除单元,用于若θj小于预设阈值φ,则将这3个点视作在一条直线上,剔除点aj+1。
8.根据权利要求6所述的系统,其特征在于,所述排样模块还包括:
初始化单元,用于粒子群初始化,将待排样的图形数量N作为粒子群的规模,随机生成N个初始排样序列设为每个粒子的最优排样序列,其中,j为粒子的序号,j∈[1,N],设定最大迭代次数T,当前的迭代次数i=0;
计算单元,用于根据适应度函数公式(1)计算所述粒子群中每个粒子的适应度值;
其中,α和β为比例系数,满足α,β∈[-1,0],λi为当前母版图像碎片排样最小外接矩形的长宽比,λ0表示原始输入图像最小外接矩形的长宽比,Ri表示当前模板利用率;
比较单元,用于比较每个粒子的适应度值与每个粒子的最优位置pbest适应度值,若当前适应度值更大,则将最优位置pbest设置为当前的值,若最优位置适应度值更大,则保留最优位置pbest,直至选出适应度值最大的粒子排样序列作为最优排样序列qbest;
调整单元,用于根据粒子更新公式(2)对每个粒子的速度进行调整,得到新的最优排样序列;
其中,X(i)、X(i+1)分别表示第i次、第i+1次迭代时的排样序列,pbest和qbest分别表示第i次迭代时粒子自身的最优排样序列和种群最优排样序列,操作符表示将一个置换队列添加到另一个置换中,形成新的置换队列,c1和c2分别表示自身学习因子和全局学习因子,r1和r2为比例系数,由计算机随机生成,满足r1、r2∈[0,1];
迭代单元,用于每次循环迭代次数增加一次,直至当前迭代次数等于所述最大迭代次数T,终止算法并输出最终的最优排样序qbest。
9.根据权利要求6所述的系统,其特征在于,所述拼接模块还包括:
更新模块,用于根据所述最优排样序,更新所述图像标注文件中的坐标位置。
10.根据权利要求9所述的系统,其特征在于,所述提取模块还包括:
第一获取单元,依据图像标注文件,获取集合所有图像碎片及相应图像标注位置数据集;
第二获取单元,依据最优排样序qbest,获取原图像碎片gi在新拼接图像的位置偏移量Poffset和旋转角度θi;
计算单元,根据点坐标旋转公式(3),计算拼接图像的目标标注新位置Pi′;
其中,Pi为原图像碎片轮廓关键点坐标;
遍历单元,依据最优排样序qbest,遍历所有图像碎片,以完成对拼接图像标注文件的更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811492457.3A CN109993695B (zh) | 2018-12-07 | 2018-12-07 | 一种不规则图形标注的图像碎片拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811492457.3A CN109993695B (zh) | 2018-12-07 | 2018-12-07 | 一种不规则图形标注的图像碎片拼接方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109993695A true CN109993695A (zh) | 2019-07-09 |
CN109993695B CN109993695B (zh) | 2023-01-31 |
Family
ID=67128607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811492457.3A Active CN109993695B (zh) | 2018-12-07 | 2018-12-07 | 一种不规则图形标注的图像碎片拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109993695B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116416137A (zh) * | 2023-06-09 | 2023-07-11 | 北京五八信息技术有限公司 | 图像拼接方法、装置、设备和存储介质 |
CN117456048A (zh) * | 2023-12-21 | 2024-01-26 | 福瑞莱环保科技(深圳)股份有限公司 | 电子地图中的对象标注方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217411A (zh) * | 2014-09-02 | 2014-12-17 | 济南大学 | 一种不规则破碎单面图像快速拼接方法 |
US20160307350A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis - panorama |
US20170262979A1 (en) * | 2016-03-14 | 2017-09-14 | Sensors Unlimited, Inc. | Image correction and metrology for object quantification |
CN108805811A (zh) * | 2018-05-30 | 2018-11-13 | 山东师范大学 | 一种基于非凸二次规划的自然图像智能拼图方法及系统 |
-
2018
- 2018-12-07 CN CN201811492457.3A patent/CN109993695B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217411A (zh) * | 2014-09-02 | 2014-12-17 | 济南大学 | 一种不规则破碎单面图像快速拼接方法 |
US20160307350A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis - panorama |
US20170262979A1 (en) * | 2016-03-14 | 2017-09-14 | Sensors Unlimited, Inc. | Image correction and metrology for object quantification |
CN108805811A (zh) * | 2018-05-30 | 2018-11-13 | 山东师范大学 | 一种基于非凸二次规划的自然图像智能拼图方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116416137A (zh) * | 2023-06-09 | 2023-07-11 | 北京五八信息技术有限公司 | 图像拼接方法、装置、设备和存储介质 |
CN116416137B (zh) * | 2023-06-09 | 2023-10-31 | 北京五八信息技术有限公司 | 图像拼接方法、装置、设备和存储介质 |
CN117456048A (zh) * | 2023-12-21 | 2024-01-26 | 福瑞莱环保科技(深圳)股份有限公司 | 电子地图中的对象标注方法和装置 |
CN117456048B (zh) * | 2023-12-21 | 2024-04-19 | 福瑞莱环保科技(深圳)股份有限公司 | 电子地图中的对象标注方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109993695B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhou et al. | Joint 3d instance segmentation and object detection for autonomous driving | |
Dong et al. | An efficient global energy optimization approach for robust 3D plane segmentation of point clouds | |
US9830701B2 (en) | Static object reconstruction method and system | |
CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
Liang et al. | A survey of 3D object detection | |
Zhang et al. | ReYOLO: A traffic sign detector based on network reparameterization and features adaptive weighting | |
Xu et al. | GraspCNN: Real-time grasp detection using a new oriented diameter circle representation | |
CN110956119B (zh) | 一种图像中目标检测的方法 | |
CN103473785A (zh) | 一种基于三值化图像聚类的快速多目标分割方法 | |
CN112767478B (zh) | 一种基于表观指导的六自由度位姿估计方法 | |
CN113269089A (zh) | 基于深度学习的实时手势识别方法及系统 | |
Chen et al. | A full density stereo matching system based on the combination of CNNs and slanted-planes | |
CN113903028A (zh) | 一种目标检测方法及电子设备 | |
CN109993695A (zh) | 一种不规则图形标注的图像碎片拼接方法及系统 | |
WO2023082588A1 (zh) | 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品 | |
Kang et al. | Yolo-6d+: single shot 6d pose estimation using privileged silhouette information | |
Wang et al. | EFN6D: an efficient RGB-D fusion network for 6D pose estimation | |
Haggui et al. | Centroid human tracking via oriented detection in overhead fisheye sequences | |
CN112668662A (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
CN110348311B (zh) | 一种基于深度学习的道路交叉口识别系统及方法 | |
Han et al. | Accurate and robust vanishing point detection method in unstructured road scenes | |
CN107229935B (zh) | 一种三角形特征的二进制描述方法 | |
CN110728688B (zh) | 一种基于能量优化的三维网格模型分割方法及系统 | |
CN113763474A (zh) | 一种基于场景几何约束的室内单目深度估算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |