CN115049735B - 一种掩膜优化处理方法、装置、电子设备及存储介质 - Google Patents
一种掩膜优化处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115049735B CN115049735B CN202210965737.1A CN202210965737A CN115049735B CN 115049735 B CN115049735 B CN 115049735B CN 202210965737 A CN202210965737 A CN 202210965737A CN 115049735 B CN115049735 B CN 115049735B
- Authority
- CN
- China
- Prior art keywords
- mask
- slope
- connected domain
- straight line
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 description 18
- 238000013519 translation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 8
- 238000010408 sweeping Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请属于图像处理技术领域,公开了一种掩膜优化处理方法、装置、电子设备及存储介质,通过获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;对所述实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;调整所述标准掩膜的标准连通域的位姿得到第二掩膜,以使所述第二掩膜与所述第一掩膜的匹配度最高;获取所述标准连通域的第二长轴斜率和第二短轴斜率;根据所述第二长轴斜率和所述第二短轴斜率把所述第一掩膜的所述最大连通域修正为平行四边形连通域,得到优化掩膜;从而可改善已生成的掩膜的质量,有利于提高机械臂抓取物体的可靠性。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种掩膜优化处理方法、装置、电子设备及存储介质。
背景技术
在使用基于视觉的机械臂对平行四边形物体(如铝型材、平行四边形板材等,其中,矩形也属于平行四边形)进行抓取或吸取时,一般是通过摄像头对物体进行拍照,接着通过目标识别、实例分割等技术提取物体的位置,然后对其位置和姿态进行定位。
在进行图像分割后,会得到实例的掩膜,然后将掩膜结合定位算法进行物体位姿的计算和输出。掩膜的质量对定位结果准确性的影响较大,若掩膜质量不好,直接结合定位算法使用往往导致物体位姿定位准确性低而影响抓取或吸取,目前,为了提高掩膜的质量,往往会对掩膜生成算法进行优化,但难以避免得到的掩膜存在瑕疵,如果将带有瑕疵的掩膜直接送入定位算法,必然带来定位精度的损失,从而为实际场景工作带来不利影响。
发明内容
本申请的目的在于提供一种掩膜优化处理方法、装置、电子设备及存储介质,可改善已生成的掩膜的质量,从而有利于提高机械臂抓取物体的可靠性。
第一方面,本申请提供了一种掩膜优化处理方法,用于对平行四边形物体的已生成的实际掩膜进行优化处理,包括步骤:
A1.获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;
A2.对所述实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;
A3.调整所述标准掩膜的标准连通域的位姿得到第二掩膜,以使所述第二掩膜与所述第一掩膜的匹配度最高;
A4.获取所述标准连通域的第二长轴斜率和第二短轴斜率;
A5.根据所述第二长轴斜率和所述第二短轴斜率把所述第一掩膜的所述最大连通域修正为平行四边形连通域,得到优化掩膜。
该掩膜优化处理方法,通过对已生成的实际掩膜进行过滤处理,以保留最大连通域,然后调整标准掩膜的标准连通域位姿,使该标准连通域的位姿与该最大连通域的位姿匹配,最后根据调整后的标准连通域的长短轴斜率修正该最大连通域,使该最大连通域成为标准的平行四边形连通域,从而可改善已生成的掩膜的质量,从而有利于提高机械臂抓取物体的可靠性。
优选地,步骤A2包括:
获取所述实际掩膜中各连通域的面积;
针对所述实际掩膜中各连通域,计算除所述最大连通域以外的所有连通域的总面积与所述最大连通域的面积的比值;
若所述比值不大于预设比例阈值,则去除所述实际掩膜中除所述最大连通域以外的所有连通域,得到所述第一掩膜;
若所述比值大于所述预设比例阈值,则判定所述实际掩膜不可用,并终止优化流程。
其中,该掩膜优化处理方法仅适用于对存在较小瑕疵的实际掩膜进行优化处理,若实际掩膜存在过大的瑕疵,则通过该掩膜优化处理方法得到的优化掩膜会存在较大的失真情况,此处,通过除最大连通域以外的所有连通域的总面积与该最大连通域的面积的比值是否不大于预设比例阈值来界定实际掩膜的瑕疵是否较小,进而,只有当检测到实际掩膜存在较小瑕疵时才继续执行后续的优化处理流程,否则,停止优化流程,且可发出报警信号。
优选地,步骤A3包括:
分多次对所述标准掩膜中的所述标准连通域进行位置调整,并在每个位置处对所述标准连通域进行多角度旋转,得到多个候选掩膜;
计算各所述候选掩膜与所述第一掩膜的匹配度;
根据计算结果,从所述候选掩膜中选取所述第二掩膜。
优选地,步骤A4包括:
对所述标准连通域的至少一个长边进行直线拟合,得到对应的第二长轴直线公式;
根据所述第二长轴直线公式获取所述第二长轴斜率;
对所述标准连通域的至少一个短边进行直线拟合,得到对应的第二短轴直线公式;
根据所述第二短轴直线公式获取所述第二短轴斜率。
优选地,步骤A5包括:
根据所述第二长轴斜率获取第一特征斜率,并根据所述第二短轴斜率获取第二特征斜率;
利用具有所述第一特征斜率的第一直线在所述第一掩膜中进行平移扫掠,以生成第一面积变化曲线;所述第一面积变化曲线表示所述最大连通域被所述第一直线扫过的面积随所述第一直线移动而变化的情况;
利用具有所述第二特征斜率的第二直线在所述第一掩膜中进行平移扫掠,以生成第二面积变化曲线;所述第二面积变化曲线表示所述最大连通域被所述第二直线扫过的面积随所述第二直线移动而变化的情况;
根据所述第一面积变化曲线确定与所述最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线;
根据所述第二面积变化曲线确定与所述最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线;
以所述第一特征直线、所述第二特征直线、所述第三特征直线和所述第四特征直线共同围成的平行四边形区域替换所述第一掩膜中的所述最大连通域,得到所述优化掩膜。
优选地,所述根据所述第二长轴斜率获取第一特征斜率,并根据所述第二短轴斜率获取第二特征斜率的步骤包括:
获取所述最大连通域的第一长轴斜率和第一短轴斜率;
计算所述第一长轴斜率和所述第二长轴斜率的平均值或加权平均值作为所述第一特征斜率;
计算所述第一短轴斜率和所述第二短轴斜率的平均值或加权平均值作为所述第二特征斜率。
通过该方式修正最大连通域,实际上是综合标准连通域的位姿和最大连通域的位姿,修正最大连通域的各边界线的位姿,从而使最大连通域具有标准的平行四边形轮廓,该平行四边形轮廓的位姿与平行四边形物体的实际位姿匹配,从而后续使用该优化掩膜进行该平行四边形物体的抓取时,能够更加可靠地实现抓取。
优选地,所述根据所述第一面积变化曲线确定与所述最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线的步骤包括:
识别所述第一面积变化曲线的两个第一斜率突变点;
分别以所述第一直线移动至与两个所述第一斜率突变点对应的位置时形成的直线作为所述第一特征直线和所述第二特征直线;
所述根据所述第二面积变化曲线确定与所述最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线的步骤包括:
识别所述第二面积变化曲线的两个第二斜率突变点;
分别以所述第二直线移动至与两个所述第二斜率突变点对应的位置时形成的直线作为所述第三特征直线和所述第四特征直线。
第二方面,本申请提供了一种掩膜优化处理装置,用于对平行四边形物体的已生成的实际掩膜进行优化处理,包括:
第一获取模块,用于获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;
过滤模块,用于对所述实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;
调整模块,用于调整所述标准掩膜的标准连通域的位姿得到第二掩膜,以使所述第二掩膜与所述第一掩膜的匹配度最高;
第二获取模块,用于获取所述标准连通域的第二长轴斜率和第二短轴斜率;
修正模块,用于根据所述第二长轴斜率和所述第二短轴斜率把所述第一掩膜的所述最大连通域修正为平行四边形连通域,得到优化掩膜。
该掩膜优化处理装置,通过对已生成的实际掩膜进行过滤处理,以保留最大连通域,然后调整标准掩膜的标准连通域位姿,使该标准连通域的位姿与该最大连通域的位姿匹配,最后根据调整后的标准连通域的长短轴斜率修正该最大连通域,使该最大连通域成为标准的平行四边形连通域,从而可改善已生成的掩膜的质量,从而有利于提高机械臂抓取物体的可靠性。
第三方面,本申请提供了一种电子设备,包括处理器和存储器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时,运行如前文所述掩膜优化处理方法中的步骤。
第四方面,本申请提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如前文所述掩膜优化处理方法中的步骤。
有益效果:
本申请提供的掩膜优化处理方法、装置、电子设备及存储介质,通过获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;对所述实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;调整所述标准掩膜的标准连通域的位姿得到第二掩膜,以使所述第二掩膜与所述第一掩膜的匹配度最高;获取所述标准连通域的第二长轴斜率和第二短轴斜率;根据所述第二长轴斜率和所述第二短轴斜率把所述第一掩膜的所述最大连通域修正为平行四边形连通域,得到优化掩膜;从而可改善已生成的掩膜的质量,有利于提高机械臂抓取物体的可靠性。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。
附图说明
图1为本申请实施例提供的掩膜优化处理方法的流程图。
图2为本申请实施例提供的掩膜优化处理装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为一种存在较小瑕疵的实际掩膜的示意图。
图5为另一种存在较小瑕疵的实际掩膜的示意图。
图6为一种示例性的第一掩膜的示意图。
图7为第一直线和第二直线在第一掩膜中进行平移扫掠的示意图。
图8为图7中的第一直线平移扫掠得到的第一面积变化曲线。
图9为新的最大连通域的示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1是本申请一些实施例中的一种掩膜优化处理方法,用于对平行四边形物体(如铝型材、平行四边形板材等,但不限于此)的已生成的实际掩膜进行优化处理,包括步骤:
A1.获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;
A2.对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;
A3.调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高;
A4.获取标准连通域的第二长轴斜率和第二短轴斜率;
A5.根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜。
该掩膜优化处理方法,通过对已生成的实际掩膜进行过滤处理,以保留最大连通域,然后调整标准掩膜的标准连通域位姿,使该标准连通域的位姿与该最大连通域的位姿匹配,最后根据调整后的标准连通域的长短轴斜率修正该最大连通域,使该最大连通域成为标准的平行四边形连通域,从而可改善已生成的掩膜的质量,从而有利于提高机械臂抓取物体的可靠性。
其中,该实际掩膜可以是通过现有任意掩膜生成方法生成的掩膜(例如通过实例分割方法生成的掩膜),此处不对其进行限定。
其中,标准掩膜可通过以下方式生成:
使用与生成待优化的实际掩膜时相同的生成条件和生成方法,对平行四边形物体标准件进行掩膜生成,得到初始掩膜;
通过人工对该初始掩膜的特征连通域(即平行四边形物体标准件对应的连通域)以外的其它连通域进行删除,并人工调整该特征连通域的边界线,使调整后的特征连通域为标准平行四边形,得到标准掩膜。
其中,可采用现有的方法对实际掩膜进行过滤处理,以去除最大连通域以外的连通域;或者,在一些实施方式中,步骤A2包括:
获取实际掩膜中各连通域的面积;
针对实际掩膜中各连通域,计算除最大连通域以外的所有连通域的总面积与最大连通域的面积的比值;
若该比值不大于预设比例阈值,则去除实际掩膜中除最大连通域以外的所有连通域,得到第一掩膜;
若比值大于预设比例阈值,则判定实际掩膜不可用,并终止优化流程。
实际上,该掩膜优化处理方法仅适用于对存在较小瑕疵的实际掩膜进行优化处理,若实际掩膜存在过大的瑕疵,则通过该掩膜优化处理方法得到的优化掩膜会存在较大的失真情况,此处,通过除最大连通域以外的所有连通域的总面积与该最大连通域的面积的比值是否不大于预设比例阈值来界定实际掩膜的瑕疵是否较小,进而,只有当检测到实际掩膜存在较小瑕疵时才继续执行后续的优化处理流程,否则,停止优化流程,且可发出报警信号。
例如,图4和图5中均为具有较小瑕疵的实际掩膜的示意图,其中,各白色区域为各个连通域,图4中的最大连通域中部不包含不属于平行四边形物体的部分,图5中的最大连通域包含不属于平行四边形物体的部分,这两种情况均可通过该掩膜优化处理方法得到优化。
其中,可通过现有的图像识别方法获取实际掩膜中各连通域的面积,此处不对其进行详述。
其中,预设比例阈值可根据实际需要设置,此处不对其进行限定。
具体地,步骤A3包括:
A301.分多次对标准掩膜中的标准连通域进行位置调整,并在每个位置处对标准连通域进行多角度旋转,得到多个候选掩膜;
A302.计算各候选掩膜与第一掩膜的匹配度;
A303.根据计算结果,从候选掩膜中选取第二掩膜。
其中,可以先把标准连通域移动至标准掩膜中的左上角,然后按预设移动步长(可根据实际需要设置),从左到右、从上到下地使标准连通域分步移动,每次移动后,按预设转角步长(可根据实际需要设置),使该标准连通域分步转动,对应每个位置和每个转动角度生成一个候选掩膜。
其中,可计算各候选掩膜与第一掩膜的相似度(如结构相似性、峰值信噪比等,但不限于此)作为对应的匹配度,具体计算方法为现有技术,此处不对其进行详述。
其中,可选取匹配度最大的候选掩膜作为第二掩膜。
在一些优选实施方式中,步骤A303包括:
若匹配度中的最大值不小于预设匹配度阈值(可根据实际需要设置),则选取匹配度中的最大值对应的候选掩膜,作为第二掩膜;
若匹配度中的最大值小于预设匹配度阈值,则判定实际掩膜不可用,并终止优化流程。
当最大的匹配度过小,说明实际掩膜中的最大连通域是严重变形的,继续使用该掩膜优化处理方法得到的优化掩膜也是严重失真的,此时不再适合使用该掩膜优化处理方法进行优化处理,因此,当匹配度中的最大值小于预设匹配度阈值时,直接终止优化流程,以免得到错误的优化掩膜而导致后续抓取失败。
其中,在本文中,平行四边形的长轴是指与其长边平行的中线(即两条短边中点连线),短轴是指与其短边平行的中线(即两条长轴中点连线),若该平行四边形的四边等长,则以其边界线中与图像(掩膜)横坐标轴正方向的夹角最小的边界线为长边、夹角最大的边界线为短边。从而,标准连通域的第二长轴直线是指平行于标准连通域两个长边的中线、第二短轴直线是指平行于标准连通域两个短边的中线;最大连通域的第一长轴直线是指平行于理想的最大连通域两个长边的中线、第一短轴直线是指平行于理想的最大连通域两个短边的中线。
在一些实施方式中,步骤A4包括:
通过以下公式计算标准连通域的第二长轴斜率和第二短轴斜率:
K1=tan(α+θ);
K2=tan(β+θ);
其中,K1为标准连通域的第二长轴斜率,α为初始的标准掩膜(即进行位姿调整前的标准掩膜)的标准连通域的长轴姿态角(长轴与参考轴线的夹角,参考轴线可以但不限于是横坐标轴,α为已知值),K2为标准连通域的第二短轴斜率,β为初始的标准掩膜的标准连通域的短轴姿态角(短轴与参考轴线的夹角,β为已知值),θ为匹配度中的最大值对应的候选掩膜(即第二掩膜)对应的旋转角度(即第二掩膜的标准连通域相对初始的标准掩膜的标准连通域的旋转角度)。
进一步地,步骤A5包括:
A501.根据第二长轴斜率获取第一特征斜率,并根据第二短轴斜率获取第二特征斜率;
A502.利用具有第一特征斜率的第一直线在第一掩膜中进行平移扫掠,以生成第一面积变化曲线;第一面积变化曲线表示最大连通域被第一直线扫过的面积随第一直线移动而变化的情况;
A503.利用具有第二特征斜率的第二直线在第一掩膜中进行平移扫掠,以生成第二面积变化曲线;第二面积变化曲线表示最大连通域被第二直线扫过的面积随第二直线移动而变化的情况;
A504.根据第一面积变化曲线确定与最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线;
A505.根据第二面积变化曲线确定与最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线;
A506.以第一特征直线、第二特征直线、第三特征直线和第四特征直线共同围成的平行四边形区域替换第一掩膜中的最大连通域,得到优化掩膜。
通过上述方式可方便快捷地得到修正后的最大连通域,处理效率高,且得到的优化掩膜的准确性可靠。
在一些实施方式中,步骤A501包括:以第二长轴斜率作为第一特征斜率,以第二短轴斜率作为第二特征斜率。即直接根据标准连通域的位姿调整最大连通域的位姿和边界范围,处理效率较高。
在另一些实施方式中,步骤A501包括:
获取最大连通域的第一长轴斜率和第一短轴斜率;
计算第一长轴斜率和第二长轴斜率的平均值或加权平均值作为第一特征斜率;
计算第一短轴斜率和第二短轴斜率的平均值或加权平均值作为第二特征斜率。
通过该方式修正最大连通域,实际上是综合标准连通域的位姿和最大连通域的位姿,修正最大连通域的各边界线的位姿,从而使最大连通域具有标准的平行四边形轮廓,该平行四边形轮廓的位姿与平行四边形物体的实际位姿匹配,从而后续使用该优化掩膜进行该平行四边形物体的抓取时,能够更加可靠地实现抓取。
在一些实施方式中,可通过边缘检测获取最大连通域的一条长边的斜率,作为第一长轴斜率;并通过边缘检测获取最大连通域的一条短边的斜率,作为第一短轴斜率。
在另一些实施方式中,可通过边缘检测获取最大连通域的两条长边的斜率,然后计算该两条长边的斜率的平均值作为第一长轴斜率;并通过边缘检测获取最大连通域的两条短边的斜率,然后计算该两条短边的斜率的平均值作为第一短轴斜率。
在一些实施方式中,步骤A502包括:
在第一掩膜中生成通过第一参考角点且斜率为第一特征斜率的第一直线;其中,若第一特征斜率为负,则第一参考角点为坐标原点,若第一特征斜率为非负,则第一参考角点为第一掩膜的位于纵坐标轴上除坐标原点之外的一个角点(例如图6中,坐标原点位于第一掩膜的左下角点处,x轴为横坐标轴,y轴为纵坐标轴,横坐标轴的正方向朝左,纵坐标轴的正方向朝上,若第一特征斜率为非负,则第一参考角点为第一掩膜的左上角点);
若第一特征斜率为非负,则使第一直线沿纵坐标轴的负方向(-y方向)进行平移扫掠,以生成第一面积变化曲线;
若第一特征斜率为负,则使第一直线沿横坐标轴的正方向(+x方向)进行平移扫掠,以生成第一面积变化曲线。
例如图7中,第一特征斜率为k,k为非负值,因此生成的第一直线为y=kx+m,m为第一掩膜的左上角点(第一参考角点)的纵坐标值,在进行扫掠时,沿-y方向扫掠(图中,朝下扫掠)。
在一些实施方式中,步骤A503包括:
在第一掩膜中生成通过第二参考角点且斜率为第二特征斜率的第二直线;其中,若第二特征斜率为负,则第二参考角点为坐标原点,若第二特征斜率为非负,则第二参考角点为第一掩膜的位于纵坐标轴上除坐标原点之外的一个角点(例如图6中,若第二特征斜率为非负,则第二参考角点为第一掩膜的左上角点);
若第二特征斜率为非负,则使第二直线沿纵坐标轴的负方向(-y方向)进行平移扫掠,以生成第二面积变化曲线;
若第二特征斜率为负,则使第二直线沿横坐标轴的正方向(+x方向)进行平移扫掠,以生成第二面积变化曲线。
例如图7中,第二特征斜率为q,q为负值,因此生成的第二直线为y=qx,在进行扫掠时,沿+x方向扫掠(图中,朝右扫掠)。
在本实施例中,第一面积变化曲线的横坐标为第一直线的移动距离,纵坐标为最大连通域被第一直线扫过的面积,例如图8所示的曲线为第一面积变化曲线;第二面积变化曲线的横坐标为第二直线的移动距离,纵坐标为最大连通域被第二直线扫过的面积。
其中,斜率突变点是指面积变化曲线斜率从小于预设斜率阈值(可根据实际需要设置)变为不小于预设斜率阈值的点,或面积变化曲线斜率从不小于预设斜率阈值变为小于预设斜率阈值的点。为了便于叙述,后文中,把第一面积变化曲线的斜率突变点称为第一斜率突变点,并把第二面积变化曲线的斜率突变点称为第二斜率突变点。
优选地,步骤A504包括:
识别第一面积变化曲线的两个第一斜率突变点;
分别以第一直线移动至与两个第一斜率突变点对应的位置时形成的直线作为第一特征直线和第二特征直线。
在第一面积变化曲线中,一般存在两个第一斜率突变点,其中一个为面积变化曲线斜率从小于预设斜率阈值变为不小于预设斜率阈值的点(图8中的a点),该第一斜率突变点对应的移动距离,对应于第一直线正式与最大连通域接触时的移动距离,可认为第一直线移动至对应位置而形成的直线与最大连通域的一条理想的长边重合,因此,把形成的该直线作为第一特征直线(例如图9中的直线L1为第一特征直线);另一个为第一面积变化曲线斜率从不小于预设斜率阈值变为小于预设斜率阈值的点(图8中的b点),该第一斜率突变点对应的移动距离,对应于第一直线与最大连通域进行最后接触时的移动距离,可认为第一直线移动至对应位置而形成的直线与最大连通域的另一条理想的长边重合,因此,把形成的该直线作为第二特征直线(例如图9中的直线L2为第二特征直线)。
步骤A505包括:
识别第二面积变化曲线的两个第二斜率突变点;
分别以第二直线移动至与两个第二斜率突变点对应的位置时形成的直线作为第三特征直线和第四特征直线。
在第二面积变化曲线中,一般存在两个第二斜率突变点,其中一个为面积变化曲线斜率从小于预设斜率阈值变为不小于预设斜率阈值的点,该第二斜率突变点对应的移动距离,对应于第二直线正式与最大连通域接触时的移动距离,可认为第二直线移动至对应位置而形成的直线与最大连通域的一条理想的短边重合,因此,把形成的该直线作为第三特征直线(例如图9中的直线L3为第三特征直线);另一个为第二面积变化曲线斜率从不小于预设斜率阈值变为小于预设斜率阈值的点,该第二斜率突变点对应的移动距离,对应于第二直线与最大连通域进行最后接触时的移动距离,可认为第二直线移动至对应位置而形成的直线与最大连通域的另一条理想的短边重合,因此,把形成的该直线作为第四特征直线(例如图9中的直线L4为第四特征直线)。
例如图9中,第一特征直线L1、第二特征直线L2、第三特征直线L3和第四特征直线L4共同围成的平行四边形cdef所包围的区域即为替换后的最大连通域。
由上可知,该掩膜优化处理方法,通过获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高;获取标准连通域的第二长轴斜率和第二短轴斜率;根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜;从而可改善已生成的掩膜的质量,有利于提高机械臂抓取物体的可靠性。
参考图2,本申请提供了一种掩膜优化处理装置,用于对平行四边形物体的已生成的实际掩膜进行优化处理,包括:
第一获取模块1,用于获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;
过滤模块2,用于对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;
调整模块3,用于调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高;
第二获取模块4,用于获取标准连通域的第二长轴斜率和第二短轴斜率;
修正模块5,用于根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜。
该掩膜优化处理装置,通过对已生成的实际掩膜进行过滤处理,以保留最大连通域,然后调整标准掩膜的标准连通域位姿,使该标准连通域的位姿与该最大连通域的位姿匹配,最后根据调整后的标准连通域的长短轴斜率修正该最大连通域,使该最大连通域成为标准的平行四边形连通域,从而可改善已生成的掩膜的质量,从而有利于提高机械臂抓取物体的可靠性。
其中,该实际掩膜可以是通过现有任意掩膜生成方法生成的掩膜(例如通过实例分割方法生成的掩膜),此处不对其进行限定。
其中,标准掩膜可通过以下方式生成:
使用与生成待优化的实际掩膜时相同的生成条件和生成方法,对平行四边形物体标准件进行掩膜生成,得到初始掩膜;
通过人工对该初始掩膜的特征连通域(即平行四边形物体标准件对应的连通域)以外的其它连通域进行删除,并人工调整该特征连通域的边界线,使调整后的特征连通域为标准平行四边形,得到标准掩膜。
其中,可采用现有的方法对实际掩膜进行过滤处理,以去除最大连通域以外的连通域;或者,在一些实施方式中,过滤模块2用于在对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜的时候,执行:
获取实际掩膜中各连通域的面积;
针对实际掩膜中各连通域,计算除最大连通域以外的所有连通域的总面积与最大连通域的面积的比值;
若该比值不大于预设比例阈值,则去除实际掩膜中除最大连通域以外的所有连通域,得到第一掩膜;
若比值大于预设比例阈值,则判定实际掩膜不可用,并终止优化流程。
实际上,该掩膜优化处理装置仅适用于存在较小瑕疵的实际掩膜进行优化处理,若实际掩膜存在过大的瑕疵,则通过该掩膜优化处理装置得到的优化掩膜会存在较大的失真情况,此处,通过除最大连通域以外的所有连通域的总面积与该最大连通域的面积的比值是否不大于预设比例阈值来界定实际掩膜的瑕疵是否较小,进而,只有当检测到实际掩膜存在较小瑕疵时才继续执行后续的优化处理流程,否则,停止优化流程,且可发出报警信号。
例如,图4和图5中均为具有较小瑕疵的实际掩膜的示意图,其中,各白色区域为各个连通域,图4中的最大连通域中部不包含不属于平行四边形物体的部分,图5中的最大连通域包含不属于平行四边形物体的部分,这两种情况均可通过该掩膜优化处理装置得到优化。
其中,可通过现有的图像识别方法获取实际掩膜中各连通域的面积,此处不对其进行详述。
其中,预设比例阈值可根据实际需要设置,此处不对其进行限定。
具体地,调整模块3用于在调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高的时候,执行:
分多次对标准掩膜中的标准连通域进行位置调整,并在每个位置处对标准连通域进行多角度旋转,得到多个候选掩膜;
计算各候选掩膜与第一掩膜的匹配度;
根据计算结果,从候选掩膜中选取第二掩膜。
其中,可以先把标准连通域移动至标准掩膜中的左上角,然后按预设移动步长(可根据实际需要设置),从左到右、从上到下地使标准连通域分步移动,每次移动后,按预设转角步长(可根据实际需要设置),使该标准连通域分步转动,对应每个位置和每个转动角度生成一个候选掩膜。
其中,可计算各候选掩膜与第一掩膜的相似度(如结构相似性、峰值信噪比等,但不限于此)作为对应的匹配度,具体计算方法为现有技术,此处不对其进行详述。
其中,可选取匹配度最大的候选掩膜作为第二掩膜。在一些优选实施方式中,调整模块3在根据计算结果,从候选掩膜中选取第二掩膜的时候,执行:
若匹配度中的最大值不小于预设匹配度阈值(可根据实际需要设置),则选取匹配度中的最大值对应的候选掩膜,作为第二掩膜;
若匹配度中的最大值小于预设匹配度阈值,则判定实际掩膜不可用,并终止优化流程。
当最大的匹配度过小,说明实际掩膜中的最大连通域是严重变形的,继续使用该掩膜优化处理装置得到的优化掩膜也是严重失真的,此时不再适合使用该掩膜优化处理装置进行优化处理,因此,当匹配度中的最大值小于预设匹配度阈值时,直接终止优化流程,以免得到错误的优化掩膜而导致后续抓取失败。
其中,在本文中,平行四边形的长轴是指与其长边平行的中线(即两条短边中点连线),短轴是指与其短边平行的中线(即两条长轴中点连线),若该平行四边形的四边等长,则以其边界线中与图像(掩膜)横坐标轴正方向的夹角最小的边界线为长边、夹角最大的边界线为短边。从而,标准连通域的第二长轴直线是指平行于标准连通域两个长边的中线、第二短轴直线是指平行于标准连通域两个短边的中线;最大连通域的第一长轴直线是指平行于理想的最大连通域两个长边的中线、第一短轴直线是指平行于理想的最大连通域两个短边的中线。
在一些实施方式中,第二获取模块4用于在获取标准连通域的第二长轴斜率和第二短轴斜率的时候,执行:
通过以下公式计算标准连通域的第二长轴斜率和第二短轴斜率:
K1=tan(α+θ);
K2=tan(β+θ);
其中,K1为标准连通域的第二长轴斜率,α为初始的标准掩膜(即进行位姿调整前的标准掩膜)的标准连通域的长轴姿态角(长轴与参考轴线的夹角,参考轴线可以但不限于是横坐标轴,α为已知值),K2为标准连通域的第二短轴斜率,β为初始的标准掩膜的标准连通域的短轴姿态角(短轴与参考轴线的夹角,β为已知值),θ为匹配度中的最大值对应的候选掩膜(即第二掩膜)对应的旋转角度(即第二掩膜的标准连通域相对初始的标准掩膜的标准连通域的旋转角度)。
进一步地,修正模块5用于在根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜的时候,执行:
根据第二长轴斜率获取第一特征斜率,并根据第二短轴斜率获取第二特征斜率;
利用具有第一特征斜率的第一直线在第一掩膜中进行平移扫掠,以生成第一面积变化曲线;第一面积变化曲线表示最大连通域被第一直线扫过的面积随第一直线移动而变化的情况;
利用具有第二特征斜率的第二直线在第一掩膜中进行平移扫掠,以生成第二面积变化曲线;第二面积变化曲线表示最大连通域被第二直线扫过的面积随第二直线移动而变化的情况;
根据第一面积变化曲线确定与最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线;
根据第二面积变化曲线确定与最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线;
以第一特征直线、第二特征直线、第三特征直线和第四特征直线共同围成的平行四边形区域替换第一掩膜中的最大连通域,得到优化掩膜。
通过上述方式可方便快捷地得到修正后的最大连通域,处理效率高,且得到的优化掩膜的准确性可靠。
在一些实施方式中,修正模块5在根据第二长轴斜率获取第一特征斜率,并根据第二短轴斜率获取第二特征斜率的时候,执行:以第二长轴斜率作为第一特征斜率,以第二短轴斜率作为第二特征斜率。即直接根据标准连通域的位姿调整最大连通域的位姿和边界范围,处理效率较高。
在另一些实施方式中,修正模块5在根据第二长轴斜率获取第一特征斜率,并根据第二短轴斜率获取第二特征斜率的时候,执行:
获取最大连通域的第一长轴斜率和第一短轴斜率;
计算第一长轴斜率和第二长轴斜率的平均值或加权平均值作为第一特征斜率;
计算第一短轴斜率和第二短轴斜率的平均值或加权平均值作为第二特征斜率。
通过该方式修正最大连通域,实际上是综合标准连通域的位姿和最大连通域的位姿,修正最大连通域的各边界线的位姿,从而使最大连通域具有标准的平行四边形轮廓,该平行四边形轮廓的位姿与平行四边形物体的实际位姿匹配,从而后续使用该优化掩膜进行该平行四边形物体的抓取时,能够更加可靠地实现抓取。
在一些实施方式中,可通过边缘检测获取最大连通域的一条长边的斜率,作为第一长轴斜率;并通过边缘检测获取最大连通域的一条短边的斜率,作为第一短轴斜率。
在另一些实施方式中,可通过边缘检测获取最大连通域的两条长边的斜率,然后计算该两条长边的斜率的平均值作为第一长轴斜率;并通过边缘检测获取最大连通域的两条短边的斜率,然后计算该两条短边的斜率的平均值作为第一短轴斜率。
在一些实施方式中,修正模块5在利用具有第一特征斜率的第一直线在第一掩膜中进行平移扫掠,以生成第一面积变化曲线的时候,执行:
在第一掩膜中生成通过第一参考角点且斜率为第一特征斜率的第一直线;其中,若第一特征斜率为负,则第一参考角点为坐标原点,若第一特征斜率为非负,则第一参考角点为第一掩膜的位于纵坐标轴上除坐标原点之外的一个角点(例如图6中,坐标原点位于第一掩膜的左下角点处,x轴为横坐标轴,y轴为纵坐标轴,横坐标轴的正方向朝左,纵坐标轴的正方向朝上,若第一特征斜率为非负,则第一参考角点为第一掩膜的左上角点);
若第一特征斜率为非负,则使第一直线沿纵坐标轴的负方向(-y方向)进行平移扫掠,以生成第一面积变化曲线;
若第一特征斜率为负,则使第一直线沿横坐标轴的正方向(+x方向)进行平移扫掠,以生成第一面积变化曲线。
例如图7中,第一特征斜率为k,k为非负值,因此生成的第一直线为y=kx+m,m为第一掩膜的左上角点(第一参考角点)的纵坐标值,在进行扫掠时,沿-y方向扫掠(图中,朝下扫掠)。
在一些实施方式中,修正模块5在利用具有第二特征斜率的第二直线在第一掩膜中进行平移扫掠,以生成第二面积变化曲线的时候,执行:
在第一掩膜中生成通过第二参考角点且斜率为第二特征斜率的第二直线;其中,若第二特征斜率为负,则第二参考角点为坐标原点,若第二特征斜率为非负,则第二参考角点为第一掩膜的位于纵坐标轴上除坐标原点之外的一个角点(例如图6中,若第二特征斜率为非负,则第二参考角点为第一掩膜的左上角点);
若第二特征斜率为非负,则使第二直线沿纵坐标轴的负方向(-y方向)进行平移扫掠,以生成第二面积变化曲线;
若第二特征斜率为负,则使第二直线沿横坐标轴的正方向(+x方向)进行平移扫掠,以生成第二面积变化曲线。
例如图7中,第二特征斜率为q,q为负值,因此生成的第二直线为y=qx,在进行扫掠时,沿+x方向扫掠(图中,朝右扫掠)。
在本实施例中,第一面积变化曲线的横坐标为第一直线的移动距离,纵坐标为最大连通域被第一直线扫过的面积,例如图8所示的曲线为第一面积变化曲线;第二面积变化曲线的横坐标为第二直线的移动距离,纵坐标为最大连通域被第二直线扫过的面积。
其中,斜率突变点是指面积变化曲线斜率从小于预设斜率阈值(可根据实际需要设置)变为不小于预设斜率阈值的点,或面积变化曲线斜率从不小于预设斜率阈值变为小于预设斜率阈值的点。为了便于叙述,后文中,把第一面积变化曲线的斜率突变点称为第一斜率突变点,并把第二面积变化曲线的斜率突变点称为第二斜率突变点。
优选地,修正模块5在根据第一面积变化曲线确定与最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线的时候,执行:
识别第一面积变化曲线的两个第一斜率突变点;
分别以第一直线移动至与两个第一斜率突变点对应的位置时形成的直线作为第一特征直线和第二特征直线。
在第一面积变化曲线中,一般存在两个第一斜率突变点,其中一个为面积变化曲线斜率从小于预设斜率阈值变为不小于预设斜率阈值的点(图8中的a点),该第一斜率突变点对应的移动距离,对应于第一直线正式与最大连通域接触时的移动距离,可认为第一直线移动至对应位置而形成的直线与最大连通域的一条理想的长边重合,因此,把形成的该直线作为第一特征直线(例如图9中的直线L1为第一特征直线);另一个为第一面积变化曲线斜率从不小于预设斜率阈值变为小于预设斜率阈值的点(图8中的b点),该第一斜率突变点对应的移动距离,对应于第一直线与最大连通域进行最后接触时的移动距离,可认为第一直线移动至对应位置而形成的直线与最大连通域的另一条理想的长边重合,因此,把形成的该直线作为第二特征直线(例如图9中的直线L2为第二特征直线)。
修正模块5在根据第二面积变化曲线确定与最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线的时候,执行:
识别第二面积变化曲线的两个第二斜率突变点;
分别以第二直线移动至与两个第二斜率突变点对应的位置时形成的直线作为第三特征直线和第四特征直线。
在第二面积变化曲线中,一般存在两个第二斜率突变点,其中一个为面积变化曲线斜率从小于预设斜率阈值变为不小于预设斜率阈值的点,该第二斜率突变点对应的移动距离,对应于第二直线正式与最大连通域接触时的移动距离,可认为第二直线移动至对应位置而形成的直线与最大连通域的一条理想的短边重合,因此,把形成的该直线作为第三特征直线(例如图9中的直线L3为第三特征直线);另一个为第二面积变化曲线斜率从不小于预设斜率阈值变为小于预设斜率阈值的点,该第二斜率突变点对应的移动距离,对应于第二直线与最大连通域进行最后接触时的移动距离,可认为第二直线移动至对应位置而形成的直线与最大连通域的另一条理想的短边重合,因此,把形成的该直线作为第四特征直线(例如图9中的直线L4为第四特征直线)。
例如图9中,第一特征直线L1、第二特征直线L2、第三特征直线L3和第四特征直线L4共同围成的平行四边形cdef所包围的区域即为替换后的最大连通域。
由上可知,该掩膜优化处理装置,通过获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高;获取标准连通域的第二长轴斜率和第二短轴斜率;根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜;从而可改善已生成的掩膜的质量,有利于提高机械臂抓取物体的可靠性。
请参照图3,图3为本申请实施例提供的一种电子设备的结构示意图,本申请提供一种电子设备,包括:处理器301和存储器302,处理器301和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯,存储器302存储有处理器301可执行的计算机程序,当电子设备运行时,处理器301执行该计算机程序,以执行上述实施例的任一可选的实现方式中的掩膜优化处理方法,以实现以下功能:获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高;获取标准连通域的第二长轴斜率和第二短轴斜率;根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜。
本申请实施例提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,执行上述实施例的任一可选的实现方式中的掩膜优化处理方法,以实现以下功能:获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;对实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;调整标准掩膜的标准连通域的位姿得到第二掩膜,以使第二掩膜与第一掩膜的匹配度最高;获取标准连通域的第二长轴斜率和第二短轴斜率;根据第二长轴斜率和第二短轴斜率把第一掩膜的最大连通域修正为平行四边形连通域,得到优化掩膜。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-Only Memory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种掩膜优化处理方法,用于对平行四边形物体的已生成的实际掩膜进行优化处理,其特征在于,包括步骤:
A1.获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;
A2.对所述实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;
A3.调整所述标准掩膜的标准连通域的位置和转动角度得到第二掩膜,以使所述第二掩膜与所述第一掩膜的匹配度最高;
A4.获取所述标准连通域的第二长轴斜率和第二短轴斜率;
A5.根据所述第二长轴斜率和所述第二短轴斜率把所述第一掩膜的所述最大连通域修正为平行四边形连通域,得到优化掩膜。
2.根据权利要求1所述的掩膜优化处理方法,其特征在于,步骤A2包括:
获取所述实际掩膜中各连通域的面积;
针对所述实际掩膜中各连通域,计算除所述最大连通域以外的所有连通域的总面积与所述最大连通域的面积的比值;
若所述比值不大于预设比例阈值,则去除所述实际掩膜中除所述最大连通域以外的所有连通域,得到所述第一掩膜;
若所述比值大于所述预设比例阈值,则判定所述实际掩膜不可用,并终止优化流程。
3.根据权利要求1所述的掩膜优化处理方法,其特征在于,步骤A3包括:
分多次对所述标准掩膜中的所述标准连通域进行位置调整,并在每个位置处对所述标准连通域进行多角度旋转,得到多个候选掩膜;
计算各所述候选掩膜与所述第一掩膜的匹配度;
根据计算结果,从所述候选掩膜中选取所述第二掩膜。
4.根据权利要求1所述的掩膜优化处理方法,其特征在于,步骤A4包括:
对所述标准连通域的至少一个长边进行直线拟合,得到对应的第二长轴直线公式;
根据所述第二长轴直线公式获取所述第二长轴斜率;
对所述标准连通域的至少一个短边进行直线拟合,得到对应的第二短轴直线公式;
根据所述第二短轴直线公式获取所述第二短轴斜率。
5.根据权利要求1所述的掩膜优化处理方法,其特征在于,步骤A5包括:
根据所述第二长轴斜率获取第一特征斜率,并根据所述第二短轴斜率获取第二特征斜率;
利用具有所述第一特征斜率的第一直线在所述第一掩膜中进行平移扫掠,以生成第一面积变化曲线;所述第一面积变化曲线表示所述最大连通域被所述第一直线扫过的面积随所述第一直线移动而变化的情况;
利用具有所述第二特征斜率的第二直线在所述第一掩膜中进行平移扫掠,以生成第二面积变化曲线;所述第二面积变化曲线表示所述最大连通域被所述第二直线扫过的面积随所述第二直线移动而变化的情况;
根据所述第一面积变化曲线确定与所述最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线;
根据所述第二面积变化曲线确定与所述最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线;
以所述第一特征直线、所述第二特征直线、所述第三特征直线和所述第四特征直线共同围成的平行四边形区域替换所述第一掩膜中的所述最大连通域,得到所述优化掩膜。
6.根据权利要求5所述的掩膜优化处理方法,其特征在于,所述根据所述第二长轴斜率获取第一特征斜率,并根据所述第二短轴斜率获取第二特征斜率的步骤包括:
获取所述最大连通域的第一长轴斜率和第一短轴斜率;
计算所述第一长轴斜率和所述第二长轴斜率的平均值或加权平均值作为所述第一特征斜率;
计算所述第一短轴斜率和所述第二短轴斜率的平均值或加权平均值作为所述第二特征斜率。
7.根据权利要求5所述的掩膜优化处理方法,其特征在于,所述根据所述第一面积变化曲线确定与所述最大连通域的其中两个理想边界线对应的第一特征直线和第二特征直线的步骤包括:
识别所述第一面积变化曲线的两个第一斜率突变点;
分别以所述第一直线移动至与两个所述第一斜率突变点对应的位置时形成的直线作为所述第一特征直线和所述第二特征直线;
所述根据所述第二面积变化曲线确定与所述最大连通域的另外两个理想边界线对应的第三特征直线和第四特征直线的步骤包括:
识别所述第二面积变化曲线的两个第二斜率突变点;
分别以所述第二直线移动至与两个所述第二斜率突变点对应的位置时形成的直线作为所述第三特征直线和所述第四特征直线。
8.一种掩膜优化处理装置,用于对平行四边形物体的已生成的实际掩膜进行优化处理,其特征在于,包括:
第一获取模块,用于获取平行四边形物体的待优化的实际掩膜和对应的标准掩膜;
过滤模块,用于对所述实际掩膜进行过滤处理,以去除最大连通域以外的连通域,得到第一掩膜;
调整模块,用于调整所述标准掩膜的标准连通域的位置和转动角度得到第二掩膜,以使所述第二掩膜与所述第一掩膜的匹配度最高;
第二获取模块,用于获取所述标准连通域的第二长轴斜率和第二短轴斜率;
修正模块,用于根据所述第二长轴斜率和所述第二短轴斜率把所述第一掩膜的所述最大连通域修正为平行四边形连通域,得到优化掩膜。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时,运行如权利要求1-7任一项所述掩膜优化处理方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一项所述掩膜优化处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210965737.1A CN115049735B (zh) | 2022-08-12 | 2022-08-12 | 一种掩膜优化处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210965737.1A CN115049735B (zh) | 2022-08-12 | 2022-08-12 | 一种掩膜优化处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115049735A CN115049735A (zh) | 2022-09-13 |
CN115049735B true CN115049735B (zh) | 2022-11-08 |
Family
ID=83167163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210965737.1A Active CN115049735B (zh) | 2022-08-12 | 2022-08-12 | 一种掩膜优化处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049735B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569819A (zh) * | 2021-09-23 | 2021-10-29 | 泰豪软件股份有限公司 | 刀闸开合状态的识别方法、系统、存储介质及计算机设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4528580B2 (ja) * | 2004-08-24 | 2010-08-18 | 株式会社東芝 | 照明光源の設計方法、マスクパターン設計方法、フォトマスクの製造方法、半導体装置の製造方法、及びプログラム |
KR101971824B1 (ko) * | 2018-03-05 | 2019-04-23 | 캐논 톡키 가부시키가이샤 | 로봇, 로봇 시스템, 디바이스 제조 장치, 디바이스 제조 방법 및 티칭 위치 조정 방법 |
KR20230117366A (ko) * | 2020-12-18 | 2023-08-08 | 에이에스엠엘 네델란즈 비.브이. | 마스크 패턴을 결정하고 기계학습 모델을 트레이닝하는 방법 |
CN112950554B (zh) * | 2021-02-05 | 2021-12-21 | 慧影医疗科技(北京)有限公司 | 一种基于肺分割的肺叶分割优化方法及系统 |
CN114494058B (zh) * | 2022-01-24 | 2024-09-24 | 闻泰通讯股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-08-12 CN CN202210965737.1A patent/CN115049735B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569819A (zh) * | 2021-09-23 | 2021-10-29 | 泰豪软件股份有限公司 | 刀闸开合状态的识别方法、系统、存储介质及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115049735A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105067638B (zh) | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 | |
CN109632808B (zh) | 棱边缺陷检测方法、装置、电子设备及存储介质 | |
CN109543665B (zh) | 图像定位方法及装置 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
US7120286B2 (en) | Method and apparatus for three dimensional edge tracing with Z height adjustment | |
CN111721259A (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN110660072B (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
CN113706525B (zh) | 一种基于图像处理的印刷电路板贴片缺陷智能识别方法 | |
CN113513991B (zh) | 一种电池极片毛刺高度检测方法及装置 | |
CN108311859B (zh) | 一种基于视觉检测技术的绝缘子自动装配方法 | |
CN112861870B (zh) | 指针式仪表图像矫正方法、系统及存储介质 | |
CN110705571A (zh) | 一种剪刀式刀闸开合状态检测方法 | |
CN115018846A (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
CN115049735B (zh) | 一种掩膜优化处理方法、装置、电子设备及存储介质 | |
CN117670823B (zh) | 一种基于图像识别的pcba线路板元件检测及评价方法 | |
CN114720473A (zh) | 基于机器视觉的车载屏幕背板的缺陷检测方法 | |
CN118015004A (zh) | 一种激光切割扫描系统及方法 | |
KR102498322B1 (ko) | 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법 | |
CN114199127A (zh) | 基于机器视觉的汽车零件尺寸检测系统及方法 | |
WO2024130762A1 (zh) | 基于单相机的模板标记检测方法及模板位置矫正方法 | |
CN110322508B (zh) | 一种基于计算机视觉的辅助定位方法 | |
US20240103076A1 (en) | Deep learning-based mlcc stacked alignment inspection system and method | |
CN114964032B (zh) | 基于机器视觉的盲孔深度测量方法及装置 | |
CN112837285B (zh) | 一种板面图像的边缘检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |