CN116958515A - 工件轮廓的拟合定位方法、装置及存储介质 - Google Patents

工件轮廓的拟合定位方法、装置及存储介质 Download PDF

Info

Publication number
CN116958515A
CN116958515A CN202311217437.6A CN202311217437A CN116958515A CN 116958515 A CN116958515 A CN 116958515A CN 202311217437 A CN202311217437 A CN 202311217437A CN 116958515 A CN116958515 A CN 116958515A
Authority
CN
China
Prior art keywords
fitting
workpiece
frame
initial standard
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311217437.6A
Other languages
English (en)
Other versions
CN116958515B (zh
Inventor
伍雨辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingyun Shixun Technology Co ltd
Suzhou Lingyunguang Industrial Intelligent Technology Co Ltd
Original Assignee
Shenzhen Lingyun Shixun Technology Co ltd
Suzhou Lingyunguang Industrial Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lingyun Shixun Technology Co ltd, Suzhou Lingyunguang Industrial Intelligent Technology Co Ltd filed Critical Shenzhen Lingyun Shixun Technology Co ltd
Priority to CN202311217437.6A priority Critical patent/CN116958515B/zh
Publication of CN116958515A publication Critical patent/CN116958515A/zh
Application granted granted Critical
Publication of CN116958515B publication Critical patent/CN116958515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种工件轮廓的拟合定位方法、装置及存储介质,该方法包括:在图形用户界面上显示工件图像,工件图像包括目标边缘;响应于用户通过图形用户界面针对目标边缘输入的绘制信息,在工件图像上生成初始标准轮廓框,目标边缘位于初始标准轮廓框内;确定工件图像中初始标准轮廓框覆盖的图像区域,作为第一图像区域;根据第一图像区域和初始标准轮廓框,生成目标边缘的拟合轮廓,从而能实现对各种缺陷的工件的轮廓定位,工件轮廓的拟合定位精度高。

Description

工件轮廓的拟合定位方法、装置及存储介质
技术领域
本申请属于检测技术领域,尤其涉及一种工件轮廓的拟合定位方法、装置及存储介质。
背景技术
随着人民生活水平提升和电子产品行业不断发展优化,消费者对于美的要求越来越追求极致,外观质量成为了消费者选择电子产品的重要因素,推动厂家对产品表面的缺陷检测能力的要求也越来越高,甚至达到人眼极限。
工业产品设计一般由标准的直线、圆弧、矩形、孔洞等结构元素组成,在加工过程中,由于刀具的抖动等加工精度的影响,会导致产品存在一定的外观缺陷。生产线上需要对产品外观缺陷进行检测,判断产品是否合格。外观缺陷基于已有的产品决定,无法直接与理论图纸比对检测,只能针对产品的图像轮廓进行拟合定位和边缘校正。但是,目前常见的工件轮廓的拟合定位方法会将实际产品的缺陷部位当作正常轮廓进行拟合定位,比如将刀具抖动造成的圆角边缘缺口当作正常轮廓,无法区分出缺陷部位,导致边缘轮廓的拟合定位精准度差。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种工件轮廓的拟合定位方法、装置及存储介质,能适用于各种外观缺陷的工件的轮廓定位,工件轮廓的拟合定位精度高。
第一方面,本申请提供了一种工件轮廓的拟合定位方法,包括:
在图形用户界面上显示待检测工件的工件图像,所述工件图像包括目标边缘;
响应于用户通过所述图形用户界面针对所述目标边缘输入的绘制信息,在所述工件图像上生成初始标准轮廓框,所述目标边缘位于所述初始标准轮廓框内;
确定所述工件图像中所述初始标准轮廓框覆盖的图像区域,作为第一图像区域;
根据所述第一图像区域和所述初始标准轮廓框,生成所述目标边缘的拟合轮廓。
本申请提供的工件轮廓的拟合定位方法,通过在图形用户界面上显示工件图像,响应于用户通过图形用户界面针对目标边缘输入的绘制信息,在工件图像上生成初始标准轮廓框,目标边缘位于初始标准轮廓框内;确定工件图像中初始标准轮廓框覆盖的图像区域,作为第一图像区域;根据第一图像区域和初始标准轮廓框,生成目标边缘的拟合轮廓,从而能实现对各种外观缺陷的工件的轮廓定位,工件轮廓的拟合定位精度高。
根据本申请的工件轮廓的拟合定位方法,所述响应于用户通过所述图形用户界面针对所述目标边缘输入的绘制信息,在所述工件图像上生成初始标准轮廓框,包括:
获取用户在所述图形用户界面上绘制的矩形框的显示位置和显示尺寸,所述目标边缘位于所述矩形框内;
获取用户通过所述图形用户界面针对所述目标边缘输入的绘制模板类型;
根据所述绘制模板类型、以及所述矩形框的显示位置和显示尺寸,在所述工件图像上生成初始标准轮廓框。
根据本申请的工件轮廓的拟合定位方法,所述根据所述绘制模板类型、以及所述矩形框的显示位置和显示尺寸,在所述工件图像上生成初始标准轮廓框,包括:
从预设轮廓模板库中确定所述绘制模板类型对应的预设轮廓模板;
根据所述矩形框的显示尺寸,对所述预设轮廓模板的尺寸进行调整,得到初始标准轮廓框;
根据所述矩形框的显示位置,在所述工件图像上生成所述初始标准轮廓框。
根据本申请的工件轮廓的拟合定位方法,所述根据所述第一图像区域和所述初始标准轮廓框,生成所述目标边缘的拟合轮廓,包括:
确定所述第一图像区域中像素点的灰度值;
根据所述灰度值对所述初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框;
获取所述第一图像区域中所述粗定位轮廓框覆盖的图像区域,作为第二图像区域;
根据所述第二图像区域和所述粗定位轮廓框,生成所述目标边缘的拟合轮廓。
根据本申请的工件轮廓的拟合定位方法,所述根据所述灰度值对所述初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框,包括:
确定所述初始标准轮廓框的中心位置;
对所述初始标准轮廓框中的各边朝所述中心位置做逐步逼近操作,以对所述初始标准轮廓框的尺寸进行调整;
在逐步逼近过程中,确定各边在相邻两次逼近时对应的像素点之间的灰度差值;
当所述灰度差值大于预设阈值时,结束所述逐步逼近操作,并将当前的所述初始标准轮廓框作为粗定位轮廓框。
根据本申请的工件轮廓的拟合定位方法,所述目标边缘包括圆角,所述根据所述第二图像区域和所述粗定位轮廓框,生成所述目标边缘的拟合轮廓,包括:
对所述第二图像区域中所述粗定位轮廓框各边对应的图像区域进行亚像素级边缘检测,得到多个边缘检测点;
通过最小二乘法对所述多个边缘检测点进行拟合,得到不连续的多条拟合线段,所述拟合线段包括直线段和圆弧线段;
对所述多条拟合线段进行拟合,得到所述目标边缘的拟合轮廓。
根据本申请的工件轮廓的拟合定位方法,所述对所述多条拟合线段进行拟合,包括:
确定所述直线段与所述圆弧线段之间距离最小的最小垂线段;
取所述最小垂线段的中点,做所述圆弧线段的切线,所述切线与所述圆弧线段相切于第一切点;
过所述第一切点做一个内切圆与所述直线段相切于第二切点;
将所述内切圆上所述第一切点与所述第二切点之间的连线作为拟合圆弧线段,所述直线段与所述圆弧线段通过所述拟合圆弧线段连接;
将相连接的所述拟合圆弧线段、所述直线段和所述圆弧线段作为所述目标边缘的拟合轮廓。
第二方面,本申请提供了一种工件轮廓的拟合定位装置,包括:
显示模块,用于在图形用户界面上显示待检测工件的工件图像,所述工件图像包括目标边缘;
生成模块,用于响应于用户通过所述图形用户界面针对所述目标边缘输入的绘制信息,在所述工件图像上生成初始标准轮廓框,所述目标边缘位于所述初始标准轮廓框内;
确定模块,用于确定所述工件图像中所述初始标准轮廓框覆盖的图像区域,作为第一图像区域;
拟合模块,用于根据所述第一图像区域和所述初始标准轮廓框,生成所述目标边缘的拟合轮廓。
第三方面,本申请提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面所述的工件轮廓的拟合定位方法。
第四方面,本申请提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面所述的工件轮廓的拟合定位方法。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施例提供的工件轮廓的拟合定位方法的流程示意图;
图2是本申请实施例提供的工件轮廓的拟合定位方法的另一流程示意图;
图3是本申请实施例提供的工件图像中矩形框的展示示意图;
图4是本申请实施例提供的工件图像中初始标准轮廓框的展示示意图;
图5是本申请实施例提供的基于公切线定理拟合边缘轮廓的展示示意图;
图6是本申请实施例提供的工件轮廓的拟合定位装置的结构示意图;
图7是本申请实施例提供的电子设备的结构示意图;
图8是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
本申请实施例提供了一种工件轮廓的拟合定位方法、装置及存储介质。该工件轮廓的拟合定位方法可应用于如个人计算机、笔记本电脑、嵌入式设备和图像处理设备等电子设备,具体可由电子设备中的硬件或软件执行。该工件轮廓的拟合定位方法可以在工业、制造业等领域中应用使用,具体可以应用于产品的加工、外观缺陷检测和装配等领域。
请参见图1,图1是本申请实施例提供的工件轮廓的拟合定位方法的流程示意图。该工件轮廓的拟合定位方法包括以下步骤S101-S104,其中:
S101. 在图形用户界面上显示待检测工件的工件图像,该工件图像包括目标边缘。
其中,待检测工件可以是手机、电脑等产品,工件图像可以是电子设备自带的摄像机拍摄的,比如工业相机,也可以是通过有线或无线的方式从其他设备主动获取或者被动接收的图像,工件图像可以是彩色图像或灰度图像。目标边缘包括圆弧和/或直线段,其可以是孔、轴等回转体结构的边缘。
S102. 响应于用户通过该图形用户界面针对该目标边缘输入的绘制操作,在该工件图像上生成初始标准轮廓框,该目标边缘位于该初始标准轮廓框内。
其中,用户可以通过如鼠标、触控板等电子设备输入工具执行绘制操作,该绘制操作主要涉及初始标准轮廓框的尺寸、以及形状样式等内容,比如可以通过触控板绘制尺寸框来框选尺寸范围,通过单击鼠标左键选择形状样式,电子设备可以读取分析用户的绘制操作,根据该绘制操作在工件图像上生成初始标准轮廓框,初始标准轮廓框为与目标边缘的结构相似、尺寸略大于目标边缘实际轮廓尺寸的轮廓框。
在一些实施例中,请参见图2,图2是本申请实施例提供的工件轮廓的拟合定位方法的另一流程示意图,上述步骤S102具体可以包括:
S1021. 获取用户在该图形用户界面上绘制的矩形框的显示位置和显示尺寸,该目标边缘位于所述矩形框内。
其中,电子设备可以提供图形绘制功能,用户可以开启该图形绘制功能,在图形用户界面上绘制矩形框。矩形框的显示位置可以表现为矩形框的中心点位置坐标,矩形框的显示尺寸可以为矩形框的长度和宽度。用户通过鼠标、触控板等电子设备输入工具绘制矩形框,比如先通过单击鼠标左键指定矩形框的两个对角的顶点,之后电子设备获取两个对角顶点的位置坐标,即可计算得到矩形框的长度、宽度和中心点位置坐标,并绘制相应的矩形框。获取的矩形框的显示位置还可以包括上述两个对角顶点的位置坐标。例如,请参见图3,图3是本申请实施例提供的工件图像中矩形框的展示示意图,目标边缘为一个带圆角的矩形,矩形框的尺寸远大于目标边缘的尺寸,目标边缘位于矩形框中。
S1022. 获取用户通过该图形用户界面针对该目标边缘输入的绘制模板类型。
具体的,用户根据目标边缘的结构确定目标边缘的绘制模板类型,通过图形用户界面输入绘制模板类型,输入绘制模板类型的操作可以是用户通过文本框输入,比如可以提前为每种绘制模板类型设定一个类型标识,通过文本框输入该类型标识,比如1,2或3。输入绘制模板类型的操作也可以由图形用户界面提供所有绘制模板类型的下拉菜单选项按钮,用户从中选择对应的绘制模板类型。例如,目标边缘为带圆角的矩形时,用户可以通过图形用户界面的文本框输入圆角矩形的预设轮廓模板的类型标识1,或者,也可以在下拉菜单选择圆角矩形的预设轮廓模板选项按钮。
需要说明的是,步骤S1021和步骤S1022可以同时执行,也可以先后执行,且执行先后顺序不做限制,例如,用户可以先绘制矩形框,再输入绘制模板类型,或者,也可以先输入绘制模板类型,再绘制矩形框。
S1023. 根据该绘制模板类型、以及矩形框的显示位置和显示尺寸,在该工件图像上生成初始标准轮廓框。
在一些实施例中,上述步骤S1023具体可以包括:
从预设轮廓模板库中确定该绘制模板类型对应的预设轮廓模板;
根据该矩形框的显示尺寸,对该预设轮廓模板的尺寸进行调整,得到初始标准轮廓框;
根据该矩形框的显示位置,在该工件图像上生成该初始标准轮廓框。
其中,预设轮廓模板库预先设置在电子设备中,预设轮廓模板库中包括直线段和/或圆弧组成的多种轮廓模板,比如圆、圆角、矩形、圆角矩形等。具体的,可以根据矩形框的长度和宽度对应地调整预设轮廓模板的尺寸以得到初始标准轮廓框,以矩形框的中心点位置坐标作为初始标准轮廓框的中心点位置坐标,以在工件图像上矩形框的相同位置处生成初始标准轮廓框。例如,请参见图4,图4是本申请实施例提供的工件图像中初始标准轮廓框的展示示意图,可以将图3中矩形框的长度作为圆角矩形的初始标准轮廓框中矩形的长度,将矩形框的宽度作为圆角的直径,将矩形框的中心点位置作为矩形的中心点位置。
S103. 确定该工件图像中该初始标准轮廓框覆盖的图像区域,作为第一图像区域。
其中,初始标准轮廓框覆盖的区域,比如图4中圆角矩形的初始标准轮廓框覆盖的区域即为第一图像区域。
S104. 根据该第一图像区域和该初始标准轮廓框,生成该目标边缘的拟合轮廓。
在一些实施例中,请继续参见图2,步骤S104具体可以包括:
S1041. 确定该第一图像区域中像素点的灰度值。
具体的,当工件图像是彩色图像时,需要将第一图像区域进行灰度化处理,灰度化即将彩色图像转化为灰度图像,彩色图像包含红色(R)、绿色(G)和蓝色(B)三个通道,灰度图像只有一个通道,灰度化的过程中,每个像素点的RGB值被组合成一个单一的灰度值,灰度值可以是0-255中的任意一个数值。
S1042. 根据该灰度值对该初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框。
其中,由于轮廓一般由灰度值变化剧烈、且连续的一系列像素点组成,而初始标准轮廓框尺寸是用户手动输入的,和工件的实际轮廓尺寸存在一定的差距,故可以基于灰度值自动调整初始标准轮廓框的尺寸,使其贴合目标边缘。
在一些实施例中,上述步骤S1042具体可以包括:
确定该初始标准轮廓框的中心位置;
对该初始标准轮廓框中的各边朝该中心位置做逐步逼近操作,以对该初始标准轮廓框的尺寸进行调整;
在逐步逼近过程中,确定各边在相邻两次逼近时对应的像素点之间的灰度差值;
当该灰度差值小于预设阈值时,继续该逐步逼近操作,当该灰度差值大于预设阈值时,结束该逐步逼近操作,结束逐步逼近操作时刻的标准轮廓框即为上述粗定位轮廓框。
其中,初始标准轮廓框的中心位置可以为上述矩形框的中心位置,逐步逼近一次的单位为一个像素。预设阈值用于界定灰度值变化是否明显,当灰度差值大于或等于预设阈值时,可以认为灰度值变化明显,此时,该像素点大概率为轮廓线中的像素点,当灰度差值小于预设阈值时,可以认为灰度值变化小,此时,该像素点大概率不是轮廓线中的像素点。
S1043. 获取该第一图像区域中该粗定位轮廓框覆盖的图像区域,作为第二图像区域。
S1044. 根据该第二图像区域和该粗定位轮廓框,生成该目标边缘的拟合轮廓。
在一些实施例中,该目标边缘包括圆角,上述步骤S1044具体可以包括:
对该第二图像区域中该粗定位轮廓框各边对应的图像区域进行亚像素级边缘检测,得到多个边缘检测点;
通过最小二乘法对该多个边缘检测点进行拟合,得到不连续的多条拟合线段,该拟合线段包括直线段和圆弧线段;
对该多条拟合线段进行拟合,得到该目标边缘的拟合轮廓。
其中,粗定位轮廓框各边对应的图像区域可以看作包含各边的一定范围内的图像区域,亚像素级边缘检测是一种用于精细化边缘检测的技术,亚像素是将像素这个基本单位再进行细分,亚像素级边缘检测可得到粗定位轮廓框各边及其附近的所有边缘检测点。当工件图像存在背景不干净,目标边缘不清晰的缺陷时,采用亚像素级边缘检测可以避免这种缺陷对边缘检测的干扰,仍可以得到高精度的边缘点坐标。具体的,亚像素级边缘检测可得到边缘检测点的斜率信息,当目标边缘包括圆角时,可进一步根据边缘检测点的斜率信息将所有边缘检测点分为直线边缘点和圆弧边缘点,再分别对直线边缘点和圆弧边缘点进行最小二乘法拟合,得到直线段和圆弧线段。最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具,它通过最小化误差的平方和寻找数据的最佳函数匹配。
需要说明的是,由于加工误差等原因,待检测工件中的圆角并不是和直边进行相切,故通过最小二乘法直接拟合出的拟合轮廓大概率不是一条连续的轮廓线,而是多段非连续的拟合线段,因此,需要进行进一步拟合。
在一些实施例中,可以根据公切线定理对直线段和圆弧线段进行进一步拟合,公切线定理为过圆外一点可以对圆做两条切线,和两个圆同时相切的线叫做公切线,两条相交的直线有且唯有一个内切圆。请参见图5,图5是本申请实施例提供的基于公切线定理拟合边缘轮廓的展示示意图,上述对该多条拟合线段进行拟合,具体可以包括以下步骤:
确定直线段与圆弧线段之间距离最小的最小垂线段;
取该最小垂线段的中点,做该圆弧线段的切线,该切线与该圆弧线段相切于第一切点;
过该第一切点做一个内切圆与该直线段相切于第二切点;
将该内切圆上第一切点与第二切点之间的连线作为拟合圆弧线段,该直线段与该圆弧线段通过该拟合圆弧线段连接;
将相连接的该拟合圆弧线段、该直线段和该圆弧线段作为该目标边缘的拟合轮廓。
具体的,在实际生产线的产品外观检测中,本申请实施例提供的工件轮廓的拟合定位方法可以得到待检测工件的目标边缘的拟合轮廓,与此同时,还可以直接根据现有的二值化提取算法或边缘轮廓算法生成目标边缘的实际轮廓,而由于现有算法无法区分正常边缘与缺陷边缘,比如对于图3和图4中具有带缺口圆角的待检测工件,现有算法生成的实际圆角轮廓也会存在缺口,此时,通过将待检测工件的实际边缘轮廓与本申请实施例中拟合定位方法得到的拟合轮廓进行比对,即可得到待检测工件的边缘缺陷,进而根据边缘缺陷判断产品是否合格。
本申请实施例提供的工件轮廓的拟合定位方法,通过在图形用户界面上显示工件图像,工件图像包括目标边缘;响应于用户通过图形用户界面针对目标边缘输入的绘制信息,在工件图像上生成初始标准轮廓框,目标边缘位于初始标准轮廓框内;确定工件图像中初始标准轮廓框覆盖的图像区域,作为第一图像区域;根据第一图像区域和初始标准轮廓框,生成目标边缘的拟合轮廓,从而能实现对各种外观缺陷的工件的轮廓定位,应用范围广,且工件轮廓的拟合定位精度高。
根据上述实施例描述的方法,本申请实施例还提供一种工件轮廓的拟合定位装置。请参见图6,图6是本申请实施例提供的工件轮廓的拟合定位装置200的结构示意图,该工件轮廓的拟合定位装置200包括:
显示模块201,用于在图形用户界面上显示待检测工件的工件图像,该工件图像包括目标边缘;
生成模块202,用于响应于用户通过该图形用户界面针对该目标边缘输入的绘制信息,在该工件图像上生成初始标准轮廓框,该目标边缘位于该初始标准轮廓框内;
确定模块203,用于确定该工件图像中该初始标准轮廓框覆盖的图像区域,作为第一图像区域;
拟合模块204,用于根据该第一图像区域和所述初始标准轮廓框,生成该目标边缘的拟合轮廓。
在一些实施例中,该生成模块202具体用于:
获取用户在该图形用界面上绘制的矩形框的显示位置和显示尺寸,该目标边缘位于该矩形框内;
获取用户通过该图形用户界面针对该目标边缘输入的绘制模板类型;
根据该绘制模板类型、以及该矩形框的显示位置和显示尺寸,在该工件图像上生成初始标准轮廓框。
在一些实施例中,该生成模块202具体用于:
从预设轮廓模板库中确定该绘制模板类型对应的预设轮廓模板;
根据该矩形框的显示尺寸,对该预设轮廓模板的尺寸进行调整,得到初始标准轮廓框;
根据该矩形框的显示位置,在该工件图像上生成该初始标准轮廓框。
在一些实施例中,该拟合模块204具体用于:
确定该第一图像区域中像素点的灰度值;
根据该灰度值对该初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框;
获取该第一图像区域中该粗定位轮廓框覆盖的图像区域,作为第二图像区域;
根据该第二图像区域和该粗定位轮廓框,生成该目标边缘的拟合轮廓。
在一些实施例中,该拟合模块204具体用于:
确定该初始标准轮廓框的中心位置;
对该初始标准轮廓框中的各边朝该中心位置做逐步逼近操作,以对该初始标准轮廓框的尺寸进行调整;
在逐步逼近过程中,确定各边在相邻两次逼近时对应的像素点之间的灰度差值;
当该灰度差值大于预设阈值时,结束该逐步逼近操作,并将当前的该初始标准轮廓框作为粗定位轮廓框。
在一些实施例中,该拟合模块204具体用于:
对该第二图像区域中所述粗定位轮廓框各边对应的图像区域进行亚像素级边缘检测,得到多个边缘检测点;
通过最小二乘法对该多个边缘检测点进行拟合,得到不连续的多条拟合线段,该拟合线段包括直线段和圆弧线段;
对该多条拟合线段进行拟合,得到该目标边缘的拟合轮廓。
在一些实施例中,该拟合模块204具体用于:
确定直线段与圆弧线段之间距离最小的最小垂线段;
取该最小垂线段的中点,做该圆弧线段的切线,该切线与该圆弧线段相切于第一切点;
过该第一切点做一个内切圆与该直线段相切于第二切点;
将该内切圆上第一切点与第二切点之间的连线作为拟合圆弧线段,该直线段与该圆弧线段通过该拟合圆弧线段连接;
将相连接的该拟合圆弧线段、该直线段和该圆弧线段作为该目标边缘的拟合轮廓。
本申请实施例中的工件轮廓的拟合定位装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
在一些实施例中,如图7所示,本申请实施例还提供一种电子设备300,包括处理器301、存储器302及存储在存储器302上并可在处理器301上运行的计算机程序,该程序被处理器301执行时实现上述工件轮廓的拟合定位方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为本申请实施例提供的电子设备的硬件示意图。
该电子设备400包括但不限于:射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409以及处理器410等部件。
本领域技术人员可以理解,电子设备400还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,输入单元404,在本申请实施例中可以为摄像机,用于拍摄待测工件图像。
显示单元406,用于在图形用户界面上显示待检测工件的工件图像,该工件图像包括目标边缘。
处理器410用于:
响应于用户通过该图形用户界面针对该目标边缘输入的绘制信息,在该工件图像上生成初始标准轮廓框,该目标边缘位于该初始标准轮廓框内;
确定该工件图像中该初始标准轮廓框覆盖的图像区域,作为第一图像区域;
根据该第一图像区域和所述初始标准轮廓框,生成该目标边缘的拟合轮廓。
在一些实施例中,处理器410具体用于:
获取用户在该图形用界面上绘制的矩形框的显示位置和显示尺寸,该目标边缘位于该矩形框内;
获取用户通过该图形用户界面针对该目标边缘输入的绘制模板类型;
根据该绘制模板类型、以及该矩形框的显示位置和显示尺寸,在该工件图像上生成初始标准轮廓框。
在一些实施例中,处理器410具体用于:
从预设轮廓模板库中确定该绘制模板类型对应的预设轮廓模板;
根据该矩形框的显示尺寸,对该预设轮廓模板的尺寸进行调整,得到初始标准轮廓框;
根据该矩形框的显示位置,在该工件图像上生成该初始标准轮廓框。
在一些实施例中,处理器410具体用于:
确定该第一图像区域中像素点的灰度值;
根据该灰度值对该初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框;
获取该第一图像区域中该粗定位轮廓框覆盖的图像区域,作为第二图像区域;
根据该第二图像区域和该粗定位轮廓框,生成该目标边缘的拟合轮廓。
在一些实施例中,处理器410具体用于:
确定该初始标准轮廓框的中心位置;
对该初始标准轮廓框中的各边朝该中心位置做逐步逼近操作,以对该初始标准轮廓框的尺寸进行调整;
在逐步逼近过程中,确定各边在相邻两次逼近时对应的像素点之间的灰度差值;
当该灰度差值大于预设阈值时,结束该逐步逼近操作,并将当前的该初始标准轮廓框作为粗定位轮廓框。
在一些实施例中,处理器410具体用于:
对该第二图像区域中所述粗定位轮廓框各边对应的图像区域进行亚像素级边缘检测,得到多个边缘检测点;
通过最小二乘法对该多个边缘检测点进行拟合,得到不连续的多条拟合线段,该拟合线段包括直线段和圆弧线段;
对该多条拟合线段进行拟合,得到该目标边缘的拟合轮廓。
在一些实施例中,处理器410具体用于:
确定直线段与圆弧线段之间距离最小的最小垂线段;
取该最小垂线段的中点,做该圆弧线段的切线,该切线与该圆弧线段相切于第一切点;
过该第一切点做一个内切圆与该直线段相切于第二切点;
将该内切圆上第一切点与第二切点之间的连线作为拟合圆弧线段,该直线段与该圆弧线段通过该拟合圆弧线段连接;
将相连接的该拟合圆弧线段、该直线段和该圆弧线段作为该目标边缘的拟合轮廓。
应理解的是,本申请实施例中,输入单元404可以包括图形处理器(GraphicsProcessing Unit,GPU)4041和麦克风4042,图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072中的至少一种。触控面板4071,也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器409可以包括易失性存储器或非易失性存储器,或者,存储器409可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器409包括但不限于这些和任意其它适合类型的存储器。
处理器410可包括一个或多个处理单元;处理器410集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器410中。
本申请实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述工件轮廓的拟合定位方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种工件轮廓的拟合定位方法,其特征在于,包括:
在图形用户界面上显示待检测工件的工件图像,所述工件图像包括目标边缘;
响应于用户通过所述图形用户界面针对所述目标边缘输入的绘制信息,在所述工件图像上生成初始标准轮廓框,所述目标边缘位于所述初始标准轮廓框内;
确定所述工件图像中所述初始标准轮廓框覆盖的图像区域,作为第一图像区域;
根据所述第一图像区域和所述初始标准轮廓框,生成所述目标边缘的拟合轮廓。
2.根据权利要求1所述的工件轮廓的拟合定位方法,其特征在于,所述响应于用户通过所述图形用户界面针对所述目标边缘输入的绘制信息,在所述工件图像上生成初始标准轮廓框,包括:
获取用户在所述图形用户界面上绘制的矩形框的显示位置和显示尺寸,所述目标边缘位于所述矩形框内;
获取用户通过所述图形用户界面针对所述目标边缘输入的绘制模板类型;
根据所述绘制模板类型、以及所述矩形框的显示位置和显示尺寸,在所述工件图像上生成初始标准轮廓框。
3.根据权利要求2所述的工件轮廓的拟合定位方法,其特征在于,所述根据所述绘制模板类型、以及所述矩形框的显示位置和显示尺寸,在所述工件图像上生成初始标准轮廓框,包括:
从预设轮廓模板库中确定所述绘制模板类型对应的预设轮廓模板;
根据所述矩形框的显示尺寸,对所述预设轮廓模板的尺寸进行调整,得到初始标准轮廓框;
根据所述矩形框的显示位置,在所述工件图像上生成所述初始标准轮廓框。
4.根据权利要求1所述的工件轮廓的拟合定位方法,其特征在于,所述根据所述第一图像区域和所述初始标准轮廓框,生成所述目标边缘的拟合轮廓,包括:
确定所述第一图像区域中像素点的灰度值;
根据所述灰度值对所述初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框;
获取所述第一图像区域中所述粗定位轮廓框覆盖的图像区域,作为第二图像区域;
根据所述第二图像区域和所述粗定位轮廓框,生成所述目标边缘的拟合轮廓。
5.根据权利要求4所述的工件轮廓的拟合定位方法,其特征在于,所述根据所述灰度值对所述初始标准轮廓框的尺寸进行调整,得到粗定位轮廓框,包括:
确定所述初始标准轮廓框的中心位置;
对所述初始标准轮廓框中的各边朝所述中心位置做逐步逼近操作,以对所述初始标准轮廓框的尺寸进行调整;
在逐步逼近过程中,确定各边在相邻两次逼近时对应的像素点之间的灰度差值;
当所述灰度差值大于预设阈值时,结束所述逐步逼近操作,并将当前的所述初始标准轮廓框作为粗定位轮廓框。
6.根据权利要求4所述的工件轮廓的拟合定位方法,其特征在于,所述目标边缘包括圆角,所述根据所述第二图像区域和所述粗定位轮廓框,生成所述目标边缘的拟合轮廓,包括:
对所述第二图像区域中所述粗定位轮廓框各边对应的图像区域进行亚像素级边缘检测,得到多个边缘检测点;
通过最小二乘法对所述多个边缘检测点进行拟合,得到不连续的多条拟合线段,所述拟合线段包括直线段和圆弧线段;
对所述多条拟合线段进行拟合,得到所述目标边缘的拟合轮廓。
7.根据权利要求6所述的工件轮廓的拟合定位方法,其特征在于,所述对所述多条拟合线段进行拟合,包括:
确定所述直线段与所述圆弧线段之间距离最小的最小垂线段;
取所述最小垂线段的中点,做所述圆弧线段的切线,所述切线与所述圆弧线段相切于第一切点;
过所述第一切点做一个内切圆与所述直线段相切于第二切点;
将所述内切圆上所述第一切点与所述第二切点之间的连线作为拟合圆弧线段,所述直线段与所述圆弧线段通过所述拟合圆弧线段连接;
将相连接的所述拟合圆弧线段、所述直线段和所述圆弧线段作为所述目标边缘的拟合轮廓。
8.一种工件轮廓的拟合定位装置,其特征在于,包括:
显示模块,用于在图形用户界面上显示待检测工件的工件图像,所述工件图像包括目标边缘;
生成模块,用于响应于用户通过所述图形用户界面针对所述目标边缘输入的绘制信息,在所述工件图像上生成初始标准轮廓框,所述目标边缘位于所述初始标准轮廓框内;
确定模块,用于确定所述工件图像中所述初始标准轮廓框覆盖的图像区域,作为第一图像区域;
拟合模块,用于根据所述第一图像区域和所述初始标准轮廓框,生成所述目标边缘的拟合轮廓。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的工件轮廓的拟合定位方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的工件轮廓的拟合定位方法。
CN202311217437.6A 2023-09-20 2023-09-20 工件轮廓的拟合定位方法、装置及存储介质 Active CN116958515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311217437.6A CN116958515B (zh) 2023-09-20 2023-09-20 工件轮廓的拟合定位方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311217437.6A CN116958515B (zh) 2023-09-20 2023-09-20 工件轮廓的拟合定位方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116958515A true CN116958515A (zh) 2023-10-27
CN116958515B CN116958515B (zh) 2023-12-22

Family

ID=88442912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311217437.6A Active CN116958515B (zh) 2023-09-20 2023-09-20 工件轮廓的拟合定位方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116958515B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830336A (zh) * 2024-03-04 2024-04-05 福建帝视科技集团有限公司 一种基于线扫描相机成像的多边形轮廓检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089498B1 (ko) * 2019-09-23 2020-03-19 (주)씨앤에스아이 아날로그 게이지용 측정장치 및 그 동작방법
CN111462081A (zh) * 2020-03-31 2020-07-28 西安工程大学 一种用于工件表面质量检测的特征区域快速提取方法
CN115937203A (zh) * 2023-01-09 2023-04-07 浙江智慧视频安防创新中心有限公司 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN116433701A (zh) * 2023-06-15 2023-07-14 武汉中观自动化科技有限公司 一种工件孔洞轮廓的提取方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089498B1 (ko) * 2019-09-23 2020-03-19 (주)씨앤에스아이 아날로그 게이지용 측정장치 및 그 동작방법
CN111462081A (zh) * 2020-03-31 2020-07-28 西安工程大学 一种用于工件表面质量检测的特征区域快速提取方法
CN115937203A (zh) * 2023-01-09 2023-04-07 浙江智慧视频安防创新中心有限公司 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN116433701A (zh) * 2023-06-15 2023-07-14 武汉中观自动化科技有限公司 一种工件孔洞轮廓的提取方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830336A (zh) * 2024-03-04 2024-04-05 福建帝视科技集团有限公司 一种基于线扫描相机成像的多边形轮廓检测方法及装置

Also Published As

Publication number Publication date
CN116958515B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US10915070B2 (en) Image display apparatus, image display method and storage medium
CN116958515B (zh) 工件轮廓的拟合定位方法、装置及存储介质
US20170308736A1 (en) Three dimensional object recognition
CN107356213B (zh) 滤光片同心度测量方法及终端设备
CN113379723B (zh) 不规则溢胶口检测方法、装置、设备和存储介质
CN112150580A (zh) 一种图像处理方法、装置、智能终端及存储介质
CN116188379A (zh) 边缘缺陷检测方法、装置、电子设备及存储介质
CN112381765A (zh) 基于人工智能的设备检测方法、装置、设备及存储介质
CN115345844A (zh) 一种基于智能机器人的喷涂方法、装置及电子设备及介质
CN116152166A (zh) 基于特征相关性的缺陷检测方法及相关装置
CN116053549A (zh) 电芯定位方法、装置及系统
CN114299056A (zh) 图像的瑕疵点的识别方法、瑕疵图像识别模型训练方法
CN116486126B (zh) 一种模版确定方法、装置、设备及存储介质
Ali et al. Camera based precision measurement in improving measurement accuracy
CN117408278A (zh) 图像处理方法和装置
CN109740337B (zh) 一种实现滑块验证码识别的方法及装置
CN116320334A (zh) 投影画面颜色校正方法、装置、投影设备和存储介质
CN107818584B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN114820968A (zh) 三维可视化方法和装置、机器人、电子设备和存储介质
US20200320761A1 (en) Structural facial modifications in images
CN114119609B (zh) 图像污点浓度的检测方法、装置、设备及存储介质
CN115393220A (zh) 图像处理方法及相关设备
CN116309285A (zh) 产品检测轨迹确定方法和装置
CN117474858A (zh) 缺陷检测方法、装置、视觉检测系统及电子设备
CN114327715A (zh) 界面显示方法、界面显示装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant