CN110560376A - 一种产品表面缺陷检测方法及装置 - Google Patents
一种产品表面缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN110560376A CN110560376A CN201910657177.1A CN201910657177A CN110560376A CN 110560376 A CN110560376 A CN 110560376A CN 201910657177 A CN201910657177 A CN 201910657177A CN 110560376 A CN110560376 A CN 110560376A
- Authority
- CN
- China
- Prior art keywords
- product
- image
- defect detection
- images
- label data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种产品表面缺陷检测方法及装置,该方法包括:服务器接收来自终端的用于获取工艺线路上产品表面信息的请求。获取多个包含第一产品表面的第一图像、以及各第一图像的标签数据。根据多个第一图像和各第一图像的标签数据,更新预设的产品表面缺陷检测模型。接收来自图像采集设备的包含第二产品表面的第二图像。其中,第二产品的产品类型与第一产品的产品类型对应。根据更新后的产品表面缺陷检测模型对第二图像进行识别,确定第二图像中的产品表面是否存在缺陷。通过上述技术方案,能够在产品生产过程中实时检测产品表面缺陷,降低人力成本、提升整个生产过程的柔性程度。
Description
技术领域
本申请涉及检测技术领域,尤其涉及一种产品表面缺陷检测方法及装置。
背景技术
在产品生产过程中,产品及其产品的零部件的表面都会不可避免的产生多种类型的缺陷,例如错位、划痕、污染等。因此,产品表面缺陷检测成为产品生产过程中质量检测环节必不可少的一部分。
目前,产品表面缺陷检测方法主要包括人工检测和机器视觉检测两种。人工检测的方式,存在检测效率低、产品生产成本高等问题。机器视觉检测的方式,可以实现表面缺陷检测的自动化,但是在现有的机器视觉检测中的表面缺陷检测模型都只是针对某种特定的产品表面或者特定的某类缺陷进行检测。但是,在实际的生产过程中,一条生产线可能生产多种产品,不同类型的产品的表面缺陷类型也可能不相同。此时,对不同的产品检测表面缺陷时,都需要设计开发不同的表面缺陷检测模型,整个过程周期长,耗费的时间和人力成本也较高,缺乏柔性。
发明内容
本申请实施例提供了一种产品表面缺陷检测方法及装置,旨在解决在多类型的产品生产过程中现有的产品表面缺陷检测方法成本高、灵活性差、柔性程度低的问题。
本申请实施例提供了一种产品表面缺陷检测方法,该方法包括:接收来自终端的用于获取工艺线路上产品表面信息的请求;产品表面信息包括产品表面图像、产品表面图像的标签数据;;获取多个包含第一产品表面的第一图像、以及各第一图像的标签数据。其中,第一图像的标签数据用于表示第一图像对应的产品表面是否存在缺陷;第一产品与第一图像一一对应,且各第一产品产品类型相同。根据多个第一图像和各第一图像的标签数据,更新预设的产品表面缺陷检测模型。接收来自图像采集设备的包含第二产品表面的第二图像。其中,第二产品的产品类型与第一产品的产品类型相同。根据更新后的产品表面缺陷检测模型对第二图像进行识别,确定第二图像中的产品表面是否存在缺陷。
在一种可能实现的方式中,多个包含第一产品表面的第一图像为工艺线路上的图像采集设备对到达表面缺陷检测区域的第一产品的表面采集得到的。所述各第一图像的标签数据为工艺线路上的标签识别设备对第一产品上的电子标签识别得到的。
在一种可能实现的方式中,在接收来自图像采集设备的包含第二产品表面的第二图像之前,方法还包括:接收终端发送的第二产品的工艺标准信息。其中,工艺标准信息至少包括:外形尺寸信息、进行缺陷检测的表面对应的位置信息。根据工艺标准信息,向机械臂发送相应的调整指令,以使于机械臂固连的图像采集设备调整至与第二产品进行缺陷检测的表面相应的位置。其中,所述机械臂位于产品的工艺路线上,用于调整所述图像采集设备的位置和方向。
在一种可能实现的方式中,在确定第二图像中的产品表面是否存在缺陷之后,方法还包括:在第二图像中的产品表面存在缺陷的情况下,向流道方向控制装置发送第一方向指令,以使流道方向控制装置控制第二图像对应的第二产品流向不良品流道。其中,所述流道方向控制装置位于所述工艺线路上,且用于调整工艺线路上产品的传送方向。
在一种可能实现的方式中,在更新预设的产品表面缺陷检测模型之后,方法还包括:获取预先存储的多个包含第三产品的表面的第三图像、以及各第三图像的标签数据。其中,第三产品的产品类型与第一产品的产品类型相同,第三图像的标签数据用于表示第三产品的表面是否存在缺陷。根据多个第三图像、以及各第三图像的标签数据,确定根据更新后的产品表面缺陷检测模型识别出的表面存在缺陷的第三产品的准确率。在准确率超出预设阈值的情况下,确定更新后的产品表面缺陷检测模型更新完成。
相应地,本申请实施例还提供了一种产品表面缺陷检测装置,该装置包括:第一接收单元,用于接收来自终端的用于获取工艺线路上产品表面信息的请求。产品表面信息包括产品表面图像、产品表面图像的标签数据;。第一获取单元,用于获取多个包含第一产品表面的第一图像、以及各第一图像的标签数据;其中,第一图像的标签数据用于表示第一图像对应的产品表面是否存在缺陷;所述第一产品与所述第一图像一一对应,且各第一产品产品类型相同。更新单元,用于根据多个第一图像和各第一图像的标签数据,更新预设的产品表面缺陷检测模型。其中,所述产品表面缺陷检测模型用于检测产品表面是否存在缺陷。第二接收单元,用于接收来自图像采集设备的包含第二产品表面的第二图像;其中,第二产品的产品类型与第一产品的产品类型相同。第一确定单元,用于根据更新后的产品表面缺陷检测模型对第二图像进行识别,确定第二图像中的产品表面是否存在缺陷。
在一种可能实现的方式中,第一获取单元具体用于:多个包含第一产品表面的第一图像为工艺线路上的图像采集设备对到达表面缺陷检测区域的第一产品的表面采集得到的。各第一图像的标签数据为工艺线路上的标签识别设备对第一产品上的电子标签识别得到的。
在一种可能实现的方式中,装置还包括:第三接收单元,用于接收终端发送的第二产品的工艺标准信息。其中,工艺标准信息至少包括:外形尺寸信息、进行缺陷检测的表面对应的位置信息。第一发送单元,用于根据工艺标准信息,向机械臂发送相应的调整指令,以使于机械臂固连的图像采集设备调整至与第二产品进行缺陷检测的表面相应的位置;其中,所述机械臂位于产品的工艺路线上,用于调整所述图像采集设备的位置和方向。
在一种可能实现的方式中,装置还包括:第二发送单元,用于在第二图像中的产品表面存在缺陷的情况下,向流道方向控制装置发送第一方向指令,以使流道方向控制装置控制第二图像对应的第二产品流向不良品流道。其中,所述流道方向控制装置位于所述工艺线路上,且用于调整工艺线路上产品的传送方向。
在一种可能实现的方式中,装置还包括:第二获取单元,用于获取预先存储的多个包含第三产品的表面的第三图像以及各第三图像的标签数据。其中,第三产品的产品类型与第一产品的产品类型相同,第三图像的标签信息用于表示第三产品的表面是否存在缺陷。第二确定单元,用于根据多个第三图像以及各第三图像的标签数据,确定根据更新后的产品表面缺陷检测模型识别出的表面存在缺陷的第三产品的准确率。第三确定单元,用于在准确率超出预设阈值的情况下,确定更新后的产品表面缺陷检测模型更新完成。
本申请实施例提供了一种产品表面缺陷检测方法及装置,通过前期对第一产品的图像和标签数据的采集,完成预设的产品表面缺陷检测模型的更新。根据更新后的产品表面缺陷检测模型,可以自动识别与第一产品同类型的产品。减少了不同类型产品对应的产品表面缺陷检测模型的训练、生成的成本。并且,通过上述方法及装置,在生产多类型产品时,能够灵活适配不同类型产品的表面缺陷检测,实现柔性生产。以及,大大降低了产品表面缺陷检测的装置成本和人类成本,提高了生产的工作效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种产品表面缺陷检测方法的应用场景图;
图2为本申请实施例提供的一种产品表面缺陷检测方法的流程图;
图3为本申请实施例提供的图2中步骤S202的流程图;
图4为本申请实施例提供的一种产品表面缺陷检测装置的结构示意图。
具体实施方式
为了更清楚的阐释本申请的整体构思,下面结合说明书附图以示例的方式进行详细说明。
图1为本申请实施例提供的一种产品表面缺陷检测方法的应用场景图。如图1所示,在生产的工艺线路上包括多到工序,例如表面缺陷检测工序,在工艺线路的表面缺陷检区域中设置有机械臂130以及与机械臂130固连的图像采集设备140。
在工艺线路上,终端110向服务器120发送产品表面缺陷检测请求,当进行表面缺陷检测的待检测产品从上一道工序到达表面缺陷检测区域时,服务器120向机械臂130和图像采集设备140发送相应的指令。在机械臂130根据接收的指令调整到合适的位置后,图像采集设备140对待检测产品进行拍摄,获得该待检测产品的表面图像并通过终端110传送给服务器120。
服务器120根据产品表面缺陷模型对接收到的待检测产品的表面图像进行识别,确定待检测产品表面是否存在缺陷。在待检测产品表面存在缺陷情况下,流道方向控制装置150调整待检测产品的流向使待检测产品从表面缺陷检测工序流向不良品流道;在产品表面没有缺陷的情况下,流道方向控制装置150控制待检测产品从表面缺陷检测工序流向下一道生产工序。
在本申请说明书中,上述服务器120可以是边缘计算服务器,通过边缘计算能够减少请求响应的时间,减少网络带宽同时能够保证阐述数据的安全性和私密性。
图2为本申请实施例提供的一种产品表面检测方法的流程示意图,如图2所示,该方法包括以下步骤:
S201,终端110向服务器120发送用于获取工艺线路上产品表面信息的请求。
其中,上述产品表面信息包括产品表面图像、产品表面图像的标签数据。这里所提到的产品表面图像的标签数据用于表示图像对应的产品表面是否存在缺陷
本申请实施例中,上述终端可以是诸如手机、电脑等设备。
S202,服务器120获取多个包含第一产品表面的第一图像、以及各第一图像的标签数据。
其中,第一图像的标签数据用于表示第一产品的产品表面是否存在缺陷。另外,第一产品与第一图像一一对应,且各第一产品的产品类型相同。
在本申请实施例中,产品类型可以根据产品工艺标准进行划分,例如,平板电脑和手机都需要进行表面是否有划分的检测,可以将平板电脑和手机统一成一种产品类型。
需要说明的是,在实际的产品生产过程中,不同类型的产品所需要检测表面缺陷类型不同,这里所提到的表面缺陷检测类型可以包括划痕、凹坑、斑点、色差、缺损、错位等。例如,A类型产品在实际生产过程中只需确认表面是否具有划痕,而B类型产品在实际生产过程中需要确定表面是否具有色差。
在本申请的一种实施方式中,可以通过以下方式获取多个包含第一产品表面的第一图像、以及各第一图像的标签数据,如图3所示,具体步骤包括:
S301,终端110向服务器120发送第一产品的工艺标准信息。其中,工艺标准信息至少包括:外形尺寸信息、进行缺陷检测的表面对应的位置信息。
S302,服务器120根据上述工艺标准信息向工艺线路中的机械臂130发送相应的调整指令。
不同产品因各自独有的特性,需要进行缺陷检测的表面的位置也不相同。为了采集到合适的表面图像,图像采集设备140需要放置在不同的位置以实现合适的表面图像的采集,将图像采集设备140与机械臂130固连,这里所提到的固连可以是卡接、焊接、粘结等形式,可以通过调整机械臂130以调整图像采集设备140的位置。例如,将机械臂130的角度调整为50度,可以使图像采集设备140采集到A产品的上表面。
在本申请实施例中,机械臂130上固连有图像采集装置140,根据相应的调整指令机械臂130调整其自身的角度,以实现图像采集装置140方位和角度的调整,从而使图像采集设备140调整至与第二产品进行缺陷检测的表面相应的位置。并且,可以预先存储产品的工艺标准信息与图像采集设备140的位置相对应的信息,以便于随时调用。
S303,在实际生产的工艺线路上,传感器(图中未示出)实时采集工艺线路上的表面缺陷检测区域的数据,以确定工艺线路上的第一产品是否到达表面缺陷检测区域。
需要说明的是,表面缺陷检测区域是指工艺线路上专门对产品的表面缺陷进行检测的区域。
上述传感器可以是压力传感器、红外传感器等。以压力传感器为例,压力传感器可以放置在表面缺陷检测区域中传动带的下方,当压力传感器采集到的数据与预设阈值匹配时,就确定该产品到达表面缺陷检测区域。
S304,在确定第一产品到达表面缺陷检测区域后,图像采集设备140对第一产品的表面进行拍摄,获取第一图像。
服务器120在确定第一产品到达工艺线路上的表面缺陷检测区域后,会向图像采集设备140发送指令,该指令用于指示图像采集设备140进行拍摄。
在本申请实施例中,上述图像采集设备140可以是相机、摄像机、以及带有拍照功能的设备(手机)等等。
S305,标签识别设备(图中未示出)对产品上的电子标签进行识别,获得第一图像的标签数据。
其中,第一图像的标签数据用于表示第一图像对应的产品表面是否存在缺陷。
在本申请实施例中,在第一图像对应的产品为带有电子标签的产品,这里所提到的电子标签可以是条形码、二维码等形式的标签,工艺线路上的标签识别设备可以对产品上的电子标签进行识别,得到该产品对应的第一图像的标签数据。例如,B产品的电子标签为条形码,则对应的标签识别设备可以是条码扫描器。
另外,标签识别设备也可以通过图像采集设备140一样固连在机械臂上,标签识别设备可以和图像采集设备140机械臂130上,也可以是不同机械臂130要说明的是,由本领域技术人员可知,上述步骤S305可以在步骤S301之前完成,也可以在步骤S301之后的任意时刻完成,在本申请实施例中不加以限定。
此外,在本申请的另一种实施方式中,在服务器120接收到获取工艺线路上产品表面信息的请求之后,可以获取预先存储大量的第一图像、各第一图像的标签数据和产品类型,用于更新预设的产品表面缺陷检测模型。
其中,所述预设的产品表面缺陷检测模型是一种训练好的神经网络模型。
在实际应用过程中,神经网络模型的训练需要大量的样本数据,所消耗的计算机资源也较大,这样会制约神经网络模型的应用场景,因此需要一种方法对神经网络模型进行压缩。
在本申请实施例中,可以通过以下方法对神将网络模型进行压缩:
对于神经网络模型中的输出层,找出该输出层中所有的输入参数,并将这些输入参数用集合的方式表示,得到该输出层的输入参数集合。
分别对模型参数集合N中的每个输入参数xi进行log变换,得到log参数集合M,该log参数集合M中的元素即为转换参数yi。其中,xi是输入参数集合N中的第i个输入参数,yi为log参数集合M中的第i个转换参数。
需要说明的是,为了在后续实际应用中,能够对压缩的数据进行解压实现正常的使用,在后续还需对压缩后的参数值进行指数变换,使其变换为原数据类型。
再通过预设的量化公式:分别将每个转换参数yi量化到间隔为该预设的量化步长的数轴上并取整数,得到该输入参数对应的量化参数的值。上述预设的量化步长可以是根据实际需求决定的。其中,round()为取整函数,s为预设的量化步长,hi为第i个量化参数的值,第i个量化参数是由第i个转换参数yi进行量化后得到的。
对多个量化参数的值进行从大到小排序,并从排序后的多个量化参数的值中,选取排列靠前目标个数的值,将这些排列靠前的值所对应的量化参数作为采样量化点。
针对第i个量化参数,分别计算第i个量化参数的值与每个采样量化点之间的差值的平方值,之后,从多个平方值中选取最小值,并确定多个平方值中最小值所对应的采样量化点的标识值,当第i模型参数的值为正数时,将标识值作为第i模型参数的量化值;当第i模型参数的值为负数时,计算标识值与目标个数之间的和值,并将和值作为第i模型参数的量化值。
在得到每个输入参数的量化值之后,可根据每个输入参数的量化值,对每个输入参数进行压缩存储,以达到压缩的目的。
S203,服务器120根据获得的多个第一图像和各第一图像的标签数据,更新预设的产品表面缺陷检测模型。
在本申请实施例中,预设的产品表面缺陷检测模型是预先生成的,可以使用产品的表面图像和各表面图像的标签数据作为训练样本生成预设的产品表面缺陷检测模型。其中,用于生成预设的产品表面缺陷模型的表面图像可以是存在缺陷的样本,也可以不存在缺陷的样本,或者是二者兼有。
S204,服务器120确定预设后的产品表面缺陷检测模型是否更新完成。
其中,上述更新完成是指更新后的产品表面缺陷模型是否满足产品类型下的需求。例如,更新后的产品表面缺陷检测模型需要检测A类型的产品,该产品需要检测A类型产品的上表面是否有划痕,在更新后的产品表面缺陷检测模型对A类型产品的表面缺陷检测的准确率超出的阈值。
在申请的一种实施方式中,服务器120确定预设的产品表面缺陷检测模型是否更新完成,可以通过以下步骤实现:
获取预先存储的多个包含第三产品的表面的第三图像以及各第三图像的标签数据。其中,第三产品的产品类型与第一产品的产品类型对应,第三图像的标签数据用于表示第三产品的表面是否存在缺陷;
根据多个第三图像以及各第三图像的标签数据,确定根据更新后的产品表面缺陷检测模型识别出的表面存在缺陷的第三产品的准确率;
在准确率超出预设阈值的情况下,确定预设的产品表面缺陷检测模型更新完成。
S205,在更新后的产品表面缺陷检测模型更新完成的情况下,服务器120接收来自图像采集设备140的包括第二产品表面的第二图像。
其中,第一产品与第二产品的产品类型相同。例如,第一产品的产品类型为平板电脑,则第二产品的产品类型也是平板电脑。
在本申请实施例中,第二图像的获取方法与第一图像的获取方法相似,上文已进行叙述,在此不在加以赘述。
S206,服务器120根据更新后的产品表面缺陷检测模型对第二图像进行识别,确定第二图像中的产品表面是否存在缺陷。
在本申请实施例中,如图1所示,在确定第二图像对应的产品表面存在缺陷后,在实际的工艺线路中,流道方向控制装置150控制产品表面存在缺陷的产品流向不良品流道。此外,在确定第二图像对应的产品表面不存在缺陷时,流道方向控制装置150控制产品表面不存在缺陷的产品流向工艺线路中的下一道工序,
具体地,流道方向控制装置150用于接收服务器120发送的方向指令,在服务器120确定第二图像对应的产品存在缺陷时,向流道方向控制装置150发送用于指示产品流向不良品流道中的指令;反之,服务器120向流道方向控制装置150发送指示产品流向下一道工序的指令。此外,不良品流道是用于针对表面存在缺陷的产品的流道。
在本申请实施例中,流道方向控制装置150可以通过滑轨、滚动装置、或者皮带线的方式将当前通过产品表面缺陷检测工序的产品流向下一道工序或者不良品流道中。
需要说明的是,在步骤S202中确定第一图像中的产品表面存在缺陷的情况下,流道方向控制装置150也会将存在缺陷的产品流向不良品流道。
本申请实施例提供了一种产品表面缺陷检测方法,通过前期对第一产品的图像和标签的采集,完成预设的产品表面缺陷检测模型的更新。根据更新后的产品表面缺陷检测模型,可以自动识别与第一产品同类型的产品。减少了不同类型产品对应的产品表面缺陷检测模型的训练、生成的成本。并且,通过上述方法,在生产多类型产品时,能够灵活适配不同类型产品的表面缺陷检测,实现柔性生产。大大降低了产品表面缺陷检测的装置成本和人类成本,提高了生产的工作效率。
本申请实施例还提供了一种产品表面缺陷检测装置,如图4所示,该装置400包括:第一接收单元410、第一获取单元420、更新单元430、第二接收单元440、第一确定单元450。其中,第一接收单元410用于接收来自终端的用于获取工艺线路上产品表面信息的请求,产品表面信息包括产品表面图像、产品表面图像的标签数据。。第一获取单元420用于获取多个包含第一产品表面的第一图像以及各第一图像的标签数据。其中,第一图像的标签数据用于表示第一图像对应的产品表面是否存在缺陷;第一产品与第一图像一一对应,且各第一产品产品类型相同。更新单元430用于根据多个第一图像和各第一图像的标签数据,更新预设的产品表面缺陷检测模型;其中,所述产品表面缺陷检测模型用于检测产品表面是否存在缺陷;。第二接收单元440用于接收来自图像采集设备的包含第二产品表面的第二图像。其中,第二产品的产品类型与第一产品的产品类型相同。第一确定单元450用于根据更新后的产品表面缺陷检测模型对第二图像进行识别,确定第二图像中的产品表面是否存在缺陷。
在本申请的一种实施方式中,多个包含第一产品表面的第一图像为工艺线路上的图像采集设备对到达表面缺陷检测区域的第一产品的表面采集得到的。各第一图像的标签数据为工艺线路上的标签识别设备对第一产品上的电子标签识别得到的。
本申请的一种实施方式中,装置400还包括:第三接收单元460、第一发送单元470。其中,第三接收单元460用于接收终端发送的第二产品的工艺标准信息。其中,工艺标准信息至少包括:外形尺寸信息、进行缺陷检测的表面对应的位置信息。第一发送单元470用于根据工艺标准信息,向机械臂发送相应的调整指令,以使于机械臂固连的图像采集设备调整至与第二产品进行缺陷检测的表面相应的位置。其中,所述机械臂位于产品的工艺路线上,用于调整所述图像采集设备的位置和方向。
本申请的一种实施方式中,装置400还包括:第二发送单元480。第二发送单元480用于在第二图像中的产品表面存在缺陷的情况下,向流道方向控制装置发送方向指令,以使流道方向控制装置控制第二图像对应的第二产品流向不良品流道。其中,所述流道方向控制装置位于所述工艺线路上,且用于调整工艺线路上产品的传送方向。
本申请的一种实施方式中,装置400还包括:第二获取单元490、第二确定单元401、以及第三确定单元402。其中,第二获取单元490用于获取预先存储的多个包含第三产品的表面的第三图像、以及各第三图像的标签数据。其中,第三产品的产品类型与第一产品的产品类型相同,第三图像的标签信息用于表示第三产品的表面是否存在缺陷。第二确定单元401用于根据多个第三图像、以及各第三图像的标签数据,确定根据更新后的产品表面缺陷检测模型识别出的表面存在缺陷的第三产品的准确率。第三确定单元402用于在准确率超出预设阈值的情况下,确定预设的的产品表面缺陷检测模型更新完成。
本申请实施例提供的一种产品表面缺陷检测装置,通过前期对第一产品的图像和标签的采集,完成预设的产品表面缺陷检测模型的更新。根据更新后的产品表面缺陷检测模型,可以自动识别与第一产品同类型的产品。减少了不同类型产品对应的产品表面缺陷检测模型的训练、生成的成本。并且,通过上述方法,在生产多类型产品时,能够灵活适配不同类型产品的表面缺陷检测,实现柔性生产。大大降低了产品表面缺陷检测的装置成本和人类成本,提高了生产的工作效率。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种产品表面缺陷检测方法,其特征在于,所述方法包括:
接收来自终端的用于获取工艺线路上产品表面信息的请求,所述产品表面信息包括产品表面图像、所述产品表面图像的标签数据;
获取多个包含第一产品表面的第一图像以及各第一图像的标签数据;其中,所述第一图像的标签数据用于表示所述第一图像对应的产品表面是否存在缺陷;所述第一产品与所述第一图像一一对应,且各所述第一产品的产品类型相同;
根据所述多个第一图像和各第一图像标签数据,更新预设的产品表面缺陷检测模型;其中,所述产品表面缺陷检测模型用于检测产品表面是否存在缺陷;
接收来自图像采集设备的包含第二产品表面的第二图像;其中,所述第二产品的产品类型与所述第一产品的产品类型相同;
根据更新后的产品表面缺陷检测模型对所述第二图像进行识别,确定所述第二图像中的产品表面是否存在缺陷。
2.根据权利要求1所述的方法,其特征在于,
所述多个包含第一产品表面的第一图像为工艺线路上的图像采集设备对到达表面缺陷检测区域的第一产品的表面采集得到的;
所述各第一图像的标签数据为工艺线路上的标签识别设备对第一产品上的电子标签识别得到的。
3.根据权利要求1所述的方法,其特征在于,在接收来自图像采集设备的包含第二产品表面的第二图像之前,所述方法还包括:
接收终端发送的所述第二产品的工艺标准信息;
其中,所述工艺标准信息至少包括:外形尺寸信息、进行缺陷检测的表面对应的位置信息;
根据所述工艺标准信息,向机械臂发送相应的调整指令,以使与所述机械臂固连的图像采集设备调整至与所述第二产品进行缺陷检测的表面相应的位置;其中,所述机械臂位于产品的工艺路线上,用于调整所述图像采集设备的位置和方向。
4.根据权利要求1所述的方法,其特征在于,在所述确定所述第二图像中的产品表面是否存在缺陷之后,所述方法还包括:
在所述第二图像中的产品表面存在缺陷的情况下,向流道方向控制装置发送方向指令,以使所述流道方向控制装置控制第二图像对应的第二产品流向不良品流道;
其中,所述流道方向控制装置位于所述工艺线路上,且用于调整工艺线路上产品的传送方向。
5.根据权利要求1所述的方法,其特征在于,在所述更新预设的产品表面缺陷检测模型之后,所述方法还包括:
获取预先存储的多个包含第三产品的表面的第三图像以及各第三图像的标签数据;其中,所述第三产品的产品类型与所述第一产品的产品类型相同,所述第三图像的标签数据用于表示所述第三产品的表面是否存在缺陷;
根据多个第三图像以及各第三图像的标签信息,确定根据所述更新后的产品表面缺陷检测模型识别出的表面存在缺陷的第三产品的准确率;
在所述准确率超出预设阈值的情况下,确定所述预设的产品表面缺陷检测模型更新完成。
6.一种产品表面缺陷检测检测装置,其特征在于,所述装置包括:
第一接收单元,用于接收来自终端的用于获取工艺线路上产品表面信息的请求;所述产品表面信息包括产品表面图像、所述产品表面图像的标签数据;;
第一获取单元,用于获取多个包含第一产品表面的第一图像、以及各第一图像的标签数据;其中,所述第一图像的标签数据用于表示所述第一图像对应的产品表面是否存在缺陷;所述第一产品与所述第一图像一一对应,且各所述第一产品产品类型相同;
更新单元,用于根据所述多个第一图像和各第一图像的标签数据,更新预设的产品表面缺陷检测模型;其中,所述产品表面缺陷检测模型用于检测产品表面是否存在缺陷;
第二接收单元,用于接收来自图像采集设备的包含第二产品表面的第二图像;其中,所述第二产品的产品类型与所述第一产品的产品类型相同;
第一确定单元,用于根据更新后的产品表面缺陷检测模型对所述第二图像进行识别,确定所述第二图像中的产品表面是否存在缺陷。
7.根据权利要求6所述的装置,其特征在于,
所述多个包含第一产品表面的第一图像为工艺线路上的图像采集设备对到达表面缺陷检测区域的第一产品的表面采集得到的;
所述各第一图像的标签数据为工艺线路上的标签识别设备对第一产品上的电子标签识别得到的。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第三接收单元,用于接收终端发送的所述第二产品的工艺标准信息;
其中,所述工艺标准信息至少包括:外形尺寸信息、进行缺陷检测的表面对应的位置信息;
第一发送单元,用于根据所述工艺标准信息,向机械臂发送相应的调整指令,以使于所述机械臂固连的图像采集设备调整至与所述第二产品进行缺陷检测的表面相应的位置;其中,所述机械臂位于产品的工艺路线上,用于调整所述图像采集设备的位置和方向。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二发送单元,用于在所述第二图像中的产品表面存在缺陷的情况下,向流道方向控制装置发送第一方向指令,以使所述流道方向控制装置控制第二图像对应的第二产品流向不良品流道;
其中,所述流道方向控制装置位于所述工艺线路上,且用于调整工艺线路上产品的传送方向。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于获取预先存储的多个包含第三产品的表面的第三图像以及各第三图像的标签数据;其中,所述第三产品的产品类型与所述第一产品的产品类型相同,所述第三图像的标签数据用于表示所述第三产品的表面是否存在缺陷;
第二确定单元,用于根据多个第三图像以及各第三图像的标签数据,确定根据所述更新后的产品表面缺陷检测模型识别出的表面存在缺陷的第三产品的准确率;
第三确定单元,用于在所述准确率超出预设阈值的情况下,确定所述预设的更新后的产品表面缺陷检测模型更新完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910657177.1A CN110560376B (zh) | 2019-07-19 | 2019-07-19 | 一种产品表面缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910657177.1A CN110560376B (zh) | 2019-07-19 | 2019-07-19 | 一种产品表面缺陷检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110560376A true CN110560376A (zh) | 2019-12-13 |
CN110560376B CN110560376B (zh) | 2021-06-22 |
Family
ID=68773041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910657177.1A Active CN110560376B (zh) | 2019-07-19 | 2019-07-19 | 一种产品表面缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110560376B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402250A (zh) * | 2020-03-26 | 2020-07-10 | 中国联合网络通信集团有限公司 | 基于边缘计算的机器视觉缺陷检测方法和平台 |
CN112264309A (zh) * | 2020-09-30 | 2021-01-26 | 北京京东振世信息技术有限公司 | 包裹分拣方法、服务器及存储介质 |
WO2021166441A1 (ja) * | 2020-02-21 | 2021-08-26 | 株式会社システムスクエア | 検査装置およびプログラム |
CN114871130A (zh) * | 2022-03-30 | 2022-08-09 | 深圳市共进电子股份有限公司 | 电子产品内部检测系统和方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050147286A1 (en) * | 2003-09-25 | 2005-07-07 | Michael Lee | Identifying defects in decorative wood panels |
CN106097360A (zh) * | 2016-06-17 | 2016-11-09 | 中南大学 | 一种带钢表面缺陷识别方法及装置 |
CA3031397A1 (en) * | 2016-07-22 | 2018-01-25 | Lynx Inspection Inc. | Inspection method for a manufactured article and system for performing same |
CN108320278A (zh) * | 2018-01-09 | 2018-07-24 | 北京百度网讯科技有限公司 | 产品缺陷检测定位方法、装置、设备及计算机可读介质 |
CN109772724A (zh) * | 2019-03-14 | 2019-05-21 | 溧阳市新力机械铸造有限公司 | 一种铸件重点表面及内部缺陷的柔性检测分析系统 |
CN109829883A (zh) * | 2018-12-19 | 2019-05-31 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109859207A (zh) * | 2019-03-06 | 2019-06-07 | 华南理工大学 | 一种高密度柔性基板的缺陷检测方法 |
-
2019
- 2019-07-19 CN CN201910657177.1A patent/CN110560376B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050147286A1 (en) * | 2003-09-25 | 2005-07-07 | Michael Lee | Identifying defects in decorative wood panels |
CN106097360A (zh) * | 2016-06-17 | 2016-11-09 | 中南大学 | 一种带钢表面缺陷识别方法及装置 |
CA3031397A1 (en) * | 2016-07-22 | 2018-01-25 | Lynx Inspection Inc. | Inspection method for a manufactured article and system for performing same |
CN108320278A (zh) * | 2018-01-09 | 2018-07-24 | 北京百度网讯科技有限公司 | 产品缺陷检测定位方法、装置、设备及计算机可读介质 |
CN109829883A (zh) * | 2018-12-19 | 2019-05-31 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109859207A (zh) * | 2019-03-06 | 2019-06-07 | 华南理工大学 | 一种高密度柔性基板的缺陷检测方法 |
CN109772724A (zh) * | 2019-03-14 | 2019-05-21 | 溧阳市新力机械铸造有限公司 | 一种铸件重点表面及内部缺陷的柔性检测分析系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021166441A1 (ja) * | 2020-02-21 | 2021-08-26 | 株式会社システムスクエア | 検査装置およびプログラム |
JP2021131364A (ja) * | 2020-02-21 | 2021-09-09 | 株式会社 システムスクエア | 検査装置およびプログラム |
JP7016179B2 (ja) | 2020-02-21 | 2022-02-04 | 株式会社 システムスクエア | 検査装置およびプログラム |
CN111402250A (zh) * | 2020-03-26 | 2020-07-10 | 中国联合网络通信集团有限公司 | 基于边缘计算的机器视觉缺陷检测方法和平台 |
CN112264309A (zh) * | 2020-09-30 | 2021-01-26 | 北京京东振世信息技术有限公司 | 包裹分拣方法、服务器及存储介质 |
CN114871130A (zh) * | 2022-03-30 | 2022-08-09 | 深圳市共进电子股份有限公司 | 电子产品内部检测系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110560376B (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110560376B (zh) | 一种产品表面缺陷检测方法及装置 | |
CN113706495B (zh) | 一种在传送带上自动检测锂电池参数的机器视觉检测系统 | |
CN109856164B (zh) | 一种机器视觉采集大范围图像的优化装置及其检测方法 | |
CN110633612B (zh) | 一种巡检机器人的监控方法及系统 | |
CN116593479B (zh) | 电池盖板外观质量检测方法、装置、设备及存储介质 | |
CN114511519A (zh) | 一种基于图像处理的列车车底螺栓丢失检测方法 | |
CN114462646B (zh) | 一种基于接触网安全巡检的杆号牌识别方法及系统 | |
CN113189109A (zh) | 一种基于人工智能的瑕疵判定系统及瑕疵判定方法 | |
CN116519707A (zh) | 基于机器视觉的锂电池缺陷检测方法、装置及电子设备 | |
CN114529510B (zh) | 一种阴极铜在线质量自动检测分类方法 | |
CN107547839A (zh) | 基于图像分析的远程控制平台 | |
CN112422818B (zh) | 一种基于多元图像融合的智能化掉筛远程检测方法 | |
TWI531787B (zh) | An automatic optical detection method and an automatic optical detection system for carrying out the method | |
CN115601712B (zh) | 适用于现场安全措施的图像数据处理方法及系统 | |
CN116087104A (zh) | 一种线扫微距相机扫描系统和方法 | |
CN115082768A (zh) | 一种基于相机的变电站压板状态识别的方法 | |
CN115379197A (zh) | 用于在生产线上检测摄像头产品的镜头表面的方法和装置 | |
CN109060831B (zh) | 一种基于底板拟合的自动脏污检测方法 | |
CN104515862A (zh) | 自动光学检测方法及实施该方法的自动光学检测系统 | |
CN207610993U (zh) | 一种基于智能移动终端的视觉缺陷检测系统 | |
CN113237423B (zh) | 物品体积测量设备 | |
CN110930364B (zh) | 一种基于ai的视频显微镜的实现方法 | |
CN109862268B (zh) | 一种可感应自动调节亮度的图像处理用打光方法 | |
CN117649367B (zh) | 一种图像方位的校正方法及系统 | |
CN115830118B (zh) | 一种基于双目相机的水泥电杆的裂纹检测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210818 Address after: 3 / F, xindongyuan North building, 3501 Chengfu Road, Haidian District, Beijing 100083 Patentee after: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd. Patentee after: Huarui Xinzhi Baoding Technology Co.,Ltd. Address before: 3 / F, xindongyuan North building, 35-1 Chengfu Road, Haidian District, Beijing 100083 Patentee before: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd. |
|
TR01 | Transfer of patent right |