CN107328793A - 一种基于机器视觉的饰品表面字印瑕疵检测方法和装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的饰品表面字印瑕疵检测方法和装置。所述方法包括：获取被测饰品多个角度的图像，处理后获取饰品区域图像；对饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的饰品区域图像作为最优饰品区域图像进行检测；将最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配；对最优饰品区域图像中的字印内容进行定位，获取字印区域；对字印区域进行字段分割得到字段区域，提取字段区域的图像的特征值；将提取的特征值与预先设定的阈值进行比较，若满足判定被测饰品没有瑕疵；反之判断为有瑕疵。该方法检测效率高、精度好。

Description

一种基于机器视觉的饰品表面字印瑕疵检测方法和装置

技术领域

本发明涉及自动检测领域，特别是指一种基于机器视觉的饰品表面字印瑕疵检测方法和装置。

背景技术

黄金、铂金等饰品表面需按国家规定刻印相关的字印信息，以标示出金饰的成色、厂家等信息。字印刻印的质量，不仅仅关系到成色的标示与实际金饰是否一致，也关系到金饰品质是否优劣，因此需要对黄金饰品表面刻印的字印进行检测。

然而现有技术中，受到黄金珠宝加工生产工艺流程的限制，金饰的加工的标准化程度与检测的自动化程度还非常低，特别在外观瑕疵检测环节，仍然需要依靠大量的人工进行手检；而由于金饰款式丰富多样，检测项目繁多，人工检测外观瑕疵具有成本高、培训周期长、检测效率低、人为判定标准不一，检测结果品质参差不齐等缺点；另外金饰检测的工作量具有明显的季节伸缩性，淡季和旺季的人力资源协调的成本较高；同时品质检测缺乏信息化的手段，导致了货品管理、数据存档和质量分析的难度较大。

目前虽然部分领域已经能够实现针对字印的识别与检测，例如车牌检测；但是一方面只能进行平面检测，而不能对例如戒指、手镯这类环状饰品内侧的字印内容进行检测，另一方面，只能判断出字印内容是否有误，而无法进一步对字符级的瑕疵进行检测。

发明内容

有鉴于此，本发明的目的在于提出一种基于机器视觉的饰品表面字印瑕疵检测方法和装置，实现对戒指、手镯这类非平面饰品表面的字印进行自动化检测，而且能够检测出字符级瑕疵，并能够提高检测效率与检测质量。

基于目的本发明提供的一种基于机器视觉的饰品表面字印瑕疵检测方法，包括：

获取被测饰品多个角度的图像，经处理后获取所述被测饰品的饰品区域图像；

对所述饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的所述饰品区域图像作为最优饰品区域图像进行检测；

将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，若匹配，则进行下一步骤，否则判定所述被测饰品有瑕疵；

对所述最优饰品区域图像中的字印内容进行定位，获取字印区域；对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值；

将提取的所述特征值与预先设定的阈值进行比较，当所述特征值满足所述阈值时，判定所述被测饰品没有瑕疵；当所述特征值不满足所述阈值时，判断所述被测饰品有瑕疵。

优选的，在获取所述被测饰品多个角度的图像之前，还包括：

将获取到的每一帧图像与背景图像做差值计算，若结果大于预设的图像阈值时，判定存在所述被测饰品；

当所述图像中存在所述被测饰品时，获取所述被测饰品的外切四边形；当连续至少两帧图像中，所述被测饰品的外切四边形的大小与位置不变，判定存在摆放稳定的所述被测饰品；当存在摆放稳定的所述被测饰品时，开始获取被测饰品多个角度的图像。

优选的，将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，包括：

若所述最优饰品区域图像中的字印内容比饰品模板中的字印内容少，则判定为漏打字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容比饰品模板中的字印内容多，则判定为多打字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容与饰品模板中的字印内容有一部分完全不同，则判定为打错字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容与饰品模板中的字印内容的顺序不一致，则判定为字印顺序错误，所述被测饰品有瑕疵；

若不存在所述漏打字印、所述多打字印、所述打错字印以及所述字印顺序错误，则进行下一步检测。

优选的，对所述最优饰品区域图像中的字印内容进行定位，获取字印区域，包括：

根据所述基于深度学习的字印检测的结果获取所述最优饰品区域图像中每个字段的位置，并计算得到第二字印区域；

将所述第二字印区域的图像外扩所述第二字印区域高度的1/2后得到第三字印区域的图像；

采用局部二值化算法对所述第三字印区域图像进行二值化，得到二值图像；

计算所述二值图像的连通域特征，去除所述二值图像中的噪声区域，得到所述第三字印区域的前景图像，扫描所述前景图像得到所述字印区域。

优选的，对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值，包括：

对所述字印区域进行纵向前景直方图投影，得到投影直方图；

通过所述投影直方图对所述字印区域进行字段分割得到多个字段区域；分别提取每个所述字段区域的图像特征值作为第一特征值；

通过所述投影直方图对所述字段区域进行字符分割得到多个字符区域；分别提取每个所述字符区域的图像特征值作为第二特征值；

将所述字符区域平均划分得到多个网格区域；分别提取每个所述网格区域的图像特征值作为第三特征值；

提取所述字印区域中各个字段中全部字符的形态特征值作为第四特征值；

提取所述字段区域中各个字符的形态特征值作为第五特征值；

将所述字符区域划分为子字符区域，提取所述子字符区域的字符的形态特征值作为第六特征值；

分别提取同一个所述字段区域的两个图像特征值作为第七特征值、第八特征值；

分别提取同一个所述字符区域的两个图像特征值作为第九特征值、第十特征值；

分别提取同一个所述网格区域的两个图像特征值作为第十一特征值、第十二特征值。

优选的，将提取的所述特征值与预先设定的阈值进行比较，包括：

获取两个不同的所述字段区域各自对应的所述第一特征值的差值，判断所述第一特征值的差值是否满足第一阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字段区域内的两个不同的所述字符区域各自对应的所述第二特征值的差值，判断所述第二特征值的差值是否满足第二阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字符区域内的两个不同的所述网格区域各自对应的所述第三特征值的差值，判断所述第三特征值的差值是否满足第三阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

可选的，将提取的所述特征值与预先设定的阈值进行比较，包括：

获取两个不同的所述字段区域各自对应的所述第四特征值的差值，判断所述第四特征值的差值是否满足第四阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字段区域内的两个不同字符各自对应的所述第五特征值的差值，判断所述第五特征值的差值是否满足第五阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字符区域内的两个不同的所述子字符区域的所述第六特征值的比值，判断所述第六特征值的差值是否满足第六阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

可选的，将提取的所述特征值与预先设定的阈值进行比较，包括：

判断所述第七特征值或第八特征值是否满足第七阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵；和/或，

判断所述第九特征值或第十特征值是否满足第八阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵；和/或，

判断所述第十一特征值或第十二特征值是否满足第九阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵。

本发明还公开了一种基于机器视觉的饰品表面字印瑕疵检测装置，包括：图像采集装置以及瑕疵判定装置，

其中，所述图像采集装置包括：

主机架，所述主机架包括机架以及支撑平台，用于支撑所述图像采集装置；

工作台，设置于所述支撑平台上，用于放置被测饰品，所述工作台上设置有一个高亮白光背光光源；

全景成像装置，采用环形高清相机阵列，包括十四个分布在所述机架中心上方圆环上的高清相机，其中七个相机用于拍摄饰品内侧，另外七个相机用于拍摄饰品外侧，用于采集被测饰品多个角度的图像；

所述瑕疵判定装置包括：

计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤；

获取被测饰品多个角度的图像，经处理后获取所述被测饰品的饰品区域图像；

对所述饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的所述饰品区域图像作为最优饰品区域图像进行检测；

将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，若匹配，则进行下一步骤，否则判定所述被测饰品有瑕疵；

对所述最优饰品区域图像中的字印内容进行定位，获取字印区域；对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值；

将提取的所述特征值与预先设定的阈值进行比较，当所述特征值满足所述阈值时，判定所述被测饰品没有瑕疵；当所述特征值不满足所述阈值时，判断所述被测饰品有瑕疵。

优选的，还包括顶端垂直高清相机，所述顶端垂直高清相机设置于所述机架中心上方圆环的中心顶端，用于判定所述工作台上是否存在摆放稳定的所述被测饰品。

从上面所述可以看出，本发明提供的基于机器视觉的饰品表面字印瑕疵检测方法和装置，实现了饰品字印瑕疵的自动化检测，节省检测成本，提高检测效率；该检测方法和装置不仅能够对字印级以及字段级瑕疵进行检测，还能够针对字符级瑕疵，例如字印模糊和字印残缺进行检测，扩展了检测范围；本发明可以根据用户可接受的误判和漏判指标对阈值进行设定，从而对检测结果进行约束松紧程度的调整；本发明所述方法和装置能够适用于多种工件的检测，不仅适用于黄金饰品、铂金饰品，还适用于其他曲面工件，只要成像没有障碍，均可以进行字印检测分析；该方法和装置检测速度快，检测精度高。

附图说明

图1为本发明实施例一种基于机器视觉的饰品表面字印瑕疵检测方法的整体流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

根据国家标准，黄金、铂金等首饰上需要刻印符合国家标准的字印内容。完整的字印包括公司印、成色印以及工厂印。公司印一般为公司名称或者公司名称缩写，例如：CTF、GSKA等；成色印用于表示该饰品的材质以及成色，例如：足金999、PT950等；工厂印用于表示该饰品的加工工厂或者生产地，例如：A、B等。为了便于理解，本发明实施例提供一个完整的字印包括“CTF足金999A”，这个字印包括四个字段“CTF”、“足金”、“999”以及“A”；第一字段“CTF”包括字符“C”、“T”以及“F”，第二字段“足金”包括字符“足”和“金”，第三字段“999”包括字符“9”、“9”和“9”，第四字段包括字符“A”。

在饰品的字印刻印过程中，可能出现各种各样的字印瑕疵，例如：字印内容错误、字印模糊不清、字符残缺等。因此有必要对字印进行瑕疵检测。

附图1为本发明实施例一种基于机器视觉的饰品表面字印瑕疵检测方法的整体流程图。本发明实施例公开一种基于机器视觉的饰品表面字印瑕疵检测方法，包括：

S100：获取被测饰品多个角度的图像，经处理后获取所述被测饰品的饰品区域图像。

优选的，获取被测饰品的多个角度的图像，将每一张图像与该图像对应的背景图像进行差值计算，根据差值得到的图像分析图像中饰品的区域，将非饰品区域的图像裁剪后得到饰品区域图像。所述饰品区域图像即为该饰品区域的外切矩形。

S200：对所述饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的所述饰品区域图像作为最优饰品区域图像进行检测。

在进行字印检测之前，提前对基于深度学习的字印检测识别服务器进行训练，即将正确的字印包括正向、倒向、有一定倾斜等各种形态的字印送入基于深度学习的字印检测识别服务器进行训练。并且，所述训练是基于字段级的。作为一个具体的实施例，所述服务器对公司印CTF进行训练，而不单独针对字母C、T以及F训练，这是因为：金饰表面有很多花纹，如果基于单个字母进行训练，在检测时有很大几率会把一些花纹当成字母识别出来，这样会增大后面检测的难度，降低检测效率。而且，基于字段“CTF”进行训练，在检测时可以直接排除“CT”、“CFT”以及“CTTF”等漏印、多印、字符错印或者顺序错误等情况，减小后续检测难度，提高检测效率。训练完成后，基于深度学习的字印检测识别服务器将存储训练结果，包括：公司印“CTF”、“GSKA”等，成色印“足金”、“PT”、“999”、“950”等，工厂印“A”、“B”等字印。

所述步骤S200进一步包括：

S201：根据训练结果对所述饰品区域图像进行检测，判断所述饰品区域图像中的字印是否与服务器中存储的字印匹配；如果图像中存在匹配字印，服务器返回字印的位置、字印的内容；如果图像中不存在匹配字印，则返回结果为无。此时，若没有能够与服务器字印内容匹配的所述饰品区域图像，则直接判定该被测饰品有瑕疵。需要注意的是，步骤S201中的匹配是基于字段级的匹配。例如：一张图像中包括字印“CTF足”，由于第一字段“CTF”能够与服务器中字段的字印内容匹配，因此服务器判定该图像中有字印。

S202：从包含字印的所述饰品区域图像中选择字印内容完整的图像作为最优饰品区域图像。所述字印完整具体指字印中包括正确的公司印、成色印以及工厂印。此时，字印内容为“CTF足”这样不完整的图像将会被排除。若存在至少两张图像均包含完整字印内容，则选择字印更水平的那张图像作为最优饰品区域图像。优选的，判断更水平的方法为：计算图像中字印区域外切矩形的Y值方差，方差值最小的图像字印更水平。

S300：将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，若匹配，则进行下一步骤，否则判定所述被测饰品有瑕疵。

在步骤S200后，所述最优饰品区域图像中虽然已经包括了完整的字印内容，但是还会存在字印内容错误的情况。在一个具体的实施例中，预先存储的饰品模板为“CTF足金999A”，在步骤S200后，“CTF足金A”、“CTF足金足金999A”、“足金CTF 999A”以及“CTF PT999A”等字印仍然可能存在。此时，将所述最优饰品区域图像中的字印内容与饰品模板的字印内容进行匹配，若内容完全相同，继续进行下一步检测，若不相同则判定该被测饰品有瑕疵。

S400：对所述最优饰品区域图像中的字印内容进行定位，获取字印区域；对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值。

所述子字段区域的图像的特征值包括：子字段区域的前景图像所对应的灰度图灰度均值与灰度方差、子字段区域的背景图像所对应的灰度图的灰度均值与灰度方差；子字段区域的前景图像所对应的边缘图的边缘点个数，所述子字段区域的前景图像所对应的边缘图的梯度均值和梯度方差，所述子字段区域的背景图像所对应的边缘图的梯度均值和梯度方差；以及子字段区域中字符的宽、高值的均值和方差等。

S500：将提取的所述特征值与预先设定的阈值进行比较，当所述特征值满足所述阈值时，判定所述被测饰品没有瑕疵；当所述特征值不满足所述阈值时，判断所述被测饰品有瑕疵。

当被测饰品具有瑕疵时，其对应的图像具有相应的特征，例如字印模糊这种瑕疵的特征是背景图像与前景图像的灰度方差比较大。因此，根据瑕疵的特征以及用户可接受的判定指标，预先设定图像的背景图像与前景图像所对应的灰度图的灰度方差的值作为阈值，例如当阈值小于等于20为正常范围，而超过20时判定被测饰品为瑕疵。当检测时，若被测饰品的前景图像所对应灰度图的灰度方差或者被测饰品的背景图像所对应灰度图的灰度方差超过20，则判定该被测饰品有瑕疵。

在本发明的一个实施例中，步骤S100在获取所述被测饰品多个角度的图像之前，还包括：

S011：将获取到的每一帧图像与背景图像做差值计算，若结果大于预设的图像阈值时，判定存在所述被测饰品。

S012：当所述图像中存在所述被测饰品时，获取所述被测饰品的外切四边形；当连续至少两帧图像中，所述被测饰品的外切四边形的大小与位置不变，判定存在摆放稳定的所述被测饰品。

所述图像的数量可以设定为三帧等任意数量。

S013：当存在摆放稳定的所述被测饰品时，开始获取被测饰品多个角度的图像。

在本发明的另一个实施例中，步骤S300将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，进一步包括：

若所述最优饰品区域图像中的字印内容比饰品模板中的字印内容少，则判定为漏打字印，所述被测饰品有瑕疵。

若所述最优饰品区域图像中的字印内容比饰品模板中的字印内容多，则判定为多打字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容与饰品模板中的字印内容有一部分完全不同，则判定为打错字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容与饰品模板中的字印内容的顺序不一致，则判定为字印顺序错误，所述被测饰品有瑕疵；

若不存在所述漏打字印、所述多打字印、所述打错字印以及所述字印顺序错误，则进行下一步检测。

作为一个具体的实施例，与饰品模板“CTF足金999A”相比，字印“CTF足金A”为漏打字印，字印“CTF足金足金999A”为多打字印，字印“CTFPT 999A”为打错字印，字印“足金CTF999A”为字印顺序错误。

作为本发明的一个实施例，步骤S400对所述最优饰品区域图像中的字印内容进行定位，获取字印区域，进一步包括：

S401：根据所述基于深度学习的字印检测的结果获取所述最优饰品区域图像中每个字段的位置，并计算得到第二字印区域。

在对所述最优饰品区域图像中的字印内容进行定位时，基于深度学习的字印检测服务器能够返回每个字段的位置，根据每个字段的位置计算得到第二字印区域。基于深度学习的字印检测服务器返回的字段位置只是一个大概的位置，并不准确。而且，若字段之前存在比较严重的粘连时，若直接基于深度学习的字印检测所返回的位置对字印区域进行分割，则有可能导致分割不准确，一个子字段区域可能存在相邻子字段区域的内容，因此有必要将基于深度学习的字印检测结果获取的字段位置进行计算，获得整个字印区域的位置，即所述第二字印区域。

S402：将所述第二字印区域的图像外扩所述第二字印区域高度的1/2后得到第三字印区域的图像。

S403：采用局部二值化算法对所述第三字印区域图像进行二值化，得到二值图像。

S404：计算所述二值图像的连通域特征，去除所述二值图像中的噪声区域，得到所述第三字印区域的前景图像，扫描所述前景图像得到所述字印区域。

优选的，计算二值图像的连通域特征，根据字印笔画宽度、面积等先验知识，去除二值图像中的噪声区域，得到所述第三字印区域的前景图像，扫描前景图像得到前景图像的外切四边形，即精确定位后的所述字印区域。其中，所述字印笔画宽度、面积等先验知识通过统计常见的典型的样本图片得到。

优选的，本发明采用基于Caffe的Faster R-CNN深度学习检测识别框架，通过提前训练大量含有各个字段的标签的样本数据，得到训练模型，然后在应用到检测算法中。深度学习的算法给会出各个字段的大概位置，定位就是在深度学习定位结果的基础上进行局部搜索以找到精确的字段边界。局部搜索的方法是以深度学习检测的字段区域的左右边界为搜索的起点，向左向右搜索一个字符宽度的前景图像，统计字印区域内前景图像的纵向投影(图像中每列包含的前景点个数和，一般来说，字印区域的前景图的投影直方图的波谷处就是字符分割的位置)，搜索到投影值的局部极小值，以局部极小值作为字段的分割位置。

作为本发明的另一个实施例，步骤S400对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值，进一步包括：

S411：对所述字印区域进行纵向前景直方图投影，得到投影直方图。

S412：通过所述投影直方图对所述字印区域进行字段分割得到多个字段区域；分别提取每个所述字段区域的图像特征值作为第一特征值。

其中，提取所述字段区域的图像特征值作为第一特征值可以为：提取所述字段区域的前景图像所对应的灰度图的灰度均值与灰度方差、或者提取所述字段区域的背景图像所对应的灰度图的灰度均值与灰度方差、或者提取所述字段区域的前景图像所对应的边缘图的边缘点个数、或者提取所述字段区域的前景图像所对应的边缘图的梯度均值和梯度方差、或者提取所述字段区域的背景图像所对应的边缘图的梯度均值和梯度方差等。

以所述字段区域的前景图像所对应的灰度图的灰度均值为第一特征值为例：计算同一字印区域内相邻或者不相邻的两个字段区域的灰度方差的差值，若差值不满足阈值范围，判定被测饰品有瑕疵。

S413：通过所述投影直方图对所述字段区域进行字符分割得到多个字符区域；分别提取每个所述字符区域的图像特征值作为第二特征值。

当字段或字符存在比较严重的粘连时，则根据先验知识进行分割位置预测，然后在预测分割处左右一定范围内，在对应直方图中搜索局部极小值得到分割结果。

其中，提取所述字符区域的图像特征值作为第二特征值可以为：提取所述字符区域的前景图像所对应的灰度图的灰度均值与灰度方差、或者提取所述字符区域的背景图像所对应的灰度图的灰度均值与灰度方差、或者提取所述字符区域的前景图像所对应的边缘图的边缘点个数、或者提取所述字符区域的前景图像所对应的边缘图的梯度均值和梯度方差、或者提取所述字符区域的背景图像所对应的边缘图的梯度均值和梯度方差等。

以所述字符区域的前景图像所对应的灰度图的灰度均值为第二特征值为例：计算同一字段区域内相邻或者不相邻的两个字符区域的灰度方差的差值，若差值不满足阈值范围，判定被测饰品有瑕疵。

S414：将所述字符区域平均划分得到多个网格区域；分别提取每个所述网格区域的图像特征值作为第三特征值。

其中，将所述字符区域平均划分得到网格区域包括将每个字符平均划分为3*3的网格。所述网格区域可以为：每个字符的上三个方格或下三个方格或左三个方格或右三个方格处或中间的方格。提取所述网格区域的图像特征值作为第三特征值可以为：分别计算各网格区域各自的前景图像的灰度均值和灰度方差、或者分别计算各网格区域各自的背景图像的灰度均值和灰度方差、或者对前景图像各个网格区域计算最大的灰度均值与最小灰度均值的差值、或者计算上三个方格中前景图像的边缘点个数与下三个方格中前景图像的边缘点个数的比值、或者计算左三个方格中前景图像的边缘点个数与右三个方格中前景图像的边缘点个数的比值等。

以同一字符内的网格区域的前景图像所对应的灰度图的灰度均值为第三特征值为例：计算同一字符区域内上三个方格以及下三个方格的灰度方差的差值，若差值不满足阈值范围，判定被测饰品有瑕疵。

S415：提取所述字印区域中各个字段中全部字符的形态特征值作为第四特征值。

优选的，步骤S145进一步可以为：分别计算字印内每个字段中全部字符的宽值的均值和方差、或者高值的均值和方差等。以每个字段中全部字符的宽值的均值为例，计算相邻或者不相邻的两个字段中的全部字符的宽值均值的差值，若差值不满足阈值范围，判定被测饰品有瑕疵。

S416：提取所述字段区域中各个字符的形态特征值作为第五特征值。

优选的，步骤S146进一步可以为：分别计算同一字段内的所有字符的宽值的均值和方差、或者高值的均值和方差、或者计算字段内最大的字符的高度与最小的字符高度的差值、或者最大的字符宽度与最小字符宽度的差值等。以同一字段内的所有字符的宽值的均值为例，计算同一字段内相邻或者不相邻的两个字符的宽值均值的差值，若差值不满足阈值范围，判定被测饰品有瑕疵。

S417：将所述字符区域划分为子字符区域，提取所述子字符区域的字符的形态特征值作为第六特征值。

优选的，步骤S147进一步可以为：将字符区域划分为上字符区域以及下字符区域，分别提取上字符区域或下字符区域的前景图像对应的边缘点个数作为第六特征值，计算上字符区域与下字符区域的前景图像对应的边缘点个数比，若结果不满足阈值范围，判定被测饰品有瑕疵。

S418：分别提取同一个所述字段区域的两个图像特征值作为第七特征值、第八特征值。

其中，步骤S418进一步可以为：提取字段区域的前景图像所对应的灰度图的灰度均值与灰度方差作为第七特征值，同时提取相同字段区域的背景图像所对应的灰度图的灰度均值与灰度方差作为第八特征值；或者提取字段区域的前景图像所对应的边缘图的梯度均值和梯度方差作为第七特征值，同时提取相同字段区域的背景图像所对应的边缘图的梯度均值和梯度方差作为第八特征值等。

检测时，若字段区域的前景图像所对应的灰度图的灰度均值，和/或相同字段区域的背景图像所对应的灰度图的灰度均值不满足阈值范围，判定被测饰品有瑕疵。

S419：分别提取同一个所述字符区域的两个图像特征值作为第九特征值、第十特征值。

其中，步骤S419进一步可以为：提取字符区域的前景图像所对应的灰度图的灰度均值与灰度方差作为第九特征值，同时提取相同字符区域的背景图像所对应的灰度图的灰度均值与灰度方差作为第十特征值；或者提取字符区域的前景图像所对应的边缘图的梯度均值和梯度方差作为第九特征值，同时提取相同字符区域的背景图像所对应的边缘图的梯度均值和梯度方差作为第十特征值等。

检测时，若字符区域的前景图像所对应的灰度图的灰度均值，和/或相同字符区域的背景图像所对应的灰度图的灰度均值不满足阈值范围，判定被测饰品有瑕疵。

S420：分别提取同一个所述网格区域的两个图像特征值作为第十一特征值、第十二特征值。

其中，步骤S420进一步可以为：提取网格区域的前景图像所对应的灰度图的灰度均值与灰度方差作为第九特征值，同时提取相同网格区域的背景图像所对应的灰度图的灰度均值与灰度方差作为第十特征值；或者提取网格区域的前景图像所对应的边缘图的梯度均值和梯度方差作为第九特征值，同时提取相同网格区域的背景图像所对应的边缘图的梯度均值和梯度方差作为第十特征值等。

例如：若同一字符内上三个网格区域的前景图像所对应的灰度图的灰度均值，和/或上三个网格区域的背景图像所对应的灰度图的灰度均值不满足阈值范围，判定被测饰品有瑕疵。

作为本发明的另一个实施例，步骤S500将提取的所述特征值与预先设定的阈值进行比较，进一步包括：

S501：获取两个不同的所述字段区域各自对应的所述第一特征值的差值，判断所述第一特征值的差值是否满足第一阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

优选的，在步骤S501中，采用字印级判决器对字印级瑕疵进行判定。所述字印级瑕疵包括字印区域中某个或者某几个字段区域所出现的瑕疵。所述字印级瑕疵判定采用字段之间的灰度图像的统计特征进行判定。

作为一个具体的实施例，计算同一字印区域内相邻或者不相邻的两个字段区域的灰度方差的差值，若差值不满足第一阈值，判定被测饰品有瑕疵。

作为另一个具体的实施例，字印“CTF足金999A”中，若第一字段“CTF”整体刻印很浅，但是字段内刻印程度相同，此时需将第一字段“CTF”对应的灰度图的灰度均值与其他字段进行比较，若灰度均值的差异不满足第一阈值，则判定该被测饰品有瑕疵。

S502：获取同一所述字段区域内的两个不同的所述字符区域各自对应的所述第二特征值的差值，判断所述第二特征值的差值是否满足第二阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

优选的，在步骤S502中，采用字段级判决器对字段级瑕疵进行判定。所述字段级瑕疵包括某一字段区域中的某个或者某几个字符出现的瑕疵。所述字段级瑕疵判定采用同一字段区域内的各个字符区域之间的灰度图、边缘图、梯度图、二值图的统计特征值以及字符的形态特征值以及位置特征值进行瑕疵判定。

作为一个具体的实施例，计算同一字段区域内相邻或者不相邻的两个字符区域的灰度方差的差值，若差值不满足第二阈值，判定被测饰品有瑕疵。

S503：获取同一所述字符区域内的两个不同的所述网格区域各自对应的所述第三特征值的差值，判断所述第三特征值的差值是否满足第三阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

优选的，在步骤S503中，采用字符级判决器对字符级瑕疵进行判定。所述字符级判决器包括同一字符内某一或者某几个字符区域的瑕疵。所述字符级判决器主要采用灰度图、梯度图、二值图统计特征、形态特征以及针对单个特定字符定制的对称性、字符笔画分布特征进行瑕疵判定。

作为一个具体的实施例，计算同一字符区域内上三个方格以及下三个方格的灰度方差的差值，若差值不满足阈值范围，判定被测饰品有瑕疵。

作为本发明的另一个实施例，步骤S500将提取的所述特征值与预先设定的阈值进行比较，还可以包括：

S511：获取两个不同的所述字段区域各自对应的所述第四特征值的差值，判断所述第四特征值的差值是否满足第四阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

作为一个具体的实施例，计算相邻或者不相邻的两个字段中的全部字符的宽值方差的差值，若差值不满足第四阈值范围，判定被测饰品有瑕疵。

S512：获取同一所述字段区域内的两个不同字符各自对应的所述第五特征值的差值，判断所述第五特征值的差值是否满足第五阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；

作为一个具体的实施例，计算同一字段内相邻或者不相邻的两个字符的宽值方差的差值，若差值不满足第五阈值范围，判定被测饰品有瑕疵，具体瑕疵类型为字印残缺。

在另一个具体的实施例中，计算同一字段内字符宽值方差的最大值与字符宽值方差的最小值的差值，若差值不满足第五阈值范围，判定被测饰品有瑕疵，具体瑕疵类型为字印残缺。

S513：获取同一所述字符区域内的两个不同的所述子字符区域的所述第六特征值的比值，判断所述第六特征值的差值是否满足第六阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

作为一个具体的实施例，计算上字符区域与下字符区域的前景图像对应的边缘点个数比，若结果不满足第六阈值范围，判定被测饰品有瑕疵。

作为本发明的另一个实施例，步骤S500将提取的所述特征值与预先设定的阈值进行比较，还可以包括：

S521：判断所述第七特征值或第八特征值是否满足第七阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵。

作为一个具体的实施例，若字段区域的前景图像所对应的灰度图的灰度均值，和/或相同字段区域的背景图像所对应的灰度图的灰度均值不满足第七阈值范围，判定被测饰品有瑕疵，具体瑕疵类型为模糊瑕疵。

在另一个具体的实施例中，若字段区域的前景图像所对应的梯度图的梯度均值，或相同字段区域的背景图像所对应的梯度图的梯度均值不满足第七阈值，判定被测饰品有瑕疵，具体瑕疵类型为字印模糊。

S522：判断所述第九特征值或第十特征值是否满足第八阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵。

作为一个具体的实施例，若字符区域的前景图像所对应的灰度图的灰度均值，和/或相同字符区域的背景图像所对应的灰度图的灰度均值不满足第八阈值范围，判定被测饰品有瑕疵。

S523：判断所述第十一特征值或第十二特征值是否满足第九阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵。

作为一个具体的实施例，若同一字符内上三个网格区域的前景图像所对应的灰度图的灰度均值，和/或上三个网格区域的背景图像所对应的灰度图的灰度均值不满足第九阈值范围，判定被测饰品有瑕疵。

优选的，在以上任意一个步骤中，当被测饰品被判定为有瑕疵时，则检测结束。

作为本发明另一个实施例，步骤S500所包含的各个子步骤S501～S503、S511～S513、S521～S523可以以任意顺序以及组合进行排列用于判定饰品是否有瑕疵。在进行瑕疵判定之前，提前根据瑕疵的类型以及用户可接受的误判或者漏判指标设定各种类型的瑕疵所对应的特征值类型、以及各个特征值所对应的阈值范围。之后将被测饰品的各特征值与设定的阈值范围进行比较，从而判定被测饰品是否具有瑕疵。

作为本发明的一个具体的实施例，瑕疵类型为字印模糊的特征为：背景图像和前景图像的灰度方差较大，且超过20为模糊瑕疵。以字印“CTF足金999A”为例，具体判断步骤为：

判断字段区域“CFT”的前景图像所对应灰度图的灰度方差或第一字段区域的背景图像所对应灰度图的灰度方差是否满足阈值20，若超过20则直接判定为模糊瑕疵，检测结束，反之进行下一步检测；

判断第一字段区域“CFT”中第一字符区域“C”的前景图像所对应灰度图的灰度方差或第一字符区域“C”的背景图像所对应灰度图的灰度方差是否满足阈值20，若超过20则直接判定为模糊瑕疵，检测结束，反之进行下一步检测；

判断第一字符区域“C”的网格化后第一网格区域，例如上三个方格区域的前景图像所对应灰度图的灰度方差或“C”的背景图像所对应灰度图的灰度方差是否满足阈值20，若超过20则直接判定为模糊瑕疵，检测结束，反之进行下一步检测；

依次判定“C”其他网格区域的前景图像或背景图像所对应灰度图的灰度方差是否满足阈值20，若超过20则直接判定为模糊瑕疵，检测结束，反之进行下一步检测；

因此判定“F”“T”的特征值是否满足阈值，若不满足，直接判定被测饰品有瑕疵，检测结束；反之，进行下一步检测；

检测完第一字段后，依次检测后面的第二、第三、第四字段，直至所有字段均检测完毕，若均满足阈值条件，则判定为没有瑕疵。

优选的，本发明实施例还可以对字段区域进行2*2的网格划分，并针对每个网格提取特征值，并使用各个网格的特征值进行瑕疵判定。

在本发明的另一个具体的实施例中，本发明还能够检测出字印残缺。字印残缺的特征是字符的高度、宽度变化较大、或者字段内、字符内的前景分布比对称性差、字符内各个区域间的灰度均值差异较大。故主要的判定条件如下：当字段内字符的高度或宽度的方差较大，且最大值减最小值的差值超过合理的范围，则判定为残缺；或者当字符上下两部分前景个数比，或者左右两部分前景个数比超过一定的合理范围时，判定残缺。当字符内各个区域的灰度均值的差异超过合理范围时，判定字符存在残缺。除此之外，本发明所述检测方法还能够对可能存在的字印变形、字印倾斜、字印阴影粘连、字印倒置等复杂字印样式进行检测。只需根据不同的瑕疵类型设定好相关特征值的阈值，依据本发明实施例所述的方法将图像中提取出的特征值与阈值进行比较后进行判断，则可以顺利检测出各种瑕疵类型。

本发明实施例还公开了一种基于机器视觉的饰品表面字印瑕疵检测装置，包括：图像采集装置以及瑕疵判定装置，

其中，所述图像采集装置包括：

主机架，所述主机架包括机架以及支撑平台，用于支撑所述图像采集装置。

工作台，设置于所述支撑平台上，用于放置被测饰品，所述工作台上设置有一个高亮白光背光光源。

全景成像装置，采用环形高清相机阵列，包括十四个分布在所述机架中心上方圆环上的高清相机，其中七个相机用于拍摄饰品内侧，另外七个相机用于拍摄饰品外侧，用于采集被测饰品多个角度的图像。

所述瑕疵判定装置包括：

计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

S100：获取被测饰品多个角度的图像，经处理后获取所述被测饰品的饰品区域图像。

S200：对所述饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的所述饰品区域图像作为最优饰品区域图像进行检测。

S300：将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，若匹配，则进行下一步骤，否则判定所述被测饰品有瑕疵。

S400：对所述最优饰品区域图像中的字印内容进行定位，获取字印区域；对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值。

S500：将提取的所述特征值与预先设定的阈值进行比较，当所述特征值满足所述阈值时，判定所述被测饰品没有瑕疵；当所述特征值不满足所述阈值时，判断所述被测饰品有瑕疵。

在本发明的另一个实施例中，所述基于机器视觉的饰品表面字印瑕疵检测装置还包括顶端垂直高清相机，所述顶端垂直高清相机设置于所述机架中心上方圆环的中心顶端，用于判定所述工作台上是否存在摆放稳定的所述被测饰品。

本发明所述基于机器视觉的饰品表面字印瑕疵检测方法和装置，实现了饰品字印瑕疵的自动化检测，节省检测成本，提高检测效率；该检测方法和装置不仅能够对字印级以及字段级瑕疵进行检测，还能够针对字符级瑕疵，例如字印模糊和字印残缺进行检测，扩展了检测范围；本发明可以根据用户可接受的误判和漏判指标对阈值进行设定，从而对检测结果进行约束松紧程度的调整；本发明所述方法和装置能够适用于多种工件的检测，不仅适用于黄金饰品、铂金饰品，还适用于其他曲面工件，只要成像没有障碍，均可以进行字印检测分析；该方法和装置检测速度快，大概仅需5秒/件，大大提高检测效率；检测精度高，字段级瑕疵检出率99.9％以上。字符级精细瑕疵检出率率99.5％以上。合格品误检率10％以内。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子，例如，本发明不仅可以适用于黄金饰品、铂金饰品等贵重金属检测，还可以适用于其他非平面字印瑕疵检测；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，包括：

获取被测饰品多个角度的图像，经处理后获取所述被测饰品的饰品区域图像；

对所述饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的所述饰品区域图像作为最优饰品区域图像进行检测；

将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，若匹配，则进行下一步骤，否则判定所述被测饰品有瑕疵；

对所述最优饰品区域图像中的字印内容进行定位，获取字印区域；对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值；

将提取的所述特征值与预先设定的阈值进行比较，当所述特征值满足所述阈值时，判定所述被测饰品没有瑕疵；当所述特征值不满足所述阈值时，判断所述被测饰品有瑕疵。

2.根据权利要求1所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，在获取所述被测饰品多个角度的图像之前，还包括：

将获取到的每一帧图像与背景图像做差值计算，若结果大于预设的图像阈值时，判定存在所述被测饰品；

当所述图像中存在所述被测饰品时，获取所述被测饰品的外切四边形；当连续至少两帧图像中，所述被测饰品的外切四边形的大小与位置不变，判定存在摆放稳定的所述被测饰品；当存在摆放稳定的所述被测饰品时，开始获取被测饰品多个角度的图像。

3.根据权利要求1所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，包括：

若所述最优饰品区域图像中的字印内容比饰品模板中的字印内容少，则判定为漏打字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容比饰品模板中的字印内容多，则判定为多打字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容与饰品模板中的字印内容有一部分完全不同，则判定为打错字印，所述被测饰品有瑕疵；

若所述最优饰品区域图像中的字印内容与饰品模板中的字印内容的顺序不一致，则判定为字印顺序错误，所述被测饰品有瑕疵；

若不存在所述漏打字印、所述多打字印、所述打错字印以及所述字印顺序错误，则进行下一步检测。

4.根据权利要求1所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，对所述最优饰品区域图像中的字印内容进行定位，获取字印区域，包括：

根据所述基于深度学习的字印检测的结果获取所述最优饰品区域图像中每个字段的位置，并计算得到第二字印区域；

将所述第二字印区域的图像外扩所述第二字印区域高度的1/2后得到第三字印区域的图像；

采用局部二值化算法对所述第三字印区域图像进行二值化，得到二值图像；

计算所述二值图像的连通域特征，去除所述二值图像中的噪声区域，得到所述第三字印区域的前景图像，扫描所述前景图像得到所述字印区域。

5.根据权利要求4所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值，包括：

对所述字印区域进行纵向前景直方图投影，得到投影直方图；

通过所述投影直方图对所述字印区域进行字段分割得到多个字段区域；分别提取每个所述字段区域的图像特征值作为第一特征值；

通过所述投影直方图对所述字段区域进行字符分割得到多个字符区域；分别提取每个所述字符区域的图像特征值作为第二特征值；

将所述字符区域平均划分得到多个网格区域；分别提取每个所述网格区域的图像特征值作为第三特征值；

提取所述字印区域中各个字段中全部字符的形态特征值作为第四特征值；

提取所述字段区域中各个字符的形态特征值作为第五特征值；

将所述字符区域划分为子字符区域，提取所述子字符区域的字符的形态特征值作为第六特征值；

分别提取同一个所述字段区域的两个图像特征值作为第七特征值、第八特征值；

分别提取同一个所述字符区域的两个图像特征值作为第九特征值、第十特征值；

分别提取同一个所述网格区域的两个图像特征值作为第十一特征值、第十二特征值。

6.根据权利要求5所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，将提取的所述特征值与预先设定的阈值进行比较，包括：

获取两个不同的所述字段区域各自对应的所述第一特征值的差值，判断所述第一特征值的差值是否满足第一阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字段区域内的两个不同的所述字符区域各自对应的所述第二特征值的差值，判断所述第二特征值的差值是否满足第二阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字符区域内的两个不同的所述网格区域各自对应的所述第三特征值的差值，判断所述第三特征值的差值是否满足第三阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

7.根据权利要求5所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，将提取的所述特征值与预先设定的阈值进行比较，包括：

获取两个不同的所述字段区域各自对应的所述第四特征值的差值，判断所述第四特征值的差值是否满足第四阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字段区域内的两个不同字符各自对应的所述第五特征值的差值，判断所述第五特征值的差值是否满足第五阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵；和/或，

获取同一所述字符区域内的两个不同的所述子字符区域的所述第六特征值的比值，判断所述第六特征值的差值是否满足第六阈值，若满足则进行下一步判定，否则判定所述被测饰品有瑕疵。

8.根据权利要求5所述的基于机器视觉的饰品表面字印瑕疵检测方法，其特征在于，将提取的所述特征值与预先设定的阈值进行比较，包括：判断所述第七特征值或第八特征值是否满足第七阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵；和/或，

判断所述第九特征值或第十特征值是否满足第八阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵；和/或，

判断所述第十一特征值或第十二特征值是否满足第九阈值，若满足则进行下一步检测，否则判定所述被测饰品有瑕疵。

9.一种基于机器视觉的饰品表面字印瑕疵检测装置，其特征在于，包括：图像采集装置以及瑕疵判定装置，

其中，所述图像采集装置包括：

主机架，所述主机架包括机架以及支撑平台，用于支撑所述图像采集装置；

工作台，设置于所述支撑平台上，用于放置被测饰品，所述工作台上设置有一个高亮白光背光光源；

全景成像装置，采用环形高清相机阵列，包括十四个分布在所述机架中心上方圆环上的高清相机，其中七个相机用于拍摄饰品内侧，另外七个相机用于拍摄饰品外侧，用于采集被测饰品多个角度的图像；

所述瑕疵判定装置包括：

计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤；

获取被测饰品多个角度的图像，经处理后获取所述被测饰品的饰品区域图像；

对所述饰品区域图像进行基于深度学习的字印检测，提取包含完整字印的所述饰品区域图像作为最优饰品区域图像进行检测；

将所述最优饰品区域图像与预先存储的饰品模板进行比较，判断所述最优饰品区域图像中的字印内容与饰品模板中的字印内容是否匹配，若匹配，则进行下一步骤，否则判定所述被测饰品有瑕疵；

对所述最优饰品区域图像中的字印内容进行定位，获取字印区域；对所述字印区域进行字段分割得到字段区域，提取所述字段区域的图像的特征值；

将提取的所述特征值与预先设定的阈值进行比较，当所述特征值满足所述阈值时，判定所述被测饰品没有瑕疵；当所述特征值不满足所述阈值时，判断所述被测饰品有瑕疵。

10.根据权利要求9所述的一种基于机器视觉的饰品表面字印瑕疵检测装置，其特征在于，还包括顶端垂直高清相机，所述顶端垂直高清相机设置于所述机架中心上方圆环的中心顶端，用于判定所述工作台上是否存在摆放稳定的所述被测饰品。