CN110705362B - 一种字印分析方法和装置 - Google Patents

一种字印分析方法和装置 Download PDF

Info

Publication number
CN110705362B
CN110705362B CN201910842477.7A CN201910842477A CN110705362B CN 110705362 B CN110705362 B CN 110705362B CN 201910842477 A CN201910842477 A CN 201910842477A CN 110705362 B CN110705362 B CN 110705362B
Authority
CN
China
Prior art keywords
character
image
field
letterpress
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910842477.7A
Other languages
English (en)
Other versions
CN110705362A (zh
Inventor
解月江
陈魏然
陆和平
丁名晓
梁砚啸
王露荻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daotech Technology Co ltd
Original Assignee
Daotech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daotech Technology Co ltd filed Critical Daotech Technology Co ltd
Priority to CN201910842477.7A priority Critical patent/CN110705362B/zh
Publication of CN110705362A publication Critical patent/CN110705362A/zh
Application granted granted Critical
Publication of CN110705362B publication Critical patent/CN110705362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明公开了一种字印分析方法和装置，所述方法包括：建立字段检测模型和字符检测模型；调用字段检测模型，对字印图像中的字段进行检测和识别，得到字段检测结果；根据字段检测结果得到字印图像和字段图像；调用字符检测模型，对字段图像进行检测，得到字符检测结果；对字符检测结果进行后处理，得到字符区域和字符精细分割结果；结合字符区域，对字印图像进行预处理，得到预处理后的字印图像；结合预处理后的字印图像和所述字符精细分割结果，提取字符的特征，实现对字印的分析。本发明提供的字印分析方法和装置，可以提高字印分析的准确性。

Description

一种字印分析方法和装置
技术领域
本发明涉及信息处理技术领域，特别是指一种字印分析方法和装置。
背景技术
根据国家标准，黄金、铂金、等首饰上需要刻印符合国家标准的字印内容。通常，完整的字印包括公司印、成色印及工厂印。其中，公司印一般为公司名称或者公司名称缩写，例如：CTF、GSKA等；成色印用于表示该饰品的材质及成色，例如：足金999、PT950等；工厂印用于表示该饰品的加工工厂或者生产地，例如：A、B等。
首饰字印瑕疵检测是指对戒指、手镯等环状饰品内侧的字印进行检测并判断出字印内容是否有误，字符是否存在模糊、残缺等瑕疵。字印的字符分割和处理效果会对后续特征值的计算产生直接影响，进而影响瑕疵判定结果的准确性，因此字符分割和处理对字印瑕疵检测整体而言至关重要。
发明内容
有鉴于此，本发明的目的在于提出一种字印分析方法和装置，可以实现对不同款式字印字符的准确分割，并在分割的基础上有效地去除干扰。
基于上述目的，本发明的第一个方面，提供了一种字印分析方法，包括：
建立字段检测模型和字符检测模型；
调用所述字段检测模型，对所述字印图像中的字段进行检测和识别，得到字段检测结果；
根据所述字段检测结果得到字印图像和字段图像；
调用所述字符检测模型，对所述字段图像进行检测，得到字符检测结果；
对所述字符检测结果进行后处理，得到字符区域和字符精细分割结果；
结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像；
结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析。
可选的，所述建立字段检测模型和字符检测模型包括：
收集载体图像并对所述载体图像中的字段进行标注，并将对应的字段标注信息作为字段训练集；
根据所述字段标注信息从所述载体图像中裁剪出字段图像，并按照字段类型对所述字段图像进行归类；
对所述字段图像中的单个字符进行标注，并将对应的字符标注信息作为字符训练集；
基于所述字段训练集和所述字符训练集建立深度学习网络，经迭代学习训练，分别得到字段检测模型和字符检测模型。
可选的，所述根据所述字段检测结果得到字印图像和字段图像，包括：
根据所述字段检测结果，计算字段区域的最小外接矩形，将所述最小外接矩形的坐标作为字段坐标，得到字段位置；
根据所述字段坐标，依次确定所述字段的类别，进而判断所述字段的字印是否倒置；
若倒置，将金饰图像旋转180度，同时对字段坐标进行坐标变换；
计算多个所述字段区域的最上方、最下方、最左方和最右方的边界值；
根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标；
根据所述字印坐标确定字印位置。
根据所述字印位置和字段位置分别对所述字印和字段进行裁剪，得到相应的字印图像和字段图像。
可选的，所述根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标，还包括：
分别按照既定的外扩值对所述最上方、最下方、最左方和最右方的边界值进行外扩；
将外扩后的所述边界值与所述载体图像的界限值进行比较；若所述外扩后的边界值大于所述载体图像的界限值，以所述载体图像的界限值作为所述字印坐标；若所述外扩后的边界值小于所述载体图像的界限值，以所述外扩后的边界值作为所述字印坐标。
可选的，所述既定的外扩值为5～10个像素。
可选的，所述后处理包括对所述字符检测结果进行误检去除和精细分割；
所述误检去除包括：
计算所述字符检测结果中字符区域的特征值；
将所述特征值和预设阈值进行比较，若所述特征值不满足所述预设阈值，剔除不满足所述预设阈值的所述字符区域；若所述特征值满足所述预设阈值，保留所述字符区域。
可选的，所述误检去除还包括：
比较所述字符的检出数与所述字符的预设数；若所述检出数大于所述预设数，则存在误检；
计算检出的所述字符区域的面积，并根据所述面积对所述字符区域进行排序，保留所述面积最大的所述字符区域，去除误检的所述字符区域。
可选的，所述特征值包括字符区域面积、字符区域像素点数、字符区域最小外接矩形的长度和宽度。
可选的，所述精细分割包括：
根据字段内容，判断所述字段中是否存在相邻且相同的字符；
若存在所述相邻且相同的字符，根据已分割的字符宽度判断所述相邻且相同的字符是否存在未分割情况；
若存在所述未分割情况，计算单个字符的宽度，并根据所述单个字符的宽度计算所述字符区域中的字符坐标。
可选的，采用等分原则计算所述单个字符的宽度，所述采用等分原则计算所述单个字符的宽度，包括：
将未分割的所述字符区域的宽度除以所述字符区域中的字符数量，进而得到所述单个字符的宽度。
可选的，所述结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像，包括：
根据所述后处理后的所述字符区域的位置坐标，创建所述字符区域的二值图像，所述字符区域的二值图像与所述字印图像大小一致；
对所述字印图像进行中值滤波；
将中值滤波后的所述字印图像由RGB颜色空间转换为Lab颜色空间；
对所述Lab颜色空间中L通道的所述字印图像进行直方图拉伸，得到增强的所述字印图像；
对增强后的所述字印图像进行自适应阈值处理，得到字印的二值图像；
将所述字印的二值图像与所述字符区域的二值图像进行相与运算，去除所述字印二值图像中的噪声，得到去噪后的字印二值图像。
可选的，所述结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析，包括：
根据所述L通道的所述字印图像和所述字符区域的二值图像，计算所述字符区域的灰度特征；
根据所述L通道的所述字印图像和所述去噪后的字印二值图像，计算所述字符的前景灰度特征；
根据所述去噪后的字印二值图像及所述字符精细分割结果，计算所述字符的前景特征及几何特征。
本发明的第二个方面，提供了一种字印分析装置，包括：
模型创建模块，用于建立字段检测模型和字符检测模型；
检测模块，用于：
调用所述字段检测模型，对所述字印图像中的字段进行检测和识别，得到字段检测结果；根据所述字段检测结果得到字印图像和字段图像；调用所述字符检测模型，对所述字段图像进行检测，得到字符检测结果；
后处理模块，用于对所述字符检测结果进行后处理，得到字符区域和字符精细分割结果；
预处理模块，用于结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像；
特征提取模块，用于结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析。
可选的，所述模型创建模块还用于：
收集载体图像并对所述载体图像中的字段进行标注，并将对应的字段标注信息作为字段训练集；
根据所述字段标注信息从所述载体图像中裁剪出字段图像，并按照字段类型对所述字段图像进行归类；
对所述字段图像中的单个字符进行标注，并将对应的字符标注信息作为字符训练集；
基于所述字段训练集和所述字符训练集建立深度学习网络，经迭代学习训练，分别得到字段检测模型和字符检测模型。
可选的，所述检测模块还用于：
根据所述字段检测结果，计算字段区域的最小外接矩形，将所述最小外接矩形的坐标作为字段坐标，得到字段位置；
根据所述字段坐标，依次确定所述字段的类别，进而判断所述字段的字印是否倒置；
若倒置，将金饰图像旋转180度，同时对字段坐标进行坐标变换；
计算多个所述字段区域的最上方、最下方、最左方和最右方的边界值；
根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标；
根据所述字印坐标确定字印位置。
根据所述字印位置和字段位置分别对所述字印和字段进行裁剪，得到相应的字印图像和字段图像。
可选的，所述检测模块还用于：
分别按照既定的外扩值对所述最上方、最下方、最左方和最右方的边界值进行外扩；
将外扩后的所述边界值与所述载体图像的界限值进行比较；若所述外扩后的边界值大于所述载体图像的界限值，以所述载体图像的界限值作为所述字印坐标；若所述外扩后的边界值小于所述载体图像的界限值，以所述外扩后的边界值作为所述字印坐标。
可选的，所述后处理模块还用于：
计算所述字符检测结果中字符区域的特征值；
将所述特征值和预设阈值进行比较，若所述特征值不满足所述预设阈值，剔除不满足所述预设阈值的所述字符区域；若所述特征值满足所述预设阈值，保留所述字符区域。
可选的，所述后处理模块还用于：
比较所述字符的检出数与所述字符的预设数；若所述检出数大于所述预设数，则存在误检；
计算检出的所述字符区域的面积，并根据所述面积对所述字符区域进行排序，保留所述面积最大的所述字符区域，去除误检的所述字符区域。
可选的，所述后处理模块还用于：
根据字段内容，判断所述字段中是否存在相邻且相同的字符；
若存在所述相邻且相同的字符，根据已分割的字符宽度判断所述相邻且相同的字符是否存在未分割情况；
若存在所述未分割情况，计算单个字符的宽度，并根据所述单个字符的宽度计算所述字符区域中的字符坐标。
可选的，所述预处理模块还用于：
根据所述后处理后的所述字符区域的位置坐标，创建所述字符区域的二值图像，所述字符区域的二值图像与所述字印图像大小一致；
对所述字印图像进行中值滤波；
将中值滤波后的所述字印图像由RGB颜色空间转换为Lab颜色空间；
对所述Lab颜色空间中L通道的所述字印图像进行直方图拉伸，得到增强的所述字印图像；
对增强后的所述字印图像进行自适应阈值处理，得到字印的二值图像；
将所述字印的二值图像与所述字符区域的二值图像进行相与运算，去除所述字印二值图像中的噪声，得到去噪后的字印二值图像。
可选的，所述特征提取模块还用于：
根据所述L通道的所述字印图像和所述字符区域的二值图像，计算所述字符区域的灰度特征；
根据所述L通道的所述字印图像和所述去噪后的字印二值图像，计算所述字符的前景灰度特征；
根据所述去噪后的字印二值图像及所述字符精细分割结果，计算所述字符的前景特征及几何特征。
从上面所述可以看出，本发明提供的字印分析方法和装置，通过调用预训练的字段检测模型和字符检测模型，得到字段信息和字符信息，并将字符进行后处理得到字符区域和字符精细分割结果；对字印区域进行预处理以去除噪声区域，结合预处理后的字印区域和字符精细分割结果，提取字符的特征，实现对字印的准确分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种字印分析方法的流程示意图；
图2为本发明实施例提供的一种字印分析方法的建立字段检测模型和字符检测模型阶段流程示意图；
图3为本发明实施例提供的一种字印分析装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
发明人发现，目前首饰字印具有以下特点：(1)字印字印多位于环状饰品内侧，实际采集图像中的字印往往存在倾斜、畸变及光照不均等情况；(2)字印品款式众多，可达上百种，不同类型字印的字符大小各异、粗细不同、深浅不一；(3)当字印内侧为抛光面，成像过程中产生的倒影会对字印处理产生干扰。
因此为了解决上述问题，本发明实施例提供了一种字印分析方法，参考图1所示，包括：
步骤101：建立字段检测模型和字符检测模型；
步骤102：调用所述字段检测模型，对所述字印图像中的字段进行检测和识别，得到字段检测结果；
步骤103：根据所述字段检测结果得到字印图像和字段图像；
步骤104：调用所述字符检测模型，对所述字段图像进行检测，得到字符检测结果；
步骤105：对所述字符检测结果进行后处理，得到字符区域和字符精细分割结果；
步骤106：结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像；
步骤107：结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析。
从上述实施例可以看出，本发明提供的字印分析方法，通过调用预训练的字段检测模型和字符检测模型，分别对字印图像中的字段及字段中的字符进行检测和识别，并将识别的结果进行误检去除和精细分割，能够在准确提取字符前景的同时有效排除噪声干扰，为后续字符特征提取提供可靠保障，提高字印分析的准确性。
本发明实施例中，所述的字印分析方法不仅适用于金饰品的字印图像，还适用于银饰品、木制品等其他材质的字印图像；以及对印制在工业仪器、日用品等其他常规物品上的字印图像。需要说明的是，根据国家标准，银、黄金、铂金、等首饰上需要刻印符合国家标准的字印内容。通常，完整的字印包括公司印、成色印及工厂印。为了更好地进行阐述，本方案均以“CTF足金999A”为示例进行解释说明，这个字印包括四个字段，分别为“CTF”、“足金”、“999”以及“A”；第一字段“CTF”包括字符“C”、“T”、“F”，第二字段“足金”包括字符“足”和“金”，第三字段“999”包括字符“9”、“9”和“9”，第四字段包括字符“A”。
在一些可选的实施方式中，步骤101中，所述建立字段检测模型和字符检测模型包括如下步骤：
参考图2所示，为本发明实施例提供的建立字段检测模型和字符检测模型阶段流程示意图，所述建立字段检测模型和字符检测模型包括：
步骤1011：收集载体图像并对所述载体图像中的字段进行标注，将对应的字段标注信息作为字段训练集。需要说明的是，这里收集的载体图像为成像清晰且包含完整金饰的图像，其中，金饰上的字印完整，不存在残缺、模糊、脏污等问题。可选的，上述字段标注信息分别为“ctf”、“gold”、“999”、“other”，分别对应字段“CTF”、“足金”、“999”、“A”。
需要说明的是，由于所述字印分析方法除了适用于首饰之外，还适用于其他物体，故上述载体图像也不仅局限于首饰图像，还可以理解为任何印制有待分析字印的物体的图像。
步骤1012：根据所述字段标注信息从所述载体图像中裁剪出字段图像，并按照字段类型对所述字段图像进行归类；对所述字段图像中的单个字符进行标注，并将对应的字符标注信息作为字符训练集。可选的，字段“ctf”标注的字符标签为“c”、“t”、“f”，分别对应字符“C”“T”“F”；字段“gold”标注的字符标签为“zu”、“jin”，分别对应“足金”、字段“999”标注的字符标签统一为“9”。需要说明的是，由于字段“other”类别繁多，因此不进行字符检测，将字段检测结果作为最终的字符检测结果。
步骤1013：基于所述字段训练集和所述字符训练集建立深度学习网络，经迭代学习训练，分别得到字段检测模型和字符检测模型。进入步骤102。
在一些可选的实施方式中，步骤103中，根据所述字段检测结果得到字印图像和字段图像，包括：
根据所述字段检测结果，计算字段区域的最小外接矩形，将所述最小外接矩形的坐标作为字段坐标，得到字段位置；
根据所述字段坐标，依次确定所述字段的类别，进而判断所述字段的字印是否倒置；
若倒置，将金饰图像旋转180度，同时对字段坐标进行坐标变换；
计算多个所述字段区域的最上方、最下方、最左方和最右方的边界值；
根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标。在一些可选的实施方式中，所述根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标，具体包括：
分别按照既定的外扩值对所述最上方、最下方、最左方和最右方的边界值进行外扩；
将外扩后的所述边界值与所述载体图像的界限值进行比较；若所述外扩后的边界值大于所述载体图像的界限值，以所述载体图像的界限值作为所述字印坐标；若所述外扩后的边界值小于所述载体图像的界限值，以所述外扩后的边界值作为所述字印坐标。可选的，所述既定的外扩值为5～10个像素。
根据所述字印坐标确定字印位置。
根据所述字印位置和字段位置分别对所述字印和字段进行裁剪，得到相应的字印图像和字段图像。
需要说明的是，在成像时，金饰的摆放不区分反正，因此字印可能存在倒置情况，虽然这并不会对字符分割和处理产生影响，但会对字符特征的提取产生极大影响。例如，字符“T”上半部和下半部前景点比值大于1，但倒置时，该值小于1。因此，可以根据各字段坐标，依次确定字段类别，若字段类别依次为“ctf”、“gold”、“999”、“other”，则字印正常，保持原字段坐标不变；若字段类别依次为“other”、“999”、“gold”、“ctf”，则字印倒置，将金饰图像旋转180度，同时对字段坐标进行变换。
在一些可选的实施方式中，步骤105中，所述后处理包括对所述字符检测结果进行误检去除和精细分割。需要说明的是，调用深度学习模型检测字符时，必然会产生一些像素级误检，故需要对误检区域进行去除。同时，由于采用的字符检测模型为基于语义分割的深度学习模型，无法区分邻近的两个相同字符，当字段中存在邻近且相同字符时，可能会检为同一区域。如字段“999”中的字符“9”，多数情况下检出的三个“9”的字符区域连成一片，需对字符进一步精细分割。
可选的，所述误检去除包括：
计算所述字符检测结果中字符区域的特征值；
将所述特征值和预设阈值进行比较，若所述特征值不满足所述预设阈值，剔除不满足所述预设阈值的所述字符区域；若所述特征值满足所述预设阈值，保留所述字符区域。可选的，所述特征值包括字符区域面积、字符区域像素点数、字符区域最小外界矩形的长度和宽度。当所选取的特征值为字符区域最小外接矩形的长度和宽度时，得到最小外接矩形的宽度W和高度H即为字符的宽度和高度，将W和H分别和预设阈值thrW和thrH进行比较，若W小于thrW或H小于thrH，则剔除该误检区域；反之，保留该结果区域。可选的，上述预设阈值thrW和thrH均为15-20。需要说明的是，这一步的误检去除为小区域误检去除，目的是剔除小区域误检。
可选的，所述误检去除还包括：
比较所述字符的检出数与所述字符的预设数；若所述检出数大于所述预设数，则存在误检；
计算检出的所述字符区域的面积，并根据所述面积对所述字符区域进行排序，保留所述面积最大的所述字符区域，去除误检的所述字符区域。需要说明的是，这一步的误检去除为二次误检去除，目的是剔除剩余误检区域。
在一些可选的实施方式中，所述精细分割包括：
根据字段内容，判断所述字段中是否存在相邻且相同的字符；
若存在所述相邻且相同的字符，根据已分割的字符宽度判断所述相邻且相同的字符是否存在未分割情况；
若存在所述未分割情况，计算单个字符的宽度，并根据所述单个字符的宽度计算所述字符区域中的字符坐标。
可选的，采用等分原则计算所述单个字符的宽度，所述采用等分原则计算所述单个字符的宽度，包括：
将未分割的所述字符区域的宽度除以所述字符区域中的字符数量，进而得到所述单个字符的宽度。
步骤106：结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像。需要说明的是，字符分割结果仅分割出了单个字符区域，要提取字符的前、背景特征及灰度特征等需要对字印图像进行预处理，得到字印二值图像。由于金饰字印图像存在噪声、光照不均匀等问题，为此结合所述检出字符区域对字印图像进行预处理。
在一些可选的实施方式中，步骤106中，所述预处理过程包括：
根据所述后处理后的所述字符区域的位置坐标，创建所述字符区域的二值图像，所述字符区域的二值图像与所述字印图像大小一致；
对所述字印图像进行中值滤波，可选的，所述中值滤波器尺寸为3。
将中值滤波后的所述字印图像由RGB颜色空间转换为Lab颜色空间。
对所述Lab颜色空间中L通道的所述字印图像进行直方图拉伸，得到增强的所述字印图像；可选的，进行上述直方图拉伸时采用字符区域的二值图像作为掩膜(mask)图，因为在调用函数算法时考虑对字符区域的二值图像的前景区域做拉伸，其拉伸效果更好。需要说明的是，所述掩膜的过程，即用选定的图像、图形或物体，对处理的图像进行遮挡，来控制图像处理的区域或处理过程。
对增强后的所述字印图像进行自适应阈值处理，得到字印的二值图像；可选的，所述自适应阈值处理时邻域块大小为51，偏移值调整量为5。
将所述字印的二值图像与所述字符区域的二值图像进行相与运算，去除所述字印二值图像中的噪声，得到去噪后的字印二值图像。
在一些可选的实施方式中，步骤107中，所述结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析，具体包括：
根据所述L通道的所述字印图像和所述字符区域的二值图像，计算所述字符区域的灰度特征；
根据所述L通道的所述字印图像和所述去噪后的字印二值图像，计算所述字符的前景灰度特征；
根据所述去噪后的字印二值图像及所述字符精细分割结果，计算所述字符的前景特征及几何特征。
本发明实施例提供的字印分析方法不仅能够对金饰字符进行准确分割，还实现了对字印的增强和去噪。该方法对噪声、光照不均、字印倾斜等具有较强的鲁棒性，能够有效保证后续字符特征的稳定性、准确性和可靠性，可使瑕疵检测准确率提高约10％。需要说明的是，本发明实施例提供的字印分析方法不仅适用于对首饰字印的分析，还适用于对印制在工业仪器、日用品等其他常规物品上的字印进行精确分析。
本发明的第二个方面，提供了字印分析装置的一个实施例，参考图3所示，所述字印分析装置包括：
模型创建模块201，用于建立字段检测模型和字符检测模型；
检测模块202，用于：
调用所述字段检测模型，对所述字印图像中的字段进行检测和识别，得到字段检测结果；根据所述字段检测结果得到字印图像和字段图像；调用所述字符检测模型，对所述字段图像进行检测，得到字符检测结果；
后处理模块203，用于对所述字符检测结果进行后处理，得到字符区域和字符精细分割结果；
预处理模块204，用于结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像；
特征提取模块205，用于结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析。
在一些可选的实施方式中，所述模型创建模块201还用于：
收集载体图像并对所述载体图像中的字段进行标注，并将对应的字段标注信息作为字段训练集；
根据所述字段标注信息从所述载体图像中裁剪出字段图像，并按照字段类型对所述字段图像进行归类；
对所述字段图像中的单个字符进行标注，并将对应的字符标注信息作为字符训练集；
基于所述字段训练集和所述字符训练集建立深度学习网络，经迭代学习训练，分别得到字段检测模型和字符检测模型。
在一些可选的实施方式中，所述检测模块还用于：
根据所述字段检测结果，计算字段区域的最小外接矩形，将所述最小外接矩形的坐标作为字段坐标，得到字段位置；
根据所述字段坐标，依次确定所述字段的类别，进而判断所述字段的字印是否倒置；
若倒置，将金饰图像旋转180度，同时对字段坐标进行坐标变换；
计算多个所述字段区域的最上方、最下方、最左方和最右方的边界值；
根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标；
根据所述字印坐标确定字印位置。
根据所述字印位置和字段位置分别对所述字印和字段进行裁剪，得到相应的字印图像和字段图像。
在一些可选的实施方式中，所述检测模块还用于：
分别按照既定的外扩值对所述最上方、最下方、最左方和最右方的边界值进行外扩；
将外扩后的所述边界值与所述载体图像的界限值进行比较；若所述外扩后的边界值大于所述载体图像的界限值，以所述载体图像的界限值作为所述字印坐标；若所述外扩后的边界值小于所述载体图像的界限值，以所述外扩后的边界值作为所述字印坐标。
在一些可选的实施方式中，所述后处理模块还用于：
计算所述字符检测结果中字符区域的特征值；
将所述特征值和预设阈值进行比较，若所述特征值不满足所述预设阈值，剔除不满足所述预设阈值的所述字符区域；若所述特征值满足所述预设阈值，保留所述字符区域。
在一些可选的实施方式中，所述后处理模块还用于：
比较所述字符的检出数与所述字符的预设数；若所述检出数大于所述预设数，则存在误检；
计算检出的所述字符区域的面积，并根据所述面积对所述字符区域进行排序，保留所述面积最大的所述字符区域，去除误检的所述字符区域。
在一些可选的实施方式中，所述后处理模块还用于：
根据字段内容，判断所述字段中是否存在相邻且相同的字符；
若存在所述相邻且相同的字符，根据已分割的字符宽度判断所述相邻且相同的字符是否存在未分割情况；
若存在所述未分割情况，计算单个字符的宽度，并根据所述单个字符的宽度计算所述字符区域中的字符坐标。
在一些可选的实施方式中，所述预处理模块还用于：
根据所述后处理后的所述字符区域的位置坐标，创建所述字符区域的二值图像，所述字符区域的二值图像与所述字印图像大小一致；
对所述字印图像进行中值滤波；
将中值滤波后的所述字印图像由RGB颜色空间转换为Lab颜色空间；
对所述Lab颜色空间中L通道的所述字印图像进行直方图拉伸，得到增强的所述字印图像；
对增强后的所述字印图像进行自适应阈值处理，得到字印的二值图像；
将所述字印的二值图像与所述字符区域的二值图像进行相与运算，去除所述字印二值图像中的噪声，得到去噪后的字印二值图像。
在一些可选的实施方式中，所述特征提取模块还用于：
根据所述L通道的所述字印图像和所述字符区域的二值图像，计算所述字符区域的灰度特征；
根据所述L通道的所述字印图像和所述去噪后的字印二值图像，计算所述字符的前景灰度特征；
根据所述去噪后的字印二值图像及所述字符精细分割结果，计算所述字符的前景特征及几何特征。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子，例如，本发明不仅可以适用于首饰字印中的缺陷检测，还可以适用于其他产品的表面缺陷检测，且可检出的缺陷类型也不局限于所述缺陷类型；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种字印分析方法，其特征在于，包括：
建立字段检测模型和字符检测模型；
调用所述字段检测模型，对金饰的字印图像中的字段进行检测和识别，得到字段检测结果；
根据所述字段检测结果得到所述金饰的字印图像和字段图像；其中包括：根据所述字段检测结果，计算字段区域的最小外接矩形，将所述最小外接矩形的坐标作为字段坐标，得到字段位置；
根据所述字段坐标，依次确定所述字段的类别，进而判断所述字段的字印是否倒置；
若倒置，将金饰图像旋转180度，同时对字段坐标进行坐标变换；
计算多个所述字段区域的最上方、最下方、最左方和最右方的边界值；
根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标；其中包括：分别按照既定的外扩值对所述最上方、最下方、最左方和最右方的边界值进行外扩；
将外扩后的所述边界值与载体图像的界限值进行比较；若所述外扩后的边界值大于所述载体图像的界限值，以所述载体图像的界限值作为所述字印坐标；若所述外扩后的边界值小于所述载体图像的界限值，以所述外扩后的边界值作为所述字印坐标；
根据所述字印坐标确定字印位置；
根据所述字印位置和字段位置分别对所述字印和字段进行裁剪，得到相应的字印图像和字段图像；
调用所述字符检测模型，对所述字段图像进行检测，得到字符检测结果；
对所述字符检测结果进行后处理，得到字符区域和字符精细分割结果；
结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像；
结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析。
2.根据权利要求1所述的字印分析方法，其特征在于，所述建立字段检测模型和字符检测模型包括：
收集载体图像并对所述载体图像中的字段进行标注，并将对应的字段标注信息作为字段训练集；
根据所述字段标注信息从所述载体图像中裁剪出字段图像，并按照字段类型对所述字段图像进行归类；
对所述字段图像中的单个字符进行标注，并将对应的字符标注信息作为字符训练集；
基于所述字段训练集和所述字符训练集建立深度学习网络，经迭代学习训练，分别得到字段检测模型和字符检测模型。
3.根据权利要求1所述的字印分析方法，其特征在于，所述既定的外扩值为5～10个像素。
4.根据权利要求1所述的字印分析方法，其特征在于，所述后处理包括对所述字符检测结果进行误检去除和精细分割；
所述误检去除包括：
计算所述字符检测结果中字符区域的特征值；
将所述特征值和预设阈值进行比较，若所述特征值不满足所述预设阈值，剔除不满足所述预设阈值的所述字符区域；若所述特征值满足所述预设阈值，保留所述字符区域。
5.根据权利要求4所述的字印分析方法，其特征在于，所述误检去除还包括：
比较所述字符的检出数与所述字符的预设数；若所述检出数大于所述预设数，则存在误检；
计算检出的所述字符区域的面积，并根据所述面积对所述字符区域进行排序，保留所述面积最大的所述字符区域，去除误检的所述字符区域。
6.根据权利要求4所述的字印分析方法，其特征在于，所述特征值包括字符区域面积、字符区域像素点数、字符区域最小外界矩形的长度和宽度。
7.根据权利要求4所述的字印分析方法，其特征在于，所述精细分割包括：
根据字段内容，判断所述字段中是否存在相邻且相同的字符；
若存在所述相邻且相同的字符，根据已分割的字符宽度判断所述相邻且相同的字符是否存在未分割情况；
若存在所述未分割情况，计算单个字符的宽度，并根据所述单个字符的宽度计算所述字符区域中的字符坐标。
8.根据权利要求7所述的字印分析方法，其特征在于，采用等分原则计算所述单个字符的宽度，所述采用等分原则计算所述单个字符的宽度，包括：
将未分割的所述字符区域的宽度除以所述字符区域中的字符数量，进而得到所述单个字符的宽度。
9.根据权利要求1所述的字印分析方法，其特征在于，所述结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像，包括：
根据所述后处理后的所述字符区域的位置坐标，创建所述字符区域的二值图像，所述字符区域的二值图像与所述字印图像大小一致；
对所述字印图像进行中值滤波；
将中值滤波后的所述字印图像由RGB颜色空间转换为Lab颜色空间；
对所述Lab颜色空间中L通道的所述字印图像进行直方图拉伸，得到增强的所述字印图像；
对增强后的所述字印图像进行自适应阈值处理，得到字印的二值图像；
将所述字印的二值图像与所述字符区域的二值图像进行相与运算，去除所述字印二值图像中的噪声，得到去噪后的字印二值图像。
10.根据权利要求9所述的字印分析方法，其特征在于，所述结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析，包括：
根据所述L通道的所述字印图像和所述字符区域的二值图像，计算所述字符区域的灰度特征；
根据所述L通道的所述字印图像和所述去噪后的字印二值图像，计算所述字符的前景灰度特征；
根据所述去噪后的字印二值图像及所述字符精细分割结果，计算所述字符的前景特征及几何特征。
11.一种字印分析装置，其特征在于，包括：
模型创建模块，用于建立字段检测模型和字符检测模型；
检测模块，用于：
调用所述字段检测模型，对金饰的字印图像中的字段进行检测和识别，得到字段检测结果；
根据所述字段检测结果得到所述金饰的字印图像和字段图像；其中包括：根据所述字段检测结果，计算字段区域的最小外接矩形，将所述最小外接矩形的坐标作为字段坐标，得到字段位置；
根据所述字段坐标，依次确定所述字段的类别，进而判断所述字段的字印是否倒置；
若倒置，将金饰图像旋转180度，同时对字段坐标进行坐标变换；
计算多个所述字段区域的最上方、最下方、最左方和最右方的边界值；
根据所述最上方、最下方、最左方和最右方的边界值，确定字印坐标；其中包括：分别按照既定的外扩值对所述最上方、最下方、最左方和最右方的边界值进行外扩；
将外扩后的所述边界值与载体图像的界限值进行比较；若所述外扩后的边界值大于所述载体图像的界限值，以所述载体图像的界限值作为所述字印坐标；若所述外扩后的边界值小于所述载体图像的界限值，以所述外扩后的边界值作为所述字印坐标；
根据所述字印坐标确定字印位置；
根据所述字印位置和字段位置分别对所述字印和字段进行裁剪，得到相应的字印图像和字段图像；
调用所述字符检测模型，对所述字段图像进行检测，得到字符检测结果；
后处理模块，用于对所述字符检测结果进行后处理，得到字符区域和字符精细分割结果；
预处理模块，用于结合所述字符区域，对所述字印图像进行预处理，得到预处理后的所述字印图像；
特征提取模块，用于结合所述预处理后的字印图像和所述字符精细分割结果，提取所述字符的特征，实现对所述字印的分析。
12.根据权利要求11所述的字印分析装置，其特征在于，所述模型创建模块还用于：
收集载体图像并对所述载体图像中的字段进行标注，并将对应的字段标注信息作为字段训练集；
根据所述字段标注信息从所述载体图像中裁剪出字段图像，并按照字段类型对所述字段图像进行归类；
对所述字段图像中的单个字符进行标注，并将对应的字符标注信息作为字符训练集；
基于所述字段训练集和所述字符训练集建立深度学习网络，经迭代学习训练，分别得到字段检测模型和字符检测模型。
13.根据权利要求11所述的字印分析装置，其特征在于，所述后处理模块还用于：
计算所述字符检测结果中字符区域的特征值；
将所述特征值和预设阈值进行比较，若所述特征值不满足所述预设阈值，剔除不满足所述预设阈值的所述字符区域；若所述特征值满足所述预设阈值，保留所述字符区域。
14.根据权利要求13所述的字印分析装置，其特征在于，所述后处理模块还用于：
比较所述字符的检出数与所述字符的预设数；若所述检出数大于所述预设数，则存在误检；
计算检出的所述字符区域的面积，并根据所述面积对所述字符区域进行排序，保留所述面积最大的所述字符区域，去除误检的所述字符区域。
15.根据权利要求13所述的字印分析装置，其特征在于，所述后处理模块还用于：
根据字段内容，判断所述字段中是否存在相邻且相同的字符；
若存在所述相邻且相同的字符，根据已分割的字符宽度判断所述相邻且相同的字符是否存在未分割情况；
若存在所述未分割情况，计算单个字符的宽度，并根据所述单个字符的宽度计算所述字符区域中的字符坐标。
16.根据权利要求11所述的字印分析装置，其特征在于，所述预处理模块还用于：
根据所述后处理后的所述字符区域的位置坐标，创建所述字符区域的二值图像，所述字符区域的二值图像与所述字印图像大小一致；
对所述字印图像进行中值滤波；
将中值滤波后的所述字印图像由RGB颜色空间转换为Lab颜色空间；
对所述Lab颜色空间中L通道的所述字印图像进行直方图拉伸，得到增强的所述字印图像；
对增强后的所述字印图像进行自适应阈值处理，得到字印的二值图像；
将所述字印的二值图像与所述字符区域的二值图像进行相与运算，去除所述字印二值图像中的噪声，得到去噪后的字印二值图像。
17.根据权利要求16所述的字印分析装置，其特征在于，所述特征提取模块还用于：
根据所述L通道的所述字印图像和所述字符区域的二值图像，计算所述字符区域的灰度特征；
根据所述L通道的所述字印图像和所述去噪后的字印二值图像，计算所述字符的前景灰度特征；
根据所述去噪后的字印二值图像及所述字符精细分割结果，计算所述字符的前景特征及几何特征。
CN201910842477.7A 2019-09-06 2019-09-06 一种字印分析方法和装置 Active CN110705362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842477.7A CN110705362B (zh) 2019-09-06 2019-09-06 一种字印分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842477.7A CN110705362B (zh) 2019-09-06 2019-09-06 一种字印分析方法和装置

Publications (2)

Publication Number Publication Date
CN110705362A CN110705362A (zh) 2020-01-17
CN110705362B true CN110705362B (zh) 2022-12-09

Family

ID=69194604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842477.7A Active CN110705362B (zh) 2019-09-06 2019-09-06 一种字印分析方法和装置

Country Status (1)

Country Link
CN (1) CN110705362B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353490B (zh) * 2020-02-28 2023-10-31 创新奇智(重庆)科技有限公司 发动机编号牌质量分析方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4585837B2 (ja) * 2004-11-24 2010-11-24 日立コンピュータ機器株式会社 印字データ読取り方法、印字データ読み取り装置、印字データ読み取りプログラム
CN101398894B (zh) * 2008-06-17 2011-12-07 浙江师范大学 机动车车牌自动识别方法及其实现装置
JP5363591B2 (ja) * 2009-12-15 2013-12-11 富士通フロンテック株式会社 文字認識方法、文字認識装置および文字認識プログラム
CN104298982B (zh) * 2013-07-16 2019-03-08 深圳市腾讯计算机系统有限公司 一种文字识别方法及装置
CN104156706A (zh) * 2014-08-12 2014-11-19 华北电力大学句容研究中心 一种基于光学字符识别技术的中文字符识别方法
CN106156712A (zh) * 2015-04-23 2016-11-23 信帧电子技术（北京）有限公司 一种基于自然场景下的身份证号码识别方法与装置
CN106204530B (zh) * 2016-06-27 2019-06-11 西安交通大学 基于图像配准的古代西夏文活字印刷术鉴别方法
CN107328793B (zh) * 2017-06-30 2019-12-03 航天新长征大道科技有限公司 一种基于机器视觉的饰品表面字印瑕疵检测方法和装置
CN108427954B (zh) * 2018-03-19 2021-08-27 上海壹墨图文设计制作有限公司 一种标牌信息采集与识别系统

Also Published As

Publication number Publication date
CN110705362A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN107133622B (zh) 一种单词的分割方法和装置
dos Santos et al. Text line segmentation based on morphology and histogram projection
US6301386B1 (en) Methods and apparatus for gray image based text identification
CN110619642B (zh) 一种票据图像中印章与背景文字分离方法
CN114820627B (zh) 一种基于光学手段的纺织品质量检测方法
CN101599125A (zh) 复杂背景下图像处理的二值化方法
CN108562589A (zh) 一种对磁路材料表面缺陷进行检测的方法
US20070253040A1 (en) Color scanning to enhance bitonal image
JPH096957A (ja) 濃度画像の２値化方法および画像２値化装置
CN109886954B (zh) 一种印刷品缺陷检测方法
Chen et al. Decompose algorithm for thresholding degraded historical document images
CN116071763B (zh) 基于文字识别的教辅图书智能校编系统
CN112016563B (zh) 一种圆形印章的真伪识别方法
Yadav et al. Text extraction in document images: highlight on using corner points
CN115330795A (zh) 布匹毛刺缺陷检测方法
CN110705362B (zh) 一种字印分析方法和装置
JP3018949B2 (ja) 文字読取装置およびその方法
CN108877030B (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN113012124B (zh) 一种鞋印孔洞和嵌入物特征检测及描述方法
CN112884741B (zh) 一种基于图像相似性对比的印刷表观缺陷检测方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN111860500A (zh) 一种鞋印磨损区域检测与描边方法
Ouji et al. Chromatic/achromatic separation in noisy document images
CN113989481A (zh) 一种合同文本图像印章检测和去除方法
Bawa et al. A binarization technique for extraction of devanagari text from camera based images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant