CN110175563B - 金属切削刀具图纸标注识别方法及系统 - Google Patents

Abstract

一种金属切削刀具图纸标注识别方法及系统，通过将金属切削刀具图纸预处理后进行连通域分析去除刀具图纸中的表格得到仅含有刀具视图部分图像，然后使用图像形态学操作腐蚀检测标注线箭头进而定位、分割标注文字，并将标注文字和与其对应的标注线信息配对后进行光学字符识别(OCR)，依据标注文字对应标注线的信息将标注文字内容和标注名称一一对应并完成图纸优化。本发明具有高效率、高准确率以及容易理解等特点。

Description

金属切削刀具图纸标注识别方法及系统

技术领域

本发明涉及的是一种计算机辅助设计领域的技术，具体是一种金属切削刀具图纸标注识别方法及系统。

背景技术

基于已有金属切削刀具图纸进行的继承设计、参数化设计和3D建模中需要输入大量刀具参数值，目前对图纸中的参数输入工作是通过人工查阅刀具图纸中标注的刀具参数值，再输入到设计平台中实现的。对于刀具图纸中标注信息的提取与识别，需要识别刀具图纸视图部分的标注文字，并将标注文字和标注名称对应存储，从而能够将识别的文字自动填入设计平台中。

现有用于提取图片中文字信息并识别生成文本的方法主要是基于光学字符识别(Optical Character Recognition，OCR)软件实现的。但由于图纸中存在大量非文字内容的干扰，刀具图纸中标注信息无法识别；对视图的标注与定位方面，尚无法解决标注文字与标注箭头的位置关联难题，造成文字识别错误。

发明内容

本发明针对现有技术存在的上述不足，提出一种金属切削刀具图纸标注识别方法及系统，基于图像形态学腐蚀寻找标注箭头的标注文字定位，将标注文字和标注箭头的位置关联起来解决了识别表示文字的名称理解问题，可以使用计算机程序填入刀具设计软件中，具有高效率、高准确率以及容易理解等特点。

本发明是通过以下技术方案实现的：

本发明涉及一种金属切削刀具图纸标注识别方法，通过将金属切削刀具图纸预处理后进行连通域分析去除刀具图纸中的表格得到仅含有刀具视图部分图像，然后使用图像形态学操作腐蚀检测标注线箭头进而定位、分割标注文字，并将标注文字和与其对应的标注线信息配对后进行光学字符识别(OCR)，依据标注文字对应标注线的信息将标注文字内容和标注名称一一对应并完成图纸优化。

所述的金属切削刀具图纸，采用但不限于pdf格式的金属切削刀具图纸文件转换为png格式图片文件。

所述的预处理，包括灰度化、二值化处理，采用但不限于Matlab实现。

所述的连通域分析是指：

1)利用matlab中bwlabel函数对预处理后的图像进行连通域分析，对图像中每一个连通域赋予一个从1开始的唯一的整数编号，得到标记矩阵L，其中标记矩阵L大小与图像相同，没有像素点的位置值为零，有像素点的位置值为该点所在连通域的编号；

2)利用matlab中regionprops函数计算各连通域属性，函数输入对象为上一步骤得到的标记矩阵L，计算属性选择为‘basic’，得到连通域包含的像素点数、连通域质心以及包围连通域最小矩形的位置和大小；

3)定义循环变量i，遍历所有连通域，记录包含像素点数最多的连通域编号，使用matlab中ismember函数提取该连通域，得到表格部分图像，用预处理图像减去表格部分图像，得到删去了表格的仅含有刀具视图部分图像。

所述的图像形态学操作，具体包括：

i)对仅含有刀具视图部分图像，在matlab中用半径为3的disk模板，使用图像形态学操作腐蚀检测，其中通过imerode函数进行腐蚀，在通过bwareaopen函数，通过设定阈值为15，去除包含点数少于15个像素点的连通域，得到包含了所有且仅包含所有标注箭头连通域的标注箭头图像；

ii)对于标注箭头图像，使用图像形态学操作腐蚀，其中采用matlab中的bwlabel函数对每个连通域进行标记，并通过计算每个连通域点集的主分量得到标注箭头的方向，将标注箭头的方向和标注箭头的位置记录在同一个结构体中得到标注箭头信息结构体；

iii)对于标注箭头信息结构体，按照标注箭头方向分类，对同类的箭头按照位置关系配对(在同一标注线上)，对每一组配对的标注箭头，记录其包含的两个箭头的位置，以及标注线的种类(包括水平线、竖直线和圆弧线)、方向，构成标注线信息结构体；

iv)对于标注线信息结构体，根据其包含的两个标注箭头的位置与标注线两端点位置的关系，求出标注信息所在位置，将标注信息所在位置和其对应标注线的种类，标注线箭头的位置存储在同一个结构体中，得到标注信息结构体；

v)对刀具视图部分图像，使用matlab中bwlabel函数进行连通域标记，并使用regionprops函数计算每个连通域的中点，得到包含刀具视图部分图像中每个连通域的中点坐标；

vi)对于标注信息结构体中每一个标注信息，计算刀具视图部分图像中每个连通域的中点坐标与标注信息点的距离，以距离最小的连通域为种子，按照标注信息中定义的方向生长，得到标注信息图像，将标注信息图像和其对应的标注线类型，标注线箭头位置储存在同一个结构体中，得到图纸标注图像信息集。

所述的信息配对，具体是指：对获得的图纸标注内容信息集，按照其中包含的标注线类型(水平线、竖直线、圆弧线)将其分为水平标注、竖直标注和圆弧标注三类，对每一类标注，按照标注线位置先从左到右，再从上到下进行排序，得到有序的标注内容信息集；对于有序的标注内容信息集，调用按照相同的标注名称表，在指定目录创建txt文件，按照序号将标注名称表中的标注名称和标注内容信息集中的标注内容写入txt文件的同一行中，得到txt文件。

本发明涉及一种实现上述方法的系统，包括：预处理模块、标注文字分割模块，OCR配对模块，其中：预处理模块接收输入的刀具图纸图片与标注文字定位分割模块相连并传输刀具图纸的二值化图像，标注文字分割模块与OCR及配对模块相连并传输分割矫正过的标注文字图片及标注文字在图纸中标注线的位置信息，OCR模块与配对模块识别标注文字图片内容并依据标注线位置信息将标注文字内容与名称相互匹配并与输出相连传输写有与名称配对的标注文字数值的txt文件。

技术效果

与现有技术相比，本发明实现了替代现有金属切削刀具图纸标注文字的识别系统。与现有图片文字识别技术相比，本发明实现了现有技术无法识别的刀具标注文字识别，同时能够辨别识别结果的名称，因此可以将识别结果自动填入道具设计平台。因此，本发明为属切削刀具图纸识别系统的开发提供了一种有效方法，并且可以集成于刀具设计平台中。

附图说明

图1为实施例的实现流程；

图2为实施例预处理图像示意图；

图3为实施例中仅保留视图部分的图；

图4为实施例中标注文字定位效果图；

图5为实施例图纸标注内容信息集示意图；

图6为实施例中得到得到的txt文件示意图；

图7为实施例最终效果图。

具体实施方式

如图1所示，本实施例涉及一种金属切削刀具图纸标注识别方法，包括以下步骤：

步骤1)获取金属切削刀具图纸文件F1，并将pdf格式的刀具图纸文件F1转换为png格式图像F2；

步骤2)将刀具图纸图像F2导入matlab，依次进行灰度化、二值化的预处理操作，得到预处理图像F3，具体步骤如下：

2.1)定义png格式图像F2中像素点集X＝{x₁，x₂，…，x_n}，其中像素点x_n为一具有红绿蓝三色分量<R_n，G_n，B_n>的向量，其中R_n，G_n，B_n∈[0，255]；

2.2)定义灰度化公式为g＝0.114*R+0.587*G+0.299*B，其中R，G，B分别为像素点红、绿、蓝色分量；

2.3)使用灰度化公式计算图像F2中像素点集X中每一个点的灰度值，得到图像F2中像素点灰度值集G＝{g₁，g₂，…，g_n}，对于任意一点的灰度值g_i，有g_i∈[0，255]，从而将彩色图纸图像转换为灰度化图像R1；

2.4)定义二值化阈值th＝230，二值化公式为t＝(g>th)，>为逻辑判断运算，即如果g的值大于th，t的值为1，否则为0；

2.5)对于图像F2中像素点灰度值集G中的每一个点，使用二值化公式计算其二值化后的值，得到图像F2中像素点二值点集T＝{t₁，t₂，…，t_n}，对T中一个点T_i有T_i＝{0，1}，从而将灰度化图像R1二值化得到预处理图像F3；

步骤3)对预处理图像F3进行连通域分析，将其分割为表格部分图像F4和刀具视图部分图像F5，具体步骤如下：

3.1)利用matlab中bwlabel函数对预处理图像F3进行连通域分析，对预处理图像F3中每一个连通域赋予一个从1开始的唯一的整数编号，得到标记矩阵L，其中标记矩阵L大小与预处理图像F3相同，没有像素点的位置值为零，有像素点的位置值为该点所在连通域的编号；

3.2)利用matlab中regionprops函数计算各连通域属性，函数输入对象为3.1中的标记矩阵L，计算属性选择为‘basic’，计算得到的有：连通域包含的像素点数、连通域质心以及包围连通域最小矩形的位置和大小；

3.3)定义循环变量i，遍历所有连通域，记录包含像素点数最多的连通域编号，使用matlab中ismember函数提取该连通域，得到表格部分图像F4，用预处理图像F3减去表格部分图像F4，得到了删去了表格的仅含有刀具视图部分图像F5；

步骤4)对于刀具视图部分图像F5，通过寻找标注线箭头，进而定位标注信息位置并分割，得到包含该标注对应标注线形状、位置以及标注信息图像的图纸标注图像信息集F8，具体步骤如下：

4.1)对刀具视图部分图像F5，在matlab中用半径为3的disk模板，通过imerode函数进行腐蚀，在通过bwareaopen函数，通过设定阈值为15，去除包含点数少于15个像素点的连通域，得到包含了所有且仅包含所有标注箭头连通域的标注箭头图像F5-1；

4.2)对于标注箭头图像F5-1，使用matlab中的bwlabel函数对每个连通域进行标记，并通过计算每个连通域点集的主分量得到标注箭头的方向，将标注箭头的方向和标注箭头的位置记录在同一个结构体中得到标注箭头信息结构体F5-2；

4.3)对于标注箭头信息结构体F5-2，按照标注箭头方向分类，对同类的箭头按照位置关系配对(在同一标注线上)，对每一组配对的标注箭头，记录其包含的两个箭头的位置，以及标注线的种类(包括水平线、竖直线和圆弧线)、方向，构成标注线信息结构体F5-3；

4.4)对于标注线信息结构体F5-3，根据其包含的两个标注箭头的位置与标注线两端点位置的关系，求出标注信息所在位置，将标注信息所在位置和其对应标注线的种类，标注线箭头的位置存储在同一个结构体中，得到标注信息结构体F5-4；

4.5)对刀具视图部分图像F5，使用matlab中bwlabel函数进行连通域标记，并使用regionprops函数计算每个连通域的中点，得到包含刀具视图部分图像F5中每个连通域的中点坐标F5-5；

4.6)对于标注信息结构体F5-4中每一个标注信息，计算刀具视图部分图像F5中每个连通域的中点坐标F5-5与标注信息点的距离，以距离最小的连通域为种子，按照标注信息中定义的方向生长，得到标注信息图像，将标注信息图像和其对应的标注线类型，标注线箭头位置储存在同一个结构体中，得到图纸标注图像信息集F8；

步骤5)对图纸标注信息集F8进行OCR识别，与标注对应标注线类型、位置一起构成图纸标注内容信息集F9；

步骤6)对图纸标注内容信息集F9进行分类排序，使其能够对应唯一的标注名称，并按照标注名称与标注内容对应的关系写入txt文件，得到txt文件F10，具体步骤如下：

6.1)对图纸标注内容信息集F9，按照其中包含的标注线类型(水平线、竖直线、圆弧线)将其分为水平标注、竖直标注和圆弧标注三类，对每一类标注，按照标注线位置先从左到右，再从上到下进行排序，得到有序的标注内容信息集F9-1；

6.2)对于有序的标注内容信息集F9-1，调用按照同(7.1)同规则排列的标注名称表，在指定目录创建txt文件，按照序号将标注名称表中的标注名称和标注内容信息集F9-1中的标注内容写入txt文件的同一行中，得到txt文件F10

经过具体实际实验，在搭载英特尔i5-7300U处理器的个人电脑上，通过MATLAB2018b运行按照上述各步骤中叙述的参数上述方法，对含有6到12个标注信息的37张刀具图纸中的标注文字进行识别，识别并匹配标注名称的准确率在99％以上，每张图纸识别所花时间在2到5秒之间。与现有技术相比，本方法对刀具标注文字的识别准确率从5％以下提升到了99％以上，并且以99％以上的成功率实现了标注文字数值与标注文字名称的匹配

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (5)

1.一种金属切削刀具图纸标注识别方法，其特征在于，通过将金属切削刀具图纸预处理后进行连通域分析去除刀具图纸中的表格得到仅含有刀具视图部分图像，然后使用图像形态学操作腐蚀检测标注线箭头进而定位、分割标注文字，并将标注文字和与其对应的标注线信息配对后进行光学字符识别，依据标注文字对应标注线的信息将标注文字内容和标注名称一一对应并完成图纸优化；

所述的图像形态学操作，具体包括：

i)对仅含有刀具视图部分图像，在matlab中用半径为3的disk模板，使用图像形态学操作腐蚀检测，其中通过imerode函数进行腐蚀，在通过bwareaopen函数，通过设定阈值为15，去除包含点数少于15个像素点的连通域，得到包含了所有且仅包含所有标注箭头连通域的标注箭头图像；

ii)对于标注箭头图像，使用图像形态学操作腐蚀，其中采用matlab中的bwlabel函数对每个连通域进行标记，并通过计算每个连通域点集的主分量得到标注箭头的方向，将标注箭头的方向和标注箭头的位置记录在同一个结构体中得到标注箭头信息结构体；

iii)对于标注箭头信息结构体，按照标注箭头方向分类，对同类的箭头按照位置关系配对，即在同一标注线上，对每一组配对的标注箭头，记录其包含的两个箭头的位置，以及标注线的种类、方向，构成标注线信息结构体；

iv)对于标注线信息结构体，根据其包含的两个标注箭头的位置与标注线两端点位置的关系，求出标注信息所在位置，将标注信息所在位置和其对应标注线的种类，标注线箭头的位置存储在同一个结构体中，得到标注信息结构体；

v)对刀具视图部分图像，使用matlab中bwlabel函数进行连通域标记，并使用regionprops函数计算每个连通域的中点，得到包含刀具视图部分图像中每个连通域的中点坐标；

vi)对于标注信息结构体中每一个标注信息，计算刀具视图部分图像中每个连通域的中点坐标与标注信息点的距离，以距离最小的连通域为种子，按照标注信息中定义的方向生长，得到标注信息图像，将标注信息图像和其对应的标注线类型，标注线箭头位置储存在同一个结构体中，得到图纸标注图像信息集。

2.根据权利要求1所述的金属切削刀具图纸标注识别方法，其特征是，所述的预处理，包括灰度化、二值化处理。

3.根据权利要求1所述的金属切削刀具图纸标注识别方法，其特征是，所述的连通域分析是指：

1)利用matlab中bwlabel函数对预处理后的图像进行连通域分析，对图像中每一个连通域赋予一个从1开始的唯一的整数编号，得到标记矩阵L，其中标记矩阵L大小与图像相同，没有像素点的位置值为零，有像素点的位置值为该点所在连通域的编号；

2)利用matlab中regionprops函数计算各连通域属性，函数输入对象为上一步骤得到的标记矩阵L，计算属性选择为‘basic’，得到连通域包含的像素点数、连通域质心以及包围连通域最小矩形的位置和大小；

3)定义循环变量i，遍历所有连通域，记录包含像素点数最多的连通域编号，使用matlab中ismember函数提取该连通域，得到表格部分图像，用预处理图像减去表格部分图像，得到删去了表格的仅含有刀具视图部分图像。

4.根据权利要求1所述的金属切削刀具图纸标注识别方法，其特征是，所述的信息配对，具体是指：对获得的图纸标注内容信息集，按照其中包含的标注线类型将其分为水平标注、竖直标注和圆弧标注三类，对每一类标注，按照标注线位置先从左到右，再从上到下进行排序，得到有序的标注内容信息集；对于有序的标注内容信息集，调用按照相同的标注名称表，在指定目录创建txt文件，按照序号将标注名称表中的标注名称和标注内容信息集中的标注内容写入txt文件的同一行中，得到txt文件。

5.一种实现权利要求1-4中任一所述金属切削刀具图纸标注识别方法的系统，其特征在于，包括：预处理模块、标注文字分割模块，OCR配对模块，其中：预处理模块接收输入的刀具图纸图片与标注文字定位分割模块相连并传输刀具图纸的二值化图像，标注文字分割模块与OCR及配对模块相连并传输分割矫正过的标注文字图片及标注文字在图纸中标注线的位置信息，OCR模块与配对模块识别标注文字图片内容并依据标注线位置信息将标注文字内容与名称相互匹配并与输出相连传输写有与名称配对的标注文字数值的txt文件。

Images