CN112883957B - 一种车胎文本检测和识别方法 - Google Patents

Abstract

本发明公开了一种环形车胎文本检测和识别方法，它以圆曲线拟合算法作为依据，使用TPS插值算法对图像进行矫正，在矫正后的图像中使用文字识别模型用来识别其中的文字部分，用于解决现有技术中检测效率低、误检率大、成本昂贵等问题。

Description

一种车胎文本检测和识别方法

技术领域

本发明涉及图像处理和场景文字检测识别领域，具体为一种基于圆曲线拟合 和图像矫正的车胎文本检测和识别方法。

背景技术

车胎侧面模刻的文字包含了车胎品牌、制造厂商、生产时间、使用年限、最 大载重量等信息。对于车辆用户，特别是车辆运营商、交通监管人员，这些信息 是至关重要的。在道路交通上，往往会出现车辆所配备车胎的超过使用年限、车 辆载重超过车胎最大载重量、车辆使用不合格车胎等违规情况，这些违规情况为 交通安全带来了很大的隐患。因此，设计一种可以自动检测和识别车胎上包含特 有信息文本的方法具有重要的意义。

针对车胎文本的检测和识别，国内外专家和学者展开了重点研究。其中与本 发明较为接近的包括：发明专利(发明人：路通、王文海、牟星、涂庆红，申请 号：CN201710728404.6，名称：一种自然场景文字检测的方法)提出了一种通用 场景下的文字检测方法，该方法通过提取图像的COLD特征，来完成场景文字的 检测任务。Wajahat Kazmi等(Vehicle tire(tyre)detection and text recognition using deep learning[C].2019 IEEE 15th International Conference on Automation Science andEngineering(CASE).IEEE,2019:1074-1079)为了解决车胎文字对比度较低、磨损 等情况造成的输入图像模糊，设计了一套用于拍摄车胎侧面图像的装置。发明专 利(发明人：操晓春、伍蹈、王蕊、代朋纹、张月莹，申请号：CN201710463101.6， 名称：一种基于深度学习的自然场景下文字检测定位方法)提出了一种基于深度 学习的文字检测方法，该方法相比基于图像处理的文本检测方法有效地提升了场 景文字检测的准确度。

在现有环形车胎文本检测方法中，存在如下不足：1)由于车胎文字对比度较 低、存在磨损等情况，导致文本检测算法的检测效率低下；2)现有的环形车胎文 本检测系统需要通过补光设备和高清摄像头来提高图片质量，成本过于昂贵；3) 现有的文本检测算法对于曲型文字的检测精度普遍较低。

发明内容

为解决现有方法的不足，本发明提出一种环形车胎文本检测和识别方法。它 以圆曲线拟合算法作为依据，使用TPS插值算法对图像进行矫正，在矫正后的图 像中使用文字识别模型用来识别其中的文字部分，用于解决现有技术中检测效率 低、误检率大、成本昂贵等问题。

本发明的技术方案如下：

一种车胎文本检测和识别方法，其特征在于，包括如下步骤：

步骤1：通过深度神经网络对车胎侧面文字进行检测，得到的结果记为R＝{r_k |k＝1,2,…,K}，定义分布邻近的一组字符为组合字符簇，在R中，r_k表示检测到 的第k个组合字符簇的最小外接矩形包围框，K表示检测到的组合字符簇的数量；

步骤2：定义集合C＝{p_k＝(x_k,y_k)|k＝1,2,…,K}，其中，p_k为r_k的中心点；将 集合C中的坐标代入式(1)中，通过式(2)，(3)，拟合得到圆曲线方程 x²+y²+ax+by+c＝0的参数a,b,c及其圆心坐标(x₀,y₀)，其中，

A＝(X^T·X)^-1·X^T·Y (3)

式中，δ表示事先选定的拟合误差阈值，Q(A)表示矩阵形式的圆曲线方程表达式；

步骤3：记r_k所包围的图像为I_k，通过转换I_k来将图像中弯曲的文本行拉直， 具体为：

步骤3.1：根据公式(4)得到p_k相对于拟合的圆曲线方程的圆心(x₀,y₀)的角度θ_k；

根据(5)给出的规则翻转I_k，得到的图像记为I′_k；

步骤3.2：通过深度神经网络对I′_k检测，得到的结果记为Q＝{q_i|i＝1,2,…,N}，其中，q_i表示I′_k中检测到的第i个字符所在的最小外接旋转矩形框，N表示I′_k中 检测到的字符的数量；定义集合T＝{t_i|i＝1,2,…,N}，其中t_i表示q_i的顶边中点； 定义集合B＝{b_i|i＝1,2,…,N}，其中b_i表示q_i的底边中点；

步骤3.3：扩充集合T：t₁为I′_k中最左侧的点，通过公式(6)，将点T_l加入T 中t₁之前；t_N为I′_k中最右侧的点，通过公式(7)，将点T_r加入T中t_N之后，T_l、 T_r分别表示扩充后的集合T中最左侧和最右侧的点；

当存在间隔较远的两个字符时，在集合T加入一个控制点：当T中相邻两点 t_i和t_i+1之间的距离

时，根据公式(8)将点P_m加入点集T中，且P_m排 列于t_i和t_i+1之间，其中，P_m表示在大间隔字符之间加入的点，W_t满足公式(9)；

最终扩充后的控制点集合T＝{t_i|i＝1,2,…,N+2+K₀}，其中K₀表示在较大间 隔处添加的控制点的数量；

步骤3.4：采用步骤3.3同样的方法扩充得到集合B＝{b_i|i＝1,2,…,N+2+K₀}； T和B构成图像I′_k中的控制点集；

步骤3.5：将待生成的目标图像记为I″_k，构造生成I″_k的控制点集：构建分布 在I″_k上沿的点集T′＝{t′_i＝((i-1)×d_k,0)|i＝1,2,...,N}；构建分布在I″_k下沿的点集 B′＝{b′_i＝((i-1)×d_k,H_k)|i＝1,2,...,N}，其中，点间距d_k和图像I″_k的高度H_k根据 公式(10)计算得到；

式中，H_i、W_i分别表示q_i的高度与宽度，a为常数系数；

步骤3.6：定义集合TB＝{{(t_i,t′_i),(b_i,b′_i)}|i＝1,2,...,N}，其中(t_i,t′_i)表示t_i和t′_i组 成的控制点对，(b_i,b′_i)表示b_i和b′组成的控制点对；将TB中的控制点对代入TPS样条插值函数实现图像I_k到图像I″_k的转换；转换后的图像I″_k为平直的矩形图像， 在I″_k中的内容为被拉直后水平排列的文字；

步骤4：将图像I″_k输入文字识别模型，输出文本识别的结果；

步骤5：重复步骤3和步骤4，最终得到车胎上全部文本的识别结果；根据车 胎文本的排列规范，能够得到包含车胎的型号、生产地、生产时间、制造厂商、 最大承重等车胎或车辆信息。

本发明的优点是：本发明能够自动检测车胎文本和定位包含车胎特定信息的 文本所在区域，通过基于圆曲线拟合的图像转换方法和基于TPS转换的图像矫正 方法，能够得到包含水平排列且朝向正向的文本图像。相比于直接将检测到的子 图像输入文字识别模型，本发明的方法可以极大的提升文本识别的准确率。

附图说明

图1为圆曲线拟合方法例图；

图2为按照步骤3.1的规则翻转得到的例图；

图3为生成控制点例图；

图4为矫正后的文本图像例图。

具体实施方式

下面结合实施例和图片来详细阐述本发明。

一种车胎文本检测和识别方法，具体步骤如下：

步骤1：通过深度神经网络对车胎侧面文字进行检测，得到的结果记为R＝{r_k |k＝1,2,…,K}，定义分布邻近的一组字符为组合字符簇，在R中，r_k表示检测到 的第k个组合字符簇的最小外接矩形包围框，K表示检测到的组合字符簇的数量； 在图1(a)中，同一组合字符簇由虚线矩形框表示；

步骤2：定义集合C＝{p_k＝(x_k,y_k)|k＝1,2,…,K}，其中，p_k为r_k的中心点；在 图1(a)中，集合C中的各点由实心点表示；将集合C中的坐标代入式(1)中，通 过式(2)，(3)，拟合得到圆曲线方程x²+y²+ax+by+c＝0的参数a,b,c及其圆心 坐标(x₀,y₀)，其中，

在图2(a)中，拟合圆所在的区域由虚线圆 表示，拟合圆的圆心所在的位置由空心点表示；

A＝(X^T·X)^-1·X^T·Y (3)

式中，δ表示事先选定的拟合误差阈值，Q(A)表示矩阵形式的圆曲线方程表达式；

步骤3：记r_k所包围的图像为I_k，如图1(b)所示，通过转换I_k来将图像中弯 曲的文本行拉直，具体为：

步骤3.1：根据公式(4)得到p_k相对于拟合的圆曲线方程的圆心(x₀,y₀)的角度θ_k；

根据(5)给出的规则翻转I_k，得到的图像记为I′_k，在本实施例中，如图2(a)所示，θ_k∈[-135°,-45°)，I′_k如图2(b)所示；

步骤3.2：通过深度神经网络对I′_k检测，得到的结果记为Q＝{q_i|i＝1,2,…,N}，其中，q_i表示I′_k中检测到的第i个字符所在的最小外接旋转矩形框，N表示I′_k中 检测到的字符的数量；定义集合T＝{t_i|i＝1,2,…,N}，其中t_i表示q_i的顶边中点； 定义集合B＝{b_i|i＝1,2,…,N}，其中b_i表示q_i的底边中点；

步骤3.3：扩充集合T：t₁为I′_k中最左侧的点，通过公式(6)，将点T_l加入T 中t₁之前；t_N为I′_k中最右侧的点，通过公式(7)，将点T_r加入T中t_N之后，T_l、 T_r分别表示扩充后的集合T中最左侧和最右侧的点；

当存在间隔较远的两个字符时，在集合T加入一个控制点：当T中相邻两点 t_i和t_i+1之间的距离

时，根据公式(8)将点P_m加入点集T中，且P_m排 列于t_i和t_i+1之间，其中，P_m表示在大间隔字符之间加入的点，W_t满足公式(9)；

最终扩充后的控制点集合T＝{t_i|i＝1,2,…,N+2+K₀}，其中K₀表示在较大间 隔处添加的控制点的数量；在本实施例中，如图2所示，k＝2；

步骤3.4：采用步骤3.3同样的方法扩充得到集合B＝{b_i|i＝1,2,…,N+2+K₀}； T和B构成图像I′_k中的控制点集；

步骤3.5：将待生成的目标图像记为I″_k，构造生成I″_k的控制点集：构建分布 在I″_k上沿的点集T′＝{t′_i＝((i-1)×d_k,0)|i＝1,2,...,N}；构建分布在I″_k下沿的点集B′＝{b′_i＝((i-1)×d_k,H_k)|i＝1,2,...,N}，其中，点间距d_k和图像I″_k的高度H_k根据 公式(10)计算得到；

式中，H_i、W_i分别表示q_i的高度与宽度，a为常数系数；

步骤3.6：定义集合TB＝{{(t_i,t′_i),(b_i,b′_i)}|i＝1,2,...,N}，其中(t_i,t′_i)表示t_i和t′_i组 成的控制点对，(b_i,b′_i)表示b_i和b′组成的控制点对；将TB中的控制点对代入TPS样条插值函数实现图像I_k到图像I″_k的转换；转换后的图像I″_k为平直的矩形图像， 如图3所示，在I″_k中的内容为被拉直后水平排列的文字；

步骤4：将图像I″_k输入文字识别模型，输出文本识别的结果；

步骤5：重复步骤3和步骤4，最终得到车胎上全部文本的识别结果；根据车 胎文本的排列规范，能够得到包含车胎的型号、生产地、生产时间、制造厂商、 最大承重等车胎或车辆信息；在图3中，”DOT”表示车胎代码的固定前 缀，”IYW9HFVPA”表示车胎产地信息和制造厂商的编号，”3817”表示车胎生产时 间，即2017年第38周生产。

Claims (1)

1.一种车胎文本检测和识别方法，其特征在于，包括如下步骤：

步骤1：通过深度神经网络对车胎侧面文字进行检测，得到的结果记为R＝{r_k|k＝1,2,…,K}，定义分布邻近的一组字符为组合字符簇，在R中，r_k表示检测到的第k个组合字符簇的最小外接矩形包围框，K表示检测到的组合字符簇的数量；

步骤2：定义集合C＝{p_k＝(x_k,y_k)|k＝1,2,…,K}，其中，p_k为r_k的中心点；将集合C中的坐标代入式(1)中，通过式(2)，(3)，拟合得到圆曲线方程x²+y²+ax+by+c＝0的参数a,b,c及其圆心坐标(x₀,y₀)，其中，

A＝(X^T·X)^-1·X^T·Y (3)

式中，δ表示事先选定的拟合误差阈值，Q(A)表示矩阵形式的圆曲线方程表达式；

步骤3：记r_k所包围的图像为I_k，通过转换I_k来将图像中弯曲的文本行拉直，具体为：

步骤3.1：根据公式(4)得到p_k相对于拟合的圆曲线方程的圆心(x₀,y₀)的角度θ_k；

根据(5)给出的规则翻转I_k，得到的图像记为I′_k；

步骤3.2：通过深度神经网络对I′_k检测，得到的结果记为Q＝{q_i|i＝1,2,…,N}，其中，q_i表示I′_k中检测到的第i个字符所在的最小外接旋转矩形框，N表示I′_k中检测到的字符的数量；定义集合T＝{t_i|i＝1,2,…,N}，其中t_i表示q_i的顶边中点；定义集合B＝{b_i|i＝1,2,…,N}，其中b_i表示q_i的底边中点；

步骤3.3：扩充集合T：t₁为I′_k中最左侧的点，通过公式(6)，将点T_l加入T中t₁之前；t_N为I′_k中最右侧的点，通过公式(7)，将点T_r加入T中t_N之后，T_l、T_r分别表示扩充后的集合T中最左侧和最右侧的点；

当存在间隔较远的两个字符时，在集合T加入一个控制点：当T中相邻两点t_i和t_i+1之间的距离

时，根据公式(8)将点P_m加入点集T中，且P_m排列于t_i和t_i+1之间，其中，P_m表示在大间隔字符之间加入的点，W_t满足公式(9)；

最终扩充后的控制点集合T＝{t_i|i＝1,2,…,N+2+K₀}，其中K₀表示在较大间隔处添加的控制点的数量；

步骤3.4：采用步骤3.3同样的方法扩充得到集合B＝{b_i|i＝1,2,…,N+2+K₀}；T和B构成图像I′_k中的控制点集；

步骤3.5：将待生成的目标图像记为I″_k，构造生成I″_k的控制点集：构建分布在I″_k上沿的点集T′＝{t′_i＝((i-1)×d_k,0)|i＝1,2,...,N}；构建分布在I″_k下沿的点集B′＝{b′_i＝((i-1)×d_k,H_k)|i＝1,2,...,N}，其中，点间距d_k和图像I″_k的高度H_k根据公式(10)计算得到；

式中，H_i、W_i分别表示q_i的高度与宽度，a为常数系数；

步骤3.6：定义集合TB＝{{(t_i,t′_i),(b_i,b′_i)}|i＝1,2,...,N}，其中(t_i,t′_i)表示t_i和t′_i组成的控制点对，(b_i,b′_i)表示b_i和b′组成的控制点对；将TB中的控制点对代入TPS样条插值函数实现图像I_k到图像I″_k的转换；转换后的图像I″_k为平直的矩形图像，在I″_k中的内容为被拉直后水平排列的文字；

步骤4：将图像I″_k输入文字识别模型，输出文本识别的结果；

步骤5：重复步骤3和步骤4，最终得到车胎上全部文本的识别结果；根据车胎文本的排列规范，能够得到车胎或车辆信息。

Images