CN114581901A - 一种古建墙壁受污题记文字图像边缘提取方法 - Google Patents

Abstract

本发明属于图像边缘提取技术领域，公开了一种古建墙壁受污题记文字图像边缘提取方法。本发明通过对图像文字进行识别方法对文字子块进行识别，由于是通过估算出的文字的相关矩阵参数来进行切分、识别，能根据图像中文字的特性进行自适应调节，提高了切分获取文字子块的准确性，及对图像中文字识别的精度；同时，通过对文字图像进行校正方法在对文字图像进行校正时，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

Description

一种古建墙壁受污题记文字图像边缘提取方法

技术领域

本发明属于图像边缘提取技术领域，尤其涉及一种古建墙壁受污题记文字图像边缘提取方法。

背景技术

中国古代建筑具有悠久的历史传统和光辉的成就。我国古代的建筑艺术也是美术鉴赏的重要对象。而要鉴赏建筑艺术，除了需要理解建筑艺术的主要特征外，还要了解中国古代建筑艺术的一些重要特点，然后再通过比较典型的实例，进行具体的分析研究。中国古代建筑艺术的特点是多方面的。然而，现有古建墙壁受污题记文字图像边缘提取方法对图像中的文字一般只是通过简单的图像分割处理来进行识别，无法根据图像中的文字特征来进行自适应调节，导致现有的图像文字识别方法精度较低；同时，对文字图像校正不准确。

综上所述，现有技术存在的问题是：现有古建墙壁受污题记文字图像边缘提取方法对图像中的文字一般只是通过简单的图像分割处理来进行识别，无法根据图像中的文字特征来进行自适应调节，导致现有的图像文字识别方法精度较低；同时，对文字图像校正不准确。

发明内容

针对现有技术存在的问题，本发明提供了一种古建墙壁受污题记文字图像边缘提取方法。

本发明是这样实现的，一种古建墙壁受污题记文字图像边缘提取方法包括以下步骤：

步骤一，通过摄像器采集古建墙壁受污题记文字图像；

步骤二，将待处理的文字图像转化为第一灰度图像；对所述第一灰度图像进行直方图统计和凸高度排序处理，确定第一灰度图像的背景灰度分割阈值和第一灰度图像的阴影区域内的文字灰度分割阈值；

步骤三，对所述背景灰度分割阈值和文字灰度分割阈值进行处理，分别获得阴影区域掩膜表示和非阴影区域掩膜表示；对第一灰度图像进行背景增强，得到第二灰度图像；根据所述阴影区域掩膜表示和非阴影区域掩膜表示将第二灰度图像中背景增强的阴影区域和第一灰度图像中的非阴影区域进行融合处理，获得阴影消除后的文字图像；

步骤四，对至少两帧文字图像进行文字检测，得出每帧文字图像上的候选文字区域图像；将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理；若被比对的至少两个候选文字区域图像之间的差异在预设范围之内，则确定所述至少两个候选文字区域图像属于包含文字内容的文字区域图像；获取所述文字区域图像；

步骤五，对图像文字进行识别，并对文字图像进行校正。

进一步，所述将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理包括：

第一步，候选文字区域图像实时读取，将外部采集的帧候选文字区域图像以局域网的形式传输给同一地址段的本地计算机，完成候选文字区域图像的实时获取；

第二步，从获取的候选文字区域图像中提取关键帧，用以输入到深度学习检测算法，进行候选文字区域图像的可能包含相同文字内容的候选文字区域图像检测；

第三步，用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、车牌号、林格曼可能包含相同文字内容的候选文字区域系数、所在帧；

第四步，检测结果的保存与分析，对带有可能包含相同文字内容的候选文字区域图像的视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧结果以时间戳命名，进行输出保存，用于以后期的分析检查。

所述第三步用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧包括：

(1)输入关键帧图片，保持长宽比不变的情况下，将图像调整为大小是416*416的3通道的RGB图像；

(2)运行网络，YOLOv3的卷积层将输入图像分成S*S网格，预测得到边界框大小、位置、目标的置信度，通过非极大值抑制，生成最终的候选文字区域检测数据框，并返回；

(3)获取可能包含相同文字内容的候选文字区域可能存在区域，依据得到的候选文字区域检测框，计算候选文字区域前后可能出现可能包含相同文字内容的候选文字区域的区域；具体地，可能包含相同文字内容的候选文字区域框的长度与对应候选文字区域保持一致，宽度是对应候选文字区域宽度的3/4；

(4)可能包含相同文字内容的候选文字区域与背景区域进行对比，分别计算可能包含相同文字内容的候选文字区域与背景区域的像素值均值与方差；若可能包含相同文字内容的候选文字区域像素均值相较背景减少10％以上，公式

则认为存在可能包含相同文字内容的候选文字区域，依据均值减少的程度，将可能包含相同文字内容的候选文字区域分为林格曼系数的6个等级，见公式

(5)，若候选文字区域的前后区域被判为林格曼系数大于0的区域，则认为当前车为可能包含相同文字内容的候选文字区域图像，若为可能包含相同文字内容的候选文字区域图像，则将候选文字区域区域输入检测算法；

(6)帧检测，若候选文字区域被判定为可能包含相同文字内容的候选文字区域图像，则根据候选文字区域所处坐标进行帧检测，读取当前候选文字区域图像下的图像，人工划取帧线位置，并计算帧线二元一次函数斜率与截距，依据检测框位置(top，left，right，bottom)计算可能包含相同文字内容的候选文字区域图像中心坐标(x，y)，见公式

和

带入y值计算每个帧线对应的x_i(i＝0，1，2，……)值，判断候选文字区域位于第几帧，见公式

进一步，所述对图像文字进行识别方法如下：

(1)将待处理图像分割为图像块并进行边缘检测，计算各图像块中对应的边缘像素点数；根据边缘像素点数标记各图像块的二值化属性；计算前景图像块的二值化信息，筛选需要调整二值化阈值的前景图像块；对需要调整二值化阈值的前景图像块进行二值化阈值调整；将需要调整二值化阈值的前景图像块二值化，并对其余的各图像块进行二值化，获取图像对应的矩阵；

(2)分析图像的矩阵行间纹理特征，获取图像的文字矩阵参数；基于所述文字矩阵参数对图像进行切分，获取图像的文字子块；对所述文字子块进行图像分割以获取所述文字子块中的文字信息，并对所述文字信息进行识别。

进一步，所述分析图像的矩阵行间纹理特征，获取图像的文字矩阵参数的步骤包括：

将图像的矩阵坐标中的字体用第一像素值表示，背景用第二像素值表示，统计图像的矩阵坐标中每行第二像素值的个数，获取一数组；获取所述数组中数值大于预设基准值的行的行号，将所述数组中数值大于预设基准值的行中符合预设条件的行组合之间的行号距离作为一个行宽参数，统计所述数组中的若干行宽参数，对若干行宽参数取平均值，获取所述数组的行宽参数；根据获取的所述数组的行宽参数获取所述数组的列宽参数，并根据所述行宽参数和所述列宽参数获取所述数组的字体大小参数。

进一步，所述将所述数组中数值大于预设基准值的行中符合预设条件的行组合之间的行号距离作为一个行宽参数的步骤具体为：将所述数组中至少连续两次大于预设基准值的行组合与下一至少连续两次大于预设基准值的行组合之间的行号距离作为一个行宽参数。

进一步，所述对所述文字子块进行图像分割以获取所述文字子块中的文字信息，并对所述文字信息进行识别的步骤具体为：基于预设的聚类算法对切分后的文字子块进行图像分割处理，获取所述文字子块中的文字信息，并根据所述文字信息在预置的系统文字库中进行比对，根据比对结果对图像中的文字进行识别。

进一步，所述对文字图像进行校正方法如下：

1)发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

2)提取原始文字图像的暗部和亮部区域，并对暗部和亮部区域的局部细节进行增强处理，得到局部细节增强的文字图像；根据预设阈值和图像强度均值，对所得到的局部细节增强的图像进行整体亮度调整，得到整体亮度调整后的图像；以及对整体亮度调整后的文字图像，进行饱和度的调整；

3)根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正；其中，所述景物信息包括所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，所述校正平面是根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息确定的、与摄像头平面平行的基准平面。

进一步，所述接收所述发射信息的反射信息获得视场内的景物信息，同时获取所述视场内的文字图像。

进一步，所述根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正，包括：根据所述景物信息，计算文字图像的畸变参数；根据所述文字图像的畸变参数，以校正平面为基准对所述文字图像进行畸变校正；

根据所述景物信息，计算文字图像的畸变参数，包括以下步骤：对所述视场进行区域划分；获取所述区域对应的景物信息；计算所述区域对应的景物的畸变参数；

计算所述区域对应的景物的畸变参数，包括：根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，确定所述视场内的景物对应区域与校正平面的对应关系；其中，所述视场内的景物对应区域与校正平面的对应关系，是指所述视场内的景物对应区域中的点在区域中和校正平面中的位置对应关系；

确定所述视场内的景物对应区域与校正平面的对应关系，包括：当获得所述区域对应的景物的深度信息时，计算所述视场每一个区域对应的校正平面；对所述每一个区域对应的校正平面进行等比例缩小或放大，和/或对所述每一个区域对应的校正平面依据深度信息进行缩小或放大；将所述每一个区域对应的校正平面进行拼接，得到所述视场内的景物对应区域与校正平面的对应关系；

计算所述视场每一个区域对应的校正平面，包括：在所述视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为所述视场每一个区域的校正平面的位置；根据已经确定的所述区域的校正平面的位置，计算所述区域内其他点在所述区域的校正平面的位置。

本发明的优点及积极效果为：本发明通过对图像文字进行识别方法对待识别图像的矩阵行间纹理特征进行分析，估算出图像中文字的相关矩阵参数，再基于文字的相关矩阵参数对图像切分获取文字子块，并对文字子块进行识别，由于是通过估算出的文字的相关矩阵参数来进行切分、识别，能根据图像中文字的特性进行自适应调节，提高了切分获取文字子块的准确性，及对图像中文字识别的精度；同时，通过对文字图像进行校正方法在拍照过程中主动发射信息，然后接收反射信息获得视场内的景物信息，基于这种辅助的途径，能够获取更多有利于畸变参数估计的信息。在对文字图像进行校正时，能够动态、实时获取到文字图像的畸变信息，基于捕获到的反射信息，能够很好地完成参数估计，准确计算到文字图像的畸变参数，从而更好的解决文本图像畸变的问题。

本发明所述将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理包括：

第一步，候选文字区域图像实时读取，将外部采集的帧候选文字区域图像以局域网的形式传输给同一地址段的本地计算机，完成候选文字区域图像的实时获取；

第二步，从获取的候选文字区域图像中提取关键帧，用以输入到深度学习检测算法，进行候选文字区域图像的可能包含相同文字内容的候选文字区域图像检测；

第三步，用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、车牌号、林格曼可能包含相同文字内容的候选文字区域系数、所在帧；

第四步，检测结果的保存与分析，对带有可能包含相同文字内容的候选文字区域图像的视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧结果以时间戳命名，进行输出保存，用于以后期的分析检查。

附图说明

图1是本发明实施提供的古建墙壁受污题记文字图像边缘提取方法流程图。

图2是本发明实施提供的对图像文字进行识别方法流程图。

图3是本发明实施提供的对文字图像进行校正方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作进一步描述。

如图1所示，本发明提供一种古建墙壁受污题记文字图像边缘提取方法包括以下步骤：

S101，通过摄像器采集古建墙壁受污题记文字图像；

S102，将待处理的文字图像转化为第一灰度图像；对所述第一灰度图像进行直方图统计和凸高度排序处理，确定第一灰度图像的背景灰度分割阈值和第一灰度图像的阴影区域内的文字灰度分割阈值；

S103，对所述背景灰度分割阈值和文字灰度分割阈值进行处理，分别获得阴影区域掩膜表示和非阴影区域掩膜表示；对第一灰度图像进行背景增强，得到第二灰度图像；根据所述阴影区域掩膜表示和非阴影区域掩膜表示将第二灰度图像中背景增强的阴影区域和第一灰度图像中的非阴影区域进行融合处理，获得阴影消除后的文字图像；

S104，对至少两帧文字图像进行文字检测，得出每帧文字图像上的候选文字区域图像；将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理；若被比对的至少两个候选文字区域图像之间的差异在预设范围之内，则确定所述至少两个候选文字区域图像属于包含文字内容的文字区域图像；获取所述文字区域图像；

S105，对图像文字进行识别，并对文字图像进行校正。

进一步，所述将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理包括：

第一步，候选文字区域图像实时读取，将外部采集的帧候选文字区域图像以局域网的形式传输给同一地址段的本地计算机，完成候选文字区域图像的实时获取；

第二步，从获取的候选文字区域图像中提取关键帧，用以输入到深度学习检测算法，进行候选文字区域图像的可能包含相同文字内容的候选文字区域图像检测；

第三步，用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、车牌号、林格曼可能包含相同文字内容的候选文字区域系数、所在帧；

第四步，检测结果的保存与分析，对带有可能包含相同文字内容的候选文字区域图像的视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧结果以时间戳命名，进行输出保存，用于以后期的分析检查。

所述第三步用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧包括：

(1)输入关键帧图片，保持长宽比不变的情况下，将图像调整为大小是416*416的3通道的RGB图像；

(2)运行网络，YOLOv3的卷积层将输入图像分成S*S网格，预测得到边界框大小、位置、目标的置信度，通过非极大值抑制，生成最终的候选文字区域检测数据框，并返回；

(3)获取可能包含相同文字内容的候选文字区域可能存在区域，依据得到的候选文字区域检测框，计算候选文字区域前后可能出现可能包含相同文字内容的候选文字区域的区域；具体地，可能包含相同文字内容的候选文字区域框的长度与对应候选文字区域保持一致，宽度是对应候选文字区域宽度的3/4；

(4)可能包含相同文字内容的候选文字区域与背景区域进行对比，分别计算可能包含相同文字内容的候选文字区域与背景区域的像素值均值与方差；若可能包含相同文字内容的候选文字区域像素均值相较背景减少10％以上，公式

则认为存在可能包含相同文字内容的候选文字区域，依据均值减少的程度，将可能包含相同文字内容的候选文字区域分为林格曼系数的6个等级，见公式

(5)，若候选文字区域的前后区域被判为林格曼系数大于0的区域，则认为当前车为可能包含相同文字内容的候选文字区域图像，若为可能包含相同文字内容的候选文字区域图像，则将候选文字区域区域输入检测算法；

(6)帧检测，若候选文字区域被判定为可能包含相同文字内容的候选文字区域图像，则根据候选文字区域所处坐标进行帧检测，读取当前候选文字区域图像下的图像，人工划取帧线位置，并计算帧线二元一次函数斜率与截距，依据检测框位置(top，left，right，bottom)计算可能包含相同文字内容的候选文字区域图像中心坐标(x，y)，见公式

和

带入y值计算每个帧线对应的x_i(i＝0，1，2，……)值，判断候选文字区域位于第几帧，见公式

如图2所示，本发明提供的对图像文字进行识别方法如下：

S201，将待处理图像分割为图像块并进行边缘检测，计算各图像块中对应的边缘像素点数；根据边缘像素点数标记各图像块的二值化属性；计算前景图像块的二值化信息，筛选需要调整二值化阈值的前景图像块；对需要调整二值化阈值的前景图像块进行二值化阈值调整；将需要调整二值化阈值的前景图像块二值化，并对其余的各图像块进行二值化，获取图像对应的矩阵；

S202，分析图像的矩阵行间纹理特征，获取图像的文字矩阵参数；基于所述文字矩阵参数对图像进行切分，获取图像的文字子块；对所述文字子块进行图像分割以获取所述文字子块中的文字信息，并对所述文字信息进行识别。

本发明提供的分析图像的矩阵行间纹理特征，获取图像的文字矩阵参数的步骤包括：

将图像的矩阵坐标中的字体用第一像素值表示，背景用第二像素值表示，统计图像的矩阵坐标中每行第二像素值的个数，获取一数组；获取所述数组中数值大于预设基准值的行的行号，将所述数组中数值大于预设基准值的行中符合预设条件的行组合之间的行号距离作为一个行宽参数，统计所述数组中的若干行宽参数，对若干行宽参数取平均值，获取所述数组的行宽参数；根据获取的所述数组的行宽参数获取所述数组的列宽参数，并根据所述行宽参数和所述列宽参数获取所述数组的字体大小参数。

本发明提供的将所述数组中数值大于预设基准值的行中符合预设条件的行组合之间的行号距离作为一个行宽参数的步骤具体为：将所述数组中至少连续两次大于预设基准值的行组合与下一至少连续两次大于预设基准值的行组合之间的行号距离作为一个行宽参数。

本发明提供的对所述文字子块进行图像分割以获取所述文字子块中的文字信息，并对所述文字信息进行识别的步骤具体为：基于预设的聚类算法对切分后的文字子块进行图像分割处理，获取所述文字子块中的文字信息，并根据所述文字信息在预置的系统文字库中进行比对，根据比对结果对图像中的文字进行识别。

如图3所示，本发明提供的对文字图像进行校正方法如下：

S301，发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

S302，提取原始文字图像的暗部和亮部区域，并对暗部和亮部区域的局部细节进行增强处理，得到局部细节增强的文字图像；根据预设阈值和图像强度均值，对所得到的局部细节增强的图像进行整体亮度调整，得到整体亮度调整后的图像；以及对整体亮度调整后的文字图像，进行饱和度的调整；

S303，根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正；其中，所述景物信息包括所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，所述校正平面是根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息确定的、与摄像头平面平行的基准平面。

本发明提供的接收所述发射信息的反射信息获得视场内的景物信息，同时获取所述视场内的文字图像。

本发明提供的根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正，包括：根据所述景物信息，计算文字图像的畸变参数；根据所述文字图像的畸变参数，以校正平面为基准对所述文字图像进行畸变校正；

根据所述景物信息，计算文字图像的畸变参数，包括以下步骤：对所述视场进行区域划分；获取所述区域对应的景物信息；计算所述区域对应的景物的畸变参数；

计算所述区域对应的景物的畸变参数，包括：根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，确定所述视场内的景物对应区域与校正平面的对应关系；其中，所述视场内的景物对应区域与校正平面的对应关系，是指所述视场内的景物对应区域中的点在区域中和校正平面中的位置对应关系；

确定所述视场内的景物对应区域与校正平面的对应关系，包括：当获得所述区域对应的景物的深度信息时，计算所述视场每一个区域对应的校正平面；对所述每一个区域对应的校正平面进行等比例缩小或放大，和/或对所述每一个区域对应的校正平面依据深度信息进行缩小或放大；将所述每一个区域对应的校正平面进行拼接，得到所述视场内的景物对应区域与校正平面的对应关系；

计算所述视场每一个区域对应的校正平面，包括：在所述视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为所述视场每一个区域的校正平面的位置；根据已经确定的所述区域的校正平面的位置，计算所述区域内其他点在所述区域的校正平面的位置。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述古建墙壁受污题记文字图像边缘提取方法包括以下步骤：

步骤一，通过摄像器采集古建墙壁受污题记文字图像；

步骤二，将待处理的文字图像转化为第一灰度图像；对所述第一灰度图像进行直方图统计和凸高度排序处理，确定第一灰度图像的背景灰度分割阈值和第一灰度图像的阴影区域内的文字灰度分割阈值；

步骤三，对所述背景灰度分割阈值和文字灰度分割阈值进行处理，分别获得阴影区域掩膜表示和非阴影区域掩膜表示；对第一灰度图像进行背景增强，得到第二灰度图像；根据所述阴影区域掩膜表示和非阴影区域掩膜表示将第二灰度图像中背景增强的阴影区域和第一灰度图像中的非阴影区域进行融合处理，获得阴影消除后的文字图像；

步骤四，对至少两帧文字图像进行文字检测，得出每帧文字图像上的候选文字区域图像；将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理；若被比对的至少两个候选文字区域图像之间的差异在预设范围之内，则确定所述至少两个候选文字区域图像属于包含文字内容的文字区域图像；获取所述文字区域图像；

步骤五，对图像文字进行识别，并对文字图像进行校正。

2.如权利要求1所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述将其中一帧文字图像上的候选文字区域图像，与其他帧文字图像上可能包含相同文字内容的候选文字区域图像进行比对处理包括：

第一步，候选文字区域图像实时读取，将外部采集的帧候选文字区域图像以局域网的形式传输给同一地址段的本地计算机，完成候选文字区域图像的实时获取；

第二步，从获取的候选文字区域图像中提取关键帧，用以输入到深度学习检测算法，进行候选文字区域图像的可能包含相同文字内容的候选文字区域图像检测；

第三步，用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、车牌号、林格曼可能包含相同文字内容的候选文字区域系数、所在帧；

第四步，检测结果的保存与分析，对带有可能包含相同文字内容的候选文字区域图像的视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧结果以时间戳命名，进行输出保存，用于以后期的分析检查。

3.如权利要求2所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述第三步用深度学习算法对关键帧进行可能包含相同文字内容的候选文字区域图像检测，用以得到带有检测结果的可能包含相同文字内容的候选文字区域图像视频、目标截图、林格曼可能包含相同文字内容的候选文字区域系数、所在帧包括：

(1)输入关键帧图片，保持长宽比不变的情况下，将图像调整为大小是416*416的3通道的RGB图像；

(2)运行网络，YOLOv3的卷积层将输入图像分成S*S网格，预测得到边界框大小、位置、目标的置信度，通过非极大值抑制，生成最终的候选文字区域检测数据框，并返回；

(3)获取可能包含相同文字内容的候选文字区域可能存在区域，依据得到的候选文字区域检测框，计算候选文字区域前后可能出现可能包含相同文字内容的候选文字区域的区域；具体地，可能包含相同文字内容的候选文字区域框的长度与对应候选文字区域保持一致，宽度是对应候选文字区域宽度的3/4；

(4)可能包含相同文字内容的候选文字区域与背景区域进行对比，分别计算可能包含相同文字内容的候选文字区域与背景区域的像素值均值与方差；若可能包含相同文字内容的候选文字区域像素均值相较背景减少10％以上，公式

则认为存在可能包含相同文字内容的候选文字区域，依据均值减少的程度，将可能包含相同文字内容的候选文字区域分为林格曼系数的6个等级，见公式

(5)，若候选文字区域的前后区域被判为林格曼系数大于0的区域，则认为当前车为可能包含相同文字内容的候选文字区域图像，若为可能包含相同文字内容的候选文字区域图像，则将候选文字区域区域输入检测算法；

(6)帧检测，若候选文字区域被判定为可能包含相同文字内容的候选文字区域图像，则根据候选文字区域所处坐标进行帧检测，读取当前候选文字区域图像下的图像，人工划取帧线位置，并计算帧线二元一次函数斜率与截距，依据检测框位置(top，left，right，bottom)计算可能包含相同文字内容的候选文字区域图像中心坐标(x，y)，见公式

和

带入y值计算每个帧线对应的x_i(i＝0，1，2，……)值，判断候选文字区域位于第几帧，见公式

4.如权利要求1所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述对图像文字进行识别方法如下：

(1)将待处理图像分割为图像块并进行边缘检测，计算各图像块中对应的边缘像素点数；根据边缘像素点数标记各图像块的二值化属性；计算前景图像块的二值化信息，筛选需要调整二值化阈值的前景图像块；对需要调整二值化阈值的前景图像块进行二值化阈值调整；将需要调整二值化阈值的前景图像块二值化，并对其余的各图像块进行二值化，获取图像对应的矩阵；

(2)分析图像的矩阵行间纹理特征，获取图像的文字矩阵参数；基于所述文字矩阵参数对图像进行切分，获取图像的文字子块；对所述文字子块进行图像分割以获取所述文字子块中的文字信息，并对所述文字信息进行识别。

5.如权利要求4所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述分析图像的矩阵行间纹理特征，获取图像的文字矩阵参数的步骤包括：

将图像的矩阵坐标中的字体用第一像素值表示，背景用第二像素值表示，统计图像的矩阵坐标中每行第二像素值的个数，获取一数组；获取所述数组中数值大于预设基准值的行的行号，将所述数组中数值大于预设基准值的行中符合预设条件的行组合之间的行号距离作为一个行宽参数，统计所述数组中的若干行宽参数，对若干行宽参数取平均值，获取所述数组的行宽参数；根据获取的所述数组的行宽参数获取所述数组的列宽参数，并根据所述行宽参数和所述列宽参数获取所述数组的字体大小参数。

6.如权利要求5所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述将所述数组中数值大于预设基准值的行中符合预设条件的行组合之间的行号距离作为一个行宽参数的步骤具体为：将所述数组中至少连续两次大于预设基准值的行组合与下一至少连续两次大于预设基准值的行组合之间的行号距离作为一个行宽参数。

7.如权利要求4所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述对所述文字子块进行图像分割以获取所述文字子块中的文字信息，并对所述文字信息进行识别的步骤具体为：基于预设的聚类算法对切分后的文字子块进行图像分割处理，获取所述文字子块中的文字信息，并根据所述文字信息在预置的系统文字库中进行比对，根据比对结果对图像中的文字进行识别。

8.如权利要求1所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述对文字图像进行校正方法如下：

1)发射信息，并接收所述发射信息的反射信息获得视场内的景物信息，以及获取所述视场内的文字图像；

2)提取原始文字图像的暗部和亮部区域，并对暗部和亮部区域的局部细节进行增强处理，得到局部细节增强的文字图像；根据预设阈值和图像强度均值，对所得到的局部细节增强的图像进行整体亮度调整，得到整体亮度调整后的图像；以及对整体亮度调整后的文字图像，进行饱和度的调整；

3)根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正；其中，所述景物信息包括所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，所述校正平面是根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息确定的、与摄像头平面平行的基准平面。

9.如权利要求8所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述接收所述发射信息的反射信息获得视场内的景物信息，同时获取所述视场内的文字图像。

10.如权利要求9所述的古建墙壁受污题记文字图像边缘提取方法，其特征在于，所述根据所述景物信息，以校正平面为基准对所述文字图像进行畸变校正，包括：根据所述景物信息，计算文字图像的畸变参数；根据所述文字图像的畸变参数，以校正平面为基准对所述文字图像进行畸变校正；

根据所述景物信息，计算文字图像的畸变参数，包括以下步骤：对所述视场进行区域划分；获取所述区域对应的景物信息；计算所述区域对应的景物的畸变参数；

计算所述区域对应的景物的畸变参数，包括：根据所述视场内的景物的深度信息和/或所述视场内的景物的相对位置信息，确定所述视场内的景物对应区域与校正平面的对应关系；其中，所述视场内的景物对应区域与校正平面的对应关系，是指所述视场内的景物对应区域中的点在区域中和校正平面中的位置对应关系；

确定所述视场内的景物对应区域与校正平面的对应关系，包括：当获得所述区域对应的景物的深度信息时，计算所述视场每一个区域对应的校正平面；对所述每一个区域对应的校正平面进行等比例缩小或放大，和/或对所述每一个区域对应的校正平面依据深度信息进行缩小或放大；将所述每一个区域对应的校正平面进行拼接，得到所述视场内的景物对应区域与校正平面的对应关系；

计算所述视场每一个区域对应的校正平面，包括：在所述视场每一个区域中，以所对应的景物的深度差最小的一组相邻点的位置，作为所述视场每一个区域的校正平面的位置；根据已经确定的所述区域的校正平面的位置，计算所述区域内其他点在所述区域的校正平面的位置。

Images