CN114187602A - 一种房产证明材料内容识别方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种房产证明材料内容识别方法、系统、设备及存储介质，包括：获取房产证明材料的原始图像；利用表格检测模型获取房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；利用单元格分割法分割矫正后的表格区域中的单元格区域，得到单元格位置坐标；利用OCR技术识别法识别矫正后的表格区域中的所有文字内容；根据单元格位置坐标对所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；根据重新分配合并后的文字内容信息，建立表格行列索引提取要素内容。本发明实现复杂房产证明材料的内容识别，有效提升了房产证明材料内容识别的准确率以及鲁棒性。

Description

一种房产证明材料内容识别方法、系统、设备及存储介质

技术领域

本发明涉及计算机图像识别技术领域，具体涉及一种房产证明材料内容识别方法、系统、设备及存储介质。

背景技术

网上银行办理房产抵押等业务时，均需上传当地房屋管理局出具的房产证明材料(见图1)，作为银行审批材料。这些材料各地样式差异较大，且内容复杂繁多，人工录入费时费力，而通过OCR技术辅助可实现关键内容的自动提取。

房产证明材料(比如，不动产权证)的表格结构简单，该不动产权证的内容识别常用方法是通过OCR技术提取每一行的文字内容再依次进行正则化匹配对应要素的标题，通过标题获取对应内容。公开号：CN111460927A，名称为对房产证图像进行结构化信息提取的方法的现有技术便是以上这种内容识别法。这种方式简单直接，但是解析复杂的表格信息内容时，由于单元格内标题换行等问题，容易导致解析出错。比如，房屋信息查询记录这类房产证明材料表格结构复杂，不易采用上述方法。

因此，现有的关于房产证明材料(不动产权证)的内容识别常用方法虽然简单直接，但是解析复杂的表格信息内容(房屋信息查询记录)时，由于单元格内标题换行等问题，容易导致解析出错。

发明内容

本发明所要解决的技术问题是现有的关于房产证明材料的内容识别常用方法虽然简单直接，但是解析复杂版式的表格信息内容时，比如房屋信息查询记录，由于单元格内标题换行等问题，容易导致解析出错，且识别准确率低。

本发明目的在于提供一种房产证明材料内容识别方法、系统、设备及存储介质，通过表格检测以及单元格分割技术实现复杂版式房产证明材料(房屋信息查询记录)的版式解析，根据解析后的单元格区域信息结合OCR技术可将识别出的跨行文字内容重新分配合并，实现复杂房产证明材料的内容识别。

本发明通过下述技术方案实现：

第一方面，本发明提供了一种房产证明材料内容识别方法，该方法包括：

获取房产证明材料的原始图像；

利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；

利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；

利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；

根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；

根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述单元格的行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。

本发明主要是针对复杂版式的房屋信息查询记录类房产证明材料的内容识别，通过表格检测以及单元格分割技术实现复杂版式房产证明材料(房屋信息查询记录)的版式解析，根据解析后的单元格区域信息结合OCR技术可将识别出的跨行文字内容重新分配合并，实现复杂房产证明材料的内容识别。本发明有效提升了房产证明材料内容识别的准确率以及鲁棒性。

进一步地，所述的利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；具体包括：

利用表格检测模型获取所述房产证明材料的原始图像中表格区域的四角顶点位置；

根据所述表格区域的四角顶点位置，进行透视变换矫正表格区域图像，得到矫正后的表格区域。

进一步地，所述表格检测模型为旋转目标检测的YOLOX-s结构。

进一步地，所述的利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；具体包括：

对矫正后的表格区域图像进行阈值分割，得到二值化表格图像；

利用形态学处理方式处理所述二值化表格图像，得到横线图和竖线图；

对所述横线图和竖线图进行逻辑运算得到单元格顶点图，对单元格顶点图中的顶点簇进行压缩至单像素，再进行矫正处理，得到矫正后的单元格顶点位置；

按行遍历矫正后的单元格顶点位置，初次分配每个单元格角点：4个角点；其中，所述按行列遍历为从上至下进行行遍历，遍历单行时，按照列从左至右遍历；

对每一个初次分配单元格角点后的单元格，判断当前单元格内是否存在未分割的单元格，若当前单元格内存在未分割的单元格，则先后进行横向二次分割、纵向二次分割，得到单元格结果；若当前单元格内不存在未分割的单元格，则循环执行判断下一个单元格。

进一步地，所述的利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；具体包括：

利用文字检测模型获取矫正后的表格区域图像中所有文字行的位置；

利用文字识别模型识别所述所有文字行中每个文字行中的文字内容。

进一步地，所述的根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；具体包括：

根据所述单元格位置坐标，遍历每个文字行中的文字内容，将每行文字按照占比面积将其拆分到对应的表格单元格中；

对分配到同一单元格中的文字行内容，按照纵向坐标排列合并，得到合并后的文字内容信息。

第二方面，本发明又提供了一种房产证明材料内容识别系统，该系统支持所述的一种房产证明材料内容识别方法，该系统包括：

获取单元，用于获取房产证明材料的原始图像；

表格区域检测单元，用于利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；

单元格分割单元，用于利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；

文字内容识别单元，用于利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；

重新分配合并单元，用于根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；

内容提取单元，用于根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述表格行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。

进一步地，所述单元格分割单元的执行过程为：

对矫正后的表格区域图像进行阈值分割，得到二值化表格图像；

利用形态学处理方式处理所述二值化表格图像，得到横线图和竖线图；

对所述横线图和竖线图进行逻辑运算得到单元格顶点图，对单元格顶点图中的顶点簇进行压缩至单像素，再进行矫正处理，得到矫正后的单元格顶点位置；

按行遍历矫正后的单元格顶点位置，初次分配每个单元格角点：4个角点；其中，所述按行列遍历为从上至下进行行遍历，遍历单行时，按照列从左至右遍历；

对每一个初次分配单元格角点后的单元格，判断当前单元格内是否存在未分割的单元格，若当前单元格内存在未分割的单元格，则先后进行横向二次分割、纵向二次分割，得到单元格结果；若当前单元格内不存在未分割的单元格，则循环执行判断下一个单元格。

第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种房产证明材料内容识别方法。

第四方面，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种房产证明材料内容识别方法。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明一种房产证明材料内容识别方法、系统、设备及存储介质，主要是针对复杂版式的房屋信息查询记录类房产证明材料的内容识别，通过表格检测以及单元格分割技术实现复杂版式房产证明材料(比如，房屋信息查询记录)的版式解析，根据解析后的单元格区域信息结合OCR技术可将识别出的跨行文字内容重新分配合并，实现复杂房产证明材料的内容识别。本发明有效提升了房产证明材料内容识别的准确率以及鲁棒性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明针对的复杂版式的房屋信息查询记录图。

图2为本发明一种房产证明材料内容识别方法整体流程图。

图3为本发明一种房产证明材料内容识别方法详细流程图。

图4为本发明一种房产证明材料内容识别方法中利用单元格分割法分割所述矫正后的表格区域中的单元格区域的流程图一；

图5为本发明一种房产证明材料内容识别方法中利用单元格分割法分割所述矫正后的表格区域中的单元格区域的流程图二；

图6为本发明实施例1步骤3.5中获得单元格区域，向内裁减边缘的白色区域的示意图。

图7为本发明一种房产证明材料内容识别系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1至图6所示，本发明一种房产证明材料内容识别方法，如图2、图3所示，该方法包括：

获取房产证明材料的原始图像；

利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；

利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；

利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；

根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；

根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述单元格的行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。

具体实施时如下：

步骤1：获取房产证明材料的原始图像；

步骤2：利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；步骤2包括以下子步骤：

步骤2.1：利用表格检测模型获取所述房产证明材料的原始图像中表格区域的四角顶点位置；具体地：

表格检测模型可以为旋转目标检测的YOLOX-s结构，其输入尺寸为(640,640,3)，将所述房产证明材料的原始图像按照宽高尺寸进行等比例缩放到长边640像素，利用该表格检测模型处理缩放后的图像可以获得图像中每个表格区域的左上角顶点坐标、右上角顶点坐标、右下角顶点坐标以及左下角顶点坐标。

步骤2.2：根据所述表格区域的四角顶点位置，进行透视变换矫正表格区域图像，得到矫正后的表格区域。具体地：

根据步骤2.1判断出来的角点方位，利用4个角点计算出透视变换矩阵，对待矫正的表格区域进行变换，获得矫正后方正的身份证图像，透视变换的举证变换公式为：变换后的位置坐标矩阵＝透视变换矩阵*变换前的位置坐标矩阵；

步骤3：利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；如图4、图5所示，图4为本发明一种房产证明材料内容识别方法中利用单元格分割法分割所述矫正后的表格区域中的单元格区域的流程图一(左半图)；图5为本发明一种房产证明材料内容识别方法中利用单元格分割法分割所述矫正后的表格区域中的单元格区域的流程图二(右半图)；步骤3包括以下子步骤：

步骤3.1：对矫正后的表格区域图像进行阈值分割，得到二值化表格图像；具体地：

先将矫正后的表格区域图像转化为灰度图，根据房产证明场景的先验，采用200的阈值进行阈值分割，遍历修改灰度图每个点的像素值，像素值大于阈值的点的像素值改为0(黑色)，像素值小于阈值的点的像素值改为255(白色)。

步骤3.2：利用形态学处理方式处理所述二值化表格图像，得到横线图和竖线图；具体地：

对二值化表格图像的宽缩小20倍并取整，得到横向卷积核尺寸，生成值全为1、宽高均等于横向卷积核尺寸的横向卷积核，利用横向卷积核对二值化表格图像进行先腐蚀后膨胀的形态学运算，得到横线图；对二值化表格图像的高缩小20倍并取整，得到纵向卷积核尺寸，生成值全为1、宽高均等于纵向卷积核尺寸的纵向卷积核，利用纵向卷积核对二值化表格图像进行先腐蚀后膨胀的形态学运算，得到竖线图。

步骤3.3：对所述横线图和竖线图进行逻辑运算得到单元格顶点图，对单元格顶点图中的顶点簇进行压缩至单像素，再进行矫正处理，得到矫正后的单元格顶点位置；具体地：

对横线图和竖线图进行逻辑与运算得到单元格顶点图，遍历单元格顶点图中的每个顶点簇，分别对该顶点簇中的每个点的横、纵轴坐标取平均值，得到该顶点簇的中心点坐标，保留该中心点的像素值为255，顶点簇中其余点的像素值均改为0，遍历完所有的顶点簇后获得压缩顶点图，再分别遍历压缩顶点图中的所有点的横、纵坐标，对于坐标偏差在5个像素以内，且不在同一直线上的点，修改其对应的横、纵坐标，使其位于同一直线上，遍历完所有的顶点后获取矫正后的顶点位置。

步骤3.4：按行遍历矫正后的单元格顶点位置，初次分配每个单元格角点：4个角点；其中，所述按行列遍历为从上至下进行行遍历，遍历单行时，按照列从左至右遍历；

具体地：将矫正后的单元格顶点按照纵坐标进行排列，划分到不同行中，再对每行的单元格顶点按照横坐标排列，获得先行排列后列排列的单元格顶点列表，按行遍历排列后的单元格顶点列表，设置当前行第一个点的纵坐标为当前行纵坐标，设置下一行第一个点的纵坐标为下一行纵坐标，设置当前行纵坐标和下一行纵坐标的平均值为中间行纵坐标，遍历同一行的多个单元格顶点时，默认当前单元格顶点为单元格左上角顶点，默认其右侧单元格顶点为右上角顶点，同时以右侧单元格顶点的横坐标和中间行纵坐标组成的新点判断步骤3.2中的竖线图在该点的像素值是否为255，即判断该点处是否存在表格线，如果该点存在表格线，即认为这个单元格是一个真实的单元格，然后再默认以这个单元格的右上角顶点作为下一个单元格的左上角顶点，按照上述逻辑依次进行判断，直到循环遍历完所有行列，得到每个真实单元格的4个角点坐标。

步骤3.5：对每一个初次分配单元格角点后的单元格，判断当前单元格内是否存在未分割的单元格，若当前单元格内存在未分割的单元格，则先后进行横向二次分割、纵向二次分割，得到单元格结果；若当前单元格内不存在未分割的单元格，则循环执行判断下一个单元格。

具体地：

遍历步骤3.4中分配后的单元格，遍历每一个单元格，根据单元格4个角点坐标切割二值化表格图像，获得单元格区域，向内裁减边缘的白色区域(见图6)，具体来说就是分别从4边的最外边的像素行、列向中心点遍历，如果当前行、列内的像素值最小值是255则向内裁减一行、列，直到遍历到当前行、列内的像素值最小值是0时停止遍历，向内裁减完后，判断单元格内是否还存在未分割的多行单元格，具体来说就是对于向内裁减后的单元格提取横向每行的最小像素值列表，如果该最小像素值列表中存在像素值为255，则认为255对应的单元格行是未分割的横向表格线，遍历判断完后获得横向二次分割后的单元格，再遍历横向二次分割后的单元格，还是向内裁减边缘的白色区域(和上述方法一致)后，判断单元格内是否还存在未分割的多列单元格，具体来说就是对于向内裁减后的单元格提取纵向每列的最小像素值列表，如果该最小像素值列表中存在像素值为255，则认为255对应的单元格列是未分割的纵向表格线，遍历判断完后获得纵向二次分割后的单元格，作为最终分割的单元格列表。

步骤4：利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；步骤4包括以下子步骤：

步骤4.1：利用文字检测模型获取矫正后的表格区域图像中所有文字行的位置；具体地：

文字检测模型可以采用PaddleOCR中开源的中文文字检测模型，处理矫正后的表格区域图像，获得所有文字行的位置。

步骤4.2：利用文字识别模型识别所述所有文字行中每个文字行中的文字内容。

文字检测模型可以采用PaddleOCR中开源的中文文字识别模型，处理步骤4.1中检测到的每个文字行区域，获得每个文字行中的文字内容。

步骤5：根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；步骤5包括以下子步骤：

步骤5.1：根据所述单元格位置坐标，遍历每个文字行中的文字内容，将每行文字按照占比面积将其拆分到对应的表格单元格中；具体地：

依次遍历步骤3.5获得的每个最终分割的单元格以及步骤4获得的每个文字行识别结果，计算文字行内每个文字所占的宽度(文字行检测框长度除以文字个数)，计算单元格与文字行的重叠长度，重叠长度大于一个字的宽度时，则认为重叠长度包含的文字内容应该存在该单元格内，同时判断去除该文字内容后，该文字行是否还存在文字，如果不存在则整个文字行分配到该单元格，如果存在则将文字行的坐标按照与单元格相交的边界坐标拆分为多个，将属于该单元格的拆分文字行分配到该单元格，将其余拆分的文字行分配到未分配的文字行列表中，遍历循环后每个文字行都被拆分分配到各个单元格。

步骤5.2：对分配到同一单元格中的文字行内容，按照纵向坐标排列合并，得到合并后的文字内容信息。具体地：

对于单元格内存在多个文字行的情况，按照文字行左上角的纵坐标排序，依次合并文字行的文字内容，获得单元格对应的文字内容。

步骤6：根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述单元格的行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。具体地：

将步骤5.2获得的单元格文字内容，先按照单元格的左上角纵坐标，将单元格划分到各个行单元格列表内，每个行列表的索引代表该行单元格列表内所有单元格的行索引，再对每行内的单元格按照左上角横坐标排序，得到每个单元格的列索引，最终建立每个单元格行列索引，再按照房产证明材料的结构提取对应单元格索引内的文字内容。

本发明主要是针对复杂版式的房屋信息查询记录类房产证明材料的内容识别，通过表格检测以及单元格分割技术实现复杂版式房产证明材料(比如，房屋信息查询记录，见图1)的版式解析，根据解析后的单元格区域信息结合OCR技术可将识别出的跨行文字内容重新分配合并，实现复杂房产证明材料的内容识别。本发明有效提升了房产证明材料内容识别的准确率以及鲁棒性。

本发明相比与现有技术，具有如下创新点：

1、本发明主要是针对复杂版式的房屋信息查询记录类房产证明材料的内容识别，该类“房屋信息查询记录”房产证明材料，表格结构复杂，采用现有技术无法解析复杂的表格信息内容时，由于单元格内标题换行等问题，容易导致解析出错，且识别准确率低。

2、现有技术进行表格区域检测的方法是利用表格纵横线交点的最小轮廓确定，这种方法在自然场景鲁棒性较差，且异常图像耗时过多，且对于倾斜旋转影像无法获得有效的纵横线投影，以及无法得到交点确定表格区域。而本发明采用神经网络模型的方法进行表格区域检测，模型会学习到证件表格区域的特征，自然场景鲁棒性强，耗时少，且能有效检测表格区域的旋转情况，以便于矫正再进行后续步骤。

3、现有技术确定纵横线交点后，直接生成新的纵横线划分单元格，再根据单元格的面积等剔除无效单元格，因为“不动产权证”表格中同一行列的单元格都是一样大小，所以这种方法能解决该场景；而“房屋信息查询记录”表格结构复杂，每行的单元格划分结构都不一样，所以现有技术的方法无法适用。而本发明获得纵横线交点后，首先对同一交点簇进行压缩获得单像素交点，再遍历行列，对满足一定行列阈值距离的单像素交点进行平移矫正，再遍历划分出每个单元格后，对单元格内先判断是否存在为分割出的横向表格线，进行二次分割出多行单元格，再对每个单元格判断是否存在为分割出的纵向表格线，进行二次分割出多列单元格，获得最终的单元格区域。

4、现有技术的文本行和单元格归类是按照重叠面积将每一个文本行分配到对应单元格中，再进行单元格文字内容的识别。而本发明实现进行全表格区域的文本行检测以及文字识别，再按照重叠面积进行拆分到对应单元格，因为“房屋信息查询记录”表格结构复杂，单元格间连接紧凑，文本行检测容易将相邻单元格的内容检测到一个文本行中，所以遍历文本行以及单元格，按照计算每个文本行中单个文字的长度，按照文本行超出单元格长度是否大于等于一个文字长度为标准，将超出的文字内容分配到相邻的单元格中。

实施例2

如图7所示，本实施例与实施例1的区别在于，本实施例提供了一种房产证明材料内容识别系统，该系统支持实施例1所述的一种房产证明材料内容识别方法，该系统包括：

获取单元，用于获取房产证明材料的原始图像；

表格区域检测单元，用于利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；

单元格分割单元，用于利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；

文字内容识别单元，用于利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；

重新分配合并单元，用于根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；

内容提取单元，用于根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述表格行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。

具体地，所述单元格分割单元的执行过程为：

对矫正后的表格区域图像进行阈值分割，得到二值化表格图像；

利用形态学处理方式处理所述二值化表格图像，得到横线图和竖线图；

对所述横线图和竖线图进行逻辑运算得到单元格顶点图，对单元格顶点图中的顶点簇进行压缩至单像素，再进行矫正处理，得到矫正后的单元格顶点位置；

按行遍历矫正后的单元格顶点位置，初次分配每个单元格角点：4个角点；其中，所述按行列遍历为从上至下进行行遍历，遍历单行时，按照列从左至右遍历；

对每一个初次分配单元格角点后的单元格，判断当前单元格内是否存在未分割的单元格，若当前单元格内存在未分割的单元格，则先后进行横向二次分割、纵向二次分割，得到单元格结果；若当前单元格内不存在未分割的单元格，则循环执行判断下一个单元格。

各个单元的执行过程按照实施例1所述的一种房产证明材料内容识别方法流程步骤执行即可，此实施例中不再一一赘述。

同时，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种房产证明材料内容识别方法。

同时，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种房产证明材料内容识别方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种房产证明材料内容识别方法，其特征在于，该方法包括：

获取房产证明材料的原始图像；

利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；

利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；

利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；

根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；

根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述单元格的行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。

2.根据权利要求1所述的一种房产证明材料内容识别方法，其特征在于，所述的利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；具体包括：

利用表格检测模型获取所述房产证明材料的原始图像中表格区域的四角顶点位置；

根据所述表格区域的四角顶点位置，进行透视变换矫正表格区域图像，得到矫正后的表格区域。

3.根据权利要求2所述的一种房产证明材料内容识别方法，其特征在于，所述表格检测模型为旋转目标检测的YOLOX-s结构。

4.根据权利要求1所述的一种房产证明材料内容识别方法，其特征在于，所述的利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；具体包括：

对矫正后的表格区域图像进行阈值分割，得到二值化表格图像；

利用形态学处理方式处理所述二值化表格图像，得到横线图和竖线图；

对所述横线图和竖线图进行逻辑运算得到单元格顶点图，对单元格顶点图中的顶点簇进行压缩至单像素，再进行矫正处理，得到矫正后的单元格顶点位置；

按行遍历矫正后的单元格顶点位置，初次分配每个单元格角点：4个角点；其中，所述按行列遍历为从上至下进行行遍历，遍历单行时，按照列从左至右遍历；

对每一个初次分配单元格角点后的单元格，判断当前单元格内是否存在未分割的单元格，若当前单元格内存在未分割的单元格，则先后进行横向二次分割、纵向二次分割，得到单元格结果；若当前单元格内不存在未分割的单元格，则循环执行判断下一个单元格。

5.根据权利要求1所述的一种房产证明材料内容识别方法，其特征在于，所述的利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；具体包括：

利用文字检测模型获取矫正后的表格区域图像中所有文字行的位置；

利用文字识别模型识别所述所有文字行中每个文字行中的文字内容。

6.根据权利要求5所述的一种房产证明材料内容识别方法，其特征在于，所述的根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；具体包括：

根据所述单元格位置坐标，遍历每个文字行中的文字内容，将每行文字按照占比面积将其拆分到对应的表格单元格中；

对分配到同一单元格中的文字行内容，按照纵向坐标排列合并，得到合并后的文字内容信息。

7.一种房产证明材料内容识别系统，其特征在于，该系统支持如权利要求1至6中任一所述的一种房产证明材料内容识别方法，该系统包括：

获取单元，用于获取房产证明材料的原始图像；

表格区域检测单元，用于利用表格检测模型获取所述房产证明材料的原始图像中表格区域的位置，并进行矫正得到矫正后的表格区域；

单元格分割单元，用于利用单元格分割法分割所述矫正后的表格区域中的单元格区域，得到单元格位置坐标；

文字内容识别单元，用于利用OCR技术识别法识别所述矫正后的表格区域中的所有文字内容；

重新分配合并单元，用于根据所述单元格位置坐标对所述所有文字内容进行重新分配合并，得到重新分配合并后的文字内容信息；

内容提取单元，用于根据所述重新分配合并后的文字内容信息，得到重构后的表格结构，建立每个单元格的行列索引；根据所述表格行列索引，按照房产证明材料的结构提取对应单元格索引内的文字内容。

8.根据权利要求7所述的一种房产证明材料内容识别系统，其特征在于，所述单元格分割单元的执行过程为：

对矫正后的表格区域图像进行阈值分割，得到二值化表格图像；

利用形态学处理方式处理所述二值化表格图像，得到横线图和竖线图；

对所述横线图和竖线图进行逻辑运算得到单元格顶点图，对单元格顶点图中的顶点簇进行压缩至单像素，再进行矫正处理，得到矫正后的单元格顶点位置；

按行遍历矫正后的单元格顶点位置，初次分配每个单元格角点：4个角点；其中，所述按行列遍历为从上至下进行行遍历，遍历单行时，按照列从左至右遍历；

对每一个初次分配单元格角点后的单元格，判断当前单元格内是否存在未分割的单元格，若当前单元格内存在未分割的单元格，则先后进行横向二次分割、纵向二次分割，得到单元格结果；若当前单元格内不存在未分割的单元格，则循环执行判断下一个单元格。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的一种房产证明材料内容识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种房产证明材料内容识别方法。

Images