CN110674336A

CN110674336A - 一种识别、检索影像文件的系统

Info

Publication number: CN110674336A
Application number: CN201910914568.7A
Authority: CN
Inventors: 胡征龙
Original assignee: Hubei Yizhan Photoelectric Co Ltd
Current assignee: Hubei Yizhan Photoelectric Co Ltd
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2020-01-10

Abstract

本发明公开了一种识别、检索影像文件的系统，包括系统总成，系统总成包括图像预处理模块、版面处理模块、图像切分模块、比对模块、检索模块和查阅模块，图像预处理模块包括灰度化模组、二值化模组和图像平滑模组，版面处理模块包括版面分析模组、版面理解模组和版面重构模组，图像切分模块包括行切分模组和字切分模组。本发明与现有技术相比的优点在于：本发明通过将图片档案转换成光栅信号与需检索文字的光栅信号进行特征比对的方式实现对图片档案的内容检索，实现了档案管理软件检索图片档案文字内容的功能，系统设计简单精巧，使用便捷，具有很强的普适性。

Description

一种识别、检索影像文件的系统

技术领域

本发明涉及软件文档领域，具体是指一种识别、检索影像文件的系统。

背景技术

影像文件是描绘光学影像的计算机磁盘文件,通常是指的是一些记录影像的数据和数据媒体，它具有固定不变的形式，可被任何计算机阅读。

计算机影像文件通过对像素点的描述拼接而成，我们常说的分辨率指的就是图像像素的数量，比如分辨率为1024*768的一张图片就是在长度上的像素点数为1024个，高度768个,每个像素点在计算机中存储的信息是他的RGB数值,将这些RGB(红、绿、蓝，组成图像的三原色，范围是从0～225)以二进制方式存在硬盘中,灰度图像只有1个通道，读取为数组的shape为[m,n]，坐标[m,n]就是图像中m行n列位置的像素,RGB图像有3个通道，读取为数组的shape为[x,y,3]。

单通道和多通道图像相关概念：图像通道在RGB色彩模式下就是指在下就是指那单独的红色R、绿色G、蓝色B部分。也就是说，一幅完整的图像，是由红色绿色蓝色三个通道组成的。他们共同作用产生了完整的图像。同样在HSV色系中指的是色调H，饱和度S，亮度V三个通道。除了这两个三通道图像模式，以下还列举一些图像模式，图像模式包括：(1)位图模式，位图模式是1位深度的图像。它只是黑和白两种颜色。它可以由扫描或置入黑色的矢量线条图像生成，也能由灰度模式或双色调模式转换而成。其他图像模式不能直接转换为位图模式；(2)灰度模式，灰度模式是8位深度的图像模式。也就是2⁸， 2⁸＝256，在全黑和全白之间插有254个灰度等级的颜色来描绘灰度模式的图像，所有模式的图像都能换成灰度模式，甚至位图也可转换为灰度模式；(3)双色调模式，双色调模式不是单个的图像模式，而是一个分类。它仅仅是单色调、双色调、三色调和四色调的一个统称。双色调模式只有一个通道。双色调模式和位图模式一样，也只有灰度模式才能转换；(4)RGB模式，RGB模式是数码图像中最重要的一个模式， RGB模式是相加的模式，当R、G、B的值都达到最大值时，三色合成便成白色，RGB模式是24位颜色深度。它共有三个通道，每个通道都有8位深度。三个通道合成一起可生成1677万种颜色，我们也称之谓“真彩色”；(5)CMYK模式，CMYK模式是用来打印或印刷的模式，它是相减的模式，当C、M、 Y三值达到最大值时，在理论上应为黑色，但实际上因颜料的关系，呈显的不是黑色，而是深褐色。为弥补这个问题，所以加进了黑色K，由于加了黑色，CMYK共有四个通道，正因为如此，对于同一个图像文件来说，CMYK模式比RGB模式的信息量要大四分之一，但RGB模式的色域范围比CMYK模式大。因为印刷颜料在印刷过程中不能重现RGB色彩，CMY和RGB为互补色，C-青色：由G-绿色和B-蓝色合成，其中没有R-红色成份，M-洋红：由R-红色和B-蓝色合成，其中没有G-绿色成份，Y-黄色：由R-绿色和 G-红色合成，其中没有B-蓝色成份，CMYK模式不能转换为索引模式；(6)Lab模式，Lab模式是24位颜色深度的图像模式，有三个通道。L通道是亮度通道(Lightness)，a和b两个为色彩通道。它的特点在于：色域范围最广，它和RGB与CMYK模式的关系如下：就色域范围而言Lab>RGB>CMYK)；此模式下的图像是独立于设备外的，它的颜色不会因不同的印刷设备，显示器和操作平台而改变。由于它有以上的有点，当Photoshop把RGB模式和CMYK模式互相转换时，它成为中间模式，颜色信息就不会因以上两模式的色域范围不同而丢失，a分量是由绿色向红色过度，B分量是由蓝色向黄色过渡，Lab模式不能转换为索引模式，Photoshop的大部分功能不支持Lab模式；(7)索引颜色模式，索引颜色模式是8位颜色深度模式，它最多只能拥有256种颜色，每一副图像都各自拥有一张颜色表，而随图像不同，颜色表也不同。这一点是至关重要的，它的信息量小，又可制动画，所以它的图像和动画被广泛地用于网页制作上，它可制成透明图像，在网页使用，在转换时，只有灰度和RGB两种模式，不能转换成索引颜色模式，转换时只有两个选择是实用的，(随样性)当图像颜色数大于256时，使用该选项，Photoshop会定做颜色表。实际当图像颜色小于256时，使用该选项，就用实际的颜色制作颜色表；(8)多通道模式，多通道模式是把含有通道的图像分割成单个的通道，CMYK模式转为多通道模式时，生成的通道为青色、洋红、黄色和黑色四个通道，Lab模式转为多通道模式时，生成三个Alpha通道；(9)8位/通道和16位/通道，在灰度、RGB和CMYK模式下可以用每个通道16位深度来取代8位深度。那么，每个通道的颜色数从 256色剧增到65536色，可生成更好的颜色细节，所以16位灰度图像里只有黑灰白色，数字档案一般是指将档案进行数字化操作，其存储方式是从纸质档案转变成数字档案，档案存储的载体发生改变，由纸质变成计算机。在计算机中的表现形式就是影像文件。

现有档案软件对文字档案以图片的形式转换为二进制数据存储在信息系统中，档案留下了清晰的影像可供查阅，但是影像资料的内容计算机无法识别故信息检索时计算机无法按内容进行检索。

因此，设计出一种识别、检索影像文件的系统势在必行。

发明内容

本发明要解决的技术问题是目前缺少能对影像资料内容进行识别的方法，在实际工作学习中给用户造成诸多不便，资料查找时间长、精度差、效率低严重妨碍了档案资料的检索利用。

为解决上述技术问题，本发明提供的技术方案为：一种识别、检索影像文件的系统，包括系统总成，系统总成包括图像预处理模块、版面处理模块、图像切分模块、比对模块、检索模块和查阅模块，图像预处理模块包括灰度化模组、二值化模组和图像平滑模组，版面处理模块包括版面分析模组、版面理解模组和版面重构模组，图像切分模块包括行切分模组和字切分模组。

本发明与现有技术相比的优点在于：本发明通过将图片档案转换成光栅信号与需检索文字的光栅信号进行特征比对的方式实现对图片档案的内容检索，实现了档案管理软件检索图片档案文字内容的功能，系统设计简单精巧，使用便捷，具有很强的普适性。

作为改进，图像预处理模块用于对带有噪声的文字图像进行处理。

作为改进，灰度化模组作用是将原本由三维描述的像素点，映射为一维描述的像素点。

作为改进，二值化模组将由灰度化模组处理后的图像信号转化成只有黑(1)和白(0)的二值图像信号。

作为改进，图像平滑模组用于去除图像笔划上的孤立白点和笔划外部的孤立黑点，以及笔划边缘的凹凸点，使得笔划边缘变得平滑。

作为改进，版面处理模块将文本图像分割为不同部分，并标定成文本或图像或表格三种属性中的一种。

作为改进，比对模块采用TCDCN模型，通过一些多样的精细的任务，来优化提升特征点定位精度。

作为改进，检索模块根据比对模块处理后的结果，进行N次比对，并留下比分大于阈值的结果。

作为改进，查阅模块根据检索模块处理后的结果，按相似程度的高低列出原始图像的列表供查阅。

附图说明

图1是一种识别、检索影像文件的系统的结构示意图。

图2是一种识别、检索影像文件的系统的工作流程结构示意图。

图3是一种识别、检索影像文件的系统的图像预处理模块的结构示意图。

图4是一种识别、检索影像文件的系统的版面处理模块的结构示意图。

图5是一种识别、检索影像文件的系统的图像切分模块的结构示意图。

图6是一种识别、检索影像文件的系统的实施例的图像切分模块的结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

本发明在具体实施时，一种识别、检索影像文件的系统，包括系统总成，所述的系统总成包括图像预处理模块、版面处理模块、图像切分模块、比对模块、检索模块和查阅模块，所述的图像预处理模块包括灰度化模组、二值化模组和图像平滑模组，所述的版面处理模块包括版面分析模组、版面理解模组和版面重构模组，所述的图像切分模块包括行切分模组和字切分模组。

所述的图像预处理模块用于对带有噪声的文字图像进行处理。

所述的灰度化模组作用是将原本由三维描述的像素点，映射为一维描述的像素点。

所述的二值化模组将由所述的灰度化模组处理后的图像信号转化成只有黑(1)和白(0)的二值图像信号。

所述的图像平滑模组用于去除图像笔划上的孤立白点和笔划外部的孤立黑点，以及笔划边缘的凹凸点，使得笔划边缘变得平滑。

所述的版面处理模块将文本图像分割为不同部分，并标定成文本或图像或表格三种属性中的一种。

所述的比对模块采用TCDCN模型，通过一些多样的精细的任务，来优化提升特征点定位精度。

所述的检索模块根据所述的比对模块处理后的结果，进行N次比对，并留下比分大于阈值的结果。

所述的查阅模块根据所述的检索模块处理后的结果，按相似程度的高低列出原始图像的列表供查阅。

本发明的工作原理：本发明包括系统总成，系统总成包括图像预处理模块、版面处理模块、图像切分模块、比对模块、检索模块和查阅模块，图像预处理模块包括灰度化模组、二值化模组和图像平滑模组，版面处理模块包括版面分析模组、版面理解模组和版面重构模组，图像切分模块包括行切分模组和字切分模组。

在输入文本经过扫描仪进入计算机后，由于纸张的厚薄、光洁度和印刷质量都会造成文字畸变，产生断笔、粘连和污点等干扰，所以在进行文字识别之前，图像预处理模块要对带有噪声的文字图像进行处理。

通过外设采集的图像通常为彩色图像，彩色图像会夹杂一些干扰信息，灰度化模组的设计目的就是滤除这些信息，灰度化模组的工作原理就是将原本由三维描述的像素点，映射为一维描述的像素点。

经过灰度化模组处理后的彩色图像还需经过二值化模组处理，将文字与背景进一步分离开，二值化模组功能就是将灰度值(或者彩色值)图像信号转化成只有黑(1)和白(0)的二值图像信号。

图像平滑模组能够去掉笔划上的孤立白点和笔划外部的孤立黑点，以及笔划边缘的凹凸点，使得笔划边缘变得平滑。

版面处理模块包括版面分析模组、版面理解模组和版面重构模组，版面处理模块将文本图像分割为不同部分，并标定各部分属性，如：文本、图像和表格。

版面分析模组以连通域为基础，连通域是指将图像经过二值化后转为的二值矩阵中任选一个像素点，若包围其的所有像素点中存在相同像素值的像素点则视为两点连通，以此类推，这样的像素点构成的一个集合在图像中所在的区域即一个连通域。根据连通域大小或像素点分布等特征可以将连通域的属性标记出来，用作进一步处理的依据。

版面理解模组用于获取文章逻辑结构，包括各区域的逻辑属性、文章的层次关系和阅读顺序，根据版面分析模组记载的连通域位置信息，确定连通域归属序列。

版面重构模组根据版面分析模组处理的结果，重构出包含文字信息和版面信息的电子文档。

图像切分模组分为行切分模组和字切分模组，经过图像切分模块处理后，才能方便对单个文字进行识别处理。

比对模块采用最新的TCDCN模型，该模型思想是通过一些多样的精细的任务，来优化提升特征点定位精度，该模型优势在于优于现有的方法，特别是在处理一些遮挡时，且与现有的state-of-the-art的级联深度模型方法相比，其动态的降低了模型的复杂度。

损失函数就是不同任务的损失函数直接相加。而在特征点检测的任务中，不同的任务具有不同的loss，特征点检测是平方和误差，而其它分类任务是交叉熵损失，因此最后的loss就是：

单应性矩阵

平面的单应性即为一个平面到另一个平面的投影映射。若点Q到成像仪上的点q的映射使用齐次坐标，则单应性可以表示为：

其中和

s是任意尺度的比例。H是由用于平面的物理变换和使用参数矩阵的投影两部分组成的。

物理变换部分是与观测到的图像平面相关的部分旋转R和部分平移t的影响之和，可以表示为：

W＝[R t]

M为参数矩阵，即：

又因为单应性是研究一个平面到另一个平面的映射。因此，我们可以令z＝0，即平面上的点用x,y 表示，则可以简化为平面坐标中的Q，即可以推导为：

H＝sM[r₁ r₂ t]

计算特征点的单应性矩阵，通过变换关系即可规范到统一的标准。通常只需要4对点即可对矩阵估计，为了更加准确估计图像的变换关系，将所有特征点加入计算可以列出68组方程，方程组个数大于带求解的系数，用过RANSAC算法来求解这个超正定方程，每次计算4个点，选取内点个数最多的作为最终的结果。

根据比对模块处理的结果，进行N次比对，并留下比分大于阈值的结果，检索的规模会大很多，最高可支持亿级检索。

查阅模块根据检索模块处理出来的结果，按相似程度的高低列出原始图像的列表供查阅。

本发明通过将图片档案转换成光栅信号与需检索文字的光栅信号进行比对的方式实现对图片档案的内容检索，实现了档案管理软件检索图片档案文字内容的功能。

实施例：

一种识别、检索影像文件的系统，包括系统总成，所述的系统总成包括图像预处理模块、版面处理模块、图像切分模块、比对模块、检索模块和查阅模块，所述的图像预处理模块包括灰度化模组、二值化模组和图像平滑模组，所述的版面处理模块包括版面分析模组、版面理解模组和版面重构模组，所述的图像切分模块包括列切分模组和字切分模组。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具本的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”，“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种识别、检索影像文件的系统，包括系统总成，其特征在于：所述的系统总成包括图像预处理模块、版面处理模块、图像切分模块、比对模块、检索模块和查阅模块，所述的图像预处理模块包括灰度化模组、二值化模组和图像平滑模组，所述的版面处理模块包括版面分析模组、版面理解模组和版面重构模组，所述的图像切分模块包括行切分模组和字切分模组。

2.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的图像预处理模块用于对带有噪声的文字图像进行处理。

3.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的灰度化模组作用是将原本由三维描述的像素点，映射为一维描述的像素点。

4.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的二值化模组将由所述的灰度化模组处理后的图像信号转化成只有黑(1)和白(0)的二值图像信号。

5.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的图像平滑模组用于去除图像笔划上的孤立白点和笔划外部的孤立黑点，以及笔划边缘的凹凸点，使得笔划边缘变得平滑。

6.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的版面处理模块将文本图像分割为不同部分，并标定成文本或图像或表格三种属性中的一种。

7.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的比对模块采用TCDCN模型，通过一些多样的精细的任务，来优化提升特征点定位精度。

8.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的检索模块根据所述的比对模块处理后的结果，进行N次比对，并留下比分大于阈值的结果。

9.根据权利要求1所述的一种识别、检索影像文件的系统，其特征在于：所述的查阅模块根据所述的检索模块处理后的结果，按相似程度的高低列出原始图像的列表供查阅。