具体实施方式
以下,将结合附图和实施例对本发明进行详细描述。
本发明的主要研究对象包括图注的识别以及图像与图注的关联关系的识别,旨在通过这些版面信息的识别来改进阅读顺序的识别效果和其它逻辑结构抽取等相关应用。本发明主要应用于满足以下条件的数字文档:能够按页读取数字文档,能够获取每页的字符文本对象与图像对象以及它们的字体、位置坐标等相关属性,比如,一般的PDF文档和方正公司制作的CEBX格式的数字文档。
在本发明中,图注识别方法包括以下步骤:
(1)读取待识别版面,分离该版面中的字符文本对象与图像对象,并将字符文本对象合并成文本块,将图像对象保留为图像块。其中,可根据文档布局结构分析方法和/或根据数字文档中的数据对象类型来分离字符文本对象与图像对象;
(2)从合并的文本块中识别出图注类型的文本块,即,图注文本块,比如,可根据以下中的至少一种来识别图注文本块:文本块内主要字体的字号、文本块与图像块的距离、文本块的字数、文本块是否符合图注的表现形式。
在从文本块中识别出图注文本块之后,通过优化方法对图像块和图注文本块进行最优匹配,从而获得相关联的图像块与图注文本块。
具体地讲,在一个实施例中,由于相互关联的图像块与图注文本块之间的距离通常接近(或者最接近),所以为了使所有的图像都找到相关联的图注(或者使所有的图注都找到相关联的图像),可以将与该图像相距足够近(或者最近)的图注作为与其相关联的图注。在这种情况下,可以利用优化方法使实现最优匹配的图像块和图注文本块之间的距离之和最小。
这里,可采用二分图最优匹配方法来实现最优匹配的图像块和图注文本块之间的距离之和最小,具体如下:
(1)构造带权二分图G={X,Y,E}
如图1所示,在该二分图中,将图像块集合与图注文本块集合分别作为二分图的X、Y两个子集合,分别表示为X={X1,X2,…Xi,…Xn}和Y={Y1,Y2,…Yj,…Ym},其中,n为版面内图像块的数目,i为图像块的编号,m为版面内图注文本块的数目,j为图注文本块的编号。E={eij}表示连接顶点集合X和Y的边集合,其中的元素eij表示图像块Xi与图注文本块Yj的边,其权值ωij为图像块Xi的外接矩形框的中心点与图注文本块Yj的外接矩形框的中心点之间的欧式距离。
(2)利用二分图最优匹配算法获得图像块与图注文本块的最优匹配
在具体实现时,可将图1所示二分图中的边eij的权值ωij取反,并利用KM(Kuhn-Munkras)最大权匹配算法进行最优完备匹配,从而获得具有最小权匹配结果的图像与图注文本块作为最优匹配的图像块与图注文本块。
当版面上的图像块与图注文本块的数目不是一一对应时,用虚拟节点将数目少的子集合补齐,即,使两个子集合的数目相等,并赋予一个大数作为虚拟边的权值。
在正确识别出图像与图注的关联关系之后,利用这些关联关系来改进阅读顺序的识别效果,具体如下:
(1)从版面的文本块中去掉图注文本块,可利用现有的阅读顺序方法来确定其余文本块和图像块的阅读顺序;
(2)在阅读顺序中将图注文本块插回到相匹配的图像块之后,从而得到完整的阅读顺序。
通过这种方法,既保证在排序过程中,逻辑关系紧密的图像与图注不会被其它文档对象拆分,又避免过早地合并图像与图注容易造成版面分块之间的交叠影响排序算法的执行的问题,从而很大程度上提高了阅读顺序识别的正确率。
这里,应该指出,根据本发明方法识别的图注不仅可用于识别图像与图注的关联关系,而且还可用于需要利用图注的任何其它应用,比如图像检索等;根据本发明方法识别的图像与图注的关联关系不仅可用于改进阅读顺序的识别效果,而且还可用于需要利用图像与图注的关联关系的任何其它应用,比如图像检索等;根据本发明方法改进的阅读顺序可用于版面内容重排和信息抽取等需要利用阅读顺序的任何应用。因此,可根据实际应用需要分别输出根据本发明识别的阅读顺序、图像块与图注文本块的关联关系、识别的图注文本块、按照识别的阅读顺序排列的文本块和图像块以供任何需要这些识别信息的应用使用。
为了实现以上方法,本发明提供一种版面信息识别装置。参照图2,该装置可包括读取单元1、图注识别单元2、匹配单元3、阅读顺序改进单元4和输出单元5,其中,读取单元1读取待识别版面,分离该版面中的字符文本对象与图像对象,并将字符文本对象合并成文本块,将图像对象保留为图像块;图注识别单元2从合并的文本块中识别出图注文本块;匹配单元3利用优化方法对图像块和图注文本块进行最优匹配,从而获得相关联的图像块与图注文本块;阅读顺序改进单元4从版面的文本块中去掉图注文本块,并确定其余文本块和图像块的阅读顺序,然后在阅读顺序中将图注文本块插回到相匹配的图像块之后;输出单元5根据实际应用需要可分别输出识别的阅读顺序、图像块与图注文本块的关联关系、识别的图注文本块、按照识别的阅读顺序排列的文本块和图像块以供需要利用这些识别信息的任何应用使用。这些单元的具体操作与上述方法中的相应步骤相同,因此,省略其详细描述。
以下,将通过具体的实施例来对本发明的具体实现进行详细描述。
(第一实施例)
在本实施例中,采用电子图书《21世纪计算机基础教程》(北京邮电大学出版社),该电子图书共有317页,待识别版面如图3所示,基于二分图最优匹配来识别图像与图注的关联关系。
参照图4,本实施例中的识别方法包括以下步骤:
步骤S1、读取页面和分离文本对象与图像对象
在本实施例中,页面分块情况如图3中的矩形框所示,其中存在四个图像块与五个文本块。
步骤S2、识别图注文本块
在本实施例中,通过设置置信度来确定当前文本块是否是图注文本块。参照图5,该步骤具体如下:
步骤S21、计算字号置信度Q1
Q1=当前文本块主要字体的字号/版面内所有字符文本的主要字体的字号
其中,关于主要字体的计算,采用现有技术统计一定范围内出现频率最高的字体作为主要字体。在本实施例中,图注文本块的主要字体的字号为9,页面内所有字符的主要字体的字号为10.56,置信度Q1=9/10.56=0.85。
步骤S22、计算距离图像置信度Q2
Q2=是否与图像块距离接近
在本实施例中,四个图注文本块分别与图像块位置接近,因而置信度Q均为1。
步骤S23、计算字数置信度Q3
Q3=当前文本块中的文字个数/版面文本块的平均文字个数
在本实施例中,四个图注文本块的文字个数分别为10,12,11,11,页面内文本块的平均文字个数为25,因此,置信度Q3分别为0.4,0.48,0.44和0.44。
步骤S24、计算表现形式置信度Q4
Q4=是否符合图注的正则表达式
在本实施例中,将正则表达式定义为:^(图[[:空格:]]*[[:数字:]]+([-.][[:数字:]]+|\\([[:数字:]]+\\))),即形如“图1-1”“图1.1”等常规形式,四个图注文本块均满足该形式,因而置信度Q4均为1。当然,应该理解,上述正则表达式仅仅是表示当前文本块是否符合图注的表现形式的示例性实现,任何可表达当前文本块是否符合图注的表现形式均应包括在本发明的保护范围内。
步骤S25、加权计算总体置信度R
R=(u×Q1+v×Q2+w×Q3+x×Q4)/(u+v+w+x)
其中,u,v,w,x表示加权系数,均为自然数,在本实施例中取u=3,v=2,w=1,x=1,经计算四个图注文本块的总体置信度分别为0.85,0.86,0.85和0.85。
步骤S26、判断总体置信度R是否超过阈值r,如果R≥r,则在步骤S27中判断当前文本块为图注文本块,如果R<r,则在步骤S28中判断当前文本块不是图注文本块。在本实施例中,取阈值r为0.7,即当总体置信度超过0.7时,即判断当前文本块为图注文本块,因此,图3中四个图注文本块均能被正确识别。
步骤S3、构造图像块和图注文本块的二分图并计算权值
在本实施例中,构造如图6a所示的带权二分图G={X,Y,E},即,将图3中的图像块集合与图注文本块集合分别作为二分图的X,Y两个子集合,即,X={X1,X2,X3,X4},Y={Y1,Y2,Y3,Y4},并且以图像块外接矩形框的中心点和图注文本块外接矩形框的中心点的欧式距离作为边集合E中的边eij的权值ωij。因此,在本实施例中,需要分别计算ω11、ω12、ω13、ω14、ω21、ω22、ω23、ω24、ω31、ω32、ω33、ω34、ω41、ω42、ω43、ω44,并且由于图像数目和图注数目一一对应,所以无需补齐节点。
步骤S4、利用KM算法寻找图像块与图注文本块之间的关联关系
在本实施例中,优化的目标为使匹配结果中所有匹配对的边的权值之和尽可能小,因此,需要计算二分图的最小权匹配。实际实现中,对所有边的权值实施取反操作,并应用KM最大权匹配算法计算出最大权匹配结果,该结果即为图像与图注的最小权匹配结果。
参照图7,KM算法具体实现如下:
a)给出初始标号
其中,在本实施例中,n和m均为4;
b)求出边集El={(xi,yj)|l(xi)+l(yj)=ωij}、Gl=(X,Y,El)及Gl中的一个匹配M;
c)判断M是否已饱和X的所有节点,如果M已饱和X的所有结点,则进行第d步,否则进行第e步;
d)判断M为G的最优匹配,并结束计算;
e)在X中找一M非饱和点x0,令A←{x0},B←φ,A,B是两个集合;
f)判断NGl(A)是否等于B,如果NGl(A)=B,则转第k步,否则进行第g步,其中,是与A中节点邻接的节点集合;
g)找一结点y∈NGl(A)-B;
h)判断y是否是M饱和点,如果y是M饱和点,则进行第i步,否则进行第j步;
i)找出y的配对点z,令A←A∪{z},B←B∪{y},转第f步;
j)存在一条从x0到y的可增广路P,令M←M⊕E(P),转第c步;
k)按下式计算a值:
修改标号:
l)根据l′求El′及Gl′;
m)令l←l′,Gl←Gl′,转第g步。
通过以上KM算法即可得到图像与图注的关联关系,即,对每个图像块Xi找到匹配的图注文本块Yj。在本实施例中,如图6a所示,四个图像和四个图注可以构成完备二分图,匹配结果如图6b中连线所示。如果利用现有的距离靠近原则判断方法,仅靠单个图像和图注的距离和样式,容易混淆关联关系,例如图像块3和图像块4均与图注文本块3距离相近,无法正确判断图像与图注的关联关系。而通过本发明,则可找到全局最优关联关系,即,可将图像块3与图注文本块3关联,将图像块4与图注文本块4关联。
步骤S5、输出版面中全部的相匹配的图像块与图注文本块,并用于改进版面阅读顺序的识别效果
具体实现如下:
a)在保留图像与图注的关联关系的前提下,从版面的文本块中去掉图注文本块;
b)对步骤a保留下来的全部其它的版面分块,采用现有方法进行阅读顺序识别;
c)识别出阅读顺序以后,将图注文本块插回到阅读顺序中相匹配的图像块之后,得到完整阅读顺序。
图8显示了利用现有的基于XY树页面分块的阅读顺序识别方法(例如可参见“Optimized XY-cut for Determining a Page ReadingOrder”,Proceedings of the Eighth International Conference onDocument Analysis and Recognition,2005)对图3所示页面进行阅读顺序排序的效果图,图9显示了利用本发明方法对图3所示页面进行阅读顺序排序的效果图,其中,折线表示阅读顺序。从这两幅图可看出,在图8中,图像块1和其图注文本块1以及图像块2与其图注文本块2被拆分开,因此,这部分的排序不够合理;而在图9中,逻辑关系紧密的图像块1和其图注文本块1以及图像块2与其图注文本块2没有被拆分开,而是按照“图像块1→图注文本块1→图像块2→图注文本块2”的顺序被阅读,因此,提高了阅读顺序识别的正确率,改进效果明显。
(第二实施例)
在本实施例中,以电子图书《21世纪计算机基础教程》第165页为例来说明本发明对图像块数目和图注文本块数目不相等情况的处理。一般情况下,当图像块数目和图注文本块数目不相等时,图像块的数目会多于图注文本块的数目。
如图10所示,在该页面中,最后一个文字块中存在一个随文图像块5,而图像块5和图像块3到图注文本块3的距离都很相近。如果仅靠单个图像与图注的距离和样式,容易混淆关联关系。而在本实施例中,在二分图中用虚拟节点补齐图注文本块集合Y,并赋予一个大数(比如,9999)作为虚拟边的权值,其余实现方法与第一实施例相同。通过这种方法,可正确地识别出匹配关系,即,图像块1至图像块4与图注文本块1至图注文本块4分别对应匹配,而图像块5孤立无匹配图注。
同样,将匹配结果应用于改进版面阅读顺序,得到的排序结果如图10中的折线所示,符合人的阅读习惯。
以上已参照附图和实施例对本发明进行了详细描述,但是,应该理解,本发明并不限于以上所公开的具体实施例,任何本领域的技术人员在此基础之上容易想到的修改和变型都应包括在本发明的保护范围内。