CN105550363B - 基于xgml的图像半结构化表示方法 - Google Patents

Abstract

本发明公开了一种基于XGML的图像半结构化表示方法，包括：确定待半结构化表示的图像；提取语义数据并存入semantic_rule，标注出内容数据并存入content_rule；对图像进行区域分裂与合并，对得到的各处理后区域分解出边缘信息和颜色特征；处理边缘信息，得到边缘点集合；对边缘点集合提取出边缘特征点；对各处理后区域的边缘特征点拟合，得到线性特征、关键要素；基于基本图形与复杂图形的判断，将各线性特征、关键要素和颜色特征存入basic_graphic或complex_graphic。本发明可将非结构化的光栅图像转换为可支持图形数据与文字信息分离存储的半结构化文档，有效克服了现有图像表示不清晰、存储空间过大、检索不便等缺点。

Description

基于XGML的图像半结构化表示方法

技术领域

本发明涉及一种基于XGML的图像半结构化表示方法，属于数字图像处理中的图像分析领域。

背景技术

随着计算机应用技术的高速发展，网络上出现了大量的数字图像，而在Web页面中，图像的常用格式主要有.JPG、.GIF、.PNG等。这些格式的图像以非结构化数据(无规律、语义不明确)的形式存在，因此其生成的图形在不同分辨率的屏幕上的显示效果不同。此外，由于这些格式的图像不支持图形数据与文字信息的分离存储，存储空间过大，也给搜索引擎检索Web信息带来了一定的难度。因此，基于Web的图形图像的表示、存储与应用，一直是人们研究的热点之一。

目前，对于图像的半结构化存储主要是依靠二维矢量图形SVG。使用SVG可以在不同分辨率的网页上显示出各种各样高质量的矢量图形，其支持几何、动画、渐变色、滤镜等多种功能。但是SVG本身也有其固有的缺点，例如它不是一种流媒体的图形图像格式，存在图像表示不清晰的缺点，模块设计功能差，提供的指令集有限等。

由此可见，设计出一种可解决图像表示不清晰、存储空间过大、检索不便等缺点的图像表示技术方案，是目前急需解决的问题。

发明内容

本发明的目的在于提供一种基于XGML的图像半结构化表示方法，其可将非结构化的光栅图像转换为可支持图形数据与文字信息分离存储的半结构化文档，有效克服了现有图像表示不清晰、存储空间过大、检索不便等缺点。

为了实现上述目的，本发明采用了以下技术方案：

一种基于XGML的图像半结构化表示方法，其特征在于，它包括步骤：

定义XGML指令模型为{metadata_descriptor，element_descriptor}，其中：

metadata_descriptor为图元数据描述指令集，metadata_descriptor分为两个集合，一个集合为图像语义规则集合semantic_rule，来源于图像的标签和邻域关系，用于描述图像的语义数据，另一个集合为图像内容规则集合content_rule，来源于图像的上下文和视觉特征，用于描述图像的内容数据；element_descriptor为图元素描述指令集，element_descriptor分为两个对象，一个对象为基本图形对象basic_graphic，另一个对象为不能使用基本图形对象表达的较复杂形状的复杂图形对象complex_graphic；

1)确定待半结构化表示的图像；

2)通过计算机自动提取出图像中的语义数据，将语义数据储存入semantic_rule，并且基于用户的视觉感知和主观识别，人工标注出图像中的内容数据，将内容数据储存入content_rule；

3)依据区域一致性条件，对图像进行区域分裂与合并，形成若干处理后区域，然后各处理后区域分别分解出边缘信息和颜色特征；

4)处理各处理后区域的边缘信息，各处理后区域分别得到边缘点集合；

5)对各处理后区域的边缘点集合分别提取边缘特征点来形成边缘特征点集合；

6)对各处理后区域的边缘特征点集合进行拟合处理，得到代表处理后区域所拥有边缘的线性特征、关键要素，其中：线性特征、关键要素由相应二维坐标表示；

7)根据各处理后区域的线性特征、颜色特征，判断各处理后区域属于基本图形还是复杂图形，然后将属于基本图形的处理后区域的线性特征、关键要素和颜色特征储存入basic_graphic，将属于复杂图形的处理后区域的线性特征、关键要素和颜色特征储存入complex_graphic；

8)图像以XGML指令模型的形式，被表示成半结构化文档。

在实际设计时，所述步骤3)中对所述图像进行区域分裂与合并的具体步骤为：

a1)计算所述图像的当前区域的灰度均值，其中：首次执行步骤a1)时，当前区域为所述图像的整个区域；

a2)判断当前区域中各像素点的像素值与当前区域的灰度均值之差的绝对值的最大值是否小于设定阈值：若是，则不再对当前区域进行分裂，反之，将当前区域分裂成四个相邻的区域；

a3)新分裂出的各区域分别重复执行步骤a1)-a2)，直至不存在新分裂出的区域；

a4)判断相邻区域的灰度均值之差的绝对值是否小于设定差阈值：若是，则相邻区域合并为一个区域，反之，相邻区域不合并；

a5)执行完步骤a4)后呈现的各区域为所述处理后区域。

在实际设计时，所述步骤5)中所述边缘特征点的提取步骤包括：

假设当前边缘点为i，a_i为从边缘点i-1到边缘点i的角度，a_i+1为从边缘点i到边缘点i+1的角度，d_i为a_i到a_i+1的变化曲率；

b0)确定待判断的当前边缘点i；

b1)判断|a_i-1-a_i|是否小于4：若是，则d_i＝|a_i+1-a_i|并进入b4)，反之进入b2)；

b2)判断|a_i+1-a_i|是否大于4：若是，则d_i＝|a_i+1-a_i|-8并进入b4)，反之进入b3)；

b3)令d_i＝4并进入b4)；

b4)判断|d_i|是否等于0：若是，则表示当前边缘点i不是边缘特征点，反之进入b5)；

b5)判断|d_i|是否大于2：若是，则表示当前边缘点i是边缘特征点，记录当前边缘点i的坐标，反之进入b6)；

b6)判断|d_i|是否等于1或2：若是，则表示当前边缘点i可能是边缘特征点，记录当前边缘点i的坐标，反之结束。

在实际设计时，所述步骤6)中对所述处理后区域的边缘特征点集合进行拟合处理包括步骤：

c1)对所述处理后区域的整个边缘进行如下判断：

若所述处理后区域的某个边缘部分中的相邻边缘特征点之间的斜率都为一个相同的常数，那么此边缘部分拟合为一个直线作为线性特征；

若所述处理后区域的某个边缘部分中的相邻边缘特征点之间的斜率各不相同，那么此边缘部分拟合为一个曲线作为线性特征；

c2)整理构成所述处理后区域的边缘的各个边缘部分的线性特征。

本发明的优点是：

本发明基于超图形文本标记语言XGML，提出了图像半结构化的概念，可将现有图像，特别是光栅图像存储为使用XGML指令模型表示的半结构化文档，实现了图形数据与文字信息的分离存储，提高了图像表示的清晰度，极大减小了图像的存储空间，提高了图像的检索速度与效率。

附图说明

图1是本发明的实施流程图。

图2是说明本发明中的图元数据描述指令集内容的一个图像示意图。

图3是说明本发明中的图元素描述指令集内容的一个图像示意图。

具体实施方式

本发明基于XGML(超图形文本标记语言)实现。XGML是一种借鉴XML和SVG语法，可将图像存储为具有一定格式和结构的文本指令集合(半结构化体系)，其是一种适合图像半结构化的简洁高效的超图形文本标记语言。

现阶段，Web中出现大量各式各样的图像类型，例如纹理图像、平滑图像、光栅化矢量图像等。本发明适用于可进行半结构化表示的各种图像，例如光栅化矢量图像。光栅化矢量图像原本为矢量图，被人为处理后转换为二进制的光栅图像，在本发明中，光栅化矢量图像被简称为光栅图像。

如图1所示，本发明基于XGML的图像半结构化表示方法包括步骤：

定义XGML指令模型为{metadata_descriptor，element_descriptor}，其中：

metadata_descriptor为图元数据描述指令集，图元数据描述指令集metadata_descriptor又分为两个集合：一个集合为图像语义规则集合semantic_rule，其来源于图像的标签和邻域关系，用于描述图像的语义数据，例如图像的外观、位置、颜色、纹理、形状等信息；另一个集合为图像内容规则集合content_rule，其来源于图像的上下文和视觉特征，用于描述图像的内容数据，例如图像的场景、视觉、主体、客体、事件等信息。

element_descriptor为图元素描述指令集，图元素描述指令集element_descriptor又分为用于储存图像各处理后区域的线性特征、关键要素和颜色特征的两个对象：一个对象为基本图形对象basic_graphic，类似于SVG中的基本形状，在本发明中，需要事先对基本图形做出定义，即具有何种线性特征和/或颜色特征的区域属于基本图形；另一个对象为不能使用基本图形对象表达的较复杂形状的复杂图形对象complex_graphic。

在本发明中，储存在metadata_descriptor中的内容为文字信息，储存在element_descriptor中内容的为图形数据。

1)确定待半结构化表示的图像。

2)通过计算机自动提取出图像中的语义数据(计算机自动提取过程为本领域的已有技术)，将语义数据以规则表示形式储存入semantic_rule，并且基于用户的视觉感知和主观识别，人工标注出图像中的内容数据，将内容数据以规则表示形式储存入content_rule。

3)依据区域一致性条件，对图像进行区域分裂与合并，形成若干处理后区域，然后，各处理后区域分别分解出各自的边缘信息和颜色特征。在实际实施时，边缘信息可使用Canny算法得到，颜色特征以RGB数值表示。在本发明中，对图像区域的边缘信息和颜色特征的获取为本领域技术人员所掌握的熟知技术。

4)处理各处理后区域的边缘信息，各处理后区域分别得到边缘点集合。在本发明中，处理区域的边缘信息来获取边缘点是本领域技术人员所掌握的熟知技术。

5)由于处理后区域的边缘信息中存在着大量不需要的像素点，所占存储空间大，因此需要对各处理后区域的边缘点集合分别提取边缘特征点来形成边缘特征点集合，即通过提取边缘特征点来减少边缘信息的存储空间。

6)在本发明中，为了增加图像的清晰度，再对各处理后区域的边缘特征点集合进行拟合处理，得到代表处理后区域所拥有边缘的线性特征、关键要素，其中：线性特征、关键要素由相应二维坐标表示。

在实际实施中，线性特征、关键要素被事先设定，线性特征分为直线、曲线(弧度线)，关键要素可设为圆心、半径、斜率、曲率等。

例如当区域的整个边缘为圆时，线性特征为可构出圆形边缘的四个或八个均匀分布的点等，关键要素可为圆心、半径。又例如当区域的整个边缘为正方形时，没有关键要素，仅使用正方形四个边所在直线的两端点坐标来表示出线性特征。又例如，对于呈曲线的某一段边缘，其线性特征为可构出曲线边缘的若干点，关键要素可为相邻两点间斜率。

当然，在实际实施时，线性特征、关键要素的表示方法并不局限于上述，其还可有其它多种形式，但以能重构出区域的边缘和颜色为准。

7)根据各处理后区域的线性特征、颜色特征，判断各处理后区域属于基本图形还是复杂图形，然后将属于基本图形的处理后区域的线性特征、关键要素和颜色特征储存入basic_graphic，将属于复杂图形的处理后区域的线性特征、关键要素和颜色特征储存入complex_graphic。

8)于是图像以XGML指令模型的形式，被表示成半结构化文档存储，即图像实现了半结构化的表示。

在实际设计中，步骤3)中对图像进行区域分裂与合并的具体步骤可包括：

假设A为一个图像空间，I为待半结构化表示的图像(如一幅二进制的光栅图像)，I∈A，R为图像的整个区域。

a1)计算图像的当前区域的灰度均值，其中：首次执行步骤a1)时，当前区域为图像的整个区域。

a2)判断当前区域中各像素点的像素值与当前区域的灰度均值之差的绝对值的最大值是否小于设定阈值：若是，则不再对当前区域进行分裂，反之，将当前区域分裂成四个相邻的区域(例如均分成四个区域)。

a3)新分裂出的各区域分别作为当前区域重复执行步骤a1)-a2)，直至不存在新分裂出的区域，即分裂结束。

a4)判断相邻区域的灰度均值之差的绝对值是否小于设定差阈值：若是，则相邻区域合并为一个区域，反之，相邻区域不合并。

a5)执行完步骤a4)后呈现的各区域即为处理后区域。

在实际设计时，步骤5)中边缘特征点的提取步骤可包括：

假设当前边缘点为i(i为大于1的正整数)，a_i为从边缘点i-1到边缘点i的角度，a_i+1为从边缘点i到边缘点i+1的角度，d_i为a_i到a_i+1的变化曲率。

在二维空间中，将角度360度均分成8等分，即8个角度区，此8个角度区分别用1、2、……、7、8这8个正整数表示，从而用来判断两个边缘点所构成的直线形成的角度处于哪个角度区。也就是说，a_i∈{1，2，3，4，5，6，7，8}。

b0)确定待判断的当前边缘点i；

b1)判断|a_i+1-a_i|是否小于4：若是，则d_i＝|a_i+1-a_i|并进入b4)；反之进入b2)：

b2)判断|a_i+1-a_i|是否大于4：若是，则d_i＝|_ai+1-a_i|-8并进入b4)；反之进入b3)；

b3)令d_i＝4，即此时|a_i+1-a_i|＝4并进入b4)；

b4)经过上述步骤b1)、b2)、b3)的判断与计算后，可看到d_i∈{0，±1，±2，±3，4}，故而继续做出如下判断：判断|d_i|是否等于0：若是，则表示当前边缘点i不是边缘特征点，结束；反之进入b5)；

b5)判断|d_i|是否大于2：若是，则表示当前边缘点i是边缘特征点，记录当前边缘点i的坐标，结束；反之进入b6)；

b6)判断|d_i|是否等于1或2：若是，则表示当前边缘点i可能是边缘特征点，记录当前边缘点i的坐标，结束；反之计算出错，结束。

在实际设计时，步骤6)中对处理后区域的边缘特征点集合进行拟合处理包括步骤：

c1)对处理后区域的整个边缘进行如下判断：

若处理后区域的某个边缘部分中的相邻边缘特征点之间的斜率都为一个相同的常数，那么此边缘部分拟合为一个直线作为线性特征；

若处理后区域的某个边缘部分中的相邻边缘特征点之间的斜率各不相同，那么此边缘部分拟合为一个曲线(弧度线)作为线性特征；

c2)整理构成处理后区域的边缘的各个边缘部分的线性特征。

举例1：

对图2所示的光栅图像实施本发明方法，其中XGML指令模型中的metadata_descriptor中的两个semantic_rule、content_rule集合最终可分别表示为：

semantic_rule＝{468(高度)、638(宽度)、学习男孩(标题)、尖锐的(形状)、方形(形状)、圆形(形状)、绿色(颜色)、橘色(颜色)、……}；

content_rule＝{男孩(主体)、黑板(客体)、笔(客体)、裤子(客体)、键盘(客体)、纸(客体)、黑板擦(客体)、握着(事件)、写(事件)、敲(事件)、触碰(事件)、……}。

图2中标注出了主体、客体。

举例2：

对图3所示的光栅图像实施本发明方法，在这里仅给出对图3中示出的7个区域针对XGML指令模型中的element_descriptor所得到的半结构化表示结果，其中：区域1、2、6的线性特征和颜色特征储存入complex_graphic，区域3、4、5、7的线性特征和颜色特征储存入basic_graphic，由于区域1-7都不具有曲线，因此都没有关键要素。下面分别列出区域1-7的半结构化表示：

区域1：“385 176，392 181，308 190，325 189，438 203，423 217，437 226，417226，437 229，422 271，346 287，333 271”(线性特征)

“25，34，77”(颜色特征)

区域2：“356 311，368 325，355 334，432 469，447 409，452 427，463 415，475407，453 361，430 340”(线性特征)

“79，90，94”(颜色特征)

区域3：“537 22，555 8，566 8，566 22”(线性特征)

“255，227，99”(颜色特征)

区域4：“566 444，589 432，627 482，625 504，591 462”(线性特征)

“77，93，109”(颜色特征)

区域5：“196 310，212 315，357 302，249 287”(线性特征)

“250，222，65”(颜色特征)

区域6：“295 242，204 242，333 271，337 282，355 334，340 363，333 341，317326，303 287，302 256”(线性特征)

“76，91，98”(颜色特征)

区域7：“120 195，138 195，143 209，143 219，137 226”(线性特征)

“250，222，65”(颜色特征)

本发明的优点是：

本发明基于超图形文本标记语言XGML，提出了图像半结构化的概念，可将现有图像，特别是光栅图像存储为使用XGML指令模型表示的半结构化文档，实现了图形数据与文字信息的分离存储，提高了图像表示的清晰度，极大减小了图像的存储空间，提高了图像的检索速度与效率。

以上所述是本发明较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。

Claims (3)

1.一种基于XGML的图像半结构化表示方法，其特征在于，它包括步骤：

定义XGML指令模型为{metadata_descriptor，element_descriptor}，其中：

metadata_descriptor为图元数据描述指令集，metadata_descriptor分为两个集合，一个集合为图像语义规则集合semantic_rule，来源于图像的标签和邻域关系，用于描述图像的语义数据，另一个集合为图像内容规则集合content_rule，来源于图像的上下文和视觉特征，用于描述图像的内容数据；element_descriptor为图元素描述指令集，element_descriptor分为两个对象，一个对象为基本图形对象basic_graphic，另一个对象为不能使用基本图形对象表达的较复杂形状的复杂图形对象complex_graphic；

1)确定待半结构化表示的图像；

2)通过计算机自动提取出图像中的语义数据，将语义数据储存入semantic_rule，并且基于用户的视觉感知和主观识别，人工标注出图像中的内容数据，将内容数据储存入content_rule；

3)依据区域一致性条件，对图像进行区域分裂与合并，形成若干处理后区域，然后各处理后区域分别分解出边缘信息和颜色特征；

4)处理各处理后区域的边缘信息，各处理后区域分别得到边缘点集合；

5)对各处理后区域的边缘点集合分别提取边缘特征点来形成边缘特征点集合；

6)对各处理后区域的边缘特征点集合进行拟合处理，得到代表处理后区域所拥有边缘的线性特征、关键要素，其中：线性特征、关键要素由相应二维坐标表示；

7)根据各处理后区域的线性特征、颜色特征，判断各处理后区域属于基本图形还是复杂图形，然后将属于基本图形的处理后区域的线性特征、关键要素和颜色特征储存入basic_graphic，将属于复杂图形的处理后区域的线性特征、关键要素和颜色特征储存入complex_graphic；

8)图像以XGML指令模型的形式，被表示成半结构化文档；

其中：

所述步骤3)中对所述图像进行区域分裂与合并的具体步骤为：

a1)计算所述图像的当前区域的灰度均值，其中：首次执行步骤a1)时，当前区域为所述图像的整个区域；

a2)判断当前区域中各像素点的像素值与当前区域的灰度均值之差的绝对值的最大值是否小于设定阈值：若是，则不再对当前区域进行分裂，反之，将当前区域分裂成四个相邻的区域；

a3)新分裂出的各区域分别重复执行步骤a1)-a2)，直至不存在新分裂出的区域；

a4)判断相邻区域的灰度均值之差的绝对值是否小于设定差阈值：若是，则相邻区域合并为一个区域，反之，相邻区域不合并；

a5)执行完步骤a4)后呈现的各区域为所述处理后区域；

所述步骤6)中对所述处理后区域的边缘特征点集合进行拟合处理包括步骤：

c1)对所述处理后区域的整个边缘进行如下判断：

若所述处理后区域的某个边缘部分中的相邻边缘特征点之间的斜率都为一个相同的常数，那么此边缘部分拟合为一个直线作为线性特征；

若所述处理后区域的某个边缘部分中的相邻边缘特征点之间的斜率各不相同，那么此边缘部分拟合为一个曲线作为线性特征；

c2)整理构成所述处理后区域的边缘的各个边缘部分的线性特征。

2.如权利要求1所述的基于XGML的图像半结构化表示方法，其特征在于：

所述步骤5)中所述边缘特征点的提取步骤包括：

假设当前边缘点为i，a_i为从边缘点i-1到边缘点i的角度，a_i+1为从边缘点i到边缘点i+1的角度，d_i为a_i到a_i+1的变化曲率；

b0)确定待判断的当前边缘点i；

b1)判断|a_i+1-a_i|是否小于4：若是，则d_i＝|a_i+1-a_i|并进入b4)，反之进入b2)；

b2)判断|a_i+1-a_i|是否大于4：若是，则d_i＝|a_i+1-a_i|-8并进入b4)，反之进入b3)；

b3)令d_i＝4并进入b4)；

b4)判断|d_i|是否等于0：若是，则表示当前边缘点i不是边缘特征点，反之进入b5)；

b5)判断|d_i|是否大于2：若是，则表示当前边缘点i是边缘特征点，记录当前边缘点i的坐标，反之进入b6)；

b6)判断|d_i|是否等于1或2：若是，则表示当前边缘点i可能是边缘特征点，记录当前边缘点i的坐标，反之结束。

3.如权利要求1或2所述的基于XGML的图像半结构化表示方法，其特征在于：

所述图像为光栅图像。