CN104112007A

CN104112007A - 一种影像层次分割结果的数据存储、组织及检索方法

Info

Publication number: CN104112007A
Application number: CN201410339272.4A
Authority: CN
Inventors: 胡忠文; 巫兆聪; 李清泉
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2014-07-16
Filing date: 2014-07-16
Publication date: 2014-10-22
Anticipated expiration: 2034-07-16
Also published as: CN104112007B

Abstract

本发明涉及影像层次分割结果的数据存储、组织及检索方法，数据存储方法包括：首先压缩存储初始分割结果，包括分割结果对应图像宽度、高度、区域个数以及压缩后区域分割结果；其次存储多尺度区域合并顺序及合并尺度标记。基于存储的组织方法，利用区域合并过程信息，逐次生成二叉树结构，并逐次连接已有二叉树，最终获取完整层次结构。基于组织的检索方法，首先对层次结构进行尺度索引；然后遍历层次结构，判断节点尺度索引中是否包含给定尺度参数，建立区域标号映射表；最后读取初始分割结果，依照最新映射表修改区域标号，处理之后输出。以非常少存储空间完整记录层次区域合并过程，能够快速建立区域层次关系，快速检索任意尺度下区域合并结果。

Description

一种影像层次分割结果的数据存储、组织及检索方法

技术领域

本发明属于计算机视觉、模式识别和遥感图像处理领域，尤其涉及一种影像层次分割结果的数据存储、组织以及分割结果的检索方法。

背景技术

近年来，随着基于区域的图像分析方法在各个领域中深入应用，影像分割技术在各类应用中扮演着越来越重要的角色。图像中内容的丰富多样，尺度不一，具有特定的层次结构关系，因而多尺度层次分割技术受到越来越多的重视。多尺度层次分割以区域合并方法为基础，通过逐次的区域合并，实现多尺度、层次化的影像分割结果输出。由于其输出的结果能够反映多尺度、层次化图像内容的优点，该方法在自然影像、视频影像和遥感影像处理中受到越来越多的重视，是这些领域的研究热点之一。

由于影像层次分割往往是作为其他应用的基础条件，一般情况下仅能利用影像本身的信息，因而如何确定分割的尺度、层次等一直未能较好的解决。在实际应用中，一般采用的方式为根据用户的需求，设定一个或多个尺度参数，输出给定尺度下的分割结果，存储为栅格形式的标记图像，或者矢量化之后存储为矢量文件。在后期，再从这多个分割结果中选择最佳的结果用于后续分析。这种作业方式存在其固有的缺陷：一方面，在存储大量分割结果时，对存储空间需求大，并且在许多结果中有些区域是完全一致的，造成数据冗余；另一方面，这种存储方法忽略了影像分割的许多细节信息和区域间的层次关系，无法检索任意尺度下的分割结果，尺度转换困难，不利于后续的影像分析。

发明内容

本发明提供一种影像层次分割结果的数据生成存储、组织及检索方法，一方面完全记录多尺度层次区域合并的细节信息和区域的层次关系，消除冗余，减少对存储空间的需求；另一方面通过快速检索获取任意尺度下层次分割的结果；旨在解决传统的多尺度层次分割在数据存储方面信息缺失、占用空间大、数据检索困难的问题。

本发明是这样实现的，一种影像层次分割结果的数据生成存储方法，所述数据生成存储方法包括以下步骤：

步骤A、对图像进行初始分割获取区域标记图像并存储初始分割结果；

步骤B、初始化区域属性和区域邻接关系图；

步骤C、搜寻区域邻接关系图中合并代价最小的区域对进行合并生成新的区域，并存储合并节点信息；

步骤D、更新当前的区域邻接关系图；

步骤E，判断邻接关系图中是否还有进行合并的区域对，若有则执行步骤C、D，若无则结束区域合并。

通过存储初始分割和区域合并过程的方式，避免了存储大量分割结果时产生的数据冗余；且在存储初始分割结果时，采用游程压缩编码的方式进行存储，以减少数据量；在存储区域合并过程信息时，同时存储了累积合并代价值，此代价值是后续进行区域层次关系组织和数据索引的关键。

本发明的进一步技术方案是：所述步骤A包括以下步骤：

步骤A1、对输入图像进行标记分水岭分割，并获得int型的栅格区域标记结果；

步骤A2、将初始分割的标记图像进行压缩和存储。

本发明的进一步技术方案是：所述步骤B包括以下步骤：

步骤B1、逐像素扫描原始影像和初始分割标记图像，统计初始分割中各区域的属性；

步骤B2、逐像素扫描初始分割标记图像，建立区域的临界关系图。

本发明的进一步技术方案是：所述步骤C包括以下步骤：

步骤C1、在邻接关系图中搜寻权重最小的边，并存储对应信息；

步骤C2、合并搜寻到的边所连接的两个节点生成新节点，计算新节点的属性值；

步骤C3删除邻接关系图中搜寻到的边，建立新生成节点在邻接关系图中的联系。

本发明的进一步技术方案是：在对图像初始分割结果进行存储时，运行压缩编码的方式降低对内存或磁盘空间的占用。

本发明的进一步技术方案是：每一次迭代的区域合并中均产生一个合并信息的节点，该节点以累积合并代价作为尺度标记，并对产生的信息均进行存储，以记录完整的区域合并过程。

本发明的另一目的在于提供一种影像层次分割结果的组织方法，所述数据组织方法基于权利要求1-6任一项所述的数据存储方法中所存储的数据基础上实现，其特征在于，所述数据组织方法包括以下步骤：

步骤1、从存储的区域合并节点列表中读取一个节点，将此节点组织为一个二叉树单元；

步骤2、将合并节点信息赋予节点尺度标记，判断二叉树子节点是否表示初始分割的区域；若是，则将其尺度标记为0；若不是，则执行步骤3；

步骤3、判断已有的二叉树中是否有根节点与新生成的二叉树子节点的标号相同；若有，则将该根节点与对应的新生成的二叉树子节点合并；若没有，则新生成的二叉树暂时单独成为一颗独立的树存在并执行步骤4；

步骤4、判断存储区域内是否还有可处理的节点；若有，则重复步骤1-3，直至处理完所有的节点；若没有，则所有节点处理结束。

通过以上步骤，能够建立起完整的区域间的层次结构，最终以一颗二叉树的形式进行组织。在二叉树中，叶子节点表示初始分割所获得的区域，非叶子节点表示由区域合并所获得的新的区域。

本发明的进一步技术方案是：在合并节点信息过程中采用累积合并代价值作为制度标记；采用累积合并代价值作为尺度标记保证了层次关系中父区域的尺度标记大于子区域的尺度标记。

本发明的另一目的在于提供一种影像层次分割结果的检索方法，所述数据检索方法是基于所述权利要求7或8所述的数据组织方法构建的层次结构基础上实现的，所述数据检索方法包括以下步骤：

步骤一、利用树节点对应的累积合并代价值将层次树中的所有节点构建尺度索引；

步骤二、给定任意尺度参数，从根节点开始对层次树进行中序遍历，判断根节点的尺度索引范围内是否包含该给定的尺度参数；若包含，则将该节点标记为1；若不包含，则标记为0；

步骤三、建立区域的映射关系表；

步骤四、层次结构遍历完成后对区域映射关系表进行整理，使其中的标号从0开始且连续；

步骤五、遍历初始分割的标记图像，根据每个像素点的值，在映射关系表中寻找其对应的值，并将该像素的区域标号值修改为映射后的值；

步骤六、输出经过映射关系表处理后的区域标记图像，作为给定尺度下层次分割结果。

本发明的进一步技术方案是：在尺度索引中索引方式为[λ⁺，λ^-]，其中+表示区域出现，-表示区域消失，λ⁺表示节点生成时的尺度索引，即构建层次结构中赋予节点的尺度标记；λ^-表示节点消失时的尺度索引，即该节点父节点的尺度标记。

本发明的有益效果是：利用了少量的存储空间，存储了多尺度层次分割过程所有的信息，首先将影像多尺度层次分割的初始状态和中间过程予以存储，避免以栅格或矢量形式大量存储分割结果是需要大量存储空间，信息丢失的缺陷；进一步的，在本发明给定的存储方案下，提供了进行区域层次关系构建方法；再进一步的，利用了累积合并代价对初始分割的区域以及合并形成的新区域进行尺度索引，提供了再层次结构中检索任意尺度下分割结果的方法，从而能够快速得到任意尺度层次分割的结果。

附图说明

图1是本发明实施例提供的影像层次分割结果的数据生成存储方法的流程图；

图2是本发明实施例提供的存储格式示意图；

图3是本发明实施例提供的影像层次分割结果的组织方法的流程图；

图4是本发明实施例提供的存储格式与区域的层次关系构建的示意图；

图5是本发明实施例提供的影像层次分割结果的检索方法的流程图；

图6是本发明实施例提供的给定尺度下层次分割结果检索的原理图。

具体实施方式

图1、图2示出了本发明提供的影像层次分割结果的数据生成存储方法的流程图，其详述如下：

步骤S1中，对输入图像进行标记分水岭分割，并获得int型的栅格区域标记结果；初始分割的目的是为了获取最小尺度的分割结果。为了提高初始分割的质量，可以对影像进行预处理。本实施例中提供了采用了标记分水岭分割算法，其他实施例中，可以根据需求采用其他类似方法进行等效替代，如均值漂移方法，区域增长方法等。

步骤S2中，将初始分割的标记图像进行压缩和存储，在本步骤中采用游程压缩编码的方式进行存储，首先存储文件类型标记码为“RLE”，表示游程压缩编码的格式，然后存储图像的宽度、高度和分割结果中包含的对象个数；紧接着，从第一行开始，逐行扫描分割结果，将其转化为游程码，统计该行中游程码个数，然后存储游程码个数和该行的游程码；以此循环，直至处理完最后一行。

游程编码是因为分割结果中每一行均存在大量连续的区域标记，这一方式可以降低存储分割结果所需的内存或者硬盘空间。

步骤S3中，逐像素扫描原始影像和初始分割标记图像，统计初始分割中各区域的属性。区域的属性大致可以分为光谱特征、纹理特征、形状特征、统计特征等，在具体实施时所获取区域的属性及具体表现形式需视区域合并代价准则而定。

步骤S4中，逐像素扫描初始分割标记图像，建立区域的邻接关系图(Region Adjacency Graph，RAG)，邻接关系图的节点表示区域，边表示所连接的两个区域相邻，边的权重表示区域合并的代价值。其中，在本实施例中边的权重计算方法如下：其中以C_i，j表示连接节点i和j的边的权重，N_i和N_j表示i和j的面积，μ_i和μ_j表示颜色均值。具体实施时，可以根据具体需求设计不同的计算方法。

步骤S5中，在邻接关系图中搜寻权重最小的边，并存储对应信息；在步骤中采用软件自动搜寻的方式实现。搜索到的边其连接的两个节点即为本次将要合并的两个节点，确定两个节点合并后新节点的编号，将三个节点编号一并存储；进一步的，将此前所有合并的边的权重累加，一并存储，得到一个完整的合并节点结构。合并权重累加方式如下：

其中AC_m表示第m次合并时的累积边权重，C_k表示第k次合并时对应边的权重。对其取绝对值后累加是为了保证在后续构建层次结构及区域检索时，父区域的尺度索引一定比子区域大。

步骤S6中，合并在步骤S5中搜寻到的边所连接的两个节点生成新节点，并赋予合并后的节点一个新的编号，计算新节点的属性值；其中光谱、纹理等数值特征采用两个区域面积加权后相加的方式获取，形状特征等需根据合并后区域的外形特征重新计算。对于不同类型的节点属性，采用不同类型的方法获取。

步骤S7中，删除邻接关系图中搜寻到的边，建立新生成的节点在邻接关系图中的联系。

步骤S8中，更新当前的区域邻接关系图。

步骤S9中，判断邻接关系图中是否还有进行合并的区域对，若有，则执行步骤S5-步骤S8的循环过程，其中直至只剩下一个区域，若没有则执行步骤S10。

步骤S10中，在本步骤中对影像分割结果的所有区域合并结束。

上述方法中，巧妙的将整个初始分割和区域合并过程信息进行了存储，其中采用累积合并权重的对合并过程信息进行标记的，对后续的区域检索起着至关重要的作用。

图3、图4示出了本发明另一目的提供一种影像层次分割结果的组织方法的流程图，其详述如下：

步骤S21中，从合并节点列表中读取一个节点，将此节点组织为一个二叉树单元，其中二叉树的叶子节点为被合并掉的两个区域，父节点为新生成的区域。

步骤S22中，将合并节点信息赋予节点尺度标记，判断二叉树子节点是否表示初始分割的区域；若是，则将其尺度标记为0；若不是，则执行步骤S23；将合并节点中的累积合并代价设置根节点尺度标记。

步骤S23中，判断已有的二叉树中是否有根节点与新生成的二叉树子节点的标号相同，若有，则将该根节点与对应的新生成的二叉树子节点合并，将两颗二叉树连接为一颗树；若没有，则新生成的二叉树暂时单独成为一颗独立的树存在。

步骤S24中，判断存储区域内是否还有可处理的节点；若有，则重复步骤S12-步骤S23，直至处理完所有的节点；若没有，则所有节点处理结束。

在上述方法中，最终当所有的合并节点信息处理完毕之后，所有的二叉树单元将连接成一颗完整的二叉树，其中叶子节点的尺度信息为0，其他节点的尺度信息为生成该节点时的累积合并代价。采用累积合并代价值作为尺度标记保证了层次关系中父区域的尺度标记大于子区域的尺度标记。

图5、图6示出了本发明另一目的提供一种影像层次分割结果的检索方法的流程图，其详述如下：

步骤S31中，利用树节点对应的累积合并代价值将层次树中的所有节点构建尺度索引，其索引包括两个方面：出现尺度和消失尺度，其中出现尺度为该节点生成时的累积合并代价值，消失尺度表示其被合并时的累积合并代价值(亦为其父节点的出现尺度)。对于所有的叶子节点，出现尺度为0，消失尺度为其父节点出现尺度。其索引方式为[λ⁺，λ^-]，其中+表示区域出现，-表示区域消失，λ⁺即表示生成时的尺度索引，亦为本发明中构建层次结构中赋予节点的尺度标记；λ^-为节点消失的尺度索引，亦为该节点父节点的尺度标记。对于整个层次结构的根节点，其消失尺度λ^-为+∞，如图6所示，可将层次树节点映射到二维平面上，节点所在位置的纵坐标为其出现尺度。

步骤S32中，给定任意尺度参数λ下，从根节点开始对层次树进行中序遍历，首先判断根节点的尺度索引范围内是否包含该给定的尺度参数，若包含则将该节点标记为1；否则标记为0；在给定实施例中，区域3，4，5，7的尺度索引范围内包含该尺度参数。

步骤S33中，建立区域的映射关系表；开辟存储空间，大小为初始分割中区域的个数，用于建立并存储区域标号的映射关系表：当中序遍历层次树的过程中，若遇到被标记为1的节点，则继续中序遍历该节点的子节点，并将所有叶子节点的区域标号映射设置为当前标记为1的节点的区域标号，亦即表示该子区域最终被合并到标记为1的区域中；具体实施时，首先建立原始标记序列，长度为初始分割的区域个数；当遍历树状结构，遇到节点尺度索引范围包含λ时，若该节点不为叶子节点，继续遍历该节点的子节点，寻找其所有叶子节点，建立叶子节点所表示区域与当前区域的映射。在实施例中，对于区域7，其最低层包含0，1，2三个叶子节点，将这三个区域标号均映射为7。

步骤S34中，当层次结构遍历完成之后，对区域关系映射关系表进行整理，使其中的标号从0开始，且连续。

步骤S35中，遍历初始分割的标记图像，根据每个像素点的值，在映射关系表中寻找其对应的值，并将该像素的区域标号值修改为映射后的值；遍历初始分割结果，依据像素的区域标号值，在映射表中寻找最新的映射值，将像素的区域标号值修改为最新的映射值。

步骤S36中，输出经过映射关系表处理后的标记图像，作为给定尺度下层次分割结果。

对于其他尺度的检索，仅需改变尺度参数，再次进行检索即可。

本发明另一目的提供一种影像层次分割结果的数据存储系统，该数据生成存储系统包括：

分割存储模块，用于对图像进行初始分割获取区域标记图像并存储初始分割结果；

初始化模块，用于初始化区域属性和区域邻接关系图；

区域对合并模块，用于搜寻区域邻接关系图中合并代价最小的区域对进行合并生成新的区域；

区域邻接图更新模块，用于更新当前的区域邻接关系图；

区域对判断模块，用于判断邻接关系图中是否还有进行合并的区域对，若有则执行步骤区域对合并模块、区域图更新模块中的过程，若无，则结束区域合并。

所述分割存储模块包括：

图像标记单元，用于对输入图像进行标记分水岭分割，并获得int型的栅格区域标记结果；

压缩存储单元，用于将初始分割的标记图像进行压缩和存储。

所述初始化模块包括：

统计区域属性单元，用于逐像素扫描原始影像和初始分割标记图像，统计初始分割中各区域的属性；

邻接图建立单元，用于逐像素扫描初始分割标记图像，建立区域的邻接关系图。

所述区域对合并模块包括：

寻边存储单元，用于在邻接关系图中搜寻权重最小的边，并存储对应信息；

节点合并单元，用于合并搜寻到的边所连接的两个节点生成新节点，计算新节点的属性值；

关联单元，用于删除邻接关系图中搜寻到的边，建立新生成节点在邻接关系图中的联系。

在对图像初始分割结果进行存储时，运行压缩编码的方式降低对内存或磁盘空间的占用。

每一次迭代的区域合并中均产生一个合并信息的节点，该节点以累积合并代价作为尺度标记，并对产生的信息均进行存储，以记录完整的区域合并过程。

本发明另一目的提供一种影像层次分割结果的数据组织系统，该组织系统包括：

合并节点读取模块，用于从存储的区域合并节点列表中读取一个节点，将此节点组织为一个二叉树单元；

尺度标记及二叉树子节点判断模块，用于将合并节点信息赋予节点尺度标记，判断二叉树子节点是否表示初始分割的区域；若是，则将其尺度标记为0；若不是，则执行相同标号判断模块过程；

相同标号判断模块，用于判断已有的二叉树中是否有根节点与新生成的二叉树子节点的标号相同；若有，则将该根节点与对应的新生成的二叉树子节点合并；若没有，则新生成的二叉树暂时单独成为一颗独立的树存在并执行节点判断模块过程；

节点判断模块，用于判断存储区域内是否还有可处理的节点；若有，则重复合并节点读取模块、尺度标记及二叉树子节点判断模块及相同标号判断模块中的过程，直至处理完所有的节点；若没有，则所有节点处理结束。

在合并节点信息过程中采用累积合并代价值作为制度标记；采用累积合并代价值作为尺度标记保证了层次关系中父区域的尺度标记大于子区域的尺度标记。

本发明另一目的提供一种影像层次分割结果的数据检索系统，该检索系统包括：

尺度索引模块，用于利用树节点对应的累积合并代价值将层次树中的所有节点构建尺度索引；

层次树遍历模块，用于给定任意尺度参数，从根节点开始对层次树进行中序遍历，判断根节点的尺度索引范围内是否包含该给定的尺度参数；若包含，则将该节点标记为1；若不包含，则标记为0；

映射模块，用于建立区域的映射关系表；

整理模块，用于层次结构遍历完成后对区域映射关系表进行整理，使其中的标号从0开始且连续；

标号值修改模块，用于遍历初始分割的标记图像，根据每个像素点的值，在映射关系表中寻找其对应的值，并将该像素的区域标号值修改为映射后的值；

输出模块，用于输出经过映射关系表处理后的区域标记图像。

在尺度索引中索引方式为[λ⁺，λ^-]，其中+表示区域出现，-表示区域消失，λ⁺表示节点生成时的尺度索引，即构建层次结构中赋予节点的尺度标记；λ^-表示节点消失时的尺度索引，即该节点父节点的尺度标记。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种影像层次分割结果的数据存储方法，其特征在于，所述数据存储方法包括以下步骤：

步骤B、初始化区域属性和区域邻接关系图；

步骤D、更新当前的区域邻接关系图；

步骤E，判断邻接关系图中是否还有进行合并的区域对，若有则执行步骤C、D，若无，则结束区域合并。

2.根据权利要求1所述的数据存储方法，其特征在于，所述步骤A包括以下步骤：

步骤A2、将初始分割的标记图像进行压缩和存储。

3.根据权利要求2所述的数据存储方法，其特征在于，所述步骤B包括以下步骤：

步骤B2、逐像素扫描初始分割标记图像，建立区域的邻接关系图。

4.根据权利要求3所述的数据存储方法，其特征在于，所述步骤C包括以下步骤：

步骤C3、删除邻接关系图中搜寻到的边，建立新生成节点在邻接关系图中的联系。

5.根据权利要求4所述的数据存储方法，其特征在于，在对图像初始分割结果进行存储时，运行压缩编码的方式降低对内存或磁盘空间的占用。

6.根据权利要求5所述的数据存储方法，其特征在于，每一次迭代的区域合并中均产生一个合并信息的节点，该节点以累积合并代价作为尺度标记，并对产生的信息均进行存储，以记录完整的区域合并过程。

7.一种影像层次分割结果的数据组织方法，其特征在于，所述数据组织方法基于权利要求1-6任一项所述的数据存储方法中所存储的数据基础上实现，所述数据组织方法包括以下步骤：

8.根据权利要求7所述的数据组织方法，其特征在于，在合并节点信息过程中采用累积合并代价值作为制度标记；采用累积合并代价值作为尺度标记保证了层次关系中父区域的尺度标记大于子区域的尺度标记。

9.一种影像层次分割结果的数据检索方法，其特征在于，所述检索方法是基于所述权利要求7或8所述的数据组织方法构建的层次结构基础上实现的，所述数据检索方法包括以下步骤：

步骤三、建立区域的映射关系表；

步骤六、输出经过映射关系表处理后的区域标记图像。

10.根据权利要求9所述的数据检索方法，其特征在于，在尺度索引中索引方式为[λ⁺，λ^-]，其中+表示区域出现，-表示区域消失，λ⁺表示节点生成时的尺度索引，即构建层次结构中赋予节点的尺度标记；λ^-表示节点消失时的尺度索引，即该节点父节点的尺度标记。