CN102831239A

CN102831239A - 一种构建图像数据库的方法与系统

Info

Publication number: CN102831239A
Application number: CN2012103243345A
Authority: CN
Inventors: 胡事民; 陈韬; 马里千; 程明明
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2012-09-04
Filing date: 2012-09-04
Publication date: 2012-12-19
Anticipated expiration: 2032-09-04
Also published as: CN102831239B

Abstract

本发明公开了一种构建图像数据库的方法及系统，包括以下步骤：利用关键词从互联网上自动下载图像，对下载的图像进行物体检测并进行初步过滤，对检测到的物体进行精细轮廓分割，得到分割图元，将得到的分割图元进行基于轮廓匹配的过滤，形成图像数据库；该数据库通常能达到80%-90%的标注准确率，用户可以通过绘制草图或者调整骨架等方式快速地对图像数据库进行基于内容的检索，从而快速找到其所需要的图像合成与创作资源。

Description

一种构建图像数据库的方法与系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种含物体分类和精细轮廓分割标注的图像数据库的半自动构建方法与系统。

背景技术

随着多媒体技术的迅速发展，各种图像视频资源极大丰富，互联网上每天都会增加大量用户拍摄和创作的图像。然而这些图像往往只含有文字标签，而且标注的准确性缺乏保证，用户要在海量图像中搜寻符合其意愿的物体和角色往往需要先通过关键词搜索，然后在海量结果中逐一寻找。

近些年来，为解决这一问题，计算机图形学和多媒体领域的科研人员做了关于基于内容的大量互联网图像检索的研究，例如现有技术中提出了一种基于草图的互联网图像检索方法以及一种跨类型图像检索的方法，只是这些方法均不能实时地检索出用户需要的图像内容，于是为每类物体构建大量的具有精细轮廓分割标注的图像数据库，成为解决这一问题的一种方案，但是现有的数据库通常是通过人工构建，其速度慢，耗费人力，最终生成的数据库规模小。因此需要一种能够快速构建大规模含物体分类和精细轮廓分割标注的图像数据库的有效方法，来改善现有技术存在的不足。

发明内容

为了解决上述问题，本发明提供了一种构建图像数据库的方法及其系统，通过提供一种能够快速构建的含有物体分类和精细轮廓分割标注的图像数据库，使用户在对图像数据库进行基于内容的检索时，可以快速的找到其所需要的图像合成与创作资源。

为到达上述目的，本发明通过以下的技术方案予以实现：

一种构建图像数据库的方法，包括以下步骤：A、利用关键词从互联网上自动下载图像；B、对下载的图像进行物体检测并进行初步过滤；C、对检测到的物体进行精细轮廓分割，得到分割图元；D、对分割图元进行基于轮廓匹配的过滤，形成图像数据库；其中，每一个图像中被分割出的前景物体称为分割图元。

优选的，所述步骤B中，对符合关键词描述的物体检测时，利用计算机视觉中对应的前景物体检测或显著性区域检测算法进行检测。

优选的，所述步骤B中，检测为符合该类别关键词的物体的概率需大于0.3。

优选的，所述步骤B中，对检测后的图像根据图像背景复杂程度进行过滤。

优选的，所述步骤B中，进一步包括以下步骤：B1：将每个图像中位于检测到的物体包围盒之外的图像进行分割；B2：计算分割块数；B3：基于B2所得块数，按照所述块数从少到多的顺序对同一关键词下载到的图像进行排序；B4：过滤出排序靠前的部分图像。

优选的，所述步骤B1采用图像超像素过分割算法对图像进行分割。

优选的，所述步骤C采用基于图分割的图像自动分割算法对检测到的物体进行精细轮廓分割。

优选的，所述步骤C中采用集合F和集合M作为图分割算法的约束区域，初始前景物体的检测区域作为图分割算法的初始区域，其中集合F包括物体检测中每个局部区域的中心点和检测概率较高的像素，集合M包括物体检测中检测概率最低的像素。

优选的，所述步骤D中的过滤为级联形状的过滤。

优选的，所述步骤D进一步包括：D1：从步骤C生成的分割图元中选择至少一个作为参考依据；D2：根据作为参考依据的分割图元的轮廓对步骤C中生成的分割图元的轮廓进行仿射变换，获得和作为参考依据的分割图元的轮廓相匹配的分割图元；D3：对匹配的分割图元进行重新排序，获得排序靠前的部分分割图元。

优选的，所述步骤进一步包括将所述部分分割图元使用分层数的形状匹配算法进行排序。

一种构建图像数据库的处理系统，包括有：图像下载模块、图像处理模块和最终过滤模块；所述图像下载模块用于利用关键词从互联网上自动下载图像；图像处理模块用于将下载的图片进行物体检测并初步过滤，进而将其进行精细轮廓分割，得到分割图元；最终过滤模块用于对分割图元进行基于轮廓匹配的过滤，最终生成图像数据库。

本发明通过图像处理和计算机视觉技术将互联网上下载的海量图像进行分割、过滤，使其成为含物体类别标注和精细分割标注的图像数据库，该图像数据库通常能达到80%-90%的标注准确率；用户可以通过绘制草图或者调整骨架等方式快速地对图像数据库进行基于内容的检索，从而快速找到其所需要的图像合成与创作资源。

附图说明

图1为本发明的流程图；

图2为本发明的系统框图。

具体实施方式

下面对于本发明所提出的一种图像数据库半自动构建方法，结合附图和实施例详细说明。

实施例1：

如图1所示，本发明提出的一种图像数据库半自动构建方法按以下步骤实现：A、利用关键词从互联网上自动下载图像；B、对下载的图像进行物体检测并进行初步过滤；C、对检测到的物体进行精细轮廓分割，得到分割图元；D、对分割图元进行基于轮廓匹配的过滤，形成图像数据库；其中，每一个图像中被分割出的前景物体称为分割图元。

优选的，所述步骤B中，进一步包括以下步骤：B1将每个图像中位于检测到的物体包围盒之外的图像进行分割；B2：计算分割块数；B3：基于B2所得块数，按照所述块数从少到多的顺序对同一关键词下载到的图像进行排序；B4：过滤出排序靠前的部分图像优选的，所述步骤B1采用图像超像素过分割算法对图像进行分割。

优选的，所述步骤D中的过滤为级联形状的过滤。

实施例2：

如图1所示，对于A步骤，为从互联网上下载高质量图像数据，首先为每一类物体指定一个关键词，这些关键词一般由一个动词或形容词加一个名字组成，从而增加从互联网上下载图像的初始正确率，例如“奔跑的男人”、“跳跃的狗”、“红色的小汽车”；然后将这些关键词放入互联网图像搜索引擎中（例如谷歌、Flickr、百度）进行关键词搜索，每个查询结果中最多保留3000张图像；其中，每幅图像都有一个初始的关键词标签，在下面几步中，将去除初始图像集合中不含该关键词所指代物体的图像，并对关键词所指代的物体进行精细轮廓分割。

对于B步骤，对每一幅下载的图像，本发明采用计算机视觉中的前景物体检测算法来检测图像中符合关键词描述的物体的大致区域。例如对“奔跑的男人”这类图像，采用人体检测算法；对“跳跃的狗”，采用四肢类动物检测算法；对“红色的小汽车”，采用小汽车检测算法；对于在计算机视觉中缺乏针对性检测算法的一般类物体，可以使用机器学习的方法训练一个分类器，也可以采用计算机视觉中的显著性检测算法来计算前景物体的大致区域。为达到更好的检测和分割结果，在检测时应使用偏保守的参数，即检测为符合该类别关键词的物体的概率需大于0.3，以去除一些模棱两可的检测结果，在检测后，所有没有检测到符合该类别关键词的物体的图像都被丢弃掉；对于检测出多个符合该类别关键词的物体的图像，只保留那些没有相互重叠的检测结果。然后，根据图像背景的复杂程度，对剩余的图像继续进行过滤，只保留背景简单的图像，因为这些图像的前景可以较好的从背景中自动分割出来。首先采用图像超像素过分割算法将剩余图像进行分割，其中选用参数k=500；然后计算每个图像在检测到的物体包围盒之外的分割块数，通过这个块数，对所有通过同一个关键词下载到的图像进行排序，只保留前50%较少块数的图像。

对于C步骤，每个检测到的符合该类别关键词的物体继而通过基于图分割的前景分割算法从图像的背景中提取出来。首先，一些前景像素的集合F被标记为“确定的前景像素”，一些背景的像素集合M被标记为“确定的背景像素”，然后通过图分割算法计算物体的轮廓边界；集合F可以包括物体检测中每个局部区域的中心点和检测概率较高的像素；集合M可以包括物体检测中检测概率最低的像素；使用这些辅助确定像素集合以及初始前景物体检测区域的膨胀作为图分割算法的约束和初始区域，进行迭代的图分割即可得到较好的前景物体分割结果，每一个图像中被分割出的结果被称为分割图元，但是在其中还存在部分分割结果错误或者物体检测错误的分割图元。

对于步骤D，利用步骤C中分割的轮廓信息进行基于轮廓匹配的过滤，把图像库中不正确的分割图元去除；在该步骤中需要提供一个初始的正确轮廓作为匹配依据，因此需要用户为每一个关键词类别在对应的分割图元中挑选1-5个具有较好分割的物体，用他们的轮廓作为该关键词具有代表性的关键轮廓，通常，它们是物体的同一个动作或姿态在不同阶段和不同视角的轮廓剪影。然后检查每个类别中所有图元与该类别所有代表性关键姿态的轮廓形状的一致性；为构建一个规模足够大，质量足够高的人物角色图像数据库，本实施例采用多种形状匹配算法进行过滤，利用这些方法的互补性可以得到更小的假正率，并得到可以接受的处理效率。在本实施例中，首先采用仿射变换算法对图元的轮廓和代表性姿态轮廓进行仿射注册；如果计算得到的仿射变换具有明显的错切、长宽比改变和旋转，则认为对应的图元具有不正确的分割，并把它丢弃掉；下一步，使用形状相似性依据对剩下的图元进行重新排序，并只保留前一半图元；最后，使用分层树的形状匹配算法进行最后一步排序，最后最多只保留前500个图元。在每一步中，如果该类别有多个代表性轮廓，则选用匹配值最高的一个作为排序依据；最终所有类别的过滤结果组成含这些物体类别标注和精细分割标注的图像数据库。

实施例3：

如图2所示，本发明还提供一种构建图像数据库的处理系统，包括有：图像下载模块、图像处理模块和最终过滤模块；所述图像下载模块用于利用关键词从互联网上自动下载图像；图像处理模块是将下载的图片进行物体检测并初步过滤，进而将其进行精细轮廓分割，得到分割图元；最终过滤模块对分割图元进行基于轮廓匹配的过滤，最终生成图像数据库。

由以上实施例可以看出，本发明通过图像处理和计算机视觉技术将互联网上下载的海量图像进行分割、过滤，使其成为含物体类别标注和精细分割标注的图像数据库，该图像数据库通常能达到80%-90%的标注准确率，用户可以通过绘制草图或者调整骨架等方式快速地对图像数据库进行基于内容的检索，从而快速找到其所需要的图像合成与创作资源。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种构建图像数据库的方法，其特征在于，包括以下步骤：

A、利用关键词从互联网上自动下载图像；

B、对下载的图像进行物体检测并进行初步过滤；

C、对检测到的物体进行精细轮廓分割，得到分割图元；

D、对分割图元进行基于轮廓匹配的过滤，形成图像数据库；

其中，每一个图像中被分割出的前景物体称为分割图元。

2.如权利要求1所述的方法，其特征在于，所述步骤B中，对符合关键词描述的物体检测时，利用计算机视觉中对应的前景物体检测或显著性区域检测算法进行检测。

3.如权利要求1所述的方法，其特征在于，所述步骤B中，检测为符合该类别关键词的物体的概率需大于0.3。

4.如权利要求1所述的方法，其特征在于，所述步骤B中，对检测后的图像根据图像背景复杂程度进行过滤。

5.如权利要求2所述的方法，其特征在于，所述步骤B中，进一步包括以下步骤：

B1：将每个图像中位于检测到的物体包围盒之外的图像进行分割；

B2：计算分割块数；

B3：基于B2所得块数，按照所述块数从少到多的顺序对同一关键词下载到的图像进行排序；

B4：过滤出排序靠前的部分图像。

6.如权利要求5所述的方法，其特征在于，所述步骤B1采用图像超像素过分割算法对图像进行分割。

7.如权利要求1所述的方法，其特征在于，所述步骤C采用基于图分割的图像自动分割算法对检测到的物体进行精细轮廓分割。

8.如权利要求7所述的方法，其特征在于，所述步骤C中采用集合F和集合M作为图分割算法的约束区域，初始前景物体的检测区域作为图分割算法的初始区域，其中集合F包括物体检测中每个局部区域的中心点和检测概率较高的像素，集合M包括物体检测中检测概率最低的像素。

9.如权利要求1所述的方法，其特征在于，所述步骤D中的过滤为级联形状的过滤。

10.如权利要求9所述的方法，其特征在于，所述步骤D进一步包括：

D1：从步骤C生成的分割图元中选择至少一个作为参考依据；

D2：根据作为参考依据的分割图元的轮廓，对步骤C中生成的分割图元的轮廓进行仿射变换，获得和作为参考依据的分割图元的轮廓相匹配的分割图元；

D3：对匹配的分割图元进行重新排序，获得排序靠前的部分分割图元。

11.如权利要求10所述的方法，其特征在于，所述步骤进一步包括将所述部分分割图元使用分层数的形状匹配算法进行排序。

12.一种构建图像数据库的处理系统，其特征在于，包括有图像下载模块、图像处理模块和最终过滤模块，其中：

图像下载模块，用于利用关键词从互联网上自动下载图像；

图像处理模块，用于将下载的图片进行物体检测并初步过滤，进而将其进行精细轮廓分割，得到分割图元；

最终过滤模块，用于对分割图元进行基于轮廓匹配的过滤，最终生成图像数据库。