CN101739397A - 基于mpeg-7的图像检索系统 - Google Patents

基于mpeg-7的图像检索系统 Download PDF

Info

Publication number
CN101739397A
CN101739397A CN200810073001A CN200810073001A CN101739397A CN 101739397 A CN101739397 A CN 101739397A CN 200810073001 A CN200810073001 A CN 200810073001A CN 200810073001 A CN200810073001 A CN 200810073001A CN 101739397 A CN101739397 A CN 101739397A
Authority
CN
China
Prior art keywords
image
mpeg
retrieval
color
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810073001A
Other languages
English (en)
Inventor
孙鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XINJIANG ASIAN OLYMPIC TECHNOLOGY Co Ltd
Original Assignee
XINJIANG ASIAN OLYMPIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XINJIANG ASIAN OLYMPIC TECHNOLOGY Co Ltd filed Critical XINJIANG ASIAN OLYMPIC TECHNOLOGY Co Ltd
Priority to CN200810073001A priority Critical patent/CN101739397A/zh
Publication of CN101739397A publication Critical patent/CN101739397A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

基于MPEG-7的图像检索系统,主要包括三个关键技术:特征提取、内容描述和搜索引擎,包括:(1)基于内容的图像检索CBIR;(2)多媒体内容描述接口MPEG-7;(3)数据库模型及管理;具体来说包括:特征提取模块,检索模块,输出模块,查询模块。实现面向网络功能的基于图像内容的查询,使用户对图像资源进行快速有效的检索。对MPEG-7标准指定的描述符作了改进取得显著的检索效果,对不同视觉特征颜色、纹理和形状的组合查询,针对数字图书馆,医学应用和商标检索应用开发图像检索系统,依据MPEG-7标准并优化了算法,在算法研究和应用上达到国内领先水平。技术路线明晰,开发进展顺利,具有较强的成熟性。

Description

基于MPEG-7的图像检索系统
技术领域
本发明是运用颜色,纹理和形状视觉描述符来描述图像内容信息,使用户对图像资源进行快速有效的检索系统,尤其是基于MPEG-7的图像检索系统。
背景技术
随着我国以数字技术为载体的内容文化产业的迅速崛起,视音频信息量的飞速增长,电视和电影资料馆需要保存的视音频素材也越来越多,并且每天都在产生大量的视音频信息;随着我国电子政务、公共信息数字化的发展,各级机关事业单位将产生大量的多媒体信息;随着我国各级医院、卫生部门越来越多的数字化医疗设备大量投入使用,大量的诊断信息通过图像的形式反映出来。对这些海量多媒体资料的存储、管理和再利用变得非常困难,需要一种合适基于图像内容的允许高效的浏览、搜索和检索的管理系统。因此开出一种先进的基于MPEG-7国际标准的支持对音视频内容、应用领域广泛、资源全球共享的图像检索系统具有很重要的现实意义。
公知技术中,世界各国连同中国在内都展开了基于内容的图像检索方法的研究。1995年,有美国国家自然基金会(NSF),国防部高等研究计划局(DARPA)和美国国家航空航天总署(NASA)共斥资2440万美元,支持以Carnegie Meellon University(CMU)、University of Stanford、University of California at Berkeley(UCB)、University ofCalifornia Santa Barbara(UCSB)、University of IIlinois atUrbana-Champaign(UIUC)及University of Michigan等6所大学为首的75个研究机构参与的为期4年的数字图书馆研究计划。另外,无论是日本还是欧洲(如英国、法国、德国、瑞士、意大利等)、澳大利亚、加拿大等发达国家,从大学到跨国公司,都将未来信息科学研究和突破的重点放在了这一领域,相继斥巨资开展这方面的研究工作。香港中央图书馆的多媒体信息系统(MMIS)是IBM和分包商ICO于1999年底开始承建190万美元的数字图书馆项目,被认为是世界上最大且最复杂的“中文/英文”双语图书馆服务之一,其采用的DB2 Text和Image Extenders既支持文本查找,也支持图片查找。
IBM公司研制的QBIC是第一个商业用的基于内容的图像检索系统,以支持例子图像,用户自建的草图,所选颜色,纹理模式等的查询;加州大学Berkeley分校的电子工程与计算机科学系开发了用户可以对感兴趣的图像区域进行检索的Blobworld系统。MIT媒体实验室开发的Photobook系统是一套用于浏览和搜索图像的交互式工具,它包括三个子部分分别用于提取形状,纹理和面部特征。用户可以在每个子部分中按照对应的特征进行查询。Virage公司开发的一个基于内容的图像检索引擎Virage,支持基于颜色、颜色布局、纹理和结构(对象边缘信息)的可视化检索等。
MPEG-7应用非常广泛,围绕着MPEG-7描述,在特征提取、搜索引擎、存取接口和多媒体应用等方面都蕴藏着丰富和颇有意义的研究内容。在MPEG-7正式成为国际标准后,业界相继采用了一些重要的技术来发展MPEG-7的服务和应用,也投入了较多的努力来发展MPEG-7和其他数据描述标准的互换工具,例如SMPTE和TV Anytime。在一些展示会上已经有一些初步的MPEG-7产品和系统。如理光公司根据MPEG-7开发了影像搜索工具,但是对于视讯索引和筛选的重要技术组件仍然甚少。
已公开相关技术中包括:“数字图书馆的基于内容图像检索系统研究”公开:纹理特征是利用Gabor变换产生度量纹理图像结构性质特征的灰度共生矩阵,它反映了图像灰度分布关于方向、局部邻域和变化幅度的综合信息,然后求出相似性特征向量,以距离最小原则在特征库内进行搜索。形状是物体的一个重要特征,但由于物体形状的自动获取很困难,基于形状的检索一般仅限于非常容易识别的物体,形状可用面积、离心率、圆形度、形状矩、曲率、分形维等全局和局部特征来表示。其主要的分析方法有不变矩、Fourier描述符、自回归模型、向心链码、CSS(Curvature Scale Space)、VSW(Variable Scale Wavelet)等,它们各自具有优缺点,对于形状匹配来说,Hough变抄较为经典的方法,它对于噪声和遮挡具有良好的抗干扰性。根据图像中的轮廓特征进行检索,目前采用的一种简单方法是用轮廓的一些简化特征作为检索的依据,一般以轮廓的中心为基准,计算中心到边界点的最长轴和最短轴、长轴与短轴之比、周长与面积之比、拐点等作为检索特征。进行轮廓检索时,一般由用户手绘出检索的图形,然后计算该图形的特征与特征库中图像轮廓特征的距离来决定相似程度。
基于内容的检索技术是大规模网络化信息检索和服务的关键之一,它涉及视频处理、模式识别、数据库等多个学术领域是一个很有前途的发展方向。
目前现有的很多图像检索系统也引用了颜色、纹理、形状等图像的重要特征对图像内容进行描述:颜色特征多采用颜色直方图,颜色矩;纹理特征采用共生矩阵研究纹理的灰度级的空间相关性,小波变换和Gabor变换方法等;形状描述采用几何参数法等。颜色直方图是最常用的表达颜色特征的方法,但是它的缺陷在于没有表达出颜色空间分布的信息。颜色矩用来表示图像的颜色分布,但是低次矩分辨能力较弱。共生矩阵是表示图像灰度级空间相关的矩阵,但是它不适合描述由大片平滑区域构成的纹理图像。小波变换对图像的描述不具有平移、尺度和旋转不变性。几何参数法只适合描述图像中目标个数较少的图像。由此可见对于不同的视觉特征都有多种描述方法,这就有必要发展一种图像的描述方法,既能用于有效组织这些特征,使得这些特征不仅仅是只与图像有关联,而且有助于检索,可以适时适地的调用。虽然许多系统也提供了颜色、纹理、形状几种特征的综合使用,但是未采用国际标准MPEG-7中推荐的图像特征的描述符,并对这些描述符作了改进,影响应用效果。
综上所述,支持用户对图像资源进行快速、有效的检索,相关的技术方案尚未见公开。
发明内容
本发明的目的在于,提供一种运用颜色,纹理和形状视觉描述符来描述图像内容信息,使用户对图像资源进行快速有效的检索,即基于MPEG-7的图像检索系统。
(1)特征提取模块,包括图像库中的图像和样本图像的特征提取,建立BMP图像库和特征库;
(2)检索模块,实现用户提交的样本图像和图像库中图像的相似性匹配过程。包括①基于颜色特征检索子模块,实现基于两幅图像主颜色和颜色布局的特征的匹配算法,并根据匹配值的大小进行排序;②基于纹理特征检索子模块,实现基于两幅图像的边缘直方图特征的匹配算法,并根据匹配值的大小进行排序;③基于形状特征检索子模块,实现基于两幅图像的区域形状特征的匹配算法,并根据匹配值的大小进行排序;④综合颜色和纹理检索子模块,采用线性加权方式,综合颜色特征匹配距离和纹理特征匹配距离,实现两幅图像综合匹配计算,并进行排序;⑤综合颜色和形状检索子模块,采用线性加权方式,综合颜色特征匹配距离和形状特征匹配距离,实现两幅图像综合匹配计算,并进行排序;⑥综合形状和纹理检索子模块,采用线性加权方式,综合颜色特征匹配距离和纹理特征匹配距离,实现了两幅图像综合匹配计算,并进行排序;⑦综合特征的检索子模块,采用线性加权方式,综合颜色特征匹配距离,纹理特征匹配距离和形状特征匹配距离,实现两幅图像综合匹配计算,并进行排序;
(3)输出模块,完成在界面上显示检索到的图像,显示时依据检索模块得到的排序结果进行显示;
(4)查询模块,允许用户提交样本图像。
系统的应用包括构建一个基于服务器或客户端架构的局域网的图像查询系统。
本发明的技术方案是:检索系统主要包括三个关键技术:特征提取、内容描述和搜索引擎,包括:(1)基于内容的图像检索CBIR;(2)多媒体内容描述接口MPEG-7;(3)数据库模型及管理;
具体来说包括:特征提取模块,检索模块,输出模块,查询模块。
本发明运用颜色,纹理和形状视觉描述符来描述图像内容信息,提出并逐步完善基于MPEG-7图像的单一特征颜色、纹理、形状检索系统,涉及模式识别,图像理解,计算机视觉,信息检索,视觉数据模型化和表达,多媒体数据库模型及管理,人工智能等研究领域和多项技术,并通过软件实现和仿真验证其正确性,实现面向网络功能的基于图像内容的查询,使用户对图像资源进行快速有效的检索。采用MPEG-7标准推荐的视觉描述符对图像进行描述,对MPEG-7标准指定的描述符作了改进取得显著的检索效果,对不同视觉特征颜色、纹理和形状的组合查询,针对数字图书馆,医学应用和商标检索应用开发图像检索系统,依据MPEG-7标准并优化了算法,在算法研究和应用上达到国内领先水平。技术路线明晰,开发进展顺利,具有较强的成熟性。
附图说明:
图1为本发明实施例1中MPEG-7与基于内容的多媒体信息检索的联系示意图
具体实施方式
实施例1:检索系统主要包括三个关键技术:特征提取、内容描述和搜索引擎,包括:(1)基于内容的图像检索CBIR;(2)多媒体内容描述接口MPEG-7;(3)数据库模型及管理;
具体来说包括:特征提取模块,检索模块,输出模块,查询模块。
基于内容的图像检索可看作是介于用户和图像数据库之间的一种信息服务系统。当用户发出查询要求后,系统要通过对查询数据的分析和提取特征,将查询要求转化为对数据内容的描述,并借助这些描述进行搜索,通过与数据库中的信息进行匹配来提取出需要的信息数据。
MPEG-7是关于内容描述的,它与基于内容的图像检索的联系可参见图1。虚线框中对应图像信息检索系统,由图可见,MPEG-7处在基于内容的图像信息检索里的中心位置。MPEG-7的输入是对图像数据分析的结果,MPEG-7的输出则提供了图像信息提取的基础。由这样的关系可知,MPEG-7标准可以借助图像检索中现有的特征提取技术,而它的统一标准性则有助于提取有效和实用的图像信息,因此,MPEG-7也需要考虑它自身与特征提取之间以及搜索引擎之间的接口。
MPEG-7的出现对实现基于内容的图像检索系统有很大影响。首先,MPEG-7是应用面广泛的国际标准,它的制订解决了互联网上图像检索所亟待解决的统一标准问题。有了统一的内容描述标准,也使得图像检索的通用性和重复利用性都得到了极大的增强。其次,MPEG-7提供了一套全面的内容描述工具,包括描述符和描述方案。因而,开发MPEG-7标准的CBIR系统就有了一个很好的底层构架。先对原始图像进行处理,提取内容,然后用标准形式对它们进行描述,以支持各种内容的用户应用。下面具体分析这三种关键技术:
(1)特征提取,也称为内容获取:特征的提取是通过对各种内容的分析和处理而获得图像内容的过程。基于内容的搜索的效率在很大程度上取决于特征的提取和描述。根据图像的内容,提取底层视觉特征,包括颜色、纹理、形状等。
①颜色特征提取。颜色是彩色图像最显著的特征,每个物体都有其特有的颜色特征,同一类事物往往有着相似或相同的颜色特征,因此可以利用颜色特征来区分不同物体。与其它特征相比,颜色特征非常稳定,对于旋转、平移、尺度变化都不敏感,表现出很强的鲁棒性,又由于颜色特征计算简单,因此颜色最早在基于内容的图像索引中得到应用。
②纹理特征提取。纹理是图像分析中非常重要的特征描述符。纹理出现在所有的图像中,从航空照片中的地表景物到显微图像中生物组织的排列,都反映了纹理具有的规律性。对图像领域而言,图像纹理一般是指大量或多或少相似的纹理元或模式组成的一种结果。一幅图像可以视为不同纹理区域组成的,这些区域的纹理特征可以用来索引图像数据。例如,在空中看按规律间隔停着车的停车场是一个纹理模式非常好的例子,用户可以利用这种纹理在浏览图像数据库时区分图像数据库中所有的停车场。使用纹理作为检索的特征,一般是图像的内容较为丰富,物体和背景不易分割的情况。另外,它在区分有相似颜色的区域时是非常有用的,比如天空和海洋,树叶和草地。
③形状特征提取。形状是图像目标的显著特征之一,许多物体具有不同的颜色,但其形状总是类似的。如检索一辆汽车的图像,汽车可以是红的绿的等,但是形状决不会如飞机的外形。形状的概念非常明确,而且由形状的特征来区分物体也是非常直观的。
(2)内容描述:包括三个模块:特征描述及组织,图像及其特征存储。即:①特征描述及组织是系统的核心。图像元素的特征包括元数据特征如标题、注释等文本特征、低级视觉特征如颜色特征、纹理特征、形状特征。如何描述这些特征以及运用何种描述方案来组织描述都是MPEG-7所涉及的内容。在本实施例中,重点研究图像的视觉特征。利用MPEG-7中推荐的视觉描述符对所提取的内容进行有效的表示。将样本图像和图像库中图像的特征提取出来,把具体的图像转换成抽象的特征矢量。
a.颜色描述,颜色包含两个概念,一个对应于全局颜色分布,一个对应于局部颜色信息。MPEG-7标准提供了7种颜色描述符:颜色空间(ColorSpace)、颜色量化(Color Quantization)、主颜色(Dominant Colors)、可伸缩颜色(Scalable Color)、颜色布局(Color Layout)、颜色结构(Color-Structure)和帧组/图组颜色(GoF/GoP Color)。就颜色特征而言,大致有两种相似性需要:一是有些用户希望图像的整体颜色相似,不追究细节和位置,MPEG-7中的主颜色就满足了这种相似需要;二是有些则希望图像的颜色空间分布相似,MPEG-7中的颜色布局则满足了这种相似需要。所以该系统选用了MPEG-7中主颜色和颜色布局描述符来描述图像的颜色特征。
b.纹理描述,MPEG-7提供了三种纹理描述符:同质纹理(HomogeneousTexture)、纹理浏览(Texture Browsing)和边缘直方图(EdgeHistogram)。本系统选用边缘直方图描述符,它表示了5种类型边缘的空间分布,即4种具有方向性的边缘和一种无方向性的边缘。因为对于图像感知,边缘扮演了一个重要角色,所以它可以用于相似语义的图像检索。因此它的主要目标在于图像与图像的匹配,特别是边缘分布不规则的自然图像。如果边缘直方图描述符与其他描述符如颜色描述符相结合,将可以显著提高图像检索的性能。此外,单独利用这个描述符,在匹配过程种既使用直接从边缘直方图产生的半全局和全局直方图,又使用局部直方图,可以获得最好的检索性能。
c.形状描述,MPEG-7提供了三种形状描述符:基于区域的形状(Region Shape)、基于轮廓的形状(Contour Shape)和三维形状(Shape3D)。利用形状特征进行图像检索时,为准确进行形状匹配,需要解决平移,尺度和旋转变换不变性的问题。所以本系统使用ARS算法提取区域形状描述符,可以满足旋转不变性,并对尺度缩放和小变形不敏感。
②图像及其特征存储,为管理方便、检索准确,将图像按内容分类归档,形成不同的图像库。图像库可以方便地增加或删减,当新增图像库时,需在相关数据库中进行注册登记,搜索各库中的图像,构造相应的图像数据库;然后,还要调用算法集和数据库对与图像库对应的特征库进行更新,也就是用所有已有的算法对新图像库中的图像逐一抽取特征,形成特征文件,以备检索。
对图像库的管理,系统主要提供了以下功能。
1).图像添加。输入新图像时,系统自动进行特征提取,并将特征数据存入特征库中,若特征库中已有该图像的特征数据记录,系统将提示是否覆盖原有的记录。
2).图像删除。可以将图像库中已有的图像移出库中,系统自动把特征库中该图像的特征数据记录删掉,并调整特征库中该记录后面的记录位置,避免存储空间的浪费。若库中没有该图像,系统会提示相应的错误信息。
3).特征数据文件的建立和更新。需要建立或更新特征库中的数据文件时,系统将图像名文件中记录的所有图像文件,进行特征数据提取,并存入相应的特征文件中。
(3)搜索引擎,需要提供对描述资源的灵活访问,也就是说,对于特殊的搜索任务,只需要描述数据的某个子集,例如基于主颜色的检索,只用到主颜色描述符这个子集。系统中图像内容和MPEG-7描述数据都以条目的形式存储在数据库中,所以这将很容易实现。在这样的情况下,初始描述符表作为数据库的入口点,用于提供组织结构,例如,在数据表的哪个字段可以找到哪个描述符值。和描述关联的图像数据不必存储在相同的数据库中,只要描述对应着图像真正位置的链接就足够了。这样客户端的搜索引擎通过一个数据库接口,就可以访问任何描述符,该描述符与任一组数据中的任一图像相关联。在局域网范围内客户端对服务器的查询访问由客户端代理实现。
MPEG-7自动特征提取功能,要求能实现对图像信息的大部分特征信息的自动提取。
MPEG-7信息搜索功能,要求能根据自动特征提取检索图像信息。
软件采用VC开发,要求界面友好新颖,软件系统以模块方式开发,要求可扩展性好。
下面三个表列出了运用颜色,纹理,形状三种描述符进行图像检索的对比数据如下:
表1主颜色、颜色布局和综合两种颜色特征的实验结果
  DC   CLD   DC&CLD
  ARR   0.8145   0.8548   0.8790
  ANMRR   0.2372   0.1907   0.1574
表2纹理边缘直方图改进前后的实验结果
  LED   LED&GED&SED
  ARR   0.8125   0.9062
  ANMRR   0.2353   0.1471
表3基于区域的形状描述符改进前后的实验结果
  ART   ARS
  ARR   0.7286   0.9186
  ANMRR   0.3154   0.0940
从表中数据可见,三种视觉描述符改进以后,提高了平均检索率ARR,并降低了ANMRR,所以可以预见结合三种特征描述符特征进行组合查询可以减少误匹配,从而提高检索的精确度。
MPEG-7信息浏览功能,要求能根据搜索结果显示图像信息。
利用MATLAB软件分别构建了基于颜色、形状、纹理单一特征的图像检索系统,并应用Visual C++和ACCESS开发了利用颜色特征进行查询的单机版的图像检索系统。
应用MPEG-7标准的视觉信息的描述语法流,设计对视觉信息的标准化描述,与基于内容的视觉信息检索技术相结合,实现对视觉信息快速高效的检索。
就颜色特征而言,大致有两种相似性需要:①有些用户希望图像的整体颜色相似,不追究细节和位置,MPEG-7中的主颜色就满足了这种相似需要;②有些则希望图像的颜色空间分布相似,MPEG-7中的颜色布局则满足了这种相似需要。所以该系统选用MPEG-7中主颜色和颜色布局描述符来描述图像的颜色特征。
边缘在图像感知方面扮演着一个重要角色,它的主要目标是图像对图像的匹配,尤其用于没有一致性边缘分布的自然图像。所以纹理特征采用了边缘直方图描述符表示了5种类型的边缘的空间分布。
利用形状特征进行图像检索时,为准确进行形状匹配,需要解决平移,尺度,旋转变换不变性的问题。使用ARS算法提取区域形状描述符,可以满足旋转不变性,并对尺度缩放和小变形不敏感。
考虑到提取三种不同类型的视觉特征,这三类特征用于检索各有其优点和缺点,比如颜色特征对图像或图像区域的方向、大小变化不敏感,它不能很好地捕捉图像中对象的局部特征。另外,仅使用颜色特征查询时,如果数据库很大,常会将许多不需要的图像也检索出来。纹理特征和颜色特征一样描述的是图像或图像区域对应景物的表面性质,而且纹理不能完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。形状特征仅描述了目标局部的性质,要全面描述目标常对计算时间和存储量有很高的要求。所以仅基于一种特征的方法只能表达图像的部分属性,对图像内容的描述比较片面,缺少足够的区分信息,在图像在尺度或方向等有较大变化的场合常不能取得理想的检索效果。
采用国际标准MPEG-7中定义的特征来描述图像内容,包括颜色、纹理、形状。这些描述和内容本身关联,使得用户可以快而有效的查找需要的信息。
由于多媒体信息的复杂多样,对其内容的描述缺乏统一标准,这就导致CBIR系统的通用性得不到保证,而通用性正是目前基于内容的图像检索技术在Internet上实用化的瓶颈。运动图像专家组(MPEG)提供了解决方案,即多媒体内容描述接口(Multimedia Content DescriptionInterface),简称MPEG-7,它对不同类型的多媒体信息建立一种标准化的描述,并将该描述与信息内容相联系,以便能用来快速和有效的查询和访问各种多媒体。因此,将MPEG-7对图像内容的标准描述应用到实际的CBIR系统中,从而改善检索系统的通用性,并提高资源的重复利用率。
由于图像数据复杂性和不规则性的特点,实现网络上的图像服务,包括三方面重要内容:
1).大数据量。图像的数据量已非常大,一幅640×480真彩色图像的数据量约为1MB,相当于10000000个字母。
2).窄网络带宽。虽然信息基础设施近年有很大进展,但现有的网络带宽对图像传输仍很窄,特别是在广大的郊区、农村。
3).低成本的需要。许多服务的对象是个体用户,成本必须让他们可以承受。
在实际应用中,综合利用颜色、纹理和形状等不同特征进行检索有许多优点。一是可以达到不同特征的优势互补的效果。例如,在颜色特征的基础上加上纹理特征既可弥补颜色特征缺乏空间分布信息的不足又能保留颜色特征计算简便的优点,在颜色特征的基础上加上形状特征不仅能描述图像的整体彩色性质还可以描述目标局部的彩色性质。二是可以提高检索的灵活性和系统的性能,满足实际应用的需求。例如,将颜色特征与纹理特征结合可用于对彩色B超图像的检索。在人体组织中蕴藏着丰富的纹理信息,而彩色B超图像的应用又借助了颜色信息。以肝脏组织彩色B超图像为例,由于各种不同的肝脏组织纤维不同,对超声脉冲的吸收、衰减、反射均有差异,反映在颜色和纹理上都会有可用于检索的特色。又如,将形状特征与纹理特征结合可用于对X光片图像中具有特定纹理的区域的检测以帮助发现可能的组织病变区域。
应用在数字图书馆、医疗应用和商标检索应用三个不同的领域,包括从获取和表达原始数据的方法,获取和表达原始数据中的信息,到通过对这些数据和信息的处理、分析和理解以提供对内容的访问以及发送、显示和操作这些内容等。
本发明实施例,运用颜色,纹理和形状视觉描述符来描述图像内容信息,提出并逐步完善基于MPEG-7图像的单一特征颜色、纹理、形状检索系统,涉及模式识别,图像理解,计算机视觉,信息检索,视觉数据模型化和表达,多媒体数据库模型及管理,人工智能等研究领域和多项技术,并通过软件实现和仿真验证其正确性,实现面向网络功能的基于图像内容的查询,使用户对图像资源进行快速有效的检索。采用MPEG-7标准推荐的视觉描述符对图像进行描述,对MPEG-7标准指定的描述符作了改进取得显著的检索效果,对不同视觉特征颜色、纹理和形状的组合查询,针对数字图书馆,医学应用和商标检索应用开发图像检索系统,依据MPEG-7标准并优化了算法,在算法研究和应用上达到国内领先水平。技术路线明晰,开发进展顺利,具有较强的成熟性。

Claims (6)

1.基于MPEG-7的图像检索系统,其特征在于,检索系统主要包括三个关键技术:特征提取、内容描述和搜索引擎,包括:(1)基于内容的图像检索CBIR;(2)多媒体内容描述接口MPEG-7;(3)数据库模型及管理;具体来说包括:特征提取模块,检索模块,输出模块,查询模块。
2.如权利要求1所述的基于MPEG-7的图像检索系统,其特征在于,特征提取模块,包括图像库中的图像和样本图像的特征提取,建立BMP图像库和特征库。
3.如权利要求1所述的基于MPEG-7的图像检索系统,其特征在于,检索模块,实现用户提交的样本图像和图像库中图像的相似性匹配过程。包括①基于颜色特征检索子模块,实现基于两幅图像主颜色和颜色布局的特征的匹配算法,并根据匹配值的大小进行排序;②基于纹理特征检索子模块,实现基于两幅图像的边缘直方图特征的匹配算法,并根据匹配值的大小进行排序;③基于形状特征检索子模块,实现基于两幅图像的区域形状特征的匹配算法,并根据匹配值的大小进行排序;④综合颜色和纹理检索子模块,采用线性加权方式,综合颜色特征匹配距离和纹理特征匹配距离,实现两幅图像综合匹配计算,并进行排序;⑤综合颜色和形状检索子模块,采用线性加权方式,综合颜色特征匹配距离和形状特征匹配距离,实现两幅图像综合匹配计算,并进行排序;⑥综合形状和纹理检索子模块,采用线性加权方式,综合颜色特征匹配距离和纹理特征匹配距离,实现了两幅图像综合匹配计算,并进行排序;⑦综合特征的检索子模块,采用线性加权方式,综合颜色特征匹配距离,纹理特征匹配距离和形状特征匹配距离,实现两幅图像综合匹配计算,并进行排序。
4.如权利要求1所述的基于MPEG-7的图像检索系统,其特征在于,输出模块,完成在界面上显示检索到的图像,显示时依据检索模块得到的排序结果进行显示。
5.如权利要求1所述的基于MPEG-7的图像检索系统,其特征在于,查询模块,允许用户提交样本图像。
6.如权利要求1所述的基于MPEG-7的图像检索系统,其特征在于,系统的应用包括构建一个基于服务器或客户端架构的局域网的图像查询系统。
CN200810073001A 2008-11-17 2008-11-17 基于mpeg-7的图像检索系统 Pending CN101739397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810073001A CN101739397A (zh) 2008-11-17 2008-11-17 基于mpeg-7的图像检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810073001A CN101739397A (zh) 2008-11-17 2008-11-17 基于mpeg-7的图像检索系统

Publications (1)

Publication Number Publication Date
CN101739397A true CN101739397A (zh) 2010-06-16

Family

ID=42462891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810073001A Pending CN101739397A (zh) 2008-11-17 2008-11-17 基于mpeg-7的图像检索系统

Country Status (1)

Country Link
CN (1) CN101739397A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163240A (zh) * 2011-05-20 2011-08-24 苏州两江科技有限公司 基于mpeg-7标准的人脸特征图像索引库的构建方法
CN102226908A (zh) * 2011-05-30 2011-10-26 苏州两江科技有限公司 基于mpeg-7标准的人脸判别方法
CN104462380A (zh) * 2014-12-11 2015-03-25 北京中细软移动互联科技有限公司 商标检索方法
CN105224582A (zh) * 2014-07-03 2016-01-06 联想(北京)有限公司 信息处理方法和设备
CN105426530A (zh) * 2015-12-15 2016-03-23 徐庆 一种商标检索方法、装置和系统
CN106485196A (zh) * 2015-08-28 2017-03-08 意法半导体股份有限公司 视觉搜索方法、对应的系统、设备和计算机程序产品
CN106709466A (zh) * 2016-12-30 2017-05-24 国网山西省电力公司电力科学研究院 基于mpeg7标准的电力设备图像识别方法和系统
CN108280132A (zh) * 2017-01-06 2018-07-13 Tcl集团股份有限公司 建立语义图像分割的个性化知识库的方法及系统
CN108520265A (zh) * 2012-07-09 2018-09-11 西斯维尔科技有限公司 用于转换图像描述符的方法和相关图像处理设备
CN109857897A (zh) * 2019-02-14 2019-06-07 厦门一品威客网络科技股份有限公司 一种商标图像检索方法、装置、计算机设备及存储介质
CN110413816A (zh) * 2013-06-14 2019-11-05 微软技术许可有限责任公司 彩色草图图像搜索
CN110765305A (zh) * 2019-10-23 2020-02-07 深圳报业集团 媒介信息推送系统及其基于视觉特征的图文检索方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163240A (zh) * 2011-05-20 2011-08-24 苏州两江科技有限公司 基于mpeg-7标准的人脸特征图像索引库的构建方法
CN102226908A (zh) * 2011-05-30 2011-10-26 苏州两江科技有限公司 基于mpeg-7标准的人脸判别方法
CN108520265B (zh) * 2012-07-09 2021-09-07 新运环球有限公司 用于转换图像描述符的方法和相关图像处理设备
CN108520265A (zh) * 2012-07-09 2018-09-11 西斯维尔科技有限公司 用于转换图像描述符的方法和相关图像处理设备
CN110413816A (zh) * 2013-06-14 2019-11-05 微软技术许可有限责任公司 彩色草图图像搜索
CN110413816B (zh) * 2013-06-14 2023-09-01 微软技术许可有限责任公司 彩色草图图像搜索
CN105224582A (zh) * 2014-07-03 2016-01-06 联想(北京)有限公司 信息处理方法和设备
US10075695B2 (en) 2014-07-03 2018-09-11 Lenovo (Beijing) Co., Ltd. Information processing method and device
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
CN104462380A (zh) * 2014-12-11 2015-03-25 北京中细软移动互联科技有限公司 商标检索方法
CN106485196A (zh) * 2015-08-28 2017-03-08 意法半导体股份有限公司 视觉搜索方法、对应的系统、设备和计算机程序产品
US10585937B2 (en) 2015-08-28 2020-03-10 Stmicroelectronics S.R.L. Method for visual search, corresponding system, apparatus and computer program product
CN105426530A (zh) * 2015-12-15 2016-03-23 徐庆 一种商标检索方法、装置和系统
US10152650B2 (en) 2015-12-15 2018-12-11 Qing Xu Trademark retrieval method, apparatus and system, and computer storage medium
CN106709466A (zh) * 2016-12-30 2017-05-24 国网山西省电力公司电力科学研究院 基于mpeg7标准的电力设备图像识别方法和系统
CN108280132A (zh) * 2017-01-06 2018-07-13 Tcl集团股份有限公司 建立语义图像分割的个性化知识库的方法及系统
CN108280132B (zh) * 2017-01-06 2021-12-14 Tcl科技集团股份有限公司 建立语义图像分割的个性化知识库的方法及系统
CN109857897A (zh) * 2019-02-14 2019-06-07 厦门一品威客网络科技股份有限公司 一种商标图像检索方法、装置、计算机设备及存储介质
CN110765305A (zh) * 2019-10-23 2020-02-07 深圳报业集团 媒介信息推送系统及其基于视觉特征的图文检索方法

Similar Documents

Publication Publication Date Title
CN101739397A (zh) 基于mpeg-7的图像检索系统
Zhou et al. Semantic understanding of scenes through the ade20k dataset
Melton et al. SQL multimedia and application packages (SQL/MM)
Funkhouser et al. A search engine for 3D models
Huang et al. Multimedia analysis and retrieval system (MARS) project
Smeulders et al. Content-based image retrieval at the end of the early years
Philbin et al. Geometric latent dirichlet allocation on a matching graph for large-scale image datasets
Averkiou et al. Shapesynth: Parameterizing model collections for coupled shape exploration and synthesis
CN105612513A (zh) 图像检索方法、图像检索系统以及信息记录介质
Addis et al. SCULPTEUR: Towards a new paradigm for multimedia museum information handling
CN101241504A (zh) 一种基于内容的遥感图像数据智能搜索方法
Vijayarani et al. Multimedia mining research-an overview
Martinet et al. A relational vector space model using an advanced weighting scheme for image retrieval
Guo et al. Object discovery in high-resolution remote sensing images: a semantic perspective
Sinclair et al. Concept browsing for multimedia retrieval in the SCULPTEUR project
Chen et al. Report of the delos-nsf working group on digital imagery for significant cultural and historical materials
Dejan et al. 3D model retrieval
Jain NSF workshop on visual information management systems: workshop report
Ucelli et al. Shape semantics and content management for industrial design and virtual styling
Atnafu et al. Efficient Content-Based and Metadata Retrieval in Image Database.
Vora et al. Modelling architecture for multimedia data warehouse
電子工程學系 Content based image retrieval using MPEG-7 dominant color descriptor
Amato et al. Reconstruction of car crash scenes using a 3d building and query algebra
Su Deep 3D representation learning
Chaudhuri et al. Retrieval of images of man-made structures based on projective invariance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100616