CN100392676C - 多媒体搜索装置和方法 - Google Patents
多媒体搜索装置和方法 Download PDFInfo
- Publication number
- CN100392676C CN100392676C CNB001366955A CN00136695A CN100392676C CN 100392676 C CN100392676 C CN 100392676C CN B001366955 A CNB001366955 A CN B001366955A CN 00136695 A CN00136695 A CN 00136695A CN 100392676 C CN100392676 C CN 100392676C
- Authority
- CN
- China
- Prior art keywords
- color space
- information
- represent
- image
- multimedia search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明涉及多媒体搜索装置和方法,用于在多媒体特征信息是颜色信息,特别是多媒体特征信息是颜色信息并且搜索对象是静止图像或移动图像时,进行色空间的量化以便搜索基于内容的多媒体,其中色空间量化描述符结构具有被划分为主色空间和从属色空间的多级的树形结构,该树形结构递归地包括多个从属色空间。因此,本发明能够改进静止图像和移动图像搜索装置的性能,进行n维色空间的量化,并根据每个特征进行不同级的量化。
Description
技术领域
本发明涉及多媒体搜索装置和方法,用于当多媒体特征信息是颜色信息时,执行色空间的量化,以便搜索基于内容的多媒体,本发明具体涉及包括量化描述信息的色空间量化描述符结构,具有被划分为主色空间(superior color space)和从属色空间(subordinate color space)的多级(step)的树形结构,并且该树形结构递归地包括多个从属色空间。
背景技术
在现有技术中,为了搜索基于内容的多媒体,特别是为了搜索静止图像或移动图像,通过使用诸如图像的颜色信息,纹理信息,形状信息或时间改变信息等的图像特征信息来执行搜索。
为了搜索图像,使用用于描述图像特征的颜色信息来搜索基于内容的多媒体是非常有用的。
特别是,描述一个像素或一组像素的颜色信息是用于构造数字图像的基本方法。
在描述每个像素(或像素组)的颜色信息时,颜色元素值根据特定色空间(例如H,S,V(色调饱和度纯度)色空间,RGB(红绿蓝)色空间等等)而不同,以根据它的使用以更有效的方式表示图像的特性。
如上所述,为了使用图像的颜色信息来搜索基于内容的多媒体,需要根据特定方法对每个像素的颜色信息进行处理。一种代表性方法是,在整体图像上显示的用于掌握颜色信息分布的颜色直方图。
为了构造颜色直方图,需要将色空间划分为多个部分,即对色空间进行量化。
色空间量化是将被表示为三维或四维等的色空间划分为从属色空间,其所利用的特性是,在色空间中相互邻近的颜色在人眼看来是相似的。
在基于颜色信息搜索静止图像或移动图像时需要色空间量化,并且色空间量化在搜索的速度效率和存储效率方面较为有用。
在速度效率方面,当使用分配给每个像素的所有颜色信息来匹配图像时,很难进行匹配并且增加了计算复杂性。
因此,用颜色直方图来描述整个图像或图像的一部分。此处,当颜色直方图是由色空间的量化信息形成时,用于匹配的颜色信息量小于当颜色信息被分配给每个像素情况下的原始图像,因此降低了计算复杂性。
而且,在存储效率方面,由于信息的压缩减小了分配给每个图像的存储空间。
常规量化方法有:均匀量化,非均匀量化,和查找表(lookup table)。
均匀量化方法将色空间划分为在构造色空间的每个轴上具有均匀间隔的多个从属色空间。
均匀量化方法的过程非常简单,当被表示为均匀量化的两个图像匹配时,该方法在速度方面非常高效。反之,当原始色空间具有非均匀特性时,该方法不能很好地反映色空间的特性,因此搜索性能变差。
同时,非均匀量化将色空间划分为在构造色空间的每个轴上具有非均匀间隔的多个从属色空间。在复杂性方面,非均匀量化方法不如均匀量化方法,但是其在搜索性能方面较为优越,因为该方法对在自身中表现出非均匀特性的色空间进行非均匀量化。
此外,查找表量化方法直接描述每个从属色空间轴的上限和下限,其不需要均匀量化和非均匀量化所需的任何量化操作。
查找表量化方法在搜索能力或速度方面非常高效,但是搜索装置始终要保留需要大量的存储空间的查找表。
因此,所需要的色空间量化方法要能够良好地反映色空间的实质特性,在复杂性方面效率高,并且具有高搜索性能。
此外,需要一种色空间量化描述符结构,其能够精确并简单地描述色空间量化信息,并同时与各种搜索引擎兼容。但是,如上所述,使用常规色空间量化技术是以简单地将色空间进行均匀或非均匀地划分得到最后一级的量化信息进行量化的,因此不能正确地反映色空间的基本特性。
此外,使用常规色空间量化技术是以简单地将色空间进行均匀或非均匀地划分得到最后一个级的量化信息进行量化的,因此在量化速度或匹配速度方面效率不高。
此外,使用常规色空间量化技术是以将色空间进行均匀或非均匀地划分得到最后一级的量化信息进行量化的,因此在基于内容的多媒体搜索中不能获得高搜索性能。
此外,使用常规色空间量化技术进行量化是以将色空间进行均匀或非均匀地划分得到最后一级的量化信息进行量化的,因此无法在与各种搜索引擎兼容的同时简单、精确地描述色空间量化信息。
发明内容
因此,本发明的目的是提供一种多媒体搜索装置和方法,其能够在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,执行正确反映色空间特性的量化,以便搜索基于内容的多媒体。
本发明的另一个目的是提供一种多媒体搜索装置和方法,其能够在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,改进用于搜索基于内容的多媒体的量化过程和图像匹配过程的速度。
本发明的另一个目的是提供一种多媒体搜索装置和方法,其能够在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,改进静止图像或移动图像搜索装置的搜索性能,以便搜索基于内容的多媒体。
为了实现上述目的,一种多媒体搜索方法包括以下步骤:输入搜索请求图像;在搜索请求图像中提取图像特征;当所提取的图像特征是颜色信息时,进行关于该搜索请求图像的色空间的量化;将色空间量化后的搜索请求图像的特征与待搜索的目标图像进行比较;根据比较结果,选择与搜索请求图像相对应的至少一个目标图像;输出所选择的至少一个目标图像。其中,所述进行色空间的量化的步骤包括以下步骤;将相应图像的色空间划分为具有主色空间和从属色空间的多级的树形结构;为所述主色空间和从属色空间形成量化描述信息,其中,每一量化描述信息包括用于表示均匀量化或非均匀量化的量化类型信息,并且递归地包括与当前色空间的从属色空间相关的信息;以及,其中,所述比较特征的步骤是基于所述量化描述信息来执行的。
为了实现上述目的,在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,色空间量化描述信息包括:用于执行从属色空间的均匀量化或非均匀量化,以便搜索基于内容的多媒体的信息。
为了实现上述目的,在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,量化描述信息的从属色空间结构构成连续色空间的特定集合,以便搜索基于内容的多媒体。
为了实现上述目的,在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,量化描述信息的从属色空间结构构成连续色空间的特定集合,并以特定集合内色空间的限制范围容量的顺序执行可缩放的量化描述(scalable quantization description),以便搜索基于内容的多媒体。
为了实现上述目的,在多媒体由颜色信息表示并且多媒体搜索的目标是静止图像或移动图像时,色空间的量化描述信息具有被划分为主色空间和从属色空间的多级的树形结构,包括用于表示均匀量化或非均匀量化的量化类型信息,包括用于表示构成色空间的分量数目(num_component)的信息,包括用于表示所划分的每个从属色空间的限制范围的信息,以及包括用于表示在均匀量化中色空间的划分数目的信息,以便搜索基于内容的多媒体。
为了实现上述目的,当用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息进一步包括用于表示色空间的不变轴(persistent axis)的信息,该信息被描述为大于1并小于分量数目(num_component)。
附图说明
图1表示根据本发明用于搜索基于内容的多媒体的搜索装置;
图2表示根据本发明的色空间量化描述符的概念性结构;
图3表示根据本发明实施例的色空间量化描述结构;
图4表示根据本发明另一个实施例的色空间量化描述结构;
图5表示根据本发明的色空间量化的例子;
图6表示图5的色空间量化的三维例子;
图7表示图5的H,S,V色空间的三级量化的例子;
图8表示根据本发明另一个实施例的色空间量化描述结构的概念性结构;
图9表示根据本发明另一个实施例的图8的色空间量化描述结构。
具体实施方式
下面将参考附图对本发明的实施例进行详细说明。
图1是表示根据本发明用于搜索基于内容的多媒体的多媒体搜索装置的方框图。
换句话说,图1表示使用色空间量化描述信息的静止图像或移动图像搜索装置的例子。
如图1所示,其包括查询部分101,取出部分102,存储装置103,响应部分104。下面对其操作进行详细说明。
此处,查询部分101,取出部分102,存储装置103,和响应部分104可以由多个计算机的组合体或连接到计算机或通信设备的存储设备构成。
首先,可以由查询部分101输入的查询是用于搜索的抽样图像或概略显示查询图像的颜色分布特征的图像调色板(image pallet)。
此处,查询部分101是用于输入用户的搜索请求图像的输入装置,例如键盘或鼠标。
此外,可以由查询部分101输入的查询可以是作为词或句子的描述查询图像特征的关键字。
此外,可以通过使用其它附加的存储装置将可以由查询部分101输入的查询存储为特征形式,并且当该查询是由颜色信息表示的图像时,可以在色空间量化后将其存储。取出部分102包括图像搜索引擎,并通过将经查询部分101输入的查询与存储装置103中存储的图像进行比较来选择一个或多于一个图像。
换句话说,取出部分102提取经查询部分101输入的查询中的图像特征,并将其与从存储装置103中所存储的图像中提取的特征进行比较。
此后,取出部分102根据比较结果选择对应于该查询的至少一个目标图像,并在有多个目标图像对应于该查询时,额外计算显示与该查询的一致程度的数字值。此外,在图像的特征是颜色信息时,进行了关于图像的色空间的量化之后,取出部分102将该查询的特征与目标图像进行比较。
此后,当存在从查询图像或目标图像提前提取的特征并且无需额外的特征提取时,查询部分101或存储装置103比较提前提取的特征。
存储装置103用于存储待搜索的图像,其存储通过提取存储在装置中的图像特征提前提取的特征信息。
此外,在所提取的特征信息是关于颜色时进行量化之后,存储装置103存储原始图像。此处,存储装置103可以是连接到一个存储装置或一个通信装置的多个存储装置。
当存在多个搜索结果图像并且它们可以找到对应于该查询的数字值时,响应部分104可以按照数字值的顺序显示结果图像。
此处,响应部分104显示在取出部分102中搜索的结果图像,其可以被构造为屏幕显示装置。
图2表示根据本发明的色空间量化描述符的概念性结构。换句话说,其概略地表示图1的图像搜索装置中使用的根据本发明的色空间量化描述符的概念性结构。
首先,在色空间量化描述符201中,一个量化描述符包括均匀量化描述符202。
此外,在色空间量化描述符201中,该一个量化描述符递归地包括多个量化描述符201。
在当前色空间被均匀划分时,量化描述符201描述色空间的维度和均匀量化描述符202。
同时,在当前色空间被非均匀划分时,量化描述符201递归地描述色空间的维度和色空间量化描述符201。
因为量化描述符201包括用于从属色空间的多个量化描述符,因此形成一个树形结构。
图3表示根据本发明实施例的色空间量化描述结构。换句话说,图3描述图2的色空间量化描述符的实施例。
如图3所示,量化描述符301和分量范围信息302对应于图2的量化描述符201,均匀量化描述符303对应于图2的均匀量化描述符202。
首先,量化描述符301包括量化类型(quantization_type),和分量数目(num_component)。
此外,量化描述符301递归地包括色空间量化描述符或均匀量化描述符303。
此处,量化类型通过选择均匀量化或非均匀量化之中的至少一个进行描述。此外,量化类型描述当前色空间的从属色空间的量化是均匀还是非均匀地进行。
此外,在量化类型中,分量数目由一个整数描述,该整数描述待执行量化的色空间的维度。
换句话说,确定是在当前色空间量化描述符之下递归地描述色空间量化描述符,还是在当前色空间量化描述符之下描述均匀量化描述符。
因此,当量化类型是均匀时,均匀量化描述符303被描述为大于1但小于分量数目(num_component),不包括递归色空间描述符。
同时,当量化类型是非均匀时,色空间量化描述符被描述为与待划分的从属色空间的数目相同,但是不描述均匀量化描述符303。
例如,当非均匀地进行H,S,V色空间的量化时,量化描述符301将量化类型描述为非均匀量化,分量数目被描述为表示H,S,V色空间维度的“3”。换句话说,其描述了H轴,S轴,V轴的三维色空间。
反之,当均匀地进行H,S,V色空间的量化时,均匀量化描述符303被描述为大于1但小于分量数目3。
分量范围302描述当前色空间范围的上限和下限,其被描述为与参与形成当前色空间的轴的数目相同,即大于1并小于分量数目(num_component)。
此外,分量范围302描述用于表示划分色空间轴的信息(idref)和用于表示开始位置(纯度)和结束位置(纯度)的信息(start,end)。
例如,为了描述通过利用V轴(0~255范围)划分H,S,V色空间进行的量化,分量范围可以被描述为idref=V,start=0,end=100;idref=V,start=100,end=200;idref=V,start=200,end=255。
此外,如上所述,在H,S,V色空间的量化中,分量数目(num_component)是3,分量范围信息302可以被写为大于1并且小于3。换句话说,其可以仅关于V描述,或者关于V,H描述,或者关于H,S,V描述。
利用用于表示划分色空间轴的信息(idref)和划分数目(num_bins)写入均匀量化描述303,因此其描述了关于每个色空间轴量化为从属色空间的划分数目。
因此,当执行H,S,V色空间的V轴的三划分量化时,其可以被描述为idref=V,num_bins=3。
图4表示根据本发明另一个实施例的色空间量化描述结构。
如图4所示,量化描述符401和分量范围信息402对应于图2的量化描述符201,均匀量化描述符403对应于图2的均匀量化描述符202。
量化描述符401包括量化类型(quantization_type),分量数目(num_component),并递归地包括与量化类型一致的色空间量化描述符或均匀量化描述符403。
量化类型通过在均匀量化(均匀)或非均匀量化(非均匀)之间选择至少一个来写入,并且表示当前色空间的从属色空间的量化是均匀还是非均匀进行的。
此外,在量化类型中,用整数描述分量数目,该整数描述了待执行量化的色空间的维度。
换句话说,根据量化描述符401的量化类型确定是在当前色空间量化描述符之下递归地描述色空间量化描述符,还是在当前色空间量化描述符之下描述均匀量化描述符。
因此,当量化类型是均匀时,均匀量化描述符403被描述为与分量数目(num_component)相同,不包括递归色空间描述符。
当量化类型是非均匀时,该色空间量化描述符被描述为与待划分的从属色空间的数目相同,因此不描述均匀量化描述符403。
例如,当非均匀地进行H,S,V色空间的量化时,量化描述符401表示作为非均匀量化的量化类型,分量数目被表示为代表H,S,V色空间维度的“3”。换句话说,其显示H轴,S轴,V轴的三维色空间。
反之,当均匀地进行H,S,V色空间的量化时,均匀量化描述符403被写入为“3”。
分量范围402表示当前色空间范围的上限和下限,描述与分量数目(num_component)相同。即,与在形成从属色空间时被划分的轴的数目相同,并且描述用于显示待划分的色空间的开始位置(纯度)和结束位置(纯度)的开始(start),结束(end)信息。
此外,如上所述,在H,S,V色空间的量化中,分量数目(num_component)是3,量化范围信息402可被写为H,S,V的3。
待划分的色空间的划分数目(num_bins)被在均匀量化描述符403中描述,因此其表示在当前色空间之下将关于每个色空间轴划分多少从属色空间。
图5表示根据本发明的色空间量化的例子。换句话说,其描述根据本发明由图3或图4的量化描述符写入的关于H,S,V色空间的描述信息。
如图5所示,将H,S,V色空间量化为16个从属色空间。换句话说,描述了色空间的每个从属色空间的限制范围。
首先,级A表示整个H,S,V色空间(H=0~360,S,V=0~255)。换句话说,其包括H(色调),S(饱和度),V(纯度)三维(三轴)色空间的量化, 因此写入量化描述符的分量数目(num_component)是“3”。
级B表示从属色空间的第一级。换句话说,色空间被关于V轴划分为三个部分,即V=0(开始)~V=100(结束),V=100(开始)~V=200(结束),V=200(开始)~V=255(结束)。
此外,在V=100~V=200的从属色空间中,其被划分为两个部分,即S=0(开始)~S=150(结束)和S=150(开始)~S=255(结束),在V=0~V=100的从属色空间中,被划分为S=0(开始)~S=255(结束)。
此外,在V=200~V=255的从属色空间中,将其划分为三个部分,即S=0(开始)~S=100(结束),S=100(开始)~S=200(结束),S=200(开始)~S=255(结束)。
级C表示从属色空间的第二级。换句话说,在V=200~V=255和S=0~S=100的所划分从属色空间中,对H轴进行划分。此外,关于S=100~S=200对H轴进行三划分,即60°,180°,300°。此外,关于S=200~S=255对H轴进行图6的六划分,即30°,90°,150°,210°,270°,330°,因此进行从属色空间的总共10个划分。
此外,在级C,在V=100~V=200和S=0~S=150的所划分从属色空间中,在H轴进行划分,即0°,360°。在S=150~S=255的从属色空间中对H轴进行三划分,即60°,180°,300°,在V=0~V=100的从属色空间中构成H=0°,360°色空间。
此后,详细说明在图3的量化描述符中描述图5的色空间量化描述信息。
首先,级A色空间中量化描述符301中的量化类型和分量数目被描述为quantization_type=non-uniform,num_component=3。
此外,级A量化描述信息的分量范围信息302是H,S,V的三色空间,因此其被写为大于1并且小于3。此处,关于idref=H其被描述为start=0,end=360,关于idref=S被描述为start=0,end=255,关于idref=V被描述为start=0,end=255。
关于级B的从属色空间,递归地描述关于V=200~V=255,V=100~V=200,V=0~V=100中每一个的级C从属色空间描述信息,并且分量范围信息被描述为大于1并小于3。
换句话说,在分量信息302中,在V=200~V=255和S=0~S=100,其被描述为idref=S,start=0,end=100,即均匀量化,在V=200~V=255,S=0~S=100,H=0,360(划分数目1),因此均匀量化描述信息303被描述为idref=H,num_bins=1。
此外,在分量范围信息302中,在V=200~V=255和S=100~S=200,其被描述为idref=S,start=100,end=200,即均匀量化,在V=200~V=255和S=100~S=200,H=60,180,300(划分数目3),因此均匀量化描述信息303被描述为idref=H,num_bins=3。
此外,在分量范围信息302中,在V=200~V=255和S=200~S=255,其被描述为idref=S,start=200,end=255,即均匀量化,在V=200~V=255和S=200~S=255,H=30,90,150,210,270,330(划分数目6),因此均匀量化描述信息303被描述为idref=H,num_bins=6。
同时,在分量范围信息302中,在V=100~V=200和S=0~S=150,其被描述为idref=S,start=0,end=150,即均匀量化,在V=100~V=200和S=0~S=150,H=0,360(划分数目1),因此均匀量化描述信息被描述为idref=H,num_bins=1。
此外,在分量范围信息302中,在V=100~V=200和S=150~S=255,其被描述为idref=S,start=150,end=255,即均匀量化,在V=100~V=200和S=150~S=255,H=60,180,300(划分数目3),因此均匀量化描述信息303被描述为idref=H,num_bins=3。
同时,在分量范围信息302中,在V=0~V=100和S=0~S=255,其被描述为idref=V,start=0,end=100,即均匀量化,H=0,360(划分数目1),因此均匀量化描述信息303被描述为idref=H,num_bins=1。
利用图3的量化描述符对图5的描述可以由下面的XML语句集(Extensible Markup Language Schema)说明。
<ColorQuantizationD Quantization=″non-uniform″Num Components=″3″>
<ComponentRange idref=″H″start=″0″end=″360″/>
<ComponentRange idref=″S″start=″0″end=″255″/>
<ComponentRange idref=″V″start=″0″end=″255″/>
<ColorquantizationD>
<ComponentRange idref=″V″start=″200″end=″255″>
<colorQuantizationD Quantization=″uniform″>
<ComponentRange idref=″S″start=″0″end=″100″>
<bin_number idref=″H″>1</bin_number>
</ColorQuantizationD>
ColorQuantizationD Quantization=″uniform″>
<ComponentRange idref=″S″start=″100″end=″200″>
<bin_number idref=″H″>3</bin_number>
</ColorquantizationD>
<ColorQuantizationD Quantization=″uniform″>
<ComponentRange idref=″S″start=″200″end=″255″>
<bin_number idref=″H″>6</bin_number>
</ColorQuantizationD>
</ColorQuantizationD.
<colorQuantizationD>
<ComponentRange idref=″V″start=″100″end=″200″>
<ColorquantizationD quantization=″uniform″>
<ComponentRange idref=″S″start=″0″end=″150″>
<bin_number idref=″H″>1</bin_number>
</ColorquantizationD>
,colorQuantizationD Quantization=″uniform″>
<ComponentRange idref=″S″start=″150″end=″255″
<bin_number idref=″H″>3</bin_number>
</ColorquantizationD>
</ColorQuantizationD>
<colorQuantizationD Quantization=″uniform″>
<ComponentRange idref=″V″start=″0″end=″100″>
<bin_number idref=″H″>1</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>
此后,详细说明对图5的关于图4的量化描述符的色空间量化描述信息的描述。
首先,将关于级A色空间在量化描述符401中描述的量化类型和分量数目被描述为quantization_type=non-uniform,num_component=3。
此外,级A量化描述信息的分量范围信息被描述为3,因为它是H,S,V的三维色空间。此处,其关于每个H,S,V被描述为start=0,end=360,start=0,end=255,start=0,end=255。
对于级B的从属色空间,关于H=0~H=360,S=0~S=255,V=200~V=255色空间,H=0~H=360,S=0~S=255,V=100~V=200色空间,H=0~H=360,S=0~S=255,V=0~V=100色空间进行描述。
此外,在H=0~H=360,S=0~S=255,V=200~V=255色空间中,关于S=0~S=100,S=100~S=200,S=200~S=255进行从属色空间描述,并进行关于级C(H轴划分)的从属色空间描述。
此外,在H=0~H=360,S=0~S=255,V=100~V=200色空间中,关于S=0~S=150,S=150~S=255进行从属色空间描述,并对每个部分进行关于级C(H轴划分)的从属色空间描述。
此外,在H=0~H=360,S=0~S=255,V=0~V=100色空间中,关于S=0~S=255进行从属色空间描述,并对每个部分进行关于级C(H轴划分)的从属色空间描述。
如上所述,在分量范围信息402中描述关于每个从属色空间的范围,并在均匀量化描述符403中将有关均匀量化的单元条(bin)数目描述为与分量数目相同。
在关于每个量化空间的分量范围信息402和均匀量化描述信息403中描述的单元条数目与图3的情况相似。反之,不同的是,分量范围信息402全部被描述为与分量数目(num_component)相同。
利用图4的量化描述符对图5的写入可以由下面的XML语句集说明。
<ColorQuantizationD Quantization=″non_uniform″NumComponents=″3″>
<ComponentRange>
<start>0</start><end>360</end>
<start>0</start><end>255</end>
<start>0</start><end>255</end>
</ComponentRange>
<ColorQuantizationD>
<ComponentRange>
<start>0</start><end>360</end>
<start>0</start><end>255</end>
<start>200</start><end>255</end>
</ComponentRange>
<ColorQuantizationD quantization=″uniform″>
<ComponentRange>
<start>0</start><end>360</end>
<start>0</start><end>100</end>
<start>200</start><end>255</end>
</ComponentRange>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
<ColorQuantizationD quantization=″uniform″>
<ComponentRange>
<start>0</start><end>360</end>
<start>100</start><end>200</end>
<start>200</start><end>255</end>
</ComponentRange>
<bin_number>3,/bin_number>
<bin_number>1<bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
<colorquantizationD Quantization=″uniform″>
<ComponentRange>
<start>0</start><end>360</end>
<start>200</start><end>255</end>
<start>200</start><end>255</end>
</ComponentRange>
<bin_number>6</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorquantizationD>
</colorquantizationD>
<ColorQuantizationD>
<ComponentRange>
<start>0</start><end>360</end>
<start>0</start><end>255</end>
<start>100</start><end>200</end>
</ComponentRange>
<ColorQuantizationD Quantization=″uniform″>
<ComponentRange>
<start>0</start><end>360</end>
<start>0</start><end>150</end>
<start>100</start><end>200</end>
</ComponentRange>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorquantizationD>
<ColorQuantization>
<ComponentRange quantization=″uniform″>
<start>0</start><end>360</end>
<start>0</start><end>360</end>
<start>0</stat><end>360</end>
</ComponentRange>
<bin_number>3</bin_number>
<bin_number>1</bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
</ColorQuantization>
<ColorQuantizationD Quantization=″uniform″>
<ComponentRange>
<start>0</start><end>360</end>
<start>0</start><end>360</end>
<start>0</start><end>360</end>
</ComponentRange>
<bin_number>1<bin_number>
<bin_number>1<bin_number>
<bin_number>1</bin_number>
</ColorQuantizationD>
</ColorQuantizationD>
图6表示图5的色空间量化的三维例子。换句话说,在图3或图4所述的分量范围信息中描述从属色空间的分量范围。
图7表示根据图5的H,S,V色空间的三级量化的例子。换句话说,图7表示通过根据本发明的递归树形结构,有可能对图5的色空间量化进行可缩放的从属色空间使用。
例如,当利用三级(A,B,C)进行H,S,V色空间的量化时,进行关于一个完好的H,S,V色空间在每级中描述的色空间描述符组的量化。
换句话说,H,S,V色空间在级A中用V轴划分,在级B中用S轴划分,在级C中用H轴划分。此处,在进行级A,B和C的同时每级中描述的描述符组进行更详细的量化。
因此,在粗糙量化请求的情况下,仅使用级A中描述的量化描述符信息,而不能使用级B和C中的量化描述符。
此外,一旦通过量化描述符描述了色空间描述符,无需额外的描述或操作就可得到比最详细(maximum detailed)量化色空间详细程度较低(less detailed)的色空间量化。
因此,可以根据移动图像或静止图像的特征,搜索的精度,通过使用量化描述信息或通过使用对应于每个特征的不同量化描述信息来进行量化。
例如,在概略搜索请求中,通过与级B匹配来进行量化。此外,在精确搜索请求中,通过与级C匹配来进行量化。
在另一个例子中,通过进行级C量化关于从属色空间中的V=200~V=255范围进行更详细的量化。此外,通过进行级B量化对V=0~V=200范围进行详细程度较低的量化,因此本发明可以根据每个特征采用不同的量化级。
图8表示根据本发明另一个实施例的色空间量化描述结构的功能性结构。
如图8所示,色空间量化描述符801包括均匀量化描述符802和非均匀量化描述符803。
此外,色空间量化描述符801递归地包括多个色空间量化描述符801,因此色空间量化描述符801可具有递归树形结构。
此外,当均匀划分当前色空间的从属色空间时,色空间量化描述符801描述均匀量化描述符802,当非均匀划分当前色空间的从属色空间时,色空间量化描述符801描述非均匀量化描述符803。
因此,量化描述符801由于包括多个属体量化描述符而具有树形结构。
图9表示根据本发明另一个实施例的图8的色空间量化描述结构。
如图9所示,量化描述符901包括量化类型信息(quantization_type),关于量化数目的信息(num_component),和关于从属色空间数目的信息(num_subspaces)。
此外,量化描述符901递归地具有至少0并且不大于从属色空间数目(num_subspaces)的色空间量化描述符,并根据量化类型具有均匀量化描述符902或非均匀量化描述符904。
均匀量化描述符902描述大于0并且不大于分量数目(num_component),并包括量化分量(quantization_component)和用于描述单元条数目的属体单元条数目值信息903。
反之,非均匀量化描述符904描述大于0并且不大于分量数目(num_component),并包括量化分量(quantization_component)和与(色空间数目-1)一样的用于描述从属色空间边界的属体边界值信息905。
如上所述,本发明通过高效地进行色空间量化,可以改进静止图像和移动图像搜索装置的性能。
此外,当本发明应用于搜索大容量图像存储装置的搜索装置时,可以在搜索基于内容的多媒体时迅速地进行搜索。
此外,当本发明应用于基于文本的搜索装置时,用户可以通过额外地使用本发明来轻松地搜索所请求的图像内容。
此外,本发明可以对诸如H,S,V,RGB,HMMD(Hue/Min/Max/Difference)色空间的通用n维色空间进行量化。
此外,在本发明中,在构造为树形的整个从属色空间结构中形成连续色空间的特定集合,整个色空间可以用该集合描述,因此可以根据该特征进行不同的量化。
此外,在本发明中,在构造为树形的整体从属色空间结构中有多个连续色空间的特定集合,因此可以按照特定集合内色空间的限制范围容量的顺序进行可缩放的量化描述。
例如,可以通过与多个属体树中的特定级匹配,对应于诸如概略搜索或精确搜索等的用户请求来进行量化,并且它们的组合也是可能的,因此本发明能够自适应地、可变地、有选择地进行量化。
Claims (25)
1.一种多媒体搜索方法,包括以下步骤:
输入搜索请求图像;
在搜索请求图像中提取图像特征;
当所提取的图像特征是颜色信息时,进行关于该搜索请求图像的色空间的量化;
将色空间量化后的搜索请求图像的特征与待搜索的目标图像进行比较;
根据比较结果,选择与搜索请求图像相对应的至少一个目标图像;
输出所选择的至少一个目标图像,
其中,所述进行色空间的量化的步骤包括以下步骤;
将相应图像的色空间划分为具有主色空间和从属色空间的多级的树形结构;
为所述主色空间和从属色空间形成量化描述信息,其中,每一量化描述信息包括
用于表示均匀量化或非均匀量化的量化类型信息,并且递归地包括与当前色空间的从属色空间相关的信息;以及,
其中,所述比较特征的步骤是基于所述量化描述信息来执行的。
2.根据权利要求1的多媒体搜索方法,其中色空间的量化描述信息进一步包括用于表示构成色空间的分量的数目的信息。
3.根据权利要求1的多媒体搜索方法,其中色空间的量化描述信息进一步包括用于表示每个划分的色空间的限制范围的信息。
4.根据权利要求1的多媒体搜索方法,其中色空间的量化描述信息进一步包括在表示均匀量化时用于表示色空间的划分数目的信息。
5.根据权利要求3或4的多媒体搜索方法,其中用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息进一步包括用于表示色空间的相关轴的信息。
6.根据权利要求5的多媒体搜索方法,其中用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息被描述为大于1并且小于分量数目的数。
7.根据权利要求1的多媒体搜索方法,其中每一量化描述信息还包括用于描述从属色空间的数目的信息、用于描述均匀量化的信息、和用于描述非均匀量化的信息。
8.根据权利要求1的多媒体搜索方法,其中色空间的量化描述信息进一步包括用于描述构成色空间的分量的数目的信息。
9.根据权利要求1的多媒体搜索方法,其中色空间的量化描述信息进一步包括用于描述所划分的色空间之间的边界的信息。
10.根据权利要求1的多媒体搜索方法,其中色空间的量化描述信息进一步包括用于在描述均匀量化时描述色空间的划分数目的信息。
11.根据权利要求9或10的多媒体搜索方法,其中用于描述所划分色空间之间边界的信息和用于描述均匀划分的色空间的划分数目的信息进一步包括用于描述色空间的相关轴的信息。
12.根据权利要求11的色空间量化描述符结构,其中用于描述所划分色空间之间边界的信息和用于描述均匀划分的色空间的划分数目的信息被描述为大于0并且不大于分量数目的数。
13.一种多媒体搜索装置,包括:
查询部件,用于输入搜索请求图像;
存储设备,用于存储待搜索的目标图像;
取出部件,用于在搜索请求图像中提取图像特征,当所提取的图像特征是颜色信息时,进行关于该搜索请求图像的色空间的量化,将色空间量化后的搜索请求图像的特征与待搜索的目标图像进行比较,以及根据比较结果,选择与搜索请求图像相对应的至少一个目标图像;
响应部件,用于输出所选择的至少一个目标图像,
其中,所述取出部件通过将相应图像的色空间划分为具有主色空间和从属色空间的多级的树形结构、并为所述主色空间和从属色空间形成量化描述信息来进行色空间的量化,其中,每一量化描述信息包括用于表示均匀量化或非均匀量化的量化类型信息,并且递归地包括与当前色空间的从属色空间相关的信息;以及,
其中,所述取出部件基于所述量化描述信息来比较特征。
14.根据权利要求13的多媒体搜索装置,其中色空间的量化描述信息进一步包括用于表示构成色空间的分量的数目的信息。
15.根据权利要求13的多媒体搜索装置,其中色空间的量化描述信息进一步包括用于表示每个划分的色空间的限制范围的信息。
16.根据权利要求13的多媒体搜索装置,其中色空间的量化描述信息进一步包括在表示均匀量化时用于表示色空间的划分数目的信息。
17.根据权利要求15或16的多媒体搜索装置,其中用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息进一步包括用于表示色空间的相关轴的信息。
18.根据权利要求18的多媒体搜索装置,其中用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息被描述为大于1并且小于分量数目的数。
19.根据权利要求13的多媒体搜索装置,其中每一量化描述信息还包括用于描述从属色空间的数目的信息、用于描述均匀量化的信息、和用于描述非均匀量化的信息。
20.根据权利要求13的多媒体搜索方法,其中所述用于描述均匀量化的信息描述单元条的数目,用于描述非均匀量化的信息描述从属色空间的边界值。
21.根据权利要求13的多媒体搜索装置,其中色空间的量化描述信息进一步包括用于表示构成色空间的分量的数目的信息。
22.根据权利要求13的多媒体搜索装置,其中色空间的量化描述信息进一步包括用于表示每个划分的色空间的限制范围的信息。
23.根据权利要求13的多媒体搜索装置,其中色空间的量化描述信息进一步包括在表示均匀量化时用于表示色空间的划分数目的信息。
24.根据权利要求22或23的多媒体搜索装置,其中用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息进一步包括用于表示色空间的相关轴的信息。
25.根据权利要求24的多媒体搜索装置,其中用于表示色空间的限制范围的信息和用于表示均匀量化色空间的划分数目的信息被描述为大于1并且小于分量数目的数。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR62844/1999 | 1999-12-27 | ||
KR19990062844 | 1999-12-27 | ||
KR10-2000-0011333A KR100422697B1 (ko) | 1999-12-27 | 2000-03-07 | 색공간 양자화 묘사자 |
KR11333/2000 | 2000-03-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1302048A CN1302048A (zh) | 2001-07-04 |
CN100392676C true CN100392676C (zh) | 2008-06-04 |
Family
ID=26636554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB001366955A Expired - Fee Related CN100392676C (zh) | 1999-12-27 | 2000-12-27 | 多媒体搜索装置和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6850639B2 (zh) |
EP (1) | EP1113394A3 (zh) |
JP (1) | JP3452547B2 (zh) |
KR (1) | KR100422697B1 (zh) |
CN (1) | CN100392676C (zh) |
CA (1) | CA2329094C (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100364753B1 (ko) | 1999-11-19 | 2002-12-16 | 엘지전자 주식회사 | 칼라 히스토그램의 빈값 양자화 방법 |
JP3676259B2 (ja) * | 2000-05-26 | 2005-07-27 | エルジー電子株式会社 | Hmmdカラースペースに基づいたカラー量子化方法とマルチメディア |
GB2364590B (en) * | 2000-07-07 | 2004-06-02 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
EP1174804A3 (en) * | 2000-07-21 | 2005-07-20 | Lg Electronics Inc. | Method for searching multimedia using progressive histogram |
KR100439371B1 (ko) * | 2000-09-08 | 2004-07-09 | 엘지전자 주식회사 | 히스토그램을 이용한 멀티미디어 검색방법 |
KR100413341B1 (ko) * | 2001-03-20 | 2003-12-31 | 주식회사 코난테크놀로지 | Hsv 칼라 히스토그램 추출 방법 |
KR20070084952A (ko) * | 2006-02-22 | 2007-08-27 | 삼성전자주식회사 | 통신 시스템에서 신호 수신 장치 및 방법 |
JP4973729B2 (ja) * | 2007-06-07 | 2012-07-11 | 富士通株式会社 | 動画像類似判定装置、および動画像類似判定方法 |
KR100951638B1 (ko) * | 2007-12-18 | 2010-04-07 | 한국전자통신연구원 | 정지영상 서술자를 이용한 유씨씨 식별 방법 및 그 시스템 |
US8208731B2 (en) * | 2008-04-07 | 2012-06-26 | Microsoft Corporation | Image descriptor quantization |
JP5366676B2 (ja) * | 2009-06-22 | 2013-12-11 | キヤノン株式会社 | 撮像装置及びその制御方法とプログラム、記憶媒体 |
CN103106668B (zh) | 2011-11-09 | 2016-08-03 | 佳能株式会社 | 基于颜色直方图来描述图像区域的方法和系统 |
CN102881026B (zh) * | 2012-08-15 | 2015-01-07 | 大连理工大学 | 一种具有透明度信息的图像的调色板装置与生成方法 |
US9445109B2 (en) | 2012-10-16 | 2016-09-13 | Microsoft Technology Licensing, Llc | Color adaptation in video coding |
US9936199B2 (en) * | 2014-09-26 | 2018-04-03 | Dolby Laboratories Licensing Corporation | Encoding and decoding perceptually-quantized video content |
CN105574900B (zh) * | 2015-12-16 | 2018-12-25 | 上海华力创通半导体有限公司 | 基于hmmd颜色空间的颜色量化系统及颜色量化方法 |
US10269326B2 (en) | 2015-12-19 | 2019-04-23 | Intel Corporation | Method and apparatus for color buffer compression |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1207532A (zh) * | 1997-07-31 | 1999-02-10 | 三星电子株式会社 | 在计算机中检索图像信息的装置和方法 |
CN1208483A (zh) * | 1996-11-15 | 1999-02-17 | 卡西欧计算机株式会社 | 图像处理设备 |
US5926221A (en) * | 1995-08-18 | 1999-07-20 | Texas Instruments Incorporated | Method and apparatus for improved video coding using a center-biased orthogonal search technique and a zero block predictor module |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH087553B2 (ja) * | 1988-10-27 | 1996-01-29 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 色画像量子化方法及び装置 |
JPH0697459B2 (ja) * | 1991-06-20 | 1994-11-30 | インターナショナル・ビジネス・マシーンズ・コーポレイション | カラー画像領域管理装置及びカラー画像領域管理方法並びにカラー画像領域検索方法 |
US6463173B1 (en) * | 1995-10-30 | 2002-10-08 | Hewlett-Packard Company | System and method for histogram-based image contrast enhancement |
KR100229810B1 (ko) * | 1997-06-30 | 1999-11-15 | 전주범 | 영상 데이터베이스 검색방법 |
US6518981B2 (en) * | 1997-11-12 | 2003-02-11 | Canon Kabushiki Kaisha | Generating and using a color palette |
US6633407B1 (en) * | 1998-04-29 | 2003-10-14 | Lg Electronics, Inc. | HMMD color space and method for quantizing color using HMMD space and color spreading |
US6310969B1 (en) * | 1998-05-28 | 2001-10-30 | Lg Electronics Inc. | Color coordinate space structure and color quantizing and variable gray area designating method therein |
US6411953B1 (en) * | 1999-01-25 | 2002-06-25 | Lucent Technologies Inc. | Retrieval and matching of color patterns based on a predetermined vocabulary and grammar |
KR20010081894A (ko) * | 2000-02-18 | 2001-08-29 | 구자홍 | 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템 |
-
2000
- 2000-03-07 KR KR10-2000-0011333A patent/KR100422697B1/ko not_active IP Right Cessation
- 2000-12-19 CA CA002329094A patent/CA2329094C/en not_active Expired - Fee Related
- 2000-12-20 EP EP00311438A patent/EP1113394A3/en not_active Withdrawn
- 2000-12-21 US US09/740,847 patent/US6850639B2/en not_active Expired - Fee Related
- 2000-12-22 JP JP2000390160A patent/JP3452547B2/ja not_active Expired - Fee Related
- 2000-12-27 CN CNB001366955A patent/CN100392676C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5926221A (en) * | 1995-08-18 | 1999-07-20 | Texas Instruments Incorporated | Method and apparatus for improved video coding using a center-biased orthogonal search technique and a zero block predictor module |
CN1208483A (zh) * | 1996-11-15 | 1999-02-17 | 卡西欧计算机株式会社 | 图像处理设备 |
CN1207532A (zh) * | 1997-07-31 | 1999-02-10 | 三星电子株式会社 | 在计算机中检索图像信息的装置和方法 |
Non-Patent Citations (2)
Title |
---|
Descriptors for Color in HSV color space (proposals P563and P564). JENS-RAINER OHM, BELA MAKAI.MPEG-7 PROPOSALS. 1999 |
Descriptors for Color in HSV color space (proposals P563and P564). JENS-RAINER OHM, BELA MAKAI.MPEG-7 PROPOSALS. 1999 * |
Also Published As
Publication number | Publication date |
---|---|
US6850639B2 (en) | 2005-02-01 |
KR100422697B1 (ko) | 2004-03-12 |
JP2001229370A (ja) | 2001-08-24 |
EP1113394A3 (en) | 2003-03-26 |
JP3452547B2 (ja) | 2003-09-29 |
CA2329094C (en) | 2007-07-03 |
CN1302048A (zh) | 2001-07-04 |
EP1113394A2 (en) | 2001-07-04 |
KR20010066745A (ko) | 2001-07-11 |
CA2329094A1 (en) | 2001-06-27 |
US20010005426A1 (en) | 2001-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100392676C (zh) | 多媒体搜索装置和方法 | |
CN102521618B (zh) | 局部描述子的提取方法、图片检索方法及图像匹配方法 | |
US6163622A (en) | Image retrieval system | |
US9043316B1 (en) | Visual content retrieval | |
Anandh et al. | Content based image retrieval system based on semantic information using color, texture and shape features | |
RU2005105582A (ru) | База данных и система управления знаниями | |
KR20010081894A (ko) | 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템 | |
CN101777064A (zh) | 图片搜索系统及方法 | |
US11106708B2 (en) | Layered locality sensitive hashing (LSH) partition indexing for big data applications | |
RU2633178C2 (ru) | Способ и система базы данных для индексирования ссылок на документы базы данных | |
CN102467513A (zh) | 图片搜索方法和系统 | |
KR20180110959A (ko) | 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법 | |
CN104115162A (zh) | 图像分析 | |
CN110825902B (zh) | 特征相似性搜索的实现方法、装置、电子设备及存储介质 | |
Ren | A comparative study of irregular pyramid matching in bag-of-bags of words model for image retrieval | |
Wong et al. | Merged-color histogram for color image retrieval | |
CN113609313A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
van den Broek et al. | Multimedia for art retrieval (m4art) | |
KR101052220B1 (ko) | 검색어를 포함하는 스카이라인 질의 수행장치 및 방법 | |
KR100824829B1 (ko) | 알지비 컬러 이미지 특징정보 추출에 메디언 필터링을이용한 이미지 검색 방법 | |
JP2798283B2 (ja) | 画像検索装置 | |
Janet et al. | Vector quantization based index cube model for image retrieval | |
Nguyen et al. | Space-filling curve for image dynamical indexing | |
Theoharatos et al. | Combining self-organizing neural nets with multivariate statistics for efficient color image retrieval | |
JPH05242161A (ja) | 画像検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080604 Termination date: 20111227 |