CN101866352B - 一种基于图像内容分析的外观设计专利检索方法 - Google Patents

Abstract

本发明公开了一种基于图像内容分析的外观设计专利检索方法，该方法首先提取目标区域的轮廓与其外接矩形的距离作为形状特征，采用4-叉树的形式对目标图像进行分块，将块中目标像素数目与块面积的比值作为结构特征，检索时，利用这两种特征加权计算查询图像与数据库中图像的相似度，以相似度的大小进行排序返回检索结果图像；本发明采用基于先验知识的背景去除方法，采用目标的轮廓与外接矩形的距离作为形状特征，采用四叉树分解块中的目标像素比值作为结构特征；利用本发明的方法能有效地解决目前外观设计专利检索方法中检索时间长、效率低且无法分析图像内容的问题，可大大提高外观专利图像检索效率。

Description

一种基于图像内容分析的外观设计专利检索方法

技术领域

本发明涉及一种图像检索技术，属于多媒体检索、计算机视觉、图像处理、模式识别等领域，特别涉及一种基于图像内容分析的外观设计专利检索方法。

背景技术

随着经济全球化的深入发展和知识经济的蓬勃兴起，专利发展水平已成为衡量一个地区综合实力、发展能力和核心竞争力的战略性标志。外观设计专利一直被誉为“小专利，大市场”，在市场竞争中发挥着举足轻重的作用，是增强企业竞争力的重要因素。从发达国家来看，无论是申请专利、实施专利，还是运用知识产权战略进行竞争，企业和行业都是最为活跃的主体。企业之间的技术竞争归根结底表现在两个方面，一个是在获得新技术方面进行竞争，另一个是在利用新技术方面进行竞争，通过加强专利文献利用，让企业利用成熟和先进技术，提高产品开发的起点和水平。作为专利信息的一个重要类型，外观设计专利文献详细阐述了产品外观设计内容，可为企业和设计者提供相关的专利技术信息并开阔思路，提高设计的起点和效率，避免重复研究，避免侵权行为，同时又可以找到技术突破口，指导企业设计人员的设计方向。有统计指出：从经济效益角度讲，专利文献的有效的被借鉴利用可以使得科研开发经费减少30％-40％，研究开发时间缩短50％-60％，大幅度地降低技术成本。

目前由于企事业单位知识产权保护和应用意识日益增强，外观设计专利申请的数量不断增多。以中国为例，到2009年底为止，授权的外观设计专利就达到114万余件，按照每个外观设计专利有6个视图计算，将有684多万张专利图。

面对数以百万的外观设计专利图像，如何快速、有效地查找感兴趣的外观设计专利是目前外观设计专利应用面临的一个重要问题。目前的实际应用的系统主要采取基于文字的检索方式，如通过输入专利号、专利名称等关键字进行检索。而我国专利法明确规定“外观设计专利权的保护范围以表示在图片或者照片中的该外观设计专利产品为准”，因此，外观专利图像是表达外观设计专利内容的主要载体，用户往往更关心外观设计图像的内容，因此该种方法不能有效地满足用户对基于图像内容检索的需求。

而基于内容的图像检索(CBIR，Content Based Image Retrieval)技术是对海量的图像数据进行检索时一个非常有效的途径，近年来，得到了越来越多的研究者和应用者的关注，并出现了许许多多的检索方法，但由于表征图像内容的底层视觉特征与人描述图像的高层语义之间存在着“鸿沟”，目前，设计一种通用、有效的图像检索方法还很困难。因此，有必要针对某种特定类型的图像特点进行设计检索方法，才能实现有效地检索。

发明内容

为了解决目前外观设计专利检索方法中效率低的问题，本发明提出一种基于图像内容分析的外观设计专利检索方法。本发明针对外观设计专利图像一般提供多视图、具有旋转约束的特点，设计了一种较傅立叶描述子和不变矩等常规方法能更好描述外观设计专利图像形状、结构内容的方法，更好地符合了人类视觉感受，能为外观设计企业和个人提供一种更有效的外观专利检索方式。

本发明的技术方案是：首先利用图像边界附近的若干非边缘采样点的R(红)、G(绿)、B(蓝)三个分量的均值作为背景特征进行背景去除，提取包含目标区域的目标图像并对目标图像进行归一化，然后提取目标区域的轮廓与其外接矩形的距离作为形状特征，采用4-叉树的形式对归一化后的目标图像进行分块，将块中的属于目标区域的像素个数与块面积的比值作为结构特征，最后在检索图像时，采用分层检索方式，先利用全局特征缩小检索图像范围，得到子集，再利用形状特征和轮廓特征加权计算查询图像与子集中图像的相似度，并以相似度的大小进行排序返回检索结果图像和专利号。

所述将若干采样点像素的R(红)、G(绿)、B(蓝)三个分量的均值作为背景特征进行背景去除，得到归一化目标图像的具体步骤为：首先对图像进行灰度化、边缘检测等处理，利用图像左、右、下三条边界附近的若干非边缘作采样点，分别计算这些采样点像素的R(红)、G(绿)、B(蓝)三个分量的均值并将三个分量的均值作为背景特征，把符合下列条件的像素作为背景区域，其余的作为目标区域；

|R-M_R|＜thr_R&&|G-M_G|＜thr_G&&|B-M_B|＜thr_B

其中：R、G、B分别为像素的RGB三个分量值；M_R、M_G、M_B分别为采样点RGB三个分量值的平均值；thr_R、thr_G、thr_B分别为RGB三个分量的阈值；&&为“与”运算符号；

将图像进行二值化，即使背景区域的像素值为0，目标区域的像素值为1，然后分别进行水平和垂直投影得到目标区域的上下、左右边界，取四条边界内的区域即目标区域的一个外接矩形构成一幅新的图像，作为目标图像，并对该图像按照长宽比例不变的形式进行缩放，使得其宽变为一个固定的宽度W，缩放后的图像即为归一化的目标图像。

所述将目标区域轮廓与其外接矩形的距离作为形状特征的具体方法如下：

1)将归一化后的目标图像进行边缘提取，得到其轮廓图C，记其外接矩形的宽为W，高度为H；

2)按照下式(1)-(4)的定义计算外接矩形的四条边到轮廓的距离矢量；

D_left(i)＝min{j|R(i，j)＝＝1}   (1)

D_right(i)＝W-max{j|R(i，j)＝＝1}(2)

D_up(j)＝min{i|R(i，j)＝＝1}(3)

D_down(j)＝H-max{i|R(i，j)＝＝1}(4)

其中i，j分别表示图像象素的行和列的变量：i＝1，2，...，H，j＝1，2，...，W；

3)对2)中计算得到的距离矢量D_left，D_right，D_up，D_down进行平滑处理，然后将其N等分的平均距离作为特征，如式(5)-(8)：

$F\_\mathrm{left}\left(k\right)=\frac{1}{W}*\frac{1}{w}\underset{l=1}{\overset{w}{\mathrm{\Σ}}}D\_\mathrm{left}(k*w+l)---\left(5\right)$

$F\_\mathrm{right}\left(k\right)=\frac{1}{W}*\frac{1}{w}\underset{l=1}{\overset{w}{\mathrm{\Σ}}}D\_\mathrm{right}(k*w+l)---\left(6\right)$

$F\_\mathrm{down}\left(k\right)=\frac{1}{H}*\frac{1}{h}\underset{l=1}{\overset{h}{\mathrm{\Σ}}}D\_\mathrm{down}(k*h+l)---\left(7\right)$

$F\_\mathrm{up}\left(k\right)=\frac{1}{H}*\frac{1}{h}\underset{l=1}{\overset{h}{\mathrm{\Σ}}}D\_\mathrm{up}(k*h+l)---\left(8\right)$

式中，w＝W/N，h＝H/N，分别表示水平、垂直边界中每等分包含的距离个数，

是尺度归一化因子，使得提取的特征不随轮廓外接矩形的大小变化而变化；

经过上述处理后，得到的外接矩形-轮廓距离特征：

F_c＝{F_c(i)}＝{F_left，F_right，F_down，F_up} i＝1，2，...，4*N

该特征矢量Fc即为形状特征，共4*N维。

所述采用4-叉树形式对归一化后的目标图像进行分块，将每个块中的属于目标区域的像素个数与块面积的比值作为结构特征的具体步骤如下：首先对归一化后的目标图像进行4-叉树分解，得到N2个图像块，记第i个块的大小为m×n，所覆盖的目标区域的面积为area_cover即属于目标区域的像素的个数，则第i个特征值表示为：

$\mathrm{Fg}\left(i\right)=\frac{\mathrm{area}\_\mathrm{cover}}{m*n},i=\mathrm{1,2},...,N2$

计算所有的图像块，得到的特征矢量Fg即为结构特征，共N2维。

本发明的特点：(1)将若干采样点像素的R(红)、G(绿)、B(蓝)三个分量的均值作为背景特征进行背景去除，得到归一化目标图像。(2)将目标区域轮廓与其外接矩形的距离作为形状特征；(3)采用4-叉树形式对归一化后的目标区域进行分块，将每个块中的属于目标区域的像素个数与块面积的比值作为结构特征。

本发明的优点：(1)计算量小且符合于多级检索的需求；(2)能较好地描述形状和结构的语义，一些检索实例结果表明本发明的检索结果能较好地符合人类的视觉感受；(3)利用本发明的方法能有效地解决目前外观设计专利检索方法中检索时间长、效率低且无法分析图像内容等问题，可大大提高外观专利图像检索效率。

附图说明

附图1为本发明的基于图像内容的外观设计专利检索方法流程图。

附图2为本发明应用于中国家具外观专利库的一个检索示例。

具体的实施方式

本发明的主旨是设计一种基于图像内容分析的外观专利检索方法，以解决目前外观设计专利检索中存在的耗时和检索结果效果不理想的问题。下面结合附图中的本发明流程图和示例来说明本发明的实施细节和效果，以便对本发明的技术特征和优点作进一步的诠释。

本发明实施步骤包括图像库注册和用户检索两大部分(如附图1示)。

1)外观设计专利图像库注册

目的：用比原始图像数据更少的数据来表达图像，形成外观设计专利图像特征库。

步骤一：对图像库中的每一幅图进行如下的图像预处理，并提取全局、形状和结构等三种特征(因为外观设计专利中用户更关注于设计图的形状和结构，因此颜色特征在本方法中并没有提取、应用)。

(1)外观专利图像的预处理：

①先获取图像的RGB三个颜色通道的信息，然后对图像进行灰度化，并用canny算子进行边缘检测，并且通过水平投影的方法去除图像中的视图说明文字。

②选取在图像的左、右、下三边附近无边缘的区域作为颜色采样区域，分别得到采样区域的R、G、B三个颜色平均值：M_R，M_G，M_B。

③将图像中红(R)、绿(G)、蓝(B)三个颜色分量值分别在M_R，M_G，M_B附近变化的像素作为背景，其他像素作为目标区域，即：将满足下列条件的像素作为背景区域。

|R-M_R|＜thr_R&&|G-M_G|＜thr_G&&|B-M_B|＜thr_B

其中：R、G、B分别为像素的RGB三个分量值。M_R、M_G、M_B分别为采样点RGB三个分量值的平均值；thr_R、thr_G、thr_B分别为RGB三个分量的阈值；&&为“与”运算符号。

④将图像进行二值化，即使背景区域的像素值为0，目标区域的像素值为1，然后分别进行水平和垂直投影得到目标区域的上下、左右边界，取四条边界内的区域(即目标区域的一个外接矩形)构成一幅新的图像，作为目标图像.

⑤将目标图像按照长宽比例不变的形式进行缩放，使得其宽变为一个固定的宽度W(示例中为200个像素宽)，缩放后的图像即为归一化的目标图像。

记目标图像中的目标区域为Object。

(2)全局特征、形状特征和结构特征的提取

①计算目标区域Object的外接矩形的长宽比ratio_wh，目标区域的面积A，圆形度

(其中，A为区域面积，L为区域周长)，作为全局特征矢量F0＝(f1，f2，f3)。

②计算形状特征矢量。其具体步骤如下：

1)将归一化后的目标图像进行边缘提取，得到其轮廓图C，记其外接矩形的宽为W，高度为H。

2)按照下式(1)-(4)的定义计算外接矩形的四条边到轮廓的距离矢量。

D_left(i)＝min{j|R(i，j)＝＝1}.(1)

D_right(i)＝W-max{j|R(i，j)＝＝1} (2)

D_up(j)＝min{i|R(i，j)＝＝1}(3)

D_down(j)＝H-max{i|R(i，j)＝＝1}(4)

其中i，j分别表示图像象素的行和列的变量：i＝1，2，...，H，j＝1，2，...，W。

3)对2)中计算得到的距离矢量D_left，D_right，D_up，D_down进行平滑处理，然后将其N等分的平均距离作为特征，如式(5)-(8)：

$F\_\mathrm{left}\left(k\right)=\frac{1}{W}*\frac{1}{w}\underset{l=1}{\overset{w}{\mathrm{\Σ}}}D\_\mathrm{left}(k*w+l)---\left(5\right)$

$F\_\mathrm{right}\left(k\right)=\frac{1}{W}*\frac{1}{w}\underset{l=1}{\overset{w}{\mathrm{\Σ}}}D\_\mathrm{right}(k*w+l)---\left(6\right)$

$F\_\mathrm{down}\left(k\right)=\frac{1}{H}*\frac{1}{h}\underset{l=1}{\overset{h}{\mathrm{\Σ}}}D\_\mathrm{down}(k*h+l)---\left(7\right)$

$F\_\mathrm{up}\left(k\right)=\frac{1}{H}*\frac{1}{h}\underset{l=1}{\overset{h}{\mathrm{\Σ}}}D\_\mathrm{up}(k*h+l)---\left(8\right)$

式中，w＝W/N，h＝H/N，分别表示水平、垂直边界中每等分包含的距离个数，

是尺度归一化因子，使得提取的特征不随轮廓外接矩形的大小变化而变化。

经过上述处理后，得到的外接矩形-轮廓距离特征：

F₁＝{F_c(i)}＝{F_left，F_right，F_down，F_up}i＝1，2，...，4*N

Fc即为形状特征，共4*N维。

③计算图像结构特征。具体步骤如下：

首先对归一化后的目标图像进行4-叉树分解，得到N2个图像块，记第i个块的大小为m×n，所覆盖的目标区域的面积为area_cover(即：属于目标区域的像素的个数)，则第i个特征值表示为：

$F_2\left(i\right)=\frac{\mathrm{area}\_\mathrm{cover}}{m*n},i=\mathrm{1,2},...,N2$

计算所有的图像块，得到的特征矢量F2即为结构特征，共N2维。

步骤二：将步骤一中提取的特征F0、F1、F2及其对应的外观专利申请号保存到数据库中，形成外观专利图像特征库，并且以外观专利申请号作为关键字段。

2)用户检索

目的：根据用户提交的查询图像的内容，从外观专利特征库中找出与之在形状和结构方面相似的图像，并按照相似度大小返回给用户检索结果图及其对应的专利申请号。

步骤一：获取到用户提交的图像Image，并按照外观设计专利图像库注册时的预处理和提取特征的方法得到用户提交图像的特征向量F0(全局特征)、F1(形状特征)和F2(结构特征)。

步骤二：打开外观专利特征库，通过全局特征的比较去除一些长宽比，圆形度和面积上差异很大的图像，初步得到与查询图像基本相似的图像集V。

步骤三：按照如下方法分别计算用户提交查询图像Image与V中所有的图像的相似度：

假设两个图像a和b，其形状和结构特征矢量分别为：F^a ₁，给每一种特征矢量分配一个权值ω₁，ω₂(其中ω₁+ω₂＝1)，用于调整每种特征矢量在相似度计算中的比重。图像a和b的相似度如下：

$S=1-({\mathrm{\ω}}_1*\frac{1}{4*N_1}\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}|F_1^a\left(i\right)-F_1^b\left(i\right)|+{\mathrm{\ω}}_2*\frac{1}{N_2}\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}|F_2^a\left(i\right)-F_2^b\left(i\right)\left|\right)$

其中：|·|表示欧式距离。

步骤四：按照相似度大小进行排序，并从外观专利图像库中找到相应的外观专利图像和专利申请号给用户。

具体的实施实例

我们建的家具外观专利库包括了7万多条外观专利，共40余万幅外观设计专利图，按照诺伽洛分类标准进行分类。附图2是用户提交一幅设计图后应用本发明方法从40多万幅家具外观设计专利图中检索的结果。

从检索结果来看，检索结果图与查询图在形状和结构方面能很好地与人眼的相似度感受保持一致，说明本发明方法确实能较好地描述形状和结构的语义。通过对多次检索的结果进行的统计表明：本发明方法计算量小，使用本发明方法对40余万的图像数据进行搜索的平均响应时间为40秒。如果按照文字检索的方式，我们依据“椅”为专利名称的关键字进行检索，可以得到13529条记录，如果为了获取与用户提交图像内容相似的图片，用户将不得不得逐条记录进行查找，这将是一个非常费时、烦琐的工作。但是如果按照本文提出的方法，可以在短短的几十秒时间内得到依据相似度大小进行排序的检索结果，用户可以根据实际需求，在一定相似度的范围内进行查找，大大地节省了查找时间，提高了检索效率。

Claims (2)

1.一种基于图像内容分析的外观设计专利检索方法，其特征在于：首先利用图像边界附近的若干非边缘采样点的R(红)G(绿)B(蓝)三个分量的均值作为背景特征进行背景去除，提取包含目标区域的目标图像并对目标图像进行归一化，然后提取目标区域的轮廓与其外接矩形的距离作为形状特征，采用4- 叉树的形式对归一化后的目标图像进行分块，将块中的属于目标区域的像素个数与块面积的比值作为结构特征，最后在检索图像时，采用分层检索方式，先利用全局特征缩小检索图像范围，得到子集，再利用形状特征和结构特征加权计算查询图像与子集中图像的相似度，并以相似度的大小进行排序返回检索结果图像和专利号；

其中，背景去除和目标图像归一化的具体步骤为：首先对图像进行灰度化、边缘检测处理，利用图像左、右、下三条边界附近的若干非边缘作采样点，分别计算这些采样点像素的R(红)、G(绿)、B(蓝)三个分量的均值并将三个分量的均值作为背景特征，把符合下列条件的像素作为背景区域，其余的作为目标区域；

|R-M_R|＜thr_R&&|G-M_G|＜thr_G&&|B-M_B|＜thr_B

其中：R、G、B分别为像素的RGB三个分量值；M_R、M_G、M_B分别为采样点RGB三个分量值的平均值；thr_R、thr_G、thr_B分别为RGB三个分量的阈值；&&为“与”运算符号；

将图像进行二值化，即使背景区域的像素值为0，目标区域的像素值为1，然后分别进行水平和垂直投影得到目标区域的上下、左右边界，取四条边界内的区域即目标区域的一个外接矩形，构成一幅新的图像，作为目标图像，并对该图像按照长宽比例不变的形式进行缩放，使得其宽变为一个固定的宽度W，缩放后的 图像即为归一化的目标图像；

所述的提前目标区域的轮廓与其外接矩形的距离作为形状特征的具体方法如下：

1)将方法归一化后的目标图像进行边缘提取，得到其轮廓图C，记其外接矩形的宽为W，高度为H；

2)按照下式(1)-(4)的定义计算外接矩形的四条边到轮廓的距离矢量；

D_left(i)＝min{j|R(i，j)＝＝1}       (1)

D_right(i)＝W-max{j|R(i，j)＝＝1}    (2)

D_up(j)＝min{i|R(i，j)＝＝1}         (3)

D_down(j)＝H-max{i|R(i，j)＝＝1}     (4)

其中i，j分别表示图像象素的行和列的变量：i＝1，2，...，H，j＝1，2，...，W；

3)对2)中计算得到的距离矢量D_left，D_right，D_up，D_down进行平滑处理，然后将其N等分的平均距离作为特征，如式(5)-(8)：

式中，w＝W/N，h＝H/N，分别表示水平、垂直边界中每等分包含的距离个数， 

是尺度归一化因子，使得提取的特征不随轮廓外接矩形的大小变化而变化，经过上述处理后，得到的外接矩形一轮廓距离特征：

F_c＝{F_c(i)}＝{F_left，F_right，F_down，F_up}  i＝1，2，...，4*N

该特征矢量Fc即为形状特征，共4*N维。

2.如权利要求1所述的基于图像内容分析的外观设计专利检索方法，其特征在 于：采用4-叉树形式对归一化后的目标区域进行分块，将每个块中的属于目标区域的像素个数与块面积的比值作为结构特征；具体步骤如下：首先对权利要求1中得到的归一化后的目标图像进行4-叉树分解，得到N2个图像块，记第i个块的大小为m×n，所覆盖的目标区域的面积为area_cover即：属于目标区域的像素的个数，则第i个特征值表示为：

i＝1，2，...，N2

计算所有的图像块，得到的特征矢量Fg即为结构特征，共N2维。 

Images