CN101290634A - 一种识别重复缩略图的方法、装置及在搜索引擎中的应用 - Google Patents
一种识别重复缩略图的方法、装置及在搜索引擎中的应用 Download PDFInfo
- Publication number
- CN101290634A CN101290634A CNA2008101143187A CN200810114318A CN101290634A CN 101290634 A CN101290634 A CN 101290634A CN A2008101143187 A CNA2008101143187 A CN A2008101143187A CN 200810114318 A CN200810114318 A CN 200810114318A CN 101290634 A CN101290634 A CN 101290634A
- Authority
- CN
- China
- Prior art keywords
- color
- thumbnail
- repeated
- miniature
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种识别重复缩略图的方法及装置，以解决缩略图中存在重复缩略图而影响图像质量的问题。所述方法包括：分析缩略图内容，获取图像的颜色特征；根据所述颜色特征，判断是否存在重复缩略图；对重复缩略图进行处理。将所述识别重复缩略图的方法应用到搜索引擎中，本发明还提供了一种在搜索结果中识别重复缩略图的装置，在排序靠前的搜索结果中去除重复结果后，丰富了搜索结果的多样性，提高了搜索引擎的搜索性能，并极大地提升了用户体验。
Description
技术领域
本发明涉及网络技术领域，特别是涉及一种识别重复缩略图的方法、装置及在搜索引擎中的应用。
背景技术
缩略图即为一个缩小的图片，通过这个图片可以粗略地了解原图片内容。缩略图较多地应用于图片或视频搜索中，是搜索结果页中最直观的展现形式。
图片或视频搜索引擎的搜索结果是通过缩略图和文字信息展现给用户，这些结果数据一般由“网络爬虫”抓取或由专门的视频或图片网站提供。但由于数据来源的多样性和网络资源的随意性，结果数据往往具有一定比例的重复，这种重复性主要体现为缩略图重复和文字信息重复。
在搜索引擎应用中，缩略图与用户的查询请求相关程度、图像质量以及缩略图的多样性等因素，在很大程度上决定着搜索引擎的检索性能和用户的使用感受。因此，用户常常将缩略图重复的结果认定为重复结果，而文字信息重复与否往往被用户忽略或仅供参考。
如果搜索结果页面中包含大量的重复结果(主要指重复缩略图)，则会带来如下问题：
第一，搜索结果单调，缺乏多样性。如果重复结果大量占据搜索结果页面，使得搜索结果显得单调，缺乏多样性。
第二，影响搜索的查准率。如果重复结果与用户的搜索请求不相关，则会占据相关结果的位置，使得相关结果没有机会返回给用户或者相关结果的排序靠后，从而大大降低搜索结果整体的相关性，影响搜索的查准率。
第三，较差的用户体验。当用户提交某查询请求后，首页返回结果中如果存在较多的重复结果，必然造成用户的厌烦心理，导致较差的用户体验。
发明内容
本发明所要解决的技术问题是提供一种识别重复缩略图的方法及装置，以解决缩略图中存在重复缩略图而影响图像质量的问题。
本发明的另一个目的是将所述识别重复缩略图的方法应用到搜索引擎中，提供一种在搜索结果中识别重复缩略图的装置，以解决图片或视频等搜索中由于存在重复缩略图，导致搜索结果单调、查准率低、用户体验差的问题。
为解决上述技术问题，根据本发明提供的具体实施例，本发明公开了以下技术方案：
识别重复缩略图的方法，包括：
分析缩略图内容，获取图像的颜色特征；
根据所述颜色特征，判断是否存在重复缩略图；
对重复缩略图进行处理。
其中，所述颜色特征包括全局颜色特征：所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性。
优选的，所述颜色特征还包括局部颜色特征：所述局部颜色特征包括均值颜色方格图。
其中，根据颜色特征判断重复缩略图具体包括精确识别步骤：利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码；判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。
其中，判断缩略图的特征编码是否相同具体包括：将缩略图的特征编码作为哈希表的主键；当处理一个缩略图时，判断哈希表中以该缩略图的特征编码为主键的存储位置是否已被占据，如果是，则该缩略图与占据所述存储位置的缩略图重复；如果否，则将该缩略图的标识填入所述存储位置。
优选的，当该缩略图与占据所述存储位置的缩略图重复时，还包括：比较所述两个缩略图的上传时间，将上传时间较新的缩略图标识填入所述存储位置，并将另一个缩略图作为重复结果。
其中，根据颜色特征判断重复缩略图具体包括模糊识别步骤：根据全局颜色特征值和局部颜色特征值计算缩略图的相似度；判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。
其中，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。
优选的，所述预置条件还包括：缩略图的文字信息相同。
其中，分析缩略图内容来获取全局颜色特征具体包括：量化颜色空间模型的颜色数；根据所述颜色数，计算缩略图的归一化颜色直方图；遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
其中，分析缩略图内容来获取局部颜色特征具体包括：将缩略图均匀划分为n小块；计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
其中，对重复缩略图进行处理具体包括：将重复缩略图进行降权或删除处理。
识别重复缩略图的装置，包括：
缩略图分析单元，用于分析缩略图内容，获取图像的颜色特征；
重复识别单元，用于根据所述颜色特征，判断是否存在重复缩略图；
重复处理单元，用于对重复缩略图进行处理。
其中，所述颜色特征包括全局颜色特征：所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性。
优选的，所述颜色特征还包括局部颜色特征：所述局部颜色特征包括均值颜色方格图。
其中，所述重复识别单元进一步包括精确排重单元，用于利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，并判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。
其中，所述精确排重单元通过以下方式判断缩略图的特征编码是否相同：将缩略图的特征编码作为哈希表的主键；当处理一个缩略图时，判断哈希表中以该缩略图的特征编码为主键的存储位置是否已被占据，如果是，则该缩略图与占据所述存储位置的缩略图重复；如果否，则将该缩略图的标识填入所述存储位置。
其中，所述重复识别单元进一步包括模糊排重单元，用于根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，并判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。
其中，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。
优选的，所述预置条件还包括：缩略图的文字信息相同。
其中，所述缩略图分析单元通过以下方式分析缩略图内容来获取全局颜色特征：量化颜色空间模型的颜色数；根据所述颜色数，计算缩略图的归一化颜色直方图；遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
其中，所述缩略图分析单元通过以下方式分析缩略图内容来获取局部颜色特征：将缩略图均匀划分为n小块；计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
其中，所述重复处理单元对重复缩略图进行以下处理：将重复缩略图进行降权或删除处理。
在搜索结果中识别重复缩略图的装置，包括：
缩略图分析单元，用于分析缩略图内容，获取图像的颜色特征；
数据制作单元，用于将缩略图的颜色特征添加到搜索引擎的索引数据中；
重复识别单元，用于读取索引数据中的颜色特征，并根据所述颜色特征，判断是否存在重复缩略图；
重复处理单元，用于对重复缩略图进行处理。
其中，所述颜色特征包括全局颜色特征和局部颜色特征，其中，所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性，所述局部颜色特征包括均值颜色方格图。
优选的，所述重复识别单元包括精确排重单元和模糊排重单元，其中，所述精确排重单元用于利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，并判断缩略图的特征编码是否相同，如果相同，则为重复缩略图；所述模糊排重单元，用于根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，并判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。
其中，所述精确排重单元用于在线搜索时识别完全相同的缩略图，所述模糊排重单元用于对排序靠前的搜索结果进行相同或相似缩略图的识别。
其中，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。
其中，所述缩略图分析单元通过以下方式分析缩略图内容来获取全局颜色特征：量化颜色空间模型的颜色数；根据所述颜色数，计算缩略图的归一化颜色直方图；遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
其中，所述缩略图分析单元通过以下方式分析缩略图内容来获取局部颜色特征：将缩略图均匀划分为n小块；计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
其中，所述重复处理单元对重复缩略图进行以下处理：将搜索结果中的重复缩略图进行降权处理，排到搜索结果列表的尾部；或者删除重复的缩略图。
根据本发明提供的具体实施例，本发明具有以下技术效果：
首先，本发明提供了一种识别重复缩略图的方法及装置，通过提取缩略图的全局颜色特征和局部颜色特征，并根据所述颜色特征来识别重复缩略图。所述方法能够从大量的缩略图中识别出重复的缩略图，从而提高缩略图的整体图像质量。
其次，本发明将上述方法应用到图片或视频搜索中，能够快速识别出搜索结果中的重复结果，并带来以下优点：
第一，丰富了搜索结果的多样性。由于将重复结果进行降权或去除处理，所以在排序靠前的搜索结果中去除了重复结果，使得结果页面更加丰富多样。
第二，提高了搜索引擎的搜索性能。在排序靠前的搜索结果中去除重复结果后，增加了相关结果获得较高排序的机会，提高了查准率。
第三，提升了用户体验。在排序靠前的搜索结果中去除重复结果后，结果页面给人一种丰富多样的感觉，提升了用户体验和搜索引擎的整体形象。
再次，本发明提供了两种识别方式，一种是精确识别方式，用于识别完全相同的缩略图，这种识别方式的处理速度快，能够在线对所有搜索结果进行识别处理；另一种是模糊识别方式，用于识别相同或相似的缩略图，这种方式能够保证较高的识别率。将所述两种识别方式结合起来，能够大幅度降低搜索结果的重复率，达到更好的处理效果。
附图说明
图1是本发明实施例一所述识别重复缩略图的方法流程图；
图2是本发明实施例一中分析缩略图获取全局颜色特征的步骤流程图；
图3是本发明实施例一所述识别重复缩略图的装置结构图；
图4是本发明实施例二所述在搜索结果中识别重复缩略图的方法流程图；
图5是本发明实施例二所述在搜索结果中识别重复缩略图的装置结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
针对缩略图中存在重复缩略图的问题，本发明实施例一提供了一种识别重复缩略图的方法，通过提取缩略图的颜色特征，并根据所述颜色特征来识别重复缩略图。
参照图1，是本发明实施例一所述识别重复缩略图的方法流程图。
S101，分析缩略图内容，获取图像的颜色特征。
本实施例使用颜色空间模型对缩略图的颜色属性进行分析。颜色通常由三个相互独立的变量来描述，这三个独立变量就构成颜色空间模型，颜色空间中的每个三维空间坐标对应着一种颜色。典型的颜色空间包括RGB空间(Red分量+Green分量+Blue分量，即红色+绿色+蓝色)，HSI空间(Hue分量+Saturation分量+Intensity分量，即色调+饱和度+亮度)和YCbCr空间(一种亮度分量+两种色度分量)等，不同颜色空间之间可以相互转化。本实施例可以采用所述任意一种颜色空间模型，在此不作限定。
利用颜色空间模型分析得到图像的颜色特征，本实施例中，所述颜色特征包括全局颜色特征。所述全局颜色特征可以包括主颜色编号、主颜色率、颜色多样性。其中，主颜色编号用于唯一标识缩略图在颜色空间模型中的主要颜色。例如，在256色的颜色空间中，颜色编号为0～255，主颜色编号即为缩略图对应的主色调编号。主颜色率表示主颜色对应的像素占整幅图像总像素数的比例。颜色多样性表示缩略图中的有效颜色数目，所述有效颜色是指能够被识别出来的颜色。除此，颜色特征还可以包括次主颜色、次主颜色率等其他表征颜色属性的参数。
参照图2，是本发明实施例一中分析缩略图获取全局颜色特征的步骤流程图。本实施例以RGB空间模型为例进行说明。
S201，量化颜色空间。
量化颜色空间是指用几个比特(bit)来表示一个颜色分量。例如，Windows真彩位图就是用8bit表示一个颜色分量，也就是说真彩位图可分辨的颜色数为256×256×256。量化过程如下：
首先，确定一种颜色空间如RGB空间；其次，确定量化尺度，例如使用x比特表示颜色空间的一个分量，即R、G、B各分量分别量化为2x种颜色，整个颜色空间就被量化为2x×2x×2x种颜色。
在量化颜色空间时需要考虑三个因素：其一，实现各分量的均匀量化，即每个分量量化为同样大小；其二，满足普通用户辨识颜色的需求；其三，具有较小的空间复杂度。即如果所用bit太多，会大大增加算法的空间复杂度；如果所用bit太少，则可分辨的颜色又太少。因此，根据实际应用情况不同，应选择合适的量化尺度。
S202，根据上述量化颜色空间得到的颜色数，计算归一化颜色直方图。
颜色直方图为图像处理领域广泛使用的图像颜色特征，其描述了不同色彩的像素在整幅图像中所占的比例。归一化颜色直方图H[256]表示一个256维的特征向量，各分量表示属于此颜色的像素比例，例如H[0]表示图像中颜色为第0号颜色的像素所占的比例。归一化颜色直方图为一个中间结果，用于计算后续的颜色特征。
S203，根据所述直方图获取颜色特征。
如果颜色特征包括主颜色编号、主颜色率，则遍历所述颜色直方图的各个分量，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号。
颜色多样性表示某幅图像中能被用户辨识出来的有效颜色数目，用户能够辨识出来的颜色越多，用户体验越好。如果颜色特征包括颜色多样性，则遍历所述颜色直方图的各个分量，当直方图的某一分量大于(或大于等于)预先设定的阈值(即该颜色像素占据一定比例，比如0.005，表示占整幅图像像素总数的0.5％)时，将该分量对应的颜色确定为缩略图有效颜色，有效颜色总数即颜色多样性。
本实施例中，有效颜色不包括灰度颜色，因为灰度颜色没有色彩，此处不算作有效颜色。
经过图2的处理，就可以得到主颜色编号、主颜色率、颜色多样性这三种全局颜色特征。
优选的，缩略图的颜色特征还可以包括局部颜色特征，所述局部颜色特征主要指均值颜色方格图。首先将缩略图均匀分割为n小块，然后计算每一小块图像的均值颜色，就得到了该缩略图的n维均值颜色方格图。所述局部颜色特征简单有效，并且根据颜色空间的量化，每一维分量的取值范围为2x个整数，因此针对缩略图具有很强的区分力。
其中，计算每一小块均值颜色的方法是：
设一幅缩略图的大小为4m×4n，则将其均匀的分为16个m×n的小图后，每个小块图像包含m×n个像素。小块图像中的每个像素Pixeli，都有一个颜色编号Colori，则该小块图像的均值颜色为
此外，将缩略图划分为小块时需要考虑两点：
一方面，如果块数越少，则存储量小，空间复杂度低，但是均值颜色的分辨力也越低。例如，对于一幅大小为4m×4n的缩略图，极限情况只分一块，即为整个图像，这时只需一个存储单元，但是分辨能力很差。
另一方面，如果块数越多，则分辨能力越强，但是存储量大，空间复杂度高。例如对于一幅大小为4m×4n的缩略图，极限情况下分为4m×4n块，即每个像素为一块，这时分辨力很强，但需要4m×4n个存储单元，相当于把缩略图再存一遍。
因此基于以上两点，在分块时需要在空间复杂度和分辨力这两个问题上进行权衡，取一个经验值。
通过以上内容，就可以从缩略图中获得全局颜色特征和局部颜色特征。
S102，根据所述颜色特征，判断是否存在重复缩略图。
本实施例提供了两种识别方式，一种是精确识别，另一种是模糊识别，下面分别详细说明。
精确识别方式也称为精确排重，用于识别完全相同的缩略图，具体识别方法是：
首先，计算缩略图的特征编码。利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，该特征编码与缩略图的颜色特征密切相关，如果两幅缩略图的颜色特征相同，则计算得到的特征编码也相同。本实施例采用的计算方式是将全局颜色特征和局部颜色特征的联合二进制编码作为一个缩略图的特征编码，这种计算方式的重码率很低。下面举例说明联合二进制编码。
假设一幅缩略图的大小为4m×4n，则将其均匀的分为16个m×n的块，并采用256种颜色量化方法。则局部颜色特征为16个8位二进制数(0到255)，全局颜色特征中，主颜色编号、颜色多样性各是1个8位二进制数(0到255)，主颜色率也可用1个8位二进制数表示。将这19个8位二进制数合为一个152位二进制数就是这幅缩略图的联合二进制码。这个编码空间为25619＝2152，所以重码率很低。
其次，利用特征编码进行重复判断。如前所述，如果两幅缩略图的颜色特征相同，则计算得到的特征编码也相同。利用这一点，可以判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。
基于以上判断方式，一种具体的实现方法是利用Hash表技术提供一种“主键——存储位置”的对应存储方式，从而实现数据对象的快速查找。具体步骤为：将缩略图的特征编码作为哈希表的主键，当处理一个缩略图时，判断哈希表中以该缩略图的特征编码为主键的存储位置是否已被占据。如果该位置未被占据，说明目前还没有出现相同特征编码的缩略图，所以该缩略图为非重复结果，将其填入哈希表的该存储位置。实际上，填入哈希表的是该缩略图的标识ID。如果该位置已被占据，则说明该缩略图与占据该存储位置的缩略图是一对重复结果。
优选的，对于判断出的一对重复结果，比较两者的上传时间，将较新的缩略图ID填入哈希表的存储单元，而另一个缩略图作为重复结果。
上述精确排重方式的处理速度较快，但是只能处理完全相同的缩略图，对于两幅相差极小的缩略图无效，导致排全率不高。因此基于所述原因，还提出一种模糊排重方式。
模糊识别方式也称为模糊排重，用于识别相同或相似的缩略图，识别方法是：根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，然后判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。具体识别步骤如下：
首先，进行初始化，确定处理页面数和提前结束条件。例如模糊排重处理页数＝4，非重复结果页数(即提前结束条件)＝3，表示当处理完4页结果或得到3页互不重复的结果时排重操作结束。这样既保证了前几页的排重质量，又降低了时间复杂度。
其次，判断重复缩略图。利用缩略图颜色特征的相似度来判断两幅缩略图是否重复，判断条件包括：主颜色编号是否相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度是否大于(或大于等于)预置阈值。优选的，还可以利用缩略图的文字信息进行判断。
一种优选的判断条件是，同时满足如下条件的缩略图就判定为重复缩略图：
A.主颜色编号相同；
B.主颜色率相差不大，即主颜色率的相似度＞阈值；
C.颜色多样性相差不大，即颜色多样性的相似度＞阈值；
D.均值颜色方格图的相似度＞阈值
(E.缩略图标题相同)
其中，条件E为可选条件，条件B、C、D中的阈值可能相同也可能不同。经过实验表明，上述重复缩略图判断可以较好地实现模糊排重效果，能够保证高排全率和低误排率。
由上可知，模糊排重不同于基于编码和哈希表的精确排重，模糊排重不但能够排除完全相同的缩略图，而且能够处理相似的缩略图，并可以通过调节阈值对相似程度进行控制。
在实际应用中，精确排重和模糊排重可以单独使用，但优选的方法是将所述精确排重和模糊排重结合起来使用，可以发挥各自的优点，即通过精确排重和模糊排重，达到了较快的处理时间，较高的排全率和较低的误排率，从而降低重复率。
需要说明的是，上述识别过程是同时利用全局颜色特征和局部颜色特征来识别，这是一种优选的方案，如果仅利用全局颜色特征来识别也符合本发明思想。但如果局部颜色特征即均值颜色方格图也参与识别，则会提高识别率，尤其是在模糊排重过程中，由于均值颜色方格图对图像具有很强的区分力，所以利用该特征能够识别出差别非常小的重复缩略图。例如，假设两幅缩略图的主颜色编号相同，主颜色率和颜色多样性都相差不大，这时通过均值颜色方格图才能区分出是否重复。
S103，对重复缩略图进行处理。
根据实际应用情况，对识别出的重复缩略图进行相应处理。例如，直接从数据库中删除所述重复缩略图，或者降低重复缩略图的权重，等等。
经过上述处理，就能够从大量的缩略图中识别出重复缩略图，从而提高缩略图的整体图像质量。
针对上述方法，本发明提供了一种识别重复缩略图的装置。参照图3，是所述装置的结构图。所述装置主要包括缩略图分析单元U301、重复识别单元U302、重复处理单元U303。
所述缩略图分析单元U301用于分析缩略图内容，获取图像的颜色特征。所述颜色特征包括全局颜色特征，还包括局部颜色特征。其中，全局颜色特征包括主颜色编号、主颜色率和颜色多样性，局部颜色特征主要指均值颜色方格图。
缩略图分析单元U301获取全局颜色特征的方式是：首先，量化颜色空间模型的颜色数；其次，根据所述颜色数，计算缩略图的归一化颜色直方图；再次，遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
缩略图分析单元U301获取局部颜色特征的方式是：将缩略图均匀划分为n小块；计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
重复识别单元U302用于根据所述颜色特征，判断是否存在重复缩略图。根据方法实施例中提供的两种识别方式，所述重复识别单元U302进一步包括精确排重单元U3021，还可以包括模糊排重单元U3022。
精确排重单元U3021用于识别完全相同的缩略图，利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，并判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。所述精确排重单元U3021通过以下方式判断缩略图的特征编码是否相同：将缩略图的特征编码作为哈希表的主键；当处理一个缩略图时，判断哈希表中以该缩略图的特征编码为主键的存储位置是否已被占据，如果是，则该缩略图与占据所述存储位置的缩略图重复；如果否，则将该缩略图的标识填入所述存储位置。
模糊排重单元U3022用于识别相同或相似的缩略图，根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，并判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。所述预置条件包括主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值，还可以包括缩略图的文字信息相同。当同时利用所述预置条件进行重复判断时，能够保证较高的识别率。因此，模糊排重单元U3022不但能够排除完全相同的缩略图，而且能够处理相似的缩略图，并可以通过调节阈值对相似程度进行控制。
重复处理单元U303用于对识别出的重复缩略图进行处理，例如进行降权或删除等处理。
图3所示装置中未详述的部分可以参见图1、图2所示方法的相关部分，为了篇幅考虑，在此不再详述。
实施例二：
针对由于重复缩略图的存在导致图片或视频搜索结果单调、查准率低、用户体验差的问题，本发明将上述识别重复缩略图的方法应用到搜索引擎中，提供了一种在搜索结果中识别颜色单调缩略图的方法，大大改善了搜索引擎的检索性能，给用户带来更好的使用体验。
参照图4，是实施例所述在搜索结果中识别重复缩略图的方法流程图。
S401，分析搜索引擎系统中的缩略图内容，获取图像的颜色特征。所述颜色特征包括全局颜色特征和局部颜色特征。具体分析过程可参照图2所示流程，在此不再详述。
S402，将缩略图的颜色特征添加到搜索引擎的索引数据中。
所述索引数据用于搜索引擎在进行查询词检索时提供相关的索引功能，所述索引数据包括历史数据和新数据。对于历史数据，在索引数据中增加四个字段用于保存四种颜色特征，并将通过上述步骤得到的颜色特征添加到索引数据的相应字段。
所述新数据是指搜索引擎每天增加的新数据，这些新数据是搜索引擎通过网络爬虫等工具抓取或从专业网站直接获取的。在新数据入库时，需要按照S401分析新的缩略图得到其颜色特征，保证对新数据的过滤处理。
S403，根据搜索关键词查询时，读取所述索引数据中的颜色特征，然后根据所述颜色特征判断是否为重复缩略图。
一种优选的方法是使用双重排重方法，在线搜索时使用精确排重对全部搜索结果进行重复识别，然后对前几页搜索结果进行基于相似度的模糊排重。具体识别过程如前所述，在此不再详述。
S404，将搜索结果中的重复缩略图进行降权处理，排到搜索结果列表的尾部；或者删除重复的缩略图。
上述在搜索结果中识别重复缩略图的方法，由于将重复结果进行降权或删除处理，使得结果页面更加丰富多样，并提高了搜索引擎的搜索性能，提升了用户体验。
针对所述方法，本发明实施例还提供了一种在搜索结果中识别重复缩略图的装置。参照图5，是实施例所述的装置结构图。所述装置主要包括缩略图分析单元U501、重复识别单元U502、重复处理单元U503和数据制作单元U504。
其中，缩略图分析单元U501、重复识别单元U502、重复处理单元U503的功能如图3装置所述的缩略图分析单元U301、重复识别单元U302、重复处理单元U303相同，在此不再详述。
所述数据制作单元U504用于将缩略图的颜色特征添加到搜索引擎的索引数据中。搜索引擎的索引数据增加四个字段用于保存四种颜色特征，数据制作单元U504将通过缩略图分析单元U501处理的颜色特征添加到索引数据的相应字段。颜色单调缩略图识别单元U502在进行识别处理时，读取索引数据中的颜色特征，然后根据所述颜色特征判断是否为颜色单调缩略图。
图5所示装置中未详述的部分可以参见图4所示方法的相关部分，为了篇幅考虑，在此不再详述。
以上对本发明所提供的一种识别重复缩略图的方法、装置及在搜索引擎中的应用，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (31)
1、识别重复缩略图的方法，其特征在于，包括：
分析缩略图内容，获取图像的颜色特征；
根据所述颜色特征，判断是否存在重复缩略图；
对重复缩略图进行处理。
2、根据权利要求1所述的方法，其特征在于，所述颜色特征包括全局颜色特征：所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性。
3、根据权利要求2所述的方法，其特征在于，所述颜色特征还包括局部颜色特征：所述局部颜色特征包括均值颜色方格图。
4、根据权利要求3所述的方法，其特征在于，根据颜色特征判断重复缩略图具体包括精确识别步骤：
利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码；
判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。
5、根据权利要求4所述的方法，其特征在于，判断缩略图的特征编码是否相同具体包括：
将缩略图的特征编码作为哈希表的主键；
当处理一个缩略图时，判断哈希表中以该缩略图的特征编码为主键的存储位置是否已被占据，如果是，则该缩略图与占据所述存储位置的缩略图重复；如果否，则将该缩略图的标识填入所述存储位置。
6、根据权利要求5所述的方法，其特征在于，当该缩略图与占据所述存储位置的缩略图重复时，还包括：
比较所述两个缩略图的上传时间，将上传时间较新的缩略图标识填入所述存储位置，并将另一个缩略图作为重复结果。
7、根据权利要求3所述的方法，其特征在于，根据颜色特征判断重复缩略图具体包括模糊识别步骤：
根据全局颜色特征值和局部颜色特征值计算缩略图的相似度；
判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。
8、根据权利要求7所述的方法，其特征在于，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。
9、根据权利要求8所述的方法，其特征在于，所述预置条件还包括：缩略图的文字信息相同。
10、根据权利要求2所述的方法，其特征在于，分析缩略图内容来获取全局颜色特征具体包括：
量化颜色空间模型的颜色数；
根据所述颜色数，计算缩略图的归一化颜色直方图；
遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
11、根据权利要求3所述的方法，其特征在于，分析缩略图内容来获取局部颜色特征具体包括：
将缩略图均匀划分为n小块；
计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
12、根据权利要求1所述的方法，其特征在于，对重复缩略图进行处理具体包括：
将重复缩略图进行降权或删除处理。
13、识别重复缩略图的装置，其特征在于，包括：
缩略图分析单元，用于分析缩略图内容，获取图像的颜色特征；
重复识别单元，用于根据所述颜色特征，判断是否存在重复缩略图；
重复处理单元，用于对重复缩略图进行处理。
14、根据权利要求13所述的装置，其特征在于，所述颜色特征包括全局颜色特征：所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性。
15、根据权利要求14所述的装置，其特征在于，所述颜色特征还包括局部颜色特征：所述局部颜色特征包括均值颜色方格图。
16、根据权利要求15所述的装置，其特征在于，所述重复识别单元进一步包括精确排重单元，用于利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，并判断缩略图的特征编码是否相同，如果相同，则为重复缩略图。
17、根据权利要求16所述的装置，其特征在于，所述精确排重单元通过以下方式判断缩略图的特征编码是否相同：
将缩略图的特征编码作为哈希表的主键；
当处理一个缩略图时，判断哈希表中以该缩略图的特征编码为主键的存储位置是否已被占据，如果是，则该缩略图与占据所述存储位置的缩略图重复；如果否，则将该缩略图的标识填入所述存储位置。
18、根据权利要求15所述的装置，其特征在于，所述重复识别单元进一步包括模糊排重单元，用于根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，并判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。
19、根据权利要求18所述的装置，其特征在于，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。
20、根据权利要求19所述的装置，其特征在于，所述预置条件还包括：缩略图的文字信息相同。
21、根据权利要求14所述的装置，其特征在于，所述缩略图分析单元通过以下方式分析缩略图内容来获取全局颜色特征：
量化颜色空间模型的颜色数；
根据所述颜色数，计算缩略图的归一化颜色直方图；
遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
22、根据权利要求15所述的装置，其特征在于，所述缩略图分析单元通过以下方式分析缩略图内容来获取局部颜色特征：
将缩略图均匀划分为n小块；
计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
23、根据权利要求13所述的装置，其特征在于，所述重复处理单元对重复缩略图进行以下处理：
将重复缩略图进行降权或删除处理。
24、在搜索结果中识别重复缩略图的装置，其特征在于，包括：
缩略图分析单元，用于分析缩略图内容，获取图像的颜色特征；
数据制作单元，用于将缩略图的颜色特征添加到搜索引擎的索引数据中；
重复识别单元，用于读取索引数据中的颜色特征，并根据所述颜色特征，判断是否存在重复缩略图；
重复处理单元，用于对重复缩略图进行处理。
25、根据权利要求24所述的装置，其特征在于：
所述颜色特征包括全局颜色特征和局部颜色特征，其中，所述全局颜色特征包括主颜色编号、主颜色率和颜色多样性，所述局部颜色特征包括均值颜色方格图。
26、根据权利要求25所述的装置，其特征在于：所述重复识别单元包括精确排重单元和模糊排重单元，其中，
所述精确排重单元用于利用全局颜色特征值和局部颜色特征值计算缩略图的特征编码，并判断缩略图的特征编码是否相同，如果相同，则为重复缩略图；
所述模糊排重单元，用于根据全局颜色特征值和局部颜色特征值计算缩略图的相似度，并判断所述相似度是否符合预置条件，如果符合，则为重复缩略图。
27、根据权利要求26所述的装置，其特征在于：
所述精确排重单元用于在线搜索时识别完全相同的缩略图，所述模糊排重单元用于对排序靠前的搜索结果进行相同或相似缩略图的识别。
28、根据权利要求26所述的装置，其特征在于，所述预置条件包括：主颜色编号相同，主颜色率的相似度、颜色多样性的相似度、均值颜色方格图的相似度大于等于预置阈值。
29、根据权利要求25所述的装置，其特征在于，所述缩略图分析单元通过以下方式分析缩略图内容来获取全局颜色特征：
量化颜色空间模型的颜色数；
根据所述颜色数，计算缩略图的归一化颜色直方图；
遍历所述颜色直方图，将所述颜色直方图中的峰值分量确定为主颜色率，并将峰值对应的序号确定为主颜色编号；将颜色直方图中分量大于等于预置阈值的颜色，确定为缩略图的有效颜色，有效颜色的总数为颜色多样性。
30、根据权利要求25所述的装置，其特征在于，所述缩略图分析单元通过以下方式分析缩略图内容来获取局部颜色特征：
将缩略图均匀划分为n小块；
计算每一小块的均值颜色，得到该缩略图的n维均值颜色方格图。
31、根据权利要求24所述的装置，其特征在于，所述重复处理单元对重复缩略图进行以下处理：
将搜索结果中的重复缩略图进行降权处理，排到搜索结果列表的尾部；或者删除重复的缩略图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101143187A CN101290634B (zh) | 2008-06-03 | 2008-06-03 | 一种识别重复缩略图的方法、装置及在搜索引擎中的应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101143187A CN101290634B (zh) | 2008-06-03 | 2008-06-03 | 一种识别重复缩略图的方法、装置及在搜索引擎中的应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101290634A true CN101290634A (zh) | 2008-10-22 |
| CN101290634B CN101290634B (zh) | 2010-07-28 |
Family
ID=40034890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101143187A Active CN101290634B (zh) | 2008-06-03 | 2008-06-03 | 一种识别重复缩略图的方法、装置及在搜索引擎中的应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101290634B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033937A (zh) * | 2010-12-20 | 2011-04-27 | 百度在线网络技术（北京）有限公司 | 视频搜索结果的展示方法及其系统 |
| CN102333174A (zh) * | 2011-09-02 | 2012-01-25 | 深圳市万兴软件有限公司 | 一种视频图像处理方法和装置 |
| CN102385603A (zh) * | 2010-09-02 | 2012-03-21 | 腾讯科技（深圳）有限公司 | 视频过滤方法和装置 |
| CN101576932B (zh) * | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
| CN102592272A (zh) * | 2011-01-12 | 2012-07-18 | 腾讯科技（深圳）有限公司 | 一种图片主色调提取方法及装置 |
| CN102713902A (zh) * | 2009-12-02 | 2012-10-03 | 萨基姆通讯宽带公司 | 用于生成使用搜索引擎执行的搜索的结果的方法 |
| CN103377473A (zh) * | 2012-04-19 | 2013-10-30 | 腾讯科技（深圳）有限公司 | 一种图像排重方法和装置 |
| CN103513864A (zh) * | 2012-11-09 | 2014-01-15 | Tcl集团股份有限公司 | 一种基于色彩识别技术控制图标排列的方法及电子设备 |
| CN103903291A (zh) * | 2012-12-24 | 2014-07-02 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
| CN104715374A (zh) * | 2013-12-11 | 2015-06-17 | 世纪禾光科技发展（北京）有限公司 | 一种电子商务平台重复产品的治理方法和系统 |
| CN105335047A (zh) * | 2014-08-14 | 2016-02-17 | 小米科技有限责任公司 | 显示图片的方法及装置 |
| CN105487769A (zh) * | 2015-11-20 | 2016-04-13 | 北京金山安全软件有限公司 | 一种媒体文件展示方法、装置及电子设备 |
| WO2016127478A1 (zh) * | 2015-02-15 | 2016-08-18 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像处理方法、装置和终端 |
| CN108121762A (zh) * | 2017-11-24 | 2018-06-05 | 努比亚技术有限公司 | 一种图片处理方法、移动终端以及计算机存储介质 |
| CN108255963A (zh) * | 2017-12-22 | 2018-07-06 | 北京智慧星光信息技术有限公司 | 一种基于互联网的新闻信息检索的控制方法及装置 |
| CN108959346A (zh) * | 2018-04-12 | 2018-12-07 | 腾讯科技（上海）有限公司 | 确定文本文件缩略信息的方法、装置、介质及设备 |
| CN110276001A (zh) * | 2019-06-20 | 2019-09-24 | 北京百度网讯科技有限公司 | 盘点页识别方法、装置、计算设备和介质 |
| CN110781420A (zh) * | 2018-07-30 | 2020-02-11 | 上海哔哩哔哩科技有限公司 | 基于编辑器的网页封面自动生成方法、装置和存储介质 |
-
2008
- 2008-06-03 CN CN2008101143187A patent/CN101290634B/zh active Active
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9405993B2 (en) | 2009-06-16 | 2016-08-02 | Alibaba Group Holdings Limited | Method and system for near-duplicate image searching |
| CN101576932B (zh) * | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
| US8611649B2 (en) | 2009-06-16 | 2013-12-17 | Alibaba Group Holding Limited | Method and system for near-duplicate image searching |
| CN102713902A (zh) * | 2009-12-02 | 2012-10-03 | 萨基姆通讯宽带公司 | 用于生成使用搜索引擎执行的搜索的结果的方法 |
| CN102713902B (zh) * | 2009-12-02 | 2017-05-03 | 萨基姆通讯宽带公司 | 用于生成使用搜索引擎执行的搜索的结果的方法 |
| CN102385603A (zh) * | 2010-09-02 | 2012-03-21 | 腾讯科技（深圳）有限公司 | 视频过滤方法和装置 |
| CN102033937A (zh) * | 2010-12-20 | 2011-04-27 | 百度在线网络技术（北京）有限公司 | 视频搜索结果的展示方法及其系统 |
| CN102592272A (zh) * | 2011-01-12 | 2012-07-18 | 腾讯科技（深圳）有限公司 | 一种图片主色调提取方法及装置 |
| CN102592272B (zh) * | 2011-01-12 | 2017-01-25 | 深圳市世纪光速信息技术有限公司 | 一种图片主色调提取方法及装置 |
| CN102333174A (zh) * | 2011-09-02 | 2012-01-25 | 深圳市万兴软件有限公司 | 一种视频图像处理方法和装置 |
| CN103377473A (zh) * | 2012-04-19 | 2013-10-30 | 腾讯科技（深圳）有限公司 | 一种图像排重方法和装置 |
| CN103513864B (zh) * | 2012-11-09 | 2016-08-17 | Tcl集团股份有限公司 | 一种基于色彩识别技术控制图标排列的方法及电子设备 |
| CN103513864A (zh) * | 2012-11-09 | 2014-01-15 | Tcl集团股份有限公司 | 一种基于色彩识别技术控制图标排列的方法及电子设备 |
| CN103903291A (zh) * | 2012-12-24 | 2014-07-02 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
| CN103903291B (zh) * | 2012-12-24 | 2017-05-31 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
| CN104715374A (zh) * | 2013-12-11 | 2015-06-17 | 世纪禾光科技发展（北京）有限公司 | 一种电子商务平台重复产品的治理方法和系统 |
| CN105335047A (zh) * | 2014-08-14 | 2016-02-17 | 小米科技有限责任公司 | 显示图片的方法及装置 |
| WO2016127478A1 (zh) * | 2015-02-15 | 2016-08-18 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像处理方法、装置和终端 |
| CN105989599A (zh) * | 2015-02-15 | 2016-10-05 | 西安酷派软件科技有限公司 | 一种图像处理方法、装置和终端 |
| CN105487769A (zh) * | 2015-11-20 | 2016-04-13 | 北京金山安全软件有限公司 | 一种媒体文件展示方法、装置及电子设备 |
| CN105487769B (zh) * | 2015-11-20 | 2018-11-16 | 北京金山安全软件有限公司 | 一种媒体文件展示方法、装置及电子设备 |
| CN108121762A (zh) * | 2017-11-24 | 2018-06-05 | 努比亚技术有限公司 | 一种图片处理方法、移动终端以及计算机存储介质 |
| CN108255963A (zh) * | 2017-12-22 | 2018-07-06 | 北京智慧星光信息技术有限公司 | 一种基于互联网的新闻信息检索的控制方法及装置 |
| CN108959346A (zh) * | 2018-04-12 | 2018-12-07 | 腾讯科技（上海）有限公司 | 确定文本文件缩略信息的方法、装置、介质及设备 |
| CN108959346B (zh) * | 2018-04-12 | 2020-11-24 | 腾讯科技（上海）有限公司 | 确定文本文件缩略信息的方法、装置、介质及设备 |
| CN110781420A (zh) * | 2018-07-30 | 2020-02-11 | 上海哔哩哔哩科技有限公司 | 基于编辑器的网页封面自动生成方法、装置和存储介质 |
| CN110276001A (zh) * | 2019-06-20 | 2019-09-24 | 北京百度网讯科技有限公司 | 盘点页识别方法、装置、计算设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101290634B (zh) | 2010-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101290634B (zh) | 一种识别重复缩略图的方法、装置及在搜索引擎中的应用 | |
| CN102819582B (zh) | 一种海量图片快速检索方法 | |
| JP4486780B2 (ja) | 画像情報検索のための非線形量子化及び類似度マッチング方法 | |
| CN110866896B (zh) | 基于k-means与水平集超像素分割的图像显著性目标检测方法 | |
| CN101714257A (zh) | 图像主颜色特征提取和结构化描述的方法 | |
| Sajjad et al. | Integrating salient colors with rotational invariant texture features for image representation in retrieval systems | |
| CN101425082A (zh) | 视频文件内容确定方法及系统 | |
| US7724944B2 (en) | Image retrieval method and image retrieval device | |
| CN105512175A (zh) | 一种基于颜色特征和纹理特征的快速图像检索方法 | |
| CN105574063A (zh) | 基于视觉显著性的图像检索方法 | |
| CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
| CN101256597B (zh) | 识别颜色单调缩略图的方法、装置及在搜索引擎中的应用 | |
| KR20010055492A (ko) | 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법 | |
| CN108388656A (zh) | 一种基于标记相关性的图片搜索方法 | |
| CN104881668B (zh) | 一种基于代表性局部模式的图像指纹提取方法及系统 | |
| CN105096293A (zh) | 用于处理尿液沉渣图像的待处理区块的方法和装置 | |
| CN113051984A (zh) | 视频拷贝检测方法和装置、存储介质和电子装置 | |
| CN110490250A (zh) | 一种人工智能训练集的获取方法及装置 | |
| CN108304588B (zh) | 一种基于k近邻和模糊模式识别的图像检索方法及系统 | |
| CN110334226B (zh) | 融合特征分布熵的深度图像检索方法 | |
| CN109299295B (zh) | 蓝印花布图像数据库搜索方法 | |
| CN109191381A (zh) | 一种标定焦点处理图像的方法及系统 | |
| CN109670072B (zh) | 一种基于间隔提取的商标相似度比较方法 | |
| JP4941299B2 (ja) | 画像識別システム及び方法 | |
| Chen | The image retrieval algorithm based on color feature |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |