CN108959317B - 一种基于特征提取的图片检索方法 - Google Patents

一种基于特征提取的图片检索方法 Download PDF

Info

Publication number
CN108959317B
CN108959317B CN201710375848.6A CN201710375848A CN108959317B CN 108959317 B CN108959317 B CN 108959317B CN 201710375848 A CN201710375848 A CN 201710375848A CN 108959317 B CN108959317 B CN 108959317B
Authority
CN
China
Prior art keywords
picture
sat
hue
val
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710375848.6A
Other languages
English (en)
Other versions
CN108959317A (zh
Inventor
汪晴川
吴冠勇
刘峰
朱向军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI GUANYONG INFORMATION TECHNOLOGY CO LTD
Original Assignee
SHANGHAI GUANYONG INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI GUANYONG INFORMATION TECHNOLOGY CO LTD filed Critical SHANGHAI GUANYONG INFORMATION TECHNOLOGY CO LTD
Priority to CN201710375848.6A priority Critical patent/CN108959317B/zh
Priority to PCT/CN2017/000539 priority patent/WO2018213943A1/zh
Publication of CN108959317A publication Critical patent/CN108959317A/zh
Priority to US16/691,755 priority patent/US11157767B2/en
Application granted granted Critical
Publication of CN108959317B publication Critical patent/CN108959317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于特征提取的图片检索方法，用于确定与待检索图片相似的至少一个样本图片，包括如下步骤：a.对全部样本图片执行特征提取步骤获得对应的全部特征信息，其中，全部样本图片为I1,I2,...,IS，全部样本图片对应的全部所述特征信息为V1,V2,...,VS；b.基于全部所述特征信息创建索引树；c.基于特征提取步骤获取待检索图片对应的所述特征信息；d.基于索引树以及所述待检索图片对应的所述特征信息检索距离最小的至少一个样本图片对应的所述特征信息。本发明功能强大，操作简单，在特征提取时的处理和过滤可避免图片背景对图像特征带来过大影响，具有良好的检索效果和极高的商业价值。

Description

一种基于特征提取的图片检索方法
技术领域
本发明属于图像检索领域，具体地，涉及一种基于特征提取的图片检索方法。
背景技术
商品推荐是基于内容的图像检索(Content-based image retrieval)技术的重要应用之一。在此项应用中，系统对数千万张商品图片(下称“样本图片”)进行特征提取和索引，然后对于用户给出的图片(下称“待检索图片”)，同样进行特征提取后在样本图片库中进行检索，返回相似的样本图片及相关的商品ID、名称、购买链接等元数据信息。
商品图片中往往包含很大一部分不属于商品本身的背景，同时常有加注文字、多张图片被合为一张等情况，这往往会对提取的图片特征带来严重的干扰，从而影响检索精度和商品推荐的效果。
因此，特征提取方法需要对上述背景、注字、图片合并等因素具有鲁棒性，即它要能对上述因素加以处理和过滤，避免其对图像特征带来过大的影响，才能取得较好的检索效果。现有文献对图像特征提取的鲁棒性有一定研究，但针对的主要是图像的旋转、剪裁等简单几何变换，缺少适用于商品图片、对上述因素具备鲁棒性的特征提取方法。
发明内容
针对现有技术存在的技术缺陷，本发明的目的是提供一种基于特征提取的图片检索方法，用于确定与待检索图片相似的至少一个样本图片，包括如下步骤：
a.对全部样本图片执行所述特征提取步骤，从而获得对应的全部特征信息，其中全部样本图片为I1，I2，...，Is，共S张，全部样本图片对应的全部所述特征信息为V1，V2，...，Vs；
b.基于全部所述特征信息创建索引树；
c.基于所述特征提取步骤获取待检索图片对应的所述特征信息；
d.基于所述索引树以及所述待检索图片对应的所述特征信息检索与之最接近的至少一个样本图片对应的所述特征信息。
优选地，所述步骤a包括：a1.对所述样本图片执行筛选步骤获取样本图片对应的筛选信息，包括主图外框、内框范围和每个像素点的筛选结果；a2对样本图片及其对应的所述筛选信息执行所述特征计算步骤。
优选地，所述步骤c包括：c1.对所述待检索图片执行筛选步骤获取待检索图片对应的所述筛选信息，包括主图外框、内框范围和每个像素点的筛选结果；c2.对待检索图片及其对应的所述筛选信息执行所述特征计算步骤。
优选地，在执行所述特征提取步骤之前，对所述样本图片和/或所述待检索图片执行尺寸压缩步骤，使之宽度和高度(单位为像素)不超过某个上限。
优选地，对所述样本图片或待检测图片及相应筛选信息执行的特征计算步骤如下所述：
1.定义mf和mb为两个实数变量，对其赋值mf：＝0，mb：＝0；定义表示亮度直方图的两个实数数组hval，f，hval，b、表示饱和度直方图的两个实数数组hsat，f，hsat，b、表示色调直方图的两个实数数组hhue，f，hhue，b，并对其赋以全0的初值；
2.对图片中位于主图外框范围内的每个像素点执行以下步骤：
ii.计算所述像素点的背景权重wb与前景权重wf；
iii.将wf和wb累加到变量mf和mb中；
iv.读取所述像素点的筛选结果，若筛选结果为1，则终止执行对所述像素点的特征提取步骤；
v.判断所述像素点的红、绿、蓝分量值(均表示为0与1之间的实数)是否均为1，若是，，则终止执行对所述像素点的特征提取步骤；若所述像素点的红、绿、蓝分量中任一个不为1，则执行步骤vi；
vi.分别计算所述像素点的亮度值Val、饱和度值Sat以及色调值 Hue；
vii.根据所述像素点的亮度值Val、饱和度值Sat以及色调值Hue，将该像素点按权重wf，wb累加到亮度直方图数组hval，f，hval，b、饱和度直方图数组hsat，f，hsat，b、色调直方图数组hhue，f，hhue，b中；
3.完成上述逐像素点的处理后，对前景亮度直方图hval，f和背景亮度直方图hval，b分别归一化并逐元素执行减法运算得到亮度特征数组Vval，对前景饱和度直方图hsat，f和背景饱和度直方图hsat，b分别归一化并逐元素执行减法运算得到饱和度特征数组Vsat，对前景色调直方图hhue，f和背景色调直方图hhue，b分别归一化并逐元素执行减法运算得到色调特征数组 Vhue，定义Vval、Vsat、Vhue合并而成的实数数组变量为所述特征信息。
优选地，所述步骤ii为：
设所述像素点的y轴坐标值为i，x轴坐标值为j，则当像素点位于主图内框范围内(即i1′＜＝i＜i2′、j1′＜＝j＜j2′)时，根据公式wb＝(wb0)2， wf＝1-wb计算背景权重wb与前景权重wf，其中
Figure BDA0001303487190000031
Figure BDA0001303487190000032
Figure BDA0001303487190000033
i1′、i2′分别对应、j1′、j2′对应于所述图片筛选信息中的主图内框范围，H表示图片的高度值，W表示图片的宽度值；否则，令wb＝1，wf＝0。
优选地，所述步骤iii为：按mf：＝mf+wf，mb：＝mb+wb对mf和 mb进行赋值。
优选地，所述步骤vi为：
根据公式Val＝1-(0.299*Red+0.587*Green+0.114*Blue) 计算像素点的亮度值Val，其中，Red、Green、Blue分别表示所述像素点的红、绿、蓝分量，均为0和1之间的实数；
根据公式
Figure BDA0001303487190000041
计算饱和度值Sat，其中，Sat2＝Sat1* min(Sat1*8，1)，Sat1＝Sat0*min(MaxRGB*2，1)，Sat0＝MaxRGB-MinRGB， MaxRGB表示所述像素点Red、Green、Blue三者中的最大值，MinRGB表示所述像素点Red、Green、Blue三者中的最小值；
根据如下公式计算所述像素点的色调值；
Figure BDA0001303487190000042
优选地，所述步骤vii为：
设hval，f和hval，b各包含Nval个元素，hsat，f和hsat，b各包含Nsat个元素， hhue，f和hhue，b各包含Nhue个元素；
设(Nval-1)*Val＝u+v，其中u为0到Nval-2之间的整数，v为介于0 和1之间的实数，然后按hval，f[u]：＝hval，f[u]+(1-v)*Wf，hval，f[u+1]：＝ hval，f[u+1]+v*wf；hval，b[u]：＝hval，b[u]+(1-v)*wb，hval，b[u+1]：＝hval，b[u+1] +v*wb进行赋值；
设(Nsat-1)*Sat＝u+v，其中u为0到Nsat-2之间的整数，v为介于0 和1之间的实数，然后按hsat，f[u]：＝hsat，f[u]+(1-v)*wf，hsat，f[u+1]：＝hsat，f[u+1]+v*wf；hsat，b[u]：＝hsat，b[u]+(1-v)wb，hsat，b[u+1]：＝hsat，b[u+1] +v*wb进行赋值；
设(Nhue/6)*Hue＝u+v，其中u为0到Nhue-1之间的整数，v为介于0 与1之间的实数，并令u+＝(u+1)mod Nhue(即(u+1)除以Nhue的余数，为0 到Nhue-1的整数)，然后按hhue，f[u]：＝hhue，f[u]+(1-v)*Sat*wf，hhue，f[u+]：＝ hhue，f[u+]+v*Sat*wf；hhue，b[u]：＝hhue，b[u]+(1-v)*Sat*wb，hhue，b[u+]：＝ hhue，b[u+]+v*Sat*wb进行赋值。
优选地，所述步骤3为：
Vval[u]＝max(hval，f[u]/mf-hval，b[u]/mb，0)，u＝0，...，Nval-1；
Vsat[u]＝max(hsat，f[u]/mf-hsat，b[u]/mb，0)，u＝0，...，Nsat-1；
Vhue[u]＝max(hhue，f[u]/mf-hhue，b[u]/mb，0)，u＝0，...，Nhue-1。
优选地所述索引树为k-d树，所述步骤d为：
在包含全部样本图片对应的所述特征信息V1，...，Vs的k-d树中，检索与所述待检索图片对应的所述特征信息V0具有最小平方欧氏距离
Figure BDA0001303487190000051
的一个或多个样本图片特征信息，其中 Nfeat＝Nval+Nsat+Nhue为每张图片的特征数组的总元素个数。
本发明根据商品图片拍摄角度多变、色彩丰富、颜色深浅不一的特点，采用了基于颜色直方图的特征，同时为减小背景的影响，分别计算了背景与前景部分的直方图，相减后再作为特征使用，并根据该特征信息在索引树中进行检索，得出检索到的特征信息所对应的相似图片。本发明功能强大，运算快速，操作简单，在特征提取时的处理和过滤避免了背景、注字、图片合并等因素对图像特征带来过大的影响，具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了本发明的具体实施方式的，一种基于特征提取的图片检索方法的具体流程示意图；
图2示出了本发明的第一实施例的，在所述基于特征提取的图片检索方法中，对全部样本图片执行特征提取步骤获得对应的全部特征信息的具体流程示意图；
图3示出了本发明的第二实施例的，在所述基于特征提取的图片检索方法中，基于所述特征提取步骤获取待检索图片对应的所述特征信息的具体流程示意图；以及
图4示出了本发明的第三实施例的，在所述基于特征提取的图片检索方法中，以所述样本图片或者所述待检测图片的像素点为单位执行所述特征提取的具体流程示意图。
具体实施方式
为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。
图1示出了本发明的具体实施方式的，一种基于特征提取的图片检索方法的具体流程示意图，具体地，所述图1用于确定与待检索图片相似的至少一个样本图片，即通过在全部样本图片中提取每个图片所对应的特征信息，并根据待检索图片对应的所述特征信息检索与之相匹配的全部样本图片特征信息，从而得出与样本图片相似的商品图片，具体地，
首先，进入步骤S101，对全部样本图片执行特征提取步骤获得对应的全部特征信息，其中，全部样本图片为I1，I2，...，Is，全部样本图片对应的全部所述特征信息为V1，V2，...，Vs，在这样的实施例中，全部样本图片有很多，S为所述全部样本图片的数目。
每张图片的所述特征信息为基于图片内容生成的、可用于相似图片检索的少量信息。进一步地，所述特征信息优选地是包含Nfeat＝21(其中 Nval＝5，Nsat＝4，Nhue＝12)个实数的数组，本领域技术人员理解，所述对全部样本图片执行特征提取步骤获得对应的全部特征信息的具体步骤将在后述的具体实施方式中作进一步地描述，在此不予赘述。
然后，进入步骤S102，基于全部所述特征信息创建索引树，进一步地，经过步骤S101，得出全部样本图片对应的全部所述特征信息为 V1，V2，...，Vs，创建包含全部样本图片特征V1，V2，...，Vs的k-d树，称之为样本特征索引。k-d树(k-维树的缩写)是在k维(若特征信息是如上所述包含21个实数的数组，则k＝21)欧几里德空间组织点的数据结构，在计算机科学里，k-d树可以使用在多种应用场合，如多维键值搜索。k-d树是二叉树的一种特殊情况，即k-d树是每个节点都为k维点的二叉树，本领域技术人员理解，k-d树的建立采用业界通行算法，属于目前现有技术方案，在此不予赘述。
一次性完成以上步骤后，对于用户提交的每一张待检索图片，执行步骤S103和S104。在步骤S103中，基于所述特征提取步骤获取待检索图片对应的所述特征信息。本领域技术人员理解，获取待检索图片对应的所述特征信息的步骤与步骤S101中获取获得全部样本图片的特征信息的提取步骤相同，将在后述的具体实施方式中作具体描述。
在步骤S104中，基于索引树以及所述待检索图片对应的所述特征信息检索距离最小的至少一个样本图片对应的所述特征信息，本领域技术人员理解，所述步骤S104为基于所述索引树以及所述待检索图片对应的所述特征信息检索与之最接近的一个或多个样本图片对应的所述特征信息，本领域技术人员理解，所述步骤S104将根据公式
Figure 1
定义每一张样本图片Is对应的所述特征信息Vs与所述待检索图片对应的所述特征信息V0的平方欧氏距离，并运用k-d 树的检索算法查询使该平方欧氏距离达到最小的一张或多张样本图片的下标s，将相应图片(也可加上与之关联的商品ID、名称、购买链接等元数据信息)作为检索结果返回给用户，所述根据公式计算平方欧氏距离并检索的方式将采用业界通行算法，这些属于目前的现有技术，将在后述的具体实施方式中作进一步的描述，在此不予赘述。
图2示出了本发明的第一实施例的，在所述基于特征提取的图片检索方法中，对全部样本图片执行特征提取步骤获得对应的全部特征信息的具体流程示意图在所述步骤S101中，对所述样本图片执行筛选步骤获取样本图片对应的筛选信息，并利用样本图片对应的所述筛选信息执行所述特征提取步骤。每张图片的筛选信息包括两个矩形区域的坐标范围(分别称之为主图外框及主图内框，其中主图内框为主图外框的子区域)，以及每个像素点的筛选结果，其中，我们将1表示该像素点被筛去，0表示该像素点被保留。本领域技术人员理解，在所述样本图片库中，对应于每个s＝1，...，S记录有相应的样本图片Is，而我们需要对每个样本图片执行筛选步骤，进一步地，对于每张样本图片(或下述待检索图片)I，记其宽度为W，高度为H(W，H＞＝1)，其i行j列的像素记作I[i，j]，其中i＝0，...，H-1，j＝0，...，W-1。每个像素I[i，j]包含红、绿、蓝三个分量，均表示为介于0与1之间的实数。本领域技术人员理解，实际图片中每个像素的红、绿、蓝分量往往被表示为0～255 之间的整数，在这样的实施例中，可将每个分量的原值除以255，使之成为0与1之间的实数。
相应地，图3示出了本发明的第二实施例的，在所述基于特征提取的图片检索方法中，基于所述特征提取步骤获取待检索图片对应的所述特征信息的具体流程示意图，在所述步骤S103中，对所述待检索图片执行筛选步骤获取待检索图片对应的所述筛选信息，并利用待检索图片对应的所述筛选信息执行所述特征提取步骤，这些将在后述的具体实施方式中作进一步地描述，在此不予赘述。
进一步地，在执行所述特征提取步骤之前，对所述样本图片和所述待检索图片执行尺寸压缩步骤，在这样的实施例中，为加快后续处理的速度，若所述样本图片的宽度或高度超过220像素，则对其进行缩放，使之宽度与高度的较大者为220像素，且宽度与高度之比不变，若所述待检索图片的宽度或高度超过220像素，同样对其进行缩放，使之宽度与高度的较大者为220像素，且宽度与高度之比不变，经过缩放之后的图片及其宽度、高度仍记作I、W、H。
图4示出了本发明的第三实施例的，在所述基于特征提取的图片检索方法中，以所述样本图片或者所述待检测图片的像素点为单位执行所述特征提取的具体流程示意图，所述步骤将对图片中的逐个像素点进行处理，来对每个图片实现特征提取，具体地，包括如下步骤：
对于图片中每一个像素点，我们在执行步骤S201之前，会不断的选取图片中的下一个像素点，故所述步骤S201至步骤S207为循环执行的过程，直到图片中没有像素点选取为止，在执行步骤S201至步骤S207 的过程中，会根据不断的判断过程，提前终止步骤并进入下一个像素点的处理，这些将在后述的具体实施方式中做进一步地描述。
首先进入步骤S201，所述步骤S201为一判断步骤，具体地，判断所述像素点是否位于主图外框范围内。若所述像素点位于主图外框范围内，则继续执行步骤S202；若所述像素点超出主图外框范围，则对本像素点不作后续处理，从S201开始处理下一个像素点。
然后，在执行完步骤S201后，进入步骤S202，计算所述像素点的背景权重wb与前景权重wf，本领域技术人员理解，为了减小图片背景所产生的影响，本发明将分别计算背景与前景部分的直方图，所述直方图分别为亮度、饱和度、色调的直方图，然后在后述步骤S208中，将所述背景部分与所述前景部分相减后再作为特征使用。
具体地，如果所述像素点处于主图内框范围内，则根据公式wb＝(wb0)2， wf＝1-wb计算背景权重wb与前景权重wf，其中
Figure BDA0001303487190000091
Figure BDA0001303487190000101
Figure BDA0001303487190000102
i1′、i2′分别对应于所述图片主图内框在y轴方向的两个端点值， j1′、j2′分别对应于所述图片主图内框在x轴方向的两个端点值，H表示待检测图片的高度值，W表示待检测图片的宽度值，i，j分别为所述像素点的y轴坐标值、x轴坐标值。如果所述像素点位于主图内框范围之外，则令wb＝1，wf＝0。wb介于0与1之间，接近于0代表像素处于前景 (商品)部分，接近于1则表示该像素处于背景部分。直观而言，上述公式将接近于图片整体中心和其中主图内框中心的部分均当作前景来处理。
紧接着，进入步骤S203，设mf和mb为两个初值为0的实数变量，针对本像素对mf和mb进行赋值mf：＝mf+wf，mb：＝mb+wb。
再然后，进入步骤S204，在所述样本/待检索图片的筛选信息中读取所述像素点的筛选结果，如果筛选结果为该像素点被保留，则继续执行步骤S205；如果筛选结果为该像素点被筛去，则对本像素点不作后续处理，从S201开始处理下一个像素点。筛选结果中会尽可能将图像上人为标注的文字、加框等部分予以筛去，避免其对所提取的特征信息带来影响。
再然后，执行步骤S205，判断所述像素点的红、绿、蓝分量是否均为1。若是(即该像素为纯白色)，则对本像素点不作后续处理，从S201 开始处理下一个像素点；若所述像素点的红、绿、蓝分量中任一个不为 1，则说明所述像素不为纯白色，则继续执行后述步骤S206。
紧接着，进入步骤S206，分别计算所述像素点的亮度值Val、饱和度值Sat以及色调值Hue，在这样的实施例中，根据公式Val＝1- (0.299*Red+0.587*Green+0.114*Blue)计算像素点的亮度值Val，其中，Red、Green、Blue分别表示所述像素点的红、绿、蓝分量，均为0和1之间的实数。由于在样本图片库中，很多图片的背景为白色，故此处Val＝0表示白色，Val＝1则为黑色。
在所述步骤S207中，设hval，f和hval，b分别为两个各包含Nval个元素的前景亮度实数数组变量和背景亮度实数数组变量，hsat，f和hsat，b分别为两个各包含Nsat个元素的前景饱和度实数数组变量和背景饱和度实数数组变量，hhue，f和hhue，b分别为两个各包含Nhue个元素的前景色调实数数组变量和背景色调实数数组变量，它们所有元素的初值均为0；
现设(Nval-1)*Val＝u+v，其中u为0到Nval-2之间的整数，v为介于 0和1之间的实数，则按hval，f[u]：＝hval，f[u]+(1-v)*wf，hval，f[u+1]：＝ hval，f[u+1]+v*wf；hval，b[u]：＝hval，b[u]+(1-v)*wb，hval，b[u+1]：＝hval，b[u+1] +v*wb进行赋值；
设(Nsat-1)*Sat＝u+v，其中u为0到Nsat-2之间的整数，v为介于0 和1之间的实数，则按hsat，f[u]：＝hsat，f[u]+(1-v)*wf，hsat，f[u+1]：＝ hsat，f[u+1]+v*wf；hsat，b[u]：＝hsat，b[u]+(1-v)*wb，hsat，b[u+1]：＝hsat，b[u+1] +v*wb进行赋值；
设(Nhue/6)*Hue＝u+v，其中u为0到Nhue-1之间的整数，v为介于0 与1之间的实数，并令u+＝(u+1)modNhue，则按hhue，f[u]：＝hhue，f[u]+ (1-v)*Sat*wf，hhue，f[u+]：＝hhue，f[u+]+v*Sat*wf；hhue，b[u]：＝hhue，b[u]+ (1-v)*Sat*wb，hhue，b[u+]：＝hhue，b[u+]+v*Sat*wb进行赋值。
在这样的实施例中，根据公式
Figure BDA0001303487190000111
计算饱和度值Sat，其中， Sat2＝Sat1*min(Sat1*8，1)，Sat1＝Sat0*min(MaxRGB*2，1)，Sat0＝MaxRGB-MinRGB，MaxRGB表示所述像素点红、绿、蓝三个分量中的最大者，MinRGB表示所述像素点红、绿、蓝三个分量中的最小者。此处 Sat0可理解为像素的原始饱和度，Sat1的修正减小了暗色的饱和度使之更符合直观感受，而Sat2的修正则降低了饱和度极低的像素的影响，因其往往只是白平衡问题，不代表实际上有颜色。
根据如下公式计算所述像素点的色调值；
Figure BDA0001303487190000121
本领域技术人员理解，根据上述公式可以得知，即使在 Red，Green，Blue不全相异时也能得出唯一的Hue值，且满足0＜＝Hue＜6。在一个特殊的实施例中，如果MaxRGB＝MinRGB，则取Hue＝0，在这样的实施例中，由于此时Sat＝0，Hue取何值对之后的步骤S207并无影响。
至此完成了对所述像素点的处理，进一步地，判断是否还有像素点未处理，若有，应从步骤S201开始处理下一像素点，若没有，则进入步骤S208。
在对所有像素执行完步骤S201-S207后，最后执行步骤S208，对所述前景亮度实数数组变量和所述背景亮度实数数组变量分别归一化并执行减法运算得到亮度特征数组Vval，对所述前景饱和度实数数组变量和所述背景饱和度实数数组变量分别归一化并执行减法运算得到饱和度特征数组Vsat，对所述前景色调实数数组变量和所述背景色调实数数组变量分别归一化并执行减法运算得到色调特征数组Vhue，定义Vval、Vsat、 Vhue合并而成的实数数组为所述特征信息。
优选地，在步骤S208中，令Vval[u]＝max(hval，f[u]/mf-hval，b[u] /mb，0)，u＝0，...，Nval-1；Vsat[u]＝max(hsat，f[u]/mf-hsat，b[u]/mb， 0)，u＝0，...，Nsat-1；Vhue[u]＝max(hhue，f[u]/mf-hhue，b[u]/mb，0)， u＝0，...，Nhue-1。此处为防止出现除以零的情况，如果mf或mb小于1，令其为1，
进一步地，所述索引树为k-d树，所述步骤S104包括：
在包含全部样本图片对应的所述特征信息V1，...，Vs的k-d树中，检索与所述待检索图片对应的所述特征信息V0具有最小平方欧氏距离
Figure 2
的一个或多个样本图片特征信息，其中 Nfeat＝Nval+Nsat+Nhue为每张图片的特征数组的总元素个数。
本领域技术人员理解，所述特征信息优选地是包含Nfeat＝21(其中 Nval＝5，Nsat＝4，Nhue＝12)个实数的数组，此时即可根据公式
Figure 3
定义每一张样本图片Is对应的所述特征信息Vs与所述待检索图片对应的所述特征信息V0的平方欧氏距离，并运用k-d 树的检索算法查询使该平方欧氏距离达到最小的一张或多张样本图片的下标s，其中，对应于每个下标s的Vs为k-d树中某个样本图片对应的所述特征信息，V0为待检索图片对应的所述特征信息。本领域技术人员理解，特征信息的平方欧氏距离越小，表示相应样本图片的特征信息与待检索图片特征信息越接近，也就表示样本图片与待检索图片较为相似。
进一步地，k-d树包含全部样本图片的特征，但不包含待检索图片的特征，它的目的是加快检索速度，不需要将距全部样本图片特征的平方欧氏距离都计算一遍，只需要处理少部分距离可能较近的样本图片特征即可，优选地采用目前现有技术中的k-d树检索算法加以计算，所述平方欧氏距离越小，则表示相应样本图片与所述待检索图片之间的匹配程度越高。
更进一步地，根据所述全部样本图片中最为接近的图片的下标s，查询相应的图片内容、元数据等信息，最后反馈给检索客户。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于特征提取的图片检索方法，用于确定与待检索图片相似的至少一个样本图片，其特征在于，包括如下步骤：
a.对全部样本图片执行特征提取步骤获得对应的全部特征信息，其中，全部样本图片为I1,I2,...,IS，全部样本图片对应的全部所述特征信息为V1,V2,...,VS；
b.基于全部所述特征信息创建索引树；
c.基于所述特征提取步骤获取待检索图片对应的所述特征信息；
d.基于索引树以及所述待检索图片对应的所述特征信息检索距离最小的至少一个样本图片对应的所述特征信息，
其中，对所述样本图片或者所述待检测图片的各个像素点分别执行所述特征提取步骤，包括如下步骤：
i.判断所述像素点是否位于主图外框范围内，若所述像素点位于主图外框范围内，则继续执行步骤ii；若所述像素点超出主图外框范围，则结束对该像素点的处理，开始处理下一像素点；
ii.计算所述像素点的背景权重wb与前景权重wf；
iii.将wf和wb累加到变量mf和mb中；
iv.在所述样本图片或所述待检索图片的筛选信息中读取所述像素点的筛选结果，若筛选结果为该像素点被保留，则继续执行步骤v；若筛选结果为该像素点被筛去，则结束对该像素点的处理，从步骤i开始处理下一像素点；
v.判断所述像素点的红、绿、蓝分量是否均为1，若是，则结束对该像素点的处理，从步骤i开始处理下一像素点；若所述像素点的红、绿、蓝分量中任一个不为1，则继续执行步骤vi；
vi.分别计算所述像素点的亮度值Val、饱和度值Sat以及色调值Hue；
vii.根据所述像素点的亮度值Val、饱和度值Sat、色调值Hue及其前景权重wf与背景权重wb，将其统计到前景\背景亮度直方图、前景\背景饱和度直方图以及前景\背景色调直方图中，返回步骤i，处理下一像素点；
viii.对全部像素点完成步骤i到步骤vii后，对所述前景亮度直方图和所述背景亮度直方图分别归一化并执行减法运算得到亮度特征数组Vval，对所述前景饱和度直方图和所述背景饱和度直方图分别归一化并执行减法运算得到饱和度特征数组Vsat，对所述前景色调直方图和所述背景色调直方图分别归一化并执行减法运算得到色调特征数组Vhue，定义Vval、Vsat、Vhue合并而成的实数数组为所述特征信息。
2.根据权利要求1所述的图片检索方法，其特征在于，所述步骤a包括：
a1.对所述样本图片执行筛选步骤获取样本图片对应的筛选信息；
a2.对样本图片对应的所述筛选信息执行所述特征提取步骤。
3.根据权利要求2所述的图片检索方法，其特征在于，所述步骤c包括：
c1.对所述待检索图片执行筛选步骤获取待检索图片对应的所述筛选信息；
c2.对待检索图片对应的所述筛选信息执行所述特征提取步骤。
4.根据权利要求1所述的图片检索方法，其特征在于，在执行所述特征提取步骤之前，对所述样本图片和/或所述待检索图片执行尺寸压缩步骤。
5.根据权利要求1所述的图片检索方法，其特征在于，所述步骤ii为：
若所述像素点位于主图内框范围内，则根据公式wb＝(wb0)2，wf＝1-wb计算背景权重wb与前景权重wf，其中
Figure FDA0003196372220000031
Figure FDA0003196372220000032
Figure FDA0003196372220000033
i1′、i2′分别对应于主图内框在y轴方向的两个端点值，j1′、j2′分别对应于主图内框在x轴方向的两个端点值，H表示所述图片的高度值，W表示所述图片的宽度值，i,j分别对应所述像素点的y轴坐标值、x轴坐标值，如果像素点位于主图内框范围之外，则令wb＝1，wf＝0。
6.根据权利要求5所述的图片检索方法，其特征在于，所述步骤iii为：设mf和mb为两个初值为0的实数变量，针对所述像素点对mf和mb按mf:＝mf+wf，mb:＝mb+wb进行赋值。
7.根据权利要求6所述的图片检索方法，其特征在于，所述步骤vi为：
根据公式Val＝1-(0.299*Red+0.587*Green+0.114*Blue)计算像素点的亮度值Val，其中，Red、Green、Blue分别表示所述像素点的红、绿、蓝分量值，其中，Red、Green、Blue为0到1之间的实数；
根据公式
Figure FDA0003196372220000034
计算饱和度值Sat，其中，Sat2＝Sat1*min(Sat1*8,1)，Sat1＝Sat0*min(MaxRGB*2,1)，Sat0＝MaxRGB–MinRGB，MaxRGB表示所述像素点Red、Green、Blue三个值中的最大者，MinRGB表示所述像素点Red、Green、Blue三个值中的最小者；
根据如下公式计算所述像素点的色调值；
Figure FDA0003196372220000041
8.根据权利要求7所述的图片检索方法，其特征在于，所述步骤viii为：
设hval,f和hval,b分别为两个各包含Nval个元素的前景亮度实数数组变量和背景亮度实数数组变量，hsat,f和hsat,b分别为两个各包含Nsat个元素的前景饱和度实数数组变量和背景饱和度实数数组变量，hhue,f和hhue,b分别为两个各包含Nhue个元素的前景色调实数数组变量和背景色调实数数组变量；
设(Nval-1)*Val＝u+v，其中u为0到Nval-2之间的整数，v为介于0和1之间的实数，则hval,f[u]:＝hval,f[u]+(1-v)*wf，hval,f[u+1]:＝hval,f[u+1]+v*wf；hval,b[u]:＝hval,b[u]+(1-v)*wb，hval,b[u+1]:＝hval,b[u+1]+v*wb；
设(Nsat-1)*Sat＝u+v，其中u为0到Nsat-2之间的整数，v为介于0和1之间的实数，则hsat,f[u]:＝hsat,f[u]+(1-v)*wf，hsat,f[u+1]:＝hsat,f[u+1]+v*wf；hsat,b[u]:＝hsat,b[u]+(1-v)*wb，hsat,b[u+1]:＝hsat,b[u+1]+v*wb；
设(Nhue/6)*Hue＝u+v，其中u为0到Nhue-1之间的整数，v为介于0与1之间的实数，并令u+＝(u+1)modNhue，则hhue,f[u]:＝hhue,f[u]+(1-v)*Sat*wf，hhue,f[u+]:＝hhue,f[u+]+v*Sat*wf；hhue,b[u]:＝hhue,b[u]+(1-v)*Sat*wb，hhue,b[u+]:＝hhue,b[u+]+v*Sat*wb。
9.根据权利要求8所述的图片检索方法，其特征在于，所述步骤viii为：
Vval[u]＝max(hval,f[u]/mf-hval,b[u]/mb,0),u＝0,...,Nval-1；Vsat[u]＝max(hsat,f[u]/mf-hsat,b[u]/mb,0),u＝0,...,Nsat-1；Vhue[u]＝max(hhue,f[u]/mf-hhue,b[u]/mb,0),u＝0,...,Nhue-1。
10.根据权利要求1至9中任一项所述的图片检索方法，其特征在于，所述索引树为k-d树，所述步骤d包括：
在包含全部样本图片对应的所述特征信息V1,...,VS的k-d树中，检索与所述待检索图片对应的所述特征信息V0具有最小平方欧氏距离
Figure FDA0003196372220000051
的一个或多个样本图片特征信息，其中Nfeat＝Nval+Nsat+Nhue为每张图片的特征数组的总元素个数。
CN201710375848.6A 2017-05-24 2017-05-24 一种基于特征提取的图片检索方法 Active CN108959317B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710375848.6A CN108959317B (zh) 2017-05-24 2017-05-24 一种基于特征提取的图片检索方法
PCT/CN2017/000539 WO2018213943A1 (zh) 2017-05-24 2017-08-24 一种基于特征提取的图片检索方法
US16/691,755 US11157767B2 (en) 2017-05-24 2019-11-22 Image searching method based on feature extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710375848.6A CN108959317B (zh) 2017-05-24 2017-05-24 一种基于特征提取的图片检索方法

Publications (2)

Publication Number Publication Date
CN108959317A CN108959317A (zh) 2018-12-07
CN108959317B true CN108959317B (zh) 2021-09-14

Family

ID=64395178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710375848.6A Active CN108959317B (zh) 2017-05-24 2017-05-24 一种基于特征提取的图片检索方法

Country Status (3)

Country Link
US (1) US11157767B2 (zh)
CN (1) CN108959317B (zh)
WO (1) WO2018213943A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763429A (zh) * 2010-01-14 2010-06-30 中山大学 一种基于颜色和形状特征的图像检索方法
CN103870569A (zh) * 2014-03-13 2014-06-18 北方信息控制集团有限公司 一种基于内容的彩色动物图像检索方法与系统
US8891902B2 (en) * 2010-02-16 2014-11-18 Imprezzeo Pty Limited Band weighted colour histograms for image retrieval

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861844B2 (en) * 2010-03-29 2014-10-14 Ebay Inc. Pre-computing digests for image similarity searching of image-based listings in a network-based publication system
CN103473327A (zh) * 2013-09-13 2013-12-25 广东图图搜网络科技有限公司 图像检索方法与系统
CN106415606B (zh) * 2014-02-14 2019-11-08 河谷控股Ip有限责任公司 一种基于边缘的识别、系统和方法
US9665606B2 (en) 2014-02-14 2017-05-30 Nant Holdings Ip, Llc Edge-based recognition, systems and methods
GB2541865A (en) * 2015-07-30 2017-03-08 Emerald Medical Applications Ltd Image processing system and method
WO2017077076A1 (en) * 2015-11-06 2017-05-11 Thomson Licensing Method and apparatus for generating codebooks for efficient search
CN105718552A (zh) * 2016-01-19 2016-06-29 北京服装学院 基于服装手绘草图的服装图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763429A (zh) * 2010-01-14 2010-06-30 中山大学 一种基于颜色和形状特征的图像检索方法
US8891902B2 (en) * 2010-02-16 2014-11-18 Imprezzeo Pty Limited Band weighted colour histograms for image retrieval
CN103870569A (zh) * 2014-03-13 2014-06-18 北方信息控制集团有限公司 一种基于内容的彩色动物图像检索方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像直方图特征及其应用研究;汪启伟;《中国优秀博士学位论文全文数据库 信息科技辑》;20140715;正文第4-5章 *

Also Published As

Publication number Publication date
US11157767B2 (en) 2021-10-26
WO2018213943A1 (zh) 2018-11-29
US20200202164A1 (en) 2020-06-25
CN108959317A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
US10535124B2 (en) Inverse tone mapping method and corresponding device
JP5173898B2 (ja) 画像処理方法、画像処理装置、及びプログラム
CN109472832B (zh) 一种配色方案生成方法、装置及智能机器人
WO2019225692A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
ITVA20060079A1 (it) Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori
JP5974589B2 (ja) 画像処理装置およびプログラム
US9430718B1 (en) Efficient local feature descriptor filtering
CN108205671A (zh) 图像处理方法及装置
US20100080457A1 (en) Method and apparatus for colour correction of image sequences
CN112561976A (zh) 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备
JP2002358515A (ja) 変倍画像生成装置及び方法、画像特徴算出装置及び方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体、並びに画像データ構造
JP2004021430A (ja) 画像検索装置、画像検索方法及び画像検索プログラム
US9665948B2 (en) Saturation compensation method
EP2890109A1 (en) Method for sorting a group of images of a database and method for color correcting an image, corresponding devices, computer program and non-transitory computer-readable medium
WO2015174906A1 (en) Segmentation based image transform
CN108959317B (zh) 一种基于特征提取的图片检索方法
WO2016113407A1 (en) Methods and apparatus for groupwise contrast enhancement
Iwasa et al. Color selection and editing for palette-based photo recoloring
CN114723610A (zh) 图像智能处理方法、装置、设备及存储介质
Hernandez et al. Classification of color textures with random field models and neural networks
KR101643550B1 (ko) 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법
CN113989137A (zh) 一种脸部肌肤图像色素沉着提取并形成棕区光谱的方法
CN108665434B (zh) 图像合成方法及装置
CN111147693B (zh) 一种全尺寸拍照图像的降噪方法及装置
Koohestani et al. Revealing Shadows: Low-Light Image Enhancement Using Self-Calibrated Illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant