CN111506754B - 图片检索方法、装置、存储介质及处理器 - Google Patents

图片检索方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN111506754B
CN111506754B CN202010287638.3A CN202010287638A CN111506754B CN 111506754 B CN111506754 B CN 111506754B CN 202010287638 A CN202010287638 A CN 202010287638A CN 111506754 B CN111506754 B CN 111506754B
Authority
CN
China
Prior art keywords
picture
similar
crawler
pictures
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010287638.3A
Other languages
English (en)
Other versions
CN111506754A (zh
Inventor
方建生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010287638.3A priority Critical patent/CN111506754B/zh
Publication of CN111506754A publication Critical patent/CN111506754A/zh
Application granted granted Critical
Publication of CN111506754B publication Critical patent/CN111506754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图片检索方法、装置、存储介质及处理器。其中，该方法包括：接收在智能会议平板IMB上选取的区域，将区域作为查询图片；通过基于内容的图片检索CBIR方法，检索与查询图片相似的相似图片；显示相似图片。本发明解决了相关技术中，采用IMB进行会议时，存在检索信息效率低下，影响用户使用体验的技术问题。

Description

图片检索方法、装置、存储介质及处理器
技术领域
本发明涉及显示领域，具体而言，涉及一种图片检索方法、装置、存储介质及处理器。
背景技术
智能会议平板(IMB，Interactive Meeting Board)是针对企业会议室开发的新一代交互显示设备，以高清液晶屏为显示和操作平台，集电脑、电子白板、无线投影、远程会议以及高清显示等多功能于一体，可替代传统的投影仪和传统白板，且更加简洁，易操作。
IMB具备书写、批注、同步交互、多媒体、远程视频会议等功能，融合高清显示、人机交互、多媒体信息处理和网络传输等多项技术。基于IMB进行会议中，如果需要会议相关信息作参考时，往往需要依赖非IMB平台采集信息，效率低下，且决策滞后。
例如，在IMB会议时，需知道当前国内生产总值(GDP，Gross Domestic Product)各产业的占比情况来辅助会议的决策，一般下不会记得这个数据情况，要知道这个数据，现在一般通过会议现场手机或个人电脑(PC，Personal Computer)来手工检索，或者会后采集再做决策。这种信息检索方式效率低下，降低决策时效和会议质量。
因此，在相关技术中，采用IMB进行会议时，存在检索信息效率低下，影响用户使用体验的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图片检索方法、装置、存储介质及处理器，以至少解决相关技术中，采用IMB进行会议时，存在检索信息效率低下，影响用户使用体验的技术问题。
根据本发明实施例的一个方面，提供了一种图片检索方法，包括：接收在智能会议平板IMB上选取的区域，将所述区域作为查询图片；通过基于内容的图片检索CBIR方法，检索与所述查询图片相似的相似图片；显示所述相似图片。
可选地，在通过所述CBIR方法，检索与所述查询图片相似的相似图片之前，还包括：全网爬虫图片，得到爬虫图片；对所述爬虫图片进行特征提取，得到图片特征；为所述爬虫图片及对应的图片特征构建索引。
可选地，通过所述CBIR方法，检索与所述查询图片相似的相似图片包括：根据所述查询图片的图片特征以及所述爬虫图片的图片特征，计算所述查询图片与所述爬虫图片的相似度；确定相似度大于预定值的爬虫图片为与所述查询图片相似的相似图片。
可选地，对所述爬虫图片进行特征提取，得到图片特征包括：使用卷积神经网络CNN模型对所述爬虫图片进行特征提取，得到图片特征，其中，所述CNN模型为使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据均包括：图片及图片的主题，和该图片的图片特征。
可选地，在使用所述CNN模型对所述爬虫图片进行特征提取，得到图片特征之前，还包括：定向爬虫图片及图片的网页文本，其中，定向爬虫是针对预定主题内容的爬虫；对定向爬虫获取的所述网页文本应用自然语言处理，提取主题；基于定向爬虫获得的图片以及提取的主题进行训练，得到所述CNN模型。
可选地，显示所述相似图片包括：在所述相似图片为多幅的情况下，依据与所述查询图片相似的相似度值，对所述相似图片进行排序显示。
可选地，在显示所述相似图片之后，还包括：在显示的所述相似图片未满足检索需求的情况下，接收在所述IMB上选取的更新区域，将所述更新区域作为更新查询图片；通过所述CBIR方法，检索与所述更新查询图片相似的相似图片，直到所述相似图片满足检索需求。
根据本发明实施例的另一方面，还提供了一种图片检索装置，包括：接收模块，用于接收在智能会议平板IMB上选取的区域，将所述区域作为查询图片；检索模块，用于通过基于内容的图片检索CBIR方法，检索与所述查询图片相似的相似图片；显示模块，用于显示所述相似图片。
根据本发明实施例的又一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的图片检索方法。
根据本发明实施例的还一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的图片检索方法。
在本发明实施例中，通过CBIR方法，检索与所述查询图片相似的相似图片的方式，通过CBIR方法的流程，达到了检索图片的目的，从而实现了基于内容的图片检索的技术效果，进而解决了相关技术中，采用IMB进行会议时，存在检索信息效率低下，影响用户使用体验技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的图片检索方法的流程图；
图2是根据本发明实施例的优选的图片检索方法一的流程图；
图3是根据本发明实施例的优选的图片检索方法二的流程图；
图4是根据本发明实施例的优选的图片检索方法三的流程图；
图5是根据本发明实施例所采用的CNN的结构示意图；
图6是根据本发明实施例中在IMB上显示的界面图一；
图7是根据本发明实施例中在图6中截取的CVPR2018局域的图；
图8是根据本发明实施例中输入图7截图后返回的相似图片的展示图；
图9是根据本发明实施例中在IMB上显示的界面图二；
图10是根据本发明实施例中在图9中截取的未来教育局域的图；
图11是根据本发明实施例中输入图10截图后返回的相似图片的展示图；
图12是根据本发明实施例中对该公司的logo进行截图后获得的图；
图13是根据本发明实施例中对该公司的logo进行截图后返回的相似图片的展示图；
图14是根据本发明实施例的图片检索装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种图片检索方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例1
图1是根据本发明实施例的图片检索方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，接收在智能会议平板IMB上选取的区域，将区域作为查询图片；
步骤S104，通过基于内容的图片检索CBIR方法，检索与查询图片相似的相似图片；
步骤S106，显示相似图片。
通过上述步骤，通过CBIR方法，检索与查询图片相似的相似图片的方式，通过CBIR方法的流程，达到了检索图片的目的，从而实现了基于内容的图片检索的技术效果，进而解决了相关技术中，采用IMB进行会议时，存在检索信息效率低下，影响用户使用体验技术问题。
作为一种可选的实施例，接收在智能会议平板IMB上选取的区域，将区域作为查询图片时，选取的区域可以是通过截图选取的区域，截图的方式可以是在IMB所采用的任何截图方式。例如，可以通过接收用户手动触摸截图，也可以是通过接收书写笔的书写截图。另外，选取的区域还可以是通过接收对组件的选择，并将该组件所在的选取的区域。采用上述截图的方式获取查询图片，不仅操作简单，而且效率也高。
作为一种可选的实施例，在显示相似图片时，可以不仅显示图片本身，还可以显示用于描述图片的图片信息，例如，图片所涉及到的内容概况，图片的来源，图片的类型或者大小等。通过显示图片的信息，便于用户判断检索到的图片是否是用户需要的图片，从而提高获取信息的效率。
另外，在显示相似图片时，在相似图片为多幅的情况下，依据与查询图片相似的相似度值，对相似图片进行排序显示。即优先显示与查询图片最为相似的若干个图片。
实施例2
图2是根据本发明实施例的优选的图片检索方法一的流程图，如图2所示，该方法在通过CBIR方法，检索与查询图片相似的相似图片之前，还包括如下步骤：
步骤S202，全网爬虫图片，得到爬虫图片；
步骤S204，对爬虫图片进行特征提取，得到图片特征；
步骤S206，为爬虫图片及对应的图片特征构建索引。
通过上述步骤，为IMB提供了完整的CIBR流程，实现了基于内容的图片搜索，相比于传统基于文本的图片搜索，能够有效地提高检索准确性。需要说明的是，在图2中步骤S202-S206在步骤S102之前，其实步骤S202-S206只要在通过CBIR方法，检索与查询图片相似的相似图片之前即可。图2中所示意的在步骤S102之前仅仅是一种举例。
作为一种可选的实施例，在全网爬虫图片，得到爬虫图片时，可以采用多种爬虫规则进行爬虫。全网爬虫图片，如html标签<img>，同时存储该图片所属网页的URL地址。在互联网上，这将是海量的数据，为此需要构建大数据平台来存储。在对图片进行存储时，每一张图片可以存储三个信息：图片编号、图片物理存储路径、图片所属网页URL地址。
作为一种可选的实施例，基于爬虫的图片，需要提取图片的特征用于相似度计算。对爬虫图片进行特征提取，得到图片特征时，图片特征提取可以包括以下两个步骤：1)基于尺度不变特征转换(SIFT，Scale-invariant feature transform)提取图片的局部关键点描述符；2)基于局部聚合描述子向量(VLAD，Vector of Locally AggregatedDescriptors)将不定长的局部关键点描述符映射为定长的特征向量。
SIFT用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT特征局部的兴趣点，与影像的大小和旋转无关，对于光线、噪声、微小视角改变的容忍度也相当高。
VLAD将局部图片descriptor压缩成一个固定长度的向量。VLAD通过聚类方法训练一个小的码本，对于每幅图片中的特征找到最近的码本聚类中心，随后所有特征与聚类中心的差值做累加，得到一个k*d的VLAD矩阵，其中k是聚类中心个数，d是特征维数。最后将该矩阵L2归一化，所得到的向量k*d维就是每张图片的定长向量。
例如：A图片基于SIFT提取了10个关键点的128维，即10*128；B图片则提取了8个关键点的128维，即8*128。这样A图的总特征长度和B图的总特征长度不一致。经过VLAD，将A图和B图的所有关键点归类到5个簇类，这样每张图就是5*128维。VLAD类似于word embedding效果，起高维降低到低维。
基于SIFT和VLAD，目前每一张图片存储四个信息：图片编号、图片物理存储路径、图片所属网页URL地址、定长特征向量。
作为一种可选的实施例，上述提取的图片的特征中，基于SIFT和VLAD提取的定长特征刻画了图片本身的内容，是图片相似度计算的依据，因此需要对该特征(也可以说是给图片)建立索引，提升检索速度。
为爬虫图片及对应的图片特征构建索引可以包括多种，例如，可以建立以下索引至少之一：
索引一：VLAD会将每张图片归属到簇类，所以对SIFT局部点特征的聚类可用于建立索引，检索时可以先到同一簇类中寻找图片。
索引二：直接对定长特征向量进行索引。
索引三：解析网页url地址的目录，根据目录建立索引，比如，同一网址同一目录下，图片可能具有同一主题。
实施例3
图3是根据本发明实施例的优选的图片检索方法二的流程图，如图3所示，该方法中，通过CBIR方法，检索与查询图片相似的相似图片包括如下步骤：
步骤S302，根据查询图片的图片特征以及爬虫图片的图片特征，计算查询图片与爬虫图片的相似度；
步骤S304，确定相似度大于预定值的爬虫图片为与查询图片相似的相似图片。
通过上述步骤，在构建索引后，可以输入一张查询图片，然后应用同样的SIFT和VLAD算法得到该张查询图片的同样维度的特征向量。根据这个特征向量，在数据库中计算与其他图片的相似度，计算方法可灵活选择，例如，可以采用欧氏距离的方法。根据相似度返回最相似的k个图片及其所属网页URL地址。
检索的过程主要是计算查询图片和数据库中图片的相似度(两个定长特征向量的距离)，这个过程是对内存和时间消耗比较大，需要依赖大数据平台和高性能服务器来完成，同时也需要不断优化索引方法来提升检索速度。排序主要是基于相似度值的大小，对结果产生影响的主要是特征提取是否争取刻画了图片内容。
实施例4
图4是根据本发明实施例的优选的图片检索方法三的流程图，如图4所示，该方法中，对爬虫图片进行特征提取，得到图片特征包括如下步骤：
步骤S402，使用卷积神经网络CNN模型对爬虫图片进行特征提取，得到图片特征，其中，CNN模型为使用多组数据通过机器学习训练得到的，多组数据中的每组数据均包括：图片及图片的主题，和该图片的图片特征。
为进一步提升检索准确率，在本发明实施例中提供了一种基于深度学习的定向检索方案。SIFT和VLAD在刻画图片内容上会存在一定的信息损失，该定向检索方案是基于有标记的图片集预训练一个卷积神经网络(CNN，Convolutional Neural Network)模型，然后用这个模型的全连接层作为图片的特征向量。
例如，在使用CNN模型对爬虫图片进行特征提取，得到图片特征之前，还包括：定向爬虫图片及图片的网页文本，其中，定向爬虫是针对预定主题内容的爬虫；对定向爬虫获取的网页文本应用自然语言处理，提取主题；基于定向爬虫获得的图片以及提取的主题进行训练，得到CNN模型。
定向检索的目标是针对具体行业的会议场景，比如，教育行业、汽车行业等，定向爬虫图片及其网页的文本。对爬虫的网页文本应用自然语言处理技术提取主题，比如，某网页的主题包含：未来教育等。提取主题后，该网页下的每张图就对应有多个主题，相当于多个标签，可以训练一个CNN模型。
CNN是一种前馈神经网络，其人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图片处理有出色表现。CNN由一个或多个卷积层和顶端的全连接层组成，同时也包括关联权重和池化层(pooling layer)。与其他深度学习结构相比，CNN在图片和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。
基于此，本定向检索方案选择CNN来训练有标记图片集，并从预训练的CNN模型中选择最后一个全连接层的输出作为每一张图片的特征。图5是根据本发明实施例所采用的CNN的结构示意图，如图5所示，输入一张图片，输出异常类型或区域。预训练的CNN模型用于提取图片的高阶特征，选择Full Connection层(图5方框矩阵标注的位置)作为最后的特征向量，用于后续特征匹配计算相似度。假设Full connection有1000个神经元，即1000维，则每一张图片将统一由这1000维的向量来表征，每个维度的值都是浮点数。
基于有标注图片集，训练出一个CNN模型，并用这预训练的CNN模型的全连接层作为图片的具有固定长度的特征向量。
说明：对于图片高级特征的提取有很多深度学习模型可用，在本实施例中不一一列举。
定向检索主要特点在于爬虫网页文本并提取其主题，作为图片的标签，然后利用有标记的图片集训练CNN模型，再用预训练的CNN模型的全连接层作为每张图片的高级特征(定长)，后续的检索排序就一样，只是这个特征是CNN模型提取的。而仅仅使用SIFT和VLAD得到的特征，是一种无监督方法。定向检索可以提高检索准确率。
作为一种可选的实施例，在显示相似图片之后，还包括：在显示的相似图片未满足检索需求的情况下，接收在IMB上选取的更新区域，将更新区域作为更新查询图片；通过CBIR方法，检索与更新查询图片相似的相似图片，直到相似图片满足检索需求。通过多次的更新查询图片并基于更新的查询图片进行检索，直到满足检索需求，由于操作简单，因此能够有效地提升用户的使用体验。
通过上述实施例及优选实施方式，实现了为IMB设计图片检索引擎功能，辅助会议人员现场高效检索参考信息，提高会议质量和决策时效，具有如下特点：1)为IMB设计一套CIBR的完整流程，实现基于内容的图片搜索，相比于传统基于文本的图片搜索，不仅操作简单，而且检索效率高；2)提出定向检索的方案，利用深度学习能力，提升图片检索的准确率。
实施例5
下面基于具体应用场景，对本发明实施例提供的IMB图片检索引擎功能进行说明。
IMB图片检索引擎的功能如下：
输入：在会议IMB上选取要搜索的区域，作为查询图片；
检索：基于CBIR技术，从互联网上检索含有与查询图片相似的图片的信息；
输出：返回k个最相似的信息。
1)场景一：
图6是根据本发明实施例中在IMB上显示的界面图一，如图6所示，图中展示了会议正在讨论的学术会议类型，如果现场需要知道CVPR2018都发表了哪些主题的论文，可以截图CVPR2018局域的图，图7是根据本发明实施例中在图6中截取的CVPR2018局域的图，如图7所示，
输入截图作为查询图片，IMB能返回含有与查询图片相似的图片的信息，图8是根据本发明实施例中输入图7截图后返回的相似图片的展示图，如图8所示，
可以看到返回的信息中第二条有关于CVPR2018论文集锦的文章。现场会议就可以打开看看本次会议发表了哪些主题。
2)场景二：
图9是根据本发明实施例中在IMB上显示的界面图二，如图9所示，图中展示了会议现场正在介绍某公司未来的产业布局，这时如果要知道未来教育目前该公司的产品具体情况，可以截图该区域进行图片检索，图10是根据本发明实施例中在图9中截取的未来教育局域的图，如图10所示。
图11是根据本发明实施例中输入图10截图后返回的相似图片的展示图，如图11所示，返回的结果中可以看到都包含了这一图片，如下图，但并没有该公司相关的数据。
之后，可以进一步对该公司的logo进行截图检索，图12是根据本发明实施例中对该公司的logo进行截图后获得的图，如图12所示。
图13是根据本发明实施例中对该公司的logo进行截图后返回的相似图片的展示图，如图13所示，可以看到返回的检索含有该公司的介绍，打开链接可以看到里面关于该公司产品介绍，包括未来教育。由此，可以看到图片检索的便利性，多次检索只要截图即可。
需要说明的是，要实现IMB图片检索引擎功能，重要的还是具备全网爬虫能力，其次是CBIR技术检索的速度和准确率。
在本发明实施例中，还提供了一种图片检索装置，图14是根据本发明实施例的图片检索装置的结构框图，如图14所示，该装置包括：接收模块142，检索模块144和显示模块146，下面对该装置进行说明。
接收模块142，用于接收在智能会议平板IMB上选取的区域，将区域作为查询图片；检索模块144，连接至上述接收模块142，用于通过基于内容的图片检索CBIR方法，检索与查询图片相似的相似图片；显示模块146，连接至上述检索模块144，用于显示相似图片。
在本发明实施例中，又提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的图片检索方法。
在本发明实施例中，再提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的图片检索方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种图片检索方法，其特征在于，包括：
接收在智能会议平板IMB上选取的区域，将所述区域作为查询图片；
通过基于内容的图片检索CBIR方法，检索与所述查询图片相似的相似图片；
显示所述相似图片；
其中，在通过所述CBIR方法，检索与所述查询图片相似的相似图片之前，还包括：全网爬虫图片，得到爬虫图片；对所述爬虫图片进行特征提取，得到图片特征；为所述爬虫图片及对应的图片特征构建索引；
所述对所述爬虫图片进行特征提取，得到图片特征，包括：基于尺度不变特征转换提取图片的局部关键点描述符；基于局部聚合描述子向量将不定长的局部关键点描述符映射为定长特征向量；
所述为所述爬虫图片及对应的图片特征构建索引，包括：对所述尺度不变特征转换局部点特征进行聚类，通过所述局部聚合描述子向量将每张图片归属到簇类，建立所述索引，其中，所述索引用于在检索时先到同一簇类中寻找图片；和/或，解析图片所属网页URL地址的目录，根据目录建立所述索引。
2.根据权利要求1所述的方法，其特征在于，通过所述CBIR方法，检索与所述查询图片相似的相似图片包括：
根据所述查询图片的图片特征以及所述爬虫图片的图片特征，计算所述查询图片与所述爬虫图片的相似度；
确定相似度大于预定值的爬虫图片为与所述查询图片相似的相似图片。
3.根据权利要求1所述的方法，其特征在于，对所述爬虫图片进行特征提取，得到图片特征，所述方法还包括：
使用卷积神经网络CNN模型对所述爬虫图片进行特征提取，得到图片特征，其中，所述CNN模型为使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据均包括：图片及图片的主题，和该图片的图片特征。
4.根据权利要求3所述的方法，其特征在于，在使用所述CNN模型对所述爬虫图片进行特征提取，得到图片特征之前，还包括：
定向爬虫图片及图片的网页文本，其中，定向爬虫是针对预定主题内容的爬虫；
对定向爬虫获取的所述网页文本应用自然语言处理，提取主题；
基于定向爬虫获得的图片以及提取的主题进行训练，得到所述CNN模型。
5.根据权利要求1至4中任一项所述的方法，其特征在于，显示所述相似图片包括：
在所述相似图片为多幅的情况下，依据与所述查询图片相似的相似度值，对所述相似图片进行排序显示。
6.根据权利要求1至4中任一项所述的方法，其特征在于，在显示所述相似图片之后，还包括：
在显示的所述相似图片未满足检索需求的情况下，接收在所述IMB上选取的更新区域，将所述更新区域作为更新查询图片；
通过所述CBIR方法，检索与所述更新查询图片相似的相似图片，直到所述相似图片满足检索需求。
7.一种图片检索装置，其特征在于，包括：
接收模块，用于接收在智能会议平板IMB上选取的区域，将所述区域作为查询图片；
检索模块，用于通过基于内容的图片检索CBIR方法，检索与所述查询图片相似的相似图片；
显示模块，用于显示所述相似图片；
所述检索模块，还用于全网爬虫图片，得到爬虫图片；对所述爬虫图片进行特征提取，得到图片特征；为所述爬虫图片及对应的图片特征构建索引；
所述检索模块，还用于基于尺度不变特征转换提取图片的局部关键点描述符；基于局部聚合描述子向量将不定长的局部关键点描述符映射为定长特征向量；
所述检索模块，还用于对所述尺度不变特征转换局部点特征进行聚类，通过所述局部聚合描述子向量将每张图片归属到簇类，建立所述索引，其中，所述索引用于在检索时先到同一簇类中寻找图片；和/或，解析图片所属网页URL地址的目录，根据目录建立所述索引。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至6中任意一项所述的图片检索方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的图片检索方法。
CN202010287638.3A 2020-04-13 2020-04-13 图片检索方法、装置、存储介质及处理器 Active CN111506754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010287638.3A CN111506754B (zh) 2020-04-13 2020-04-13 图片检索方法、装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010287638.3A CN111506754B (zh) 2020-04-13 2020-04-13 图片检索方法、装置、存储介质及处理器

Publications (2)

Publication Number Publication Date
CN111506754A CN111506754A (zh) 2020-08-07
CN111506754B true CN111506754B (zh) 2023-10-24

Family

ID=71867376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010287638.3A Active CN111506754B (zh) 2020-04-13 2020-04-13 图片检索方法、装置、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN111506754B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407749B (zh) * 2021-06-28 2024-04-30 北京百度网讯科技有限公司 图片索引构建方法、装置、电子设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN103914463A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 一种图片信息的相似性检索方法和装置
CN104090762A (zh) * 2014-07-10 2014-10-08 福州瑞芯微电子有限公司 一种截图处理装置和方法
WO2016142293A1 (en) * 2015-03-06 2016-09-15 Thomson Licensing Method and apparatus for image search using sparsifying analysis and synthesis operators
CN106649490A (zh) * 2016-10-08 2017-05-10 中国人民解放军理工大学 一种基于深度特征的图像检索方法及装置
CN107315844A (zh) * 2017-08-17 2017-11-03 广州视源电子科技股份有限公司 一种基于图片的检索方法、装置、设备及存储介质
CA2930618A1 (en) * 2016-05-20 2017-11-20 Tse-Kin Tong Knowledge management system
JP2017219984A (ja) * 2016-06-07 2017-12-14 大日本印刷株式会社 画像検索システム、画像辞書生成システム、画像処理システム及びプログラム
CN110209866A (zh) * 2019-05-30 2019-09-06 苏州浪潮智能科技有限公司 一种图像检索方法、装置、设备及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN103914463A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 一种图片信息的相似性检索方法和装置
CN104090762A (zh) * 2014-07-10 2014-10-08 福州瑞芯微电子有限公司 一种截图处理装置和方法
WO2016142293A1 (en) * 2015-03-06 2016-09-15 Thomson Licensing Method and apparatus for image search using sparsifying analysis and synthesis operators
CA2930618A1 (en) * 2016-05-20 2017-11-20 Tse-Kin Tong Knowledge management system
JP2017219984A (ja) * 2016-06-07 2017-12-14 大日本印刷株式会社 画像検索システム、画像辞書生成システム、画像処理システム及びプログラム
CN106649490A (zh) * 2016-10-08 2017-05-10 中国人民解放军理工大学 一种基于深度特征的图像检索方法及装置
CN107315844A (zh) * 2017-08-17 2017-11-03 广州视源电子科技股份有限公司 一种基于图片的检索方法、装置、设备及存储介质
CN110209866A (zh) * 2019-05-30 2019-09-06 苏州浪潮智能科技有限公司 一种图像检索方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111506754A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111753060B (zh) 信息检索方法、装置、设备及计算机可读存储介质
Kaur et al. Comparative analysis on cross-modal information retrieval: A review
Wu et al. Online multi-modal distance metric learning with application to image retrieval
US8577882B2 (en) Method and system for searching multilingual documents
CN110297935A (zh) 图像检索方法、装置、介质及电子设备
Xie et al. Fast and accurate near-duplicate image search with affinity propagation on the ImageWeb
CN112052387B (zh) 一种内容推荐方法、装置和计算机可读存储介质
US20180046721A1 (en) Systems and Methods for Automatic Customization of Content Filtering
Papadopoulos et al. Image clustering through community detection on hybrid image similarity graphs
CN111831924A (zh) 内容推荐方法、装置、设备及可读存储介质
CN110866129A (zh) 一种基于跨媒体统一表征模型的跨媒体检索方法
CN108491543A (zh) 图像检索方法、图像存储方法及图像检索系统
Samani et al. A knowledge-based semantic approach for image collection summarization
CN111651635A (zh) 一种基于自然语言描述的视频检索方法
Camargo et al. Multimodal latent topic analysis for image collection summarization
CN108572992A (zh) 一种商品排序的方法及装置
Papagiannopoulou et al. Concept-based image clustering and summarization of event-related image collections
CN117556067B (zh) 数据检索方法、装置、计算机设备和存储介质
Tabish et al. Activity recognition framework in sports videos
Priyatharshini et al. Association based image retrieval: a survey
CN111506754B (zh) 图片检索方法、装置、存储介质及处理器
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
Hoque et al. Combining conceptual query expansion and visual search results exploration for web image retrieval
CN111223014B (zh) 一种从大量细分教学内容在线生成细分场景教学课程的方法和系统
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant