CN113626633A - 图片检索方法及装置 - Google Patents

图片检索方法及装置 Download PDF

Info

Publication number
CN113626633A
CN113626633A CN202111021949.6A CN202111021949A CN113626633A CN 113626633 A CN113626633 A CN 113626633A CN 202111021949 A CN202111021949 A CN 202111021949A CN 113626633 A CN113626633 A CN 113626633A
Authority
CN
China
Prior art keywords
picture
pixel points
edge
retrieval
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111021949.6A
Other languages
English (en)
Inventor
田雪松
陈天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yundie Zhixue Technology Co ltd
Original Assignee
Beijing Yundie Zhixue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yundie Zhixue Technology Co ltd filed Critical Beijing Yundie Zhixue Technology Co ltd
Priority to CN202111021949.6A priority Critical patent/CN113626633A/zh
Publication of CN113626633A publication Critical patent/CN113626633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Abstract

本发明提供了一种图片检索方法及装置，所述方法包括：对获取的第一图片进行处理，生成第二图片；获取所述第二图片的图片特征；根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集，由此，提高了图片检索的效率和成功率。

Description

图片检索方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图片检索方法及装置。
背景技术
大数据时代，人们可以访问获取的信息资源呈现出爆炸式的增长，互联网上每天都诞生海量的图片。例如，脸书(Facebook)注册用户超过10亿，每月上传超过10亿的图片；雅虎网络相册(Flickr)2015年用户上传图片数目达7.28亿，平均每天用户上传约200万的图片；中国最大的电子商务系统淘宝网的后端系统上保存着286亿多张图片。针对这些包含丰富视觉信息的海量图片，如何在这些浩瀚的图片库中方便、快速、准确地查询并检索到用户所需的或感兴趣的图片，成为多媒体信息检索领域研究的热点。
基于文本的图片检索方法，是利用文本标注的方式对图片中的内容进行描述，从而为每幅图片形成描述这幅图片内容的关键词，比如图片中的物体、场景等，这种方式可以是人工标注方式，也可以通过图片识别技术进行半自动标注。在进行检索时，用户可以根据自己的兴趣提供查询关键字，检索系统根据用户提供的查询关键字找出那些标注有该查询关键字对应的图片，最后将查询的结果返回给用户。这种基于文本描述的图片检索方式由于易于实现，且在标注时有人工介入，所以其查准率也相对较高。缺陷为：首先这种基于文本描述的方式需要人工介入标注过程，使得它只适用于小规模的图片数据，在大规模图片数据上要完成这一过程需要耗费大量的人力与财力，而且随时不断外来的图片在入库时离不开人工的干预；其次，”一图胜千言”，对于需要精确的查询，用户有时很难用简短的关键字来描述出自己真正想要获取的图片；再次，人工标注过程不可避免的会受到标注者的认知水平、言语使用以及主观判断等的影响，因此会造成文字描述图片的差异。
基于内容的图片检索技术已经深入到了许许多多的领域，为人们的生活生产提供了极大的便利。比如，在电子商务上，用户抓拍并上传至服务器端，在服务器端运行图片检索应用从而为用户找到相同或相似的衣服并提供购买店铺的链接。这种对于相同物体图片检索，在检索相同的物体或目标时，易受拍摄环境的影响，比如光照变化、尺度变化、视角变化、遮挡以及背景的杂乱等都会对检索结果造成较大的影响，此外，对于非刚性的物体，在进行检索时，物体的形变也会对检索结果造成很大的影响。
发明内容
本发明实施例的目的是提供一种图片检索方法及装置，以解决现有的图片检索耗费人力、检索受限于环境等问题。
为解决上述问题，第一方面，本发明提供了一种图片检索方法，所述方法包括：
对获取的第一图片进行处理，生成第二图片；
获取所述第二图片的图片特征；
根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集。
优选的，所述对获取的第一图片进行处理，生成第二图片，包括：
对所述第一图片进行细节增强，生成第二图片。
优选的，所述对所述第一图片进行细节增强，生成第二图片，包括：
确定所述第一图片的边缘，所述边缘包括边缘像素点；
判断所述第一图片中每个像素点周围的所述边缘像素点的个数值是否大于第一阈值；
如果所述边缘像素点的个数值大于第一阈值，则将所述第一图片中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一图片的细节区域；
根据所述细节区域，对所述第一图片进行细节增强。
优选的，所述根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集之前，还包括：
建立所述第二图片和第二图片的图片特征之间的索引；
将所述图片特征和所述索引存储在特征库中。
第二方面，本发明提供了一种图片检索装置，所述装置包括：
处理单元，所述处理单元用于对获取的第一图片进行处理，生成第二图片；
获取单元，所述获取单元用于获取所述第二图片的图片特征；
检索单元，所述检索单元用于根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集。
优选的，所述处理单元具体用于，对所述第一图片进行细节增强，生成第二图片。
优选的，所述处理单元具体用于，
确定所述第一图片的边缘，所述边缘包括边缘像素点；
判断所述第一图片中每个像素点周围的所述边缘像素点的个数值是否大于第一阈值；
如果所述边缘像素点的个数值大于第一阈值，则将所述第一图片中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一图片的细节区域；
根据所述细节区域，对所述第一图片进行细节增强。
优选的，所述装置还包括：建立单元和存储单元；
所述建立单元用于，建立所述第二图片和第二图片的图片特征之间的索引；
所述存储单元用于，将所述图片特征和所述索引存储在特征库中。
通过应用本发明提供的图片检索方法，对获取的第一图片进行处理，生成第二图片；获取所述第二图片的图片特征；根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集，由此，提高了图片检索的效率和成功率。
附图说明
图1为本发明实施例提供的图片检索方法流程图；
图2为本发明实施例提供的图片检索装置结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
图1为本发明实施例提供的图片检索方法流程图。如图1所示，该方法的执行主体可以是处理器、终端、图片检索装置等。该方法包括以下步骤：
步骤110，对获取的第一图片进行处理，生成第二图片。
其中，所述对获取的第一图片进行处理，生成第二图片，包括：对所述第一图片进行细节增强，生成第二图片。
首先，确定所述第一图片的边缘，所述边缘包括边缘像素点；然后，判断所述第一图片中每个像素点周围的所述边缘像素点的个数值是否大于第一阈值；接着，如果所述边缘像素点的个数值大于第一阈值，则将所述第一图片中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一图片的细节区域；最后，根据所述细节区域，对所述第一图片进行细节增强。
其中，第一阈值的数值根据需要进行设置。将第一图片进行转换后，生成的第二图片细节信息更加丰富，因此，在后续的应用中，该细节丰富的第二图片更加具有应用价值。
步骤120，获取所述第二图片的图片特征。
其中，图片特征可以是图片像素、图片大小、图片色彩和图片内容信息中的任意一种或其组合。
现有技术中，获取图片特征的方法可以是：傅里叶变换法、窗口傅里叶变换法、小波变换法、最小二乘法和边界方向直方图法等。
本申请中，可以采用深度神经网络建立训练模型。通过训练模型获取到图片特征。
首先需要根据训练需求涉及一个卷积神经网络，该卷积神经网络由卷积、采样、全连接、归一化操作等得到。
最开始的几个阶段主要由两种层组成：卷积层(convolutional layer)和采样层(pooling layer)。卷积层的输入和输出都是多重矩阵，卷积层包含多个卷积核，每个卷积核都是一个矩阵，每一个卷积核相当于是一个滤波器，它可以输出一张特定的特征图，每张特征图也就是卷积层的一个输出单元。然后通过一个非线性激活函数(如ReLU)进一步把特征图传递到下一层。不同特征图使用不同卷积核，但是同一个特征图中的不同位置和输入图之间的连接均为共享权值。这样做的原因是双重的。首先，在张量形式的数据中(例如图像)，相邻位置往往是高度相关的，并且可以形成的可以被检测到的局部特征。其次，相同的模式可能出现在不同位置，亦即如果局部特征出现在某个位置，它也可能出现在其它任何位置。
事实上有研究表明无论识别什么样的图像，前几个卷积层中的卷积核都相差不大，原因在于它们的作用都是匹配一些简单的边缘。卷积核的作用在于提取局部微小特征，如果在某个位置匹配到了特定的边缘，那么所得到的特征图中的这个位置就会有较大的强度值。如果多个卷积核在临近的位置匹配到了多个特征，那么这些特征就组合成为了一个可识别的物体。对于现实世界中的图像而言，图形常常都是由很多简单的边缘组成，因此可以通过检测一系列简单边缘的存在与否实现物体的识别。
卷积层的作用是从前一层的输出中检测的局部特征，不同的是，采样层的作用是把含义相似的特征合并成相同特征，以及把位置上相邻的特征合并到更接近的位置。由于形成特定主题的每个特征的相对位置可能发生微小变化，因此可以通过采样的方法输入特征图中强度最大的位置，减小了中间表示的维度(即特征图的尺寸)，从而，即使局部特征发生了一定程度的位移或者扭曲，模型仍然可以检测到这个特征。CNN的梯度计算和参数训练过程和常规深度网络相同，训练的是卷积核中的所有参数。
在训练好深度神经网络后，把第二图片输入到该深度神经网络中，即可获取到第二图片的图片特征。
可选的，可以对该深度神经网络进行修改，比如，具体场景可以设定为对动物、人物、具体物品的识别。
步骤130，根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集。
在步骤120之后和步骤130之前，还包括：建立所述第二图片和第二图片的图片特征之间的索引；
将所述图片特征和所述索引存储在特征库中。深度神经网络对第二图片进行计算得到图片特征，对一张图片进行计算可以得到一个图片特征，由此，建立图片特征和索引之间的一一对应关系。当下次对该图片进行检索时，可以直接根据索引获取到图片特征，节省了图片检索的时间，提高了图片检索的效率。
由此，通过应用本发明提供的图片检索方法，在对第一图片进行检索前，先将第一图片处理为第二图片，再根据第二图片的图片特征，得到图片结果集，由此，提高了图片检索的效率和成功率。
图2为本发明实施例提供的图片检索装置结构示意图，如图2所示，该图片检索装置200包括：处理单元210、获取单元220和检索单元230。
处理单元210用于对获取的第一图片进行处理，生成第二图片。
获取单元220用于获取所述第二图片的图片特征。
检索单元230用于根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集。
进一步地，所述处理单元210具体用于，对所述第一图片进行细节增强，生成第二图片。
进一步地，所述处理单元210具体用于，
确定所述第一图片的边缘，所述边缘包括边缘像素点；
判断所述第一图片中每个像素点周围的所述边缘像素点的个数值是否大于第一阈值；
如果所述边缘像素点的个数值大于第一阈值，则将所述第一图片中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一图片的细节区域；
根据所述细节区域，对所述第一图片进行细节增强。
进一步地，所述图片检索装置还包括：建立单元240和存储单元250。
所述建立单元240用于，建立所述第二图片和第二图片的图片特征之间的索引；
所述存储单元250用于，将所述图片特征和所述索引存储在特征库中。
由此，通过应用本发明提供的图片检索装置，提高了图片检索的效率和成功率。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图片检索方法，其特征在于，所述方法包括：
对获取的第一图片进行处理，生成第二图片；
获取所述第二图片的图片特征；
根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集。
2.根据权利要求1所述的图片检索方法，其特征在于，所述对获取的第一图片进行处理，生成第二图片，包括：
对所述第一图片进行细节增强，生成第二图片。
3.根据权利要求2所述的图片检索方法，其特征在于，所述对所述第一图片进行细节增强，生成第二图片，包括：
确定所述第一图片的边缘，所述边缘包括边缘像素点；
判断所述第一图片中每个像素点周围的所述边缘像素点的个数值是否大于第一阈值；
如果所述边缘像素点的个数值大于第一阈值，则将所述第一图片中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一图片的细节区域；
根据所述细节区域，对所述第一图片进行细节增强。
4.根据权利要求1所述的图片检索方法，其特征在于，所述根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集之前，还包括：
建立所述第二图片和第二图片的图片特征之间的索引；
将所述图片特征和所述索引存储在特征库中。
5.一种图片检索装置，其特征在于，所述装置包括：
处理单元，所述处理单元用于对获取的第一图片进行处理，生成第二图片；
获取单元，所述获取单元用于获取所述第二图片的图片特征；
检索单元，所述检索单元用于根据所述图片特征，在预设的图片特征模型进行检索，得到图片结果集。
6.根据权利要求5所述的图片检索装置，其特征在于，所述处理单元具体用于，对所述第一图片进行细节增强，生成第二图片。
7.根据权利要求6所述的图片检索装置，其特征在于，所述处理单元具体用于，
确定所述第一图片的边缘，所述边缘包括边缘像素点；
判断所述第一图片中每个像素点周围的所述边缘像素点的个数值是否大于第一阈值；
如果所述边缘像素点的个数值大于第一阈值，则将所述第一图片中像素点周围的边缘像素点的个数值大于第二阈值的所有像素点构成的区域确定为第一图片的细节区域；
根据所述细节区域，对所述第一图片进行细节增强。
8.根据权利要求5所述的图片检索装置，其特征在于，所述装置还包括：建立单元和存储单元；
所述建立单元用于，建立所述第二图片和第二图片的图片特征之间的索引；
所述存储单元用于，将所述图片特征和所述索引存储在特征库中。
CN202111021949.6A 2021-09-01 2021-09-01 图片检索方法及装置 Pending CN113626633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111021949.6A CN113626633A (zh) 2021-09-01 2021-09-01 图片检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111021949.6A CN113626633A (zh) 2021-09-01 2021-09-01 图片检索方法及装置

Publications (1)

Publication Number Publication Date
CN113626633A true CN113626633A (zh) 2021-11-09

Family

ID=78388737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111021949.6A Pending CN113626633A (zh) 2021-09-01 2021-09-01 图片检索方法及装置

Country Status (1)

Country Link
CN (1) CN113626633A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120219227A1 (en) * 2011-02-24 2012-08-30 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
CN106383912A (zh) * 2016-10-14 2017-02-08 上海谦问万答吧云计算科技有限公司 一种图片检索方法和装置
CN108668093A (zh) * 2017-03-31 2018-10-16 华为技术有限公司 Hdr图像的生成方法及装置
CN109145743A (zh) * 2018-07-19 2019-01-04 叶涵 一种基于深度学习的图像识别方法及装置
CN109785348A (zh) * 2018-12-14 2019-05-21 中国科学院长春光学精密机械与物理研究所 基于图像边界近似曲率变化的新型角点检测方法及系统
WO2020253063A1 (zh) * 2019-06-20 2020-12-24 平安科技（深圳）有限公司 一种相似图片的检索方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120219227A1 (en) * 2011-02-24 2012-08-30 Nintendo Co., Ltd. Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
CN106383912A (zh) * 2016-10-14 2017-02-08 上海谦问万答吧云计算科技有限公司 一种图片检索方法和装置
CN108668093A (zh) * 2017-03-31 2018-10-16 华为技术有限公司 Hdr图像的生成方法及装置
CN109145743A (zh) * 2018-07-19 2019-01-04 叶涵 一种基于深度学习的图像识别方法及装置
CN109785348A (zh) * 2018-12-14 2019-05-21 中国科学院长春光学精密机械与物理研究所 基于图像边界近似曲率变化的新型角点检测方法及系统
WO2020253063A1 (zh) * 2019-06-20 2020-12-24 平安科技（深圳）有限公司 一种相似图片的检索方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AAWEC62484: "从图像到知识：深度神经网络实现图像理解的原理解析", Retrieved from the Internet <URL:https://blog.csdn.net/aawec62484/article/details/101955162> *
中华消化内镜杂志: "[201904论著]人工智能胃镜在盲区监测和自主图像采集中的应用研究", Retrieved from the Internet <URL:https://mp.weixin.qq.com/s?__biz=MzA5NDA4OTAxOA==&mid=2651494844&idx=2&sn=7a1b1b58e8319be53a275e31b00a52c6&chksm=8badc3e9bcda4affbd8caebb61474f9e1fbb3ff1c6fde2db5e9233a7c5d917de9ed03621b44e&scene=27> *
张雄伟: "《智能语音处理》", 31 October 2020, 机械工业出版社, pages: 75 *
王克强等: "《人工智能原理及应用》", 30 April 2021, 天津科学技术出版社, pages: 155 *

Similar Documents

Publication Publication Date Title
US10621755B1 (en) Image file compression using dummy data for non-salient portions of images
CN110162665B (zh) 视频搜索方法、计算机设备及存储介质
US20170024384A1 (en) System and method for analyzing and searching imagery
CN108734106B (zh) 基于对比的快速暴恐视频识别方法
US20180232400A1 (en) Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
CN111178394B (zh) 一种基于自适应图像信息熵的特征点提取方法
JP2019520662A (ja) 商標画像のコンテンツ・ベースの検索及び取得
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN109299307B (zh) 一种基于结构分析的商标检索预警方法及装置
Fatima et al. FAST, BRIEF and SIFT based image copy-move forgery detection technique
Fatema et al. Developing a system for automatic detection of books
JP2009110526A (ja) 画像解析方法及び画像解析装置
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
Wu et al. Is visual saliency useful for content-based image retrieval?
CN111611866B (zh) 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
WO2024027347A9 (zh) 内容识别方法、装置、设备、存储介质及计算机程序产品
Mao et al. Visual arts search on mobile devices
CN110765305A (zh) 媒介信息推送系统及其基于视觉特征的图文检索方法
CN113626633A (zh) 图片检索方法及装置
CN114170589A (zh) 一种基于nas的岩石岩性识别方法、终端设备及存储介质
Tankala et al. A content-based image retrieval scheme with object detection and quantised colour histogram
Ustubioglu et al. Improved copy-move forgery detection based on the CLDs and colour moments
Ragatha et al. Image query based search engine using image content retrieval
CN113849679A (zh) 图像检索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1002, floor 10, block B, No. 18, Zhongguancun Street, Haidian District, Beijing 100044

Applicant after: Beijing Biyun shuchuang Technology Co.,Ltd.

Address before: Room 1002, floor 10, block B, No. 18, Zhongguancun Street, Haidian District, Beijing 100044

Applicant before: Beijing yundie Zhixue Technology Co.,Ltd.