CN105183857A - 一种自动的图片训练样本提取方法及系统 - Google Patents

一种自动的图片训练样本提取方法及系统 Download PDF

Info

Publication number
CN105183857A
CN105183857A CN201510570699.XA CN201510570699A CN105183857A CN 105183857 A CN105183857 A CN 105183857A CN 201510570699 A CN201510570699 A CN 201510570699A CN 105183857 A CN105183857 A CN 105183857A
Authority
CN
China
Prior art keywords
image
training sample
collection
extracting method
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510570699.XA
Other languages
English (en)
Inventor
张一文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pinguo Technology Co Ltd
Original Assignee
Chengdu Pinguo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pinguo Technology Co Ltd filed Critical Chengdu Pinguo Technology Co Ltd
Priority to CN201510570699.XA priority Critical patent/CN105183857A/zh
Publication of CN105183857A publication Critical patent/CN105183857A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自动的图片训练样本提取方法及系统，解析图像集合中所有图像内容，得到图像集合的所有图像特征；储存所述图像特征，建立图像知识库；解析由客户端给出的目标图像的内容，得到目标图像特征；根据所述目标图像特征，在图像知识库中寻找相似图像；返回相似图像至用户数据库。其中，基于图像视觉特征利用深度学习方法提取图像特征。本发明能够自动检索任何图像集合中所需标记的图像，能够实现大量图片的训练及样本提取，且检索速度快、成本效益高。

Description

一种自动的图片训练样本提取方法及系统
技术领域
本发明属于图像处理领域，具体涉及一种自动的图片训练样本提取方法及系统。
背景技术
传统的手工劳动的方式在标签图像方面对于大型数据集，百万的图像集合加上图片，需要一个团队的人，花费几周时间手动标签这些图像中的每一个。
在机器学习领域,人们普遍认为提高模型预测精度的最有效的方法是提供更多准确的，以及标签好的样品来进行模型训练。例如,一个用更多精确样品训练出来的模型通常比具有较少样品训练出来的模型更精确。该理论同样的也适用于计算机视觉,更具体地说,适用于作为机器学习分支的自动图像标注。自动图像标注是用已经训练的模型，自动检测图形的目标或场景的方法。
一般来讲,用来做图像识别模型训练样本是由人标记；例如,含有狗的图像被贴上“狗”标签。然而,尽管标记图像的任务并不具有挑战性,但是却需要大量人力并且费时。基于图像认知的深度学习的最近发展,需要数以百万计的照片培训具有可接受的精度自动标注系统。人工标记如此大量图像需要的时间和成本通常被描述为实现最先进的自动图像标注系统的瓶颈。
电脑感知图像与人类不同。对于电脑，一个图像只是1和0的集合。为了从图像中提取有用的信息，我们需要告诉计算机如何以一种有意义的、可重复的方式识别图像并从图像中提取内容。这个重要的过程被称为图像特征提取。我们的方法是使用特定的预先确定的“规则”作为数字特征向量来表示图像。特征提取传统“规则”是颜色、边缘和梯度。然而，深度学习的最新发展，如卷积神经网络(CNN)，与传统方法相比，深度学习功能更强大、更具描述性。
为了解决大量图像集合“维数的诅咒”（CurseofDimensionality），我们借鉴了近似近邻搜索领域方面的观点。据证实，在很多案例中，近似近邻方法在精确度方面跟蛮力方法基本一样，但在速度上是蛮力方法的多倍。有鉴于此，利用局部敏感哈希算法（LocallySensitiveHashForest）能够减少高维图像数据维数。
发明内容
为了解决上述问题，本发明一种自动的图片训练样本提取方法及系统。本发明针对在大量的无标记的图像用来找到训练的图像，本发明提出的方法能够自动检索任何图像集合中所需标记的图像，且检索速度快、成本效益高。
为达到上述目的，本发明采用的技术方案是：
一种自动的图片训练样本提取方法，包括以下几个步骤：
(1)解析图像集合中所有图像内容，得到图像集合的所有图像特征；
(2)储存所述图像特征，建立图像知识库；
(3)解析由客户端给出的目标图像的内容，得到目标图像特征；
(4)根据所述目标图像特征，在图像知识库中寻找相似图像；
(5)返回相似图像至用户数据库。
其中，基于图像视觉特征利用深度学习方法提取图像特征。深度学习方法提取图像特征以实现所提取图像特征的可靠性和准确度。
进一步的是，所述深度学习方法提取图像特征，具体为，对于图像集合中的每一个图像,提取1000个特征，并且每个特征代表一个图像的特定方面。其中，无论图像的大小或内容，一个固定大小1000个数字永远用来表示图像，以减少运算量，提高运算速率。
进一步的是，所述1000个特征的范围为0到1。
进一步的是，所述步骤（2）中图像特征的存储，是通过局部敏感哈希算法，将同类型的图像放入图像知识库中同一个储存单元，这意味这只有属于同一储存单元的图像才会被检查，以取代集合中的所有项目，以便快速访问和比较，提高查询效率，利用局部敏感哈希算法来减少高维图像数据维数，建立占用空间小的特征知识库。
进一步的是，使用局部敏感哈希算法，存储每个图像1000个数字特征向量。
进一步的是，所述步骤（3）具体为，根据视觉特征，解析所提供的目标图像内容，使用深度学习方法提取图像特征，同图像集合中图像特征提取方法相同。
进一步的是，所述步骤（4）具体为，利用余弦相似度算法寻找出相似图像，余弦相似度的值越大意味着两个图像越视觉相似，为0时，表示这两个图像完全不相关。
另一方面，本发明还提供了一种自动的图片训练样本提取的系统，包括：
图像集合解析模块：解析图像集合所有图像内容，得到图像集合的所有图像特征；
图像知识库：用来存储所述的图像集合的图像特征，建立图像知识库；
目标图像解析模块：用于接收客户端给出的目标图像，并解析目标图像，得到目标图像特征；
图像查询模块：根据目标图像特征，在图像知识库中寻找相似图像；
图像输出模块：将相似图像返回客户端；
其中，图像集合解析模块输入端口连接外部客户端，图像集合解析模块输出端口连接图像知识库输入端口；目标图像解析模块输入端口连接外部客户端；目标图像解析模块输出端口连接至图像查询模块输入端口；图像查询模块输入端口还连接有图像知识库的输出端口，图像查询模块输出端口与图像输出模块输入端口相连接，图像输出模块输出端口与外部客户端相连。
采用本技术方案的有益效果：本发明所提出的一种自动的图片训练样本提取方法及系统，能够自动检索任何图像集合中所需标记的图像；在处理大量图像时，工作效率更高，这为确定训练图像提供了一个快速、高效的方式，以识别任何图像类别的训练图像，本方法基于已经提供的图像的视觉相似性，只要几分钟就可以将图像依次排列；基于与提供的图像视觉特征，本发明的方法可以快速找到观察者不容易观察到的图像，并且这些图像并不必然属于同一类别，但视觉上非常相似，灵活性较高。
附图说明
图1为本发明的方法流程图；
图2为本发明的实施例中单个图像特征提取的示意图；
图3为本发明的实施例中多个图像特征提取的示意图；
图4为本发明的实施例中LSHF方法的示意图；
图5为本发明的实施例中相似图片特征提取的示意图图；
图6为本发明所述方法借助的系统结构简图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
参见图1所示，一种自动的图片训练样本提取方法，包括以下几个步骤：
(1)解析图像集合中所有图像内容，得到图像集合的所有图像特征。
具体为，对于图像集合中的每个图像，基于图像视觉特征，解析这些图像，提取图像特征。
实施例中，如图2所示，使用特定的预先确定的“规则”作为数字特征向量来表示图像，数学上可以表示为：
W={v 1 ,v 2 ,v 3 ,…,v n }
上述公式中，W表示图像，Vi表示描述图像的特征。
使用深度学习方法提取图像特征，如卷积神经网络(CNN)，通过深度学习方法提取图像特征以实现所提取图像特征的可靠性和准确度。
如图3所示，对于图像集合中的每一个图像,提取1000个特性，并且每个特征代表一个图像的特定方面，这1000个特征的范围为0到1。其中，无论图像的大小或内容，一个固定大小1000个数字永远用来表示图。因此，100万行数据能代表100万图像的集合；在每一行包含一个包含1000个数字特征向量。
(2)储存所述图像特征，建立图像知识库。
如图4所示，图像特征的储存是通过局部敏感哈希算法（LSHF），将同类型的图像放入同一个储存单元，这意味这只有属于同一储存单元的图像才会被检查，以取代集合中的所有项目，以便快速访问和比较，提高查询效率。
使用以下参数建立了一个所有图像集合的LSHF：估计器数量=100；半径=1.0；入选数量=100；邻居数量=10；最低哈希匹配=5；截止半径比率=0.9。
这一步完成后，最终的结果是我们所有的图像，每个图像有1000个数字特征向量,使用LSHF存储，LSHF方法查询速度更快。
(3)解析由客户端给出的目标图像的内容，得到目标图像特征。
具体为，根据视觉特征，解析所提供的目标图像内容，使用深度学习方法提取图像特征，同图像集合中图像特征提取方法相同，提取每个样品的1000个特征。
(4)根据所述目标图像特征，在图像知识库中寻找相似图像。
如图5所示，利用余弦相似度算法查询出相似图像。
对于提供的目标图像，利用余弦相似度算法查询图像集合中由1000个图像特征确定的每个图像，任何数量视觉相似图像的LSHF，由高到低排序，数学上可以表示为：
在上述公式中，x是目标图像的特征向量，y是图像集合中图像的特征向量。
经比较，余弦相似度的值越大意味着两个图像越视觉相似，为0时，表示这两个图像完全不相关。
(5)返回相似图像至用户数据库，将返回的相似图像与数据库中相关图片集联合。
基于相同的发明构思，如图6所示，本发明还提供了一种自动的图片训练样本提取的系统，包括：
图像集合解析模块：解析图像集合所有图像内容，得到图像集合的所有图像特征；图像知识库：用来存储所述图像集合的图像特征，建立图像知识库；目标图像解析模块：用于接收客户端给出的目标图像，并解析目标图像，得到目标图像特征；图像查询模块：根据目标图像特征，在图像知识库中寻找相似图像；图像输出模块：将相似图像返回客户端。
其中，图像集合解析模块输入端口连接外部客户端，图像集合解析模块输出端口连接图像知识库输入端口；目标图像解析模块输入端口连接外部客户端；目标图像解析模块输出端口连接至图像查询模块输入端口；图像查询模块输入端口还连接有图像知识库的输出端口，图像查询模块输出端口与图像输出模块输入端口相连接，图像输出模块输出端口与外部客户端相连。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本实发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种自动的图片训练样本提取方法，其特征在于，包括以下几个步骤：
（1）解析图像集合中所有图像内容，得到图像集合的所有图像特征；
（2）储存所述图像特征，建立图像知识库；
（3）解析由客户端给出的目标图像的内容，得到目标图像特征；
（4）根据所述目标图像特征，在图像知识库中寻找相似图像；
（5）返回相似图像至用户数据库；
其中，基于图像视觉特征利用深度学习方法提取图像特征。
2.根据权利要求1所述的一种自动的图片训练样本提取方法，其特征在于，所述深度学习方法提取图像特征，具体为，对于图像集合中的每一个图像，提取1000个特征，并且每个特征代表一个图像的特定方面。
3.根据权利要求1所述的一种自动的图片训练样本提取方法，其特征在于，所述1000个特征的范围为0到1。
4.根据权利要求1所述的一种自动的图片训练样本提取方法，其特征在于，所述步骤（2）中图像特征的存储，是通过局部敏感哈希算法，将同类型的图像放入图像知识库中同一个储存单元。
5.根据权利要求4所述的一种自动的图片训练样本提取方法，其特征在于，使用局部敏感哈希算法，存储每个图像1000个数字特征向量。
6.根据权利要求1所述的一种自动的图片训练样本提取方法，其特征在于，所述步骤（3）具体为，根据视觉特征，解析所提供的目标图像内容，使用深度学习方法提取图像特征。
7.根据权利要求1所述的一种自动的图片训练样本提取方法，其特征在于，所述步骤（4）具体为，利用余弦相似度算法寻找出相似图像。
8.一种自动的图片训练样本提取的系统，其特征在于，包括：
图像集合解析模块：解析图像集合所有图像内容，得到图像集合的所有图像特征；
图像知识库：用来存储所述的图像集合的图像特征，建立图像知识库；
目标图像解析模块：用于接收客户端给出的目标图像，并解析目标图像，得到目标图像特征；
图像查询模块：根据目标图像特征，在图像知识库中寻找相似图像；
图像输出模块：将相似图像返回客户端用户数据库；
其中，图像集合解析模块输入端口连接外部客户端，图像集合解析模块输出端口连接图像知识库输入端口；目标图像解析模块输入端口连接外部客户端；目标图像解析模块输出端口连接至图像查询模块输入端口；图像查询模块输入端口还连接有图像知识库的输出端口，图像查询模块输出端口与图像输出模块输入端口相连接，图像输出模块输出端口与外部客户端相连。
CN201510570699.XA 2015-09-10 2015-09-10 一种自动的图片训练样本提取方法及系统 Pending CN105183857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510570699.XA CN105183857A (zh) 2015-09-10 2015-09-10 一种自动的图片训练样本提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510570699.XA CN105183857A (zh) 2015-09-10 2015-09-10 一种自动的图片训练样本提取方法及系统

Publications (1)

Publication Number Publication Date
CN105183857A true CN105183857A (zh) 2015-12-23

Family

ID=54905938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510570699.XA Pending CN105183857A (zh) 2015-09-10 2015-09-10 一种自动的图片训练样本提取方法及系统

Country Status (1)

Country Link
CN (1) CN105183857A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341189A (zh) * 2017-06-09 2017-11-10 国政通科技股份有限公司 一种辅助人工对图像进行筛查、分类和存储的方法及系统
CN107358243A (zh) * 2017-07-14 2017-11-17 深圳码隆科技有限公司 一种布料识别的方法和设备
CN107506362A (zh) * 2016-11-23 2017-12-22 上海大学 基于用户群优化的图像分类仿脑存储方法
CN107633023A (zh) * 2017-08-25 2018-01-26 北京奇艺世纪科技有限公司 一种图像去重方法和装置
WO2020063523A1 (zh) * 2018-09-29 2020-04-02 北京国双科技有限公司 图像检测方法及装置
CN111626375A (zh) * 2020-06-08 2020-09-04 广州致景信息科技有限公司 一种基于人工智能的图像匹配的系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506362A (zh) * 2016-11-23 2017-12-22 上海大学 基于用户群优化的图像分类仿脑存储方法
CN107506362B (zh) * 2016-11-23 2021-02-23 上海大学 基于用户群优化的图像分类仿脑存储方法
CN107341189A (zh) * 2017-06-09 2017-11-10 国政通科技股份有限公司 一种辅助人工对图像进行筛查、分类和存储的方法及系统
CN107358243A (zh) * 2017-07-14 2017-11-17 深圳码隆科技有限公司 一种布料识别的方法和设备
CN107633023A (zh) * 2017-08-25 2018-01-26 北京奇艺世纪科技有限公司 一种图像去重方法和装置
CN107633023B (zh) * 2017-08-25 2020-04-21 北京奇艺世纪科技有限公司 一种图像去重方法和装置
WO2020063523A1 (zh) * 2018-09-29 2020-04-02 北京国双科技有限公司 图像检测方法及装置
CN111626375A (zh) * 2020-06-08 2020-09-04 广州致景信息科技有限公司 一种基于人工智能的图像匹配的系统

Similar Documents

Publication Publication Date Title
Min et al. Spair-71k: A large-scale benchmark for semantic correspondence
CN109815364B (zh) 一种海量视频特征提取、存储和检索方法及系统
AU2016273851B2 (en) Accurate tag relevance prediction for image search
CN105183857A (zh) 一种自动的图片训练样本提取方法及系统
CN107085585B (zh) 用于图像搜索的准确的标签相关性预测
Cheng et al. Salientshape: group saliency in image collections
US11048966B2 (en) Method and device for comparing similarities of high dimensional features of images
Wang et al. MARCH: Multiscale-arch-height description for mobile retrieval of leaf images
Kalantidis et al. Viral: Visual image retrieval and localization
TWI616834B (zh) Network product recommendation method and device
Zhou et al. Evaluating local features for day-night matching
US20170024384A1 (en) System and method for analyzing and searching imagery
Schlegel et al. HBST: A hamming distance embedding binary search tree for feature-based visual place recognition
WO2020253063A1 (zh) 一种相似图片的检索方法及装置
CN110751232A (zh) 一种中文复杂场景文本检测与识别方法
AU2018202767A1 (en) Data structure and algorithm for tag less search and svg retrieval
Vimina et al. A sub-block based image retrieval using modified integrated region matching
CN107220325A (zh) 一种基于卷积神经网络的app相似图标检索方法和系统
Zhao et al. Learning best views of 3D shapes from sketch contour
Li et al. Multi-label pattern image retrieval via attention mechanism driven graph convolutional network
CN110377790B (zh) 一种基于多模态私有特征的视频自动标注方法
Hezel et al. Video search with sub-image keyword transfer using existing image archives
CN107452003A (zh) 一种含有深度信息的图像分割的方法及装置
Chan et al. F-sort: An alternative for faster geometric verification
Ma et al. Graph‐cut based interactive image segmentation with randomized texton searching

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151223

RJ01 Rejection of invention patent application after publication