CN108829812A - 基于深度学习的云物体库构建方法 - Google Patents

基于深度学习的云物体库构建方法 Download PDF

Info

Publication number
CN108829812A
CN108829812A CN201810583492.XA CN201810583492A CN108829812A CN 108829812 A CN108829812 A CN 108829812A CN 201810583492 A CN201810583492 A CN 201810583492A CN 108829812 A CN108829812 A CN 108829812A
Authority
CN
China
Prior art keywords
image
subject image
library
object detection
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810583492.XA
Other languages
English (en)
Other versions
CN108829812B (zh
Inventor
吴炜
幸骁骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810583492.XA priority Critical patent/CN108829812B/zh
Publication of CN108829812A publication Critical patent/CN108829812A/zh
Application granted granted Critical
Publication of CN108829812B publication Critical patent/CN108829812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度学习的云物体库构建方法，旨在解决现有技术中存在的构建出的云物体库存储空间较大的技术问题。实现步骤为：从ImageNet数据库中选取多幅图像，获取基础云物体库；对物体检测框架进行初始化；利用物体检测框架对输入到该物体检测框架中大小为X的图像进行物体检测；对n个物体图像P1...Pi...Pn进行质量评价得到得到m个物体图像P1...Pj...Pm；提取物体图像Pj的图像特征并对物体图像Pj进行筛选，将包含物体图像Pj的基础云物体库作为云物体库。本发明可应用于互联网云端图像压缩和个人相册图像压缩的类似场景。

Description

基于深度学习的云物体库构建方法
技术领域
本发明属于图像处理技术领域，涉及一种云物体库构建方法，具体涉及一种基于深度学习的云物体库构建方法，可用于作为互联网云端图像压缩和个人相册图像压缩的类似场景。
背景技术
目前随着互联网的发展和智能手机的普及，出现在网络上的云图像数量呈现几何增长，云图像存储占用的空间也呈几何增长。传统的图像存储的编码格式有JPEG,BMP等，虽然编码速度较快，但是具有占用的存储空间较大的缺点。为了降低云图像占用的存储空间，降低存储成本，减小云图像编码比特数，基于云数据库的云图像编码方法被提出。现有的云图像编码方法主要使用云物体库作为图像编码的预处理数据集，为了提高使用云物体库对云图像编码的预处理效果，云物体库的构建方法被提出。现有的对云物体库的构建方法主要采用从已有数据集中选取一定数量图像，并没有考虑云物体库中的图像数据之间具有的相关性，以及如何保证在云物体库中图像数据数量一定的情况下，尽可能的提高云物体库中的图像数据的可靠性，从而为云图像编码方法的编码效率的提高提供辅助作用。
研究降低构建云物体库方法中的云物体库的存储空间是现有的云物体库构建方法中的一个重要课题，例如，赵琛，马思伟在2017年Chinese Journal Of Computers第11期上发表的论文“基于云数据的高效图像编码方法”中，公开了一种基于INRIA Holidays数据库的云物体库构建方法。该方法在对云物体库进行构建时，选取了INRIA Holidays数据库中的部分图像作为基础云物体库，并且向入基础云物体库中加入图像从而构成云物体库，使得云物体库中的图像数据信息更加丰富，从而降低了云物体库的存储空间。但是该方法在对加入基础云物体库中的图像进行质量评价和筛选时，并没有去除基础云物体库中的图像和加入图像之间具有的高度相似性信息，不适用作为当前云图像编码方法中采用的云物体库。
发明内容
本发明的目的是针对上述现有技术的不足，提出了一种基于深度学习的云物体库构建方法，旨在解决现有云物体库构建方法中存在的云物体库存储空间较大的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取基础云物体库：
从ImageNet数据库中选取多幅图像，并基于tensorflow深度学习框架提取每幅图像的图像特征，由多幅图像和它们的图像特征构造基础云物体库；
(2)对物体检测框架进行初始化：
通过输入物体检测框架参数文件，来配置包括输入目录和命令行的物体检测框架；
(3)对输入物体检测框架的图像进行物体检测：
利用物体检测框架对输入到该物体检测框架中大小为X的图像进行物体检测，得到n个物体图像P1...Pi...Pn及其对应的物体概率G1...Gi...Gn，其中，i为物体图像的编号，n为物体图像的总数，且n≥2；
(4)对n个物体图像P1...Pi...Pn进行质量评价：
(4a)读取n个物体图像P1...Pi...Pn像素的大小X1...Xi...Xn，并计算Xi相对于X的比例，得到n个比例值B1...Bi...Bn，其中Bi＝Xi/X；
(4b)通过Gi和Bi对物体图像Pi进行质量评价，当Gi<0.5或Bi<0.002时，将物体图像Pi的质量Q记作0，同时删除Q为0的物体图像，得到m个物体图像P1...Pj...Pm，其中，j为物体图像的编号，m为物体图像的总数；
(5)获取云物体库：
(5a)提取物体图像Pj的图像特征，并对物体图像Pj的图像特征与基础云物体库中每幅图像的图像特征进行哈希匹配，得到多个特征匹配对；
(5b)对多个特征匹配对按照相似度由大到小的顺序排列，并选取前10个特征匹配对的相似度S1...S10；
(5c)设绝对相似度阈值为Sh，平均相似度阈值为Sl；
(5d)根据相似度S1...S10与Sh和Sl的关系对物体图像Pj进行筛选：
当S1＜Sl，将物体图像Pj存入基础云物体库中，当Sl≤S1＜Sh，计算S1...S10的平均值，当Sl大于S1...S10的平均值时，将物体图像Pj存入基础云物体库，并将包含物体图像Pj的基础云物体库作为云物体库。
本发明与现有技术相比，具有以下优点：
本发明在构建云物体库时，通过对云物体库中的数据信息进行排列和筛选，去除云物体库中高度相似的数据信息，降低了云物体库中的数据信息冗余度，避免了现有技术在向基础云物体库加入图像作为云物体库的时候未去除云物体库中高度相似的数据信息的缺陷，通过该云物体库进行图像编码后，减少了编码结果的冗余信息，降低了图像编码比特数，使得云物体库存储空间降低。
附图说明
图1为本发明的实现流程框图；
图2为本发明和现有技术构建的云物体库进行图像编码仿真得到的编码结果效率曲线对比图。
具体实施方式
下面将结合附图和具体实施例，对本发明作进一步的详细描述：
参照图1，一种基于深度学习的云物体库构建方法，包括如下步骤：
步骤1)获取基础云物体库：
步骤1a)从ImageNet数据库中获得日常生活中常见种类下的物体图像，并将物体图像按种类进行保存，其中ImageNet数据库是目前深度学习图像领域应用的最多的一个数据库，其中包含了有1400多万幅图像，涵盖了两万多个类别，由于ImageNet数据库过于庞大，因此从中选择30个日常生活中常见的物体种类图像，并从每个分类中随机选取100张物体图像；
步骤1b)通过tensorflow深度学习框架，配置keras深度学习库,采用keras深度学习库中的特征提取算法，提取每幅图像的图像特征。其中在进行特征提取时，使用VGG-16模型，该模型的神经网络权值参数基于ImageNet数据库训练完成。其中在得到图像的特征时，对输入的图像进行一系列的卷积和池化操作，其中池化操作采用的是max-pooling模式进行池化，最后得到一个归一化向量，作为该图像经过深度学习提取出的图像特征；
步骤1c)由ImageNet数据库中选取多幅图像和它们的图像特征构造基础云物体库；
步骤2)对物体检测框架进行初始化：
通过输入物体检测框架参数文件，来配置包括输入目录和命令行的物体检测框架；
步骤3)对输入物体检测框架的图像进行物体检测：
步骤3a)对输入图像进行物体检测，得到检测出的n个物体以及每个物体对应的物体种类和物体概率。其中在对输入图像进行物体检测时，使用YOLO物体检测框架，并导入已训练好的权值文件，在得到物体图像的过程中，对YOLO的源代码进行修改。对代码中得到的每一个物体对应的boundingbox的位置坐标进行记录，并在输出结果时，把对应的boudingbox的位置坐标在图像中进行切割处理，这样最后得到已检测出的n个物体图像以及对应物体概率；
步骤3b)利用物体检测框架对输入到该物体检测框架中大小为X的图像进行物体检测，得到n个物体图像P1...Pi...Pn及其对应的物体概率G1...Gi...Gn，其中，i为物体图像的编号，n为物体图像的总数，且n≥2；
步骤4)对n个物体图像P1...Pi...Pn进行质量评价：
步骤4a)在进行质量评价时，主要有两个参考因素：一个是物体概率，另一个是物体图像尺寸占比输入图像尺寸比例，这两个因素对于物体是否具有可以满足选入物体库的物体质量具有重要影响；
步骤4b)物体概率P代表了对该输入待编码图像进行物体检测出的物体为该类物体的可信度，它的取值范围为0到1，当物体概率过小时，说明通过物体检测检测出的物体为该种类的可信度很小，即代表该物体数据的可信度很小，因此，当要选择一个物体进入物体库时，必须保证该物体为该种类物体的可信度，即该物体图像的物体概率必须要大于一定的值；
步骤4c)读取n个物体图像P1...Pi...Pn像素的大小X1...Xi...Xn，并计算Xi相对于X的比例，得到n个比例值B1...Bi...Bn，其中Bi＝Xi/X；
步骤4d)通过Gi和Bi对物体图像Pi进行质量评价，当Gi<0.5或Bi<0.002时，将物体图像Pi的质量Q记作0，同时删除Q为0的物体图像，得到m个物体图像P1...Pj...Pm，其中，j为物体图像的编号，m为物体图像的总数；
步骤5)获取云物体库：
步骤5a)提取物体图像Pj的图像特征，并对物体图像Pj的图像特征与基础云物体库中每幅图像的图像特征进行哈希匹配，得到多个特征匹配对；
步骤5b)对多个特征匹配对按照相似度由大到小的顺序排列，并选取前10个特征匹配对的相似度S1...S10；
步骤5c)设绝对相似度阈值为Sh，平均相似度阈值为Sl当物体图像进行入库时，物体库中该类别的物体图像的个数小于10，说明物体库中的该类别物体图像样本数量过少，因此直接进行入库，当个数大于等于10时，则对物体图像进行筛选；
步骤5d)根据相似度S1...S10与Sh和Sl的关系对物体图像Pj进行筛选；
步骤5d1)在进行入库选择时，主要有两个参考因素：一个是物体图像在物体库中进行检索匹配得到一系列物体图像的相似度值，另一个因素是该类别下的物体图像个数，这两个因素对于物体是否可以选入云物体库具有重要影响，当最大相似度值小于平均相似度阈值，说明该物体库中不存在与该物体较为相似的物体，为保证云物体库中每个类别中物体具有足够的代表性，此时直接对该物体图像进行入库操作；
步骤5d2)当最大相似度值介于平均相似度阈值和绝对相似度值之间时，则选取物体库中该物体类别下的前10位的相似度值的平均值与平均相似度阈值进行比较，当平均相似度阈值大于这个平均值时，说明从物体库选取的此类物体图像与此物体图像相似度较低，对物体图像进行入库操作，当平均相似度阈值小于等于这个平均值时，说明从物体库选取的此类物体图像与此物体图像相似度较高，已经高于平均相似度阈值，不对物体图像入库。其中对绝对相似度阈值的要求比较高，在该算法中设置为0.85，对平均相似度阈值的设置较低一点，在该算法中设置为0.5；
步骤5d3)当S1＜Sl，将物体图像Pj存入基础云物体库中，当Sl≤S1＜Sh，计算S1...S10的平均值，当Sl大于S1...S10的平均值时，将物体图像Pj存入基础云物体库，并将包含物体图像Pj的基础云物体库作为云物体库。
以下结合仿真实验，对本发明的技术效果作进一步说明：
1.仿真条件：
本发明仿真实验是在处理器为Intel(R)Core(TM)i5-2450 2.50GHz、内存8G、Windows7操作系统的环境下进行的，编程软件为Microsoft Visual Studio 2010。
2.仿真内容和结果分析：
采用本发明和现有技术对图像进行编码仿真得到两种方法的云图像编码效率曲线对比图，如图2所示。图2中的横坐标是单位像素编码的比特数，单位是比特/像素(bpp)，纵坐标是峰值信噪比(PSNR)，单位是dB。由图2中的编码效率曲线可以看出，在具有相同峰值信噪比的情况下，使用本发明对图像进行编码得到的编码比特数会比使用现有技术的少，说明本发明较现有技术有效的降低了云物体库的存储空间。
综上，与现有技术相比，本发明在构建云物体库时，通过对云物体库中的数据信息进行排列和筛选，去除云物体库中高度相似的数据信息，降低了云物体库中的数据信息冗余度，从而在进行图像编码时降低了图像编码比特数，降低了云物体库的存储空间。本发明可应用于互联网云端图像压缩和个人相册图像压缩的类似场景。

Claims (3)

1.一种基于深度学习的云物体库构建方法，其特征在于，包括如下步骤：
(1)获取基础云物体库：
从ImageNet数据库中选取多幅图像，并基于tensorflow深度学习框架提取每幅图像的图像特征，由多幅图像和它们的图像特征构造基础云物体库；
(2)对物体检测框架进行初始化：
通过输入物体检测框架参数文件，来配置包括输入目录和命令行的物体检测框架；
(3)对输入物体检测框架的图像进行物体检测：
利用物体检测框架对输入到该物体检测框架中大小为X的图像进行物体检测，得到n个物体图像P1...Pi...Pn及其对应的物体概率G1...Gi...Gn，其中，i为物体图像的编号，n为物体图像的总数，且n≥2；
(4)对n个物体图像P1...Pi...Pn进行质量评价：
(4a)读取n个物体图像P1...Pi...Pn像素的大小X1...Xi...Xn，并计算Xi相对于X的比例，得到n个比例值B1...Bi...Bn，其中Bi＝Xi/X；
(4b)通过Gi和Bi对物体图像Pi进行质量评价，当Gi<0.5或Bi<0.002时，将物体图像Pi的质量Q记作0，同时删除Q为0的物体图像，得到m个物体图像P1...Pj...Pm，其中，j为物体图像的编号，m为物体图像的总数；
(5)获取云物体库：
(5a)提取物体图像Pj的图像特征，并对物体图像Pj的图像特征与基础云物体库中每幅图像的图像特征进行哈希匹配，得到多个特征匹配对；
(5b)对多个特征匹配对按照相似度由大到小的顺序排列，并选取前10个特征匹配对的相似度S1...S10；
(5c)设绝对相似度阈值为Sh，平均相似度阈值为Sl；
(5d)根据相似度S1...S10与Sh和Sl的关系对物体图像Pj进行筛选：
当S1＜Sl，将物体图像Pj存入基础云物体库中，当Sl≤S1＜Sh，计算S1...S10的平均值，当Sl大于S1...S10的平均值时，将物体图像Pj存入基础云物体库，并将包含物体图像Pj的基础云物体库作为云物体库。
2.根据权利要求1所述的基于深度学习的云物体库构建方法，其特征在于，步骤(1)中所述的提取每幅图像的图像特征，实现步骤为：
(1a)通过tensorflow深度学习框架，配置keras深度学习库；
(1b)采用keras深度学习库中的特征提取算法，提取每幅图像的图像特征。
3.根据权利要求1所述的基于深度学习的云物体库构建方法，其特征在于，步骤(3)中所述的物体检测，实现步骤为：
(3a)将大小为X的图像导入物体检测框架中的输入目录下，实现对物体检测框架目标的输入；
(3b)将包含有图像的物体检测框架中的输入目录输入到物体检测框架的命令行中，对图像进行物体检测，得到n个物体图像P1...Pi...Pn及其对应的物体概率G1...Gi...Gn，其中，i为物体图像的编号，n为物体图像的总数，且n≥2。
CN201810583492.XA 2018-06-08 2018-06-08 基于深度学习的云物体库构建方法 Active CN108829812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810583492.XA CN108829812B (zh) 2018-06-08 2018-06-08 基于深度学习的云物体库构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810583492.XA CN108829812B (zh) 2018-06-08 2018-06-08 基于深度学习的云物体库构建方法

Publications (2)

Publication Number Publication Date
CN108829812A true CN108829812A (zh) 2018-11-16
CN108829812B CN108829812B (zh) 2020-04-07

Family

ID=64144750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810583492.XA Active CN108829812B (zh) 2018-06-08 2018-06-08 基于深度学习的云物体库构建方法

Country Status (1)

Country Link
CN (1) CN108829812B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2650822A1 (en) * 2012-04-09 2013-10-16 Accenture Global Services Limited Biometric matching technology
CN106708951A (zh) * 2016-11-25 2017-05-24 西安电子科技大学 支持所有权认证的客户端图像模糊去重方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2650822A1 (en) * 2012-04-09 2013-10-16 Accenture Global Services Limited Biometric matching technology
CN106708951A (zh) * 2016-11-25 2017-05-24 西安电子科技大学 支持所有权认证的客户端图像模糊去重方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵琛: "基于云数据的高效图像编码方法", 《计算机学报》 *

Also Published As

Publication number Publication date
CN108829812B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110378334B (zh) 一种基于二维特征注意力机制的自然场景文本识别方法
CN109543745B (zh) 基于条件对抗自编码网络的特征学习方法及图像识别方法
CN1681330B (zh) 自适应2n叉树生成方法及3D体数据编码和解码方法和设备
CN107092661A (zh) 一种基于深度卷积神经网络的图像检索方法
CN105828081B (zh) 编码方法及编码装置
US20090278844A1 (en) Method and apparatus for encoding/decoding 3d mesh information including stitching information
CN112084877B (zh) 基于nsga-net的遥感图像识别方法
CN100363924C (zh) 用于二级图像编码/解码的系统和方法
CN112132158A (zh) 一种基于自编码网络的可视化图片信息嵌入方法
CN113689434A (zh) 一种基于条带池化的图像语义分割方法
CN111860116A (zh) 一种基于深度学习和特权信息的场景识别方法
CN110110120B (zh) 一种基于深度学习的图像检索方法和装置
CN108829812A (zh) 基于深度学习的云物体库构建方法
CN116822548A (zh) 生成高识别率ai二维码的方法及计算机可读存储介质
Gupta et al. A genetic algorithm approach to regenerate image from a reduce scaled image using bit data count
CN1873658A (zh) 一种遥感影像的人工免疫特征选择方法
CN113726849B (zh) 一种饮用酒制作方式的共享方法、装置及服务器
CN116030455A (zh) 一种基于Yolo-EfficientNet双层模型的食物热量测算算法
CN105224619A (zh) 一种适用于视频/图像局部特征的空间关系匹配方法及系统
CN115455083A (zh) 查重方法、装置、电子设备及计算机存储介质
CN114092827A (zh) 一种图像数据集生成方法
WO2020168526A1 (zh) 图像编码方法、设备及计算机可读存储介质
CN112468843A (zh) 视频去重方法及装置
CN112200275A (zh) 人工神经网络的量化方法及装置
CN112784838A (zh) 一种基于局部敏感哈希网络的汉明ocr识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant