CN107169090A - 一种利用内容环绕信息提取图像表征的特定对象检索方法 - Google Patents

一种利用内容环绕信息提取图像表征的特定对象检索方法 Download PDF

Info

Publication number
CN107169090A
CN107169090A CN201710333971.1A CN201710333971A CN107169090A CN 107169090 A CN107169090 A CN 107169090A CN 201710333971 A CN201710333971 A CN 201710333971A CN 107169090 A CN107169090 A CN 107169090A
Authority
CN
China
Prior art keywords
information
mrow
msub
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710333971.1A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710333971.1A priority Critical patent/CN107169090A/zh
Publication of CN107169090A publication Critical patent/CN107169090A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种利用内容环绕信息提取图像表征的特定对象检索方法，其主要内容包括：卷积网络结构、区域卷积特征最大值、环绕内容信息提取、带权重的区域卷积特征最大值，其过程为，首先使用已经预训练的深度卷积网络进行网络截取，将得到的特征图通过不同通道叠加的方让其张量从三维转换为二维，接着将得到的中间结果进行固定等长度编码，使之成为特征向量，进行L2范数的归一化处理后，图像之间通过点积运算计算相似性。本发明可以处理检索图像中特定物体的提取与比较，同时根据现实情况利用上下文环境信息，极大程度上提高检索精度。

Description

一种利用内容环绕信息提取图像表征的特定对象检索方法
技术领域
本发明涉及图像内容检索领域，尤其是涉及了一种利用内容环绕信息提取图像表征的特定对象检索方法。
背景技术
基于内容的图像检索是大规模数字图像内容检索的分支，近年来吸引了广泛关注。在如今时代，随着网页内容、移动互联网的快速发展，图像以海量级别增长，以社交领域新浪微博为例，每月活跃用户上传照片数以亿计，以购物平台淘宝为例，其后台储存图片达300亿张。显而易见，如今在数字图像领域，限制发展的不再是储存容量、传输速度，而是检索能力，因此这个问题的解决，将在人机交互领域、远程服务器内容搜查，特别在远洋深海中有着极大的应用前景，例如长距离大面积的船舶定位、安全航道轨迹的统计，甚至在国际海洋权益的争议中，实现侵权目标的快速查找和有效识别分析，可以为海洋执法机构提供证据或决策依据。
如何在海量的图像中迅速找到自己所需内容，已经成为了当今的挑战。由于特定内容检索需要海量数据建模，同时不同嵌体的检索图像其上下文环境内容信息不尽相同，因此非感兴趣区域之外的信息如何处理才能提高检索的精度给任务造成了一定难度。
本发明提出了一种基于深度卷积网络进行图像内容信息表征的新框架。使用已经预训练的深度卷积网络进行网络截取，将得到的特征图通过不同通道叠加的方让其张量从三维转换为二维，接着将得到的中间结果进行固定等长度编码，使之成为特征向量，进行L2范数的归一化处理后，图像之间通过点积运算计算相似性。本发明可以处理检索图像中特定物体的提取与比较，同时根据现实情况利用上下文环境信息，极大程度上提高检索精度。
发明内容
针对解决在海量图像中寻找特定目标的检索问题，本发明的目的在于提供一种利用内容环绕信息提取图像表征的特定对象检索方法，提出了一种基于深度卷积网络进行图像内容信息表征的新框架。
为解决上述问题，本发明提供一种利用内容环绕信息提取图像表征的特定对象检索方法，其主要内容包括：
(一)卷积网络结构；
(二)区域卷积特征最大值；
(三)环绕内容信息提取；
(四)带权重的区域卷积特征最大值。
其中，所述的卷积网络结构，采取总共34层的预训练卷积网络拓扑，具体为：
(1)输入图像；
(2)首先经过卷积核为7×7、特征图数为64个的卷积层共1层；
(3)继续经过采样率为二分之一的池化层共1层；
(4)经过卷积核为3×3、特征图数为64个的卷积层共6层，其中每两层特征合并；
(5)继续经过卷积核为3×3、特征图数为128个的卷积层共8层，其中除首层外每两层特征合并；
(6)继续经过卷积核为3×3、特征图数为256个的卷积层共10层，其中除首层外每两层特征合并；
(7)继续经过卷积核为3×3、特征图数为512个的卷积层共6层，其中除首层外每两层特征合并；
(8)继续经过均值池化层共1层；
(9)最后经过神经元为1000的全连接层共1层，输出图像表征。
进一步地，所述的区域卷积特征最大值，包括卷积网络截层和特征图谱编码。
进一步地，所述的卷积网络截层，给定一个卷积网络结构，用于图像表征可不沿用预训练中最终层输出，而是使用最后一层卷积层或者池化层所得到的向量，具体地，对于具有L层的卷积网络，给定图像则对应的输出层l∈L结果是一个三维张量其中K是通道的数量，W×H是输出特征图的空域维度；
特征图Xl可分解为K个二维特征图的序列，即与平面图像的像素相对，这些二维特征图称作卷积层中的激活因子，而这些激活因子在特征图中的空域位置表示为所有的p点组合起来可表征为S＝[1,W]×[1,H]，每一层都计算的是比上一层更高阶的抽象信息。
进一步地，所述特征图谱编码，对于特征图抽象概括的信息维度非常庞大，输入图像为3×3时，该网络的特征图谱维度为23×13×2048，因此需要将维度庞大的信息编码到固定长度的全局信息，具体为：对于给定层l的特征图Xl，首先产生一序列正方形区域R＝{Ri},i＝1,…,N，其中Ri∈S且N由特征图的尺寸所决定，接着，区域卷积特征最大值由横跨K个通道的空域所计算得到，即对每个区域Ri都会产生一个1×K的向量
则区域卷积特征最大值有：
每个区域向量都进行L2范数均一化得到中间结果，接着用主成分分析法对中间结果进行白化处理，最后将白化完的结果再进行L2范数均一化，因此可以得到最终此输入图像的聚集总和表征为：
此时得到的最终图像表征f仍然是1×K的向量，需要将其再次进行L2范数均一化，这样通过简单的点积运算就能计算图像之间的相似性。
进一步地，所述的环绕内容信息提取，包括环绕信息区域分类、空间关注度以及计算模型。
进一步地，所述的环绕信息区域分类，对于图像中感兴趣的区域之外，所有的图像信息都可以称作上下文环绕信息，简称环绕信息，这些环绕信息跟感兴趣区域信息捆绑在一起进行分类时，有时候会增加检索的成功率，但有时候会降低，而其中环绕信息可以分为三类：
(1)全图信息：整幅检索图像都输入到深度卷积网络中，得到的图像表征编码成固定长度的特征向量；
(2)兴趣信息：只截取感兴趣区域的信息输入到深度卷积网络中，得到的图像表征编码成固定长度的特征向量；
(3)兴趣投影信息：先用整幅检索图像输入到深度卷积网络，在前向反馈中得到不同层特征图的表征，然后计算每一层特征图中兴趣区域的投影，最终积累的特征图投影编码成固定长度的特征向量。
进一步地，所述的空间关注度，三类环绕信息各有优劣，为了合并三类信息达到最优结果，利用三类信息各自的有点合并成一个空间关注度模型，用来提取深度卷积网络表征，具体为：
(1)兴趣信息和兴趣投影信息具有对图像最高的响应度，其中兴趣信息具有本身表征的能力，而兴趣投影信息则具有更高的上下文环绕信息的表征；
(2)全图信息由于含有不具备先验知识的环绕信息，当全图被输入深度卷积网络时，会产生大量的不明确的分类信息，因此在全局考虑中需要将其比重降至最低；
(3)关注度模型产生的最终表征不仅应该包含远离兴趣区域的信息，更要包含兴趣区域本身的信息，这是空间关注度的约束条件。
进一步地，所述的计算模型，用关注度图谱初始化特征图Xl，对于此关注度图谱中所有K个通道中的元素p，其中Ap∈[0,1]，活跃度可以表征为：
其中Rl是特征图Xl中兴趣信息投影区域，M是显著性图谱；对于在特征图Xl中位置p∈Rl激活因子按照以下公式调整：
g(·)是一个单调函数，具体为：
g(a)＝λ1+λ2aφ (6)
其中，常量λ1设置为0.5，常量λ2设置为0.4，φ设置为4。
进一步地，所述的带权重的区域卷积特征最大值，改变公式(3)中的区域卷积特征最大值均等贡献权重的做法，在对检索图像不存在先验知识的情况下，增加兴趣区域Rl的个数能确保更高的兴趣物体检索覆盖度，但同时会增加不相关区域的信息干扰，因此，根据公式(3)增加一个带权重的聚集综合表征：
其中，是区域信息的权重，由一种显著性映射方式取得，具体为：给定特征图，通过叠加不同的通道，则将其张量从三维Xl映射为二维M，即因此有：
ψ(Xl)＝M (8)
其中，最终的权重计算可由下得到：
此外，显著性映射还会进行最大值均一化操作，使得Mp∈[0,1]。
附图说明
图1是本发明一种利用内容环绕信息提取图像表征的特定对象检索方法的系统流程图。
图2是本发明一种利用内容环绕信息提取图像表征的特定对象检索方法的深度卷积网络结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种利用内容环绕信息提取图像表征的特定对象检索方法的系统流程图。主要包括卷积网络结构；区域卷积特征最大值；环绕内容信息提取；带权重的区域卷积特征最大值。
采取总共34层的预训练卷积网络拓扑，具体为：
(1)输入图像；
(2)首先经过卷积核为7×7、特征图数为64个的卷积层共1层；
(3)继续经过采样率为二分之一的池化层共1层；
(4)经过卷积核为3×3、特征图数为64个的卷积层共6层，其中每两层特征合并；
(5)继续经过卷积核为3×3、特征图数为128个的卷积层共8层，其中除首层外每两层特征合并；
(6)继续经过卷积核为3×3、特征图数为256个的卷积层共10层，其中除首层外每两层特征合并；
(7)继续经过卷积核为3×3、特征图数为512个的卷积层共6层，其中除首层外每两层特征合并；
(8)继续经过均值池化层共1层；
(9)最后经过神经元为1000的全连接层共1层，输出图像表征。
区域卷积特征最大值，包括卷积网络截层和特征图谱编码。
卷积网络截层，给定一个卷积网络结构，用于图像表征可不沿用预训练中最终层输出，而是使用最后一层卷积层或者池化层所得到的向量，具体地，对于具有L层的卷积网络，给定图像则对应的输出层l∈L结果是一个三维张量其中K是通道的数量，W×H是输出特征图的空域维度；
特征图Xl可分解为K个二维特征图的序列，即与平面图像的像素相对，这些二维特征图称作卷积层中的激活因子，而这些激活因子在特征图中的空域位置表示为所有的p点组合起来可表征为S＝[1,W]×[1,H]，每一层都计算的是比上一层更高阶的抽象信息。
特征图谱编码，对于特征图抽象概括的信息维度非常庞大，输入图像为3×3时，该网络的特征图谱维度为23×13×2048，因此需要将维度庞大的信息编码到固定长度的全局信息，具体为：对于给定层l的特征图Xl，首先产生一序列正方形区域R＝{Ri},i＝1,…,N，其中Ri∈S且N由特征图的尺寸所决定，接着，区域卷积特征最大值由横跨K个通道的空域所计算得到，即对每个区域Ri都会产生一个1×K的向量
则区域卷积特征最大值有：
每个区域向量都进行L2范数均一化得到中间结果，接着用主成分分析法对中间结果进行白化处理，最后将白化完的结果再进行L2范数均一化，因此可以得到最终此输入图像的聚集总和表征为：
此时得到的最终图像表征f仍然是1×K的向量，需要将其再次进行L2范数均一化，这样通过简单的点积运算就能计算图像之间的相似性。
环绕内容信息提取，包括环绕信息区域分类、空间关注度以及计算模型。
环绕信息区域分类，对于图像中感兴趣的区域之外，所有的图像信息都可以称作上下文环绕信息，简称环绕信息，这些环绕信息跟感兴趣区域信息捆绑在一起进行分类时，有时候会增加检索的成功率，但有时候会降低，而其中环绕信息可以分为三类：
(1)全图信息：整幅检索图像都输入到深度卷积网络中，得到的图像表征编码成固定长度的特征向量；
(2)兴趣信息：只截取感兴趣区域的信息输入到深度卷积网络中，得到的图像表征编码成固定长度的特征向量；
(3)兴趣投影信息：先用整幅检索图像输入到深度卷积网络，在前向反馈中得到不同层特征图的表征，然后计算每一层特征图中兴趣区域的投影，最终积累的特征图投影编码成固定长度的特征向量。
空间关注度，三类环绕信息各有优劣，为了合并三类信息达到最优结果，利用三类信息各自的有点合并成一个空间关注度模型，用来提取深度卷积网络表征，具体为：
(1)兴趣信息和兴趣投影信息具有对图像最高的响应度，其中兴趣信息具有本身表征的能力，而兴趣投影信息则具有更高的上下文环绕信息的表征；
(2)全图信息由于含有不具备先验知识的环绕信息，当全图被输入深度卷积网络时，会产生大量的不明确的分类信息，因此在全局考虑中需要将其比重降至最低；
(3)关注度模型产生的最终表征不仅应该包含远离兴趣区域的信息，更要包含兴趣区域本身的信息，这是空间关注度的约束条件。
计算模型，用关注度图谱初始化特征图Xl，对于此关注度图谱中所有K个通道中的元素p，其中Ap∈[0,1]，活跃度可以表征为：
其中Rl是特征图Xl中兴趣信息投影区域，M是显著性图谱；对于在特征图Xl中位置p∈Rl激活因子按照以下公式调整：
g(·)是一个单调函数，具体为：
g(a)＝λ1+λ2aφ (6)
其中，常量λ1设置为0.5，常量λ2设置为0.4，φ设置为4。
带权重的区域卷积特征最大值，改变公式(3)中的区域卷积特征最大值均等贡献权重的做法，在对检索图像不存在先验知识的情况下，增加兴趣区域Rl的个数能确保更高的兴趣物体检索覆盖度，但同时会增加不相关区域的信息干扰，因此，根据公式(3)增加一个带权重的聚集综合表征：
其中，是区域信息的权重，由一种显著性映射方式取得，具体为：给定特征图，通过叠加不同的通道，则将其张量从三维Xl映射为二维M，即因此有：
ψ(Xl)＝M (8)
其中，最终的权重计算可由下得到：
此外，显著性映射还会进行最大值均一化操作，使得Mp∈[0,1]。
图2是本发明一种利用内容环绕信息提取图像表征的特定对象检索方法的深度卷积网络结构图。如图所示，可以观察到网络结构按照序列进行排列，下一层处理的数据为上一层产生的输出。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种利用内容环绕信息提取图像表征的特定对象检索方法，其特征在于，主要包括卷积网络结构(一)；区域卷积特征最大值(二)；环绕内容信息提取(三)；带权重的区域卷积特征最大值(四)。
2.基于权利要求书1所述的卷积网络结构(一)，其特征在于，采取总共34层的预训练卷积网络拓扑，具体为：
(1)输入图像；
(2)首先经过卷积核为7×7、特征图数为64个的卷积层共1层；
(3)继续经过采样率为二分之一的池化层共1层；
(4)经过卷积核为3×3、特征图数为64个的卷积层共6层，其中每两层特征合并；
(5)继续经过卷积核为3×3、特征图数为128个的卷积层共8层，其中除首层外每两层特征合并；
(6)继续经过卷积核为3×3、特征图数为256个的卷积层共10层，其中除首层外每两层特征合并；
(7)继续经过卷积核为3×3、特征图数为512个的卷积层共6层，其中除首层外每两层特征合并；
(8)继续经过均值池化层共1层；
(9)最后经过神经元为1000的全连接层共1层，输出图像表征。
3.基于权利要求书1所述的区域卷积特征最大值，其特征在于，包括卷积网络截层和特征图谱编码。
4.基于权利要求书3所述的卷积网络截层，其特征在于，给定一个卷积网络结构，用于图像表征可不沿用预训练中最终层输出，而是使用最后一层卷积层或者池化层所得到的向量，具体地，对于具有L层的卷积网络，给定图像则对应的输出层l∈L结果是一个三维张量其中K是通道的数量，W×H是输出特征图的空域维度；
特征图Xl可分解为K个二维特征图的序列，即与平面图像的像素相对，这些二维特征图称作卷积层中的激活因子，而这些激活因子在特征图中的空域位置表示为所有的p点组合起来可表征为S＝[1,W]×[1,H]，每一层都计算的是比上一层更高阶的抽象信息。
5.基于权利要求书3所述特征图谱编码，其特征在于，对于特征图抽象概括的信息维度非常庞大，输入图像为3×3时，该网络的特征图谱维度为23×13×2048，因此需要将维度庞大的信息编码到固定长度的全局信息，具体为：对于给定层l的特征图Xl，首先产生一序列正方形区域R＝{Ri},i＝1,…,N，其中Ri∈S且N由特征图的尺寸所决定，接着，区域卷积特征最大值由横跨K个通道的空域所计算得到，即对每个区域Ri都会产生一个1×K的向量
<mrow> <msub> <mi>f</mi> <msub> <mi>R</mi> <mi>i</mi> </msub> </msub> <mo>=</mo> <mo>&amp;lsqb;</mo> <msub> <mi>f</mi> <mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <mn>1</mn> </mrow> </msub> <mo>...</mo> <msub> <mi>f</mi> <mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>...</mo> <msub> <mi>f</mi> <mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>K</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
则区域卷积特征最大值有：
<mrow> <msub> <mi>f</mi> <mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>p</mi> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> </mrow> </munder> <msubsup> <mi>X</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>p</mi> </mrow> <mi>l</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
每个区域向量都进行L2范数均一化得到中间结果，接着用主成分分析法对中间结果进行白化处理，最后将白化完的结果再进行L2范数均一化，因此可以得到最终此输入图像的聚集总和表征为：
<mrow> <mi>f</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>f</mi> <msub> <mi>R</mi> <mi>i</mi> </msub> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
此时得到的最终图像表征f仍然是1×K的向量，需要将其再次进行L2范数均一化，这样通过简单的点积运算就能计算图像之间的相似性。
6.基于权利要求书1所述的环绕内容信息提取，其特征在于，包括环绕信息区域分类、空间关注度以及计算模型。
7.基于权利要求书6所述的环绕信息区域分类，其特征在于，对于图像中感兴趣的区域之外，所有的图像信息都可以称作上下文环绕信息，简称环绕信息，这些环绕信息跟感兴趣区域信息捆绑在一起进行分类时，有时候会增加检索的成功率，但有时候会降低，而其中环绕信息可以分为三类：
(1)全图信息：整幅检索图像都输入到深度卷积网络中，得到的图像表征编码成固定长度的特征向量；
(2)兴趣信息：只截取感兴趣区域的信息输入到深度卷积网络中，得到的图像表征编码成固定长度的特征向量；
(3)兴趣投影信息：先用整幅检索图像输入到深度卷积网络，在前向反馈中得到不同层特征图的表征，然后计算每一层特征图中兴趣区域的投影，最终积累的特征图投影编码成固定长度的特征向量。
8.基于权利要求书6所述的空间关注度，其特征在于，三类环绕信息各有优劣，为了合并三类信息达到最优结果，利用三类信息各自的有点合并成一个空间关注度模型，用来提取深度卷积网络表征，具体为：
(1)兴趣信息和兴趣投影信息具有对图像最高的响应度，其中兴趣信息具有本身表征的能力，而兴趣投影信息则具有更高的上下文环绕信息的表征；
(2)全图信息由于含有不具备先验知识的环绕信息，当全图被输入深度卷积网络时，会产生大量的不明确的分类信息，因此在全局考虑中需要将其比重降至最低；
(3)关注度模型产生的最终表征不仅应该包含远离兴趣区域的信息，更要包含兴趣区域本身的信息，这是空间关注度的约束条件。
9.基于权利要求书6所述的计算模型，其特征在于，用关注度图谱初始化特征图Xl，对于此关注度图谱中所有K个通道中的元素p，其中Ap∈[0,1]，活跃度可以表征为：
其中Rl是特征图Xl中兴趣信息投影区域，M是显著性图谱；对于在特征图Xl中位置p∈Rl激活因子按照以下公式调整：
g(·)是一个单调函数，具体为：
g(a)＝λ1+λ2aφ (6)
其中，常量λ1设置为0.5，常量λ2设置为0.4，φ设置为4。
10.基于权利要求书1所述的带权重的区域卷积特征最大值，其特征在于，改变公式(3)中的区域卷积特征最大值均等贡献权重的做法，在对检索图像不存在先验知识的情况下，增加兴趣区域Rl的个数能确保更高的兴趣物体检索覆盖度，但同时会增加不相关区域的信息干扰，因此，根据公式(3)增加一个带权重的聚集综合表征：
其中，是区域信息的权重，由一种显著性映射方式取得，具体为：给定特征图，通过叠加不同的通道，则将其张量从三维Xl映射为二维M，即因此有：
ψ(Xl)＝M (8)
其中，最终的权重计算可由下得到：
<mrow> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>p</mi> <mo>&amp;Element;</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> </mrow> </munder> <msub> <mi>M</mi> <mi>p</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
此外，显著性映射还会进行最大值均一化操作，使得Mp∈[0,1]。
CN201710333971.1A 2017-05-12 2017-05-12 一种利用内容环绕信息提取图像表征的特定对象检索方法 Withdrawn CN107169090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710333971.1A CN107169090A (zh) 2017-05-12 2017-05-12 一种利用内容环绕信息提取图像表征的特定对象检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710333971.1A CN107169090A (zh) 2017-05-12 2017-05-12 一种利用内容环绕信息提取图像表征的特定对象检索方法

Publications (1)

Publication Number Publication Date
CN107169090A true CN107169090A (zh) 2017-09-15

Family

ID=59815552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710333971.1A Withdrawn CN107169090A (zh) 2017-05-12 2017-05-12 一种利用内容环绕信息提取图像表征的特定对象检索方法

Country Status (1)

Country Link
CN (1) CN107169090A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818575A (zh) * 2017-10-27 2018-03-20 深圳市唯特视科技有限公司 一种基于分层卷积的视觉对象跟踪方法
CN107993186A (zh) * 2017-12-14 2018-05-04 中国人民解放军国防科技大学 一种基于Winograd算法的3D CNN加速方法及系统
CN108038459A (zh) * 2017-12-20 2018-05-15 深圳先进技术研究院 一种水下生物的检测识别方法、终端设备及存储介质
CN110222220A (zh) * 2019-05-06 2019-09-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN112232343A (zh) * 2020-09-03 2021-01-15 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112840383A (zh) * 2018-10-24 2021-05-25 富士通先端科技株式会社 纸币检查装置、纸币检查方法及纸币检查程序
CN116433595A (zh) * 2023-03-06 2023-07-14 什维新智医疗科技(上海)有限公司 基于特征向量的结节最佳切面选择方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZAKARIA LASKAR等: "Context Aware Query Image Representation for Particular Object Retrieval", 《ARXIV（HTTPS://ARXIV.ORG/ABS/1703.001226V1）》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818575A (zh) * 2017-10-27 2018-03-20 深圳市唯特视科技有限公司 一种基于分层卷积的视觉对象跟踪方法
CN107993186A (zh) * 2017-12-14 2018-05-04 中国人民解放军国防科技大学 一种基于Winograd算法的3D CNN加速方法及系统
CN108038459A (zh) * 2017-12-20 2018-05-15 深圳先进技术研究院 一种水下生物的检测识别方法、终端设备及存储介质
CN112840383A (zh) * 2018-10-24 2021-05-25 富士通先端科技株式会社 纸币检查装置、纸币检查方法及纸币检查程序
CN112840383B (zh) * 2018-10-24 2024-03-08 富士通先端科技株式会社 纸币检查装置、纸币检查方法及纸币检查程序
CN110222220A (zh) * 2019-05-06 2019-09-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
WO2020224405A1 (zh) * 2019-05-06 2020-11-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
US11978241B2 (en) 2019-05-06 2024-05-07 Tencent Technology (Shenzhen) Company Ltd Image processing method and apparatus, computer-readable medium, and electronic device
CN110222220B (zh) * 2019-05-06 2024-05-10 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN112232343A (zh) * 2020-09-03 2021-01-15 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112232343B (zh) * 2020-09-03 2023-11-21 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN116433595A (zh) * 2023-03-06 2023-07-14 什维新智医疗科技(上海)有限公司 基于特征向量的结节最佳切面选择方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN107169090A (zh) 一种利用内容环绕信息提取图像表征的特定对象检索方法
Liu et al. Scene classification based on multiscale convolutional neural network
CN103824269B (zh) 人脸特效处理方法以及系统
CN101877007A (zh) 融合空间方位关系语义的遥感图像检索方法
Zhang et al. Data fusion and classifier ensemble techniques for vegetation mapping in the coastal Everglades
Grinciunaite et al. Human pose estimation in space and time using 3d cnn
Senatore et al. Detection and characterization of transport barriers in complex flows via ridge extraction of the finite time Lyapunov exponent field
Bai et al. HCANet: A hierarchical context aggregation network for semantic segmentation of high-resolution remote sensing images
CN107316004A (zh) 基于深度学习的空间目标识别方法
Wang et al. Urban perception of commercial activeness from satellite images and streetscapes
CN107767416A (zh) 一种低分辨率图像中行人朝向的识别方法
Liu et al. Scene semantic classification based on random-scale stretched convolutional neural network for high-spatial resolution remote sensing imagery
Yang et al. The Korean sign language dataset for action recognition
Chen et al. Engineering deep representations for modeling aesthetic perception
Zhou et al. Sampling-attention deep learning network with transfer learning for large-scale urban point cloud semantic segmentation
CN110503643A (zh) 一种基于多尺度快速场景检索的目标检测方法和装置
Presa Reyes et al. Multimedia data management for disaster situation awareness
Wang et al. Self-attention deep saliency network for fabric defect detection
Liu et al. GGRNet: Global graph reasoning network for salient object detection in optical remote sensing images
Mahajan et al. Effect of blurring on identification of aerial images using convolution neural networks
Paiz-Reyes et al. GIF image retrieval in cloud computing environment
Li et al. Partially occluded skeleton action recognition based on multi-stream fusion graph convolutional networks
Zhou et al. Motion balance ability detection based on video analysis in virtual reality environment
Tang et al. Research on the Network Map Service Technology of Remote Sensing Image Intelligent Conversion Based on Gan Model
Peng et al. Deepcamera: A unified framework for recognizing places-of-interest based on deep convnets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170915

WW01 Invention patent application withdrawn after publication