CN112884824A - 一种基于卷积网络多尺度特征融合的鞋印身高估计方法 - Google Patents
一种基于卷积网络多尺度特征融合的鞋印身高估计方法 Download PDFInfo
- Publication number
- CN112884824A CN112884824A CN202110267590.4A CN202110267590A CN112884824A CN 112884824 A CN112884824 A CN 112884824A CN 202110267590 A CN202110267590 A CN 202110267590A CN 112884824 A CN112884824 A CN 112884824A
- Authority
- CN
- China
- Prior art keywords
- image
- height
- shoe print
- network
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 3
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000011840 criminal investigation Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于卷积网络多尺度特征融合的鞋印身高估计方法，属于刑事侦查技术领域。技术方案：将鞋印旋转校正；将鞋印进行中心化处理；对异常数据进行处理；将鞋印数据增广；通过多尺度特征提取网络对图像进行处理；通过金字塔特征融合网络对图像进行处理；通过全局结构特征提取网络对图像进行处理；通过身高回归预测网络输出预测身高。有益效果：本发明使用多尺度特征提取网络提取出不同尺度的图像特征并通过金字塔特征融合网络进行多尺度特征融合，最大限度地保留了图像中深层的特征语义信息特征和浅层的空间信息特征；保证泛化能力的基础上有效地减小了误差，提高了身高估计的精确度。
Description
技术领域
本发明属于刑事侦查技术领域，尤其涉及一种基于卷积网络多尺度特征融合依据鞋印图像估计身高的方法。
背景技术
现有的身高估计方法主要有以下三种：
(1)基于人工测量的身高估计方法：通过人工测量的方式，记录鞋长，建立简单的线性数学模型估计身高。
(2)基于穿鞋足迹图像的身高分析方法：使用图像滤波操作去除穿鞋足迹图像中鞋底花纹的影响，对穿鞋足迹进行多层压力面提取，获得足迹形态特征：足长，建立足长与身高之间的数学模型：
身高＝足长×7，计算该足迹所有人的身高。
(3)基于CNN的赤足或穿袜足迹的身高判定方法：应用PCA算法将赤足灰度图像进行旋转矫正，通过阈值的像素分割确定足迹边缘四个关键点：足趾內缘突点，足趾外缘突点，足跟后缘突点，最长趾前缘突点，来确定足迹位置并将边缘噪声裁剪补零，将处理后的图像按男女分别分成五组，构建Alexnet网络构架的卷积神经网络，输入处理过的赤足或穿袜图像，输出身高预测区间。
目前上述现有技术中身高估计方法存在的问题分别如下：
(1)基于人工测量的身高估计方法：需要人工测量，耗费时间和人力，引起测量误差因素较多，测量误差较大，估计身高的数学模型过于简单，估计出的身高误差较大。
(2)基于穿鞋足迹图像的身高分析方法：只使用足长一个足迹形态特征，并且建立的足长与身高的数学模型过于简单，计算出的身高值误差较大。
(3)基于CNN的赤足或穿袜足迹的身高判定方法：在实际的应用中，在刑侦领域，正常情况下现场留下的是鞋印而非赤足或穿袜足迹，而且这种身高估计出的是身高区间，精确度不够高。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于卷积网络多尺度特征融合的鞋印身高估计方法，该方法能有效减少误差，提高了身高估计的精确度。
技术方案如下：
一种基于卷积网络多尺度特征融合的鞋印身高估计方法，步骤如下：
S1、将鞋印旋转校正；
S2、将鞋印进行中心化处理；
S3、对异常数据进行处理；
S4、将鞋印数据增广；
S5、通过多尺度特征提取网络对图像进行处理；
S6、通过金字塔特征融合网络对图像进行处理；
S7、通过全局结构特征提取网络对图像进行处理；
S8、通过身高回归预测网络输出预测身高。
进一步的，步骤S1具体步骤如下：
S1.1、将鞋印图像转为灰度图像，选取自适应阈值对图像进行二值化，获得关于鞋印的二值掩模；
S1.2、使用5×5大小的矩形结构元素对二值掩模进行形态学膨胀，得到最终的鞋印掩模；
S1.3、依据掩模确定鞋印的最小外接矩形；
S1.4、根据鞋印最小外接矩形将鞋印裁剪出来后将其上下对称分割，获取前脚掌区域和后脚掌区域；
S1.5、根据掩模分别计算前后脚掌区域的质心，再计算出前后脚掌质心的连线与竖直方向的夹角，根据该夹角并以鞋印最小外接矩形中心点为旋转点进行旋转校正。
进一步的，步骤S2具体步骤如下：将旋转校正后的鞋印图像，放入预先设定的像素值全为0的全黑图像中，且旋转校正后的鞋印图像的中心与全黑图像中心对齐，其中全黑图像的宽度和高度分别要大于等于数据集中所有原始图像宽度的最大值和高度的最大值。
进一步的，步骤S3具体步骤如下：
S3.1、将标记身高低于140cm与身高高于250cm的数据剔除；
S3.2、将最小外接矩形满足下列条件之一的鞋印及其标注数据作为异常处理：
(1)宽度小于设定阈值1或大于设定阈值2；
(2)高度小于设定阈值3或大于设定阈值4。
进一步的，步骤S4具体步骤如下：
对训练集中所有图像按如下方式进行增广，对于一幅图像I：
(1)读取图像I，以设定概率Pf进行随机的水平翻转，得到图像If，在实例中选取Pf＝0.5，pf∈[0,1]；
(2)对图像If，以设定概率Pe进行随机图像擦除，得到图像Ie，在实例中Pe＝0.5，pe∈[0,1]；具体随机擦除方式为在鞋印图像中随机选取一个面积为S，长宽比为R的矩形区域，并将该区域像素值置0；矩形面积S由对图像面积进行缩放得到，缩放因子在[0.02，0.03]区间中均匀选取，将缩放因子乘以图像面积作为矩形区域面积S；矩形长宽比R在区间[0.3，3.3]中均匀选取；矩形区域的位置由其中心点坐标(xc,yc)来确定，xc在区间[0，W]中均匀选取，yc在区间[0，H]中均匀选取，W和H分别为图像的宽和高；
(3)对图像Ie进行归一化，得到图像In，归一化公式如下：
其中，In是归一化后的图像，μ和σ是图像Ie的均值和标准差。
进一步的，步骤S5具体步骤如下：
所述多尺度特征提取网络包括：一个非降采样卷积模块NDConv、一个ReLU模块和四个降采样卷积模块conv_2、conv_3、conv_4、conv_5；ReLU模块和四个降采样卷积模块采用ResNet50的函数和组成结构；非降采样卷积模块NDConv由不包括最大池化层的卷积层残差块组成。提取出图像In经过conv_2，conv_3，conv_4，conv_5的输出特征[c2,c3,c4,c5]作为多尺度特征。
进一步的，步骤S6具体步骤如下：
所述金字塔特征融合网络包括，一个降维层、一个上采样层、一个卷积层和一个全局平均池化层。
首先由降维层对多尺度特征提取网络提取的多尺度特征进行降维，使用1×1的卷积核将[c2,c3,c4,c5]多尺度特征的通道数降维至256；
再自上而下地对最低空间分辨率特征c5进行2倍率上采样和c4进行相加，由卷积层对相加的特征使用3×3的卷积核得到输出特征p4；
依此类推，逐级向下，最终得到融合后的特征[p2,p3,p4,p5]；
融合后的多尺度特征经过全局平均池化，对不同尺度的特征在空间维度上进行池化聚合，每个尺度特征都池化成1×1×256的张量，将池化后的多尺度特征加权平均得到关于图像的多尺度特征表达P：
其中，αi为第i级加权系数，pi为第i级特征。
进一步的，步骤S7具体步骤如下：
所述全局结构特征提取网络由3个Hourglass模块串联而成，每个Hourglass模块由编码层和解码层构成，设输入图像特征维度为[b,c,h,w]，经过Hourglass模块的编码层卷积减小8倍空间分辨率得到特征维度为[b,c,h/8,w/8]的特征，再经过解码层进行上采样和卷积操作恢复原来的空间分辨率并且特征维度为[b,c,h/2,w/2]，同时在编码层和解码层之间通过一个跳跃连接，将编码输出和解码输出进行拼接融合送入下个模块。将图像In输入全局结构特征提取网络得到全局结构特征G。
进一步的，步骤S8具体步骤如下：
所述身高回归预测网络将多尺度提取网络提取的特征P与全局结构特征提取网络提取的特征G按通道进行特征拼接得到关于图像的最终表达F；再对图像特征F进行回归，回归预测网络由三层全连接层f1,f2,f3组成，每层的神经元个数分别为512、256、1，前两个全连接层f1和f2后面都接激活函数ReLU和dropout层，dropout随机失活的概率为0.5；特征F经过回归预测网络输出预测身高O，依据预测身高O与真值身高T计算smoothL1距离损失，smoothL1计算如下：
其中，Oi为第i个样本的预测身高，Ti为第i个样本的真实身高；在实例中，beta＝1；采用随机梯度下降算法对上述损失函数进行优化。
本发明的有益效果是：
本发明所述的基于卷积网络多尺度特征融合的鞋印身高估计方法使用多尺度特征提取网络提取出不同尺度的图像特征并通过金字塔特征融合网络进行多尺度特征融合，最大限度地保留了图像中深层的特征语义信息特征和浅层的空间信息特征；全局结构提取网络可以提取出的鞋印图像中鞋印长宽、大小、形状等全局结构信息；将多尺度特征与全局特征拼接后的鞋印特征包含了非常丰富的与身高相关的信息；从而在保证泛化能力的基础上有效地减小了误差，提高了身高估计的精确度。
附图说明
图1为本发明鞋印身高估计流程图；
图2为本发明多尺度特征提取网络组成结构图；
图3为本发明金字塔特征融合网络组成结构图；
图4为本发明全局特征提取网络组成结构图；
图5为本发明身高回归预测网络组成结构图。
具体实施方式
下面结合附图1-5对基于卷积网络多尺度特征融合的鞋印身高估计方法做进一步说明。
如附图1所示，基于卷积网络多尺度特征融合的身高估计方法，包含以下几个步骤：
1.鞋印旋转校正
将鞋印图像转为灰度图像，选取自适应阈值对图像进行二值化，获得关于鞋印的二值掩模。使用5×5大小的矩形结构元素对二值掩模进行形态学膨胀，得到最终的鞋印掩模。依据掩模确定鞋印的最小外接矩形。根据鞋印最小外接矩形将鞋印裁剪出来后将其上下对称分割，获取前脚掌区域和后脚掌区域，根据掩模分别计算前后脚掌区域的质心，再计算出前后脚掌质心的连线与竖直方向的夹角，根据该夹角并以鞋印最小外接矩形中心点为旋转点进行旋转校正。
2.鞋印中心化
将旋转校正后的鞋印图像，放入预先设定的像素值全为0的全黑图像中，且旋转校正后的鞋印图像的中心要与全黑图像中心对齐，其中全黑图像的宽度和高度分别要大于等于数据集中所有原始图像宽度的最大值和高度的最大值。
3.异常数据处理
1)将标记身高低于140cm与身高高于250cm的数据剔除；
2)将最小外接矩形满足下列条件之一的鞋印及其标注数据作为异常处理：
(1)宽度小于设定阈值1或大于设定阈值2；
(2)或者高度小于设定阈值3或大于设定阈值4。
实例中，阈值1、阈值2、阈值3和阈值4分别设为600像素、2100像素、2100像素、4200像素。
4.鞋印数据增广
对训练集中所有图像按如下方式进行增广，以其中一幅图像I为例进行说明：
1)读取图像I，以设定概率Pf进行随机的水平翻转，得到图像If。在实例中选取Pf＝0.5，pf∈[0,1]。
2)对图像If，以设定概率Pe进行随机图像擦除，得到图像Ie，在实例中Pe＝0.5，pe∈[0,1]。具体随机擦除方式为在鞋印图像中随机选取一个面积为S，长宽比为R的矩形区域，并将该区域像素值置0。矩形面积S由对图像面积进行缩放得到，缩放因子在[0.02，0.03]区间中均匀选取，将缩放因子乘以图像面积作为矩形区域面积S。矩形长宽比R在区间[0.3，3.3]中均匀选取。矩形区域的位置由其中心点坐标(xc,yc)来确定，xc在区间[0，W]中均匀选取，yc在区间[0，H]中均匀选取，W和H分别为图像的宽和高。
3)对图像Ie进行归一化，得到图像In，归一化公式如下：
其中，In是归一化后的图像，μ和σ是图像Ie的均值和标准差。
5.多尺度特征提取网络
如附图2所示，该网络在ResNet50的基础上改造而来，包括一个非降采样卷积模块NDConv、一个ReLU模块和四个降采样卷积模块(即conv_2、conv_3、conv_4、conv_5)组成。ReLU模块和四个降采样卷积模块(即conv_2、conv_3、conv_4、conv_5)采用ResNet50的函数和组成结构。与原ResNet50网络不同之处在于：非降采样卷积模块NDConv由卷积层残差块组成，但不包括最大池化层(maxpooling)，保持特征的空间维度，避免过早的进行下采样。
提取图像In经过conv_2，conv_3，conv_4，conv_5的输出特征[c2,c3,c4,c5]作为多尺度特征。
6.金字塔特征融合网络
如附图3所示，该网络采用特征金字塔结构，由一个降维层，一个上采样层，一个卷积层和一个全局平均池化层组成。首先由降维层对多尺度特征提取网络提取的多尺度特征进行降维，使用1×1的卷积核将[c2,c3,c4,c5]多尺度特征的通道数降维至256。再自上而下地对最低空间分辨率特征c5进行2倍率上采样和c4进行相加，由卷积层对相加的特征使用3×3卷积得到输出特征p4，依此类推，逐级向下，最终得到融合后的特征[p2,p3,p4,p5]。融合后的多尺度特征经过全局平均池化，对不同尺度的特征在空间维度上进行池化聚合，每个尺度特征都池化成1×1×256的张量，将池化后的多尺度特征加权平均得到关于图像的多尺度特征表达P。
其中，αi为第i级加权系数，pi为第i级特征。
7.全局结构特征提取网络
如附图4所示，该网络由3个Hourglass模块串联而成，每个Hourglass模块由编码层和解码层构成，输入图像经过该模块后始终保持其高分辨率特性，其能有效的提取和保留图像的全局结构信息。设输入图像特征维度为[b,c,h,w]，经过Hourglass模块的编码层卷积减小8倍空间分辨率得到特征维度为[b,c,h/8,w/8]的特征，再经过解码层进行上采样和卷积操作恢复原来的空间分辨率并且特征维度为[b,c,h/2,w/2]，同时在编码层和解码层之间通过一个跳跃连接，将编码输出和解码输出进行拼接融合送入下个模块。将图像In输入全局结构特征提取网络得到全局结构特征G。
8.身高回归预测网络
如附图5所示，该部分将多尺度提取网络提取的特征P与全局结构特征提取网络提取的特征G按通道进行特征拼接得到关于图像的最终表达F。在对图像特征F进行回归，回归预测网络由三层全连接层f1,f2,f3组成，每层的神经元个数分别为512、256、1，前两个全连接层f1和f2后面都接激活函数ReLU和dropout层，dropout随机失活的概率为0.5。特征F经过回归预测网络输出预测身高O，依据预测身高O与真值身高T计算smoothL1距离损失，smoothL1计算如下：
其中，Oi为第i个样本的预测身高，Ti为第i个样本的真实身高。在实例中beta＝1，beta∈[0,1]。
采用随机梯度下降算法(SGD)对上述损失函数进行优化。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤如下：
S1、将鞋印旋转校正；
S2、将鞋印进行中心化处理；
S3、对异常数据进行处理；
S4、将鞋印数据增广；
S5、通过多尺度特征提取网络对图像进行处理；
S6、通过金字塔特征融合网络对图像进行处理；
S7、通过全局结构特征提取网络对图像进行处理；
S8、通过身高回归预测网络输出预测身高。
2.如权利要求1所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S1具体步骤如下：
S1.1、将鞋印图像转为灰度图像，选取自适应阈值对图像进行二值化，获得关于鞋印的二值掩模；
S1.2、使用5×5大小的矩形结构元素对二值掩模进行形态学膨胀，得到最终的鞋印掩模；
S1.3、依据掩模确定鞋印的最小外接矩形；
S1.4、根据鞋印最小外接矩形将鞋印裁剪出来后将其上下对称分割，获取前脚掌区域和后脚掌区域；
S1.5、根据掩模分别计算前后脚掌区域的质心，再计算出前后脚掌质心的连线与竖直方向的夹角，根据该夹角并以鞋印最小外接矩形中心点为旋转点进行旋转校正。
3.如权利要求1所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S2具体步骤如下：将旋转校正后的鞋印图像，放入预先设定的像素值全为0的全黑图像中，且旋转校正后的鞋印图像的中心与全黑图像中心对齐，其中全黑图像的宽度和高度分别要大于等于数据集中所有原始图像宽度的最大值和高度的最大值。
4.如权利要求1所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S3具体步骤如下：
S3.1、将标记身高低于140cm与身高高于250cm的数据剔除；
S3.2、将最小外接矩形满足下列条件之一的鞋印及其标注数据作为异常处理：
(1)宽度小于设定阈值1或大于设定阈值2；
(2)高度小于设定阈值3或大于设定阈值4。
5.如权利要求1所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S4具体步骤如下：
对训练集中所有图像按如下方式进行增广，对于一幅图像I：
(1)读取图像I，以设定概率Pf进行随机的水平翻转，得到图像If，在实例中选取Pf＝0.5，pf∈[0,1]；
(2)对图像If，以设定概率Pe进行随机图像擦除，得到图像Ie，在实例中Pe＝0.5，pe∈[0,1]；具体随机擦除方式为在鞋印图像中随机选取一个面积为S，长宽比为R的矩形区域，并将该区域像素值置0；矩形面积S由对图像面积进行缩放得到，缩放因子在[0.02，0.03]区间中均匀选取，将缩放因子乘以图像面积作为矩形区域面积S；矩形长宽比R在区间[0.3，3.3]中均匀选取；矩形区域的位置由其中心点坐标(xc,yc)来确定，xc在区间[0，W]中均匀选取，yc在区间[0，H]中均匀选取，W和H分别为图像的宽和高；
(3)对图像Ie进行归一化，得到图像In，归一化公式如下：
其中，In是归一化后的图像，μ和σ是图像Ie的均值和标准差。
6.如权利要求1所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S5具体步骤如下：
所述多尺度特征提取网络包括：一个非降采样卷积模块NDConv、一个ReLU模块和四个降采样卷积模块conv_2、conv_3、conv_4、conv_5；ReLU模块和四个降采样卷积模块采用ResNet50的函数和组成结构；非降采样卷积模块NDConv由不包括最大池化层的卷积层残差块组成。将图像In经过conv_2，conv_3，conv_4，conv_5的输出特征[c2,c3,c4,c5]作为多尺度特征。
7.如权利要求6所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S6具体步骤如下：
所述金字塔特征融合网络，由一个降维层、一个上采样层、一个卷积层和一个全局平均池化层组成。
首先由降维层对多尺度特征提取网络提取的多尺度特征进行降维，使用1×1的卷积核将[c2,c3,c4,c5]多尺度特征的通道数降维至256；
再自上而下地对最低空间分辨率特征c5进行2倍率上采样和c4进行相加，由卷积层对相加的特征使用3×3的卷积核得到输出特征p4；
依此类推，逐级向下，最终得到融合后的特征[p2,p3,p4,p5]；
融合后的多尺度特征经过全局平均池化，对不同尺度的特征在空间维度上进行池化聚合，每个尺度特征都池化成1×1×256的张量，将池化后的多尺度特征加权平均得到关于图像的多尺度特征表达P：
其中，αi为第i级加权系数，pi为第i级特征。
8.如权利要求7所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S7具体步骤如下：
所述全局结构特征提取网络由3个Hourglass模块串联而成，每个Hourglass模块由编码层和解码层构成，设输入图像特征维度为[b,c,h,w]，经过Hourglass模块的编码层卷积减小8倍空间分辨率得到特征维度为[b,c,h/8,w/8]的特征，再经过解码层进行上采样和卷积操作恢复原来的空间分辨率并且特征维度为[b,c,h/2,w/2]，同时在编码层和解码层之间通过一个跳跃连接，将编码输出和解码输出进行拼接融合送入下个模块。将图像In输入全局结构特征提取网络得到全局结构特征G。
9.如权利要求8所述的基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤S8具体步骤如下：
所述身高回归预测网络将多尺度提取网络提取的特征P与全局结构特征提取网络提取的特征G按通道进行特征拼接得到关于图像的最终表达F；再对图像特征F进行回归，回归预测网络由三层全连接层f1,f2,f3组成，每层的神经元个数分别为512、256、1，前两个全连接层f1和f2后面都接激活函数ReLU和dropout层，dropout随机失活的概率为0.5；特征F经过回归预测网络输出预测身高O，依据预测身高O与真值身高T计算smoothL1距离损失，smoothL1计算如下：
其中，Oi为第i个样本的预测身高，Ti为第i个样本的真实身高；在实例中，beta＝1，beta∈[0,1]；采用随机梯度下降算法对上述损失函数进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267590.4A CN112884824B (zh) | 2021-03-12 | 2021-03-12 | 一种基于卷积网络多尺度特征融合的鞋印身高估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267590.4A CN112884824B (zh) | 2021-03-12 | 2021-03-12 | 一种基于卷积网络多尺度特征融合的鞋印身高估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884824A true CN112884824A (zh) | 2021-06-01 |
| CN112884824B CN112884824B (zh) | 2024-07-12 |
Family
ID=76042478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110267590.4A Active CN112884824B (zh) | 2021-03-12 | 2021-03-12 | 一种基于卷积网络多尺度特征融合的鞋印身高估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884824B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723427A (zh) * | 2021-07-29 | 2021-11-30 | 辽宁师范大学 | 一种基于鞋印的行人性别预测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109567313A (zh) * | 2017-09-29 | 2019-04-05 | 大连恒锐科技股份有限公司 | 一种具有生物特征识别功能的智能鞋垫 |
| CN110705516A (zh) * | 2019-10-18 | 2020-01-17 | 大连海事大学 | 一种基于协同网络结构的鞋底花纹图像聚类方法 |
| CN110751200A (zh) * | 2019-10-15 | 2020-02-04 | 辽宁师范大学 | 一种基于多元高斯的鞋印身高估计方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
| US20200348132A1 (en) * | 2019-05-02 | 2020-11-05 | Corelogic Solutions, Llc | System, computer program product and method for using a convolution neural network to auto-determine a floor height and floor height elevation of a building |
| CN112396645A (zh) * | 2020-11-06 | 2021-02-23 | 华中科技大学 | 一种基于卷积残差学习的单目图像深度估计方法和系统 |
| CN112437926A (zh) * | 2019-06-18 | 2021-03-02 | 神经技术Uab公司 | 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 |
-
2021
- 2021-03-12 CN CN202110267590.4A patent/CN112884824B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109567313A (zh) * | 2017-09-29 | 2019-04-05 | 大连恒锐科技股份有限公司 | 一种具有生物特征识别功能的智能鞋垫 |
| US20200348132A1 (en) * | 2019-05-02 | 2020-11-05 | Corelogic Solutions, Llc | System, computer program product and method for using a convolution neural network to auto-determine a floor height and floor height elevation of a building |
| CN112437926A (zh) * | 2019-06-18 | 2021-03-02 | 神经技术Uab公司 | 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 |
| CN110751200A (zh) * | 2019-10-15 | 2020-02-04 | 辽宁师范大学 | 一种基于多元高斯的鞋印身高估计方法 |
| CN110705516A (zh) * | 2019-10-18 | 2020-01-17 | 大连海事大学 | 一种基于协同网络结构的鞋底花纹图像聚类方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
| CN112396645A (zh) * | 2020-11-06 | 2021-02-23 | 华中科技大学 | 一种基于卷积残差学习的单目图像深度估计方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王年;樊旭晨;张玉明;鲁玺龙;陈峰;: "基于足迹图像的FtH-Net预测身高方法", 华南理工大学学报(自然科学版), no. 06 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723427A (zh) * | 2021-07-29 | 2021-11-30 | 辽宁师范大学 | 一种基于鞋印的行人性别预测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884824B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
| CN110310292B (zh) | 一种手腕部参照骨分割方法 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN110781901B (zh) | 基于bp神经网络预测阈值的仪表重影字符识别方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN114022770A (zh) | 基于改进自注意力机制与迁移学习的山体裂缝检测方法 | |
| CN111553873B (zh) | 基于多尺度卷积神经网络的脑神经元自动检测方法 | |
| CN114581388A (zh) | 接触网零部件缺陷检测方法及装置 | |
| CN113379833B (zh) | 一种基于神经网络的图像可见水印的定位和分割方法 | |
| CN114841319A (zh) | 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN112560831A (zh) | 一种基于多尺度空间校正的行人属性识别方法 | |
| CN111340047A (zh) | 基于多尺度特征与前背景对比的图像语义分割方法及系统 | |
| CN104637045A (zh) | 一种基于超级像素层次特征的图像像素标号方法 | |
| CN113034514A (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN113436220A (zh) | 一种基于深度图分割的图像背景估计方法 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN112884824A (zh) | 一种基于卷积网络多尺度特征融合的鞋印身高估计方法 | |
| CN114612399A (zh) | 一种用于手机外观标记的图片识别系统及方法 | |
| CN110826554B (zh) | 一种红外目标检测方法 | |
| CN110751200B (zh) | 一种基于多元高斯的鞋印身高估计方法 | |
| CN117634556A (zh) | 一种基于水面数据的语义分割神经网络的训练方法及装置 | |
| CN115457023A (zh) | 基于图卷积的视网膜血管轮廓及高不确定度区域的图像细化分割方法 | |
| CN114596433A (zh) | 一种绝缘子识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |