CN113252666A - 能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法 - Google Patents

Abstract

本发明公开了一种能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法，其足迹采集仪包括足迹采集仪本体，所述足迹采集仪本体的踩踏平台两侧设有鞋面拍摄装置，两侧的鞋面拍摄装置交错设置，所述鞋面拍摄装置的拍摄视场完全覆盖采集区域。本申请结构简单，容易实现，填补了一次性采集鞋前后左右4个面图像信息的空白，替代人工单一建立鞋样本库方案，为刑侦人员提供了更多地破案信息。该足迹采集仪本体还能采集赤足足迹图像信息，用于反映赤足压力面特征。且能够自动获取每个相机最清晰的图像做为最终的数据。

Description

能够同时采集多角度鞋面图像的足迹采集仪及其图像处理 方法

技术领域

本发明涉及鞋样或足迹数据采集技术领域，具体涉及一种能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法。

背景技术

现有技术中鞋样数据的采集都是通过人工拍照，图片建档方式，通常情况下对拍照质量有相当高的要求，然后再收集高质量照片进行建库，该种方式导致鞋样库的建设耗费巨大，建设速度极其缓慢，以致库内的鞋印花纹覆盖率极低，无法满足大量鞋样新增速度的同时，更无法满足信息化处理的要求。

发明内容

针对现有技术存在的上述问题，本发明提供一种能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法，其能够快速实现鞋样的多角度采集，为鞋样建库和应用奠定数据基础。

为实现上述目的，本申请的技术方案为：一种能够同时采集多角度鞋面图像的足迹采集仪，包括足迹采集仪本体，所述足迹采集仪本体的踩踏平台两侧设有鞋面拍摄装置，两侧的鞋面拍摄装置交错设置，所述鞋面拍摄装置的拍摄视场完全覆盖采集区域。

进一步的，在鞋面拍摄装置前设有光学玻璃，所述光学玻璃固定于足迹采集仪本体的外壳侧立面，鞋面拍摄装置透过该光学玻璃拍摄到鞋面信息。

进一步的，每侧的鞋面拍摄装置均包括两个拍摄相机，位于足迹采集仪本体对角线的拍摄相机倾斜设置。

进一步的，所述拍摄相机通过USB hub与控制板连接，所述控制板还分别与外部终端、足迹采集仪本体的鞋底花纹拍摄装置、散射光源相连。

本发明还提供一种图像处理方法，其是针对上述足迹采集仪获取的图像，具体包括：

制备训练数据集T，T＝{Tpos，Tneg}，Tpos为正样本，Tneg为负样本，所述正样本为清晰拍照图像，所述负样本为因运动形变、拍摄反光、聚焦原因产生模糊图像；

对所述正样本、负样本分别进行特征提取；

整合提取后的所有特征，每个子特征按列向量化后，分别与其对应的权重参数按元素相乘，拼接成长向量，即为图像的最终特征描述。

进一步的，对所述正样本、负样本分别进行特征提取，具体为：

获取基于LAB空间的直方图统计特征F₁；

获取基于灰度共生矩阵的特征F₂＝[F_2E,F_2C,F_2F,F_2I,F_2M,F_2D]，其中F_2E为水平能量、F_2C为水平对比度、F_2F为水平纹理熵、F_2I为水平内部相关性、F_2M为水平最大概率、F_2D为水平倒数差分矩；

获取基于小波多尺度的特征F₃；

获取基于频域的特征F₄。

进一步的，所述灰度共生矩阵为：

G(i,j|d,θ)＝{(x,y)|f(x,y)}＝i,f(x+dx,y+dy)＝j；x,y

＝0,1,2,…,k-1

G(i,j|d,θ)表示距离灰度值为i像素点(x,y)和灰度值为j另一个像素点(dx,dy)的概率或统计值；d为用像素数量表示的相对距离；θ为邻域方向；k＝256，为8位深度图像素灰度级。

进一步的，所述水平能量

该公式计算了水平方向的像素均匀程度，从而反映了图像亮度的均匀程度；所述水平对比度

其反应图像水平纹理清晰度；所述水平纹理熵

熵度量包含了图像内容的水平复杂程度；内部相关性

其中

其描述了图像整体纹理均匀程度；将F_{2I_}与u_i，u_j，

四个量均作为特征一部分，即

为内部相关性特征；水平最大概率

其描述水平纹理最显著的变化规律；倒数差分矩特征

其反映了行纹理清晰程度和规则程度。

更进一步的，将训练集T做特征提取及特征整合后，形成训练的特征集T_f＝{T_{f_pos}，T_{f_neg}}，T_{f_pos}为正样本特征集合，T_{f_neg}为负样本特征集合；利用分类方法支撑向量机(Support Vector Machine)训练集合T_f，生成分类的计算矩阵SV_W和SV_b。

更进一步的，应用时输入从足迹采集仪获取的图像集合C＝{{c₁₁,c₁₂,…,c_1n},{c₂₁,c₂₂,…,c_1n},…,{c_m1,c_m2,…,c_mn}}，m为相机数量，n为每个相机拍照数，找出每个相机拍摄最优集合D＝{c_1p,c_2q,c_3r,…,c_ms},其中(p,q,r,s)∈[1,n]，具体实现过程为：

整合每个拍摄相机的每张图像特征，形成特征集合C_F_C＝{{Fc₁₁,Fc₁₂,…,Fc_1n},{Fc₂₁,Fc₂₂,…,Fc_1n},…,{Fc_m1,Fc_m2,…,Fc_mn}}，其中Fc_ij表示图片c_ij的特征；

通过计算矩阵SV_W和SV_b获取特征距离，Dist(c_ij)＝Fc_ijSV_W+SV_b；Dist(c_ij)表示图片c_ij经过特征提取，生成特征向量Fc_ij，再经过上式得到与支撑平面的距离，是一个实数。

获取特征集合C_F_C中，每个拍摄相机最优的一张图片；

得到输出的效果最优的照片集合D＝{c_1p,c_2q,c_3r,…,c_ms},其中(p,q,r,s)∈[1,n]。

本发明由于采用以上技术方案，能够取得如下的技术效果：本申请结构简单，容易实现，填补了一次性采集鞋前后左右4个面图像信息的空白，替代人工单一建立鞋样本库方案，为刑侦人员提供了更多地破案信息。其足迹采集仪本体还能采集赤足足迹图像信息。且能够自动获取每个相机最清晰的图像做为最终的数据。

附图说明

图1为一种能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法外观图；

图2为一种能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法内部结构图；

图3为正样本、负样本空间直方图；

图4为正样本、负样本的水平能量、水平对比度、水平纹理熵、水平内部相关性、水平最大概率、水平倒数差分矩分布图；

图5为正样本、负样本三级小波平均能量对比图；

图6为正样本、负样本频域特征对比图；

图中序号说明：C1.拍摄相机，C2.拍摄支架，C3.足迹采集仪本体，C4.踩踏平台，C5.足迹采集仪本体的外壳，C6.USB hub，C7.固定架，C8.控制板，C9.故障显示屏，C10.固定板，C11.光学玻璃。

具体实施方式

本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

实施例1

如图1-2所示，本实施例提供一种能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法，包括用于采集鞋底花纹的足迹采集仪本体，该足迹采集仪本体还能采集赤足足迹图像信息，用于反映赤足压力面特征，其具体工作原理在已公开的专利号为CN200720013780.9文件中已表述；足迹采集仪本体的踩踏平台两侧设有鞋面拍摄装置可以采集鞋面前后左右图像信息，所述鞋面拍摄装置的拍摄视场完全覆盖采集区域，该采集区域指的是踩踏平台上放置鞋子区域；两侧的鞋面拍摄装置交错设置，每侧的鞋面拍摄装置均包括两个拍摄相机，采集图像的清晰度要达到1080P，其镜头视场角大于100度。优先的，位于足迹采集仪本体对角线的拍摄相机倾斜设置。

所述鞋面拍摄装置安装在对应的拍摄支架上，所述拍摄支架通过固定铝合金角和螺丝固定于足迹采集仪本体的内部框架上。

所述拍摄相机通过USB hub与控制板连接，所述控制板还分别与外部终端、足迹采集仪本体的鞋底花纹拍摄装置、散射光源相连。所述控制板具备电源管理、通信传输、IO控制等功能，其将采集到的图像信息传输给外部终端，如电脑。控制板通过螺丝固定于足迹采集仪本体的内部框架上。

作为优选的，USB hub是一个数据传输中介，所述拍摄相机通过USB 2.0数据线与USB hub连接，所述USB hub通过USB 3.0数据线与控制板连接，所述控制板通过USB3.0数据线分别与外部终端、足迹采集仪本体的鞋底花纹拍摄装置相连，其数据传输速度快，进而加快拍照抓取速度，提高拍照效果；控制板还通过导线与散射光源相连。外部供电电源也通过导线和控制板相连。

通过数据线与控制板相连的故障显示屏，可显示设备出现的各种故障，如散射光源、控制板、鞋底花纹拍摄装置、外部数据线连接不当等。其通过固定板安装在足迹采集仪本体的外壳顶部。

所述光学玻璃通过固定块和螺丝固定于足迹采集仪本体的外壳侧立面，起到封闭设备和透光的作用，鞋面拍摄装置透过该光学玻璃拍摄到鞋面信息。

使用时将4台拍摄相机，用螺丝固定于拍摄支架上，再调整角度，使拍摄视场将足迹采集仪本体的采集区域全部覆盖。然后将USB hub通过固定架固定于内部框架上，再用数据线将4台拍摄相机连接到USB hub上，USB hub通过数据线与控制板连接，控制板通过数据线和终端相连接。

当足迹采集仪本体采集到鞋底花纹时，立刻触发拍摄相机对鞋面图像信息进行采集，控制板自动保存四张清晰的图像做为最终数据发送至终端；这样在采集鞋底花纹的同时，也采集到了鞋面信息，方便刑侦技术人员进行分析。

实施例2

如图3-6所示，本实施例提供一种图像处理方法，其是针对实施例1所述足迹采集仪获取的图像，具体包括：

S1，制备训练数据集T，T＝{Tpos，Tneg}，Tpos为正样本，Tneg为负样本，所述正样本为清晰拍照图像，所述负样本为因运动形变、拍摄反光、聚焦原因产生模糊图像；本实施例使用正负样本分别为1469枚，1434枚。

S2，对所述正样本、负样本分别进行特征提取；

S2.1获取基于LAB空间的直方图统计特征F₁；由于相机拍摄图像为彩色，且固定了光圈、焦距等参数。因此不同清晰度的图像在LAB空间中，A和B的分量区分度比较明显。通过统计正负样本的直方图以后发现差异较大，可作为比特征。

具体的，利用LAB空间颜色特征的AB统计分量描述作为清晰度判定的特征之一，考虑到实际应用时几个同型号相机同时拍照的亮度影响可以忽略，成像质量仅仅与颜色空间有关，因此没有采用RGB或ARGB的颜色空间做特征。

S2.2获取基于灰度共生矩阵的特征F₂＝[F_2E,F_2C,F_2F,F_2I,F_2M,F_2D]，其灰度共生矩阵特征有：(水平F_2E、垂直、对角)能量，(水平F_2C、垂直、对角)对比度，纹理熵F_2F，内部相关性F_2I，最大概率F_2M、倒数差分矩F_2D。依据水平几个特征的统计量来看，结果区分性较大的有F_2E,F_2C,F_2F,F_2I,F_2M,F_2D。

所述灰度共生矩阵为：

G(i,j|d,θ)＝{(x,y)|f(x,y)}＝i,f(x+dx,y+dy)＝j；x,y

＝0,1,2,…,k-1

其表示距离灰度值为i像素点(x,y)和灰度值为j另一个像素点(dx,dy)的概率或统计值。d为用像素数量表示的相对距离。θ一般考虑四个邻域方向0°，90°，180°，270°；k＝256，为8位深度图像素灰度级。

在此定义水平能量

该公式计算了水平方向的像素均匀程度，从而反映了图像亮度的均匀程度。该公式与全局的能量计算差异为F_2E只关注水平方向的亮度均匀情况，而不关注垂直或全局的均匀度，这是由于硬件构造决定，垂直方向和全局的能量因硬件结构，对是否清晰的判定区分能力不强。

水平对比度，

图像的水平纹理越清晰，对比度也越大，效果越好。这里未采用传统的全局对比度，在水平对比度计算上，使用了行对比度作为特征，充分考虑采集拍照的宽度大于高度的特性而设计的。

水平纹理熵

熵度量包含了图像内容的水平复杂程度。当拍照表现出越大随机性，熵值越大。同理在此只计算水平纹理熵。

内部相关性算子

其中

内部相关性描述了图像整体的纹理均匀程度。在此内部相关性越高，表示拍照的前后背景区分越明显，即证明拍摄效果越好。这里将F_{2I_}与u_i，u_j，

四个量均作为特征的一部分，经过以上计算定义

为内部相关性特征。通过内部相关性描述，增加了拍照前后背景的衡量方式。

水平最大概率

水平最大概率描述水平纹理最显著的变化规律。矩阵G中每行的最大特征值越大表示规律越明显。从而可以侧面反映拍照时鞋面从上到下不同区域的清晰程度是否一致。

倒数差分矩特征

反映了行纹理清晰程度和规则程度。纹理清晰、规律性较强、易于描述的，特征中对应的每个值较大。拍照时，鞋面拍摄整体前景清晰度一致，则特征中每个值越大。

S2.3获取基于小波多尺度的特征F₃；多级小波分解既可以描述图像低频主体部分，又可以描述不同方向的高频信息特征，采用了三级db3小波分解。并统计每层的能量签名作为特征，最终选用第三级分解的水平和垂直特征。

具体的，采用三级小波分解参数，抑制了鞋样主体(低频部分)纹理干扰和图形边界干扰，凸显异常噪点信息。不仅反映出拍摄质量，还可反映不同相机拍摄质量，可反馈相机或镜头等信息。

S2.4获取基于频域的特征F₄。本实施例统计了基于快速傅里叶变换FFT下的能量谱和相位谱。通常情况下，清晰图整体图像分布均匀，而低清图像局部分块间的图像能量谱分布不均，因此选取能量谱作为区分特征之一。

具体的，基于FFT的频域特征作为S2.3的频域特征补充，主要反映拍照图像的整体均匀程度。与S2.3形成优势互补，低频和高频信息共同作用评测拍照质量。

S3，整合提取后的所有特征F＝[αF₁,βF₂,γF₃,δF₄]，每个子特征按列向量化后，分别与其对应的权重参数(α、β、γ、δ)按元素相乘，拼接成长向量，即为图像的最终特征描述。权重参数描述了各个特征向量的重要程度，可以设定α＝1.4、β＝0.8、γ＝0.6、δ＝1.2。

经过实验，不同特征对照片质量的影响程度进行阈值的权重叠加调整，使特征更加适应步骤S4，不同质量的照片可区分距离达到最大。

S4，将训练集T做S2-S3特征提取步骤，形成训练的特征集T_f＝{T_{f_pos}，T_{f_neg}}，T_{f_pos}为正样本特征集合，T_{f_neg}为负样本特征集合。

S5，利用分类方法支撑向量机(Support Vector Machine)训练集合T_f，生成分类的计算矩阵SV_W和SV_b。此时训练完成，保留。

S6，应用时输入从足迹采集仪获取的图像集合C＝{{c₁₁,c₁₂,…,c_1n},{c₂₁,c₂₂,…,c_1n},…,{c_m1,c_m2,…,c_mn}}，m为相机数量，n为每个相机拍照数，找出每个相机拍摄最优集合D＝{c_1p,c_2q,c_3r,…,c_ms},其中(p,q,r,s)∈[1,n]时，按以下步骤进行：S6.1按步骤S3获取每个拍摄相机的每张图像特征，形成特征集合C_F_C＝{{Fc₁₁,Fc₁₂,…,Fc_1n},{Fc₂₁,Fc₂₂,…,Fc_1n},…,{Fc_m1,Fc_m2,…,Fc_mn}}，其中Fc_ij表示图片c_ij的特征。

S6.2利用S5计算得到的SV_W和SV_b获取特征距离，Dist(c_ij)＝Fc_ijSV_W+SV_b。Dist(c_ij)表示图片c_ij经过特征提取，生成特征向量Fc_ij，再经过上式计算得到与支撑平面的距离，是一个实数。S6.3获取特征集合C_F_C中，每个相机拍摄最优的一张图片。

p,q,r,…,s＝{

argmax({Dist(c₁₁),Dist(c₁₂),…,Dist(c_1p),…,Dist(c_1n)),

argmax({Dist(c₂₁),Dist(c₂₂),…,Dist(c_2q),…,Dist(c_2n)),

argmax({Dist(c₃₁),Dist(c₃₂),…,Dist(c_3r),…,Dist(c_3n)),

…，

argmax({Dist(c_m1),Dist(c_m2),…,Dist(c_ms),…,Dist(c_mn))},(p,q,r,…,s∈[1,n])。这里argmax表示Dist最大值。

S6.4根据p,q,r,…,s得到输出的效果最优的照片集合D＝{c_1p,c_2q,c_3r,…,c_ms},其中(p,q,r,s)∈[1,n]。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种能够同时采集多角度鞋面图像的足迹采集仪，其特征在于，包括足迹采集仪本体，所述足迹采集仪本体的踩踏平台两侧设有鞋面拍摄装置，两侧的鞋面拍摄装置交错设置，所述鞋面拍摄装置的拍摄视场完全覆盖采集区域。

2.根据权利要求1所述一种能够同时采集多角度鞋面图像的足迹采集仪，其特征在于，在鞋面拍摄装置前设有光学玻璃，所述光学玻璃固定于足迹采集仪本体的外壳侧立面，鞋面拍摄装置透过该光学玻璃拍摄到鞋面信息。

3.根据权利要求1所述一种能够同时采集多角度鞋面图像的足迹采集仪，其特征在于，每侧的鞋面拍摄装置均包括两个拍摄相机，位于足迹采集仪本体对角线的拍摄相机倾斜设置。

4.根据权利要求1所述一种能够同时采集多角度鞋面图像的足迹采集仪，其特征在于，所述拍摄相机通过USB hub与控制板连接，所述控制板还分别与外部终端、足迹采集仪本体的鞋底花纹拍摄装置、散射光源相连。

5.一种图像处理方法，其特征在于，是针对权利要求1-4任一项所述足迹采集仪获取的图像，具体包括：

制备训练数据集T，T＝{Tpos，Tneg}，Tpos为正样本，Tneg为负样本，所述正样本为清晰图像，所述负样本为模糊图像；

对所述正样本、负样本分别进行特征提取；

整合提取后的所有特征，每个子特征按列向量化后，分别与其对应的权重参数按元素相乘，拼接成长向量，即为图像的最终特征描述。

6.根据权利要求5所述一种图像处理方法，其特征在于，对所述正样本、负样本分别进行特征提取，具体为：

获取基于LAB空间的直方图统计特征F₁；

获取基于灰度共生矩阵的特征F₂＝[F_2E，F_2C，F_2F，F_2I，F_2M，F_2D]，其中F_2E为水平能量、F_2C为水平对比度、F_2F为水平纹理熵、F_2I为水平内部相关性、F_2M为水平最大概率、F_2D为水平倒数差分矩；

获取基于小波多尺度的特征F₃；

获取基于频域的特征F₄。

7.根据权利要求6所述一种图像处理方法，其特征在于，所述灰度共生矩阵为：

G(i，j|d，θ)＝{(x，y)|f(x，y)}＝i，f(x+dx，y+dy)＝j；x，y

＝0，1，2，...，k-1

G(i，j|d，θ)表示距离灰度值为i像素点(x，y)和灰度值为j另一个像素点(dx，dy)的概率或统计值；d为用像素数量表示的相对距离；θ为邻域方向；k＝256，为8位深度图像素灰度级。

8.根据权利要求6所述一种图像处理方法，其特征在于，所述水平能量

其计算了水平方向的像素均匀程度，从而反映了图像亮度的均匀程度；所述水平对比度

其反应图像水平纹理清晰度；所述水平纹理熵

熵度量包含了图像内容的水平复杂程度；内部相关性

其中

其描述了图像整体纹理均匀程度；将F_{2I_}与u_i，u_j，

四个量均作为特征一部分，即

为内部相关性特征；水平最大概率

其描述水平纹理最显著的变化规律；倒数差分矩特征

其反映了行纹理清晰程度和规则程度。

9.根据权利要求5所述一种图像处理方法，其特征在于，将训练集T做特征提取及特征整合后，形成训练的特征集T_f＝{T_{f_pos}，T_{f_neg}}，T_{f_pos}为正样本特征集合，T_{f_neg}为负样本特征集合；利用分类方法支撑向量机(Support Vector Machine)训练集合T_f，生成分类的计算矩阵SV_w和SV_b。

10.根据权利要求5所述一种图像处理方法，其特征在于，应用时输入从足迹采集仪获取的图像集合C＝{{c₁₁，c₁₂，…，c_1n}，{c₂₁，c₂₂，…，c_1n}，…，{c_m1，c_m2，…，c_mn}}，m为相机数量，n为每个相机拍照数，找出每个相机拍摄最优集合D＝{c_1p，c_2q，c_3r，…，c_ms}，其中(p，q，r，s)∈[1，n]，具体实现过程为：

整合每个拍摄相机的每张图像特征，形成特征集合C_F_C＝{{Fc₁₁，Fc₁₂，…，Fc_1n}，{Fc₂₁，Fc₂₂，…，Fc_1n}，…，{Fc_m1，Fc_m2，…，Fc_mn}}，其中Fc_ij表示图片c_ij的特征；

通过计算矩阵SV_w和SV_b获取特征距离，Dist(c_ij)＝Fc_ijSV_W+SV_b；Dist(c_ij)表示图片c_ij经过特征提取，生成特征向量Fc_ij，再经过上式得到与支撑平面的距离，是一个实数；

获取特征集合C_F_C中，每个拍摄相机最优的一张图片；

得到输出的效果最优的照片集合D＝{c_1p,c_2q,c_3r,…,c_ms},其中(p,q,r,s)∈[1,n]。

Images