CN111898621A - 一种轮廓形状识别方法 - Google Patents

一种轮廓形状识别方法 Download PDF

Info

Publication number
CN111898621A
CN111898621A CN202010777341.5A CN202010777341A CN111898621A CN 111898621 A CN111898621 A CN 111898621A CN 202010777341 A CN202010777341 A CN 202010777341A CN 111898621 A CN111898621 A CN 111898621A
Authority
CN
China
Prior art keywords
shape
layer
contour
sample
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010777341.5A
Other languages
English (en)
Other versions
CN111898621B (zh
Inventor
杨剑宇
闵睿朋
黄瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010777341.5A priority Critical patent/CN111898621B/zh
Publication of CN111898621A publication Critical patent/CN111898621A/zh
Priority to US17/790,020 priority patent/US20230047131A1/en
Priority to PCT/CN2021/093615 priority patent/WO2022028031A1/zh
Application granted granted Critical
Publication of CN111898621B publication Critical patent/CN111898621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

本发明提出一种轮廓形状识别方法，抽样提取形状样本的轮廓显著特征点；使用三种形状描述子，计算形状样本在半全局尺度中的特征函数；以单像素为间距划分尺度，得到全尺度空间下的形状特征函数；将各个尺度下的特征函数值存入矩阵，得到全尺度空间下形状样本三种特征的灰度图表达；将该形状样本的三种灰度图表达作为RGB三个通道合成一张彩色特征表达图像；将该形状样本与特征表达图像同时作为输入，构成双流卷积神经网络；训练双流卷积神经网络，将测试样本输入至训练好的网络模型中，实现形状分类。

Description

一种轮廓形状识别方法
技术领域
本发明涉及一种轮廓形状识别方法，属于形状识别技术领域。
背景技术
轮廓形状识别是机器视觉领域的一个重要研究方向，利用物体形状特征进行目标识别是机器视觉的主要研究课题，这项研究的主要成果是通过改进形状匹配算法或设计有效的形状描述符来充分提取目标形状特征用以进行更好的相似性度量。这在工程中得到了广泛应用，如雷达、红外成像检测、图像及视频的匹配与检索、机器人自动导航、场景语义分割、纹理识别和数据挖掘等多个领域中。
通常，对于轮廓形状的表达和检索基于手工设计的形状描述子来提取目标轮廓特征，如Shape Contexts，Shape Vocabulary和Bag of contour fragments等。但是通过手工描述子提取所得的形状信息通常不完备，无法保证对目标形状的局部变化、遮挡和整体变形等变化的不敏感。而过多增加描述子则会导致特征提取冗余，计算复杂度较高。因此，识别准确率和效率较低。近年来，随着卷积神经网络在图像识别任务中取得较好的成绩，其在形状识别任务开始得以应用。而由于轮廓形状缺少表面纹理、色彩等图像具备的信息，直接应用卷积神经网络的识别效果较低。
针对以上形状识别算法的问题，如何提供一种能够同时全面表达目标轮廓形状并进行准确分类的目标识别方法，是目前本领域技术人员亟待解决的问题。
发明内容
本发明是为解决现有技术中的问题而提出的，技术方案如下，
一种轮廓形状识别方法，该方法包括以下步骤：
步骤一、抽样提取形状样本的轮廓显著特征点；
步骤二、使用三种形状描述子，计算形状样本在半全局尺度中的形状特征函数；
步骤三、以单像素为间距划分尺度，得到全尺度空间下的形状特征函数；
步骤四、将各个尺度下的形状特征函数值存入矩阵，得到全尺度空间下形状样本的三种形状特征的灰度图表达；
步骤五、将该形状样本的三种形状特征的灰度图表达作为RGB三个通道合成一张彩色特征表达图像；
步骤六、将该形状样本与彩色特征表达图像同时作为输入，构建双流卷积神经网络；
步骤七、训练双流卷积神经网络，将测试样本输入至训练好的网络模型中，实现轮廓形状分类识别。
优选的，所述步骤一中，提取形状样本的轮廓显著特征点的方法为：
每一个形状样本的轮廓是由一系列抽样点组成的，对于任一形状样本S来说：
S＝{px(i)，py(i)|i∈[1，n]}
其中，px(i)，py(i)为轮廓抽样点p(i)在二维平面内的坐标，n为轮廓长度；
对形状样本的轮廓曲线进行演化来提取显著特征点，在每一次演化过程中，对目标识别起到贡献最小的点被删除；其中每个点p(i)的贡献定义为：
Figure BDA0002618928320000021
其中，b(i，i-1)为点p(i)与p(i-1)间的曲线长度，b(i，i+1)为点p(i)与p(i+1)间的曲线长度，B(i)为线段p(i)p(i-1)与线段p(i)p(i+1)间的角度，长度b根据轮廓周长进行归一化；K(i)值越大表示点p(i)对形状特征的贡献越大；
为了克服轮廓显著特征点提取过多或过少，引用一个基于区域的自适应结束函数F(t)：
Figure BDA0002618928320000022
其中S0为原始形状的面积，St为经过t次演变后的面积，n0为原始形状轮廓上的总点数；当此结束函数值F(t)超过设定阈值后，轮廓显著特征点提取结束。
进一步的，所述步骤二中，计算形状样本在半全局尺度中的形状特征函数的具体方法为：
使用三种形状描述子M：
M＝{sk(i)，lk(i)，ck(i)|k∈[1，m]，i∈[1，n]}
其中，sk，lk，ck为尺度k中归一化的面积s、弧长l和重心距c三个不变量，k为尺度标签，m为总尺度数；分别定义这三个形状不变量描述子：
以一轮廓抽样点p(i)为圆心，即目标轮廓点，以初始半径
Figure BDA0002618928320000031
作预设圆C1(i)，该预设圆即为目标轮廓点的初始半全局尺度；得到预设圆C1(i)后，三种形状描述子计算方式如下：
在计算s1(i)描述子时，将预设圆C1(i)中的与目标轮廓点p(i)具有直接连接关系的区域Z1(i)的面积记为
Figure BDA0002618928320000032
则有：
Figure BDA0002618928320000033
其中，B(Z1(i)，x)为一指示函数，定义为
Figure BDA0002618928320000034
将Z1(i)的面积与预设圆C1(i)面积的比值作为目标轮廓点的多尺度不变量描述子的面积参数s1(i)：
Figure BDA0002618928320000035
s1(i)的取值范围应当在0到1之间；
在计算c1(i)描述子时，首先计算与目标轮廓点p(i)具有直接连接关系的区域的重心，具体为对该区域中所有像素点的坐标值求取平均数，所得结果即为该区域的重心的坐标值，可以表示为：
Figure BDA0002618928320000036
其中，w1(i)即为上述区域的重心；
然后计算目标轮廓点p(i)与重心w1(i)的距离
Figure BDA0002618928320000037
可以表示为：
Figure BDA0002618928320000038
最后将
Figure BDA0002618928320000039
与目标轮廓点p(i)的预设圆C1(i)的半径的比值作为该目标轮廓点p(i)多尺度不变量描述子的重心参数c1(i)：
Figure BDA00026189283200000310
c1(i)的取值范围应当在0到1之间；
在计算l1(i)描述子时，将预设圆C1(i)内与目标轮廓点p(i)具有直接连接关系的弧段的长度记为
Figure BDA0002618928320000041
并将
Figure BDA0002618928320000042
与预设圆C1(i)周长的比值作为该目标轮廓点p(i)的弧长描述子l1(i)：
Figure BDA0002618928320000043
其中，l1(i)的取值范围应当在0到1之间；
通过计算得到在尺度标签k＝1，初始半径
Figure BDA0002618928320000044
的半全局尺度下形状样本S的形状特征函数：
M1＝{s1(i)，l1(i)，c1(i)|i∈[1，n]}。
进一步的，所述步骤三中，计算形状样本在全尺度空间下形状特征函数的具体方法为：
由于数字图像以一个像素为最小单位，故选择以单个像素作为全尺度空间下的连续尺度变化间隔；即对于第k个尺度标签，设定圆Ck(i)的半径rk：
Figure BDA0002618928320000045
即在初始尺度k＝1时，
Figure BDA0002618928320000046
此后半径rk以一个像素为单位等幅缩小m-1次，直至最小尺度k＝m时为止；计算得到全部尺度下形状样本S的形状特征函数：
M＝{sk(i)，lk(i)，ck(i)|k∈[1，m]，i∈[1，n]}。
进一步的，所述步骤四中，将各个尺度下的形状特征函数分别存入矩阵，并按照尺度连续变化的顺序合并得到全尺度空间下形状样本三种形状特征的灰度图表达：
G＝{s，l，c}
其中，s，l，c均为尺寸大小是m×n的灰度矩阵。
进一步的，所述步骤五中，将该形状样本的三种形状特征的灰度图表达作为RGB三个通道合成一张彩色特征表达图像，作为形状样本S的张量表达Tm×n×3：
其中，
Figure BDA0002618928320000047
进一步的，所述步骤六中，构建双流卷积神经网络的结构包括双流输入层、预训练层、全连接层和输出层，所述预训练层由VGG16网络模型前4个模块组成，将该4个模块在imagenet数据集中训练后所得的参数作为初始化参数，预训练层后连接三个全连接层；
预训练层中第1个模块具体包括2层卷积层和1层最大池化层，其中卷积层卷积核数目为64，尺寸大小为3×3，池化层尺寸大小为2×2；第2个模块具体包括2层卷积层和1层最大池化层，其中卷积层卷积核数目为128，尺寸大小为3×3，池化层尺寸大小为2×2；第3个模块具体包括3层卷积层和1层最大池化层，其中卷积层卷积核数目为256，尺寸大小为3×3，池化层尺寸大小为2×2；第4个模块具体包括3层卷积层和1层最大池化层，其中卷积层卷积核数目为512，尺寸大小为3×3，池化层尺寸大小为2×2；每一层卷积的计算公式为：
CO＝φrelu(WC·CI+θC)，
其中，φrelu是relu激活函数，θC是该卷积层的偏置向量；WC是该卷积层的权重；CI是该卷积层的输入；CO是该卷积层的输出；
全连接层模块具体包括3层全连接层，其中第1层全连接层包含4096个节点，第2层全连接层包含1024个节点，第3层全连接层包含N个节点，N代表样本数据集包含的种类数量；其中前2层全连接层的计算公式为：
FO＝φtan(WF·FI+θF)，
其中，φtan为tanh激活函数，θF是该全连接层的偏置向量；WF是该全连接层的权重；FI是该全连接层的输入；FO是该全连接层的输出；
最后一层全连接即为输出层，其输出的计算公式为：
YO＝φsoftmax(WY·YI+θY)，
其中，φsoftmax为softmax激活函数，θY是输出层的偏置向量，WY是输出层的权重，YI是输出层的输入；YO是输出层的输出；每一个输出层的神经元都表示对应的一个形状类别。
进一步的，所述步骤七中，实现轮廓形状分类识别的具体方法为：将所有训练样本输入至双流卷积神经网络，对双流卷积神经网络模型进行训练，将测试样本输入进已训练好的双流卷积神经网络模型中，输出向量中最大值对应的形状类别即判断为该测试样本的形状类型，实现轮廓形状分类识别。
本发明提出了一种新的轮廓形状的表达方法，并利用双流卷积神经网络设计了一种新的形状分类方法；提出的轮廓形状表达是基于全尺度空间的目标特征抓取，该特征张量表达简单且适合应用卷积神经网络进行目标分类；利用神经网络连续的卷积计算，既提取到各抽样点处在全尺度空间中的特征，又同时抓取相邻抽样点之间的特征关系。相比于背景技术中方法只计算比较对应显著点特征进行匹配，本发明能够更加全面地比较该原始形状所表达的全部信息；提出的双流卷积神经网络模型既充分利用了全尺度空间描述子表达的特征信息，也利用了原始目标的原有信息进行辅助，有效增加形状目标描述的区分度。
附图说明
图1是本发明一种轮廓形状识别方法的工作流程图。
图2是本发明一种轮廓形状识别方法中目标形状的具体示例。
图3是本发明一种轮廓形状识别方法中全尺度空间的示意图。
图4是本发明一种轮廓形状识别方法中目标形状被预设尺度截取后的示意图。
图5是本发明一种轮廓形状识别方法中目标形状被预设尺度分割后的示意图。
图6是本发明一种轮廓形状识别方法中目标形状在单一尺度下的特征向量。
图7是本发明一种轮廓形状识别方法中目标形状在全尺度空间下的特征矩阵。
图8是本发明一种轮廓形状识别方法中目标形状在全尺度空间下的特征张量。
图9是本发明一种轮廓形状识别方法中双流卷积神经网络的模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种轮廓形状识别方法，包括如下流程：
1.如图2所示，轮廓形状集总样本数为1400，共70个形状类别，每个形状类别有20个样本。每个形状类别中随机选取一半的样本划入训练集，剩下的一半划入测试集，得到共700个训练样本，700个测试样本。每一个形状样本由100个轮廓抽样点的二维坐标组成，以一个形状样本S为例：
S＝{px(i)，py(i)|i∈[1，100]}
其中，px(i)，py(i)为轮廓抽样点p(i)在二维平面内的坐标。
2.如图3所示，设置全尺度空间中总尺度数为100，并基于每个轮廓点的坐标计算每个轮廓点对应于每层尺度下的归一化面积、弧长及重心矩，具体如下：
以一轮廓抽样点p(i)为圆心，即目标轮廓点，以初始半径
Figure BDA0002618928320000071
作预设圆C1(i)，该预设圆即为目标轮廓点的初始半全局尺度。依据上述步骤得到预设圆C1(i)后，目标形状必然有一部分落在该预设圆内，示意图如图4所示。如果目标形状落在预设圆内的部分为一单独区域，则该单独区域即为与目标轮廓点p(i)具有直接连接关系的区域，记为Z1(i)；如果目标形状落在预设圆内的部分分为若干个互不连通的区域的话，如图4所示的区域A和区域B，那么确定目标轮廓点p(i)在其轮廓上的区域为与目标轮廓点p(i)具有直接连接关系的区域，记为Z1(i)。基于此，将预设圆C1(i)中的与目标轮廓点p(i)具有直接连接关系的区域Z1(i)的面积记为
Figure BDA0002618928320000072
则有：
Figure BDA0002618928320000073
其中，B(Z1(i)，x)为一指示函数，定义为
Figure BDA0002618928320000074
将Z1(i)的面积与预设圆C1(i)面积的比值作为目标轮廓点p(i)的多尺度不变量描述子的面积参数s1(i)：
Figure BDA0002618928320000075
s1(i)的取值范围应当在0到1之间。
在计算与目标轮廓点p(i)具有直接连接关系的区域的重心时，具体为对该区域中所有像素点的坐标值求取平均数，所得结果即为该区域的重心的坐标值，可以表示为：
Figure BDA0002618928320000081
其中，w1(i)即为上述区域的重心。
而计算目标轮廓点p(i)与重心w1(i)的距离
Figure BDA0002618928320000082
可以表示为：
Figure BDA0002618928320000083
并将
Figure BDA0002618928320000084
与目标轮廓点p(i)的预设圆的半径的比值作为该目标轮廓点p(i)多尺度不变量描述子的重心参数c1(i)：
Figure BDA0002618928320000085
c1(i)的取值范围应当在0到1之间。
依据上述步骤得到预设圆后，目标形状的轮廓被预设圆切割后必然会有一个或者多个弧段落在预设圆内，如图5所示。如果目标形状只有一个弧段落在预设圆内，则确定该弧段为与目标轮廓点p(i)具有直接连接关系的弧段，如果目标形状有多个弧段落在预设圆内，如图5中的弧段A(Segment A)、弧段B(Segment B)、弧段C(Segment C)，则确定目标轮廓点p(i)所在的弧段为与目标轮廓点p(i)具有直接连接关系的弧段，在图5中即为弧段A(Segment A)。基于此，将预设圆C1(i)内与目标轮廓点p(i)具有直接连接关系的弧段的长度记为
Figure BDA0002618928320000089
并将
Figure BDA00026189283200000810
与预设圆C1(i)周长的比值作为该目标轮廓点p(i)的弧长描述子l1(i)：
Figure BDA0002618928320000086
其中，l1(i)的取值范围应当在0到1之间。
依据上述步骤计算得到在尺度标签k＝1，初始半径
Figure BDA0002618928320000087
的半全局尺度下形状样本S的特征函数：
M1＝{s1(i)，l1(i)，c1(i)|i∈[1，100]}
将该层尺度下计算所得的特征函数存入特征向量。
3.如图6所示，分别计算全尺度空间中100个尺度下各自的特征向量，其中对于第k个尺度标签，设定圆Ck(i)的半径rk：
Figure BDA0002618928320000088
即在初始尺度k＝1时，
Figure BDA0002618928320000091
此后半径rk以一个像素为单位等幅缩小99次，直至最小尺度k＝100时为止。计算得到全部尺度空间下形状样本S的特征函数：
M＝{sk(i)，lk(i)，ck(i)|k∈[1，100]，i∈[1，100]}
4.如图7所示，将全尺度空间中100个尺度下的特征向量按尺度顺序合并为三个全尺度空间下的特征矩阵：
G＝{s，l，c}
其中，s，l，c均为尺寸大小是m×n的灰度矩阵。
5.如图8所示，将该形状样本的三种灰度图表达作为RGB三个通道合成一张彩色特征表达图像，作为形状样本S的张量表达Tm×n×3：
其中，
Figure BDA0002618928320000092
6.构建双流卷积神经网络，包括双流输入层、预训练层、全连接层和输出层。本发明将原始轮廓形状尺寸归一化为100*100。进而将原始形状及其对应特征表达图像二者同时输入双流卷积神经网络结构模型中进行训练。本发明使用sgd优化器，学习率设置为0.001，延迟率设置为1e-6，损失函数选用交叉熵，双流特征权重设为1：1，分类器选择softmax，batch size大小选择为128。如图9所示，预训练层由VGG16网络模型前4个模块组成，将该4个模块在imagenet数据集中训练后所得的参数作为初始化参数，预训练层后连接三个全连接层。
预训练层中第1个模块具体包括2层卷积层和1层最大池化层，其中卷积层卷积核数目为64，尺寸大小为3×3，池化层尺寸大小为2×2；第2个模块具体包括2层卷积层和1层最大池化层，其中卷积层卷积核数目为128，尺寸大小为3×3，池化层尺寸大小为2×2；第3个模块具体包括3层卷积层和1层最大池化层，其中卷积层卷积核数目为256，尺寸大小为3×3，池化层尺寸大小为2×2；第4个模块具体包括3层卷积层和1层最大池化层，其中卷积层卷积核数目为512，尺寸大小为3×3，池化层尺寸大小为2×2。每一层卷积的计算公式为：
CO＝φrelu(WC·CI+θC)，
其中，φrelu是relu激活函数，θC是该卷积层的偏置向量；WC是该卷积层的权重；CI是该卷积层的输入；CO是该卷积层的输出；
全连接层模块具体包括3层全连接层，其中第1层全连接层包含4096个节点，第2层全连接层包含1024个节点，第3层全连接层包含70个节点。其中前2层全连接层的计算公式为：
FO＝φtan(WF·FI+θF)，
其中，φtan为tanh激活函数，θF是该全连接层的偏置向量；WF是该全连接层的权重；FI是该全连接层的输入；FO是该全连接层的输出；
最后一层全连接即为输出层，其输出的计算公式为：
YO＝φsoftmax(WY·YI+θY)，
其中，φsoftmax为softmax激活函数，θY是输出层的偏置向量，WY是输出层的权重，YI是输出层的输入；YO是输出层的输出；每一个输出层的神经元都表示对应的一个形状类别；
7.将所有训练样本输入至双流卷积神经网络，对双流卷积神经网络模型进行训练，将测试样本输入进已训练好的双流卷积神经网络模型中，输出向量中最大值对应的形状类别即判断为该测试样本的形状类型，实现形状分类识别。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种轮廓形状识别方法，其特征在于：该方法包括以下步骤：
步骤一、抽样提取形状样本的轮廓显著特征点；
步骤二、使用三种形状描述子，计算形状样本在半全局尺度中的形状特征函数；
步骤三、以单像素为间距划分尺度，得到全尺度空间下的形状特征函数；
步骤四、将各个尺度下的形状特征函数值存入矩阵，得到全尺度空间下形状样本的三种形状特征的灰度图表达；
步骤五、将该形状样本的三种形状特征的灰度图表达作为RGB三个通道合成一张彩色特征表达图像；
步骤六、将该形状样本与彩色特征表达图像同时作为输入，构建双流卷积神经网络；
步骤七、训练双流卷积神经网络，将测试样本输入至训练好的网络模型中，实现轮廓形状分类识别。
2.根据权利要求1所述的一种轮廓形状识别方法，其特征在于：所述步骤一中，提取形状样本的轮廓显著特征点的方法为：
每一个形状样本的轮廓是由一系列抽样点组成的，对于任一形状样本S来说：
S＝{px(i)，py(i)|i∈[1，n]}
其中，px(i)，py(i)为轮廓抽样点p(i)在二维平面内的坐标，n为轮廓长度；
对形状样本的轮廓曲线进行演化来提取显著特征点，在每一次演化过程中，对目标识别起到贡献最小的点被删除；其中每个点p(i)的贡献定义为：
Figure FDA0002618928310000011
其中，b(i，i-1)为点p(i)与p(i-1)间的曲线长度，b(i，i+1)为点p(i)与p(i+1)间的曲线长度，B(i)为线段p(i)p(i-1)与线段p(i)p(i+1)间的角度，长度b根据轮廓周长进行归一化；K(i)值越大表示点p(i)对形状特征的贡献越大；
为了克服轮廓显著特征点提取过多或过少，引用一个基于区域的自适应结束函数F(t)：
Figure FDA0002618928310000021
其中S0为原始形状的面积，St为经过t次演变后的面积，n0为原始形状轮廓上的总点数；当此结束函数值F(t)超过设定阈值后，轮廓显著特征点提取结束。
3.根据权利要求2所述的一种轮廓形状识别方法，其特征在于：所述步骤二中，计算形状样本在半全局尺度中的形状特征函数的具体方法为：
使用三种形状描述子M：
M＝{sk(i)，lk(i)，ck(i)|k∈[1，m]，i∈[1，n]}
其中，sk，lk，ck为尺度k中归一化的面积s、弧长l和重心距c三个不变量，k为尺度标签，m为总尺度数；分别定义这三个形状不变量描述子：
以一轮廓抽样点p(i)为圆心，即目标轮廓点，以初始半径
Figure FDA0002618928310000022
作预设圆C1(i)，该预设圆即为目标轮廓点的初始半全局尺度；得到预设圆C1(i)后，三种形状描述子计算方式如下：
在计算s1(i)描述子时，将预设圆C1(i)中的与目标轮廓点p(i)具有直接连接关系的区域Z1(i)的面积记为
Figure FDA0002618928310000023
则有：
Figure FDA0002618928310000024
其中，B(Z1(i)，x)为一指示函数，定义为
Figure FDA0002618928310000025
将Z1(i)的面积与预设圆C1(i)面积的比值作为目标轮廓点的多尺度不变量描述子的面积参数s1(i)：
Figure FDA0002618928310000026
s1(i)的取值范围应当在0到1之间；
在计算c1(i)描述子时，首先计算与目标轮廓点p(i)具有直接连接关系的区域的重心，具体为对该区域中所有像素点的坐标值求取平均数，所得结果即为该区域的重心的坐标值，可以表示为：
Figure FDA0002618928310000031
其中，w1(i)即为上述区域的重心；
然后计算目标轮廓点p(i)与重心w1(i)的距离
Figure FDA0002618928310000032
可以表示为：
Figure FDA0002618928310000033
最后将
Figure FDA0002618928310000034
与目标轮廓点p(i)的预设圆C1(i)的半径的比值作为该目标轮廓点p(i)多尺度不变量描述子的重心参数c1(i)：
Figure FDA0002618928310000035
c1(i)的取值范围应当在0到1之间；
在计算l1(i)描述子时，将预设圆C1(i)内与目标轮廓点p(i)具有直接连接关系的弧段的长度记为
Figure FDA0002618928310000036
并将
Figure FDA0002618928310000037
与预设圆C1(i)周长的比值作为该目标轮廓点p(i)的弧长描述子l1(i)：
Figure FDA0002618928310000038
其中，l1(i)的取值范围应当在0到1之间；
通过计算得到在尺度标签k＝1，初始半径
Figure FDA0002618928310000039
的半全局尺度下形状样本S的形状特征函数：
M1＝{s1(i)，l1(i)，c1(i)|i∈[1，n]}。
4.根据权利要求3所述的一种轮廓形状识别方法，其特征在于：所述步骤三中，计算形状样本在全尺度空间下形状特征函数的具体方法为：
由于数字图像以一个像素为最小单位，故选择以单个像素作为全尺度空间下的连续尺度变化间隔；即对于第k个尺度标签，设定圆Ck(i)的半径rk：
Figure FDA00026189283100000310
即在初始尺度k＝1时，
Figure FDA00026189283100000311
此后半径rk以一个像素为单位等幅缩小m-1次，直至最小尺度k＝m时为止；计算得到全部尺度下形状样本S的形状特征函数：
M＝{sk(i)，lk(i)，ck(i)|k∈[1，m]，i∈[1，n]}。
5.根据权利要求4所述的一种轮廓形状识别方法，其特征在于：所述步骤四中，将各个尺度下的形状特征函数分别存入矩阵，并按照尺度连续变化的顺序合并得到全尺度空间下形状样本三种形状特征的灰度图表达：
G＝{s，l，c}
其中，s，l，c均为尺寸大小是m×n的灰度矩阵。
6.根据权利要求5所述的一种轮廓形状识别方法，其特征在于：所述步骤五中，将该形状样本的三种形状特征的灰度图表达作为RGB三个通道合成一张彩色特征表达图像，作为形状样本S的张量表达Tm×n×3：
其中，
Figure FDA0002618928310000041
7.根据权利要求6所述的一种轮廓形状识别方法，其特征在于：所述步骤六中，构建双流卷积神经网络的结构包括双流输入层、预训练层、全连接层和输出层，所述预训练层由VGG16网络模型前4个模块组成，将该4个模块在imagenet数据集中训练后所得的参数作为初始化参数，预训练层后连接三个全连接层；
预训练层中第1个模块具体包括2层卷积层和1层最大池化层，其中卷积层卷积核数目为64，尺寸大小为3×3，池化层尺寸大小为2×2；第2个模块具体包括2层卷积层和1层最大池化层，其中卷积层卷积核数目为128，尺寸大小为3×3，池化层尺寸大小为2×2；第3个模块具体包括3层卷积层和1层最大池化层，其中卷积层卷积核数目为256，尺寸大小为3×3，池化层尺寸大小为2×2；第4个模块具体包括3层卷积层和1层最大池化层，其中卷积层卷积核数目为512，尺寸大小为3×3，池化层尺寸大小为2×2；每一层卷积的计算公式为：
CO＝φrelu(WC·CI+θC)，
其中，φrelu是relu激活函数，θC是该卷积层的偏置向量；WC是该卷积层的权重；CI是该卷积层的输入；CO是该卷积层的输出；
全连接层模块具体包括3层全连接层，其中第1层全连接层包含4096个节点，第2层全连接层包含1024个节点，第3层全连接层包含N个节点，N代表样本数据集包含的种类数量；其中前2层全连接层的计算公式为：
FO＝φtan(WF·FI+θF)，
其中，φtan为tanh激活函数，θF是该全连接层的偏置向量；WF是该全连接层的权重；FI是该全连接层的输入；FO是该全连接层的输出；
最后一层全连接即为输出层，其输出的计算公式为：
YO＝φsoftmax(WY·YI+θY)，
其中，φsoftmax为softmax激活函数，θY是输出层的偏置向量，WY是输出层的权重，YI是输出层的输入；YO是输出层的输出；每一个输出层的神经元都表示对应的一个形状类别。
8.根据权利要求7所述的一种轮廓形状识别方法，其特征在于：所述步骤七中，实现轮廓形状分类识别的具体方法为：将所有训练样本输入至双流卷积神经网络，对双流卷积神经网络模型进行训练，将测试样本输入进已训练好的双流卷积神经网络模型中，输出向量中最大值对应的形状类别即判断为该测试样本的形状类型，实现轮廓形状分类识别。
CN202010777341.5A 2020-08-05 2020-08-05 一种轮廓形状识别方法 Active CN111898621B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010777341.5A CN111898621B (zh) 2020-08-05 2020-08-05 一种轮廓形状识别方法
US17/790,020 US20230047131A1 (en) 2020-08-05 2021-05-13 Contour shape recognition method
PCT/CN2021/093615 WO2022028031A1 (zh) 2020-08-05 2021-05-13 一种轮廓形状识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010777341.5A CN111898621B (zh) 2020-08-05 2020-08-05 一种轮廓形状识别方法

Publications (2)

Publication Number Publication Date
CN111898621A true CN111898621A (zh) 2020-11-06
CN111898621B CN111898621B (zh) 2023-09-05

Family

ID=73245705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010777341.5A Active CN111898621B (zh) 2020-08-05 2020-08-05 一种轮廓形状识别方法

Country Status (3)

Country Link
US (1) US20230047131A1 (zh)
CN (1) CN111898621B (zh)
WO (1) WO2022028031A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033099A (zh) * 2021-03-26 2021-06-25 电子科技大学 一种基于计算机视觉的天线形状的神经网络建模方法
CN113191361A (zh) * 2021-04-19 2021-07-30 苏州大学 一种形状识别方法
WO2022028031A1 (zh) * 2020-08-05 2022-02-10 苏州大学 一种轮廓形状识别方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114484148B (zh) * 2022-02-15 2024-01-02 河海大学常州校区 一种地下管道检测机器人检测系统及检测方法
CN116109636B (zh) * 2023-04-13 2023-06-23 北京中超伟业信息安全技术股份有限公司 一种基于视觉监测的磁介质溶毁处理方法及系统
CN116493392B (zh) * 2023-06-09 2023-12-15 北京中超伟业信息安全技术股份有限公司 一种纸介质碳化方法及系统
CN117392440B (zh) * 2023-09-26 2024-03-01 武汉纺织大学 一种基于组织结构及颜色分类的纺织面料检索方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN107103323A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于图像轮廓特征的目标识别方法
CN107203742A (zh) * 2017-05-03 2017-09-26 苏州大学 一种基于显著特征点提取的手势识别方法及装置
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
CN110991465A (zh) * 2019-11-15 2020-04-10 泰康保险集团股份有限公司 一种物体识别方法、装置、计算设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898621B (zh) * 2020-08-05 2023-09-05 苏州大学 一种轮廓形状识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206431A1 (en) * 2016-01-20 2017-07-20 Microsoft Technology Licensing, Llc Object detection and classification in images
CN107103323A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于图像轮廓特征的目标识别方法
CN107203742A (zh) * 2017-05-03 2017-09-26 苏州大学 一种基于显著特征点提取的手势识别方法及装置
CN107633220A (zh) * 2017-09-13 2018-01-26 吉林大学 一种基于卷积神经网络的车辆前方目标识别方法
CN110991465A (zh) * 2019-11-15 2020-04-10 泰康保险集团股份有限公司 一种物体识别方法、装置、计算设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022028031A1 (zh) * 2020-08-05 2022-02-10 苏州大学 一种轮廓形状识别方法
CN113033099A (zh) * 2021-03-26 2021-06-25 电子科技大学 一种基于计算机视觉的天线形状的神经网络建模方法
CN113033099B (zh) * 2021-03-26 2022-05-03 电子科技大学 一种基于计算机视觉的天线形状的神经网络建模方法
CN113191361A (zh) * 2021-04-19 2021-07-30 苏州大学 一种形状识别方法
CN113191361B (zh) * 2021-04-19 2023-08-01 苏州大学 一种形状识别方法

Also Published As

Publication number Publication date
WO2022028031A1 (zh) 2022-02-10
CN111898621B (zh) 2023-09-05
US20230047131A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN111898621B (zh) 一种轮廓形状识别方法
CN106529447B (zh) 一种小样本人脸识别方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN110321830B (zh) 一种基于神经网络的中文字符串图片ocr识别方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
JP2017157138A (ja) 画像認識装置、画像認識方法及びプログラム
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN109934272B (zh) 一种基于全卷积网络的图像匹配方法
CN111984817B (zh) 一种基于自注意力机制加权的细粒度图像检索方法
Sheng et al. Learning-based road crack detection using gradient boost decision tree
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN115170805A (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
Lin et al. Determination of the varieties of rice kernels based on machine vision and deep learning technology
CN112488128A (zh) 一种基于贝塞尔曲线的任意畸变图像线段检测方法
CN112784754A (zh) 一种车辆再识别方法、装置、设备及存储介质
CN113191361B (zh) 一种形状识别方法
CN111597875A (zh) 一种交通标志识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant