CN110598030B - 一种基于局部cnn框架的甲骨拓片分类方法 - Google Patents
一种基于局部cnn框架的甲骨拓片分类方法 Download PDFInfo
- Publication number
- CN110598030B CN110598030B CN201910917806.XA CN201910917806A CN110598030B CN 110598030 B CN110598030 B CN 110598030B CN 201910917806 A CN201910917806 A CN 201910917806A CN 110598030 B CN110598030 B CN 110598030B
- Authority
- CN
- China
- Prior art keywords
- region
- image
- bone
- oracle
- rubbings
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 30
- 206010040925 Skin striae Diseases 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000004069 differentiation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 241000287196 Asthenes Species 0.000 claims 1
- 229910000831 Steel Inorganic materials 0.000 claims 1
- 239000010959 steel Substances 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract description 37
- 239000000463 material Substances 0.000 abstract description 12
- 238000005094 computer simulation Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 3
- 230000018109 developmental process Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 241000270708 Testudinidae Species 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于局部CNN框架的甲骨拓片分类方法，包括：对甲骨拓片图像进行区域划分，将图像划分为盾纹区域、齿纹区域和非盾纹非齿纹区域；基于CNN框架对划分后的各区域进行训练，提取各区域特征，建立甲骨拓片的分类识别模型；对未知类型的甲骨拓片在进行区域分割后，利用训练好的CNN框架进行甲骨拓片的分类。本发明在传统的利用专家经验进行甲骨材质分类研究的基础上，采用卷积神经网络对甲骨拓片进行自动分类，通过对甲骨专家整理好的甲骨拓片扫描成像后进行训练，利用CNN框架的特征抽取、分类预测的能力，建立甲骨拓片的材质分类识别模型，实现对龟甲和兽骨拓片的自动判别，能够将领域专家的知识固化于计算机模型，促进甲骨分类学的发展。
Description
技术领域
本发明主要涉及甲骨材质分类相关技术领域，具体是一种基于局部CNN框架的甲骨拓片分类方法。
背景技术
甲骨文是刻写在龟甲和兽骨上的商代文字，研究甲骨文不仅要关注文字本身，还需要重视文字所依附的材料及形态等信息。甲骨形态研究可包括甲骨材质、甲骨形制、甲骨部位、钻凿形态、兆坼形态等多方面内容，而这中间首当其冲需要研讨的便是甲骨材质问题。从甲骨材料研究相关的实际情况来看，材料分类工作主要还只能依靠甲骨的拓本图像做出。通常，基于甲骨拓本对甲骨材质进行分类，都是利用甲骨学领域专家的经验进行研判，而成为甲骨学领域专家则需要长期学习和积累。
图像分类是利用人工智能技术特别是机器学习方法，使计算机能够对图像进行识别和分类，其在模式识别领域扮演重要的角色。图像分类目前方法主要分为两大类：基于图像空间的分类和基于特征空间的分类。图像空间分类方法主要利用图像的颜色、灰度、纹理、形状、位置等底层特征来对图像进行分类；而基于特征空间的分类方法是通过将原图像映射到高维空间，然后提取其高层特征来实现图像的分类，这样能有效地降低数据的维度和计算过程的复杂程度。因此分类的结果很大程度上取决于特征提取方法的适应性。
近年来，在图像分类领域，更多采用了深度学习的方法进行特征的提取。采用卷积神经网络(Convolutional Neural Network，CNN)的架构开始迅速发展，并在不同领域取得较好的应用效果。特别是现有技术中的AlexNet结构(图1所示)，不仅比传统的神经网络层数更多更深，并且可以学习更复杂的图像高维特征。
卷积神经网络结构通过构建复杂的模型结构，完成对数据分析和处理，其重要应用之一就是进行图像分类和识别，因此也非常适合甲骨分类。长期以来，甲骨卜辞字体分类都依靠人工观察进行，完全凭借领域专家的经验和学识来完成。引入神经网络分类识别技术，探索机器自动分类，既能将领域专家的知识固化于计算机模型，也有利于可视化分析现有的分类系统和分类方法，进一步促进甲骨分类学的发展。
发明内容
为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种基于局部CNN框架的甲骨拓片分类方法，本方法通过对甲骨拓片的特征进行提取，实现原图到特征空间的转换，在特征空间中完成甲骨图像的自动分类，能够实现对龟甲和兽骨拓片的自动判别，在利用人工智能技术辅助甲骨形态辨识方面提供技术基础。
本发明的技术方案如下：
一种基于局部CNN框架的甲骨拓片分类方法，所述方法包括：对甲骨拓片图像进行区域划分，将图像划分为盾纹区域、齿纹区域和非盾纹非齿纹区域；基于CNN框架对划分后的各区域进行训练，提取各区域特征，建立甲骨拓片的分类识别模型；对未知类型的甲骨拓片在进行区域分割后，利用训练好的CNN框架进行甲骨拓片的分类。
进一步的，对甲骨拓片图像进行区域划分时，图像划分原则为：
将图像按照一定秩序在水平和/或垂直方向进行区域划分；对于图像像素梯度变化超过阈值的区域不进行切分，且与上部分图像合并成一个区域；对图像边缘像素进行求导，对导数不连续的边缘区域，不进行切分；在水平和/或垂直方向进行区域划分时，选择区域划分数量多的方向。
进一步的，对甲骨拓片图像进行区域划分时，基于Laplace算子实现对盾纹区域的划分，具体为：
对于甲骨图像f(x,y)，由于Laplace算子具有各向同性的性质，因此满足
Laplace算子是梯度的散度：
由于图像是离散的二维矩阵，用差分近似微分得到
故，Δf＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (4)其中i，j为梯度方向，通过计算的梯度Δf结合判定阈值划分出盾纹区域。
进一步的，对甲骨拓片图像进行区域划分时，基于弧微分来计算甲骨边缘的各个点的曲率，并进一步判断单位长度曲率变化的情况，最终确定齿纹区域，具体为：
对甲骨图像边缘曲线C，其方程为r＝r(s)，其中s是曲线的弧长参数，r′(s)是曲线C的单位切向量场，，令
α(s)＝r′(s) (5)
α(s)是曲线C在s处的方向向量，方向向量α(s)转动的快慢用|α′(s)|来衡量，用Δθ表示向量α(s+Δs)与α(s)之间的夹角，则有limΔs→0|Δθ/Δs|＝|α(s)|；
令k＝|α′(s)|，其中k为曲线r＝r(s)在s处的曲率，α′(s)为该曲线的曲率向量，α′(s)平行移动到原点，其曲线的切线象的参数方程为
r＝α(s) (6)
将切线象的弧长元素表示为
则甲骨图像边缘曲线C在s处的曲率可以表示
因此，甲骨图像边缘曲线的二阶导数
通过计算η值，结合判定阈值划分出齿纹区域。
进一步的，基于CNN框架对划分后的各区域进行训练，提取各区域特征具体包括：
对于CNN框架的输入Im×n×c，其每维表示图像宽度、高度和通道，通过卷积层计算输入图像与滤波器卷积核W并增加偏移量b，得到
其中，
表示卷积运算，Rm‘×n’×c’是输出，将激活函数ReLU用非线性变换层，得到
对于甲骨拓片图像的局部相应归一化层，在应用ReLU之后，变为：
其中，
表示在使用ReLU之后，在位置坐标x,y处的卷积核计算出的网络层的激活度，
表示局部响应归一化的激活度，N表示核的数量，k，n，α，β是超参数，利用最大池化层对
进行下采样，得到
其中，h×w是子窗口，s是滑动窗口的步长，整个全连接层是用CNN的结构，因此，局部区域的CNN特征抽取，表示为
F＝Φ(I,θ) (11)
Φ表示全卷积的连接过程，I为输入信息，θ包含了滤波器卷积核W和偏移量b。
进一步的，对于获得的每个局部区域的特征，首先，将局部区域的特征向量与其他特征向量级联作为整体特征向量F＝[f0,f1,f2..]，f为输入数据；然后，建立分层自动编码网络以融合这些特征并减小特征维度，并且f充当自动编码网络的输入数据，动编码网络的输出是融合的最终特征表示F；最后，通过Softmax层预测每个局部区域的类别；具体包括：假设图像I包含N个区域Oi,i∈{1,2,…,N}，同时，每个对象区域Oi包含了M个像素，对于在对象Oi中的每个像素Ij,j∈{1,2,…,M}，每个像素的特征为fj，每个区域特征为rj，建立图像每个区域深度特征的块Uj＝[fj,rj]用于原始的图像在像素级别的特征分类，区域Oi的标签主要是根据矢量Uj统计值来判定，得到
Pj＝W2tanh(W1WUj+b1) (12)
其中，矩阵W1和W2是CNN的训练参数，Pj是预测标签，t(Oi)是对象的像素点个数，最终对象Oi的特征表示为
Fi＝arg max di,a (14)。
本发明的有益效果：
本发明在传统的利用专家经验进行甲骨材质分类研究的基础上，采用卷积神经网络对甲骨拓片进行自动分类，通过对甲骨专家整理好的甲骨拓片扫描成像后进行训练，利用CNN框架的特征抽取、分类预测的能力，建立甲骨拓片的材质分类识别模型，实现对龟甲和兽骨拓片的自动判别，能够将领域专家的知识固化于计算机模型，促进甲骨分类学的发展。
附图说明
附图1为简化的AlexNet结构；
附图2为局部CNN的甲骨材质拓本分类结构示意图；
附图3为甲骨拓片的齿纹与盾纹特征；
附图4为盾纹边缘检测效果图；
附图5为本发明实施例中横向与纵向的区域划分方式；
附图6为本发明实施例中阈值对齿纹数的影响曲线图；
附图7为本发明实施例中阈值对分类精度的影响曲线图；
具体实施方式
结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
本发明在于解决甲骨拓片中龟甲和兽骨的自动分类问题。甲骨专家对龟甲和兽骨分类主要依据甲骨拓片上的“盾纹”和“齿纹”，因为只有龟甲上才可能存在这两种特征性的纹路。但由于商代甲骨至今已历经数千年，漫长的岁月侵蚀常导致甲骨上出现了很多自然裂痕，他们与“盾纹”和“齿纹”在拓本上有易混之处，加之甲骨专家对“盾纹”和“齿纹”的描述难以利用数学模型定义，所以本发明利用甲骨拓片局部特征在分类中具有较好代表性这一特性来提高甲骨拓本图像分类的性能，结合CNN的分层特征提取结构，提出采用局部卷积神经网络的结构对甲骨拓片进行自动分类。其具分类分类方法为：对甲骨拓片图像进行区域划分，将图像划分为盾纹区域、齿纹区域和非盾纹非齿纹区域；基于CNN框架对划分后的各区域进行训练，提取各区域特征，建立甲骨拓片的分类识别模型；对未知类型的甲骨拓片在进行区域分割后，利用训练好的CNN框架进行甲骨拓片的分类。
该模型的结构可以在图2中看到。它由三部分组成，具体如下。
(a)该模型的输入数据。它包含三个局部区域，即盾纹区域，齿纹区域，非盾纹非齿纹区域。(b)每个区域对应一个特征提取子网。每个子网由两个Conv-Pooling-ReLU层和两个完全连接的层组成。这些子网提取每个本地区域的功能。(c)多特征融合子网。它包含四个自动编码(Auto-Encoding，AE)层，通过该子网获得融合特征。(d)该模型的输出。Softmax层用于预测输入数据的类别。为了实现对局部区域的特征提取，本发明给出了甲骨拓片局部区域划分规则。
本发明对甲骨拓片采用多区域局部特征抽取的方法进行分类识别，其关键在于对甲骨拓片的区域划分。由于龟甲与兽骨的最大特征特征区分在于“盾纹”和“齿纹”(如图3所示)，因此在对图像区域切分的时候需要保留“盾纹”和“齿纹”信息，特别是如果刚好从“盾纹”处切分图像，则破坏了图像的特征信息，不利于分类。根据图像观察可以发现，“盾纹”处像素梯度变化较大，“齿纹”位于图像边缘且不光滑，其导数不连续，本发明对图片按照从上到下，从左至右的秩序进行区域划分，其遵循的原则如下：
1)梯度变化较大(超过阈值)的区域不进行切分，且与上部分图像合并成一个区域，避免切分盾纹区域。
2)对边缘像素进行求导，对导数不连续的边缘区域，不进行切分，避免切分齿纹区域。
3)考虑到局部特征更有利用甲骨分类，因此在水平和垂直方向进行的区域划分时，遵从划分区域就多的原则，即选择区域划分数量多的方向。
下面对本发明的区域划分进行具体描述。
(1)盾纹区域划分
本发明采用Laplace算子进行盾纹区域检测，完成对图像区域的划分。假定f(x,y)为甲骨图像，由于Laplace算子具有各向同性的性质，则有
Laplace算子是梯度的散度：
由于图像是离散的二维矩阵，用差分近似微分
所以，
Δf＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (4)
上述公式中，i，j代表梯度方向。
本发明采用Laplace算子对甲骨图像的盾纹区域进行了边缘检测(如图4所示)，可以看到能够有效地划分出盾纹区域(连通贯穿区域即为“盾纹”)，从而为后面甲骨拓片的切分提供了依据。
(2)“齿纹”区域检测
对于甲骨片上的“齿纹”检测，本发明引入弧微分来计算甲骨边缘的各个点的曲率，并进一步判断单位长度曲率变化的情况，来最终确定是否是齿纹。
设C为甲骨边缘曲线，其方程为r＝r(s)，其中s是曲线的弧长参数，r′(s)是曲线C的单位切向量场。令
α(s)＝r′(s) (5)
这里α(s)是曲线C在s处的方向向量，因此当一点沿曲线以单位速率行进时，方向向量转动的快慢反映了边缘曲线的弯曲度，这里方向向量α(s)转动的快慢用|α′(s)|来衡量，由于α(s)是曲线r＝r(s)的单位切向量场，用Δθ表示向量α(s+Δs)与α(s)之间的夹角，则有limΔs→0|Δθ/Δs|＝|α(s)|。
令k＝|α′(s)|，则k为曲线r＝r(s)在s处的曲率，α′(s)为该曲线的曲率向量。把曲线C的单位切向量α′(s)平行移动到原点，其曲线的切线象的参数方程为
r＝α(s) (6)
通常s不会是切线象的弧长参数，切线象的弧长元素表示为
所以甲骨边缘曲线在s处的曲率可以表示
由于本发明判断齿纹区域是以曲率变化的速率为依据，因此甲骨边缘曲线的二阶导数被用于齿纹区域的判断，即
通过计算甲骨边缘曲线上η值，结合判定阈值就可以划分出齿纹区域。
为了获得有效的特征，本发明用CNN作为各个区域的特征提取器。通常，CNN包含多个卷积过程和完全连接的过程。对于每个卷积过程，它由四部分组成，即卷积层，汇集层，非线性变换层和局部响应归一化层。在本实施例中，选择包含一段“盾纹”的区域作为一个例子来描述卷积过程。Im×n×c作为CNN的输入，其中每维表示图像宽度、高度和通道，卷积层计算输入图像与滤波器卷积核W并增加了偏移量b。
其中
表示卷积运算，Rm‘×n’×c’是输出。激活函数ReLU用于非线性变换层
对于甲骨片图像的局部响应归一化层，在应用ReLU之后，变为：
其中
表示在使用ReLU之后，在位置x,y处的卷积核计算出的网络层的激活度。
表示局部响应归一化的激活度，N表示核的数量，k，n，α，β是超参数。因此，利用最大池化层对
进行下采样。
其中h×w是子窗口，s滑动窗口的步长，整个全连接层是用CNN的结构，因此局部区域的CNN特征抽取，表示为
F＝Φ(I,θ) (11)
Φ表示全卷积的连接过程，I为输入信息，θ包含了滤波器卷积核W和偏移量b。
通过以上步骤，本发明获得每个局部区域的特征，由于每个局部区域的特征都由矢量组成，因此本发明使用自动编码(Auto-encoder，AE)网络来融合这些特征并减小尺寸。首先，这些特征向量与其他特征向量级联作为整体特征向量F＝[f0,f1,f2..],f为输入数据。然后，建立分层自动编码网络以融合这些特征并减小特征维度，并且f充当该网络的输入数据。该网络的输出是融合的最终特征表示F。最后Softmax层用于预测每个局部区域的类别。
假设图像I包含N个区域Oi,i∈{1,2,…,N}，同时，每个对象区域Oi包含了M个像素。对于在对象Oi中的每个像素Ij,j∈{1,2,…,M}，每个像素的特征为fj，每个区域特征为rj，本发明建立起图像每个区域深度特征的块Uj＝[fj,rj]用于原始的图像在像素级别的特征分类。区域Oi的标签主要是根据矢量Uj统计值来判定。
Pj＝W2tanh(W1WUj+b1) (12)
矩阵W1和W2是CNN分类器的训练参数Pj是预测标签，t(Oi)是对象的像素点个数，最终对象Oi的特征表示为：
Fi＝arg max di,a (14)。
实施例：
本实施例针对本发明所提供的甲骨拓片分类方法进行实验和分析，其实验数据集具体包含了1476张龟甲的拓片，300张牛骨的拓片。其中牛骨拓片又分为右胛骨和左胛骨，本实施例选择三分之一作为测试集，三分之二作为训练集，采用5折交叉验证的方法。数据集中的甲骨图片由某大学甲骨文研究中心提供，其源于相关研究著作的配图和对甲骨片的扫描图像。由于原始的图像大小不一，且成像质量参差不齐，且有噪声干扰，本实施例对所有图像进行了处理，消除了噪声，调整所有图像大小为500×500像素。同时考虑到各种甲骨片在成像时的角度不同，本实施例对所有甲骨图像进行了校正，使甲骨位于图像的正中位置。本实施例依据本发明提供的方法对甲骨图像进行区域划分，然后分区域用CNN的框架中进行训练，提取区域特征，建立甲骨拓片的分类模型，最后，对未知类型的甲骨拓片在进行区域分割后，利用训练好的CNN框架完成甲骨图像的分类。
(1)整体甲骨拓片分类与划分局部区域分类的对比
对甲骨区域的划分遵循本发明提供的规则，即不把“盾纹”和“齿纹”切割开。考虑到图像处理的效率，本实施例在垂直和水平方向进行区域分割(如图5所示，图5中(a)图为原图像，(b)图为横向切分图，(c)图为纵向切分图)，按照从上向下，从左向右的顺序扫描甲骨图像，完成区域分割。为了验证分割方向对分类效果的影响，本实施例对训练数据进行水平和垂直方向的分割，并把分割区域送入CNN框架进行训练，然后在分别把测试数据进行水平和垂直方向的分割，并送入训练好的模型进行分类，效果如表1所示。
表1垂直和水平方向分割的分类精度
在实验中，本实施例选取了水平和垂直方向分别进行测试。选取三分二作为训练集，三分之一作为测试集。为了验证切割方向对分类精度影响，本实施例进行了两个方向的交叉验证。实验采用了CNN的LeNet、AlexNet、GoogleNet、Vgg19Net、DenseNe、ResNet的框架，从表1中可以看出进行了区域分割的分类精度明显高于未进行区域分割的情况，且AlexNet的结构对甲骨拓片具有较好的分类精度，在水平方向的区域划分比垂直方向具有更高的精度。进一步观察发现，训练集和测试集在同方向分割，进行分类的精度，都高于不同方向分割，这也表明了数据的一致性对分类精度有一定影响。
(2)划分局部区域数量对分类精度的影响
为了更进一步量化区域分割对甲骨拓片分类精度的影响，本实施例研究了不同甲骨片划分出的不同的区域数量与分类精度的关系。实验对数据集中的所有甲骨图片按照水平方向和垂直方向进行了分割，确保“齿纹”和“盾纹”没有被切割开。把甲骨图片按照分割出来的区域数量进行归类，分析区域数量与分类精度的关系，如表2示所示。
表2划分局部区域不同数量的分类精度
根据甲骨拓片本身“盾纹”的分布，对每张图像在垂直和水平方向上分别进行分割，选择分割出区域最多的情况作为样本。完成了图像的区域分割后，本实施例筛选出了包含1个区域，2个区域，3个区域，4个区域，5个及以上区域的甲骨图片。然后分别用LeNet、AlexNet、GoogleNet、Vgg19Net、DenseNe、ResNet的结构进行训练和识别。通过对实验结果的观察发现，在分割为3个或4个区域时，对甲骨拓片的分类效果达到最好。这是因为过少的区域未能实现局部特征的表达，导致本发明提出的局部特征CNN的方法并不能很好的融合各个区域，随着划分区域的增多，CNN对各个区域的特征抽取及融合更加精准，因此本发明的方法具有较好的分类精度，而在5个及以上的区域时，过多的区域使得甲骨拓片较为破碎，对于单个区域的特征有较好的表达，而甲骨图像整体特征失真较大，所以分类精度反而下降。
(3)检测到的齿纹数量对分类的影响
在本发明中给出了甲骨边缘曲线的二阶导数被用于齿纹区域的判断，即
因此计算甲骨边缘曲线上η值，结合判定阈值就可以划分出齿纹区域。本实施例中分析了检测到的齿纹数量在甲骨分类中的影响程度。首先，本实施例根据本发明的方法，对甲骨拓片的边缘进行扫描，勾画出边缘曲线；然后，对边缘曲线上的点计算η，通过设定阈值，对达到并超过阈值上限点，且空间距离临近的聚合成为齿纹；最后，遍历整个边缘曲线，得到齿纹数量。
如图6所示，横坐标表示阈值，纵坐标表示齿纹数量，阈值设定的区间(0.1-0.8)步长为0.5，通过对训练集和测试集中的每张甲骨拓片的边缘曲线计算η值，这里用5折交叉法，分别得到训练集和测试集的齿纹数，看看出随着阈值的增加，齿纹数量也在逐步上升，在阈值0.65达到最大值，同时齿纹数量对分类的精度的影响也是同步的，图7展示的是用AlexNet网络进行训练和分类的结果，横坐标表示阈值，纵坐标表示分类精度，与图6结果一致，在阈值0.65附近达到最佳的分类精度。
(4)对“齿纹”和“盾纹”特征的标注对分类的影响
在甲骨拓片中区分龟甲和兽骨的重要特征就是甲骨上呈现的“齿纹”和“盾纹”。本实施例中还进行了对两种特征进行标注，以此训练CNN网络。本实施例选取了2/3的图片，请甲骨文研究中心的专家进行标注，作为训练集，另外1/3作为验证集。从实验结果可知采用了区域划分的方法后，Recall，Precision，F-score都有不同程度的提升，且既标注有进行区域划分，使得分类效果达到最好，vgg19net的Recall，Precision，F-score分别达到了0.897,0.875,0.884，接近了甲骨专家的人工分类结果(由于甲骨拓片本身是部分甲骨的残片，历经千年，部分残片磨损严重，该数据集，甲骨专家的分类在精度在0.92)。
本发明采用局部区域划分的卷积神经网络的方法对甲骨拓片进行分类，通过甲骨拓片上“盾纹”和“齿纹”的检测，完成在一张甲骨图片上多个区域的划分，利用CNN进行特征提取，并进一步融合，最终实现龟甲和兽骨的分类，实验结果表面，本发明所提供的方法接近专家分类效果，具有很高的实用性，同时也可为甲骨缀合、甲骨字体分类等研究提供辅助作用。
Claims (5)
1.一种基于局部CNN框架的甲骨拓片分类方法，其特征在于，所述方法包括：对甲骨拓片图像进行区域划分，将图像划分为盾纹区域、齿纹区域和非盾纹非齿纹区域；基于CNN框架对划分后的各区域进行训练，提取各区域特征，建立甲骨拓片的分类识别模型；对未知类型的甲骨拓片在进行区域分割后，利用训练好的CNN框架进行甲骨拓片的分类；
对甲骨拓片图像进行区域划分时，图像划分原则为：
将图像按照一定秩序在水平和/或垂直方向进行区域划分；对于图像像素梯度变化超过阈值的区域不进行切分，且与上部分图像合并成一个区域；对图像边缘像素进行求导，对导数不连续的边缘区域，不进行切分；在水平和/或垂直方向进行区域划分时，选择区域划分数量多的方向；对甲骨拓片图像进行区域划分时，基于Laplace算子实现对盾纹区域的划分，基于弧微分来计算甲骨边缘的各个点的曲率，并进一步判断单位长度曲率变化的情况，最终确定齿纹区域。
2.如权利要求1所述的一种基于局部CNN框架的甲骨拓片分类方法，其特征在于，所述盾纹区域的划分具体为：
对于甲骨图像f（x,y），由于Laplace算子具有各向同性的性质，因此满足
Laplace算子是梯度的散度：
由于图像是离散的二维矩阵，用差分近似微分得到
故，
（4） 其中i，j为梯度方向，通过计算的梯度
结合判定阈值划分出盾纹区域。
3.如权利要求1所述的一种基于局部CNN框架的甲骨拓片分类方法，其特征在于，所述齿纹区域的确定具体为：
对甲骨图像边缘曲线C，其方程为r=r(s)，其中s是曲线的弧长参数，
是曲线C的单位切向量场，令
令
，其中k为曲线
在s处的曲率，
为该曲线的曲率向量，
平行移动到原点，其曲线的切线象的参数方程为
将切线象的弧长元素表示为
，则甲骨图像边缘曲线C在s处的曲率可以表示
，因此，甲骨图像边缘曲线的二阶导数
；
通过计算
值，结合判定阈值划分出齿纹区域。
4.如权利要求1所述的一种基于局部CNN框架的甲骨拓片分类方法，其特征在于，基于CNN框架对划分后的各区域进行训练，提取各区域特征具体包括：
对于CNN框架的输入
，其每维表示图像宽度、高度和通道，通过卷积层计算输入图像与滤波器卷积核W并增加偏移量b，得到
其中，
表示卷积运算，
是输出，将激活函数ReLU用非线性变换层，得到
对于甲骨拓片图像的局部相应归一化层，在应用ReLU之后，变为：
其中，
表示在使用ReLU之后，在位置坐标x,y处的卷积核计算出的网络层的激活度，
表示局部响应归一化的激活度，N表示核的数量，k，n，α，β是超参数，利用最大池化层对
进行下采样，得到
其中，
是子窗口，s是滑动窗口的步长，整个全连接层是用CNN的结构，因此，局部区域的CNN特征抽取，表示为
5.如权利要求4所述的一种基于局部CNN框架的甲骨拓片分类方法，其特征在于，对于获得的每个局部区域的特征，首先，将局部区域的特征向量与其他特征向量级联作为整体特征向量F=[f 0,f 1,f 2..]，f为输入数据；然后，建立分层自动编码网络以融合这些特征并减小特征维度，并且f充当自动编码网络的输入数据，动编码网络的输出是融合的最终特征表示F；最后，通过Softmax层预测每个局部区域的类别；具体包括：假设图像I包含N个区域
，同时，每个对象区域
包含了M个像素，对于在对象
中的每个像素
，每个像素的特征为f j，每个区域特征为r j，建立图像每个区域
深度特征的块Uj=[f j,r j]用于原始的图像在像素级别的特征分类，区域
的标签主要是根据矢量Uj统计值来判定，得到
其中，矩阵W1和W2是CNN的训练参数 ，Pj是预测标签，
是对象的像素点个数，最终对象
的特征表示为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910917806.XA CN110598030B (zh) | 2019-09-26 | 2019-09-26 | 一种基于局部cnn框架的甲骨拓片分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910917806.XA CN110598030B (zh) | 2019-09-26 | 2019-09-26 | 一种基于局部cnn框架的甲骨拓片分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110598030A CN110598030A (zh) | 2019-12-20 |
| CN110598030B true CN110598030B (zh) | 2022-05-17 |
Family
ID=68863674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910917806.XA Active CN110598030B (zh) | 2019-09-26 | 2019-09-26 | 一种基于局部cnn框架的甲骨拓片分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598030B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292283B (zh) * | 2020-01-21 | 2023-02-07 | 河南大学 | 一种基于时间序列相似性计算的甲骨残片缀合方法 |
| CN111563506B (zh) * | 2020-03-18 | 2022-07-22 | 西南大学 | 基于曲线轮廓匹配的甲骨拓片缀合方法 |
| CN111539437B (zh) * | 2020-04-27 | 2022-06-28 | 西南大学 | 基于深度学习的甲骨文偏旁的检测与识别方法 |
| CN111563887B (zh) * | 2020-04-30 | 2022-04-22 | 北京航空航天大学杭州创新研究院 | 一种口腔图像的智能分析方法与装置 |
| CN111951152B (zh) * | 2020-08-10 | 2023-07-25 | 河南大学 | 一种兼顾原边连续性和断边碴口匹配度的甲骨缀合方法 |
| CN113033567B (zh) * | 2021-03-22 | 2022-11-01 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符训练方法 |
| CN113505783B (zh) * | 2021-06-11 | 2024-07-12 | 清华大学 | 基于少次学习的甲骨文单字识别方法和装置 |
| CN113362361B (zh) * | 2021-07-20 | 2023-09-05 | 辽宁师范大学 | 形态学先验约束的甲骨文字检测的图像数据集构建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872478A (zh) * | 2010-05-31 | 2010-10-27 | 徐州师范大学 | 甲骨拓片字形的计算机辅助复原方法 |
| CN102592149A (zh) * | 2012-01-04 | 2012-07-18 | 徐州师范大学 | 计算机辅助甲骨拓片分期断代方法 |
| CN106778764A (zh) * | 2016-11-18 | 2017-05-31 | 安阳师范学院 | 一种基于图像颜色特征提取的辅助甲骨片缀合方法 |
| CN107563393A (zh) * | 2017-09-14 | 2018-01-09 | 安阳师范学院 | 一种甲骨文图片局部纹理特征的提取及匹配方法及系统 |
| CN109272002A (zh) * | 2018-09-30 | 2019-01-25 | 杭州依图医疗技术有限公司 | 一种骨龄片的分类方法及装置 |
-
2019
- 2019-09-26 CN CN201910917806.XA patent/CN110598030B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872478A (zh) * | 2010-05-31 | 2010-10-27 | 徐州师范大学 | 甲骨拓片字形的计算机辅助复原方法 |
| CN102592149A (zh) * | 2012-01-04 | 2012-07-18 | 徐州师范大学 | 计算机辅助甲骨拓片分期断代方法 |
| CN106778764A (zh) * | 2016-11-18 | 2017-05-31 | 安阳师范学院 | 一种基于图像颜色特征提取的辅助甲骨片缀合方法 |
| CN107563393A (zh) * | 2017-09-14 | 2018-01-09 | 安阳师范学院 | 一种甲骨文图片局部纹理特征的提取及匹配方法及系统 |
| CN109272002A (zh) * | 2018-09-30 | 2019-01-25 | 杭州依图医疗技术有限公司 | 一种骨龄片的分类方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| A Classification Method of Oracle Materials Based on Local Convolutional Neural Network Framework;Shanxiong Chen 等;《IEEE Computer Graphics and Applications》;20200601;第40卷(第3期);32-44 * |
| 一种基于深度学习的古彝文识别方法;陈善雄 等;《浙江大学学报（理学版）》;20190531;第46卷(第3期);261-269 * |
| 基于阈值分割和形态学的甲骨拓片文字定位方法;史小松 等;《北京信息科技大学学报》;20141231;第29卷(第6期);7-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110598030A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598030B (zh) | 一种基于局部cnn框架的甲骨拓片分类方法 | |
| Jahedsaravani et al. | An image segmentation algorithm for measurement of flotation froth bubble size distributions | |
| CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| Xu et al. | Computerized classification of prostate cancer gleason scores from whole slide images | |
| CN112150442A (zh) | 基于深度卷积神经网络及多实例学习的新冠诊断系统 | |
| EP1699016A2 (en) | Method and apparatus for automated analysis of biological specimen | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| Naresh et al. | Early detection of lung cancer using neural network techniques | |
| CN108921201A (zh) | 基于特征组合与cnn的大坝缺陷识别与分类方法 | |
| CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN101551854A (zh) | 不平衡医学影像处理系统及其处理方法 | |
| CN107492084A (zh) | 基于随机性的典型成团细胞核图像合成方法 | |
| CN114998103A (zh) | 一种基于孪生网络的点云文物碎片的三维虚拟拼接方法 | |
| Wang et al. | Crack image recognition on fracture mechanics cross valley edge detection by fractional differential with multi-scale analysis | |
| Yang et al. | Enhanced U-Net model for rock pile segmentation and particle size analysis | |
| Zhang et al. | A novel concavity based method for automatic segmentation of touching cells in microfluidic chips | |
| CN110910497A (zh) | 实现增强现实地图的方法和系统 | |
| Eslami et al. | Comparison of deep convolutional neural network classifiers and the effect of scale encoding for automated pavement assessment | |
| Warren et al. | Grain and grain boundary segmentation using machine learning with real and generated datasets | |
| CN116311387B (zh) | 一种基于特征交集的跨模态行人重识别方法 | |
| Hristov et al. | A software system for classification of archaeological artefacts represented by 2D plans | |
| CN106997601B (zh) | 基于粘性流体粒子运动模型的视频序列分类方法 | |
| Yancey | Deep Feature Fusion for Mitosis Counting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |