CN109919162B - 用于输出mr图像特征点描述向量符的模型及其建立方法 - Google Patents
用于输出mr图像特征点描述向量符的模型及其建立方法 Download PDFInfo
- Publication number
- CN109919162B CN109919162B CN201910071757.2A CN201910071757A CN109919162B CN 109919162 B CN109919162 B CN 109919162B CN 201910071757 A CN201910071757 A CN 201910071757A CN 109919162 B CN109919162 B CN 109919162B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- training
- classification
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明涉及用于输出MR图像特征点描述向量符的模型及其建立方法，包括以下步骤：1：构建基础的卷积神经网络，并利用ImageNet图像库训练基础神经网络，得到分类模型；2、从MR图像库中查找符合查询标准Q的图像，将图像进行分类并标记，将标记后的图像加入到MR训练图像库中；3、利用MR训练图像库中的图像对分类模型进行训练；4、训练完毕后，改变分类模型的全连接层的输出方式，改变后的全连接层用于输出输入的图像的特征描述向量，模型建立完成。本发明的模型首先经过了普适性训练，然后又经过了MR图像的针对性训练，因此模型的准确度高，适应性强。
Description
技术领域
本发明涉及输出图像特征点描述向量符的方法，具体涉及用于输出MR图像特征点描述向量符的模型及其建立方法。
背景技术
历年以来，在医学影像特征点描述符的研究方面，世界上众多的研究人员进行了深入的研究，发表了大量的文献。以SIFT算法为主的特征点描述符构造方法，以及在SIFT基础上改进而来的SURF、PCA-SIFT等一系列方法。
最早特征点描述符为局部微分算子。Florack等组合了一系列算子构建了具有旋转不变性的微分不变式描述符。Schmid和Mohr发展了局部微分算子，使其对灰度值具有不变性并应用于图像检索。Freeman和Adelson通过线性组合一些列基本滤波器，构成一个稳定滤波器，并用于图像处理的方向、尺度选择任务中。另外Gabor滤波器和小波变换也可以用于在频域描述图像的局部纹理特征。而SIFT(Scale Invariant Feature Transform)描述符具有尺度不变性，很强的鲁棒性，在光照变化、尺度变化、噪声和遮挡等因素的影响时对局部特征的描述仍有出色的表现。基于SIFT的改进描述符PCA-SIFT(PrincipalComponent Analysis SIFT)算子将SIFT的128维特征向量降低到36维，加快了匹配速度，但性能逊于SIFT算法；GLOH(Gradient Location-Orientation Histogram)算子其独特性要优于SIFT，但是计算复杂度更大。Bay提出的SURF(Speeded Up Robust Features)描述符计算Haar小波在特征点局部邻域积分图像的高斯加权的响应，获得64/128维的特征描述符。该算法在独特性和鲁棒性上优于SIFT算法。唐永鹤等提出带符号对比上下文直方图(SCCH)的特征描述符，对灰度变化、尺度缩放、模糊有较好的鲁棒性，并具有较快的匹配速度。
尽管SIFT、SURF等描述符在模式识别、目标检测等视觉计算领域获得了很大的成功，但是它们所固有的对局部邻域的描述方法，无法解决图像存在较大变形时的描述问题，在图像中存在多个相似的局部区域时易发生错误。针对局部邻域描述符存在的问题，也出现了一些变形特征点描述符，譬如，Ling所提出的基于测量距离的GIH算法，该方法假设图像在不同方向上产生的变形是同方性的，然而实际情况并非总是如此。Tian基于Hilbert扫描提出了一种低复杂度的变形描述符，但是，如果兴趣点处于Hilbert扫描线分支上时，该算法将失效。Chen提出了变形局部描述模型LGS(Local-to-Global Similarity)，对一个兴趣点采用多尺度的支持域，从全局到局部对兴趣点进行描述。该模型并非直接描述可能存在的形变，其采用的尺度支持域以兴趣点为中心，不能正确表现所发生的形变，且计算复杂度较大。
发明内容
本发明所要解决的技术问题是提供用于输出MR图像特征点描述向量符的模型及其建立方法，MR图像，即核磁共振影像。
本发明解决上述技术问题的技术方案如下：
用于输出MR图像特征点描述向量符的模型的建立方法，包括以下步骤：
步骤1：构建基础卷积神经网络，使用ImageNet图像库中不同类别的大量图像训练基础神经网络，得到分类模型；
步骤2、从MR图像库中查找符合查询标准Q的MR图像，将符合查询标准Q的MR图像按照预设类别进行分类，并在MR图像上标记类别，将标记后的MR图像加入到MR训练图像库中；
步骤3、从MR训练图像库中选取图像并将图像输入分类模型，利用分类模型对图像进行分类处理，得到图像属于预设类别中某一类别的概率并输出概率值；
步骤4、将上一步得到的概率值输入损失函数中，利用损失函数计算损失值，损失值用于判断分类模型的分类准确率，若损失值大于或等于预设阈值，将损失值向后传播到优化器，优化器根据损失值自动更新分类模型的参数，并重复步骤2-4，若计算得到的损失值小于预设阈值,则转入下一步骤；
步骤5、改变分类模型的全连接层的输出方式，改变后的全连接层用于输出输入的图像的特征描述向量，模型建立完成。
用于输出MR图像特征点描述向量符的模型，包括卷积层、池化层和全连接层，所述卷积层和池化层为基础卷积层和基础池化层由ImageNet图像库训练后得到，所述全连接层为基础全连接层由MR训练图像库训练后得到，所述MR训练图像库的建立方法为：从MR图像库中查找符合查询标准Q的MR图像，将符合查询标准Q的MR图像按照预设类别进行分类，并在MR图像上标记类别，将标记后的MR图像加入到MR训练图像库中。
进一步的，所述查询标准Q为：设定候选项图像为Ci，将Ci分解为m个图像块，即
将Ci输入分类模型，分类模型对Ci分类后得到的图像分类概率为Y，将m个图像块分别输入分类模型，分类模型对每个图像块分类后得到每个图像块对应的图像块分类概率，判断每一个图像块的图像块分类概率是否大于Y，设其中j个图像块的图像块分类概率大于Y，n个图像块的图像块分类概率小于Y，若j＞n,则将图像块分类概率大于Y的m个图像块选出，若j＜n,则将图像块分类概率小于Y的n个图像块选出，设选出的图像块集合为U，
分别计算U中每一个图像块的熵值，图像块
的熵为
其中，
为图像块
的图像块分类概率，将U中每一个图像块的熵值加和，得到熵总值；将集合U中的图像块两两组合分别计算多样性数值，
图像块
和
的多样性计算公式为：
共计算得到k个多样性数值,将k个多样性数值加和，得到多样性总值，判断是否熵总值大于第一预设阈值且多样性总值大于第二预设阈值，则判定候选项图像Ci符合查询标准Q，若否，则判定候选项图像Ci不符合查询标准Q。
本发明的有益效果为：本发明首先采用常规训练方法训练模型，训练模型的普适性，得到分类模型，本发明可以利用查询标准Q从MR图像库中查找对CNN训练贡献的价值较高的图像，建立MR训练图像库，提高训练效果，利用MR训练图像库中的图像对分类模型进行训练和优化，优化完毕后，改变全连接层的输出方式，即得到了用于输出MR图像特征点描述向量符的模型及其建立方法，本发明的模型首先经过了普适性训练，然后又经过了MR图像的针对性训练，因此模型的准确度高，适应性强，本次发明使用基于卷积神经网络的模型可以自动的学习并且输出特征点的描述符，同时在应对复杂图像形变情况下，或者图像形变较大等问题具有良好的稳定性。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习。同时卷积神经网络以其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取过程中数据重建的复杂度。
附图说明
图1为本发明的方法流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
卷积神经网络(Convolutional Neural Networks)是人工神经网络的一种，已成为当前图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。迁移学习是利用已有的知识对不同但相关领域问题进行求解的一种新的机器学习方法，最近有很多研究显示，迁移学习在提升网络模型效率方面有很出色的表现。基于深度卷积神经网络和迁移学习模型的特征点检测方法如下：
用于输出MR图像特征点描述向量符的模型的建立方法，包括以下步骤：
步骤1：构建基础卷积神经网络，使用ImageNet图像库中不同类别的大量图像训练基础神经网络，得到分类模型；
对于分类模型，需要有效的方法进行优化。由于在真实的数据分析场景中，我们可以获取海量的数据，但是这些数据都是未标注数据，很多经典的分类算法并不能直接使用。但是数据标注的代价是很大的，即使我们只标注几千或者几万训练数据，标注数据的时间和金钱成本也是巨大的。从而导致学习的效率。但是使用主动学习的方法却给出了很强的指导方向，比如，利用一定的查询标准可以直接剔除一些无效的或者信息含量低的数据，从而得到目标数据再进行标记。直观上，熵捕获分类的确定性越高，不确定性值越大，表示信息的程度越高；多样性表示预测一致性，而多样性值则表示预测不一致的程度。因此，熵值越高、多样性越高的候选图像，对提升CNN目前的表现贡献越大。因此，需要利用查询标准Q，选择对CNN训练贡献的价值较高的图片，加入MR训练图像库中。
本实施例中，所述查询标准Q为：
设定候选项图像为Ci，将Ci分解为m个图像块，即
将Ci输入分类模型，分类模型对Ci分类后得到的图像分类概率为Y，将m个图像块分别输入分类模型，分类模型对每个图像块分类后得到每个图像块对应的图像块分类概率，判断每一个图像块的图像块分类概率是否大于Y，设其中j个图像块的图像块分类概率大于Y，n个图像块的图像块分类概率小于Y，若j＞n,则将图像块分类概率大于Y的m个图像块选出，若j＜n,则将图像块分类概率小于Y的n个图像块选出，设选出的图像块集合为U，
分别计算U中每一个图像块的熵值，图像块
的熵为
其中，
为图像块
的图像块分类概率，将U中每一个图像块的熵值加和，得到熵总值；将集合U中的图像块两两组合分别计算多样性数值，
图像块
和
的多样性计算公式为：
共计算得到k个多样性数值,将k个多样性数值加和，得到多样性总值，判断是否熵总值大于第一预设阈值且多样性总值大于第二预设阈值，则判定候选项图像Ci符合查询标准Q，若否，则判定候选项图像Ci不符合查询标准Q。
步骤2、从MR图像库中查找符合查询标准Q的MR图像，将符合查询标准Q的MR图像按照预设类别进行分类，并在MR图像上标记类别，将标记后的MR图像加入到MR训练图像库中；
步骤3、从MR训练图像库中选取图像并将图像输入分类模型，利用分类模型对图像进行分类处理，得到图像属于预设类别中某一类别的概率并输出概率值；
步骤4、将上一步得到的概率值输入损失函数中，利用损失函数计算损失值，损失值用于判断分类模型的分类准确率，若损失值大于或等于预设阈值，将损失值向后传播到优化器，优化器根据损失值自动更新分类模型的参数，并重复步骤2-4，若计算得到的损失值小于预设阈值,则转入下一步骤；
步骤5、改变分类模型的全连接层的输出方式，改变后的全连接层用于输出输入的图像的特征描述向量，模型建立完成。
为分类模型由MR训练图像库训练后得到，所述分类模型为基础卷积神经网络由ImageNet图像库训练后得到，所述MR训练图像库的建立方法为：从MR图像库中查找符合查询标准Q的MR图像，将符合查询标准Q的MR图像按照预设类别进行分类，并在MR图像上标记类别，将标记后的MR图像加入到MR训练图像库中。
本发明首先通过ImageNet图像库，使用大量的不同类别图像对基础网络进行普适性训练，从而得到泛化能力好，分类准确度高的分类模型；然后使用MR训练图像库对基础全连接层进行针对MR图像的训练，MR训练图像库中为分类并标记后的MR图像，训练完成之后，改变分类模型的全连接层的输出方式，改变后的全连接层用于输出输入的图像的特征描述向量，模型建立完成。
建立好之后的模型的第一层是输入层，输入层是直接输入一幅64*64大小的RGB图像，卷积层是由输入层的图像经过64个能提取不同纹理细节特征的3*3大小的卷积核对输入图像进行卷积得到特征映射图，因此也称为特征映射层。该层把一个单一的输入图像通过多个的卷积核得出多个卷积图像，卷积核能保持特定局部纹理信息。该层利用图像局部相关性的原理对图像进行子抽样，可以减少数据处理量，同时保留图像的整体结构信息，重复上述过程，改变卷积核个数，最终得到512维度的卷积特征图，最后通过全连接层输出1x128维度的特征点描述符。
在最终的应用中，待检测MR图像通过DOG和Harris算子提取特征点，之后根据特征点对图像进行截取为64*64大小的图像块(patches)，输入到本发明的模型中，即可得到图像块的特征点描述符向量。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.用于输出MR图像特征点描述向量符的模型的建立方法，其特征在于，包括以下步骤：
步骤1：构建基础卷积神经网络，使用ImageNet图像库中不同类别的大量图像训练基础神经网络，得到分类模型；
步骤2、从MR图像库中查找符合查询标准Q的MR图像，将符合查询标准Q的MR图像按照预设类别进行分类，并在MR图像上标记类别，将标记后的MR图像加入到MR训练图像库中；
步骤3、从MR训练图像库中选取图像并将图像输入分类模型，利用分类模型对图像进行分类处理，得到图像属于预设类别中某一类别的概率并输出概率值；
步骤4、将上一步得到的概率值输入损失函数中，利用损失函数计算损失值，损失值用于判断分类模型的分类准确率，若损失值大于或等于预设阈值，将损失值向后传播到优化器，优化器根据损失值自动更新分类模型的参数，并重复步骤2-4，若计算得到的损失值小于预设阈值,则转入下一步骤；
步骤5、改变分类模型的全连接层的输出方式，改变后的全连接层用于输出输入的图像的特征描述向量，模型建立完成；
所述查询标准Q为：
设定候选项图像为Ci，将Ci分解为m个图像块，即
，
将Ci输入分类模型，分类模型对Ci分类后得到的图像分类概率为Y，将m个图像块分别输入分类模型，分类模型对每个图像块分类后得到每个图像块对应的图像块分类概率，判断每一个图像块的图像块分类概率是否大于Y，设其中j个图像块的图像块分类概率大于Y，n个图像块的图像块分类概率小于Y，若j＞n,则将图像块分类概率大于Y的m个图像块选出，若j＜n,则将图像块分类概率小于Y的n个图像块选出，设选出的图像块集合为U，U=
，分别计算U中每一个图像块的熵值，图像块
的熵为
，其中， 
为图像块
的图像块分类概率，将U中每一个图像块的熵值加和，得到熵总值；将集合U中的图像块两两组合分别计算多样性数值，共计算得到k个多样性数值,将k个多样性数值加和，得到多样性总值，判断是否熵总值大于第一预设阈值且多样性总值大于第二预设阈值，则判定候选项图像Ci符合查询标准Q，若否，则判定候选项图像Ci不符合查询标准Q。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910071757.2A CN109919162B (zh) | 2019-01-25 | 2019-01-25 | 用于输出mr图像特征点描述向量符的模型及其建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910071757.2A CN109919162B (zh) | 2019-01-25 | 2019-01-25 | 用于输出mr图像特征点描述向量符的模型及其建立方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919162A CN109919162A (zh) | 2019-06-21 |
| CN109919162B true CN109919162B (zh) | 2021-08-10 |
Family
ID=66960816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910071757.2A Active CN109919162B (zh) | 2019-01-25 | 2019-01-25 | 用于输出mr图像特征点描述向量符的模型及其建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919162B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689960B (zh) * | 2019-09-24 | 2022-08-09 | 广州大学 | 一种乳腺癌的智能判别方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530338A (zh) * | 2016-10-31 | 2017-03-22 | 武汉纺织大学 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
| CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9858661B2 (en) * | 2013-06-13 | 2018-01-02 | The Charles Stark Draper Laboratory, Inc. | Detecting species diversity by image texture analysis |
| CN108319686B (zh) * | 2018-02-01 | 2021-07-30 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
-
2019
- 2019-01-25 CN CN201910071757.2A patent/CN109919162B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530338A (zh) * | 2016-10-31 | 2017-03-22 | 武汉纺织大学 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
| CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis:Actively and Incrementally;Zongwei Zhou et al;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171109;第3-4节 * |
| 基于深度网络的眼底图像语义标注研究及应用;王子朋;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815;第2018年卷(第8期);I138-576 * |
| 改进的卷积神经网络图片分类识别方法;闫河等;《计算机应用与软件》;20181231;第1.1节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919162A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Noh et al. | Large-scale image retrieval with attentive deep local features | |
| Li et al. | Recent developments of content-based image retrieval (CBIR) | |
| CN107679250B (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
| Tzelepi et al. | Deep convolutional learning for content based image retrieval | |
| CN108132968B (zh) | 网络文本与图像中关联语义基元的弱监督学习方法 | |
| CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
| Ghrabat et al. | An effective image retrieval based on optimized genetic algorithm utilized a novel SVM-based convolutional neural network classifier | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
| CN108304573A (zh) | 基于卷积神经网络和监督核哈希的目标检索方法 | |
| CN111339343A (zh) | 图像检索方法、装置、存储介质及设备 | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| Buvana et al. | Content-based image retrieval based on hybrid feature extraction and feature selection technique pigeon inspired based optimization | |
| CN107704509B (zh) | 一种联合稳定区域与深度学习的重排序方法 | |
| Mehrjardi et al. | A survey on deep learning-based image forgery detection | |
| Taheri et al. | Effective features in content-based image retrieval from a combination of low-level features and deep Boltzmann machine | |
| Al-Jubouri et al. | A comparative analysis of automatic deep neural networks for image retrieval | |
| López-Cifuentes et al. | Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss | |
| CN109919162B (zh) | 用于输出mr图像特征点描述向量符的模型及其建立方法 | |
| Wei et al. | A novel color image retrieval method based on texture and deep features | |
| Moustafa et al. | Learning to Hash with Convolutional Network for Multi-label Remote Sensing Image Retrieval. | |
| Li et al. | A new algorithm of vehicle license plate location based on convolutional neural network | |
| CN115100694A (zh) | 一种基于自监督神经网络的指纹快速检索方法 | |
| Jun et al. | Two-view correspondence learning via complex information extraction | |
| CN112465024A (zh) | 基于特征聚类的图像模式挖掘方法 | |
| KR101913140B1 (ko) | 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |