CN109711382A - 一种基于深度学习的可视化定位方法 - Google Patents
一种基于深度学习的可视化定位方法 Download PDFInfo
- Publication number
- CN109711382A CN109711382A CN201910011058.9A CN201910011058A CN109711382A CN 109711382 A CN109711382 A CN 109711382A CN 201910011058 A CN201910011058 A CN 201910011058A CN 109711382 A CN109711382 A CN 109711382A
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- improved
- resnet
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的可视化定位方法，包括以下步骤：A、选择ResNet_34网络模型作为研究对象，并对ResNet_34网络模型进行合适的改进；B、对三维图像进行预处理，得到提取后的图像；C、改进模型关于图像分类和物体检测的算法，提高分类和检测物体的准确度；D、改进网络关于物体定位的算法，采用热力图成像达到定位效果；E、采用DPN双通道网络和基本聚类的算法改进ResNet_34网络模型，提高定位的准确度；本发明采用的定位方法能够提高图像的可视化定位效果，而且定位速度快，准确度高。
Description
技术领域
本发明属于图像处理及可视化定位技术领域，具体为一种基于深度学习的可视化方法。
背景技术
可视化（Visualization）是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。定位可以理解为计算机视觉通过对卷积神经网络的feature map后的Global Average Pooling（GAP）层，把那些用于Softmax分类但却已经失去spatial信息的一维特征向量在各个类别上的response映射回带有spatial信息的feature map上去可以辨识出图像的主要目标：图片中物体的突出特征区域，并进行定位。通过深度学习技术使计算机能够分析出一幅图片或者一段视频中的物体的突出特征，这一可视化定位技术在计算机视觉中具有突破性意义，使计算机具有了分析判断主体的功能，并使计算机视觉变得更加智能。
发明内容
本发明的目的在于提供一种基于深度学习的可视化定位方法，该方法设计过程简单清晰，并且能取得良好的定位效果。
本发明采用如下技术方案：
一种基于深度学习的可视化定位方法,其特征在于：具体包括以下步骤：
A、选择ResNet_34网络模型作为研究对象，并对ResNet_34网络模型进行合适的改进；
B、对三维图像进行预处理，得到提取后的图像；
C、改进模型关于图像分类和物体检测的算法，提高分类和检测物体的准确度；
D、改进网络关于物体定位的算法，采用热力图成像达到定位效果；
E、采用DPN双通道网络和基本聚类的算法改进ResNet_34网络模型，提高定位的准确度。
作为一种优选的实施方式，步骤A所述的对ResNet_34网络模型改进方法如下：
去掉ResNet_34网络模型的最后一层，并用transfer layer和Pooling layer替代。
作为一种优选的实施方式，步骤B所述的对三维图像进行预处理方法如下：
a、对于色偏、过饱和或饱和度不足的彩色图像，采用PIL工具中的ImageEnhance模块，进行色彩平衡调整、亮度调整、对比度调整；
b、使用高斯滤波器，滤波模板核尺寸设置为3×3，再一次滤除噪声，平滑图像。
作为一种优选的实施方式，步骤C所述的改进模型关于图像分类和物体检测的算法方法如下：
a、采用迁移学习算法对图像分类和物体检测算法进行改进；
b、采用sigmoid激活函数，增强网络模型的非线性，提高网络模型的训练速度；
c、采用Batchnorm对数据做归一化，不仅能提升模型训练速度，大大加快收敛速度，还能增加分类效果。
作为一种优选的实施方式，步骤E所述的改进网络关于物体定位的算法如下：
a、在ResNeXt算法的基础上引入了DenseNet的核心内容，使得模型对特征的利用更加充分；
b、采用互熵损失（cross-entropy cost function）函数，增强网络模型的鲁棒性；
c、采用dropout作用在layer上面，降低节点之间的耦合度，使节点对于其他节点不再那么敏感，实现更好的模型正则化。
作为一种优选的实施方式，步骤E之后设置有步骤F：通过caffe框架、python程序、opencv视觉工具，仿真出相应的热力图来定位物体的突出特征，并能够尽可能多的定位目标区域；将改进后的ResNet_34网络模型放入到ImageNet测试定位的准确度。
与现有技术相比，本发明的有益效果是：
（1）本发明采用的图像预处理方法，具有实现复杂度低、降噪性能好的特点；
（2）本发明采用的分类方法能够提高图像的分类效果，而且分类精度高，有效的提高了分类准确性；
（3）本发明采用DPN双通道网络和基本聚类的算法改进ResNet_34网络模型，降低成本，提高定位的准确度；
（4）本发明采用热力图成像达到定位效果。
附图说明
图1为本发明流程图。
图2为残差网络的基本组成结构图。
图3为可视化定位效果图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于深度学习的可视化定位方法,包括以下步骤：
A、选择ResNet_34网络模型作为研究对象，并对ResNet_34网络模型进行合适的改进；
B、对三维图像进行预处理，得到提取后的图像；
C、改进模型关于图像分类和物体检测的算法，提高分类和检测物体的准确度；
D、改进网络关于物体定位的算法，采用热力图成像达到定位效果；
E、采用DPN双通道网络和基本聚类的算法改进ResNet_34网络模型，提高定位的准确度。
本发明中，步骤A中对ResNet_34网络模型改进方法如下：
去掉ResNet_34网络模型的最后一层，并用transfer layer和Pooling layer替代。
本发明中，步骤B中对三维图像进行预处理方法如下：
a、对于色偏、过饱和或饱和度不足的彩色图像，采用PIL工具中的ImageEnhance模块，进行色彩平衡调整、亮度调整、对比度调整；
b、使用高斯滤波器，滤波模板核尺寸设置为3×3，再一次滤除噪声，平滑图像。
本发明采用的图像预处理方法能够实现对原始图像数据的降噪，具有实现复杂度低、降噪性能好的特点。
本发明中，步骤C中改进模型关于图像分类和物体检测的算法方法如下：
a、采用迁移学习算法对图像分类和物体检测算法进行改进；
b、采用sigmoid激活函数，增强网络模型的非线性，提高网络模型的训练速度；
c、采用Batchnorm对数据做归一化，不仅能提升模型训练速度，大大加快收敛速度，还能增加分类效果；
d、探索模型对其他数据集的泛化能力，只需重新训练softmax分类器。
本发明采用的分类方法能够提高图像的分类效果，而且分类精度高，有效的提高了分类准确性。
本发明中，步骤E中改进网络关于物体定位的算法如下：
a、在ResNeXt算法的基础上引入了DenseNet的核心内容，使得模型对特征的利用更加充分；
b、采用互熵损失（cross-entropy cost function）函数，增强网络模型的鲁棒性；
c、采用dropout作用在layer上面，降低节点之间的耦合度，使节点对于其他节点不再那么敏感，实现更好的模型正则化。
本发明中，步骤E之后设置有步骤F：通过caffe框架、python程序、opencv视觉工具，仿真出相应的热力图来定位物体的突出特征，并能够尽可能多的定位目标区域；将改进后的ResNet_34网络模型放入到ImageNet测试定位的准确度。
本发明采用DPN双通道网络和基本聚类的算法改进ResNet_34网络模型，降低成本，提高定位的准确度，并采用热力图成像达到定位效果。
综上所述，本发明采用的定位方法能够提高图像的可视化定位效果，而且定位速度快，准确度高。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于深度学习的可视化定位方法,其特征在于：包括以下步骤：
A、选择ResNet_34_34网络模型作为研究对象，并对ResNet_34网络模型进行合适的改进；
B、对三维图像进行预处理，得到提取后的图像；
C、改进模型关于图像分类和物体检测的算法，提高分类和检测物体的准确度；
D、改进网络关于物体定位的算法，采用热力图成像达到定位效果；
E、采用DPN双通道网络和基本聚类的算法改进ResNet_34网络模型，提高定位的准确度。
2.根据权利要求1所述的一种基于深度学习的可视化定位方法，其特征在于：所述步骤A中对ResNet_34网络模型改进方法如下：
去掉ResNet_34网络模型的最后一层，并用transfer layer和Pooling layer替代。
3.根据权利要求1所述的一种基于深度学习的可视化定位方法，其特征在于：所述步骤B中对三维图像进行预处理方法如下：
a、对于色偏、过饱和或饱和度不足的彩色图像，采用PIL工具中的ImageEnhance模块，进行色彩平衡调整、亮度调整、对比度调整；
b、使用高斯滤波器，滤波模板核尺寸设置为3×3，再一次滤除噪声，平滑图像。
4.根据权利要求1所述的一种基于深度学习的可视化定位方法，其特征在于：所述步骤C中改进模型关于图像分类和物体检测的算法方法如下：
a、采用迁移学习算法对图像分类和物体检测算法进行改进；
b、采用sigmoid激活函数，增强网络模型的非线性，提高网络模型的训练速度；
c、采用Batchnorm对数据做归一化，不仅能提升模型训练速度，大大加快收敛速度，还能增加分类效果；
d、探索模型对其他数据集的泛化能力，只需重新训练softmax分类器。
5.根据权利要求1所述的一种基于深度学习的可视化定位方法，其特征在于：所述步骤E中改进网络关于物体定位的算法如下：
a、在ResNeXt算法的基础上引入了DenseNet的核心内容，使得模型对特征的利用更加充分；
b、采用互熵损失（cross-entropy cost function）函数，增强网络模型的鲁棒性；
c、采用dropout作用在layer上面，降低节点之间的耦合度，使节点对于其他节点不再那么敏感，实现更好的模型正则化。
6.根据权利要求1所述的一种基于深度学习的可视化定位方法，其特征在于：所述步骤E之后设置有步骤F：通过caffe框架、python程序、opencv视觉工具，仿真出相应的热力图来定位物体的突出特征，并能够尽可能多的定位目标区域；将改进后的ResNet_34网络模型放入到ImageNet测试定位的准确度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910011058.9A CN109711382A (zh) | 2019-01-07 | 2019-01-07 | 一种基于深度学习的可视化定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910011058.9A CN109711382A (zh) | 2019-01-07 | 2019-01-07 | 一种基于深度学习的可视化定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711382A true CN109711382A (zh) | 2019-05-03 |
Family
ID=66260809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910011058.9A Pending CN109711382A (zh) | 2019-01-07 | 2019-01-07 | 一种基于深度学习的可视化定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711382A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392925A (zh) * | 2017-08-01 | 2017-11-24 | 西安电子科技大学 | 基于超像素编码和卷积神经网络的遥感影像地物分类方法 |
| US20180174031A1 (en) * | 2016-10-10 | 2018-06-21 | Gyrfalcon Technology Inc. | Implementation Of ResNet In A CNN Based Digital Integrated Circuit |
| CN109086826A (zh) * | 2018-08-06 | 2018-12-25 | 中国农业科学院农业资源与农业区划研究所 | 基于图像深度学习的小麦干旱识别方法 |
| CN109145944A (zh) * | 2018-07-11 | 2019-01-04 | 哈尔滨工程大学 | 一种基于纵向三维图像深度学习特征的分类方法 |
-
2019
- 2019-01-07 CN CN201910011058.9A patent/CN109711382A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180174031A1 (en) * | 2016-10-10 | 2018-06-21 | Gyrfalcon Technology Inc. | Implementation Of ResNet In A CNN Based Digital Integrated Circuit |
| CN107392925A (zh) * | 2017-08-01 | 2017-11-24 | 西安电子科技大学 | 基于超像素编码和卷积神经网络的遥感影像地物分类方法 |
| CN109145944A (zh) * | 2018-07-11 | 2019-01-04 | 哈尔滨工程大学 | 一种基于纵向三维图像深度学习特征的分类方法 |
| CN109086826A (zh) * | 2018-08-06 | 2018-12-25 | 中国农业科学院农业资源与农业区划研究所 | 基于图像深度学习的小麦干旱识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| THIBAUT DURAND ET AL: "WILDCAT: Weakly Supervised Learning of Deep ConvNets for Image Classification, Pointwise Localization and Segmentation", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 丁进勇 等: "卷积神经网络在目标检测中的应用综述", 《计算机科学》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598268B (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
| CN108615226B (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
| CN107808132A (zh) | 一种融合主题模型的场景图像分类方法 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| CN109859171A (zh) | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 | |
| WO2018052587A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN108009509A (zh) | 车辆目标检测方法 | |
| CN108509920B (zh) | 基于CNN的多patch多通道联合特征选择学习的人脸识别方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN106682569A (zh) | 一种基于卷积神经网络的快速交通标识牌识别方法 | |
| CN110378288A (zh) | 一种基于深度学习的多级时空运动目标检测方法 | |
| CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN108734719A (zh) | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN108364278B (zh) | 一种岩心裂缝提取方法和系统 | |
| CN104616026B (zh) | 一种面向智能视频监控的监控场景类型辨识方法 | |
| CN107909081A (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN106529494A (zh) | 一种基于多摄像头机型的人脸识别方法 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN108345900B (zh) | 基于颜色纹理分布特征的行人重识别方法及其系统 | |
| CN112819096B (zh) | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 | |
| CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| CN105809716A (zh) | 融合超像素与三维自组织背景减除法的前景提取方法 | |
| CN111178121A (zh) | 基于空间特征和深度特征强化技术的害虫图像定位识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190503 |
|
| WD01 | Invention patent application deemed withdrawn after publication |