CN111598226B - 一种用于图像识别的卷积网络可视化方法及装置 - Google Patents

一种用于图像识别的卷积网络可视化方法及装置 Download PDF

Info

Publication number
CN111598226B
CN111598226B CN202010417491.5A CN202010417491A CN111598226B CN 111598226 B CN111598226 B CN 111598226B CN 202010417491 A CN202010417491 A CN 202010417491A CN 111598226 B CN111598226 B CN 111598226B
Authority
CN
China
Prior art keywords
image
caffe
neural network
convolutional neural
docker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010417491.5A
Other languages
English (en)
Other versions
CN111598226A (zh
Inventor
吴振东
李锐
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Scientific Research Institute Co Ltd
Original Assignee
Shandong Inspur Scientific Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Scientific Research Institute Co Ltd filed Critical Shandong Inspur Scientific Research Institute Co Ltd
Priority to CN202010417491.5A priority Critical patent/CN111598226B/zh
Publication of CN111598226A publication Critical patent/CN111598226A/zh
Application granted granted Critical
Publication of CN111598226B publication Critical patent/CN111598226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开一种用于图像识别的卷积网络可视化方法及装置，涉及人工智能深度学习可视领域；利用Docker容器载入ubuntu镜像，基于docker安装Caffe，利用Docker容器封装前端深度学习可视化工具箱，基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数；通过利用卷积神经网络可视化技术，对整个图像识别过程进行图像化可视解释，有利于对图像做出更加准确的判断，同时对结果提供更有说服力的依据。

Description

一种用于图像识别的卷积网络可视化方法及装置
技术领域
本发明公开一种可视化方法及装置，涉及人工智能深度学习可视领域，具体地说是一种用于图像识别的卷积网络可视化方法及装置。
背景技术
深度学习作为大数据分析所涉及的关键技术之一，克服了传统机器学习算法依赖人为特征建立与筛选的限制，在语音识别、视觉对象识别、目标检测、药物发现等诸多领域都取得了较好的实践结果。以深度学习为代表的“特征学习”，让计算机能以大数据为基础自动寻找目标的高维相关特征值，建立数据处理通道模型，实现全自动的智能处理流程，完成在指定应用场景下的目标的检测、分割、分类及预测等任务。
深度学习中的卷积神经网络，常被用于图像识别，建立模型，进行有效识别，但其卷积计算的过程和识别结果，目前还没有完善的检测跟踪以及直观的展示解释方式，导致卷积神经网络所做出的决策往往难以被大众接收，而使应用不能全面推广。
发明内容
本发明针对现有技术的问题，提供一种用于图像识别的卷积网络可视化方法及装置，通过利用卷积神经网络可视化技术，对整个图像识别过程进行图像化可视解释，有利于对图像做出更加准确的判断，同时对结果提供更有说服力的依据。
本发明提出的具体方案是：
一种用于图像识别的卷积网络可视化方法：利用Docker容器载入ubuntu镜像，基于docker安装Caffe，
利用Docker容器封装前端深度学习可视化工具箱，
基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数。
所述的一种用于图像识别的卷积网络可视化方法中所述安装Caffe过程：
利用Docker容器，使用docker pull命令来载入ubuntu镜像：docker pullUbuntu，
基于docker安装Caffe：docker pull elezar/caffe:cpu，
在交互模式下运行Caffe镜像。
所述的一种用于图像识别的卷积网络可视化方法中基于Caffe网络架构，利用Caffe内预制相关的卷积神经网络模型和/或利用其他系统的卷积神经网络模型识别图像。
所述的一种用于图像识别的卷积网络可视化方法中所述获取其他系统的卷积神经网络模型过程：
将其他系统的卷积神经网络模型所在文件路径挂载到Docker容器，
并在Docker容器的配置文件中进行对应的设置。
所述的一种用于图像识别的卷积网络可视化方法中图像识别及逐层展示过程：
通过深度学习可视化工具箱上传原始图像，
Caffe利用相应的卷积神经网络模型识别图像，并将识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱，
深度学习可视化工具箱对卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数进行展示。
一种用于图像识别的卷积网络可视化系统，包括创建模块、封装模块、识别模块及展示模块
创建模块利用Docker容器载入ubuntu镜像，基于docker安装Caffe，
封装模块利用Docker容器封装前端深度学习可视化工具箱，
识别模块基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，展示模块通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数。
一种用于图像识别的卷积网络可视化装置，包括至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种用于图像识别的卷积网络可视化方法。
一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种用于图像识别的卷积网络可视化方法。
本发明的有益之处是：
本发明提供一种用于图像识别的卷积网络可视化方法，通过Docker容器安装Caffe，以及封装前端深度学习可视化工具箱，利用深度学习可视化工具箱展示Caffe中卷积神经网络模型识别图像过程中逐层学习到的特征呈现分层特性，展示卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数中，可显示底层是一些边缘角点和颜色的抽象特征，越到高层则越呈现出具体的特征，使获得图像的识别结果的过程可视化，增加了可解释的依据，完善了检测跟踪以及直观的展示解释方式，能够被大众接收，并且本发明方法可在多平台上运行，无论是物理机、虚拟机、公有云、私有云，甚至是笔记本电脑，其运行结果是一致的。
附图说明
图1是本发明方法流程示意图；
图2本发明方法图像识别流程示意图。
具体实施方式
Docker是一个开源的应用容器引擎，让开发者可以打包应用以及依赖包到可移植的镜像中，发布到任何流行的Linux或Windows的机器上，也可以实现虚拟化。容器完全使用沙箱机制，相互之间不会有任何接口。
Caffe，全称Convolutional Architecture for Fast Feature Embedding，是一个兼具表达性、速度和思维模块化的深度学习框架。
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种用于图像识别的卷积网络可视化方法：
利用Docker容器载入ubuntu镜像，基于docker安装Caffe，
利用Docker容器封装前端深度学习可视化工具箱，
基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数。
本发明通过Docker容器安装Caffe，以及封装前端深度学习可视化工具箱，利用深度学习可视化工具箱展示Caffe中卷积神经网络模型识别图像过程中逐层学习到的特征呈现分层特性，展示卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数中，可显示底层是一些边缘角点和颜色的抽象特征，越到高层则越呈现出具体的特征，使获得图像的识别结果的过程可视化，增加了可解释的依据。
在上述基础上，本发明的一个实施例中，具体说明了安装Caffe过程：
利用Docker容器，使用docker pull命令来载入ubuntu镜像，：docker pullUbuntu，镜像装有Python3开发环境，配有OpenCV工具包，该镜像装有CUDA，以便在配有GPU的情况下，可以使用Caffe架构GPU版本，对整个可视化流程采用GPU加速，
基于docker安装Caffe：docker pull elezar/caffe:cpu，
在交互模式下运行Caffe镜像。
在上述基础上，本发明的另一个实施例中，利用Caffe内预制相关的卷积神经网络模型和/或利用其他系统的卷积神经网络模型识别图像：Caffe内可内置预训练的CaffeNet/Faster RCNN/YoloV3/CenterNet模型及相关网络权重作为备选，在没有用于图像识别的模型时，可直接调用内置的模型，若已经存在图像识别系统，只需要将该系统下所使用的CNN模型的所在文件路径与本发明的Docker容器相挂载，并在Docker的配置文件中进行对应的设置，可以获取卷积神经网络模型。
利用本发明上述实施例，可根据需求，以及不同要求，进行模型的选择，不受限制，更有利于选择合适的模型进行图像识别。
在上述实施例基础上，本发明的另一个实施例提供具体的图像识别及逐层展示过程：
通过深度学习可视化工具箱上传原始图像，可将图像放置在装有docker镜像挂载服务器文件夹的硬盘中，
若选择内置模型，深度学习可视化工具箱将训练图像数据集的地址通过API传输给CaffeNet，CaffeNet执行训练，生成成熟模型，
将待识别的图像通过API传输给成熟模型，进行识别，生成的图像结果可存储在服务器硬盘中，并将地址通过API传输给深度学习可视化工具箱，工具箱读取地址，将卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱展示到前台页面。
在医学领域，目前深度学习主要集中于对医学图像、电子病历、药物研发和基因组学的分析等。
以在医疗影像的应用为例，本发明提供一个实施例中，
利用Docker容器载入ubuntu镜像，基于docker安装Caffe，安装Caffe过程：利用Docker容器，使用docker pull命令来载入ubuntu镜像：docker pull Ubuntu，
基于docker安装Caffe：docker pull elezar/caffe:cpu，
在交互模式下运行Caffe镜像，
Caffe内可内置预训练的CaffeNet/Faster RCNN/YoloV3/CenterNet模型及相关网络权重作为备选，在没有用于图像识别的模型时，可直接调用内置的模型，若已经存在图像识别系统，只需要将该系统下所使用的CNN模型的所在文件路径与本发明的Docker容器相挂载，并在Docker的配置文件中进行对应的设置，
通过深度学习可视化工具箱上传原始医学图像，可将图像放置在装有docker镜像挂载服务器文件夹的硬盘中，
若选择内置模型，深度学习可视化工具箱将训练图像数据集的地址通过API传输给CaffeNet，CaffeNet执行训练，生成成熟模型，
将待识别的医学图像通过API传输给成熟模型，进行识别，生成的医学图像结果可存储在服务器硬盘中，并将地址通过API传输给深度学习可视化工具箱，工具箱读取地址，将卷积神经网络模型的卷积核、以及原医学图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱展示到前台页面；
前台页面可按照一定的布局进行展示，比如中间的部分是对图片经过网络CaffeNet进行前向传播之后得到特征图的可视化，可以通过上下左右控制光标移动，左边的中间区域是特征图的放大版，右侧上方的9张图是参数化的可视化，右侧中间区域是用户全部医学图像数据集中对该卷积核响应程度最大的9张医学图像即响应图，每个响应图向下映射到像素空间，揭示出其不同的结构激发映射并且揭示出其对输入变形的不变性，右侧下方是对这9张医学图像进行反卷积的结果；
还可通过前端页面找寻响应程度最大的9张图片，先把n张医学图像通过CNN，对于某个指定的特征图，得到n个特征图，对特征图进行最大池化，得到其响应最大值，对这个n个特征图做排序，取前9张响应最大的特征图，在根据相应位置映射原始医学图片，
最后形成更合理解释化的医学报告，从而为患者解释利用智能识别系统做出判断的依据。
利用本发明方法无需人工干预就可以通过深度学习的方法提取影像中以疾病诊疗为导向的最主要的相关特征，对医疗影像图像进行阅片，并展示每次阅片的卷积核，卷积之后的所形成的图像变化及相应参数，能够直观地反映卷积各个层次的变化和具体的特征，用于追踪检测和解释最后的识别结果，便于医生外的其他人了解及理解相关的医学诊断及结论。
本发明还提供一种用于图像识别的卷积网络可视化装置，包括至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种用于图像识别的卷积网络可视化方法，具体过程与本发明方法实施例实施过程相同。
同时提供一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种用于图像识别的卷积网络可视化方法。具体地，可以提供配有可读介质的系统或者装置，在该可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在可读介质中的程序代码。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的可读介质构成了本发明的一部分。
用于提供程序代码的可读介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由可读介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
本发明还提供一种用于图像识别的卷积网络可视化系统，包括创建模块、封装模块、识别模块及展示模块
创建模块利用Docker容器载入ubuntu镜像，基于docker安装Caffe，
封装模块利用Docker容器封装前端深度学习可视化工具箱，
识别模块基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，展示模块通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数。
本发明系统的创建模块通过Docker容器安装Caffe，以及封装模块封装前端深度学习可视化工具箱，识别模块利用深度学习可视化工具箱展示Caffe中卷积神经网络模型识别图像过程，展示模块逐层展示学习到的特征呈现分层特性卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数中，可显示底层是一些边缘角点和颜色的抽象特征，越到高层则越呈现出具体的特征，使获得图像的识别结果的过程可视化，增加了可解释的依据。
在上述基础上，本发明系统的一个实施例中，
创建模块利用Docker容器，使用docker pull命令来载入ubuntu镜像，：dockerpull Ubuntu，镜像装有Python3开发环境，配有OpenCV工具包，该镜像装有CUDA，以便在配有GPU的情况下，可以使用Caffe架构GPU版本，对整个可视化流程采用GPU加速，
基于docker安装Caffe：docker pull elezar/caffe:cpu，
在交互模式下运行Caffe镜像。
在上述基础上，本发明系统的另一个实施例中，识别模块利用Caffe内预制相关的卷积神经网络模型和/或利用其他系统的卷积神经网络模型识别图像：Caffe内可内置预训练的CaffeNet/Faster RCNN/YoloV3/CenterNet模型及相关网络权重作为备选，在没有用于图像识别的模型时，可直接调用内置的模型，若已经存在图像识别系统，只需要将该系统下所使用的CNN模型的所在文件路径与本发明的Docker容器相挂载，并在Docker的配置文件中进行对应的设置，可以获取卷积神经网络模型。
利用本发明系统上述实施例，可根据需求，以及不同要求，进行模型的选择，不受限制，更有利于选择合适的模型进行图像识别。
在上述实施例基础上，本发明系统的另一个实施例提供识别模块具体的图像识别及展示模块逐层展示过程：
用户可通过展示模块的深度学习可视化工具箱上传原始图像，可将图像放置在装有docker镜像挂载服务器文件夹的硬盘中，
若用户利用识别模块选择内置模型，深度学习可视化工具箱将训练图像数据集的地址通过API传输给CaffeNet，CaffeNet执行训练，生成成熟模型，
识别模块将待识别的图像通过API传输给成熟模型，进行识别，生成的图像结果可存储在服务器硬盘中，并将地址通过API传输给深度学习可视化工具箱，工具箱读取地址，展示模块利用工具箱将卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱展示到前台页面。
在医学领域，目前深度学习主要集中于对医学图像、电子病历、药物研发和基因组学的分析等。
以在医疗影像的应用为例，本发明系统提供一个实施例中，
创建模块利用Docker容器载入ubuntu镜像，基于docker安装Caffe，安装Caffe过程：利用Docker容器，使用docker pull命令来载入ubuntu镜像：docker pull Ubuntu，
基于docker安装Caffe：docker pull elezar/caffe:cpu，
在交互模式下运行Caffe镜像，
识别模块利用Caffe内置预训练的CaffeNet/Faster RCNN/YoloV3/CenterNet模型及相关网络权重作为备选，在没有用于图像识别的模型时，可直接调用内置的模型，若已经存在图像识别系统，只需要将该系统下所使用的CNN模型的所在文件路径与本发明的Docker容器相挂载，并在Docker的配置文件中进行对应的设置，
用户通过展示模块的深度学习可视化工具箱上传原始医学图像，可将图像放置在装有docker镜像挂载服务器文件夹的硬盘中，
若选择内置模型，深度学习可视化工具箱将训练图像数据集的地址通过API传输给CaffeNet，CaffeNet执行训练，生成成熟模型，
识别模块将待识别的医学图像通过API传输给成熟模型，进行识别，生成的医学图像结果可存储在服务器硬盘中，并将地址通过API传输给深度学习可视化工具箱，工具箱读取地址，将卷积神经网络模型的卷积核、以及原医学图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱展示到前台页面；
前台页面可按照一定的布局进行展示，比如中间的部分是对图片经过网络CaffeNet进行前向传播之后得到特征图的可视化，可以通过上下左右控制光标移动，左边的中间区域是特征图的放大版，右侧上方的9张图是参数化的可视化，右侧中间区域是用户全部医学图像数据集中对该卷积核响应程度最大的9张医学图像即响应图，每个响应图向下映射到像素空间，揭示出其不同的结构激发映射并且揭示出其对输入变形的不变性，右侧下方是对这9张医学图像进行反卷积的结果；
还可通过前端页面找寻响应程度最大的9张图片，先把n张医学图像通过CNN，对于某个指定的特征图，得到n个特征图，对特征图进行最大池化，得到其响应最大值，对这个n个特征图做排序，取前9张响应最大的特征图，在根据相应位置映射原始医学图片，
最后形成更合理解释化的医学报告，从而为患者解释利用智能识别系统做出判断的依据。
利用本发明系统无需人工干预就可以通过深度学习的方法提取影像中以疾病诊疗为导向的最主要的相关特征，对医疗影像图像进行阅片，并展示每次阅片的卷积核，卷积之后的所形成的图像变化及相应参数，能够直观地反映卷积各个层次的变化和具体的特征，用于追踪检测和解释最后的识别结果，便于医生外的其他人了解及理解相关的医学诊断及结论。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (4)

1.一种用于图像识别的卷积网络可视化方法，其特征是利用Docker容器载入ubuntu镜像，基于docker安装Caffe，所述安装Caffe过程：利用Docker容器，使用docker pull命令来载入ubuntu镜像：docker pullUbuntu，基于docker安装Caffe：docker pull elezar/caffe:cpu，在交互模式下运行Caffe镜像；
利用Docker容器封装前端深度学习可视化工具箱，
基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数，其中利用Caffe内预制相关的卷积神经网络模型和/或利用其他系统的卷积神经网络模型识别图像；获取其他系统的卷积神经网络模型过程：将其他系统的卷积神经网络模型所在文件路径挂载到Docker容器，并在Docker容器的配置文件中进行对应的设置；图像识别及逐层展示过程：通过深度学习可视化工具箱上传原始图像，Caffe利用相应的卷积神经网络模型识别图像，并将识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱，深度学习可视化工具箱对卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数进行展示。
2.一种用于图像识别的卷积网络可视化系统，其特征是包括创建模块、封装模块、识别模块及展示模块，
创建模块利用Docker容器载入ubuntu镜像，基于docker安装Caffe，所述安装Caffe过程：利用Docker容器，使用docker pull命令来载入ubuntu镜像：docker pull Ubuntu，基于docker安装Caffe：docker pull elezar/caffe:cpu，在交互模式下运行Caffe镜像；
封装模块利用Docker容器封装前端深度学习可视化工具箱，
识别模块基于Caffe网络架构，利用相应的卷积神经网络模型识别图像，展示模块通过深度学习可视化工具箱的可视化界面逐层展示图像识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数，其中识别模块利用Caffe内预制相关的卷积神经网络模型和/或利用其他系统的卷积神经网络模型识别图像；识别模块获取其他系统的卷积神经网络模型过程：将其他系统的卷积神经网络模型所在文件路径挂载到Docker容器，并在Docker容器的配置文件中进行对应的设置；识别模块识别图像及逐层展示过程：通过深度学习可视化工具箱上传原始图像，Caffe利用相应的卷积神经网络模型识别图像，并将识别过程中卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数传输给深度学习可视化工具箱，深度学习可视化工具箱对卷积神经网络模型的卷积核、以及原图像在经过卷积之后所形成的图像变化及相应参数进行展示。
3.一种用于图像识别的卷积网络可视化装置，其特征是包括至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1所述的一种用于图像识别的卷积网络可视化方法。
4.一种计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1所述的一种用于图像识别的卷积网络可视化方法。
CN202010417491.5A 2020-05-18 2020-05-18 一种用于图像识别的卷积网络可视化方法及装置 Active CN111598226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417491.5A CN111598226B (zh) 2020-05-18 2020-05-18 一种用于图像识别的卷积网络可视化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417491.5A CN111598226B (zh) 2020-05-18 2020-05-18 一种用于图像识别的卷积网络可视化方法及装置

Publications (2)

Publication Number Publication Date
CN111598226A CN111598226A (zh) 2020-08-28
CN111598226B true CN111598226B (zh) 2023-07-25

Family

ID=72183505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417491.5A Active CN111598226B (zh) 2020-05-18 2020-05-18 一种用于图像识别的卷积网络可视化方法及装置

Country Status (1)

Country Link
CN (1) CN111598226B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508238A (zh) * 2019-01-05 2019-03-22 咪付（广西）网络技术有限公司 一种用于深度学习的资源管理系统及方法
CN109961009A (zh) * 2019-02-15 2019-07-02 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
WO2019223154A1 (zh) * 2018-05-25 2019-11-28 平安科技（深圳）有限公司 单页高负载图像识别方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223154A1 (zh) * 2018-05-25 2019-11-28 平安科技（深圳）有限公司 单页高负载图像识别方法、装置、计算机设备及存储介质
CN109508238A (zh) * 2019-01-05 2019-03-22 咪付（广西）网络技术有限公司 一种用于深度学习的资源管理系统及方法
CN109961009A (zh) * 2019-02-15 2019-07-02 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张皓洋 ; .基于Inception-v3模型的蛇类图像识别.电子技术与软件工程.2019,(10),全文. *
汪成龙 ; 黄余凤 ; 庄学敏 ; 谢珩 ; .基于深度学习的马铃薯畸形检测方法研究.惠州学院学报.2018,(03),全文. *
王锦程 ; 苏伟 ; 谢蕾 ; .局域网中深度学习平台构建及应用.信息与电脑(理论版).2018,(09),全文. *

Also Published As

Publication number Publication date
CN111598226A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US20240037782A1 (en) Augmented Reality for Three-Dimensional Model Reconstruction
CN107679455A (zh) 目标跟踪装置、方法及计算机可读存储介质
WO2018089163A1 (en) Methods and systems of performing object pose estimation
EP2478427A2 (en) Real time hand tracking, pose classification, and interface control
JP2019075124A (ja) カメラエフェクトを提供する方法およびシステム
US20150016668A1 (en) Settlement mapping systems
EP4244824A1 (en) Scene layout estimation
US11908183B2 (en) Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system
US11887229B2 (en) Method and system for populating a digital environment using a semantic map
US20200074672A1 (en) Determining a pose of an object from rgb-d images
CN109815854B (zh) 一种用于在用户设备上呈现图标的关联信息的方法与设备
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
US20220366244A1 (en) Modeling Human Behavior in Work Environment Using Neural Networks
US11755190B2 (en) Synthetic image data generation using auto-detected image parameters
CN111767947A (zh) 目标检测模型、应用方法及相关装置
WO2020197655A1 (en) Action classification based on manipulated object movement
WO2022056499A1 (en) 3d rendering and animation support for ui controls
CN111598226B (zh) 一种用于图像识别的卷积网络可视化方法及装置
KR102234580B1 (ko) 영상 분석 장치 및 방법
CN116433696A (zh) 抠图方法、电子设备及计算机可读存储介质
KR20210057586A (ko) 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
JP7053195B2 (ja) 家屋異動推定装置、家屋異動学習装置、家屋異動推定方法、識別器のパラメータ生成方法及びプログラム
CN115482588A (zh) 一种预测三维模型的姿态的方法及电子设备
CN114598610A (zh) 网络业务规则识别

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230627

Address after: 250100 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd.

Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province

Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant