CN110782031A - 多框架卷积神经网络模型结构可视化以及网络重建方法 - Google Patents

多框架卷积神经网络模型结构可视化以及网络重建方法 Download PDF

Info

Publication number
CN110782031A
CN110782031A CN201910921593.8A CN201910921593A CN110782031A CN 110782031 A CN110782031 A CN 110782031A CN 201910921593 A CN201910921593 A CN 201910921593A CN 110782031 A CN110782031 A CN 110782031A
Authority
CN
China
Prior art keywords
neural network
nodes
edges
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910921593.8A
Other languages
English (en)
Inventor
寇金桥
李明磊
李新乐
赵晓燕
陈宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN201910921593.8A priority Critical patent/CN110782031A/zh
Publication of CN110782031A publication Critical patent/CN110782031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/10Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105Shells for specifying net layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种多框架卷积神经网络模型结构可视化以及网络重建方法,涉及人工智能技术领域。本发明通过网络拓扑技术实现不同框架下的各种网络的展示,通过直观的修改不同的层实现网络的重建,同时能够更改神经网络属性并进行实时更新显示。CNN可视化展示及网络重建方法将神经网络直观地展示给使用者,使得学习者可以快速直观地了解网络结构,并能够快速、方便的修改,极大地提高使用者的效率,降低深度学习的网络更改难度。

Description

多框架卷积神经网络模型结构可视化以及网络重建方法
技术领域
本发明涉及人工智能技术领域,具体涉及一种多框架卷积神经网络模型结构可视化以及网络重建方法。
背景技术
近年来,人工智能获得飞速发展,卷积神经网络(ConvolutionalNeuralNetworks,CNN)作为人工智能领域重要的深度学习模型,在图像检测和识别、人脸的检测和识别、图像分类等相关应用中展现出巨大的潜力和应用价值,并且已经取得了不错的效果。CNN取得好的结果,获得巨大成功的同时,也面临很多难题:CNN的网络结构究竟是什么样子的?为什么CNN模型可以得到非常好的预测结果?如何更简单、方便的对一个神经网络进行修改?以上问题给学习者和使用者带来许多困惑和困难。
需要有一种可视化的方法展示CNN模型结构,并通过展示的结构可以拖拽、增删、连接等方式来修改神经网络,进而达到修改CNN 网络模型,并能实时更新显示,从而方便展示神经网络结构展示,并能使得用户更容易学习和使用神经网络。
CNN模型结构可视化展现了神经网络的内部结构,“打开”了神经网络的“黑盒子”,给我们分析和更改CNN带来了许多便利,同时也展现了CNN的处理流程,使得解释CNN也更加便捷。常见的CNN 模型结构可视化方法主要有:
1)Netscope:以模型定义文件作为输入,得到神经网络的可视化结构图,是一个基于网页的可视化神经网络拓扑工具,仅仅支持加州大学伯克利分校的caffe深度学习框架。
2)ConvNetDraw:使用可视化命令作为输入,可视化输出神经网络模型结构,也是一种基于网页的工具。是以结构块的模型进行展现的,可以对结构快进行三个维度的比例调整,非常形象直观。
3)Netron:以模型定义文件和模型权重文件(可以缺省)作为输入,获得神经网络的可视化结构图,同样是基于网页,并运用了js 和python,能够支持ONNX、Keras、CoreML、TensorFlow、caffe、 MXNET等主流的深度学习框架。点击每层网络节点,可以展示节点属性和网络权重,较好地展示了网络的结构。
现在对CNN模型进行修改主要是通过对网络模型定义文件进行编辑,通过重新实现不同的层的顺序和结构来完成,要求对神经网络非常熟悉,并能有很好的想象力,能够重新构造出新的网络。也可以通过编程来进行构建神经网络的一些层,对神经网络的结构要更加熟悉并能够确保编程基本准确。
Netscope仅仅支持caffe,对其它深度学习框架则显得无能为力; ConvNetDraw通过命令行输入来可视化神经网络模型,使用起来非常不方便,而且需要非常熟悉不同框架下的网络层的转化,不能够展示跳跃的层的展示,如resnet网络,使用起来有很多缺陷;Netron虽然能较好地支持多种深度学习框架,但是不能更改神经网络节点的属性和网络权重,使用起来有一定的局限性。
可见,现有的CNN模型结构可视化方法虽然都有一定的可视化的能力,并且可以保存可视化结果,但是都不支持可视化更改网络模型,不能实时更改和显示神经网络模型,通过神经网络模型定义文件编写和更改神经网络非常的不直观,技术要求比较高,操作起来不方便,并且容易出错,同时效率也比较低下。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何针对现有CNN模型结构可视化方法的缺点和不足,提出一种能够支持ncnn、ONNX、Keras、 CoreML、TensorFlow、caffe、MXNET等主流的深度学习框架的可视化以及网络重建方法。
(二)技术方案
为了解决上述技术问题,本发明提供了一种。
(三)有益效果
本发明通过网络拓扑技术实现不同框架下的各种网络的展示,通过直观的修改不同的层实现网络的重建,同时能够更改神经网络属性并进行实时更新显示。CNN可视化展示及网络重建方法将神经网络直观地展示给使用者,使得学习者可以快速直观地了解网络结构,并能够快速、方便的修改,极大地提高使用者的效率,降低深度学习的网络更改难度。
附图说明
图1为本发明的神经网络模型结构可视化的流程图;
图2为神经网络模型结构重建的流程图;
图3为增加节点示意图;
图4为神经网路可视化删除节点示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
神经网络的体系结构是一个有方向的连接图,符合拓扑学,拓扑是几何图形在连续改变形状仍能保持不变的性质,可以演化神经网络。本发明使用了网络拓扑的技术,把神经网络变成有向无环图(Directed Acyclic Graph,DAG)进行展示;结合动态规划技术,可以通过拖动、删除、增加等直观方式改变可视化网络进而改变DAG,从而达到改变神经网络模型定义。对于CNN模型结构可视化主要有结构块方式可视化和节点连接方式可视化,为了能够表达网络的不临近层的连接关系和实现网络的重建,选择节点连接方式。本发明通过DAG对网络进行表达,并与节点和边实现双映射,可以实现实时对节点和边的添加、删除、重新连接等操作,操作直观方便。通过运用布局算法,实现对DAG良好布局,使得网络可视化效果美观、简单易懂。通过选择节点可以显示网络层的节点属性和输入的权重,并能够通过对话框实时更改参数,极大地降低了操作难度,减少了操作失误,提高了网络更改的效率。
本发明提供的一种多框架卷积神经网络模型结构可视化以及网络重建方法包括神经网络模型结构可视化步骤、神经网络可视化修改步骤。
S1、神经网络模型结构可视化的流程图如图1所示,包括以下步骤:
S11、加载神经网络定义文件和神经网络权重文件(可以缺省,缺省时使用默认参数初始化),并通过神经网络定义文件和神经网络权重文件的类型分析确定所属深度学习框架类型;
S12、对神经网络定义文件每层的节点进行分析,形成有向无环图DAG,构造出不同层之间的相互依赖关系和连接方式,同时对神经网络权重文件中的数据结构化,实现和DAG中的节点关联;
S13、对DAG配置相应的节点和连接节点的边,使得神经网络定义文件的层能够有效地展示,并且节点和边能和DAG的元素实现双映射;
S14、利用静态层次布局算法sugiyama进行布局(layout),具体步骤如下:
i)节点排序,将节点放置在离散的行列上,保证边的方向;
ii)坐标分配,将节点阵列建模为非线性整数规划模型;
iii)边的绘制,使用人工节点链来指导连接节点的边即样条线的构造,然后替换人工节点链。
S15、根据结构化后的权重数据以及窗口布局的结构,绘制窗口并展示网络结构,得到神经网络模型结构可视化图,窗口响应包括缩放操作、平移操作以及点击操作,这些操作属于拓扑变换,存在拓扑等价,实际内部结构并没有发生变化,只是实时按比例更新显示效果。当对节点进行点击时,显示网络节点属性和相应的输入权重参数。
S2、神经网络模型结构重建的流程图如图2所示,具体包括以下重建步骤中的一个或多个,当包含多个时,各步骤并行执行:
S21、在可视化图中选择边,点击右键添加边,在神经网络模型结构可视化图中选择起始和终止节点直接添加边的连接;拖动神经网络之间的连接线,更改神经网络的连接关系;
S22、在可视化图中选择节点,点击右键添加节点,在可视化图中添加相应的神经网络层,增加节点示意图如图3所示,增加了节点并用边进行了连接;通过拖动神经网络层节点,更改不同层的顺序。通过DAG与节点和边的双射关系,动态规划形成新的DAG,从而更新得到新的神经网络模型可视化图,并能够对新的神经网络模型定义和权重文件进行保存;
S23、在可视化图中选择边或者节点,点击右键,直接删除,并通过边和节点进行新的添加和连接,达到更改神经网络拓扑结构的目的,神经网路可视化删除节点示意图如图4所示,删除了节点并用边进行了连接;
S24、在可视化图中点击节点,直接对显示的神经网络节点属性和权重值进行更改,保存后后台会进行相关的更新操作,直接把属性值以及权重写入神经网络模型定义文件和神经网络模型权重文件。由于通常我们很难阅读权重文件,它是极其会涩难懂的,因此这里通过可视化展示层节点的权重,直观地与节点对应,完全可以进行修改操作。
在步骤S2中,所述重建步骤执行完之后还包括更新神经网络模型可视化图采用动态层次布局sugiyama进行布局layout的步骤,具体为:
i)首先处理排序,为节点重新分配级别以维护层次结构,保持稳定性并最小化总边长,按优先顺序排列;
ii)在为所有节点分配了新的等级之后,更新配置,将长边转换为节点链;
iii)神经网络模型结构可视化图合并所有请求的更改,减少边缘交叉;
iiii)计算节点的水平坐标,使用神经网络模型结构可视化步骤中的静态层次布局算法sugiyama,编码非线性整数规划模型中的坐标,使用网络单纯形求解;
iiiii)重新定位所有节点后,根据需要重新计算边的路径。
通过上述操作,可以实时更新神经网络模型结构可视化图,实现对神经网络模型快速、高效的更改,减少出错的几率,降低了操作的难度。
采用本发明CNN模型结构可视化以及网络重建方法,可以实现神经网络的快速可视化,更容易对网络结构的理解;通过直观的更改网络模型,可以快速更改网络;通过对网络属性和权重的更改,可以更高效的实现网络的配置。该发明极大地方便了学习者和使用者,减少了繁琐的操作,降低了操作的难度,帮助用户直观、简易的操作神经网络,实现更高效、更准确的网络更改。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种多框架卷积神经网络模型结构可视化以及网络重建方法,其特征在于,包括步骤S1、神经网络模型结构可视化,步骤S2神经网络可视化修改。
2.如权利要求1所述的方法,其特征在于,步骤S1具体包括以下步骤:
S11、加载神经网络定义文件和神经网络权重文件,并通过神经网络定义文件和神经网络权重文件的类型分析确定所属深度学习框架类型;
S12、对神经网络定义文件每层的节点进行分析,形成有向无环图DAG,构造出不同层之间的相互依赖关系和连接方式,同时对神经网络权重文件中的数据结构化,实现和DAG中的节点关联;
S13、对DAG配置相应的节点和连接节点的边,使得神经网络定义文件的层能够有效地展示,并且节点和边能和DAG的元素实现双映射;
S14、利用静态层次布局算法sugiyama进行布局;
S15、根据结构化后的权重数据以及窗口布局的结构,绘制窗口并展示网络结构,得到神经网络模型结构可视化图,窗口响应包括缩放操作、平移操作以及点击操作,当对节点进行点击时,显示网络节点属性和相应的输入权重参数。
3.如权利要求2所述的方法,其特征在于,步骤S14具体为:
i)节点排序,将节点放置在离散的行列上;
ii)坐标分配,将节点阵列建模为非线性整数规划模型;
iii)边的绘制,使用人工节点链来指导连接节点的边即样条线的构造,然后替换人工节点链。
4.如权利要求2所述的方法,其特征在于,步骤S2具体包括以下重建步骤中的一个或多个,当包含多个时,各步骤并行执行:
S21、在可视化图中选择边,点击右键添加边,在神经网络模型结构可视化图中选择起始和终止节点直接添加边的连接;拖动神经网络之间的连接线,更改神经网络的连接关系;
S22、在可视化图中选择节点,点击右键添加节点,在可视化图中添加相应的神经网络层,增加节点时增加了节点并用边进行了连接;通过拖动神经网络层节点,更改不同层的顺序,通过DAG与节点和边的双射关系,动态规划形成新的DAG,从而更新得到新的神经网络模型可视化图,并对新的神经网络模型定义和权重文件进行保存;
S23、在可视化图中选择边或者节点,点击右键,直接删除,并通过边和节点进行新的添加和连接,以更改神经网络拓扑结构,神经网路可视化删除节点时,删除了节点并用边进行了连接;
S24、在可视化图中点击节点,直接对显示的神经网络节点属性和权重值进行更改,保存后后台进行相关的更新操作,直接把属性值以及权重写入神经网络模型定义文件和神经网络模型权重文件。
5.如权利要求4所述的方法,其特征在于,在步骤S2中,所述重建步骤执行完之后还包括更新神经网络模型可视化图采用动态层次布局sugiyama进行布局layout的步骤,具体为:
i)首先处理排序,为节点重新分配级别以维护层次结构,最小化总边长,按优先顺序排列;
ii)在为所有节点分配了新的等级之后,更新配置,将长边转换为节点链;
iii)神经网络模型结构可视化图合并所有请求的更改;
iiii)计算节点的水平坐标,使用神经网络模型结构可视化步骤中的静态层次布局算法sugiyama,编码非线性整数规划模型中的坐标,使用网络单纯形求解;
iiiii)重新定位所有节点后,根据需要重新计算边的路径。
CN201910921593.8A 2019-09-27 2019-09-27 多框架卷积神经网络模型结构可视化以及网络重建方法 Pending CN110782031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910921593.8A CN110782031A (zh) 2019-09-27 2019-09-27 多框架卷积神经网络模型结构可视化以及网络重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910921593.8A CN110782031A (zh) 2019-09-27 2019-09-27 多框架卷积神经网络模型结构可视化以及网络重建方法

Publications (1)

Publication Number Publication Date
CN110782031A true CN110782031A (zh) 2020-02-11

Family

ID=69384599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910921593.8A Pending CN110782031A (zh) 2019-09-27 2019-09-27 多框架卷积神经网络模型结构可视化以及网络重建方法

Country Status (1)

Country Link
CN (1) CN110782031A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270406A (zh) * 2020-11-11 2021-01-26 浙江大学 一种类脑计算机操作系统的神经信息可视化方法
CN112508163A (zh) * 2020-11-23 2021-03-16 北京百度网讯科技有限公司 神经网络模型中子图的展示方法、装置和存储介质
CN115168281A (zh) * 2022-09-09 2022-10-11 之江实验室 一种基于禁忌搜索算法的神经网络片上映射方法和装置
WO2024045128A1 (zh) * 2022-09-01 2024-03-07 西门子股份公司 人工智能模型的展示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200189A1 (en) * 2002-04-19 2003-10-23 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
CN107704925A (zh) * 2017-10-16 2018-02-16 清华大学 深度神经网络训练过程的可视分析系统及方法
CN108537328A (zh) * 2018-04-13 2018-09-14 众安信息技术服务有限公司 用于可视化构建神经网络的方法
CN109767001A (zh) * 2019-01-07 2019-05-17 深圳增强现实技术有限公司 神经网络模型的构建方法、装置及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200189A1 (en) * 2002-04-19 2003-10-23 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
CN107704925A (zh) * 2017-10-16 2018-02-16 清华大学 深度神经网络训练过程的可视分析系统及方法
CN108537328A (zh) * 2018-04-13 2018-09-14 众安信息技术服务有限公司 用于可视化构建神经网络的方法
CN109767001A (zh) * 2019-01-07 2019-05-17 深圳增强现实技术有限公司 神经网络模型的构建方法、装置及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUZUKI S AND SHOUNO H: "A study on visual interpretation of network in network" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270406A (zh) * 2020-11-11 2021-01-26 浙江大学 一种类脑计算机操作系统的神经信息可视化方法
WO2022099557A1 (zh) * 2020-11-11 2022-05-19 浙江大学 一种类脑计算机操作系统的神经信息可视化方法
CN112508163A (zh) * 2020-11-23 2021-03-16 北京百度网讯科技有限公司 神经网络模型中子图的展示方法、装置和存储介质
WO2024045128A1 (zh) * 2022-09-01 2024-03-07 西门子股份公司 人工智能模型的展示方法、装置、电子设备及存储介质
CN115168281A (zh) * 2022-09-09 2022-10-11 之江实验室 一种基于禁忌搜索算法的神经网络片上映射方法和装置

Similar Documents

Publication Publication Date Title
CN110782031A (zh) 多框架卷积神经网络模型结构可视化以及网络重建方法
US10416866B2 (en) Representation of digital map styling properties across zoom levels
Cordeil et al. IATK: An immersive analytics toolkit
Newton Generative deep learning in architectural design
Trubka et al. A web-based 3D visualisation and assessment system for urban precinct scenario modelling
EP4120199A1 (en) Image rendering method and apparatus, and electronic device and storage medium
JP5063890B2 (ja) オブジェクトモデルの設計を容易にするシステム
US20130151305A1 (en) Method and Apparatus for Business Drivers and Outcomes to Enable Scenario Planning and Simulation
CN112270406B (zh) 一种类脑计算机操作系统的神经信息可视化方法
NO339362B1 (no) System og fremgangsmåte for approksimering av en redigerbar overflate
CN110968943A (zh) 一种终端界面的显示方法及装置
US11113855B2 (en) Expression interpretation engine for computer map visualizations
KR20170073604A (ko) 데이터 미리보기를 통한 작업 작성 기법
Cheng et al. TorusVis^ ND: unraveling high-dimensional torus networks for network traffic visualizations
WO2023284312A1 (zh) 工作流程的构建方法及装置、设备、计算机存储介质及计算机程序产品
CN108958611B (zh) 一种信息编辑方法及装置
CN111985014B (zh) 一种基于标准图集的建模方法及系统
US10685470B2 (en) Generating and providing composition effect tutorials for creating and editing digital content
KR102345753B1 (ko) 서로 다른 복수의 인공신경망을 이용하여 데이터를 지능적으로 시각화하는 방법
KR101396885B1 (ko) 구조 모델링을 위한 ses 기반 블록 다이어그램 편집기 및 그 편집 방법
Mitrpanont et al. Extending MedThaiVis-Thai medical research visualization to SAGE2 display walls
Kuvichko et al. Mixed-Integer Programming for Optimizing Well Positions
Cashman et al. Mast: A tool for visualizing CNN model architecture searches
US20240153169A1 (en) Changing coordinate systems for data bound objects
US20240153172A1 (en) Automatically generating axes for data visualizations including data bound objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211

RJ01 Rejection of invention patent application after publication