CN107657314A - 一种基于区间算法的神经网络卷积层设计方法 - Google Patents

一种基于区间算法的神经网络卷积层设计方法 Download PDF

Info

Publication number
CN107657314A
CN107657314A CN201710883220.7A CN201710883220A CN107657314A CN 107657314 A CN107657314 A CN 107657314A CN 201710883220 A CN201710883220 A CN 201710883220A CN 107657314 A CN107657314 A CN 107657314A
Authority
CN
China
Prior art keywords
section
matrix
convolutional layer
convolution kernel
kernel parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710883220.7A
Other languages
English (en)
Inventor
张旭
段成德
于治楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201710883220.7A priority Critical patent/CN107657314A/zh
Publication of CN107657314A publication Critical patent/CN107657314A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开一种基于区间算法的神经网络卷积层设计方法，涉及人工智能领域；利用区间算法，将卷积层的输入值，卷积核参数，以及输出值，定义成区间数据类型，从而形成区间卷积层，该区间卷积层能够处理不确定的有一定范围的输入值，并输出可靠的区间值，弥补了神经网络无法处理区间数据的不足，同时避免了有些高精度浮点数值无法被计算机精确表达的情况发生，也解决了某些技术上的参数没有确定值的问题，提高可靠性。

Description

一种基于区间算法的神经网络卷积层设计方法
技术领域
本发明公开一种神经网络卷积层设计方法，涉及人工智能领域，具体地说是一种基于区间算法的神经网络卷积层设计方法。
背景技术
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和池化层(pooling layer)。
卷积神经网络中卷积层主要利用局部感受野以及共享权重技术，大大减少了神经网络中参数个数，使神经网络更容易训练，同时能够大大提高模式识别的准确率。
但现实生活中存在很多不能被准确数值描述的数据，同时某些精确数值也不可能被机器精确地表述。本发明提供一种基于区间算法的神经网络卷积层设计方法，利用衍生出来区间算法来处理此类数据，引入区间神经网络的卷积层设计方法，使此类数据也能够利用卷积神经网络的技术解决实际问题，应用于实际的场景中。
发明内容
本发明提供一种基于区间算法的神经网络卷积层设计方法，使区间类型数据也能够利用卷积神经网络的技术解决实际问题，应用于实际的场景中。
本发明提出的具体方案是：
一种基于区间算法的神经网络卷积层设计方法：
利用数据重新排列方法将卷积层的区间输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵，再通过区间输入矩阵和区间卷积核参数矩阵的相乘运算获得区间输出矩阵，将区间输出矩阵的数据应用于神经网络技术，构建区间卷积神经网络。
所述的方法中使用im2col方法将卷积层输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵。
所述的方法中通过通用矩阵相乘GeMM将区间输入矩阵和区间卷积核参数矩阵进行相乘运算获得区间输出矩阵。
一种基于区间算法的神经网络卷积层，包括区间输入数据、卷积核参数、区间输出数据，数据类型均为区间数据类型，
其中利用数据重新排列方法将卷积层的区间输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵，再通过区间输入矩阵和区间卷积核参数矩阵的相乘运算获得区间输出矩阵，用于构建区间卷积神经网络。
所述的卷积层，使用im2col方法将卷积层输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵。
所述的卷积层，通过通用矩阵相乘GeMM将区间输入矩阵和区间卷积核参数矩阵进行相乘运算获得区间输出矩阵。
本发明的有益之处是：
本发明提供一种基于区间算法的神经网络卷积层设计方法，利用区间算法，将卷积层的输入值，卷积核参数，以及输出值，定义成区间数据类型，从而形成区间卷积层，该区间卷积层能够处理不确定的有一定范围的输入值，并输出可靠的区间值，弥补了神经网络无法处理区间数据的不足，同时避免了有些高精度浮点数值无法被计算机精确表达的情况发生，也解决了某些技术上的参数没有确定值的问题，提高可靠性。本发明中卷积层设计方法可应用于实际场景中，解决实际问题。
附图说明
图1卷积神经网络中利用im2col方法的卷积层运算示例；
图2区间矩阵乘法运算示例；
图3本发明方法流程示意图。
具体实施方式
本发明提供一种基于区间算法的神经网络卷积层设计方法：
利用数据重新排列方法将卷积层的区间输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵，再通过区间输入矩阵和区间卷积核参数矩阵的相乘运算获得区间输出矩阵，将区间输出矩阵的数据应用于神经网络技术，构建区间卷积神经网络。
同时提供一种基于区间算法的神经网络卷积层，包括区间输入数据、卷积核参数、区间输出数据，数据类型均为区间数据类型，
其中利用数据重新排列方法将卷积层的区间输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵，再通过区间输入矩阵和区间卷积核参数矩阵的相乘运算获得区间输出矩阵，用于构建区间卷积神经网络。
结合附图及具体实施，对本发明做进一步说明。
区间数据类型描述如下：
在数学里，区间通常是指这样的一类实数集合：如果x和y是两个在集合里的数，那么，任何x和y之间的数也属于该集合。例如，由符合0≤x≤1的实数所构成的集合，便是一个区间，它包含了0、1，还有0和1之间的全体实数。记为[0,1]。0为该区间的下界，1为该区间的上界。
本发明中的主要用到的方法包括：
加法：[x1，x2]+[y1，y2]＝[x1+x2，y1+y2]
减法：[x1，x2]-[y1，y2]＝[x1-y2，x2-y1]
乘法：[x1，x2]*[y1，y2]
＝[min(x1y1，x2y1，x1y2，x2y2)，max(x1y1，x2y1，x1y2，x2y2)]
利用本发明方法，使用im2col方法将卷积层的区间输入数据及卷积核参数进行数据重新排列，其中区间输入数据和卷积核均为包含上界，下界的区间数据；再通过通用矩阵相乘GeMM将区间输入矩阵和区间卷积核参数矩阵进行相乘运算获得区间输出矩阵，如图2，矩阵一与矩阵二中的元素均为区间数据，矩阵一的行与矩阵二的列中各个区间元素对应相乘并求和获得矩阵三中的区间元素数据，在实际区间卷积层应用过程中，矩阵一即为区间输入矩阵，矩阵二为卷积核参数矩阵，矩阵三为区间输出矩阵；
获得的输出矩阵数值即可与相应采用区间算法的池化层等其他相关神经网络技术相结合，构建区间卷积神经网络，利用神经网络技术解决区间数据相关问题。比如预测股市开盘价，预测地下水位，个人信贷信用评估等等。

Claims (6)

1.一种基于区间算法的神经网络卷积层设计方法，其特征是
利用数据重新排列方法将卷积层的区间输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵，再通过区间输入矩阵和区间卷积核参数矩阵的相乘运算获得区间输出矩阵，将区间输出矩阵的数据应用于神经网络技术，构建区间卷积神经网络。
2.根据权利要求1所述的方法，其特征是使用im2col方法将卷积层输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵。
3.根据权利要求1或2所述的方法，其特征是通过通用矩阵相乘GeMM将区间输入矩阵和区间卷积核参数矩阵进行相乘运算获得区间输出矩阵。
4.一种基于区间算法的神经网络卷积层，其特征是包括区间输入数据、卷积核参数、区间输出数据，数据类型均为区间数据类型，
其中利用数据重新排列方法将卷积层的区间输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵，再通过区间输入矩阵和区间卷积核参数矩阵的相乘运算获得区间输出矩阵，用于构建区间卷积神经网络。
5.根据权利要求4所述的卷积层，其特征是使用im2col方法将卷积层输入数据及卷积核参数转换为区间输入矩阵和区间卷积核参数矩阵。
6.根据权利要求4或5所述的卷积层，其特征是通过通用矩阵相乘GeMM将区间输入矩阵和区间卷积核参数矩阵进行相乘运算获得区间输出矩阵。
CN201710883220.7A 2017-09-26 2017-09-26 一种基于区间算法的神经网络卷积层设计方法 Pending CN107657314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710883220.7A CN107657314A (zh) 2017-09-26 2017-09-26 一种基于区间算法的神经网络卷积层设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710883220.7A CN107657314A (zh) 2017-09-26 2017-09-26 一种基于区间算法的神经网络卷积层设计方法

Publications (1)

Publication Number Publication Date
CN107657314A true CN107657314A (zh) 2018-02-02

Family

ID=61115856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710883220.7A Pending CN107657314A (zh) 2017-09-26 2017-09-26 一种基于区间算法的神经网络卷积层设计方法

Country Status (1)

Country Link
CN (1) CN107657314A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166442A (zh) * 2018-06-04 2021-01-01 株式会社索思未来 运算方法
WO2021179281A1 (en) * 2020-03-13 2021-09-16 Intel Corporation Optimizing low precision inference models for deployment of deep neural networks
JP2022500786A (ja) * 2019-05-21 2022-01-04 深▲セン▼市商湯科技有限公司Shenzhen Sensetime Technology Co., Ltd. 情報処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166442A (zh) * 2018-06-04 2021-01-01 株式会社索思未来 运算方法
CN112166442B (zh) * 2018-06-04 2023-08-18 株式会社索思未来 运算方法
JP2022500786A (ja) * 2019-05-21 2022-01-04 深▲セン▼市商湯科技有限公司Shenzhen Sensetime Technology Co., Ltd. 情報処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
JP7140912B2 (ja) 2019-05-21 2022-09-21 深▲セン▼市商湯科技有限公司 情報処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
WO2021179281A1 (en) * 2020-03-13 2021-09-16 Intel Corporation Optimizing low precision inference models for deployment of deep neural networks

Similar Documents

Publication Publication Date Title
Kisi et al. Modeling discharge–sediment relationship using neural networks with artificial bee colony algorithm
CN105095965B (zh) 人工神经网络和脉冲神经网络神经的混合通信方法
Elhegazy et al. Artificial intelligence for developing accurate preliminary cost estimates for composite flooring systems of multi-storey buildings
Ghorbani et al. Estimation of soil cation exchange capacity using multiple regression, artificial neural networks, and adaptive neuro-fuzzy inference system models in Golestan Province, Iran
Saadatpour et al. Meta-model assisted 2D hydrodynamic and thermal simulation model (CE-QUAL-W2) in deriving optimal reservoir operational strategy in selective withdrawal scheme
CN107909206A (zh) 一种基于深层结构循环神经网络的pm2.5预测方法
CN105095961A (zh) 一种人工神经网络和脉冲神经网络的混合系统
CN105095967A (zh) 一种多模态神经形态网络核
CN105095966A (zh) 人工神经网络和脉冲神经网络的混合计算系统
CN107657314A (zh) 一种基于区间算法的神经网络卷积层设计方法
Bozorg-Haddad et al. A self-tuning ANN model for simulation and forecasting of surface flows
Zheng et al. Improving the efficiency of multi-objective evolutionary algorithms through decomposition: An application to water distribution network design
Yang et al. An optimized BP neural network model for teaching management evaluation
CN106951960A (zh) 一种神经网络及该神经网络的学习方法
CN108346293A (zh) 一种实时交通流短时预测方法
Nourani et al. Application of the Artificial Neural Network to monitor the quality of treated water
CN107665376A (zh) 一种湿地空间分布变化格局模拟与预测方法
Darbandi et al. River flow simulation using a multilayer perceptron-firefly algorithm model
CN105678417A (zh) 一种施工隧道撑子面涌水量预测方法及装置
CN106952000A (zh) 一种喀斯特区域滑坡灾害风险动态评估方法
CN107944076A (zh) 一种设备部署方案获取方法及装置
CN102968663A (zh) 基于无标记样本的神经网络构建方法及其装置
CN110929809B (zh) 一种特征自增强的循环神经网络的污水关键水质指标软测量方法
Shiri et al. Forecasting daily stream flows using artificial intelligence approaches
CN106408649A (zh) 一种基于规则的体结构演化设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180202

RJ01 Rejection of invention patent application after publication