CN112966813B - 一种卷积神经网络输入层装置及其工作方法 - Google Patents

一种卷积神经网络输入层装置及其工作方法 Download PDF

Info

Publication number
CN112966813B
CN112966813B CN202110273669.8A CN202110273669A CN112966813B CN 112966813 B CN112966813 B CN 112966813B CN 202110273669 A CN202110273669 A CN 202110273669A CN 112966813 B CN112966813 B CN 112966813B
Authority
CN
China
Prior art keywords
image
image storage
neural network
convolutional neural
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110273669.8A
Other languages
English (en)
Other versions
CN112966813A (zh
Inventor
许野平
朱爱红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202110273669.8A priority Critical patent/CN112966813B/zh
Publication of CN112966813A publication Critical patent/CN112966813A/zh
Application granted granted Critical
Publication of CN112966813B publication Critical patent/CN112966813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络输入层装置及其工作方法，涉及人工智能领域。卷积神经网络输入层系统包括若干图像存储区，记作An，图像变换模块，记作Bn，每一图像变换模块的输入端和输出端均与图像存储区相连，每一图像存储区还连接异步卷积层，记作C，异步卷积层的输出端连接特征层，记作D，特征层连接用于后续的特征提取和输出的卷积神经网络，记作E。本系统通过连续多帧尺度不同的视频画面作为输入，可显著压缩输入数据量，增加输入的持续时长，可减少模型训练和预测时间，提升对持续时间较长的复杂行为预测的准确性。

Description

一种卷积神经网络输入层装置及其工作方法
技术领域
本发明涉及人工智能领域，具体涉及一种卷积神经网络输入层装置及其工作方法。
背景技术
3D卷积神经网络模型可以从动态视频图像序列中提取目标特征。3D卷积神经网络工作时，通常利用3D卷积机制将多帧相同尺寸的视频图像积叠成图像立方体。由于输入层包含了连续多帧视频图像序列，3D卷积神经网络模型能够有效提取视频数据中目标的动态特征。
3D卷积神经网络模型中，连续视频图像序列中的图像尺寸完全一样。事实上，连续视频图像序列中的图像在提取目标特征过程中所起的作用随时间推移逐步递减。因此，3D卷积神经网络模型采用同规格多帧图像做输入层的方案占用了过多的网络数据资源。
现有技术公开了3D卷积神经网络的动态视频图像目标特征提取方法。但是，这类方法存在算法模型的结构性冗余问题，导致训练和预测计算量较大，运行效率低。由于视频图像帧所占内存空间较大，现有技术所能接受的连续视频帧的数量非常有限，难以识别持续时间较长的复杂行为目标。
发明内容
本发明的目的是针对上述不足，提出了一种卷积神经网络输入层系统，通过把多种尺度的图像拼接在同一幅图像输入层中，实现了用较小的网络模型规模实现较好的目标特征提取。
本发明具体采用如下技术方案：
一种卷积神经网络输入层系统，包括若干图像存储区，记作An，图像变换模块，记作Bn，每一图像变换模块的输入端和输出端均与图像存储区相连，每一图像存储区还连接异步卷积层，记作C，异步卷积层的输出端连接特征层，记作D，特征层连接用于后续的特征提取和输出的卷积神经网络，记作E。
优选地，卷积神经网络输入层系统的工作方法包括如下步骤：
S1、新的视频帧到来之前，图像存储区An-1存储的信息经图像变换模块Bn变换后存放在图像存储区An。
S2、对于异步卷积层C中的任意一个卷积核，在对图像存储区中数据做卷积运算时，图像像素的定位原则为图像A0按照传统卷积计算方法读取像素的值；卷积运算读取原始图像像素P(x,y)的值时，直接从图像A0的(x,y)位置处读取像素值，图像A1、A2、…、An的取值位置根据图像变换方法重新定位。
S3、卷积神经网络E采用传统卷积神经网络模型。
优选地，依据S1图像存储区A1图像经图像变换模块B2变换后存放在图像存储区A2；图像存储区A0图像经图像变换模块B1变换后存放在图像存储区A1；最后，新的视频帧图像保存在图像存储区A0。
优选地，依据S2，如果图像存储区的图像A0、A1、A2、…、An尺寸构成公比为r的等比数列，卷积运算读取原始图像像素P(x,y)的值时，图像A0、A1、A2、…、An的取值位置为(int(x*r^i)，int(y*r^i))，其中i＝0，1，2，…，n；当r＝1时，本发明方法退化成传统3D卷积神经网络。
本发明具有如下有益效果：
本发明通过连续多帧尺度不同的视频画面作为输入，可显著压缩输入数据量，增加输入的持续时长，可减少模型训练和预测时间，提升对持续时间较长的复杂行为预测的准确性。
附图说明
图1为卷积神经网络输入层装置示意图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
结合图1，卷积神经网络输入层系统包括若干图像存储区，记作An，图像变换模块，记作Bn，每一图像变换模块的输入端和输出端均与图像存储区相连，每一图像存储区还连接异步卷积层，记作C，异步卷积层的输出端连接特征层，记作D，特征层连接用于后续的特征提取和输出的卷积神经网络，记作E。
卷积神经网络输入层系统的工作方法包括如下步骤：
S1、新的视频帧到来之前，图像存储区An-1存储的信息经图像变换模块Bn变换后存放在图像存储区An；以此类推，依据S1图像存储区A1图像经图像变换模块B2变换后存放在图像存储区A2；图像存储区A0图像经图像变换模块B1变换后存放在图像存储区A1；最后，新的视频帧图像保存在图像存储区A0。
S2、对于异步卷积层C中的任意一个卷积核，在对图像存储区中数据做卷积运算时，图像像素的定位原则为图像A0按照传统卷积计算方法读取像素的值；卷积运算读取原始图像像素P(x,y)的值时，直接从图像A0的(x,y)位置处读取像素值，图像A1、A2、…、An的取值位置根据图像变换方法重新定位；如果图像存储区的图像A0、A1、A2、…、An尺寸构成公比为r的等比数列，卷积运算读取原始图像像素P(x,y)的值时，图像A0、A1、A2、…、An的取值位置为(int(x*r^i)，int(y*r^i))，其中i＝0，1，2，…，n；当r＝1时，本发明方法退化成传统3D卷积神经网络。
S3、卷积神经网络E采用传统卷积神经网络模型。
依据S1图像存储区A1图像经图像变换模块B2变换后存放在图像存储区A2；图像存储区A0图像经图像变换模块B1变换后存放在图像存储区A1；最后，新的视频帧图像保存在图像存储区A0。
以包含9个图像存储区和8个图像变换模块为例：
图像存储区A0、A1、A2、A3、A4、A5、A6、A7、A8，用于保存尺寸分别为512、256、128、64、32、16、8、4、2的方形连续视频图像序列。
图像变换模块B1、B2、B3、B4、B5、B6、B7、B8，用于变换图像尺度。
异步卷积层C，用于把图像A0、A1、A2、A3、A4、A5、A6、A7、A8利用异步卷积计算输出至特征层D。
异步卷积层C，用于把图像A0、A1、A2、A3、A4、A5、A6、A7、A8利用异步卷积计算输出至特征层D；
卷积神经网络E，传统卷积神经网络模型，用于后续的特征提取和输出。
基于本系统干的工作过程如下：
S1、新的视频帧到来之前，图像存储区A7图像变换模块B8变换后存放在图像存储区A8；依此类推，图像存储区A1图像经图像变换模块B2变换后存放在图像存储区A2；图像存储区A0图像经图像变换模块B1变换后存放在图像存储区A1；最后，新的视频帧图像保存在图像存储区A0。
S2、对于卷积层C中的任意一个卷积核，在对A0、A1、A2、…、A8中数据做卷积运算时，图像像素的定位原则为图像A0按照传统卷积计算方法读取像素的值。卷积运算需要读取原始图像像素P(x,y)的值时，图像A0、A1、A2、…、An的取值位置为(int(x*0.5^i)，int(y*0.5^i))，其中i＝0，1，2，…，8。
S3、卷积神经网络E，可按照实际需要采用传统卷积神经网络模型。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (2)

1.一种卷积神经网络输入层系统，其特征在于，包括若干图像存储区，记作An，图像变换模块，记作Bn，每一图像变换模块的输入端和输出端均与图像存储区相连，每一图像存储区还连接异步卷积层，记作C，异步卷积层的输出端连接特征层，记作D，特征层连接用于后续的特征提取和输出的卷积神经网络，记作E；
包括如下步骤：
S1、新的视频帧到来之前，图像存储区An-1存储的信息经图像变换模块Bn变换后存放在图像存储区An；
S2、对于异步卷积层C中的任意一个卷积核，在对图像存储区中数据做卷积运算时，图像像素的定位原则为图像A0按照传统卷积计算方法读取像素的值；卷积运算读取原始图像像素P(x,y)的值时，直接从图像A0的(x,y)位置处读取像素值，图像A1、A2、…、An的取值位置根据图像变换方法重新定位；
S3、卷积神经网络E采用传统卷积神经网络模型；
依据S2，图像存储区的图像A0、A1、A2、…、An尺寸构成公比为r的等比数列，卷积运算读取原始图像像素P(x,y)的值时，图像A0、A1、A2、…、An的取值位置为(int(x*r^i)，int(y*r^i))，
其中i＝0，1，2，…，n；当r＝1时，本发明方法退化成传统3D卷积神经网络。
2.如权利要求1所述的一种卷积神经网络输入层系统，其特征在于，依据S1图像存储区A1图像经图像变换模块B2变换后存放在图像存储区A2；图像存储区A0图像经图像变换模块B1变换后存放在图像存储区A1；最后，新的视频帧图像保存在图像存储区A0。
CN202110273669.8A 2021-03-15 2021-03-15 一种卷积神经网络输入层装置及其工作方法 Active CN112966813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273669.8A CN112966813B (zh) 2021-03-15 2021-03-15 一种卷积神经网络输入层装置及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273669.8A CN112966813B (zh) 2021-03-15 2021-03-15 一种卷积神经网络输入层装置及其工作方法

Publications (2)

Publication Number Publication Date
CN112966813A CN112966813A (zh) 2021-06-15
CN112966813B true CN112966813B (zh) 2023-04-07

Family

ID=76278962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273669.8A Active CN112966813B (zh) 2021-03-15 2021-03-15 一种卷积神经网络输入层装置及其工作方法

Country Status (1)

Country Link
CN (1) CN112966813B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379550A (zh) * 2018-09-12 2019-02-22 上海交通大学 基于卷积神经网络的视频帧率上变换方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930402A (zh) * 2016-04-15 2016-09-07 乐视控股（北京）有限公司 基于卷积神经网络的视频检索方法及系统
CN106355244B (zh) * 2016-08-30 2019-08-13 深圳市诺比邻科技有限公司 卷积神经网络的构建方法及系统
CN109325589B (zh) * 2017-07-31 2021-06-15 华为技术有限公司 卷积计算方法及装置
CN108537331A (zh) * 2018-04-04 2018-09-14 清华大学 一种基于异步逻辑的可重构卷积神经网络加速电路
CN108717571B (zh) * 2018-06-01 2020-09-15 阿依瓦（北京）技术有限公司 一种用于人工智能的加速方法和装置
CN110070178B (zh) * 2019-04-25 2021-05-14 北京交通大学 一种卷积神经网络计算装置及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379550A (zh) * 2018-09-12 2019-02-22 上海交通大学 基于卷积神经网络的视频帧率上变换方法及系统

Also Published As

Publication number Publication date
CN112966813A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN101276152B (zh) 绘图装置
US8228396B2 (en) Image processing apparatus, image capturing apparatus, and image distortion correction method
US20080100929A1 (en) Distorted aberration correction processing apparatus
CN110414520A (zh) 通用字符识别方法、装置、计算机设备和存储介质
CN101729840A (zh) 一种利用视频图像特征序列的存储处理方法
CN112037129A (zh) 图像超分辨率重建方法、装置、设备及存储介质
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
CN111444365A (zh) 图像分类方法、装置、电子设备及存储介质
CN108537729B (zh) 图像无级缩放方法、计算机装置及计算机可读存储介质
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
CN111967582B (zh) 一种cnn卷积层运算方法及cnn卷积层运算加速器
CN115209145A (zh) 一种视频压缩方法、系统、装置及可读存储介质
CN110503002B (zh) 一种人脸检测方法和存储介质
CN115187456A (zh) 基于图像强化处理的文本识别方法、装置、设备及介质
CN109089120B (zh) 分析辅助编码
CN112966813B (zh) 一种卷积神经网络输入层装置及其工作方法
CN102611842A (zh) 图像处理设备和图像处理方法
CN113596576A (zh) 一种视频超分辨率的方法及装置
CN105427235A (zh) 一种图像浏览方法及系统
CN103975583A (zh) 捕获多个视频通道用于视频分析和编码
CN115170807B (zh) 一种图像分割、模型训练方法、装置、设备及介质
CN116630160A (zh) 一种基于卷积网络的细胞图像超分辨率重建方法及系统
CN111861877A (zh) 视频超分变率的方法和装置
CN113379667B (zh) 脸部图像生成方法、装置、设备及介质
CN114007073A (zh) 一种基于大场景画面存储系统及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant