CN110363168A - 一种基于卷积神经网络的三维立体图识别系统 - Google Patents
一种基于卷积神经网络的三维立体图识别系统 Download PDFInfo
- Publication number
- CN110363168A CN110363168A CN201910653153.9A CN201910653153A CN110363168A CN 110363168 A CN110363168 A CN 110363168A CN 201910653153 A CN201910653153 A CN 201910653153A CN 110363168 A CN110363168 A CN 110363168A
- Authority
- CN
- China
- Prior art keywords
- convolutional neural
- neural networks
- multiply
- convolution
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的三维立体图识别系统，属于人工智能数据处理技术领域。本发明的基于卷积神经网络的三维立体图识别系统包括输入图像缓存模块、流程控制模块、参数分发模块、卷积与上采样基本单元和深景图像处理模块；所述流程控制模块用于给出控制信号，控制系统工作状态；参数分发模块用于存储并分发卷积神经网络计算所需参数；输入图像缓存模块用于对输入的三维立体图像进行逐像素存储。该发明的基于卷积神经网络的三维立体图识别系统能够充分提取三维立体图像的深度信息和广度信息，并对原图像中的每个像素分类，达到分离出深景图像的目的，具有很好的推广应用价值。
Description
技术领域
本发明涉及人工智能数据处理技术领域，具体提供一种基于卷积神经网络的三维立体图识别系统。
背景技术
三维立体图，利用人们两眼视觉差别和光学折射原理在一个平面内使人们可直接看到一幅三维立体画，画中事物既可以凸出于画面之外，也可以深藏其中，给人们以很强的视觉冲击力。这主要是运用光影、虚实、明暗对比来体现的，而真正的3D立体画是模拟人眼看世界的原理，利用光学折射制作出来，它可以使眼睛感观上看到物体的上下、左右、前后三维关系。观察这类图像通常需要采用特殊的方法或借助器材。
卷积神经网络CNN可用于识别图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。将卷积神经网络用于三维立体图像识别，可将卷积神经网络在特征提取、输入分类中的优势运用于识别隐藏在三维图表象下的深景图像识别。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够充分提取三维立体图像的深度信息和广度信息，并对原图像中的每个像素分类，达到分离出深景图像目的的基于卷积神经网络的三维立体图识别系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于卷积神经网络的三维立体图识别系统，包括输入图像缓存模块、流程控制模块、参数分发模块、卷积与上采样基本单元和深景图像处理模块；
所述流程控制模块用于给出控制信号，控制系统工作状态；
参数分发模块用于存储并分发卷积神经网络计算所需参数；
输入图像缓存模块由存储阵列组成，用于对输入的三维立体图像进行逐像素存储，在接收到所述流程控制模块给出的读取信号后将像素值传输至所述卷积乘加阵列，开始卷积神经网络正向传输计算；
卷积与上采样基本单元根据参数完成输入数据的乘加基本运算，并完成上采样计算；
深景图像处理模块用于根据卷积神经网络输出结果，将属于深景类别的像素重新组合，存储显示。
作为优选，所述卷积与上采样基本单元包括卷积乘加阵列、上采样乘加阵列和池化模块。
作为优选，所述卷积乘加阵列由乘法器和加法器阵列和互联逻辑构成，根据参数进行互联，完成输入数据的乘加基本运算。
作为优选，所述上采样乘加阵列由插值寄存器、乘法器、加法器阵列和互联逻辑构成，用于完成上采样计算。
作为优选，所述池化模块由比较器和移位寄存器阵列构成，用于完成最大化池化或平均池化计算。
作为优选，所述参数分发模块用于存储并分发卷积神经网络计算所需参数包括图像长宽参数、卷积神经网络输出深度参数、卷积乘数参数、卷积偏置参数和互联数目参数。
作为优选，卷积数据经卷积乘加阵列计算，一路送入池化模块，用于卷积层下级卷积计算输入，一路送入同一基本单元的上采样乘加阵列，与前级上采样乘加阵列传来的结果合并，一同进行上采样计算。
作为优选，所述上采样乘加阵列接收两路输入，一路为当前基本单元卷积乘加阵列输出，一路为下级基本单元上采样乘加阵列输出，结果叠加合并后，完成特征提取计算。
作为优选，根据深度参数，卷积神经网络给原输入图像中每个像素计算标签，位于不同深度的图像像素打上不同标签，深景图像处理模块根据原始输入图像长宽参数信息，填充背景像素，同时根据深度信息舍弃前景图像，将不同层的深景图像叠加整合，然后进行存储显示。
与现有技术相比，本发明的基于卷积神经网络的三维立体图识别系统具有以下突出的有益效果：所述基于卷积神经网络的三维立体图识别系统通过卷积神经网络卷积池化计算，充分提取三维立体图像的深度信息与广度信息，再经过上采样对原图像中每个像素分类，对其赋予一个标签，为每一个可能的类创建一个输出通道，达到分离出深景图像的目的。通过卷积与上采样级联方式，在多个尺度对输入图像进行特征提取，保证了运算可靠性。可配置乘加阵列的使用，在时钟级对卷积计算进行加速，提高了运算效率。同时电路无额外指令开销，在能耗上进一步降低。通过给出不同参数，不仅可以用于提取三维立体图像中的深景信息，还可用于以三维图像为媒介的消息加解密过程，具有良好的推广应用价值。
附图说明
图1是本发明所述基于卷积神经网络的三维立体图识别系统的拓扑图。
具体实施方式
下面将结合附图和实施例，对本发明的基于卷积神经网络的三维立体图识别系统作进一步详细说明。
实施例
如图1所示，本发明的基于卷积神经网络的三维立体图识别系统包括输入图像缓存模块、流程控制模块、参数分发模块、卷积与上采样基本单元和深景图像处理模块。
其中卷积与上采样基本单元包括卷积乘加阵列、上采样乘加阵列和池化模块。
卷积乘加阵列由乘法器和加法器阵列和互联逻辑构成，根据参数进行互联，完成输入数据的乘加基本运算。
上采样乘加阵列由插值寄存器、乘法器、加法器阵列和互联逻辑构成，用于完成上采样计算。
池化模块由比较器和移位寄存器阵列构成，用于完成最大化池化或平均池化计算。
流程控制模块用于给出控制信号，控制输入图像缓存模块、参数分发模块、卷积与上采样基本单元和深景图像处理模块工作状态。
参数分发模块用于存储并分发卷积神经网络计算所需参数，并接收前级传来的新的参数信息，用于参数更新。
参数分发模块用于存储并分发卷积神经网络计算所需参数包括图像长宽参数、卷积神经网络输出深度参数、卷积乘数参数、卷积偏置参数和互联数目参数。
输入图像缓存模块由存储阵列组成，用于对输入的三维立体图像进行逐像素存储，在接收到所述流程控制模块给出的读取信号后将像素值传输至所述卷积乘加阵列，开始卷积神经网络正向传输计算，用于对输入的三维立体图像进行逐像素存储。
深景图像处理模块用于根据卷积神经网络输出结果，将属于深景类别的像素重新组合，存储显示。
卷积数据经卷积乘加阵列计算，一路送入池化模块，用于卷积层下级卷积计算输入，一路送入同一基本单元的上采样乘加阵列，与前级上采样乘加阵列传来的结果合并，一同进行上采样计算。
上采样乘加阵列接收两路输入，一路为当前基本单元卷积乘加阵列输出，一路为下级基本单元上采样乘加阵列输出，结果叠加合并后，完成特征提取计算。
根据深度参数，卷积神经网络给原输入图像中每个像素计算标签，位于不同深度的图像像素打上不同标签，深景图像处理模块根据原始输入图像长宽参数信息，填充背景像素，同时根据深度信息舍弃前景图像，将不同层的深景图像叠加整合，然后进行存储显示。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种基于卷积神经网络的三维立体图识别系统，其特征在于：包括输入图像缓存模块、流程控制模块、参数分发模块、卷积与上采样基本单元和深景图像处理模块；
所述流程控制模块用于给出控制信号，控制系统工作状态；
参数分发模块用于存储并分发卷积神经网络计算所需参数；
输入图像缓存模块用于对输入的三维立体图像进行逐像素存储；
卷积与上采样基本单元根据参数完成输入数据的乘加基本运算，并完成上采样计算；
深景图像处理模块用于根据卷积神经网络输出结果，将属于深景类别的像素重新组合，存储显示。
2.根据权利要求1所述的基于卷积神经网络的三维立体图识别系统，其特征在于：所述卷积与上采样基本单元包括卷积乘加阵列、上采样乘加阵列和池化模块。
3.根据权利要求2所述的基于卷积神经网络的三维立体图识别系统，其特征在于：所述卷积乘加阵列由乘法器和加法器阵列和互联逻辑构成，根据参数进行互联，完成输入数据的乘加基本运算。
4.根据权利要求3所述的基于卷积神经网络的三维立体图识别系统，其特征在于：所述上采样乘加阵列由插值寄存器、乘法器、加法器阵列和互联逻辑构成，用于完成上采样计算。
5.根据权利要求4所述的基于卷积神经网络的三维立体图识别系统，其特征在于：所述池化模块由比较器和移位寄存器阵列构成，用于完成最大化池化或平均池化计算。
6.根据权利要求5所述的基于卷积神经网络的三维立体图识别系统，其特征在于：所述参数分发模块用于存储并分发卷积神经网络计算所需参数包括图像长宽参数、卷积神经网络输出深度参数、卷积乘数参数、卷积偏置参数和互联数目参数。
7.根据权利要求6所述的基于卷积神经网络的三维立体图识别系统，其特征在于：卷积数据经卷积乘加阵列计算，一路送入池化模块，用于卷积层下级卷积计算输入，一路送入同一基本单元的上采样乘加阵列，与前级上采样乘加阵列传来的结果合并，一同进行上采样计算。
8.根据权利要求7所述的基于卷积神经网络的三维立体图识别系统，其特征在于：所述上采样乘加阵列接收两路输入，一路为当前基本单元卷积乘加阵列输出，一路为下级基本单元上采样乘加阵列输出，结果叠加合并后，完成特征提取计算。
9.根据权利要求8所述的基于卷积神经网络的三维立体图识别系统，其特征在于：根据深度参数，卷积神经网络给原输入图像中每个像素计算标签，位于不同深度的图像像素打上不同标签，深景图像处理模块根据原始输入图像长宽参数信息，填充背景像素，同时根据深度信息舍弃前景图像，将不同层的深景图像叠加整合，然后进行存储显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910653153.9A CN110363168A (zh) | 2019-07-19 | 2019-07-19 | 一种基于卷积神经网络的三维立体图识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910653153.9A CN110363168A (zh) | 2019-07-19 | 2019-07-19 | 一种基于卷积神经网络的三维立体图识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110363168A true CN110363168A (zh) | 2019-10-22 |
Family
ID=68220541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910653153.9A Pending CN110363168A (zh) | 2019-07-19 | 2019-07-19 | 一种基于卷积神经网络的三维立体图识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363168A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203999A (zh) * | 2017-04-28 | 2017-09-26 | 北京航空航天大学 | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 |
| CN108230329A (zh) * | 2017-12-18 | 2018-06-29 | 孙颖 | 基于多尺度卷积神经网络的语义分割方法 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN108734279A (zh) * | 2017-04-20 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN108734719A (zh) * | 2017-04-14 | 2018-11-02 | 浙江工商大学 | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 |
| CN109300166A (zh) * | 2017-07-25 | 2019-02-01 | 同方威视技术股份有限公司 | 重建ct图像的方法和设备以及存储介质 |
| CN109410220A (zh) * | 2018-10-16 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109493350A (zh) * | 2018-11-09 | 2019-03-19 | 重庆中科云丛科技有限公司 | 人像分割方法及装置 |
| CN109754062A (zh) * | 2017-11-07 | 2019-05-14 | 上海寒武纪信息科技有限公司 | 卷积扩展指令的执行方法以及相关产品 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN109923582A (zh) * | 2016-08-26 | 2019-06-21 | 医科达有限公司 | 使用卷积神经网络进行图像分割的系统和方法 |
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
-
2019
- 2019-07-19 CN CN201910653153.9A patent/CN110363168A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109923582A (zh) * | 2016-08-26 | 2019-06-21 | 医科达有限公司 | 使用卷积神经网络进行图像分割的系统和方法 |
| CN108734719A (zh) * | 2017-04-14 | 2018-11-02 | 浙江工商大学 | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 |
| CN108734279A (zh) * | 2017-04-20 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN107203999A (zh) * | 2017-04-28 | 2017-09-26 | 北京航空航天大学 | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 |
| CN109300166A (zh) * | 2017-07-25 | 2019-02-01 | 同方威视技术股份有限公司 | 重建ct图像的方法和设备以及存储介质 |
| CN109754062A (zh) * | 2017-11-07 | 2019-05-14 | 上海寒武纪信息科技有限公司 | 卷积扩展指令的执行方法以及相关产品 |
| CN108230329A (zh) * | 2017-12-18 | 2018-06-29 | 孙颖 | 基于多尺度卷积神经网络的语义分割方法 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN109410220A (zh) * | 2018-10-16 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109493350A (zh) * | 2018-11-09 | 2019-03-19 | 重庆中科云丛科技有限公司 | 人像分割方法及装置 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107945282B (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
| CN111931787A (zh) | 一种基于特征聚合的rgbd显著性检测方法 | |
| CN104954780B (zh) | 一种适用于高清2d/3d转换的dibr虚拟图像修复方法 | |
| CN113936139B (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统 | |
| CN110533712A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
| CN108985269A (zh) | 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型 | |
| CN107610123A (zh) | 一种基于深度卷积神经网络的图像美学质量评价方法 | |
| CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
| CN113792641B (zh) | 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法 | |
| CN109063778A (zh) | 一种图像美学质量确定方法及系统 | |
| CN110414370B (zh) | 人脸脸型识别方法、装置、电子设备及存储介质 | |
| CN107886061A (zh) | 基于多模态深度玻尔兹曼机的人体行为识别方法及系统 | |
| CN112861690B (zh) | 多方法融合的遥感影像变化检测方法及系统 | |
| CN111402311B (zh) | 一种基于知识蒸馏的轻量级立体视差估计方法 | |
| CN109740652A (zh) | 一种病理图像分类方法和计算机设备 | |
| CN105373777A (zh) | 一种用于人脸识别的方法及装置 | |
| CN110222760A (zh) | 一种基于winograd算法的快速图像处理方法 | |
| CN102263979B (zh) | 一种平面视频立体化的深度图生成方法及装置 | |
| CN108345892A (zh) | 一种立体图像显著性的检测方法、装置、设备及存储介质 | |
| CN107578435A (zh) | 一种图像深度预测方法及装置 | |
| CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
| CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN115546198A (zh) | 一种基于循环生成对抗网络的近红外图像彩色化方法 | |
| CN110060236A (zh) | 基于深度卷积神经网络的立体图像质量评价方法 | |
| CN107944386A (zh) | 基于卷积神经网络的视觉场景识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |