CN110324605B - 一种基于神经网络的智能裸眼3d显示系统 - Google Patents

一种基于神经网络的智能裸眼3d显示系统 Download PDF

Info

Publication number
CN110324605B
CN110324605B CN201910531208.9A CN201910531208A CN110324605B CN 110324605 B CN110324605 B CN 110324605B CN 201910531208 A CN201910531208 A CN 201910531208A CN 110324605 B CN110324605 B CN 110324605B
Authority
CN
China
Prior art keywords
module
neural network
data
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910531208.9A
Other languages
English (en)
Other versions
CN110324605A (zh
Inventor
刘洋
艾凯旋
胡绍刚
韦虹宇
于奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910531208.9A priority Critical patent/CN110324605B/zh
Publication of CN110324605A publication Critical patent/CN110324605A/zh
Application granted granted Critical
Publication of CN110324605B publication Critical patent/CN110324605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明属于智能裸眼3D显示技术领域,尤其涉及一种基于神经网络的智能裸眼3D显示系统。本发明针对现在智能裸眼3D显示设备系统显示时左右眼中像素互相串扰影响观影效果这一问题,通过在现有的智能裸眼3D显示电路架构中引入神经网络结构,利用神经网络智能控制图像信息显示存储模块传输到裸眼3D显示设备的对应像素点信息,调整显示设备对应位置像素点是否显示以消除左右眼中像素互相串扰影响观影效果这一问题,不仅提高人们的智能裸眼3D显示设备的观影效果,同时有效的降低显示功耗。

Description

一种基于神经网络的智能裸眼3D显示系统
技术领域
本发明属于智能裸眼3D显示技术领域,尤其涉及一种基于神经网络的智能裸眼3D显示系统。
背景技术
智能裸眼3D显示设备是利用人两眼具有视差的特性,在不需要任何辅助设备(如3D眼镜,头盔等)的情况下,即可获得具有空间、深度的逼真立体形象的显示装置。从技术上来看,裸眼式3D可分为光屏障式(Barrier)、柱状透镜(Lenticular Lens)技术、指向光源(DirectionalBacklight)以及直接成像四种。裸眼式3D技术最大的优势便是摆脱了眼镜的束缚,但是分辨率、可视角度和可视距离等方面还存在很多不足。
经过对智能裸眼3D显示设备的结构和显示过程的研究,发现目前的智能裸眼3D显示设备的柱镜光栅多采用了从上而下斜式摆放的方法,在显示的过程中,智能裸眼3D显示设备的光栅不仅会使对应像素点位置的色彩传输到对应眼睛中,同样会将多余的干扰像素点传到对应眼睛中,造成左右眼中像素互相串扰,且在人体移动过程中,这种串扰现象尤为明显,这样无疑会减弱3D图像的清晰度,使得立体效果不佳。
发明内容
针对现在智能裸眼3D显示设备系统显示过程中左右眼像素互相串扰影响视觉效果的问题,本发明提供了一种基于神经网络的智能裸眼3D显示系统,该架构在现有的智能裸眼3D显示电路架构中引入了神经网络结构,针对人体相对于智能裸眼3D设备位置不同进而产生显示不同区域像素点位置的复杂要求,采用神经网络结构有效的降低了针对不同人体位置不同像素点显示区域的一对一应用复杂度,通过大量数据训练进行自我归纳不同人体位置产生不同的相应像素点区域的输出控制,在不影响人眼视觉效果的情况下智能调节同样图像数据信息下的左右眼接收到的不同区域的像素点的不同,不仅提高人们智能裸眼3D显示设备的观影效果,同时有效的降低显示功耗。
本发明提出了一种基于神经网络的智能裸眼3D显示系统,包括写数据控制模块、时序控制模块、图像信息显示存储模块、数据采集模块、驱动模块、外部信息采集单元、智能裸眼3D显示设备和神经网络模块。
外部控制单元向写数据控制模块发送写指令,将准备显示的数据信息以二进制的形式存储到图像信息显示存储模块;同时外部信息采集单元将采集到的人体与智能裸眼3D显示设备相对位置的图片信息数据发送到数据采集模块中,数据采集模块接收到外部信息采集单元的图片信息后,将图片信息传输到卷积神经网络模块中,卷积神经网络模块接收到数据采集模块的图片信息后,进行内部计算并将图片信息中计算出的人眼相对于智能裸眼3D显示设备的位置信息数据传输到多层感知器神经网络模块中,多层感知器神经网络模块接收到来自卷积神经网络模块的位置信息数据后,将位置信息数据预处理并进行计算,根据最终计算结果动态控制图像信息显示存储模块,图像信息显示存储模块将对应像素点的信息传输到驱动模块进而驱动智能裸眼3D显示设备显示对应像素点位置的颜色,而未被读取像素点信息的位置,智能裸眼3D显示设备的相应位置不显示任何颜色。
所述写数据控制模块,用于在智能裸眼3D显示系统运行时接收外部控制单元的指令,并依据外部控制单元的指令向图像信息显示存储模块中写入待显示数据信息。
所述时序控制模块,用于在智能裸眼3D显示系统运行时将需显示的数据信息根据运用需求按时序传送到图像信息显示存储模块中,并进行智能3D显示系统运行阶段时序的控制,保证数据信息的显示和数据信息的传送同步进行,并对违规时序进行重新发送。
所述图像信息显示存储模块,用于保存写数据控制模块控制输入的数据信息,并随时准备将输入的数据信息传输到驱动模块进行数据向对应灰阶电压的转化。
所述数据采集模块,用于接收外部信息采集单元采集到的图像信息;
所述驱动模块,用于产生驱动智能裸眼3D显示设备的电压;
所述外部信息采集单元,用于采集智能裸眼3D显示设备的外部信息;
所述智能裸眼3D显示设备,用于被智能裸眼3D显示系统的驱动模块驱动显示对应位置的像素点。
所述神经网络模块基于神经网络对有效像素点数据控制显示训练后,智能控制图像信息显示存储模块输出对应的像素点信息,进而有效解决智能裸眼3D显示的串扰问题。其内部包含卷积神经网络模块以及多层感知器神经网络模块两个部分。
卷积神经网络模块用于对外部信息采集单元采集的信息进行预处理,其包含输入模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块和输出模块。
外部控制单元首先通过输入模块向权重存储模块传输训练好的卷积神经网络的权重值,然后外部信息采集单元通过数据采集模块向输入模块传输采集到的图像数据信息,输入模块将接收到的图像数据信息传输到卷积运算模块、池化运算模块、全连接运算模块和权重存储模块中的权重值进行运算,最终将计算后的人眼相对与智能裸眼3D显示设备的位置结果通过输出模块传输到多层感知器神经网络的输入模块中。
所述卷积神经网络模块的输入模块,用于将接收到的外部信息采集单元的指令进行图像数据预处理和向权重存储模块传输神经网络权重值。
所述卷积神经网络模块的卷积运算模块,用于进行卷积神经网络中预处理后图像数据特征的提取和计算。
所述卷积神经网络模块的池化运算模块,用于进行卷积神经网络中卷积运算模块输出特征图数据压缩,简化卷积神经网络运算的复杂度。
所述卷积神经网络模块的全连接运算模块,用于将卷积神经网络计算出的数据进行分类计算。
所述卷积神经网络模块和多层感知器神经网络模块的权重存储模块,用于进行卷积神经网络模块以及多层感知器神经网络模块中训练好的权重值的存储。
所述卷积神经网络模块的输出模块,用于将卷积神经网络模块运算后的最终计算结果输出到多层感知器神经网络模块的输入模块。
多层感知器神经网络模块用于对卷积神经网络模块处理后的数据信息进行计算从而控制图像信息存储模块输出对应像素点信息,其包含输入模块、逻辑运算模块、归一化模块、权重存储模块和输出模块。
外部控制单元首先通过输入模块向权重存储模块传输训练好的多层感知器神经网络的权重值,然后卷积神经网络模块向输入模块传输人眼相对与智能裸眼3D显示设备的位置结果数据,输入模块将接收到的数据传输到逻辑运算模块与权重存储模块中的权重值进行运算,最终将计算后的结果通过归一化模块归一化后传输到输出层模块,进而将控制信号传输到图像信息显示存储模块中。
所述多层感知器神经网络模块的输入模块,用于将接收到的外部控制单元的指令进行卷积神经网络模块输出数据的预处理和向权重存储模块传输神经网络权重值。
所述多层感知器神经网络模块的逻辑运算模块,用于进行多层感知器神经网络模块中预处理后数据与权重值的加减乘除。
所述多层感知器神经网络模块的归一化模块,用于进行多层感知器神经网络模块中输出逻辑运算结果的归一化处理。
所述多层感知器神经网络模块的输出模块,用于将多层感知器神经网络模块的最终计算结果输出到图像信息显示存储模块,进行输出对应的像素点信息的控制。
基于神经网络的智能裸眼3D显示系统的设计方法,其工作流程如下:
步骤1,神经网络的训练,在PC上确定卷积神经网络以及多层感知器神经网络的结构并以外部信息采集单元采集到的人眼相对于智能裸眼3D显示设备位置图像为训练集对卷积神经网络进行训练,并将卷积神经网络输出的数据传输到多层感知器神经网络进行训练,并依据实际情况对卷积神经网络和多层感知器神经网络参数进行调节,当神经网络控制相应像素点正确显示的准确率达到所需要求后导出神经网络的权重值;
步骤2,全局复位,将基于神经网络的智能裸眼3D显示系统中所有模块的状态初始化,其中包括硬件化神经网络模块的初始状态;
步骤3,加载步骤1已训练好的神经网络权重值,并分别导入卷积神经网络模块和多层感知器神经网络的权重存储模块中;
步骤4,外部控制单元向写数据控制模块发送写指令,将准备显示的数据信息以二进制的形式存储到图像信息显示存储模块,同时外部信息采集单元将采集到的人体与智能裸眼3D显示设备相对位置的图片信息数据发送到数据采集模块中;
步骤5,数据采集模块接收到外部信息采集单元的图片信息后,将图片信息传输到卷积神经网络模块的输入模块;
步骤6,卷积神经网络模块的输入模块接收到数据采集模块的图片信息后,将图片信息预处理后传输到预先加载权重值后的卷积运算模块中进行计算,并经过池化运算模块和全连接运算模块计算后,将图片信息中计算出的人眼相对于智能裸眼3D显示设备的位置信息数据传输到卷积神经网络模块的输出模块;
步骤7,多层感知器神经网络模块的输入模块接收到来自卷积神经网络模块的输出模块的人眼相对于智能裸眼3D显示设备的位置信息数据后,将位置信息数据预处理后传输到预先加载权重值之后的逻辑运算模块进行计算,并将计算结果通过归一化模块处理后传输到多层感知器神经网络模块的输出模块;
步骤8,多层感知器神经网络模块的输出模块将经过步骤7归一化模块处理后的计算结果转化为对应像素点的地址信息来读取智能裸眼3D显示设备相应位置的像素点信息;
步骤9,驱动模块接收到来自图像信息显示存储模块的相应位置的像素点信息后,驱动智能裸眼3D显示设备显示对应像素点位置的颜色,而未被读取像素点信息的位置,驱动模块输出电压为0V,智能裸眼3D显示设备的相应位置不显示任何颜色。
步骤10,外部控制单元判断智能裸眼3D显示设备正确显示对应区域的颜色显示后,跳转到步骤4发送新的数据读取命令,若显示设备未正确显示对应区域的颜色,则跳转到步骤4重新发送旧的数据读取命令。若连续两次相同的数据读取命令没有正确被执行,则跳转到步骤1重新启动整个智能裸眼3D显示系统。
步骤11,判断基于神经网络的智能裸眼3D显示系统完成所有显示任务后,清除所有的缓冲数据,结束整个显示设备系统的运行。
本发明针对现在智能裸眼3D显示设备系统显示时左右眼中像素互相串扰影响观影效果这一问题,通过在现有的智能裸眼3D显示电路架构中引入神经网络结构,调整显示设备对应位置像素点是否显示以消除左右眼中像素互相串扰影响观影效果这一问题,不仅提高人们的智能裸眼3D显示设备的观影效果,同时有效的降低显示功耗。
附图说明
图1是现有技术中智能裸眼3D显示装置的显示原理示意图;
图2是本发明中提出的智能裸眼3D显示系统神经网络基本运算模型结构示意图;
图3是本发明中提出的神经网络模块硬件结构示意图;
图4是本发明提出的卷积神经网络模块硬件结构示意图;
图5是本发明提出的多层感知器神经网络模块硬件结构示意图;
图6是本发明提出的基于神经网络的智能裸眼3D显示系统结构示意图。
图7是本发明提出的智能裸眼3D显示系统的工作示意图。
图8是本发明提出的神经网络训练以及工作流程图。
具体实施方式
采用神经网络的智能裸眼3D显示系统,外部信息采集单元只需将采集到的图像数据传输到智能裸眼3D显示系统中的神经网络模块中,神经网络模块就会根据输入的图像信息进行内部计算判断进而控制图像信息显示存储模块输出相应位置像素点的信息,实现根据人眼相对于智能裸眼3D显示设备的位置智能动态调控智能裸眼3D显示设备对应位置像素的功能。
为了更清楚地说明本发明中的技术方案,下面结合实施例和附图作进一步的介绍。
图1为现有技术中智能裸眼3D显示装置的显示原理示意图。本发明中以该智能裸眼3D显示原理图作为说明,但智能裸眼3D的显示原理图不局限于这种结构。智能裸眼3D显示设备与常规显示设备相比,增加了一层从上而下斜式摆放的光栅,用于将像素点发出的红绿蓝光经选择性的过滤后,使得传入左右眼中的图像有一定的差异进而产生智能裸眼3D的效果。
图2是本实施例提出的智能裸眼3D显示系统神经网络基本运算模型结构示意图。该神经网络7由卷积神经网络1和多层感知器神经网络6两部分组成。卷积神经网络1将处理后的人眼相对于智能裸眼3D显示设备27的位置信息传输到多层感知器神经网络6中进行计算最终输出预测结果。该多层感知器神经网络6由n层组成,2为该多层感知器神经网络的输入层,共k个输入,3为该多层感知器神经网络的隐藏层,共有(n-1)个隐藏层,每个隐藏层有m个隐藏单元,4为该多层感知器神经网络的输出层,此处的激活函数为ReLu激活函数,5为该多层感知器神经网络的输出预测结果。输入层2接收到数据后传输到隐藏层3进行计算并将计算结果传输到输出层4,最终通过激活函数得到最终预测结果5。
图3是本发明中提出的神经网络模块硬件结构示意图,该神经网络的硬件结构7由卷积神经网络模块1和多层感知器神经网络模块6组成,卷积神经网络模块1具有将外部信息采集单元采集到的图像信息进行处理后进而计算出人眼相对于智能裸眼3D显示设备27的位置结果,多层感知器神经网络模块6具有将人眼相对与智能裸眼3D显示设备27的位置结果进行处理计算后产生控制图像信息显示存储模块24输出相应像素点信息的信号。
图4是卷积神经网络模块硬件结构示意图,该卷积神经网络模块的硬件结构由输入模块8、卷积运算模块9、池化运算模块10、全连接运算模块11、权重存储模块13和输出模块12组成。外部控制单元首先通过输入模块8向权重存储模块13传输训练好的卷积神经网络的权重值,然后外部信息采集单元22通过数据采集模块23向输入模块8传输采集到的图像数据信息,输入模块8将接收到的图像数据信息传输到卷积运算模块9、池化运算模块10、全连接运算模块11和权重存储模块13中的权重值进行运算,最终将计算后的人眼相对与智能裸眼3D显示设备27的位置结果通过输出模块12传输到多层感知器神经网络的输入模块14中。
图5是多层感知器神经网络模块硬件结构示意图,该多层感知器神经网络模块6的硬件结构由输入模块14、逻辑运算模块15、权重存储模块18、归一化模块16和输出层模块17组成。外部控制单元19首先通过输入模块14向权重存储模块18传输训练好的多层感知器神经网络的权重值,然后卷积神经网络模块1向输入模块14传输人眼相对与智能裸眼3D显示设备27的位置结果数据,输入模块14将接收到的数据传输到逻辑运算模块15与权重存储模块18中的权重值进行运算,最终将计算后的结果通过归一化模块16归一化后传输到输出层模块17,进而将控制信号传输到图像信息显示存储模块24中。
图6是本发明提出的基于神经网络的智能裸眼3D显示系统结构示意图。智能显示系统由外部控制单元19、外部信息采集单元22、智能驱动系统模块21以及智能裸眼3D显示设备27组成。智能驱动系统模块37由写数据控制模块20、时序控制模块25、图像信息显示存储模块24、神经网络模块7、数据采集模块23和驱动模块26组成。神经网络模块7由卷积神经网络模块1和多层感知器神经网络模块6组成。外部控制单元19向写数据控制模块20发送写指令,将准备显示的数据信息以二进制的形式存储到图像信息显示存储模块24,同时外部信息采集单元22将采集到的人体与智能裸眼3D显示设备27相对位置的图片信息数据发送到数据采集模块23中,数据采集模块23接收到外部信息采集单元22的图片信息后,将图片信息传输到卷积神经网络模块1中,卷积神经网络模块1接收到数据采集模块23的图片信息后,进行内部计算并将图片信息中计算出的人眼相对于智能裸眼3D显示设备27的位置信息数据传输到多层感知器神经网络模块6中,多层感知器神经网络模块6接收到来自卷积神经网络模块1的位置信息数据后,将位置信息数据预处理并进行计算,根据最终计算结果动态控制图像信息显示存储模块24,图像信息显示存储模块24将对应像素点的信息传输到驱动模块26进而驱动智能裸眼3D显示设备27显示对应像素点位置的颜色,而未被读取像素点信息的位置,智能裸眼3D显示设备27的相应位置不显示任何颜色,进而避免左右眼接收到的像素点串扰问题。
图7是本发明提出的智能裸眼3D显示系统的工作示意图。IN1为智能显示系统中外部信息采集单元22的数据输入端口,只负责外部数据信息的采集;IN2为外部控制单元19的输入端口,由写数据控制模块20以及时序控制模块25控制。IN2输入端的输入信息为智能裸眼3D设备27待显示的图像数据信息。图像数据信息会以二进制的形式存储到图像信息显示存储模块24,而不同的外部数据信息会经由数据采集模块23传输到神经网络模块7中。神经网络模块7依据计算结果输出相应的控制信号到图像信息显示存储模块24,图像信息显示存储模块24将对应的像素点信息传输到驱动模块26,进而驱动智能裸眼3D显示设备27,实现根据人眼相对于智能裸眼3D显示设备27的位置智能动态调控智能裸眼3D显示设备27对应位置像素的功能。
图8是本发明提出的神经网络训练以及工作流程图。在训练过程部分,首先初步定义卷积神经网络和多层感知器的结构和前向传播的输出结果,然后向PC中导入预先准备的训练数据并进行神经网络的训练,当神经网络的准确率达到所需要求后导出训练好的卷积神经网络和多层感知器神经网络的权重值,并将导出的卷积神经网络和多层感知器神经网络的权重值导入硬件神经网络的权重存储单元中,此时硬件神经网络已经训练完成,可以通过外部信息采集单元输入的信息进行控制智能裸眼3D显示的像素点输出;在工作过程部分,外部信息采集单元向硬件神经网络中的卷积神经网络输入相应数据,训练后的硬件卷积神经网络通过输入数据与卷积神经网络中训练好的权重值进行计算后,将结果传输到硬件多层感知器神经网络中进行计算,硬件多层感知器神经网络将输出结果输出到图像信息显示存储模块,图像信息显示存储模块依据接收到的硬件多层感知器神经网络的输出信号进而输出对应像素点位置的数据,最终智能裸眼3D显示设备产生对应位置灰度的像素点。

Claims (2)

1.一种基于神经网络的智能裸眼3D显示系统,其特征在于:
包括写数据控制模块、时序控制模块、图像信息显示存储模块、数据采集模块、驱动模块、外部信息采集单元、智能裸眼3D显示设备和神经网络模块;所述神经网络模块内部包含卷积神经网络模块以及多层感知器神经网络模块两个部分;
外部控制单元向写数据控制模块发送写指令,将准备显示的数据信息以二进制的形式存储到图像信息显示存储模块;同时外部信息采集单元将采集到的人体与智能裸眼3D显示设备相对位置的图像信息数据发送到数据采集模块中,数据采集模块接收到外部信息采集单元的图像信息后,将图像信息传输到卷积神经网络模块中,卷积神经网络模块接收到数据采集模块的图像信息后,进行内部计算并将图像信息中计算出的人眼相对于智能裸眼3D显示设备的位置信息数据传输到多层感知器神经网络模块中,多层感知器神经网络模块接收到来自卷积神经网络模块的位置信息数据后,将位置信息数据预处理并进行计算,根据最终计算结果动态控制图像信息显示存储模块,图像信息显示存储模块将对应像素点的信息传输到驱动模块进而驱动智能裸眼3D显示设备显示对应像素点位置的颜色,而未被读取像素点信息的位置,智能裸眼3D显示设备的相应位置不显示任何颜色;
所述写数据控制模块,用于在智能裸眼3D显示系统运行时接收外部控制单元的指令,并依据外部控制单元的指令向图像信息显示存储模块中写入待显示数据信息;
所述时序控制模块,用于在智能裸眼3D显示系统运行时将需显示的数据信息根据运用需求按时序传送到图像信息显示存储模块中,并进行智能3D显示系统运行阶段时序的控制,保证数据信息的显示和数据信息的传送同步进行,并对违规时序进行重新发送;
所述图像信息显示存储模块,用于保存写数据控制模块控制输入的数据信息,并依据外部控制单元的指令将输入的数据信息传输到驱动模块进行数据向对应灰阶电压的转化;
所述数据采集模块,用于接收外部信息采集单元采集到的图像信息;
所述驱动模块,用于产生驱动智能裸眼3D显示设备的电压;
所述外部信息采集单元,用于采集智能裸眼3D显示设备的外部信息;
所述智能裸眼3D显示设备,用于被智能裸眼3D显示系统的驱动模块驱动显示对应位置的像素点;
所述神经网络模块基于神经网络对有效像素点数据控制显示训练后,智能控制图像信息显示存储模块输出对应的像素点信息,其内部包含卷积神经网络模块以及多层感知器神经网络模块两个部分;
卷积神经网络模块用于对外部信息采集单元采集的信息进行预处理,其包含输入模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块和输出模块;
外部控制单元首先通过输入模块向权重存储模块传输训练好的卷积神经网络的权重值,然后外部信息采集单元通过数据采集模块向输入模块传输采集到的图像数据信息,输入模块将接收到的图像数据信息传输到卷积运算模块、池化运算模块、全连接运算模块和权重存储模块中的权重值进行运算,最终将计算后的人眼相对与智能裸眼3D显示设备的位置结果通过输出模块传输到多层感知器神经网络的输入模块中;
所述卷积神经网络模块的输入模块,用于将接收到的外部信息采集单元的信息进行图像数据预处理和向权重存储模块传输神经网络权重值;
所述卷积神经网络模块的卷积运算模块,用于进行卷积神经网络中预处理后图像数据特征的提取和计算;
所述卷积神经网络模块的池化运算模块,用于进行卷积神经网络中卷积运算模块输出特征图数据压缩,简化卷积神经网络运算的复杂度;
所述卷积神经网络模块的全连接运算模块,用于将卷积神经网络计算出的数据进行分类计算;
所述卷积神经网络模块的输出模块,用于将卷积神经网络模块运算后的最终计算结果输出到多层感知器神经网络模块的输入模块;
所述卷积神经网络模块和多层感知器神经网络模块的权重存储模块,用于进行卷积神经网络模块以及多层感知器神经网络模块中训练好的权重值的存储;
多层感知器神经网络模块用于对卷积神经网络模块处理后的数据信息进行计算从而控制图像信息存储模块输出对应像素点信息,其包含输入模块、逻辑运算模块、归一化模块、权重存储模块和输出模块;
外部控制单元首先通过输入模块向权重存储模块传输训练好的多层感知器神经网络的权重值,然后卷积神经网络模块向输入模块传输人眼相对与智能裸眼3D显示设备的位置结果数据,输入模块将接收到的数据传输到逻辑运算模块与权重存储模块中的权重值进行运算,最终将计算后的结果通过归一化模块归一化后传输到输出层模块,进而将控制信号传输到图像信息显示存储模块中;
所述多层感知器神经网络模块的输入模块,用于将接收到的外部控制单元的指令进行卷积神经网络模块输出数据的预处理和向权重存储模块传输神经网络权重值;
所述多层感知器神经网络模块的逻辑运算模块,用于进行多层感知器神经网络模块中预处理后数据与权重值的加减乘除;
所述多层感知器神经网络模块的归一化模块,用于进行多层感知器神经网络模块中输出逻辑运算结果的归一化处理;
所述多层感知器神经网络模块的输出模块,用于将多层感知器神经网络模块的最终计算结果输出到图像信息显示存储模块,进行输出对应的像素点信息的控制。
2.如权利要求1所述基于神经网络的智能裸眼3D显示系统,其工作流程具体如下:
步骤1,神经网络的训练,在PC上确定卷积神经网络以及多层感知器神经网络的结构并以外部信息采集单元采集到的人眼相对于智能裸眼3D显示设备位置图像为训练集对卷积神经网络进行训练,并将卷积神经网络输出的数据传输到多层感知器神经网络进行训练,并依据实际情况对卷积神经网络和多层感知器神经网络参数进行调节,当神经网络控制相应像素点正确显示的准确率达到所需要求后导出神经网络的权重值;
步骤2,全局复位,将基于神经网络的智能裸眼3D显示系统中所有模块的状态初始化,其中包括硬件化神经网络模块的初始状态;
步骤3,加载步骤1已训练好的神经网络权重值,并分别导入卷积神经网络模块和多层感知器神经网络的权重存储模块中;
步骤4,外部控制单元向写数据控制模块发送写指令,将准备显示的数据信息以二进制的形式存储到图像信息显示存储模块,同时外部信息采集单元将采集到的人体与智能裸眼3D显示设备相对位置的图像信息数据发送到数据采集模块中;
步骤5,数据采集模块接收到外部信息采集单元的图像信息后,将图像信息传输到卷积神经网络模块的输入模块;
步骤6,卷积神经网络模块的输入模块接收到数据采集模块的图像信息后,将图像信息预处理后传输到预先加载权重值后的卷积运算模块中进行计算,并经过池化运算模块和全连接运算模块计算后,将图像信息中计算出的人眼相对于智能裸眼3D显示设备的位置信息数据传输到卷积神经网络模块的输出模块;
步骤7,多层感知器神经网络模块的输入模块接收到来自卷积神经网络模块的输出模块的人眼相对于智能裸眼3D显示设备的位置信息数据后,将位置信息数据预处理后传输到预先加载权重值之后的逻辑运算模块进行计算,并将计算结果通过归一化模块处理后传输到多层感知器神经网络模块的输出模块;
步骤8,多层感知器神经网络模块的输出模块将经过步骤7归一化模块处理后的计算结果转化为对应像素点的地址信息来读取智能裸眼3D显示设备相应位置的像素点信息;
步骤9,驱动模块接收到来自图像信息显示存储模块的相应位置的像素点信息后,驱动智能裸眼3D显示设备显示对应像素点位置的颜色,而未被读取像素点信息的位置,驱动模块输出电压为0V,智能裸眼3D显示设备的相应位置不显示任何颜色;
步骤10,外部控制单元判断智能裸眼3D显示设备正确显示对应区域的颜色显示后,跳转到步骤4发送新的数据读取命令,若显示设备未正确显示对应区域的颜色,则跳转到步骤4重新发送旧的数据读取命令;若连续两次相同的数据读取命令没有正确被执行,则跳转到步骤1重新启动整个智能裸眼3D显示系统;
步骤11,判断基于神经网络的智能裸眼3D显示系统完成所有显示任务后,清除所有的缓冲数据,结束整个显示设备系统的运行。
CN201910531208.9A 2019-06-19 2019-06-19 一种基于神经网络的智能裸眼3d显示系统 Active CN110324605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910531208.9A CN110324605B (zh) 2019-06-19 2019-06-19 一种基于神经网络的智能裸眼3d显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910531208.9A CN110324605B (zh) 2019-06-19 2019-06-19 一种基于神经网络的智能裸眼3d显示系统

Publications (2)

Publication Number Publication Date
CN110324605A CN110324605A (zh) 2019-10-11
CN110324605B true CN110324605B (zh) 2020-11-17

Family

ID=68119779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531208.9A Active CN110324605B (zh) 2019-06-19 2019-06-19 一种基于神经网络的智能裸眼3d显示系统

Country Status (1)

Country Link
CN (1) CN110324605B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4206793A4 (en) * 2020-11-18 2023-12-20 Samsung Electronics Co., Ltd. DISPLAY DEVICE AND CONTROL METHOD THEREOF

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372069A (zh) * 2020-04-26 2020-07-03 成都市深思创芯科技有限公司 一种基于内存计算的裸眼3d显示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168472A (zh) * 2014-08-19 2014-11-26 西安电子科技大学 一种显示参数可交互控制的集成成像显示系统及其控制方法
CN109508574A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
WO2019098872A1 (ru) * 2017-11-14 2019-05-23 Евгений Борисович ЮГАЙ Способ отображения трехмерного лица объекта и устройство для него
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168472A (zh) * 2014-08-19 2014-11-26 西安电子科技大学 一种显示参数可交互控制的集成成像显示系统及其控制方法
CN109508574A (zh) * 2017-09-14 2019-03-22 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
WO2019098872A1 (ru) * 2017-11-14 2019-05-23 Евгений Борисович ЮГАЙ Способ отображения трехмерного лица объекта и устройство для него
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Multi-view Projection 3D Video Processing Technology;Yuchao Dou;《2012 IEEE fifth International Conference on Advanced Computational Intelligence(ICACI)》;20121020;全文 *
MULTI-VIEW NAKED-EYE STEREOSCOPIC IMAGE FUSION METHOD RESEARCH;JIAN-MING LIA0;《2012 International Conference on Vavelet Active Media Technology and Information Processing (ICWAMTIP)》;20121219;全文 *
基于FPGA的裸眼3D图像显示系统的设计与实现;何磊;《电子器件》;20181031;第41卷(第51期);全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4206793A4 (en) * 2020-11-18 2023-12-20 Samsung Electronics Co., Ltd. DISPLAY DEVICE AND CONTROL METHOD THEREOF

Also Published As

Publication number Publication date
CN110324605A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
US11961431B2 (en) Display processing circuitry
US11170301B2 (en) Machine learning via double layer optimization
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN111837144A (zh) 使用机器学习的增强图像深度感测
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
CN109407835A (zh) 虚拟和增强现实系统和方法
CN108765333B (zh) 一种基于深度卷积神经网络的深度图完善方法
CN110324605B (zh) 一种基于神经网络的智能裸眼3d显示系统
CN105992965A (zh) 响应于焦点移位的立体显示
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN108334832A (zh) 一种基于生成对抗网络的视线估计方法
CN114175097A (zh) 用于对象类别建模的生成潜在纹理代理
US9355436B2 (en) Method, system and computer program product for enhancing a depth map
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
CN117391938B (zh) 一种红外图像超分辨率重建方法、系统、设备及终端
CN111275648B (zh) 人脸图像处理方法、装置、设备及计算机可读存储介质
CN116057587A (zh) 活体检测方法、活体检测模型的训练方法及其装置和系统
CN113222961A (zh) 智能船体检测系统及方法
WO2021057091A1 (zh) 视点图像处理方法及相关设备
JPH04260979A (ja) 移動物体の検出追跡システム
CN112561979A (zh) 一种基于深度学习的自监督单目深度估计方法
KR101731113B1 (ko) 2d-3d 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
KR101780813B1 (ko) 2d-3d 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
CN112926380B (zh) 一种新型水下激光目标智能识别系统
CN114339191B (zh) 一种基于多视点重建的裸眼三维显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant