CN117408881A - 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法 - Google Patents

一种基于昆虫复眼视网神经膜的超分辨率图像重建方法 Download PDF

Info

Publication number
CN117408881A
CN117408881A CN202311272869.7A CN202311272869A CN117408881A CN 117408881 A CN117408881 A CN 117408881A CN 202311272869 A CN202311272869 A CN 202311272869A CN 117408881 A CN117408881 A CN 117408881A
Authority
CN
China
Prior art keywords
optical
super
resolution
light
compound eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311272869.7A
Other languages
English (en)
Other versions
CN117408881B (zh
Inventor
吴春
撒世强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Viamax Technologies Co ltd
Original Assignee
Shanghai Viamax Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Viamax Technologies Co ltd filed Critical Shanghai Viamax Technologies Co ltd
Priority to CN202311272869.7A priority Critical patent/CN117408881B/zh
Publication of CN117408881A publication Critical patent/CN117408881A/zh
Application granted granted Critical
Publication of CN117408881B publication Critical patent/CN117408881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于昆虫复眼视网神经膜的超分辨率图像重建方法,基于昆虫复眼视网神经系统与结构的原理,引申构建出一种超分辨率神经网络模型系统,包括光学光效处理系统、光学成像系统、光学光路调制系统、光学配光系统以及光学融合系统,充分发挥复眼结构具有的分析光的偏振的能力、光的敏感性以及清晰成像特点、超分辨率的特点、视野大等特点,提高显示应用的清晰度和质量,可以适用于单面显示领域,也可以适用于双面显示领域。

Description

一种基于昆虫复眼视网神经膜的超分辨率图像重建方法
技术领域
本发明涉及数字图像处理技术领域,特别是涉及一种基于昆虫复眼视网神经膜的超分辨率图像重建方法。
背景技术
超分辨率技术(Super-Resolution,SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。超分辨率技术通过硬件或软件的方法提高原有图像的分辨率,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。
对于图像超分辨率重建领域中,通常要将多帧同一场景的低分辨率图像通过配准方法映射到高分辨率图像栅格中,实现将低分辨率图像转换成高分辨率图像。现有技术方法虽然可以获取高分辨率图像,但是,还存在如下技术问题:应用中的渲染分辨率低于显示分辨率;显示应用中通常以全显示分辨率为目标,但实际分辨率因间距较大而存在巨大差异的问题;还存在显示模糊和降低图像质量的伪影问题。
发明内容
本发明的目的是提供一种基于昆虫复眼视网神经膜的超分辨率图像重建方法,利用超级分辨率技术优势,综合多项图像处理技术,提高显示应用的清晰度和质量。
为实现上述目的,本发明提供了如下方案:
一种基于昆虫复眼视网神经膜的超分辨率图像重建方法,该方法包括以下步骤:
1)构建超分辨率神经网络模型系统,包括光学光效处理系统、光学成像系统、光学光路调制系统、光学配光系统以及光学融合系统;
其中,所述光学光效处理系统用于模拟复眼分析光的偏振的能力,分析光的偏振,最大限度的减少投影光线的损失,提高亮度和画质,再辅助AG防眩光技术与AF防指纹技术,形成AR反射系统;
所述光学成像系统用于模拟复眼成像,先将微透镜输送的各级光学信息在本层汇集成锐利清晰的影像,然后通过精密低光损透镜呈现清晰成像;
所述光学光路调制系统用于模拟复眼,采用多个微透镜复数组合来实现光路调制,针对每个特定的透镜功能设计出特定的微观材料光学结构,并组合形成连续化的微光路系统,最终形成超级分辨率;
所述光学配光系统用于控制及调整可视角度,针对应用场景满足最佳宽视角需求;
所述光学融合系统用于模拟复眼,通过每个特定的透镜功能,设计出特定的微观材料光学结构,再设计调整距离,使微透镜的矩形组合的最外边缘的透镜光路进行重叠,接收相邻的透镜折射的光线;
2)利用图像训练数据集对所述超分辨率神经网络模型系统进行训练;
3)利用训练好的所述超分辨率神经网络模型系统进行高分辨率图像重建。
进一步地,所述步骤2)还包括,
获取待重建图像,将待重建图像分为图像训练数据集与图像测试数据集,并进行数据预处理。
进一步地,所述光学光路调制系统还用于实现双向光路的精密控制,通过微透镜组的结构设计,使投影成像达到高增益,高色彩还原性的光学指标。
进一步地,所述方法适用于玻璃基板、环氧树脂、膜材、晶元芯片、背光、PCB板、FPC、显示器。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供的基于昆虫复眼视网神经膜的超分辨率图像重建方法,基于昆虫复眼视网神经系统与结构的原理,引申构建出一种超分辨率神经网络模型系统,包括光学光效处理系统、光学成像系统、光学光路调制系统、光学配光系统以及光学融合系统,能够有效提高显示应用的清晰度和质量,解决了应用中的渲染分辨率低于显示分辨率的问题,解决了显示应用中通常以全显示分辨率为目标,但实际分辨率因间距较大而存在巨大差异的问题,解决了显示模糊和降低图像质量的伪影问题;本发明可以适用于单面显示领域,也可以适用于双面显示领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于昆虫复眼视网神经膜的超分辨率图像重建方法的流程图;
图2为本发明实施例晶元芯片的高分辨率图像重建对比图;
图3为本发明实施例显示屏的高分辨率图像重建对比图;
图4为本发明实施例动态像素衍生对比图;
图5为本发明实施例光学膜材的高分辨率图像重建对比图;
图6为本发明实施例环氧树脂的高分辨率图像重建对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了帮助提高显示应用的清晰度和质量,本发明提供了一种基于昆虫复眼视网神经膜的超分辨率图像重建方法,解决了应用中的渲染分辨率低于显示分辨率的问题,解决了显示应用中通常以全显示分辨率为目标,但实际分辨率因间距较大而存在巨大差异的问题;解决了显示模糊和降低图像质量的伪影问题。
昆虫复眼视网神经膜是由许许多多的无数个小眼组成。每个小眼都有角膜、晶椎、色素细胞、视网膜细胞、视杆等结构,是一个独立的感光单位。轴突从视网膜细胞向后伸出,穿过基膜汇合成视神经。其中复眼中含有色素细胞,光线强时色素细胞延伸,只有直射的光线可以射到视杆,为视神经所感受,斜射的光线被色素细胞吸收,不能被视神经感受。这样每个小眼只能形成一个像点,众多小眼形成的像点拼合成一幅图像。光线弱时,色素细胞收缩,这样通过每个小眼射入的光线,除直射的光线到达视杆,光线还可通过折射进入其他小眼,使附近每个小眼内的视杆都可以感受相邻几个小眼折射的光线,这样在光线微弱时,物体也能成像。
复眼的特点是:1)复眼具有分析光的偏振的能力;2)复眼由许多单元组成,每个单元内含光敏细胞、晶体,以及辅助细胞,使昆虫能够敏锐地感知光线的变化和分辨两个物体之间的差异并清晰成像;3)复眼的时间分辨率比人的要高10倍,约为240幅左右;4)复眼的视野比较大,可以覆盖整个视野。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供的基于昆虫复眼视网神经膜的超分辨率图像重建方法,包括以下步骤:
1)构建超分辨率神经网络模型系统,包括光学光效处理系统、光学成像系统、光学光路调制系统、光学配光系统以及光学融合系统;
其中,所述光学光效处理系统用于模拟复眼分析光的偏振的能力,分析光的偏振,最大限度的减少投影光线的损失,提高亮度和画质,再辅助AG防眩光技术与AF防指纹技术,形成AR反射系统;
所述光学成像系统用于模拟复眼成像,先将微透镜输送的各级光学信息在本层汇集成锐利清晰的影像,然后通过精密低光损透镜呈现清晰成像;
所述光学光路调制系统用于模拟复眼,独有地采用大量微透镜复数组合来实现光路调制,针对每个特定的透镜功能设计出特定的微观材料光学结构,并组合形成连续化的微光路系统,最终形成超级分辨率。同时也可以实现双向光路的精密控制,通过微透镜组的结构设计,可以使投影成像达到高增益,高色彩还原性的光学指标;
所述光学配光系统用于控制及调整可视角度,针对应用场景满足最佳宽视角需求;
所述光学融合系统用于模拟复眼,通过每个特定的透镜功能,设计出特定的微观材料光学结构,再设计调整距离,使微透镜的矩形组合的最外边缘的透镜光路进行重叠,可以感受相邻的透镜折射的光线。这样使微透镜通过特定的介质与距离调整重叠的光路数量,无论光线强弱,物体均能成像;
2)利用图像训练数据集对所述超分辨率神经网络模型系统进行训练;
3)利用训练好的所述超分辨率神经网络模型系统进行高分辨率图像重建。
所述方法适应的载体比较多,可以适应于各种显示类材料(如玻璃基板,环氧树脂,膜材,晶元芯片,背光,PCB板,FPC,显示器等),以及各种显示类产品等等。
应用案例:
1)所述方法应用于晶元芯片上实现了由1个光斑衍生为9个光斑,提高了静态像素显示分辨率,如图2所示,(a)为处理前的图像,(b)为经过本发明所述方法重构后的超分辨率图像;
2)所述方法应用于显示屏上,实现了高增益,高色彩还原性,如图3所示,(a)为经过本发明所述方法重构后的超分辨率图像,(b)为未经本发明所述方法处理的图像;
3)所述方法能够实现由1个动态像素衍生为4个动态像素的融合技术,提高了灰度等级,如图4所示,(a)为经过本发明所述方法重构后的超分辨率图像,(b)为未经本发明所述方法处理的图像;
4)所述方法应用于光学膜材,提高了像素分辨率,如图5所示,(a)为经过本发明所述方法重构后的超分辨率图像,(b)为未经本发明所述方法处理的光学膜材图像;
5)所述方法应用于环氧树脂,提高了像素分辨率,如图6所示,(a)为未经本发明所述方法处理的环氧树脂图像,(b)为经过本发明所述方法重构后的超分辨率图像。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述任一所述的基于昆虫复眼视网神经膜的超分辨率图像重建方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于昆虫复眼视网神经膜的超分辨率图像重建方法,其特征在于,包括以下步骤:
1)构建超分辨率神经网络模型系统,包括光学光效处理系统、光学成像系统、光学光路调制系统、光学配光系统以及光学融合系统;
其中,所述光学光效处理系统用于模拟复眼分析光的偏振的能力,分析光的偏振,最大限度的减少投影光线的损失,提高亮度和画质,再辅助AG防眩光技术与AF防指纹技术,形成AR反射系统;
所述光学成像系统用于模拟复眼成像,先将微透镜输送的各级光学信息在本层汇集成锐利清晰的影像,然后通过精密低光损透镜呈现清晰成像;
所述光学光路调制系统用于模拟复眼,采用多个微透镜复数组合来实现光路调制,针对每个特定的透镜功能设计出特定的微观材料光学结构,并组合形成连续化的微光路系统,最终形成超级分辨率;
所述光学配光系统用于控制及调整可视角度,针对应用场景满足最佳宽视角需求;
所述光学融合系统用于模拟复眼,通过每个特定的透镜功能,设计出特定的微观材料光学结构,再设计调整距离,使微透镜的矩形组合的最外边缘的透镜光路进行重叠,接收相邻的透镜折射的光线;
2)利用图像训练数据集对所述超分辨率神经网络模型系统进行训练;
3)利用训练好的所述超分辨率神经网络模型系统进行高分辨率图像重建。
2.根据权利要求1所述的基于昆虫复眼视网神经膜的超分辨率图像重建方法,其特征在于,所述步骤2)还包括,
获取待重建图像,将待重建图像分为图像训练数据集与图像测试数据集,并进行数据预处理。
3.根据权利要求1所述的基于昆虫复眼视网神经膜的超分辨率图像重建方法,其特征在于,所述光学光路调制系统还用于实现双向光路的精密控制,通过微透镜组的结构设计,使投影成像达到高增益,高色彩还原性的光学指标。
4.根据权利要求1所述的基于昆虫复眼视网神经膜的超分辨率图像重建方法,其特征在于,所述方法适用于玻璃基板、环氧树脂、膜材、晶元芯片、背光、PCB板、FPC、显示器。
CN202311272869.7A 2023-09-28 2023-09-28 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法 Active CN117408881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311272869.7A CN117408881B (zh) 2023-09-28 2023-09-28 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311272869.7A CN117408881B (zh) 2023-09-28 2023-09-28 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法

Publications (2)

Publication Number Publication Date
CN117408881A true CN117408881A (zh) 2024-01-16
CN117408881B CN117408881B (zh) 2024-05-03

Family

ID=89493473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311272869.7A Active CN117408881B (zh) 2023-09-28 2023-09-28 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法

Country Status (1)

Country Link
CN (1) CN117408881B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
CN106054378A (zh) * 2016-03-17 2016-10-26 西安电子科技大学 便携式大视场成像装置及方法
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN109360154A (zh) * 2018-10-29 2019-02-19 厦门美图之家科技有限公司 一种卷积神经网络生成方法及图像的超分辨率方法
US11546508B1 (en) * 2021-07-21 2023-01-03 Black Sesame Technologies Inc. Polarization imaging system with super resolution fusion
CN115841420A (zh) * 2022-11-10 2023-03-24 天津大学 一种基于深度学习的偏振图像超分辨率重建方法
US20230106383A1 (en) * 2021-10-05 2023-04-06 The Hong Kong University Of Science And Technology Deep learning based single frame super resolution microscopy image processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182237A (ja) * 2010-03-02 2011-09-15 Osaka Univ 複眼撮像装置及び該装置における画像処理方法
CN106054378A (zh) * 2016-03-17 2016-10-26 西安电子科技大学 便携式大视场成像装置及方法
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN109360154A (zh) * 2018-10-29 2019-02-19 厦门美图之家科技有限公司 一种卷积神经网络生成方法及图像的超分辨率方法
US11546508B1 (en) * 2021-07-21 2023-01-03 Black Sesame Technologies Inc. Polarization imaging system with super resolution fusion
US20230106383A1 (en) * 2021-10-05 2023-04-06 The Hong Kong University Of Science And Technology Deep learning based single frame super resolution microscopy image processing
CN115841420A (zh) * 2022-11-10 2023-03-24 天津大学 一种基于深度学习的偏振图像超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LI ZHANG 等: "A wide-field and high-resolution lensless compound eye microsystem for real-time target motion perception", 《MICROSYSTEMS & NANOENGINEERING》, 31 December 2022 (2022-12-31) *
徐立中;石爱业;黄凤辰;马贞立;: "多源监测信息融合仿生复眼型系统模式及感知计算机理", 智能系统学报, no. 04, 15 August 2008 (2008-08-15) *
袁影;王晓蕊;余华欣;刘珂;王明静;: "多孔径图像变分辨率大视场重构方法研究", 航空兵器, no. 06, 15 December 2012 (2012-12-15) *
邢强 等: "仿复眼视觉系统的研究进展", 光学仪器, 30 June 2013 (2013-06-30), pages 1 - 2 *
金伟其;林青;裘溯;米凤文;: "多孔径仿生复眼成像系统技术进展综述", 光学与光电技术, no. 06, 10 December 2011 (2011-12-10) *

Also Published As

Publication number Publication date
CN117408881B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
DE102013114518B4 (de) Augennahe Anzeigen mit optischer Dekonvolution
DE602004011557T2 (de) Verfahren und einrichtung zum visuellen maskieren von defekten in matrix-displays zur verwendung von eigenschaften des menschlichen sehens
Watson High frame rates and human vision: A view through the window of visibility
CN104777615B (zh) 基于人眼跟踪的自适应高分辨近眼光场显示装置和方法
US8547421B2 (en) System for adaptive displays
US10607389B2 (en) Microscopic imaging system and method with three-dimensional refractive index tomography
WO2005029871A2 (de) Verfahren zum erstellen einer raumbildvorlage für abbildungsverfahren mit räumlichen tiefenwirkungen und vorrichtung zum anzeigen einer raumbildvorlage
US9224320B2 (en) Projection display providing additional modulation and related methods
Wang et al. DQN based single-pixel imaging
CN109803100A (zh) 一种自适应消残影方法
Pan et al. Multi-exposure high dynamic range imaging with informative content enhanced network
Li et al. Hdrnet: Single-image-based hdr reconstruction using channel attention cnn
Qi et al. A new heterogeneous neural network model and its application in image enhancement
Zhang et al. A fish retina-inspired single image dehazing method
CN117408881B (zh) 一种基于昆虫复眼视网神经膜的超分辨率图像重建方法
CN104184936B (zh) 基于光场相机的影像对焦处理方法及其系统
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
Zhuang et al. Image enhancement by deep learning network based on derived image and retinex
CN114155353A (zh) 基于液晶微透镜阵列的点云三维重建方法及装置
Chen et al. Photographic reproduction and enhancement using HVS-based modified histogram equalization
Tumblin Three methods of detail-preserving contrast reduction for displayed images
CN117036154B (zh) 一种无头显和无失真的全景视频注视点预测方法
Jiji et al. Extended depth of focus imaging using optics and image processing
Wu et al. Event-based asynchronous HDR imaging by temporal incident light modulation
He et al. Spatial-temporal low-rank prior for low-light volumetric fluorescence imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant