CN114820581B - 轴对称光学成像并行仿真方法及装置 - Google Patents

轴对称光学成像并行仿真方法及装置 Download PDF

Info

Publication number
CN114820581B
CN114820581B CN202210589502.7A CN202210589502A CN114820581B CN 114820581 B CN114820581 B CN 114820581B CN 202210589502 A CN202210589502 A CN 202210589502A CN 114820581 B CN114820581 B CN 114820581B
Authority
CN
China
Prior art keywords
image
radiance
axisymmetric
target wavelength
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210589502.7A
Other languages
English (en)
Other versions
CN114820581A (zh
Inventor
季向阳
魏恒璐
杨楚皙
连晓聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210589502.7A priority Critical patent/CN114820581B/zh
Publication of CN114820581A publication Critical patent/CN114820581A/zh
Priority to PCT/CN2022/114994 priority patent/WO2023226218A1/zh
Application granted granted Critical
Publication of CN114820581B publication Critical patent/CN114820581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及光学成像和图像处理技术领域,特别涉及一种轴对称光学成像并行仿真方法及装置,其中,方法包括:获取多光谱场景的多光谱数据;根据多光谱数据得到光线的辐亮度在不同波长下的分布;基于光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度。由此,解决了相关技术中无法控制得到的像与实际拍摄产生的像的近似度,导致与实际成像不符、参考图像有失真或质量不可控,从而降低了成像的准确性的技术问题。

Description

轴对称光学成像并行仿真方法及装置
技术领域
本申请涉及光学成像和图像处理技术领域,特别涉及一种轴对称光学成像并行仿真方法及装置。
背景技术
相关技术中,通过将高质量相机拍摄的图像当作理想参考,并将加模糊的参考图像当作像,从而用户直接得到传感器输出的带有失真和噪声的电压数据的同时,也可以得到无损的场景图像以及光线透过镜头在传感器上呈现的无噪声的像,进而在使高质量图像上加模糊模拟像的方法成为当前的主流。
然而,相关技术中,由于将高质量图像上加模糊的参考图像当作像,无法控制得到的像与实际拍摄产生的像接近,导致与实际成像不符、参考图像有失真或质量不可控,从而降低了成像的准确性,无法满足轴对称光学成像的需求,亟待解决。
发明内容
本申请是基于发明人对以下问题和认识作出的:
如图1所示,轴对称光学成像系统通常由光学镜头、传感器和图像处理三个主要模块组成,光学镜头将场景中的光谱信息映射到像面,传感器位于像面并将像面上的光信号转换成电压信号,图像处理模块将电压转换成适于人眼观看的图像。由于光线透过镜头会引入失真,且经过传感器转换的电压信号中也包含大量噪声,图像处理模块对最终图像的质量有重要影响。
在设计去噪、增强等图像处理算法的过程中,一种较为理想的情况是已知理想图像和失真图像,尤其是深度学习等由数据驱动的方法,良好的对照数据能够极大的提高算法的性能。然而,在实际的拍照过程中光学镜头和成像传感器是不可分离的,且场景的光谱数据无法直接采集,用户只能直接得到传感器输出的带有失真和噪声的电压数据,而无法得到无损的场景图像以及光线透过镜头在传感器上呈现的无噪声的像。
基于此,本申请提供一种轴对称光学成像并行仿真方法、装置、电子设备及存储介质,以解决相关技术中无法控制得到的像与实际拍摄产生的像的近似度,导致与实际成像不符、参考图像有失真或质量不可控,从而降低了成像的准确性的技术问题。
本申请第一方面实施例提供一种轴对称光学成像并行仿真方法,包括以下步骤:获取多光谱场景的多光谱数据;根据所述多光谱数据得到光线的辐亮度在不同波长下的分布;基于所述光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度。
可选地,在本申请的一个实施例中,所述利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,包括:导出所述轴对称镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高;以所述理想像高作为自变量、所述实际像高为因变量进行9阶多项式拟合,得到第一拟合结果;根据所述第一拟合结果计算所述目标波长的单光谱中像素点的辐亮度。
可选地,在本申请的一个实施例中,所述利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,包括:导出所述轴对称镜头一个半径方向上实际像高的相对亮度;以所述实际像高作为自变量、所述相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果;根据所述第二拟合结果计算目标波长的单光谱中像素点的照度。
可选地,在本申请的一个实施例中,所述照度的计算公式可以为:
Figure BDA0003664527980000021
其中,(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,L'λ(i,j)表示畸变光谱在(i,j)点的辐亮度,Tλ表示波长λ的透过率,f/#是镜头的fnumber,mλ表示镜头在波长λ下的放大倍数,Rλ(ρ)表示4阶多项式拟合。
可选地,在本申请的一个实施例中,所述利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,包括:导出像面上所述目标波长的离散点的点扩散函数或者一个半径上的点扩散函数;将所述多光谱场景中的所有点经点扩散函数作用后在同一位置的散落点作为像面上的一个子图;逐个计算每个子图中每个像素点的像面照度,得到所述目标波长的光线在像面上的像。
本申请第二方面实施例提供一种轴对称光学成像并行仿真装置,包括:获取模块,用于获取多光谱场景的多光谱数据;处理模块,用于根据所述多光谱数据得到光线的辐亮度在不同波长下的分布;仿真模块,用于基于所述光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度。
可选地,在本申请的一个实施例中,所述仿真模块包括:第一导出单元,用于导出所述轴对称镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高;第一拟合单元,用于以所述理想像高作为自变量、所述实际像高为因变量进行9阶多项式拟合,得到第一拟合结果;第一计算单元,用于根据所述第一拟合结果计算所述目标波长的单光谱中像素点的辐亮度。
可选地,在本申请的一个实施例中,所述仿真模块还包括:第二导出单元,用于导出所述轴对称镜头一个半径方向上实际像高的相对亮度;第二拟合单元,用于以所述实际像高作为自变量、所述相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果;第二计算单元,用于根据所述第二拟合结果计算目标波长的单光谱中像素点的照度。
可选地,在本申请的一个实施例中,所述照度的计算公式可以为:
Figure BDA0003664527980000031
其中,(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,L'λ(i,j)表示畸变光谱在(i,j)点的辐亮度,Tλ表示波长λ的透过率,f/#是镜头的fnumber,mλ表示镜头在波长λ下的放大倍数,Rλ(ρ)表示4阶多项式拟合。
可选地,在本申请的一个实施例中,所述仿真模块还包括:第三导出单元,用于导出像面上所述目标波长的离散点的点扩散函数或者一个半径上的点扩散函数;处理单元,用于将所述多光谱场景中的所有点经点扩散函数作用后在同一位置的散落点作为像面上的一个子图;仿真单元,用于逐个计算每个子图中每个像素点的像面照度,得到所述目标波长的光线在像面上的像。
本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的轴对称光学成像并行仿真方法。
本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上述实施例所述的轴对称光学成像并行仿真方法。
本申请实施例可以根据多光谱场景的多光谱数据得到相机的光线的辐亮度在不同波长下的分布,并利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,从而得到每个波长下的光谱在像面上的照度,使得与实际拍摄产生的像更加接近,尤其是算法本身具有高度并行性,便于CPU(Central Processing Unit,中央处理器)多线程和GPU(Graphics Processing Unit,图形处理器)加速实现,进而有效的提升了成像的准确性和效率,有效满足仿真需求。由此,解决了相关技术中无法控制得到的像与实际拍摄产生的像的近似度,导致与实际成像不符、参考图像有失真或质量不可控,从而降低了成像的准确性的技术问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为相关技术中的轴对称光学成像的原理示意图;
图2为根据本申请实施例提供的一种轴对称光学成像并行仿真方法的流程图;
图3为本申请一个具体实施例的轴对称光学成像并行仿真的流程图;
图4为本申请一个具体实施例的PSF(Point Spread Function,点扩散函数)采样与插值示意图;
图5为本申请一个具体实施例的子图边界填充示意图;
图6为本申请一个具体实施例的仿真MCC(Macbeth Color Checker,马克贝斯色彩检验图)并将多光谱像转换成sRGB(standard Red Green Blue,通用色彩标准)颜色空间示意图;
图7为根据本申请实施例的轴对称光学成像并行仿真装置的结构示意图;
图8为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的轴对称光学成像并行仿真方法及装置。针对上述背景技术中心提到的相关技术中无法控制得到的像与实际拍摄产生的像的近似度,导致与实际成像不符、参考图像有失真或质量不可控,从而降低了成像的准确性的问题,本申请提供了一种轴对称光学成像并行仿真方法,在该方法中,本申请实施例可以根据多光谱场景的多光谱数据得到相机的光线的辐亮度在不同波长下的分布,并利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,从而得到每个波长下的光谱在像面上的照度,使得与实际拍摄产生的像更加接近,尤其是算法本身具有高度并行性,便于CPU多线程和GPU加速实现,进而有效的提升了成像的准确性和效率,有效满足仿真需求。由此,解决了相关技术中无法控制得到的像与实际拍摄产生的像的近似度,导致与实际成像不符、参考图像有失真或质量不可控,从而降低了成像的准确性的技术问题。
具体而言,图2为本申请实施例所提供的一种轴对称光学成像并行仿真方法的流程示意图。
如图2所示,该轴对称光学成像并行仿真方法包括以下步骤:
在步骤S201中,获取多光谱场景的多光谱数据。
在实际执行过程中,本申请实施例可以获取多光谱场景的多光谱数据,例如,可以通过基于物理的光线追踪或者高精度多光谱相机或者RGB图像估算得到多光谱场景的多光谱数据,并通过采集的多光谱场景的多光谱数据,从而得到无损的场景图像以及光线透过镜头在传感器上呈现的无噪声的像。
进而,如图3所示,本申请实施例可以对多光谱场景的每个单光谱进行畸变、shading和模糊三步操作,具体步骤下面会进行详细赘述,从而得到对应的单光谱像,由于算法本身具有高度并行性,其中每个步骤都可以利用CPU多线程或GPU加速。
在步骤S202中,根据多光谱数据得到光线的辐亮度在不同波长下的分布。
具体而言,本申请实施例可以根据多光谱场景的多光谱数据得到相机的光线的辐亮度在不同波长下的分布,其中,对于可见光成像,波长范围通常是380nm~720nm,从而提高获取光线的辐亮度的效率,减少冗余操作。
在步骤S203中,基于光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度。
可以理解的是,本申请实施例可以根据多光谱场景的多光谱数据得到相机的光线的辐亮度在不同波长下的分布,并利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,从而得到每个波长下的光谱在像面上的照度,有效的提高了仿真结果与实际拍摄产生的像的相似度。
进一步地,在本申请的一个实施例中,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,包括:导出轴对称镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高;以理想像高作为自变量、实际像高为因变量进行9阶多项式拟合,得到第一拟合结果;根据第一拟合结果计算目标波长的单光谱中像素点的辐亮度。
作为一种可能实现的方式,本申请实施例可以对于给定的轴对称镜头,从而导出轴对称镜头在目标波长下的放大倍数,如利用Zemax或CodeV等光学仿真软件导出镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高,并以理想像高作为自变量、实际像高为因变量进行9阶多项式拟合,得到第一拟合结果,则以中心点为原点,直角坐标系下目标波长的单光谱中像素点的辐亮度畸变后的直角坐标与畸变前保持一致,通过双线性插值计算出畸变光谱在像素点的辐亮度,其中,像素间是相互独立的,可以通过CPU多线程或GPU完成。
进一步地,在本申请的一个实施例中,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,包括:导出轴对称镜头一个半径方向上实际像高的相对亮度;以实际像高作为自变量、相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果;根据第二拟合结果计算目标波长的单光谱中像素点的照度。
在实际执行过程中,本申请实施例可以对于给定的轴对称镜头,导出轴对称镜头一个半径方向上实际像高的相对亮度,如利用Zemax或CodeV等光学仿真软件导出镜头一个半径方向上实际像高的相对亮度,并以实际像高作为自变量、相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果,像素点经镜头shading后在像面上的照度可根据下述照度公式计算,计算照度Eλ(i,j)的过程中像素间是相互独立的,可以通过CPU多线程或GPU完成。
其中,在本申请的一个实施例中,照度的计算公式为:
Figure BDA0003664527980000061
其中,(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,L'λ(i,j)表示畸变光谱在(i,j)点的辐亮度,Tλ表示波长λ的透过率,f/#是镜头的fnumber,mλ表示镜头在波长λ下的放大倍数,Rλ(ρ)表示4阶多项式拟合。
进一步地,在本申请的一个实施例中,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,包括:导出像面上目标波长的离散点的点扩散函数或者一个半径上的点扩散函数;将多光谱场景中的所有点经点扩散函数作用后在同一位置的散落点作为像面上的一个子图;逐个计算每个子图中每个像素点的像面照度,得到目标波长的光线在像面上的像。
作为一种可能实现的方式,本申请实施例可以对于给定的轴对称镜头,利用Zemax或CodeV等光学仿真软件,导出像面上波长的离散点的PSF,其中,点在极坐标下均匀采样,或只导出一个半径上的PSF,其他采样点的PSF利用旋转不变性计算得到,从而将这些PSF映射到多光谱场景中,使得每个PSF水平和垂直方向相邻两点的间距都等于像素点的物理宽度。
进一步地,本申请实施例对于多光谱场景中的任意一个像素点,它的PSF可以根据邻居的4个已知PSF利用双线性插值计算,从而将多光谱场景中的所有点经PSF作用后在同一位置的散落点看作像面上的一个子图,则逐个计算每个子图中每个像素点的像面照度,并将所有子图合并成像面上的实际照度图,进而得到目标波长的光线在像面上的像。
下面以一个具体实施例对本申请实施例的方法的工作原理进行详细赘述。
举例而言,假设场景多光谱的横向像素点数是w,纵向像素点数是h,像素点的物理宽度为l,光谱的中心点为坐标轴原点,x坐标轴方向朝右,y坐标轴方向朝上;(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,θ(i,j)表示该点在极坐标系下的夹角;Lλ(i,j)表示波长为λ的单光谱中(i,j)像素点的辐亮度,则三个步骤的详细过程如下:
步骤S1:单光谱的畸变。
步骤S1.1:对于给定的轴对称镜头,利用Zemax或CodeV等光学仿真软件导出镜头在波长λ下的放大倍数mλ,一个半径方向上理想像高对应的实际像高,并以理想像高/|mλ|/l作为自变量、实际像高/|mλ|/l为因变量进行9阶多项式拟合,记作Dλ(ρ)。
步骤S1.2:以中心点为原点,直角坐标系下Lλ(i,j)畸变后的直角坐标为x=Dλ(ρ(i,j))·cos(θ(i,j)),y=Dλ(ρ(i,j))·sin(θ(i,j)),该点的辐亮度与畸变前保持一致,即Lλ(i,j),上述计算畸变的过程中像素间是相互独立的,可以通过CPU多线程或GPU完成,最后通过双线性插值计算出畸变光谱在(i,j)点的辐亮度,记作L'λ(i,j),上述计算L'λ(i,j)的过程中像素间是相互独立的,可以通过CPU多线程或GPU完成。
步骤S2:单光谱的shading。
对于给定的轴对称镜头,利用Zemax或CodeV等光学仿真软件导出镜头一个半径方向上实际像高的相对亮度,并以实际像高/|mλ|/l作为自变量、相对亮度为因变量进行4阶多项式拟合,记作Rλ(ρ),点(i,j)经镜头shading后在像面上的照度根据照明公式计算,上述计算Eλ(i,j)的过程中像素间是相互独立的,可以通过CPU多线程或GPU完成,照明公式如下:
Figure BDA0003664527980000071
其中,(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,L'λ(i,j)表示畸变光谱在(i,j)点的辐亮度,Tλ表示波长λ的透过率,f/#是镜头的fnumber,mλ表示镜头在波长λ下的放大倍数,Rλ(ρ)表示4阶多项式拟合。
步骤S3:单光谱的模糊。
步骤S3.1:如图4所示,对于给定的轴对称镜头,利用Zemax或CodeV等光学仿真软件导出像面上波长为λ时离散点的点扩散函数PSF,其中点在极坐标下均匀采样;或者只导出一个半径上的PSF,其他采样点的PSF利用旋转不变性计算得到,将这些PSF映射到多光谱场景中,使得每个PSF水平和垂直方向相邻两点的间距都等于l,记作Pρ,θ,对于多光谱场景中的任意一个像素点(i,j),它的PSF可以根据邻居的4个已知PSF利用双线性插值计算,记作Pρ(i,j),θ(i,j)
步骤S3.2:设PSF在横向和纵向均有s个采样点(s是奇数),即s×s大小的方块,则多光谱场景中的一个点经PSF作用后变成s×s个点散落在像面上,将多光谱场景中的所有点经PSF作用后在同一位置的散落点看作像面上的一个子图,则像面上的实际照度可以看作s×s个子图的叠加,本申请实施例先逐个计算每个子图,最后将所有子图合并成像面上的实际照度图,对于波长为λ的第(m,n)个子图
Figure BDA0003664527980000081
1≤m≤s,1≤n≤s,其第(i,j)个点的照度值计算过程如下:
Figure BDA0003664527980000082
其中,Pρ(i,j),θ(i,j)表示任意一个像素点的点扩散函数,Eλ(i,j)表示目标波长的单光谱中像素点的照度。
步骤S3.3:如图5所示,将
Figure BDA0003664527980000083
上、下、左、右分别填充n-1行、s-n行、m-1列、s-m列0,得到填充后的新子图/>
Figure BDA0003664527980000084
将s×s个新子图叠加得到多光谱场景中波长为λ的光线在像面上的像/>
Figure BDA0003664527980000085
计算公式如下:
Figure BDA0003664527980000086
其中,
Figure BDA0003664527980000087
表示波长为λ的第(m,n)个子图。
上述计算每个子图中每个像素点的像面照度的过程是相互独立的,可以通过CPU多线程或GPU完成。
步骤S3.4:如图6所示,根据特定的应用可以将上述得到的多光谱像转换成感兴趣的色彩空间,对于sRGB色彩空间的色差矫正问题,可以先将多光谱像转换到CIE-XYZ色彩空间,然后再从CIE-XYZ色彩空间转换到sRGB色彩空间,并使用PBRT对MCC24色卡进行光线追踪,得到多光谱场景的多光谱数据,其中波长范围是380nm~720nm,波长间隔是10nm,从而计算每个光谱经过双高斯镜头的像
Figure BDA0003664527980000091
并将多光谱像转换到了sRGB色彩空间。
根据本申请实施例提出的轴对称光学成像并行仿真方法,可以根据多光谱场景的多光谱数据得到相机的光线的辐亮度在不同波长下的分布,并利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,从而得到每个波长下的光谱在像面上的照度,使得与实际拍摄产生的像更加接近,尤其是算法本身具有高度并行性,便于CPU多线程和GPU加速实现,进而有效的提升了成像的准确性和效率,有效满足仿真需求。
其次参照附图描述根据本申请实施例提出的轴对称光学成像并行仿真装置。
图7是本申请实施例的轴对称光学成像并行仿真装置的方框示意图。
如图7所示,该轴对称光学成像并行仿真装置10包括:获取模块100、处理模块200和仿真模块300。
具体地,获取模块100,用于获取多光谱场景的多光谱数据。
处理模块200,用于根据多光谱数据得到光线的辐亮度在不同波长下的分布。
仿真模块300,用于基于光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度。
可选地,在本申请的一个实施例中,仿真模块300包括:第一导出单元、第一拟合单元和第一计算单元。
第一导出单元,用于导出轴对称镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高。
第一拟合单元,用于以理想像高作为自变量、实际像高为因变量进行9阶多项式拟合,得到第一拟合结果。
第一计算单元,用于根据第一拟合结果计算目标波长的单光谱中像素点的辐亮度。
可选地,在本申请的一个实施例中,仿真模块300还包括:第二导出单元、第二拟合单元和第二计算单元。
第二导出单元,用于导出轴对称镜头一个半径方向上实际像高的相对亮度。
第二拟合单元,用于以实际像高作为自变量、相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果。
第二计算单元,用于根据第二拟合结果计算目标波长的单光谱中像素点的照度。
可选地,在本申请的一个实施例中,照度的计算公式为:
Figure BDA0003664527980000101
其中,(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,L'λ(i,j)表示畸变光谱在(i,j)点的辐亮度,Tλ表示波长λ的透过率,f/#是镜头的fnumber,mλ表示镜头在波长λ下的放大倍数,Rλ(ρ)表示4阶多项式拟合。
可选地,在本申请的一个实施例中,仿真模块300还包括:第三导出单元、处理单元和仿真单元。
第三导出单元,用于导出像面上目标波长的离散点的点扩散函数或者一个半径上的点扩散函数。
处理单元,用于将多光谱场景中的所有点经点扩散函数作用后在同一位置的散落点作为像面上的一个子图。
仿真单元,用于逐个计算每个子图中每个像素点的像面照度,得到目标波长的光线在像面上的像。
需要说明的是,前述对轴对称光学成像并行仿真方法实施例的解释说明也适用于该实施例的轴对称光学成像并行仿真装置,此处不再赘述。
根据本申请实施例提出的轴对称光学成像并行仿真装置,可以根据多光谱场景的多光谱数据得到相机的光线的辐亮度在不同波长下的分布,并利用目标波长的辐亮度、照度和/或像根据轴对称镜头对光线的作用仿真像面上的像,从而得到每个波长下的光谱在像面上的照度,使得与实际拍摄产生的像更加接近,尤其是算法本身具有高度并行性,便于CPU多线程和GPU加速实现,进而有效的提升了成像的准确性和效率,有效满足仿真需求。
图8为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的轴对称光学成像并行仿真方法。
进一步地,电子设备还包括:
通信接口803,用于存储器801和处理器802之间的通信。
存储器801,用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现,则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器801、处理器802及通信接口803,集成在一块芯片上实现,则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的轴对称光学成像并行仿真方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种轴对称光学成像并行仿真方法,其特征在于,包括以下步骤:
获取多光谱场景的多光谱数据;
根据所述多光谱数据得到光线的辐亮度在不同波长下的分布;以及
基于所述光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度;所述利用目标波长的辐亮度、照度和像根据轴对称镜头对光线的作用仿真像面上的像,包括:
导出所述轴对称镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高;
以所述理想像高作为自变量、所述实际像高为因变量进行9阶多项式拟合,得到第一拟合结果;
根据所述第一拟合结果计算所述目标波长的单光谱中像素点的辐亮度。
2.根据权利要求1所述的方法,其特征在于,所述利用目标波长的辐亮度、照度和像根据轴对称镜头对光线的作用仿真像面上的像,包括:
导出所述轴对称镜头一个半径方向上实际像高的相对亮度;
以所述实际像高作为自变量、所述相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果;
根据所述第二拟合结果计算目标波长的单光谱中像素点的照度。
3.根据权利要求2所述的方法,其特征在于,所述照度的计算公式为:
Figure FDA0003964242090000011
其中,(i,j)表示像素点在直角坐标系下的坐标,ρ(i,j)表示该点在极坐标系下的半径,L'λ(i,j)表示畸变光谱在(i,j)点的辐亮度,Tλ表示波长λ的透过率,f/#是镜头的fnumber,mλ表示镜头在波长λ下的放大倍数,Rλ(ρ)表示4阶多项式拟合。
4.根据权利要求1所述的方法,其特征在于,所述利用目标波长的辐亮度、照度和像根据轴对称镜头对光线的作用仿真像面上的像,包括:
导出像面上所述目标波长的离散点的点扩散函数或者一个半径上的点扩散函数;
将所述多光谱场景中的所有点经点扩散函数作用后在同一位置的散落点作为像面上的一个子图;
逐个计算每个子图中每个像素点的像面照度,得到所述目标波长的光线在像面上的像。
5.一种轴对称光学成像并行仿真装置,其特征在于,包括:
获取模块,用于获取多光谱场景的多光谱数据;
处理模块,用于根据所述多光谱数据得到光线的辐亮度在不同波长下的分布;以及
仿真模块,用于基于所述光线的辐亮度在不同波长下的分布,利用目标波长的辐亮度、照度和像根据轴对称镜头对光线的作用仿真像面上的像,得到每个波长下的光谱在像面上的照度;所述仿真模块包括:
第一导出单元,用于导出所述轴对称镜头在目标波长下的放大倍数,一个半径方向上理想像高对应的实际像高;
第一拟合单元,用于以所述理想像高作为自变量、所述实际像高为因变量进行9阶多项式拟合,得到第一拟合结果;
第一计算单元,用于根据所述第一拟合结果计算所述目标波长的单光谱中像素点的辐亮度。
6.根据权利要求5所述的装置,其特征在于,所述仿真模块还包括:
第二导出单元,用于导出所述轴对称镜头一个半径方向上实际像高的相对亮度;
第二拟合单元,用于以所述实际像高作为自变量、所述相对亮度为因变量进行4阶多项式拟合,得到第二拟合结果;
第二计算单元,用于根据所述第二拟合结果计算目标波长的单光谱中像素点的照度。
7.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-4任一项所述的轴对称光学成像并行仿真方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-4任一项所述的轴对称光学成像并行仿真方法。
CN202210589502.7A 2022-05-26 2022-05-26 轴对称光学成像并行仿真方法及装置 Active CN114820581B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210589502.7A CN114820581B (zh) 2022-05-26 2022-05-26 轴对称光学成像并行仿真方法及装置
PCT/CN2022/114994 WO2023226218A1 (zh) 2022-05-26 2022-08-26 轴对称光学成像并行仿真方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210589502.7A CN114820581B (zh) 2022-05-26 2022-05-26 轴对称光学成像并行仿真方法及装置

Publications (2)

Publication Number Publication Date
CN114820581A CN114820581A (zh) 2022-07-29
CN114820581B true CN114820581B (zh) 2023-03-24

Family

ID=82519283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210589502.7A Active CN114820581B (zh) 2022-05-26 2022-05-26 轴对称光学成像并行仿真方法及装置

Country Status (2)

Country Link
CN (1) CN114820581B (zh)
WO (1) WO2023226218A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820581B (zh) * 2022-05-26 2023-03-24 清华大学 轴对称光学成像并行仿真方法及装置
CN117744035B (zh) * 2024-02-20 2024-04-26 上海诺睿科半导体设备有限公司 一种多光谱光学关键尺寸的获取方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511256A (ja) * 2006-12-01 2010-04-08 ハリス コーポレイション パンクロマティック・マルチスペクトル画像対の空間的およびスペクトル較正
CN106126839A (zh) * 2016-06-29 2016-11-16 国家测绘地理信息局卫星测绘应用中心 一种三线阵立体测绘卫星成像仿真方法和系统
CN113358220A (zh) * 2021-05-28 2021-09-07 清华大学 基于单像素成像的亮度测量方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646175A (zh) * 2013-12-06 2014-03-19 西安电子科技大学 一种目标光谱辐射亮度的计算方法
CN103745055B (zh) * 2014-01-03 2017-09-08 西安电子科技大学 一种基于光谱brdf的空间目标可见光成像方法
US10591353B2 (en) * 2016-04-21 2020-03-17 Arizona Board Of Regents On Behalf Of The University Of Arizona Synthetic imaging systems using algorithms or mathematical transformations simulate optical effects of optical components
CN107092752B (zh) * 2017-04-24 2019-06-14 北京理工大学 一种基于光线追迹的光学相机仿真成像方法和系统
CN111563962B (zh) * 2020-04-09 2024-01-26 中国科学院空天信息创新研究院 一种基于几何辐射一体化采样的遥感图像仿真方法
US11228699B2 (en) * 2020-04-15 2022-01-18 Labsphere, Inc. Systems and methods for determining a minimum resolvable distance of an imaging system
CN112161953B (zh) * 2020-08-25 2022-05-13 西安电子科技大学 一种基于散射介质的宽光谱单帧散射成像方法
CN114078153B (zh) * 2021-11-18 2022-06-14 清华大学 面向散射场景的光场编码摄像方法及装置
CN114820581B (zh) * 2022-05-26 2023-03-24 清华大学 轴对称光学成像并行仿真方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010511256A (ja) * 2006-12-01 2010-04-08 ハリス コーポレイション パンクロマティック・マルチスペクトル画像対の空間的およびスペクトル較正
CN106126839A (zh) * 2016-06-29 2016-11-16 国家测绘地理信息局卫星测绘应用中心 一种三线阵立体测绘卫星成像仿真方法和系统
CN113358220A (zh) * 2021-05-28 2021-09-07 清华大学 基于单像素成像的亮度测量方法及装置

Also Published As

Publication number Publication date
CN114820581A (zh) 2022-07-29
WO2023226218A1 (zh) 2023-11-30

Similar Documents

Publication Publication Date Title
CN114820581B (zh) 轴对称光学成像并行仿真方法及装置
Stiebel et al. Reconstructing spectral images from rgb-images using a convolutional neural network
Krig Computer vision metrics: Survey, taxonomy, and analysis
Krig Computer vision metrics
KR100944462B1 (ko) 위성 영상 융합 방법 및 시스템
JP5840008B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5306563B2 (ja) 撮像装置及び画像生成方法
CN113196334B (zh) 用于生成超分辨率图像的方法和相关设备
CN103873740B (zh) 图像处理装置及信息处理方法
US9264635B2 (en) Image processing apparatus, image processing method, and imaging apparatus
CN113676629B (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
CN108288256A (zh) 一种多光谱马赛克图像复原方法
Nikonorov et al. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging
Lv et al. An integrated enhancement solution for 24-hour colorful imaging
US20220253979A1 (en) Information processing system, endoscope system, and information storage medium
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
US20190355105A1 (en) Method and device for blind correction of lateral chromatic aberration in color images
Monno et al. N-to-sRGB mapping for single-sensor multispectral imaging
JP6213466B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110580684A (zh) 一种基于黑白-彩色双目相机的图像增强方法
CN116912127A (zh) 基于逆isp的raw域雾气数据仿真方法
CN112150363A (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN116503248A (zh) 一种针对原油储罐的红外图像校正方法及校正系统
KR20210096925A (ko) 대용량 항공정사영상의 효율적인 색상보정 방법
JP5963611B2 (ja) 画像処理装置、撮像装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant