CN111047686A - 一种用于无人光电设备的实时成像仿真系统 - Google Patents
一种用于无人光电设备的实时成像仿真系统 Download PDFInfo
- Publication number
- CN111047686A CN111047686A CN201911309366.6A CN201911309366A CN111047686A CN 111047686 A CN111047686 A CN 111047686A CN 201911309366 A CN201911309366 A CN 201911309366A CN 111047686 A CN111047686 A CN 111047686A
- Authority
- CN
- China
- Prior art keywords
- target
- time
- data
- radiation
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于无人光电设备的实时成像仿真系统,所述系统包括:管控模块和嵌入式成像仿真装置;所述管控模块;用于生成三维几何、纹理与光谱耦合的多特性场景数据;生成覆盖典型天候、天时以及波段的太阳辐照度、天空辐照度、天空大气下行透过率、大气上行透过率、上行程辐射这些大气要素的纹理数据和目标场景的入射辐照度光场数据,并发送至嵌入式成像仿真装置;所述嵌入式成像仿真装置,用于获取无人光电设备的位置姿态信息,根据平台位置姿态分别查询获取基于双向反射函数表征光谱参数以及上行大气参数数据,通过GPU并行加速计算生成零气象视距出射辐亮度场和入瞳前出射辐射场,生成具有相机效应的仿真图像数据。
Description
技术领域
本发明涉及光电成像仿真测试及训练技术领域,具体涉及一种用于无人光电设备的实时成像仿真系统。
背景技术
近年来无人设备的发展进入了市场应用阶段,各种无人机、无人汽车、智能机器人产品涌现出来。这些无人设备利用所搭载的光电成像系统感知目标和环境信息,实现无人系统的行为操控和自主决策,在众多领域得以广泛应用,成为新的经济增长点。
目前,无人系统安全性测试仍然是一个普遍关注的问题,尽管无人驾驶汽车已经开展了大量的路测试验,但是在面对突发状况和复杂环境下,仍然存在应对测试能力不足的问题。
随着无人机从传统航拍领域向安防、智能化服务领域的发展,场景与威胁模式更为复杂,现有真实场景测试数据类型有限,而室内计算机仿真是以模型仿真为主,是一种桌面静态测试,与真实飞行情况有一定差距,对于无人机测试训练的适用性有限,易导致在飞行过程中“炸机”事件的发生;在机器人领域,随着服务型、对抗型机器人类型的出现,对便携式、小型化的动态测试装置需求也日益紧迫。
现有嵌入式成像仿真系统主要以图到图的仿真效果展示为主,物理机理不强;而基于三维场景的物理成像仿真在建模方法、仿真流程与计算性能方面难以在嵌入式系统实现,不能满足嵌入式成像仿真系统对仿真置信度、实时性和灵活性应用要求。
发明内容
本发明的目的在于针对无人光电设备动态测试与训练的应用需求,着重解决现有测试、训练系统与方法存在的复杂场景模拟置信度不高、实时性不强、难以接入实际被测对象开展搭载动态测试与训练等问题,设计并提出了一种可搭载的用于无人光电设备测试与训练的嵌入式实时成像仿真装置与方法,对于无人机、无人车、智能机器人等领域开展多样化场景动态生成条件下的高置信度、半实物的仿真测试、试验与训练提供了一种新颖的系统与方法支持。
为了实现上述目的,本发明公开了一种用于无人光电设备的实时成像仿真系统,所述系统包括:管控模块和嵌入式成像仿真装置;所述管控模块设置在上位机上,所述嵌入式成像仿真装置搭载在无人光电设备上;
所述管控模块;用于生成三维几何、纹理与光谱耦合的多特性场景数据;生成覆盖典型天候、天时以及波段的太阳辐照度、天空辐照度、天空大气下行透过率、大气上行透过率、上行程辐射这些大气要素的纹理数据和目标场景的入射辐照度光场数据,并发送至嵌入式成像仿真装置;
所述嵌入式成像仿真装置,用于获取无人光电设备的位置姿态信息,根据平台位置姿态分别查询获取基于双向反射函数表征光谱参数以及上行大气参数数据,通过GPU并行加速计算生成零气象视距出射辐亮度场和入瞳前出射辐射场,生成具有相机效应的仿真图像数据。
作为上述系统的一种改进,所述系统还包括:测试管理模块,用于记录存储仿真图像结果以及无人系统位姿数据,实现数据收集与评估。
作为上述系统的一种改进,所述管控模块包括:目标三维场景多特性离线构建单元、大气参数离线预计算单元、入射辐照度场离线预计算单元和离线计算数据加载单元;
所述目标三维场景多特性离线构建单元,用于对纹理材质类型分类、构建材质光谱数据库、对不同类型材质的漫反射、双向反射函数光谱模型的数据库进行统一管理;还用于基于几何、纹理与光谱的多特性映射,生成三维几何、纹理与光谱耦合的多特性目标三维场景数据;
所述大气参数离线预计算单元,用于通过仿真时段、仿真区域地理范围、仿真波长范围及间隔、仿真区域大气模式、气溶胶类型及能见度范围、观测高度及视角范围,计算设定条件下的太阳辐照度、天空辐照度、大气下行透过率、大气上行透过率、上行程辐射这些大气要素数据,并按照纹理图方式进行组织,生成纹理图数据;
所述入射辐照度场离线预计算单元,用于根据目标三维场景,计算在典型仿真时段与典型天候条件下的入射辐照度场数据;
所述离线计算数据加载单元,用于将多特性目标三维场景数据、纹理图数据以及入射辐照度场数据发送至嵌入式成像仿真装置。
作为上述系统的一种改进,所述入射辐照度场离线预计算单元的具体实现过程为:
设在时间t场景目标表面(x,y,z)处接收波长为λ的入射辐照度E(x,y,z,t,λ)表示为:
E(x,y,z,t,λ)=Ed(x,y,z,t,λ)+Es(x,y,z,t,λ)+Eb(x,y,z,t,λ) (1)
其中,Ed(x,y,z,t,λ)为波长为λ的太阳辐射在t时间直接到达场景目标表面(x,y,z)处的入射辐照度;Es(x,y,z,t,λ)为波长为λ的天空漫射背景光在在t时间到达场景目标表面(x,y,z)处的入射辐照度;Eb(x,y,z,t,λ)为t时间波长为λ的经背景反射的光线到达场景目标表面(x,y,z)处的入射辐照度,具体定义如下:
Ed(x,y,z,t,λ)=Fd(x,y,z,θd,φd,t)τd(x,y,z,θd,φd,t,λ)E'd(t,λ)cos(θd) (2)
式(4)中:
其中,Fd(x,y,z,θd,φd,t)为t时间太阳与目标(x,y,z)连线之间的可见系数,取值为0到1之间,0表示太阳对目标的直接辐照受到全部遮挡,1表示太阳对目标的直接辐照完全没有遮挡;τd(x,y,z,θd,φd,t,λ)为t时间波长为λ太阳光谱与目标之间的大气透过率,分别为太阳相对于目标的天顶角和方位角;E'd(t,λ)为t时间场景区域大气层外的太阳辐照度;
其中,为目标(x,y,z)之上半球天空的某一天空漫射采样光线的天顶角和方位角;为t时间波长为λ的天空漫射光到达目标(x,y,z)的下行辐亮度;为t时间目标沿方向的天空漫射光对目标(x,y,z)的可见系数,取值为0到1之间,0表示目标沿方向天空漫射光被全部遮挡,1表示完全没有遮挡;
其中,背景由于自身反射对目标所产生的入射辐照度Eb(x,y,z,t,λ)是由太阳直接辐射到达背景反射光Ebd(x,y,z,t,λ)和天空漫射辐射到达背景反射光Ebs(x,y,z,t,λ)构成,Ebd(x,y,z,t,λ)为t时间在目标(x,y,z)处接收到的波长为λ的太阳直接辐射背景反射光,Ebs(x,y,z,t,λ)为t时间在目标(x,y,z)处接收到的波长为λ的天空漫射辐射背景反射光;变量i表示第i个目标背景面片单元,N表示目标背景面片单元的总数;为t时间第i个背景面片单元(xi,yi,zi)反射自方向的波长为λ太阳直接辐射在朝向目标方向的出射辐亮度;为t时间第i个背景面片单元(xi,yi,zi)反射自方向波长为λ背景天空漫射辐射光在朝向目标方向的出射辐亮度;θi为目标与背景面片单元(xi,yi,zi)连线相对于目标的天顶角;si为背景面片单元(xi,yi,zi)的面积;ri为目标与背景面片单元(xi,yi,zi)之间的距离;
其中,为第i个背景面片单元(xi,yi,zi)在波长为λ的双向反射函数,单位为sr-1,其中,为太阳相对于第i个背景面片单元(xi,yi,zi)的天顶角和方位角,为观测方向相对于第i个背景面片单元(xi,yi,zi)的的天顶角和方位角;为t时间第i个背景面片单元(xi,yi,zi)自方向的太阳光源对其可见系数;为t时间波长为λ的太阳光谱与背景面片单元(xi,yi,zi)之间的大气透过率;
其中,为第i个背景面片单元(xi,yi,zi)在波长为λ时来自方向天空背景采样光与观测方向为方向条件下的双向反射函数模型,单位为sr-1;为t时间第i个背景面片单元(xi,yi,zi)自方向的天空背景采样光对其的可见系数;为t时间来自方向的波长为λ的天空背景采样光到达第i个背景面片单元(xi,yi,zi)的入射辐亮度。
根据场景内目标面片单元(x,y,z)的在某一时段某一波长下的入射辐照度,对场景内所有面片单元进行入射辐照度计算,得到用能量、位置、方向、波长和时间综合表征的三维场景入射辐照度场。
作为上述系统的一种改进,所述嵌入式成像仿真装置包括:外部接口单元、零视距出射辐射场计算单元、入瞳前辐射场计算单元和相机成像效应仿真单元;所述外部接口单元,用于接收管控模块发出的控制指令和数据,利用GPIO接口获取无人光电设备的位置姿态信息;
所述零气象视距出射辐射场计算单元,用于读取到达目标场景的入射辐照度场,综合目标场景的观测视角和光谱特性,计算零气象视距出射辐亮度场;
所述入瞳前出射辐射场计算单元,用于通过仿真观测条件查询获取指定波段的上行大气透过率、上行程辐射这些按纹理格式组织的大气参数数据,并对目标场景的零气象视距辐射场数据叠加上行大气传输效应,计算入瞳前出射辐射场数据;
所述相机成像效应仿真单元,用于获取在当前观测条件下的目标场景上行辐射数据,通过外部平台与相机位置姿态参数生成多谱段、多方位、典型天时和能见度条件下的仿真图像数据。
作为上述系统的一种改进,所述零气象视距出射辐射场计算单元的具体实现过程为:
目标表面的零气象视距出射辐亮度辐射分布为:
其中,为目标面片单元(x,y,z)在t时间沿观测方向的零气象视距出射辐亮度值;为目标来自太阳直接辐射方向为目标观测方向为波长为λ的双向反射函数;为目标来自天空背景采样光入射方向目标观测方向波长为λ的双向反射函数;为第i个背景面片单元反射光相对于目标方向目标观测方向波长为λ的双向反射函数;综合计算得到场景内所有目标面片单元的零气象视距出射辐亮度场。
作为上述系统的一种改进,所述入瞳前辐射场计算单元的具体实现过程为:
目标到达传感器的上行辐亮度值,即传感器入瞳前辐亮度值为:
其中,为t时间目标面片单元(x,y,z)在波长为λ条件下的上行出射辐亮度,其中,为位于(xu,yu,zu)处传感器相对于目标面片单元(x,y,z)的观测天顶角和方位角;τu(xu,yu,zu,θr,φr,t,λ)为t时间沿目标表面观测方向到达传感器位置(xu,yu,zu)处上行大气透过率;Lp(xu,yu,zu,θr,φr,t,λ)为t时间沿目标表面观测方向到达传感器(xu,yu,zu)位置的上行程辐射;
综合场景内所有面片单元的典型出射方向、典型波段、典型时间的上行出射辐亮度计算结果,得到传感器入瞳前的场景出射辐射场。
作为上述系统的一种改进,所述相机成像效应仿真单元的具体实现过程为:综合考虑光学系统效应、探测器效应、信号电路效应、噪声效应以及平台的振动效应,分别建立各种效应的调制传递函数模型,并叠加至传感器入瞳前的辐亮度数据,生成相机效应的仿真图像。
本发明的优势在于:
1、本发明采用基于三维场景的全链路光学成像仿真建模理论开展成像链路仿真建模,在关注目标三维几何、光谱特性同时,将观测-目标特性-大气传输等联合起来构建辐射传输过程,实现了对光学成像仿真的全链路高精度建模;采用多维光场理论表征三维目标场景的能量辐射分布,将真实世界场景的几何、光谱与辐射分布映射到虚拟世界,实现了辐射分布与观测方式剥离,能够适用于线阵、面阵、多光谱、高光谱等多种相机成像模式仿真;
2、本发明采用嵌入式板卡系统实现了基于三维场景的全链路光学成像仿真,通过板卡GPU并行仿真计算加速以及基于光场表征的流程设计优化解决了百万面片规模级三维场景的实时成像仿真计算效率低等问题,且嵌入式板卡装置具有重量轻、功耗低、易部署、支持多种典型外部接口接入等优点,能够支持无人机、无人车等无人设备在空旷场地条件下模拟真实场景开展搭载动态测试与训练;
3、本发明采用半实物仿真测试设计思路,综合了实物运行测试和计算机仿真测试的优点,既弥补了无人设备在实物测试与训练条件下的数据获取有限而导致的测试训练不充分问题,又解决了桌面静态计算机仿真测试方式难以考核无人设备在真实运行状态下的边界性能和在外场快速部署应用的难题;
4、本发明实现了一种可搭载、具有高置信度、高实时处理性能,可支撑实际被测设备接入的嵌入式光学成像仿真装置,且具有重量轻、功率低等优点。
附图说明
图1为本发明的用于无人光电设备的实时成像仿真系统的结构图;
图2为本发明的嵌入式成像仿真装置的硬件设计图。
具体实施方式
下面结合附图对本发明的技术方案进行详细的说明。
本发明将基于三维场景的全链路光学成像仿真方法与嵌入式实时处理系统结合,开展基于嵌入式平台的光学成像仿真方法的技术优化移植与加速改造,设计能够接入被测实物的典型扩展接口,从而实现一种能够可搭载、具有高置信度、高实时处理性能,可支撑实际被测设备接入的嵌入式成像仿真装置。
本发明的用于无人光电设备测试与训练的实时成像仿真系统采用了基于三维场景的全链路光学成像仿真建模理论,特别是在三维场景的构建与表征过程中,不同于传统的基于计算机图形学的虚拟场景的表达方法,对三维场景进行几何建模的同时,赋予材质与光谱特性,比照真实场景,将观测方位、目标特性、大气传输与辐射源统一起来,基于射线追踪的能量传递分析方法计算输出三维场景进入相机前的辐射传输能量场,用以满足不同观测位置与角度、不同探测模式以及不同光谱谱段与分辨率的光学相机成像仿真需要。
为了准确表征三维场景的辐射能量场的分布,针对可见光波段,本发明采用多维光场理论定义三维场景的入射辐照度场、零气象视距辐亮度场以及入瞳前的上行辐亮度场。其中,三维场景入射辐照度场主要包括了太阳直接辐照度场、天空背景光辐照度场以及经背景反射到达目标的反射光场,具体定义如下:
设在时间t场景目标表面(x,y,z)处接收波长为λ的入射辐照度E(x,y,z,t,λ)可以表示为:
E(x,y,z,t,λ)=Ed(x,y,z,t,λ)+Es(x,y,z,t,λ)+Eb(x,y,z,t,λ) (1)
式(1)中,Ed(x,y,z,t,λ)为波长为λ的太阳辐射在t时间直接到达场景目标表面(x,y,z)处的入射辐照度;Es(x,y,z,t,λ)为波长为λ的天空漫射背景光在在t时间到达场景目标表面(x,y,z)处的入射辐照度;Eb(x,y,z,t,λ)为t时间波长为λ的经背景反射的光线到达场景目标表面(x,y,z)处的入射辐照度,具体定义如下:
Ed(x,y,z,t,λ)=Fd(x,y,z,θd,φd,t)τd(x,y,z,θd,φd,t,λ)E'd(t,λ)cos(θd) (2)
式(4)中:
在式(2)中,Fd(x,y,z,θd,φd,t)为t时间太阳与目标(x,y,z)连线之间的可见系数,取值为0到1之间,0表示太阳对目标的直接辐照受到全部遮挡,1表示太阳对目标的直接辐照完全没有遮挡;τd(x,y,z,θd,φd,t,λ)为t时间波长为λ太阳光谱与目标之间的大气透过率,分别为太阳相对于目标的天顶角和方位角;E'd(t,λ)为t时间场景区域大气层外的太阳辐照度。
在式(3)中,为目标(x,y,z)之上半球天空的某一天空漫射采样光线的天顶角和方位角;为t时间波长为λ的天空漫射光到达目标(x,y,z)的下行辐亮度;为t时间目标沿方向的天空漫射光对目标(x,y,z)的可见系数,取值为0到1之间,0表示目标沿方向天空漫射光被全部遮挡,1表示完全没有遮挡。
在式(4)中,背景由于自身反射对目标所产生的入射辐照度Eb(x,y,z,t,λ)是由太阳直接辐射到达背景反射光Ebd(x,y,z,t,λ)和天空漫射辐射到达背景反射光Ebs(x,y,z,t,λ)构成,Ebd(x,y,z,t,λ)为t时间在目标(x,y,z)处接收到的波长为λ的太阳直接辐射背景反射光,Ebs(x,y,z,t,λ)为t时间在目标(x,y,z)处接收到的波长为λ的天空漫射辐射背景反射光;变量i表示第i个目标背景面片单元,N表示目标背景面片单元的总数;为t时间第i个背景面片单元(xi,yi,zi)反射自方向的波长为λ太阳直接辐射在朝向目标方向的出射辐亮度;为t时间第i个背景面片单元(xi,yi,zi)反射自方向波长为λ背景天空漫射辐射光在朝向目标方向的出射辐亮度;θi为目标与背景面片单元(xi,yi,zi)连线相对于目标的天顶角;si为背景面片单元(xi,yi,zi)的面积;ri为目标与背景面片单元(xi,yi,zi)之间的距离;鉴于目标与背景之间距离较短,可以近似认为到达目标的辐射能量无损耗。
式(5)中,为第i个背景面片单元(xi,yi,zi)在波长为λ的双向反射函数,单位为sr-1,其中,为太阳相对于第i个背景面片单元(xi,yi,zi)的天顶角和方位角,为观测方向相对于第i个背景面片单元(xi,yi,zi)的的天顶角和方位角;为t时间第i个背景面片单元(xi,yi,zi)自方向的太阳光源对其可见系数;为t时间波长为λ的太阳光谱与背景面片单元(xi,yi,zi)之间的大气透过率;
式(6)中,为第i个背景面片单元(xi,yi,zi)在波长为λ时来自方向天空背景采样光与观测方向为方向条件下的双向反射函数模型,单位为sr-1;为t时间第i个背景面片单元(xi,yi,zi)自方向的天空背景采样光对其的可见系数;为t时间来自方向的波长为λ的天空背景采样光到达第i个背景面片单元(xi,yi,zi)的入射辐亮度。
综合式(1)、(2)、(3)、(4)、(5)、(6),即可得到场景内目标面片单元(x,y,z)的在某一时段某一波长下的入射辐照度,基于上述原理,对场景内所有面片单元进行入射辐射度计算,即可计算得到用能量、位置、方向、波长、时间等综合表征的三维场景入射辐照度场;
在三维场景入射辐照度场计算基础上,引入目标双向反射函数模型,可以推导得到目标表面的零气象视距出射辐亮度辐射分布,具体如式(7)所示:
式(7)中,为目标面片单元(x,y,z)在t时间沿观测方向的零气象视距出射辐亮度值;为目标来自太阳直接辐射方向为目标观测方向为波长为λ的双向反射函数;为目标来自天空背景采样光入射方向目标观测方向波长为λ的双向反射函数;为第i个背景面片单元反射光相对于目标方向目标观测方向波长为λ的双向反射函数;其他参数定义如前所述。综合计算得到场景内所有目标面片单元的零气象视距出射辐亮度场。
在计算得到目标表面零气象视距出射辐亮度场基础之上,综合考虑传感器观测方向的上行大气透过率以及大气程辐射的影响,计算得到目标到达传感器的上行辐亮度值,即传感器入瞳前的辐亮度值,具体定义如式(8)所示:
式(8)中,为t时间目标面片单元(x,y,z)在波长为λ条件下的上行出射辐亮度,其中,为位于(xu,yu,zu)处传感器相对于目标面片单元(x,y,z)的观测天顶角和方位角;τu(xu,yu,zu,θr,φr,t,λ)为t时间沿目标表面观测方向到达传感器位置(xu,yu,zu)处上行大气透过率;Lp(xu,yu,zu,θr,φr,t,λ)为为t时间沿目标表面观测方向到达传感器(xu,yu,zu)位置的上行程辐射。综合场景内所有面片单元的典型出射方向、典型波段、典型时间的上行出射辐亮度计算结果,即得到传感器入瞳前的场景出射辐射场;由于传感器入瞳前的场景出射辐射场不依赖于传感器成像体制与观测模式,是对客观场景的光场辐射计算输出,因此可以结合平台和传感器位姿信息,叠加平台与传感器的成像误差,实现多种体制传感器成像效应的仿真。
由于可见光波像主要是场景地物反射太阳辐射为主,而从近红外波段、中红外波段到远红外波段需要考虑场景地物由于自身温度而产生的红外辐射影响。针对红外辐射仿真,可借鉴多维光场理论,针对三维场景不同地物类型,基于热平衡方程理论计算生成三维场景温度场分布,并在此基础上,考虑大气热辐射传输效应、场景内部热辐射反射效应等因素,计算输出用能量、位置、方向、波长、时间等表征的入瞳前红外辐射场,综合红外相应波段内的光辐射贡献,叠加红外相机效应,实现红外波段的图像仿真。
参考图1,本发明提出了一种用于无人光电设备的实时成像仿真系统,包括:管控系统目标三维场景多特性离线构建单元、管控系统大气离线预计算单元、管控系统入射辐照度场离线预计算单元、离线计算数据加载单元、嵌入式成像仿真装置外部接口单元、嵌入式成像仿真装置零视距出射辐射场计算单元、嵌入式成像仿真装置入瞳前辐射场计算单元、嵌入式成像仿真装置平台与相机成像效应仿真单元等。所述的管控系统目标三维场景多特性离线构建单元,主要包括目标三维场景几何构建、纹理构建、纹理材质类型分类、材质光谱数据库构建以及几何、纹理与光谱的多特性映射等功能,可支持对不同类型材质的漫反射、双向反射函数等光谱模型的数据库统一管理;
所述的管控系统大气参数离线预计算单元,通过输入仿真时段、仿真区域地理范围、仿真波长范围及间隔、仿真区域大气模式、气溶胶类型及能见度范围、观测高度及视角范围等,计算输出设定条件下的太阳辐照度、天空辐照度、大气下行透过率、大气上行透过率、上行程辐射等大气要素数据,并按照纹理图方式进行组织;
所述的管控系统入射辐照度场离线预计算单元,针对目标三维场景,计算在典型仿真时段与典型天候条件下的太阳辐照度场、天空辐照度场以及经背景反射到达目标的辐射强度;
所述的离线计算数据加载单元,通过Wifi或移动存储设备将目标三维场景多特性数据、大气离线计算纹理图数据以及入射辐照度场数据加载至嵌入式成像仿真设备,嵌入式成像仿真装置可作为载荷安装搭载在无人设备;
所述的嵌入式成像仿真装置外部接口单元,通过板载Wifi接收管控计算机发出的控制指令,利用GPIO接口获取无人设备位姿信息,提供USB、LVDS、CameraLink、HDMI等典型的仿真数据输出接口;
所述的嵌入式成像仿真装置零视距出射辐射场计算单元,通过读取到达目标场景的入射辐照度场,综合考虑目标场景的观测视角和光谱特性,实现零气象视距的出射辐射的计算输出;
所述的嵌入式成像仿真装置上行辐射场计算单元,能够根据仿真观测条件查询获取指定波段的上行大气透过率、上行程辐射等按纹理格式组织的大气参数数据,并对目标场景的零气象视距辐射场数据叠加上行大气传输效应,实现入瞳前辐射数据的计算输出;
所述的嵌入式成像仿真装置平台与相机成像效应仿真单元,能够获取在当前观测条件下的目标场景上行辐射数据,可支持宽幅凝视、线阵推扫、时空过采样等多探测体制相机模型接入以及多光谱、高光谱相机建模仿真,具备通过外部平台与相机位姿参数驱动实现多谱段、多方位、典型天时和能见度条件下的仿真图像实时生成能力。
上述系统的工作流程:
步骤1)系统软硬件部署步骤:
分别部署管控计算机系统、嵌入式实时成像仿真装置和被测无人设备或算法单元,将仿真装置作为虚拟相机装在无人设备上,通过GPIO接口连接无人设备姿态与位置传感器获取位姿信息,提供USB、LVDS、CameraLink、HDMI等仿真图像输出接口与无人设备图像采集接口对接;
步骤2)离线数据预计算步骤:
根据测试及训练想定内容,基于管控计算系统分别调用目标三维场景多特性离线构建、大气参数离线预计算、入射辐照度场离线预计算等单元,依次计算生成三维几何、纹理与光谱耦合的多特性场景数据、覆盖典型天候、天时以及波段的太阳辐照度、天空辐照度、天空大气下行透过率、大气上行透过率、上行程辐射等大气要素纹理数据和目标场景的入射辐照度光场数据,包括太阳辐照度场、天空辐照度场、背景辐照度场等。
步骤3)实时在线成像仿真处理步骤:
通过管控计算机系统,将离线计算生成数据通过Wifi上传加载至成像仿真装置存储设备单元,经现场确认成像仿真装置与被测无人系统连接无误后,由管控计算机系统通过Wifi发送指令开启实时在线成像仿真处理,实时在线成像仿真装置实时读取被测无人系统的位姿信息,对加载的离线场景数据和入射辐照度场数据,根据平台位置姿态分别查询获取基于双向反射函数表征光谱参数以及上行大气参数数据,通过GPU并行加速计算生成零气象视距数据、大气效应上行辐射数据和叠加平台与相机效应的仿真图像数据,然后将仿真图像数据输出给被测无人系统或被测算法单元,实现实时闭环仿真测试或训练。
步骤4)数据收集与评估步骤:
通过管控计算机系统发送仿真结束控制指令,实时成像仿真装置结束仿真运行并对后台记录存储仿真图像结果以及无人系统位姿数据通过Wifi等形式发送给测试管理计算机系统,实现数据收集与评估。
由于嵌入式成像仿真装置要能够应用于无人设备的搭载测试与训练,体积小、重量轻、功耗低是其主要的设计约束。针对嵌入式成像仿真装置的硬件设计,设计了如图2所示的架构,其中采用了基于CPU和GPU共享存储设计以提高成像仿真计算渲染性能;设计高速总线实现内存与外部接口高速交互,支持GPIO、USB、LVDS、CameraLink、HDMI等总线接口类型。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种用于无人光电设备的实时成像仿真系统,其特征在于,所述系统包括:管控模块和嵌入式成像仿真装置;所述管控模块设置在上位机上,所述嵌入式成像仿真装置搭载在无人光电设备上;
所述管控模块;用于生成三维几何、纹理与光谱耦合的多特性场景数据;生成覆盖典型天候、天时以及波段的太阳辐照度、天空辐照度、天空大气下行透过率、大气上行透过率、上行程辐射这些大气要素的纹理数据和目标场景的入射辐照度光场数据,并发送至嵌入式成像仿真装置;
所述嵌入式成像仿真装置,用于获取无人光电设备的位置姿态信息,根据平台位置姿态分别查询获取基于双向反射函数表征光谱参数以及上行大气参数数据,通过GPU并行加速计算生成零气象视距出射辐亮度场和入瞳前出射辐射场,生成具有相机效应的仿真图像数据。
2.根据权利要求1所述的用于无人光电设备的实时成像仿真系统,其特征在于,所述系统还包括:测试管理模块,用于记录存储仿真图像结果以及无人系统位姿数据,实现数据收集与评估。
3.根据权利要求1所述的用于无人光电设备的实时成像仿真系统,其特征在于,所述管控模块包括:目标三维场景多特性离线构建单元、大气参数离线预计算单元、入射辐照度场离线预计算单元和离线计算数据加载单元;
所述目标三维场景多特性离线构建单元,用于对纹理材质类型分类、构建材质光谱数据库、对不同类型材质的漫反射、双向反射函数光谱模型的数据库进行统一管理;还用于基于几何、纹理与光谱的多特性映射,生成三维几何、纹理与光谱耦合的多特性目标三维场景数据;
所述大气参数离线预计算单元,用于通过仿真时段、仿真区域地理范围、仿真波长范围及间隔、仿真区域大气模式、气溶胶类型及能见度范围、观测高度及视角范围,计算设定条件下的太阳辐照度、天空辐照度、大气下行透过率、大气上行透过率、上行程辐射这些大气要素数据,并按照纹理图方式进行组织,生成纹理图数据;
所述入射辐照度场离线预计算单元,用于根据目标三维场景,计算在典型仿真时段与典型天候条件下的入射辐照度场数据;
所述离线计算数据加载单元,用于将多特性目标三维场景数据、纹理图数据以及入射辐照度场数据发送至嵌入式成像仿真装置。
4.根据权利要求3所述的用于无人光电设备的实时成像仿真系统,其特征在于,所述入射辐照度场离线预计算单元的具体实现过程为:
设在时间t场景目标表面(x,y,z)处接收波长为λ的入射辐照度E(x,y,z,t,λ)表示为:
E(x,y,z,t,λ)=Ed(x,y,z,t,λ)+Es(x,y,z,t,λ)+Eb(x,y,z,t,λ) (1)
其中,Ed(x,y,z,t,λ)为波长为λ的太阳辐射在t时间直接到达场景目标表面(x,y,z)处的入射辐照度;Es(x,y,z,t,λ)为波长为λ的天空漫射背景光在在t时间到达场景目标表面(x,y,z)处的入射辐照度;Eb(x,y,z,t,λ)为t时间波长为λ的经背景反射的光线到达场景目标表面(x,y,z)处的入射辐照度,具体定义如下:
Ed(x,y,z,t,λ)=Fd(x,y,z,θd,φd,t)τd(x,y,z,θd,φd,t,λ)E'd(t,λ)cos(θd) (2)
式(4)中:
其中,Fd(x,y,z,θd,φd,t)为t时间太阳与目标(x,y,z)连线之间的可见系数,取值为0到1之间,0表示太阳对目标的直接辐照受到全部遮挡,1表示太阳对目标的直接辐照完全没有遮挡;τd(x,y,z,θd,φd,t,λ)为t时间波长为λ太阳光谱与目标之间的大气透过率,分别为太阳相对于目标的天顶角和方位角;E'd(t,λ)为t时间场景区域大气层外的太阳辐照度;
其中,为目标(x,y,z)之上半球天空的某一天空漫射采样光线的天顶角和方位角;为t时间波长为λ的天空漫射光到达目标(x,y,z)的下行辐亮度;为t时间目标沿方向的天空漫射光对目标(x,y,z)的可见系数,取值为0到1之间,0表示目标沿方向天空漫射光被全部遮挡,1表示完全没有遮挡;
其中,背景由于自身反射对目标所产生的入射辐照度Eb(x,y,z,t,λ)是由太阳直接辐射到达背景反射光Ebd(x,y,z,t,λ)和天空漫射辐射到达背景反射光Ebs(x,y,z,t,λ)构成,Ebd(x,y,z,t,λ)为t时间在目标(x,y,z)处接收到的波长为λ的太阳直接辐射背景反射光,Ebs(x,y,z,t,λ)为t时间在目标(x,y,z)处接收到的波长为λ的天空漫射辐射背景反射光;变量i表示第i个目标背景面片单元,N表示目标背景面片单元的总数;为t时间第i个背景面片单元(xi,yi,zi)反射自方向的波长为λ太阳直接辐射在朝向目标方向的出射辐亮度;为t时间第i个背景面片单元(xi,yi,zi)反射自方向波长为λ背景天空漫射辐射光在朝向目标方向的出射辐亮度;θi为目标与背景面片单元(xi,yi,zi)连线相对于目标的天顶角;si为背景面片单元(xi,yi,zi)的面积;ri为目标与背景面片单元(xi,yi,zi)之间的距离;
其中,为第i个背景面片单元(xi,yi,zi)在波长为λ的双向反射函数,单位为sr-1,其中,为太阳相对于第i个背景面片单元(xi,yi,zi)的天顶角和方位角,为观测方向相对于第i个背景面片单元(xi,yi,zi)的的天顶角和方位角;为t时间第i个背景面片单元(xi,yi,zi)自方向的太阳光源对其可见系数;为t时间波长为λ的太阳光谱与背景面片单元(xi,yi,zi)之间的大气透过率;
其中,为第i个背景面片单元(xi,yi,zi)在波长为λ时来自方向天空背景采样光与观测方向为方向条件下的双向反射函数模型,单位为sr-1;为t时间第i个背景面片单元(xi,yi,zi)自方向的天空背景采样光对其的可见系数;为t时间来自方向的波长为λ的天空背景采样光到达第i个背景面片单元(xi,yi,zi)的入射辐亮度;
根据场景内目标面片单元(x,y,z)的在某一时段某一波长下的入射辐照度,对场景内所有面片单元进行入射辐照度计算,得到用能量、位置、方向、波长和时间综合表征的三维场景入射辐照度场。
5.根据权利要求4所述的用于无人光电设备的实时成像仿真系统,其特征在于,所述嵌入式成像仿真装置包括:外部接口单元、零视距出射辐射场计算单元、入瞳前辐射场计算单元和相机成像效应仿真单元;
所述外部接口单元,用于接收管控模块发出的控制指令和数据,利用GPIO接口获取无人光电设备的位置姿态信息;
所述零气象视距出射辐射场计算单元,用于读取到达目标场景的入射辐照度场,综合目标场景的观测视角和光谱特性,计算零气象视距出射辐亮度场;
所述入瞳前出射辐射场计算单元,用于通过仿真观测条件查询获取指定波段的上行大气透过率、上行程辐射这些按纹理格式组织的大气参数数据,并对目标场景的零气象视距辐射场数据叠加上行大气传输效应,计算入瞳前出射辐射场数据;
所述相机成像效应仿真单元,用于获取在当前观测条件下的目标场景上行辐射数据,通过外部平台与相机位置姿态参数生成多谱段、多方位、典型天时和能见度条件下的仿真图像数据。
7.根据权利要求6所述的用于无人光电设备的实时成像仿真系统,其特征在于,所述入瞳前辐射场计算单元的具体实现过程为:
目标到达传感器的上行辐亮度值,即传感器入瞳前辐亮度值为:
其中,为t时间目标面片单元(x,y,z)在波长为λ条件下的上行出射辐亮度,其中,为位于(xu,yu,zu)处传感器相对于目标面片单元(x,y,z)的观测天顶角和方位角;τu(xu,yu,zu,θr,φr,t,λ)为t时间沿目标表面观测方向到达传感器位置(xu,yu,zu)处上行大气透过率;Lp(xu,yu,zu,θr,φr,t,λ)为t时间沿目标表面观测方向到达传感器(xu,yu,zu)位置的上行程辐射;
综合场景内所有面片单元的典型出射方向、典型波段、典型时间的上行出射辐亮度计算结果,得到传感器入瞳前的场景出射辐射场。
8.根据权利要求7所述的用于无人光电设备的实时成像仿真系统,其特征在于,所述相机成像效应仿真单元的具体实现过程为:综合考虑光学系统效应、探测器效应、信号电路效应、噪声效应以及平台的振动效应,分别建立各种效应的调制传递函数模型,并叠加至传感器入瞳前的辐亮度数据,生成相机效应的仿真图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911309366.6A CN111047686A (zh) | 2019-12-18 | 2019-12-18 | 一种用于无人光电设备的实时成像仿真系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911309366.6A CN111047686A (zh) | 2019-12-18 | 2019-12-18 | 一种用于无人光电设备的实时成像仿真系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111047686A true CN111047686A (zh) | 2020-04-21 |
Family
ID=70237602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911309366.6A Pending CN111047686A (zh) | 2019-12-18 | 2019-12-18 | 一种用于无人光电设备的实时成像仿真系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111047686A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509116A (zh) * | 2020-11-26 | 2021-03-16 | 上海卫星工程研究所 | 全色相机对空间目标的模拟在轨成像方法和系统 |
CN113777605A (zh) * | 2021-09-10 | 2021-12-10 | 哈尔滨工业大学 | 一种被动毫米波三维成像系统及其成像方法 |
CN114877945A (zh) * | 2022-05-31 | 2022-08-09 | 上海握蓝物联科技(集团)有限公司 | 天空地一体化高光谱多维多参数生态监测系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000019379A1 (en) * | 1998-09-29 | 2000-04-06 | University College London | Energy propagation modelling apparatus |
CN101598797A (zh) * | 2009-07-16 | 2009-12-09 | 北京航空航天大学 | 一种实现起伏地形遥感场景模拟的方法 |
CN102968521A (zh) * | 2012-10-25 | 2013-03-13 | 西安电子科技大学 | 基于gpu编程的红外反射特性仿真方法 |
CN103913148A (zh) * | 2014-03-26 | 2014-07-09 | 中国科学院长春光学精密机械与物理研究所 | 航天tdiccd相机全链路数值仿真方法 |
CN104573251A (zh) * | 2015-01-16 | 2015-04-29 | 航天东方红卫星有限公司 | 一种星载光学遥感器全视场表观光谱辐亮度确定方法 |
CN104880701A (zh) * | 2014-09-23 | 2015-09-02 | 航天恒星科技有限公司 | 一种星载传感器成像仿真方法及装置 |
CN105808874A (zh) * | 2016-03-18 | 2016-07-27 | 中国科学院国家空间科学中心 | 一种大气顶层微波传输模型函数的建立方法及装置 |
CN106570253A (zh) * | 2016-10-26 | 2017-04-19 | 中国运载火箭技术研究院 | 一种实时天基红外视景仿真方法 |
CN107092752A (zh) * | 2017-04-24 | 2017-08-25 | 北京理工大学 | 一种基于光线追迹的光学相机仿真成像方法和系统 |
CN108121049A (zh) * | 2017-12-19 | 2018-06-05 | 北京空间机电研究所 | 一种多谱段多通道遥感相机镜头的装调测试方法 |
CN109520969A (zh) * | 2018-10-26 | 2019-03-26 | 中国科学院国家空间科学中心 | 一种基于大气介质自调制的分布式散射成像方法 |
-
2019
- 2019-12-18 CN CN201911309366.6A patent/CN111047686A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000019379A1 (en) * | 1998-09-29 | 2000-04-06 | University College London | Energy propagation modelling apparatus |
CN101598797A (zh) * | 2009-07-16 | 2009-12-09 | 北京航空航天大学 | 一种实现起伏地形遥感场景模拟的方法 |
CN102968521A (zh) * | 2012-10-25 | 2013-03-13 | 西安电子科技大学 | 基于gpu编程的红外反射特性仿真方法 |
CN103913148A (zh) * | 2014-03-26 | 2014-07-09 | 中国科学院长春光学精密机械与物理研究所 | 航天tdiccd相机全链路数值仿真方法 |
CN104880701A (zh) * | 2014-09-23 | 2015-09-02 | 航天恒星科技有限公司 | 一种星载传感器成像仿真方法及装置 |
CN104573251A (zh) * | 2015-01-16 | 2015-04-29 | 航天东方红卫星有限公司 | 一种星载光学遥感器全视场表观光谱辐亮度确定方法 |
CN105808874A (zh) * | 2016-03-18 | 2016-07-27 | 中国科学院国家空间科学中心 | 一种大气顶层微波传输模型函数的建立方法及装置 |
CN106570253A (zh) * | 2016-10-26 | 2017-04-19 | 中国运载火箭技术研究院 | 一种实时天基红外视景仿真方法 |
CN107092752A (zh) * | 2017-04-24 | 2017-08-25 | 北京理工大学 | 一种基于光线追迹的光学相机仿真成像方法和系统 |
CN108121049A (zh) * | 2017-12-19 | 2018-06-05 | 北京空间机电研究所 | 一种多谱段多通道遥感相机镜头的装调测试方法 |
CN109520969A (zh) * | 2018-10-26 | 2019-03-26 | 中国科学院国家空间科学中心 | 一种基于大气介质自调制的分布式散射成像方法 |
Non-Patent Citations (1)
Title |
---|
马晓珊等: "基于光场理论的场景仿真" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509116A (zh) * | 2020-11-26 | 2021-03-16 | 上海卫星工程研究所 | 全色相机对空间目标的模拟在轨成像方法和系统 |
CN113777605A (zh) * | 2021-09-10 | 2021-12-10 | 哈尔滨工业大学 | 一种被动毫米波三维成像系统及其成像方法 |
CN114877945A (zh) * | 2022-05-31 | 2022-08-09 | 上海握蓝物联科技(集团)有限公司 | 天空地一体化高光谱多维多参数生态监测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11029211B2 (en) | Unmanned aerial system based thermal imaging systems and methods | |
CN111047686A (zh) | 一种用于无人光电设备的实时成像仿真系统 | |
Meier et al. | Atmospheric correction of thermal-infrared imagery of the 3-D urban environment acquired in oblique viewing geometry | |
CN111563962A (zh) | 一种基于几何辐射一体化采样的遥感图像仿真方法 | |
Willers et al. | Signature modelling and radiometric rendering equations in infrared scene simulation systems | |
Moorhead et al. | CAMEO-SIM: a physics-based broadband scene simulation tool for assessment of camouflage, concealment, and deception methodologies | |
CN113902663A (zh) | 一种自动适应天气的空中小目标动态红外仿真方法及装置 | |
CN114495416A (zh) | 基于无人机的火情监测方法、装置及终端设备 | |
Mamaghani et al. | An initial exploration of vicarious and in-scene calibration techniques for small unmanned aircraft systems | |
US20080284848A1 (en) | Security surveillance planning tool kit | |
Gerhart et al. | Thermal image modeling | |
Erives-Contreras et al. | Preliminary study of the characterization of a geosynchronous satellite with glint season observations from a small aperture telescope and synthetic imagery | |
de Jong | IRST and its perspective | |
Sheffer et al. | Computer generated IR imagery: a first principles modeling approach | |
Cavanaugh et al. | Cell tower contrast in the visible, short-wave infrared, and long-wave infrared bands | |
Gilmore et al. | CAMEO-SIM: a broadband scene generation system that is fit for purpose | |
Liu et al. | An Approach of Star Image Simulation in the Complex Background of Near Space | |
Habib et al. | Quality Assurance and Quality Control of Remote Sensing Systems | |
Sun et al. | Research on a target discovery simulation method | |
Dahlberg | All-sky polarization imager deployment at Mauna Loa Observatory, Hawaii | |
Kraska | DIRSIG: digital imaging and remote sensing image generation model: infrared airborne validation & input parameter analysis | |
Schwartz et al. | Stray radiation in airborne FLIR system | |
CN109241554A (zh) | 一种临边全波段超光谱图像仿真方法 | |
O'Toole | Real-time infrared scene simulator (RISS) | |
Makar et al. | Real-time IR/EO scene generation utilizing an optimized scene rendering subsystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |