CN113902663A - 一种自动适应天气的空中小目标动态红外仿真方法及装置 - Google Patents

一种自动适应天气的空中小目标动态红外仿真方法及装置 Download PDF

Info

Publication number
CN113902663A
CN113902663A CN202111180744.2A CN202111180744A CN113902663A CN 113902663 A CN113902663 A CN 113902663A CN 202111180744 A CN202111180744 A CN 202111180744A CN 113902663 A CN113902663 A CN 113902663A
Authority
CN
China
Prior art keywords
target
infrared
simulation
image
weather
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111180744.2A
Other languages
English (en)
Inventor
杨珺
王家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111180744.2A priority Critical patent/CN113902663A/zh
Publication of CN113902663A publication Critical patent/CN113902663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种自动适应天气的空中小目标动态红外仿真方法及装置，每一帧图像的仿真方法具体包括以下步骤：根据飞行目标的实际尺度和其与红外传感器的距离，确定其在仿真图像中的尺度；根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布；结合飞行目标在仿真图像中的位置尺度和灰度分布生成目标图像块；根据红外传感器的位置信息、姿态信息、仿真图像的尺度、以及背景图像在世界坐标系中的位置和尺度，生成背景图像块；根据飞行目标在仿真图像中的位置，融合目标图像块和背景图像块，生成仿真图像；本发明利用深度学习算法自动识别任意背景图像中的天气信息，获取大气传输透过率，提高空中小目标仿真自动化程度和仿真精度。

Description

一种自动适应天气的空中小目标动态红外仿真方法及装置
技术领域
本发明属于红外图像仿真与图像处理技术领域，尤其涉及一种自动适应天气的空中小目标动态红外仿真方法及装置。
背景技术
红外成像仿真在军事和民用领域都有很大的应用潜力，在目标探测与识别、传感器性能评估、军事训练等方面有着广泛的应用。远距离空中目标的检测和跟踪是飞行器导航、导弹制导和空中侦察的关键技术之一。然而，对红外系统进行机载测试不仅耗时，而且通常要花费很高的成本，在某些飞行场景下甚至无法进行。
空中目标红外成像仿真是一种有效的解决方案。仿真系统可以用非常低的成本高效率地测试各种不同的场景，例如可以测试不同天空背景、不同天气条件下多架飞行器之间的动态相遇情况。
常规的红外仿真方法通常仅侧重于对目标的仿真模拟，需根据仿真场景手动设置天气条件，且较少考虑目标相对于传感器运动等动态条件，导致在空中小目标仿真中难以涵盖复杂的天空背景、气象条件，及动态飞行场景，限制了仿真方法的自动化程度和仿真精度。
发明内容
本发明的目的是提供一种自动适应天气的空中小目标动态红外仿真方法及装置，提高空中小目标仿真自动化程度和仿真精度。
本发明采用以下技术方案：一种自动适应天气的空中小目标动态红外仿真方法，每一帧图像的仿真方法具体包括以下步骤：
根据飞行目标的实际尺度和其与红外传感器的距离，确定其在仿真图像中的尺度；根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布；
结合飞行目标在仿真图像中的尺度和灰度分布生成目标图像块；
根据红外传感器的位置信息、姿态信息、仿真图像的尺度、以及背景图像在世界坐标系中的位置和尺度，生成背景图像块；
根据飞行目标在仿真图像中的位置，融合目标图像块和背景图像块，生成仿真图像。
进一步地，红外辐射亮度的计算方法为：
计算空中目标的蒙皮红外辐射亮度；
计算空中目标的反射太阳光红外辐射亮度；
求和蒙皮红外辐射亮度和反射太阳光红外辐射亮度，得到红外辐射亮度。
进一步地，蒙皮红外辐射亮度和反射太阳光红外辐射亮度的计算方法为：
蒙皮红外辐射亮度使用驻点温度法计算；
反射太阳光红外辐射亮度使用Cook-Torrance光照模型计算。
进一步地，根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布包括：
将红外辐射亮度值转换为最大灰度值；
将最大灰度值作为灰度分布模型的峰值，求解飞行目标的每个像素的灰度值。
进一步地，红外辐射亮度值转换为最大灰度值的具体方法为：识别背景图像的气象信息；
根据气象信息计算对应的大气传输透过率；
根据所述大气传输透过率计算所述红外辐射亮度值对应的最大灰度值。
进一步地，识别背景图像的气象信息具体方法为：
将背景图像作为输入信息，采用基于深度学习的天气分类模型识别背景图像中的气象信息。
进一步地，根据气象信息计算对应的大气传输透过率包括：
构建多项式函数；
根据气象信息获取多项式函数的系数；
以红外传感器与空中目标之间的距离为多项式函数的已知量计算得到大气传输透过率。
进一步地，灰度分布模型采用二维广义高斯函数模型，且在二维广义高斯函数模型的基础上引入旋转因子。
进一步地，飞行目标在仿真图像中的位置确定方法为：
根据飞行目标在世界坐标系中的位置，以及红外传感器在世界坐标系中的位置与姿态，计算飞行目标在仿真图像中的位置。
本发明的另一种技术方案：一种自动适应天气的空中小目标动态红外仿真装置，该仿真装置用于执行每一帧图像的仿真，具体包括：
第一确定模块，用于根据飞行目标的实际尺度和其与红外传感器的距离，确定其在仿真图像中的尺度；还用于根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布；
第一生成模块，用于结合飞行目标在仿真图像中的尺度和灰度分布生成目标图像块；
第二生成模块，用于根据红外传感器的位置信息、姿态信息、仿真图像的尺度、以及背景图像在世界坐标系中的位置和尺度，生成背景图像块；
融合模块，用于根据飞行目标在仿真图像中的位置，融合目标图像块和背景图像块，生成仿真图像。
本发明的另一种技术方案：一种自动适应天气的空中小目标动态红外仿真装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种自动适应天气的空中小目标动态红外仿真装置。
本发明的有益效果是：本发明通过获取背景图像中的气象信息获得大气透过率，基于该大气透过率的基础上计算飞行目标的灰度分布，生成目标图像块，再将该目标图像块与红外传感器获取的背景图像块进行结合，得到仿真图像；有效地利用背景图像中的气象信息得到了更加准确的目标图像块，提高空中小目标仿真自动化程度和仿真精度。
附图说明
图1为本发明实施例中每一帧图像的仿真方法的流程图；
图2为本发明实施例中使用的深度学习自动分类的技术框架结构图；
图3为本发明实施例中背景图像在世界坐标系中的位置示意图；
图4为本发明实施例中对背景图像进行可见性分析示意图；
图5为本发明实施例中使用的泊松融合模型示意图；
图6为使用广义高斯模型生成的两种不同形状的目标示意图；
图7为本发明实施例中一系列动态背景仿真图；
图8为本发明实施例中使用晴空背景得到的仿真序列图；
图9为发明实施例中使用多云天空背景得到的仿真序列图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
在本发明中，涉及红外小目标仿真、实测背景图像天气识别、红外传感器建模以及小目标与实测背景的融合，实现了一种基于实测天空背景的空中小目标动态红外仿真方法。
具体的，本发明公开了一种自动适应天气的空中小目标动态红外仿真方法，如图1所示，每一帧图像的仿真方法具体包括以下步骤：根据飞行目标的实际尺度和其与红外传感器的距离，确定其在仿真图像中的尺度；根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布；结合飞行目标在仿真图像中的尺度和灰度分布生成目标图像块；根据红外传感器的位置信息、姿态信息、仿真图像的尺度以及背景图像在世界坐标系中的位置和尺度，生成背景图像块；根据飞行目标在仿真图像中的位置，融合目标图像块和背景图像块，生成仿真图像。
本发明通过获取背景图像中的气象信息获得大气透过率，基于该大气透过率的基础上计算飞行目标的灰度分布，生成目标图像块，再将该目标图像块与红外传感器获取的背景图像块进行结合，得到仿真图像；有效地利用背景图像中的气象信息得到了更加准确地目标图像块，提高空中小目标仿真自动化程度和仿真精度。
在本实施例中，飞行目标在仿真图像中的位置确定方法为：根据飞行目标在世界坐标系中的位置，以及红外传感器在世界坐标系中的位置与姿态，计算飞行目标在仿真图像中的位置。
在一个实施例中，红外辐射亮度的计算方法为：计算空中目标的蒙皮红外辐射亮度；计算空中目标的反射太阳光红外辐射亮度；求和蒙皮红外辐射亮度和反射太阳光红外辐射亮度，得到红外辐射亮度。
具体的，空中目标的蒙皮红外辐射源于气动加热。由于目标在高空中的高速飞行使得其表面与空气产生高速摩擦，导致蒙皮的表面温度急剧升高，从而向外界产生红外辐射。这种由于气动加热所产生的红外辐射是飞行器自发红外辐射的重要组成部分。蒙皮产生的红外辐射与其表面的温度分布和表面材质发射率有关。
目前计算蒙皮温度分布比较常用的有驻点温度法、热平衡方程法和CFD流场法。驻点温度法虽然不够精确，但是可以直观的表示目标飞行高度、飞行马赫数和温度的关系。对于长时间飞行的巡航飞机等速度足以产生空气动力加热的飞行器，使用驻点温度代替目标表面温度是有效的，而且现在的目标所使用的材料多考虑隔热性的特性增加了驻点温度表示蒙皮表面温度的精确性。
具体的，驻点温度计算可以通过以下公式：
Figure BDA0003297043270000061
其中，Ts为蒙皮表面温度，T∞为大气温度，γ取0.87，k取1.3，Ma为飞行马赫数。
高空中大气的温度以T0为基准，随着海拔的变化呈现一定趋势变化。在对流层(0～11km)，平流层(11～32km)，呈现的变化如下：
Figure BDA0003297043270000062
其中，T0为海平面平均温度，取值为288K，H为增加高度。
根据普朗克公式可以计算某一波段内，空中目标的蒙皮红外辐亮度：
Figure BDA0003297043270000063
其中，ε蒙皮的表面发射率，与蒙皮的材质和温度有关，无量纲；h为普朗克常量，c为光速，λ1为仿真波长下限，λ2为仿真波长上限，λ为红外辐射的波长，k为玻尔兹曼常数，d为微分符号。
关于目标的太阳光红外辐射亮度，本发明采用Cook-Torrance模型计算飞机蒙皮的漫反射与镜面反射部分。Cook-Torrance光照模型的BEDF系数fγ为：
Figure BDA0003297043270000071
其中，kd和ks分别为物体表面的漫反射和镜面反射系数,且满足kd+ks＝1，n是蒙皮表面的法线向量，v是观察方向向量，l是入射光的方向向量。
F是菲涅尔反射系数，取决于物体表面的材质属性：
F＝f0+(1-f0)(1-(v-o))5，
其中，f0为物体表面的基本反射率；o为入射方向向量和观察方向向量形成的半角向量。本发明在计算反射辐射时，将空中红外小目标简化为以o为法线的面元。
D为物体表面微平面的法线分布函数，微平面的法线方向越一致，微平面越光滑。D确定了物体表面的高光反射强度，通常为高斯分布：
Figure BDA0003297043270000072
式中，m为物体表面材质的粗糙度系数，α为表面法向量n和半角向量o的夹角，cosα＝o·n。
G为几何衰减因子，由于微平面分布的杂乱性，使得光线在微平面之间传播时存在遮挡，使得光线无法传播出去，从而造成反射分量的衰减：
Figure BDA0003297043270000073
根据自然光源在目标表面产生的辐照度和和BRDF的数学定义，可以计算获得目标在特定方向上的反射辐射亮度：
Figure BDA0003297043270000081
式中，fγ为物体表面的BRDF系数，单位为1sr-1，El为太阳光的光谱辐照度，单位为w/(cm2·μm)。
进而，总的红外辐射亮度为Lsum＝Lself+Lre。
将红外辐射亮度值作为灰度分布模型的峰值(即先将红外辐射亮度值转换为最大灰度值，再将该最大灰度值作为峰值)，求解飞行目标的每个像素的灰度值。
红外辐射亮度值对应的最大灰度值的计算方法为：识别背景图像的气象信息；根据气象信息计算对应的大气传输透过率；根据大气传输透过率计算所外辐射亮度值对应的最大灰度值。
具体的，识别背景图像的气象信息具体方法为：将背景图像作为输入信息，采用基于深度学习的天气分类模型识别背景图像中的气象信息。
在得到一幅背景图像后，需要判断出背景图片中的天气条件，从而进一步得到光学模型中的重要参数——大气传输透过率。本实施例中将多天气的自动分类转化为深度学习和计算机视觉问题，其核心是识别天气图像的特征并准确分类。基于深度学习天气自动分类的技术框架结构如图2所示，其技术路线为：(1)采集并建立包括非常晴朗、晴朗、轻雾、厚雾、轻霾、重霾、小雨、大雨8种天气现象，面向天空背景的数据集；(2)将天气数据集划分为训练样本集、验证样本集和测试样本集，对训练集进行数据增强，提升泛化性，部分样本集用于后续模型的训练、调整和性能评估；(3)使用在ImageNet数据集上训练好参数的DenseNet卷积神经网络作为预训练模型，模型包括卷积层、池化层、全连接层和分类层，使用训练样本集和验证样本集对预训练模型进行参数调整，以反向传播方式对深度模型从全连接层向前更新网络参数，不断迭代与训练以挖掘天气的内在特征与规律，形成适用于天气数据的模型结构。
在得到气象信息后，构建多项式函数；根据气象信息获取多项式函数的系数。
具体的，使用Lowtran或Modtran软件仿真得到我国不同地区、不同气象条件下不同距离的大气传输透过率，然后将得到的数据进行多项式拟合。将不同地区、不同气象条件下对应的拟合系数做成表格，在已知实测背景图像的地区，以及背景图像的气象信息后，通过查表的方式获得相应的拟合系数。对于多项式函数，其系数已知，则表示该函数已知，只需要代入已知量则可以计算出待求的未知量；以红外传感器与空中目标之间的距离为多项式函数的已知量计算得到大气传输透过率。
为了得到大气的透过率τ，通常直接使用Lowtran或Modtran等软件进行计算，无法将大气透过率的计算集成到仿真系统中。本发明在已知实测背景图像的地区，以及背景图像的气象信息后通过查表的方式，获得相应的大气透过率拟合函数，进而实现了自动识别室外图像的气象条件，并且得到相应的大气透过率拟合函数。
得到大气透过率拟合函数后，将红外辐射亮度输入到红外传感器的光学模型中，进而得到传感器的输出电压(也即为响应电压)，再将该响应电压输入到电子学模型中，可以得到最大灰度值，即空中目标的所有像素中最大的灰度值。
具体的，红外传感器模型具体为：
Figure BDA0003297043270000091
式中，R为红外传感器与目标的距离，Ad为红外传感器光敏元的有效面积，f为光学系统的有效焦距，opptrrans为红外传感器的光学透过率，Dc为光学系统的口径，Rv为探测器的灵敏度，即探测器的响应率，τ为观测路径中大气的透过率。
光电转换后，得到了响应电压Vs，即传感器输出电压，再转换为对应的灰度值：
Figure BDA0003297043270000101
Figure BDA0003297043270000102
其中，Gmin～Gmax为对应的灰度量化范围，输出电压的上限为VH，下限为VL。
在本发明实施例中，灰度分布模型采用二维广义高斯函数模型。由于本实施例中主要研究空中小目标成像，成像的空中目标像素很少。为了简化目标的灰度分布，可以假设小目标的灰度分布为广义高斯分布。该广义高斯函数形式如下：
Figure BDA0003297043270000103
式中，(x0,y0)是二维广义高斯函数的中心，
Figure BDA0003297043270000104
和
Figure BDA0003297043270000105
分别是x方向(仿真图像的x轴方向)上的尺度控制参数和波形控制参数，
Figure BDA0003297043270000106
和
Figure BDA0003297043270000107
分别为y方向(仿真图像的y轴方向)上的尺度控制参数和波形控制参数。
当
Figure BDA0003297043270000108
且
Figure BDA0003297043270000109
二维广义高斯函数趋向于定义域为
Figure BDA00032970432700001010
的统一分布。可见，二维广义高斯模型不仅可以拟合传统高斯模型所能拟合的尖峰信号，也能拟合实际应用中常见的平顶信号。
传统二维高斯函数和二维广义高斯函数的信号朝向都固定为坐标轴方向，这与现实场景中角度多变的小目标是不一致的。为了更好表征红外小目标，需要在二维广义高斯函数的基础上引入旋转因子，对G(x,y)进行角度旋转操作：
Figure BDA0003297043270000111
式中，(x′,y′)是像素(x,y)经旋转之后的新坐标，(x0,y0)是角度旋转中心，本发明将旋转中心设为与二维广义高斯函数中心相同的位置，ρα是旋转角度，ρα＞0时为逆时针方向。
另外，本发明中主要研究的是空中小目标的红外仿真，在这种情况下，飞行目标可以简化为椭球体。在仿真过程中，椭球体由三维世界坐标投影到三维相机坐标，再利用相机透视模型投影到二维图像坐标系，从而计算出目标图像块的尺度。
在给定的仿真场景下，通过建立飞行器和红外传感器的运动学模型，能够使系统的应用更加灵活。例如，可以设置两架有潜在碰撞风险的无人机轨迹来测试无人机的感知和规避。
一些仿真系统简单地使用静态背景进行红外成像仿真。而在机载平台中，由于飞行器的运动和抖动以及红外传感器视角的不同，使用动态背景进行仿真会更真实。
本发明通过在世界坐标系中设置背景图像的位置和尺度，然后利用相机的透视模型进行可见性分析，得到了相机观察到的背景图像。通过设置相机为抖动模式可以得到动态背景图像。
在本发明实施例中，在对背景图像进行初始化时，如图3所示为背景图像在世界坐标系中的位置。将背景图像中的像素点P作为定位图像的锚点。通过设置P点在世界坐标系中的位置对背景图像进行定位，然后设置背景图像的尺度，从而完成背景图像的初始化。
如图4所示，本发明采用光线投射算法对背景图像进行可见性分析。若从相机位置发射的光线经过相机屏幕像素位置与背景图像相交，则将相交点的像素值赋给对应的摄像机屏幕点，若不相交，则相应的屏幕点将被赋值为0。通过更新相机屏幕上每个像素的值，最终可以得到背景在相机屏幕成的像。
另外，传感器噪声是不可避免的，许多传感器噪声都可以用泊松噪声来表示，如光电转换噪声、信号电路噪声和过渡噪声。热噪声和温度噪声通常可以表示为高斯噪声。因此，为了得到更为真实的仿真结果，可以人工添加一定的泊松噪声和高斯噪声。
关于目标图像块和背景图像块的融合过程中，有多种融合方法，如加权平均融合、最大值融合和最小值融合是图像融合中常用的方法。然而，这些方法都是基于孤立像素的融合，不能实现图像重叠区域边界的平滑过渡。基于图像梯度场的融合可以实现融合边缘的平滑过渡，泊松融合技术就是典型的利用图像梯度场信息进行融合的方法，本发明将采用泊松融合技术进行融合。
关于泊松融合方法，如图5所示，在泊松融合模型中，u为被融合部分，V为u的梯度场，S为融合后的图像。Ω区域的梯度场与V相同，
Figure BDA0003297043270000121
是Ω的边界，边界像素值与背景像素值相同。Ω区域内的像素值用f表示，Ω区域之外的像素值用f*表示。
如果想要保留被融合图像的纹理信息，且边缘没有明显的处理痕迹，实现平滑过渡，可以把优化问题表示为下式：
Figure BDA0003297043270000122
为了使合并后图像中的Ω区域尽可能接近u，利用u的梯度场V作为求解式的引导场。融合后的图像在Ω内的梯度与原梯度V越接近，就表示原始信息保持得越好。可以利用欧拉-拉格朗日方程，得到下式：
Figure BDA0003297043270000131
拉普拉斯算子的离散算式为：
Δu(i,j)＝u(i+1,j)+u(i-1,j)+u(i,j+1)+u(i,j-1)-4u(i,j)，
Δu(i,j)表示点(i,j)的拉普拉斯算子。则原泊松方程变成如下形式：
f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)＝Δu(i,j)，
于是得出：
Figure BDA0003297043270000132
通过求解泊松方程组可以得到Ω区域的最优像素值。
在本发明中对空中目标进行了模拟，通过设置广义高斯模型的参数以及旋转角度，可以得到不同灰度分布的目标图像，保证了目标形态的多样性。如图6所示是使用广义高斯模型生成的两种不同形状的目标图像。图6(a)中的模型参数具体为
Figure BDA0003297043270000133
ρα＝0。图6(b)中的模型参数具体为
Figure BDA0003297043270000134
Figure BDA0003297043270000135
关于动态背景仿真，选择任意一张天空背景的红外图像后，设置背景图像的大小和位置。然后设置相机的位置和姿态，通过可见性分析，可以得到相应的相机屏幕的成像。如果将相机设置为抖动模式，可以得到相机抖动条件下的背景。如图7所示为一系列动态背景仿真图像，该图为相机设置为抖动模式时产生的动态背景图像，相机位于[0，0，8]，抖动幅度为0.3°，背景图像中P点坐标为[0，30，6]，背景图像的宽度和高度分别为4km和4km。
通过设置飞行器与相机的运动方程以及相机的状态，可以得到天空背景下动态小目标的红外仿真序列。如图8所示是使用晴空背景进行仿真的序列。注意，圆圈中的区域是红外视频序列中的真实目标。可以看出，仿真的目标与真实目标的形态非常接近。如图9所示是使用多云天空背景进行仿真的序列。对于这两种仿真，假设目标的运动学模型为:X(t)＝0.34t+0.5×0.01t2，Y(t)＝0.34t+4，Z(t)＝0.01t+8，所有距离的单位均为km。t表示时间，单位是s。
本发明主要针对空中红外小目标仿真，在成像平面上等价于一个点源目标。所以可以认为，红外小目标在成像上近似于高斯分布。为了生成不同形态的目标，提高目标形态的多样性，本发明提出了使用二维广义高斯分布作为目标的灰度分布模型，同时引入了旋转因子。通过设置广义高斯模型的不同参数与旋转角度，可以生成不同形态的目标。经过目标自发红外辐射模型、反射模型、大气传输透过率、红外传感器的灰度映射可以得到目标的最大灰度值，从而可以生成红外小目标图像块。
在红外探测器性能模型构建、红外场景生成等过程中，大气透过率的计算是一个不可或缺的环节。一般情况下，人们大多是使用大气传输软件来计算大气透过率的。常用的软件有LOWTRAN(低分辨率传输)、MODTRAN(中分辨率传输)。本发明涉及了特有的透过率计算方法，可以增加仿真的自动化程度。
本发明建立了世界坐标系、相机坐标系，并对红外传感器进行运动建模。通过初始化背景图像的位置与尺度，经过红外传感器的透视模型进行可见性分析，可以得到可视的背景图像。通过设置红外传感器的姿态，可以得到抖动情况下的动态背景图像，这样可以使仿真数据更接近真实的情况。
本发明将生成的红外小目标与得到的可视背景图进行泊松融合，可以生成天空背景下空中红外小目标的仿真图像，融合后的图像过渡自然。通过配置各个模型的参数，可以很容易的得到不同条件下的红外仿真数据。在给定的仿真场景下，通过建立飞行器和红外传感器的运动学模型，能够使系统的应用更加灵活。例如，可以设置两架有潜在碰撞风险的无人机轨迹来测试无人机的感知和规避，这也是本发明的优势所在。
本发明主要针对空中小目标的仿真(根据国际光学工程学会(The InternationalSociety for Optics and Photonics，SPIE)界定，在一幅尺寸为256×256的红外图像中像素占比在0.12％之内的目标即是小目标，其像素总数一般不超过80个像素)即远距离红外目标的仿真，在求目标的温度分布时，将目标简化为一个面元，并使用驻点温度法计算目标表面的蒙皮温度。这样可以在充分考虑到目标飞行高度、速度对其温度影响的同时，大大减少了计算量。在计算目标的反射分量时，也将目标简化为一个面元处理。将面元的法线方向定义为由入射光方向与观察方向形成的半角向量，由该方向面元得到的反射光分量最大。将反射分量与自发辐射能量相加，经过大气衰减、红外传感器的灰度映射，可以得到目标灰度分布的最大值。在目标的灰度分布方面，使用了广义高斯分布函数，并且引入了旋转因子。通过配置广义高斯的模型参数，设置旋转的角度，并结合上述过程得到目标最大灰度值可以生成不同形态的目标图块。在计算大气传输透过率时，自动识别室外图像的天气情况，并得到相应的大气传输透过率拟合函数，提高了仿真系统的自动化程度。
本方案建立了世界坐标系、相机坐标系，并对红外传感器进行运动建模。通过初始化背景图像的位置与尺度，并使用光线投射算法进行可见性分析，可以得到可视的背景图像。通过设置红外传感器的姿态，可以得到抖动情况下的动态背景图像。
本发明将生成的红外小弱目标与得到的可视背景图进行泊松融合，可以生成天空背景下空中红外小目标的仿真图像，融合后的图像过渡自然。通过设置目标的运动方程并将红外传感器姿态设置为抖动状态，可以得到基于机载平台的动态红外小目标仿真序列。通过配置各个模型的参数，可以很容易的得到不同条件下的红外仿真数据。在给定的仿真场景下，通过建立飞行器和红外传感器的运动学模型，能够使系统的应用更加灵活。例如，可以设置两架有潜在碰撞风险的无人机轨迹来测试无人机的感知和规避，这也是本发明的优势所在。
本发明还公开了一种自动适应天气的空中小目标动态红外仿真装置，该仿真装置用于执行每一帧图像的仿真，具体包括：第一确定模块用于根据飞行目标的实际尺度和其与红外传感器的距离，确定其在仿真图像中的尺度；还用于根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布；第一生成模块，用于结合飞行目标在仿真图像中的尺度和灰度分布生成目标图像块；第二生成模块，用于根据红外传感器的位置信息、姿态信息、仿真图像的尺度、以及背景图像在世界坐标系中的位置和尺度，生成背景图像块；融合模块，用于根据飞行目标在仿真图像中的位置，融合目标图像块和背景图像块，生成仿真图像。
需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明还公开了一种自动适应天气的空中小目标动态红外仿真装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种自动适应天气的空中小目标动态红外仿真装置。
所述装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于，处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，每一帧图像的仿真方法具体包括以下步骤：
根据飞行目标的实际尺度和其与红外传感器的距离，确定其在所述仿真图像中的尺度；根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布；
结合所述飞行目标在仿真图像中的尺度和灰度分布生成目标图像块；
根据红外传感器的位置信息、姿态信息、仿真图像的尺度、以及背景图像在世界坐标系中的位置和尺度，生成背景图像块；
根据所述飞行目标在仿真图像中的位置，融合所述目标图像块和背景图像块，生成仿真图像。
2.如权利要求1所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，所述红外辐射亮度的计算方法为：
计算所述空中目标的蒙皮红外辐射亮度；
计算所述空中目标的反射太阳光红外辐射亮度；
求和所述蒙皮红外辐射亮度和反射太阳光红外辐射亮度，得到所述红外辐射亮度。
3.如权利要求2所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，所述蒙皮红外辐射亮度和反射太阳光红外辐射亮度的计算方法为：
蒙皮红外辐射亮度使用驻点温度法计算；
反射太阳光红外辐射亮度使用Cook-Torrance光照模型计算。
4.如权利要求3所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，根据飞行目标的红外辐射亮度和灰度分布模型生成目标的灰度分布包括：
将所述红外辐射亮度值转换为最大灰度值；
将所述最大灰度值作为所述灰度分布模型的峰值，求解所述飞行目标的每个像素的灰度值。
5.如权利要求4所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，所述红外辐射亮度值转换为最大灰度值具体方法为：
识别所述背景图像的气象信息；
根据所述气象信息计算对应的大气传输透过率；
根据所述大气传输透过率计算所述红外辐射亮度值对应的最大灰度值。
6.如权利要求5所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，识别所述背景图像的气象信息具体方法为：
将所述背景图像作为输入信息，采用基于深度学习的天气分类模型识别所述背景图像中的气象信息。
7.如权利要求6所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，根据所述气象信息计算对应的大气传输透过率包括：
构建多项式函数；
根据所述气象信息获取所述多项式函数的系数；
以红外传感器与所述空中目标之间的距离为所述多项式函数的已知量计算得到所述大气传输透过率。
8.如权利要求2-7任一所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，所述灰度分布模型采用二维广义高斯函数模型，且在所述二维广义高斯函数模型的基础上引入旋转因子。
9.如权利要求8所述的一种自动适应天气的空中小目标动态红外仿真方法，其特征在于，飞行目标在仿真图像中的位置确定方法为：
根据所述飞行目标在世界坐标系中的位置，以及红外传感器在世界坐标系中的位置与姿态，计算所述飞行目标在仿真图像中的位置。
10.一种自动适应天气的空中小目标动态红外仿真装置，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的一种自动适应天气的空中小目标动态红外仿真装置。
CN202111180744.2A 2021-10-11 2021-10-11 一种自动适应天气的空中小目标动态红外仿真方法及装置 Pending CN113902663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111180744.2A CN113902663A (zh) 2021-10-11 2021-10-11 一种自动适应天气的空中小目标动态红外仿真方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111180744.2A CN113902663A (zh) 2021-10-11 2021-10-11 一种自动适应天气的空中小目标动态红外仿真方法及装置

Publications (1)

Publication Number Publication Date
CN113902663A true CN113902663A (zh) 2022-01-07

Family

ID=79191206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111180744.2A Pending CN113902663A (zh) 2021-10-11 2021-10-11 一种自动适应天气的空中小目标动态红外仿真方法及装置

Country Status (1)

Country Link
CN (1) CN113902663A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898037A (zh) * 2022-04-24 2022-08-12 哈尔滨方聚科技发展有限公司 激光三维动态场景建模系统及建模方法
CN115859841A (zh) * 2023-02-28 2023-03-28 湖南光华防务科技集团有限公司 一种灭火弹挂飞温度仿真方法和系统
CN116721134A (zh) * 2023-08-10 2023-09-08 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪系统及其方法
CN117576362A (zh) * 2024-01-16 2024-02-20 国科大杭州高等研究院 一种基于遮挡比的低分辨率热红外影像飞机识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898037A (zh) * 2022-04-24 2022-08-12 哈尔滨方聚科技发展有限公司 激光三维动态场景建模系统及建模方法
CN114898037B (zh) * 2022-04-24 2023-03-10 哈尔滨方聚科技发展有限公司 激光三维动态场景建模系统及建模方法
CN115859841A (zh) * 2023-02-28 2023-03-28 湖南光华防务科技集团有限公司 一种灭火弹挂飞温度仿真方法和系统
CN116721134A (zh) * 2023-08-10 2023-09-08 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪系统及其方法
CN116721134B (zh) * 2023-08-10 2023-10-10 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种无特征目标的跟踪系统及其方法
CN117576362A (zh) * 2024-01-16 2024-02-20 国科大杭州高等研究院 一种基于遮挡比的低分辨率热红外影像飞机识别方法
CN117576362B (zh) * 2024-01-16 2024-05-24 国科大杭州高等研究院 一种基于遮挡比的低分辨率热红外影像飞机识别方法

Similar Documents

Publication Publication Date Title
JP7413321B2 (ja) 日常シーン復元エンジン
CN113902663A (zh) 一种自动适应天气的空中小目标动态红外仿真方法及装置
EP0620409A2 (en) Electro-optical target and background simulation
Willers et al. Signature modelling and radiometric rendering equations in infrared scene simulation systems
CN107301633B (zh) 在云雾干扰下遥感成像的仿真方法
Song et al. Deep sea robotic imaging simulator
CN111047686A (zh) 一种用于无人光电设备的实时成像仿真系统
Li et al. A real-time aircraft infrared imaging simulation platform
Gubarev et al. Using vision systems for determining the parameters of relative motion of spacecrafts
Wang et al. Research on method of high-precision 3D scene optical remote sensing imaging simulation
Kunz et al. Status and developments in EOSTAR, a model to predict IR sensor performance in the marine environment
Quero et al. 2D/3D single-pixel NIR image reconstruction method for outdoor applications in presence of rain
Willers et al. Aircraft vulnerability analysis by modeling and simulation
Eapen et al. Narpa: Navigation and rendering pipeline for astronautics
Stets et al. Synthetic IR scene generation
Wang et al. Dynamic infrared imaging simulation of small aerial target
Abakumova et al. Algorithmic simulation-modeling software complex for the investigation and development of optoelectronic observation systems
Swierkowski et al. Real-time scene and signature generation for ladar and imaging sensors
Haynes Using synthetic environments to assess multi-sensor system performance
James et al. Comparison of empirical and predicted ultraviolet aircraft signatures
Gilmore et al. CAMEO-SIM: a broadband scene generation system that is fit for purpose
Wang et al. (Retracted) Method of defogging unmanned aerial vehicle images based on intelligent manufacturing
Yu et al. Real-time simulation of airborne FLIR sensor
Lane Fuller Jr et al. Development of a versatile LiDAR point cloud simulation testbed for advanced RSO algorithms
Francis et al. Comparison of physically-and computer-generated imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination