CN110162812A - 基于红外仿真的目标样本生成方法 - Google Patents

Abstract

本发明提供了一种基于红外仿真的目标样本生成方法，该方法包括：一，对目标区场景进行建模，完成目标区场景的区域划分与材质赋值，生成目标区场景的材质图像；二，根据材质图像、目标区场景的模型以及目标区场景的高程数据构建出目标区场景的三维场景；三，设置目标区场景的外部环境条件，进行目标区场景的温度场计算、红外辐射计算及大气透过率计算以生成目标区场景的零视距下的红外仿真场景；四，在目标区场景的红外仿真场景的基础上，根据视点参数及成像器参数生成红外仿真目标样本。应用本发明的技术方案，以解决现有技术中异源匹配识别红外目标的可靠度低以及难以适应各种外部环境的技术问题。

Description

基于红外仿真的目标样本生成方法

技术领域

本发明涉及目标特性建模和目标识别技术领域，尤其涉及一种基于红外仿真的目标样本生成方法。

背景技术

目前，目标的红外特性复杂，其随时间、天候、位置等条件的变化明显，对一些特殊应用如军事领域来说，实现红外目标的识别非常困难。为了提高识别红外目标的能力，一般需要对大量红外目标进行训练学习，然而在多数情况下获取红外目标样本的手段有限，需要耗费相当大的人力、物力和财力。在已有研究中，有研究人员提出生成目标可见光样本数据的方法，通过将可见光目标数据与实际的红外目标数据进行异源图像处理实现目标的识别，然而由于红外目标特性的复杂多变，异源匹配识别可靠度较低，难以适应各种外部环境。

发明内容

本发明提供了一种基于红外仿真的目标样本生成方法，能够解决现有技术中异源匹配识别红外目标的可靠度低以及难以适应各种外部环境的技术问题。

本发明提供了一种基于红外仿真的目标样本生成方法，目标样本生成方法包括：步骤一，对目标区场景进行建模，基于目标区场景模型的卫星影像数据完成目标区场景的区域划分与材质赋值，并将区域划分与材质赋值后的目标区场景与原始目标区场景进行材质信息绑定以生成材质图像；步骤二，根据材质图像、目标区场景的模型以及目标区场景的高程数据构建出目标区场景的三维场景；步骤三，设置目标区场景的外部环境条件，在目标区场景的三维场景的基础上根据目标区场景的外部环境条件进行目标区场景的温度场计算、红外辐射计算及大气透过率计算以生成目标区场景的零视距下的红外仿真场景；步骤四，在目标区场景的红外仿真场景的基础上，根据视点参数及成像器参数生成红外仿真目标样本。

进一步地，目标样本生成方法还包括：步骤五，改变目标区场景的外部环境条件以及成像视点文件，重复步骤三和步骤四，生成不同外部条件下红外仿真目标样本。

进一步地，步骤三具体包括：(3.1)设置目标区场景的外部环境条件；(3.2)在目标区场景的三维场景的基础上，根据目标区场景的外部环境条件以能够保证在图形处理器GPU中计算出步骤一中的材质图像的每个片元的温度的前提下，减少材质图像的温度场迭代次数；(3.2)图形处理器GPU的着色器根据材质图像的每个片元的温度进行每个片元的红外辐射计算及大气透过率计算以生成目标区场景的零视距下的红外仿真场景。

进一步地，每个片元的红外辐射计算具体包括：通过计算不同材质红外波段内每个片元的自发辐射能量和全波段内每个片元的辐射能量比值，获取红外波段内每个片元的自发辐射能量占全波段内每个片元的辐射能量的百分比，根据百分比与全波段内每个片元的辐射能量的乘积以获取每个片元在红外波段内的自发辐射能量。

进一步地，每个片元的大气透过率计算具体包括：将大气效应计算模型E_total＝E₀×τ+E_path中的E_path设为0以获取优化后的大气效应计算模型，其中，E_total是探测器接收到的辐射总能量，E₀是场景中目标自发辐射能量，τ是大气透过率参数，E_path是大气路径辐射的能量；根据外部环境条件以及优化后的大气效应计算模型，获取不同环境下的大气透过率参数τ，外部环境条件输入参数包括天气、时间和经纬度。

进一步地，步骤四具体包括：(4.1)根据拍摄点与目标之间的位置关系，获取视点参数，视点参数包括拍摄点与目标之间的直线距离参数以及拍摄点与目标之间的角度参数；(4.2)模拟成像器的成像模型以获取成像器参数；(4.3)在目标区场景的红外仿真场景的基础上，根据视点参数及成像器参数生成红外仿真目标样本。

进一步地，获取视点参数具体包括：根据拍摄点距离目标的起始距离、拍摄点距离目标的终止距离以及距离间隔计算获取拍摄点与目标之间的直线距离参数；根据拍摄点与目标之间的起始角度、终止角度及角度间隔计算获取拍摄点与目标之间的角度参数。

进一步地，在步骤一中，目标区场景包括目标背景区域的正射影像图和目标的纹理图像。

进一步地，目标区场景的材质类型包括草地、土壤、混凝土、沥青、钢和树木。

进一步地，目标区场景的外部环境条件包括季节、天气和时段，季节包括春天、夏天、秋天和冬天，天气包括晴天、阴天和雨天，时段包括0小时至24小时。

应用本发明的技术方案，提供了一种基于红外仿真的目标样本生成方法，该方法能够快速仿真生成各种外部环境下的红外目标样本，参数少，自动化程度高，可广泛应用于各种需要红外目标样本的领域。此外，本发明的方法通过构建目标区场景的红外仿真场景，结合不同的视点参数及成像器参数能够生成多种外部环境下的红外目标样本，此种方法实现了同源数据的信息处理，有效提升了红外目标识别的准确度。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明的具体实施例提供的基于红外仿真的目标样本生成方法的流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

如图1所示，根据本发明的具体实施例提供了一种基于红外仿真的目标样本生成方法，该目标样本生成方法包括：步骤一，对目标区场景进行建模，基于目标区场景模型的卫星影像数据完成目标区场景的区域划分与材质赋值，并将区域划分与材质赋值后的目标区场景与原始目标区场景进行材质信息绑定以生成材质图像；步骤二，根据材质图像、目标区场景的模型以及目标区场景的高程数据构建出目标区场景的三维场景；步骤三，设置目标区场景的外部环境条件，在目标区场景的三维场景的基础上根据目标区场景的外部环境条件进行目标区场景的温度场计算、红外辐射计算及大气透过率计算以生成目标区场景的零视距下的红外仿真场景；步骤四，在目标区场景的红外仿真场景的基础上，根据视点参数及成像器参数生成红外仿真目标样本。

应用此种配置方式，提供了一种基于红外仿真的目标样本生成方法，该方法能够快速仿真生成各种外部环境下的红外目标样本，参数少，自动化程度高，可广泛应用于各种需要红外目标样本的领域。此外，本发明的方法通过构建目标区场景的红外仿真场景，结合不同的视点参数及成像器参数能够生成多种外部环境下的红外目标样本，此种方法实现了同源数据的信息处理，有效提升了红外目标识别的准确度。

进一步地，在本发明中，为了获取不同外部条件下红外仿真目标样本，可将目标样本生成方法配置为还包括：步骤五，改变目标区场景的外部环境条件以及成像视点文件，重复步骤三和步骤四，生成不同外部条件下红外仿真目标样本。应用此种配置方式，在目标区场景的零视距下的红外仿真场景的基础上，通过改变目标区场景的外部环境条件以及成像视点文件，能够快速生成不同外部环境条件下大量红外仿真目标样本。

作为本发明的一个具体实施例，目标区场景包括目标背景区域的正射影像图和目标的纹理图像。在步骤一中，首先对目标区场景进行建模，然后根据所提供的训练目标区场景模型的卫星影像数据(即训练目标背景区域的正射影像图和目标的纹理图像)，基于人机交互的方式完成目标背景区域的正射影像图和目标的纹理图像的区域划分与材质赋值，并将区域划分与材质赋值后的目标背景区域的正射影像图和目标的纹理图像与原始的目标背景区域的正射影像图和目标的纹理图像(即区域划分与材质赋值前的目标背景区域的正射影像图和目标的纹理图像)进行材质信息绑定以生成材质图像。具体地，在本发明中，目标区场景的材质类型包括草地、土壤、混凝土、沥青、钢和树木。在获取了目标背景区域的正射影像图和目标的纹理图像之后，基于photoshop等工具对目标的纹理图像及区域正射影像图进行人工的区域划分，并进一步对划分的区域进行材质赋值，以生成带有材质编号的材质图像。

进一步地，在步骤二中，作为本发明的一个具体实施例，在获取了目标区场景的材质图像之后，基于开源的三维地理信息系统平台(三维GIS平台，Geographic InformationSystem)，根据材质图像、目标区场景的模型以及目标区场景的高程数据构建出目标区场景的三维场景。作为本发明的一个具体实施例，可采用OpenSceneGraph(简称OSG)作为三维地理信息系统平台。

此外，在本发明中，为了获取目标区场景的零视距下的红外仿真场景，步骤三具体包括：(3.1)设置目标区场景的外部环境条件；(3.2)在目标区场景的三维场景的基础上，根据目标区场景的外部环境条件以能够保证在图形处理器GPU中计算出步骤一中的材质图像的每个片元的温度的前提下，减少材质图像的温度场迭代次数；(3.2)图形处理器GPU的着色器根据材质图像的每个片元的温度进行每个片元的红外辐射计算及大气透过率计算以生成目标区场景的零视距下的红外仿真场景。

具体地，在本发明中，目标区场景的外部环境条件包括季节、天气和时段，季节包括春天、夏天、秋天和冬天，天气包括晴天、阴天和雨天，时段包括0小时至24小时。在目标区场景的三维场景的基础上，根据目标区场景的季节、天气和时段，计算目标区场景的温度场、辐射量以及大气透过率等，生成目标区的零视距下的红外仿真场景。

进一步地，在本发明中，为了缩短计算红外辐射的时间，可将每个片元的红外辐射计算配置为具体包括：通过计算不同材质红外波段内每个片元的自发辐射能量和全波段内每个片元的辐射能量比值，获取红外波段内每个片元的自发辐射能量占全波段内每个片元的辐射能量的百分比，根据百分比与全波段内每个片元的辐射能量的乘积以获取每个片元在红外波段内的自发辐射能量。此种计算方式简单、方便，能够快速完成红外辐射计算。

此外，在本发明中，为了提高大气透过率的计算速度，可将每个片元的大气透过率计算配置为具体包括：将大气效应计算模型E_total＝E₀×τ+E_path中的E_path设为0以获取优化后的大气效应计算模型，其中，E_total是探测器接收到的辐射总能量，E₀是场景中目标自发辐射能量，τ是大气透过率参数，E_path是大气路径辐射的能量；根据外部环境条件以及优化后的大气效应计算模型，获取不同环境下的大气透过率参数τ，外部环境条件输入参数包括天气、时间和经纬度。

具体地，现有技术中一般大气效应计算采用公认的MODTRAN软件，但是该软件的计算很耗时，需要逐点计算大气透过率τ与大气路径辐射E_path，这将影响红外成像仿真的实时性效率。本发明中提出优化的大气效应计算方法，考虑大气路径辐射E_path对于大气效应计算时影响不大，因此将E_path忽略不计，设为0，由此，在进行大气透过率计算时，根据外部环境条件以及优化后的大气效应计算模型，能够快速获取不同环境下的大气透过率参数τ。

进一步地，在本发明中，为了获取红外仿真目标样本，可将步骤四配置为具体包括：(4.1)根据拍摄点与目标之间的位置关系，获取视点参数，视点参数包括拍摄点与目标之间的直线距离参数以及拍摄点与目标之间的角度参数；(4.2)模拟成像器的成像模型以获取成像器参数；(4.3)在目标区场景的红外仿真场景的基础上，根据视点参数及成像器参数生成红外仿真目标样本。

其中，获取视点参数具体包括：根据拍摄点距离目标的起始距离、拍摄点距离目标的终止距离以及距离间隔计算获取拍摄点与目标之间的直线距离参数；根据拍摄点与目标之间的起始角度、终止角度及角度间隔计算获取拍摄点与目标之间的角度参数。

作为本发明的一个具体实施例，向输入端口输入设定值，设置拍摄点距目标的起始距离、终止距离以及距离间隔，自动计算生成一系列距离值。设置拍摄点与目标点在地理坐标系下的俯仰角和航向角范围，包括起始角度、终止角度及角度间隔，自动计算生成一系列俯仰角和航向角的值；模拟相机成像模型，设置相机参数，相机参数包括视场角度大小和成像的图像大小。基于以上视点文件和相机参数，可自动批量生成目标的红外仿真样本。最后，重新设置外部环境条件以及成像视点文件，重复以上过程，可实现不同外部条件下大量红外仿真目标样本的快速生成。

为了对本发明有进一步地了解，下面结合图1对本发明的基于红外仿真的目标样本生成方法进行详细说明。

步骤一，对目标区场景进行建模，然后根据所提供的训练目标区场景模型的卫星影像数据，即目标的纹理图像以及目标所在背景区域2x2公里范围的高分辨率(1米左右)正射影像图，基于photoshop等工具对目标的纹理图像及区域正射影像图进行人工的区域划分，并进一步对划分的区域进行材质赋值，以生成带有材质编号的材质图像，将区域划分与材质赋值后的目标背景区域的正射影像图和目标的纹理图像与原始的目标背景区域的正射影像图和目标的纹理图像(即区域划分与材质赋值前的目标背景区域的正射影像图和目标的纹理图像)进行材质信息绑定以生成材质图像。具体地，在本实施例中，目标区场景的材质类型包括草地、土壤、混凝土、沥青、钢和树木。

步骤二，在获取了目标区场景的材质图像之后，基于开源的三维地理信息系统平台(三维GIS平台，Geographic Information System)，根据材质图像、目标区场景的模型以及目标区场景的高程数据构建出目标区场景的三维场景。

步骤三，输入外部环境条件，包括季节(春、夏、秋、冬)、天气(晴、阴、雨)、时段(0-24小时)等，在目标区场景的三维场景的基础上，根据目标区场景的季节、天气和时段，在目标区场景的三维场景的基础上，根据目标区场景的外部环境条件以能够保证在图形处理器GPU中计算出步骤一中的材质图像的每个片元的温度的前提下，减少材质图像的温度场迭代次数；图形处理器GPU的着色器根据材质图像的每个片元的温度进行每个片元的红外辐射计算及大气透过率计算以生成目标区场景的零视距下的红外仿真场景。

步骤四，向输入端口输入设定值，设置拍摄点距目标的起始距离、终止距离以及距离间隔，自动计算生成一系列距离值。设置拍摄点与目标点在地理坐标系下的俯仰角和航向角范围，包括起始角度、终止角度及角度间隔，自动计算生成一系列俯仰角和航向角的值；模拟相机成像模型，设置相机参数，相机参数包括视场角度大小和成像的图像大小。基于以上视点文件和相机参数，自动批量生成目标的红外仿真样本。具体地，视点文件含拍摄点与目标点的直线距离及角度参数，可通过设置起始值-间隔值-终止值自动生成序列的视点，如距离序列值5000-1000-1000，俯仰角序列值0-负30-负90，航向角序列值0-60-360，最后自动生成5x3x6共90个视点。成像器参数主要包括视场角度大小和成像图像大小，在本实施例中，视场角度可设为横向8°、纵向6°，成像的图像大小可设为400x300。

步骤五，改变目标区场景的外部环境条件以及成像视点文件，重复步骤三和步骤四，生成不同外部条件下红外仿真目标样本。

综上所述，本发明提供的基于红外仿真的目标样本生成方法相对于现有技术而言，该方法基于仿真的目标区红外场景，并结合三维成像方法能够快速生成各种外部环境下的红外目标仿真样本，为基于机器学习的目标检测与识别提供可靠的训练数据，有效支撑多领域识别红外目标的能力。此外，本发明的目标样本生成方法支持灵活的参数设置和修改、自动化程度高、目标仿真效果好，基于该方法生成的红外目标样本可广泛应用于基于机器学习的目标检测及识别技术中，为军事等典型应用领域实现目标侦察定位、精确打击提供技术支撑。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于红外仿真的目标样本生成方法，其特征在于，所述目标样本生成方法包括：

步骤一，对目标区场景进行建模，基于目标区场景模型的卫星影像数据完成目标区场景的区域划分与材质赋值，并将区域划分与材质赋值后的目标区场景与原始目标区场景进行材质信息绑定以生成材质图像；

步骤二，根据所述材质图像、所述目标区场景的模型以及目标区场景的高程数据构建出目标区场景的三维场景；

步骤三，设置所述目标区场景的外部环境条件，在所述目标区场景的三维场景的基础上根据所述目标区场景的外部环境条件进行所述目标区场景的温度场计算、红外辐射计算及大气透过率计算以生成所述目标区场景的零视距下的红外仿真场景；

步骤四，在所述目标区场景的红外仿真场景的基础上，根据视点参数及成像器参数生成红外仿真目标样本。

2.根据权利要求1所述的基于红外仿真的目标样本生成方法，其特征在于，所述目标样本生成方法还包括：

步骤五，改变所述目标区场景的外部环境条件以及成像视点文件，重复步骤三和步骤四，生成不同外部条件下红外仿真目标样本。

3.根据权利要求1或2所述的基于红外仿真的目标样本生成方法，其特征在于，所述步骤三具体包括：

(3.1)设置所述目标区场景的外部环境条件；

(3.2)在所述目标区场景的三维场景的基础上，根据所述目标区场景的外部环境条件以能够保证在图形处理器GPU中计算出步骤一中的材质图像的每个片元的温度的前提下，减少材质图像的温度场迭代次数；

(3.2)图形处理器GPU的着色器根据材质图像的每个片元的温度进行每个片元的红外辐射计算及大气透过率计算以生成所述目标区场景的零视距下的红外仿真场景。

4.根据权利要求3所述的基于红外仿真的目标样本生成方法，其特征在于，每个片元的红外辐射计算具体包括：通过计算不同材质红外波段内每个片元的自发辐射能量和全波段内每个片元的辐射能量比值，获取红外波段内每个片元的自发辐射能量占全波段内每个片元的辐射能量的百分比，根据百分比与全波段内每个片元的辐射能量的乘积以获取每个片元在红外波段内的自发辐射能量。

5.根据权利要求4所述的基于红外仿真的目标样本生成方法，其特征在于，每个片元的大气透过率计算具体包括：将大气效应计算模型E_total＝E₀×τ+E_path中的E_path设为0以获取优化后的大气效应计算模型，其中，E_total是探测器接收到的辐射总能量，E₀是场景中目标自发辐射能量，τ是大气透过率参数，E_path是大气路径辐射的能量；根据外部环境条件以及优化后的大气效应计算模型，获取不同环境下的大气透过率参数τ，外部环境条件输入参数包括天气、时间和经纬度。

6.根据权利要求1或2所述的基于红外仿真的目标样本生成方法，其特征在于，所述步骤四具体包括：

(4.1)根据拍摄点与目标之间的位置关系，获取视点参数，所述视点参数包括拍摄点与目标之间的直线距离参数以及拍摄点与目标之间的角度参数；

(4.2)模拟成像器的成像模型以获取成像器参数；

(4.3)在所述目标区场景的红外仿真场景的基础上，根据所述视点参数及所述成像器参数生成红外仿真目标样本。

7.根据权利要求6所述的基于红外仿真的目标样本生成方法，其特征在于，获取视点参数具体包括：根据拍摄点距离目标的起始距离、拍摄点距离目标的终止距离以及距离间隔计算获取所述拍摄点与目标之间的直线距离参数；根据拍摄点与目标之间的起始角度、终止角度及角度间隔计算获取所述拍摄点与目标之间的角度参数。

8.根据权利要求1所述的基于红外仿真的目标样本生成方法，其特征在于，在所述步骤一中，所述目标区场景包括目标背景区域的正射影像图和目标的纹理图像。

9.根据权利要求8所述的基于红外仿真的目标样本生成方法，其特征在于，所述目标区场景的材质类型包括草地、土壤、混凝土、沥青、钢和树木。

10.根据权利要求1所述的基于红外仿真的目标样本生成方，其特征在于，所述目标区场景的外部环境条件包括季节、天气和时段，所述季节包括春天、夏天、秋天和冬天，所述天气包括晴天、阴天和雨天，所述时段包括0小时至24小时。