CN117575933B - 一种图像融合方法和装置、电子设备 - Google Patents
一种图像融合方法和装置、电子设备 Download PDFInfo
- Publication number
- CN117575933B CN117575933B CN202410025667.0A CN202410025667A CN117575933B CN 117575933 B CN117575933 B CN 117575933B CN 202410025667 A CN202410025667 A CN 202410025667A CN 117575933 B CN117575933 B CN 117575933B
- Authority
- CN
- China
- Prior art keywords
- target
- pixel
- image
- point
- radiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 19
- 230000005855 radiation Effects 0.000 claims abstract description 154
- 238000001514 detection method Methods 0.000 claims abstract description 98
- 238000004364 calculation method Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 239000007787 solid Substances 0.000 claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000000342 Monte Carlo simulation Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 31
- 238000010521 absorption reaction Methods 0.000 claims description 28
- 230000005457 Black-body radiation Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 12
- 238000004088 simulation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000003331 infrared imaging Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种图像融合方案，属于图像处理技术领域，所述方法包括：对待融合目标对应的模型进行流场分析，得到目标流场的计算结果；采用探测器对目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对目标进行红外特性计算，生成目标红外特性图像；采用与对目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；基于目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的背景图像中各像素对应的辐射亮度值，将目标红外特性图像与背景图像融合，得到融合图像。本申请提供的图像融合方案，能够对目标图像和场景图像进行灵活、高效、信息全面的融合。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像融合方法和装置、电子设备。
背景技术
现代战争正朝着科技化、信息化的方向不断发展。
如何科学地了解战场的变化情况引起了各国军方的高度重视，对敌方目标在环境中的探测和识别是军方必不可少的行动。
因此将目标的红外计算结果与环境场景进行融合，将融合后的图像深度学习，进行战场模拟，是现代军事科学训练一个重要课题。
红外传感器可以对战场目标的温度辐射成像，能够反映目标的热辐射信息。
但形成的红外图像仅仅能对目标进行成像，对于场景的纹理细节信息不能很好地描述。
因此，无法得到信息全面、逼真的融合目标与场景融合图像。
发明内容
本发明实施例的目的是提供一种图像融合方法和装置、电子设备，能够解决现有图像处理技术无法得到信息全面、逼真的目标与场景融合图像的问题。
为解决上述技术问题，本发明提供如下技术方案：
本发明实施例提供了一种图像融合方法，其中，所述方法包括：对待融合目标对应的模型进行流场分析，得到目标流场的计算结果，其中，所述目标流场的计算结果包含流场温度场、压力、温度、组分数据；采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对所述目标进行红外特性计算，生成所述目标红外特性图像；采用与对所述目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像。
可选地，采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法，对所述目标进行红外特性计算，生成所述目标红外特性图像的步骤，包括：
采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型，其中，探测器向投影平面中每一个像素发出多条探测射线，所述探测射线归宿点的类型包括：吸收点、探测射线与透明边界交点；
针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计。
可选地，采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型的步骤，包括：
设定探测点和探测方向，采用探测器对所述目标进行探测；
针对探测器发出的每条探测射线，判断所述探测射线是否被吸收；
若是，将所述探测射线的归宿点确定为吸收点；
若否，将所述探测射线的归宿点确定为探测射线与透明边界交点。
可选地，针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计的步骤，包括：
针对每个所述吸收点，以所述吸收点为对应探测射线的归宿点正向跟踪所述探测射线的入射路径，直至追踪至对应探测点并记录所述归宿点对所述探测点的辐射贡献；
依据所述辐射贡献，确定所述归宿点处黑体辐射亮度；
针对每个所述像素，依据所述像素中包含的归宿点对应的黑体辐射亮度，确定所述像素对应的辐射亮度值；
依据各像素对应的辐射亮度值生成所述目标红外特性图像。
可选地，基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像的步骤，包括：
针对所述目标红外特性图像中的每一个第一像素点，确定所述第一像素点对应的第一辐射亮度值、目标固体辐射贡献率以及在所述像素化后的所述背景图像中对应的第二像素点；
确定所述第二像素点对应的第二辐射亮度值；
计算所述第一辐射亮度值与所述目标固体辐射贡献率的第一积值；
计算数值1与所述目标固体辐射贡献率的差值；
计算所述第二辐射亮度值与所述差值的第二积值；
将所述第一积值与所述第二积值之和，确定为所述第一像素点融合至所述第二像素点后的目标亮度值。
本发明实施例还提供了一种图像融合装置，其中，所述装置包括：
分析模块，用于对待融合目标对应的模型进行流场分析，得到目标流场的计算结果，其中，所述目标流场的计算结果包含温度、压力、组分数据；
第一生成模块，用于采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对所述目标进行红外特性计算，生成所述目标红外特性图像；
第二生成模块，用于采用与对所述目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；
融合模块，用于基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像。
可选地，所述第一生成模块包括：
类型确定子模块，用于采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型，其中，所述探测器向投影平面中每一个像素发出多条探测射线，所述探测射线归宿点的类型包括：吸收点、探测射线与透明边界交点；
亮度值确定子模块，用于针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计。
可选地，所述类型确定子模块具体用于：
设定探测点和探测方向，采用探测器对所述目标进行探测；
针对探测器发出的每条探测射线，判断所述探测射线是否被吸收；
若是，将所述探测射线的归宿点确定为吸收点；
若否，将所述探测射线的归宿点确定为探测射线与透明边界交点。
可选地，所述亮度值确定子模块具体用于：
针对每个所述吸收点，以所述吸收点为对应探测射线的归宿点正向跟踪所述探测射线的入射路径，直至追踪至对应探测点并记录所述归宿点对所述探测点的辐射贡献；
依据所述辐射贡献，确定所述归宿点处黑体辐射亮度；
针对每个所述像素，依据所述像素中包含的归宿点对应的黑体辐射亮度，确定所述像素对应的辐射亮度值；
依据各像素对应的辐射亮度值生成所述目标红外特性图像。
可选地，所述融合模块包括：
第一子模块，用于针对所述目标红外特性图像中的每一个第一像素点，确定所述第一像素点对应的第一辐射亮度值、目标固体辐射贡献率以及在所述像素化后的所述背景图像中对应的第二像素点；
第二子模块，用于确定所述第二像素点对应的第二辐射亮度值；
第三子模块，用于计算所述第一辐射亮度值与所述目标固体辐射贡献率的第一积值；
第四子模块，用于计算数值1与所述目标固体辐射贡献率的差值；
第五子模块，用于计算所述第二辐射亮度值与所述差值的第二积值；
第六子模块，用于将所述第一积值与所述第二积值之和，确定为所述第一像素点融合至所述第二像素点后的目标亮度值。
本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现上述任意一种图像融合方法的步骤。
本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述任意一种图像融合方法的步骤。
本发明实施例提供的图像融合方案，对待融合目标对应的模型进行流场分析，得到目标流场的计算结果；采用探测器对目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对目标进行红外特性计算，生成目标红外特性图像；采用与对目标图像进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；基于目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的背景图像中各像素对应的辐射亮度值，将目标红外特性图像与背景图像融合，得到融合图像。
本发明实施例提供的图像融合方案，分别将目标、场景的图像进行像素化处理，在进行图像融合时基于像素化后的图像中各像素对应的辐射亮度值、目标固体辐射贡献率对两个图像进行融合，融合后的图像中目标边界与背景边界过度均匀，所包含的图像信息全面、融合后的图像更加逼真。
不仅如此，由于目标、背景是两个单独的图像处理后融合，因此可以灵活、快速地将任意目标、背景融合，提升图像融合的效率和灵活性。
附图说明
图1是表示本申请实施例的一种图像融合方法的步骤流程图；
图2 是红外仿真图像成像原理示意图；
图3 射线追踪原理示意图；
图4像素化后的目标图像示意图；
图5是表示本申请实施例的一种图像融合装置的结构框图；
图6是表示本申请实施例的一种电子设备的结构框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本申请实施例中搭建目标模型并对其进行流场分析，先得到流场温度场数据，然后进行红外辐射计算，并生成目标的红外成像图，将场景生成像素图，然后进行图像融合，生成融合图像，供深度学习和战场模拟。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像融合方案进行详细地说明。
如附图1所示，本申请实施例的图像融合方法包括以下步骤：
步骤101：对待融合目标对应的模型进行流场分析，得到目标流场的计算结果。
其中，目标流场的计算结果中包含流场温度场、压力、组分数据。
本申请实施例中，预先为待融合目标搭建对应的模型，待模型搭建完成后对其进行流场分析，得到流场温度场数据。
目标可以为任意需要融合的实体，例如可以为飞机、坦克、巡航舰等作战设备，也可以为树木、建筑物、动物等实体，本申请实施中对实体的具体限定不作限制，实体的选择可由本领域技术人员根据待深度学习或者模拟的场景灵活设置。
同理，需要与目标融合的场景也可由本领域技术人员根据需求灵活设置。
本申请实施例提供的图像融合方法应用于电子设备，电子设备可以为服务器、电脑等具有分析、计算功能的设备。
该电子设备中存储有图像融合计算机程序或指令，该程序或指令被电子设备的处理器执行时实现本申请实施例中所示的图像融合流程。
步骤102：采用探测器对目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对目标进行红外特性计算，生成目标红外特性图像。
需要说明的是，目标流场的计算结果又可称为流场分析结果，探测器对目标流场的计算结果的探测可视为对目标的探测。
一种可选地，采用探测器对目标流场的计算结果进行探测并采用逆向蒙特卡洛方法，对目标进行红外特性计算，生成目标红外特性图像的方式可以包括如下子步骤：
子步骤一：采用探测器对目标进行探测，将目标投影平面进行像素化，确定目标中各像素中探测射线归宿点的类型。
其中，探测器向投影平面中每一个像素发出多条探测射线，探测射线归宿点的类型包括：吸收点、探测射线与透明边界交点；
在具体实现过程中，采用探测器对目标图像进行探测，确定目标图像中各像素中探测射线归宿点的类型时，可以通过如下方式实现：
首先，设定探测点和探测方向，采用探测器对目标进行探测；
其次，针对探测器发出的每条探测射线，判断探测射线是否被吸收；
最后，若是，将探测射线的归宿点确定为吸收点；若否，将探测射线的归宿点确定为探测射线与透明边界交点。
子步骤二：针对每个像素，依据像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定像素对应的辐射亮度值，生成目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计。
在实际实现过程中，针对每个像素，依据像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定像素对应的辐射亮度值，生成目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计的方式可以如下：
首先，针对每个吸收点，以吸收点为对应探测射线的归宿点正向跟踪探测射线的入射路径，直至追踪至对应探测点并记录该归宿点对探测点的辐射贡献；
其次，依据辐射贡献，确定归宿点处黑体辐射亮度；
再次，针对每个像素，依据像素中包含的归宿点对应的黑体辐射亮度，确定像素对应的辐射亮度值；
一种可行性的方式为，将像素中包含的各归宿点对应的黑体辐射亮度的平均值确定为该像素对应的辐射亮度值。
最后，依据各像素对应的辐射亮度值生成目标红外特性图像。
需要说明的是，上述仅是列举了一种优选地生成目标红外特性图像的方式，在实际实现过程中，本领域技术人员可以采用任意可行性方案生成目标红外特性图像。
步骤103：采用与对目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像。
在将目标流场计算结果转化成目标红外特性图像后，可以得出目标外形尺寸，长L和高H，和分别在长度方向、高度方向布置的网格数量即像素的数量、探测的角度以及投影方向等相关信息。
假设目标在长度方向分配的像素数量是gL，在高度方向分配的像素数量是gH，即gL*gH的图像。
在生成目标红外特性图像后，需要对背景图像进行像素化处理。
在对背景图像进行像素化处理时，也需要采用对目标图像进行像素化处理的探测器等设备。
并且对场景即背景图像的探测器位置、探测角度与对目标图像进行探测时完全一致，在背景的长L1和高H1已知的情况下，按照和像素化后的目标图像同样的尺寸分布像素（即确保像素网格的大小一致），就得到像素化之后的背景图像。
像素化后的背景图像中，每一个像素对应一个亮度值（亦可称为辐射亮度值）。
长度方向的像素数量为sL，高度方向分配的像素数量为sH；；；
步骤104：基于目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的背景图像中各像素对应的辐射亮度值，将目标红外特性图像与背景图像融合，得到融合图像。
在得到目标红外特性图像、像素化后的背景图像后将二者进行融合。
在融合时，将像素化处理后的背景图像导入软件进行展示，并根据像素值，每一个像素定义为一个单位，将左上角定义（0,0）则，右下角为（sL，sH）即每个像素网格的坐标即可得到；将目标红外特性图像导入软件，并可以在背景图像中移动位置等操作，记录目标红外特性图像左上角在背景图像中的位置，假设记录的该位置坐标为（m，n）。
循环目标红外特性图像中目标对应的各像素，假设遍历时，在长度方向的变量是i，高度方向的变量是j，每一个像素对应背景图像中的像素值为（m+i，n+j），由前述可知，目标的一个像素对应一个辐射亮度数值假设为Lm，目标固体辐射贡献率为x，对应的背景图像中的像素的辐射亮度数值为Ls，则计算该像素位置处的辐射亮度数值计算公式可设置为：。
采用该方式，在调整一次目标在背景中的位置后均可便利目标包含的各像素，采用上述计算公式计算目标包含的各像素与背景图像中对应像素融合后的辐射亮度数值，将目标中所有的像素进行遍历后采用融合后的像素的辐射亮度值替换掉像素化后的背景图像中对应的像素的辐射亮度值即可得到一张融合后的图像。
每次调整完目标在像素化后的背景图像中的位置后，均可便利目标的各像素点采用上述方式得到融合后的一张图像。
不仅如此，在实际实现过程中，还可以将目标红外特性图像与像素化后的其他背景图像进行融合，以提升图像融合的灵活性。
例如：目标为飞机，像素化处理后的背景图像A、B以及C，则在图像融合时，可以通过三次融合分别得到飞机与背景A的融合图像，飞机与背景B的融合图像以及飞机与背景C的融合图像。
一种可选地基于目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的背景图像中各像素对应的辐射亮度值，将目标红外特性图像与背景图像融合，得到融合图像的方式可以包括如下子步骤：
S1：针对目标红外特性图像中的每一个第一像素点，确定第一像素点对应的第一辐射亮度值、目标固体辐射贡献率以及在所述像素化后的背景图像中对应的第二像素点；
S2：确定第二像素点对应的第二辐射亮度值；
S3：计算第一辐射亮度值与目标固体辐射贡献率的第一积值；
S4：计算数值1与目标固体辐射贡献率的差值；
S5：计算第二辐射亮度值与该差值的第二积值；
S6：将第一积值与第二积值之和，确定为第一像素点融合至第二像素点后的目标亮度值。
该种可选地对目标以及背景对应的像素进行融合的方式，融合后的图像中目标周边无黑框，目标与背景交界处过度均匀，融合得到的图像更加逼真、信息更加全面。
本申请实施例提供的图像融合方法，对待融合目标对应的模型进行流场分析，得到目标的流场计算结果；采用探测器对目标的流场计算结果进行探测并采用逆向蒙特卡洛方法对目标进行红外特性计算，生成目标红外特性图像；采用与对目标图像进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；基于目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的背景图像中各像素对应的辐射亮度值，将目标红外特性图像与背景图像融合，得到融合图像。
本发明实施例提供的图像融合方法，分别将目标、场景的图像进行像素化处理，在进行图像融合时基于像素化后的图像中各像素对应的辐射亮度值、目标固体辐射贡献率对两个图像进行融合，融合后的图像中目标边界与背景边界过度均匀，所包含的图像信息全面、融合后的图像更加逼真。
不仅如此，由于目标、背景是两个单独的图像处理后融合，因此可以灵活、快速地将任意目标、背景融合，提升图像融合的效率和灵活性。
下面以一具体实例，对本申请实施例的图像融合方法进行说明。
本具体实例中采用将无人机作为目标，进行流场分析，先得到流场分析结果即目标流场的计算结果，具体可以包括流场温度、压力、组分等数据，然后进行红外辐射计算，并生成目标红外成像图像，将场景（亦可称为背景）生成像素图即像素化后的背景图像，然后进行图像融合，生成目标、背景融合图像，供深度学习和战场模拟。
可见，本具体实例提供的图像融合方法的目的是针对目标计算红外辐射特性，生成目标红外成像图像，像素化后的背景图像进行融合，生成供深度学习和战场模拟的图像。
下面对本具体实例的图像融合方法进行说明。
对图像融合的方法主要分为三部分分别为：目标红外仿真计算及成像生成目标红外成像图像、生成像素化的背景图像、目标红外成像图像与像素化后的背景图像融合。
第一部分：目标红外仿真计算及成像
建立无人机目标模型，将目标划分远场的流场网格，进行流场计算，得出流场求解的温度、压力、组分等信息。
采用逆向蒙特卡洛方法对像素化后的目标图像进行红外特性计算，并生成目标红外特性图像。
生成目标红外特性图像的具体操作步骤可以如下：
设定探测点和探测方向，将目标图像在探测方向上投影，并在投影的平面进行像素化，如图4所示为像素化后的目标图像示意图。
红外仿真图像成像的原理如图2所示，逆向蒙特卡洛英文简称RMCM方法将目标图像对探测器的视场立体角的投影平面进行了网格化，每一个网格即为一个像素对应一个单元探测器。
在每个像素区域内部生成一些均匀分布的随机点，测点到随机点的矢量即为随机射线的方向矢量。
射线追踪原理如图3所示，从探测器表面发射特征射线，沿逆射线方向的矢量跟踪其路径，在传输的过程中判断射线是被吸收还是继续前进，直到射线逸出计算域边界或被吸收为止，然后以吸收点为射线的归宿点正向跟踪其入射路径，直到探测点，并记录归宿点对探测点的辐射贡献。
像素对应的辐射亮度是这些随机射线吸收点处黑体辐射亮度的统计平均值。
将每一个像素进行亮度计算，最终生成一个像素图像即为目标红外特性图像。
逆向蒙特卡洛方法在某一波段内的积分辐射强度可写为：（1）；上式中为谱带宽度，为光谱离散点个数，为射线条数，为目标区域在垂直于探测方位平面上的投影面积，为第条随机射线在光谱点下不同吸收点处，根据温度计算黑体光谱辐射亮度。
辐射强度是目标在单位立体角内向外辐射的功率，辐射亮度是目标在单位面积上单位立体角内向外辐射的功率。
对于每一条随机射线，推进的过程中在所有离散光谱点处判断射线是否被吸收，如果射线在全部波段都被吸收，则结束推进的过程，只要有一个光谱点没有被吸收，则射线仍继续向前推进，直到全部波段都被吸收或者射线逸出计算域为止。
这样需要搜索的随机射线变为条，提高了计算效率。
注意，在同一条随机射线上对于不同的光谱点，其吸收点的位置可能不同，因此公式（1）中需根据不同吸收点处的当地温度进行计算。
结合红外仿真图像成像的原理，将目标图像在投影面上的像素化，并在每一个像素（亦可称为像素网格）上随机分布一些测点之后，由于在红外特性计算时可以将目标固体辐射，气体辐射进行区分。
因此，对于目标内部的像素网格上，其辐射亮度值全部由目标本身（即目标固体辐射）来贡献，设定为贡献比例值为1；对于目标在投影平面上边界处的像素网格内，可以进行统计，其辐射亮度数据由多少比例来自于目标的固体本身，由多少比例来自目标周边的气体辐射。
其值为大于0，且小于1；对于目标之外的像素网格，其辐射亮度值则全部由气体辐射来贡献，其值设为0。
这些数据为图像融合提供进一步支持。
第二部分：对场景图像（背景图像）进行像素化处理
如图4所示，在将流场分析结果转化成目标红外特性图像后，可以得出目标外形尺寸，长L和高H，和分别在长度方向、高度方向布置的网格数量即像素的数量、探测的角度以及投影方向等相关信息。
假设目标在长度方向分配的像素数量是gL，在高度方向分配的像素数量是gH，即gL*gH的图像。
在生成目标红外特性图像后，需要对背景图像进行像素化处理。
在对背景图像进行像素化处理时，也需要采用对目标图像进行像素化处理的探测器等设备。
并且对场景即背景图像的探测器位置、探测角度与对目标图像进行探测时完全一致，在背景的长L1和高H1已知的情况下，按照和像素化后的目标图像同样的尺寸分布像素（即确保像素网格的大小一致），就得到像素化之后的背景图像。
像素化后的背景图像中，每一个像素对应一个亮度值（亦可称为辐射亮度值）。
长度方向的像素数量为sL，高度方向分配的像素数量为sH；；；第三部分：图像融合
在得到目标红外特性图像、像素化后的背景图像后将二者进行融合。
在融合时，将像素化处理后的背景图像导入软件进行展示，并根据像素值，每一个像素定义为一个单位，将左上角定义（0,0）则，右下角为（sL，sH）即每个像素网格的坐标即可得到；将目标红外特性图像导入软件，并可以在背景图像中移动位置等操作，记录目标红外特性图像左上角在背景图像中的位置，假设记录的该位置坐标为（m，n）。
将目标放在场景即背景中进行移动，旋转等操作后，进行融合计算，得到融合图像。
循环目标红外特性图像中目标对应的各像素，假设遍历时，在长度方向的变量是i，高度方向的变量是j，每一个像素对应背景图像中的像素值为（m+i，n+j），由前述可知，目标的一个像素对应一个辐射亮度数值假设为Lm，目标固体辐射贡献率为x，对应的背景图像中的像素的辐射亮度数值为Ls，则计算该像素位置处的辐射亮度数值计算公式可设置为：。
采用该方式，在调整一次目标在背景中的位置后均可便利目标包含的各像素，采用上述计算公式计算目标包含的各像素与背景图像中对应像素融合后的辐射亮度数值，将目标中所有的像素进行遍历后采用融合后的像素的辐射亮度值替换掉像素化后的背景图像中对应的像素的辐射亮度值即可得到一张融合后的图像。
融合后，周边黑框消失，过度均匀。
后期考虑目标上设置隐藏的部分，并由背景的高层关系，进行遮挡，生成更加逼真的图像融合结果。
本具体实例提供的图像融合方案核心是目标的红外辐射特性，准确得出目标边界上对辐射的贡献百分比，利用基础的像素融合，得到图像融合计算结果。
该图像融合方法可有效解决目标与场景的融合，效率高，误差可控等问题。
本具体实例提供的图像融合方法，一方面，能极大的减少工程师手工工作量，并缩短设计周期；从前两周的工作，可以在缩短在几分钟内完成；第二方面，可以减少误差，由于可以方便的软件化并采用计算机计算，保证了计算结果的准确性；第三方面，可对各种目标的红外图像与场景进行融合，与将各个目标与场景耦合在一起，进行红外辐射特性分析相比，所需时间非常少，有很充分的实用性，同时做初步推断，精度上也能满足要求。
图5为实现本申请实施例的一种图像融合装置的结构框图。
本申请实施例提供的图像融合装置包括如下功能模块：
分析模块501，用于对待融合目标对应的模型进行流场分析，得到目标流场的计算结果，其中，所述目标流场的计算结果包含流场温度场数据、压力、组分等数据；
第一生成模块502，用于采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对所述目标进行红外特性计算，生成所述目标红外特性图像；
第二生成模块503，用于采用与对所述目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；
融合模块504，用于基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像。
可选地，所述第一生成模块包括：
类型确定子模块，用于采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型，其中，探测器向投影平面中每一个像素发出多条探测射线，所述探测射线归宿点的类型包括：吸收点、探测射线与透明边界交点；
亮度值确定子模块，用于针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计。
可选地，所述类型确定子模块具体用于：
设定探测点和探测方向，采用探测器对所述目标进行探测；
针对探测器发出的每条探测射线，判断所述探测射线是否被吸收；
若是，将所述探测射线的归宿点确定为吸收点；
若否，将所述探测射线的归宿点确定为探测射线与透明边界交点。
可选地，所述亮度值确定子模块具体用于：
针对每个所述吸收点，以所述吸收点为对应探测射线的归宿点正向跟踪所述探测射线的入射路径，直至追踪至对应探测点并记录所述归宿点对所述探测点的辐射贡献；
依据所述辐射贡献，确定所述归宿点处黑体辐射亮度；
针对每个所述像素，依据所述像素中包含的归宿点对应的黑体辐射亮度，确定所述像素对应的辐射亮度值；
依据各像素对应的辐射亮度值生成所述目标红外特性图像。
可选地，所述融合模块包括：
第一子模块，用于针对所述目标红外特性图像中的每一个第一像素点，确定所述第一像素点对应的第一辐射亮度值、目标固体辐射贡献率以及在所述像素化后的所述背景图像中对应的第二像素点；
第二子模块，用于确定所述第二像素点对应的第二辐射亮度值；
第三子模块，用于计算所述第一辐射亮度值与所述目标固体辐射贡献率的第一积值；
第四子模块，用于计算数值1与所述目标固体辐射贡献率的差值；
第五子模块，用于计算所述第二辐射亮度值与所述差值的第二积值；
第六子模块，用于将所述第一积值与所述第二积值之和，确定为所述第一像素点融合至所述第二像素点后的目标亮度值。
本申请实施例提供的图像融合装置，分别将目标、场景的图像进行像素化处理，在进行图像融合时基于像素化后的图像中各像素对应的辐射亮度值、目标固体辐射贡献率对两个图像进行融合，融合后的图像中目标边界与背景边界过度均匀，所包含的图像信息全面、融合后的图像更加逼真。
不仅如此，由于目标、背景是两个单独的图像处理后融合，因此可以灵活、快速地将任意目标、背景融合，提升图像融合的效率和灵活性。
本申请实施例中图5所示的图像融合装置可以设置在移动设备中，也可以设置在服务器中。
设置有该装置移动设备或者服务器可以为具有操作系统的装置。
该操作系统可以为安卓（Android）操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图5所示的图像融合装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，参照图6示出了本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述图像融合装置执行的各过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的服务器。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。
所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-OnlyMemory， ROM）、随机存取存储器（Random Access Memory， RAM）、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。
在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种图像融合方法，其特征在于，包括：
对待融合目标对应的模型进行流场分析，得到目标流场的计算结果，其中，所述目标流场的计算结果中包含流场温度场、压力、组分数据；
采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对所述目标进行红外特性计算，生成所述目标红外特性图像；
采用与对所述目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；
基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像；
其中，基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像的步骤，包括：
针对所述目标红外特性图像中的每一个第一像素点，确定所述第一像素点对应的第一辐射亮度值、目标固体辐射贡献率以及在所述像素化后的所述背景图像中对应的第二像素点；
确定所述第二像素点对应的第二辐射亮度值；
计算所述第一辐射亮度值与所述目标固体辐射贡献率的第一积值；
计算数值1与所述目标固体辐射贡献率的差值；
计算所述第二辐射亮度值与所述差值的第二积值；
将所述第一积值与所述第二积值之和，确定为所述第一像素点融合至所述第二像素点后的目标亮度值。
2.根据权利要求1所述的方法，其特征在于，采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法，对所述目标进行红外特性计算，生成所述目标红外特性图像的步骤，包括：
采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型，其中，探测器向投影平面中每一个像素发出多条探测射线，所述探测射线归宿点的类型包括：吸收点、探测射线与透明边界交点；
针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计。
3.根据权利要求2所述的方法，其特征在于，采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型的步骤，包括：
设定探测点和探测方向，采用探测器对所述目标进行探测；
针对探测器发出的每条探测射线，判断所述探测射线是否被吸收；
若是，将所述探测射线的归宿点确定为吸收点；
若否，将所述探测射线的归宿点确定为探测射线与透明边界交点。
4.根据权利要求3所述的方法，其特征在于，针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计的步骤，包括：
针对每个所述吸收点，以所述吸收点为对应探测射线的归宿点正向跟踪所述探测射线的入射路径，直至追踪至对应探测点并记录所述归宿点对所述探测点的辐射贡献；
依据所述辐射贡献，确定所述归宿点处黑体辐射亮度；
针对每个所述像素，依据所述像素中包含的归宿点对应的黑体辐射亮度，确定所述像素对应的辐射亮度值；
依据各像素对应的辐射亮度值生成所述目标红外特性图像。
5.一种图像融合装置，其特征在于，包括：
分析模块，用于对待融合目标对应的模型进行流场分析，得到目标流场的计算结果，其中，所述目标流场的计算结果中包含流场温度场、压力、组分数据；
第一生成模块，用于采用探测器对所述目标流场的计算结果进行探测并采用逆向蒙特卡洛方法对所述目标进行红外特性计算，生成所述目标红外特性图像；
第二生成模块，用于采用与对所述目标流场的计算结果进行探测时的相同探测器参数，对待融合背景的图像进行探测处理，基于探测结果生成像素化后的背景图像；
融合模块，用于基于所述目标红外特性图像中各像素对应的辐射亮度值、目标固体辐射贡献率，以及像素化后的所述背景图像中各像素对应的辐射亮度值，将所述目标红外特性图像与所述背景图像融合，得到融合图像；
其中，所述融合模块包括：
第一子模块，用于针对所述目标红外特性图像中的每一个第一像素点，确定所述第一像素点对应的第一辐射亮度值、目标固体辐射贡献率以及在所述像素化后的所述背景图像中对应的第二像素点；
第二子模块，用于确定所述第二像素点对应的第二辐射亮度值；
第三子模块，用于计算所述第一辐射亮度值与所述目标固体辐射贡献率的第一积值；
第四子模块，用于计算数值1与所述目标固体辐射贡献率的差值；
第五子模块，用于计算所述第二辐射亮度值与所述差值的第二积值；
第六子模块，用于将所述第一积值与所述第二积值之和，确定为所述第一像素点融合至所述第二像素点后的目标亮度值。
6.根据权利要求5所述的装置，其特征在于，所述第一生成模块包括：
类型确定子模块，用于采用探测器对所述目标进行探测，将目标投影平面进行像素化，确定所述目标中各像素中探测射线归宿点的类型，其中，所述探测器向投影平面中每一个像素发出多条探测射线，所述探测射线归宿点的类型包括：吸收点、探测射线与透明边界交点；
亮度值确定子模块，用于针对每个所述像素，依据所述像素中包含的各探测射线归宿点的类型和各归宿点处黑体辐射亮度，确定所述像素对应的辐射亮度值，生成所述目标红外特性图像，并对每个像素辐射亮度值中目标固体辐射贡献率进行统计。
7.根据权利要求6所述的装置，其特征在于，所述类型确定子模块具体用于：
设定探测点和探测方向，采用探测器对所述目标进行探测；
针对探测器发出的每条探测射线，判断所述探测射线是否被吸收；
若是，将所述探测射线的归宿点确定为吸收点；
若否，将所述探测射线的归宿点确定为探测射线与透明边界交点。
8.根据权利要求7所述的装置，其特征在于，所述亮度值确定子模块具体用于：
针对每个所述吸收点，以所述吸收点为对应探测射线的归宿点正向跟踪所述探测射线的入射路径，直至追踪至对应探测点并记录所述归宿点对所述探测点的辐射贡献；
依据所述辐射贡献，确定所述归宿点处黑体辐射亮度；
针对每个所述像素，依据所述像素中包含的归宿点对应的黑体辐射亮度，确定所述像素对应的辐射亮度值；
依据各像素对应的辐射亮度值生成所述目标红外特性图像。
9.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行所述权利要求1-4中任意一种图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410025667.0A CN117575933B (zh) | 2024-01-08 | 2024-01-08 | 一种图像融合方法和装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410025667.0A CN117575933B (zh) | 2024-01-08 | 2024-01-08 | 一种图像融合方法和装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117575933A CN117575933A (zh) | 2024-02-20 |
| CN117575933B true CN117575933B (zh) | 2024-06-25 |
Family
ID=89890337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410025667.0A Active CN117575933B (zh) | 2024-01-08 | 2024-01-08 | 一种图像融合方法和装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117575933B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118278252B (zh) * | 2024-05-24 | 2024-08-27 | 承德石油高等专科学校 | 一种目标红外辐射强度确定方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447932A (zh) * | 2018-11-01 | 2019-03-08 | 西安电子科技大学 | 基于实测红外成像数据的目标与背景融合仿真方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243289B (zh) * | 2015-11-17 | 2018-03-06 | 上海无线电设备研究所 | 复杂目标红外辐射特性一体化建模方法 |
| CN109655161B (zh) * | 2018-11-15 | 2020-02-21 | 上海无线电设备研究所 | 基于红外热像仪的目标红外积分辐射强度测试方法及设备 |
| CN113160106B (zh) * | 2020-04-29 | 2024-05-07 | 西安天和防务技术股份有限公司 | 红外目标检测方法及装置、电子设备、存储介质 |
| CN114372948A (zh) * | 2022-01-14 | 2022-04-19 | 无锡英菲感知技术有限公司 | 图像融合方法、设备以及存储介质 |
-
2024
- 2024-01-08 CN CN202410025667.0A patent/CN117575933B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447932A (zh) * | 2018-11-01 | 2019-03-08 | 西安电子科技大学 | 基于实测红外成像数据的目标与背景融合仿真方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117575933A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117575933B (zh) | 一种图像融合方法和装置、电子设备 | |
| CN109031440B (zh) | 一种基于深度学习的伽马放射性成像方法 | |
| US20180372852A1 (en) | Method and apparatus for calibration between laser radar and camera, device and storage medium | |
| CN102982560A (zh) | 根据rgb和深度图像的表面分割 | |
| Willers et al. | Signature modelling and radiometric rendering equations in infrared scene simulation systems | |
| CN107301633B (zh) | 在云雾干扰下遥感成像的仿真方法 | |
| CN105306922A (zh) | 一种深度相机参考图的获取方法和装置 | |
| CN116933567B (zh) | 一种天基复杂多场景空间目标仿真数据集构建方法 | |
| CN114882159A (zh) | 一种红外图像生成方法、装置、电子设备及存储介质 | |
| Liu et al. | Correction of aeroheating-induced intensity nonuniformity in infrared images | |
| CN115618302A (zh) | 一种多传感器融合方法、系统、电子设备及存储介质 | |
| Matelenok et al. | Influence of the canopy structure of a birch forest on the visibility of the fires below | |
| JP6044052B2 (ja) | 魚眼画像データ作成プログラム及びｌａｉ算出プログラム | |
| Le Goff et al. | New impressive capabilities of SE-workbench for EO/IR real-time rendering of animated scenarios including flares | |
| CN111239795A (zh) | 基于刀口型厚针孔的千居里60Co-γ辐射源图像采集系统及方法 | |
| Li et al. | Object Tracking in Satellite Videos with Distractor-Occlusion Aware Correlation Particle Filters | |
| CN116149353A (zh) | 变电站机器人与无人机联合巡检点自动生成方法及系统 | |
| CN115816438A (zh) | 一种巡检机器人巡检点优化判断方法及系统 | |
| Mason et al. | Estimating thermal radiation fields from 3D flame reconstruction | |
| Gallet et al. | Exploring AI-Based Satellite Pose Estimation: from Novel Synthetic Dataset to In-Depth Performance Evaluation | |
| CN110658495B (zh) | 一种位置检测方法及装置 | |
| Hickman et al. | Modelling and simulation framework for ATR design evaluation | |
| US20240257410A1 (en) | Simulating shutter rolling effect | |
| Naraniya et al. | Scene simulation and modeling of InfraRed search and track sensor for air-borne long range point targets | |
| CN116883516B (zh) | 相机参数标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |