CN114882159A - 一种红外图像生成方法、装置、电子设备及存储介质 - Google Patents

一种红外图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114882159A
CN114882159A CN202210636484.3A CN202210636484A CN114882159A CN 114882159 A CN114882159 A CN 114882159A CN 202210636484 A CN202210636484 A CN 202210636484A CN 114882159 A CN114882159 A CN 114882159A
Authority
CN
China
Prior art keywords
radiation intensity
infrared radiation
target object
collision
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210636484.3A
Other languages
English (en)
Inventor
陈晓权
张欣
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202210636484.3A priority Critical patent/CN114882159A/zh
Publication of CN114882159A publication Critical patent/CN114882159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供的一种红外图像生成方法、装置、电子设备及存储介质，应用于信息技术领域，可以计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度；根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像。通过本申请实施例的方法，可以通过直接碰撞位置和各碰撞位置对应的红外辐射强度，从而计算各像素点的红外辐射强度，生成所述目标对象红外图像，从而提高红外图像生成时的渲染效果。

Description

一种红外图像生成方法、装置、电子设备及存储介质
技术领域
本申请涉及信息技术领域，特别是涉及一种红外图像生成方法、装置、电子设备及存储介质。
背景技术
目前，红外图像仿真方法已经有着广泛的应用，通过红外图像仿真可以依据图形学原理，通过计算机模拟真实相机拍摄出来的图像效果。不仅可以获取一些自然条件下的特殊实验条件很难达到实验数据，而且可以降低实验成本。
然而，如果渲染技术上采用的光栅化方法来仿真红外图像，即通过GPU片段着色器来计算图像中每个像素的颜色，渲染效果往往较差。
发明内容
本申请实施例的目的在于提供一种红外图像生成方法、装置、电子设备及存储介质，以实现红外图像生成过程中提高红外图像的渲染效果。具体技术方案如下：
本申请实施例的第一方面，提供了一种红外图像生成方法，包括：
计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算所述各像素点的红外辐射强度；
根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像。
可选的，所述计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度，包括：
根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度；
根据预设场景参数和所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，其中，N大于等于1。
可选的，所述根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度，包括：
根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置，和所述第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率；
根据所述第一碰撞位置对应的自身红外辐射强度、所述第一外光源直接照射红外辐射强度、所述第一外光源间接照射红外辐射强度、所述第一周边物体间接照射红外辐射强度、所述第一衰减率，计算所述第一红外辐射强度。
可选的，所述根据所述预设场景参数和所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，包括：
根据所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置，和所述第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率；
根据所述第N+1碰撞位置对应的自身红外辐射强度、所述第二外光源直接照射红外辐射强度、所述第二外光源间接照射红外辐射强度、所述第二周边物体间接照射红外辐射强度、所述第二衰减率，计算所述第N+1红外辐射强度。
可选的，所述针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度，包括：
针对所述目标对象在成像平面上的任一像素点，识别所述多个碰撞位置中对应该像素点的目标碰撞位置，和所述目标碰撞位置对应的目标红外辐射强度；
对所述目标红外辐射强度进行叠加，得到该像素点的红外辐射强度。
可选的，所述根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像之后，所述方法还包括：
识别所述目标对象在成像平面中，所述第一碰撞位置对应的目标区域；
根据所述目标区域的位置对所述目标对象红外图像进行标定，得到标定后的红外图像。
可选的，所述根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像之后，所述方法还包括：
将所述目标对象红外图像输入待训练的目标识别模型，得到所述目标对象的识别结果；
根据所述识别结果对所述待训练的目标识别模型的参数进行更新，并返回所述将所述目标对象红外图像输入待训练的目标识别模型，得到所述目标对象的识别结果的步骤继续执行，直至满足预设终止条件，得到训练好的目标识别模型。
上述训练好的目标识别模型可以应用于红外识别场景，例如自然光较暗的场景(雨天、夜间)的行人识别、车辆识别，提升红外图像识别的准确性。
本申请实施例的第二方面，提供了一种红外图像生成装置，包括：
碰撞位置计算模块，用于计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
辐射强度计算模块，用于针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度；
红外图像生成模块，用于根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像。
可选的，所述碰撞位置计算模块，包括：
第一碰撞计算子模块，用于根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度；
第N碰撞计算子模块，用于根据预设场景参数和所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，其中，N大于等于1。
可选的，所述第一碰撞计算子模块，包括：
第一参数计算单元，用于根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置，和所述第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率；
第一辐射强度计算单元，用于根据所述第一碰撞位置对应的自身红外辐射强度、所述第一外光源直接照射红外辐射强度、所述第一外光源间接照射红外辐射强度、所述第一周边物体间接照射红外辐射强度、所述第一衰减率，计算所述第一红外辐射强度。
可选的，所述第N碰撞计算子模块，包括：
第N参数计算单元，用于根据所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置，和所述第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率；
第N辐射强度计算单元，用于根据所述N+1碰撞位置对应的自身红外辐射强度、所述第二外光源直接照射红外辐射强度、所述第二外光源间接照射红外辐射强度、所述第二周边物体间接照射红外辐射强度、所述第二衰减率，计算所述第N+1红外辐射强度。
可选的，所述辐射强度计算模块，包括：
像素识别子模块，用于针对所述目标对象在成像平面上的任一像素点，识别所述多个碰撞位置中对应该像素点的目标碰撞位置，和所述目标碰撞位置对应的目标红外辐射强度；
辐射强度叠加子模块，用于对所述目标红外辐射强度进行叠加，得到该像素点的红外辐射强度。
可选的，所述装置还包括：
区域识别模块，用于识别所述目标对象在成像平面中，所述第一碰撞位置对应的目标区域；
图像标定模块，用于根据所述目标区域的位置对所述目标对象红外图像进行标定，得到标定后的红外图像。
可选的，所述装置还包括：
图像输入模块，用于将所述目标对象红外图像输入待训练的目标识别模型，得到所述目标对象的识别结果；
模型训练模块，用于根据所述识别结果对所述待训练的目标识别模型的参数进行更新，并返回所述将所述目标对象红外图像输入待训练的目标识别模型，得到所述目标对象的识别结果的步骤继续执行，直至满足预设终止条件，得到训练好的目标识别模型。
上述训练好的目标识别模型可以应用于红外识别场景，例如自然光较暗的场景(雨天、夜间)的行人识别、车辆识别，提升红外图像识别的准确性。
本申请实施例的另一方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一红外图像生成方法。
本申请实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一红外图像生成方法。
本申请实施例的另一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一红外图像生成方法。
本申请实施例有益效果：
本申请实施例提供的一种红外图像生成方法、装置、电子设备及存储介质，可以计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度；根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像。通过本申请实施例的方法，可以通过直接碰撞位置和各碰撞位置对应的红外辐射强度，从而计算各像素点的红外辐射强度，生成所述目标对象红外图像，从而提高红外图像生成时的渲染效果。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的红外图像生成方法的一种流程示意图；
图2为本申请实施例提供的计算碰撞位置及对应的红外辐射强度的流程示意图；
图3为本申请实施例提供的红外图像生成方法的一种实例图；
图4为本申请实施例提供的红外图像生成方法的另一种实例图；
图5为本申请实施例提供的计算各像素点的红外辐射强度的流程示意图；
图6为本申请实施例提供的生成标定后的红外图像的流程示意图；
图7a为本申请实施例提供的生成的标定后的红外图像的示意图；
图7b为本申请实施例提供的模型训练方法的一种流程示意图；
图8为本申请实施例提供的红外图像生成方法的又一种实例图；
图9为本申请实施例提供的红外图像生成装置的一种结构示意图；
图10为本申请实施例提供的红外图像生成装置的另一种结构示意图；
图11为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
图像仿真：依据图形学原理，通过计算机模拟真实相机拍摄出来的图像效果的技术。
自动化标定：通过在图像渲染时输出特定标记的方式来自动化框出感兴趣对象的技术。
本申请实施例的第一方面，首先提供了一种红外图像生成方法，包括：
计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
针对目标对象在成像平面上的各像素点，根据多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度；
根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像。
可见，通过本申请实施例的方法，可以通过直接碰撞位置和各碰撞位置对应的红外辐射强度，从而计算各像素点的红外辐射强度，生成所述目标对象红外图像，从而提高红外图像生成时的渲染效果。
具体的，参见图1，图1为本申请实施例提供的红外图像生成方法的一种流程示意图，包括：
步骤S11，计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度。
本申请实施例中的预设起点可以是预先设定的某一空间位置，例如可以预先设定一个虚拟场景，在该虚拟场景中选取某一位置作为预设起点。具体的，可以设置一个虚拟相机，通过虚拟相机的参数识别预设起点发射的光线。例如，设置的参数可以包括该虚拟相机的内参和外参，其中，该虚拟相机可以是一个真实相机的数学简化模型，通过该虚拟相机的内参建立一个虚拟的相机对象，该内参的本质是一个三维到二维的映射函数，外参指的则是虚拟相机在世界空间中的位置、朝向，当预先设定虚拟场景时，可以通过相机对象将三维的虚拟场景映射为一张二维的平面图像，如同一个真正的相机一般。另外，通过设置不同的相机内参可以模拟不同的相机，比如带有远小近大效果的透视投影相机，没有远小近大效果的正交投影相机，具有180°视角的鱼眼相机等。
其中，计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度，可以计算预设起点发射的多条光线和目标对象的多个碰撞位置，并且，针对每一光线，可以与该目标对象发生一次或多次碰撞。例如，当某一光线与目标对象发生碰撞后，发射到虚拟场景的某一物体上，再经过该物体反射到该目标对象上，再次发生碰撞，或重复该动作再次发生碰撞。具体的，计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度，可以利用光线追踪计算红外辐射度，针对碰撞位置，可以通过预设起点在的空间位置、预设起点发射的光线的角度和目标对象的空间位置，计算碰撞点的位置。当发生多次碰撞时，可以分别以前一次的碰撞点为位置为起始位置，进行下一次碰撞的位置和红外辐射强度的计算。例如，跟踪虚拟相机向目标对象发射的100条光线，80条光线与目标对象发生了1次碰撞，3条光线与目标对象发生了3次碰撞，15条光线与目标对象发生了2次碰撞，则一共发生了80+15+15+3+3+3＝119次碰撞，在计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度时，需要119次碰撞中，每一次碰撞的碰撞位置和每一次碰撞的红外辐射强度。
本申请实施例的方法应用于智能终端，可以通过该智能终端来实施，具体的，该智能终端可以是电脑、手机或服务器等。
步骤S12，针对目标对象在成像平面上的各像素点，根据多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度。
其中，根据多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度，可以分别针对目标对象上的各像素点，计算多个碰撞位置中碰撞位置为该像素位置的碰撞的红外辐射强度的累加。例如，针对目标对象的119次碰撞中，3次碰撞的碰撞位置都是同一像素点，则针对该像素点的红外辐射强度为该三次碰撞的红外辐射强度的和。
步骤S13，根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像。
其中，根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像，可以根据计算得到的各像素点的红外辐射强度，生成红外辐射度图，例如，可以通过不同颜色表示不同的红外辐射强度值，生成红外辐射度图。在实际使用过程中，还可以根据用户特定需求生成多种红外成像图，如热成像图、红外夜视图等。
可见，通过本申请实施例的方法，可以通过直接碰撞位置和各碰撞位置对应的红外辐射强度，从而计算各像素点的红外辐射强度，生成所述目标对象红外图像，从而提高红外图像生成时的渲染效果。
可选的，参见图2，步骤S11计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度，包括：
步骤S111，根据目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度；
步骤S112，根据预设场景参数和目标对象的预设材质参数，计算第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，其中，N大于等于1。
可选的，根据目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度，包括：根据目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置，和第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率；根据第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率，计算第一红外辐射强度。
可选的，根据预设场景参数和目标对象的预设材质参数，计算第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，包括：根据目标对象的预设材质参数，计算第N碰撞点发射的光线和目标对象的第N+1碰撞位置，和第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率；根据第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率，计算第N+1红外辐射强度。
本申请实施例中，可以预先设置目标对象的预设材质参数，如，预先为场景内的每一个模型对象赋予红外材质，如温度分布场、对应特定红外波段的双向反射分布函数和双向散射分布函数等，红外材质参数主要用来计算红外辐射度。还可以预先设置环境参数，如大气透过率等，同样用于光照辐射度计算。在计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度时，可以根据预设参数计算预设起点发射的光线和目标对象的第一碰撞位置，和第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率。例如，参见图3，当一条光线与场景物体碰撞时，计算碰撞点处的红外辐射度，通过公式：
IRrad＝(IR(T)+IRdirect+IRindirect)*Attenuation(σ，d)
其中，IR(T)为碰撞点处自身散发的红外辐射，与碰撞点处温度相关，IRdirect为红外光源直接光照，IRindirect为周围对象的间接光照，Attenuation(σ，d)为衰减率，与材质红外透射率或者大气透射率σ和传播距离d相关。
具体的，根据目标对象的预设材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度，可以采用光线追踪的算法进行计算。例如，以虚拟相机为光线起点的光线追踪的方法：以虚拟相机坐标为起点，朝成像平面上每个像素方向发射光线，开始光线追踪，当光线与物体表面碰撞时，计算碰撞点的红外辐射度，并根据双向反射分布函数或双向散射分布函数等材质特性计算新光线的出射方向和能量衰减，以新光线为基础重新寻找新的碰撞点，如此下去直至没有碰撞或碰撞次数达到设置的上限，最后累加追踪路径上的辐射度，即可计算出此次采样每个像素对应的红外光强度。在实际使用过程中，还可以采样多次后取平均值，同时需要保存第一次碰撞的ID(标签)值。例如，参见图4，完成第一次碰撞点的计算后，以第一次碰撞点为起点，向新方向发射光线，继续寻找第二次碰撞点，新方向通过红外材质属性计算得到，计算第二次碰撞点辐射度，然后以第二次碰撞点为起点，向新方向发射光线，计算第三次碰撞点辐射度，如此迭代下去，直至达到设定的碰撞次数或者找不到碰撞点，累计每个碰撞点计算的辐射度，如此便完成了一次采样，多次采样取平均值作为最终红外辐射度。
可见，通过本申请实施例的方法，可以根据目标对象的预设材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度，根据预设场景参数和目标对象的预设材质参数，计算第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，从而可以计算出多个碰撞位置和各碰撞位置对应的红外辐射强度。
可选的，参见图5，步骤S12针对目标对象在成像平面上的各像素点，根据多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度，包括：
步骤S121，针对目标对象在成像平面上的任一像素点，识别多个碰撞位置中对应该像素点的目标碰撞位置，和目标碰撞位置对应的目标红外辐射强度；
步骤S122，对目标红外辐射强度进行叠加，得到该像素点的红外辐射强度。
其中，针对目标对象在成像平面上的任一像素点，识别多个碰撞位置中对应该像素点的目标碰撞位置，可以识别多次碰撞的多个碰撞位置中对应该像素点的一个或多个目标碰撞位置，和每一个目标碰撞位置对应的目标红外辐射强度。例如，针对目标对象的119次碰撞中，3次碰撞的碰撞位置都是同一像素点，则该三次碰撞的碰撞位置为对应该像素点的目标碰撞位置，该三次碰撞中每次碰撞的红外辐射强度为该像素点目标红外辐射强度。对目标红外辐射强度进行叠加，得到该像素点的红外辐射强度，例如，针对目标对象的119次碰撞中，3次碰撞的碰撞位置都是同一像素点，则可以对该3次碰撞的红外辐射强度进行求和，得到该像素点的红外辐射强度。
可见，通过本申请实施例的方法，可以针对目标对象在成像平面上的任一像素点，识别多个碰撞位置中对应该像素点的目标碰撞位置，和目标碰撞位置对应的目标红外辐射强度，对目标红外辐射强度进行叠加，得到该像素点的红外辐射强度，从而计算得到各像素点的红外辐射强度。
可选的，参见图6，根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像之后，上述方法还包括：
步骤S61，识别目标对象在成像平面中，第一碰撞位置对应的目标区域；
步骤S62，根据目标区域的位置对目标对象红外图像进行标定，得到标定后的红外图像。
本申请实施例中，可以预先对搭建三维虚拟场景，具体的，可以使用3ds Max(一种三维制图工具)、Maya(另一种三维制图工具)等。还可以预先为场景内的每一个对象赋予一个数值ID，或者ID纹理(即一个对象的不同部分可以设置不同的ID)，从而可以根据该ID值在光线追踪时与最终成像图中的像素关联，实现自动化标定。其中，本申请实施例中，在计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度，可以记录第一次碰撞的ID值。
在识别目标对象在成像平面中，第一碰撞位置对应的目标区域时，可以根据记录的第一次碰撞的ID值进行识别，获得与最终成像图相匹配的ID图，然后根据目标区域的位置对目标对象红外图像进行标定，然后获得场景中任意感兴趣对象在最终成像图中占据的像素区域，并进行标定，得到标定后的红外图像。例如，参见图7a，虚拟场景中的每一个模型对象都有自己的ID或者ID纹理，而要生成一张与最终红外仿真图像匹配的ID图，在光线追踪方法中，必须采用与渲染时一致的相机内外参，然后以相机为起点，朝成像平面上每个像素方向发射光线，记录第一次碰撞点的ID值，如图3所示，从而得到与红外仿真图匹配的ID图，再通过为每个ID值赋予不同的颜色值可得到标定后的红外图像。图7a中不同的填充表示不同的颜色。
在实际使用过程中，本申请实施例的红外图像生成方法生成的目标对象红外图像可以用于模型的训练，可选的，该待训练的网络模型可以是目标识别模型、特征提取模型等。具体的，当应用于目标识别模块时，参见图7b，根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像之后，上述方法还包括：
步骤S71，将目标对象红外图像输入待训练的目标识别模型，得到目标对象的识别结果；
步骤S72，根据识别结果对待训练的目标识别模型的参数进行更新，并返回将目标对象红外图像输入待训练的目标识别模型，得到目标对象的识别结果的步骤继续执行，直至满足预设终止条件，得到训练好的目标识别模型。
为了说明本申请实施例的方法以下结合具体实施例进行说明，参见图8，包括：
搭建三维虚拟场景，搭建三维虚拟场景可以使用现成的商业软件，如3ds Max、Maya等等。
设置场景内对象ID和红外材质，为场景内的每一个模型对象赋予一个数值ID，或者ID纹理(即一个模型的不同部分可以设置不同的ID)，此ID值可在后续光线追踪时与最终成像图中的像素关联，以此实现自动化标定机制；为场景内的每一个模型对象赋予红外材质，如温度分布场、对应特定红外波段的双向反射分布函数和双向散射分布函数等，红外材质参数主要用来计算红外辐射度。
设置环境参数，如大气透过率等，同样用于光照辐射度计算。
设置虚拟相机，包括内参和外参，虚拟相机指的是一个真实相机的数学简化模型，通过设置相机的内参来建立一个虚拟的相机对象，本质上就是一个三维到二维的映射函数，外参指的则是虚拟相机在世界空间中的位置、朝向，此相机对象可以将三维的虚拟场景映射为一张二维的平面图像，如同一个真正的相机一般。另外，通过设置不同的相机内参可以模拟不同的相机，比如带有远小近大效果的透视投影相机，没有远小近大效果的正交投影相机，具有180°视角的鱼眼相机等。
光线追踪计算红外辐射度，采用光线追踪的算法框架计算最终成像图上每个像素点的红外辐射度。这里举一种以相机为光线起点的光线追踪的方法：以相机坐标为起点，朝成像平面上每个像素方向发射光线，开始光线追踪，当光线与物体表面碰撞时，计算碰撞点的红外辐射度，并根据双向反射分布函数或双向散射分布函数等材质特性计算新光线的出射方向和能量衰减，以新光线为基础重新寻找新的碰撞点，如此下去直至没有碰撞或碰撞次数达到设置的上限，最后累加追踪路径上的辐射度，即可计算出此次采样每个像素对应的红外光强度，如此采样多次后取平均值，同时需要保存第一次碰撞的ID值。
红外成像，将上一步光线追踪得到的红外辐射度图根据用户特定需求装换成红外成像图，如热成像图、红外夜视图等。
自动化标定，根据光线追踪第一次碰撞时保存的ID值，可以获得与最终成像图相匹配的ID图，据此可以获得场景中任意感兴趣对象在最终成像图中占据的像素区域。
参见图9，图9为了说明本申请实施例提供的红外图像生成装置的一种结构示意图，包括：场景构建模块、渲染模块及自动化标定模块。
场景构建模块，包含整个三维虚拟场景的搭建，材质的赋予、环境参数的设置和虚拟相机的设置。
渲染模块，包含光线追踪计算红外辐射度和红外成像。
自动化标定模块，为最终成像图感兴趣区域的自动化标定。
本申请实施例的第二方面，提供了一种红外图像生成装置，参见图10，包括：
碰撞位置计算模块1001，用于计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
辐射强度计算模块1002，用于针对目标对象在成像平面上的各像素点，根据多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度；
红外图像生成模块1003，用于根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像。
可选的，碰撞位置计算模块1001，包括：
第一碰撞计算子模块，用于根据目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度；
第N碰撞计算子模块，用于根据预设场景参数和目标对象的预设材质参数，计算第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，其中，N大于等于1。
可选的，第一碰撞计算子模块，包括：
第一参数计算单元，用于根据目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置，和第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率；
第一辐射强度计算单元，用于根据第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率，计算第一红外辐射强度。
可选的，第N碰撞计算子模块，包括：
第N参数计算单元，用于根据目标对象的预设材质参数，计算第N碰撞点发射的光线和目标对象的第N+1碰撞位置，和第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率；
第N辐射强度计算单元，用于根据第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率，计算第N+1红外辐射强度。
可选的，辐射强度计算模块1002，包括：
像素识别子模块，用于针对目标对象在成像平面上的任一像素点，识别多个碰撞位置中对应该像素点的目标碰撞位置，和目标碰撞位置对应的目标红外辐射强度；
辐射强度叠加子模块，用于对目标红外辐射强度进行叠加，得到该像素点的红外辐射强度。
可选的，上述装置还包括：
区域识别模块，用于识别目标对象在成像平面中，第一碰撞位置对应的目标区域；
图像标定模块，用于根据目标区域的位置对目标对象红外图像进行标定，得到标定后的红外图像。
可选的，装置还包括：
图像输入模块，用于将目标对象红外图像输入待训练的目标识别模型，得到目标对象的识别结果；
模型训练模块，用于根据识别结果对待训练的目标识别模型的参数进行更新，并返回将目标对象红外图像输入待训练的目标识别模型，得到目标对象的识别结果的步骤继续执行，直至满足预设终止条件，得到训练好的目标识别模型。
通过本申请实施例的装置，可以通过直接碰撞位置和各碰撞位置对应的红外辐射强度，从而计算各像素点的红外辐射强度，生成所述目标对象红外图像，从而提高红外图像生成时的渲染效果。
本申请实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：
计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
针对目标对象在成像平面上的各像素点，根据多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度；
根据计算得到的各像素点的红外辐射强度，生成目标对象红外图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一红外图像生成方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一红外图像生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种红外图像生成方法，其特征在于，包括：
计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算所述各像素点的红外辐射强度；
根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像。
2.根据权利要求1所述的方法，其特征在于，所述计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度，包括：
根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度；
根据所述预设场景参数和所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，其中，N大于等于1。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置和对应的第一红外辐射强度，包括：
根据所述目标对象的预设场景参数和材质参数，计算预设起点发射的光线和目标对象的第一碰撞位置，和所述第一碰撞位置对应的自身红外辐射强度、第一外光源直接照射红外辐射强度、第一外光源间接照射红外辐射强度、第一周边物体间接照射红外辐射强度、第一衰减率；
根据所述第一碰撞位置对应的自身红外辐射强度、所述第一外光源直接照射红外辐射强度、所述第一外光源间接照射红外辐射强度、所述第一周边物体间接照射红外辐射强度、所述第一衰减率，计算所述第一红外辐射强度。
4.根据权利要求2所述的方法，其特征在于，所述根据所述预设场景参数和所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置和对应的第N+1红外辐射强度，包括：
根据所述目标对象的预设材质参数，计算所述第N碰撞点发射的光线和目标对象的第N+1碰撞位置，和所述第N+1碰撞位置对应的自身红外辐射强度、第二外光源直接照射红外辐射强度、第二外光源间接照射红外辐射强度、第二周边物体间接照射红外辐射强度、第二衰减率；
根据所述第N+1碰撞位置对应的自身红外辐射强度、所述第二外光源直接照射红外辐射强度、所述第二外光源间接照射红外辐射强度、所述第二周边物体间接照射红外辐射强度、所述第二衰减率，计算所述第N+1红外辐射强度。
5.根据权利要求1所述的方法，其特征在于，所述针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算各像素点的红外辐射强度，包括：
针对所述目标对象在成像平面上的任一像素点，识别所述多个碰撞位置中对应该像素点的目标碰撞位置，和所述目标碰撞位置对应的目标红外辐射强度；
对所述目标红外辐射强度进行叠加，得到该像素点的红外辐射强度。
6.根据权利要求2所述的方法，其特征在于，所述根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像之后，所述方法还包括：
识别所述目标对象在成像平面中，所述第一碰撞位置对应的目标区域；
根据所述目标区域的位置对所述目标对象红外图像进行标定，得到标定后的红外图像。
7.根据权利要求1所述的方法，其特征在于，所述根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像之后，所述方法还包括：
将所述目标对象红外图像输入待训练的目标识别模型，得到所述目标对象的识别结果；
根据所述识别结果对所述待训练的目标识别模型的参数进行更新，并返回所述将所述目标对象红外图像输入待训练的目标识别模型，得到所述目标对象的识别结果的步骤继续执行，直至满足预设终止条件，得到训练好的目标识别模型。
8.一种红外图像生成装置，其特征在于，包括：
碰撞位置计算模块，用于计算预设起点发射的光线和目标对象的多个碰撞位置和各碰撞位置对应的红外辐射强度；
辐射强度计算模块，用于针对所述目标对象在成像平面上的各像素点，根据所述多个碰撞位置和各碰撞位置对应的红外辐射强度，计算所述各像素点的红外辐射强度；
红外图像生成模块，用于根据计算得到的所述各像素点的红外辐射强度，生成所述目标对象红外图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202210636484.3A 2022-06-07 2022-06-07 一种红外图像生成方法、装置、电子设备及存储介质 Pending CN114882159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210636484.3A CN114882159A (zh) 2022-06-07 2022-06-07 一种红外图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210636484.3A CN114882159A (zh) 2022-06-07 2022-06-07 一种红外图像生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114882159A true CN114882159A (zh) 2022-08-09

Family

ID=82680445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210636484.3A Pending CN114882159A (zh) 2022-06-07 2022-06-07 一种红外图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114882159A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078877A (zh) * 2023-08-18 2023-11-17 中国人民解放军92728部队 基于地理信息的三维引擎红外视景生成方法及系统
CN117131312A (zh) * 2023-10-20 2023-11-28 西安电子科技大学 一种雨后环境下的红外场景数值计算方法
CN117830530A (zh) * 2024-01-04 2024-04-05 北京中科卓锐科技有限公司 用于红外仿真模拟的数据处理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078877A (zh) * 2023-08-18 2023-11-17 中国人民解放军92728部队 基于地理信息的三维引擎红外视景生成方法及系统
CN117078877B (zh) * 2023-08-18 2024-05-17 中国人民解放军92728部队 基于地理信息的三维引擎红外视景生成方法及系统
CN117131312A (zh) * 2023-10-20 2023-11-28 西安电子科技大学 一种雨后环境下的红外场景数值计算方法
CN117131312B (zh) * 2023-10-20 2024-01-26 西安电子科技大学 一种雨后环境下的红外场景数值计算方法
CN117830530A (zh) * 2024-01-04 2024-04-05 北京中科卓锐科技有限公司 用于红外仿真模拟的数据处理方法和装置

Similar Documents

Publication Publication Date Title
CN114882159A (zh) 一种红外图像生成方法、装置、电子设备及存储介质
CN110307838B (zh) 机器人重定位方法、装置、计算机可读存储介质及机器人
KR102223064B1 (ko) 영상 처리 장치 및 방법
US20190065933A1 (en) Augmenting Real Sensor Recordings With Simulated Sensor Data
CN111968215B (zh) 一种体积光渲染方法、装置、电子设备及存储介质
CN112689843B (zh) 闭环自动数据集创建系统和方法
CN111640180B (zh) 一种三维重建方法、装置及终端设备
US11094134B1 (en) System and method for generating synthetic data
CN114119853B (zh) 图像渲染方法、装置、设备和介质
CN113689578A (zh) 一种人体数据集生成方法及装置
WO2022193604A1 (en) Devices, systems, methods, and media for point cloud data augmentation using model injection
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN111932451A (zh) 重定位效果的评价方法、装置、电子设备和存储介质
CN115731350A (zh) 车辆的虚拟激光雷达的仿真方法及其装置
CN113658263A (zh) 基于视觉场景的电磁干扰源可视化标注方法
CN115984637A (zh) 时序融合的点云3d目标检测方法、系统、终端及介质
Jeon et al. A large-scale virtual dataset and egocentric localization for disaster responses
US20230162488A1 (en) Closed loop automatic dataset creation systems and methods
CN116384148A (zh) 一种雷达对抗系统的元宇宙建模系统
CN112541512B (zh) 一种图像集生成方法及装置
WO2020133206A1 (zh) 雷达仿真方法及装置
CN117575933B (zh) 一种图像融合方法和装置、电子设备
CN116977535B (zh) 一种实时光线追踪的方法、装置、存储介质及电子设备
CN112819805B (zh) 一种基于一字激光的物体位置识别方法及装置
CN117274473B (zh) 一种多重散射实时渲染的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination