CN114913293A - 三维热像模型生成方法、装置、系统及电子设备 - Google Patents

三维热像模型生成方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN114913293A
CN114913293A CN202210840013.4A CN202210840013A CN114913293A CN 114913293 A CN114913293 A CN 114913293A CN 202210840013 A CN202210840013 A CN 202210840013A CN 114913293 A CN114913293 A CN 114913293A
Authority
CN
China
Prior art keywords
image
visible light
parameter
dimensional
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210840013.4A
Other languages
English (en)
Inventor
祝渊
黄皓恬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern University of Science and Technology
Original Assignee
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern University of Science and Technology filed Critical Southern University of Science and Technology
Priority to CN202210840013.4A priority Critical patent/CN114913293A/zh
Publication of CN114913293A publication Critical patent/CN114913293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开了一种三维热像模型生成方法、装置、系统及电子设备。其中，三维热像模型生成方法包括：获取所述标定件的第一可见光图像，以得到第一内参数和第一外参数；获取所述标定件的第一热成像图像，根据所述第一热成像图像得到第二内参数；获取所述标定件的第二可见光图像和第二热成像图像，以得到第二外参数；获取待测件的第三可见光图像，并进行三维重建操作，得到所述待测件的三维结构模型；获取所述待测件的第三热成像图像，将第三热成像图像与三维结构模型通过第二外参数结合，得到所述待测件的三维热像模型。本发明的三维热像模型生成方法能够简化重建三维热像模型的操作流程，从而提高了三维热像模型的精确度。

Description

三维热像模型生成方法、装置、系统及电子设备
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种三维热像模型生成方法、装置、系统及电子设备。
背景技术
目前，红外热像图属于二维的温谱图，其用于显示物体表面温度分布图像。由于二维图像无法表征物体表面的几何信息，因此，对于结构复杂或有较大深度变化的工业零部件，二维的红外热像图存在无法准确判断该零部件在加热过程中是否出现异常的问题。
相关技术中，通过重建待测件的三维热像模型的方式解决上述问题。然而，目前的三维热像模型的生成方法需要通过移动红外相机或待测件的位置，以获取待测件各个角度的红外热像图，再根据红外热像图进行三维重建，从而导致操作流程复杂且冗长。同时，获取待测件红外热像图的操作流程过长，还会影响待测件的温度分布，从而导致三维热像模型不精确。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种三维热像模型生成方法，简化了重建三维热像模型的操作流程，从而避免了因操作时间过长而对待测件的温度分布产生影响，进而提高了三维热像模型的精确度。
本发明还提出一种具有上述三维热像模型生成方法的三维热像模型生成装置、三维热像模型生成系统以及电子设备。
根据本发明的第一方面实施例的三维热像模型生成方法，应用于控制器，所述控制器用于与双目摄像模组、红外摄像模组通信连接，其中，所述双目摄像模组用于获取可见光图像，所述红外摄像模组用于获取热成像图像，所述三维热像模型生成方法包括：
获取标定件的第一可见光图像，根据所述第一可见光图像进行第一标定操作，得到第一内参数和第一外参数；其中，所述第一内参数为所述双目摄像模组的相机参数，所述第一外参数为所述双目摄像模组与所述标定件的相对位置参数；
获取所述标定件的第一热成像图像，根据所述第一热成像图像进行第二标定操作，得到第二内参数；其中，所述第二内参数为所述红外摄像模组的相机参数；
获取所述标定件的第二可见光图像和第二热成像图像，根据所述第二可见光图像和所述第二热成像图像得到第二外参数；其中，所述第二外参数为所述双目摄像模组与所述红外摄像模组的相对位置参数；
获取待测件的第三可见光图像，根据所述第三可见光图像、所述第一内参数和所述第一外参数进行三维重建操作，得到所述待测件的三维结构模型；
获取所述待测件的第三热成像图像，根据所述第三热成像图像、所述第二内参数、所述第二外参数和所述三维结构模型得到所述待测件的三维热像模型。
根据本发明实施例的三维热像模型生成方法，至少具有如下有益效果：首先通过标定件对双目摄像模组和红外摄像模组进行标定，得到双目摄像模组的第一内参数和第一外参数以及红外摄像模组的第二内参数；完成标定后通过双目摄像模组和红外摄像模组分别获取标定件的可见光图像和热成像图像，得到表征双目摄像模组与红外摄像模组之间相对位置的第二外参数，并通过双目相机获取待测件的可见光图像，以重建三维结构模型；最后通过红外相机获取待测件的热成像图像，并根据该热成像图像、第二内参数、第二外参数和三维结构模型得到待测件的三维热像模型。本实施例的三维热像模型生成方法能够简化重建三维热像模型的操作流程，从而避免了因操作时间过长而对待测件的温度分布产生影响，进而提高了三维热像模型的精确度。
根据本发明的一些实施例，所述标定件包括多个标志孔；其中，多个所述标志孔以阵列形式排列。
根据本发明的一些实施例，所述根据所述第一可见光图像进行第一标定操作，得到第一内参数和第一外参数，包括：
根据所述第一可见光图像获取第一像素坐标；其中，所述第一像素坐标为所述标志孔的圆心在第一像素坐标系中的坐标；
根据所述第一可见光图像设定第一世界坐标系的原点；
根据所述第一世界坐标系的原点得到第一世界坐标；其中，所述第一世界坐标为所述标志孔的圆心在所述第一世界坐标系中的坐标；
根据所述第一像素坐标和所述第一世界坐标计算得到第一内参数；
根据所述第一内参数计算得到第一外参数。
根据本发明的一些实施例，所述根据所述第一热成像图像进行第二标定操作，得到第二内参数，包括：
根据所述第一热成像图像获取第二像素坐标；其中，所述第二像素坐标为所述标志孔的圆心在第二像素坐标系中的坐标；
根据所述第一热成像图像设定第二世界坐标系的原点；
根据所述第二世界坐标系的原点得到第二世界坐标；其中，所述第二世界坐标为所述标志孔的圆心在所述第二世界坐标系中的坐标；
根据所述第二像素坐标和所述第二世界坐标计算得到所述第二内参数。
根据本发明的一些实施例，所述根据所述第二可见光图像和所述第二热成像图像得到第二外参数，包括：
根据所述第二可见光图像和所述第二热成像图像设定第三世界坐标系的原点；
根据所述第三世界坐标系的原点得到第三世界坐标；其中，所述第三世界坐标为所述标志孔的圆心在所述第三世界坐标系中的坐标；
根据所述第三世界坐标计算得到所述第二外参数。
根据本发明的一些实施例，所述获取所述待测件的第三可见光图像，包括：
获取所述待测件在正弦光栅的不同空间频率下的所述第三可见光图像；其中，所述正弦光栅的空间频率包括：1、1/3、1/9、1/28、1/85。
根据本发明的一些实施例，所述根据所述第三可见光图像、所述第一内参数和所述第一外参数进行三维重建操作，得到所述待测件的三维结构模型，包括：
根据所述第三可见光图像、所述第一内参数和所述第一外参数得到光学参数；
根据所述光学参数计算得到目标相位；
根据所述目标相位进行三维重建操作，得到所述三维结构模型。
根据本发明的第二方面实施例的三维热像模型生成装置，应用于控制器，所述控制器用于与双目摄像模组、红外摄像模组通信连接，其中，所述双目摄像模组用于获取可见光图像，所述红外摄像模组用于获取热成像图像，所述三维热像模型生成装置包括：
标定模块，所述标定模块用于获取标定件的第一可见光图像，根据所述第一可见光图像进行第一标定操作，得到第一内参数和第一外参数；获取所述标定件的第一热成像图像，根据所述第一热成像图像进行第二标定操作，得到第二内参数；其中，所述第一内参数为双目摄像模组的相机参数，所述第一外参数为所述双目摄像模组与所述标定件的相对位置参数，所述第二内参数为红外摄像模组的相机参数；
参数获取模块，所述参数获取模块用于获取所述标定件的第二可见光图像和第二热成像图像，根据所述第二可见光图像和所述第二热成像图像得到第二外参数；其中，所述第二外参数为所述双目摄像模组与所述红外摄像模组的相对位置参数；
三维重建模块，所述三维重建模块用于获取待测件的第三可见光图像，根据所述第三可见光图像、所述第一内参数和所述第一外参数进行三维重建操作，得到所述待测件的三维结构模型；
映射模块，所述映射模块用于获取所述待测件的第三热成像图像，根据所述第三热成像图像、所述第二内参数、所述第二外参数和所述三维结构模型，得到所述待测件的三维热像模型。
根据本发明实施例的三维热像模型生成装置，至少具有如下有益效果：标定模块通过标定件对双目摄像模组和红外摄像模组进行标定，得到双目摄像模组的第一内参数和第一外参数以及红外摄像模组的第二内参数；参数获取模块通过双目摄像模组和红外摄像模组分别获取标定件的可见光图像和热成像图像，得到表征双目摄像模组与红外摄像模组之间相对位置的第二外参数；三维重建模块通过双目相机获取待测件的可见光图像，以重建三维结构模型；映射模块通过红外相机获取待测件的热成像图像，并根据该热成像图像、第二内参数、第二外参数和三维结构模型得到待测件的三维热像模型。本实施例的三维热像模型生成装置能够简化重建三维热像模型的操作流程，从而避免了因操作时间过长而对待测件的温度分布产生影响，进而提高了三维热像模型的精确度。
根据本发明的第三方面实施例的三维热像模型生成系统，包括：
控制器，所述控制器用于执行上述第一方面实施例的三维热像模型生成方法；
双目摄像模组，所述双目摄像模组与所述控制器通信连接，所述双目摄像模组用于获取可见光图像；
红外摄像模组，所述红外摄像模组与所述控制器通信连接，所述红外摄像模组用于获取热成像图像；
标定件，所述标定件用于对所述双目摄像模组和所述红外摄像模组进行标定操作。
根据本发明的第四方面实施例的电子设备，包括：
至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述指令时实现上述第一方面实施例的三维热像模型生成方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为世界坐标系、相机坐标系、图像坐标系、像素坐标系的示意图
图2为本发明三维热像模型生成方法的一具体实施例的流程框图；
图3为本发明三维热像模型生成方法的一具体实施例中标定件的示意图；
图4为本发明三维热像模型生成方法中步骤S110的一具体实施例的流程框图；
图5为本发明三维热像模型生成方法中步骤S120的一具体实施例的流程框图；
图6为本发明三维热像模型生成方法中步骤S130的一具体实施例的流程框图；
图7为本发明三维热像模型生成方法中步骤S140的一具体实施例的流程框图；
图8为本发明三维热像模型生成装置的一具体实施例的模块框图。
附图标记：
标定模块100、参数获取模块200、三维重建模块300、映射模块400。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是，在下列各实施例中，参照图1，世界坐标系Ow-XwYwZw用于描述相机位置，世界坐标系的原点Ow可以设置为三维空间中的任一点，世界坐标系的Xw轴、Yw轴、Zw轴可以根据实际需求进行设置，其中，M(Xw，Yw，Zw)为世界坐标系中的任一点。相机坐标系Oc-XcYcZc的原点Oc设置于相机的透镜中心，Zc轴与相机光轴重合，即Zc轴与图像平面垂直。图像坐标系o-xy的原点o设置于相机光轴与图像平面的交点，m(x,y)为世界坐标系中的点M在图像平面上的成像。像素坐标系uv的原点为相机获取的图像的左上角，u轴为图像的横轴，v轴为图像的纵轴。
在下列各实施例中，双目摄像模组包括第一可见光相机和第二可见光相机，红外摄像模组包括红外相机。其中，第一可见光相机和第二可见光相机设置于同一水平面上，第一可见光相机和第二可见光相机的光轴之间的角度根据实际测量需求进行设置。标定件与待测件均预先进行加热操作。控制器包括能够执行下列各实施例方法的微型计算机执行的软件、中央处理器或数字信号处理器等。
如图2所示，本发明实施例提供了一种三维热像模型生成方法，应用于控制器，控制器用于与双目摄像模组、红外摄像模组通信连接，其中，双目摄像模组用于获取可见光图像，红外摄像模组用于获取热成像图像，该三维热像模型生成方法包括但不限于步骤S110至步骤S150。
S110、获取标定件的第一可见光图像，根据第一可见光图像进行第一标定操作，得到第一内参数和第一外参数；其中，第一内参数为双目摄像模组的相机参数，第一外参数为双目摄像模组与标定件的相对位置参数。
S120、获取标定件的第一热成像图像，根据第一热成像图像进行第二标定操作，得到第二内参数；其中，第二内参数为红外摄像模组的相机参数。
具体地，标定件用于确定双目摄像模组和红外摄像模组所获取待测件的图像中，待测件的像素坐标转换为世界坐标的转换参数，以此确定该图像中待测件与实际被测物体的大小关系。同时，标定件还用于消除该图像中存在的畸变。上述确定转换参数的操作即为对双目摄像模组和红外摄像模组进行的标定操作。在相机获取图像后，需要进行标定操作以确定图像中物体的像素坐标和实际物体的世界坐标之间的变换参数。
本实施例通过双目摄像模组获取标定件的第一可见光图像，根据第一可见光图像计算得到双目摄像模组的第一内参数和第一外参数。第一内参数为第一可见光相机和第二可见光相机的相机参数；第一外参数为第一可见光相机、第二可见光相机分别与标定件的相对位置参数，该相对位置参数为从标定件分别到第一可见光相机和第二可见光相机的平移向量、旋转矩阵。
本实施例通过红外摄像模组获取标定件的第一热成像图像，根据第一热成像图像计算得到红外摄像模组的第二内参数，第二内参数为红外相机的相机参数。其中，上述相机参数包括：焦距、像素大小。
S130、获取标定件的第二可见光图像和第二热成像图像，根据第二可见光图像和第二热成像图像得到第二外参数；其中，第二外参数为双目摄像模组与红外摄像模组的相对位置参数。
具体地，本实施例中三维热像模型生成系统的相机坐标系的原点设置于第一可见光相机的透镜中心。本实施例通过双目摄像模组获取第二可见光图像，通过红外摄像模组获取第二热成像图像，根据第二可见光图像和第二热成像图像，可以计算得到从红外相机到第一可见光相机的平移向量和旋转矩阵，以及从第二可见光相机到第一可见光相机的平移向量和旋转矩阵，即得到第二外参数。第二外参数相当于该三维热像模型生成系统中，红外摄像模组与双目摄像模组之间的坐标转换参数。
S140、获取待测件的第三可见光图像，根据第三可见光图像、第一内参数和第一外参数进行三维重建操作，得到待测件的三维结构模型。
S150、获取待测件的第三热成像图像，根据第三热成像图像、第二内参数、第二外参数和三维结构模型得到待测件的三维热像模型。
具体地，在利用标定件进行标定操作后，不调整双目摄像模组和红外摄像模组之间的相对位置，并将上述标定件更换为待测件。通过双目摄像模组获取待测件的第三可见光图像，并根据第三可见光图像的图像数据、双目摄像模组的第一内参数和第一外参数，得到第三可见光图像中待测件在世界坐标系的三维结构分布，从而建立待测件的三维结构模型。通过红外摄像模组获取第三热成像图像，根据第三热成像图像的图像数据、红外摄像模组的第二内参数，得到第三热成像图像中待测件的红外热像分布，再根据第二外参数，将待测件的红外热像分布映射到三维结构模型上，从而得到待测件的三维热像模型。
根据本发明实施例的三维热像模型生成方法，首先通过标定件对双目摄像模组和红外摄像模组进行标定，得到第一内参数、第一外参数和第二内参数；完成标定后获取标定件的可见光图像和热成像图像，得到表征双目摄像模组与红外摄像模组之间相对位置的第二外参数，并通过双目相机获取待测件的可见光图像，以重建三维结构模型；最后通过红外相机获取待测件的热成像图像，并根据该热成像图像、第二内参数、第二外参数和三维结构模型得到待测件的三维热像模型。本实施例的三维热像模型生成方法能够简化重建三维热像模型的操作流程，从而避免了因操作时间过长而对待测件的温度分布产生影响，进而提高了三维热像模型的精确度。
如图3所示，在本发明的一些具体实施例中，标定件包括多个标志孔；其中，多个标志孔以阵列形式排列。
具体地，标定件在同一个平面上设置N个标志孔，并将该N个标志孔以a行b列的阵列形式排列，上述标志孔均用于双目摄像模组和红外摄像模组的标定操作。例如，标定件可以设置为99个标志孔，并将该99个标志孔以9行、11列的阵列形式进行排列。标志孔可以包括多个大孔和多个小孔，设置多个大孔能够便于用户确认标定板摆放角度。例如，参照图3，9×11个标志孔包括5个大孔和94个小孔，其中，5个大孔可以分别设置于第3行第5列、第3行第6列、第5行第3列、第5行第9列、第7行第6列。本实施例的标定件可采用铝合金加工制作，两个相邻的标志孔之间的距离已知，并预先通过加热台对标定件进行加热。
如图4所示，在本发明的一些具体实施例中，步骤S110包括但不限于有子步骤S210至子步骤S250：
S210、根据第一可见光图像获取第一像素坐标；其中，第一像素坐标为标志孔的圆心在第一像素坐标系中的坐标。
S220、根据第一可见光图像设定第一世界坐标系的原点。
S230、根据第一世界坐标系的原点得到第一世界坐标；其中，第一世界坐标为标志孔的圆心在第一世界坐标系中的坐标。
S240、根据第一像素坐标和第一世界坐标计算得到第一内参数。
S250、根据第一内参数计算得到第一外参数。
具体地，通过双目摄像模组的第一可见光相机和第二可见光相机各获取多张标定件的第一可见光图像，其中，每一张第一可见光图像中标定件与双目摄像模组之间的相对位置、角度不相同。例如，第一可见光相机和第二可见光相机各获取7张标定件的第一可见光图像。在对标定件进行拍摄的过程中，第一可见光相机与第二可见光相机之间相对位置不变，标定件相对于第一可见光相机或第二可见光相机的位置可以通过实际测量的需求进行调成。
获取第一可见光图像后，从每一张第一可见光图像中定位9×11个标志孔的圆心 在第一像素坐标系的坐标m(
Figure 578353DEST_PATH_IMAGE002
，
Figure 754119DEST_PATH_IMAGE004
)。从每一张第一可见光图像中设定标定件左上角的标志孔 的圆心为第一世界坐标系的原点，由于标定件上的标志孔均为预先设置的，即两个相邻的 标志孔之间的距离已知，因此可以根据第一世界坐标系的原点确定9×11个标志孔的圆心 在第一世界坐标系的坐标M(Xw，Yw，Zw)。由于标定件上的标志孔均设置于一个平面上，因 此，标志孔的圆心在第一世界坐标系的坐标M在Zw坐标轴上的取值为0。
标志孔的圆心在第一可见光相机的第一可见光图像中的像素坐标可表示为如下式（1）：
Figure 679350DEST_PATH_IMAGE005
..............式（1）
其中，K为第一可见光相机的第一内参数，设
Figure 903658DEST_PATH_IMAGE006
。r1、r2为标志孔的世界 坐标转换为第一可见光相机的相机坐标的旋转矩阵，t为标志孔的世界坐标转换为第一可 见光相机的相机坐标的平移向量，即r1、r2、t为第一外参数。
设
Figure 528937DEST_PATH_IMAGE007
，
Figure 813287DEST_PATH_IMAGE008
，可以得到
Figure 288131DEST_PATH_IMAGE009
。其中，
Figure 316130DEST_PATH_IMAGE010
。
设
Figure 497713DEST_PATH_IMAGE011
，可得如下式（2）、式（3）：
Figure 749702DEST_PATH_IMAGE012
..............式（2）
Figure 649525DEST_PATH_IMAGE013
..............式（3）
设
Figure 277953DEST_PATH_IMAGE014
，将B代入式（2）、式（3）可得如下式（4）：
Figure 579621DEST_PATH_IMAGE015
..............式（4）
求解式（4），可得：
Figure 940195DEST_PATH_IMAGE016
Figure 891096DEST_PATH_IMAGE017
Figure 260897DEST_PATH_IMAGE018
Figure 151493DEST_PATH_IMAGE019
Figure 10865DEST_PATH_IMAGE020
至此，可以得到第一可见光相机的第一内参数
Figure 619700DEST_PATH_IMAGE021
。
由于，第一内参数
Figure 855510DEST_PATH_IMAGE022
已知，且
Figure 866191DEST_PATH_IMAGE023
，因此可以求得第一外参 数
Figure 834147DEST_PATH_IMAGE024
。
同理，第二可见光相机的第一内参数、第一外参数可参照上述方式求解。
如图5所示，在本发明的一些具体实施例中，步骤S120包括但不限于有子步骤S310至子步骤S340：
S310、根据第一热成像图像获取第二像素坐标；其中，第二像素坐标为标志孔的圆心在第二像素坐标系中的坐标。
S320、根据第一热成像图像设定第二世界坐标系的原点。
S330、根据第二世界坐标系的原点得到第二世界坐标；其中，第二世界坐标为标志孔的圆心在第二世界坐标系中的坐标。
S340、根据第二像素坐标和第二世界坐标计算得到第二内参数。
具体地，通过红外摄像模组的红外相机获取多张标定件的第一热成像图像，其中，每一张第一热成像图像中标定件与红外相机之间的相对位置、角度不相同。例如，红外相机获取7张标定件的第一热成像图像。利用红外相机对标定件进行拍摄的过程中，通过移动标定件位置的方式实现从不同角度的标定件热成像图像。
红外相机第二内参数的计算过程与上述实施例中第一可见光相机的第一内参数计算过程相同，因此上述实施例中第一可见光相机的第一内参数计算方式可适用于本实施例红外相机第二内参数的计算中。
如图6所示，在本发明的一些具体实施例中，步骤S130包括但不限于有子步骤S410至子步骤S430：
S410、根据第二可见光图像和第二热成像图像设定第三世界坐标系的原点。
S420、根据第三世界坐标系的原点得到第三世界坐标；其中，第三世界坐标为标志孔的圆心在第三世界坐标系中的坐标。
S430、根据第三世界坐标计算得到第二外参数。
具体地，通过双目摄像模组的第一可见光相机获取标定件的第二可见光图像，以 及通过红外摄像模组的红外相机获取标定件的第二热成像图像，在第二可见光图像与第二 热成像图像中设定标定件左上角的标志孔的圆心为第三世界坐标系的原点。例如，获取的 第二可见光图像、第二热成像图像数量均为1张。由于标定件上的标志孔均为预先设置的， 即两个相邻的标志孔之间的距离已知，第三世界坐标系的原点确定9×11个标志孔的圆心 在第三世界坐标系的坐标，以此计算得到从第三世界坐标系到第一可见光相机坐标系的旋 转矩阵
Figure 992596DEST_PATH_IMAGE025
和平移向量
Figure 704200DEST_PATH_IMAGE026
、从第三世界坐标系到红外相机坐标系的旋转矩阵
Figure 127310DEST_PATH_IMAGE027
和平移向量
Figure 266168DEST_PATH_IMAGE028
，具体计算过程可参照上述实施例中第一可见光相机的第一外参数计算过程。设
Figure 849596DEST_PATH_IMAGE029
为 从红外相机坐标系到第一可见光相机坐标系的旋转矩阵，
Figure 161628DEST_PATH_IMAGE030
为从红外相机坐标系到第一 可见光相机坐标系的平移向量，
Figure 146902DEST_PATH_IMAGE031
、
Figure 518977DEST_PATH_IMAGE032
为第二外参数。将计算得到的
Figure 589701DEST_PATH_IMAGE025
、
Figure 643108DEST_PATH_IMAGE033
、
Figure 545205DEST_PATH_IMAGE027
、
Figure 25865DEST_PATH_IMAGE034
代入 下式（5）、式（6）：
Figure 318306DEST_PATH_IMAGE035
..............式（5）
Figure 739185DEST_PATH_IMAGE036
..............式（6）
即可求得第二外参数
Figure 433472DEST_PATH_IMAGE029
、
Figure 147350DEST_PATH_IMAGE037
。
在本发明的一些具体实施例中，步骤S140包括子步骤：
获取待测件在正弦光栅的不同空间频率下的第三可见光图像；其中，正弦光栅的空间频率包括：1、1/3、1/9、1/28、1/85。
具体地，利用空间频率为1、1/3、1/9、1/28、1/85的正弦光栅照射待测件的表面，通过双目摄像模组分别获取待测件在上述光照频率下的第三可见光图像。其中，空间频率表示正弦光栅在一个图像中出现的光栅条纹数，例如，空间频率为1时，图像中出现的光栅条纹数为1个；空间频率为1/3时，图像中出现的光栅条纹数为3个；空间频率为1/9时，图像中出现的光栅条纹数为9个。上述第三可见光图像具体包括：待测件在1、1/3、1/9、1/28的4种空间频率下的图像各4张，以及8张待测件在空间频率为1/85的正弦光栅照射下的图像，以及待测件在白光照射下的图像1张。
如图7所示，在本发明的一些具体实施例中，步骤S140还包括子步骤：
S510、根据第三可见光图像、第一内参数和第一外参数得到光学参数。
S520、根据光学参数计算得到目标相位。
S530、根据目标相位进行三维重建操作，得到三维结构模型。
具体地，光学参数包括：光栅的条纹数、背景光强、光栅条纹的调制深度、移动相位值、物点相位。获取待测件在上述光照频率下的第三可见光图像后，通过第一内参数和第一外参数确定图像中待测件的像素坐标和实际物体的世界坐标之间的变换参数，并根据第三可见光图像中一个频率正弦光栅，得到正弦光栅受待测件表面高度调整产生的光强函数：
Figure 192666DEST_PATH_IMAGE038
..............式（7）
其中，
Figure 587876DEST_PATH_IMAGE039
为背景光强，
Figure 198986DEST_PATH_IMAGE040
为光栅条纹的调制深度，
Figure 287027DEST_PATH_IMAGE041
为移动相位值，
Figure 616377DEST_PATH_IMAGE042
为待测件物点的相位，其中
Figure 815278DEST_PATH_IMAGE043
代表待测件高度信息。通过四步相移法，即将
Figure 218577DEST_PATH_IMAGE044
、
Figure 41302DEST_PATH_IMAGE045
、
Figure 795631DEST_PATH_IMAGE046
、
Figure 594960DEST_PATH_IMAGE047
分别代入式（7），得到包裹相位：
Figure 118345DEST_PATH_IMAGE048
..............式（8）
其中，
Figure 548190DEST_PATH_IMAGE049
。结合待测件上空间频率分别为1、1/3、1/9、1/28、1/85正弦光栅的 条纹数，可求解得到包裹相位的展开相位，即得到目标相位。目标相位包含待测件的三维结 构信息，通过三维结构构建软件根据目标相位进行三维重建操作，即可得到待测件的三维 结构模型。
如图8所示，本发明实施例还提供了一种三维热像模型生成装置，应用于控制器，该控制器用于与双目摄像模组、红外摄像模组通信连接，其中，双目摄像模组用于获取可见光图像，红外摄像模组用于获取热成像图像，该三维热像模型生成装置包括：
标定模块100，用于获取标定件的第一可见光图像，根据第一可见光图像进行第一标定操作，得到第一内参数和第一外参数；获取标定件的第一热成像图像，根据第一热成像图像进行第二标定操作，得到第二内参数；其中，第一内参数为双目摄像模组的相机参数，第一外参数为双目摄像模组与标定件的相对位置参数，第二内参数为红外摄像模组的相机参数；
参数获取模块200，用于获取标定件的第二可见光图像和第二热成像图像，根据第二可见光图像和第二热成像图像得到第二外参数；其中，第二外参数为双目摄像模组与红外摄像模组的相对位置参数；
三维重建模块300，用于获取待测件的第三可见光图像，根据第三可见光图像、第一内参数和第一外参数进行三维重建操作，得到待测件的三维结构模型；
映射模块400，用于获取待测件的第三热成像图像，根据第三热成像图像、第二内参数、第二外参数和三维结构模型，得到待测件的三维热像模型。
可见，上述三维热像模型生成方法实施例中的内容均适用于本三维热像模型生成装置实施例中，本三维热像模型生成装置实施例所具体实现的功能与上述三维热像模型生成方法实施例相同，并且达到的有益效果与上述三维热像模型生成方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种三维热像模型生成系统，包括：控制器、双目摄像模组、红外摄像模组和标定件。控制器用于执行如上述任一实施例所描述的三维热像模型生成方法，双目摄像模组和红外摄像模组分别与控制器通信连接；双目摄像模组用于获取可见光图像，红外摄像模组用于获取热成像图像；标定件用于对双目摄像模组和红外摄像模组进行标定操作。
可见，上述三维热像模型生成方法实施例中的内容均适用于本三维热像模型生成系统实施例中，本三维热像模型生成系统实施例所具体实现的功能与上述三维热像模型生成方法实施例相同，并且达到的有益效果与上述三维热像模型生成方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种电子设备，包括：至少一个处理器，以及，与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行上述指令时实现如上述任一实施例所描述的三维热像模型生成方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.三维热像模型生成方法，其特征在于，应用于控制器，所述控制器用于与双目摄像模组、红外摄像模组通信连接，其中，所述双目摄像模组用于获取可见光图像，所述红外摄像模组用于获取热成像图像，所述三维热像模型生成方法包括：
获取标定件的第一可见光图像，根据所述第一可见光图像进行第一标定操作，得到第一内参数和第一外参数；其中，所述第一内参数为所述双目摄像模组的相机参数，所述第一外参数为所述双目摄像模组与所述标定件的相对位置参数；
获取所述标定件的第一热成像图像，根据所述第一热成像图像进行第二标定操作，得到第二内参数；其中，所述第二内参数为所述红外摄像模组的相机参数；
获取所述标定件的第二可见光图像和第二热成像图像，根据所述第二可见光图像和所述第二热成像图像得到第二外参数；其中，所述第二外参数为所述双目摄像模组与所述红外摄像模组的相对位置参数；
获取待测件的第三可见光图像，根据所述第三可见光图像、所述第一内参数和所述第一外参数进行三维重建操作，得到所述待测件的三维结构模型；
获取所述待测件的第三热成像图像，根据所述第三热成像图像、所述第二内参数、所述第二外参数和所述三维结构模型得到所述待测件的三维热像模型。
2.根据权利要求1所述的三维热像模型生成方法，其特征在于，所述标定件包括多个标志孔；其中，多个所述标志孔以阵列形式排列。
3.根据权利要求2所述的三维热像模型生成方法，其特征在于，所述根据所述第一可见光图像进行第一标定操作，得到第一内参数和第一外参数，包括：
根据所述第一可见光图像获取第一像素坐标；其中，所述第一像素坐标为所述标志孔的圆心在第一像素坐标系中的坐标；
根据所述第一可见光图像设定第一世界坐标系的原点；
根据所述第一世界坐标系的原点得到第一世界坐标；其中，所述第一世界坐标为所述标志孔的圆心在所述第一世界坐标系中的坐标；
根据所述第一像素坐标和所述第一世界坐标计算得到第一内参数；
根据所述第一内参数计算得到第一外参数。
4.根据权利要求3所述的三维热像模型生成方法，其特征在于，所述根据所述第一热成像图像进行第二标定操作，得到第二内参数，包括：
根据所述第一热成像图像获取第二像素坐标；其中，所述第二像素坐标为所述标志孔的圆心在第二像素坐标系中的坐标；
根据所述第一热成像图像设定第二世界坐标系的原点；
根据所述第二世界坐标系的原点得到第二世界坐标；其中，所述第二世界坐标为所述标志孔的圆心在所述第二世界坐标系中的坐标；
根据所述第二像素坐标和所述第二世界坐标计算得到所述第二内参数。
5.根据权利要求4所述的三维热像模型生成方法，其特征在于，所述根据所述第二可见光图像和所述第二热成像图像得到第二外参数，包括：
根据所述第二可见光图像和所述第二热成像图像设定第三世界坐标系的原点；
根据所述第三世界坐标系的原点得到第三世界坐标；其中，所述第三世界坐标为所述标志孔的圆心在所述第三世界坐标系中的坐标；
根据所述第三世界坐标计算得到所述第二外参数。
6.根据权利要求1至5任一项所述的三维热像模型生成方法，其特征在于，所述获取所述待测件的第三可见光图像，包括：
获取所述待测件在正弦光栅的不同空间频率下的所述第三可见光图像；其中，所述正弦光栅的空间频率包括：1、1/3、1/9、1/28、1/85。
7.根据权利要求6所述的三维热像模型生成方法，其特征在于，所述根据所述第三可见光图像、所述第一内参数和所述第一外参数进行三维重建操作，得到所述待测件的三维结构模型，包括：
根据所述第三可见光图像、所述第一内参数和所述第一外参数得到光学参数；
根据所述光学参数计算得到目标相位；
根据所述目标相位进行三维重建操作，得到所述三维结构模型。
8.三维热像模型生成装置，其特征在于，应用于控制器，所述控制器用于与双目摄像模组、红外摄像模组通信连接，其中，所述双目摄像模组用于获取可见光图像，所述红外摄像模组用于获取热成像图像，所述三维热像模型生成装置包括：
标定模块，所述标定模块用于获取标定件的第一可见光图像，根据所述第一可见光图像进行第一标定操作，得到第一内参数和第一外参数；获取所述标定件的第一热成像图像，根据所述第一热成像图像进行第二标定操作，得到第二内参数；其中，所述第一内参数为双目摄像模组的相机参数，所述第一外参数为所述双目摄像模组与所述标定件的相对位置参数，所述第二内参数为红外摄像模组的相机参数；
参数获取模块，所述参数获取模块用于获取所述标定件的第二可见光图像和第二热成像图像，根据所述第二可见光图像和所述第二热成像图像得到第二外参数；其中，所述第二外参数为所述双目摄像模组与所述红外摄像模组的相对位置参数；
三维重建模块，所述三维重建模块用于获取待测件的第三可见光图像，根据所述第三可见光图像、所述第一内参数和所述第一外参数进行三维重建操作，得到所述待测件的三维结构模型；
映射模块，所述映射模块用于获取所述待测件的第三热成像图像，根据所述第三热成像图像、所述第二内参数、所述第二外参数和所述三维结构模型得到所述待测件的三维热像模型。
9.三维热像模型生成系统，包括：
控制器，所述控制器用于执行如权利要求1至7任一项所述的三维热像模型生成方法；
双目摄像模组，所述双目摄像模组与所述控制器通信连接，所述双目摄像模组用于获取可见光图像；
红外摄像模组，所述红外摄像模组与所述控制器通信连接，所述红外摄像模组用于获取热成像图像；
标定件，所述标定件用于对所述双目摄像模组和所述红外摄像模组进行标定操作。
10.电子设备，其特征在于，包括：
至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述指令时实现如权利要求1至7中任一项所述的三维热像模型生成方法。
CN202210840013.4A 2022-07-18 2022-07-18 三维热像模型生成方法、装置、系统及电子设备 Pending CN114913293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210840013.4A CN114913293A (zh) 2022-07-18 2022-07-18 三维热像模型生成方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210840013.4A CN114913293A (zh) 2022-07-18 2022-07-18 三维热像模型生成方法、装置、系统及电子设备

Publications (1)

Publication Number Publication Date
CN114913293A true CN114913293A (zh) 2022-08-16

Family

ID=82772676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210840013.4A Pending CN114913293A (zh) 2022-07-18 2022-07-18 三维热像模型生成方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114913293A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN109741400A (zh) * 2018-12-11 2019-05-10 东南大学 一种工业双目摄像头与红外热成像仪联合标定的装置和方法
CN112102491A (zh) * 2020-08-12 2020-12-18 西安交通大学 一种基于面结构光的皮肤损伤表面三维重建方法
CN113436265A (zh) * 2020-03-08 2021-09-24 天津理工大学 红外热像仪与可见光相机的双目标定装置及其使用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
CN109741400A (zh) * 2018-12-11 2019-05-10 东南大学 一种工业双目摄像头与红外热成像仪联合标定的装置和方法
CN113436265A (zh) * 2020-03-08 2021-09-24 天津理工大学 红外热像仪与可见光相机的双目标定装置及其使用方法
CN112102491A (zh) * 2020-08-12 2020-12-18 西安交通大学 一种基于面结构光的皮肤损伤表面三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江国威等: "基于三目视觉的红外热像仪标定方法", 《计算机应用与软件》 *

Similar Documents

Publication Publication Date Title
JP7059355B6 (ja) シーンの表現を生成するための装置及び方法
EP2194725B1 (en) Method and apparatus for correcting a depth image
CN105716582B (zh) 摄像机视场角的测量方法、装置以及摄像机视场角测量仪
CN106887023A (zh) 用于双目摄像机标定的标定板及其标定方法和标定系统
CN112581545B (zh) 多模态热源识别及三维空间定位系统、方法及存储介质
CN108830906B (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
US7652251B1 (en) Registration methods for fusing corresponding infrared and visible light images
CN109920003B (zh) 相机标定检测方法、装置以及设备
CN110390719A (zh) 基于飞行时间点云重建设备
WO2020020021A1 (zh) 测温处理方法、装置及热成像设备
US9881377B2 (en) Apparatus and method for determining the distinct location of an image-recording camera
KR101342393B1 (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
CN109741400B (zh) 一种工业双目摄像头与红外热成像仪联合标定的装置和方法
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
JP2010169590A (ja) 熱変形測定方法及び装置
CN109931906B (zh) 摄像机测距方法、装置以及电子设备
CN106352806A (zh) 一种立体视觉三维数字图像相关测量的高精度标定方法
CN109118525A (zh) 一种双波段红外图像空域配准方法
CN111442845A (zh) 基于距离补偿的红外测温方法、装置及计算机存储介质
CN107340064A (zh) 基于扫描矩形黑体的热像仪非均匀性评价校正装置
CN112352419A (zh) 用于红外相机中的寄生热补偿的设备和方法
CN113834571A (zh) 一种目标测温方法、装置及测温系统
JP3237414B2 (ja) ステレオカメラ校正装置
CN112102387A (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
CN116630444A (zh) 一种相机与激光雷达融合校准的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220816

RJ01 Rejection of invention patent application after publication