CN112767248B - 红外相机图片拼接方法、装置、设备及可读存储介质 - Google Patents
红外相机图片拼接方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112767248B CN112767248B CN202110044187.5A CN202110044187A CN112767248B CN 112767248 B CN112767248 B CN 112767248B CN 202110044187 A CN202110044187 A CN 202110044187A CN 112767248 B CN112767248 B CN 112767248B
- Authority
- CN
- China
- Prior art keywords
- picture
- infrared camera
- target
- point
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013507 mapping Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种红外相机图片拼接方法、装置、设备及可读存储介质，所述方法包括：查找红外相机图片与目标深度图片之间的像素点对；将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；将各所述投影图片进行融合得到拼接图片。本发明实现将各张红外相机图片进行拼接，以得到视角更广的红外相机图片。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种红外相机图片拼接方法、装置、设备及可读存储介质。
背景技术
红外相机可以采集人体表面的温度信息，生成一张单通道的温度图片，图片上每个像素上存储了一个温度值。在实际使用过程中，红外相机由于视角小，通常需要把多张图片融合为一张图片。因此，如何将多张不同视角的红外相机图片拼接为一张图片是一个亟待解决的问题。
发明内容
本发明的主要目的在于提供一种红外相机图片拼接方法、装置、设备及可读存储介质，旨在解决如何将多张不同视角的红外相机图片拼接为一张图片的技术问题。
为实现上述目的，本发明提供一种红外相机图片拼接方法，所述方法包括以下步骤：
查找红外相机图片与目标深度图片之间的像素点对；
将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
将各所述投影图片进行融合得到拼接图片。
可选地，所述查找红外相机图片与目标深度图片之间的像素点对的步骤包括：
计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
计算所述目标点在红外相机图片中对应的第二像素点；
将所述第一像素点和所述第二像素点作为所述红外相机图片和所述目标深度图片之间的像素点对。
可选地，所述计算所述目标点在红外相机图片中对应的第二像素点的步骤包括：
根据拍摄所述红外相机图片的红外相机的内参、外参和相机成像模型，计算所述目标点在所述红外相机图片中对应的第二像素点。
可选地，所述计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点的步骤之前，还包括：
根据所述目标深度图片中各像素点坐标生成点云；
将所述点云中的各有效点依次作为所述目标点。
可选地，所述将所述点云中的各有效点依次作为所述目标点的步骤包括：
将所述点云中对应深度值不为零的点作为有效点，并将各所述有效点依次作为所述目标点。
可选地，所述将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片的步骤包括：
根据各红外相机图片各自对应的所述像素点对分别计算各所述红外相机图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
将各所述红外相机图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到各投影图片。
可选地，所述将各所述投影图片进行融合得到拼接图片的步骤包括：
对各所述投影图片中对应相同像素坐标的各温度值进行平均，以将各所述投影图片融合得到拼接图片。
为实现上述目的，本发明还提供一种红外相机图片拼接装置，所述装置包括：
查找模块，用于查找红外相机图片与目标深度图片之间的像素点对；
投影模块，用于将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
融合模块，用于将各所述投影图片进行融合得到拼接图片。
为实现上述目的，本发明还提供一种红外相机图片拼接设备，所述红外相机图片拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的红外相机图片拼接程序，所述红外相机图片拼接程序被所述处理器执行时实现如上所述的红外相机图片拼接方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有红外相机图片拼接程序，所述红外相机图片拼接程序被处理器执行时实现如上所述的红外相机图片拼接方法的步骤。
本发明中，通过查找各张红外相机图片与目标深度图片之间的像素点对，将各红外相机图片按照各自对应的像素点对分别投影到与该目标深度图片尺寸相同的图片上，得到各投影图片，再将各张投影图片进行融合得到拼接图片，也即，通过借助视角更广的深度相机拍摄的深度图片，找到各红外相机图片与深度图片之间的像素点对应关系，从而实现将各张红外相机图片进行拼接，以得到视角更广的红外相机图片。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明红外相机图片拼接方法第一实施例的流程示意图；
图3为本发明红外相机图片拼接装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例红外相机图片拼接设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。
如图1所示，该红外相机图片拼接设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对红外相机图片拼接设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及红外相机图片拼接程序。操作系统是管理和控制设备硬件和软件资源的程序，支持红外相机图片拼接程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的红外相机图片拼接程序，并执行以下操作：
查找红外相机图片与目标深度图片之间的像素点对；
将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
将各所述投影图片进行融合得到拼接图片。
进一步地，所述查找红外相机图片与目标深度图片之间的像素点对的步骤包括：
计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
计算所述目标点在红外相机图片中对应的第二像素点；
将所述第一像素点和所述第二像素点作为所述红外相机图片和所述目标深度图片之间的像素点对。
进一步地，所述计算所述目标点在红外相机图片中对应的第二像素点的步骤包括：
根据拍摄所述红外相机图片的红外相机的内参、外参和相机成像模型，计算所述目标点在所述红外相机图片中对应的第二像素点。
进一步地，所述计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点的步骤之前，处理器1001还可以用于调用存储器1005中存储的红外相机图片拼接程序，执行以下操作：
根据所述目标深度图片中各像素点坐标生成点云；
将所述点云中的各有效点依次作为所述目标点。
进一步地，所述将所述点云中的各有效点依次作为所述目标点的步骤包括：
将所述点云中对应深度值不为零的点作为有效点，并将各所述有效点依次作为所述目标点。
进一步地，所述将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片的步骤包括：
根据各红外相机图片各自对应的所述像素点对分别计算各所述红外相机图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
将各所述红外相机图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到各投影图片。
进一步地，所述将各所述投影图片进行融合得到拼接图片的步骤包括：
对各所述投影图片中对应相同像素坐标的各温度值进行平均，以将各所述投影图片融合得到拼接图片。
基于上述的结构，提出红外相机图片拼接方法的各个实施例。
参照图2，图2为本发明红外相机图片拼接方法第一实施例的流程示意图。
本发明实施例提供了红外相机图片拼接方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明红外相机图片拼接方法各个实施例的执行主体可以是红外相机、智能手机、个人计算机和服务器等设备，为便于描述，以下各实施例中省略执行主体进行阐述。在本实施例中，红外相机图片拼接方法包括：
步骤S10，查找红外相机图片与目标深度图片之间的像素点对；
在本实施例中，对于不同拍摄角度的红外相机所拍摄的多张红外相机图片进行拼接。红外相机图片也可称为温度图片，各个像素点的像素值是单通道的温度值。对于需要拼接的各个红外相机图片，分别查找每一张红外相机图片与一目标深度图片之间的像素点对。需要说明的是，对于每一张红外图片，都针对同一深度图片来查找像素点对，故将该深度图片称为目标深度图片。目标深度图片是由深度相机拍摄的，深度相机与各个红外相机的内外参数可以是预先标定好的，深度相机所拍摄的角度范围更广，红外相机的拍摄角度范围叫窄，通过标定，深度相机的拍摄角度范围可以覆盖红外相机的拍摄角度范围。对于一张红外相机图片，根据拍摄该红外相机图片的红外相机与深度相机之间预先标定的内外参数，可以查找到红外相机图片中像素点在目标深度图片中对应的像素点，也即，两个像素点对应拍摄对象中的同一区域，将这两个像素点作为像素点对。像素点对采用两个像素点的坐标表示，例如(u1，v1)和(u2，v2)，其中，前者是红外相机图片中的像素点坐标，后者是目标深度图片中的像素点坐标。按照相同的方法可以查找到多组像素点对，最终得到各张红外相机图片分别对应的多组像素点对。
步骤S20，将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
可生成一张与目标深度图片尺寸相同的图片(以下称为目标图片)，例如，目标深度图片的尺寸是1028*1028，则目标图片的尺寸也是1028*1028。目标图片可以是单通道图片，图像上各个像素点的像素值被初始化。各个像素点的初始化值可以相同，也可以不同，为不影响后面的图片拼接，可以将各像素点的初始化值设为0，或者其他不在温度值范围内的值。
将各红外相机图片按照各自对应的像素点对分别投影到与目标图片上，得到各投影图片。也即，有N张红外相机图片，进行N次投影，每一次投影是独立的，最终得到N张投影图片。对于一张红外相机图片而言，由于找到了该图片与目标深度图片之间的像素点对，目标图片的尺寸与目标深度图片的尺寸相同，故该图片与目标深度图片之间的像素点对也是该图片与目标图片之间的像素点对；进而可以根据两张图片的像素点对来对两张图片进行拼接，也即将红外相机图片投影到目标图片上；投影时，若目标图片的像素点初始化值为0，则可将两张图片重叠位置的像素点值相加，若初始化不为0，则可将两张图片重叠位置的像素点值置为红外相机图片中该位置的像素点值。由于目标深度图片的角度范围更广，所以目标图片并不能够完全被红外相机图片覆盖，所以目标图片未被红外相机图片覆盖的部分像素点值仍未初始化值。
步骤S30，将各所述投影图片进行融合得到拼接图片。
投影得到各张投影图片后，将各投影图片进行融合得到一张图片，这张图片就是各红外相机图片的拼接图片。具体地，各张投影图片的尺寸是相同的，故可将各张投影图片中相同位置的各个像素点进行融合，融合的方式可以是平均或加权平均。需要说明的是，当目标图片像素点的初始化值不为0时，在融合时可以只计算目标图片中被覆盖位置的像素点值，而不计算目标图片中未被覆盖的像素点值。
在本实施例中，通过查找各张红外相机图片与目标深度图片之间的像素点对，将各红外相机图片按照各自对应的像素点对分别投影到与该目标深度图片尺寸相同的图片上，得到各投影图片，再将各张投影图片进行融合得到拼接图片，也即，通过借助视角更广的深度相机拍摄的深度图片，找到各红外相机图片与深度图片之间的像素点对应关系，从而实现将各张红外相机图片进行拼接，以得到视角更广的红外相机图片。
进一步地，基于上述第一实施例，提出本发明红外相机图片拼接方法的第二实施例，在本实施例中，所述步骤S10包括：
步骤S101，计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
在本实施例中，查找红外相机图片与目标深度图片之间像素点对时，可以借助深度图片对应的点云。具体地，根据目标深度图片是可以生成三维点云的，点云中每个点的坐标是三维坐标，表示其在空间中的位置。对于点云中的目标点，可以根据点云坐标与深度图片像素坐标之间的转换关系式，计算得到目标点在深度图片中对应的像素点(以下称为第一像素点以示区分)，也即像素坐标。
转换关系式如下：
其中，fsx、fsy、us0和Vs0为深度相机内参，由厂家标定得到，fsx和fsy分别是x、y方向焦距，us0和Vs0为目标深度图片的中心坐标。(x，y，z)为点云中点的三维坐标，求得的深度图片中的像素坐标为(xs，ys)。
可以选择点云中所有点依次作为目标点，也可以选择点云中一定数量的点依次作为目标点，在本实施例中不作限制。
步骤S102，计算所述目标点在红外相机图片中对应的第二像素点；
计算目标点在红外相机图片中对应的第二像素点。具体地，红外相机是与深度相机进行预先标定的，根据标定后的红外相机的内外参数，可以找到点云坐标与红外相机图片像素坐标之间的转换关系式，根据转换关系式计算得到目标点在红外相机图片中对应的像素点(以下称为第二像素点以示区分)，也即像素坐标。
进一步地，所述步骤S102包括：
步骤S1021，根据拍摄所述红外相机图片的红外相机的内参、外参和相机成像模型，计算所述目标点在所述红外相机图片中对应的第二像素点。
在一实施方式中，可以采用红外相机的内参、外参和相机成像模型，计算得到目标点在红外相机图片中对应的第二像素点。相机成像模型如下：
其中，Zc是相机坐标的z轴值，即目标到相机的距离；(u，v)是红外相机图片中的像素坐标；frx、fry、ur0和Vr0为红外相机内参，由厂家标定得到，frx和fry分别是x、y方向焦距，ur0和Vr0为红外相机图片的中心坐标；R和T是红外相机的外参；(X，Y，Z)是点云中点的三维坐标。
步骤S103，将所述第一像素点和所述第二像素点作为所述红外相机图片和所述目标深度图片之间的像素点对。
第一像素点和第二像素点都对应了目标点，也即，第一像素点和第二像素点对应了空间中的同一位置，故将第一像素点和第二像素点作为红外相机图片和目标深度图片之间的像素点对。对点云中多个目标点均按照上述方式计算像素点对，即可查找到红外相机图片与目标深度图片之间的多组像素点对。需要说明的是，在计算每张红外相机图片对应的像素点对时，对目标深度图片进行的相同操作可以指进行一次，从而减少重复的计算。
在本实施例中，利用点云，结合相机成像模型来求对应的像素点对，实现了借助深度图片来拼接红外相机图片，从而获得视角更广的红外相机图片。
进一步地，所述步骤S101之前，还包括：
步骤S104，根据所述目标深度图片中各像素点坐标生成点云；
步骤S105，将所述点云中的各有效点依次作为所述目标点。
在一实施方式中，可先根据目标深度图片中各像素点坐标生成点云。具体地生成方式可参照现有的深度图片点云生成方式，在此不进行详细赘述。生成点云后，可将点云中的各个有效点依次作为目标点，由于点云中可能存在一些无效点，依据这些无效点计算得到的深度图片和红外相机图片中的像素点坐标可能是错误的，故，在本实施例中，可将点云中的有效点作为目标点，而不考虑无效点。其中，在深度相机拍摄深度图片时，可将深度值不确定的像素点的深度值置为0或其他特定值，则可将点云中对应深度值为不为零，或不为该特定值的点作为有效点。
进一步地，基于上述第一和/或第二实施例，提出本发明红外相机图片拼接方法的第三实施例，在本实施例中，所述步骤S20包括：
步骤S201，根据各红外相机图片各自对应的所述像素点对分别计算各所述红外相机图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
在查找到各红外相机图片分别对应的像素点对后，对于每一张红外相机图片，可根据该红外相机图片对应的像素点对，计算该红外相机图片与目标图片之间的单映射变换矩阵。其中，目标图片即与目标深度图片尺寸相同的图片，故红外相机图片与目标深度图片之间的像素点对也是该红外相机图片与目标图片之间的像素点对。根据像素点对计算两张图片之间的单映射变换矩阵的方法可以参照现有的单映射变换矩阵计算方法，在本实施例中不再详细赘述。
步骤S202，将各所述红外相机图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到各投影图片。
在计算得到各红外相机图片对应的单映射变换矩阵后，对于每一张红外相机图片，即可根据该红外相机图片对应的单映射变换矩阵将该红外相机图片投影到目标图片上。其中，根据单映射变换矩阵将一张图片投影到另一张图片的方法也可以参照现有的基于单映射变换矩阵的图片投影方法，在本实施例中不再详细赘述。
进一步地，所述步骤S30包括：
步骤S301，对各所述投影图片中对应相同像素坐标的各温度值进行平均，以将各所述投影图片融合得到拼接图片。
在得到各张投影图片后，若目标图片中像素点的初始化值为零，则可以将各投影图片中对应相同像素坐标的各温度值进行平均，即可得到一张图片，该图片即对各投影图片进行融合得到的拼接图片。进一步地，也可以是对于一个像素坐标，将该像素坐标在各张投影图片中对应的温度值大于0的个数记为m；若m大于0，则可将各投影图片中该像素坐标对应的温度值进行平均，得到拼接图片中该像素坐标对应的温度值；若m＝0，则可将该像素坐标对应的温度值置为0。
也即，对于像素坐标(u，v)，在各张投影图片中的温度值分别是：t(u，v)、t(u，v)、…、t(u，v)，其中，n是投影图片的数量，融合后拼接图片中该像素坐标的温度值为：
此外，此外本发明实施例还提出一种红外相机图片拼接装置，参照图3，所述装置包括：
查找模块10，用于查找红外相机图片与目标深度图片之间的像素点对；
投影模块20，用于将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
融合模块30，用于将各所述投影图片进行融合得到拼接图片。
进一步地，所述查找模块10包括：
第一计算单元，用于计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
第二计算单元，用于计算所述目标点在红外相机图片中对应的第二像素点；
第一确定单元，用于将所述第一像素点和所述第二像素点作为所述红外相机图片和所述目标深度图片之间的像素点对。
进一步地，所述第二计算单元还用于：
根据拍摄所述红外相机图片的红外相机的内参、外参和相机成像模型，计算所述目标点在所述红外相机图片中对应的第二像素点。
进一步地，所述查找模块10还包括：
生成单元，用于根据所述目标深度图片中各像素点坐标生成点云；
第二确定单元，用于将所述点云中的各有效点依次作为所述目标点。
进一步地，所述第二确定单元还用于：
将所述点云中对应深度值不为零的点作为有效点，并将各所述有效点依次作为所述目标点。
进一步地，所述投影模块20包括：
第三计算单元，用于根据各红外相机图片各自对应的所述像素点对分别计算各所述红外相机图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
投影单元，用于将各所述红外相机图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到各投影图片。
进一步地，所述融合模块30包括：
融合单元，用于对各所述投影图片中对应相同像素坐标的各温度值进行平均，以将各所述投影图片融合得到拼接图片。
本发明红外相机图片拼接装置的具体实施方式的拓展内容与上述红外相机图片拼接方法各实施例基本相同，在此不做赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有红外相机图片拼接程序，所述红外相机图片拼接程序被处理器执行时实现如下所述的红外相机图片拼接方法的步骤。
本发明红外相机图片拼接设备和计算机可读存储介质的各实施例，均可参照本发明红外相机图片拼接方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种红外相机图片拼接方法，其特征在于，所述方法包括以下步骤：
查找红外相机图片与目标深度图片之间的像素点对；
将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
将各所述投影图片进行融合得到拼接图片；
其中，所述查找红外相机图片与目标深度图片之间的像素点对的步骤包括：
计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
计算所述目标点在红外相机图片中对应的第二像素点；
将所述第一像素点和所述第二像素点作为所述红外相机图片和所述目标深度图片之间的像素点对；
所述将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片的步骤包括：
根据各红外相机图片各自对应的所述像素点对分别计算各所述红外相机图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
将各所述红外相机图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到各投影图片。
2.如权利要求1所述的红外相机图片拼接方法，其特征在于，所述计算所述目标点在红外相机图片中对应的第二像素点的步骤包括：
根据拍摄所述红外相机图片的红外相机的内参、外参和相机成像模型，计算所述目标点在所述红外相机图片中对应的第二像素点。
3.如权利要求1所述的红外相机图片拼接方法，其特征在于，所述计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点的步骤之前，还包括：
根据所述目标深度图片中各像素点坐标生成点云；
将所述点云中的各有效点依次作为所述目标点。
4.如权利要求3所述的红外相机图片拼接方法，其特征在于，所述将所述点云中的各有效点依次作为所述目标点的步骤包括：
将所述点云中对应深度值不为零的点作为有效点，并将各所述有效点依次作为所述目标点。
5.如权利要求1至4任一项所述的红外相机图片拼接方法，其特征在于，所述将各所述投影图片进行融合得到拼接图片的步骤包括：
对各所述投影图片中对应相同像素坐标的各温度值进行平均，以将各所述投影图片融合得到拼接图片。
6.一种红外相机图片拼接装置，其特征在于，所述装置包括：
查找模块，用于查找红外相机图片与目标深度图片之间的像素点对；
投影模块，用于将各红外相机图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，得到各投影图片；
融合模块，用于将各所述投影图片进行融合得到拼接图片；
其中，所述查找模块包括：
第一计算单元，用于计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
第二计算单元，用于计算所述目标点在红外相机图片中对应的第二像素点；
第一确定单元，用于将所述第一像素点和所述第二像素点作为所述红外相机图片和所述目标深度图片之间的像素点对；
所述投影模块包括：
第三计算单元，用于根据各红外相机图片各自对应的所述像素点对分别计算各所述红外相机图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
投影单元，用于将各所述红外相机图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到各投影图片。
7.一种红外相机图片拼接设备，其特征在于，所述红外相机图片拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的红外相机图片拼接程序，所述红外相机图片拼接程序被所述处理器执行时实现如权利要求1至5中任一项所述的红外相机图片拼接方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有红外相机图片拼接程序，所述红外相机图片拼接程序被处理器执行时实现如权利要求1至5中任一项所述的红外相机图片拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110044187.5A CN112767248B (zh) | 2021-01-13 | 2021-01-13 | 红外相机图片拼接方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110044187.5A CN112767248B (zh) | 2021-01-13 | 2021-01-13 | 红外相机图片拼接方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767248A CN112767248A (zh) | 2021-05-07 |
| CN112767248B true CN112767248B (zh) | 2023-09-08 |
Family
ID=75700335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110044187.5A Active CN112767248B (zh) | 2021-01-13 | 2021-01-13 | 红外相机图片拼接方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767248B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344830A (zh) * | 2021-05-10 | 2021-09-03 | 深圳瀚维智能医疗科技有限公司 | 基于多张单通道温度图片的融合方法和装置 |
| CN117745537B (zh) * | 2024-02-21 | 2024-05-17 | 微牌科技(浙江)有限公司 | 隧道设备温度检测方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738969A (zh) * | 2020-06-19 | 2020-10-02 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN112102169A (zh) * | 2020-09-15 | 2020-12-18 | 合肥英睿系统技术有限公司 | 一种红外图像拼接方法、装置和存储介质 |
| CN112102380A (zh) * | 2020-09-11 | 2020-12-18 | 北京华捷艾米科技有限公司 | 一种红外图像与可见光图像的配准方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991645B (zh) * | 2017-03-22 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 图像拼接方法及装置 |
-
2021
- 2021-01-13 CN CN202110044187.5A patent/CN112767248B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738969A (zh) * | 2020-06-19 | 2020-10-02 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN112102380A (zh) * | 2020-09-11 | 2020-12-18 | 北京华捷艾米科技有限公司 | 一种红外图像与可见光图像的配准方法及相关装置 |
| CN112102169A (zh) * | 2020-09-15 | 2020-12-18 | 合肥英睿系统技术有限公司 | 一种红外图像拼接方法、装置和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 朱平哲.基于NSST与DBM的可见光与红外图像融合方法.《 吉林化工学院学报》.2019,第36卷(第3期),62-68. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767248A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3786890B1 (en) | Method and apparatus for determining pose of image capture device, and storage medium therefor | |
| EP2328125A1 (en) | Image splicing method and device | |
| CN112767248B (zh) | 红外相机图片拼接方法、装置、设备及可读存储介质 | |
| WO2021031781A1 (zh) | 投影图像校准方法、装置及投影设备 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| JP2007183948A (ja) | 幾何情報を校正してパノラマ映像を提供する方法および装置 | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
| CA2776881A1 (en) | Image processing device, image processing method, image processing program, and recording medium | |
| CN114019473A (zh) | 对象检测方法及装置、电子设备和存储介质 | |
| CN113256742B (zh) | 界面展示方法、装置、电子设备和计算机可读介质 | |
| CN110807814A (zh) | 摄影机位姿计算方法、装置、设备及存储介质 | |
| JP2023514724A (ja) | 測位方法及びその装置、電子機器、記憶媒体、コンピュータプログラム製品、コンピュータプログラム | |
| US20240037856A1 (en) | Walkthrough view generation method, apparatus and device, and storage medium | |
| CN112581389A (zh) | 虚拟视点深度图处理方法、设备、装置及存储介质 | |
| CN114125411B (zh) | 投影设备校正方法、装置、存储介质以及投影设备 | |
| CN113724391A (zh) | 三维模型构建方法、装置、电子设备和计算机可读介质 | |
| US10901213B2 (en) | Image display apparatus and image display method | |
| CN113344789B (zh) | 图像拼接方法及装置、电子设备、计算机可读存储介质 | |
| CN113793392A (zh) | 一种相机参数标定方法及装置 | |
| CN112116530B (zh) | 鱼眼图像畸变矫正方法、装置和虚拟显示系统 | |
| CN115187663A (zh) | 扫描仪姿态定位方法、装置、设备及存储介质 | |
| JP7225016B2 (ja) | Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末 | |
| CN113034621B (zh) | 联合标定方法、装置、设备、车辆及存储介质 | |
| CN114241127A (zh) | 全景图像生成方法、装置、电子设备和介质 | |
| CN108550170B (zh) | 虚拟角色驱动方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |