CN113344830A - 基于多张单通道温度图片的融合方法和装置 - Google Patents

基于多张单通道温度图片的融合方法和装置 Download PDF

Info

Publication number
CN113344830A
CN113344830A CN202110508200.8A CN202110508200A CN113344830A CN 113344830 A CN113344830 A CN 113344830A CN 202110508200 A CN202110508200 A CN 202110508200A CN 113344830 A CN113344830 A CN 113344830A
Authority
CN
China
Prior art keywords
picture
projection
point
pixel
reference temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110508200.8A
Other languages
English (en)
Other versions
CN113344830B (zh
Inventor
杨道文
张智胜
谈继勇
李元伟
孙熙
李欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Original Assignee
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwei Intelligent Medical Technology Co ltd filed Critical Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority to CN202110508200.8A priority Critical patent/CN113344830B/zh
Publication of CN113344830A publication Critical patent/CN113344830A/zh
Application granted granted Critical
Publication of CN113344830B publication Critical patent/CN113344830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多张单通道温度图片的融合方法，该融合方法包括：根据基准温度图片生成对应的单通道掩膜图片；所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片；计算所述第二投影投片内第一坐标点与第二坐标点的欧氏距离，所述第一坐标点为像素值为1的像素点，所述第二坐标点为像素值为0的像素点；基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片；基于所述第一投影图片和羽化图片融合得到融合图片。本发明有利于避免融合处存在缝隙，以提升融合的效果。此外，本发明还公开一种基于多张单通道温度图片的融合装置。

Description

基于多张单通道温度图片的融合方法和装置
技术领域
本发明涉及图片合成技术领域，具体涉及一种基于多张单通道温度图片的融合方法和装置。
背景技术
红外相机可以采集人体表面的温度信息，生成一张单通道的温度图片，图片上每个像素上存储了一个温度值。在实际使用过程中，红外相机由于视角小，通常需要把多张图片融合为一张图片。但是，采用现有融合方法得到的图片容易在重叠处出现缝隙的问题，从而导致融合效果较差。
发明内容
本发明的主要目的在于提供一种基于多张单通道温度图片的融合方法，以解决背景技术中提出的技术问题。
为实现上述目的，本发明提出一种基于多张单通道温度图片的融合方法，该融合方法包括：
根据基准温度图片生成对应的单通道掩膜图片；
所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片；
计算所述第二投影投片内第一坐标点与第二坐标点的欧氏距离，所述第一坐标点为像素值为1的像素点，所述第二坐标点为像素值为0的像素点；
基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片；
基于所述第一投影图片和羽化图片融合得到融合图片。
优选地，所述基于所述羽化图片和第二投影图片融合得到融合图片的步骤包括：
Figure BDA0003058904060000011
其中，K(u，v)为融合图片对应坐标点的温度，
Figure BDA0003058904060000021
为第i张第二投影图片对应坐标点的温度，
Figure BDA0003058904060000022
为第i张羽化图片对应坐标点的像素值。
优选地，所述基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片的步骤包括：
若所述最小欧氏距离大于所述羽化半径，则将所述第一坐标点的像素值调整为1；
若所述最小欧氏距离小于等于所述羽化半径，则将所述第一坐标点的像素值调整为最小欧氏距离/预设羽化半径，以得到所述羽化图片。
优选地，所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片的步骤包括：
查找所述基准温度图片/单通道掩膜图片与目标深度图片之间的像素点对；
将所述基准温度图片/单通道掩膜图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，以分别得到所述第一投影图片和第二投影图片。
优选地，所述查找所述基准温度图片和单通道掩膜图片分别与目标深度图片之间的像素点对的步骤包括：
计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
计算所述目标点分别在所述基准温度图片和单通道掩膜图片中对应的第二像素点；
将所述第一像素点和所述第二像素点作为所述基准温度图片/单通道掩膜图片和所述目标深度图片之间的像素点对。
优选地，所述将所述基准温度图片/单通道掩膜图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，以分别得到所述第一投影图片和第二投影图片的步骤包括：
根据所述基准温度图片/单通道掩膜图片各自对应的所述像素点对分别计算所述基准温度图片/单通道掩膜图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
将所述基准温度图片/单通道掩膜图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到所述第一投影图片和第二投影图片。
本发明进一步提出一种基于多张单通道温度图片的融合装置，该融合装置包括：
生成模块，用于根据基准温度图片生成对应的单通道掩膜图片；
投影模块，用于所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片；
计算模块，用于计算所述第二投影投片内第一坐标点与第二坐标点的欧氏距离，所述第一坐标点为像素值为1的像素点，所述第二坐标点为像素值为0的像素点；
调整模块，用于基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片；
融合模块，用于基于所述第一投影图片和羽化图片融合得到融合图片。
优选地，所述投影模块包括：
查找单元，用于查找所述基准温度图片/单通道掩膜图片与目标深度图片之间的像素点对；
投影单元，用于将所述基准温度图片/单通道掩膜图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，以分别得到所述第一投影图片和第二投影图片。
优选地，所述查找单元包括：
第一计算子单元，用于计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
第二计算子单元，用于计算所述目标点分别在所述基准温度图片和单通道掩膜图片中对应的第二像素点；
第一确定子单元，用于将所述第一像素点和所述第二像素点作为所述基准温度图片/单通道掩膜图片和所述目标深度图片之间的像素点对。
优选地，所述投影单元包括：
第三计算子单元，用于根据所述基准温度图片/单通道掩膜图片各自对应的所述像素点对分别计算所述基准温度图片/单通道掩膜图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
投影子单元，用于将所述基准温度图片/单通道掩膜图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到所述第一投影图片和第二投影图片。
本发明实施例提供的基于多张单通道温度图片的融合方法，通过生成单通道掩膜图片，并基于预设单映射变换矩阵分别对基准温度图片和单通道掩膜图片进行投影得到第一投影图片和第二投影图片，第二投影图片的边缘区域进行羽化处理得到羽化图片，以使第二投影图片的边缘位置具有不同的像素值，即权重不同，最后基于第一投影图片和羽化图片得到融合图片，从而避免了传统融合时边缘设置权重相同，导致融合处存在缝隙，有重影的情况，进一步提升了多张温度图片融合的效果。
附图说明
图1为本发明中基于多张单通道温度图片的融合方法一实施例的流程示意图；
图2为本发明中基于多张单通道温度图片的融合装置一实施例的模块示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于多张单通道温度图片的融合方法，如图1所示，该融合方法包括：
步骤S10，根据基准温度图片生成对应的单通道掩膜图片。
本步骤中，单通道掩膜图片生成的方式可以是复制基准温度图片得到，具体为将复制后的基准温度图片中的像素值均调整为1，从而得到单通道掩膜图片。
步骤S20，基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片。
本步骤中，可以通过单映射变换矩阵计算分别计算基准温度图片和单通道掩膜图片某个位置投影后在第一投影图片和第二投影图片的位置，可生成一张与目标深度图片尺寸相同尺寸相同的投影图片，例如，目标深度图片尺寸相同的尺寸是1028*1028，则生成图片的尺寸也是1028*1028。其中，第一投影图片中没有投影到的位置的温度值为0，投影到的位置温度值为基准温度图片里对应位置的温度，第二投影图片中没有投影到的像素值为0，投影到的像素值为1。
步骤S30，计算第二投影投片内第一坐标点与第二坐标点的欧氏距离，第一坐标点为像素值为1的像素点，第二坐标点为像素值为0的像素点。
本步骤中，计算欧氏距离的方式参照现有公式进行即可，然后将各个第一坐标点分别与各个第二坐标点之间的欧氏距离由小到大进行排列，从而选取其中的最小欧氏距离s。
步骤S40，基于第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整第一坐标点的像素值，以得到羽化图片。
本步骤中，调整第一坐标点的像素值的方式可以是，若最小欧氏距离s大于羽化半径r(个像素)，则将第一坐标点的像素值调整为1；若最小欧氏距离s小于等于羽化半径r，则将第一坐标点的像素值调整为最小欧氏距离s/预设羽化半径r，以得到羽化图片。
步骤S50，基于第一投影图片和羽化图片融合得到融合图片。
本步骤中，通过计算得到融合图片中各个坐标点的温度值，具体的方式为：
Figure BDA0003058904060000051
其中，K(u，v)为融合图片对应坐标点的温度，
Figure BDA0003058904060000052
为第i张第二投影图片对应坐标点的温度，
Figure BDA0003058904060000053
为第i张羽化图片对应坐标点的像素值。
本实施例中，通过生成单通道掩膜图片，并基于预设单映射变换矩阵分别对基准温度图片和单通道掩膜图片进行投影得到第一投影图片和第二投影图片，第二投影图片的边缘区域进行羽化处理得到羽化图片，以使第二投影图片的边缘位置具有不同的像素值，即权重不同，最后基于第一投影图片和羽化图片得到融合图片，从而避免了传统融合时边缘设置权重相同，导致融合处存在缝隙，有重影的情况，进一步提升了多张温度图片融合的效果。
在一较佳实施例中，优选基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片的步骤包括：
查找基准温度图片/单通道掩膜图片与目标深度图片之间的像素点对；
将基准温度图片/单通道掩膜图片按照各自对应的像素点对分别投影到与目标深度图片尺寸相同的图片上，以分别得到第一投影图片和第二投影图片。
本步骤中，对于不同拍摄角度的红外相机所拍摄的多张温度图片进行拼接。其中温度图片的各个像素点的像素值是单通道的温度值，对于需要拼接的各个温度图片，分别查找每一张温度图片与一目标深度图片之间的像素点对。需要说明的是，对于每一张温度图片，都针对同一深度图片来查找像素点对，故将该深度图片称为目标深度图片。目标深度图片是由深度相机拍摄的，深度相机与各个红外相机的内外参数可以是预先标定好的，深度相机所拍摄的角度范围更广，红外相机的拍摄角度范围叫窄，通过标定，深度相机的拍摄角度范围可以覆盖红外相机的拍摄角度范围。对于一张温度图片，根据拍摄该温度图片的红外相机与深度相机之间预先标定的内外参数，可以查找到温度图片中像素点在目标深度图片中对应的像素点，也即，两个像素点对应拍摄对象中的同一区域，将这两个像素点作为像素点对。像素点对采用两个像素点的坐标表示，例如(u1，v1)和(u2，v2)，其中，前者是温度图片中的像素点坐标，后者是目标深度图片中的像素点坐标。按照相同的方法可以查找到多组像素点对，最终得到各张温度图片分别对应的多组像素点对。
然后，可生成一张与目标深度图片尺寸相同的图片(以下称为目标图片)，例如，目标深度图片的尺寸是1028*1028，则目标图片的尺寸也是1028*1028。目标图片可以是单通道图片，图像上各个像素点的像素值被初始化。各个像素点的初始化值可以相同，也可以不同，为不影响后面的图片拼接，可以将各像素点的初始化值设为0，或者其他不在温度值范围内的值。
将各温度图片按照各自对应的像素点对分别投影到与目标图片上，得到各投影图片。也即，有N张温度图片，进行N次投影，每一次投影是独立的，最终得到N张投影图片。对于一张温度图片而言，由于找到了该图片与目标深度图片之间的像素点对，目标图片的尺寸与目标深度图片的尺寸相同，故该图片与目标深度图片之间的像素点对也是该图片与目标图片之间的像素点对；进而可以根据两张图片的像素点对来对两张图片进行拼接，也即将温度图片投影到目标图片上；投影时，若目标图片的像素点初始化值为0，则可将两张图片重叠位置的像素点值相加，若初始化不为0，则可将两张图片重叠位置的像素点值置为温度图片中该位置的像素点值。由于目标深度图片的角度范围更广，所以目标图片并不能够完全被温度图片覆盖，所以目标图片未被温度图片覆盖的部分像素点值仍未初始化值。此时，单通道掩膜图片的投影方法参照上述方式进行即可，在此不作详细描述。
本实施例中，通过查找各张温度图片和单通道掩膜图片分别与目标深度图片之间的像素点对，将各温度图片和单通道掩膜图片分别按照各自对应的像素点对分别投影到与该目标深度图片尺寸相同的图片上，以得到第一投影图片和第二投影图片。
在一较佳实施例中，优选查找基准温度图片和单通道掩膜图片分别与目标深度图片之间的像素点对的步骤包括：
计算目标深度图片对应的点云中目标点在目标深度图片中对应的第一像素点；
计算目标点分别在基准温度图片和单通道掩膜图片中对应的第二像素点；
将第一像素点和第二像素点作为基准温度图片/单通道掩膜图片和目标深度图片之间的像素点对。
本步骤中，在本实施例中，查找温度图片与目标深度图片之间像素点对时，可以借助深度图片对应的点云。具体地，根据目标深度图片是可以生成三维点云的，点云中每个点的坐标是三维坐标，表示其在空间中的位置。对于点云中的目标点，可以根据点云坐标与深度图片像素坐标之间的转换关系式，计算得到目标点在深度图片中对应的像素点(以下称为第一像素点以示区分)，也即像素坐标。
转换关系式如下：
Figure BDA0003058904060000071
Figure BDA0003058904060000072
其中，fsx、fsy、us0和vs0为深度相机内参，由厂家标定得到，Fsx和fsy分别是x、y方向焦距，us0和vs0为目标深度图片的中心坐标。(x，y，z)为点云中点的三维坐标，求得的深度图片中的像素坐标为(xs，ys)。
可以选择点云中所有点依次作为目标点，也可以选择点云中一定数量的点依次作为目标点，在本实施例中不作限制。
计算目标点在温度图片中对应的第二像素点。具体地，红外相机是与深度相机进行预先标定的，根据标定后的红外相机的内外参数，可以找到点云坐标与温度图片像素坐标之间的转换关系式，根据转换关系式计算得到目标点在温度图片中对应的像素点(以下称为第二像素点以示区分)，也即像素坐标。
进一步地，根据拍摄温度图片的红外相机的内参、外参和相机成像模型，计算目标点在温度图片中对应的第二像素点。其中，可以采用红外相机的内参、外参和相机成像模型，计算得到目标点在温度图片中对应的第二像素点。
相机成像模型如下：
Figure BDA0003058904060000081
其中，Zc是相机坐标的z轴值，即目标到相机的距离；(u，v)是温度图片中的像素坐标；frx、fry、ur0和vr0为红外相机内参，由厂家标定得到，frx和fry分别是x、y方向焦距，ur0和vr0为温度图片的中心坐标；R和T是红外相机的外参；(X，Y，Z)是点云中点的三维坐标。
第一像素点和第二像素点都对应了目标点，也即，第一像素点和第二像素点对应了空间中的同一位置，故将第一像素点和第二像素点作为温度图片和目标深度图片之间的像素点对。对点云中多个目标点均按照上述方式计算像素点对，即可查找到温度图片与目标深度图片之间的多组像素点对。需要说明的是，在计算每张温度图片对应的像素点对时，对目标深度图片进行的相同操作可以只进行一次，从而减少重复的计算。此时，单通道掩膜图片的像素查找方法参照上述方式进行即可，在此不作详细描述。
在本实施例中，利用点云，结合相机成像模型来求对应的像素点对，实现了借助深度图片来拼接温度图片，从而获得视角更广的温度图片。
进一步地，在计算目标深度图片对应的点云中目标点在目标深度图片中对应的第一像素点的步骤之前还包括：
根据目标深度图片中各像素点坐标生成点云；
将点云中的各有效点依次作为目标点。
本步骤中，可先根据目标深度图片中各像素点坐标生成点云。具体地生成方式可参照现有的深度图片点云生成方式，在此不进行详细赘述。生成点云后，可将点云中的各个有效点依次作为目标点，由于点云中可能存在一些无效点，依据这些无效点计算得到的深度图片和温度图片中的像素点坐标可能是错误的，故，在本实施例中，可将点云中的有效点作为目标点，而不考虑无效点。其中，在深度相机拍摄深度图片时，可将深度值不确定的像素点的深度值置为0或其他特定值，则可将点云中对应深度值为不为零，或不为该特定值的点作为有效点。此时，单通道掩膜图片的像素查找方法参照上述方式进行即可，在此不作详细描述。
在一较佳实施例中，优选将基准温度图片/单通道掩膜图片按照各自对应的像素点对分别投影到与目标深度图片尺寸相同的图片上，以分别得到第一投影图片和第二投影图片的步骤包括：
根据基准温度图片/单通道掩膜图片各自对应的像素点对分别计算基准温度图片/单通道掩膜图片与目标图片之间的单映射变换矩阵，其中，目标图片是与目标深度图片尺寸相同的图片；
将基准温度图片/单通道掩膜图片分别按照各自对应的单映射变换矩阵投影到目标图片上，得到第一投影图片和第二投影图片。
本步骤中，在查找到各温度图片分别对应的像素点对后，对于每一张温度图片，可根据该温度图片对应的像素点对，计算该温度图片与目标图片之间的单映射变换矩阵。其中，目标图片即与目标深度图片尺寸相同的图片，故温度图片与目标深度图片之间的像素点对也是该温度图片与目标图片之间的像素点对。根据像素点对计算两张图片之间的单映射变换矩阵的方法可以参照现有的单映射变换矩阵计算方法，在本实施例中不再详细赘述。
在计算得到各温度图片对应的单映射变换矩阵后，对于每一张温度图片，即可根据该温度图片对应的单映射变换矩阵将该温度图片投影到目标图片上。其中，根据单映射变换矩阵将一张图片投影到另一张图片的方法也可以参照现有的基于单映射变换矩阵的图片投影方法，在本实施例中不再详细赘述。
基于上述融合方法，如图2所示，本发明进一步提出一种基于多张单通道温度图片的融合装置，该融合装置包括：
生成模块10，用于根据基准温度图片生成对应的单通道掩膜图片；
投影模块20，用于基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片；
计算模块30，用于计算第二投影投片内第一坐标点与第二坐标点的欧氏距离，第一坐标点为像素值为1的像素点，第二坐标点为像素值为0的像素点；
调整模块30，用于基于第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整第一坐标点的像素值，以得到羽化图片；
融合模块30，用于基于第一投影图片和羽化图片融合得到融合图片。
其中，调整模块30的调整方式为：
若最小欧氏距离大于羽化半径，则将第一坐标点的像素值调整为1；
若最小欧氏距离小于等于羽化半径，则将第一坐标点的像素值调整为最小欧氏距离/预设羽化半径，以得到羽化图片
融合模块30的融合方式为：
Figure BDA0003058904060000101
其中，K(u，v)为融合图片对应坐标点的温度，
Figure BDA0003058904060000102
为第i张第二投影图片对应坐标点的温度，
Figure BDA0003058904060000103
为第i张羽化图片对应坐标点的像素值。
在一较佳实施例中，优选投影模块20包括：
查找单元，用于查找基准温度图片/单通道掩膜图片与目标深度图片之间的像素点对；
投影单元，用于将基准温度图片/单通道掩膜图片按照各自对应的像素点对分别投影到与目标深度图片尺寸相同的图片上，以分别得到第一投影图片和第二投影图片。
在一较佳实施例中，优选查找单元包括：
第一计算子单元，用于计算目标深度图片对应的点云中目标点在目标深度图片中对应的第一像素点；
第二计算子单元，用于计算目标点分别在基准温度图片和单通道掩膜图片中对应的第二像素点；
第一确定子单元，用于将第一像素点和第二像素点作为基准温度图片/单通道掩膜图片和目标深度图片之间的像素点对。
在一较佳实施例中，优选投影单元包括：
第三计算子单元，用于根据基准温度图片/单通道掩膜图片各自对应的像素点对分别计算基准温度图片/单通道掩膜图片与目标图片之间的单映射变换矩阵，其中，目标图片是与目标深度图片尺寸相同的图片；
投影子单元，用于将基准温度图片/单通道掩膜图片分别按照各自对应的单映射变换矩阵投影到目标图片上，得到第一投影图片和第二投影图片。
在一较佳实施例中，优选查找单元还包括：
生成子单元，用于根据目标深度图片中各像素点坐标生成点云；
第二确定子单元，用于将点云中的各有效点依次作为目标点。
基于上述基于多张单通道温度图片的融合方法，本发明还提出一种基于多张单通道温度图片的融合设备，该融合设备包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时至少实现如图1所示的成像方法中的各个步骤。
基于上述基于多张单通道温度图片的融合方法，本发明还提出一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时至少实现如图1所示的成像方法中的各个步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明保护的范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明保护的范围内。

Claims (10)

1.一种基于多张单通道温度图片的融合方法，其特征在于，包括：
根据基准温度图片生成对应的单通道掩膜图片；
所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片；
计算所述第二投影投片内第一坐标点与第二坐标点的欧氏距离，所述第一坐标点为像素值为1的像素点，所述第二坐标点为像素值为0的像素点；
基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片；
基于所述第一投影图片和羽化图片融合得到融合图片。
2.根据权利要求1所述的融合方法，其特征在于，所述基于所述羽化图片和第二投影图片融合得到融合图片的步骤包括：
Figure FDA0003058904050000011
其中，K(u，v)为融合图片对应坐标点的温度，Pi t(u，v)为第i张第二投影图片对应坐标点的温度，
Figure FDA0003058904050000012
(u，v)为第i张羽化图片对应坐标点的像素值。
3.根据权利要求1所述的融合方法，其特征在于，所述基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片的步骤包括：
若所述最小欧氏距离大于所述羽化半径，则将所述第一坐标点的像素值调整为1；
若所述最小欧氏距离小于等于所述羽化半径，则将所述第一坐标点的像素值调整为最小欧氏距离/预设羽化半径，以得到所述羽化图片。
4.根据权利要求1所述的融合方法，其特征在于，所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片的步骤包括：
查找所述基准温度图片/单通道掩膜图片与目标深度图片之间的像素点对；
将所述基准温度图片/单通道掩膜图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，以分别得到所述第一投影图片和第二投影图片。
5.根据权利要求4所述的融合方法，其特征在于，所述查找所述基准温度图片和单通道掩膜图片分别与目标深度图片之间的像素点对的步骤包括：
计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
计算所述目标点分别在所述基准温度图片和单通道掩膜图片中对应的第二像素点；
将所述第一像素点和所述第二像素点作为所述基准温度图片/单通道掩膜图片和所述目标深度图片之间的像素点对。
6.根据权利要求4所述的融合方法，其特征在于，所述将所述基准温度图片/单通道掩膜图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，以分别得到所述第一投影图片和第二投影图片的步骤包括：
根据所述基准温度图片/单通道掩膜图片各自对应的所述像素点对分别计算所述基准温度图片/单通道掩膜图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
将所述基准温度图片/单通道掩膜图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到所述第一投影图片和第二投影图片。
7.一种基于多张单通道温度图片的融合装置，其特征在于，包括：
生成模块，用于根据基准温度图片生成对应的单通道掩膜图片；
投影模块，用于所述基准温度图片和单通道掩膜图片分别根据预设单映射变换矩阵投影得到第一投影图片和第二投影图片；
计算模块，用于计算所述第二投影投片内第一坐标点与第二坐标点的欧氏距离，所述第一坐标点为像素值为1的像素点，所述第二坐标点为像素值为0的像素点；
调整模块，用于基于所述第一坐标点与第二坐标点的最小欧氏距离以及预设羽化半径调整所述第一坐标点的像素值，以得到羽化图片；
融合模块，用于基于所述第一投影图片和羽化图片融合得到融合图片。
8.根据权利要求7所述的融合装置，其特征在于，所述投影模块包括：
查找单元，用于查找所述基准温度图片/单通道掩膜图片与目标深度图片之间的像素点对；
投影单元，用于将所述基准温度图片/单通道掩膜图片按照各自对应的所述像素点对分别投影到与所述目标深度图片尺寸相同的图片上，以分别得到所述第一投影图片和第二投影图片。
9.根据权利要求8所述的融合装置，其特征在于，所述查找单元包括：
第一计算子单元，用于计算目标深度图片对应的点云中目标点在所述目标深度图片中对应的第一像素点；
第二计算子单元，用于计算所述目标点分别在所述基准温度图片和单通道掩膜图片中对应的第二像素点；
第一确定子单元，用于将所述第一像素点和所述第二像素点作为所述基准温度图片/单通道掩膜图片和所述目标深度图片之间的像素点对。
10.根据权利要求8所述的融合装置，其特征在于，所述投影单元包括：
第三计算子单元，用于根据所述基准温度图片/单通道掩膜图片各自对应的所述像素点对分别计算所述基准温度图片/单通道掩膜图片与目标图片之间的单映射变换矩阵，其中，所述目标图片是与所述目标深度图片尺寸相同的图片；
投影子单元，用于将所述基准温度图片/单通道掩膜图片分别按照各自对应的所述单映射变换矩阵投影到所述目标图片上，得到所述第一投影图片和第二投影图片。
CN202110508200.8A 2021-05-10 2021-05-10 基于多张单通道温度图片的融合方法和装置 Active CN113344830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110508200.8A CN113344830B (zh) 2021-05-10 2021-05-10 基于多张单通道温度图片的融合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110508200.8A CN113344830B (zh) 2021-05-10 2021-05-10 基于多张单通道温度图片的融合方法和装置

Publications (2)

Publication Number Publication Date
CN113344830A true CN113344830A (zh) 2021-09-03
CN113344830B CN113344830B (zh) 2024-06-21

Family

ID=77470469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110508200.8A Active CN113344830B (zh) 2021-05-10 2021-05-10 基于多张单通道温度图片的融合方法和装置

Country Status (1)

Country Link
CN (1) CN113344830B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463786A (zh) * 2014-12-03 2015-03-25 中国科学院自动化研究所 一种移动机器人图像拼接方法及装置
CN105374019A (zh) * 2015-09-30 2016-03-02 华为技术有限公司 一种多深度图融合方法及装置
US20170243361A1 (en) * 2016-02-18 2017-08-24 Roman Schaffert 2D/3D Registration
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
US20180288311A1 (en) * 2017-03-31 2018-10-04 Motorola Mobility Llc Combining images when a face is present
US10176564B1 (en) * 2014-05-18 2019-01-08 Edge 3 Technologies, Inc. Collaborative disparity decomposition
CN109528305A (zh) * 2018-10-12 2019-03-29 河海大学常州校区 计算机辅助的股骨粗隆间骨折对位对线半自动复位方法
CN110264426A (zh) * 2019-06-24 2019-09-20 Oppo广东移动通信有限公司 图像畸变校正方法和装置
WO2020160485A1 (en) * 2019-01-31 2020-08-06 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California A hyperspectral imaging system
CN112488918A (zh) * 2020-11-27 2021-03-12 叠境数字科技（上海）有限公司 基于rgb-d图像和多相机系统的图像插值方法及装置
CN112634183A (zh) * 2020-11-05 2021-04-09 北京迈格威科技有限公司 图像处理方法及装置
CN112767248A (zh) * 2021-01-13 2021-05-07 深圳瀚维智能医疗科技有限公司 红外相机图片拼接方法、装置、设备及可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176564B1 (en) * 2014-05-18 2019-01-08 Edge 3 Technologies, Inc. Collaborative disparity decomposition
CN104463786A (zh) * 2014-12-03 2015-03-25 中国科学院自动化研究所 一种移动机器人图像拼接方法及装置
CN105374019A (zh) * 2015-09-30 2016-03-02 华为技术有限公司 一种多深度图融合方法及装置
US20170243361A1 (en) * 2016-02-18 2017-08-24 Roman Schaffert 2D/3D Registration
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
US20180288311A1 (en) * 2017-03-31 2018-10-04 Motorola Mobility Llc Combining images when a face is present
CN109528305A (zh) * 2018-10-12 2019-03-29 河海大学常州校区 计算机辅助的股骨粗隆间骨折对位对线半自动复位方法
WO2020160485A1 (en) * 2019-01-31 2020-08-06 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California A hyperspectral imaging system
CN110264426A (zh) * 2019-06-24 2019-09-20 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN112634183A (zh) * 2020-11-05 2021-04-09 北京迈格威科技有限公司 图像处理方法及装置
CN112488918A (zh) * 2020-11-27 2021-03-12 叠境数字科技（上海）有限公司 基于rgb-d图像和多相机系统的图像插值方法及装置
CN112767248A (zh) * 2021-01-13 2021-05-07 深圳瀚维智能医疗科技有限公司 红外相机图片拼接方法、装置、设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CODRUTA O ANCUTI: "Single-Scale Fusion: An Effective Approach to Merging Images", 《IEEE TRANS IMAGE PROCESS》, vol. 26, no. 01 *
HUI LI ET.AL: "DenseFuse: A Fusion Approach to Infrared and Visible Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING 》, vol. 28, no. 5 *
高雪松;李宇昊;张立强;陈志华;: "基于SURF算法的自动导引车精确定位技术", 激光与光电子学进展, no. 10 *

Also Published As

Publication number Publication date
CN113344830B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
WO2021103347A1 (zh) 投影仪的梯形校正方法、装置、系统及可读存储介质
CN109405765B (zh) 一种基于散斑结构光的高精度深度计算方法及系统
WO2018019282A1 (zh) 双目全景图像获取方法，装置及存储介质
CN111487043B (zh) 单目散斑结构光系统的散斑投射器标定参数确定方法
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP5768684B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
CN106683071B (zh) 图像的拼接方法和装置
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
WO2021208486A1 (zh) 一种相机坐标变换方法、终端以及存储介质
CN106846409A (zh) 鱼眼相机的标定方法及装置
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN113920206B (zh) 透视移轴相机的标定方法
CN112233189B (zh) 多深度相机外部参数标定方法、装置及存储介质
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN111757086A (zh) 有源双目相机、rgb-d图像确定方法及装置
CN110675456A (zh) 多深度摄像机外部参数标定方法、装置及存储介质
KR20160040330A (ko) 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
US10154241B2 (en) Depth map based perspective correction in digital photos
CN112396663A (zh) 一种多深度相机的可视化标定方法、装置、设备和介质
CN115834860A (zh) 背景虚化方法、装置、设备、存储介质和程序产品
CN113344830A (zh) 基于多张单通道温度图片的融合方法和装置
CN116485902A (zh) 标志点匹配方法、装置、计算机设备和存储介质
TW202115555A (zh) 資訊顯示方法與資訊顯示系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant