CN111083381B - 一种图像融合的方法、装置及双光相机、无人机 - Google Patents

一种图像融合的方法、装置及双光相机、无人机 Download PDF

Info

Publication number
CN111083381B
CN111083381B CN201911420526.4A CN201911420526A CN111083381B CN 111083381 B CN111083381 B CN 111083381B CN 201911420526 A CN201911420526 A CN 201911420526A CN 111083381 B CN111083381 B CN 111083381B
Authority
CN
China
Prior art keywords
corner point
coordinate
image
thermal imaging
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911420526.4A
Other languages
English (en)
Other versions
CN111083381A (zh
Inventor
李昭早
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201911420526.4A priority Critical patent/CN111083381B/zh
Priority to CN202111199729.2A priority patent/CN114022741A/zh
Publication of CN111083381A publication Critical patent/CN111083381A/zh
Priority to PCT/CN2020/133974 priority patent/WO2021135825A1/zh
Priority to EP20909418.4A priority patent/EP4087229A4/en
Application granted granted Critical
Publication of CN111083381B publication Critical patent/CN111083381B/zh
Priority to US17/809,692 priority patent/US11805220B2/en
Priority to US18/373,216 priority patent/US20240031515A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Toxicology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例涉及图像处理技术领域，公开了一种图像融合的方法、装置及双光相机、无人机。其中，图像融合的方法应用于包括热成像镜头和可见光镜头的双光相机，包括：获取热成像镜头采集到的热成像图像和可见光镜头采集到的可见光图像；确定热成像镜头采集热成像图像时的第一焦距以及可见光镜头采集可见光图像时的第二焦距；根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数；根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像；对待融合图像进行融合处理，生成双光融合图像。通过上述方式，本发明实施例能够提高融合图像的画面质量。

Description

一种图像融合的方法、装置及双光相机、无人机
技术领域
本发明实施例涉及图像处理技术领域，特别是涉及一种图像融合的方法、装置及双光相机、无人机。
背景技术
热成像和可见光成像是现阶段广泛使用的两种成像手段。其中，可见光成像在光照条件好时，能够得到细节丰富、画面清晰的可见光图像，但若光照条件差，则得到的可见光图像画面模糊、细节丢失，比如：在强光环境下，可见光成像得到的可见光图像的光晕明显，细节丢失；在雾天等能见度低的情况下，可见光成像得到的可见光图像画面模糊不清。热成像则不受天气和光照的影响，任何情况下都能得到画面清晰的热成像图像，但热成像得到的热成像图像没有清晰的边缘，为此，提出了热成像图像与可见光图像进行图像融合的方案，以有效结合两者的优势，全天候采集到理想的图像。
目前，对热成像图像和可见光图像进行图像融合时，通过在热成像图像中提取的特征点在可见光图像中进行特征点匹配的方式对热成像图中和可见光图像进行配准。但发明人在实现本发明的过程中发现：若采集热成像图像和采集可见光图像的焦距不同，会使得热成像图像和可见光图像的成像比例不同，此时，通过在热成像图像中提取的特征点在可见光图像中进行特征点匹配的方式对热成像图像和可见光图像进行配准，会使得热成像图像和可见光图像的成像无法重合，进而使得热成像图像和可见光图像无法精确配准，导致热成像图像和可见光图像融合后的画面质量较差。
发明内容
本发明实施例旨在提供一种图像融合的方法、装置及双光相机、无人机，能够在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。
为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种图像融合的方法，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，所述方法包括：
获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；
根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
对所述待融合图像进行融合处理，生成双光融合图像。
可选地，所述根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例；
根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数。
可选地，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框；则，
所述根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例，具体包括：
根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标；
根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标；
根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例。
可选地，所述根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例，具体包括：
根据所述第一角点坐标确定所述第一矩形校准框的第一宽度；
根据所述第二角点坐标确定所述第二矩形校准框的第二宽度；
根据所述第一宽度和所述第二宽度确定所述缩放比例；
或者，
根据所述第一角点坐标确定所述第一矩形校准框的第一高度；
根据所述第二角点坐标确定所述第二矩形校准框的第二高度；
根据所述第一高度和所述第二高度确定所述缩放比例。
可选地，所述根据所述第一角点坐标确定所述第一矩形校准框的第一宽度，具体包括：
在所述第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第一宽度；
所述根据所述第二角点坐标确定所述第二矩形校准框的第二宽度，具体包括：
在所述第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第二宽度；
所述根据所述第一角点坐标确定所述第一矩形校准框的第一高度，具体包括：
在所述第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第一高度；
所述根据所述第二角点坐标确定所述第二矩形校准框的第二高度，具体包括：
在所述第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第二高度。
可选地，所述大小校准参数包括校准宽度和校准高度，所述位置校准参数包括原点校准坐标；则，
所述根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
获取所述热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；
在所述可见光图像中确定与所述第一定位点对应的第二定位点的第二坐标；
根据所述缩放比例和所述第一初始宽度，确定所述校准宽度；
根据所述缩放比例和所述第一初始高度，确定所述校准高度；
根据所述缩放比例、所述第一坐标和所述第二坐标，确定所述原点校准坐标。
可选地，所述第一坐标为所述第一左上角点坐标、所述第一左下角点坐标、所述第一右上角点坐标和所述第一右下角点坐标中的任意一个；
所述第二坐标为所述第二左上角点坐标、所述第二左下角点坐标、所述第二右上角点坐标和所述第二右下角点坐标中的任意一个。
可选地，所述对所述待融合图像进行融合处理的步骤之后，所述方法还包括：
确定所述待融合图像中的热成像区域和可见光区域的重合区域；
裁剪所述待融合图像中所述重合区域以外的其他区域。
可选地，所述确定所述待融合图像中的热成像区域和可见光区域的重合区域，具体包括：
确定所述热成像区域的第三角点坐标，所述第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；
确定所述可见光区域的第四角点坐标，所述第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标；
根据所述第三角点坐标和所述第四角点坐标，确定所述重合区域的第一角点和第二角点的坐标，所述第一角点和所述第二角点为对角角点；
根据所述第一角点和所述第二角点的坐标，确定所述重合区域的第三角点和第四角点的坐标。
可选地，所述热成像图像的原点为所述热成像图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述确定所述热成像区域的第三角点坐标，具体包括：
根据所述校准宽度、所述校准高度和所述原点校准坐标，确定所述热成像区域的第三角点坐标。
可选地，所述可见光图像的原点为所述可见光图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述确定所述可见光区域的第四角点坐标，具体包括：
获取所述可见光图像的第二初始宽度、第二初始高度以及原点坐标；
根据所述第二初始宽度、所述第二初始高度和所述原点坐标，确定所述可见光区域的第四角点坐标。
可选地，所述第一角点和所述第二角点分别为所述重合区域的左下角点和右上角点；则，
确定所述重合区域的第一角点和第二角点的坐标的公式如下：
Figure BDA0002352262390000051
Figure BDA0002352262390000052
其中，(x1,y1)和(x2,y2)分别为所述第一角点和所述第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为所述第三左上角点坐标、所述第三左下角点坐标、所述第三右上角点坐标和所述第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为所述第四左上角点坐标、所述第四左下角点坐标、所述第四右上角点坐标和所述第四右下角点坐标。
为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种图像融合的装置，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，所述装置包括：
获取模块，用于获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
确定模块，用于确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；以及，
用于根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
调整模块，用于根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
处理模块，用于对所述待融合图像进行融合处理，生成双光融合图像。
为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种双光相机，包括：
热成像镜头，用于采集热成像图像；
可见光镜头，用于采集可见光图像；
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行以上所述的图像融合的方法。
为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种无人机，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂；以及，
以上所述的双光相机，所述双光相机与所述机身相连。
为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使双光相机执行以上所述的图像融合的方法。
在本发明实施例中，通过采集热成像图像时的第一焦距以及采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种无人机的结构示意图；
图2是本发明实施例提供的一种图像融合的方法的流程示意图；
图3是本发明实施例提供的一种热成像图像和可见光图像的结构示意图；
图4是本发明实施例提供的一种待融合图像的结构示意图；
图5是本发明实施例提供的一种图像融合的装置的结构示意图；
图6是本发明实施例提供的一种双光相机的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种图像融合的方法及装置，该方法及装置应用于双光相机，从而使得该双光相机能够在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。其中，双光相机包括热成像镜头和可见光镜头，热成像镜头用于采集热成像图像，可见光镜头用于采集可见光图像。
该双光相机能够应用于各类机器人中，以使各类机器人能够全天候采集到高质量图像。其中，机器人包括但不限于：无人机、扫地机器人、导航机器人等。
下面，将以双光相机应用于无人机为例对本发明进行具体阐述。
请参阅图1，是本发明实施例提供的一种无人机100，包括机身10、机臂20、动力装置30、双光相机40、起落架50以及飞控系统。机臂20、双光相机40以及起落架50均与机身10连接，飞控系统则设置于机身10内，动力装置30则设置于机臂20上。其中，动力装置30、双光相机40以及起落架50均与飞控系统通信连接，使得飞控系统能够通过动力装置30来控制无人机100的飞行，还能够控制双光相机40采集图像以及控制起落架50打开与收起。飞控系统控制双光相机40采集图像后，还能够从双光相机40获取采集到的图像。
在本发明实施例中，机臂20数量为4，均匀分布于机身10四周，用于承载动力装置30。
动力装置30包括电机以及与电机轴连接的螺旋桨，电机能够带动螺旋桨旋转以为无人机100提供升力，实现飞行；电机还能够通过改变螺旋桨的转速及方向来改变无人机100的飞行方向。当动力装置30与飞控系统通信连接时，飞控系统能够通过控制电机来控制无人机100的飞行。
该动力装置30设置于机臂20未与机身10连接的一端，并通过电机连接机臂20。
优选地，在无人机100的4个机臂上均设置有动力装置30，以使无人机100能够平稳飞行。
双光相机40则设置于机身10底部，能够在飞控系统的控制下采集图像。
该双光相机40包括热成像镜头和可见光镜头，热成像镜头用于采集热成像图像，可见光镜头用于采集可见光图像。当双光相机40采集图像时，热成像镜头和可见光镜头能够同时采集同一目标物的热成像图像和可见光图像。其中，热成像镜头和可见光镜头同时采集同一目标物的热成像图像和可见光图像时，焦距可以相同，也可以不相同。
当热成像镜头和可见光镜头的焦距相同时，热成像图像和可见光图像的成像比例相同；当热成像镜头和可见光镜头的焦距不相同时，热成像图像和可见光图像的成像比例不相同。即热成像图像和可见光图像的成像比例随着焦距的变化而变化。
进一步地，热成像镜头采集热成像图像时，通过第一矩形校准框对准目标物，该第一矩形校准框随着热成像镜头焦距的改变而改变，始终对准目标物；可见光镜头采集可见光图像时，通过第二矩形校准框对准目标物，该第二矩形校准框随着可见光镜头焦距的改变而改变，始终对准目标物。
当双光相机40通过热成像镜头和可见光镜头同时采集同一目标物的热成像图像和可见光图像后，能够通过确定热成像镜头采集热成像图像时的第一焦距以及可见光镜头采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
在一些实施例中，该双光相机40能够通过云台设置于机身10底部，以随着云台的转动而转动，采集不同视角的图像。
起落架50则设置于机身10底部相对两侧，通过驱动装置连接于机身10，起落架50在驱动装置的驱动下能够进行打开与收起。在无人机100与地面接触时，驱动装置控制起落架50打开，以使无人机100通过起落架50与地面接触；在无人机100飞行过程中，驱动装置控制起落架50收起，以避免起落架50影响无人机100飞行。当起落架50与飞控系统通信连接时，飞控系统能够通过控制驱动装置来控制起落架50的打开与收起。
飞控系统则与动力装置30、双光相机40以及起落架50通过有线连接或者无线连接的方式进行通信连接。其中，无线连接包括但不限于：WiFi、蓝牙、ZigBee等。
可以理解的是，在本发明实施例中，双光相机40通过执行图像融合的方法对热成像图像和可见光图像进行图像融合处理后，即使采集热成像图像和采集可见光图像的焦距不同，也能对热成像图像和可见光图像进行精确配准，得到画面质量高的双光融合图像，进而使得应用该双光相机40的无人机100能够全天候采集到高质量图像。
进一步地，请参阅图2，是本发明实施例提供的一种图像融合的方法的流程示意图，该图像融合的方法由上述双光相机40执行，用于在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。
具体地，该图像融合的方法包括：
S100：获取热成像镜头采集到的热成像图像和可见光镜头采集到的可见光图像；
S200：确定热成像镜头采集热成像图像时的第一焦距以及可见光镜头采集可见光图像时的第二焦距。
在本发明实施例中，热成像图像和可见光图像为热成像镜头和可见光镜头同时采集同一目标物得到的图像。
由于热成像镜头和可见光镜头同时采集同一目标物的热成像图像和可见光图像时，焦距可能不相同，因此，在获取热成像镜头采集到的热成像图像后，确定热成像镜头采集热成像图像时的第一焦距，在获取可见光镜头采集到的可见光图像后，确定可见光镜头采集可见光图像时的第二焦距。
其中，将热成像镜头采集热成像图像时设置的焦距确定为热成像镜头采集热成像图像时的第一焦距；将可见光镜头采集可见光图像时设置的焦距确定为可见光镜头采集可见光图像时的第二焦距。
S300：根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数。
由于热成像镜头和可见光镜头的焦距不相同时，热成像图像和可见光图像的成像比例不相同，此时，若直接将热成像图像和可见光图像进行配准，会使得成像无法重合，因此，需要确定热成像图像的大小校准参数和位置校准参数，以根据大小校准参数和位置校准参数将热成像图像的成像校准至与可见光图像的成像重合。
其中，由于热成像图像的成像比例随着第一焦距的改变而改变，可见光图像的成像比例随着第二焦距的改变而改变，若要保证热成像图像的大小校准参数和位置校准参数能够将热成像图像的成像校准至与可见光图像的成像重合，则热成像图像的大小校准参数和位置校准参数会随着热成像图像的成像比例和可见光图像的成像比例的改变而改变，亦即，会随着第一焦距和第二焦距的改变而改变，因此，在本发明实施例中，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数，以使所确定的大小校准参数和位置校准参数能够将热成像图像的成像校准至与可见光图像的成像重合。
其中，大小校准参数用于调整热成像图像的大小，以使热成像图像的成像比例与可见光图像的成像比例一致，该大小校准参数包括校准宽度和校准高度，校准宽度用于调整热成像图像的宽度，校准高度用于调整热成像图像的高度。
位置校准参数用于调整热成像图像在可见光图像中的位置，以使成像比例一致的热成像图像和可见光图像的成像重合，该位置校准参数包括原点校准坐标，原点校准坐标用于调整热成像图像的原点位置。
在一些实施例中，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数，具体包括：根据第一焦距和第二焦距，确定热成像图像的缩放比例；根据缩放比例确定热成像图像的大小校准参数及位置校准参数。
请参阅图3，由于热成像镜头采集热成像图像时，通过第一矩形校准框对准目标物，因此，热成像图像包括第一矩形校准框，该第一矩形校准框随着第一焦距的改变而改变；由于可见光镜头采集可见光图像时，通过第二矩形校准框对准目标物，因此，可见光图像包括第二矩形校准框，该第二矩形校准框随着第二焦距的改变而改变。
由于第一矩形校准框随着第一焦距的改变而改变，因此，预先建立预设第一焦距与预设第一角点坐标的对应关系表，比如：预设第一焦距A1对应预设第一角点坐标J1，该预设第一角点坐标J1包括预设第一左上角点坐标J11、预设第一左下角点坐标J12、预设第一右上角点坐标J13和预设第一右下角点坐标J14；预设第一焦距A2对应预设第一角点坐标J2，该预设第一角点坐标J2包括预设第一左上角点坐标J21、预设第一左下角点坐标J22、预设第一右上角点坐标J23和预设第一右下角点坐标J24。
由于第二矩形校准框随着第二焦距的改变而改变，因此，预先建立预设第二焦距与预设第二角点坐标的对应关系表，比如：预设第二焦距B1对应预设第二角点坐标K1，该预设第二角点坐标K1包括预设第二左上角点坐标K11、预设第二左下角点坐标K12、预设第二右上角点坐标K13和预设第二右下角点坐标K14；预设第二焦距B2对应预设第二角点坐标K2，该预设第二角点坐标K2包括预设第二左上角点坐标K21、预设第二左下角点坐标K22、预设第二右上角点坐标K23和预设第二右下角点坐标K24。
基于此，根据第一焦距和第二焦距，确定热成像图像的缩放比例，具体包括：根据第一焦距确定第一矩形校准框的第一角点坐标；根据第二焦距确定第二矩形校准框的第二角点坐标；根据第一角点坐标和第二角点坐标，确定热成像图像的缩放比例。
其中，第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标。
第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标。
根据第一焦距确定第一矩形校准框的第一角点坐标时，在预先建立的预设第一焦距与预设第一角点坐标的对应关系表中，确定与第一焦距匹配的预设第一焦距，将与第一焦距匹配的预设第一焦距对应的预设第一角点坐标确定为第一矩形校准框的第一角点坐标。比如，当第一焦距为A1时，在预先建立的预设第一焦距与预设第一角点坐标的对应关系表中，能够确定预设第一焦距A1与第一焦距A1匹配，因此，将预设第一焦距A1对应的预设第一角点坐标J1确定为第一矩形校准框的第一角点坐标，此时，第一左上角点坐标为J11、第一左下角点坐标为J12、第一右上角点坐标为J13、第一右下角点坐标为J14。
根据第二焦距确定第二矩形校准框的第二角点坐标时，在预先建立的预设第二焦距与预设第二角点坐标的对应关系表中，确定与第二焦距匹配的预设第二焦距，将与第二焦距匹配的预设第二焦距对应的预设第二角点坐标确定为第二矩形校准框的第二角点坐标。比如，当第二焦距为B1时，在预先建立的预设第二焦距与预设第二角点坐标的对应关系表中，能够确定预设第二焦距B1与第二焦距B1匹配，因此，将预设第二焦距B1对应的预设第二角点坐标K1确定为第二矩形校准框的第二角点坐标，此时，第二左上角点坐标为K11、第二左下角点坐标为K12、第二右上角点坐标为K13、第二右下角点坐标为K14。
根据第一角点坐标和第二角点坐标，确定热成像图像的缩放比例时，根据第一角点坐标确定第一矩形校准框的第一宽度，根据第二角点坐标确定第二矩形校准框的第二宽度，然后根据第一宽度和第二宽度确定缩放比例。
具体地，根据第一角点坐标确定第一矩形校准框的第一宽度时，在第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定第一宽度。比如，当第一角点坐标包括第一左上角点坐标J11、第一左下角点坐标J12、第一右上角点坐标J13、第一右下角点坐标J14时，J11为(x3,y4)、J12为(x3,y3)、J13为(x4,y4)、J14为(x4,y3)，其中，J11和J13为纵坐标相同的角点坐标，J12和J14也为纵坐标相同的角点坐标，此时，提取J11和J13，或者，提取J12和J14，然后根据所提取的角点坐标的横坐标的差值确定第一宽度，该第一宽度为x4-x3。
根据第二角点坐标确定第二矩形校准框的第二宽度时，在第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定第二宽度。比如，当第二角点坐标包括第二左上角点坐标为K11、第二左下角点坐标为K12、第二右上角点坐标为K13、第二右下角点坐标为K14时，K11为(x5,y6)、K12为(x5,y5)、K13为(x6,y6)、K14为(x6,y5)，其中，K11和K13为纵坐标相同的角点坐标，K12和K14也为纵坐标相同的角点坐标，此时，提取K11和K13，或者，提取K12和K14，然后根据所提取的角点坐标的横坐标的差值确定第二宽度，该第二宽度为x6-x5。
此时，将第二宽度与第一宽度的比值确定为缩放比例，该缩放比例为
Figure BDA0002352262390000131
在一些实施例中，根据第一角点坐标和第二角点坐标，确定热成像图像的缩放比例时，还能够根据第一角点坐标确定第一矩形校准框的第一高度，根据第二角点坐标确定第二矩形校准框的第二高度，然后根据第一高度和第二高度确定缩放比例。
具体地，根据第一角点坐标确定第一矩形校准框的第一高度时，在第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定第一高度。比如，当第一角点坐标包括第一左上角点坐标J11、第一左下角点坐标J12、第一右上角点坐标J13、第一右下角点坐标J14时，J11为(x3,y4)、J12为(x3,y3)、J13为(x4,y4)、J14为(x4,y3)，其中，J11和J12为横坐标相同的角点坐标，J13和J14也为横坐标相同的角点坐标，此时，提取J11和J12，或者，提取J13和J14，然后根据所提取的角点坐标的纵坐标的差值确定第一高度，该第一高度为y4-y3。
根据第二角点坐标确定第二矩形校准框的第二高度时，在第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定第二高度。比如，当第二角点坐标包括第二左上角点坐标为K11、第二左下角点坐标为K12、第二右上角点坐标为K13、第二右下角点坐标为K14时，K11为(x5,y6)、K12为(x5,y5)、K13为(x6,y6)、K14为(x6,y5)，其中，K11和K12为横坐标相同的角点坐标，K13和K14也为横坐标相同的角点坐标，此时，提取K11和K12，或者，提取K13和K14，然后根据所提取的角点坐标的纵坐标的差值确定第二高度，该第二高度为y6-y5。
此时，将第二高度与第一高度的比值确定为缩放比例，该缩放比例为
Figure BDA0002352262390000132
进一步地，根据缩放比例确定热成像图像的大小校准参数及位置校准参数，具体包括：获取热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；在可见光图像中确定与第一定位点对应的第二定位点的第二坐标；根据缩放比例和第一初始宽度，确定校准宽度；根据缩放比例和第一初始高度，确定校准高度；根据缩放比例、第一坐标和第二坐标，确定原点校准坐标。
其中，第一初始宽度和第一初始高度为热成像图像未调整前的宽度和高度。
第一定位点为第一矩形校准框的任意一个角点，则第一定位点的第一坐标为第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标中的任意一个。举例而言，第一定位点可以为第一矩形校准框的左上角点，第一定位点可以为第一矩形校准框的左下角点，第一定位点可以为第一矩形校准框的右上角点，第一定位点还可以为第一矩形校准框的右下角点。当第一定位点为第一矩形校准框的左上角点时，第一坐标为第一左上角点坐标；当第一定位点为第一矩形校准框的左下角点时，第一坐标为第一左下角点坐标；当第一定位点为第一矩形校准框的右上角点时，第一坐标为第一右上角点坐标；当第一定位点为第一矩形校准框的右下角点时，第一坐标为第一右下角点坐标。
第二定位点为第二矩形校准框的任意一个角点，则第二定位点的第二坐标为第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标中的任意一个。举例而言，第二定位点可以为第二矩形校准框的左上角点，第二定位点可以为第二矩形校准框的左下角点，第二定位点可以为第二矩形校准框的右上角点，第二定位点还可以为第二矩形校准框的右下角点。当第二定位点为第二矩形校准框的左上角点时，第二坐标为第二左上角点坐标；当第二定位点为第二矩形校准框的左下角点时，第二坐标为第二左下角点坐标；当第二定位点为第二矩形校准框的右上角点时，第二坐标为第二右上角点坐标；当第二定位点为第二矩形校准框的右下角点时，第二坐标为第二右下角点坐标。
其中，第一定位点与第二定位点为对应点。即当第一定位点为第一矩形校准框的左上角点时，则第二定位点为第二矩形校准框的左上角点；当第一定位点为第一矩形校准框的左下角点时，则第二定位点为第二矩形校准框的左下角点；当第一定位点为第一矩形校准框的右上角点时，则第二定位点为第二矩形校准框的右上角点；当第一定位点为第一矩形校准框的右下角点时，则第二定位点为第二矩形校准框的右下角点。
基于此，根据缩放比例和第一初始宽度确定校准宽度时，将第一初始宽度和缩放比例的乘积确定为校准宽度。比如，假设缩放比例为X，第一初始宽度为Wr，校准宽度为Wj，则存在
Figure BDA0002352262390000141
根据缩放比例和第一初始高度确定校准高度时，将第一初始高度和缩放比例的乘积确定为校准高度。比如，假设缩放比例为X，第一初始高度为Hr，校准高度为Hj，则存在
Figure BDA0002352262390000151
根据缩放比例、第一坐标和第二坐标确定原点校准坐标时，根据缩放比例、第一坐标的横坐标以及第二坐标的横坐标确定原点校准坐标的横坐标；根据缩放比例、第一坐标的纵坐标以及第二坐标的纵坐标确定原点校准坐标的纵坐标。
其中，原点校准坐标的横坐标等于第二坐标的横坐标减去第一坐标的横坐标与缩放比例的乘积；原点校准坐标的纵坐标等于第二坐标的纵坐标减去第一坐标的纵坐标与缩放比例的乘积。比如，假设缩放比例为X，第一矩形校准框的左上角点为第一定位点，则第一坐标为J11，J11为(x3,y4)，此时，第二矩形校准框的左上角点为第二定位点，第二坐标为K11，K11为(x5,y6)，若(x0,y0)为原点校准坐标，则存在
Figure BDA0002352262390000152
Figure BDA0002352262390000153
在一些实施例中，根据缩放比例确定热成像图像的大小校准参数及位置校准参数时，能够预先建立预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表。如表1所示，每个预设缩放比例均对应一个预设大小校准参数和一个预设位置校准参数。
表1
预设缩放比例 预设大小校准参数 预设位置校准参数
X1 Wj1、Hj1 x<sub>01</sub>、y<sub>01</sub>
X2 Wj2、Hj2 x<sub>02</sub>、y<sub>02</sub>
X3 Wj3、Hj3 x<sub>03</sub>、y<sub>03</sub>
X4 Wj4、Hj4 x<sub>04</sub>、y<sub>04</sub>
基于此，根据缩放比例确定热成像图像的大小校准参数及位置校准参数，具体包括：在预先建立的预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表中，确定与缩放比例匹配的预设缩放比例，将与缩放比例匹配的预设缩放比例对应的预设大小校准参数确定为热成像图像的大小校准参数，将与缩放比例匹配的预设缩放比例对应的预设位置校准参数确定为热成像图像的位置校准参数。比如，当缩放比例为X1时，在预先建立的预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表中，能够确定预设缩放比例X1与缩放比例X1匹配，因此，将预设缩放比例X1对应的预设大小校准参数Wj1、Hj1确定为热成像图像的大小校准参数，将预设缩放比例X1对应的预设位置校准参数x01、y01确定为热成像图像的位置校准参数。
可以理解的是，在另一些实施例中，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数时，能够预先建立预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表。如表2所示，每个预设第一焦距对应至少两个预设第二焦距，至少两个预设第二焦距中的每一个预设第二焦距均对应一个预设大小校准参数和一个预设位置校准参数。其中，每个预设第一焦距对应的至少两个预设第二焦距相同。
表2
Figure BDA0002352262390000161
基于此，根据第一焦距和第二焦距，确定热成像图像的大小校准参数及位置校准参数，具体包括：在预先建立的预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表中，确定与第一焦距匹配的预设第一焦距作为目标焦距；然后在目标焦距对应的预设第二焦距中，确定与第二焦距匹配的预设第二焦距，将目标焦距对应的预设第二焦距中与第二焦距匹配的预设第二焦距对应的预设大小校准参数确定为热成像图像的大小校准参数，将目标焦距对应的预设第二焦距中与第二焦距匹配的预设第二焦距对应的预设位置校准参数确定为热成像图像的位置校准参数。比如，当第一焦距为f10，第二焦距为f20时，在预先建立的预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表中，能够确定预设第一焦距f10与第一焦距f10匹配，因此，将预设第一焦距f10确定为目标焦距，然后在预设第一焦距f10对应的预设第二焦距f20、f21、f22中确定与第二焦距f20匹配的预设第二焦距，由于预设第二焦距f20与第二焦距f20匹配，因此，将预设第二焦距f20对应的预设大小校准参数Wj1、Hj1确定为热成像图像的大小校准参数，将预设第二焦距f20对应的预设位置校准参数x01、y01确定为热成像图像的位置校准参数。
S400：根据大小校准参数调整热成像图像的大小，并根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像。
具体地，根据大小校准参数调整热成像图像的大小时，根据校准宽度调整热成像图像的第一初始宽度，以使第一初始宽度调整为校准宽度；根据校准高度调整热成像图像的第一初始高度，以使第一初始高度调整为校准高度。此时，调整后的热成像图像的成像比例与可见光图像的成像比例一致。
根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准时，将调整后的热成像图像的原点移动至可见光图像中的原点校准坐标处，此时，成像比例一致的热成像图像和可见光图像的成像能够重合，然后对成像重合的热成像图像和可见光图像进行配准，即可得到待融合图像。
在该待融合图像中，调整后的热成像图像叠加至可见光图像中，形成热成像区域和可见光区域(如图4所示)。
S500：对待融合图像进行融合处理，生成双光融合图像。
在一些实施例中，对待融合图像进行融合处理之后，还需确定待融合图像中的热成像区域和可见光区域的重合区域，然后裁剪待融合图像中重合区域以外的其他区域。
其中，确定待融合图像中的热成像区域和可见光区域的重合区域，具体包括：确定热成像区域的第三角点坐标；确定可见光区域的第四角点坐标；根据第三角点坐标和第四角点坐标，确定重合区域的第一角点和第二角点的坐标，第一角点和第二角点为对角角点；根据第一角点和第二角点的坐标，确定重合区域的第三角点和第四角点的坐标。
其中，第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标。
第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标。
由于热成像区域为调整后的热成像图像形成的区域，因此，当热成像图像的原点为热成像图像的左上角点、左下角点、右上角点和右下角点中的任意一点时，确定热成像区域的第三角点坐标，具体包括：根据校准宽度、校准高度和原点校准坐标，确定热成像区域的第三角点坐标。
根据校准宽度、校准高度和原点校准坐标，确定热成像区域的第三角点坐标时，若热成像图像的原点为左上角点，则将原点校准坐标确定为第三左上角点坐标；此时，第三左下角点坐标的横坐标与第三左上角点坐标的横坐标相同，第三左下角点坐标的纵坐标为第三左上角点坐标的纵坐标减去校准高度；第三右上角点坐标的横坐标为第三左上角点坐标的横坐标加上校准宽度，第三右上角点坐标的纵坐标与第三左上角点坐标的纵坐标相同；第三右下角点坐标的横坐标为第三左上角点坐标的横坐标加上校准宽度，第三右下角点坐标的纵坐标为第三左上角点坐标的纵坐标减去校准高度。
若热成像图像的原点为左下角点，则将原点校准坐标确定为第三左下角点坐标；此时，第三左上角点坐标的横坐标与第三左下角点坐标的横坐标相同，第三左上角点坐标的纵坐标为第三左下角点坐标的纵坐标加上校准高度；第三右上角点坐标的横坐标为第三左下角点坐标的横坐标加上校准宽度，第三右上角点坐标的纵坐标为第三左下角点坐标的纵坐标加上校准高度；第三右下角点坐标的横坐标为第三左下角点坐标的横坐标加上校准宽度，第三右下角点坐标的纵坐标与第三左下角点坐标的纵坐标相同。
若热成像图像的原点为右上角点，则将原点校准坐标确定为第三右上角点坐标；此时，第三左上角点坐标的横坐标为第三右上角点坐标的横坐标减去校准宽度，第三左上角点坐标的纵坐标与第三右上角点坐标的纵坐标相同；第三左下角点坐标的横坐标为第三右上角点坐标的横坐标减去校准宽度，第三左下角点坐标的纵坐标为第三右上角点坐标的纵坐标减去校准高度；第三右下角点坐标的横坐标与第三右上角点坐标的横坐标相同，第三右下角点坐标的纵坐标为第三右上角点坐标的纵坐标减去校准高度。
若热成像图像的原点为右下角点，则将原点校准坐标确定为第三右下角点坐标；此时，第三左上角点坐标的横坐标为第三右下角点坐标的横坐标减去校准宽度，第三左上角点坐标的纵坐标为第三右下角点坐标的纵坐标加上校准高度；第三左下角点坐标的横坐标为第三右下角点坐标的横坐标减去校准宽度，第三左下角点坐标的纵坐标与第三右下角点坐标的纵坐标相同；第三右上角点坐标的横坐标与第三右下角点坐标的横坐标相同，第三右上角点坐标的纵坐标为第三右下角点坐标的纵坐标加上校准高度。
由于可见光区域为可见光图像形成的区域，因此，当可见光图像的原点为可见光图像的左上角点、左下角点、右上角点和右下角点中的任意一点时，确定可见光区域的第四角点坐标，具体包括：获取可见光图像的第二初始宽度Wk、第二初始高度Hk以及原点坐标；根据第二初始宽度Wk、第二初始高度Hk和原点坐标，确定可见光区域的第四角点坐标。
根据第二初始宽度、第二初始高度和原点坐标，确定可见光区域的第四角点坐标时，若可见光图像的原点为左上角点，则将原点坐标确定为第四左上角点坐标；此时，第四左下角点坐标的横坐标与第四左上角点坐标的横坐标相同，第四左下角点坐标的纵坐标为第四左上角点坐标的纵坐标减去第二初始高度；第四右上角点坐标的横坐标为第四左上角点坐标的横坐标加上第二初始宽度，第四右上角点坐标的纵坐标与第四左上角点坐标的纵坐标相同；第四右下角点坐标的横坐标为第四左上角点坐标的横坐标加上第二初始宽度，第四右下角点坐标的纵坐标为第四左上角点坐标的纵坐标减去第二初始高度。
若可见光图像的原点为左下角点，则将原点坐标确定为第四左下角点坐标；此时，第四左上角点坐标的横坐标与第四左下角点坐标的横坐标相同，第四左上角点坐标的纵坐标为第四左下角点坐标的纵坐标加上第二初始高度；第四右上角点坐标的横坐标为第四左下角点坐标的横坐标加上第二初始宽度，第四右上角点坐标的纵坐标为第四左下角点坐标的纵坐标加上第二初始高度；第四右下角点坐标的横坐标为第四左下角点坐标的横坐标加上第二初始宽度，第四右下角点坐标的纵坐标与第四左下角点坐标的纵坐标相同。
若可见光图像的原点为右上角点，则将原点坐标确定为第四右上角点坐标；此时，第四左上角点坐标的横坐标为第四右上角点坐标的横坐标减去第二初始宽度，第四左上角点坐标的纵坐标与第四右上角点坐标的纵坐标相同；第四左下角点坐标的横坐标为第四右上角点坐标的横坐标减去第二初始宽度，第四左下角点坐标的纵坐标为第四右上角点坐标的纵坐标减去第二初始高度；第四右下角点坐标的横坐标与第四右上角点坐标的横坐标相同，第四右下角点坐标的纵坐标为第四右上角点坐标的纵坐标减去第二初始高度。
若可见光图像的原点为右下角点，则将原点坐标确定为第四右下角点坐标；此时，第四左上角点坐标的横坐标为第四右下角点坐标的横坐标减去第二初始宽度，第四左上角点坐标的纵坐标为第四右下角点坐标的纵坐标加上第二初始高度；第四左下角点坐标的横坐标为第四右下角点坐标的横坐标减去第二初始宽度，第四左下角点坐标的纵坐标与第四右下角点坐标的纵坐标相同；第四右上角点坐标的横坐标与第四右下角点坐标的横坐标相同，第四右上角点坐标的纵坐标为第四右下角点坐标的纵坐标加上第二初始高度。
由于第一角点和第二角点为对角角点，则第一角点和第二角点可以分别为重合区域的左下角点和右上角点，也可以分别为重合区域的左上角点和右下角点。
当第一角点和第二角点分别为重合区域的左下角点和右上角点时，确定重合区域的第一角点和第二角点的坐标的公式如下：
Figure BDA0002352262390000201
Figure BDA0002352262390000202
其中，(x1,y1)和(x2,y2)分别为第一角点和第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标。
此时，根据第一角点和第二角点的坐标，确定重合区域的第三角点和第四角点的坐标时，若第三角点和第四角点分别为重合区域的左上角点和右下角点，则将第一角点的横坐标确定为第三角点的横坐标，将第二角点的纵坐标确定为第三角点的纵坐标；将第二角点的横坐标确定为第四角点的横坐标，将第一角点的纵坐标确定为第四角点的纵坐标。
当第一角点和第二角点分别为重合区域的左上角点和右下角点时，确定重合区域的第一角点和第二角点的坐标的公式的原理与第一角点和第二角点分别为重合区域的左下角点和右上角点时，确定重合区域的第一角点和第二角点的坐标的公式的原理相同，在此不再一一赘述。
在本发明实施例中，通过采集热成像图像时的第一焦距以及采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
进一步地，请参阅图5，是本发明实施例提供的一种图像融合的装置的结构示意图，该图像融合的装置各个模块的功能由上述双光相机40执行，用于在采集热成像图像和采集可见光图像的焦距不同时，对热成像图像和可见光图像进行精确配准，提高融合图像的画面质量。
值得注意的是，本发明实施例所使用的术语“模块”为可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置可以以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。
具体地，该图像融合的装置包括：
获取模块200，用于获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像；
确定模块300，用于确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；以及，
用于根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
调整模块400，用于根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
处理模块500，用于对所述待融合图像进行融合处理，生成双光融合图像。
在一些实施例中，所述确定模块300具体用于：
根据所述第一焦距和所述第二焦距，确定所述热成像图像的缩放比例；
根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数。
在一些实施例中，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框；则，
所述确定模块300具体用于：
根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标；
根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标；
根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例。
在一些实施例中，所述确定模块300具体用于：
根据所述第一角点坐标确定所述第一矩形校准框的第一宽度；
根据所述第二角点坐标确定所述第二矩形校准框的第二宽度；
根据所述第一宽度和所述第二宽度确定所述缩放比例；
或者，
根据所述第一角点坐标确定所述第一矩形校准框的第一高度；
根据所述第二角点坐标确定所述第二矩形校准框的第二高度；
根据所述第一高度和所述第二高度确定所述缩放比例。
在一些实施例中，所述确定模块300具体用于：
在所述第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第一宽度；
在所述第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第二宽度；
在所述第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第一高度；
在所述第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第二高度。
在一些实施例中，所述大小校准参数包括校准宽度和校准高度，所述位置校准参数包括原点校准坐标；则，
所述确定模块300具体用于：
获取所述热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；
在所述可见光图像中确定与所述第一定位点对应的第二定位点的第二坐标；
根据所述缩放比例和所述第一初始宽度，确定所述校准宽度；
根据所述缩放比例和所述第一初始高度，确定所述校准高度；
根据所述缩放比例、所述第一坐标和所述第二坐标，确定所述原点校准坐标。
在一些实施例中，所述第一坐标为所述第一左上角点坐标、所述第一左下角点坐标、所述第一右上角点坐标和所述第一右下角点坐标中的任意一个；
所述第二坐标为所述第二左上角点坐标、所述第二左下角点坐标、所述第二右上角点坐标和所述第二右下角点坐标中的任意一个。
在一些实施例中，所述处理模块500还用于：
在对所述待融合图像进行融合处理后，确定所述待融合图像中的热成像区域和可见光区域的重合区域；
裁剪所述待融合图像中所述重合区域以外的其他区域。
在一些实施例中，所述处理模块500具体用于：
确定所述热成像区域的第三角点坐标，所述第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；
确定所述可见光区域的第四角点坐标，所述第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标；
根据所述第三角点坐标和所述第四角点坐标，确定所述重合区域的第一角点和第二角点的坐标，所述第一角点和所述第二角点为对角角点；
根据所述第一角点和所述第二角点的坐标，确定所述重合区域的第三角点和第四角点的坐标。
在一些实施例中，所述热成像图像的原点为所述热成像图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述处理模块500具体用于：
根据所述校准宽度、所述校准高度和所述原点校准坐标，确定所述热成像区域的第三角点坐标。
在一些实施例中，所述可见光图像的原点为所述可见光图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述处理模块500具体用于：
获取所述可见光图像的第二初始宽度、第二初始高度以及原点坐标；
根据所述第二初始宽度、所述第二初始高度和所述原点坐标，确定所述可见光区域的第四角点坐标。
在一些实施例中，所述第一角点和所述第二角点分别为所述重合区域的左下角点和右上角点；则，
确定所述重合区域的第一角点和第二角点的坐标的公式如下：
Figure BDA0002352262390000241
Figure BDA0002352262390000242
其中，(x1,y1)和(x2,y2)分别为所述第一角点和所述第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为所述第三左上角点坐标、所述第三左下角点坐标、所述第三右上角点坐标和所述第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为所述第四左上角点坐标、所述第四左下角点坐标、所述第四右上角点坐标和所述第四右下角点坐标。
由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，装置实施例的内容可以引用方法实施例的，在此不再一一赘述。
在其他一些可替代实施例中，上述获取模块200、确定模块300、调整模块400以及处理模块500可以为双光相机40的处理芯片。
在本发明实施例中，通过采集热成像图像时的第一焦距以及采集可见光图像时的第二焦距确定热成像图像的大小校准参数和位置校准参数，然后根据大小校准参数调整热成像图像的大小，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，得到待融合图像，对待融合图像进行融合处理，生成双光融合图像。其中，根据大小校准参数调整热成像图像的大小使得热成像图像的成像比例与可见光图像的成像比例一致，此时，根据位置校准参数将调整后的热成像图像移动至可见光图像中与可见光图像配准，能够使得热成像图像和可见光图像的成像重合，进而使得热成像图像和可见光图像精确配准，提高了融合图像的画面质量。
进一步地，请参阅图6，是本发明实施例提供的一种双光相机的硬件结构示意图，包括：
一个或多个处理器41以及存储器42。其中，图6中以一个处理器41为例。
处理器41和存储器42可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器42作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明上述实施例中的一种图像融合的方法对应的程序指令以及一种图像融合的装置对应的模块(例如，获取模块200、确定模块300、调整模块400以及处理模块500等)。处理器41通过运行存储在存储器42中的非易失性软件程序、指令以及模块，从而执行一种图像融合的方法的各种功能应用以及数据处理，即实现上述方法实施例中的一种图像融合的方法以及上述装置实施例的各个模块的功能。
存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种图像融合的装置的使用所创建的数据等。
所述存储数据区还存储有预设的数据，包括预设第一焦距与预设第一角点坐标的对应关系表、预设第二焦距与预设第二角点坐标的对应关系表、预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表、预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表等。
此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令以及一个或多个模块存储在所述存储器42中，当被所述一个或者多个处理器41执行时，执行上述任意方法实施例中的一种图像融合的方法的各个步骤，或者，实现上述任意装置实施例中的一种图像融合的装置的各个模块的功能。
上述产品可执行本发明上述实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明上述实施例所提供的方法。
本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图6中的一个处理器41，可使得计算机执行上述任意方法实施例中的一种图像融合的方法的各个步骤，或者，实现上述任意装置实施例中的一种图像融合的装置的各个模块的功能。
本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被一个或多个处理器执行，例如图6中的一个处理器41，可使得计算机执行上述任意方法实施例中的一种图像融合的方法的各个步骤，或者，实现上述任意装置实施例中的一种图像融合的装置的各个模块的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方法的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种图像融合的方法，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，其特征在于，所述方法包括：
获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框；
确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；
根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标；
根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标；
根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例；
预先建立预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表，根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数；
或者，预先建立预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表，根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
对所述待融合图像进行融合处理，生成双光融合图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例，具体包括：
根据所述第一角点坐标确定所述第一矩形校准框的第一宽度；
根据所述第二角点坐标确定所述第二矩形校准框的第二宽度；
根据所述第一宽度和所述第二宽度确定所述缩放比例；
或者，
根据所述第一角点坐标确定所述第一矩形校准框的第一高度；
根据所述第二角点坐标确定所述第二矩形校准框的第二高度；
根据所述第一高度和所述第二高度确定所述缩放比例。
3.根据权利要求2所述的方法，其特征在于，
所述根据所述第一角点坐标确定所述第一矩形校准框的第一宽度，具体包括：
在所述第一角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第一宽度；
所述根据所述第二角点坐标确定所述第二矩形校准框的第二宽度，具体包括：
在所述第二角点坐标中，提取任意两个纵坐标相同的角点坐标，根据所提取的角点坐标的横坐标的差值确定所述第二宽度；
所述根据所述第一角点坐标确定所述第一矩形校准框的第一高度，具体包括：
在所述第一角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第一高度；
所述根据所述第二角点坐标确定所述第二矩形校准框的第二高度，具体包括：
在所述第二角点坐标中，提取任意两个横坐标相同的角点坐标，根据所提取的角点坐标的纵坐标的差值确定所述第二高度。
4.根据权利要求2至3中任一项所述的方法，其特征在于，所述大小校准参数包括校准宽度和校准高度，所述位置校准参数包括原点校准坐标；则，
所述根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数，具体包括：
获取所述热成像图像的第一初始宽度、第一初始高度以及第一定位点的第一坐标；
在所述可见光图像中确定与所述第一定位点对应的第二定位点的第二坐标；
根据所述缩放比例和所述第一初始宽度，确定所述校准宽度；
根据所述缩放比例和所述第一初始高度，确定所述校准高度；
根据所述缩放比例、所述第一坐标和所述第二坐标，确定所述原点校准坐标。
5.根据权利要求4所述的方法，其特征在于，
所述第一坐标为所述第一左上角点坐标、所述第一左下角点坐标、所述第一右上角点坐标和所述第一右下角点坐标中的任意一个；
所述第二坐标为所述第二左上角点坐标、所述第二左下角点坐标、所述第二右上角点坐标和所述第二右下角点坐标中的任意一个。
6.根据权利要求4或5所述的方法，其特征在于，所述对所述待融合图像进行融合处理的步骤之后，所述方法还包括：
确定所述待融合图像中的热成像区域和可见光区域的重合区域；
裁剪所述待融合图像中所述重合区域以外的其他区域。
7.根据权利要求6所述的方法，其特征在于，所述确定所述待融合图像中的热成像区域和可见光区域的重合区域，具体包括：
确定所述热成像区域的第三角点坐标，所述第三角点坐标包括第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标；
确定所述可见光区域的第四角点坐标，所述第四角点坐标包括第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标；
根据所述第三角点坐标和所述第四角点坐标，确定所述重合区域的第一角点和第二角点的坐标，所述第一角点和所述第二角点为对角角点；
根据所述第一角点和所述第二角点的坐标，确定所述重合区域的第三角点和第四角点的坐标。
8.根据权利要求7所述的方法，其特征在于，所述热成像图像的原点为所述热成像图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述确定所述热成像区域的第三角点坐标，具体包括：
根据所述校准宽度、所述校准高度和所述原点校准坐标，确定所述热成像区域的第三角点坐标。
9.根据权利要求7或8所述的方法，其特征在于，所述可见光图像的原点为所述可见光图像的左上角点、左下角点、右上角点、右下角点中的任意一点；则，
所述确定所述可见光区域的第四角点坐标，具体包括：
获取所述可见光图像的第二初始宽度、第二初始高度以及原点坐标；
根据所述第二初始宽度、所述第二初始高度和所述原点坐标，确定所述可见光区域的第四角点坐标。
10.根据权利要求7至9中任一项所述的方法，其特征在于，所述第一角点和所述第二角点分别为所述重合区域的左下角点和右上角点；则，
确定所述重合区域的第一角点和第二角点的坐标的公式如下：
Figure FDA0003173865920000041
Figure FDA0003173865920000042
其中，(x1,y1)和(x2,y2)分别为所述第一角点和所述第二角点的坐标；(x1”,y2”)、(x1”,y1”)、(x2”,y2”)、(x2”,y1”)分别为所述第三左上角点坐标、所述第三左下角点坐标、所述第三右上角点坐标和所述第三右下角点坐标；(x1',y2')、(x1',y1')、(x2',y2')、(x2',y1')分别为所述第四左上角点坐标、所述第四左下角点坐标、所述第四右上角点坐标和所述第四右下角点坐标。
11.一种图像融合的装置，应用于双光相机，所述双光相机包括热成像镜头和可见光镜头，其特征在于，所述装置包括：
获取模块，用于获取所述热成像镜头采集到的热成像图像和所述可见光镜头采集到的可见光图像，所述热成像图像包括第一矩形校准框，所述可见光图像包括第二矩形校准框，；
确定模块，用于确定所述热成像镜头采集所述热成像图像时的第一焦距以及所述可见光镜头采集所述可见光图像时的第二焦距；以及，
用于根据所述第一焦距确定所述第一矩形校准框的第一角点坐标，所述第一角点坐标包括第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标，根据所述第二焦距确定所述第二矩形校准框的第二角点坐标，所述第二角点坐标包括第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标，根据所述第一角点坐标和所述第二角点坐标，确定所述热成像图像的缩放比例；用于预先建立预设缩放比例与预设大小校准参数及预设位置校准参数的对应关系表，根据所述缩放比例，确定所述热成像图像的大小校准参数及位置校准参数，或者，用于预先建立预设第一焦距、预设第二焦距、预设大小校准参数及预设位置校准参数的对应关系表，根据所述第一焦距和所述第二焦距，确定所述热成像图像的大小校准参数及位置校准参数；
调整模块，用于根据所述大小校准参数调整所述热成像图像的大小，并根据所述位置校准参数将所述调整后的热成像图像移动至所述可见光图像中与所述可见光图像配准，得到待融合图像；
处理模块，用于对所述待融合图像进行融合处理，生成双光融合图像。
12.一种双光相机，其特征在于，包括：
热成像镜头，用于采集热成像图像；
可见光镜头，用于采集可见光图像；
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行如权利要求1至10中任一项所述的图像融合的方法。
13.一种无人机，其特征在于，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂；以及，
如权利要求12所述的双光相机，所述双光相机与所述机身相连。
14.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使双光相机执行如权利要求1至10中任一项所述的图像融合的方法。
CN201911420526.4A 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机 Active CN111083381B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201911420526.4A CN111083381B (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机
CN202111199729.2A CN114022741A (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机
PCT/CN2020/133974 WO2021135825A1 (zh) 2019-12-31 2020-12-04 一种图像融合的方法、装置及双光相机、无人机
EP20909418.4A EP4087229A4 (en) 2019-12-31 2020-12-04 METHOD AND DEVICE FOR IMAGE FUSION, DUAL LIGHT CAMERA AND UNMANNED AERIAL VEHICLE
US17/809,692 US11805220B2 (en) 2019-12-31 2022-06-29 Image fusion method and bifocal camera
US18/373,216 US20240031515A1 (en) 2019-12-31 2023-09-26 Image fusion method and bifocal camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420526.4A CN111083381B (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111199729.2A Division CN114022741A (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机

Publications (2)

Publication Number Publication Date
CN111083381A CN111083381A (zh) 2020-04-28
CN111083381B true CN111083381B (zh) 2021-10-22

Family

ID=70321237

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911420526.4A Active CN111083381B (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机
CN202111199729.2A Pending CN114022741A (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111199729.2A Pending CN114022741A (zh) 2019-12-31 2019-12-31 一种图像融合的方法、装置及双光相机、无人机

Country Status (4)

Country Link
US (2) US11805220B2 (zh)
EP (1) EP4087229A4 (zh)
CN (2) CN111083381B (zh)
WO (1) WO2021135825A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
CN112085799B (zh) * 2020-08-14 2024-03-15 国网智能科技股份有限公司 一种电力设备自主配准方法及系统
CN111951205A (zh) * 2020-08-18 2020-11-17 燕山大学 一种红外与可见光的双光显微成像系统及其图像融合方法
CN112509035A (zh) * 2020-11-26 2021-03-16 江苏集萃未来城市应用技术研究所有限公司 一种光学镜头和热成像镜头的双镜头图像像素点匹配方法
CN112414558B (zh) * 2021-01-25 2021-04-23 深圳市视美泰技术股份有限公司 基于可见光图像及热成像图像的温度检测方法和装置
CN113284128B (zh) * 2021-06-11 2023-05-16 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN114693528A (zh) * 2022-04-19 2022-07-01 浙江大学 无人机低空遥感图像拼接质量评估与降冗方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN104268853A (zh) * 2014-03-06 2015-01-07 上海大学 一种红外图像与可见光图像配准方法
CN104427245A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像融合系统和方法
CN107993258A (zh) * 2017-11-23 2018-05-04 浙江大华技术股份有限公司 一种图像配准方法及装置
CN108550104A (zh) * 2018-02-28 2018-09-18 北京集光通达科技股份有限公司 图像配准方法、装置
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN109839035A (zh) * 2019-02-27 2019-06-04 赵文龙 一种报靶系统的精确定位方法及报靶系统
CN110166714A (zh) * 2019-04-11 2019-08-23 深圳市朗驰欣创科技股份有限公司 双光融合调整方法、双光融合调整装置及双光融合设备
CN110361092A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置及热成像摄像机
CN110519498A (zh) * 2019-08-29 2019-11-29 深圳市道通智能航空技术有限公司 一种双光相机成像校准的方法、装置和双光相机

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7820967B2 (en) * 2007-09-11 2010-10-26 Electrophysics Corp. Infrared camera for locating a target using at least one shaped light source
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
KR101066068B1 (ko) * 2011-03-22 2011-09-20 (주)유디피 듀얼 카메라를 이용한 영상 감시 장치 및 방법
CN104574332B (zh) * 2014-12-26 2016-08-17 北京航天控制仪器研究所 一种机载光电吊舱用图像融合方法
US10074028B2 (en) * 2015-10-20 2018-09-11 Arizona Board Of Regents On Behalf Of Arizona State University Real-time diet assessment and food identification using thermal imaging
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
CN108510528B (zh) * 2017-02-28 2021-07-30 深圳市朗驰欣创科技股份有限公司 一种可见光和红外图像配准融合的方法及装置
CN108763358A (zh) 2018-05-16 2018-11-06 阿里巴巴集团控股有限公司 一种数据校验方法及装置
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
US20210344851A1 (en) * 2020-05-04 2021-11-04 Rebellion Photonics, Inc. Apparatuses, systems, and methods for thermal imaging

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN104427245A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像融合系统和方法
CN104268853A (zh) * 2014-03-06 2015-01-07 上海大学 一种红外图像与可见光图像配准方法
CN107993258A (zh) * 2017-11-23 2018-05-04 浙江大华技术股份有限公司 一种图像配准方法及装置
CN108550104A (zh) * 2018-02-28 2018-09-18 北京集光通达科技股份有限公司 图像配准方法、装置
CN110361092A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像配准方法、装置及热成像摄像机
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN109839035A (zh) * 2019-02-27 2019-06-04 赵文龙 一种报靶系统的精确定位方法及报靶系统
CN110166714A (zh) * 2019-04-11 2019-08-23 深圳市朗驰欣创科技股份有限公司 双光融合调整方法、双光融合调整装置及双光融合设备
CN110519498A (zh) * 2019-08-29 2019-11-29 深圳市道通智能航空技术有限公司 一种双光相机成像校准的方法、装置和双光相机

Also Published As

Publication number Publication date
US11805220B2 (en) 2023-10-31
WO2021135825A1 (zh) 2021-07-08
CN114022741A (zh) 2022-02-08
US20240031515A1 (en) 2024-01-25
CN111083381A (zh) 2020-04-28
EP4087229A1 (en) 2022-11-09
US20220345641A1 (en) 2022-10-27
EP4087229A4 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
CN111083381B (zh) 一种图像融合的方法、装置及双光相机、无人机
US20220084246A1 (en) Camera calibration method and apparatus and electronic device
CN112912811B (zh) 一种无人机路径规划方法、装置及无人机
CN110262568B (zh) 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110103217B (zh) 工业机器人手眼标定方法
WO2020014909A1 (zh) 拍摄方法、装置和无人机
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
CN107492069B (zh) 基于多镜头传感器的图像融合方法
WO2019113966A1 (zh) 一种避障方法、装置和无人机
CN109753076A (zh) 一种无人机视觉追踪实现方法
CN106767720A (zh) 基于无人机的单镜头倾斜摄影测量方法、装置和系统
WO2021043285A1 (zh) 一种双目立体视差确定方法、装置及无人机
EP3531375A1 (en) Method and apparatus for measuring distance, and unmanned aerial vehicle
US10917561B2 (en) Image processing in an unmanned autonomous vehicle
CN111612794A (zh) 基于多2d视觉的零部件高精度三维位姿估计方法及系统
US20190174063A1 (en) Adaptive Image Processing in an Unmanned Autonomous Vehicle
CN110537197A (zh) 图像处理装置、生长调查图像创建系统以及程序
WO2020114433A1 (zh) 一种深度感知方法，装置和深度感知设备
US20220342419A1 (en) Method and apparatus for auxiliary focusing and unmanned aerial vehicle
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
CN112288801A (zh) 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN105354855B (zh) 一种高耸结构外观检测装置及方法
CN204757981U (zh) 一种航空摄影测量用大面阵数码相机装置
WO2020062024A1 (zh) 基于无人机的测距方法、装置及无人机
CN106303240A (zh) 无人飞机光轴变动补偿装置、方法和全景拍摄系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant