CN115063455A - 一种双光相机成像校准的方法、装置和双光相机 - Google Patents

一种双光相机成像校准的方法、装置和双光相机 Download PDF

Info

Publication number
CN115063455A
CN115063455A CN202111116094.5A CN202111116094A CN115063455A CN 115063455 A CN115063455 A CN 115063455A CN 202111116094 A CN202111116094 A CN 202111116094A CN 115063455 A CN115063455 A CN 115063455A
Authority
CN
China
Prior art keywords
image
visible light
calibration
calibration frame
thermographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111116094.5A
Other languages
English (en)
Inventor
李昭早
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN202111116094.5A priority Critical patent/CN115063455A/zh
Publication of CN115063455A publication Critical patent/CN115063455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双光相机成像校准的方法、装置以及一种双光相机，通过获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像；获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息；根据所述第一位置信息和所述第二位置信息，生成校准参数；以及根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。能够有效实现出厂前进行精细的校准工作，解决长时间使用后物理位移或变形导致成像无法融合或无缝对接的问题。

Description

一种双光相机成像校准的方法、装置和双光相机
技术领域
本发明涉及航拍相机技术领域，尤其涉及一种双光相机成像校准的方法、装置和一种双光相机。
背景技术
无人驾驶飞机简称无人机(Unmanned Aerial Vehicle，UAV)，是利用无线电遥控设备和自备的程序控制终端操纵的不载人飞机。它涉及传感器技术、通信技术、信息处理技术、智能控制技术以及动力推进技术等，是信息时代高技术含量的产物。
行业无人机常用在工业现场，为满足在电力监控、石油化工、农作物场地、森林场地等领域工作的需求，行业无人机常携带双光相机。双光相机常见的有热成像和可见光组合的相机，此类相机可同时录制、传输热成像和可见光影像。然而，双光相机采用两个传感器或摄像头，两个传感器或摄像头不同的方向或位置之间具有相对物理位移，如果由双光相机捕获的两个单独的图像或视频流想要组合显示、融合显示或无缝对接显示的话，所成图像的对准则格外重要。传统上，可以通过机械地对准传感器或摄像头之间的位置和角度来实现这种单独捕获的图像或视频流的配准或对准，但这使得制造光学元件和成像传感器的成本极为高、要求极为严格，并且无法保证这种对准在使用过程中是严格不改变的。
因此，需要一种简单易操作的校准的方法，使得双光相机或多传感器成像能够不受物理位移和角度的限制，从而将两个或多个摄像头或传感器拍摄的图像进行组合、融合或无缝对接显示。
发明内容
本发明实施例提供了一种双光相机成像校准的方法、装置和一种双光相机，能够不仅有效实现出厂前的精细校准工作，而且能够解决长时间使用所导致的双光拍摄结构或相机镜头物理位移或变形而造成成像无法融合或无缝对接的问题。
本发明实施例的一个方面，提供了一种双光相机成像校准的方法，用于双光相机，所述双光相机包括热成像相机和可见光相机，所述方法包括：获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像；获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标；根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
可选地，所述校准框为矩形发热框。
可选地，获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，包括：分别对所述热成像图像和所述可见光图像进行图像处理；利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。
可选地，所述图像处理包括图像去噪和对比度增强中的至少一种。
可选地，根据所述第一位置信息和所述第二位置信息，生成所述校准参数，包括：
利用以下公式，生成所述校准参数：
Figure BDA0003275598400000021
其中，w为合成在所述可见光图像中的所述热成像图像的宽度，wr为所述热成像图像的宽度，w0为所述第一校准框图像在所述热成像图像中的宽度，w1为所述第二校准框图像在所述可见光图像中的宽度，h为合成在所述可见光图像中的所述热成像图像的高度，hr为所述热成像图像的高度，h1为所述第二校准框图像在所述可见光图像中的高度，h0为所述第一校准框图像在所述热成像图中的高度，x为合成在所述可见光图像中的所述热成像图像的左上角顶点的横坐标，x1为所述第二校准框图像在所述可见光图像中左上角顶点的横坐标，x0为所述第一校准框图像在所述热成像图像中左上角顶点的横坐标，y为合成在所述可见光图像中的所述热成像图像的左上角顶点的纵坐标，y1为所述第二校准框图像在所述可见光图像中左上角顶点的纵坐标，y0为所述第一校准框图像在所述热成像图像中左上角顶点的纵坐标。
本发明实施例的另一个方面，提供了一种双光相机，包括：
热成像相机，用于获取包含第一校准框图像的热成像图像；
可见光相机，用于获取包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像；以及
处理器，所述处理器与所述热成像相机和所述可见光相机通信连接，其中，所述处理器用于：
获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标；
根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及
根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
在本发明的一实施例中，所述处理器还用于：
分别对所述热成像图像和所述可见光图像进行图像处理；
利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。
在本发明的一实施例中，所述图像处理包括图像去噪和对比度增强中的至少一种。
在本发明的一实施例中，所述处理器用于：
利用以下公式，生成所述校准参数：
Figure BDA0003275598400000041
其中，w为合成在所述可见光图像中的所述热成像图像的宽度，wr为所述热成像图像的宽度，w0为所述第一校准框图像在所述热成像图像中的宽度，w1为所述第二校准框图像在所述可见光图像中的宽度，h为合成在所述可见光图像中的所述热成像图像的高度，hr为所述热成像图像的高度，h1为所述第二校准框图像在所述可见光图像中的高度，h0为所述第一校准框图像在所述热成像图中的高度，x为合成在所述可见光图像中的所述热成像图像的左上角顶点的横坐标，x1为所述第二校准框图像在所述可见光图像中左上角顶点的横坐标，x0为所述第一校准框图像在所述热成像图像中左上角顶点的横坐标，y为合成在所述可见光图像中的所述热成像图像的左上角顶点的纵坐标，y1为所述第二校准框图像在所述可见光图像中左上角顶点的纵坐标，y0为所述第一校准框图像在所述热成像图像中左上角顶点的纵坐标。
本发明实施例的另一个方面，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上所述的双光相机成像校准的方法。
本发明实施例的又一个方面，提供了一种双光相机成像校准装置，包括：
图像获取模块，用于获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述图像获取模块获取的同一个校准框的图像；
位置获取模块，用于获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标；
校准模块，用于根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及
位置调整模块，用于根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
可选地，所述校准框为矩形发热框。
可选地，所述位置获取模块还用于：分别对所述热成像图像和所述可见光图像进行图像处理；利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。
可选地，所述图像处理包括图像去噪和对比度增强中的至少一种。
可选地，所述校准模块还用于：
根据所述第一位置信息和所述第二位置信息，生成所述校准参数，包括：利用以下公式，生成所述校准参数：
Figure BDA0003275598400000051
其中，w为合成在所述可见光图像中的所述热成像图像的宽度，wr为所述热成像图像的宽度，w0为所述第一校准框图像在所述热成像图像中的宽度，w1为所述第二校准框图像在所述可见光图像中的宽度，h为合成在所述可见光图像中的所述热成像图像的高度，hr为所述热成像图像的高度，h1为所述第二校准框图像在所述可见光图像中的高度，h0为所述第一校准框图像在所述热成像图中的高度，x为合成在所述可见光图像中的所述热成像图像的左上角顶点的横坐标，x1为所述第二校准框图像在所述可见光图像中左上角顶点的横坐标，x0为所述第一校准框图像在所述热成像图像中左上角顶点的横坐标，y为合成在所述可见光图像中的所述热成像图像的左上角顶点的纵坐标，y1为所述第二校准框图像在所述可见光图像中左上角顶点的纵坐标，y0为所述第一校准框图像在所述热成像图像中左上角顶点的纵坐标。
本发明实施例提供的双光相机成像校准的方法、装置、计算机可读存储介质以及一种双光相机，通过获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像；获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标；根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置；解决了双光相机不同传感器由于有相对物理距离而融合不精准的问题，校准方法简单方便，提高了双光成像显示的效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例的一种双光相机的结构示意图；
图2为本发明实施例的双光相机中由热成像相机获取的包含第一校准框图像的热成像图像的坐标示意图；
图3为本发明实施例的双光相机中由可见光相机获取的包含第二校准框图像的可见光图像的坐标示意图；
图4为本发明实施例的一种双光相机成像校准的方法的流程示意图；
图5为本发明实施例的一种双光相机成像校准装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
参见图1，图1为双光相机101的结构示意图，在本发明的一实施例中，双光相机101包括热成像相机200、可见光相机300以及处理器400。其中，热成像相机200和可见光相机300均与处理器400通信连接。
在本发明的一实施例中，双光相机101的热成像相机200用于拍摄目标物体的热辐射图像，可见光相机300用于拍摄目标物体的可见光波长范围图像。
由热成像相机200拍摄的热成像图像与由可见光相机300拍摄的可见光图像通过画中画的方式融合之后形成一副双光图像。热成像图像和可见光图像按照一定的比例合并后，需要进行校准工作。通常，该校准工作可以通过校准框来进行。
校准框是人为选择的，被选中的作为校准框的物体需要具有确定的形状，且具有均匀的发热区域和可见光区域是重叠的。这是为了保证发热部分和可见光部分一致，从而使得热成像相机和可见光相机分别拍摄到的校准框图像除了像素尺寸、比例大小或颜色可能不同之外，其余都是相同的。如果发热不均匀或者只有某个区域发热，则热成像相机获取的图像和可见光相机获取的图像中的校准框图像将是完全不同的，这样变量无法控制，也就无法作为校准框以达到参考效果。所以，必须使得校准框具有确定的形状，且发热区域和可见光区域是重叠的。因此，在本发明的一个实施例中，所述校准框为矩形发热框。此外，校准框每个边与对应的热成像图像边缘和对应的可见光图像边缘平行。而且，校准框所占热成像图像的面积比例越大校准结果越精确。
在实际情况中，例如，在工厂自动校准中，将工厂特制的一块温度较高且发热区域与可见光区域重叠的框，设置为校准框。工厂设有专用的校准墙，所述校准墙与热成像相机和可见光相机的摄像头的光轴垂直，且墙面亮度颜色单一、温度一致，所述校准框的温度高于所述校准墙的温度(例如，校准墙不发热)。将校准框放置在校准墙前拍摄成像。
而在用户简易自动校准中，可以将一个均匀发热源，例如计算机显示屏，作为校准框。将该校准框放置在单一颜色和均匀温度的墙面(例如，室内的白色墙壁)前，同时用热成像相机和可见光相机进行拍摄。
在本发明的一实施例中，选定并设置好校准框后，热成像相机200获取包含第一校准框图像的热成像图像，可见光相机300获取包含第二校准框图像的可见光图像。其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像。
在本发明的一个实施例中，双光相机101的处理器400还用于获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息。
热成像相机200将包含第一校准框图像的热成像图像发送至所述处理器400，处理器400获取所述第一校准框图像在所述热成像图像中的第一位置信息。其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标。
同样的，可见光相机300将包含第二校准框图像的可见光图像发送至所述处理器400，处理器400获取所述第二校准框图像在所述可见光图像中的第二位置信息。其中，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标。
上述的热成像图像和可见光图像经过图像处理，例如去噪、对比度增强等，再经过边缘提取，在边缘提取的过程中，就可以得到第一位置信息和第二位置信息了。在本发明的一实施例中，可以使用成熟的边缘检测提取算子(Canny算子)来实现边缘提取。
在本发明的一个实施例中，如图2所示，以矩形校准框为例，将热成像图像的左上角顶点设为原点(0，0)，则已知整个图像的其他三个顶点坐标顺时针依次是(wr，0)、(wr，hr)和(0，hr)。hr-0＝hr为所述热成像图像的高度，wr-0＝wr为所述热成像图像的宽度。进行图像识别，热成像图像经过去噪，对比度增强，再经过边缘提取，连接边缘点形成边缘图，从而得到校准框各个顶点的坐标，再由坐标之间的距离可得到校准框的宽高。于是，处理器400得到校准框的左上角顶点坐标为(x0，y0)，右上角坐标(x0r，y0)，以及左下角坐标(x0，y0b)，同时通过计算得到所述第一校准框图像在所述热成像图像中的宽度w0＝x0r-x0，和所述第一校准框图像在所述热成像图中的高度h0＝y0b-y0。
在本发明的一个实施例中，如图3所示，示例地而非限制地，将可见光图像的左上角顶点设为原点(0，0)。进行图像识别，例如可见光图像经过去噪，对比度增强，边缘提取，连接边缘点形成边缘图(现有技术中图像识别的过程未在本发明中具体描述)，最终得到校准框的各个顶点坐标，再由坐标之间相减可得到宽高。于是，示例性地，得到可见光图像中校准框的左上角顶点坐标为(x1，y1)，右上角坐标(x1r，y1)，以及左下角坐标(x1，y1b)，通过计算得到所述第二校准框图像在所述可见光图像中的宽度w1＝x1r-x1，以及所述第二校准框图像在所述可见光图像中的高度h1＝y1b-y1。
在本发明的一个实施例中，在获取了第一位置信息和第二位置信息之后，所述处理器400根据所述第一位置信息和所述第二位置信息，生成校准参数。其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标。
其中，以图2和图3中的坐标为例，校准参数包括合成在可见光图像中的热成像图像的左上角顶点坐标，以及热成像图像的宽和高，假设合成在可见光图像中的热成像图像的左上角顶点坐标为(x，y)，宽为w、高为h。由于校准框与热成像整个图像之间的比例是不变的，因此有：
Figure BDA0003275598400000091
Figure BDA0003275598400000092
Figure BDA0003275598400000093
Figure BDA0003275598400000094
由此，可以得到校准参数——合成在可见光图像中的热成像图像的宽w、高h，左上角顶点坐标(x，y)。此外，还可以经计算得到其他顶点的坐标，顺时针依次是(x+w，y)、(x+w，y+h)、以及(x，y+h)。
在获取了校准参数之后，处理器400可以根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
图4为本发明一实施例提供的一种双光相机成像校准的方法的流程示意图。该方法由双光相机执行，所述双光相机包括热成像相机和可见光相机，该方法包括：
步骤S401：获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像；
由热成像相机200拍摄的热成像图像与由可见光相机300拍摄的可见光图像通过画中画的方式融合之后形成一副双光图像。热成像图像和可见光图像按照一定的比例合并后，需要进行校准工作。通常，该校准工作可以通过校准框来进行。
其中，所述校准框人为地选择，
其中，被选中作为校准框的物体需要具有确定的形状，且发热区域和可见光区域是重叠的。这是为了保证发热部分和可见光部分一致，从而使得热成像相机和可见光相机拍摄到的第一校准框图像和第二校准框图像除了像素尺寸、比例大小或颜色可能不同之外，其余都是相同的。如果发热不均匀或者只有某个区域发热，则热成像相机获取的图像和可见光相机获取的图像中的校准框图像将是完全不同，无法控制变量也就无法作为校准框以达到参考效果。所以，必须使得校准框具有确定的形状，且发热区域和可见光区域是重叠的。在本发明的一个实施例中，所述校准框为矩形发热框。其中，校准框每个边与对应的热成像图像和可见光图像边缘平行。而且，校准框所占热成像图像的面积比例越大校准结果越精确。
在实际情况中，例如，在工厂自动校准中，将工厂特制的一块温度较高且发热区域与可见光区域重叠的框，设置为校准框。工厂设有专用的校准墙，所述校准墙与两个摄像头垂直且墙面亮度颜色单一、温度一致，所述校准框的温度高于所述校准墙。将校准框设于校准墙前，分别获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像。
而在用户简易自动校准中，将一个用户生活中存在且易得的均匀发热源，例如计算机显示屏，设置为校准框。其中，将双光相机对准校准框后，用户按下控制终端的自动校准按钮或以其他方式(例如，手机APP中的选项等)发出触发双光相机的自动校准的功能的指令，双光相机中的处理器自动开始校准。在本发明的一个实施例中，用户简易自动校准还包括校准墙，所述校准框的温度高于所述校准墙，所述校准墙垂直于双光相机(例如，双光镜头)，且墙面亮度颜色单一、温度一致。其中，校准墙由用户自主选定，校准墙可以是用户生活中的一面纯色的墙面或背景，校准墙的温度低于校准框的温度。将校准框设于校准墙前，分别获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像。
步骤S402：获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标；
在本发明的一个实施例中，所述第一位置信息和第二位置信息通过以下方式获取：对所述热成像图像进行图像处理；利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。
其中，所述图像处理包括图像去噪和对比度增强中的至少一种。
在本发明的一个实施例中，如图2所示，以矩形校准框为例，示例性的而非限制的，将热成像图像的左上角顶点设为原点(0，0)，则已知整个图像的其他三个顶点坐标顺时针依次是(wr，0)、(wr，hr)和(0，hr)。hr为所述热成像图像的高度，wr为所述热成像图像的宽度。进行图像识别，热成像图像经过去噪，对比度增强，再经过边缘提取(例如，可以使用现有成熟的边缘检测提取算子，Canny算子，来实现边缘提取)，连接边缘点形成边缘图(现有技术中图像识别的过程未在本发明中具体描述)，从而得到校准框各个顶点的坐标，再由坐标之间的距离可得到校准框的宽高。于是，处理器400得到校准框的左上角顶点坐标为(x0，y0)，右上角坐标(x0r，y0)，以及左下角坐标(x0，y0b)，同时通过计算得到所述第一校准框图像在所述热成像图像中的宽度w0＝x0r-x0，和所述第一校准框图像在所述热成像图中的高度h0＝y0b-y0。
在本发明的一个实施例中，如图3所示，示例地而非限制地，将可见光图像的左上角顶点设为原点(0，0)。进行图像识别，例如可见光图像经过去噪，对比度增强，边缘提取，连接边缘点形成边缘图(现有技术中图像识别的过程未在本发明中具体描述)，最终得到校准框的各个顶点坐标，再由坐标之间相减可得到宽高。于是，示例性地，得到可见光图像中校准框的左上角顶点坐标为(x1，y1)，右上角坐标(x1r，y1)，以及左下角坐标(x1，y1b)，通过计算得到所述第二校准框图像在所述可见光图像中的宽度w1＝x1r-x1，以及所述第二校准框图像在所述可见光图像中的高度h1＝y1b-y1。
步骤S403：根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标：
其中，以图2和图3中的坐标为例，校准参数包括合成在可见光图像中的热成像图像的左上角顶点坐标，以及合成在可见光图像中的经缩放的热成像图像的宽和高，假设合成在可见光图像中的热成像图像的左上角顶点坐标为(x，y)，宽为w，和高为h。由于校准框与热成像整个图像之间的比例是不变的，因此有：
Figure BDA0003275598400000121
Figure BDA0003275598400000122
Figure BDA0003275598400000123
Figure BDA0003275598400000124
由此，可以得到校准参数——合成在可见光图像中的热成像图像的宽w、高h，左上角顶点坐标(x，y)。此外，还可以经计算得到其他顶点的坐标，顺时针依次是(x+w，y)、(x+w，y+h)、以及(x，y+h)。
步骤S404、根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
在本发明的实施例中，利用双光成像融合中，校准框图像在热成像图像中的比例不变的原理，解决了双光相机或多传感器拍摄成像中，物理偏差使得成像不能融合或有误差的问题。
由此，本发明的实施例提供了一种工厂自动校准的方法和一种用户简易自动校准的方法，能够简便可靠地解决由于多传感器的物理位置不同、角度不同而导致的共同生成、显示的图像无法完全融合或无缝拼接的问题。同时，在用户使用过程中，一旦发现图像不融合的问题或有误差的情况发生，就可以触发用户自动校准指令，以解决由于使用过程中出现的多传感器的相对物理位置改变、角度不同而导致的共同生成显示的图像无法完全融合或无缝拼接的问题，简单易操作，极大地提升了用户体验。
本发明的实施例还提供了一种计算机可读存储介质，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指示相关的硬件来完成，所述程序可存储于所述计算机可读取存储介质中，当一个或者多个程序被一个或者多个处理器执行时，可包括如上述各实施例的流程。其中，所述的存储介质可以为磁碟、光盘、只读存储记忆体(ROM，Read Only Memory)或随机存储记忆体(RAM，Random AccessMemory)等。所述存储介质和所述一个或者多个处理器被包括在所述移动控制终端中。
如图5所示，本发明实施例还提供了一种双光相机成像校准装置500，所述装置500包括：图像获取模块501、位置获取模块502、校准模块503、以及位置调整模块504，各模块之间通信连接。
图像获取模块501，用于获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述图像获取模块获取的同一个校准框的图像。
获取的热成像图像和可见光图像通过画中画的方式融合之后形成一副双光图像，热成像图像和可见光图像按照一定的比例合并后，需要进行校准工作。通常，该校准工作可以通过校准框来进行。
其中，所述校准框人为地选择，被选中作为校准框的物体需要具有确定的形状，且发热区域和可见光区域是重叠的。这是为了保证发热部分和可见光部分一致，从而使得热成像相机和可见光相机拍摄到的第一校准框图像和第二校准框图像除了像素尺寸、比例大小或颜色可能不同之外，其余都是相同的。如果发热不均匀或者只有某个区域发热，则热成像相机获取的图像和可见光相机获取的图像中的校准框图像将是完全不同，无法控制变量也就无法作为校准框以达到参考效果。所以，必须使得校准框具有确定的形状，且发热区域和可见光区域是重叠的。在本发明的一个实施例中，所述校准框为矩形发热框。此外，校准框每个边与对应的热成像图像的边缘和可见光图像的边缘平行。并且，校准框所占热成像图像的面积比例越大校准结果越精确。
位置获取模块502，用于获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标。
在本发明的一个实施例中，所述位置获取模块502还用于对所述热成像图像进行图像处理；利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。其中，所述图像处理包括图像去噪和对比度增强中的至少一种。
在本发明的一个实施例中，如图2所示，以矩形校准框为例，示例性的而非限制的，将热成像图像的左上角顶点设为原点(0，0)，则已知整个图像的其他三个顶点坐标顺时针依次是(wr，0)、(wr，hr)和(0，hr)。hr为所述热成像图像的高度，wr为所述热成像图像的宽度。进行图像识别，热成像图像经过去噪，对比度增强，再经过边缘提取(例如，可以使用现有成熟的边缘检测提取算子，Canny算子，来实现边缘提取)，连接边缘点形成边缘图(现有技术中图像识别的过程未在本发明中具体描述)，从而得到校准框各个顶点的坐标，再由坐标之间的距离可得到校准框的宽高。于是，处理器400得到校准框的左上角顶点坐标为(x0，y0)，右上角坐标(x0r，y0)，以及左下角坐标(x0，y0b)，同时通过计算得到所述第一校准框图像在所述热成像图像中的宽度w0＝x0r-x0，和所述第一校准框图像在所述热成像图中的高度h0＝y0b-y0。
在本发明的一个实施例中，如图3所示，示例地而非限制地，将可见光图像的左上角顶点设为原点(0，0)。进行图像识别，例如可见光图像经过去噪，对比度增强，边缘提取，连接边缘点形成边缘图(现有技术中图像识别的过程未在本发明中具体描述)，最终得到校准框的各个顶点坐标，再由坐标之间相减可得到宽高。于是，示例性地，得到可见光图像中校准框的左上角顶点坐标为(x1，y1)，右上角坐标(x1r，y1)，以及左下角坐标(x1，y1b)，通过计算得到所述第二校准框图像在所述可见光图像中的宽度w1＝x1r-x1，以及所述第二校准框图像在所述可见光图像中的高度h1＝y1b-y1。
校准模块503，用于根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标。
在本发明的一个实施例中，以图2和图3中的坐标为示例，
校准参数包括合成在可见光图像中的热成像图像的左上角顶点坐标，以及热成像图像的宽和高，假设合成在可见光图像中的热成像图像的左上角顶点坐标为(x，y)，宽为w、高为h。由于校准框与热成像整个图像之间的比例是不变的，因此有：
Figure BDA0003275598400000151
Figure BDA0003275598400000152
Figure BDA0003275598400000153
Figure BDA0003275598400000154
由此，可以得到校准参数——合成在可见光图像中的热成像图像的宽w、高h，左上角顶点坐标(x，y)。此外，还可以经计算得到其他顶点的坐标，顺时针依次是(x+w，y)、(x+w，y+h)、以及(x，y+h)。
位置调整模块504，用于根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
在本发明的实施例中，利用双光成像融合中，校准框在热成像图像中的比例不变的原理，解决了双光相机或多传感器拍摄成像中，物理偏差使得成像不能融合或有误差的问题。
本发明提出了双光相机成像校准的方法。通过设置校准框，分别获取校准框在热成像和可见光中的图像位置，再利用比例关系，来校准热成像图像和可见光图像的相对位置，使得双光相机或多传感器成像能够不受相对物理位移和角度改变的限制，从而将两个或多个摄像头或传感器的图像进行组合、融合或无缝对接显示。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种双光相机成像校准的方法，其特征在于，包括：
获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像；
获取所述第一校准框图像的第一位置信息和所述第二校准框的第二位置信息；
根据所述第一校准框图像与所述热成像图像之间的比例等于第二校准框图像与在所述可见光图像中的热成像图像之间的比例，以及所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及
根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像的宽度、高度以及坐标。
2.根据权利要求1所述的方法，其特征在于，所述校准框为矩形发热框；所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标。
3.根据权利要求1所述的方法，其特征在于，获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框图像在所述可见光图像中的宽度、高度及坐标包括：
分别对所述热成像图像和所述可见光图像进行图像处理；
利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。
4.根据权利要求3所述的方法，其特征在于，所述图像处理包括图像去噪和对比度增强中的至少一种。
5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述第一位置信息和所述第二位置信息，生成所述校准参数，包括：
利用以下公式，生成所述校准参数：
Figure FDA0003275598390000021
Figure FDA0003275598390000022
Figure FDA0003275598390000023
Figure FDA0003275598390000024
其中，w为合成在所述可见光图像中的所述热成像图像的宽度，wr为所述热成像图像的宽度，w0为所述第一校准框图像在所述热成像图像中的宽度，w1为所述第二校准框图像在所述可见光图像中的宽度，h为合成在所述可见光图像中的所述热成像图像的高度，hr为所述热成像图像的高度，h1为所述第二校准框图像在所述可见光图像中的高度，h0为所述第一校准框图像在所述热成像图像中的高度，x为合成在所述可见光图像中的所述热成像图像的左上角顶点的横坐标，x1为所述第二校准框图像在所述可见光图像中左上角顶点的横坐标，x0为所述第一校准框图像在所述热成像图像中左上角顶点的横坐标，y为合成在所述可见光图像中的所述热成像图像的左上角顶点的纵坐标，y1为所述第二校准框图像在所述可见光图像中左上角顶点的纵坐标，y0为所述第一校准框图像在所述热成像图像中左上角顶点的纵坐标。
6.一种双光相机，其特征在于，包括：
热成像相机，用于获取包含第一校准框图像的热成像图像；
可见光相机，用于获取包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述热成像相机和所述可见光相机拍摄的同一个校准框的图像；以及
处理器，所述处理器与所述热成像相机和所述可见光相机通信连接，其中，所述处理器用于：
获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息；
根据所述第一校准框图像与所述热成像图像之间的比例等于第二校准框图像与在所述可见光图像中的热成像图像之间的比例，所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及
根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像的宽度、高度以及坐标。
7.根据权利要求6所述的双光相机，其特征在于，所述处理器还用于：
分别对所述热成像图像和所述可见光图像进行图像处理；
利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标。
8.根据权利要求7所述的双光相机，其特征在于，所述图像处理包括图像去噪和对比度增强中的至少一种。
9.根据权利要求6-8中任一项所述的双光相机，其特征在于，所述处理器用于：
利用以下公式，生成所述校准参数：
Figure FDA0003275598390000031
Figure FDA0003275598390000041
Figure FDA0003275598390000042
Figure FDA0003275598390000043
其中，w为合成在所述可见光图像中的所述热成像图像的宽度，wr为所述热成像图像的宽度，w0为所述第一校准框图像在所述热成像图像中的宽度，w1为所述第二校准框图像在所述可见光图像中的宽度，h为合成在所述可见光图像中的所述热成像图像的高度，hr为所述热成像图像的高度，h1为所述第二校准框图像在所述可见光图像中的高度，h0为所述第一校准框图像在所述热成像图像中的高度，x为合成在所述可见光图像中的所述热成像图像的左上角顶点的横坐标，x1为所述第二校准框图像在所述可见光图像中左上角顶点的横坐标，x0为所述第一校准框图像在所述热成像图像中左上角顶点的横坐标，y为合成在所述可见光图像中的所述热成像图像的左上角顶点的纵坐标，y1为所述第二校准框图像在所述可见光图像中左上角顶点的纵坐标，y0为所述第一校准框图像在所述热成像图像中左上角顶点的纵坐标。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-5中任一项所述的方法。
11.一种双光相机成像校准装置，其特征在于，包括：
图像获取模块，用于获取包含第一校准框图像的热成像图像和包含第二校准框图像的可见光图像，其中，所述第一校准框图像和所述第二校准框图像分别为所述图像获取模块获取的同一个校准框的图像；
位置获取模块，用于获取所述第一校准框图像在所述热成像图像中的第一位置信息和所述第二校准框在所述可见光图像中的第二位置信息，其中，所述第一位置信息包括所述第一校准框图像在所述热成像图像中的宽度、高度及坐标，所述第二位置信息包括所述第二校准框在所述可见光图像中的宽度、高度及坐标；
校准模块，用于根据所述第一位置信息和所述第二位置信息，生成校准参数，其中，所述校准参数包括合成在所述可见光图像中的热成像图像的宽度、高度以及坐标；以及
位置调整模块，用于根据所述校准参数，调整合成在所述可见光图像中的所述热成像图像在所述可见光图像中的位置。
12.根据权利要求11所述的装置，其特征在于，所述校准框为矩形发热框。
13.根据权利要求11所述的装置，其特征在于，所述位置获取模块还用于：
分别对所述热成像图像和所述可见光图像进行图像处理；
利用边缘检测算法，提取经过所述图像处理后的所述热成像图像和所述可见光图像的边缘，从而得到所述第一位置信息和所述第二位置信息。
14.根据权利要求13所述的装置，其特征在于，所述图像处理包括图像去噪和对比度增强中的至少一种。
15.根据权利要求11-14中任一项所述的装置，其特征在于，所述校准模块还用于：
利用以下公式，生成所述校准参数：
Figure FDA0003275598390000051
Figure FDA0003275598390000052
Figure FDA0003275598390000061
Figure FDA0003275598390000062
其中，w为合成在所述可见光图像中的所述热成像图像的宽度，wr为所述热成像图像的宽度，w0为所述第一校准框图像在所述热成像图像中的宽度，w1为所述第二校准框图像在所述可见光图像中的宽度，h为合成在所述可见光图像中的所述热成像图像的高度，hr为所述热成像图像的高度，h1为所述第二校准框图像在所述可见光图像中的高度，h0为所述第一校准框图像在所述热成像图像中的高度，x为合成在所述可见光图像中的所述热成像图像的左上角顶点的横坐标，x1为所述第二校准框图像在所述可见光图像中左上角顶点的横坐标，x0为所述第一校准框图像在所述热成像图像中左上角顶点的横坐标，y为合成在所述可见光图像中的所述热成像图像的左上角顶点的纵坐标，y1为所述第二校准框图像在所述可见光图像中左上角顶点的纵坐标，y0为所述第一校准框图像在所述热成像图像中左上角顶点的纵坐标。
CN202111116094.5A 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机 Pending CN115063455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111116094.5A CN115063455A (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910807078.7A CN110519498B (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机
CN202111116094.5A CN115063455A (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910807078.7A Division CN110519498B (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机

Publications (1)

Publication Number Publication Date
CN115063455A true CN115063455A (zh) 2022-09-16

Family

ID=68628869

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111116094.5A Pending CN115063455A (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机
CN201910807078.7A Active CN110519498B (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910807078.7A Active CN110519498B (zh) 2019-08-29 2019-08-29 一种双光相机成像校准的方法、装置和双光相机

Country Status (3)

Country Link
US (1) US11995867B2 (zh)
CN (2) CN115063455A (zh)
WO (1) WO2021037288A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063455A (zh) * 2019-08-29 2022-09-16 深圳市道通智能航空技术股份有限公司 一种双光相机成像校准的方法、装置和双光相机
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
US20210390671A1 (en) * 2020-06-16 2021-12-16 Samsung Electronics Co., Ltd. Image processing system for performing image quality tuning and method of performing image quality tuning
KR20210155695A (ko) 2020-06-16 2021-12-23 삼성전자주식회사 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법
CN113068019B (zh) * 2021-03-17 2023-02-03 杭州海康消防科技有限公司 双光相机校准设备、方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196653A1 (en) * 2014-12-31 2016-07-07 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
KR101806045B1 (ko) * 2016-10-17 2017-12-07 한국기초과학지원연구원 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574332B (zh) * 2014-12-26 2016-08-17 北京航天控制仪器研究所 一种机载光电吊舱用图像融合方法
US10116884B2 (en) * 2015-04-05 2018-10-30 Hema Imaging Llc Systems and approaches for thermal imaging
TWI555379B (zh) * 2015-11-06 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN107977924A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、系统
CN106971385B (zh) * 2017-03-30 2019-10-01 西安微电子技术研究所 一种飞行器态势感知用多源图像实时融合方法及其装置
CN108550104B (zh) * 2018-02-28 2022-06-10 北京集光通达科技股份有限公司 图像配准方法、装置
CN115063455A (zh) * 2019-08-29 2022-09-16 深圳市道通智能航空技术股份有限公司 一种双光相机成像校准的方法、装置和双光相机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196653A1 (en) * 2014-12-31 2016-07-07 Flir Systems, Inc. Systems and methods for dynamic registration of multimodal images
KR101806045B1 (ko) * 2016-10-17 2017-12-07 한국기초과학지원연구원 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任贵文;: "基于OpenCV的红外与可见光双摄像机标定方法研究", 科学技术与工程, no. 03, 28 January 2016 (2016-01-28) *
贺行政;康荣学;任贵文;: "安全生产监控中的红外图像融合技术研究", 中国安全生产科学技术, no. 1, 26 September 2016 (2016-09-26) *
赵美蓉;李瀚辰;佟颖;: "一种红外与可见光融合的"双双目"立体视觉系统的标定方法研究", 光学技术, no. 05, 15 September 2017 (2017-09-15) *

Also Published As

Publication number Publication date
US20220292719A1 (en) 2022-09-15
WO2021037288A3 (zh) 2021-04-22
CN110519498B (zh) 2021-09-21
US11995867B2 (en) 2024-05-28
CN110519498A (zh) 2019-11-29
WO2021037288A2 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110519498B (zh) 一种双光相机成像校准的方法、装置和双光相机
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP4495041B2 (ja) ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US10750141B2 (en) Automatic calibration projection system and method
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
CN106605195B (zh) 通信设备和通信设备的控制方法
US20210092354A1 (en) Calibration of a surround view camera system
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
TWI577172B (zh) 影像校正系統和立體照相機的校正方法
WO2006025191A1 (ja) マルチプロジェクションシステムにおける幾何補正方法
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
CN106600644B (zh) 全景摄像机的参数矫正方法及装置
WO2001047285A1 (en) Method and apparatus for calibrating projector-camera system
CN108351199B (zh) 信息处理装置、信息处理方法及存储介质
US20200343972A1 (en) Optical communication method
CN111210386A (zh) 图像拍摄拼接方法及系统
JP2012075088A (ja) 画像処理システムおよび画像処理方法
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
US11172193B1 (en) Method and system to calibrate camera devices of a vehicle vision system using a programmable calibration target device
CN103442183A (zh) 基于红外热成像原理的自动视觉导航方法
JP6529160B2 (ja) Ａｒ情報表示装置
JP6067040B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117237237B (zh) 一种车载360度全景影像的光度均衡方法及装置
JP6577272B2 (ja) 較正装置、プログラム、記録媒体、較正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination