CN112184831A - 一种rgb图像及ir图像的自动对应标定方法、系统及装置 - Google Patents

一种rgb图像及ir图像的自动对应标定方法、系统及装置 Download PDF

Info

Publication number
CN112184831A
CN112184831A CN202011005215.4A CN202011005215A CN112184831A CN 112184831 A CN112184831 A CN 112184831A CN 202011005215 A CN202011005215 A CN 202011005215A CN 112184831 A CN112184831 A CN 112184831A
Authority
CN
China
Prior art keywords
image
calibration
rgb
images
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011005215.4A
Other languages
English (en)
Other versions
CN112184831B (zh
Inventor
陈海波
张志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Automatic Driving Research Institute Co ltd
Original Assignee
Shandong Automatic Driving Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Automatic Driving Research Institute Co ltd filed Critical Shandong Automatic Driving Research Institute Co ltd
Priority to CN202011005215.4A priority Critical patent/CN112184831B/zh
Publication of CN112184831A publication Critical patent/CN112184831A/zh
Application granted granted Critical
Publication of CN112184831B publication Critical patent/CN112184831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种RGB图像及IR图像的自动对应标定方法、装置及存储介质。包括如下步骤：步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；步骤5、将标定板移到距离摄像头不同位置，并重复步骤3‑4，直至全部标定结束，实现自动对标。

Description

一种RGB图像及IR图像的自动对应标定方法、系统及装置
技术领域
本申请涉及图像标定领域，具体而言，涉及一种RGB图像及IR图像的自动对应标定方法。
背景技术
红外线(IR)热成像技术广泛应用于测量固体表面的温度，具有非接触测量、响应快、测温范围宽、灵敏度高以及空间分辨率高等优点，因此已经在安全预测、医疗卫生、航空航天、无损探伤、质量监测等领域得到了广泛的应用。
红外热成像测温通过利用能够测量红外线辐射强度的传感器，将接收到的红外波段的热辐射能量转换为电信号，经过放大、整型，模数转换后成为数字信号，在显示器上通过图像显示出来；热像仪(传感器)的电压值和温度值成正线性相关，所测得的电压值与温度时间是相互对应的，通过简单的计算即可转换为温度值，可以反映被测物体的温度。
普通光摄像头利用RGB模式成像。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
红外测温仪器采用双目摄像头，分别为IR镜头与RGB镜头。RGB镜头为普通光成像，用来识别检测物体位置；IR镜头为红外线热成像，通过电压值与温度值的关系来读取物体特定位置的温度。
由于双目摄像头所成图像不同轴，导致所检测到的图像存在成像差异，不能完全重合。因此，想要准确测得物体特定位置的温度就需要将RGB图像与IR图像进行融合。现如今采用的传统方案为将某物体放置在距离摄像头前某特定位置，分别获得两个摄像头所截取到的图像后进行人工标点(标点越多则图像对应越准确)，读取标定点的坐标值。通过仿射变换，将分别读取到的坐标值利用最小二乘法，以求得相应变换矩阵，实现标定，如图1所示(以人体为例)。
发明内容
1、本发明的目的
本发明为了解决由于双目摄像头所成图像不同轴，导致所检测到的图像存在成像差异，不能完全重合，无法准确的测得物体特定位置的温度，而提出了一种RGB图像及IR图像的自动对应标定方法、系统及装置。
2、本发明所采用的技术方案
本发明提出了一种RGB图像及IR图像的自动对应标定方法，包括如下步骤：
步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；
步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；
步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；
步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；
步骤5、将标定板移到距离摄像头不同位置，并重复步骤3-4，直至全部标定结束求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。
优选的，所述的步骤1，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。
优选的，所述的步骤2，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。
优选的，所述的步骤3，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。
优选的，所述的步骤3，将标定板投影到摄像机屏幕上，标定板背面有发热片，能够在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。
通过上述方式就能够实现RGB图像与IR图像的自动对应标定，无需采用人工标定并且标定精度更高。
优选的，所述的步骤4，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵，将n组像素点坐标带入仿射变换公式可得：
Figure BDA0002695656280000031
上式中，，(ui vi 1)为变换前的坐标，u v xy都是已知量，(xi yi)为变换后的坐标，
Figure BDA0002695656280000032
部分完成缩放、旋转与剪切，(t31 t32)完成平移，待求解的是tij；t11 t21 t31只与x相关，t12 t22 t32只与y相关；所以上述线性方程组可以写成两组：
Figure BDA0002695656280000033
Figure BDA0002695656280000034
记T1＝(t11 t21 t31)T，T2＝(t12 t22 t32)T，X＝(x1 x2……xn)T，Y＝(y1 y2……yn)T，
Figure BDA0002695656280000035
那么上面两个线性方程组可写为：AT1＝X，AT2＝Y；
利用最小二乘法求得变换矩阵，以AT1＝X为例：
AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX
同理可得T2＝(ATA)-1ATY，则T＝(T1 T2)，自动标定结束。
本发明提出了一种RGB图像及IR图像的自动对应标定系统，包括：
建立坐标系模块，用于在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；
标定板模块，用于在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；
像素记录模块，用于分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；
变换模块、用于将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；
变换距离模块，用于将标定板移到距离摄像头不同位置，并重复像素记录模块、变换模块动作，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。
优选的，所述的建立坐标系模块，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。
优选的，所述的像素记录模块，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。
优选的，所述的标定板模块，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。
优选的，所述的标定板模块，将标定板投影到摄像机屏幕上，标定板背面有发热片，能够在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。
通过上述方式就能够实现RGB图像与IR图像的自动对应标定，无需采用人工标定并且标定精度更高。
优选的，所述的变换模块，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵，将n组像素点坐标带入仿射变换公式可得：
Figure BDA0002695656280000041
上式中，，(ui vi 1)为变换前的坐标，u v xy都是已知量，(xi yi)为变换后的坐标，
Figure BDA0002695656280000042
部分完成缩放、旋转与剪切，(t31 t32)完成平移，待求解的是tij；t11 t21 t31只与x相关，t12 t22 t32只与y相关；所以上述线性方程组可以写成两组：
Figure BDA0002695656280000051
Figure BDA0002695656280000052
记T1＝(t11 t21 t31)T，T2＝(t12 t22 t32)T，X＝(x1 x2……xn)T，Y＝(y1 y2……yn)T，
Figure BDA0002695656280000053
那么上面两个线性方程组可写为：AT1＝X，AT2＝Y；
利用最小二乘法求得变换矩阵，以AT1＝X为例：
AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX
同理可得T2＝(ATA)-1ATY，则T＝(T1 T2)，自动标定结束。
本发明提出了一种RGB图像及IR图像的自动对应标定装置，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法步骤。
3、本发明所采用的有益效果
(1)本发明将黑白棋盘格子标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机特定距离的、能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值；标定板背面有发热片，能够在IR摄像头清晰成像，采用同样的方法建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。
(2)本发明所提供的方法通过采用黑白棋盘格子标定板，来达到自动标定IR图像和RGB图像的目的，省去了大量的人工标点工作，保质高效。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为现有技术一示意图；
图2为标定板正面；
图3为标定板背面；
图4为本发明流程图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例：
为了解决前述背景技术中的技术问题，图2为本申请实施例提供的RGB图像及IR图像的自动对应标定对象控制方法的标定板正面图，本实施例提供的RGB图像及IR图像的自动对应标定对象控制方法，下面对该RGB图像及IR图像的自动对应标定对象控制方法进行详细介绍。
一般来说，仿射变换是指将一个向量空间进行一次线性变换和一次平移，变换到另一个向量空间的操作。通常仿射变换对点、线、面具有一定的保持性，这种保持性体现在：经过变换后，点还是点，线还是线，面还是面(如果不是仿射变换而是3D投影的话，在一定的视角下，面有可能变成线，线有可能变成点)；经过变换后，平行线和平行面依然平行；经过变换后，图形间的某些比例关系保持不变，比如两条平行线的长度比不变，点在线段中的位置比例保持不变。仿射变换的基础类型包括缩放、旋转、剪切、平移等。
仿射变换的公式如下：
Figure BDA0002695656280000061
其中
Figure BDA0002695656280000062
部分完成缩放、旋转与剪切，(t31 t32)完成平移；(u v 1)为变换前的坐标，(x y)为变换后的坐标。
黑白棋盘格子标定板由两部分组成：正面为具有一定间隔的黑白相间的格子(如棋盘一样)，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。黑白棋盘格子标定板如图2、图3(交点处的方框为发热片)所示。
将黑白棋盘格子标定板投影到摄像机屏幕上：标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机特定距离的、能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值；标定板背面有发热片，能够在IR摄像头清晰成像，采用同样的方法建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。
通过上述方式就能够实现RGB图像与IR图像的自动对应标定，无需采用人工标定并且标定精度更高。
本发明采用贴有发热片的黑白棋盘格子标定板以实现RGB图像与IR图像的自动标定，得到对应的变换矩阵以实现实际应用中两种图像的融合。本发明不仅能实现自动定位标定，而且解决了测量准确性的问题。
如图4所示，具体步骤：
步骤1.在RGB图像与IR图像上建立像素坐标系，通常取图像左上角顶点为原点；
步骤2.将制作好的贴有发热片的黑白棋盘格子标定板放置在距离摄像头n1米的位置；
步骤3.分别记录该标定板在RGB图像与IR图像坐标系中的像素坐标；
步骤4.将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；
步骤5.将标定板移到距离摄像头ni位置，并重复步骤3-4。
所述的步骤4具体为：
步骤4.1(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值。
步骤4.2忽略两摄像头的视差，将两幅图像近似为一个平面处理。已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵:
将n组像素点坐标带入仿射变换公式可得：
Figure BDA0002695656280000081
上式中，u v x y都是已知量，待求解的是tij；而t11 t21 t31只与x相关，t12t22 t32只与y相关，所以上述线性方程组可以写成两组：
Figure BDA0002695656280000082
Figure BDA0002695656280000083
步骤4.3记T1＝(t11 t21 t31)T，T2＝(t12 t22 t32)T，X＝(x1 x2……xn)T，Y＝(y1y2……yn)T，
Figure BDA0002695656280000084
那么上面两个线性方程组可写为：AT1＝X，AT2＝Y。利用最小二乘法求得变换矩阵，以AT1＝X为例：
AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX
步骤4.4同理可得T2＝(ATA)-1ATY，则T＝(T1 T2)，自动标定结束。
在实验室内，将贴有发热片的黑白棋盘格子标定板放置在摄像仪前n1米的位置；在RGB图像和IR图像上分别建立像素坐标系(通常以图像左上角顶点为原点)，并使得标定板清晰成像在坐标系内。分别读取RGB图像和IR图像标定板交叉点的像素点坐标值，利用仿射变换算法求出变换矩阵。之后再将标定板放在摄像仪前ni米的位置，重复上述过程，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。
传统方案虽然能够在一定程度上对RGB图像与IR图像进行标定融合，但是人工标点的方法耗时耗力并且测量精度与标点的数量也存在相关关系，标点数量少就无法保证测量数据的精度。本发明所提供的方法通过采用黑白棋盘格子标定板，来达到自动标定IR图像和RGB图像的目的，省去了大量的人工标点工作，保质高效。
机器可读存储介质作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的RGB图像及IR图像的自动对应标定对象控制方法对应的程序指令/模块。处理器通过检测存储在机器可读存储介质中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的RGB图像及IR图像的自动对应标定对象控制方法，在此不再赘述。
机器可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，机器可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中，机器可读存储介质可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至RGB图像及IR图像的自动对应标定设。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、RGB图像及IR图像的自动对应标定设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、RGB图像及IR图像的自动对应标定设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的RGB图像及IR图像的自动对应标定设备、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (13)

1.一种RGB图像及IR图像的自动对应标定方法，其特征在于：包括如下步骤：
步骤1、在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；
步骤2、在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；
步骤3、分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；
步骤4、将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；
步骤5、将标定板移到距离摄像头不同位置，并重复步骤3-4，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。
2.根据权利要求1所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤1，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。
3.根据权利要求1所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤2，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。
4.根据权利要求1或3所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤3，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。
5.根据权利要求4所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤3，将标定板投影到摄像机屏幕上，标定板背面有发热片，在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。
6.根据权利要求5所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的步骤4，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵，将n组像素点坐标带入仿射变换公式可得：
Figure FDA0002695656270000021
上式中，，(ui vi 1)为变换前的坐标，u v x y都是已知量，(xi yi)为变换后的坐标，
Figure FDA0002695656270000022
部分完成缩放、旋转与剪切，(t31 t32)完成平移，待求解的是tij；t11 t21 t31只与x相关，t12 t22 t32只与y相关；所以上述线性方程组可以写成两组：
Figure FDA0002695656270000023
Figure FDA0002695656270000024
记T1＝(t11 t21 t31)T，T2＝(t12 t22 t32)T，X＝(x1 x2……xn)T，Y＝(y1 y2……yn)T，
Figure FDA0002695656270000025
那么上面两个线性方程组可写为：AT1＝X，AT2＝Y；
利用最小二乘法求得变换矩阵，以AT1＝X为例：
AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX
同理可得T2＝(ATA)-1ATY，则T＝(T1 T2)，自动标定结束。
7.一种RGB图像及IR图像的自动对应标定系统，其特征在于，包括：
建立坐标系模块，用于在RGB图像上建立像素坐标系以及IR图像上建立像素坐标系；
标定板模块，用于在黑白棋盘格子的交点贴有发热片的标定板放置在摄像头预设距离；
像素记录模块，用于分别记录所述的标定板在RGB图像像素坐标与IR图像坐标系中的像素坐标；
变换模块、用于将记录的坐标值利用仿射变换的公式，采用最小二乘法获得相应变换矩阵并记录；
变换距离模块，用于将标定板移到距离摄像头不同位置，并重复像素记录模块、变换模块动作，求得不同位置的RGB图像和IR图像所对应的变换矩阵，实现自动对标。
8.根据权利要求7所述的RGB图像及IR图像的自动对应标定系统，其特征在于：所述的建立坐标系模块，在RGB图像建立像素坐标系以及IR图像上建立像素坐标系，取图像左上角顶点为原点。
9.根据权利要求7所述的RGB图像及IR图像的自动对应标定系统，其特征在于：所述的像素记录模块，黑白棋盘格子标定板，正面为具有一定间隔的黑白相间的格子，黑白格之间相交形成若干交点；背面分别在交点处安装发热片。
10.根据权利要求7或9所述的RGB图像及IR图像的自动对应标定方法，其特征在于：所述的标定板模块，将标定板投影到摄像机屏幕上，标定板正面采用黑白格的形式易成像，建立RGB图像的像素坐标系，并将标定板放置在距离摄像机预设距离：能够完全在所建坐标系中清晰成像的位置，以获得各个交点RGB图像的像素坐标数值。
11.根据权利要求10所述的RGB图像及IR图像的自动对应标定系统，其特征在于：所述的标定板模块，将标定板投影到摄像机屏幕上，标定板背面有发热片，在IR摄像头清晰成像，建立IR图像像素坐标系，以获得交点处发热片IR图像的像素坐标数值。
12.根据权利要求11所述的RGB图像及IR图像的自动对应标定系统，其特征在于：所述的变换模块，(u1,v1)，(u2,v2)……(un,vn)为读取RGB图像的像素点坐标值，(u′1,v′1)，(u′2,v′2)……(u′n,v′n)为读取IR图像的像素点坐标值，忽略读取RGB图像、读取IR图像的两摄像头的视差，将两幅图像近似为一个平面处理；已知RGB图像像素坐标点与IR图像像素坐标点，利用仿射变换公式求得变换矩阵，将n组像素点坐标带入仿射变换公式可得：
Figure FDA0002695656270000031
上式中，，(ui vi 1)为变换前的坐标，u v x y都是已知量，(xi yi)为变换后的坐标，
Figure FDA0002695656270000041
部分完成缩放、旋转与剪切，(t31 t32)完成平移，待求解的是tij；t11 t21 t31只与x相关，t12 t22 t32只与y相关；所以上述线性方程组可以写成两组：
Figure FDA0002695656270000042
Figure FDA0002695656270000043
记T1＝(t11 t21 t31)T，T2＝(t12 t22 t32)T，X＝(x1 x2……xn)T，Y＝(y1 y2……yn)T，
Figure FDA0002695656270000044
那么上面两个线性方程组可写为：AT1＝X，AT2＝Y；
利用最小二乘法求得变换矩阵，以AT1＝X为例：
AT1＝X→ATAT1＝ATX→(ATA)-1ATAT1＝(ATA)-1ATX→T1＝(ATA)-1ATX
同理可得T2＝(ATA)-1ATY，则T＝(T1 T2)，自动标定结束。
13.一种RGB图像及IR图像的自动对应标定装置，包括存储器和处理器，存储器存储有计算机程序，其特征在于；所述处理器执行所述计算机程序时实现如权利要求1-6任一所述的方法步骤。
CN202011005215.4A 2020-09-23 2020-09-23 一种rgb图像及ir图像的自动对应标定方法、系统及装置 Active CN112184831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011005215.4A CN112184831B (zh) 2020-09-23 2020-09-23 一种rgb图像及ir图像的自动对应标定方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011005215.4A CN112184831B (zh) 2020-09-23 2020-09-23 一种rgb图像及ir图像的自动对应标定方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112184831A true CN112184831A (zh) 2021-01-05
CN112184831B CN112184831B (zh) 2023-06-16

Family

ID=73955834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011005215.4A Active CN112184831B (zh) 2020-09-23 2020-09-23 一种rgb图像及ir图像的自动对应标定方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112184831B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567979A (zh) * 2012-01-20 2012-07-11 南京航空航天大学 车载红外夜视系统及其多源图像融合方法
CN104375375A (zh) * 2014-11-17 2015-02-25 国家电网公司 采用棋盘格标定可见光及红外热像仪相机的方法及装置
CN107884073A (zh) * 2017-10-19 2018-04-06 中车青岛四方机车车辆股份有限公司 棋盘格标定设备
CN108282644A (zh) * 2018-02-14 2018-07-13 北京飞识科技有限公司 一种单摄像头成像方法及装置
WO2018228013A1 (zh) * 2017-06-12 2018-12-20 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
WO2019080229A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN110378971A (zh) * 2019-07-25 2019-10-25 Oppo广东移动通信有限公司 一种图像对齐精度的检测方法及装置、设备、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567979A (zh) * 2012-01-20 2012-07-11 南京航空航天大学 车载红外夜视系统及其多源图像融合方法
CN104375375A (zh) * 2014-11-17 2015-02-25 国家电网公司 采用棋盘格标定可见光及红外热像仪相机的方法及装置
WO2018228013A1 (zh) * 2017-06-12 2018-12-20 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN107884073A (zh) * 2017-10-19 2018-04-06 中车青岛四方机车车辆股份有限公司 棋盘格标定设备
WO2019080229A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN108282644A (zh) * 2018-02-14 2018-07-13 北京飞识科技有限公司 一种单摄像头成像方法及装置
CN110378971A (zh) * 2019-07-25 2019-10-25 Oppo广东移动通信有限公司 一种图像对齐精度的检测方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN112184831B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111210468B (zh) 一种图像深度信息获取方法及装置
US10070117B2 (en) Three-dimensional measuring apparatus
US9383262B2 (en) Imaging inspection device
CN110689581A (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
JP6937642B2 (ja) 表面評価方法及び表面評価装置
US20230084728A1 (en) Systems and methods for object measurement
JP5412757B2 (ja) 光学系歪補正方法および光学系歪補正装置
US10964107B2 (en) System for acquiring correspondence between light rays of transparent object
DE102011076680A1 (de) Bildgebendes Messsystem und Messverfahren zur Messung einer Wärmeabgabe an einem Zielobjekt
Ursine et al. Thermal/visible autonomous stereo visio system calibration methodology for non-controlled environments
WO2020140826A1 (zh) 一种基于轮廓提取的目标物红外测温方法、装置及存储介质
Ma et al. Line-scan CCD camera calibration in 2D coordinate measurement
CN111445467A (zh) 亮灯缺陷检测方法、装置、电子设备及存储介质
CN111311671B (zh) 一种工件测量方法、装置、电子设备及存储介质
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN114792345B (zh) 一种基于单目结构光系统的标定方法
CN113834571A (zh) 一种目标测温方法、装置及测温系统
CN104807405A (zh) 一种基于光线角度标定的三维坐标测量方法
Jiang et al. An accurate and flexible technique for camera calibration
WO2023028939A1 (zh) 信息采集系统及其标定方法、装置及计算机可读存储介质
CN112635042B (zh) 监护仪校准方法、装置、设备和存储介质
CN107527323B (zh) 镜头畸变的标定方法及装置
CN112184831A (zh) 一种rgb图像及ir图像的自动对应标定方法、系统及装置
CN112102378A (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN105078404A (zh) 基于激光算法的全自动眼动追踪测距定标仪及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant