CN112750169B - 相机标定方法、装置、系统及计算机可读存储介质 - Google Patents

相机标定方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN112750169B
CN112750169B CN202110047153.1A CN202110047153A CN112750169B CN 112750169 B CN112750169 B CN 112750169B CN 202110047153 A CN202110047153 A CN 202110047153A CN 112750169 B CN112750169 B CN 112750169B
Authority
CN
China
Prior art keywords
camera
calibration
depth
determining
infrared camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110047153.1A
Other languages
English (en)
Other versions
CN112750169A (zh
Inventor
谈继勇
张智胜
李元伟
孙熙
杨道文
李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Original Assignee
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwei Intelligent Medical Technology Co ltd filed Critical Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority to CN202110047153.1A priority Critical patent/CN112750169B/zh
Publication of CN112750169A publication Critical patent/CN112750169A/zh
Application granted granted Critical
Publication of CN112750169B publication Critical patent/CN112750169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种相机标定方法，所述方法应用于相机标定系统，相机标定系统包括红外相机、深度相机和预设标定板，方法包括：控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；确定所述深度相机对所述预设标定板进行图像采集得到的点云；根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系。本发明还公开了一种相机标定装置、系统和计算机可读存储介质。本发明借助深度相机来对红外相机进行标定，提高红外相机的标定精度。

Description

相机标定方法、装置、系统及计算机可读存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及相机标定方法、装置、系统及计算机可读存储介质。
背景技术
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。通常情况下，相机参数必须通过实验与计算才能得到，而获取相机参数的过程被称为相机标定。相机参数的标定是整个应用过程中至关重要的环节，其标定结果的精度直接影响相机工作的最终结果。
当前存在一种红外相机标定方法，利用红外相机对各种标定板进行图像采集，从而实现红外相机的标定过程，但红外相机的清晰度较差，视野较小，因此，采用现有的红外相机标定方法无法使红外相机达到期望的标定精度。
发明内容
本发明的主要目的在于提出一种相机标定方法、装置、系统及计算机可读存储介质，旨在借助深度相机对红外相机进行标定，以提高红外相机的标定精度。
为实现上述目的，本发明提供一种相机标定方法，应用于相机标定系统，所述相机标定系统包括红外相机、深度相机和预设标定板，所述方法包括如下步骤：
控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；
确定所述深度相机对所述预设标定板进行图像采集得到的点云；
根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系。
优选地，所述控制所述红外相机从多个采集位置对所述预设标定板进行采集，得到第一温度图的步骤包括：
对所述预设标定板进行加热处理；
控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到对应的温度标定图，并根据所述温度标定图确定所述红外相机是否达到预设标定条件；
当所述红外相机达到预设标定条件时，确定所述温度标定图为第一温度图。
优选地，所述根据所述第一温度图确定所述红外相机的内参的步骤包括：
对各所述第一温度图进行伪彩色处理，以将各所述第一温度图映射为伪彩色图；
获取所述预设标定板上的标定图案在所述伪彩色图中的像素坐标，并根据所述像素坐标和预设算法，确定所述红外相机的内参。
优选地，，所述确定所述深度相机对所述预设标定板进行图像采集得到的点云的步骤包括：
控制所述深度相机对所述预设标定板进行图像采集，得到对应的深度标定图，并根据所述深度标定图，确定所述深度相机是否达到预设标定条件；
当所述深度相机达到所述预设标定条件时，获取所述深度相机的相机内参，并根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云。
优选地，所述深度标定图包括深度图，所述根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云的步骤包括：
获取所述深度图中各像素点对应的深度信息，根据所述相机内参和所述深度信息，确定各所述像素点对应的三维点；
根据所述三维点确定所述深度相机采集的点云。
优选地，所述根据所述内参和所述点云，确定所述红外相机的外参的步骤包括：
判断能否从所述第一温度图中筛选出第二温度图，所述第二温度图至少包括两个，且所述第二温度图对应的总视角范围大于或等于所述深度相机的视角范围；
若能筛选出所述第二温度图，则根据各所述第二温度图、所述点云和所述内参，确定所述红外相机的外参。
优选地，所述判断能否从所述第一温度图中筛选出第二温度图的步骤之后，还包括：
若不能筛选出所述第二温度图，则控制所述红外相机在不同的位置进行图像采集，得到对应的目标温度图，所述目标温度图对应的总视角范围大于或等于所述深度相机的视角范围；
根据各所述目标温度图、所述点云和所述内参，确定所述红外相机的外参。
此外，为实现上述目的，本发明还提供一种相机标定装置，所述相机标定装置应用于相机标定系统，所述相机标定系统包括红外相机、深度相机和预设标定板，所述相机标定装置包括：
内参确定模块，用于控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；
点云确定模块，用于确定所述深度相机对所述预设标定板进行图像采集得到的点云；
外参确定模块，用于根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系。
优选地，所述内参确定模块还用于：
对所述预设标定板进行加热处理；
控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到对应的温度标定图，并根据所述温度标定图确定所述红外相机是否达到预设标定条件；
当所述红外相机达到预设标定条件时，确定所述温度标定图为第一温度图。
优选地，所述内参确定模块还用于：
对各所述第一温度图进行伪彩色处理，以将各所述第一温度图映射为伪彩色图；
获取所述预设标定板上的标定图案在所述伪彩色图中的像素坐标，并根据所述像素坐标和预设算法，确定所述红外相机的内参。
优选地，所述点云确定模块还用于：
控制所述深度相机对所述预设标定板进行图像采集，得到对应的深度标定图，并根据所述深度标定图，确定所述深度相机是否达到预设标定条件；
当所述深度相机达到所述预设标定条件时，获取所述深度相机的相机内参，并根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云。优选地，所述深度标定图包括深度图，所述点云确定模块还用于：
获取所述深度图中各像素点对应的深度信息，根据所述相机内参和所述深度信息，确定各所述像素点对应的三维点；
根据所述三维点确定所述深度相机采集的点云。
优选地，所述外参确定模块还用于：
判断能否从所述第一温度图中筛选出第二温度图，所述第二温度图至少包括两个，且所述第二温度图对应的总视角范围大于或等于所述深度相机的视角范围；
若能筛选出所述第二温度图，则根据各所述第二温度图、所述点云和所述内参，确定所述红外相机的外参。
优选地，所述外参确定模块还包括红外采集单元，所述红外采集单元还用于：
若不能筛选出所述第二温度图，则控制所述红外相机在不同的位置进行图像采集，得到对应的目标温度图，所述目标温度图对应的总视角范围大于或等于所述深度相机的视角范围；
根据各所述目标温度图、所述点云和所述内参，确定所述红外相机的外参。
此外，为实现上述目的，本发明还提供一种相机标定系统，所述相机标定系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的相机标定程序，所述相机标定程序被所述处理器执行时实现如上所述的相机标定方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有相机标定程序，所述相机标定程序被处理器执行时实现如上所述的相机标定方法的步骤。
本发明提出的相机标定方法，应用于相机标定系统，相机标定系统包括红外相机、深度相机和预设标定板，包括：控制红外相机从多个采集位置对预设标定板进行图像采集，得到第一温度图，并根据第一温度图确定红外相机的内参；确定深度相机对预设标定板进行图像采集得到的点云；根据内参和点云，确定红外相机的外参，外参为红外相机坐标系与深度相机坐标系之间的相对关系。本发明借助深度相机来对红外相机进行标定，提高红外相机的标定精度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图；
图2为本发明相机标定方法第一实施例的流程示意图；
图3为本发明相机标定方法较佳实施例的标定板外观示意图；
图4为本发明相机标定方法较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图。
本发明实施例系统可以是云端服务器、移动终端等。
如图1所示，该系统可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及相机标定程序。
其中，操作系统是管理和控制相机标定系统与软件资源的程序，支持网络通信模块、用户接口模块、相机标定程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。
在图1所示的相机标定系统中，所述相机标定系统通过处理器1001调用存储器1005中存储的相机标定程序，并执行下述相机标定方法各个实施例中的操作。
基于上述硬件结构，提出本发明相机标定方法实施例。
参照图2，图2为本发明相机标定方法第一实施例的流程示意图，所述方法包括：
步骤S10，控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；本实施例相机标定方法运用于各大场景的相机标定系统中。在本实施例中，相机标定系统包括红外相机、深度相机和预设标定板，其中，红外相机和深度相机都是固定在机械臂上的，相机标定系统通过机械臂来控制红外相机和深度相机的拍摄位置，但红外相机与深度相机可固定在同一机械臂上，如将红外相机与深度相机固定在同一机械臂的不同关节上；也可固定在不同的机械臂上，例如，可将红外相机与深度相机固定在不同机械臂的相同关节上，如都固定在机械臂末端，或者，可将红外相机与深度相机固定在不同机械臂的不同关节上。而且，红外相机每拍摄一次，可以采集一张温度图(单通道)，温度图上的每个像素点都记录有温度信息；深度相机每拍摄一次，可采集一张彩色的图片(即彩色图，携带RGB信息)和一张带有深度信息的图片(即深度图，单通道图片)；预设标定板进行标定可以有效地消除图像的畸变。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，即相机内参和外参。通常情况下，相机参数必须通过实验与计算才能得到，而获取相机参数的过程被称为相机标定。相机参数的标定是整个应用过程中至关重要的环节，其标定结果的精度直接影响相机工作的最终结果。因此，相机标定是后续工作的前提，提高标定精度是科研工作的重点所在。
在本实施例开始之前，预先制作了一块标定板，即预设标定板，预设标定板上设置有多个标定图案，且标定图案由发热材料制作而成。参照图3，图3为本发明相机标定方法较佳实施例的标定板外观示意图。具体的，预设标定板上的标定图案为圆点，其中，圆点部分由发热材料制作而成，发热材料可选用聚酰亚胺加热膜，聚酰亚胺加热膜是以聚酰亚胺薄膜为绝缘体，以金属箔、金属丝为内导电发热体，经过高温高压热合而成的，具有极佳的绝缘强度。如对预设标定板进行通电即可使标定图案中的发热材料发热，从而以使预设标定板中的圆点处和周围空白处存在温度差，方便对后续相机采集的图像进行处理。
在本实施例中，实现红外相机的标定工作，需要控制红外相机对预设标定板进行采集，得到对应的第一温度图，再通过预设算法和第一温度图，确定红外相机的内参，其中，预设算法优选为张正友标定法。
进一步地，所述控制所述红外相机从多个采集位置对所述预设标定板进行采集，得到第一温度图的步骤包括：
步骤a1，对所述预设标定板进行加热处理；
在本实施例中，红外相机是采集的是温度信息，只要温度相同，那么红外相机采集的温度图片上对应位置的温度也相同，在将温度图片映射为伪彩色时，相同温度对应的伪颜色也是一致的，也就是说，若不对预设标定板进行加热处理，将温度图片进行处理时，如将温度图片映射为伪彩色时，可能会导致处理后的图片都是一片白色的区域，不容易分辨出标定图案对应的位置。因此，对预设标定板进行加热的目的，是为了使预设标定板上的标定图案发热，让采集的温度图片映射为伪彩色时，可以生成类似标定图案的图案，提高温度图片的可辨识度。
步骤a2，控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到对应的温度标定图，并根据所述温度标定图确定所述红外相机是否达到预设标定条件；
步骤a3，当所述红外相机达到预设标定条件时，确定所述温度标定图为第一温度图。
在本实施例中，相机标定系统通过控制红外相机从多个采集位置对预设标定板进行图像采集，得到与预设标定板有关的温度标定图，从而根据温度标定图确定红外相机是否符合预设标定条件。例如，利用红外相机从不同的采集位置对加热后的标定板进行拍摄，得到多张温度图，再利用Opencv(一个跨平台计算机视觉和机器学习软件库)里的相机标定方法，如张正友标定方法，计算出红外相机内参，具体的，采用Opencv来识别预设标定板时，要求红外相机或深度相机拍摄到预设标定板上的所有标定图案，以便分辨出预设标定板上各个标定图案在红外相机或深度相机采集的图片中的对应位置，那么，预设标定条件为红外相机拍摄的温度标定图或深度相机拍摄的深度标定图中包含预设标定板上的所有标定图案。确定红外相机的内参时，只要红外相机能够拍摄到完整的标定图片即可，拍摄角度可随机确定，也即采集位置可随机确定。若红外相机达到预设标定条件，那么红外相机采集的温度标定图中包含预设标定板上的所有标定图案，可确定温度标定图为第一温度图，以根据第一温度图确定红外相机的内参。
进一步地，所述根据所述第一温度图确定所述红外相机的内参的步骤包括：
步骤b1，对各所述第一温度图进行伪彩色处理，以将各所述第一温度图映射为伪彩色图；
步骤b2，获取所述预设标定板上的标定图案在所述伪彩色图中的像素坐标，并根据所述像素坐标和预设算法，确定所述红外相机的内参。
在本实施例中，伪彩色处理主要是把黑白的灰度图像或者多波段图像转换为彩色图像的技术过程，其目的是提高图像内容的可辨识度。可以理解的，温度图中存储的是每个标定图案的温度信息，而每个像素坐标上存储的值范围一般为10-60，不可以直接显示，因此，红外相机采集的第一温度图无法直接以彩色图片的方式显示出来，所以需要对第一温度图进行伪彩色处理，以将第一温度图映射为伪彩色图，这样就可以利用Opencv识别预设标定板了。例如，红外相机采集的第一温度图里，若每个标定图案对应的像素坐标里存储的像素范围为10-60，在将各张第一温度图映射为伪彩色图时，可设置对应的步进，即设置对应的像素差，将10-60像素范围内的标定图案映射为唯一的颜色，如设置步进为1，当标定图案中对应的像素范围为10-11时，可将该标定图案映射成像素坐标为(255，0，0)的颜色；当标定图案中对应的像素范围为11-12时，可将该标定图案映射成像素坐标为(254，0，0)的颜色，以此类推，可得到在10-60像素范围内的各个标定图案在伪彩色图中的像素坐标(u，v)。根据像素坐标和预设算法，如张正友标定方法，即可得到红外相机的内参。具体的计算方法可参考现有的张正友标定方法，此处不再赘述。
步骤S20，确定所述深度相机对所述预设标定板进行图像采集得到的点云；
在本实施例中，借助深度相机对红外相机进行标定时，需要控制深度相机对预设标定板进行图像采集，得到点云，再根据点云来进一步对红外相机进行标定。
进一步地，步骤S20包括：
步骤c1，控制所述深度相机对所述预设标定板进行图像采集，得到对应的深度标定图，并根据所述深度标定图，确定所述深度相机是否达到预设标定条件；
步骤c2，当所述深度相机达到所述预设标定条件时，获取所述深度相机的相机内参，并根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云。
在本实施例中，当深度相机达到预设标定条件时，要得到深度相机采集的点云，还需要获取深度相机的相机内参，其中，深度相机的相机内参由厂家提供，再根据深度相机的相机内参和深度标定图生成对应的点云。
进一步地，所述深度标定图包括深度图，所述根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云的步骤包括：
步骤d1，获取所述深度图中各像素点对应的深度信息，根据所述相机内参和所述深度信息，确定各所述像素点对应的三维点；
步骤d2，根据所述三维点确定所述深度相机采集的点云。
在本实施例中，深度相机采集得到的深度标定图包括深度图，其中，深度图里各个像素点对应的像素坐标都记录了一个深度值，结合深度相机内参可以生成一个三维点，而多个三维点即构成了点云。
步骤S30，根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系。
在本实施例中，在计算出红外相机的内参后，再结合深度相机对预设标定板进行采集得到的点云，就能确定红外相机坐标系与深度相机坐标系之间的相对关系，即确定红外相机的外参。
进一步地，步骤S30包括：
步骤e1，判断能否从所述第一温度图中筛选出第二温度图，所述第二温度图至少包括两个，且所述第二温度图对应的总视角范围大于或等于所述深度相机的视角范围；
步骤e2，若能筛选出所述第二温度图，则根据各所述第二温度图、所述点云和所述内参，确定所述红外相机的外参。
在本实施例中，由于红外相机的拍摄视角小于深度相机的拍摄视角，因此，红外相机采集的单张温度图不足以覆盖深度相机采集的深度标定图，则需要控制红外相机从多个位置进行拍摄，以使红外相机的拍摄角度可覆盖深度相机的视角。例如，为了验证按摩仪的疗效，需要使用红外相机来观察人体皮肤表面温度的变化，且为了便于观察人体每个区域对应的温度变化，需要控制红外相机从多个位置拍摄对应的温度图，然后将多张温度图融合到深度相机在一个固定角度拍摄的图像上，这样就可以将温度图和深度相机对应的图像中关于人体每个区域的温度一一对应起来，且在图片融合前，需要对红外相机的内参和多个外参进行标定。
在确定红外相机的内参时，已经控制红外相机采集了一定数量的第一温度图，但由于第一温度图的采集位置是随机的，也就不能确保第一温度图对应的总视角范围可以覆盖深度相机的视角范围，因此，需要对第一温度图进行筛选，以确定能否筛选出可覆盖深度相机视角范围的第二温度图。
若能从第一温度图筛选出可覆盖深度相机视角范围的第二温度图，即第二温度图对应的总视角范围大于或等于深度相机的视角范围，则可确定第二温度图至少包括两张，可以理解的，由于红外相机的拍摄视角小于深度相机的拍摄视角，因此，红外相机采集的单张温度图不足以覆盖深度相机采集的深度标定图。可从某一张第二温度图中获取预设标定板上每个标定图案在红外相机拍摄的温度标定图中的像素坐标(u，v)，从点云中获取每个标定图案在深度相机里的三维坐标(Xw，Yw，Zw)，并将多个标定图案对应的像素坐标和三维坐标输入预设的算法模型中，即可求得红外相机的外参，其中，外参为红外相机坐标系和深度相机坐标系之间的相对关系，一般通过预设的算法模型求出对应的旋转平移矩阵来确定。由于深度相机每拍摄一次，可得到一张彩色的图片和一张带有深度信息的图片，其中，彩色的图片也即彩色图，携带RGB(Red-Green-Blue)信息；带有深度信息的图片即深度图，因此，深度标定图包括一张彩色图和一张深度图，而彩色图包含预设标定板中各个标定图案的像素坐标(x，y)，而深度图里提供了相机坐标系下的z坐标，即深度相机与各个像素点之间的距离。由于深度图和彩色图之间存在映射关系，即深度图里每个像素坐标记录的是彩色图片里对应像素坐标的深度信息，也就是说，彩色图和深度图中各个像素点对应的像素坐标是一致的。获取深度相机采集的彩色图和点云，可识别出所有标定图案的像素坐标，再根据拍摄的点云可得到所有标定图案在深度相机中的三维坐标(Xw，Yw，Zw)，最后将标定图案在第二温度图中的像素坐标(u，v)和标定图案在深度相机中的三维坐标(Xw，Yw，Zw)输入预设的算法模型中，即可确定红外相机的外参。将深度相机和红外相机进行融合标定，可使红外相机采集的温度信息更加准确，提高红外相机的标定精度。
需要说明的是，在本实施例中，确定标定图案的坐标信息时，将深度相机采集的点云坐标系假设为世界坐标系。
具体的，红外相机的外参计算公式如下：
其中，Zc为尺度因子，能描述不同坐标系转换时的尺度变化；
u、v为某个标定图案在红外相机拍摄的温度标定图中的像素坐标对应的坐标值；
u0、v0、fx、fy分别为红外相机的内参；
R表示旋转矩阵，T表示平移矢量，为红外相机的外参；
Xw，Yw，Zw为该标定图案在深度相机里的三维坐标对应的坐标值。
本实施例的相机标定方法，控制红外相机从多个采集位置对预设标定板进行图像采集，得到第一温度图，并根据第一温度图确定红外相机的内参；确定深度相机对预设标定板进行图像采集得到的点云；根据内参和点云，确定红外相机的外参，外参为红外相机坐标系与深度相机坐标系之间的相对关系。本发明借助深度相机来对红外相机进行标定，提高红外相机的标定精度。
进一步地，基于本发明相机标定方法第一实施例，提出本发明相机标定方法第二实施例。
相机标定方法的第二实施例与相机标定方法的第一实施例的区别在于，所述判断能否从所述第一温度图中筛选出第二温度图的步骤之后，还包括：
步骤f，若不能筛选出所述第二温度图，则控制所述红外相机在不同的位置进行图像采集，得到对应的目标温度图，所述目标温度图对应的总视角范围大于或等于所述深度相机的视角范围；
步骤g，根据各所述目标温度图、所述点云和所述内参，确定所述红外相机的外参。
在本实施例中，若不能从第一温度图中筛选出第二温度图，即说明第一温度图对应的总视角范围不能覆盖深度相机的视角范围。若要覆盖深度相机的视角范围，以全面获取深度相机采集的彩色图片上每个区域对应的温度信息，可通过预先设置红外相机的拍摄位置，以确保红外相机在预设位置处采集得到的第三温度图，可以覆盖深度相机的视角范围。例如，可通过机械臂控制红外相机在不同的预设位置处对预设标定板进行图像采集，通过改变红外相机的拍摄位置，来改变红外相机坐标系与深度相机坐标系的相对关系，并且在控制红外相机的拍摄位置改变后，先确保红外相机是否达到预设标定条件，在达到标定条件后，控制红外相机进行一次图像采集，从而得到红外相机在各个位置处采集的第三温度图。由于只需要一张温度图(要求拍摄完整的标定图案)，一个点云(要求拍摄完整的标定图案)，再结合相机内参，即可确定红外相机的一个外参，因此，根据一张第三温度图、点云和红外相机的内参，可确定红外相机的一个外参，根据多张第三温度图，可确定红外相机的多个外参。这使得红外相机采集的第三温度图，可以覆盖深度相机视野，即确保深度相机在一个固定角度采集的图像中的像素点，都能在红外相机拍摄的多张温度图中找到对应的像素点。其中，根据第三温度图、点云和内参，确定红外相机的外参的方法与上述确定红外相机的外参的方法类似，此处不再赘述。
需要说明的是，在改变红外相机的拍摄位置时，可同时通过机械臂控制深度相机保持原来的拍摄位置对预设标定板进行图像采集，即控制深度相机的拍摄角度固定进行图像采集，得到点云。
本实施例的相机标定方法，在第一温度图对应的总视角范围不能覆盖深度相机的视角范围时，则通过机械臂控制红外相机在不同的位置处对预设标定板进行图像采集，以覆盖深度相机的视角范围，从而确定红外相机的多个外参，避免红外相机采集不全面的问题，进一步提高红外相机的标定精度。
本发明还提供一种相机标定装置。参照图4，本发明相机标定装置包括：
内参确定模块10，用于控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；
点云确定模块20，用于确定所述深度相机对所述预设标定板进行图像采集得到的点云；
外参确定模块30，用于根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系。
优选地，所述内参确定模块还用于：
对所述预设标定板进行加热处理；
控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到对应的温度标定图，并根据所述温度标定图确定所述红外相机是否达到预设标定条件；
当所述红外相机达到预设标定条件时，确定所述温度标定图为第一温度图。
优选地，所述内参确定模块还用于：
对各所述第一温度图进行伪彩色处理，以将各所述第一温度图映射为伪彩色图；
获取所述预设标定板上的标定图案在所述伪彩色图中的像素坐标，并根据所述像素坐标和预设算法，确定所述红外相机的内参。
优选地，所述点云确定模块还用于：
控制所述深度相机对所述预设标定板进行图像采集，得到对应的深度标定图，并根据所述深度标定图，确定所述深度相机是否达到预设标定条件；
当所述深度相机达到所述预设标定条件时，获取所述深度相机的相机内参，并根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云。优选地，所述深度标定图包括深度图，所述点云确定模块还用于：
获取所述深度图中各像素点对应的深度信息，根据所述相机内参和所述深度信息，确定各所述像素点对应的三维点；
根据所述三维点确定所述深度相机采集的点云。
优选地，所述外参确定模块还用于：
判断能否从所述第一温度图中筛选出第二温度图，所述第二温度图至少包括两个，且所述第二温度图对应的总视角范围大于或等于所述深度相机的视角范围；
若能筛选出所述第二温度图，则根据各所述第二温度图、所述点云和所述内参，确定所述红外相机的外参。
优选地，所述外参确定模块还包括红外采集单元，所述红外采集单元还用于：
若不能筛选出所述第二温度图，则控制所述红外相机在不同的位置进行图像采集，得到对应的目标温度图，所述目标温度图对应的总视角范围大于或等于所述深度相机的视角范围；
根据各所述目标温度图、所述点云和所述内参，确定所述红外相机的外参。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有相机标定程序，所述相机标定程序被处理器执行时实现如上所述的相机标定方法的步骤。
其中，在所述处理器上运行的相机标定程序被执行时所实现的方法可参照本发明相机标定方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端系统(可以是手机，计算机，服务器，空调器，或者网络系统等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种相机标定方法，其特征在于，应用于相机标定系统，所述相机标定系统包括红外相机、深度相机和预设标定板，所述方法包括如下步骤：
控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；
确定所述深度相机对所述预设标定板进行图像采集得到的点云；
根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系；
所述根据所述内参和所述点云，确定所述红外相机的外参的步骤包括：
判断能否从所述第一温度图中筛选出第二温度图，所述第二温度图至少包括两个，且所述第二温度图对应的总视角范围大于或等于所述深度相机的视角范围；
若能筛选出所述第二温度图，则根据各所述第二温度图、所述点云和所述内参，确定所述红外相机的外参；
若不能筛选出所述第二温度图，则控制所述红外相机在不同的位置进行图像采集，得到对应的目标温度图，所述目标温度图对应的总视角范围大于或等于所述深度相机的视角范围；根据各所述目标温度图、所述点云和所述内参，确定所述红外相机的外参。
2.如权利要求1所述的相机标定方法，其特征在于，所述控制所述红外相机从多个采集位置对所述预设标定板进行采集，得到第一温度图的步骤包括：
对所述预设标定板进行加热处理；
控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到对应的温度标定图，并根据所述温度标定图确定所述红外相机是否达到预设标定条件；
当所述红外相机达到预设标定条件时，确定所述温度标定图为第一温度图。
3.如权利要求1所述的相机标定方法，其特征在于，所述根据所述第一温度图确定所述红外相机的内参的步骤包括：
对各所述第一温度图进行伪彩色处理，以将各所述第一温度图映射为伪彩色图；
获取所述预设标定板上的标定图案在所述伪彩色图中的像素坐标，并根据所述像素坐标和预设算法，确定所述红外相机的内参。
4.如权利要求1所述的相机标定方法，其特征在于，所述确定所述深度相机对所述预设标定板进行图像采集得到的点云的步骤包括：
控制所述深度相机对所述预设标定板进行图像采集，得到对应的深度标定图，并根据所述深度标定图，确定所述深度相机是否达到预设标定条件；
当所述深度相机达到所述预设标定条件时，获取所述深度相机的相机内参，并根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云。
5.如权利要求4所述的相机标定方法，其特征在于，所述深度标定图包括深度图，所述根据所述深度标定图和所述相机内参，确定所述深度相机采集的点云的步骤包括：
获取所述深度图中各像素点对应的深度信息，根据所述相机内参和所述深度信息，确定各所述像素点对应的三维点；
根据所述三维点确定所述深度相机采集的点云。
6.一种相机标定装置，其特征在于，应用于相机标定系统，所述相机标定系统包括红外相机、深度相机和预设标定板，所述相机标定装置包括：
内参确定模块，用于控制所述红外相机从多个采集位置对所述预设标定板进行图像采集，得到第一温度图，并根据所述第一温度图确定所述红外相机的内参；
点云确定模块，用于确定所述深度相机对所述预设标定板进行图像采集得到的点云；
外参确定模块，用于根据所述内参和所述点云，确定所述红外相机的外参，所述外参为红外相机坐标系与深度相机坐标系之间的相对关系；
所述外参确定模块还用于：
判断能否从所述第一温度图中筛选出第二温度图，所述第二温度图至少包括两个，且所述第二温度图对应的总视角范围大于或等于所述深度相机的视角范围；
若能筛选出所述第二温度图，则根据各所述第二温度图、所述点云和所述内参，确定所述红外相机的外参；
所述外参确定模块还包括红外采集单元，所述红外采集单元用于：
若不能筛选出所述第二温度图，则控制所述红外相机在不同的位置进行图像采集，得到对应的目标温度图，所述目标温度图对应的总视角范围大于或等于所述深度相机的视角范围；根据各所述目标温度图、所述点云和所述内参，确定所述红外相机的外参。
7.一种相机标定系统，其特征在于，所述相机标定系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的相机标定程序，所述相机标定程序被所述处理器执行时实现如权利要求1至5中任一项所述的相机标定方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有相机标定程序，所述相机标定程序被处理器执行时实现如权利要求1至5中任一项所述的相机标定方法的步骤。
CN202110047153.1A 2021-01-13 2021-01-13 相机标定方法、装置、系统及计算机可读存储介质 Active CN112750169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110047153.1A CN112750169B (zh) 2021-01-13 2021-01-13 相机标定方法、装置、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047153.1A CN112750169B (zh) 2021-01-13 2021-01-13 相机标定方法、装置、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112750169A CN112750169A (zh) 2021-05-04
CN112750169B true CN112750169B (zh) 2024-03-19

Family

ID=75651826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047153.1A Active CN112750169B (zh) 2021-01-13 2021-01-13 相机标定方法、装置、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112750169B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017476A (zh) * 2006-07-10 2007-08-15 山东理工大学 基于数据动态存取模型的产品点云型面特征分析方法
CN105118086A (zh) * 2015-06-30 2015-12-02 东莞市盟拓光电科技有限公司 3d-aoi设备中的3d点云数据配准方法及系统
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN111179358A (zh) * 2019-12-30 2020-05-19 浙江商汤科技开发有限公司 标定方法、装置、设备及存储介质
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111753712A (zh) * 2020-06-22 2020-10-09 中国电力科学研究院有限公司 电力生产人员安全监测方法、系统以及设备
CN112084453A (zh) * 2020-09-22 2020-12-15 西京学院 三维虚拟展示系统、方法、计算机设备、终端及存储介质
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017476A (zh) * 2006-07-10 2007-08-15 山东理工大学 基于数据动态存取模型的产品点云型面特征分析方法
CN105118086A (zh) * 2015-06-30 2015-12-02 东莞市盟拓光电科技有限公司 3d-aoi设备中的3d点云数据配准方法及系统
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN111179358A (zh) * 2019-12-30 2020-05-19 浙江商汤科技开发有限公司 标定方法、装置、设备及存储介质
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111753712A (zh) * 2020-06-22 2020-10-09 中国电力科学研究院有限公司 电力生产人员安全监测方法、系统以及设备
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN112084453A (zh) * 2020-09-22 2020-12-15 西京学院 三维虚拟展示系统、方法、计算机设备、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras;F. Basso等;《 IEEE Transactions on Robotics》;第34卷(第5期);全文 *
基于深度相机的三维热成像重建技术研究;许宝杯;《中国知网硕士电子期刊》(第5期);正文第2章 *

Also Published As

Publication number Publication date
CN112750169A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
KR100924121B1 (ko) 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
WO2022100242A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109382821B (zh) 校准方法、校准系统及程序
US10726580B2 (en) Method and device for calibration
CN113601503A (zh) 手眼标定方法、装置、计算机设备和存储介质
CN110163898B (zh) 深度信息配准方法、装置、系统、设备及存储介质
JP2020523703A5 (zh)
JP7442691B2 (ja) 物体測定のためのシステム及び方法
CN105976380B (zh) 一种基于视觉的机器人喷涂轨迹校准方法
KR102041544B1 (ko) 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치
CN112734832B (zh) 一种即时获得线上物体实际尺寸测量方法
CN112991456A (zh) 拍摄定位方法、装置、计算机设备和存储介质
CN110807814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
CN108053375A (zh) 图像数据修正方法、装置及其汽车
CN112640413B (zh) 用于显示周围环境的模型的方法、控制设备和车辆
WO2005064584A1 (ja) 表示システム
KR101245529B1 (ko) 카메라 캘리브레이션 방법
KR20180127671A (ko) Avm 시스템의 자동 캘리브레이션 방법
CN113793392A (zh) 一种相机参数标定方法及装置
CN112750169B (zh) 相机标定方法、装置、系统及计算机可读存储介质
CN116506732B (zh) 一种图像抓拍防抖的方法、装置、系统和计算机设备
CN117037652A (zh) 一种显示屏的逐点校正方法、装置和计算机设备
CN116883465A (zh) 一种多光谱植物表型三维成像方法、系统及装置
JP5280940B2 (ja) 特定色検出回路
CN109584313B (zh) 摄像头标定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant