CN112351219B - 热成像图像偏位校正的方法及热成像双目摄像装置 - Google Patents

Abstract

本发明涉及图像校正技术领域，提供一种热成像图像偏位校正的方法，在第一镜头的采集端设置一反射面，第一镜头的光轴垂直于反射面，热成像探测器上获得热成像圆，热成像圆的圆心为第一光心；确定第一图像中心，使其与第一光心相重合；在可见光成像传感器上获得可见光成像圆，可见光成像圆的圆心为第二光心；确定第二图像中心，使其与第二光心相重合；以第一光心或第二光心为畸变中心，对第一镜头或第二镜头所产生径向畸变进行校正。通过上述机械物理的方式，提高校正效率，以及校正精度，从而获得图像更加均匀逼真。最终实现可见光图像和热成像图像的像素坐标映射关系更加精准。

Description

热成像图像偏位校正的方法及热成像双目摄像装置

技术领域

本发明涉及图像校正技术领域，尤其提供一种用于热成像图像偏位校正的方法以及应用该方法的热成像双目摄像装置。

背景技术

热成像双目摄像机包括两个摄像模块，一是热成像摄像机，另一是可见光摄像机。其中，可见光摄像用于采集可见光图像，而热成像摄像机用于采集对象温度分布信息。只有两个摄像模块采集的图像原则上大小位置一致，才能将采集的温度部分信息准确地到可见光图像上。然而，由于热成像双目摄像的固有定位误差问题，使得两个摄像模块的镜头的光心无法非常精准定位到感应探测面的中心上，这样导致两个模块采集的图像的位置和大小有偏差，从而无法实现视野的重合和精准映射。

目前，现有的热成像双目摄像机对于图像偏位校正多采用后端软件对图像进行光心捕捉和畸变校正，这样，校正效率低，且校正精度低，同时需要更为复杂图像偏位校正处理算法。

发明内容

本发明的目的提供一种热成像图像偏位校正的方法，旨在解决现有的热成像双目摄像机因直接采用后端软件对图像偏位校正所导致校正效率低且校正精度差的问题。

为实现上述目的，本发明采用的技术方案是：

第一方面，本申请提供一种热成像图像偏位校正的方法，用于对热成像双目摄像装置的图像偏位进行校正，其中，所述热成像双目摄像装置包括热成像摄像组件和可见光摄像组件，所述热成像摄像组件包括沿热成像光路依次设置的第一镜头和热成像探测器，所述可见光摄像组件包括沿可见光成像光路依次设置的第二镜头和可见光成像传感器，所述方法如下：

在所述第一镜头的采集端设置一反射面，并且，所述第一镜头的光轴垂直于所述反射面，所述热成像探测器的红外热辐射经过所述第一镜头汇聚以及所述反射面反射后，回到所述热成像探测器的感应区并获得热成像圆，所述热成像圆的圆心为第一光心；

确定所述热成像探测器的显示区的第一图像中心，调整所述第一光心的位置，使得所述第一图像中心和所述第一光心相重合，其中，所述第一图像中心为所述热成像探测器的显示区域的图像中心；

所述第二镜头的采集端接收可见光在所述可见光成像传感器上获得可见光成像圆，所述可见光成像圆的圆心为第二光心；

确定所述可见光成像传感器的显示区的第二图像中心，调整所述第二光心的位置，使得所述第二图像中心和所述第二光心相重合，其中，所述第二图像中心为所述可见光成像传感器的显示区域的图像中心；

以所述第一光心或所述第二光心为畸变中心，对所述第一镜头或所述第二镜头所产生径向畸变进行校正。

在一个实施例中，所述方法还包括如下步骤：

将所述第一镜头采集的热成像图像的像素坐标与所述第二镜头采集的可见光图像的像素坐标进行映射而进行位置偏移校正。

在一个实施例中，在所述调整第一图像中心和第一光心相重合的步骤中，沿垂直所述第一镜头的光轴方向上调整热成像探测器的位置；或者，沿垂直所述第一镜头的光轴方向上调整第一镜头的位置。

在一个实施例中，在所述调整第二图像中心和第二光心相重合的步骤中，沿垂直所述第二镜头的光轴方向上调整可见光成像传感器的位置；或者，沿垂直所述第二镜头的光轴方向上调整第二镜头的位置。

在一个实施例中，所述可见光成像圆的面积小于所述可见光成像传感器的感应区域。

在一个实施例中，所述反射面为金属反射面。

在一个实施例中，在所述位置偏位校正步骤中：

所述第一镜头采集的热成像图像的像素坐标根据直角坐标或极坐标进行线性位置补偿与所述第二镜头采集的可见光图像的像素坐标实现映射。

第二方面，本申请还提供一种热成像双目摄像装置，包括热成像摄像组件和可见光摄像组件，所述热成像摄像组件包括沿热成像光路依次设置的第一镜头和热成像探测器，所述可见光摄像组件包括沿可见光成像光路依次设置的第二镜头和可见光成像传感器，实施上述所述的方法对所述热成像双目摄像装置的第一镜头和第二镜头进行热成像图像偏位校正。

在一个实施例中，所述第一镜头或所述热成像探测器能够沿垂直所述第一镜头的光轴方向上移动。

在一个实施例中，所述第二镜头或所述可见光成像传感器能够沿垂直所述第二镜头的光轴方向上移动。

本发明的有益效果：本发明提供的热成像图像偏位校正的方法及热成像双目摄像装置，通过机械物理的方式，按照上述步骤对热成像双摄像装置的热成像摄像组件和可见光摄像组件的镜头光心进行校正，为图像畸变校正做准备，这样，热成像图像与可见光图像位置偏移更小，图像畸变校正过程耗时更短，也更容易校正，因此，校正效率和校正精度更高，能够获得更加均匀逼真的图像。最终实现可见光图像和热成像图像的像素坐标映射关系更加精准，即，产品功能表现为热成像温度信息映射到可见光实物图像时更准确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的热成像图像偏位校正的方法的流程图；

图2为本发明实施例提供的热成像图像偏位校正的方法的另一流程图；

图3为本发明实施例提供的热成像双目摄像装置的热成像摄像组件的结构示意图；

图4为本发明实施例提供的热成像双目摄像装置的可见光摄像组件的结构示意图。

其中，图中各附图标记：

热成像摄像组件10、可见光摄像组件20、第一镜头11、热成像探测器12、第二镜头21、可见光成像传感器22。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在对本实施例阐述之前，对现有的利用后端图像技术进行校正缺陷在于：可以理解地，在未对镜头的光心进行校正时，由于每台设备的镜头的光心位置不同，那么就必须对每台设备的图像通过与之相匹配的图像标定法捕捉出图像的畸变中心来进行图像偏位校正，整个过程操作繁琐，效率低下，而且一旦捕捉出的畸变中心准确性低，则校正的图像质量也明显下降，这样，也直接影响热成像图像的坐标点与可见光图像的坐标点进行精准的映射。

例如，对于一个热成像双目摄像装置来说，热成像镜头和可见光镜头的光心位置不一致，被采集对象在热成像图像里距离热成像镜头中心比可见光图像里的可见光镜头中心距要大，那么被采集对象在热成像图像里的放大率就会更小，被采集对象在热成像图像中的形状大小就会比可见光图像中的形状大小要小，在图像中的坐标位置也会出现不同偏差，这样就很难直接对图像进行映射了。

因此，针对上述问题，本申请提供一种热成像图像偏位校正的方法，用于对热成像双目摄像装置的图像偏位进行校正，其中，热成像双目摄像装置包括热成像摄像组件和可见光摄像组件，热成像摄像组件包括沿热成像光路依次设置的第一镜头和热成像探测器，可见光摄像组件包括沿可见光成像光路依次设置的第二镜头和可见光成像传感器。请参考图1，本申请的方法如下：

S001，在第一镜头的采集端设置一反射面，并且，第一镜头的光轴垂直于反射面，热成像探测器的红外热辐射经过第一镜头汇聚以及反射面反射后，回到热成像探测器的感应区并获得热成像圆，热成像圆的圆心为第一光心；

由于任何温度的物体都会产生红外热辐射，与可见光不同，红外热辐射并不需要通过外界光源照射到采集对象上的反射光来进行识别。因此，热成像摄像组件的热成像探测器在工作过程中出现发热温升，能够四周产生红外辐射能，并且，在第一镜头的圆形光学通道汇聚作用下实现红外辐射能的增强，并且，通过反射面的反射后重新回到热成像探测器的感应区域，最终在热成像探测器的感应端采集到一个热成像圆，该热成像圆的圆心则为第一光心。

优选地，为了获得一个轮廓清晰的热成像圆，可调整第一镜头与反射面之间的间距。因为，轮廓清晰的热成像圆更容置找到其第一光心。

优选地，反射面为金属反射面，例如，是铝板镜面，铝具有较高的表面辐射率，通过镜面抛光处理后能够很好的反射红外辐射。

S002，确定热成像探测器的显示区的第一图像中心，调整第一光心的位置，使得第一图像中心和第一光心相重合，其中，第一图像中心为热成像探测器的显示区域的图像中心；

可以理解地，热成像探测其的显示区域的像元矩阵的几何中心为第一图像中心，通过将第一光心与第一图像中心进行重合实现校正。然而，在实际操作过程中，点对点的校正重合难度较大，因此，以该第一图像中心为圆心做出一个个半径不等的同心圆，可通过比对热成像圆与对应的同心圆在第一镜头的光轴方向上投影的圆轮廓重合度来进行判断。当热成像圆与对应的同心圆的圆轮廓重合面积越接近，那么说明第一图像中心与第一光心的重合度越高。

优选地，在调整第一图像中心和第一光心相重合的步骤中，沿垂直第一镜头的光轴方向上调整热成像探测器的位置，即在与反射面相平行的平面内移动热成像探测器；或者，沿垂直第一镜头的光轴方向上调整第一镜头的位置，即在与反射面相平行的平面内移动第一镜头。这样，上述两种方向均能够微调第一光心的位置。

S003，第二镜头的采集端接收可见光在可见光成像传感器上获得可见光成像圆，可见光成像圆的圆心为第二光心；

由于可见光摄像组件可以通过直接采集目标对象，并在可见光成像传感器上形成可见光成像圆，该可见光成像圆的圆心则为第二光心。

优选地，为了能够获得更加完整的可见光成像圆，需保证可见光成像圆的轮廓面积小于可见光成像传感器的感应区域。这样，整个可见光成像圆才能完全落入可见光成像传感器能够检测的范围内。通常在校正过程中可通过更换镜头以保证上述结果，同时，在完成校正后重新更换出厂使用的镜头。

S004，确定可见光传感器的显示区的第二图像中心，使得第二图像中心和第二光心相重合，其中，第二图像中心为可见光成像传感器的显示区域的图像中心；

可以理解地，可见光传感器的显示区域的像元矩阵的几何中心，为该图像中心为第二图像中心，通过将第二光心与第二图像中心进行重合实现校正。同理地，在实际操作过程中，点对点的校正重合难度较大，因此，以该第二图像中心为圆心做出一个个半径不等的同心圆，可通过比对可见光成像圆与对应的同心圆在第二镜头的光轴方向上投影的圆轮廓重合度来进行判断。当可见光成像圆与对应的同心圆的圆轮廓越接近，那么说明第二图像中心与第二光心的重合度越高。

S005，以第一光心或第二光心为畸变中心，对第一镜头或第二镜头所产生径向畸变进行校正。

可以理解地，由于镜头的本身光学上的缺陷，导致图像中各个位置的放大率是不一样的，对于一般的安防用的小焦距广角镜头，距离镜头光心较远的像素点的放大率会明显小于镜头中心区域，这就导致了图像上产生明显畸变，图像会出现严重的扭曲变形和大小不均匀，如果不进行畸变校正，热成像图像和可见光图像的位置就很难进行准确的映射。因此，通过上述步骤，获得第一光心或第二光心位置，以第一光心或第二光心为畸变中心，对第一镜头或第二镜头所产生径向畸变进行校正，相较于消失点原理的棋盘格标定法来获得图像的畸变中心，直接采用图像中心(即该图像中心与第一光心或第二光心相重合)为畸变中心来进行畸变运算，具体的畸变参数可以通过镜头的光学畸变参数给出，无需对每台都单独进行畸变标定，这样就大大提高了畸变运算的效率，同时比通过额外的标定法来进行校正要准确、效率更高。

本发明提供的热成像图像偏位校正的方法及热成像双目摄像装置，通过机械物理的方式，按照上述步骤对热成像双摄像装置的热成像摄像组件和可见光摄像组件的镜头光心进行校正，为图像畸变校正做准备，这样，热成像图像与可见光图像位置偏移更小，图像畸变校正过程耗时更短，也更容易校正，因此，校正效率和校正精度更高，最终，能够获得更加均匀逼真的图像。

需要说明地是，步骤S001和步骤S003可先后进行，也可同时进行。

请参考图2，在一个实施例中，本申请的方法还包括如下步骤：

S006，将第一镜头采集的热成像图像的像素坐标与第二镜头采集的可见光图像的像素坐标进行映射而进行位置偏移校正。

可以理解地，在完成上述几个步骤之后，第一镜头所采集的热成像图像的像素坐标与第二镜头所采集的可见光图像的像素坐标仍存在偏位，因此，需要将热成像图像的像素点坐标与可见光图像的像素点坐标对应进行映射来完成位置偏移校正，具体地，取多个像素点坐标求其平均值来实现。而在实际使用过程中，例如，在人体温度检测设备中，要通过可见光摄像组件对人脸进行准确检测和识别，同时通过热成像摄像组件对人脸进行温度测量。在一个场景中如果出现多个人脸，那么就必须将这些人脸的温度信息准确地映射到对应人脸的可见光区域内，才能获得每个人和其体表温度的对应关系。这样两个摄像组件必须进行准确的位置映射而不能有偏位，否则偏位过大可能将一个人的温度信息映射到了另外人的可见光图像的人脸上，从而出现了错误的温度测量。

具体地，在一个实施例中，在位置偏位校正步骤S006中：

S0061，将第一镜头采集的热成像图像的像素坐标根据直角坐标或极坐标进行线性位置补偿与第二镜头采集的可见光图像的像素坐标相对应实现映射。

可以理解地，通过上述几个步骤的校正后，第一镜头采集的热成像图像的像素坐标与第二镜头采集的可见光图像的像素坐标之间仅存在线性的位置偏差，处理过程也更为简单。例如，目标对象在可见光图像的像素坐标为x1，y1，在热成像图像中的像素坐标为x2，y2，即可得出固定偏置δx，δy。然后对每个像素点行映射时都要加上这个固定偏置即可得到精确的映射关系。让热成像图像中的温度信息准确的反应到对应的可见光图像中。

请参考图3和图4，本申请还提供一种热成像双目摄像装置，包括热成像摄像组件10和可见光摄像组件20，热成像摄像组件10包括沿热成像光路依次设置的第一镜头11和热成像探测器12，可见光摄像组件20包括沿可见光成像光路依次设置的第二镜头21和可见光成像传感器22，利用上述的方法对热成像双目摄像装置的第一镜头11和第二镜头12进行热成像图像偏位校正。

具体地，在一个实施例中，第一镜头11或热成像探测器12能够沿垂直第一镜头11的光轴方向上移动。可以理解地，在垂直于第一镜头11的光轴的平面内，设置活动结构，例如滑轨或导轨等，辅助第一镜头11或热成像探测器12能够沿垂直第一镜头11的光轴方向上移动。

具体地，在一个实施例中，第二镜头21或可见光成像传感器22能够沿垂直第二镜头12的光轴方向上移动。可以理解地，在垂直于第二镜头21的光轴的平面内，设置活动结构，例如滑轨或导轨等，辅助第二镜头21或热成像探测器22能够沿垂直第二镜头21的光轴方向上移动。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种热成像图像偏位校正的方法，用于对热成像双目摄像装置的图像偏位进行校正，其中，所述热成像双目摄像装置包括热成像摄像组件和可见光摄像组件，所述热成像摄像组件包括沿热成像光路依次设置的第一镜头和热成像探测器，所述可见光摄像组件包括沿可见光成像光路依次设置的第二镜头和可见光成像传感器，其特征在于，所述方法如下：

在所述第一镜头的采集端设置一反射面，并且，所述第一镜头的光轴垂直于所述反射面，所述热成像探测器的红外热辐射经过所述第一镜头汇聚以及所述反射面反射后，回到所述热成像探测器的感应区并获得热成像圆，所述热成像圆的圆心为第一光心；

确定所述热成像探测器的显示区的第一图像中心，调整所述第一光心的位置，使得所述第一图像中心和所述第一光心相重合，其中，所述第一图像中心为所述热成像探测器的显示区域的图像中心；

所述第二镜头的采集端接收可见光在所述可见光成像传感器上获得可见光成像圆，所述可见光成像圆的圆心为第二光心；

确定所述可见光成像传感器的显示区的第二图像中心，调整所述第二光心的位置，使得所述第二图像中心和所述第二光心相重合，其中，所述第二图像中心为所述可见光成像传感器的显示区域的图像中心；

以所述第一光心或所述第二光心为畸变中心，对所述第一镜头或所述第二镜头所产生径向畸变进行校正。

2.根据权利要求1所述的热成像图像偏位校正的方法，其特征在于，所述方法还包括如下步骤：

将所述第一镜头采集的热成像图像的像素坐标与所述第二镜头采集的可见光图像的像素坐标进行映射而进行位置偏移校正。

3.根据权利要求1所述的热成像图像偏位校正的方法，其特征在于，在所述调整第一图像中心和第一光心相重合的步骤中，沿垂直所述第一镜头的光轴方向上调整热成像探测器的位置；或者，沿垂直所述第一镜头的光轴方向上调整第一镜头的位置。

4.根据权利要求1所述的热成像图像偏位校正的方法，其特征在于，在所述调整第二图像中心和第二光心相重合的步骤中，沿垂直所述第二镜头的光轴方向上调整可见光成像传感器的位置；或者，沿垂直所述第二镜头的光轴方向上调整第二镜头的位置。

5.根据权利要求1所述的热成像图像偏位校正的方法，其特征在于，所述可见光成像圆的面积小于所述可见光成像传感器的感应区域。

6.根据权利要求1所述的热成像图像偏位校正的方法，其特征在于，所述反射面为金属反射面。

7.根据权利要求2所述的热成像图像偏位校正的方法，其特征在于，在所述位置偏位校正步骤中：

所述第一镜头采集的热成像图像的像素坐标根据直角坐标或极坐标进行线性位置补偿与所述第二镜头采集的可见光图像的像素坐标实现映射。

8.一种热成像双目摄像装置，包括热成像摄像组件和可见光摄像组件，所述热成像摄像组件包括沿热成像光路依次设置的第一镜头和热成像探测器，所述可见光摄像组件包括沿可见光成像光路依次设置的第二镜头和可见光成像传感器，其特征在于，实施如权利要求1至7任一项所述的方法对所述热成像双目摄像装置的第一镜头和第二镜头进行热成像图像偏位校正。

9.根据权利要求8所述的热成像双目摄像装置，其特征在于，所述第一镜头或所述热成像探测器能够沿垂直所述第一镜头的光轴方向上移动。

10.根据权利要求8所述的热成像双目摄像装置，其特征在于，所述第二镜头或所述可见光成像传感器能够沿垂直所述第二镜头的光轴方向上移动。

Images