CN114943774A - 一种红外双目相机温度补偿计算方法 - Google Patents

Abstract

本发明涉及相机标定领域，具体涉及一种红外双目相机温度补偿计算方法。为了减少温度对红外双目相机定位精度的影响，本发明通过建立标定空间内每个子立方体空间的温度补偿值索引表，在计算结果上对其进行补偿，实现了一种提高红外双目相机标定精度的方法。不同于其他通过计算相机各个参数与温度关系的温度漂移抑制方法，本发明直接从全局出发，计算导致温度漂移的所有因素综合后的最终温度补偿值，简化了计算的同时得到了更高的红外双目相机标定精度，并大幅降低了经济成本。另外本发明提出了使用标定板的空间划分方式，可以将标定空间均匀划分为相同大小且分布均匀的子空间，并且划分的越精细，标定结果的准确率越高。

Description

一种红外双目相机温度补偿计算方法

技术领域

本发明涉及相机标定领域，具体涉及一种红外双目相机温度补偿计算方法。

背景技术

红外双目视觉相机被广泛应用于车辆导航、工业检测、手术机器人等多个领域，随着这些领域的高速发展以及红外技术的日益成熟，对红外双目相机标定的精度的要求也越来越高。然而红外双目相机的标定精度受到多个因素的影响，除了镜头的畸变、相机响应速度等相机自身要素外，温度也会对标定精度造成不可忽视的影响。一方面，温度会导致电子元器件内部机械发生变形，使得成像效果变形；另一方面，相机镜头中的光学材料的折射率也会随着温度变化，影响成像效果。这些由温度导致的相机标定精度的误差被称作温度漂移。相机标定结果的精度会直接影响相机工作中产生结果的准确性，是后续工作的重要前提，因此需要消除或抑制温度漂移。

目前常用的相机温度漂移抑制方法一般分为硬件和软件两类方法。抑制温度漂移最直接的方法就是保证成像系统的温度稳定，因此使用硬件控制温度往往是最直接有效的方法，但是这类方法普遍存在成本高昂、使用繁琐的缺点，不能适用于所有应用领域。使用软件的方法则可以有效降低经济成本，但是这类方法也有自身的局限性：目前主流的软件类方法都是建立数学模型，研究不同温度对各个相机参数的影响，然而造成温度漂移的影响因素可能有多个，并且对于每个参数的建模结果不一定准确，因此软件类的方法因为计算过于复杂、需要考虑的因素过多往往准确度不高。

发明内容:

本发明的目的在于解决上述背景技术中描述的现有相机温度漂移抑制方法的缺点，提供一种红外双目相机温度补偿计算方法，减少标定过程中温度对红外双目相机定位精度的影响。

本发明采用如下技术方案予以实现：一种红外双目相机温度补偿计算方法，该方法包括：

启动红外双目相机，准备标定板和阵列；

配准标定板坐标系和红外双目相机坐标系，得到两个坐标系的转换矩阵；

均匀划分标定空间为相同体积的立方体，计算每个小立方体中心在所述标定板坐标系下的坐标值；

计算温度补偿值，生成一张温度补偿索引表；

获取阵列反光球坐标，得到所述红外双目相机坐标系下反光球的实际坐标位置；

配准阵列坐标系和所述红外双目相机坐标系，得出配准关系矩阵。

进一步地，所述红外双目相机可通过视差原理获得标定空间中所述标定板与所述阵列上反光球的坐标位置。

进一步地，所述标定板选定100cm*100cm的尺寸，按照10cm*10cm的大小进行均匀划分，得到100格正方形，每一格中心都可以放置一个反光球。

进一步地，所述阵列上有四个反光球，将其放于标定区域内时，可通过所述红外双目相机获得所述反光球在所述红外双目相机坐标系下的位置。

进一步地，所述配准标定板坐标系和红外双目相机坐标系，得到两个坐标系的转换矩阵，包括：

建立所述标定板的坐标系IJK：将左上角正方形的中心点设置为原点，平行于所述标定板的水平轴线为x轴，平行于所述标定板的竖直轴线为y轴；

建立所述红外双目相机的坐标系XYZ：所述红外双目相机坐标系XYZ以所述红外双目相机的左眼为中心，平行于相机面的水平轴线为x轴，平行于相机面的竖直轴线为z轴；

在所述标定板上选取四个反光球，他们在IJK坐标系下的坐标分别是A₁，B₁，C₁，D₁；

所述红外双目相机捕捉所述四个反光球在XYZ坐标系下的坐标，分别为A₂，B₂，C₂，D₂；

计算出IJK到XYZ坐标系的转换关系矩阵T，满足：

T·A₁＝A₂

T·B₁＝B₂

T·C₁＝C₂

T·D₁＝D₂

其中r为3×3的旋转矩阵，t为3×1的平移向量。

进一步地，所述均匀划分标定空间为相同体积的立方体，计算每个小立方体中心在所述标定板坐标系下的坐标值，包括：

将所述标定板沿着z轴正向平移100cm，得到一立方米的标定空间；

将标定空间以10cm*10cm*10cm的立方体为单位划分为10*10*10共1000个子立方体空间，其中左上角的子立方体中心所在的位置为坐标原点；

每个小立方体中心在所述标定板坐标系下的坐标P_mnl(x_m,y_n,z_l)为确定值；

其中，m，n和l分别为该立方体相对于坐标原点立方体的偏移量，得到集合P满足以下公式:

0≤m,n,l<10

x_m＝10·m

y_n＝10·n

z_l＝10·l

将生成的1000个坐标保存于对象集合P中，表示为:

P＝{P₀₀₀,P₀₀₁,......P_mnl,......,P₉₉₈,P₉₉₉}

进一步地，所述计算温度补偿值，生成一张温度补偿索引表，包括：

计算所有子立方体空间在所述红外双目相机坐标系下的理论坐标P′：

P′_mnl＝T·P_mnl

P′＝{P′₀₀₀,P′₀₀₁,......P′_mnl,......P′₉₉₈,P′₉₉₉}

使用所述红外双目相机分别获得每个子立方体空间在所述红外双目相机坐标系下实际测量的坐标P″：

P″＝{P″₀₀₀,P″₀₀₁,......P″_mnl,......P″₉₉₈,P″₉₉₉}

计算温度补偿值ΔP：

ΔP_mnl＝P′_mnl-P″_mnl

ΔP＝{ΔP₀₀₀,ΔP₀₀₁,......ΔP_mnl,......,ΔP₉₉₈,ΔP₉₉₉}

ΔP集合生成一张温度补偿索引表，包含1000组数值，索引为每个子立方体的坐标区间，分别对应于标定空间中不同子立方体的温度补偿值，用于后续步骤的阵列配准使用。

进一步地，所述获取所述阵列反光球坐标，得到所述红外双目相机坐标系下反光球的实际坐标位置，包括：

建立所述阵列的自身坐标系，四个反光球的坐标分别表示为Q₁、Q₂、Q₃和Q₄；

根据所述反光球的坐标，在温度补偿索引表中查询该坐标下的温度补偿值ΔP1、ΔP2、ΔP3和ΔP4；

计算所述红外双目相机坐标系下所述四个反光球的实际坐标位置P′₁、P′₂、P′₃和P′₄，计算公式如下：

P′₁＝P₁+ΔP₁

P′₂＝P₂+ΔP₂

P′₃＝P₃+ΔP₃

P′₄＝P₄+ΔP₄

进一步地，所述配准阵列坐标系和所述红外双目相机坐标系，得出配准关系矩阵，包括：

根据所述反光球在所述阵列坐标系下的坐标值P₁、P₂、P₃和P₄和所述反光球在所述红外双目相机坐标系下的实际坐标位置P′₁、P′₂、P′₃和P′₄，计算所述红外双目相机坐标系和所述阵列坐标系的配准关系矩阵T′,满足:

其中r′为3×3的旋转矩阵，t′为3×1的平移向量。

为了减少标定过程中温度对红外双目相机定位精度的影响，本发明通过建立标定空间内每个子立方体空间的温度补偿值索引表，在计算结果上对其进行补偿，实现了一种提高红外双目相机标定精度的方法。与使用硬件的红外双目相机标定方法相比较，本发明在实现了效果接近的精度的同时，简化了使用者的操作流程，并大幅降低了经济成本。与使用软件的方法相比较，本发明无需计算温度对每个相机参数的影响，而是从全局出发直接计算导致温度漂移的所有因素综合后的最终温度补偿值。通过实验测试发现，该方法相比于其他软件类的方法具有更高的相机标定精度。

附图说明

下面将参考附图来描述本发明示例性实施例的特征、优点和技术效果。

图1是本发明实施例提供的红外双目相机温度补偿计算方法的流程示意图；

图2是本发明实施例提供的红外双目相机示意图；

图3是本发明实施例提供的标定板示意图；

图4是本发明实施例提供的阵列示意图。

附图标记说明：1.红外双目相机；2.标定板；3.阵列。

具体实施方式

下面将详细描述本公开的各个方面的特征和示例性实施例，为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本公开进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本公开，而不是限定本公开。对于本领域技术人员来说，本公开可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本公开的示例来提供对本公开更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了更好地理解本发明，下面结合附图对本发明实施例的方法进行详细描述。

图1是本发明实施例提供的红外双目相机温度补偿计算方法的流程示意图。

如图1所示，本发明提供了一种红外双目相机温度补偿计算方法，该方法包括：

S101，启动红外双目相机1，准备标定板2和阵列3；

S102，配准标定板坐标系和红外双目相机坐标系，得到两个坐标系的转换矩阵；

S103，均匀划分标定空间为相同体积的立方体，计算每个小立方体中心在所述标定板坐标系下的坐标值；

S104，计算温度补偿值，生成一张温度补偿索引表；

S105，获取所示阵列3上反光球坐标，得到所述红外双目相机坐标系下反光球的实际坐标位置；

S106，配准阵列坐标系和所述红外双目相机坐标系，得出配准关系矩阵。

图2是本发明实施例提供的红外双目相机1的示意图，如图2所示，所述红外双目相机1可通过视差原理获得标定空间中所述标定板2与所述阵列3上反光球的坐标位置。

图3是本发明实施例提供的标定板2示意图，如图3所示，所述标定板2选定100cm*100cm的尺寸，按照10cm*10cm的大小进行均匀划分，得到100格正方形，每一格中心都可以放置一个反光球。

作为一种可选的实施例，所示标定板2可以选择不同的尺寸，本发明仅以100cm*100cm的尺寸作为实施例来描述。

作为一种可选的实施例，所示标定板2有多种模式可以选择，本发明采用了反光球作为相机标定的检测目标。此外，使用CharuCo、棋盘格或圆形网格也可以实现相似的标定板定位的效果。

图4是本发明实施例提供的阵列3示意图，如图4所示，所述阵列3上有四个反光球，将其放于标定区域内时，可通过所述红外双目相机1获得所述反光球在所述红外双目相机坐标系下的位置。

进一步地，S102中所述配准标定板坐标系和红外双目相机坐标系，得到两个坐标系的转换矩阵，包括：

建立所述标定板2的坐标系IJK：将左上角正方形的中心点设置为原点，平行于所述标定板2的水平轴线为x轴，平行于所述标定板2的竖直轴线为y轴；

建立所述红外双目相机1的坐标系XYZ：所述红外双目相机坐标系XYZ以所述红外双目相机1的左眼为中心，平行于相机面的水平轴线为x轴，平行于相机面的竖直轴线为y轴；

在所述标定板2上选取四个反光球，他们在IJK坐标系下的坐标分别是A₁，B₁，C₁，D₁；

所述红外双目相机1捕捉所述四个反光球在XYZ坐标系下的坐标，分别为A₂，B₂，C₂，D₂；

计算出IJK到XYZ坐标系的转换关系矩阵T，满足：

T·A₁＝A₂

T·B₁＝B₂

T·C₁＝C₂

T·D₁＝D₂

其中r为3×3的旋转矩阵，t为3×1的平移向量。

进一步地，S103中所述均匀划分标定空间为相同体积的立方体，计算每个小立方体中心在所述标定板坐标系下的坐标值，包括：

将所述标定板2沿着z轴正向平移100cm，得到一立方米的标定空间；

将标定空间以10cm*10cm*10cm的立方体为单位划分为10*10*10共1000个子立方体空间，其中左上角的子立方体中心所在的位置为坐标原点；

每个小立方体中心在所述标定板坐标系下的坐标P_mnl(x_m,y_n,z_l)为确定值；

其中，m，n和l分别为该立方体相对于坐标原点立方体的偏移量，得到集合P满足以下公式:

0≤m,n,l<10

x_m＝10·m

y_n＝10·n

z_l＝10·l

将生成的1000个坐标保存于对象集合P中，表示为:

P＝{P₀₀₀,P₀₀₁,......P_mnl,......,P₉₉₈,P₉₉₉}

作为一种可选的实施例，可以将标定空间均匀划分为相同大小且分布均匀的子空间，并且划分的越精细，标定结果的精度越高，本发明仅以将标定空间以10cm*10cm*10cm的立方体为单位划分为10*10*10共1000个子立方体空间作为实施例来描述。

进一步地，S104中所述计算温度补偿值，生成一张温度补偿索引表，包括：

计算所有子立方体空间在所述红外双目相机坐标系下的理论坐标P′：

P′_mnl＝T·P_mnl

P′＝{P′₀₀₀,P′₀₀₁,......P′_mnl,......P′₉₉₈,P′₉₉₉}

使用所述红外双目相机1分别获得每个子立方体空间在所述红外双目相机坐标系下实际测量的坐标P″：

P″＝{P″₀₀₀,P″₀₀₁,......P″_mnl,......P″₉₉₈,P″₉₉₉}

计算温度补偿值ΔP：

ΔP_mnl＝P′_mnl-P″_mnl

ΔP＝{ΔP₀₀₀,ΔP₀₀₁,......ΔP_mnl,......,ΔP₉₉₈,ΔP₉9₉}

ΔP集合生成一张温度补偿索引表，包含1000组数值，索引为每个子立方体的坐标区间，分别对应于标定空间中不同子立方体的温度补偿值，用于后续步骤的阵列配准使用。

进一步地，S105中所述获取所述阵列3上反光球坐标，得到所述红外双目相机坐标系下反光球的实际坐标位置，包括：

建立所述阵列3的自身坐标系，四个反光球的坐标分别表示为Q₁、Q₂、Q₃和Q₄；

根据所述反光球的坐标，在温度补偿索引表中查询该坐标下的温度补偿值ΔP1、ΔP2、ΔP3和ΔP4；

计算所述红外双目相机坐标系下所述四个反光球的实际坐标位置P′₁、P′₂、P′₃和P′₄，计算公式如下：

P′₁＝P₁+ΔP₁

P′₂＝P₂+ΔP₂

P′₃＝P₃+ΔP₃

P′₄＝P₄+ΔP₄

进一步地，S106中所述配准阵列坐标系和所述红外双目相机坐标系，得出配准关系矩阵，包括：

根据所述反光球在所述阵列坐标系下的坐标值P₁、P₂、P₃和P₄和所述反光

球在所述红外双目相机坐标系下的实际坐标位置P′₁、P′₂、P′₃和P′₄，计算所述红外双目相机坐标系和所述阵列坐标系的配准关系矩阵T′,满足:

其中r′为3×3的旋转矩阵，t′为3×1的平移向量。

作为一种可选的实施例，本发明提出的温度补偿计算算法提高了红外相机标定精度。任何受到温度漂移影响的深度相机标定都可以使用本发明提出的温度补偿计算方法来提高精度，如结构光相机、TOF相机等。

为了减少标定过程中温度对红外双目相机定位精度的影响，本发明通过建立标定空间内每个子立方体空间的温度补偿值索引表，在计算结果上对其进行补偿，实现了一种提高红外双目相机标定精度的方法。与使用硬件的红外双目相机标定方法相比较，本发明在实现了效果接近的精度的同时，简化了使用者的操作流程，并大幅降低了经济成本。与使用软件的方法相比较，本发明无需计算温度对每个相机参数的影响，而是从全局出发直接计算导致温度漂移的所有因素综合后的最终温度补偿值。通过实验测试发现，该方法相比于其他软件类的方法具有更高的相机标定精度。

以上根据本公开的实施例的方法流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本公开的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。

Claims (9)

1.一种红外双目相机温度补偿计算方法，其特征在于，包括：

启动红外双目相机，准备标定板和阵列；

配准标定板坐标系和红外双目相机坐标系，得到两个坐标系的转换矩阵；

均匀划分标定空间为相同体积的立方体，计算每个小立方体中心在所述标定板坐标系下的坐标值；

计算温度补偿值，生成一张温度补偿索引表；

获取阵列反光球坐标，得到所述红外双目相机坐标系下反光球的实际坐标位置；

配准阵列坐标系和所述红外双目相机坐标系，得出配准关系矩阵。

2.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述红外双目相机可通过视差原理获得标定空间中所述标定板与所述阵列上反光球的坐标位置。

3.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述标定板选定100cm*100cm的尺寸，按照10cm*10cm的大小进行均匀划分，得到100格正方形，每一格中心都可以放置一个反光球。

4.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述阵列上有四个反光球，将其放于标定区域内时，可通过所述红外双目相机获得所述反光球在所述红外双目相机坐标系下的位置。

5.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述配准标定板坐标系和红外双目相机坐标系，得到两个坐标系的转换矩阵，包括：

建立所述标定板的坐标系IJK：将左上角正方形的中心点设置为原点，平行于所述标定板的水平轴线为x轴，平行于所述标定板的竖直轴线为y轴；

建立所述红外双目相机的坐标系XYZ：所述红外双目相机坐标系XYZ以所述红外双目相机的左眼为中心，平行于相机面的水平轴线为x轴，平行于相机面的竖直轴线为z轴；

在所述标定板上选取四个反光球，他们在IJK坐标系下的坐标分别是A₁，B₁，C₁，D₁；

所述红外双目相机捕捉所述四个反光球在XYZ坐标系下的坐标，分别为A₂，B₂，C₂，D₂；

计算出IJK到XYZ坐标系的转换关系矩阵T，满足：

T·A₁＝A₂

T·B₁＝B₂

T·C₁＝C₂

T·D₁＝D₂

其中r为3×3的旋转矩阵，t为3×1的平移向量。

6.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述均匀划分标定空间为相同体积的立方体，计算每个小立方体中心在所述标定板坐标系下的坐标值，包括：

将所述标定板沿着z轴正向平移100cm，得到一立方米的标定空间；

将标定空间以10cm*10cm*10cm的立方体为单位划分为10*10*10共1000个子立方体空间，其中左上角的子立方体中心所在的位置为坐标原点；

每个小立方体中心在所述标定板坐标系下的坐标P_mnl(x_m,y_n,z_l)为确定值；

其中，m，n和l分别为该立方体相对于坐标原点立方体的偏移量，得到集合P满足以下公式:

0≤m,n,l<10

x_m＝10·m

y_n＝10·n

z_l＝10·l

将生成的1000个坐标保存于对象集合P中，表示为:

P＝{P₀₀₀,P₀₀₁,......P_mnl,......,P₉₉₈,P₉₉₉}

7.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述计算温度补偿值，生成一张温度补偿索引表，包括：

计算所有子立方体空间在所述红外双目相机坐标系下的理论坐标P′：

P′_mnl＝T·P_mnl

P′＝{P′₀₀₀,P′₀₀₁,......P′_mnl,......P′₉₉₈,P′₉₉₉}

使用所述红外双目相机分别获得每个子立方体空间在所述红外双目相机坐标系下实际测量的坐标P″：

P″＝{P″₀₀₀,P″₀₀₁,......P″_mnl,......P″₉₉₈,P″₉₉₉}

计算温度补偿值ΔP：

ΔP_mnl＝P′_mnl-P″_mnl

ΔP＝{ΔP₀₀₀,ΔP₀₀₁,......ΔP_mnl,......,ΔP₉₉₈,ΔP₉₉₉}

ΔP集合生成一张温度补偿索引表，包含1000组数值，索引为每个子立方体的坐标区间，分别对应于标定空间中不同子立方体的温度补偿值，用于后续步骤的阵列配准使用。

8.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述获取所述阵列反光球坐标，得到所述红外双目相机坐标系下反光球的实际坐标位置，包括：

建立所述阵列的自身坐标系，四个反光球的坐标分别表示为Q₁、Q₂、Q₃和Q₄；

根据所述反光球的坐标，在温度补偿索引表中查询该坐标下的温度补偿值ΔP1、ΔP2、ΔP3和ΔP4；

计算所述红外双目相机坐标系下所述四个反光球的实际坐标位置P′₁、P′₂、P′₃和P′₄，计算公式如下：

P′₁＝P₁+ΔP₁

P′₂＝P₂+ΔP₂

P′₃＝P₃+ΔP₃

P′₄＝P₄+ΔP₄

9.根据权利要求1所述的一种红外双目相机温度补偿计算方法，其特征在于，所述配准阵列坐标系和所述红外双目相机坐标系，得出配准关系矩阵，包括：

根据所述反光球在所述阵列坐标系下的坐标值P₁、P₂、P₃和P₄和所述反光球在所述红外双目相机坐标系下的实际坐标位置P′₁、P′₂、P′₃和P′₄，计算所述红外双目相机坐标系和所述阵列坐标系的配准关系矩阵T′,满足:

其中r′为3×3的旋转矩阵，t′为3×1的平移向量。

Images