CN107449403B - 一种时-空四维联合成像模型及应用 - Google Patents

Abstract

本发明涉及一种时‑空四维联合成像模型，该模型是将三维空间体系下加入时间维度，建立时‑空四维度成像模型，建立四维体系下的物、像点对应关系，在中心透视成像模型的基础上，将空间物像关系沿时间轴展开，拓展成时‑空四维成像体系，建立时‑空四维联合成像模型。本发明提出建立“时‑空”四维成像模型，是在空间三维成像系统模型基础上加入时间参数、运动参数，构成一个完整、合理的时‑空四维成像系统，该系统可以作为未来视觉检测技术中，基于序列图像的摄像测量研究的一个基础，因为基于此系统，可以解决包括空间、时间、目标运行状态的任何一个参数的标定、测量、精度分析等问题。

Description

一种时-空四维联合成像模型及应用

技术领域

本发明属于机器视觉范畴中的视觉检测与视觉测量领域，尤其是一种时-空四维联合成像模型及应用。

背景技术

测量是现代工业的基础技术之一，测量的精度和效率在一定程度上决定着制造业乃至科学技术的发展水平。随着视觉传感技术和图像处理技术的快速发展，视觉测量己日臻成熟并逐渐衍生成为一种最为流行的非接触测量方法。且随着摄像硬件设备技术的不断提高，各类图像处理算法及人工智能算法的开发与完善，视觉测量的精度及速度得到了越来越多实际应用上的首肯，引起了国内外学者广泛的重视和研究。

视觉测量是通过对光学成像系统拍摄的图像进行分析计算，测量出被测物体在三维空间中的几何、位姿等参数。光学成像系统所拍摄的图像，是空间物体通过成像系统在像平面上的反映，即三维空间物体在像平面上的投影。数字图像每个像素的灰度反映了空间物体表面对应点的光强度，而该点的图像位置对应于空间物体表面的几何位置。实际物体位置与其在图像上的位置的相互对应关系，由成像系统的几何投影模型或称成像模型所决定。

视觉测量的基本成像模型是中心透视投影模型，或称作针孔模型。在满足针孔模型假设的前提下，像点、光心和物点满足共线方程，即三点共线。对于单相机(单目视觉系统)的情况，如果光心和像点已知，就可以确定像点和光心组成的唯一射线，而物点必然在此射线上。此时，确定的是过光心的射线相对于光轴的两个方向或角度值，但是物点在此射线上的具体位置无法确定。当使用两台或多台相机(双目或多目视觉系统)从不同的位置对同一目标拍摄时，各个摄像机的光心和其对应同名像点组成的射线应该都通过同一空间物点，即各射线应在物点相交。利用这个原理就可以对空间物点进行交会定位，即三角视觉测量的基本原理。

因此，根据上述中心透视成像模型和三角视觉测量原理，基于单目视觉系统能够实现平面二维目标的几何参数测量，基于双目或多目视觉系统能够实现空间三维目标的几何参数测量。但无论单目还是多目视觉系统，目前已有的光学成像投影模型，均是致力于空间物点与数字图像像点的对应关系，只是从三维空间上求解物-像映射关系及几何参数的计算与测量。

随着视觉测量的理论与应用快速发展，仅仅从空间维度上解决物-像映射关系，已经开始无法满足视觉测量的应用需求了。例如，近年来，高速视觉测量系统的应用开始逐渐增多。高速视觉测量系统不仅能完成目标体常规状态下的几何尺寸、形状姿态的测量，还能够通过高速相机捕获得到目标体在时间瞬变时刻的状态变化，将人眼或其它常规传感器无法测量得到的信息，以连续图像的形式展现出来。因此，高速视觉测量系统，在高速运动目标运行姿态研究、高速运动体结构动态参数测量、碰撞瞬态研究、微弱信号提取、振动分析等方面，具有重要的研究前景和价值。

基于高速视觉测量系统所拍摄的序列图像，可以观测出目标的发展变化状态。可是如果要定量的求解出目标的运动参数，除了需要测量、求解空间的几何参数，还需要求解或确定序列图像之间的时间参数。但前述的中心透视投影成像模型，只实现了空间中三维物点对数字图像像点的映射关系，并没有时间参数的引入；为了实现高速视觉测量系统的运动参数测量研究，需要在空间成像模型的基础上，引入时间参数。

另一方面，在视觉测量的应用中发现，外界照明光强度相同的情况下，相机的帧频及曝光时长的不同会造成图像亮度及对比度的不同，图像亮度及对比度的不同会影响相机标定所用的靶标标志点的提取定位，从而影响成像系统参数标定的精度，影响最终的测量精度。

因此考虑，在视觉测量系统中，空间、时间参数并不是完全独立的参数，时间参数与空间参数有着相互影响的问题，有一定的关联性。因此，本发明提出，考虑联合一维度的“时间”和三维度的“空间”，在“时-空”四维度体系下，建立综合的光学成像模型；基于此“时-空”四维联合成像模型，可以进行成像系统的时间和空间的参数标定方法研究。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种用于摄像测量系统的时-空四维联合成像模型及应用。

本发明解决其技术问题是采取以下技术方案实现的：

一种时-空四维联合成像模型，该模型是将三维空间体系下加入时间维度，建立时-空四维度成像模型，建立四维体系下的物、像点对应关系，在中心透视成像模型的基础上，将空间物像关系沿时间轴展开，拓展成时-空四维成像体系，建立时-空四维联合成像模型。

而且，所述时-空四维联合成像模型是建立目标物体在空间中的连续运动形态与序列图像中目标像点的图像轨迹之间的对应关系。

而且，所述时-空四维成像数学模型，由成像系统的内参矩阵、外参矩阵、时间参数矩阵、目标运动参数矩阵构成，由各矩阵间参数的运算，可获得目标物体点与像点的确定的对应关系。

而且，所述时-空四维成像数学模型中，各参数矩阵独立提出，并分别进行数学建模，参数之间既有彼此之间的联系，也有相互的独立性；在进行成像系统的标定时，既可以进行所有参数的整体标定，也可以根据需要设定限定条件从而进行分步和分立标定。

而且，所述时-空四维成像数学模型中，摄像测量系统的重要时间参数由相机曝光时钟周期、曝光延时、曝光时长构成；运动参数矩阵，由描述目标物体的运行状态的参数构成，可包括运动速度、加速度、方向矢量的参数。

下面提供一种上述时-空四维成像数学模型在建立由空间标定靶标和精密移动导轨构成的时-空四维成像系统多参数标定实验装置的应用：

该时-空四维成像系统标定实验装置，由空间标定靶标来保证标定的空间精度，实现成像系统内参矩阵、外参矩阵参数的标定；由精密移动导轨来保证目标的运动精度，按某种规则的移动，实现成像系统时间参数矩阵、目标运动参数矩阵参数的标定。

而且，上述时-空四维成像系统标定实验装置引入时间计量仪器——时间间隔仪，可以对相机的时间基准、目标运动速度、参数标定的合理性及精度等，起到重要的监督及指导作用。

本发明的优点和积极效果是：

本发明提出建立“时-空”四维成像模型，是在空间三维成像系统模型基础上加入时间参数、运动参数，构成一个完整、合理的时-空四维成像系统，该系统可以作为未来视觉检测技术中，基于序列图像的摄像测量研究的一个基础，因为基于此系统，可以解决包括空间、时间、目标运行状态的任何一个参数的标定、测量、精度分析等问题。

附图说明

图1是本发明提出的时-空四维成像模型示意图。

图2是摄像测量系统时间参数与物点成像位置之间关系图。

图3是时-空四维联合标定实验装置示意图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

在机器视觉应用中，投影成像模型的基础是中心透视投影模型，也称针孔模型。中心透视投影模型假设物体表面的反射光或发射光都经过一个“针孔”点而投影在像平面上。

本发明提出，在中心透视成像模型的基础上，将空间物像关系沿时间轴展开，拓展成时-空四维成像体系，建立时-空四维联合成像模型，参见图1所示。

在此模型中，建立相机坐标系、图像坐标系。相机坐标系原点取为相机光心O，Z_C轴与相机光轴重合，且取摄像方向为正向。图像坐标系建立在正片像平面S'中，正片像平面S'位于相机坐标系Z_C＝f平面内，f为中心透视投影焦距。在像平面S'内建立图像物理坐标系，图像物理坐标系原点为相机光心O与像平面S'的交点o，图像物理坐标系的x轴、y轴分别与相机坐标系的X_C轴、Y_C轴相平行。建立图像像素坐标系I-uv，以图像左上角点I为原点，以像素为坐标单位，u、v分别表示该像素在数字图像中的列数与行数，与数字图像像素的常用存储格式一致。

以物点的平面运动为例描述时-空模型中物、像点的对应关系。若目标点在与相机光轴垂直的物平面S内做运动，在t₀时刻，目标点处于物平面S上的P_t0位置；在t₁时刻，目标点运动到物平面S上的P_t1位置；在t₂时刻，目标点运动到物平面S上的P_t2位置。

时间轴在成像空间的展开方式，及上述各数学符号所对应的描述关系，均参见图1所示。

上述物像关系的数学模型构建如下：

在中心透视投影成像模型中，世界坐标系空间中的一点P(X,Y,Z)与它在图像平面所成像的像点P'(u,v)的关系如式(1)所示。其中[M_内]为成像模型的内参矩阵，包含主点、等效焦距等参数，描述的是相机本身的特性；[M_外]为外参矩阵，是在世界坐标系中的空间点相对于相机坐标系的旋转矩阵和平移向量，描述的是相机坐标系与世界坐标系之间的相对位置与姿态关系。

其中，

式(2)中，(C_u,C_v)为数字图像主点，即光轴与像面交点o的数字图像坐标；(F_u,F_v)为等效焦距，F_u＝f/d_x，F_v＝f/d_y，f为相机焦距，d_x、d_y分别为相机的单个像元在x、y方向所对应的实际物理尺寸。式(3)中，R为旋转矩阵，它是一个3×3的单位正交阵，它的9个元素是旋转角(A_X,A_Y,A_Z)的三角函数组合，旋转角(A_X,A_Y,A_Z)定义为将世界坐标系变换到与相机坐标系姿态一致而分别绕三个坐标轴转过的欧拉角；T＝(T_X,T_Y,T_Z)为平移向量，是世界坐标系原点在相机坐标系中的坐标。

针对运动目标测量的摄像系统，物、像点之间的对应关系，除式(1)中的内、外参矩阵参数，还与成像系统的时间参数、目标物自身的运动状态有关系。

因此，在本发明中，提出构建如式(4)所示的物、像关系映射模型，即在式(1)的基础上，增加摄像系统的时间参数矩阵、目标物体的运动参数矩阵。即世界坐标系空间中的一点P(X,Y,Z)，与其像点P'(u,v)的关系为：

式(4)中，[M_时间]为时间参数矩阵，由在摄像测量系统中，影响运动目标在序列图像中成像位置的重要时间参数构成，一般包括相机曝光时钟周期、曝光延时、曝光时长等参数；[M_运动]为运动参数矩阵，由描述目标物体的运行状态的参数构成，可包括运动速度、加速度、方向矢量等参数。

将内参矩阵、外参矩阵、时间参数矩阵与目标运动参数矩阵独立提出进行建模的优点是：参数之间即有彼此之间的联系，也有相互的独立性；在进行成像系统的标定时，既可以进行所有参数的整体标定，也可以根据需要设定限定条件从而进行分步和分立标定。

下面以匀速直线运动目标为例，来表达上述的时-空四维物像关系映射模型

定义在摄像测量系统中，三个重要的时间参数：相机曝光时钟周期、曝光延时、曝光时长，分别用t_frame、t_e-d、t_e-c表示。三个参数的具体定义及其对物点在图像中成像的影响，参见图2所示。

相机真正的曝光时刻，通常不与相机工作的时钟脉冲触发沿同步，而是有一定的时间延时，取决于相机硬件的设置。即在相机工作的每个时钟周期内，将运动目标真正“显影”呈现在数字图像上的时间段，是从工作脉冲延时t_e-d时刻开始，持续积分曝光t_e-c时长的时间段。对于低速运动目标的拍摄测量，在t_e-d、t_e-c足够小时，二者可以忽略不计；但对于高速目标的测量应用来说，确定二者的值是非常重要，且若t_e-c的值较大，而目标的运动速度过快，在曝光时长t_e-c内若目标的运动距离已超过像素单位时，则会造成图像的拖影。

设相机以一定的帧频N曝光拍照，这里N＝1/t_frame。在t₀时刻拍取的数字图像为F₀，在t₁时刻(t₁＝t₀+1/N)拍取的数字图像为F₁，在t₂时刻(t₂＝t₁+1/N＝t₀+2/N)拍取的数字图像为F₂。在t₀时刻，目标点处于物平面S上的P_t0位置；在t₁时刻，目标点运动到物平面S上的P_t1位置；在t₂时刻，目标点运动到物平面S上的P_t2位置。各数学符号的在本发明提出时-空四维成像系统中的位置描述，参见图1所示。

本发明中，以匀速直线运动为例进行时-空四维联合成像模型中物、像点映射关系的建立。详述如下。

在不考虑时间、运动关系，在中心透视成像模型下，对于独立的物、像点对，满足式(5)、式(6)所示的坐标计算关系。

式(5)、式(6)中，(X_C-pt0,Y_C-pt0,Z_C-pt0)为物点P_t0在相机坐标系O-X_CY_CZ_C中坐标，(u_pt0,v_pt0)为P_t0所对应像点p'_t0在图像物理坐标系o-xy中坐标，(X_pt0,Y_pt0,Z_pt0)为其在物点P_t0在世界坐标系W-XYZ中坐标。

考虑时间、运动关系后，设P₀点为相机曝光初始时刻物点所处的位置，在相机坐标系下，设其坐标为(X_C-p0,Y_C-p0,Z_C-p0)；在序号为n的曝光周期中(即序列图像的第n幅图像)，物点所处位置为P_tn，其相机坐标系下坐标为(X_C-ptn,Y_C-ptn,Z_C-ptn)。在运算直线运动模型下，P_tn与初始点P₀有如下的坐标关系：

将式(7)中的时间参数与运动状态参数独立抽取出来，写成矩阵相乘的形式：

式(8)中，由t_frame、t_e-d、t_e-c所构成的矩阵为时间参数矩阵，反映高速相机的几个重要时间参数；由V_xc、V_yc、V_zc所构成的矩阵为运动状态矩阵，反映目标物的运动状态和初始状态；包含参数n的矩阵，则主要用来确定所分析的图像在序列图像中的位置，和当前目标点所处的时间点。

将式(8)代入式(5)，序号为n的曝光周期中目标点所对应的序列图像中的图像坐标位置为：

再利用式(6)所示坐标系之间的转换思想，进行相机坐标系与世界坐标系之间的转换：

其中，V_X、V_Y、V_Z为目标运动矢量在任意世界坐标系W-XYZ下的速度分量；(X_p0,Y_p0,Z_p0)为目标初始点在世界坐标系下的位置；由r_x、r_y、r_z构成的矩阵R'为旋转矩阵，它的3个元素分别表示将世界坐标系的X、Y、Z三轴变换到与相机坐标系姿态一致而分别需要转换的旋转向量，T＝(T_X,T_Y,T_Z)为平移向量，是世界坐标系原点在相机坐标系中的坐标。

联立方程式(9)和式(10)，可以写成如下形式：

由此，便建立了在任意世界坐标系下，运动目标与序列图像之间所对应的时空物像映射关系。映射模型中包含内参矩阵、外参矩阵、时间参数矩阵、运动状态矩阵。

需说明的是，本发明以匀速直线运动为例，说明了在本发明提出的时-空四维联合成像模型下如何建立物、像点的对应映射关系；但目标体的运动状态有多种形式，不同运动形式下，运动参数矩阵不同，物、像点最后的映射模型也会不同。但不管何种形式的运动模型，凡由摄像系统的内、外参数、时间参数、目标运动参数，构造成运动目标在时-空中的物、像映射关系，均属于本发明的保护范围之内。

下面叙述一下在建立由空间标定靶标和精密移动导轨构成时，本发明在标定实验装置的应用，其标定的步骤是：

(1)基于中心透视投影模型和透镜成像模型，建立三维空间的物、像点对应关系；

(2)提出摄像测量系统所涉及的时间参数及目标的运动参数，建立各时间参数和运动参数对空间物点成像位置的影响关系；

(3)将三维空间成像系统沿时间轴展开，即在三维空间体系下加入时间维度，建立“时-空”四维度成像模型，建立四维体系下的物、像点对应关系；

(4)根据“时-空”四维成像模型，建立由内参矩阵、外参矩阵、时间参数矩阵、运动参数矩阵等构成的多参数的物、像映射关系的数学模型；

(5)用于四维成像系统多参数标定的实验装置设计，基于该实验装置，能够同时或分步实现成像系统的空间参数、时间参数的标定。

标定的主要实验手段，是使用具有一定精度的确定已知的空间和时间定位的目标点来对成像系统的相关未知参数进行求解，因此，作为本发明的应用，提出时-空联合标定实验装置的关注点问题为：如何设计这类具有一定精度且确定已知的空间和时间定位的靶标物及其实验装置。本发明提出的时-空联合标定实验装置，参见图3所示。

在实验装置中，采用了时间间隔仪(Time Interval and Frequency Counter)。时间间隔仪也称时间合成器，是以高稳定石英晶体振荡器的振荡周期为标准，利用数字合成技术，产生可设置的脉冲周期、延迟时间、脉冲宽度等多种时间间隔信号。时间间隔仪广泛应用在计量、通讯、高能物理等领域，在检定时间测量仪器时可作为标准源。精密时间间隔仪进行时间测量时，将被测间隔分为两部分：大于一个时基的部分，采用普通数字式时间间隔测量仪的原理，即累计时基脉冲的个数；小于一个时基的部分，采用模拟内插法、数字游标法或模/数(A/D)变换法进行，测量分辨率在理论上可达几个ps。

在时间间隔仪的数显平面上，安装标准的空间成像相机标定用的棋盘格(或其它图案形式)的靶标板。将二者的联合体，放置于精密导轨上，由精密导轨靶标物以某种速度移动。高速相机以一定的帧频对运动靶标物进行连续拍照。因为当相机曝光时间较短时，图像亮度很低，所以需要光源进行照明。在进行标定研究时，可以采用照度计对当前光源照明的亮度情况进行定量标记。

由棋盘格(或其它图案形式)的靶标板保证空间物点的定位精度，由精密导轨保证目标物的运动速度精度。在触发高速相机进行拍照的同时，触发时间间隔仪进行时间统计。高速相机对以一定的曝光频率对进行运动的棋盘格靶标物进行拍照，由序列图像及前述的时-空物像关系对成像系统的空间、时间参数进行标定；同时，由序列图像中每幅图像所采集到的时间间隔仪数显平面所显示的时间统计值，可对相机时间参数的标称值、由模型计算出来的时间参数值进行校验。

为避免平面物点对相机标定矩阵造成奇异，精密导轨及所承载的靶标物，可以以一定角度进行旋转，即高速相机可以从不同的角度对靶标物平面进行成像，从而进行标定参数求解。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (5)

1.一种时-空四维联合成像模型，其特征在于：该模型是将三维空间体系下加入时间维度，建立时-空四维度成像模型，建立四维体系下的物、像点对应关系，在中心透视成像模型的基础上，将空间物像关系沿时间轴展开，拓展成时-空四维成像体系，建立时-空四维联合成像模型，所述时-空四维成像数学模型，由成像系统的内参矩阵、外参矩阵、时间参数矩阵、目标运动参数矩阵构成，由各矩阵间参数的运算，可获得目标物体点与像点的确定的对应关系，所述时-空四维成像数学模型中，摄像测量系统的重要时间参数由相机曝光时钟周期、曝光延时、曝光时长构成；运动参数矩阵，由描述目标物体的运行状态的参数构成，该参数包括运动速度、加速度、方向矢量。

2.根据权利要求1所述的时-空四维联合成像模型，其特征在于：所述时-空四维联合成像模型是建立目标物体在空间中的连续运动形态与序列图像中目标像点的图像轨迹之间的对应关系。

3.根据权利要求1所述的时-空四维联合成像模型，其特征在于：所述时-空四维成像数学模型中，各参数矩阵独立提出，并分别进行数学建模；在进行成像系统的标定时，可选择进行所有参数的整体标定或根据需要设定限定条件从而进行分步和分立标定。

4.一种如权利要求1所述的时-空四维联合成像模型的应用，其特征在于：时-空四维成像数学模型在建立由空间标定靶标和精密移动导轨构成的时-空四维成像系统多参数标定实验装置：

该时-空四维成像系统标定实验装置，由空间标定靶标来保证标定的空间精度，实现成像系统内参矩阵、外参矩阵参数的标定；由精密移动导轨来保证目标的运动精度，按某种规则的移动，实现成像系统时间参数矩阵、目标运动参数矩阵参数的标定，即高速相机可以从不同的角度对靶标物平面进行成像，从而进行标定参数求解。

5.根据权利要求4所述的时-空四维联合成像模型的应用，其特征在于：所述时-空四维成像系统标定实验装置引入时间计量仪器——时间间隔仪，对相机的时间基准、目标运动速度、参数标定的合理性及精度予以监督。

Images