CN115442584A - 一种多传感器融合的异形面动态投影方法 - Google Patents

Abstract

本发明公开一种多传感器融合的异形面动态投影方法，包括：对投影仪和照相机进行刚性固定，得到照相机内、外参数和投影仪内、外参数；投影仪投射一组结构光图像，照相机拍摄得到被异形面调制后的结构光图像；获取异形面表面稠密点云；照相机实时拍摄异形面图像，得到视觉异形面实时位姿信息；对惯性定位系统和异形面进行刚性固定，并对惯性定位系统进行标定，得到惯性定位异形面实时位姿信息；融合视觉异形面实时位姿信息和惯性定位异形面实时位姿信息，得到融合位姿信息；计算投影仪图像；投影仪投射出投影仪图像，实现异形面动态投影。能够获取异形面更精确的位姿，避免当光照条件变化剧烈时，异形面实时位姿获取失败的情况。

Description

一种多传感器融合的异形面动态投影方法

技术领域

本发明涉及动态投影领域领域，特别涉及一种多传感器融合的异形面动态投影方法。

背景技术

动态投影在文旅演出、展览展示中有着广泛的应用前景。目前，常见的投影展示方式为投影仪静止，投影面为平面幕、弧形幕等规则幕的投影方式。动态投影指投影仪位置固定不动，投影面运动，动态投影使文旅演出、展览展示等节目创作更灵活，给观众带来更震撼的观看体验。

动态投影时，异形投影面位置改变，因此需要实时获取投影面的位姿信息。另外，异形面表面凹凸不平，不能采用规则幕投影时的单应变换实现投影几何校正，异形面投影相比规则幕(平面幕、弧形幕等)投影，难度大幅增加。同时，当光照条件变化剧烈时，异形面实时位姿有可能会获取失败。

发明内容

为解决上述现有技术中所存在的问题，本发明提供一种多传感器融合的异形面动态投影方法，能够获取异形面更精确的位姿，避免当光照条件变化剧烈时，异形面实时位姿获取失败的情况。

为了实现上述技术目的，本发明提供了一种多传感器融合的异形面动态投影方法，包括：

S1，对投影仪和照相机进行刚性固定，得到照相机内参数、照相机外参数、投影仪内参数和投影仪外参数；

S2，所述投影仪投射一组结构光图像，所述照相机拍摄得到被异形面调制后的所述结构光图像；

S3，基于所述照相机内参数、所述照相机外参数、所述投影仪内参数、所述投影仪外参数、所述投影仪投射的所述结构光图像和所述照相机拍摄到的调制后的所述结构光图像，得到异形面表面稠密点云；

S4，所述照相机实时拍摄异形面图像，得到视觉异形面实时位姿信息；

S5，对惯性定位系统和异形面进行刚性固定，并对惯性定位系统进行标定，得到标定参数；

S6，基于所述标定参数，得到惯性定位异形面实时位姿信息；

S7，融合所述视觉异形面实时位姿信息和所述惯性定位异形面实时位姿信息，得到融合位姿信息；

S8，根据所述异形面表面稠密点云、所述投影仪内参数、所述投影仪外参数和所述融合位姿信息，计算得到投影仪图像；

S9，所述投影仪投射出所述投影仪图像，实现异形面动态投影。

可选地，所述照相机内参数和所述照相机外参数的获取过程为：

对所述投影机和所述照相机进行刚性固定，组成投影机-照相机系统；

将所述投影机-照相机系统朝向贴有棋盘格图片的空间参考平面，并调整所述投影机-照相机系统角度，使得投影区域与所述棋盘格图片不重叠且所述照相机视场能完全覆盖所述投影区域和所述棋盘格图片；

通过所述照相机拍摄所述棋盘格图片，并进行标定，得到所述照相机内参数和所述照相机外参数。

可选地，所述投影仪内参数和所述投影仪外参数的获取过程为：

对所述投影机和所述照相机进行刚性固定，组成投影机-照相机系统，完成照相机标定；

将粘贴在空间参考平面上的棋盘格图片撤下，开启投影仪，投射棋盘格图片；

基于所述棋盘格图片，采用识别特征点的方法，得到二维图像点；

基于所述照相机标定，得到三维图像点；

基于所述二维图像点和所述三维图像点，得到所述内参数和所述投影仪外参数。

可选地，所述视觉异形面实时位姿信息的获取过程为：

基于所述照相机实时拍摄异形面图像，进行特征点提取与特征点匹配，得到匹配点对；

基于所述匹配点对和所述照相机内参数，采用对极约束，得到视觉异形面实时位姿信息。

可选地，所述标定的计算表达式为：

式中，x,y为所述惯性定位系统读取的坐标；矩阵

为所述标定参数；[t₁，t₂，t₃]^T为相机反馈得到的异形面平移矩阵。

可选地，所述惯性定位系统包括但不限于陀螺仪、加速度计、编码器。

可选地，在进行所述异形面动态投影时：

处于匀速直线运动，以所述惯性定位系统为主导进行所述异形面动态投影；

处于速度变化和急停急起时，以所述照相机为主导进行所述异形面动态投影。

可选地，以所述惯性定位系统为主导进行所述异形面动态投影的计算公式为：

x₃＝x₂-x₁

y₃＝y₂-y₁

式中，x₃,y₃为当前时刻位置；x₂,y₂为上一时刻位置；x₁,y₁为上上时刻的位置，通过获取x₂与x₁的差值和y₂与y₁来预测此刻位置。

本发明具有如下技术效果：

本发明能够获取异形面更精确的位姿，避免了当光照条件变化剧烈时，异形面实时位姿获取失败的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例多传感器融合的异形面动态投影方法的流程框图；

图2为本发明实施例多传感器融合的动态投影原型系统原理图；

图3为本发明实施例中投影仪-照相机系统标定硬件配置图；

图4为本发明实施例中三维重建原理示意图；

图5为本发明实施例中惯性定位系统的坐标系示意图；

图6为本发明实施例多传感器融合动态投影实验结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明公开一种多传感器融合的异形面动态投影方法，包括：

S1，对投影仪和照相机进行刚性固定，得到照相机内参数、照相机外参数、投影仪内参数和投影仪外参数；

如图2所示，投影仪-照相机系统标定包括照相机和投影仪的内参数标定以及投影仪相对投影幕的位姿(或称为投影仪外参)标定。投影仪内参、外参标定是投影几何校正的基础，内参标定是外参标定的基础。投影仪不具备主动获取图像的能力，因此需要借助照相机来实现内、外参标定。

如图3所示，对投影仪和照相机进行刚性固定，组成投影仪-照相机系统，将投影仪-照相机系统朝向贴有棋盘格图片的空间参考平面，并调整投影仪-照相机系统角度，使得投影区域与棋盘格图片不重叠且照相机视场能完全覆盖投影区域和棋盘格图片，进行照相机标定时，投影仪处于关闭状态，通过照相机拍摄棋盘格图片并进行标定，得到照相机内参数矩阵K_c和照相机外参数的旋转矩阵R_c、平移矩阵T_c。

照相机外参数的旋转矩阵R_c的获取过程为：旋转矩阵是三个基本旋转的序列复合，关于右手笛卡尔坐标系的x，y，z轴的旋转分别叫做R_x，R_y，R_z。R_x可定义为

θ即为绕x轴旋转的角度。同理可得R_y，R_z，将三个基本旋转相乘即为旋转矩阵R_c。

照相机外参数的平移矩阵T_c的获取过程为：平移矩阵T_c为分别沿着右手笛卡尔坐标系x，y，z轴的平移距离,t_x为沿着x轴正方向平移的距离，所以平移矩阵T_c可表示为

在已知三维空间点X_w与二维图像点x_w对应关系的条件下，求取照相机内、外参数K_c、R_c和T_c的值，计算公式为：

x_w＝PX_w＝K_c[R_c|T_c]X_w

使用定制的棋盘格标定板对照相机进行标定，标定板上的棋盘格尺寸可以通过测量获得，其对应的二维图像坐标可通过图像角点提取的方法获得。

在获得照相机内参后，根据已知三维空间点X_w与二维图像点x_w的对应关系，使用线性或者非线性算法，得到照相机外参数。

投影仪可看作照相机的对偶系统，并使用与照相机相同的成像模型进行标定，但是由于投影仪没有主动获取图像的能力，因此需要借助已标定好的照相机对投影仪进行标定。照相机标定时，世界坐标系下三维空间点与图像坐标系下二维坐标点的对应关系分别通过人工测量和识别特征点来实现。在投影仪系统中，图像坐标系下二维坐标点仿照照相机方法，采用识别特征点的方法来提取，但投射到空间中的三维点位置难以测量，因此令投影仪与照相机关联，利用照相机的空间测量能力间接标定投影仪。

照相机完成标定后，将粘贴在空间参考平面上的棋盘格图片撤下，然后开启投影仪，投射棋盘格图片。设棋盘格图片的角点在投影仪成像面中的二维坐标为x_w，其在空间参考平面上对应的三维空间点为X_w，照相机拍摄得到的此点二维图像坐标为x_c。x_w和x_c可以通过图像角点提取方法获得，X_w依靠已标定的照相机计算获取。

由于建立了投影仪图像二维坐标点x_w与其对应的三维空间点X_w的对应关系，故可使用照相机标定方法对投影仪进行标定，获得投影仪的内、外参数K_p、R_p和T_p。标定投影仪后，进一步计算得到投影仪图像坐标与照相机图像坐标之间的映射关系，设同一空间点X_w在照相机和投影仪坐标系下的三维坐标分别为X_c和X_p，它们之间的坐标变换关系可用下式表述：

消去上述方程组中的X_w，可得：

X_C＝R_CPX_P+T_CP

其中：R_CP＝R_CR_P ^-1；T_CP＝T_C-R_CR_P ^-1T_P。

S2，投影仪投射一组结构光图像，照相机拍摄得到被异形面调制后的结构光图像；

采用基于结构光的主动视觉方法，投影仪投射一组格雷码编码结构光图像到异形面；照相机拍摄被异形面调制后的结构光图像。

S3，基于照相机内参数、照相机外参数、投影仪内参数、投影仪外参数、投影仪投射的结构光图像和照相机拍摄到的调制后的结构光图像，得到异形面表面稠密点云；

根据投影仪投射的结构光图像、照相机拍摄到的调制后的结构光图像、投影仪-照相机系统的内外参数矩阵，计算异形面表面三维点的坐标P，获取异形面表面稠密点云。

对照相机拍摄得到的被异形面调制后的结构光图像进行格雷码解码，得到结构光图像和被异形面调制后的结构光图像的对应关系，如图4所示，P_L为投影仪投射的结构光图像像素，P_R为照相机拍摄的调制后的结构光图像对应的像素，P为投影仪投射的结构光图像投射在异形面上的世界坐标系下的点。已知P_L、P_R、投影仪内外参和照相机内外参，求P：

其中(X,Y,Z)为点P的三维坐标，即要求解的异形面点云的坐标；K_c为照相机内参矩阵；R_c、T_c为照相机外参矩阵；K_p为投影仪内参矩阵；R_p、T_p为投影仪外参矩阵；(u_p，v_p)为投影仪像素P_L的坐标，(u_c，v_c)为照相机像素P_R的坐标。

S4，照相机实时拍摄异形面图像，得到视觉异形面实时位姿信息；

本发明采用SURF算法进行特征点提取，SURF算法对边缘和弱纹理的地方能够进行更准确地特征点提取，SURF算法提取出的特征点更分散，有利于后续计算异形面位姿信息。

在完成特征点提取后，然后采用FLANN特征点匹配方法进行特征点匹配，得到匹配点对，FLANN匹配算法运算速度快。

设得到的匹配点对为p1、p2，照相机内参矩阵为K_c，采用对极约束，求出异形面相对前一时刻的旋转矩阵R_x和平移矩阵t_x，利用矩阵分解：

求出基础矩阵(Fundamental Matrix)F：

已知照相机内参矩阵K_c，进一步求出本质矩阵(Essential Matrix)E：

采用八点法求出当前时刻异形面旋转矩阵R_x和平移矩阵t_x，得到视觉异形面实时位姿信息。

由于光照等因素的影响，相机拍摄得到的图像含有噪声。对相机采集得到的图像进行预处理，可以提高图像特征点匹配的精度。本实施例采用高斯双边滤波去噪：

其中：

式中，x为当前点位置；y为s×s区域内点；I_x、I_y为当前点的像素值；G_σd为空间邻域关系函数；‖x-y‖为空间距离；G_σr为灰度值相似关系函数；σ_d、σ_r为高斯标准差。

高斯双边滤波后的图像，特征点具备鲁棒性，有利于相邻时刻相机图像的特征点提取与匹配。

S5，对惯性定位系统和异形面进行刚性固定，并对惯性定位系统进行标定，得到标定参数；

惯性定位系统集成了陀螺仪、加速度计、编码器等多种传感器，惯性定位系统上电之后，自动初始化，会以自身中心为坐标原点，如图5所示的x方向、y方向来获取坐标。惯性定位系统的坐标系被定义为一个绝对坐标系，惯性定位系统一旦被安装到异形面上，在惯性定位系统上电后，这个坐标系就确定了。由于惯性定位系统支持实时更新角度和坐标，因此每次数据更新，惯性定位系统的坐标系会随之改变。

由于惯性定位系统的坐标系和照相机的坐标系是不重合的，所以在使用前需要先进行惯性定位系统和异形面的标定，标定的计算表达式如下：

x,y为所述惯性定位系统读取的坐标，t＝[t₁，t₂，t₃]^T为异形面的平移矩阵，所述异形面的平移矩阵通过S4相机反馈使用特征点匹配以及对极约束算法获取，通过上式得到标定参数A：

S6，基于标定参数，得到惯性定位异形面实时位姿信息；

后续每隔一定时间，惯性定位系统都会获取实时传输异形面的坐标x,y，已知惯性定位系统实时传输异形面的坐标x,y，根据标定参数A，计算得到此时相对于照相机的异形面的平移向量t’。

S7，融合视觉异形面实时位姿信息和惯性定位异形面实时位姿信息，得到融合位姿信息；

现有视觉异形面实时位姿信息(照相机获取的异形面的位姿R、t)和惯性定位异形面实时位姿信息(平移向量t’)，将两种数据进行融合，得到融合位姿信息，以体现更加精确的异形面位姿信息。

由于通过惯性定位系统不能获取旋转信息，所以通过照相机获得的R是最后的旋转矩阵。通过照相机获取的平移矩阵t和通过惯性定位系统获取的t’不同，两者各有优劣。

通过照相机获取的t，非常准确，但是通过照相机获取t，需要计算两幅图像的匹配特征点，运算量较大，延时比较大；通过惯性定位系统获得的t’，延时小，准确性差一些。所以在匀速直线运动当中，以惯性定位系统作为主导，计算公式为：

x₃＝x₂-x₁

y₃＝y₂-y₁

式中，x₃,y₃为当前时刻位置；x₂,y₂为上一时刻位置；x₁,y₁为上上时刻的位置，通过获取x₂与x₁的差值和y₂与y₁来预测此刻位置。

为了消除延时的影响，使用前一次投影刷新的平移来预测之后的平移，会使投影的延迟更小，但是当速度突然变化，或者快速运动中忽然停止时，就会产生投影误差，这时使用照相机获取平移矩阵t，可以消除惯性误差。所以，在速度变化和急停急起时，以照相机获取位姿为主导。

S8，根据异形面表面稠密点云、投影仪内参数、投影仪外参数和融合位姿信息，计算得到投影仪图像；

利用三维重建获取的异形面表面稠密点云信息、投影仪-照相机系统标定的投影仪内、外参数，以及融合位姿信息，即可实现待投影图像的预畸变，把预畸变后的图像输入投影仪，计算得到投影仪图像。

将得到的异形面相对前一时刻的旋转矩阵R_x、平移矩阵t_x和照相机的外参数进行计算，得到投影幕相对于投影仪的运动参数R、T：

R＝R_cR_x，T＝T_c+t_x

异形面三维点云到投影仪图像二维坐标的转换公式如下：

x_w＝PX_w＝K_p[R|T]X_w

式中，X_w为三维点云坐标；R、T为当前时刻投影仪相对投影面的旋转矩阵和平移矩阵，K_p为内参矩阵；x_w为投影仪图像二维坐标。

根据上式，计算出三维点云坐标X_w对应的投影仪图像二维坐标x_w后，把坐标X_w处的三维点云的颜色信息赋给x_w处的投影仪图像像素。对异形面上所有的点云实施该操作，则得到S8中的投影仪图像，实现异形面动态投影。

S9，投影仪投射出投影仪图像，实现异形面动态投影，多传感器融合动态投影时截取的一帧图像如图6所示，采用融合位姿信息获取的投影仪图像被投影仪投射出去后，位置更准确，误差更小。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种多传感器融合的异形面动态投影方法，其特征在于，包括以下步骤：

S1，对投影仪和照相机进行刚性固定，得到照相机内参数、照相机外参数、投影仪内参数和投影仪外参数；

S2，所述投影仪投射一组结构光图像，所述照相机拍摄得到被异形面调制后的所述结构光图像；

S3，基于所述照相机内参数、所述照相机外参数、所述投影仪内参数、所述投影仪外参数、所述投影仪投射的所述结构光图像和所述照相机拍摄到的调制后的所述结构光图像，得到异形面表面稠密点云；

S4，所述照相机实时拍摄异形面图像，得到视觉异形面实时位姿信息；

S5，对惯性定位系统和异形面进行刚性固定，并对惯性定位系统进行标定，得到标定参数；

S6，基于所述标定参数，得到惯性定位异形面实时位姿信息；

S7，融合所述视觉异形面实时位姿信息和所述惯性定位异形面实时位姿信息，得到融合位姿信息；

S8，根据所述异形面表面稠密点云、所述投影仪内参数、所述投影仪外参数和所述融合位姿信息，计算得到投影仪图像；

S9，所述投影仪投射出所述投影仪图像，实现异形面动态投影。

2.根据权利要求1所述的多传感器融合的异形面动态投影方法，其特征在于，所述照相机内参数和所述照相机外参数的获取过程为：

对所述投影机和所述照相机进行刚性固定，组成投影机-照相机系统；

将所述投影机-照相机系统朝向贴有棋盘格图片的空间参考平面，并调整所述投影机-照相机系统角度，使得投影区域与所述棋盘格图片不重叠且所述照相机视场能完全覆盖所述投影区域和所述棋盘格图片；

通过所述照相机拍摄所述棋盘格图片，并进行标定，得到所述照相机内参数和所述照相机外参数。

3.根据权利要求1所述的多传感器融合的异形面动态投影方法，其特征在于，所述投影仪内参数和所述投影仪外参数的获取过程为：

对所述投影机和所述照相机进行刚性固定，组成投影机-照相机系统，完成照相机标定；

将粘贴在空间参考平面上的棋盘格图片撤下，开启投影仪，投射棋盘格图片；

基于所述棋盘格图片，采用识别特征点的方法，得到二维图像点；

基于所述照相机标定，得到三维图像点；

基于所述二维图像点和所述三维图像点，得到所述内参数和所述投影仪外参数。

4.根据权利要求1所述的多传感器融合的异形面动态投影方法，其特征在于，所述视觉异形面实时位姿信息的获取过程为：

基于所述照相机实时拍摄异形面图像，进行特征点提取与特征点匹配，得到匹配点对；

基于所述匹配点对和所述照相机内参数，采用对极约束，得到视觉异形面实时位姿信息。

5.根据权利要求1所述的多传感器融合的异形面动态投影方法，其特征在于，所述标定的计算表达式为：

式中，x,y为所述惯性定位系统读取的坐标；矩阵

为所述标定参数；[t₁，t₂，t₃]^T为相机反馈得到的异形面平移矩阵。

6.根据权利要求1所述的多传感器融合的异形面动态投影方法，其特征在于，所述惯性定位系统包括但不限于陀螺仪、加速度计、编码器。

7.根据权利要求1所述的多传感器融合的异形面动态投影方法，其特征在于，在进行所述异形面动态投影时：

处于匀速直线运动，以所述惯性定位系统为主导进行所述异形面动态投影；

处于速度变化和急停急起时，以所述照相机为主导进行所述异形面动态投影。

8.根据权利要求7所述的多传感器融合的异形面动态投影方法，其特征在于，以所述惯性定位系统为主导进行所述异形面动态投影的计算公式为：

x₃＝x₂-x₁

y₃＝y₂-y₁

式中，x₃,y₃为当前时刻位置；x₂,y₂为上一时刻位置；x₁,y₁为上上时刻的位置，通过获取x₂与x₁的差值和y₂与y₁来预测此刻位置。

Images