CN116129059B - 一种三维点云集生成及强化方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公布了一种基于深度图像的三维点云集生成及强化方法，其特征在于，包括以下步骤：拍摄并输出RGBD格式的深度图像，所述RGBD格式的深度图像的分辨率为H×W，其中H为高度，W为宽度；校准深度像素矩阵并转换到世界坐标平面；相机像素坐标系到世界坐标系的单应性映射；建立相机像素坐标系到世界坐标系的方程系统；将所有RGBD像素坐标点转换到世界坐标系的坐标点，生成点云集；过滤阈值并对点云集的单深度像素点进行强化。采用本发明的基于深度图像的三维点云集生成及强化方法、装置、设备及存储介质，可以快速、高效的对胶囊内窥镜拍摄的深度图像进行三维点云处理和强化，对算力和硬件负担较小，提高了图像处理效率，增强了产品的竞争力。

Description

一种三维点云集生成及强化方法、装置、设备及存储介质

技术领域

本发明涉及图像处理领域，具体涉及到一种三维点云集生成及强化方法、装置、设备及存储介质。

背景技术

现有技术中，通常通过对目标对象进行三维数据采集，然后对采集的三维数据进行三维点云构建，得到目标对象的三维点云数据，在此过程中，对计算机系统的算力和硬件要求较高，影响点云生成效率及优化效果。

胶囊内窥镜领域的图像数据量通常多达数万张，特别是具有深度图像拍摄功能的胶囊内窥镜所拍摄的图像，该类深度图像在辅助检查胃肠道功能方面具有特别的优势，因此，如何快速、高效的对此类深度图像进行三维点云处理和强化成为一个迫切需要解决的问题。

中国专利申请号2022113265753提供一种三维点云构建方法、装置、电子设备及存储介质，所述三维点云构建方法，通过对第一分辨率的三维点云进行点云区域划分，并在划分得到的点云区域的基础上，分别对各区域的点云进行第二分辨率的三维点云重建，上述的处理过程将高精度三维点云构建过程分为低精度三维点云构建，以及对低精度三维点云进行分区域的并行高精度点云重建，该专利申请的技术方案并不能直接应用于胶囊内窥镜领域的深度图像处理，同时，其处理机制较为复杂，对算力和硬件的要求较高，不利于快速高效的对深度图像进行三维点云处理。

因此，有必要开发一种三维点云集生成及强化方法、装置、设备及存储介质。

发明内容

本发明提供一种三维点云集生成及强化方法、装置、设备及存储介质，具体技术方案包括：

第一方面，本发明提供一种三维点云集生成及强化方法，包括以下步骤：

拍摄并输出深度像素矩阵，所述深度图像的分辨率为H×W，其中H为高度，W为宽度；

校准所述深度图像对应的像素矩阵并转换到世界坐标平面，所述像素矩阵的索引是相机像素坐标系；

实现相机像素坐标系到世界坐标系的单应性映射；

根据单应性映射建立相机像素坐标系到世界坐标系的方程系统；

根据所述方程系统将RGBD像素坐标点转换到世界坐标系的坐标点，生成点云集；

设置阈值并根据阈值过滤点云集中小于等于该阈值的坐标点，并对过滤后的点云集的世界坐标系的坐标像素点进行强化。

进一步的，所述深度图像的坐标零点定义在镜头轴心线与深度Sensor成像区的交点，每个深度图像的像素为RGB-D向量：

由此根据Sensor拍摄获取一个二维四通道的浮点数据矩阵M_RGBD，所述浮点数据矩阵M_RGBD具体为：

进一步的，所述浮点数据矩阵M_RGBD对应相机坐标系的二维平面，其空间坐标向量为：

进一步的，进一步还包括将浮点数据矩阵M_RGBD进行校准，具体为：首先将相机像素点(i，j)坐标系映射到相机物理平面点(x，y，w)的齐次坐标系，定义镜头光学中心为世界坐标系零点，将(x，y，w)改写为向量形式

设内参矩阵/>

其中，相机镜头的物理焦距为Fno，深度Sensor像素点间的水平间距为s_x，垂直间距为s_y，定义变量f_x＝Fno*s_x，f_y＝Fno*s_y，理论成像光学中心与实际组装过程中的成像光学中心的水平偏移为c_x，垂直偏移为c_y；

其次，对世界坐标系的任意一个向量进行平移与旋转，描述相机成像模型的对应向量，具体表现为在成像光学中心沿主光轴向外方向的直线距离Z处，得到一个z＝Z的xy平面，取平面内任意一个坐标(X，Y)，最终，得到世界坐标的一个向量：

其中R_z(θ)表示xy平面内的θ角度旋转，

表示xz平面内的/>

角度旋转，R_x(ψ)表示yz平面内的ψ角度旋转：

将上述三个角度矩阵相乘得到如下实数矩阵R：

其中，r₀₀～r₂₂是R_x(ψ)，/>

R_z(θ)矩阵相乘运算的结果，

根据平移向量t：

其中，t₀，t₁，t₂分别为世界坐标系中对应x，y，z轴的偏移量，

与旋转矩阵R操作，得到符合相机成像模型的坐标点：

Q′＝R(Q)+t，

写成矩阵形式即：

其中，X′，Y′，Z′分别为世界坐标系的坐标，

将相机成像模型：

改写为齐次坐标系下的矩阵方程：

进一步定义：

则改写上述表达式为q＝M_q[R(Q)+t]，改写为如下矩阵形式：

进一步的，包括以下步骤：

尺度缩放：

s＝1/Z′，

改写上述齐次坐标系下的矩阵方程

为：

令：

则：

进一步定义：

得到最终z＝Z′距离下的相机像素坐标系到世界坐标系的单应性方程：

进一步的，包括以下步骤：在

距离下，拍摄K张用于标定的平面图像，保z轴没有xy方向的角度偏移，即θ＝0，Z′＝Z，记录其相对y轴的/>

x轴的ψ旋转角度，计算得到：

记录平面图像中心到光学中心的xyz坐标系的偏移t：

进一步得到标定图像在相机像素坐标系的特征点坐标集合：

其中L为特征点的个数，

进一步得到在世界坐标系中的特征点坐标集合：

在LK≥3K+2的情况下，根据矩阵计算变换

求解H_z，对基于相机光学中心的可测世界坐标系，定义其最大工作深度z＝D_MAX，最小工作深度z＝D_MIN，在此区间内定义z轴方向的采样分辨率δ：

计算得z轴方向所需要xy平面切片数slices：

以及所有z轴方向，基于

间隔距离：

产生点序列：

针对任意间隔点

基于上述步骤获取单应性矩阵/>

最终得到所有点序列

对应矩阵序列/>

进一步的，包括以下步骤：所述浮点数据矩阵M_RGBD的深度像素向量为：

对z轴下距离：

Z＝D_kIndex，kIndex＝0，1,2，...，，其中

定义一个xy平面，在Z＝D_kIndex下，得到：

根据单应性矩阵求得逆矩阵

得到：

进一步得到Z＝D_kIndex距离下，相机像素坐标系(i，j)处：

到世界坐标系(X，Y，Z)处：

对应的转换算法，进一步生成点云集，具体为：

在原始的浮点数据矩阵M_RGBD中，将D_kIndex与

中的元素依次比较，取得/>

中

的值最小的点/>

其中/>

获得此/>

距离下的单应性矩阵/>

进而根据转换公式，得到/>

距离下的X,Y坐标，最终复制RGB数值，合成为：

依次对浮点数据矩阵M_RGBD的所有的D_k，k∈[0，WH-1]采用上述算法处理，得到对应的点云序列S_RGBXYZ：

进一步，包括以下步骤：所述点云序列S_RGBXYZ在世界坐标系(X，Y，Z)处的像素：

其中，RGB数值为此点的颜色信号强度；

将RGB转换为YUV公式，得到点Q_A的YUV信号，取其亮度信息Y分量定义为Y(Q_A)；

进一步，在坐标系Q_A定义一个半径为r的圆球，世界坐标系中，搜索所述圆球邻域内的其它云点，得到搜索点集为{Q_k}，k＝0，1,2,3，点集个数为SizeQk，

进一步判断，如果{Q_k}的元素仅有SizeQk＜3，不做进一步处理，否则，定义一个亮度差阈值δ，按如下步骤，将亮度差小于等于δ的点，保存到新的点集

基于{Q_k}点集内的元素，

从首点开始遍历到最后一个点，依次按如下处理选取点，

如果，选取点亮度与Y(Q_A)亮度差绝对值小于δ，则保存到{Q′_k}，进一步采用局部搜索对分辨率填充达到强化，具体为：

对{Q′_k}的任意点Q_B，定义一个最大阈值半径δ′，对点Q_x∈{Q_k′}，基于三维欧式距离有：

l＝||Q_B-Q_X||，

遍历{Q′_k}，依次获取相对Q_B的距离，排序得到l≤δ′约束下局部球体半径内最邻近的两个点Q_C，Q_D，以此三个坐标点形成一个封闭的三角平面；

令：

其中，

(x₀，y₀，z₀)，(x₁，y₁，z₁)，(x₂，y₂，z₂)均为世界坐标系的对应坐标，

对于任意边界，使用顶点的线性插值做适当点云填充，具体步骤为：令Δ为适当步长，t为步数，则BC边的步长与步数：

进一步产生BC边上的插值点{Q_BC0，Q_BC1，...}：

进一步对BD边及CD边进行插值得到新的点云，对三角形平面内部任意点Q_in采用边上插值相同的线性方式插值，则依据边上插值点以同样方式插值，设置t′为沿Q_BCi到Q_CDj的设定步数，k为小于t′的值：

进一步的，对三维点云集进行强化，具体包括以下步骤：

通过

以及对应插值产生的点，在三维方程式：

邻域内可表示为方程z＝f(x，y)，根据三角形BCD，计算如下曲面的切平面方程：

进一步根据隐函数定理：

方程改写为：

F_x(X-x)+(Y-y)F_y+(Z-z)F_z＝0，

求解得到F_x，F_y，F_z，进而得到三角平面的法线余弦：

按如下方程调整步数t产生点云信号：

再定义靠近顶点的位置，使用插值生成点云，达到强化和增加点云数据的处理，依次对点云序列S_RGBXYZ中所有的像素按上述步骤处理，生成强化点云序列

第二方面，本发明提供一种执行第一方面任一项所述的三维点云集生成及强化方法的装置，包括：

深度像素矩阵生成模块，用于拍摄并输出深度像素矩阵；

矩阵校准转换模块，用于校准深度像素矩阵并转换到世界坐标平面；

坐标系映射模块，用于相机像素坐标系到世界坐标系的单应性映射；

坐标系方程系统生成模块，用于建立相机像素坐标系到世界坐标系的方程系统；

点云集生成模块，用于将RGBD像素坐标点转换到世界坐标系的坐标点，生成点云集；

点云集过滤与强化模块，用于过滤阈值并对点云集的世界坐标系的坐标像素点进行强化，

第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的三维点云集生成及强化方法的步骤，

第四方面，本发明提供一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如第一方面任一项所述的三维点云集生成及强化方法的步骤。

采用本发明的三维点云集生成及强化方法、装置、设备及存储介质，可以快速、高效的对胶囊内窥镜拍摄的深度图像进行三维点云处理和强化，对算力和硬件负担较小，提高了图像处理效率，增强了产品的竞争力。

附图说明

图1：本发明三维点云集生成及强化方法流程图。

图2：本发明三维点云集生成及强化装置组成示意图。

图3：本发明三维点云集生成及强化设备组成示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参考图1本发明三维点云集生成及强化方法流程图，包括以下步骤：

步骤101：拍摄并输出深度图像，具体为：基于深度相机模组，例如红外结构光相机，在不考虑镜头畸变的前提下，对待检测场景拍摄，采集分辨率为H×W的深度图像，其中H为高度，W为宽度，将深度图像的坐标零点定义在镜头轴心线与深度Sensor成像区的交点，每个深度图像的像素为RGB-D向量：

由此根据Sensor拍摄获取一个二维四通道的浮点数据矩阵M_RGBD，所述浮点数据矩阵M_RGBD具体为：

步骤102：校准深度像素矩阵并转换到世界坐标平面，具体为：所述浮点数据矩阵M_RGBD对应相机坐标系的二维平面，其空间坐标向量为：

为了将其映射到世界坐标系，采用如下校准方法：

首先将相机像素点(i，j)坐标系映射到相机物理平面点(x，y，w)的齐次坐标系，定义镜头光学中心为世界坐标系零点，将(x，y，w)改写为向量形式

设内参矩阵：

其中，相机镜头的物理焦距为Fno，深度Sensor像素点间的水平间距为s_x，垂直间距为s_y，定义变量f_x＝Fno*s_x，f_y＝Fno*s_y，理论成像光学中心与实际组装过程中的成像光学中心的水平偏移为c_x，垂直偏移为c_y；

其次，对世界坐标系的任意一个向量进行平移与旋转，描述相机成像模型的对应向量，具体表现为在成像光学中心沿主光轴向外方向的直线距离Z处，得到一个z＝Z的xy平面，取平面内任意一个坐标(X,Y)，最终，得到世界坐标的一个向量：

其中，R_z(θ)表示xy平面内的θ角度旋转，

表示xz平面内的/>

角度旋转，R_x(ψ)表示yz平面内的ψ角度旋转：

/>

将上述三个角度矩阵相乘得到如下实数矩阵R：

其中，r₀₀～r₂₂是R_x(ψ)，/>

R_z(θ)矩阵相乘运算的结果，

根据平移向量t：

其中，t₀，t₁，t₂分别为世界坐标系中对应x，y，z轴的偏移量，

与旋转矩阵R操作，得到符合相机成像模型的坐标点：

Q′＝R(Q)+t，

写成矩阵形式即：

将相机成像模型：

改写为齐次坐标系下的矩阵方程：

其中，X′，Y′，Z′分别为世界坐标系的坐标，

进一步定义：

则改写上述表达式为q＝M_q[R(Q)+t]，改写为如下矩阵形式：

步骤103：将相机像素坐标系单应性映射到世界坐标系，具体为：

则：

进一步定义：

得到最终z＝Z′距离下的相机像素坐标系到世界坐标系的单应性方程：

步骤104：建立相机像素坐标系到世界坐标系的方程系统，具体为：

在

距离下，拍摄K张用于标定的平面图像，保z轴没有xy方向的角度偏移，即θ＝0，Z′＝Z，记录其相对y轴的/>

x轴的ψ旋转角度，计算得到：

记录平面图像中心到光学中心的xyz坐标系的偏移t向量：

进一步使用通用的图像处理算法得到标定图像(例如：棋盘)在相机像素坐标系的特征点坐标集合，例如高斯滤波、直方图均衡阈值化、角点检测等：

其中L为特征点的个数，

实际世界坐标系对标定图像(例如棋盘)对应的L个特征点使用精密仪器测量，得到在世界坐标系中的特征点坐标集合：

其中L为特征点的个数，

在LK≥3K+2的情况下，根据矩阵计算变换

求解H_z，对基于相机光学中心的可测世界坐标系，定义其最大工作深度z＝D_MAX，最小工作深度z＝D_MIN，例如：

D_MIN＝10mm，D_MAX＝2000mm，

在此区间内定义z轴方向的采样分辨率δ，例如δ＝5mm：

计算得z轴方向所需要xy平面切片数slices，例如slices＝(2000-10)/5＝398)：

以及所z轴方向，基于

间隔距离：

产生点序列

例如：{10，15,20,25，....,2000}

针对任意间隔点

基于上述步骤获取单应性矩阵/>

最终得到所有点序列

对应矩阵序列/>

步骤105：将RGBD像素转换到世界坐标系的坐标像素点，并生成点云集，具体为：所述浮点数据矩阵M_RGBD的深度像素向量为：

对z轴下距离：

Z＝D_kIndex，kIndex＝0，1，2，…，，其中

定义一个xy平面，在Z＝D_kIndex下，得到：

根据单应性矩阵求得逆矩阵

得到：

进一步得到Z＝D_kIndex距离下，相机像素坐标系(i，j)处：

到世界坐标系(X，Y，Z)处：

的转换算法，进一步生成点云集，具体为：

在原始的浮点数据矩阵M_RGBD中，将D_kIndex与

中的元素依次比较，取得/>

中/>

的值最小的点/>

其中/>

因此，获得此/>

距离下的单应性矩阵/>

进而根据转换公式，得到/>

距离下的X，Y坐标，最终复制RGB数值，合成为坐标(X，Y，Z)处：

依次对浮点数据矩阵M_RGBD的所有的D_k，k∈[0，WH-1]采用上述算法处理，得到对应的点云序列S_RGBXYZ：

步骤106：过滤阈值并对点云集的任意世界坐标像素点进行强化，具体为：点云序列S_RGBXYZ在世界坐标系(X，Y，Z)处像素：

其中RGB数值为相机的光源在此点的颜色信号强度。

使用通用的RGB转YUV公式，得到点Q_A的YUV信号，取其亮度信息Y分量定义为Y(Q_A)。

进一步，在坐标点Q_A定义一个半径r的圆球，世界坐标系中，搜索所述圆球邻域内的其它云点，假设搜索到的点集为{Q_k}，k＝0，1,2,3，点集个数为SizeQk。

如果{Q_k}的元素仅有SizeQk＜3，不做进一步处理，否则，定义一个亮度差阈值δ，按如下步骤，将亮度差小于等于δ的点，保存到新的点集{Q′_k}：

基于{Q_k}点集内的元素，

从首点开始遍历到最后一个点，依次按如下处理选取点，

如果，选取点亮度与Y(Q_A)亮度差绝对值小于δ，则保存到{Q′_k}，

进一步采用局部搜索对分辨率填充达到强化，具体为：

对{Q′_k}的任意点Q_B，定义一个最大阈值半径δ′，对某点Q_X∈{Q′_k}，基于三维欧式距离有：l＝||Q_B-Q_X||，

遍历{Q′_k}获取相对Q_B的距离，排序得到l≤δ′下局部球体半径内，最邻近的两个点Q_C，Q_D，以此三个坐标点形成一个封闭的三角平面。

令：

其中，

x₀，y₀，z₀，x₁，y₁，z₁，x₂，y₂，z₂均为世界坐标系x、z、y的对应坐标，

对于任意边界，使用顶点的线性插值做适当点云填充，Δ为适当步长，t为步数，例如BC边步长与步数满足：

因此，产生BC边上的插值点{Q_BC0，Q_BC1，...}：

同理对BD边及CD边进行插值得到新的点云，对三角形平面内部任意点Q_in采用边上插值相同的线性方式插值，例如t′为某个沿Q_BCi到Q_CDj的设定步数，k为小于t′的值：

进一步执行增强策略，具体包括以下步骤：

步骤1061：通过

以及对应插值产生的点，在三维方程式F(x，y，z)＝0,在

的情况下，邻域内可表示为方程z＝f(x，y)，因此根据三角形BCD的点数值，计算在曲面的切平面方程下：

因为隐函数定理：

方程改写为：

F_x(X-x)+(Y-y)F_y+(Z-z)F_z＝0。

求解得到F_x，F_y，F_z，进而得到三角平面的法线余弦：

步骤1062：由于物体边缘部分梯度非常大，可以由相对z轴的余弦cosγ来度量这种变换强度，强度越大法线越与z轴垂直，cosγ越趋近于0，因此按如下函数，调整步数t越精细产生越多点云信号：

通过控制步数t，可达到全局点云基于z轴方向上的增加点云数据的效果。

步骤1063：再定义靠近顶点的位置，例如BC线段的靠近B端1/3处，以及靠近C端1/3处，使用多次插值生成更多的云点，越靠近顶点数量越密集的效果。

最终，达到强化和增加点云数据的处理，依次对点云序列S_RGBXYZ中所有的像素按上述步骤处理，生成强化点云序列

进一步参考图2本发明三维点云集生成及强化装置组成示意图，具体包括：深度像素矩阵生成模块201，矩阵校准转换模块202，坐标系映射模块203，坐标系方程系统生成模块204，点云集生成模块205，点云集过滤与强化模块206，所述深度像素矩阵生成模块201用于拍摄并输出深度像素矩阵；矩阵校准转换模块202用于校准深度像素矩阵并转换到世界坐标平面；坐标系映射模块203用于相机像素坐标系到世界坐标系的单应性映射；坐标系方程系统生成模块204用于建立相机像素坐标系到世界坐标系的方程系统；点云集生成模块205用于将RGBD像素转换到世界坐标系的坐标，生成点云集；点云集过滤与强化模块206用于过滤阈值并对点云集的任意世界坐标系的坐标像素点进行强化，所述各个模块的详细功能对应于步骤101～步骤106，在此不再赘述。

进一步参考图3本发明三维点云集生成及强化设备组成示意图，本发明的三维点云集生成及强化设备10进一步包括一个或多个存储器20及一个或多个处理器30，其中所述一个或多个计算机程序被存储在所述存储器20中，并且被配置成由所述一个或多个处理器30执行，所述处理器30执行所述计算机程序时实现三维点云集生成及强化方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccessMemory)、磁盘或光盘等。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行，其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，实施例中记载的技术特征可以进行替换或者组合。

需要说明的是，对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种三维点云集生成及强化方法，其特征在于，包括以下步骤：

拍摄并输出RGBD的深度图像，所述深度图像的分辨率为H×W，其中H为高度，W为宽度，每个像素点的格式为RGBD；

校准所述深度图像对应的像素矩阵并转换到世界坐标平面，所述像素矩阵的索引是相机像素坐标系；

实现相机像素坐标系到世界坐标系的单应性映射；

根据单应性映射建立相机像素坐标系到世界坐标系的方程系统；

根据所述方程系统将RGBD像素坐标点转换到世界坐标系的坐标点，生成点云集；

设置阈值并根据阈值过滤点云集中小于等于该阈值的坐标点，并对过滤后的点云集的世界坐标系的坐标像素点进行强化。

2.如权利要求1所述的三维点云集生成及强化方法，其特征在于，

所述深度图像的坐标零点定义在镜头轴心线与深度Sensor成像区的交点，每个深度图像的像素为RGB-D向量

由此根据Sensor拍摄获取一个二维四通道的浮点数据矩阵M_RGBD，所述浮点数据矩阵M_RGBD具体为：

3.如权利要求2所述的三维点云集生成及强化方法，其特征在于，

所述浮点数据矩阵M_RGBD对应相机坐标系的二维平面，其空间坐标向量为：

4.如权利要求3所述的三维点云集生成及强化方法，其特征在于，

进一步还包括将浮点数据矩阵M_RGBD进行校准，具体为：

首先将相机像素点(i，j)坐标系映射到相机物理平面点(x，y，w)的齐次坐标系，定义镜头光学中心为世界坐标系零点，将(x，y，w)改写为向量形式

设内参矩阵

其中，相机镜头的物理焦距为F_no，深度Sensor像素点间的水平间距为s_x，垂直间距为s_y，定义变量f_x＝Fno*s_x，f_y＝Fno*s_y，理论成像光学中心与实际组装过程中的成像光学中心的水平偏移为c_x，垂直偏移为c_y；

其次，对世界坐标系的任意一个向量进行平移与旋转，描述相机成像模型的对应向量，具体表现为在成像光学中心沿主光轴向外方向的直线距离Z处，得到一个z＝Z的xy平面，取平面内任意一个坐标(X，Y)，最终，得到世界坐标的一个向量：

其中R_z(θ)表示xy平面内的θ角度旋转，

表示xz平面内的/>

角度旋转，R_x(ψ)表示yz平面内的ψ角度旋转：

将上述三个角度矩阵相乘得到如下实数矩阵R：

其中，r₀₀～r₂₂是R_x(ψ)，/>

R_z(θ)矩阵相乘运算的结果，

根据平移向量t：

其中，t₀，t₁，t₂分别为世界坐标系中对应x，y，z轴的偏移量，

与旋转矩阵R操作，得到符合相机成像模型的坐标点：

Q′＝R(Q)+t，

写成矩阵形式即：

其中，X′，Y′，Z′分别为世界坐标系的坐标，

将相机成像模型：

改写为齐次坐标系下的矩阵方程：

进一步定义：

则改写上述表达式为q＝M_q[R(Q)+t]，改写为如下矩阵形式：

5.如权利要求4所述的三维点云集生成及强化方法，其特征在于，进一步包括以下步骤：

尺度缩放：

s＝1/Z′，

改写上述齐次坐标系下的矩阵方程

为：

令：

则：

进一步定义：

得到最终z＝Z′距离下的相机像素坐标系到世界坐标系的单应性方程：

6.如权利要求5所述的三维点云集生成及强化方法，其特征在于，进一步包括以下步骤：在

距离下，拍摄K张用于标定的平面图像，保z轴没有xy方向的角度偏移，即θ＝0，Z′＝Z，记录其相对y轴的/>

轴的ψ旋转角度，计算得到：

记录平面图像中心到光学中心的xyz坐标系的偏移t：

进一步得到标定图像在相机像素坐标系的特征点坐标集合：

其中L为特征点的个数，

进一步得到在世界坐标系中的特征点坐标集合：

在LK≥3K+2的情况下，根据矩阵计算变换

求解H_z，对基于相机光学中心的可测世界坐标系，定义其最大工作深度z＝D_MAX，最小工作深度z＝D_MIN，在此区间内定义z轴方向的采样分辨率δ：

计算得z轴方向所需要xy平面切片数slices：

以及所有z轴方向，基于

间隔距离：

产生点序列：

针对任意间隔点

基于上述步骤获取单应性矩阵/>

最终得到所有点序列/>

对应矩阵序列/>

m＝0，1，2，...，slices-1。

7.如权利要求6所述的三维点云集生成及强化方法，其特征在于，进一步包括以下步骤：所述浮点数据矩阵M_RGBD的深度像素向量为：

对z轴下距离：

Z＝D_kIndex，kIndex＝0，1，2，...，，其中

定义一个xy平面，在Z＝D_kIndex下，得到：

根据单应性矩阵求得逆矩阵

得到：

进一步得到Z＝D_kIndex距离下，相机像素坐标系(i，j)处：

到世界坐标系(X，Y，Z)处：

对应的转换算法，进一步生成点云集，具体为：

在原始的浮点数据矩阵M_RGBD中，将D_kIndex与

中的元素依次比较，取得/>

中

的值最小的点/>

其中/>

获得此/>

距离下的单应性矩阵/>

进而根据转换公式，得到/>

距离下的X，Y坐标，最终复制RGB数值，合成为：

依次对浮点数据矩阵M_RGBD的所有的D_k，k∈[0，WH-1]采用上述算法处理，得到对应的点云序列S_RGBXYZ：

8.如权利要求7所述的三维点云集生成及强化方法，其特征在于，进一步包括以下步骤：所述点云序列S_RGBXYZ在世界坐标系(X，Y，Z)处的像素：

其中，RGB数值为此点的颜色信号强度，

将RGB转换为YUV公式，得到点Q_A的YUV信号，取其亮度信息Y分量定义为Y(Q_A)，

进一步，在坐标系Q_A定义一个半径为r的圆球，世界坐标系中，搜索所述圆球邻域内的其它云点，得到搜索点集为{Q_k}，k＝0，1,2,3，点集个数为SizeQk，

进一步判断，如果{Q_k}的元素仅有SizeQk＜3，不做进一步处理，否则，定义一个亮度差阈值δ，按如下步骤，将亮度差小于等于δ的点，保存到新的点集{Q′_k}：

基于{Q_k}点集内的元素，

从首点开始遍历到最后一个点，依次按如下处理选取点，

如果，选取点亮度与Y(Q_A)亮度差绝对值小于δ，则保存到{Q′_k}，

进一步采用局部搜索对分辨率填充达到强化，具体为：

对{Q′_k}的任意点Q_B，定义一个最大阈值半径δ′，对点Q_X∈{Q′_k}，基于三维欧式距离有：

l＝||Q_B-Q_X||，

遍历{Q′_k}，依次获取相对Q_B的距离，排序得到l≤δ′约束下局部球体半径内最邻近的两个点Q_C，Q_D，以此三个坐标点形成一个封闭的三角平面；

令：

其中，

(x₀，y₀，z₀)，(x₁，y₁，z₁)，(x₂，y₂，z₂)均为世界坐标系的对应坐标，

对于任意边界，使用顶点的线性插值做适当点云填充，具体步骤为：令Δ为适当步长，t为步数，则BC边的步长与步数：

进一步产生BC边上的插值点{Q_BC0，Q_BC1，...}：

进一步对BD边及CD边进行插值得到新的点云，对三角形平面内部任意点Q_in采用边上插值相同的线性方式插值，则依据边上插值点以同样方式插值，设置t′为沿Q_BCi到Q_CDj的设定步数，k为小于t′的值：

9.如权利要求8所述的三维点云集生成及强化方法，其特征在于，进一步对三维点云集进行强化，具体包括以下步骤：

通过

以及对应插值产生的点，在三维方程式：

邻域内可表示为方程z＝f(x，y)，根据三角形BCD，计算如下曲面的切平面方程：

进一步根据隐函数定理：

方程改写为：

F_x(X-x)+(Y-y)F_y+(Z-z)F_z＝0，

求解得到F_x，F_y，F_z，进而得到三角平面的法线余弦：

按如下方程调整步数t产生点云信号：

再定义靠近顶点的位置，使用插值生成点云，达到强化和增加点云数据的处理，依次对点云序列S_RGBXYZ中所有的像素按上述步骤处理，生成强化点云序列

10.一种执行权利要求1～9任一项所述的三维点云集生成及强化方法的装置，其特征在于，包括：

深度像素矩阵生成模块，用于拍摄并输出深度像素矩阵；

矩阵校准转换模块，用于校准深度像素矩阵并转换到世界坐标平面；

坐标系映射模块，用于相机像素坐标系到世界坐标系的单应性映射；

坐标系方程系统生成模块，用于建立相机像素坐标系到世界坐标系的方程系统；

点云集生成模块，用于将RGBD像素转换到世界坐标系的坐标点，生成点云集；

点云集过滤与强化模块，用于过滤阈值并对点云集的世界坐标系的坐标像素点进行强化。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的三维点云集生成及强化方法的步骤。

12.一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的三维点云集生成及强化方法的步骤。

Images