CN115861546B - 一种基于神经体渲染的作物几何感知与三维表型重建方法 - Google Patents

Abstract

本发明公开了一种基于神经体渲染的作物几何感知与三维表型重建方法,包括以下步骤：S1.对于目标作物，利用相机在不同高度下，通过环绕获取不同位角的作物图像；S2.对于采集到的图片进行特征点信息提取，并获取作物的稀疏点云、相机位姿集合和相机内参集合，然后根据作物的稀疏点云、相机位姿集合和相机内参集合，进行特征向量提取和编码；S3.基于编码得到的结果进行像素渲染和图像合成，完成作物的三维场景重建。本发明只需采用固定摄像头的方式，通过测量作物的多方位图像，完成作物几何感知与三维表型重建，部署容易，成本较低。

Description

一种基于神经体渲染的作物几何感知与三维表型重建方法

技术领域

本发明涉及作物的集合感知和三维表型重建，特别是涉及一种基于神经体渲染的作物几何感知与三维表型重建方法。

背景技术

植物表型分析是理解植物基因功能及环境效应的关键环节，对植物表型参数的分析与育种息息相关。目前，植株育种过程中的数据采集工作主要由人工完成，这些简单但繁琐的工作消耗了科研人员大量的时间和精力，且出错率高，影响科研进程。目前的植物检测方法多具有破坏性，在其生长过程中需要实际测量特征造成对植株不可逆的损伤，如何非破坏性获取植物表型数据，进而分析表型信息，得到实时可视化检测植物表型结果，对于持续性进行植株育种研究意义重大。

农林作物的三维重建对于研究其生物学特性、冠层光照分布以及农业机器人应用等都具有重要的作用。对植株进行三维重建，植株三维模型的建立及研究，将为后续植株生长发育过程三维动态模拟模型研究打下扎实基础。同时，通过建立该植株的三维可视化模型，也将为植株的理想株型筛选，高产、高效、抗倒伏设计与优化等提供技术依据。该方式下构建的植株形态三维可视化模型形态，具有较强的真实感。同时，该方法也可为大麦、水稻等农作物的可视化研究提供依据。

此前，虚拟作物的三维重建大都基于结构光或者激光雷达扫描仪，前者应用场景较为理想，而后者主要依赖昂贵的消费级RGB-D相机。传统的三维重建算法不仅计算量大，而且建模效果与实物的差距较大；而利用RGB-D相机进行建模虽然精度高，但是设备成本昂贵且严重依赖人工操作，设备部署难度较大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于神经体渲染的作物几何感知与三维表型重建方法，只需采用固定摄像头的方式，通过测量作物的多方位图像，并对图像进行标定，后期就可获取相应数据，完成作物几何感知与三维表型重建，部署容易，成本较低。

本发明的目的是通过以下技术方案来实现的：一种基于神经体渲染的作物几何感知与三维表型重建方法，包括以下步骤：

S1.对于目标作物，利用相机在不同高度下，通过环绕获取不同位角的作物图像；

S2.对于采集到的图片进行特征点信息提取，并获取作物的稀疏点云、相机位姿集合和相机内参集合，然后根据作物的稀疏点云、相机位姿集合和相机内参集合，进行特征向量提取和编码；

S3.基于编码得到的结果进行像素渲染和图像合成，完成作物的三维场景重建。

本发明的有益效果是：只需采用固定摄像头的方式，通过测量作物的多方位图像，并对图像进行标定，后期就可获取相应数据，完成作物几何感知与三维表型重建，部署容易，成本较低。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

发明使用摄像头对植株进行图像获取，相关图像通过本发明方法进行分析处理，对其作物生长进行建模得到作物三维表型数据，搭建作物无创表型分析和三维重建平台，为作物植株的生长的决策和策略提供科学信息。从作物生长模型中估计出的表型数据将被用来预测作物的茎长、叶面积、质量等属性，具体地：

如图1所示，一种基于神经体渲染的作物几何感知与三维表型重建方法，包括以下步骤：

S1.对于目标作物，利用相机在不同高度下，通过环绕获取不同位角的作物图像；

S2.对于采集到的图片进行特征点信息提取，并获取作物的稀疏点云、相机位姿集合和相机内参集合，然后根据作物的稀疏点云、相机位姿集合和相机内参集合，进行特征向量提取和编码；

S3.基于编码得到的结果进行像素渲染和图像合成，完成作物的三维场景重建。

所述步骤S1中获取作物图像的方式如下：

设目标作物的距离地面高度为H，首向按照预先设定的分段数n对其进行划分，每个分段数的长度为l＝H/n，则需要在距离地面高度为0，l，2l，3l,…，nL的高度上分别进行图像采集；在每一个高度上进行图像采集的过程包括：

在当前高度下，环绕目标作物进行拍摄，相机在环绕过程中，每转动设定角度θ拍摄一张图像，直到在当前高度下拍摄的图像数目达到设定值。所述设定角度θ的取值范围为10～15度。

所述步骤S2包括：

S201.对于采集到的图片进行特征点信息提取：

针对每一张图片，采用SuperPoint算法提取出图片的特征点，并输出每一个特征点的位置p和描述子d；

其中，位置p中包含特征点的位置信息及置信度信息，描述子d中包含当前特征点及其周围特征点的像素信息，其中D表示特征维度；

S202.将获取到的所有图片特征点p和描述子d利用colmap算法,得到作物的稀疏点云、相机位姿集合和相机内参集合；

所述相机位姿集合中包含每一张图片拍摄时的相机位姿，相机内参集合中包含每一张图片拍摄时的相机内参；

稀疏点云记为相机位姿记为(Ri,ti)，相机内参记为{Ci}；

S203.根据作物的稀疏点云、相机位姿集合和相机内参集合，进行特征向量提取和编码：

A1、将作物图片分辨率分成L个等级的分辨率，每个等级的分辨率为一层，利用等比级数具体求出从最小分辨率N_min到最大分辨率N_max之间的每层分辨率；

N_l为第l层的分辨率，b为中间参数；l＝1,2,…L

对于任一张采集到的图片，将其分别转换到每一层分辨率下，得到L张图片；

对每一张采集到的图片均完成转换后，总共得到L类不同分辨率的图片；

A2、构建一个全连接层m(y；Φ)表示MLP模型，将每一类分辨率下的图片输入MLP模型进行处理：

A21、设定MLP模型处理任意一类分辨率的图片得到的输出特征向量个数为T，每个特征的维数为F；将输出的T个特征向量分别编号为1～T；将T个特征向量存放在一个表中，构建一个哈希表，哈希表中的特征向量以其编号作为索引；

A22、对于每一类分辨率的图片重复执行步骤A21，得到L个哈希表；

A23、通过S202获得的相机外参信息(Ri,ti)使用Homography Warping算法得到特征向量所对应的三维场景的世界坐标系坐标M_i＝(x_i,y_i,z_i)；

对于A22所构建的L个哈希表，计算索引查询值，公式如下：

首先将x_i,y_i,z_i和圆周率π取整后转换为二进制数；

然后将x_i、y_i、z_i的二进制转换结果分别与π的二进制转换结构进行按位异或操作，并将按位异或操作得到的值转换为十进制数后进行叠加，得到B；

计算索引查询值：

h(x)＝B mod T

B mod T表示用B除以T后取余；

得到索引值h(x)之后，根据索引值查询值在L个查询表中分别进行查找，得到L个F维的特征向量，从而实现哈希映射；

在每一个查找得到的特征向量末尾添加预先设定的方位角θ和倾斜角然后将L个添加完成后的特征向量拼接在一起，得到编码结果。

所述步骤S3包括：

S301.将编码结果输入密度MLP，密度MLP输出一个表示图像各像素点聚集密度的二维矩阵σ,代表体积密度；

将得到的关于密度的矩阵输入颜色MLP，颜色MLP输出一个一个表示图像各像素点RGB颜色的二维矩阵c，代表颜色值；

S302.以相机射线为研究对象，从相机的光学中心o开始，指向作物取景的方向，相机位置和成像点d构成了相机成像射线r(t)＝o+td，射线范围大小为t,范围表示从t_n到t_f。

将体积密度σ和颜色值c，使用体积渲染来获得新合成的图像中的每个像素，从而实现实际渲染过程隐式搭建作物三维场景，渲染函数计算公式如下：

获取到渲染后的像素之后合成图像I,实现从任意角度渲染出相应的作物图片，用新合成的图像来间接隐式表示作物三维场景。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (3)

1.一种基于神经体渲染的作物几何感知与三维表型重建方法，其特征在于：包括以下步骤：

S1.对于目标作物，利用相机在不同高度下，通过环绕获取不同位角的作物图像；

S2.对于采集到的图片进行特征点信息提取，并获取作物的稀疏点云、相机位姿集合和相机内参集合，然后根据作物的稀疏点云、相机位姿集合和相机内参集合，进行特征向量提取和编码；

所述步骤S2包括：

S201.对于采集到的图片进行特征点信息提取：

针对每一张图片，采用SuperPoint算法提取出图片的特征点，并输出每一个特征点的位置p和描述子d；

其中，位置p中包含特征点的位置信息及置信度信息，描述子d中包含当前特征点及其周围特征点的像素信息，其中D表示特征维度；

S202.将获取到的所有图片特征点p和描述子d利用colmap算法,得到作物的稀疏点云、相机位姿集合和相机内参集合；

所述相机位姿集合中包含每一张图片拍摄时的相机位姿，相机内参集合中包含每一张图片拍摄时的相机内参；

稀疏点云记为相机位姿记为(Ri,ti)，相机内参记为{Ci}；

S203.根据作物的稀疏点云、相机位姿集合和相机内参集合，进行特征向量提取和编码：

A1、将作物图片分辨率分成L个等级的分辨率，每个等级的分辨率为一层，利用等比级数具体求出从最小分辨率N_min到最大分辨率N_max之间的每层分辨率；

N_l为第l层的分辨率，b为中间参数；l＝1,2,…L

对于任一张采集到的图片，将其分别转换到每一层分辨率下，得到L张图片；

对每一张采集到的图片均完成转换后，总共得到L类不同分辨率的图片；

A2、构建一个全连接层m(y；Φ)表示MLP模型，将每一类分辨率下的图片输入MLP模型进行处理：

A21、设定MLP模型处理任意一类分辨率的图片得到的输出特征向量个数为T，每个特征的维数为F；将输出的T个特征向量分别编号为1～T；将T个特征向量存放在一个表中，构建一个哈希表，哈希表中的特征向量以其编号作为索引；

A22、对于每一类分辨率的图片重复执行步骤A21，得到L个哈希表；

A23、通过S202获得的相机外参信息(Ri,ti)使用Homography Warping算法得到特征向量所对应的三维场景的世界坐标系坐标M_i＝(x_i,y_i,z_i)；

对于A22所构建的L个哈希表，计算索引查询值，公式如下：

首先将x_i,y_i,z_i和圆周率π取整后转换为二进制数；

然后将x_i、y_i、z_i的二进制转换结果分别与π的二进制转换结构进行按位异或操作，并将按位异或操作得到的值转换为十进制数后进行叠加，得到B；

计算索引查询值：

h(x)＝B mod T

B mod T表示用B除以T后取余；

得到索引值h(x)之后，根据索引值查询值在L个查询表中分别进行查找，得到L个F维的特征向量，从而实现哈希映射；

在每一个查找得到的特征向量末尾添加预先设定的方位角θ和倾斜角然后将L个添加完成后的特征向量拼接在一起，得到编码结果；

S3.基于编码得到的结果进行像素渲染和图像合成，完成作物的三维场景重建；

所述步骤S3包括：

S301.将编码结果输入密度MLP，密度MLP输出一个表示图像各像素点聚集密度的二维矩阵σ,代表体积密度；

将得到的关于密度的矩阵输入颜色MLP，颜色MLP输出一个表示图像各像素点RGB颜色的二维矩阵c，代表颜色值；

S302.以相机射线为研究对象，从相机的光学中心o开始，指向作物取景的方向，相机位置和成像点d构成了相机成像射线r(t)＝o+td，射线范围大小为t,范围表示从t_n到t_f；

将体积密度σ和颜色值c，使用体积渲染来获得新合成的图像中的每个像素，从而实现实际渲染过程隐式搭建作物三维场景，渲染函数计算公式如下：

获取到渲染后的像素之后合成图像I,实现从任意角度渲染出相应的作物图片，用新合成的图像来间接隐式表示作物三维场景。

2.根据权利要求1所述的一种基于神经体渲染的作物几何感知与三维表型重建方法，其特征在于：所述步骤S1中获取作物图像的方式如下：

设目标作物的距离地面高度为H，首向按照预先设定的分段数n对其进行划分，每个分段数的长度为k＝H/n，则需要在距离地面高度为0，k，2k，3k,…，nk的高度上分别进行图像采集；在每一个高度上进行图像采集的过程包括：

在当前高度下，环绕目标作物进行拍摄，相机在环绕过程中，每转动设定角度拍摄一张图像，直到在当前高度下拍摄的图像数目达到设定值。

3.根据权利要求2所述的一种基于神经体渲染的作物几何感知与三维表型重建方法，其特征在于：所述设定角度的取值范围为10～15度。