CN104794713A - 基于arm和双目视觉的温室作物数字化成像方法 - Google Patents

Abstract

本发明涉及一种基于ARM和双目视觉的温室作物数字化成像方法，包括：步骤S1：采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像；步骤S2：ARM嵌入式平台立体校正步骤S1的温室作物左右图像后采用改进的自适应权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视差图；步骤S3：上位机根据步骤S2的完整视差图利用三角测距原理获取温室作物的三维点云，并根据步骤S1的温室作物左右图像在三维点云上渲染色彩后显示并存储。与现有技术相比，本发明可以获取温室作物的实时三维彩色点云信息，反映作物长势情况并为温室环境的自动控制提供基于视觉的控制依据，具有数据精准度高、成本低等优点。

Description

基于ARM和双目视觉的温室作物数字化成像方法

技术领域

本发明涉及数字化成像技术领域，尤其是涉及一种基于ARM和双目视觉的温室作物数字化成像方法。

背景技术

温室作物数字化成像的目的在于获取及测量数字图像以及三维点云中作物植株(或器官)的形态和特征，并进行分析处理。其意义在于不仅有利于将极为复杂而又周期很长的生命科学研究放在定量的时空坐标系统中进行分析，缩短研究周期，还可以直接得到定量的作物长势观测结果。温室作物数字化成像方法的研究，可以为现代温室环境控制系统提供视觉依据，也可以为机器人采摘系统提供可靠的信息来源。

当前，作物的数字化研究方法分为二维数字化成像与分析方法和三维数字化成像与扫描方法。二维数字化成像与图像处理技术虽然成本低廉、实现方便，但是算法设计具有局限性，而且损失了植株的形态深度信息，缺乏真实性。三维数字化成像与扫描方法是一种快速发展中的先进技术，广泛应用于目标检测与跟踪、虚拟现实、无损表面缺陷检测、植物生态学与农业工程等重要领域。双目立体视觉技术因其实现简单、价格低廉、能获得真实的植株立体点云数据而得到了广泛的关注和快速的发展。

双目立体视觉技术主要分为四个模块：摄像机标定，立体校正，立体匹配，三维重建。其中立体匹配是其中最重要的一步。现阶段，立体匹配算法可以分为局部算法和全局算法。通常来讲，局部算法计算方法速度快，但视差精度低，而全局算法视差计算精度高，但算法复杂度大，难于实施。一种精度较高的经典局部匹配算法是Yoon在2006年提出的自适应权重立体匹配算法。该算法通过利用颜色相似度和空间临近度为匹配窗口像素分配合理的权重值，提高了视差的精度，但该算法难于解决低纹理和重复纹理区域的像素匹配。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于ARM和双目视觉的温室作物数字化成像方法，该方法提高了自适应权重立体匹配算法在低纹理区域、重复纹理区域、实际作物区域的匹配精度，在上位机上实时获得了较精确的作物三维点云信息，反映作物长势情况并为温室环境的自动控制提供控制依据。

本发明的目的可以通过以下技术方案来实现：

一种基于ARM和双目视觉的温室作物数字化成像方法，包括：

步骤S1：采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像；

步骤S2：ARM嵌入式平台立体校正步骤S1的温室作物左右图像后采用改进的自适应权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视差图；

步骤S3：上位机根据步骤S2的完整视差图利用三角测距原理获取温室作物的三维点云，并根据步骤S1的温室作物左右图像在三维点云上渲染色彩后显示并存储。

所述棋盘标定法中至少采集20对不同姿态的棋盘图像进行标定。

所述改进的自适应权重立体匹配算法包括以下步骤：

1)根据公式(1)、(2)计算左右图像中对应像素点之间的初始匹配代价e(q,q_d)：

$e_{\mathrm{AD}}(q,q_d)=\frac{1}{3}\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}|I_c\left(q\right)-I_c\left(q_d\right)|---\left(1\right)$

$e(q,q_d)=2-\exp (-\frac{e_{\mathrm{AD}}(q,q_d)}{{\mathrm{\λ}}_{\mathrm{AD}}})-\exp (-\frac{e_{\mathrm{census}}(q,q_d)}{{\mathrm{\λ}}_{\mathrm{census}}})---\left(2\right)$

其中，q代表左图参考窗口中的像素点，参考窗口为在左图中以左图的待匹配像素点p为中心构造的一个窗口，q_d代表q在右图目标窗口中的视差为d的像素点，目标窗口为在右图中以右图的候选匹配像素点p_d为中心构造的一个窗口，r、g、b分别代表图像像素点的红、绿、蓝三个颜色分量，e_census(q,q_d)是q和q_d进行Census变换后的海明距离，c∈(r,g,b)，I_c代表像素点在r、g、b这三个通道中的亮度值，λ_AD为AD匹配代价控制参数，λ_census为Census变换代价控制参数；

2)根据公式(3)得到p与q之间的权重ω(p,q)：

$\mathrm{\ω}(p,q)=\exp (-(\frac{\mathrm{\Δ}{c}_{\mathrm{pq}}}{\mathrm{\γc}}+\frac{\mathrm{\Δ}{g}_{\mathrm{pq}}}{{\mathrm{\γ}}_p}))---\left(3\right)$

其中，γ_c和γ_p分别为颜色相似度参数和空间邻近度参数，Δc_pq代表p与q在LAB颜色空间内的欧几里得距离，满足公式(4)：

$\mathrm{\Δ}{c}_{\mathrm{pq}}=\sqrt{{(L_p-L_q)}^2+{(a_p-a_q)}^2+{(b_p-b_p)}^2}---\left(4\right)$

Δg_pq代表p与q之间的空间距离，满足公式(5)：

$\mathrm{\Δ}{g}_{\mathrm{pq}}=\sqrt{{(x_p-x_q)}^2+{(y_p-y_q)}^2}---\left(5\right)$

其中，L、a、b是Lab颜色空间中的三个颜色通道，L通道表示亮度信息，a通道表示红绿方向颜色变化，b通道表示黄蓝方向颜色变化，x、y分别是像素点在图像平面上的横坐标和纵坐标；

3)根据不相似度函数E(p,p_d)得到p和处于同一极线上的不同p_d之间的不相似度值，p和p_d之间的E(p,p_d)满足公式(6)

$E(p,p_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)e(q,q_d)}{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)}---\left(6\right)$

其中，N_p代表以p为中心的参考窗口，代表以p_d为中心的目标窗口，w(p,q)代表p和q之间的权重，w(p_d,q_d)代表p_d和q_d之间的权重；

4)根据公式(7)选择不相似度最小的值所对应的视差值作为p的视差值d_p，进而获得初始视差图：

$d_q=\underset{d\∈S_d}{\arg \min }E(p,p_d)---\left(7\right)$

其中arg min{}表示使不相似度函数取最小值时的自变量值，S_d表示视差d的取值范围。

所述步骤201中λ_AD取值为10，λ_census取值为30。

所述步骤202中γ_c取值为13，γ_p取值为31。

所述步骤S2中得到的视差图存储在ARM嵌入式平台的内存中。

所述步骤S2中利用ARM嵌入式平台的硬件编码器对完整视差图进行编码，将其封装成RTP包，通过UDP传输层协议和IP网络层协议将完整视差图像发送到上位机。

所述上位机接收到RTP包数据信息后，调用FFmpeg解码函数进行解码，解码后得到一帧YUV420格式的图像，再调用FFmpeg视频格式转换函数进行YUV420到BGR24的颜色空间转换。

所述步骤S2中立体校正包括消除双目摄像机的畸变误差并使步骤S1的温室作物左右图像的对极线处于同一水平线。

所述步骤S3中三角测距原理满足公式(8)：

$\left\{\begin{array}{c}X=\mathrm{xZ}{f}^{-1}\\ Y=\mathrm{yZ}{f}^{-1}\\ Z=\mathrm{fb}{d}^{-1}\end{array}\right.---\left(8\right)$

其中，(X,Y,Z)是三维坐标，(x,y)是图像坐标，f是摄像机焦距，三维坐标中的Z是深度距离，即物体到摄像机的距离，d是视差，b是基线距离，即双目摄像机中两个摄像机的间距。

与现有技术相比，本发明具有以下优点：

(1)为了获得准确的视差图，提出了一种改进的自适应权重立体匹配算法，在初始代价计算阶段，用AD-Census代价来替代TAD代价，从而提高了自适应权重立体匹配算法在低纹理区域、重复纹理区域、实际作物区域的匹配精度，获得了较精确的作物三维点云信息，为后续作物器官分割和温室作物可视化奠定了坚实的基础。

(2)充分利用基于ARM的嵌入式系统的灵活性和计算性能，降低了立体视觉成像系统的成本，为温室作物的数字化成像的大范围应用创造了有利条件。

(3)本发明有助于为温室环境的自动化控制系统提供视觉依据，通过对农作物的立体点云进行分析和处理，可以判断缺水状态，病虫害状态等信息；从而控制自动化温室的通风，遮光等控制单元，为农作物创造有利的生长条件。

(4)在标定过程中，采集至少20对棋盘图像，提高了摄像机标定的精度，为后续立体匹配做好了准备。

(5)因为RTP协议具有简单性和扩展性，支持多点投递，并适用于广泛的网络接口，因此本发明采用RTP包传递图像数据。

附图说明

图1为本发明方法的流程图；

图2为双目立体视觉成像原理示意图；

图3为立体匹配示意图；

图4为原自适应权重立体匹配算法和改进的自适应权重立体匹配算法在实际两种植物图像上生成的视差图；

其中，(4a)为两种温室作物经过左摄像机采集的RGB图；(4b)为图4a经原自适应权重立体匹配算法生成的视差图；(4c)为图4a经改进的自适应权重立体匹配算法生成的视差图；

图5为使用本发明方法进行辣椒作物数字化成像过程的示意图；

其中，(5a)为双目摄像机获得的辣椒作物左右视图；(5b)为图5a经立体匹配获得的视差图；(5c)为图5b采用三角测距原理后得到的辣椒三维点云平面效果图；(5d)为图5b采用三角测距原理后得到的辣椒三维点云立体效果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于ARM和双目视觉的温室作物数字化成像方法对ARM的嵌入式平台进行了设计，使得图像数据编解码和数据在嵌入式系统和PC上位机之间传输，在上位机上获得了较精确的作物三维点云信息，适用于温室种植业，以辣椒盆栽作物的数字化成像过程为例，如图1所示，该温室作物数字化成像方法包括：

步骤S1：采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像，具体为：

101：双目摄像机包括两个平行放置的摄像机和用于安置摄像机的云台连杆，为提高标定精度，两摄像机型号要一致(可选用分辨率为640×480的摄像机)且尽量保持前向平行，从而使得双目相机达到最佳的视场重合，采用张正友棋盘标定法至少采集20对不同姿态的棋盘图像对双目摄像机进行标定，获得左右摄像机的内外参数及两个摄像机的相对位姿信息。

张正友棋盘标定法是利用一张国际象棋棋盘实现的标定算法，棋盘采用7x7的方格，单位方格边长30mm，采集棋盘图片20张。对左右摄像机进行标定，可以获得两个摄像机的内外参数，如：焦距、主点坐标、畸变参数、基线距离、旋转矩阵等，标定时将两个摄像机尽量保持前向平行，以提高标定精度。

102：将标定后的双目摄像机放置于距离辣椒盆栽0.7m左右远处，在ARM嵌入式平台的控制信号下同时采集成对的辣椒RGB左右图像。所采集的辣椒左右图像暂时保存于ARM嵌入式平台准备进行下一步处理。

步骤S2：ARM嵌入式平台立体校正步骤S1的温室作物左右图像后采用改进的自适应权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视差图，具体为：

201：在ARM嵌入式平台上根据获取的摄像机内外参数对一对辣椒左右图像进行立体校正，消除摄像机的畸变误差并使两幅图像的对极线处于同一水平线，这样一幅图像上的任意一点与其在另外一幅图像上的对应点就必然有相同的行号，接下来只需对该行进行一维搜索即可以匹配到对应点。即根据摄像机定标后获得单目内参数(包括焦距和成像原点)和两个摄像机的相对位置关系(旋转矩阵和平移向量)，实现左右视图成像原点坐标一致、两摄像机光轴平行、左右成像平面共面以及极线行对齐，由此立体匹配的复杂度从二维降为一维，降低立体匹配的复杂度。

202：视差图获取：对校正后辣椒左右图像对利用改进的自适应权重立体匹配算法以左视图为基图进行匹配，获取稠密视差图。

如图2所示为双目立体视觉成像原理示意图，左右两个摄像机图像平面位于同一平面并且行对准，两台摄像机光心之间的距离为b。三维空间中的任一点P在左图像中的投影点为p_l，其横坐标为x₁，点P在右图像中的投影点为p_r，其横坐标为x₂。左右两个摄像机的投影中心和点P构成一个三角形，当已知两个摄像机相对位置关系以及摄像机的内外参数后，根据摄像机投影模型和三角相似原理可得如下线性方程组：

$\left\{\begin{array}{c}X=x_{1}Z{f}^{-1}\\ Y=y_{1}Z{f}^{-1}\\ Z=\mathrm{fb}{(x_1-x_2)}^{-1}\end{array}\right.---\left(11\right)$

其中，(X,Y,Z)是空间点的三维世界坐标，(x₁,y)是其对应投影到左图上的点的像素坐标，(x₂,y)是其对应投影到右图上的点的像素坐标，三维坐标中的Z代表深度值，即该点距摄像机的距离，f是摄像机的焦距，(x₁-x₂)代表视差d。视差定义为：物理世界中的任一点P在左右图像上的成像点p_l和p_r的横坐标x之间的差值d。通过公式(11)可以很容易地计算得到作物图像的深度信息和三维点云信息。

如图3所示，立体匹配通过寻找两幅图像之间的对应匹配像素点x获取视差信息，然后将它们的2D位置转换为3D深度，从而得到场景的三维点云信息。在左图像中以左图的待匹配像素点为中心构造一个窗口(参考窗口)，在右图像中以右图的候选匹配像素点为中心也构造一个窗口(目标窗口)，固定左图中的窗口，右图中的窗口在最大视差范围(对应图3中[x-d,x]的范围)内移动，然后按选定的匹配代价来计算两个窗口的相似性测度，最后以一个局部的“赢者通吃”(winnertakes all)优化策略来获取待匹配像素点最终的视差值，即对每一个待匹配像素点来说，选择当非相似性函数最小时所对应的视差值作为待匹配像素的最终视差值。

则改进的自适应权重立体匹配算法具体实现如下：

1)根据公式(1)、(2)计算左右图像中对应像素点之间的初始匹配代价e(q,q_d)：

$e_{\mathrm{AD}}(q,q_d)=\frac{1}{3}\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}|I_c\left(q\right)-I_c\left(q_d\right)|---\left(1\right)$

$e(q,q_d)=2-\exp (-\frac{e_{\mathrm{AD}}(q,q_d)}{{\mathrm{\λ}}_{\mathrm{AD}}})-\exp (-\frac{e_{\mathrm{census}}(q,q_d)}{{\mathrm{\λ}}_{\mathrm{census}}})---\left(2\right)$

等式(1)、(2)是AD-Census初始匹配代价计算公式。其中，q代表左图参考窗口中的像素点，q_d代表q在右图目标窗口中的视差为d的像素点，r、g、b分别代表图像像素点的红、绿、蓝三个颜色分量，e_census(q,q_d)是q和q_d进行Census变换后的海明距离，c∈(r,g,b)，I_c代表像素点在r、g、b这三个通道中的亮度值，λ_AD为AD匹配代价控制参数，λ_census为Census变换代价控制参数。

2)根据公式(3)得到p与q之间的权重ω(p,q)：

$\mathrm{\ω}(p,q)=\exp (-(\frac{\mathrm{\Δ}{c}_{\mathrm{pq}}}{\mathrm{\γc}}+\frac{\mathrm{\Δ}{g}_{\mathrm{pq}}}{{\mathrm{\γ}}_p}))---\left(3\right)$

其中，γ_c和γ_p分别为颜色相似度参数和空间邻近度参数。

Δc_pq代表p与q在LAB颜色空间内的欧几里得距离，满足公式(4)：

$\mathrm{\Δ}{c}_{\mathrm{pq}}=\sqrt{{(L_p-L_q)}^2+{(a_p-a_q)}^2+{(b_p-b_p)}^2}---\left(4\right)$

Δg_pq代表p与q之间的空间距离，满足公式(5)：

$\mathrm{\Δ}{g}_{\mathrm{pq}}=\sqrt{{(x_p-x_q)}^2+{(y_p-y_q)}^2}---\left(5\right)$

其中，L、a、b是Lab颜色空间中的三个颜色通道，L通道表示亮度信息，a通道表示红绿方向颜色变化，b通道表示黄蓝方向颜色变化，x、y分别是像素点在图像平面上的横坐标和纵坐标。

3)在代价聚合阶段，根据不相似度函数E(p,p_d)得到p和处于同一极线上的不同p_d之间的不相似度值，p和p_d之间的E(p,p_d)满足公式(6)

$E(p,p_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)e(q,q_d)}{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)}---\left(6\right)$

其中，N_p代表以p为中心的参考窗口，代表以p_d为中心的目标窗口，w(p,q)代表p和q之间的权重，w(p_d,q_d)代表p_d和q_d之间的权重。

4)根据公式(7)选择不相似度最小的值所对应的视差值作为p的视差值d_p，进而获得初始视差图：

$d_q=\underset{d\∈S_d}{\arg \min }E(p,p_d)---\left(7\right)$

其中，arg min{}表示使不相似度函数取最小值时的自变量值，S_d表示视差值的取值范围。

原自适应权重立体匹配算法中不相似度函数E(p,p_d)采用公式(9)：

$E(p,p_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)e_{\mathrm{TAD}}(q,q_d)}{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)}---\left(9\right)$

其中，e_TAD(q,q_d)为AD-Census匹配代价由如下公式计算：

$e_{\mathrm{TAD}}(q,q_d)=\min \left\{\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\right|I_c\left(q\right)-I_c\left(q_d\right)|,T\}---\left(10\right)$

其中，c∈(r,g,b)，I_c代表像素点在r、g、b这三个通道中的亮度值，T是截断阈值。在实际作物图像匹配过程中，由于辐射畸变、重复纹理区域、低纹理区域的存在，TAD初始匹配精度不是很高。为了解决这一问题，在计算初始匹配代价时，我们利用AD-Census匹配代价来替代TAD匹配代价。如图4所示为原自适应权重立体匹配算法和改进的自适应权重立体匹配算法在实际两种植物图像上生成的视差图，其中，(4a)为两种温室作物经过左摄像机采集的RGB图，(4b)为图4a经原自适应权重立体匹配算法生成的视差图，(4c)为图4a经改进的自适应权重立体匹配算法生成的视差图。

改进的自适应权重立体匹配算法的状态参数为：参考窗口和目标窗口大小均为35x35，最小视差为0，最大视差为80。λ_AD、λ_census这两个参数经反复对比实验后确定为10和30，此数值为最优参数，使用其他接近最优参数的数字也可以取得理想的结果。同时，经反复实验发现这两个参数取值分别在13和30左右就能得到比较理想的结果，在实际系统中取了中γ_c＝13，γ_p＝31。

203：改进的自适应权重立体匹配算法获得的视差图将被保存为灰度图像，每个像素的灰度值即为其视差值。对每帧视差图像在ARM嵌入式平台上利用硬件编码器进行H.264Baseline Profile(基本档次)的编码，通过直接调用硬件编解码器的编解码API函数来编写编码程序，在视差图传输模块设计中，我们采用RTP/UDP/IP方式进行H.264视频流的传输，将视频数据封装成RTP包，再通过UDP传输层协议和IP网络层协议，定时地将完整视差图和成对RGB左右图像通过以太网发送给上位机。

ARM嵌入式平台可选用ARM11处理器S3C6410构成的嵌入式平台，ARM11处理器能直接从硬件层面内置MFC(Multi-format codec)编解码器来支持MPEG4/H.263/H.264等多种编解码方式，故能够利用硬件编码器进行H.264Baseline Profile(基本档次)的编码。同时ARM11处理器由5V电源进行供电，通过USB接口连接双目摄像机，设置SD存储卡存储获得的视差图，设置内存存储改进的自适应权重立体匹配算法程序，获得视差图，设置LCD显示器显示作物视差图。

步骤S3：上位机根据步骤S2的完整视差图利用三角测距原理获取温室作物的三维点云，并根据步骤S1的温室作物左右图像在三维点云上渲染色彩后显示并存储，具体为：

301：上位机接收到RTP包数据信息后，调用FFmpeg解码函数进行解码，解码后得到一帧YUV420格式的图像，再调用FFmpeg的sws_scale()函数进行YUV420到BGR24的颜色空间转换。

302：利用三角测距原理和投影模型由三维视图获取温室作物的三维点云，三角测距原理满足公式(8)：

$\left\{\begin{array}{c}X=\mathrm{xZ}{f}^{-1}\\ Y=\mathrm{yZ}{f}^{-1}\\ Z=\mathrm{fb}{d}^{-1}\end{array}\right.---\left(8\right)$

其中，(X,Y,Z)是三维坐标，(x,y)是图像坐标，f是摄像机焦距，三维坐标中的Z是深度距离，即物体到摄像机的距离，d是视差，b是基线距离，即双目摄像机中两个摄像机的间距，摄像机焦距在棋盘标定后可以直接获取。

303：用原始彩色图的颜色对每个点云进行色彩渲染，通过OpenGL图形库在上位机的显示器上显示彩色三维点云图像，点云随后将存储于上位机的硬盘中。

经实验，该数字化成像系统可以对多种不同的温室作物获取其三维点云信息，反映作物长势情况并为温室环境的自动控制提供基于视觉的控制依据。通过对农作物的立体点云进行分析和处理，可以判断缺水状态、病虫害状态等信息；从而控制自动化温室的通风、遮光等控制单元，始终为农作物创造有利的生长条件。图5显示的是使用本发明方法进行辣椒作物数字化成像过程的示意图，其中，(5a)为双目摄像机获得的辣椒作物左右视图，(5b)为图5a经立体匹配获得的视差图，(5c)为图5b采用三角测距原理后得到的辣椒三维点云平面效果图，(5d)为图5b采用三角测距原理后得到的辣椒三维点云立体效果图。

Claims (10)

1.一种基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，包括：

步骤S1：采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像；

步骤S2：ARM嵌入式平台立体校正步骤S1的温室作物左右图像后采用改进的自适应权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视差图；

步骤S3：上位机根据步骤S2的完整视差图利用三角测距原理获取温室作物的三维点云，并根据步骤S1的温室作物左右图像在三维点云上渲染色彩后显示并存储。

2.根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述棋盘标定法中至少采集20对不同姿态的棋盘图像进行标定。

3.根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述改进的自适应权重立体匹配算法包括以下步骤：

1)根据公式(1)、(2)计算左右图像中对应像素点之间的初始匹配代价e(q,q_d)：

$e_{\mathrm{AD}}(q,q_d)=\frac{1}{3}\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}|I_c\left(q\right)-I_c\left(q_d\right)|---\left(1\right)$

$e(q,q_d)=2-\exp (-\frac{e_{\mathrm{AD}}(q,q_d)}{{\mathrm{\λ}}_{\mathrm{AD}}})-\exp (-\frac{e_{\mathrm{census}}(q,q_d)}{{\mathrm{\λ}}_{\mathrm{census}}})---\left(2\right)$

其中，q代表左图参考窗口中的像素点，参考窗口为在左图中以左图的待匹配像素点p为中心构造的一个窗口，q_d代表q在右图目标窗口中的视差为d的像素点，目标窗口为在右图中以右图的候选匹配像素点p_d为中心构造的一个窗口，r、g、b分别代表图像像素点的红、绿、蓝三个颜色分量，e_census(q,q_d)是q和q_d进行Census变换后的海明距离，c∈(r,g,b)，I_c代表像素点在r、g、b这三个通道中的亮度值，λ_AD为AD匹配代价控制参数，λ_census为Census变换代价控制参数；

2)根据公式(3)得到p与q之间的权重ω(p,q)：

$\mathrm{\ω}(p,q)=\exp (-(\frac{\mathrm{\Δ}{c}_{\mathrm{pq}}}{{\mathrm{\γ}}_c}+\frac{\mathrm{\Δ}{g}_{\mathrm{pq}}}{{\mathrm{\γ}}_p}))---\left(3\right)$ 其中，γ_c和γ_p分别为颜色相似度参数和空间邻近度参数，Δc_pq代表p与q在LAB颜色空间内的欧几里得距离，满足公式(4)：

$\mathrm{\Δ}{c}_{\mathrm{pq}}=\sqrt{{(L_p-L_q)}^2+{(a_p-a_q)}^2+{(b_p-b_q)}^2}---\left(4\right)$

Δg_pq代表p与q之间的空间距离，满足公式(5)：

$\mathrm{\Δ}{g}_{\mathrm{pq}}=\sqrt{{(x_p-x_q)}^2+{(y_p-y_q)}^2}---\left(5\right)$

其中，L、a、b是Lab颜色空间中的三个颜色通道，L通道表示亮度信息，a通道表示红绿方向颜色变化，b通道表示黄蓝方向颜色变化，x、y分别是像素点在图像平面上的横坐标和纵坐标；

3)根据不相似度函数E(p,p_d)得到p和处于同一极线上的不同p_d之间的不相似度值，p和p_d之间的E(p,p_d)满足公式(6)

$E(p,p_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)e(q,q_d)}{{\mathrm{\Σ}}_{q\∈N_p,q_d\∈N_{p_d}}\mathrm{\ω}(p,q)\mathrm{\ω}(p_d,q_d)}---\left(6\right)$

其中，N_p代表以p为中心的参考窗口，代表以p_d为中心的目标窗口，w(p,q)代表p和q之间的权重，w(p_d,q_d)代表p_d和q_d之间的权重；

4)根据公式(7)选择不相似度最小的值所对应的视差值作为p的视差值d_p，进而获得初始视差图：

$d_p=\underset{d\∈S_d}{\arg \min }E(p,p_d)---\left(7\right)$

其中arg min{}表示使不相似度函数取最小值时的自变量值，S_d表示视差d的取值范围。

4.根据权利要求3所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述步骤201中λ_AD取值为10，λ_census取值为30。

5.根据权利要求3所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述步骤202中γ_c取值为13，γ_p取值为31。

6.根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述步骤S2中得到的视差图存储在ARM嵌入式平台的内存中。

7.根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述步骤S2中利用ARM嵌入式平台的硬件编码器对完整视差图进行编码，将其封装成RTP包，通过UDP传输层协议和IP网络层协议将完整视差图像发送到上位机。

8.根据权利要求7所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述上位机接收到RTP包数据信息后，调用FFmpeg解码函数进行解码，解码后得到一帧YUV420格式的图像，再调用FFmpeg视频格式转换函数进行YUV420到BGR24的颜色空间转换。

9.根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述步骤S2中立体校正包括消除双目摄像机的畸变误差并使步骤S1的温室作物左右图像的对极线处于同一水平线。

10.根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，所述步骤S3中三角测距原理满足公式(8)：

$\left\{\begin{array}{c}X=\mathrm{xZ}{f}^{-1}\\ Y=\mathrm{yZ}{f}^{-1}\\ Z=\mathrm{fb}{d}^{-1}\end{array}\right.---\left(8\right)$

其中，(X,Y,Z)是三维坐标，(x,y)是图像坐标，f是摄像机焦距，三维坐标中的Z是深度距离，即物体到摄像机的距离，d是视差，b是基线距离，即双目摄像机中两个摄像机的间距。