CN102927916B - 野外环境玉米株高的监控方法和装置 - Google Patents

Abstract

本发明公开了属于嵌入式图像处理及野外作物长势远程无线监控领域的基于嵌入式技术和GPRS无线传输技术的玉米株高监控方法和装置。本发明包括装置部分和方法部分。装置部分数据采集模块利用了双目立体视觉原理；数据处理传输模块主要利用了嵌入式图像处理技术和GPRS无线传输技术；独立供电模块主要利用光伏发电系统为整个装置独立供电，克服了野外环境下没有电网覆盖的难题。方法部分嵌入式图像处理模块能够最大限度的消除野外环境下风力因素对于玉米植株图像所产生的影响，移动终端能够通过GPRS无线通讯系统发送无线指令，有效地遥控整个数据采集处理装置，获取所需要的玉米植株长势情况，并及时地做出相应的判断和决策。

Description

野外环境玉米株高的监控方法和装置

技术领域

本发明涉及一种用于野外环境玉米株高的监控方法和装置。

背景技术

玉米是我国关系国计民生和国家经济安全的重要战略物资之一，在我国的农业生产中占据着举足轻重的地位。株高是玉米植株长势情况最直接的反映，玉米株高整齐度与田间合理密植和玉米穗粒数之间存在很大程度的相关性。为实现玉米株高高效、便捷和稳定地监控，研究相关方法和装置，对于合理地分析玉米植株长势情况和提高玉米产量有着广泛和重要的意义。

当前玉米株高的测量主要采用现场人工观测和手工测量实现，而在野外环境下，由于光照、温度、天气等大量不可控自然因素的存在，玉米植株的长势情况监控一直不能达到现代智能农业发展的要求。

野外作物生长环境的特点是环境多样、变化较快，尤其对视频图像监控设备的自适应性要求特别苛刻。我国的玉米生产在自然条件下实行大面积广阔区域的种植方式，在其长势监控方面，有线数据传输方式难以覆盖，只能采用GPRS无线传输技术对采集和处理后的图像进行传输，而目前基于GPRS的无线传输方式由于带宽限制等技术难题的存在，还难以完成野外作物高质量图像的传输。因此，在GPRS传输带宽有限的情况下，研制基于嵌入式的作物长势监控方法和装置，进行图像压缩和特征提取是野外环境作物生长图像监测的现实需求。随着现代农业信息化、智能化、网络化的发展，嵌入式技术以其灵活性、兼容性和可移植性等特点取得了广阔的发展空间。

现在国内主要是在可控环境下利用计算机视觉技术、图像处理技术、有线通信技术对作物株高长势监控进行研究，但其中存在诸多问题。首先，可控环 境整体代价过高，需要付出较高的设施成本；其次，野外环境下的玉米作物长势监控整套系统的设计复杂，还不能实现在移动终端设备上的监控；再次，视频图像采集处理模块对于所获取的玉米植株图像的处理，没有达到应有的高效性和便捷性，其图像处理算法单一，应用环境比较苛刻，特别是不能适应野外环境中的光照、风动、雨雪等因素的影响，亟待改进；最后，由于野外环境的特殊性，很多地势和环境恶劣的地区，不能实现电能的有效输送，所以，野外监控设备或装置独立供电的实现上，现在还没有切实可行的方案。

为了能够更好地实现野外环境下玉米植株长势情况的有效监控，特别是面对广阔的地域条件和复杂多变的野外环境，实现现代智能农业和精细农业在时空上进一步地延伸和发展的长远目标，需要急需克服影响野外环境下玉米植株长势情况有效监控的诸多不利因素，实现监控方法和装置低成本、高效性、便捷性和稳定性的现实目标。

发明内容

针对玉米植株图像在野外环境中受到风力影响而产生运动模糊问题，本发明提供一种用于野外环境下玉米株高的监控方法和装置，该方法主要包括以下技术方案：

S1：摄像机三维标定；

S2：利用无线指令启动采集设备；

S3：数据处理传输模块根据指令读取第t帧玉米植株图像，并利用抗运动模糊嵌入式图像处理算法处理；

S4：对S3处理过的图像立体网格化，并进行区域匹配；

S5：对二维图像进行三维重建，计算玉米植株高度h；

S6：根据风速风向仪在t时刻所采集到的风速v_t和风向角θ_t，得到修正后的 玉米植株高度H；

S7：对处理后的植株图像进行压缩编码，无线发送到移动终端供用户查看。

用于野外环境玉米株高的监控方法和装置，该装置包括五部分：固定结构模块、数据采集模块、数据处理传输模块、独立供电模块和移动终端。

所述固定结构模块包括固定支架，直角支架，旋转支架，避雷针，接地设备。固定支架1固定于野外环境地面6；直角支架2用于固定数据采集模块；旋转支架3用于放置太阳能板11；安装在固定支架1顶部的避雷针4与固定支架1底部接地部件5一起对整个置于野外环境中的监控装置起到相应的保护作用，整个固定设备可通过底盘螺丝7固定于地面6。

所述数据采集模块包括CCD摄像头和风速风向仪。其中，双CCD摄像头8固定于直角支架2的下部，通过人工调试，保证摄像机获取最好视野和视距；风速风向仪9包括风向部分和风速部分，通过螺丝安装到直角支架2的上部。双CCD摄像头与风速风向仪通过数据线连接到数据传输模块10；通过电能传输线路连接到太阳能蓄电控制设备12，以获取采集模块工作时所需要的电力供应。

所述数据处理传输模块10固定于固定支架1的一侧，其内部包含ARM处理器和无线传输模块。

所述独立供电模块，太阳能电池板11安装于旋转支架3，太阳能蓄电控制设备12包括控制器和蓄电池两部分。太阳能蓄电设备负责整个监控装置的电能供应，其通过电缆分别连接到CCD摄像头、风速风向仪、太阳能电池板和数据处理传输模块。

所述移动终端包括基于GPRS无线传输网络的智能手机13，能够连接无线网络的笔记本电脑14，平板电脑15等相关无线传输功能的可移动终端设备。

本发明的有益效果在于：

（1）本发明设计了基于嵌入式的野外环境下玉米植株长势的监控装置，摆 脱了无线监控对可控环境的依赖，降低了由可控环境所带来较高的设施成本，有力拓展了智能农业和精细农业的发展领域，推动了农业现代化过程中野外环境下作物长势监控研究的发展；

（2）基于GPRS的无线通讯模块的引入，降低了野外环境下的玉米植株长势监控整套系统设计的复杂程度，实现了移动终端设备对野外环境植株的监控，由于野外环境的特殊性，很多地势和环境恶劣的地区，根本不能实现电能的有效输送，基于光伏发电的太阳能独立供电设备，有效地解决了这一难题；

（3）本发明用于野外环境下玉米植株长势监控的方法，主要是解决了植株高度测量受到以风为主要自然因素影响的难题，算法打破了可控环境下目标图像处理的限制；

（4）本发明突破了可控环境的限制，显示了其适应野外环境监控的高效性，降低了硬件装置的成本，提高了用户的可操作性，扩大了用户对野外经济作物的监控范围，为以后的野外环境作物长势的监控提供了更加稳定、高效和便捷的手段，具有很大的市场潜力。

附图说明

图1为本发明所述的野外环境玉米株高的监控装置；

图2为本发明所述的双目视觉成像系统原理图；

图3为本发明所述的玉米株高监控方法流程图；

图4为本发明所述的玉米株高监控方法和装置的组成结构图；

具体实施方式

以下结合附图对本发明的具体实施方式做进一步详细描述。本实施利用于说明本发明，但不用来限制本发明的范围。

为了实现上述目的，本发明采用如下技术方案：

本发明提供了一种用于野外环境中克服风为主要因素导致玉米植株图像运 动模糊的处理方法，参见图3所示，包括以下步骤：

S1：对摄像机camera_left与camera_right进行三维标定；

S2：利用移动终端向采集模块和处理传输模块发送指令，启动摄像机camera_left与camera_right，采集模块开始采集视频流stream_left和stream_right，其中，stream_left为偏左方向的摄像机采集的视频流，stream_right为偏右方向所采集的视频流；

S3：处理和传输模块根据指令从camera_left与camera_right分别读取第t帧玉米植株图像                                                  与   并对其进行预处理；

S4：对S3处理过的图像立体网格化，并进行区域匹配；

S5：对二维图像进行三维重建，计算玉米植株高度h；

S6：根据风速风向仪在t时刻所采集到的风速v_t和风向θ_t，进行玉米植株高度的修正，得到修正后的玉米植株高度H；

S7：对处理后的植株图像进行压缩编码，无线发送到移动终端供用户查看。

所述步骤S1，利用所获取到的玉米长势图像数据进行摄像机标定。本发明中，选取野外环境下目标区域事先标记点P与采集图像上的相应点m，存在如下关系：λ   其中，λ为非零尺度因子，K为摄像机参数矩阵，R、T是摄像机的外参数，K[R T]为camera投影矩阵。根据摄影几何原理，地平面和像平面的变换为：    $\mathrm{\λ}\widetilde{m_p}=K\left[\begin{array}{cc}R& T\end{array}\right]{\left[\begin{array}{cccc}X& Y& 0& 1\end{array}\right]}^T=K\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]{\left[\begin{array}{ccc}X& Y& 1\end{array}\right]}^T,$ 其中，r₁、r₂为旋转矩阵R的第一列和第二列，K[r₁ r₂ T]即为地平面与像平面的单应矩阵，通过单应矩阵可得到camera_left与camera_right投影矩阵和内外参数，完成摄像机的标定。

所述步骤S2，在本发明中，嵌入式机器视觉技术是采用双目摄像机和嵌入式处理器作为野外环境监控装置的核心组件。数据采集模块通过无线指令完成野外玉米长势的数据采集工作，采集到数据暂存数据处理传输模块的存储器， 供S3指令帧的选取使用；摄像机利用双目立体视觉原理来架设，架设高度以达到能完全拍摄所选取的玉米面积为准，同时使得两相机光轴平行。

所述步骤S3，camera_left与camera_right接收移动终端发送的无线指令，采集野外环境下玉米植株图像，对camera_left与camera_right二维图像进行预处理。由于野外环境下，玉米植株受到自然界风力的作用，具有不同方向的角度、速度和加速度，由此导致摄像机所采集到的图像在空域变化上的失真，由此产生运动模糊现象，并导致对模糊植株图像处理的难度增加，不能达到精确分割目标图像的目的。在本发明中，对camera_left与camera_right所采集的玉米植株运动模糊图像进行有效和精确的处理，以克服野外环境下风对玉米植株长势监控的影响。

所述步骤S3，包括以下步骤：

S31：初始化嵌入式处理程序中的帧计数器t=0，接收移动终端发送的采集帧无线指令；

S32：当数据处理传输模块接收到无线指令，启动数据采集模块中的CCD摄像机camera_left与camera_right，将视频流stream_left和stream_right读入内存，根据指令信息，数据处理模块读取第t帧玉米植株图像   每一幅图像可看成由M×N个像素组成，将野外环境下玉米植株彩色图像进行灰度处理；

S33：假设   图像由M×N像素组成，表示为I(x，y)，y＝0，1，...N-1,提取第t帧图像奇数和偶数区域，每个区域使用插值算法扩展成与原图像大小相同的图像，由此   变换成2幅图像，即

奇数图像：I_odd(x，y)＝I(x，y)，y＝2k，k＝0，1，...(N/2-1)；

偶数图像：I_even(x，y)＝I(x，y)，y＝2k+1，k＝0，1，...(N/2-1)；

S34：将奇数和偶数图像化为矩形块矩阵，，利用自适应十字模式搜索匹配 算法（ARPS）对I_odd(x，y)与I_even(x，y)以16×16单位矩形块处理，计算运动矢量。

S35：野外环境下产生运动模糊的主要原因被认为是玉米植株收到自然界不规则变化的风力影响而产生非刚体形变，摄像机采集到的视频流的某些帧发生了图像退化现象。通常，观测图像与退化图像的关系为：

g(x，y)＝f(x，y)×h(x，y)+n(x，y)

其中，h(x，y)是点扩散函数（PSF），n(x，y)是附加噪声函数，所以，一般形式的运动模糊函数如下：

其中，L为运动距离，运动角度，这两个参数由S34计算运动矢量时得到。

S36：在I_odd(x，y)和I_even(x，y)图像中每单位矩形块使用约束的最小二乘算法来消除运动模糊，I_odd(x，y)或I_even(x，y)和均可作为   的修复图像。

所述步骤S4：对修复后的图像利用网格进行特征匹配，本发明中，对S3所得到灰度图像划分成N×N网格，设定匹配值R，计算   分割出的植株区域占整幅图像的比例与R的关系，完成匹配。

所述步骤S5：通过S4的匹配，，计算网格质心坐标，进行三维重建，计算玉米植株高度h。

所述步骤S6：非刚体由于自身的特殊性质，其在受到外力影响时会产生相应的畸变。玉米植株的主干部分受到野外环境中风力的影响，利用采集到的玉米图像数据得出的植株高度需要进行合理地修正。数据处理模块读入风速风向仪在t时刻所采集到的风速v_t和风向θ_t，其风速风向在三维立体空间上的向量分 别为    $\stackrel{\→}{v_t}=\left(\begin{array}{c}{v}_x^t\\ v_y^t\\ v_z^t\end{array}\right)$ 和    $\stackrel{\→}{{\mathrm{\θ}}_t}=\left(\begin{array}{c}{\mathrm{\θ}}_x^t\\ {\mathrm{\θ}}_y^t\\ {\mathrm{\θ}}_z^t\end{array}\right),$ 根据风速风向仪与玉米植株在野外环境下的实验结果，存在一个修正矩阵E和常数K，使得修正后的   经过修正后的H更能反映玉米植株的真实高度。

所述步骤S7：经过嵌入式处理过的图像有效地减少了野外玉米植株长势监控的数据量，在GPRS带宽有限的条件下，经过合理的压缩编码，无线传输到移动终端，可供用户及时查看野外玉米植株长势情况。

本发明提供的野外环境玉米株高的监控方法和装置，其装置的实施，包括以下内容。

S1：搭建嵌入式开发平台，主要包括安装PC机上的Linux操作系统，在操作系统上安装相关应用程序的交叉编译工具、文件传输服务（TFTP）以及文件共享服务（NFS）；调用CCD摄像头驱动程序底层接口函数（open、read、write、fclose），以完成对ARM的视频图像处理系统（VPSS）初始化、读取视频流、存入缓冲区、内存释放等操作；交叉编译风速风向仪数据模块和无线指令模块；在基本的Linux内核中加载解码器驱动、图形界面等应用，重新编译成内核文件；制作Linux文件系统，并通过NFS服务挂载到ARM。在实验室条件下，集成的嵌入式各组件组装成数据处理和传输模块，完成图像采集和处理的测试工作。

S2：固定支架1与野外环境作物生长地域的地面6连接；上部左侧为焊接在其上的直角支架2，用于固定数据采集模块；固定支架上部右侧为固定在其上的旋转支架3，用于放置太阳能板11，旋转支架优点是可以根据不同季节太阳直射的变化，调节太阳能板的位置和角度，以达到对太阳能的充分利用；避雷针4被安装在固定支架顶部，由于整个固定模块置于空旷的野外环境，为了防止阴雨天雷击的发生，避雷针和固定支架底部接地部件5一起对整个置于野外 环境中的监控装置起到相应的保护作用，整个固定设备可通过底盘螺丝7固定于地面上6。

S3：CCD摄像头8利用螺丝固定于直角支架2的下部。摄像头应具有手动调焦和转动功能，目的是在野外环境下安装时，为保证摄像机获取最好视野和视距，人工调节摄像头焦距和所要监控的玉米植株生长区域。风速风向仪9包括风向部分和风速部分。风向部分由风向标、风向度盘等组成，采用了自动指北装置，风向示值由风向指针在风向度盘上的位置来确定，测量时无需人工对北，简化测量操作，风速部分采用传统的三环旋转架结构，仪器内的单片机对风速传感器的输出频率进行采样、计算，可以同时测量瞬时风速、瞬时风级平均风速和平均风级等参数，具有数据锁存功能。风向风速仪9安装在直角支架2的上端。

S4：经测试的数据处理传输模块10安装于固定支架1的一侧，本模块是整个监控装置的核心部分。基于GPRS的无线传输模块集成于ARM处理器中，完成测试后安装到10的内部，数据采集模块CCD摄像头8和风速风向仪9与之相连。

S5：独立供电模块包括太阳能电池板，太阳能蓄电控制设备。其中，太阳能电池板11安装于旋转支架3，它是光伏发电系统中的核心部分，作用是将太阳的辐射能量转换为电能，进而驱动负载工作；太阳能蓄电控制设备12包括控制器和蓄电池两部分，其控制器的作用是控制整个系统的工作状态，并对蓄电池部分起到过充电保护、过放电保护的作用，在温差较大的野外环境，合格的控制器还应具备温度补偿的功能，蓄电池的作用是在有光照时将太阳能电池板所产生的电能储存起来，到需要的时候再释放出来。安装好的独立供电模块通过电缆与CCD摄像头8、风速风向仪9、数据处理传输模块10相连。

S6：移动终端具有指令发送和接收功能，包括：基于GPRS无线传输的智 能手机13，能够连接无线网络的笔记本电脑14，个人平板电脑15等相关具有无线传输功能的个人可移动终端设备。这些终端设备主要用于发送无线指令到数据处理传输模块，启动野外数据采集模块中的相关设备，完成野外环境下玉米植株长势图像经过采集、处理和压缩，同时，接收并显示处理后的玉米植株图像信息和数据，操作人员进一步分析所关注的野外环境下玉米植株具体的长势情况，并及时地做出判断和决策，完成对野外环境下玉米长势情况的高效、便捷、稳定地监控。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (1)

1.一种野外环境玉米株高的监控方法，其特征在于，所述方法使用的装置包括五部分：固定结构模块、数据采集模块、数据处理传输模块、独立供电模块和移动终端；

所述固定结构模块包括固定支架，直角支架，旋转支架，避雷针，接地设备；固定支架固定于野外环境地面；直角支架用于固定数据采集模块；旋转支架用于放置太阳能板；安装在固定支架顶部的避雷针与固定支架底部接地部件一起对整个置于野外环境中的监控装置起到相应的保护作用，整个固定设备可通过底盘螺丝固定于地面；

所述数据采集模块包括CCD摄像头和风速风向仪，其中，双CCD摄像头固定于直角支架的下部，通过人工调试，保证摄像机获取最好视野和视距；风速风向仪包括风向部分和风速部分，通过螺丝安装到直角支架的上部；双CCD摄像头与风速风向仪通过数据线连接到数据传输模块；通过电能传输线路连接到太阳能蓄电控制设备，以获取采集模块工作时所需要的电力供应；

所述数据处理传输模块固定于固定支架的一侧，其内部包含ARM处理器和无线传输模块；

所述独立供电模块，太阳能电池板安装于旋转支架，太阳能蓄电控制设备包括控制器和蓄电池两部分，太阳能蓄电设备负责整个监控装置的电能供应，其通过电缆分别连接到CCD摄像头、风速风向仪、太阳能电池板和数据处理传输模块；

所述移动终端包括基于GPRS无线传输网络的智能手机，能够连接无线网络的笔记本电脑或平板电脑；

所述监控方法包括如下步骤：

S1：对摄像机camera_left与camera_right进行三维标定；

S2：利用移动终端向数据采集模块和数据处理传输模块发送指令，启动摄像机camera_left与camera_right，采集模块开始采集视频流stream_left和stream_right，其中，stream_left为偏左方向的摄像机采集的视频流，strean_right为偏右方向所采集的视频流；

S3：处理和传输模块根据指令从camera_left与camera_right分别读取第t帧玉米植株图像与并对其进行预处理；

S4：对S3处理过的图像立体网格化，并进行区域匹配；

S5：对二维图像进行三维重建，计算玉米植株高度h；

S6：根据风速风向仪在t时刻所采集到的风速v_t和风向θ_t，进行玉米植株高度的修正，得到修正后的玉米植株高度H；

S7：对处理后的植株图像进行压缩编码，无线发送到移动终端供用户查看。