CN102608349A - 基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统 - Google Patents

Abstract

一种基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，包括双相机模块、双核处理器和远程服务器，所述的双核处理器包括ARM模块和DSP模块，双相机模块作为监测系统的信号输入用于油桃的果实图像采集，双相机模块的信号输出端与ARM模块的图像信号输入端相连，ARM模块与DSP模块双向连接，DSP模块用于处理图像数据，提取油桃果实体积，ARM模块通过3G通信模块与远程服务器进行通信。本发明采用两台USB相机配合嵌入式技术和3G无线传输技术，对温室油桃果实生长实施远程实时监测，解决检测果实生长速率过程中数据采集以及数据远程传送方面的问题。

Description

基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统

技术领域

本发明涉及精准农业和机器视觉领域，具体地讲是一种基于嵌入式双相机平台的无线油桃果实生长速率监测系统。

背景技术

目前，精确监测作物生长速率是发展精准农业的一个关键问题，也是智能温室生产的重要关键技术，因为温室自动控制是根据实际的作物长势，综合考虑各种环境因子的复合作用效果，人工控制栽培条件，以实现全周年的管理与生产。通过作物长势监测，可及时了解作物的生长状况、肥力、病虫害及作物营养状况，便于采取各种管理措施。利用机器视觉技术对作物生长进行监测具有无损、快速、实时等特点，它不仅可以检测温室内作物的叶片面积、叶片周长、径杆直径、叶柄夹角等外部生长参数，还可以根据果实表面颜色以及果实大小判别其成长速率，成熟度以及作物缺水施肥等情况。将嵌入式运用于机器视觉控制系统中已成为一种必然趋势，在嵌入式系统上实现实时视觉图像采集、视觉图像及控制，具有构成处理速度快，成本低，结构紧凑，便于携带和安装等优点。

油桃是桃类的一个改良品种，由于其着色好、单果重、口感佳、光滑无毛，外观美丽、品质优良，上世纪八十年代末开始在世界范围内推广。但该水果对气候、土壤的特殊要求，使推广范围受到较大限制。温室油桃不受地域限制，开始在多地进行推广种植，但生产管理水平普遍自动化程度不高。本发明设计的“基于嵌入式双相机平台的无线温室油桃果实生长速率监测系统”将提高温室油桃的生产管理效率，并有力推动油桃温室栽培技术的发展。

发明内容

本发明的目的是针对目前油桃的生产管理水平普遍自动化程度不高的问题，提出一种基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统。本发明的“基于嵌入式双相机平台的无线温室油桃果实生长速率监测系统”采用两台USB相机配合嵌入式技术和3G无线传输技术，对温室油桃果实生长实施远程实时监测，解决检测果实生长速率过程中数据采集以及数据远程传送方面的问题。

本发明的技术方案是：

一种基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，它包括双相机模块、双核处理器和远程服务器，所述的双核处理器包括ARM模块和DSP模块，双相机模块作为监测系统的信号输入用于油桃的果实图像采集，双相机模块的信号输出端与ARM模块的图像信号输入端相连，ARM模块与DSP模块双向连接，DSP模块用于处理图像数据，提取油桃果实体积，ARM模块通过3G通信模块与远程服务器进行通信。

本发明的双相机模块和由ARM模块、DSP模块构成的双核处理器由太阳能电池板供电。

本发明的双相机模块包括两台USB相机，两台相机USB相机的镜头视线与果实图像的中心点的夹角为30°-60°，优选45°。

本发明的双相机模块对目标果实进行拍摄时，在果实后方放置一个与拍摄平面垂直的黑色幕布。

本发明的双核处理器包括多个USB接口、ARM模块、数据缓冲单元和DSP模块，所述的ARM模块通过HUB多端口转发器连接多个USB接口，通过USB接口与双相机模块相连，接收图像数据，ARM模块通过HPI接口连接数据缓冲单元的一信号收发端，数据缓冲单元的另一信号收发端通过HPI接口连接DSP模块。

本发明的DSP模块对油桃果实的图像进行处理，包括以下步骤：(1)对油桃果实的进行图像平滑和图像增强；(2)采用大津法进行图像背景分割；(3)区域标记法求取最大连通区域；(4)通过圆台法计算果实体积，得到最终的体积计算模型。

本发明的DSP模块对油桃果实的图像进行处理，还包括通过实验室排水法对体积计算模型进行拟合校验的步骤。

本发明的DSP模块对油桃果实的图像进行处理，具体包括以下步骤：

(1)、图像平滑，通过中值滤波实现，具体过程是：采用的3*3的8邻域滤波窗口，将窗口在图像中遍历，并将窗口中心与图像的任一像素对应，读取窗口所包含的图像像素灰度值，将这9个灰度值进行大小排序，取灰度大小位于中间的值作为窗口的输出，并将其赋予窗口中心的像素，做为该像素滤波后的灰度值，完成中值滤波；

(2)、图像增强，通过线性灰度变换法实现，具体过程是：将平滑后的图像f(x，y)变换至图像g(x，y)，灰度范围由[a，b]扩展至[c，d]，则线性变换为：

$g(x,y)=\frac{d-c}{b-a}*f(x,y)+c$

其中，c，d分别取0和255。

(3)、图像背景分割，采用大津法进行图像背景分割，具体过程是：对于平滑、增强处理后的图像，其像素数为N，灰度范围取为[0，255]，在灰度级K处将灰度数据分成两组C₀＝[0，K]和C₁＝[K+1，255]，

n_i为灰度级i的像素数，p_i是灰度级为i的像素点出现的概率。则：

p_i＝n_i/N    i＝0，1，2，...，255

则此幅图像的均值为：

$u_k=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}i*p_i$

则C₀和C₁分别出现的概率为：

$w_0=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}{p}_i$

$w_1=\underset{i=K+1}{\overset{M-1}{\mathrm{\Σ}}}{p}_i$

C₀和C₁的均值为：

$u_0=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}i*p_i/w_0$

$u_1=\underset{i=K+1}{\overset{M-1}{\mathrm{\Σ}}}i*p_i/w_1$

则类间方差为：

σ²＝w₀*(u₀-u_k)²+w₁*(u₁-u_k)²＝w₁*w₀*(u₀-u₁)²

让K在[0，255]中依次遍历取值，求取σ²最大时对应的K值，即为图像背景分割的最佳阈值，在图像中灰度值小于阈值的为背景，像素值置0，大于阈值的为目标图像，像素值置1；

(4)、区域标记法求取最大连通区域

通过背景分割得到的二值图像包含叶子、茎干和其他果实的干扰因素，采用区域标记法提取二值图像的最大连通区域得到目标果实，具体方法是：选择图像任一角的第一个像素作为起始点逐行逐列依次扫描图像；如果当前扫描的像素值为1即目标图像，则按照4连通准则标记当前像素的连通区域，并记录连通区域的点数；所有像素点扫描完成后，提取像素点最多的连通区域标记为最大连通区域即目标果实。

(5)、通过圆台法计算果实体积

分别将两台不同位置的相机采集到的同一目标果实被分割出来后，根据像素值可以获取果实直径，将两台相机采集图片分割出来的直径取平均值，通过圆台法计算得到果实体积，圆台计算公式如下；

$V=\frac{1}{12}\mathrm{\π}(R^2+\mathrm{Rr}+r^2)\mathrm{\Δh}$

其中R为圆台底面半径，r为圆台顶面半径，Δh为圆台高度，在果实已被分割出来的图像中，取第i行为圆台顶面，取(i+1)行为圆台底面，则Δh则为1个像素。

本发明还包括步骤(6)、拟合校验：根据圆台法得到果实体积后，建立果实生长的体积预测模型，通过实验室排水法获取目标果实的准确体积，建立基于实验数据的果实体积模型，定期对圆台法算得的数据进行拟合校验，如果圆台法算得的数据与排水法获取的数据一致，则校验通过，确定圆台法得到的体积预测模型正确，得到体积测定结果；如果圆台法算得的数据与排水法获取的数据不一致，则校验不通过，修正圆台法得到的体积预测模型，重新拟合校验步骤直到圆台法算得的数据与排水法获取的数据一致，校验通过。

本发明的有益效果：

本发明采用USB相机，数字监控的图像经过压缩，信息量小，适合长时间录像和存储。同时两个摄像机从不同位置获取同一果实图像数据，最大限度利用各个摄像机的信息，提高分辨率、灵敏度、测量精度、抗干扰等能力。本系统实现了高清图像立体采集的高度实时性和果实外部形态的准确提取。

本发明的USB相机上安装LED闪光灯和光敏电阻，排除天气状况不好和夜间光线强度不够情况下对采集到图像质量的影响，实现系统定时持续的图像采集和果实生长速率监测。

本发明采用嵌入式双核控制器，ARM模块外设资源丰富、功耗低、性能高、价格低廉，DSP芯片处理能力快速和高性能，能高效快速处理图像，ARM模块和DSP模块采用HPI接口进行通信，保证了数据传输可靠性。嵌入式平台可实现本地图像处理，相比传统采用计算机进行图像处理的方法，速度和效率得到了极大的提高。

本发明的基于机器视觉进行图像处理监测果实体积，分析果实生长速率，对果实生产和环境调控的优化管理、提高果实生产的经济效益和生态意义具有重要意义。本系统实现了无损监测，而且结果准确快速，可以节省大量的人力物力并为设施环境的调控提供可靠依据。

本发明采用太阳能电池板供电，解决了果园远距离供电的问题，同时加强了系统的可移动性，适用性更高。采用3G无线网络与远程服务器进行数据传输，3G网络比GPRS网络在速度上有了很大的提高，简化了网关与远程服务器之间的通信，实现了无线传感网络通过3G网络与远程服务器的数据快速可靠的传输。

附图说明

图1是本发明的原理框图。

图2是本发明的双相机模块的结构示意图。

图3是本发明的双核处理器的原理框图。

图4是本发明的果实生长速率无线监测系统的工作流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，一种基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，由两台USB相机组成的双相机模块对温室油桃果实进行实时获取图像，通过USB接口传输给嵌入式平台的ARM模块，ARM模块通过HPI接口将采集的图像传输给DSP模块，DSP模块对采集的图像进行图像预处理、果实特征元素的提取和体积计算操作，最后通过3G网络将计算的果实体积数据发送给远程服务器，远程服务器建立数据库，存储果实体积数据和预测模型，用户通过表格和曲线形式查看历史数据并对果实生长趋势进行预测，同时可由远程服务器发送采集果实图片请求，ARM接收到请求后将指令传输给DSP，DSP对图像进行基于小波变换的数据压缩操作后，由ARM模块通过3G网络将图片传输给远程服务器，用户可以对果实生长状况进行查看。系统采用太阳能电池板进行供电，解决果园内对设备远距离供电的问题。

如图2所示，是本发明的双相机模块的结构示意图，自然生长的油桃果形并不是一个标准的旋转体，如图2所示，采用两个相同的相机互成45度角拍摄油桃，融合两个相机数据获得的体积，能够以较高精度逼近油桃的真实体积。同时，在相机上安装LED闪光灯和光敏电阻，系统会自动记录每个拍照时刻的照度，并且在设定的低照度状态时打开LED闪光灯改善拍照效果。

相机标定是确定拍摄时相机的内、外参数。对于选定的USB相机，选取图像的中心点作为相机像主点，利用标定物选定相机焦距；通过精度较高的测量工具直接测得相机平移参数，采用已知距离反推动方法求得旋转参数等外参数。

双相机结构要求原始图像是在同一时刻对被测对象从两个不同方向采集得到，ARM模块每隔1小时发出同步信号触发两台相机。

如图3所示，是本发明的双核处理器的原理框图；双核控制器包括ARM模块和DSP模块，两者通过HPI接口连接，ARM模块实现以下功能：定时触发相机模块；执行中断逻辑控制，与DSP进行HPI通信，传输DSP提取的果实特征值和计算的体积值；用于实现系统各部分的粘合逻辑；ARM的内部寄存器映像中DSP的地址空间上，可以通过对寄存器的读写来配置系统参数；控制USB相机上的LED闪光灯。DSP模块实现以下功能：图像增强、二值化、图像分割等图像预处理操作；果实特征值提取，体积计算；压缩图片。

ARM功耗低、性价比高、并可植入操作系统，适合用作整个系统的协调控制；而DSP速度快、效率高、精度高、适合复杂算法的设计尤其是图像算法的设计。本系统中ARM模块选取Samsung公司基于ARM920T内核的S3C2410核心板，接口包括：2个标准串口，2个USB HOST接口，1个USB Device接口，1个以太网口。DSP模块选用TI公司的DM642芯片，有4800MIPS的峰值计算速度，用来进行核心算法的运算。该嵌入式系统较同类PC版系统有更好的稳定性，成本也更低。HPI是一种高效的并行口，可用于两个处理器进行主从式通信。主机可以直接访问从机所有的内存空间，包括片内RAM。HPI的数据交换过程不需要从机进行控制，所以并不占从机的CPU。本发明中，DSP模块作为从机，通过HPI口与ARM模块进行数据交换，接收由ARM端发出的命令。HPI通过两个中断信号对通信双方进行协调。由于ARM模块总线的驱动能力不够。所以必须在ARM模块和DSP模块之间加1片隔离芯片，即数据缓冲单元(采用型号为74LVCH162245)。74LVCH162245是由飞利浦生产的32位数据缓冲芯片，具有总线隔离，增强总线驱动能力的作用。

如图4所示，是本发明的果实生长速率无线监测系统的工作流程图；

油桃果实体积尺寸变化可以用来评价油桃生长速率，本系统将果实成长速率算法实现转化为果实体积计算的算法实现。在DSP模块中将图片通过图像预处理，提取出目标果实，通过圆台法计算果实体积，并通过实验室排水法对体积计算模型进行拟合校验，得到最终的体积计算模型。

在果实后方放置一个与拍摄平面垂直的黑色幕布，减小复杂背景的影响。

分别将两台不同位置的相机采集到的同一目标果实被分割出来后，根据像素值可以获取果实直径，为提高直径的准确性，将两台相机采集图片分割出来的直径取平均值，通过圆台法计算得到果实体积。

系统电源：本系统电源采用太阳能电池板给相机和双核控制器模块供电。两台USB相机采用5V供电，双核控制器采用太阳能电池板供电，并将多余电能储存在电源模块的充电电池内以备夜间和阴雨天使用。

3G无线传输：3G无线传输模块实现ARM模块和远程服务器之间的数据通信，一方面，将ARM模块对采集图片进行图像处理分析后的结果数据快速准确的传输给远程服务器；另一方面，远程服务器向ARM模块发送查看果实图片请求命令，ARM模块接收到请求命令后，3G无线传输模块将ARM模块从DSP模块获取的压缩图片传输给远程服务器

远程服务器：远程服务器包括建立数据库、建立果实生长速率预测模型。建立数据库，用户以表格和曲线形式查看果实体积历史数据，同时可以调看果实实时图片，实现对果实体积数据的查看和对果实生长状况的监测；建立果实生长速率预测模型，实现用户对果实生长速率的预测。

具体实施时：

(1)、果实生长速率监测

由ARM模块发送同步触发信号给两台USB相机，USB相机对油桃果实进行图像采集，将采集到图像经USB接口传送给ARM模块，ARM模块将图像通过HPI接口、数据缓冲单元和HPI接口传输给DSP模块，DSP模块对图像进行图像预处理、标记提取、分割出目标果实，并通过均值法和圆台法计算得到果实体积，DSP模块将果实体积数据经由HPI接口、数据缓冲单元和HPI接口送回给ARM模块，ARM模块通过3G模块以无线网络形式将体积数据发送给远程服务器，远程服务器建立数据库和预测模型，实现用户对果实生长速率的实时监测和果实生长趋势预测。

(2)、查看果实生长状态

远程服务器通过3G模块向ARM模块发送查看图像请求命令，ARM模块接收到请求后将命令通过HPI接口、数据缓冲单元和HPI接口传输给DSP模块，DSP模块对图像进行压缩操作，并将压缩图片同体积数据一同传送给ARM模块，ARM模块通过3G模块发送给远程服务器，远程服务器将压缩图片存储在数据库，并解压缩后显示给用户，实现用户查看果实生长状况的功能。

(3)、定时持续监测

在2台USB相机上同时安装LED闪光灯和光敏电阻，当光敏电阻感应到光线过低时，将信号通过USB接口传送给ARM模块，ARM模块发出相应指令驱动LED闪光灯，实现双相机定时持续的图像采集和果实成长速率监测。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (9)

1.一种基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是它包括双相机模块、双核处理器和远程服务器，所述的双核处理器包括ARM模块和DSP模块，双相机模块作为监测系统的信号输入用于油桃的果实图像采集，双相机模块的信号输出端与ARM模块的图像信号输入端相连，ARM模块与DSP模块双向连接，DSP模块用于处理图像数据，提取油桃果实体积，ARM模块通过3G通信模块与远程服务器进行通信。

2.根据权利要求1所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的双相机模块和由ARM模块、DSP模块构成的双核处理器由太阳能电池板供电。

3.根据权利要求1所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的双相机模块包括两台USB相机，两台相机USB相机的镜头视线与果实图像的中心点的夹角为30°-60°，优选45°。

4.根据权利要求3所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的双相机模块对目标果实进行拍摄时，在果实后方放置一个与拍摄平面垂直的黑色幕布。

5.根据权利要求1所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的双核处理器包括多个USB接口、ARM模块、数据缓冲单元和DSP模块，所述的ARM模块通过HUB多端口转发器连接多个USB接口，通过USB接口与双相机模块相连，接收图像数据，ARM模块通过HPI接口连接数据缓冲单元的一信号收发端，数据缓冲单元的另一信号收发端通过HPI接口连接DSP模块。

6.根据权利要求1-5之一所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的DSP模块对油桃果实的图像进行处理，包括以下步骤：(1)对油桃果实的进行图像平滑和图像增强；(2)采用大津法进行图像背景分割；(3)区域标记法求取最大连通区域；(4)通过圆台法计算果实体积，得到最终的体积计算模型。

7.根据权利要求6所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的DSP模块对油桃果实的图像进行处理，还包括通过实验室排水法对体积计算模型进行拟合校验的步骤。

8.根据权利要求6所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是所述的DSP模块对油桃果实的图像进行处理，具体包括以下步骤：

(1)、图像平滑，通过中值滤波实现，具体过程是：采用的3*3的8邻域滤波窗口，将窗口在图像中遍历，并将窗口中心与图像的任一像素对应，读取窗口所包含的图像像素灰度值，将这9个灰度值进行大小排序，取灰度大小位于中间的值作为窗口的输出，并将其赋予窗口中心的像素，做为该像素滤波后的灰度值，完成中值滤波；

(2)、图像增强，通过线性灰度变换法实现，具体过程是：将平滑后的图像f(x，y)变换至图像g(x，y)，灰度范围由[a，b]扩展至[c，d]，则线性变换为：

$g(x,y)=\frac{d-c}{b-a}*f(x,y)+c$

其中，c，d分别取0和255。

(3)、图像背景分割，采用大津法进行图像背景分割，具体过程是：对于平滑、增强处理后的图像，其像素数为N，灰度范围取为[0，255]，在灰度级K处将灰度数据分成两组C₀＝[0，K]和C₁＝[K+1，255]，

n_i为灰度级i的像素数，p_i是灰度级为i的像素点出现的概率。则：

p_i＝n_i/N    i＝0，1，2，...，255

则此幅图像的均值为：

$u_k=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}i*p_i$

则C₀和C₁分别出现的概率为：

$w_0=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}{p}_i$

$w_1=\underset{i=K+1}{\overset{M-1}{\mathrm{\Σ}}}{p}_i$

C₀和C₁的均值为：

$u_0=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}i*p_i/w_0$

$u_1=\underset{i=K+1}{\overset{M-1}{\mathrm{\Σ}}}i*p_i/w_1$

则类间方差为：

σ²＝w₀*(u₀-u_k)²+w₁*(u₁-u_k)²＝w₁*w₀*(u₀-u₁)²

让K在[0，255]中依次遍历取值，求取σ²最大时对应的K值，即为图像背景分割的最佳阈值，在图像中灰度值小于阈值的为背景，像素值置0，大于阈值的为目标图像，像素值置1；

(4)、区域标记法求取最大连通区域

通过背景分割得到的二值图像包含叶子、茎干和其他果实的干扰因素，采用区域标记法提取二值图像的最大连通区域得到目标果实，具体方法是：选择图像任一角的第一个像素作为起始点逐行逐列依次扫描图像；如果当前扫描的像素值为1即目标图像，则按照4连通准则标记当前像素的连通区域，并记录连通区域的点数；所有像素点扫描完成后，提取像素点最多的连通区域标记为最大连通区域即目标果实。

(5)、通过圆台法计算果实体积

分别将两台不同位置的相机采集到的同一目标果实被分割出来后，根据像素值可以获取果实直径，将两台相机采集图片分割出来的直径取平均值，通过圆台法计算得到果实体积，圆台计算公式如下；

$V=\frac{1}{12}\mathrm{\π}(R^2+\mathrm{Rr}+r^2)\mathrm{\Δh}$

其中R为圆台底面半径，r为圆台顶面半径，Δh为圆台高度，在果实已被分割出来的图像中，取第i行为圆台顶面，取(i+1)行为圆台底面，则Δh则为1个像素。

9.根据权利要求8所述的基于嵌入式双相机平台的智能温室油桃果实生长速率无线监测系统，其特征是它还包括步骤(6)、拟合校验：根据圆台法得到果实体积后，建立果实生长的体积预测模型，通过实验室排水法获取目标果实的准确体积，建立基于实验数据的果实体积模型，定期对圆台法算得的数据进行拟合校验，如果圆台法算得的数据与排水法获取的数据一致，则校验通过，确定圆台法得到的体积预测模型正确，得到体积测定结果；如果圆台法算得的数据与排水法获取的数据不一致，则校验不通过，修正圆台法得到的体积预测模型，重新拟合校验步骤直到圆台法算得的数据与排水法获取的数据一致，校验通过。

Images