CN105547360B - 基于情景感知的作物冠层图像采集方法 - Google Patents

Abstract

本发明提供一种基于情景感知的作物冠层图像采集方法，其包括以下步骤：采集作物生长区域的多项环境参数；根据环境参数，判断目前的天气状况；根据不同的天气状况，选择不同的作物冠层图像采集模式，采集作物冠层图像。本发明可以实现对作物的连续动态观测，使研究人员更好地把握关键生长节点、物候变化。

Description

基于情景感知的作物冠层图像采集方法

技术领域

本发明涉及作物生长监测、图像采集等技术领域，特别涉及一种基于情景感知的作物冠层图像采集方法。

背景技术

作物冠层信息(包括覆盖度、绿度、叶面积等)可以综合反映作物生长期内动态变化和表征作物生长状况，是数字农业中作物长势监测的重要内容之一。

目前，数字农业研究和应用得到蓬勃发展，作物长势动态监测作为数字农业领域的一个重要方向，得到了研究人员的高度重视，而伴随着计算机视觉和图形图像处理技术的发展，数字图像采集产品逐渐应用到作物生长过程监测中，研究人员从多个角度、多个层次、多种作物进行了大量的尝试。

1987年，迈尔(Mayer)等研制了一个基于数字图像的作物长势监测系统，采用无损方式获取了作物叶面积、茎秆直径、叶柄夹角等长势参数。

1996年，卡萨迪(Casady)等应用计算机视觉技术提取了水稻长势信息，通过二值化图像处理提取了水稻高度、宽度和叶面积等指标。

清水(Shimizu)和海恩斯(Heins)开发了基于作物长势分析的计算机视觉系统，用带有红外功能的CCD摄像机分别采集光照条件和黑暗条件下的作物图像，以此来分析作物在光照和黑暗条件下的长势变化。

贺东仙等基于双目立体视觉技术，对穴盘中的甘薯幼苗进行了株高、叶冠投影面积和生物量的测定。

2006年，雷咏雯等采用数码相机获取了棉花不同生育期的冠层图像，分析了棉花不同生育期的地面覆盖度与生物学产量、叶面积指数间的关系。

吴雪梅和张彦娥等采用数字图像分析技术对番茄叶片的缺氮特征进行了研究。

纪寿文等利用数字图像处理技术对玉米苗期的杂草进行了研究，根据投影面积、叶宽、叶长识别出了杂草，并根据杂草的投影面积进而确定出杂草密度。

马彦平等采用数字图像技术和远程数据传输技术实现了对小麦、夏玉米的株高解析。

综合分析目前的各类研究，前期的研究手段大多通过人工使用数码相机在田间或设施内获取作物数字图像再带回实验室进行分析处理，更多侧重在数字图像处理方法和指标对比等方面。随着物联网技术的兴起，采用固定的摄像机/数码相机在设定的点位进行间隔拍摄的方法得到广泛的应用。针对目前固定点位长期监测的方法，业界研究人员重点放在了系列照片的获取和处理，数字图像的采集也过多地依靠摄像机/照相机的自动间隔拍摄模式，对田间情景的变化无相应的处理手段。虽然张雪芬、王秀芳等人的研究已经注意到降水、大风、大雾、光照对图像质量的影响，但也仅仅是在图片处理时对异常灾害天气状况下拍摄的“模糊”图像予以“剔除”，在一定程度上影响了对作物生长过程关键节点和灾害影响进程的记录，降低了试验结果的准确性和代表性。

发明内容

本发明的目的在于提供一种基于情景感知的作物冠层图像采集方法，以更为准确的采集作物冠层图像，记录、分析作物生长过程关键节点和灾害影响信息。

为了实现上述目的，本发明提供如下技术方案：

一种基于情景感知的作物冠层图像采集方法，其包括以下步骤：采集作物生长区域的多项环境参数；根据环境参数，判断目前的天气状况；根据不同的天气状况，选择不同的作物冠层图像采集模式，采集作物冠层图像。

优选地，所述环境参数包括：土壤水分、土壤温度、降水、空气温湿度、光强、风速。

优选地，所述作物冠层图像采集模式包括图像采集距离、采集频率以及采集装置参数。

优选地，选择不同的作物冠层图像采集参数时，还根据作物种类、作物形状、作物生长周期、作物生长区域的历史气象数据进行选择。

优选地，在“根据环境参数，判断目前的天气状况；根据不同的天气状况，选择不同的作物冠层图像采集模式”步骤中，具体包括：亮度低或夜晚，打开人工光源，对图像采集进行补光；以土壤水分、土壤温度为依据，结合作物需水量阈值及凋萎系数，判断近期天气状况是否为“干旱”期，从而选择相应拍摄频率；以土壤水分、降水为依据，判断近期天气状况是否为“渍涝”状况，从而改变拍摄频率；以空气温度、空气湿度、风速为依据，结合区域历史气象数据和作物性状参数，判断是否出现“干热风”，从而改变拍摄频率和拍摄高度；以空气温度、空气湿度、风速为依据，结合区域历史气象数据和作物性状参数，判断是否出现了“冻害”，从而改变拍摄频率和拍摄高度。

分析可知，本发明综合分析多种数据，可以采集清晰的、系列化的植被冠层图像，并可以根据田间情景的变化设定不同的图像采集模式，实现对作物冻害、干旱、干热风、倒伏和病虫害等条件下的连续动态观测，使研究人员更好地把握关键生长节点、物候变化，特别是可以加强对作物生长过程有负面作用的影响过程的图像分析。

附图说明

图1为实现本发明的采集装置应用于田间的结构示意图；

图2为图1所示采集装置的原理结构框图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细说明。

如图1、图2所示，实现本发明的采集装置包括支架(未示出，以避免影响丝杠和导轨的显示)、两个垂直驱动机构、两个支撑杆30/20、两个土壤水分传感器61/62、土壤温度传感器63、雨量计64、激光位移传感器65/69、空气温湿度传感器66、风速传感器67、光强传感器68、灰板7、超声波传感器610、图像采集器件611、环形光源612、与各传感器和步进电机连接的数据处理系统8、与数据处理系统8通过天线81无线通信连接的控制中心(或者称之为FTP服务器)9。其中，两个垂直驱动机构结构相同，分别包括步进电机51、丝杠11、导轨12、螺母31、滑块32、连杆33以及步进电机52、丝杠13、导轨14、螺母21、滑块22/24、连杆24/25。

具体而言，支架是为两个垂直驱动机构及其上的部件提供支撑作用，其应该稳定、安全地固定在作物200生长的土壤100中，其结构形式不一而足，可以为门式结构，能够满足使用要求即可。

如前所述，两个垂直驱动机构结构相同，均设于支架上，相邻设置，用于为支撑杆30/20上下移动提供动力及导向。为了避免产生赘述之感，仅详细介绍其中一个垂直驱动机构，也即驱动支撑杆30的垂直驱动机构，其包括：步进电机51、丝杠11、导轨12、螺母31、滑块32、连杆33。为了增加稳定性，滑块32为上下分布的两个。步进电机51和数据处理系统8连接，接收数据处理系统8的指令，启动、制动以及转动圈数。丝杠11垂直设置，下端与步进电机51连接，在步进电机51的驱动下转动，并驱动其上的螺母31上下移动。螺母31设于丝杠11上。导轨12和丝杠11平行相邻设置，上面套设滑块32，螺母31和两个滑块32之间均设有连杆33，支撑杆30的一端固定于滑块32上。如此，当步进电机51驱动丝杠11转动时，螺母31即在丝杠11上移动，滑块32即在导轨12移动，支撑杆30从而能够上下移动。

优选地，导轨12为圆柱型杆状结构，滑块32可转动地套设于导轨12上，连杆33与螺母31和滑块32之间的连接角度可调，以使支撑杆30能够在水平面内角度可调。严格地说，连杆33和滑块32之间为可拆卸、可调整连接，并非焊接等。当支撑杆30需要向前、向后摆动一定角度时，拆开连杆33和滑块32，然后摆动支撑杆30后，再固定即可。同样地，支撑杆20需要摆动一定角度时，也是如此。这样可以使本发明观测更大范围的作物冠层，而不必移动支架及垂直驱动机构，提高观测另一区域作物冠层图像准确性的同时，减少体力操作。

支撑杆30、支撑杆20均水平设置，支撑杆30的一端固定于滑块32上，支撑杆20的一端固定于滑块22上，两支撑杆的另一端均延伸至作物200冠层上方，支撑杆30位于支撑杆20下方。此外，为了增加两个支撑杆的稳定性，支撑杆和与其不直接连接的另一滑块之间通过另一连杆连接，例如连杆25一端连接于滑块23，另一端连接于支撑杆20的中部。

土壤水分传感器61、62埋设于土壤内部、测量土壤水分，使数据处理系统8对干旱状况、渍涝状况进行判断。且土壤水分传感器62的埋设深度小于土壤水分传感器61的埋设深度，例如土壤水分传感器62埋设于地表下15cm处，土壤水分传感器61埋设于地表下30cm处。

土壤温度传感器63设置在土壤100表面、测量土壤100表面温度，使数据处理系统8对干旱、渍涝状况进行判断。

雨量计64的设置位置没有太多限制，其主要用于测量降水信息，使数据处理系统8对干旱、渍涝状况进行判断。

空气温湿度传感器66、光强传感器68、风速传感器67、激光位移传感器65、灰板7均设置在支撑杆30上，其中，灰板(18％标准灰板)7位于支撑杆30端部，基本与图像采集器件611上下对应。空气温湿度传感器66用于测量空气温湿度信息，对冷害、大雾、干热风等进行判断。光强传感器68用于测量作物冠层附近的光强(亮度)信息，对相机快门、光圈、ISO感光度等具有较大的影响。灰板7是一个长宽各10cm的标准灰板，放置于作物200冠层顶部，用于图像后期处理时白平衡校正。风速传感器67用于检测作物200冠层或一定高度的风速，主要用于分析和判断作物随风进行摆动的情况，其数值是影响快门速度、光圈大小的主要因素之一。激光位移传感器65用于支撑杆30的高度。此外，激光位移传感器69用于检测设置其上的支撑杆20的高度。便于数据处理系统8实时、准确获得两支撑杆的高度信息。

图像采集器件611设置于支撑杆20端部向下延伸的支杆201上，位于作物200冠层上方，用于采集作物200冠层图像。图像采集器件611为数字成像关键部件，优选地，其为可编程相机，采用定焦镜头并可以根据不同的试验要求进行更换(广角定焦、标准定焦、微距定焦等)，相机的快门速度、ISO感光度、对焦点和镜头的光圈值可以通过数据处理系统8的指令进行设定。

环形光源612设置于支杆201上，并环绕图像采集器件611分布，基于光强传感器68的数据，其用于亮度较低或夜晚拍摄时为图像采集部件611补光。超声波传感器610设置于支杆201，与图像采集器件611等高，用于实时检测图像采集器件611与作物200冠层的距离，以确定最佳拍摄距离。优选地，超声波传感器610为多个，分布于环形光源612的圆周外侧。优选地，该采集装置还包括安装架4，其固定于支杆201端部下方，图像采集器件611及其镜头6111、环形光源612、超声波传感器610均设于安装架4上；且安装架4和支杆201之间活动连接，使得安装架4能够朝向不同的角度。例如安装架4和支杆201之间通过螺母及螺栓紧固，并且安装架4和支杆201连接部位具有较多的、角度不同的通孔，螺栓插入安装架4和支杆201上不同的通孔，即可将安装架4调整为不同的固定角度。安装架4的可调式设计以及上面描述的支撑杆20/30可摆动设计，可以更准确的采集不同细分区域的作物200冠层图像，对于作物200生长不均匀，不同作物套作的种植模式更显优势。

数据处理系统8是一个集数据分析、存储、通信的处理中心，其包括电源模块、CPU、寄存器、数据存储器(SD卡)、网络模块、传感器接口等。，用于连接各传感器，在处理和分析数据的基础上，对位置进行调整；并接收和存储数字图像，可以通过其上连接的天线81将数字图像上传到FTP服务器等。

具体地，数据处理系统8能够调整两垂直驱动机构的运行，以使两支撑杆位于设定的高度，进而确定图像采集器件611的高度以及灰板7的高度。

根据各传感器检测的水分、温度、湿度、风速、降水等环境参数，判断天气状况，同时根据超声波传感器的检测数据，从而调整图像采集器件的拍摄频率、拍摄高度等不同采集模式或组合。以及，根据光强传感器，判断光强，从而调整图像采集器件的包括快门速度、ISO感光度、对焦距离和光圈数值在内的拍摄参数，以及控制环形光源的运行参数。更进一步，数据处理系统8还存储有作物200性状数据、作物200生长区域的气象历史数据，或者通过通信方式从控制中心9获得此类数据，并根据设定的模型，对当前的天气状况进行科学的分析、判断。

换言之，本发明在实施时，基本包括以下步骤：采集作物200生长区域的多项环境参数，例如，空气、风、光、水等相关数据。根据环境参数，判断目前的天气状况，例如适合、干旱、涝、冻等。根据不同的天气状况，选择不同的作物冠层图像采集模式，采集作物冠层图像。优选地，将天气状况与作物种类(有的作物生长迅速、生长周期长，其图像采集频率应适当增加)、生长阶段(同一作物在不同生长周期，其性状变化具有明显差异，因此应适当改变)、区域历史气象数据(某一地区在某一时间区间大多为雨季或旱季，作物生长变化随之改变，图像采集频率应适当增减)、土壤数据(不同区域的土壤肥力具有明显差异，作物生长及性状改变也有所不同，因此图像采集频率也应适当改变)等结合考虑，从而更科学、合理的判断，采用更为精确的图像采集模式。

具体而言，本发明能够在多种天气状况、作物200的不同生长周期，进行准确的作物200冠层图像采集，例如在以下情景中，本发明的应用可以进行相应改变：

情景1：一般应用(作物苗期、无风，无降水，光强适宜)时，根据传感器数据、相机镜头性能参数，调整相机的快门速度、ISO感光度、对焦距离和镜头的光圈数值至合适值，保证获取清晰锐利的图像。

情景2：风速较大，作物摆动严重，此时应关注快门速度、光圈值和感光度的综合调整，适当进行补光，以期保证获取清晰锐利的图像。

情景3：亮度低或夜晚拍摄，打开环形光源612进行补光。

情景4：干旱，以土壤水分传感器61/62数据、土壤温度传感器63数据和作物需水量阈值及凋萎系数等为主要依据，判断近期是否为“干旱”期，从而改变拍摄频率，以期获取影响作物关键生长点的图像数据。

情景5：渍涝，以土壤水分传感器数据、雨量计数据等为主要依据，判断近期是否出现“渍涝”状况，从而改变拍摄频率，以期获取影响作物关键生长点的图像数据。

情景6：干热风：以空气温度、空气湿度、风速等数据为依据，结合区域历史气象资料和作物性状参数，判断是否出现了“干热风”，从而改变拍摄频率和拍摄高度(微距拍摄)，以期获取影响作物关键生长点和侵害过程的图片数据。

情景7：冻害：以空气温度、空气湿度、风速等传感器数据为依据，结合区域历史气象资料和作物性状参数，判断是否出现了“冻害”，从而改变拍摄频率和拍摄高度(微距拍摄)，以期获取影响作物关键生长点和侵害过程的图像数据。

更具体而言，本发明对冬小麦进行冠层图像采集时，可以参考如下步骤：

对采集装置定期进行自检，判断各传感器的工作状态，写入数据库文件；如传感器存在异常，则附带报警输出给控制中心9。

在冬小麦生长初期(苗期、分蘖期、越冬期等)，植株高度变化不大，受风速影响较小，此时可通过程序设定图像采集器件611与小麦冠层的高度至最佳的拍摄距离，在无干旱、冻害等侵害时可以设定进行定时拍摄。

在冬小麦生长中后期(返青期至成熟期)，植株高度变化明显，由超声波传感器610与激光位移传感器65/69协同工作，判断作物200植株高度，调整相机高度和各支撑杆高度。

根据风速传感器、雨量计、光强传感器等数据，确定相机曝光参数，调整相机ISO感光度、快门速度、对焦距离和镜头光圈值，在不能满足清晰图像拍摄要求时，调整拍摄周期至适宜时间点进行拍摄，确保能获取清晰锐利的图片，并将事件记录在数据库中。

根据光强传感器和相机性能及相机镜头参数判断是否需要进行补光。

根据风速、空气温湿度，判断是否出现了低温“冻害”，从而确定相机曝光参数，改变图像采集频率(根据预定的策略将拍摄间隔由小时级别修改为分钟级别等)，调整相机与作物冠层之间的距离进行微距拍摄，并将事件记录在数据处理系统8中。

根据雨量计、土壤水分传感器等数据，判断是否出现了“渍涝”，从而确定相机曝光参数，改变图像采集频率(根据预定的策略将拍摄间隔由小时级别修改为分钟级别等)，调整相机与作物冠层之间的距离进行微距拍摄，并将事件记录。

根据风速、空气温湿度、光照强度等判断是否出现了“干热风”，从而确定相机曝光参数，改变图像采集频率(根据预定的策略将拍摄间隔由小时级别修改为分钟级别等)，调整相机与作物冠层之间的距离进行微距拍摄，将事件记录在数据库中。

各传感器的数据经处理后写入数据处理系统8中，并与各图片编号进行一一对应，方便研究人员进行生长节点查询和追溯灾害发生过程。

综上所述，本发明可用于农田作物(小麦、玉米)或草地植被等植物冠层的数字图像采集，其通过对作物生长环境要素(空气温度、空气湿度、风速、光照强度、土壤温度、土壤湿度)的采集和分析，确定不同田间情景(大风、降雨、干旱、冻害、干热风、倒伏等)，进而对可编程相机多种曝光调节部件(快门、光圈、ISO感光度、对焦点、闪光灯)进行控制，获取清晰的系列化的作物冠层图像文件；并可在作物不同的生育期或灾害发生时根据设定的策略改变数字图像采集频率，为研究人员更好地掌握作物生长节点(物候)或评估灾害影响进程提供数据支持。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (4)

1.一种基于情景感知的作物冠层图像采集方法，其特征在于，包括以下步骤：

采集作物生长区域的多项环境参数；

根据环境参数，判断目前的天气状况；

根据不同的天气状况，选择不同的作物冠层图像采集模式，采集作物冠层图像；

其中，在“根据环境参数，判断目前的天气状况；根据不同的天气状况，选择不同的作物冠层图像采集模式”步骤中，具体包括：

亮度低或夜晚，打开人工光源，对图像采集进行补光；

以土壤水分、土壤温度为依据，结合作物需水量阈值及凋萎系数，判断近期天气状况是否为“干旱”期，从而选择相应拍摄频率；

以土壤水分、降水为依据，判断近期天气状况是否为“渍涝”状况，从而改变拍摄频率；

以空气温度、空气湿度、风速为依据，结合区域历史气象数据和作物性状参数，判断是否出现“干热风”，从而改变拍摄频率和拍摄高度；

以空气温度、空气湿度、风速为依据，结合区域历史气象数据和作物性状参数，判断是否出现了“冻害”，从而改变拍摄频率和拍摄高度。

2.根据权利要求1所述的基于情景感知的作物冠层图像采集方法，其特征在于，所述环境参数包括：土壤水分、土壤温度、降水、空气温湿度、光强、风速。

3.根据权利要求1所述的基于情景感知的作物冠层图像采集方法，其特征在于，所述作物冠层图像采集模式包括图像采集距离、采集频率以及采集装置参数。

4.根据权利要求1所述的基于情景感知的作物冠层图像采集方法，其特征在于，选择不同的作物冠层图像采集参数时，还根据作物种类、作物形状、作物生长周期、作物生长区域的历史气象数据进行选择。