CN108074236B - 植物浇灌提醒方法、装置、设备及存储介质 - Google Patents

植物浇灌提醒方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108074236B
CN108074236B CN201711441847.3A CN201711441847A CN108074236B CN 108074236 B CN108074236 B CN 108074236B CN 201711441847 A CN201711441847 A CN 201711441847A CN 108074236 B CN108074236 B CN 108074236B
Authority
CN
China
Prior art keywords
water content
plant
water
watering
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711441847.3A
Other languages
English (en)
Other versions
CN108074236A (zh
Inventor
陈岩
刘耀勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711441847.3A priority Critical patent/CN108074236B/zh
Publication of CN108074236A publication Critical patent/CN108074236A/zh
Application granted granted Critical
Publication of CN108074236B publication Critical patent/CN108074236B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G27/00—Self-acting watering devices, e.g. for flower-pots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Analytical Chemistry (AREA)
  • Environmental Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Water Supply & Treatment (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种植物浇灌提醒方法、装置、设备及存储介质，属于图像数据处理领域。该方法包括：获取目标视频，目标视频中包含植物的外观影像；从目标视频中提取植物不同部位对应的部位图像，部位图像包括叶部图像、茎部图像和根部图像中的至少一种；将部位图像输入含水量预测模型，得到植物的含水量，含水量预测模型根据样本部位图像和样本含水量数据训练得到；根据含水量进行浇灌提醒。本申请实施例中，由于含水量预测模型是根据大量样本部位图像和样本含水量数据训练得到，因此预测得到含水量能够真实反映出植物当前的缺水状态，使得用户能够根据浇灌提醒在合适的时机浇灌植物。

Description

植物浇灌提醒方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像数据处理领域，特别涉及一种植物浇灌提醒方法、装置、设备及存储介质。
背景技术
随着人们生活水平的不断提高，越来越多的用户选择栽种植物来提高自身的生活品质。
对栽种的植物进行浇水时，用户往往根据经验判断植物当前是否需要浇水，并根据经验控制浇水的水量。由于植物的需水情况受到多方面因素影响，因此缺乏经验的用户进行浇水的时机以及浇水的水量可能不准确，导致植物的成活率较低。
发明内容
本申请实施例提供的植物浇灌提醒方法、装置、设备及存储介质，可以解决由于缺乏经验的用户进行浇水的时机以及浇水的水量不准确，导致植物的成活率较低的问题。所述技术方案如下：
第一方面，提供了一种植物浇灌提醒方法，所述方法包括：
获取目标视频，目标视频中包含植物的外观影像；
从目标视频中提取植物不同部位对应的部位图像，部位图像包括叶部图像、茎部图像和根部图像中的至少一种；
将部位图像输入含水量预测模型，得到植物的含水量，含水量预测模型根据样本部位图像和样本含水量数据训练得到；
根据含水量进行浇灌提醒。
第二方面，提供了一种植物浇灌提醒装置，所述装置包括：
影像获取模块，用于获取目标视频，目标视频中包含植物的外观影像；
提取模块，用于从目标视频中提取植物不同部位对应的部位图像，部位图像包括叶部图像、茎部图像和根部图像中的至少一种；
预测模块，用于将部位图像输入含水量预测模型，得到植物的含水量，含水量预测模型根据样本部位图像和样本含水量数据训练得到；
提醒模块，用于根据含水量进行浇灌提醒。
第三方面，提供了一种植物浇灌提醒设备，所述设备包括处理器、与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现第一方面提供的植物浇灌提醒方法。
第四方面，一种计算机可读介质，其上存储有程序指令，所述程序指令被处理器执行时实现第一方面提供的植物浇灌提醒方法。
本申请实施例提供的技术方案带来的有益效果是：
通过获取包含植物外观影像的目标视频，从该目标视频中提取出植物不同部位的部位图像，并将提取到的部位图像输入含水量预测模型，从而利用该模型预测出植物的含水量，最终实现根据预测出的含水量进行浇灌提醒；由于含水量预测模型是根据大量样本部位图像和样本含水量数据训练得到，因此预测得到含水量能够真实反映出植物当前的缺水状态，使得用户能够根据浇灌提醒在合适的时机浇灌植物；并且，用户只需要拍摄一段包含植物外观影像的视频即可获得相应的浇灌提醒，操作流程简单，有利于提高植物的浇灌效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例示出的实施环境的环境示意图；
图2是本申请的一个示例性实施例示出的植物浇灌提醒方法的流程图；
图3是图2所示植物浇灌提醒方法的实施示意图；
图4是本申请的另一个示例性实施例示出的植物浇灌提醒方法的流程图；
图5是图4所示植物浇灌提醒方法的实施示意图；
图6是本申请的另一个示例性实施例示出的植物浇灌提醒方法的流程图；
图7是图6所示植物浇灌提醒方法的实施示意图；
图8示出了本申请一个实施例提供的植物浇灌提醒装置的结构方框图；
图9示出了本申请一个示例性实施例提供的植物浇灌提醒设备的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请涉及的若干名词进行介绍。
含水量预测模型：是一种用于根据输入植物图像(不同部位的部位图像)，预测植物含水量的数学模型。
含水量预测模型根据样本部位图像和样本含水量数据训练得到，其中，样本部位图像是预先拍摄样本植物不同部位所得到的图像，样本含水量数据即为预先测量得到的样本植物的含水量。
可选地，样本部位图像和样本含水量数据关联存储于样本库。样本库包括至少一组样本，每组样本包括同一样本植物对应的样本部位图像以及样本植物的样本含水量数据。
植物识别模型：是一种用于根据输入的(植物)部位图像，预测植物所属物种的数学模型。
植物识别模型根据样本部位图像和样本物种数据训练得到，其中，样本部位图像是拍摄样本植物不同部位所得到的图像，样本物种数据即用于指示样本植物所属的物种，其中，样本物种数据可以采用人工标注。
水量消耗模型：是一种用于根据输入的环境参数，预测植物水量消耗速率的数学模型，其中，水量消耗速率可以采用x％/h表示，即每小时消耗x％的水量。
水量消耗模型根据样本环境参数和样本水量消耗速率训练得到，其中，样本环境参数是测试样本植物的样本水量消耗速率时采集到的环境参数，该环境参数包括但不限于：温度、湿度、光照强度。
本申请实施例中的模型包括但不限于：逻辑回归(Logistic Regression，LR)模型、贝叶斯(Bayesian)模型、深度神经网络(Deep Neural Network，DNN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型等，本实施例在此不再一一列举。
图1是本申请的一个实施例示出的实施环境的环境示意图，该实施环境中包括至少一个终端110和服务器120。
终端110是具有图像采集以及网络通信功能的电子设备，该电子设备可以是智能手机、平板电脑、可穿戴式设备、智能家居设备、膝上型便携计算机和台式计算机中的至少一种。
终端110与服务器120之间通过有线或无线网络相连。
服务器120可以为独立的一台服务器主机；或者，也可以是多台服务器主机构成的服务器集群或云计算中心。
在一种可能的实施方式中，用户使用终端110拍摄包含植物外部影像的目标视频，并将目标视频上传至服务器120，服务器120接收到目标视频后，即通过预先构建的含水量预测模型得到植物的含水量，并根据含水量生成相应的浇灌提醒，从而将浇灌提醒反馈给终端110，由终端110进行显示。
可选的，针对不同类型的植物，服务器120中构建有不同的含水量预测模型。对于接收到的目标视频，服务器120首先根据目标视频识别出植物所属的物种，进而采用该物种对应的含水量预测模型预测植物的含水量，以提高预测到的含水量的准确性。
可选的，服务器120中还构建有水量消耗模型，借助该水量消耗模型，服务器120根据终端110上报的环境参数，预测植物的水量消耗速率，进而根据水量消耗速率计算出下一次浇灌时刻，以提醒用户及时进行植物浇灌。
在其他可能的实施方式中，当终端110中构建有上述模型时，终端110无需将采集到目标视频上传服务器120，而是直接在本地进行预测提醒。
可选地，本申请中，无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(HyperText Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Trassport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
为了方便描述，下述各个实施例以植物浇灌提醒方法应用于服务器为例进行说明，但并不对本申请构成限定。
图2是本申请的一个示例性实施例示出的植物浇灌提醒方法的流程图。该植物浇灌提醒方法包括以下几个步骤。
步骤201，获取目标视频，目标视频中包含植物的外观影像。
在一种可能的实施方式中，当用户需要了解植物当前是否需要浇水时，即使用终端拍摄包含一段包含植物外观影像的视频，并将该视频作为目标视频上传至服务器。相应的，服务器获取终端上传的目标视频。
可选的，为了提高后续含水量预测的准确性，使用终端拍摄目标视频时，终端的拍摄界面中显示相应的拍摄提示，提示用户从不同角度拍摄植物的外观。示意性的，终端显示的拍摄提示用于提示用户从围绕植物一周进行拍摄。
可选的，该目标视频中除了包含植物的外观影像外，还包括土壤影像和栽种环境影像等等，相应的，后续服务器即基于植物的外观影像、土壤影像和栽种环境影像预测植物当前的含水量。
步骤202，从目标视频中提取植物不同部位对应的部位图像，部位图像包括叶部图像、茎部图像和根部图像中的至少一种。
为了识别出植物不同部位的含水量，从而基于各个部位的含水量预测出植物的整体含水量，获取到目标视频后，服务器从目标视频中提取植物的外观影像，进而从植物的外观影像中提取植物不同部位对应的部位图像。可选的，该部位图像包括但不限于：叶部图像、茎部图像、根部图像、花图像和果实图像中的至少一种。
针对识别植物不同部位的方式，在一种可能的实施方式中，服务器提取到植物的外观影像后，采用预定的图像识别算法，对外观影像进行色彩识别以及形状识别，从而根据识别结果的得到外观影像中包含的部位图像。
示意性的，如图3所示，服务器从植物的外观影像31中，提取到叶部图像32、茎部图像33、根部图像34和花图像35。
步骤203，将部位图像输入含水量预测模型，得到植物的含水量，含水量预测模型根据样本部位图像和样本含水量数据训练得到。
服务器中预先构建有含水量预测模型，该含水量预测模型根据预先采集的样本部位图像和样本含水量数据训练生成。
在模型构建阶段，在一种可能的实施方式中，采用人工测量的方式测量样本植物的含水量，将该含水量作为样本含水量数据，并采用人工拍摄的方式，拍摄样本植物各个部位的部位图像，从而将该部位图像作为样本部位图像。
进一步的，服务器将样本部位图像作为样本输入数据，将样本含水量数据作为样本输出数据，训练含水量预测模型，可选的，该含水量预测模型可以采用逻辑回归模型或深度神经网络模型。
在模型使用阶段，如图3所示，服务器将提取到的部位图像(叶部图像32、茎部图像33、根部图像34和花图像35)作为输入，输入到含水量预测模型中，并将得到的模型输出作为当前植物的含水量。
在另一种可能的实施方式中，为了提高含水量预测的效率，在模型构建阶段，对于采集到的样本部位图像，服务器对其进行图像分析处理，从而得到样本植物各个部位的部位特征，其中，该部位特征包括颜色特征、形状特征、卷曲度特征(针对植物的叶片)等等。
相应的，服务器将部位特征作为样本输入数据，将样本含水量数据作为输出数据，训练含水量预测模型。
在模型使用阶段，服务器通过上述步骤202提取到当前植物的部位图像后，进一步从部位图像中提取植物的部位特征(为了降低服务器的处理压力，提取部位图像以及分析部位特征也可以由终端执行)，并将提取到的部位特征作为输入，输入到含水量预测模型中，从而将模型输出作为当前植物的含水量。
步骤204，根据含水量进行浇灌提醒。
由于不同植物对含水量的需求不同，比如，适宜在干燥环境中生长的植物对含水量的需求较低，而适宜在潮湿环境中生长的植物对含水量的需求则较高，因此，服务器获取当前植物的含水量后，进一步根据当前植物的生长习性，确定进行何种浇灌提醒。
在一种可能的实施方式中，服务器获取当前植物对应的含水量阈值(比如植物正常生长时的最低含水量)，并检测预测出的含水量是否大于该含水量阈值，若大于，确定植物当前无需浇灌，若小于，则确定植物当前需要浇灌。
可选的，当确定当前无需浇灌时，服务器向终端发送第一浇灌提醒，由终端对第一浇灌提醒进行显示，提示用户无需浇灌；当确定当前需要浇灌时，服务器向终端发送第二浇灌提醒，由终端对第二浇灌提醒进行显示，提示用户浇灌植物。
可选的，服务器向终端发送的第二浇灌提醒中还包含浇灌水量信息，以便用户根据浇灌水量信息进行浇灌，避免浇灌水量过多或过少。
本实施例中，用户中需要拍摄一段包含植物外观影像的目标视频，并将其上传至服务器，服务器即可借助预先生成的含水量预测模型，预测出植物当前的含水量，进而提醒用户是否需要浇灌植物，从而解决无经验用户浇灌时机不合适的问题。
综上所述，本实施例中，通过获取包含植物外观影像的目标视频，从该目标视频中提取出植物不同部位的部位图像，并将提取到的部位图像输入含水量预测模型，从而利用该模型预测出植物的含水量，最终实现根据预测出的含水量进行浇灌提醒；由于含水量预测模型是根据大量样本部位图像和样本含水量数据训练得到，因此预测得到含水量能够真实反映出植物当前的缺水状态，使得用户能够根据浇灌提醒在合适的时机浇灌植物；并且，用户只需要拍摄一段包含植物外观影像的视频即可获得相应的浇灌提醒，操作流程简单，有利于提高植物的浇灌效率。
相同含水量下，不同物种植物的外观特征可能不同，因此，为了提高含水量预测的准确性，在一种可能的实施方式中，服务器确定当前植物所属的目标物种，进而采用该目标物种对应的含水量预测模型预测当前植物的含水量。下面采用示意性的实施例进行说明。
图4是本申请的另一个示例性实施例示出的植物浇灌提醒方法的流程图。该植物浇灌提醒方法包括以下几个步骤。
步骤401，获取目标视频，目标视频中包含植物的外观影像。
步骤402，从目标视频中提取植物不同部位对应的部位图像，部位图像包括叶部图像、茎部图像和根部图像中的至少一种。
上述步骤401至402的实施方式与步骤201至202相似，本实施例在此不再赘述。
步骤403，将部位图像输入植物识别模型，得到植物所属的目标物种，植物识别模型根据样本部位图像和样本物种数据训练得到。
与上述步骤203中，直接将提取到的部位图像输入含水量预测模型不同，本实施例中，服务器中预先构建有植物识别模型，该植物识别模型根据预先标注物种数据的样本部位图像训练生成。
对于提取到的部位图像，服务器将该部位图像输入植物识别模型中，从而获取模型输出的当前植物所属的目标物种。
示意性的，如图5所示，服务器将从外观影像31中提取到的部位图像(叶部图像32、茎部图像33、根部图像34和花图像35)输入植物识别模型，从而得到模型输出的目标物种(月季)。
可选的，服务器识别出当前植物所属的目标物种后，向终端返回目标物种信息，终端接收到目标物种信息后，即对该目标物种信息进行显示。进一步的，服务器接收终端发送的反馈。若反馈信息指示目标物种信息准确，则进行下述步骤404；若反馈信息指示目标物种信息有误，则根据反馈信息中携带的物种信息，对植物识别模型进行更新修正。
步骤404，获取目标物种对应的目标含水量预测模型，目标含水量预测模型根据目标物种对应的样本部位图像和样本含水量训练得到。
在一种可能的实施方式中，服务器中预先构建有不同物种对应的含水量预测模型，识别出当前植物所属的目标物种后，服务器进一步从模型库中获取目标物种对应的目标含水量预测模型。
示意性的，如图5所示，服务器根据该目标物种(月季)，获取到目标含水量预测模型38。
步骤405，将部位图像输入目标含水量预测模型，得到植物的含水量。
进一步的，服务器将提取到的部位图像输入获取到的目标含水量预测模型中，从而得到当前植物的含水量。
示意性的，如图5所示，获取到当前植物的目标含水量预测模型38后，服务器即将提取到的部位图像输入目标含水量预测模型38中，得到模型输出的含水量。
上述步骤404和405中，以服务器预先训练不同物种对应的含水量预测模型为例进行说明。在另一种可能的实施方式中，服务器中仅构建有一个含水量预测模型，在模型训练阶段，服务器将物种信息和样本部位图像作为样本输入参数，将样本含水量数据作为样本输出参数，训练含水量预测模型。
相应的，在模型使用阶段，服务器将当前植物所属的目标物种和提取到的部分图像作为输入，输入含水量预测模型中，从而得到模型输出的含水量。本申请实施例并不对服务器中含水量预测模型的数量以及训练方式进行限定。
步骤406，获取植物对应的含水量阈值。
在确定当前植物是否需要浇灌时，服务器首先获取当前植物对应的含水量阈值，该含水量阈值即为当前植物正常生长时所需的最低含水量。
示意性的，服务器中存储不同物种的植物与含水量阈值之间的对应关系，该对应关系如表一所示。
表一
植物物种 含水量阈值
菊花 80％
多肉植物 90％
仙人掌 40％
可选的，服务器通过上述步骤403识别出目标物种后，即根据目标物种从表一中获取当前植物的含水量阈值。
在其他可能的实施方式中，该含水量阈值有用户认为设置，即植物的含水量低于该含水量阈值时，服务器确定需要浇灌植物。
步骤407，若含水量低于含水量阈值，则根据含水量确定浇灌水量。
当植物当前的含水量低于含水量阈值时，服务器确定需要进行植物浇灌。为了避免用户过度浇灌或浇灌不足，服务器进一步基于植物当前的含水量，确定浇灌水量。
在一种可能的实施方式中，服务器预先存储有浇灌水量与含水量提高百分比的对应关系，在确定当前植物的浇灌水量时，服务器根据含水量计算待提高含水量(100％-含水量)，进而根据待提高含水量计算得到浇灌水量。
示意性的，服务器获取到当前植物的含水量为70％，且(当前植物)浇灌水量与含水量提高百分比的对应关系指示每浇灌100ml，含水量提高20％，计算得到浇灌水量即为30％×(20％÷100ml)＝150ml。
在其他可能的实施方式中，由于浇灌水量还与土壤的含水量有关，因此，服务器还可以对目标视频中的土壤影像进行分析，得到土壤含水量估计值，并根据土壤含水量估计值和植物的含水量确定浇灌水量。本实施例并不对此进行限定。
步骤408，根据浇灌水量进行浇灌提醒。
服务器根据确定出的浇灌水量生成相应的浇灌提醒，并反馈给终端，以便终端根据该浇灌提醒进行提示。
本实施例中，服务器利用预先训练的植物识别模型，识别出当前植物所属的目标物种，进而将提取到的部位图像输入目标物种对应的目标含水量预测模型中，最终得到预测的含水量，进一步提高了含水量预测的准确性。
本实施例中，服务器根据当前植物的含水量阈值确定当前植物是否缺水，提高了植物缺水判断的准确性；进一步的，服务器根据植物当前的含水量，计算出浇灌水量，并基于浇灌水量进行浇灌提醒，从而避免用户过度浇灌或浇灌不足的问题。
在其他可能的实施方式中，当植物当前的含水量充足，即无需立即浇灌时，服务器可以进一步根据当前植物所处的环境，计算出与距离下一次浇灌时刻之间的时间间隔，并提醒用户。在图4的基础上，如图6所示，上述步骤406之后还包括如下步骤。
步骤409，若含水量高于含水量阈值，则获取环境参数，环境参数至少包括温度、湿度和光照强度中的至少一种。
由于植物消耗水量的速率和所处的环境相关，比如，所处环境的温度越高，水量消耗速率越快，所处环境的湿度越低，水量消耗速率越快，所处环境的光照强度越高，水量消耗速率越快。因此，当植物当前的含水量高于含水量阈值时，服务器进一步获取植物当前所处环境的环境参数，该环境参数有上传目标视频的终端采集。
在一种可能的实施方式中，终端与智能家居设备相连(比如空气净化器或空气加湿器)，从而在采集目标视频时，获取智能家居设备采集的温度和湿度信息；同时，在采集目标视频时，终端通过内置的环境光传感器获取当前环境的环境光强度(即光照强度)。
在其他可能的实施方式中，服务器获取的环境参数还可以包括室内室外信息的其他环境参数，本实施例并不对此进行限定。
步骤410，根据环境参数、含水量和含水量阈值计算浇灌时间间隔，浇灌时间间隔为当前时刻与下一次浇灌时刻之间的时间间隔。
进一步的，根据获取到环境参数，服务器结合植物当前的含水量以及含水量阈值，计算当前时刻与下一次浇灌时刻之间的时间间隔，以便后续基于该时间间隔提醒用户下一次浇灌的时间。可选的，本步骤包括如下步骤。
一、将环境参数输入水量消耗模型，得到水量消耗速率，水量消耗模型根据样本环境参数和样本水量消耗速率训练得到。
在一种可能的实施方式中，服务器中预先训练有不同植物对应的水量消耗模型。在模型训练阶段，服务器将样本植物所处环境的环境参数作为样本环境参数(样本输入参数)，将样本植物在当前环境下消耗水量的速率作为样本水量消耗速率(样本输出参数)，训练得到水量消耗模型。其中，该水量消耗模型可以从采用逻辑回归模型。
在模型使用阶段，服务器即将植物当前所处环境的环境参数输入水量消耗模型，得到模型输出的水量消耗速率。
示意性的，如图7所示，服务器将环境参数输入水量消耗模型39，得到输出的水量消耗速率。比如，服务器计算得到当前环境下，植物的水量消耗速率为10％/天。
二、根据含水量阈值和含水量计算可消耗水量。
为了能够在含水量低于含水量阈值时进行提醒，服务器根据含水量阈值和含水量计算可消耗水量，其中，可消耗水量＝含水量-含水量阈值。
比如，植物当前的含水量为85％，且含水量阈值为75％时，服务器计算得到可消耗水量为10％。
三、根据可消耗水量和水量消耗速率计算浇灌时间间隔。
进一步的，服务器根据植物的可消耗水量和水量消耗速率，计算得到浇灌时间间隔，其中，浇灌时间间隔＝可消耗水量÷水量消耗速率。
比如，植物的可消耗水量为10％，且水量消耗速率为10％/天时，服务器计算得到浇灌时间间隔为1天。
步骤411，根据浇灌时间间隔进行浇灌提醒。
相应的，服务器根据计算得到的浇灌时间间隔，生成相应的浇灌提醒，并反馈给终端，以便用户后续进行植物浇灌。
可选的，终端根据浇灌时间间隔生成相应的浇灌备忘信息，以便根据该浇灌备忘信息提醒用户浇灌植物。
本实施例中，服务器根据植物所处环境的环境参数、植物当前的含水量以及含水量阈值，计算出浇灌时间间隔，进而基于该浇灌时间间隔进行浇灌提醒，避免用户错过浇灌时机。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图8，其示出了本申请一个实施例提供的植物浇灌提醒装置的结构方框图，该植物浇灌提醒装置可通过软件、硬件或者两者的结合实现成为植物浇灌提醒设备的部分或者全部。该装置可以包括：影像获取模块810、提取模块820、预测模块830和提醒模块840。
影像获取模块810，用于获取目标视频，所述目标视频中包含植物的外观影像；
提取模块820，用于从所述目标视频中提取所述植物不同部位对应的部位图像，所述部位图像包括叶部图像、茎部图像和根部图像中的至少一种；
预测模块830，用于将所述部位图像输入含水量预测模型，得到所述植物的含水量，所述含水量预测模型根据样本部位图像和样本含水量数据训练得到；
提醒模块840，用于根据所述含水量进行浇灌提醒。
可选的，所述装置还包括：
物种确定模块，用于将所述部位图像输入植物识别模型，得到所述植物所属的目标物种，所述植物识别模型根据所述样本部位图像和样本物种数据训练得到；
所述预测模块830，包括：
模型获取单元，用于获取所述目标物种对应的目标含水量预测模型，所述目标含水量预测模型根据所述目标物种对应的所述样本部位图像和所述样本含水量训练得到；
预测单元，用于将所述部位图像输入所述目标含水量预测模型，得到所述植物的所述含水量。
可选的，所述提醒模块840，包括：
阈值获取单元，用于获取所述植物对应的含水量阈值；
确定单元，用于若所述含水量低于所述含水量阈值，则根据所述含水量确定浇灌水量；
第一提醒单元，用于根据所述浇灌水量进行浇灌提醒。
可选的，所述提醒模块840，还包括：
参数获取单元，用于若所述含水量高于所述含水量阈值，则获取环境参数，所述环境参数至少包括温度、湿度和光照强度中的至少一种；
计算单元，用于根据所述环境参数、所述含水量和所述含水量阈值计算浇灌时间间隔，所述浇灌时间间隔为当前时刻与下一次浇灌时刻之间的时间间隔；
第二提醒单元，用于根据所述浇灌时间间隔进行浇灌提醒。
可选的，所述计算单元，用于：
将所述环境参数输入水量消耗模型，得到水量消耗速率，所述水量消耗模型根据样本环境参数和样本水量消耗速率训练得到；
根据所述含水量阈值和所述含水量计算可消耗水量；
根据所述可消耗水量和所述水量消耗速率计算所述浇灌时间间隔。
综上所述，本实施例中，通过获取包含植物外观影像的目标视频，从该目标视频中提取出植物不同部位的部位图像，并将提取到的部位图像输入含水量预测模型，从而利用该模型预测出植物的含水量，最终实现根据预测出的含水量进行浇灌提醒；由于含水量预测模型是根据大量样本部位图像和样本含水量数据训练得到，因此预测得到含水量能够真实反映出植物当前的缺水状态，使得用户能够根据浇灌提醒在合适的时机浇灌植物；并且，用户只需要拍摄一段包含植物外观影像的视频即可获得相应的浇灌提醒，操作流程简单，有利于提高植物的浇灌效率。
本实施例中，服务器利用预先训练的植物识别模型，识别出当前植物所属的目标物种，进而将提取到的部位图像输入目标物种对应的目标含水量预测模型中，最终得到预测的含水量，进一步提高了含水量预测的准确性。
本实施例中，服务器根据当前植物的含水量阈值确定当前植物是否缺水，提高了植物缺水判断的准确性；进一步的，服务器根据植物当前的含水量，计算出浇灌水量，并基于浇灌水量进行浇灌提醒，从而避免用户过度浇灌或浇灌不足的问题。
本实施例中，服务器根据植物所处环境的环境参数、植物当前的含水量以及含水量阈值，计算出浇灌时间间隔，进而基于该浇灌时间间隔进行浇灌提醒，避免用户错过浇灌时机。
参考图9，其示出了本申请一个示例性实施例提供的植物浇灌提醒设备的结构方框图。本申请中的植物浇灌提醒设备可以包括一个或多个如下部件：处理器910和存储器920。
处理器910可以包括一个或者多个处理核心。处理器910利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行终端的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块芯片进行实现。
可选地，处理器910执行存储器920中的程序指令时实现下上述各个方法实施例提供的植物浇灌提醒方法。
存储器920可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器920包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据终端的使用所创建的数据等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本申请还提供一种计算机可读介质，其上存储有程序指令，程序指令被处理器执行时实现上述各个方法实施例提供的植物浇灌提醒方法。
本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例提供的植物浇灌提醒方法。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种植物浇灌提醒方法，其特征在于，所述方法包括：
获取目标视频，所述目标视频中包含植物的外观影像；
从所述目标视频中提取所述植物不同部位对应的部位图像，所述部位图像包括叶部图像、茎部图像和根部图像中的至少一种；
将所述部位图像输入植物识别模型，得到所述植物所属的目标物种，所述植物识别模型根据样本部位图像和样本物种数据训练得到；
获取所述目标物种对应的目标含水量预测模型，所述目标含水量预测模型根据所述目标物种对应的所述样本部位图像和样本含水量训练得到，且不同物种对应不同含水量预测模型；
将所述部位图像输入所述目标含水量预测模型，得到所述植物的含水量；
根据所述含水量进行浇灌提醒。
2.根据权利要求1所述的方法，其特征在于，所述根据所述含水量进行浇灌提醒，包括：
获取所述植物对应的含水量阈值；
若所述含水量低于所述含水量阈值，则根据所述含水量确定浇灌水量；
根据所述浇灌水量进行浇灌提醒。
3.根据权利要求2所述的方法，其特征在于，所述根据所述含水量进行浇灌提醒，还包括：
若所述含水量高于所述含水量阈值，则获取环境参数，所述环境参数至少包括温度、湿度和光照强度中的至少一种；
根据所述环境参数、所述含水量和所述含水量阈值计算浇灌时间间隔，所述浇灌时间间隔为当前时刻与下一次浇灌时刻之间的时间间隔；
根据所述浇灌时间间隔进行浇灌提醒。
4.根据权利要求3所述的方法，其特征在于，所述根据所述环境参数、所述含水量和所述含水量阈值计算浇灌时间间隔，包括：
将所述环境参数输入水量消耗模型，得到水量消耗速率，所述水量消耗模型根据样本环境参数和样本水量消耗速率训练得到；
根据所述含水量阈值和所述含水量计算可消耗水量；
根据所述可消耗水量和所述水量消耗速率计算所述浇灌时间间隔。
5.一种植物浇灌提醒装置，其特征在于，所述装置包括：
影像获取模块，用于获取目标视频，所述目标视频中包含植物的外观影像；
提取模块，用于从所述目标视频中提取所述植物不同部位对应的部位图像，所述部位图像包括叶部图像、茎部图像和根部图像中的至少一种；
物种确定模块，用于将所述部位图像输入植物识别模型，得到所述植物所属的目标物种，所述植物识别模型根据样本部位图像和样本物种数据训练得到；
包括模型获取单元和预测单元的预测模块；所述模型获取单元，用于获取所述目标物种对应的目标含水量预测模型，所述目标含水量预测模型根据所述目标物种对应的所述样本部位图像和样本含水量训练得到，且不同物种对应不同含水量预测模型；
所述预测单元，用于将所述部位图像输入所述目标含水量预测模型，得到所述植物的含水量；
提醒模块，用于根据所述含水量进行浇灌提醒。
6.根据权利要求5所述的装置，其特征在于，所述提醒模块，包括：
阈值获取单元，用于获取所述植物对应的含水量阈值；
确定单元，用于若所述含水量低于所述含水量阈值，则根据所述含水量确定浇灌水量；
第一提醒单元，用于根据所述浇灌水量进行浇灌提醒。
7.根据权利要求6所述的装置，其特征在于，所述提醒模块，还包括：
参数获取单元，用于若所述含水量高于所述含水量阈值，则获取环境参数，所述环境参数至少包括温度、湿度和光照强度中的至少一种；
计算单元，用于根据所述环境参数、所述含水量和所述含水量阈值计算浇灌时间间隔，所述浇灌时间间隔为当前时刻与下一次浇灌时刻之间的时间间隔；
第二提醒单元，用于根据所述浇灌时间间隔进行浇灌提醒。
8.根据权利要求7所述的装置，其特征在于，所述计算单元，用于：
将所述环境参数输入水量消耗模型，得到水量消耗速率，所述水量消耗模型根据样本环境参数和样本水量消耗速率训练得到；
根据所述含水量阈值和所述含水量计算可消耗水量；
根据所述可消耗水量和所述水量消耗速率计算所述浇灌时间间隔。
9.一种植物浇灌提醒设备，其特征在于，所述设备包括处理器、与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至4任一所述的植物浇灌提醒方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被处理器执行时实现如权利要求1至4任一所述的植物浇灌提醒方法。
CN201711441847.3A 2017-12-27 2017-12-27 植物浇灌提醒方法、装置、设备及存储介质 Expired - Fee Related CN108074236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711441847.3A CN108074236B (zh) 2017-12-27 2017-12-27 植物浇灌提醒方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711441847.3A CN108074236B (zh) 2017-12-27 2017-12-27 植物浇灌提醒方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108074236A CN108074236A (zh) 2018-05-25
CN108074236B true CN108074236B (zh) 2020-05-19

Family

ID=62156041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711441847.3A Expired - Fee Related CN108074236B (zh) 2017-12-27 2017-12-27 植物浇灌提醒方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108074236B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236736A (zh) * 2018-08-29 2021-01-15 苏贵生 土培植物的养护辅助方法及装置
CN109324051A (zh) * 2018-11-08 2019-02-12 北方民族大学 一种植物水分检测方法及系统
CN110231246A (zh) * 2019-05-14 2019-09-13 山东省农业可持续发展研究所 一种冬小麦干旱预警系统
CN110555416B (zh) * 2019-09-06 2021-09-03 杭州睿琪软件有限公司 一种植物识别方法及装置
CN110533547A (zh) * 2019-09-27 2019-12-03 中国农业科学院农业信息研究所 果蔬水肥调控方法和装置以及计算机可读存储介质
CN110717484B (zh) * 2019-10-11 2021-07-27 支付宝(杭州)信息技术有限公司 一种图像处理方法和系统
CN110741914A (zh) * 2019-11-05 2020-02-04 浙江大学 一种基于循环神经网络的稻田自动化节水灌溉系统及方法
JP7390655B2 (ja) * 2020-02-18 2023-12-04 学校法人立命館 植物育成システム、コントローラ、植物育成方法、及び、コンピュータプログラム
CN113584845A (zh) * 2020-04-30 2021-11-02 云米互联科技(广东)有限公司 吹风控制方法、系统、循环扇及计算机可读存储介质
CN114765729A (zh) * 2021-01-12 2022-07-19 Oppo广东移动通信有限公司 无土栽培管理系统及管理方法
CN114253326A (zh) * 2021-12-22 2022-03-29 华中科技大学 一种数字孪生技术框架下的智能家居盆栽护理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102524024A (zh) * 2012-02-16 2012-07-04 四川农业大学 基于计算机视觉的作物灌溉系统
CN102564593A (zh) * 2011-12-30 2012-07-11 河海大学常州校区 基于计算机视觉及物联网的植物生长状况监测系统
CN103308665A (zh) * 2013-05-30 2013-09-18 北京市园林科学研究所 一种城市绿地植物-土壤水分传输分析的方法及装置
WO2013087052A8 (de) * 2011-12-13 2014-01-09 Yara International Asa Verfahren und vorrichtung zum berührungslosen bestimmen von pflanzenparametern und zum verarbeiten dieser informationen
CN104866970A (zh) * 2015-05-26 2015-08-26 徐吉祥 智能种植管理方法和智能种植设备
CN106444378A (zh) * 2016-10-10 2017-02-22 重庆科技学院 基于物联网大数据分析的植物培育方法及系统
CN106707757A (zh) * 2017-01-23 2017-05-24 中国农业大学 一种灌水时间动态调控方法及其系统
CN106768066A (zh) * 2017-01-13 2017-05-31 湖南理工学院 一种种植大棚智能监测系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013087052A8 (de) * 2011-12-13 2014-01-09 Yara International Asa Verfahren und vorrichtung zum berührungslosen bestimmen von pflanzenparametern und zum verarbeiten dieser informationen
CN102564593A (zh) * 2011-12-30 2012-07-11 河海大学常州校区 基于计算机视觉及物联网的植物生长状况监测系统
CN102524024A (zh) * 2012-02-16 2012-07-04 四川农业大学 基于计算机视觉的作物灌溉系统
CN103308665A (zh) * 2013-05-30 2013-09-18 北京市园林科学研究所 一种城市绿地植物-土壤水分传输分析的方法及装置
CN104866970A (zh) * 2015-05-26 2015-08-26 徐吉祥 智能种植管理方法和智能种植设备
CN106444378A (zh) * 2016-10-10 2017-02-22 重庆科技学院 基于物联网大数据分析的植物培育方法及系统
CN106768066A (zh) * 2017-01-13 2017-05-31 湖南理工学院 一种种植大棚智能监测系统及方法
CN106707757A (zh) * 2017-01-23 2017-05-24 中国农业大学 一种灌水时间动态调控方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像处理的玉米叶片含水率诊断方法研究;徐腾飞 等;《干旱地区农业研究》;20130131;第31卷(第1期);摘要 *

Also Published As

Publication number Publication date
CN108074236A (zh) 2018-05-25

Similar Documents

Publication Publication Date Title
CN108074236B (zh) 植物浇灌提醒方法、装置、设备及存储介质
Channe et al. Multidisciplinary model for smart agriculture using internet-of-things (IoT), sensors, cloud-computing, mobile-computing & big-data analysis
CN110347127A (zh) 基于云服务的农作物种植托管系统及方法
Cieslak et al. A functional–structural kiwifruit vine model integrating architecture, carbon dynamics and effects of the environment
Lea-Cox et al. Advancing wireless sensor networks for irrigation management of ornamental crops: An overview
JP6551943B2 (ja) 生育管理装置、生育管理方法、及び、プログラム
CN111008733B (zh) 一种作物生长管控方法和系统
Karimi et al. Web-based monitoring system using Wireless Sensor Networks for traditional vineyards and grape drying buildings
CN108594775A (zh) 一种农业大数据信息采集与处理系统
CN111476149A (zh) 一种植物培育控制方法和系统
CN112836623B (zh) 设施番茄农事决策辅助方法及装置
EP3788589A1 (en) Systems and methods for applying an agricultural practice to a target agricultural field
US11805740B2 (en) Systems and methods for monitoring and controlling crop irrigation schedules
Park et al. A layered features analysis in smart farm environments
Laktionov et al. Planning of remote experimental research on effects of greenhouse microclimate parameters on vegetable crop-producing
WO2021248773A1 (zh) 作物动态监控方法、装置、设备和系统
US20170270817A1 (en) Plant Growth Advisor Device and System
CN115250887B (zh) 农作物灌溉方法、系统、设备及介质
CN109828623B (zh) 温室作物情景感知的生产管理方法及装置
CN111869532A (zh) 一种兰花自动化培植系统及培植方法
KR20210059070A (ko) 농작물 재배 모니터링 시스템 및 이를 이용한 농작물 재배 모니터링 방법
CN114332427A (zh) 一种基于数字孪生的监控农业生产的方法及装置
TWI703529B (zh) 作物生長階段計算方法及電腦程式產品
CN106790418B (zh) 一种反馈方法和装置
Kizer A precision irrigation scheme to manage plant water status using leaf monitors in almonds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200519

CF01 Termination of patent right due to non-payment of annual fee