CN109598767A - 一种基于无人机定位拍摄的果园监控系统和方法 - Google Patents
一种基于无人机定位拍摄的果园监控系统和方法 Download PDFInfo
- Publication number
- CN109598767A CN109598767A CN201811400383.6A CN201811400383A CN109598767A CN 109598767 A CN109598767 A CN 109598767A CN 201811400383 A CN201811400383 A CN 201811400383A CN 109598767 A CN109598767 A CN 109598767A
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- unmanned plane
- module
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000002420 orchard Substances 0.000 title claims abstract description 46
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 405
- 238000005259 measurement Methods 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 20
- 230000003862 health status Effects 0.000 description 24
- 241000196324 Embryophyta Species 0.000 description 23
- 230000008569 process Effects 0.000 description 18
- 230000004807 localization Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 241001394244 Planea Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 206010016165 failure to thrive Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Abstract
本发明涉及一种基于无人机定位拍摄的果园监控系统和方法，其中系统包括人机、果实标记模块、果实监控模块，无人机设有摄像模块、定位模块；摄像模块用于在无人机飞行时拍摄包含果园内参照物和果实的图像；定位模块用于获取在摄像模块拍摄图像时的无人机位置；果实标记模块用于从定位模块获取无人机位置，并确定摄像模块拍摄的图像上的果实位置，将无人机位置和图像上的果实位置作为果实的标记；果实监控模块用于根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。本发明可以便捷地标记果园中的果实并监控果实的颜色大小，使得监控人员可以及时地对异常的果实或植株进行处理。
Description
技术领域
本发明涉及果园监控技术领域，具体涉及一种基于无人机定位拍摄的果园监控系统和方法。
背景技术
果实生长健康情况会影响果园的果实产量，关系到果农的经济收益，有效地对果园进行监控，可以有利于及时处理生长异常的果实，提升果实的产出质量，最大限度地减少果农的经济损失，提高经济效益。目前主要采用人工普查的方法来监控果园的生长健康状况。采用人工普查，劳动强度大，并且耗费财力，普查效率低下，尤其是果园面积很大时。
发明内容
本发明为了克服上述现有技术所述的至少一种缺陷（不足），提供一种基于无人机定位拍摄的果园监控系统和方法，可以便捷地标记果园中的果实并监控果实的颜色大小，使得监控人员可以及时地对异常的果实或植株进行处理。
为实现本发明的目的，采用以下技术方案予以实现：
一种基于无人机定位拍摄的果园监控系统，包括无人机、果实标记模块、果实监控模块、设置在果园内的参照物，所述无人机设有摄像模块、定位模块；
所述摄像模块，用于在无人机飞行时拍摄包含果园内参照物和果实的图像；
所述定位模块，用于获取在摄像模块拍摄图像时的无人机位置；
所述果实标记模块，用于从定位模块获取无人机位置，并确定摄像模块拍摄的图像上的果实位置，将无人机位置和图像上的果实位置作为果实的标记；
所述果实监控模块，用于根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。
通过定位模块获取的摄像模块拍摄图像时的无人机位置和果实标记模块获取的图像上的果实位置可以唯一地标记果实。通过果实监控模块对参照物与果实进行比对，可以更加准确地获知果实的颜色和/或大小，对果实的健康状况作出准确的评判。当果实监控模块根据比对结果监控到某果实的颜色和/或大小出现异常时，监控人员可以根据该果实的标记，迅速查找到该果实以及该果实所在的植株，使监控人员可以及时地对异常的果实或植株进行处理。
进一步地，所述系统还包括去重模块；
所述去重模块，用于在摄像模块拍摄的不同图像之间进行图像特征比对，根据比对结果查找图像中重复拍摄的图像部分，将重复拍摄的图像部分中的果实图像部分去掉。
在无人机在飞行时拍摄果园内参照物和果实的图像，所拍摄的范围可能存在一定的重叠，为了避免对果实重复标记，可以通过去重模块对拍摄的图像进行图像特征比对，判断是否有重复拍摄的图像部分，去掉该重复拍摄的图像部分中的果实图像部分。
进一步地，所述系统还包括存储模块、比对模块；
所述存储模块，用于将果实监控模块在不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成历史数据库；
所述比对模块，用于从存储模块获取历史数据库中对应的果实生长期的正常果实的颜色和/或大小，将果实监控模块所获取的某果实的颜色与从存储模块获取的正常果实的颜色进行比对，和/或将果实监控模块所获取的某果实的大小与从存储模块获取的正常果实的大小进行比对，根据比对结果确定该果实是否正常。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，将不同果实生长期内果实监控模块所获取的果实颜色和/或大小存储起来，建立历史数据库，可以方便监控人员调取历史数据库中的数据，比较不同生长期中果实的生长情况，并且监控整个果实的生长周期，从而更及时、更深入地了解果实的健康状况。
通过比对模块将当前果实监控模块监控到的果实颜色和/或大小与历史数据库中以前种植该果实时存储的数据进行比对，可以辅助判断果实是否出现异常，提高对果实的健康状况评判的准确性。
进一步地，所述定位模块包括GNSS定位系统、IMU定位系统和记录单元；
所述GNSS定位系统，用于在摄像模块拍摄图像时测定GNSS定位坐标；
所述IMU定位系统，用于在摄像模块拍摄图像时测定IMU定位参数；
所述记录单元，用于记录GNSS定位坐标和IMU定位参数作为无人机位置。
GNSS定位系统由于其测定误差不会随着时间积累，所以可以长时间提供高精度定位信息，但是卫星信号容易受到干扰，导致GNSS定位系统的定位效果不佳；而IMU定位系统虽然抗干扰能力强，但是测定误差会随着时间积累。采用GNSS定位系统和IMU定位系统相结合的方式获取无人机位置，可以使两种定位系统互补，提高对无人机位置定位的精度和稳定性。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
进一步地，在参照物的不同方向上设有不同的标识信息，所述定位模块包括位置获取单元、信息读取单元和记录单元；
所述位置获取单元，用于确定图像上的参照物位置；
所述信息读取单元，用于读取参照物对应方向上所设的标识信息，作为目标标识信息；
所述记录单元，用于记录参照物位置和目标标识信息作为无人机位置。
不同位置的参照物设置不同的标识信息，信息读取单元读取参照物所设的标识信息就可以知道无人机在拍摄该图像时是在标识信息对应的参照物位置附近；参照物的不同方向上均设置不同的标识信息，信息读取单元读取参照物所设的标识信息还可以知道无人机相对于参照物的方位；再根据位置获取单元获取的参照物在图像上的位置，是可以唯一地标识无人机位置的。是可以对无人机位置进行标记的。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
一种基于无人机定位拍摄的果园监控方法，包括以下步骤：
在果园内设置参照物，在无人机飞行时拍摄包含果园内参照物和果实的图像，获取在拍摄图像时的无人机位置，并确定图像上的果实位置；
根据无人机位置和图像上的果实位置对果实进行标记；
根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。
通过拍摄图像时的无人机位置和图像上的果实位置可以唯一地标记果实。通过参照物与果实的比对，可以更加准确地获知果实的颜色和/或大小，对果实的健康状况作出准确的评判。当比对结果为某果实的颜色和/或大小出现异常时，监控人员可以根据该果实的标记，迅速查找到该果实以及该果实所在的植株，使监控人员可以及时地对异常的果实或植株进行处理。
进一步地，所述方法还包括以下步骤：
不同图像之间进行图像特征比对，根据比对结果查找图像中重复拍摄的图像部分，将该重复拍摄的图像部分中的果实图像部分去掉。
在无人机在飞行时拍摄果园内参照物和果实的图像，所拍摄的范围可能存在一定的重叠，为了避免对果实重复标记，可以对拍摄的图像进行图像特征比对，判断是否有重复拍摄的图像部分，去掉该重复拍摄的图像部分中的果实图像部分去掉。当判断有重复拍摄的图像部分时，保留重复拍摄的图像部分中的参照物图像部分，因为重复拍摄的图像部分中的参照物图像部分并不会导致果实重复标记，而且如果去掉参照物图像部分，可能会导致同一个图像上不是重复拍摄的图像部分中的果实无法与参照物对比，也就无法准确地获得颜色比值和/或大小比例。
进一步地，所述方法还包括以下步骤：
将不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成历史数据库；
将当前所获取的某果实的颜色与历史数据库中对应的果实生长期的正常果实的颜色进行比对，和/或将当前所获取的某果实的大小与历史数据库中对应的正常果实生长期的果实的大小进行比对。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，将不同果实生长期内监控到的正常果实颜色和/或大小存储起来，建立历史数据库，可以方便监控人员调取历史数据库中的数据，比较不同生长期中果实的生长情况，并且监控整个果实的生长周期，从而更及时、更深入地了解果实的健康状况。
将当前监控到的果实颜色和/或大小与历史数据库中以前种植该果实时存储的数据进行比对，可以辅助判断果实是否出现异常，提高对果实的健康状况评判的准确性。
进一步地，所述获取在拍摄图像时的无人机位置，具体为，在拍摄图像时测定GNSS定位坐标和IMU定位参数，记录GNSS定位坐标和IMU定位参数作为无人机位置。
GNSS定位方法由于其测定误差不会随着时间积累，所以可以长时间提供高精度定位信息，但是卫星信号容易受到干扰，导致GNSS定位方法的定位效果不佳；而IMU定位方法虽然抗干扰能力强，但是测定误差会随着时间积累。采用GNSS定位方法和IMU定位方法相结合的方式获取无人机位置，可以使两种定位方法互补，提高对无人机位置定位的精度和稳定性。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
进一步地，所述获取在拍摄图像时的无人机位置，具体为，在参照物的不同方向上设置不同的标识信息，确定图像上的参照物位置，读取参照物对应方向上所设的标识信息并作为目标标识信息，记录参照物位置和读取到的目标标识信息作为无人机位置。
不同位置的参照物设置不同的标识信息，读取参照物所设的标识信息就可以知道无人机在拍摄该图像时是在标识信息对应的参照物位置附近；参照物的不同方向上均设置不同的标识信息，读取参照物所设的标识信息还可以知道无人机相对于参照物的方位；再根据参照物在图像上的位置，是可以唯一地标识无人机位置的。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
与现有技术相比，本发明技术方案的有益效果是：
（1）通过拍摄图像时的无人机位置以及图像上的果实位置可以方便地唯一标记果实，将图像上果实的颜色、大小与参照物进行比对，可以准确地获知果实的颜色和/或大小，当果实的颜色和/或大小出现异常时，可以及时地通过果实的标记查找到该果实以及该果实所在的植株，使监控人员可以及时地对异常的果实或植株进行处理；
（2）通过对图像进行图像特征比对，可以去掉重复拍摄的果实图像部分，避免果实被重复标记；
（3）将不同果实生长期监控得到的果实颜色和/或大小进行存储形成历史数据，便于监控人员调取数据进行不同生长期中果实的生长情况比对，并且监控整个果实的生长周期，从而更及时、更深入的了解果实的生长速度和健康状况；
（4）可以将当前监控得到的果实颜色和/或大小与历史数据库中以前种植该果实时存储的数据进行比对，可以辅助判断果实是否出现异常，提高对果实的健康状况评判的准确性。
附图说明
图1是本发明实施例1的系统组成原理图。
图2是本发明实施例1的另一系统组成原理图。
图3是本发明实施例2的系统组成原理图。
图4是本发明实施例3和实施例4的方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于无人机定位拍摄的果园监控系统，包括无人机100、果实标记模块200、果实监控模块300，无人机100设有摄像模块110、定位模块120；
摄像模块110，用于在无人机100飞行时拍摄包含果园内参照物和果实的图像；
定位模块120，用于获取在摄像模块110拍摄图像时的无人机位置；
果实标记模块200，用于从定位模块120获取无人机位置，并确定摄像模块110拍摄的图像上的果实位置，将无人机位置和图像上的果实位置作为果实的标记；
果实监控模块300，用于根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。
通过定位模块120获取的摄像模块110拍摄图像时的无人机位置和果实标记模块200获取的图像上的果实位置可以唯一地标记果实。通过果实监控模块300对参照物与果实进行比对，可以更加准确地获知果实的颜色和/或大小，对果实的健康状况作出准确的评判。当果实监控模块300根据比对结果监控到某果实的颜色和/或大小出现异常时，监控人员可以根据该果实的标记，迅速查找到该果实以及该果实所在的植株，使监控人员可以及时地对异常的果实或植株进行处理。
在图像拍摄的过程中由于摄像模块110参数设置的差异（如曝光、白平衡等）以及环境因素的影响（如阴影遮挡、阳光强度等），所拍摄的图像会无法反映果实的真实颜色。同理，在摄像模块110拍摄图像的过程中由于摄像模块110参数设置的差异（如焦距、透视畸变等）以及环境因素的影响（如拍摄距离、拍摄角度等），所拍摄的图像会无法反映果实的真实大小。而通过设置参照物，可以使得参照物与果实在同样的摄像模块110参数设置下以及同样的环境下被拍摄在同一个图像中，此时在同一个图像上的参照物和果实，其大小和/或颜色更加具有可比性，通过果实监控模块300对图像上参照物和果实之间的颜色比对和大小比对，可以更加准确地评判果实的健康状况。
在具体实施过程中，参照物的大小和/或颜色可以制作成与果实在健康状态下的大小和/或颜色一致，当果实监控模块300判断同一图像上的参照物和果实，其大小和/或颜色是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。参照物的大小和/或颜色也可以制作成与果实在健康状态下的大小和/或颜色呈一定初始比例的大小和/或颜色，当果实监控模块300判断同一图像上的参照物和果实，其大小比例和/或颜色比例与初始比例是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。
在本实施例的具体实施过程中，可以针对果树的特点，选择无人机100的飞行路径和拍摄角度。例如，如果果树为低矮型植株，则无人机100飞行在果树的上方，并且俯拍参照物和果实；如果果树为高大型植株，则无人机100穿行在果树之间，并且水平拍摄参照物和果实。
在本实施例中，所述定位模块120包括GNSS定位系统121、IMU定位系统122和记录单元123；
GNSS定位系统121，用于在摄像模块110拍摄图像时测定GNSS定位坐标；
IMU定位系统122，用于在摄像模块110拍摄图像时测定IMU定位参数；
记录单元123，用于记录GNSS定位坐标和IMU定位参数作为无人机位置。
GNSS定位系统121由于其测定误差不会随着时间积累，所以可以长时间提供高精度定位信息，但是卫星信号容易受到干扰，导致GNSS定位系统121的定位效果不佳；而IMU定位系统122虽然抗干扰能力强，但是测定误差会随着时间积累。采用GNSS定位系统121和IMU定位系统122相结合的方式获取无人机位置，可以使两种定位系统互补，提高对无人机位置定位的精度和稳定性。
在本实施例的具体实施过程中，GNSS定位系统121可以测定无人机100飞行时的GNSS定位坐标（x, y），IMU定位系统122包括陀螺仪和/或加速度计，陀螺仪可以测定无人机100飞行时的变化角度φ，加速度计可以测定无人机100飞行时的加速度a，则可以采用（x,y, φ, a）作为无人机位置。
在本实施例的具体实施过程中，可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置。将无人机位置和果实位置作为果实的标记，则果实的标记可为（x, y, φ, a, p, q）。
如图2所示，优选地，所述系统还包括去重模块600；
去重模块600，用于在摄像模块110拍摄的不同图像之间进行图像特征比对，根据比对结果查找图像中重复拍摄的图像部分，将重复拍摄的图像部分中的果实图像部分去掉。
在无人机100在飞行时拍摄果园内参照物和果实的图像，所拍摄的范围可能存在一定的重叠，为了避免对果实重复标记，可以通过去重模块600对拍摄的图像进行图像特征比对，判断是否有重复拍摄的图像部分，去掉该重复拍摄的图像部分中的果实图像部分，仅保留一幅图像中的该果实图像部分即可。当去重模块600判断有重复拍摄的图像部分时，保留重复拍摄的图像部分中的参照物图像部分，因为重复拍摄的图像部分中的参照物图像部分并不会导致果实重复标记，而且如果去掉参照物图像部分，可能会导致同一个图像上不是重复拍摄的图像部分中的果实无法与参照物对比，也就无法准确地获得颜色比值和/或大小比例。在本实施例的具体实施过程中，去重模块600可以采用特征匹配算法进行图像比对，当一个图像中的某部分与另外一个图像的某部分特征匹配程度达到设定程度时，则认为该图像部分是重复拍摄的。
在本实施例的具体实施过程中，去重模块600将重复拍摄的图像部分中的果实图像部分去掉可以是将该图像部分裁剪，也可以是将该图像部分变为无内容的纯色背景。在本实施例中，所述系统还包括存储模块400；
存储模块400，用于将果实监控模块300在不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成历史数据库。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，将不同果实生长期内果实监控模块300所获取的正常果实颜色和/或大小存储起来，建立历史数据库，可以方便监控人员调取历史数据库中的数据，比较不同生长期中果实的生长情况，并且监控整个果实的生长周期，从而更及时、更深入地了解果实的健康状况。
果实监控模块300在不同果实生长期获取正常果实的颜色和/或大小的具体过程可以是：获取无人机100飞行时拍摄不同果实生长期的正常果实的图像，记录图像上正常果实的颜色参数和/或尺寸大小。
在本实施例中，所述系统还包括比对模块500；
比对模块500，用于从存储模块400获取历史数据库中对应的果实生长期的正常果实的颜色和/或大小，将果实监控模块300所获取的某果实的颜色与从存储模块400获取的正常果实的颜色进行比对，和/或将果实监控模块300所获取的某果实的大小与从存储模块400获取的正常果实的大小进行比对，根据比对结果确定该果实是否正常。
通过比对模块500将当前果实监控模块300监控到的果实颜色和/或大小与历史数据库中以前种植该果实时存储的数据进行比对，可以辅助判断果实是否出现异常，提高对果实的健康状况评判的准确性。
例如，在某个果实生长期内，果实监控模块300监控到标记为（x i , y i , φ i , a i , p i , q i ）的果实颜色是红色的，而从历史数据库获取历史种植中该果实生长期的果实颜色为黄色，则可以判断该果实存在异常。
优选地，存储模块400还用于将比对模块500中确定是异常的果实的处理方式和处理结果存储到历史数据库。
当下一次比对模块500中比对结果出现同样异常时，可以从历史数据库中查询到该异常的处理方式和处理结果，从而为下一次处理同样异常的果实提供参考，以便及时采取应对措施。
实施例2
如图3所示，本实施例2与实施例1不同之处在于，定位模块120包括位置获取单元124、信息读取单元125，记录单元126，在参照物的不同方向上设置不同的标识信息；
位置获取单元124，用于确定图像上的参照物位置；
信息读取单元125，用于读取参照物对应方向上所设的标识信息，作为目标标识信息；
记录单元126，用于记录参照物位置和目标标识信息作为无人机位置。
不同位置的参照物设置不同的标识信息，信息读取单元125读取参照物所设的标识信息就可以知道无人机在拍摄该图像时是在标识信息对应的参照物位置附近；参照物的不同方向上均设置不同的标识信息，信息读取单元125读取参照物所设的标识信息还可以知道无人机相对于参照物的方位；再根据位置获取单元124获取的参照物在图像上的位置，是可以对无人机位置进行标记的。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
在本实施例的具体实施过程中，标识信息可以为条形码或二维码，信息读取单元125相应的可以是扫码器，摄像模块110拍摄包含参照物的图像后，扫码器可以扫描图像上参照物所设条形码或二维码读取标识信息。标识信息也可以为RFID标签，信息读取单元125相应的可以是RFID读写器，在摄像模块110拍摄图像时，RFID读写器读取RFID标签获取标识信息。
在本实施例的具体实施过程中，参照物在果园园区内可以按照若干列若干行进行阵列设置，如果果园具有多个园区，则参照物的标识信息可以为（n, r, l, a），其中n、r、l、 a分别表示参照物在第n个园区、第r行、第l列、无人机相对于参照物的方位（如前、后、左、右或者东、南、西、北等）。可以采用参照物中心点的像素坐标（s, t）作为图像上的参照物位置。记录单元126将参照物位置和标识信息作为无人机位置，则无人机位置可为（n, r, l, a, s, t）。
同理，也可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置，将无人机位置和果实位置作为果实的标记，则果实的标记可为（n, r, l, a, s, t, p, q）。
实施例3
如图4所示，一种基于无人机定位拍摄的果园监控方法，包括以下步骤：
在果园内设置参照物，在无人机飞行时拍摄包含果园内参照物和果实的图像，获取在拍摄图像时的无人机位置；
根据无人机位置和图像上的果实位置对果实进行标记；
根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。
通过拍摄图像时的无人机位置和图像上的果实位置可以唯一地标记果实。通过参照物与果实的比对，可以更加准确地获知果实的颜色和/或大小，对果实的健康状况作出准确的评判。当比对结果为某果实的颜色和/或大小出现异常时，监控人员可以根据该果实的标记，迅速查找到该果实以及该果实所在的植株，使监控人员可以及时地对异常的果实或植株进行处理。
在图像拍摄的过程中由于照相机参数设置的差异（如曝光、白平衡等）以及环境因素的影响（如阴影遮挡、阳光强度等），所拍摄的图像会无法反映果实的真实颜色。同理，在图像拍摄的过程中由于照相机参数设置的差异（如焦距、透视畸变等）以及环境因素的影响（如拍摄距离、拍摄角度等），所拍摄的图像会无法反映果实的真实大小。而通过设置参照物，可以使得参照物与果实在同样的照相机参数设置下以及同样的环境下被拍摄在同一个图像中，此时在同一个图像上的参照物和果实，其大小和/或颜色更加具有可比性，通过对图像上参照物和果实之间的颜色比对和大小比对，可以更加准确地评判果实的健康状况。
在具体实施过程中，参照物的大小和/或颜色可以制作成与果实在健康状态下的大小和/或颜色一致，当同一图像上的参照物和果实，其大小和/或颜色是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。参照物的大小和/或颜色也可以制作成与果实在健康状态下的大小和/或颜色呈一定初始比例的大小和/或颜色，当同一图像上的参照物和果实，其大小比例和/或颜色比例与初始比例是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。
在本实施例的具体实施过程中，可以针对果树的特点，选择无人机的飞行路径和拍摄角度。例如，如果果树为低矮型植株，则无人机飞行在果树的上方，并且俯拍参照物和果实；如果果树为高大型植株，则无人机穿行在果树之间，并且水平拍摄参照物和果实。
在本实施例中，所述方法还包括以下步骤：
不同图像之间进行图像特征比对，根据比对结果查找图像中重复拍摄的图像部分，将重复拍摄的图像部分中的果实图像部分去掉。
在无人机在飞行时拍摄果园内参照物和果实的图像，所拍摄的范围可能存在一定的重叠，为了避免对果实重复标记，可以对拍摄的图像进行图像特征比对，判断是否有重复拍摄的图像部分，去掉该重复拍摄的图像部分中的果实图像部分去掉，仅保留一幅图像中的该果实图像部分即可。当判断有重复拍摄的图像部分时，保留重复拍摄的图像部分中的参照物图像部分，因为重复拍摄的图像部分中的参照物图像部分并不会导致果实重复标记，而且如果去掉参照物图像部分，可能会导致同一个图像上不是重复拍摄的图像部分中的果实无法与参照物对比，也就无法准确地获得颜色比值和/或大小比例。
在本实施例的具体实施过程中，可以采用特征匹配算法进行图像比对，当一个图像中的某部分与另外一个图像的某部分特征匹配程度达到设定程度时，则认为该图像部分是重复拍摄的。
在本实施例的具体实施过程中，将重复拍摄的图像部分中的果实图像部分去掉可以是将该图像部分裁剪，也可以是将该图像部分变为无内容的纯色背景。
在本实施例中，获取在拍摄图像时的无人机位置，具体为，在拍摄图像时测定GNSS定位坐标和IMU定位参数，记录GNSS定位坐标和IMU定位参数作为无人机位置。
GNSS定位方法由于其测定误差不会随着时间积累，所以可以长时间提供高精度定位信息，但是卫星信号容易受到干扰，导致GNSS定位方法的定位效果不佳；而IMU定位方法虽然抗干扰能力强，但是测定误差会随着时间积累。采用GNSS定位方法和IMU定位方法相结合的方式获取无人机位置，可以使两种定位方法互补，提高对无人机位置定位的精度和稳定性。
在本实施例的具体实施过程中，采用GNSS定位方法可以测定无人机飞行时的GNSS定位坐标（x, y），采用IMU定位方法可以测定无人机飞行时的变化角度φ和加速度a，则可以采用（x, y, φ, a）作为无人机位置。
在本实施例的具体实施过程中，可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置。将无人机位置和果实位置作为果实的标记，则果实的标记可为（x, y, φ, a, p, q）。
在本实施例中，所述方法还包括以下步骤：
将不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成历史数据库。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，将不同果实生长期内监控到的正常果实颜色和/或大小存储起来，建立历史数据库，可以方便监控人员调取历史数据库中的数据，比较不同生长期中果实的生长情况，并且监控整个果实的生长周期，从而更及时、更深入地了解果实的健康状况。
在不同果实生长期获取正常果实的颜色和/或大小的具体过程可以是：获取无人机飞行时拍摄不同果实生长期的正常果实的图像，记录图像上正常果实的颜色参数和/或尺寸大小。
在本实施例中，所述方法还包括以下步骤：
将当前所获取的某果实的颜色与历史数据库中对应的果实生长期的正常果实的颜色进行比对，和/或将当前所获取的某果实的大小与历史数据库中对应的果实生长期的正常果实的大小进行比对，根据比对结果确定该果实是否正常。
将当前监控到的果实颜色和/或大小与历史数据库中以前种植该果实时存储的数据进行比对，可以辅助判断果实是否出现异常，提高对果实的健康状况评判的准确性。
例如，在某个果实生长期内，监控到标记为（x i , y i , φ i , a i , p i , q i ）的果实颜色是红色的，而从历史数据库获取历史种植中该果实生长期的果实颜色为黄色，则可以判断该果实存在异常。
优选地，方法还包括以下步骤：
将比对结果中确定是异常的果实的处理方式和处理结果存储到历史数据库。
当下一次比对结果出现同样异常时，可以从历史数据库中查询到该异常的处理方式和处理结果，从而为下一次处理同样异常的果实提供参考，以便及时采取应对措施。
实施例4
本实施例4与实施例3不同之处在于，获取在拍摄图像时的无人机位置，具体为，在参照物的不同方向上设置不同的标识信息，确定图像上的参照物位置，读取参照物对应方向上所设的标识信息并作为目标标识信息，记录参照物位置和读取到的目标标识信息作为无人机位置。
不同位置的参照物设置不同的标识信息，读取参照物所设的标识信息就可以知道无人机在拍摄该图像时是在标识信息对应的参照物位置附近；参照物的不同方向上均设置不同的标识信息，读取参照物所设的标识信息还可以知道无人机相对于参照物的方位；再根据参照物在图像上的位置，是可以唯一地标识无人机位置的。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。在本实施例的具体实施过程中，标识信息可以为条形码或二维码，可以在图像上通过扫描条形码或二维码读取标识信息。标识信息也可以为RFID标签，可以在拍摄图像时通过RFID读写器读取RFID标签获取标识信息。
在本实施例的具体实施过程中，参照物在果园园区内可以按照若干列若干行进行阵列设置，如果果园具有多个园区，则参照物的标识信息可以为（n, r, l, a），其中n、r、l、 a分别表示参照物在第n个园区、第r行、第l列、无人机相对于参照物的方位（如前、后、左、右或者东、南、西、北等）。可以采用参照物中心点的像素坐标（s, t）作为图像上的参照物位置。将参照物位置和标识信息作为无人机位置，则无人机位置为（n, r, l, a, s, t）。
同理，也可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置，将无人机位置和果实位置作为果实的标记，则果实的标记可为（n, r, l, a, s, t, p, q）。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于无人机定位拍摄的果园监控系统，其特征在于，包括无人机、果实标记模块、果实监控模块，所述无人机设有摄像模块、定位模块；
所述摄像模块，用于在无人机飞行时拍摄包含果园内参照物和果实的图像；
所述定位模块，用于获取在摄像模块拍摄图像时的无人机位置；
所述果实标记模块，用于从定位模块获取无人机位置，并确定摄像模块拍摄的图像上的果实位置，将无人机位置和图像上的果实位置作为果实的标记；
所述果实监控模块，用于根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。
2.根据权利要求1所述的基于无人机定位拍摄的果园监控系统，其特征在于，还包括去重模块；
所述去重模块，用于在摄像模块拍摄的不同图像之间进行图像特征比对，根据比对结果查找图像中重复拍摄的图像部分，将重复拍摄的图像部分中的果实图像部分去掉。
3.根据权利要求1所述的基于无人机定位拍摄的果园监控系统，其特征在于，还包括存储模块、比对模块；
所述存储模块，用于将果实监控模块在不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成历史数据库；
所述比对模块，用于从存储模块获取历史数据库中对应的果实生长期的正常果实的颜色和/或大小，将果实监控模块所获取的某果实的颜色与从存储模块获取的正常果实的颜色进行比对，和/或将果实监控模块所获取的某果实的大小与从存储模块获取的正常果实的大小进行比对，根据比对结果确定该果实是否正常。
4.根据权利要求1-3任一项所述的基于无人机定位拍摄的果园监控系统，其特征在于，所述定位模块包括GNSS定位系统、IMU定位系统和记录单元；
所述GNSS定位系统，用于在摄像模块拍摄图像时测定GNSS定位坐标；
所述IMU定位系统，用于在摄像模块拍摄图像时测定IMU定位参数；
所述记录单元，用于记录GNSS定位坐标和IMU定位参数作为无人机位置。
5.根据权利要求1-3任一项所述的基于无人机定位拍摄的果园监控系统，其特征在于，在参照物的不同方向上设有不同的标识信息，所述定位模块包括位置获取单元、信息读取单元和记录单元；
所述位置获取单元，用于确定图像上的参照物位置；
所述信息读取单元，用于读取参照物对应方向上所设的标识信息，作为目标标识信息；
所述记录单元，用于记录参照物位置和目标标识信息作为无人机位置。
6.一种基于无人机定位拍摄的果园监控方法，其特征在于，包括以下步骤：
在果园内设置参照物，在无人机飞行时拍摄包含果园内参照物和果实的图像，获取在拍摄图像时的无人机位置，并确定图像上的果实位置；
根据无人机位置和图像上的果实位置对果实进行标记；
根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小。
7.根据权利要求6所述的基于无人机定位拍摄的果园监控方法，其特征在于，还包括以下步骤：
不同图像之间进行图像特征比对，根据比对结果查找图像中重复拍摄的图像部分，将该重复拍摄的图像部分中的果实图像部分去掉。
8.根据权利要求6所述的基于无人机定位拍摄的果园监控方法，其特征在于，还包括以下步骤：
将不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成历史数据库；
将当前所获取的某果实的颜色与历史数据库中对应的果实生长期的正常果实的颜色进行比对，和/或将当前所获取的某果实的大小与历史数据库中对应的果实生长期的正常果实的大小进行比对，根据比对结果确定该果实是否正常。
9.根据权利要求6-8任一项所述的基于无人机定位拍摄的果园监控方法，其特征在于，所述获取在拍摄图像时的无人机位置，具体为，在拍摄图像时测定GNSS定位坐标和IMU定位参数，记录GNSS定位坐标和IMU定位参数作为无人机位置。
10.根据权利要求6-8任一项所述的基于无人机定位拍摄的果园监控方法，其特征在于，所述获取在拍摄图像时的无人机位置，具体为，在参照物的不同方向上设置不同的标识信息，确定图像上的参照物位置，读取参照物对应方向上所设的标识信息并作为目标标识信息，记录参照物位置和读取到的目标标识信息作为无人机位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811400383.6A CN109598767A (zh) | 2018-11-22 | 2018-11-22 | 一种基于无人机定位拍摄的果园监控系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811400383.6A CN109598767A (zh) | 2018-11-22 | 2018-11-22 | 一种基于无人机定位拍摄的果园监控系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109598767A true CN109598767A (zh) | 2019-04-09 |
Family
ID=65959138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811400383.6A Pending CN109598767A (zh) | 2018-11-22 | 2018-11-22 | 一种基于无人机定位拍摄的果园监控系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598767A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI760782B (zh) * | 2019-07-08 | 2022-04-11 | 國立臺灣大學 | 用於地理區域上果園辨識之系統及方法 |
| CN114931072A (zh) * | 2022-06-30 | 2022-08-23 | 山东有人智能科技有限公司 | 基于ai识别与大数据技术的柑橘种植方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065149A (zh) * | 2012-12-21 | 2013-04-24 | 上海交通大学 | 网纹甜瓜果实表型提取与量化方法 |
| CN103913124A (zh) * | 2014-03-18 | 2014-07-09 | 北京农业信息技术研究中心 | 果实外观品质自动监测系统及监测方法 |
| CN106289184A (zh) * | 2016-11-01 | 2017-01-04 | 华中师范大学 | 一种无gnss信号和无控制点下无人机协同视觉形变监测方法 |
| CN106778888A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大学 | 一种基于无人机遥感的果园病虫害普查系统和方法 |
| CN108801350A (zh) * | 2018-06-22 | 2018-11-13 | 江苏省农业科学院 | 一种基于无人机低空遥感技术的果树生长监测系统 |
-
2018
- 2018-11-22 CN CN201811400383.6A patent/CN109598767A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065149A (zh) * | 2012-12-21 | 2013-04-24 | 上海交通大学 | 网纹甜瓜果实表型提取与量化方法 |
| CN103913124A (zh) * | 2014-03-18 | 2014-07-09 | 北京农业信息技术研究中心 | 果实外观品质自动监测系统及监测方法 |
| CN106289184A (zh) * | 2016-11-01 | 2017-01-04 | 华中师范大学 | 一种无gnss信号和无控制点下无人机协同视觉形变监测方法 |
| CN106778888A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大学 | 一种基于无人机遥感的果园病虫害普查系统和方法 |
| CN108801350A (zh) * | 2018-06-22 | 2018-11-13 | 江苏省农业科学院 | 一种基于无人机低空遥感技术的果树生长监测系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI760782B (zh) * | 2019-07-08 | 2022-04-11 | 國立臺灣大學 | 用於地理區域上果園辨識之系統及方法 |
| CN114931072A (zh) * | 2022-06-30 | 2022-08-23 | 山东有人智能科技有限公司 | 基于ai识别与大数据技术的柑橘种植方法及系统 |
| CN114931072B (zh) * | 2022-06-30 | 2023-09-22 | 山东有人智能科技有限公司 | 基于ai识别与大数据技术的柑橘种植方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping | |
| US20210056685A1 (en) | Method and device for monitoring comprehensive growth of potted lettuce | |
| EP2742319B1 (de) | Messgerät zur bestimmung der räumlichen lage eines messhilfsinstruments | |
| CN109598215A (zh) | 一种基于无人机定位拍摄的果园建模分析系统和方法 | |
| Khanna et al. | Beyond point clouds-3d mapping and field parameter measurements using uavs | |
| CN102246205B (zh) | 用于测量植物的叶盘生长的方法 | |
| CN110231023B (zh) | 一种智能视觉采样方法、系统及装置 | |
| GB2598012A (en) | System and method for crop monitoring | |
| Magistri et al. | Segmentation-based 4D registration of plants point clouds for phenotyping | |
| CN108140118A (zh) | 用于识别至少一株种植在耕地上的植物的方法和信息系统 | |
| KR101974638B1 (ko) | 식물 영상 처리 장치 및 방법 | |
| CN108827297A (zh) | 一种基于图像的无人机农业巡检轨迹实时规划方法 | |
| Karkee et al. | A method for three-dimensional reconstruction of apple trees for automated pruning | |
| CN109816680A (zh) | 一种农作物株高的高通量计算方法 | |
| CN109598767A (zh) | 一种基于无人机定位拍摄的果园监控系统和方法 | |
| CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
| CN110070571A (zh) | 一种基于深度相机的毛竹形态参数检测方法 | |
| Rizk et al. | Robotized early plant health monitoring system | |
| CN106339717A (zh) | 一种基于混合多尺度特征模型的活立木快速识别方法 | |
| Nielsen et al. | Orchard and tree mapping and description using stereo vision and lidar | |
| CN113554691B (zh) | 一种植株高度测量方法 | |
| CN117197595A (zh) | 基于边缘计算的果树生育期识别方法、装置及管理平台 | |
| CN117115811A (zh) | 一种不依赖无人机的薯类作物垄线高精度确定方法 | |
| CN115797764B (zh) | 一种应用于耕地非农化监测的遥感大数据解译方法及系统 | |
| Wang et al. | Detection of corn plant population and row spacing using computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |
|
| RJ01 | Rejection of invention patent application after publication |