CN109598215A - 一种基于无人机定位拍摄的果园建模分析系统和方法 - Google Patents
一种基于无人机定位拍摄的果园建模分析系统和方法 Download PDFInfo
- Publication number
- CN109598215A CN109598215A CN201811401618.3A CN201811401618A CN109598215A CN 109598215 A CN109598215 A CN 109598215A CN 201811401618 A CN201811401618 A CN 201811401618A CN 109598215 A CN109598215 A CN 109598215A
- Authority
- CN
- China
- Prior art keywords
- fruit
- unmanned plane
- image
- module
- orchard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002420 orchard Substances 0.000 title claims abstract description 48
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title abstract description 36
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 474
- 230000012010 growth Effects 0.000 claims description 65
- 230000002159 abnormal effect Effects 0.000 claims description 59
- 238000012544 monitoring process Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 30
- 230000005856 abnormality Effects 0.000 claims description 25
- 230000005094 fruit set Effects 0.000 claims description 3
- 208000015181 infectious disease Diseases 0.000 claims description 3
- 230000003862 health status Effects 0.000 abstract description 16
- 241000196324 Embryophyta Species 0.000 description 38
- 230000008569 process Effects 0.000 description 11
- 230000004807 localization Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001394244 Planea Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 206010016165 failure to thrive Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于无人机定位拍摄的果园建模分析系统和方法，其中系统包括无人机、果实标记模块、虚拟建模模块，果实标记模块用于从定位模块获取无人机位置，并确定摄像模块拍摄的图像上的果实图像位置，根据无人机位置和果实图像位置标记图像上的果实；虚拟建模模块用于计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。本发明可以便捷地标记果园中的果实并建模分析果实和果实所在植株的健康状况。
Description
技术领域
本发明涉及果园监控技术领域，具体涉及一种基于无人机定位拍摄的果园建模分析系统和方法。
背景技术
果实生长健康情况会影响果园的果实产量，关系到果农的经济收益，有效地对果园进行监控，可以有利于处理生长异常的果实，提升果实的产出质量，最大限度地减少果农的经济损失，提高经济效益。目前主要采用人工普查的方法来监控果园的生长健康状况。采用人工普查，劳动强度大，并且耗费财力，普查效率低下，尤其是果园面积很大时。
发明内容
本发明为了克服上述现有技术所述的至少一种缺陷（不足），提供一种基于无人机定位拍摄的果园建模分析系统和方法，可以便捷地标记果园中的果实并建模分析果实和/或果实所在植株的健康状况，使得监控人员可以及时地对异常的果实或植株进行处理。
为实现本发明的目的，采用以下技术方案予以实现：
一种基于无人机定位拍摄的果园建模分析系统，包括无人机、果实标记模块、虚拟建模模块，所述无人机设有摄像模块、定位模块；
所述摄像模块，用于在无人机飞行时拍摄果园内果实的图像；
所述定位模块，用于获取在摄像模块拍摄图像时的无人机位置；
所述果实标记模块，用于从定位模块获取无人机位置，并确定摄像模块拍摄的图像上的果实图像位置，根据无人机位置和果实图像位置标记图像上的果实；
所述虚拟建模模块，用于计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。
通过定位模块获取的摄像模块拍摄图像时的无人机位置和果实标记模块获取的果实图像位置可以唯一地标记果实。虚拟建模模块通过计算可以调取摄像模块从多个不同角度拍摄的某果实的图像，根据这些不同角度拍摄的某果实的图像可以建立该果实和/或果实所在植株的三维模型，通过对三维模型的分析，可以更加方便直观、准确有效地分析果实和/或果实所在植株的健康状况，使得监控人员可以及时地对异常的果实或植株进行处理。
进一步地，所述系统还包括生长监控模块；
所述生长监控模块，用于根据摄像模块所拍摄的图像上和/或虚拟建模模块所建立的三维模型上果实的颜色和/或形态，判断果实所在的生长期，记录生长期的持续时间。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，通过生长监控模块判断果实所在的生长期并记录生长期的持续时间，可以监控果实的生长速度，使得监控人员可以及时地对生长速度异常的果实和/或植株进行处理。
进一步地，所述系统还包括异常检测模块；
所述异常检测模块，用于根据摄像模块所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态之间的差异，和/或与种植经验数据库中果实的颜色和/或形态之间的差异，判断果实是否为异常果实。
通过异常检测模块可以对摄像模块所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实；通过异常检测模块也可以对摄像模块所拍摄的图像上果实的颜色和/或形态与种植经验数据库中果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实。
异常检测模块可以智能快速地检测到异常果实，而不需要人工进行异常果实筛查，从而提高果园的异常检测效率。
进一步地，所述目标果实为异常检测模块所判断出的异常果实。
当异常检测模块判断出某果实为异常果实时，虚拟建模模块会以该异常果实为目标果实，对该异常果实进行三维模型的建立，可以有针对性地分析异常果实的生长健康状况。
进一步地，所述系统还包括传染性检测模块；
所述传染性检测模块，用于根据异常果实的数量和/或分布范围，判断果实异常的传染性。
通过传染性检测模块对异常果实的数量和/或分布进行分析，可以检测果实的异常是否具有传染性以及传染性的严重程度，针对果实异常的传染性可以提醒监控人员及时采取隔离措施以及进行异常治理。
一种基于无人机定位拍摄的果园建模分析方法，包括以下步骤：
在无人机飞行时拍摄果园内果实的图像，获取在拍摄图像时的无人机位置，并确定图像上的果实位置；
根据无人机位置和图像上的果实位置标记图像上的果实；
计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。
通过拍摄图像时的无人机位置和果实图像位置可以唯一地标记果实。通过计算可以调取从多个不同角度拍摄的某果实的图像，根据这些不同角度拍摄的某果实的图像可以建立该果实和/或果实所在植株的三维模型，通过对三维模型的分析，可以更加方便直观、准确有效地分析果实和/或果实所在植株的生长健康状况。
进一步地，所述方法还包括以下步骤：
根据所拍摄的图像上和/或所建立的三维模型上果实的颜色和/或形态，判断果实所在的生长期，记录生长期的持续时间。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，判断果实所在的生长期并记录生长期的持续时间，可以监控果实的生长速度。
进一步地，所述方法还包括以下步骤：
根据所拍摄的图像上某果实的颜色和/或形态与周围果实的颜色和/或形态之间的差异，和/或与种植经验数据库中果实的颜色和/或形态之间的差异，判断该果实是否为异常果实。
可以对摄像模块所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实；也可以对摄像模块所拍摄的图像上果实的颜色和/或形态与种植经验数据库中果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实。由此，可以智能快速地检测到异常果实，而不需要人工进行异常果实筛查，从而提高果园的异常检测效率。
进一步地，所述目标果实为判断出的异常果实。
当检测出某果实为异常果实时，以该异常果实为目标果实，对该异常果实进行三维模型的建立，可以有针对性地分析异常果实的生长健康状况。
进一步地，所述方法还包括以下步骤：
根据异常果实的数量和/或分布范围，判断果实异常的传染性。
通过对异常果实的数量和/或分布进行分析，可以检测果实的异常是否具有传染性以及传染性的严重程度，针对果实异常的传染性可以提醒监控人员及时采取隔离措施以及进行异常治理。
与现有技术相比，本发明技术方案的有益效果是：
（1）通过拍摄图像时的无人机位置以及果实图像位置可以方便地唯一标记果实，计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，并根据果实标记的无人机位置和果实图像位置调取不同角度拍摄的果实图像，根据这些果实图像可以建立该果实和/或果实所在植株的三维模型，方便直观、准确有效地对果实和/或果实所在植株的生长健康状况；
（2）根据所拍摄的果实图像和/或所建立的三维模型，可以判断果实所在的生长期并记录生长期的持续时间，从而监控果实的生长速度；
（3）根据所拍摄的果实图像中果实的颜色和/或形态可以判断图像上的果实是否为异常果实，可以针对该异常果实进行三维建模；
（4）通过分析异常果实的数量和/或分布范围，判断果实异常的传染性，可以使得监控人员及时采取隔离措施以及进行异常治理。
附图说明
图1是本发明实施例的系统组成原理图。
图2是本发明实施例的无人机飞行时拍摄果园内果实的示意图。
图3是本发明实施例的另一系统组成原理图。
图4是本发明实施例的方法流程图。
图5是本发明实施例的另一方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
如图1所示，一种基于无人机定位拍摄的果园建模分析系统，包括无人机100、果实标记模块200、虚拟建模模块300，无人机100设有摄像模块110、定位模块120；
摄像模块110，用于在无人机100飞行时拍摄果园内果实的图像；
定位模块120，用于获取在摄像模块110拍摄图像时的无人机位置；
果实标记模块200，用于从定位模块120获取无人机位置，并确定摄像模块110拍摄的图像上的果实图像位置，根据无人机位置和果实图像位置标记图像上的果实；
虚拟建模模块300，用于计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块110拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。
通过定位模块120获取的摄像模块110拍摄图像时的无人机位置和果实标记模块200获取的果实图像位置可以唯一地标记果实。虚拟建模模块300通过计算可以调取摄像模块110从多个不同角度拍摄的某果实的图像，根据这些不同角度拍摄的某果实的图像可以建立该果实和/或果实所在植株的三维模型，通过对三维模型的分析，可以更加方便直观、准确有效地分析果实和/或果实所在植株的生长健康状况，使得监控人员可以及时地对异常的果实或植株进行处理。
如图2所示，无人机100在位置A-D均可以拍摄到目标果实。在无人机位置为A和D时，果实图像位置在图像的中间；在无人机位置为B时，果实图像位置在图像的左部；在无人机位置为C时，果实图像位置在图像的右部。
虚拟建模模块300利用不同角度拍摄的果实图像建立果实和/或植株的三维模型，可以是从多幅图像上获取三维特征点，用B样条曲线拟合构建果实的边缘和/或植株中叶片的边缘、主脉，并用Delaunay三角化建立叶片的三角化网格模型，从而建立植株叶片的三维模型；也可以是从多幅图像文件中提取EXIF信息并结合相机内外参数形成投影矩阵，再通过像素邻域SSD值匹配图像像素以获得视差图来建立果实和/或植株的三维模型；还可以是对多幅图像结合SIFT算法和区域多角度立体技术建立果实和/或植株的三维模型。
若建立果实三维模型，则可以全面地分析果实的颜色、大小、倾向、方位、扭曲角度、表明光滑程度等；若建立整个植株的三维模型，则可以全面地分析植株上每个叶片和果实的颜色分布、倾向、方位、扭曲角度、表明光滑程度等。可以针对某种果实病害，从三维模型中提取有利于评估该果实病害的参数。
若从三维模型中分析到果实或叶片的方位比较集中在一个方向，则表明果实或叶片所在的植株收到了不均衡的日照，此时可以提醒监控人员适当采取人工照明，增强日照较弱方向上的光照强度和光照时间。
若从三维模型中分析到果实的倾向比较集中地向下，则表明果实的重量较大，枝条承受较大的力，此时可以提醒监控人员适当地采取固定果实的措施，使得枝条不容易被果实压断，保证果实的继续生长。
若从三维模型中分析到果实的扭曲角度较大，则表明果实的形态扭曲较严重，可能是因为果实过于密集，果实的生长空间受到了挤压，此时可以提醒监控人员适当地采取枝条隔开固定的措施，使得带有果实的枝条相互隔开足够的间距，为果实的生长提供足够大的空间。
优选地，定位模块120可以包括记录单元、GNSS定位系统、IMU定位系统；
GNSS定位系统，用于测定GNSS定位坐标；
IMU定位系统，用于测定IMU定位参数；
记录单元，用于在摄像模块110拍摄图像时记录GNSS定位坐标和IMU定位参数作为无人机位置。
GNSS定位系统由于其测定误差不会随着时间积累，所以可以长时间提供高精度定位信息，但是卫星信号容易受到干扰，导致GNSS定位系统的定位效果不佳；而IMU定位系统虽然抗干扰能力强，但是测定误差会随着时间积累。采用GNSS定位系统和IMU定位系统相结合的方式获取无人机位置，可以使两种定位系统互补，提高对无人机位置定位的精度和稳定性。
在本实施例的具体实施过程中，GNSS定位系统可以测定无人机100飞行时的GNSS定位坐标（x, y），IMU定位系统包括陀螺仪和/或加速度计，陀螺仪可以测定无人机100飞行时的变化角度φ，加速度计可以测定无人机100飞行时的加速度a，则可以采用（x, y, φ, a）作为无人机位置。
在本实施例的具体实施过程中，可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置。将无人机位置和果实位置作为果实的标记，则果实的标记可为（x, y, φ, a, p, q）。
优选地，定位模块120包括位置获取单元、信息读取单元和记录单元，在参照物的不同方向上设置不同的标识信息；
位置获取单元，用于确定图像上的参照物位置；
信息读取单元，用于读取参照物对应方向上所设的标识信息，作为目标标识信息；
记录单元，用于记录参照物位置和目标标识信息作为无人机位置。
不同位置的参照物设置不同的标识信息，信息读取单元读取参照物所设的标识信息就可以知道无人机在拍摄该图像时是在标识信息对应的参照物位置附近；参照物的不同方向上均设置不同的标识信息，信息读取单元读取参照物所设的标识信息还可以知道无人机相对于参照物的方位；再根据位置获取单元获取的参照物在图像上的位置，是可以对无人机位置进行标记的。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
在本实施例的具体实施过程中，标识信息可以为条形码或二维码，信息读取单元相应的可以是扫码器，摄像模块110拍摄包含参照物的图像后，扫码器可以扫描图像上参照物所设条形码或二维码读取标识信息。标识信息也可以为RFID标签，信息读取单元相应的可以是RFID读写器，在摄像模块110拍摄图像时，RFID读写器读取RFID标签获取标识信息。
在本实施例的具体实施过程中，参照物在果园园区内可以按照若干列若干行进行阵列设置，如果果园具有多个园区，则参照物的标识信息可以为（n, r, l, a），其中n、r、l、 a分别表示参照物在第n个园区、第r行、第l列、无人机相对于参照物的方位（如前、后、左、右或者东、南、西、北等）。可以采用参照物中心点的像素坐标（s, t）作为图像上的参照物位置。记录单元将参照物位置和标识信息作为无人机位置，则无人机位置可为（n, r, l, a, s, t）。
同理，也可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置，将无人机位置和果实位置作为果实的标记，则果实的标记可为（n, r, l, a, s, t, p, q）。
如图3所示，在本实施例中，所述系统还包括生长监控模块400；
生长监控模块400，用于根据摄像模块110所拍摄的图像上和/或虚拟建模模块300所建立的三维模型上果实的颜色和/或形态，判断果实所在的生长期，记录生长期的持续时间。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，通过生长监控模块400判断果实所在的生长期并记录生长期的持续时间，可以监控果实的生长速度，使得监控人员可以及时地对生长速度异常的果实和/或植株进行处理。
例如，当某果实的生长期持续时间与种植经验值相比过长或过短，可以判断果实为晚熟、早熟或正常发育，针对晚熟或早熟的情况可以提醒监控人员及时更改施肥策略。
在本实施例中，所述系统还包括异常检测模块500；
异常检测模块500，用于根据摄像模块110所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态之间的差异，和/或与种植经验数据库中果实的颜色和/或形态之间的差异，判断果实是否为异常果实。
通过异常检测模块500可以对摄像模块110所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实；通过异常检测模块500也可以对摄像模块110所拍摄的图像上果实的颜色和/或形态与种植经验数据库中果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实。
异常检测模块500可以智能快速地检测到异常果实，而不需要人工进行异常果实筛查，从而提高果园的异常检测效率。
在本实施例中，目标果实为异常检测模块500所判断出的异常果实。
当异常检测模块500判断出某果实为异常果实时，虚拟建模模块300会以该异常果实为目标果实，对该异常果实进行三维模型的建立，可以有针对性地分析异常果实的生长健康状况。
在本实施例中，所述系统还包括传染性检测模块600；
传染性检测模块600，用于根据异常果实的数量和/或分布范围，判断果实异常的传染性。
通过传染性检测模块600对异常果实的数量和/或分布进行分析，可以检测果实的异常是否具有传染性以及传染性的严重程度，针对果实异常的传染性可以提醒监控人员及时采取隔离措施以及进行异常治理。
优选地，所述系统还包括果实监控模块，摄像模块110在无人机100飞行时所拍摄的图像还包含果园内的参照物；果实监控模块用于根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小；异常检测模块500还可以用于根据果实监控模块所获取的果实的颜色和/或大小与与种植经验数据库中果实的颜色和/或大小进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实。
通过果实监控模块对参照物与果实进行比对，可以更加准确地获知果实的颜色和/或大小，对果实的健康状况作出准确的评判。
在图像拍摄的过程中由于照相机参数设置的差异（如曝光、白平衡等）以及环境因素的影响（如阴影遮挡、阳光强度等），所拍摄的图像会无法反映果实的真实颜色。同理，在图像拍摄的过程中由于照相机参数设置的差异（如焦距、透视畸变等）以及环境因素的影响（如拍摄距离、拍摄角度等），所拍摄的图像会无法反映果实的真实大小。而通过设置参照物，可以使得参照物与果实在同样的照相机参数设置下以及同样的环境下被拍摄在同一个图像中，此时在同一个图像上的参照物和果实，其大小和/或颜色更加具有可比性，通过对图像上参照物和果实之间的颜色比对和大小比对，可以更加准确地评判果实的健康状况。
在具体实施过程中，参照物的大小和/或颜色可以制作成与果实在健康状态下的大小和/或颜色一致，当同一图像上的参照物和果实，其大小和/或颜色是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。参照物的大小和/或颜色也可以制作成与果实在健康状态下的大小和/或颜色呈一定初始比例的大小和/或颜色，当同一图像上的参照物和果实，其大小比例和/或颜色比例与初始比例是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。
优选地，所述系统还包括存储模块，用于将果实监控模块在不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成所述种植经验数据库。
将不同果实生长期内果实监控模块所获取的正常果实颜色和/或大小存储起来，可以建立种植经验数据库，可以方便监控人员调取种植经验数据库中的数据，作为果园健康监控的参考。
如图4所示，一种基于无人机定位拍摄的果园建模分析方法，包括以下步骤：
在无人机飞行时拍摄果园内果实的图像，获取在拍摄图像时的无人机位置，并确定图像上的果实位置；
根据无人机位置和图像上的果实位置标记图像上的果实；
计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。
通过拍摄图像时的无人机位置和图像上的果实位置可以唯一地标记果实。通过计算可以调取从多个不同角度拍摄的某果实的图像，根据这些不同角度拍摄的某果实的图像可以建立该果实和/或果实所在植株的三维模型，通过对三维模型的分析，可以更加方便直观、准确有效地分析果实和/或果实所在植株的生长健康状况，使得监控人员可以及时地对异常的果实或植株进行处理。
如图2所示，无人机在位置A-D均可以拍摄到目标果实。在无人机位置为A和D时，果实图像位置在图像的中间；在无人机位置为B时，果实图像位置在图像的左部；在无人机位置为C时，果实图像位置在图像的右部。
利用不同角度拍摄的果实图像建立果实和/或植株的三维模型，可以是从多幅图像上获取三维特征点，用B样条曲线拟合构建果实的边缘和/或植株中叶片的边缘、主脉，并用Delaunay三角化建立叶片的三角化网格模型，从而建立植株叶片的三维模型；也可以是从多幅图像文件中提取EXIF信息并结合相机内外参数形成投影矩阵，再通过像素邻域SSD值匹配图像像素以获得视差图来建立果实和/或植株的三维模型；还可以是对多幅图像结合SIFT算法和区域多角度立体技术建立果实和/或植株的三维模型。
若建立果实三维模型，则可以全面地分析果实的颜色、大小、倾向、方位、扭曲角度、表明光滑程度等；若建立整个植株的三维模型，则可以全面地分析植株上每个叶片和果实的颜色分布、倾向、方位、扭曲角度、表明光滑程度等。可以针对某种果实病害，从三维模型中提取有利于评估该果实病害的参数。
若从三维模型中分析到果实或叶片的方位比较集中在一个方向，则表明果实或叶片所在的植株收到了不均衡的日照，此时可以提醒监控人员适当采取人工照明，增强日照较弱方向上的光照强度和光照时间。
若从三维模型中分析到果实的倾向比较集中地向下，则表明果实的重量较大，枝条承受较大的力，此时可以提醒监控人员适当地采取固定果实的措施，使得枝条不容易被果实压断，保证果实的继续生长。
若从三维模型中分析到果实的扭曲角度较大，则表明果实的形态扭曲较严重，可能是因为果实过于密集，果实的生长空间受到了挤压，此时可以提醒监控人员适当地采取枝条隔开固定的措施，使得带有果实的枝条相互隔开足够的间距，为果实的生长提供足够大的空间。
优选地，获取在拍摄图像时的无人机位置，可以具体为，在拍摄图像时测定GNSS定位坐标和IMU定位参数，记录GNSS定位坐标和IMU定位参数作为无人机位置。
GNSS定位方法由于其测定误差不会随着时间积累，所以可以长时间提供高精度定位信息，但是卫星信号容易受到干扰，导致GNSS定位方法的定位效果不佳；而IMU定位方法虽然抗干扰能力强，但是测定误差会随着时间积累。采用GNSS定位方法和IMU定位方法相结合的方式获取无人机位置，可以使两种定位方法互补，提高对无人机位置定位的精度和稳定性。
在本实施例的具体实施过程中，采用GNSS定位方法可以测定无人机飞行时的GNSS定位坐标（x, y），采用IMU定位方法可以测定无人机飞行时的变化角度φ和加速度a，则可以采用（x, y, φ, a）作为无人机位置。
在本实施例的具体实施过程中，可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置。将无人机位置和果实位置作为果实的标记，则果实的标记可为（x, y, φ, a, p, q）。
优选地，获取在拍摄图像时的无人机位置，也可以具体为，在果园内设置参照物并且在参照物的不同方向上设置不同的标识信息，确定图像上的参照物位置，读取图像上的参照物对应方向上所设的标识信息并作为目标标识信息，将参照物位置和读取到的目标标识信息作为无人机位置。
不同位置的参照物设置不同的标识信息，读取参照物所设的标识信息就可以知道无人机在拍摄该图像时是在标识信息对应的参照物位置附近；参照物的不同方向上均设置不同的标识信息，读取参照物所设的标识信息还可以知道无人机相对于参照物的方位；再根据参照物在图像上的位置，是可以唯一地标识无人机位置的。采用该无人机位置以及图像上的果实位置对果实进行标记，监控人员可以根据该果实的标记迅速查找到该果实以及该果实所在的植株。
在本实施例的具体实施过程中，标识信息可以为条形码或二维码，可以在图像上通过扫描条形码或二维码读取标识信息。标识信息也可以写入RFID标签，可以通过读取RFID标签获取标识信息。
在本实施例的具体实施过程中，标识信息可以为条形码或二维码，可以在图像上通过扫描条形码或二维码读取标识信息。标识信息也可以为RFID标签，可以在图像上通过读取RFID标签获取标识信息。
在本实施例的具体实施过程中，参照物在果园园区内可以按照若干列若干行进行阵列设置，如果果园具有多个园区，则参照物的标识信息可以为（n, r, l, a），其中n、r、l、 a分别表示参照物在第n个园区、第r行、第l列、无人机相对于参照物的方位（如前、后、左、右或者东、南、西、北等）。可以采用参照物中心点的像素坐标（s, t）作为图像上的参照物位置。将参照物位置和标识信息作为无人机位置，则无人机位置为（n, r, l, a, s, t）。
同理，也可以采用果实中心点的像素坐标（p, q）作为图像上的果实位置，将无人机位置和果实位置作为果实的标记，则果实的标记可为（n, r, l, a, s, t, p, q）。
在本实施例中，所述方法还包括以下步骤：
根据所拍摄的图像上和/或所建立的三维模型上果实的颜色和/或形态，判断果实所在的生长期，记录生长期的持续时间。
根据实际情况可以将果实的生长周期划分为不同的生长期，例如种子期、成长期、成熟期等，判断果实所在的生长期并记录生长期的持续时间，可以监控果实的生长速度。
例如，当某果实的生长期持续时间与种植经验值相比过长或过短，可以判断果实为晚熟、早熟或正常发育，针对晚熟或早熟的情况可以提醒监控人员及时更改施肥策略。
如图5所示，在本实施例中，所述方法还包括以下步骤：
根据所拍摄的图像上和/或所建立的三维模型上某果实的颜色和/或形态与周围果实的颜色和/或形态之间的差异，和/或与种植经验数据库中果实的颜色和/或形态之间的差异，判断该果实是否为异常果实。
可以对摄像模块所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实；也可以对摄像模块所拍摄的图像上果实的颜色和/或形态与种植经验数据库中果实的颜色和/或形态进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实。由此，可以智能快速地检测到异常果实，而不需要人工进行异常果实筛查，从而提高果园的异常检测效率。
在本实施例中，目标果实为判断出的异常果实。
当检测出某果实为异常果实时，以该异常果实为目标果实，对该异常果实进行三维模型的建立，可以有针对性地分析异常果实的生长健康状况。
在本实施例中，所述方法还包括以下步骤：
根据异常果实的数量和/或分布范围，判断果实异常的传染性。
通过对异常果实的数量和/或分布进行分析，可以检测果实的异常是否具有传染性以及传染性的严重程度，针对果实异常的传染性可以提醒监控人员及时采取隔离措施以及进行异常治理。
优选地，所述方法还包括以下步骤：
在果园内设置参照物，在无人机飞行时所拍摄的图像还包含果园内的参照物；根据图像上参照物与果实之间的颜色比值获取果实的颜色和/或根据图像上参照物与果实之间的大小比例获取果实的大小；根据所获取的果实的颜色和/或大小与与种植经验数据库中果实的颜色和/或大小进行比较，如果两者之间的差异较大，则可以判断图像上的果实为异常果实。
通过参照物与果实进行比对，可以更加准确地获知果实的颜色和/或大小，对果实的健康状况作出准确的评判。
在图像拍摄的过程中由于照相机参数设置的差异（如曝光、白平衡等）以及环境因素的影响（如阴影遮挡、阳光强度等），所拍摄的图像会无法反映果实的真实颜色。同理，在图像拍摄的过程中由于照相机参数设置的差异（如焦距、透视畸变等）以及环境因素的影响（如拍摄距离、拍摄角度等），所拍摄的图像会无法反映果实的真实大小。而通过设置参照物，可以使得参照物与果实在同样的照相机参数设置下以及同样的环境下被拍摄在同一个图像中，此时在同一个图像上的参照物和果实，其大小和/或颜色更加具有可比性，通过对图像上参照物和果实之间的颜色比对和大小比对，可以更加准确地评判果实的健康状况。
在具体实施过程中，参照物的大小和/或颜色可以制作成与果实在健康状态下的大小和/或颜色一致，当同一图像上的参照物和果实，其大小和/或颜色是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。参照物的大小和/或颜色也可以制作成与果实在健康状态下的大小和/或颜色呈一定初始比例的大小和/或颜色，当同一图像上的参照物和果实，其大小比例和/或颜色比例与初始比例是一致时，则可以判断该图像上的果实处于健康状态，否则判断该图像上的果实处于异常状态。
优选地，所述方法还包括以下步骤：
将不同果实生长期所获取的正常果实的颜色和/或大小进行存储形成种植经验数据库。
将不同果实生长期内果实监控模块所获取的正常果实颜色和/或大小存储起来，可以建立种植经验数据库，可以方便监控人员调取种植经验数据库中的数据，作为果园健康监控的参考。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于无人机定位拍摄的果园建模分析系统，其特征在于，包括无人机、果实标记模块、虚拟建模模块，所述无人机设有摄像模块、定位模块；
所述摄像模块，用于在无人机飞行时拍摄果园内果实的图像；
所述定位模块，用于在摄像模块拍摄图像时获取无人机位置；
所述果实标记模块，用于从定位模块获取无人机位置，并确定摄像模块拍摄的图像上的果实图像位置，根据无人机位置和果实图像位置标记图像上的果实；
所述虚拟建模模块，用于计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。
2.根据权利要求1所述的基于无人机定位拍摄的果园建模分析系统，其特征在于，还包括生长监控模块；
所述生长监控模块，用于根据摄像模块所拍摄的图像上和/或虚拟建模模块所建立的三维模型上果实的颜色和/或形态，判断果实所在的生长期，记录生长期的持续时间。
3.根据权利要求1所述的基于无人机定位拍摄的果园建模分析系统，其特征在于，还包括异常检测模块；
所述异常检测模块，用于根据摄像模块所拍摄的图像上果实的颜色和/或形态与周围果实的颜色和/或形态之间的差异，和/或与种植经验数据库中果实的颜色和/或形态之间的差异，判断果实是否为异常果实。
4.根据权利要求3所述的基于无人机定位拍摄的果园建模分析系统，其特征在于，所述目标果实为异常检测模块所判断出的异常果实。
5.根据权利要求3或4所述的基于无人机定位拍摄的果园建模分析系统，其特征在于，还包括传染性检测模块；
所述传染性检测模块，用于根据异常果实的数量和/或分布范围，判断果实异常的传染性。
6.一种基于无人机定位拍摄的果园建模分析方法，其特征在于，包括以下步骤：
在无人机飞行时拍摄果园内果实的图像，获取在拍摄图像时的无人机位置，并确定图像上的果实位置；
根据无人机位置和图像上的果实位置标记图像上的果实；
计算可以拍摄到目标果实的无人机位置范围和果实图像位置范围，根据所计算的无人机位置范围、果实图像位置范围以及目标果实所标记的无人机位置和果实图像位置，调取摄像模块拍摄到目标果实的多个图像，根据目标果实的多个图像建立目标果实和/或目标果实所在植株的三维模型。
7.根据权利要求6所述的基于无人机定位拍摄的果园建模分析方法，其特征在于，还包括以下步骤：
根据所拍摄的图像上和/或所建立的三维模型上果实的颜色和/或形态，判断果实所在的生长期，记录生长期的持续时间。
8.根据权利要求6所述的基于无人机定位拍摄的果园建模分析方法，其特征在于，还包括以下步骤：
根据所拍摄的图像上某果实的颜色和/或形态与周围果实的颜色和/或形态之间的差异，和/或与种植经验数据库中果实的颜色和/或形态之间的差异，判断该果实是否为异常果实。
9.根据权利要求8所述的基于无人机定位拍摄的果园建模分析方法，其特征在于，所述目标果实为判断出的异常果实。
10.根据权利要求8或9所述的基于无人机定位拍摄的果园建模分析方法，其特征在于，还包括以下步骤：
根据异常果实的数量和/或分布范围，判断果实异常的传染性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811401618.3A CN109598215A (zh) | 2018-11-22 | 2018-11-22 | 一种基于无人机定位拍摄的果园建模分析系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811401618.3A CN109598215A (zh) | 2018-11-22 | 2018-11-22 | 一种基于无人机定位拍摄的果园建模分析系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109598215A true CN109598215A (zh) | 2019-04-09 |
Family
ID=65960374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811401618.3A Pending CN109598215A (zh) | 2018-11-22 | 2018-11-22 | 一种基于无人机定位拍摄的果园建模分析系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109598215A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414341A (zh) * | 2019-06-24 | 2019-11-05 | 中国矿业大学 | 一种基于无人机技术的露天矿爆堆测量统计方法 |
| CN110853080A (zh) * | 2019-09-30 | 2020-02-28 | 广西慧云信息技术有限公司 | 一种田间果实尺寸的测量方法 |
| CN112906461A (zh) * | 2021-01-14 | 2021-06-04 | 河北省农林科学院昌黎果树研究所 | 一种基于图像分析评价葡萄果实整齐度的方法 |
| WO2024011750A1 (zh) * | 2022-07-12 | 2024-01-18 | 重庆文理学院 | 一种基于后台图像定位的无人机生姜种植巡检系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065149A (zh) * | 2012-12-21 | 2013-04-24 | 上海交通大学 | 网纹甜瓜果实表型提取与量化方法 |
| CN106651844A (zh) * | 2016-12-16 | 2017-05-10 | 山东锋士信息技术有限公司 | 一种基于图像分析的苹果生育期识别方法 |
| CN106778888A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大学 | 一种基于无人机遥感的果园病虫害普查系统和方法 |
-
2018
- 2018-11-22 CN CN201811401618.3A patent/CN109598215A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065149A (zh) * | 2012-12-21 | 2013-04-24 | 上海交通大学 | 网纹甜瓜果实表型提取与量化方法 |
| CN106651844A (zh) * | 2016-12-16 | 2017-05-10 | 山东锋士信息技术有限公司 | 一种基于图像分析的苹果生育期识别方法 |
| CN106778888A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大学 | 一种基于无人机遥感的果园病虫害普查系统和方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414341A (zh) * | 2019-06-24 | 2019-11-05 | 中国矿业大学 | 一种基于无人机技术的露天矿爆堆测量统计方法 |
| CN110853080A (zh) * | 2019-09-30 | 2020-02-28 | 广西慧云信息技术有限公司 | 一种田间果实尺寸的测量方法 |
| CN112906461A (zh) * | 2021-01-14 | 2021-06-04 | 河北省农林科学院昌黎果树研究所 | 一种基于图像分析评价葡萄果实整齐度的方法 |
| WO2024011750A1 (zh) * | 2022-07-12 | 2024-01-18 | 重庆文理学院 | 一种基于后台图像定位的无人机生姜种植巡检系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
| CN109598215A (zh) | 一种基于无人机定位拍摄的果园建模分析系统和方法 | |
| CN108647652B (zh) | 一种基于图像分类和目标检测的棉花发育期自动识别方法 | |
| Yu et al. | Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage | |
| EP2736318B1 (en) | Plant growth kinetics captured by motion tracking | |
| US8340402B2 (en) | Device and method for detecting a plant | |
| BR112020026356A2 (pt) | Sistemas, dispositivos e métodos para diagnóstico em campo de estágio de crescimento e estimativa de rendimento de cultura em uma área de plantas | |
| Jin et al. | Corn plant sensing using real‐time stereo vision | |
| Boogaard et al. | Robust node detection and tracking in fruit-vegetable crops using deep learning and multi-view imaging | |
| KR101974638B1 (ko) | 식물 영상 처리 장치 및 방법 | |
| CN111753712A (zh) | 电力生产人员安全监测方法、系统以及设备 | |
| CN107121535A (zh) | 一种有效的农作物生长环境监测系统 | |
| CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
| CN110415282A (zh) | 一种奶牛体重预测系统 | |
| CN102542560A (zh) | 一种水稻移栽后密度自动检测的方法 | |
| CN114818909A (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
| CN113011221A (zh) | 作物分布信息的获取方法、装置及测量系统 | |
| CN102663396A (zh) | 一种水稻乳熟期自动检测的方法 | |
| Lyu et al. | Development of phenotyping system using low altitude UAV imagery and deep learning | |
| Wang et al. | Automatic estimation of trunk cross sectional area using deep learning | |
| CN108122224A (zh) | 一种测算树冠郁闭度的系统 | |
| CN113920106A (zh) | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 | |
| CN109598767A (zh) | 一种基于无人机定位拍摄的果园监控系统和方法 | |
| CN113269050A (zh) | 基于无人机遥感影像的农田画像及药肥大数据分析方法 | |
| Ahn et al. | An overview of perception methods for horticultural robots: From pollination to harvest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |
|
| RJ01 | Rejection of invention patent application after publication |