CN111344738B - 在农场中收集育种数据、分析育种特征的设备、方法 - Google Patents

在农场中收集育种数据、分析育种特征的设备、方法 Download PDF

Info

Publication number
CN111344738B
CN111344738B CN201880073728.3A CN201880073728A CN111344738B CN 111344738 B CN111344738 B CN 111344738B CN 201880073728 A CN201880073728 A CN 201880073728A CN 111344738 B CN111344738 B CN 111344738B
Authority
CN
China
Prior art keywords
image
farm
breeding
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880073728.3A
Other languages
English (en)
Other versions
CN111344738A (zh
Inventor
关谷和树
谷口贺春
神谷俊之
落合宏章
名越有里可
郭威
穆悦
平藤雅之
二宫正士
高田大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
University of Tokyo NUC
Original Assignee
NEC Solution Innovators Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd, University of Tokyo NUC filed Critical NEC Solution Innovators Ltd
Publication of CN111344738A publication Critical patent/CN111344738A/zh
Application granted granted Critical
Publication of CN111344738B publication Critical patent/CN111344738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Botany (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Human Resources & Organizations (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明提供了一种能够容易地获取用于实际育种农作物的农场的表型数据的新型系统。本发明的育种数据收集设备(1)包括：信息存储单元(101)，其存储农场信息、成像条件以及与成像条件相关联的农场的航空图像；分类单元(111)，其基于成像条件中包括的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组；图像处理单元(112)，其从图像组中的至少一个和成像条件创建图像已处理数据(二维正交马赛克、数值表面模型和点云)并且从图像已处理数据中分析农场中的品质；可视化单元(113)，其对在图像处理单元(112)中获得的图像已处理数据进行可视化；已处理信息存储单元(102)，其将在图像处理单元(112)和可视化单元(113)中获得的数据作为已处理的信息存储；输出单元(120)，其输出在图像处理单元(112)和可视化单元(113)中获得的数据。

Description

在农场中收集育种数据、分析育种特征的设备、方法
技术领域
本发明涉及用于在农场中收集育种数据的设备，用于分析育种特征的设备，用于在农场中收集育种数据的方法，程序和记录介质。
背景技术
在育种研究中，通常由研究人员进入农场、将农场分成多个区块(样地)并从视觉上观察样地来执行对农作物的表达分型(表型)。然而，这种方法需要大量的评估劳动力和较高的工作成本，结果是测量范围和测量频率也受到限制。因此，例如，表型不是在实际育种植物的农场中执行，而仅在用于测试等的特殊农场中执行。
发明内容
技术问题
因此，本发明的目的是提供在不仅用于测试的特殊农场中，而且还在实际育种植物的农场中，能够容易地获得用于表型的数据的新型系统。
技术解决方案
为了实现上述目的，本发明的用于在农场中收集育种数据的设备(以下也称为“育种数据收集设备”)包括：信息存储单元，该信息存储单元存储农场信息、包括航空成像的飞行日志的成像条件、以及与成像条件相关联的农场的航空图像；分类单元，该分类单元基于成像条件中包括的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组；图像处理单元，该图像处理单元从多个图像组中的至少一个和成像条件创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从图像已处理数据中分析农场中植物的品质；可视化单元，该可视化单元对在图像处理单元中获得的图像已处理数据进行可视化；已处理信息存储单元，该已处理信息存储单元将在图像处理单元获得的数据和在可视化单元中获得的数据作为处理信息存储；以及输出单元，该输出单元输出在图像处理单元中获得的数据或在可视化单元中获得的数据中的至少一个。
经由通信网络可连接到本发明的育种数据收集设备的本发明的用于分析育种特征的设备(以下也称为“育种特征分析设备”)包括：输入单元，该输入单元输入育种数据收集设备的可视化数据；以及特征分析单元，该特征分析单元分析可视化数据并提取农场或植物的特征。
本发明的用于在农场中收集育种数据的方法(以下也称为“育种数据收集方法”)包括：信息存储步骤，存储农场信息、包括航空成像的飞行日志的成像条件、以及与成像条件相关联的农场的航空图像；分类步骤，基于成像条件中包括的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组；图像处理步骤，从多个图像组中的至少一个和成像条件创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从图像已处理数据中分析农场中植物的品质；可视化步骤，对在图像处理步骤中获得的图像已处理数据进行可视化；已处理信息存储步骤，将在图像处理步骤中获得的数据和在可视化步骤中获得的数据作为处理信息存储；以及输出步骤，输出在图像处理步骤中获得的数据或在可视化步骤中获得的数据中的至少一个。
本发明的用于分析育种特征的方法(以下也称为“育种特征分析方法”)包括：数据收集步骤，使用本发明的育种数据收集方法；以及特征分析步骤，分析从由包括每个图像的特征量、图像已处理数据、品质分析数据和感测数据组成的组中选择的至少一个可视化数据，以提取农场或植物的特征。
本发明的程序用于计算机执行本发明的育种数据收集方法或育种特征分析方法。
本发明的记录介质是其上记录有本发明的程序的计算机可读记录介质。
发明的有益效果
本发明例如对诸如基于成像海拔高度分类的航空图像的农场图像进行分类，对来自分类的图像组中的农场、农场中的区块以及农场中的植物的3D图像数据进行重构，并且进一步基于农场条件或成像条件而将3D图像数据转换为可视化数据。因此，例如，本发明可以获得实际农场的广阔区域的可视化数据，而不是测试农场的有限区域的可视化数据。结果，可视化数据可以广泛地用于实际农场和在那里生长的植物的分析，例如，并且然后可以用于帮助获取关于表型的新知识。
附图说明
[图1]图1是示出第一实施例的育种数据收集设备的示例的框图。
[图2]图2是示出第一实施例的育种数据收集设备的另一个示例的框图。
[图3]图3是示出第一实施例的育种数据收集设备的又一个示例的框图。
[图4]图4是示出第一实施例的育种数据收集设备中的图像处理单元的示例的框图。
[图5]图5是示出第一实施例的用于收集育种数据的方法的示例的流程图。
[图6]图6是示出第二实施例的育种数据收集设备的示例的框图。
[图7]图7A和图7B是示出第三实施例的育种数据收集设备的示例的示意图。
[图8]图8是示出第五实施例的识别设备的示例的框图。
[图9]图9是示出第五实施例的识别设备的硬件配置的示例的框图。
[图10]图10A至图10C是第五实施例中的图像的示例。
[图11]图11A至图11B是第五实施例中的图像的示例。
[图12]图12A至图12B是第五实施例中的图像的示例。
[图13]图13A至图13C是第五实施例中的图像的示例。
[图14]图14A至图14B是第五实施例中的图像的示例。
[图15]图15A至图15D是第五实施例中的图像的示例。
[图16]图16是示出第五实施例的识别方法的示例的流程图。
[图17]图17是示出第一实施例的育种数据收集设备的硬件配置的示例的框图。
具体实施方式
将参考附图描述本发明的实施例。这里要注意，本发明不限于以下实施例。在附图中，相同的部分由相同的参考数字表示。除非另有指明，否则可以参考其他实施例的描述来描述每个实施例，并且除非另外指明，否则可以组合实施例的配置。
(第一实施例)
图1是示出本实施例的育种数据收集设备1的配置的示例的框图。育种数据收集设备1包括存储装置100、处理器110和输出单元120。处理器110包括分类单元111、图像处理单元112和可视化单元113。存储装置100包括信息存储单元101和已处理信息存储单元102。
例如，育种数据收集设备1也被称为育种数据收集系统。例如，育种数据收集设备1可以是包括组件的一个育种数据收集设备，或者是组件之间经由通信网络可连接的育种数据收集设备。通信网络没有特别限制，并且可以使用已知的通信网络。例如，通信网络可以是有线网络或无线网络，并且其具体示例包括互联网线路、电话线和局域网(LAN)。
图17是育种数据收集设备1的硬件配置的框图。例如，育种数据收集设备1包括作为处理器的中央处理单元(CPU)50、存储器51、总线52、输入设备53、显示器54、通信设备55和存储设备56。例如，育种数据收集设备1的组件通过接口(I/F)经由总线52彼此连接。
CPU 50控制育种数据收集设备1。在育种数据收集设备1中，例如，CPU 50执行本发明的程序和其他程序并且读取和写入各种信息。具体地，在育种数据收集设备1中，例如，CPU 50用作处理器110。
例如，育种数据收集设备1可通过连接至总线52的通信设备55连接至通信网络，并且可经由通信网络连接至外部设备。例如，当信息被输出到外部设备时，通信设备55用作输出单元120。
例如，存储器51包括主存储器和被称为主存储设备的主存储器。例如，当CPU 50执行处理时，存储器51读取各种操作程序103，诸如存储在稍后描述的辅助存储设备中的本发明的程序，并且CPU 50从存储器51接收数据并执行程序103。例如，主存储器是随机存取存储器(RAM)。例如，存储器51还包括只读存储器(ROM)。
例如，存储设备56也被称为相对于主存储器(主存储装置)的辅助存储器。例如，存储设备56包括存储介质和用于从存储介质读取和写入存储介质的驱动器。例如，存储介质没有特别限制，并且可以是内置类型或外部类型，并且其示例包括硬盘(HD)、软盘卡(FD)、CD-ROM、CD-R、CD-RW、MO、DVD、闪存和存储卡。驱动器没有特别限制。例如，存储设备56可以是集成了存储介质和驱动器的硬盘驱动器(HDD)。例如，存储设备56存储如上所述的程序103，并且当CPU 50被启动时，存储器51如上所述从存储设备56读取程序103。例如，存储设备56是存储装置100并且存储输入到育种数据收集设备1的信息、在育种数据收集设备1中处理的信息等。
例如，育种数据收集设备1还包括输入设备53和显示器54。输入设备53的示例包括触摸面板、鼠标和键盘。显示器54的示例包括LED显示器和液晶显示器。例如，当在育种数据收集设备1中显示信息时，显示器54用作输出单元120。
在育种数据收集设备1中，例如，如图2所示，将要处理的信息从客户终端2经由接口(I/F)31输入到信息存储单元101。接口31的类型没有特别限制，例如，可以使用图形用户界面(GUI)、字符用户界面(CUI)、应用程序界面(API)等。
例如，如图3所示，育种数据收集设备1可以经由通信网络32连接到客户终端2。通信网络没有特别限制，可以使用已知的通信网络。例如，通信网络可以是有线网络或无线网络，并且其具体示例包括互联网线路、电话线和局域网(LAN)。
如上所述，信息存储单元101存储农场信息、包括航空成像的飞行日志的成像条件、以及与成像条件相关联的农场的航空图像。
农场信息没有特别限制并且其示例包括关于农场的地图信息、关于划分农场的每个区块(样地)的信息、关于在农场中育种的植物的信息以及视觉观察信息。例如，关于农场中每个区块的信息是将农场划分为多个区块而获得的关于每个区块的位置信息，具体而言是坐标等。例如，视觉观察信息是关于农场中的植物的实际测量信息。
农场的图像包括农场的航空图像。如上所述，当研究人员实际进入农场并观察植物时，除了视觉观察之外研究人员可以使用相机执行地面成像并使用地面图像来评估表型。然而，当研究人员执行农场的地面成像时，类似于视觉观察，劳动力是巨大的并且测量范围和测量频率受到限制。相反，例如，由于可以通过诸如无人机的无人飞行器来获得航空图像，所以不管农场的大小如何，可以容易地获得广域的图像，并且可以容易地获得随时间变化的图像。因此，本实施例可以使用航空图像进行高速表型。例如，图像还可以包括地面图像。
例如，成像条件包括成像海拔高度并且还包括成像日期和时间。此外，如上所述，例如对于航空图像，成像条件包括执行成像的无人飞行器的飞行日志。例如，飞行日志包括用于成像的无人飞行器的飞行条件。例如，飞行条件包括飞行路线、飞行速度、飞行时间，与飞行相关的成像日期和时间以及成像时间。
如上所述，分类单元111基于包括在成像条件中的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组。例如，通过基于成像海拔高度而对航空图像进行分类，可以使用合适的航空图像，用于创建整个农场、农场的区块以及农场中的植物群或者稍后将描述的由图像处理单元112处理的区块的图像已处理数据。成像海拔高度范围没有特别限制，并且可以是任何范围。
基于成像海拔高度范围而将航空图像分类的图像组的数量没有特别限制，并且优选为两个或更多个。作为具体示例，例如，在分类为两个图像组的情况下，可以将第一图像组设置为成像海拔高度高于第二图像组的图像高度的图像组。每个图像组的成像海拔高度没有特别限制，例如，可以给出以下具体示例。如果由稍后将描述的图像处理单元创建整个农场的图像已处理数据，例如，第一图像组包括航空图像，例如，成像海拔高度距地面约100m，并且成像面积约5公顷。如果由图像处理单元创建在农场的区块中的用于植物组的图像已处理数据，例如，第二图像组包括航空图像，例如，并且成像海拔高度距地面约30m，成像面积约0.5公顷。在航空成像的情况下，例如，可以从安装在无人飞行器上的图像传感器的类型、焦距、无人飞行器的垂直悬停精度等来计算成像面积。
图像处理单元112首先从多个图像组中的至少一个和成像条件中创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据。例如，二维正交马赛克也被称为正交投影图像。数值表面模型也被称为数字表面模型(DSM)。例如，点云也被称为点组或三维重构数据。图像已处理数据可用于在如后所述的农场，农场的区块或农场中的植物上进行二维数据的可视化，三维数据的可视化(重构为3D图像数据)等。
然后，图像处理单元112从图像已处理数据中分析农场中的植物的品质以获得品质分析数据。
使用图像组中包括的多个图像的图像处理的创建和品质的分析没有特别限制，例如，可以使用现有软件来执行。在本实施例的育种数据收集设备1中，例如，可以在处理器110中安装软件。
图像处理单元112可以包括例如多个图像处理单元。作为具体例子，图4示出包括第一图像处理部1121，第二图像处理部1122和第三图像处理部1123的配置。在本实施例中，例如，第一图像处理部1121创建关于整个农场上的图像已处理数据(例如，重建整个农场的3D图像)，并且第二图像处理部1122创建关于农场的区块，具体而言，关于农场的每个区块中的植物组的图像已处理数据(例如，重建农场每个区块的3D图像)。例如，第三图像处理部1123可以用于创建任何图像已处理数据。
当图像处理单元112执行如图4所示的多种图像处理时，例如，可以通过流水线执行各种图像处理。
例如，第一图像处理部1121从第一图像组中的多个图像(优选地，航空图像)创建图像已处理数据。具体地，例如，多个图像可以被对齐以重构整个农场的3D图像。此时，例如，可以基于农场信息、关于图像的成像信息等通过对齐和修剪图像来重构整个农场的3D图像。例如，第一图像处理部1121还可以根据图像已处理数据来分析整个农场中的植物的品质。例如，品质可以是农场中的植物覆盖率、植物高度、植物生长速度等并且可以包括农场的条件。
例如，第二图像处理部1122从第二图像组中的多个图像(优选地，航空图像)创建图像已处理数据。具体地，例如，多个图像可以被对齐以重构农场的区块的3D图像。例如，第二图像处理部1122还可以基于农场信息、关于图像的成像信息等根据图像已处理数据分析农场的区块中的植物的品质。例如，品质可以与上述的相同，并且是在任何区域(任何区块)中的植物覆盖率、植物高度、植物生长速度等。
例如，第三图像处理部1123从任何图像组中的多个图像(优选地，地面图像)创建任何图像已处理数据。具体而言，例如，可以根据多个图像来重构农场中的植物的3D图像。
可视化单元113将在图像处理单元112中获得的数据进行可视化。例如，在图像处理单元112中获得的数据是关于品质的图像已处理数据和品质分析数据。例如，可视化单元113将基于农场条件或成像条件中的至少一个而对数据进行可视化。例如，整个农场的3D图像数据可以与农场的地图数据链接以可视化，或者可以与成像时间链接以可视化。例如，整个农场的3D图像数据和农场的地图数据可以通过与诸如QGIS的地理信息有关的软件进行对齐。因此，通过进一步与成像时间链接，可以按时间顺序执行可视化。在下文中，在可视化单元113中使用的数据被称为可视化数据，并且在可视化单元113中获得的数据被称为已处理数据。
已处理信息存储单元102存储在图像处理单元112中获得的数据(例如，图像已处理数据和品质分析数据)以及在可视化单元113中获得的已处理数据。例如，已处理信息存储单元102还可以存储分类单元111中的分类数据。
输出单元120输出至少一个在图像处理单元112中获得的数据或在可视化单元113中获得的数据。例如，输出单元120可以将数据输出到客户终端或显示屏。例如，从育种数据收集设备1到外部的输出可以经由接口输出。
接下来，以下将参考图5的流程图作为示例进行描述本实施例的用于收集育种数据的方法(以下也被称为育种数据收集方法)。
例如，如以下使用图1所示的本实施例的育种数据收集设备1执行本实施例的育种数据收集方法。本实施例的育种数据收集方法不限于图1的育种数据收集设备1。
首先，在信息存储步骤(S1)中，存储农场信息、包括航空成像的飞行日志的成像条件、以及与成像条件相关联的农场的航空图像。接下来，在分类步骤(S2)中，基于包括在成像条件中的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组。
然后，在图像处理步骤(S3)中，从多个图像组中的至少一个和成像条件中创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从图像已处理数据中分析农场中的植物的品质。在本实施例中，将图像被分类为三个图像组(第一，第二和第三图像组)的情况作为示例进行描述。在第一图像处理步骤(S3-1)中，从第一图像组重构整个农场的3D图像。在第二图像处理步骤(S3-2)中，从第二图像组重构农场的区块的3D图像以分析农场的区块中的植物组的品质。第三图像处理步骤(S3-3)是可选的，例如，执行可选图像组的可选图像处理。
接下来，在可视化步骤(S4)中，将获得的图像已处理数据进行可视化。具体地，在第一可视化步骤(S4-1)中，将在第一图像处理步骤(S3-1)中获得的图像已处理数据进行可视化，在第二可视化步骤(S4-2)中，将在第二图像处理步骤(S3-2)中获得的图像已处理数据进行可视化，在第三可视化步骤(S4-3)中，将在第三图像处理步骤(S3-3)中获得的图像已处理数据进行可视化。
然后，在已处理信息存储步骤(S5)中，将在图像处理单元112中获得的数据和在可视化单元113中获得的数据作为已处理信息存储，并且在输出步骤(S6)中，至少一个在图像处理单元112中获得的数据或在可视化单元113中获得的数据被输出。
(变型1)
在第一实施例的育种数据收集设备1中，例如，信息存储单元101还可以存储与关于农场中的感测的位置信息相关联的农场的感测数据。感测数据没有特别限制，并且其示例包括温度、湿度、二氧化碳水平和太阳辐射量(例如，光合光子通量密度)。
在育种数据收集设备1中，可视化单元113还将基于农场信息的与关于感测的位置信息相关联的农场中的感测数据进行可视化。例如，在可视化单元113中获得的数据是图形数据。
例如，本发明可以通过使用在可视化单元113中获得的已处理数据有效地设计在农场成像中的无人机飞行路径、设置图像的成像条件、获得表型数据、管理与农场的环境有关的感测数据等。因此，例如，本发明对于高速表型也是有用的。
此外，本发明的育种数据收集设备1可以是平台。因此，例如，本发明可以与各种其他数据集成。
当研究人员直接在农场中收集数据时，可能很难对数据进行客观或定量评估因为这取决于研究人员的经验和直觉。此外，数据是通过研究人员自己的方法收集的，很难共享该方法。相反，例如，本发明的育种数据收集设备可以将由各种研究者在个体条件下收集的要存储的图像等带入信息存储单元中。可以根据成像海拔高度对这些图像进行分类然后进行处理和可视化。因此，不仅可以积累个人获得的信息还可以积累各种研究人员在不同条件下收集的图像以及从中获得的已处理的信息，从而为探索新的发现提供了更有效的支持。
(第二实施例)
图6是示出第一实施例的育种数据收集设备的另一个示例的框图。在图6中，育种数据收集设备6还包括特征分析单元114。例如，特征分析单元114被包括在处理器110中。例如，本实施例的育种数据收集设备也可以被称为特征分析设备或特征分析系统。
特征分析单元114分析可视化数据以提取农场或植物的特征。作为可视化数据，例如，可以使用各种数据，并且其具体示例包括图像的特征量、创建的数据、品质分析数据、感测数据等。特征的提取没有特别限制，例如，并且可以从使用SVM等的离群值中提取。
(第三实施例)
在图7A和7B中示出了本实施例的育种数据收集设备的示例。图7A是本实施例的育种数据收集设备的概览的示例。图7B是育种数据收集设备中的图像处理单元的示例。本发明不限于此。
(第四实施例)
本实施例的程序可以在计算机上执行第一，第二或第三实施例的育种数据收集方法或特征分析方法。例如，本实施例的程序可以被记录在计算机可读记录介质上。记录介质没有特别限制，并且其示例包括只读存储器(ROM)、硬盘(HD)、光盘和软盘(FD)。
(第五实施例)
例如，在要成为本发明的对象的农场是果树农场的情况下，可以通过本实施例的识别设备和识别方法从航空图像中识别出个体果树。
在果树育种中，重要的是检查每颗个体果树的树冠情况并进行培养和修剪，以确保树枝生长的空间并提高采摘芽和果实的可加工性。从这种观点出发，例如，当本发明的对象是果树农场时，首选的是准确地识别出每棵个体果树的树冠以便分析植物(即果树)的品质。因此，在本实施例中，将描述识别每颗个体果树的树冠的示例。
图8是示出本实施例的识别设备40的示例的配置的框图。识别设备40包括识别标准确定单元41和树冠识别单元42。识别标准确定单元41包括第一图像获取部411，骨干提取部412，顶点提取部413和识别标准提取部414。树冠识别单元42包括第二图像获取部421，整体树冠提取部422和树冠识别部423。例如，识别设备40还包括果树品质分析单元43和存储装置44。例如，识别设备40也被称为识别系统。
例如，识别设备40可以是包括组件的呈现设备，或者可以是组件可以经由通信网络连接到的呈现设备。通信网络没有特别限制，并且可以使用已知网络。例如，通信网络可以是有线网络或无线网络。通信网络的示例包括互联网线路、电话线和局域网(LAN)以及无线保真(WiFi)。
识别设备40还可以包括输出单元。例如，识别设备40包括作为输出单元的显示单元，诸如稍后将描述的显示器并且可以将由识别设备40获得的信息输出到显示单元。例如，识别设备40可以包括作为输出单元的稍后将描述的通信设备，并且可以经由通信网络连接到外部设备。在这种情况下，识别设备40可以经由通信网络将由识别设备40获得的信息输出到外部设备。外部设备没有特别限制，并且其示例包括诸如相机的成像设备和诸如个人计算机(PC)、移动电话、智能电话和平板电脑的终端。通信网络没有特别限制并且与上述的相同。
图9是示出识别设备40的硬件配置的示例的框图。例如，识别设备40包括作为处理器的中央处理单元(CPU)50、存储器51、总线52、输入设备53、显示器54，通信设备55、存储设备56等。例如，识别设备40的组件通过各自的接口经由总线52彼此连接。
CPU 50用于控制识别设备40的整体控制。在识别设备40中，例如，CPU 50执行本发明的程序和其他程序，并且读取和写入各种信息。具体地，例如，识别设备40的CPU 50用作识别标准确定单元41、树冠识别单元42和果树品质分析单元43。
例如，识别设备40可通过连接至总线52的通信设备55连接至通信网络，并且可经由通信网络连接至外部设备。
例如，存储器51包括主存储器，并且主存储器也被称为主存储设备。当CPU 50执行处理时，例如，存储器51读取各种操作程序57，诸如存储在稍后描述的辅助存储设备中的本发明的程序，并且CPU 50从存储器51接收数据并执行程序57。例如，主存储器是随机存取存储器(RAM)。例如，存储器51还包括只读存储器(ROM)。
例如，存储设备56也被称为相对于主存储器(主存储装置)的辅助存储器。例如，存储设备56包括存储介质和用于从存储介质读取和写入存储介质的驱动器。例如，存储介质没有特别限制，并且可以是内置类型或外部类型，并且其示例包括硬盘(HD)、软盘卡(FD)、CD-ROM、CD-R、CD-RW、MO、DVD、闪存和存储器卡。驱动器没有特别限制。例如，存储设备56可以是集成了存储介质和驱动器的硬盘驱动器(HDD)。例如，存储设备56存储如上所述的程序57，并且当CPU 50被启动时，存储器51如上所述从存储设备56读取程序57。例如，存储设备56是存储装置44并且存储输入到识别设备40的信息、由设别设备40处理的信息等。
例如，识别设备40还包括输入设备53和显示器54。输入设备53的示例包括触摸面板、鼠标和键盘。显示器54的示例包括LED显示器和液晶显示器。
如上所述，识别标准确定单元41包括第一图像获取部411、骨干提取部412、顶点提取部413和识别标准提取部414。
第一图像获取部411获取包括在水果农场的落叶期中多颗个体果树的第一航空图像F。例如，第一图像获取部411可以通过使用输入设备53输入第一航空图像F或者通过经由通信网络从外部设备接收第一航空图像F来获得第一航空图像F。
第一航空图像F是落叶期的果树农场的图像并且包括多颗个体果树。例如，落叶期是叶子从树枝上掉下来的时期，而对于果树而言，例如，通常是冬季，特别是在日本的11月至3月左右。例如，落叶期的果树农场的航空图像可以是叶子掉落的果树农场的航空图像。例如，可以通过诸如无人机的无人飞行器来获得第一航空图像F。
骨干提取部412处理第一航空图像F以提取包括多颗个体果树的整体树冠骨干F。如何处理图像没有特别限制。作为具体示例，将参考图10A至图10C进行描述。例如，如图10B所示的反映果树等的高度的3D图像可以通过参考成像条件等从如图10A所示的航空图像中被重构，并且可以从如图10C所示的这个3D图像中提取果树树冠的骨干F。通过，树冠指的是树高于地面的部分，诸如树的树枝、树叶、茎等。
例如，可以使用自适应滤波或图像形态处理来提取树冠骨干F。
顶点提取部413提取对应于每颗个体果树的每个树冠骨干的顶点。识别标准提取部414提取包括作为识别标准的最小多边形形状的树冠候选区域F并为每颗个体果树提取树冠候选区域F的重心F。例如，树冠候选区域F是包括对应树冠骨干的所有顶点的最小多边形形状的区域，并且具体地是投影的最小多边形形状的区域。
下面将参考图11A和图11B作为具体示例描述树冠候选区域F的提取。图10C中所示的树冠骨干F的图像包括12棵个体果树的树冠骨干。如图11A所示，顶点提取部413提取与每颗个体果树的树冠骨干对应的所有顶点。然后，如图11B所示，识别标准提取部414可以提取由包括所有顶点的灰线包围的最小多边形形状的区域(也称为多边形)作为每个树冠候选区域F。
图12A和12B示出了更详细的图11B。如图12A中的白线所示，可以通过包括所有顶点的最小多边形形状的多边形来提取用作识别标准的树冠候选区域F的外框。图12B示出了作为黑白蒙版图像的指示图12A中的树冠候选区域F的外框。
此外，识别标准提取部414从树冠候选区域F中提取重心F。如何确定树冠候选区域F的重心F没有特别限制，可以从图12B的黑白蒙版图像的时刻起通过常用的方法确定重心F。
树冠识别单元42包括第二图像获取部421，整体树冠提取部422和树冠识别部423。
第二图像获取部421获取与第一航空图像相同的比例的、在识别树冠时的果树农场的第二航空图像S。第二航空图像S没有特别限制，并且可以是在需要识别用于培养和修剪的果树的树冠时的图像。例如，第二航空图像S可以仅是特定时间的图像(例如S1)，也可以是随时间推移在多个时间中获得的多个图像(例如S1、S2、S3、[…]、Sn，n是正整数)。
在本发明中，使用由识别标准确定单元41基于第一航空图像F提取的树冠候选区域F及其重心F来识别树冠。第二航空图像S是与第一航空图像F相同比例的图像。例如，通过在与第一航空图像F相同的条件下进行成像，可以使第二航空图像S具有与第一航空图像F相同的比例，或者即使在不同条件下成像，也可以预先进行图像处理使第二航空图像S具有与第一航空图像F相同的比例。
整体树冠提取部422处理第二航空图像S以提取包括多颗个体果树的整体树冠图像S。如上所述，在需要识别树冠时，果树的树枝和叶子与相邻果树的树枝和叶子重叠。因此，难以区分航空图像中的边界。整体树冠提取部422不为每颗个体果树处理第二航空图像S，而是提取多颗果树的整体树冠图像S。
如何处理图像没有特别限制。下面将参考图13A至图13C描述其具体示例。例如，如图13B所示的反映果树等的高度的3D图像可以通过参考成像条件等从如图13A所示的航空图像中被重构，并且可以从如图13C所示的这个3D图像中提取个体果树的整体树冠图像S。例如，可以如上所述使用自适应滤波或图像形态处理来提取整体树冠图像S。
树冠识别部423将识别标准的树冠候选区域F和重心F与整体树冠图像S进行核对以识别每颗个体果树的树冠区域S。如上所述，在第一航空图像F中，对第一航空图像F中的每颗个体果树提取树冠区域F及其重心。第一航空图像F和第二航空图像S比例相同。因此，通过将作为识别标准的树冠候选区域F及其重心与从第二航空图像S导出的整体树冠图像S进行核对，可以识别第二航空图像S中的每颗个体果树的树冠区域。
例如，树冠识别部423可以基于整体树冠图像S提取树冠候选区域，并且然后可以识别最终树冠区域。即，首先，可以将识别标准的树冠候选区域和重心与整体树冠图像进行核对以提取每颗个体果树的树冠候选区域S，然后从树冠候选区域S和围绕树冠候选区域S的微小区域中识别出每颗个体果树的树冠区域。将在以下更详细地描述基于树冠区域F及其重心作为识别标准提取树冠候选区域S、以及从树冠候选区域S中识别树冠区域S。
如图14A所示，通过通用分水岭变换方法对整体树冠图像S进行处理，使得每颗个体果树的树冠图像被划分为多个区域。然后，使用树冠候选区域F及其重心F作为图14A的图像中的分水岭变换方法的初始值，如图14B所示将多个区域进行整合，并且提取树冠候选区域S。
在图15A所示的每个树冠候选区域S中(与图14B相同的图)，如图15B中所示的树冠候选区域S(例如，虚线包围的区域)周围存在不均匀的微小区域S。因此，如图15C所述，通过计算树冠候选区域S与周围微小区域S之间的欧几里德距离，如图15D所述，将树冠候选区域S和周围微小区域整合，可以识别出最终树冠区域S。
如上所述，例如，识别设备40还包括分析所识别的树冠区域的果树品质分析单元43。例如，树冠区域的品质是树冠投影面积、树冠直径、树冠形状等。例如，这些品质的信息是通过从图像中的每个树冠区域进行统计分析获得的。
接下来，将参考图16的流程图作为示例描述本实施例的识别方法。例如，本实施例的识别方法可以使用图8的识别设备40执行。本实施例的识别方法不限于使用图8的识别设备40。
首先，执行第一图像获取步骤、骨干提取步骤、顶点提取步骤和识别标准提取步骤作为识别标准确定步骤。
具体地，在第一图像获取步骤中，第一图像获取部411获得在水果农场的落叶期间中包括多颗个体果树的第一航空图像(S10)。然后，在骨干提取步骤中，骨干提取部412处理第一航空图像以提取包括多颗个体果树的整体树冠骨干(S11)。此外，在顶点提取步骤中，顶点提取部413提取对应于每颗个体果树的每个树冠骨干的顶点(S12)。接下来，在识别标准提取步骤中，识别标准提取部份414提取包括所有顶点的最小多边形形状的树冠候选区域作为用于每颗个体果树的识别标准并提取树冠候选区域的重心(S13)。然后，识别标准提取部414还对每颗个体果树提取树冠候选区域的重心作为识别标准(S14)。
另一方面，执行第二图像获取步骤、整体树冠提取步骤和树冠识别步骤作为树冠识别步骤。
具体地，在第二图像获取步骤中，第二图像获取部421获取与第一航空图像相同的比例的、在识别树冠时的果树农场的第二航空图像(S15)。接下来，在整体树冠提取步骤中，整体树冠提取部422处理第二航空图像以提取包括多颗个体果树的整体树冠图像(S16)。
然后，在树冠识别步骤中，树冠识别部423将识别标准的树冠候选区域和重心与整体树冠图像进行核对以提取每颗个体果树的树冠候选区域(S17)。这种树冠候选区域可以被识别为最终树冠区域。替选地，例如，如上所述，可以从树冠候选区域和微小区域中识别树冠区域(S18)。可以输出以这种方式被识别的树冠区域(S20)，或者可以基于被识别的树冠区域分析果树的品质(S19)，并且可以输出分析结果(S20)。
本实施例的识别个体果树的树冠的识别方法可以被用于从航空图像的获得(例如，步骤(S1))到用于分析本实施例的育种数据收集方法中的品质的图像处理(例如，步骤(S3))。在第一实施例中，如上所述，获得航空图像(步骤(S1))并将其分类至图像组(步骤S2)，从被分类的图像组创建图像已处理数据，并从图像已处理数据中分析农场中的植物的品质(步骤(S3))。因此，在收集果树农场中的果树的育种数据的情况下，例如，从果树农场的航空图像创建图像已处理数据(例如，重构3D图像)。然后，如本实施例所示，例如，从第一航空图像的图像已处理数据执行骨干的提取到识别标准的提取。另一方面，如本实施例所示，例如，从第二航空图像的该图像已处理数据执行整体树冠图像的提取到树冠区域的识别。因此，如第一实施例所示，可以通过分析被识别的树冠区域的品质来分析植物(即，果树)的品质。
(第六实施例)
本实施例的程序可以在计算机上执行第五实施例的识别方法。例如，本实施例的程序可以被记录在计算机可读记录介质上。记录介质没有特别限制，并且其示例包括只读存储器(ROM)、硬盘(HD)、光盘和软盘(FD)。
尽管以上已参考示例实施例描述本发明，但是本发明不限于此。可以对本发明的结构和细节进行各种修改，其在本发明的范围内可以被本领域技术人员理解。
本申请要求于2017年11月15日提交的日本专利申请第2017-220504号和2018年3月23日提交的日本专利申请第2018-057035号的优先权的权益。该申请的公开内容通过引用全部并入本文。
(附记)
以上实施例和示例的一些或全部可以被描述为以下附记，但不限于此。
(附记A1)
一种用于在农场中收集育种数据的育种数据收集设备，育种数据收集设备包括：
信息存储单元，该信息存储单元存储农场信息、包括航空成像的飞行日志的成像条件、以及与成像条件相关联的农场的航空图像；
分类单元，该分类单元基于成像条件中包括的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组；
图像处理单元，该图像处理单元从多个图像组中的至少一个和成像条件创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从图像已处理数据中分析农场中植物的品质；
可视化单元，该可视化单元对在图像处理单元中获得的图像已处理数据进行可视化；
已处理信息存储单元，该已处理信息存储单元将在图像处理单元中获得的数据和在可视化单元中获得的数据作为处理信息存储；以及
输出单元，该输出单元输出在图像处理单元中获得的数据或在可视化单元中获得的数据中的至少一个。
(附记A2)
根据附记A1的育种数据收集设备，其中
多个图像组至少包括第一图像组和第二图像组，并且
第一图像组具有比第二图像组更高的成像海拔高度。
(附记A3)
根据附记A1或附记A2的育种数据收集设备，其中，图像处理单元重构整个农场的3D图像。
(附记A4)
根据附记A1至附记A3中的任何一个的育种数据收集设备，其中图像处理单元重构农场的区块的3D图像以确定区块中的植物组的生长状况。
(附记A5)
根据附记A1至附记A4中的任何一个的育种数据收集设备，其中，品质是从由农场中的植物覆盖率、植物高度和植物生长速度组成的组中选择的至少一个。
(附记A6)
根据附记A1至附记A5中的任何一个的育种数据收集设备，其中，图像处理单元重构植物的3D图像以更详细地确定植物的品质。
(附记A7)
根据附记A1至附记A6中的任何一个的育种数据收集设备，其中
图像处理单元包括：
第一图像处理部，该第一图像处理部处理第一图像组；以及
第二图像处理部，该第二图像处理部处理第二图像组。
(附记A8)
根据附记A7的育种数据收集设备，其中，图像处理单元通过流水线执行多个图像处理。
(附记A9)
根据附记A1至附记A8中的任何一个的育种数据收集设备，其中
可视化单元对在图像处理单元中获得的数据中包括的二维数据和三维数据进行可视化。
(附记A10)
根据附记A9的育种数据收集设备，其中
二维数据包括二维正交马赛克、数值表面模型和图形的数据，并且
三维数据包括点云的数据。
(附记A11)
根据附记A1至附记A10中的任何一个的育种数据收集设备，其中
成像条件包括成像时间，并且
可视化单元以时间顺序的方式执行可视化。
(附记A12)
根据附记A1至附记A11中的任何一个的育种数据收集设备，其中
信息存储单元还存储与关于农场中的感测的位置信息相关联的农场的感测数据。
(附记A13)
根据附记A12的育种数据收集设备，其中
可视化单元还基于农场信息对与关于感测的位置信息相关联的农场中的感测数据进行可视化。
(附记A14)
根据附记A13的育种数据收集设备，其中，可视化单元获得图形数据。
(附记A15)
根据附记A13或A14的育种数据收集设备，其中，感测数据是从由温度、湿度、二氧化碳水平和太阳辐射量组成的组中选择的至少一个数据。
(附记A16)
根据附记A1至附记A15中的任何一个的育种数据收集设备，其中，农场信息包括关于划分农场的每块样地的坐标信息和关于在农场中生长的植物的植物信息，并且植物信息与坐标信息相关联。
(附记A17)
根据附记A16的育种数据收集设备，其中，植物信息是关于植物的图像分析信息。
(附记A18)
根据附记A1至附记A17中的任何一个的育种数据收集设备，其中，信息存储单元还存储成像条件和与成像条件相关联的地面图像。
(附记A19)
根据附记A1至附记A18中的任何一个的育种数据收集设备，其中，航空图像是由无人飞行器获得的图像。
(附记A20)
根据附记A19的育种数据收集设备，其中，无人飞行器是无人机。
(附记A21)
根据附记A1至附记A20中的任何一个的育种数据收集设备，进一步包括：
特征分析单元，该特征分析单元分析可视化数据以提取农场或植物的特征，其中
可视化数据是从由每个图像的特征量、创建的数据、品质分析数据和感测数据组成的组中选择的至少一个。
(附记A22)
一种用于分析育种中的特征的育种特征分析设备，育种特征分析设备经由通信网络能够连接至根据附记A1至附记A21中的任何一个的育种数据收集设备，并且包括：
输入单元，该输入单元输入育种数据收集设备的可视化数据；以及
特征分析单元，该特征分析单元分析可视化数据并提取农场或植物的特征。
(附记A23)
一种用于收集农场的育种数据的育种数据收集方法，育种数据收集方法包括：
信息存储步骤，该信息存储步骤存储农场信息的，包括航空成像的飞行日志的成像条件，以及与成像条件相关联的农场的航空图像；
分类步骤，该分类步骤基于成像条件中包括的成像海拔高度而将航空图像分类为具有不同成像海拔高度范围的多个图像组；
图像处理步骤，该图像处理步骤从多个图像组中的至少一个和成像条件创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从图像已处理数据中分析农场中植物的品质；
可视化步骤，该可视化步骤对在图像处理步骤中获得的图像已处理数据进行可视化；
已处理信息存储步骤，该已处理信息存储步骤将在图像处理步骤中获得的数据和在可视化步骤中获得的数据作为处理信息存储；以及
输出步骤，该输出步骤输出在图像处理步骤中获得的数据或在可视化步骤中获得的数据中的至少一个。
(附记A24)
根据附记A23的育种数据收集方法，其中
多个图像组至少包括第一图像组和第二图像组，并且
第一图像组具有比所述第二图像组更高的成像海拔高度。
(附记A25)
根据附记A23或附记A24的育种数据收集方法，其中，在图像处理步骤中重构整个农场的3D图像。
(附记A26)
根据附记A23至附记A25中的任何一个的育种数据收集方法，其中，在图像处理步骤中重构农场的区块的3D图像以确定区块中的植物组的生长状况。
(附记A27)
根据附记A23至附记A26中的任何一个的育种数据收集方法，其中，品质是从由农场中的植物覆盖率、植物高度和植物生长速度组成的组中选择的至少一个。
(附记A28)
根据附记A23至附记A27中的任何一个的育种数据收集方法，其中，在图像处理步骤中，植物的3D图像被重构以更详细地确定植物的生长状况。
(附记A29)
根据附记A23至附记A28中的任何一个的育种数据收集方法，其中，
图像处理步骤包括：
第一图像处理步骤，该第一图像处理步骤处理第一图像组；以及
第二图像处理步骤，该第二图像处理步骤处理第二图像组。
(附记A30)
根据附记A29的育种数据收集方法，其中，在图像处理步骤中，通过流水线执行多个图像处理。
(附记A31)
根据附记A23至附记A30中的任何一个的育种数据收集方法，其中，在可视化步骤中，对在图像处理步骤中获得的数据中包括的二维数据和三维数据进行可视化。
(补充数据A32)
根据附记A31的育种数据收集方法，其中，
二维数据包括二维正交马赛克、数值表面模型和图形的数据，并且
三维数据包括点云的数据。
(附记A33)
根据附记A23至附记A32中的任何一个的育种数据收集方法，其中，
成像条件包括成像时间，并且
在可视化步骤中，以时间顺序的方式执行可视化。
(附记A34)
根据附记A23至附记A33中的任何一个的育种数据收集方法，其中，在信息存储步骤中，进一步存储与关于农场中的感测的位置信息相关联的农场的感测数据。
(附记A35)
根据附记A34的育种数据收集方法，其中，在可视化步骤中，基于农场信息来进一步对与关于感测的位置信息相关联的农场中的感测数据进行可视化。
(附记A36)
根据附记A35的育种数据收集方法，其中，在可视化步骤中获得的数据是图形数据。
(附记A37)
根据附记A35或附记A36的育种数据收集方法，其中，感测数据是从由温度、湿度、二氧化碳水平和太阳辐射量组成的组中选择的至少一个数据。
(附记A38)
根据附记A23至附记A37中的任何一个的育种数据收集方法，其中，农场信息包括关于划分农场的每块样地的坐标信息和关于在农场中生长的植物的植物信息，并且植物信息与坐标信息相关联。
(附记A39)
根据附记A38的育种数据收集方法，其中，植物信息是关于植物的图像分析信息。
(附记A40)
根据附记A23至附记A39中的任何一个的育种数据收集方法，其中，在信息存储步骤中，存储成像条件和与成像条件相关联的地面图像。
(附记A41)
根据附记A23至附记A40中的任何一个的育种数据收集方法，其中，航空图像是由无人飞行器获得的图像。
(附记A42)
根据附记A41的育种数据收集方法，其中，无人飞行器是无人机。
(附记A43)
根据附记A23至附记A42中的任何一个的育种数据收集方法，进一步包括：
特征分析步骤，该特征分析步骤分析可视化数据以提取农场或植物的特征，其中
可视化数据是从由每个图像的特征量、创建的数据、品质分析数据和感测数据组成的组中选择的至少一个。
(附记A44)
一种用于分析育种中的特征的育种特征分析方法，所述育种特征分析方法包括：
数据收集步骤：使用根据附记A23至附记A43中的任何一个的方法；以及
特征分析步骤：分析从由每个图像的特征量、图像已处理数据、品质分析数据和感测数据组成的组中选择的至少一个可视化数据以提取农场或植物的特征。
(附记A45)
一种用于计算机执行根据附记A23至附记A43中的任何一个的方法的程序。
(附记A46)
一种用于计算机执行根据附记A44的方法的程序。
(附记A47)
一种具有附记A45或附记A46的程序的计算机可读记录介质。
此外，第五和第六实施例和示例中的一些或全部可以被描述为以下附记，但不限于此。
(附记B1)
一种用于识别在图像中的个体果树的树冠的识别设备，识别设备包括：
识别标准确定单元；以及
树冠识别单元，
识别标准确定单元包括：
第一图像获取部，该第一图像获取部获取包括在水果农场的落叶期中多颗个体果树的第一航空图像，
骨干提取部，该骨干提取部处理第一航空图像以提取包括多颗个体果树的整体树冠骨干，
顶点提取单元，该顶点提取单元提取对应于每颗个体果树的每个树冠骨干的顶点，以及
识别标准提取部，该识别标准提取部提取包括所有顶点的最小多边形形状的树冠候选区域作为每颗个体果树的识别标准，并提取树冠候选区域的重心，
树冠识别单元包括：
第二图像获取部，该第二图像获取部获取与第一航空图像相同的比例的、在识别树冠时的果树农场的第二航空图像，
整体树冠提取部，该整体树冠提取部处理第二航空图像以提取包括多颗个体果树的整体树冠图像，以及
树冠识别单元，该树冠识别单元将识别标准的树冠候选区域和重心与整体树冠图像进行核对以识别在第二航空图像中的每颗个体果树的树冠区域。
(附记B2)
根据附记B1的识别设备，其中，树冠识别单元将树冠候选区域和重心作为识别标准与整体树冠图像进行核对以提取每颗个体果树的树冠候选区域，并且从树冠候选区域和围绕树冠候选区域的微小区域中识别出每颗个体果树的树冠区域。
(附记B3)
根据附记B1或附记B2的识别设备，进一步包括分析所识别的树冠区域的品质的果树品质分析单元。
(附记B4)
根据附记B1至附记B3中的任何一个的识别设备，进一步包括输出树冠区域的输出单元。
(附记B5)
一种用于在图像中识别多颗个体果树的树冠的识别方法，所述识别方法包括：
识别标准确定步骤；以及
树冠识别步骤，
识别标准确定步骤包括：
第一图像获取步骤：获取包括水果农场的落叶期中多颗个体果树的第一航空图像，
骨干提取步骤：处理第一航空图像以提取包括多颗个体果树的整体树冠骨干，
顶点提取步骤：提取对应于每颗个体果树的每个树冠骨干的顶点，以及
识别标准提取步骤：提取包括所有顶点的最小多边形形状的树冠候选区域作为每颗个体果树的识别标准，并提取树冠候选区域的重心，
树冠识别步骤包括：
第二图像获取步骤：获取与第一航空图像相同的比例的、在识别树冠时的果树农场的第二航空图像；
整体树冠提取步骤：处理第二航空图像以提取包括多颗个体果树的整体树冠图像，以及
树冠识别步骤：将识别标准的树冠候选区域和重心与整体树冠图像进行核对以识别在第二航空图像中的每颗个体果树的树冠区域。
(附记B6)
根据附记B5的识别方法，其中，
在树冠识别步骤中，
将树冠区域和重心作为识别标准与整体树冠图像进行核对以识别每颗个体果树的树冠候选区域，并且
从树冠候选区域和围绕树冠候选区域的微小区域中识别每颗个体果树的树冠区域。
(附记B7)
根据附记B5或附记B6的识别方法，进一步包括分析所识别的树冠区域的品质的果树品质分析步骤。
(附记B8)
根据附记B5至附记B7中的任何一个的识别方法，进一步包括输出树冠区域的输出步骤。
(附记B9)
一种用于计算机执行根据附记B5至附记B8中的任何一个的识别方法的程序。
(附记B10)
一种具有附记B9的程序的计算机可读记录介质。
工业适用性
本发明对诸如基于成像海拔高度分类的航空图像的农场图像进行分类，从分类的图像组中重建农场、农场中的区块以及农场中的植物的3D图像数据，并且例如进一步基于农场条件或成像条件将3D图像数据转换为可视化数据。因此，例如，本发明可以获得实际农场的广域的的可视化数据，而不是测试农场的有限区域的可视化数据。结果，可视化数据可以广泛地用于实际农场和在那里生长的植物的分析，例如，并且然后可以被用于帮助获取关于表型的新知识。
参考标记列表
1,6:育种数据收集设备
100:存储装置
101:信息存储单元
102:已处理信息存储单元
110:处理器
111:分类单元
112:图像处理单元
113:可视化单元
120:输出单元
2:客户终端
32:通信网络
40:识别设备
41:识别标准确定单元
411:第一图像获取部
412:骨干提取部
413:顶点提取部
414:识别标准提取部
42:树冠识别单元
421:第二图像获取部
422:整体树冠提取部
423:树冠识别部
43:果树品质分析单元
44:存储装置

Claims (10)

1.一种用于在农场中收集育种数据的育种数据收集设备，所述育种数据收集设备包括：
信息存储单元，所述信息存储单元存储农场信息、包括航空成像的飞行日志的成像条件、以及与所述成像条件相关联的所述农场的航空图像；
分类单元，所述分类单元基于所述成像条件中包括的成像海拔高度将所述航空图像分类为具有不同成像海拔高度范围的多个图像组；其中，所述多个图像组包括包含在落叶期的多棵个体果树的第一航空图像，以及与所述第一航空图像相同比例的在识别树冠时的果树农场的第二航空图像；
图像处理单元，所述图像处理单元从所述多个图像组中的至少一个图像组和所述成像条件来创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从所述图像已处理数据来分析所述农场中的植物的品质；
可视化单元，所述可视化单元对在所述图像处理单元中获得的所述图像已处理数据进行可视化；
已处理信息存储单元，所述已处理信息存储单元将在所述图像处理单元中获得的所述数据和在所述可视化单元中获得的所述数据存储作为处理信息；以及
输出单元，所述输出单元输出在所述图像处理单元中获得的所述数据或在所述可视化单元中获得的所述数据中的至少一个数据；以及
识别单元，所述识别单元基于所述第一航空图像和所述第二航空图像来识别所述农场中的所述个体果树。
2.根据权利要求1所述的育种数据收集设备，其中，
所述多个图像组至少包括第一图像组和第二图像组，以及
所述第一图像组具有比所述第二图像组更高的成像海拔高度范围。
3.根据权利要求1或权利要求2所述的育种数据收集设备，其中，
所述图像处理单元重构整个所述农场的3D图像。
4.根据权利要求1或权利要求2所述的育种数据收集设备，其中，
所述图像处理单元重构所述农场的区块的3D图像，以确定所述区块中的植物组的生长状况。
5.根据权利要求1或权利要求2所述的育种数据收集设备，其中，
所述品质是从由所述农场中的植物覆盖率、植物高度和植物生长速度组成的组中选择的至少一个。
6.根据权利要求1或权利要求2所述的育种数据收集设备，其中，
所述图像处理单元重构所述植物的3D图像，以更详细地确定所述植物的品质。
7.根据权利要求2所述的育种数据收集设备，其中，
所述图像处理单元包括：
第一图像处理部，所述第一图像处理部处理所述第一图像组；以及
第二图像处理部，所述第二图像处理部处理所述第二图像组。
8.一种用于分析育种中的特征的育种特征分析设备，所述育种特征分析设备能够经由通信网络而连接至根据权利要求1或权利要求2所述的育种数据收集设备，并且所述育种特征分析设备包括：
输入单元，所述输入单元输入所述育种数据收集设备的所述可视化数据；以及
特征分析单元，所述特征分析单元分析所述可视化数据，并且提取所述农场或所述植物的特征。
9.一种用于收集农场的育种数据的育种数据收集方法，所述育种数据收集方法包括：
信息存储步骤：存储农场信息、包括航空成像的飞行日志的成像条件、以及与所述成像条件相关联的所述农场的航空图像；
分类步骤：基于所述成像条件中包括的成像海拔高度，将所述航空图像分类为具有不同成像海拔高度范围的多个图像组，其中，所述多个图像组包括包含在落叶期的多棵个体果树的第一航空图像，以及与所述第一航空图像相同比例的在识别树冠时的果树农场的第二航空图像；
图像处理步骤：从所述多个图像组中的至少一个图像组和所述成像条件来创建从由二维正交马赛克、数值表面模型和点云组成的组中选择的至少一个图像已处理数据，并且从所述图像已处理数据来分析所述农场中的植物的品质；
可视化步骤：对在所述图像处理步骤中获得的所述图像已处理数据进行可视化；
已处理信息存储步骤：将在所述图像处理步骤中获得的所述数据和在所述可视化步骤中获得的所述数据存储作为处理信息；以及
输出步骤：输出在所述图像处理步骤中获得的所述数据或在所述可视化步骤中获得的所述数据中的至少一个，以及
识别步骤，基于所述第一航空图像和所述第二航空图像来识别所述农场中的所述个体果树。
10.一种用于分析育种中的特征的育种特征分析方法，所述育种特征分析方法包括：
数据收集步骤：使用根据权利要求9所述的方法；以及
特征分析步骤：分析从由每个图像的特征量、所述图像已处理数据、品质分析数据以及感测数据组成的组中选择的至少一个可视化数据，以提取所述农场或所述植物的特征。
CN201880073728.3A 2017-11-15 2018-10-05 在农场中收集育种数据、分析育种特征的设备、方法 Active CN111344738B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017220504 2017-11-15
JP2017-220504 2017-11-15
JP2018057035 2018-03-23
JP2018-057035 2018-03-23
PCT/JP2018/037372 WO2019097892A1 (ja) 2017-11-15 2018-10-05 圃場の育種データ収集装置、育種における特徴解析装置、圃場の育種データ収集方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
CN111344738A CN111344738A (zh) 2020-06-26
CN111344738B true CN111344738B (zh) 2024-03-29

Family

ID=66539455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880073728.3A Active CN111344738B (zh) 2017-11-15 2018-10-05 在农场中收集育种数据、分析育种特征的设备、方法

Country Status (4)

Country Link
US (1) US11462008B2 (zh)
JP (2) JP7218870B2 (zh)
CN (1) CN111344738B (zh)
WO (1) WO2019097892A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7053083B2 (ja) * 2020-01-30 2022-04-12 サグリ株式会社 情報処理装置
CN114548926B (zh) * 2022-02-22 2023-04-07 河南省农业科学院农业经济与信息研究所 一种基于机器视觉的小麦育种材料表型性状快速采集方法
CN114879585B (zh) * 2022-07-11 2022-10-25 黑龙江省农业科学院黑河分院 一种面向精准农业的网络化大豆低温育种的智能监控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212670B1 (en) * 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
CN104182925A (zh) * 2013-05-22 2014-12-03 株式会社东芝 图像处理装置、图像处理方法和医学图像设备
CN106598090A (zh) * 2016-12-14 2017-04-26 江苏蒲公英无人机有限公司 一种用于果树喷药的无人机控制系统
CN106778888A (zh) * 2016-12-27 2017-05-31 浙江大学 一种基于无人机遥感的果园病虫害普查系统和方法
CN106969730A (zh) * 2017-05-19 2017-07-21 中国农业大学 一种基于无人机探测技术的果树树冠体积测量方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI117490B (fi) 2004-03-15 2006-10-31 Geodeettinen Laitos Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla
JP2007033931A (ja) * 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP4178533B2 (ja) * 2005-08-31 2008-11-12 国際航業株式会社 樹冠円抽出システム
JP4887130B2 (ja) * 2006-12-15 2012-02-29 株式会社日立ソリューションズ 農地区画データ作成システム
CN101672915B (zh) 2009-09-23 2012-08-29 中国林业科学研究院资源信息研究所 一种高空间分辨率遥感影像树冠轮廓勾绘系统及方法
JP4858793B2 (ja) 2009-11-12 2012-01-18 国立大学法人信州大学 樹木本数算定方法及び樹木本数算定装置
US9064151B2 (en) 2012-10-04 2015-06-23 Intelescope Solutions Ltd. Device and method for detecting plantation rows
JP6273473B2 (ja) 2012-11-20 2018-02-07 小平アソシエイツ株式会社 森林情報管理装置
CN103793686B (zh) 2014-01-16 2017-12-15 中国农业大学 一种果树产量早期预测的方法
CN103942838A (zh) 2014-05-13 2014-07-23 福州大学 基于点云数据的单树三维建模与形态参数提取的方法
JP2016000024A (ja) 2014-06-12 2016-01-07 清水建設株式会社 植栽防火性評価装置及び植栽防火性評価方法
CN104463164B (zh) 2014-09-03 2018-02-13 中国科学院遥感与数字地球研究所 一种基于伞骨法与冠高比的树木冠层结构信息提取方法
JP6656038B2 (ja) 2016-03-25 2020-03-04 忠士 岩下 ブドウの栽培管理方法
US11467148B2 (en) 2017-09-27 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus for analyzing communication environments and designing networks in consideration of trees

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212670B1 (en) * 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
CN104182925A (zh) * 2013-05-22 2014-12-03 株式会社东芝 图像处理装置、图像处理方法和医学图像设备
CN106598090A (zh) * 2016-12-14 2017-04-26 江苏蒲公英无人机有限公司 一种用于果树喷药的无人机控制系统
CN106778888A (zh) * 2016-12-27 2017-05-31 浙江大学 一种基于无人机遥感的果园病虫害普查系统和方法
CN106969730A (zh) * 2017-05-19 2017-07-21 中国农业大学 一种基于无人机探测技术的果树树冠体积测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Development of High-Throughput Field Phenotyping System Using Imagery from Unmanned Aerial Vehicle;Ryo Sugiura 等;《2015 ASABE Annual International Meeting》;第0-7页 *
TPCC-UVa: an open-source TPC-C implementation for global performance measurement of computer systems;Diego R. Llanos;《ACM SIGMOD Record》;第35卷(第4期);6–15 *
果树对靶喷雾系统中图像识别技术;肖健;《中国优秀博硕士学位论文全文数据库 (硕士) 农业科技辑》(第05期);D044-30 *

Also Published As

Publication number Publication date
JP2023052423A (ja) 2023-04-11
CN111344738A (zh) 2020-06-26
JPWO2019097892A1 (ja) 2020-12-24
US20200372251A1 (en) 2020-11-26
WO2019097892A1 (ja) 2019-05-23
JP7218870B2 (ja) 2023-02-07
US11462008B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
Johansen et al. Using multi-spectral UAV imagery to extract tree crop structural properties and assess pruning effects
Malambo et al. Automated detection and measurement of individual sorghum panicles using density-based clustering of terrestrial lidar data
Burton et al. RootScan: software for high-throughput analysis of root anatomical traits
CN111344738B (zh) 在农场中收集育种数据、分析育种特征的设备、方法
Miao et al. Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud
CN111918547B (zh) 树冠识别装置、识别方法、程序和记录介质
Le Bot et al. DART: a software to analyse root system architecture and development from captured images
Swayze et al. Influence of flight parameters on UAS-based monitoring of tree height, diameter, and density
Mulianga et al. Mapping cropping practices of a sugarcane-based cropping system in Kenya using remote sensing
Méndez et al. In-field estimation of orange number and size by 3D laser scanning
Li et al. Characterizing 3D inflorescence architecture in grapevine using X-ray imaging and advanced morphometrics: implications for understanding cluster density
Zhu et al. Identification of apple orchard planting year based on spatiotemporally fused satellite images and clustering analysis of foliage phenophase
Katal et al. Deep learning in plant phenological research: A systematic literature review
Barbosa et al. Application of rgb images obtained by uav in coffee farming
Xi et al. Automating plot-level stem analysis from terrestrial laser scanning
Helmholz et al. Semi-automatic verification of cropland and grassland using very high resolution mono-temporal satellite images
Harush et al. Social signatures in standardized ceramic production–A 3-D approach to ethnographic data
Imangholiloo et al. Using leaf-off and leaf-on multispectral airborne laser scanning data to characterize seedling stands
Wang et al. Segmentation and phenotype calculation of rapeseed pods based on YOLO v8 and mask R-convolution neural networks
Alvites et al. Terrestrial laser scanning for quantifying timber assortments from standing trees in a mixed and multi-layered mediterranean forest
Penglase et al. A new approach to estimate fuel budget and wildfire hazard assessment in commercial plantations using drone-based photogrammetry and image analysis
Osińska-Skotak et al. The methodology for identifying secondary succession in non-Forest Natura 2000 habitats using multi-source airborne remote sensing data
Tatum et al. Using Discrete-Point LiDAR to Classify Tree Species in the Riparian Pacific Northwest, USA
JP5180772B2 (ja) 穂の構造の解析方法および装置
Wilkinson et al. Change detection techniques for use in a statewide forest inventory program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant