CN112639869A - 作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序 - Google Patents

作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序 Download PDF

Info

Publication number
CN112639869A
CN112639869A CN201880096910.0A CN201880096910A CN112639869A CN 112639869 A CN112639869 A CN 112639869A CN 201880096910 A CN201880096910 A CN 201880096910A CN 112639869 A CN112639869 A CN 112639869A
Authority
CN
China
Prior art keywords
image
stage
growth stage
crop
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880096910.0A
Other languages
English (en)
Inventor
岩泽纪生
三尾有年
原诚一
下城洋人
竹本宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ntt Data Ccs
NTT Data CCS Corp
Original Assignee
Ntt Data Ccs
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Data Ccs filed Critical Ntt Data Ccs
Publication of CN112639869A publication Critical patent/CN112639869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Agronomy & Crop Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

以无损方式简易且准确地判定作物的生长状态。具备：图像数据输入单元(11)，输入多个通过对作物进行摄影而得到的图像信息；阶段信息输入单元(12)，输出针对所输入的多个图像信息分别表示该作物的生长阶段的信息；学习单元(14)，基于所输入的多个图像信息以及表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习；图像输入单元(16)，输入通过对生长阶段不明的作物进行摄影而得到的图像信息；生长阶段判定单元(10)，对于由图像输入单元(16)输入的图像信息，基于学习单元(14)中的学习结果来判定生长阶段；以及判定结果输出单元(17)，输出由生长阶段判定单元(10)判定的生长阶段。

Description

作物生长阶段判定系统的服务器装置、生长阶段判定方法以 及程序
技术领域
本发明涉及适于正确地掌握作物的生长状况的作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序。
背景技术
在农业经营、特别是以水稻等作为主食的土地利用型作物的领域中，由于以高龄化为背景的产业结构的变化，向大规模经营体的农田集约正在快速发展。这样的农田集约的倾向被认为长期还会进一步推进。作为农田集约的结果，如果每一个经营体达到了一定以上的规模，则对现有的栽培管理方法而言，超过了人的信息处理能力，无法恰当地实施所需的诊断以及管理。由此，错过重要的作业期等而导致产品的质量或产量降低、发生减收减益的事例增加，成为经营问题。
作物栽培的要诀在于辨明作物的生长阶段，并恰当地对水和肥料进行管理。作物有出芽、营养成长、生殖成长、开花、成熟等各种各样的生长阶段，农民每天追随这些生长阶段并且进行恰当的栽培管理。
例如，在水稻栽培中，生长阶段的判定也是重要的基本管理技术之一，特别是作为生长阶段的判定之一的依赖于幼穗诊断的施肥(穗肥)的时期判断，直接影响糙米的产量性和质量。
为了准确地进行这样的生长阶段判定，农民不得不每天在田地中巡视，感受相对于前一天的变化，仔细地直接采集植物体并进行分解、调查。但是，随着农田集约的推进，忙于作业的农民对远程且跨大范围的大量农田细致地进行观察，并通过幼穗诊断等判定出作物的生长阶段，这成为极为困难的作业。
特别是，幼穗诊断由于幼穗被叶鞘包覆而无法从外面看到，而且是通过语言传达信息的可能性低的技术，因此对缺乏经验的人来说诊断本身就很困难等，用于教育和技术传承的人力、时间的成本也成为课题。
然而，在将水稻的生长阶段分为例如5个阶段，即(1)分蘖期、(2)幼穗分化期、(3)减数分裂期、(4)抽穗期、(5)催熟期来考虑的情况下，上述(4)抽穗期以及(5)催熟期的外观的变化都比较明确。
因此，例如日本特开2013-111078号公报所记载的技术那样，提出了事先准备基准图像，并将基准图像与通过摄影而得到的检查图像比较从而进行判别的系统，或者如“基于数码相机图像RGB处理的水稻生长诊断技术(デジタルカメラ画像RGB処理による水稲生育診断技術)”(后藤克典等，东北农业研究，2004年12月，57号，pp59-60)所记载的技术那样，提出了根据图像中的稻体像素数估计作物高度、茎数从而判断生长状态的系统等。
发明内容
另一方面，上述(2)幼穗分化期以及(3)减数分裂期是对产量以及质量带来最大影响的重要的作业期。但是，在现状中，特别是对(2)幼穗分化期的初期，除了熟练者以外在事实上不可能判别，即使是熟练者，为了切实地进行调查，也需要在显微镜下对幼穗进行解剖，作业的难度极高。此外对(3)减数分裂期而言，也需要将幼穗部分用手剥开或者用刀具切开从而目视确认生长的状态等，均需要进行有损检查，对全部田地进行确认需要很大的劳力，因此在大规模农场中通过上述的有损检查来进行状态确认是不现实的。
因此，在实际上，也大量存在不进行幼穗等的诊断而在错失了恰当的时机的状态下进行作业的情况，可以想到这成为产量性和质量受损的主要原因。
本发明鉴于上述那样的实际情况而作出，其目的在于，提供能够以无损方式简易且准确地判定作物的生长状态的作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序。
本发明的一方式是作物生长阶段判定系统的服务器装置，具备：第一图像输入单元，输入多个通过对作物进行摄影而得到的图像信息；阶段信息输入单元，输入针对由上述第一图像输入单元输入的多个图像信息分别表示该作物的生长阶段的信息；学习单元，基于由上述第一图像输入单元输入的多个图像信息以及由上述阶段信息输入单元输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；第二图像输入单元，输入通过对生长阶段不明的作物进行摄影而得到的图像信息；阶段判定单元，对于由上述第二图像输入单元输入的图像信息，基于由上述学习单元构筑的学习完毕模型来判定生长阶段；以及输出单元，输出由上述阶段判定单元判定的生长阶段的信息。
附图说明
图1是表示本发明的一实施方式所涉及的生长阶段判定系统整体的结构的图。
图2是表示上述实施方式所涉及的服务器装置的功能结构的框图。
图3是表示上述实施方式所涉及的学习阶段中执行的一系列的处理内容的流程图。
图4是说明上述实施方式所涉及的图3中执行的一系列的处理的概要的图。
图5是表示上述实施方式所涉及的判定阶段中执行的一系列的处理内容的流程图。
图6是说明上述实施方式所涉及的图5中执行的一系列的处理的概要的图。
具体实施方式
以下，针对将本实施方式应用于进行水稻的生长阶段判定的生长阶段判定系统的情况下的一实施方式，参考附图详细地进行说明。
图1是表示该实施方式所涉及的生长阶段判定系统整体的结构的图。在该图中，通过在此未图示的用户所持的智能手机SP的相机功能，对作为生长阶段的判定对象的水田PD进行摄影。
在智能手机SP中，预先安装本系统专用的应用程序。在智能手机SP中启动了该应用程序的状态下，以遵循显示器画面上显示的指南的构图，对水田的稻谷进行摄影，从而取得通过摄影而得到的稻谷的静止图像数据，作为成为判定对象的图像信息。
智能手机SP经由包含移动电话网的基站或互联网的网络NW，与用于进行生长阶段的判定的服务器装置SV连接。
另外，作为对判定对象的图像进行摄影的部件，不限于用户所持的智能手机SP，例如也可以将由固定设置的数码相机利用延时功能定时地计测的图像向服务器装置SV发送。
服务器装置SV基于储存的学习完毕模型，对于从智能手机SP送来的图像信息，将颜色分量去除，作为仅有亮度分量的图像信息进行灰度化之后，判定该灰度化的图像信息中的稻谷的生长阶段，并将判定结果向该智能手机SP回送。
另外，在实际的运用时，也可以不仅利用智能手机SP知晓生长阶段，而且根据服务器SV中积蓄存储的与用户进行关联的田地的过去的生长阶段的历史，使智能手机SP提示：是该生长阶段的第几日、或者是成为下一生长阶段的几日之前等。
图2是表示服务器装置SV内执行的计算机程序的功能结构的框图。
服务器装置SV以生长阶段判定单元10作为主要结构元素，该生长阶段判定单元10构成为跨被分为学习阶段和判定阶段的两个区域而配置。
在学习阶段中，用于构成基本的学习模型的按各种生长阶段的稻谷的图像数据通过图像数据输入单元11被输入。另一方面，由进行生长阶段的判定的熟练者，将与各图像数据进行了关联的生长阶段信息通过阶段信息输入单元12输入。
从图像数据输入单元11输入的稻谷的图像数据、以及由阶段信息输入单元12输入的与图像数据进行了关联的生长阶段信息，通过学习图像输入单元13被受理，并被进行关联而向生长阶段判定单元10的学习单元14输入。
学习单元14通过基于具有例如5层即输入层、中间层A、中间层B、中间层C以及输出层的卷积神经网络(CNN)的深度学习，执行以被输入的图像数据与生长阶段信息的大量的组作为教师数据的学习。
在执行学习时，通过试错来变更设定各种参数，从而制成最佳的学习模型。在判断为已成为足以适于实用的学习模型的时刻，构筑所取得的神经网络即学习完毕模型，并使判定阶段侧的学习完毕模型保持单元15保持。
在生长阶段判定单元10的判定阶段中，如果经由网络NW从图像输入单元16输入了稻谷的图像数据，则对于该图像数据，基于学习完毕模型保持单元15所保持的学习完毕模型，判定生长阶段。并且，得到作为判定结果的生长阶段的信息，将得到的生长阶段的信息通过判定结果输出单元17经由网络NW向送来了上述图像数据的智能手机SP回复。
接着，针对上述实施方式的操作进行说明。
另外，作为服务器装置SV中的在学习阶段中输入的图像数据的摄影条件，在同一年对于作为摄影对象的田地设定成为观察位置的固定点，且设为在整季中只要是晴天时就能够得到充分的日照的摄影时段、例如11：00～13：00等，为了提高学习精度而使摄影条件一致。
此外，作为服务器装置SV中的在学习阶段、判定阶段中输入的图像数据，为了排除摄影时段所造成的太阳光(朝霞等)或肥料等所造成的颜色的影响，对通过摄影而得到的彩色图像以仅有亮度分量的方式进行灰度化之后进行处理。
进而，预先设定由于日照或风导致稻谷倒伏等的排除条件，从而限制例如雨天时等日照不充分的状态、或由于强风而导致静止图像中的稻谷显著倾斜或者抖动地映现等，可能成为学习时间变长或作为学习数据的精度降低的主要原因的图像数据的输入。
首先，针对学习阶段中的处理进行说明，在学习阶段中，将通过对水田PD中的与全部生长阶段对应的水稻进行摄影而得到的图像数据，依次与表示生长阶段的信息一起输入，并根据输入的内容进行深度学习。
图3是表示由服务器装置SV的生长阶段判定单元10在学习阶段中执行的一系列的处理内容的流程图。在其最初，选择未输入的对象田地的一个图像数据并从图像数据输入单元11输入(步骤S101)，并且由熟练者将与该图像对应的生长阶段的识别结果的信息从阶段信息输入单元12输入(步骤S102)。在图像数据中，在附带数据的一部分中包含进行摄影的年月日和时刻的数据。
在服务器装置SV中，学习图像输入单元13对这些图像数据与生长阶段的信息进行关联并受理，并且将被输入的图像数据分割为特定大小的图像块(步骤S103)。
在此，分割的大小优选是能够判别图像中的稻谷的形状或株距的程度的大小。此外，也可以进行在相邻的图像块间通过适度的重叠率使得周围部分的图像重复的分割处理。
在服务器装置SV的生长阶段判定单元10中，选择分割的一个图像块并向学习单元14输入(步骤S104)，并且将在紧前的步骤S102中输入的与该图像数据对应的生长阶段的识别结果的信息一并向学习单元14输入(步骤S105)。
其后，判断是否已将从图像数据分割出的全部图像块向学习单元14输入(步骤S106)。在判断为尚未将分割出的全部图像块与其生长阶段的识别结果的信息一起输入的情况下(步骤S106：否)，在生长阶段判定单元10中，再次返回从上述步骤S104起的处理，关于尚未输入的图像块也继续执行同样的输入处理。
像这样反复执行步骤S104～S106的处理，在判断为已经将分割一个图像数据而得到的全部图像块与其生长阶段的识别结果的信息一起输入完毕的时刻(步骤S106：是)，接着，在生长阶段判定单元10中，判断是否结束了与该对象田地相关的全部图像数据的输入(步骤S107)。
在判断为尚未结束与对象田地相关的全部图像数据的输入，而尚有未输入的图像数据的情况下(步骤S107：否)，在生长阶段判定单元10中，再次返回从上述步骤S101起的处理，关于尚未输入的图像数据也继续执行同样的输入处理。
像这样再次反复执行步骤S101～S107的处理，在判断为针对全部图像数据，在与其生长阶段的识别结果的信息一起输入之后分割为特定大小的多个图像块并已经向学习单元14输入完毕的时刻(步骤S107：是)，在学习单元14中，为了构筑对图像的特征量与生长阶段的识别结果进行关联的模型，执行基于CNN的深度学习(步骤S108)，至此完成学习阶段中的处理。
图4是说明上述图3中执行的一系列的处理的概要的图。通过实施图4的(A)所示的水田PD在“xxxx年”且在同一地点、同一时段中的时间序列的摄影，如图4的(B)所示，取得大量图像数据。对于这些图像数据，如图4的(C)所示，由熟练者判断生长阶段的各期间并进行输入设定。
通过这些输入，如图4的(D)所示，与各个图像数据对应地对生长阶段的识别信息进行关联并向学习单元14输入。
在学习单元14中，通过根据生长阶段的识别信息对每个图像数据附加标签，能够将图像数据按每个生长阶段分组。
作为该分组的结果，如图4的(E)所示，分蘖期、幼穗分化期、减数分裂期、抽穗期以及催熟期各自的多个图像数据的组向学习单元14输入。
在学习单元14中，以各个图像数据的组作为数据集来执行深度学习，从而构筑提取了表示各生长阶段中的水稻图像的特征的特征信息后的学习完毕模型，并使学习完毕模型保持单元15保持所构筑的学习完毕模型。
接着，针对在学习完毕模型保持单元15中保持着学习完毕模型的状态下，从图像输入单元16输入了请求判定生长阶段的对象田地的图像数据的情况下的判定阶段中的处理进行说明。
图5是表示由服务器装置SV的生长阶段判定单元10在判定阶段中执行的一系列的处理内容的流程图。在其最初，由图像输入单元16输入经由网络NW从用户送来的生长阶段不明的对象田地的图像数据(步骤S201)。
在此，从用户送来的图像数据，是通过用户侧的智能手机SP的应用程序预先去除颜色分量而仅为亮度分量的灰度化的图像数据。
在生长阶段判定单元10中，对于被输入的图像数据，根据是否分别满足预先设定的多个摄影条件，来分别判定是否匹配对于图像的排除条件(步骤S202)。
具体而言，对于灰度化的图像数据，例如分别进行如下判定等：根据图像整体的亮度级(level)是否为预先设定的级以上，判定是否处于一定的日照条件，此外，通过包含边缘检测和轮廓提取处理的图像处理，判定图像中的稻谷是否由于风而发生倒伏。
作为判定的结果，根据在整体上是否不匹配任一个排除条件，判断被输入的图像数据是否适合于生长阶段的判定(步骤S203)。
在判断为不适合的情况下，即匹配至少一个排除条件的情况下(步骤S203：否)，在生长阶段判定单元10中，对于经由网络NW发送来该图像数据的用户的智能手机SP，通过判定结果输出单元17，作为判定结果输出表示根据排除条件(雨、风、太阳高度、相机摄影角度、判别结果的准确度等)而无法进行正确的判定的意思的指引消息的数据作为答复(步骤S204)，至此结束该图5的处理。
此外，在上述步骤S203中判断为被输入的图像数据适合于生长阶段的判定的情况下(步骤S203：是)，接着，在生长阶段判定单元10中，将被输入的图像数据分割为特定大小的图像块(步骤S205)。
在此，分割的大小优选是能够判别图像中的稻谷的形状或株距的程度的大小。此外，也可以进行在相邻的图像块间通过适度的重叠率使得周围部分的图像重复的分割处理。而且，优选与在学习阶段中对图像进行分割的大小是同样的。
在生长阶段判定单元10中，在选择了分割出的一个图像块之后(步骤S206)，针对选择的图像块使用学习完毕模型保持单元15所保持的学习完毕模型进行生长阶段的判定(步骤S207)。
接着，在生长阶段判定单元10中，根据是否没有尚未进行判定的图像块，来判断是否结束了全部图像块的判定(步骤S208)。
在判断为尚未结束全部图像块的判定的情况下(步骤S208：否)，在生长阶段判定单元10中返回从上述步骤S206起的处理，并执行同样的处理。
像这样反复执行步骤S206～S208的处理，针对将一个图像数据分割而成的全部图像块，分别基于学习完毕模型保持单元15所保持的学习完毕模型来判定生长阶段。
如果判断为对于将输入的图像数据分割而成的全部图像块结束了生长阶段的判定(步骤S208：是)，则利用预先设定的决定方法、例如多数决定理论，将作为最多的判定结果的生长阶段的信息设为图像数据整体的判定结果(步骤S209)。
更详细而言，在图像块的生长阶段的判定中，例如算出五个生长阶段的概率。将算出的这些概率之中概率最高的生长阶段设为该图像块的生长阶段。在概率的分布在整体上分散，没有显著的偏差，无法以高准确度进行判定的情况下，例如在阶段1的概率：15％、阶段2的概率：20％、阶段3的概率：25％、阶段4的概率：20％、阶段5的概率：20％的情况等下，该图像块作为无判定而不包含在多数决定的运算中。
由此，通过仅使用在各个图像块的判别中得到的准确度高的结果，并在整体上使用多数决定理论，能够采用以更高的精度进行生长阶段的判定的分为2个阶段的判定工序。
在生长阶段判定单元10中，针对像这样得到的判定结果的生长阶段的信息，通过判定结果输出单元17经由网络NW，向发送来图像数据的用户的智能手机SP，输出作为判定结果的生长阶段的信息作为答复(步骤S210)，至此结束该图5的处理。
在此，作为向用户的智能手机SP回送的设为判定结果的生长阶段的信息，可以考虑制成如下图像数据：在重叠了以颜色来区分所分割出的每个图像块的生长阶段的判定结果的点后的图像数据中的端部处、重叠了作为图像整体中的判定结果的生长阶段的信息而得到的图像数据；或者，将基于分割出的图像块的每个生长阶段的判定结果的总计利用百分比一并显示的图像数据。
而且，在同一用户连续地送来通过对同一田地进行摄影而得到的图像的情况下，也可以基于服务器SV所记录的判定结果的历史，制成如下图像数据并进行回复，该图像数据关于是相应阶段的第几日，例如包含“○○期第n日”那样的记载，或者利用直到估计的下一阶段或适于进行追肥的时机为止的倒计时显示，包含“到抽穗期还有n日”那样的记载。另外，根据图像数据的发送者ID信息，能够容易地判断是同一用户。而且，如果用户设定为对图像数据附加GPS数据并发送，则也能够容易地判断是同一田地。
另外，在上述图6的处理中，设为仅在满足由于日照或风造成倒伏等的摄影条件的情况下，执行使用了学习完毕数据的生长阶段的判定，但也可以省略那样的执行判定的事先处理，而直接实施生长阶段的判定。
图6是说明上述图5中执行的一系列的处理的概要的图。在图6的(A)中示出。如图6的(A)所示，在用户利用智能手机SP摄影了请求判定生长阶段的水田PD的图像之后，经由网络NW向服务器装置SV发送。
可以考虑，在用户摄影图像时由智能手机SP执行的应用程序中，在通过相机功能对田地进行显示的显示器上，通过进行表示摄影的构图的指引显示、具体而言表示田地端侧的稻谷的侧面及其内侧接续的稻穗的最上部的延续的指引显示，能够活用服务器装置SV侧的学习内容来进行高精度的判定。
在由图像输入单元16受理了来自用户的图像数据的生长阶段判定单元10中，如图6的(B)所示使用学习完毕模型保持单元15所保持的学习完毕模型，实施生长阶段的判定。
服务器装置SV如图6的(C)所示，将作为其结果而得到的生长阶段的信息，通过判定结果输出单元17经由网络NW向用户所持的智能手机SP回复。
根据如上详述的本实施方式，能够以无损方式简易且准确地判定作物的生长状态。
此外在上述实施方式中，作为进行生长阶段的判定的对象，特别设为水田PD中的水稻，且设为还进行包含幼穗分化期的生长阶段的判定，因此即使包含水田PD跨更大范围的情况在内，针对平日难以进行细腻的判定的作业，通过使用了深度学习的技术，就算不是熟练者也能够容易地实现。
进而在上述实施方式中，设定要摄影的图像数据中的作物的摄影条件，并将不满足该摄影条件的图像数据的输入排除，因此能够进一步提高深度学习中的判定精度。
此外在上述实施方式中，在对作为判定对象的作物的图像进行摄影时，依照智能手机SP中安装的应用程序，进行使得以一定的构图进行摄影的指引显示，因此能够促进适于判定的作物的图像的摄影，期待以更高的精度运用。
进而在上述实施方式中，在将得到的图像分割为适于深度学习的多个区域的图像块之后执行处理，按分割出的这些区域中的每个区域基于学习完毕模型判定生长阶段，并对多个区域的判定结果进行综合，来判定图像数据整体的生长阶段，因此能够将分割至各个区域的每个作物的生长阶段的个体差异吸收，在整体上进行准确的生长阶段的判定。
另外在上述实施方式中，在学习阶段以及判定阶段中处理的图像数据，设为从彩色图像数据去除颜色分量而仅为亮度分量的、灰度化的图像数据。由此，能够避免由于颜色分量的变化而导致学习及其后的判定所涉及的精度恶化。
此外，也可以替代灰度化的图像数据，而使用仅提取稻谷的边缘而得到的黑白2值化的图像数据。通过使用2值化的图像数据，能够大幅削减计算量，并且完全去除太阳光的散射的影响。
进而在上述实施方式中，作为判定结果，对于委托了判定的用户，能够不仅提示判定为作物处于哪个生长阶段的结果，而且通过使用过去的同用户的同田地中的判定结果的历史，还将从变成当前的生长阶段起是第几日、直到下一生长阶段估计还需要几日一并提示，因此易于掌握追肥或除草剂的喷施等的时机，能够提供更适于实用的系统。
另外，关于本实施方式，作为实施了如下实验的结果备注如下：在整季中取得将水稻的种类设为“越光”的图像数据，并在下一季基于同一摄影条件进行生长阶段的判定，得到了极为准确且好的结果。
另外，本发明本身并未将水稻的种类限定于“越光”，进而也未将作物限定于水稻。例如，除了水稻以外，关于包含大麦、小麦的各种麦类、包含胡萝卜、洋葱、薯等根菜类的各种蔬菜等，只要是通过对露出地面的部分的图像进行摄影从而能够判定生长阶段的作物，则能够同样地应用。
另外，本申请发明不限定于上述实施方式，在实施阶段中在不脱离其要旨的范围内能够进行各种各样的变形。此外，各实施方式只要可能，也可以适宜地组合实施，在该情况下能够得到组合的效果。进而，在上述实施方式中包含各种各样的阶段的发明，通过公开的多个结构要件的适当组合，能够得到各种各样的发明。例如，即使从实施方式所示的全部结构要件删除一些结构要件，在能够解决在发明所要解决的课题的部分中叙述的课题，且能够得到在发明效果的部分中叙述的效果的情况下，该结构要件被删除后的结构也能够作为发明得到。
权利要求书(按照条约第19条的修改)
1.一种作物生长阶段判定系统的服务器装置，具有：
第一图像输入单元，输入多个以能够提取作物的形状的方式摄影而得到的图像信息；
阶段信息输入单元，输入针对由上述第一图像输入单元输入的多个图像信息分别表现该作物的生理的发育程度的生长阶段的信息；
学习单元，基于由上述第一图像输入单元输入的多个图像信息以及由上述阶段信息输入单元输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；
第二图像输入单元，输入以能够提取生长阶段不明的作物的形状的方式摄影而得到的图像信息；
阶段判定单元，对于由上述第二图像输入单元输入的图像信息，基于由上述学习单元构筑的学习完毕模型来判定生长阶段；以及
输出单元，输出由上述阶段判定单元判定的生长阶段的信息。
2.如权利要求1所述的作物生长阶段判定系统的服务器装置，
上述作物是水稻，上述学习单元进行对包含幼穗分化期的生长阶段与能够提取水稻的形状的图像进行关联的深度学习。
3.如权利要求1或者2所述的作物生长阶段判定系统的服务器装置，
上述第一图像输入单元以及第二图像输入单元中的至少一方排除未满足对于图像信息设定的作物的摄影条件的图像信息的输入。
4.如权利要求1至3中任一项所述的作物生长阶段判定系统的服务器装置，
上述第一图像输入单元输入多个限定了摄影时段的图像信息。
5.如权利要求1至4中任一项所述的作物生长阶段判定系统的服务器装置，
上述第一图像输入单元以及第二图像输入单元中的至少一方识别并受理依照应用程序而摄影的图像信息，该应用程序指引显示对于要摄影的作物的构图。
6.如权利要求1至5中任一项所述的作物生长阶段判定系统的服务器装置，
上述阶段判定单元将由上述第二图像输入单元输入的图像信息分割为能够提取多个作物的各形状的区域，按分割出的每个区域基于由上述学习单元构筑的学习模型来判定生长阶段，对多个区域的判定结果进行综合来判定图像信息整体的生长阶段。
7.如权利要求6所述的作物生长阶段判定系统的服务器装置，
上述阶段判定单元设定对于分割出的区域中判定的结果的匹配条件，以未达到该匹配条件的判定结果不包含在多个区域的判定结果中的方式，判定图像信息整体的生长阶段。
8.如权利要求1至7中任一项所述的作物生长阶段判定系统的服务器装置，
上述学习单元要进行深度学习的图像信息、以及上述阶段判定单元要判定生长阶段的图像信息被灰度化。
9.如权利要求1至8中任一项所述的作物生长阶段判定系统的服务器装置，还具备：
记录单元，记录由上述阶段判定单元判定的生长阶段作为历史，
上述输出单元根据由上述阶段判定单元判定的生长阶段以及由上述记录单元记录的历史，输出是所判定的生长阶段的第几日、以及直到转移到下一生长阶段估计还有几日中的至少一方。
10.一种生长阶段判定方法，具有：
第一图像输入工序，输入多个以能够提取作物的形状的方式摄影而得到的图像信息；
阶段信息输入工序，输入针对在上述第一图像输入工序中输入的多个图像信息分别表现该作物的生理的发育程度的生长阶段的信息；
学习工序，基于在上述第一图像输入工序中输入的多个图像信息以及在上述阶段信息输入工序中输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；
第二图像输入工序，输入以能够提取生长阶段不明的作物的形状的方式摄影而得到的图像信息；
阶段判定工序，对于在上述第二图像输入工序中输入的图像信息，基于在上述学习工序中构筑的学习完毕模型来判定生长阶段；以及
输出工序，输出在上述阶段判定工序中判定的生长阶段的信息。
11.一种计算机所执行的程序，使上述计算机作为如下单元发挥作用：
第一图像输入单元，输入多个以能够提取作物的形状的方式摄影而得到的图像信息；
阶段信息输入单元，输入针对由上述第一图像输入单元输入的多个图像信息分别表现该作物的生理的发育程度的生长阶段的信息；
学习单元，基于由上述第一图像输入单元输入的多个图像信息以及由上述阶段信息输入单元输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；
第二图像输入单元，输入以能够提取生长阶段不明的作物的形状的方式摄影而得到的图像信息；
阶段判定单元，对于由上述第二图像输入单元输入的图像信息，基于由上述学习单元构筑的学习完毕模型来判定生长阶段；以及
输出单元，输出由上述阶段判定单元判定的生长阶段的信息。

Claims (11)

1.一种作物生长阶段判定系统的服务器装置，具备：
第一图像输入单元，输入多个通过对作物进行摄影而得到的图像信息；
阶段信息输入单元，输入针对由上述第一图像输入单元输入的多个图像信息分别表示该作物的生长阶段的信息；
学习单元，基于由上述第一图像输入单元输入的多个图像信息以及由上述阶段信息输入单元输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；
第二图像输入单元，输入通过对生长阶段不明的作物进行摄影而得到的图像信息；
阶段判定单元，对于由上述第二图像输入单元输入的图像信息，基于由上述学习单元构筑的学习完毕模型来判定生长阶段；以及
输出单元，输出由上述阶段判定单元判定的生长阶段的信息。
2.如权利要求1所述的作物生长阶段判定系统的服务器装置，
上述作物是水稻，上述学习单元进行对包含幼穗分化期的生长阶段与水稻的图像进行关联的深度学习。
3.如权利要求1或者2所述的作物生长阶段判定系统的服务器装置，
上述第一图像输入单元以及第二图像输入单元中的至少一方排除未满足对于图像信息设定的作物的摄影条件的图像信息的输入。
4.如权利要求1至3中任一项所述的作物生长阶段判定系统的服务器装置，
上述第一图像输入单元输入多个限定了摄影时段的图像信息。
5.如权利要求1至4中任一项所述的作物生长阶段判定系统的服务器装置，
上述第一图像输入单元以及第二图像输入单元中的至少一方识别并受理依照应用程序而摄影的图像信息，该应用程序指引显示对于要摄影的作物的构图。
6.如权利要求1至5中任一项所述的作物生长阶段判定系统的服务器装置，
上述阶段判定单元将由上述第二图像输入单元输入的图像信息分割为多个区域，按分割出的每个区域基于由上述学习单元构筑的学习模型来判定生长阶段，对多个区域的判定结果进行综合来判定图像信息整体的生长阶段。
7.如权利要求6所述的作物生长阶段判定系统的服务器装置，
上述阶段判定单元设定对于分割出的区域中判定的结果的匹配条件，以未达到该匹配条件的判定结果不包含在多个区域的判定结果中的方式，判定图像信息整体的生长阶段。
8.如权利要求1至7中任一项所述的作物生长阶段判定系统的服务器装置，
上述学习单元要进行深度学习的图像信息、以及上述阶段判定单元要判定生长阶段的图像信息被灰度化。
9.如权利要求1至8中任一项所述的作物生长阶段判定系统的服务器装置，还具备：
记录单元，记录由上述阶段判定单元判定的生长阶段作为历史，
上述输出单元根据由上述阶段判定单元判定的生长阶段以及由上述记录单元记录的历史，输出是所判定的生长阶段的第几日、以及直到转移到下一生长阶段估计还有几日中的至少一方。
10.一种生长阶段判定方法，具有：
第一图像输入工序，输入多个通过对作物进行摄影而得到的图像信息；
阶段信息输入工序，输入针对在上述第一图像输入工序中输入的多个图像信息分别表示该作物的生长阶段的信息；
学习工序，基于在上述第一图像输入工序中输入的多个图像信息以及在上述阶段信息输入工序中输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；
第二图像输入工序，输入通过对生长阶段不明的作物进行摄影而得到的图像信息；
阶段判定工序，对于在上述第二图像输入工序中输入的图像信息，基于在上述学习工序中构筑的学习完毕模型来判定生长阶段；以及
输出工序，输出在上述阶段判定工序中判定的生长阶段的信息。
11.一种计算机所执行的程序，使上述计算机作为如下单元发挥作用：
第一图像输入单元，输入多个通过对作物进行摄影而得到的图像信息；
阶段信息输入单元，输入针对由上述第一图像输入单元输入的多个图像信息分别表示该作物的生长阶段的信息；
学习单元，基于由上述第一图像输入单元输入的多个图像信息以及由上述阶段信息输入单元输入的表示生长阶段的信息，进行对作物的图像与生长阶段进行关联的深度学习并构筑学习完毕模型；
第二图像输入单元，输入通过对生长阶段不明的作物进行摄影而得到的图像信息；
阶段判定单元，对于由上述第二图像输入单元输入的图像信息，基于由上述学习单元构筑的学习完毕模型来判定生长阶段；以及
输出单元，输出由上述阶段判定单元判定的生长阶段的信息。
CN201880096910.0A 2018-08-30 2018-08-30 作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序 Pending CN112639869A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032066 WO2020044480A1 (ja) 2018-08-30 2018-08-30 作物生育ステージ判定システムのサーバ装置、生育ステージ判定方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112639869A true CN112639869A (zh) 2021-04-09

Family

ID=69183655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096910.0A Pending CN112639869A (zh) 2018-08-30 2018-08-30 作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序

Country Status (5)

Country Link
US (1) US11935282B2 (zh)
JP (1) JP6638121B1 (zh)
KR (1) KR20210040088A (zh)
CN (1) CN112639869A (zh)
WO (1) WO2020044480A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648390A (zh) * 2021-06-22 2022-06-21 布瑞克农业大数据科技集团有限公司 一种农产品推广广告的生成方法和系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308714B1 (en) * 2018-08-23 2022-04-19 Athenium Llc Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
US11632895B2 (en) * 2019-05-02 2023-04-25 Deere & Company Residue monitoring and residue-based control
JP7243496B2 (ja) * 2019-07-09 2023-03-22 オムロン株式会社 情報処理装置
US11710308B1 (en) * 2019-10-10 2023-07-25 Aerofarms, Inc. Seed germination detection method and apparatus
WO2021176738A1 (ja) * 2020-03-06 2021-09-10 株式会社ナイルワークス 営農システム、営農サーバ及び営農方法
JP7461650B2 (ja) 2020-12-14 2024-04-04 国立研究開発法人農業・食品産業技術総合研究機構 生育状態予測方法及び生育状態予測プログラム
CN114266734B (zh) * 2021-12-03 2023-04-07 深圳市桑瑞生物科技有限公司 植物生长阶段的识别方法、装置、设备及存储介质
CN115131670B (zh) * 2022-09-02 2022-12-20 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备
KR102598012B1 (ko) * 2022-10-17 2023-11-06 순천대학교 산학협력단 딥러닝 기반의 객체 탐지 모델을 이용한 과수 생육 단계 판별 시스템
CN116863403B (zh) * 2023-07-11 2024-01-02 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN117530031B (zh) * 2024-01-10 2024-04-05 北京科百宏业科技有限公司 智能水肥管理方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139418A (ja) * 2004-11-10 2006-06-01 Ntt Docomo Inc 画像処理装置及び画像処理方法
KR20130005540A (ko) * 2011-07-06 2013-01-16 부산대학교 산학협력단 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
JP2016168046A (ja) * 2015-03-09 2016-09-23 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
JP6267841B1 (ja) * 2017-04-28 2018-01-24 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
KR101830056B1 (ko) * 2017-07-05 2018-02-19 (주)이지팜 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003201384B2 (en) * 1998-09-09 2004-05-20 Satake Corporation Method for determining amount of fertilizer application for graincrops, method for estimating quality and yield of grains, and apparatus for providing grain production information
JP5673833B2 (ja) * 2011-08-30 2015-02-18 富士通株式会社 撮影装置、作業支援プログラム、および情報提供プログラム
TWI435234B (zh) 2011-11-24 2014-04-21 Inst Information Industry Plant disease identification method, system and record media
JP6261492B2 (ja) 2014-11-28 2018-01-17 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
EP3279831A1 (en) * 2016-08-03 2018-02-07 Bayer CropScience AG Recognition of weed in a natural environment using a digital image
CN108416353B (zh) * 2018-02-03 2022-12-02 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN108982377A (zh) * 2018-07-27 2018-12-11 内蒙古大学 玉米生育期光谱图像与叶绿素含量相关性及时期划分方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139418A (ja) * 2004-11-10 2006-06-01 Ntt Docomo Inc 画像処理装置及び画像処理方法
KR20130005540A (ko) * 2011-07-06 2013-01-16 부산대학교 산학협력단 온실 작물 모니터링 방법 및 영상 감지형 온실 작물 모니터링 시스템
JP2016168046A (ja) * 2015-03-09 2016-09-23 学校法人法政大学 植物病診断システム、植物病診断方法、及びプログラム
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
JP6267841B1 (ja) * 2017-04-28 2018-01-24 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
KR101830056B1 (ko) * 2017-07-05 2018-02-19 (주)이지팜 딥러닝 기반의 병해 진단 시스템 및 그 이용방법
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张芸德: "基于深度卷积特征的玉米生长期识别", 《电子测量技术》, vol. 41, no. 16, pages 79 - 84 *
段凌凤 等: "基于深度全卷积神经网络的大田稻穗分割", 《农业工程学报》, vol. 34, no. 12, pages 202 - 207 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648390A (zh) * 2021-06-22 2022-06-21 布瑞克农业大数据科技集团有限公司 一种农产品推广广告的生成方法和系统
CN114648390B (zh) * 2021-06-22 2022-12-02 布瑞克农业大数据科技集团有限公司 一种农产品推广广告的生成方法和系统

Also Published As

Publication number Publication date
JPWO2020044480A1 (ja) 2020-09-03
US11935282B2 (en) 2024-03-19
US20210183045A1 (en) 2021-06-17
WO2020044480A1 (ja) 2020-03-05
KR20210040088A (ko) 2021-04-12
JP6638121B1 (ja) 2020-01-29

Similar Documents

Publication Publication Date Title
CN112639869A (zh) 作物生长阶段判定系统的服务器装置、生长阶段判定方法以及程序
Hassan et al. A rapid monitoring of NDVI across the wheat growth cycle for grain yield prediction using a multi-spectral UAV platform
Zhao et al. Rapeseed seedling stand counting and seeding performance evaluation at two early growth stages based on unmanned aerial vehicle imagery
CN107480706A (zh) 一种制种玉米田遥感识别方法及装置
US20180308229A1 (en) Method and information system for detecting at least one plant planted on a field
Atkinson et al. Field phenotyping for the future
Costa et al. Measuring pecan nut growth utilizing machine vision and deep learning for the better understanding of the fruit growth curve
CN111985724B (zh) 一种农作物产量预估的方法、装置、设备及存储介质
CN114612896B (zh) 基于遥感图像的水稻产量预测方法、装置以及设备
Liebisch et al. Flourish-A robotic approach for automation in crop management
CN111523457B (zh) 一种杂草识别方法及杂草处理设备
Tanaka et al. Deep learning-based estimation of rice yield using RGB image
Heylen et al. Counting strawberry flowers on drone imagery with a sequential convolutional neural network
Fuentes-Peñailillo et al. Digital count of sunflower plants at emergence from very low altitude using UAV images
CN115620151A (zh) 物候期识别方法、装置、电子设备和存储介质
CN115424151A (zh) 一种基于图像处理的农业智能平台
CN113377062B (zh) 一种具有病虫害和旱情监控的多功能预警系统
Scalisi et al. Detecting, mapping and digitising canopy geometry, fruit number and peel colour in pear trees with different architecture
US20220392214A1 (en) Scouting functionality emergence
Widiyanto et al. Monitoring the growth of tomatoes in real time with deep learning-based image segmentation
CN116453003B (zh) 一种基于无人机监测智能识别水稻生长势的方法和系统
CN111143601A (zh) 一种图像处理方法
JP2020087286A (ja) 作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラム
CN115660236B (zh) 作物物候期预测方法、装置、电子设备和存储介质
CN116823918B (zh) 作物苗株数测量方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination