JP2022128401A - 情報処理装置、情報処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】圃場を撮影した画像において株ごとの区別が困難な場合であっても、植物の生育不良箇所を特定できる技術を実現する。【解決手段】情報処理装置（１０）は、所定の植物の複数の株が畝に植えられた圃場を撮影した画像を解析し、第１のモードでは、画像における複数の株の各々の面積に応じて、画像において生育不良の植物を表す領域である生育不良箇所を特定し、第２のモードでは、画像において畝の幅方向における植物の領域の幅に応じて、生育不良箇所を特定する特定部（１８）を備える。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、プログラムおよび記録媒体に関する。

圃場における植物の生育状況を判定する技術が知られている。非特許文献１には、ドローン空撮および画像解析を行い、圃場に定植されたキャベツの投影葉面積を株毎に測定し、投影葉面積から生育遅延株を特定し圃場マップを作成することで、生育の良否を可視化することが記載されている。

栃原美咲、柴戸靖志，「ドローン空撮画像解析によるキャベツほ場の省力的な生育診断技術」，大分県平成３０年度成果情報等

しかしながら、上述のような従来技術では、株が重なり合っていない圃場については生育の良否を判定することができるものの、株同士が重なりあっている場合は生育不良箇所の特定が困難であるという問題がある。例えばつる性の植物等は生長によりつるが伸びて葉が畝を被覆するものもある。このような植物の場合、上述の非特許文献１に記載の技術では、ある時期までは株同士が重なり合わないため生育不良箇所の特定が可能であるものの、生長して株ごとの区別が困難になると、生育不良箇所を特定できないという問題がある。

本発明の一態様は、上記の問題に鑑みてなされたものであり、圃場を撮影した画像において株ごとの区別が困難な場合であっても、植物の生育不良箇所を特定できる技術を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、所定の植物の複数の株が畝に植えられた圃場を撮影した画像を解析し、第１のモードでは、前記画像における前記複数の株の各々の面積に応じて、前記画像において生育不良の前記植物を表す領域である生育不良箇所を特定し、第２のモードでは、前記画像において前記畝の幅方向における前記植物の領域の幅に応じて、前記生育不良箇所を特定する特定部、を備える。

上記の課題を解決するために、本発明の一態様に係る情報処理方法は、所定の植物の複数の株が畝に植えられた圃場を撮影した画像を解析し、第１のモードでは、前記画像における前記複数の株の各々の面積に応じて、前記画像において生育不良の前記植物を表す領域である生育不良箇所を特定し、第２のモードでは、前記画像において前記畝の幅方向における前記植物の領域の幅に応じて、前記生育不良箇所を特定するステップ、を含む。

本発明の一態様によれば、圃場を撮影した画像において株ごとの区別が困難な場合であっても、植物の生育不良箇所を特定することができる。

本発明の実施形態１に係る情報処理システムの機能ブロック図の一例である。 本発明の実施形態１に係る情報処理方法の流れを示すフローチャートの一例である。 本発明の実施形態１に係る全体画像の一例を示す図である。 本発明の実施形態１に係る全体画像の一例を示す図である。 本発明の実施形態１に係る診断画像の一例を示す図である。 本発明の実施形態１に係る診断画像の一例を示す図である。 本発明の実施形態２に係る情報処理方法の流れを示すフローチャートの一例である。 本発明の実施形態３に係る情報処理方法の流れを示すフローチャートの一例である。 本発明の実施形態３に係る全体画像の一例を示す図である。 本発明の実施形態３に係る診断画像の一例を示す図である。 本発明の実施形態３に係る全体画像の一例を示す図である。 本発明の実施形態３に係る植物の領域の一例を示す図である。 本発明の実施形態３に係る輪郭内領域の一例を示す図である。 本発明の実施形態３に係る診断画像の一例を示す図である。 本発明の実施形態３に係る診断結果とつる長との関係の一例を示すグラフである。

〔実施形態１〕
〔１．情報処理システムの構成例〕
以下、本発明の一実施形態について、詳細に説明する。図１は、本実施形態に係る情報処理システム１の機能ブロック図の一例である。情報処理システム１は、圃場に植えられた植物の生育状況を判定するシステムである。本実施形態において、圃場には、１または複数の畝が形成されており、所定の植物の複数の株が畝に植えられている。圃場に植えられた植物は、一例として、カボチャまたはつる性の植物である。特に、圃場に植えられた植物は、地這い栽培されるつる性の植物であってもよい。また、カボチャ株が植えられた圃場の場合、カボチャの品種は、つる性品種であってもよく、また、短節間品種であってもよい。また、つる性の植物は、カボチャ以外の植物、例えば、スイカ、メロン等の地上部に農作物がなる植物（ウリ科の植物には限定されない）が好ましいが、地下部に農作物がなる植物も含む。

情報処理システム１は、情報処理装置１０および飛行体３０を備える。情報処理装置１０は、圃場に植えられた植物の生育状況を判定する装置であり、例えばパーソナルコンピュータである。情報処理装置１０は、制御部１２、記憶部２２、入力部２４および表示部２６を備えている。制御部１２は、情報処理装置１０全体を統括する制御装置であって、取得部１４、生成部１６、特定部１８および出力部２０としても機能する。

取得部１４は、飛行体３０が撮影した、圃場の空撮画像を、入力部２４を介して取得する。入力部２４と飛行体３０とは、無線で接続されてもよいし、有線で接続されてもよい。生成部１６は、取得部１４が取得した１または複数の空撮画像を参照して、圃場の全体を表す画像である全体画像を生成する。

特定部１８は、全体画像を解析し、生育不良箇所を特定する。本実施形態において、生育不良箇所は、全体画像において生育不良の植物を表す領域をいう。生育不良の植物を表す領域は、生育不良の株を表す領域、および生育不良の株の群落を表す領域を含む。株の群落とは、複数の株の集まりをいう。特定部１８は、第１のモードと第２のモードとのいずれかのモードで生育不良箇所を特定する。第１のモードは、株の重なりの発生頻度が所定の条件を満たす全体画像に対応するモードである。第２のモードは、株の重なりの発生頻度が上記条件を満たさない全体画像に対応するモードである。

カボチャ株が植えられた圃場の場合、株の移植直後は株同士が重なり合うことがないが、株の生長に伴いつるが畝を被覆し、株同士が重なり合って株ごとの区別が困難になる。本実施形態では、一例として、隣り合う株同士が重なり合っているか否かに応じてモードが選択される。第１のモードは、一例として、畝において隣り合う株同士が重なり合っていない、または、隣り合う株同士の重なりの発生頻度が少ない（例えば、重なり合っている株の割合が閾値未満である）画像に対応するモードである。この場合、上記所定の条件は、重なり合っている株の割合が閾値未満である、という条件である。一方、第２のモードは、畝において隣り合う株の全部または大部分が重なり合っている画像に対応するモードである。

特定部１８は、第１のモードでは、画像における複数の株の各々の面積に応じて、画像において生育不良の株を表す領域である生育不良箇所を特定する。一方、特定部１８は、第２のモードでは、画像において畝の幅方向（短手方向）における植物の領域の幅に応じて、生育不良箇所を特定する。本実施形態において、植物の領域の幅とは、画像における植物の株の領域の幅、および／または群落の領域の幅をいう。

出力部２０は、特定部１８が特定した生育不良箇所に関する情報を出力する。生育不良箇所に関する情報は、一例として、生育不良箇所を表す画像である。出力部２０は、一例として、生育不良箇所を表す画像を表示部２６に表示させる処理を行うことにより、上記情報を出力する。

記憶部２２は、各種情報を格納する記録装置であって、例えば取得部１４が取得した空撮画像、又は特定部１８が生育不良箇所を特定する場合に参照する情報等を格納する。

入力部２４は、情報処理装置１０に対する操作又は情報の入力を行うためのインターフェースである。例えば、入力部２４は、自身に入力された、飛行体３０の撮影画像を取得部１４に供給する。また、入力部２４の一部は、情報処理装置１０への操作を受け付けるキーボードやマウス等のデバイスとして実現され得る。

表示部２６は、制御部１２の制御に基づいて、テキスト又は動画像等を表示する表示パネルである。なお、表示部２６が、タッチパネルとして入力部２４の一部の機能を実現する構成であってもよい。

飛行体３０は、ドローンやＵＡＶ（Unmanned Aerial Vehicle）等として実現される無人の飛行体３０である。飛行体３０はカメラ（図示略）を備え、圃場の空撮画像を撮影する。以下、飛行体３０は、ＲＧＢ画像を撮影する構成であるものとして説明するが、必ずしも上記構成に限定されない。また、飛行体３０は、事前に規定された経路を自律飛行することを要せず、リアルタイムにユーザが操作するものであってもよい。

〔２．情報処理システムの処理例〕
図２は、本実施形態に係る情報処理方法の流れを示すフローチャートの一例である。ステップＳ１０１において、飛行体３０は、圃場の空撮画像となるステレオ写真または複数の写真を撮影する。本処理例において、撮影対象である圃場には、複数の畝が形成されており、各畝に複数のカボチャ株が植えられている。畝と畝の間にはカボチャ株が重なり合わない程度の間隔が設けられている。カボチャ株は生長によりつるが伸びて葉が畝を被覆し、畝の長手方向において株同士が重なり合う場合がある。

ステップＳ１０２において、取得部１４は、入力部２４を介して飛行体３０が撮影した空撮画像を取得する。ステップＳ１０３において、生成部１６は、取得部１４が取得した空撮画像に基づき、圃場の全体を表す全体画像を生成する。取得部１４が圃場の一部を撮影した空撮画像を複数取得した場合、生成部１６は、それらの複数の空撮画像を貼り合せた全体画像を生成する。全体画像は、一例として、圃場全体のオルソ画像である。

図３および図４は、全体画像を例示する図である。図３に示す全体画像５１および図４に示す全体画像５２は、飛行体３０が撮影した空撮画像から生成された、圃場全体を表す全体画像である。全体画像５１は、各畝において隣り合う株同士が重なり合っていない圃場の全体画像である。一方、全体画像５２は、畝の長手方向において隣り合う株同士が重なり合っている圃場の全体画像である。

ステップＳ１０４～ステップＳ１０９において、特定部１８は、全体画像を解析し、全体画像において生育不良箇所を特定する。まず、ステップＳ１０４において、特定部１８は、ユーザ操作に基づきモード判定を行う。圃場の管理者等のユーザは、入力部２４を用いて、第１のモードと第２のモードとのいずれかを選択する操作を行う。一例として、カボチャ株の移植直後など、画像においてカボチャ株の区別が可能である時期においては、ユーザは第１のモードを選択する。一方、カボチャ株の生長に伴いつるが畝を被覆し、株ごとの区別が困難な時期においては、ユーザは第２のモードを選択する。

特定部１８は、入力部２４を介してユーザが選択したモードを示す情報を取得する。取得した情報が第１のモードを示す情報である場合、特定部１８は、ステップＳ１０５の処理に進む。一方、取得した情報が第２のモードを示す情報である場合、特定部１８は、ステップＳ１０７の処理に進む。

（第１のモード）
第１のモードでは、特定部１８は、全体画像における複数の株の各々の面積に応じて、画像において生育不良の株を表す領域である生育不良箇所を特定する。まず、ステップＳ１０５において、特定部１８は、全体画像を解析し、全体画像に含まれる株のそれぞれの面積を算出する。

特定部１８は、一例として、以下の手法により株の面積を算出する。まず、特定部１８は、全体画像において各画素の緑色の濃淡を表す画素値が所定の範囲に含まれる領域を、株の領域として特定する。一例として、特定部１８は、ＲＧＢ表色系の全体画像をＬ＊ａ＊ｂ表色系に変換し、チャンネルａ＊の値が所定値（例えば、１２０）以下の画素の領域を株の領域として特定する。また、特定部１８は、特定した株の領域のそれぞれの画素数をカウントする。特定部１８は、カウントした画素数を面積として用いる。

次いで、ステップＳ１０６において、特定部１８は、全体画像における複数の株の各々の面積に応じて、生育不良箇所を特定する。一例として、特定部１８は、画像における複数の株を、当該複数の株の各々の面積に基づき複数の階級に区分し、当該複数の階級のうち所定の条件を満たす階級の株を表す領域を、生育不良箇所として特定する。所定の条件を満たす階級は、一例として、最下位の階級および最上位の階級を除く階級のうち、出現頻度が最も高い階級より低い階級である。また、所定の条件を満たす階級は、一例として、所定の閾値以下の階級であってもよい。

特定部１８は、一例として、以下の手法により生育不良箇所を特定する。まず、特定部１８は、算出した株ごとの面積（画素数）に基づき、複数の株を複数の階級に区分し、階級ごと出現頻度を表す度数分布表を作成する。次いで、特定部１８は、度数分布表における複数の階級のうち、最下位の階級および最上位の階級以外の複数の階級の中から、出現頻度が最も高い階級（以下、「最頻出階級」という）を特定する。最下位の階級と最上位の階級を最頻出階級の選択の対象外とするのは、最下位の階級と最上位の階級には不要なデータ（いわゆるガベージ）が含まれているためである。

特定部１８は、特定した最頻出階級の面積より小さい階級に区分された株の領域を、生育不良箇所として特定する。また、特定部１８は、最頻出階級の面積より大きい階級に区分された株を生育がよいと判定する。

生育不良箇所の特定方法は、上述した手法に限られない。一例として、特定部１８は、株の領域の面積が所定の条件を満たす株の領域を、生育不良箇所として特定してもよい。この場合、所定の条件は、一例として、株の領域を面積の降順にソートした場合の順序が所定の閾値以下である（例えば、下位２０％に含まれる）、または、面積が所定の閾値（例えば、面積の平均値、中央値、等）より小さい、といった条件であってもよい。

（第２のモード）
次に、第２のモードにおいて情報処理装置１０が実行する処理について図面を参照しつつ説明する。第２のモードでは、特定部１８は、畝の幅方向における植物の領域の幅（短手方向の長さ）に応じて、生育不良箇所を特定する。まず、図２のステップＳ１０７において、全体画像を解析し、複数の位置のそれぞれについて、畝の幅方向における植物の領域の幅を算出する。畝の幅方向における植物の領域の幅とは、全体画像において植物の領域の畝の幅方向の長さをいう。

特定部１８は、一例として、以下の手法により植物の領域の幅を算出する。まず、特定部１８は、全体画像に含まれる各画素の画素値が所定の条件を満たす領域を、植物の領域として特定する。一例として、特定部１８は、ＲＧＢ表色系の全体画像をＬ＊ａ＊ｂ表色系に変換し、チャンネルａ＊の値が所定値（例えば、１２０）以下の画素の領域を植物の領域（株の領域または群落の領域）として特定する。また、特定部１８は、一例として、全体画像を回転させて、全体画像における所定の方向（例えば、全体画像の横方向）を畝の長手方向として特定する。特定部１８は、全体画像の回転を、ユーザ操作に応じて行ってもよく、また、予め定められた角度だけ全体画像を回転させてもよい。また、特定部１８は、一例として、植物の領域として特定した１または複数の領域の形状を解析し、当該領域の長手方向を畝の長手方向として特定してもよい。

特定部１８は、畝の長手方向において所定距離毎に離れた複数の位置のそれぞれについて、畝の幅方向（短手方向）における植物の領域（株または群落の領域）の幅を算出する。一例として、特定部１８は、複数の位置のそれぞれについて、畝の幅方向における植物の領域の画素幅をカウントする。特定部１８は、カウントした画素幅を植物の領域の幅として用いる。

ステップＳ１０８において、特定部１８は、全体画像において複数の位置における植物の領域の幅に応じて、生育不良箇所を特定する。一例として、特定部１８は、複数の位置を各位置について算出された幅に基づき複数の階級に区分し、当該複数の階級のうち所定の条件を満たす階級の位置に対応する領域を、生育不良箇所として特定する。

特定部１８は、一例として、以下の手法により生育不良箇所を特定する。まず、特定部１８は、算出した位置ごとの幅に基づき、複数の位置を複数の階級に区分し、階級ごと出現頻度を表す度数分布表を作成する。次いで、特定部１８は、度数分布表における複数の階級のうち、最下位の階級および最上位の階級以外の複数の階級の中から、出現頻度が最も高い最頻出階級を特定する。最下位の階級と最上位の階級を最頻出階級の選択の対象外とするのは、最下位の階級と最上位の階級には不要なデータ（いわゆるガベージ）が含まれているためである。

特定部１８は、特定した最頻出階級の幅と比較して、幅が狭い階級に区分された位置に対応する領域を、生育不良箇所として特定する。また、特定部１８は、最頻出階級の幅よりも幅が広い階級に区分された位置に対応する領域を、生育がよい領域と判定する。位置に対応する領域とは、一例として、その位置およびその周囲（その位置からの距離が所定範囲内）に含まれる群落内の箇所を表す領域である。

生育不良箇所の特定方法は、上述した手法に限られない。一例として、特定部１８は、算出した幅が所定の条件を満たす位置に対応する領域を、生育不良箇所として特定してもよい。この場合、所定の条件は、一例として、複数の位置を、幅の降順にソートした場合の順序が所定の閾値以下である（例えば、下位２０％に含まれる）、または、幅が所定の閾値（例えば、幅の平均値、中央値、等）より小さい、といった条件であってもよい。

図２のステップＳ１０９において、出力部２０は、生育不良箇所を表す情報を出力する。一例として、出力部２０は、生育不良箇所を表す画像を生成し、生成した画像を表示部２６に表示する。このとき、出力部２０は、株や群落を表す領域のうち、特定部１８が前記生育不良箇所として特定した領域とそれ以外の領域とを異なる表示態様で表す画像を出力する。以下では、生育不良箇所を表す画像を「診断画像」ともいう。

図５および図６は、診断画像の一例を示す図である。図５の診断画像６１は、第１のモードにおいて生成される診断画像であり、図３の全体画像５１に対応する画像である。一方、図６の診断画像６２は、第２のモードにおいて生成される診断画像であり、図４の全体画像５２に対応する診断画像である。診断画像６１は、生育の良否の判定結果をカボチャ株ごとに表す。診断画像６２は、生育の良否の判定結果を畝の長手方向における所定距離ごとに表す。

具体的には、診断画像６１は、生育不良と判定されたカボチャ株を黒色で表す一方、生育に問題がないと判定されたカボチャ株をグレー色で表す。すなわち、診断画像６１では、面積が小さい株の領域が、生育不良箇所として黒色で表される一方、面積が大きい株の領域が、生育に問題ない箇所としてグレー色で表されている。また、診断画像６２は、生育不良と判定された群落内の箇所をグレー色で表す一方、生育に問題がないと判定された群落の箇所を白色で表す。すなわち、診断画像６２では、畝の幅方向において株または群落の幅が小さい箇所が、生育不良箇所としてグレー色で表される一方、株または群落の幅が大きい箇所が、生育に問題ない箇所として白色で表されている。

圃場の管理者等のユーザは、表示部２６に表示された画面を視認し、どのエリアに追肥が必要かを把握することができる。ユーザは、圃場における生育不良箇所に追肥を行う。具体的には、ユーザは、診断画像６１の黒色の領域に対応する箇所、または、診断画像６２のグレー色の領域に対応する箇所に追肥を行う。

ところで、カボチャの窒素分施時期は、つる性品種では着果揃い後、短節間品種では雄花着蕾期～開花始期が適しているとされている。この時期に生育不良箇所に部分追肥して窒素不足を補うことで収量増が期待できる。生育が悪い場合には、窒素追肥をしないと収量が激減する。一方、窒素供給が過剰であると、窒素吸収量が多すぎることにより、つるが伸びて茎葉部は繁茂するが実がつかない、いわゆる「つるぼけ」等の障害を起こす虞がある。そのため、追肥を行う場合、全面追肥ではなく、適切な時期に、生育不良箇所を見極めて部分追肥を行う必要がある。

しかし、部分追肥に適した時期はつるが通路に伸びて、トラクタが圃場に入れなくなる。そのため、従来では、追肥を行う場合には、熟練者が圃場内を歩いて生育状況を目視で確認するという方法しかなかった。例えば北海道等の広いカボチャ圃場で、肥料を背負ったまま見回って、手作業で追肥を行うのは物理的に困難である。また、圃場全体の生育を把握しないと生育が遅れているか否かの判断がつかない。これらの要因により、カボチャの生育を定量的に評価することは困難であった。したがって、栽培後期の追肥が収量増につながることが期待されているものの、追肥が実際に行われることはほとんどなかった。

それに対し本実施形態によれば、情報処理装置１０は、カボチャ株の生育ステージにより、株面積、または株の幅若しくは群落の幅によりカボチャの生育の良否判定を行い、生育不良箇所（追肥が必要な箇所）を特定する。このように、本実施形態によれば、カボチャ株が重なる時期、重ならない時期を問わず、生育不良箇所の特定が可能となる。カボチャ圃場の管理者等は、情報処理装置１０が特定した生育不良箇所に追肥を行うことができる。換言すると、部分追肥を行うために熟練者が圃場内を歩いて生育状況を目視で確認することなく、カボチャ等の収量増加につながる追肥を効果的に行うことができる。

特に、カボチャはつる性の植物であり、つる性の植物の場合、畝の幅を広くする必要があるため、第２のモードによる植物の生育の良否判定をより好適に行い易い。一方、つる性でない植物を栽培する場合、株間も畝間も狭いことが多く、この場合、異なる畝に植えられた株が重なってしまうと第２のモードでは畝の区別がつかず良否判定を好適に行えない場合がある。

本実施形態に係る圃場の栽培面積の下限は特に限定されないが、栽培面積が大きいほど好ましく、一例では、１０ａ以上であり、好ましくは５０ａ以上であり、より好ましくは１ｈａ以上である。圃場の栽培面積の上限は特に限定されないが、一例では、３ｈａ以下である。また、本実施形態に係る圃場は、一例として、畝幅が３ｍ～４ｍ程度、株間隔が３０～９０ｃｍ程度の栽植密度であることが好ましい。

本発明者は、本実施形態に係る情報処理方法を用いてカボチャ圃場における生育不良箇所を特定し、特定した箇所に追肥を行った。この追肥により、圃場におけるカボチャ株の葉面積の増加傾向とともに、収量が増加する傾向が認められた。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

本実施形態では、特定部１８は、全体画像の解析結果に基づき、全体画像に含まれる雑草を表す領域を特定し、特定した雑草を表す領域以外の領域において生育不良箇所を特定する。以下、雑草を表す領域を「雑草領域」ともいう。

図７は、本実施形態に係る情報処理方法の流れを示すフローチャートである。図７に示すフローチャートは、図２のフローチャートのステップＳ１０３の処理の後に、ステップＳ１２１の処理を含む。ステップＳ１２１において、特定部１８は、全体画像を解析し、解析結果に基づき、雑草領域を特定する。圃場にカボチャ株が植えられている場合、カボチャの葉は雑草に比べて濃い緑色をしているため、緑色の濃淡によりカボチャ株と雑草とを区別することができる。そのため、一例として、特定部１８は、全体画像を構成する各画素の画素値が所定の条件を満たす領域を雑草領域として特定する。所定の条件を満たす領域は、一例として、緑色の濃淡を表す画素値が所定の範囲に含まれる画素の領域であってもよい。特定部１８は、一例として、ＲＧＢ表色系の全体画像をＬ＊ａ＊ｂ表色系に変換し、チャンネルａ＊の値が所定値（例えば、１００）以下の画素の領域を株または群落の領域として特定する。

なお、全体画像において雑草領域を特定する手法は、上述した手法に限られない。特定部１８は、他の手法で雑草領域を特定してもよい。例えば、特定部１８は、全体画像において予め定められたパターンを照合するパターンマッチングにより雑草領域を特定してもよい。また、例えば、飛行体３０が撮影した空撮画像に基づき生成部１６が圃場の３次元モデルを生成し、特定部１８が３次元モデルに含まれる植物の植物高に基づき、各植物が雑草であるか否かを判定してもよい。

この場合、ステップＳ１０５において、特定部１８は、ステップＳ１２１で特定した雑草領域以外の領域から株の領域を特定し、各株の面積を算出する。また、ステップＳ１０７において、特定部１８は、ステップＳ１２１で特定した雑草領域以外の領域から植物の領域（株または群落の領域）を特定し、畝の幅方向における植物の領域の幅を算出する。

本実施形態によれば、特定部１８は、全体画像の解析結果に基づき、全体画像に含まれる雑草領域を特定し、雑草領域以外の領域において生育不良箇所を特定する。これにより、情報処理装置１０は、雑草領域を植物の生育状況の判定の対象外とすることができ、株の生育状況をより精度よく判定することができる。

本実施形態において、圃場の管理者等が圃場に生えている雑草を手作業等により除去した後に、飛行体３０が圃場の撮影を行ってもよい。この場合、圃場の空撮画像および全体画像には雑草が含まれないため、特定部１８は、雑草領域を特定する処理（図７のステップＳ１２１の処理）を行わなくてもよい。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

本実施形態において、撮影対象である圃場には、複数の畝が形成されており、各畝に複数のスイカ株が植えられている。畝と畝の間にはスイカ株が重なり合わない程度の間隔が設けられている。スイカ株は生長によりつるが伸びて葉が畝を被覆し、畝の長手方向において株同士が重なり合う場合がある。

図８は、本実施形態に係る情報処理方法の流れを示すフローチャートの一例である。図８に示すフローチャートは、モード判定結果が「第２のモード」である場合に実行する処理として、ステップＳ１０７に代えてステップＳ１３１を含む。

（第１のモード）
図８のステップＳ１０４の判定結果が第１のモードである場合、特定部１８は、ステップＳ１０５において、上記実施形態１および２と同様に、全体画像における株のそれぞれの面積を算出する。一例として、特定部１８は、ＲＧＢ表色系の全体画像をＬ＊ａ＊ｂ表色系に変換し、チャンネルａ＊の値が所定値（例えば、１２０）以下の画素の領域を植物の領域として特定する。これにより、全体画像は、植物の領域とその他の領域（以下、「他の領域」ともいう）とに分類される。特定部１８は、他の領域に囲まれた植物の領域を株の領域とし、複数の株の領域のそれぞれの画素数をカウントする。特定部１８は、カウントした画素数を面積として用いる。

また、ステップＳ１０６において、特定部１８は、上記実施形態１および２と同様に、全体画像における複数の株の各々の面積に応じて生育不良箇所を特定する。一例として、特定部１８は、画像における複数の株を、当該複数の株の各々の面積に基づき複数の階級に区分し、当該複数の階級のうち所定の条件を満たす階級の株を表す領域を、生育不良箇所として特定する。所定の条件を満たす階級は、一例として、最下位の階級および最上位の階級を除く階級のうち、出現頻度が最も高い階級より低い階級である。また、所定の条件を満たす階級は、一例として、所定の閾値以下の階級であってもよい。

図９は、第１モードにおける全体画像の一例を示す図である。図９において、全体画像５３は、飛行体３０が撮影した空撮画像から生成された圃場全体を表す全体画像であって、各畝において隣り合う株同士が重なり合っていない圃場の全体画像である。

図１０は、図９の全体画像５３に対応する診断画像の一例を示す図である。図１０の診断画像６３は、第１のモードにおいて情報処理装置１０が生成する診断画像である。診断画像６３は、生育の良否の判定結果をスイカ株ごとに表す。具体的には、診断画像６３は、生育不良と判定されたスイカ株を黒色で表す一方、生育に問題がないと判定されたカボチャ株をグレー色で表す。すなわち、診断画像６３では、面積の小さい株の領域が、生育不良箇所として黒色で表される一方、面積が大きい株の領域が、生育に問題ない箇所としてグレー色で表されている。

（第２のモード）
図１１は、第２モードにおける全体画像の一例を示す図である。図１１において、全体画像５４は、飛行体３０が撮影した空撮画像から生成された圃場全体を表す全体画像であって、畝の長手方向において隣り合う株同士が重なり合っている圃場の全体画像である。

本実施形態では、第２のモードにおいて、特定部１８が図８のステップＳ１３１の処理を実行する。ステップＳ１３１において、特定部１８は、全体画像において植物の領域の輪郭の内側の領域（以下「輪郭内領域」ともいう）の幅（畝の幅方向における幅）を算出する。輪郭内領域は、植物の領域と、植物の領域に囲まれた他の領域とを含む。

特定部１８は、まず、一例として、以下の手法により輪郭内領域を特定する処理を行う。まず、特定部１８は、全体画像に含まれる各画素の画素値が所定の条件を満たす領域を、植物の領域として特定する。一例として、特定部１８は、ＲＧＢ表色系の全体画像をＬ＊ａ＊ｂ表色系に変換し、チャンネルａ＊の値が所定値（例えば、１２０）以下の画素の領域を植物の領域として特定する。また、特定部１８は、特定した植物の領域（群落の領域）の輪郭の座標を取得する。輪郭の座標により、輪郭内領域が特定される。また、特定部１８は、取得した座標を用いて群落の輪郭を全体画像とは別の画像として書き出し、輪郭内の領域を塗りつぶす処理を実行する。特定部１８は、塗りつぶした領域、すなわち輪郭内領域の幅（畝の幅方向における幅）を算出する。

ステップＳ１０８において、特定部１８は、ステップＳ１３１で算出した輪郭内領域の幅に応じて、生育不良箇所を特定する。ステップＳ１０８における生育不良箇所の特定方法は、上述の実施形態１で説明した手法と同様である。

換言すると、特定部１８は、第２のモードにおいて、全体画像において植物の領域と植物の領域に囲まれた他の領域とを含む輪郭内領域の幅（畝の幅方向における幅）に応じて、生育不良箇所を特定する（ステップＳ１３１、Ｓ１０８）。

なお、ステップＳ１３１における輪郭内領域の特定処理は上述した例に限られない。例えば、特定部１８は、全体画像において、植物の領域に囲まれた他の領域の画素値を、所定値（例えば、１００）に変換する処理を行ってもよい。この場合、全体画像において、画素値が所定値（例えば、１２０）以下の領域が輪郭内領域となる。

図１２は、図１１の全体画像５４について特定された植物の領域の一例を示す図である。図１２の画像７１において、白色の領域が植物の領域であり、黒色の領域が植物の領域以外の領域である。

スイカの葉は、浅く粗い鋸歯を有する。そのような葉が重なり合うことにより、画像７１には、植物の領域に囲まれた、植物の領域以外の領域が多数存在する。このような領域が多数含まれている場合、植物の幅の算出を特定部１８が適切に行えない場合がある。理由の一つとしては、例えば、植物の領域と、植物の領域に囲まれた他の領域との境界を、植物の領域の端部と誤判定してしまうことが挙げられる。

図１３は、図１１の全体画像５４について、特定部１８が特定した輪郭内領域の一例を示す図である。図１３の画像７２において、白色の領域が輪郭内領域であり、黒色の領域が輪郭内領域以外の領域である。特定部１８が、図１３の画像７２について輪郭内領域の幅を算出することにより、植物の領域の幅をより適切に算出することができる。

図１４は、診断画像の一例を示す図である。図１４の診断画像６４は、第２のモードにおいて生成される診断画像であり、図１０の画像７２に対応する画像である。診断画像６４は、生育の良否の判定結果を畝の長手方向における処理距離ごとに表す。より具体的には、診断画像６４は、生育不良と判定された群落内の箇所をグレー色で表す一方、生育に問題がないと判定された群落の箇所を白色で表す。すなわち、診断画像６４では、畝の幅方向において株または群落の幅が小さい箇所が、生育不良箇所としてグレー色で表される一方、株または群落の幅が大きい箇所が、生育に問題ない箇所として白色で表されている。

圃場の管理者等のユーザは、表示部２６に表示された画面を視認し、どのエリアに追肥が必要かを把握することができる。ユーザは、圃場における生育不良箇所に追肥を行う。具体的には、ユーザは、診断画像６３の黒色の領域に対応する箇所、または、診断画像６４のグレー色の領域に対応する箇所に追肥を行う。

本発明者は、本実施形態に係る情報処理方法を用いて、スイカ畑をドローンで撮影し、生育不良箇所の特定を実施した。本実施形態に係る情報処理方法において生育不良と判断された個体は、図１５に示すように、生育良好と判断された個体と比較して、圃場で実測したつる長が短くなることが確認された。

（実施例）
図１５は、本実施形態に係るスイカの診断結果と、つる長の実測値との関係を示すグラフである。図１５において、グラフ９１は、本実施形態において生育良好と診断されたスイカ（図１４の領域９１１～９１８のスイカ）のつる長の平均値を示し、グラフ９２は、生育不良と診断されたスイカ（図１４の領域９２１～９２８）のつる長の平均値を示す。図１５に示されるように、本実施形態において生育良好と診断されたスイカのつる長の平均値のほうが、生育不良と診断されたスイカのつる長の平均値よりも長くなっている。すなわち、図１５により、本実施形態に係る生育不良の診断が適切に行われていることが確認できる。従って、本実施形態に係る情報処理方法を用いて生育不良の判定を行うことで、適切な時期に、生育不良箇所を見極めて部分追肥を行うことができる。このように、本実施形態に係る情報処理方法は、スイカ等のカボチャ以外の他のつる性作物の生育診断にも利用可能である。

（本実施形態の効果）
以上説明したように本実施形態によれば、情報処理装置１０は、スイカ株の生育ステージにより、株面積、または株の幅若しくは群落の幅によりスイカ株の生育の良否判定を行い、生育不良箇所（追肥が必要な箇所）を特定する。このように、本実施形態によれば、スイカ株が重なる時期、重ならない時期を問わず、生育不良箇所の特定が可能となる。スイカ圃場の管理者等は、情報処理装置１０が特定した生育不良箇所に追肥を行うことができる。換言すると、部分追肥を行うために熟練者が圃場内を歩いて生育状況を目視で確認することなく、スイカ等の収量増加につながる追肥を効果的に行うことができる。

また、上述したように、スイカの葉は浅く粗い鋸歯を有するため、スイカの葉が重なり合うことにより、スイカ圃場を撮影した全体画像には、植物の領域に囲まれた領域が多数存在する。本実施形態では、第２のモードにおいて、特定部１８がこれらの領域を植物の領域に含めて、植物の幅の算出処理を実行する。このように第２のモードにおいて群落内を塗りつぶす（群落内の他の領域を植物の領域に含める）処理を行うことにより、第２モードにおいて植物の幅の算出をより適切に行うことができる。

また、本実施形態では、特定部１８は、第１のモードにおいては群落内の塗りつぶし処理を行わない。そのため、第１のモードにおける生育不良箇所の特定に係る処理負荷を大きくすることなく、第２のモードにおける生育不良箇所の特定の精度を高くすることができる。

〔付記事項〕
〔付記事項１〕
上述の実施形態１および２では、情報処理システム１がカボチャ株の生育状況を判定する場合の動作を説明し、また、上述の実施形態３では、スイカ株の生育状況を判定する場合の動作を説明した。生育状況の判定対象とする植物は、カボチャまたはスイカに限られず、他の植物であってもよい。生育状況の判定対象とする植物は、一例として、生長により株同士に重なりが生じてしまう植物である。上記実施形態１～３において、生育状況の判定対象とする植物は、一例として、カボチャ以外のつる性の植物（例えば、メロン）であってもよい。

〔付記事項２〕
上述の実施形態では、特定部１８は、ユーザ操作に基づき、第１のモードと第２のモードとの切替を行った。モードの切替は上述した実施形態で示したものに限られず、特定部１８は他の手法によりモードを切り替えてもよい。一例として、特定部１８は、ユーザ操作、全体画像に付された情報、および画像の解析結果、の少なくともいずれかひとつに基づき、第１のモードと第２のモードとを切り替えてもよい。一例として、特定部１８は、全体画像のヘッダ等に付された情報（例えば、画像の生成日時を示す情報）に基づき、モードの切替を行ってもよい。

また、他の例として、特定部１８は、第１のモードにおいて株の領域を特定する処理（図２のステップＳ１０６の処理）を実行した場合であって、株の特定を適切に行えなかった（特定結果が所定の条件を満たさない）場合に、第１のモードから第２のモードへの切替を行ってもよい。この場合、所定の条件は、一例として、圃場における単位面積あたりの株数が閾値以上である、または、畝の長手方向における単位距離あたりの株数が閾値以上である、といった条件であってもよい。例えば、植物の生長により隣り合う株同士が重なり合っている場合、第１のモードでは株の特定を適切に行うことができないため、このように株の特定が適切に行えなかった場合に、特定部１８が第１のモードから第２のモードへの切替を行ってもよい。

また、特定部１８は、モードの切替を行わない構成であってもよい。一例として、特定部１８は、モードの切替を行うことなく、第２のモードで生育不良箇所の特定処理を実行してもよい。すなわち、特定部１８は、所定の植物の複数の株が畝に植えられた圃場を撮影した画像を解析し、畝の幅方向における植物の領域（株または群落の領域）の幅に応じて、生育不良箇所を特定してもよい。

〔付記事項３〕
上述の実施形態に係る情報処理装置１０の機能は、単体の装置により実現されてもよく、また、複数の装置が協働するシステムにより実現されてもよい。例えば、取得部１４および生成部１６を実装する第１の装置と、特定部１８および出力部２０を実装する第２の装置とにより情報処理装置１０が実現されてもよい。

〔付記事項４〕
上述の実施形態では、特定部１８は、飛行体３０が撮影した空撮画像から生成された全体画像を解析して生育不良箇所を特定した。特定部１８が解析する全体画像は、飛行体３０が撮影した空撮画像から生成される画像に限られない。一例として、全体画像は、人工衛星に搭載されたセンサの観測データを画像化した衛星画像であってもよい。

〔付記事項５〕
上述の実施形態では、情報処理装置１０は、１または複数の畝に株が植えられた圃場を撮影した画像を解析し、生育不良箇所を特定した。画像解析の対象となる圃場は、畝が形成された圃場に限られない。一例として、圃場は、畝立てせずに、複数の植物が列状に（例えば、直線状に）並べて植え付けられた圃場であってもよい。この場合、情報処理装置１０は、並べて植え付けられた複数の植物を含む領域を特定し、特定した領域の短手方向（幅方向）の大きさ（幅）に応じて、生育不良箇所を特定してもよい。この場合、情報処理装置１０は、一例として、並べて植え付けられた植物の領域の長手方向において所定距離毎に離れた複数の位置のそれぞれにおいて、上記領域の幅方向（短手方向）における植物の領域（株または群落の領域）の幅を算出し、算出した幅に基づき生育不良箇所を特定する。

〔ソフトウェアによる実現例〕
情報処理システム１の制御ブロック（特に取得部１４、生成部１６、特定部１８および出力部２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理システム１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記録したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理システム
１０ 情報処理装置
１２ 制御部
１４ 取得部
１６ 生成部
１８ 特定部
２０ 出力部
２２ 記憶部
２４ 入力部
２６ 表示部
３０ 飛行体

Claims (13)

1. 所定の植物の複数の株が畝に植えられた圃場を撮影した画像を解析し、
   第１のモードでは、前記画像における前記複数の株の各々の面積に応じて、前記画像において生育不良の前記植物を表す領域である生育不良箇所を特定し、
   第２のモードでは、前記画像において前記畝の幅方向における前記植物の領域の幅に応じて、前記生育不良箇所を特定する特定部、
   を備える情報処理装置。
2. 前記第１のモードは、前記株の重なりの発生頻度が所定の条件を満たす画像に対応するモードであり、前記第２のモードでは、前記発生頻度が前記条件を満たさない画像に対応するモードである、
   請求項１に記載の情報処理装置。
3. 前記特定部は、前記第１のモードでは、前記画像における前記複数の株を、当該複数の株の各々の面積に基づき複数の階級に区分し、当該複数の階級のうち所定の条件を満たす階級の株を表す領域を、前記生育不良箇所として特定する、
   請求項１または２に記載の情報処理装置。
4. 前記特定部は、前記第２のモードでは、前記畝の長手方向において所定距離毎に離れた複数の位置のそれぞれについて、前記畝の幅方向における前記植物の領域の幅を算出し、
   前記複数の位置を前記幅に基づき複数の階級に区分し、当該複数の階級のうち所定の条件を満たす階級の位置に対応する領域を、前記生育不良箇所として特定する、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記圃場を表す画像であって、前記植物を表す領域のうち、前記特定部が前記生育不良箇所として特定した領域とそれ以外の領域とを異なる表示態様で表す画像を出力する出力部、
   を更に備える請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記特定部は、ユーザ操作、前記画像に付された情報、および前記画像の解析結果の少なくともいずれかひとつに基づき、前記第１のモードと前記第２のモードとを切り替える、
   請求項１から５のいずれか１項に記載に記載の情報処理装置。
7. 前記特定部は、前記画像の解析結果に基づき、前記画像に含まれる雑草を表す領域を特定し、特定した雑草を表す領域以外の領域において前記生育不良箇所を特定する、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記所定の植物は、カボチャまたはつる性の植物である、
   請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記所定の植物は、スイカまたはメロンである、
   請求項８に記載の情報処理装置。
10. 前記特定部は、前記第２のモードでは、前記植物の領域と当該植物の領域に囲まれた他の領域とを含む領域の前記幅に応じて、前記生育不良箇所を特定する、
    請求項１から９のいずれか１項に記載の情報処理装置。
11. 所定の植物の複数の株が畝に植えられた圃場を撮影した画像を解析し、
    第１のモードでは、前記画像における前記複数の株の各々の面積に応じて、前記画像において生育不良の前記植物を表す領域である生育不良箇所を特定し、
    第２のモードでは、前記画像において前記畝の幅方向における前記植物の領域の幅に応じて、前記生育不良箇所を特定するステップ、
    を含む情報処理方法。
12. 請求項１に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記特定部としてコンピュータを機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images