JP2023053829A - 農作物管理支援装置及びＩｏＴ非接触センサ - Google Patents

Abstract

【課題】農作物の撮像情報から様々な態様で育成している葉の領域を正確に抽出し、その面積や枚数を正確に算出することで農作物の育成状態を管理する農作物管理支援装置及びＩｏＴ非接触センサを提供する【解決手段】農作物を撮像した撮像情報を取得する取得部２１と、撮像情報から葉の領域のエッジを抽出するエッジ抽出部２２と、抽出されたエッジで特定される一の葉の領域を所定のサイズで拡大し、他の葉の領域と重複する場合に一の葉の領域と他の葉の領域とを連結して領域化する領域演算部２３と、当該領域演算部２３で領域化されたもののうち、所定の面積以下の小サイズ領域を除去する領域除去部２４と、小サイズ領域が除去された残存領域の面積及び／又は数を算出する領域算出部２５と、算出された領域の面積及び／又は数を出力する出力制御部２６とを備える。【選択図】図２

Description

本発明は、農作物の生育状態を管理する農作物管理支援装置に関し、特に葉の面積を正確に求めることで農作物の生育状態を管理する農作物管理支援装置に関する。

近年、農業分野においてコンピュータによる情報管理技術が広がっている。農業分野における情報管理技術として、例えば特許文献１～３に示す技術が開示されている。特許文献１に示す技術は、果実の生育状態を近似した生育曲線を用いて、栽培中の果実の生育状態を評価し、評価結果に基づき、栽培中の果実に関するアドバイスの提供などの栽培支援サービスを行うものであり、生育曲線は、果実のサイズを目的変数とし、葉面積の積算値を説明変数として決定し、篤農家が行った果樹栽培における果実のサイズおよび葉面積の積算値に基づいて決定するものである。

特許文献２に示す技術は、生育評価・作業提案システムが、農園において、自動対話部および対話端末を用いた農作業者との対話データの自動収集、および、計測部による農作物のカラー画像の自動計測および葉面積算出部による葉面積の積算値の自動算出を行い、収集したデータから、光合成の指標である葉面積の積算値、および、生育状態に影響を与える環境情報および作業情報を求め、これらを第１入力情報として、農作物の生育状態を推論し、生育状態を推論する推論部に対する入出力関係を組み換えて、推論部に対して、期待する生育度を入力することにより、期待する生育状態を得るための適切な作業提案を出力させるものである。

特許文献３に示す技術は、植物の苗を撮像した撮像画像に基づいて苗の状態を検査する検査装置において、撮像画像における苗の葉の部分の輪郭の外接円を特定する特定部と、特定部により特定された外接円のサイズに基づき指標値を算出する算出部と、算出部によって算出した指標値に基づき、苗の良／不良を判定する判定部とを備えるものである。

特開２０１９－１８７２５９号公報 特開２０２０－１５６４３１号公報 特開２０１９－２１６６５６号公報

特許文献１～３に示す技術は、いずれも画像処理により葉の領域を抽出して植物の育成具合を判断しているが、天候、日照具合、季節、時間帯、育成段階等により葉の態様は様々に変化し、それぞれの葉の色、形、大きさがバラバラであるため、葉の領域を画像処理で正確に抽出するのは非常に困難性が高いものとなっている。すなわち、葉の領域を画像処理で正確に抽出するためには極めて多くのパラメータが必要となるため、十分な抽出処理ができないという課題を有する。

本発明は、農作物の撮像情報から様々な態様で育成している葉の領域を正確に抽出し、その面積を正確に算出することで農作物の育成状態を管理する農作物管理支援装置及びＩｏＴ非接触センサを提供することを目的とする。

本発明に係る農作物管理支援装置は、農作物を撮像した撮像情報を取得する取得手段と、前記撮像情報から葉の領域のエッジを抽出するエッジ抽出手段と、抽出された前記エッジで特定される一の葉の領域を所定のサイズで拡大し、他の葉の領域と重複する場合に前記一の葉の領域と前記他の葉の領域とを連結して領域化する領域演算手段と、当該領域演算手段で領域化されたもののうち、所定の面積以下の小サイズ領域を除去する領域除去手段と、小サイズ領域が除去された残存領域の面積及び／又は数を算出する領域算出手段と、算出された領域の面積及び／又は数を出力する出力制御手段とを備えるものである。

このように、本発明に係る農作物管理支援装置においては、農作物を撮像した撮像情報を取得し、取得した撮像情報から葉の領域のエッジを抽出し、抽出されたエッジで特定される一の葉の領域を所定のサイズで拡大し、他の葉の領域と重複する場合に一の葉の領域と他の葉の領域とを連結して領域化し、当該領域化されたもののうち、所定の面積以下の小サイズ領域を除去し、小サイズ領域が除去された残存領域の面積及び／又は数を算出し、算出された面積及び／又は数を出力するため、葉ではないものは残存領域に含まれないこととなり、葉領域を画像処理で正確に求めることで農作物の育成状態を厳密に管理するための情報として利用することができるという効果を奏する。

第１の実施形態に係る農作物管理支援装置のハードウェア構成図である。 第１の実施形態に係る農作物管理支援装置における制御部の構成を示す機能ブロック図である。 カメラで撮像した撮像画像の例を示す模式図である。 従来から行われている典型的な葉領域の抽出処理を示す図である。 第１の実施形態に係る農作物管理支援装置における葉領域の抽出処理を示す図である。 図４に示した従来の典型的な処理による葉領域の実際の抽出結果を示す図である。 図５に示した本実施形態に係る農作物管理支援装置を用いた場合の葉領域の実際の抽出結果を示す図である。 外部からの操作により抽出する色の範囲を任意に設定する場合の一例を示す図である。 第１の実施形態に係る農作物管理支援装置の動作を示すフローチャートである。 第２の実施形態に係る農作物管理支援装置における制御部の構成を示す機能ブロック図である。 第２の実施形態に係る農作物管理支援装置において、指標の抽出から面積計算及び／又は数計算を行うまでの処理結果の一例を示す図である。 第２の実施形態に係る農作物管理支援装置の動作を示すフローチャートである。

（本発明の第１の実施形態）
本実施形態に係る農作物管理支援装置について、図１ないし図９を用いて説明する。本実施形態に係る農作物管理支援装置は、農作物の育成状態を示すパラメータとなる葉の大きさや枚数を画像処理で正確に測定することで、農作物の育成具合を管理するものである。

図１は、本実施形態に係る農作物管理支援装置のハードウェア構成図である。本実施形態に係る農作物管理支援装置１は、管理対象となる農作物を含む所定領域を可視光又はナイトビジョンで撮像するカメラ１１と、温度を計測するためのサーマルセンサ１２と、ナイトビジョン撮像用の光を照射する近赤外ＬＥＤ１３と、撮像された情報から農作物の育成状態を求める制御部１４と、外部機器との入出力を行うための入出力インターフェース１５と、外部機器と有線又は無線で通信を行うための通信インターフェース１６とを備える。

図１に示すように、本実施形態に係る農作物管理支援装置は、それ自体がセンサとして機能するものであり、画像処理などのデータ処理等は制御部１４で行われ、その結果のみがインターネット等を経由してサーバ（図示しない、外部機器に相当）に送られるものである。すなわち、制御部１４のプログラムを入れ替えることで様々な機能を追加、修正することが可能になる。なお、制御部１４が行う画像処理などのデータ処理を外部機器で行うようにしてもよい。すなわち、カメラ１１で撮像された情報を制御部１４がそのまま外部機器に送信し、後述する葉領域の抽出や面積、数の算出等の処理を外部機器で行う構成であってもよい。

カメラ１１は、管理対象となる農作物とその周囲の領域を撮像する画像センサであり、太陽光や蛍光灯などの可視光を光源とする撮像や、近赤外ＬＥＤ１３を光源とする夜間のナイトビジョンでの撮像を行う。詳細は後述するが、可視光による撮像では、主に葉領域の面積や数、果実の大きさを測定するための撮像情報が得られ、近赤外ＬＥＤ１３によるナイトビジョンでは、果実部分の糖度を測定するための撮像情報が得られる。カメラ１１で撮像された情報は、制御部１４に取り込まれる。

サーマルセンサ１２は、遠赤外線を検知してその強さに応じて温度を検知するものである。一般的には遠赤外線が強いほど温度が高くて赤く表示され、遠赤外線が弱いほど温度が低くて青く表示される。夜間に人や動物などの侵入物を感知することができるため、防犯センサとして機能する。測定された情報は制御部１４に取り込まれる。

制御部１４の処理について詳細に説明する。図２は、本実施形態に係る農作物管理支援装置における制御部の構成を示す機能ブロック図である。なお、ここでは、葉の面積、枚数を求める処理に関連する構成のみを図示している。図２において、制御部１４は、管理対象となる農作物及びその周囲の領域が撮像された撮像情報をカメラ１１から取得する取得部２１と、取得した撮像情報から葉のエッジを抽出するエッジ抽出部２２と、抽出したエッジのサイズを予め設定された所定の割合で拡大し、重複した領域同士を一つの領域として見做すように結合する領域演算部２３と、抽出されたエッジの領域及び結合された領域のうち、予め設定された大きさ以下の小サイズ領域を除去する領域除去部２４と、残った残存領域のサイズを戻して面積及び／又は数を算出する領域算出部２５と、算出された面積及び／又は数の情報を外部機器１７に出力する出力制御部２６とを備える。

各処理部の処理内容の具体例について、図３ないし図７を用いて説明する。図３は、取得部２１がカメラ１１から取得した撮像画像の例を示す模式図である。図３に示すにように、一般的には農作物の葉は様々な大きさや形で存在し、ある程度の範囲内に密集していることが多い。葉同士はカメラ１１から見て一部が重なっているものもあれば完全に離間しているものもある。ここでは、葉以外の全く異なる色の異物ａ１が画像に含まれている。また、葉であるにも関わらず太陽光が直接照射されることで緑以外の色が強く出てしまうａ２の領域が撮像されている。なお、図３においては、複数の葉がある面積以上重なって密集している部分を一つの矩形領域として図示しているが、実際は一枚ずつエッジ抽出されるものである。

図４は、従来から行われている典型的な葉領域の抽出処理を示している。図４において、まずカメラ１１で撮像した画像から葉と思われる色の範囲（ＲＧＢ色空間を用いた色範囲の指定）に含まれる領域を抜き出し、そのエッジを抽出する。すなわち、図４（Ａ）に示すように、この時点で図３の異物領域（ａ１）で示したような指定された色の範囲外となる領域が排除される。また、ＲＧＢ色空間による抽出を行った場合には、ａ２の領域のように緑以外の色で撮像された領域も排除される。そして、茎などの細かい領域を排除するために、エッジが抽出された領域のうち所定のサイズ未満（例えば、その時期における一般的な葉一枚の大きさ未満）である微小領域を除去する。その結果、図４（Ｂ）に示す領域が葉領域として検出されることとなる。図４（Ｂ）から明らかなように、図３の画像と比較して、本来葉である領域が削除されてしまい葉領域のみを正確に抽出できたとは言えない。

これに対して、図５は、本実施形態に係る農作物管理支援装置で葉領域の抽出処理を行った場合を示している。図５において、カメラ１１で撮像した画像から葉と思われる色の範囲（ＨＳＶ色空間を用いた色範囲の指定）に含まれる領域を抜き出し、そのエッジを抽出する。図５（Ａ）の場合は、図４（Ａ）の場合と同様に異物領域（ａ１）が排除される。また、図４（Ａ）の場合とは異なり、後述するＨＳＶ色空間の特徴により、ａ２の領域のように緑以外の色で撮像された領域であっても、設定された抽出対象の色空間の範囲とすることができる。ここで、ＨＳＶ色空間は色相、彩度、明度の３つの要素で色を表現する形式であり、ＲＧＢのように、赤、緑、青の３色の諧調で指定する場合に比べて、より高精度に葉の領域を抽出することが可能となる。具体的には、葉の色は季節、天候、時間帯、日照状態、育生状態、育生時期、土の状態、水の状態、肥料の状態等に応じて様々に変化しており、例えば日光が当たっている部分とそうではない部分が画像中に混在するだけでも葉領域の抽出精度が大きく変わって来る可能性がある。本実施形態においては、ＨＳＶ色空間を用いることで詳細な色範囲の指定が可能となり、様々な環境下において葉領域を高精度に抽出することが可能となっている。

ＨＳＶ色空間を用いてエッジが抽出されたら、図５（Ａ）の破線で示すように、領域演算部２３がそのエッジ領域を予め設定された所定の割合で拡大すると共に、一部でも重複した領域同士を結合して一つの領域とする処理を行う。つまり、この領域化処理により、育生している農作物に直接的に関係する一群の葉をできるだけ一体化して処理することで、隣接している細かい葉などもまとめて葉領域として特定することが可能となる。そして、領域除去部２４が、拡大されたエッジ領域や結合されたエッジ領域について、予め設定されたサイズ以下の小サイズ領域を除去する処理を行う。これにより、図５（Ｂ）に示すように、図４においては削除されていたような小サイズの葉であっても、領域化処理を行って一体化しているため、除去対象とはならず残すことができる。

なお、小サイズ領域の除去について、上述したように一般的な葉一枚の大きさ未満の微小領域を除去する場合に、本実施形態においては図５（Ａ）のように領域演算部２３の処理によりエッジ領域が拡大されており、全体的に葉領域が実際よりも大きいサイズとなっている。このとき、領域化しなければ除去対象となっているような小さめの葉であっても領域化することで残すことが可能となり、より高精度に葉領域を求めることができる。ただし、環境に応じてそれらの抽出が誤差となる場合もあるため、外部から任意に閾値設定できる構成とすることが望ましい。

小サイズ領域の除去を行った後の残存領域について、拡大した領域を元のサイズに戻して葉領域として特定する。その結果、図５（Ｂ）に示すように、図３のオリジナル画像に対して高精度に葉の領域が特定され、その面積や枚数を正確に算出することが可能となる。

図４に示した従来の典型的な処理による葉領域の実際の抽出結果を図６に示し、図５に示した本実施形態に係る農作物管理支援装置を用いた場合の葉領域の実際の抽出結果を図７に示す。図６においては、明らかに色が異なるイチゴの果実色（カラー画像であれば赤く表示される箇所であり、画像中央部に横長に広がったスケールが映っている箇所に多数点在）や地面の黒や灰色などは除去されているものの、葉の緑と同じ色である茎やそれに近い色のものがサイズを問わずほとんど抽出されてしまっており、葉領域の面積や数を求めるには精度があまり良くない。

一方で、図７においては、日陰や日なたに関係なく農作物の育成に直接的に関連しているような一群の葉の領域を正確に抽出しつつ、葉と同じ色であるが葉ではない茎や、明らかに葉ではない杭、果実、地面、人などが除去されており、非常に高精度に葉領域が抽出されていることがわかる。

図７において残存した領域について、領域算出部２５が面積や数を算出し、出力制御部２６がその結果を通信等により外部機器に出力する。ここで、面積を求めるために残存領域の画素サイズを実際のサイズに変換する必要があるが、予め設定された変換率を用いてサイズを求めてもよいし、図７に示すように固定サイズのスケールを設置しておいて、そのスケールを基準としてサイズを求めるようにしてもよい。

また、抽出する葉の色の基準となる指標を画像中に含めるようにしてもよい。すなわち、抽出対象となる葉領域の色の範囲が設定された指標を撮像領域のいずれかの箇所に設置しておき、その指標が示す範囲の色領域についてエッジ抽出するようにしてもよい。このとき、設置する指標について、外部からの操作により抽出する色の範囲を任意に設定できるようにしてもよい。例えば、図８（Ａ）に示すようなＨＳＶ色空間のデジタル表示がなされた指標が撮像領域内に設置されており、抽出対象となる色の色相、彩度、明度のそれぞれの下限値と上限値とを外部からの操作で設定し、その設定範囲に該当する色空間のみを図８（Ｂ）のように抜き出して表示させる。外部から操作する場合は、そのときの環境などに応じて人手により行うが、図８（Ｂ）のように抜き出された色空間が抽出の対象となることを操作者が視覚的に認識することができ、その時の環境（日照具合、天気、夕焼け朝焼けなどの時間帯）に適合する指標の設定を行うことが可能となる。

なお、本実施形態に係る農作物管理支援装置においては、撮像処理に関連する構成として、サーマルセンサ１２や近赤外ＬＥＤ１３は必ずしも備える必要はなく、少なくとも可視光により撮像できるカメラ１１を備える構成であればよい。

図９は、本実施形態に係る農作物管理支援装置の動作を示すフローチャートである。まず、取得部２１がカメラ１１で撮像された撮像情報（画像又は動画像）を取得する（Ｓ１）。エッジ部２２が、取得した撮像情報の中から予め設定されているＨＳＶ色空間の設定範囲内に該当する領域を特定し、その境目となる外周のエッジを抽出する（Ｓ２）。領域演算部２３が、抽出されたエッジを予め設定された所定の割合で拡大し、エッジ同士が一部でも重複する場合には一体的な領域として結合する（Ｓ３）。領域除去部２４が、予め設定された面積以下の小サイズ領域を除去する（Ｓ４）。領域算出部２５が、Ｓ３で拡大したサイズを元に戻して残存している領域の面積や数を計算する（Ｓ５）。出力制御部２６が演算結果を通信等により外部機器に出力して（Ｓ６）、処理を終了する。

なお、領域演算部２３が拡大するサイズを任意に変更可能とし、複数の拡大サイズごとに葉領域の面積を算出することで、葉の密集度を求めるようにしてもよい。例えば、領域算出部２３が拡大するサイズを５％、１０％、１５％、２０％と順次変更し、それぞれごとに上記の手法により葉領域の面積を算出する。エッジ領域を拡大するサイズの割合が大きくなるに連れて一群の葉領域として領域化される葉の面積が増えるが、その増加率は葉の粗密具合により異なる。具体的には、葉が粗の状態であれば拡大するサイズをある程度大きくしないと面積が増加しないが、葉が密の状態であれば拡大するサイズが小さくでも一群の葉として領域化されて面積が増加する。つまり、複数パターンの領域化処理を行った結果、増加した面積の増加率に応じて、そのときの拡大サイズから葉の密集度を求めることが可能となる。

また制御部１４は、サーマルセンサ１２から取得した情報に基づいて、人や動物を検知して通知するようにしてもよい。例えば、農作業を行わない時間帯を予め指定し、サーマルセンサ１２により人や動物が検知されるとアラームを発したり、予め登録されたメールアドレスや電話番号に通知が行われるようにしてもよい。また、人や動物の侵入が検知されたら、可視光又は近赤外ＬＥＤ１３の光源による動画像の撮像を一定時間開始して録画するようにしてもよい。録画した動画像は、インターネット経由でパソコンやスマートフォンで確認することができるようにしてもよい。

さらに、近赤外ＬＥＤ１３を光源とする近赤外光での撮像を行うことで、糖度を算出するようにしてもよい。例えば、夜間の近赤外光による画像から果実部分をＡＩで認識し、その濃度をモニタリングする。糖分は近赤外線を吸収することから、その濃度変化を糖度変化に変換することで、糖度を求めることができる。近赤外光により撮像する際には、カメラ１１の赤外線カットフィルタを外すことで行うことができる。

このように、本実施形態に係る農作物管理支援装置においては、農作物を撮像した撮像情報を取得し、取得した撮像情報から葉の領域のエッジを抽出し、抽出されたエッジで特定される一の葉の領域を所定のサイズで拡大し、他の葉の領域と重複する場合に一の葉の領域と他の葉の領域とを連結して領域化し、当該領域化されたもののうち、所定の面積以下の小サイズ領域を除去し、小サイズ領域が除去された残存領域の面積及び／又は数を算出し、算出された面積及び／又は数を出力するため、葉ではないものは残存領域に含まれないこととなり、葉の領域を画像処理で正確に求めることができ、農作物の育成状態を厳密に管理するための情報として利用することができる。

（本発明の第２の実施形態）
本実施形態に係る農作物管理支援装置について、図１０ないし図１２を用いて説明する。本実施形態に係る農作物管理支援装置は、撮像された画像の中のある決まった領域内における葉領域の面積及び／又は数を処理効率を上げて算出するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。

図１０は、本実施形態に係る農作物管理支援装置における制御部の構成を示す機能ブロック図である。前記第１の実施形態における図２の構成と異なるのは、取得部２１が取得したカメラ１１からの撮像情報の中から処理対象となる領域を示す指標を抽出する指標抽出部３１と、抽出した指標の中心点を結んで所定の対象エリアを作成するエリア作成部３２と、領域除去部２４が処理した結果の画像においてエリア作成部３２で作成された対象エリアを処理対象エリアとして特定する処理対象エリア特定部３３とを備え、領域算出部２５は処理対象エリアにおける葉領域の面積及び／又は数を算出することである。

処理対象となる領域を示す指標の抽出から当該領域における葉領域の面積及び／又は数を算出するまでの処理について、具体例を挙げて説明する。図１１は、指標の抽出から面積計算及び／又は数計算を行うまでの処理結果の一例を示す図である。図１１（Ａ）はカメラ１１で撮像されて取得部２１が取得した画像の一例を示しており、画像中における４つの板状の杭で囲まれた領域が、処理対象として最終的に葉の面積や数を求めたい領域である。この図１１（Ａ）の画像に対して、前記第１の実施形態において説明したエッジ抽出部２２、領域演算部２３及び領域除去部２４による葉領域を特定する処理が行われる。一方で、指標抽出部３１が図１１（Ａ）の画像に対して指標となる杭を抽出する。杭の抽出方法は、エッジ抽出部２２が葉のエッジを抽出する場合と同様の手法を用いることができ、予め杭の色の範囲をＨＳＶ色空間で設定し、その範囲内の色の領域を抽出する。その結果、図１１（Ｂ）のような画像が作成される。この状態だと細かい不要な領域が抽出されているため、所定の面積以下の領域については削除する処理を行う。その結果、図１１（Ｃ）のような画像が作成される。図１１（Ｃ）では処理対象となる領域の指標となる杭の領域のみが正確に抽出される。

指標である杭の領域が抽出されると、エリア作成部３２が、図１１（Ｃ）に示す杭の中心点を求め、それらを結んだ対象エリアを作成する。処理対象エリア特定部３３は、画像全体に対してエッジ抽出部２２、領域演算部２３及び領域除去部２４が行った葉領域を特定する処理結果と、エリア作成部３２が作成した対象エリアとを重ね合わせ、その重複領域を処理対象エリアとして特定する。特定された処理対象エリアについて、領域算出部２５による面積及び／又は数の算出処理が行われる。すなわち、図１１（Ｄ）に示すような杭で囲まれた領域における葉領域の面積や数を求めることができる。

図１２は、本実施形態に係る農作物管理支援装置における制御部の動作を示すフローチャートである。図１２におけるＳ１からＳ５までの処理は、第１の実施形態における図９のＳ１～Ｓ５（拡大したサイズを戻す処理まで）と同じである。Ｓ２～Ｓ５（拡大したサイズを戻す処理まで）までの処理と並行して、指標抽出部３１が指標となる杭を抽出する（Ｓ６）。このとき、杭の抽出のために設定されているＨＳＶ色空間の範囲を満たすものが杭以外にも抽出される可能性があるが、杭領域のサイズに比べて所定サイズ以下の領域や所定サイズ以上の領域については削除することで、杭領域のみを抽出することが可能となっている。そして、エリア作成部３２が、抽出された杭領域の中心点を求め、それらを結んだ対象エリアを作成する（Ｓ７）。処理対象エリア特定部３３が、Ｓ５で葉領域が残存して抽出された画像と、Ｓ７で作成された対象エリアとの重複領域を処理対象エリアとして特定する（Ｓ８）。面積算出部２５が、処理対象エリアにおける葉領域の面積及び／又は数を算出し（Ｓ９）、出力制御部２６が演算結果を出力して（Ｓ１０）、処理を終了する。

なお、上記処理において、Ｓ６及びＳ７の処理を先行して対象エリアを作成し、その対象エリアに絞ってＳ２～Ｓ５の処理を行うようにしてもよい。しかしながら、Ｓ６及びＳ７の処理を先行して葉領域の抽出処理を対象エリアに絞った場合、この対象エリアに全体が収まっていないもの（例えば、対象エリアを横切るような長尺状のもの、対象エリアの外周に一部のみが跨っているようなもの）については、本来Ｓ２～Ｓ５の処理を行った場合には残存するべきサイズにも関わらず除去されてしまう可能性があるため、Ｓ２～Ｓ５の処理後の画像に対して対象エリアとの重複領域を特定するのが望ましい。

このように、本実施形態に係る農作物管理支援装置においては、処理対象をある決まったエリアに限定したい場合に、指標となるものを抽出して対象エリアを特定し、画像を重ね合わせることで、対象エリアを容易に特定して処理効率を上げることが可能となる。

（その他の実施形態）
本実施形態に係る農作物管理支援装置は、撮像された情報から農作物のサイズを算出するものである。農作物の育成状態を管理するパラメータとして、上記で説明した葉領域の面積や数、その密度を管理することが重要であるが、本実施形態においては農作物の収穫対象（例えば、果物であれば食する対象となる果実部分、キャベツなどの葉物野菜であれば食する対象（出荷する対象）となる中心部分）のサイズ（特に、直径や半径などの径情報）を管理することで、育生状態のより正確な判断や適切な収穫時期の判断を行うことが可能となる。なお、本実施形態において前記各実施形態と重複する説明は省略する。

以下、収穫対象のサイズの算出について具体的に説明する。例えばキャベツなどの円形状の収穫対象のサイズを算出するには、以下の２つの方法を採用することができる。一つ目は、葉領域の面積の算出と同様の手法によりキャベツの収穫部分（収穫対象となり得るキャベツの色範囲（収穫対象とならない葉領域の色範囲を含まない色範囲）をＨＳＶ色空間で設定して抽出）の面積を算出し、その中心点の位置から半径を算出する。二つ目は、ＡＩ（例えば、ディープラーニング）機能を用いてキャベツの位置を判断し、その中心点から予め設定されているＨＳＶ色空間の色範囲を満たさなくなるまで円形状に中心点を広げて外周のエッジを見つける。そして、中心点から外周までを半径として算出する。さらに、ＡＩでキャベツを認識し、認識されたキャベツの形状を機械学習で検出し、その中心点と最外周から径を求めるようにしてもよい。

なお、キャベツの形状の機械学習については、例えば（１）様々な種類のキャベツを学習する（１種類につき最低１０００サンプル以上）、（２）キャベツを植える前の畑を学習する（何もないバックグラウンドを学習し、キャベツがない状態を学習する）、（３）空撮を行う場合は、画面中央と端部では撮像角度が異なるため、画面中央から端部まで満遍なく学習する、（４）成長過程の画像を学習する（少なくとも収穫直前の画像は学習する）とった学習を行うことで、高精度にキャベツを検出することが可能となる。

また、上記においては農作物としてキャベツを例に挙げて説明したが、円形状に撮像される農作物であれば本実施形態に係る農作物管理支援装置を適用することができる。

以上のように、本実施形態に係る農作物管理支援装置においては、収穫対象のサイズを特定し育生状態や収穫時期を正確に判断することが可能となる。

１ 農作物管理支援装置
１１ カメラ
１２ サーマルセンサ
１３ 近赤外ＬＥＤ
１４ 制御部
１５ 入出力インターフェース
１６ 通信インターフェース
２１ 取得部
２２ エッジ抽出部
２３ 領域演算部
２４ 領域除去部
２５ 領域算出部
２６ 出力制御部
３１ 指標抽出部
３２ エリア作成部
３３ 処理対象エリア特定部

Claims (7)

1. 農作物を撮像した撮像情報を取得する取得手段と、
   前記撮像情報から葉の領域のエッジを抽出するエッジ抽出手段と、
   抽出された前記エッジで特定される一の葉の領域を所定のサイズで拡大し、他の葉の領域と重複する場合に前記一の葉の領域と前記他の葉の領域とを連結して領域化する領域演算手段と、
   当該領域演算手段で領域化されたもののうち、所定の面積以下の小サイズ領域を除去する領域除去手段と、
   小サイズ領域が除去された残存領域の面積及び／又は数を算出する領域算出手段と、
   算出された領域の面積及び／又は数を出力する出力制御手段とを備えることを特徴とする農作物管理支援装置。
2. 請求項１に記載の農作物管理支援装置において、
   前記エッジ抽出手段が、ＨＳＶ値に基づいて前記葉の領域のエッジを抽出する農作物管理支援装置。
3. 請求項２に記載の農作物管理支援装置において、
   前記エッジ抽出手段が、前記撮像情報に含まれる前記葉の領域を抽出する際の指標となるＨＳＶ値の範囲の少なくとも上限値及び／又は下限値を示す情報に基づいて前記エッジを抽出する農作物管理支援装置。
4. 請求項１ないし３のいずれかに記載の農作物管理支援装置において、
   前記撮像情報のうち目印となる指標が示す領域を対象領域とする場合に、当該対象領域を抽出する対象領域抽出手段を備え、
   前記領域算出手段が、前記残存領域が抽出された撮像情報と前記対象領域が特定された撮像情報との重複部分における残存領域の面積及び／又は数を算出する農作物管理支援装置。
5. 請求項１ないし４のいずれかに記載の農作物管理支援装置において、
   略円形状の収穫対象を検索する収穫対象検索手段と、
   検索された前記収穫対象のサイズを算出するサイズ算出手段とを備える農作物管理支援装置。
6. 農作物を撮像対象とし、可視光で撮像処理を行う可視光モードと近赤外光で撮像処理を行う近赤外モードとを有する撮像手段と、
   可視光モードで撮像された前記撮像情報から葉の領域のエッジを抽出するエッジ抽出手段と、
   抽出された前記エッジで特定される一の葉の領域を所定のサイズで拡大し、他の葉の領域と重複する場合に前記一の葉の領域と前記他の葉の領域とを連結して領域化する領域演算手段と、
   当該領域演算手段で領域化されたもののうち、所定の面積以下の小サイズ領域を除去する領域除去手段と、
   小サイズ領域が除去された残存領域の面積及び／又は数を算出する領域算出手段と、
   前記近赤外線モードで撮像された前記撮像情報から農作物の光学濃度を糖度情報に変換する変換手段と、
   算出された残存領域の面積、数及び糖度情報のうち少なくとも一の情報を外部機器に送信する送信手段とを備えることを特徴とするＩｏＴ非接触センサ。
7. 請求項６に記載のＩｏＴ非接触センサにおいて、
   温度を検知するサーマルセンサと、
   前記撮像手段の撮像モードを切り替えるモード切替手段とを備え、
   前記サーマルセンサが温度により生物を検知した場合に、前記モード切替手段が周囲の明るさに応じて前記撮像手段の撮像モードを切り替えるＩｏＴ非接触センサ。
   

Images