JP2023161349A - 農業情報管理システム - Google Patents

Abstract

【課題】ユーザ利便性が高い農業情報管理システムを提供する。【解決手段】サーバ２０は、撮影部１０によって撮影され、時系列に沿って連続した画像データ群の中から、類似した特徴を有する複数の画像データからなる類似画像群を抽出してグルーピングするグルーピング部２３と、類似画像群の画像に対して、当該類似画像群内の一意の対象物を個体判別する個体判別部２４と、類似画像群毎に、対象物の個数または割合の情報を、表示部３１における表示画面として提示可能な表示画面作成部２６とを備える。【選択図】図１

Description

本発明は、農業情報管理システムに関する。

近年、カメラなどで撮影した画像から必要な情報を抽出して提示する農業情報管理システムが提案されている。例えば、特許文献１では、トマトなど果実の収穫を行う作業者がスマートグラスを装着し、スマートグラスで撮影した画像を用いて、果実の収穫個数をカウントするシステムが開示されている。

国際公開第２０２０／２０３７６４号

栽培現場における作物状態は、環境要因および人的要因によって日々変化する。このため、農業における管理では、小まめに圃場の様子を観察し、記録することが重要である。従来の農業情報管理システムは、ユーザにとっての利便性が高いとは言い難い。農業情報管理システムにおける利便性を高めるには、栽培現場で得られた画像から、生産にまつわる情報を効率よく整理するようなシステムが求められる。

本発明は、上記課題に鑑みてなされたものであり、ユーザ利便性が高い農業情報管理システムを提供することを目的とする。

上記の課題を解決するために、本発明の農業情報管理システムは、撮影された画像データ群の中から、類似した特徴を有する複数の画像データからなる類似画像群を抽出してグルーピングするグルーピング部と、前記類似画像群の画像に対して、当該類似画像群内の一意の対象物を個体判別する個体判別部と、前記類似画像群毎に、前記対象物に関わる情報を表示する表示部とを備えるることを特徴としている。

上記の構成によれば、類似画像群のグルーピングを行い、類似画像群毎に情報を要約することで、作業者が見回りの際に撮影した画像情報や、圃場に設置した定点カメラで取得した画像情報などから、生育情報などを効率よく・仔細に抽出し、撮影画像を見返す際に回想のきっかけを得られやすくなる。特に、各類似画像群の中での一意の対象物（果実など）を判別（個体判別）することで、各類似画像群内における対象物に関わる情報を、異なる画像間での対象物に対する二重検出や検出漏れを避けながら認識することができる。

また、上記農業情報管理システムでは、前記表示部は、前記対象物に関わる情報として前記対象物の個数または割合を表示可能である構成とすることができる。

また、上記農業情報管理システムでは、前記表示部は、前記対象物に関わる情報として前記対象物の熟度傾向を表示可能である構成とすることができる。

また、上記農業情報管理システムでは、前記表示部は、前記対象物に関わる情報として前記対象物における生理障害の発生状況を表示可能である構成とすることができる。

上記の構成によれば、各対象物の個数、割合、熟度傾向および生理障害の発生状況などを把握でき、これに基づいて栽培環境条件を調整することができる。

また、上記農業情報管理システムは、操作入力部からの操作指示によって、前記対象物の個数を変更可能である構成とすることができる。

上記の構成によれば、個体判別された対象物の数に誤りがある場合に、オペレータの目視確認に基づく修正が容易に行えるようになり、類似画像群毎の対象物数をより正確に求めることができる。

また、上記農業情報管理システムは、操作入力部からの操作指示によって、前記類似画像群毎に含まれる画像データの中から不要な画像データを除外可能である構成とすることができる。

上記の構成によれば、ある類似画像群内に誤ってグルーピングされた画像データが含まれる場合、その画像データを除外することで、誤った画像データ内の対象物を集計から除外し、その類似画像群における対象物の個数を正しく再集計することができる。

また、上記農業情報管理システムでは、前記表示部は、撮影位置情報と組み合わせて前記対象物の情報を表示可能である構成とすることができる。

上記の構成によれば、圃場内の撮影位置に応じた対象物数などが分かり、収穫作業時の人員配置や収穫時間を見立てやすくなる。

また、上記農業情報管理システムでは、前記表示部は、撮影日時情報と組み合わせて前記対象物の情報を表示可能である構成とすることができる。

また、上記農業情報管理システムは、前記表示部は、前記類似画像群毎に、作業者による作業内容の情報を表示可能である構成とすることができる。

上記の構成によれば、圃場内で行われる作業に関してもグルーピングを行い、類似画像群として情報提示することで、撮影動画などを全て見返すことなく、省力的に作業実績の参照、作業記録を行うことができるようになる。

本発明の農業情報管理システムは、類似画像群のグルーピングを行い、類似画像群毎に情報を要約することで、多量の画像情報から必要な情報などを効率よく・仔細に抽出し、撮影画像を見返す際に回想のきっかけを得られやすくなるといった効果を奏する。

本発明の一実施形態を示すものであり、農業情報管理システムの概略構成を示すブロック図である。 農業情報管理システムにおける処理工程を示すフローチャートである。 画像のグルーピングを説明する説明図である。 類似画像群の一例を示す図である。 表示画面例１として、農業情報管理システムにおける表示画面の一例を示す図である。 シーンの編集モードに移行した表示画面の一例を示す図である。 シーン中の不要画像を選択除外した後の表示画面の一例を示す図である。 不要シーンを選択除外した後の表示画面の一例を示す図である。 代表画像表示形式とした表示画面の一例を示す図である。 属性情報として熟度を選択した場合の表示画面の一例を示す図である。 任意の対象物が含まれるシーンを優先表示した表示画面の一例を示す図である。 表示画面例２として、農業情報管理システムにおける表示画面の一例を示す図である。 表示画面例２の変形例を示す図である。 表示画面例２の他の変形例を示す図である。 表示画面例３として、農業情報管理システムにおける表示画面の一例を示す図である。 表示画面例３の変形例を示す図である。 表示画面例４として、農業情報管理システムにおける表示画面の一例を示す図である。 表示画面例４の変形例を示す図である。 表示画面例４の他の変形例を示す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。図１は、本実施の形態に係る農業情報管理システム（以下、本システム）の概略構成を示すブロック図である。図１に示すように、本システムは、大略的には、撮影部１０、サーバ２０および端末３０によって構成される。尚、図１では、撮影部１０および端末３０を本システムに含まれる構成要素の一つとしているが、撮影部１０および端末３０は本システムに含まれない外部要素であってもよい。すなわち、本システムはサーバ２０のみによって構成され、撮影部１０および端末３０は、本システムに対して外部接続される機器であってもよい。また、サーバ２０および端末３０は、パソコンなどで一体に構成されていてもよい。

撮影部１０は、本システムによる管理を受ける圃場において撮影を行う手段である。撮影部１０は、作業者が圃場の見回りに持ち歩く携帯カメラであってもよく、圃場内に固定設置される定点カメラであってもよい。また、撮影部１０によって撮影される画像データは、静止画であってもよく、動画であってもよい。

サーバ２０は、主制御部２１、記憶部２２、グルーピング部２３、個体判別部２４、属性判定部２５および表示画面作成部２６を有している。主制御部２１は、サーバ全体を制御する。記憶部２２は、撮影部１０によって撮影された画像データや、グルーピング部２３、個体判別部２４および属性判定部２５により得られる情報（詳細は後述）を記憶する。表示画面作成部２６は、端末３０の表示部３１で表示される表示画面データを作成する。

端末３０は、ディスプレイなどの表示デバイスである表示部３１と、キーボードやマウスなどの入力デバイスである入力部（操作入力部）３２を備えた端末であり、パソコン、タブレット、スマートフォンなどの使用が想定される。本システムでは、表示部３１の表示画面によって管理情報の提示が行えると共に、入力部３２からの操作入力によって提示情報の修正指示が行える。尚、端末３０は、サーバ２０に対して複数接続可能であってもよい。

本システムの特徴は、撮影された多量の画像データ（画像データ群）から、生産にまつわる情報を効率よく仔細に抽出、整理し、かつ、ユーザが画像を見返す際に適切な提案（回想のきっかけ、少ない閲覧負荷）を提示できるような表示を行える点にある。以下、この特徴点について詳細に説明する。

図２は、本システムにおける処理工程を示すフローチャートである。本システムの処理工程は、大略的には、＜データ取得＞、＜情報抽出＞および＜情報提示＞の３つの工程に分けられる。

＜データ取得＞工程では、撮影部１０となるカメラやスマートグラスなどの撮影デバイスが起動され（Ｓ１）、撮影デバイスによって画像の撮影（Ｓ２）が行われる。撮影された画像データは、圃場内の撮影位置、撮影エリアなどの位置情報（撮影位置情報）や、撮影日時（撮影日および撮影時刻）情報などの付加情報と紐付けられて記憶部２２に記憶される。画像データに紐付けられる位置情報などは、撮影デバイスが固定された定点カメラである場合には、撮影デバイス毎に予め設定しておくことができる。撮影デバイスが持ち運びされる携帯カメラである場合には、撮影デバイスに取り付けたセンサから位置情報（および作業者の向いている方位情報）を撮影と同時に取得し、取得した位置情報が撮影した画像データに自動的に紐付けされるようにすることが好ましい。但し、本発明はこれに限定されるものではなく、撮影後に位置情報を画像データに手作業で割り当てるようにしてもよい。

＜情報抽出＞工程では、＜データ取得＞工程で取得した画像データをシーン別に分類（グルーピング）し（Ｓ３）、分類した画像群毎に対象物（果実など）を一意に判別（個体判別）する（Ｓ４）。すなわち、連続した複数の画像に跨って同一の対象物が写っている場合は、その対象物は１つの特定された対象物として認識される。個体判別された対象物に対しては、画像処理により各種画像判定を行うことができる（Ｓ５）。また、画像判定された対象物に対して、類似画像群別あるいは圃場全体での計数を行うことができる（Ｓ６，Ｓ７）。

＜情報提示＞工程では、＜情報抽出＞工程での画像判定結果や計数結果に基づき、情報を要約した表示（Ｓ８）を行うことで、ユーザに対して回想・理解・記録を促した情報提示が行われる。表示画面は、表示デバイスとしてスマートフォン、タブレット、パソコンなどでの閲覧を想定し、表示デバイスに応じて表示レイアウトが設定されてもよい。

続いて、＜情報抽出＞工程での処理内容について、さらに詳細に説明する。尚、ここでは、本システムによって管理される圃場を果実（トマト）栽培のハウス内とし、本システムでの管理対象物を果実とする場合を例示する。

〔画像のグルーピング〕
本システムでは、例えば、時系列に沿って連続した画像データが多量に存在する。また、多量の画像データの中には、ほぼ同一の撮影領域が写され（撮影領域の少なくとも一部が重複しており）、同じ果実が写り込んだ類似画像も多く存在する。このため、本システムでは、連続した画像から類似した特徴を有する類似画像群を作成するグルーピングが行われる。このグルーピングは、サーバ２０のグルーピング部２３によって行われる。尚、ここでの“類似した特徴”とは、画像を多次元の行列としてとらえた場合の類似度（ベクトル同士の類似度）を指すものとする。

グルーピングは、例えば画像処理による特徴点マッチングによって行われる。その他の方法として深層学習によって類似度を算出する方法などがある。そして、図３に示すように時系列順（フレーム順）に画像を並べ、画像の特徴点間の距離を元に類似度を算出し、画像のグルーピングを行う。比較される複数の画像における特徴点間距離が一定値以下であれば、その画像同士は類似画像としてグルーピングされる。尚、撮影された画像データが動画である場合は、この動画を所定の時間間隔でサンプリングし、サンプリングされた画像に対してグルーピングを行うことが好ましい。

図３の例では、（ｎ－１）フレームの画像と（ｎ）フレームの画像とでは、撮影領域が異なっており、特徴点の類似性もない。これより、（ｎ－１）フレームおよび（ｎ）フレームの画像は、類似画像ではないと判定される。一方、（ｎ）フレームの画像と（ｎ＋１）フレームの画像とでは、撮影領域が大きく重複しており、同じ果実が写り込んでいる。具体的には、（ｎ）フレームの画像における左付近および（ｎ＋１）フレームの画像の中央付近に、それぞれ３つの果実（図中、枠囲みにて示す）が写っており、これらの果実を特徴点として、２つの画像間での特徴点間距離を算出すれば、（ｎ）フレームおよび（ｎ＋１）フレームの画像は類似画像であると判定される。

尚、類似画像の判定を行う際に比較される画像は、図３の例のように、必ずしも連続したフレームの画像であるとは限らない。例えば、（ｎ）フレームの画像に対して、（ｎ＋２）フレームや（ｎ＋３）フレームの画像が比較され、類似画像として判定される場合もありうる。このように連続しない画像の比較を行うためには、ある１つの画像に対して、所定時間以内の他の画像を比較対象とする方法、あるいは、一度の作業毎、一日毎に撮影された全画像に対して総当たりで比較を行う方法などが考えられる。このように、連続しない画像に対しても類似画像として判定可能とすることにより、一瞬視線をそらした場合や同じところを同じ角度で見回った場合などもグルーピング対象となり得る。

また、図３の例では、画像に写り込んだ果実を特徴点とし、特徴点マッチングによって類似画像が判定する場合を例示している。しかしながら、必ずしも果実が特徴点となるとは限らず、画像中の他の部分を特徴点とすることもできる。

このように類似画像群のグルーピングを行い、類似画像群毎に情報を要約することで、作業者が見回りの際に撮影した画像情報や、圃場に設置した定点カメラで取得した画像情報から、生育情報などを効率よく・仔細に抽出し、撮影画像を見返す際に回想のきっかけを得られやすくなる。尚、画像群別の個体判別は、果実に対する判別以外にも適用できる。例えば、果実がなる前の花の段階で、花の個体判別を行うことも可能である。

〔画像群別の個体判別〕
グルーピングされた類似画像群においては、異なる複数の画像に同じ果実が写り込んでいる。これらの果実は類似画像群の中での同じ果実（一意の果実）として認識できる。すなわち、各類似画像群の中での一意の果実を判別（個体判別）し、判別された一意の果実を計数することで、各類似画像群内における果実の数を、異なる画像間での二重検出や検出漏れを避けながら認識することができる。この個体判別は、サーバ２０の個体判別部２４によって行われる。

〔画像判定による属性情報付与〕
グルーピングによって類似画像群毎に一意に検出された果実に対しては、画像判定によって各果実の属性情報を判定し、これを付与することができる（属性情報付与）。判別される属性情報としては、果実の熟度（熟度判定）や生理障害の有無（生理障害判定）が挙げられる。判定された属性情報は、判定を受けた類似画像群に対応させて保存する。属性情報の判定は、サーバ２０の属性判定部２５によって行われる。

果実の熟度は、果実の色や大きさに基づいて、画像認識システムによる判定が可能である。また、判定可能な果実の生理障害としては複数種類が存在するが、例えば、空洞果、尻腐れ果、乱形果、小玉果、裂果、網入り果、着色不良果などが挙げられる。これらの生理障害の種類も、画像認識システムにより特定可能である。

このように、各果実の属性情報を判別し、保存することで、圃場内の果実における熟度傾向や生理障害の発生状況を把握でき、これに基づいて栽培環境条件を調整することができる。尚、属性情報の判定は、果実に対する判定以外にも適用できる。例えば、果実がなる前の花の段階で、正常／異常（花の属性情報）を花の個体毎に判定し、その判定結果から摘花すべき花の判定を行うことも可能である。

〔対象物の計数〕
本システムでは、グルーピングにより一意の果実が判別されることで、対象物である果実の計数を精度良く（重複検出や検出漏れを回避して）行うことが可能となる。例えば、図４に示す４枚の画像からなる類似画像群では、各画像に３つまたは２つの一意の果実（図中、枠囲みにて示す）が検出されている。本システムにおける計数では、これらの果実は４枚の画像で計１０個と計数されるわけではなく、計３個の一意の果実として計数される。具体的には、図４中の４枚の画像において、左上および左下の画像では３つ、右上および右下の画像では２つの果実が検出されている。これは、左上および左下の画像では正しく果実が検出されているものの、右上および右下の画像では検出漏れが発生したことを示している。この場合、類似画像群内の一部の画像において果実の検出漏れが発生しても、他の画像において正しく検出されていれば、その果実は、類似画像群内で一意の果実として検出されるため、類似画像群内での検出漏れを回避できる。

このように、類似画像群中の一意の果実を判別し、異なる画像における同一の果実の重複計数や計数漏れを回避して、精度の高い計数を行うことができる。尚、このような計数は、類似画像群別に行うだけでなく、類似画像群別に計数された数を足し合わして圃場全体での計数を行うことも可能である。本システムでは、類似画像群毎の果実計数を行うことで、圃場内のエリア毎の果実数が分かり、収穫作業時の人員配置や収穫時間、収穫量（可販果数）を見立てやすくなる。

〔本システムにおける表示画面例１：撮影結果の表示例〕
図５は、本システムにおける表示画面の一例を示す図である。この表示画面では、グルーピングされた類似画像群毎に情報を提示することができるようになっている。すなわち、図５におけるシーン１－６は、それぞれ異なる類似画像群に対応している。各類似画像群においては、一意に判別された果実の数が表示される。例えば、シーン１の類似画像群における果実の数は１２個であり、シーン２の類似画像群における果実の数は３個である。

また、全ての類似画像群における果実の数を合計すれば、圃場全体における果実の数となる。図５の例では、圃場全体における類似画像群は２０個（シーン１－２０）であり、圃場全体における果実の数は１００個である。尚、図５の表示画面では、シーン１－２０のうちシーン１－６までしか表示されていないが、シーン７以降については画面をスクロールさせることで表示可能である。

また、本システムにおいて検出された果実については、画像判定によって判別された属性情報が付与されている。この属性情報の表示方法としては、各類似画像群においてどのような属性情報の果実が含まれているかをアイコン表示することが考えられる。図５の例では、属性情報切替部５１において、属性情報として生理障害が選択されている。この場合、各シーンでは、シーン中に含まれる果実の生理障害の種類がアイコン表示される。図５の例では、このアイコン表示によって、シーン１中の果実に空洞果が含まれていることが示されており、シーン５中の果実に乱形果および尻腐れ果が含まれていることが示されている。

また、各シーンにおいて不要な画像（誤ってグルーピングされた画像）が存在する場合、本システムのオペレータが手動で画像編集を行い、不要な画像を選択除外することもできる。不要な画像を選択除外する場合には、編集しようとするシーンの枠内でクリックしたり、編集モードへ移行させるアイコンボタン５２をクリックしたりすることなどで編集モードへ移行する。図６は、シーン１の編集モードに移行した表示画面の一例を示す図である。尚、図６では、画面右側にシーン１を拡大表示した編集画面（太枠囲みされた画面）を表示しているが、拡大した編集画面を表示することは必須ではない。

図６の編集画面では、シーン１に分類された全ての画像が表示され、オペレータが除外する画像を選択可能となっている。例えば、各画像の右上箇所にチェックボックスが設けられ、このチェックボックスにチェックマークを入れることでシーンに含まれる画像として選択される（チェックマークを入れなければシーンから除外する画像として選択される）。図６の例では、シーン１において５枚の画像が分類されているが、左列一番下の画像は誤ってシーン１に分類された不要な画像となっている。このため、左列一番下の画像のチェックマークを消し、それ以外の４枚の画像のチェックマークを残すことで、不要な画像のみをシーン１から除外することができる。

チェックマークによって不要な画像が選択除外された状況で再計算を行う（編集画面内の再計算ボタン５３をクリックする）と、シーンに含まれる画像として選択された４枚の画像のみによって同シーンに含まれる果実の計数が再度行われる。図７は、図６の表示画面から再計算を行った後の表示画面である。図７の表示画面では、シーン１から不要な画像を除外して再計算を行ったことにより、シーン１に含まれる果実の数が、再計算前の１２個から１０個に減少している。また、圃場全体の果実数も、再計算前の１００個から９８個に減少している。

さらに、図６における編集画面では、編集画面の左上箇所にシーン１に含まれる果実の数（１２個）が表示されている。オペレータは、シーン１の表示画像から果実数を目視にて数え、数えた果実数を直接入力することもできる（編集画面の左上箇所における果実数の数字を変更入力する）。また、編集画面内リセットボタン５４をクリックすることで、再計算された（あるいは変更入力された）果実数を初期値にリセットすることもできる。

このように、本システムでは、編集モードを設けることで、ある類似画像群内に本来集計対象でない画像が含まれる場合、その画像内の果実を集計から除外することができる。これにより、オペレータの目視確認に基づく修正が容易に行えるようになり、類似画像群毎の果実数をより正確に求めることができる。また、編集後の表示画面において、シーンから選択除外された画像は、図７に示すように、他の画像と異なる表示（例えば、他の画像よりも薄く表示）とされてもよい。

さらに、本システムにおいてオペレータが選択除外できるのは、シーン中の画像だけでなく、シーンそのものを選択除外可能であってもよい。例えば、図５の表示画面では、各シーンの枠内の右上箇所にチェックボックスが設けられ、このチェックボックスにチェックマークの入ったシーンが選択されている。図５の例では、シーン１，２，５が選択され、シーン３，４，６が選択除外されている。これは、選択されたシーンにおける果実数を合計することで圃場全体の果実数が求められるためであり、シーン３，４，６は、果実数が０個であって、圃場全体の果実数に影響を与えないため選択除外されている。

そして、チェックボックスにおけるチェックマークを消すことで、シーン全体を選択除外し、圃場全体の果実数を再計算することができる。図８は、図５の表示画面からシーン１を選択除外した後の表示画面を示す図である。図８では、シーン１全体が除外されたことにより、シーン１の果実数が含まれず、圃場全体の果実数が再計算前の１００個から８８個に減少している。このようなシーンの選択除外は、グルーピング結果を信頼できない場合（例えばシーン１とシーン２に明らかに同じ果実が写っている場合など）に行うことができる。

また、本システムの表示画面では、属性情報の分かりやすい提示を行うこともできる。例えば、生理障害の発生しているシーンを探そうとする場合、オペレータが生理障害の種類を設定することで、その生理障害が含まれるシーンを強調表示することができる。例えば、図９の例では、オペレータが空洞果の果実が含まれるシーンを探すために、属性種類選択部５５にて空洞果を選択している。この選択により、空洞果の含まれるシーン、この例ではシーン１が強調表示（例えば太枠囲み）されている。このように、任意の対象物が含まれる類似画像群を識別可能に強調表示することで、圃場内の果実の生育状況の検索および追跡が容易となる。

また、図５の表示画面などでは、各シーンにおいて、そのシーンに含まれる全ての画像が表示される表示形式（全画像表示形式）としている。これに対し、表示をより見やすくするため、図９に示すように、各シーンにおいて代表画像のみを表示する表示形式（代表画像表示形式）としてもよい。代表画像表示形式では、所定の基準で代表画像が選択されるが、その基準はオペレータが任意に設定できるようにすることが好ましい。代表画像の選択基準としては、例えば、果実が多く含まれる画像、あるいは生理障害の果実が含まれる画像を優先的に選出するといった基準が考えられる。また、表示画面における表示形式（全画像表示形式または代表画像表示形式）は、オペレータにより任意に切り替え可能であってもよい。例えば、表示画面内に表示形式切替ボタン５６（図９参照）を設け、この表示形式切替ボタン５６をクリックするたびに表示形式が切り替わるようにすることが考えられる。

表示画面内に表示されている画像中に、画像判定結果に基づく注目すべき果実（生理障害果など）がある場合、その果実を枠囲みするなどして強調表示してもよい（図９参照）。この場合、判定結果の種類別（生理障害の種類別）によって枠の色を変えれば、判定結果の種類がより簡単に識別可能となる。

図５の表示画面では、属性情報として生理障害を選択した表示を行っているが、属性情報切替部５１での選択切替により、他の属性情報を選択した表示に切り替えることが可能である。図１０は、属性情報切替部５１において、属性情報として熟度を選択した場合の表示画面の一例を示す図である。れている。この場合、各シーンでは、シーン中に含まれる果実の熟度がアイコン表示される。図１０の例では、このアイコン表示によって、シーン１中に熟度（ＪＤ）５および４の果実が含まれていることが示されており、シーン２中に熟度５の果実が含まれていることが示されており、シーン５中に熟度４の果実が含まれていることが示されている。また、この場合も、属性種類選択部５５にて属性種類を選択し、選択された属性種類の含まれるシーンを強調表示することができる。図１０の例では、熟度５の果実を選択することにより、これを含むシーン１および２が強調表示されている。

また、本システムの表示画面では、所定のルールに基づいて、所望の対象物が含まれるシーンを優先表示することもできる。例えば、図１１は、対象物である果実が含まれるシーンを優先表示とするといったルールに則り、果実が含まれるシーン１，２，５を上方に集約表示（優先表示）し、果実が含まれないシーン３，４，６を下方に表示した表示画面である。このような優先表示により、任意の対象物が含まれるシーンをより見やすい位置に初期表示することができる。尚、優先表示のための所定のルールは、特に限定されるものではなく、例えば、生理障害果を含むシーンを優先表示することもできる。また、優先表示のためのルールを複数用意し、オペレータが任意のルールを選択的に設定して優先表示を行わせることもできる。

〔本システムにおける表示画面例２：エリア情報を用いた表示例〕
表示画面例２では、圃場内のエリア情報を用いて表示を行う場合の表示画面例を示す。＜データ取得＞工程で既に説明したように、撮影された画像データは、圃場内の撮影位置、撮影エリアなどの位置情報と紐付けられて記憶部２２に記憶されている。これにより、図１２および図１３に示すように、撮影時の圃場内の位置情報を利用して、特定エリアに属するシーン毎に選択表示することが可能である。図１２および図１３の例では、表示画面の左側にエリア選択部６１が設けられており、このエリア選択部６１において表示エリアの選択が行える（図１２ではエリアＡ、図１３ではエリアＤを選択）。

シーン選択部６２は、選択した表示エリアに複数のシーンが含まれる場合、表示するシーンを選択する手段である。図１２ではシーン選択部６２においてシーン２の表示が選択されており、図１３ではシーン２０の表示が選択されている。また、表示形式選択部６３は、選択したシーンに含まれる画像の表示形式を選択する手段である。図１２では、表示形式選択部６３においてシーン２中の全シーン画像を表示する形式（すなわち全画像表示形式）が選択されており、シーン２に含まれる４枚の撮影画像が表示されている。図１３では、シーン２中の代表画像を表示する形式（すなわち代表画像表示形式）が選択されている。

図１２および図１３の表示画面では、選択したシーン中の果実の個数（図１２では３個、図１３では１０個）や属性情報も表示できる。属性情報選択部６４，６５は、選択したシーン中の果実に対して、どの属性情報に関する表示を行うかの選択を行う手段である。図１２および図１３では、属性情報選択部６４において熟度が選択されており、属性情報選択部６５において生理障害が選択されている。属性情報選択部６４の下方では、熟度に応じて分類した果実の個数や割合がテーブル表示（図１２参照）またはグラフ表示（図１３参照）されている。また、属性情報選択部６５の下方には、生理障害に応じて分類した果実の個数や割合がテーブル表示またはグラフ表示されている。尚、テーブルまたはグラフ表示される内容は、特に限定されるものではなく、個数のみの表示や割合のみの表示であってもよい。

図１４は、表示画面例２として、図１２および図１３とは異なる表示画面の一例を示す図である。図１４の表示画面では、エリアＡおよびエリアＤの２つのエリアが選択され、両方のエリアについての表示が行われている。このように、１つの表示画面に複数のエリアの情報を同時に表示可能とすることで、複数のエリアに関する情報比較が容易となる。

〔本システムにおける表示画面例３：撮影日時情報を用いた表示例〕
表示画面例３では、撮影日時情報を用いた表示を行う場合の表示画面例を示す。＜データ取得＞工程で既に説明したように、撮影された画像データは、撮影日時情報と紐付けられて記憶部２２に記憶されている。これにより、図１５に示すように、撮影日時情報を利用して、特定期間内の情報を集計して表示することが可能である。図１５の例では、表示画面の左上側に期間選択部７１が設けられており、この期間選択部７１において情報表示を行う期間の選択が行える（図１５では２０２１年７月の期間を選択）。期間選択部７１の右方では、選択期間（表示対象期間）中の圃場内の合計果実数が日付毎に（時系列で）グラフ表示（テーブル表示であってもよい）されている。

属性情報選択部７２，７３は、選択した期間中において、どの属性情報に関する表示を行うかの選択を行う手段である。図１５では、属性情報選択部７２において熟度が選択されており、属性情報選択部７３において生理障害が選択されている。属性情報選択部７２，７３の右方では、選択した期間中において、熟度に応じて分類した果実の割合、および生理状態に応じて分類した果実の割合のグラフ表示（テーブル表示であってもよい）されている。

図１６は、表示画面例３として、図１５とは異なる表示画面の一例を示す図である。図１６の表示画面では、日付選択部７４において、表示対象期間中の特定の日付の選択を行っている（図１６では１７日を選択）。この場合、選択された日付が表示対象日になり、表示対象日における各シーンの果実数（シーン別果実数）をグラフ表示（あるいはテーブル表示）することができる。また、シーン別果実数を合計した、表示対象日の合計果実数を表示することもできる。尚、ここでの図示は省略するが、本システムの設定によっては、属性情報に基づく表示を表示対象日について行うことも可能である。例えば、表示対象日において、熟度に応じて分類した果実の割合の表示を行うこともできる。

〔本システムにおける表示画面例４：果実以外の管理対象の表示例〕
上記表示画面例１－３では、圃場内の果実を対象とする場合の表示例を示した。しかしながら、本システムにおける管理対象は、果実などの対象物に限定されるものではなく、圃場内で実施される作業内容などを管理対象とすることもできる。図１７は、表示画面例４として、本システムにおける表示画面の一例を示す図である。

図１７の例では、表示画面の左上側に期間選択部８１が設けられており、この期間選択部８１において情報表示を行う期間の選択が行える（図１７では２０２１年７月の期間を選択）。期間選択部８１の右方では、選択期間（表示対象期間）中に圃場内で行われた作業内容が表示されている。このときの表示方法は特に限定されるものではないが、例えば、表示対象期間に対応するカレンダーに作業内容を色分けして表示してもよく、表示対象期間中に行われた各作業の回数をテーブル表示してもよい。無論、複数種類の表示を組み合わせて用いてもよい。このような表示により、どの作業（葉かき、防除、収穫など）がどの日に行われたかが容易に認識できる。

本システムにおける作業内容の記録では、定点カメラなどの撮影で得られる多量の画像（時系列に得られる画像群）から類似度に基づいてグルーピングを行い、類似画像群が生成される。この場合、例えば、作業者が撮影されている連続した複数の画像を類似画像群とすることができる。また、作業者が写っていない連続した複数の画像も類似画像群とすることができる。各類似画像群は、含まれる画像の撮影日時情報よりその時間帯も記録することができる。このように、圃場内で行われる作業に関してもグルーピングを行い、類似画像群として情報提示することで、撮影動画などを全て見返すことなく、省力的に作業実績の参照、作業記録を行うことができるようになる。

作業者が写っている（作業が記録されている）類似画像群に対しては、画像判定処理によってその作業内容を推定し、推定された作業内容を自動的に記録することが可能である。例えば、本システムにおいて、所望の条件で学習した機械学習モデルまたは画像解析プログラムを備え、これらの学習モデルや解析プログラムによって作業内容を推定することができる。この場合、サーバ２０内において、上記学習モデルや解析プログラムによって機能する機能部の一つとして作業内容推定部（図１には不図示）を設ければよい。但し、本発明はこれに限定されるものではなく、作業内容の記録は、オペレータが手作業で入力するものであってもよい。

また、表示画面では、作業内容の代表画像を表示してもよい。すなわち、表示対象期間中に圃場内で行われた全ての作業の代表画像を表示してもよい。この場合の代表画像も、グルーピングされた類似画像群から選択することができる。こうした代表画像の選択により、画面表示する情報量を圧縮（ハイライト画像の作成）することで、オペレータの閲覧負荷を低減することができる。

図１８は、表示画面例３として、図１７とは異なる表示画面の一例を示す図である。図１８の表示画面では、日付選択部８２において選択期間中の特定の日付の選択を行っており（図１８では１７日を選択）、エリア選択部８３においてエリアの選択を行っている（図１８ではエリアＡを選択）。この場合、選択された日付およびエリアにおける情報を選択表示することができる。図１８の例では、表示対象日における撮影画像から複数の代表画像が抽出されて時刻と共にハイライト表示されており、これより１４：００に防除作業が行われたことが認識できる。

図１９は、表示画面例３として、図１７および図１８とは異なる表示画面の一例を示す図である。図１９の表示画面では、作業内容選択部８４，８５において表示すべき作業内容の選択を行うことができ、作業内容選択部８４において葉かき作業が選択されており、作業内容選択部８５において防除作業が選択されている。これらの選択に応じて、葉かき作業の代表画像および実施日時と、防除作業の代表画像および実施日時が表示されており、これより特定の作業に関し、その作業がどの日時で行われたかを容易に認識できるようになる。

本システムは、上述した表示画面例１ないし３の少なくとも１つを表示可能であればよいが、表示画面例１ないし３の任意の２つ以上を表示可能であり、これらを任意に切り替えて表示可能であることが好ましい。

今回開示した実施形態は全ての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれる。

１０ 撮影部
２０ サーバ
２１ 主制御部
２２ 記憶部
２３ グルーピング部
２４ 個体判別部
２５ 属性判定部
２６ 表示画面作成部
３０ 端末
３１ 表示部
３２ 入力部（操作入力部）
５１ 属性情報切替部
５２ アイコンボタン
５３ 再計算ボタン
５４ 編集画面内リセットボタン
５５ 属性種類選択部
５６ 表示形式切替ボタン
６１，８３ エリア選択部
６２ シーン選択部
６３ 表示形式選択部
６４，６５，７２，７３ 属性情報選択部
７１，８１ 期間選択部
７４，８２ 日付選択部
８４，８５ 作業内容選択部

Claims (9)

1. 撮影された画像データ群の中から、類似した特徴を有する複数の画像データからなる類似画像群を抽出してグルーピングするグルーピング部と、
   前記類似画像群の画像に対して、当該類似画像群内の一意の対象物を個体判別する個体判別部と、
   前記類似画像群毎に、前記対象物に関わる情報を表示する表示部とを備えることを特徴とする農業情報管理システム。
2. 請求項１に記載の農業情報管理システムであって、
   前記表示部は、前記対象物に関わる情報として前記対象物の個数または割合を表示可能であることを特徴とする農業情報管理システム。
3. 請求項１に記載の農業情報管理システムであって、
   前記表示部は、前記対象物に関わる情報として前記対象物の熟度傾向を表示可能であることを特徴とする農業情報管理システム。
4. 請求項１に記載の農業情報管理システムであって、
   前記表示部は、前記対象物に関わる情報として前記対象物における生理障害の発生状況を表示可能であることを特徴とする農業情報管理システム。
5. 請求項２に記載の農業情報管理システムであって、
   操作入力部からの操作指示によって、前記対象物の個数を変更可能であることを特徴とする農業情報管理システム。
6. 請求項１に記載の農業情報管理システムであって、
   操作入力部からの操作指示によって、前記類似画像群毎に含まれる画像データの中から不要な画像データを除外可能であることを特徴とする農業情報管理システム。
7. 請求項１に記載の農業情報管理システムであって、
   前記表示部は、撮影位置情報と組み合わせて前記対象物の情報を表示可能であることを特徴とする農業情報管理システム。
8. 請求項１に記載の農業情報管理システムであって、
   前記表示部は、撮影日時情報と組み合わせて前記対象物の情報を表示可能であることを特徴とする農業情報管理システム。
9. 請求項１に記載の農業情報管理システムであって、
   前記表示部は、前記類似画像群毎に、作業者による作業内容の情報を表示可能であることを特徴とする農業情報管理システム。

Images