JP2022180799A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】 農作物の植え付けに応じて構成される垣根であって、画像に含まれる前記農作物が植え付けられた垣根の配置を識別するための識別情報を提供し、当該農作物への移動を容易にすること。【解決手段】 農作物の植え付けに応じて構成される垣根であって、画像に含まれる前記農作物が植え付けられた垣根の配置識別する識別情報を取得し、前記画像と、前記識別情報とを表示させる。【選択図】 図２

Description

本発明は、画像表示に関する。

近年、農業分野において、病気の発生や生育状況など圃場の状況を把握するために、車両に搭載したカメラで農作物を撮影して、調査する方法がある。このような方法で調査した結果、例えば枯れた木を植え替えるなどの作業を行いたい場合、作業者に対して、作業対象である枯れた木を撮影した画像とその撮影位置を提示し、作業する場所を特定されることが望ましい。

特許文献１では、撮影した画像と撮影位置を含む地図を表示する方法が提案されている。

特開２０１３－１８３２１７号公報

特許文献１に記載された方法を用いることで、例えば、枯れた木を撮影したことにより得られる画像とその撮影位置を提示することができる。しかしながら、ワイン用ぶどうなど農作物によっては、果樹を一列の垣根となるように植え付け、それが何列も連なるようにして栽培される垣根栽培が行われることがある。このような、果樹を一列の垣根となるように植え付けた垣根栽培においては、垣根を越えて移動することが困難である場合がある。したがって、垣根栽培において、物理的な距離が近いとしても、垣根を跨った移動が難しく、所望の果樹に移動するには、正しい垣根の列を特定し、その垣根に沿った移動が必要である。

例えば、作業者が、特許文献１に記載されているように地図を頼りに作業対象である果樹に向かう場合、地図上に示された撮影位置だけでは、所望の果樹の垣根の列を特定することができない恐れがあった。このため、作業者が所望の果樹が植え付けられた垣根の列を正しく特定できずに、間違った垣根の列に沿った移動してしまう場合がある、この場合、作業者は所望の果樹に物理的な距離では近づくことはできるが、上述の通り、垣根を越えて移動することが困難であり、作業が実施できないとういう問題が生じる。

本発明は、上述の課題に鑑みてなされた発明であり、農作物の植え付けに応じて構成される垣根であって、画像に含まれる前記農作物が植え付けられた垣根の配置を識別するための識別情報を提供し、当該農作物への移動を容易にすることを目的とする。

上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。即ち、
農作物の植え付けに応じて構成される垣根であって、画像に含まれる前記農作物が植え付けられた垣根の配置を識別する識別情報を取得する取得手段と、
前記画像と、前記識別情報とを表示させる表示制御手段と、
を有することを特徴とする。

本発明によれば、画像に含まれる農作物の植え付けに係るグループを識別するための識別情報を提供し、当該農作物への移動を容易にすることができる。

情報処理装置のハードウェアの構成の一例を表す図である。 情報処理装置の機能構成の一例を表す図である。 画像を管理するテーブルの一例を示す図である。 合成した画像を表示する処理の流れの一例を示すフローチャートである。 画像に垣根の情報を合成する処理の流れの一例を示すフローチャートである。 車両の両側にカメラを設置する様子の一例を示す図である。 垣根の間を車両が走行する様子の一例を示す図である。 地図から画像の選択操作を受け付ける画面の一例を示す図である。 合成した画像を表示して入力操作を受け付ける画面の一例を示す図である。 作業フラグの設定と画像の出力を加えた機能構成の一例を示す図である。 作業フラグを追加した画像管理テーブルの一例を示す図である。 作業フラグの設定と画像の出力を加えた処理の一例を示すフローチャートである。 作業フラグを設定された画像に垣根の情報を合成する処理の一例を示すフローチャートである。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態では、ワイン用ぶどうを栽培する圃場において、ワイン用ぶどうの育成状況を記録するために撮影した画像を表示するための画像表示システムを例にして説明を行う。一般的に、ワイン用ぶどうは、果樹を一列の垣根となるように植え付け、それが何列も連なるようにして栽培される垣根栽培により栽培される。本実施形態では、農作業中に使用する車両であるトラクターに車両の両側に設置した左右のカメラで撮影する撮影システムにより、農作業における移動と並行して自動的に撮影を行うことで垣根栽培されるワイン用ぶどうの育成状況の記録を効率化する。

一般的に、ワイン用ぶどうは、品種や樹齢の異なるものを区画に分けて管理しており、区画内では果樹を一列の垣根となるように植え付け、それが何列も連なるようにして栽培される（垣根はＲｏｗとも呼ばれる）。車両は垣根の間を走行し、車両の両側に設置した左右のカメラで撮影する。同一の木を重複して撮影しないよう、垣根の間を一つ飛ばしで走行するものとする。

図６は、本実施形態に係る画像表示システムに含まれる撮影システムの構成例を示す図である。図６は、真上から撮影システムを見た図である。図７において、システムは、撮影制御装置、左カメラ、右カメラおよび移動体を備える。

撮影制御装置は、左カメラ及び右カメラの撮影を制御する。撮影制御装置は、例えば、利用者が持ち運んで操作可能なスマートフォンやタブレットＰＣである。左カメラ及び右カメラは、それぞれ移動体の進行方向（図６の矢印方向）に対して、光軸が左右にほぼ垂直となるように設置されたカメラである。即ち、左カメラは、移動体の進行方向の左側を撮影するカメラである。右カメラは、移動体の進行方向の右側を撮影するカメラである。このように、移動体に左カメラ、右カメラを設置することで、果樹を一列の垣根として植え付けたワイン用ぶどうの圃場において、垣根の間を一度走行することで両サイドの垣根の果樹を撮影することができる。なお、移動体に設置する撮影装置は、１つでもよいし３つ以上であってもよい。また、別個の複数のカメラにより異なる方向を撮影する形態を説明したが、これに限らず、それぞれ異なる撮影方向となる撮像部を２つ持った１つのカメラで撮影を行う構成としてもよい。

移動体は、例えば、トラクターや収穫機など農作業用の車両である。なお、移動体をトラクターや収穫機など農作業車であるとして説明を行うが、これに限らず、乗用車、トラック、２輪車、ドローンなどの飛行体等の他の移動体であってもよい。

なお、利用者が移動体を操作してその運転を制御する例を説明するが、利用者が移動体を遠隔操作したり、移動体が自律運転したりする形態であってもよい。

図７は、垣根の間を一つ飛ばしで走行した様子を示す図である。このように、移動体を垣根の間を一つ飛ばしで走行させることで、効率的にすべての垣根の撮影を行うことができる。

以降では、このような撮影システムにより撮影された画像を表示する情報処理装置による情報処理方法について詳細に説明する。本実施形態に係る情報処理装置は、移動体に設置された少なくとも一つ以上の撮影装置により撮影された複数の画像を取得する。そして、これらの画像から非生産領域である枯れ枝を撮影した画像に撮影位置を示すための垣根の情報を合成し、合成画像を作業者に提示する方法を説明する。なお、作業者に提示する画像は、枯れ枝を含む画像に限られず、他の病気を有する果樹の画像でもよいし、設備の破損など病気以外に作業が必要な場所を特定するための画像であってもよい。

＜ハードウェア構成＞
図１は、本実施形態に係る情報処理装置のハードウェア構成である。ＣＰＵ１０１は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０７に接続された各構成要素を制御する。

ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＣＰＵ１０１は、ＲＯＭ１０２に格納されたプログラムを読み込んで実行することで、後述する各フローチャートに従った処理を実現する。ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０２にロードすることで、プログラムメモリを実現しても構わない。ＣＰＵ１０１は、各処理の実行結果をＲＡＭ１０３に書き込む。

補助記憶デバイス１０４は、本実施形態に係る電子データやプログラムを記憶し、電源を切ってもデータが消えない記憶デバイスである。補助記憶デバイス１０４は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フラッシュメモリ、ＵＳＢメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＳＤカード等である。補助記憶デバイス１０４は、ネットワークで接続されたサーバ装置等であってもよい。補助記憶デバイス１０４は、本体に内蔵した、例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）メモリであり、ＣＰＵ１０１から取り外せないようにしてもよい。以下、本実施形態では補助記憶デバイス１０４が、本体に内蔵したＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）メモリと外部からデータを取り込むためのＳＤカードである場合を例に説明する。補助記憶デバイス１０４に格納されたプログラムをＲＡＭ１０３にロードすることで、プログラムメモリを実現しても構わない。ＣＰＵ１０１は、各処理の実行結果を補助記憶デバイス１０４に保存する。

表示デバイス１０５は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等であって、ＣＰＵ１０１の処理によって、表示画面に画像や文字、図形を出力するデバイスである。なお表示デバイス１０５は、情報処理装置と有線あるいは無線で接続された外部デバイスでも構わない。

入力デバイス１０６は、例えば、タッチパネル、ボタン、マウスであって、ユーザによる各種操作を受け付ける。入力デバイス１０６は、表示デバイス１０５に張り付けられたユーザの動作を感じる、圧力タッチパネル、あるいは、静電タッチパネル、ライトペン等でも構わない。なお、入力デバイス１０６は、マウスなどのように情報処理装置と有線あるいは無線で接続された外部デバイスでも構わない。

＜機能構成＞
図２は、本実施形態に係る情報処理装置のソフトウェアの機能構成を示すブロック図の一例である。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する処理を実行することで実現されている。また例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。

画像管理部２０１は、圃場で撮影された画像ファイル、撮影位置、垣根などの画像情報を後述する図３の画像管理テーブルで管理する。画像ファイルは補助記憶デバイス１０４であるＳＤカード等の記憶媒体もしくは通信を介して外部から取得し、補助記憶デバイス１０４であるＳＳＤ等の記憶媒体に画像管理テーブルとともに保存するものとする。

画像解析部２０２は、画像管理部２０１で管理する画像を解析し、解析結果を出力する。画像解析部２０２は、本実施形態では画像に含まれる果樹の枯れ枝の領域を検出し、画像に含まれる果樹の枯れ枝率を算出する。画像解析部２０２は、例えば、枯れ枝を特定するために機械学習された学習済もモデルに画像を入力することで当該画像の枯れ枝領域に関する情報の出力を得る。算出した枯れ枝率は画像管理部２０１で管理する。なお、画像管理部２０１は、枯れ枝率だけでなく、枯れ枝領域を示す情報を管理してよい。枯れ枝領域を示す情報は、画像ファイル名と同名で拡張子を変えたテキストデータを画像ファイルと一緒に保存するようにしてもよい。このように検出した枯れ枝領域を示す情報を管理することで、画像を表示する際に枯れ枝の検出枠も併せて表示することができる。

なお、画像解析部２０２による解析により得られる情報は、枯れ枝等の非生産領域に関するだけでなく、農作物が患う他の病気、農作物の病害虫による被害または施設の破損などの作業が必要か否かを示す指標を示す情報であってもよい。

操作部２０３は、表示したい画像の位置を地図上から選択するなどのユーザ操作を、入力デバイス１０６を介して受け付ける。画像合成部２０４は、表示対象の画像に対して、後述する図５のフローチャートにより示される処理により撮影位置を示す垣根の情報を合成する。合成とは、画像と垣根の情報を一つにすることであり、重ねてもよいし、並べてもよい。表示部２０５は、合成された画像などを、表示デバイス１０５を介して表示させるための表示制御を行う。

＜処理の流れ＞
本実施形態における、情報処理装置が画像に垣根の情報を合成して表示する処理の流れを説明する。

図３は、情報処理装置が保持する、画像情報を管理する画像管理テーブルである。図３において、画像管理テーブル３０１は移動体の左側に設置された左カメラで撮影した画像に係る情報である画像情報を管理する。画像管理テーブル３０２は移動体の右側に設置された右カメラで撮影した画像に係る情報である画像情報を管理する。ここでは左右のカメラで管理テーブルを二つに分けたが一つのテーブルで管理してもよい。

画像管理テーブル３０１および３０２は画像のＩＤ、画像ファイル名、画像の撮影位置、画像の垣根番号、枯れ枝率の属性とその属性値で構成される。なお、画像情報は、これらの全ての情報が必須である必要はなく、これらのうち少なくとも一部の情報を含む情報であってもよいし、他の情報を含んでもよい。画像情報に含まれる撮影位置の情報は、例えばＧＰＳの衛星から受信した電波によって特定される画像を撮影した時点での緯度経度の情報である。なお、ＧＰＳに限らず、他のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などの位置測位技術により特定された位置情報を用いてもよい。

また、画像情報に含まれる垣根番号は、一列に植え付けられた果樹の列を識別するための情報である。垣根番号の情報は、撮影の対象であるぶどうの木の垣根の番号である。垣根の番号は１から始まる連番で割り当てられるものとする。割り当ては、撮影時にユーザが入力した情報を用いてもよいし、垣根の終端で折り返す車両の動きを検知して自動で割り振った情報を用いるようにしてもよい。また、別途、各垣根の地理情報を管理しておき、撮影位置やカメラの向きから垣根の番号を算出してもよい。なお、２つの垣根の間を走行するごとに、２つの垣根の番号が左右のカメラそれぞれの画像に割り当てられるものとする。なお、垣根番号は、撮影対象である果樹により構成されるグループである垣根を識別するための識別情報であってよい。また、例えば、垣根番号は、畝により撮影される農作物を撮影対象とする場合、一つの畝に植えられる農作物を一つのグループとし、その畝を識別する情報であってもよい。このように垣根番号は、撮影対象である農作物の植え付けに係るグループの識別情報であってよい。また、垣根番号は、画像に含まれる農作物の垣根の配置を識別するための識別情報である。

また、図３に示す例では、一つの区画で撮影された画像を一つのテーブルで管理しているが、画像情報に区画を識別する情報を含めて、複数の区画で撮影された画像を一つのテーブルで管理するようにしてもよい。

図４は、情報処理装置が画像に垣根の情報を合成して表示する処理の流れを示すフローチャートである。以下、各工程（ステップ）は、それら符号の先頭にＳを付与して説明することとする。図４のフローチャートは、情報処理装置において画像ビューワーアプリケーションを起動することで開始される。

Ｓ４０１において、情報処理装置は、表示部２０５により表示された圃場の地図から操作部２０３で選択された位置に最も近い撮影位置の画像情報を画像管理テーブルから取得して表示対象にする。図８は圃場の地図から画像の選択操作を受け付ける画面の一例である。図８に示す例では、図８おいて、ユーザからの指示があった矢印が示す位置に最も近い撮影位置を有する画像が表示対象として選択される。

Ｓ４０２において、情報処理装置は、後述する図５のフローチャートにより表示対象の画像に、表示対象の画像に含まれる撮影対象の植え付けに係るグループの識別するための情報である垣根の情報を合成する。Ｓ４０３において、情報処理装置は、合成された画像を表示部２０５により表示させる。

Ｓ４０４において、情報処理装置は、操作部２０３から入力操作を受け付ける。Ｓ４０５において、情報処理装置は、Ｓ４０４において受け付けた操作が表示画像の切り替え操作だった場合にＳ４０６に、切り替え操作でない場合はＳ４０７に処理を進める。切り替え操作とは例えば一つ前や一つ後の画像を表示するための矢印ボタンの押下である。Ｓ４０６は、切り替え操作に応じて画像管理テーブルの順番に一つ前や一つ後の画像を表示対象にして、Ｓ４０２に処理を戻すことで表示を切り替える。

ここで、表示する画像の切り替え指示について説明する。画像表示装置は、画像を表示させる場合に、例えば、図９に示すよう画面を表示する。図９において、現在表示している画像とともに画像の切り替えを指示するためのアイコンを表示させている。図９において、９０２は一つ前の画像に切り替える矢印ボタンであり、９０３は一つ後の画像に切り替える矢印ボタンである。

情報処理装置は、これらのアイコンに対してユーザが操作したことを検出した場合、画像の切り替え指示のための操作を受付けたと判定する。なお、図９は、情報処理装置が表示させるユーザーインターフェースの一例であり、ボタンの配置位置やアイコンの形態は適宜変更してよい。

また、画像の切り替え指示は、アイコンに対する操作に限らず他の種々の方法により実施してもよい。例えば、タッチパネルに対するスワイプ操作を検出した場合に、画像の切り替え指示を受け付けたと判定してもよいし、スワイプの方向に応じて切り替え方向の判定を行ってもよい。また、画像の切り替え指示は、キーボードにおける所定のキーの押下の検出に応じて判定されてよい。例えば、画像表示装置は、キーボードの右方向キーの操作を受付けた場合、次の画像への切り替えを指示されたと判定し、右方向キーの操作を受付けた場合、前の画像への切り替えを指示されたと判定してもよい。また、画像表示装置は、キーボードの上方向キーの操作を受付けた場合、次の画像への切り替えを指示されたと判定し、下方向キーの操作を受付けた場合、前の画像への切り替えを指示されたと判定してもよい。

Ｓ４０７において、情報処理装置は、受け付けた操作が画面を閉じる操作だった場合に処理を終了し、そうでない場合はＳ４０４に戻して次の操作を受け付ける。なお、処理を終了した場合は、図８の画面に遷移し、地図から選択した場合に再度図４のフローチャートに示す処理を実行するようにしてもよい。

図９は、合成された画像を表示し、入力操作を受け付けるための画面の一例である。９０４は画面を閉じるボタンである。図９に示す例では９０１の表示から一つ後の画像に切り替えるボタンが押下され９０５の画面に切り替わる。画面９０１および９０５においては、画像に含まれる果樹が存在する圃場の識別情報、画像に含まれる果樹の解析結果である枯れ枝率、画像のファイル名、画像に含まれる果樹が植え付けられた垣根の垣根番号などの種々の情報が画像とともに表示される。さらに、図９の例では、垣根における画像の撮影位置や画像の画像に含まれる果樹が植え付けられた垣根と隣接する他の垣根の情報も併せて画像とともに表示される。

このように本実施形態では、画像とともに、画像の解析結果と画像に含まれる撮影対象である果樹の位置を特定する情報である、撮影対象が属するグループである垣根の識別情報を表示する。即ち、本実施形態では、画像とともに画像に含まれる撮影対象である農作物の植え付けに係るグループの識別情報を表示する。これにより、ユーザは画像に含まれる果樹に対して作業が必要か否かかが容易に判断できるとともに、作業が必要な場合に、その果樹の場所の特定および果樹への移動の手間を低減するための情報をユーザに提供することができる。

続いて、Ｓ４０２において示した画像に、表示対象の画像に含まれる撮影対象である農作物の植え付けに係るグループを識別するための情報の合成処理の詳細について図５を用いて説明する。図５は、画像合成部２０４が画像に垣根の情報を合成する処理の流れを示すフローチャートである。

Ｓ５０１において、情報処理装置は、表示対象の画像の情報を画像管理テーブルから取得する。

Ｓ５０２において、情報処理装置は、対象画像の垣根番号が奇数か偶数かを判定し、奇数の場合はＳ５０３で対象画像の垣根の番号と一つ後の垣根番号を画像と合成する。偶数の場合はＳ５０４で対象画像の垣根の番号と一つ前の番号を画像と合成する。

図７において説明した通り、本実施形態では、移動体が垣根の間を一つ飛ばしで走行しながら撮影を行う。したがって、Ｓ５０２～Ｓ５０４の処理を行うことで実際に画像が撮影された垣根と垣根の間を特定することが可能となり、果樹の位置だけでなく画像が実際に撮影された場所の特定が容易になる。

図９に示す画面９０１において、撮影時に走行した両側２つの垣根の番号と、垣根の位置を示す情報を合成して表示している。対象画像の垣根番号１６が偶数であるため一つ前の垣根番号１５と１６の２つを合成している。このように、本実施形態の情報処理装置は、移動体が画像を撮影した際に移動した２つの垣根の間を特定可能に、それぞれの識別情報を表示させる。また、垣根番号１６の線上に画像に含まれる農作物の位置（画像の撮影位置）を示す四角い印を合成している。

なお、例えば、垣根と垣根の間を網羅的に走行する場合、Ｓ５０２～Ｓ５０４の処理を変形して、実際に画像が撮影された垣根と垣根の間を特定するように構成してもよい。例えば、図７に示す例において、移動体が垣根番号１と２の間を走行した後に垣根番号２と３の間、その次に垣根番号を３と４の間のように垣根と垣根の間を網羅的に走行する場合を考える。この場合、例えば垣根番号２は、図７における左側から撮影される画像と右側から撮影される画像とが撮影される。情報処理装置は、表示対象とした画像が撮影された際の垣根と垣根の間を特定し、その情報を画像とともに提示する構成としてもよい。

また、図９の例では、２つの垣根を示す情報を表示する例を示したが、これに限らず１つまたは３つ以上の垣根を示す情報を表示する構成としてもよい。

続いて、Ｓ５０５は、対象画像の撮影位置から垣根における撮影位置を算出し、垣根を示す線上に撮影位置を示す情報を作成する。

なお、図９に示したように、表示する画像に含まれる果樹の垣根の情報だけでなく圃場や区画の名前、垣根の位置を示す番号（パネル番号とも呼ばれる）などを画像とともに表示してもよいし、枯れ枝率や枯れ枝領域の矩形を合成してもよい。

以上説明した本実施形態によれば、画像に含まれる果樹が植え付けられた垣根の情報を合成して表示させることで、画像の撮影位置に垣根に沿って手間なく移動するための情報を提供することが可能となる。したがって、間違った垣根間に侵入してしまい、垣根を越えて撮影位置に移動しなければならないというような手間を低減すことができる。

また、本実施形態では、画像が実際に撮影された位置である垣根の間を示す２つの垣根の番号が表示される。これにより、ユーザは、表示された垣根の番号を実際の現場での垣根の番号と合わせて、その間に入ることで、ユーザが圃場におけるどの位置関係にいても現場で容易に撮影位置の特定及びそこへの移動方向を正しく認識することができる。さらに、単に地図を表示する場合に比べて、２つの垣根の情報だけで画像の撮影位置を特定することができる。

なお、本実施形態では垣根の番号が１から始まる連番としたが、１以外の番号から始まる場合は、撮影開始番号を別途管理しておき、撮影開始番号を起点に奇数番目になるかどうかを判定してもよい。また、欠番を別途管理しておき、欠番の場合は垣根の番号や線の色を変えて欠番であることが分かるように合成してもよい。こうすることで、現場に向かう際に存在しない番号の垣根を探す手間を省くことができる。また、垣根の識別情報として数字だけでなく文字情報を用いてもよい。

また、本実施形態では垣根の番号が奇数か偶数かをもとに２つの垣根番号を合成したが、予めどの垣根の間を走行したか両側２つの垣根の情報を画像管理テーブルに記録しておき、その情報を合成してもよい。この場合は、垣根の情報は必ずしも番号である必要はなく記号などでもよい。

＜実施形態２＞
実施形態１では、画像に含まれる果樹が植え付けられた垣根の情報を当該画像とともに表示することで、撮影位置に移動する際の手間を削減する形態を説明した。実施形態２では、複数の画像に対して作業フラグを設定して一括で出力することで、効率的に作業が必要な場所に移動するための情報提示する形態について説明する。

実施形態２におけるシステムや装置の構成は特に断りがない限り実施形態１と同様である。以下に実施形態１との差異について詳細に説明する。

図１０は、実施形態２に係る情報処理装置の機能構成を示す図である。図２に示した実施形態１の情報処理装置の機能構成との差分は、作業フラグ設定部１００１と出力部１００２を追加で有することである。即ち、実施形態２に係る情報処理装置は、実施形態１において説明した機能に加え、作業が必要なことを示す作業フラグを画像に付与してその画像を出力する機能を有する。

作業フラグ設定部１００１は、後述する図１２のフローチャートに示す処理により表示画像に作業が必要なことを示す作業フラグを設定する。作業フラグの情報は画像管理部２０１が後述する図１１に示す画像管理テーブルで管理する。出力部１００２は、後述する図１３のフローチャートに示す処理により作業フラグが設定された画像に対して、画像に含まれる農作物の植え付けに係るグループを識別するための情報である垣根情報を合成した画像を出力する。出力の方法は、指定のフォルダに対して画像ファイルを出力する構成として説明する。しかし、これに限らず、画像とともに作業フラグが設定されたことを示す情報を出力する構成や印刷出力する構成など種々の構成を採用することができる。

図１１は、実施形態２に係る画像管理テーブルの一例を示す図である。図１１の画像管理テーブルは、図３の画像管理テーブルに作業フラグの情報を加えたものである。図１１において、１１０１は作業フラグの列であり、値が１となっているものが作業フラグを設定された画像である。ここではＩＤがＬ３の画像に作業フラグが設定されている。

図１２は、実施形態２に係る合成した画像を表示する処理の流れを示すフローチャートである。図１２に示す処理は、図４の処理に作業フラグを設定して出力する処理を加えたものである。なお、図１２に示すフローチャートにおいて、図４のフローチャートと同じ処理は同一の符号で示し、その詳細な説明を省略する。

図１２において、Ｓ４０１～Ｓ４０６は、実施形態１と同様の処理が行われる。なお、本実施形態のＳ４０４では、作業フラグの設定操作の入力操作及び作業フラグが設定された画像の出力操作を受付け可能とする。

Ｓ１２０１において、情報処理装置は、Ｓ４０４で受け付けた操作が作業フラグの設定操作かどうかを判定し、設定操作の場合はＳ１２０２に、設定操作でない場合はＳ１２０３に処理を進める。作業フラグの設定操作とは例えばメニューやチェックボックスにより画像に含まれる撮影対象に作業が必要なことを示すフラグを画像に対して設定する操作である。

Ｓ１２０２において、情報処理装置は、作業フラグ設定部１００１により表示対象の画像に作業フラグを設定する。なお、作業フラグの設定はユーザによる設定操作だけでなく、画像解析部２０２で枯れ枝率を算出した際に、例えば５０％以上など所定の閾値以上の場合に設定してもよい。その場合は、枚数が多くなりすぎないように作業フラグを設定する上限数を決めて、枯れ枝率が多い順に上限に達するまでフラグを設定してもよい。

Ｓ１２０３において、情報処理装置は、Ｓ４０４で受け付けた操作が、作業フラグが設定された画像の出力操作かどうかを判定し、出力操作の場合はＳ１２０４に、出力操作でない場合はＳ４０７に処理を進める。出力操作とは例えばメニューにより作業フラグが設定された画像の出力を指示するための操作である。Ｓ１２０４において、情報処理装置は、後述する図１３のフローチャートにより示される処理に基づいて、作業フラグが設定された画像を出力部１００２により出力する。

図１３は、出力部１００２が作業フラグを設定された画像に対して、垣根の情報を合成して出力する処理の流れを示すフローチャートである。

Ｓ１３０１において、情報処理装置は、画像管理テーブルから作業フラグが設定されたすべての画像の情報を取得する。Ｓ１３０２において、情報処理装置は、垣根番号ごとに作業フラグが設定された画像の数をカウントする。Ｓ１３０３において、情報処理装置は、作業フラグに設定された画像の数が多い順に垣根番号をソートする。画像数が同じ場合は、撮影位置の情報をもとに、同一の垣根番号内の作業フラグが設定された画像間の距離を算出し、距離が近いものを優先してもよい。これにより作業するための移動効率が良い垣根番号が優先される。

Ｓ１３０４において、情報処理装置は、ソートされた順に優先度と垣根番号を付与したフォルダを作成する。例えば「優先度１垣根番号１３」といった名前のフォルダを作成する。なお、フォルダの数に上限を決めて、上限に達するまで優先度順にフォルダを作成してもよいし、作業フラグ付きの画像の数が閾値以下となるフォルダは作成しないようにしてもよい。

Ｓ１３０５において、情報処理装置は、作成したフォルダと同一の垣根の番号の情報を有する全ての作業フラグ付き画像に対して画像合成部２０４により垣根の情報を合成する。そして、情報処理装置は、該当フォルダに合成した画像ファイルを出力する。なお、Ｓ１３０５において、画像に合成する情報は、垣根の情報や実施形態１で述べた圃場名などの情報だけでなく、上述した作業の優先度の情報を含んでもよい。また、フォルダ内の画像数の上限を決めて、枯れ枝率が多い順に上限に達するまで出力してもよい。なお、Ｓ１３０５において、作業フラグが設定された画像を垣根番号ごとに出力する構成とした。これに限らず、例えば、優先度が高い、即ち、作業が必要な果樹をより多く含む垣根番号を少なくとも表示し、ユーザに当該垣根番号での作業を促す情報を出力する構成としてもよい。また、例えば、ユーザの指示に従って、垣根番号ごとに、作業フラグが設定された画像を表示する構成としてもよい。この場合、作業フラグが設定された画像を一覧表示したり、１または複数の所定枚数ごとに切り替え可能に表示したりする構成としてもよい。

以上説明した実施形態２によれば、作業が必要な農作物を含む複数の画像に対して作業フラグを設定して一括で出力できるため、作業が必要な複数の場所を特定する手間を削減できる。また、垣根ごとにフォルダでグループ分けして出力されるため、垣根に沿って効率よく作業を行うことができる。さらに、優先度順に垣根ごとにグループ分けして出力されるため、作業が必要な場所の多い垣根から優先して効率的に作業できる。

なお、本実施形態では、一つの垣根番号ごとにグループ分けしたが撮影時に走行した両側２つの垣根番号ごとにフォルダを作成し、２つの垣根番号に含まれる作業フラグ付き画像の数でソートして優先度順に出力してもよい。

また、出力として画像ファイルをファルダに出力したが、合成された画像をプリンタに送信して印刷するようにしてもよい。その場合は、優先度順にグループごとに印刷してもよい。

さらに作業フラグは設定するかどうかの二値であったが、作業の種類ごとに複数値を設定できるようにしてもよい。その場合、特定の種類のみのフラグを有する画像を対象に表示または出力するようにしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムによっても実現可能である。

また、上述の実施形態において、ワイン用ぶどうの育成状況などの記録のために撮影された画像の表示を行う形態を説明したが、これに限らず、他の作物の育成状況などの記録のために撮影した画像の表示を行う形態に本実施形態に係る処理を適用してもよい。例えば、作物自体で垣根を形成するような垣根栽培で栽培される他の農作物の育成状況などの記録のために撮影された画像の制御に上述の実施形態に係る制御を適用してもよい。また、記録の対象となる農作物の栽培方法は、垣根栽培に限られず、畝に沿って農作物を植え付け、畝を何列も連なるようにして栽培される作物を、畝間を移動体による移動に際して撮影した撮影画像に対しても本実施形態に係る制御は適用可能である。

また、上述の実施形態において、農業分野の圃場の記録のための撮影を行う場合を例にして説明を行ったが、これに限らない。例えば、道路やその周辺の建物を車両に設置された撮影装置により撮影された画像の表示の制御に本実施形態に係る制御を適用してもよい。

２０１ 画像管理部
２０２ 画像解析部
２０３ 操作部
２０４ 画像合成部
２０５ 表示部
１００１ 作業フラグ設定部
１００２ 出力部

Claims (12)

1. 農作物の植え付けに応じて構成される垣根であって、画像に含まれる前記農作物が植え付けられた垣根の配置を識別する識別情報を取得する取得手段と、
   前記画像と、前記識別情報とを表示させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記画像の解析に基づく、前記農作物に対して作業が必要か否かを判断するための指標に関する情報をさらに表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記農作物に対して作業が必要か否かを判断するための指標に関する情報として、前記農作物の枯れ枝率、前記農作物の病気または前記農作物の病害虫による被害に関する情報を表示させることを特徴とする請求項２に記載の情報処理装置。
4. 前記画像における、前記農作物の枯れ枝の領域、前記農作物の病気の領域または前記農作物の病害虫による被害を受けた領域を特定するための情報をさらに表示させることを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御手段は、前記垣根において前記画像に含まれる前記農作物の位置を特定するための情報をさらに表示させることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記画像は、移動体に設置された撮影装置により垣根間を移動した際に撮影された画像であり、
   前記表示制御手段は、前記移動体が前記画像を撮影した際に移動した２つの垣根の間を特定可能に、それぞれの識別情報を表示させることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記農作物を栽培する圃場を示す情報をさらに表示させることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記農作物に対して作業が必要なことを示す情報を前記画像に対して付与する付与手段と、
   前記付与手段により作業が必要なことを示す情報が付与された複数の画像を、前記垣根ごとに出力する出力手段と、
   を更に有することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記出力手段は、前記垣根における作業の優先度に従って、前記付与手段により作業が必要なことを示す情報が付与された前記複数の画像を、前記垣根ごとに出力することを特徴とする請求項８に記載の情報処理装置。
10. 前記付与手段は、前記画像の解析に基づく、前記農作物に対して作業が必要か否かを判断するための指標に基づいて、前記農作物に対して作業が必要なことを示す情報を前記画像に対して付与することを特徴とする請求項８または９に記載の情報処理装置。
11. 農作物の植え付けに応じて構成される垣根であって、画像に含まれる前記農作物が植え付けられた垣根の配置を識別する識別情報を取得し、
    前記画像と、前記識別情報とを表示させることを特徴とする情報処理装置による情報処理方法。
12. コンピュータを請求項１から１０のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images