JP2020106890A - 情報処理装置、その制御方法、プログラム、及びシステム - Google Patents

Abstract

【課題】 本発明は、移動体に設置されたカメラにより、ユーザが任意のタイミングで行う対象物の撮影指示に適した画像を得られるように支援することを目的とする。【解決手段】 課題を解決するために、本発明の情報処理装置は、予め定義された複数種類の対象に対応する複数のアイテム（９０２〜９０４）を表示装置に表示させ、移動体に設置された撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理し、表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記複数の画像のうち前記選択されたアイテムに対応する対象（１００３）が写る画像（１００２）を取得する。【選択図】 図５

Description

本発明は、農作物の栽培状況を電子的に管理する技術に関する。

近年、農業分野において、広大な圃場における農作物の栽培状況を電子的に管理するシステムが提供されている。また、圃場での作業者は、農作物の病気の発生、設備の不良など、現場で起こる多様な状況を、記録または管理システムに報告（レポート）するために、現場をカメラで撮影するという方法が提案されている。特許文献１では、予め撮影目的と推奨される構図との対応関係を定義し、撮影装置から通知される撮影目的に対応する構図の情報を返送する。撮影装置の作業者は、撮影装置が受信し、表示した構図の情報を確認し、それに従う構図で対象物を撮影し、報告に用いる方法を提案している。

特許第５７２９４７６号公報

圃場の規模や栽培する農作物によっては、現場の作業者は、農作業の多くを農業用トラクター等の車両上で行う。従って、作業者が走行中に気づいた雑草の発生や設備の不良などの事象を撮影するには、その都度トラクターから降りる手間が発生する。そこで、車両に設置したカメラで走行中に撮影を行う方法が考えられる。しかしながら、車両上で作業を行っている作業者が記録したい対象物を発見して撮影を指示するタイミングが、発見された対象が車両に固定されたカメラの画角に収まっているタイミングと必ずしも一致するとは限らない。一方、撮り逃しを防ぐために車両に設置したカメラで常時撮影を行うと、記録される画像が膨大となる。さらには、それらの画像の大半が類似した情景を撮影したものとなるため、その中から、作業者に発見された対象が写る画像を特定する作業は大変な手間となる。

そこで本発明は、移動体に設置されたカメラにより、ユーザが任意のタイミングで行う対象物の撮影指示に適した画像を得られるように支援することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、移動体に設置された撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理する管理手段と、予め定義された複数種類の対象に対応する複数のアイテムを表示装置に表示させる表示制御手段と、表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記複数の画像のうち前記選択されたアイテムに対応する対象が写る画像を取得する画像取得手段とを備える。

本発明によれば、移動体に設置されたカメラにより、ユーザが任意のタイミングで行う対象物の撮影指示に適した画像を得ることができる。

管理システムの構成の一例を表す図 報告装置１０２によって管理される情報の一例を表すテーブル 報告装置１０２によって実行される報告指示に応じた処理の一例を表すフローチャート 報告装置１０２によって実行される指示に応じた画像を表示する処理の一例を表すフローチャート 報告装置１０２であるタブレット端末の表示状態の一例を表す図 上下左右４台のカメラと接続した管理システムの構成の一例を表す図 報告装置１０２によって管理される情報の一例を表すテーブル 報告装置１０２によって実行される報告指示に応じた処理の一例を表すフローチャート 報告装置１０２によって実行される指示に応じた画像を表示する処理の一例を表すフローチャート 報告装置１０２であるタブレット端末の表示態様の一例を表す図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１の実施形態＞
図１（ａ）は、本実施形態に係るシステムの構成例を示す図である。カメラ１０１は、車両に設置されたカメラであり、ネットワーク１０３により車両に設置されたタブレット端末である報告装置１０２に接続される。ここで車両とは、具体的には農業用トラクターであり、圃場内を所定の動作（例えば土の耕起、農作物の収穫、あるいは他の農業用機械の牽引等）を伴って走行する。ただしトラクターに替えて、小型トラックや乗用車が使用される場合にも本実施形態は適用可能である。また例えば、車両に限らず他の移動体であってもよい。例えば、撮像装置を備えたドローン等を作業者が操縦しながら散水や農薬散布を行うような作業であっても、作業者に直観的な操作で報告を行うのに本発明は適用され得る。以下では、圃場において農作物の間を走行する農業用車両を例に挙げて実施形態を説明する。

報告装置１０２は、ネットワーク１０３を介してカメラ制御コマンドを送信することでカメラ１０１による撮影を制御し、撮影画像、撮影時刻（時間）、撮影位置を取得する情報処理装置である。さらに、報告装置１０２は、車両上で作業者が気づいた事象に対する報告の指示や、農作業後の報告された内容の表示を行う。作業者とは、圃場で実際に農作業に従事する者であり、報告装置１０２のユーザである。なお、本実施形態では、報告を受けつけ、結果を表示するまでの一連の処理を同じタブレット端末で行うが、指示の入力と結果の表示を異なる端末で行うよう構成してもよい。また例えば、報告装置１０２とネットワーク１０３を介して通信するサーバ装置を構成に加え、後述する報告装置１０２による処理のうち、画像の管理及び選択に係る処理は、報告装置１０２の指示に応じてサーバ装置が行うとしてもよい。

また、本実施形態では、設備不良、雑草の発生、農作物の病気の発生の事象に作業者が気付き、それを管理システムに対して報告する、という目的で使用される情報処理装置を例に説明する。しかしながら、本実施形態でいう「報告」は、作業者が管理システムを扱う他者に情報を「通知」する場合に限らず、後に作業者自身が報告された内容を見直すこと等を可能とするために「記録」する場合を含む。

図１（ｂ）は、本実施形態における報告装置１０２として機能する情報処理装置のハードウェア構成を示す図である。ＣＰＵ２０１は、装置全体を統括的に制御する中央演算装置である。ＣＰＵ２０１が制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより、本実施形態の動作を実現する。ＲＡＭ２０２は、汎用的なＲＡＭであり、ＣＰＵ２０１の主メモリとして、若しくは、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ＲＯＭ２０３は、汎用的なＲＯＭであり、例えば、本実施形態の動作を実現するための手順を規定するプログラムを記憶する。ＲＯＭ２０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフトウェア（ＯＳ）等を記憶したプログラムＲＯＭと、システムを稼動するために必要な情報などが記憶されたデータＲＯＭが含まれる。また、ＲＯＭ２０３の代わりに、ＳＳＤ２０９が用いられても良い。

ネットワークＩＦ２０４は、ネットワークインタフェースであり、ＬＡＮ等のネットワークを介して送受信されるカメラの制御コマンドや画像データなどのデータの入出力制御を行う。ネットワークＩＦ２０４は、有線や無線等、ネットワークの媒体に応じた構成を有する。ＶＲＡＭ２０５は、ビデオＲＡＭであり、表示装置であるディスプレイ２０６の画面に表示される画像を展開する。ディスプレイ２０６は、表示装置であり、例えば、液晶ディスプレイである。入力コントローラ２０７は、入力装置２０８からの入力信号を制御するコントローラである。入力装置２０８は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、タッチパネル、キーボード、などである。ＳＳＤ２０９は、ソリッドステートドライブである。ＳＳＤ２０９は、アプリケーションプログラムや、動画データや画像データなどのデータ保存用に用いられる。入力ＩＦ２１０は、メモリカードドライブ等の外部装置と接続するためのインタフェースであり、例えば、デジタルカメラで撮影した画像データの読出しなどに用いられる。入出力バス２１１は、上述した各ユニット間を相互に通信可能に接続するための入出力バスであり、例えばアドレスバス、データバス、制御バスを含む。

図１（ｃ）は、本実施形態に係る報告装置１０２として機能する情報処理装置の機能構成の例を示すものである。これらの各機能部は、ＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムをＲＡＭ２０２に展開し、後述する各フローチャートに従った処理を実行することで実現されている。そして、各処理の実行結果をＲＡＭ２０２に保持する。また例えば、ＣＰＵ２０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

撮影制御部３０１は、車両に設置されたカメラを制御し、走行中に１秒ごとなど所定の間隔で時系列に複数の画像を撮影させる。そして、本実施形態では、撮影された画像をＳＳＤ２０９に記憶させるとともに、撮影した時刻、位置の情報と関連付けて管理する管理部としても機能する。本実施形態の場合、時系列に撮影された複数の画像のそれぞれに、撮影した時刻、位置の情報と関連付けて記録するテーブルを保持する。図２（ａ）は、撮影制御部３０１により、撮影した画像に関する情報が記録されるテーブルの一例である。画像情報テーブル４０１は、ＩＤ、画像ファイル、時刻、位置の情報で構成される。ＩＤとしては、撮影された画像を一意に特定する識別情報が格納され、本実施形態では撮影順に対応する番号が記録される。時刻と位置は、それぞれ撮影制御部３０１が画像を撮影した時刻とそのときのカメラ位置の情報である。位置には、カメラ１０１あるいは報告装置１０２、車両そのものに設置されたＧＰＳセンサなどにより取得した緯度と経度の情報が記録される。ただし、報告装置１０２あるいは車両に設置されたＧＰＳセンサによって得られる位置情報が、カメラ１０１に撮影される対象（被写体）の実際の位置と大きくかい離する場合には、差分を変換する処理を加えた結果を格納してもよい。なお、ここで自動撮影が行われる「走行中」は、圃場の広さ、その日の作業内容、記憶装置の容量などの都合に合わせてその定義を決定すればよい。例えば、「走行中」を車両が移動をしている間としてもよく、また、移動していない時間あるいはエンジンが停止されている時間をも含めて所定の作業の開始から終了までの間とすることもできる。本実施形態では、作業の都合で車両が移動していない時間も含めて、報告装置１０２に所定の作業の開始を示す入力がなされてから終了を示す入力がなされるまでの間とする。

報告指示部３０２は、ユーザによる指示に応じて、報告内容と、その時の位置また時刻を含む報告情報を生成し記録する。本実施形態では、車両に設置された報告装置１０２であるタブレット端末に、図５（ａ）の表示状態９０１に示すような報告内容を指定するアイテム（ここではボタンを表現する画像９０２〜９０４）が表示される。報告指示部３０２は、報告すべき内容に応じたアイテムを選択（ここでは押下）することにより、ユーザは、指示を入力する。報告指示部３０２では、選択されたアイテムに対応する報告内容と報告した位置または時刻を含む報告指示を生成して記録する。報告内容とは、撮影する対象（撮影対象）に対応する情報である。本実施形態の場合は、圃場での作業中に、作業者であるユーザが、発見した事象を報告する目的で、その事象を記録するための対象物を撮影する。従って、報告内容は、画像を撮影する目的（撮影目的）に対応するといってもよい。

本実施形態では、図５（ａ）の状態９０１に示すように、報告内容の選択肢として「設備不良」、「雑草」、「病気」の３つのボタンアイコンが画面に表示される。各アイテムは、設備不良、雑草の発生、農作物の病気の発生、を報告するために押下される。図２（ｂ）は、報告指示部３０２によって記録される情報の一例であるテーブルを表す。指示情報テーブル５０１は、ＩＤ、報告内容、時刻、位置の情報で構成される。報告内容は図５（ａ）で示すタブレット端末を用いてユーザが指定した報告内容であり、本実施形態では「設備不良」、「雑草」、「病気」のいずれかが格納される。時刻と位置は、報告内容をユーザが指定した時刻と位置の情報である。位置は、撮影制御部３０１により画像情報テーブル４０１に格納される位置情報と対応する。本実施形態では、報告装置１０２に入力装置２０８の一部として搭載されるＧＰＳセンサで検知された位置情報とするが、カメラ１０１に搭載されるＧＰＳセンサを利用してもよい。撮影制御部３０１とは別のＧＰＳセンサを使って位置情報が検出される場合は、差を変換する処理を加えるなどしてもよい。

候補画像群取得部３０４は、時系列に撮影された複数の画像から、ユーザに指定された報告内容に対応する画像を選択する。本実施形態では、まず、画像情報テーブル４０１に格納された情報に基づいて、複数の画像から報告指示が記録された位置または時刻の近い画像を、候補画像群として選択する。報告画像取得部３０３は、候補画像群取得部３０４によって選択された候補画像群の各画像に対して一般物体検出技術を用いて画像に写る所定の物体を検出する処理を行う。そして、所定の物体が検出された位置により、候補画像群の中で指定された報告内容に最も適した画像を報告画像として選択する。例えば、候補画像群の中に所定の物体が写る画像が１つしかなければ、その画像が最も報告に適しているとして選ばれる。物体が複数の画像から検出されれば、物体の位置がより中央である画像が選択される。ここで所定の物体とは、報告内容に応じて予め定義された複数種類の対象物である。ここで図２（ｃ）は、画像を選択するためのパラメータを管理するテーブルの一例である。パラメータ管理テーブル６０１は、ＩＤ、報告内容、対象物で構成される。対象物は、報告内容に対応する撮影対象として定義されている物体の情報である。本実施形態では、報告画像取得部３０３はパラメータ管理テーブル６０１を参照することで、指定された報告内容に対応する所定の物体を特定し、所定の記憶部から検出処理に用いるモデルを取得する。

なお、候補画像群取得部３０４を用いず、報告画像取得部３０３が、位置または時刻の近いものを優先して物体を検出し、報告内容に最適な画像を検索して報告画像を選択してもよい。また、報告画像取得部３０３による物体検出処理は、必ずしも報告装置１０２の内部で行われなくてもよい。すなわち、報告画像取得部３０３は、ネットワーク１０３を介してクラウド等に候補画像群のアドレスと検出処理の実行指示を送信し、クラウドが行った物体検出処理の結果として選択された報告画像を取得する機能部に置き換えることもできる。その場合、報告装置１０２が十分なリソースを有さない場合にも本実施形態による報告処理をスムーズに行うことができる。

表示制御部３０５は、ディスプレイ２０６に、各種画像やユーザインタフェースを表示させるための制御を行う。本実施形態では、所定のアプリケーションが起動された場合に、図５（ａ）の表示状態９０１に示すユーザインタフェース画面が表示される。なお図５（ａ）では紙面の都合上、選択肢として表示されるアイテムは全て白いボタンとしているが、ボタンの色をそれぞれ異ならせることができる。このように必要最低限の文字情報のみを表示し、さらには、識別しやすいように配色することで、農作業を行っている最中のユーザにも一見して理解することができ、速やかな操作が可能となる。なお、表示状態９０１のインタフェースには、ボタンだけでなくカメラが捉えている画像を表示できるようにしてもよい。その場合、作業者はさらにレンズに付着した汚れなどに気づくことができる。

また、表示制御部３０５は、報告画像取得部３０３によって選択された画像をユーザに提示するため、ディスプレイ２０６に表示させる。例えば、図５（ｃ）の表示状態１００１は、設備不良を発見したことを報告するために撮影された折れ曲がった杭１００３の画像１００２を、表示制御部３０５により表示したタブレット端末の画面を表す一例である。また、報告画像取得部３０３においては、物体を誤検出する可能性はゼロではないため、表示制御部３０５は、候補画像群のうちの他の画像１００４を、小さく表示するなど報告画像と見た目を変えて表示してもよい。ユーザは、画像１００４を確認することで、対象物（ここでは折れ曲がった杭）の他の候補画像を確認できるようにしてもよい。また、報告画像に枠をつけるなど報告画像の見た目を変えて、候補画像群と区別できるよう表示してもよい。

図３は、報告装置１０２によって実行される報告指示に応じた処理の一例を表すフローチャートである。以下、各工程（ステップ）は、それら符号の先頭にはＳを付与して説明することとする。本実施形態では、報告装置１０２であるタブレット端末において、所定のアプリケーションが起動され「作業開始」を示す操作が入力されたのに応じて、Ｓ７０１の処理が開始される。Ｓ７０１〜Ｓ７０４は、撮影制御部３０１が、カメラ１０１を制御し所定の間隔で撮影を繰り返させる処理である。Ｓ７０１は、最後に撮影した時刻から１秒など所定の時間が経過したかどうかを判定する。所定の時間が経過していない場合は、Ｓ７０５に処理を進める。所定の時間が経過している場合は、Ｓ７０２では車両に設置したカメラで画像を撮影する。Ｓ７０３は現在の時刻と位置の情報を取得し、Ｓ７０４では、撮影した画像ファイル、時刻、位置の情報を画像情報テーブル４０１に記録する。

Ｓ７０５〜Ｓ７０７は、撮影時に報告指示部３０２が、ユーザによる報告指示を受け付ける処理である。Ｓ７０５は、ユーザが車両に設置したタブレット端末により報告内容を指定したかどうかを判定する。すなわち、表示されたボタンアイコンを押下し、アイテムを選択する操作が入力されたかを判定する。報告内容が指定されていない場合は、Ｓ７０８に処理を進める。指定された場合は、Ｓ７０６は現在の時刻と位置の情報を取得し、Ｓ７０７では、報告内容、時刻、位置の情報を指示情報テーブル５０１に記録する。

Ｓ７０８では、農作業が終了したかどうかを判定し、農作業が終了するまでＳ７０１〜Ｓ７０７の処理を繰り返す。本実施形態では、農作業の終了は、アプリケーションにおいて「作業終了」を示す操作が入力された判定する。ただし、作業の開始及び終了は、例えば車両のエンジンの起動状態や、車両の現在位置があらかじめ記録された圃場の範囲の境界を越えて内外へ移動したことの検出結果によって判定してもよい。

図４は、報告装置１０２によって実行される指示に応じた画像を表示する処理の一例を表すフローチャートである。本実施形態では、報告装置１０２であるタブレット端末において、所定のアプリケーションが起動され、ユーザによって報告画像を確認するための操作が入力されたのに応じて、Ｓ８０１の処理が開始される。Ｓ８０１では、候補画像群取得部３０４が、対象となる報告指示のＩＤを示す変数ｉを１に初期化する。Ｓ８０２では、指示情報テーブル５０１からＩＤがｉの報告指示を取得する。Ｓ８０３では、候補画像群取得部３０４が、撮影後に報告指示をした場合も考慮して取得した報告指示の時刻を超えず最も近い時刻を持つ画像のＩＤを画像情報テーブル４０１から検索する。検索対象は、車両が複数同時に用いられる場合にも対応できるよう、報告指示の位置から所定の範囲内のみを対象とする。なお、複数車両に対応しない場合は、時刻または位置の何れかを用いて検索してもよい。

Ｓ８０４では、候補画像群取得部３０４が、検索された画像のＩＤから２つ後のＩＤまでの計３枚の画像を候補画像群として選択する。例えば、報告指示のＩＤが１の場合、画像情報テーブル４０１からＩＤが４の画像が検索され、ＩＤ４〜６の計３枚の画像が候補画像群として選択されるとする。ここで、候補画像群として複数の画像を取得するのは、ユーザが撮影を指示したタイミングが、必ずしもカメラ１０１の画角に所定の対象物が収まっているタイミングに一致するとは限らないためである。また特に、本実施形態では、ユーザが撮影を指示したタイミングよりも後に撮影された画像を候補に加える。一般的な傾向として、ユーザは車両の座席（車両の構造においてもっとも先頭に当たる部分）にいるが、カメラ１０１が設置される位置は、できる限り農作物に近づけるために車両の横であることが多い。この場合、作業者が、圃場で発生した事象に気が付いて撮影を指示した時、カメラ１０１の画角はユーザの視野より後方を捉えている可能性が高い。従って、カメラ１０１に、発見された事象に係る対象物が撮影されるのは、ユーザが撮影を指示したタイミングよりも後となる。そこで本実施形態ではＳ８０３で検索された画像から２つ後に撮影された画像までを候補画像群とする。ただし、候補画像を定める基準はこれに限らない。ユーザの乗車位置と、カメラ１０１の設置位置の実際の関係に基づき、候補画像群に加える画像の定義を設定することができる。

Ｓ８０５では、報告画像取得部３０３が、候補画像群の各画像からＦａｓｔｅｒ Ｒ−ＣＮＮなどの一般物体検出技術を用いて画像に写る物体の名前と位置を検出する。Ｓ８０６では、報告画像取得部３０３が、パラメータ管理テーブル６０１から、Ｓ８０２で取得した報告指示の報告内容に対応する対象物を取得し、対象物が最も中央で検出された画像を報告画像として選択する。何れの画像からも対象物が検出されない場合は、Ｓ８０３で検索された画像を報告画像としてもよい。

Ｓ８０７では、表示制御部３０５が、報告指示の情報と報告画像をディスプレイ２０６に表示させる。なお、対象物を中心に報告画像から特定の領域を切り出した画像を表示させてもよい。Ｓ８０８では、候補画像群取得部３０４が、ＩＤがｉの報告指示が最後かどうかを判定し、最後でない場合はＳ８０９でｉに１を足して次に進め、Ｓ８０２〜Ｓ８０７の処理を繰り返す。

以上説明したように本実施形態によれば、車両に設置されたカメラにより所定の間隔で撮影した複数の画像から、ユーザが任意のタイミングで指定した目的に合った画像を、撮影時刻・位置・被写体に基づいて取得する。本実施形態では、ユーザが指定する目的とは、農作物の圃場において発見された事象、特にはトラブルを報告することである。複数の画像から、報告される事象毎に定義された対象物が検出される画像を取得することで、ユーザが大量の画像の中から所望とする画像を探す手間を省くことができる。さらに本実施形態では、対象物が検出された画像内での位置を解析することで、車両に固定されたカメラの位置や画角を微調整することが困難な場合でも、報告内容により適した構図の画像を特定することができる。

なお、本実施形態では、撮影された画像の情報を、図２（ａ）の画像情報テーブル４０１に記録して管理したが、テーブルではなく撮影した画像のＥＸＩＦ情報に記録してもよい。この場合、候補画像群の取得は、各画像のＥＸＩＦ情報を解析することによって行われる。さらに、本実施形態では、車両の走行中に随時撮影された複数の画像はＳＳＤ２０９に蓄積されるものとしたが、撮影後の一定時間または一定距離以上報告指が無かった場合は、それらの画像が報告に用いられる可能性は低下する。従って、撮影後の経過時間に基づいて、蓄積されている画像を削除するようにしてもよい。

＜変形例＞
次に、変形例として、作業者によって候補画像群が指定される形態を説明する。第１の実施形態では、表示されたアイテムを選択する指示が入力された場合（Ｓ７０５でＹｅｓ）、記録される位置情報および時間情報は、選択指示があったその時刻の情報のみであった。そして候補画像群取得部３０４は、選択指示があった時刻および位置の情報に基づいて候補画像を特定するため、時刻および位置に幅を持たせて複数の画像を検索した（Ｓ８０３）。変形例では、選択指示を起点として、時間あるいは位置により定義される一定の期間に撮影される画像群が、候補画像群となることを、ユーザ自身が指定可能とする。

車両上の作業者の視野と、車両に設置された撮像装置の画角は必ずしも一致していない。特にユーザである作業者は多くの場合、車両の進行方向を見ている。一方で撮像装置は、撮影対象物が車の進行方向上に存在することは少ないため、進行方向よりも車両の左右方向を主とする方向に向けて設置される傾向にある。従って、作業者が、車両の進行方向に向けた視野の中で何らかの事象の発生に気づくタイミングは、撮像装置がその事象に対応する対象を画角に収めるのと同時かあるいはそれより早い可能性が高い。また作業者は、車両の走行スピード等を制御できる立場にあるため、目視で発見した対象が、撮像装置の画角に入って撮影されるのにかかる時間を把握できる場合がある。従って変形例では、図５（ｂ）の表示状態９１１において、アイテム９０２〜９０４のそれぞれの横に、時間あるいは位置により、アイテムを選択する指示があった時の時刻あるいは位置を起点にした一定の範囲を定義するための入力部９１２を設ける。具体的には、数値を入力可能なテキストボックスを配置し、時間であれば秒単位、位置であればメートル単位での通知の入力を受付ける。例えば、「１０（ｓ）」という設定がなされていれば、選択指示があった時刻を起点にした１０秒間で撮影される画像群が、候補画像群として特定される。そして、Ｓ８０５において候補画像取得部３０３による物体検出処理の対象となる。なお、単位を秒（ｓ）とするかメートル（ｍ）とするかをプルダウンなどで切り替え可能としてもよい。

変形例において、ユーザにより指定された候補画像群の取得は、図４のフローチャートにおけるＳ８０３〜Ｓ８０４の処理に置き換えてもよいが、それらと並列または直列に実行されてもよい。両方の処理を行う場合、Ｓ８０３において画像を検索するため基準となる時間と位置は、ユーザが設定した範囲の境界より外側を含むようにする。この場合には、ユーザが設定した範囲では撮影しきれなかった画像も、報告画像の候補として扱うことができ、ユーザの感覚と実際の撮影状況にずれがあったとしてもそれを補うことができる。

＜第２の実施形態＞
第１の実施形態では、車両１台に設置されるカメラが１台である場合を説明した。それに対し、第２の実施形態では、車両１台に上下左右計４台のカメラを設置して、より広範囲を撮影できるシステムの例を示す。以下、第１の実施形態と共通する要素については適宜説明を省略し、第１の実施形態と差異がある点を中心に説明する。

図６は、第２の実施形態に係るシステム構成を表す。図１（ａ）とは、カメラ１０１が、上下左右４台のカメラ１１０１〜１１０４に置き換わり、それぞれが報告装置１０２と接続するように設定されている点が異なる。報告装置１０２として機能する情報処理装置のハードウェア構成および機能構成は第１の実施形態に準じる。ただし、第２の実施形態において、撮影制御部３０１は、上下左右４台のカメラのそれぞれに関連付けて、図２（ａ）のテーブル４０１に相当する画像情報テーブルを管理する。

また、本実施形態において、表示制御部３０５がディスプレイ２０６に表示するユーザインタフェースは、図５（ａ）に替って図１０の表示状態１６０１のように、同じ対象に対応する２つのアイテムを左右に並べて表示した画面となる。このようなユーザインタフェースにより、ユーザは左右どちら側に対して報告するかが指定可能となる。本実施形態では、車両の左右に独立した撮像装置を設置されているため、車両が圃場内の通路を一度走行する間に、通路の両側が同時に撮影される。ユーザ（作業者）は、車両に乗った状態で、右側で報告すべき事象の発生に気が付いた場合と、左側で報告すべき事象の発生に気が付いた場合とで、表示状態１６０１に表示された複数のボタンの左右列を使い分ける。ボタンの配置と、車両の左右を対応させることで、作業中であっても直観的に操作することができる。なお、ここでは一例として左右の２つの撮影方向に対応して、２列のボタンアイコンを表示するが、さらに多くの方向に対応することも可能である。例えば、車両の左右にそれぞれ前後方向を捉える撮像装置を更に設け、報告装置１０２では、同じ報告指示に対応するボタンアイコンを各撮影方向に対応させた４か所の表示領域にそれぞれに表示する。このように、複数の撮影方向に対応させた複数の表示領域を配置し、各表示領域に複数のアイテムのセットを表示させることで、ユーザは農作業中であっても直感的に操作することができる。

また、図７（ａ）の指示情報テーブル１２０１は、図２（ｂ）のテーブル５０１に対応するもので、報告指示部３０２によって記録される情報の例を表す。指示情報テーブル１２０１では、指示情報テーブル５０１の項目であったＩＤ、報告内容、時刻、位置に加えて、車両の左右どちら側で発生した事象を報告するのか、左右方向の情報を示す情報が記録される。さらに、図７（ｂ）のパラメータ管理テーブル１３０１は、図２（ｃ）で示したテーブル６０１に対応するもので、報告内容に応じて上下いずれの撮影画像を用いるべきか、上下方向の情報を追加したものである。ここで上下のカメラを選択的に用いるのは、例えば雑草は地面を中心に、農作物の病気は葉や果実を中心に据えた構図が対象物を最も確認しやすいように、より好適な構図の画像を撮影しやすくするためである。

図８は、報告装置１０２によって実行される報告指示に応じた処理の一例を表すフローチャートである。第１の実施形態で説明した図３のフローチャートと共通するステップには同じ番号を付して詳細な説明は省略する。本実施形態では、Ｓ７０１で所定時間が経過したと判定された場合、Ｓ１４０１において、撮影制御部３０１が、車両に設置した上下左右４台のカメラを制御し撮影を実行させる。Ｓ１４０２では、予め各方向のカメラごとに用意した４つのカメラのそれぞれに対応する画像情報テーブルに、撮影した画像ファイル、時刻、位置の情報を記録する。Ｓ１４０３では、報告指示部３０２が、報告内容、時刻、位置に加えて左右どちら側の問題として報告されたのかタブレット端末で指定された方向の情報を指示情報テーブル１２０１に記録する。

図９は、報告装置１０２によって実行される指示に応じた画像を表示する処理の一例を表すフローチャートである。本実施形態でも、第１の実施形態で説明した図４のフローチャートと共通するステップＳ８０２でＩＤがｉの報告指示（テーブル１２０１の１レコード）を取得する。そしてＳ１５０１において、候補画像群取得部３０４が、候補画像群取得部３０４が取得された報告指示から報告内容に対応する上下方向を取得する。Ｓ１５０２では、４つの撮影画像管理テーブルのうち報告指示に含まれる左右方向の情報と、報告内容に対して予め定義された上下方向の情報によってカメラを特定し、カメラに対応づけられた画像情報テーブルを処理対象に設定する。以降は、設定された処理対象の画像情報テーブルに対して、図４と同様の処理が行われる。

以上説明したように本実施形態によれば、複数の方向に設置した複数台のカメラで撮影した画像から、報告指示に基づいて対象となる方向を決定することで、より広範囲に撮影した画像の中から最適な画像を選択して報告に用いることができる。

また、本実施形態によれば、車両に複数の方向に向けて設置された複数台のカメラにより所定の間隔で撮影した複数の画像から、ユーザが任意のタイミングで指定した目的に合った画像を取得することができる。取得された画像は、複数台のカメラを利用することで、カメラが１台の場合に比べて一度の走行で広範囲を撮影することが可能になるので、撮影対象を撮り逃しの可能性は低減する。また、それぞれのカメラを地面や木の枝などの撮影対象が存在する複数の方向に向けて設置できるので、対象物がより適切な構図で写る画像を取得しやすくなる効果がある。

＜その他の実施形態＞
なお、上述した各処理部のうち、報告画像取得部３０３、候補画像群取得部３０４等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習データとなる入力データは車両に設置されたカメラにより時系列に撮影された複数の画像であって、出力データはそれらから抽出された候補画像群、あるいは作業者により選択された報告用画像である。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 撮影制御部
３０２ 報告指示部
３０３ 報告画像取得部
３０４ 候補画像群取得部
３０５ 表示制御部

Claims (20)

1. 移動体に設置された撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理する管理手段と、
   予め定義された複数種類の対象に対応する複数のアイテムを表示装置に表示させる表示制御手段と、
   表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記複数の画像のうち前記選択されたアイテムに対応する対象が写る画像を取得する画像取得手段、
   とを備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記取得手段によって取得された画像を前記表示装置に表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、前記管理手段によって管理されている、それぞれの画像が撮影された位置およびに関する情報に基づいて、前記複数の画像のうち、前記指示が入力された時の前記移動体または前記撮像装置の位置に近い位置で撮影され、かつ、前記指示が入力された時間に近い時間に撮影された画像群から、前記選択されたアイテムに対応する対象が写る画像を取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段は、前記画像群のそれぞれの画像から前記選択されたアイテムに対応する対象を検出する処理を行った結果、前記選択されたアイテムに対応する対象が検出された画像内の位置に基づいて、前記画像を取得することを特徴とする請求項３に記載の情報処理装置。
5. 前記取得手段は、前記画像群のうち、前記選択されたアイテムに対応する対象が検出された位置が画像の中心に最も近い画像を取得することを特徴とする請求項４に記載の情報処理装置。
6. 前記取得手段は、前記画像群のそれぞれの画像から前記選択されたアイテムに対応する対象が検出されない場合、前記画像群のそれぞれの画像が撮影された位置および時間のいずれかに関する情報に基づいて前記画像群のうちすくなくとも１つの画像を取得することを特徴とする請求項４または５に記載の情報処理装置。
7. 前記表示制御手段は、前記画像群に含まれる画像を、前記取得手段によって取得された画像とともに前記表示装置に表示させることを特徴とする請求項３乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記画像群に含まれる画像のうち前記取得手段によって取得された画像ではない画像の見た目を、前記取得手段によって取得された画像と異ならせることを特徴とする請求項７に記載の情報処理装置。
9. 前記画像群に含まれる画像のうち前記取得手段によって取得された画像ではない画像の見た目を、前記取得手段によって取得された画像と異ならせることを特徴とする請求項７に記載の情報処理装置。
10. 前記表示制御手段によって表示される前記複数のアイテムとは、ユーザインタフェースを構成する複数のボタンを表現する画像であって、
    前記複数のボタンはそれぞれ異なる色で表示されることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記表示制御手段によって表示される前記複数のアイテムは、前記複数種類の対象のうち同じ対象に対応する２つのアイテムが左右に並べて表示されるものであって、
    前記取得手段は、前記移動体の左右に独立して設置された複数の撮像装置のうち、前記指示において前記複数の左右のいずれのアイテムが選択されたかに応じた１以上の撮像装置によって時系列に撮影された画像から、前記選択されたアイテムに対応する対象が写る画像を取得することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記複数の撮像装置は、前記移動体の上下左右の少なくとも４方向に向けて設置されることを特徴とする請求項１１に記載の情報処理装置。
13. 複数の撮影方向に向く状態で移動体に設置された複数の撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理する管理手段と、
    表示装置に表示される画像において、前記複数の撮影方向のそれぞれに対応する位置に、予め定義された複数種類の対象に対応する複数のアイテムのセットを表示させる表示制御手段と、
    表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報と、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記選択されたアイテムの位置に対応する撮影方向に向く撮像装置により撮影された複数の画像のうち前記選択されたアイテムに対応する１以上の画像を取得する画像取得手段、
    とを備えることを特徴とする情報処理装置。
14. 前記複数の撮像装置は、前記移動体の左右の少なくとも２方向に向けて設置されることを特徴とする請求項１３に記載の情報処理装置。
15. 前記移動体とは、農作業に用いられる車両であって、前記予め定義された複数種類の対象には、少なくとも農作物が栽培される圃場における設備不良、雑草の発生、農作物の病気の発生のいずれかを記録するために撮影される対象を含むことを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 情報処理装置の制御方法であって、
    管理手段により、移動体に設置された撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理する工程と、
    表示制御手段により、予め定義された複数種類の対象に対応する複数のアイテムを表示装置に表示させる工程と、
    画像取得手段により、表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記複数の画像のうち前記選択されたアイテムに対応する対象が写る画像を取得する工程、
    とを有することを特徴とする情報処理装置の制御方法。
17. 情報処理装置の制御方法であって、
    管理手段により、複数の撮影方向に向く状態で移動体に設置された複数の撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理する工程、
    表示制御手段により、表示装置に表示される画像において、前記複数の撮影方向のそれぞれに対応する位置に、予め定義された複数種類の対象に対応する複数のアイテムのセットを表示させる工程と、
    画像取得手段により、表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報と、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記選択されたアイテムの位置に対応する撮影方向に向く撮像装置により撮影された複数の画像のうち前記選択されたアイテムに対応する１以上の画像を取得する工程、
    とを有することを特徴とする情報処理装置の制御方法。
18. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置として機能させるプログラム。
19. 請求項１８に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
20. 移動体に設置された撮像装置により時系列に撮影された複数の画像のそれぞれに、該画像が撮影された位置および時間に関する情報を関連付けて管理する管理手段と、
    予め定義された複数種類の対象に対応する複数のアイテムを表示装置に表示させる表示制御手段と、
    表示された前記複数のアイテムのいずれかを選択することによる指示が入力された時の前記移動体または前記撮像装置の位置に関する情報、前記指示が入力された時間に関する情報、および前記選択されたアイテムとに基づいて、前記複数の画像のうち前記選択されたアイテムに対応する対象が写る画像を取得する画像取得手段、
    とを備えることを特徴とする情報処理システム。

Images