JP2022059858A - 撮影制御装置、撮影システム、撮影制御方法およびプログラム - Google Patents

Abstract

【課題】 本発明は、移動体に設置された撮影装置による撮影を移動速度に応じて適切に制御することを目的とする。【解決手段】 移動体に設置された撮影装置の撮影を制御する撮影制御装置であって、前記撮影装置が撮影を行うタイミングを規定するための撮影条件と前記移動体の移動速度を移動速度とに基づいて、前記撮影装置の撮影タイミングを制御する。【選択図】 図２

Description

本発明は、撮影制御に関する。

近年、農業分野において、病気の発生、設備不良など、圃場の状況を把握するために、現場をカメラで撮影し、画像を用いて育成状況を記録する方法が考えられている。

他方、特許文献１には、撮影対象を漏れなく撮影するため、撮影装置を搭載した自律移動体が、予め記憶された撮影位置まで自律的に移動し、撮影を行う方法が記載されている。

特開２０１６－５８７６７号公報

しかしながら、例えば、農業分野においては、広大な圃場の果樹等の撮影対象を撮影するための撮影位置を予め設定することは多大な労力となり、現実的ではなかった。

また、例えば、農作業中の移動手段として使用する作業車などの移動体に撮影装置を設置して、移動しながら撮影を行うことも考えらえる。しかしながら、このような作業車は、必ずしも一定の速度で移動しているとは限らない。このような作業者に設置した撮影装置において、単に定期的な時間間隔で撮影する方法により撮影を行うと、作業車の速度が速い場合は、撮影に漏れが発生したり、作業車が停止することで、同じ果樹を複数回撮影したりすることが発生し得る。

したがって、広大な圃場圃場の状況を把握するため、画像を用いて育成状況を記録するに際して、その撮影漏れを少なく、効率化するための技術については改善の余地がある。

本発明は、上述の課題に鑑みてなされた発明であり、移動体に設置された撮影装置による撮影を移動速度に応じて適切に制御することを目的とする。

上記目的を達成するための一手段として、本発明の撮影制御装置は以下の構成を備える。

即ち、
移動体に設置された撮影装置の撮影を制御する撮影制御装置であって、
前記撮影装置が撮影を行うタイミングを規定するための撮影条件を取得する第１の取得手段と、
前記移動体の移動速度を取得する第２の取得手段と、
前記撮影条件と前記移動速度とに基づいて、前記撮影装置の撮影タイミングを制御する制御手段と、
を有することを特徴とする。

本発明によれば、移動体に設置された撮影装置による撮影を移動速度に応じて適切に制御することができる。

撮影制御装置のハードウェアの構成の一例を表す図である。 撮影制御装置の機能構成の一例を表す図である。 撮影制御装置の処理の流れを表すフローチャートである。 撮影制御装置において表示される表示画面の一例を表す図である。 撮影制御装置で処理されるデータの一例を表す図である。 撮影制御装置で処理されるデータの他の例を表す図である。 撮影制御装置において表示される表示画面の他の例を表す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態では、ワイン用ぶどうを栽培する圃場において、ワイン用ぶどうの育成状況を記録する態様を例にして説明を行う。一般的に、ワイン用ぶどうは、果樹を一列の垣根となるように植え付け、それが何列も連なるようにして栽培される。本実施形態では、農作業中に使用するトラクターにカメラを設置した撮影システムにより、農作業における移動と並行して自動的に撮影を行うことでワイン用ぶどうの育成状況の記録を効率化する形態を説明する。

本実施形態に係る撮影システムは、ワイン用ぶどうの果樹による垣根の間をトラクターで網羅的に走行しながら撮影を行うための撮影制御を行う。しかしながら、農作業中の移動手段として使用するトラクターは、速度がしばしば変化する。また、農作業員がトラクターから降りて果樹への作業を行う場合は、トラクターは停車することもある。つまり、単に定期的な時間間隔で撮影する方法により撮影を行うと、トラクターの速度が速い場合は、撮影に漏れが発生したり、トラクターは停車することで、同じ果樹を複数回撮影したりすることが発生し得る。他方、利用者が手動により撮影指示を行うとすると、煩雑な操作を利用者に強いることとなる。このように、単に、移動体に設置したカメラで撮影を行うだけでは、ワイン用ぶどうの育成状況の記録として必ずしも適した撮影にならない恐れがあった。

そこで、本実施形態では、トラクターの移動速度に応じて効率的で漏れのない撮影を行うための撮影制御を行う撮影システムの例を説明する。

＜システムの構成＞
図１（ａ）は、本実施形態に係る撮影制御方法を実施する撮影システムの構成例を示す図である。図１（ａ）は、真上から撮影システムを見た図である。図１において、システムは、撮影制御装置１０、撮影装置２０および２１、移動体３０を備える。

撮影制御装置１０は、撮影装置２０および２１の撮影を制御する。撮影制御装置１０は、例えば、利用者が持ち運んで操作可能なスマートフォンやタブレットＰＣである。撮影装置２０および２１は、それぞれ移動体３０の進行方向（図１（ａ）の矢印方向）に対して、光軸が左右にほぼ垂直となるように設置されたカメラである。このように、移動体３０に撮影装置２０および２１を設置することで、果樹を一列の垣根として植え付けたワイン用ぶどうの圃場において、垣根の間を一度走行することで両サイドの垣根の果樹を撮影することができる。なお、移動体３０に設置する撮影装置は、１つまたは３つ以上であってもよい。また、撮影制御装置１０を撮影装置２０および２１と別個の装置として説明を行うが、撮影装置２０および２１と撮影制御装置１０とが一体の装置として構成してもよい。

移動体３０は、例えば、トラクターや収穫機など農作業車である。なお、移動体３０をトラクターや収穫機など農作業車であるとして説明を行うが、これに限らず、乗用車、トラック、２輪車、ドローンなどの飛行体等の他の移動体であってもよい。

図１に示した撮影システムの構成要素間（例えば、撮影制御装置１０と撮影装置２０および２１）は、例えば、インターネット、携帯電話網等の公衆無線通信網の公知の通信技術により双方向に通信可能に接続される。構成要素間の通信接続は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、近距離無線通信等の通信接続であってもよい。撮影制御装置１０は、撮影を制御するための情報を撮影装置２０および２１に送信する。撮影装置２０および２１は、撮影制御装置１０から受信した情報に従って撮影を制御する。

本実施形態においては、利用者が農作業車である移動体３０に１以上のカメラ（撮影装置２０および２１）と撮影制御装置１０を設置し、農作業の移動手段としてトラクターを使用する時に圃場の果樹を網羅的に撮影するように制御する形態を説明する。なお、利用者が移動体３０を操作してその運転を制御する例を説明するが、利用者が移動体３０を遠隔操作したり、移動体３０が自律運転したりする形態であってもよい。

＜ハードウェア構成＞
図１（ｂ）は、本実施形態に係る撮影制御装置１０のハードウェア構成である。ＣＰＵ１０１は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。この撮影制御装置１０には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。なお、撮影制御装置１０に接続された外部記憶装置などからＲＡＭ１０２にプログラムをロードすることで、プログラムメモリを実現しても構わない。通信インタフェース（Ｉ／Ｆ）１０４は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。ネットワークを介して送受信される撮影装置２０および２１の制御コマンドや画像データなどのデータの入出力制御を行うことができる。他の装置との通信には、直接の通信以外に、中継装置を介した間接的な通信も含まれる。

表示デバイス１０５は、例えばＣＲＴディスプレイや、液晶ディスプレイ等であって、表示画面に画像を出力するデバイスである。表示デバイス１０５は、撮影制御装置１０と有線あるいは無線で接続された外部デバイスでも構わない。入力デバイス１０６は、例えばタッチパネルやキーボードやマウス等の入力デバイスを介して、撮影制御装置１０に入力される利用者の操作情報を取り込むためのデバイスである。また、撮影制御装置１０は、加速度センサやＧＰＳなどの各種センサデバイスを備え、入力デバイス１０６は、それらの検知結果を取得することもできる。ＨＤＤ１０７は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。

また、撮影装置２０および２１は撮影制御装置１０に接続する撮影装置である。撮影装置２０および２１は、通信インタフェース（Ｉ／Ｆ）１０４を介した撮影制御装置１０からの制御コマンドを受け付け、制御コマンドに従った撮影処理を行う。撮影装置２０および２１は、撮影制御装置１０に撮影結果を送信する。なお、撮影制御装置１０に対して撮影装置は３つ以上の複数台接続されていてもよい。

＜機能構成＞
図２は、本実施形態に係る撮影制御装置１０のソフトウェアの機能構成を示すブロック図の一例である。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２に展開し、実行することで情報の演算並びに加工および各ハードウェアを制御する実現されている。また例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。

取得部２０１は、入力デバイス１０６を介してデータを取得する。本実施形態において、取得するデータは、撮影条件や移動速度などである。算出部２０２は、取得部２０１より取得したデータをもとに撮影情報を導出する。本実施形態では、算出部２０２は、撮影情報として、撮影条件や移動速度に基づいて、撮影タイミングを規定するための撮影時間（撮影間隔）を導出する。

制御部２０３は、算出部２０２より算出した撮影情報をもとに撮影装置２０および２１の撮影を制御する。本実施形態では、撮影指示や表示制御などを行う。

記録部２０４は、取得部２０１より取得したデータおよび制御部２０３で制御した撮影結果を記録する。表示部２０５は、表示デバイス１０５を介して制御部２０３より指示された内容を表示する。更新部２０６は、制御部２０４で記録した撮影結果をもとに撮影条件を更新する。

＜処理の流れ＞
本実施形態において、撮影制御装置１０が実行する処理の流れを図３のフローチャートを参照して説明する。以下、各工程（ステップ）は、それら符号の先頭にＳを付与して説明することとする。図３のフローチャートは、撮影制御装置１０において撮影制御アプリケーションを起動することで開始される。

Ｓ３０１において、取得部２０１は、ユーザからの入力に基づいて撮影条件を取得する。撮影条件は、撮影を行うタイミングを規定するための条件である。本実施形態では、撮影条件は、撮影における距離的な条件として、撮影距離間隔を含む。撮影距離間隔とは、一定量移動する毎に撮影するための距離間隔であり、ユーザがユーザインタフェースを介して入力する。図４は、撮影制御装置１０において表示される表示画面の一例である。例えば、図４（ａ）に示すような画面４０１を介して、取得部２０１は、ユーザから入力された撮影距離間隔４０２を数値情報として取得する。なお、取得部２０１は、後述する記録部２０３が過去に記憶した撮影条件を読み出して取得してもよい。

また、取得部２０１は、接続する撮影装置から撮影対象までの距離４０３と、撮影間で重複して撮影する範囲４０４とをユーザからの入力に基づいて取得してもよい。そして、撮影制御装置１０は、これらから接続する撮影装置の撮影画角から撮影距離間隔４０２を計算し取得してもよい。

また、撮影条件は、撮影における時間的な条件として、最小撮影時間間隔および最大撮影時間間隔を含んでもよい。最小撮影時間間隔とは、撮影装置２０および２１が時間的に連続する撮影が実行可能な最小の時間間隔であり、想定される移動速度や撮影装置２０および２１の性能などから予め定めても良い。最大撮影時間間隔とは、時間的に連続する撮影が実行可能な最大の時間間隔であり、トラクターが停車している場合に撮影を一時停止するための条件である。例えば、取得部２０１は、図４（ａ）に示すような画面４０１を介して、ユーザから入力された最大撮影間隔時間４０５を取得してもよい。なお、図４に示した入力方法は一例であり、本発明を限定するものではない。

続いて、Ｓ３０２において、取得部２０１は、撮影開始指示を取得する。例えば、図４（ａ）に示すような画面４０１を介して、ユーザが撮影開始ボタン４０６を押下することで、撮影開始指示を検出する。また、撮影する区画情報４０７、品種４０８、番号４０９など、撮影場所に関する情報を併せて入力し、入力完了をもって撮影開始するよう構成してもよい。

なお、ワイン用ぶどう栽培圃場では、区画毎に栽培するぶどうの品種が異なるため、後から撮影画像と区画情報を関連付けられることが記録としての効果を生む。したがって、撮影制御装置１０は、撮影対象とする果樹に関する情報である、区画情報４０７、品種４０８、番号４０９などの情報を撮影した画像に関連づけて記憶するように構成してもよい。

なお、撮影制御装置１０は、撮影中は、図４（ｂ）に示すように、撮影開始ボタンの代わりに撮影終了ボタン４１０を表示してもよい。また、撮影制御装置１０は、撮影装置２０および２１からの映像ストリームや撮影画像などを、カメラ画像表示領域４１１にしてもよい。また、撮影制御装置１０は、カメラ画像表示領域４１１上でのユーザからの操作に基づいて、焦点距離、ズーム、シャッタースピード、感度、絞り等の撮影設定を調整できるようにしてもよい。さらには、撮影された回数４１２を表示しても良く、これらは接続するカメラの台数分表示されてもよい。

また、撮影制御装置１０が制御するために接続する撮影装置が複数台接続される場合には、それらの撮影装置を識別するための情報を、撮影画像と関連付けて表示するようにしてもよい。図４（ｂ）では、の撮影装置を識別するための情報として、撮影装置の設置位置を表す識別子４１３を表示している。即ち、図４（ｂ）において、識別子４１３が示す「Ｌ」は、移動体３０の前進方向に対して左側の方向を撮影するために設置された撮影装置２０が撮影した画像であることを示している。同様に、図４（ｂ）において、識別子「Ｒ」は、移動体３０の前進方向に対して右側の方向を撮影するために設置された撮影装置２１が撮影した画像であることを示している。このように、設置場所識別子４１３を表示することによって、ユーザへ撮影装置の設置位置が適切か否かを判断させることが可能になる。即ち、設置場所識別子４１３を表示することによってユーザへ撮影装置の設置の間違いを気づかせる効果がある。なお、撮影装置の識別情報として設置場所を表す情報を例として説明したが、撮影装置それぞれを識別するための他の情報であってもよい。

次に、Ｓ３０３において、記録部２０４は、取得部２０１が取得した撮影条件を記録する。ここで、記憶部２０４が記録する撮影条件を、図５を用いて説明する。図５に示す撮影条件５０１は、記録する撮影条件の一例を示したものである。撮影条件５０１の各行は、一つの撮影条件である。撮影条件を示すデータは、例えば、撮影ＩＤ５０２、撮影距離間隔５０３、最小撮影時間間隔５０４、最大撮影時間間隔５０５の属性に、それぞれ値を持つ。撮影ＩＤ５０２は、一連の撮影を一意に表す識別子である。また、撮影条件として、Ｓ３０２で取得した撮影場所に関する情報を、区画情報５０６、品種５０７、番号５０８の属性に格納してもよい。なお、撮影制御装置１０は、撮影条件を記録した場合、初回の撮影を行うため、後述する撮影コマンドを撮影装置２０および２１に送信してもよい。

Ｓ３０４において、取得部２０１は、移動体３０の移動速度を取得する。例えば、取得部２０１は、移動体３０とともに移動する撮影制御装置１０のセンサの出力に基づいて計算した速度を移動体３０の移動速度として取得する。取得部２０１は、入力デバイス１０６を介して取得するＧＰＳセンサの検知結果を基に単位時間あたりの移動量から速度を算出して取得してもよい。また、取得部２０１は、入力デバイス１０６を介して取得する加速度センサの検知結果を積分演算することで移動速度を取得してもよい。また、取得部２０１は、通信インタフェース１０４を介して移動体３０から速度情報を取得してもよい。

Ｓ３０５において、算出部２０２は、取得した撮影条件と移動速度に基づいて、次の撮影までの時間を算出する。Ｓ３０１にて取得した撮影距離間隔をＤ、Ｓ３０４にて取得した移動速度をＶｎとすると、次の撮影までの時間Ｔｎを数式（１）によって算出する。
Ｔ_ｎ＝Ｄ／Ｖ_ｎ 数式（１）
即ち、算出部２０２は、移動速度Ｖｎにおいて移動している際に撮影距離間隔Ｄごとに撮影を行うためのタイミングを導出する。

Ｓ３０６において、制御部２０３は、次の撮影までの間隔が最大撮影時間間隔より長いかを判定する。制御部２０３は、次の撮影までの時間Ｔｎと最大撮影時間間隔Ｔｍａｘを比較し、撮影時間Ｔｎが最大撮影時間間隔Ｔｍａｘよりも大きいかを判定する。次の撮影までの時間Ｔｎが最大撮影時間間隔Ｔｍａｘより大きい場合、Ｓ３０７において、表示部２０５は、移動速度が遅く撮影を一時停止することを表示する。例えば、図４（ｃ）に示すように、撮影一時停止警告４１４を表示してもよい。また、撮影制御装置１０は、移動を再開した場合、撮影も併せて再開することをユーザに通知してもよい。なお、Ｓ３０６において、移動体３０が停止しているか否かを判定する構成としてもよい。この場合、移動体３０が停止していると判定された場合、Ｓ３０７に処理を進め、移動体３０が停止していない（移動している）と判定された場合、Ｓ３０８に処理を進める。即ち、移動体３０が停止した場合、撮影制御装置１０は、撮影を停止するように撮影装置２０および２１を制御してもよい。この場合、制御部２０３は、撮影装置２０および２１に撮影を指示するためのコマンドを送信しないようにしてもよい。このように、撮影制御装置１０は、移動体３０の速度が遅い場合や移動体３０が停止している場合、重複した撮影範囲の撮影を行わない様に制御することができる。

なお、撮影制御装置１０は、移動体３０の移動速度が閾値（例えば時速１ｋｍ）を下回る場合、速度が撮影するに適していない（速度が遅すぎる）ことの警告を表示または／および音により行ってもよい。また、移動体３０の移動速度が閾値（例えば時速１ｋｍ）を下回る場合、撮影制御装置１０は、撮影を停止するように撮影装置２０および２１を制御してもよい。

次に、Ｓ３０８において、制御部２０３は、次の撮影までの時間間隔が、最小撮影時間間隔より短いかを判定する。制御部２０３は、次の撮影までの時間Ｔｎと最小撮影時間間隔Ｔｍｉｎを比較し、撮影時間Ｔｎが最小撮影時間間隔Ｔｍｉｎよりも小さいかを判定する。次の撮影までの時間Ｔｎが最小撮影時間間隔Ｔｍｉｎより小さい場合、Ｓ３０９において、表示部２０５は、移動速度が速いことを表示する。例えば、図４（ｄ）に示すように、移動速度警告４１５を表示してもよい。このように、移動速度が速すぎることにより、撮影に漏れが生じてしまう可能性があることをユーザに通知することができる。また、撮影に漏れが生じない移動速度で移動させることをユーザに促すことが可能となる。なお、Ｓ３０８において、制御部２０３は、移動体の移動速度が所定の閾値より速いかを判定する構成としてもよい。この場合、移動体３０の移動速度が所定の閾値より速いと判定された場合、Ｓ３０９に処理を進め、移動体３０が所定の閾値より速くないと判定された場合、Ｓ３１０に処理を進める。即ち、移動体３０が所定の閾値より速い場合、撮影制御装置１０は、スピードが速い（撮影に適していない速度である）ことを警告する構成としてもよい。また、移動体３０の移動速度が所定の閾値より速いと判定された場合、撮影装置２０および２１の撮影を停止するように制御してもよい。また、撮影制御装置１０は、移動体３０の移動速度が閾値（例えば時速７ｋｍ）を上回る場合、速度が撮影するに適していない（速度が速すぎる）ことの警告を表示または／および音により行ってもよい。

次の撮影までの時間Ｔｎが最小撮影時間間隔Ｔｍｉｎより小さい場合、Ｓ３１４において、制御部２０１は、最小撮影時間間隔Ｔｍｉｎが経過した場合に撮影装置２００よび２１に撮影を指示するための撮影コマンドを撮影装置２０および２１に対して送信する。撮影装置２０および２１は、撮影コマンドを受信すると撮影処理を実行し、撮影画像を保存する。

なお、Ｓ３１４の処理は省略してもよい。Ｓ３１４の処理は省略することで、移動体３０の速度が速すぎる場合に、撮影を行わないことで、撮影に漏れが生じていること利用者に認識させることが可能となる。即ち、移動体３０の速度が速すぎる場合に、速度が速すぎるため撮影を停止した旨の警告を行うことで、移動速度を適切にしたうえで再度移動体３０の同じ場所の移動、即ち撮影を利用者に促すことができる。

一方、次の撮影までの間隔が最大撮影時間間隔より長くなく（Ｓ３０６でＮＯ）、かつ、次の撮影までの間隔が最小撮影時間間隔より短くない場合（Ｓ３０８でＮＯ）、処理をＳ３１０に進める。

Ｓ３１０において、制御部２０３は、撮影装置２０および２１に対して前回撮影を行ってから撮影時間Ｔｎ経過後に撮影コマンドを送る。なお、まだ撮影が一度も行われていない場合は、制御部２０３は、撮影時間Ｔｎを導出してから撮影時間Ｔｎが経過した後に撮影コマンドを送る。

撮影コマンドは、例えば、一意なコマンドＩＤと付加情報から構成される。撮影装置２０および２１は、撮影コマンドを受信すると撮影処理を実行し、画像として保存する。この際、撮影装置２０および２１は、画像にコマンドＩＤおよび付加情報を埋め込み、記録してもよい。ここで、画像に付加情報を埋め込む（付加する）とは、例えばＥｘｉｆとして画像と付加情報とを関連付けて記憶することである。本実施形態においては、付加情報として、Ｓ３０３において記録した撮影場所に関する情報を付加してもよい。また、撮影制御装置１０は、入力デバイス１０６を介して取得したＧＰＳセンサの出力に基づく位置情報を付加情報として用いてもよい。そして、撮影装置２０および２１は、画像に位置情報を付加して記憶してもよい。また、撮影装置２０および２１は、撮影装置２０および２１が有するＧＰＳセンサの出力に基づく位置情報を画像に付加して記憶してもよい。なお、撮影装置２０および２１の撮影画像は、撮影制御装置１０に記憶してもよいし、撮影装置２０および２１の記憶部に記憶してもよい。

また、制御部２０３は、撮影コマンドを送った結果として、撮影処理時間を取得する。例えば、撮影装置２０および２１が撮影処理完了後にコマンドに対する応答を返す場合、制御部２０３は、撮影コマンドの送信から応答受信までの経過時間を撮影処理時間として取得できる。また、制御部２０３は、撮影処理時間を要求するためのコマンドを撮影装置２０および２１に送信し、その応答に含まれる撮影処理時間を取得してもよい。なお、撮影コマンドは他のカメラ制御コマンドより優先させるなどして、撮影時間Ｔｎに対して極力遅延しない制御方法をとってもよい。

続いて、Ｓ３１１において、記録部２０４は、Ｓ３１０で送信した撮影コマンドに応じた撮影の結果を示す情報を記録する。図６は、撮影制御装置１０が記録する撮影結果を示す情報の一例である。図６において、撮影結果６０１は、記録した撮影結果の一部の例示である。撮影結果６０１の各行は、撮影装置２０および２１へ送信した撮影コマンドに応じた撮影結果一件である。例えば、撮影結果を示す情報には、コマンドＩＤ６０２、撮影時刻６０３、撮影処理時間６０４および撮影位置６０５の属性それぞれに値が格納される。撮影時刻６０３は、撮影コマンドの送信時刻を格納してもよい。撮影位置６０５は、撮影コマンドの送信時に、取得部２０１により取得されるＧＰＳセンサデバイスの検知結果である位置情報を格納してもよい。撮影位置６０５を記録することによって、撮影結果６０１と撮影画像のメタ情報を照合し、撮影画像の撮影位置を特定することができるという効果がある。なお、撮影制御装置１０は、ＧＰＳセンサデバイスと撮影装置２０および２１との距離を予め設定するなどして、撮影位置６０５を補正してもよい。また、Ｓ３１１において、記録部２０４は、撮影画像と図６に示した情報とを関連付けて記憶するようにしてもよいし、撮影画像は記憶せず、図６に示した情報のみを記録してもよい。撮影画像は記憶せず、図６に示した情報のみを記録する場合、撮影制御装置１０は、撮影画像を図６に示した情報に基づき検索可能とすることができる構成としてよい。

次に、Ｓ３１２において、更新部２０６は、撮影条件を更新する。例えば、Ｓ３１１で記録した撮影結果から撮影処理時間を取得し、平均の撮影処理時間を算出する。ここで、撮影時刻が最新のＮ件取得し、これらから撮影処理時間の平均を算出してもよい。

更新部２０６は、算出した平均撮影処理時間を最小撮影時間間隔Ｔｍｉｎとして更新する。特にワイン用ぶどうは、露地栽培であることから、日の陰り具合で撮影環境が変わることがしばしばある。撮影条件を更新することで、撮影環境の変化などによって露光時間や撮影処理時間が変わる場合においても、確実に撮影可能な時間間隔で撮影できるという効果がある。

続いて、Ｓ３１３において、取得部２０１は、撮影終了指示を取得したか確認する。例えば、図４（ｂ）に示すような画面４０１を介して、ユーザが撮影終了ボタン４１０を押下した場合、撮影終了指示を取得する。撮影終了指示を取得しなかった場合、Ｓ３０４から処理を繰り返す。

なお、撮影制御装置１０は、撮影が終了した場合、撮影した画像に基づいて、果樹の病害虫、栽培設備の不良などを判断した情報を表示する。また、撮影制御装置１０は、撮影した画像に基づいて、芽や花の生育状態を判断してぶどうの実の収穫量を予測し、予測した情報を表示する。また、これらの画像による分析を行うため、他の装置に情報を送信し、他の装置が画像による分析する構成としてもよい。

以上説明した実施形態によれば、記録として適した画像を効率的かつ網羅的に撮影できる。特にワイン用ぶどう栽培圃場では、トラクターを農作業の移動手段として使用しながら、網羅的かつ効率的に圃場の状態を把握するための撮影を行うことができる。

このように本実施形態によって効率的かつ網羅的に撮影した画像に基づいて、果樹の病害虫、栽培設備の不良などをより正確に判断することができる。また、本実施形態によって効率的かつ網羅的に撮影した画像に基づいて、正確に芽や花の生育状態を判断してぶどうの実の収穫量を予測の精度を向上させることができる。

なお、本実施形態のＳ３０２の撮影開始指示およびＳ３１３の撮影終了指示は画面を介してユーザが指示するとして例示したが、Ｓ３０４と同様の方法で移動速度を取得し、移動速度に基づいて自動で撮影開始および終了を判断してもよい。例えば、撮影制御装置１０は、移動体の移動を検出した場合は、撮影開始すると判断してもよい。また、撮影制御装置１０は、所定期間を超えた移動体の停止を検出した場合は、撮影を終了すると判定してもよい。

＜実施形態１の変形例＞
実施形態１では、農作業の移動手段として、人が運転するトラクターの移動速度に応じて網羅的かつ効率的に撮影制御する装置の例を説明した。この場合、農作業の必要がない場所には移動しないため、圃場全体の果樹の記録という面で撮影に漏れが生じる恐れがある。そこで変形例では、撮影が行われていない場所への移動をユーザに促す情報の提示する形態について説明する。

例えば、図７に示した撮影制御装置１０画面７０１において、移動速度７０２、撮影装置２０および２１との接続状態７０３、地図７０４を表示する。地図７０４上には、例えば、区画７０５を表示し、Ｓ３１１において記録した撮影位置６０５を移動経路７０６として重畳表示する。また、未撮影の区画７０７を強調表示してもよい。以上によって、移動経路や未撮影区画を提示することによって、撮影し忘れた経路や区画がないかユーザに確認を促し、撮影の漏れ防ぐための移動体３０（トラクター）の運転を補助することができる。

また、Ｓ３０６で次の撮影時間Ｔｎが最大撮影時間間隔より長いと判定された場合や、Ｓ３０８で次の撮影時間Ｔｎが最小撮影時間間隔より短いと判定された場合に、撮影制御装置１０は、移動体３０（トラクター）の移動速度を制御する形態としてもよい。

また、撮影制御装置１０は、撮影条件として、撮影距離間隔ではなく、「一列の垣根となるように植え付けられた撮影対象である果樹を漏れなく撮影する」として取得する構成としてもよい。この場合、撮影制御装置１０は、移動体３０が移動する道路と果樹との距離、撮影装置２０または２１の画角および移動体３０の移動速度を取得する。そして、撮影制御装置１０は、取得する。取得した果樹との距離、撮影装置２０または２１の画角および移動体３０の移動速度に基づいて、撮影対象である果樹の全範囲を漏れなく撮影するための撮影タイミングを導出する。そして、撮影制御装置１０は、導出した撮影タイミングに撮影を行うよう撮影を行うよう撮影装置２０または２１を制御する構成としてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムによっても実現可能である。

なお、上述した各処理部のうち、算出部および制御部については、その代わりとして、機械学習された学習済みモデルを用いて処理してもよい。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新してもよい。

また、上述の実施形態において、農業分野の圃場の記録のための撮影を行う場合を例にして説明を行ったが、これに限らない。例えば、建築分野において、構造物の保守点検のための構造物の撮影等他の分野における撮影に本実施形態に係る撮影制御を適用してもよい。

１０ 撮影制御装置

Claims (18)

1. 移動体に設置された撮影装置の撮影を制御する撮影制御装置であって、
   前記撮影装置が撮影を行うタイミングを規定するための撮影条件を取得する第１の取得手段と、
   前記移動体の移動速度を取得する第２の取得手段と、
   前記撮影条件と前記移動速度とに基づいて、前記撮影装置の撮影タイミングを制御する制御手段と、
   を有することを特徴とする撮影制御装置。
2. 前記制御手段は、前記撮影条件と前記移動速度とに基づいて撮影を行うまでの時間を導出し、前記撮影装置による撮影が行われてから前記導出された時間が経過した場合に前記撮影装置が撮影を行うように制御することを特徴とする請求項１に記載の撮影制御装置。
3. 前記第１の取得手段は、前記撮影条件として撮影距離間隔を取得し、
   前記制御手段は、前記移動体の前記撮影距離間隔の移動ごとに前記撮影装置による撮影が行われるよう制御することを特徴とする請求項１または２に記載の撮影制御装置。
4. 前記制御手段は、撮影対象の全範囲を漏れなく撮影するよう前記撮影装置の撮影を制御することを特徴とする請求項１から３のいずれか１項に記載の撮影制御装置。
5. 前記制御手段は、前記移動体が停止している場合、前記撮影装置に撮影を行わせないことを特徴とする請求項１から４のいずれか１項に記載の撮影制御装置。
6. 前記撮影条件と前記移動速度とに基づいて導出されたタイミングで撮影を行うよう前記撮影装置に撮影を指示するコマンドを送信することを特徴とする請求項１から５のいずれか１項に記載の撮影制御装置。
7. 前記第１の取得手段は、前記撮影条件として、撮影対象から前記撮影装置までの距離と、撮影間で重複して撮影する範囲とを取得することを特徴とする請求項１から６のいずれか１項に記載の撮影制御装置。
8. 前記撮影装置により撮影された画像を表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮影制御装置。
9. 前記表示制御手段は、前記撮影装置の設置位置を示す情報を前記表示部に表示させることを特徴とする請求項８に記載の撮影制御装置。
10. 前記表示制御手段は、前記移動体の移動速度が撮影に適していない場合、警告を表示することを特徴とする請求項８または９に記載の撮影制御装置。
11. 前記第１の取得手段は、前記撮影条件として撮影距離間隔を取得し、
    前記移動体の速度が、前記撮影距離間隔の移動ごとに前記撮影装置の撮影ができない移動速度である場合、警告を表示部に表示させる表示制御手段を有することを特徴とする請求項１に記載の撮影制御装置。
12. 前記移動体の速度が撮影に適していない場合、前記移動体の移動速度を制御する手段を更に有することを特徴とする請求項１から１１のいずれか１項に記載の撮影制御装置。
13. 前記第１の取得手段は、前記撮影条件として撮影距離間隔を取得し、
    前記移動体の移動速度が、前記撮影距離間隔の移動ごとに前記撮影装置の撮影ができない速度である場合、前記制御手段は、連続して撮影可能な時間間隔で撮影を行うよう前記撮影装置を制御することを特徴とする請求項１に記載の撮影制御装置。
14. 前記第１の取得手段は、前記撮影条件として、撮影距離間隔と、前記撮影装置が連続する撮影が実行可能な時間間隔を取得し、
    前記移動体の移動速度において、前記撮影距離間隔の移動に要する時間が、前記時間間隔より短い場合、警告を表示部に表示させる表示制御手段を有することを特徴とする請求項１に記載の撮影制御装置。
15. 前記警告は、前記移動体の速度が速すぎることの警告であることを特徴とする請求項１０、１１および１４のいずれか１項に記載の撮影制御装置。
16. 移動体と、前記移動体に設置された撮影装置とを有する撮影システムであって、
    前記撮影装置が撮影を行うタイミングを規定するための撮影条件を取得する第１の取得手段と、
    前記移動体の移動速度を取得する第２の取得手段と、
    前記撮影条件と前記移動速度とに基づいて、前記撮影装置の撮影タイミングを制御する制御手段と、
    を有することを特徴とする撮影システム。
17. 移動体に設置された撮影装置の撮影を制御する撮影制御方法であって、
    前記撮影装置が撮影を行うタイミングを規定するための撮影条件を取得し、
    前記移動体の移動速度を取得し、
    前記撮影条件と前記移動速度とに基づいて、前記撮影装置の撮影タイミングを制御する
    ことを特徴とする撮影制御方法。
18. コンピュータに請求項１から１５のいずれか１項に記載の撮影制御装置として動作させるためのプログラム。

Images