JP2023095197A - 農産物情報処理装置、農産物情報処理方法および農産物情報処理用プログラム - Google Patents

Abstract

【課題】農作業の効率化に有効な農業情報の処理技術を得る農産物情報処理装置、農産物情報処理方法及び農産物情報処理用プログラムを提供する。【解決手段】圃場の情報を管理する方法は、データベースにおいて、圃場における作物の位置をレイヤー１の情報として記憶し、作物の実の位置をレイヤー２の情報として記憶し、前記実に対して実施された作業の内容をレイヤー３の情報として記憶し、作業を撮影した画像に基づき、レイヤー２の情報とレイヤー３の情報との対応関係を特定する。【選択図】図２

Description

本発明は、農産物の情報を処理する技術に関する。

農作業の効率化を目的に各種センシング技術やロボットの利用が模索されている（例えば、特許文献１を参照）。例えば、果樹栽培の場合、育成の段階に応じて、剪定、整形、薬剤による処理等の作業を適切な時期に行う必要がある。

特表２０１９－５３２６６６号公報

現状では、農作業に係る工程管理は、作業者の経験と勘に頼っている。ところで、生産者の高齢化および農業生産者の減少が進行しつつある一方、より大規模で効率的な農産物の栽培が求められている。このような状況において、本発明は、農作業の効率化に有効な農業情報の処理技術の提供を目的とする。

本発明は、圃場における作物の位置をレイヤー１の情報として記憶し、前記作物の実の位置をレイヤー２の情報として記憶し、前記実に対して実施された作業の内容をレイヤー３の情報として記憶する記憶部と、前記作業を撮影した画像に基づき、前記レイヤー２の情報と前記レイヤー３の情報との対応関係を特定する対応関係特定部とを備える農産物情報処理装置である。

本発明において、前記レイヤー２には、前記実の位置を特定するために利用した当該実の撮影画像の画像データが含まれ、前記対応関係の特定は、前記レイヤー２に含まれる前記撮影画像と前記作業を撮影した前記画像に共通に写っている対象に基づいて行われる態様が挙げられる。

本発明において、前記実の近傍には、識別ターゲットが配置され、前記対応関係の特定は、前記レイヤー２に含まれる前記撮影画像と前記作業を撮影した前記画像に共通に写っている前記識別ターゲットの画像に基づいて行われる態様が挙げられる。

本発明において、前記レイヤー２には、前記圃場の撮影画像が含まれ、前記対応関係の特定は、前記レイヤー２に含まれる前記圃場の撮影画像の中から、前記作業を撮影した前記画像に写った前記実を認識することで行われる態様が挙げられる。本発明において、前記レイヤー２には、前記実の３Ｄモデルのデータが含まれ、前記対応関係の特定は、前記レイヤー２に含まれる前記３Ｄモデルのデータと前記作業を撮影した前記画像に基づいて作成された３Ｄモデルとの対応関係に基づいて行われる態様が挙げられる。

本発明において、前記作業に係る手段が作業の内容を表示する識別表示を備え、前記識別表示を撮影した画像に基づき、前記作業の内容が特定される態様が挙げられる。

本発明において、前記レイヤー１には、前記圃場における前記作物の位置を特定するための画像データが含まれ、前記レイヤー２には、前記実の位置を特定するための画像データが含まれ、前記レイヤー１の位置情報は絶対座標系上で記述されており、前記レイヤー２の位置情報はローカル座標系上で記述されており、前記レイヤー１の画像データと前記レイヤー２の画像データの対応関係に基づき、前記絶対座標系と前記ローカル座標系との関係を求める位置関係特定部を備える態様が挙げられる。

本発明は、圃場における作物の位置をレイヤー１の情報として記憶し、前記作物の実の位置をレイヤー２の情報として記憶し、前記実に対して実施された作業の内容をレイヤー３の情報として記憶し、前記作業を撮影した画像に基づき、前記レイヤー２の情報と前記レイヤー３の情報との対応関係を特定する農産物情報処理方法である。

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを圃場における作物の位置をレイヤー１の情報として記憶し、前記作物の実の位置をレイヤー２の情報として記憶し、前記実に対して実施された作業の内容をレイヤー３の情報として記憶する記憶部と、前記作業を撮影した画像に基づき、前記レイヤー２の情報と前記レイヤー３の情報との対応関係を特定する対応関係特定部として動作させる農産物情報処理用プログラムである。

本発明によれば、農作業の効率化に有効な農業情報の処理技術が得られる。

圃場の概要図である。 データの構造を示す概念図である。 農産物情報処理装置のブロック図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 作業ロボットを側面から見た概念図（Ａ）と正面から見た概念図（Ｂ）である。

１．概要
図１に圃場の一例としてブドウ園１００の例を示す。この例では、圃場として野外の例を示すが、圃場は野外に限定されず、農業ハウス内の圃場であってもよい。また、植物はブドウに限定されるものではなく、例えば、リンゴやナシ、その他の植物であってもよい。

ブドウ園１００には、主幹１１０，１２０，１３０，１４０が植えられている。各主幹からは主枝が上方から見てＨ型の形状に展開されている。主枝は、ワイヤー（図示省略）や支持材（図示省略）に沿って展開されている。

図２に図１の圃場の情報を管理するデータベースのデータ構造を示す。このデータベースには、ブドウ園１００を３Ｄモデル化したマップが格納されている。データ構造は、レイヤー１、レイヤー２、レイヤー３の階層構造となっている。

レイヤー１は、圃場における主幹（独立した１本１本の幹）の位置を記述した全体マップである。レイヤー２は、各主幹の実の位置のマップである。レイヤー３は、各実の詳細や作業に係るデータをレイヤー２に関連させて記憶したデータである。

圃場には、複数の基準点が設けられ、そこには基準点ターゲット（例えば符号１６０）が設置されている。基準点は、測量により定められたものを利用する。基準点は、絶対座標系におけるものを利用する。基準点ターゲットは、個々に識別が可能であり、画像中から検出することで、その点の絶対座標系での位置を知ることができる。絶対座標系は、ＧＮＳＳや地図で利用される座標系であり、緯度、経度、標高により座標が記述される。絶対座標系における位置が特定された識別ターゲットは、圃場内の各点の位置を表示する位置標識として機能する。なお、絶対座標系ではなく、ローカル座標系を用いることもできる。

圃場の各所には、複数の識別ターゲット（例えば符号１５０）が配置されている。識別ターゲットは、撮影画像中から画像認識技術によって認識され、個別に識別される。識別ターゲットとしては、コード化ターゲットや２次元バーコード等が利用される。この技術については、例えば特開２０２１－１３９７４９号公報に記載されている。

識別ターゲットを配置する場所は、地面、幹、枝、房の軸、実、支柱、支持ワイヤー、その他支持材、空中（ワイヤーにぶら下げて配置、ポールで支えて配置等）、農業ハウスの壁面や天井面等が挙げられる。識別ターゲットの設置場所は、設置できる場所であれば特に限定されない。

識別ターゲットは、平板上の構造、枝や支柱に巻きつけて円筒形状にして配置する形態、シール状のもの、支柱等に直接表示する形態、ワイヤーやポールにバーコード表示を設ける形態等が挙げられる。

２枚の撮影画像間の対応関係の特定を行うためのターゲットや模様（ドットパターン等）を配置する形態も可能である。

識別ターゲットは、圃場内の任意の場所を撮影した場合に複数が写るように配置されている。特に、芽（実）の部分を撮影した場合に、３つ以上の識別ターゲットが写るようにすることが望ましい。

識別ターゲットを使用しない形態も可能である。この場合、画像認識（例えば、ＡＩ画像認識）により、実や房が個別に識別される。例えば、圃場の各所を撮影することで多数の撮影画像が得られているとする。ここで、別の後のタイミングで同じ圃場における特定の房を撮影したとする。この場合、画像認識技術を用いて、前者の多数の撮影画像の中から、後で撮影した房を探索する。こうして、同じ対象を撮影した第１の撮影画像と第２の撮影画像の対応関係を特定する。

本実施形態の場合、ブドウの房に係る情報を管理するので、芽（房）の位置の近傍に識別ターゲットが配置されるように留意する。ここで近傍とは、芽（房）を撮影した際にその撮影画像に写り込む位置、具体的には芽（房）の位置から５０ｃｍ以内、好ましくは３０ｃｍ以内とする。また、生育の途中で識別ターゲットの追加の設置を行う形態も可能である。

撮影画像に写った識別ターゲットは、撮影対象の識別を行う標識としても機能する。また、識別ターゲットは、画像間の対応関係を求める処理における共通点（対応点）としても利用される。これは、基準点ターゲットも同じである。

２．レイヤーの詳細
（レイヤー１）
レイヤー１は、絶対座標系上で記述された圃場の地図情報（一般的な地図の情報）を基本とし、圃場における各作物の幹の位置を記憶している。各作物には、ＩＤが付与され、その位置とＩＤが関連付けされて記憶されている。また、レイヤー１には、ステレオ写真計測の原理に基づき作成した絶対座標系における圃場の３Ｄモデルが記憶されている。この３Ｄモデルにより、圃場における主幹が生えている位置、主幹および主枝の３次元位置（３次元空間における展開の状態）がデータ化されている。

また、レイヤー１のデータには、圃場に配置された識別ターゲットの絶対座標系における位置が記憶される。すなわち、レイヤー１に含まれる識別ターゲットは、絶対座標系における位置が判明しているので、基準点ターゲットと同様の機能が与えられている。また、レイヤー１には、レイヤー１のデータの基となる撮影画像のデータも記憶される。

作物によっては、幹に相当する部分がないものもある（例えば、つるに実が成る作物等）。このような場合は、作物の列を対象にレイヤー１のデータを作成する。勿論、幹のある作物の列を対象にレイヤー１のデータを作成することもできる。

（レイヤー２）
レイヤー２は、各主幹における実の位置の情報を記憶する。例えば、ブドウであれば房の位置が記憶される。各房には、ＩＤが付与され、その位置とＩＤが関連付けされて記憶されている。これはブドウ以外の果物や野菜の場合も同じである。また、レイヤー２には、実の３Ｄデータが記憶される。また、レイヤー２には、レイヤー２のデータの基となる撮影画像のデータも記憶される。

レイヤー２のデータは、圃場内における任意の位置で得られたものが含まれるので、ローカル座標系上で記述されたものが記憶される。なお、後述する方法により、各ローカル座標系と絶対座標系との間の座標変換の方法が求められ、必要に応じて、レイヤー２のデータを絶対座標系に座標変換することが可能となっている。

レイヤー２のデータを絶対座標系に座標変換することで、レイヤー２のデータをレイヤー１のデータと関連付けすることができる。例えば、レイヤー１の幹の３Ｄモデルと、当該幹の特定の枝の特定の部分における房の３Ｄモデルが位置情報によって関連付けされる。

なお、絶対座標系におけるデータに座標変換したものをレイヤー２のデータとして記憶する形態も可能である。勿論、レイヤー２のデータを絶対座標系上で取得する形態も可能である。

（レイヤー３）
レイヤー３には、レイヤー２において位置情報が記憶された実の情報および各種の作業情報が記憶される。この例において、レイヤー３には、ブドウの房における粒の大きさ、粒の数、軸長、作業情報等が記憶される。また、レイヤー３には、撮影画像から得た実に関する３Ｄモデルが記憶される。作業情報としては、剪定、消毒、受粉、枝や実の整形、ジベレリン処理、実の袋かけ、摘粒、生育調整剤の塗布等に係る情報が挙げられる。

レイヤー３のデータは、レイヤー２のデータに関連付けされている。すなわち、レイヤー２において位置が記憶されている各房に係る粒数、軸長、房の詳細、画像、作業情報等がレイヤー３のデータとして記憶されている。上記はブドウの例であるが、果実全般的に、例えば、果実の大きさや形状の特徴、色、生育状況等の人が見た達観評価やロボットが認識した状態を記憶してもよい。さらに、周辺の果実の位置情報を記しておくことで、次に作業すべき果実やすでに処理した果実との位置関係を人やロボットが容易に認識するようにすることも可能である。

（データの収集方法）
レイヤー１、レイヤー２、レイヤー３のデータは、カメラの撮影画像に基づいて作成される。カメラは、作業ロボットまたは作業員に装着され、作業ロボットや作業員が圃場内を移動したり、作業したりする際に継続して撮影が行われる。撮影画像は、静止画像を基本とするが、動画撮影時、そこから静止画像を得る形態も可能である。なお、ＵＡＶにカメラを搭載し、そこから撮影を行う形態も可能である。また、カメラ以外にＬｉＤＡＲを用いた３Ｄデータ（レーザースキャンデータ）の収集も可能である。

ここでは、作業ロボットを用いてデータを収集する場合を説明する。図７に作業ロボットの一例を示す。作業ロボット２００は、多数のカメラ２０１を備えている。各カメラはなるべく広い範囲を撮影できるように配置されている。隣接するカメラは、極力重複する範囲を撮影できるように姿勢と撮影範囲が調整されている。また、隣接するカメラは、ステレオカメラとして利用できるように、離間距離と姿勢の関係が予め取得され、既知とされている。

作業員の場合は、ヘルメットおよび作業ベストに多数のカメラを装着する。カメラのセッティングに関しては、作業ロボットの場合と同じである。

３．ハードウェアの構成
図３は、農産物情報処理装置３００のブロック図である。農産物情報処理装置３００は、ＰＣ（パーソナル・コンピュータ）を用いて構成されている。農産物情報処理装置３００を構成するＰＣは、ＣＰＵ、記憶装置、ユーザインターフェース、通信インターフェースを備え、通常のＰＣが備える機能を有している。

農産物情報処理装置３００は、画像データ取得部３０１、画像認識部３０２、３Ｄモデル作成部３０３、識別表示検出部３０４、作業内容特定部３０５、作業対象特定部３０６、第１の対応関係特定部３０７、レイヤーデータ（更新）作成部３０８、データ記憶部３０９、通信装置３１０、位置関係特定部３１１、座標変換部３１２、実のデータ取得部３１３、第２の対応関係特定部３１４を備える。

データ記憶部３０９と通信装置３１０は、ＰＣが備えるハードウェアを利用する。データ記憶部として、外部の記憶装置を用いる形態も可能である。通信は、無線ＬＡＮや携帯電話の通信回線が利用される。また、有線での通信も可能である。

その他の各機能部は、利用するＰＣにアプリケーションソフトウェアをインストールすることで、当該ＰＣにおいてソフトウェア的に実現される。

これら機能部の一部または全部を専用のハードウェアで構成することもできる。農産物情報処理装置３００の処理の一部または全部を処理サーバで行う形態も可能である。この場合、処理サーバにより農産物情報処理装置３００の一部または全部が構成される。

画像データ取得部３０１は、レイヤー１、レイヤー２およびレイヤー３の作成に必要な撮影画像の画像データを取得する。例えば、撮影を行ったカメラから無線ＬＡＮを利用して画像データが送信され、それが通信装置３１０で受信され、この受信した画像データが画像データ取得部３０１で取得される。

画像認識部３０２は、撮影画像の中から特定の対象を検出する。検出の対象としては、作物の全体、作物の各部（幹、枝、芽、房、実、葉等）、各種のターゲット、支柱や梁、園芸用品、農業ハウスを構成する建材等が挙げられる。検出は、公知の画像認識技術を利用して行われる。撮影画像の中から特定の対象を検出する手法としては、リファレンス画像との比較による方法、深層学習を用いたＡＩ画像認識技術による方法が挙げられる。

３Ｄモデル作成部３０３は、ステレオ写真計測の原理に基づいて撮影対象の三次元モデル（３Ｄモデル）を作成する。３Ｄモデルを作成する技術については、ＷＯ２０１１－７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－１５５９８号公報に記載さている。また、Ｌｉｄａｒ（レーザースキャン）を用いて３Ｄモデルを作成することも可能である。

識別表示検出部３０４は、識別ターゲットを検出する。この技術については、例えば特開２０２１－１３９７４９号公報に記載されている。作業内容特定部３０５は、後述する方法により、作物に対する各種の作業の内容（例えば花穂整形の作業）を特定する。作業対象特定部３０６は、後述する方法により、上記の作業の対象（例えば作業の対象となる房）を特定する。

第１の対応関係特定部３０７は、画像間の対応関係の特定、３Ｄモデル間の対応関係の特定を行う。対応関係の特定は、テンプレートマッチング等の各種のマッチング技術を利用して行う。対応関係を特定する技術については、例えば特開２０１３－１８６８１６号公報、特開２０１３－１７８６５６号公報、ＷＯ２０１２－１４１２３５号公報、特開２０１４－３５７０２号公報、特開２０１５－４６１２８号公報、特開２０１７－１５５９８号公報に記載されている。また、画像間の対応関係の特定にＡＩ画像認識技術を用いることもできる。

レイヤーデータ（更新）作成部３０８は、レイヤー１、レイヤー２、レイヤー３のデータの更新および作成を行う。処理の内容は後述する。

データ記憶部３０９は、農産物情報処理装置３００の動作に必要な各種のデータ、動作プログラム、動作の結果得られるデータを記憶する。レイヤー１、レイヤー２、レイヤー３のデータもデータ記憶部３０９に記憶される。データ記憶部３０９の一部または全部として、外部の記憶装置を用いる形態も可能である。

通信装置３１０は、外部の機器との間で通信を行う。通信は、例えば無線ＬＡＮや携帯電話回線を用いて行う。有線での通信も可能である。

位置関係特定部３１１は、レイヤー１の絶対座標系のデータとレイヤー２のローカル座標系のデータの対応関係（位置関係）を特定する。この対応関係を特定することで、レイヤー２のローカル座標系のデータを絶対座標系に座標変換でき、レイヤー２のデータをレイヤー１のデータに関連付けることができる。

座標変換部３１２は、レイヤー１とレイヤー２のデータ間における座標変換を行う。例えば、ローカル座標系で記述されたレイヤー２の位置データを絶対座標系に変換する。レイヤー１のデータは、絶対座標系を利用しているので、上記の座標変換により、レイヤー２のデータをレイヤー１のデータと同じ座標系（絶対座標系）上で扱うことができる。

実のデータ取得部３１３は、実に関するデータ、この場合は、ブドウの房の粒数、軸長、その他房の詳細（色等）を取得する。実のデータを得る方法としては、当該実を撮影した撮影画像に基づく３Ｄモデルを解析することで得る方法、撮影画像の画像解析から得る方法がある。

第２の対応関係特定部３１４は、作業の対象として特定した対象物とレイヤー２のデータとの対応関係を特定する。例えば、あるブドウの房に対する作業を作業者が頭部に装着したカメラにより撮影したとする。この撮影画像に写った房とレイヤー２で管理されている房のデータの対応関係を特定する処理が第２の対応関係特定部３１４において行われる。

４．処理の一例
（レイヤー１のデータの作成）
以下、圃場としてブドウ園の場合を説明する。なお、ブドウ園は一例であり、他の作物であっても原理は同じである。

図１には、芽が出る時期（関東地方では通常３月頃）における圃場の状態が示されている。この段階では、幹と枝の状態であり、葉はなく、当然実も付いていない。

図４に処理の手順の一例を示す。この処理は、図３の農産物情報処理装置３００において実行される。この処理を実行するプログラムは、データ記憶部３０９に記憶され、農産物情報処理装置３００が備えるＣＰＵにより実行される。当該プログラムを適当な記憶媒体やデータ記憶サーバに記憶し、そこからダウンロードして利用する形態も可能である。これは、図５、図６の場合も同じである。

まず、図１の段階（芽が出る前の段階）で画像データの取得が行われる（ステップＳ１０１）。ここでは、画像データの取得に作業ロボット（図７参照）を用いる。作業ロボットは、移動しながら搭載した多数のカメラにより撮影を連続して行う。

各カメラは、隣接する複数のカメラにおいて、互いの撮影範囲が一部で重複するように撮影範囲および撮影方向が設定されている。また、一つのカメラにおける移動しながらの撮影において、ある時刻に撮影された撮影範囲と次の撮影時刻における撮影範囲とが一部で重複するように、撮影間隔と作業ロボットの移動速度が調整されている。各カメラが撮影した撮影画像の画像データは、撮影時刻と関連付けされ記録される。この段階では、葉がないので、ＵＡＶを用いて上空から上記の画像データを得ることもできる。

作業ロボットを移動させながらの撮影は、少なくとも一部の撮影画像において、複数の基準点が含まれるようにする。そして、ｓｆｍ(Structure from Motion)の原理により、撮影対象の３Ｄモデルを作成する（ステップＳ１０２）。この技術については、例えば、特開２０１３－１８６８１６号公報、ＷＯ２０１１－７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報等に記載されている。

以下、ｓｆｍの原理を簡単に説明する。簡単な例として基線長（２台のカメラ間の距離）が既知の２台のカメラにより構成されるステレオカメラを考える。このステレオカメラが撮影したステレオ画像を用いて、ステレオカメラを構成する２台のカメラと撮影対象物の相対位置関係が求まる。これが相互標定である。

この例では、ステレオカメラの基線長（２台のカメラ間の距離）は既知であるので、上記相対位置関係にスケールが与えられる。こうして、ローカル座標系における対象物の３Ｄモデルが得られる。なお、撮影画面中に距離が既知の２点があれば、同様に上記相対位置関係にスケールが与えられ、ローカル座標系における対象物の３Ｄモデルが得られる。

本例ではステレオカメラで説明しているが、スケールが入る場合は1台のカメラでも2視点以上あればｓｆｍ処理が可能であり、1台で本処理を行ってもよい。この場合、１台のカメラを用いて異なる２つの視点から重複する範囲を撮影することでステレオ画像を得る。

ここで、上記２台のカメラの位置を少しずらした場合を考える。ここで、新たなステレオ画像と前のステレオ画像が重複し、且つ、すこしずれるように２台のカメラの移動を行う。そして、新たな視点（ステレオカメラ位置）における２台のカメラと撮影対象物の相対位置関係を上述した方法により求める。これにより前回から少しずれた新たな視点から見た対象物の３Ｄモデル（第２の３Ｄモデル）が得られる。この３Ｄモデルは、前回と少しずれた視点から見た３Ｄモデルとなる。

第１のステレオ画像と第２のステレオ画像は重複しているので、画像間の対応関係を求めることで、第１の３Ｄモデルと第２の３Ｄモデルとを統合できる。これを第３、第４、・・・と繰り返すことで、撮影範囲の３Ｄモデルを構築する。

どこかの段階において、撮影画像中で絶対座標点が与えられていれば、この３Ｄモデルは絶対座標系におけるものとして得られる。絶対座標点が与えられない場合、ローカル座標系上で３Ｄモデルが構築される。これがｓｆｍの基本的な原理である。

本実施形態の場合、識別ターゲットが配置されている。上記ｓｆｍにおいて、基準点に配置された識別ターゲットを利用して３Ｄモデルに絶対座標系における座標値が与えられる。また、撮影対象の３Ｄモデルを絶対座標系上で得ることで、基準点に配置されていない識別ターゲットの絶対座標系上での位置が求まる。

上記の原理により、図１の圃場内を作業ロボットが巡回し、ｓｆｍにより圃場（ブドウ園）の３Ｄモデルが作成される。

レイヤー１のデータの更新の頻度は、対象とする作物の幹の成長の程度によって決定される。樹の成長の早い作物の場合、樹の変化に追従するための更新の頻度が多くする必要がある。他方において、幹の成長の遅い作物やほとんど変化しない幹の場合は、幹の変化に対応できる程度の頻度でレイヤー１のデータの更新が行われる。

（レイヤー２のデータの作成および更新）
レイヤー２のデータの作成および更新は、圃場内における作業ロボットや作業者の巡回、および作業ロボットや作業者による各種の作業時における撮影に基づいて行われる。レイヤー２のデータの取得は、圃場内における部分的な撮影の場合も含まれる。そのため、局所的にデータの取得を行う場合があるので、１次データの座標系としてローカル座標系が利用される。もちろん、絶対座標系上でのデータの取得を排除するものではない。

ブドウの場合は、レイヤー２のデータは、房（花穂）の位置である。この房の位置は、芽の位置（房の軸の根本の位置）として把握される。なお、枝の成長等により、房の位置が変化する場合がある。房の位置の変化が検出された場合、房の位置のデータが修正される。

以下、処理の手順の一例を説明する。図５に処理の手順を示す。ここでは、芽が出て、その後に房が成長する過程で、芽あるいは房の部分を撮影し、その画像データを取得する（ステップＳ２０１）。次に、異なる視点から得られたステレオ撮影画像を用い、房の位置を算出する（ステップＳ２０２）。

ステップＳ２０２の具体的な手順を説明する。まず、ステレオ撮影画像中から芽や房の根本の部分（房の軸の根元の部分）を検出する。この処理は、画像認識部３０２において行われる。次に、芽や房の根本の部分の位置をステレオ写真測量の原理により算出する。

この場合、ステレオ写真を撮影した２台（３台以上でもよい）のカメラの基線長は既知である。よって、「芽や房の根本の部分」－「第１カメラ」－「第２のカメラ」の位置を頂点とする三角形の形と大きさが決まり、撮影時のカメラの位置を基準としたローカル座標系における「芽や房の根本の部分」の位置が求められる。こうして、ローカル座標系における房の位置が求められる。この手法は前方交会法の原理そのものである。

次に、ステップＳ２０２において求めた房の位置を絶対座標系における位置に座標変換する方法を取得する（ステップＳ２０３）。この座標変換を行うことで、レイヤー２のデータをレイヤー１のデータと関連付けることができる。この例では、レイヤー２のデータをローカル座標系のデータで管理保存し、必要に応じて座標変換を行い、レイヤー１のデータと連携させる。

以下、上記の座標変換について説明する。この座標変換を行うには、まずステップＳ２０２で用いたステレオ画像を撮影した各カメラ（ステレオカメラ）の絶対座標系における位置と姿勢を求める。次に、ステレオカメラの位置と姿勢に基づき、絶対座標系における上記房の位置を前方交会法により求める。

ステレオ画像を撮影した各カメラの絶対座標系における位置と姿勢は、識別ターゲットを標定点として用いて算出する。この場合、ステップＳ２０２で用いたステレオ画像として、３つ以上の識別ターゲットが写ったものを採用する。この３つ以上の識別ターゲットは、絶対座標系における位置がレイヤー１のデータにおいて既知であるものを用いる。

この場合、ステップＳ２０２におけるステレオ画像中において、３点以上の点が絶対座標系上で定まるので、後方交会法により絶対座標系における当該ステレオ画像を撮影した２台のカメラの位置と姿勢を求めることができる。絶対座標系におけるカメラの位置と姿勢が求まることで、ここで利用しているローカル座標系と絶対座標系の関係が求まり、両者の間における座標変換が可能となる。つまり、レイヤー２の座標データをレイヤー１の座標データに関連付けることができる。

例えば、ステレオカメラのローカル座標系の位置を（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）とする。上記後方交会法により求めた絶対座標系における当該ステレオ画像を撮影した２台のカメラの位置を（Ｘ１、Ｙ１、ｚＺ）、（Ｘ２、Ｙ２、Ｚ２）とする。

（ｘ１、ｙ１、ｚ１）と（Ｘ１、Ｙ１、Ｚ１）の比較、（ｘ２、ｙ２、ｚ２）と（Ｘ２、Ｙ２、Ｚ２）の比較、（ｘ３、ｙ３、ｚ３）と（Ｘ３、Ｙ３、Ｚ３）の比較により、（ｘｉ、ｙｉ、ｚｉ）と（Ｘｉ、Ｙｉ、Ｚｉ）（ｉ＝１，２，３）の対応関係が求まり、座標変換の式が求まる。

レイヤー２のデータの元となる画像データの取得するための撮影は、繰り返し行われる。撮影は、圃場の巡回（見回り）や圃場での各種の作業を利用して行われる。撮影を高い頻度で行うことでレイヤー２のデータの更新の頻度を高めることができる。撮影を移動ロボットにより行うこともできる。勿論、定点カメラを設置し、撮影を行う形態も可能である。

画像認識技術を用いたステップＳ２０２の処理も可能である。この場合、レイヤー１の作成に用いた撮影画像とレイヤー２の作成に用いた撮影画像の両方に同じ対象の画像が写っている必要がある。

この場合、レイヤー１の作成に用いた撮影画像とレイヤー２の作成に用いた作成画像の対応関係を探索し、対応する房の画像を探し出す。レイヤー１に係る画像は、その対象の位置が判っているので、レイヤー２に係る画像で対応するものがあれば、その画像に写った対象の絶対座標系における位置がレイヤー１の情報から割り出せる。

３Ｄモデルを用いて、ステップＳ２０２の処理を行うこともできる。以下、この方法を説明する。この場合、レイヤー２のデータを取得するための撮影に基づき、ｓｆｍにより撮影対象の３Ｄモデルを作成する。基準点を用いない場合、この３Ｄモデルはローカル座標系上で記述される。

他方において、レイヤー１は、圃場の３Ｄモデルのデータを持つ。そこで、両者の対応関係を特定し、ｓｆｍで得た３Ｄモデルがレイヤー１の３Ｄモデルのどの部分に対応するのかを求める。

ここで、レイヤー１の３Ｄモデルは絶対座標系上で記述されている。よって、上記の対応関係に基づき、上記ｓｆｍにより作成された３Ｄモデルの絶対座標値が得られる。すなわち、当該３Ｄモデルを絶対座標系上で記述できる。また、レイヤー１のデータとの関係が明らかになる。

また、レイヤー２のデータの更新時において、前回得たレイヤー２のデータと今回得たレイヤー２のデータとの対応関係を特定する必要がある。例えば、房の位置に変化がなければ、同じ位置ということで、対応関係を判定できる。

前回と同じでない房の位置が算出された場合は、以下のようにする。第１の方法では、前回のデータ取得時の位置に最も近い位置で、且つ、今回は位置が特定できなかった房を対応する房として認識する。第２の方法では、３Ｄモデルの対応関係を用いて、対象の同一性を判定する。

（レイヤー３のデータの作成および更新）
レイヤー３のデータの作成および更新は、圃場内における作業ロボットや作業者の巡回、および作業ロボットや作業者による各種の作業時における撮影に基づいて行われる。よって、レイヤー２とレイヤー３のデータの取得は同時に行なわれる場合があり得る。

この例では、撮影画像から、ブドウの房における粒の大きさ、粒の数、軸長、作業情報等が取得され、そのデータが関連付けされてレイヤー３のデータとして管理される。

作業者は、頭部や作業ベストに多数のカメラを装着し、その一部は作業中の手元を写すように配置されている。例えば、作業者は頭部にステレオカメラを装着する。このステレオカメラは、顔が向く方向に向くように作業者の頭部に装着されている。

図６に処理の手順の一例を示す。まず、撮影画像のデータを得る（ステップＳ３０１）。次に、取得した画像データに基づき、撮影対象の３Ｄモデルを作成する（ステップＳ３０２）。次に、３Ｄモデルに基づき、実のデータ、ここでは、粒の大きさ、粒の数、軸長を得る。

次に作業情報を得る（ステップＳ３０４）。作業情報は、以下のようにして得られる。ここでは、整形の例を説明する。整形は、作業者が行うとする。この場合、作業者の手元あるいは作業に利用する器具には、作業の内容および作業の対象を撮影画像から特定するためのバーコード表示などの作業識別マーカが配置されている。

例えば、作業の内容が「ブドウの花穂整形」、作業の対象が「花穂が形成されている状態のブドウの房」である場合、その旨を特定できるコード表示が上記作業識別マーカに表示される。

例えば、作業員は手首に作業識別マーカであるバーコードを表示したリストバンドを装着している。または、作業に利用する器具に当該バーコードを表示する。この作業識別マーカを撮影画像の中から検出することで、作業の内容および作業の対象が識別される。

また例えば、作業がジベレリン処理の場合、ジベレリン処理を行う薬液が入った容器（この容器にブドウの房が浸漬される）に当該バーコード（作業識別マーカ）を表示する。この表示を画像認識することで、撮影画像に写った房にジベレリン処理が施されたことが認識される。

次に、作業識別マーカが検出された画像中において、作業の対象を特定する（ステップＳ３０５）。すなわち、撮影画像中からＡＩ画像認識により、枝や房といった個別の対象が認識されるが、この対象のうちのどれが、作業識別マーカから読み取られた作業対象であるかを特定する。

例えば、ブドウの房の場合を例としてステップＳ３０５の処理を説明する。まず、ステップＳ３０４において、房が作業の対象である旨が特定されたとする。この場合、対象となる画像中から房の画像が検出される。この検出は、ＡＩ画像認識を用いて行われる。この検出された房をステップＳ３０４において特定された作業の対象として認識する。

次に、この作業が特定された房とレイヤー２の内容との関係を求める（ステップＳ３０６）。ここでは画像中において、作業の内容が特定された房が特定されているが、この段階では、レイヤー２のデータとリンクしていない。そこで、作業の対象である該房がデータ２におけるどの房であるのかを特定する。この処理により、作業の対象として特定した対象物とレイヤー２のデータとの対応関係が特定される。

具体的には以下のようにする。まずレイヤー２に関して説明した方法により、作業を撮影した画像に基づき、当該房の絶対座標系における位置を算出する。この位置情報をレイヤー２のデータと照合し、当該房とレイヤー２のデータの対応関係を特定する。こうして、作業の内容とレイヤー２のデータの関係が特定される。そして、作業の内容およびその日時（撮影日時）をレイヤー３に記録する。こうして、レイヤー２とレイヤー３の関係が特定される。

作業の対象として特定した対象物とレイヤー２のデータとの対応関係を特定する方法として、撮影画像の対応関係を求め、それを利用する方法もある。この場合、レイヤー２に記憶されている画像データと作業時に撮影した画像の画像データとを比較し、対応する画像データを探索する。対応する画像を探し出すことで、作業の対象として特定した対象物とレイヤー２のデータとの対応関係を特定することができる。

作業の対象として特定した対象物とレイヤー２のデータとの対応関係を特定する方法として、３Ｄモデルを用いる方法もある。この場合、レイヤー２の房の３Ｄモデルと作業時に撮影した画像から得た房の３Ｄモデルとの対応関係を求めることで、作業の対象として特定した房とレイヤー２のデータにおける房との対応関係を特定する。

こうして、レイヤー３のデータの作成あるいは更新が行われる。各種の作業が行われる度に、上述した方法により、レイヤー２のデータに関連付けされたレイヤー３のデータの作成または更新が行われる。

（むすび）
レイヤー１とレイヤー２のデータは、座標変換により関連付けされている。また、上述のように、レイヤー３のデータは、レイヤー２のデータと関連付けがされている。これにより、図２のデータ構造が実現されている。

（作業情報を取得する他の方法）
作業情報を取得する方法として以下の方法もある。例えば、作業に用いる機器に作業内容報知スイッチがあり、作業者は、作業の開始時にこのスイッチをＯＮにし、終了時にＯＦＦにする。

このスイッチがＯＮの間、無線ＬＡＮを利用して農産物情報処理装置３００に当該作業の作業中である旨の信号が送られる。この信号を受信した農産物情報処理装置３００は、受信の開始事項と終了時刻を記憶する。これにより、作業の内容および対象と、作業の開始時刻と終了時刻が農産物情報処理装置３００の側において取得される。

そして、作業を撮影した画像の時刻と上記作業の開始時刻と終了時刻とを照合することで、作業を撮影した画像を特定する。

なお、当該スイッチを備えた作業報知用機器を作業者が携帯する形態も可能である。この場合、作業時に、作業の内容を特定できる識別信号を農産物情報処理装置３００に送信する。また、作業ロボットの場合は、作業の内容を作業ロボットが認識しているので、作業中に作業内容と作業中である旨の報知信号が農産物情報処理装置３００に送信される。

圃場において、複数の作業者が同時に作業する場合は以下のようにする。まず、各作業者が携帯するカメラと報知用機器のＩＤを予め取得しておく。カメラが撮影した撮影画像のデータは、カメラに付与されたＩＤと関連させて記録される。また作業内容にかかる報知信号も報知用機器に付与されたＩＤと共に報知用機器から送信される。これにより、各作業員に係る撮影画像と作業内容を知らせる報知信号を識別し、また両者を対応付ける。

（その他）
以上の説明では、レイヤー１とレイヤー２の１次データとしてカメラが撮影した撮影画像を用いる例を説明した。上記１次データとして、ＬｉＤＡＲを用いることもできる。この場合、識別ターゲットや作業識別マーカとして、ＬｉＤＡＲで識別できるものを採用する必要がある。また、画像データとＬｉＤＡＲのデータを併用する形態も可能である。

１００…圃場、１１０…ブドウの主幹、１２０…ブドウの主幹、１３０…ブドウの主幹、１４０…ブドウの主幹、１５０…識別ターゲット、１６０…基準ターゲット、２００…作業ロボット、２１０…多数のカメラ。

Claims (9)

1. 圃場における作物の位置をレイヤー１の情報として記憶し、前記作物の実の位置をレイヤー２の情報として記憶し、前記実に対して実施された作業の内容をレイヤー３の情報として記憶する記憶部と、
   前記作業を撮影した画像に基づき、前記レイヤー２の情報と前記レイヤー３の情報との対応関係を特定する対応関係特定部と
   を備える農産物情報処理装置。
2. 前記レイヤー２には、前記実の位置を特定するために利用した当該実の撮影画像の画像データが含まれ、
   前記対応関係の特定は、前記レイヤー２に含まれる前記撮影画像と前記作業を撮影した前記画像に共通に写っている対象に基づいて行われる請求項１に記載の農産物情報処理装置。
3. 前記実の近傍には、識別ターゲットが配置され、
   前記対応関係の特定は、前記レイヤー２に含まれる前記撮影画像と前記作業を撮影した前記画像に共通に写っている前記識別ターゲットの画像に基づいて行われる請求項２に記載の農産物情報処理装置。
4. 前記レイヤー２には、前記圃場の撮影画像が含まれ、
   前記対応関係の特定は、
   前記レイヤー２に含まれる前記圃場の撮影画像の中から、前記作業を撮影した前記画像に写った前記実を認識することで行われる請求項１または２に記載の農産物情報処理装置。
5. 前記レイヤー２には、前記実の３Ｄモデルのデータが含まれ、
   前記対応関係の特定は、前記レイヤー２に含まれる前記３Ｄモデルのデータと前記作業を撮影した前記画像に基づいて作成された３Ｄモデルとの対応関係に基づいて行われる請求項１に記載の農産物情報処理装置。
6. 前記作業に係る手段が作業の内容を表示する識別表示を備え、
   前記識別表示を撮影した画像に基づき、前記作業の内容が特定される請求項１～４のいずれか一項に記載の農産物情報処理装置。
7. 前記レイヤー１には、前記圃場における前記作物の位置を特定するための画像データが含まれ、
   前記レイヤー２には、前記実の位置を特定するための画像データが含まれ、
   前記レイヤー１の位置情報は絶対座標系上で記述されており、
   前記レイヤー２の位置情報はローカル座標系上で記述されており、
   前記レイヤー１の画像データと前記レイヤー２の画像データの対応関係に基づき、前記絶対座標系と前記ローカル座標系との関係を求める位置関係特定部を備える請求項１～４のいずれか一項に記載の農産物情報処理装置。
8. 圃場における作物の位置をレイヤー１の情報として記憶し、
   前記作物の実の位置をレイヤー２の情報として記憶し、
   前記実に対して実施された作業の内容をレイヤー３の情報として記憶し、
   前記作業を撮影した画像に基づき、前記レイヤー２の情報と前記レイヤー３の情報との対応関係を特定する農産物情報処理方法。
9. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータを
   圃場における作物の位置をレイヤー１の情報として記憶し、前記作物の実の位置をレイヤー２の情報として記憶し、前記実に対して実施された作業の内容をレイヤー３の情報として記憶する記憶部と、
   前記作業を撮影した画像に基づき、前記レイヤー２の情報と前記レイヤー３の情報との対応関係を特定する対応関係特定部と
   して動作させる農産物情報処理用プログラム。
   
   

Images