JP2020091640A - 物体分類システム、学習システム、学習データ生成方法、学習済モデル生成方法、学習済モデル、判別装置、判別方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】森林の樹木などの物体を分類することができる環境を従来よりも低いコストで用意する。【解決手段】上空からのテスト領域８０の写真またはテスト領域８０の各地点の高さの分布である第一の分布と各地点の勾配の分布である第二の分布とに基づいて、テスト領域８０に存在する複数の物体それぞれの輪郭を特定し、特定された輪郭ごとに、所定の複数の種類のうちの輪郭に存在する物体の種類に対応するラベルを付与し、輪郭ごとに、写真の中の各輪郭に囲まれた部分の部分画像および各輪郭に付与されたラベルを示す学習データを生成し、学習データそれぞれに示される部分画像およびラベルをそれぞれ入力および正解として用いて学習済モデルを生成する。【選択図】図１

Description

本発明は、森林の樹木などの物体を分類する技術に関する。

従来、森林に植えられている樹木を、森林をセンシングして得たデータに基づいて自動的に分類することが、多くの科学者や森林の管理者から求められている。

そこで、非特許文献１に記載される通り、ハイパースペクトルカメラ、マルチスペクトルカメラ、またはＬｉＤＡＲ（Light Detection and Ranging）センサなどの特殊なハードウェアで森林の情報を取得し、樹木の種類を特定する方法が、提案されている。

"Review of studies on tree species classification from remotely sensed data." Remote Sensing of Environment Sensing of Environment Sensing of Environment Sensing of Environment Sensing of Environment Sensing of Environment , 186 , 64 -87.，Fassnacht, F. E., Latifi, H., Sterenczak, K., Modzelewska, A., Lefsky, M., Waser, L. T., ... & Ghosh, A. ２０１６年著

しかし、上述のハードウェアは高価なので、上述の方法で森林の樹木を分類するのにコストが嵩んでしまう。

本発明は、このような問題点に鑑み、従来よりも低いコストで森林の樹木を分類できるようにすることを、目的とする。

本発明の一形態に係る物体分類システムは、上空からの第一の領域の第一の写真、当該第一の領域の各地点の高さの分布である第一の高さ分布、および当該各地点の勾配の分布である第一の勾配分布に基づいて、当該第一の領域に存在する複数の物体それぞれの第一の輪郭を特定する、第一の特定手段と、前記第一の特定手段によって特定された前記第一の輪郭ごとに、所定の複数の種類のうちの当該第一の輪郭に存在する物体の種類に対応するラベルを付与する付与手段と、前記第一の輪郭ごとに、前記第一の写真の中の当該第一の輪郭に囲まれた部分の部分画像および当該第一の輪郭に付与された前記ラベルを示す学習データを生成する、学習データ生成手段と、前記学習データそれぞれに示される前記部分画像および前記ラベルをそれぞれ問題および解答として用いて学習済モデルを生成する、学習手段と、上空からの第二の領域の第二の写真、当該第二の領域の各地点の高さの分布である第二の高さ分布、および当該各地点の勾配の分布である第二の勾配分布に基づいて、当該第二の領域に存在する複数の物体それぞれの第二の輪郭を特定する、第二の特定手段と、前記第二の特定手段によって特定された前記第二の輪郭ごとに、前記複数の種類のうちの当該第二の輪郭に存在する物体の種類を、前記第二の写真の中の当該第二の輪郭に囲まれた部分の画像および前記学習済モデルに基づいて判別する判別手段と、を有する。

本発明の一形態に係る学習システムは、上空からの領域の写真、当該領域の各地点の高さの分布である第一の分布、および当該各地点の勾配の分布である第二の分布に基づいて、当該領域に存在する複数の物体それぞれの輪郭を特定する、特定手段と、前記特定手段によって特定された前記輪郭ごとに、所定の複数の種類のうちの当該輪郭に存在する物体の種類に対応するラベルを付与する付与手段と、前記輪郭ごとに、前記写真の中の当該輪郭に囲まれた部分の部分画像および当該輪郭に付与された前記ラベルを示す学習データを生成する、学習データ生成手段と、前記学習データそれぞれに示される前記部分画像および前記ラベルをそれぞれ入力および正解として用いて学習済モデルを生成する、学習手段と、を有する。

本発明によると、従来よりも低いコストで森林の樹木などの物体を分類することができる。

樹木分類システムの全体的な構成の例を示す図である。 コンピュータのハードウェア構成の例を示す図である。 コンピュータの機能的構成の例を示す図である。 空中写真の例を示す図である。 学習データ生成部の構成の例を示す図である。 オルソ写真を生成する方法の例を示す図である。 オルソ写真、表層モデル、およびスロープモデルそれぞれの一部分の例を示す図である。 キャノピマップ一部分の例を示す図である。 ポリゴンデータの例を示す図である。 地上検証マップ一部分の例を示す図である。 境界付写真一部分の例を示す図である。 物体データの例を示す図である。 物体データを増やす方法の例を示す図である。 樹木分類部の例を示す図である。 樹木分布マップ一部分の例を示す図である。 樹木分類プログラムによる処理の流れの例を説明するフローチャートである。 学習データセット生成処理の流れの例を説明するフローチャートである。 樹木分類処理の流れの例を説明するフローチャートである。

〔全体の構成〕
図１は、樹木分類システム３の全体的な構成の例を示す図である。図２は、コンピュータ１のハードウェア構成の例を示す図である。図３は、コンピュータ１の機能的構成の例を示す図である。

図１に示すように、樹木分類システム３は、コンピュータ１およびドローン２などによって構成される。樹木分類システム３は、上空からの写真に写っている樹木をＡＩ（Artificial Intelligence）によって分類するサービスを提供する。

ドローン２は、デジタルカメラが搭載されたＵＡＶ（Unmanned Aerial Vehicle）であって、森林を上空から撮影することによって学習データの基となるカラー写真を取得するために用いられる。ドローン２は、市販のものでよく、例えば、ＤＪＩ社のPHANTOM 4が用いられる。

コンピュータ１は、図２に示すように、プロセッサ１０、ＲＡＭ（Random Access Memory）１１、ＲＯＭ（Read Only Memory）１２、補助記憶装置１３、ネットワークアダプタ１４、キーボード１５、ポインティングデバイス１６、入出力ボード１７、タッチパネルディスプレイ１８、および音声出力ユニット１９などによって構成される。

ＲＯＭ１２または補助記憶装置１３には、オペレーティングシステムのほか種々のプログラムがインストールされている。特に、本実施形態では、樹木分類プログラム４（図３参照）がインストールされている。補助記憶装置１３として、ＳＳＤ（Solid State Drive）またはハードディスクなどが用いられる。

ＲＡＭ１１は、コンピュータ１のメインメモリである。ＲＡＭ１１には、オペレーティングシステムのほか樹木分類プログラム４などのプログラムがロードされる。

プロセッサ１０は、ＲＡＭ１１にロードされたプログラムを実行する。プロセッサ１０として、ＧＰＵ（Graphics Processing Unit）またはＣＰＵ（Central Processing Unit）などが用いられる。

ネットワークアダプタ１４は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルでドローン２など他の装置と通信するための装置である。ネットワークアダプタ１４として、Ｗｉ−Ｆｉ用の子機が用いられる。

キーボード１５およびポインティングデバイス１６は、コマンドまたはデータなどをオペレータが入力するための入力装置である。

入出力ボード１７は、ドローン２と有線または無線を介して通信する。入出力ボード１７として、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＵＳＢ（Universal Serial Bus）、またはＢｌｕｅｔｏｏｔｈ（登録商標）に準拠した入出力ボードが用いられる。

タッチパネルディスプレイ１８は、コマンドもしくはデータを入力するための画面またはプロセッサ１０によって生成されたマップなどを表示する。

音声出力ユニット１９は、音声ボードおよびスピーカなどによって構成され、警告音などの音声を出力する。

樹木分類プログラム４は、図３に示す学習データ生成部４１、学習データ記憶部４２、樹木分類学習部４３、学習済モデル記憶部４４、樹木分類部４５、樹木分布マップ生成部４６、樹木分布マップ出力部４７などを実現するためのコンピュータプログラムである。

以下、ドローン２および図３に示す各部の処理を、学習のフェーズおよび推論のフェーズに大別して説明する。

〔学習のフェーズ〕
（１） データセットの準備
図４は、空中写真６０の例を示す図である。図５は、学習データ生成部４１の構成の例を示す図である。図６は、オルソ写真６２を生成する方法の例を示す図である。図７は、オルソ写真６２、表層モデル６３、およびスロープモデル６４それぞれの一部分の例を示す図である。図８は、キャノピマップ６５の一部分の例を示す図である。図９は、ポリゴンデータ６Ｔの例を示す図である。図１０は、地上検証マップ６６の一部分の例を示す図である。図１１は、境界付写真６７の一部分の例を示す図である。図１２は、物体データ７０の例を示す図である。図１３は、物体データ７０を増やす方法の例を示す図である。

ドローン２は、例えば次のように学習データの基となるデジタルカラー写真を取得し、コンピュータ１へ送信する。

オペレータは、予めドローン２の飛行の高度を地上から所定の高さ（例えば、８０メートル）に設定する。さらに、ドローン２による撮影の範囲を特定の領域に設定する。特定の領域は、大学または営林局などが運営する起伏の少ない森林の全部分または特定の一部分であって、特定の複数の種類の樹木が植えられている。以下、この特定の領域を「テスト領域８０」と記載する。

本実施形態では、テスト領域８０の広さは、約１０ヘクタールである。テスト領域８０には、「落葉広葉樹（deciduous broad-leaved tree）」、「メタセコイヤ（deciduous coniferous tree）」、「常緑広葉樹（evergreen broad-leaved tree）」、「ヒノキ（Chamaecyparis obtuse）」、「スラッシュマツ等（Pinus elliottii and Pinus taeda）」、および「ストローブマツ（Pinus strobus）」の６種類それぞれの樹木が植えられている。さらに、このテスト領域８０には、人工物が設置されている部分、裸地、または下層植生など、樹木が植えられていない部分が含まれる。このような部分は、「その他（other）」という種類に分類される。

設定が完了したら、オペレータは、撮影のコマンドをドローン２に入力する。すると、ドローン２は、離陸し、地上から所定の高さまで上昇し、テスト領域８０を撮影する。ただし、１回の撮影でテスト領域８０の全体を撮影することができないので、少しずつ水平に移動しながらテスト領域８０を一部分ずつ撮影する。これにより、図４のような複数のデジタルカラー写真が得られる。以下、これらのデジタルカラー写真を「空中写真６０」と記載する。なお、ドローン２は、隣り合う２つの空中写真６０同士がオーバラップするように撮影する。例えば、隣り合う２つの空中写真６０の８０％ずつがオーバラップするように撮影する。なお、撮影は特定の時期（例えば、秋）に行うのが望ましい。

さらに、ドローン２は、空中写真６０ごとに、撮影時におけるドローン２の位置情報６Ｌ（例えば、経緯度）を測定する。

そして、ドローン２は、これらの空中写真６０を、ＪＰＥＧ（Joint Photographic Experts Group）またはビットマップなどＲＧＢ（Red Green Blue）対応のフォーマットの画像データとしてコンピュータ１へ送信するとともに、空中写真６０ごとの位置情報６ＬをＣＳＶ（Comma Separated Value）フォーマットなどの位置データとしてコンピュータ１へ送信する。

なお、オペレータの操作に依らずドローン２が自動的に飛行し撮影するために、DroneDeploy社のDroneDeploy v2.66 によってドローン２を制御してもよい。また、位置の測定の精度を向上させるために、ドローン２は、ＧＣＰ（Ground Control Point）を複数（例えば、１０個）使用してもよい。

また、ドローン２からコンピュータ１へ空中写真６０および位置情報６Ｌを直接送信するのではなく、スマートフォンまたはタブレットコンピュータなどの端末装置に一旦、記憶させ、端末装置からコンピュータ１へ送信してもよい。または、ドローン２が着陸した後、空中写真６０および位置情報６Ｌを纏めてコンピュータ１へ送信してもよい。

コンピュータ１において、これらの空中写真６０および位置情報６Ｌが入力されると、図３の学習データ生成部４１によって学習データが次のように生成される。

学習データ生成部４１は、図５に示すように、オルソ写真生成部５０１、表層モデル生成部５０２、スロープモデル生成部５０３、キャノピマップ生成部５０４、ポリゴン属性記憶部５０５、ラベル付与処理部５０６、ポリゴン画像抽出部５０７、物体データ生成部５０８、および類似データ生成部５０９などによって構成される。

オルソ写真生成部５０１は、これらの空中写真６０および位置情報６Ｌに基づいてテスト領域８０全体を表わす１つのオルソ写真６２を生成する。ここで、図６を参照しながらオルソ写真６２の生成の方法の一例を説明する。

オルソ写真生成部５０１は、これらの空中写真６０に対して、歪みをなくす補正処理を施す。この歪みは、ドローン２のデジタルカメラのレンズの中心から被写体までの距離の違いによって生じる位置ズレである。この補正処理は、「正斜変換」または「正斜投影」などと呼ばれる。この補正処理によって、空中写真６０それぞれから補正写真６１が生成される。そして、これらの補正写真６１を、位置情報６Ｌに基づいてテスト領域８０におけるそれぞれの位置に応じて結合することによって、オルソ写真６２を生成する。

オルソ写真生成部５０１の代わりに、既存のソフトウェアによってオルソ写真６２を生成してもよい。例えば、Agisoft社のAgisoft Photoscan Professional v1.3.4によって生成してもよい。

表層モデル生成部５０２は、オルソ写真６２に基づいて表層モデル６３を生成する。表層モデル６３は、テスト領域８０のＤＥＭ（Digital Elevation Model）であって、テスト領域８０の、樹木および人工物などを含めた表面の形状を表わす。「ＤＳＭ（Digital Surface Model）」と呼ばれることもある。高さ（Elevation）に応じて着色すると、表層モデル６３は、図７のように表われる。

表層モデル６３は、公知の方法によって生成することができる。例えば、補正写真６１またはオルソ写真６２によって生成すればよい。テスト領域８０の各地点の表層は複数の補正写真６１に表われているので、これらの補正写真６１を用いて三角測量によって表層モデル６３を生成することができる。または、レーザ計測器などの深度計がドローン２に備わっている場合は、これを用いて表層モデル６３を生成してもよい。

表層モデル６３も、オルソ写真６２と同様に、既存のソフトウェア、例えば、Agisoft Photoscan Professional v1.3.4によって生成してもよい。

オルソ写真６２および表層モデル６３それぞれの解像度は、例えば、５センチメートル／ドットおよび９センチメートル／ドットである。

スロープモデル生成部５０３は、表層モデル６３に基づいてスロープモデル６４を生成する。スロープモデル６４は、テスト領域８０の、植物および人工物などを含めた表面の各地点の勾配の大きさを表わす。各地点の勾配の大きさは、公知の方法によって例えば次のように算出することができる。

スロープモデル生成部５０３は、表層モデル６３のドットごとに、前後左右それぞれに隣接する４つのドットとの間の高さの変化率（rate of elevation change）の絶対値を求める。そして、４つの絶対値のうち最も大きいものを、そのドットにおける勾配の大きさとして採用する。勾配の大きさに応じて着色すると、スロープモデル６４は、図７のように表われる。

例えば、あるドットＰ０（ｘ，ｙ）の高さがＥ０であり、ドットＰ１（ｘ−１，ｙ）、ドットＰ２（ｘ＋１，ｙ）、ドットＰ３（ｘ，ｙ−１）、およびドットＰ４（ｘ，ｙ＋１）それぞれの高さがＥ１、Ｅ２、Ｅ３、およびＥ４であり、かつ、隣り合う２つのドットそれぞれの中心同士の距離が「Ｄ」であれば、スロープモデル生成部５０３は、｜Ｅ１−Ｅ０｜／Ｄ、｜Ｅ２−Ｅ０｜／Ｄ、｜Ｅ３−Ｅ０｜／Ｄ、および｜Ｅ４−Ｅ０｜／Ｄ、のうちの最も大きい値をドットＰにおける勾配の大きさとして算出する。

スロープモデル生成部５０３の代わりに、既存のソフトウェアによって表層モデル６３からスロープモデル６４を生成してもよい。例えば、環境システム研究所社のArcGIS v10.4によって生成してもよい。

キャノピマップ生成部５０４は、図８のようなキャノピマップ６５を生成する。キャノピマップ６５には、テスト領域８０に植えられている樹木それぞれのキャノピ（樹冠）の輪郭が、ポリゴン６５Ａとして表われている。

ところで、オルソ写真６２、表層モデル６３、およびスロープモデル６４のそれぞれには、テスト領域８０に植えられている各樹木の輪郭を特定するための手掛かりが含まれている。

例えば、オルソ写真６２において、ある樹木と他の物体（人工物、他の樹木、または裸地など）との境界およびその近隣は、他の部分とはＲＧＢ各色の階調またはその変化の仕方が相違する。しかし、この相違だけでは、輪郭を特定することが難しい。

また、表層モデル６３において、ある樹木と他の物体との境界およびその近隣は、他の部分とは高さまたはその変化の仕方が相違する。しかし、この相違だけでは、輪郭を特定することが難しい。

また、スロープモデル６４において、ある樹木と他の物体との境界およびその近隣は、他の部分とは勾配またはその変化の仕方が相違する。しかし、この相違だけでは、輪郭を特定することが難しい。

このように、オルソ写真６２、表層モデル６３、およびスロープモデル６４には、輪郭を特定するための手掛かりが含まれているが、個々の手掛かりだけでは、輪郭を特定することが難しい。

そこで、キャノピマップ生成部５０４は、オルソ写真６２の赤の階調のみの写真（赤画像６２Ｒ）、緑の階調のみの写真（緑画像６２Ｇ）、青の階調のみの写真（青画像６２Ｂ）、表層モデル６３、およびスロープモデル６４に基づいてキャノピマップ６５を例えば次のように生成する。

キャノピマップ生成部５０４は、赤画像６２Ｒの中から、輪郭である可能性が一定の値以上であるドットを擬輪郭ドットとして特定し、擬輪郭ドットの分布を表わす疑輪郭マップを生成する。緑画像６２Ｇ、青画像６２Ｂ、表層モデル６３、およびスロープモデル６４についても同様に、それぞれの中から、輪郭である可能性が一定の値以上であるドットを擬輪郭ドットとして特定し、疑輪郭マップを生成する。これにより、５つの疑輪郭マップが生成される。

そして、キャノピマップ生成部５０４は、５つの疑輪郭マップを重ね合わせ、所定の個数（例えば、３つ）以上の擬輪郭ドットが重なった部分の分布を表わすマップをキャノピマップ６５として生成する。

なお、キャノピマップ６５の生成は、赤画像６２Ｒ、緑画像６２Ｇ、青画像６２Ｂ、表層モデル６３、およびスロープモデル６４それぞれの解像度を統一してから行うのが望ましい。

または、キャノピマップ６５を、既存のソフトウェアによって生成してもよい。例えば、オルソ写真６２、表層モデル６３、およびスロープモデル６４を入力データとしてTrimble社のeCognition Developer v9.0.0を用いて多重解像度セグメンテーション（Multiresolution Segmentation）のアルゴリズムによってキャノピマップ６５を生成してもよい。このアルゴリズムには、「Baatz & Schape 2000」が採用されている。

より輪郭が好適に得られるように、各入力データの重みを調整してもよい。例えば、赤画像６２Ｒ、緑画像６２Ｇ、青画像６２Ｂ、表層モデル６３、およびスロープモデル６４の重みをそれぞれ、「１」、「１」、「１」、「２」、および「３」に調整する。重みは、実験を繰り返しながら調整すればよい。また、キャノピマップ６５が生成された後、不備のあるポリゴン６５Ａをオペレータが修正してもよい。

さらに、キャノピマップ生成部５０４は、各ポリゴン６５Ａにユニークな識別コードを付与する。そして、ポリゴン６５Ａごとに、図９（Ａ）のような、そのポリゴン６５Ａの識別コード、形状、およびキャノピマップ６５における位置を示すポリゴンデータ６Ｔを生成し、ポリゴン属性記憶部５０５に記憶させる。

ラベル付与処理部５０６は、キャノピマップ６５の中の各ポリゴン６５Ａに対して、そのポリゴン６５Ａが表わす物体の種類に対応したラベル６Ｓを付与する。本実施形態では、「落葉広葉樹」、「メタセコイヤ」、「常緑広葉樹」、「ヒノキ」、「スラッシュマツ等」、「ストローブマツ」、および「その他」それぞれのラベル６Ｓとして、「クラス＿１」、「クラス＿２」、「クラス＿３」、「クラス＿４」、「クラス＿５」、「クラス＿６」、および「クラス＿７」が予め定義されている。

ポリゴン６５Ａへのラベル６Ｓの付与は、図９（Ｂ）のように、そのポリゴン６５Ａのポリゴンデータ６Ｔにラベル６Ｓを書き加えることによって、行えばよい。例えば、ポリゴン６５Ａａがメタセコイヤを表わすものである場合は、ラベル付与処理部５０６は、ポリゴン６５Ａａのポリゴンデータ６Ｔにラベル６Ｓとして「クラス＿２」を書き加える。

キャノピマップ６５に、各ポリゴン６５Ａに付与したラベル６Ｓごとに異なる色を付けることによって、図１０のような地上検証マップ（Ground Truth Map）６６が生成される。また、オルソ写真６２の上にキャノピマップ６５を重ねることによって、図１１のような、樹木および人工物などの物体の、上空からの様子および境界線を表わす境界付写真６７が生成される。

ところで、ラベル付与処理部５０６には、ポリゴン６５Ａをその形状に応じて上記の７つの種類のうちのいずれかに分類するための手段（例えば、分類器）が備わっていないことがある。そこで、ラベル付与処理部５０６がキャノピマップ６５、地上検証マップ６６、または境界付写真６７をタッチパネルディスプレイ１８に表示させ、すべてのポリゴン６５Ａをオペレータに分類させてもよい。そして、ラベル付与処理部５０６は、オペレータによる分類の結果に応じて各ポリゴン６５Ａにラベル６Ｓを付与すればよい。

または、すべてのポリゴン６５Ａのうちの幾つか（例えば、全体の０．５〜１割程度）をオペレータが分類した後、ラベル付与処理部５０６が、分類結果を学習データとして用いて機械学習することによって分類器を生成し、分類器によって残りを分類してもよい。この方法は、既存のソフトウェアを用いて行うことができる。例えば、フォレストマッピングのための最近傍分類をeCognitionに適用することによって、一部のポリゴン６５Ａを分類し、地上検証マップ６６を生成してもよい。この方法は、２０１４年にMachalaおよびZejdovaによって提案されたものである。

ポリゴン画像抽出部５０７は、各ポリゴン６５Ａのポリゴンデータ６Ｔに基づいて、オルソ写真６２から各ポリゴン６５Ａの画像をポリゴン画像６Ｐとして抽出する。具体的には、ポリゴン６５Ａａ、６５Ａｂ、６５Ａｃ、…ごとに、オルソ写真６２における区域を特定し、特定した区域の画像をポリゴン画像６Ｐａ、６Ｐｂ、６Ｐｃ、…として抽出する。

物体データ生成部５０８は、ポリゴン６５Ａごとに、そのポリゴン６５Ａに基づいて抽出されたポリゴン画像６Ｐの画像データおよびそのポリゴン６５Ａに対して付与されたラベル６Ｓのラベルデータを含む物体データ７０を生成する。これにより、ポリゴン６５Ａごとに、図１２のような、多数の物体データ７０が生成される。

そして、物体データ生成部５０８は、これらの物体データ７０を学習データ記憶部４２に記憶させる。例えば、ポリゴン６５ＡがＮ個ある場合は、Ｎ個の物体データ７０が生成され、学習データ記憶部４２に記憶される。これらの物体データ７０は、後述するように、機械学習のためのデータセットとして用いられる。

これらの物体データ７０だけでは、データセットの個数が十分でない場合がある。そこで、類似データ生成部５０９は、より多くのデータセットを得るために、これらのポリゴン画像６Ｐそれぞれの類似する画像を生成することによって、物体データ７０を増やす処理を行う。以下、この処理の方法を、あるポリゴン画像６Ｐｋを用いる場合を例に図１３を参照しながら説明する、
類似データ生成部５０９は、ポリゴン画像６Ｐｋのコピーを複数、生成し、各コピーをそれぞれ異なる角度で回転させることによって回転画像６Ｐｋｘを生成する。これらの角度はランダムに決定してもよいし、規則的に決定してもよい。本例では回転画像６Ｐｋｘを３つ生成しているが、４つ以上生成してもよい。例えば、１５〜２０個程度、生成してもよい。

さらに、類似データ生成部５０９は、回転画像６Ｐｋｘごとに、その回転画像６Ｐｋｘの画像データおよびオリジナル（本例では、ポリゴン画像６Ｐｋ）のラベル６Ｓのラベルデータを含む類似物体データ７０ｘを生成する。そして、これらの類似物体データ７０ｘを物体データ７０として学習データ記憶部４２に記憶させる。

類似データ生成部５０９は、ポリゴン画像６Ｐｋ以外のポリゴン画像６Ｐについても同様に、図１３で説明した処理を行う。

（２） 機械学習の実行
図３の樹木分類学習部４３は、学習データ記憶部４２から物体データ７０を読み出し、これらの物体データ７０を用いて機械学習を行うことによって、樹木の種類を識別するための学習済モデル７２を生成する。物体データ７０の中の画像データが入力（説明変数）のデータとして用いられ、ラベルデータが正解（目的変数）のデータとして用いられる。

機械学習の際に、これらの物体データ７０のうちの、クラス＿１ないしクラス＿７それぞれのＲａ％分が学習データとして用いられ、クラス＿１ないしクラス＿７それぞれのＲｂ％分が検証データとして用いられ、クラス＿１ないしクラス＿７それぞれのＲｃ％分がテストデータとして用いられる。ただし、（Ｒａ＋Ｒｂ＋Ｒｃ）＝１００、である。例えば、Ｒａ＝５０、Ｒｂ＝２５、Ｒａ＝２５、である。どの物体データ７０を学習データ、検証データ、およびテストデータのうちのいずれのデータとして用いるのかは、ランダムに決定すればよい。

機械学習は、ディープラーニングなどの教師あり学習の手法によって行われる。公知のアプリケーションを使用して機械学習を行ってもよい。例えば、nVIDIA社のDIGITs 5.0を使用すればよい。DIGITs 5.0には、複数のフレームワークおよび複数の学習ネットワークが組み込まれているが、本実施形態では、フレームワークとしてCaffeが用いられ、学習ネットワークとしてGoogLeNetが用いられる。他のフレームワークまたは学習ネットワークが用いられてもよい。

また、機械学習を開始する前に、樹木分類学習部４３は、すべてのポリゴン画像６Ｐのサイズを所定の大きさに統一してもよい。例えば、２５６×２５６ピクセルに統一するために、それぞれのポリゴン画像６Ｐの周囲のピクセルに特定の画素（例えば、黒色の画素）を配置する。そして、サイズを統一した後、上述の要領で機械学習を実行することによって学習済モデル７２を生成する。学習済モデル７２は、学習済モデル記憶部４４に記憶される。

〔推論のフェーズ〕
図１４は、樹木分類部４５の例を示す図である。図１５は、樹木分布マップ６８の一部分の例を示す図である。

樹木分類部４５は、推論の対象の森林に植えられている樹木を、学習済モデル７２を用いて分類する。樹木分類部４５は、図１４に示すように、オルソ写真生成部５２１、表層モデル生成部５２２、スロープモデル生成部５２３、キャノピマップ生成部５２４、ポリゴン属性記憶部５２５、ポリゴン画像抽出部５２６、および樹木種類判別部５２７などによって構成される。

以下、樹木分類部４５の各部による処理を、テスト領域８０とは異なる対象領域８２の樹木を分類する場合を例に説明する。

ドローン２は、テスト領域８０の空中写真６０および位置情報６Ｌを取得する方法と同様の方法で、対象領域８２の空中写真６０’および位置情報６Ｌ’を取得する。そして、空中写真６０’および位置情報６Ｌ’をコンピュータ１へ送信する。なお、対象領域８２の撮影は、テスト領域８０の撮影の時期と同じであるのが望ましい。

オルソ写真生成部５２１は、図５のオルソ写真生成部５０１が空中写真６０および位置情報６Ｌに基づいてオルソ写真６２を生成する方法と同様の方法で（図６参照）、対象領域８２のオルソ写真６２’を生成する。なお、コンピュータ１以外の装置で生成されたオルソ写真をオルソ写真６２’として用いてもよい。

表層モデル生成部５２２は、表層モデル生成部５０２がオルソ写真６２に基づいて表層モデル６３を生成する方法と同様の方法で、オルソ写真６２’に基づいて対象領域８２の表層モデル６３’を生成する。

スロープモデル生成部５２３は、スロープモデル生成部５０３が表層モデル６３に基づいてスロープモデル６４を生成する方法と同様の方法で、表層モデル６３’に基づいて対象領域８２のスロープモデル６４’を生成する。

キャノピマップ生成部５２４は、キャノピマップ生成部５０４がオルソ写真６２、表層モデル６３、およびスロープモデル６４に基づいてキャノピマップ６５を生成する方法と同様の方法で、オルソ写真６２’、表層モデル６３’、およびスロープモデル６４’に基づいて対象領域８２のキャノピマップ６５’を生成する。この際に、キャノピマップ６５’の中のポリゴン６５Ａ’ごとに、そのポリゴン６５Ａ’の識別コード、形状、およびキャノピマップ６５’における位置を示すポリゴンデータ６Ｔ’を生成し、ポリゴン属性記憶部５２５に記憶させる。

ポリゴン画像抽出部５２６は、ポリゴン画像抽出部５０７がオルソ写真６２からポリゴン６５Ａごとのポリゴン画像６Ｐを抽出する方法と同様の方法で、各ポリゴン６５Ａ’のポリゴンデータ６Ｔ’に基づいて、オルソ写真６２’から各ポリゴン６５Ａ’の画像をポリゴン画像６Ｐ’として抽出する。これにより、対象領域８２に存在する個々の物体（樹木または人工物など）ごとのポリゴン画像６Ｐ’が抽出される。

樹木種類判別部５２７は、ポリゴン画像６Ｐ’それぞれが表わす物体の種類を、ポリゴン画像６Ｐ’を推論入力データとして用いて学習済モデル７２に基づいて判別する。本実施形態では、「落葉広葉樹」、「メタセコイヤ」、「常緑広葉樹」、「ヒノキ」、「スラッシュマツ等」、「ストローブマツ」、および「その他」のうちのいずれであるかを判別する。

そして、樹木種類判別部５２７は、各ポリゴン画像６Ｐ’のポリゴン６５Ａ’のポリゴンデータ６Ｔ’に、分類先の種類に対応するラベルをラベル６Ｓ’として書き加える。例えば、ポリゴン画像６Ｐｒ’が表わす物体がストローブマツであると判別した場合は、ポリゴン６５Ａｒ’のポリゴンデータ６Ｔ’にラベル６Ｓ’として「クラス＿６」を書き加える。

このように、樹木分類部４５によると、オルソ写真６２’に写っている各物体が７つの種類のいずれかに分類される。

樹木分布マップ生成部４６は、ポリゴンデータ６Ｔ’に基づいて、図１５のような樹木分布マップ６８を生成する。樹木分布マップ６８は、地上検証マップであって、キャノピマップ６５’に、各ポリゴン６５Ａ’に付与したラベル６Ｓ’ごとに異なる色を付けることによって、生成される。

樹木分布マップ出力部４７は、樹木分布マップ６８をタッチパネルディスプレイ１８に表示する。オルソ写真６２’およびキャノピマップ６５’を樹木分布マップ６８と並べて表示してもよい。または、オルソ写真６２’にキャノピマップ６５’を重ねたものを、樹木分布マップ６８と並べて表示してもよい。

〔全体的な処理の流れ〕
図１６は、樹木分類プログラム４による処理の流れの例を説明するフローチャートである。図１７は、学習データセット生成処理の流れの例を説明するフローチャートである。図１８は、樹木分類処理の流れの例を説明するフローチャートである。

次に、コンピュータ１による全体的な処理の流れを、図１６〜図１８のフローチャートを参照しながら説明する。コンピュータ１は、樹木分類プログラム４に基づいて、図１６に示す手順で処理を実行する。

コンピュータ１は、テスト領域８０のデジタルカラー写真に基づいて機械学習用のデータセットを、図１７に示す手順で生成する（図１６の＃１０１）。

コンピュータ１は、ドローン２から複数の空中写真６０を取得し、これらの空中写真６０を用いてオルソ写真６２を生成する（図１７の＃１２１）。オルソ写真６２を生成する方法の一例は、図６で説明した通りである。

コンピュータ１は、オルソ写真６２に基づいて表層モデル６３を生成し（＃１２２）、表層モデル６３に基づいてスロープモデル６４を生成する（＃１２３）。オルソ写真６２、表層モデル６３、およびスロープモデル６４に基づいて、図８のようなキャノピマップ６５を生成する（＃１２４）。

コンピュータ１は、キャノピマップ６５の中のポリゴン６５Ａごとに、オルソ写真６２からポリゴン画像６Ｐを抽出するとともに（＃１２５）、ポリゴン画像６Ｐが表わす物体の種類に対応するラベル６Ｓを付与する（＃１２６）。そして、ポリゴン６５Ａごとに、抽出したポリゴン画像６Ｐおよび付与したラベル６Ｓを示す物体データ７０を生成する（＃１２７）。

さらに、コンピュータ１は、図１３で説明した方法で、回転させたポリゴン画像６Ｐおよびラベル６Ｓを示す類似物体データ７０ｘを生成する（＃１２８）。

図１６に戻って、コンピュータ１は、生成した物体データ７０を学習データ記憶部４２に保存する（＃１０２）。類似物体データ７０ｘも、物体データ７０として学習データ記憶部４２に保存する。

コンピュータ１は、学習データ記憶部４２に保存した物体データ７０のうちの一部を学習データとして使用し、他の一部を検証データとして使用し、残りをテストデータとして使用することによって、ディープラーニングの手法に基づいて機械学習を行う（＃１０３）。これにより、学習済モデル７２が生成される。生成した学習済モデル７２を学習済モデル記憶部４４に保存する（＃１０４）。

コンピュータ１は、対象領域８２のデジタルカラー写真に基づいて対象領域８２の樹木を、図１８に示す手順で分類する（＃１０５）。

コンピュータ１は、ドローン２から複数の空中写真６０’を取得し、これらの空中写真６０’を用いてオルソ写真６２’を生成する（図１８の＃１３１）。

コンピュータ１は、オルソ写真６２’に基づいて表層モデル６３’を生成し（＃１３２）、表層モデル６３’に基づいてスロープモデル６４’を生成する（＃１３３）。オルソ写真６２’、表層モデル６３’、およびスロープモデル６４’に基づいてキャノピマップ６５’を生成する（＃１３４）。

さらに、コンピュータ１は、キャノピマップ６５’の中のポリゴン６５Ａ’ごとに、オルソ写真６２’からポリゴン画像６Ｐ’を抽出するとともに（＃１３５）、ポリゴン画像６Ｐ’が表わす物体の種類を学習済モデル７２に基づいて判別する（＃１３６）。そして、ポリゴン６５Ａ’ごとに、判別結果に基づいてポリゴンデータ６Ｔ’を生成する（＃１３７）。

図１６に戻って、コンピュータ１は、生成したポリゴンデータ６Ｔ’に基づいて図１５のような樹木分布マップ６８を生成し（＃１０６）、表示する（＃１０７）。

本実施形態によると、機械学習のための学習データを生成するに当たり、ドローン２で撮影して得た複数の空中写真６０からテスト領域８０全体のオルソ写真６２を生成し、さらに表層モデル６３およびスロープモデル６４を生成した。そして、オルソ写真６２、表層モデル６３、およびスロープモデル６４に基づいて学習データとして物体データ７０を生成した。

しかも、ドローン２によると有人航空機よりも低い高度で撮影することができるので、有人航空機から撮影する場合よりも安価なデジタルカメラを使用することができる。

よって、本実施形態によると、従来のように高価なハードウェアを用いることなく学習データを取得し、学習済モデルを生成することができる。

〔変形例〕
本実施形態では、コンピュータ１を、対象領域８２に存在する樹木を分類するために用いたが、他の物体を分類するために用いてもよい。例えば、草原に分布する草花、低木、動物の住処（蟻塚、モグラの巣などの、動物の巣）、または地形などを分類するために用いてもよい。または、岩石を分類するために用いてもよい。

いずれの種類を分類する場合も、コンピュータ１およびドローン２は、基本的に本実施形態と同様の処理を行えばよい。

ただし、草花を分類する場合は、ドローン２は、樹木を分類する場合よりも低い高度で撮影を行うことによって空中写真６０を収集する。草花の形状はビルの形状のように急傾斜が生じているので、本実施形態と同様にスロープモデルを用いることが有効的であるが、樹木よりも小さいので、草花のサイズに合わせて高度を下げて撮影するのが望ましい。低木を分類する場合および湖沼の植物（例えば、葦）を分類する場合も、同様である。

一方、地形（湖沼、平野、丘陵、河川）を分類する場合は、ドローン２は、樹木を分類する場合よりも高い高度で撮影を行うことによって空中写真６０を収集してもよい。または、解像度を下げて空中写真６０を収集してもよい。そのほか、地形に現われている火山岩、半深成岩、深成岩、堆積岩などの岩石を分類してもよい。

本実施形態では、キャノピマップ６５を生成する際の、赤画像６２Ｒ、緑画像６２Ｇ、青画像６２Ｂ、表層モデル６３、およびスロープモデル６４の重みの比を１：１：１：２：３に設定したが、赤画像６２Ｒ、緑画像６２Ｇ、青画像６２Ｂの重みよりも表層モデル６３の重みのほうが大きく、かつ、表層モデル６３の重みよりもスロープモデル６４の重みのほうが大きければ、他の比であってもよい。例えば、１：１：１：１．５：２であってもよい。または１：１：１：２．５：３．５であってもよい。赤画像６２Ｒ、緑画像６２Ｇ、青画像６２Ｂの比も、１：１：１以外であってもよい。例えば、０．９：１：１．１であってもよい。

または、赤画像６２Ｒ、緑画像６２Ｇ、および青画像６２Ｂの重みをゼロにしてもよい。つまり、オルソ写真６２を用いずに表層モデル６３およびスロープモデル６４に基づいてキャノピマップ６５を生成してもよい。または、表層モデル６３の重みをゼロにしてもよい。つまり、表層モデル６３を用いずにオルソ写真６２およびスロープモデル６４に基づいてキャノピマップ６５を生成してもよい。

アリ塚のような、色の特徴が小さいが三次元形状の特徴が顕著であるオブジェクトを分類する場合は、オルソ写真６２および表層モデル６３のいずれか一方のみおよびスロープモデル６４に基づいてキャノピマップ６５を生成しても、一定の精度の結果が得られる。

本実施形態では、１つの時期にテスト領域８０を撮影したが、複数の時期それぞれに撮影してもよい。以下、複数の時期に撮影する際の処理について、春夏秋冬の４つの時期に撮影する場合を例に説明する。

コンピュータ１は、４つの時期それぞれのオルソ写真６２を、それぞれの時期の空中写真６０に基づいて生成する。いずれかの時期のオルソ写真６２に基づいてキャノピマップ６５を生成する。４つの時期それぞれのオルソ写真６２から、ポリゴン６５Ａごとにポリゴン画像６Ｐを抽出する。さらに、ポリゴン６５Ａごとにラベル６Ｓを付与する。

コンピュータ１は、ポリゴン６５Ａごとに、抽出した４つの時期それぞれのポリゴン画像６Ｐと付与したラベル６Ｓとを示すデータセットを物体データ７０として生成し、学習データ記憶部４２によって記憶する。さらに、４つの時期それぞれのポリゴン画像６Ｐを回転させた画像と付与したラベル６Ｓとを示すデータセットを類似物体データ７０ｘとして生成し、物体データ７０として学習データ記憶部４２によって記憶する。

そして、コンピュータ１は、これらの物体データ７０に基づいて学習済モデル７２を生成する。つまり、入力（説明変数）として、４つの時期それぞれのポリゴン画像６Ｐの組合せを用いて機械学習を行う。

次に、対象領域８２の樹木分布マップ６８を生成する際に、コンピュータ１は、対象領域８２の４つの時期それぞれのオルソ写真６２’を、それぞれの時期の空中写真６０’に基づいて生成する。４つの時期それぞれのオルソ写真６２’から、ポリゴン６５Ａ’ごとにポリゴン画像６Ｐ’を抽出する。

そして、コンピュータ１は、抽出した４つのポリゴン画像６Ｐ’の組合せを推論入力データとして用い、学習済モデル７２によって、４つのポリゴン画像６Ｐ’が表わす物体の種類を判別する。

本実施形態では、図３に示した各手段をコンピュータ１に集約したが、複数の装置に分散してもよい。例えば、学習データ生成部４１を第一のコンピュータに設け、学習データ記憶部４２を第一のファイルサーバに設け、樹木分類学習部４３を第二のコンピュータに
藻池、学習済モデル記憶部４４を第二のファイルサーバに藻池、樹木分類部４５、樹木分布マップ生成部４６、および樹木分布マップ出力部４７を第三のコンピュータに設けてもよい。

その他、樹木分類システム３、コンピュータ１の全体または各部の構成、処理内容、処理順序、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。

１ コンピュータ（物体分類システム、学習装置、学習データ生成装置、判別装置）
１０ プロセッサ
１４ ネットワークアダプタ（入力手段）
１７ 入出力ボード（入力手段）
２ ドローン
４ 樹木分類プログラム（コンピュータプログラム）
４３ 樹木分類学習部（学習手段）
４４ 学習済モデル記憶部（記録手段）
４５ 樹木分類部（判別手段）
５０４ キャノピマップ生成部（第一の特定手段、特定手段）
５０６ ラベル付与処理部（付与手段）
５０８ 物体データ生成部（学習データ生成手段）
５０９ 類似データ生成部（第二の学習データ生成手段）
５２４ キャノピマップ生成部（第二の特定手段）
６０ 空中写真（部分写真）
６２ オルソ写真（第一の写真、写真）
６２Ｂ 青画像
６２Ｇ 緑画像
６２Ｒ 赤画像
６２’ オルソ写真（第二の写真）
６３ 表層モデル（第一の高さ分布、第一の分布）
６３’ 表層モデル（第二の高さ分布）
６４ スロープモデル（第一の勾配分布、第二の分布）
６４’ スロープモデル（第二の勾配分布）
６５Ａ ポリゴン（第一の輪郭、輪郭）
６５Ａ’ ポリゴン（第二の輪郭）
６Ｓ ラベル
７０ 物体データ（学習データ）
７０ｘ 類似物体データ（第二の学習データ）
７２ 学習済モデル
８０ テスト領域（第一の領域、領域）
８２ 対象領域（第二の領域）

Claims (16)

1. 上空からの第一の領域の第一の写真および当該第一の領域の各地点の高さの分布である第一の高さ分布のうちの少なくとも１つと当該各地点の勾配の分布である第一の勾配分布とに基づいて、当該第一の領域に存在する複数の物体それぞれの第一の輪郭を特定する、第一の特定手段と、
   前記第一の特定手段によって特定された前記第一の輪郭ごとに、所定の複数の種類のうちの当該第一の輪郭に存在する物体の種類に対応するラベルを付与する付与手段と、
   前記第一の輪郭ごとに、前記第一の写真の中の当該第一の輪郭に囲まれた部分の部分画像および当該第一の輪郭に付与された前記ラベルを示す学習データを生成する、学習データ生成手段と、
   前記学習データそれぞれに示される前記部分画像および前記ラベルをそれぞれ問題および解答として用いて学習済モデルを生成する、学習手段と、
   上空からの第二の領域の第二の写真、当該第二の領域の各地点の高さの分布である第二の高さ分布、および当該各地点の勾配の分布である第二の勾配分布に基づいて、当該第二の領域に存在する複数の物体それぞれの第二の輪郭を特定する、第二の特定手段と、
   前記第二の特定手段によって特定された前記第二の輪郭ごとに、前記複数の種類のうちの当該第二の輪郭に存在する物体の種類を、前記第二の写真の中の当該第二の輪郭に囲まれた部分の画像および前記学習済モデルに基づいて判別する判別手段と、
   を有することを特徴とする物体分類システム。
2. 上空からの領域の写真および当該領域の各地点の高さの分布である第一の分布のうちの少なくとも１つと当該各地点の勾配の分布である第二の分布とに基づいて、当該領域に存在する複数の物体それぞれの輪郭を特定する、特定手段と、
   前記特定手段によって特定された前記輪郭ごとに、所定の複数の種類のうちの当該輪郭に存在する物体の種類に対応するラベルを付与する付与手段と、
   前記輪郭ごとに、前記写真の中の当該輪郭に囲まれた部分の部分画像および当該輪郭に付与された前記ラベルを示す学習データを生成する、学習データ生成手段と、
   前記学習データそれぞれに示される前記部分画像および前記ラベルをそれぞれ入力および正解として用いて学習済モデルを生成する、学習手段と、
   を有することを特徴とする学習システム。
3. 前記特定手段は、前記写真として、ドローンによって前記領域を一部分ずつ撮影して得られた部分写真に基づいて作成したオルソ写真を用いて前記輪郭を特定する、
   請求項２に記載の学習システム。
4. 前記特定手段は、前記写真に基づいて前記第一の分布を算出し、前記第一の分布に基づいて前記第二の分布を算出し、前記写真ならびに算出した当該第一の分布および当該第二の分布に基づいて前記輪郭を特定する、
   請求項２または請求項３に記載の学習システム。
5. 前記特定手段は、前記写真の、３原色のうちの赤色のみの階調で表わされる赤画像、緑色のみの階調で表わされる緑画像、および青色のみの階調で表わされる青画像と、前記第一の分布と、前記第二の分布と、に基づいて前記輪郭を特定する、
   請求項２ないし請求項４のいずれかに記載の学習システム。
6. 前記特定手段は、前記赤画像、前記緑画像、および前記青画像に対する重みよりも大きい重みを前記第一の分布に対して掛け、前記第二の分布に対してさらに大きい重みを掛けて、前記輪郭を特定する、
   請求項５に記載の学習システム。
7. 前記輪郭ごとに、当該輪郭の前記部分画像を回転させた第二の部分画像および当該輪郭に付与された前記ラベルを示す第二の学習データを生成する、第二の学習データ生成手段、を有し、
   前記学習手段は、前記第二の学習データそれぞれに示される前記第二の部分画像および前記ラベルをそれぞれ入力および正解としてさらに用いて前記学習済モデルを生成する、
   請求項２ないし請求項６のいずれかに記載の学習システム。
8. 前記写真として、撮影された時期の異なる複数の時期別写真を入力する、入力手段、
   を有し、
   前記学習データ生成手段は、前記学習データとして、前記部分画像および前記複数の時期別写真のうちの当該部分画像の基の時期別写真が撮影された撮影時期ならびに前記ラベルを示すデータを生成し、
   前記学習手段は、前記部分画像および前記撮影時期を入力として用い前記ラベルを正解として用いて前記学習済モデルを生成する、
   請求項２ないし請求項７のいずれかに記載の学習システム。
9. 前記領域は、森林であり、
   前記複数の種類は、複数の樹木の種類を含む、
   請求項２ないし請求項８のいずれかに記載の学習システム。
10. 上空からの領域の写真および当該領域の各地点の高さの分布である第一の分布のうちの少なくとも１つと当該各地点の勾配の分布である第二の分布とに基づいて、当該領域に存在する複数の物体それぞれの輪郭を特定し、
    特定された前記輪郭ごとに、所定の複数の種類のうちの当該輪郭に存在する物体の種類に対応するラベルを付与し、
    前記輪郭ごとに、前記写真の中の当該輪郭に囲まれた部分の部分画像および当該輪郭に付与された前記ラベルを示す学習データを生成する、
    ことを特徴とする学習データ生成方法。
11. 請求項１０に記載の学習データ生成方法で生成された学習データを使用して学習済モデルを生成する学習済モデル生成方法。
12. 前記学習データそれぞれに示される前記部分画像および前記ラベルをそれぞれ入力および正解として用いて学習済モデルを生成する、
    請求項１１に記載の学習済モデル生成方法。
13. 請求項１０に記載の学習システムによって生成された、
    学習済モデル。
14. 請求項１１または請求項１３に記載の学習済モデル生成方法で生成された学習済モデルを記録した記録手段と、
    前記学習済モデルを用いて入力データに示される物体の種類を判別する判別手段と、
    を有することを特徴とする判別装置。
15. 請求項１１または請求項１３に記載の学習済モデル生成方法で生成された学習済モデルを用いて入力データに示される物体の種類を判別する、
    ことを特徴とする判別方法。
16. 物体が所定の複数の種類のうちのいずれに該当するのかを決定するための学習済モデルを生成するコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    上空からの領域の写真および当該領域の各地点の高さの分布である第一の分布のうちの少なくとも１つと当該各地点の勾配の分布である第二の分布とに基づいて、当該領域に存在する複数の物体それぞれの輪郭を特定する処理を実行させ、
    特定された前記輪郭ごとに、前記複数の種類のうちの当該輪郭に存在する物体の種類に対応するラベルを付与する処理を実行させ、
    前記輪郭ごとに、前記写真の中の当該輪郭に囲まれた部分の部分画像および当該輪郭に付与された前記ラベルを示す学習データを生成する処理を実行させ、
    前記学習データそれぞれに示される前記部分画像および前記ラベルをそれぞれ入力および正解として用いて学習済モデルを生成する処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images