JP2020180842A - 赤外線写真画像の処理方法、赤外線写真画像の処理装置、および赤外線写真画像の処理用プログラム - Google Patents

Abstract

【課題】夜間に空中から撮影した赤外線画像を用いた計測において、画像間の対応関係の特定を精度よく行う。【解決手段】夜間にＵＡＶ１００に搭載した赤外線カメラ１０１を用いて空中から農場５００を撮影する方法であって、農場５００には、複数の赤外線発光点Ｐｊが配置され、ＵＡＶ１００を夜間飛行させながら、赤外線カメラ１０１により、農場５００を一部が重複する状態で複数回撮影する。そして重複撮影された部分における赤外線発光点の輝点を利用して、前記複数の赤外線写真間の対応関係を特定する。【選択図】図１

Description

本発明は、夜間に空中から測量を行う技術に関する。

光学的な手法により、農場の土壌の肥沃の状態を定量的に把握する技術が知られている（例えば、特許文献１参照）。農作物の生育に必要な要素として土壌の温度が重要であるが、一般に昼間と夜間とで、土壌の温度分布には差がある。土壌の昼夜の温度差は、作物の出来や味に大きな影響を与えることが知られている。

特許第３９０６３２６号公報

ところで、空中から土壌中の計測が行なえると便利である。この技術として、ＵＡＶ（ Unmanned aerial vehicle：無人航空機）から農地の撮影を行い、その撮影画像を解析する方法がある。

ＵＡＶを用いて空撮により土壌の温度を計測する場合、赤外線カメラを用いて土壌の撮影を行う。この技術では、地表の場所と温度の関係を得なければならないので、航空写真測量と同様な手法により、画像中に写った対象の位置の特定が行なわれる。

この技術では、時間軸上で隣接または近接する静止画像間のレジストレーション（対応関係の特定）を行い、交会法により画像に写った地面の位置が計算される。よって、上記のレジストレーションの精度が最終的なデータの精度を保つ上で重要となる。昼間に空撮した画像であれば、可視画像があるので、各画像から特徴点を抽出して点群を得、点群同士の対応関係を探索することで、上記のレジストレーションが行なわれる。

しかしながら、夜間に撮影を行った場合、可視画像がないので、昼間のような静止画像間のレジストレーションは行えない。夜間の場合、赤外線画像は得られるが、通常は土壌における温度分布は緩やかであり、エッジの効いた画像とならず、特徴点を用いたレジストレーションの精度は、昼間の場合よりも低くなる。

このような背景において、本発明は、夜間に空中から撮影した赤外線画像を用いた計測において、画像間の対応関係の特定を精度よく行う技術を得ることを目的とする。

本発明は、夜間にＵＡＶに搭載した赤外線カメラを用いて空中から地表を撮影する技術において、前記地表には、複数の赤外線発光点が配置され、前記ＵＡＶを夜間飛行させながら、前記赤外線カメラにより、前記地表を一部が重複する状態で複数回撮影し、前記重複撮影された部分における前記赤外線発光点の輝点を利用して、前記複数回撮影されることで得た複数の赤外線写真間の対応関係を特定する赤外線写真画像の処理方法である。

本発明において、前記複数の赤外線発光点には、異なる発光波長のものが含まれており、前記複数の赤外線発光点の少なくとも一部は、予め位置が特定されており、前記発光波長の違いにより、前記予め位置が特定されている赤外線発光点と予め位置が特定されていない赤外線発光点との識別が行なわれる態様が挙げられる。また本発明において、前記予め位置が特定されている赤外線発光点の波長λと位置Ｐの関係は予め取得されており、前記波長λの赤外線発光点を検出することで、前記関係に基づき、当該赤外線発光点の位置Ｐが割り出される態様が挙げられる。

また本発明は、特定波長の赤外光の発光を行うマーカーの発光波長と測量対象における設置位置を記憶した記憶部と、異なる位置から前記測量対象の少なくとも一部を重複する状態で撮影した少なくとも１組の赤外線写真の画像データを受け付ける画像データ受付部と、前記少なくとも１組の赤外線写真の画像から前記マーカーの発光点を含む複数の特徴点を抽出する特徴点抽出部と、前記複数の特徴点の中から前記特定波長の赤外光の発光点を検出する特定波長の発光点検出部と、前記検出された発光点の発光波長に基づき、前記特定波長の発光点の位置を前記記憶部から取得する発光点の位置取得部とを備える赤外線写真画像の処理装置である。

また本発明は、特定波長の赤外光の発光を行うマーカーの発光波長と測量対象における設置位置を記憶部に記憶し、異なる位置から前記測量対象の少なくとも一部を重複する状態で撮影した少なくとも１組の赤外線写真の画像データを受け付け、前記少なくとも１組の赤外線写真の画像から前記マーカーの発光点を含む複数の特徴点を抽出し、前記複数の特徴点の中から前記特定波長の赤外光の発光点を検出し、前記検出された発光点の発光波長に基づき、前記特定波長の発光点の位置を前記記憶部から取得する赤外線写真画像の処理方法である。

また本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに異なる位置から測量対象の少なくとも一部を重複する状態で撮影した少なくとも１組の赤外線写真の画像データを受け付けさせ、前記少なくとも１組の赤外線写真の画像から特定波長の赤外光の発光を行うマーカーの発光点を含む複数の特徴点を抽出させ、前記複数の特徴点の中から前記特定波長の赤外光の発光点を検出し、前記検出された発光点の発光波長に基づき、前記特定波長の発光点の位置を前記記憶部から取得させる赤外線写真画像の処理用プログラムである。

本発明によれば、夜間に空中から撮影した赤外線画像を用いた計測において、画像間の対応関係の特定を精度よく行える。

実施形態の概要を示す原理図である。 実施形態の基準点発光装置のブロック図である。 実施形態の温度分布マップ作成装置のブロック図である。 実施形態の処理の手順の一例を示すフローチャートである。 実施形態の処理の手順の一例を示すフローチャートである。 土壌温度マップの一例である。

１．第１の実施形態
（概要）
夜間にＵＡＶ１００に搭載した赤外線カメラ１０１を用いて空中から農場５００を撮影する。農場５００には、少なくとも一つの赤外線発光点（例えばＰ_ｊ）が配置され、ＵＡＶ１００を夜間飛行させながら、ＵＡＶ１００に搭載した赤外線カメラ１０１により、農場５００を一部が重複する状態で複数回撮影する。そして重複撮影された部分における特徴点（赤外線発光点を含む）を利用して、前記複数の赤外線写真間の対応関係を特定する。ここで、特徴点として、少なくとも一つの赤外線発光点の輝点を利用する。

図１には、夜間に農場５００の赤外線写真をＵＡＶ１００から連続撮影する例が示されている。ＵＡＶ１００は、飛行しながら特定の間隔で農場５００の赤外線写真を連続撮影する。図１には、空中を移動するＵＡＶ１００が異なる時刻ｔ_１、ｔ_２、ｔ_３に撮影を行い、画像１０３ａ，１０３ｂ，１０３ｃの赤外線写真を撮影した場合の例が示されている。

飛行しながら撮影される多数の赤外線画像は、視点の位置（撮影位置）が時間経過と共に移動するので、時間軸上で撮影範囲が少しずつずれる。この際、時間軸上で隣接または近接する複数の画像間で撮影対象が一部重複するように、撮影間隔や飛行速度を設定する。例えば、図１の場合でいうと、画像１０３ａ，１０３ｂ，１０３ｃは一部で重なっている。

ここでは、夜間に農場（圃場）５００の撮影を行う場合を説明するが、当然昼間にも同様な撮影は行われ、昼間における農場５００の温度分布も測定される。ＰＣ４００を用いて赤外線写真画像を解析することで、地表の温度分布を知ることができる。また、後述する交会法を用いた測量計算により、画像中の各点における位置を算出できる。これにより、農場における位置と地表温度の関係が得られる。

夜間の場合、画像（赤外線画像）中の特徴が少ないので、特徴点の抽出、および抽出された特徴点を用いた交会法による地表各点の位置の算出が難しい、あるいは精度が低い場合がある。そこで、地表の複数の点に赤外線を発光する赤外線発光点により構成されるマーカー（ランドマーク）を配置する。このマーカーを特徴点として抽出することで、夜間に撮影した赤外線写真を用いた地表各点の位置の特定を行う。

ここで、マーカーの少なくとも一つの位置をＴＳ（トータルステーション）等で予め計測（特定）しておくと、データの最終的な精度が高くなる。また、ＵＡＶ１００に反射プリズム１０２を搭載し、それをＴＳ２００で追跡して飛行中の位置の特定をリアルタイムで行うことで、データの最終的な精度を高くできる。

ＰＣ４００でのデータの解析は、飛行終了後に後処理で行なわれる。すなわち、まずＵＡＶ１００が夜間飛行しながら地表の赤外線画像の撮影を行い（例えば、２秒間隔で行なわれる）、多数の静止画像を得る。ＵＡＶ１００飛行終了後に画像データと飛行ログが回収され、これらデータに基づいてＰＣ４００を用いたデータの解析が行なわれ、土壌温度分布マップが作成される。

各画像の撮影時刻におけるＵＡＶ１００（赤外線カメラ１０１）の位置は、ＵＡＶ１００搭載のＧＮＳＳ装置またはＴＳ２００により計測され、また各画像の撮影時刻におけるＵＡＶ１００（カメラ１０１）の姿勢は、ＵＡＶ１００搭載のＩＭＵ（慣性計測装置）により計測される。

飛行するＵＡＶ１００から画像データ、位置データ（ＴＳ２００を利用する場合は、ＴＳ２００が計測したＵＡＶ１００の位置データ）、姿勢データをＰＣ４００に送り、ＵＡＶ１００の飛行中に土壌温度分布マップの作成に係る処理を行ってもよい。

また、ＴＳ２００には、追跡判定部として機能するＰＣ２１０が接続されている。ＰＣ２１０は、夜間飛行するＴＳ２００を追跡および監視しているか否かを判定する。タブレットやスマートフォンを利用して、ＰＣ２１０の機能を実現することもできる。追跡判定部の機能をＴＳ２００に組み込んでもよい。この追跡判定部２１０は、夜間飛行するＵＡＶの追跡判定を行う回路、プロセッサ、コンピュータプログラムとして把握することも可能である。追跡の判定の内容については後述する。

（実施形態の詳細）
（ＵＡＶ）
ＵＡＶ１００は、市販されてＵＡＶに、赤外線カメラ１０１、反射プリズム１０２、ＧＮＳＳ位置測定装置（図示せず）およびＩＭＵ（図示せず）を搭載したものである。ＵＡＶ１００に対する赤外線カメラ１０１、反射プリズム１０２、ＧＮＳＳ位置測定装置、ＩＭＵの位置および向きの関係は予め取得されている。また、ＵＡＶ１００には、通常の可視画像を撮影するカメラ（図示省略）も搭載されている。

赤外線カメラ１０１は、赤外線サーモグラフィの原理により、熱画像を得る。赤外線カメラ１０１は、特定の間隔をおいて赤外線静止画像を連続して撮影する。撮影の間隔は、撮影対象の画像が少しずつずれながら一部が重ねる時間間隔に調整する。適切な撮影間隔は、撮影時におけるＵＡＶ１００の飛行速度や飛行高度、赤外線カメラ１０１の画角によって決まるので、それらを勘案して設定する。動画撮影を行い、動画を構成するフレーム画像を利用する形態も可能である。

反射プリズム１０２は、入射した光線を１８０°反転させて反射する。反射プリズムは、測量用に市販されているものを利用する。ＵＡＶ１００における赤外線カメラ１０１の位置と姿勢、更に反射プリズム１０２の位置関係は既知であるので、ＴＳ２００により反射プリズム１０３の測位が行なわれることで、ＴＳ２００の位置および赤外線カメラ１０１の光学原点（視点：投影中心）の位置が特定される。反射プリズム１０２の位置をＴＳ２００によりリアルタイムに計測することで、ＴＳ２００によるＵＡＶ１００のリアルタイムな測位と追跡が行なわれる。

ＴＳについては、例えば特開2009-229192号や特開2012-202821号に記載されている。ＴＳ２００が反射プリズム１０２を追尾する仕組みについては、例えば日本国特許第5124319号公報に記載されている。また、ＴＳによるＵＡＶの追尾については、例えば特願2017-30898号に記載されている。

ＴＳ２００とＵＡＶ１００の赤外線カメラ１０１は同期した時計を持っており、両者の時刻情報は対応関係が既知となっている。例えば、時刻情報としてＧＮＳＳの航法衛星からの同期信号を利用することで、この目的を達成することができる。

（農地）
農地５００は、作物の有無や種類は問わない。農地５００には、複数のマーカーが配置されている。マーカーの数は、最低一つでも可能であるが、可能であれば多い程よく、またなるべく分散して配置されている方が良い。マーカーは赤外光を発光する発光点（輝点）として機能し、赤外線画像中から特徴点として抽出される。

（マーカー）
図２には、マーカーの一例である基準点発光装置３００が示されている。基準点発光装置３００は、赤外線発光素子３０１、２次電池３０２、発光タイミング制御装置３０３、太陽電池３０４を備えている。

赤外線発光素子３０１は、赤外領域の発光を行うＬＥＤである。ここでは、赤外線画像間のレジストレーション（対応関係の特定）を容易にするために、赤外線発光素子として複数の異なる発光波長のものを用いる。２次電池３０２は、夜間の電源となる電池であり、磁気二重コンデンサや公知の各種の充電可能な電池が用いられる。発光タイミング制御装置３０３は、予め定めた時間（例えば、２１時〜２２時）に赤外線発光素子３０１が発光するように制御を行う。太陽電池３０４は、昼間に太陽光発電を行い２次電池３０２に電力を充電する。

夜間の撮影に際して、予め対象となる農場（圃場）にマーカーとして図２の基準点発光装置３００を複数配置する。マーカーの少なくとも一部は、その位置を測位し、特定しておく。また、位置を特定したマーカーは、位置を特定しないマーカーと発光波長を異ならせ、光学的に識別できるようにしておく。

例えば、λ_０，λ_１，λ_２，λ_３が赤外領域の波長であり、λ_０≠λ_１≠λ_２≠λ_３であるとする。この場合、位置が特定されていない複数のマーカーは、発光波長λ_０とする。そして、λ_１，λ_２，λ_３の発光波長のマーカーについては、予め特定された位置Ｐ_１に発光波長λ_１のマーカーを配置し、予め特定された位置Ｐ_２に発光波長λ_２のマーカーを配置し、予め特定された位置Ｐ_３に発光波長λ_３のマーカーを配置する。

ここで、農場に作物が植えられている等が原因で、マーカーの配置場所が制限される場合は、圃場の縁や畔にマーカーを配置する。また、ポール等を利用し、マーカーを地表から有る程度の高さ（数十ｃｍ〜１ｍ位）に配置してもよい。

（データ処理装置）
図１には、データを処理するためのＰＣ４００が記載されている。ＰＣ４００は、汎用のもので、ＣＰＵ、記憶装置、入出力インターフェース、ハードディスク装置、ＧＵＩ等の操作インターフェース、液晶表示装置等を備えている。これは、もう一つのＰＣ２１０についても同じである。

ＰＣ４００により、図３の温度分布マップ作成装置６００が構成される。温度分布マップ作成装置６００は、画像データ受付部６０１、ＵＡＶの位置と姿勢のデータ受付部６０２、特徴点抽出部６０３、特定波長の発光点位置記憶部６０４、特定波長の発光点検出部６０５、特徴点の位置取得部６０６、対応関係特定部６０７、位置算出部６０８、土壌温度分布マップ作成部６０９を備える。これらの機能部は、ＰＣ４００にこれら機能部を実現するためのアプリケーションソフトウェアをインストールすることで実現される。

図３の各機能部は、該当する機能を実現する電子回路、該当する機能を実現するプロセッサ、該当する機能を実現するプログラムとして把握することができる。勿論、図３の構成を一部または全部を実現する専用のハードウェアを用意してもよい。

ＰＣ４００をユーザインターフェースとして用い、ＰＣ４００に回線を介して接続されたサーバーの側で温度分布マップ作成装置６００の一部または全部を構成することも可能である。温度分布マップ作成装置６００を実現するためのプログラムは、適当な記憶媒体に記憶され、そこから提供される。

画像データ受付部６０１は、ＵＡＶ１００が夜間飛行しながら地表を撮影することで得た赤外線画像のデータを受け付ける。この赤外線画像のデータは、撮影時刻と関連付けされている。

ＵＡＶの位置と姿勢のデータ受付部６０２は、画像データ受付部６０１が受け付けた画像データそれぞれの撮影時刻におけるＵＡＶ１００（カメラ１０１）の位置と姿勢のデータを受け付ける。ＵＡＶ１００（カメラ１０１）の位置の特定は、ＵＡＶ１００が備えるＧＮＳＳ装置による測位および／またはＴＳ（トータルステーション）２００によるレーザー測位により行なわれる。

特徴点抽出部６０３は、赤外線画像中から特徴点の抽出を行う。特徴点の抽出は、ソフトウェア的に構成された微分フィルタを用いて行う。特徴点の抽出を行うソフトウェアは各種のものが開発され、また市販されている。

この例において、利用する画像は赤外線画像であり、通常の可視光領域の画像よりも特徴点の数が少ない。そこで本実施形態では、赤外光を発光する複数のマーカー（Ｐ_ｊ，Ｐ_ｊ＋１，Ｐ_ｊ＋２・・・）を用いることで、特徴点の抽出数の少なさを補う。

特定波長の発光点位置記憶部６０４は、予め位置が特定されたマーカーの赤外発光波長と位置のデータを記憶する。例えば、３つの異なる赤外波長（λ_１，λ_２，λ_３）のマーカーを用い、各マーカーの設置位置が（Ｐ_１，Ｐ_２，Ｐ_３）である場合、（λ_１，Ｐ_１）、（λ_２，Ｐ_２）、（λ_３，Ｐ_３）のデータが特定波長の発光点位置記憶部６０４に記憶される。特定波長の発光点検出部６０５は、抽出された特徴点の中から、特定の赤外波長のものを検出する。例えば、上記の場合に選択対象となる波長がλ_２であるとする。この場合、波長λ_２の輝点が検出される。

発光点の位置取得部６０６は、特定波長の発光点検出部６０５が抜き出した特定波長を発光する特徴点（マーカー）の位置を、特定波長の発光点位置記憶部６０４の記憶内容から探しだし、取得する。例えば、特定波長の発光点位置記憶部６０４に上記（λ_１，Ｐ_１）、（λ_２，Ｐ_２）、（λ_３，Ｐ_３）のデータが記憶されている場合において、特定波長の発光点検出部６０５がλ_２の波長の特徴点（マーカー）を抜き出したとする。この場合、当該特徴点の位置として位置Ｐ_２が取得される。この処理が特徴点の位置取得部６０６で行なわれる。

対応関係特定部６０７は、複数の赤外線画像間の特徴点の対応関係の特定を行う。この処理は、テンプレートマッチングを用いて行われる。特徴点の対応関係の特定を行う技術については、例えば特開2013-178656号公報や特開2013-186816号公報にも記載されている。

位置算出部６０８は、赤外線画像から抽出した特徴点（マーカーも含まれる）の三次元位置（経度、緯度、標高）を、前方交会法を用いて算出する。また、位置算出部６０８は、特徴点の位置から逆にＵＡＶ１００（カメラ１０１）の位置を、後方交会法を用いて算出する。これら位置の算出の原理については後述する。

土壌温度分布マップ作成部６０９は、撮影対象となった農場の土壌の温度分布のマップを作成する。図６に土壌の温度分布のマップの一例を示す。このマップは、土壌の温度と、その位置の関係を求めたデータに基づき作成され、色の違いや濃淡により、温度分布が視覚的に表示されている。図６に示す温度分布マップでは、温度分布が２値化して表示されている。ここで、黒塗りの部分が土壌の地表温度が２８℃以上の部分であり、白抜きの部分が２８℃未満の部分である。図６には、２値化した場合の温度分布マップが例示されているが、温度分布を濃淡や色彩の違いによって１６階層（１６値化）や２５６階層（２５６値化）等で表示する形態も可能である。

（赤外線画像に写った地表の点の位置の算出方法）
各画像間の対応関係および各時刻におけるＵＡＶ１００の位置が判れば、前方交会法により、地表の特徴点Ｐ_ｊの位置が算出できる。ここでは仮にＰ_ｊの位置が未知であり、Ｐ_ｊの位置を求める場合を説明する。

この場合、赤外線画像１０３ａ中の画面内の点Ｐ_ｊの位置（画面位置）と、時刻ｔ_１におけるＵＡＶ１００の位置とを結ぶ方向線を設定する。なお、ＵＡＶ１００における赤外線カメラ１０１および反射プリズム１０２の位置関係は既知であり、ここでは、ＵＡＶ１００の位置として、赤外線カメラ１０１の視点（投影中心）を採用する。

また、同様な手法により、赤外線画像１０３ｂ中の画面内の点Ｐ_ｊの位置（画面位置）と、時刻ｔ_２におけるＵＡＶ１００とを結ぶ方向線を設定する。また、同様な手法により、赤外線画像１０３ｃ中の画面内の点Ｐ_ｊの位置（画面位置）と、時刻ｔ_２におけるＵＡＶ１００とを結ぶ方向線を設定する。

時刻ｔ_１，ｔ_２，ｔ_３におけＵＡＶ１００の位置は既知であるので、３本の方向線の交点Ｐ_ｊの座標値が算出できる。この原理により、撮影した地表の特徴点各点の位置が算出できる。ステレオ画像中から抽出された特徴点の位置の計算の詳細については、例えば、特開2013-186816号公報、特願2017-171289号、特願2018-24136号に記載されている。

（飛行するＵＡＶの位置の算出方法）
逆に、各画像間の対応関係および地表の点Ｐ_ｊ，Ｐ_ｊ＋１，Ｐ_ｊ＋２の座標値が既知であれば、撮影時刻ｔ_ｎにおけるＵＡＶ１００の位置が後方交会法により計算できる。以下、この計算の原理を簡単に説明する。この場合、赤外線画像１０３ｂ中の画面内の点Ｐ_ｊの位置（画面位置）と、地表の点Ｐ_ｊとを結ぶ方向線を設定する。また、同様な手法により、赤外線画像１０３ｂ中の画面内の点Ｐ_ｊ＋１の位置（画面位置）と、時地表の点Ｐ_ｊ＋１とを結ぶ方向線を設定する。また、同様な手法により、赤外線画像１０３ｂ中の画面内の点Ｐ_ｊ＋２の位置（画面位置）と、地表の点Ｐ_ｊ＋２とを結ぶ方向線を設定する。

ここで、Ｐ_ｊ，Ｐ_ｊ＋１，Ｐ_ｊ＋２の座標値が既知であるので、３本の方向線の交点の位置が、時刻ｔ_２におけるＵＡＶ１００の位置、正確には赤外線カメラ１０１の視点（投影中心）の位置として算出される。後方方交会法の計算の詳細については、例えば、特開2013-186816号公報に記載されている。

（処理の一例）
以下、処理の一例を説明する。まず、ＵＡＶ１００を夜間に飛行させ、対象となる農場の赤外線写真の撮影を行う。なお、夜間撮影の対象となる農場５００には、以下の４種類のマーカーが予め設置されている。

ここでは、４種類のマーカーとして、発光波長λ_０のマーカー、発光波長λ_１のマーカー、発光波長λ_２のマーカー、発光波長λ_３のマーカーを用いる。λ_０，λ_１，λ_２，λ_３は赤外領域の波長であり、λ_０≠λ_１≠λ_２≠λ_３であるとする。発光波長λ_０のマーカーは、複数あり、不特定の場所に設置されている。そして、予め特定された位置Ｐ_１に発光波長λ_１のマーカーを配置し、予め特定された位置Ｐ_２に発光波長λ_２のマーカーを配置し、予め特定された位置Ｐ_３に発光波長λ_３のマーカーが配置されている。そして、特定波長の発光点位置記憶部６０４に（λ_１，Ｐ_１）、（λ_２，Ｐ_２）、（λ_３，Ｐ_３）のデータが記憶されている。

（撮影に係る処理）
前提として、昼間に既に農場５００の赤外線写真の撮影が行われているとする。この状態で、まず、夜間飛行の飛行経路を設定する（ステップＳ１０１）。通常、ＵＡＶ１００は前に飛行した経路を記憶しており、その経路に沿って飛ばすことができる。この機能を利用し、昼間飛行した経路を夜間飛行時の経路として設定する。

次に、ＵＡＶ１００の夜間飛行を開始し（ステップＳ１０２）、対象となる農場５００の上空からの赤外線写真の撮影を開始する（ステップＳ１０３）。撮影のための予定の経路の飛行が終了したら、撮影を終了し（ステップＳ１０４）、次いで飛行を終了する（ステップＳ１０５）。

（データ処理の一例）
まず、ＵＡＶ１００から撮影した赤外線写真の画像データと飛行ログを回収し、それを画像データ受付部６０１で受け付ける（ステップＳ２０１）。飛行ログには、各画像の撮影時刻、またこの撮影時刻と関連付けされたＧＮＳＳ位置特定装置が計測した位置データとＩＭＵが計測した姿勢のデータが含まれている。

また、ステップＳ２０１では、ＴＳ２００が計測したＵＡＶ１００（反射プリズム１０２）の位置データも画像データ受付部６０１で受け付けられる。

次に、取得した画像データ中から、時間軸上で隣接する画像のデータを選択する。この時間軸上で隣接する２枚の画像がステレオ画像となる。ステレオ画像は、ｎ枚面とｎ＋１枚目の画像の組、ｎ＋１枚面とｎ＋２枚目の画像の組、ｎ＋３枚面とｎ＋４枚目の画像の組、・・・・というように多数が選択される。

ステレオ画像を選択したら、選択した２つの画像の中から特徴点を抽出する（ステップＳ２０２）。この処理は、全てのステレオ画像について行う。この処理は、特徴点抽出部６０３で行われる。ここで抽出される特徴点には、マーカーから発光された赤外光の輝点が含まれる。なお、選択される画像は、重複する部分が写っていればよいので、時間軸上で隣接してものに限定されず、時間軸上で近接したものであってもよい。

抽出された特徴点の中には、予め位置を特定して設置した波長λ_１，λ_２，λ_３の３つのマーカーの輝点が含まれ、これらの輝点は特定波長の発光点検出部６０５で検出される。ここで、（λ_１，Ｐ_１）、（λ_２，Ｐ_２）、（λ_３，Ｐ_３）のデータは特定波長の発光点位置記憶部６０４に記憶されているので、波長λ_１，λ_２，λ_３の３つのマーカーの輝点が画像中から検出されることで、それらの位置（絶対座標系における三次元位置：例えば緯度、経度、標高）が判明する。

次に、抽出した特徴点を利用して、ステレオ画像間の対応関係の特定を行う（ステップＳ２０３）。この処理は、対応関係特定部６０７で行われる。

このステレオ画像間における特徴点の対応関係の特定において、波長λ_１，λ_２，λ_３の３つのマーカーの輝点が識別されているので、一部のステレオ画像間ではあるが、マッチングの効率と精度を高めることができる。

次に、各ステレオ画像を用いて、前方交会法により、当該ステレオ画像間で対応関係が特定された位置が既知のマーカー以外の特徴点の位置を算出する（ステップＳ２０４）。この処理は、位置算出部６０８で行われる。

なお、ここでは、原理的な説明として、時間軸上で隣接する２枚の画像をステレオ画像として選択する場合を説明するが、実際には、重複した場所が写っている３枚以上の画像を用いて前方交会法による計算が行なわれる。

例えば、図１の場合だと、特徴点Ｐ_ｊを位置が未知の特徴点として、時刻ｔ_１におけるカメラ１０１の光学原点（視点：投影中心）Ｏ_１と特徴点Ｐ_ｊの画像１０３ａにおける画面座標点を結ぶ方向線１、時刻ｔ_２におけるカメラ１０１の光学原点Ｏ_２と特徴点Ｐ_ｊの画像１０３ｂにおける画面座標点を結ぶ方向線２、および時刻ｔ_３におけるカメラ１０１の光学原点Ｏ_３と特徴点Ｐ_ｊの画像１０３ｃにおける画面座標点を結ぶ方向線３を設定する。ここで、カメラ１０１の光学原点Ｏ_１，Ｏ_２，Ｏ_３は、ＴＳ２００により反射プリズム１０２が計測されることで既知であるので、上記方向線１，２，３の交点Ｐ_ｊの位置（座標）を求めることができる。この処理は、位置算出部６０８で行われる。

この処理では、各時刻におけるカメラ１０１の光学原点（視点：投影中心）と複数の特徴点とで三次元モデルが形成され、光学原点の位置をＴＳ２００により特定することで、この三次元モデルにスケールを与え、絶対座標系における三次元モデルを得、各特徴点の座標を割り出している。この際、地表の少なくとも３点の絶対座標系における位置（座標）（Ｐ_１，Ｐ_２，Ｐ_３）が与えられているので、その点が拘束点となり、得られる三次元モデルの精度が高くなる。

ステップＳ２０４の後、各時刻で撮影された画像（赤外線画像）を合成し、また熱の分布が見易くなるように画像処理を行って土壌の温度分布をマップ化したものを作成し、更にそこにステップＳ２０４で算出した特徴点の位置情報を埋め込み、位置情報が埋め込まれた夜間における土壌温度分布マップを作成する（ステップＳ２０５）。この処理は、土壌温度分布マップ作成部６０９で行われる。

２．第２の実施形態
以下、ＴＳ２００によるＵＡＶ１００の追跡を行わない場合を説明する。この技術は、ＴＳ２００が飛行するＵＡＶ１００を見失った場合にも利用できる。

この場合、複数のマーカーの位置を予め測定し、既知のデータとしておく。まず、第１実施形態と同様に赤外線画像を得る。そして、Ｎ番目の赤外線画像（ｎ）とｎ＋１番目の赤外線画像（ｎ＋１）上の位置が既知の複数の特徴点（マーカー）の位置データを取得する。そして、赤外線画像（ｎ）と赤外線画像（ｎ＋１）から特徴点を抽出し、更にそれらの間の特徴点の対応関係の特定を行う。ここで、２つの赤外線画像で共通に写っている複数の特徴点の位置（３次元位置）は既知であるので、後方交会法を用いて画像（ｎ）の撮影時のＵＡＶ（赤外線カメラ）の位置が算出できる。同様に、画像（ｎ＋１）の撮影時のＵＡＶ（赤外線カメラ）の位置が算出できる。

そして、画像（ｎ）と画像（ｎ＋１）の撮影時のＵＡＶ（赤外線カメラ）の位置を用いて、前方交会法により、画像（ｎ）と画像（ｎ＋１）に写った位置が既知のマーカー以外の特徴点の位置（三次元位置）を算出する。

この処理を、画像（ｎ＋１）と画像（ｎ＋２）、更に画像（ｎ＋２）と画像（ｎ＋３）、・・・と繰り返すことで、刻々と変化するＵＡＶ１００（赤外線カメラ１０１）の位置および各赤外線写真に写った特徴点の位置を算出する。

本実施形態は、農地が広大であり、予め位置が特定されたマーカーが配置されていない場所があり、且つ、その場所でＴＳ２００によるＵＡＶ１００の測位も行えない場合に有効である。この場合、位置が既知のマーカーがある上空では、当該マーカーを利用したＵＡＶ１００の測位を行い、位置が既知のマーカーがない場所の上空では、ステレオ画像間の特徴点を追跡する方法で、各画像撮影時におけるＵＡＶ１００の測位を行う。

３．第３の実施形態
安全上の観点から飛行するＵＡＶを何らかの方法で追跡および監視することが求められている。日中であれば、目視で追跡および監視が可能であるが、その方法は、夜間では現実的ではない。

以下、夜間における目視に代わるＵＡＶの追跡および監視の方法について説明する。この処理は、ＴＳ２００に接続された追跡判定部として機能するＰＣ２１０によって行われる。

この場合、ＵＡＶ１００は反射プリズム１０２を備える。ＵＡＶ１００は予め定めた航路に沿って夜間飛行し、ＵＡＶ１００の飛行中に反射プリズム１０２の測位がＴＳ２００によって行われる。そして、上記予め定めた航路とＴＳ２００による反射プリズム１０２の測位データとを比較する。

そして、予め定めた航路とＴＳ２００の測位によるＵＡＶ１００の飛行軌跡の一致性を評価し、両者が一致していると見なせる場合、夜間飛行するＵＡＶ１００の追跡と監視がＴＳ２００により行われていると判定する。両者が一致していないと見なせる場合、ＵＡＶ１００の追跡と監視ができていないと判定する。この場合、緊急着陸や自立飛行により所定の場所に着陸する等の処理が行なわれる。

予め定めた航路とＴＳ２００の測位によるＵＡＶ１００の飛行軌跡の一致性の評価は、特定の時刻における両者の位置の差が、予め定めた閾値以下であれば、一致とみなし、予め定めた閾値を超える場合、一致しないとみなすことで行なわれる。

また、ＴＳ２００はカメラを備えている。このカメラ撮影により、夜間飛行するＵＡＶ１００の識別および追跡が可能である。この場合、ＵＡＶ１００は、発光素子を備える。この発光素子の発光間隔は予め定められている。そして、ＴＳ２００のカメラにより、この発光素子の光を検出する。この際、発光間隔を検出することで、ＴＳ２００がＵＡＶ１００を識別する。

また、ＵＡＶ１００が異なる波長の複数の発光素子を備える構成も可能である。この場合、異なる波長の発光の組み合わせをカメラが撮影した画像から検出し、それによりＴＳ２００がＵＡＶ１００を識別する。これら識別に係る処理は、追跡判定部として機能するＰＣ２１０によって行われる。

本実施形態によれば、夜間飛行する反射プリズムを備えたＵＡＶを追跡する方法であって、前記ＵＡＶは予め定めた航路に沿って飛行し、前記ＵＡＶの飛行中に前記反射プリズムの測位がトータルステーションによって行われ、前記予め定めた航路と前記トータルステーションによる前記反射プリズムの測位とを比較することで、前記ＵＡＶの追跡の可否が判定される夜間飛行するＵＡＶの追跡方法が提供される。本実施形態は、測量以外の目的でＵＡＶを夜間飛行させる場合に利用することもできる。

１００…ＵＡＶ、１０１…赤外線カメラ、１０２…反射プリズム、２００…ＴＳ（トータルステーション）、２１０…追跡判定部として機能するＰＣ、４００…温度マップ作成装置として機能するＰＣ、５００…農場。

Claims (6)

1. 夜間にＵＡＶに搭載した赤外線カメラを用いて空中から地表を撮影する技術において、
   前記地表には、複数の赤外線発光点が配置され、前記ＵＡＶを夜間飛行させながら、前記赤外線カメラにより、前記地表を一部が重複する状態で複数回撮影し、前記重複撮影された部分における前記赤外線発光点の輝点を利用して、前記複数回撮影されることで得た複数の赤外線写真間の対応関係を特定する赤外線写真画像の処理方法。
2. 前記複数の赤外線発光点には、異なる発光波長のものが含まれており、
   前記複数の赤外線発光点の少なくとも一部は、予め位置が特定されており、
   前記発光波長の違いにより、前記予め位置が特定されている赤外線発光点と予め位置が特定されていない赤外線発光点との識別が行なわれる請求項１に記載の赤外線写真画像の処理方法。
3. 前記予め位置が特定されている赤外線発光点の波長λと位置Ｐの関係は予め取得されており、
   前記波長λの赤外線発光点を検出することで、前記関係に基づき、当該赤外線発光点の位置Ｐが割り出される請求項１または２に記載の赤外線写真画像の処理方法。
4. 特定波長の赤外光の発光を行うマーカーの発光波長と測量対象における設置位置を記憶した記憶部と、
   異なる位置から前記測量対象の少なくとも一部を重複する状態で撮影した少なくとも１組の赤外線写真の画像データを受け付ける画像データ受付部と、
   前記少なくとも１組の赤外線写真の画像から前記マーカーの発光点を含む複数の特徴点を抽出する特徴点抽出部と、
   前記複数の特徴点の中から前記特定波長の赤外光の発光点を検出する特定波長の発光点検出部と、
   前記検出された発光点の発光波長に基づき、前記特定波長の発光点の位置を前記記憶部から取得する発光点の位置取得部と
   を備える赤外線写真画像の処理装置。
5. 特定波長の赤外光の発光を行うマーカーの発光波長と測量対象における設置位置を記憶部に記憶し、
   異なる位置から前記測量対象の少なくとも一部を重複する状態で撮影した少なくとも１組の赤外線写真の画像データを受け付け、
   前記少なくとも１組の赤外線写真の画像から前記マーカーの発光点を含む複数の特徴点を抽出し、
   前記複数の特徴点の中から前記特定波長の赤外光の発光点を検出し、
   前記検出された発光点の発光波長に基づき、前記特定波長の発光点の位置を前記記憶部から取得する赤外線写真画像の処理方法。
6. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータに
   異なる位置から測量対象の少なくとも一部を重複する状態で撮影した少なくとも１組の赤外線写真の画像データを受け付けさせ、
   前記少なくとも１組の赤外線写真の画像から特定波長の赤外光の発光を行うマーカーの発光点を含む複数の特徴点を抽出させ、
   前記複数の特徴点の中から前記特定波長の赤外光の発光点を検出する特定波長の発光点検出させ、
   前記検出された発光点の発光波長に基づき、前記特定波長の発光点の位置を前記記憶部から取得させる赤外線写真画像の処理用プログラム。
   
   

Images