JP2023093808A - 飛行経路正規化装置、飛行経路正規化方法及び飛行経路正規化プログラム - Google Patents

Abstract

【課題】予め設定された基準点を原点とする相対座標により表されたＵＡＶの飛行経路データを、人手を介することなく絶対座標の飛行経路データに正規化できるようにする。【解決手段】画像認識部１３２は、ＵＡＶからの撮影データに含まれる画像データにより形成される画像について画像認識を行い、ガントリクレーンの機械室の上面を抽出（特定）する。ピクセル緯度経度換算部１３３は、当該機械室の上面の画像を構成するピクセルの位置を、緯度、経度に変換する。基準位置特定部１３４は、緯度、経度に変換された機械室の上面の画像を構成するピクセルの位置に応じて、相対座標の原点である基準点の緯度、経度を特定する。飛行経路正規化部１３８は、特定された基準点の緯度、経度に基づいて、相対飛行経路データファイル１０９の相対飛行経路データを正規化して、絶対座標により表された自動飛行データを作成する。【選択図】図７

Description

この発明は、予め決められた基準点を原点とする相対座標により表されたＵＡＶ（Unmanned Aerial Vehicle）の飛行経路を、絶対座標（緯度、経度）により表された飛行経路に正規化する装置、方法、プログラムに関する。

従来から座標系の異なるデータを適切に利用できるようにする種々の技術が考えられている。例えば、後に記す特許文献１には、ＸＹ座標系の地図データとライン・ピクセル座標系の衛星画像データとを統合する画像処理方法等に関する発明が開示されている。特許文献１に開示された発明は、ＸＹ座標系の地図データを統一座標系に変換し、また、ライン・ピクセル座標系の衛星画像データを統一座標系に変換し、変換後の両データ間の差分をとり、衛星画像データを埋め込んで地図データを更新するものである。

また、後に記す特許文献２には、航空機に搭載されたカメラの映像から、リアルタイムに災害発生前の被災地点の地図と現在の被災状況とを迅速かつ正確に照合する位置判読装置に関する発明が開示されている。特許文献２に開示された発明は、自位置を無線送信する複数のマーカを被災地に投下して設置する。カメラ画像からマーカ位置情報に基づいて、幾何補正、縮尺及び方位の修正がされた補正画像を生成し、これを地図画像に重ね合わせるというものである。

特開平９‐１５３３１号公報 特開２００４－１５７３９７号公報

異なる座標系のデータを適切に利用できるようにする場面として、近年においては相対座標により表されたＵＡＶの飛行経路を、絶対座標により表された飛行経路に正規化する場合が挙げられる。ＵＡＶは、ドローンなどとも呼ばれる無人航空機であり、カメラを搭載することによって、高所の点検作業に用いて好適なものである。このため、港湾エリアなどにおいてコンテナの積み下ろしに利用されるガントリークレーンやトランスファークレーン、架空（高架）送電線を支持するための鉄塔、橋梁やビルディングといった高さのある種々の構造物の点検にＵＡＶが用いられるようになっている。

ガントリークレーンやトランスファークレーンは、港湾エリアやコンテナヤードといった限られたエリア内ではあるが移動可能であり、同様の構造を有する複数のものが存在するいわゆる移動共通構造物である。また、架空送電線用の鉄塔は、固定位置にあるが、同様の構造を有する複数のものが存在するいわゆる固定共通構造物である。また、橋梁やビルディングは、固定位置にあり、一般的にはそれ自体が固有のものであるいわゆる固定固有構造物である場合が多い。

橋梁などの固定固有構造物の場合には、定められた点検部位を撮影する撮影位置（緯度、経度、高度（高さ））を定めて、当該撮影位置から点検部位を撮影し、撮影画像を撮影位置に基づいて分類することが考えられる。しかし、移動共通構造物の場合には、限られたエリア内であっても移動するものであるので、撮影位置を一意に定めることができない。このため、移動共通構造物については、点検の都度、撮影位置を定める必要が生じる。

また、移動共通構造物が複数存在する場合には、そのそれぞれの位置は異なるので、同様の構造を有し、点検部位も共通である共通構造物でありながら、移動共通構造物ごとに撮影位置を定めて点検を行わなければならず、手間がかかる。同様に、固定共通構造物の場合にも、設けられている場所が異なるために、同様の構造を有し、点検部位も共通である共通構造物でありながら、固定共通構造物ごとに撮影位置を定めて点検を行わなければならず、手間がかかる。

このため、移動共通構造物や固定共通構造物の場合には、当該構造物の所定部分に応じて予め設定される基準点を原点とする相対座標により、定められた点検部位を撮影する撮影位置（x座標、ｙ座標、ｚ座標）を定めておくことが考えられる。これにより、共通構造物が存在する現場において、当該共通構造物の基準点の緯度、経度、高さを計測して特定できれば、相対座標により表された撮影位置を緯度、経度、高さにより表される絶対座標に変換できる。絶対座標により表された撮影位置があれば、当該撮影位置にＵＡＶを飛行させて撮影を行うことができる。

より具体的には、ＵＡＶに搭載されているＲＴＫ（Real Time Kinematic）－ＧＮＳＳ（Global Navigation Satellite System）機能を用いて、基準点の緯度、経度を計測し、これを用いて相対座標の撮影位置を絶対座標の撮影位置に正規化できる。また、ＵＡＶのＲＴＫ－ＧＮＳＳ測位機能を用いて、共通構造物の２点の緯度、経度を計り、２点の位置関係から方位角を算出できる。方位角を用いることにより、例えば、共通構造物がガントリークレーンの場合には、どの方向にリーチが伸びているのか、また、共通構造物が架空送電線用の鉄塔であれば、どの方向に送電線が延伸されているのかを特定できる。これにより、ＵＡＶが飛行できない領域を細かく把握するなどのことが可能になる。

しかし、上述した従来の技術では、共通構造物の点検のためのＵＡＶの飛行のたびに、ＵＡＶの操縦者が現場に赴き、点検を実施するにあたり、点検対象となる共通構造物に対する基準点の緯度、経度、高度（高さ）を実測して特定する必要がある。このため、共通構造物の点検作業の工数が増大し、ＵＡＶの操縦者等の点検作業に関わる作業者の負荷が大きいといった問題がある。また、基準点の緯度、経度、高度（高さ）の計測は、例えばＵＡＶの操縦者（人）によって行われるため、計測誤差が発生したり、計測ミスが発生したりするといった懸念も若干ながらある。

以上のことに鑑み、この発明は、例えば、共通構造物等の点検などのために、予め設定された基準点を原点とする相対座標により表されたＵＡＶの飛行経路データを、人手を介することなく絶対座標の飛行経路データに正規化できるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の飛行経路正規化装置は、
目的対象物の所定部分に応じて予め設定される基準点を原点とする相対座標により表され、前記目的対象物を撮影する際のＵＡＶ（Unmanned Aerial Vehicle）の飛行経路を示す相対飛行経路データを記憶する記憶手段と、
前記ＵＡＶに搭載されたカメラを上空より地上に向けて、前記目的対象物を含む地上エリアを撮影して得られた画像データと、撮影位置を含むメタデータとからなる撮影データを前記ＵＡＶより取得する取得手段と、
前記画像データにより形成される画像について画像認識を行い、前記目的対象物の前記所定部分を抽出する画像認識手段と、
前記画像認識手段により認識された前記所定部分の画像を構成するピクセルの位置を、前記目的対象物の前記所定部分までの高さと撮影位置とを考慮して、緯度経度に変換する変換手段と、
前記変換手段により緯度経度に変換された前記所定部分の画像を構成するピクセルの位置に応じて、前記基準点の緯度経度を特定する基準点特定手段と、
前記基準点特定手段により特定された前記基準点の緯度経度に基づいて、前記記憶手段の前記相対飛行経路データを正規化することにより、絶対座標により表された自動飛行データを作成する正規化手段と
を備えることを特徴とする。

この発明によれば、相対座標により表されたＵＡＶの飛行経路データを、人手を介することなく、迅速かつ正確に絶対座標の飛行経路に正規化できる。これにより、ＵＡＶを用いた点検作業の工数削減を実現でき、人手による計測誤差や計測ミスを発生させることもない。

実施の形態のＵＡＶ点検システムの全体構成例について説明するための図である。 実施の形態のＵＡＶの相対高度の補正処理について説明するための図である。 実施の形態の移動共通構造物であるガントリークレーンを含む地上エリアの撮影画像の例を示す図である。 実施の形態の撮影画像ピクセルの位置を緯度経度に変換する方法について説明するための図である。 実施の形態のＵＡＶと飛行経路正規化装置の概要を説明するための図である。 実施の形態のＵＡＶの構成例を説明するためのブロック図である。 実施の形態の飛行経路正規化装置の構成例を説明するためのブロック図である。 実施の形態の点検対象であるガントリークレーンの相対座標により表された飛行経路の例について説明するための図である。 実施の形態の飛行経路正規化装置の相対飛行経路データファイルの格納データの例を説明するための図である。 実施の形態の飛行経路正規化装置の自動飛行経路データファイルの格納データの例を説明するための図である。 実施の形態の飛行経路正規化装置の正規化処理を説明するための図である。

以下、図を参照しながら、この発明による飛行経路正規化装置、飛行経路正規化方法、飛行経路正規化プログラムの実施の形態について説明する。以下に説明する実施の形態の飛行経路正規化装置、飛行経路正規化方法、飛行経路正規化プログラムは、ＵＡＶを用いて目的対象物の点検を行う場合の当該ＵＡＶの飛行経路を正規化するものである。また、ＵＡＶを用いて点検を行う目的対象物には、例えば、ガントリークレーン、トランスファークレーン、橋梁、鉄塔、風力発電用の風車塔、観覧車といった高構造の種々のものがある。以下に説明する実施の形態においては、目的対象物は、港湾エリアに設置されるガントリークレーンである場合を例にして説明する。

［ＵＡＶ点検システムの全体構成例］
図１は、実施の形態のＵＡＶ点検システムの全体構成例について説明するための図である。図１に示すように、港湾エリアの船舶（コンテナ船）が接岸できる岸壁の近傍に、ガントリークレーン４が設けられている。ガントリークレーン４は、コンテナ船に対してコンテナの積み下ろしを行うものであり、コンテナ船の横幅方向に積載可能なコンテナの数を基準にして、１７列型、２２列型などのものがある。２２列型のガントリークレーンだと、全高約８０ｍ、全長約１４８ｍ、海側に張り出したアウトリーチ部分の長さ約６３ｍと、大型の鋼構造物である。この実施の形態において、ガントリークレーン４は、例えば、２２列型の大型のものであるとする。ガントリークレーン４は、海に面して設けられるため塩害の影響を受けやすく、発錆や経年劣化の状況等を適切に把握するため定期的な点検が重要なものある。

なお、説明を簡単にするため、図１にはガントリークレーン４だけを示している。しかし、当該港湾エリアには、ガントリークレーン４と同じ構造を持つ複数のガントリークレーンが設置されており、複数のコンテナ船に対して、同時にコンテナの積み下ろしができるようになっている。また、港湾エリアに設置されたガントリークレーンは、岸壁に沿って設けられたレール上を移動することができる。すなわち、ガントリークレーン４を含め、港湾エリアに設けられたガントリークレーンの設置位置は、固定ではなく、必要に応じてレール上を移動することにより変わる。

また、図１に示すように、ガントリークレーン４の近傍には、これからコンテナ船に積み込むコンテナやコンテナ船から下したコンテナが積み上げられて形成されたコンテナ群５など存在する場合がある。コンテナ群５などの位置や大きさは流動的であるが、ガントリークレーン４の近傍に存在するものであるので、ＵＡＶの飛行に際して障害物となる可能性があるため、把握しておくべき対象となる。

図１において、ＵＡＶ２は、ガントリークレーン４の点検に用いられるものである。この実施の形態において、ＵＡＶ２は、基本的に、予め作成された飛行経路データに基づいて自動飛行（自律飛行）して点検を行う。ＵＡＶ２は、必要となる飛行経路データなどの情報の提供を、ＩｏＴプラットホーム３を通じて、港湾事務所１Ｂに設置された装置や点検管理会社１Ａに設置された装置から受ける。また、ＵＡＶ２は、港湾事務所１Ｂの通信装置からＩｏＴプラットホーム３を通じて遠隔操作したり、更に遠方の点検管理会社１Ａの事務所の通信装置からＩｏＴプラットホーム３を通じて遠隔操作したりすることもできるものである。もちろん、ＵＡＶ２は、操縦者が目視によりその位置や向き等を確認しながらコントローラを用いて操縦することも可能である。

なお、この実施の形態において、港湾事務所１Ｂは、例えば、ガントリークレーン４が設置されている港湾エリアからは数百メートル以上、場合によっては、数キロメートル以上離れた場所に位置するものである。また、この実施の形態において、点検管理会社１Ａの事務所は、数十キロメートル以上、場合によっては、数百キロンメートル以上離れた場所に位置するものである。

ＩｏＴプラットホーム３は、インターネット、携帯電話網、一般公衆電話網、無線ＬＡＮ（Local Area Network）などを含み、これに接続された機器が、相互に通信を行うことができる環境を提供する。ＩｏＴプラットホーム３を通じては、インターネットを実現しているネットワーク・プロトコルであるＩＰ（Internet Protocol）を用いて通信を行うことができる。このため、ＩｏＴプラットホーム３を通じては、各機器はＩＰアドレスを用いることにより、自機のＩｏＴプラットホーム３上の所在を通信の相手先に知らせ、また、ＩｏＴプラットホーム３上の通信の相手先を特定できる。なお、図１において基地局ＢＳ（１）は、携帯電話網の基地局であり、周知のように実際には多数存在する。

この実施の形態のＵＡＶ点検システムにおいては、図１に示したように、例えば港湾事務所１Ｂ近傍からＵＡＶ２を離陸させる。この後、ガントリークレーン４のある港湾エリアまで飛行させると共に、ガントリークレーン４の周囲を飛行させて点検ための撮影も自動で行う。このため、港湾事務所１Ｂや点検管理会社１Ａの事務所には、飛行経路正規化装置１が設けられており、ＵＡＶ２と飛行経路正規化装置１とが通信を行うことにより協働して、点検のための自動飛行を行うための事前処理も自動で実施する。もちろん、必要に応じて、随時に遠方からの遠隔操作による手動飛行に切り替えることも可能である。また、当該港湾エリアに存在する複数のガントリークレーンを点検対象として、自動で順番経路を設定するようにして飛行を行うこともできる。

なお、点検のための自動飛行を行うための事前処理には、相対高度の補正処理と、相対飛行経路データの絶対飛行経路データへの正規化処理とがある。相対高度の補正処理は、ＵＡＶ２が相対標高モードで飛行する場合において、図１に示したように、港湾事務所１Ｂ近傍の離陸地点と港湾エリアとで標高が異なることにより生じる相対高度のずれを補正できるようにする処理である。また、相対飛行経路データの絶対飛行経路データへの正規化処理は、相対座標により表された相対飛行経路データを、緯度、経度、高度からなる絶対座標により表された絶対飛行データに正規化するものである。ここで、正規化は、データを一定のルール（規則）に基づいて変形し、利用しやすくすることを意味する。

すなわち、飛行経路正規化装置１には、同じ構造のガントリークレーンに対しても適用可能なように、ガントリークレーン４の所定部分に応じて予め設定される基準点を原点とする相対座標により表された相対飛行経路データが予め用意されている。当該相対飛行経路データは、例えばＣＡＤ（Computer Aided Design）装置を通じて事前に形成しておくことができる。使用者は、ＣＡＤ装置のディスプレイに表示されるガントリークレーンの３次元コンピュータグラフィックス画像を見ながら、マウス等のポインティングディバイスやキーボードを操作して、予定撮影位置や撮影方向やカメラの角度などの設定ができる。なお、以下においては、３次元コンピュータグラフィックス画像（three-dimensional computer graphics画像）を、３Ｄ画像と略称する。

そこで、この実施の形態のＵＡＶ点検システムにおいては、ＵＡＶ２のカメラを通じて撮影したガントリークレーン４を含む地上エリアの画像より、ガントリークレーン４の所定部分に応じて予め設定される基準点の緯度、経度、高度を特定する。この特定した基準点の緯度、経度、高度に基づいて、相対飛行経路データを絶対飛行経路データに正規化する処理が、相対飛行経路データの絶対飛行経路データへの正規化処理となる。以下においては、まず、ＵＡＶ２の点検のための自動飛行を行うための事前処理である相対高度の補正処理と、相対飛行経路データの絶対飛行経路データへの正規化処理について説明し、その後、ＵＡＶ２や飛行経路正規化装置１の構成例について説明する。

また、以下に説明する実施の形態においては、例えば、神戸や横浜などの港湾エリアに設置されたガントリークレーン４の点検を、港湾事務所１Ｂ近傍からＵＡＶ２を飛行させて行う。この場合、ＵＡＶ２は、例えば東京にある点検管理会社１Ａの事務所に設置されている飛行経路正規化装置と通信を行うことにより協働し、上述の事前処理を行い、絶対座標に正規化された自動飛行経路データの提供を受けるものである。また、ＵＡＶ２は、事前に港湾事務所１Ｂに輸送されて飛行の準備が整えられているものとする。ＵＡＶ２の輸送は、車両により陸路を通じて行うこともできるし、所定の場所からＵＡＶ２を自動飛行させて、空路を通じて行うこともできる。

［相対高度の補正］
図２は、実施の形態のＵＡＶ２の相対高度の補正処理について説明するための図である。ＵＡＶ２が備える高度計は、高さ（標高）による気圧の違いを検知して高度を特定している。このため、図２（Ａ）に示すように、離陸／着陸エリアＡｒ１において、ＵＡＶ２が地上に置かれた状態を高度０ｍ（メートル）に設定すれば、同じ標高エリアである離陸／着陸エリアＡｒ１においては、高度に応じて変化する気圧に基づいて正確に高度を計測できる。このように、相対標高モード時に計測される高度は、例えば離陸地点を基準にして計測される高度であるために相対高度と呼ばれる。

しかし、図２（Ａ）に示すように、ＵＡＶ２が離陸／着陸エリアＡｒ１よりも標高の低い海側の点検飛行エリアＡｒ２まで飛行して移動したとする。この場合、ＵＡＶ２の高度計により計測される相対高度は、離陸／着陸エリアＡｒ１を基準に定められたものであるため、離陸／着陸エリアＡｒ１と点検飛行エリアＡｒ２との標高差（差分）αｍ分ずれてしまうことになる。すなわち、離陸／着陸エリアＡｒ１においては、ＵＡＶ２の飛行高度を例えば８０ｍと測定できたとする。この場合に、ＵＡＶ２が点検飛行エリアＡｒ２に到達すると、ＵＡＶ２の飛行高度が実際は９５ｍであるのに、８０ｍと誤計測されてしまう。この場合、点検飛行エリアＡｒ２における相対高度には１５ｍの誤差が生じてしまう。

そこで、ＵＡＶ２は、ガントリークレーン４の近傍において、計測高度Ｈと相対高度Ｒを取得する。この計測高度Ｈと相対高度Ｒの差分を相対高度Ｒの補正値として利用できるようにする。すなわち、図２（Ｂ）に示すように、ＵＡＶ２は、自身のレーザ測距機能（ＲＴＧ機能）を用いて計測高度Ｈを計測して取得する（ステップＳ１）。同時に、ＵＡＶ２は、自身の高度計（気圧計）を用いて相対高度Ｒを計測して取得する（ステップＳ２）。この後、計測高度Ｈから相対高度Ｒを減算することにより差分αを求め（ステップＳ３）、この差分αを相対高度Ｒの補正値として利用できるようにする（ステップＳ４）。これにより、点検飛行エリアＡｒ２と離陸／着陸エリアＡｒ１とで標高が異なっていても、高度計により計測される相対高度を正確な値に補正することができる。

なお、ここでは、図２（Ｂ）に示した処理は、ＵＡＶ２において行われるものとして説明したが、これに限るものではない。図２（Ｂ）のステップＳ１、Ｓ２の処理は、ＵＡＶで行うようにする。しかし、ステップＳ１、Ｓ２を通じて取得した計測高度Ｈと相対高度Ｒとを飛行経路正規化装置１に送信し、飛行経路正規化装置１において、計測高度Ｈと相対高度Ｒと差分αを求め、これをＵＡＶ２からの相対高度Ｒを補正する補正値として用いるようにしてもよい。

［相対飛行経路データの絶対飛行経路データへの正規化処理］
図３、図４は、飛行経路正規化装置１で行われる相対飛行経路データの絶対飛行経路データへの正規化処理について説明するための図である。具体的に、図３は、実施の形態の移動共通構造物であるガントリークレーンを含む地上エリアの撮影画像ＴＰの例を示す図である。また、図４は、実施の形態の撮影画像ピクセルの位置を緯度経度に変換する方法について説明するための図である。上述もしたように、相対以降経路データの原点となり基準点Ｐは、点検対象であるガントリークレーンの所定部分に応じて設定される。この実施の形態においては、ガントリークレーンの機械室の上面（屋根部分）の中心点を基準点Ｐとして用いるものとする。

図１に示したように、この実施の形態のＵＡＶ点検システムの場合においては、港湾事務所１Ｂ近傍から離陸したＵＡＶ２が港湾エリアに到達すると、ＵＡＶ２は点検対象のガントリークレーン４を含む地上エリアの画像を撮影する。この場合、ＵＡＶ２は、自機に搭載されたカメラのジンバルを真下に向けて（－９０度にして）、ガントリークレーン４の全体を含むように地上エリアの撮影を行う。撮影高度は、ガントリークレーンの全高などに応じて決められ、例えば、９０ｍ～１３０ｍの高度から地上エリアの撮影を行う。ＵＡＶ２は、撮影することにより得た撮影データを、ＩｏＴプラットホーム３を通じて点検管理会社１Ａの飛行経路正規化装置１に送信する。

ＵＡＶ２から点検管理会社１Ａの飛行経路正規化装置１に送信される撮影データは、撮影して得た画像データと、当該画像データに対するメタデータであるＥｘｉｆ（Exchangeable image file format）情報を含むものである。すなわち、画像データは撮影した撮影画像ＴＰを形成する情報である。また、Ｅｘｉｆ情報は、ＵＡＶ２に搭載されたＧＰＳ（Global Positioning System）部からの撮影時の位置情報や方位情報などといった種々の情報を含むものである。飛行経路正規化装置１では、ＵＡＶ２から提供を受けた撮影データのＥｘｉｆ情報に基づいて、図３において矢印ＡＺが示す撮影画像の上方向の方位角を取得する。方位角は北を０度として時計回りに角度を測ったものである。これにより、撮影画像の上方向を基準にして、当該撮影画像における各方向を特定できる。

更に、飛行経路正規化装置１では、ＵＡＶ２から提供を受けた撮影データの画像データにより形成される撮影画像ＴＰについて、画像認識を行い、ガントリークレーン４の機械室４１を抽出（特定）する。次に、飛行経路正規化装置１は、画像認識により抽出したガントリークレーン４の機械室４１を構成する各ピクセルの位置を、緯度、経度に換算する処理を行う。すなわち、撮影画像ＴＰは、図４（Ａ）に示すように、等間隔で配置される多数のピクセル（画素）により構成されている。一般に、カメラによって撮影した撮影画像は、パースビューで撮影され表現される。パースビューで撮影された画像は、遠くにあるオブジェクトは、近くにあるオブジェクトよりも小さく表示されることにより、奥行きを持ったものとなる。

従って、上空よりパースビューで撮影された画像は奥行きを持ったものとなるため、例えばビルディングの屋上における正確な緯度、経度を算出することは、通常困難である。屋上までの正確な高さが分からないと、当該ビルディングの屋上における正確な緯度、経度は算出できないためである。そこで、この実施の形態の飛行経路正規化装置１では、図４（Ｂ）に示すように、上空のＵＡＶ２による撮影位置ＳＰを頂点とし、点線で示した画角の範囲を撮影した場合の３次元空間モデルを設定する。

この場合に、図４（Ｂ）に示すように、ガントリークレーン４の機械室４１の上面までの高さｈを考慮する。更に、上空の撮影位置ＳＰから地上に下した垂線ＰＬと、上空の撮影位置ＳＰと撮影画像のガントリークレーン４の機械室を構成する各ピクセルＰＸとを結ぶ線分ＳＬとがなす角の角度θとを考慮する。垂線ＰＬについては、高さが異なるだけで、どの位置をとっても緯度、経度は同じである。このため、ピクセルＰＸから垂線ＰＬに下した垂線ＰＰの長さＮを求めることで、ピクセルＰＸの緯度、経度を、撮影位置ＳＰの緯度、経度に基づいて特定できる。

具体的には、図４（Ｂ）に示したように、ｔａｎθ＝Ｎ／Ｈ－ｈより、垂線ＰＰの長さＮを求める。この場合に、撮影位置ＳＰから下した垂線と垂線ＰＰとの交点を基準とし、この交点の緯度、経度と、当該基準から目的とするピクセルＰＸが位置する方位と、垂線ＰＰの長さとにより、ピクセルＰＸの位置を緯度、経度に換算できる。すなわち、撮影位置ＳＰから下した垂線と垂線ＰＰとの交点の緯度、経度は、撮影位置ＳＰと同じである。このため、目的とするピクセルＰＸが、当該交点からどちらの方向にどれだけ離れた位置にあるかが分かれば、当該ピクセルＰＸの位置を緯度、経度に換算できるのである。

このようにして、撮影画像ＴＰにおけるガントリークレーン４の機械室４１の上面を構成する各ピクセルの位置を緯度、経度に換算できる。ここで、文字「Ｈ」は、ＵＡＶ２により計測される撮影位置ＳＰの高度（高さ）を意味している。また、文字「ｈ」は、ガントリークレーン４の機械室４１の上面までの高さを意味しており、ガントリークレーン４の設計図などにより既知の情報である。従って、ガントリークレーン４の機械室４１の上面までの高さは、上述もしたように、相対座標により飛行経路を設定する際のガントリークレーン４の３Ｄ画像などにおいて、既知の情報として特定できる。

更に、図３に示したように、ガントリークレーン４を含む地上エリアの撮影画像において、相対座標の原点とした基準点Ｐである、ガントリークレーン４の機械室４１の中心点を、画像認識した機械室４１の四隅の位置から特定する。この特定した中心点に対応するピクセルについて換算された緯度、経度により、機械室４１の中心点である基準点Ｐの緯度、経度が特定でき、更に既知の情報として、基準点Ｐの高度（高さ）ｈも特定できる。これにより、相対座標の原点（０，０，０）である基準点Ｐの絶対座標（緯度、経度、高度（高さ）を特定できる。このようにして特定した基準点Ｐの絶対座標（緯度、経度、高度（高さ）に基づいて、相対座標で表された飛行経路データを絶対座標で表された飛行経路データに正規化する。

このようにして、点検対象のガントリークレーンごとに、基準点Ｐの絶対座標が特定できれば、既に用意されている相対座標で表された相対飛行経路データを、点検対象のガントリーグレーンごとに絶対座標で表された自動飛行経路データに正規化できる。従って、点検対象のガントリークレーンごとに、絶対座標の自動飛行経路データを整えて、自動的に点検を行うようにすることができる。しかも基準点Ｐの緯度、経度の特定には、人手を介することもなく、計測誤差が生じる可能性もないし、計測ミスが発生する余地もない。

なお、図３に示した撮影画像ＴＰにおいては、点検対象のガントリークレーン４の近傍に位置するコンテナ群ＣＴなども画像認識により抽出（特定）され、ＵＡＶ２の飛行の障害となるものとして管理される。また、図３に示した撮影画像ＴＰにおいては、点検対象のガントリークレーン４の移動用のレールＲ１、Ｒ２も画像認識され、ガントリークレーン４のリーチの延伸方向を特定する場合の情報として用いられる。なお、図３の撮影画像ＴＰにおいて直線ＬＮは、海上と陸上との境界線である。

［ＵＡＶ２と飛行経路正規化装置１の概要］
図５は、実施の形態のＵＡＶ２と飛行経路正規化装置１の概要を説明するための図である。ＵＡＶ２は、詳しくは後述するが、ＧＮＳＳ部、各種のセンサ部、カメラ部２１０を備える。ＧＮＳＳ部や各種のセンサ部を備えることにより、ＵＡＶ２は、自動飛行（自律飛行）が可能なものである。カメラ部２１０は、図５において点線で囲って示したように、支柱２１０Ｐに固定され、矢印ａが示すチルト動作と、矢印ｂが示すロール動作とが可能なものである。

チルト動作は、垂直（上下）方向にカメラ部２１０の向きを変える動作であり、この実施の形態のＵＡＶ２のカメラ部２１０は、例えば、０度の位置（基準位置）から上方向に４５度（＋４５度）、下に９０度（－９０度）のチルト動作が可能なものである。また、ロール動作は、カメラ部２１０の光軸を中心にしてカメラ部２１０を回転させる動作であり、この実施の形態のＵＡＶ２のカメラ部２１０は、０度の位置（基準値）から左右に９０度ずつ（±９０度）のロール動作が可能なものである。

ＵＡＶ２は、図５においてＵＡＶ２から飛行経路正規化装置１に向けた矢印で示したように、図２を用いて説明した計測高度Ｈや相対高度Ｒを取得して、飛行経路正規化装置１に提供する。また、ＵＡＶ２は、点検対象のガントリークレーン４を含む地上エリアを撮影して得た撮影データを飛行経路正規化装置１に提供する。撮影データは、上述もしたように、点検対象のガントリークレーン４の点検部位を撮影して得た画像データと、撮影時の位置情報（緯度、経度、高度）、撮影時の方位情報などの種々のメタデータからなるＥｘｉｆ情報とを含むものである。

この実施の形態において、飛行経路正規化装置１は、上述もしたように点検管理会社１Ａの事務所に設置されるものであり、高度補正値算出部１２０や自動飛行経路作成部１３０を備える。高度補正値算出部１２０は、図２を用いて説明したように、計測高度Ｈから相対高度Ｒを減算して、相対高度Ｒに対する補正値を算出する機能を実現する。また、自動飛行経路作成部１３０は、ＵＡＶ２からの撮影データやその他の参照ファイルを参照しながら、必要データを生成して、生成ファイルに格納する。

また、自動飛行経路作成部１３０は、ＵＡＶ２からの撮影データやその他の参照ファイルを参照しながら、基準点Ｐの絶対座標（緯度、経度、高度）を算出し、相対座標で表された飛行経路データを絶対座標で表された飛行経路データに正規化する。正規化された飛行経路データは、自動飛行経路データファイル１１０に格納された後、図５において飛行経路正規化装置１からＵＡＶ２に向けた矢印で示したように、ＵＡＶ２に提供される。これにより、ＵＡＶ２が自動飛行経路データに応じて自動飛行し（自律飛行し）、点検対象であるガントリークレーン４の点検箇所の撮影を行う。

このように、ＵＡＶ２と飛行経路正規化装置１とは、協働することによって、ＵＡＶ２が、点検対象のガントリークレーン４の周囲を自動飛行して点検を行うことができるようにしている。特に、ガントリークレーン４の点検を自動飛行で行えるようにするための事前処理として、相対高度Ｒの補正値の算出や相対座標で表された飛行経路データを絶対座標で表した飛行経路データに正規化する一連の処理も行われる。以下、ＵＡＶ２と飛行経路正規化装置１の構成例について説明する。

［ＵＡＶ２の構成例］
図６は、実施の形態のＵＡＶ２の構成例を説明するためのブロック図である。ＵＡＶには、種々の種類のものが存在し大きく分けると、一般的な飛行機のように、羽が固定されている固定翼型、回転翼が１枚のヘリコプター型、回転翼が３枚以上のマルチコプター型がある。ヘリコプター型やマルチコプター型のＵＡＶの場合には、空中において一定の位置に留まるように飛行するホバリングが可能であるため、高所の点検作業に適している。この実施の形態のＵＡＶ２は、図５にも示したように、回転翼が４枚のクアッドコプター型のものである。

ＵＡＶ２は、図６に示すように、回転翼及びその駆動装置部からなる飛行機構部２１と、駆動制御ユニット２２とからなる。ＵＡＶ２は、遠隔操作による飛行と設定された飛行指示データに応じた自動飛行（自律飛行）との両方が可能なものである。図２において、送受信アンテナ２０１Ａ及び無線通信部２０１は、詳しくは後述する飛行経路正規化装置１からの自動飛行経路データを受信するなど、飛行経路正規化装置１などとの間で情報の送受信を行うものである。また、遠隔操作装置と通信を行う場合にも、送受信アンテナ２０１Ａ及び無線通信部２０１が使用される。

制御部２０２は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリなどがバスを通じて接続されて構成されたマイクロプロセッサであり、ＵＡＶ２の各部を制御する。記憶装置２０３は、例えばＳＳＤ（Solid State Drive）などの記憶媒体とそのドライバとからなるものであり、種々のプログラムや処理に必要になる種々のデータを記憶すると共に、各種の処理の途中結果を一時記憶する作業領域としても用いられる。また、記憶装置２０３は、上述したように、飛行経路正規化装置１からの自動飛行経路データなども記憶し、自動飛行時に利用できるようにする。

撮影データファイル２０４は、所定の記憶装置の記憶媒体に作成され、後述するカメラ部２１０を通じて撮影することにより得た画像データや当該画像データに対する種々のメタデータで構成されるＥｘｉｆ情報などを含む撮影データを記憶保持する。具体的に、撮影データは、画像データと、種々のメタデータとからなる。メタデータには、撮影位置（撮影時の緯度、経度、高度）、撮影時の動き情報（撮影時のカメラ部２１０の向きが含まれる。また、メタデータには、撮影時のチルト角度α、撮影時のチルトピッチ角度、撮影時のロール角度β、撮影時のロールピッチ角度）、撮影時の方位情報（撮影画像の真上方向の方位角など）といった種々の情報が含まれる。

画像データは、ＵＡＶ２のカメラ部２１０を通じて撮影することにより得た撮影画像を形成するものである。撮影位置は、後述する現在位置測位手段を通じて高精度に測位した撮影時のＵＡＶ２の現在位置を示す緯度、経度、高度である。ＵＡＶ２の現在位置は、カメラ部２１０の現在位置とみなせる。カメラ部２１０の撮影時動き情報である撮影時チルト角度αは垂直（上下）方向にカメラ部２１０の向きを変えた場合の角度である。また、カメラ部２１０の撮影時動き情報である撮影時ロール角度βはカメラ部２１０の光軸を中心にしてカメラ部２１０を回転させた場合の角度である。これらの撮影時動き情報は、カメラ部２１０から取得可能である。

さらに、カメラ部２１０の向きは、ＵＡＶ２が自律飛行する場合に使用される情報で、チルト角度αとロール角度βが共に０度である場合のカメラ部２１０が向いている方向、換言すれば、ＵＡＮ２の正面が向いている方向を示すものである。チルトピッチ角度は、ＵＡＶ２の前後の傾き（ピッチ方向の傾き）であり、ロールピッチ角度は、ＵＡＶ２の左右の傾き（ロール方向の傾き）である。カメラ部２１０の向き、チルトピッチ角度、ロールピッチ角度は、ＵＡＶ２に搭載されたセンサを通じて取得可能である。なお、チルトピッチ角度、ロールピッチ角度のそれぞれは、ＵＡＶ２自体の傾きを考慮して、撮影時チルト角度α、撮影時ロール角度βを補正する場合に用いることができる。撮影時の方位情報は、撮影画像の真上方向の方位角（北を０度として時計回りに示した角度）であり、これを基準として、撮影画像上の各方向を正確に把握できる。撮影時の方位情報もまた、ＵＡＶ２に搭載されたセンサを通じて取得可能である。

電源供給部２０５は、バッテリを備え、ＵＡＶ２の各部に必要となる電力を供給する。センサ部２０６は、例えば、ジャイロセンサ、気圧センサ、加速度センサ、超音波センサ、地磁気センサなどといった種々のセンサを備える。ジャイロセンサは姿勢制御に用いられ、気圧センサは高度検出に用いられる。加速度センサは速度検出に用いられ、超音波センサは対物との距離検出に用いられる。また、地磁気センサは方位検出に用いられる。なお、ジャイロセンサと加速度センサとで、前後、左右、上下の６軸センサを構成し、ＵＡＶ２の姿勢制御を細かく適切に行うことができるようにしている。

自律姿勢制御部２０７は、センサ部２０６に搭載された各種のセンサからの検出出力とカメラ部２１０からの撮影映像を利用して、ＵＡＶ２が、適切な姿勢で安定して飛行するように、飛行駆動部２０９を制御する。なお、超音波センサを用いるため、カメラ部２１０からの画像情報を用いる必要は必ずしもないが、障害物の確認のためにカメラ部２１０からの画像情報も利用できるようにしている。特に、離着陸時には重要な情報となる。

ＧＮＳＳ部２０８及びＧＮＳＳアンテナ２０８Ａは、複数の人工衛星からの送信信号（測位情報）を受信して解析することにより、自機の現在位置（緯度、経度）を正確に検出（測位）する機能を実現する部分である。なお、ＧＮＳＳは、全球測位衛星システムを意味し、ＧＰＳ（Global Positioning System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ）等の衛星測位システムの総称である。飛行駆動部２０９は、自律姿勢制御部２０７の制御に従って、飛行機構部２１の４つのプロペラ機構の４つのエンジン部のそれぞれに、駆動制御信号を供給する。これにより、ＵＡＶ２について、各種移動動作、姿勢制御、ホバリングの位置制御ができる。

カメラ部２１０は、上述もしたように、一の方向（前方）を向くように支柱２１０Ｐに取り付けられ、チルト動作とロール動作とか可能なものである。なお、パン動作（水平方向（左右方向）に向きを変える動作）についても行うように、カメラ部２１０を構成することも可能である。しかし、この実施の形態のＵＡＶ２の場合には、パン動作はカメラ部２１０の機能ではなく、ＵＡＶ２自体が向きを変えることにより実現される。カメラ部２１０は、制御部２０２の制御により、チルト角度やロール角度を変更したり、撮影を行ったりすることができる。また、カメラ部２１０は、レーザ光を照射し、その反射光を受光して位相差を検出することにより、レーザ光を反射した対象物までの距離を正確に測定するレーザ測距機能を備える。これにより、カメラ部２１０を真下に向けて（チルト角度を－９０度にして）、レーザ光を照射し、その反射光を受光することで、レーザ光を反射した対象物からＵＡＶ２までの距離（高度）を正確に測距することができる。

飛行制御部２１１は、自律姿勢制御部２０７と協働し、ＵＡＶ２が自動飛行を行う場合に、飛行経路正規化装置１から供給を受けて、記憶装置２０３に記憶保持されている自動飛行経路データに応じた飛行ルートを飛行するように、飛行駆動部２０９を制御する。自律姿勢制御部２０７がＵＡＶ２の主に姿勢制御を行うに対して、飛行制御部２１１は、自動飛行経路データにより指示された緯度、経度、高度を含む座標点列を辿る飛行を行うように、飛行駆動部２０９を制御する。

現在位置補正部２１２は、ＲＴＫ方式による現在位置の測位を実現する。現在位置補正部２１２は、ＧＮＳＳ部２０８を通じて測位した自機の現在位置を、例えば、無線通信部２０１及び送受信アンテナ２０１Ａを通じてＩｏＴプラットホーム３上の所定の補正局に送信する。そして、当該補正局から補正情報を得て、自機の現在位置を補正することにより、より正確な自機の現在位置を特定する。なお、補正局は、他の固定局で測位された当該固定局の現在位置等の提供を受けており、移動局からの当該移動局で測位された現在位置等の情報の提供を受けて、現在位置に含まれる誤差分を補正する補正情報を形成して提供できるものである。

また、ここでは、ＩｏＴプラットホーム３上の所定の補正局を利用する場合を説明したが、これに限るものではない。ＵＡＶ２の近隣に固定局を配置し、当該固定局でも自機の現在位置を測位し、ＵＡＶ２と固定局との間で無線通信により情報をやり取りして、測位された現在位置に含まれる誤差分を補正して、より正確な現在位置を取得する方式を用いることもできる。

撮影ログ形成部２１３は、カメラ部２１０を通じて撮影が行われた場合に、制御部２０２の制御により、撮影位置（撮影時の現在位置）、カメラ部２１０の動き情報、方位情報などからなるログデータを形成する。撮影位置は、撮影時において現在位置補正部２１２で取得した正確な自機の現在位置（緯度、経度）と、センサ部２０６の気圧センサによって計測された高度とを含む。カメラ部２１０の動き情報は、カメラ部２１０から取得する撮影時チルト角度α、撮影時ロール角度βと、センサ部２０６から取得するカメラ部２１０の撮影時の向き（ＵＡＶ２の向き）、チルトピッチ角度、ロールピッチ角度からなる情報である。また、方位情報は、センサ部２０６の地磁気センサを通じて特定された北を０度して、撮影画像の真上方向の方位角を含む。

これにより、制御部２０２は、カメラ部２１０を通じて撮影して得た画像データと、上記の撮影ログ情報やカメラ部２１０の状態情報など、その他の種々のメタデータを付加した撮影データを形成し、撮影データファイル２０４に記録できる。このような構成を有するＵＡＶ２が、後述する自動飛行経路データに従って、点検対象物であるガントリークレーンの周囲を飛行し、点検部位を撮影して、撮影画像を取得して、撮影データファイル２０４に記録できる。

［飛行経路正規化装置１の構成例］
図７は、実施の形態の飛行経路正規化装置１の構成例を説明するためのブロック図である。接続端１０１Ｔは、ＩｏＴプラットホーム３への接続端部を構成する。通信部１０１は、ＩｏＴプラットホーム３を通じて通信を行う機能を実現する。制御部１０２は、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリなどがバスを通じて接続されて構成されたマイクロプロセッサであり、飛行経路正規化装置１の各部を制御する。記憶装置１０３はＳＳＤなどの記憶媒体とそのドライバとからなるものであり、種々のプログラムや処理に必要になる種々のデータを記憶すると共に、各種の処理の途中結果を一時記憶する作業領域としても用いられる。記憶装置１０３は、上述したＵＡＶ２からの計測高度Ｈ、相対高度Ｒ、撮影データを記憶保持するものとしても用いられる。

点検対象３Ｄデータファイル１０４は、点検対象であるガントリークレーンの３Ｄ画像データを記憶保持する。当該３Ｄ画像データにより、点検対象のガントリークレーンの全高、全長、機械室上面までの高さなど、当該ガントリークレーンの種々の部分のサイズを正確に把握することができる。ピクセル緯度経度ファイル１０５は、図３、図４を用いて説明したように、ＵＡＶ２からの撮影データについて画像認識を行って抽出したガントリークレーン４の機械室の上面を構成する各ピクセルの換算した緯度、経度を、ピクセルごとに記憶保持する。

基準データファイル１０６は、例えば点検対象であるガントリークレーン４の向き（リーチが伸びた方向）を特定するなどのために、ガントリークレーン４のレールなどの直線物の緯度、経度や撮影画像の上方向の方位角を示す情報などを記憶保持する。直線物は、ＵＡＶ２からの撮影データに含まれる画像データにより形成される撮影画像を画像認識することにより抽出することができる。当該直線物の緯度、経度も、ガントリークレーン４の機械室の上面を構成する各ピクセルの緯度、経度を換算した方法と同様の方法により特定できる。なお、直線物の場合の位置は、その両端部の緯度、経度を把握しておくことで、全体の位置および延伸方向を特定できる。

障害物管理データファイル１０７は、ＵＡＶ２からの撮影データに含まれる画像データにより形成される撮影画像を画像認識することにより抽出した、コンテナ群やその他の構造物などの所在位置を示す緯度、経度、高さを記憶保持する。コンテナ群やその他の構造物などの所在位置を示す緯度、経度は、ガントリークレーン４の機械室の上面を構成する各ピクセルの緯度、経度を換算した方法と同様の方法により特定できる。コンテナ群やその他の構造物などの所在位置は、コンテナ群やその他の構造物の上空から見た場合に認識できる各頂点の緯度、経度により特定できる。

また、コンテナ群やその他の構造物の高さは、ＵＡＶ２の高度からＵＡＶ２のカメラ部２１０が備えるレーザ測距機能を用いて測距した距離を引き算することに求めることができる。また、コンテナ群の場合には、積み上げられるコンテナ数が決まっていれば、最大積み上げ可能数に応じてコンテナ群の高さを特定してもよい。また、他の構造物が他のガントリークレーンや地上に設けられた構造物の場合には、点検対象３Ｄデータファイルなどに格納されている当該構造物の３Ｄ画像データに応じて、当該他の構造物の高さを特定してもよい。

飛行禁止エリアファイル１０８は、ガントリークレーン４を点検する場合に、ＵＡＶ２が飛行できない飛行禁止エリアを示すデータを記憶保持する。飛行禁止エリアを示すデータは、後述もするが、障害物管理データファイル１０７の格納データなどが考慮され、ガントリークレーン４の点検にあたりＵＡＶ２が飛行できない３次元エリアの外縁を特定できる複数の地点の緯度、経度、高さが記憶保持される。

相対飛行経路データファイル１０９は、相対座標により表された相対飛行経路データを記憶保持する。相対飛行経路データは、上述もしたように、例えば、点検対象３Ｄデータファイル１０４のガントリークレーンの３Ｄ画像を使用して事前に作成できる。図８は、実施の形態の点検対象であるガントリークレーンの相対座標により表された飛行経路の例について説明するための図である。

使用者は、例えば図８に示したように、ＣＡＤ装置のディスプレイに表示されるガントリークレーン４の３Ｄ画像を見ながら、マウス等のポインティングディバイスやキーボードを操作して、予定撮影位置や撮影方向やカメラの角度などの設定ができる。図８において、ガントリークレーン４の機械室４１の上面の中心点が基準点Ｐとされ、この基準点Ｐが原点（０，０，０）となる相対座標系において、撮影位置を設定する。

図８においては、符号ＲＢ、ＲＳ、ＦＦ、ＬＳ、ＬＢ、ＢＢで示した位置が撮影位置であり、基準点Ｐを原点とする相対座標により特定される。すなわち、図８に示したように、位置ＲＢは相対座標（ｘ１，ｙ１，ｚ１）で特定され、位置ＲＳは相対座標（ｘ２，ｙ２，ｚ２）で特定される。同様に、位置ＦＦは相対座標（ｘ３，ｙ３，ｚ３）で特定され、位置ＬＳは相対座標（ｘ４，ｙ４，ｚ４）で特定される。同様に、位置ＬＢは相対座標（ｘ５，ｙ５，ｚ５）で特定され、位置ＢＢは相対座標（ｘ６，ｙ６，ｚ６）で特定される。

また、図８において、撮影位置ＲＢ、ＲＳ、ＦＦ、ＬＳ、ＬＢ、ＢＢの周囲を囲むように、点線の立方体を示している。これは、撮影位置ＲＢ、ＲＳ、ＦＦ、ＬＳ、ＬＢ、ＢＢのそれぞれが、x方向、y方向、ｚ方向のそれぞれにプラス方向と－方向とに所定の幅を持ち、撮影位置ＲＢ、ＲＳ、ＦＦ、ＬＳ、ＬＢ、ＢＢのそれぞれをエリアとして特定することを示している。このように、撮影位置を、範囲を持つエリアとして特定しているのは、通常、ＵＡＶ２は風の影響を受けやすく、ホバリングにより一定の位置に留まることは難しいため、撮影に支障のない範囲で撮影位置を範囲として指定しているためである。

また、図８において、ａ１～ａ８で示した部分が、撮影対象となる点検部位である。このため、撮影位置ＲＢからは点検部位ａ１、ａ２、ａ３、ａ４を撮影し、撮影位置ＲＳからは、点検部位ａ１、ａ２、ａ３、ａ４を撮影することが示される。このように、撮影位置ごとに撮影する点検部位と、カメラの向き（撮影方向）、各点検部位を撮影する際のチルト角度αとロール角度βの設定も行われる。なお、上述したように、撮影位置ＲＢ、ＲＳ、…は、範囲を持ったエリアとして特定される。このため、チルト角度αとロール角度βとについても、範囲が設定される。

このようにして設定される相対飛行経路データが、相対飛行経路データファイル１０９に格納される。図９は、実施の形態の飛行経路正規化装置１の相対飛行経路データファイル１０９の格納データファイルの格納データの例を説明するための図である。相対飛行経路データファイル１０９に格納される相対飛行経路データは、図９に示すように、「Ｎｏ．」、「撮影位置ＩＤ」、「予定撮影位置（相対座標）」、「カメラ向き」、「予定カメラ角度」、「点検部位ＩＤ」からなる。

「Ｎｏ．」は、相対飛行経路データに付されたシーケンス番号であり、この実施の形態において、撮影順序をも示している。「撮影位置ＩＤ」は、撮影位置を特定するための情報であり、各相対飛行経路データを一意に特定する情報にもなっている。「予定撮影位置（相対座標）」は、基準点Ｐを原点（０，０，０）とする相対座標系において、予定撮影位置を示す情報であり、ｘ軸データ、ｙ軸データ、ｚ軸データとからなる。ｘ軸データ、ｙ軸データ、ｚ軸データのそれぞれは、上述もしたように、マイナス方向とプラス方向に範囲を持つようにされている。

「カメラ向き」は、点検部位を撮影する場合のカメラ部２１０のレンズを向ける方向であり、この実施の形態では方位角として示される。「予定カメラ角度」は、撮影時のカメラ部２１０のチルト角度αと、ロール角度βとからなる。これらチルト角度αとロール角度βについても、例えば、－４５度から＋４５度のように範囲指定により表される。点検部位ＩＤは、当該予定撮影位置から撮影すべき点検部位を特定する情報である。図９に示すように、１か所の予定撮影位置から複数個所の点検部位を撮影する場合もあるため、１か所の予定撮影位置に対して、カメラの向きや予定カメラ角度は、撮影する点検部位に応じて、複数になる場合がある。また、図９には示していないが、各点検部位の撮影枚数などのその他の必要情報を設定することも可能である。

このような相対飛行経路データが点検対象のガントリークレーンに対して事前に作成され、相対飛行経路データファイル１０９に格納されている。なお、図８においては、説明を簡単にするため、予定撮影位置の一部として６つの予定撮影位置を示し、点検部位の一部として８つの点検部位を示して具体的に説明した。しかし、ガントリークレーンの点検箇所は、実際には、数百か所というように多数存在し、このため予定撮影位置も点検箇所に応じて多数存在することになる。

自動飛行経路データファイル１１０には、絶対座標により表された自動飛行経路データが格納される。図１０は、実施の形態の飛行経路正規化装置１の自動飛行経路データファイル１１０の格納データの例を説明するための図である。自動飛行経路データファイル１１０に格納される自動飛行経路データは、基本的に、相対飛行経路データファイル１０９に格納されている相対飛行経路データと同じ内容のデータであるが、予定撮影位置が絶対座標に正規化されたものになる。

すなわち、自動飛行経路データファイル１１０に格納される自動飛行経路データは、図１０に示すように、「Ｎｏ．」、「撮影位置ＩＤ」、「予定撮影位置（絶対座標）」、「カメラ向き」、「予定カメラ角度」、「点検部位ＩＤ」からなる。「予定撮影位置（絶対座標）」以外の各情報は、図９を用いて説明した相対飛行経路データファイル１０９に格納される相対飛行経路データの対応する情報と同様のものである。

しかし、「予定撮影位置（絶対座標）」は、図３、図４を用いて説明したように、基準点Ｐの緯度、経度、高さを特定し、これを原点として相対座標で表された相対飛行経路データの「予定撮影位置（相対座標）」を絶対座標に正規化したものとなる。すなわち、「予定撮影位置（絶対座標）」は、基準点Ｐの絶対座標（緯度，経度、高度）に基づいて、絶対座標により予定撮影位置を示す情報であり、緯度データ（Ｌａｔ）、経度データ（Ｌｏｎ）、高度データ（ＡＬ）とからなる。なお、緯度データ（Ｌａｔ）、経度データ（Ｌｏｎ）、高度データ（ＡＬ）のそれぞれは、「予定撮影位置（絶対座標）」の場合と同様に、マイナス方向とプラス方向に範囲を持つようにされる。

なお、自動飛行経路データファイルの自動飛行経路データは、単に、相対飛行経路データの「予定撮影位置（相対座標）」を絶対座標に正規化したものだけではない。飛行禁止エリアファイル１０８の情報に基づいて、障害物などの影響により飛行禁止エリアになった部分に飛行経路が入り込まないように、「予定撮影位置（相対座標）」と同様の態様で「経由地（絶対座標）」が設定される場合もある。この「経由地（絶対座標）」については、撮影を行うことはないので、「カメラ向き」、「予定カメラ角度」、「点検部位ＩＤ」といった情報が設定されることはない。

図７に示した各ファイル１０４～１１０は、ＳＳＤなどの１つの記憶装置に記憶エリアを変えて作成することもできるし、それぞれを異なる記憶装置に作成することもできる。また、図７に示した各ファイル１０４～１１０は、複数の記憶装置に分散させて作成することもできる。

高度補正値算出部１２０及び自動飛行経路作成部１３０が、相対座標で表された相対飛行経路データを、絶対座標で表された自動飛行経路データに正規化を行う処理部となる。以下、高度補正値算出部１２０と、自動飛行経路作成部１３０を構成する各部について説明する。

高度補正値算出部１２０は、相対高度Ｒの補正値を算出する処理を行う。すなわち、図２を用いて説明したように、点検飛行エリアＡｒ２に到達したＵＡＶ２は、レーザ測距機能を用いて計測高度Ｈを取得すると共に、センサ部２０６の気圧計を用いて相対高度Ｒを取得し、これを飛行経路正規化装置１に送信してくる。これらの情報を飛行経路正規化装置１は、接続端１０１Ｔ及び通信部１０１を通じて受信し、制御部１０２が記憶装置１０３に記録する。高度補正値算出部１２０は、制御部１０２の制御の下、記憶装置１０３に記憶された計測高度Ｈから相対高度Ｒを現在して差分αを求め、これを記憶装置１０３に記録し、相対高度Ｒの補正値として利用できるようにする。

自動飛行経路作成部１３０の各部は、点検飛行エリアＡｒ２に到達したＵＡＶ２から所定高度から点検対象のガントリークレーン４を含む地上エリアを撮影して得た撮影データが送信されてきた場合に機能する。自動飛行経路作成部１３０の各部は、相対飛行経路データを絶対座標の自動飛行経路データに正規化するための一連の処理を行う。ここでは、図１１の実施の形態の飛行経路正規化装置１の自動飛行経路作成部１３０で行われる正規化処理を説明するためのフローチャートを参照しながら、自動飛行経路作成部１３０の各部について説明する。

点検対象のガントリークレーン４を含む地上エリアを撮影して得た撮影データは、飛行経路正規化装置１の接続端１０１Ｔ及び通信部１０１を通じて受信され（取得され）、制御部１０２によって記憶装置１０３に記録される（ステップＳ１０１）。この後、制御部１０２の制御の下、方位角取得部１３１が機能し、記憶装置１０３に記録された撮影データのＥｘｉｆ情報から撮影された画像の上方向の方位角を取得し、基準データファイル１０６に記録する（ステップＳ１０２）。

画像認識部１３２は、記憶装置１０３に記録された撮影データの画像データによって形成される撮影画像において、ガントリークレーン４の機械室４１やその他の必要対象物を、画像認識を用いて抽出（特定）する（ステップＳ１０３）。ステップＳ１０３において抽出するその他の必要対象物は、例えば、ガントリークレーン４の周囲に位置するコンテナ群や構造物などのＵＡＶ２の飛行に障害となる可能性のあるものである。

また、画像認識部１３２は、記憶装置１０３に記録された撮影データの画像データによって形成される撮影画像において、例えば、ガントリークレーン４の移動用のレールなどの直線物を、画像認識を用いて抽出（特定）する（ステップＳ１０４）。当該直線物と画像の上方向の方位角とによって、ガントリークレーン４のリーチの延伸方向などを特定できるようにするためである。

ピクセル緯度経度換算部１３３は、ステップＳ１０３で抽出（特定）したガントリークレーン４の機械室４１の上面の画像を構成する各ピクセルの位置を、緯度、経度に換算し、ピクセルごとに、ピクセル緯度経度ファイル１０５に格納する（ステップＳ１０５）。基準点特定部１３４は、ガントリークレーン４の機械室４１の中心点を、当該機械室の四隅の位置に基づいて割り出し、当該中心点の緯度、経度を抽出して、基準点Ｐの緯度、経度として特定し、基準データファイル１０６に記録する（ステップＳ１０６）。

すなわち、この実施の形態では、上述したように、ガントリークレーン４の機械室４１の上面の中心点を基準点Ｐとして用いている。このため、撮影された撮影画像において抽出（特定）された機械室の上面の画像部分において、その中心点を特定し、更に、その中心点に対応するピクセルを特定する。機械室の上面の画像を構成する各ピクセルの位置は、ステップＳ１０５において緯度、経度に換算されているので、ステップＳ１０６において、機械室４１の上面の中心点、すなわち基準点Ｐの緯度、経度が特定できる。また、ガントリークレーン４の機械室４１の上面までの高さｈも点検対象３Ｄデータファイル１０４のデータにより既知の情報であるので、基準点Ｐの緯度、経度、高さが特定できる。

基準方位算出部１３５は、ステップＳ１０４で画像認識により抽出（特定）した直線物が示す線分の両端の緯度、経度を特定し、当該線分が示す方位と方位角とを用いてガントリークレーン４のリーチの延伸方向を基準方位として算出する（ステップＳ１０７）。算出された基準方位は、例えば、基準データファイル１０６に記録されて、利用可能にされる。直線物が示す線分の両端の緯度、経度は、図４を用いて方式により機械室４１の上面の画像を構成するピクセルの緯度、経度を特定する場合と同様にして特定できる。

これにより、直線物の延伸方向が特定できるので、この直線物の方位は、画像の上方向の方位角を基準にして求めることができる。この直線物の方位を基準にしてガントリークレーン４のリーチの延伸方向の方位を特定できる。例えば、直線物がガントリークレーン４の移動用のレール場合、当該レールに対して直交する方向がガントリークレーン４のリーチの延伸方向となる。ステップＳ１０７で求められたガントリークレーン４のリーチの延伸方向である基準方位は、基準データファイル１０６に記録されて、必要に応じて用いることができるようにされる。

また、ステップＳ１０７においては、障害物管理部１３６も機能する。障害物管理部１３６は、ステップＳ１０３において抽出（特定）したその他の必要対象物について、緯度、経度、高さを特定し、これを障害物管理データファイル１０７に格納する（ステップＳ１０７）。その他の必要対象物は、上述したように、ＵＡＶ２の飛行の障害となる可能性のあるものである。障害物管理部１３６は、画像認識により抽出（特定）した必要対象物ごとに、その外縁（エッジ）が特定可能なように、複数点の緯度、経度を特定し、必要対象物ごとに障害物管理データファイル１０７に格納する。

なお、必要対象物の緯度、経度もまた、図４を用いて方式により機械室４１の上面の画像を構成するピクセルの緯度、経度を特定する場合と同様にして特定できる。また、必要対象物の高さは、固定的に所定の高さとしてもよいし、高さが変わらない構造物の場合には、例えば、基準データファイル１０６などに予め設定しておき、これを用いるようにしてもよい。もちろん、ＵＡＶ２のレーザ測距機能を用いて、上空から必要対象物までの距離を求め、その時のＵＡＶ２の飛行高度から必要対象物までの距離を減算することにより、必要対象物の高さを求めるようにしてもよい。

飛行禁止エリア特定部１３７は、基準データファイル１０６の情報や障害物管理データファイル１０７の情報などを用いて、ガントリークレーン４の点検部位の撮影のためにＵＡＶ２の飛行禁止エリアを特定する処理を行う（ステップＳ１０８）。換言すれば、ステップＳ１０８の処理は、ガントリークレーン４の各部の点検のためにＵＡＶ２が飛行可能エリアを作成する処理である。飛行禁止エリア特定部１３７は、特定した飛行禁止エリアを特定する情報として、ガントリークレーン４の点検にあたりＵＡＶ２が飛行できない３次元エリアの外縁を特定することができるように、複数の地点の緯度、経度、高さが記憶保持される。なお、飛行禁止エリア特定部１３７は、点検対象のガントリークレーン４の位置や大きさ、リーチの延伸方向などを考慮して、飛行禁止エリアを特定する。

飛行経路正規化部１３８は、ステップＳ１０６で特定した基準点Ｐの緯度、経度、高さを用いて、相対飛行経路データファイル１０９の相対飛行経路データを、絶対座標により表した移動飛行経路データに正規化する処理を行う（ステップＳ１０９）。ステップＳ１０９の処理において、飛行経路正規化部１３８は、相対飛行経路データを正規化して、絶対座標により表した移動飛行経路データを作成し、これを自動飛行経路データファイル１１０に記録する。この場合、飛行経路正規化部１３８は、飛行禁止エリアファイル１０８の情報を考慮し、障害物があるために飛行ができない飛行禁止エリアは避けて、安全に飛行可能な飛行可能エリアだけを用いるようにして、正規化処理を行う。

このようにして自動飛行経路データファイル１１０に作成された自動飛行経路データが、図５を用いて説明したように、ＩｏＴプラットホーム３を通じてＵＡＶ２提供される。これにより、当該ＵＡＶ２は、自動飛行経路データに従って自動飛行（自律飛行）し、ガントリークレーン４の所定の点検部位を自動撮影して、所定の点検部位の撮影データを蓄積することができる。すなわち、ＵＡＶ２は、飛行経路正規化装置１と協働することによって、人手を介すことなく、ガントリークレーン４の点検のための撮影処理を行うことができる。

なお、画像認識したコンテナ群などの障害物の位置を緯度、経度に換算する処理やガントリークレーンの移動用のレールなどの直線物の両端の位置を緯度、経度に換算する処理は、ピクセル緯度経度換算部１３３において、一括して行うようにすることもできる。

［実施の形態の効果］
上述した実施の形態の飛行経路正規化装置１によれば、相対座標系の原点（０，０，０）となる基準点Ｐの絶対座標（緯度、経度）を、人手を介すことなくＵＡＶ２の撮影画像に基づいて、正確に特定できる。この特定した基準点Ｐの絶対座標（緯度、経度）に基づいて、事前に用意されるデータである相対飛行経路データ（相対座標により表された飛行経路データ）を、自動的に絶対座標により表された自動飛行経路データに正規化することができる。

このように、基準点Ｐの絶対座標（緯度、経度）を、人手を介して計測する必要が無いので、ＵＡＶ２を用いたガントリークレーン４の点検作業の工数を削減することができる。また、計測誤差が混入したり、計測ミスが発生したりするといった不都合が生じることも無い。また、ＵＡＶ２の操縦者が現地に赴く必要がなく、ＵＡＶ２と遠隔地に位置する飛行経路正規化装置１とが協働することによって、基本的に人手を介すことなくＵＡＶ２を自動飛行（自律飛行）させて、点検作業を行うことができる。

［変形例］
なお、上述した実施の形態では、ガントリークレーン４の機械室４１の上面の中心点を基準点Ｐとしたが、これに限るものではない。例えば、ガントリークレーン４の機械室４１の上面の中心点から垂線を下した地上位置を基準点Ｐとしてもよい。この場合、基準点Ｐの緯度、経度は、機械室４１の上面の中心点の緯度、経度を用いることができ、基準点Ｐの高さは０（ゼロ）ｍとすることができる。

また、上述した実施の形態では、基準方位を特定するために、ガントリークレーン４の移動用のレールなどの直線物を画像認識により抽出（特定）するようにしたが、これに限るものではない。直線物は、例えば、コンテナ群の縁、海上と陸上を分ける岸壁の縁など、認識可能な種々の直線物を用いることができる。また、飛行経路正規化装置１において、撮影画像の所定の位置に対し直線のマーカを付すようにし、これを用いて基準方位を特定するようにしてもよい。

また、基準点Ｐは、ＵＡＶ２により上空から撮影した点検対象物を含む地上エリアの撮影画像から特定可能な種々の位置とすることができる。例えば、点検対象物がガントリークレーンの場合にが、リーチの海側の先端など、適宜の位置とすることができる。従って、点検対象物は、ガントリークレーンに限るものではなく、橋梁、鉄塔、風力発電用の風車塔、観覧車といった種々の高構造を対象とすることができる。この場合においても、相対飛行経路データを事前に作成する場合の基準点は、ＵＡＶ２により上空から撮影した点検対象物を含む地上エリアの撮影画像から特定可能な種々の位置とすることができる。

また、港湾エリアには複数のガントリークレーンがある場合が多く、架空送電線の鉄塔の場合には、所定の距離間隔を空けて、複数の鉄塔が存在する。このため、ＵＡＶ２の飛行可能時間を考慮し、１つの点検対象物の点検を終了した場合の移動方向を示す情報を用意する。１つの点検対象物の点検を終了したら当該移動方向を示す情報に従って、海上と陸上の境界線に沿って、あるいは、送電線に沿って移動する。そして、カメラ部２１０の撮影画像を画像認識することにより、次の点検対象物が特定できたら、点検対象物を含む地上エリアを撮影し、撮影データを飛行経路正規化装置１に送信して、点検を行うようにすることもできる。すなわち、連続して複数の点検対象物の点検を行うようにすることもできる。

また、上述もしたように、この発明は、ガントリークレーンの点検だけでなく、橋梁、鉄塔、風力発電用の風車塔、観覧車といった種々の高構造を対象とすることができる。すなわち、橋梁やビルでイングなどの固定固有構造物であっても、点検のための飛行経路データが、当該点検対象の所定の部分に応じて決められる基準点を原点する相対座標により作成されている場合も考えられる。このような場合には、これを絶対座標の飛行経路データに正規化する場合においても、この発明を利用できる。

［その他］
上述した実施の形態の説明からも分かるように、請求項に記載の記憶手段の機能は、実施の形態の飛行経路正規化装置１の相対飛行経路データファイル１０９が実現している。請求項に記載の取得手段の機能は、飛行経路正規化装置１の通信部１０１と制御部１０２が協働して実現している。また、請求項の画像認識手段の機能は、飛行経路正規化装置１の画像認識部１３２が実現し、請求項の変換手段の機能は、飛行経路正規化装置１のピクセル緯度経度換算部１３３が実現している。また、請求項の基準点特定手段の機能は、飛行経路正規化装置１の基準点特定部１３４が実現し、請求項の正規化手段の機能は、飛行経路正規化装置１の飛行経路正規化部１３８が実現している。

また、請求項の直線物特定手段の機能は、飛行経路正規化装置１の画像認識部１３２が実現し、請求項の直線物位置変換手段の機能は、飛行経路正規化装置１のピクセル緯度経度換算部１３３が実現している。また、請求項の基準方位算出手段の機能は、飛行経路正規化装置１の基準方位算出部１３５が実現している。また、請求項の障害物認識手段の機能は、飛行経路正規化装置１の画像認識部１３２が実現し、請求項の障害物位置変換手段の機能は、飛行経路正規化装置１のピクセル緯度経度換算部１３３が実現している。

また、図１１のフローチャートに示した処理が、飛行経路正規化装置１で実行される飛行経路正規化方法の一実施の形態である。また、図１１のフローチャートに示した処理を実行するプログラムが、例えばコンピュータで実行される飛行経路正規化プログラムの一実施の形態である。従って、図７に示した飛行経路正規化装置１の高度補正値算出部１２０や自動飛行経路作成部１３０を構成する各部の機能は、制御部１０２において実行されるプログラムによって、制御部１０２の機能として実現することができる。

１Ａ…点検管理会社、１Ｂ…港湾事務所、１…飛行経路正規化装置、１０１Ｔ…接続端、１０１…通信部、１０２…制御部、１０３…記憶装置、１０４…点検対象３Ｄデータファイル、１０５…ピクセル緯度経度ファイル、１０６…基準データファイル、１０７…障害物管理データファイル、１０８…飛行禁止エリアファイル、１０９…相対飛行経路データファイル、１１０…自動飛行経路データファイル、１２０…高度補正値算出部、１３０…自動飛行経路作成部、１３１…方位角取得部、１３２…画像認識部、１３３…ピクセル緯度経度換算部、１３４…基準点特定部、１３５…基準方位算出部、１３６…障害物管理部、１３７…飛行禁止エリア特定部、１３８…飛行経路正規化部、２…ＵＡＶ、３…ＩｏＴプラットホーム、４…ガントリークレーン、４１…機械室

Claims (9)

1. 目的対象物の所定部分に応じて予め設定される基準点を原点とする相対座標により表され、前記目的対象物を撮影する際のＵＡＶ（Unmanned Aerial Vehicle）の飛行経路を示す相対飛行経路データを記憶する記憶手段と、
   前記ＵＡＶに搭載されたカメラを上空より地上に向けて、前記目的対象物を含む地上エリアを撮影して得られた画像データと、撮影位置を含むメタデータとからなる撮影データを前記ＵＡＶより取得する取得手段と、
   前記画像データにより形成される画像について画像認識を行い、前記目的対象物の前記所定部分を抽出する画像認識手段と、
   前記画像認識手段により認識された前記所定部分の画像を構成するピクセルの位置を、前記目的対象物の前記所定部分までの高さと撮影位置とを考慮して、緯度経度に変換する変換手段と、
   前記変換手段により緯度経度に変換された前記所定部分の画像を構成するピクセルの位置に応じて、前記基準点の緯度経度を特定する基準点特定手段と、
   前記基準点特定手段により特定された前記基準点の緯度経度に基づいて、前記記憶手段の前記相対飛行経路データを正規化することにより、絶対座標により表された自動飛行データを作成する正規化手段と
   を備えることを特徴とする飛行経路正規化装置。
2. 請求項１に記載の飛行経路正規化装置であって、
   前記取得手段を通じて取得される前記撮影データの前記メタデータは、撮影時の方位情報を含むものであり、
   前記画像データにより形成される画像において、前記目的対象物の向きを特定するための直線物を特定する直線物特定手段と、
   前記直線物特定手段により特定された前記直線物を構成するピクセルの位置を、撮影位置を考慮して、緯度経度に変換する直線物位置変換手段と、
   前記メタデータに含まれる撮影時の前記方位情報と、前記直線物位置変換手段により緯度経度が特定された前記直線物とに基づいて、前記目的対象物の向きを算出する基準方位算出手段と
   を備え、
   前記正規化手段は、前記基準方位算出手段で算出された前記目的対象物の向きを考慮して、自動飛行データの調整を行うことができるものである
   ことを特徴とする飛行経路正規化装置。
3. 請求項１または請求項２に記載の飛行経路正規化装置であって、
   前記画像データにより形成される画像について画像認識を行い、前記目的対象物の周囲に存在する障害物を抽出する障害物認識手段と、
   前記障害物認識手段により認識された前記障害物の画像を構成するピクセルの位置を、前記障害物までの高さと撮影位置とを考慮して、緯度経度に変換する障害物位置変換手段と、
   を備え、
   前記正規化手段は、前記障害物位置変換手段で変換された前記障害物の位置を考慮して、自動飛行データの調整を行うことができるものである
   ことを特徴とする飛行経路正規化装置。
4. 目的対象物の所定部分に応じて予め設定される基準点を原点とする相対座標により表され、前記目的対象物を撮影する際のＵＡＶ（Unmanned Aerial Vehicle）の飛行経路を示す相対飛行経路データを記憶する記憶手段を備えた情報処理装置で用いられる飛行経路正規化方法であって、
   前記ＵＡＶに搭載されたカメラを上空より地上に向けて、前記目的対象物を含む地上エリアを撮影して得られた画像データと、撮影位置を含むメタデータとからなる撮影データを前記ＵＡＶより取得する取得工程と、
   前記画像データにより形成される画像について画像認識を行い、前記目的対象物の前記所定部分を抽出する画像認識工程と、
   前記画像認識工程において認識した前記所定部分の画像を構成するピクセルの位置を、前記目的対象物の前記所定部分までの高さと撮影位置とを考慮して、緯度経度に変換する変換工程と、
   前記変換工程において緯度経度に変換した前記所定部分の画像を構成するピクセルの位置に応じて、前記基準点の緯度経度を特定する基準点特定工程と、
   前記基準点特定工程において特定した前記基準点の緯度経度に基づいて、前記記憶手段の前記相対飛行経路データを正規化することにより、絶対座標により表された自動飛行データを作成する正規化工程と
   を有することを特徴とする飛行経路正規化方法。
5. 請求項４に記載の飛行経路正規化方法であって、
   前記取得工程を通じて取得した前記撮影データの前記メタデータは、撮影時の方位情報を含むものであり、
   前記画像データにより形成される画像において、前記目的対象物の向きを特定するための直線物を特定する直線物特定工程と、
   前記直線物特定工程において特定した前記直線物を構成するピクセルの位置を、撮影位置を考慮して、緯度経度に変換する直線物位置変換工程と、
   前記メタデータに含まれる撮影時の前記方位情報と、前記直線物位置変換工程において緯度経度が特定された前記直線物とに基づいて、前記目的対象物の向きを算出する基準方位算出工程と
   を備え、
   前記正規化工程においては、前記基準方位算出工程で算出した前記目的対象物の向きを考慮して、自動飛行データの調整を行う
   ことを特徴とする飛行経路正規化方法。
6. 請求項４または請求項５に記載の飛行経路正規化方法であって、
   前記画像データにより形成される画像について画像認識を行い、前記目的対象物の周囲に存在する障害物を抽出する障害物認識工程と、
   前記障害物認識工程において認識した前記障害物の画像を構成するピクセルの位置を、前記障害物までの高さと撮影位置とを考慮して、緯度経度に変換する障害物位置変換工程と、
   を備え、
   前記正規化工程においては、前記障害物位置変換工程で変換した前記障害物の位置を考慮して、自動飛行データの調整を行う
   ことを特徴とする飛行経路正規化方法。
7. 目的対象物の所定部分に応じて予め設定される基準点を原点とする相対座標により表され、前記目的対象物を撮影する際のＵＡＶ（Unmanned Aerial Vehicle）の飛行経路を示す相対飛行経路データを記憶する記憶手段を備えたコンピュータで実行される飛行経路正規化プログラムであって、
   前記ＵＡＶに搭載されたカメラを上空より地上に向けて、前記目的対象物を含む地上エリアを撮影して得られた画像データと、撮影位置を含むメタデータとからなる撮影データを前記ＵＡＶより取得する取得ステップと、
   前記画像データにより形成される画像について画像認識を行い、前記目的対象物の前記所定部分を抽出する画像認識ステップと、
   前記画像認識ステップにおいて認識した前記所定部分の画像を構成するピクセルの位置を、前記目的対象物の前記所定部分までの高さと撮影位置とを考慮して、緯度経度に変換する変換ステップと、
   前記変換ステップにおいて緯度経度に変換した前記所定部分の画像を構成するピクセルの位置に応じて、前記基準点の緯度経度を特定する基準点特定ステップと、
   前記基準点特定工程において特定した前記基準点の緯度経度に基づいて、前記記憶手段の前記相対飛行経路データを正規化することにより、絶対座標により表された自動飛行データを作成する正規化ステップと
   を有することを特徴とする飛行経路正規化プログラム。
8. 請求項７に記載の飛行経路正規化プログラムであって、
   前記取得ステップを通じて取得した前記撮影データの前記メタデータは、撮影時の方位情報を含むものであり、
   前記画像データにより形成される画像において、前記目的対象物の向きを特定するための直線物を特定する直線物特定ステップと、
   前記直線物特定ステップにおいて特定した前記直線物を構成するピクセルの位置を、撮影位置を考慮して、緯度経度に変換する直線物位置変換ステップと、
   前記メタデータに含まれる撮影時の前記方位情報と、前記直線物位置変換ステップにおいて緯度経度が特定された前記直線物とに基づいて、前記目的対象物の向きを算出する基準方位算出ステップと
   を備え、
   前記正規化ステップにおいては、前記基準方位算出ステップで算出した前記目的対象物の向きを考慮して、自動飛行データの調整を行う
   ことを特徴とする飛行経路正規化プログラム。
9. 請求項７または請求項８に記載の飛行経路正規化プログラムであって、
   前記画像データにより形成される画像について画像認識を行い、前記目的対象物の周囲に存在する障害物を抽出する障害物認識ステップと、
   前記障害物認識ステップにおいて認識した前記障害物の画像を構成するピクセルの位置を、前記障害物までの高さと撮影位置とを考慮して、緯度経度に変換する障害物位置変換ステップと、
   を備え、
   前記正規化工程においては、前記障害物位置変換ステップで変換した前記障害物の位置を考慮して、自動飛行データの調整を行う
   ことを特徴とする飛行経路正規化プログラム。

Images