JP2023100642A - 検査システム - Google Patents

Abstract

【課題】２次元画像から作成される３次元モデルについて、３次元モデルの座標系におけるどの座標に位置するかを特定することができるようにする。
【解決手段】検査システムは、カメラを備える飛行装置が検査物を撮像した複数の画像に基づいて、検査対象物の３次元モデル生成部と、複数の画像のそれぞれについて、３次元座標系における画像を撮影した撮影位置お
よびカメラの視点軸方向を取得する撮影情報取得部と、複数の画像のそれぞれについて、画像に基づいて検査対象物の異常を検出する異常検出部と、検出した異常について、撮影位置および視点軸方向に応じて３次元座標系における位置である異常位置を特定する異常
位置特定部と、異常位置をマッピングした３次元モデルを表示する３次元モデル表示部と
、を備える
【選択図】図１

Description

本発明は、検査システムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａ
ｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行装置」と総称する。）が産業に利用さ
れ始めている。特許文献１では、ドローンに搭載したカメラで撮影した画像から３次元画
像を作成して表示することが記載されている。

特開２０１８－１０６３０号公報

複数の２次元画像から点群を抽出して３次元モデルを作成することが行われる。しかし
ながら、２次元画像に撮影されているものが３次元モデルのどこに位置するのかを特定す
ることは難しい。特許文献１においても、劣化位置が３次元画像におけるどの座標に位置
するかを特定することは行っていない。

本発明はこのような背景を鑑みてなされたものであり、複数の２次元画像から作成され
る３次元モデルについて、２次元画像に撮影されているものが３次元モデルの座標系にお
けるどの座標に位置するかを特定することのできる技術を提供することを一つの目的とす
る。

上記課題を解決するための本発明の主たる発明は、検査対象物を検査する検査システム
であって、カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記
検査対象物の３次元モデルを生成する３次元モデル生成部と、前記複数の画像のそれぞれ
について、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸
方向を取得する撮影情報取得部と、前記複数の画像のそれぞれについて、前記画像に基づ
いて前記検査対象物の異常を検出する異常検出部と、検出した前記異常について、前記撮
影位置および前記視点軸方向に応じて前記３次元座標系における位置である異常位置を特
定する異常位置特定部と、前記異常位置をマッピングした前記３次元モデルを表示する３
次元モデル表示部と、を備えることとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面
により明らかにされる。

本発明によれば、複数の２次元画像から作成される３次元モデルについて、２次元画像
に撮影されているものが３次元モデルの座標系におけるどの座標に位置するかを特定する
ことができる。

本発明の一実施形態に係る検査システムの全体構成を示す図である。 飛行装置１０のハードウェア構成例を示す図である。 フライトコントローラ１１のソフトウェア構成例を示す図である。 位置姿勢情報記憶部１５１に記憶される位置姿勢情報の構成例を示す図である。 撮影情報記憶部１５２に格納される撮影情報の構成例を示す図である。 検査サーバ３０のハードウェア構成例を示す図である。 検査サーバ３０のソフトウェア構成例を示す図である。 ３次元モデル記憶部３５２の構成例を示す図である。 異常情報記憶部３５３に登録される異常情報の構成例を示す図である。 検査対象物１を撮影する処理の流れを説明する図である。 検査サーバ３０により実行される検査処理の流れを示す図である。 ３次元モデル表示部３１５が表示する３次元投影画像を説明する図である。 指定された位置の異常箇所が撮影されている撮影画像を表示する処理の流れを示す図である。 ３次元モデル表示部３１５が表示する３次元投影画像を説明する他の図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行装置は、
以下のような構成を備える。

［項目１］
検査対象物を検査する検査システムであって、
カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象
物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位
置および前記カメラの視点軸方向を取得する撮影情報取得部と、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出
する異常検出部と、
検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座
標系における位置である異常位置を特定する異常位置特定部と、
前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、
を備えることを特徴とする検査システム。
［項目２］
項目１に記載の検査システムであって、
前記異常位置特定部は、前記撮影位置および前記視点軸方向に基づいて、前記撮影位置
から前記異常箇所に向けた直線が前記３次元モデルと交差する座標を前記異常位置として
特定すること、
を特徴とする検査システム。
［項目３］
項目１に記載の検査システムであって、
前記異常位置に対応付けて前記画像を記憶する異常位置記憶部と、
前記３次元モデル上の位置の指定を受け付ける入力部と、
指定された前記位置に対応する前記画像を特定する画像特定部と、
を備えることを特徴とする検査システム。
［項目４］
検査対象物を検査する検査システムであって、
カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象
物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位
置および前記カメラの視点軸方向を取得する撮影情報取得部と、
前記複数の画像のそれぞれについて、前記撮影位置から前記視点軸方向に前記３次元モ
デルと交差する交差位置を算出する交差位置算出部と、
前記３次元モデル上の指定位置を受け付け、前記指定位置および前記交差位置の距離に
応じて、前記指定位置が撮影された前記画像を特定する画像特定部と、
を備えることを特徴とする検査システム。
［項目５］
項目４に記載の検査システムであって、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出
する異常検出部と、
前記撮影位置および前記視点軸方向に基づいて、前記撮影位置から前記異常箇所に向け
た直線が前記３次元モデルと交差する座標である異常位置を特定する異常位置特定部と、
を備えることを特徴とする検査システム。

＝＝概要・全体構成＝＝
図１は、本発明の一実施形態に係る検査システムの全体構成例を示す図である。本実施
形態の検査システムは、飛行装置１０によって撮影された検査対象物１に関する複数の画
像に基づいて、検査対象物１の３次元モデルを作成するものである。また、本実施形態の
検査システムでは、撮影した画像を解析して異常箇所を検出し、検出した異常箇所を３次
元モデル上にマッピングする。検査対象物１は、法面やダムなどのコンクリート構造物で
あってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、太陽光パネルや建物など
であってもよい。本実施形態では、検査対象部１として建物を想定する。なお、検査対象
物１は撮影可能な物であれば何でもよく、例えば動物や自動車などであってもよいし、災
害時の被災地域であってもよい。

本実施形態の検査システムは、検査対象物１を撮影する飛行装置１０と、飛行装置１０
が撮影した画像を解析する検査サーバ３０とを含んで構成される。飛行装置１０と検査サ
ーバ３０とは通信ネットワーク５０を介して相互に通信可能に接続される。本実施形態で
は通信ネットワーク５０はインターネットを想定する。通信ネットワーク５０は、例えば
無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット
（登録商標）などにより構築される。

（飛行装置１０）
図２は、飛行装置１０のハードウェア構成例を示す図である。飛行装置１０は、プロペ
ラ１８と、プロペラ１８にＥＳＣ（Electronic Speed Controller）１６を介して接続さ
れた推進機構（本実施形態ではモータ１７を想定する。）と、これらを制御するフライト
コントローラ１１とを備える。

飛行装置１０は検査対象物１の一部または全部を撮影するカメラ１２を備える。本実施
形態では、カメラ１２は機体に固定されるものとする。また、カメラ１２は、鉛直方向下
向きのレンズを備え、鉛直方向に真下の画像のみを撮影するものとする。したがって、飛
行装置１０の姿勢が固定される場合には、カメラ１２の視点軸（光軸）１２１も固定され
る。本実施形態では、カメラ１２は可視光線を捉えたＲＧＢ画像を撮影することを想定す
るが、赤外線を捉えたサーマル画像を撮影するようにしてもよいし、ＲＧＢ画像とサーマ
ル画像の両方を同時にまたは順次撮影するようにしてもよい。また、カメラ１２に代えて
、またはカメラ１２に加えて、人感センサなどの各種のセンサを備えるようにしてもよい
。

フライトコントローラ１１は、プログラマブルプロセッサ（本実施形態では、中央演算
処理装置（ＣＰＵ）を想定する。）などの１つ以上のプロセッサ１０１を有することがで
きる。また、フライトコントローラ１１は、メモリ１０２を有しており、当該メモリ１０
２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコ
ントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記
憶する。メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）など
の分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ１２やセンサなどか
ら取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。

フライトコントローラ１１はまた、各種のセンサ類１０３を備える。本実施形態におい
てセンサ類１０３は、例えば、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳ（
Global Positioning System）センサ、近接センサ（例えば、ライダー）、またはビジョ
ン／イメージセンサ（例えば、カメラ）を含み得る。

フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ
）、端末、表示装置、または他の遠隔の制御器などである。）からのデータを送信および
／または受け取るように構成された送受信部１４と通信可能である。送受信部１４は、有
線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態
では、送受信部１４は、主に検査サーバ３０と通信を行う。送受信部１４は、例えば、ロ
ーカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク
（Wide Area Network；ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ
２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用
することができる。送受信部１４は、センサ類で取得したデータ、フライトコントローラ
が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンド
などのうちの１つ以上を送信および／または受け取ることもできる。

図３は、フライトコントローラ１１のソフトウェア構成例を示す図である。フライトコ
ントローラ１１は、指示受信部１１１、飛行制御部１１２、位置姿勢情報取得部１１３、
撮影処理部１１４、撮影情報送信部１１５、位置姿勢情報記憶部１５１、撮影情報記憶部
１５２、ＧＰＳセンサ１０４、気圧センサ１０５、温度センサ１０６および加速度センサ
１０７を備える。

なお、指示受信部１１１、飛行制御部１１２、位置姿勢情報取得部１１３、撮影処理部
１１４および撮影情報送信部１１５は、プロセッサ１０１がメモリ１０２に格納されてい
るプログラムを実行することにより実現される。また、位置姿勢情報記憶部１５１および
撮影情報記憶部１５２は、メモリ１０２の提供する記憶領域として実現される。

指示受信部１１１は、飛行装置１０の動作を指示する各種のコマンド（以下、飛行操作
コマンドという。）を受け付ける。本実施形態では、指示受信部１１１は、検査サーバ３
０から飛行操作コマンドを受信することを想定するが、プロポなどの送受信機から飛行操
作コマンドを受信するようにしてもよい。

飛行制御部１１２は、飛行装置１０の動作を制御する。飛行制御部１１２は、例えば、
６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛
行装置１０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１６を
経由してモータ１７を制御する。モータ１７によりプロペラ１８が回転することで飛行装
置１０の揚力を生じさせる。また、飛行制御部１１２は、搭載部、センサ類の状態のうち
の１つ以上を制御することができる。本実施形態では、飛行制御部１１２は、指示受信部
１１１が受信した飛行操作コマンドに応じて飛行装置１０の動作を制御するものとする。
また、飛行制御部１１２は、自律飛行を可能とするべく、コマンドによらずに飛行装置１
０が飛行を継続するように各種の制御を行うこともできる。

位置姿勢情報取得部１１３は、飛行装置１０の現在位置および姿勢を示す情報（以下、
位置姿勢情報という。）を取得する。本実施形態では、位置姿勢情報には、飛行装置１０
の地図上の位置（緯度経度で表される。）と、飛行装置１０の飛行高度と、飛行装置１０
のｘ、ｙ、ｚ軸の夫々に対する傾きが含まれるものとする。なお、飛行装置１０のｘ、ｙ
、ｚ軸は夫々互いに直交する座標軸であり、機体の平面座標および鉛直方向を表すことが
できる。

センサ類１０３にはＧＰＳセンサ１０４が含まれ、位置姿勢情報取得部１１３は、ＧＰ
Ｓセンサ１０４がＧＰＳ衛星から受信した電波から、飛行装置１０の地図上の位置を算出
することができる。

また、センサ類１０３には気圧センサ１０５および温度センサ１０６が含まれ、位置姿
勢情報取得部１１３は、飛行前に気圧センサ１０５により測定した大気圧（以下、基準気
圧という。）と、飛行中に気圧センサ１０５により測定した大気圧（以下、現在気圧とい
う。）との差分と、飛行中に温度センサ１０６により測定した気温とに基づいて、飛行装
置１０の飛行高度を計算することができる。

さらに、センサ類１０３には３軸の加速度センサ１０７が含まれ、位置姿勢情報取得部
１１３は、加速度センサ１０７からの出力に基づいて、飛行装置１０の姿勢を求めること
ができる。また、飛行装置１０の姿勢からカメラ１２の光軸１２１（視点軸）を決定する
ことができる。

位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４を用いて取得した飛行装置１０の地
図上の位置（緯度経度）と、気圧センサ１０５および温度センサ１０６を用いて取得した
飛行装置１０の飛行高度と、加速度センサ１０７を用いて取得した飛行装置１０の姿勢と
を設定した位置姿勢情報を、メモリ１４の位置姿勢情報記憶部１５１に格納する。

図４は位置姿勢情報記憶部１５１に記憶される位置姿勢情報の構成例を示す図である。
図４に示すように、位置姿勢情報記憶部１５１には、飛行装置１０の現在位置を示す緯度
経度、上記のようにして計算した飛行高度、飛行前に測定した基準気圧、飛行中に測定し
た現在気圧、飛行中に測定した気温、および加速度センサ１０７を用いて取得した飛行装
置１０の姿勢（カメラ１２の光軸１２１の傾き）が格納される。

撮影処理部１１４は、カメラ１２を制御して検査対象物１の一部または全部を撮影させ
、カメラ１２が撮影した撮影画像を取得する。撮影処理部１１４は、事前に設定されたタ
イミングで撮影を行うものとする。例えば、撮影処理部１１４は、所定の時間（例えば、
５秒、３０秒など任意の時間を指定することができる。）ごとに撮影を行うようにするこ
とができる。なお、撮影処理部１１４は、検査サーバ３０からの指示に応じて撮影するよ
うにしてもよい。

撮影処理部１１４は、取得した撮影画像を撮影情報記憶部１５２に格納する。撮影処理
部１１４は、撮影画像に付帯させて、撮影日時、その時点における飛行装置１０の地図上
の緯度経度（撮影位置）、その時点における飛行装置１０の飛行高度（撮影高度）、飛行
装置１０の姿勢（カメラ１２の光軸１２１の傾き）も撮影情報記憶部１５２に格納する。
なお、これらの情報が付帯された画像を撮影情報という。

図５は撮影情報記憶部１５２に格納される撮影情報の構成例を示す図である。撮影情報
記憶部１５２に格納される撮影情報には、撮影日時、撮影位置、撮影高度、傾きおよび画
像データが含まれる。撮影情報は、例えば、ファイルシステム上のファイルとして記憶さ
せることができる。また、撮影日時、撮影位置、撮影高度および傾きは、例えば、ＪＰＥ
Ｇ（Joint Photographic Experts Group）画像ファイルのＥｘｉｆ（Exchangeable image
file format）情報として格納するようにしてもよいし、画像データをファイルとしてフ
ァイルシステムに格納し、撮影日時、撮影位置、撮影高度および傾きと、ファイル名とを
対応付けたレコードをデータベースに登録するようにしてもよい。また、撮影情報には、
焦点距離やシャッター速度などのカメラ１２の特性を含めるようにしてもよい。

撮影情報送信部１１５は、カメラ１２が撮影した画像を検査サーバ３０に送信する。本
実施形態では、撮影情報送信部１１５は、撮影画像に、撮影日時、撮影位置、撮影高度お
よび傾きを付帯させた撮影情報を検査サーバ３０に送信するものとする。

（検査サーバ３０）
図６は、検査サーバ３０のハードウェア構成例を示す図である。検査サーバ３０は、Ｃ
ＰＵ３０１、メモリ３０２、記憶装置３０３、通信装置３０４、入力装置３０５、出力装
置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハ
ードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信
装置３０４は、通信ネットワーク５０を介して他の装置と通信を行う。通信装置３０４は
、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続す
るためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネク
タやＲＳ２３２Ｃコネクタなどを含んで構成される。入力装置３０５は、データを入力す
る、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出
力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどであ
る。

図７は、検査サーバ３０のソフトウェア構成例を示す図である。検査サーバ３０は、飛
行制御部３１１、撮影情報受信部３１２、３次元モデル作成部３１３、異常検出部３１４
、３次元モデル表示部３１５、撮影画像表示部３１６、撮影情報記憶部３５１、３次元モ
デル記憶部３５２および異常情報記憶部３５３を備える。

なお、飛行制御部３１１、撮影情報受信部３１２、３次元モデル作成部３１３、異常検
出部３１４、３次元モデル表示部３１５および撮影画像表示部３１６は、検査サーバ３０
が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読
み出して実行することにより実現され、撮影情報記憶部３５１、３次元モデル記憶部３５
２および異常情報記憶部３５３は、検査サーバ３０の備えるメモリ３０２および記憶装置
３０３が提供する記憶領域の一部として実現される。

飛行制御部３１１は、飛行装置１０を飛行させる制御を行う。本実施形態では、飛行制
御部３１１は、飛行装置１０に対して飛行操作コマンドを送信することにより飛行装置１
０を操作する。飛行制御部３１１は、例えば、オペレータから地図上における飛行経路の
指定を受け付けて、受け付けた飛行経路上を飛行するように飛行操作コマンドを送信する
ことができる。また、飛行制御部３１１は、後述するように検査対象物１の３次元モデル
を作成するべく、飛行装置１０に検査対象物１の周囲を飛行させて撮影領域の少なくとも
一部が重なるように連続させて撮影できるように飛行装置１０を制御する。なお、本実施
の形態においては、飛行装置１０は、検査サーバ３０の飛行制御部３１１によって制御さ
れているが、例えば、あらかじめ保存された自動飛行のためのソフトウェア（データ）に
よって飛行装置１０が自律的に制御される方法や、オペレータの手動操作によって制御（
操作）される方法や、これらの組み合わせであってもよい。

撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信する。撮影情報
受信部３１２は、受信した撮影情報を撮影情報記憶部３５１に格納する。なお、本実施形
態では、撮影情報記憶部３５１の構成は、図５に示す飛行装置１０の撮影情報記憶部１５
２と同一の構成であるものとする。なお、検査サーバ３０が備える撮影情報記憶部３５１
は、撮影情報の送信元である飛行装置１０を特定する情報に対応付けて、撮影情報を記憶
するようにしてもよい。

３次元モデル作成部３１３は、複数の撮影画像から３次元の構造体を表現する３次元モ
デルを作成する。３次元モデル作成部３１３は、いわゆるフォトグラメトリー（写真測量
）の技術を用いて３次元モデルを作成することができる。本実施形態において、３次元モ
デルのワールド座標系は、緯度、経度および高度で表されるものとする。撮影情報に含ま
れる撮影位置、撮影高度および光軸１２１の傾きにより、カメラ１２のワールド座標系に
おける位置および視点方向を示すことができる。３次元モデル作成部３１３は、撮影情報
に含まれている画像データから特徴点を抽出し、撮影情報に含まれる撮影位置、撮影高度
および傾きに基づいて複数の画像データから抽出された特徴点の対応付けを行い、ワール
ド座標系における３次元点群（ポイントクラウドとも呼ばれる。）を取得する。本実施形
態では、３次元モデルは３次元点群により構成されるものとするが、３次元モデル作成部
３１３は、点群に基づいてポリゴン等の面データを生成することもできる。さらに、３次
元モデル作成部３１３は、３次元モデルと撮影画像に基づいてオルソ画像を生成すること
もできる。

３次元モデル作成部３１３は、作成した３次元モデル（本実施形態では３次元点群）を
３次元モデル記憶部３５２に登録する。図８は３次元モデル記憶部３５２の構成例を示す
図である。同図に示すように、３次元モデル記憶部３５２には、３次元点群を構成する各
点についての座標が登録される。なお、３次元モデル作成部３１３が３次元点群に基づい
てポリゴン等の面データを作成した場合には、３次元モデル記憶部３５２は点の座標に加
えて、または点の座標に代えて、面データを記憶するようにしてもよい。

異常検出部３１４は、飛行装置１０からの撮影画像を解析して、検査対象物１の異常を
検出する。異常検出部３１４は、例えば、過去に異常が発生した検査対象物１を撮影した
画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、
飛行装置１０から受信した撮影画像を入力信号として異常を判定することができる。また
、異常検出部３１４は、正常時の画像をメモリ３０２に予め記憶しておき、正常時の画像
と撮影画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、
当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異
常検出部３１４は、公知の技術を用いて画像から異常部分を検出するようにすることがで
きる。

異常検出部３１４は、検出した撮影画像上の異常箇所について、ワールド座標系の位置
を特定する。異常検出部３１４は、たとえば、３次元点群に含まれる点のそれぞれについ
て、撮影情報に含まれている撮影位置および撮影高度に設置したカメラから、撮影情報に
含まれている傾きが示す方向に撮影した場合の画像上の位置を特定し、特定した画像上の
位置が、異常箇所として検出した領域に含まれているか否かにより、当該点が異常箇所を
構成するか否かを判定し、異常箇所を構成する点の座標を異常箇所の位置として特定する
ことができる。異常常検出部３１５は、検出した異常に関する情報（以下、異常情報とい
う。）を異常情報記憶部３５３に登録する。

図９は異常情報記憶部３５３に登録される異常情報の構成例を示す図である。同図に示
すように、異常情報には、異常箇所を示すワールド座標系上の座標位置（異常位置）と、
当該異常箇所を撮影した画像に係る撮影情報を特定するための情報（例えばＪＰＥＧファ
イル名とすることができる。）と、画像上における異常が検出された位置（以下、画像異
常位置という。）とが含まれる。図８の例では、画像異常位置に矩形を示す２つの頂点の
座標が含まれた例が示されているが、画像異常位置には、例えば１つの座標のみが含まれ
るようにしてもよいし、多角形を構成する３つ以上の座標が含まれるようにしてもよいし
、楕円形を表す中心座標と２つの半径とが含まれるようにしてもよい。すなわち、画像異
常位置は、点または幾何図形を表す情報であればよい。なお、上述した例の他、例えば、
画像における異常位置に当該異常を示す箇所を直接描画することとしてもよい。この場合
、異常位置に関する座標位置は利用せず、例えば、撮影画像に関する情報と異常位置とを
直接関連付けることとしてもよい。

３次元モデル表示部３１５は、３次元モデル作成部３１３が作成した３次元モデルを平
面に投影した画像（以下、３次元投影画像という。）を表示する。３次元モデル表示部３
１５は、３次元投影画像を、ワイヤーフレームで表示するようにしてもよいし、撮影画像
を３次元モデルにマッピングしてもよい。また、３次元モデル表示部３１５は、３次元モ
デルを作成した各撮影画像について、カメラ１２の位置および視点軸の方向を３次元モデ
ルに重畳させて表示している。本実施の形態においては、説明を容易にするためにカメラ
１２の位置および視点軸の方向を表示することとしているが、表示の有無の設定、その切
替方法については、用途及びニーズに合わせて適宜変更することができる。

＝＝処理＝＝
以下、本実施形態の検査システムにおける処理について説明する。

＝＝撮影処理＝＝
図１０は、検査対象物１を撮影する処理の流れを説明する図である。図１０に示す撮影
処理は、飛行装置１０が飛行している間、定期的に実行される。

飛行装置１０において、撮影処理部１１４は、カメラ１２を制御して、カメラ１２が撮
影した撮影画像を取得し（Ｓ２０１）、位置姿勢情報取得部１１３は、ＧＰＳセンサ１０
４、気圧センサ１０５、温度センサ１０６および加速度センサ１０７からの信号に基づい
て、撮影位置、撮影高度および姿勢を求める（Ｓ２０２）。撮影情報送信部１１５は、カ
メラ１２から取得した撮影画像に、現在の日時（撮影日時）、撮影位置、撮影高度および
姿勢を付帯させた撮影情報を作成して検査サーバ３０に送信する（Ｓ２０３）。

検査サーバ３０では、撮影情報受信部３１２は、飛行装置１０から送信される撮影情報
を受信し（Ｓ２０４）、受信した撮影情報を撮影情報記憶部３５１に登録する（Ｓ２０５
）。

以上のようにして、飛行装置１０において撮影された画像は、撮影日時、撮影位置、撮
影高度および飛行装置１０の姿勢（光軸１２１の傾き）とともに、撮影情報記憶部３５１
に順次登録されていくことになる。

＝＝検査処理＝＝
図１１は検査サーバ３０により実行される検査処理の流れを示す図である。本実施形態
では、図１１に示す処理は、飛行装置１０による撮影が全て終了した後に行われることを
想定するが、飛行装置１０が撮影を続けている間に行うようにすることもできる。

３次元モデル作成部３１３は、撮影情報記憶部３５１に登録されている撮影情報に基づ
いて３次元モデルを作成する（Ｓ２１１）。なお、３次元モデルの作成処理については、
一般的な写真測量（フォトグラメトリ）の手法により３次元モデルを作成するものとする
。たとえば、３次元モデル作成部３１３は、撮影時間の順に連続する２つの撮影情報のペ
アについて、対応点を探索し、見つかった対応点について、飛行位置および飛行高度なら
びに姿勢に応じて対応点のワールド座標系における位置を特定することができる。なお、
３次元モデルの作成は例示であり、上記のほか、種々の方法で作成することができる。

３次元モデル作成部３１３は、作成した３次元モデルを３次元モデル記憶部３５２に登
録する（Ｓ２１２）。本実施形態では、３次元モデルは３次元点群により構成されるもの
とする。そこで対応点のワールド座標系における座標を３次元モデル記憶部３５２に登録
することができる。

次に、異常検出部３１４は、撮影情報記憶部３５１に登録されている各撮影情報につい
て、以下の処理を行う。すなわち、異常検出部３１４は、撮影情報に含まれている画像デ
ータを解析して、検査対象物１の異常の有無を検査する（Ｓ２１３）。画像データから検
査対象物１の異常が検出された場合（Ｓ２１４：ＹＥＳ）、異常検出部３１４は、撮影情
報の撮影位置および撮影高度が示すワールド座標系の座標から、撮影情報の傾きが示す光
軸１２１（視点軸）の方向に延ばした直線と、３次元モデルとが交差する座標を異常の発
生した位置（異常位置）として特定する（Ｓ２１５）。なお、異常検出部３１４は、３次
元点群に含まれる点のいずれにも、カメラ１２からの光軸１２１が交差しない場合、最も
近くを通り、かつ光軸１２１に平行な距離が最も近い点の座標を異常位置として決定して
もよい。異常検出部３１４は、撮影情報を特定する情報（例えばファイル名とすることが
できる。）と、画像データ上で異常を発見した箇所（画像異常位置）とを異常位置に対応
付けて異常情報記憶部３５３に登録する（Ｓ２１６）。

以上の処理を撮影情報のそれぞれについて行った後、３次元モデル表示部３１５は、３
次元モデルを投影した画像を表示する（Ｓ２１７）。図１２は、３次元モデル表示部３１
５が表示する３次元投影画像を説明する図である。図１２の例では、３次元モデル作成部
３１３が複数の撮影画像に基づいて作成した３次元モデルに対して、撮影画像をマッピン
グした３次元投影画像４１が画面４０に表示されている。３次元モデル表示部３１５は、
たとえば、３次元モデル記憶部３５２に登録されている点群を投影して３次元投影画像４
１を作成することができる。

次に３次元モデル表示部３１５は、撮影画像を撮影したカメラ１２を示す図形を３次元
投影画像４１に重ねて表示する。具体的には、３次元モデル表示部３１５は、撮影情報記
憶部３５１に登録されている各撮影情報について、撮影情報に含まれている撮影位置およ
び撮影高度から傾きが示す方向に傾けたカメラ１２を表す図形を３次元モデル上に重ねて
表示させるようにする。図１２の例では、カメラ１２の位置および視点軸の方向を示す円
錐体４２を３次元投影画像４１に重畳させて表示している。上述したように本実施の形態
においては、説明を容易にするためにカメラ１２の位置および視点軸の方向を表示するこ
ととしているが、表示の有無の設定、その切替方法については、用途及びニーズに合わせ
て適宜変更することができる。

３次元モデル表示部３１５は、異常箇所を示す図形を３次元投影画像４１上に重ねて表
示する（Ｓ２１９）。具体的には、３次元モデル表示部３１５は、異常情報記憶部３５３
に登録されている各異常情報につて、異常位置が示す座標に所定の図形を表示させる。図
１２の例では、マーク４３を３次元投影画像４１に重畳させて表示している。なお、図１
２の例では、マーク４３は１つのみが表示されているが、異常情報記憶部３５３に複数の
異常箇所が登録されている場合には複数のマーク４３が表示されることになる。

以上のようにして、飛行装置１０が撮影した複数の画像に基づいて３次元モデルを作成
するとともに、撮影画像から検出した異常箇所を３次元モデル上にマッピングして表示す
ることができる。

＝＝確認処理＝＝
図１３は、指定された位置の異常箇所が撮影されている撮影画像を表示する処理の流れ
を示す図である。画面４０において、ユーザが、たとえばマーク４３をクリックすること
により、詳細を確認したい異常箇所の位置を指定した場合に、撮影画像表示部３１６は、
当該位置の指定を受け付け（Ｓ２３１）、受け付けた位置に対応する異常情報を異常情報
記憶部３５３から検索する（Ｓ２３２）。撮影画像表示部３１６は、検索した異常情報に
含まれる画像が示す撮影情報を撮影情報記憶部３５１から読み出し（Ｓ２３３）、読み出
した撮影情報に含まれている画像データを画面４０に出力する（Ｓ２３４）。

以上のようにして、撮影画像表示部３１６は、ユーザから指示された位置を撮影した撮
影画像を画面４０に表示することができる。

＝＝効果＝＝
以上説明したように、本実施形態の検査システムによれば、撮影位置、撮影高度および
姿勢に基づいて、撮影画像上の位置を３次元モデル上の位置に対応付けることができる。
したがって、画像から検出した異常箇所についても、画像としてのみではなく、３次元モ
デル上に異常箇所として取り込むことが可能となる。また、３次元モデル上の位置が指定
された場合に、当該指定された位置に対応する異常情報と特定して、当該異常箇所を撮影
した画像を容易に特定することが可能となり、ユーザに対して詳細な２次元画像を迅速か
つ的確に提供することができる。

以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易に
するためのものであり、本発明を限定して解釈するためのものではない。本発明は、その
趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれ
る。

例えば、本実施形態では、カメラ１２は機体の下部に固定されるものとしたが、これに
限らず、ジンバルを介して可動式に装着するようにしてもよい。この場合、撮影情報には
飛行装置１０の傾きに加えて、カメラ１２の撮影方向も含めるようにする。

また、本実施形態では、気圧センサ１０５および温度センサ１０６を用いて撮影高度を
求めるものとしたが、これに限らず、公知の手法を用いて撮影高度を求めるようにしても
よい。

また、本実施形態では、飛行装置１０からの撮影情報はカメラ１２で撮影が行われる都
度検査サーバ３０に送信されるものとしたが、飛行装置１０は撮影情報記憶部１５２に撮
影情報を蓄積しておき、飛行中に定期的に、あるいは、飛行終了後に一度に撮影情報記憶
部１５２に記憶されている撮影情報を検査サーバ３０に送信するようにしてもよい。

また、本実施形態では、ユーザは画面４０において異常箇所の位置を選択し、選択した
位置に対応する異常箇所が検索され、検索された異常箇所に対応する撮影画像が表示され
るものとしたが、マーク４３に異常情報を対応付けておき、選択されたマーク４３から異
常情報を特定するようにしてもよい。

また、本実施形態では、ユーザは画面４０において異常箇所の位置のみが選択可能であ
るものとしたが、異常箇所以外の任意の位置（座標）を選択可能としてもよい。この場合
、図１４に示されるように、選択した個所（例えば、４３ａ、４３ｂ、４３ｃ）に対応す
る画像（４４ａ、４４ｂ、４４ｃ）が表示される。この場合、撮影画像表示部３１６はま
ず、撮影情報記憶部３５１に登録されている撮影情報のそれぞれについて、飛行位置およ
び飛行高度の座標から指定された座標に向けた直線が、飛行位置および飛行高度の座標か
ら視点軸にカメラ１２を向けた場合のカメラ１２の画角の中に入っているか否かにより、
当該撮影情報に係る画像データに、指定された座標が撮影されうるか否かを判断する。次
に、撮影画像表示部３１６は、指定された座標が撮影されうると判断した撮影情報につい
て、上記直線が３次元モデルの他の点を通る（もしくは他の点から所定の距離以下となる
）か否かにより、または３次元モデルのポリゴンを通るか否かにより、指定された座標の
撮影が妨げられるか否かを判断する。最後に撮影画像表示部３１６は、指定された座標の
撮影が妨げられないと判断した撮影情報について、画像データを表示するようにすること
ができる。

１０ 飛行装置
１１ フライトコントローラ
１２ カメラ
１４ 送受信部
１６ ＥＳＣ
１７ モータ
１８ プロペラ
３０ 検査サーバ
５０ 通信ネットワーク
１０１ プロセッサ
１０２ メモリ
１０３ センサ類
１０４ ＧＰＳセンサ
１０５ 気圧センサ
１０６ 温度センサ
１０７ 加速度センサ
１１１ 指示受信部
１１２ 飛行制御部
１１３ 位置姿勢情報取得部
１１４ 撮影処理部
１１５ 撮影情報送信部
１５１ 位置姿勢情報記憶部
１５２ 撮影情報記憶部
３０１ ＣＰＵ
３０２ メモリ
３０３ 記憶装置
３０４ 通信装置
３０５ 入力装置
３０６ 出力装置
３１１ 飛行制御部
３１２ 撮影情報受信部
３１３ ３次元モデル作成部
３１４ 異常検出部
３１５ ３次元モデル表示部
３１６ 撮影画像表示部
３５１ 撮影情報記憶部
３５２ ３次元モデル記憶部
３５３ 異常情報記憶部

Claims (5)

1. 検査対象物を検査する検査システムであって、
   カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象
   物の３次元モデルを生成する３次元モデル生成部と、
   前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位
   置および前記カメラの視点軸方向を取得する撮影情報取得部と、
   前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出
   する異常検出部と、
   検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座
   標系における位置である異常位置を特定する異常位置特定部と、
   前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、
   を備えることを特徴とする検査システム。
2. 請求項１に記載の検査システムであって、
   前記異常位置特定部は、前記撮影位置および前記視点軸方向に基づいて、前記撮影位置
   から前記異常箇所に向けた直線が前記３次元モデルと交差する座標を前記異常位置として
   特定すること、
   を特徴とする検査システム。
3. 請求項１に記載の検査システムであって、
   前記異常位置に対応付けて前記画像を記憶する異常位置記憶部と、
   前記３次元モデル上の位置の指定を受け付ける入力部と、
   指定された前記位置に対応する前記画像を特定する画像特定部と、
   を備えることを特徴とする検査システム。
4. 検査対象物を検査する検査システムであって、
   カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象
   物の３次元モデルを生成する３次元モデル生成部と、
   前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位
   置および前記カメラの視点軸方向を取得する撮影情報取得部と、
   前記複数の画像のそれぞれについて、前記撮影位置から前記視点軸方向に前記３次元モ
   デルと交差する交差位置を算出する交差位置算出部と、
   前記３次元モデル上の指定位置を受け付け、前記指定位置および前記交差位置の距離に
   応じて、前記指定位置が撮影された前記画像を特定する画像特定部と、
   を備えることを特徴とする検査システム。
5. 請求項４に記載の検査システムであって、
   前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出
   する異常検出部と、
   前記撮影位置および前記視点軸方向に基づいて、前記撮影位置から前記異常箇所に向け
   た直線が前記３次元モデルと交差する座標である異常位置を特定する異常位置特定部と、
   を備えることを特徴とする検査システム。