JP2020160944A - 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム - Google Patents

Abstract

【課題】点検作業の精度を向上させる点検作業支援装置、点検作業支援方法、点検作業支援プログラムを提供する。【解決手段】点検作業支援装置は、構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成し、表示する第１の生成部と、前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成し、表示する第２の生成部と、前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する表示部とを有する。【選択図】図１

Description

本発明は、点検作業支援装置、点検作業支援方法及び点検作業支援プログラムに関する。

従来より、橋梁やトンネル等の構造物に対しては、定期的に、近接目視点検が行われている。近接目視点検の場合、点検作業者は、構造物の周囲に足場を設け、構造物に直接アクセスすることで目視での点検を行い、検出した損傷部の大きさを計測したり、構造物内での損傷部の位置や損傷部の画像等を記録する作業を行う。

一方で、近接目視点検における点検作業者の作業負荷を軽減するために、無人飛行機を用いて構造物を連続撮影し、得られた画像データを利用して点検作業を行う点検作業支援装置の開発が進められている。当該点検作業支援装置によれば、３次元モデルに基づいて生成したオルソ画像から点検作業者が損傷部を検出し、検出した損傷部の大きさを算出したり、３次元モデル内での損傷部の位置や損傷部を含むオルソ画像等を記録したりすることができる。

特開２０１７−０４９１５２号公報

しかしながら、オルソ画像の生成においては、一般に画像の劣化が生じる（ボケが生じたり、不連続な箇所が含まれたりする）ため、オルソ画像を用いた点検作業において、高い精度を実現することは困難である。

一つの側面では、点検作業の精度を向上させる点検作業支援装置、点検作業支援方法、点検作業支援プログラムを提供することを目的としている。

一態様によれば、点検作業支援装置は、
構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成し、表示する第１の生成部と、
前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成し、表示する第２の生成部と、
前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する表示部とを有する。

点検作業の精度を向上させる点検作業支援装置、点検作業支援方法、点検作業支援プログラムを提供することができる。

点検作業支援システムのシステム構成の一例を示す第１の図である。 点検作業支援装置のハードウェア構成の一例を示す図である。 点検作業支援装置において実現される各種機能の概略を説明するための図である。 点検作業支援装置の機能構成の一例を示す第１の図である。 オルソ画像表示処理の具体例を示す図である。 部分画像及びポインティング位置表示処理の具体例を示す図である。 トレース処理の具体例を示す図である。 点検作業支援処理の流れを示す第１のフローチャートである。 点検作業支援処理の流れを示す第２のフローチャートである。 点検作業支援装置の表示画面の一例を示す図である。 点検作業支援装置の機能構成の一例を示す第２の図である。 オルソ画像更新処理の具体例を示す図である。 点検作業支援処理の流れを示す第３のフローチャートである。 点検作業支援システムのシステム構成の一例を示す第２の図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜点検作業支援システムのシステム構成＞
はじめに、点検作業支援システムのシステム構成について説明する。図１は、点検作業支援システムのシステム構成の一例を示す第１の図である。図１に示すように、点検作業支援システム１００は、点検用ドローン１１０と、点検作業支援装置１２０とを有する。

点検用ドローン１１０は、撮像装置を搭載した無人飛行機である。点検用ドローン１１０は、橋梁１３０等の構造物（点検対象）の位置まで高速飛行した後、構造物の周囲を微速飛行しながら、構造物を広域にわたって連続撮影する。また、点検用ドローン１１０は、帰還後に、連続撮影により得られた画像データを、点検作業支援装置１２０に送信する。

点検作業支援装置１２０は、点検用ドローン１１０より送信された画像データに基づいて、３次元モデル画像を生成し、点検作業者に表示する。また、点検作業支援装置１２０は、表示した３次元モデル画像のうち、点検作業者により指定された検査領域について、オルソ画像を生成して拡大表示する。また、点検作業支援装置１２０は、拡大表示したオルソ画像において、点検作業者がポインティングした損傷部の位置を受け付ける。更に、点検作業支援装置１２０は、ポインティングされた損傷部の位置に対応する高画質な部分画像を表示するとともに、ポインティングされた損傷部の位置に対応する３次元点を、当該高画質な部分画像上で可視化する。

これにより、点検作業支援装置１２０では、３次元モデル画像と、オルソ画像と、損傷部の位置に対応する３次元点が可視化された部分画像と、を含む点検作業調書１４０を作成することができる。このように、点検作業支援システム１００によれば、点検作業者による精度の高い点検作業に基づく点検作業調書１４０を作成することができる。

＜点検作業支援装置のハードウェア構成＞
次に、点検作業支援装置１２０のハードウェア構成について説明する。図２は、点検作業支援装置のハードウェア構成の一例を示す図である。図２に示すように、点検作業支援装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、点検作業支援装置１２０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、点検作業支援装置１２０の各ハードウェアは、バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、点検作業支援プログラム等）を実行する演算デバイスである。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、後述する３Ｄモデル記憶部や、損傷３Ｄ位置・損傷画像記憶部は、補助記憶装置２０４において実現される。

表示装置２０５は、３次元モデル画像やオルソ画像、部分画像等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、点検作業者が点検作業支援装置１２０に対して各種指示（例えば、検査領域の指定する操作、損傷部の位置をポインティングする操作等）を行う入力デバイスである。

Ｉ／Ｆ装置２０７は、点検用ドローン１１０と無線接続され、点検用ドローン１１０との間で通信を行うための通信デバイスである。

ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

＜点検作業支援装置において実現される機能＞
次に、点検作業支援装置において実現される主な機能について、概略を説明する。図３は、点検作業支援装置において実現される各種機能の概略を説明するための図である。

図３に示すように、点検作業支援装置１２０は、点検用ドローン１１０より送信された画像データ３１０を受信する。なお、画像データ３１０に含まれる各フレーム画像は、構造物の各部を撮影した部分画像である。

点検作業支援装置１２０は、画像データ３１０に含まれる部分画像を用いて、３次元合成処理を行い、構造物の広域を俯瞰可能な３次元モデル画像３２０を生成する。このとき、点検作業支援装置１２０では、３次元合成処理を行う際に算出されるメッシュの各頂点の３次元座標と、メッシュを形成する各パッチと、各パッチの生成に関わる各部分画像と、各部分画像を撮影した際の撮像装置の位置姿勢情報とを対応付けて管理する。

図３のデータベース３５０は、３次元合成処理を行う際に算出されるメッシュの各頂点の３次元座標と、メッシュを形成する各パッチのインデックス情報と、各パッチの生成に関わる各部分画像と、撮像装置の位置姿勢情報とを対応付けたデータベースである。

点検作業支援装置１２０は、生成した３次元モデル画像３２０を表示装置２０５に表示する。これにより、点検作業者は、操作装置２０６を用いて検査領域３２１を指定する。点検作業支援装置１２０は、指定された検査領域３２１を正射投影することでオルソ画像３３０を生成し、生成したオルソ画像３３０を表示装置２０５に拡大表示する。

オルソ画像３３０が拡大表示されると、点検作業者は、操作装置２０６を用いて損傷部（Ｐ）の位置をポインティングする。点検作業者により損傷部（Ｐ）の位置がポインティングされると、点検作業支援装置１２０は、パッチインデックス画像３４０を参照することで、ポインティングされた損傷部（Ｐ）の位置が含まれるパッチを特定する。

図３の例は、点検作業支援装置１２０が、パッチインデックス画像３４０を参照することで、ポインティングされた損傷部（Ｐ）の位置が含まれるパッチとして、インデックス情報＝“ｉｄ３”のパッチを特定した様子を示している。なお、パッチインデックス画像３４０とは、オルソ画像３３０の各領域を形成するパッチのインデックス情報を含む画像である。

点検作業支援装置１２０は、ポインティングされた損傷部（Ｐ）の位置が含まれるパッチを特定すると、データベース３５０を参照し、特定したパッチが形成されるメッシュの各頂点の３次元座標を抽出する。そして、点検作業支援装置１２０は、メッシュの各頂点の３次元座標に基づいて、損傷部（Ｐ）の３次元位置座標を算出する。

また、点検作業支援装置１２０は、データベース３５０を参照することで、特定したパッチの生成に関わる各部分画像と、各部分画像を撮影した際の撮像装置の位置姿勢情報とを抽出する。なお、パッチの生成に関わる部分画像とは、当該パッチが写っている全ての部分画像を指す。

点検作業支援装置１２０は、抽出した各部分画像の中から、表示に適した部分画像を選択する。具体的には、点検作業支援装置１２０は、各部分画像を撮影した際の撮像装置の位置姿勢情報に基づいて、表示に適した部分画像を選択する。

更に、点検作業支援装置１２０は、選択した部分画像に、損傷部（Ｐ）の３次元位置座標を投影することで、部分画像において、損傷部（Ｐ）に対応する３次元点を可視化する。

図３において、部分画像３６０は、オルソ画像３３０において指定された損傷部（Ｐ）に対応する、部分画像３６０上の３次元点（Ｐ’）が表示された様子を示している。

このように、点検作業支援装置１２０によれば、点検作業者がオルソ画像３３０において損傷部（Ｐ）の位置をポインティングすることで、対応する部分画像３６０を表示し、対応する３次元点（Ｐ’）を可視化することができる。これにより、オルソ画像３３０においてボケが生じていたり、不連続な箇所が含まれていた場合であっても、点検作業者は、高画質な部分画像３６０上で、損傷部を視認することができる。この結果、点検作業支援装置１２０によれば、点検作業者は、精度の高い点検作業を実現することができる。

＜点検作業支援装置の機能構成＞
次に、点検作業支援装置１２０の機能構成について説明する。図４は、点検作業支援装置の機能構成の一例を示す第１の図である。上述したとおり、点検作業支援装置１２０には、点検作業支援プログラムがインストールされており、当該プログラムが実行されることで、点検作業支援装置１２０は、第１の生成部である、３Ｄ合成処理部４０１、３Ｄモデル表示部４０２として機能する。また、点検作業支援装置１２０は、第２の生成部である、検査領域指定部４０３、オルソ画像生成部４０４、オルソ画像表示部４０５として機能する。更に、点検作業支援装置１２０は、表示部である、３Ｄ点群情報管理部４０６、損傷位置指定部４０７、パッチインデックス管理部４０８、損傷３Ｄ位置計算部４０９、部分画像選択部４１０、部分画像表示部４１１として機能する。

３Ｄ合成処理部４０１は、複数の部分画像を用いて、合成処理の一例であるＳｆＭ（Structure from Motion）処理を行うことにより、３次元モデル情報を算出する。３次元モデル情報には、各部分画像を撮影した際の撮像装置の位置姿勢情報、点検対象の構造物の画像特徴点に対応する３次元座標、メッシュの各頂点の３次元座標、メッシュの各パッチ（具体的には、各パッチにマッピングするテクスチャ情報）が含まれる。なお、３Ｄ合成処理部４０１は、算出した３次元モデル情報を、３Ｄモデル記憶部４２１に格納する。

３Ｄモデル表示部４０２は、３Ｄモデル記憶部４２１に格納されている３次元モデル情報から、各パッチをビュー方向に投影することで、テクスチャを描画する。これにより、３Ｄモデル表示部４０２は、３次元モデル画像を生成し、表示装置２０５に表示する。

検査領域指定部４０３は、表示装置２０５に表示される３次元モデル画像において、操作装置２０６を用いて指定された検査領域を受け付ける。具体的には、検査領域指定部４０３は、検査領域の中心位置と、検査領域のサイズの設定値を受け付ける。

オルソ画像生成部４０４は、３次元モデル情報から、指定された検査領域に該当する各パッチを抽出し、各パッチの法線方向から正射投影方向を決定する。なお、オルソ画像生成部４０４は、各パッチの法線方向の平均値または最頻値に基づいて、正射投影方向を決定する。

また、オルソ画像生成部４０４は、決定した正射投影方向に基づいて、
・各パッチ（具体的には各パッチにマッピングするテクスチャ情報）を正射投影した画像（オルソ画像）と、
・各パッチを正射投影した領域を各パッチのインデックス情報で塗りつぶした画像（パッチインデックス画像）と、
を生成する。

オルソ画像表示部４０５は、生成されたオルソ画像を表示装置２０５に表示する。

３Ｄ点群情報管理部４０６は、３Ｄ合成処理部４０１により算出された３次元モデル情報において、各パッチにインデックス情報を付与する。また、３Ｄ点群情報管理部４０６は、各パッチに付与したインデックス情報に、各パッチに対応するメッシュの各頂点の３次元座標と、各パッチが写っている部分画像と、部分画像を撮影した際の撮像装置の位置姿勢情報と、を対応付ける。これにより、３Ｄ点群情報管理部４０６はデータベースを生成し、管理する。

損傷位置指定部４０７は、表示装置２０５に表示されるオルソ画像において、操作装置２０６を用いてポインティングされた損傷部の位置（ポインティング位置）を受け付ける。損傷位置指定部４０７は、操作装置２０６のボタンイベントに基づいて、カーソル、点指定、トレースの各モードを識別して、ポインティング位置を受け付ける。

パッチインデックス管理部４０８は、パッチインデックス画像を参照することで、オルソ画像上でのポインティング位置に対応するパッチを特定し、インデックス情報を出力する。

損傷３Ｄ位置計算部４０９は、損傷位置指定部４０７が受け付けたオルソ画像上でのポインティング位置に対応する、３次元モデル画像上の３次元位置座標を算出し、出力する。

部分画像選択部４１０は、１の部分画像を選択する。具体的には、
・損傷位置指定部４０７が受け付けたオルソ画像上でのポインティング位置に対応するパッチをパッチインデックス管理部４０８が特定し、
・特定されたパッチが写っている各部分画像から、各部分画像を撮影した際の撮像装置の位置姿勢情報を３Ｄ点群情報管理部４０６が出力、
した場合に、部分画像選択部４１０は、各部分画像のうち、パッチの法線方向と、部分画像を撮影した際の撮像装置の撮影方向とのずれが、設定値以下となる部分画像を抽出する。また、部分画像選択部４１０は、抽出した部分画像のうち、撮影距離が最も短い１の部分画像を選択する。なお、部分画像選択部４１０は、選択した１の部分画像と、撮像装置の位置姿勢情報とを出力する。

部分画像表示部４１１は、部分画像選択部４１０により選択された１の部分画像を表示装置２０５に表示する。また、部分画像表示部４１１は、損傷３Ｄ位置計算部４０９により算出された、オルソ画像上でのポインティング位置に対応する３次元点（または３次元点列）を、選択された１の部分画像上に表示する。

なお、損傷３Ｄ位置・損傷画像記憶部４２２では、損傷位置指定部４０７で設定されるモードが点指定の場合、オルソ画像上でのポインティング位置に対応する３次元点と、対応する部分画像の情報とを、１レコードとして記憶する。また、損傷３Ｄ位置・損傷画像記憶部４２２では、損傷位置指定部４０７で設定されるモードがトレースの場合、オルソ画像上でのポインティング位置に対応する３次元点列と、対応する部分画像の情報とを、１レコードとして記憶する。

＜点検作業支援装置により実行される処理の具体例＞
次に、点検作業支援装置１２０の各機能ブロックにより実行される各種処理のうち、
・オルソ画像表示処理、
・部分画像及びポインティング位置表示処理、
・トレース処理、
について、具体例を説明する。

（１）オルソ画像表示処理の具体例
はじめに、点検作業支援装置１２０の各機能ブロックにより実行される処理のうち、
・３Ｄ合成処理部４０１、
・３Ｄモデル表示部４０２、
・検査領域指定部４０３、
・オルソ画像生成部４０４、
・オルソ画像表示部４０５、
・３Ｄ点群情報管理部４０６、
により実行される、オルソ画像表示処理の具体例について説明する。図５は、オルソ画像表示処理の具体例を示す図である。

図５に示すように、３Ｄ合成処理部４０１は、画像データ３１０に含まれる複数の部分画像を用いてＳｆＭ処理を行うことにより、３次元モデル情報を算出する。また、３Ｄ点群情報管理部４０６は、３Ｄ合成処理部４０１により算出された３次元モデル情報の各パッチにインデックス情報を付与する。また、３Ｄ点群情報管理部４０６は、各パッチに付与したインデックス情報に、各パッチに対応するメッシュの各頂点の３次元座標と、各パッチが写っている部分画像と、撮像装置の位置姿勢情報とを対応付けて、データベース３５０を生成する（矢印５０１参照）。

また、３Ｄモデル表示部４０２は、３次元モデル情報に基づいて、３次元モデル画像３２０を生成し、表示装置２０５に表示する（矢印５０２参照）。また、検査領域指定部４０３は、表示装置２０５に表示される３次元モデル画像３２０において、操作装置２０６を介して指定された検査領域３２１を受け付ける（矢印５０３参照）。

オルソ画像生成部４０４は、３次元モデル情報から、指定された検査領域３２１に該当する各パッチを抽出し、オルソ画像３３０及びパッチインデックス画像３４０を生成する（矢印５０４及び矢印５０５参照）。また、オルソ画像表示部４０５は、生成されたオルソ画像３３０を表示装置２０５に表示する。

（２）部分画像及びポインティング位置表示処理の具体例
次に、点検作業支援装置１２０の各機能ブロックにより実行される処理のうち、
・３Ｄ点群情報管理部４０６、
・損傷位置指定部４０７、
・パッチインデックス管理部４０８、
・損傷３Ｄ位置計算部４０９、
・部分画像選択部４１０、
・部分画像表示部４１１、
により実行される、部分画像及びポインティング位置表示処理の具体例について説明する。図６は、部分画像及びポインティング位置表示処理の具体例を示す図である。

図６に示すように、損傷位置指定部４０７は、表示装置２０５に表示されたオルソ画像３３０において、損傷部（Ｐ）についてのポインティング位置を受け付ける（矢印５０６参照）。パッチインデックス管理部４０８は、パッチインデックス画像３４０を参照することで、オルソ画像３３０上でのポインティング位置に対応するパッチを特定し（矢印５０７参照）、インデックス情報を出力する（矢印５０８参照）。図６の例は、パッチインデックス管理部４０８により、インデックス情報＝“ｉｄ３”が出力された様子を示している。

また、損傷３Ｄ位置計算部４０９は、オルソ画像３３０上での損傷部（Ｐ）についてのポインティング位置に対応する、３次元モデル画像上の３次元点の３次元位置座標を算出し、出力する（矢印６０１、６０３参照）。なお、損傷３Ｄ位置計算部４０９は、パッチインデックス管理部４０８により出力されたインデックス情報に対応する、メッシュの各頂点の３次元座標を抽出し（矢印６０２参照）、抽出した３次元座標に基づいて、３次元点の３次元位置座標を算出する。

また、部分画像選択部４１０は、パッチインデックス管理部４０８により出力されたインデックス情報に対応する、パッチが写っている各部分画像（ファイル名＝ｉｍｇ０、ｉｍｇ１、・・・）のうち、以下の条件を満たす部分画像を抽出する。
・特定されたパッチの法線方向と、
・各部分画像を撮影した際の撮像装置の撮影方向と、
のずれが、設定値以下である。

また、部分画像選択部４１０は、抽出した部分画像（例えば、ファイル名＝ｉｍｇ０、ｉｍｇ１）のうち、撮影距離が最も短い部分画像（例えば、ファイル名＝ｉｍｇ０）を選択する（矢印６０４参照）。更に、部分画像選択部４１０は、選択した部分画像（ファイル名＝ｉｍｇ０）と、撮像装置の位置姿勢情報（Ｃ０）とを出力する。

部分画像表示部４１１は、部分画像選択部４１０により選択された部分画像３６０（ファイル名＝ｉｍｇ０）を表示装置２０５に表示する（矢印６０５参照）。また、部分画像表示部４１１は、損傷３Ｄ位置計算部４０９により算出された３次元位置座標を、部分画像３６０（ファイル名＝ｉｍｇ０）上に投影した３次元点（Ｐ’）を、表示装置２０５に表示する（矢印６０６参照）。

（３）トレース処理の具体例
次に、点検作業支援装置１２０の各機能ブロックにより実行される処理のうち、
・損傷３Ｄ位置計算部４０９、
・部分画像選択部４１０、
により実行される、トレース処理の具体例について説明する。図７は、トレース処理の具体例を示す図である。

図７の例は、オルソ画像３３０上の損傷部（Ｐ）についてのポインティング位置が、パッチインデックス画像３４０上のインデックス情報＝“ｉｄ３”のパッチに含まれていた場合を示している。また、図７の例は、インデックス情報＝“ｉｄ３”のパッチに対応する部分画像として、部分画像選択部４１０が、部分画像７１０を選択した様子を示している（矢印７０１参照）。

更に、図７の例は、オルソ画像３３０上で損傷部（Ｐ）のポインティング位置がトレースされたことに応じて、部分画像７１０上で、対応する３次元点がトレースされた様子を示している（符号７１１参照）。なお、損傷３Ｄ位置計算部４０９では、部分画像７１０上でトレースされた３次元点列を、損傷３Ｄ位置・損傷画像記憶部４２２に、トレース履歴として格納する（矢印７０２参照）。

ここで、オルソ画像３３０上で損傷部（Ｐ）のポインティング位置がトレースされたことで、ポインティング位置がパッチインデックス画像３４０上のインデックス情報＝“ｉｄ２”のパッチに切り替わったとする。この場合、部分画像選択部４１０は、図７に示すように、インデックス情報＝“ｉｄ２”のパッチに対応する部分画像として、部分画像７２０を選択する（矢印７０３参照）。

このとき、部分画像選択部４１０は、損傷３Ｄ位置・損傷画像記憶部４２２を参照し、トレース履歴を読み出す（矢印７０４参照）。これにより、部分画像選択部４１０は、部分画像７２０にトレース履歴を表示することができる（符号７２１参照）。

このように、点検作業支援装置１２０では、オルソ画像３３０上でポインティング位置がトレースされたことに応じて、選択する部分画像が切り替わった場合でも、切り替え前の部分画像７１０におけるトレース履歴を、切り替え後の部分画像７２０に引き継ぐ。これにより、損傷部（Ｐ）のポインティング位置をトレースする際の視認性が向上するとともに、ポインティング位置のトレース作業を連続実行することが可能になる。

＜点検作業支援処理の流れ＞
次に、点検作業支援装置１２０による点検作業支援処理の流れについて図８及び図９を用いて説明する。図８及び図９は、点検作業支援処理の流れを示す第１及び第２のフローチャートである。

ステップＳ８０１において、３Ｄ合成処理部４０１は、点検用ドローン１１０より送信された画像データに含まれる部分画像を取得する。

ステップＳ８０２において、３Ｄ合成処理部４０１は、３Ｄ合成処理を実行し、３次元モデル情報を生成する。

ステップＳ８０３において、３Ｄ合成処理部４０１は、生成した３次元モデル情報を、３Ｄモデル記憶部４２１に格納する。また、３Ｄモデル表示部４０２は、３次元モデル情報に基づいて、３次元モデル画像を生成し、表示装置２０５に表示する。

ステップＳ８０４において、３Ｄ点群情報管理部４０６は、３次元モデル情報において、各パッチにインデックス情報を付与するとともに、メッシュの各頂点の３次元座標、部分画像、位置姿勢情報を対応付けて、データベースを生成する。

ステップＳ８０５において、検査領域指定部４０３は、３次元モデル画像において指定された検査領域を受け付ける。

ステップＳ８０６において、検査領域指定部４０３は、検査領域の指定が終了したか否かを判定する。ステップＳ８０６において、検査領域の指定が終了したと判定した場合には（ステップＳ８０６においてＹｅｓの場合には）、点検作業支援処理を終了する。

一方、ステップＳ８０６において、検査領域の指定が終了していないと判定した場合には（ステップＳ８０６においてＮｏの場合には）、ステップＳ８０７に進む。ステップＳ８０７において、検査領域指定部４０３は、検査領域の指定があったか否かを判定し、検査領域の指定がないと判定した場合には（ステップＳ８０７においてＮｏの場合には）、ステップＳ８０６に戻り、検査領域の指定があるまで待機する。一方、ステップＳ８０７において、検査領域の指定があったと判定した場合には、ステップＳ８０８に進む。

ステップＳ８０８において、オルソ画像生成部４０４は、指定された検査領域をオルソ画像を生成する領域に設定し、３次元モデル情報から、指定された検査領域内に該当するパッチを抽出する。

ステップＳ８０９において、オルソ画像生成部４０４は、抽出したパッチの法線方向から、正射投影方向を決定する。また、オルソ画像生成部４０４は、決定した正射投影方向に基づいて、各パッチ（具体的には、各パッチにマッピングするテクスチャ情報）を正射投影したオルソ画像を生成する。また、オルソ画像生成部４０４は、決定した正射投影方向に基づいて、パッチインデックス画像を生成する。更に、オルソ画像表示部４０５は、生成されたオルソ画像を表示装置２０５に表示する。その後、図９のステップＳ９０１に進む。

ステップＳ９０１において、損傷位置指定部４０７は、表示されたオルソ画像においてポインティングされた損傷部の位置を受け付ける。

ステップＳ９０２において、損傷位置指定部４０７は、損傷部の位置についてのポインティングが完了したか否かを判定する。ステップＳ９０２において、損傷部の位置についてのポインティングが完了したと判定した場合には（ステップＳ９０２においてＹｅｓの場合には）、図８のステップＳ８０６に戻る。

一方、ステップＳ９０２において、損傷部の位置についてのポインティングが完了していないと判定した場合には（ステップＳ９０２においてＮｏの場合には）、ステップＳ９０３に進む。

ステップＳ９０３において、損傷位置指定部４０７は、損傷部の位置についてのポインティングを受け付けたか否かを判定する。ステップＳ９０３において、損傷部の位置についてのポインティングを受け付けていないと判定した場合には（ステップＳ９０３においてＮｏの場合には）、ステップＳ９０２に戻り、損傷部の位置についてのポインティングを受け付けるまで待機する。

一方、ステップＳ９０３において、損傷部の位置についてのポインティングを受け付けたと判定した場合には（ステップＳ９０３においてＹｅｓの場合には）、ステップＳ９０４に進む。ステップＳ９０４において、パッチインデックス管理部４０８は、パッチインデックス画像を参照し、オルソ画像上でのポインティング位置に対応するパッチのインデックス情報を出力する。また、損傷３Ｄ位置計算部４０９は、オルソ画像上でのポインティング位置に対応する３次元位置座標を算出して、出力する。

ステップＳ９０５において、部分画像選択部４１０は、パッチのインデックス情報に対応する部分画像のうち、１の部分画像を選択する。

ステップＳ９０６において、部分画像表示部４１１は、選択された１の部分画像を表示装置２０５に表示する。また、部分画像表示部４１１は、オルソ画像上でのポインティング位置に対応する３次元点を、部分画像上に表示する。

ステップＳ９０７において、部分画像表示部４１１は、表示された部分画像が更新されたか否かを判定する。ステップＳ９０７において、表示された部分画像が更新されていないと判定した場合には（ステップＳ９０７においてＮｏの場合には）、ステップＳ９０２に戻る。

一方、ステップＳ９０７において、表示された部分画像が更新されたと判定された場合には（ステップＳ９０７においてＹｅｓの場合には）、ステップＳ９０８に進む。ステップＳ９０８において、部分画像表示部４１１は、損傷部のポインティング位置のトレース履歴を、更新された部分画像に表示する。

＜表示画面の説明＞
次に、点検作業支援装置１２０に表示される表示画面について説明する。図１０は、点検作業支援装置の表示画面の一例を示す図である。このうち、図１０（ａ）は、３Ｄモデル表示部４０２により生成された３次元モデル画像１０１０が表示された３次元モデル画像表示画面の一例を示す図である。点検作業者は、表示された３次元モデル画像１０１０を、回転、移動、拡大表示等をさせながら、３次元モデル画像１０１０を視認する。また、点検作業者は、３次元モデル画像１０１０において、検査領域を指定する。

図１０（ｂ）は、３次元モデル画像１０１０上において、点検作業者が、検査領域１０１１を指定することで、オルソ画像１０２０が表示されたオルソ画像表示画面の一例を示す図である。点検作業者は、オルソ画像１０２０上において、損傷部の位置をポインティングする。

図１０（ｃ）は、オルソ画像１０２０上において、点検作業者が、損傷部の位置をポインティングすることで、部分画像１０３０が表示された部分画像表示画面の一例を示す図である。このように、点検作業者は、オルソ画像１０２０を用いて損傷部の位置をポインティングすることで、対応する高画質な部分画像１０３０上で、損傷部を視認することができる（なお、図１０の部分画像１０３０では、損傷部を強調して示している）。また、点検作業者は、オルソ画像１０２０上でのポインティング位置に対応する３次元点を、高画質な部分画像１０３０において視認することができる。この結果、点検作業者は、精度の高い点検作業を行うことができる。

以上の説明から明らかなように、第１の実施形態に係る点検作業支援装置は、構造物の各部を撮影した部分画像を合成し、３次元モデル画像を生成する。また、第１の実施形態に係る点検作業支援装置は、３次元モデル画像のうち、検査領域についてオルソ画像を生成する。また、第１の実施形態に係る点検作業支援装置は、表示中のオルソ画像において損傷部の位置がポインティングされると、オルソ画像と部分画像との対応関係に基づいて、ポインティング位置に対応する部分画像を表示する。

これにより、第１の実施形態に係る点検作業支援装置によれば、点検作業者は、３次元モデル画像において検査領域を指定し、オルソ画像において損傷部の位置をポインティングすることで、対応する高画質な部分画像上で、損傷部を視認することができる。この結果、第１の実施形態に係る点検作業支援装置によれば、精度の高い点検作業を実現することができる。

［第２の実施形態］
上記第１の実施形態では、３次元モデル画像において指定された検査領域についてオルソ画像を生成し、生成したオルソ画像において損傷部の位置がポインティングされるものとして説明した。一方で、指定された検査領域が、例えば、構造物の曲面の一部であった場合には、ポインティング位置によっては、表示中のオルソ画像を更新した方がよい場合もある。

そこで、第２の実施形態では、表示中のオルソ画像において損傷部の位置がポインティングされる場合において、ポインティングされた損傷部の位置に応じて、適宜、オルソ画像を更新する処理について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜点検作業支援装置の機能構成＞
はじめに、第２の実施形態に係る点検作業支援装置の機能構成について説明する。図１１は、点検作業支援装置の機能構成の一例を示す第２の図である。図４を用いて説明した機能構成との相違点は、オルソ画像更新判断部１１０１である。

オルソ画像更新判断部１１０１は、損傷位置指定部４０７により、現在のオルソ画像上でのポインティング位置（あるいはその近傍）に対応する、３次元モデル情報のパッチの法線方向と、現在表示されているオルソ画像の正射投影方向とを比較する。また、オルソ画像更新判断部１１０１は、比較の結果、差分が大きいと判定した場合（差分が基準値以上であると判定した場合）、現在のポインティング位置を中心とする部分画像を用いてオルソ画像を生成するよう、オルソ画像生成部４０４に指示する。

＜オルソ画像更新処理の具体例＞
次に、点検作業支援装置１２０の各機能ブロックにより実行される処理のうち、
・オルソ画像生成部４０４、
・オルソ画像表示部４０５、
・損傷位置指定部４０７、
・パッチインデックス管理部４０８、
・オルソ画像更新判断部１１０１、
により実行される、オルソ画像更新処理の具体例について説明する。図１２は、オルソ画像更新処理の具体例を示す図である。

オルソ画像更新判断部１１０１は、オルソ画像表示部４０５が現在表示中のオルソ画像３３０の正射投影方向を識別する（矢印１２０１参照）。また、オルソ画像更新判断部１１０１は、オルソ画像３３０上における現在のポインティング位置（または近傍）のパッチの法線方向を識別する（矢印１２０２〜１２０４参照）。更に、オルソ画像更新判断部１１０１は、識別した正射投影方向と、識別した法線方向との差分が基準値以上であるか否かを判定する。

オルソ画像更新判断部１１０１は、基準値以上であると判定した場合、オルソ画像生成部４０４に対して、現在のポインティング位置を中心としたオルソ画像を生成するよう指示する（矢印１２０５参照）。

このように、オルソ画像更新判断部１１０１が、ポインティング位置に応じて、オルソ画像を更新することで、例えば、符号１２００に示すように、構造物の曲面部分をオルソ画像として表示している場合に、より歪みのないオルソ画像を表示することができる。

＜点検作業支援処理の流れ＞
次に、点検作業支援装置１２０による点検作業支援処理の流れについて図１３を用いて説明する。図１３は、点検作業支援処理の流れを示す第３のフローチャートである。図９に示した第２のフローチャートとの相違点は、ステップＳ１３０１〜Ｓ１３０３である。

ステップＳ１３０１において、オルソ画像更新判断部１１０１は、現在表示中のオルソ画像の正射投影方向と、現在のポインティング位置に対応するパッチの法線方向とを比較する。

ステップＳ１３０２において、オルソ画像更新判断部１１０１は、比較の結果、差分が基準値以上であるか否かを判定する。ステップＳ１３０２において、差分が基準値未満であると判定した場合には（ステップＳ１３０２においてＮｏの場合には）、ステップＳ９０４に戻る。

一方、ステップＳ１３０２において、差分が基準値以上であると判定した場合には（ステップＳ１３０２においてＹｅｓの場合には）、ステップＳ１３０３に進む。ステップＳ１３０３において、オルソ画像生成部４０４は、現在のポインティング位置を中心としたオルソ画像を生成する。また、オルソ画像表示部４０５は、生成したオルソ画像を表示する。

以上の説明から明らかなように、第２の実施形態に係る点検作業支援装置は、構造物の各部を撮影した部分画像を合成し、３次元モデル画像を生成する。また、第２の実施形態に係る点検作業支援装置は、３次元モデル画像のうち、検査領域についてオルソ画像を生成する。更に、第２の実施形態に係る点検作業支援装置は、ポインティング位置に応じて、表示中のオルソ画像を更新する。

これにより、第２の実施形態に係る点検作業支援装置によれば、上記第１の実施形態と同様の効果を奏するとともに、更に、ポインティング位置に応じた、より歪みのないオルソ画像を表示することができる。

［第３の実施形態］
上記第１及び第２の実施形態では、点検用ドローン１１０より画像データを受信する点検作業支援装置１２０に、点検作業支援プログラムを実行させるものとして説明した。しかしながら、点検作業支援プログラムは、他の装置において実行されてもよい。

図１４は、点検作業支援システムのシステム構成の一例を示す第２の図である。図１４に示すように、点検作業支援システム１４００は、点検用ドローン１４１０＿１〜１４１０＿ｎと、情報処理装置１４２０＿１〜１４２０＿ｎとを有する。また、点検作業支援システム１４００は、画像データ格納部１４３０と、サーバ装置１４４０と、情報処理装置１４５０とを有する。なお、点検作業支援システム１４００において、情報処理装置１４２０＿１〜１４２０＿ｎと、画像データ格納部１４３０と、サーバ装置１４４０と、情報処理装置１４５０とは、ネットワーク１４６０を介して、通信可能に接続される。

点検用ドローン１４１０＿１〜１４１０＿ｎは、撮影により得られた画像データを、情報処理装置１４２０＿１〜１４２０＿ｎに送信する。

情報処理装置１４２０＿１〜１４２０＿ｎは、点検用ドローン１４１０＿１〜１４１０＿ｎの所有者それぞれが使用する装置である。情報処理装置１４２０＿１〜１４２０＿ｎは、受信した画像データを、画像データ格納部１４３０に格納する。

サーバ装置１４４０は点検作業支援装置の一例である。サーバ装置１４４０には、点検作業支援プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１４４０は、点検作業支援サービス部１４４１として機能する。これにより、サーバ装置１４４０は、点検作業支援サービスを提供することができる。なお、点検作業支援サービス部１４４１は、図４で示した機能構成または図１１で示した機能構成と同様の機能構成を有するものとする。

情報処理装置１４５０は、例えば、点検作業者が使用する装置である。情報処理装置１４５０は、所定の構造物を指定して、サーバ装置１４４０が提供する点検作業支援サービスを利用することで、点検作業調書１４５１を作成する。

このように、点検作業支援システム１４００によれば、画像データ格納部１４３０の管理者は、点検用ドローン１４１０＿１〜１４１０＿ｎの所有者に、各構造物の撮影を依頼し、点検作業者に、点検作業調書の作成を依頼する。そして、点検作業者が、サーバ装置１４４０により提供される点検作業支援サービスを利用して、点検作業調書１４５１を作成する。

これにより、画像データ格納部１４３０の管理者は、点検作業調書を取得することができる。

［その他の実施形態］
上記第１の実施形態では、オルソ画像においてポインティング位置をトレースした際、部分画像において、３次元点列を表示するものとして説明したが、オルソ画像上にポインティング位置のトレース結果を表示するように構成してもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成し、表示する第１の生成部と、
前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成し、表示する第２の生成部と、
前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する表示部と
を有する点検作業支援装置。
（付記２）
前記第１の生成部が、前記３次元モデル画像を生成する際に、メッシュを形成する各パッチと、メッシュの各頂点の３次元座標と、各パッチの生成に関わる各部分画像と、各部分画像を撮影した際の撮像装置の位置姿勢情報とを対応付けて格納する格納部を更に有する、付記１に記載の点検作業支援装置。
（付記３)
前記第２の生成部は、前記オルソ画像の各領域と、前記各パッチとの関係を示すパッチインデックス画像を生成する、付記２に記載の点検作業支援装置。
（付記４）
前記表示部は、表示中の前記オルソ画像においてポインティングされた位置に対応するパッチを、前記パッチインデックス画像に基づいて特定し、特定したパッチに対応する１の部分画像を、前記対応関係に基づいて選択する、付記３に記載の点検作業支援装置。
（付記５）
前記表示部は、特定したパッチに対応する部分画像のうち、特定したパッチの法線方向と、部分画像を撮影した際の撮像装置の撮影方向とのずれが、所定の設定値以下となる部分画像を抽出することで前記１の部分画像を選択する、付記４に記載の点検作業支援装置。
（付記６）
前記表示部は、前記所定の設定値以下となる部分画像のうち、撮影距離が最も短い部分画像を、前記１の部分画像として選択する、付記５に記載の点検作業支援装置。
（付記７）
前記表示部は、表示中の前記オルソ画像においてポインティングされた位置の３次元位置座標を算出し、算出した３次元位置座標に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像上に、３次元点を表示する、付記３に記載の点検作業支援装置。
（付記８）
前記表示部は、表示中の前記オルソ画像においてポインティングされた位置に対応するパッチを、前記パッチインデックス画像に基づいて特定し、特定したパッチが形成されるメッシュの各頂点の３次元座標に基づいて、表示中の前記オルソ画像においてポインティングされた位置の前記３次元位置座標を算出する、付記７に記載の点検作業支援装置。
（付記９）
前記表示部は、表示中の前記オルソ画像においてポインティングされた位置がトレースされたことで、対応するパッチが変更され、表示する部分画像を切り替えた場合、切り替え前の部分画像におけるトレース履歴を、切り替え後の部分画像において表示する、付記８に記載の点検作業支援装置。
（付記１０）
前記第２の生成部は、表示中の前記オルソ画像においてポインティングされた場合に、ポインティングされた位置に応じたオルソ画像を生成し、表示中の前記オルソ画像を更新する、付記９に記載の点検作業支援装置。
（付記１１）
構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成して表示し、
前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成して表示し、
前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する、
処理をコンピュータが実行する点検作業支援方法。
（付記１２）
構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成して表示し、
前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成して表示し、
前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する、
処理をコンピュータに実行させるための点検作業支援プログラム。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：点検作業支援システム
１１０ ：点検用ドローン
１２０ ：点検作業支援装置
１３０ ：橋梁
４０１ ：３Ｄ合成処理部
４０２ ：３Ｄモデル表示部
４０３ ：検査領域指定部
４０４ ：オルソ画像生成部
４０５ ：オルソ画像表示部
４０６ ：３Ｄ点群情報管理部
４０７ ：損傷位置指定部
４０８ ：パッチインデックス管理部
４０９ ：損傷３Ｄ位置計算部
４１０ ：部分画像選択部
４１１ ：部分画像表示部
１１０１ ：オルソ画像更新判断部
１４３０ ：画像データ格納部
１４４０ ：サーバ装置
１４４１ ：点検作業支援サービス部

Claims (12)

1. 構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成し、表示する第１の生成部と、
   前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成し、表示する第２の生成部と、
   前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する表示部と
   を有する点検作業支援装置。
2. 前記第１の生成部が、前記３次元モデル画像を生成する際に、メッシュを形成する各パッチと、メッシュの各頂点の３次元座標と、各パッチの生成に関わる各部分画像と、各部分画像を撮影した際の撮像装置の位置姿勢情報とを対応付けて格納する格納部を更に有する、請求項１に記載の点検作業支援装置。
3. 前記第２の生成部は、前記オルソ画像の各領域と、前記各パッチとの関係を示すパッチインデックス画像を生成する、請求項２に記載の点検作業支援装置。
4. 前記表示部は、表示中の前記オルソ画像においてポインティングされた位置に対応するパッチを、前記パッチインデックス画像に基づいて特定し、特定したパッチに対応する１の部分画像を、前記対応関係に基づいて選択する、請求項３に記載の点検作業支援装置。
5. 前記表示部は、特定したパッチに対応する部分画像のうち、特定したパッチの法線方向と、部分画像を撮影した際の撮像装置の撮影方向とのずれが、所定の設定値以下となる部分画像を抽出することで前記１の部分画像を選択する、請求項４に記載の点検作業支援装置。
6. 前記表示部は、前記所定の設定値以下となる部分画像のうち、撮影距離が最も短い部分画像を、前記１の部分画像として選択する、請求項５に記載の点検作業支援装置。
7. 前記表示部は、表示中の前記オルソ画像においてポインティングされた位置の３次元位置座標を算出し、算出した３次元位置座標に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像上に、３次元点を表示する、請求項３に記載の点検作業支援装置。
8. 前記表示部は、表示中の前記オルソ画像においてポインティングされた位置に対応するパッチを、前記パッチインデックス画像に基づいて特定し、特定したパッチが形成されるメッシュの各頂点の３次元座標に基づいて、表示中の前記オルソ画像においてポインティングされた位置の前記３次元位置座標を算出する、請求項７に記載の点検作業支援装置。
9. 前記表示部は、表示中の前記オルソ画像においてポインティングされた位置がトレースされたことで、対応するパッチが変更され、表示する部分画像を切り替えた場合、切り替え前の部分画像におけるトレース履歴を、切り替え後の部分画像において表示する、請求項８に記載の点検作業支援装置。
10. 前記第２の生成部は、表示中の前記オルソ画像においてポインティングされた場合に、ポインティングされた位置に応じたオルソ画像を生成し、表示中の前記オルソ画像を更新する、請求項９に記載の点検作業支援装置。
11. 構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成して表示し、
    前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成して表示し、
    前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する、
    処理をコンピュータが実行する点検作業支援方法。
12. 構造物の各部を撮影した部分画像を合成することで、３次元モデル画像を生成して表示し、
    前記３次元モデル画像のうち、指定された検査領域について、オルソ画像を生成して表示し、
    前記オルソ画像の各領域と、該各領域を形成する前記部分画像との対応関係に基づいて、表示中の前記オルソ画像においてポインティングされた位置に対応する部分画像を表示する、
    処理をコンピュータに実行させるための点検作業支援プログラム。