JP2012018147A

JP2012018147A - 水中構造物点検システム及び画像処理装置

Info

Publication number: JP2012018147A
Application number: JP2010157345A
Authority: JP
Inventors: Yuji Yanagisawa; 雄二柳沢; Hideki Kunijima; 英樹国島; Tadashi Igarashi; 匡五十嵐; Tadashi Nagase; 禎長瀬; Takeya Matsuda; 健也松田; Naruo Mushiake; 成生虫明; Hiroshi Miyake; 宏三宅; Akio Onishi; 明夫大西; Akira Asada; 昭浅田
Original assignee: Public Works Research Institute; University of Tokyo NUC; Kokusai Kogyo Co Ltd
Current assignee: University of Tokyo NUC; National Research and Development Agency Public Works Research Institute; Airport Facilities Co Ltd
Priority date: 2010-07-09
Filing date: 2010-07-09
Publication date: 2012-01-26
Anticipated expiration: 2030-07-09
Also published as: JP5458270B2

Abstract

【課題】水中構造物の点検の作業効率を向上し、コストを抑制できる水中構造物点検システム及び画像処理装置を提供する。
【解決手段】造影された映像において船舶が移動することで生じる歪みを補正するため、当該海域で予め測定された音速と、映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて映像の歪みを補正し、当該補正された映像を出力する。
【選択図】図１

Description

本発明は、港湾施設等における水中構造物の点検を行うシステム及びそれに含まれる画像処理装置に関する。

港湾施設や、漁港施設は、常に厳しい自然条件に曝されているため、一般の建造物に比して劣化の速度が速い。また、構造の一部は水中にあり、外観から劣化を確認することが困難となっている。

かかる水中構造物の点検には、潜水士が実際に水中に潜って、構造物の劣化等を目視にて調査する方法が採られている。

特開２００９−２１０５１２号公報

しかしながら、上記従来の水中構造物の点検方法では、水の透明度によっては作業効率が著しく低下する。また、このような人間の潜水を伴う調査には多大なコストがかかる。

本発明は上記実情に鑑みて為されたもので、水中構造物の点検の作業効率を向上し、コストを抑制できる水中構造物点検システム及び画像処理装置を提供することを、その目的の一つとする。なお、ソナーを利用して水中構造物の映像を撮像し、この映像を用いて劣化を調査する方法がある。このための映像生成装置として、特許文献１に開示するようなものがある。

上記従来例の問題点を解決するための本発明は、水中の構造物を撮像した映像を生成する水中構造物点検システムであって、情報処理部と、前記構造物に沿って移動する船舶に搭載される情報記録部とを含み、前記情報記録部は、前記構造物に対して音響ビームを順次照射する複数の音響発生器を少なくとも一組備え、前記音響ビームの構造物からの反射波により構造物の映像を造影する撮像手段と、前記撮像手段の音響発生器が位置する水深での撮影対象物との距離を測定する距離測定手段と、前記構造物を撮影する水深にて、前記撮像手段を支持する艤装架台と、を備え、前記情報処理部は、前記撮像手段により造影された映像において前記船舶が移動することで生じる歪みを補正する補正手段であって、当該海域で予め測定して得た音速の情報と、前記映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて前記映像の歪みを補正する補正手段と、前記補正された映像を複数合成して合成映像を生成する手段と、前記補正された映像又は前記合成映像を出力する手段と、を備えたものである。

本発明によると、水中構造物の映像が得られるので、点検の作業効率を向上できる。

本発明の実施の形態に係る水中構造物点検システムの構成例を表す概要図である。本発明の実施の形態に係る水中構造物点検システムの艤装架台の例を表す概要図である。本発明の実施の形態に係る水中構造物点検システムの艤装架台における伸縮ポールの例を表す説明図である。本発明の実施の形態に係る水中構造物点検システムの情報記録部の構成例を表すブロック図である。本発明の実施の形態に係る水中構造物点検システムが保持する情報の例を表す説明図である。本発明の実施の形態に係る水中構造物点検システムの撮像装置の構成例を表す概要図である。本発明の実施の形態に係る水中構造物点検システムの撮像装置の撮像範囲の例を表す概要図である。本発明の実施の形態に係る水中構造物点検システムにより撮像される範囲の例を表す説明図である。本発明の実施の形態に係る情報処理装置の構成例を表すブロック図である。本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。本発明の実施の形態に係る水中構造物点検システムで撮像される原映像の例を表す説明図である。本発明の実施の形態に係る水中構造物点検システムにおいて画定される範囲の例を表す説明図である。本発明の実施の形態に係る水中構造物点検システムが撮像する領域の例を表す説明図である。本発明の実施の形態に係る情報処理装置による補正動作を表す説明図である。本発明の実施の形態に係る情報処理装置が生成する合成像の例を表す説明図である。本発明の実施の形態に係る情報処理装置による補正動作の例を表す説明図である。本発明の実施の形態に係る情報処理装置が出力する画像の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る水中構造物点検システムは、図１に例示するように、船舶に艤装される艤装架台１及び情報記録部２と、船舶に艤装されても、されなくてもよい情報処理装置３とを備える。

艤装架台１は、図２に例示するように、支持部１０と、伸縮ポール１１と、圧縮空気導入部１２と、伸縮制御部１３とを含んで構成される。

支持部１０は、船体を幅方向に横断し、船体側面の両縁に固定されて装着される。そしてこの支持部１０は、船体側面から外側へ張り出した位置で伸縮ポール１１を支持する。支持部１０は、伸縮ポール１１の軸方向が、鉛直になるようにしつつ、その軸方向を回転軸として伸縮ポール１１が回転可能となるように支持している。また、支持部１０は船体の幅方向の長さに応じて伸縮可能となっており、種々の船舶に取り付け可能としている。

伸縮ポール１１は、図３に例示するように、径を異ならせた複数の筒状体１１０ａ，１１０ｂ，…を入れ子にし、軸方向に伸縮可能としたものである。ここで筒状体１１０ｎの内面を、次に径が小さい筒状体１１０ｍの先端に連結されたスリーブ１１３ｍの外面が摺り動き、筒状体１１０の間で空気などが流通しないように、互いに摺り合って動く、スリーブ１１３ｍの外径と筒状体１１０ｎ内径とが定められる。また各筒状体１１０の先端部には、シーリングのために筒状体１１０の外周を取り巻くリングＲが設けられてもよい。

さらに、各筒状体１１０の内面には、軸方向に伸びる凸部１１１が設けられ、他の筒状体１１０と連結されたスリーブ１１３の外面には、この凸部に嵌まり合う凹部１１２が少なくとも１カ所形成される。この凸部１１１と凹部１１２とは、各筒状体１１０の相対的な回転を抑制する手段として働く。この凸部１１１の高さは、筒状体１１０の肉厚（凹部、凸部以外での外径と内径との差）よりも薄くつくられてもよい。なお図３では、スリーブ１１３ｍは、比較的小さい径の円筒形の本体両端に、これより径の大きい円筒形をなし、上記の凹部１１２を形成した頭部をそれぞれ設けた、ダンベル状の形状を有する。各頭部の外径は、一方は筒状体１１０ｍの内径に略一致し、他方は筒状体１１０ｎの内径に略一致する。また本体は中空であり、頭部はこの本体の中空部に連通する孔が設けられる。また図３に示したスリーブ１１３では、凹部１１２は、十字方向に４カ所設けられている。筒状体１１０ｎと筒状体１１０ｍとの端部には、スリーブ１１３頭部外径より小さく、スリーブ１１３本体外径より大きい孔を有したリング部材１１７が取り付けられる。このリング部材１１７を介してスリーブ１１３を各筒状体１１０に挿入し、リング部材１１７を筒状体１１０の外部に固定することで、複数の筒状体１１０がスリーブ１１３を介して連結され、伸縮ポール１１が形成される。図３ではリング部材１１７は、連結する二つの筒状体１１０のうち大きい筒状体（図３では筒状体１１０ａ）の外周と、リング部材１１７の外周とにそれぞれ設けたフランジをボルト等で締結することで固定されているが、本実施の形態は、これに限られるものではない。

また、この伸縮ポール１１を構成する筒状体１１０のうち、最小の径の筒状体１１０ｘは、その下方端（以下、先端側と呼ぶ）がキャップによって閉じられている。さらにこの先端側にはドラム１１４が固定され、このドラム１１４にワイヤ１１５が固定されている。ワイヤ１１５の他端はウインチ１１６に巻き取られている。

圧縮空気導入部１２は、伸縮制御部１３から入力される指示に従い、伸縮ポール１１の一端側（先端側に対する側）から伸縮ポール１１内部の空間に圧縮空気を導入する。なお、本実施の形態では、さらに伸縮ポール１１内部の空間から圧縮空気を抜き取る手段を備える。この手段としては、例えば伸縮ポール１１内部の空間に連通するバルブとすることができ、圧縮空気を導入する際はこのバルブを閉じておき、圧縮空気を抜き取るときにバルブを開くようにする。

伸縮制御部１３は、作業者から伸縮ポール１１を伸張させるべき指示を受けて圧縮空気導入部１２を作動させ、伸縮ポール１１内の空間に圧縮空気を導入するとともに、伸縮ポール１１を軸方向に伸張させる。また、この伸縮制御部１３は、作業者から伸縮ポール１１を収縮させるべき指示を受けると、圧縮空気導入部１２の動作を停止させ、バルブを開くなどして伸縮ポール１１内の空間から空気を抜き取る。そして作業者は伸縮ポール１１を収縮させるために、ウインチ１１６によりワイヤ１１５を巻き取って伸縮ポール１１を収縮させる。なお、ウインチ１１６が電動など、動力により巻き取るものである場合は、伸縮制御部１３が作業者から伸縮ポール１１を収縮させるべき指示を受けている間、このウインチ１１６を動作させてワイヤ１１５を巻き取り、伸縮ポール１１を収縮させてもよい。

さらに伸縮制御部１３は、伸縮ポール１１を伸張ないし収縮させずに、伸縮ポール１１の長さを維持する間も、圧縮空気導入部１２を作動させ、伸縮ポール１１内の空間に圧縮空気を導入している。このとき圧縮空気の導入量を、伸縮ポール１１を伸張させる際の導入量より少なくし、浮力による伸縮ポール１１の先端部の浮き上がり力と伸縮ポール１１内の圧縮空気による伸縮ポール１１先端部を押し下げる力とが釣り合うように制御している。

また情報記録部２は、図４に例示するように、ＧＰＳ装置２１、モーションセンサ２２、方位センサ２３、撮像装置２４、音響測深機２５、インタフェースボックス３１、変換器３２、分配器３３、第１記録装置３４及び第２記録装置３５を含んで構成される。

本実施の形態では、伸縮ポール１１の最も先端側にある筒状体１１０ｘに撮像装置２４が取り付けられる。これにより、伸縮ポール１１内に導入した圧縮空気が隣接する筒状体１１０の間から漏洩しても、その漏洩によって生じた気泡が撮像装置２４の撮像に影響しないようにしている。またＧＰＳ装置２１は、伸縮ポール１１の上端側（水面から出ている位置）に取り付けられている。

ＧＰＳ装置２１は、ＧＰＳアンテナ２１ａと、ＧＰＳ測位装置２１ｂとを含む。本実施の形態では、少なくともＧＰＳアンテナ２１ａが伸縮ポール１１の上端側に取り付けられる。ＧＰＳアンテナ２１ａは、ＧＰＳ（Global Positioning System）衛星からの信号を受信し、ＧＰＳ測位装置２１ｂに出力する。ＧＰＳ測位装置２１ｂは、この信号に基づいて、自己の位置を表す情報（測位情報）と、時刻情報とを生成して出力する。このようなＧＰＳ装置２１の動作は、広く知られているので、ここでの詳細な説明は省略する。

モーションセンサ２２は、例えば３軸の加速度センサを備えた動揺計であり、伸縮ポール１１の先端部側に取り付けられて、この位置での伸縮ポール１１の動揺（予め定めたＸ，Ｙ，Ｚ軸周りの動揺）を測定し、当該測定の結果を動揺情報として出力する。すなわち、伸縮ポール１１は、波の影響や船体の移動に伴う水流の影響により動揺するが、このモーションセンサ２２は、伸縮ポール１１の動揺を測定するものである。

方位センサ２３は、撮像装置２４の撮像方向（後述する）の方位を表す情報を出力する。この方位センサ２３は、例えばワンチップ電子コンパスなど、地磁気を測定して方位を表す情報を出力するものとすればよい。撮像装置２４は、水中で音波を放射し、当該音波の反射波を画像化し、当該画像化により得た映像の情報（フレーム）を出力する。この撮像装置２４については、後に詳しく説明する。

音響測深機２５は、伸縮ポール１１の撮像装置２４に隣接させた位置に設置される。これにより音響測深機２５は、撮像装置２４の水深における撮影対象物との距離を測定することとなる。音響測深機２５は、超音波発生器と受信器とを備え、発生器により超音波パルスを放射し、その超音波パルスを直接受信器で受けて、その伝達時間を測ることで音響測深機２５のある水深での撮影対象物との距離を測定する。そして当該測定の結果をデジタル情報に変換した距離の情報を第１記録装置３４に出力する。

インタフェースボックス３１は、モーションセンサ２２が出力する動揺情報の入力を受け入れて、当該受け入れた動揺情報を第１記録装置３４に出力する。変換器３２は、方位センサ２３が出力する信号を予め定めた形式の方位情報に変換して第１記録装置３４に出力する。分配器３３は、ＧＰＳ装置２１が出力する測位情報及び時刻情報を第１記録装置３４と、第２記録装置３５とに分配して出力する

第１記録装置３４は、インタフェースボックス３１を介してモーションセンサ２２が出力する動揺情報を受け入れ、また、分配器３３を介してＧＰＳ装置２１が出力する測位情報と時刻情報とを受け入れ、さらに変換器３２を介して、方位センサ２３が出力する信号に基づいて生成された方位情報を受け入れる。そして第１記録装置３４は、これら受け入れた動揺情報、測位情報、時刻情報、並びに方位情報を関連づけて半導体メモリ素子や、ハードディスクなどの記憶デバイスに記録する。さらにこの第１記録装置３４は、音響測深機２５が出力する撮影対象物との距離の情報を記録する。

第２記録装置３５は、分配器３３が出力する測位情報と、時刻情報と、撮像装置２４が出力する映像情報とを受け入れる。そしてこの第２記録装置３５は、これら測位情報と、時刻情報と映像情報とを関連づけて、半導体メモリ素子や、ハードディスクなどの記憶デバイスに記録する。また、この第２記録装置３５には、対象物の撮像を行う場所（海域）において予め測定された水中での音速の情報を格納しておく。

本実施の形態では、ＧＰＳによる時刻情報、動揺情報、測位情報、方位情報、撮像対象との距離の情報、並びに映像情報が、時間経過に従って逐次的に出力される。そして本実施の形態の第１記録装置３４は、これらの各情報の入力を受けると、当該入力された時点での時刻の情報（第１記録装置３４に内蔵されている時計（不図示）によって計時されている時刻の情報、以下、第１記録装置による時刻情報と呼ぶ）に関連づけて、図５（ａ）に示すように、これらの情報を記録する。なお、ＧＰＳからは時刻情報とともに測位情報が出力されるので、図５（ａ）では、ＧＰＳからの時刻情報と測位情報とは共通する時刻情報に関連づけて記録されることとなる。

また第２記録装置３５には、概念的には、図５（ｂ）に示すように、出力される映像情報に対し、当該映像情報（フレーム）が入力されたときに得られたＧＰＳによる時刻情報と、当該入力された時点での時刻の情報（第２記録装置３５に内蔵されている時計（不図示）によって計時されている時刻の情報）を関連づけて保持している。これにより第１記録装置３４と第２記録装置３５とに記録された各情報は、第１記録装置による時刻情報とＧＰＳによる時刻情報とを介して同期させ（共通の時刻情報に関連づけられている情報同士を取り出すことができ）、同時期に受け入れた各情報を得ることができる状態となる。例えば測位情報と映像情報とは、第１記録装置３４と、第２記録装置３５とにそれぞれ記録されたＧＰＳによる時刻情報を比較することで同期させることができ、動揺情報や方位情報、撮像対象との距離の情報等は、第１記録装置３４に記録されたＧＰＳによる時刻情報と、当該ＧＰＳによる時刻情報を記録したときの第１記録装置による時刻の情報との差を演算しておき、動揺情報や方位情報、撮像対象との距離の情報等に関連づけられた第１記録装置による時刻の情報を、当該演算した差を用いてＧＰＳによる時刻情報と等価な値に変換したうえで、第２記録装置３５に記録されたＧＰＳによる時刻情報と比較して映像情報に同期させることができる。

ここで撮像装置２４について詳しく述べる。撮像装置２４は、いわゆるソナーであり、図６に示すように、複数の音響発生器４１と、音響受波器４２と、造影部４３とを含んで構成される。ここで音響発生器４１は、予め定めた配列方向（θｙ軸方向）にＮ個ずつを１組としてＫ組配列（Ｎ，Ｋはそれぞれ２以上の整数）されている。

各音響発生器４１はその配列方向に対して垂直な方向に広がるよう指向されたパルス音を発する。具体的に図７に示すように、ソナーの音波放射方向に伸びた箱状の領域を、音響発生器４１の配列方向にＮ×Ｋ個（音響発生器４１の数）だけ分割して得られるＮ×Ｋ個の略板状の領域Ｒを考えるとする。このとき、各領域Ｒに対して、各音響発生器４１からのパルス音波が音響ビームとしてそれぞれ放射されることとなる。

音響受波器４２は、音響発生器４１が放射した音響ビームの反射波を受信する。そしてこの音響受波器４２は、音響発生器４１が音響ビームを放射してからその反射波を受けるまでの時間により、対象物までの距離の情報を得る。さらに音響受波器４２は、反射波の強度（または振幅）の情報を得る。そして音響受波器４２は、音響発生器４１ごとの、放射した音波の反射波により測定される対象物までの距離と反射波の強度の情報とを出力する。

造影部４３は、図８に示すように、音響発生器４１の配列方向を一つの軸（θｙ軸）とし、対象物までの距離をもう一つの軸（ｒ軸）とした２次元の映像を生成する。すなわち、音波を放射した音響発生器４１に対応するｒ軸に沿ったライン上で、反射波の受信時刻に応じた位置の画素を、受信した反射波の強度に応じた輝度の画素値に設定して、映像情報（フレーム）を生成し、この映像情報を出力する。

本実施の形態では、複数の音響発生器４１を配列しているが、隣接する音響発生器４１が発生する音響ビームとの干渉により映像が乱れることを避けるために、次のような制御を行っている。すなわち本実施の形態では、図７に示したように、複数の音響発生器４１の、連続するＮ個ずつを組とする。また１からＮまでの数値の順列をＰ1，Ｐ2，…ＰN（例えばＰ1＝１，Ｐ2＝５，Ｐ3＝２…）とする。そして各組Ｐ（i mod N）番目の音響発生器４１が一斉に音響ビームを発し、次いで間隔Δｔだけ後にｉを１だけインクリメントするといった制御を繰り返し行う。この結果、各組でＰ1番目からＰN番目までの音響発生器４１がこの順に音波を放射し、またＰ1番目の音響発生器４１が音波を放射し…と繰り返し音波が放射される。この制御を船舶を対象物に沿って移動させつつ行うことで、対象物を走査した映像が得られる。なお、音響発生器４１の１つに注目すると、この注目した音響発生器４１が、繰り返して音響ビームを放射する周期はＴ＝Δｔ・Ｎとなる。また以下の説明では一つの音響発生器４１に注目したとき、当該注目した音響発生器４１の音波により走査される被写体上のラインをＬとする。

具体的に本実施の形態のある例では、Ｎ＝８，Ｋ＝１２として、Ｇ組目（Ｇ＝１，２，…Ｋ）の音響発生器４１がそれぞれ一つずつ「１，５，２，６，３，７，４，８」番目の順に間隔Δｔずつずれて音響ビームを発する。

次に、情報処理装置３の動作について、面状の水中構造物、例えば岸壁を被写体とした画像を撮像した場合を例として説明する。

本実施の形態の情報処理装置３は、図９に例示するように、制御部５１と記憶部５２と出力部５３とを含んで構成される。ここで制御部５１は、ＣＰＵ（Central Processing Unit）であり、記憶部５２に格納されたプログラムに従って動作するプログラム制御デバイスである。本実施の形態では制御部５１は、情報記録部２の第１記録装置３４に収納されている方位、動揺、測位、撮影対象物までの距離の情報と第２記録装置３５とに格納されている画像情報を処理し、その処理結果である画像の情報（処理画像情報）を出力する。具体的に本実施の形態では、この制御部５１は、複数の音響発生器４１が音波を逐次的に放射することによって生じる鋸歯状の歪みや、船舶の動揺によって生じる歪みを補正する。この制御部５１の詳しい処理の内容は後に述べる。

記憶部５２は、メモリデバイスやハードディスクなどのディスクデバイスを含む。この記憶部５２は、制御部５１によって実行されるプログラムを保持する。また、この記憶部５２は、制御部５１のワークメモリとしても動作する。

出力部５３は、制御部５１から入力される指示に従って処理された画像情報を出力する。この出力部５３は、例えばディスプレイやプリンタ、あるいは他のコンピュータシステムに対して画像を出力するネットワークインタフェース等の通信デバイスであってもよい。

ここで制御部５１の処理の内容について説明する。この制御部５１は、機能的には図１０に示すように、読出部６１と、領域画定部６２と、原映像補正部６３と、合成部６４と、移動歪補正部６５とを含む。

読出部６１は、情報記録部２の第１記録装置３４及び第２記録装置３５に記録された各情報を読み出して領域画定部６２に出力する。この読出部６１が第２記録装置３５から読み出す映像情報は、撮像装置２４が逐次的に出力する原映像である。ここでは、この原映像をそれぞれフレームと呼んでいる。一つのフレームには、撮像装置２４に含まれる複数の音響発生器４１のうち、各組の一つずつの音響発生器４１が放射する音響ビームの反射波により造影された映像が含まれる。従ってこのフレームには、例えば図１１（ａ）に例示する岸壁の範囲のうち、図１１（ｂ）に示すような一部を撮像した映像が含まれる。

領域画定部６２は、第２記録装置３５が記録している映像情報（フレーム）の一つ（ｉ番目のフレームＦiとする）を読出部６１を介して得て、フレームＦiにおいて被写体の撮像された範囲を、例えば画素間の輝度差を利用する輪郭検出処理などによって検出する。そしてフレームＦi内の、この被写体の撮像された範囲のうちに、合成のための部分領域を画定する。ここで部分領域は、例えば被写体の撮像された範囲における撮像装置２４の移動方向の幅中央部（図１２（ａ）の範囲Ａ１）、移動方向手前側端部（図１２（ｂ）の範囲Ａ２）、または移動方向奥側端部（図１２（ｃ）の範囲Ａ３）等予め定めた範囲のいずれか、利用者が予め指示した範囲とすればよい。

領域画定部６２は、画定した部分領域を表す情報（座標情報）を、その元となったフレームを特定する情報（例えば番号ｉ）に関連づけて記憶部５２に蓄積して記憶する。そして領域画定部６２は、ｉを「１」ずつインクリメントしながら、合成のための部分領域を表す情報を更新・記憶していく。

原映像補正部６３は、記憶部５２に格納されたフレームを順次処理の対象として取り出して、映像の輝度の分散を演算し、輝度の分散が均一となるよう、輝度補正を行う。そして原映像補正部６３は、この補正後のフレームを、元のフレームに上書きして記憶部５２に格納する。

また本実施の形態では、図１３に例示するように、被写体に対して音響ビームが斜めに当たるよう撮像装置２４を配している。そのため撮像装置２４から被写体までの最短距離ｄが一定であるとしても、船舶の進行方向手前側の映像部分と、進行方向奥側の映像部分とでは、異なる距離ｒ1，ｒ2として撮像されてしまう。なお以下の説明では、被写体の水深方向をＹ軸、被写体の幅方向をＸ軸とし、被写体の面に垂直な方向の軸をＺ軸とする。この場合、図１４に示すように、音響発生器４１の位置をＳ（ｘ，ｙ，ｄ）、この音響発生器４１が放射した音響ビーム（の中心）が被写体に当たる点をＰ（ｘ＋ｄｘ，ｙ−ｄｙ，０）とし、さらにＳから被写体へおろした垂線の足をＳ′とし、ＰとＳ′との間の距離をＲｗとすると、ＳとＰとの間の距離Ｒ0を用いて、
Ｒw＝√（Ｒ0²−ｄ²）
と書くことができる。

また、点Ｐと点Ｓ′とのＸ軸方向の距離ｄｘは、
ｄｘ＝√（Ｒw²−ｄｙ²）
となる。なおｄｙは、点Ｓにある音響発生器４１の音響ビームの放射方向を表す角度をθとして、
ｄｙ＝Ｒ0・sinθ
と表すことができる。本実施の形態の原映像補正部６３は、処理の対象となったフレームに関連づけて第２記録装置３５が保持している測位情報を読み出し、当該読み出した測位情報と同じ測位情報に関連づけて第１記録装置３４に記録されている方位情報を読み出す。そして、この方位情報と既知の対象構造物の測位情報とに基づいて、角度θを定める。

また、原映像補正部６３は、当該読み出した測位情報と同じ測位情報に関連づけて第１記録装置３４に記録されている動揺情報を読み出し、この動揺情報から処理の対象となったフレームが撮像された時点での撮像装置２４からの音響ビームの放射方向の船舶進行方向（Ｘ軸方向）周りの回転角ωxと、鉛直方向（Ｙ軸方向）周りの回転角ωyとを得る。そして、処理対象のフレームの画角を画定する情報を演算する。

原映像補正部６３は、処理対象のフレームのうち、被写体までの平均距離が進行方向手前側の映像部分と、進行方向奥側の映像部分とのいずれにおいても距離ｄであるとして、フレームの画角を、正対したときの画角となるよう幾何補正を行う。これにより記憶部５２に保持されたフレームは、被写体に正対したときの映像となるよう補正される。ここで幾何補正については広く知られた処理を用いられるので、ここでの詳細な説明を省略する。なお、ここでは岸壁、水底や船体の一部など被写体が、少なくとも局所的には略平面と見なし得て、また撮像装置２４を搭載した船舶等が被写体の面に沿って移動しているとして、被写体までの距離ｄを音響測深機２５より得られる距離情報を用いた補正を行っているものである。

また、原映像補正部６３は、幾何補正したフレームを特定する情報に関連づけて記憶部５２に格納されている部分領域を表す情報を、映像に対する幾何補正に合わせて補正しておく。

合成部６４は、記憶部５２に保持されたフレームを順次注目フレームとして選択しつつ、注目フレームと、注目フレーム以外のフレームとの映像の合成処理を行って合成音響映像を生成する。

本実施の形態の一例によれば、この合成部６４は、注目フレームをフレームＦiとして、それまでに合成した合成音響映像Ｇ（最初のフレームである場合は当該フレームの映像をそのまま合成音響映像Ｇとする）に含まれる過去に入力されたフレームＦi-jと、注目フレームＦiに続けて記憶されているフレームＦi+k（ｊ，ｋ＝１，２…）とを指定された数だけ選択する。そして注目フレームＦiに関連づけられた部分領域に含まれる映像部分と同じ映像部分を、選択したフレームから検索する。この検出は、映像部分の相関演算を用いて（例えば画素値の差の絶対値を総和し、それが最小となる範囲を抽出するなどして）実現できる。

例えば、３つの映像部分を合成する場合は、Ｆi-1(それまでに合成された合成音響映像Ｇに含まれる）、注目フレームＦi、及び、注目フレームの次に記憶されているフレームＦi+1から共通の映像部分を検索して合成し、合成音響映像Ｇを更新してもよいし、Ｆi，Ｆi+1，Ｆi+2から共通の映像部分を検索して合成し、合成音響映像Ｇを更新してもよい。生成・更新された合成音響映像Ｇは、記憶部５２に格納しておく。

このように合成が行われた後の合成音響映像Ｇは、次に述べるようなものとなる。すなわち、既に説明したように、本実施の形態では、各組の音響発生器４１の一つずつが順次音響ビームを放射する制御を行うため、Ｐn番目の音響発生器４１が音響ビームを放射してからＰn+1番目の音響発生器４１が音響ビームを放射するまでの間（時間Δｔの間）に船舶が進行してしまう。このため、船舶の進行方向に音響発生器４１が音響ビームを放射している場合、同じ組にある各音響発生器４１が放射する音響ビームの反射波により本来直線状に造影されるはずの被写体の合成音響映像Ｇが斜めに歪んで造影されることとなる。各組で斜めに歪んだ映像が得られるので、組ごとの繰り返しにより鋸歯状の映像が得られる。つまり、合成音響映像Ｇは、図１５に例示するようにＸ軸方向（船舶移動方向）の端部が鋸歯状に歪んで造影された映像となる。

そこで移動歪補正部６５は、この鋸歯状の歪みを補正する処理を行う。具体的に移動歪補正部６５は、読出部６１を介して第２記録装置３５に格納されている音速の情報を、音響ビームの伝播速度νとして読み出す。またこの移動歪補正部６５は、合成音響映像Ｇを記憶部５２から読み出す。そしてこの合成音響映像Ｇに生じている鋸歯状歪みの先端から根元までの最大ピクセル値を調べる。そして当該ピクセル数をλとする。このとき、船舶と被写体との相対速度をｖとすると、
λ／（（ν−ｖ）・Ｎ）＝Δｔ
であり、移動歪補正部６５は、これをｖについて解いた
ｖ＝ν−λ／（Δｔ・Ｎ）
を演算する。移動歪補正部６５が演算したこのｖが鋸歯状部の出っ張りを打ち消す相対速度となる。

移動歪補正部６５は、ある音響発生器４１が音響ビームを放射する間隔をＴとして、各組でｉ番目の音響発生器４１が撮像する映像に対応するＸ軸に沿ったライン上で、合成音響映像Ｇの画素をｖ×Ｔ×（ｉ／Ｎ）だけ船舶（撮像装置２４）の移動方向と反対の方向へ移動する（図１６）。具体的には、合成音響映像Ｇに生じた周期的な鋸歯状の歪みのうち、Ｘ軸上最も船舶の移動方向にシフトしているＸ軸に沿った合成音響映像Ｇ上の画素群をｖ×Ｔ×（Ｎ／Ｎ）＝ｖ×Ｔだけ移動させる。以下、当該移動後にさらにＸ軸上最も船舶の移動方向にシフトしているＹ軸に沿った合成音響映像Ｇ上の画素群をｖ×Ｔ×（ｉ／Ｎ）（ここでｉ＝Ｎ−１）だけ移動させる、という処理をｉを「１」ずつデクリメントしつつｉ＝１となるまで繰り返し行う。これにより、鋸歯状の歪みが補正された合成音響映像Ｇが得られることとなる。出力部５３は、移動歪補正部６５による補正後の合成音響映像Ｇを出力する。

この出力部５３は、ＧＰＳ装置２１が出力する測位情報を利用して次のような処理を行ってもよい。すなわちこの出力部５３は、映像情報の記録開始時点の測位情報と映像情報の記録終了時点の測位情報とを得て合成音響映像ＧのＸ軸方向の幅が予め定めた縮尺となるよう、合成音響映像Ｇを拡大縮小補正してもよい。

出力部５３は、合成音響映像ＧのＸ軸の値と、ＧＰＳ装置２１が出力する測位情報とを関連づけて表示する。さらに出力部５３は、別途用意された水上部の映像を、合成音響映像Ｇに位置合わせして合成して表示してもよい。具体的に出力部５３は、ケーソンごとに予め設定されているケーソン番号と各ケーソン番号に対応する映像上の座標情報とを関連づけた地上部映像、及び、ケーソン番号と各ケーソン番号に対応するケーソンの測位情報（各ケーソンの端部での測位情報）とを関連づけたケーソン位置情報との入力を受け入れる。ここでケーソンは、水中構造物の建造に用いられる矩形状の部材であり、ここではその端部が水深方向に伸びるように配されるものとする。

出力部５３は、合成音響映像ＧのＸ軸の値に関連する測位情報を参照し、各ケーソン番号に対応するケーソンの両端部の測位情報に対応する合成音響映像ＧのＸ軸の値のペアを得る。そして出力部５３は、各ケーソン番号に対応するケーソンの水上部の映像が、上記の方法で得たペアとなったＸ軸の値の間に合成できるよう、当該水上部の映像を拡大縮小処理し、水面より上の位置に合成する。なお、拡大縮小処理と合成とはケーソン番号に対応するケーソンの映像ごとに行ってもよいし、画像全体で行ってもよい。この処理により、出力部５３が出力する映像は、図１７（ａ）に示すようなものとなる。

さらに、この出力部５３は、設計図面を合成音響映像Ｇに合成して（この場合は設計図面上の線を映像に合成し、線のない部分は合成音響映像Ｇが残存するように合成する）もよい。この場合も出力部５３は、ケーソン番号と各ケーソン番号に対応するケーソンの測位情報（各ケーソンの端部の測位情報）とを関連づけたケーソン位置情報を利用し、合成音響映像ＧのＸ軸の値に関連する測位情報を参照し、各ケーソン番号に対応するケーソンの両端部の測位情報に対応する合成音響映像ＧのＸ軸の値のペアを得る。そして設計図面上のケーソン番号に対応する範囲（各ケーソンに対応する設計図面の一部）の両端が、上記の方法で得たペアとなったＸ軸の値に一致するよう設計図面を拡大縮小処理して合成する。この場合も拡大縮小処理と合成とはケーソン番号に対応する設計図面の部分ごとに行ってもよいし、設計図面全体で行ってもよい。この処理により、出力部５３が出力する映像は、図１７（ｂ）に示すようなものとなる。

［動作］
本実施の形態のシステムを用いた水中構造物の撮像方法について次に述べる。作業者は伸縮ポール１１の長さを調整して、撮像装置２４の位置を水深Ｙ１に設定し、船舶を劣化検査の対象となる水中構造物に沿って移動させつつ映像の撮像を行う。つまり艤装架台１により、水中構造物を撮像する当該深度（水深）Ｙ１にて、撮像装置２４が支持される。そしてこの当該深度（水深）Ｙ１にて、撮像装置２４が撮像した映像が情報記録部２に記録され、この記録された映像から情報処理装置３が合成音響映像Ｇ１を生成する。

また、作業者は伸縮ポール１１の長さを変更して撮像装置２４の位置を水深Ｙ２に設定し、船舶を劣化検査の対象となる水中構造物に沿って移動させつつ映像の撮像を行う。これにより当該深度Ｙ２にて撮像した映像が情報記録部２に記録され、この記録された映像から情報処理装置３が合成音響映像Ｇ２を生成する。

以下、同様にして、撮像装置２４の水深をＹ３，Ｙ４…と変更させつつ撮像を行って対応する合成音響映像Ｇ３，Ｇ４…を得る。

この例の場合、水深Ｙiと、Ｙi+1とで撮像される各映像にはそれぞれ重複部分が存在するように各水深を定める。そして情報処理装置３は、当該重複部分での相関を利用して各合成音響映像Ｇ１，Ｇ２…を合成する。

また、ここでは船舶をＸ軸の正の方向に沿って移動させつつ撮像を行う例について述べたが、撮像装置２４を同じ水深に置いたときの映像を、船舶をＸ軸方向に沿って正の方向に移動させているときと、Ｘ軸負の方向に移動させているときとの双方で撮像し、それぞれの映像を合成した合成音響映像Ｇをそれぞれ得てもよい。

これにより作業者は、合成音響映像を参照しつつ、被写体となった水中構造物に生じたひび割れなどを検討できる。

１艤装架台、２情報記録部、３情報処理装置、１０支持部、１１伸縮ポール、１２圧縮空気導入部、１３伸縮制御部、２１ＧＰＳ装置、２２モーションセンサ、２３方位センサ、２４撮像装置、２５音響測深機、３１インタフェースボックス、３２変換器、３３分配器、３４第１記録装置、３５第２記録装置、４１音響発生器、４２音響受波器、４３造影部、５１制御部、５２記憶部、５３出力部、６１読出部、６２領域画定部、６３原映像補正部、６４合成部、６５移動歪補正部、１１０筒状体、１１１凸部、１１２凹部、１１３スリーブ、１１４ドラム、１１５ワイヤ、１１６ウインチ、１１７リング部材。

Claims

水中の構造物を撮像した映像を生成する水中構造物点検システムであって、
情報処理部と、前記構造物に沿って移動する船舶に搭載される情報記録部とを含み、
前記情報記録部は、
前記構造物に対して音響ビームを順次照射する複数の音響発生器を少なくとも一組備え、前記音響ビームの構造物からの反射波により構造物の映像を造影する撮像手段と、
前記撮像手段の音響発生器が位置する水深での撮影対象物との距離を測定する距離測定手段と、
前記構造物を撮影する水深にて、前記撮像手段を支持する艤装架台と、
を備え、
前記情報処理部は、
前記撮像手段により造影された映像において前記船舶が移動することで生じる歪みを補正する補正手段であって、当該海域で予め測定して得た音速の情報と、前記映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて前記映像の歪みを補正する補正手段と、
前記補正された映像を複数合成して合成映像を生成する手段と、
前記補正された映像又は前記合成映像を出力する手段と、
を備えてなることを特徴とする水中構造物点検システム。
水中の構造物を撮像した映像を生成して記録する情報記録部であって、前記構造物に対して音響ビームを順次照射する複数の音響発生器を少なくとも一組備え、前記音響ビームの構造物からの反射波により構造物の映像を造影する撮像手段と、前記撮像手段の音響発生器が位置する水深での撮影対象物との距離を測定する手段と、を備えた情報記録部に接続され、
前記情報記録部の撮像手段により造影された映像において前記船舶が移動することで生じる歪みを補正する補正手段であって、前記撮影対象物との距離を測定する手段で測定した距離と、前記映像に生じている歪みの大きさとに基づいて船舶の移動速度を推定し、当該推定した移動速度を用いて前記映像の歪みを補正する補正手段と、
前記補正された映像を複数合成して合成映像を生成する手段と、
前記補正された映像又は前記合成映像を出力する出力手段と、
を備えていることを特徴とする画像処理装置。
請求項２に記載の画像処理装置であって、
前記出力手段は、予め用意された水上部の映像または設計図面の画像を、前記補正された映像の縮尺に合わせて拡大縮小処理し、当該拡大縮小処理した水上部の映像または設計図面の画像を、前記補正された映像に合成して出力することを特徴とする画像処理装置。