JP2003032674A

JP2003032674A - 管状物内壁のビデオ画像から連続した展開静止画像を自動生成するシステム

Info

Publication number: JP2003032674A
Application number: JP2001215318A
Authority: JP
Inventors: Naomichi Akizuki; 直道秋月; Naoki Yoshida; 直己吉田; Suharno Agus; スハルノアグス
Original assignee: Emaki Kk
Current assignee: Emaki Kk
Priority date: 2001-07-16
Filing date: 2001-07-16
Publication date: 2003-01-31

Abstract

(57)【要約】（修正有）【課題】ビデオカメラで撮影したトンネル（管渠）内壁
のビデオ画像から、繋ぎ目がなく歪みの少ない連続した
展開静止画像を自動的に生成する。【解決手段】管状物内壁のビデオ画像データが記録され
た記録媒体から該ビデオ画像データをデジタル画像デー
タとして取り込むデジタル画像データ取り込み手段と、
取り込まれたデジタル画像データの１フレームごとに管
状物内壁の周方向の展開図を作成するパイプ投影変換手
段と、パイプ投影変換手段により作成された各フレーム
の展開図に対してモザイキング処理を行い、連続した繋
ぎ目のない展開静止画像データに変換するモザイキング
処理手段と、展開静止画像データを圧縮する画像データ
圧縮手段と、展開静止画像データを圧縮して得られた圧
縮画像データを格納するための圧縮画像データ格納手段
とを有するシステムによって達成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、管状物の内壁の検
査を行う為に、内壁のビデオ画像の１フレームから管の
周方向の展開図を作成し、それをモザイキング処理によ
って管の長手（中心軸）方向に繋ぎ合わせることによ
り、繋ぎ目のない連続した展開静止画像を自動的に生成
するシステムに関する。

【０００２】

【従来の技術】管状物（例えばトンネル、下水道等）の
内壁の調査は、従来、現場における人間による直接観
察、それに伴うスケッチ等により行われていたが、これ
はいわゆる３Ｋ（きつい、汚い、危険）作業であり、多
くの人手と時間を要するだけではなく、不具合箇所を正
確に特定することが困難であった。

【０００３】そこで、かかる管内作業から人間を解放す
るために、カメラによって撮影した画像をもとにして調
査を行う方法がいくつか提案されている。

【０００４】例えば、特開平６−４２３００号公報に開
示されているのは、曲面鏡を用い、それに映ったトンネ
ル壁面をカメラで撮影したトンネル周方向の画像をカメ
ラの移動距離に応じて並べてトンネルの展開画像を得る
方法であるが、これはトンネルの断面形状に合わせて曲
面鏡の形状設計及びカメラのレンズの光学設計を行わな
ければならないが、トンネルの断面形状は一定ではない
ため、設計作業が複雑になるという問題がある。また、
進行方向のある位置におけるトンネルの周方向を曲面鏡
に映し、これを１台のカメラで撮影したものであるた
め、画像の分解能が低くなるという欠点もある。

【０００５】また、曲面鏡に映した画像を撮影するので
はなく、直接断面形状を撮影するために、トンネル内に
設置した回転装置にラインセンサカメラを取り付け、ト
ンネル壁面周方向にスキャニングしてトンネル壁面画像
を取得し、トンネル軸方向に所定距離移動した後に同様
の撮影を繰り返すことにより得られた画像を繋ぎ合わせ
てトンネル軸方向の連続した展開画像を得る方法も提案
されている。例えば、特開平１１−２９４０６５号公
報、特開平１１−８１８７９号公報である。これらは、
特殊でかつ高価なカメラを使用するもので、撮影時間も
長くなるという欠点がある。

【０００６】さらには、前述の如く１台のカメラを軸方
向に回転させて、所定の角度毎に数回に分けて撮影する
のではなく、トンネルのほぼ中心部に４台のラインセン
サカメラをそれぞれ異なる方向に向けてセットし、トン
ネルの壁面の全周を４つに分割して撮影する方法が提案
されている。例えば、特開２００１−４３３５３号公報
に記載されたものである。しかし、この方法は、４台の
広角度の高価なカメラを必要とし、カメラの位置、方
向、移動速度など、４台のカメラの撮影条件を調整する
のが極めて面倒であるという問題がある。

【０００７】以上のような問題を緩和する方法として、
トンネルの軸方向に移動するビデオカメラを用いて撮影
したトンネル内壁の画像（ドーナツ状に写っている）の
１フレームごとに周方向の展開図を作成し、それを進行
方向（軸方向）複数枚繋げてトンネル軸方向の連続した
展開画像を得る方法が提案されている。例えば、特開平
１１−６６３１６号公報に開示されているものである。

【０００８】

【発明が解決しようとする課題】しかしながら、これに
は次のような問題がある。すなわち、（１）カメラの姿
勢制御、位置情報取り込み等の複雑な手順を必要とす
る。

【０００９】これは、コンピュータが映像情報をすべて
数値として取り扱うためで、時間の変化を伴う連続的な
映像を高品位に処理する上で、画像のブレの要素となる
カメラの姿勢情報及び位置情報が数値として正確にフィ
ードバックされる必要があるためである。

【００１０】このため、カメラ側に姿勢情報を取得可能
なセンサ（重力センサ、ジャイロセンサ等）を搭載して
それらのデータを同時取得する必要があり、特殊なカメ
ラ装置が必要となる。さらに、位置情報または走行距離
データ（ケーブル送出量）を補足するセンサを搭載し、
文字発生器により画面上にスーパーインポーズしてい
る。この位置情報または走行距離データを取得するため
に、インポーズされている文字を文字認識する必要があ
る。しかしながら、文字認識処理を行うことは多大な労
力を要するだけでなく、誤認識によるデータ欠落の危険
性がある。

【００１１】（２）フレーム同士を単に接続するだけな
ので、シームレス（繋ぎ目の無い）なモザイク画像が得
られない。

【００１２】（３）フレーム同士を単に接続するだけな
ので、撮影移動速度が一定でないと、フレーム間におい
て画像の横（長手方向）方向の大きさが一定せず、ゆが
んだ画像となる。

【００１３】（４）すべてのフレームを用いてモザイキ
ングを行うと、同一箇所の画像においてゆがんだ部分と
ゆがんでいない部分が重なってしまうため、展開図に使
用する画像と、使用しない画像とを人の目で選別して行
う必要がある。このため、モザイキングが自動的にでき
ず、時間がかかる。

【００１４】そこで、本発明は、かかる従来技術の問題
点を解決するためになされたものであり、本発明の目的
は、汎用の（家庭用の）ビデオカメラで撮影したトンネ
ル（管渠）内壁のビデオ画像の１フレームから管の周方
向の展開図を作成し、それをモザイキング処理によって
管の長手（中心軸）方向に繋ぎ合わせることにより、繋
ぎ目がなく歪みの少ない連続した展開静止画像を自動的
に生成するシステムを提供することにある。

【００１５】

【課題を解決するための手段】本発明は、上記の課題を
解決するためになされたもので、本発明の上記目的は、
管状物内壁のビデオ画像データが記録された記録媒体か
ら該ビデオ画像データをデジタル画像データとして取り
込むデジタル画像データ取り込み手段と、取り込まれた
前記デジタル画像データの１フレームごとに管状物内壁
の周方向の展開図を作成するパイプ投影変換手段と、前
記パイプ投影変換手段により作成された各フレームの展
開図に対してモザイキング処理を行い、連続した繋ぎ目
のない展開静止画像データに変換するモザイキング処理
手段と、前記展開静止画像データを圧縮する画像データ
圧縮手段と、前記展開静止画像データを圧縮して得られ
た圧縮画像データを格納するための圧縮画像データ格納
手段とを有し、前記モザイキング処理手段が、各フレー
ムごとに展開図のストリップを切り出して繋げるモザイ
キング処理手段であることを特徴とする管状物内壁のビ
デオ画像から連続した展開静止画像を自動生成するシス
テムによって達成される。

【００１６】また、本発明の上記目的は、管状物内壁の
ビデオ画像データが記録された記録媒体から該ビデオ画
像データをデジタル画像データとして取り込むデジタル
画像データ取り込み手段と、取り込まれた前記デジタル
画像データの１フレームごとに管状物内壁の周方向の展
開図を作成するパイプ投影変換手段と、前記パイプ投影
変換手段により作成された各フレームの展開図に対して
モザイキング処理を行い、連続した繋ぎ目のない展開静
止画像データに変換するモザイキング処理手段と、前記
展開静止画像データを圧縮する画像データ圧縮手段と、
前記展開静止画像データを圧縮して得られた圧縮画像デ
ータを格納するための圧縮画像データ格納手段と、該圧
縮画像データ格納手段に前記圧縮画像データを格納して
データベースを作成するためのデータ登録手段とを有
し、前記モザイキング処理手段が、各フレームごとに展
開図のストリップを切り出して繋げるモザイキング処理
手段であることを特徴とする、管状物内壁のビデオ画像
から連続した展開静止画像を自動生成するシステムによ
って、より効果的に達成される。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００１８】図１は、本発明のシステムの構成の一例を
示す図であり、パソコン３０は本システムの中心となる
ものであり、デジタル変換／ビデオ画像データ取込手段
３１と、パイプ投影変換／モザイキング処理手段３２
と、静止画像編集手段３３と、データ圧縮手段３４と、
データ登録手段３５と、処理プログラム３６とから構成
されている。

【００１９】前記パソコン３０に接続されているビデオ
デッキ２１はビデオ画像データ読み込み手段２０の一例
であり、図示しないビデオカメラによって撮影され、ビ
デオ画像データ記憶媒体１０の一例であるビデオテープ
１１に記録された管状物内壁のビデオ画像データを読み
込んで前記パソコン３０にデータ信号として送るための
ものである。

【００２０】また、前記パソコン３０に接続されたＣＤ
−Ｒ／ＲＷドライブ４１及びハードディスク４２は圧縮
画像データ格納手段４０の一例であり、さらには、プリ
ンタ５１は作成された展開静止画像を印刷出力するため
のデータ出力手段５０の一例を示すものである。

【００２１】ここで、ビデオデッキ２１がデジタルビデ
オデッキである場合は、ビデオ画像データはデジタル信
号のまま、例えばIEEE1394等のインタフェースを用いて
パソコン３０に取り込まれる。パソコン３０がマイクロ
ソフト社のWindows対応であれば、データはAVI形式（Au
dio Video Interleave）で内部のメモリに一時格納され
る。また、ビデオデッキ２１がアナログ方式（例えばS-
VHS方式）であれば、前記デジタル変換／ビデオ画像デ
ータ取込手段３１に例えばビデオキャプチャボードを使
用することにより、アナログ画像データをデジタル画像
データに変換してパソコン３０に取り込むことができ
る。

【００２２】パイプ投影変換／モザイキング処理手段３
２は、取り込まれたビデオ画像データから展開静止画像
を作成するものであり、専用のソフトウェアによって行
われる。このモザイキング処理には、特許協力条約（以
下「ＰＣＴ」という。）第２１条の規定によって国際公
開された国際出願の国際公開公報（WO 98/34195）に開
示されているモザイキング方法を利用することができ
る。

【００２３】静止画像編集手段３３は、モザイキング処
理によって得られたパノラマ画像に対して、色彩、コン
トラスト、明るさ等の画質調整を行うものであり、市販
の画像編集ソフトが使用できる。例えば、アドビシステ
ムズ社の「Adobe Photoshop」（同社の登録商標）が利
用可能である。

【００２４】データ圧縮手段３４は、画像のデータベー
ス化のために画像サイズを小さくする必要があるので、
圧縮するためのものである。本実施例では圧縮はソフト
ウェアで行い、代表的な圧縮画像ファイル形式として、
JPEG、GIF、TIFF形式等がある。

【００２５】データ登録手段３５は、静止画像の検索を
容易とするため、データベース化する際に、撮影対象名
称、撮影場所、撮影時期、登録年月日等を付随データと
して付加するためのものである。市販のデータベースソ
フトが使用できる。例えば、米マイクロソフト社の「Mi
crosoft Access」（同社の登録商標）が利用できる。

【００２６】処理プログラム３６は、前記パソコン３０
に前記各手段の持つ機能を果たさせるための役割を担う
ものである。

【００２７】図２は、前記処理プログラム３６によって
パソコン３０が行う作業のフローチャートを表したもの
である。以下、図２を参照して説明する。

【００２８】まず、ステップS201において撮影されたビ
デオテープから、ビデオデッキによって画像データを読
み取り、それがアナログデータである場合は、ステップ
S203においてデジタルデータに変換する。ステップS202
において、もし初めからデジタルデータである場合は、
そのままデジタルデータとしてパソコン内に取り込み、
デジタル動画ファイル形式（例えばAVI形式）でハード
ディスクに保存する（ステップS204）。

【００２９】次に、ステップS205において、画像データ
の１フレームごとにパイプ投影変換を行って展開図を作
成し、それをモザイキングソフトにより前記展開図から
ストリップ（短冊状の画像）を切り出して繋げるモザイ
キング処理を行う。図３は、ステップS205における処理
のフローチャートを表したものであり、図４はその概念
図である。

【００３０】ステップS206において静止画像データ（例
えば、BMPファイル形式）としてハードディスクに保存
する。次に、必要であれば、ステップS207において画像
編集ソフトで画質の調整を行う。必要でなければ、ステ
ップS208に移行し、画像圧縮を行い、圧縮画像データと
して保存する。ファイル形式は、JPEG、GIF、TIFF等で
ある。

【００３１】次に、ステップS209において、前記圧縮画
像データに、撮影対象名称、撮影場所、撮影時期、登録
年月日等のデータを付加するデータ登録を行った上で、
ステップS210にて、内部のハードディスクや、外部のＣ
Ｄ、ＭＯ等の圧縮画像データ格納手段にデータを格納し
て、データベース化が完了する。

【００３２】図３は、上述のステップS205における処理
のフローチャートを表したものであり、本発明の中心部
分をなすものである。これを詳細に説明する。

【００３３】まず、ステップS301において、デジタル動
画データから最初のフレームの画像を抜き出し、ステッ
プS302において、前記の抜き出した画像をパイプ投影変
換し、展開画像を作成する。この展開画像をＦｐとす
る。

【００３４】ここに、パイプ投影（Pipe Projection）
とは、図５に示すように画像面（内壁面がドーナツ状に
映っている）を画像面と交差する３次元の円筒上に投影
し、投影した円筒の一部を長方形の画像に展開すること
を言う。展開図作成の原理は次の通りである。

【００３５】まず、画像の3次元の円筒（以下「パイ
プ」とする）への投影を考える。画像とパイプの関係を
図６のように設定する。パイプを撮影した画像をＩと
し、パイプの半径をＲとする。このパイプの軸はカメラ
の光学的中心Ｏおよび焦点Ｃ(cx,cy)を通るように選ば
れる（ここでは簡単のため、絶対座標系のＺ軸とパイプ
の軸は平行であると考える）。fcは焦点距離である。画
像Ｉ上の各画像点Ｐ(x,y,fc)はパイプ上の対応する点Ｑ
の上に投影される。点ＱはＯおよびＰと同じ直線上にあ
る。また、点Ｌをパイプの軸上の点Ｑの投影とし、kを
ＬからＯの距離とする。また、ＬとＱを結ぶ線と絶対座
標系のＸ軸に平行でかつ点Ｌを通る線分との間の角度を
αとする。このとき、パイプ上の点Ｑは以下の式（１）
で表すことができる。

【００３６】 Q(Qx , Qy , Qz) = (Rcosα , Rsinα , k)……（１）また、点Ｑに対する画像面の中の点Ｐはfc,kを用いて以
下の式（２）で表すことができる。

【００３７】 P(x,y,fc) = (fc/k*Qx , fc/k*Qy , fc)……（２）これらをまとめ、点Ｐはfc,k,Ｒ,αに関する以下の式
（３）で表すことができる。

【００３８】 P(x,y,fc) = (fc/k*Rcosα , fc/k*Rsinα , fc)……（３）図７は実際の展開の様子を図示したものである。展開画
像の幅は、展開前の画像Ｉに写っているパイプの半径Ｒ
とＲmin、焦点距離fcを用いて「fc * (R−Rmin)/ Rmi
n」という式で算出する（ここでＲminとは「展開対象の
パイプ最小半径」を意味する。パイプ投影を行う際、展
開対象がパイプの中心に近ければ近いほど実際の撮影距
離は遠くなり、展開時の解像度が低下する。このために
Ｒminを適切な値に設定して展開を行う必要があ
る。）。また、展開画像の高さはパイプの半径Ｒの円周
の長さ（2πＲ）と等しい。ここで、展開画像上の任意
の点をＰ(x,y)とすると、パイプ投影はそれぞれのＰに
対応する画像Ｉ上の点Ｐ’を求め、点Ｐ’のピクセルデ
ータをコピーすることで実現可能である。展開画像の左
端のピクセルは画像Ｉの半径Ｒの円周上のピクセルに対
応し、展開画像右端のピクセルは画像Ｉの半径Ｒminの
円周上のピクセルに対応する。

【００３９】図８はパイプ投影変換をコンピュータを用
いて処理するためのフローチャートの一例を示すもので
あるが、説明は省略する。

【００４０】次に、ステップS303において、デジタル動
画データから２番目のフレームの画像を抜き出し、ステ
ップS304において、該抜き出した画像をパイプ投影変換
し、展開画像を作成する。この展開画像をＦｃとする。

【００４１】次に、ステップS305において、ＦｐとＦｃ
の間における画像の運動量及び運動方向を計算によって
求める。尚、ＦｐとＦｃとの間の運動量及び運動方向の
計算は、本実施例においては、「オプティカルフローの
拘束式」というアルゴリズムを使用しているが、本発明
はこのアルゴリズムに限定されるものではない。

【００４２】次に、ステップS306において、算出した運
動量を基にして、Ｆｃから短冊状の画像（以下「ストリ
ップ」という。このストリップは画像の中で最も歪みの
少ない箇所から切り出されるが、通常は画像の中央部分
になる。）を切り出し、算出した運動方向に沿って作成
対象の静止画像に貼り合わせる。これをモザイキング処
理という。切り出すストリップの幅は、運動量が大きけ
れば太くなり、運動量が小さければ細くなる。運動方向
のデータは、前後の画像を貼り合わせる際の位置合わせ
に使用される。

【００４３】このように、本発明においては、画像デー
タから計算によって画像の運動量や方向を求めることが
できるため、カメラの姿勢情報を取得する必要がなくな
り、従来例のように特殊なカメラを必要としない。ま
た、運動量に応じて切り出すストリップの幅を調整して
いるため、撮影の際に一定の速度でカメラを移動させる
必要がなくなり、特殊な撮影技術・装置を必要とせず、
撮影時間が短縮される。

【００４４】次に、現在の展開画像（２番目の画像）Ｆ
ｃをＦｐとし（ステップS308）、ステップS303に戻り、
３番目のフレームの画像を抜き出し、ステップS304にお
いて、該抜き出した画像をパイプ投影変換し、展開画像
を作成する。この展開画像をＦｃとする。

【００４５】次に、ステップS305において、同様に、Ｆ
ｐとＦｃの間における画像の運動量及び運動方向を計算
によって求める。

【００４６】次に、ステップS306において、算出した運
動量を基にして、Ｆｃからストリップを切り出し、算出
した運動方向に沿って、直前のストリップに貼り合わせ
る。

【００４７】以降、画像データが無くなるまで、この工
程を繰り返す（図４）。

【００４８】画像データのすべてのフレームについて、
パイプ投影変換／モザイキング処理が終わると、ステッ
プS309に移り、作成された展開静止画像ファイルは、静
止画像データとして一旦コンピュータ３０のハードディ
スクに保存される（図２のステップS206）。

【００４９】

【発明の効果】以上のように、本発明に係る管状物内壁
のビデオ画像から連続した展開静止画像を自動生成する
システムによれば、画像データから計算によって画像の
運動量や方向を求めることができるため、カメラの姿勢
情報を取得する必要がなくなり、従来例のように特殊な
カメラを必要とせず、また、運動量に応じて切り出すス
トリップの幅を調整しているため、撮影の際に一定の速
度でカメラを移動させる必要がなくなり、特殊な撮影技
術・装置を必要とせず、撮影時間が短縮されるという効
果がある。

【００５０】また、全フレームをモザイキングの対象と
してプログラムによって自動的に展開静止画像を作成す
るため、モザイキングを行うフレームの選別を必要とせ
ず、モザイキング処理の時間が短縮されるという効果が
ある。

【００５１】またさらに、フレーム画像の中の歪みの最
も少ない部分のストリップのみを貼り合わせるモザイキ
ング方法を採用しているため、歪みの少ない連続した展
開静止画像を作成することが出来、正確な管状物の内壁
の状態の検査を行うことができるという効果がある。

【図面の簡単な説明】

【図１】本発明に係る、管状物内壁のビデオ画像から連
続した展開静止画像を自動生成するシステムの構成の一
例を示す図である。

【図２】本発明に係る、管状物内壁のビデオ画像から連
続した展開静止画像を自動生成するシステムのフローチ
ャートの一例である。

【図３】パイプ投影変換／モザイキング処理のフローチ
ャートの一例である。

【図４】本発明に係る、管状物内壁のビデオ画像から連
続した展開静止画像を自動生成するシステムにおけるモ
ザイキング処理の概念を示す図である。

【図５】パイプ投影の概念を示す図である。

【図６】パイプ投影変換の原理を説明するための図であ
る。

【図７】パイプ投影変換による展開図作成を説明するた
めの図である。

【図８】パイプ投影変換により展開図を作成するための
フローチャートの一例である。

【符号の説明】

１１ビデオテープ２１ビデオデッキ３０パソコン４１ＣＤ−Ｒ／ＲＷドライブ４２ハードディスク５１カラープリンタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者アグススハルノ福島県会津若松市追手町５−10 キズナコーポレーション内Ｆターム(参考） 5B057 AA20 CA16 CB16 CD02 CD03 CE09 CE10 CG01 CH12 DA07 5C054 EG01 EH07 FD02 GA01 GB01 HA05 5L096 AA09 BA03 BA18 CA04 DA01 EA07 EA35 HA04 LA05

Claims

【特許請求の範囲】

【請求項１】管状物内壁のビデオ画像から連続した展開
静止画像を自動生成するシステムであって、該システム
は、管状物内壁のビデオ画像データが記録された記録媒
体から該ビデオ画像データをデジタル画像データとして
取り込むデジタル画像データ取り込み手段と、取り込ま
れた前記デジタル画像データの１フレームごとに管状物
内壁の周方向の展開図を作成するパイプ投影変換手段
と、前記パイプ投影変換手段により作成された各フレー
ムの展開図に対してモザイキング処理を行い、連続した
繋ぎ目のない展開静止画像データに変換するモザイキン
グ処理手段と、前記展開静止画像データを圧縮する画像
データ圧縮手段と、前記展開静止画像データを圧縮して
得られた圧縮画像データを格納するための圧縮画像デー
タ格納手段とを有し、前記モザイキング処理手段が、各
フレームごとに展開図のストリップを切り出して繋げる
モザイキング処理手段であることを特徴とする、管状物
内壁のビデオ画像から連続した展開静止画像を自動生成
するシステム。
【請求項２】管状物内壁のビデオ画像から連続した展開
静止画像を自動生成するシステムであって、該システム
は、管状物内壁のビデオ画像データが記録された記録媒
体から該ビデオ画像データをデジタル画像データとして
取り込むデジタル画像データ取り込み手段と、取り込ま
れた前記デジタル画像データの１フレームごとに管状物
内壁の周方向の展開図を作成するパイプ投影変換手段
と、前記パイプ投影変換手段により作成された各フレー
ムの展開図に対してモザイキング処理を行い、連続した
繋ぎ目のない展開静止画像データに変換するモザイキン
グ処理手段と、前記展開静止画像データを圧縮する画像
データ圧縮手段と、前記展開静止画像データを圧縮して
得られた圧縮画像データを格納するための圧縮画像デー
タ格納手段と、該圧縮画像データ格納手段に前記圧縮画
像データを格納してデータベースを作成するためのデー
タ登録手段とを有し、前記モザイキング処理手段が、各
フレームごとに展開図のストリップを切り出して繋げる
モザイキング処理手段であることを特徴とする、管状物
内壁のビデオ画像から連続した展開静止画像を自動生成
するシステム。