JP2004234349A

JP2004234349A - 画像処理装置、画像処理方法、及び画像処理プログラム

Info

Publication number: JP2004234349A
Application number: JP2003022316A
Authority: JP
Inventors: Katsushi Ikeuchi; 克史池内; Tatsumasa Sagawa; 立昌佐川; Takeshi Oishi; 岳史大石
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2003-01-30
Filing date: 2003-01-30
Publication date: 2004-08-19

Abstract

【課題】レーザーレンジセンサを用いて得られる距離画像の測定誤差を、重要な幾何形状を残したまま軽減することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供すること。
【解決手段】複数の距離画像間の対応関係を利用して、光線方向に誤差補正することによってその精度向上を図る。まず、複数の距離画像を、基準となる一枚のモデル画と一枚のシーン画像との組み合わせにおいて、当該モデル画像上に存在する各頂点と、当該シーン画像上に存在し各頂点に対応する対応点との距離が小さくなるように、光線方向に沿って各頂点を移動させるための移動量を求める。この移動量計算を各距離画像をモデル画像として各頂点について実行し、拡張点を移動させる。これらの処理を繰り返し実行することで、形状を平滑化することなく、距離画像の測定誤差を軽減させることができる。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータグラフィックス等において使用される画像処理装置、画像処理方法、及び当該画像処理プログラムに関する。
【０００２】
【従来の技術】
実世界の物体や風景をコンピュータグラフィクスとして再現することは、仮想現実感、拡張現実感といった現実感モデルを構築する上で非常に重要な処理である。このコンピュータグラフィックスにおける代表的な描画手法の一つに、計測等によって得られた形状モデルに基づいて描画を行うＭＢＲ（ＭｏｄｅｌＢａｓｅｄＲｅｎｄｅｒｉｎｇ）がある。これは、ある程度の大きさを持つ物体の形状を、レーザーレンジファインダーによって高精度で計測して形状モデル（距離画像）を作成し、これに基づいて描画処理を行うものである
近年、レーザーレンジファインダーの性能向上と低価格化により、例えば文化財のデジタルアーカイブや工場プラントの現状図作成等の分野において、レーザー光を利用した実物体の非接触三次元形状計測が可能となりつつある。非接触三次元形状計測とは、例えばレーザーレンジファインダーやデジタルカメラ等を用いた観察（計測）に基づき、実物体の仮想現実モデルを、効率的に自動作成するものである。その具体的なアプリケーションとして、例えば、大規模文化遺産や美術品等をデジタル化するプロジェクトが行われている。このレーザーレンジファインダーを用いた形状の計測では、観測対象が小型である場合には、光切断法等の方法により０．１ｍｍ以下の高精度な三次元計測が可能となってきている。
【０００３】
しかしながら、観測対象がある程度の大きさを持つ場合には、測定誤差が大きい長距離測定用のレンジファインダを用いる必要がある。この場合、高精度なＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ式のレーザーレンジファインダーでも、数ｍｍ程度の測定誤差は避けることができない。また、このような測定誤差を低減するため、従来では、空間フィルタを用いて局所的平滑化を行う手法や同一点を繰り返し測定する手法が採用されている。しかし、これらの手法では、重要な幾何形状であるエッジ（曲率の大きな箇所）が平滑化してしまう場合がある。また、測定時間が膨大となり、実用性に欠けるといった問題がある。
【０００４】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、レーザーレンジセンサを用いて得られる距離画像の測定誤差を、重要な幾何形状を残したまま軽減することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のような手段を講じている。
【０００６】
請求項１に記載の発明は、観測対象を複数の撮影位置から撮影して取得され、それぞれが複数の頂点を有する複数の距離画像を記憶する記憶手段と、前記複数の距離画像に対して、前記観測対象の幾何形状を近似するための複数の微小面を設定する微小面設定手段と、前記微小面が設定された前記複数の距離画像間をアラインメントするアラインメント処理手段と、アラインメントされた前記複数の距離画像間の位置に関する対応関係に基づいて、当該各距離画像が有する各頂点を第１の方向に沿って移動させることで、前記観測対象の前記幾何形状と前記各距離画像との間の誤差を補正する誤差補正手段とを具備することを特徴とするものである。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、前記誤差補正手段によって誤差が補正された各距離画像を統合し、前記観測対象に関する表示画像を描画する画像描画手段と、をさらに具備することを特徴とするものである。
【０００８】
請求項３に記載の発明は、請求項１又は２記載の画像処理装置において、前記誤差補正手段は、前記アラインメントされた前記複数の距離画像のうち、一の距離画像を第１の画像とし残りの各距離画像を第２の画像とした前記第１の画像と前記第２の画像のそれぞれとからなる複数の組み合わせにおいて、前記第１の画像上の頂点を通過し前記第１の方向と平行な直線と前記各第２の画像との交点を当該頂点に対応する対応点として設定する対応点設定処理を、当該第１の画像が有する少なくとも一つの頂点に対して実行し、前記各頂点と当該各頂点に対応する各対応点との間の各距離に基づいて、前記各頂点の移動量を計算する移動量計算処理を実行する第１の処理と、前記複数の距離画像のそれぞれを第１の画像として、前記第１の処理を前記複数の距離画像の枚数分実行する第２の処理と、前記各距離画像上の前記各頂点を、前記第１の方向に沿って各移動量だけ移動させる第３の処理と、を実行することを特徴とするものである。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記誤差補正手段は、前記第１の処理において、前記第１の画像上の頂点と、当該頂点に対応する前記各第２の画像の各対応点との重み付け平均に基づいて、前記移動距離を計算することを特徴とするものである。
【００１０】
請求項５に記載の発明は、請求項３又は４記載の画像処理装置において、前記誤差補正手段は、前記表示画像において前記観測対象の幾何形状と前記複数の距離画像解像度とによる誤差の減少が観測可能となるまで、前記第１乃至第３の処理を繰り返すことを特徴とするものである。
【００１１】
請求項６に記載の発明は、請求項３乃至５のうちいずれか一項記載の画像処理装置において、前記誤差補正手段は、前記頂点と当該頂点に対応する対応点との間の距離が、前記複数の距離画像を撮影した撮影系の最大測定誤差を越える場合には、当該頂点に関して前記移動量計算を実行しないことを特徴とするものである。
【００１２】
請求項７に記載の発明は、観測対象を複数の撮影位置から撮影して取得され、それぞれが複数の頂点を有する複数の距離画像の測定誤差を補正する画像処理方法であって、前記複数の距離画像に対して、前記観測対象の幾何形状を近似するための複数の微小面を設定し、
前記微小面が設定された前記複数の距離画像間をアラインメントし、アラインメントされた前記複数の距離画像間の位置に関する対応関係に基づいて、当該各距離画像が有する各頂点を第１の方向に沿って移動させることで、前記観測対象の前記幾何形状と前記各距離画像との間の誤差を補正すること、を具備することを特徴とする画像処理方法である。
【００１３】
請求項８に記載の発明は、請求項７記載の画像処理方法において、前記誤差補正手段によって誤差が補正された各距離画像を統合し、前記観測対象に関する表示画像を描画することをさらに具備することを特徴とするものである。
【００１４】
請求項９に記載の発明は、請求項７又は８記載の画像処理方法の前記誤差補正においては、前記アラインメントされた前記複数の距離画像のうち、一の距離画像を第１の画像とし残りの各距離画像を第２の画像とした前記第１の画像と前記第２の画像のそれぞれとからなる複数の組み合わせにおいて、前記第１の画像上の頂点を通過し前記第１の方向と平行な直線と前記各第２の画像との交点を当該頂点に対応する対応点として設定する対応点設定処理を、当該第１の画像が有する少なくとも一つの頂点に対して実行し、前記各頂点と当該各頂点に対応する各対応点との間の各距離に基づいて、前記各頂点の移動量を計算する移動量計算処理を実行する第１の処理と、前記複数の距離画像のそれぞれを第１の画像として、前記第１の処理を前記複数の距離画像の枚数分実行する第２の処理と、前記各距離画像上の前記各頂点を、前記第１の方向に沿って各移動量だけ移動させる第３の処理と、を実行することを特徴とするものである。
【００１５】
請求項１０に記載の発明は、請求項９記載の画像処理方法の前記第１の処理においては、前記第１の画像上の頂点と、当該頂点に対応する前記各第２の画像の各対応点との重み付け平均に基づいて、前記移動距離を計算することを特徴とするものである。
【００１６】
請求項１１に記載の発明は、請求項９又は１０記載の画像処理方法において、前記誤差補正においては、前記表示画像において前記観測対象の幾何形状と前記複数の距離画像解像度とによる誤差の減少が観測可能となるまで、前記第１乃至第３の処理を繰り返すことを特徴とするものである。
【００１７】
請求項１２に記載の発明は、請求項９乃至１１のうちいずれか一項記載の画像処理方法の前記誤差補正において、前記頂点と当該頂点に対応する対応点との間の距離が、前記複数の距離画像を撮影した撮影系の最大測定誤差を越える場合には、当該頂点に関して前記移動量計算を実行しないことを特徴とする。
【００１８】
請求項１３に記載の発明は、観測対象を複数の撮影位置から撮影して取得され、それぞれが複数の頂点を有する複数の距離画像の測定誤差を補正する画像処理プログラムであって、コンピュータに、前記複数の距離画像に対して、前記観測対象の幾何形状を近似するための複数の微小面を設定する微小面設定機能と、前記微小面が設定された前記複数の距離画像間をアラインメントするアラインメント処理機能と、アラインメントされた前記複数の距離画像間の位置に関する対応関係に基づいて、当該各距離画像が有する各頂点を第１の方向に沿って移動させることで、前記観測対象の前記幾何形状と前記各距離画像との間の誤差を補正する誤差補正機能と、を実現させるための画像処理プログラムである。
【００１９】
請求項１４に記載の発明は、請求項１３記載の画像処理プログラムにおいて、前記誤差補正手段によって誤差が補正された各距離画像を統合し、前記観測対象に関する表示画像を描画する画像描画機能をさらに具備することを特徴とするものである。
【００２０】
請求項１５に記載の発明は、請求項１３又は１４記載の画像処理プログラムにおいて、前記誤差補正機能は、前記アラインメントされた前記複数の距離画像のうち、一の距離画像を第１の画像とし残りの各距離画像を第２の画像とした前記第１の画像と前記第２の画像のそれぞれとからなる複数の組み合わせにおいて、前記第１の画像上の頂点を通過し前記第１の方向と平行な直線と前記各第２の画像との交点を当該頂点に対応する対応点として設定する対応点設定処理を、当該第１の画像が有する少なくとも一つの頂点に対して実行し、前記各頂点と当該各頂点に対応する各対応点との間の各距離に基づいて、前記各頂点の移動量を計算する移動量計算処理を実行する第１の処理と、前記複数の距離画像のそれぞれを第１の画像として、前記第１の処理を前記複数の距離画像の枚数分実行する第２の処理と、前記各距離画像上の前記各頂点を、前記第１の方向に沿って各移動量だけ移動させる第３の処理と、を実行することを特徴とするものである。
【００２１】
請求項１６に記載の発明は、請求項１５記載の画像処理プログラムにおいて、前記誤差補正機能は、前記第１の処理において、前記第１の画像上の頂点と、当該頂点に対応する前記各第２の画像の各対応点との重み付け平均に基づいて、前記移動距離を計算することを特徴とするものである。
【００２２】
請求項１７に記載の発明は、請求項１５又は１６記載の画像処理プログラムにおいて、前記誤差補正機能は、前記表示画像において前記観測対象の幾何形状と前記複数の距離画像解像度とによる誤差の減少が観測可能となるまで、前記第１乃至第３の処理を繰り返すことを特徴とするものである。
【００２３】
請求項１８に記載の発明は、請求項１５乃至１７のうちいずれか一項記載の画像処理プログラムにおいて、前記誤差補正機能は、前記頂点と当該頂点に対応する対応点との間の距離が、前記複数の距離画像を撮影した撮影系の最大測定誤差を越える場合には、当該頂点に関して前記移動量計算を実行しないことを特徴とするものである。
【００２４】
このような構成によれば、レーザーレンジセンサを用いて得られる距離画像の測定誤差を、重要な幾何形状を残したまま軽減することができる画像処理装置、画像処理方法、及び画像処理プログラムを実現することができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【００２６】
図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。同図に示すように、本画像処理装置１０は、主記憶部１２、補助記憶部１３、ホストコントローラ１４、操作部１６、前処理部１７、表示部１８、アラインメント処理部１９、画像処理部２０、マージング処理部２１を具備している。
【００２７】
主記憶部１２は、所定の観測対象に関する複数の距離画像、後述する画像処理に関するプログラム等を記憶する不揮発性メモリである。ここで、距離画像とは、レーザーレンジファインダーその他の光学的センサ等を用いた計測等によって得られる画像（各画素の画素値として、センサから観測対象までの距離を有する画像）である。
【００２８】
補助記憶部１３は、フロッピーディスク（ＦＤ）、ＤＶＤ、ＣＤＲＯＭ、ＤＡＴ等の脱着式記憶媒体であり、所定の観測対象に関する複数の距離画像、後述する画像処理に関するプログラム等を記憶することができる。
【００２９】
ホストコントローラ１４は、画像生成、画像処理、画像表示に関する統括的な制御を行う。
【００３０】
操作部１６は、キーボード、マウス、トラックボール、ロータリエンコーダ等からなり、オペレータが画像処理装置１０に対しての各種入力指示を行うためのインタフェースである。
【００３１】
前処理部１７は、主記憶部１２等が記憶する複数の距離画像に対して、測定対象の幾何形状を近似するメッシュ（例えばポリゴン等の微小面）を設定する。なお、メッシュの形状としては、多角形や楕円を採用することができる。本実施形態では、三角形のメッシュを採用するものとする。
【００３２】
表示部１８は、アラインメント処理、リファインメント処理において所定の画像等を表示し、またマージング処理部２１によって統合された画像を表示するＣＲＴ等の表示手段である。
【００３３】
アラインメント処理部１９は、複数の距離画像を同一の座標系で表現するための対応付け（アラインメント）を行う。このアラインメントは、特徴量に着目するものや点群同士の対応に着目するものその他の種々の手法を採用することができる。
【００３４】
マージング処理部２１は、互いに位置合わせされ、後述する誤差補正を受けた複数の距離画像を統合し、単一面から構成される観測対象の三次元形状モデルを生成する。このマージングには、面の境界を繋ぎ合わせる手法、Ｄｅｆｏｒｍａｂｌｅｓｕｒｆａｃｅを用いる手法、陰関数を用いる手法等を採用することができる。
【００３５】
画像処理部２０は、主記憶部１２等に格納された複数の距離画像を入力として後述するリファインメント処理を実行し、距離画像の測定において発生した測定誤差の補正処理を行う。本画像処理部２０は、当該補正処理を実行するための構成要素として、繰り返し実行判別部２０１、対応点探索・移動距離計算部２０３、対応点移動処理部２０５を有している。
【００３６】
繰り返し実行判別部２０１は、後述する全体処理を再度実行するか否かの判別を行う。当該判別の基準としては、表示画像の人為的観測によるもの、表示画像の形状変化の閾値処理によるもの等が考えられる。なお、全体処理の繰り返し回数は、予めマニュアル設定しておくことも可能である。
【００３７】
対応点探索・移動距離計算部２０３は、一の距離画像上の頂点を通過し光線方向と平行な直線と他の距離画像との交点を探索し、当該頂点の対応点を設定する。この対応点の探索・設定は、各距離画像上の各頂点について実行される。また、対応点探索・移動距離計算部２０３は、各頂点と、それぞれに対応する各対応点との間の距離を計算し、これに基づいて各頂点の移動量を計算する。なお、対応点探索・移動距離計算部２０３は、測定誤差等を原因として、不適切な位置に対応点を設定してしまう場合がある（誤対応）。この誤対応による対応点設定を測定誤差補正に採用しないようにするため、本実施形態では所定の閾値処理、重み付き平均による移動距離の計算を実行する。これらの内容については、後で詳しく説明する。
【００３８】
対応点移動処理部２０５は、対応点探索・移動距離計算部２０３によって計算された各移動量に基づいて、各距離画像上の各頂点を光線方向に移動させる。
【００３９】
次に、上記のように構成した画像処理装置１０によって実現される画像処理について説明する。この処理は、レーザーレンジファインダー等によって得られる距離画像の誤差が、光線方向のみに分布していると仮定し、複数の距離画像間の対応関係を利用して、光線方向に誤差補正することによってその精度向上を図るものである。具体的には、まず、複数の距離画像を、基準となる一枚の距離画像（モデル画）と、それ以外の距離画像（シーン画像）とに分類する。このモデル画像と一枚のシーン画像とからなる全ての組み合わせにおいて、当該モデル画像上に存在する各頂点と、当該シーン画像上に存在し各頂点に対応する点（対応点）との距離が小さくなるように、光線方向に沿って各頂点を移動させるための移動量を求める（移動量演算処理）。
【００４０】
一枚のモデル画像と各シーン画像との組み合わせだけ実行される、各頂点に関する移動量演算処理を基本処理と定義する（図５参照）。当該基本処理は、全ての距離画像をモデル画像として実行される。例えば、ｎ枚の距離画像があれば、ｎ回の基本処理が実行されることになる。
【００４１】
全ての距離画像に対して基本処理を実行した後、各距離画像上の各頂点を演算された各移動量だけ移動させる移動処理を実行することにより、各距離画像に関する測定誤差を軽減させる。また、各距離画像に対してさらに基本処理及び移動処理を所定回数繰り返し実行（ｉｔｅｒａｔｉｏｎ）すれば、全ての距離画像の測定誤差を低減させることができる。こうして測定誤差が低減された距離画像を統合（マージング）することで、従来に比して精度の高い三次元形状モデルを得ることができる。
【００４２】
なお、本画像処理は、例えばホストコントローラ１４が有する、又は別途設けられた揮発性メモリにおいて、主記憶部１２又は補助記憶部１３等に格納された所定のプログラムを読み出し展開することによって実現することができる。
【００４３】
また、本実施形態においては、既に述べたように、レーザーレンジファインダーによって得られる距離データの誤差が、レーザーの光線方向にのみ分布すると仮定している。これは、次の理由による。すなわち、レーザーレンジファインダーでは、放射されたレーザーが物体表面で反射し戻ってくる光を解析して距離が求められる。求められた距離は、レーザーの光方向ベクトルに掛けられて、三次元空間上の座標に変換される。光線方向の誤差は、この距離の測定精度に大きく依存している。一方、光線方向に垂直な方向の誤差はレンジファインダの機構によって生じる。従って、光線方向に垂直な方向の誤差は、光線方向に比べて非常に小さく、測定誤差に対して支配的ではないからである。
【００４４】
図２は、画像処理装置１０が実行する画像処理のフローチャートである。まず、図２に示すように、観測対象の全表面を残すところなく測定できるように、その対象物周囲の複数の撮影位置から、レーザーレンジファインダーによって各距離画像が重なり合うように複数の距離画像を取得する（ステップＳ１）。なお、本実施形態では対象物が中型（例えば、全長３ｍ程度）である場合を想定している。対象物がこのように中型以上である場合、得られる距離画像は、一般に上記複数の撮影位置から撮影される対象物の部分的なものとなる。なお、対象物が小型である場合には、マニピュレータや回転テーブル上に対象物を設置し、対象物側を正確に移動させることで距離画像を撮影してもよい。
【００４５】
次に、前処理として、得られた複数の距離画像に対して、測定対象の幾何形状を近似するメッシュ（例えばポリゴン）を設定する（ステップＳ２）。すなわち、前処理部１７は、各距離画像上の各頂点間が測定対象の幾何形状を近似する三角形の頂点となるように、各頂点に接続情報を設定することで、メッシュを設定する。
【００４６】
次に、アラインメント処理部１９は、得られた部分的な距離画像同士のアランメント処理を実行する（ステップＳ３）。このアラインメントは、特徴量ベースの手法、点群同士の対応を考える手法、点と面との対応を考える手法等を採用することができる。なお、これらの手法において、複数の距離画像をペアワイズに位置合わせした場合には、アラインメント誤差が蓄積するという問題がある。この問題を解決するためには、例えば、Ｐ．Ｊ．Ｎｅｕｇｅｂａｕｅｒ．Ｇｅｏｍｅｔｒｉｃａｌｃｌｏｎｉｎｇｏｆ３ｄｏｂｊｅｃｔｓｖｉａｓｉｍｕｌｔａｎｅｏｕｓｒｅｇｉｓｔｒａｔｉｏｎｏｆｍｕｌｔｉｐｌｅｒａｎｇｅｉｍａｇｅ．ＩｎＰｒｏｃ．ｏｆｔｈｅ１９９７Ｉｎｔ．Ｃｏｎｆ．ｏｎＳｈａｐｅＭｏｄｅｌｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎ（ＳＭＡ’９７），ｐａｇｅｓ１３０−１３９，１９９７．或いはＫ．ＮｉｓｈｉｎｏａｎｄＫ．ＩｋｅｕｃｈｉＲｏｂｕｓｔｓｉｍｕｌｔａｎｅｏｕｓｒｅｇｉｓｔｒａｔｉｏｎｏｆｍｕｌｔｉｐｌｅｒａｎｇｅｉｍａｇｅｓ．ＩｎＰｒｏｃ．ＯｆＦｉｆｔｈＡｓｉａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎＡＣＣＶ ’０２，ｐａｇｅ４５４−４６１，２００２．等に開示されている同時位置合わせの手法を採用することも可能である。また、ペアワイズな手法ではあるが、計測誤差を光線方向に仮定してより正確に位置合わせする手法（例えば、清水郁子、出口光一郎計測誤差を考慮した距離画像の重ね合わせ手法，情報処理学会論文誌、４０（１１）：４０９７−４１０５，１９９９）も採用することができる。
【００４７】
次に、画像処理部２０は、リファインメント処理を実行する（ステップＳ４）。
【００４８】
図３、図４は、画像処理部２０によって実行されるリファインメント処理の概念を説明するための図である。図３に示すように、測定によって得られた距離画像と現実の観測対象の外形表面との間には、測定誤差が存在する。本手法は、複数の距離画像間の対応関係を利用して、図４に示すように、各距離画像上の点を移動させることで、各頂点と観測対象の現実の外形表面との間の誤差を減少させるものである。
【００４９】
また、図５は、本手法における処理の構成を説明するための図である。例えばｎ枚の距離画像を誤差補正の対象とする場合、同図に示すように、各距離画像をモデル画像とした各基本処理が実行される（ｎ回の基本処理）。各基本処理においては、モデル画像と各シーン画像との対応関係を利用して、モデル画像上の各頂点の移動量計算が実行される。移動処理においては、各距離画像上の各頂点を計算された各移動量だけ移動させる。また、全ての距離画像に関する基本処理及び移動処理からなる全体処理は、測定誤差が十分に小さくなるまで繰り返される。
【００５０】
図６は、画像処理部２０が実行する、リファインメント処理（図２ステップＳ４）の流れを示したフローチャートである。当該フローチャート中のＳ４０１〜Ｓ４０３は、各モデル画像に関する基本処理に対応し、Ｓ４０４は、各モデル画像に関する移動処理に対応している。
【００５１】
まず、モデル画像上の各頂点に対応するシーン画像上の各対応点を、レーザーの光線方向に探索する（ステップＳ４０１）。このとき、上述の如く、誤差がレーザーの光線方向にのみ存在することと、各距離画像が正確に位置合わせされていることが仮定されている。
【００５２】
次に、モデル画像上の頂点を通り、光線方向に平行な直線とシーン画像上のメッシュとの交点を対応点と決定する（ステップＳ４０２）。すなわち、光学的センサの中心からモデル画像上の頂点までのベクトルをｘとして、シーン画像上の対応点までのベクトルをｙとすると、ｙ＝ａｘとなり、同一直線上にある。ここで、ａは距離の比を表す実数である。このとき、明らかな誤対応を除去するため、決定された対応点と頂点との間の距離が閾値以上である場合（具体的には、｜ｙ−ｘ｜＝｜（ａ−１）ｘ｜が閾値以上である場合）には、当該対応点を外れ値として計算に用いないこととする。この閾値には、例えば使用したレンジファインダの実際の最大測定誤差を用いることができる。この計算は、各頂点について実行される。
【００５３】
次に、決定した対応点を含むメッシュと頂点との間の距離Ｌに基づいて、当該頂点の光線方向に関する移動量（スライド量）を計算する（ステップ３０３）。この計算は、各頂点について実行される。なお、移動距離は、頂点から対応点に向けて移動させるための所定量（例えばＬ／２。）として計算される。しかし、例えば測定誤差が大きく対応点が極端に頂点から離れている場合等には、不正確になる。このため、本実施形態では、全ての対応点との重み付き平均に基づいて、測定誤差を低減させるための移動量を計算する。この内容については、後で詳しく説明する。
【００５４】
次に、得られた移動量だけ、光線方向に沿って各頂点を移動させる（図４参照。ステップＳ４０４）。これにより、モデル画像を現実の観測対象の外形により近づけることができる。以上述べたＳ４０１〜Ｓ４０４までの処理は、誤差の平均値が所定の閾値よりも小さくなるまで繰り返し実行される（ステップＳ４０５）。上記閾値の好適な例については、後で説明する。
【００５５】
図６に示したリファインメント処理による誤差補正が完了すると、図２に示すように、誤差補正された各距離画像を統合して、単一の面から構成される三次元形状を得るためにマージング処理が実行され、精度の高い三次元形状モデルを生成することができる（ステップＳ５）。統合された三次元形状モデルは、表示部１８に表示される。
【００５６】
（移動量計算）
通常、対応するシーン画像上のメッシュは、モデル画像とは異なる方向の測定誤差を有している。すなわち、仮にモデル画像とシーン画像とが同一の位置から測定されている場合には、二つの距離画像の位置関係が正しく、誤差は同じ方向に分布していることになる。従って、その誤差方向に探索することによって得られた対応点は、物体表面上の同一点を表すことになる。しかしながら、モデル画像とシーン画像は異なる位置から撮影されたものであり、従って、異なる方向の測定誤差を有している。このため、対応点同士は物体表面上の同一点を表していない場合が多いと考えられる。
【００５７】
従って、探索される対応点は、常に適切なものであるとは限らない。例えば、図７に示すように、測定誤差によって局所的なオクルージョンが発生し、不適切な対応点を探索・決定してしまう場合も考えられる。この様な不適切な対応点から導き出される移動量は、測定誤差が大きいほど不正確となる。また、モデル画像とシーン画像との重なりが少ない場合は、サンプル数が少ないために、適切な対応点及び移動量を得ることは困難である。
【００５８】
そこで、これらの問題を解決し、かつ全体誤差の平均を穏やかに収束させるため、本実施形態では、図６ステップＳ４０３において、全ての対応点との重み付き平均の位置を求め、ステップＳ４０４において当該位置に頂点を移動させる。例えば、ｉ番目の距離画像上のｋ番目の頂点ｘ_ｉｋは、次の式（１）に基づいて、その対応点ｙ_ｉｋとの重み付き平均の位置に移動される。
【００５９】
【数１】

【００６０】
ここで、ｎ_ｉｋは、一のモデル画像上の頂点に対して得られた対応点数である。ｘは重みであり、今回の実験においては、ｗ＝０．５としている。そして、この処理を各距離画像の全ての点に対して行う。対応点探索及び誤差補正による頂点の移動を一つの処理として、誤差が十分小さくなるまでこれを反復して計算する。
【００６１】
（全体処理の繰り返し）
次に、全体処理の繰り返しによる画像の平滑化、及び全体処理の好適な繰り返し回数について説明する。一般に、頂点と対応点との間の誤差は、測定誤差と、表面形状及び測定解像度に依存する離散サンプリングによる誤差との二つから発生する。対応点間誤差は、測定誤差ε_{Ｍｅａｓｕｒｅ}と離散サンプリングによる誤差ε_Ｇ _{ｅｏｍｅｔｒｙ}の和によって、次の式（２）の様に表される。
ε_{ｔｏｒａｌ}＝ε_{Ｍｅａｓｕｒｅ} ＋ ε_{Ｇｅｏｍｅｔｒｙ} （２）
ε_{Ｍｅａｓｕｒｅ}は反復計算によって補正できる。一方、離散サンプリングによる誤差ε_{Ｇｅｏｍｅｔｒｙ}は、メッシュ上の点が線形補間されることに起因するものである。従って、その大きさは距離データの精度に関係なく物体表面の曲率や距離画像の解像度等に依存している。
【００６２】
図８に示す例では、各距離画像の頂点ｘが物体表面上に存在する（すなわち、ε_{Ｍｅａｓｕｒｅ}＝０）にも関わらず、頂点ｘと対応点ｙとの間には、誤差が生じている。この様な場合、対象物体が平面でない限りεは０にはならない。
ε＝０平面領域
ε＞０上記以外の領域
本実施形態では、補正のために頂点を移動させる際には、各距離画像の相互関係を利用する。このため、間接的にではあるが、移動させる頂点にその頂点を含む距離画像上の他の頂点の情報が伝播し、ガウシアンフィルタ等の様に平滑化が発生する。例えば、一のモデル画像上の所定の頂点に対応するシーン画像上の対応点は、当該モデル画像とシーン画像との関係を逆転させた場合、必ずしも元の頂点（を含むメッシュ）に対応するとは限らず、その近傍の頂点に対応する場合がある。一例ではあるが、本手法では、この様に間接的に他の点の情報が伝播することになる。
【００６３】
しかし、本実施形態に係る手法とガウシアンフィルタとを比較した場合、次の点において違いが存在する。すなわち、ガウシアンフィルタでは、測定誤差の補正は、より直接的に行われる。これに対し、本手法では、周囲の頂点との関係を直接用いておらず、周囲の頂点の情報は上記移動処理による誤差補正を介して、間接的に伝播する。従って、本手法の一回の全体処理によって起こる平滑化は非常に遅く、離散的サンプリングに起因する誤差の終速度は、測定誤差のそれに比べて十分小さい。その結果、本実施形態に係る手法は、形状を殆ど平滑化することなく測定誤差を補正することが可能である。
【００６４】
なお、十分小さいとはいえ、上記ε_{Ｇｅｏｍｅｔｒｙ}による平滑化は、繰り返し計算することにより常に発生する。従って、この平滑化による影響を受けないようにするため、測定誤差が十分補正されたら全体処理の繰り返しを終了することが好ましい。例えば、表面形状を人為的に判断したり、表示画像において形状変化を判断すること等により、繰り返し処理の上限を定めることが好ましい。
【００６５】
（実施例）
次に、本実施形態の実施例について説明する。本実施例では、まず、レーザーレンジファインダーを用いて距離画像の計測を行うに当たり、当該レーザーレンジファインダーの誤差特性を調べた。また、本手法の実施例として、二つの実験を行った。一つは、仮想的に作成した距離データにランダムな誤差を与えて人工モデルを作成し、当該人工モデルの誤差の補正実験である。もう一つは、上記誤差特性を調査したレーザーレンジファインダーを実際に用いてデータを測定し、当該データを本実施形態に係る手法により誤差補正する実験である。
【００６６】
（レーザーレンジファインダーの誤差特性）
レーザーレンジファインダーにも様々な方式があるが、遠距離で高精度な距離画像を得ることができるレンジファインダとしては、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ方式が一般的である。そこで、本実施例においては、ＣｙｒａｘＴｅｃｈｎｏｌｏｇｉｅｓ、Ｉｎｃ．製のＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ方式レーザーレンジファインダーＣｙｒａｘ２５００（商品名）を使用し、これについての誤差特性について実験した。
【００６７】
本実験では、Ｃｙｒａｘ２５００をコンクリート壁面に正対させ、壁面までの距離を繰り返し測定し、測定距離と誤差との解析を行った。測定した壁面までの距離は、推奨距離５０ｍを越える遠距離（約６７ｍ）と、中距離（約２０ｍ）、近距離（約２ｍ）の三点である。
【００６８】
図９（ａ）は遠距離（約６７ｍ）において得られた測定結果、図９（ｂ）は中距離（約２０ｍ）において得られた測定結果、図９（ｃ）は近距離（約２ｍ）において得られた測定結果をそれぞれ示している。また、図１０は、図９（ａ）〜（ｃ）から求めた平均、分散、標準偏差の値を示している。これらの結果から、測定距離は測定点が近いほど誤差の分布が広くなるものの、標準偏差３ｍｍ程度の正規分布となることがわかる。また、最大測定誤差は７〜８ｍｍ程度であり、公称の精度６ｍ（推奨距離５０ｍ）という数字よりはわずかに大きいが、同程度の精度を得ることができる。
【００６９】
（人工モデルの補正実験）
仮想的に作成した距離データにランダムな誤差を与えて人工モデルを作成し、その誤差の補正実験を行った。図１１（ａ）に示すモデルは、縦横４０ｃｍ、奥行き２０ｃｍからなると設定し、１００×１００頂点でサンプリングされている。このモデルに、任意の光線方向から最大６ｍｍでランダムな誤差を与えた人工モデルが図１１（ｂ）である。
【００７０】
異なる光線方向から誤差を与えた距離画像を合計１０枚作成し、本実施形態に係る手法にて誤差補正を行った結果を図１２（ａ）に示す。また、誤差を与えた距離画像の一枚（例えば図１１（ｂ）に示す距離画像）にガウシアンフィルタを適用したモデルを図１２（ｂ）に示す。
【００７１】
図１２（ａ）、（ｂ）の結果から、本手法では、平面形状が十分に得られていると同時にガウシアンフィルタをかけた場合と比較して、エッジが正確に保存されている。また、図１３は、本手法で誤差補正した結果の一部とガウシアンフィルタで誤差補正した結果の一部とを抜き出して比較したグラフを示している。同図からわかるように、本手法によって誤差補正された結果は、ガウシアンフィルタを使用した場合に比して、より観測対象の外形に近く高い精度を有している。
【００７２】
（実測データの補正実験）
本手法の有効性を示すため、実際にレーザーレンジファインダーを用いて測定したデータを補正する実験を行った。使用したレーザーレンジファインダーはＣｙｒａｘ２４００（商品名）であり、その能力はＣｙｒａｘ２５００と同等である。測定対象は、日本最古の仏像と言われる奈良飛鳥寺の国宝釈迦如来坐像（飛鳥大仏：図１４参照）である（全長２．７ｍ程度）。
【００７３】
Ｃｙｒａｘ２４００は遠距離用レンジファインダであるため、この飛鳥大仏の様な大きさび物体を測定するには適していない。しかし、測定条件が悪く近距離で高精度なレンジファインダを使用することができなかったため、少し離れた位置からＣｙｒａｘ２４００を使用して形状を測定した。測定は大仏正面方向から行い、合計９枚の距離画像を取得した。これらの距離画像を非常にロバストな位置合わせ法（エラー（ノイズ）が大きくても、より正しい位置合わせを推定可能な位置合わせ手法）で同時位置合わせした結果を図１５（ａ）、（ｂ）に示す。同図に示すように、対象物体が比較的小さい点及び測定距離が短い点より、取得した距離画像には測定誤差が顕著に現れている。
【００７４】
図１６（ａ）、（ｂ）は、図１５（ａ）、（ｂ）に示した距離画像を、本手法によって誤差補正した結果を示した写真である。同写真より、誤差が軽減され表面形状が非常に滑らかになっていることがわかる。また、ガウシアンフィルタのような平滑化ではないため、補正後においてエッジが正確に保存されている。
【００７５】
図１７は、本手法における全体処理の繰り返し回数に対する全体誤差の平均値（全距離画像の全頂点に関する誤差の平均値）の推移を示したグラフである。同図から、５回程度の反復回数までは急激に誤差が減少し、その後は緩やかに０に向かって収束していく様子が見て取れる。全体処理の繰り返しにおいて、始めのうちは測定誤差の減少が大きく、測定誤差が小さくなると形状と距離画像解像度とによる誤差の減少が観察されるようになる。
【００７６】
図１８（ａ）は、元の距離画像（誤差補正なしの距離画像）を用いた統合結果を示している。また、図１８（ｂ）は、本手法により誤差補正した距離画像とを用いた統合結果を示している。それぞれの統合には、例えば佐川らの手法（Ｒ．Ｓａｇａｗａ，Ｋ．．Ｎｉｓｈｉｎｏ，ａｎｄＫ．Ｉｋｅｕｃｈｉ．Ｒｏｂｕｓｔａｎｄａｄａｐｔｉｖｅｉｎｔｅｇｒａｔｉｏｎｏｆｍｕｌｔｉｐｌｅｒａｎｇｅｉｍａｇｅｓｗｉｔｈｐｈｏｔｏｍｅｔｒｉｃａｔｔｒｉｂｕｔｅｓ．ＩｎＰｒｏｃ．ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ２００１，ｖｏｌｕｍｅ２，ｐａｇｅｓ１７２−１７９，Ｄｅｃｅｍｂｅｒ２００１）を採用することができる。
【００７７】
統合処理では、距離画像間の法線方向や距離のコンセンサスを取ることによって、位置合わせや距離画像の誤差を軽減することができる。しかし、本実施例において用いたデータのように測定誤差が相対的に大きく分布している場合は、法線方向を利用しているために細部の形状を維持しながら誤差を軽減することは難しい。図１８（ａ）から、本手法により誤差補正されていない距離画像を用いた場合には、誤差を殆ど軽減できていないことがわかる。一方、図１８（ｂ）から、我々の手法で補正した距離画像を用いた場合、正確な形状モデルが生成されている。
【００７８】
一般に、正規分布する誤差は、ガウシアンフィルタによって除去することが可能である。そこで、図１８（ａ）に示した本手法を適用していないモデルに対し空間ガウシアンフィルタを適用した結果と、本手法を適用して得られた結果とを以下比較する。
【００７９】
図１９（ａ）は、図１８（ａ）に示したモデルに対してマージング処理を施し、その後ガウシアンフィルタを適用した場合の結果を一部拡大して示した画像である。一方、図１９（ｂ）は、本手法を適用して得られた図１８（ｂ）の一部を拡大して示した画像である。両図を比較するとわかるように、ガウシアンフィルタを適用した場合は形状が平滑化されるが、本手法を適用した場合では、測定誤差のみが軽減され、エッジを正確に残すことができる。
【００８０】
以上述べた構成によれば、以下の効果を得ることができる。
【００８１】
本実施形態に係る手法では、複数の距離画像間の対応関係を利用して各距離画像上の各頂点を移動させることで、各頂点と観測対象の現実の外形表面との間の誤差を減少させる。この補正によって得られた距離画像は、観測対象の幾何形状をより高精度に表すものであり、これを統合することで、三次元形状モデルをより高精度に生成することができる。
【００８２】
特に、本手法では、全体処理を繰り返し実行することにより、徐々に誤差を減少させる。れにより、異なる方向の誤差を持つ各距離画像の各頂点の測定誤差を、線型演算で実現することができる。従って、本手法は、既存の装置に対して簡単な拡張をするだけで実現可能であり、また、比較的簡易かつ迅速に実行することができる。
【００８３】
また、本手法による誤差補正は、通常用いられる手法（例えばガウシアンフィルタによる補正）と比較した場合、既に述べたように、一回の全体処理によって起こる平滑化は非常に遅く、離散的サンプリングに起因する誤差の終速度は、測定誤差のそれに比べて十分小さい。その結果、本実施形態に係る手法は、観測対象の幾何形状を殆ど平滑化することなく、測定誤差を補正することができる。
【００８４】
本手法においては、頂点と当該頂点に対応する対応点との間の距離が撮影系の最大測定誤差を超える場合には、当該対応点に基づく当該頂点の移動を行わない。従って、対応点探索における明らかな誤対応を除去することができ、誤差補正の精度を向上させることができる。
【００８５】
本手法においては、モデル画像上の頂点と、当該頂点に対応する各シーン画像上の各頂点との重み付け平均によって、当該頂点を光線方向に移動させるための移動量を計算する。従って、例えば局所的なオクルージョンにより、不適切な対応点を探索・決定した場合、モデル画像とシーン画像との重なりが少ない場合であっても適切な移動量を計算することができ、精度の高い誤差補正を実現することができる。
【００８６】
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。
【００８７】
また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００８８】
【発明の効果】
以上本発明によれば、レーザーレンジセンサを用いて得られる距離画像の測定誤差を、重要な幾何形状を残したまま軽減することができる画像処理装置、画像処理方法、及び画像処理プログラムを実現できる。
【図面の簡単な説明】
【図１】図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。
【図２】図２は、画像処理装置１０が実行する画像処理のフローチャートである。
【図３】図３は、画像処理部２０によって実行されるリファインメント処理の概念を説明するための図である。
【図４】図４は、画像処理部２０によって実行されるリファインメント処理の概念を説明するための図である。
【図５】図５は、リファインメント処理の構成を説明するための図である。
【図６】図６は、リファインメント処理の流れを示したフローチャートである。
【図７】図７は、測定誤差によって発生する局所的なオクルージョンを説明するための図である。
【図８】図８は、頂点ｘと対応点ｙとの間に誤差が生じる例を示した図である。
【図９】図９（ａ）〜（ｃ）は、実施例において、レーザーレンジファインダーを用いた測定結果（遠距離、中距離、近距離）を示したグラフである。
【図１０】図１０は、図９（ａ）〜（ｃ）に示す測定結果から求めた平均、分散、標準偏差の値を示している。
【図１１】図１１（ａ）、（ｂ）は、人工モデルの補正実験を説明するための写真である。
【図１２】図１２（ａ）は、本実施形態に係る手法にて誤差補正を行った結果を示している。図１２（ｂ）は、図１２（ａ）との比較例を示している。
【図１３】図１３は、本手法で誤差補正した結果の一部とガウシアンフィルタで誤差補正した結果の一部とを抜き出して比較したグラフを示している。
【図１４】図１４は、実施例において観測対象とした奈良飛鳥寺の国宝釈迦如来坐像（飛鳥大仏）の写真を示している。
【図１５】図１５（ａ）、（ｂ）は、測定して得られた複数枚の距離画像を同時位置合わせした結果を示している。
【図１６】図１６（ａ）、（ｂ）は、図１５（ａ）、（ｂ）に示した距離画像を、本手法によって誤差補正した結果を示した写真である。
【図１７】図１７は、本手法における全体処理の繰り返し回数に対する全体誤差の平均値の推移を示したグラフである。
【図１８】図１８（ａ）は、元の距離画像（誤差補正なしの距離画像）を用いた統合結果を示している。図１８（ｂ）は、本手法により誤差補正した距離画像とを用いた統合結果を示している。
【図１９】図１９（ａ）は、ガウシアンフィルタによって得られた画像である。図１９（ｂ）は、本手法によって得られた画像である。
【符号の説明】
１０…画像処理装置
１２…主記憶部
１３…補助記憶部
１４…ホストコントローラ
１６…操作部
１７…前処理部
１８…表示部
１９…アラインメント処理部
２０…画像処理部
２１…マージング処理部
２０１…修正実行判別部
２０３…対応点探索部
２０５…対応点移動処理部

Claims

観測対象を複数の撮影位置から撮影して取得され、それぞれが複数の頂点を有する複数の距離画像を記憶する記憶手段と、
前記複数の距離画像に対して、前記観測対象の幾何形状を近似するための複数の微小面を設定する微小面設定手段と、
前記微小面が設定された前記複数の距離画像間をアラインメントするアラインメント処理手段と、
アラインメントされた前記複数の距離画像間の位置に関する対応関係に基づいて、当該各距離画像が有する各頂点を第１の方向に沿って移動させることで、前記観測対象の前記幾何形状と前記各距離画像との間の誤差を補正する誤差補正手段と、
を具備することを特徴とする画像処理装置。
前記誤差補正手段によって誤差が補正された各距離画像を統合し、前記観測対象に関する表示画像を描画する画像描画手段と、
をさらに具備することを特徴とする請求項１記載の画像処理装置。
前記誤差補正手段は、前記アラインメントされた前記複数の距離画像のうち、一の距離画像を第１の画像とし残りの各距離画像を第２の画像とした前記第１の画像と前記第２の画像のそれぞれとからなる複数の組み合わせにおいて、前記第１の画像上の頂点を通過し前記第１の方向と平行な直線と前記各第２の画像との交点を当該頂点に対応する対応点として設定する対応点設定処理を、当該第１の画像が有する少なくとも一つの頂点に対して実行し、前記各頂点と当該各頂点に対応する各対応点との間の各距離に基づいて、前記各頂点の移動量を計算する移動量計算処理を実行する第１の処理と、
前記複数の距離画像のそれぞれを第１の画像として、前記第１の処理を前記複数の距離画像の枚数分実行する第２の処理と、
前記各距離画像上の前記各頂点を、前記第１の方向に沿って各移動量だけ移動させる第３の処理と、
を実行することを特徴とする請求項１又は２記載の画像処理装置。
前記誤差補正手段は、前記第１の処理において、前記第１の画像上の頂点と、当該頂点に対応する前記各第２の画像の各対応点との重み付け平均に基づいて、前記移動距離を計算することを特徴とする請求項３記載の画像処理装置。
前記誤差補正手段は、前記表示画像において前記観測対象の幾何形状と前記複数の距離画像解像度とによる誤差の減少が観測可能となるまで、前記第１乃至第３の処理を繰り返すことを特徴とする請求項３又は４記載の画像処理装置。
前記誤差補正手段は、前記頂点と当該頂点に対応する対応点との間の距離が、前記複数の距離画像を撮影した撮影系の最大測定誤差を越える場合には、当該頂点に関して前記移動量計算を実行しないことを特徴とする請求項３乃至５のうちいずれか一項記載の画像処理装置。
観測対象を複数の撮影位置から撮影して取得され、それぞれが複数の頂点を有する複数の距離画像の測定誤差を補正する画像処理方法であって、
前記複数の距離画像に対して、前記観測対象の幾何形状を近似するための複数の微小面を設定し、
前記微小面が設定された前記複数の距離画像間をアラインメントし、
アラインメントされた前記複数の距離画像間の位置に関する対応関係に基づいて、当該各距離画像が有する各頂点を第１の方向に沿って移動させることで、前記観測対象の前記幾何形状と前記各距離画像との間の誤差を補正すること、
を具備することを特徴とする画像処理方法。
前記誤差補正手段によって誤差が補正された各距離画像を統合し、前記観測対象に関する表示画像を描画することをさらに具備することを特徴とする請求項７記載の画像処理方法。
前記誤差補正においては、前記アラインメントされた前記複数の距離画像のうち、一の距離画像を第１の画像とし残りの各距離画像を第２の画像とした前記第１の画像と前記第２の画像のそれぞれとからなる複数の組み合わせにおいて、前記第１の画像上の頂点を通過し前記第１の方向と平行な直線と前記各第２の画像との交点を当該頂点に対応する対応点として設定する対応点設定処理を、当該第１の画像が有する少なくとも一つの頂点に対して実行し、前記各頂点と当該各頂点に対応する各対応点との間の各距離に基づいて、前記各頂点の移動量を計算する移動量計算処理を実行する第１の処理と、
前記複数の距離画像のそれぞれを第１の画像として、前記第１の処理を前記複数の距離画像の枚数分実行する第２の処理と、
前記各距離画像上の前記各頂点を、前記第１の方向に沿って各移動量だけ移動させる第３の処理と、
を実行することを特徴とする請求項７又は８記載の画像処理方法。
前記第１の処理においては、前記第１の画像上の頂点と、当該頂点に対応する前記各第２の画像の各対応点との重み付け平均に基づいて、前記移動距離を計算することを特徴とする請求項９記載の画像処理方法。
前記誤差補正においては、前記表示画像において前記観測対象の幾何形状と前記複数の距離画像解像度とによる誤差の減少が観測可能となるまで、前記第１乃至第３の処理を繰り返すことを特徴とする請求項９又は１０記載の画像処理方法。
前記誤差補正において、前記頂点と当該頂点に対応する対応点との間の距離が、前記複数の距離画像を撮影した撮影系の最大測定誤差を越える場合には、当該頂点に関して前記移動量計算を実行しないことを特徴とする請求項９乃至１１のうちいずれか一項記載の画像処理方法。
観測対象を複数の撮影位置から撮影して取得され、それぞれが複数の頂点を有する複数の距離画像の測定誤差を補正する画像処理プログラムであって、
コンピュータに、
前記複数の距離画像に対して、前記観測対象の幾何形状を近似するための複数の微小面を設定する微小面設定機能と、
前記微小面が設定された前記複数の距離画像間をアラインメントするアラインメント処理機能と、
アラインメントされた前記複数の距離画像間の位置に関する対応関係に基づいて、当該各距離画像が有する各頂点を第１の方向に沿って移動させることで、前記観測対象の前記幾何形状と前記各距離画像との間の誤差を補正する誤差補正機能と、
を実現させるための画像処理プログラム。
前記誤差補正手段によって誤差が補正された各距離画像を統合し、前記観測対象に関する表示画像を描画する画像描画機能をさらに具備することを特徴とする請求項１３記載の画像処理プログラム。
前記誤差補正機能は、前記アラインメントされた前記複数の距離画像のうち、一の距離画像を第１の画像とし残りの各距離画像を第２の画像とした前記第１の画像と前記第２の画像のそれぞれとからなる複数の組み合わせにおいて、前記第１の画像上の頂点を通過し前記第１の方向と平行な直線と前記各第２の画像との交点を当該頂点に対応する対応点として設定する対応点設定処理を、当該第１の画像が有する少なくとも一つの頂点に対して実行し、前記各頂点と当該各頂点に対応する各対応点との間の各距離に基づいて、前記各頂点の移動量を計算する移動量計算処理を実行する第１の処理と、
前記複数の距離画像のそれぞれを第１の画像として、前記第１の処理を前記複数の距離画像の枚数分実行する第２の処理と、
前記各距離画像上の前記各頂点を、前記第１の方向に沿って各移動量だけ移動させる第３の処理と、
を実行することを特徴とする請求項１３又は１４記載の画像処理プログラム。
前記誤差補正機能は、前記第１の処理において、前記第１の画像上の頂点と、当該頂点に対応する前記各第２の画像の各対応点との重み付け平均に基づいて、前記移動距離を計算することを特徴とする請求項１５記載の画像処理プログラム。
前記誤差補正機能は、前記表示画像において前記観測対象の幾何形状と前記複数の距離画像解像度とによる誤差の減少が観測可能となるまで、前記第１乃至第３の処理を繰り返すことを特徴とする請求項１５又は１６記載の画像処理プログラム。
前記誤差補正機能は、前記頂点と当該頂点に対応する対応点との間の距離が、前記複数の距離画像を撮影した撮影系の最大測定誤差を越える場合には、当該頂点に関して前記移動量計算を実行しないことを特徴とする請求項１５乃至１７のうちいずれか一項記載の画像処理プログラム。