JP2013024608A

JP2013024608A - ３次元形状の取得装置、処理方法およびプログラム

Info

Publication number: JP2013024608A
Application number: JP2011157249A
Authority: JP
Inventors: Hiroshi Kawasaki; 洋川崎; Akira Furukawa; 亮古川; Ryusuke Sagawa; 立昌佐川
Original assignee: TECHNODREAM 21 CO Ltd; National Institute of Advanced Industrial Science and Technology AIST; Hiroshima City University
Current assignee: TECHNODREAM 21 CO Ltd; National Institute of Advanced Industrial Science and Technology AIST; Hiroshima City University
Priority date: 2011-07-15
Filing date: 2011-07-15
Publication date: 2013-02-04
Anticipated expiration: 2031-07-15
Also published as: JP6097903B2

Abstract

【課題】動きのある対象の形状を高密度かつ高フレームレートに計測可能な画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置１０と、カメラ２８、３２と、プロジェクタ２４と、プロジェクタ２６とで、３次元空間中に存在する物体３０の２次元画像を撮影し、撮影された２次元画像から物体の３次元形状を復元している。プロジェクタ２４は物体３０に対して横方向のパターンを照射し、プロジェクタ２６は物体３０に対して縦方向のパターンを照射している。そして、これらのパターンが物体３０で反射したパターン光をカメラ２８、３２で撮影することで２次元画像を取得し、この２次元画像から画像処理装置１０により３次元画像を復元している。さらに、カメラ２８と３２の整合性を調べることで３次元形状の精度向上が実現される。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像に映し出された物体の３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。

物体の広い範囲または全周の３次元形状の取得には強いニーズがあり、これまで多くの研究が行われてきた。例えば、全周形状計測では、多視点ステレオ法に基づく手法が多く提案されてきた（非特許文献２〜４）。多視点ステレオ法には、テクスチャが少ない場合や画像の数が少ない場合に計測される点の密度や精度が低下するという課題があったが、近年それらの問題は徐々に解消されつつある。しかし、動的なシーンの計測では、シルエットに基づいた手法（非特許文献１、５、６）が、安定性や計算量上の利点から多く用いられている。本特許の提案手法を、多視点ステレオ法と比較した場合、カメラでプロジェクタを置き換えるため、少ないカメラ数で安定した形状計測が可能なこと、計算量が少ないことなどが利点としてあげられる。多数のカメラの同期撮影を行うことには技術的、コスト的困難が伴う場合があるため、必要カメラ数の少なさは実用上価値がある。シルエットによる方法と比較した場合、復元形状の精度の高さが利点として挙げられる。

これに対し、実用的な３次元計測では、アクティブ手法が多く利用されてきており、簡単で効率のよい復元手法として、プロジェクタ・カメラ系によるシステムが多く研究されてきた（非特許文献７、８）。プロジェクタ・カメラ系による形状計測システムは、大きく時間的コード化法と空間的コード化法があるが、時間的コード化法は複数のパターンを順次投影する必要があるため、動的シーンの計測には向かない。

一方で、空間的コード化のみを用いたアクティブステレオでは、静的な一つのパターンの照射のみで形状を測定でき（非特許文献９、１０）、動的シーンの計測を行うためには都合がよい。しかし、空間エンコード手法のパターンは一般に複雑であり、復元が不安定で精度も低い。

最近、グリッド状パターンを利用して形状計測を行う手法が提案されている（非特許文献２、非特許文献１１〜１３）。これらの手法は、投影するパターンが単純であり、画像処理上の複雑性を緩和することができる。さらに、パターンを単純な平行線とすることで各パターンの分離を簡素化し、複数台用いて物体の全周を計測する手法も提案されているが（特許文献１、非特許文献１４、１８）、デバイスを特殊な位置に置く必要があり、これが満たされない場合には解が不安定になるという問題があった。このため動物体の計測は実現できていない。

また、最近、低価格なリアルタイム３次元スキャナであるＫｉｎｅｃｔが注目されている（非特許文献１５）。この赤外光源の波長を変えて複数台並べることによる全周形状取得も考えられるが、Ｋｉｎｅｃｔはジェスチャ認識などに特化したシステムのため、原理的に精度向上が難しい。このため、モデリングなどの用途に用いることは難しいと考えられる。

特願２０１０−１１２７５３号特開２００９−３００２７７号公報

Ａ．Ｌａｕｒｅｎｔｉｎｉ： "Ｈｏｗｆａｒ３ｄｓｈａｐｅｓｃａｎｂｅｕｎｄｅｒｓｔｏｏｄｆｒｏｍ２ｄｓｉｌｈｏｕｅｔｔｅｓ"，ＩＥＥＥＴｒａｎｓ．ｏｎＰＡＭＩ，１７，２，ｐｐ．１８８−１９５（１９９５）．Ｙ．ＦｕｒｕｋａｗａａｎｄＪ．Ｐｏｎｃｅ： "Ａｃｃｕｒａｔｅ，ｄｅｎｓｅ，ａｎｄｒｏｂｕｓｔｍｕｌｔｉ−ｖｉｅｗｓｔｅｒｅｏｐｓｉｓ"，ＣＶＰＲ（２００７）．Ｙ．ＦｕｒｕｋａｗａａｎｄＪ．Ｐｏｎｃｅ： "Ｄｅｎｓｅ３Ｄｍｏｔｉｏｎｃａｐｔｕｒｅｆｒｏｍｓｙｎｃｈｒｏｎｉｚｅｄｖｉｄｅｏｓｔｒｅａｍｓ"，ＣＶＰＲ（２００８）．Ｓ．Ｍ．Ｓｅｉｔｚ，Ｂ．Ｃｕｒｌｅｓｓ，Ｊ．Ｄｉｅｂｅｌ，Ｄ．ＳｃｈａｒｓｔｅｉｎａｎｄＲ．Ｓｚｅｌｉｓｋｉ： "Ａｃｏｍｐａｒｉｓｏｎａｎｄｅｖａｌｕａｔｉｏｎｏｆｍｕｌｔｉ−ｖｉｅｗｓｔｅｒｅｏｒｅｃｏｎｓｔｒｕｃｔｉｏｎａｌｇｏｒｉｔｈｍｓ"，ＣＶＰＲ，Ｖｏｌ．１，ｐｐ．５１９−５２８（２００６）．Ｋ．Ｎ．ＫｕｔｕｌａｋｏｓａｎｄＳ．Ｍ．Ｓｅｉｔｚ： "Ａｔｈｅｏｒｙｏｆｓｈａｐｅｂｙｓｐａｃｅｃａｒｖｉｎｇ"，ＩＪＣＶ，３８，ｐｐ．３０７−３１４（２０００）．Ｊ．Ｓ．ＦｒａｎｃｏａｎｄＥ．Ｂｏｙｅｒ： "Ｆｕｓｉｏｎｏｆｍｕｌｔｉ−ｖｉｅｗｓｉｌｈｏｕｅｔｔｅｃｕｅｓｕｓｉｎｇａｓｐａｃｅｏｃｃｕｐａｎｃｙｇｒｉｄ"，ＩＣＣＶ，Ｖｏｌ．２，ｐｐ．１７４７−１７５３（２００５）．Ｍ．Ｙｏｕｎｇ，Ｅ．Ｂｅｅｓｏｎ，Ｊ．Ｄａｖｉｓ，Ｓ．ＲｕｓｉｎｋｉｅｗｉｃｚａｎｄＲ．Ｒａｍａｍｏｏｒｔｈｉ： "Ｖｉｅｗｐｏｉｎｔ−ｃｏｄｅｄｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔ"，ＣＶＰＲ（２００７）．Ｊ．Ｂａｔｌｌｅ，Ｅ．ＭｏｕａｄｄｉｂａｎｄＪ．Ｓａｌｖｉ： "Ｒｅｃｅｎｔｐｒｏｇｒｅｓｓｉｎｃｏｄｅｄｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔａｓａｔｅｃｈｎｉｑｕｅｔｏｓｏｌｖｅｔｈｅｃｏｒｒｅｓｐｏｎｄｅｎｃｅｐｒｏｂｌｅｍ：ａｓｕｒｖｅｙ"，ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，３１，７，ｐｐ．９６３−９８２（１９９８）．Ｃ．Ｊｅ，Ｓ．Ｗ．ＬｅｅａｎｄＲ．Ｈ．Ｐａｒｋ： "Ｈｉｇｈ−ｃｏｎｔｒａｓｔｃｏｌｏｒ−ｓｔｒｉｐｅｐａｔｔｅｒｎｆｏｒｒａｐｉｄｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔｒａｎｇｅｉｍａｇｉｎｇ"，ＥＣＣＶ，Ｖｏｌ．１，ｐｐ．９５−１０７（２００４）．Ｐ．ＶｕｙｌｓｔｅｋｅａｎｄＡ．Ｏｏｓｔｅｒｌｉｎｃｋ： "Ｒａｎｇｅｉｍａｇｅａｃｑｕｉｓｉｔｉｏｎｗｉｔｈａｓｉｎｇｌｅｂｉｎａｒｙ−ｅｎｃｏｄｅｄｌｉｇｈｔｐａｔｔｅｒｎ"，ＩＥＥＥＴｒａｎｓ．ｏｎＰＡＭＩ，１２，２，ｐｐ．１４８−１６４（１９９０）．Ｈ．Ｋａｗａｓａｋｉ，Ｒ．Ｆｕｒｕｋａｗａ，，Ｒ．ＳａｇａｗａａｎｄＹ．Ｙａｇｉ： "Ｄｙｎａｍｉｃｓｃｅｎｅｓｈａｐｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｕｓｉｎｇａｓｉｎｇｌｅｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｐａｔｔｅｒｎ"，ＣＶＰＲ，ｐｐ．１−８（２００８）．Ｒ．Ｓａｇａｗａ，Ｙ．Ｏｔａ，Ｙ．Ｙａｇｉ，Ｒ．Ｆｕｒｕｋａｗａ，Ｎ．ＡｓａｄａａｎｄＨ．Ｋａｗａｓａｋｉ： "Ｄｅｎｓｅ３ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｕｓｉｎｇａｓｉｎｇｌｅｐａｔｔｅｒｎｆｏｒｆａｓｔｍｏｖｉｎｇｏｂｊｅｃｔ"，ＩＣＣＶ（２００９）．Ａ．Ｏ．Ｕｌｕｓｏｙ，Ｆ．ＣａｌａｋｌｉａｎｄＧ．Ｔａｕｂｉｎ： "Ｏｎｅ−ｓｈｏｔｓｃａｎｎｉｎｇｕｓｉｎｇｄｅｂｒｕｉｊｎｓｐａｃｅｄｇｒｉｄｓ"，Ｔｈｅ７ｔｈＩＥＥＥＣｏｎｆ．３ＤＩＭ（２００９）．Ｒ．Ｆｕｒｕｋａｗａ，Ｒ．Ｓａｇａｗａ，Ｈ．Ｋａｗａｓａｋｉ，Ｋ．Ｓａｋａｓｈｉｔａ，Ｙ．ＹａｇｉａｎｄＮ．Ａｓａｄａ： "Ｏｎｅ−ｓｈｏｔｅｎｔｉｒｅｓｈａｐｅａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄｕｓｉｎｇｍｕｌｔｉｐｌｅｐｒｏｊｅｃｔｏｒｓａｎｄｃａｍｅｒａｓ"，４ｔｈＰａｃｉｆｉｃ−ＲｉｍＳｙｍｐｏｓｉｕｍｏｎＩｍａｇｅａｎｄＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ，ｐｐ．１０７−１１４（２０１０）．Ｍｉｃｒｏｓｏｆｔ： "Ｘｂｏｘ３６０Ｋｉｎｅｃｔ"．ｈｔｔｐ：／／ｗｗｗ．ｘｂｏｘ．ｃｏｍ／ｅｎ−ＵＳ／ｋｉｎｅｃｔ．Ｎ．Ｓｎａｖｅｌｙ，Ｓ．Ｍ．ＳｅｉｔｚａｎｄＲ．Ｓｚｅｌｉｓｋｉ： "Ｐｈｏｔｏｔｏｕｒｉｓｍ：Ｅｘｐｌｏｒｉｎｇｉｍａｇｅｃｏｌｌｅｃｔｉｏｎｓｉｎ３Ｄ"，ＡＣＭＳＩＧＧＲＡＰＨ（２００６）．Ａ．ＤｅｌａｕｎｏｙａｎｄＥ．Ｐｒａｄｏｓ： "Ｇｒａｄｉｅｎｔｆｌｏｗｓｆｏｒｏｐｔｉｍｉｚｉｎｇｔｒｉａｎｇｕｌａｒｍｅｓｈ−ｂａｓｅｄｓｕｒｆａｃｅｓ：Ａｐｐｌｉｃａｔｉｏｎｓｔｏ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｐｒｏｂｌｅｍｓｄｅａｌｉｎｇｗｉｔｈｖｉｓｉｂｉｌｉｔｙ"，ＩＪＣＶ，ｐｐ．１−２４（２０１０）．Ｈ．Ｋａｗａｓａｋｉ，Ｒ．Ｆｕｒｕｋａｗａ，Ｒ．Ｓａｇａｗａ，Ｙ．Ｏｈｔａ，Ｋ．Ｓａｋａｓｈｉｔａ，Ｒ．Ｚｕｓｈｉ，Ｙ．ＹａｇｉａｎｄＮ．Ａｓａｄａ： "Ｌｉｎｅａｒｓｏｌｕｔｉｏｎｆｏｒｏｎｅｓｈｏｔａｃｔｉｖｅ３ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｕｓｉｎｇｔｗｏｐｒｏｊｅｃｔｏｒｓ"，３ＤＰＶＴ（２０１０）．

しかしながら、非特許文献２〜４には、多視点ステレオ法には、テクスチャが少ない場合や画像の数が少ない場合に計測される点の密度や精度が低下するという課題があった。

また、非特許文献１、５、６では、多数のカメラの同期撮影を行うことには技術的、コスト的困難が伴う他、復元形状の精度が低いという課題がある。

非特許文献７、８は複数のパターンを順次投影する必要があるため、動的シーンの計測には向かない。

一方で、非特許文献９、１０で投影に用いるパターンは一般に複雑であり、復元が不安定で精度も低い。

特許文献２、非特許文献１１〜１３は、プロジェクタやカメラが１台だけの場合を想定しており、広い範囲の計測には適さず、複数を同時に利用しようとした場合のパターンの干渉については未解決である。

特許文献１、非特許文献１４、１８では、２台のみのプロジェクタの場合における解決手法が示されているが、デバイスを特殊な位置に置く必要があり、これが満たされない場合には解が不安定になるという問題があり、動物体の計測は実現できていない。また、２台以上に増やす方法が具体的には示されていない。

また、非特許文献１５では、原理的に精度向上が難しく、モデリングなどの用途に用いることは難しい。

上記のように、過去の手法では多くの問題がある。これを解消するには、複数の固定パターン光源と複数のカメラを組み合わせた、複数視点を利用したアクティブ計測手法が有効である。しかし、このようなシステムには、以下のような問題点がある。
・パターン同士の干渉による検出の不安定性の問題
・高密度化に伴う繰返しパターンの増加による曖昧性の問題
・物体を一周するように並べた場合、誤差が蓄積する問題

本発明は、上記した課題を解決するために成されたものであり、本発明の主たる目的は、動きのある物体の広範囲または全周の形状を高密度かつ高フレームレートに計測し、この結果得られた２次元画像に映し出された物体の３次元形状を適切に復元する画像処理装置、画像処理方法およびプログラムを提供することにある。

本発明は、２次元画像から３次元形状を復元する画像処理装置であり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターンの光および前記第２パターン光を撮影して２次元画像を得る第1撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との２次元交点の座標である交点座標を算出する第１計算部と、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２計算部と、前記第１対応、前記第２対応又はその両方から、前記第１パターンおよび前記第２パターンが照射された部分の前記物体の３次元座標を算出することで、３次元形状を復元する第３計算部と、第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる第４計算部と、を備えることを特徴とする。

更に本発明は、２次元画像から３次元形状を復元する画像処理方法であり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターンの光および前記第２パターン光を撮影して２次元画像を得る第1撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との２次元交点の座標である交点座標を算出する第１ステップと、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２ステップと、前記第１対応、前記第２対応又はその両方から、前記第１パターンおよび前記第２パターンが照射された部分の前記物体の３次元座標を算出することで、３次元形状を復元する第３ステップと、第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる第４ステップと、を備えることを特徴とする。

更に本発明は、２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターンの光および前記第２パターン光を撮影して２次元画像を得る第1撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との２次元交点の座標である交点座標を算出する第１機能と、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２機能と、前記第１対応、前記第２対応又はその両方から、前記第１パターンおよび前記第２パターンが照射された部分の前記物体の３次元座標を算出することで、３次元形状を復元する第３機能と、第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる第４機能と、を実行させることを特徴とする。

本発明は、物体に投影されたパターン同士の交点の情報から、３次元形状を得ることができる。具体的には、各プロジェクタからは単色か最大二色のラインまたは曲線状のパターンのみを投影することで不安定性の問題を解消し、パターン同士の交点から多数の拘束条件を導出しこれを解くことで曖昧性の問題を解決する。

更に本発明では、複数のプロジェクタを用いるため、パターンが遮蔽されて形状計測できない部分を大きく減らすことが可能となる。

更にまた、本発明では、複数のカメラを用いるため、パターンの整合性のチェックが可能となり、それによる解の精度向上やノイズの除去が実現される。これは、過去の複数カメラ・複数プロジェクタを用いた手法（特許文献１）では実現されない。

更に本発明では、複数のプロジェクタから一方向の平行パターンのみならず、例えばグリッドパターン等を投影することで、拘束条件を増やし、これまで以上に安定した解を、密に復元することが実現できる。

（Ａ）は本発明の画像処理装置を用いて物体の２次元画像を取得する状態を示す図であり、（Ｂ）は画像処理装置の構成を示す図である。本発明の画像処理方法を示すフローチャートである。本発明の画像処理装置に於いて、各プロジェクタがグリッド状のパターンを投影する実施例を示す図である。本発明の画像処理装置での復元に於いて、パターンの位置に誤りが生じる場合の、復元結果の変化を示す図である。本発明の画像処理装置での復元に於いて、平行線パターンを２プロジェクタから照射する場合に、平面シーンにパターンを投影する状況を示す図である。図５の状況に於いて、パターンの位置に誤りが生じる場合の、復元結果の変化を示す図である。本発明の画像処理装置に於いて、カメラ２台を用いた形状復元の概要を示す図である。本発明の画像処理装置に於いて、誤復元除去のアルゴリズムを示す図である。本発明の画像処理装置に於いて、誤復元の除去例を示す図である。 Projector-camera-projector(PCP) 配置の不一致を示す図である。本発明の請求項６における、物体の全周形状を取得する画像処理装置に含まれるカメラとプロジェクタの位置関係を示す図である。本発明におけるトポロジーを利用したパターン例を示す図である。本発明の画像処理装置を用いた実験シーンを示す図である。シミュレーションデータによる復元結果を示す図である。シミュレーションにより、グリッドパターンを２つのプロジェクタから照射するセットアップを示す図である。シミュレーションデータの入力を示す図である。シミュレーションデータによる復元結果を示す図である。グリッドパターンを２つのプロジェクタから照射して実際に撮影した画像を示す図である。３次元復元結果を示す図である。（a）は本発明を用いて３つの手法による復元結果を同じ座標系に表示した図であり、（b）は従来手法による復元結果であり、（c）は本手法による復元結果であり、（d）（e）は(b)(c)の丸部分の拡大画像である。図２０に示す、各手法におけるRMSE(mm)を示す図である。本発明の効果を示す図であり、(a)(c)(e)に配置された画像は従来技術によるものであり、(b)(d)(f)に配置された画像は本形態による３次元形状復元結果である。本発明の効果を示す図であり、(a)(c)に配置された図は入力画像であり、(b)(d)に配置された図は３次元形状復元結果である。

＜第１の実施の形態：画像処理装置＞
図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（Ａ）は本形態による装置全体の一例を示す図であり、図１（Ｂ）は画像処理装置１０の構成を示す図である。

図１（Ａ）を参照して、本形態では、画像処理装置１０と、カメラ２８（第１撮影手段）と、カメラ３２（第２撮影手段）と、プロジェクタ２４（第１投光手段）と、プロジェクタ２６（第２投光手段）とで、３次元空間中に存在する物体３０の２次元画像を撮影し、撮影された２次元画像から物体の３次元形状を復元している。ここで、カメラ２８、３２とプロジェクタ２４、２６は校正済みである。すなわち、それぞれの内部パラメータおよび、機器間の剛体変換パラメータは既知である。更にまた、カメラ２８、３２、プロジェクタ２４、２６および画像処理装置１０を、本形態の画像処理装置とみなしても良い。

プロジェクタ２４は、被写体である物体３０に対して横パターンを含む光を投光する機能を有し、例えば、ビデオプロジェクタ等の装置が考えられる。その他、ラインレーザ投光機を並べたり組み合わせたりしても良い。あるいはレーザ光源をプリズムやビームスプリッターなどで複数方向に分けて照射しても良い。

プロジェクタ２６は、物体３０に対して縦パターンを投光する。その他のプロジェクタ２６の特徴はプロジェクタ２４と同様である。なお、各プロジェクタからは固定したパターンが投影されるため、カメラ２８、３２とプロジェクタ２４、２６との間で同期の必要が無い。

プロジェクタ２４により投光されたパターン光と、プロジェクタ２６から投光されたパターン光とは物体３０の表面にて交わる。この交わる角度は任意である。

ここで、本形態では、２つのプロジェクタは本質的には単色のパターンでの形状復元が可能であるが、精度と安定性の向上のためにカラーパターンを利用する。具体的には、ｂｅｌｉｅｆｐｒｏｐａｇａｔｉｏｎやグラフカットに基づく線検出と、周期的なパターンであるデブルーイン系列に基づいたカラーコードを用いて、安定した縦・横の線検出と分離を実現する。この方法は、例えば上記した特許文献１や非特許文献１０や非特許文献１３に記載されている。更には、当該事項はＪｏａｑｕｉｍＳａｌｖｉ、ＪｏａｎＢａｔｌｌｅ、ａｎｄＥｌＭｕｓｔａｐｈａＭｏｕａｄｄｉｂ。Ａｒｏｂｕｓｔ−ｃｏｄｅｄｐａｔｔｅｒｎｐｒｏｊｅｃｔｉｏｎｆｏｒｄｙｎａｍｉｃ３Ｄｓｃｅｎｅｍｅａ−ｓｕｒｅｍｅｎｔ。ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、１９（１１）：１０５５１０６５、１９９８。）にも記載されている。

カメラ２８、３２は、物体３０を撮影する手段であり、例えばＣＣＤイメージセンサ等の固体撮像装置が採用される。これらのカメラは同期されている必要がある。具体的には、カメラ２８、３２は、プロジェクタ２４、２６から投光されたパターンが物体３０で反射したパターン光を撮影する。更には、これらのパターン光が交わる交点もカメラ２８、３２により撮影される。カメラ２８、３２により２次元画像が撮影され、この２次元画像に基づくデータが画像処理装置１０により画像処理されることで、物体３０の３次元形状が復元される。

図１（Ｂ）を参照して、２次元画像から３次元形状を復元する画像処理装置１０の構成を説明する。

本実施の形態の画像処理装置１０は、画像処理部１２と、制御部１４と、入力部１６と、記憶部１８と、表示部２０と、操作部２２とを主要に具備する。画像処理装置１０の概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理装置１０としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理装置１０を構成する各部位は、バスを経由して相互に電気的に接続される。

画像処理部１２は、主たる画像処理の機能を果たす部位であり、第１計算部１２Ａと、第２計算部１２Ｂと、第３計算部１２Ｃと、第４計算部１２Ｄとを含む。

第１計算部１２Ａは、撮影された２次元画像から、物体３０に投影された縦パターンの縦曲線および横パターンの横曲線と、両パターンの交点座標を算出する機能を備えている。

第２計算部１２Ｂは、各プロジェクタのパラメータ、カメラのパラメータおよび前記光点座標から、対応を決定する機能を備えている。具体的には、プロジェクタ２６から投影される縦パターンと画像から検出された縦曲線との第１対応およびプロジェクタ２４から投影される横パターンと画像から検出された横曲線との第２対応を決定している。

第３計算部１２Ｃは、得られた第１対応、第２対応またはこれらの両方から、両パターン光が照射された部分の３次元座標を決定する機能を備えている。

第４計算部１２Ｄは、第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる機能を備えている。

上記した画像処理部を構成する各部位の詳細は、画像処理方法として以下に詳述する。ここで、画像処理部１２に含まれる計算部は必ずしも上記した３つである必要はなく、必要に応じて計算部の個数は増減されても良い。

制御部１４は、画像処理装置１０全体（画像処理部１２、入力部１６、記憶部１８、表示部２０）の動作を制御している部位である。

入力部１６は、外部から画像処理装置１０に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。

記憶部１８は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部１８には、処理前の２次元画像、当該２次元画像から復元された３次元形状或いは処置途中のデータ等が記憶される。

更に、記憶部１８には、下記する画像処理方法を画像処理装置１０に実行させるためのプログラムが格納される。このプログラムは、使用者が操作部２２を操作することにより呼び出されて、入力された２次元画像のデータから、３次元形状のデータを復元するように、上記した各部位の機能を実行させる。

表示部２０は、例えば液晶ディスプレイ、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。

操作部２２は、例えば、キーボードやマウスであり、使用者がこの操作部２２を操作することにより、画像処理装置１０は２次元画像から３次元形状を復元する。

＜第２の実施の形態：画像処理方法＞
上記構成の画像処理装置１０を用いて２次元画像に映し出された物体の３次元形状を復元する方法を以下に説明する。

図２を参照して、本形態の画像処理方法は、物体の２次元画像を撮影するステップＳ１０と、撮影された２次元画像からパターン曲線を抽出するステップＳ１１と、これらのパターン曲線の交点を検出するステップＳ１２と、この交点からパターン曲線とプロジェクタで投影するパターンとの対応関係を導出するステップＳ１３と、対応関係からパターン曲線の３次元形状を得るステップＳ１４とを備えている。ここで、ステップＳ１３にて各パターンと各曲線との対応関係を決定するには、連立方程式を立てて導出する方法の他、交点の接続情報を用いて求める手法などがある。

本形態の具現化された画像処理手法を以下にて説明する。

先ず、ステップＳ１０では、図１に示したシステムを用いて、プロジェクタ２４おおよびプロジェクタ２６からパターン光を物体３０に向けて投光する。ここでは、プロジェクタ２４から、横方向に直線状に伸びる横パターン光を物体３０に投光する。そしてプロジェクタ２６から、縦方向に直線状に伸びる横パターン光を物体３０に投光する。この結果、物体３０の表面に両パターン光が投光され、両パターン光の交点が物体３０の表面に存在する。この状態の物体３０をカメラ２８、３２で撮影する。このことにより、各パターン光が照射された物体３０の２次元画像が得られる。この２次元画像に基づく画像データは、画像処理装置１０に伝送される。

次にステップＳ１１では、２次元画像から縦パターン曲線および横パターン曲線を抽出する。２次元画像からカラーコードを安定に検出するには、全体の色数を減らすことが望ましい。そこで、縦・横のパターンに同じ色を用いつつ、それらを識別するために、特許文献１または非特許文献２において提案されたデブルーイン系列に基づく線検出法を用いる。また、オクルーディングエッジなどにおいて起こる線の誤接続も、このデブルーインＩＤを用いて解消することができる。

縦パターンと横パターンの交点の位置はサブピクセル精度で計算される（ステップＳ１２）。また検出された線の連続性を用いて、隣接する交点が分かるので、線検出の結果として、交点を格子状に接続したグリッドグラフが得られる。この交点座標と、交点の接続情報であるグリッドグラフにより、以下で述べる手法により３次元復元が実現される。

＜第３の実施の形態：複数のカメラとプロジェクタによる１自由度解の取得＞
まず、最初に、1 自由度を残した解の計算方法について述べる。仮定として、カメラ２８から検出された曲線集合があるとする。また、各曲線について、それを照射するプロジェクタは特定されているものとする。

プロジェクタから投影された直線状のパターンの光は、ある3 次元平面を掃引する。この平面をパターン平面と呼ぶ。カメラで観測される曲線は、あるパターン平面上にある。本論文では、パターン平面p
を式p^Ｔx + 1 = 0で表す。このとき、3 次元ベクトルp は、平面のパラメータベクトルであり、x は平面上の点である。

特定のプロジェクタのパターン平面は、一つの直線を共有する。これを、これらのパターン平面の軸と呼ぶことにする。逆に、軸を固定した場合、この軸を含むパターン平面は、軸を中心とした回転のみで表すことができる。よって、その自由度は1 であり、各平面は1 パラメータで表すことが出来る。1 パラメータ表現の一つは、p = qμ + r である。ただし、μ はパラメータであり、qとr
は軸の位置から計算可能な定ベクトルである。

異なるプロジェクタから照射されたパターン平面A とB の交点が、カメラ２８から観測されたとする。交点は、カメラ２８のカメラ座標系で、u
の方向ベクトルで表されるとする。パターン平面A、B のパラメータベクトルは、同じ座標系で、p_A 、p_B で表されるとする。この時、非特許文献１２、１３より、

である。既に述べた1 パラメータ表現によりp_A ≡q_Aμ_A
+ r_A 、 p_B ≡ q_Bμ_B + r_B とおくと、

を得る。ただしC_A ≡ u^Ｔq_A 、 C_B ≡ u^Ｔq_B
、 D ≡u^Ｔ(r_A - r_B ) である。これは、平面パラメータμ_A
とμ_B の間の、交点から得られる関係式である。

N個の曲線がカメラ1 で観測されている場合、これらはN個のパラメータμ₁ ， μ₂ ，・・・
， μ_N で表される。曲線間に、M個の交点が観測されているとする。ただし、M > N を仮定する。通常、これは成立する。（2）の式から、N変数の1
次方程式がM個できる。これを、行列によって、

と表現する。ただし、C はM × N行列であり、m ≡(μ₁
， μ₂ ，・・・， μ_N )^Ｔである。方程式(3) の解は、しばしば不安定である。これは、以下の理由による。仮に、M
個の交点u₁ ， u₂ ，・・・， u_Mを表す方向ベクトルが、非常に狭い範囲に分布しているとする(つまり、u₁
≒ u₂ ≒ ・・・≒ u_M )。この時、行列(C^ＴC)^-1 の最小固有値は0
に近くなり、連立方程式が縮退しているのとほぼ同じ状況になる。これは、実際の観測でも起こりえる状況であり、この時、線型方程式の解は不安定になる。

逆に、方程式(3) は、1 自由度を除いては信頼性よく求めることが出来る。これは、直観的には以下の理由による。仮に、曲線A
のパラメータμ₁ を、任意に定めたとする(つまり、曲線A のパターン平面が定められる)。この時、曲線A の3 次元形状を再構成することができる。曲線A
上の交点の3 次元位置が分かるので、曲線A と交点のある曲線について、パターン平面を決定できる。これを繰り返すことで、相互に連結された曲線について、パラメータ平面を全て信頼性良く求めることが出来る。つまり、方程式(3)
は、1 自由度の曖昧性を除けば安定して解くことができる。

本特許では、上記の理由から、3 の式を1 自由度を残して解く。これは、m(t)
= gｔ + (C^ＴC)^-1 C^Ｔd で実現できる。ただしg は(C^ＴC)^-1
の最小固有値に対応する固有ベクトルであり、t は解の集合を表現するためのパラメータである。(C^ＴC)^-1
が非正則行列に近い時、任意のt についてCm(t) ≒ d である。

本特許の形状計測システムでは、カメラとプロジェクタは校正されており、照射される直線パターンの、プロジェクタの画像面上での位置も既知である。よって、パターン平面の候補は計算することができ、かつその数は有限であるので、あらかじめ全てのパターン平面の候補を求めておくことができる。パターン平面の候補が有限集合であるのに対し、ベクトルm(t) はt に関して連続である。そのため、m(t) で表現されるパターン平面の集合の各要素を、法線ベクトル方向が最も近いパターン平面候補に補正する。

また、既に述べたように、それぞれのパターンには色情報で表現されたde
Brujin 系列によるラベルが割り当てられる。上記のパターン平面候補への補正の時、ラベル情報も併用する。具体的には、パターン平面候補の色情報と、画像上の曲線の色情報が、一致する平面から補正結果を選ぶ。補正されたパターン平面の集合を、m′(t)
で表す。

本実施形態では、非正則に近い係数行列を持つ連立方程式の解集合を、１自由度の線型の解（１次線形空間）で近似することで、信頼性の高い解候補の集合をえる方法を述べた。
得られた解候補から、正しい解を選び出す方法については、第５の実施の形態や、第６の実施の形態で述べる。

＜第４の実施の形態：線形解法によらない複数のカメラとプロジェクタによる１自由度解の取得＞
信頼性の高い解候補の集合を求めるために、線形方程式とは別の方法を利用することも
できる。そのステップは以下の通りである。例えば、非特許文献１３方式でグラフを辿りながら次々と復元していくことでも１自由度解を得られる。以下に具体的な手法を述べる。

ステップ１：まず、観測された曲線の中から、一つの曲線を選ぶ。この曲線を、C1とする。

ステップ２：第３の実施の形態で述べたように、カメラとプロジェクタは校正されていることから、C1に対応する可能性のあるパターン平面の候補は有限である。この中から、一つの平面候補Pを選び出し、C1との対応を仮定する。この選び方は第３の実施の形態の自由変数の選択にあたり、任意である。

ステップ３：「対応する平面が既知の曲線の集合」をRとする。C1をRの要素とする。

ステップ４：Rの要素と交点を持ち、Rの要素でない曲線を選択する。そのような曲線が存在しなければ終了する。存在するなら、交点で交わる曲線のうち、Rの要素であるものをC2とし、Rの要素でないものをC3とする。

ステップ５：C2とC3は、交点を持つので、（２）の式を満たす。また、C2はRの要素なので、対応するパターン平面は既知であり、C2のパラメータは計算できる。このことから、C3のパラメータを（２）式から計算できる。得られたパラメータから、最も近いパターン平面候補を選び、C3に対応させる。

ステップ６：C3をRの要素とする。

ステップ７：ステップ４にもどる。

以上のようなアルゴリズムを適用すると、曲線C1とPとの対応の仮定から、C1と連結した全ての曲線に対して、対応するパターン平面を決定することができる。対応付けが行われた曲線の集合Rから形状復元を行うことができる。この復元結果を、解候補Sとする。Sは、ステップ２におけるPとの対応の仮定に依存するので、これをS(P)と表記する。仮定Pを、パターン平面候補全体に動かしながら、対応する解候補S(P)を集めることで、「解候補の集合」を得ることができる。ステップ5におけるパラメータ計算は、通常の配置では、数値計算上の安定性が高い。よって、解候補の集合を、安定して求めることができる。

一般に、ステップ４でC3を選ぶ時に、C3とRの要素の交点は複数存在する可能性があり、どの交点に（２）式を適用するかによって、C3に対応する平面が変化する。この場合、「全ての交点に（２）式を適用して、それぞれについてC3のパラメータを求め、これらのパラメータの平均値あるいは中間値を求めてC3のパラメータとする」ことによって、解の頑健性や安定性を高めることができる。

一般に、ステップ４でC3を選ぶ選び方によって、最終的に得られる解は異なる。C3の選び方としては、例えばRの要素とC3の交点数が、最大になるようにC3を選び、かつ前段落のように複数の交点の情報を利用することで、解の頑健性や安定性を高める方法がある。

一般に、ステップ１でC1を選ぶ時に、C1の選び方によって得られる解候補群は異なる。C1を選ぶ方法としては、複数交点の利用による解の頑健性向上効果を高めるために、できるだけ交点の多い曲線をC1として選ぶことが考えられる。

＜第５の実施の形態：複数種類のパターンが一つのプロジェクタから投光されることによる拘束＞
第３の実施の形態および第４の実施の形態において、「解候補の集合」を得る方法を説明した。唯一の解でなく、解候補の集合を求めるのは、特に２組の平行線状のパターンを投影する場合に、（２）式で表される交点の条件を満たすという拘束条件だけでは、得られる解が不安定になる場合が多いためである。これは、（２）式を近似的に満たす解が複数存在することによる。例えば第３の実施の形態で述べたように、カメラから各交点に向かう方向ベクトルが近い場合には、第３の実施の形態の連立方程式がランク落ちの状態に近くなる。これは、復元したい領域の、カメラから見た画角が、平行投影に近い場合であり、多くの計測条件で問題となる。

このような不安定性を解消するための方法としては、３組以上の平行線パターンを利用することが考えられる。ただし、この場合、多数のプロジェクタを利用する必要があり、コスト面や、校正の困難さなどの問題が大きくなる。

このような問題を軽減する手段として、複数の平行線パターンを、一つのプロジェクタで投影する方法が考えられる。例えば、２個の、縦方向及び横方向の平行線パターンを、一つのプロジェクタで投影する場合には、パターンはグリッド状になる。このようなシステム構成の例として、２個のプロジェクタで、それぞれグリッド状のパターンを投影する方法を図３に示す。このような構成では、平行線を投影するシステムと比較して、多くの拘束を３次元形状の復元に利用することができる。特に、２個のプロジェクタで、平行線を投影する場合と比較すると、拘束から得られる解の安定性が、大きく向上する（後述）。

本実施形態における３次元形状の復元のアルゴリズムを以下に述べる。以下の説明では、
グリッド状パターンは、縦、横の２組の平行線パターンであるとする。プロジェクタ１と
プロジェクタ２の２つの投光デバイスがあるので、平行線パターンは４組あり、それぞれ、
プロジェクタ１の縦パターン、プロジェクタ１の横パターン、プロジェクタ２の縦パターン、プロジェクタ２の横パターンである。

また、前提として、観測された各曲線を照射するパターンが、どの平行線群に含まれるかは、曲線の方向や、プロジェクタによって平行線群の色を変えるなどの手段によって、既知であるとする。ただし、曲線と、平行線群の中の特定の曲線との対応は未知である。

第４の実施形態に基づいたアルゴリズムは、以下の通りである。

ステップ１：第４の実施形態のアルゴリズムによって、ある曲線C1と対応するパターンPを仮定し、その仮定から出発してC1と連結する曲線にパターンを対応させる。この時、全ての交点を同様に扱う。つまり、４組の平行線パターンのどの交点についても、（２）式の拘束式を利用して良い。観測された各曲線と、平行線群の対応が既知であることと、カメラとプロジェクタの位置および諸元が校正済みであることから、拘束式の係数を得ることが可能である。（異なるプロジェクタの横パターン同士の交点は、曲線の向きが似ているために高精度な検出が難しい場合があるので、横パターン同士、縦パターン同士の交点は利用しない、という方法もある）

ステップ２：上記C1と対応するパターンPを、全パターンに動かしながらステップ１を適用することで、解の候補の集合を得る。

ステップ３：ステップ２の解候補集合から、唯一の解を選ぶ。そのために、各解候補について、以下の手続きを行い、その解の評価関数を計算する。評価関数が最小となる解を選ぶことで、唯一の解を得ることが出る。

ステップ３．１：（コスト関数の計算）ある解候補では、各曲線とパターンの対応がえられる。その対応が、各交点について（２）式の拘束式を満たすかどうか、調べる。このために、各交点で、（２）式の左辺の二乗を求め、それを全ての交点について加えた和を求め、これを評価関数とする。解候補は、（２）式に基づいて得られたものであるが、仮定されたC1とPとの対応が実際と違う場合や、誤差がある場合など、（２）式が完全に満たされるわけではないので、上記の和はコスト関数になる。

ステップ４：コスト関数が最小であった解候補での対応から、各曲線の３次元復元を行う。

上記のアルゴリズムには、以下のようなバリエーションが考えられる。

バリエーション１：ステップ１、２における解候補集合の計算を、第３の実施形態のように連立線型方程式によって行う。この時、４組の平行線パターンのどの組み合わせの交点についても、（２）式の拘束式を利用して良い。全ての拘束式を連列された方程式を１自由度を除いて解く。得られた解候補から、各曲線とパターンの対応を求める。

バリエーション２：ステップ３．１における評価関数について、解の頑健性を高めるために、（２）式の左辺の二乗の上限値を決め、外れ値の影響を受けにくくする。また、別の頑健な評価関数として、（２）式の左辺の二乗の和ではなく、中間値を評価関数とする。

本実施形態に基づくシステムは、２個のプロジェクタで２組の平行線を投影するシステムと比較して頑健に計測を行うことができる。以下に理由を述べる。

第３の実施の形態の説明で、２個のプロジェクタで２組の平行線を投影した場合、解が不安定になりやすいことを述べた。これについて、定性的な説明をする。

図４は、一組の平行パターンが平面に投影されている状況において、どのような曖昧性が生じるかを示したものである。真の解と、偽の解が示されている。「偽の解」で一番問題になるのは、各曲線について、真の対応パターンから、それぞれ同じだけ一定数シフトした解であり、このような解が真の解と見分けにくいことである。図のように、このような偽の解では、観測される平面は、カメラに近づくと同時に、３次元空間中で回転することによって、見かけ上誤差を吸収する。対象形状にこのような変形が加わることによって、（２）式の誤差が吸収されると、真の解を見つけるのが難しくなる。

図５のように、二組の平行パターンが平面に投影されている状況でも、問題は大きい。なぜなら、平面は、３次元空間では２方向に同時に回転できる（三次元平面の回転の自由度が２であることによる）ため、図６に示すように、二組の平行パターンの誤差を、少なくとも真の解の周辺では吸収するような変形があるためである。このため、偽の解における矛盾が誤差として現れにくい。これが、一自由度の解の不安定性が生じやすい理由である。

これに対し、３組以上の平行パターンを利用する場合、それらの平行パターンの全てに対して、対応パターンがシフトすることによる誤差の影響を吸収するような、三次元形状の変形は、存在しなくなる。例えば、２プロジェクタでグリッドパターンを利用した場合、一つのプロジェクタの縦横パターンで、交点の誤差を吸収するような回転の方向が決まるが、別のプロジェクタの縦横パターンについて、誤差を吸収する回転方向はこれとは異なるため、偽の解での誤差が出やすくなる。このことから、２組のグリッドパターンを投影することは、解の不安定性の解消のために有利である。また、二個のプロジェクタのそれぞれでグリッドパターンを利用することは、プロジェクタとカメラの校正の複雑さを増やさずに、平行線の組の数を二倍にできるので、校正誤差を防ぐためにも有利である。

＜第６の実施の形態：複数のカメラによる解の検証＞
第３の実施形態で求められた1 自由度を残した解は、カメラ２８で観測された交点に基づく。変数t
で定まるパターン平面集合m′(t) に光切断法を適用することで、カメラ２８の曲線が復元される。次にこの結果を、カメラ３２に投影することで、解m′(t)
の検証を行うことができる。この検証法によって、異なるt による解を比較し、最適なt を決定する(図７)。

曲線i を解m′(t)
から復元し、カメラ３２に投影したものを、c_i(t) とする。この時、解m′(t) のマッチングスコアを、

とする。ただし、S_Ｃ(c， K) は、一つの2 次元曲線c と、2次元曲線の集合K とのマッチングスコアであり、S_Ｔ(t)はm′(t)
から復元された全ての曲線のマッチングスコアの合計である。スコアが小さいほど、解が良い。記号の定義の概念を、図７に示す。

異なるt から得られる解候補m′(t) から、最も良いマッチングスコアが得られるものが選ばれる(図７の真ん中の解候補)。これは、t^*
≡ arg_t min S_Ｔ(t) として、解m′(t^*)
を選ぶことである。次に、各観測曲線に対応するパターン平面が、m′(t^*) から推定され、曲線が復元される。

本手法は、カメラ２８のみでは決めにくい奥行き方向の曖昧性を、カメラ３２とのマッチングで解消する。その意味で、ステレオ法に似た面を持つ。しかし、通常のステレオ法では、各点が独立に、エピポーラ線に沿ってマッチングが行われるのに対し、本手法では、1 自由度を残した解の変化に沿って探索が行われる。

本手法の別の利点として、多視点ステレオ法と比較した時の効率の高さが上げられる。これは、本手法の探索が、互いに接続された曲線の解の1 自由度の曖昧性に沿って行われるのに対し、多視点ステレオ法では各点について、それぞれエピポーラ線に沿った探索が行われるからである。

S_Ｃ(c、 K)の定義について述べる。カメラ２８で観測された曲線の多くは、カメラ３２では観測されない。これは、オクルージョンの問題や、検出失敗などがあるためである。このことから、c
と一致する曲線が、K から見つからない場合に、S_Ｃ(c， K)に正の値を設定すると、式(4)のスコアに、観測されない曲線による影響が加算され、正しいい評価が行われない。

そこで、c と一致する曲線が、K
から見つからない場合、S_Ｃ(c， K) = 0 とし、一致する曲線がある場合にはS_Ｃ(c，
K) < 0 になるようにする。具体的には、

とする。ただし、x _c は曲線c に含まれる点、k
はK に含まれる曲線、x _k は、曲線k に含まれる点である。また、W は、曲線c からの近傍の大きさであり、W 以下の距離を持つ点が近いと見なされて、スコアに影響を与える。もし、距離W
以下の点が見つからない場合、最初のmin 関数の働きにより、スコアへの影響が無くなる。

＜第７の実施の形態：誤って復元された曲線の除去＞
前節までに述べた方法で得られた、検出曲線とパターンとの対応は、誤りを含む可能性がある。これは、接続されていない線が、誤って接続されていると判定されたり、色情報の検出ミスなどによって起きる。

こうした誤りは、第８の実施の形態で述べる最適化に悪影響を及ぼすので、このような曲線を取り除いておくことが望ましい。通常、このような曲線は、間違った位置に復元されるので、他の曲線との交点において、復元結果が交わらないことが多い(図８を参照)。

このような曲線を検出するために、各曲線の交点について交わる曲線同士の距離をチェックする。曲線が正しいパターンに対応していても、キャリブレーション誤差などによって交点における誤差は生じるので、このチェックでは、ある許容度を超えて大きな誤差を検出する。誤差があると判定された交点の割合が一定値以上の曲線は、復元を取り消される。復元を取り消された曲線同士に交点がある場合には、それらを接続集合として、再度復元を試みる。

このようなフィルタリングの効果を図９に示す。フィルタリングを行うことで、孤立した位置に復元される曲線が減っていることが確認できる。

＜第８の実施の形態：曲線同士の整合性を利用した形状復元＞
第５や第６の実施の形態で、観測された各曲線について、対応するパターンを決定できる。この対応が正しい場合、システムのキャリブレーション誤差、カメラ及びプロジェクタモデルの誤差、観測された曲線の2 次元位置の位置決め誤差が無ければ、正しく3 次元曲線を復元できる。実際のシステムでは、上記の誤差があり、復元された曲線位置に誤差が生じる。これによる影響として、以下のような問題が生じる場合がある。

・Projector-camera-projector (PCP) 配置の不一致:互いに交点を持つと判定された2
個の曲線において、交点位置においてカメラからの距離が一致せず、3次元的に「ねじれの位置」に復元される。

・Camera-projector-camera (CPC) 配置の不一致:同一パターンの曲線が、異なるカメラから観測されている場合に、これらの復元結果が一致しない。

PCP case による曲線の不一致の例を図１０に示す。これらの誤差は、復元された点群から、単一の曲面モデルを生成するためには問題となる。この問題に対処するために、本発明では、上記の曲線の不一致を、各平面のパラメータに補正を加えることで軽減する手法を提案する。

復元される各パターン平面を、p_iとおく。p_iは、各プロジェクタの軸を中心に、微小な角度θ_i だけ補正を加えることが出来るとする。この時、全てのパターンの角度を補正して、上記の(1)、(2)
の誤差を小さくする。

ある交点I において、パターン平面p_i とp_j が交わるとする。p_i
、 p_j に角度θ_i 、θ_j の補正が加わる時、p_i
と視線との交点のカメラからの深さをf_i(θ_i )、 p_j
との交点のカメラからの深さをf_j (θ_j ) とする。この時、I における(1)の誤差は、f_i
(θ_i )- f_j (θ_j )と表現できる。

また、異なるカメラC_i 、C_j から観測された曲線c_k とc_l
が、共に、プロジェクタP から投影されるパターン平面p_m に対応する場合を考える。この時、c_k
とc_l は、曲線の一部を共有する場合がある。これを検出するために、c_k からサンプリングされた点p_s
について、パターン平面p_i で再構成し、カメラC_j に投影する。この時、投影された点と、c_lとの最小距離を持つ点p_t
との距離が閾値以下なら、p_s とp_t は同一の点であると判断し、これらの点を一致させるように補正を行う。p_m
に角度θ_m の補正を加えた平面で、p_s とp_tを復元した時、プロジェクタP
からのそれぞれの深さが、g_s (θ_m)、g_t(θ_m
)とすると、この点における(2) の誤差は、g_s(θ_m)- g_t(θ_m
)と表現できる。

上記2 種類の誤差の合計を、

と表現できる。正し、P は補正するパターンの集合、Cは観測された交点の集合、S はサンプリングによって同一と見なされた点の集合である。

上記の誤差の最小化を、θ_p ≒ 0 の仮定の下で、線型近似によって解くことができる。これは、以下の連立線形方程式の最小二乗解として解ける。

式の中の定数である偏微分は、解析的に求めても良いし、差分近似で求めても良い。得られた解で、パターン平面を補正して再構築することで、上記の誤差を軽減することが出来る。

縦パターンと横パターンの交点の位置はサブピクセル精度で計算される。また検出された線の連続性を用いて、隣接する交点が分かるので、線検出の結果として、交点を格子状に接続したグリッドグラフが得られる。この交点座標と、交点の接続情報であるグリッドグラフにより、三角測量またはステレオ手法により3 次元復元が実現される。

＜第９の実施の形態：複数台のカメラとプロジェクタを対象物体を取囲むように配置＞
対象物体の全周の形状をワンショット計測手法で求めるためには、図１１に示すように、複数台のカメラとプロジェクタを対象物体を取囲むように配置することが考えられる。この時、（非特許文献１４）にように、デバイスどうしが近くにある、少ない台数のカメラやプロジェクタのみを用いて、個別に形状復元することが考えられる。しかし、その場合、各形状どうしが矛盾した復元となることが起こる。そこで、全てのカメラとプロジェクタを同時に最適化することで、誤差が全ての装置に等しく配分され、矛盾の少ない形状復元を行うと良い。具体的には、第８の実施の形態におけるパターン平面の最適化を利用することができる。これにより、全てのカメラに投影したずれが最小化されるように、全てのプロジェクタ上の平面パラメータが最適化される。また、別の方法としては、バンドル調整法（非特許文献１６）を適用し、全てのカメラとプロジェクタの外部パラメータや内部パラメータを再推定することも考えられる。

＜第１０の実施の形態：交点における交差方法による識別方法＞
第３の実施形態において、1 自由度を残した解を求めたが、この１自由度を解消する直接的な手段として、パターンに情報を付加することが考えられる。例えば色・間隔・ラインのパターン（例えばドット）などが考えられる。しかしこれらは、見る位置や姿勢により変化する上、対象物体の色や、形状などによっても影響を受けるため、不安定になりやすい。これらの問題点を解消する方法として、視点位置の影響を受けない情報を用いることが考えられる。これには、例えば、トポロジー情報などがある。トポロジー情報の例として、本発明では、交点における曲線の交差の数を用いることができる。これは、視点や形状が変わっても不変なため、非常に安定した情報となる。図１２にトポロジー情報を用いたパターン例を示す。

＜第１１の実施の形態：実験結果＞
本形態では、上記した本形態の画像処理装置および画像処理方法を用いた実験結果を説明する。

本形態の実験では、実験環境として、全周計測のシステムとして、6 台のカメラと、6
台のプロジェクタからなるシステムを構築した。図１３は実際のシステムの一部を示している。カメラはPoint Grey 社製1600 × 1200 ピクセル解像度のものを使用し、プロジェクタはXGA
解像度の液晶ビデオプロジェクタを用いた。6 台のカメラは同期しており、30fps で撮影を行った。キャリブレーションは、複数のカメラ、プロジェクタのパラメータを同時に推定するために、バンドル調整法に基づいて行った。バンドル調整には、Snavely
によって公開されているBundler（非特許文献１６）を用いた。

次に、提案手法の有効性を確認するために、合成データを使って実験を行った。データとしてStanford bunnyを用いて、カメラ6 台とプロジェクタ6 台を仮想的に配置し、仮想の計測画像6 枚をPOV-Ray を用いたレンダリングにより生成した。作成した画像例を図１４
(a) に示す。こうして作成した画像を入力として、提案手法による形状復元を行った。得られた結果およびカメラ・プロジェクタの位置関係を図１４(b) に示す。また、正解形状と提案手法により得られた形状を重ねて表示したものを図１４
(c)(d) に示す。ほぼ正しく復元できていることが分かる。このときのRMSE は、カメラと物体重心との距離を1 として0.0023 であった。比較のために、カメラ画像のみを用いるMVS
との比較を行った。PMVS（非特許文献２）を用いた場合、視点が少なすぎるため全く形状復元されなかった。最新のMVS（非特許文献１７）を用いたところ形状復元され、正解形状と重ねたものが図１４
(e)(f) である。耳の後ろや顔の横など観測されにくい場所で間違った形状が復元されており、RMSE は0.0112 となった。

次に、第５の実施の形態を検証するために、シミュレーションによる復元実験を行った。仮想プロジェクタと仮想カメラのセットアップ例を図１５に示す。こうして撮影された仮想入力画像例を図１６に、復元結果を図１７に示す。提案アルゴリズムにより正しく形状復元できることが分かる。

さらに実データを用いて第５の実施の形態の手法の検証実験を行った。テストに用いたのは、箱とマネキンの頭部である。実際に撮影した画像を図１８に示す。また、復元結果を図１９に示す。提案アルゴリズムにより、非常に密な形状が正しく復元できることが分かる。

次に、第９の実施の形態について、実システムを用いて、従来手法であるグレイコードを用いた構造化光法による形状計測結果を正解形状とし、本手法の計測精度について評価を行った。対象物体として高さ約150cm のマネキン像を利用した。復元結果を図２０に示す。図２０(a)-(c) において、青色が線形解法（特許文献１、非特許文献１８）による初期復元結果、赤色がMVS
による結果、緑色が精度向上後の最終結果である。同じシーン内の陰影つきポリゴンモデルがグレイコード法による正解形状である。また、図２０(d)、(e) は(b)、(c)
の拡大図を示している。それぞれのRMSE を図２１に示す。実験結果より、line IDを用いた精度向上後の形状、およびMVS 調整が形状復元の精度向上に貢献していることが確認できる。

次に、提案手法とパッシブ全周形状復元との比較を行った。シミュレーション実験同様、PMVS （非特許文献２）では視点数が足りず全く形状復元できなかったものの、最新のMVS 手法（非特許文献１７）では形状復元することができた。結果を図２２(a)-(f)
に示す。それぞれ左がパッシブ復元、右がアクティブ復元（提案手法）の結果である。パッシブ復元の場合はメッシュ生成に際してのスムージング処理が効き、総じて滑らかな復元結果となっているが、一部に大きく誤ったポリゴン復元されていることが分かる。一方、提案手法では大きく誤ったポリゴン復元は見当たらないものの、投影パターンの検出に失敗しているところで細かいノイズの発生していることが分かる。今回の実験では、提案手法を正しく評価するため、一切のテクスチャ情報を用いなかったが、テクスチャ情報の利用は精度向上に大きく寄与すると考えられ、今後の研究テーマの一つである。

最後に、実際に動きのある対象の計測実験を行った。柔道着を着たモデルの動きを計測した入力画像を図２３(a)に、復元結果を図２３(b) に示す。また、スカートを着てダンスしている動きを計測した入力画像を図２３(c) に、復元結果を図２３(d)
に示す。柔道着のシーンでは着物の複雑な形状変化により多くのオクルージョンが発生しているにも関わらず総じて正しい形状を復元できていることが分かる。ダンスシーンに関しても、スカートの微妙なしわなどの形状が正しく復元できていることが分かる。なお、頭部の髪の毛の部分では、曲線の反射が弱くなり検出検出が失敗しやすいので、被験者には帽子を着用してもらった。このように、色が暗く、細かい形状を持つ部分における曲線検出は、今後の課題である。

１０画像処理装置
１２画像処理部
１２Ａ第１計算部
１２Ｂ第２計算部
１２Ｃ第３計算部
１４制御部
１６入力部
１８記憶部
２０表示部
２２操作部
２４プロジェクタ
２６プロジェクタ
２８カメラ
３０物体
３２カメラ

Claims

２次元画像から３次元形状を復元する画像処理装置であり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターンの光および前記第２パターン光を撮影して２次元画像を得る第1撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との２次元交点の座標である交点座標を算出する第１計算部と、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２計算部と、
前記第１対応、前記第２対応又はその両方から、前記第１パターンおよび前記第２パターンが照射された部分の前記物体の３次元座標を算出することで、３次元形状を復元する第３計算部と、
第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる第４計算部と、
を備えることを特徴とする画像処理装置。
２次元画像から３次元形状を復元する画像処理装置であり、
前記２次元画像は、３次元空間に存在する物体に対して３個以上のパターンを投光する投光手段と、前記物体で反射した３個以上のパターンの光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された３個以上のパターンを、それぞれ反射曲線として検出し、前記検出された反射曲線どうしの交点の座標である交点座標を算出する第１計算部と、
前記交点座標、前記３個以上のパターンそれぞれのパラメータ、および前記撮影手段のパラメータから、前記反射曲線と前記パターンとの対応を決定する第２計算部と、
前記対応関係から、前記反射曲線の３次元座標を算出することで、前記３次元形状を復元する第３計算部と、
を備えることを特徴とする画像処理装置。
２次元画像から３次元形状を復元する画像処理装置であり、
前記２次元画像は、３次元空間に存在する物体に対して３個以上のパターンを、このうち２個以上のパターンが１個の投光装置を用いて投光される投光手段と、前記物体で反射した３個以上のパターンの光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された３個以上のパターンを、それぞれ反射曲線として検出し、前記検出された反射曲線どうしの交点の座標である交点座標を算出する第１計算部と、
前記交点座標、前記３個以上のパターンそれぞれのパラメータ、前記２個以上のパターンが１個の投光装置を用いて投光されることによる拘束条件、および前記撮影手段のパラメータから、前記反射曲線と前記パターンとの対応を決定する第２計算部と、
前記対応関係から、前記反射曲線の３次元座標を算出することで、前記３次元形状を復元する第３計算部と、
を備えることを特徴とする画像処理装置。
前記１台の投光手段で同時に投影される２個以上のパターンを同一色とし、前記撮像手段により撮影された反射曲線から画像処理によりそれぞれのパターンに分離する第４計算部
を備えることを特徴とする請求項３に記載の画像処理装置。
前記３次元空間に存在する物体を撮影または投影するように、前記撮像装置および前記投光装置の両方またはいずれか片方を複数台配置し、
前記第１計算部に代わり、前記全ての投光装置から投影されるパターンどうしの交点である第３交点を新たに算出する第５計算部と、
前記第２計算部に代わり、前記第３交点を用いて対応を計算する第６計算部と
前記第４計算部に代わり、前記全ての撮像装置で撮影された画像に再投影し、ずれを最小化することで３次元形状を再推定する第７計算部と
を備えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記撮像装置および前記投光装置を複数用いて円弧状に配置することで、誤差が全ての装置に等しく最小化されるように３次元形状を推定する第８計算部を備えること、を特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記パターンについて、平行な線分のみから構成されることを特徴とする請求項１から請求項６の何れかに記載の画像処理装置。
前記パターンの色、間隔、太さ、のいずれかまたは複数を変化させることにより、パターンの識別情報を持たせることを特徴とする請求項１から請求項６の何れかに記載の画像処理装置。
前記パターンの交点において、パターンの交差する数を変化させることにより、パターンの識別情報を持たせることを特徴とする請求項１から請求項６の何れかに記載の画像処理装置。
２次元画像から３次元形状を復元する画像処理方法であり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターンの光および前記第２パターン光を撮影して２次元画像を得る第1撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との２次元交点の座標である交点座標を算出する第１ステップと、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２ステップと、
前記第１対応、前記第２対応又はその両方から、前記第１パターンおよび前記第２パターンが照射された部分の前記物体の３次元座標を算出することで、３次元形状を復元する第３ステップと、
第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる第４ステップと、
を備えることを特徴とする画像処理方法。
２次元画像から３次元形状を復元する画像処理方法であり、
前記２次元画像は、３次元空間に存在する物体に対して３個以上のパターンを投光する投光手段と、前記物体で反射した３個以上のパターンの光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された３個以上のパターンを、それぞれ反射曲線として検出し、前記検出された反射曲線どうしの交点の座標である交点座標を算出する第１ステップと、
前記交点座標、前記３個以上のパターンそれぞれのパラメータ、および前記撮影手段のパラメータから、前記反射曲線と前記パターンとの対応を決定する第２ステップと、
前記対応関係から、前記反射曲線の３次元座標を算出することで、前記３次元形状を復元する第３ステップと、
を備えることを特徴とする画像処理方法。
２次元画像から３次元形状を復元する画像処理方法であり、
前記２次元画像は、３次元空間に存在する物体に対して３個以上のパターンを、このうち２個以上のパターンが１個の投光装置を用いて投光される投光手段と、前記物体で反射した３個以上のパターンの光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された３個以上のパターンを、それぞれ反射曲線として検出し、前記検出された反射曲線どうしの交点の座標である交点座標を算出する第１ステップと、
前記交点座標、前記３個以上のパターンそれぞれのパラメータ、前記２個以上のパターンが１個の投光装置を用いて投光されることによる拘束条件、および前記撮影手段のパラメータから、前記反射曲線と前記パターンとの対応を決定する第２ステップと、
前記対応関係から、前記反射曲線の３次元座標を算出することで、前記３次元形状を復元する第３ステップと、
を備えることを特徴とする画像処理方法。
２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターンの光および前記第２パターン光を撮影して２次元画像を得る第1撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との２次元交点の座標である交点座標を算出する第１機能と、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２機能と、
前記第１対応、前記第２対応又はその両方から、前記第１パターンおよび前記第２パターンが照射された部分の前記物体の３次元座標を算出することで、３次元形状を復元する第３機能と、
第２撮影手段で物体を撮影した第２の２次元画像上に前記３次元形状を再投影し、第２の２次元画像上に撮影されたパターンと、再投影されたパターンとのずれを算出することで、前記３次元形状の整合性を調べる第４機能と、
を実行させることを特徴とするプログラム。
２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、３次元空間に存在する物体に対して３個以上のパターンを投光する投光手段と、前記物体で反射した３個以上のパターンの光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された３個以上のパターンを、それぞれ反射曲線として検出し、前記検出された反射曲線どうしの交点の座標である交点座標を算出する第１機能と、
前記交点座標、前記３個以上のパターンそれぞれのパラメータ、および前記撮影手段のパラメータから、前記反射曲線と前記パターンとの対応を決定する第２機能と、
前記対応関係から、前記反射曲線の３次元座標を算出することで、前記３次元形状を復元する第３機能と、
を実行させることを特徴とするプログラム。
２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、３次元空間に存在する物体に対して３個以上のパターンを、このうち２個以上のパターンが１個の投光装置を用いて投光される投光手段と、前記物体で反射した３個以上のパターンの光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された３個以上のパターンを、それぞれ反射曲線として検出し、前記検出された反射曲線どうしの交点の座標である交点座標を算出する第１機能と、
前記交点座標、前記３個以上のパターンそれぞれのパラメータ、前記２個以上のパターンが１個の投光装置を用いて投光されることによる拘束条件、および前記撮影手段のパラメータから、前記反射曲線と前記パターンとの対応を決定する第２機能と、
前記対応関係から、前記反射曲線の３次元座標を算出することで、前記３次元形状を復元する第３機能と、
を実行させることを特徴とするプログラム。