JP2009032123A

JP2009032123A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2009032123A
Application number: JP2007196741A
Authority: JP
Inventors: Akira Furukawa; 亮古川; Hiroshi Kawasaki; 洋川崎
Original assignee: Hiroshima Industrial Promotion Organization; Saitama University NUC
Current assignee: Hiroshima Industrial Promotion Organization; Saitama University NUC
Priority date: 2007-07-27
Filing date: 2007-07-27
Publication date: 2009-02-12
Also published as: WO2009016809A1

Abstract

【課題】シーンを撮影した２次元画像に含まれる共面性と幾何学的条件とを利用して、３次元形状を生成する画像処理装置等を提供する。
【解決手段】本発明は、入力された２次元画像から３次元形状を生成する画像処理装置であり、２次元画像から抽出された共面性を基に射影解を算出する射影解算出部１４と、２次元画像から抽出された幾何学的条件を基に射影解の自由度を解消して射影解からユークリッド解を得るユークリッド解算出部１６と、ユークリッド解を基に密な３次元形状を生成する曲線復元部１８とを具備する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像に含まれる共面性とシーンの幾何学的条件とを用いて３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。

１つの単眼カメラにて撮影された２次元画像から３次元の画像を復元することは、コンピュータビジョンやコンピュータグラフィクスの分野に於いて重要な処理である。そして、２次元画像を基にした３次元形状の復元に関しては、多数の研究が成されている。

例えば、シーン（被写体）の３次元形状復元に影を使う手法がこれまで提案されている（下記非特許文献１および非特許文献２）。３次元形状復元に影を使うことの利点として、影は、光源があれば常に存在するため、特殊な装置を用いることなくシーンの情報を取得できることが挙げられる。また、単眼カメラによる復元が可能であることも、影を使う形状復元の利点の一つである。

最近、直線物による影を用いた効率的な形状復元手法が提案されている（下記非特許文献３および非特許文献４）。これはアクティブスキャンにおいて光源の代わりに影を用いた手法であり、レーザの代わりに棒などを振って、固定された光源によって生じる影を用いて対象シーンをスキャンする手法である。

下記非特許文献５では、線画に描かれた多面体を解釈するために、多面体の１面を囲む線分が全て同一平面上にあること（共面性）を用いて、それらの平面の間に成り立つ関係式が導かれている。これは、少なくとも４自由度の解を持つ線型方程式である。この式は、照度差ステレオ法と組み合わせた多面体の形状復元（下記特許文献６参照）や、折り紙解析（下記特許文献７参照）、騙し絵の解析（下記特許文献８参照）などの多くの研究に利用された。更に、最近、上記関係式をｉｍｐｌｉｃｉｔな共面性（〔発明を実施するための最良の形態〕において詳述）に適用することで曲面を含むシーンの復元が可能であることが示された（下記特許文献９参照）。

また、単眼カメラで、対象シーンにラインレーザを照射しながら連続画像を撮影し、曲面を含む形状モデルを獲得する方法がいくつか提案されている。これらの方法では、ラインレーザのレーザ光線が通る平面（レーザ平面）の位置を計算するために、
（１）ラインレーザの位置を機械で制御する方法（市販のレーザスキャナ）、
（２）複数のラインレーザを既知の構造に組み付けて計測する方法（非特許文献９）
（３）正方形状のフレーム（枠）を、対象シーンを囲むように配置し、フレーム上のラインレーザに照らされた位置からレーザ平面の位置を推定する方法（非特許文献１０）、
（４）ラインレーザに複数のＬＥＤマーカを取り付け、それらのマーカの位置からレーザ平面の位置を推定する方法（非特許文献１１）、
（５）５本以上の平行光線を出力する特殊な投光器を対象シーンに照射しながら、同時にラインレーザを照射する方法（非特許文献１２）、が提案されている。

更に、直線状のエッジを持った物体の影で、対象シーンをスキャンし、それを撮影することで形状の３次元モデルを獲得する方法がある（非特許文献１３）。

また、対象シーンが多面体からなる場合、対象シーンを構成する平面の幾何学的条件（平行性、共面性、直行性など）から、それらの平面位置を推定し、形状モデルを復元する手法がある。これらの方法には、画像上の平行線の消失点を用いる方法（非特許文献１４）、画像上の直方体を利用する方法（非特許文献１５）などがある。
Ｍ．ＨａｔｚｉｔｈｅｏｄｏｒｏｕａｎｄＪ．Ｋｅｎｄｅｒ： "Ａｎｏｐｔｉｍａｌａｌｇｏｒｉｔｈｍｆｏｒｔｈｅｄｅｒｉｖａｔｉｏｎｏｆｓｈａｐｅｆｒｏｍｓｈａｄｏｗｓ", ＣＶＰＲｐｐ４８６-４９１（１９８８）．Ｍ．ＤａｕｍａｎｄＧ．Ｄｕｄｅｋ： "Ｏｎ３-ｄｓｕｒｆａｃｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｕｓｉｎｇｓｈａｐｅｆｒｏｍｓｈａｄｏｗｓ"，ＣＶＰＲ，ｐｐ４６１-４６８（１９９８）．Ｊ．Ｙ．ＢｏｕｇｕｅｔａｎｄＰ．Ｐｅｒｏｎａ： "３Ｄｐｈｏｔｏｇｒａｐｈｙｏｎｙｏｕｒｄｅｓｋ"，ＩＣＣＶ，ｐｐ１２９-１４９（１９９８）．Ｊ．−Ｙ．Ｂｏｕｇｕｅｔ，Ｍ．ＷｅｂｅｒａｎｄＰ．Ｐｅｒｏｎａ： "Ｗｈａｔｄｏｐｌａｎａｒｓｈａｄｏｗｓｔｅｌｌａｂｏｕｔｓｃｅｎｅｇｅｏｍｅｔｒｙ？"，ＣＶＰＲ，０１，ｐｐ５１４−５２０（１９９９）．Ｋ．Ｓｕｇｉｈａｒａ： "Ａｎａｌｇｅｂｒａｉｃアプローチｔｏｓｈａｐｅ−ｆｒｏｍ−ｉｍａｇｅｐｒｏｂｌｅｍｓ"，ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２３，ｐｐ５９−９５（１９８４）．Ｉ．ＳｈｉｍｓｈｏｎｉａｎｄＪ．Ｐｏｎｃｅ： "Ｒｅｃｏｖｅｒｉｎｇｔｈｅｓｈａｐｅｏｆｐｏｌｙｈｅｄｒａｕｓｉｎｇｌｉｎｅ−ｄｒａｗｉｎｇａｎａｌｙｓｉｓａｎｄｃｏｍｐｌｅｘｒｅｆｌｅｃｔａｎｃｅｍｏｄｅｌｓ"，ＣＶＩＵ，６５，２，ｐｐ２９６−３１０（１９９７）．Ｐ．Ｐａｒｏｄｉ： "Ｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｕｎｄｅｒｓｔａｎｄｉｎｇｌｉｎｅｄｒａｗｉｎｇｓｏｆｏｒｉｇａｍｉｓｃｅｎｅｓ"，ＩＪＣＶ，１８，２，ｐｐ１３９-１７０（１９９６）．Ｋ．Ｓｕｇｉｈａｒａ： "Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｒｅａｌｉｚａｔｉｏｎｏｆａｎｏｍａｌｏｕｓｐｉｃｔｕｒｅｓ−ａｎａｐｐｌｉｃａｔｉｏｎｏｆｐｉｃｔｕｒｅｉｎｔｅｒｐｒｅｔａｔｉｏｎｔｈｅｏｒｙｔｏｔｏｙｄｅｓｉｇｎ．"，ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，３０，７，ｐｐ１０６１−１０６７（１９９７）．古川、川崎："共面性とメトリックな制約を用いた３次元再構成", ＣＶＩＭ−１５６，ｐｐ．８５-９２（２００６）．Ｃ．Ｗ．Ｃｈｕ，Ｓ．Ｈｗａｎｇ，ａｎｄＳ．Ｋ．Ｊｕｎｇ．Ｃａｌｉｂｒａｔｉｏｎ−ｆｒｅｅａｐｐｒｏａｃｈｔｏ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｕｓｉｎｇｌｉｇｈｔｓｔｒｉｐｅｐｒｏｊｅｃｔｉｏｎｓｏｎａｃｕｂｅｆｒａｍｅ．ＩｎＴｈｉｒｄＩｎｔ．Ｃｏｎｆ．ｏｎ３ＤＩＭ，ｐａｇｅｓ１３-１９，２００１．Ｒ．ＦｕｒｕｋａｗａａｎｄＨ．Ｋａｗａｓａｋｉ．Ｉｎｔｅｒａｃｔｉｖｅｓｈａｐｅａｃｑｕｉｓｉｔｉｏｎｕｓｉｎｇｍａｒｋｅｒａｔｔａｃｈｅｄｌａｓｅｒｐｒｏｊｅｃｔｏｒ．ＩｎＩｎｔ．Ｃｏｎｆ．ｏｎ３ＤＩＭ２００３，ｐａｇｅｓ４９１-４９８，２００３．日向，佐藤："ハンドスイープされたスリット輝線の幾何拘束に基づく三次元復元"，ＭＩＲＵ２００５，ｐｐ．ＩＳ３-１３２（２００５）．Ｊ．Ｙ．ＢｏｕｇｕｅｔａｎｄＰ．Ｐｅｒｏｎａ．３Ｄｐｈｏｔｏｇｒａｐｈｙｏｎｙｏｕｒｄｅｓｋ．ＩｎＩＣＣＶ，ｐａｇｅＳ１１９-１４９，１９９８．Ｄ．ＬｉｅｂｏｗｉｔｚａｎｄＡ．Ｚｉｓｓｅｒｍａｎ．Ｍｅｔｒｉｃｒｅｃｔｉｆｉｃａｔｉｏｎｆｏｒｐｅｒｓｐｅｃｔｉｖｅｉｍａｇｅｓｏｆｐｌａｎｅｓ．ＩｎＣＶＰＲ，ｐａｇｅ４８２，１９９８．Ｍ．Ｗｉｌｃｚｋｏｗｉａｋ，Ｅ．Ｂｏｙｅｒ，ａｎｄＰ．Ｓｔｕｒｍ．Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎａｎｄ３ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｆｒｏｍｓｉｎｇｌｅｉｍａｇｅｓｕｓｉｎｇｐａｒａｌｌｅｌｅｐｉｐｅｄｓ．ＩｎＴｈｅ８ｔｈＩＣＣＶ，ｖｏｌｕｍｅ１，ｐａｇｅＳ１２２-１４８，Ｊｕｌ２００１．

しかしながら、上記した非特許文献１乃至非特許文献４に記載された影を用いた３次元形状復元技術では、カメラの内部パラメータ、固定光源の位置、参照平面のキャリブレーション等が必要である。このため、計測する前のキャリブレーションや平面設定など、多くの準備や専門知識を必要とするため、実際に利用されることはあまり無かった。

また、上記した非特許文献５乃至非特許文献８を考えてみると、これら過去の研究は全て、多面体シーンの解析に限定されたものであった。

また、非特許文献９に記載された技術では、ラインレーザ一個のみでは自由度を残した解しか得られなかった。従って、ユークリッド復元を行なうためにはレーザ平面の直交する特殊なレーザ装置を必要とし、また、カメラの内部パラメータが既知でなければならないなど、実際に利用するには制限が多かった。

また、上記した非特許文献１０乃至非特許文献１２に記載された技術では、ラインレーザのほかに特殊な機器を必要とするので、汎用性が低くコストが高くなる問題があった。

また、非特許文献１３に記載された技術では、光源が固定であり、光源位置の校正が必要であり、高い専門性が必要とされていたので、この技術を一般的に広めることが困難であった。

また、非特許文献１４に記載された技術では、対象に既知の角度を持った平行線の組が必要であり、非特許文献１５の方法は対象が直方体を含む必要があった。このことから、これらの非特許文献に記載された方法は、汎用性が低い問題があった。

本発明は、上記問題を鑑みて成されたものである。本発明の主たる目的は、シーンを撮影した２次元画像に含まれる共面性とシーンの幾何学的条件とを利用して、３次元形状を復元する画像処理装置等を提供することにある。

本発明は、入力された２次元画像から３次元形状を復元する画像処理装置であり、前記２次元画像から抽出された共面性を基に、前記共面性に対応する第１平面及び前記第１平面同士の交点である第１交点の解である第１解を算出する第１算出部と、前記２次元画像中のシーンに含まれる幾何学的条件を利用して前記第１解の自由度を解消して、前記第１交点と前記第１平面の解である第２解を算出する第２算出部と、を具備することを特徴とする。

本発明は、入力された２次元画像から３次元形状を復元する画像処理方法であり、前記２次元画像から抽出された共面性を基に、前記共面性に対応する第１平面及び前記第１平面同士の交点である第１交点の解である第１解を算出するステップと、前記２次元画像中のシーンに含まれる幾何学的条件を利用して前記第１解の自由度を解消して、前記第１交点と前記第１平面の解である第２解を算出するステップと、を具備することを特徴とする。

本発明のプログラムは、入力された２次元画像から３次元形状を復元する画像処理装置に、前記２次元画像から抽出された共面性を基に、前記共面性に対応する第１平面及び前記第１平面同士の交点である第１交点の解である第１解を算出する機能と、前記２次元画像中のシーンに含まれる幾何学的条件を利用して前記第１解の自由度を解消して、前記第１交点と前記第１平面の解である第２解を算出する機能と、を実行させることを特徴とする。

ここで、上記した第１解は以下の射影解に対応し、第２解はユークリッド解に対応している。

本発明の画像処理装置等によれば、光源の位置が分からず、カメラのキャリブレーションも行われていないシーンの画像から、直線状物体の影を用いて形状復元することができる。更に、本発明は一般性が高く、遮蔽物である直線状の物体の位置や、光源の位置は、各フレームで異なっていてもよく、計測時には遮蔽物と光源を自由に動かしてよい。また、本発明では、曲面を含む対象シーンを復元できることができる。

更に本発明によれば、影の代わりにラインレーザを利用してｉｍｐｌｉｃｉｔな共面性を得ることでも良く、その場合１本のラインレーザほかに、特殊な機器を必要としない。従って、３次元形状の復元にかかるコストが低減される。また、影を利用してｉｍｐｌｉｃｉｔな共面性を得る場合は、影は自然に発生する現象であるから、ｉｍｐｌｉｃｉｔな共面性を得るための機器が必要とされず、３次元形状復元にかかるコストを更に小さくすることができる。

更に本発明は、光源位置は自由に動かすことができ、光源位置の校正も必要ない。従って、専門的な知識が無くとも、３次元形状を復元することができる。

また、本発明は、既知の角度を持った平行線の組や直方体が、シーンに含まれる必要がないので、それらの情報を利用して３次元形状を復元する手法と比較して、より広い範囲の２次元画像を基に３次元形状を復元できる。

＜第１の実施の形態：画像処理装置の構成＞
図１を参照して、本実施の形態に係る画像処理装置１０の構成を説明する。

本実施の形態の画像処理装置１０は、画像処理部１２と、制御部２０と、入力部２２と、記憶部２４と、表示部２６と、操作部２８とを主要に具備する。画像処理装置１０の全体的な概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理装置１０としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理装置１０を構成する各部位は、バスを経由して相互に電気的に接続される。

画像処理部１２は、主たる画像処理の機能を果たす部位であり、射影解算出部１４と、ユークリッド解算出部１６と、曲線復元部１８とを含む。

射影解算出部１４は、入力された２次元画像から抽出された共面性を基に射影解を算出する機能を有する。射影解の算出方法等は第３の実施の形態にて詳述する。この部位にて算出された射影解の情報はユークリッド解算出部１６に入力される。

ユークリッド解算出部１６は、射影解算出部１４にて算出された射影解の自由度を解消させて、射影解をユークリッド解にアップグレードする機能を有する。このアップグレードに関する事項も、第３の実施の形態にて詳述する。この部位にて算出されたユークリッド解の情報は、曲線復元部１８に伝送される。

曲線復元部１８では、ユークリッド解を基に、入力された２次元画像から抽出された曲線を抽出して、この曲線上の点を３次元復元する。ここでは、射影解算出部１４で利用された共面性に対応する平面とシーンとの交線を復元することができる。さらに、上記の平面以外の平面とシーンとの交線を抽出して復元することもできる。こうして密な形状を復元することができる。復元された３次元情報は、記憶部２４に記憶されても良いし、表示部２６に表示されても良いし、不図示のプリンタにて紙面に出力されても良い。

制御部２０は、画像処理装置１０全体（画像処理部１２、入力部２２、記憶部２４、表示部２６）の動作を制御している部位である。

入力部２２は、外部から画像処理装置１０に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。

記憶部２４は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部２４には、処理前の２次元画像、当該２次元画像から復元された３次元形状、当該２次元画像を処理することにより得られる中間的な情報が記憶される。ここで、中間的な情報とは、例えば、射影解算出部１４により算出された射影解の情報、ユークリッド解算出部１６により算出されたユークリッド解の情報である。

更に、記憶部２４には、下記する画像処理方法を実行するためのプログラムが格納される。このプログラムは、使用者が操作部２８を操作することにより呼び出されて、上記した各部位の機能を実行させる。具体的には、入力された２次元画像のデータから、３次元形状のデータを復元するように、プログラムは各部位を動作させる。

表示部２６は、例えば液晶ディスプレイ、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。

操作部２８は、例えば、キーボードやマウスであり、使用者がこの操作部２８を操作することにより、画像処理装置１０は２次元画像から３次元形状を復元する。

以上が画像処理装置１０の構成であるが、上記した構成要素の他にも例えば、シーンの２次元画像を撮影して取得するカメラ等の撮像手段が追加されても良い。

＜第２の実施の形態：共面性に関する説明＞
本実施の形態では、図２および図３を参照して共面性を説明する。

図２（Ａ）を参照して、点群が同じ平面上にあるとき、それらは共面であるという。例えば、物体の表面が平面である場合、その平面上の点はすべて共面である。平面上に模様が無く、平面上の点が画像上のパターンとして観測できない場合でも、平面上の点は共面である。このように平面構造物で構成されるシーン中には多くの共面性がある。本実施の形態では、画像上で実際に観測された、物理的に存在する面上の点が持つ共面性をｅｘｐｌｉｃｉｔな共面性（請求項５に記載の第２共面性）と呼ぶ。また、このような共面性を持つ点の集合を、以降ｅｘｐｌｉｃｉｔ共面な点集合であると記述する。

一方で、空間中には普段は陽には見えないが、ある特定な条件下において観測可能となる共面性が無数に存在している。例えば、ラインレーザの光線で物体を照らした軌跡は共面な点の集合である。こうした共面性は、通常は目に見えず、光線があたったときにのみ観測されるものである。本実施の形態ではこれを、ｉｍｐｌｉｃｉｔな共面性（請求項２に記載の第１共面性）と呼ぶ。また、このようにして検出された共面な点群はｉｍｐｌｉｃｉｔ共面であるといい、ｉｍｐｌｉｃｉｔ共面な点群をカメラで観測することで得られる曲線をｉｍｐｌｉｃｉｔ共面な曲線と呼ぶ。ｅｘｐｌｉｃｉｔな共面性が一般に物体の平面部でのみ観測されるのに対して、ｉｍｐｌｉｃｉｔな共面性は自由な曲面を含む物体表面の任意の部分で観測可能である。

図２（Ｂ）を参照して、ラインレーザの照射と同様に、直線物の影からもｉｍｐｌｉｃｉｔな共面性の情報が得られる。影は、光のあるシーンにおいては常に存在するため、影によるｉｍｐｌｉｃｉｔな共面性は特殊な装置を用いることなく、あらゆるシーンで観測可能である。例えば、晴天の屋外に直線状の縁を持つ建物等の物体が建っていれば、その影のエッジ（境界）上の点集合はｉｍｐｌｉｃｉｔ共面である。

そこで、本実施の形態では、直線状の棒に点光源をあてて出来る影からなるｉｍｐｌｉｃｉｔな共面性と、シーン中の平面として観測されるｅｘｐｌｉｃｉｔな共面性を用いて、３次元の形状を復元する。ここで、使用される共面性としては、ｅｘｐｌｉｃｉｔな共面性のみでも良い。

また、共面性条件のみから得られる解（請求項１に記載の第１解）は少なくとも４個の自由度を持つためユークリッドな形状を得るためには、残る自由度を解消する必要がある。本明細書ではこれをユークリッド復元と呼ぶ。また、ユークリッド復元によって得られる解（請求項１に記載の第２解）をユークリッド解と呼ぶ。

ユークリッド復元を行うには、共面性以外の条件を使う必要がある。多くの条件下において、直線状の物体の影や、シーン中の平面からは、共面性以外の情報が得られる。このような情報の例を、図３（Ａ）を用いて説明する。
（１）地面が平面π_０であり、直線状の物体λが地面と垂直に立っている場合を考える。それぞれの影に対応する平面を、π_１、π_２とすると、λ⊥π_０より、π_０⊥π_１、π_０⊥π_２が成り立つ。
（２）図３（Ａ）で写った直方体Ｂの側面を、π_３、π_４、π_５とする。Ｂが直方体であるという情報があれば、π_３、π_４、π_５は互いに直交する。また、Ｂが地面に接していれば、π_３とπ_０は並行である。上記のような情報（シーンに含まれる幾何学的条件）から得られる方程式から、解に残された自由度に対応する変数を決定し、ユークリッド復元を実現できる。さらに十分な情報があれば、カメラパラメータが未知である場合に、このパラメータを同時に推定することも可能である。

上記の例で上げた幾何学的条件において、π_０⊥π_１、π_０⊥π_２は、ｉｍｐｌｉｃｉｔな共面性に対応する平面（π_１、π_２）とｅｘｐｌｉｃｉｔな共面性に対応する平面（π_０）との幾何学的条件である。また、π_３、π_４、π_５は互いに直交するという条件は、ｅｘｐｌｉｃｉｔな共面性に対応する平面同士の幾何学的条件である。

また、上記した幾何学的条件としては、射影解を求めるために用いた共面性条件に対応する平面のパラメータを変数とする数式として表現可能な条件であれば、ほとんどの条件が利用可能である。ただし、共面性、共線性など、射影変換に対して不変な条件は利用することができない。利用可能な幾何学的条件の例としては、２次元画像に撮影された物体を構成する平面（ｅｘｐｌｉｃｉｔな共面性に対応する平面）同士の直交性、それら平面同士の平行性、平面上の直線の直交性または平行性が挙げられる。また、上記の例に挙げたように、ｉｍｐｌｉｃｉｔな共面性に対応する平面と、ｅｘｐｌｉｃｉｔな共面性に対応する平面との直交性または平行性も利用できる。また、ｅｘｐｌｉｃｉｔな共面性に対応する平面上の２本の直線の直交性や、平行性も利用できる。更に、シーン中の平面や点、線などの間の距離を幾何学的条件として利用することもできる。このような距離の例としては、２次元画像に撮影された物体を構成する平面同士の距離や、平面上の２点の間の距離、平面上の平行線の間の距離などが利用できる。さらに、これらの距離の比率が既知であれば、それも幾何学的条件として利用可能である。ここで、幾何学的条件としては、列挙された条件の中から２個以上が組み合わされて使用されても良い。また、これらの幾何学的条件の一部は、メトリック条件と呼ばれる場合もある。

利用する幾何学的条件によっては、最終的に得られるユークリッド解において、スケーリングを決定できない場合がある。このような解であっても、実用上問題ない場合も多い。スケーリングを決定できない場合、ユークリッド復元をメトリック復元、ユークリッド解をメトリック解と呼ぶことがある。

非特許文献９に記載の技術と本発明との違いの一つについて述べる。非特許文献９ではレーザ平面（ｉｍｐｌｉｃｉｔな共面性に対応する平面）同士の関係のみをユークリッド復元に利用しているため、ラインレーザ1個のみの構成では射影解しか得られず、ユークリッド解を得るためにはラインレーザを複数個組み合わせる必要があった。これに対し、本発明ではシーン中の平面（ｅｘｐｌｉｃｉｔな共面性に対応する平面）を含めた幾何学的条件を考慮することで、ラインレーザ1個のみの構成でのユークリッド復元を実現することができる。

＜第３の実施の形態：画像処理方法の説明＞
本実施の形態では、図４を参照して、２次元画像から３次元形状を復元する画像処理方法を説明する。本実施の形態の画像処理方法は、カメラで撮影された画像から共面性に基づくデータを獲得するステップＳ１０と、獲得された共面性から射影復元を行って射影解を得るステップＳ１１と、２次元画像に写り込んだメトリックな条件を用いて射影解からユークリッド解を算出するステップＳ１２と、復元された３次元点を用いてｉｍｐｌｉｃｉｔ共面な曲線上の点を３次元復元するステップＳ１３から成る。画像処理方法の基本的な方針は、シーンから多くの共面な曲線群および領域群を取得し、それらの交点群から得られる多数の拘束式を、連立方程式として数値的に解くことである。共面性の拘束式を方程式としたとき、方程式系の解は４自由度を持つため、ユークリッド解を得るためには、これにメトリック拘束を加える必要がある。以下に各ステップの詳細を示す。

ステップＳ１０：データの獲得
本ステップでは、影が投影されたシーンを固定カメラで撮影し、２次元の画像系列を得る。この系列の各画像から直線的な遮蔽物の影のエッジを検出することで、ｉｍｐｌｉｃｉｔな共面性を持つ曲線群を抽出することが出来る。また、シーンに平面領域があれば、それらの領域からサンプリングされた点は、ｅｘｐｌｉｃｉｔな共面性を持つ点集合とすることができる。また、以下のステップＳ１１およびステップＳ１２では、計算を効率的に行うために、幾つかの代表的なフレーム（２次元画像）を選択し、それらのフレームから抽出された共面性を持つ曲線のみを用いるものとする。

また、フレームの選択方法に関しては、自動に選択することも可能である。この時、交点を持たなかったり、共線性を持つなどの、意味の無いフレームを予め除去することで、以降の計算において、処理に要するフレームを減らすことが出来る。

具体的には、本ステップでは次のような処理を行う。即ち、シーン中の共面性を、投影された影の境界を検出することで行う。密な形状復元を行うために、連続して撮影された画像系列から、影領域のエッジを抽出する。影領域をシーン中から完全に自動抽出することは容易ではない。しかし、影の検出は長く研究されており、それら多くの手法を利用することが出来る。

この事項は既に公開された文献に記載されており、例えば、Ｃ．ＪｉａｎｇａｎｄＭ．Ｏ．Ｗａｒｄ： “Ｓｈａｄｏｗｓｅｇｍｅｎｔａｔｉｏｎａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎｉｎａｃｏｎｓｔｒａｉｎｅｄｅｎｖｉｒｏｎｍｅｎｔ“，ＣＶＧＩＰ：ＩｍａｇｅＵｎｄｅｒｓｔ．５９，２，ｐｐ２１３-２２５（１９９４）．に記載されている。更に、係る事項は、Ｅ．Ｓａｌｖａｄｏｒ，Ａ．ＣａｖａｌｌａｒｏａｎｄＴ．Ｅｂｒａｈｉｍｉ： “Ｃａｓｔｓｈａｄｏｗｓｅｇｍｅｎｔａｔｉｏｎｕｓｉｎｇｉｎｖａｒｉａｎｔｃｏｌｏｒｆｅａｔｕｒｅｓ“，Ｃｏｍｐｕｔ．Ｖｉｓ．ＩｍａｇｅＵｎｄｅｒｓｔ．９５，２，ｐｐ２３８-２５９（２００４）．にも記載されている。

今回は対象が定点カメラにおける動画像であることから、時空間解析を用いることで安定した影の検出を行うことができる。以下に処理の手順を述べる。
（１）定点カメラの映像を一定時間間隔でキャプチャし、フレーム間差分により背景領域の除去を行う。
（２）こうして得られた画像列を積層し、時空間画像を作成する。
（３）時空間画像に対して、領域拡張法によるセグメンテーションを３次元空間に適用し領域分割を行う（理想的には、これら領域は、「影」と「影以外」のボリュームからなる）。
（４）分割された領域中には、ノイズなどの影響により「影」以外の領域が多数含まれるため、閾値以下の領域を削除した後、影にあたる領域をインタラクティブに選択する。
（５）その領域を各フレームに再分割し、各フレーム上でエッジを抽出する。

上記手法により得られた、影の境界が通る平面（以下このような平面を影平面と呼ぶ）と対象物体との交わりが、ｉｍｐｌｉｃｉｔ共面な曲線群として検出される。また、シーン中に平面がある場合、この平面に対応する領域上の全ての点は、共面である。実際には、領域上の全ての点を抽出する必要は無く、図３（Ｂ）のように、その平面を通るｉｍｐｌｉｃｉｔ共面な曲線と交点を持つように、その領域上に手動で直線や曲線を適当に設定すれば良い。得られた交点は、それぞれ、複数の平面上にある。こうして得られた交点集合の共面性情報を用いて、以下で述べる手法により３次元復元及び自己校正を実現する。

共面性情報の獲得には、影の代替としてラインレーザを使用することもできる。この場合、ラインレーザを対象シーンに照射しながら撮影を行ない、撮影された画像中からラインレーザに照射された点の軌跡を抽出すればよい。この場合、ラインレーザが通過する３次元空間中での平面を、レーザ平面と呼ぶことがある。

ステップＳ１１：射影復元
本ステップでは、共面性からの形状復元（ｓｈａｐｅｆｒｏｍｃｏｐｌａｎａｒｉｔｙ）を行う。即ち、共面性の情報から多数の拘束式を抽出し、これらの拘束式から得られる線形連立方程式を数値的に解くことで、４以上の自由度を持つ射影解が得られる。

具体的には、先ず、影平面、レーザ平面、およびシーン中の平面集合を考え、ｊ番目の平面をπ_ｊとする。カメラ座標系において、平面π_ｊを以下の方程式で表す。

ここで、Ｎ個の平面とＭ個の点があり、各点は必ず複数の平面に属するとする。また、各平面は必ず３個以上の点を含むとする。そしてｉ番目の点をξ_ｉとする。カメラで撮影されたξ_ｉの画像平面上での位置を（u_ｉ、ｖ_ｉ）とする。π_ｊとπ_ｋの交点ξ_ｉの透視投影が、画像平面上の点（u_ｉ、ｖ_ｉ）であるとする。カメラパラメータを、焦点距離をｆ、画素の一辺の長さをｐとして、α＝ｐ／ｆで表し、ａ^＊ _ｊ＝αａ_ｊ、ｂ^＊ _ｊ＝αｂ_ｊ、とすると、ξ_ｉへのカメラ座標系での視線方向は、（αu_ｉ、αｖ_ｉ、-１）である。これより、

である。ただしｚ_ｉは、ξ_ｉのｚ座標である。この式の両辺をｚ_ｉで割り、さらにt_ｉ＝１／ｚ_ｉ、ａ^＊ _ｊ＝αａ_ｊ、ｂ^＊ _ｊ＝αｂ_ｊ、で置き換えると、

が得られる。ξ_ｉはπ_ｋ上の点でもあるので、

である。式（３）と式（４）から各交点について、ａ^＊ _ｊ、ｂ^＊ _ｊ、c_ｊを変数とする次の連立線形斉次方程式が得られる。

上記の連立方程式における係数行列をＬ、解ベクトルを３Ｎ次ベクトルｘ=(ａ^＊ ₁、ｂ^＊ ₁、c₁、ａ^＊ ₁、ｂ^＊ ₁、c₁、…)とおくと

と表すことができる。この問題を数値的に解くために、特異値分解を用いることができる。Ｌの特異値分解をＬ＝ＵΣＶ^Ｔとする。ここで、ＵはＭ次、Ｖは３Ｎ次の直交行列であり、ΣはＭ行３Ｎ列行列で、Ｌのｉ番目の大きさの特異値をλ_ｉで表すとき、Σ_ｉ、ｉ＝λ_ｉ、Σ_ｉ、ｊ＝０（ただし、ｉ≠ｊ）である。更に、上記した非特許文献９からＲａｎｋ（Ｌ）＝３Ｎ-４であることから、

であり、これを式（６）に代入すると、

であることと、Σの形から、

が得られる。ただし、ｆ_１、・・・、ｆ_４は、４個の自由な変数である。
これより解ｘは、

となる。これは、平面のパラメータ空間の中の、４次元部分空間である。射影解の自由度が４であることは、解にスケーリングの１自由度があることと、すべてが同一の平面であるという、３自由度を持った自明な解が存在することに対応している。実際の問題では誤差のために上記式（７）が完全には成り立たたない。その場合でも、上の解は、方程式Ｌｘ＝０について、Ｍａｘ_ｘ∈Ｖ（‖Ｌｘ‖／‖ｘ‖）を最小化するような４次元部分空間Ｖになるので、解法はそのままでよい。

ステップＳ１２：ユークリッド復元
シーン内に、直交性や平行性を持った構造物が写っていることがある。それら直交性や平行性などの幾何学的条件からは、共面性とは別の拘束式が得られるため、これを非線形解法により解くことで、射影解からユークリッド解を得ることが出来る。

具体的には、上記ステップＳ１１で得られた射影解は、ｆ_１、・・・、ｆ_４による４自由度を持つ。これにはスケーリングの自由度が含まれる。また、カメラの内部パラメータαが未知である場合、パラメータαによる自由度も射影解に含まれる。これらの自由度は共面性の条件のみでは解消できない。ただし、シーンに含まれる幾何学的条件によって射影解の自由度の一部、あるいはすべてを解消できる場合がある。

例として、平面π_ｓと平面π_tの直交性が既知情報として与えられているとする。平面π_sの単位法線ベクトルを、変数ベクトルｆの関数として、n_s（ｆ、α）＝Ｎ（（ａ_s（ｆ、α）ｂ_s（ｆ、α）-１）^Ｔ）とおく。ただしＮ（）は、ベクトルの正規化を表すとする。すると、直交性の条件は次のように記述できる。

上記のような非線形な拘束式を解くための方法としては、ｆに関する非線形最適化を利用する。例えば、非線形最適化を、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用いて実装することができる。

カメラパラメータαが未知の場合には、幾何学的条件は、ｆ及びαの関数として表現可能であるので、非線形最適化によってこれらのパラメータの値を推定する。

一方、カメラパラメータが既知の場合には、ｆのみによる最適化を行ない、ｆの値を推定する。

これにより、ステップＳ１１で述べたＮ個の平面とＭ個の点の位置が求められる。

非線形最適化を実行する場合、初期値の決定の仕方が問題になる。このためには、適当な平面パラメータから、線型方程式の解ベクトルｘ_ｉを作成し、これからｆ_Ｉ＝Ｖ^Ｔｘ_Ｉとし、ｆ_Ｉの最後の４個の要素をｆ_１、・・・、ｆ_４の初期値とすることで自由変数を決定することができる。これは、平面パラメータｘの空間（３Ｎ次元）から、線形方程式の解空間（４次元）に対し、ｘ_Ｉとｆ_Ｉのユークリッド距離が最小になるように射影を行うことに相当する。この方法により、任意の平面パラメータの組み合わせから、共面性の条件の満たされた平面パラメータを得ることが出来る。

ステップＳ１３：密な形状復元
ここまでのステップの処理は、効率的な計算のため少ないフレームを用いた形状復元であったため、既に復元された３次元点を用いて、全ての画像列の共面な曲線の３次元復元を行うことで、シーンの密な形状復元を実現する。

具体的には、さらに、ここまでのステップでの復元結果をもとにして、画像系列の全ての画像における３次元復元を行うことで密な形状復元を実現できる。以下にその処理の手順を述べる。

まず、既に推定された影平面あるいはレーザ平面（請求項９に記載の第１平面）について、対応するｉｍｐｌｉｃｉｔ共面な曲線を抽出し、曲線上の全ての点を三角測量の原理で３次元復元する。

次に、画像列のすべての画像におけるｉｍｐｌｉｃｉｔ共面な曲線（請求項１０に記載の軌跡）を求める。これは、影を用いた復元の場合には、時空間画像におけるセグメンテーションなどにより、ラインレーザを用いた復元の場合にはレーザ軌跡の抽出などにより求めることができる。画像系列全ての画像についてｉｍｐｌｉｃｉｔ共面な曲線が求まっていることから、それらの曲線と既に３次元復元された曲線との交点（請求項１０に記載の共有点）を複数検出する。こうして得られた複数の３次元点を主成分分析によって平面近似することで影平面あるいはレーザ平面の推定を行う。影平面が得られればその曲線上の全ての点の３次元点を復元できる。これを繰り返すことで、全ての影曲線の形状復元が実現できる。

また、上記した画像処理方法は、ＨＤＤ等の記憶手段に格納されたプログラムにより順次実行可能である。

＜第４の実施の形態：実験結果の説明＞
上記した第３の実施の形態で述べた手法を実装し、その有効性を確かめるための実験を、ＣＧにより生成したデータと、実データについて行った。この時、スケーリングの自由度を残したユークリッド復元を実現するためのメトリックな拘束として、シーン中にある既知の情報を用いた。この情報は、（１）直方体の角などにある直角成分と、（２）影が１つの棒から投影されている時に、対応する全ての影平面がその棒で交わる、という２つである。またここで、影の代替としてレーザを使用することもできる。

図５を参照して、先ず、シミュレーションデータに関して説明する。図５（Ａ）および図５（Ｂ）はＣＧで生成したときのデータを示す。これらのデータは、平面状の床の上にバニーの形状データと鉛直なポールの３つのオブジェクトが置いてあるシーンとなっている。このシーンの手前側で光源が動くことで、シーンの奥の方向に向かって出来ている影が動く。この影による曲線を検出して拘束式を作る。ここでは、１６０枚の画像が使用され、１６０個の影平面と床面とが復元の対象となった。影平面の非線形最適化の初期値を、光源が手前側の左右どちらに存在しているかということから与えた。

この例では、影平面については全て右側の光源から生成されるので、ｚ＝ｘ-１．０という初期値を与え、床面の初期値はｚ＝ｙ-１.０とした。これらの条件の下で、ユークリッド復元を行った。上記したように、この問題設定ではスケーリングの自由度は解消不能なので、４自由度からのアップグレードは３変数の非線形最適化問題として解を求めることで行った。ユークリッド復元のための拘束としては、ポールが床面と垂直であることから、影平面のうちの２個についての床面との直交条件と、床面の角の一つの直交性を用いた。復元結果を正解と比較するために、正解位置を利用して、カメラからの平均距離が正解に等しくなるようにスケーリングを施した。

図５（Ｃ）および図５（Ｄ）に、結果として得た曲線と、正解形状にシェーディングを施したものを示す。復元結果は正解形状に非常に近く、ほぼ正しい形状が復元された。

図６を参照して、次に、室内で、光源としてプロジェクタを用いて、実際のシーンについて実験を行った。カメラの内部パラメータは未知である。計測手順として、まず、対象物体にビデオカメラを向け、光源であるプロジェクタおよび、影を作る棒状の物体をそれぞれ自由に動かしながら、対象物体に出来る影を撮影し、画像系列を得た。続いて、この画像系列から、適当な画像を複数枚選択し、それらの画像上で影が作る曲線を検出し、それら曲線どうしの交点から本形態により３次元復元を行った。

実験では、７枚の画像を選択し、シーンの３次元復元を行った。復元に用いた対象物体、入力画像と検出された曲線、復元結果を図６（Ａ）乃至図６（Ｆ）に示す。ここで、図６（Ａ）および図６（Ｂ）は実験状況を撮影した画像であり、図６（Ｃ）および図６（Ｄ）は３次元復元を行った結果の画像であり、図６（Ｅ）および図６（Ｆ）は復元された３次元形状にテクスチャを適用させたものである。特に、図６（Ｅ）等を参照すると、密な形状がテクスチャつきで正しく復元できていることが分かる。３Ｄｐｈｏｔｏｇｒａｐｈｙとは異なり、光源も影を作る棒も自由に動かしても正しく形状復元できており、これは本形態の大きな効果である。

図７を参照して、次に、本形態の手法の精度を検証するため、箱と円筒状の物体を、本形態の手法および空間コード化法の２つの手法で計測し、空間コード化法による形状を正解とし比較を行った。

ここで、空間コード化法は、Ｋ．ＳａｔｏａｎｄＳ．Ｉｎｏｋｕｃｈｉ： “Ｒａｎｇｅ−ｉｍａｇｉｎｇｓｙｓｔｅｍｕｔｉｌｉｚｉｎｇｎｅｍａｔｉｃｌｉｑｕｉｄｃｒｙｓｔａｌｍａｓｋ“，Ｐｒｏｃ．ｏｆＦｉｒｓｔＩＣＣＶ，ｐｐ．６５７−６６１（１９８７）．に記載されている。

図７（Ａ）および図７（Ｂ）に本形態による計測シーンを、図７（Ｃ）および図７（Ｄ）に計測結果を示す。また、図７（Ｅ）および図７（Ｆ）に、本形態により復元された結果（シェーディング表示）に、正解形状（ワイアフレーム表示）を重ねて示した。本形態はスケーリングが不定のため、正解形状との比較にあたり、平均の深さ値が一致するようにスケーリングを施した。図７（Ｅ）および図７（Ｆ）より、本形態による復元結果は正解形状に対して少しずれが見られるものの正しく形状復元できていることが分かる。また、ＲＭＳ誤差は、平均デプス値を１として１.８０ラ１０^-２であった。

図８を参照して、次に、屋外に設置された内部パラメータ未知な定点カメラによる映像からの形状復元を行った。これは、屋外に設置された定点カメラから転送されてくる画像を一定時間取り込み、そのシーンに写っている影から本形態により形状復元を行うものである。シーン内には、共面性を持たない多くの影も存在しており、完全な影の自動抽出は困難ではあるが、本形態の時空間画像処理手法により、共面性を持つ影のみを簡単な操作でインタラクティブに抽出することが出来る。用いたシーン画像の例と、復元結果を図８（Ａ）乃至図８（Ｅ）に示す。

ここで、図８（Ａ）および図８（Ｂ）は入力された２次元画像であり、図８（Ｃ）および図８（Ｄ）は３次元復元を行った結果の画像であり、図８（Ｅ）および図８（Ｆ）は復元された３次元形状にテクスチャを適用させたものである。影抽出段階で細かいデティールを削除してしまうため、滑らかな形状となっているが、本形態により、定点カメラに写ったシーンが正しく形状復元できていることが分かる。

以上の実験結果から、次のことを述べることができる。即ち、本実施の形態では、光源の位置が固定されておらず未知であり、またカメラが未校正な場合であっても、シーン内に写る直線物体の影を複数用いて、３次元の形状を復元できる。これは、従来の線画研究において、平面同士の交線から、共面の性質を利用して多面体の形状解析の手法として提案されたものを、一般の曲面に拡張した手法となっている。その際、共面性のみによる復元では４自由度の射影解しか得られないため、これに幾何学的条件を加えユークリッド解を計算し、同時にカメラの内部パラメータの推定を実現する。また、本実施の形態は、影領域をシーンから安定して抽出するための時空間画像解析手法としても利用できる。

＜第５の実施の形態：他の画像処理方法の説明＞
上記方法では、レーザや影によるｉｍｐｌｉｃｉｔな共面性と２次元画像に含まれるｅｘｐｌｉｃｉｔな共面性とを利用して３次元形状を復元した。しかしながら、本実施の形態の画像処理方法では、ｉｍｐｌｉｃｉｔな共面性を使用せずに、２次元画像に含まれるｅｘｐｌｉｃｉｔな共面性のみを使用して３次元形状を復元することも可能である。

図９および図１０を参照して、ｅｘｐｌｉｃｉｔな共面性のみを用いて２次元画像から３次元形状を復元した例を説明する。

ここでは、２つのシーン（２次元画像）を用いた。第１のシーン（図９参照）は、従来からの復元方法にて仮定された幾何学的条件を含むものである。すなわち、この第１のシーンは、互いに垂直な方向の一対の消失点を含む。図１０に示す第２のシーンは、従来からの復元方法にて仮定された幾何学的条件を含まないものである。

図９（Ａ）は、第１の実験に用いられた画像を示す。この画像を撮影したカメラのパラメータは未知である。このシーンから、共面性と直交性が抽出された。そして、シーンの復元と固有パラメータの推定が、この２次元画像に対して実行された。ここで、ユークリッド復元の際の仮定は、α_ｕ＝α_ｖ、ｕ_ｃ＝ｖ_ｃ＝０である。

この復元では、スケールを除いてユークリッド解が求められた。図９（Ｂ）および図９（Ｃ）は、ユークリッド復元の結果を示す。これらの図を参照すると、３次元シーンは、直交性および平行性を含めて的確に復元されている。

図１０を参照して、次に、２つの柱を含むシーンの合成とＣＧイメージの復元を行った。更に、このＣＧイメージに対して復元処理を行った。ここで、図１０（Ａ）は合成データからの復元であり、図１０（Ｂ）は実際の３Ｄモデルであり、図１０（Ｃ）は図１０（Ｂ）と同じ方向と視点から描画された復元モデルであり、図１０（Ｄ）および図１０（Ｅ）は実際の３Ｄモデルと、推定された３Ｄポイントとの差を示す図である。

図１０（Ａ）を参照して、この柱の形状は細長い直方体である。また、この直方体形状の柱の上面は不可視であり、底面は床により塞がれている。互いの柱の短手方向の縁の比は既知であると仮定されている。

２つの平行性がシーンに存在しているが、この平行性を示す平行線の方向の角度は未知である。更に、長方形の箱や平行６面体の形状も、シーンに存在しない。従って、この様な特徴を仮定する復元方法は、このシーンの復元には使用できない。

しかしながら、このシーンには、十分な数の幾何学的条件がある。すなわち、柱の２つの面の直交性、２つの短いエッジの比、柱に沿った２つの平行性である。従って、本形態の方法が利用可能である。スケーリングを除いてユークリッド復元を行なった。また、α_uは、α_ｕ＝α_ｖ、ｕ_ｃ＝ｖ_ｃ＝０と仮定した。

復元の結果は、図１０（Ｂ）乃至図１０（Ｅ）に示されている。図１０（Ｄ）と（Ｅ）において点で示されているのが３次元復元結果であり、シェーディング表示されているのが正解である。これらの図から、非常に高い精度で復元できていることが図から確認できる。ここで、α_ｕは、１．１０１×１０^３と評価された。一方、α_ｕの真の値は、１．１２０×１０^３である。従って、シーンは適切に復元されており、更に、α_ｕは正しく評価されている。定量的に復元のエラーを評価するために、深さについて、誤差と、真の値との比を算出した。この比の平均平方の累乗根は、１．９９０×１０^−３であった。

本発明によれば、例えば、ネットワーク上で公開されている定点カメラで内部パラメータが未知であり、キャリブレーションや棒の移動など、現地での作業が不可能な場合でも、計測された２次元画像から、３次元形状を生成することができる。具体的には、カメラパラメータ等のパラメータが未知であっても、太陽の動きによる影の移動を一定時間撮影することで、３次元形状を復元することができる。また、１本のレーザのみを用いた形状復元が可能となるため、ピラミッドのような巨大な物体や、原子炉の中のように複雑な装置を運び込むことが難しい場所でも３次元形状を復元できるようになる。

本発明の画像処理装置を示す図である。本発明の原理を説明するための図であり、（Ａ）はｅｘｐｌｉｃｉｔな共面性を説明するための図であり、（Ｂ）はｉｍｐｌｉｃｉｔな共面性を説明するための図である。（Ａ）および（Ｂ）は、共面性を説明するための図である。本発明の画像処理方法を説明するためのフローチャートである。（Ａ）乃至（Ｄ）は、本発明の画像処理方法を実装して行った実験結果を示す図である。（Ａ）乃至（Ｆ）は、本発明の画像処理方法を実装して行った実験結果を示す図である。（Ａ）乃至（Ｆ）は、本発明の画像処理方法を実装して行った実験結果を示す図である。（Ａ）乃至（Ｆ）は、本発明の画像処理方法を実装して行った実験結果を示す図である。（Ａ）乃至（Ｃ）は、本発明の画像処理方法を実装して行った実験結果を示す図である。（Ａ）乃至（Ｅ）は、本発明の画像処理方法を実装して行った実験結果を示す図である。

符号の説明

１０画像処理装置
１２画像処理部
１４射影解算出部
１６ユークリッド解算出部
１８曲線復元部
２０制御部
２２入力部
２４記憶部
２６表示部
２８操作部

Claims

入力された２次元画像から３次元形状を復元する画像処理装置であり、
前記２次元画像から抽出された共面性を基に、前記共面性に対応する第１平面及び前記第１平面同士の交点である第１交点の解である第１解を算出する第１算出部と、
前記２次元画像中のシーンに含まれる幾何学的条件を利用して前記第１解の自由度を解消して、前記第１交点と前記第１平面の解である第２解を算出する第２算出部と、
を具備することを特徴とする画像処理装置。
前記第１算出部にて用いられる共面性は、前記２次元画像上のシーン中には物理的に存在しない平面による共面性である第１共面性のみであることを特徴とする請求項１記載の画像処理装置。
前記第１共面性は、直線的な形状を有する遮蔽物により前記２次元画像に射影された影の境界の共面性であることを特徴とする請求項２記載の画像処理装置。
前記第１共面性は、１つのラインレーザプロジェクタで照射されたレーザーの軌跡の共面性であることを特徴とする請求項２記載の画像処理装置。
前記第１算出部にて用いられる共面性は、前記２次元画像上のシーン中に物理的に存在する平面による共面性である第２共面性のみであることを特徴とする請求項１記載の画像処理装置。
前記第１算出部にて用いられる共面性は、
前記２次元画像上のシーン中には物理的に存在しない平面による共面性である第１共面性と、前記２次元画像上のシーン中に物理的に存在する平面よる共面性である第２共面性との両方を含むことを特徴とする請求項１記載の画像処理装置。
前記第２算出部にて用いられる前記幾何学的条件は、
前記２次元画像に撮影された物体を構成する平面である第２平面同士の直交性、前記第２平面同士の平行性、前記第２平面上の直線の直交性または平行性、前記第２平面上の直線の直交性または平行性、前記第１平面と前記第２平面の直交性または平行性、前記２次元画像に撮影された平面または直線または点の間の距離、または前記距離の比率を含むことを特徴とする請求項１記載の画像処理装置。
前記第１解の自由度は、前記２次元画像を撮影したカメラの内部パラメータの自由度を含み、前記第２算出部において前記内部パラメータの自由度を解消することを特徴とする請求項１記載の画像処理装置。
前記２次元画像上において抽出される前記第１平面上の点について、その３次元位置を三角測量の原理で復元する曲線復元部と、
を具備することを特徴とする請求項１記載の画像処理装置。
前記曲線復元部では、前記第１共面性に対応する平面であり且つ３次元位置が求まっていない第２平面について、前記２次元画像上で前記第２平面がシーンと交わる軌跡を抽出し、前記軌跡と前記得られた第１平面上の点の３次元位置との前記２次元画像上での共有点から前記第２平面のパラメータを推定することを特徴とする請求項９記載の画像処理装置。
入力された２次元画像から３次元形状を復元する画像処理方法であり、
前記２次元画像から抽出された共面性を基に、前記共面性に対応する第１平面及び前記第１平面同士の交点である第１交点の解である第１解を算出するステップと、
前記２次元画像中のシーンに含まれる幾何学的条件を利用して前記第１解の自由度を解消して、前記第１交点と前記第１平面の解である第２解を算出するステップと、
を具備することを特徴とする画像処理方法。
入力された２次元画像から３次元形状を復元する画像処理装置に、
前記２次元画像から抽出された共面性を基に、前記共面性に対応する第１平面及び前記第１平面同士の交点である第１交点の解である第１解を算出する機能と、
前記２次元画像中のシーンに含まれる幾何学的条件を利用して前記第１解の自由度を解消して、前記第１交点と前記第１平面の解である第２解を算出する機能と、
を実行させることを特徴とするプログラム。