JP2008191072A - ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】物体の一部の部分が欠落して画像に撮像された場合でも、その欠落した部分を補完し、該物体の３次元形状を完全に復元する。
【解決手段】まず、物体を含む復元空間全体を特定の部分復元領域に分割して、該部分復元領域に関する初期計算を行う（Ｓ４００１）。次に、複数の撮像装置を用い、異なる視線方向から前記物体を撮像した入力画像を画像取得手段を介して取得する（Ｓ４０３）。次に、前記入力画像から前記物体に関するシルエット画像を作成する（Ｓ４０４）。そして、前記部分復元領域を１つの疎なボクセルと見做し、該疎なボクセルに基づいて、前記部分復元領域から前記物体が存在する部分復元領域を選択し、該選択された部分復元領域の領域内を密なボクセル群で表現し、該密なボクセル群を用いたボクセル表現を適応し３次元復元計算を行う（Ｓ４００２）。
【選択図】図１

Description

本発明は、コンピュータビジョンにおける３次元形状生成技術に関するものである。

動的物体、とりわけ、動く人体の３次元形状データ（以下、単に３次元形状という）は、人物の姿勢推定、動き解析、行動理解といった研究分野に広く利用されているだけでなく、高臨場感ヒューマンマシンインタフェースの実現、ゲーム、映画撮像などのエンターテイメントの応用分野でも効果的な表現素材として注目を集めている。

詳細な３次元形状を計算する代表的な従来方法としては、視体積交差法という計算方法が提案されており、近年、その計算方法に基づくシステムが数多く開発されている。

視体積交差法の基本原理を図６に基づいて説明する。図６ａ中の対象物体Ｃをカメラ（例えば、デジタルカメラなど）などによって撮像すると、例えば、撮像面ＳＰに対象物体Ｃに応じた２次元シルエットＤ_Aが得られる。

次に、カメラの投影中心Ｐ_Aから前記２次元シルエットＤ_Aの輪郭上の各点を通すように、３次元空間中に広がる錐体Ｖ_Aが形成される。この錐体Ｖ_Aを該当するカメラに基づく対象物体Ｃの視体積という。例えば、視体積は、図６ｂ中の錐体Ｖ_Aである。

さらに、図６ｃにおいて、複数の視体積（例えば、投影中心Ｐ_Aに対応する錐体Ｖ_Aと投影中心Ｐ_Bに対応するＶ_B）の共通領域、即ち、視体積の交差（Ｖｉｓｕａｌ Ｈｕｌｌ）ＶＨを求めることによって、対象物体Ｃの３次元形状を求めることができる。

また、３次元形状の表現として、ボクセル表現が知られてきている。ボクセル表現では、３次元空間を複数のボクセルと呼ばれる小さい立方体に分割し、対象が占める空間領域に含まれるボクセル集合を以って、対象の３次元形状を表現する。

ボクセル表現による視体積交差法を行う手順を図７に基づいて簡単に説明する。

図７中の復元空間ＡＲ中の全てのボクセルを順に各カメラＣＭに対応したスクリーンＳＣへ投影し、投影先の状況に従って、該当ボクセル（例えば、ボクセルＢＸ）が対象形状に含まれるか否かを決定する。より具体的には、ボクセルＢＸを投影した際に、全てのカメラＣＭにおける投影先がシルエットに含まれていた場合、対象形状の一部と決定される。また、投影先がシルエット外となるカメラが１台でもあった場合、対象形状の一部ではないと決定される。全てのボクセルに対して、上記の計算を繰り返すことによって、対象の３次元形状がボクセルの集合として求まる。

なお、従来の３次元形状の計算方法は、２次元シルエット拘束の原理を説明し、視体積交差法の基本アルゴリズム（例えば、非特許文献１）、視体積交差法におけるボクセル投影を高速演算するアルゴリズムおよび視体積交差法の並列化処理手法（例えば、非特許文献１）、視体積交差法の応用として、高精細３次元ビデオの実現方法（例えば、非特許文献３）が知られている。

前記非特許参考文献１〜３における３次元形状の計算方法は、すべて完全な対象シルエットが観測されることが前提条件の方法であって、部分観測シルエットからは完全な対象形状が復元できないという欠点を有していた。

ここで、ボクセル表現による視体積交差法に基づいた３次元形状復元方法の処理手順の一例を図８に基づいて詳細に説明する。

まず、複数の撮像装置（例えば、デジタルカメラ；以下、単にカメラという）を用い、異なる視線方向から対象を撮像し、多視点入力画像を得る（Ｓ３０１）。

次に、画像処理を行い、各多視点入力画像から対象の多視点シルエット画像を得る（Ｓ３０２）。

次に、一つのボクセルをすべてのシルエット画像へ投影する（Ｓ３０３）。

そして、それぞれのシルエット画像において、投影されるボクセルがシルエットに含まれるか否かを判定する（Ｓ３０４）。

さらに、図８における３次元形状復元方法の処理手順を詳細に説明する。

まず、最初のステップＳ３０１では、個々のカメラをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に接続し、復元対象を取り囲むように異なる視線方向から対象を撮像するように視点を決め、この視点に従って前記複数のカメラを配置する。このカメラ配置によって、多視点からの入力画像が得られる。この処理で得られた多視点入力画像の一例が図９である。なお、図９中の符号Ｐ１１〜Ｐ１４で示す画像は、４つの異なる視点から求めた画像の例である。また、図９中の画像Ｐ１１〜Ｐ１４は、対象の人物がすべて映っている（含まれている）例でもある。

次に、ステップＳ３０２では、ステップＳ３０１で得られる画像とあらかじめ撮像された背景の画像と差分をとり、シルエット画像を計算する。図１０中のシルエット画像ＳＬ１１〜ＳＬ１４は、図９の入力画像Ｐ１１〜Ｐ１４に対して、この処理を実行した結果である。シルエット画像ＳＬ１１〜ＳＬ１４は、図９と同じく、４つの方向からのシルエット画像の例である。この例でも、当然ながら対象の人物がすべて映っている（含まれている）。

次に、ステップＳ３０３では、ステップＳ３０２で得られたシルエット画像（即ち、シルエット画像ＳＬ１１〜ＳＬ１４）を投影先とし、該当シルエット画像の入力カメラの投影中心から、ボクセルが表す実空間中の点を通る直線がシルエット画像面との交点を求める処理である。この処理によって、１つのボクセルをすべてのシルエット画像へ投影できる。

そして、ステップＳ３０４では、シルエット画像上において、ステップＳ３０３で求めた投影先の位置はシルエットの内部か外部かについて、判定を行う。すべてのカメラについて、すべての投影先がシルエットに含まれる場合、該当ボクセルが対象に占用されると判定され、形状データとして計算結果に追加する。この判定によって、ボクセルが対象の形状に含まれているか否かを判定できる。

最終的に、すべてのボクセルに対して、上記ステップＳ３０３，Ｓ３０４の処理を繰り返すことによって、すべての処理が実施される。この処理によって、すべてのボクセルが対象の形状に含まれているか判定され、対象に含まれるボクセルが記録され、対象の３次元形状の復元を実現できる。
Ａ．Ｌａｕｒｅｎｔｉｎｉ，"Ｈｏｗ Ｆａｒ ３Ｄ Ｓｈａｐｅｓ Ｃａｎ Ｂｅ Ｕｎｄｅｒｓｔｏｏｄ ｆｒｏｍ ２Ｄ Ｓｉｌｈｏｕｅｔｔｅｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＩＥＥＥ，Ｆｅｂｒｕａｒｙ １９９５，１７（２），ｐ１８８−１９５． ウ小軍，和田俊和，東海彰吾，松山隆司、コンピュータビジョンとイメージメディア「平面間透視投影を用いた並列視体積交差法」、情報処理学会論文誌、情報処理学会、２００１年６月、Ｖｏｌ．４２ Ｎｏ．ＳＩＧ６（ＣＶＩＭ２），ｐ３３−４３。 Ｔ．Ｍａｔｓｕｙａｍａ，Ｘ．Ｗｕ，Ｔ．Ｔａｋａｉ，Ｓ．Ｎｏｂｕｈａｒａ，"Ｒｅａｌ−Ｔｉｍｅ ３Ｄ Ｓｈａｐｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，Ｄｙｎａｍｉｃ ３Ｄ Ｍｅｓｈ Ｄｅｆｏｒｍａｔｉｏｎ，ａｎｄ Ｈｉｇｈ Ｆｉｄｅｌｉｔｙ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｆｏｒ ３Ｄ Ｖｉｄｅｏ"，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，１７ Ｍａｒｃｈ ２００４，Ｓｐｅｃｉａｌ Ｉｓｓｕｅ"Ｍｏｄｅｌ−ｂａｓｅｄ ａｎｄ Ｉｍａｇｅ−ｂａｓｅｄ ３Ｄ Ｓｃｅｎｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ"，ｐ．３９３−４３４．

以上のように、従来の３次元形状の復元方法では、部分的に観測（部分観測）された不完全なシルエットのデータを入力する場合には、対象の完全な３次元形状を計算（即ち、復元）できない。

例えば、図８に示した処理手順では、図９中の画像Ｐ１１〜Ｐ１４，図１０中のシルエット画像ＳＬ１１〜ＳＬ１４に示すようにすべてのカメラから、対象物の全体が含まれていることが必要であった。このため、例えば、対象とする物体や人物の一部の部分が欠けていた場合（例えば、図１１中の画像Ｐ２１〜Ｐ２４、図１２中のシルエット画像ＳＬ２１〜ＳＬ２４に示すように、画像上人物の一部が欠けている場合）には、３次元形状を復元したときに、その部分が欠けてしまう事象が発生していた。

図１３は、３次元復元時に一部が欠けてしまう事象が発生した例である。図１３中の３次元復元画像Ｇ１１，Ｇ１２は、撮像された人物の３次元形状を復元した場合であるが、体の一部である頭部が欠けてしまっていることが判る。このように、従来方法では、すべてのカメラ入力画像が対象物の全体を含むものである必要があるため、図１１中の画像Ｐ２１〜Ｐ２４、図１２中のシルエット画像ＳＬ２１〜ＳＬ２４に示すように、いずれか１台でも対象物の全体を完全に含まないカメラ（あるいは、撮像した画像）がある場合には、本例のように一部が欠けてしまうという問題があった。

本発明は、前記課題に基づいてなされたものであって、物体の一部の部分が欠落して画像に撮像された場合でも、その欠落した部分を補完し、該物体の３次元形状を完全に復元する３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体を提供することにある。

前記課題の解決を図るために、請求項１記載の発明は、複数の撮像装置を用い、異なる視線方向から物体を各々撮像し、その撮像した画像を画像取得手段を介して取得し、該画像に基づいて該物体の３次元形状を復元する装置に使用する３次元形状復元方法であって、前記物体を含む復元空間全体を特定の部分復元領域に分割して、該部分復元領域に関する初期計算を行う初期計算ステップと、前記複数の撮像装置を用い、異なる視線方向から前記物体を各々撮像した入力画像を画像取得手段を介して取得する入力画像取得ステップと、前記入力画像から前記物体に関するシルエット画像を作成するシルエット抽出ステップと、前記部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群に基づいて、前記部分復元領域から前記物体が存在する部分復元領域を選択し、該選択された部分復元領域の領域内を密なボクセル群で表現し、該密なボクセル群を用いたボクセル表現を適応し３次元復元計算を行う復元計算ステップと、を有することを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記初期計算ステップが、前記分割された部分復元領域を完全に観測できる有効撮像装置を選別する撮像装置選別ステップ、を有し、前記復元計算ステップが、各部分復元領域を１つの疎なボクセルと見做し、該部分復元領域に対応した有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択ステップと、前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いた３次元形状復元計算を行う３次元形状復元ステップと、を有する、ことを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記復元計算ステップが、各部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群を視野内に捉えて観測できる有効撮像装置を前記撮像装置から選別し、該選別された有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択ステップと、前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いたボクセル表現に基づく３次元形状復元計算を行う３次元形状復元ステップと、を有する、ことを特徴とする。

請求項４記載の発明は、複数の撮像装置を用い、異なる視線方向から物体を各々撮像し、その撮像した画像を画像取得手段を介して取得し、該画像に基づいて該物体の３次元形状を復元する３次元形状復元装置であって、前記物体を含む復元空間全体を特定の部分復元領域に分割して、該部分復元領域に関する初期計算を行う初期計算手段と、前記複数の撮像装置を用い、異なる視線方向から前記物体を各々撮像した入力画像を前記画像取得手段を介して取得する入力画像取得手段と、前記入力画像から前記物体に関するシルエット画像を作成するシルエット抽出手段と、前記部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群に基づいて、前記部分復元領域から前記物体が存在する部分復元領域を選択し、該選択された部分復元領域の領域内を密なボクセル群で表現し、該密なボクセル群を用いたボクセル表現を適応し３次元復元計算を行う復元計算手段と、を備えることを特徴とする。

請求項５記載の発明は、請求項４記載の発明において、前記初期計算手段が、前記分割された部分復元領域を完全に観測できる有効撮像装置を選別する撮像装置選別手段、を備え、前記復元計算手段が、各部分復元領域を１つの疎なボクセルと見做し、該部分復元領域に対応した有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択手段と、前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いた３次元形状復元計算を行う３次元形状復元手段と、を備える、ことを特徴とする。

請求項６記載の発明は、請求項４記載の発明において、前記復元計算手段が、各部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群を視野内に捉えて観測できる有効撮像装置を前記撮像装置から選別し、該選別された有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択手段と、前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いたボクセル表現に基づく３次元形状復元計算を行う３次元形状復元手段と、を備える、ことを特徴とする。

請求項７記載の発明は、３次元形状復元プログラムであって、請求項１乃至３のいずれかに記載の３次元形状復元方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。

請求項８記載の発明は、記録媒体であって、請求項１乃至３のいずれかに記載の３次元形状復元方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。

前記請求項１，４記載の発明は、入力画像に応じたシルエット画像と疎なボクセルとに基づいて、補完可能な部分復元領域を選択できる。選択された部分復元領域によって、物体の存在領域を限定できる。

前記請求項２，５記載の発明は、有効撮像装置から得られた入力画像に応じたシルエット画像と疎なボクセルとに基づいて、補完可能な部分復元領域を選択できる。

前記請求項３，６記載の発明は、疎なボクセルを視野内に捉えた有効撮像装置から得られた入力画像に応じたシルエット画像に基づいて、補完可能な部分復元領域を選択できる。

前記請求項７記載の発明は、請求項１乃至３のいずれかに記載の３次元形状復元方法をコンピュータプログラムとして記載できる。

前記請求項８記載の発明は、請求項１乃至３のいずれかに記載の３次元形状復元方法を実装したコンピュータプログラムを記録媒体に記録できる。

以上示したように請求項１，４の発明によれば、物体が部分的に欠落して撮像された入力画像を含む場合においても、当該欠落箇所が撮像された他の入力画像を有する場合に、当該欠落箇所を補完し該物体の完全な３次元形状を計算し復元できる。部分復元領域の選択によって、物体の存在領域を限定し、３次元形状復元に要する計算コストを削減しつつ、詳細な３次元形状を復元できる。

請求項２，５の発明によれば、物体が部分的に欠落して撮像された入力画像を含む場合においても、当該欠落箇所が撮像された他の入力画像を有する場合に、当該欠落箇所を補完し該物体の完全な３次元形状を計算し復元できる。

請求項３，６の発明によれば、物体が部分的に欠落して撮像された画像群を入力画像とし、かつ、該画像群で相互に補完するように、該物体の全体が撮像されている場合に、当該欠落箇所を補完し該物体の完全な３次元形状を計算し復元できる。

請求項７の発明によれば、３次元形状復元方法を実装したコンピュータプログラムを提供できる。

請求項８の発明によれば、３次元形状復元方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。

これらを以ってコンピュータビジョン分野に貢献できる。

本実施形態は、３次元形状復元方法において、復元空間全体を特定の部分復元領域に分割する初期計算フェーズとその分割された部分復元領域から復元対象となる物体が存在する部分復元領域を選択し３次元形状復元計算を行う復元計算フェーズを有するものである。

本実施形態における３次元形状復元方法を図１に基づいて説明する。図１は、本実施形態における３次元形状復元方法の全体の処理手順である。

まず、初期計算フェーズの処理を行う（ステップＳ４００１）。この初期計算フェーズの処理では、カメラを配置した後、３次元形状復元の計算前に行う。ステップＳ４００１は、ステップＳ４０１，Ｓ４０２から構成される。

ステップＳ４０１は、対象となる物体を含む復元空間全体を適切な部分復元領域に分割する。

ステップＳ４０２は、各部分復元領域について、該当領域が完全に観測できるカメラのリストを作成し、当領域の有効カメラとして割り当てる。

次に、図８中のステップＳ３０１と同じく、複数のカメラを用い、異なる視線方向から対象を撮像し、多視点入力画像を得る処理を行う（Ｓ４０３）。なお、予め撮像された入力画像を格納したデータベース装置（または、ハードディスク装置やメモリ）から汎用的な画像取得手段を備え、該画像取得手段を介して該入力画像を取得する入力画像取得手段を使って入力画像を得てもよい。

次に、図８中のステップＳ３０２と同じく、画像処理を行い、各入力画像から、対象の多視点シルエット画像を得る（Ｓ４０４）。

そして、復元計算フェーズの処理を行う（Ｓ４００２）。ステップＳ４００２は、ステップＳ４０５〜Ｓ４０７から構成される。

ステップＳ４０５は、全復元空間について疎な形状復元を行う。

ステップＳ４０６は、詳細な形状復元を行う部分復元領域を選ぶ。

ステップＳ４０７は、詳細な形状復元を行う計算の処理を行う。

以上が、本実施形態における３次元形状復元方法であるが、さらに、詳細に以下に説明する。

最初に、ステップＳ４０１では、対象となる物体を含む復元空間全体を適切な部分復元領域に分割する。

復元空間全体が広範囲に及ぶ場合、その復元空間全体をすべてのカメラの視野内に収めるのは非現実的である。しかし、局所的には複数のカメラから観測可能な領域は必ず存在する。すなわち、復元空間全体を小さく分割することによって、各々の分割領域について、該当領域を完全に視野に収めるカメラを複数台決めることが可能である。

続いて、形状復元の要求精度に応じ、部分復元領域の大きさと個数を決定する処理を行う。なお、原理的に、すべての部分復元領域が同じ大きさに揃える必要はない。

処理手順としては、次の通りである。まず、部分復元領域の最小体積Ｖ_minを決定する。より具体的には、形状復元結果のボクセル体積（即ち、必要な空間解像度）をＶ_voxelとすると、Ｖ_min≧Ｖ_voxel×１０³を目安に決定する。そして、全復元空間を隙間なく、Ｖ_minと同じかＶ_minより大きい体積を有する複数の部分復元領域に分割する。

具体的な前記分割の方法の一例を次に述べる。前述のとおり、原理的に、部分復元領域の形状および体積は異なっていてもかまわないが、分割方法を説明する便宜上、すべての部分復元領域は体積がＶ_minとなる立方体であると見做し、全復元空間をこのような立方体に分割し、複数の部分復元領域を得る。この分割方法では、部分復元領域が重複することも、全領域に対して空白領域も生じない。このため、広範囲の全体復元空間を複数の限定された部分復元領域に分割でき、各々の部分領域について形状復元を計算できる。

さらに、図２及び図３に基づいて、前記の分割方法を説明する。図２は対象の全体をすべてのカメラで撮像した例、図３は部分的に対象を撮像した例、をそれぞれ示している。

図２中の各カメラ視点Ｖ１１〜Ｖ１３において、対象物体Ｈは投影先に完全に収まっており、復元可能範囲Ｗ１（図２中の網掛け部分）は小さい。また、図３中の各カメラ視点Ｖ２１〜Ｖ２３において、対象物体Ｈは各投影先に部分的に収まっていればよいため、復元可能範囲Ｗ２（図３中の網掛け部分）は大きいことがわかる。これは、既に説明したように、広範囲の全体復元空間を複数の限定された部分復元領域に分割でき、各々の部分領域について形状復元を計算できるためである。

次に、ステップＳ４０２では、各部分復元領域について、該当領域が完全に観測できるカメラを選別し、当領域の有効カメラとして割り当てる処理を行う。なお、一つの部分復元領域をあるカメラのスクリーン上に投影し、領域全体を２次元画像の内側に収めた場合、その領域を当該カメラによって完全に観測できる領域であると呼ぶ。また、当該カメラがその領域の有効カメラであると見做す。

続いて、ステップＳ４０１の処理によって得られた個々の部分復元領域について、全体のカメラ群の中から、当領域を完全に観測できるカメラ、つまり、有効カメラ（即ち、有効撮像装置）を選別する処理を行う。これにより、個々の部分復元領域について、当領域の有効カメラが決まり、有効カメラのみを用いて当領域内に含まれる対象の３次元形状の復元計算が可能となる。

次に、ステップＳ４０３では、図８中のステップＳ３０１と同じく、複数のカメラを用い、異なる視線方向から対象を撮像し、多視点入力画像を得る。

次に、ステップＳ４０４では、図８中のステップＳ３０２と同じく、各入力画像から、対象の多視点シルエット画像を得る画像処理を行う。

次に、ステップＳ４０５では、全復元空間について疎な形状復元の処理を行う。各部分復元領域を１つのボクセル（疎なボクセル）と見做し、該当領域の有効カメラから得られた入力画像に応じたシルエット画像のみを用いて、従来のボクセル表現による視体積交差法の計算を行い、当領域内に対象が存在するか否かを調べる処理を行う。この処理によって、対象の存在し得る部分復元領域が特定できる。

次に、ステップＳ４０６では、詳細な形状復元を行う部分復元領域を選ぶ。Ｓ４０５の処理の結果を用いて、対象の存在しうる部分復元領域を選び、これらを詳細形状復元の対象領域に決定する。これにより、詳細な形状復元の計算対象と部分復元領域を対象の形状に応じて動的に決定することができる。

そして、ステップＳ４０７では、詳細な形状復元を行う計算の処理を行う。ステップＳ４０６の処理により選ばれた部分復元領域のそれぞれについて、領域内を密なボクセル群で表現し、該当領域の有効カメラから得られた入力画像に応じたシルエット画像の全てを用いて、従来のボクセル表現による視体積交差法と同様な計算を行う。この計算によって、全体の詳細な形状復元を計算できる。

すなわち、図９中の画像Ｐ１１〜Ｐ１４、図１０中のシルエット画像ＳＬ１１〜ＳＬ１４に示したように、対象物体が完全に撮像されて画像に含まれている場合はもちろんのこと、図１１中の画像Ｐ２１〜Ｐ２４、図１２中のシルエット画像ＳＬ２１〜ＳＬ２４に示したような部分的に撮像された画像とシルエットからでも、対象の完全なる３次元形状モデルを復元することができる。図４中の３次元復元画像Ｇ２１，Ｇ２２は、以上のような計算結果の一例による完全な３次元形状である。なお、図１３中の３次元復元画像Ｇ１１，Ｇ１２は、従来の視体積交差法を用いて動的物体の一部が復元で欠けてしまう計算結果の一例である。

以上のように、本実施形態において、ステップＳ４００１とＳ４００２が大きな特徴である。ステップＳ４００１は、初期計算フェーズの処理を行うが、カメラの配置の位置関係に基づき、全体の復元空間を複数の部分復元領域に分割し、各部分復元領域に有効カメラを割り当てることができる。また、ステップＳ４００２において、復元計算フェーズの処理を行うことによって、全体を粗く復元しつつ詳細な復元を各領域に行うことによって、部分的に観測された不完全なシルエットを取得し、その取得した不完全なシルエット入力として、完全な３次元形状を計算することを実現している。また、本実施形態は、３次元形状を復元する対象が動的物体であっても、あるいは、静的物体であっても、その物体の３次元形状を復元できる。

なお、本実施形態における３次元形状復元方法を実装した装置であって、図１中のステップＳ４００１を実装した初期計算手段，ステップＳ５０３を実装した入力画像取得手段，ステップＳ４０４を実装したシルエット抽出手段，ステップＳ４００２を実装した復元計算手段を備える３次元形状復元装置は、上述のように３次元形状を復元できる。前記初期計算手段は、ステップＳ４０１を実装した復元空間分割手段とステップＳ４０２を実装した撮像装置選別手段を備える。前記復元計算手段は、ステップＳ４０５，Ｓ４０６を実装した部分復元領域選択手段と、ステップＳ４０７を実装した３次元形状復元手段を備える。

また、本実施形態に基づく３次元形状復元装置は、各手段を制御するために、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えていても良い。本実施形態に基づく３次元形状復元装置は、３次元形状復元方法に必要な情報を記憶し管理する記憶手段（例えば、メモリやハードディスク装置）を備えていても良い。

さらに、本実施形態に基づく実施例における３次元復元方法を説明する。本実施例における３次元復元方法とは、各部分復元領域に有効カメラをあらかじめ割り当てる代わりに、ボクセルをカメラの画像上に投影する計算を行う際、該当カメラが有効かどうかを選別する方法である。即ち、図１中のステップＳ４００１の処理とステップＳ４００２の処理を統合する方法である。

本実施例における３次元復元方法を図５に基づいて説明する。なお、図５中のステップＳ１３００１は、前記図１中のＳ４００２とは異なり、該当カメラが有効かどうかを選別する本方法における復元計算フェーズの処理である。ステップＳ１３００１は、ステップＳ１３０４〜Ｓ１３０６から構成される。

まず、図１中のステップＳ４０１と同じく、対象となる物体を含む復元空間全体を適切な部分復元領域に分割する（Ｓ１３０１）。

次に、図１中のステップＳ４０３と同じく、複数のカメラを用い、異なる視線方向から対象を撮像し、多視点入力画像を得る（Ｓ１３０２）。

次に、図１中のステップＳ４０４と同じく、画像処理を行い、各入力画像から、対象の多視点シルエット画像を得る（Ｓ１３０３）。

次に、全復元空間について、すべての入力画像を用いて、疎な形状復元処理を行う（Ｓ１３０４）。

次に、図１中のステップＳ４０６と同じく、詳細な形状復元を行う部分復元領域を選ぶ（Ｓ１３０５）。

そして、すべての入力画像を用いて、詳細な形状復元処理を行う（Ｓ１３０６）。

さらに、本実施例における３次元復元方法を以下に詳細に説明する。

まず、ステップＳ１３０１は、図１中のステップＳ４０１と同じく、対象となる物体を含む復元空間全体を適切な部分復元領域に分割する。

次に、ステップＳ１３０２は、図１中のステップＳ４０３と同じく、複数のカメラを用い、異なる視線方向から対象を撮像し、多視点入力画像を得る。

次に、ステップＳ１３０３は、図１中のステップＳ４０４と同じく、画像処理を行い、各入力画像から、対象の多視点シルエット画像を得る。

次に、ステップＳ１３０４は、全復元空間について、すべての入力画像を用いて疎な形状復元の処理を行う。各部分復元領域を１つのボクセル（疎なボクセル）と見なし、ボクセルが視野内にあるカメラを有効カメラとして選別し、選別されたカメラの入力について、従来のボクセル表現による視体積交差法の計算を行う。この計算によって、対象の存在し得る部分復元領域を特定できる。

次に、ステップＳ１３０５は、図１中のステップＳ４０６と同じく、詳細な形状復元を行う部分復元領域を選ぶ処理を行う。

そして、ステップＳ１３０６は、すべての入力画像を用いて、詳細な形状復元を行う計算の処理を行う。さらに、ステップＳ１３０５の処理により選ばれた部分復元領域のそれぞれについて、領域内を密なボクセル群で表現し、すべての入力画像を用いて詳細な形状復元処理を行う。

より具体的には、ボクセルが視野内にあるカメラを有効カメラとして選別し、選別されたカメラの入力について、従来のボクセル表現による視体積交差法の計算を行う。この計算によって、全体の詳細な形状復元を計算できる。すなわち、図１の処理と同じように、図１１中の画像Ｐ２１〜Ｐ２４、図１２中のシルエット画像ＳＬ２１〜ＳＬ２４に示したような部分的に撮像された画像とシルエットからでも、対象の完全な３次元形状モデルを復元できる。

なお、本実施例における３次元形状復元方法を実装した装置であって、図５中のステップＳ１３０１を実装した復元空間分割手段，ステップＳ１３０２を実装した入力画像取得手段（例えば、撮像手段），ステップＳ１３０３を実装したシルエット抽出手段，ステップＳ１３００１を実装した復元計算手段を備える３次元形状復元装置は、上述のように３次元形状を復元できる。なお、前記復元計算手段は、ステップＳ１３０４，Ｓ１３０５を実装する部分復元領域選択手段とステップＳ１３０７を実装する３次元形状復元手段を備える。本実施例に基づく３次元形状復元装置は、各手段を制御するために、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えていても良い。さらに、本実施例に基づく３次元形状復元装置は、３次元形状復元方法に必要な情報を記憶し管理する記憶手段を備えていても良い。

また、本実施形態及び本実施例における３次元形状復元方法を実装した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態及び本実施例における３次元形状復元方法の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体（記憶媒体）、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

さらに、上述の３次元形状復元方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。

以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。

例えば、物体における特定の領域では、図８の３次元形状復元方法の処理手順よって獲得し、その周辺の領域では図１または図５の３次元形状復元方法の処理手順によって獲得することもできる。

本実施形態における３次元形状復元方法の処理手順を示す図。 対象の全体が含まれるように撮像する場合の復元可能領域を示す図。 対象を部分的に含まれるように撮像する場合の復元可能領域を示す図。 本実施形態における３次元形状復元方法の処理手順を部分観測（部分的に撮像された画像）に適用して計算された３次元復元画像を示す図。 本実施例における３次元形状復元方法の処理手順を示す図。 視体積交差法の原理を示す図。 ボクセル表現による視体積交差法の原理を示す図。 従来のボクセル表現による視体積交差法に基づいた３次元形状復元方法の処理手順を示す図。 対象の全体を撮像した入力画像の例を示す図。 対象の全体を撮像した場合のシルエット画像の例を示す図。 対象の一部が欠けて撮像した入力画像の例を示す図。 対象の一部が欠けて撮像した場合のシルエット画像の例を示す図。 従来のボクセル表現による視体積交差法に基づいた３次元形状復元方法を部分観測の場合に適用した３次元復元画像を示す図。

符号の説明

ＡＲ…復元空間
ＢＸ…ボクセル
Ｃ，Ｈ…対象物体
ＣＭ…カメラ
Ｄ_A…２次元シルエット
Ｇ１１，Ｇ１２，Ｇ２１，Ｇ２２…３次元復元画像
Ｐ１１〜Ｐ１４，Ｐ２１〜Ｐ２４…画像
Ｐ_A,Ｐ_B…カメラの投影中心
ＳＰ…撮像面
Ｖ１１，Ｖ１２，Ｖ１３，Ｖ２１，Ｖ２２，Ｖ２３…カメラ視点
Ｖ_A，Ｖ_B…錐体
ＶＨ…視体積の交差
Ｗ１，Ｗ２…復元可能範囲
ＳＣ…スクリーン
ＳＬ１１〜ＳＬ１４，ＳＬ２１〜ＳＬ２４…シルエット画像

Claims (8)

1. 複数の撮像装置を用い、異なる視線方向から物体を各々撮像し、その撮像した画像を画像取得手段を介して取得し、該画像に基づいて該物体の３次元形状を復元する装置に使用する３次元形状復元方法であって、
   前記物体を含む復元空間全体を特定の部分復元領域に分割して、該部分復元領域に関する初期計算を行う初期計算ステップと、
   前記複数の撮像装置を用い、異なる視線方向から前記物体を各々撮像した入力画像を画像取得手段を介して取得する入力画像取得ステップと、
   前記入力画像から前記物体に関するシルエット画像を作成するシルエット抽出ステップと、
   前記部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群に基づいて、前記部分復元領域から前記物体が存在する部分復元領域を選択し、該選択された部分復元領域の領域内を密なボクセル群で表現し、該密なボクセル群を用いたボクセル表現を適応し３次元復元計算を行う復元計算ステップと、
   を有することを特徴とする３次元形状復元方法。
2. 請求項１に記載の３次元形状復元方法において、
   前記初期計算ステップが、
   前記分割された部分復元領域を完全に観測できる有効撮像装置を選別する撮像装置選別ステップ、
   を有し、
   前記復元計算ステップが、
   各部分復元領域を１つの疎なボクセルと見做し、該部分復元領域に対応した有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択ステップと、
   前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いた３次元形状復元計算を行う３次元形状復元ステップと、
   を有する、
   ことを特徴とする３次元形状復元方法。
3. 請求項１に記載の３次元形状復元方法において、
   前記復元計算ステップが、
   各部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群を視野内に捉えて観測できる有効撮像装置を前記撮像装置から選別し、該選別された有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択ステップと、
   前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いたボクセル表現に基づく３次元形状復元計算を行う３次元形状復元ステップと、
   を有する、
   ことを特徴とする３次元形状復元方法。
4. 複数の撮像装置を用い、異なる視線方向から物体を各々撮像し、その撮像した画像を画像取得手段を介して取得し、該画像に基づいて該物体の３次元形状を復元する３次元形状復元装置であって、
   前記物体を含む復元空間全体を特定の部分復元領域に分割して、該部分復元領域に関する初期計算を行う初期計算手段と、
   前記複数の撮像装置を用い、異なる視線方向から前記物体を各々撮像した入力画像を前記画像取得手段を介して取得する入力画像取得手段と、
   前記入力画像から前記物体に関するシルエット画像を作成するシルエット抽出手段と、
   前記部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群に基づいて、前記部分復元領域から前記物体が存在する部分復元領域を選択し、該選択された部分復元領域の領域内を密なボクセル群で表現し、該密なボクセル群を用いたボクセル表現を適応し３次元復元計算を行う復元計算手段と、
   を備えることを特徴とする３次元形状復元装置。
5. 請求項４に記載の３次元形状復元装置において、
   前記初期計算手段が、
   前記分割された部分復元領域を完全に観測できる有効撮像装置を選別する撮像装置選別手段、
   を備え、
   前記復元計算手段が、
   各部分復元領域を１つの疎なボクセルと見做し、該部分復元領域に対応した有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択手段と、
   前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いた３次元形状復元計算を行う３次元形状復元手段と、
   を備える、
   ことを特徴とする３次元形状復元装置。
6. 請求項４に記載の３次元形状復元装置において、
   前記復元計算手段が、
   各部分復元領域を１つの疎なボクセルと見做し、該疎なボクセル群を視野内に捉えて観測できる有効撮像装置を前記撮像装置から選別し、該選別された有効撮像装置から得られた入力画像に応じたシルエット画像に対して、前記疎なボクセル群を用いた３次元形状復元計算を行い、該部分復元領域内に前記物体が存在するか否かを調べ、該物体が存在すると判定された部分復元領域を選択する部分復元領域選択手段と、
   前記選択された部分復元領域の領域内を密なボクセル群で表現し、該部分復元領域の有効撮像装置から得られた入力画像に応じたシルエット画像の全てに対して、前記密なボクセル群を用いたボクセル表現に基づく３次元形状復元計算を行う３次元形状復元手段と、
   を備える、
   ことを特徴とする３次元形状復元装置。
7. 請求項１乃至３のいずれかに記載の３次元形状復元方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする３次元形状復元プログラム。
8. 請求項１乃至３のいずれかに記載の３次元形状復元方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。