JP2004234350A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP2004234350A JP2004234350A JP2003022317A JP2003022317A JP2004234350A JP 2004234350 A JP2004234350 A JP 2004234350A JP 2003022317 A JP2003022317 A JP 2003022317A JP 2003022317 A JP2003022317 A JP 2003022317A JP 2004234350 A JP2004234350 A JP 2004234350A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- image processing
- micro
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Abstract
【課題】計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを提供すること。
【解決手段】描画対象を異なる複数の撮影方向から撮影して得られる二次元画像と、描画対象の距離画像とを利用して、微小面ビルボーディングを用いた手法によって、所定の視線方向から対象を描画する装置等である。この手法は、距離画像等から描画対象の幾何形状を求め、視線方向に依存してその向き（方向）が変化する微小面の集合で近似する。各微小面には、視線方向と撮影方向から選択された二次元画像をテクスチャとして張り付けることにより、任意形状の物体や風景を効率的に描画するものである。
【選択図】 図４
【解決手段】描画対象を異なる複数の撮影方向から撮影して得られる二次元画像と、描画対象の距離画像とを利用して、微小面ビルボーディングを用いた手法によって、所定の視線方向から対象を描画する装置等である。この手法は、距離画像等から描画対象の幾何形状を求め、視線方向に依存してその向き（方向）が変化する微小面の集合で近似する。各微小面には、視線方向と撮影方向から選択された二次元画像をテクスチャとして張り付けることにより、任意形状の物体や風景を効率的に描画するものである。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータグラフィックス等において使用される画像処理装置、画像処理方法、及び当該画像処理プログラムに関する。
【０００２】
【従来の技術】
実世界の物体や風景をコンピュータグラフィクスとして再現することは、仮想現実感、拡張現実感といった現実感モデルを構築する上で非常に重要な処理である。しかし、複雑な形状を持つ物体を正確に計測、又は表現（すなわち画像化）することは、非常に困難である。また、仮に実現できた場合であっても、その処理に要するコストは、極めて高額となると考えられる。このような問題に対して、従来より、幾何モデル、光学モデル等の観点から多くの研究がなされている。しかし、依然として樹木の葉や毛髪等の極端に複雑な物体の幾何学形状を正確な計測、及び厳密な画像化は困難である。この困難性について具体的に説明すると、次のようである。
【０００３】
例えば、コンピュータグラフィックスにおける代表的な描画手法の一つに、計測等によって得られた形状モデルに基づいて描画を行うＭＢＲ（Ｍｏｄｅｌ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）がある。この手法では、ある程度の大きさを持つ物体の形状を、レーザーレンジファインダーによって高精度（０．１〜１０．０ｍｍの精度）で計測して形状モデルを作成し、これに基づいて描画処理を行う。従って、この手法での描画の正確さは、形状モデルの計測精度に依存することとなる。しかしながら、毛髪等の細かく入り組んだ形状を画像として表現するには、上記計測精度では不十分であり、正確な画像化を実現することができない。また、当該手法は、計測精度が撮影対象の表面特性に影響されやすく、かつ撮影できない対象も多い。さらに、複雑な幾何形状を正確に表現するために必要なデータ量は膨大であり、これらのデータを全て保持することは現実的ではない。
【０００４】
また、コンピュータグラフィックスにおける代表的な他の描画手法として、二次元画像から見え（ａｐｐｅａｒａｎｃｅ）を合成して描画を行うＩＢＲ（Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）がある。この手法は、ＭＢＲの様に幾何形状を取得する必要がなく、入力するカメラ画像を増やすことにより原理的にはあらゆる風景を再現することが可能である。しかしながら、撮影に要するコストとデータを保持するコストが高いことから利用できる状況は限られてしまう。また、幾何形状を持たないことから、合成された形状を他の環境に持ち込んだり、視点を大きく変える等の変化が困難である。
【０００５】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のような手段を講じている。
【０００７】
請求項１に記載の発明は、描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを記憶する記憶手段と、前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成する幾何形状モデル生成手段と、前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生手段と、視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理手段と、前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記視線方向に対応した前記描画対象に関する第３の画像を生成するテクスチャマッピング手段と、を具備することを特徴とする画像処理装置である。
【０００８】
請求項２に記載の発明は、前記幾何形状モデル生成手段は、複数のボクセルを発生させ、当該複数のボクセルによって前記幾何形状モデルを生成し、前記微小面発生手段は、前記微小面を各ボクセル内に発生させることを特徴とする請求項１記載の画像処理装置である。
【０００９】
請求項３に記載の発明は、幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルを発生数を制御することを特徴とする請求項２記載の画像処理装置である。
【００１０】
請求項４に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すクリッピング処理手段をさらに具備することを特徴とする請求項２又は３記載の画像処理装置である。
【００１１】
請求項５に記載の発明は、前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成する補間画像生成手段をさらに具備し、前記テクスチャマッピング手段は、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、を特徴とする請求項１乃至３のうちいずれか一項記載の画像処理装置である。
【００１２】
請求項６に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すクリッピング処理手段と、を具備することを特徴とする請求項５記載の画像処理装置である。
【００１３】
請求項７に記載の発明は、前記クリッピング処理手段は、グラフィックスハードウェアであることを特徴とする請求項４又は６に記載の画像処理装置である。
【００１４】
請求項８に記載の発明は、描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを利用して、前記描画対象に関して所定の視線方向からの第３の画像を生成する画像処理方法であって、前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成し、前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生手段と、視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理を実行し、前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記第３の画像を生成すること、を具備することを特徴とする画像処理方法である。
【００１５】
請求項９に記載の発明は、前記幾何形状モデルは、複数のボクセルから形成されるボクセルモデルであり、前記微小面は、各ボクセル毎に発生させることを特徴とする請求項８記載の画像処理方法である。
【００１６】
請求項１０に記載の発明は、幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルを発生数を制御することを特徴とする請求項９記載の画像処理方法である。
【００１７】
請求項１１に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すことをさらに具備することを特徴とする請求項９又は１０記載の画像処理方法である。
【００１８】
請求項１２に記載の発明は、前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成することをさらに具備し、前記テクスチャマッピングにおいては、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、を特徴とする請求項８乃至１０のうちいずれか一項記載の画像処理方法である。
【００１９】
請求項１３に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すことをさらに具備することを特徴とする請求項１２記載の画像処理方法である。
【００２０】
請求項１４に記載の発明は、描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを利用して、前記描画対象に関して所定の視線方向からの第３の画像を生成するための画像処理プログラムであって、コンピュータに、前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成する幾何形状モデル生成機能と、前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生機能と、視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理を実行するビルボーディング機能と、前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記第３の画像を生成する画像生成機能とを実現させるための画像処理プログラムである。
【００２１】
請求項１５に記載の発明は、前記幾何形状モデル生成機能は、複数のボクセルを発生させ、当該複数のボクセルによって前記幾何形状モデルを生成し、前記微小面発生機能は、前記微小面を各ボクセル内に発生させることを特徴とする請求項１４記載の画像処理プログラムである。
【００２２】
請求項１６に記載の発明は、幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルを発生数を制御することを特徴とする請求項１５記載の画像処理プログラムである。
【００２３】
請求項１７に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すクリッピング機能をさらに具備することを特徴とする請求項１５又は１６記載の画像処理プログラムである。
【００２４】
請求項１８に記載の発明は、前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成する補間画像生成機能をさらに具備し、前記テクスチャマッピング機能は、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、を特徴とする請求項１４乃至１６のうちいずれか一項記載の画像処理プログラムである。
【００２５】
請求項１９に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すクリッピング処理機能をさらに具備することを特徴とする請求項１８記載の画像処理プログラムである。
【００２６】
このような構成によれば、計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを実現することができる。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【００２８】
図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。同図に示すように、本画像処理装置１０は、主記憶部１２、ホストコントローラ１４、操作部１６、表示部１８、補助記憶部１９、画像処理部２０を具備している。
【００２９】
主記憶部１２は、所定の描画対象に関する二次元画像列（カメラ画像その他の実画像からなる画像列）と幾何形状情報とを記憶する不揮発性メモリである。ここでは、二次元画像列は、描画対象を被写体として、その周囲の複数撮影位置において撮影されたカメラ画像とする。このカメラ画像は、後述する画像処理においてテクスチャ画像として使用される。また、幾何形状情報とは、例えば光学的センサ等を用いた計測等によって得られる距離画像（各画素の画素値として、センサから描画対象までの距離を有する画像）である。
【００３０】
ホストコントローラ１４は、画像生成、画像処理、画像表示、データ記憶・通信等に関する統括的な制御を行う。
【００３１】
操作部１６は、キーボード、マウス、トラックボール、ロータリエンコーダ等からなり、オペレータが画像処理装置１０に対しての各種入力指示を行うためのインタフェースである。
【００３２】
表示部１８は、画像を表示するＣＲＴ等の表示手段である。
【００３３】
補助記憶部１９は、フロッピーディスク（ＦＤ）、ＤＶＤ、ＣＤＲＯＭ、ＤＡＴ等の着脱式記憶媒体である。
【００３４】
アラインメント処理部１９は、カメラ画像と距離画像とを同一の座標系で表現するための対応付け（アラインメント）を行う。このアラインメントは、特徴量に着目するものや点群同士の対応に着目するものその他種々の手法を採用することができる。
【００３５】
画像処理部２０は、主記憶部１２に格納されたカメラ画像列、幾何形状情報を入力として後述する各処理を実行し、微小面ビルボーディングを用いて描画対象を描画（レンダリング）する。本画像処理部２０は、各処理を実行するための構成要素として、微小面発生部２０１、ビルボーディング処理部２０３、テクスチャ画像選択部２０２、描画処理部２０９を有している。
【００３６】
微小面発生部２０１は、例えば描画対象に関するボクセルモデルを生成し、各ボクセル内に当該描画対象の幾何形状を近似するための微小面を発生する。
【００３７】
ビルボーディング処理部２０３は、視線方向と各微小面とが常に所定の角度（本実施形態では、９０度）をなすように、視線方向の変化に応じて各微小面を回転させる。この様な各微小面の回転処理による拘束は、「ビルボーディング」と呼ばれる。このビルボーディングを行うのは、任意の視線方向から観察した場合、上記複数の微小面によって描画対象全体が被覆される様にするためである。ここで、「視線方向」とは、描画処理において設定される視点から描画対象を見た場合の方向を意味する。
【００３８】
テクスチャ画像選択部２０２は、視線方向とカメラ画像列を撮影した複数のカメラの撮影方向とに基づいて、各微小面に関するテクスチャ画像を複数のカメラ画像の中から選択する。
【００３９】
描画処理部２０９は、テクスチャ画像選択部２０２によって選択された各カメラ画像を、対応する各微小面に投影することで、描画処理を行う。ここで、「撮影方向」とは、撮影用カメラ位置から描画対象を見た場合の方向を意味する。
【００４０】
前処理部２１は、距離画像を利用して各カメラ画像の画素毎に視点からの距離（深さ）に関する情報（αチャネル情報）を与える。このαチャネル情報は、ダブルイメージの発生を防止するため、レンダリングにおけるクリッピング処理に利用される。
【００４１】
次に、上記のように構成した画像処理装置１０によって実現される、微小面ビルボーディングを用いた表示手法について説明する。この手法は、描画対象の幾何形状を、視線方向に依存してその向き（方向）が変化する微小面の集合で近似し、二次元画像をテクスチャとして張り付けることにより、任意形状の物体や風景を効率的に表示するものである。この表示手法によれば、描画対象がどのような外形を有する場合であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現できる。特に、描画対象が複雑な外形を有する場合（例えば、描画対象が樹木である場合、毛状の部分を有する場合等）に実益がある。
【００４２】
なお、本表示手法は、例えば本ホストコントローラ１４が有する、又は別途設けられた揮発性メモリにおいて、主記憶部１２又は補助記憶部１９等に格納された所定のプログラムを読み出し実行することによって実現することができる。
【００４３】
図２は、画像処理装置１０が実行する上記生成・表示方法において実行される各処理のフローチャートである。図２に示すように、まず、カメラ画像列データ、及び距離画像データを収集する（ステップＳ１）。カメラ画像列データは、例えば描画対象を中心として所定角度間隔にある複数の撮影位置から撮影することで得られる。また、距離画像データは、例えば描画対象をレーザーレンジファインダーによって計測することで得られる。なお、カメラ画像と距離画像とは、同じ撮影位置から撮影される構成であってもよい。この場合、両者の間の空間的な対応関係を取るアラインメント処理をする省略することができる。また、幾何形状情報としては、距離画像の他に、三角パッチなどで表現されるメッシュモデルであってもよい。
【００４４】
次に、アラインメント処理部１９は、各カメラ画像と距離画像と間の位置合わせ（アラインメント）を行う（ステップＳ２）。本実施形態においては、例えばＩＣＰ法（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐａｒｔ ｍｅｔｈｏｄ）等を採用する。
【００４５】
次に、微小面発生部２０１は、微小面（ポリゴン）の集合により、描画対象の形状を近似する（ステップＳ３）。すなわち、空間を微小領域に分割し、上記計測によって得られた幾何学形状を再サンプリングすることで、描画対象について粗い幾何学形状を取得する。この粗い幾何学形状取得するため、本実施形態では、例えばボクセル分割に基づき微小面を発生させる方法を採用する。具体的な内容は、次のようである。
【００４６】
まず、描画対象を完全に含むボリューム空間を設定する。すなわち、各ボクセルに二値化処理を施し、その中に何も存在しなければ、そのボクセルは空（ボクセル値０を設定）とし、一方、その中に何からの形状が存在すればボクセル値１を設定する。次に、当該ボクセル内に微小面を発生させることで、幾何形状を再サンプリングして表面対象の形状を近似する。
【００４７】
なお、近似するための微小面の形状としては、多角形や楕円を採用することができる。本実施形態では、標準的なグラフィックハードウェアを使用した容易な描画、マッピング等が可能であることから、四辺形の微小面を発生させるものとする。
【００４８】
図３は、ボクセル内に発生させる微小面の一例を示した図である。図３に示すように、微小面は、各ボクセル内の四辺形として定義される。また、その中心はボクセルの中心と一致するように設定される。この微小面は、後述するように視点の移動に伴って当該ボクセル内を回転する。この回転の際、微小面によって当該ボクセル全体を常に被覆するためには（すなわち、所定の視点から見た場合、微小面が当該ボクセルモデルの表面を完全に被覆するためには）、１ボクセルの幅をｗとした場合、微小面の幅を３１／２ｗ以上とする必要がある。
【００４９】
図４は、各ボクセルに微小面を発生させた場合の描画対象断面の模式的な図を示している。同図に示すように、描画対象の幾何形状は、微小面の集合によって近似される。
【００５０】
次に、ビルボーディング処理部２０３は、視線方向と常に垂直となるように、各微小面を回転させる（ビルボーディング：ステップＳ４）。このビルボーディングにより、どの視線方向からでも微小面によって隙間無く覆い尽くされた状態で描画対象物を観察することができる。
【００５１】
次に、テクスチャ画像選択部２０２は、テクスチャ画像として貼り付けるためのカメラ画像を、各微小面毎に選択する（ステップＳ５）。複数のカメラがある場合（カメラ画像列がカメラ毎に複数ある場合）には、いずれのカメラから撮影されたカメラ画像を選択するかは、視点の変動とともに描画時に動的に決定される。本実施形態では、視線方向とカメラの撮影方向とのなす角θが最も小さい画像から優先させ、かつ微小面を完全に含むものを選択する。
【００５２】
なお、本手法では、撮影したカメラ画像列から、視線方向に最も近い画像を選択し、使用するため、視線の連続的な移動に伴い、選択される画像も変化する。撮影したカメラ画像が十分に密でなければ、視点移動によって選択する画像が変化する際、見え方も大きく変わるため、連続性が失われ現実感が損なわれてしまう。
【００５３】
この不具合を防止するため、例えば、微小面に対して投影されるカメラ画像を上記θが小さいものから順番に複数枚選択しておき、選択画像が変わる際、連続的に画像が変化するように、変化前と変化後の画像を重み付けし、ブレンドした補間画像を生成して用いる。これにより、視線移動に伴うカメラ画像間の移動を滑らかにすることができ、自然な描画を実現することができる。
【００５４】
次に、描画処理部２０９は、選択された各テクスチャ画像を切り抜き、各微小面に遠近投影する（テクスチャ画像のマッピング：ステップＳ６）。これにより、描画対象がどのような外形を有する場合であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現することができる。
【００５５】
（デプスクリッピング）
上記表示手法においては、微小面に対するテクスチャ画像の選択は、視線方向とカメラの撮影方向とに基づいて決定している。そのため、複数個の面に対して同一のテクスチャが選択されることがあり、その結果、視線がカメラの撮影地点から離れるに従って、テクスチャ上の一つの画素が複数回描画されることになる。一方、テクスチャ画像の各画素は、描画対象の一つの点から得られた情報である。従って、この同一テクスチャの複数回描画は、同一の物体が複数現れる、所謂ダブルイメージとして現れ、見えの不具合を発生させる。この不具合を改善するため、本画像処理装置は、次に述べるデプスクリッピングと称される手法を採用することができる。
【００５６】
デプスクリッピングとは、カメラ画像中の各画素に対して、予め画像対象までの距離情報を持たせておき、描画時に当該カメラ画像の各画素がボクセル内に含まれる場合に限り、微小面上に画素を書き出すことで、ダブルイメージを除去する手法である。なお、カメラ画像中の各画素に距離情報を持たせる処理は、前処理として予め行っておくことが可能である。本実施形では、前処理部２１において、例えばアラインメントの前段処理として実行することができる。
【００５７】
図５（ａ）〜（ｃ）は、デプスクリッピングを説明するための図である。まず、前処理部２１は、図５（ａ）に示すようなカメラ画像（鉢植え）と、これに対応する距離画像とを入力し、距離画像に基づきカメラ画像の各画素に対してαチャネル情報を与える。図５（ｂ）は、カメラ画像の各画素について、αチャネル情報がマスクされた画像の一例を示している。
【００５８】
描画処理部２０９は、図５（ｂ）に示した画像の各画素に与えられた距離と各微小面との距離とを比較して、テクスチャ画像として必要か否かの判定し、不要な画素については切り抜いて除去する。すなわち、微小面の発生間隔をｗ、微小面の撮影方向の微小面上の奥行きをＤ、画面に割り当てられている奥行きをｄとすると、描画処理部２０９は、カメラ画像上の画素単位で、次の関係式に従ってテクスチャ画像の切り抜きに関する判定を実行する。
【００５９】
｜ｄ−Ｄ｜＜ｗ／２ （画素を現在の微小面上に描画） （１−１）
上記以外 （画素を破棄、すなわち透明色をマッピング） （１−２）
なお、この判定・切り抜き処理は、例えばｎＶｉｄｉａ ＧｅＦｏｒｃｅ３グラフィックスカード（商品名）のＲｅｇｉｓｔｅｒ Ｃｏｍｂｉｎｅｒｓテクスチャ合成機能を利用して、ハード的に実行することができる。図６は、テクスチャ画像の判定・切り抜き処理を実現するハード装置の一例を示した図である。当該装置におけるレジスタの割り当ては、次の通りである。
【００６０】
まず、図６に示すように、テクスチャユニット０のα−ｐｏｒｔｉｏｎに、距離画像Ｄをロードする。すなわち、テクスチャとして使用されるカメラ画像は、ＲＧＢチャネルに撮影によって得られた色画像を、αチャネルに幾何形状を射影して得られた距離画像Ｄを割り当てる。次に、テクスチャ画素値ｄをテクスチャユニット１にロードする。今の場合、微小面は四辺形ポリゴンで表現しているから、視点の位置からポリゴンの向きを決定した後、当該四辺形の四つの頂点を撮影方向に見た時の距離を一次元テクスチャ座標として、各頂点に割り当てる。微小面上の各点を描画する際には、これらのテクスチャ座標を補間した値を、テクスチャ画素値として使用する。これらの値Ｄ、ｄは、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ０にそれぞれ値Ａ、Ｃとして入力される。ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ０は、入力された値Ａ、Ｄに基づいて、Ａ−Ｃ＋０．５の演算値を求め、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ １、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ３に対しそれぞれ値Ａとして出力する。
【００６１】
次に、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ １では、値Ａ及び値Ｃ＝ｗ／２（ｗはボクセルサイズ）とを入力し、Ａ−Ｃの演算値を求め、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ２に出力する。ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ２は、入力した演算値が０．５を越えるか否かを判別し、０．５を越えない場合には１が、越える場合には０が値Ｃとしてｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ４に入力される。一方、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ３では、値Ａ及び値Ｃ＝ｗ／２（ｗはボクセルサイズ）とを入力し、Ａ＋Ｃの演算値を求め、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ４に出力する。
【００６２】
ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ４は、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ２及びｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ３から入力した各値Ｃが０．５を越えるか否かを判別し、０．５を越えない場合には０が、越える場合にはＣが値Ｃとしてｆｉｎａｌ ｃｏｍｂｉｎｅｒ のα−ｐｏｒｔｉｏｎに入力される。この演算は上記式（１−１）、（１−２）の判定に対応している。ｆｉｎａｌ ｃｏｍｂｉｎｅｒ のα−ｐｏｒｔｉｏｎでは、画素を描画する場合にはα＝１、切り取る場合にはα＝０に置換され、画素の描画／破棄が実行される。なお、
このように、式（１−１）、（１−２）の判別を実現するレジスタ合成器を使用することで、カメラ画像の各画素に対してデプスクリッピング処理を実行することができる。
【００６３】
（誤差に基づくパラメータの決定）
微小面の発生密度は、画質と描画速度とに大きく影響する。一般に、発生密度が高ければ高いほど画質は向上するが、描画速度は低下する。そこで、画質と描画速度との間の関係式に基づいて、最適な微小面の発生密度を決定する手法について説明する。
【００６４】
上述した表示手法では、微小面には、入力したカメラ画像がテクスチャとして投影される。このため、視点がカメラ位置にある場合は、微小面の解像度によらず、描画によって与えられる画像は入力したカメラ画像と一致する。この場合、描画結果の画像には、幾何形状を近似したことによる誤差は全くないと考えることができる。一方、視点がカメラ位置から外れるに従って、もともと連続である幾何形状を不連続な微小面の集合で近似したことによる見えの不連続が発生する。
【００６５】
図７は、見えの不連続性を幾何学的に説明するための図である。図７に示すように、隣り合う微小面ｖ１、ｖ２に対し、Ａ方向のカメラが選択され描画された画像を、Ｂ方向から観測しているとする。このとき、微小面の発生間隔（隣り合う微小面の中心間の距離）をｗ、視線の角度を図の様にθ、カメラの撮影方向をφとすると、視線方向の微小面の間隔は、ｗ・ｃｏｓθと表せる。また、点ｐ１、点ｐ２は、カメラ画像上の同一点であるので、これらの近傍は描画時にも連続していることが望ましい。微小面が不連続であるため、これらの点は次のｅだけ離れて観察されることになる。
【００６６】
ｅ＝ｗ・ｃｏｓθｔａｎ｜φ−θ｜ （２）
ある入力カメラ画像列に対して、δ＝ｍａｘ｜φ−θ｜を考えると、ｗｃｏｓθ＜ｗより、次の式が成立する。
【００６７】
ｅ＜ｗ・ｔａｎδ （３）
式（３）より、テクスチャの不連続を抑制するためには、第１に、ｗを減少させる、すなわち、ボクセルの分割を密に行っていき、微小面の発生密度を上げること、第２に、δを減少させる、すなわち、入力するカメラ画像を密に撮影すること、が有効である。
【００６８】
しかしながら多くの場合、作業の手間やサイズが増大することなどから、入力するカメラ画像列をある程度以上密にすることは困難である。従って、本実施形態では、与えられた入力するカメラ画像列に対して、可能な限りボクセル分割数を変更することで微小面の発生密度を好適に制御する。例えば、計測物体を設置し、周囲から３０°間隔でカメラ撮影した画像をテクスチャとする場合、δ＜１５°からｅ＜０．１３ｗを得る。ｅをスクリーン上でのずれと考えると、ｅ＜１、すなわちｗ＜７４（単位は、スクリーン上の画素）であれば、テクスチャは連続して表示されることがわかる。従って、式（３）により、視点が移動した際の微小面の発生密度を、閾値処理によって決定することができる。
【００６９】
図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、式（３）に従う視点の移動に応じた解像度の変更（ｅの変更）を示した図である。（ａ）から（ｄ）に進むに従ってｅの値が小さく、高解像度となっている。
【００７０】
このｅの値により発生する微小面のサイズを制御し、観察に最適な画像表示を実現することができる。当該制御の一つの基準として、計測された幾何形状の精度を挙げることができる。例えば、計測された幾何形状の精度が良い場合には、サイズを小さくすることで、本手法によって得られる画像は、形状モデルに基づくＭＢＲ法によって得られるものに近づく。一方、幾何形状が信頼できない場合には、サイズを大きくすることで、本手法によって得られる画像は、二次元画像に基づくＩＢＲ法に近づけることができる。
【００７１】
（実施例）
次に、本発明の実施例について説明する。本実施例では、本手法の有効性を検証するため、（Ａ）物体を座標系の原点付近に設置し、周囲から中心方向に計測する場合（Ｂ）カメラを座標系の原点付近に設置し、周囲に向かって計測・撮影する場合、の二種類のカメラ配置で実験を行う。
【００７２】
実験に用いた描画対象（毛状素材で覆われた物体）の幾何形状、カメラ画像（カメラ画像）は、ＶＩＶＩＤ９００（商品名）を用いて計測・撮影する。この計測系では、カメラ画像と幾何形状とを同時に計測することができる。そのため、両者の位置合わせ（アラインメント）を行う必要がない。撮影時のカメラ位置は測定せず、得られた点群をＰ． Ｎｅｕｇｅｂａｕｅｒらの手法（例えば、Ｇｅｏｍｅｔｒｉｃａｌ ｃｌｏｎｉｎｇ ｏｆ ３ｄｏｂｊｅｃｔｓ ｖｉａ ｓｉｍｕｌｔａｎｅｏｕｓ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ． Ｉｎ Ｐｒｏｃ． Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ’９７， ｐａｇｅｓ １３０−１３９， １９９７）を用いて位置合わせした結果を利用して、カメラ位置を校正する。実験では、描画対象をターンテーブル上に設置し、周囲３６０°から１０°以上の間隔で計測・撮影を行った。
【００７３】
図９（ａ）は、上記（Ａ）の状況下で計測を行って得られた幾何形状、及びカメラ画像の一つを示す。なお、描画対象は、毛状の外形を有するぬいぐるみである。得られた幾何形状列に符号付距離変換を行い、ボリューム空間で再サンプリングしたとすると、図９（ｂ）に示すようなボリュームデータを得る。
【００７４】
次に、Ｗｈｅｅｌｅｒらの方法（例えば、Ｍ． Ｄ． Ｗｈｅｅｌｅｒ， Ｙ． Ｓａｔｏ， ａｎｄ Ｋ． Ｉｋｅｕｃｈｉ．Ｃｏｎｓｅｎｓｕｓ ｓｕｒｆａｃｅｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ３ｄ ｏｂｊｅｃｔｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ． Ｉｎ Ｐｒｏｃ． ＩＣＣＶ ’９８， ｐａｇｅ ９１７−９２４，１９９８）に従って、表面形状を再構成した結果が図９（ｃ）である。この段階では、物体表面は毛で覆われているため計測は不完全であり、正確な幾何形状を復元することができない。
【００７５】
次に、図９（ｄ）にあるように、６４×６４サイズのボクセル集合から微小面を発生させて幾何形状を近似する。なお、同図の微小面の色は、選択されているカメラの番号に対応している。これに基づいてテクスチャマップを実行し、距離に応じて切り抜くことで、図９（ｅ）の結果を得る。同図より、本手法によれば、物体境界付近の幾何形状が曖昧な部分も正確に再現できることがわかる。
【００７６】
図１０（ａ）〜（ｄ）は、（Ｂ）の状況下で計測を行って得られた実験結果を示している。なお、実験に用いたＶＩＶＩＤ９００では、一度に計測可能な範囲が狭いため、シーン全体を撮影するために必要な撮影回数は、５２枚であった。図１０（ａ）、（ｂ）に描画された結果を、それぞれ図１０（ｃ）、（ｄ）に微小面ごとに選択されているカメラ位置を示す。図からわかるように、幾何形状を利用することで、遠近感のある描画を行うことが可能であるが、遮断のためのテクスチャ画像が存在しない領域には穴があく（例えば図１０（ｃ）の左上隅及び左〜中央下部。図１０（ｄ）の中央下部。）。
【００７７】
また、ＰｅｎｔｉｕｍＩＩＩ（登録商標）１ＧＨｚ、主記憶５００ＭＢｙｔｅ、グラフィックスカードＧｅＦｏｒｃｅ３、ビデオメモリ６４ＭＢｙｔｅのパーソナルコンピュータ（ＰＣ）で上記表示実験を行った結果、（Ａ）、（Ｂ）いずれの結果においても、本実施形態を実現した場合の解像度において、実時間で表示することができた。
【００７８】
以上述べた構成によれば、以下の効果を得ることができる。
【００７９】
本手法は、描画対象の幾何形状を、視線方向に依存してその向き（方向）が変化する微小面の集合で近似し、二次元画像をテクスチャとして張り付けることにより、任意形状の物体や風景を効率的に表示することができる。従って、例えば、樹木、毛状等描画対象が複雑な外形を有する場合であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現できる。
【００８０】
なお、本手法では、幾何形状を微小面で表現するため、微小面の大きさや視線の方向によっては、実際の幾何形状と微小面との乖離幅が大きくなり、歪みが発生する。また、テクスチャをｖｉｅｗ ｄｅｐｅｎｄｅｎｔにマッピングするため、サンプリングの周期も生成画像に影響を与える。これらの点については、次の手法にて評価でき、その精度の高さを確認することができる。
【００８１】
今、注目微小面を一つ選び、図１１に示すような配置を考える。図１１の記号を用いて、仮想視点におけるピクセル位置と実際のピクセル位置とのずれ（乖離幅）を、本手法によるビルボード微小面における場合と従来の固定微小面における場合のそれぞれについて計算する。固定微小面の乖離幅Ｄａ、ビルボード微小面の乖離幅Ｄｂは、それぞれ以下の式によって計算される。
【００８２】
【数１】
【００８３】
ただし、上記各式は、仮想視点の焦点距離をｆとし、微小面の大きさに比べて、視点・カメラ位置が十分に物体から離れていることを用いて簡略化されている。
【００８４】
上記各式より、サンプリング周期の上昇に伴い、歪みが減少することがわかる。また、距離に応じたテクスチャ切り抜きにより、ある閾値以上に幾何形状と微小面が乖離しないことを勘案すれば、現在行っている実験環境においては、発生するピクセル誤差は非常に小さいことがわかる。
【００８５】
また、固定微小面とビルボード微小面との歪みを比較すると、視線方向の変化が大きくなると、固定微小面においては急激に歪みが拡大するのに対して、ビルボード微小面においては、歪みが安定していることがわかる。
【００８６】
図１２（ａ）、（ｂ）、（ｃ）は、上記式（４）をプロットしたグラフを示している。なお、ここでは、ｆ＝ｄｖとし、ビルボード微小面及び固定微小面の各サイズを１６×１６ピクセルとしている。また、図１３（ａ）、（ｂ）、（ｃ）は、図１２の（ａ）、（ｂ）、（ｃ）を二次元グラフ上に射影したものである。ここでは、歪みが最も大きくなる状況で計算するため、Δｕは微小面の両端の位置とし、φはサンプリング周期／２としている。
【００８７】
図１２、１３より、サンプリング周期の上昇に伴い、歪みが減少していることがわかる。また、ｆ＝ｄｖとしていること、距離に応じたデクスチャ切り抜きにより、ある閾値以上に幾何形状と微小面とが乖離しないことを勘案すれば、現在行っている実験環境においては、発生するピクセル誤差は非常に小さいことがわかる。また、図１２（ｃ）、図１３（ｃ）より、固定微小面とビルボード微小面との歪みを比較すると、視線方向の変化が大きくなるに従って、固定微小面においては急激に歪みが拡張するのに対して、ビルボード微小面においては、歪みが安定していることがわかる。
【００８８】
以上の評価により、ある程度の大きさを持った微小面であっても、幾何形状とのずれによるピクセル誤差は小さいため、ビルボーディングを行う微小面を利用する本手法が、現実感ある表示に有効であることがわかる。
【００８９】
また、本手法は、描画対象の特徴抽出や背景抽出を一切必要とせず、単純に幾何要素の集合を利用するだけである。従って、比較的簡便な処理にて迅速に精度の高い描画を提供することができる。また、本手法は、パーソナルコンピュータやワークステーション、その他の通常のコンピュータグラフィックス環境に本手法を実現するプログラム等を実装することで、簡単かつ低コストにて実現することができる。
【００９０】
また、本手法によれば、デプスクリッピング処理により予めカメラ画像の切り抜きを行い、これを利用して各微小面への描画処理を行うことができる。従って、ダブルイメージを効率よく除去することができ、見えのよい画像を提供することができる。また、デプスクリッピング処理により余分な描画処理を排除することができるから、処理時間を短縮することができ、リアルタイム性の高い画像提供を実現することができる。
【００９１】
また、本画像処理装置では、デプスクリッピング処理をグラフィックスハードウェアによって効率的に実現することができる。従って、ソフト構成への負担を低減させることができ、処理時間の短縮を実現することができる。
【００９２】
また、本手法は、描画対象を中心に視点が移動する場合にも、視点を中心として描画対象が周囲に分布する場合にも、利用可能である。従って、例えば幾何形状の取得が容易な物体と困難な物体とが混在する環境であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現できる。
【００９３】
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。
【００９４】
以上、本発明を実施形態に基づき説明したが、本発明の技術的思想は上記説明に限定されず、その要旨を逸脱しない範疇において、修正及び変形することが可能である。これらについても、本願発明の技術的範囲に属するものと了解される。
【００９５】
また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、実施形態の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００９６】
【発明の効果】
以上本発明によれば、計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを実現できる。
【図面の簡単な説明】
【図１】図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。
【図２】図２は、画像処理装置１０が実行する上記生成・表示方法において実行される各処理のフローチャートである。
【図３】図３は、ボクセル内に発生させる微小面の一例を示した図である。
【図４】図４は、各ボクセルに微小面を発生させた場合の描画対象断面の模式的な図を示している。
【図５】図５（ａ）〜（ｃ）は、デプスクリッピングを説明するための画像である。
【図６】図６は、テクスチャ画像の判定・切り抜き処理を実現するハード装置の一例を示した図である。
【図７】図７は、見えの不連続性を幾何学的に説明するための図である。
【図８】図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、視点の移動に応じた解像度の変更を示した画像である。
【図９】図９（ａ）〜（ｅ）は、本発明の実施例を説明するための画像である。
【図１０】図１０（ａ）〜（ｄ）は、カメラを座標系の原点付近に設置し、周囲に向かって計測・撮影する状況下で計測を行って得られた実験結果を示している。
【図１１】図１１は、本実施形態の効果を説明するための図である。
【図１２】図１２（ａ）、（ｂ）、（ｃ）は、式（４）をプロットしたグラフを示している。
【図１３】図１３（ａ）、（ｂ）、（ｃ）は、図１２の（ａ）、（ｂ）、（ｃ）を二次元グラフ上に射影したものである。
【符号の説明】
１０…画像処理装置
１２…画像記憶部
１４…ホストコントローラ
１６…操作部
１８…表示部
１９…補助記憶部
１９…アラインメント処理部
２０…画像処理部
２１…前処理部
６４…ビデオメモリ
２０１…微小面発生部
２０２…テクスチャ画像選択部
２０３…ビルボーディング処理部
２０９…描画処理部
【発明の属する技術分野】
本発明は、コンピュータグラフィックス等において使用される画像処理装置、画像処理方法、及び当該画像処理プログラムに関する。
【０００２】
【従来の技術】
実世界の物体や風景をコンピュータグラフィクスとして再現することは、仮想現実感、拡張現実感といった現実感モデルを構築する上で非常に重要な処理である。しかし、複雑な形状を持つ物体を正確に計測、又は表現（すなわち画像化）することは、非常に困難である。また、仮に実現できた場合であっても、その処理に要するコストは、極めて高額となると考えられる。このような問題に対して、従来より、幾何モデル、光学モデル等の観点から多くの研究がなされている。しかし、依然として樹木の葉や毛髪等の極端に複雑な物体の幾何学形状を正確な計測、及び厳密な画像化は困難である。この困難性について具体的に説明すると、次のようである。
【０００３】
例えば、コンピュータグラフィックスにおける代表的な描画手法の一つに、計測等によって得られた形状モデルに基づいて描画を行うＭＢＲ（Ｍｏｄｅｌ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）がある。この手法では、ある程度の大きさを持つ物体の形状を、レーザーレンジファインダーによって高精度（０．１〜１０．０ｍｍの精度）で計測して形状モデルを作成し、これに基づいて描画処理を行う。従って、この手法での描画の正確さは、形状モデルの計測精度に依存することとなる。しかしながら、毛髪等の細かく入り組んだ形状を画像として表現するには、上記計測精度では不十分であり、正確な画像化を実現することができない。また、当該手法は、計測精度が撮影対象の表面特性に影響されやすく、かつ撮影できない対象も多い。さらに、複雑な幾何形状を正確に表現するために必要なデータ量は膨大であり、これらのデータを全て保持することは現実的ではない。
【０００４】
また、コンピュータグラフィックスにおける代表的な他の描画手法として、二次元画像から見え（ａｐｐｅａｒａｎｃｅ）を合成して描画を行うＩＢＲ（Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）がある。この手法は、ＭＢＲの様に幾何形状を取得する必要がなく、入力するカメラ画像を増やすことにより原理的にはあらゆる風景を再現することが可能である。しかしながら、撮影に要するコストとデータを保持するコストが高いことから利用できる状況は限られてしまう。また、幾何形状を持たないことから、合成された形状を他の環境に持ち込んだり、視点を大きく変える等の変化が困難である。
【０００５】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のような手段を講じている。
【０００７】
請求項１に記載の発明は、描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを記憶する記憶手段と、前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成する幾何形状モデル生成手段と、前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生手段と、視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理手段と、前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記視線方向に対応した前記描画対象に関する第３の画像を生成するテクスチャマッピング手段と、を具備することを特徴とする画像処理装置である。
【０００８】
請求項２に記載の発明は、前記幾何形状モデル生成手段は、複数のボクセルを発生させ、当該複数のボクセルによって前記幾何形状モデルを生成し、前記微小面発生手段は、前記微小面を各ボクセル内に発生させることを特徴とする請求項１記載の画像処理装置である。
【０００９】
請求項３に記載の発明は、幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルを発生数を制御することを特徴とする請求項２記載の画像処理装置である。
【００１０】
請求項４に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すクリッピング処理手段をさらに具備することを特徴とする請求項２又は３記載の画像処理装置である。
【００１１】
請求項５に記載の発明は、前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成する補間画像生成手段をさらに具備し、前記テクスチャマッピング手段は、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、を特徴とする請求項１乃至３のうちいずれか一項記載の画像処理装置である。
【００１２】
請求項６に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すクリッピング処理手段と、を具備することを特徴とする請求項５記載の画像処理装置である。
【００１３】
請求項７に記載の発明は、前記クリッピング処理手段は、グラフィックスハードウェアであることを特徴とする請求項４又は６に記載の画像処理装置である。
【００１４】
請求項８に記載の発明は、描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを利用して、前記描画対象に関して所定の視線方向からの第３の画像を生成する画像処理方法であって、前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成し、前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生手段と、視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理を実行し、前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記第３の画像を生成すること、を具備することを特徴とする画像処理方法である。
【００１５】
請求項９に記載の発明は、前記幾何形状モデルは、複数のボクセルから形成されるボクセルモデルであり、前記微小面は、各ボクセル毎に発生させることを特徴とする請求項８記載の画像処理方法である。
【００１６】
請求項１０に記載の発明は、幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルを発生数を制御することを特徴とする請求項９記載の画像処理方法である。
【００１７】
請求項１１に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すことをさらに具備することを特徴とする請求項９又は１０記載の画像処理方法である。
【００１８】
請求項１２に記載の発明は、前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成することをさらに具備し、前記テクスチャマッピングにおいては、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、を特徴とする請求項８乃至１０のうちいずれか一項記載の画像処理方法である。
【００１９】
請求項１３に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すことをさらに具備することを特徴とする請求項１２記載の画像処理方法である。
【００２０】
請求項１４に記載の発明は、描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを利用して、前記描画対象に関して所定の視線方向からの第３の画像を生成するための画像処理プログラムであって、コンピュータに、前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成する幾何形状モデル生成機能と、前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生機能と、視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理を実行するビルボーディング機能と、前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記第３の画像を生成する画像生成機能とを実現させるための画像処理プログラムである。
【００２１】
請求項１５に記載の発明は、前記幾何形状モデル生成機能は、複数のボクセルを発生させ、当該複数のボクセルによって前記幾何形状モデルを生成し、前記微小面発生機能は、前記微小面を各ボクセル内に発生させることを特徴とする請求項１４記載の画像処理プログラムである。
【００２２】
請求項１６に記載の発明は、幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルを発生数を制御することを特徴とする請求項１５記載の画像処理プログラムである。
【００２３】
請求項１７に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すクリッピング機能をさらに具備することを特徴とする請求項１５又は１６記載の画像処理プログラムである。
【００２４】
請求項１８に記載の発明は、前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成する補間画像生成機能をさらに具備し、前記テクスチャマッピング機能は、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、を特徴とする請求項１４乃至１６のうちいずれか一項記載の画像処理プログラムである。
【００２５】
請求項１９に記載の発明は、前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すクリッピング処理機能をさらに具備することを特徴とする請求項１８記載の画像処理プログラムである。
【００２６】
このような構成によれば、計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを実現することができる。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【００２８】
図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。同図に示すように、本画像処理装置１０は、主記憶部１２、ホストコントローラ１４、操作部１６、表示部１８、補助記憶部１９、画像処理部２０を具備している。
【００２９】
主記憶部１２は、所定の描画対象に関する二次元画像列（カメラ画像その他の実画像からなる画像列）と幾何形状情報とを記憶する不揮発性メモリである。ここでは、二次元画像列は、描画対象を被写体として、その周囲の複数撮影位置において撮影されたカメラ画像とする。このカメラ画像は、後述する画像処理においてテクスチャ画像として使用される。また、幾何形状情報とは、例えば光学的センサ等を用いた計測等によって得られる距離画像（各画素の画素値として、センサから描画対象までの距離を有する画像）である。
【００３０】
ホストコントローラ１４は、画像生成、画像処理、画像表示、データ記憶・通信等に関する統括的な制御を行う。
【００３１】
操作部１６は、キーボード、マウス、トラックボール、ロータリエンコーダ等からなり、オペレータが画像処理装置１０に対しての各種入力指示を行うためのインタフェースである。
【００３２】
表示部１８は、画像を表示するＣＲＴ等の表示手段である。
【００３３】
補助記憶部１９は、フロッピーディスク（ＦＤ）、ＤＶＤ、ＣＤＲＯＭ、ＤＡＴ等の着脱式記憶媒体である。
【００３４】
アラインメント処理部１９は、カメラ画像と距離画像とを同一の座標系で表現するための対応付け（アラインメント）を行う。このアラインメントは、特徴量に着目するものや点群同士の対応に着目するものその他種々の手法を採用することができる。
【００３５】
画像処理部２０は、主記憶部１２に格納されたカメラ画像列、幾何形状情報を入力として後述する各処理を実行し、微小面ビルボーディングを用いて描画対象を描画（レンダリング）する。本画像処理部２０は、各処理を実行するための構成要素として、微小面発生部２０１、ビルボーディング処理部２０３、テクスチャ画像選択部２０２、描画処理部２０９を有している。
【００３６】
微小面発生部２０１は、例えば描画対象に関するボクセルモデルを生成し、各ボクセル内に当該描画対象の幾何形状を近似するための微小面を発生する。
【００３７】
ビルボーディング処理部２０３は、視線方向と各微小面とが常に所定の角度（本実施形態では、９０度）をなすように、視線方向の変化に応じて各微小面を回転させる。この様な各微小面の回転処理による拘束は、「ビルボーディング」と呼ばれる。このビルボーディングを行うのは、任意の視線方向から観察した場合、上記複数の微小面によって描画対象全体が被覆される様にするためである。ここで、「視線方向」とは、描画処理において設定される視点から描画対象を見た場合の方向を意味する。
【００３８】
テクスチャ画像選択部２０２は、視線方向とカメラ画像列を撮影した複数のカメラの撮影方向とに基づいて、各微小面に関するテクスチャ画像を複数のカメラ画像の中から選択する。
【００３９】
描画処理部２０９は、テクスチャ画像選択部２０２によって選択された各カメラ画像を、対応する各微小面に投影することで、描画処理を行う。ここで、「撮影方向」とは、撮影用カメラ位置から描画対象を見た場合の方向を意味する。
【００４０】
前処理部２１は、距離画像を利用して各カメラ画像の画素毎に視点からの距離（深さ）に関する情報（αチャネル情報）を与える。このαチャネル情報は、ダブルイメージの発生を防止するため、レンダリングにおけるクリッピング処理に利用される。
【００４１】
次に、上記のように構成した画像処理装置１０によって実現される、微小面ビルボーディングを用いた表示手法について説明する。この手法は、描画対象の幾何形状を、視線方向に依存してその向き（方向）が変化する微小面の集合で近似し、二次元画像をテクスチャとして張り付けることにより、任意形状の物体や風景を効率的に表示するものである。この表示手法によれば、描画対象がどのような外形を有する場合であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現できる。特に、描画対象が複雑な外形を有する場合（例えば、描画対象が樹木である場合、毛状の部分を有する場合等）に実益がある。
【００４２】
なお、本表示手法は、例えば本ホストコントローラ１４が有する、又は別途設けられた揮発性メモリにおいて、主記憶部１２又は補助記憶部１９等に格納された所定のプログラムを読み出し実行することによって実現することができる。
【００４３】
図２は、画像処理装置１０が実行する上記生成・表示方法において実行される各処理のフローチャートである。図２に示すように、まず、カメラ画像列データ、及び距離画像データを収集する（ステップＳ１）。カメラ画像列データは、例えば描画対象を中心として所定角度間隔にある複数の撮影位置から撮影することで得られる。また、距離画像データは、例えば描画対象をレーザーレンジファインダーによって計測することで得られる。なお、カメラ画像と距離画像とは、同じ撮影位置から撮影される構成であってもよい。この場合、両者の間の空間的な対応関係を取るアラインメント処理をする省略することができる。また、幾何形状情報としては、距離画像の他に、三角パッチなどで表現されるメッシュモデルであってもよい。
【００４４】
次に、アラインメント処理部１９は、各カメラ画像と距離画像と間の位置合わせ（アラインメント）を行う（ステップＳ２）。本実施形態においては、例えばＩＣＰ法（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐａｒｔ ｍｅｔｈｏｄ）等を採用する。
【００４５】
次に、微小面発生部２０１は、微小面（ポリゴン）の集合により、描画対象の形状を近似する（ステップＳ３）。すなわち、空間を微小領域に分割し、上記計測によって得られた幾何学形状を再サンプリングすることで、描画対象について粗い幾何学形状を取得する。この粗い幾何学形状取得するため、本実施形態では、例えばボクセル分割に基づき微小面を発生させる方法を採用する。具体的な内容は、次のようである。
【００４６】
まず、描画対象を完全に含むボリューム空間を設定する。すなわち、各ボクセルに二値化処理を施し、その中に何も存在しなければ、そのボクセルは空（ボクセル値０を設定）とし、一方、その中に何からの形状が存在すればボクセル値１を設定する。次に、当該ボクセル内に微小面を発生させることで、幾何形状を再サンプリングして表面対象の形状を近似する。
【００４７】
なお、近似するための微小面の形状としては、多角形や楕円を採用することができる。本実施形態では、標準的なグラフィックハードウェアを使用した容易な描画、マッピング等が可能であることから、四辺形の微小面を発生させるものとする。
【００４８】
図３は、ボクセル内に発生させる微小面の一例を示した図である。図３に示すように、微小面は、各ボクセル内の四辺形として定義される。また、その中心はボクセルの中心と一致するように設定される。この微小面は、後述するように視点の移動に伴って当該ボクセル内を回転する。この回転の際、微小面によって当該ボクセル全体を常に被覆するためには（すなわち、所定の視点から見た場合、微小面が当該ボクセルモデルの表面を完全に被覆するためには）、１ボクセルの幅をｗとした場合、微小面の幅を３１／２ｗ以上とする必要がある。
【００４９】
図４は、各ボクセルに微小面を発生させた場合の描画対象断面の模式的な図を示している。同図に示すように、描画対象の幾何形状は、微小面の集合によって近似される。
【００５０】
次に、ビルボーディング処理部２０３は、視線方向と常に垂直となるように、各微小面を回転させる（ビルボーディング：ステップＳ４）。このビルボーディングにより、どの視線方向からでも微小面によって隙間無く覆い尽くされた状態で描画対象物を観察することができる。
【００５１】
次に、テクスチャ画像選択部２０２は、テクスチャ画像として貼り付けるためのカメラ画像を、各微小面毎に選択する（ステップＳ５）。複数のカメラがある場合（カメラ画像列がカメラ毎に複数ある場合）には、いずれのカメラから撮影されたカメラ画像を選択するかは、視点の変動とともに描画時に動的に決定される。本実施形態では、視線方向とカメラの撮影方向とのなす角θが最も小さい画像から優先させ、かつ微小面を完全に含むものを選択する。
【００５２】
なお、本手法では、撮影したカメラ画像列から、視線方向に最も近い画像を選択し、使用するため、視線の連続的な移動に伴い、選択される画像も変化する。撮影したカメラ画像が十分に密でなければ、視点移動によって選択する画像が変化する際、見え方も大きく変わるため、連続性が失われ現実感が損なわれてしまう。
【００５３】
この不具合を防止するため、例えば、微小面に対して投影されるカメラ画像を上記θが小さいものから順番に複数枚選択しておき、選択画像が変わる際、連続的に画像が変化するように、変化前と変化後の画像を重み付けし、ブレンドした補間画像を生成して用いる。これにより、視線移動に伴うカメラ画像間の移動を滑らかにすることができ、自然な描画を実現することができる。
【００５４】
次に、描画処理部２０９は、選択された各テクスチャ画像を切り抜き、各微小面に遠近投影する（テクスチャ画像のマッピング：ステップＳ６）。これにより、描画対象がどのような外形を有する場合であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現することができる。
【００５５】
（デプスクリッピング）
上記表示手法においては、微小面に対するテクスチャ画像の選択は、視線方向とカメラの撮影方向とに基づいて決定している。そのため、複数個の面に対して同一のテクスチャが選択されることがあり、その結果、視線がカメラの撮影地点から離れるに従って、テクスチャ上の一つの画素が複数回描画されることになる。一方、テクスチャ画像の各画素は、描画対象の一つの点から得られた情報である。従って、この同一テクスチャの複数回描画は、同一の物体が複数現れる、所謂ダブルイメージとして現れ、見えの不具合を発生させる。この不具合を改善するため、本画像処理装置は、次に述べるデプスクリッピングと称される手法を採用することができる。
【００５６】
デプスクリッピングとは、カメラ画像中の各画素に対して、予め画像対象までの距離情報を持たせておき、描画時に当該カメラ画像の各画素がボクセル内に含まれる場合に限り、微小面上に画素を書き出すことで、ダブルイメージを除去する手法である。なお、カメラ画像中の各画素に距離情報を持たせる処理は、前処理として予め行っておくことが可能である。本実施形では、前処理部２１において、例えばアラインメントの前段処理として実行することができる。
【００５７】
図５（ａ）〜（ｃ）は、デプスクリッピングを説明するための図である。まず、前処理部２１は、図５（ａ）に示すようなカメラ画像（鉢植え）と、これに対応する距離画像とを入力し、距離画像に基づきカメラ画像の各画素に対してαチャネル情報を与える。図５（ｂ）は、カメラ画像の各画素について、αチャネル情報がマスクされた画像の一例を示している。
【００５８】
描画処理部２０９は、図５（ｂ）に示した画像の各画素に与えられた距離と各微小面との距離とを比較して、テクスチャ画像として必要か否かの判定し、不要な画素については切り抜いて除去する。すなわち、微小面の発生間隔をｗ、微小面の撮影方向の微小面上の奥行きをＤ、画面に割り当てられている奥行きをｄとすると、描画処理部２０９は、カメラ画像上の画素単位で、次の関係式に従ってテクスチャ画像の切り抜きに関する判定を実行する。
【００５９】
｜ｄ−Ｄ｜＜ｗ／２ （画素を現在の微小面上に描画） （１−１）
上記以外 （画素を破棄、すなわち透明色をマッピング） （１−２）
なお、この判定・切り抜き処理は、例えばｎＶｉｄｉａ ＧｅＦｏｒｃｅ３グラフィックスカード（商品名）のＲｅｇｉｓｔｅｒ Ｃｏｍｂｉｎｅｒｓテクスチャ合成機能を利用して、ハード的に実行することができる。図６は、テクスチャ画像の判定・切り抜き処理を実現するハード装置の一例を示した図である。当該装置におけるレジスタの割り当ては、次の通りである。
【００６０】
まず、図６に示すように、テクスチャユニット０のα−ｐｏｒｔｉｏｎに、距離画像Ｄをロードする。すなわち、テクスチャとして使用されるカメラ画像は、ＲＧＢチャネルに撮影によって得られた色画像を、αチャネルに幾何形状を射影して得られた距離画像Ｄを割り当てる。次に、テクスチャ画素値ｄをテクスチャユニット１にロードする。今の場合、微小面は四辺形ポリゴンで表現しているから、視点の位置からポリゴンの向きを決定した後、当該四辺形の四つの頂点を撮影方向に見た時の距離を一次元テクスチャ座標として、各頂点に割り当てる。微小面上の各点を描画する際には、これらのテクスチャ座標を補間した値を、テクスチャ画素値として使用する。これらの値Ｄ、ｄは、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ０にそれぞれ値Ａ、Ｃとして入力される。ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ０は、入力された値Ａ、Ｄに基づいて、Ａ−Ｃ＋０．５の演算値を求め、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ １、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ３に対しそれぞれ値Ａとして出力する。
【００６１】
次に、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ １では、値Ａ及び値Ｃ＝ｗ／２（ｗはボクセルサイズ）とを入力し、Ａ−Ｃの演算値を求め、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ２に出力する。ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ２は、入力した演算値が０．５を越えるか否かを判別し、０．５を越えない場合には１が、越える場合には０が値Ｃとしてｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ４に入力される。一方、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ３では、値Ａ及び値Ｃ＝ｗ／２（ｗはボクセルサイズ）とを入力し、Ａ＋Ｃの演算値を求め、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ４に出力する。
【００６２】
ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ４は、ｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ２及びｇｅｎｅｒａｌ ｃｏｍｂｉｎｅｒ ３から入力した各値Ｃが０．５を越えるか否かを判別し、０．５を越えない場合には０が、越える場合にはＣが値Ｃとしてｆｉｎａｌ ｃｏｍｂｉｎｅｒ のα−ｐｏｒｔｉｏｎに入力される。この演算は上記式（１−１）、（１−２）の判定に対応している。ｆｉｎａｌ ｃｏｍｂｉｎｅｒ のα−ｐｏｒｔｉｏｎでは、画素を描画する場合にはα＝１、切り取る場合にはα＝０に置換され、画素の描画／破棄が実行される。なお、
このように、式（１−１）、（１−２）の判別を実現するレジスタ合成器を使用することで、カメラ画像の各画素に対してデプスクリッピング処理を実行することができる。
【００６３】
（誤差に基づくパラメータの決定）
微小面の発生密度は、画質と描画速度とに大きく影響する。一般に、発生密度が高ければ高いほど画質は向上するが、描画速度は低下する。そこで、画質と描画速度との間の関係式に基づいて、最適な微小面の発生密度を決定する手法について説明する。
【００６４】
上述した表示手法では、微小面には、入力したカメラ画像がテクスチャとして投影される。このため、視点がカメラ位置にある場合は、微小面の解像度によらず、描画によって与えられる画像は入力したカメラ画像と一致する。この場合、描画結果の画像には、幾何形状を近似したことによる誤差は全くないと考えることができる。一方、視点がカメラ位置から外れるに従って、もともと連続である幾何形状を不連続な微小面の集合で近似したことによる見えの不連続が発生する。
【００６５】
図７は、見えの不連続性を幾何学的に説明するための図である。図７に示すように、隣り合う微小面ｖ１、ｖ２に対し、Ａ方向のカメラが選択され描画された画像を、Ｂ方向から観測しているとする。このとき、微小面の発生間隔（隣り合う微小面の中心間の距離）をｗ、視線の角度を図の様にθ、カメラの撮影方向をφとすると、視線方向の微小面の間隔は、ｗ・ｃｏｓθと表せる。また、点ｐ１、点ｐ２は、カメラ画像上の同一点であるので、これらの近傍は描画時にも連続していることが望ましい。微小面が不連続であるため、これらの点は次のｅだけ離れて観察されることになる。
【００６６】
ｅ＝ｗ・ｃｏｓθｔａｎ｜φ−θ｜ （２）
ある入力カメラ画像列に対して、δ＝ｍａｘ｜φ−θ｜を考えると、ｗｃｏｓθ＜ｗより、次の式が成立する。
【００６７】
ｅ＜ｗ・ｔａｎδ （３）
式（３）より、テクスチャの不連続を抑制するためには、第１に、ｗを減少させる、すなわち、ボクセルの分割を密に行っていき、微小面の発生密度を上げること、第２に、δを減少させる、すなわち、入力するカメラ画像を密に撮影すること、が有効である。
【００６８】
しかしながら多くの場合、作業の手間やサイズが増大することなどから、入力するカメラ画像列をある程度以上密にすることは困難である。従って、本実施形態では、与えられた入力するカメラ画像列に対して、可能な限りボクセル分割数を変更することで微小面の発生密度を好適に制御する。例えば、計測物体を設置し、周囲から３０°間隔でカメラ撮影した画像をテクスチャとする場合、δ＜１５°からｅ＜０．１３ｗを得る。ｅをスクリーン上でのずれと考えると、ｅ＜１、すなわちｗ＜７４（単位は、スクリーン上の画素）であれば、テクスチャは連続して表示されることがわかる。従って、式（３）により、視点が移動した際の微小面の発生密度を、閾値処理によって決定することができる。
【００６９】
図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、式（３）に従う視点の移動に応じた解像度の変更（ｅの変更）を示した図である。（ａ）から（ｄ）に進むに従ってｅの値が小さく、高解像度となっている。
【００７０】
このｅの値により発生する微小面のサイズを制御し、観察に最適な画像表示を実現することができる。当該制御の一つの基準として、計測された幾何形状の精度を挙げることができる。例えば、計測された幾何形状の精度が良い場合には、サイズを小さくすることで、本手法によって得られる画像は、形状モデルに基づくＭＢＲ法によって得られるものに近づく。一方、幾何形状が信頼できない場合には、サイズを大きくすることで、本手法によって得られる画像は、二次元画像に基づくＩＢＲ法に近づけることができる。
【００７１】
（実施例）
次に、本発明の実施例について説明する。本実施例では、本手法の有効性を検証するため、（Ａ）物体を座標系の原点付近に設置し、周囲から中心方向に計測する場合（Ｂ）カメラを座標系の原点付近に設置し、周囲に向かって計測・撮影する場合、の二種類のカメラ配置で実験を行う。
【００７２】
実験に用いた描画対象（毛状素材で覆われた物体）の幾何形状、カメラ画像（カメラ画像）は、ＶＩＶＩＤ９００（商品名）を用いて計測・撮影する。この計測系では、カメラ画像と幾何形状とを同時に計測することができる。そのため、両者の位置合わせ（アラインメント）を行う必要がない。撮影時のカメラ位置は測定せず、得られた点群をＰ． Ｎｅｕｇｅｂａｕｅｒらの手法（例えば、Ｇｅｏｍｅｔｒｉｃａｌ ｃｌｏｎｉｎｇ ｏｆ ３ｄｏｂｊｅｃｔｓ ｖｉａ ｓｉｍｕｌｔａｎｅｏｕｓ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ． Ｉｎ Ｐｒｏｃ． Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ’９７， ｐａｇｅｓ １３０−１３９， １９９７）を用いて位置合わせした結果を利用して、カメラ位置を校正する。実験では、描画対象をターンテーブル上に設置し、周囲３６０°から１０°以上の間隔で計測・撮影を行った。
【００７３】
図９（ａ）は、上記（Ａ）の状況下で計測を行って得られた幾何形状、及びカメラ画像の一つを示す。なお、描画対象は、毛状の外形を有するぬいぐるみである。得られた幾何形状列に符号付距離変換を行い、ボリューム空間で再サンプリングしたとすると、図９（ｂ）に示すようなボリュームデータを得る。
【００７４】
次に、Ｗｈｅｅｌｅｒらの方法（例えば、Ｍ． Ｄ． Ｗｈｅｅｌｅｒ， Ｙ． Ｓａｔｏ， ａｎｄ Ｋ． Ｉｋｅｕｃｈｉ．Ｃｏｎｓｅｎｓｕｓ ｓｕｒｆａｃｅｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ３ｄ ｏｂｊｅｃｔｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ． Ｉｎ Ｐｒｏｃ． ＩＣＣＶ ’９８， ｐａｇｅ ９１７−９２４，１９９８）に従って、表面形状を再構成した結果が図９（ｃ）である。この段階では、物体表面は毛で覆われているため計測は不完全であり、正確な幾何形状を復元することができない。
【００７５】
次に、図９（ｄ）にあるように、６４×６４サイズのボクセル集合から微小面を発生させて幾何形状を近似する。なお、同図の微小面の色は、選択されているカメラの番号に対応している。これに基づいてテクスチャマップを実行し、距離に応じて切り抜くことで、図９（ｅ）の結果を得る。同図より、本手法によれば、物体境界付近の幾何形状が曖昧な部分も正確に再現できることがわかる。
【００７６】
図１０（ａ）〜（ｄ）は、（Ｂ）の状況下で計測を行って得られた実験結果を示している。なお、実験に用いたＶＩＶＩＤ９００では、一度に計測可能な範囲が狭いため、シーン全体を撮影するために必要な撮影回数は、５２枚であった。図１０（ａ）、（ｂ）に描画された結果を、それぞれ図１０（ｃ）、（ｄ）に微小面ごとに選択されているカメラ位置を示す。図からわかるように、幾何形状を利用することで、遠近感のある描画を行うことが可能であるが、遮断のためのテクスチャ画像が存在しない領域には穴があく（例えば図１０（ｃ）の左上隅及び左〜中央下部。図１０（ｄ）の中央下部。）。
【００７７】
また、ＰｅｎｔｉｕｍＩＩＩ（登録商標）１ＧＨｚ、主記憶５００ＭＢｙｔｅ、グラフィックスカードＧｅＦｏｒｃｅ３、ビデオメモリ６４ＭＢｙｔｅのパーソナルコンピュータ（ＰＣ）で上記表示実験を行った結果、（Ａ）、（Ｂ）いずれの結果においても、本実施形態を実現した場合の解像度において、実時間で表示することができた。
【００７８】
以上述べた構成によれば、以下の効果を得ることができる。
【００７９】
本手法は、描画対象の幾何形状を、視線方向に依存してその向き（方向）が変化する微小面の集合で近似し、二次元画像をテクスチャとして張り付けることにより、任意形状の物体や風景を効率的に表示することができる。従って、例えば、樹木、毛状等描画対象が複雑な外形を有する場合であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現できる。
【００８０】
なお、本手法では、幾何形状を微小面で表現するため、微小面の大きさや視線の方向によっては、実際の幾何形状と微小面との乖離幅が大きくなり、歪みが発生する。また、テクスチャをｖｉｅｗ ｄｅｐｅｎｄｅｎｔにマッピングするため、サンプリングの周期も生成画像に影響を与える。これらの点については、次の手法にて評価でき、その精度の高さを確認することができる。
【００８１】
今、注目微小面を一つ選び、図１１に示すような配置を考える。図１１の記号を用いて、仮想視点におけるピクセル位置と実際のピクセル位置とのずれ（乖離幅）を、本手法によるビルボード微小面における場合と従来の固定微小面における場合のそれぞれについて計算する。固定微小面の乖離幅Ｄａ、ビルボード微小面の乖離幅Ｄｂは、それぞれ以下の式によって計算される。
【００８２】
【数１】
ただし、上記各式は、仮想視点の焦点距離をｆとし、微小面の大きさに比べて、視点・カメラ位置が十分に物体から離れていることを用いて簡略化されている。
【００８４】
上記各式より、サンプリング周期の上昇に伴い、歪みが減少することがわかる。また、距離に応じたテクスチャ切り抜きにより、ある閾値以上に幾何形状と微小面が乖離しないことを勘案すれば、現在行っている実験環境においては、発生するピクセル誤差は非常に小さいことがわかる。
【００８５】
また、固定微小面とビルボード微小面との歪みを比較すると、視線方向の変化が大きくなると、固定微小面においては急激に歪みが拡大するのに対して、ビルボード微小面においては、歪みが安定していることがわかる。
【００８６】
図１２（ａ）、（ｂ）、（ｃ）は、上記式（４）をプロットしたグラフを示している。なお、ここでは、ｆ＝ｄｖとし、ビルボード微小面及び固定微小面の各サイズを１６×１６ピクセルとしている。また、図１３（ａ）、（ｂ）、（ｃ）は、図１２の（ａ）、（ｂ）、（ｃ）を二次元グラフ上に射影したものである。ここでは、歪みが最も大きくなる状況で計算するため、Δｕは微小面の両端の位置とし、φはサンプリング周期／２としている。
【００８７】
図１２、１３より、サンプリング周期の上昇に伴い、歪みが減少していることがわかる。また、ｆ＝ｄｖとしていること、距離に応じたデクスチャ切り抜きにより、ある閾値以上に幾何形状と微小面とが乖離しないことを勘案すれば、現在行っている実験環境においては、発生するピクセル誤差は非常に小さいことがわかる。また、図１２（ｃ）、図１３（ｃ）より、固定微小面とビルボード微小面との歪みを比較すると、視線方向の変化が大きくなるに従って、固定微小面においては急激に歪みが拡張するのに対して、ビルボード微小面においては、歪みが安定していることがわかる。
【００８８】
以上の評価により、ある程度の大きさを持った微小面であっても、幾何形状とのずれによるピクセル誤差は小さいため、ビルボーディングを行う微小面を利用する本手法が、現実感ある表示に有効であることがわかる。
【００８９】
また、本手法は、描画対象の特徴抽出や背景抽出を一切必要とせず、単純に幾何要素の集合を利用するだけである。従って、比較的簡便な処理にて迅速に精度の高い描画を提供することができる。また、本手法は、パーソナルコンピュータやワークステーション、その他の通常のコンピュータグラフィックス環境に本手法を実現するプログラム等を実装することで、簡単かつ低コストにて実現することができる。
【００９０】
また、本手法によれば、デプスクリッピング処理により予めカメラ画像の切り抜きを行い、これを利用して各微小面への描画処理を行うことができる。従って、ダブルイメージを効率よく除去することができ、見えのよい画像を提供することができる。また、デプスクリッピング処理により余分な描画処理を排除することができるから、処理時間を短縮することができ、リアルタイム性の高い画像提供を実現することができる。
【００９１】
また、本画像処理装置では、デプスクリッピング処理をグラフィックスハードウェアによって効率的に実現することができる。従って、ソフト構成への負担を低減させることができ、処理時間の短縮を実現することができる。
【００９２】
また、本手法は、描画対象を中心に視点が移動する場合にも、視点を中心として描画対象が周囲に分布する場合にも、利用可能である。従って、例えば幾何形状の取得が容易な物体と困難な物体とが混在する環境であっても、遠近感があり、且つ遮蔽や光源の影響その他の他物体との相互作用を考慮した描画を実現できる。
【００９３】
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。
【００９４】
以上、本発明を実施形態に基づき説明したが、本発明の技術的思想は上記説明に限定されず、その要旨を逸脱しない範疇において、修正及び変形することが可能である。これらについても、本願発明の技術的範囲に属するものと了解される。
【００９５】
また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、実施形態の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００９６】
【発明の効果】
以上本発明によれば、計測によって得られた幾何形状を最大限に活用しつつ、画像に基づく見えの合成を行うことで、任意の対象物体を表示することができる画像処理装置、画像処理方法、及び当該画像処理プログラムを実現できる。
【図面の簡単な説明】
【図１】図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。
【図２】図２は、画像処理装置１０が実行する上記生成・表示方法において実行される各処理のフローチャートである。
【図３】図３は、ボクセル内に発生させる微小面の一例を示した図である。
【図４】図４は、各ボクセルに微小面を発生させた場合の描画対象断面の模式的な図を示している。
【図５】図５（ａ）〜（ｃ）は、デプスクリッピングを説明するための画像である。
【図６】図６は、テクスチャ画像の判定・切り抜き処理を実現するハード装置の一例を示した図である。
【図７】図７は、見えの不連続性を幾何学的に説明するための図である。
【図８】図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、視点の移動に応じた解像度の変更を示した画像である。
【図９】図９（ａ）〜（ｅ）は、本発明の実施例を説明するための画像である。
【図１０】図１０（ａ）〜（ｄ）は、カメラを座標系の原点付近に設置し、周囲に向かって計測・撮影する状況下で計測を行って得られた実験結果を示している。
【図１１】図１１は、本実施形態の効果を説明するための図である。
【図１２】図１２（ａ）、（ｂ）、（ｃ）は、式（４）をプロットしたグラフを示している。
【図１３】図１３（ａ）、（ｂ）、（ｃ）は、図１２の（ａ）、（ｂ）、（ｃ）を二次元グラフ上に射影したものである。
【符号の説明】
１０…画像処理装置
１２…画像記憶部
１４…ホストコントローラ
１６…操作部
１８…表示部
１９…補助記憶部
１９…アラインメント処理部
２０…画像処理部
２１…前処理部
６４…ビデオメモリ
２０１…微小面発生部
２０２…テクスチャ画像選択部
２０３…ビルボーディング処理部
２０９…描画処理部
Claims (19)
- 描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを記憶する記憶手段と、
前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成する幾何形状モデル生成手段と、
前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生手段と、
視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理手段と、
前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記視線方向に対応した前記描画対象に関する第３の画像を生成するテクスチャマッピング手段と、
を具備することを特徴とする画像処理装置。 - 前記幾何形状モデル生成手段は、複数のボクセルを発生させ、当該複数のボクセルによって前記幾何形状モデルを生成し、
前記微小面発生手段は、前記微小面を各ボクセル内に発生させること、
を特徴とする請求項１記載の画像処理装置。 - 幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルの発生数を制御することを特徴とする請求項２記載の画像処理装置。
- 前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すクリッピング処理手段をさらに具備することを特徴とする請求項２又は３記載の画像処理装置。
- 前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成する補間画像生成手段をさらに具備し、
前記テクスチャマッピング手段は、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、
を特徴とする請求項１乃至３のうちいずれか一項記載の画像処理装置。 - 前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すクリッピング処理手段と、
を具備することを特徴とする請求項５記載の画像処理装置。 - 前記クリッピング処理手段は、グラフィックスハードウェアであることを特徴とする請求項４又は６に記載の画像処理装置。
- 描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを利用して、前記描画対象に関して所定の視線方向からの第３の画像を生成する画像処理方法であって、
前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成し、
前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生手段と、
視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理を実行し、
前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記第３の画像を生成すること、
を具備することを特徴とする画像処理方法。 - 前記幾何形状モデルは、複数のボクセルから形成されるボクセルモデルであり、
前記微小面は、各ボクセル毎に発生させること、
を特徴とする請求項８記載の画像処理方法。 - 幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルの発生数を制御することを特徴とする請求項９記載の画像処理方法。
- 前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すこと、
をさらに具備することを特徴とする請求項９又は１０記載の画像処理方法。 - 前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成することをさらに具備し、
前記テクスチャマッピングにおいては、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、
を特徴とする請求項８乃至１０のうちいずれか一項記載の画像処理方法。 - 前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すことをさらに具備することを特徴とする請求項１２記載の画像処理方法。
- 描画対象を異なる複数の撮影方向から撮影して得られる複数の第１の画像と、前記描画対象の距離情報に関する第２の画像とを利用して、前記描画対象に関して所定の視線方向からの第３の画像を生成するための画像処理プログラムであって、
コンピュータに、
前記第２の画像に基づいて、前記描画対象の幾何形状モデルを生成する幾何形状モデル生成機能と、
前記幾何形状モデルの形状を近似するための複数の微小面を発生する微小面発生機能と、
視線方向に対して所定の角度をなすように、前記複数の微小面を回転させるビルボーディング処理を実行するビルボーディング機能と、
前記複数の撮影方向と前記視線方向とに基づいて、前記複数の第１の画像の中から前記各微小面毎にテクスチャ画像を選択し前記各微小面に投影することで、前記第３の画像を生成する画像生成機能と、
を実現させるための画像処理プログラム。 - 前記幾何形状モデル生成機能は、複数のボクセルを発生させ、当該複数のボクセルによって前記幾何形状モデルを生成し、
前記微小面発生機能は、前記微小面を各ボクセル内に発生させること、
を特徴とする請求項１４記載の画像処理プログラム。 - 幾何形状モデル生成手段は、前記第２の画像の精度に基づいて前記複数のボクセルの発生数を制御することを特徴とする請求項１５記載の画像処理プログラム。
- 前記第２の画像に基づいて、前記複数の第１の画像の各画素に対して距離情報を付加し、当該各第１の画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像に対してクリッピング処理を施すクリッピング機能をさらに具備することを特徴とする請求項１５又は１６記載の画像処理プログラム。
- 前記複数の第１の画像の中から、前記視線方向と前記複数の撮影方向とがなす角度の小さいものから順に少なくとも二枚の第１の画像を選択し、当該少なくとも二枚の第１の画像に基づいて、補間画像を生成する補間画像生成機能をさらに具備し、
前記テクスチャマッピング機能は、前記複数の撮影方向と前記視線方向とに基づいて、前記各微小面毎に前記複数の第１の画像又は前記補間画像をテクスチャ画像として選択し、前記各微小面に投影すること、
を特徴とする請求項１４乃至１６のうちいずれか一項記載の画像処理プログラム。 - 前記第２の画像に基づいて、前記複数の第１の画像及び前記補間画像の各画素に対して距離情報を付加し、当該各第１の画像及び当該補間画像の各画素の距離情報と前記視点から前記各ボクセルまでの距離とに基づいて、前記複数の第１の画像及び前記補間画像に対してクリッピング処理を施すクリッピング処理機能をさらに具備することを特徴とする請求項１８記載の画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022317A JP3855053B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| EP03014276A EP1443464A3 (en) | 2003-01-30 | 2003-06-25 | Object rendering from a predetermined viewpoint using microfacets |
| US10/602,600 US7567246B2 (en) | 2003-01-30 | 2003-06-25 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022317A JP3855053B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004234350A true JP2004234350A (ja) | 2004-08-19 |
| JP3855053B2 JP3855053B2 (ja) | 2006-12-06 |
Family
ID=32652896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003022317A Expired - Lifetime JP3855053B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7567246B2 (ja) |
| EP (1) | EP1443464A3 (ja) |
| JP (1) | JP3855053B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008117113A (ja) * | 2006-11-02 | 2008-05-22 | Fresh Remix Kk | 画像生成装置および方法、画像生成プログラム |
| JP2011527790A (ja) * | 2008-07-09 | 2011-11-04 | プライムセンス リミテッド | ３次元マッピング用集積処理装置 |
| JP2015515655A (ja) * | 2012-06-29 | 2015-05-28 | 三菱電機株式会社 | データを位置合わせする方法 |
| JP2017509986A (ja) * | 2014-12-19 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7230621B2 (en) * | 2002-02-19 | 2007-06-12 | Adams Jr William O | Three-dimensional imaging system and methods |
| US7764849B2 (en) * | 2006-07-31 | 2010-07-27 | Microsoft Corporation | User interface for navigating through images |
| US20080027985A1 (en) * | 2006-07-31 | 2008-01-31 | Microsoft Corporation | Generating spatial multimedia indices for multimedia corpuses |
| US7712052B2 (en) | 2006-07-31 | 2010-05-04 | Microsoft Corporation | Applications of three-dimensional environments constructed from images |
| US8508550B1 (en) * | 2008-06-10 | 2013-08-13 | Pixar | Selective rendering of objects |
| JP5299173B2 (ja) * | 2009-08-26 | 2013-09-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| KR101407818B1 (ko) * | 2009-12-08 | 2014-06-17 | 한국전자통신연구원 | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 |
| US20120120113A1 (en) * | 2010-11-15 | 2012-05-17 | Eduardo Hueso | Method and apparatus for visualizing 2D product images integrated in a real-world environment |
| US9165397B2 (en) | 2013-06-19 | 2015-10-20 | Google Inc. | Texture blending between view-dependent texture and base texture in a geographic information system |
| CN104268922B (zh) * | 2014-09-03 | 2017-06-06 | 广州博冠信息科技有限公司 | 一种图像渲染方法及图像渲染装置 |
| US10275939B2 (en) | 2015-11-05 | 2019-04-30 | Google Llc | Determining two-dimensional images using three-dimensional models |
| JP2019003320A (ja) * | 2017-06-13 | 2019-01-10 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
| DE102017124744A1 (de) | 2017-10-23 | 2019-04-25 | Technische Hochschule Nürnberg Georg Simon Ohm | Restflächenoptimierung |
Family Cites Families (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6184857B1 (en) * | 1993-01-04 | 2001-02-06 | Roy W. Latham | Computer-implemented method of rendering an image of smoke |
| US5409379A (en) * | 1993-10-29 | 1995-04-25 | Southwest Research Institute | Weather simulation system |
| US5480305A (en) * | 1993-10-29 | 1996-01-02 | Southwest Research Institute | Weather simulation system |
| JP3573512B2 (ja) * | 1994-05-17 | 2004-10-06 | オリンパス株式会社 | 画像処理方法及び画像処理装置 |
| US5905499A (en) * | 1995-07-05 | 1999-05-18 | Fakespace, Inc. | Method and system for high performance computer-generated virtual environments |
| US5936626A (en) * | 1996-02-07 | 1999-08-10 | Silicon Graphics, Inc. | Computer graphics silhouette load management |
| US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| US6246420B1 (en) * | 1996-10-11 | 2001-06-12 | Matsushita Electric Industrial Co., Ltd. | Movement data connecting method and apparatus therefor |
| US5898438A (en) * | 1996-11-12 | 1999-04-27 | Ford Global Technologies, Inc. | Texture mapping of photographic images to CAD surfaces |
| US6373483B1 (en) * | 1997-01-13 | 2002-04-16 | Silicon Graphics, Inc. | Method, system and computer program product for visually approximating scattered data using color to represent values of a categorical variable |
| US6052123A (en) * | 1997-05-14 | 2000-04-18 | International Business Machines Corporation | Animation reuse in three dimensional virtual reality |
| US6072497A (en) * | 1997-05-30 | 2000-06-06 | Hewlett-Packard Company | Volumetric pre-clipping method that guarantees minimal number of sample points through a volume |
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| US6078701A (en) * | 1997-08-01 | 2000-06-20 | Sarnoff Corporation | Method and apparatus for performing local to global multiframe alignment to construct mosaic images |
| US6008813A (en) * | 1997-08-01 | 1999-12-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Real-time PC based volume rendering system |
| US6118452A (en) * | 1997-08-05 | 2000-09-12 | Hewlett-Packard Company | Fragment visibility pretest system and methodology for improved performance of a graphics system |
| US6249600B1 (en) * | 1997-11-07 | 2001-06-19 | The Trustees Of Columbia University In The City Of New York | System and method for generation of a three-dimensional solid model |
| US6018348A (en) * | 1997-12-31 | 2000-01-25 | Intel Corporation | Method for visibility culling |
| US6466207B1 (en) * | 1998-03-18 | 2002-10-15 | Microsoft Corporation | Real-time image rendering with layered depth images |
| US6313841B1 (en) * | 1998-04-13 | 2001-11-06 | Terarecon, Inc. | Parallel volume rendering system with a resampling module for parallel and perspective projections |
| US6163320A (en) * | 1998-05-29 | 2000-12-19 | Silicon Graphics, Inc. | Method and apparatus for radiometrically accurate texture-based lightpoint rendering technique |
| US6268846B1 (en) * | 1998-06-22 | 2001-07-31 | Adobe Systems Incorporated | 3D graphics based on images and morphing |
| GB9813682D0 (en) * | 1998-06-25 | 1998-08-26 | Fujifilm Electronic Imaging Li | Universal profiling |
| US6674430B1 (en) * | 1998-07-16 | 2004-01-06 | The Research Foundation Of State University Of New York | Apparatus and method for real-time volume processing and universal 3D rendering |
| US6215496B1 (en) * | 1998-07-23 | 2001-04-10 | Microsoft Corporation | Sprites with depth |
| US6480190B1 (en) * | 1999-01-29 | 2002-11-12 | Mitsubishi Electric Research Laboratories, Inc | Graphical objects represented as surface elements |
| US6396496B1 (en) * | 1999-01-29 | 2002-05-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for modeling graphical objects represented as surface elements |
| US6448968B1 (en) * | 1999-01-29 | 2002-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for rendering graphical objects represented as surface elements |
| US6498607B1 (en) * | 1999-01-29 | 2002-12-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating graphical object represented as surface elements |
| US6342886B1 (en) * | 1999-01-29 | 2002-01-29 | Mitsubishi Electric Research Laboratories, Inc | Method for interactively modeling graphical objects with linked and unlinked surface elements |
| US6497629B2 (en) * | 1999-03-24 | 2002-12-24 | K.K. Endo Seisakusho | Golfing iron club and manufacturing method thereof |
| US6424351B1 (en) * | 1999-04-21 | 2002-07-23 | The University Of North Carolina At Chapel Hill | Methods and systems for producing three-dimensional images using relief textures |
| US6525731B1 (en) * | 1999-11-09 | 2003-02-25 | Ibm Corporation | Dynamic view-dependent texture mapping |
| EP1264281A4 (en) * | 2000-02-25 | 2007-07-11 | Univ New York State Res Found | ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME |
| US6509902B1 (en) * | 2000-02-28 | 2003-01-21 | Mitsubishi Electric Research Laboratories, Inc. | Texture filtering for surface elements |
| US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
| ATE541274T1 (de) * | 2001-04-18 | 2012-01-15 | Landmark Graphics Corp | Wiedergabevorrichtung für volumenkörper |
| US6744435B2 (en) * | 2001-04-26 | 2004-06-01 | Mitsubishi Electric Research Laboratories, Inc. | Rendering discrete sample points projected to a screen space with a continuous resampling filter |
| US6639594B2 (en) * | 2001-06-03 | 2003-10-28 | Microsoft Corporation | View-dependent image synthesis |
| RU2215326C2 (ru) * | 2001-06-29 | 2003-10-27 | Самсунг Электроникс Ко., Лтд. | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта |
| RU2216781C2 (ru) * | 2001-06-29 | 2003-11-20 | Самсунг Электроникс Ко., Лтд | Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта |
| KR100450823B1 (ko) * | 2001-11-27 | 2004-10-01 | 삼성전자주식회사 | 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조 |
| AU2002359541A1 (en) * | 2001-11-30 | 2003-06-17 | Zaxel Systems, Inc. | Image-based rendering for 3d object viewing |
| US7199793B2 (en) * | 2002-05-21 | 2007-04-03 | Mok3, Inc. | Image-based modeling and photo editing |
| US6791542B2 (en) * | 2002-06-17 | 2004-09-14 | Mitsubishi Electric Research Laboratories, Inc. | Modeling 3D objects with opacity hulls |
| US7362335B2 (en) * | 2002-07-19 | 2008-04-22 | Silicon Graphics, Inc. | System and method for image-based rendering with object proxies |
| US7272608B2 (en) * | 2002-11-27 | 2007-09-18 | Zyvex Labs, Llc | Isosurface extraction into splat hierarchy |
| US7218323B1 (en) * | 2004-08-13 | 2007-05-15 | Ngrain (Canada) Corporation | Method and system for rendering voxel data while addressing multiple voxel set interpenetration |
-
2003
- 2003-01-30 JP JP2003022317A patent/JP3855053B2/ja not_active Expired - Lifetime
- 2003-06-25 EP EP03014276A patent/EP1443464A3/en not_active Withdrawn
- 2003-06-25 US US10/602,600 patent/US7567246B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008117113A (ja) * | 2006-11-02 | 2008-05-22 | Fresh Remix Kk | 画像生成装置および方法、画像生成プログラム |
| JP2011527790A (ja) * | 2008-07-09 | 2011-11-04 | プライムセンス リミテッド | ３次元マッピング用集積処理装置 |
| JP2015515655A (ja) * | 2012-06-29 | 2015-05-28 | 三菱電機株式会社 | データを位置合わせする方法 |
| JP2017509986A (ja) * | 2014-12-19 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 |
| US9704265B2 (en) | 2014-12-19 | 2017-07-11 | SZ DJI Technology Co., Ltd. | Optical-flow imaging system and method using ultrasonic depth sensing |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1443464A2 (en) | 2004-08-04 |
| EP1443464A3 (en) | 2005-11-30 |
| JP3855053B2 (ja) | 2006-12-06 |
| US7567246B2 (en) | 2009-07-28 |
| US20040150638A1 (en) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10728513B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| Chaurasia et al. | Depth synthesis and local warps for plausible image-based navigation | |
| JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3855053B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US20100156901A1 (en) | Method and apparatus for reconstructing 3d model | |
| WO2019122205A1 (en) | Method and apparatus for generating a three-dimensional model | |
| CN109906600B (zh) | 模拟景深 | |
| JP6778163B2 (ja) | オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 | |
| Mori et al. | Efficient use of textured 3D model for pre-observation-based diminished reality | |
| Kawasaki et al. | Microfacet billboarding | |
| Meerits et al. | Real-time diminished reality for dynamic scenes | |
| JP7038683B2 (ja) | 合成装置、方法及びプログラム | |
| Lee et al. | Texturefusion: High-quality texture acquisition for real-time rgb-d scanning | |
| Li et al. | 3d reconstruction and texture optimization using a sparse set of rgb-d cameras | |
| US10163250B2 (en) | Arbitrary view generation | |
| Zhang et al. | Depth of field rendering using multilayer-neighborhood optimization | |
| KR101566459B1 (ko) | 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 | |
| JP2001243497A (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| Musialski et al. | Interactive Multi-View Facade Image Editing. | |
| Kunert et al. | An efficient diminished reality approach using real-time surface reconstruction | |
| Casas et al. | Props alive: a framework for augmented reality stop motion animation | |
| Li et al. | Online accelerated rendering of visual hulls in real scenes | |
| CN117501313A (zh) | 基于深度神经网络的毛发渲染系统 | |
| Li et al. | Tour into the picture revisited | |
| Dong et al. | Occlusion handling method for ubiquitous augmented reality using reality capture technology and GLSL |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3855053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| EXPY | Cancellation because of completion of term |