JP2004272580A

JP2004272580A - Device, method and program for composing high-dimensional texture

Info

Publication number: JP2004272580A
Application number: JP2003062180A
Authority: JP
Inventors: Shinko Sekine; 真弘関根; Yasuaki Yamauchi; 康晋山内; Shingo Yanagawa; 新悟柳川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-03-07
Filing date: 2003-03-07
Publication date: 2004-09-30
Anticipated expiration: 2023-03-07
Also published as: KR100579772B1; CN1527250A; JP3906170B2; CN1290064C; KR20040080344A

Abstract

<P>PROBLEM TO BE SOLVED: To compose a high-dimensional texture of an arbitrary size by use of a plurality of texture images varying according to conditions such as a viewpoint direction and a light source direction. <P>SOLUTION: One or more texture images acquired or created under the plurality of different conditions are inputted as reference texture images, and color information about the same pixel is taken out and arranged to produce a reference high-dimensional texture. The reference high-dimensional texture is quantized by one or more quantization levels, and a code book is produced. A new index image having an arbitrary image size is composed from a reference index image obtained by imaging an index of the reference texture image according to hierarchy of the reference high-dimensional texture corresponding to the quantization level. By combining the composed new index image and the precedingly produced code book, the new high-dimensional texture is produced. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元コンピュータグラフィックス分野における高品位テクスチャマッピングに好適な画像合成技術に属し、視点方向や光源方向などの条件に応じて変化する多数のテクスチャ画像から、これら条件に応じた任意サイズのテクスチャ画像を合成するための装置、方法、およびプログラムに関する。ならびに本発明は、多数のテクスチャ画像を種々の記録媒体に効率的に格納し管理するためのデータ構造に関する。
【０００２】
【従来の技術】
３次元物体の見え方、すなわち３次元物体の形状およびその表面の色や質感は、この３次元物体を眺める方向（視点方向）および光を照射する方向（光源方向）に依存して変化する。３次元コンピュータグラフィックスの分野では、３次元物体の表面をポリゴンと称する多数の２次元平面単位に分割し、ポリゴンごとに描画を行って２次元画像を生成し、これを３次元物体の表示画像としている。
【０００３】
視点方向および光源方向が変化する際の３次元物体の見え方は、表示ポリゴンの向き（３次元姿勢）やポリゴンの光学的特性（輝度等）を視点方向および光源方向とともに変化させることで表現することができる。ところが、従来は描画の単位であるポリゴンの向き（３次元姿勢）を定義する法線と視点方向あるいは光源方向との関係を計算するためには浮動小数点精度のベクトル演算が必須であり、これはハードウェアおよびソフトウェアのどちらの観点からみても演算コストが高く、実用化が困難であった。そこで、ポリゴンを構成する頂点単位に設定した色でポリゴン内部を一様に塗りつぶすフラットシェーディングと呼ばれる描画手法や、ポリゴンを構成する頂点単位に設定した色に基づいて単調な線形補間によりポリゴン内部に色を塗るスムースシェーディングと呼ばれる描画手法が用いられることがある。
【０００４】
また、例えば模様や柄などポリゴン内部のディテールを表現したいという要求に対してはテクスチャマッピングと呼ばれる手法が用いられる。テクスチャマッピングとは、模様や柄が表現された画像（テクスチャ画像）をポリゴン表面に配置（マッピング）する画像処理技術である。ポリゴンを構成する頂点単位でテクスチャ画像内の対応する画像内座標を定義するなどしてテクスチャ画像の向きを制御したり、テクスチャ画像に実写画像を用いる等、これまでになされたテクスチャマッピングへの幾つかの改良は、より高品質なレンダリングを可能にした。しかし、このような改良を行ったとしても、このテクスチャマッピングでは、視点方向や光源方向に応じて変化すべき物体表面の光学的特性を表現することまでは行えない。これは、ポリゴンの３次元姿勢とは無関係に単一のテクスチャ画像を貼り付けているためである。
【０００５】
物体表面の光学的特性を表現するために、従来、いくつかの改良手法が提案されているが、以下に説明するように、これらの改良手法にはそれぞれ固有の問題がある。
【０００６】
（１）物体表面の法線ディテールを擬似的に変化させ、光学的な特性を変化させる手法がある。これには、バンプマッピングと呼ばれる手法が存在するが、法線のゆらし計算など３次元ベクトル計算が必要であり、計算コストが高いという問題がある。
【０００７】
（２）一般にポリゴン表面のテクスチャ成分を視線方向、光源方向に応じて表現したものをＢＴＦ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌＴｅｘｔｕｒｅＦｕｎｃｔｉｏｎ）と呼ぶ（下記非特許文献１参照）。しかし、ＢＴＦのデータにおいて視点方向および光源方向を表す４個の変数のすべてを変化させながら画像のサンプリングをこれまでに行った例はなく、２個あるいは３個の変数を変化させたサブセットを扱っている（下記非特許文献２参照）。
【０００８】
（３）光源方向や視点方向に依存した輝度変化を関数で近似する手法として、ＰＴＭ（ＰｏｌｙｎｏｍｉａｌＴｅｘｔｕｒｅＭａｐｐｉｎｇ）と呼ばれる手法が提案されている（下記特許文献１参照）。ＰＴＭでは、ピクセル毎の輝度変化を２次元光源方向パラメータの２次関数で近似し、その関数係数（６つ）を持つテクスチャに変換して保持する。描画時には、この関数係数テクスチャから描画対象ピクセルの関数係数を取り出す。そして、取り出した関数係数と光源方向パラメータとの積和演算により、光源依存なテクセル・カラー情報を求めている。近年のグラフィックス・ハードウェアでは、ハードウェア上の演算ユニットをプログラマブルに利用してシェーディングを行なう機能（ピクセルシェーダ）が実装されている。そのため、ＰＴＭのような演算を高速に実行させることが可能となってきている。しかし、視点方向も含めた輝度変化を関数化する場合、さらに高次な関数化が必要となる。その結果、関数係数が増えるのみならず、関数近似に要する時間も多大になることが予想され、視点方向と光源方向の双方に依存したテクスチャを生成することは原理上、困難である。
【０００９】
（４）一方、視点方向に応じた画像を生成する手法としては、ＬｉｇｈｔＦｉｅｌｄＲｅｎｄｅｒｉｎｇ（下記特許文献２および非特許文献３参照）やＬｕｍｉｇｒａｐｈ（下記非特許文献４参照）に代表されるイメージベース・レンダリング手法がある。イメージベース・レンダリング手法は、離散的に設定された複数視点画像から、新規視点から見た画像をサンプリングによって生成しようとするものである。しかし、視点自由度や画質を高めようとすると複数視点画像を大量に用意しておく必要があり、データ量が膨大になるという問題がある。
【００１０】
従来のテクスチャマッピングにおいては、３次元物体の表面の大きさに対してテクスチャ画像のサイズが小さい場合、テクスチャ画像を繰り返し配置しながら、マッピングを行なっている。しかしこの方法では、テクスチャ画像の模様や柄が単調な繰り返しパターンとして現れてしまったり、境界線が目立ってしまったりする。これは、観察者に不自然な印象を与える。
【００１１】
そこで近年では、小さなテクスチャ画像から任意サイズのテクスチャ画像を合成する方式が提案されている（下記非特許文献５および非特許文献６参照）。これは、元の小さなテクスチャ画像を参照しながら、任意サイズのテクスチャ画像をスキャンし、元の画像に近いテクスチャ画像を合成するというものである。またその応用として、参照している小さなテクスチャ画像の他に目標とするテクスチャ画像を用意し、この目標とするテクスチャ画像の模様や柄を有し、かつ、参照している小さなテクスチャ画像の素材に近い画像を合成する方式も提案されている。
【００１２】
しかし、このような従来のテクスチャ画像合成技術は、単に１枚のテクスチャ画像を合成するというものであり、多視点／多光源についての多数のテクスチャ画像を一括に扱って合成することはできない。
【００１３】
【特許文献１】
米国特許第６２９７８３４号明細書
【００１４】
【特許文献２】
米国特許第６０９７３９４号明細書
【００１５】
【非特許文献１】
Ｄａｎａ，ｅｔ．ａｌ， ”ＲｅｆｌｅｃｔａｎｃｅａｎｄＴｅｘｔｕｒｅｏｆＲｅａｌＷｏｒｌｄＳｕｒｆａｃｅｓ”，ＡＣＭＴｒａｎｓａｃｔｉｏｎｏｎＧｒａｐｈｉｃｓ，１８（１）：１−３４，１９９９．
【００１６】
【非特許文献２】
Ｃｈｅｎ，ｅｔ．ａｌ， ”ＬｉｇｈｔＦｉｅｌｄＭａｐｐｉｎｇＥｆｆｉｃｉｅｎｔＲｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄＨａｒｄｗａｒｅＲｅｎｄｅｒｉｎｇｏｆＳｕｒｆａｃｅＬｉｇｈｔＦｉｅｌｄｓ”，ＰｒｏｃｅｅｄｉｎｇｓＳＩＧＧＲＡＰＨ２００２，ｐｐ．４４７−４５６．
【００１７】
【非特許文献３】
Ｌｅｖｏｙ，ｅｔ．ａｌ， ”ＬｉｇｈｔＦｉｅｌｄＲｅｎｄｅｒｉｎｇ”，ＰｒｏｃｅｅｄｉｎｇｓＳＩＧＧＲＡＰＨ１９９６，ｐｐ．３１−４２．
【００１８】
【非特許文献４】
Ｇｏｒｔｌｅｒ，ｅｔ．ａｌ， ”ＴｈｅＬｕｍｉｇｒａｐｈ”，ＰｒｏｃｅｅｄｉｎｇｓＳＩＧＧＲＡＰＨ１９９６，ｐｐ．４３−５４．
【００１９】
【非特許文献５】
Ｌｉ−ＹｉＷｅｉ，ＭａｒｃＬｅｖｏｙ， ”ＦａｓｔＴｅｘｔｕｒｅＳｙｎｔｈｅｓｉｓＵｓｉｎｇＴｒｅｅ−ｓｔｒｕｃｔｕｒｅｄＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ”，ＰｒｏｃｅｅｄｉｎｇｓＳＩＧＧＲＡＰＨ２０００，ｐｐ．４７９−４８８．
【００２０】
【非特許文献６】
ＭｉｃｈａｅｌＡｓｈｉｋｈｍｉｎ， ”ＳｙｎｔｈｅｓｉｚｉｎｇＮａｔｕｒａｌＴｅｘｔｕｒｅｓ”，２００１ＡＣＭＳｙｍｐｏｓｉｕｍｏｎＩｎｔｅｒａｃｔｉｖｅ３ＤＧｒａｐｈｉｃｓ，ｐｐ．２１７−２２６．
【００２１】
【発明が解決しようとする課題】
以上述べたように、視点方向および光源方向に応じて変化する物体表面の光学的特性をテクスチャで表現した場合には、視点方向や光源方向が異なる大量のテクスチャ画像が必要であり、また演算量も膨大となる。かかる問題を解決した実用的なシステムはこれまでに提供されていない。また、大量のテクスチャ画像を一括に扱ったテクスチャ合成手法が存在しないため、任意サイズのテクスチャ画像を視点方向および光源方向に応じて変化させた時に、物体表面の光学的特性をリアルに表現することもできない。
【００２２】
そこで、本発明では、視点方向および光源方向に応じて変化する物体表面の光学的特性をリアルに表現することのできる任意サイズのテクスチャ画像を大量のテクスチャ画像データから効率的に合成することを目的とする。また、テクスチャマッピングにおいて効率的な演算が可能となる高次元テクスチャのデータ構造を提供することを目的とする。
【００２３】
【課題を解決するための手段】
本発明の一観点に係る高次元テクスチャ合成装置は、複数の異なる条件で取得または作成された１つ以上のテクスチャ画像を利用し、前記複数の異なる条件のそれぞれに対応する任意サイズのテクスチャ画像を生成するための新規高次元テクスチャを合成する高次元テクスチャ合成装置である。この装置は、前記１つ以上のテクスチャ画像を参照テクスチャ画像として入力し、同一ピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成手段と、前記参照高次元テクスチャを１つ以上の量子化レベルで量子化するとともにコードブックを生成する参照高次元テクスチャ量子化手段と、前記量子化レベルに対応する前記参照高次元テクスチャの階層性に従って、前記参照テクスチャ画像のインデックスを画像化してなる参照インデックス画像から、任意の画像サイズを有する新規インデックス画像を合成するインデックス画像合成手段と、前記インデックス画像合成手段により合成された新規インデックス画像と、前記参照高次元テクスチャ量子化手段により生成されたコードブックとを組み合わせて、新規高次元テクスチャを生成する新規高次元テクスチャ生成手段と、を備える。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態を説明する。
【００２５】
（第１の実施形態）
図１は本発明の第１の実施形態に係る高次元テクスチャ合成装置の構成図である。まず概略構成を説明する。この装置は、複数の異なる条件で取得あるいは作成された１つ以上の参照テクスチャ画像を入力し、同一のピクセルの色情報を取り出してまとめ、参照高次元テクスチャを生成する参照高次元テクスチャ生成部１０１と、生成された参照高次元テクスチャを、１つ以上の量子化レベルに従ってベクトル量子化し、コードブックを生成する参照高次元テクスチャ量子化部１０２とを備える。なお、参照高次元テクスチャの生成方法、高次元テクスチャのデータ構造およびベクトル量子化方法の詳細については後述する。
【００２６】
また、量子化済み参照高次元テクスチャを入力し、この量子化済み参照高次元テクスチャに基づいて、類似ピクセル探索を繰り返すことにより任意サイズの新規インデックス画像を合成するインデックス画像合成部１０３を備える。なお、新規インデックス画像の合成方法の詳細については後述する。
【００２７】
さらに、インデックス画像合成部１０３で生成された新規インデックス画像と参照高次元テクスチャ量子化部１０２で生成されたコードブックとを組み合わせ、高次元テクスチャのデータ構造に従った新規高次元テクスチャを生成する新規高次元テクスチャ生成部１０４と、新規高次元テクスチャを入力し、特定の取得条件あるいは作成条件に対応したテクスチャ画像を出力する新規テクスチャ画像変換部１０５とを備える。
【００２８】
図２は第１の実施形態の変形例に係る高次元テクスチャ合成装置の構成図である。この装置は、図１の装置から新規テクスチャ画像変換部１０５を取り除いた構成を有する。この装置は、新規高次元テクスチャ生成部１０４から出力された新規高次元テクスチャに基づいて新規テクスチャ画像を出力するものであり、任意の３次元物体への効率的なテクスチャマッピングを行なうことができる。
【００２９】
図３は第１の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図である。以下、この一連の処理の各々を詳細に説明する。
【００３０】
図４は参照高次元テクスチャ生成部１０１における参照高次元テクスチャ生成（３０１）のフローチャートである。まず、複数の異なる条件で取得あるいは作成された１つ以上の参照テクスチャ画像を入力する（４０１）。本実施形態では、複数のカメラ位置（以下、視点と呼ぶ）および光源位置で取得した実写画像を用いる。ここでは、前述した通り、視点方向または光源方向に応じて変化する物体表面の光学的特性をリアルに表現することを目的としている。
【００３１】
図５は様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図である。撮像物体表面の法線ベクトルを軸とし、撮像物体表面が赤道面（赤道を通る面）となる球極座標系を考える。この座標系において、極角θと方位角φとを用いると、入力データとしてあらかじめ用意する多視点／多光源テクスチャ画像は、視点方向（θ_Ｅ，φ_Ｅ）、光源方向（θ_Ｉ，φ_Ｉ）の４パラメータで指定することができる。そこで、本実施形態では、ある特定の視点／光源で取得したテクスチャ画像をＴ（θ_Ｅ，φ_Ｅ，θ_Ｉ，φ_Ｉ）というパラメータで識別する。また、本実施形態では、視点方向のサンプルをθ_Ｅの軸にＷ個、φ_Ｅの軸にＸ個とし、光源方向のサンプルをθ_Ｉの軸にＹ個、φ_Ｉの軸にＺ個とする。したがって、Ｗ×Ｘ視点とＹ×Ｚ光源のすべての組み合わせで取得した（Ｗ×Ｘ）×（Ｙ×Ｚ）枚のテクスチャ画像が、参照テクスチャ画像として入力される。
【００３２】
図４における処理（４０２）以降は、参照高次元テクスチャを生成するための繰り返し処理からなる。高次元テクスチャのデータ構造の一例を図６に示す。高次元テクスチャは、コードブックとインデックス画像とで構成される。コードブックは、高次元ピクセルデータと呼ばれるデータ（後述）の集まりで構成され、インデックス画像は、コードブック内の高次元ピクセルデータを指定するためのインデックス情報の集まりで構成される。本実施形態では、Ｒ成分／Ｇ成分／Ｂ成分それぞれの色成分に対して、インデックス画像とコードブックを作成するようにしている。なお、ＲＧＢ成分のすべてを一括に扱う高次元テクスチャや、輝度成分と色成分とが分離された高次元テクスチャなども同様に作成することができる。高次元ピクセルデータとは、あるピクセルにおける色情報を集めたものであり、Ｒ成分／Ｇ成分／Ｂ成分の高次元ピクセルデータをそれぞれＲ（ｌ），Ｇ（ｍ），Ｂ（ｎ）とする。これらは、それぞれインデックスｌ、ｍ、ｎに対応する高次元ピクセルデータである。図５に示されるＲ成分／Ｇ成分／Ｂ成分のコードブックサイズは、それぞれＬ、Ｍ、Ｎである。このコードブックサイズが大きいほど、高次元ピクセルデータは多様なものとなる。
【００３３】
参照高次元テクスチャは、以下のような手順で生成される。参照テクスチャ画像のあるピクセル（ｉ，ｊ）に注目し（４０２）、全ての参照テクスチャ画像の中から、注目しているピクセル（ｉ，ｊ）の色情報を抽出する（４０３）。
【００３４】
図７は、複数の参照テクスチャ画像からの、同一ピクセルの色情報の抽出を説明するための図である。前記（Ｗ×Ｘ）×（Ｙ×Ｚ）枚の参照テクスチャ画像から同一ピクセルの色成分を取り出して、それらを所定のフォーマットに合わせて１つのデータにまとめ、高次元ピクセルデータを生成する（４０４）。次に、生成した高次元ピクセルデータをコードブックに登録し、注目ピクセル（ｉ，ｊ）に対してインデックスを割り当てる（４０５）。以上の処理を全ピクセルに対して行ない（４０６）、参照高次元テクスチャ生成の処理を終了する。
【００３５】
図８は本実施形態における高次元ピクセルデータの形式を説明するための図である。これは、横軸φ_Ｉ、縦軸θ_Ｉとして並べたある特定視点における光源依存ピクセルデータをブロック化し、そのブロックを横軸θ_Ｅ、縦軸φ_Ｅとして視点ごとに並べた形式である。参照テクスチャ画像が全てＵ×Ｖピクセルであった場合、参照高次元テクスチャ生成部１０１の入出力は以下のようになる。
【００３６】
【表１】

【００３７】
図９は参照高次元テクスチャ量子化部１０２における参照高次元テクスチャ量子化（３０２）のフローチャートである。まず、参照高次元テクスチャを入力し、Ｒ成分／Ｇ成分／Ｂ成分を別々に分割する（９０１）。次に、Ｒ成分／Ｇ成分／Ｂ成分いずれかの成分の参照高次元テクスチャを入力し（９０２）、量子化処理を開始する。量子化レベルｑといったパラメータを用意し、初期値０からインクリメントしていく（９０３、９０７）。量子化レベルでは、コードブックサイズの指定を行ない、ｑの値が大きくなるほど、コードブックサイズを大きくする。コードブックサイズが参照テクスチャ画像のピクセル数と等しくなった量子化レベルで量子化処理を終了する（９０６）。参照テクスチャ画像のサイズが３２×３２ピクセルであった場合の、量子化レベルの設定方法の例を以下に示す。
【００３８】
【表２】

【００３９】
各量子化レベルにおける量子化処理は、一般によく知られたベクトル量子化（ＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ：ＶＱ）を利用すればよい。しかし本実施形態では、本装置に適した改良方式を用いることとする。すなわち、誤差ゼロのクラスタを固定する処理を追加した全探索ベクトル量子化（ＦｕｌｌＳｅａｒｃｈＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ：ＦＳＶＱ）、もしくは木構造のコードブックを出力する木構造ベクトル量子化（ＴｒｅｅＳｔｒｕｃｔｕｒｅｄＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ：ＴＳＶＱ）である。前者の方式は、前処理として誤差ゼロのクラスタを固定してしまい、これを以後のクラスタ分割の対象には含めない。この方式によれば、全探索でありながらも、比較的短時間で目的の量子化レベルまで達することができる。一方、後者の方式は、木構造を成すようなクラスタ分割をしていくものである。この方式によって、前述の方式に比べて、量子化の精度が落ちる反面、短時間で量子化することができる。さらに、ＴＳＶＱによって量子化を行なった場合には、後述するインデックス画像合成部においても処理時間に大きな効果をもたらす。
【００４０】
量子化を行なった後、それぞれの量子化レベルにおける参照高次元テクスチャ、すなわち、インデックス画像とコードブックを出力する（９０５）。以上の処理をＲ成分／Ｇ成分／Ｂ成分に対して行ない（９０８）、参照高次元テクスチャ量子化の処理を終了する。
【００４１】
参照高次元テクスチャ量子化部１０２が出力する量子化済み参照高次元テクスチャの構成を図１０に示す。Ｒ成分／Ｇ成分／Ｂ成分が、それぞれ別々に、量子化レベルごとの参照高次元テクスチャを保持している。ｑが大きくなるほど、コードブックサイズが大きくなっており、参照高次元テクスチャが階層的に表現されている。
【００４２】
図１１はインデックス画像合成部１０３におけるインデックス画像合成（３０３）のフローチャートである。まず、パラメータを入力する（１１０１）。このパラメータは、参照テクスチャ画像サイズ、参照テクスチャ画像数（高次元ピクセルデータのサイズ）、参照高次元テクスチャ名（入力ファイル名）、新規テクスチャ画像サイズ、新規高次元テクスチャ名（出力ファイル名）、階層数Ｈ、各階層における量子化レベル（Ｒ成分／Ｇ成分／Ｂ成分）、各階層におけるスキャン回数Ｓｈ、各スキャンにおける書き換えブロックサイズ、各スキャンにおける近傍ブロックサイズを含む。
【００４３】
次に、階層番号ｈを初期化（ｈ＝０）し、階層番号がＨ−１となるまで階層ごとのインデックス画像合成処理を行なう（１１０２、１１１１、１１１２）。各階層では、パラメータで指定された量子化レベルの参照高次元テクスチャを入力する（１１０３）。各階層における量子化レベルの指定は、Ｒ成分／Ｇ成分／Ｂ成分ごとに別々に行ない、階層番号が大きくなるほど指定する量子化レベルを大きくする。
【００４４】
次に、入力した参照高次元テクスチャ内に存在する高次元ピクセルデータの類似性を計算する（１１０４）。この処理は、後述する類似ピクセル探索を行なう際に用いられる評価値を計算する処理を含む。入力した参照高次元テクスチャのインデックス画像に注目し、全通りのピクセルの組み合わせについて、インデックスが指し示す高次元ピクセルデータ間の類似性をＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）、相関値、または内積を評価値として用いることによって評価する。なお、参照高次元テクスチャ量子化部１０２により、上述したＴＳＶＱによる量子化が行なわれた場合には、木構造を成すコードブックをなぞるだけで類似性を評価できるため、１１０４において計算を行なう必要は無い。
【００４５】
次に、新規インデックス画像の初期画像として、参照インデックス画像に存在するインデックスをランダムに割り当てたノイズ画像を生成する（１１０５）。
【００４６】
次に、スキャン番号ｓを初期化（ｓ＝０）し、スキャン番号がＳｈ−１になるまで新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう（１１０６、１１０９、１１１０）。
【００４７】
各スキャンにおける新規インデックス画像の合成（１１０７）では、新規インデックス画像を左上から右下に向かって、指定されたブロックサイズごとに書き換えていく。インデックスの書き換えには、類似ピクセル探索を用いる。類似ピクセル探索とは、書き換えるブロックの近傍ブロックを利用し、参照インデックス画像内に存在する同じ形状のブロックの中から、もっとも類似性の高いブロックを見つけることである。
【００４８】
参照インデックス画像内に存在する同じ形状のブロックを全通り評価してもよいが、始めから候補をリストアップしておいてもよい。近傍ブロックの各ピクセルが参照している位置に対応するブロックを候補とし、その中から選出するという方法もある。近傍ブロックのピクセル数が２０であった場合、候補は高々２０個ということになり、効率よく探索することができる。
【００４９】
類似ピクセル探索には、現在の階層ｈのデータだけではなく、１つ前の階層ｈ−１のデータも用いる。１つ前の階層を用いることによって、１つ前の階層での処理を反映させることができ、精度が向上する。
【００５０】
図１２は類似ピクセル探索におけるブロックの選び方を説明する図である。類似ピクセル探索ではＬ字型探索（図１２（ａ））もしくは方形探索（図１２（ｂ））のいずれかを行なう。図１２の場合においては、書き換えブロック１２０のサイズを３×３ピクセル、近傍ブロック１２１のサイズを７×７ピクセルとしている。また、方形探索では７×７ピクセルの近傍ブロックの全てを利用して探索を行なうのに対して、Ｌ字型探索では、７×７ピクセルの近傍ブロックのうち既に書き換えが行なわれた部分のブロックを利用して探索を行なう。なお本実施形態の方形探索では、書き替え済みのブロックと書き替え済みでないブロックの両者からなるブロック１２２を用いる。
【００５１】
図１３は階層ｈにおける類似ピクセル探索を説明するための図である。ｈ＝０の時は、階層０でのＬ字型探索を行ない、その類似性だけで評価を行なう。また、ｈ＝０でない時は、階層ｈでのＬ字型探索と、階層ｈ−１での方形探索を行ない、その類似性の合計によって評価を行なう。
【００５２】
以上の処理では、各階層ごとに、あるいは各スキャンごとに、書き換えブロックサイズや近傍ブロックサイズを任意に変更できる。書き換えブロックサイズに関しては、これを下位の階層において拡大すれば、おおまかなテクスチャの特徴を捉えることができ、上位の階層において縮小すれば、細部のテクスチャの特徴を捉ることができる。計算時間に大きく影響する近傍ブロックサイズは、できるだけ小さいことが好ましい。全ての階層について全てのスキャンにより新規インデックス画像の合成が終了した後、その新規インデックス画像を出力する（１１０８）。
【００５３】
次に、新規高次元テクスチャ生成部１０４における新規高次元テクスチャ生成（３０４）について説明する。新規高次元テクスチャ生成部１０４では、まず、インデックス画像合成部１０３から出力された新規インデックス画像と、参照高次元テクスチャ量子化部１０２から出力された様々な量子化レベルでのコードブックを入力する。次に、任意の階層で合成された新規インデックス画像と、任意の量子化レベルでのコードブックとを組み合わせることによって、新規高次元テクスチャを生成する。ただし、新規インデックス画像とコードブックとの量子化レベルが一致していれば、両者を組み合わせるだけであるが、一致していなければ、コードブックの量子化レベルに合わせて新規インデックス画像を書き換える必要がある。書き換えの際には、参照インデックス画像のどのピクセルを参照しているかを調べることによって、他の量子化レベルでインデックスと対応づける。
【００５４】
新規高次元テクスチャ生成部１０４に様々な量子化レベルの新規高次元テクスチャを出力させることにより、ディテールのはっきりした鮮明な新規テクスチャ画像からおおまかな柄だけを再現したような粗い新規テクスチャ画像まで、様々なテクスチャ画像を生成することができる。
【００５５】
次に、新規テクスチャ画像変換部１０５おける新規テクスチャ画像生成（３０５）について説明する。新規テクスチャ画像変換部１０５では、まず、新規高次元テクスチャを入力し、生成したい新規テクスチャ画像の視点／光源条件を与える。次に、ピクセルごとにインデックス画像内のインデックスからコードブックを参照し、指定された視点／光源条件の色情報を取り出し、新規テクスチャ画像を描画していく。すべてのピクセルを描画した後、新規テクスチャ画像を出力する。
【００５６】
出力された新規テクスチャ画像は、３次元物体へのテクスチャマッピングに適用することができる。３次元物体の各ポリゴンの法線と、視点方向および光源方向との関係を計算し、対応する視点／光源に最も近い新規テクスチャ画像をマッピングすればよい。また、複数の新規テクスチャ画像を用いて補間することによって、よりリアルな画像を生成することもできる。ただし、ポリゴン単位でピクセルを描画するため、必ずしも新規テクスチャ画像を生成する必要はなく、新規高次元テクスチャからピクセルの色情報を抽出しながら描画することもできる。新規高次元テクスチャを用いてテクスチャマッピングすることによって、メモリを有効に活用することができる。
【００５７】
（第２の実施形態）
図１４は本発明の第２の実施形態に係る高次元テクスチャ合成装置の構成図である。まず概略構成を説明する。この装置は、第１の実施形態で示した装置に目標テクスチャを利用する処理を追加したものである。参照高次元テクスチャ生成部１４０１は、第１の実施形態で示した参照高次元テクスチャ生成部１０１と同様である。参照高次元テクスチャ量子化部１４０３は、第１の実施形態で示した参照高次元テクスチャ量子化部１０２に、目標インデックス画像生成部１４０４へのコードブックの出力処理を追加したものである。インデックス画像合成部１４０５は、第１の実施形態で示したインデックス画像合成部１０３と同様の構成であるが、類似ピクセル探索において目標インデックス画像を利用するように変更したものである。新規高次元テクスチャ生成部１４０６および新規テクスチャ画像変換部１４０７は、それぞれ第１の実施形態で示した新規高次元テクスチャ生成部１０４、新規テクスチャ画像変換部１０５と同様の構成である。本実施形態においては、目標高次元テクスチャ生成部１４０２と目標インデックス画像生成部１４０４の存在が、第１の実施形態と大きく異なる部分である。目標高次元テクスチャ生成部１４０２では、参照高次元テクスチャ生成部１４０１と同様に、１つ以上の目標テクスチャ画像から目標高次元テクスチャを生成する。また、目標インデックス画像生成部１４０４は、参照高次元テクスチャ量子化部１４０３から出力されたコードブックに対応するように、目標インデックス画像を生成する。
【００５８】
図１５は第２の実施形態の変形例に係る高次元テクスチャ合成装置の構成図である。この装置は、図１４の装置から新規テクスチャ画像変換部１４０７を取り除いた構成を有し、第１の実施形態の図２で示した高次元テクスチャ合成装置と同様の用途に用いられる。すなわち、最終的な出力画像として、新規テクスチャ画像を出力する。
【００５９】
図１６は図１４に示される第２の実施形態の高次元テクスチャ合成装置により実現される一連の処理を示す図である。以下、この一連の処理について、第１の実施形態と異なる部分に絞って説明する。本実施形態では、目標高次元テクスチャ生成部１４０２に、複数の異なる条件で取得あるいは作成された１つ以上の目標テクスチャ画像を入力する。目標テクスチャ画像のサイズは、要求する新規テクスチャ画像サイズと等しいものとする。
【００６０】
目標高次元テクスチャ生成部１４０２では、図４に示したものと同様のフローチャートに従って目標高次元テクスチャを生成する。ただし、高次元ピクセルデータのフォーマットは参照高次元テクスチャ生成部１４０１と同様のものとし、視点／光源の位置に対応した高次元ピクセルデータのそれぞれの部分に、それぞれの視点／光源の位置で目標とする目標テクスチャ画像の色情報を書き込む。目標のない視点／光源の位置には、データを書き込まない。
【００６１】
目標インデックス画像生成部１４０４では、まず、目標高次元テクスチャと、参照高次元テクスチャ量子化部１４０３で生成されたコードブックとを入力する。次に、目標高次元テクスチャのコードブックを参照高次元テクスチャのコードブックに置き換え、インデックスの書き換えを行なう。インデックスを書き換える際には、目標高次元テクスチャ生成器１４０２で生成された高次元ピクセルデータとコードブック内の高次元ピクセルデータとを比較し、もっとも類似性の高い高次元ピクセルデータに対応するインデックスを割り当てる。ただし、類似性の評価では、目標のない視点／光源の位置は比較対象に含めず、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）、相関値、または内積によって評価を行なう。以上のような処理を参照高次元テクスチャ量子化部１４０３から入力される量子化レベルに応じた複数のコードブックに対して行ない、各量子化レベルに応じた目標インデックス画像を出力する。
【００６２】
インデックス画像合成部１４０５では、第１の実施形態で示したインデックス画像合成部１０３と同様の処理に加え、目標インデックス画像を入力する処理と、目標インデックス画像を利用した類似ピクセル探索処理とが行なわれる。
【００６３】
図１７は階層ｈにおける類似ピクセル探索を説明するための図である。目標インデックス画像は、階層ｈにおける量子化レベルのものが用いられる。ここでは、ｈ＝０の時は、階層０での方形探索を行ない、その類似性だけで評価を行なう。また、ｈ＝０でない時は、階層ｈでの方形探索と階層ｈ−１での方形探索を行ない、その類似性の合計によって評価を行なう。階層ｈでは、図１２（ｄ）に示すような方形探索を行なう。方形ブロックの中で、書き換え済みのブロック１２２１に関しては、新規インデックス画像のブロックを利用し、書き換え済みでないブロック１２２２に関しては、目標インデックス画像を利用する。階層ｈ−１では、図１２（ｃ）に示すような方形探索を行なう。他の部分の処理方法は、第１の実施形態で説明したものと同様である。
【００６４】
（第３の実施形態）
本実施形態は、第１の実施形態および第２の実施形態におけるインデックス画像合成部を変更したものである。まず概略構成を説明する。本実施形態の高次元テクスチャ合成装置は、第１の実施形態で述べた図１の装置、または第２の実施形態で述べた図１４の装置とほぼ同様の構成であり、インデックス画像合成部を除く他の構成要素は、第１の実施形態または第２の実施形態と同じ機能を持つ。図１８はこのインデックス画像合成部におけるインデックス画像合成のフローチャートである。本実施形態に係るインデックス画像合成部では、まずパラメータを入力する（１８０１）。本装置は、各階層ごとにスキャンをするものではないため、１つのスキャン回数Ｓを設定するだけでよい。それ以外のパラメータは第１の実施形態または第２の実施形態と同様である。
【００６５】
次に、全階層の参照インデックス画像と量子化誤差を入力する（１８０２）。本装置では、１つの新規インデックス画像を合成するために、量子化誤差が異なる２つ以上の参照インデックス画像を用いる。また、近似的な類似性評価を行なうために、各階層の量子化誤差を用いる。また、目標インデックス画像が存在する場合には、目標インデックス画像も入力する。
【００６６】
次に、新規インデックス画像の初期画像を生成する（１８０３）。これは、第１の実施形態または第２の実施形態と同様のノイズ画像とする。
【００６７】
次に、スキャン番号ｓを初期化（ｓ＝０）し、スキャン番号がＳ−１となるまで、新規インデックス画像を繰り返しスキャンしながら、後述する類似ピクセル探索によるインデックスの書き換えを行なう（１８０４、１８０８，１８０８）。
【００６８】
各スキャンにおける新規インデックス画像の合成（１８０５）では、新規インデックス画像を左上から右下に向かって、指定されたブロックサイズごとに書き換えていく。インデックスの書き換えでは、入力した参照インデックス画像の中で最上位（量子化誤差が最も小さい）のものを参照しながら、類似ピクセル探索を行なう。探索の方法は第１の実施形態ならびに第２の実施形態と同様であり、評価の方法が異なる。本実施形態における類似ピクセル探索では、量子化誤差の異なる２つ以上の参照インデックス画像の階層性を利用して評価を行なう。ピクセルの類似性評価の具体例を図１９に示す。書き換えるブロックの近傍ブロック（Ｌ字型もしくは方形）と、参照インデックス画像もしくは目標インデックス画像中の同じ形状のブロックとの類似性を評価するために、上位階層の参照インデックス画像もしくは目標インデックス画像から順に参照していく。比較している２つのブロック中のあるピクセルのインデックスが、ある階層で初めて一致した場合、その階層の量子化誤差を、そのピクセルにおける近似的な誤差であるとする。このような近似的な誤差をブロック中の全ピクセルに対して求め、ブロックの類似性を評価する。各スキャンにおける新規インデックス画像の合成が終了した後、その新規インデックス画像を出力する（１８０６）。
【００６９】
以上説明した本発明の実施形態によれば、視点方向または光源方向などの条件によって変化するテクスチャ画像を用いて、任意サイズの新規テクスチャ画像を合成することができる。第１の実施形態で述べた装置によれば、参照テクスチャ画像の特性をそのまま再現したものを合成することができ、第２の実施形態で述べた装置によれば、目標テクスチャ画像に近い柄や模様を保持しつつ、かつ参照テクスチャ画像の特性を再現したような新規テクスチャ画像を合成することができる。また第３の実施形態で述べた装置によれば、高次元ピクセルデータを用いた計算を可能な限り省くことができ、データ量や計算時間において効率的であり、しかも合成の精度を維持することができる。また、上述した高次元テクスチャのデータ構造によれば、高次元のテクスチャ画像データを効率よく保持することができ、効率的なテクスチャマッピングを実現することができる。
【００７０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７１】
例えば、複数の異なる条件で取得あるいは作成した１つ以上の画像、映像、音声などのマルチメディアデータを利用し、それぞれの条件に対応した任意サイズあるいは任意時間長のマルチメディアデータを合成する装置に本発明を適用することもできる。この高次元マルチメディアデータ合成装置は、１つ以上のマルチメディアデータから、同一の位置あるいは同一の時間のデータを取り出してまとめ、高次元マルチメディアデータを生成する高次元マルチメディアデータ生成部と、高次元マルチメディアデータを、１つ以上の量子化レベルで量子化する高次元マルチメディアデータ量子化部と、量子化レベルに応じた高次元マルチメディアデータの階層性を利用して、量子化インデックスの空間的あるいは時間的な配列を、任意サイズあるいは任意時間長の配列に合成するインデックス合成部と、インデックス合成部で合成された新規インデックスデータと、高次元マルチメディアデータ量子化部で生成されたコードブックとを合わせて、新規高次元マルチメディアデータを生成する新規高次元マルチメディアデータ生成部と、を備える。
【００７２】
【発明の効果】
本発明によれば、視点方向および光源方向に応じて変化する物体表面の光学的特性をリアルに表現することのできる任意サイズのテクスチャ画像を大量のテクスチャ画像データから効率的に合成することのできる高次元テクスチャ合成装置、方法、およびプログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る高次元テクスチャ合成装置の構成図
【図２】第１の実施形態の変形例に係る高次元テクスチャ合成装置の構成図
【図３】第１の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図
【図４】参照高次元テクスチャおよび目標高次元テクスチャ生成のフローチャート
【図５】様々な条件（視点／光源）におけるテクスチャ画像の取得方法を説明するための図
【図６】高次元テクスチャのデータ構造の一例を示す図
【図７】複数の参照テクスチャ画像からの、同一ピクセルの色情報の抽出を説明するための図
【図８】高次元ピクセルデータの形式を示す図
【図９】参照高次元テクスチャ量子化のフローチャート
【図１０】階層化された高次元テクスチャの構成を示す図
【図１１】インデックス画像合成のフローチャート
【図１２】類似ピクセル探索を説明するための図
【図１３】階層ｈにおける類似ピクセル探索を説明するための図
【図１４】本発明の第２の実施形態に係る高次元テクスチャ合成装置の構成図
【図１５】第２の実施形態の変形例に係る高次元テクスチャ合成装置の構成図
【図１６】第２の実施形態に係る高次元テクスチャ合成装置により実現される一連の処理を示す図
【図１７】階層ｈにおける類似ピクセル探索を説明するための図
【図１８】本発明の第３の実施形態に係るインデックス画像合成のフローチャート
【図１９】ピクセルの類似性評価を説明するための図
【符号の説明】
１０１…参照高次元テクスチャ、１０２…参照高次元テクスチャ量子化部、１０３…インデックス画像合成部、１０４…新規高次元テクスチャ生成部、１０５…新規テクスチャ画像変換部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to an image synthesis technique suitable for high-quality texture mapping in the field of three-dimensional computer graphics, and, from a large number of texture images that change according to conditions such as a viewpoint direction and a light source direction, an arbitrary size corresponding to these conditions. The present invention relates to an apparatus, a method, and a program for synthesizing a texture image. The present invention also relates to a data structure for efficiently storing and managing a large number of texture images on various recording media.
[0002]
[Prior art]
The appearance of the three-dimensional object, that is, the shape and the color and texture of the surface of the three-dimensional object change depending on the direction in which the three-dimensional object is viewed (viewpoint direction) and the direction in which light is emitted (light source direction). In the field of three-dimensional computer graphics, the surface of a three-dimensional object is divided into a number of two-dimensional plane units called polygons, and a drawing is performed for each polygon to generate a two-dimensional image. And
[0003]
The appearance of the three-dimensional object when the viewpoint direction and the light source direction change is expressed by changing the orientation of the display polygon (three-dimensional posture) and the optical characteristics (luminance and the like) of the polygon together with the viewpoint direction and the light source direction. be able to. However, conventionally, in order to calculate the relationship between a normal defining the orientation (three-dimensional orientation) of a polygon, which is a unit of drawing, and a viewpoint direction or a light source direction, a vector operation with floating-point precision is indispensable. The operation cost is high from both viewpoints of hardware and software, and practical use has been difficult. Therefore, a drawing method called flat shading that uniformly fills the inside of the polygon with the color set for each vertex of the polygon, and the color inside the polygon by monotonous linear interpolation based on the color set for each vertex of the polygon There is a case where a drawing technique called smooth shading is used.
[0004]
For a request to represent details inside a polygon such as a pattern or a pattern, a technique called texture mapping is used. Texture mapping is an image processing technique for arranging (mapping) an image (texture image) representing a pattern or pattern on the surface of a polygon. Controls the orientation of the texture image by defining the corresponding image coordinates in the texture image in units of vertices that make up the polygon, and uses the actual mapping image for the texture image, etc. The improvements enabled higher quality rendering. However, even if such an improvement is made, this texture mapping cannot be performed to express the optical characteristics of the object surface that should be changed according to the viewpoint direction or the light source direction. This is because a single texture image is pasted regardless of the three-dimensional posture of the polygon.
[0005]
In order to express the optical characteristics of the surface of an object, several improved methods have been proposed in the past, but as described below, each of these improved methods has its own problems.
[0006]
(1) There is a method of changing optical details by artificially changing normal details of the object surface. Although there is a technique called bump mapping, there is a problem that a three-dimensional vector calculation such as a normal deviation calculation is required, and the calculation cost is high.
[0007]
(2) In general, a texture component on the surface of a polygon expressed in accordance with a line-of-sight direction and a light source direction is called a BTF (Bi-directional Texture Function) (see Non-Patent Document 1 below). However, there has been no example of sampling an image while changing all four variables representing the viewpoint direction and the light source direction in BTF data, and there is no example in which a subset in which two or three variables are changed is handled. (See Non-Patent Document 2 below).
[0008]
(3) As a method of approximating a luminance change depending on a light source direction and a viewpoint direction by a function, a method called PTM (Polynomical Texture Mapping) has been proposed (see Patent Document 1 below). In the PTM, a luminance change for each pixel is approximated by a quadratic function of a two-dimensional light source direction parameter, converted into a texture having the function coefficients (six), and held. At the time of drawing, the function coefficient of the pixel to be drawn is extracted from the function coefficient texture. Then, the light source-dependent texel / color information is obtained by a product-sum operation of the extracted function coefficients and the light source direction parameters. In recent graphics hardware, a function (pixel shader) for performing shading by using an arithmetic unit on the hardware in a programmable manner is implemented. Therefore, it has become possible to execute an operation such as a PTM at a high speed. However, when the luminance change including the viewpoint direction is made a function, a higher-order function needs to be made. As a result, it is expected that not only the function coefficient increases but also the time required for the function approximation increases, and it is difficult in principle to generate a texture that depends on both the viewpoint direction and the light source direction.
[0009]
(4) On the other hand, as a method of generating an image according to the viewpoint direction, image-based techniques such as Light Field Rendering (see

Patent Documents

2 and 3 below) and Lumigraph (see Non-Patent Document 4 below) There is a rendering method. The image-based rendering method attempts to generate an image viewed from a new viewpoint by sampling from a plurality of discretely set viewpoint images. However, in order to increase the degree of freedom of the viewpoint and the image quality, it is necessary to prepare a large number of images of a plurality of viewpoints, and there is a problem that the data amount becomes enormous.
[0010]
In the conventional texture mapping, when the size of the texture image is smaller than the size of the surface of the three-dimensional object, the mapping is performed while repeatedly arranging the texture images. However, in this method, the pattern or pattern of the texture image appears as a monotonous repetitive pattern, or the boundary line becomes conspicuous. This gives the observer an unnatural impression.
[0011]
Therefore, in recent years, a method of synthesizing a texture image of an arbitrary size from a small texture image has been proposed (see Non-Patent Documents 5 and 6 below). In this method, a texture image of an arbitrary size is scanned while referring to an original small texture image, and a texture image close to the original image is synthesized. In addition, as an application, a target texture image is prepared in addition to the referenced small texture image, and the target texture image has a pattern or pattern, and is used as a material for the referenced small texture image. A method of synthesizing close images has also been proposed.
[0012]
However, such a conventional texture image synthesizing technique simply synthesizes a single texture image, and cannot combine and synthesize a large number of texture images for multiple viewpoints / multiple light sources.
[0013]
[Patent Document 1]
U.S. Pat. No. 6,297,834
[0014]
[Patent Document 2]
U.S. Pat. No. 6,097,394
[0015]
[Non-patent document 1]
Dana, et. al, "Reflectance and Texture of Real World Surfaces", ACM Transaction on Graphics, 18 (1): 1-334, 1999.
[0016]
[Non-patent document 2]
Chen, et. al, "Light Field Mapping Efficient Representation and Hardware Rendering of Surface Light Fields", Procedings SIGGRAPH 2002, pp. 447-456.
[0017]
[Non-Patent Document 3]
Levoy, et. al, "Light Field Rendering", Proceedings SIGGRAPH 1996, pp. 31-42.
[0018]
[Non-patent document 4]
Gortler, et. al, "The Lumigraph", Proceedings SIGGRAPH 1996, pp. 43-54.
[0019]
[Non-Patent Document 5]
Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis Using Tree-structured Vector Quantization", Proceedings SIGGRAPH 2000, pp. 197 479-488.
[0020]
[Non-Patent Document 6]
Michael Ashkimmin, "Synthesizing Natural Textures", 2001 ACM Symposium on Interactive 3D Graphics, pp. 217-226.
[0021]
[Problems to be solved by the invention]
As described above, when the optical characteristics of the object surface that change according to the viewpoint direction and the light source direction are expressed by texture, a large number of texture images with different viewpoint directions and light source directions are required, and the amount of computation is large. Will also be huge. A practical system that solves such a problem has not been provided so far. Also, since there is no texture synthesis method that handles a large number of texture images at once, it is necessary to realistically express the optical characteristics of the object surface when changing the texture image of any size according to the viewpoint direction and the light source direction. I can't do that either.
[0022]
In view of the above, an object of the present invention is to efficiently synthesize a texture image of an arbitrary size capable of realistically expressing an optical characteristic of an object surface that changes according to a viewpoint direction and a light source direction from a large amount of texture image data. And It is another object of the present invention to provide a data structure of a high-dimensional texture that enables efficient calculation in texture mapping.
[0023]
[Means for Solving the Problems]
A high-dimensional texture synthesizing apparatus according to one aspect of the present invention uses one or more texture images acquired or created under a plurality of different conditions, and generates a texture image of an arbitrary size corresponding to each of the plurality of different conditions. This is a high-dimensional texture synthesis device that synthesizes a new high-dimensional texture to be generated. This apparatus inputs the one or more texture images as a reference texture image, extracts and summarizes color information of the same pixel, generates a reference high-dimensional texture, and generates the reference high-dimensional texture. A reference high-dimensional texture quantization unit that quantizes at one or more quantization levels and generates a codebook; and an index of the reference texture image according to a hierarchy of the reference high-dimensional texture corresponding to the quantization level. An index image synthesizing unit for synthesizing a new index image having an arbitrary image size from the imaged reference index image, a new index image synthesized by the index image synthesizing unit, and the reference high-dimensional texture quantization unit. Combine with the generated codebook Comprising Align Te, and new high-order texture generation means for generating a new high-dimensional texture, the.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0025]
(1st Embodiment)
FIG. 1 is a configuration diagram of a high-dimensional texture synthesis device according to the first embodiment of the present invention. First, the schematic configuration will be described. This apparatus receives one or more reference texture images acquired or created under a plurality of different conditions, extracts and collects color information of the same pixel, and generates a reference high-dimensional texture. And a reference high-dimensional texture quantization unit 102 for vector-quantizing the generated reference high-dimensional texture according to one or more quantization levels to generate a codebook. The details of the generation method of the reference high-dimensional texture, the data structure of the high-dimensional texture, and the vector quantization method will be described later.
[0026]
An index image synthesizing unit 103 that inputs a quantized reference high-dimensional texture and repeats similar pixel search based on the quantized reference high-dimensional texture to synthesize a new index image of an arbitrary size. The details of the method of synthesizing the new index image will be described later.
[0027]
Further, a new index image generated by the index image synthesizing unit 103 and a codebook generated by the reference high-dimensional texture quantization unit 102 are combined to generate a new high-dimensional texture according to the data structure of the high-dimensional texture. It includes a high-dimensional texture generation unit 104 and a new texture image conversion unit 105 that inputs a new high-dimensional texture and outputs a texture image corresponding to a specific acquisition condition or creation condition.
[0028]
FIG. 2 is a configuration diagram of a high-dimensional texture synthesizing device according to a modification of the first embodiment. This device has a configuration in which the new texture image conversion unit 105 is removed from the device of FIG. This device outputs a new texture image based on the new high-dimensional texture output from the new high-dimensional texture generation unit 104, and can perform efficient texture mapping to an arbitrary three-dimensional object.
[0029]
FIG. 3 is a diagram showing a series of processing realized by the high-dimensional texture synthesis device according to the first embodiment. Hereinafter, each of the series of processes will be described in detail.
[0030]
FIG. 4 is a flowchart of reference high-dimensional texture generation (301) in the reference high-dimensional texture generation unit 101. First, one or more reference texture images obtained or created under a plurality of different conditions are input (401). In the present embodiment, real images acquired at a plurality of camera positions (hereinafter, referred to as viewpoints) and light source positions are used. Here, as described above, the purpose is to realistically express the optical characteristics of the object surface that change according to the viewpoint direction or the light source direction.
[0031]
FIG. 5 is a diagram for explaining a method of acquiring a texture image under various conditions (viewpoint / light source). A spherical polar coordinate system in which the surface of the imaging object is an equatorial plane (a plane passing through the equator) with the normal vector of the surface of the imaging object as an axis is considered. In this coordinate system, when the polar angle θ and the azimuth angle φ are used, the multi-viewpoint / multi-light source texture image prepared in advance as input data is in the viewpoint direction (θ _E , Φ _E ), Light source direction (θ _I , Φ _I ) Can be specified. Therefore, in the present embodiment, a texture image acquired from a specific viewpoint / light source is represented by T (θ _E , Φ _E , Θ _I , Φ _I ). In the present embodiment, the sample in the viewpoint direction is θ _E W axis on the axis of φ _E And X in the axis of _I Y axis, φ _I Axis is Z. Therefore, (W × X) × (Y × Z) texture images acquired by all combinations of the W × X viewpoint and the Y × Z light source are input as reference texture images.
[0032]
The processing (402) and subsequent steps in FIG. 4 include repetitive processing for generating a reference high-dimensional texture. FIG. 6 shows an example of the data structure of the high-dimensional texture. The high-dimensional texture is composed of a code book and an index image. The codebook is composed of a group of data (described later) called high-dimensional pixel data, and the index image is composed of a group of index information for specifying high-dimensional pixel data in the codebook. In the present embodiment, an index image and a code book are created for each of the color components of the R component / G component / B component. Note that a high-dimensional texture that handles all of the RGB components collectively, a high-dimensional texture in which a luminance component and a color component are separated, and the like can be similarly created. The high-dimensional pixel data is a collection of color information on a certain pixel, and the high-dimensional pixel data of the R component / G component / B component is R (l), G (m), and B (n), respectively. . These are high-dimensional pixel data corresponding to the indices l, m, and n, respectively. The codebook sizes of the R component / G component / B component shown in FIG. 5 are L, M, and N, respectively. The larger the codebook size, the more diverse the high-dimensional pixel data.
[0033]
The reference high-dimensional texture is generated in the following procedure. Attention is paid to a certain pixel (i, j) of the reference texture image (402), and color information of the attention pixel (i, j) is extracted from all the reference texture images (403).
[0034]
FIG. 7 is a diagram for describing extraction of color information of the same pixel from a plurality of reference texture images. The color components of the same pixel are extracted from the (W × X) × (Y × Z) reference texture images, and are combined into one data according to a predetermined format to generate high-dimensional pixel data (404). ). Next, the generated high-dimensional pixel data is registered in the code book, and an index is assigned to the target pixel (i, j) (405). The above process is performed for all pixels (406), and the process of generating the reference high-dimensional texture is completed.
[0035]
FIG. 8 is a diagram for explaining the format of high-dimensional pixel data in the present embodiment. This is the horizontal axis φ _I , The vertical axis θ _I The light source dependent pixel data at a specific viewpoint arranged as a block is divided into blocks, and the block is represented by a horizontal axis θ. _E , Vertical axis φ _E It is a format arranged for each viewpoint. When all the reference texture images are U × V pixels, the input and output of the reference high-dimensional texture generation unit 101 are as follows.
[0036]
[Table 1]

[0037]
FIG. 9 is a flowchart of the reference high-dimensional texture quantization (302) in the reference high-dimensional texture quantization unit 102. First, a reference high-dimensional texture is input, and R components / G components / B components are separately divided (901). Next, a reference high-dimensional texture of any of the R component / G component / B component is input (902), and quantization processing is started. A parameter such as a quantization level q is prepared and incremented from the initial value 0 (903, 907). At the quantization level, the codebook size is specified, and the larger the value of q, the larger the codebook size. The quantization process ends at the quantization level at which the codebook size has become equal to the number of pixels of the reference texture image (906). An example of a method for setting the quantization level when the size of the reference texture image is 32 × 32 pixels will be described below.
[0038]
[Table 2]

[0039]
The quantization processing at each quantization level may use generally well-known vector quantization (Vector Quantization: VQ). However, in this embodiment, an improved method suitable for the present apparatus is used. That is, full search vector quantization (FSVQ) to which a process of fixing a cluster with zero error is added, or tree structure vector quantization (TSVQ) that outputs a tree-structured codebook. is there. In the former method, a cluster having zero error is fixed as preprocessing, and this is not included in the subsequent cluster division. According to this method, it is possible to reach the target quantization level in a relatively short time, even though the entire search is performed. On the other hand, the latter method is to perform cluster division so as to form a tree structure. According to this method, although the precision of the quantization is reduced as compared with the above-described method, the quantization can be performed in a short time. Further, when the quantization is performed by the TSVQ, a great effect is brought about on the processing time in the index image synthesizing section described later.
[0040]
After the quantization, a reference high-dimensional texture at each quantization level, that is, an index image and a codebook are output (905). The above process is performed on the R component / G component / B component (908), and the process of reference high-dimensional texture quantization is completed.
[0041]
FIG. 10 shows the configuration of the quantized reference high-dimensional texture output from the reference high-dimensional texture quantization unit 102. The R component / G component / B component separately holds a reference high-dimensional texture for each quantization level. As q becomes larger, the codebook size becomes larger, and the reference high-dimensional texture is expressed hierarchically.
[0042]
FIG. 11 is a flowchart of the index image synthesis (303) in the index image synthesis unit 103. First, parameters are input (1101). The parameters are: reference texture image size, reference texture image number (high-dimensional pixel data size), reference high-dimensional texture name (input file name), new texture image size, new high-dimensional texture name (output file name), hierarchy It includes the number H, the quantization level (R component / G component / B component) in each layer, the number of scans Sh in each layer, the rewritten block size in each scan, and the neighboring block size in each scan.
[0043]
Next, the layer number h is initialized (h = 0), and the index image combining process is performed for each layer until the layer number becomes H-1 (1102, 1111, 1112). In each layer, a reference high-dimensional texture of a quantization level specified by a parameter is input (1103). The quantization level in each layer is specified separately for each of the R component / G component / B component, and the specified quantization level increases as the layer number increases.
[0044]
Next, the similarity of the high-dimensional pixel data existing in the input reference high-dimensional texture is calculated (1104). This process includes a process of calculating an evaluation value used when performing a similar pixel search described later. Paying attention to the index image of the input reference high-dimensional texture, for all combinations of pixels, the similarity between the high-dimensional pixel data indicated by the index is determined as SAD (Sum of Absolute Difference), the correlation value, or the inner product as the evaluation value. Evaluate by using. When the reference high-dimensional texture quantization unit 102 performs the above-described quantization based on TSVQ, similarity can be evaluated only by tracing a codebook that forms a tree structure. There is no.
[0045]
Next, a noise image to which an index existing in the reference index image is randomly assigned is generated as an initial image of the new index image (1105).
[0046]
Next, the scan number s is initialized (s = 0), and while the new index image is repeatedly scanned until the scan number becomes Sh-1, the index is rewritten by a similar pixel search described later (1106, 1109, 1110).
[0047]
In synthesizing a new index image in each scan (1107), the new index image is rewritten from the upper left to the lower right for each designated block size. To rewrite the index, a similar pixel search is used. The similar pixel search is to find a block having the highest similarity from blocks of the same shape existing in the reference index image by using a block near the block to be rewritten.
[0048]
Although all blocks of the same shape existing in the reference index image may be evaluated, candidates may be listed from the beginning. There is also a method in which a block corresponding to a position referred to by each pixel of a neighboring block is set as a candidate and selected from the candidates. If the number of pixels in the neighboring block is 20, the number of candidates is at most 20, and it is possible to search efficiently.
[0049]
The similar pixel search uses not only the data of the current layer h but also the data of the immediately preceding layer h-1. By using the immediately preceding layer, the processing in the immediately preceding layer can be reflected, and the accuracy is improved.
[0050]
FIG. 12 is a diagram for explaining how to select a block in a similar pixel search. In the similar pixel search, either an L-shaped search (FIG. 12A) or a square search (FIG. 12B) is performed. In the case of FIG. 12, the size of the rewrite block 120 is 3 × 3 pixels, and the size of the neighboring block 121 is 7 × 7 pixels. In addition, in the rectangular search, the search is performed using all of the 7 × 7 pixel neighboring blocks, whereas in the L-shaped search, the blocks of the already rewritten portion of the 7 × 7 pixel neighboring blocks are used. Search using. In the rectangular search according to the present embodiment, a block 122 including both a rewritten block and a non-rewritten block is used.
[0051]
FIG. 13 is a diagram for explaining a similar pixel search in the hierarchy h. When h = 0, an L-shaped search is performed in the hierarchy 0, and evaluation is performed only based on the similarity. When h = 0 is not satisfied, an L-shaped search at the hierarchy h and a square search at the hierarchy h-1 are performed, and evaluation is performed based on the sum of the similarities.
[0052]
In the above processing, the rewrite block size and the neighboring block size can be arbitrarily changed for each layer or for each scan. Regarding the rewrite block size, if it is expanded in a lower layer, rough texture characteristics can be captured, and if it is reduced in an upper layer, fine texture characteristics can be captured. It is preferable that the neighboring block size that greatly affects the calculation time is as small as possible. After the synthesis of the new index image is completed by all scans for all layers, the new index image is output (1108).
[0053]
Next, generation of a new high-dimensional texture (304) in the new high-dimensional texture generation unit 104 will be described. First, the new high-dimensional texture generation unit 104 inputs a new index image output from the index image synthesis unit 103 and codebooks at various quantization levels output from the reference high-dimensional texture quantization unit 102. Next, a new high-dimensional texture is generated by combining a new index image synthesized at an arbitrary hierarchy and a codebook at an arbitrary quantization level. However, if the quantization levels of the new index image and the codebook match, only the two are combined, but if they do not match, the new index image needs to be rewritten according to the quantization level of the codebook. is there. At the time of rewriting, by checking which pixel of the reference index image is being referred to, it is associated with the index at another quantization level.
[0054]
By causing the new high-dimensional texture generation unit 104 to output new high-dimensional textures with various quantization levels, various types of processing can be performed, from a clear new texture image with clear details to a coarse new texture image that reproduces only rough patterns. It is possible to generate a natural texture image.
[0055]
Next, generation of a new texture image (305) in the new texture image conversion unit 105 will be described. The new texture image conversion unit 105 first inputs a new high-dimensional texture and gives a viewpoint / light source condition of a new texture image to be generated. Next, by referring to the code book from the index in the index image for each pixel, color information of the specified viewpoint / light source condition is extracted, and a new texture image is drawn. After drawing all pixels, output a new texture image.
[0056]
The output new texture image can be applied to texture mapping to a three-dimensional object. The relationship between the normal line of each polygon of the three-dimensional object, the viewpoint direction and the light source direction may be calculated, and the new texture image closest to the corresponding viewpoint / light source may be mapped. Further, by interpolating using a plurality of new texture images, a more realistic image can be generated. However, since pixels are drawn in units of polygons, it is not always necessary to generate a new texture image, and drawing can be performed while extracting pixel color information from a new high-dimensional texture. By performing texture mapping using the new high-dimensional texture, the memory can be effectively used.
[0057]
(Second embodiment)
FIG. 14 is a configuration diagram of a high-dimensional texture synthesizing apparatus according to the second embodiment of the present invention. First, the schematic configuration will be described. This device is obtained by adding a process using a target texture to the device described in the first embodiment. The reference high-dimensional texture generation unit 1401 is the same as the reference high-dimensional texture generation unit 101 shown in the first embodiment. The reference high-dimensional texture quantization unit 1403 is obtained by adding a codebook output process to the target index image generation unit 1404 to the reference high-dimensional texture quantization unit 102 described in the first embodiment. The index image synthesizing unit 1405 has the same configuration as that of the index image synthesizing unit 103 shown in the first embodiment, but is modified to use the target index image in the similar pixel search. The new high-dimensional texture generation unit 1406 and the new texture image conversion unit 1407 have the same configuration as the new high-dimensional texture generation unit 104 and the new texture image conversion unit 105 shown in the first embodiment, respectively. In the present embodiment, the existence of the target high-dimensional texture generation unit 1402 and the target index image generation unit 1404 is a part that is significantly different from the first embodiment. The target high-dimensional texture generation unit 1402 generates a target high-dimensional texture from one or more target texture images, similarly to the reference high-dimensional texture generation unit 1401. Also, the target index image generation unit 1404 generates a target index image so as to correspond to the codebook output from the reference high-dimensional texture quantization unit 1403.
[0058]
FIG. 15 is a configuration diagram of a high-dimensional texture synthesizing device according to a modification of the second embodiment. This device has a configuration in which the new texture image conversion unit 1407 is removed from the device of FIG. 14, and is used for the same application as the high-dimensional texture synthesizing device of the first embodiment shown in FIG. That is, a new texture image is output as a final output image.
[0059]
FIG. 16 is a diagram showing a series of processing realized by the high-dimensional texture synthesizing device of the second embodiment shown in FIG. Hereinafter, this series of processes will be described focusing on portions different from those of the first embodiment. In the present embodiment, one or more target texture images acquired or created under a plurality of different conditions are input to the target high-dimensional texture generation unit 1402. It is assumed that the size of the target texture image is equal to the requested new texture image size.
[0060]
The target high-dimensional texture generation unit 1402 generates a target high-dimensional texture according to a flowchart similar to that shown in FIG. However, the format of the high-dimensional pixel data is the same as that of the reference high-dimensional texture generation unit 1401, and each part of the high-dimensional pixel data corresponding to the viewpoint / light source position has a target and a target at each viewpoint / light source position. The color information of the target texture image to be written is written. No data is written to the position of the viewpoint / light source having no target.
[0061]
First, the target index image generation unit 1404 receives the target high-dimensional texture and the codebook generated by the reference high-dimensional texture quantization unit 1403. Next, the codebook of the target high-dimensional texture is replaced with the codebook of the reference high-dimensional texture, and the index is rewritten. When rewriting the index, the high-dimensional pixel data generated by the target high-dimensional texture generator 1402 is compared with the high-dimensional pixel data in the code book, and the index corresponding to the highest similar high-dimensional pixel data is determined. assign. However, in the evaluation of similarity, the position of the viewpoint / light source having no target is not included in the comparison target, and the evaluation is performed based on SAD (Sum of Absolute Difference), a correlation value, or an inner product. The above processing is performed on a plurality of codebooks corresponding to the quantization levels input from the reference high-dimensional texture quantization unit 1403, and a target index image corresponding to each quantization level is output.
[0062]
The index image synthesizing unit 1405 performs a process of inputting a target index image and a similar pixel search process using the target index image, in addition to the same processes as those of the index image synthesizing unit 103 described in the first embodiment. .
[0063]
FIG. 17 is a diagram for explaining a similar pixel search in the hierarchy h. As the target index image, the one at the quantization level in the hierarchy h is used. Here, when h = 0, a rectangular search is performed in the hierarchy 0, and evaluation is performed only based on the similarity. When h = 0 is not satisfied, a square search in the hierarchy h and a square search in the hierarchy h-1 are performed, and evaluation is performed based on the sum of the similarities. In the hierarchy h, a rectangular search as shown in FIG. Among the rectangular blocks, the block of the new index image is used for the rewritten block 1221, and the target index image is used for the non-rewritten block 1222. At the level h-1, a rectangular search as shown in FIG. The processing method of the other parts is the same as that described in the first embodiment.
[0064]
(Third embodiment)
This embodiment is obtained by changing the index image combining unit in the first embodiment and the second embodiment. First, the schematic configuration will be described. The high-dimensional texture synthesizing device of the present embodiment has substantially the same configuration as the device of FIG. 1 described in the first embodiment or the device of FIG. 14 described in the second embodiment. Except for the other components, the components have the same functions as those of the first embodiment or the second embodiment. FIG. 18 is a flowchart of the index image composition in the index image composition unit. In the index image synthesizing unit according to the present embodiment, first, parameters are input (1801). Since the present apparatus does not perform scanning for each layer, it is only necessary to set one scan count S. Other parameters are the same as in the first embodiment or the second embodiment.
[0065]
Next, a reference index image and a quantization error of all layers are input (1802). In the present apparatus, two or more reference index images having different quantization errors are used to synthesize one new index image. Further, in order to perform an approximate similarity evaluation, a quantization error of each layer is used. If the target index image exists, the target index image is also input.
[0066]
Next, an initial image of the new index image is generated (1803). This is a noise image similar to that of the first embodiment or the second embodiment.
[0067]
Next, the scan number s is initialized (s = 0), and the new index image is repeatedly scanned until the scan number becomes S-1, and the index is rewritten by a similar pixel search described later (1804, 1808). , 1808).
[0068]
In the synthesis of the new index image in each scan (1805), the new index image is rewritten from the upper left to the lower right for each designated block size. In rewriting the index, a similar pixel search is performed while referring to the highest-order (the smallest quantization error) image among the input reference index images. The search method is the same as the first embodiment and the second embodiment, and the evaluation method is different. In the similar pixel search according to the present embodiment, evaluation is performed by using the hierarchy of two or more reference index images having different quantization errors. FIG. 19 shows a specific example of the pixel similarity evaluation. In order to evaluate the similarity between a block (L-shaped or rectangular) near the block to be rewritten and a block of the same shape in the reference index image or the target index image, refer to the reference index image or the target index image in the upper hierarchy in order. I will do it. If the index of a certain pixel in two blocks being compared matches for the first time in a certain layer, the quantization error of that layer is assumed to be an approximate error in that pixel. Such an approximate error is obtained for all pixels in the block, and the similarity of the blocks is evaluated. After the synthesis of the new index image in each scan is completed, the new index image is output (1806).
[0069]
According to the embodiment of the present invention described above, a new texture image having an arbitrary size can be synthesized using a texture image that changes depending on conditions such as a viewpoint direction or a light source direction. According to the device described in the first embodiment, it is possible to synthesize a reproduction of the characteristics of the reference texture image as it is, and according to the device described in the second embodiment, a pattern or a pattern close to the target texture image is obtained. A new texture image that reproduces the characteristics of the reference texture image while retaining the pattern can be synthesized. Further, according to the apparatus described in the third embodiment, it is possible to reduce the calculation using high-dimensional pixel data as much as possible, to be efficient in the amount of data and calculation time, and to maintain the accuracy of synthesis. Can be. According to the data structure of the high-dimensional texture described above, high-dimensional texture image data can be held efficiently, and efficient texture mapping can be realized.
[0070]
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements in an implementation stage without departing from the scope of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, components of different embodiments may be appropriately combined.
[0071]
For example, a device that synthesizes multimedia data of an arbitrary size or an arbitrary time length corresponding to each condition using one or more multimedia data such as images, videos, and sounds acquired or created under a plurality of different conditions. The present invention can also be applied. The high-dimensional multimedia data synthesizing device extracts high-dimensional multimedia data from one or more pieces of multimedia data at the same position or at the same time, and generates high-dimensional multimedia data. A high-dimensional multimedia data quantization unit that quantizes high-dimensional multimedia data at one or more quantization levels, and a quantization index using a hierarchy of the high-dimensional multimedia data according to the quantization level. An index synthesizing unit that synthesizes a spatial or temporal array into an array of an arbitrary size or time length, new index data synthesized by the index synthesizing unit, and a high-dimensional multimedia data generated by a quantization unit. New high-order to generate new high-dimensional multimedia data in combination with codebook Comprising a multimedia data generation unit.
[0072]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the texture image of arbitrary sizes which can express the optical characteristic of the object surface which changes according to a viewpoint direction and a light source direction realistically can be efficiently synthesize | combined from a large amount of texture image data. A high-dimensional texture synthesis device, method, and program can be provided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a high-dimensional texture synthesis device according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram of a high-dimensional texture synthesizing apparatus according to a modification of the first embodiment.
FIG. 3 is a diagram showing a series of processing realized by the high-dimensional texture synthesis device according to the first embodiment;
FIG. 4 is a flowchart of generating a reference high-dimensional texture and a target high-dimensional texture.
FIG. 5 is a diagram for explaining a method of acquiring a texture image under various conditions (viewpoints / light sources).
FIG. 6 is a diagram illustrating an example of a data structure of a high-dimensional texture.
FIG. 7 is a view for explaining extraction of color information of the same pixel from a plurality of reference texture images.
FIG. 8 is a diagram showing a format of high-dimensional pixel data.
FIG. 9 is a flowchart of reference high-dimensional texture quantization.
FIG. 10 is a diagram showing a configuration of a hierarchized high-dimensional texture.
FIG. 11 is a flowchart of index image synthesis.
FIG. 12 is a view for explaining a similar pixel search.
FIG. 13 is a view for explaining a similar pixel search in a layer h.
FIG. 14 is a configuration diagram of a high-dimensional texture synthesis device according to a second embodiment of the present invention.
FIG. 15 is a configuration diagram of a high-dimensional texture synthesis device according to a modification of the second embodiment.
FIG. 16 is a diagram showing a series of processing realized by the high-dimensional texture synthesis device according to the second embodiment.
FIG. 17 is a view for explaining a similar pixel search in the hierarchy h.
FIG. 18 is a flowchart of index image synthesis according to the third embodiment of the present invention.
FIG. 19 is a view for explaining pixel similarity evaluation;
[Explanation of symbols]
101: Reference high-dimensional texture, 102: Reference high-dimensional texture quantization unit, 103: Index image synthesis unit, 104: New high-dimensional texture generation unit, 105: New texture image conversion unit

Claims

A high-dimensional texture combining one or more texture images acquired or created under a plurality of different conditions and synthesizing a new high-dimensional texture for generating a texture image of an arbitrary size corresponding to each of the plurality of different conditions A synthesizer,
A reference high-dimensional texture generating means for inputting the one or more texture images as a reference texture image, extracting and combining color information of the same pixel, and generating a reference high-dimensional texture;
A reference high-dimensional texture quantization means for quantizing the reference high-dimensional texture at one or more quantization levels and generating a codebook;
An index image synthesizing means for synthesizing a new index image having an arbitrary image size from a reference index image obtained by imaging the index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level; ,
A new high-dimensional texture generating means for generating a new high-dimensional texture by combining the new index image synthesized by the index image synthesizing means and the codebook generated by the reference high-dimensional texture quantizing means;
A high-dimensional texture synthesis device comprising:

The reference high-dimensional texture generation means extracts color information of the same pixel from all the input reference texture images, arranges the color information according to the acquisition condition or the creation condition, and generates and generates high-dimensional pixel data. 2. The reference index image is generated by registering the obtained high-dimensional pixel data in the code book, using an address of the code book as pixel index information, and imaging the index information of each pixel collectively. High-dimensional texture synthesizer.

The reference high-dimensional texture quantization unit performs vector quantization (VQ) on each of the reference high-dimensional textures according to one or more quantization levels determined depending on the size of a codebook, thereby obtaining each quantization. 2. The high-dimensional texture synthesizing apparatus according to claim 1, wherein a high-dimensional texture is output for each level.

The vector quantization is full search vector quantization (FSVQ). If there is a cluster having an error of zero at a certain quantization level of clustering, clustering other than the cluster is performed in clustering after the clustering. 4. The high-dimensional texture synthesis apparatus according to claim 3, wherein the cluster is fixed so as to use the cluster.

4. The high-dimensional texture synthesis apparatus according to claim 3, wherein the vector quantization is tree structured vector quantization (TSVQ), and searches for similarity of high-dimensional pixel data according to a tree structure forming a codebook. .

The index image synthesizing means receives a reference high-dimensional texture at a certain quantization level, generates the new index image, and randomly selects an index included in the reference index image as an initial image of the new index image. Using the image, perform a similar pixel search of any search size while scanning the new index image, rewrite the index for each block of any size, and in the similar pixel search, rewrite in the blocks near the block whose index you want to rewrite The similarity between a block having the same shape in the reference index and a block having the same shape is searched for an optimal index. When the scan and index rewrite are performed an arbitrary number of times, the rewrite block is searched. High dimensional texture synthesis apparatus according to claim 1, wherein the changing for each scan the size of the click of the size and the neighboring blocks.

The index image synthesizing unit receives a reference high-dimensional texture at two or more arbitrary quantization levels from the reference high-dimensional texture quantization unit, and uses a hierarchy according to the quantization level to generate a new image having an arbitrary size. Generate an index image, position it as a high-dimensional texture in the lower layer to an upper layer in the order of smaller codebook size, process in order from the higher-dimensional texture in the lower layer, and search for similar pixels in the reference index in similar pixel search. 2. The high-dimensional texture according to claim 1, wherein the similarity with the block having the shape is evaluated between the new index image generated in the immediately preceding hierarchy and the reference index image to obtain a final evaluation value. Synthesizer.

The index image synthesizing unit receives a reference high-dimensional texture at two or more arbitrary quantization levels from the reference high-dimensional texture quantization unit, and uses a hierarchy according to the quantization level to generate a new image having an arbitrary size. An index image is generated, a reference index image at a certain quantization level is used, and in a similar pixel search, a reference index image at a lower hierarchy than the reference index image is used. 2. The high-dimensional texture synthesizing apparatus according to claim 1, wherein the quantization error of the layer that matches for the first time is an approximate evaluation value.

9. The high-level image processing apparatus according to claim 6, wherein at least one of a sum of absolute difference (SAD), a correlation value, and an inner product is used as the evaluation value of the similarity of the high-dimensional pixel data in the similar pixel search of the index image synthesis. Dimensional texture synthesizer.

Tree tracing of a codebook with a tree structure using the output data of a high-dimensional texture quantization unit using tree-structured vector quantization in evaluating the similarity of high-dimensional pixel data in similar pixel search for index image synthesis 9. The high-dimensional texture synthesizing apparatus according to claim 6, wherein the evaluation is performed by using the same tree structure for the index image synthesis in a plurality of hierarchies.

A target high-dimensional texture generation means for inputting one or more texture images acquired or created under a plurality of different conditions as a target texture image, extracting and combining color information of the same pixel, and generating a target high-dimensional texture;
A target index image generation unit that quantizes the target high-dimensional texture using a codebook generated by the reference high-dimensional texture quantization unit and generates a target index image;
The high-dimensional texture synthesizing apparatus according to claim 1, wherein the index image synthesizing unit uses the target index image.

The target high-dimensional texture generation means extracts color information of the same pixel from all the input target texture images, arranges the color information according to the acquisition conditions or creation conditions, generates high-dimensional pixel data, and generates The target high-dimensional texture image is generated by registering the high-dimensional pixel data in the code book, using the address of the code book as index information of pixels, and collectively imaging the index information of each pixel. 12. The high-dimensional texture synthesis device according to item 11.

The target index image generation means inputs one or more codebooks and the target high-dimensional texture generated at one or more quantization levels by the reference high-dimensional texture quantization means, and outputs the target high-dimensional texture at each quantization level. Generate a target index image, replace the target high-dimensional texture codebook with the codebook input from the reference high-dimensional texture quantizer, and replace the index of each pixel of the target high-dimensional texture with the highest similar high-dimensional pixel. 12. The high-dimensional texture synthesizing apparatus according to claim 11, wherein the index is changed to an index of a code book in which data is present, and an indexed image of all changed pixels is output as a target index image.

The evaluation value of the similarity evaluation of the similar pixel search is set to a block of a target index image at the same position as a block that has not been rewritten, among blocks near the block whose index is to be rewritten, and to have a similar shape in the reference index. 14. The high-dimensional texture synthesizing apparatus according to claim 11, wherein the evaluation value is a similarity evaluation value with the block.

The index image synthesizing unit receives a reference high-dimensional texture at two or more arbitrary quantization levels from the reference high-dimensional texture quantization unit, and uses a hierarchy according to the quantization level to generate a new image having an arbitrary size. Generate an index image,
In the similar pixel search, the reference index image of the lower layer is used rather than the reference index image used for synthesizing the new index image, and the index of the neighboring block approximates the quantization error of the layer in which the lower layer matches for the first time. The high-dimensional texture synthesizing apparatus according to claim 11, wherein the evaluation value is a typical evaluation value.

The new high-dimensional texture generating means, when combining a new index image synthesized at an arbitrary quantization level with a codebook at an arbitrary quantization level, sets a new index according to the quantization level of the codebook. 16. The high-dimensional texture synthesizing device according to claim 1, wherein the image is rewritten.

A new high-dimensional texture data structure comprising a combination of a new index image synthesized by the index image synthesizing unit according to claim 1 and a codebook generated by the reference high-dimensional texture quantization unit.

17. The high-dimensional texture synthesis according to claim 1, further comprising a new texture image conversion unit configured to convert the new high-dimensional texture into one or more new texture images corresponding to a specific acquisition condition or creation condition. apparatus.

The new texture image conversion means reads high-dimensional pixel data from the code book based on an index stored in each pixel of the new index image, and corresponds to the specific acquisition condition or creation condition from the high-dimensional pixel data. 19. The high-dimensional texture synthesizing apparatus according to claim 18, wherein color information to be extracted is extracted.

A high-dimensional texture combining one or more texture images acquired or created under a plurality of different conditions and synthesizing a new high-dimensional texture for generating a texture image of an arbitrary size corresponding to each of the plurality of different conditions A synthesis method,
A reference high-dimensional texture generation step of inputting the one or more texture images as a reference texture image, extracting and combining color information of the same pixel, and generating a reference high-dimensional texture;
A reference high-dimensional texture quantization step of quantizing the reference high-dimensional texture at one or more quantization levels and generating a codebook;
An index image synthesizing step of synthesizing a new index image having an arbitrary image size from a reference index image obtained by imaging the index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level; ,
A new high-dimensional texture generating step of generating a new high-dimensional texture by combining the new index image synthesized in the index image synthesizing step and the code book generated in the reference high-dimensional texture quantization step;
A high-dimensional texture synthesis method comprising:

A high-dimensional texture combining one or more texture images obtained or created under a plurality of different conditions and synthesizing a new high-dimensional texture for generating a texture image of an arbitrary size corresponding to each of the plurality of different conditions A synthesis program,
On the computer,
A reference high-dimensional texture generation step of inputting the one or more texture images as a reference texture image, extracting and combining color information of the same pixel, and generating a reference high-dimensional texture;
A reference high-dimensional texture quantization procedure for quantizing the reference high-dimensional texture at one or more quantization levels and generating a codebook;
An index image synthesizing step of synthesizing a new index image having an arbitrary image size from a reference index image formed by imaging the index of the reference texture image according to the hierarchy of the reference high-dimensional texture corresponding to the quantization level; ,
A new high-dimensional texture generating procedure for generating a new high-dimensional texture by combining the new index image synthesized in the index image synthesizing step and the code book generated in the reference high-dimensional texture quantization step;
High-dimensional texture synthesis program for executing