JP4316114B2 - モデルの変形方法およびモデリング装置 - Google Patents
モデルの変形方法およびモデリング装置 Download PDFInfo
- Publication number
- JP4316114B2 JP4316114B2 JP2000197776A JP2000197776A JP4316114B2 JP 4316114 B2 JP4316114 B2 JP 4316114B2 JP 2000197776 A JP2000197776 A JP 2000197776A JP 2000197776 A JP2000197776 A JP 2000197776A JP 4316114 B2 JP4316114 B2 JP 4316114B2
- Authority
- JP
- Japan
- Prior art keywords
- standard model
- model
- standard
- data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、モデルの変形方法およびモデリング装置に関し、例えばコンピュータグラフィックスの分野における3次元モデルの生成に利用される。
【0002】
【従来の技術】
近年において、映画やゲームなどに3次元CG(3次元コンピュータグラフィックス)の技術がしばしば用いられている。3次元CGでは、仮想的な3次元空間内に3次元モデルやライトを配置して動かすので、表現の自由度が高い。
【0003】
従来より、光切断法などによる非接触型の3次元計測装置が実用化されており、これを用いて計測を行うことにより、対象物の3次元データを比較的容易に作成することができる。しかし、計測によって得られた3次元データをそのまま3次元CGに用いるには、得られたデータの間引きなどを行ってデータ量を減らすための処理が複雑であるなど、種々の問題がある。
【0004】
この問題に対処するため、対象物の標準モデルを準備しておき、計測された3次元データに合わせて標準モデルを変形する方法が提案されている(特開平5−81377号)。
【0005】
この従来の方法では、計測によって得られた3次元データの3次元形状情報、つまり3次元に存在する点群をフィッティング対象として用い、それら3次元の点群に標準モデルの表面をフィッティングさせる。
【0006】
【発明が解決しようとする課題】
上に述べた従来の方法によると、人の頭部の3次元モデルを生成するには、人の頭部を計測して得た3次元データに対し、予め準備した人の頭部の標準モデルをフィッティングさせることとなる。
【0007】
しかし、人の頭部は、顔の部分と髪の部分とが含まれ、前者は3次元計測が容易であるが後者は困難である。そのため、標準モデルをフィッティングさせた場合に、髪の部分がうまくフィッティングしないという問題が残る。
【0008】
この問題を解決するために、例えば、標準モデルについて、顔の部分と髪の部分とを分割し、それぞれをフィッティングした後にそれらを結合して合体させる方法が考えられる。その場合に、顔の部分と髪の部分とがずれることなくうまく結合し、違和感なく合体する必要がある。
【0009】
本発明は、上述の問題に鑑みてなされたもので、人の頭部の3次元モデルを生成する場合などに、髪の部分などをもうまくフィッティングさせることを目的とする。
【0010】
本発明に係る方法は、CPUとメモリと入出力ポートとを有する処理装置によって、標準モデルと計測データとの距離に関連して定義される差分エネルギーが小さくなるよう標準モデルを変形するモデルの変形方法であって、前記メモリは、第1の標準モデルと、前記第1の標準モデルと互いに対応する部分を対応点または対応線によって対応付けられ、前記第1の標準モデルと統合される際に従属的に変形させられる第2の標準モデルと、を保持しており、前記CPUは、前記入出力ポートより入力された計測データに基づき前記第1および第2の標準モデルを変形および統合する際に、前記第1の標準モデルと前記計測データとの間の差分エネルギーが小さくなるよう前記第1の標準モデルを変形するステップと、前記第1の標準モデル上の変形後の対応点または対応線と前記第2の標準モデル上の対応点または対応線との間の差分エネルギーと、前記第2の標準モデルと前記計測データとの間の差分エネルギーとの和が小さくなるよう前記第2の標準モデルを変形するステップと、を実行する。
【0011】
例えば、第1の標準モデルは顔モデルであり、第2の標準モデルは毛髪モデルであり、計測データは人間の頭部を対象としたデータである。
1つの第1の標準モデルに対して複数個の第2の標準モデルが対応付けられる。
【0012】
第1の標準モデルおよび第2の標準モデルは、3次元形状データとし、または2次元画像として設定される。
本発明による3次元モデルを生成する装置は、標準モデルと計測データとの距離に関連して定義される差分エネルギーが小さくなるよう標準モデルを変形するモデリング装置であって、第1の標準モデルAiと、前記第1の標準モデルと互いに対応する部分を対応点または対応線によって対応付けられ、前記第1の標準モデルAiと統合される際に従属的に変形させられる第2の標準モデルBjと、を保持するメモリと前記第1の標準モデルAiと計測データとの間の差分エネルギーが小さくなるよう前記第1の標準モデルAiを変形する手段と、前記第2の標準モデルBjを、前記第1の標準モデルAi上の変形後の対応点または対応線と前記標準モデルBj上の対応点または対応線との間の差分エネルギーと、前記第2の標準モデルBjと前記計測データとの間の差分エネルギーとの和が小さくなるよう前記第2の標準モデルBjを変形する手段と、を有してなる。
【0013】
本発明において、フィッティングとは、標準モデルの変形処理、またはそれを含む一連の処理をいう。
【0014】
【発明の実施の形態】
図1は本発明に係るモデリング装置1を示すブロック図である。
本実施形態においては、予め作成した標準モデルを人の頭部についての計測データ(3次元データまたは2次元画像)に基づいて変形する(フィッティングする)ことにより、人の頭部の3次元モデルを生成する例を説明する。
【0015】
図1に示すように、モデリング装置1は、処理装置10、磁気ディスク装置11、媒体ドライブ装置12、ディスプレイ装置13、キーボード14、マウス15、および3次元計測装置16などからなる。
【0016】
処理装置10は、CPU、RAM、ROM、ビデオRAM、入出力ポート、および各種コントローラなどからなる。RAMおよびROMなどに記憶されたプログラムをCPUが実行することにより、処理装置10上に種々の機能が実現される。
【0017】
磁気ディスク装置11には、OS(Operating System) 、3次元モデルMLを生成するためのモデリングプログラムPR、その他のプログラム、標準モデル(標準モデルデータ)DS、3次元データ(3次元計測データ)DT、3次元データDTの信頼性を示す信頼性データDR、2次元画像(2次元計測データ)FT、生成された3次元モデルML、その他のデータなどが格納されている。これらのプログラムおよびデータは、適時、処理装置10のRAMにローディングされる。
【0018】
標準モデルDSとして、顔の部分についての第1の標準モデル群A(A群)と、髪の部分についての第2の標準モデル群B(B群)とが設けられている。A群には、顔の部分についての複数の標準モデルAi(DSA)が格納されている。B群には、髪の部分についての複数の標準モデルBj(DSB)が格納されている。これら各標準モデルDSAと標準モデルDSBとは、対応点または対応線によって互いに関連付けられている。
【0019】
なお、モデリングプログラムPRには、計測処理、概略位置合わせ、データ削減処理、変形処理、部分領域選択処理、およびその他の処理のためのプログラムが含まれる。
【0020】
媒体ドライブ装置12は、CD−ROM(CD)、フロッピィディスクFD、または光磁気ディスクなどの記録媒体にアクセスし、データまたはプログラムの読み書きなどを行うものである。記録媒体の種類に応じて適切なドライブ装置が用いられる。上に述べたモデリングプログラムPRは、これら記録媒体からインストールすることが可能である。標準モデルDS、3次元データDT、信頼性データDR、および2次元画像FTなども、記録媒体を介して入力することが可能である。
【0021】
ディスプレイ装置13の表示面HGには、上に述べた種々のデータ、およびモデリングプログラムPRにより生成された3次元モデルML、その他のデータ(画像)が表示される。
【0022】
キーボード14およびマウス15は、処理装置10にデータを入力しまたは指令を与えるために用いられる。
3次元計測装置16は、例えば光切断法によって対象物の3次元データDTを得るためのものである。3次元計測装置16によって直接的に3次元データDTを得ることも可能であり、また、3次元計測装置16から出力されるデータに基づいて処理装置10などで演算を行い、間接的に3次元データDTを得ることも可能である。
【0023】
3次元データDTと同時に、必要に応じて同じ対象物について同じ視線上の2次元画像FTを取得することも可能である。そのような3次元計測装置16として、例えば特開平10−206132号に示される公知の装置を用いることが可能である。
【0024】
また、対象物の3次元データDTを取得する公知の他の方法として、対象物に対して視差を有して配置された複数のカメラを用いる方法などがある。それらのカメラから得られた視差を有する複数の画像から、立体写真法を用いて3次元データDTを演算により求めることができる。
【0025】
この方法では、例えば3台のカメラを用いることにより、3次元データDTの各点の信頼性を判定するためのデータをも同時に取得することができる。
すなわち、3台のカメラによる多眼視によって対象物を撮影し、3枚の画像を得る。これら3枚の画像について、互いの対応点を探索する。2枚の画像についての対応点に基づいて、3次元データDTが公知の計算により求められる。他の1枚の画像は、信頼性データDRを得るのに利用される。
【0026】
例えば、図10に示すように、3台のカメラA,B,Cを用い、対象物Qを撮影して3枚の画像FA,FB,FCを取得する。各画像FA,FB,FCについて、それぞれの画像面(un ,vn )が示されている(n=1,2,3)。3次元空間Mにある対象物Q上の点QPが、各画像面上の点PA,PB,PCに投影されている。
【0027】
ここで、点PA,PB,PCの対応が求まるとすると、それらの対応から、3次元空間M’を再構成することができる。3次元空間M’において、点PA,PBに対応する点QP’が求まる。理想的には、この再構成された3次元空間M’上の点QP’を画像面(u3 ,v3 )に逆投影した点PC’と、元の3次元空間M上の点QPを画像面(u3 ,v3 )上に投影した点PCとは、一致するはずである。
【0028】
しかし、投影変換を正確に求めることは難しく、また対応を正確に求めることも難しいため、通常、これらは一致しない。そこで、これら点PC’と点PCとのずれを誤差とし、信頼性の指標として用いる。
【0029】
例えば、点PC’と点PCとの誤差を、ずれた画素の数で示す。点PC’と点PCとが同じ画素上にあれば、誤差は「0」である。1画素ずれていれば、誤差は「1」である。2画素ずれていれば、誤差は「2」である。このずれた画素数を信頼性データDRとして用いることができる。
【0030】
信頼性データDRを判断する他の方法として、例えば特開昭61−125686号に示される方法、その他の公知の方法を用いることも可能である。
モデリング装置1は、パーソナルコンピュータまたはワークステーションなどを用いて構成することが可能である。上に述べたプログラムおよびデータは、ネットワークNWを介して受信することにより取得することも可能である。
【0031】
次に、モデリング装置1の全体の処理の流れについて、フローチャートを参照しながら説明する。
図2はモデリング装置1の全体の処理の流れを示すフローチャート、図3は変形処理を示すフローチャート、図4は標準モデルDSA1の例を示す図、図5は対象物から3次元データDTを取得する様子を示す図、図6(A)(B)は概略の位置合わせの様子を示す図、図7は輪郭および特徴点の抽出処理の様子を示す図、図8は標準モデルDSの面Sと3次元データDTの点Pとを模式的に示す図、図9は標準モデルDSの異常変形を防ぐための仮想バネを説明するための図、図10は対象物の3次元データDTおよび信頼性データDRを取得する方法の例を説明する図、図11は顔の標準モデルDSAと髪の標準モデルDSBとを対応点で対応付けた様子を示す図、図12は変形後の顔の標準モデルDSAと髪の標準モデルDSBとを示す図、図13は顔の標準モデルDSAと髪の標準モデルDSBとを対応線で対応付けた様子を示す図、図14はその変形後の顔の標準モデルDSAと髪の標準モデルDSBとを示す図である。
〔標準モデルの準備〕
図2において、まず、対象物についての標準モデルDSを準備する(#11)。本実施形態では対象物が人の頭部であるので、種々のサイズおよび形状を有した、頭部の全周についての顔の複数の標準モデル群の中から、対象物の顔に最もよく似た標準モデルDSA1を準備する。
【0032】
標準モデルDSは、ポリゴンで定義された3次元形状モデル、または自由曲面で定義された3次元形状モデルのいずれでもよい。ポリゴンで定義された3次元形状モデルである場合は、各ポリゴンの頂点の3次元座標によって表面の形状が決まる。自由曲面で定義された3次元形状モデルである場合は、曲面を定義する関数、および各制御点の座標によって表面の形状が決まる。
【0033】
なお、ポリゴンで定義された3次元形状モデルである場合に、各ポリゴンの頂点を「構成点」と記載する。
また、標準モデルDSのフィッティングに際して、標準モデルを変形するために用いられる点を「制御点」と呼称する。制御点とポリゴンの構成点との位置関係は任意であり、制御点はポリゴンの面上に設定されていてもよく、ポリゴンの面から離れて設定されていてもよい。1つの制御点は複数の構成点(3〜100程度)と関連付けられており、制御点の動きに合わせて関連付けられた構成点が移動する。標準モデルDSのフィッティングに際しては、これら複数の制御点を移動させることによって標準モデルDS全体を変形する。3次元形状モデルが自由曲面で定義されている場合も、フィッティングに使用する制御点の配置は任意である。
【0034】
制御点は、目尻、唇端などのように細かな形状を持つ部分、および、鼻、唇などのように急激な形状の変化を持つ部分には、高い密度で配置される。それ以外の部分には一様に配置される。
【0035】
標準モデルDSには、ある方向から見た特徴的な輪郭RKおよび特徴点TTが設定される。輪郭RKとして、例えば、目、鼻、口、または顎などに、瞼のライン、鼻のライン、唇のライン、または顎のラインなどが設定される。特徴点TTとして、例えば、目や口の端部、鼻の頂部、顎の下端部のように、実際に特徴のある部分、または、それらの中間のようなそれ自体では特徴はないが位置的に特定し易い部分などが選ばれる。
【0036】
図4に示す標準モデルDSA1では、顎のライン、唇のライン、および瞼のラインが輪郭RK1〜3として設定されている。図4で分かるように、輪郭RK1は、標準モデルDSA1をある方向から見たときに、その縁線となる部分である。また、図4に示す標準モデルDSA1では、設定された特徴点TTの一部のみが実際に図に表されている。
【0037】
上に述べた顔の標準モデルDSAの準備とともに、髪の標準モデルDSBの準備も行う。これら標準モデルDSの準備は、磁気ディスク装置11に格納しておいた複数の標準モデルの中から、対象物に対して適切なものをそれぞれ選択することによって行われる。髪の標準モデルDSB1の例が、顔の標準モデルDSAとの対応づけの様子とともに図11および図13に示されている。
【0038】
本実施形態では、顔の標準モデルDSAを計測データにフィッティングした後、フィッティング後の標準モデルDSAに髪の標準モデルDSBを付加して合体させる。
【0039】
これら顔の標準モデルDSAと髪の標準モデルDSBとの間には、上に述べたように予め対応点CTまたは対応線LTが設定されており、それらの対応点CTまたは対応線LTを互いに一致させることにより、うまく合体して自然な形状となる。
【0040】
標準モデルDSAがフィッティングにより変形された場合に、その対応点CTまたは対応線LTの変形量を導き、それを標準モデルDSBの対応点CTまたは対応線LTの変形量に適用する。その際に、標準モデルDSBの形状と変形後の標準モデルDSAの形状との間のずれを解消するため、各特徴点の変形量に応じて、標準モデルDSB上の各点も変形する。
【0041】
なお、図13に示すように対応線LTを用いて変形する場合には、例えば、顔の標準モデルDSA1上の対応線LT上の複数の点から、髪の標準モデルDSB1上の対応線LT上へ最短の垂線を降ろし、それらの点同士が一致するように髪の標準モデルDSB1を変形する。
【0042】
このようにして、髪の標準モデルDSBを、顔の標準モデルDSAの変形に対応して変形させる。変形後の標準モデルDSA,DSBの例が図12に示されている。
【0043】
これによって、標準モデルDSAと標準モデルDSBとの間にずれがなくなり、それらが隙間なく結合し、違和感なくフィッティングする。
なお、標準モデルDSBの変形の際に、標準モデルDSBの対応点CTまたは対応線LTの変形量のみでなく、標準モデルDSAをフィッティングさせた計測データ(3次元データDTまたは2次元画像FT)をも合わせて用いることが可能である。
【0044】
また、一旦選択した標準モデルDSBを他の標準モデルDSBに変更した場合に、変更後の標準モデルDSBに対して同様な変形を加えることによって、フィッティング後の標準モデルDSAに同様にうまく合体させることができる。
〔3次元データの取得〕
次に、対象物の3次元計測を行い、3次元データDTを取得する(#12)。その際に、対象物の2次元画像FTをも同時に取得しておく。また、上に述べたように、3次元データDTの各点についての信頼性を示す信頼性データDR、または信頼性データDRを得るための情報を必要に応じて取得しておく。
【0045】
例えば、図5に示すように、3次元計測装置16を用いて、対象物である人の頭部を計測(撮影)する。これによって、3次元データDTおよび2次元画像FTが取得される。
【0046】
なお、対象物を計測して得た3次元データDTおよび/または2次元画像FTを、「計測データ」と記載することがある。標準モデルDSの準備と3次元データDTの取得とはいずれが先でもよく、並行して進めてもよい。
〔概略の位置合わせ〕
標準モデルDSと3次元データDTとの概略の位置合わせを行う(#13)。この処理では、標準モデルDSと3次元データDTとが概略一致するように、標準モデルDSの向き、サイズ、および位置を変更する。このとき、標準モデルDSを、X,Y,Zのそれぞれの方向に個別に任意の倍率に偏倍することにより、それぞれの方向のサイズを3次元データDTによく合わせることができる。
【0047】
例えば、図6(A)に示すように、3次元データDTに対して、標準モデルDSを回転させ且つ各方向に偏倍することにより、図6(B)に示すように、3次元データDTとほぼ同じサイズの標準モデルDSaを得ることができる。なお、わかりやすくするために、図面上では位置を合わせていないものを示す。
【0048】
概略の位置合わせの手法として、次に説明するように、(1)全体的概略位置合わせ、(2)局所的概略位置合わせ、(3)繰り返し概略位置合わせ、の3つの手法がある。
【0049】
これらの手法のうち、(1)および(3)の手法は自動で行うことができる。(2)の手法は、その中の特徴点抽出を自動で行うことが困難であるので、一部手動で行う必要がある。概略位置合わせ後のフィッティングでは基本的に標準モデルDSの局所的な変形が行われることになるため、形状が合うことを重視する場合には(1)および(3)の手法が好適であり、アニメーションのように形状よりも位置が合って欲しいという場合には(2)の手法が好適である。また、特徴点抽出を行うことに慣れたユーザであれば、処理時間を短縮するために(2)の手法を用いることは効果的である。
〔全体的概略位置合わせ〕
全体的概略位置合わせでは、3次元データDTと標準モデルDSとの距離を最小とするように、標準モデルDSの位置、方向、およびサイズを変更する。
【0050】
すなわち、次の(1)式に示すエネルギー関数e(si,αi,ti)が最小となるsi,αi,tiを導く。
なお、f(si,αi,ti)は、3次元データDTと標準モデルDSとの距離に関連して定義されるエネルギー関数である。g(si)は、過剰な変形を避けるための安定化エネルギー関数である。
【0051】
また、3次元計測装置16によって3次元データDTを取得する際に同時に取得した2次元画像FTを用い、2次元画像FT上でのパターンマッチングを用いて、位置、方向、およびサイズの初期値を与えてもよい。
【0052】
【数1】
【0053】
但し、
K :3次元データの構成点の個数
dk :3次元データの構成点と標準モデルの表面との距離
Wsc:偏倍安定化のウエイトパラメータ
S0 :初期スケール
Si :各方向の偏倍量(但し、S3 は奥行き方向である)
αi :標準モデルの各方向の回転
ti :標準モデルの各方向への移動量
ここで、標準モデルDS上の構成点は次の(2)式にしたがって移動し、それにともなって、3次元データDTの構成点と標準モデルDSの表面との間の距離dk が変化する。
【0054】
【数2】
【0055】
また、3次元計測装置16による計測(撮影)が一方向からに限られる場合に、奥行き方向(Z方向)の偏倍量が正確に得られない場合がある。その場合には、3次元データDTの形状と標準モデルDSの形状に大きな違いはないとみなし、次の(3)式に示すように、X,Y方向の偏倍量(S1,S2 )によってZ方向の偏倍量(S3 )を補正する方法も考えられる。
【0056】
【数3】
【0057】
但し、
γ :視線方向x3 変形分へのウエイトパラメータ
〔局所的概略位置合わせ〕
上に述べた全体的概略位置合わせを自動で行った場合に、それがうまく合わなかったときに、手動で合わせることとなるが、ここに述べる局所的概略位置合わせは、手動での位置合わせの際にできるだけ簡単に行うための手法である。なお、自動でうまくいかなかった分は一旦リセットし、初めから手動でやり直す。
【0058】
局所的概略位置合わせでは、3次元データDT上の特徴的な線または点と、標準モデルDS上の特徴的な線または点とを対応づけ、それらの距離を最小にするように標準モデルDSの位置、方向、およびサイズを変更する。なお、線と線とを対応付けた場合は、一方の線上の点とその点から他方の線上へ降ろした垂線のうち最短となる点とを特徴点とし、線上でこれらの点を複数点取得するものとする。
【0059】
すなわち、3次元データDT上の特徴点とそれに対応する標準モデルDS上の特徴点との距離に対して、次の(4)式に示すエネルギー関数E(si,αi,ti)が最小となるように、標準モデルDSのti,αi,siを導く。
【0060】
【数4】
【0061】
但し、
k :対応する特徴点の個数
Mk :位置合わせ後の標準モデル上の特徴点
x :位置合わせ前の標準モデル上の特徴点
Ck :3次元データ上の特徴点
Si :標準モデルの各方向の偏倍量
αi :標準モデルの各方向の回転
ti :標準モデルの各方向への移動量
また、3次元計測装置16による計測(撮影)が一方向からに限られる場合に、奥行き方向(Z方向)のスケールが正確に得られない場合がある。その場合には、上に述べた全体的概略位置合わせの場合と同様に、次の(5)式を用いてZ方向のスケールを補正する方法が考えられる。
【0062】
【数5】
【0063】
〔輪郭・特徴点の抽出〕
3次元データDTまたは2次元画像FT上に、輪郭および特徴点を抽出する(#14)。標準モデルDSについての輪郭RKおよび特徴点TTを予め抽出しておいた場合には、それらと同じ位置に配置されるべき輪郭および特徴点を、3次元データDT上に、またはそれに対応する2次元画像上に配置する(図7参照)。
【0064】
標準モデルDSについての輪郭RKおよび特徴点TTが予め抽出されていない場合には、3次元データDT上または2次元画像上への配置と合わせて標準モデルDS上でも指定する。
〔データ削減〕
次に、計算量および誤差を削減するために、3次元データDTについてデータの削減を行い、必要且つ信頼性の高いデータのみを取り出す(#15)。データの削減を行うことによって、元の3次元データDTの形状を崩すことなく、計算量を減らすことができる。
【0065】
データの削減に当たって、例えば、対象物の領域外のデータを除外し、不要なデータを除く。例えば、2次元画像FTから顔の領域を判別し、その領域に対応した3次元データDTのみを残す。あるいは、対象物と背景との間の距離の相違を用いて領域を判別する。また、概略位置合わせの情報を用いて、顔の領域を抽出するなどの各種の方法がある。また、3次元データDTに信頼性データDRがある場合には、信頼性の高いもののみを残す。近隣にデータが多い場合はそのデータを間引き、密度を平均化する。
【0066】
データを間引いて密度を平均化する場合は、次の(6)式で示される条件を満たす3次元データDTのみを採用する。
【0067】
【数6】
【0068】
但し、
Pk :構成点
P〜r :既に採用された構成点
Rdet (x) :構成点xの周囲の密度を表す関数
上の(6)式によると、注目されているデータPkについて、それまでに採用されて残っているデータPrとの間の距離が一定以上であれば、そのデータPkを採用する。
〔変形〕
標準モデルDSの変形が行われる(#16)。ここでは、3次元データDTの各構成点と標準モデルDSの面との間の距離に関連して定義されたエネルギー関数e1 を用いるとともに、それに加えて、標準モデルDSの特徴点と3次元データDTに対して指定された特徴点との間の距離に関連して定義されるエネルギー関数e3 、標準モデルDSの輪郭と3次元データDTに対して指定された輪郭との間の距離に関連して定義されるエネルギー関数e2 、および、過剰な変形を回避するために定義されたエネルギー関数es を用い、それらを総合したエネルギー関数eを評価し、総合のエネルギー関数eが最小となるように標準モデルDSの面を変形させる。
【0069】
なお、総合のエネルギー関数eとして、e1,e2,e3,esの4つの関数を用いるのが一番望ましいが、e1〜e3のうち任意の2つだけを用いることも可能である。
【0070】
次に、各エネルギー関数について順次説明する。
〔標準モデルと3次元データとの距離〕
図8において、3次元データDTを構成する点群の1つが点Pkで示されている。標準モデルDSの面Sにおいて、点Pkに最も近い点がQkで示されている。点Qkは、点Pkから面Sに垂線を下ろしたときの交点である。ここでは、点Pkと点Qkとの距離が評価される。
【0071】
すなわち、3次元データDTの各点と標準モデルDSの面との差分エネルギーe1 は、データ削減後の3次元データDT上の点Pkと、それを標準モデルDSの面S上に投影した点Qkとの二乗距離を用いて、次の(7)式によって算出される。
【0072】
【数7】
【0073】
但し、
T1A:制御点群
Pk :削減後の3次元データの構成点
Qk :構成点からモデル表面への投影点
K :削減後の構成点の個数
dk :構成点からモデル表面への投影方向,
dk =(Qk-Pk )/|Qk-Pk |
ρk :構成点Pk の信頼性
w(ρk):信頼性関数,w(ρk)=1/(α+ρk )n
W :Σw(ρk)
L :種々のエネルギーを同一単位で扱うための調整用スケール
〔標準モデル上の輪郭と計測データ上の輪郭との距離〕
ここでは、3次元データDT上に指定された輪郭RK、または2次元画像FT上に指定された輪郭RKと、標準モデルDS上の輪郭RKとの距離が評価される。
【0074】
計測データの輪郭RKが3次元データDT上に指定される場合は、3次元データDTの輪郭RK上の点から標準モデルDS上の対応する輪郭RKへ垂線を降ろし、その垂線のうち最短のものを距離とする。なお、輪郭RK上では複数の点を指定する。
【0075】
計測データの輪郭RKが2次元画像FT上に指定される場合は、2次元画像FTを撮影したカメラについてのカメラパラメータを用い、標準モデルDSの輪郭RKを2次元画像FT上に投影する。2次元画像FTの輪郭RK上の点から、標準モデルDSの対応する輪郭RKへ垂線を降ろし、その垂線のうち最短のものを距離とする。なお、輪郭RK上では複数の点を指定する。
【0076】
計測データの輪郭RKが3次元データDT上に指定される場合に、標準モデルDSの輪郭RK毎の差分エネルギーe2 は、それらの距離の二乗和を用いて次の(8)式によって計算される。
【0077】
【数8】
【0078】
但し、
T2A:制御点群
pk :3次元データ上の輪郭点
qk :3次元データ上の輪郭点から対応するモデル輪郭への垂足点
n :1つのモデル輪郭に対応が付けられている3次元データの輪郭点数
dk :計測データの輪郭点から対応するモデル輪郭線への投影方向,
dk =(qk-pk )/|qk-pk |
l :種々のエネルギーを同一単位で扱うための調整用スケール
計測データの輪郭RKが2次元画像FT上に指定される場合に、標準モデルDSの輪郭RK毎の差分エネルギーe2 ’は次の(9)式によって計算される。
【0079】
【数9】
【0080】
但し、
T2A:制御点群
pk :2次元画像上の輪郭点
qk :2次元画像上の輪郭点から2次元画像上に投影された対応するモデル輪郭への垂足点
n :1つのモデル輪郭に対応が付けられている計測データの輪郭点数
dk :2次元画像上の輪郭点から対応するモデル輪郭への投影方向,
dk =(qk-pk )/|qk-pk |
l :種々のエネルギーを同一単位で扱うための調整用スケール
計測データの輪郭RKを2次元画像FT上で指定する理由は、例えば3次元データDTがあいまいな場合に、3次元データDT上に輪郭RKを指定すると輪郭RKそのものが不正確となるからである。したがって、それに代えて2次元画像FTを用いて輪郭RKを抽出するのである。
〔標準モデル上の特徴点と対応した計測データ上の特徴点との距離〕
計測データ上に特徴点TTを設定することにより、3次元データDT上に指定された特徴点TT、または2次元画像FT上に指定された特徴点TTと、標準モデルDS上の特徴点との距離が評価される。
【0081】
3次元データDT上の特徴点TTと標準モデルDS上の特徴点TTとの差分エネルギーe3 は、対応する特徴点TTの二乗距離を用いて次の(10)式によって計算される。
【0082】
なお、2次元画像FT上に特徴点TTを指定した場合は、カメラパラメータを用いて標準モデルDSの特徴点TTを2次元画像FT上に投影し、2次元画像FT上での差分エネルギーを計算する。
【0083】
【数10】
【0084】
但し、
T3A:制御点群
Fk :計測データの特徴点
Gk :計測データの特徴点に対応する標準モデル上の特徴点
N :計測データの特徴点と標準モデル上の特徴点との対応数
L :種々のエネルギーを同一単位で扱うための調整用スケール
〔過剰な変形を回避するための安定化エネルギー〕
上に述べた差分のエネルギーに加え、過剰な変形を回避するための安定化エネルギーes が導入される。
【0085】
すなわち、変形に用いられる制御点の間が、図9に示す仮想バネ(elastic bar) KBによってつながれているものとする。仮想バネKBの制約に基づいて、標準モデルDSの面Sの形状の安定化のための安定化エネルギーes が定義される。
【0086】
なお、仮想バネは必ずしも制御点間に張られている必要はない。制御点と仮想バネとの関係が明確であればよい。
図9において、フィッティング対象である標準モデルDSの面Sの一部が示されている。面Sは、制御点群U=|ui,i=1…N|で形成されている。隣接する制御点間には、仮想バネKBが配置されている。仮想バネKBは、制御点間に引っ張り力による拘束を与え、面Sの異常変形を防ぐ働きをする。
【0087】
つまり、隣接する制御点uの間隔が大きくなった場合に、それに応じて仮想バネKBによる引っ張り力が大きくなる。例えば、点Qkが点Pkに近づく場合に、その移動にともなって制御点uの間隔が大きくなると、仮想バネKBによる引っ張り力が増大する。点Qkが移動しても制御点uの間隔が変わらなければ、つまり制御点u間の相対位置関係に変化がなければ、仮想バネKBによる引っ張り力は変化しない。仮想バネKBによる引っ張り力を面Sの全体について平均化したものを、安定化エネルギーes として定義する。したがって、面Sの一部が突出して変形した場合に安定化エネルギーes は増大する。面Sの全体が平均して移動すれば安定化エネルギーes は零である。
【0088】
安定化エネルギーes は、仮想バネKBの変形の状態により、次の(11)式により求められる。
【0089】
【数11】
【0090】
但し、
TsA:制御点群
U〜m,V〜m :仮想バネの端点(制御点)の初期値
Um,Vm :変形後の仮想バネの端点
L0m:初期状態の仮想バネの長さ,
L0m=|U〜m −V〜m |
M :仮想バネの本数
c :バネ係数
L :種々のエネルギーを同一単位で扱うための調整用スケール
したがって、バネ係数cを大きくすると、仮想バネKBは硬くなって変形し難くなる。
【0091】
このような安定化エネルギー関数es を導入することにより、面Sの形状変化に一定の拘束を設けることとなり、面Sの過度の変形を防ぐことができる。
〔総合のエネルギー関数〕上に述べたように、各エネルギー関数e1,e2,e3,esについて、それぞれ制御点群T1A, T2A, T3A, TsAが用いられる。ここでは、これらの制御点群T1A〜TsAは同じであるが、後述するように互いに異ならせることができる。これら制御点群TAを用いて標準モデルDSの変形を行い、次の(12)式に示す総合エネルギー関数e(TA)を最小にする制御点群TAを求める。
【0092】
【数12】
【0093】
但し、
e1(T1A): 3次元データの構成点とモデル表面との差分エネルギー
e2s (T2A): モデル輪郭毎の計測データ上の輪郭との差分エネルギー
e3(T3A): 計測データの特徴点とモデル上の特徴点との差分エネルギー
eS(TSA): 過剰な変形を回避するための安定化エネルギー
wi, c : それぞれのエネルギーのウエイトパラメータ
TA=T1A=T2A=T3A=TSA
〔繰り返し変形〕
実際には繰り返し変形を行う(#17)。つまり、制御点を動かして繰り返して変形を行う。n回目の変形後の総合エネルギー関数をen(TA)とすると、次の(13)式の条件が満たされたときに、総合エネルギー関数en (TA)が収束したと判断する。
【0094】
【数13】
【0095】
さて、ここで、変形処理の全体的な流れを図3に沿って説明する。まず、計測データと標準モデルDSとの間で対応する点の組みを作成する(図8のPkとQk)(#21)。
【0096】
面Sを変形し(#22)、変形後の総合エネルギー関数en(TA)を計算する(#23)。総合エネルギー関数en(TA)が収束するまで(#24でイエス)、処理を繰り返す。
【0097】
総合エネルギー関数en(TA)の収束を判定する方法として、上に述べたように総合エネルギー関数en(TA)が所定の値よりも小さくなったときを収束とする方法、前回の計算と比較べた変化の割合が所定値以下となったときに収束とする方法など、公知の方法を用いることが可能である。
【0098】
なお、計測データとして、髪の部分についての計測データが得られる場合には、顔の標準モデルDSA上の特徴点と髪の標準モデルDSB上の特徴点との距離に関連するエネルギー関数e4 を新たに定義し、これを上に述べた総合エネルギー関数e(TA)の中に加えて同時に評価すればよい。
〔異なる制御点の使用〕上に述べた(12)式では、フィッティング対象(3次元データDTの構成点、輪郭RK、特徴点TT)がそれぞれ異なるエネルギー関数e1,e2,e3,esについて、同じ制御点群を使用したが、ここに示す例は、フィッティング対象毎に異なる制御点群を用いる。つまり、制御点群T1A, T2A, T3A, TsAを互いに異ならせる。
【0099】
この場合には、総合エネルギー関数e(TA)として上に示した(12)式を用いることができる。但し、そこに用いられる制御点群T1A, T2A, T3A, TSAは、互いに異なっており、次に示す関係にある。
【0100】
TA⊃T1A
TA⊃T2A
TA⊃T3A
TA=TSA
すなわち、上に述べたように、特徴点は点であるので、特徴点同士のエネルギーに対しては、局所的な動きになってしまう。例えば、3次元データDTと標準モデルDSとの目の位置を合わせようとするときに、特徴点TTが設定された部分のみが強く引っ張られ、いびつに変形する可能性がある。そのような場合に、全体的な動きとなるようにするのが好ましい。
【0101】
一方、3次元データDTの構成点に対しては、目の横などは細かく動いてほしい。しかし、少数の制御点しか用いない場合には、構成点は細かく移動しない。そこで、3次元データDTの構成点については多数の制御点を用い、特徴点については少数の制御点を用いる。輪郭RKについてはその中間の量とする。
【0102】
例えば、輪郭RKが急激に変化する部分については、制御点を細かくする。安定化エネルギーは全ての制御点に対してかける。このような制御点の選択は、標準モデルDSを準備する際に行う。
【0103】
なお、制御点群T1A, T2A, T3A, TsAは互いに異なるのであるが、各制御点群に含まれる制御点は、互いに共通に用いられるものもある。
〔信頼性に応じたウエイトの変更〕
上に述べた(12)式では、各情報についての信頼性が同等であるとして総合エネルギー関数e(TA)を評価したが、ここに示す例は、それぞれの情報の信頼性に応じて重みを変更する。これによって、様々な情報の中からより信頼性の高い情報に重きを置いて判定することができる。
【0104】
なお、それぞれの情報の信頼性は、3次元計測時、または輪郭・特徴点の自動抽出時に得られるものとする。
この場合には、次の(14)式に示す総合エネルギー関数e(TA)を最小にする制御点群TAを求める。
【0105】
【数14】
【0106】
但し、
ρi :各エネルギー関数ei (TA)に関する情報の信頼性
W (ρi):信頼性関数
TA=T1A=T2A=T3A=TSA
上に述べた実施形態によると、3次元データDTまたは2次元画像FTの構成点のみでなく、輪郭RKまたは特徴点TTをも用いてフィッティングを行うので、3次元データDTなどによる全体のフィッティングの緻密さを保ちつつ、目または口もとなどの局部について局部的な異常変形を起こすことなく、それらをよりよく一致させることができる。したがって、対象物により一層近い3次元モデルを生成することができる。
【0107】
また、顔の標準モデルDSAと髪の標準モデルDSBとを対応点CTにより対応づけておき、顔の標準モデルDSAの変形に応じて髪の標準モデルDSBを変形するので、結合した際にそれらの間にずれがなくなり、違和感なくフィッティングする。
【0108】
上の実施形態において、2次元の顔モデルと複数の髪型モデルとを準備しておき、それらのモデル間に対応点または対応線を定義しておいてもよい。その場合に、顔画像を入力し、顔モデルを顔画像に一致するよう変形する。その際の顔モデル上に配置されている対応点または対応線の変形量を、髪型モデルの対応点または対応線に適用して髪型モデルを変形し、髪型のシミュレーションを行う。
【0109】
また、CADなどにおいて、オブジェクト間の対応関係を点または線で定義しておき、一方のオブジェクトに変形操作が適用されたとき、変形操作による一方のオブジェクト上の対応点または線の変形量を他方のオブジェクト上の対応点または線に適用して変形するようにしてもよい。これによって、設計における負荷を低減することができる。
【0110】
上に述べた実施形態において、モデリング装置1の構成、回路、処理内容、処理順序、処理タイミング、係数の設定などは、本発明の趣旨に沿って適宜変更することができる。
【0111】
【発明の効果】
本発明によると、人の頭部の3次元モデルを生成する場合などに、髪の部分などをもうまくフィッティングさせることができる。
【図面の簡単な説明】
【図1】本発明に係るモデリング装置を示すブロック図である。
【図2】モデリング装置の全体の処理の流れを示すフローチャートである。
【図3】変形処理を示すフローチャートである。
【図4】標準モデルの例を示す図である。
【図5】対象物から3次元データを取得する様子を示す図である。
【図6】 概略の位置合わせの様子を示す図である。
【図7】輪郭および特徴点の抽出処理の様子を示す図である。
【図8】標準モデルの面と3次元データの点とを模式的に示す図である。
【図9】標準モデルの異常変形を防ぐための仮想バネを説明するための図である。
【図10】対象物の3次元データおよび信頼性データを取得する方法の例を説明する図である。
【図11】顔の標準モデルと髪の標準モデルとを対応点で対応付けた様子を示す図である。
【図12】変形後の顔の標準モデルと髪の標準モデルとを示す図である。
【図13】顔の標準モデルと髪の標準モデルとを対応線で対応付けた様子を示す図である。
【図14】変形後の顔の標準モデルと髪の標準モデルとを示す図である。
【符号の説明】
1 モデリング装置(3次元モデルの生成装置)
10 処理装置
11 磁気ディスク装置
DT 3次元データ(計測データ)
FT 2次元画像(計測データ)
ML 3次元モデル
DS 標準モデル
DSA 顔の標準モデル(第1の標準モデル、標準モデルAi)
DSB 髪の標準モデル(第2の標準モデル、標準モデルBi)
CT 対応点
LT 対応線
RK 輪郭
TT 特徴点
TA 制御点群
PR モデリングプログラム
Claims (5)
- CPUとメモリと入出力ポートとを有する処理装置によって、標準モデルと計測データとの距離に関連して定義される差分エネルギーが小さくなるよう標準モデルを変形するモデルの変形方法であって、
前記メモリは、
第1の標準モデルと、
前記第1の標準モデルと互いに対応する部分を対応点または対応線によって対応付けられ、前記第1の標準モデルと統合される際に従属的に変形させられる第2の標準モデルと、を保持しており、
前記CPUは、
前記入出力ポートより入力された計測データに基づき前記第1および第2の標準モデルを変形および統合する際に、
前記第1の標準モデルと前記計測データとの間の差分エネルギーが小さくなるよう前記第1の標準モデルを変形するステップと、
前記第1の標準モデル上の変形後の対応点または対応線と前記第2の標準モデル上の対応点または対応線との間の差分エネルギーと、前記第2の標準モデルと前記計測データとの間の差分エネルギーとの和が小さくなるよう前記第2の標準モデルを変形するステップと、を実行する、
ことを特徴とするモデルの変形方法。 - 第1の標準モデルは顔モデルであり、第2の標準モデルは毛髪モデルであり、
計測データは人間の頭部を対象としたデータである、
請求項1記載のモデルの変形方法。 - 1つの第1の標準モデルに対して複数個の第2の標準モデルが対応付けられている、
請求項2記載のモデルの変形方法。 - 前記第1の標準モデルおよび前記第2の標準モデルが3次元の形状データとして設定されている、
請求項1ないし3のいずれかに記載のモデルの変形方法。 - 標準モデルと計測データとの距離に関連して定義される差分エネルギーが小さくなるよう標準モデルを変形するモデリング装置であって、
第1の標準モデルAiと、前記第1の標準モデルと互いに対応する部分を対応点または対応線によって対応付けられ、前記第1の標準モデルAiと統合される際に従属的に変形させられる第2の標準モデルBjと、を保持するメモリと
前記第1の標準モデルAiと計測データとの間の差分エネルギーが小さくなるよう前記第1の標準モデルAiを変形する手段と、
前記第2の標準モデルBjを、前記第1の標準モデルAi上の変形後の対応点または対応線と前記標準モデルBj上の対応点または対応線との間の差分エネルギーと、前記第2の標準モデルBjと前記計測データとの間の差分エネルギーとの和が小さくなるよう前記第2の標準モデルBjを変形する手段と、
を有してなることを特徴とするモデリング装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000197776A JP4316114B2 (ja) | 2000-06-30 | 2000-06-30 | モデルの変形方法およびモデリング装置 |
US09/893,897 US7123254B2 (en) | 2000-06-30 | 2001-06-29 | Method of and device for modifying standard model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000197776A JP4316114B2 (ja) | 2000-06-30 | 2000-06-30 | モデルの変形方法およびモデリング装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002015338A JP2002015338A (ja) | 2002-01-18 |
JP4316114B2 true JP4316114B2 (ja) | 2009-08-19 |
Family
ID=18696058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000197776A Expired - Fee Related JP4316114B2 (ja) | 2000-06-30 | 2000-06-30 | モデルの変形方法およびモデリング装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4316114B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8130596B2 (en) | 2007-11-26 | 2012-03-06 | Em Microelectronic-Marin S.A. | Electronic circuit controlling the operation of peripheral members of the watch |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1578646A (zh) * | 2001-10-31 | 2005-02-09 | 画像诊断株式会社 | 医疗用模拟装置及在其装置中的三维图像的显示控制方法 |
JP4535811B2 (ja) * | 2004-09-06 | 2010-09-01 | 株式会社山武 | データ処理方法及びプログラム |
JP4736755B2 (ja) * | 2005-11-30 | 2011-07-27 | コニカミノルタエムジー株式会社 | モデリング装置、領域抽出装置、モデリング方法及びプログラム |
US7567251B2 (en) * | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
EP2534613B1 (en) * | 2010-02-10 | 2019-03-27 | Mako Surgical Corp. | Image analysis |
US9530077B2 (en) | 2010-02-10 | 2016-12-27 | Imorphics Limited | Image analysis |
KR101521358B1 (ko) * | 2013-12-26 | 2015-05-19 | 세종대학교산학협력단 | 다중 모델 정합 방법 및 그 장치 |
-
2000
- 2000-06-30 JP JP2000197776A patent/JP4316114B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8130596B2 (en) | 2007-11-26 | 2012-03-06 | Em Microelectronic-Marin S.A. | Electronic circuit controlling the operation of peripheral members of the watch |
Also Published As
Publication number | Publication date |
---|---|
JP2002015338A (ja) | 2002-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
JP5818773B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP3639475B2 (ja) | 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体 | |
JP3954211B2 (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
US20160148411A1 (en) | Method of making a personalized animatable mesh | |
US10467793B2 (en) | Computer implemented method and device | |
JP4419320B2 (ja) | 3次元形状データの生成装置 | |
US9224245B2 (en) | Mesh animation | |
Xi et al. | Analysis of segmented human body scans | |
JP4316114B2 (ja) | モデルの変形方法およびモデリング装置 | |
JP2002015310A (ja) | 点群に面をフィッティングする方法およびモデリング装置 | |
JP4479069B2 (ja) | 形状モデルの生成方法および装置 | |
JP4838411B2 (ja) | 形状モデルの生成方法 | |
US7123254B2 (en) | Method of and device for modifying standard model | |
JP4924747B2 (ja) | 標準モデルの変形方法およびモデリング装置 | |
JP2002015307A (ja) | 形状モデルの生成方法 | |
US20020013683A1 (en) | Method and device for fitting surface to point group, modeling device, and computer program | |
JP4292678B2 (ja) | 点群に面をフィッティングする方法および装置 | |
JP2002032783A (ja) | 3次元モデルの生成方法および装置 | |
JP4174985B2 (ja) | 2つの3次元データの差分の表示装置およびコンピュータプログラム | |
Noh et al. | Retouch transfer for 3D printed face replica with automatic alignment | |
US20220230393A1 (en) | Image processing apparatus that generates model of object, image processing method, and storage medium storing program thereof | |
US20220309733A1 (en) | Surface texturing from multiple cameras | |
Pages et al. | 3D facial merging for virtual human reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090520 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |