JP2001084395A - ３次元データの合成方法及び装置 - Google Patents
３次元データの合成方法及び装置Info
- Publication number
- JP2001084395A JP2001084395A JP25685899A JP25685899A JP2001084395A JP 2001084395 A JP2001084395 A JP 2001084395A JP 25685899 A JP25685899 A JP 25685899A JP 25685899 A JP25685899 A JP 25685899A JP 2001084395 A JP2001084395 A JP 2001084395A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional data
- shape
- texture
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】テクスチャの付与された複数の３次元データを
１つの３次元データに合成する際に、合成によって形状
が変形した場合においても破綻の少ないテクスチャ効果
を得ること。 【解決手段】境界表現方式で形状表現され且つテクスチ
ャの付与された複数の３次元データを１つの３次元デー
タに合成する方法であって、複数の３次元データＤ１
Ａ，Ｄ１Ｂを、境界表現方式の形状表現から、ボリュー
ムを構成する複数のボクセルの特徴量を用いたボリュー
ム方式の形状表現に変換し、その際にボクセルの特徴量
にテクスチャの属性を付与し、３次元局所フィルタＦＴ
を適用することによりボクセルの特徴量を混合し、複数
の３次元データを統合する。統合された３次元データを
境界表現方式の形状表現に逆変換する。
１つの３次元データに合成する際に、合成によって形状
が変形した場合においても破綻の少ないテクスチャ効果
を得ること。 【解決手段】境界表現方式で形状表現され且つテクスチ
ャの付与された複数の３次元データを１つの３次元デー
タに合成する方法であって、複数の３次元データＤ１
Ａ，Ｄ１Ｂを、境界表現方式の形状表現から、ボリュー
ムを構成する複数のボクセルの特徴量を用いたボリュー
ム方式の形状表現に変換し、その際にボクセルの特徴量
にテクスチャの属性を付与し、３次元局所フィルタＦＴ
を適用することによりボクセルの特徴量を混合し、複数
の３次元データを統合する。統合された３次元データを
境界表現方式の形状表現に逆変換する。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の３次元デー
タを合成して１つの形状及びテクスチャ画像を表す３次
元データを合成する方法及び装置に関する。
タを合成して１つの形状及びテクスチャ画像を表す３次
元データを合成する方法及び装置に関する。
【０００２】
【従来の技術】従来より、光切断法によって物体の３次
元データを非接触で計測する３次元計測装置がしばしば
用いられる。このような３次元計測装置を用いる場合に
は、１つの物体に対し、計測方向を変えて複数回にわた
って計測を行い、物体の全周についての複数の３次元デ
ータ（ポリゴンデータ）を取得する。そして、取得した
複数の３次元データを繋ぎ合わせることよって、物体の
全体についての１つの３次元データを合成する。
元データを非接触で計測する３次元計測装置がしばしば
用いられる。このような３次元計測装置を用いる場合に
は、１つの物体に対し、計測方向を変えて複数回にわた
って計測を行い、物体の全周についての複数の３次元デ
ータ（ポリゴンデータ）を取得する。そして、取得した
複数の３次元データを繋ぎ合わせることよって、物体の
全体についての１つの３次元データを合成する。
【０００３】また、物体を計測することに代えて、ＣＧ
によって作成した３次元データをつなぎ合わせて合成す
る手法もある。このように、１つの物体についての複数
の部分データから物体の全体形状を示す１つの３次元デ
ータを合成する手法として、ポリゴンデータをそのまま
処理する手法が一般的に用いられている。ポリゴン処理
による形状合成（形状統合）の手法を示す例として、
「Zippered Polygon Meshes from Range Images 」（Gr
egTurk and Marc Levoy, In Proceedings of ACM SIGGR
APH '94, PP. 311-318. ACM Press, 1994) がある。そ
こには、ポリゴンジッピング（Polygon Zipping)と呼称
される方法で位置合わせを行った後にポリゴンメッシュ
のつなぎ合わせを行う方法が提示されている。
によって作成した３次元データをつなぎ合わせて合成す
る手法もある。このように、１つの物体についての複数
の部分データから物体の全体形状を示す１つの３次元デ
ータを合成する手法として、ポリゴンデータをそのまま
処理する手法が一般的に用いられている。ポリゴン処理
による形状合成（形状統合）の手法を示す例として、
「Zippered Polygon Meshes from Range Images 」（Gr
egTurk and Marc Levoy, In Proceedings of ACM SIGGR
APH '94, PP. 311-318. ACM Press, 1994) がある。そ
こには、ポリゴンジッピング（Polygon Zipping)と呼称
される方法で位置合わせを行った後にポリゴンメッシュ
のつなぎ合わせを行う方法が提示されている。
【０００４】また、メタボールと呼称される３次元形状
の表現法がある。これは、点電荷を参考にしたポテンシ
ャル場を人手で関数定義して点ポテンシャルの位置を調
整したり、ポテンシャルの強度（大きさ）を制御をして
モデリング手段とする方法である。これについて、「分
布関数による物体モデリングと画像生成」（電子通信学
会論文誌 ８５／４，Ｖｏｌ．Ｊ６８−Ｄ４．）が参考
となる。しかし、一般的なポリゴンなどの既存の形状を
それに該当するポテンシャルを構成する関数定義に変換
する方法が提示されていないので、人為的形状操作の容
易でないモデリング技法という評価が一般的である。
の表現法がある。これは、点電荷を参考にしたポテンシ
ャル場を人手で関数定義して点ポテンシャルの位置を調
整したり、ポテンシャルの強度（大きさ）を制御をして
モデリング手段とする方法である。これについて、「分
布関数による物体モデリングと画像生成」（電子通信学
会論文誌 ８５／４，Ｖｏｌ．Ｊ６８−Ｄ４．）が参考
となる。しかし、一般的なポリゴンなどの既存の形状を
それに該当するポテンシャルを構成する関数定義に変換
する方法が提示されていないので、人為的形状操作の容
易でないモデリング技法という評価が一般的である。
【０００５】また、ポリゴンデータ（ポリゴンメッシュ
データ）などのような境界表現方式の形状表現から、ボ
リュームを構成する複数のボクセルの特徴量を用いた形
状表現に変換し、ボクセルの特徴量を混合することによ
って複数の３次元データを統合する方法が、ボリューム
方式として提案されている〔「A Volumetric Methodfor
Building Complex Models from Range Images 」 Brai
n Curless and MarcLevoy, Stanford University, In P
roceedings of ACM SIGGRAPH '96, PP. 303-312. ACM P
ress, 1996) 〕。
データ）などのような境界表現方式の形状表現から、ボ
リュームを構成する複数のボクセルの特徴量を用いた形
状表現に変換し、ボクセルの特徴量を混合することによ
って複数の３次元データを統合する方法が、ボリューム
方式として提案されている〔「A Volumetric Methodfor
Building Complex Models from Range Images 」 Brai
n Curless and MarcLevoy, Stanford University, In P
roceedings of ACM SIGGRAPH '96, PP. 303-312. ACM P
ress, 1996) 〕。
【０００６】ボリューム方式の合成方法によると、ポリ
ゴンデータの状態のままで合成する場合と比べて、デー
タの接続部分の連結が滑らかに行われ、処理時間も短縮
される。
ゴンデータの状態のままで合成する場合と比べて、デー
タの接続部分の連結が滑らかに行われ、処理時間も短縮
される。
【０００７】ところが、３次元データにテクスチャ画像
が付与されている場合において、ボリューム方式による
とテクスチャ画像に対しては何らの処理を行わない。し
たがって、その場合には、ボリューム方式によって３次
元データを合成した後に、合成処理とは全く別個に、合
成された３次元データに対してテクスチャ画像を投影す
ることとなる。
が付与されている場合において、ボリューム方式による
とテクスチャ画像に対しては何らの処理を行わない。し
たがって、その場合には、ボリューム方式によって３次
元データを合成した後に、合成処理とは全く別個に、合
成された３次元データに対してテクスチャ画像を投影す
ることとなる。
【０００８】
【発明が解決しようとする課題】したがって、従来にお
いては、元の形状から変形されているかも知れない３次
元データに対して、テクスチャ画像を投影することとな
り、その結果、テクスチャ画像が歪んでしまう可能性が
大きい。
いては、元の形状から変形されているかも知れない３次
元データに対して、テクスチャ画像を投影することとな
り、その結果、テクスチャ画像が歪んでしまう可能性が
大きい。
【０００９】すなわち、３次元データの合成が行われる
と、各３次元データの周辺部分が統合されるので、周辺
部分の形状が変形し易い。形状が変形すると、そこに投
影されるテクスチャ画像がずれた位置に投影されること
となり、その結果、テクスチャ画像も変形してしまう。
と、各３次元データの周辺部分が統合されるので、周辺
部分の形状が変形し易い。形状が変形すると、そこに投
影されるテクスチャ画像がずれた位置に投影されること
となり、その結果、テクスチャ画像も変形してしまう。
【００１０】例えば、図８において、テクスチャ画像付
きに２つの３次元データＤＡ，ＤＢをボリューム方式に
よって合成する場合を想定する。この場合に、３次元デ
ータＤＡ，ＤＢの合成によって３次元データＤＣが生成
される。元の３次元データＤＡ上の点Ｐ２は、合成によ
って３次元データＤＣ上の点Ｐ３に移動する。
きに２つの３次元データＤＡ，ＤＢをボリューム方式に
よって合成する場合を想定する。この場合に、３次元デ
ータＤＡ，ＤＢの合成によって３次元データＤＣが生成
される。元の３次元データＤＡ上の点Ｐ２は、合成によ
って３次元データＤＣ上の点Ｐ３に移動する。
【００１１】ところが、合成後の３次元データＤＣにテ
クスチャ画像を投影する際に、テクスチャ画像は観測方
向に沿って投影されるから、図８に示すように、３次元
データＤＣの点Ｐ３上へは、元の３次元データＤＡの点
Ｐ１上のテクスチャ画像が投影されることとなる。つま
り、３次元データＤＣ上の点Ｐ３に対しては、本来投影
されるべきテクスチャ画像とは異なったものが投影され
ることとなる。その結果、３次元データＤＣに投影され
るテクスチャ画像が歪み、テクスチャ効果の破綻が大き
くなる。
クスチャ画像を投影する際に、テクスチャ画像は観測方
向に沿って投影されるから、図８に示すように、３次元
データＤＣの点Ｐ３上へは、元の３次元データＤＡの点
Ｐ１上のテクスチャ画像が投影されることとなる。つま
り、３次元データＤＣ上の点Ｐ３に対しては、本来投影
されるべきテクスチャ画像とは異なったものが投影され
ることとなる。その結果、３次元データＤＣに投影され
るテクスチャ画像が歪み、テクスチャ効果の破綻が大き
くなる。
【００１２】本発明は、上述の問題に鑑みてなされたも
ので、テクスチャの付与された複数の３次元データを１
つの３次元データに合成する際に、ボクセルの特徴量に
テクスチャの属性を付与することにより、合成によって
形状が変形した場合においても破綻の少ないテクスチャ
効果を得ることを目的とする。
ので、テクスチャの付与された複数の３次元データを１
つの３次元データに合成する際に、ボクセルの特徴量に
テクスチャの属性を付与することにより、合成によって
形状が変形した場合においても破綻の少ないテクスチャ
効果を得ることを目的とする。
【００１３】
【課題を解決するための手段】請求項１の発明に係る方
法は、境界表現方式で形状表現され且つテクスチャの付
与された複数の３次元データを１つの３次元データに合
成する方法であって、前記複数の３次元データを、境界
表現方式の形状表現から、ボリュームを構成する複数の
ボクセルの特徴量を用いたボリューム方式の形状表現に
変換し、その際に前記ボクセルの特徴量に前記テクスチ
ャの属性を付与し、前記ボクセルの特徴量を混合するこ
とによって前記複数の３次元データを統合し、統合され
た３次元データを境界表現方式の形状表現に逆変換す
る。
法は、境界表現方式で形状表現され且つテクスチャの付
与された複数の３次元データを１つの３次元データに合
成する方法であって、前記複数の３次元データを、境界
表現方式の形状表現から、ボリュームを構成する複数の
ボクセルの特徴量を用いたボリューム方式の形状表現に
変換し、その際に前記ボクセルの特徴量に前記テクスチ
ャの属性を付与し、前記ボクセルの特徴量を混合するこ
とによって前記複数の３次元データを統合し、統合され
た３次元データを境界表現方式の形状表現に逆変換す
る。
【００１４】請求項２の発明に係る方法は、前記統合さ
れた３次元データが格納されたボクセルと位置を同じく
する３次元データのボクセルに付与されたテクスチャ属
性に対して、３次元局所フィルタを適用する。
れた３次元データが格納されたボクセルと位置を同じく
する３次元データのボクセルに付与されたテクスチャ属
性に対して、３次元局所フィルタを適用する。
【００１５】請求項３の発明に係る装置は、境界表現方
式で形状表現され且つテクスチャの付与された複数の３
次元データを１つの３次元データに合成する装置であっ
て、前記複数の３次元データを、境界表現方式の形状表
現から、ボリュームを構成する複数のボクセルの特徴量
を用いたボリューム方式の形状表現に変換し、且つ前記
ボクセルの特徴量に前記テクスチャの属性を付与する手
段と、前記ボクセルの特徴量を混合することによって前
記複数の３次元データを統合する手段と、統合された３
次元データを境界表現方式の形状表現に逆変換する手段
と、を有してなる。
式で形状表現され且つテクスチャの付与された複数の３
次元データを１つの３次元データに合成する装置であっ
て、前記複数の３次元データを、境界表現方式の形状表
現から、ボリュームを構成する複数のボクセルの特徴量
を用いたボリューム方式の形状表現に変換し、且つ前記
ボクセルの特徴量に前記テクスチャの属性を付与する手
段と、前記ボクセルの特徴量を混合することによって前
記複数の３次元データを統合する手段と、統合された３
次元データを境界表現方式の形状表現に逆変換する手段
と、を有してなる。
【００１６】
【発明の実施の形態】図１は本実施形態に係る３次元デ
ータ合成装置１のブロック図である。図１において、３
次元データ合成装置１は、処理装置１１、ディスプレィ
装置１２、キーボード１３、マウス１４、及び媒体ドラ
イブ装置１５などからなる。処理装置１１は、プログラ
ム及びデータを格納したハードディスク装置及び主メモ
リ、外部機器との間の種々のインタフェース、その他の
種々の機器又は回路を備えており、ＯＳの下でプログラ
ムを実行してその処理結果をディスプレィ装置１２の表
示面に表示し又は外部へ出力する。
ータ合成装置１のブロック図である。図１において、３
次元データ合成装置１は、処理装置１１、ディスプレィ
装置１２、キーボード１３、マウス１４、及び媒体ドラ
イブ装置１５などからなる。処理装置１１は、プログラ
ム及びデータを格納したハードディスク装置及び主メモ
リ、外部機器との間の種々のインタフェース、その他の
種々の機器又は回路を備えており、ＯＳの下でプログラ
ムを実行してその処理結果をディスプレィ装置１２の表
示面に表示し又は外部へ出力する。
【００１７】媒体ドライブ装置１５は、ＣＤ−ＲＯＭ、
フロッピー（登録商標）ディスク、又は光磁気ディスク
など、そこにセットされる記録媒体にアクセスしてデー
タ又はプログラムを読み出し又は書き込む。以下に説明
する３次元データの合成方法を実行するためのプログラ
ムは、ハードディスク装置又は記録媒体に格納され、主
メモリ上に適時ローディングされ、処理装置によって実
行される。このような３次元データ合成装置１は、例え
ばパーソナルコンピュータ、ワークステーション、又は
汎用コンピュータを用いて実現される。
フロッピー（登録商標）ディスク、又は光磁気ディスク
など、そこにセットされる記録媒体にアクセスしてデー
タ又はプログラムを読み出し又は書き込む。以下に説明
する３次元データの合成方法を実行するためのプログラ
ムは、ハードディスク装置又は記録媒体に格納され、主
メモリ上に適時ローディングされ、処理装置によって実
行される。このような３次元データ合成装置１は、例え
ばパーソナルコンピュータ、ワークステーション、又は
汎用コンピュータを用いて実現される。
【００１８】また、処理装置１１には、被写体である種
々の物体を撮影してその３次元データＤ１を入力するた
めの３次元入力装置（３次元計測装置）３が接続されて
いる。
々の物体を撮影してその３次元データＤ１を入力するた
めの３次元入力装置（３次元計測装置）３が接続されて
いる。
【００１９】３次元入力装置３は、例えば光切断法によ
って物体の３次元データＤ１を非接触で計測する。ま
た、３次元入力装置３から、３次元データＤ１ではな
く、３次元データＤ１を生成するための元となるデータ
を出力し、処理装置１１によって３次元データＤ１を演
算によって求めてもよい。また、処理装置１１におい
て、ＣＧ又はＣＡＤによって３次元データを作成するこ
とが可能であり、これら種々の３次元データを合成する
ことにより、元の物体とは別の形状を容易に創り出すこ
とができる。
って物体の３次元データＤ１を非接触で計測する。ま
た、３次元入力装置３から、３次元データＤ１ではな
く、３次元データＤ１を生成するための元となるデータ
を出力し、処理装置１１によって３次元データＤ１を演
算によって求めてもよい。また、処理装置１１におい
て、ＣＧ又はＣＡＤによって３次元データを作成するこ
とが可能であり、これら種々の３次元データを合成する
ことにより、元の物体とは別の形状を容易に創り出すこ
とができる。
【００２０】３次元入力装置３は、３次元データのテク
スチャ画像として用いるために、物体についての２次元
画像を撮影して出力することができる。撮影によって得
られたテクスチャ画像は、３次元入力装置３の内部で、
又は処理装置１１において、３次元データＤ１に貼り付
けられ、テクスチャ画像付きの３次元データＤ１が得ら
れる。
スチャ画像として用いるために、物体についての２次元
画像を撮影して出力することができる。撮影によって得
られたテクスチャ画像は、３次元入力装置３の内部で、
又は処理装置１１において、３次元データＤ１に貼り付
けられ、テクスチャ画像付きの３次元データＤ１が得ら
れる。
【００２１】処理装置１１において、テクスチャ画像付
きの３次元データを合成するに当たり、それらを境界表
現方式の形状表現からボリューム（Ｖｏｌｕｍｅ）を構
成する複数のボクセル（Ｖｏｘｅｌ）の特徴量を用いた
ボリューム方式の形状表現に変換する。その際に、ボク
セルの特徴量にテクスチャの属性を付与する。そして、
ボクセルの特徴量を混合することによって、複数の３次
元データを統合する。その後、統合された３次元データ
を境界表現方式の形状表現に逆変換し、これを出力す
る。詳細は後述する。
きの３次元データを合成するに当たり、それらを境界表
現方式の形状表現からボリューム（Ｖｏｌｕｍｅ）を構
成する複数のボクセル（Ｖｏｘｅｌ）の特徴量を用いた
ボリューム方式の形状表現に変換する。その際に、ボク
セルの特徴量にテクスチャの属性を付与する。そして、
ボクセルの特徴量を混合することによって、複数の３次
元データを統合する。その後、統合された３次元データ
を境界表現方式の形状表現に逆変換し、これを出力す
る。詳細は後述する。
【００２２】次に、テクスチャ付き３次元データの合成
処理についてさらに詳しく説明する。まず、テクスチャ
属性の合成処理を距離ポテンシャルの合成と同じように
して行う場合について説明する。
処理についてさらに詳しく説明する。まず、テクスチャ
属性の合成処理を距離ポテンシャルの合成と同じように
して行う場合について説明する。
【００２３】図２は合成処理を示すフローチャートであ
る。図２において、テクスチャ付きの複数の３次元デー
タを入力し（＃１１）、入力した３次元データを互いに
位置合わせする（＃１２）。位置合わせの行われた３次
元データについて、それぞれの形状情報を距離ポテンシ
ャルに変換して各ボクセルに格納するとともに（＃１
３）、境界表面のテクスチャ属性をサンプリングしてそ
の属性値を各ボクセルに格納する（＃１４）。距離ポテ
ンシャル及び属性値をボリューム方式によって合成し
（＃１５）、合成された距離ポテンシャル及び属性値を
境界表現に逆変換する（＃１６）。
る。図２において、テクスチャ付きの複数の３次元デー
タを入力し（＃１１）、入力した３次元データを互いに
位置合わせする（＃１２）。位置合わせの行われた３次
元データについて、それぞれの形状情報を距離ポテンシ
ャルに変換して各ボクセルに格納するとともに（＃１
３）、境界表面のテクスチャ属性をサンプリングしてそ
の属性値を各ボクセルに格納する（＃１４）。距離ポテ
ンシャル及び属性値をボリューム方式によって合成し
（＃１５）、合成された距離ポテンシャル及び属性値を
境界表現に逆変換する（＃１６）。
【００２４】このように、本実施形態においては、ボク
セルに対して、元の３次元データの形状情報（距離情
報）のみでなく、テクスチャ属性（テクスチャ情報）を
もその特徴量として与える。テクスチャ属性として、例
えば、表面の色を表すカラー情報、表面の凹凸の状態を
表すバンプ、及び透明性を表すトランスパレンシーマッ
ピングなどがある。テクスチャ属性は、３次元データの
面の部分つまり境界部分についてのみ与えられ、面でな
い部分についてはテクスチャ属性は定義されない。
セルに対して、元の３次元データの形状情報（距離情
報）のみでなく、テクスチャ属性（テクスチャ情報）を
もその特徴量として与える。テクスチャ属性として、例
えば、表面の色を表すカラー情報、表面の凹凸の状態を
表すバンプ、及び透明性を表すトランスパレンシーマッ
ピングなどがある。テクスチャ属性は、３次元データの
面の部分つまり境界部分についてのみ与えられ、面でな
い部分についてはテクスチャ属性は定義されない。
【００２５】例えば、テクスチャ属性がカラー情報であ
る場合に、カラー情報の属性値は、赤、緑、青の３原色
の量ｒ，ｇ，ｂで表されるから、距離ポテンシャルをｄ
として、各ボクセルの特徴量は（ｄ，ｒ，ｇ，ｂ）によ
って表される。
る場合に、カラー情報の属性値は、赤、緑、青の３原色
の量ｒ，ｇ，ｂで表されるから、距離ポテンシャルをｄ
として、各ボクセルの特徴量は（ｄ，ｒ，ｇ，ｂ）によ
って表される。
【００２６】そして、ボリューム方式による合成処理を
行う際に、距離ポテンシャルとともにテクスチャ属性を
も合成する。これによって、合成により形状が変形した
場合でも、それに対するテクスチャ画像のずれを軽減す
ることができ、テクスチャ効果の低下が抑えられる。
行う際に、距離ポテンシャルとともにテクスチャ属性を
も合成する。これによって、合成により形状が変形した
場合でも、それに対するテクスチャ画像のずれを軽減す
ることができ、テクスチャ効果の低下が抑えられる。
【００２７】次に、テクスチャ属性の合成を局所フィル
タを用いて行う場合について説明する。図３は他の実施
形態の合成処理を示すフローチャート、図４は局所フィ
ルタの適用の様子を示す図である。
タを用いて行う場合について説明する。図３は他の実施
形態の合成処理を示すフローチャート、図４は局所フィ
ルタの適用の様子を示す図である。
【００２８】図３において、テクスチャ付きの複数の３
次元データを入力し（＃２１）、入力した３次元データ
を互いに位置合わせする（＃２２）。位置合わせの行わ
れた３次元データについて、それぞれの形状情報を距離
ポテンシャルに変換して各ボクセルに格納するとともに
（＃２３）、境界表面のテクスチャ属性をサンプリング
してその属性値を各ボクセルに格納する（＃２４）。
次元データを入力し（＃２１）、入力した３次元データ
を互いに位置合わせする（＃２２）。位置合わせの行わ
れた３次元データについて、それぞれの形状情報を距離
ポテンシャルに変換して各ボクセルに格納するとともに
（＃２３）、境界表面のテクスチャ属性をサンプリング
してその属性値を各ボクセルに格納する（＃２４）。
【００２９】ステップ＃２５において、境界部分のボク
セルを選択する。この処理に際して、距離ポテンシャル
を合成して形状統合を行い、その結果に対して等値面抽
出法を適用して境界表現に変換し、境界部分に座標を持
つボクセルをしきい値処理などによって選択する。
セルを選択する。この処理に際して、距離ポテンシャル
を合成して形状統合を行い、その結果に対して等値面抽
出法を適用して境界表現に変換し、境界部分に座標を持
つボクセルをしきい値処理などによって選択する。
【００３０】そして、図４に示すように、境界部分のボ
クセルに注目し、合成前のボクセルの属性値に局所フィ
ルタＦＴを適用して、その結果を合成後のボクセルに格
納する（＃２６）。すなわち、ステップ＃２５で選択さ
れたボクセルに注目し、ステップ＃２４で得た属性値つ
まり元の３次元データのテクスチャ画素を処理対象とし
て、３次元的な局所フィルタＦＴを適用し、合成後にお
ける各ボクセルの属性値を決定する。なお、この場合の
局所フィルタＦＴのパラメータは適宜調整可能である。
クセルに注目し、合成前のボクセルの属性値に局所フィ
ルタＦＴを適用して、その結果を合成後のボクセルに格
納する（＃２６）。すなわち、ステップ＃２５で選択さ
れたボクセルに注目し、ステップ＃２４で得た属性値つ
まり元の３次元データのテクスチャ画素を処理対象とし
て、３次元的な局所フィルタＦＴを適用し、合成後にお
ける各ボクセルの属性値を決定する。なお、この場合の
局所フィルタＦＴのパラメータは適宜調整可能である。
【００３１】ステップ＃２５で行われた形状統合後の境
界表現に、ステップ＃２６で得られた属性値を投影し、
その点の属性値とする（＃２７）。そして、合成された
距離ポテンシャル及び属性値を境界表現に逆変換する
（＃２８）。
界表現に、ステップ＃２６で得られた属性値を投影し、
その点の属性値とする（＃２７）。そして、合成された
距離ポテンシャル及び属性値を境界表現に逆変換する
（＃２８）。
【００３２】すなわち、図３に示す実施形態では、３次
元データの境界領域に対して局所フィルタＦＴを適用
し、これによってテクスチャ属性を合成する。局所フィ
ルタＦＴは、例えば、５×５×５、９×９×９、１２×
１２×１２、その他の種々のサイズの３次元の空間フィ
ルタである。局所フィルタＦＴとして、例えば、平均化
処理フィルタ又はメディアン（中間値）フィルタなどが
用いられる。
元データの境界領域に対して局所フィルタＦＴを適用
し、これによってテクスチャ属性を合成する。局所フィ
ルタＦＴは、例えば、５×５×５、９×９×９、１２×
１２×１２、その他の種々のサイズの３次元の空間フィ
ルタである。局所フィルタＦＴとして、例えば、平均化
処理フィルタ又はメディアン（中間値）フィルタなどが
用いられる。
【００３３】図４で示されるように、境界部分に局所フ
ィルタＦＴを適用することによって、局所フィルタＦＴ
内の属性値が合成後の形状に沿って混ぜ合わされる。例
えば、上に述べた例のように、各ボクセルの特徴量が
（ｄ，ｒ，ｇ，ｂ）で表される場合に、局所フィルタＦ
Ｔとして平均化処理フィルタを用いると、それぞれの要
素についての平均値が中央の注目ボクセルの特徴量の要
素となる。
ィルタＦＴを適用することによって、局所フィルタＦＴ
内の属性値が合成後の形状に沿って混ぜ合わされる。例
えば、上に述べた例のように、各ボクセルの特徴量が
（ｄ，ｒ，ｇ，ｂ）で表される場合に、局所フィルタＦ
Ｔとして平均化処理フィルタを用いると、それぞれの要
素についての平均値が中央の注目ボクセルの特徴量の要
素となる。
【００３４】したがって、合成後の３次元データＤ３上
の点Ｐ３は、合成前の３次元データＤ１Ａの点Ｐ１に近
い部分のテクスチャ属性のみでなく、本来的に受け継ぐ
べき点Ｐ２をも含めた周辺部分全体のテクスチャ属性を
受け継ぐこととなる。
の点Ｐ３は、合成前の３次元データＤ１Ａの点Ｐ１に近
い部分のテクスチャ属性のみでなく、本来的に受け継ぐ
べき点Ｐ２をも含めた周辺部分全体のテクスチャ属性を
受け継ぐこととなる。
【００３５】これによって、テクスチャ属性の接合が滑
らかに行われ、形状に対するテクスチャ画像のずれを軽
減してテクスチャ効果の低下を効果的に抑えることがで
きる。
らかに行われ、形状に対するテクスチャ画像のずれを軽
減してテクスチャ効果の低下を効果的に抑えることがで
きる。
【００３６】ここで、ボリューム方式の形状表現につい
て、図６及び図７を参照して説明する。ボリューム方式
では、３次元空間を、ｘ，ｙ，ｚの各方向に小さな単位
の格子に分割し、この単位格子によって構成される小さ
な立方体状のボクセルを用いて形状を表現する。例え
ば、図６（Ａ）に示す四角錐状の物体Ｑ１を、図６
（Ｂ）に示す多数のボクセルＢＸを用いて表現する。
て、図６及び図７を参照して説明する。ボリューム方式
では、３次元空間を、ｘ，ｙ，ｚの各方向に小さな単位
の格子に分割し、この単位格子によって構成される小さ
な立方体状のボクセルを用いて形状を表現する。例え
ば、図６（Ａ）に示す四角錐状の物体Ｑ１を、図６
（Ｂ）に示す多数のボクセルＢＸを用いて表現する。
【００３７】一般に、各ボクセルには何らかの属性値
（特徴量）が付与されている場合が多い。属性値に基づ
いて、適用用途に応じたデータ処理が行われる。このよ
うなボクセルを用いたデータ表現は、従来において医用
工学の分野でのＣＴ（Computer Tomography ）による人
体などの内部構造の可視化手法としてしばしば用いられ
る。
（特徴量）が付与されている場合が多い。属性値に基づ
いて、適用用途に応じたデータ処理が行われる。このよ
うなボクセルを用いたデータ表現は、従来において医用
工学の分野でのＣＴ（Computer Tomography ）による人
体などの内部構造の可視化手法としてしばしば用いられ
る。
【００３８】本実施形態に関するボリューム方式の形状
処理においては、ボクセル群に格納される属性を、ポリ
ゴンデータなどの３次元データから導出することの可能
な属性としている。これにより、ボリューム方式の形状
処理は、３次元データの処理における中間的な手段とし
て位置付けることできる。
処理においては、ボクセル群に格納される属性を、ポリ
ゴンデータなどの３次元データから導出することの可能
な属性としている。これにより、ボリューム方式の形状
処理は、３次元データの処理における中間的な手段とし
て位置付けることできる。
【００３９】例えば、図６の例では、各ボクセルにおい
て、ポリゴンデータで規定されるポリゴンからの距離に
相当するポテンシャル値を計算する。例えば、ポテンシ
ャル値を距離値と等しくする。ボクセルＢＸ、視点Ｖ
Ｐ、及びポリゴンデータＰＭが、図７に示す位置関係に
あるとする。視点ＶＰは、例えば３次元入力装置３の設
置位置である。視点ＶＰの向きが観測の方向、つまり視
線ＶＬである。
て、ポリゴンデータで規定されるポリゴンからの距離に
相当するポテンシャル値を計算する。例えば、ポテンシ
ャル値を距離値と等しくする。ボクセルＢＸ、視点Ｖ
Ｐ、及びポリゴンデータＰＭが、図７に示す位置関係に
あるとする。視点ＶＰは、例えば３次元入力装置３の設
置位置である。視点ＶＰの向きが観測の方向、つまり視
線ＶＬである。
【００４０】視線ＶＬ上において、ボクセルＢＸから１
つのポリゴンＰＧの点ｘまでの距離ｄｘに基づいて、ポ
テンシャル値を決定する。このとき、ポリゴンＰＧに対
してボクセルＢＸが視点ＶＰの側にある場合は、ポテン
シャル値の符号は負となり、視点ＶＰの反対側にある場
合は正となるのが一般的である。
つのポリゴンＰＧの点ｘまでの距離ｄｘに基づいて、ポ
テンシャル値を決定する。このとき、ポリゴンＰＧに対
してボクセルＢＸが視点ＶＰの側にある場合は、ポテン
シャル値の符号は負となり、視点ＶＰの反対側にある場
合は正となるのが一般的である。
【００４１】ポテンシャル値の計算は、多視点から得ら
れた複数のポリゴンデータＰＭのそれぞれに対して行わ
れる。したがって、通常、各ボクセルに対応して複数の
ポテンシャル値が得られることになる。
れた複数のポリゴンデータＰＭのそれぞれに対して行わ
れる。したがって、通常、各ボクセルに対応して複数の
ポテンシャル値が得られることになる。
【００４２】これら複数のポテンシャル値の合計値が、
各ボクセルの加算ポテンシャル値となる。このように、
ポテンシャル値を付与されたボクセル群が空間的に分布
することから、ボリュームは距離ポテンシャル場と見な
すことができる。
各ボクセルの加算ポテンシャル値となる。このように、
ポテンシャル値を付与されたボクセル群が空間的に分布
することから、ボリュームは距離ポテンシャル場と見な
すことができる。
【００４３】そして、各ボクセルの加算ポテンシャル値
に基づいて、マーチンキューブ法（Marching Cubes
法) などの手法を用い、再度ポリゴンデータを生成する
ことができる。
に基づいて、マーチンキューブ法（Marching Cubes
法) などの手法を用い、再度ポリゴンデータを生成する
ことができる。
【００４４】次に、ボリューム方式による合成（形状統
合）について、図５を参照して説明する。図５におい
て、枠Ａ及び枠Ｂ内のそれぞれの左側に示すように、２
つの３次元データＤ１ａ，Ｄ２ａが入力される。２つの
３次元データＤ１ａ，Ｄ２ａは、それぞれ太線で示す部
分が互いに重複する部分である。
合）について、図５を参照して説明する。図５におい
て、枠Ａ及び枠Ｂ内のそれぞれの左側に示すように、２
つの３次元データＤ１ａ，Ｄ２ａが入力される。２つの
３次元データＤ１ａ，Ｄ２ａは、それぞれ太線で示す部
分が互いに重複する部分である。
【００４５】これら３次元データＤ１ａ，Ｄ２ａは、そ
れぞれの枠内の右側に示すようにポテンシャル化を行
う。ポテンシャル化によって、３次元形状が距離ポテン
シャル（距離関数）により表現されることとなる。距離
ポテンシャルとは、物体の表面の位置が視点から見てど
こにあるかを相対的に示すための概念である。
れぞれの枠内の右側に示すようにポテンシャル化を行
う。ポテンシャル化によって、３次元形状が距離ポテン
シャル（距離関数）により表現されることとなる。距離
ポテンシャルとは、物体の表面の位置が視点から見てど
こにあるかを相対的に示すための概念である。
【００４６】枠Ｃ内の左側には、ポテンシャル化された
３次元データＤ１ａ，Ｄ２ａ、つまり距離ポテンシャル
により表現されたデータを、それぞれの重複部分が互い
に一致するように配置した状態が示されている。距離ポ
テンシャルによる表現では、物体を視点からポテンシャ
ル方向に見ている。この例では、３つのデータのうち、
中央のデータＤ２ｂのポテンシャル値を「０」とし、そ
れよりも所定距離だけ視点に近づいた位置のポテンシャ
ル値を「−０．５」とし、所定距離だけ視点から離れた
位置のポテンシャル値を「＋０．５」としている。した
がって、ポテンシャル方向は図に矢印で示す方向であ
る。
３次元データＤ１ａ，Ｄ２ａ、つまり距離ポテンシャル
により表現されたデータを、それぞれの重複部分が互い
に一致するように配置した状態が示されている。距離ポ
テンシャルによる表現では、物体を視点からポテンシャ
ル方向に見ている。この例では、３つのデータのうち、
中央のデータＤ２ｂのポテンシャル値を「０」とし、そ
れよりも所定距離だけ視点に近づいた位置のポテンシャ
ル値を「−０．５」とし、所定距離だけ視点から離れた
位置のポテンシャル値を「＋０．５」としている。した
がって、ポテンシャル方向は図に矢印で示す方向であ
る。
【００４７】なお、ポテンシャル値は、形状表面の処理
のために必要と考えられる近傍の点、例えば近傍の全て
のボクセルにおいて算出される。ポテンシャル値が「−
０．５」の空間上の点を結んだものがポテンシャル値
「−０．５」の等高線となり、ポテンシャル値が「＋
０．５」の空間上の点を結んだものがポテンシャル値
「＋０．５」の等高線となる。
のために必要と考えられる近傍の点、例えば近傍の全て
のボクセルにおいて算出される。ポテンシャル値が「−
０．５」の空間上の点を結んだものがポテンシャル値
「−０．５」の等高線となり、ポテンシャル値が「＋
０．５」の空間上の点を結んだものがポテンシャル値
「＋０．５」の等高線となる。
【００４８】枠Ｃ内の右側には、ポテンシャル表現され
たデータを、ポテンシャル値（距離値）の加算などによ
る混合演算によって統合した状態が示されている。この
ような統合のための手法として、従来の技術の項で述べ
たような種々の公知の手法を用いることができる。
たデータを、ポテンシャル値（距離値）の加算などによ
る混合演算によって統合した状態が示されている。この
ような統合のための手法として、従来の技術の項で述べ
たような種々の公知の手法を用いることができる。
【００４９】このように、３次元データをポテンシャル
化することにより、例えばポリゴンデータのような境界
表現方式で形状表現されていた境界部分、つまり物体の
表面形状を、ボクセルで表現することができる。そし
て、複数の３次元データを合成するに当たり、データの
接続部分の連結が滑らかに行われ、処理時間も短縮でき
るなどの効果がある。
化することにより、例えばポリゴンデータのような境界
表現方式で形状表現されていた境界部分、つまり物体の
表面形状を、ボクセルで表現することができる。そし
て、複数の３次元データを合成するに当たり、データの
接続部分の連結が滑らかに行われ、処理時間も短縮でき
るなどの効果がある。
【００５０】そして、枠Ｃ内の右側のデータに上で述べ
たマーチンキューブ法などの公知の等値面抽出法を適用
することにより、ポテンシャル値が「０」の形状データ
Ｄ２ｃを抽出し、境界表現方式の形状表現に逆変換す
る。これによって、ボクセル表現からポリゴン表現に戻
し、枠Ｄに示す３次元データＤ３ａが生成される。な
お、マーチンキューブ法については、ＵＳＰ４７１０８
７６に詳しい。
たマーチンキューブ法などの公知の等値面抽出法を適用
することにより、ポテンシャル値が「０」の形状データ
Ｄ２ｃを抽出し、境界表現方式の形状表現に逆変換す
る。これによって、ボクセル表現からポリゴン表現に戻
し、枠Ｄに示す３次元データＤ３ａが生成される。な
お、マーチンキューブ法については、ＵＳＰ４７１０８
７６に詳しい。
【００５１】上に述べたように、本実施形態の３次元デ
ータ合成装置１によると、境界部分に局所フィルタＦＴ
を適用することによって、属性値が合成後の形状に沿っ
て混ぜ合わされる。これによって、形状に対するテクス
チャ画像のずれが軽減される。また、ボリューム方式の
処理自体が比較的単純であるため、演算処理がコスト的
に有利となる。ボクセルを処理単位としているので、画
像処理の画素間並列性に相当するボクセル間の並列処理
などを行うことによって、さらなる高速化を図ることが
可能である。
ータ合成装置１によると、境界部分に局所フィルタＦＴ
を適用することによって、属性値が合成後の形状に沿っ
て混ぜ合わされる。これによって、形状に対するテクス
チャ画像のずれが軽減される。また、ボリューム方式の
処理自体が比較的単純であるため、演算処理がコスト的
に有利となる。ボクセルを処理単位としているので、画
像処理の画素間並列性に相当するボクセル間の並列処理
などを行うことによって、さらなる高速化を図ることが
可能である。
【００５２】
【発明の効果】本発明によると、テクスチャの付与され
た複数の３次元データを１つの３次元データに合成する
際に、ボクセルの特徴量にテクスチャの属性を付与する
ことにより、合成によって形状が変形した場合において
も破綻の少ないテクスチャ効果を得ることができる。
た複数の３次元データを１つの３次元データに合成する
際に、ボクセルの特徴量にテクスチャの属性を付与する
ことにより、合成によって形状が変形した場合において
も破綻の少ないテクスチャ効果を得ることができる。
【図１】本実施形態に係る３次元データ合成装置のブロ
ック図である。
ック図である。
【図２】合成処理を示すフローチャートである。
【図３】他の実施形態の合成処理を示すフローチャート
である。
である。
【図４】局所フィルタの適用の様子を示す図である。
【図５】ボリューム方式による形状統合を説明するため
の図である。
の図である。
【図６】ボリューム方式の形状表現を説明するための図
である。
である。
【図７】ボリューム方式における距離ポテンシャルの算
出方法を説明するための図である。
出方法を説明するための図である。
【図８】従来におけるテクスチャ処理の問題点を説明す
るための図である。
るための図である。
１ ３次元データ合成装置 ３ ３次元入力装置 １１ 処理装置 Ｄ１，Ｄ１Ａ，Ｄ１Ｂ ３次元データ ＢＸ ボクセル ＦＴ 局所フィルタ（３次元局所フィルタ）
Claims (3)
- 【請求項１】境界表現方式で形状表現され且つテクスチ
ャの付与された複数の３次元データを１つの３次元デー
タに合成する方法であって、 前記複数の３次元データを、境界表現方式の形状表現か
ら、ボリュームを構成する複数のボクセルの特徴量を用
いたボリューム方式の形状表現に変換し、その際に前記
ボクセルの特徴量に前記テクスチャの属性を付与し、 前記ボクセルの特徴量を混合することによって前記複数
の３次元データを統合し、 統合された３次元データを境界表現方式の形状表現に逆
変換する、 ことを特徴とする３次元データの合成方法。 - 【請求項２】前記統合された３次元データが格納された
ボクセルと位置を同じくする３次元データのボクセルに
付与されたテクスチャ属性に対して、３次元局所フィル
タを適用する、 請求項１記載の３次元データの合成方法。 - 【請求項３】境界表現方式で形状表現され且つテクスチ
ャの付与された複数の３次元データを１つの３次元デー
タに合成する装置であって、 前記複数の３次元データを、境界表現方式の形状表現か
ら、ボリュームを構成する複数のボクセルの特徴量を用
いたボリューム方式の形状表現に変換し、且つ前記ボク
セルの特徴量に前記テクスチャの属性を付与する手段
と、 前記ボクセルの特徴量を混合することによって前記複数
の３次元データを統合する手段と、 統合された３次元データを境界表現方式の形状表現に逆
変換する手段と、 を有してなることを特徴とする３次元データの合成装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25685899A JP4292645B2 (ja) | 1999-09-10 | 1999-09-10 | ３次元データの合成方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25685899A JP4292645B2 (ja) | 1999-09-10 | 1999-09-10 | ３次元データの合成方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001084395A true JP2001084395A (ja) | 2001-03-30 |
| JP4292645B2 JP4292645B2 (ja) | 2009-07-08 |
Family
ID=17298404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25685899A Expired - Fee Related JP4292645B2 (ja) | 1999-09-10 | 1999-09-10 | ３次元データの合成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4292645B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7315643B2 (en) | 2002-03-12 | 2008-01-01 | Nec Corporation | Three-dimensional shape measurement technique |
| EP3404626A1 (en) | 2017-05-15 | 2018-11-21 | Fuji Xerox Co., Ltd | Editing device for three-dimensional shape data, three-dimensional shape data editing program, and method for editing three-dimensional shape data |
| EP3407305A1 (en) | 2017-05-24 | 2018-11-28 | Fuji Xerox Co., Ltd | Editing device for three-dimensional shape data, program, and method |
| US20210049826A1 (en) * | 2019-08-15 | 2021-02-18 | Fuji Xerox Co., Ltd. | Three-dimensional shape data editing apparatus and non-transitory computer readable medium storing three-dimensional shape data editing program |
-
1999
- 1999-09-10 JP JP25685899A patent/JP4292645B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7315643B2 (en) | 2002-03-12 | 2008-01-01 | Nec Corporation | Three-dimensional shape measurement technique |
| EP3404626A1 (en) | 2017-05-15 | 2018-11-21 | Fuji Xerox Co., Ltd | Editing device for three-dimensional shape data, three-dimensional shape data editing program, and method for editing three-dimensional shape data |
| CN108876892A (zh) * | 2017-05-15 | 2018-11-23 | 富士施乐株式会社 | 用于三维形状数据的编辑装置和编辑三维形状数据的方法 |
| JP2018194951A (ja) * | 2017-05-15 | 2018-12-06 | 富士ゼロックス株式会社 | 三次元形状データの編集装置、及び三次元形状データの編集プログラム |
| US10672194B2 (en) | 2017-05-15 | 2020-06-02 | Fuji Xerox Co., Ltd. | Editing device for three-dimensional shape data, and non-transitory computer readable medium storing three-dimensional shape-data editing program |
| JP2021101399A (ja) * | 2017-05-15 | 2021-07-08 | 富士フイルムビジネスイノベーション株式会社 | 三次元形状データの編集装置、及び三次元形状データの編集プログラム |
| EP3407305A1 (en) | 2017-05-24 | 2018-11-28 | Fuji Xerox Co., Ltd | Editing device for three-dimensional shape data, program, and method |
| US10593123B2 (en) | 2017-05-24 | 2020-03-17 | Fuji Xerox Co., Ltd. | Editing device for three-dimensional shape data, and non-transitory computer readable medium storing three-dimensional shape-data editing program |
| US20210049826A1 (en) * | 2019-08-15 | 2021-02-18 | Fuji Xerox Co., Ltd. | Three-dimensional shape data editing apparatus and non-transitory computer readable medium storing three-dimensional shape data editing program |
| US11928786B2 (en) | 2019-08-15 | 2024-03-12 | Fujifilm Business Innovation Corp. | Three-dimensional shape data editing apparatus and non-transitory computer readable medium storing three-dimensional shape data editing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4292645B2 (ja) | 2009-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Newcombe et al. | Live dense reconstruction with a single moving camera | |
| JP5120926B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Kumar et al. | Monocular dense 3d reconstruction of a complex dynamic scene from two perspective frames | |
| Lawonn et al. | A survey of surface‐based illustrative rendering for visualization | |
| JPH05174129A (ja) | ３次元モデルを映像化するためのモデリング装置 | |
| US9367943B2 (en) | Seamless fracture in a production pipeline | |
| EP1775685B1 (en) | Information processing device and program | |
| KR20160088902A (ko) | 3d 프린팅을 위한 다각형들의 볼륨 렌더링 | |
| Schafhitzel et al. | Point-based stream surfaces and path surfaces | |
| CN112530005B (zh) | 一种三维模型直线结构识别与自动修复方法 | |
| Li et al. | Chameleon: An interactive texture-based rendering framework for visualizing three-dimensional vector fields | |
| Xu et al. | Scalable image-based indoor scene rendering with reflections | |
| Chen et al. | Interactive shape metamorphosis | |
| Petkov et al. | Interactive visibility retargeting in vr using conformal visualization | |
| Nguyen et al. | Geometry completion and detail generation by texture synthesis | |
| Pajarola et al. | DMesh: Fast depth-image meshing and warping | |
| JP4292645B2 (ja) | ３次元データの合成方法及び装置 | |
| RU2467395C1 (ru) | Способ создания изображений трехмерных объектов для систем реального времени | |
| CN106408644A (zh) | 三维控制笼构造方法 | |
| JP2001084403A (ja) | ３次元データの合成方法及び装置 | |
| Stewart et al. | Rebuilding the visible man | |
| Shah et al. | GPU-accelerated post-processing and animated volume rendering of isogeometric analysis results | |
| Chen et al. | A quality controllable multi-view object reconstruction method for 3D imaging systems | |
| Preston et al. | Animation using NURBS | |
| Carnielli et al. | Fast digital perspective shell rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |