JP2000036056A - 画像対応付け方法 - Google Patents
画像対応付け方法Info
- Publication number
- JP2000036056A JP2000036056A JP10220105A JP22010598A JP2000036056A JP 2000036056 A JP2000036056 A JP 2000036056A JP 10220105 A JP10220105 A JP 10220105A JP 22010598 A JP22010598 A JP 22010598A JP 2000036056 A JP2000036056 A JP 2000036056A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- boundary
- input
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】一方の画像を他方の画像へ連続的に変化する一
連の中間的な画像を生成する画像処理において、生成す
る画像のぼやけを極力少なくすることが本発明の課題で
ある。 【解決手段】複数の画像をそれぞれ特徴点に沿って幾つ
かの領域に分割する（４０１０）。次に分割した領域の
境界線上の何点かの対応を外部より入力を受け（４０２
０）、境界線上の他の点の対応は指定した対応情報より
補間する（４０５０）。さらに補間した境界線上の対応
をもとに境界線上以外の点の対応を補間する（４２０
０）。
連の中間的な画像を生成する画像処理において、生成す
る画像のぼやけを極力少なくすることが本発明の課題で
ある。 【解決手段】複数の画像をそれぞれ特徴点に沿って幾つ
かの領域に分割する（４０１０）。次に分割した領域の
境界線上の何点かの対応を外部より入力を受け（４０２
０）、境界線上の他の点の対応は指定した対応情報より
補間する（４０５０）。さらに補間した境界線上の対応
をもとに境界線上以外の点の対応を補間する（４２０
０）。
Description
【０００１】
【発明の属する技術分野】本発明は複数の画像間の対応
付けを行う画像対応付け方法および装置に関するもので
ある。
付けを行う画像対応付け方法および装置に関するもので
ある。
【０００２】
【従来の技術】既知の技術としてモーフィングと呼ばれ
る技術が知られている。モーフィング技術は、複数の画
像の各画素ごとに対応する他の画像の画素（画像間の対
応と呼ぶ）を求め、各画素位置を一方の画像の画素位置
から他方の対応する画像の画素位置へ、また一方の画像
の画素の色から他方の対応する画像の画素の画素の色へ
連続的に変化させることにより、一方の画像を他方の画
像へ連続的に変化する一連の中間的な画像を生成する技
術である。従来のモーフィング技術は、画像間の対応を
求めるのに画像の特徴的な画素(特徴点)を線分で指定
し、他の画素の対応は指定した対応から推定するものが
多い(「Feature-Based Image Metamorphosis」Thaddeus
Beuier, Computer Graphics, 26, 2, July 1992. pp.
35-42 )。画像の特徴点は画像のエッジ(色あるいは濃淡
の変化が大きい部分)である。
る技術が知られている。モーフィング技術は、複数の画
像の各画素ごとに対応する他の画像の画素（画像間の対
応と呼ぶ）を求め、各画素位置を一方の画像の画素位置
から他方の対応する画像の画素位置へ、また一方の画像
の画素の色から他方の対応する画像の画素の画素の色へ
連続的に変化させることにより、一方の画像を他方の画
像へ連続的に変化する一連の中間的な画像を生成する技
術である。従来のモーフィング技術は、画像間の対応を
求めるのに画像の特徴的な画素(特徴点)を線分で指定
し、他の画素の対応は指定した対応から推定するものが
多い(「Feature-Based Image Metamorphosis」Thaddeus
Beuier, Computer Graphics, 26, 2, July 1992. pp.
35-42 )。画像の特徴点は画像のエッジ(色あるいは濃淡
の変化が大きい部分)である。
【０００３】
【発明が解決しようとする課題】従来の画像の対応指定
方法で、曲線をなす一連の特徴点が(顔の輪郭、円周等)
の対応を指定する場合、曲線を複数の線分を用いて指定
する必要がある。この場合、線分上に乗っていない特徴
点についてはその対応を推定することになり、他の画像
の特徴点と対応がずれる可能性がある。一般にモーフィ
ング技術において画像の特徴点が他の画像の特徴点と対
応しないと生成する画像がぼやけることが多い。この生
成画像のぼやけを極力少なくすることが本発明の課題で
ある。
方法で、曲線をなす一連の特徴点が(顔の輪郭、円周等)
の対応を指定する場合、曲線を複数の線分を用いて指定
する必要がある。この場合、線分上に乗っていない特徴
点についてはその対応を推定することになり、他の画像
の特徴点と対応がずれる可能性がある。一般にモーフィ
ング技術において画像の特徴点が他の画像の特徴点と対
応しないと生成する画像がぼやけることが多い。この生
成画像のぼやけを極力少なくすることが本発明の課題で
ある。
【０００４】
【課題を解決するための手段】本発明においては以下の
手段を用いて前記課題を解決する。モーフィングを行う
複数の画像をそれぞれ特徴点に沿って幾つかの領域に分
割する。一般に画像の特徴点（エッジ）に沿って画像分
割は比較的容易に行うことができる。次に分割した領域
の境界線の画像間の対応を指定する。境界線の対応の指
定は、境界線上の何点かの対応をオペレータが入力して
指定し、境界線上の他の点の対応は指定した対応情報よ
り補間する。前記補間方法は、対応を指定した画素を両
端とする境界線に沿った線分を、同一の割合で内分する
点をそれぞれの画像において求め、求めた点が互いに対
応すると仮定し補間する。次に補間した境界線上の対応
をもとに境界線上以外の点の対応を補間する。境界線上
以外の点の対応の補間は、境界線上の任意の２点から構
成する線分を複数仮定し仮定した線分を用いて従来のモ
ーフィング技術で用いられる対応付け方法により求め
る。
手段を用いて前記課題を解決する。モーフィングを行う
複数の画像をそれぞれ特徴点に沿って幾つかの領域に分
割する。一般に画像の特徴点（エッジ）に沿って画像分
割は比較的容易に行うことができる。次に分割した領域
の境界線の画像間の対応を指定する。境界線の対応の指
定は、境界線上の何点かの対応をオペレータが入力して
指定し、境界線上の他の点の対応は指定した対応情報よ
り補間する。前記補間方法は、対応を指定した画素を両
端とする境界線に沿った線分を、同一の割合で内分する
点をそれぞれの画像において求め、求めた点が互いに対
応すると仮定し補間する。次に補間した境界線上の対応
をもとに境界線上以外の点の対応を補間する。境界線上
以外の点の対応の補間は、境界線上の任意の２点から構
成する線分を複数仮定し仮定した線分を用いて従来のモ
ーフィング技術で用いられる対応付け方法により求め
る。
【０００５】以上の構成により、画像の特徴点は他の画
像の特徴点と必ず一致するため画像のぼやけが生じにく
くなる。
像の特徴点と必ず一致するため画像のぼやけが生じにく
くなる。
【０００６】また、本発明には、利用者からの入力を受
ける入力装置と、前記入力装置から入力に応じた処理を
行う処理装置と、前記処理装置での処理に応じた表示を
行う表示装置を有する情報処理装置において、前記処理
装置は、第１の画像および前記第２の画像がその特徴点
に沿ってそれぞれを複数の領域に分割され、前記第１の
画像における前記領域の境界線上の点および前記点とそ
れぞれ対応する前記第２の画像の前記領域の境界線上の
点との対応情報を前記入力装置より受けとり前記第１の
画像の前記領域の境界線上の入力を受けていない点と前
記第２の画像の前記領域の境界線上の入力を受けていな
い点との対応を前記対応情報を用いて推定され、前記推
定した境界線上の対応から前記第１の画像の境界線上以
外の点と前記第２の画像の境界線以外の点との対応付け
を推定された結果に基づいて、前記第１の画像を前記第
２の画像に変形し、前記第１の画像から第２の画像への
変形の過程を前記表示装置に表示させることも含まれ
る。なお、この構成は記憶媒体に格納されたプログラム
で実行されるようにしてもよい。
ける入力装置と、前記入力装置から入力に応じた処理を
行う処理装置と、前記処理装置での処理に応じた表示を
行う表示装置を有する情報処理装置において、前記処理
装置は、第１の画像および前記第２の画像がその特徴点
に沿ってそれぞれを複数の領域に分割され、前記第１の
画像における前記領域の境界線上の点および前記点とそ
れぞれ対応する前記第２の画像の前記領域の境界線上の
点との対応情報を前記入力装置より受けとり前記第１の
画像の前記領域の境界線上の入力を受けていない点と前
記第２の画像の前記領域の境界線上の入力を受けていな
い点との対応を前記対応情報を用いて推定され、前記推
定した境界線上の対応から前記第１の画像の境界線上以
外の点と前記第２の画像の境界線以外の点との対応付け
を推定された結果に基づいて、前記第１の画像を前記第
２の画像に変形し、前記第１の画像から第２の画像への
変形の過程を前記表示装置に表示させることも含まれ
る。なお、この構成は記憶媒体に格納されたプログラム
で実行されるようにしてもよい。
【０００７】
【発明の実施の形態】以下本発明の実施形態について詳
細に述べる。図１は、画像間の対応付けを行う複数の画
像[ｍ]（０≦ｍ＜Ｍ）１０００の具体例を示した図であ
る。ここでＭは定数であり画像の枚数がＭ枚あることを
表す。以下[ ]で示した添え字は添え字を付加したもの
が複数個存在しうることを表す。図１の例は、画像が２
枚の場合(Ｍ＝２)の例であり画像[０]１０００と画像
[１]１０００を示してある。 画像[ｍ]１０００はデジ
タル画像である。デジタル画像とは画像を画素と呼ばれ
る小さな離散的な点に分割し、さらに各画素の濃淡の値
も離散的な値で表した画像である。画像間の対応付けと
は、画像[ｍ]１０００の各画素を画像[ｍ]以外の画像
[ｍ']１０００の画素とを結びつけることである。モー
フィングの技術では、画像[ｍ]１０００の各画素それぞ
れの位置および色を画像[ｍ'] １０００（ｍ≠ｍ'）の
対応する画素の位置と色に連続的に変化させることで画
像[ｍ]１０００から画像[ｍ']に連続的に変化する一連
の画像(中間画像と呼ぶ)を生成することが可能である。
本実施例では以下画素のことを点と呼ぶ。
細に述べる。図１は、画像間の対応付けを行う複数の画
像[ｍ]（０≦ｍ＜Ｍ）１０００の具体例を示した図であ
る。ここでＭは定数であり画像の枚数がＭ枚あることを
表す。以下[ ]で示した添え字は添え字を付加したもの
が複数個存在しうることを表す。図１の例は、画像が２
枚の場合(Ｍ＝２)の例であり画像[０]１０００と画像
[１]１０００を示してある。 画像[ｍ]１０００はデジ
タル画像である。デジタル画像とは画像を画素と呼ばれ
る小さな離散的な点に分割し、さらに各画素の濃淡の値
も離散的な値で表した画像である。画像間の対応付けと
は、画像[ｍ]１０００の各画素を画像[ｍ]以外の画像
[ｍ']１０００の画素とを結びつけることである。モー
フィングの技術では、画像[ｍ]１０００の各画素それぞ
れの位置および色を画像[ｍ'] １０００（ｍ≠ｍ'）の
対応する画素の位置と色に連続的に変化させることで画
像[ｍ]１０００から画像[ｍ']に連続的に変化する一連
の画像(中間画像と呼ぶ)を生成することが可能である。
本実施例では以下画素のことを点と呼ぶ。
【０００８】次に、図５を用いて本発明を実施するシス
テム構成を示す。本発明を実施するシステムは、表示装
置５１００、入力装置５２００、記憶装置５３００、処
理装置５４００をバス５５００で結合し構成する。表示
装置５１００は、例えばディスプレィであり、外部に対
して画像やその他情報を表示する。入力装置５２００
は、例えばキーボードであり、外部からの入力を受け
る。記憶装置５３００は、例えばメモリ・フロッピーデ
ィスク・ＣＤ−ＲＯＭであり、後術する対応指定処理５
３１０を実行するプログラムを保持する。処理装置５４
００は、例えばプロセッサであり後述する対応指定処理
５３１０を実行する。
テム構成を示す。本発明を実施するシステムは、表示装
置５１００、入力装置５２００、記憶装置５３００、処
理装置５４００をバス５５００で結合し構成する。表示
装置５１００は、例えばディスプレィであり、外部に対
して画像やその他情報を表示する。入力装置５２００
は、例えばキーボードであり、外部からの入力を受け
る。記憶装置５３００は、例えばメモリ・フロッピーデ
ィスク・ＣＤ−ＲＯＭであり、後術する対応指定処理５
３１０を実行するプログラムを保持する。処理装置５４
００は、例えばプロセッサであり後述する対応指定処理
５３１０を実行する。
【０００９】次に図４のフローチャートを用いて対応点
指定処理５３１０の詳細を述べる。処理ステップ４０１
０において、それぞれの画像[ｍ]１０００を特徴点に沿
って複数の領域[ｎ]２０００( ０≦ｎ＜Ｎ )に分割す
る。ここで定数Ｎは分割した領域の個数を表す数であ
る。また特徴点は画像[ｍ]１０００のエッジ(色あるい
は濃淡の変化が大きい部分)である。
指定処理５３１０の詳細を述べる。処理ステップ４０１
０において、それぞれの画像[ｍ]１０００を特徴点に沿
って複数の領域[ｎ]２０００( ０≦ｎ＜Ｎ )に分割す
る。ここで定数Ｎは分割した領域の個数を表す数であ
る。また特徴点は画像[ｍ]１０００のエッジ(色あるい
は濃淡の変化が大きい部分)である。
【００１０】また、画像[ｍ]１０００間において対応す
る領域には同一の領域識別子ｎを割り当てる。領域分割
は、古くから研究されている技術であり、例えば濃度差
の少ない画素を同一領域として拡張して領域分割を行う
領域拡張法(コンピュータ画像処理入門 田村 秀行監修
総研出版 )等で実現できる。前記領域識別子の割り当て
は、例えば入力装置５２００により外部からの入力を受
ける。図２に図１の画像[０]１０００と画像[１]１００
０の画像例をそれぞれを、背景、顔、右目、右眼球、左
目、左眼球、鼻、口の８つの領域[ｎ]２０００に分割し
た例を示す。
る領域には同一の領域識別子ｎを割り当てる。領域分割
は、古くから研究されている技術であり、例えば濃度差
の少ない画素を同一領域として拡張して領域分割を行う
領域拡張法(コンピュータ画像処理入門 田村 秀行監修
総研出版 )等で実現できる。前記領域識別子の割り当て
は、例えば入力装置５２００により外部からの入力を受
ける。図２に図１の画像[０]１０００と画像[１]１００
０の画像例をそれぞれを、背景、顔、右目、右眼球、左
目、左眼球、鼻、口の８つの領域[ｎ]２０００に分割し
た例を示す。
【００１１】また例の場合、背景には０の領域識別子を
顔には１の領域識別子を画像[０]１０００と画像[１]１
０００で同一になるように割り当ててある。他の領域
[ｎ]２０００については図中の名前の付加を省略した。
顔には１の領域識別子を画像[０]１０００と画像[１]１
０００で同一になるように割り当ててある。他の領域
[ｎ]２０００については図中の名前の付加を省略した。
【００１２】処理ステップ４０１５において、画像[ｍ]
１０００を表示装置５１００で表示する。処理ステップ
４０２０において、中間点表示数Ｄの値を指定する。中
間点表示数の指定は、入力装置５２００により外部から
の入力を受ける。中間点表示数Ｄの詳細は後述する。
１０００を表示装置５１００で表示する。処理ステップ
４０２０において、中間点表示数Ｄの値を指定する。中
間点表示数の指定は、入力装置５２００により外部から
の入力を受ける。中間点表示数Ｄの詳細は後述する。
【００１３】処理ステップ４０３０において、対応指定
処理の終了要求を受領したか判別し、受領した場合には
処理制御を処理ステップ４２００に移し、受領していな
い場合は処理制御を処理ステップ４０４０に移す。処理
の終了要求は、入力装置５２００により外部からの入力
を受ける。
処理の終了要求を受領したか判別し、受領した場合には
処理制御を処理ステップ４２００に移し、受領していな
い場合は処理制御を処理ステップ４０４０に移す。処理
の終了要求は、入力装置５２００により外部からの入力
を受ける。
【００１４】処理ステップ４０４０において、各画像
[ｍ]１０００ごとに任意の領域[ｎ]２０００の境界線と
交差する対応点指定線[ｐ]３０００を指定する。ここで
画像[ｍ]１０００間において対応する対応点指定線[ｐ]
３０００には同一の対応点識別子ｐを与える。対応点指
定線[ｐ]３０００の指定は、入力装置５２００により外
部からの入力を受ける。また入力を受ける対応点指定線
[ｐ]３０００と対応する他画像[ｍ]１０００の対応指定
線[ｐ]３０００が既に指定されている場合、他画像
[ｍ']１０００の対応指定線[ｐ]３０００およびその対
応指定線[ｐ]３０００から後述する方法で求まる対応点
[ｐ]３１００を他の対応点指定線[ｐ']３０００(ｐ≠
ｐ')および対応点[ｐ']３１００と色あるいは濃度を変
えて区別して表示する。図３の例では図１の画像[０]１
０００と画像[１]１０００に対して４つの対応点指定線
(対応点指定線[０]３０００〜対応点指定線[３]３００
０)を指定している。対応点指定線[２]３０００、対応
点指定線[３]３０００については図中の名前の付加を省
略した。
[ｍ]１０００ごとに任意の領域[ｎ]２０００の境界線と
交差する対応点指定線[ｐ]３０００を指定する。ここで
画像[ｍ]１０００間において対応する対応点指定線[ｐ]
３０００には同一の対応点識別子ｐを与える。対応点指
定線[ｐ]３０００の指定は、入力装置５２００により外
部からの入力を受ける。また入力を受ける対応点指定線
[ｐ]３０００と対応する他画像[ｍ]１０００の対応指定
線[ｐ]３０００が既に指定されている場合、他画像
[ｍ']１０００の対応指定線[ｐ]３０００およびその対
応指定線[ｐ]３０００から後述する方法で求まる対応点
[ｐ]３１００を他の対応点指定線[ｐ']３０００(ｐ≠
ｐ')および対応点[ｐ']３１００と色あるいは濃度を変
えて区別して表示する。図３の例では図１の画像[０]１
０００と画像[１]１０００に対して４つの対応点指定線
(対応点指定線[０]３０００〜対応点指定線[３]３００
０)を指定している。対応点指定線[２]３０００、対応
点指定線[３]３０００については図中の名前の付加を省
略した。
【００１５】処理ステップ４０５０において、各画像
[ｍ]１０００ごとに処理ステップ４０４０で指定した対
応点指定線[ｐ]３０００と領域[ｎ]２０００の境界線と
の交点を求め、求めた前記交点を対応点[ｐ]３１００と
する。画像[ｍ]１０００間において同一の対応点識別子
ｐを持つ対応点[ｐ]３１００は互いに対応する。図３の
例では図１の画像[０]１０００と画像[１]１０００に対
して４つの対応点(対応点[０]３１００〜対応点[３]３
１００)を求めてある。対応点[２]３１００、対応点
[３]３１００については図中の名前の付加を省略した。
本実施の形態では対応点[ｐ]３１００を指定するのに対
応点指定線[ｐ]３０００を用いたが、各画像[ｍ]１００
０内の点を入力装置５２００を用いて入力を受け、入力
を受けた点と画像[ｍ]１０００上での距離が最短となる
領域[ｎ]２０００の境界線上の点を対応点[ｐ]３１００
としても良い。
[ｍ]１０００ごとに処理ステップ４０４０で指定した対
応点指定線[ｐ]３０００と領域[ｎ]２０００の境界線と
の交点を求め、求めた前記交点を対応点[ｐ]３１００と
する。画像[ｍ]１０００間において同一の対応点識別子
ｐを持つ対応点[ｐ]３１００は互いに対応する。図３の
例では図１の画像[０]１０００と画像[１]１０００に対
して４つの対応点(対応点[０]３１００〜対応点[３]３
１００)を求めてある。対応点[２]３１００、対応点
[３]３１００については図中の名前の付加を省略した。
本実施の形態では対応点[ｐ]３１００を指定するのに対
応点指定線[ｐ]３０００を用いたが、各画像[ｍ]１００
０内の点を入力装置５２００を用いて入力を受け、入力
を受けた点と画像[ｍ]１０００上での距離が最短となる
領域[ｎ]２０００の境界線上の点を対応点[ｐ]３１００
としても良い。
【００１６】処理ステップ４０５５において、処理ステ
ップ４０４０で指定した対応点指定線[ｐ]３０００およ
び処理ステップ４０５０で求めた対応点[ｐ]３１００を
表示装置５１００に表示する。
ップ４０４０で指定した対応点指定線[ｐ]３０００およ
び処理ステップ４０５０で求めた対応点[ｐ]３１００を
表示装置５１００に表示する。
【００１７】以下、領域[ｎ]２０００の境界線上に隣り
合う２つの異なる対応点[ｐ]３１００を両端とする領域
[ｎ]２０００の境界線に沿った線分[ｑ]３３００ごとに
処理ステップ４０６０から処理ステップ４１３０までを
繰り返す。図３に対応点[０]３１００および対応点[１]
３１００を端とする線分[０]３３００の例を示す。他の
線分[ｑ]３３００については図中の名前の付加を省略し
た。
合う２つの異なる対応点[ｐ]３１００を両端とする領域
[ｎ]２０００の境界線に沿った線分[ｑ]３３００ごとに
処理ステップ４０６０から処理ステップ４１３０までを
繰り返す。図３に対応点[０]３１００および対応点[１]
３１００を端とする線分[０]３３００の例を示す。他の
線分[ｑ]３３００については図中の名前の付加を省略し
た。
【００１８】処理ステップ４０６０において、各画像
[ｍ]１０００からそれぞれ対応する１組の線分[ｑ]３３
００を選択する。以下処理ステップ４１２０まで線分
[ｑ]３３００と表記した場合、処理ステップ４０６０に
おいて選択した線分を示すものとする。
[ｍ]１０００からそれぞれ対応する１組の線分[ｑ]３３
００を選択する。以下処理ステップ４１２０まで線分
[ｑ]３３００と表記した場合、処理ステップ４０６０に
おいて選択した線分を示すものとする。
【００１９】処理ステップ４０７０において、各画像
[ｍ]１０００から選択した線分[ｑ]３3００の中から長
さが一番長い線分を選択しその長さをＲとする。処理ス
テップ４０８０において、変数ｒに０を代入する。
[ｍ]１０００から選択した線分[ｑ]３3００の中から長
さが一番長い線分を選択しその長さをＲとする。処理ス
テップ４０８０において、変数ｒに０を代入する。
【００２０】処理ステップ４０９０において、各画像
[ｍ]１０００の線分[ｑ]３３００をそれぞれｒ：(Ｒ−
ｒ)に内分する中間点[ｓ]３２００を求め、各画像[ｍ]
１０００の線分[ｑ]３３００の中間点[ｓ]３２００を互
いの対応点と推定する。
[ｍ]１０００の線分[ｑ]３３００をそれぞれｒ：(Ｒ−
ｒ)に内分する中間点[ｓ]３２００を求め、各画像[ｍ]
１０００の線分[ｑ]３３００の中間点[ｓ]３２００を互
いの対応点と推定する。
【００２１】処理ステップ４１００において、変数ｒを
中間点表示数Ｄ＋１で割った余りが０であれば、それぞ
れの画像[ｍ]１０００の中間点[ｓ]３２００を表示装置
５１００を用いて表示する。図３の例は中間点表示数が
２の場合の例であり、中間点[ｓ１]３２００と中間点
[ｓ２]３２００を示してある。他の中間点[ｓ]３２００
については図中の名前の付加を省略した。
中間点表示数Ｄ＋１で割った余りが０であれば、それぞ
れの画像[ｍ]１０００の中間点[ｓ]３２００を表示装置
５１００を用いて表示する。図３の例は中間点表示数が
２の場合の例であり、中間点[ｓ１]３２００と中間点
[ｓ２]３２００を示してある。他の中間点[ｓ]３２００
については図中の名前の付加を省略した。
【００２２】処理ステップ４１１０において変数ｒの値
をｒ＋１に更新する。処理ステップ４１２０において変
数ｒの値が長さＲの値以下かを判別し、以下である場合
には処理制御を処理ステップ４０８０に移し、そうでな
い場合は処理制御処理ステップ４１３０に移す。
をｒ＋１に更新する。処理ステップ４１２０において変
数ｒの値が長さＲの値以下かを判別し、以下である場合
には処理制御を処理ステップ４０８０に移し、そうでな
い場合は処理制御処理ステップ４１３０に移す。
【００２３】処理ステップ４１３０において、各線分
[ｑ]３３００に対して処理が完了したかを判別し、完了
した場合は処理制御を４０３０に移し、完了していない
場合は処理制御を４０６０に移す。
[ｑ]３３００に対して処理が完了したかを判別し、完了
した場合は処理制御を４０３０に移し、完了していない
場合は処理制御を４０６０に移す。
【００２４】処理ステップ４２００において、各画像
[ｍ]１０００の各領域[ｎ]２０００の全ての画像[ｍ]１
０００の全ての領域[ｎ]２０００について境界線上以外
の点の対応点を、処理ステップ４０９０において推定し
た境界線上の点の対応から推定する。具体的な推定方法
として、画像[ｍ]１０００の点Ａの画像[ｍ']１０００
の対応点Ａ'を求める方法について述べる。まず画像
[ｍ]１０００上で前記点Ａに最も近い境界線上の点Ｂを
検索する。ここで点Ｂの画像[ｍ']１０００の対応点は
処理ステップ４０９０において推定されており点Ｂ'だ
ったとする。
[ｍ]１０００の各領域[ｎ]２０００の全ての画像[ｍ]１
０００の全ての領域[ｎ]２０００について境界線上以外
の点の対応点を、処理ステップ４０９０において推定し
た境界線上の点の対応から推定する。具体的な推定方法
として、画像[ｍ]１０００の点Ａの画像[ｍ']１０００
の対応点Ａ'を求める方法について述べる。まず画像
[ｍ]１０００上で前記点Ａに最も近い境界線上の点Ｂを
検索する。ここで点Ｂの画像[ｍ']１０００の対応点は
処理ステップ４０９０において推定されており点Ｂ'だ
ったとする。
【００２５】位置Ａ'を下記通り計算する。位置Ａ' ＝
点Ｂ'の画像[ｍ']１０００上の位置 ― 点Ｂの画像[ｍ]
１０００上の位置 ＋ 点Ａの画像[ｍ]１０００上での位
置を計算する。また、画像[ｍ’］１０００の位置Ａ’
の位置の点を対応点Ａ'とする。図４に示したフローチ
ャートを実行するプログラムは、図５に示した記憶装置
５３００内に対応指定処理５３１０として記憶可能であ
る。
点Ｂ'の画像[ｍ']１０００上の位置 ― 点Ｂの画像[ｍ]
１０００上の位置 ＋ 点Ａの画像[ｍ]１０００上での位
置を計算する。また、画像[ｍ’］１０００の位置Ａ’
の位置の点を対応点Ａ'とする。図４に示したフローチ
ャートを実行するプログラムは、図５に示した記憶装置
５３００内に対応指定処理５３１０として記憶可能であ
る。
【００２６】次に図６を用いて第２の実施例について述
べる。第２の実施例は領域[ｎ]２０００の境界線上の対
応点[ｐ]３１００を自動的に求める方法であり、図４に
示すフローチャートの処理ステップ４０４０から処理ス
テップ４０５５までを図６に示すフローチャートの処理
ステップに置き換える。以下各処理ステップの詳細につ
いて図７の例を用いて述べる。処理ステップ６１００に
おいて、画像[ｍ]１０００内の領域[ｎ]２０００を選択
する。図７の例では、画像[０]１０００の領域[０]２０
００が選択されたとする。処理ステップ６２００におい
て、処理ステップ６１００で選択した領域[ｎ]２０００
の境界線において他のエッジと交差あるいは接触点[ｔ]
７１００を見つけ、見つけた点[ｔ]７１００を対応点
[ｐ]３１００とする。図７の例では、エッジと接する点
として対応点[０]３１００が選択されている。
べる。第２の実施例は領域[ｎ]２０００の境界線上の対
応点[ｐ]３１００を自動的に求める方法であり、図４に
示すフローチャートの処理ステップ４０４０から処理ス
テップ４０５５までを図６に示すフローチャートの処理
ステップに置き換える。以下各処理ステップの詳細につ
いて図７の例を用いて述べる。処理ステップ６１００に
おいて、画像[ｍ]１０００内の領域[ｎ]２０００を選択
する。図７の例では、画像[０]１０００の領域[０]２０
００が選択されたとする。処理ステップ６２００におい
て、処理ステップ６１００で選択した領域[ｎ]２０００
の境界線において他のエッジと交差あるいは接触点[ｔ]
７１００を見つけ、見つけた点[ｔ]７１００を対応点
[ｐ]３１００とする。図７の例では、エッジと接する点
として対応点[０]３１００が選択されている。
【００２７】処理ステップ６３００において、類似度最
小値Ｕに後述する類似度計算式で求めうる最大値より大
きい値を代入する。類似度最小値Ｕは、画像[ｍ]１００
０内の対応点[ｐ]３１００と対応する可能性が最も高い
画像[ｍ']１０００（画像[ｍ]１０００と異なる画像）
内の領域[ｎ]２０００の境界線上の点を判別するのに使
用する変数である。処理ステップ６４００において、画
像[ｍ']１０００内の領域[ｎ]２０００の境界線上にお
いて他のエッジと交差あるいは接触する点[t']を見つけ
る。処理ステップ６５００において、点[ｔ]と点[ｔ']
の類似度ｕを求める。点[ｔ]においてエッジにより分断
された色をそれぞれ色[ｕ１]、色[ｕ２]さらに点[ｔ']
においてエッジにより分断された色を色[ｖ１]、色[ｖ
２]とすると、類似度ｕは例えば次の類似度の計算式で
求まる。
小値Ｕに後述する類似度計算式で求めうる最大値より大
きい値を代入する。類似度最小値Ｕは、画像[ｍ]１００
０内の対応点[ｐ]３１００と対応する可能性が最も高い
画像[ｍ']１０００（画像[ｍ]１０００と異なる画像）
内の領域[ｎ]２０００の境界線上の点を判別するのに使
用する変数である。処理ステップ６４００において、画
像[ｍ']１０００内の領域[ｎ]２０００の境界線上にお
いて他のエッジと交差あるいは接触する点[t']を見つけ
る。処理ステップ６５００において、点[ｔ]と点[ｔ']
の類似度ｕを求める。点[ｔ]においてエッジにより分断
された色をそれぞれ色[ｕ１]、色[ｕ２]さらに点[ｔ']
においてエッジにより分断された色を色[ｖ１]、色[ｖ
２]とすると、類似度ｕは例えば次の類似度の計算式で
求まる。
【００２８】ｕ ＝ ＭＩＮ（|色[ｕ１]―色[ｖ１]|＋|
色[ｕ２]―色[ｖ２]|，|色[ｕ２]―色[ｖ１]|＋|色[ｕ
１]―色[ｖ２]|） ここで ＭＩＮ（Ａ，Ｂ）は Ａ，Ｂのうち小さい値を返
す関数である。｜｜絶対値を表す。色の差分は色空間
（例えばＲＧＢ空間）における距離である。
色[ｕ２]―色[ｖ２]|，|色[ｕ２]―色[ｖ１]|＋|色[ｕ
１]―色[ｖ２]|） ここで ＭＩＮ（Ａ，Ｂ）は Ａ，Ｂのうち小さい値を返
す関数である。｜｜絶対値を表す。色の差分は色空間
（例えばＲＧＢ空間）における距離である。
【００２９】処理ステップ６６００において類似度uが
類似度最小値Ｕよりも小さい場合には処理制御を処理ス
テップ６７００に、そうでない場合は６８００に移す。
類似度最小値Ｕよりも小さい場合には処理制御を処理ス
テップ６７００に、そうでない場合は６８００に移す。
【００３０】処理ステップ６７００において、点[ｔ']
７１００を画像[ｍ]１０００内の対応点[ｐ]３１００(
=点[ｔ] ７１００)との対応する画像[ｍ']１０００内の
対応点[ｐ]３１００に更新する。さらに類似度最小値Ｕ
に類似度ｕの値を代入する。処理ステップ６８００にお
いて画像[ｍ']１０００の領域[ｎ]２０００の境界線上
の他のエッジと交差・接触する各点に対して処理が完了
したか判別し、完了した場合は処理制御を処理ステップ
６９００に移し、完了していない場合は処理制御を６４
００に移す。図７の例では、画像[1]１０００内の点
[０]７１００、点[１]７１００、点[２]７１００のそれ
ぞれに対して画像[０]内の対応点[０]３１００との類似
度ｕが計算され、その中で類似度ｕが最小の値を取る点
[０]が画像[１]における対応点[０]３１００であると判
断される。処理ステップ６９００において画像[ｍ]１０
００の領域[ｎ]２０００の境界線上の他のエッジと交差
・接触する各点に対して処理が完了したか判別し、完了
した場合は処理制御を処理ステップ６９５０に移し、完
了していない場合は処理制御を６２００に移す。処理ス
テップ６９５０において、画像[ｍ]１０００内の各領域
に対して処理が完了したか判別し、完了した場合は境界
線上の対応点指定処理を終了し、完了していない場合は
処理制御を６１００に移す。なお、図６に示したフロー
チャートは、図４と同様に記憶装置５３００に格納され
たプログラムにおいて実現可能である。
７１００を画像[ｍ]１０００内の対応点[ｐ]３１００(
=点[ｔ] ７１００)との対応する画像[ｍ']１０００内の
対応点[ｐ]３１００に更新する。さらに類似度最小値Ｕ
に類似度ｕの値を代入する。処理ステップ６８００にお
いて画像[ｍ']１０００の領域[ｎ]２０００の境界線上
の他のエッジと交差・接触する各点に対して処理が完了
したか判別し、完了した場合は処理制御を処理ステップ
６９００に移し、完了していない場合は処理制御を６４
００に移す。図７の例では、画像[1]１０００内の点
[０]７１００、点[１]７１００、点[２]７１００のそれ
ぞれに対して画像[０]内の対応点[０]３１００との類似
度ｕが計算され、その中で類似度ｕが最小の値を取る点
[０]が画像[１]における対応点[０]３１００であると判
断される。処理ステップ６９００において画像[ｍ]１０
００の領域[ｎ]２０００の境界線上の他のエッジと交差
・接触する各点に対して処理が完了したか判別し、完了
した場合は処理制御を処理ステップ６９５０に移し、完
了していない場合は処理制御を６２００に移す。処理ス
テップ６９５０において、画像[ｍ]１０００内の各領域
に対して処理が完了したか判別し、完了した場合は境界
線上の対応点指定処理を終了し、完了していない場合は
処理制御を６１００に移す。なお、図６に示したフロー
チャートは、図４と同様に記憶装置５３００に格納され
たプログラムにおいて実現可能である。
【００３１】第３の実施例は、図６に示した境界線上対
応点自動指定処理を、図４のフローチャート内の処理ス
テップ４０２０と処理ステップ４０３０の間に挿入する
ことで、境界線上の対応点の指定を自動に行う方法と手
動で行う方法を組み合わせた方法である。この方法も記
憶装置５３００に格納されたプログラムで実行可能であ
る。
応点自動指定処理を、図４のフローチャート内の処理ス
テップ４０２０と処理ステップ４０３０の間に挿入する
ことで、境界線上の対応点の指定を自動に行う方法と手
動で行う方法を組み合わせた方法である。この方法も記
憶装置５３００に格納されたプログラムで実行可能であ
る。
【００３２】
【発明の効果】一般にモーフィング技術において生成す
る画像にぼやけが生じる原因は各画像[ｍ]１０００の特
徴点が互いに対応しないことに起因することが多い。本
発明によれば、各画像[ｍ]１０００のそれぞれの特徴点
が必ず他の画像の特徴点と対応する対応付けを行う。よ
って本発明の方法により、合成する画像のぼやけを生じ
にくくすることが可能である。
る画像にぼやけが生じる原因は各画像[ｍ]１０００の特
徴点が互いに対応しないことに起因することが多い。本
発明によれば、各画像[ｍ]１０００のそれぞれの特徴点
が必ず他の画像の特徴点と対応する対応付けを行う。よ
って本発明の方法により、合成する画像のぼやけを生じ
にくくすることが可能である。
【図１】画像例を示した図。
【図２】画像を領域分割した図。
【図３】対応点・中間点・線分を示した図。
【図４】本発明の第１の実施例を実施するフローチャー
トを示した図。
トを示した図。
【図５】本発明を実施するシステムの構成図。
【図６】領域の境界線上の対応点を自動的に求める方法
を示すフローチャート
を示すフローチャート
【図７】図６のフローチャートで求められる対応点を示
す図。
す図。
１０００…画像[０]、[１]、 ２０００…領域
[０]、[１]、３０００…対応点指定線[０]、[１]、３１
００…対応点[０]、[１]、３２００…中心点[ｓ０]、
[ｓ１]、 ３３００…線分[０]、[１］
[０]、[１]、３０００…対応点指定線[０]、[１]、３１
００…対応点[０]、[１]、３２００…中心点[ｓ０]、
[ｓ１]、 ３３００…線分[０]、[１］
フロントページの続き (72)発明者 加藤 誠 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 Ｆターム(参考） 5B050 BA08 CA07 EA06 EA09 EA18 EA24 FA02 FA09 5L096 BA08 CA25 EA33 FA06 FA14 FA15 FA73 HA01
Claims (11)
- 【請求項１】第１の画像内の各部分それぞれを第２の画
像の各部分に関連付ける画像対応付け方法において、 画像の特徴点に沿って前記第１の画像および前記第２の
画像をそれぞれを複数の領域に分割する分割処理ステッ
プと、 前記第１の画像における前記領域の境界線上の点および
前記点とそれぞれ対応する前記第２の画像の前記領域の
境界線上の点との対応情報を外部より入力を受ける対応
点入力処理ステップと、 前記第１の画像の前記領域の境界線上の入力を受けてい
ない点と前記第２の画像の前記領域の境界線上の入力を
受けていない点との対応を前記対応情報を用いて推定す
る境界対応推定処理ステップと、 前記推定した境界線上の対応から前記第１の画像の境界
線上以外の点と前記第２の画像の境界線以外の点との対
応付けを推定する対応推定処理ステップとを有すること
を特徴とする画像対応付け方法。 - 【請求項２】請求項１に記載の画像対応付け方法におい
て、 前記画像の特徴点は、画像の濃度および色の不連続部分
のうち、少なくとも一方であることを特徴とする画像対
応付け方法。 - 【請求項３】請求項１または２に記載の画像対応付け方
法において、 前記対応点入力処理ステップでの境界線上の対応点の指
定は、 前記領域の境界線と交わる線分の入力を受ける処理ステ
ップと、 前記線分と前記領域の境界線の交点を求める処理ステッ
プと、 求めた交点を対応点とする処理ステップとを有すること
を特徴とする画像対応付け方法。 - 【請求項４】請求項１または２に記載の画像対応付け方
法において、 前記対応点入力処理ステップでの境界線上の対応点を指
定は、 前記第１の画像と前記第２の画像内の点の入力を受ける
処理ステップと、 前記領域の境界線上の点で前記入力を受けた点と最も近
い点を求める処理ステップと、 求めた点を対応点とする処理ステップとを有することを
特徴とする画像対応付け方法。 - 【請求項５】請求項１または２に記載の画像対応付け方
法において、 前記対応点入力処理ステップでの境界線上の対応点を入
力は、 前記第１の画像および前記第２の画像のうちいずれか一
方の対応点である第１の対応点を入力する時に、前記第
１の対応点と対応し前記第１の対応点が存在しない画像
中の第２の対応点の入力を既に受けている場合には、前
記第２の対応点を他の対応点と区別して表示することを
特徴とする画像対応付け方法。 - 【請求項６】請求項１に記載の画像対応付け方法におい
て、 前記境界対応推定処理ステップで推定した前記領域の境
界線上の対応点の一部を表示することを特徴とする画像
対応付け方法。 - 【請求項７】請求項１に記載の画像対応付け方法におい
て、 前記対応点入力処理ステップは、前記第１の画像の境界
線上の点と前記第２の画像の境界線上の点の対応する点
を対応点とする入力を受け、 前記境界対応推定処理ステップは、それぞれの対応点か
らの距離に基づいて、他の対応点を推定することを特徴
とする画像対応付け方法。 - 【請求項８】請求項１に記載の画像対応付け方法におい
て、 前記境界対応推定処理ステップは、前記第１の画像の境
界線上の点と前記第２の画像の境界線上の点のうち、共
通する特徴を有する点を対応点として推定することを特
徴とする画像対応付け方法。 - 【請求項９】コンピュータに第１の画像内の各部分それ
ぞれを第２の画像の各部分に関連付け、以下のステップ
を有する画像対応付け方法を実行させるコンピュータ読
み取り可能な記憶媒体、 画像の特徴点に沿って前記第１の画像および前記第２の
画像をそれぞれを複数の領域に分割する分割処理ステッ
プと、 前記第１の画像における前記領域の境界線上の点および
前記点とそれぞれ対応する前記第２の画像の前記領域の
境界線上の点との対応情報を外部より入力を受ける対応
点入力処理ステップと、 前記第１の画像の前記領域の境界線上の入力を受けてい
ない点と前記第２の画像の前記領域の境界線上の入力を
受けていない点との対応を前記対応情報を用いて推定す
る境界対応推定処理ステップと、 前記推定した境界線上の対応から前記第１の画像の境界
線上以外の点と前記第２の画像の境界線以外の点との対
応付けを推定する対応推定処理ステップとを有する。 - 【請求項１０】利用者からの入力を受ける入力装置と、
前記入力装置から入力に応じた処理を行う処理装置と、
前記処理装置での処理に応じた表示を行う表示装置を有
する情報処理装置において、 前記処理装置は、前記表示装置に表示された第１の画像
および前記第２の画像を、その特徴点に沿ってそれぞれ
を複数の領域に分割し、前記第１の画像における前記領
域の境界線上の点および前記点とそれぞれ対応する前記
第２の画像の前記領域の境界線上の点との対応情報を前
記入力装置より受けとり、前記第１の画像の前記領域の
境界線上の入力を受けていない点と前記第２の画像の前
記領域の境界線上の入力を受けていない点との対応を前
記対応情報を用いて推定し、前記推定した境界線上の対
応から前記第１の画像の境界線上以外の点と前記第２の
画像の境界線以外の点との対応付けを推定することを特
徴とする情報処理装置。 - 【請求項１１】利用者からの入力を受ける入力装置と、
前記入力装置から入力に応じた処理を行う処理装置と、
前記処理装置での処理に応じた表示を行う表示装置を有
する情報処理装置において、 前記処理装置は、 第１の画像および前記第２の画像がその特徴点に沿って
それぞれを複数の領域に分割され、前記第１の画像にお
ける前記領域の境界線上の点および前記点とそれぞれ対
応する前記第２の画像の前記領域の境界線上の点との対
応情報を前記入力装置より受けとり前記第１の画像の前
記領域の境界線上の入力を受けていない点と前記第２の
画像の前記領域の境界線上の入力を受けていない点との
対応を前記対応情報を用いて推定され、前記推定した境
界線上の対応から前記第１の画像の境界線上以外の点と
前記第２の画像の境界線以外の点との対応付けを推定さ
れた結果に基づいて、前記第１の画像を前記第２の画像
に変形し、 前記第１の画像から第２の画像への変形の過程を前記表
示装置に表示させることを特徴とする情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22010598A JP3887961B2 (ja) | 1998-05-11 | 1998-08-04 | 画像対応付け方法、コンピュータに画像対応付け方法を実行させるコンピュータ読み取り可能な記憶媒体及び情報処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-127078 | 1998-05-11 | ||
| JP12707898 | 1998-05-11 | ||
| JP22010598A JP3887961B2 (ja) | 1998-05-11 | 1998-08-04 | 画像対応付け方法、コンピュータに画像対応付け方法を実行させるコンピュータ読み取り可能な記憶媒体及び情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000036056A true JP2000036056A (ja) | 2000-02-02 |
| JP3887961B2 JP3887961B2 (ja) | 2007-02-28 |
Family
ID=26463111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22010598A Expired - Fee Related JP3887961B2 (ja) | 1998-05-11 | 1998-08-04 | 画像対応付け方法、コンピュータに画像対応付け方法を実行させるコンピュータ読み取り可能な記憶媒体及び情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3887961B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006053929A (ja) * | 2004-08-13 | 2006-02-23 | Microsoft Corp | 平面形状モーフィングのための知覚に基づくアプローチ |
| WO2006057267A1 (ja) * | 2004-11-25 | 2006-06-01 | Nec Corporation | 顔画像合成方法および顔画像合成装置 |
-
1998
- 1998-08-04 JP JP22010598A patent/JP3887961B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006053929A (ja) * | 2004-08-13 | 2006-02-23 | Microsoft Corp | 平面形状モーフィングのための知覚に基づくアプローチ |
| WO2006057267A1 (ja) * | 2004-11-25 | 2006-06-01 | Nec Corporation | 顔画像合成方法および顔画像合成装置 |
| JPWO2006057267A1 (ja) * | 2004-11-25 | 2008-08-07 | 日本電気株式会社 | 顔画像合成方法および顔画像合成装置 |
| US7876320B2 (en) | 2004-11-25 | 2011-01-25 | Nec Corporation | Face image synthesis method and face image synthesis apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3887961B2 (ja) | 2007-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4845715B2 (ja) | 画像処理方法、画像処理装置、プログラム、及び記憶媒体 | |
| JP3935500B2 (ja) | 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置 | |
| JP2776295B2 (ja) | 画像インデックス生成方法及び画像インデックス生成装置 | |
| JP2000182038A (ja) | 歪まされた情報からの遠近法的矯正デ―タの生成方法及びこれに用いる装置並びにコンピュ―タプログラム製品 | |
| US20120229501A1 (en) | Method and a Computer System for Displaying and Selecting Images | |
| JP2002123842A (ja) | 立体視画像生成装置および情報記憶媒体 | |
| CN110738598A (zh) | 图像适配方法、电子设备及存储介质 | |
| JP2000036056A (ja) | 画像対応付け方法 | |
| JP2000348206A (ja) | 画像生成装置および画像優先度決定方法 | |
| JP3584179B2 (ja) | 画像処理方法、画像処理装置及び記憶媒体 | |
| JPH10111946A (ja) | 画像追跡装置 | |
| KR20050056175A (ko) | 재귀적 제어선 정합을 이용한 반자동 필드 기반 영상 변형방법 | |
| JP2004054898A (ja) | 印刷データ生成装置、印刷データ生成方法およびそのプログラム | |
| JP4708866B2 (ja) | ルックアップテーブル作成装置および方法，ならびにルックアップテーブル作成プログラム | |
| JPH07334648A (ja) | 画像処理方法及びその装置 | |
| JP4926877B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
| JP2011053456A (ja) | 画像表示方法、プログラム、画像表示装置、及び、この画像表示装置を有する撮像装置 | |
| JP2005196444A (ja) | 画像データ処理装置、画像データ処理方法及びそのプログラム | |
| CN111626935B (zh) | 像素图缩放方法、游戏内容生成方法及装置 | |
| JP3199009B2 (ja) | 画像蓄積・管理装置及び画像インデックス生成方法 | |
| JPH07332970A (ja) | 画像処理方式 | |
| JP2001016470A (ja) | 画像処理装置 | |
| US20030187893A1 (en) | Method of data interpolation with bi-switch slope control scaling | |
| JPH06208368A (ja) | 画像表示倍率設定装置 | |
| JP2001195560A (ja) | 画像位置調整方法およびそのための装置、並びに前記画像位置調整方法を実現するためのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060417 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061120 |
|
| LAPS | Cancellation because of no payment of annual fees |