JP2002216133A - 画像処理システム、及び感覚情報処理システム - Google Patents

画像処理システム、及び感覚情報処理システム

Info

Publication number
JP2002216133A
JP2002216133A JP2001013316A JP2001013316A JP2002216133A JP 2002216133 A JP2002216133 A JP 2002216133A JP 2001013316 A JP2001013316 A JP 2001013316A JP 2001013316 A JP2001013316 A JP 2001013316A JP 2002216133 A JP2002216133 A JP 2002216133A
Authority
JP
Japan
Prior art keywords
image data
learning
forming
partial image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001013316A
Other languages
English (en)
Inventor
Hitoshi Ikeda
仁 池田
Hirotsugu Kashimura
洋次 鹿志村
Sukeji Kato
典司 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2001013316A priority Critical patent/JP2002216133A/ja
Publication of JP2002216133A publication Critical patent/JP2002216133A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 学習用に特徴部分のみを含む情報を作成する
必要なく、短時間に学習を完了できる画像処理システム
及び感覚情報処理システムを提供する。 【解決手段】 前処理部10が入力された画像データを
前処理し、選択部20が、統計的特徴量を利用して特徴
部分を含む部分画像データを生成し、分類処理部30が
この部分画像データに基づいてSOMにより、マップを
生成し、このマップ上のノードを各特徴部分に最整合す
るノードに分類する境界を生成する。この境界の情報と
マップの情報とを利用して、入力される画像データから
抽出される部分画像データを特徴部分ごとに分類し、ニ
ューラルネットワークの特徴空間学習に供する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、学習を前提に感覚
情報からの特徴認識を行う画像処理システム及び感覚情
報処理システムに係り、特に学習用の情報を生成する過
程の改良に関する。
【0002】
【従来の技術】従来から、ニューラルネットワークを利
用した画像認識技術が開発されている。例えば特開平5
−282457号公報、「被写体認識方法」では、所与
の被写体候補が所定の被写体であるか否かを判断するた
めに、所定被写体の特徴をニューラルネットワーク学習
させる技術が開示されている。また、この技術では、認
識に柔軟性を持たせて、不特定の目の画像データを識別
可能なように(汎化学習)するために、目や鼻などとい
った被写体の部分的な特徴パターンを自己組織化ネット
ワーク(SOMネットワーク)を用いて学習する。
【0003】また、特開平10−232938号公報、
「画像認識法」では、目や鼻などの特徴部分のみからな
る部分画像データを主成分分析(PCA)処理によって
特徴抽出を行っている。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来の画像の認識方法では、特徴部分を備えた画像データ
を事前に用意しておく必要がある。すなわち、目のみを
含む画像データや、鼻のみを含む画像データがそれぞれ
複数必要となる。しかし、このような画像データの準備
は、人手で行うことが前提であったので、学習用に利用
可能な画像データが限られてしまうという問題点があっ
た。
【0005】そこで、例えば特開平5−282457号
公報の技術では、全体的な画像データをそのまま用いて
学習させるようにしてもよい。しかし、このようにする
と、入力情報量が増大し、学習時間がかかるという問題
点がある。さらに、画像データをそのまま用いると、ニ
ューラルネットワークの特性により、一次元的でかつ隣
接する画素の輝度情報などの相関のみを利用した学習と
なるので、部分画像の構造的特徴の反映が困難であり、
位置ずれを伴う画像データでは、学習結果が収束せず認
識効率の低下を招来するおそれもある。
【0006】一方、特開平10−232938号公報の
技術では、部分画像データやそれを圧縮したデータをP
CA処理して部分的特徴抽出をするので、繰り返し学習
の必要がなく、学習時間を短くすることができる。しか
し、位置ずれに対する汎化性を向上すべく画素位置をシ
フトして得られる複数の画像データを用いて汎化学習を
行うと、特徴識別能力が低下することが知られている。
【0007】本発明は上記実情に鑑みて為されたもの
で、学習時間を短縮可能な学習用の画像データや、感覚
情報のデータを生成できる画像処理システム及び感覚情
報処理システムを提供することを目的とする。
【0008】また、本発明の別の目的は、位置ずれに対
する柔軟性を向上できる画像処理システムを提供するこ
とを目的とする。
【0009】
【課題を解決するための手段】上記従来例の問題点を解
決するための本発明は、画像処理システムであって、処
理対象の画像データから学習処理に関連する所定基準に
基づいて部分画像データを抽出する手段と、前記抽出し
た部分画像データに対する特徴量を演算する手段と、を
含み、前記部分画像データに基づく特徴量をニューラル
ネットワークを利用した所定処理に供することを特徴と
している。これにより、画像データの全体ではなく、学
習処理に関連する部分画像データのみを抽出して学習さ
せることができ、学習時間を短縮できる。
【0010】ここで、さらに前記抽出した部分画像デー
タ周辺部から重複を許しつつ位置ずれ対策用の部分画像
データを抽出する手段と、当該位置ずれ対策用の部分画
像データに対する特徴量を演算する手段と、を含み、前
記位置ずれ対策用の部分画像データに対する特徴量をニ
ューラルネットワークを利用した所定処理に供すること
も好適である。これにより、位置ずれに対する柔軟性を
向上できる。
【0011】上記従来例の問題点を解決するための本発
明は、画像処理システムにおいて、処理対象画像から少
なくとも一つの学習用の部分画像データを抽出する手段
と、前記抽出した学習用の部分画像データに基づいて、
類似する特徴量が格子空間上の連続的領域に集合するよ
う、格子空間マップを学習形成するマップ形成手段と、
前記格子空間マップをなす各格子を、識別すべき特徴部
分ごとに分割するよう格子空間マップ内で境界を形成す
る境界形成手段と、を含み、前記境界形成が為された格
子空間マップが、画像データの分類処理に供されること
を特徴としている。これにより、識別すべき特徴部分の
みを含んでなる部分画像が生成され、学習時間を短縮で
きる。
【0012】またここで、前記マップ形成手段は、仮想
的な格子空間をなす格子点の各々について、前記学習用
の部分画像データに基づいて演算される特徴量ベクトル
との結合重みベクトルを管理する手段と、抽出した学習
用の部分画像データから前記特徴量ベクトルを演算する
とともに、前記各々の結合重みベクトルとの所定測度を
演算する手段と、当該演算の結果によって前記特徴量ベ
クトルと最も整合する格子点を検出する手段と、前記検
出された格子点の格子空間上の位置及び前記特徴量ベク
トルとに基づいて、各格子点の結合重みを更新し、自己
組織化を行う手段と、を含み、前記境界形成手段は、前
記特徴量ベクトルの各成分について、その成分と、各格
子点との間に設定された前記結合重みに基づき、分割の
基準となる成分を決定し、当該分割の基準となった成分
に対して事前に設定されたしきい値との比較により、前
記格子空間上に特徴部分ごとの境界を形成する手段と、
を含むことが好適である。
【0013】さらにここで、処理対象となった画像から
分類処理用の部分画像データを抽出する手段と、前記境
界形成後の格子空間マップを参照し、前記抽出された分
類処理用の部分画像データを識別すべき特徴部分ごとに
分類する手段と、を含み、前記分類された画像データを
各特徴部分の認識のための第2ニューラルネットワーク
学習処理を行うことも好適である。これにより、第2ニ
ューラルネットワークの学習が短時間に完了し、かつ特
徴部分が予め分類されているので、学習効果を高めるこ
とができる。
【0014】一方、境界形成後の格子空間マップを利用
し、複数の処理対象画像データを取得する手段と、当該
取得対象画像データを部分画像データに分割する手段
と、前記境界形成後の格子空間マップを参照し、前記分
割された部分画像データに、識別すべき特徴部分が含ま
れているか否かを判断する手段と、を含み、前記判断の
結果が画像データの検索のための処理に供されることも
好適である。これにより、画像データの類似性に基づく
検索が容易に行われる。
【0015】また、上記従来例の問題点を解決するため
の本発明は、画像処理方法であって、処理対象画像から
少なくとも一つの学習用の部分画像データを抽出する工
程と、前記抽出した学習用の部分画像データに基づい
て、類似する特徴量が格子空間上の連続的領域に集合す
るよう、格子空間マップを学習形成する工程と、前記格
子空間マップをなす各格子を、識別すべき特徴部分ごと
に分割するよう格子空間マップ内で境界を形成する工程
と、を含み、前記境界形成が為された格子空間マップ
が、画像データの分類処理に供されることを特徴として
いる。
【0016】さらに上記従来例の問題点を解決するため
の本発明は、画像処理方法であって、複数の画像データ
の各々から抽出された学習用の部分画像データを用い
て、前記部分画像データの分類のための第1ニューラル
ネットワークを学習形成する工程と、前記抽出された学
習用の部分画素ブロックを、前記第1ニューラルネット
ワークを用いて識別すべき特徴部分ごとに分類する工程
と、前記分類された学習用の部分画像データについて、
各特徴部分の識別のための第2ニューラルネットワーク
を学習形成する工程と、を含むことを特徴としている。
【0017】さらに、上記従来例の問題点を解決するた
めの本発明は、感覚情報処理システムであって、処理対
象となった感覚情報に対し、類似する感覚情報が格子空
間上の連続的領域に集合するよう、格子空間マップを学
習形成するマップ形成手段と、前記格子空間マップをな
す各格子を、識別すべき特徴部分ごとに分割するよう格
子空間マップ内で境界を形成する境界形成手段と、を含
み、前記境界形成が為された格子空間マップが、感覚情
報の分類処理に供されることを特徴としている。
【0018】さらに、上記従来例の問題点を解決するた
めの本発明は、感覚情報処理方法において、処理対象と
なった感覚情報に対し、類似する感覚情報が格子空間上
の連続的領域に集合するよう、格子空間マップを学習形
成する工程と、前記格子空間マップをなす各格子を、識
別すべき特徴部分ごとに分割するよう格子空間マップ内
で境界を形成する工程と、を含み、前記境界形成が為さ
れた格子空間マップが、感覚情報の分類処理に供される
ことを特徴としている。
【0019】
【発明の実施の形態】[実施形態1]本発明の実施の形
態について図面を参照しながら説明する。本発明の第1
の実施の形態に係る画像処理システムは、図1に示すよ
うに、前処理部10と、選択部20と、分類処理部30
とから基本的に構成されている。前処理部10は、ホワ
イトニング処理部11と、ガボールフィルタ処理部12
とを含んでなる。また、選択部20は、部分画像抽出部
21と、選択部分指定部22とを有する。さらに、分類
処理部30は、分類制御部31と、データ変換部32
と、学習処理部33と、境界設定部34とから構成され
ている。ここで学習処理部33がマップ形成手段に相当
し、境界設定部34が境界形成手段に相当する。
【0020】入力画像データは、前処理部10に入力さ
れる前にグレイスケールのデータに変換され、前処理部
10のホワイトニング処理部11に入力される。ホワイ
トニング処理部11は、入力されるグレイスケールの画
像データに対し、フーリエ変換を行い、低周波成分を除
去して、逆フーリエ変換を行い、ガボールフィルタ処理
部12に出力する。ここで低周波成分を除去する処理
(ホワイトニング処理)は、次の数式により行うことが
できる。
【0021】
【数1】
【0022】ここで、f0は、カットオフ周波数、f
は、フーリエ変換された画像データであり、K(f)
は、処理後の画像データを意味する。これにより、人間
の網膜の神経節細胞において行われる処理と同様に、画
像を構成する周波数成分の周波数成分ごとの寄与を均一
にするとともに低域を遮断し、照明による影の影響を低
減し、画像を構成する高周波成分を強調する。これによ
って、画像の細かな特徴を明確にする。
【0023】ガボールフィルタ処理部12は、ホワイト
ニング処理後の画像データの入力を受けて、次の数式に
より、ガボールフィルタ処理を行い、その結果を選択部
20に出力する。
【0024】
【数2】 ここで、
【数3】 は、画像データの注目点を示すベクトルであり、
【数4】 は、各画素のベクトルである。また、σは、分散を表
す。このように、調和関数をガウス関数で変調して得ら
れるガボール関数((2)式)を適用することで、画像
の注目点の部分が周辺部よりも詳細に見えるという人間
の視野と同等の状態にしている。つまり、処理対象の画
像データの周辺部の輝度分散を小さくして背景部分によ
る処理への影響を低減するものである。
【0025】選択部20の部分画像抽出部21は、選択
部分指定部22から入力される指示により画像データの
一部を部分画像データとして切り出し、分類処理部30
に出力する。
【0026】選択部分指定部22は、前処理部10で前
処理された画像データに対し、統計的演算を行い、学習
対象となる特徴部分が含まれている部分を選択する。具
体的に、この選択部分指定部22は、前処理部10から
入力される画像データを所定の画像ブロックに分割し、
各画像ブロックのエントロピーを演算する。ここで画像
ブロックは、8×8ピクセル程度の正方ブロックで構わ
ないが、例えばその半分の値である4ピクセルずつ重複
するようにブロック化する。つまり、この画素ブロック
は、例えば図2に示すように、各々重複するように選択
される。図2では、選択される画素ブロック(A〜E)
の例が図示されている。
【0027】そして、各画素ブロックごとに次の(3)
式により特定の輝度レベルLが出現した回数PLを利用
して、画像エントロピーIEを演算する。
【0028】
【数5】
【0029】このようにすると、例えば人物のバストア
ップ写真の場合、顔など高周波成分を含む部分のエント
ロピーが大きくなり、背景などが低くなって分析され
る。そこで、各画素ブロックの画像エントロピーを事前
に定めた複数のエントロピー値範囲のどれに属している
かによって分類してクラス分けし、画像エントロピーの
高いクラスから順に所定個数(例えば3クラス)だけ抽
出し、当該抽出したクラスに属する画像ブロックを選択
部分とする。この結果、例えば顔部分の画像データであ
れば、輪郭や目、鼻、口、耳などの認識対象となるべき
部分(特徴部分)が図3に示すような態様で抽出され
る。ここで、白色のブロックで例示した部分が選択部分
であり、選択部分指定部22は、このようにして得られ
た選択部分の情報を部分画像抽出部21に出力する。
【0030】本実施の形態において特徴的なことは、こ
の選択部分指定部22が、各選択部分の情報に基づい
て、その選択部分周辺、上下左右の部分について重複を
許しつつ位置ずれ対策用の部分画像データとして切り出
すように、部分画像抽出部21に出力することである。
これにより、図4に示すように、画像エントロピーの演
算により選択された部分画像データ(A)と、その周囲
にある画像データ(B)〜(E)とが切り出されて、分
類処理部30に出力される。
【0031】このように、特徴部分を含むと期待される
部分画像データが抽出されて、分類処理が行われるの
で、画像データの全体を利用する場合に比べて分類処理
における学習時間を短縮できる。
【0032】分類処理部30の分類制御部31は、デー
タ変換部32と学習処理部33と境界設定部34とを制
御し、学習フェーズ及び分類処理フェーズの各フェーズ
の動作を実行する。これらの各フェーズでの分類処理部
30の動作及び分類制御部31による制御については、
後に説明する。
【0033】データ変換部32は、各部分画像データに
ついて、共生起行列(CooccurrenceMatrix;以下CMと
略称する)特に、グレイレベル共生起行列(Gray Level
Cooccurrence Matrix;以下、GLCMと略称する)を
演算する。ここでCMは、例えば図5(a)に示すよう
に、要素「0,0,1」からなる第1行と、「0,0,
1」からなる第2行と、要素「2,2,1」からなる第
3行とを含む3×3行列であるときには、各要素を所定
方向に順番に調べる。ここで所定方向とは、図6に示す
ように左から右へのほか、上から下へ、左上から右下へ
のように0度、45度、90度ずつずらした軸方向への
走査である。この走査により、「0」の次に「1」が並
んでいる場所(例えば左から右へであれば、「0」の右
隣に「1」がある場所)が何カ所あるかを計数した値を
「0」行(走査方向前方)から「1」列(走査方向後
方)の要素として設定する。具体的に、左から右への走
査では、図5(a)に対するCMは、図5(b)に示す
ようになる。また、左上から右下、上から下への走査に
よるCMも同様に生成できる。そして、このCMの各要
素を行列要素の和で正規化したものがGLCMである。
具体的に、図5(b)では、要素の和は、「(2+2+
0)+(0+0+0)+(0+1+1)」であるから
「6」となり、この6で各要素を割って正規化してGL
CMを得る。
【0034】また、データ変換部32は、この複数の走
査方向により生成される複数のGLCMについて、次の
式(4)〜(11)により演算される8つの量を配列し
たベクトル値(特徴量ベクトル)を演算する。
【0035】
【数6】 尚、ここで、
【数7】 である。
【0036】また、μx及びμyは、行及び列の和の平均
値であり、σx及びσyは、行及び列の和の標準偏差であ
る。
【0037】ここでは、GLCMを3つの走査方向から
生成した場合を例としているので、各8つの特徴量が演
算され、合計3×8=24元の特徴量ベクトルが演算さ
れることになる。
【0038】尚、式(4)〜(11)は、GLCMに対
するエネルギー(energy)、エントロピー(Entrop
y)、相関(Correlation)、逆ディファレンスモーメン
ト(Inverse Difference Moment)、慣性(Inertia)、
クラスタシェード(Cluster Shade)、クラスタプロミ
ネンス(Cluster Prominence)、ハラリック相関(Hara
lick's Correlation)をそれぞれ意味している。ここで
のエネルギーのように、輝度レベルに依存しない量を特
徴量として用いることで、照明条件の変化に対し、柔軟
に対応できるようになる。尚、これらの特徴量は、衛星
写真の処理などリモートセンシングの分野で用いられて
いるものであるので、その意味について詳細な説明は省
略する。
【0039】学習処理部33は、分類制御部31から学
習モードに設定されている間は、これら24元の特徴量
ベクトルの24個の成分を入力ベクトルとして、これら
の各成分に重みを持って結合する複数のノードからなる
マップを自己組織化マッピング(SOM)により形成す
る。また、分類モードに設定されると、その時点で形成
しているマップを分類制御部31に出力する。
【0040】ここでSOMは、コホーネンらの研究によ
り、広く知られたものである。具体的にSOMは、入力
ベクトルの各成分に対応する入力層と、マップに対応す
る競合層とを含むニューラルネットワークであり、マッ
プは、図6に示すようにノード(本発明の格子点に相当
する)を2次元的に配列してなるものである。尤も、こ
こで2次元としているのは単なる便宜であって、n次元
(n>2)に配列しても構わない。
【0041】SOMの処理を行うために、学習処理部3
3は、入力される各特徴ベクトルと結合重みとの距離を
所定の測度上で演算する。ここでは簡単のため、ユーク
リッド測度(ユークリッド距離)とする。そして、距離
が最小となる結合重みを有するノード(最整合ノード)
cを検出する。そして、この最整合ノード近傍のノード
への結合重みを特徴量ベクトルを利用して更新する。具
体的にこの更新は、次の式(12)により行われる。
【0042】
【数8】
【0043】ここで、α(t)と、σ(t)とは、時間に関す
る単調減少関数であり、||rc−rj||は、競合層での最
整合ノードと、ノードjとのユークリッド距離を表す。
ここでtは、「時刻」であり、特徴ベクトルが入力され
るごとにインクリメントされる(式(12)の左辺の通
り)。
【0044】これにより、マップ(格子空間マップに相
当する)上で、互いに類似する特徴ベクトルに対する最
整合ノードが連続的な領域を形成する。つまり、この競
合層には、多次元の入力信号である特徴量ベクトルか
ら、2次元のマップへの非線形射影が位相を保持したま
ま形成され、具体的に顔の輪郭や、顔に含まれている目
や鼻等の複数の部分画像データの統計的物理量である特
徴量ベクトルに対する学習(結合重みの更新)により、
この特徴部分が自己組織化され、学習成果としてのマッ
プ上において、類似する画像データに反応する(最整合
する)ノード同士が近接して存在するようになる。
【0045】ここで、SOMにおいては、学習の計算量
は、入力ベクトルである特徴量ベクトルの成分数の増加
に比例して増大する。入力が輝度情報の場合、ベクトル
の成分数は64(部分画像データサイズが8×8のと
き)であるのに対し、統計的物理量である特徴量では、
8個とすることができるので、式(4)〜(11)の特
徴量を利用することで、計算量を低減でき、短時間に効
率的に学習できる。
【0046】さらに、実験的に確かめられたところによ
ると、輝度情報をそのまま用いるよりも式(4)〜(1
1)の特徴量を用いることで、後の画像分類処理に有利
なマップを形成できる。実験によると、互いに異なる特
徴部分(目と鼻など)に対して同じノードが最整合ノー
ドとなってしまう割合は、輝度情報をそのまま用いると
きには、4.5%程度であったのに対し、特徴量を利用
すると0.6%に低下する。すなわち、特徴量を用いる
ことにより、汎化学習能力が向上するのである。
【0047】そして、学習処理部33は、このようにし
て形成したマップを保持する。
【0048】一方、境界設定部34は、分類制御部31
の指示により起動され、学習処理部33で形成され、分
類制御部31で管理されているマップ上のノードを各特
徴部分に対応するノードとして割当てるために、境界を
設定する。すなわち、すでに説明したように、学習処理
部33で保持されるマップは、例えば2次元的にノード
が配列された図6(a)に示すようなマップでは、さま
ざまな「目」の画像データから得られる特徴量ベクトル
に最整合するノードが、少なくとも一つの連続領域
(R)をマップ上に形成するので、この境界(B)を設
定しておけば、与えられた画像データが「目」を含むか
否かが分類可能となる。つまり、この境界(B)内のノ
ードが最整合ノードとなれば、その特徴量ベクトルに対
応する部分画像データは、「目」の画像であると分類さ
れ、境界外のノードが最整合ノードとなれば、その特徴
量ベクトルに対応する部分画像データは、「目」の画像
ではないものと判断される。
【0049】この境界設定のために、境界設定部34
は、学習処理部33で形成されたノードN(i,j)への結合
重みベクトルwijの各成分を参照し、そのうち最大のも
のがどの成分であるかを調べる。すなわち、結合重みベ
クトルw11の各成分中で最大値のものがクラスターシェ
ードであり、結合重みベクトルw12の各成分中で最大の
ものがエントロピーである等とすると、w11のクラスタ
ーシェードの値と、w12のエントロピー値等とを比較す
る。そして、例えばw11のクラスターシェードの値がこ
れらのうちで最大であれば、クラスターシェードを分割
基準の成分として、このクラスターシェード値に対し、
事前に定められたしきい値より大きいノード群(第1
群)と、しきい値以下のノード群(第2群)とに分割し
て境界を決定する。尚、一つのしきい値(例えばクラス
ターシェードに対して事前に定められたしきい値)につ
いて、しきい値より大きいノード群がそれぞれマップ上
で複数の連続領域からなる場合、各連続領域をノード群
とする(図6(b)のR1及びR2)。
【0050】次に境界設定部34は、第2群にさらに複
数のノードが含まれているか否かを調べ、含まれていな
ければ、境界設定を完了する。また、第2群に複数のノ
ードが含まれているときには、次の分割基準の成分(各
結合重みベクトル中、次に最大となる成分)を決定し、
この分割基準の成分について事前に定められたしきい値
に基づきさらに第2群の一部をもうひとつの群(第3
群)に新たに分類する。尚、各成分について、しきい値
以上の側と、しきい値未満の側のどちらの群をさらなる
分割対象とするかは、例えば次の表のごとく事前に定め
られている。
【0051】
【表1】
【0052】ここで、「>」は、その成分について、し
きい値以下のノード群をさらに分割することを意味し、
「<」は、その成分について、しきい値より大きいノー
ド群をさらに分割することを意味する。
【0053】このようにして分割を繰返し行い、分割対
象の群にノードがなくなったか、または1つのみになっ
たときに、設定を完了する。また、すべての成分につい
て分割を行ったときにも設定を完了する。尚、結合重み
に含まれる成分のうち、最大値を有する成分を分割基準
として分割するのは、人間の感覚の特徴として、最も大
きな刺激成分に対して強く反応することをまねたのであ
る。
【0054】これにより、図7に示すように各ノードが
どの群に分類されたかを示すテーブル(ノード−群対応
テーブル)が生成される。ここで、同じ群に属するノー
ドは2次元的に連続的な領域をなし、これらの領域の境
界がクラス境界となる。
【0055】具体的に画像データとして人間の顔が与え
られた場合には、部分画像データとしてすでに説明した
ように、「目」や、「鼻」等の特徴部分のみからなる部
分画像データが入力されており、「目」や「鼻」等の特
徴部分がそれぞれ学習処理部33内で、連続的な領域を
形成するから、「目」に反応(最整合)するノード群、
「鼻」に反応するノード群、等の各特徴部分に反応する
ノード群が、境界設定部34の動作により、明確に定義
される。
【0056】ここで、分類制御部31の動作について説
明する。分類制御部31は、図8に示すように、学習フ
ェーズの動作として、学習処理部33を学習モードに設
定し(S1)、入力される部分画像データに基づき、S
OMによりマップ形成を行わせる。そして、学習処理部
33で行われているマップ形成が収束するまで待機し
(S2)、収束した(結合重みの更新により所定量より
大きい更新が行われなくなった場合等)と判断すると、
学習処理部33を分類モードに設定し(S3)、学習処
理部33からマップの入力を受けて、これを保持し(S
4)、境界設定部34に当該保持しているマップに境界
を設定する指示を出力する(S5)。そして、境界が設
定されると、分類フェーズに移行し、部分画像データの
入力を受けると(S6)、データ変換部32で演算され
る特徴量ベクトルと、結合重みとの所定測度上の距離
(例えばここではユークリッド距離)に基づいてマップ
上で最整合するノードを検出する(S7)。そして、当
該最整合ノードが分類されている群をノード−群対応テ
ーブルから調べ(S8)、当該分類されている群を識別
する情報(例えば群番号)とともに、処理S6で入力さ
れた部分画像データを出力し(S9)、処理終了の指示
があるまで、処理S6から処理S9の処理を繰返す。ま
た、分類処理が起動されると、保持している境界設定済
みのマップを利用して、処理S6から処理を行う
(A)。
【0057】これにより、例えば顔の画像データが特徴
部分である「目」や「鼻」のみを含む画像に分割され、
「目」であれば、「目」に対応する群番号とともに、
「鼻」であれば「鼻」に対応する群番号とともに出力さ
れるので、この群番号をキーとして出力される部分画像
データを分類管理すれば、これに基づいて種々の処理が
可能となる。
【0058】具体的に、この分類管理された部分画像デ
ータを利用した処理としては、例えば従来例におけるP
CA等を用いたニューラルネットワーク学習(本発明の
第2ニューラルネットワークの学習形成)が考えられ
る。すなわち、各郡番号に属する複数の部分画像データ
を、特徴空間学習用データとして用いて、従来と同様の
学習を行わせるのである。ここで、本実施の形態におい
て学習処理部33でのマップ形成に用いる画像データ
と、分類フェーズでの処理で用い、特徴空間学習用デー
タを作成するための画像データとは同じである必要はな
い。
【0059】また、ここまでの説明では、学習フェーズ
から分類フェーズへの切替えのみについて説明したが、
さらに分類の対象を追加したいときには、学習フェーズ
に設定して図8の処理S1〜S5を再度繰返して行えば
よい。これにより、例えば顔の各特徴部分(「目」や
「鼻」など)を分類するよう形成されたマップに対し、
動物のヒョウの顔の画像データから抽出された部分画像
データを用いてさらにマップ形成を進行させ、境界設定
を行わせればよい。これにより、人間の顔のみならず、
ヒョウの顔の特徴部分まで分類可能となり、これにより
分類された部分画像データを用いた特徴空間学習用デー
タの生成が可能となる。
【0060】このように、本実施の形態によれば、画像
データを部分画像データに分割してから処理するので、
各部分画像データの学習時間を短縮できる。またこれに
伴い、特徴空間学習用の画像データが短時間で生成でき
る。また、この特徴空間学習用の画像データがさらに部
分画像データとなっていることで、特徴空間の学習も短
時間に完了させることができる。これにより、例えば顔
に対する特徴空間学習を短時間に完了できるため、特定
の人物を認証するためのセキュリティシステムとする場
合にも、認証の対象人物の顔の画像データをそのまま学
習用として利用しつつ、効率的に学習をさせることがで
きるようになる。
【0061】尚、本実施形態に係る画像処理システムを
用いると、例えばインターネット上に存在する画像デー
タを収集して学習させ、これにより、「目」の画像を含
むものとして、「目」の画像を例示するだけで、目を含
む画像データが収集できるようになる。このためには、
検索対象の画像データから部分画像データを抽出して特
徴量を演算し、これを分類処理するとともに、「目」に
分類された部分画像データの抽出元となった画像データ
を特定することで実現できる。
【0062】本実施の形態によれば、学習フェーズにお
いては、選択部20で抽出された部分画像データが、分
類処理部30の学習処理(第1ニューラルネットワーク
の学習)に用いられ、分類フェーズにおいては、選択部
20で抽出され、分類処理部30で分類された部分画像
データが、後続のニューラルネットワーク(第2ニュー
ラルネットワーク)の学習に利用可能となる。このよう
に、特徴部分のみを含む部分画像データを生成し、ニュ
ーラルネットワークの学習に関する所定処理が行われる
ことで、画像データの全体を利用して学習をする場合に
比べて学習時間を短縮できる。
【0063】[実施形態2]次に、本発明の第2の実施
の形態に係る感覚情報処理システムについて図9を参照
しながら説明する。本実施の形態の感覚情報処理システ
ムは、図9に示すように、感覚情報分析部40と、分類
処理部50とを含んでなる。ここで、感覚情報は、ベク
トル情報に分析され、このベクトルに対応する基底ごと
に設けられたセンサからの信号によって検出される。こ
こでは、説明を容易にするために、感覚情報として特に
味覚について説明する。味覚の場合、ベクトルの基底は
「苦味」、「甘み」等に相当し、感覚情報分析部40
は、各基底に対応して設けられ、それぞれ「苦味成分」
や「甘み成分」等を主として検出する複数のセンサ(脂
質膜センサ)41と、ベクトル値生成部42とから構成
される。また、分類処理部50は、分類制御部51と、
学習処理部52と、境界設定部53とから構成される。
【0064】複数の脂質膜センサ41は、互いに異なる
性質を有する膜を有し、接触した物質に対する各膜の電
位の変化量を出力する。ベクトル値生成部42は、これ
ら複数の脂質膜センサ41から入力される電位の変化量
の情報をベクトル値として、分類処理部50に出力す
る。
【0065】分類処理部50の分類制御部51は、学習
フェーズの処理と、分類フェーズの処理とを行う。この
分類制御部51の動作については、後に詳しく説明す
る。学習処理部52は、第1の実施の形態における学習
処理部33と同様のものであり、分類制御部51から学
習モードに設定されると、感覚情報分析部40から入力
されるベクトル値の感覚情報に基づき、SOMによりマ
ップを形成する。また、この学習処理部52は、分類制
御部51から分類モードに設定されると、学習結果とし
てのマップの情報を境界設定部53に出力する。
【0066】境界設定部53は、学習処理部52からマ
ップの情報の入力を受けて、第1の実施の形態において
説明したのと同様に、最大値をとる成分を分割基準成分
として、マップ上のノードを分類し、境界を設定し、ノ
ード−群対応テーブルを生成する。そして、境界設定部
53は、当該マップと、ノード−群対応テーブルとを分
類制御部51に出力する。
【0067】分類制御部51は、当初は、学習フェーズ
の処理として、学習処理部52を学習モードに設定し
て、マップ形成を行わせる。そして、マップとしての結
合重みの更新状態を監視して、結合重みが収束すると、
分類フェーズに移行し、学習処理部52を分類モードに
設定する。そして、分類制御部51は、境界設定部53
から入力される学習済みのマップとノード−群対応テー
ブルとを管理し、感覚情報分析部40から入力されるベ
クトル値に対して最整合するノードをマップ内から検出
し、このノードがどの群に分類されているかをテーブル
を参照して調べる。そして、その結果である群の識別子
を出力する。
【0068】これにより、例えば、「リンゴ」、「みか
ん」、「いちご」を味物質として、脂質膜センサ41に
接触させることにより、各脂質膜の電位変化をベクトル
値とした学習が行われ、マップ上に、「リンゴ」の味の
領域と、「みかん」の味の領域と、「いちご」の味の領
域と、これらのどれでもない味の領域とが形成され、さ
らに境界設定部53の処理により、各ノードがいずれか
の味の領域に分類される。そして、「みかん」の味に似
ている他の柑橘系果物(例えばオレンジ)を味物質とし
て脂質膜センサ41に接触させると、「みかん」の味の
領域に含まれるノードが最整合ノードとして検出され、
それが属する群(みかんの味に対応する群)の識別子が
出力される。
【0069】尚、これら第1,第2の実施の形態に係る
画像処理システム及び感覚情報処理システムは、一般的
なパーソナルコンピュータを用いても実現できる。この
場合には、上記説明した各部をソフトウエア的に実現し
たプログラムをこのコンピュータに実行させればよい。
また、このソフトウエアは、CD−ROMなどのコンピ
ュータ読み取り可能な記録媒体にパッケージされて頒布
することができる。
【0070】
【発明の効果】本発明によれば、処理対象の画像データ
から学習処理に関連する所定基準に基づいて部分画像デ
ータを抽出し、この抽出した部分画像データに対する特
徴量を演算して、当該特徴量をニューラルネットワーク
を利用した所定処理に供する画像処理システムとしてい
るので、画像データの全体を用いる場合に比べ、学習時
間を短縮できる。また、学習のために事前に分類済みの
画像データを用意することなく、画像認識のための学習
を行うことができる。
【0071】ここでさらに、抽出した部分画像データ周
辺部から重複を許しつつ位置ずれ対策用の部分画像デー
タを抽出し、当該位置ずれ対策用の部分画像データに対
する特徴量を演算して、この位置ずれ対策用の部分画像
データに対する特徴量をニューラルネットワークを利用
した所定処理に供することにより、位置ずれに対する柔
軟性を高めることができる。
【0072】また、本発明によれば、処理対象となった
感覚情報に対し、類似する感覚情報が格子空間上の連続
的領域に集合するよう、格子空間マップを学習形成し、
この格子空間マップをなす各格子を、識別すべき特徴部
分ごとに分割するよう格子空間マップ内で境界を形成し
て、この境界形成が為された格子空間マップが、感覚情
報の分類処理に供される感覚情報処理システムとしてい
るので、学習のために事前に分類済みのデータを用意す
ることなく、感覚情報の認識のための学習を行うことが
できる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態に係る画像処理シ
ステムの構成ブロック図である。
【図2】 選択される画素グループの例を示す説明図で
ある。
【図3】 特徴部分の抽出例を示す説明図である。
【図4】 部分画像データの抽出範囲の例を示す説明図
である。
【図5】 共生起行列の生成例を示す説明図である。
【図6】 マップ上のノードの配列例を示す説明図であ
る。
【図7】 ノード−群対応テーブルの例を示す説明図で
ある。
【図8】 第1の実施の形態に係る画像処理システムの
分類制御部の動作を示すフローチャート図である。
【図9】 本発明の第2の実施の形態に係る感覚情報処
理システムの構成ブロック図である。
【符号の説明】
10 前処理部、11 ホワイトニング処理部、12
ガボールフィルタ処理部、20 選択部、21 部分画
像抽出部、22 選択部分指定部、30,50分類処理
部、31,51 分類制御部、32 データ変換部、3
3,52 学習処理部、34,53 境界設定部、40
感覚情報分析部、41 脂質膜センサ、42 ベクト
ル値生成部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 典司 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 Fターム(参考) 5L096 FA69 GA19 GA55 HA11 JA11 KA04 KA11

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 処理対象の画像データから学習処理に関
    連する所定基準に基づいて部分画像データを抽出する手
    段と、 前記抽出した部分画像データに対する特徴量を演算する
    手段と、を含み、 前記部分画像データに基づく特徴量をニューラルネット
    ワークを利用した所定処理に供することを特徴とする画
    像処理システム。
  2. 【請求項2】 請求項1に記載の画像処理システムにお
    いて、さらに、 前記抽出した部分画像データ周辺部から重複を許しつつ
    位置ずれ対策用の部分画像データを抽出する手段と、 当該位置ずれ対策用の部分画像データに対する特徴量を
    演算する手段と、 を含み、前記位置ずれ対策用の部分画像データに対する
    特徴量をニューラルネットワークを利用した所定処理に
    供することを特徴とする画像処理システム。
  3. 【請求項3】 処理対象画像から少なくとも一つの学習
    用の部分画像データを抽出する手段と、 前記抽出した学習用の部分画像データに基づいて、類似
    する特徴量が格子空間上の連続的領域に集合するよう、
    格子空間マップを学習形成するマップ形成手段と、 前記格子空間マップをなす各格子を、識別すべき特徴部
    分ごとに分割するよう格子空間マップ内で境界を形成す
    る境界形成手段と、 を含み、 前記境界形成が為された格子空間マップが、画像データ
    の分類処理に供されることを特徴とする画像処理システ
    ム。
  4. 【請求項4】 請求項3に記載の画像処理システムにお
    いて、 前記マップ形成手段は、 仮想的な格子空間をなす格子点の各々について、前記学
    習用の部分画像データに基づいて演算される特徴量ベク
    トルとの結合重みベクトルを管理する手段と、 抽出した学習用の部分画像データから前記特徴量ベクト
    ルを演算するとともに、前記各々の結合重みベクトルと
    の所定測度を演算する手段と、 当該演算の結果によって前記特徴量ベクトルと最も整合
    する格子点を検出する手段と、 前記検出された格子点の格子空間上の位置及び前記特徴
    量ベクトルとに基づいて、各格子点の結合重みを更新
    し、自己組織化を行う手段と、 を含み、 前記境界形成手段は、前記特徴量ベクトルの各成分につ
    いて、その成分と、各格子点との間に設定された前記結
    合重みに基づき、分割の基準となる成分を決定し、当該
    分割の基準となった成分に対して事前に設定されたしき
    い値との比較により、前記格子空間上に特徴部分ごとの
    境界を形成する手段と、 を含むことを特徴とする画像処理システム。
  5. 【請求項5】 請求項3または4に記載の画像処理シス
    テムにおいて、 処理対象となった画像から分類処理用の部分画像データ
    を抽出する手段と、 前記境界形成後の格子空間マップを参照し、前記抽出さ
    れた分類処理用の部分画像データを識別すべき特徴部分
    ごとに分類する手段と、 を含み、 前記分類された画像データを各特徴部分の認識のための
    第2ニューラルネットワーク学習処理を行うことを特徴
    とする画像処理システム。
  6. 【請求項6】 請求項3または4に記載の画像処理シス
    テムにおいて、 複数の処理対象画像データを取得する手段と、 当該取得対象画像データを部分画像データに分割する手
    段と、 前記境界形成後の格子空間マップを参照し、前記分割さ
    れた部分画像データに、識別すべき特徴部分が含まれて
    いるか否かを判断する手段と、 を含み、 前記判断の結果が画像データの検索のための処理に供さ
    れることを特徴とする画像処理システム。
  7. 【請求項7】 処理対象画像から少なくとも一つの学習
    用の部分画像データを抽出する工程と、 前記抽出した学習用の部分画像データに基づいて、類似
    する特徴量が格子空間上の連続的領域に集合するよう、
    格子空間マップを学習形成する工程と、 前記格子空間マップをなす各格子を、識別すべき特徴部
    分ごとに分割するよう格子空間マップ内で境界を形成す
    る工程と、 を含み、 前記境界形成が為された格子空間マップが、画像データ
    の分類処理に供されることを特徴とする画像処理方法。
  8. 【請求項8】 複数の画像データの各々から抽出された
    学習用の部分画像データを用いて、前記部分画像データ
    の分類のための第1ニューラルネットワークを学習形成
    する工程と、 前記抽出された学習用の部分画素ブロックを、前記第1
    ニューラルネットワークを用いて識別すべき特徴部分ご
    とに分類する工程と、 前記分類された学習用の部分画像データについて、各特
    徴部分の識別のための第2ニューラルネットワークを学
    習形成する工程と、 を含むことを特徴とする画像処理方法。
  9. 【請求項9】 コンピュータに、 処理対象画像から少なくとも一つの学習用の部分画像デ
    ータを抽出する工程と、 前記抽出した学習用の部分画像データに基づいて、類似
    する特徴量が格子空間上の連続的領域に集合するよう、
    格子空間マップを学習形成する工程と、 前記格子空間マップをなす各格子を、識別すべき特徴部
    分ごとに分割するよう格子空間マップ内で境界を形成す
    る工程と、 前記境界形成が為された格子空間マップを用いて、画像
    データの分類処理を行う工程と、 を実行させることを特徴とする画像処理プログラム。
  10. 【請求項10】 コンピュータに、 複数の画像データの各々から抽出された学習用の部分画
    像データを用いて、前記部分画像データの分類のための
    第1ニューラルネットワークを学習形成する工程と、 前記抽出された学習用の部分画素ブロックを、前記第1
    ニューラルネットワークを用いて識別すべき特徴部分ご
    とに分類する工程と、 前記分類された学習用の部分画像データについて、各特
    徴部分の識別のための第2ニューラルネットワークを学
    習形成する工程と、 を実行させること特徴とする画像処理プログラム。
  11. 【請求項11】 請求項9又は10に記載の画像処理プ
    ログラムを格納したことを特徴とするコンピュータ読み
    取り可能な記録媒体。
  12. 【請求項12】 処理対象となった感覚情報に対し、類
    似する感覚情報が格子空間上の連続的領域に集合するよ
    う、格子空間マップを学習形成するマップ形成手段と、 前記格子空間マップをなす各格子を、識別すべき特徴部
    分ごとに分割するよう格子空間マップ内で境界を形成す
    る境界形成手段と、 を含み、 前記境界形成が為された格子空間マップが、感覚情報の
    分類処理に供されることを特徴とする感覚情報処理シス
    テム。
  13. 【請求項13】 処理対象となった感覚情報に対し、類
    似する感覚情報が格子空間上の連続的領域に集合するよ
    う、格子空間マップを学習形成する工程と、 前記格子空間マップをなす各格子を、識別すべき特徴部
    分ごとに分割するよう格子空間マップ内で境界を形成す
    る工程と、 を含み、 前記境界形成が為された格子空間マップが、感覚情報の
    分類処理に供されることを特徴とする感覚情報処理方
    法。
  14. 【請求項14】 コンピュータに、 処理対象となった感覚情報に対し、類似する感覚情報が
    格子空間上の連続的領域に集合するよう、格子空間マッ
    プを学習形成する工程と、 感覚情報の分類処理のために、前記格子空間マップをな
    す各格子を、識別すべき特徴部分ごとに分割するよう格
    子空間マップ内で境界を形成する工程と、 を実行させることを特徴とする感覚情報処理プログラ
    ム。
  15. 【請求項15】 請求項14に記載の感覚情報処理プロ
    グラムを格納したことを特徴とするコンピュータ読み取
    り可能な記録媒体。
JP2001013316A 2001-01-22 2001-01-22 画像処理システム、及び感覚情報処理システム Pending JP2002216133A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001013316A JP2002216133A (ja) 2001-01-22 2001-01-22 画像処理システム、及び感覚情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001013316A JP2002216133A (ja) 2001-01-22 2001-01-22 画像処理システム、及び感覚情報処理システム

Publications (1)

Publication Number Publication Date
JP2002216133A true JP2002216133A (ja) 2002-08-02

Family

ID=18880188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001013316A Pending JP2002216133A (ja) 2001-01-22 2001-01-22 画像処理システム、及び感覚情報処理システム

Country Status (1)

Country Link
JP (1) JP2002216133A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508200A (ja) * 2005-09-09 2009-02-26 キネティック リミテッド 画像領域の自動選定
JP2009063398A (ja) * 2007-09-06 2009-03-26 Iwasaki Electric Co Ltd 油膜検知装置及び方法
WO2010014067A1 (en) * 2008-07-31 2010-02-04 Hewlett-Packard Development Company, L.P. Perceptual segmentation of images
JP2021506021A (ja) * 2017-12-07 2021-02-18 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド 画像処理のためのシステム及び方法
US11416706B2 (en) 2017-12-07 2022-08-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508200A (ja) * 2005-09-09 2009-02-26 キネティック リミテッド 画像領域の自動選定
JP2009063398A (ja) * 2007-09-06 2009-03-26 Iwasaki Electric Co Ltd 油膜検知装置及び方法
WO2010014067A1 (en) * 2008-07-31 2010-02-04 Hewlett-Packard Development Company, L.P. Perceptual segmentation of images
US8913831B2 (en) 2008-07-31 2014-12-16 Hewlett-Packard Development Company, L.P. Perceptual segmentation of images
JP2021506021A (ja) * 2017-12-07 2021-02-18 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド 画像処理のためのシステム及び方法
JP7014910B2 (ja) 2017-12-07 2022-02-01 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド 画像処理のためのシステム及び方法
JP2022050659A (ja) * 2017-12-07 2022-03-30 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド 画像処理のためのシステム及び方法
US11416706B2 (en) 2017-12-07 2022-08-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
JP7248832B2 (ja) 2017-12-07 2023-03-29 上海聯影医療科技股▲ふん▼有限公司 画像処理のためのシステム及び方法

Similar Documents

Publication Publication Date Title
US20210082136A1 (en) Extracting information from images
JP7357010B2 (ja) 疑似画像を使用した顔画像認識
US20060222212A1 (en) One-dimensional iris signature generation system and method
US20090116747A1 (en) Artificial intelligence systems for identifying objects
JP2017111660A (ja) 映像パターン学習装置、方法、及びプログラム
Aydogdu et al. Comparison of three different CNN architectures for age classification
CN110929687B (zh) 一种基于关键点检测的多人行为识别系统及工作方法
JP2006323507A (ja) 属性識別システムおよび属性識別方法
Niu et al. Automatic localization of optic disc based on deep learning in fundus images
Dimililer et al. ICSPI: intelligent classification system of pest insects based on image processing and neural arbitration
CN113658165B (zh) 杯盘比确定方法、装置、设备及存储介质
Gao et al. Diabetic retinopathy classification using an efficient convolutional neural network
CN112257728A (zh) 图像处理方法、装置、计算机设备以及存储介质
JP4146751B2 (ja) 顔識別装置、顔識別方法及び顔識別プログラム
Brar et al. Sugar Learning: Deep Learning for Rapid Detection and Classification of Sugarcane Diseases
Xu et al. Automatic segmentation of cervical vertebrae in X-ray images
CN111968087B (zh) 一种植物病害区域检测方法
JP2002216133A (ja) 画像処理システム、及び感覚情報処理システム
CN111985434A (zh) 模型增强的人脸识别方法、装置、设备及存储介质
JP6486084B2 (ja) 画像処理方法、画像処理装置、及びプログラム
Ibrahim et al. A hyprid technique for human footprint recognition
HR et al. A novel hybrid biometric software application for facial recognition considering uncontrollable environmental conditions
Nithya et al. Nail based disease analysis at earlier stage using median filter in image processing
WO2021054217A1 (ja) 画像処理装置、画像処理方法及びプログラム
Reddy et al. Facial Recognition Enhancement Using Deep Learning Techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040910

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070605