JP2003067739A - 画像変換方法および装置 - Google Patents
画像変換方法および装置Info
- Publication number
- JP2003067739A JP2003067739A JP2001258832A JP2001258832A JP2003067739A JP 2003067739 A JP2003067739 A JP 2003067739A JP 2001258832 A JP2001258832 A JP 2001258832A JP 2001258832 A JP2001258832 A JP 2001258832A JP 2003067739 A JP2003067739 A JP 2003067739A
- Authority
- JP
- Japan
- Prior art keywords
- image
- original image
- dual space
- converted
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract 4
- 238000000034 method Methods 0.000 title claims description 28
- 230000009977 dual effect Effects 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 10
- 229910052704 radon Inorganic materials 0.000 claims abstract description 7
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 238000001914 filtration Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 7
- 230000002596 correlated effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 235000000832 Ayote Nutrition 0.000 description 3
- 235000009854 Cucurbita moschata Nutrition 0.000 description 3
- 240000001980 Cucurbita pepo Species 0.000 description 3
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000015136 pumpkin Nutrition 0.000 description 3
- 241000270322 Lepidosauria Species 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100293260 Homo sapiens NAA15 gene Proteins 0.000 description 1
- 102100026781 N-alpha-acetyltransferase 15, NatA auxiliary subunit Human genes 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 人間の画像認識に即した画像マッチングは困
難であった。 【解決手段】 画像変換部１４は入力された原画像をラ
ドン変換により双対空間の画像に変換する。ピーク検出
部１６は変換された画像のピクセル値について高階微分
を求めてピークの分布を検出する。インデックス生成部
１８は検出されたピークの分布に関する情報を原画像の
インデックスとして生成し、原画像に関連づけて画像デ
ータベース２４に格納する。マッチング処理部２０はこ
のようにして作成されたインデックスを比較することに
より画像のマッチングをとる。
難であった。 【解決手段】 画像変換部１４は入力された原画像をラ
ドン変換により双対空間の画像に変換する。ピーク検出
部１６は変換された画像のピクセル値について高階微分
を求めてピークの分布を検出する。インデックス生成部
１８は検出されたピークの分布に関する情報を原画像の
インデックスとして生成し、原画像に関連づけて画像デ
ータベース２４に格納する。マッチング処理部２０はこ
のようにして作成されたインデックスを比較することに
より画像のマッチングをとる。
Description
【０００１】
【発明の属する技術分野】本発明は画像変換技術に関す
る。本発明はとくに、画像を双対空間における画像に変
換する方法と装置に関する。
る。本発明はとくに、画像を双対空間における画像に変
換する方法と装置に関する。
【０００２】
【従来の技術】パーソナルコンピュータをはじめとする
情報端末が広く普及し、高画質のデジタルカメラやカラ
ープリンタが大衆化したことなどにより、一般人の日常
生活にデジタル画像の文化が深く浸透した。また最近で
はＡＤＳＬや光ファイバ網などブロードバンドのネット
ワークの普及も進んでおり、常時接続の高速ネットワー
クを一般ユーザが手軽に利用できる環境が整いつつあ
る。ブロードバンド時代を迎え、静止画に限らず、動画
の配信も本格化する。
情報端末が広く普及し、高画質のデジタルカメラやカラ
ープリンタが大衆化したことなどにより、一般人の日常
生活にデジタル画像の文化が深く浸透した。また最近で
はＡＤＳＬや光ファイバ網などブロードバンドのネット
ワークの普及も進んでおり、常時接続の高速ネットワー
クを一般ユーザが手軽に利用できる環境が整いつつあ
る。ブロードバンド時代を迎え、静止画に限らず、動画
の配信も本格化する。
【０００３】このようにデジタル画像の文化がユーザに
深く浸透する一方で、人間が実空間の３次元対象物をど
のように認識しているかという人間側の認識メカニズム
の理解はあまり深まっていないのが現状である。２次元
画像でさえ人間の脳内でどのように認識され、識別され
ているか、十分に解明されているとはいえない状況であ
る。画像の錯視現象を取り上げてみれば、人間の画像認
識がいかに複雑な問題であるかがわかる。これまで特定
の錯視現象について心理学的な側面から定性的な説明が
なされてはきたが、いずれも特定の錯視現象は説明でき
ても他の錯視現象には当てはまらなかったり、他の錯視
現象を説明しようとすると矛盾を生じることすらあっ
た。
深く浸透する一方で、人間が実空間の３次元対象物をど
のように認識しているかという人間側の認識メカニズム
の理解はあまり深まっていないのが現状である。２次元
画像でさえ人間の脳内でどのように認識され、識別され
ているか、十分に解明されているとはいえない状況であ
る。画像の錯視現象を取り上げてみれば、人間の画像認
識がいかに複雑な問題であるかがわかる。これまで特定
の錯視現象について心理学的な側面から定性的な説明が
なされてはきたが、いずれも特定の錯視現象は説明でき
ても他の錯視現象には当てはまらなかったり、他の錯視
現象を説明しようとすると矛盾を生じることすらあっ
た。
【０００４】
【発明が解決しようとする課題】このように錯視現象を
一般的に説明することができないことをとってみても、
画像認識には未踏の域があること、したがってコンピュ
ータでデジタル画像を扱うことができるようになったと
いっても、人間の画像理解との整合性が必ずしも取れて
いないことがわかる。人間が理解するようにはコンピュ
ータが画像を理解して処理するわけではないため、結局
はコンピュータ処理されたデジタル画像は、ユーザにと
って自然な取り扱いが難しいものとなってしまう。たと
えばインターネットのサーバには無数の画像データが公
開されているが、その中から自分の思い描く画像を取り
出したいと思っても、文字列のキーワードで検索するし
かなく、画像を本来の意味で「イメージ」して検索する
ことのできる手段が提供されていない。
一般的に説明することができないことをとってみても、
画像認識には未踏の域があること、したがってコンピュ
ータでデジタル画像を扱うことができるようになったと
いっても、人間の画像理解との整合性が必ずしも取れて
いないことがわかる。人間が理解するようにはコンピュ
ータが画像を理解して処理するわけではないため、結局
はコンピュータ処理されたデジタル画像は、ユーザにと
って自然な取り扱いが難しいものとなってしまう。たと
えばインターネットのサーバには無数の画像データが公
開されているが、その中から自分の思い描く画像を取り
出したいと思っても、文字列のキーワードで検索するし
かなく、画像を本来の意味で「イメージ」して検索する
ことのできる手段が提供されていない。
【０００５】本発明はこうした状況に鑑みてなされたも
のであり、その目的は、人間の画像認識に即した態様に
画像を変換して利用することのできる技術の提供にあ
る。また別の目的は、人間の画像認識に即した画像のイ
ンデキシングが可能な技術の提供にある。
のであり、その目的は、人間の画像認識に即した態様に
画像を変換して利用することのできる技術の提供にあ
る。また別の目的は、人間の画像認識に即した画像のイ
ンデキシングが可能な技術の提供にある。
【０００６】
【課題を解決するための手段】本発明のある態様は画像
変換方法に関する。この方法は、原画像をラドン変換に
より双対空間の画像に変換する工程と、前記変換された
画像を高域フィルタリングする工程と、高域フィルタリ
ングされた前記画像を逆投影により原画像の空間に再現
する工程とを含む。前記高域フィルタリングする工程
は、前記変換画像の画素値の双対空間における高階微分
を利用してもよい。たとえば画素値の２階微分の値をも
との画素値に加算することで画像データの高周波成分を
強調したフィルタリングをしてもよい。
変換方法に関する。この方法は、原画像をラドン変換に
より双対空間の画像に変換する工程と、前記変換された
画像を高域フィルタリングする工程と、高域フィルタリ
ングされた前記画像を逆投影により原画像の空間に再現
する工程とを含む。前記高域フィルタリングする工程
は、前記変換画像の画素値の双対空間における高階微分
を利用してもよい。たとえば画素値の２階微分の値をも
との画素値に加算することで画像データの高周波成分を
強調したフィルタリングをしてもよい。
【０００７】本発明の別の態様も画像変換方法に関す
る。この方法は、原画像を双対空間の画像に変換する工
程と、前記変換された画像について画素値の特徴成分を
検出する工程と、前記特徴成分に関する情報を前記原画
像のインデックスとして前記原画像に関連づけて記録す
る工程とを含む。前記画素値の特徴成分を検出する工程
は、双対空間における前記画素値のピークまたは前記画
素値の高階微分、たとえば２階微分のピークを特徴成分
として検出してもよい。また画素値のピークと画素値の
２階微分のピークの両方が検出され、それらのピークに
関する情報がインデックスとして用いられてもよい。
る。この方法は、原画像を双対空間の画像に変換する工
程と、前記変換された画像について画素値の特徴成分を
検出する工程と、前記特徴成分に関する情報を前記原画
像のインデックスとして前記原画像に関連づけて記録す
る工程とを含む。前記画素値の特徴成分を検出する工程
は、双対空間における前記画素値のピークまたは前記画
素値の高階微分、たとえば２階微分のピークを特徴成分
として検出してもよい。また画素値のピークと画素値の
２階微分のピークの両方が検出され、それらのピークに
関する情報がインデックスとして用いられてもよい。
【０００８】上記のいずれの態様の画像変換方法におい
ても、前記双対空間の画像に変換する工程は、前記原画
像を部分画像に分割し、その部分画像ごとに双対空間の
部分画像に変換してもよい。前記双対空間の画像に変換
する工程は、前記原画像が観察されるときの視点の位置
に関する情報を前記原画像とともに取り込み、前記原画
像を前記視点の位置に応じて分割し、分割された部分画
像ごとに双対空間の部分画像に変換してもよい。
ても、前記双対空間の画像に変換する工程は、前記原画
像を部分画像に分割し、その部分画像ごとに双対空間の
部分画像に変換してもよい。前記双対空間の画像に変換
する工程は、前記原画像が観察されるときの視点の位置
に関する情報を前記原画像とともに取り込み、前記原画
像を前記視点の位置に応じて分割し、分割された部分画
像ごとに双対空間の部分画像に変換してもよい。
【０００９】本発明のさらに別の態様は画像変換装置に
関する。この装置は、入力された原画像をラドン変換に
より双対空間の画像に変換する変換部と、前記変換され
た画像を高域フィルタリングするフィルタ部と、高域フ
ィルタリングされた前記変換画像を逆投影により原画像
に再現する再現部とを含む。
関する。この装置は、入力された原画像をラドン変換に
より双対空間の画像に変換する変換部と、前記変換され
た画像を高域フィルタリングするフィルタ部と、高域フ
ィルタリングされた前記変換画像を逆投影により原画像
に再現する再現部とを含む。
【００１０】本発明のさらに別の態様も画像変換装置に
関する。この装置は、入力された原画像を双対空間の画
像に変換する変換部と、前記変換された画像について画
素値の特徴成分を検出する検出部と、前記特徴成分に関
する情報を前記原画像のインデックスとして記録する記
録部とを含む。この装置は、前記インデックスの類似に
もとづいて画像マッチングを行うマッチング処理部をさ
らに含んでもよい。
関する。この装置は、入力された原画像を双対空間の画
像に変換する変換部と、前記変換された画像について画
素値の特徴成分を検出する検出部と、前記特徴成分に関
する情報を前記原画像のインデックスとして記録する記
録部とを含む。この装置は、前記インデックスの類似に
もとづいて画像マッチングを行うマッチング処理部をさ
らに含んでもよい。
【００１１】本発明のさらに別の態様もまた画像変換方
法に関する。この方法は２次元空間における原点からの
距離ρ、ｘ軸となす角θの直線が点（ρ，θ）で表現さ
れる双対空間へ２次元画像を変換する工程と、前記変換
された画像の画素値をρに関して２階微分してピークを
検出する工程と、前記２階微分のピークを前記２次元画
像のインデックスとして前記２次元画像に関連づけて記
録する工程とを含む。
法に関する。この方法は２次元空間における原点からの
距離ρ、ｘ軸となす角θの直線が点（ρ，θ）で表現さ
れる双対空間へ２次元画像を変換する工程と、前記変換
された画像の画素値をρに関して２階微分してピークを
検出する工程と、前記２階微分のピークを前記２次元画
像のインデックスとして前記２次元画像に関連づけて記
録する工程とを含む。
【００１２】なお、以上の構成要素の任意の組合せ、本
発明の表現を方法、装置、システム、記録媒体、コンピ
ュータプログラムなどの間で変換したものもまた、本発
明の態様として有効である。
発明の表現を方法、装置、システム、記録媒体、コンピ
ュータプログラムなどの間で変換したものもまた、本発
明の態様として有効である。
【００１３】
【発明の実施の形態】図１は、第１の実施の形態に係る
画像変換装置１０の構成図である。この構成は、ハード
ウエア的には、任意のコンピュータのＣＰＵ、メモリ、
その他のＬＳＩで実現でき、ソフトウエア的にはメモリ
にロードされた画像変換機能のあるプログラムなどによ
って実現されるが、ここではそれらの連携によって実現
される機能ブロックを描いている。したがって、これら
の機能ブロックがハードウエアのみ、ソフトウエアの
み、またはそれらの組合せによっていろいろな形で実現
できることは、当業者には理解されるところである。
画像変換装置１０の構成図である。この構成は、ハード
ウエア的には、任意のコンピュータのＣＰＵ、メモリ、
その他のＬＳＩで実現でき、ソフトウエア的にはメモリ
にロードされた画像変換機能のあるプログラムなどによ
って実現されるが、ここではそれらの連携によって実現
される機能ブロックを描いている。したがって、これら
の機能ブロックがハードウエアのみ、ソフトウエアの
み、またはそれらの組合せによっていろいろな形で実現
できることは、当業者には理解されるところである。
【００１４】画像入力部１２は原画像データを入力す
る。画像変換部１４は原画像データを双対空間の画像デ
ータに変換する。図２は、２次元空間と双対空間の関係
を説明する図である。２次元空間において、原点からの
距離がρ、ｘ軸となす角がθである直線ρ＝ｘｃｏｓθ
＋ｙｓｉｎθは双対空間においては点（ρ，θ）で表さ
れる。逆に、２次元空間の点（ｘ，ｙ）は双対空間にお
いて曲線ρ＝（ｘ２＋ｙ ２）１／２ｓｉｎ（θ＋α）で
表される。
る。画像変換部１４は原画像データを双対空間の画像デ
ータに変換する。図２は、２次元空間と双対空間の関係
を説明する図である。２次元空間において、原点からの
距離がρ、ｘ軸となす角がθである直線ρ＝ｘｃｏｓθ
＋ｙｓｉｎθは双対空間においては点（ρ，θ）で表さ
れる。逆に、２次元空間の点（ｘ，ｙ）は双対空間にお
いて曲線ρ＝（ｘ２＋ｙ ２）１／２ｓｉｎ（θ＋α）で
表される。
【００１５】この関係を用いて２次元空間の画像のピク
セル（ｘ，ｙ）の値Ｖ（ｘ，ｙ）を双対空間の画像のピ
クセル（ρ，θ）の値Ｗ（ρ，θ）に変換することがで
きる。この画像変換は、ＣＴ（Computed Tomography）
画像において用いられるラドン変換である。双対空間に
変換された画像を逆投影して原画像を再構成する前に、
ハイパスフィルタを用いて変換画像をフィルタリングす
る。これは逆投影の過程で高周波成分が弱くなり、再現
画像がぼけるからである。ハイパスフィルタは、双対空
間におけるピクセル値Ｗ（ρ，θ）をρに関して２階微
分することにより高周波成分をフィルタリングする。フ
ィルタリングの結果得られる新しいピクセル値をＷ
ｎｅｗ（ρ，θ）とすると、このフィルタリングは次式
で表される。
セル（ｘ，ｙ）の値Ｖ（ｘ，ｙ）を双対空間の画像のピ
クセル（ρ，θ）の値Ｗ（ρ，θ）に変換することがで
きる。この画像変換は、ＣＴ（Computed Tomography）
画像において用いられるラドン変換である。双対空間に
変換された画像を逆投影して原画像を再構成する前に、
ハイパスフィルタを用いて変換画像をフィルタリングす
る。これは逆投影の過程で高周波成分が弱くなり、再現
画像がぼけるからである。ハイパスフィルタは、双対空
間におけるピクセル値Ｗ（ρ，θ）をρに関して２階微
分することにより高周波成分をフィルタリングする。フ
ィルタリングの結果得られる新しいピクセル値をＷ
ｎｅｗ（ρ，θ）とすると、このフィルタリングは次式
で表される。
【００１６】Ｗｎｅｗ（ρ，θ）＝Ｗ（ρ，θ）＋Ｃ
（∂２Ｗ（ρ，θ）／∂ρ２） ここで、Ｃ（ｘ）はｘが負または０の場合に０、ｘが正
の場合にｘの値をとるカットオフ関数であり、第２項の
負の値が逆投影されて余分な画像が再現されるのを防ぐ
ためのものである。双対空間においてこのようなハイパ
スフィルタリングをすることは、錯視が起こるメカニズ
ムに関係しており、後述のようにハイパスフィルタリン
グの後に再現される画像は、錯視画像を示唆するものと
なる。
（∂２Ｗ（ρ，θ）／∂ρ２） ここで、Ｃ（ｘ）はｘが負または０の場合に０、ｘが正
の場合にｘの値をとるカットオフ関数であり、第２項の
負の値が逆投影されて余分な画像が再現されるのを防ぐ
ためのものである。双対空間においてこのようなハイパ
スフィルタリングをすることは、錯視が起こるメカニズ
ムに関係しており、後述のようにハイパスフィルタリン
グの後に再現される画像は、錯視画像を示唆するものと
なる。
【００１７】ハイパスフィルタ１５は、このハイパスフ
ィルタリングにより双対空間に変換された画像をフィル
タリングする。画像再現部１７は、フィルタリングされ
た双対空間の画像を逆投影により元の２次元空間へ変換
して原画像を再現する。画像出力部２２は、再現された
原画像をディスプレイに表示する。
ィルタリングにより双対空間に変換された画像をフィル
タリングする。画像再現部１７は、フィルタリングされ
た双対空間の画像を逆投影により元の２次元空間へ変換
して原画像を再現する。画像出力部２２は、再現された
原画像をディスプレイに表示する。
【００１８】図３（ａ）は入力された原画像、図３
（ｂ）は再現された画像の説明図である。図３（ａ）に
示すごとく、一部を扇形に切り開いた３つの円１００ａ
〜ｃが、その扇形が互いに向き合う形に配置された原画
像が入力されると、双対空間においてフィルタリングさ
れて再現された画像が図３（ｂ）のように出力される。
再現画像では３つの扇形の中心を頂点とする３角形１０
２が表示されている。一般に人間は図３（ａ）のような
画像を観察すると、図３（ｂ）のような３角形１０２が
そこにあるかのように認識する。図３（ｂ）は人間のそ
のような錯視による画像を表すものといえる。画像変換
装置１０に一般に知られる錯視現象の原画像を入力する
と、人間の錯視を示唆する再現画像が得られることがコ
ンピュータシミュレーションによる実験で確かめられて
いる。
（ｂ）は再現された画像の説明図である。図３（ａ）に
示すごとく、一部を扇形に切り開いた３つの円１００ａ
〜ｃが、その扇形が互いに向き合う形に配置された原画
像が入力されると、双対空間においてフィルタリングさ
れて再現された画像が図３（ｂ）のように出力される。
再現画像では３つの扇形の中心を頂点とする３角形１０
２が表示されている。一般に人間は図３（ａ）のような
画像を観察すると、図３（ｂ）のような３角形１０２が
そこにあるかのように認識する。図３（ｂ）は人間のそ
のような錯視による画像を表すものといえる。画像変換
装置１０に一般に知られる錯視現象の原画像を入力する
と、人間の錯視を示唆する再現画像が得られることがコ
ンピュータシミュレーションによる実験で確かめられて
いる。
【００１９】図４は、第２の実施の形態に係る画像変換
装置１０の構成図である。第２の実施の形態では、双対
空間に変換された画像をハイパスフィルタにかけた後、
ピクセル値のピークを検出し、画像のインデックスを作
成する。またそのインデックスにもとづいた画像マッチ
ングを行う。ハイパスフィルタにかけるところまでは第
１の実施の形態と同じであり、説明を省略する。
装置１０の構成図である。第２の実施の形態では、双対
空間に変換された画像をハイパスフィルタにかけた後、
ピクセル値のピークを検出し、画像のインデックスを作
成する。またそのインデックスにもとづいた画像マッチ
ングを行う。ハイパスフィルタにかけるところまでは第
１の実施の形態と同じであり、説明を省略する。
【００２０】ピーク検出部１６は、ハイパスフィルタ１
５によりフィルタリングされた後のピクセル値Ｗｎｅｗ
（ρ，θ）のピークを検出する。上述のＷｎｅｗ（ρ，
θ）の式からわかるように、Ｗｎｅｗ（ρ，θ）のピー
クを検出することは、双対空間のピクセル値Ｗ（ρ，
θ）またはＷ（ρ，θ）のρに関する２階微分がピーク
になるピクセル、もしくはそれらが同時にピークとなる
ピクセルを検出することである。インデックス生成部１
８は、このようなピークとなるピクセルとそのピーク値
を検出し、ピークの分布をインデックスとして生成す
る。このインデックスは画像入力部１２により入力され
た原画像に関連づけられて画像データベース２４に記録
される。
５によりフィルタリングされた後のピクセル値Ｗｎｅｗ
（ρ，θ）のピークを検出する。上述のＷｎｅｗ（ρ，
θ）の式からわかるように、Ｗｎｅｗ（ρ，θ）のピー
クを検出することは、双対空間のピクセル値Ｗ（ρ，
θ）またはＷ（ρ，θ）のρに関する２階微分がピーク
になるピクセル、もしくはそれらが同時にピークとなる
ピクセルを検出することである。インデックス生成部１
８は、このようなピークとなるピクセルとそのピーク値
を検出し、ピークの分布をインデックスとして生成す
る。このインデックスは画像入力部１２により入力され
た原画像に関連づけられて画像データベース２４に記録
される。
【００２１】マッチング処理部２０は、インデックス生
成部１８が生成した原画像のインデックスを画像データ
ベース２４に格納された他の画像のインデックスと比較
して、インデックスが類似する画像を画像データベース
２４から検索する。画像出力部２２はマッチング処理部
２０により検索された類似画像をディスプレイに表示す
る。
成部１８が生成した原画像のインデックスを画像データ
ベース２４に格納された他の画像のインデックスと比較
して、インデックスが類似する画像を画像データベース
２４から検索する。画像出力部２２はマッチング処理部
２０により検索された類似画像をディスプレイに表示す
る。
【００２２】図５（ａ）は入力された原画像、図５
（ｂ）はマッチングのとれた類似画像の説明図である。
実験では互いに全く関係のない数枚の画像を画像データ
ベース２４に格納しておき、原画像を入力してインデッ
クスを作成し、類似画像を画像データベース２４から検
索した。図５（ａ）のようなビリヤードの球とトカゲの
画像が入力されると、図５（ｂ）のようなカボチャ畑の
画像が類似画像として検索された。ビリヤードの球とト
カゲの画像とカボチャ畑の画像では、一見したところ類
似性があるように思えないが、強いて言えば、どちらも
球形の物体が含まれているという点では共通している。
実際に、被験者に画像データベース２４の数枚の画像か
ら原画像に近い画像を選ばせると、被験者はカボチャ畑
の画像を選んだ。このように画像変換装置１０によれば
人間の画像認識に即した画像マッチングが可能である。
（ｂ）はマッチングのとれた類似画像の説明図である。
実験では互いに全く関係のない数枚の画像を画像データ
ベース２４に格納しておき、原画像を入力してインデッ
クスを作成し、類似画像を画像データベース２４から検
索した。図５（ａ）のようなビリヤードの球とトカゲの
画像が入力されると、図５（ｂ）のようなカボチャ畑の
画像が類似画像として検索された。ビリヤードの球とト
カゲの画像とカボチャ畑の画像では、一見したところ類
似性があるように思えないが、強いて言えば、どちらも
球形の物体が含まれているという点では共通している。
実際に、被験者に画像データベース２４の数枚の画像か
ら原画像に近い画像を選ばせると、被験者はカボチャ畑
の画像を選んだ。このように画像変換装置１０によれば
人間の画像認識に即した画像マッチングが可能である。
【００２３】画像マッチングをより人間の画像認識に近
づけるために、人間が画像を観察するとき、視点を向け
る位置や視点の移動軌跡を利用する。図６（ａ）のよう
に、画像を観察する際の視点の移動位置に合わせて原画
像をブロックに分割する。図６（ｂ）は分割されたブロ
ックごとに双対空間の画像に変換して得られる変換画像
を説明する図である。このように画像全体を双対空間に
変換するのではなく、部分画像に分割して部分画像単位
で双対空間の画像に変換し、それぞれの変換画像におい
てピークを検出する。画像入力部１２は原画像を入力す
る際、原画像とともに視点の移動位置または移動軌跡に
関する情報を入力する。画像変換部１４は視点の移動位
置または移動軌跡にもとづいて原画像を部分画像に分割
してそれぞれの部分画像を双対空間へ変換する。ピーク
検出部１６は双対空間へ変換された各部分画像のピーク
の分布を検出する。インデックス生成部１８は部分画像
のピークの分布をまとめて原画像のインデックスとす
る。
づけるために、人間が画像を観察するとき、視点を向け
る位置や視点の移動軌跡を利用する。図６（ａ）のよう
に、画像を観察する際の視点の移動位置に合わせて原画
像をブロックに分割する。図６（ｂ）は分割されたブロ
ックごとに双対空間の画像に変換して得られる変換画像
を説明する図である。このように画像全体を双対空間に
変換するのではなく、部分画像に分割して部分画像単位
で双対空間の画像に変換し、それぞれの変換画像におい
てピークを検出する。画像入力部１２は原画像を入力す
る際、原画像とともに視点の移動位置または移動軌跡に
関する情報を入力する。画像変換部１４は視点の移動位
置または移動軌跡にもとづいて原画像を部分画像に分割
してそれぞれの部分画像を双対空間へ変換する。ピーク
検出部１６は双対空間へ変換された各部分画像のピーク
の分布を検出する。インデックス生成部１８は部分画像
のピークの分布をまとめて原画像のインデックスとす
る。
【００２４】図７は、第２の実施の形態に係る画像変換
装置１０による画像変換と画像マッチングの処理手順を
示すフローチャートである。画像入力部１２は原画像デ
ータを入力し（Ｓ１０）、視点の移動軌跡に関する情報
を入力する（Ｓ１２）。画像変換部１４は視点の移動軌
跡に合わせて原画像を部分画像に分割する（Ｓ１４）。
さらに画像変換部１４は各部分画像を双対空間の画像に
変換する（Ｓ１６）。ハイパスフィルタ１５は変換され
た部分画像を高階微分によりフィルタリングして、ピー
ク検出部１６がフィルタリングされた部分画像ごとにピ
ークの分布を検出する（Ｓ１８）。インデックス生成部
１８は各部分画像のピークに関する情報をまとめてイン
デックスを作成する（Ｓ２０）。作成されたインデック
スは原画像とともに画像データベース２４に格納され
る。マッチング処理部２０はインデックス生成部１８に
より作成したインデックスを画像データベース２４に格
納された他の画像のインデックスと照合して、インデッ
クスの類似によりマッチングのとれた画像を抽出する
（Ｓ２２）。画像出力部２２はマッチングのとれた画像
をディスプレイに出力する（Ｓ２４）。
装置１０による画像変換と画像マッチングの処理手順を
示すフローチャートである。画像入力部１２は原画像デ
ータを入力し（Ｓ１０）、視点の移動軌跡に関する情報
を入力する（Ｓ１２）。画像変換部１４は視点の移動軌
跡に合わせて原画像を部分画像に分割する（Ｓ１４）。
さらに画像変換部１４は各部分画像を双対空間の画像に
変換する（Ｓ１６）。ハイパスフィルタ１５は変換され
た部分画像を高階微分によりフィルタリングして、ピー
ク検出部１６がフィルタリングされた部分画像ごとにピ
ークの分布を検出する（Ｓ１８）。インデックス生成部
１８は各部分画像のピークに関する情報をまとめてイン
デックスを作成する（Ｓ２０）。作成されたインデック
スは原画像とともに画像データベース２４に格納され
る。マッチング処理部２０はインデックス生成部１８に
より作成したインデックスを画像データベース２４に格
納された他の画像のインデックスと照合して、インデッ
クスの類似によりマッチングのとれた画像を抽出する
（Ｓ２２）。画像出力部２２はマッチングのとれた画像
をディスプレイに出力する（Ｓ２４）。
【００２５】本発明の第１の実施の形態によれば、人間
が原画像をどのように認識しているか、再現画像から知
ることができる。これは建造や都市の設計に広く応用で
きる。たとえば錯視により広く見える部屋をデザインす
るために画像変換装置１０による再現画像を利用するこ
とができる。また事故が起きやすい交差点や道路を撮影
して原画像として入力すれば、人間が認識していると思
われる画像を得ることができ、安全対策に活用すること
ができる。また平坦に見えても実は下り坂になっていて
危険な道路に、錯視により下り坂に見えるような印を付
けることも可能となる。またロボットビジョンやバーチ
ャルリアリティなどの分野への応用も期待できる。
が原画像をどのように認識しているか、再現画像から知
ることができる。これは建造や都市の設計に広く応用で
きる。たとえば錯視により広く見える部屋をデザインす
るために画像変換装置１０による再現画像を利用するこ
とができる。また事故が起きやすい交差点や道路を撮影
して原画像として入力すれば、人間が認識していると思
われる画像を得ることができ、安全対策に活用すること
ができる。また平坦に見えても実は下り坂になっていて
危険な道路に、錯視により下り坂に見えるような印を付
けることも可能となる。またロボットビジョンやバーチ
ャルリアリティなどの分野への応用も期待できる。
【００２６】また第２の実施の形態によれば、人間の画
像認識に近い形で画像のマッチングが可能なインデック
スがつけられるため、画像データベースの検索や映像イ
ンデックスなどに有効に適用できる。
像認識に近い形で画像のマッチングが可能なインデック
スがつけられるため、画像データベースの検索や映像イ
ンデックスなどに有効に適用できる。
【００２７】以上、本発明を実施の形態をもとに説明し
た。これらの実施の形態は例示であり、それらの各構成
要素や各処理プロセスの組合せにいろいろな変形例が可
能なこと、またそうした変形例も本発明の範囲にあるこ
とは当業者に理解されるところである。このような変形
例を説明する。
た。これらの実施の形態は例示であり、それらの各構成
要素や各処理プロセスの組合せにいろいろな変形例が可
能なこと、またそうした変形例も本発明の範囲にあるこ
とは当業者に理解されるところである。このような変形
例を説明する。
【００２８】上記の説明では原画像データとは別に視点
の移動位置や移動軌跡に関する情報を入力したが、視点
を移動しながら対象物を撮影して得られる部分画像の集
合を原画像データとして入力してもよい。その場合、原
画像はすでに部分画像に分割されているので、視点移動
に合わせて画像を分割する処理を省くことができる。
の移動位置や移動軌跡に関する情報を入力したが、視点
を移動しながら対象物を撮影して得られる部分画像の集
合を原画像データとして入力してもよい。その場合、原
画像はすでに部分画像に分割されているので、視点移動
に合わせて画像を分割する処理を省くことができる。
【００２９】第２の実施の形態の画像変換装置１０はネ
ットワークに接続された画像検索サーバとして機能して
もよく、ユーザ端末が指定した原画像に類似する画像を
上記のインデックスにもとづいて画像データベース２４
から検索し、ユーザ端末に提供してもよい。また画像デ
ータベース２４から類似画像を検索する代わりに、イン
ターネットの他のサーバで公開された画像の中から類似
画像を検索してユーザ端末に提供してもよい。
ットワークに接続された画像検索サーバとして機能して
もよく、ユーザ端末が指定した原画像に類似する画像を
上記のインデックスにもとづいて画像データベース２４
から検索し、ユーザ端末に提供してもよい。また画像デ
ータベース２４から類似画像を検索する代わりに、イン
ターネットの他のサーバで公開された画像の中から類似
画像を検索してユーザ端末に提供してもよい。
【００３０】
【発明の効果】本発明によれば、人間の画像認識に即し
た態様に画像を変換して利用することができる。
た態様に画像を変換して利用することができる。
【図１】 第１の実施の形態に係る画像変換装置の構成
図である。
図である。
【図２】 ２次元空間と双対空間の関係を説明する図で
ある。
ある。
【図３】 図３（ａ）は入力された原画像、図３（ｂ）
は再現された画像の説明図である。
は再現された画像の説明図である。
【図４】 第２の実施の形態に係る画像変換装置の構成
図である。
図である。
【図５】 図５（ａ）は入力された原画像、図５（ｂ）
はマッチングのとれた類似画像の説明図である。
はマッチングのとれた類似画像の説明図である。
【図６】 図６（ａ）は、原画像が視点の移動位置に応
じて部分画像に分割される様子を示し、図６（ｂ）は部
分画像ごとに双対空間の画像に変換して得られる変換画
像を説明する図である。
じて部分画像に分割される様子を示し、図６（ｂ）は部
分画像ごとに双対空間の画像に変換して得られる変換画
像を説明する図である。
【図７】 第２の実施の形態に係る画像変換装置による
画像変換と画像マッチングの処理手順を示すフローチャ
ートである。
画像変換と画像マッチングの処理手順を示すフローチャ
ートである。
１０ 画像変換装置、 １２ 画像入力部、 １４ 画
像変換部、 １５ ハイパスフィルタ、 １６ ピーク
検出部、 １７ 画像再現部、 １８ インデックス生
成部、 ２０ マッチング処理部、 ２２ 画像出力
部、 ２４ 画像データベース。
像変換部、 １５ ハイパスフィルタ、 １６ ピーク
検出部、 １７ 画像再現部、 １８ インデックス生
成部、 ２０ マッチング処理部、 ２２ 画像出力
部、 ２４ 画像データベース。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B057 AA20 CA08 CA12 CA16 CB08
CB12 CB16 CC01 CD20 CE03
CE06 CH01 CH11 DA16 DB02
DB09 DC01
5C076 AA01 AA36 BA06
5C077 PP01 PP47 PP51 PP80 PQ12
PQ22
5L096 BA20 DA01 FA14 FA26 GA03
GA19 GA55 HA08 LA05
Claims (13)
- 【請求項１】 原画像をラドン変換により双対空間の画
像に変換する工程と、 前記変換された画像を高域フィルタリングする工程と、 高域フィルタリングされた前記画像を逆投影により原画
像の空間に再現する工程とを含むことを特徴とする画像
変換方法。 - 【請求項２】 前記高域フィルタリングする工程は、前
記変換画像の画素値の双対空間における高階微分を利用
することを特徴とする請求項１に記載の画像変換方法。 - 【請求項３】 原画像を双対空間の画像に変換する工程
と、 前記変換された画像について画素値の特徴成分を検出す
る工程と、 前記特徴成分に関する情報を前記原画像のインデックス
として前記原画像に関連づけて記録する工程とを含むこ
とを特徴とする画像変換方法。 - 【請求項４】 前記画素値の特徴成分を検出する工程
は、前記画素値の双対空間における高階微分のピークを
検出することを特徴とする請求項３に記載の画像変換方
法。 - 【請求項５】 前記双対空間の画像に変換する工程は、
前記原画像を部分画像に分割し、その部分画像ごとに双
対空間の部分画像に変換することを特徴とする請求項１
または３に記載の画像変換方法。 - 【請求項６】 前記双対空間の画像に変換する工程は、
前記原画像が観察されるときの視点の位置に関する情報
を前記原画像とともに取り込み、前記原画像を前記視点
の位置に応じて分割し、分割された部分画像ごとに双対
空間の部分画像に変換することを特徴とする請求項１ま
たは３に記載の画像変換方法。 - 【請求項７】 入力された原画像をラドン変換により双
対空間の画像に変換する変換部と、 前記変換された画像を高域フィルタリングするフィルタ
部と、 高域フィルタリングされた前記変換画像を逆投影により
原画像に再現する再現部とを含むことを特徴とする画像
変換装置。 - 【請求項８】 入力された原画像を双対空間の画像に変
換する変換部と、 前記変換された画像について画素値の特徴成分を検出す
る検出部と、 前記特徴成分に関する情報を前記原画像のインデックス
として記録する記録部とを含むことを特徴とする画像変
換装置。 - 【請求項９】 前記特徴成分は前記画素値の高階微分の
ピークであることを特徴とする請求項８に記載の画像変
換装置。 - 【請求項１０】 前記インデックスの類似にもとづいて
画像マッチングを行うマッチング処理部をさらに含むこ
とを特徴とする請求項８または９に記載の画像変換装
置。 - 【請求項１１】 ２次元空間における原点からの距離
ρ、ｘ軸となす角θの直線が点（ρ，θ）で表現される
双対空間へ２次元画像を変換する工程と、 前記変換された画像の画素値をρに関して２階微分して
ピークを検出する工程と、 前記２階微分のピークを前記２次元画像のインデックス
として前記２次元画像に関連づけて記録する工程とを含
むことを特徴とする画像変換方法。 - 【請求項１２】 原画像をラドン変換により双対空間の
画像に変換する工程と、 前記変換された画像を高域フィルタリングする工程と、 高域フィルタリングされた前記画像を逆投影により原画
像の空間に再現する工程とをコンピュータに実行させる
ことを特徴とするコンピュータプログラム。 - 【請求項１３】 原画像を双対空間の画像に変換する工
程と、 前記変換された画像について画素値のピークを検出する
工程と、 前記ピークに関する情報を前記原画像のインデックスと
して前記原画像に関連づけて記録する工程とをコンピュ
ータに実行させることを特徴とするコンピュータプログ
ラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258832A JP2003067739A (ja) | 2001-08-28 | 2001-08-28 | 画像変換方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258832A JP2003067739A (ja) | 2001-08-28 | 2001-08-28 | 画像変換方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003067739A true JP2003067739A (ja) | 2003-03-07 |
Family
ID=19086287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001258832A Pending JP2003067739A (ja) | 2001-08-28 | 2001-08-28 | 画像変換方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003067739A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010515991A (ja) * | 2007-01-10 | 2010-05-13 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 改良された画像識別 |
| CN103345642A (zh) * | 2013-06-28 | 2013-10-09 | 华中科技大学 | 一种基于点线对偶的图像匹配方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05346956A (ja) * | 1992-06-08 | 1993-12-27 | Nec Corp | 画像信号の処理装置 |
| JPH0628476A (ja) * | 1992-07-09 | 1994-02-04 | Nec Corp | 画像信号の処理装置 |
| JPH06274695A (ja) * | 1993-03-18 | 1994-09-30 | Ricoh Co Ltd | 文字認識方法 |
| JPH10177655A (ja) * | 1996-12-16 | 1998-06-30 | Oki Electric Ind Co Ltd | 動画像処理装置 |
| JP2000082075A (ja) * | 1998-06-24 | 2000-03-21 | Nippon Telegr & Teleph Corp <Ntt> | 直線による画像の検索装置，検索方法およびそのプログラム記録媒体 |
| JP2000207556A (ja) * | 1998-11-10 | 2000-07-28 | Matsushita Electric Ind Co Ltd | パタ―ンマッチング方法と装置 |
| WO2000045707A2 (en) * | 1999-02-02 | 2000-08-10 | Optosonics, Inc. | Improved thermoacoustic computed tomography scanner |
| JP2001004352A (ja) * | 1999-05-10 | 2001-01-12 | Agfa Gevaert Nv | 筒状物体の壁厚の測定方法 |
| JP2001101191A (ja) * | 1999-09-27 | 2001-04-13 | Cadix Inc | 画像識別装置及び画像識別に用いられるデータベースシステム |
| JP2001223941A (ja) * | 1999-12-01 | 2001-08-17 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
-
2001
- 2001-08-28 JP JP2001258832A patent/JP2003067739A/ja active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05346956A (ja) * | 1992-06-08 | 1993-12-27 | Nec Corp | 画像信号の処理装置 |
| JPH0628476A (ja) * | 1992-07-09 | 1994-02-04 | Nec Corp | 画像信号の処理装置 |
| JPH06274695A (ja) * | 1993-03-18 | 1994-09-30 | Ricoh Co Ltd | 文字認識方法 |
| JPH10177655A (ja) * | 1996-12-16 | 1998-06-30 | Oki Electric Ind Co Ltd | 動画像処理装置 |
| JP2000082075A (ja) * | 1998-06-24 | 2000-03-21 | Nippon Telegr & Teleph Corp <Ntt> | 直線による画像の検索装置，検索方法およびそのプログラム記録媒体 |
| JP2000207556A (ja) * | 1998-11-10 | 2000-07-28 | Matsushita Electric Ind Co Ltd | パタ―ンマッチング方法と装置 |
| WO2000045707A2 (en) * | 1999-02-02 | 2000-08-10 | Optosonics, Inc. | Improved thermoacoustic computed tomography scanner |
| JP2001004352A (ja) * | 1999-05-10 | 2001-01-12 | Agfa Gevaert Nv | 筒状物体の壁厚の測定方法 |
| JP2001101191A (ja) * | 1999-09-27 | 2001-04-13 | Cadix Inc | 画像識別装置及び画像識別に用いられるデータベースシステム |
| JP2001223941A (ja) * | 1999-12-01 | 2001-08-17 | Ricoh Co Ltd | 撮像装置及び撮像方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010515991A (ja) * | 2007-01-10 | 2010-05-13 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 改良された画像識別 |
| CN103345642A (zh) * | 2013-06-28 | 2013-10-09 | 华中科技大学 | 一种基于点线对偶的图像匹配方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339715B2 (en) | Virtual reality system | |
| Picard | Light-years from Lena: Video and image libraries of the future | |
| Akutsu et al. | Video tomography: An efficient method for camerawork extraction and motion analysis | |
| US6972757B2 (en) | Pseudo 3-D space representation system, pseudo 3-D space constructing system, game system and electronic map providing system | |
| US20190156558A1 (en) | Virtual reality system | |
| Yu et al. | Three-dimensional model analysis and processing | |
| Gates | The cultural labor of surveillance: video forensics, computational objectivity, and the production of visual evidence | |
| JPH09139956A (ja) | 電子シーン分析および強調のための装置および方法 | |
| Gudivada | /spl Theta//spl Rfr/-string: A geometry-based representation for efficient and effective retrieval of images by spatial similarity | |
| EP1259904A2 (en) | Method and device for cataloging and searching for information | |
| Ju | An overview of face manipulation detection | |
| CN114373200A (zh) | 一种基于边缘智能感知体的人脸采集系统及隐私保护方法 | |
| US20080111814A1 (en) | Geometric tagging | |
| JP2003067739A (ja) | 画像変換方法および装置 | |
| Teodosio et al. | Salient stills | |
| Rui et al. | Digital image/video library and MPEG-7: Standardization and research issues | |
| Singh et al. | Visualizing 3D scenes using non-linear projections and data mining of previous camera movements | |
| Shah et al. | Video Stitching with Localized 360o Model for Intelligent Car Parking Monitoring and Assistance System | |
| Leung | Visual information systems | |
| Mahalingam | Digital inpainting algorithms and evaluation | |
| Pissinou et al. | Spatio-temporal composition of video objects: representation and querying in video database systems | |
| JP3110939B2 (ja) | 映像アクセス装置 | |
| Das et al. | A Methodological Survey on Fake Data Generation in Multimedia Forensics | |
| DeCann et al. | Comprehensive Dataset of Face Manipulations for Development and Evaluation of Forensic Tools | |
| KR102418020B1 (ko) | Xr 기반의 디지털 스튜디오를 위한 계층적 콘텐츠 블록체인 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081118 |