JP2005039316A - 画像符号化装置、画像処理装置、プログラム及び記憶媒体 - Google Patents
画像符号化装置、画像処理装置、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2005039316A JP2005039316A JP2003196909A JP2003196909A JP2005039316A JP 2005039316 A JP2005039316 A JP 2005039316A JP 2003196909 A JP2003196909 A JP 2003196909A JP 2003196909 A JP2003196909 A JP 2003196909A JP 2005039316 A JP2005039316 A JP 2005039316A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image data
- image
- code
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【解決手段】符号化処理部33は、入力された画像データを圧縮符号化する。符号記憶部34は、この圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶する。画像判定処理部32は、この記憶されている各画像データと入力画像データとの画像の同一性又は類似性を判定する。符号選択部35は、この判定により両画像の同一性又は類似性がないと判定したときは入力画像データについて符号化処理部33で符号化を行ない符号記憶部34でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した符号記憶部34で記憶されている画像データと関連付けられている符号を出力する。
【選択図】 図2
Description
【発明の属する技術分野】
この発明は、画像データを圧縮符号化する画像符号化装置、画像データを圧縮符号化する処理をコンピュータに実行させるプログラム及びこのプログラムを記憶した記憶媒体に関する。
【0002】
【従来の技術】
特許文献1には、いわゆる複合機において、読み取り信号の画像処理、メモリへの画像蓄積、複数機能の並行動作およびそれぞれの画像処理を最適化する画像処理装置について開示されている。
【0003】
また、多値画像(特にカラー画像)を可逆に符号化する符号化方式としては、ITU−TとISOとで標準方式とされているJPEG2000方式が知られている。
【0004】
【特許文献1】
特開平08−274986号公報
【0005】
【発明が解決しようとする課題】
近年のデジタル機器においては、高画質化のために、解像度を高くし、あるいは、階調数を多くする傾向がある。これにより画像の持つ情報量が多くなることで画質は向上する反面、画像の情報量が多くなるという問題がある。後者の例を挙げると、例えば、従来2階調(白または黒)値であった画像を白黒256階調の画像にすると、情報量は8倍になってしまう。情報量が8倍になるということは、その画像データを記憶するために必要とされる記憶容量も単純に計算すると8倍になってしまい、装置の製造コストが増大するという問題になる。そこで、通常は記憶容量を削減するために、画像を圧縮符号化する。
【0006】
このような符号化方式の1つに、多階調画像を効率良く符号化するための技術が存在する。この多階調画像(カラー画像も含む)の符号化方式の代表としては、ISOとITU−Tとで標準勧告されているJPEG方式がある。JPEG方式は、基本であるDCT方式とオプションのDPCMを用いた方式がある。前者は人間の視覚特性を利用して画質を損なわない程度に原画の情報量を一部削減して符号化を行う符号化方式(非可逆符号化方式、ロッシー(lossy)符号化方式と呼ばれる)であり、後者は原画の情報量を損なうことなく符号化を行う符号化方式(可逆符号化方式、ロスレス(lossless)符号化方式と呼ばれる)である。
【0007】
DCT方式は、離散コサイン変換を使って画像情報を周波数情報に変換した後に情報の符号化を行う方式である。一方、DPCM方式は注目画素レベルを周囲画素より予測を行い、その予測誤差を符号化する方式である。画質重視で符号化を行うのであれば、効率の良いDCT方式を用いるのが良いが、情報の保存性という点ではDCT方式は非可逆であるために、可逆であるDPCM方式となる。理想としては、可逆で高能率な方式があればよいが、現状のDPCMによる可逆方式ではそれほど大きな効率を得られないという問題があり、パーソナルコンピュータ(PC)等で使用される比較的階調数の多い多値画像の圧縮には、DCT方式を使うことが主流になっている。しかし、DCT方式は圧縮率を高くすると特有のブロック歪みや輪郭部でモスキートノイズが発生し、画質が極端に劣化する。特に文字画像において、その傾向が顕著であるために画質的に大きな問題となっている。
【0008】
また、JPEG方式は、画像の記憶容量を少なくする用途では最適な方式であるが、デジタル複写機で使われる画像の編集・加工等の用途には最適ではない。なぜなら、符号状態で画像の位置を特定できない、言い換えれば、指定された画像の任意部分のみ復号処理することができないからである。よって、編集・加工処理を行うためには、一度、画像全てを復号し、復号後の画像に対して編集・加工を行い、必要であれば、再度、符号化を行うということになり、復号後の画像を記憶するための大きな記憶容量のメモリが必要になるという問題がある(例えば、A4サイズ、600dpi、RGBカラー画像で、約100Mbyte必要である)。
【0009】
このような編集・加工処理時のメモリの記憶容量の問題を解決する手段の一つに、固定長の符号化方式を利用することが考えられる。画像の符号化には符号化後の符号語長から可変長と固定長に大きく分けられる。前者の特徴は、後者に比べて符号化効率が良い点と可逆も可能である点にある。これ対し、後者の特徴は、符号の状態で符号化前の画像の位置がわかるために、画像中の任意の部分のみを再生することなどが可能である。これは、符号状態のまま、画像の編集・加工処理等が可能になることを意味している。しかし、その反面、可変長符号に比べて、一般的に符号化効率が悪く、可逆符号化も困難であるという問題がある。
【0010】
以上のJPEG方式の欠点を解決するために、JPEG2000と称する符号化方式が近年、注目されている。JPEG2000は、ウェーブレット変換を用いた変換符号化方式で、今後、カラー画像をはじめとする静止画像の分野において、JPEGに置き換わっていくだろうと予測されている。JPEG2000は、JPEGの欠点である低ビットレートでの画質劣化を少なくしたことに加え、実用的な新機能を多数備えている。その中の機能にタイル処理というものがあり、これは画像を小さな領域に分けて独立に符号化を行うため、符号状態で画像の領域を特定することが可能になり、結果的に、符号状態のままで画像の編集・加工処理が可能になる。
【0011】
しかし、このようなJPEG2000方式にも欠点はある。それは処理速度である。JPEG2000は多機能かつ高性能を実現するため、処理が複雑である。JPEGとの比較を例にすると、ソフトウェアによる処理では約4〜5倍の処理時間を必要とする。すなわち、JPEG2000の符号化処理は、高効率の符号化方式を採用しているため、非常に複雑な演算を必要とする。JPEG方式と比べて、その複雑度は数倍以上である。そして、処理の複雑さはそのまま処理時間に比例するため、JPEG2000の処理はJPEGに比べて長くなるという不具合となって現れ、特にソフトウェア処理による場合においては、その処理時間の長時間化は顕著である。
【0012】
本発明の目的は、画像の圧縮符号化処理を従来に比べて高速化することである。
【0013】
【課題を解決するための手段】
請求項1に記載の発明は、対象となる画像データを圧縮符号化する符号化手段と、この圧縮符号化後の符号とその符号化前の画像データとを関連付けて1又は複数組記憶する記憶手段と、この記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定する判定手段と、この判定により前記画像の同一性又は類似性がないと判定したときは前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記画像データと関連付けられている前記符号を出力する選択手段と、を備えている画像符号化装置である。
【0014】
したがって、過去に圧縮符号化した画像と同一性又は類似性のある画像については圧縮符号化することなく過去の符号を出力することで、画像の圧縮符号化処理の高速化を図ることができる。
【0015】
請求項2に記載の発明は、請求項1に記載の画像符号化装置において、前記判定手段は、前記記憶手段で記憶されている画像データと前記対象となる画像データとの各画素値が完全に同一であるときに前記同一性があると判断し、そうでないときは前記同一性がないと判断する。
【0016】
したがって、対象となる画像が過去に圧縮符号化した画像と同一性がある画像であるか否かを簡易に判定することができる。
【0017】
請求項3に記載の発明は、請求項1に記載の画像符号化装置において、前記判定手段は、各画素値の差の総計値をあらかじめ定められた閾値を下回るときは前記類似性があると判断し、そうでないときは前記類似性がないと判断する。
【0018】
したがって、対象となる画像が過去に圧縮符号化した画像と類似性がある画像であるか否かを簡易に判定することができる。
【0019】
請求項4に記載の発明は、請求項1〜3のいずれかの一に記載の画像符号化装置において、前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶する他、あらかじめ前記判定の対象とする所定の画像データ及びそれを圧縮符号化した符号とを関連付けて記憶している。
【0020】
したがって、全面が白や全面が黒などの特徴的な画像で、比較的画像として登場しやすい例を最初から登録しておくことで、画像を記憶手段で記憶する手間を省くこと等が可能となる。
【0021】
請求項5に記載の発明は、請求項1〜4のいずれかの一に記載の画像符号化装置において、前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとについて、1枚の画像及びその符号を複数に分割して、別々の記憶領域にそれぞれ記憶する。
【0022】
したがって、画像の同一性又は類似性の判定を1枚の画像の一部だけ行う、あるいは、画像の部分ごとに行なうことにより、処理を効率化することができる。
【0023】
請求項6に記載の発明は、請求項1〜5のいずれかの一に記載の画像符号化装置において、前記対象となる画像データについて画像を複数の領域に分割する分割手段を備え、前記符号化手段は、前記分割領域ごとに前記画像データの圧縮符号化を行い、前記記憶手段は、前記分割領域ごとに前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記判定手段は、前記分割領域ごとに前記記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定し、前記選択手段は、この判定により前記画像の同一性又は類似性がないと判定したときは前記分割領域ごとに前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記分割領域ごとの前記画像データと関連付けられている前記符号を出力する。
【0024】
したがって、1枚の画像を領域分割し、すでに圧縮符号化した領域と同一性又は類似性のある領域については圧縮符号化することなく符号化済みの符号を出力することで、画像の圧縮符号化処理の高速化を図ることができる。
【0025】
請求項7に記載の発明は、請求項1〜5のいずれかの一に記載の画像符号化装置と、この画像符号化装置で圧縮符号化後の符号を記憶する記憶装置と、を備え、この記憶している符号を用いて所定の処理を行う、画像処理装置である。
【0026】
したがって、請求項1〜5のいずれかの一に記載の発明と同様の作用、効果を奏することができる。
【0027】
請求項8に記載の発明は、対象となる画像データを圧縮符号化する符号化手段と、この圧縮符号化後の符号とその符号化前の画像データとを関連付けて1又は複数組記憶する記憶手段と、この記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定する判定手段と、この判定により前記画像の同一性又は類似性がないと判定したときは前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記画像データと関連付けられている前記符号を出力する選択手段と、をコンピュータに実行させるコンピュータに読み取り可能なプログラムである。
【0028】
したがって、過去に圧縮符号化した画像と同一性又は類似性のある画像については圧縮符号化することなく過去の符号を出力することで、画像の圧縮符号化処理の高速化を図ることができる。
【0029】
請求項9に記載の発明は、請求項8に記載のプログラムにおいて、前記判定手段は、前記記憶手段で記憶されている画像データと前記対象となる画像データとの各画素値が完全に同一であるときに前記同一性があると判断し、そうでないときは前記同一性がないと判断する。
【0030】
したがって、対象となる画像が過去に圧縮符号化した画像と同一性がある画像であるか否かを簡易に判定することができる。
【0031】
請求項10に記載の発明は、請求項8に記載のプログラムにおいて、前記判定手段は、各画素値の差の総計値をあらかじめ定められた閾値を下回るときは前記類似性があると判断し、そうでないときは前記類似性がないと判断する。
【0032】
したがって、対象となる画像が過去に圧縮符号化した画像と類似性がある画像であるか否かを簡易に判定することができる。
【0033】
請求項11に記載の発明は、請求項8〜10のいずれかの一に記載のプログラムにおいて、前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶する他、あらかじめ前記判定の対象とする所定の画像データ及びそれを圧縮符号化した符号とを関連付けて記憶している。
【0034】
したがって、全面が白や全面が黒などの特徴的な画像で、比較的画像として登場しやすい例を最初から登録しておくことで、画像を記憶手段で記憶する手間を省くこと等が可能となる。
【0035】
請求項12に記載の発明は、請求項8〜11のいずれかの一に記載のプログラムにおいて、前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとについて、1枚の画像及びその符号を複数に分割して、別々の記憶領域にそれぞれ記憶する。
【0036】
したがって、画像の同一性又は類似性の判定を1枚の画像の一部だけ行う、あるいは、画像の部分ごとに行なうことにより、処理を効率化することができる。
【0037】
請求項13に記載の発明は、請求項8〜12のいずれかの一に記載のプログラムにおいて、前記対象となる画像データについて画像を複数の領域に分割する分割手段をコンピュータ実行させ、前記符号化手段は、前記分割領域ごとに前記画像データの圧縮符号化を行い、前記記憶手段は、前記分割領域ごとに前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記判定手段は、前記分割領域ごとに前記記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定し、前記選択手段は、この判定により前記画像の同一性又は類似性がないと判定したときは前記分割領域ごとに前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記分割領域ごとの前記画像データと関連付けられている前記符号を出力する。
【0038】
したがって、1枚の画像を領域分割し、すでに圧縮符号化した領域と同一性又は類似性のある領域については圧縮符号化することなく符号化済みの符号を出力することで、画像の圧縮符号化処理の高速化を図ることができる。
【0039】
請求項14に記載の発明は、請求項8〜12のいずれかの一に記載のプログラムを記憶している記憶媒体である。
【0040】
したがって、記憶しているプログラムにより請求項8〜12のいずれかの一に記載の発明と同様の作用、効果を奏する。
【0041】
【発明の実施の形態】
[発明の実施の形態1]
本発明の一実施の形態を発明の実施の形態1として説明する。
【0042】
図1は、画像処理装置91の電気的な接続を示すブロック図である。この画像処理装置91には、パーソナルコンピュータ、ワークステーションなどが用いられる。図1に示すように、画像処理装置91は、各種演算を行ない、各部を集中的に制御するCPU92と、各種のROMやRAMからなるメモリ93とが、バス94で接続されている。
【0043】
バス94には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置95と、マウスやキーボードなどで構成される入力装置96と、LCDやCRTなどの表示装置97と、光ディスクなどの記憶媒体98を読取る記憶媒体読取装置99とが接続され、また、ネットワーク100と通信を行なう所定の通信インターフェイス101が接続されている。なお、通信インターフェイス101は、ネットワーク100を介してインターネットなどのWANに接続可能である。記憶媒体98としては、CDやDVDなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置99は、具体的には記憶媒体98の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【0044】
磁気記憶装置95には、この発明のプログラムを実施する画像処理プログラムが記憶されている。この画像処理プログラムは、この発明の記憶媒体を実施する記憶媒体98から記憶媒体読取装置99により読取るか、あるいは、インターネットなどのWANからダウンロードするなどして、磁気記憶装置95にインストールしたものである。このインストールにより画像処理装置91は動作可能な状態となる。なお、この画像処理プログラムは、所定のOS上で動作するものであってもよい。また、特定のアプリケーションソフトの一部をなすものであってもよい。
【0045】
本画像処理装置91においては、画像処理プログラムにもとづいて、図2〜図7を参照して後述するような処理を行うことができる。
【0046】
図2は、以上のようなハードウェア構成の画像処理装置91において、磁気記憶装置95にインストールされている画像処理プログラムに基づいてCPU92が実行する処理によって実現される画像符号化装置31の機能ブロック図である。
【0047】
画像符号化装置31は、入力される対象となる画像が過去に入力された各画像と同一性又は類似性があるか否かを判定する判定手段である画像判定処理部32と、入力される画像に対してJPEG2000アルゴリズムで圧縮符号化を行い、符号を出力する符号化手段である符号化処理部33と、過去に符号化された符号及びその符号の符号化前の画像データとを関連付けて1又は複数組記憶しておく記憶手段である符号記憶部34と、符号化処理部33で作成された符号と符号記憶部34に記憶されている符号とのうち、画像判定処理部32の判定結果に基づいて一方を択一的に選択して出力する選択手段である符号選択部35と、を備えている。
【0048】
動作の概要について説明すると、画像データはまず画像判定処理部32に入力され、入力される画像が過去に符号化した各画像(符号記憶部34に記憶されているもの)と同一か否かを判定する。同一性の判定の具体的な方法としては、例えば、画像の各画素値の差分を検出して、各画素の差分値の合計がゼロであれば画像は同一、そうでない場合には同一ではないと判定する方法が考えられる。画像判定処理部32の判定結果は符号選択部35に伝えられる。符号選択部35は画像判定処理部32の結果から、画像が同一でない場合には、符号化処理部33において符号化された符号を選択して出力し、次回以降の符号化に利用するために、この作成された符号を符号記憶部34に記憶する。一方、同一である場合には、すでに符号化済みの符号が符号記憶部34に記憶されているので、同一であると判定された画像を符号化した符号を符号記憶部34から抽出して、出力する。以上の動作を一連の画像の符号化が完了するまで続ける。
【0049】
画像判定処理部32、符号化処理部33、符号記憶部34、符号選択部35の間の動作タイミングには様々な例が考えられるが、その一例について次に説明する。まず、画像判定処理部32で画像の同一、非同一を判定しながら符号化処理部33で画像の符号化を行う。符号選択部35は、その間、符号化処理部33から入力される符号を記憶しておく。画像判定処理部32での判定が確定した時点で符号選択部35は動作に入り、画像判定処理部32の判定で画像が同一でない場合には、符号化処理部33で新たに作成されて送られてくる符号を順次出力する。画像が同一であると判定された場合には、符号化処理部33での動作を停止し、符号記憶部34から同一であると判定された画像を符号化した符号を抽出して出力する。
【0050】
このようにすれば、すべての画像を符号化する必要はないので、画像の符号化の処理の効率化が図られ、処理時間を短くすることができる。ただし、前述の各部の動作タイミングは、ハードウェア等により実行する処理により並列処理ができる場合に可能となるもので、ソフトウェア処理等により並列処理が困難な場合の符号化においては、画像判定処理部32での判定確定後に、符号化処理部33での画像の符号化を開始するか、符号記憶部34からの過去の符号を抽出するかの動作となる。
【0051】
上記の例で説明した画像判定処理部32での画像の同一性の判定基準は、各画素の画素値が「完全に同一」の場合である。これは、画像を印刷する場合等、高画質で符号化する際には適しているが、画像を外部のPC21などに送信してディスプレイに表示する等の用途で用いる場合には幾分冗長である。
【0052】
そこで、画像の各画素値が「完全に同一」でなくとも、両画像に類似性があること、すなわち、画像の各画素値の差の総計値をあらかじめ定められた閾値(例えば、その値はユーザが指定するようにしてもよい)と比較して、閾値を下回っていれば、入力された画像と符号記憶部34に記憶されている画像とは類似性があると判断して、符号記憶部34に記憶されている符号を用い、符号化処理部33での符号化は行わないようにして、閾値を上回っていれば、入力された画像と符号記憶部34に記憶されている画像とは類似性がなると判断して、符号化処理部33で画像の符号化を行なうようにすればよい。
【0053】
そして、この場合に、用いる閾値の値を調整すれば、符号化の際の画質と処理速度とを制御することが可能である。すなわち、閾値の値を大きくすれば、入力された画像と符号記憶部34に記憶されている画像との違いがやや大きめでも符号記憶部34に記憶されている画像を用いるので、符号化の際の画質はやや低下するものの処理速度は高速化することができる。逆に、閾値の値を小さくすれば、符号化の際の処理速度はやや低下するものの高画質化を図ることができる。
【0054】
また、次のような構成としてもよい。すなわち、図3に示すように、符号記憶部34に、特徴的な画像及びその画像を符号化して得られる符号を記憶している固定符号パターン部41と、新規に画像及びその画像を符号化して得られる符号を記憶する新規符号パターン部42とを用意することが考えられる。これは、全面が白(画素値0)や全面が黒(画素値255)などの特徴的な画像で、比較的画像として登場しやすい例を最初から登録しておくことで、符号記憶部34における画像の登録の手間がなくなる等の利点がある。新規符号パターン部42には、図2を参照して前述した符号記憶部34の場合と同様に過去の画像及び符号を記憶する。
【0055】
さらには、図4に示すように、符号記憶部34の構成を、複数の記憶領域(符号記憶領域43と符号記憶領域44)に分割して管理することも考えられる。すなわち、1枚の画像及びその符号を記憶する領域が大きくなると、該当符号を抽出する際の処理速度が遅くなる、蓄積されている画像及び符号の管理等が複雑になるなどの不具合が生じる。そこで、図4の例では、1枚の画像及びその符号を複数(この例では2つ)に分割して、別々の記憶領域43と44にそれぞれ記憶しておき、分割した画像の分割部分のうち、使用するのに適した方を選択して使用することで(もちろん1枚の画像を構成するすべての分割部分を使用してもよい)、高速な処理を実現しようとするものである。よって、画像判定処理部32で新規の画像との比較に用いる画像や、符号選択部35が出力する符号は1枚の画像の分割部分ごととなる。
【0056】
図2〜図4を参照して説明した各例は、どのような入力画像に対しても有効であるが、特に、比較的低解像度の静止画を連続再生するようなMotion JPEG2000等のアプリケーションを用いる場合に多大な効果が得られる。すなわち、この場合に、Motion JPEG2000等のアプリケーションを用いた動画などの画像データについて、符号記憶部34に記憶される過去の符号及びその符号化前の画像データは一本の動画像の先行するフレームの画像であり、画像判定処理部32で、その先行するフレームの画像と後続のフレームの画像とを比較して、後続のフレームについては符号化処理部33において適宜符号化を行わないようにするので、全体として符号化処理を高速化することができる。
【0057】
次に、画像符号化装置31の別の例について説明する。図5に示すように、この画像符号化装置31は、入力される画像を複数の領域に分割する、この例では、JPEG2000のタイル符号化を利用できるようにタイル分割する、分割手段であるタイル分割部51と、タイル分割部51から入力されるタイル画像が過去に入力された各タイル画像と同一性又は類似性があるか否かを判定する判定手段であるタイル判定処理部52と、入力されるタイル画像に対してJPEG2000アルゴリズムにより圧縮符号化を行い、タイル符号を出力する符号化手段である符号化処理部53と、過去に符号化されたタイル符号とそのタイル画像とを関連付けて記憶しておく記憶手段であるタイル符号記憶部54と、符号化処理部53で作成されたタイル符号とタイル符号記憶部54に記憶されているタイル符号とのうち、タイル判定処理部52の判定結果に基づいて一方を択一的に選択して出力する選択手段であるタイル符号選択部55とを備えている。
【0058】
次に、この画像符号化装置31の動作の概要を説明すると、入力された画像データは、まずタイル分割部51に入力され、JPEG2000のタイル符号化が適用できるタイル形式にタイル分割する。タイル変換の一例としては、水平方向128画素、垂直方向128画素の矩形状の画像領域(タイル)を形成することが挙げられる。作成されたタイル画像はタイル判定処理部52に入力され、入力されるタイル画像が、過去に符号化したタイル符号に関連付けてタイル符号記憶部54に記憶されているタイル画像と同一又は類似性があるか否かを判定する。これは、前述の図2を参照して説明した例に準じて、各タイル画像における各画素の画素値の差分を検出して、各画素の画素値の差分値の合計がゼロであれば両画像は同一、そうでない場合には両画像は非同一と判定することが考えられる。タイル判定処理部52における判定結果はタイル符号選択部55に伝えられる。タイル符号選択部35はタイル判定処理部52での判定結果から、入力されたタイル画像とタイル符号記憶部54の各タイル画像とが同一又は類似でない場合には、符号化処理部53において、符号化されたタイル符号を選択して出力し、次回以降の符号化に利用するために、作成されたタイル符号をその符号化前のタイル画像と関連付けてタイル符号記憶部54に記憶する。一方、同一又は類似である場合には、そのタイル画像について符号化済みのタイル符号がタイル符号記憶部54に記憶されているので、該当するタイル符号をタイル符号記憶部54から抽出して、これを出力する。以上の動作を一連のタイル画像について符号化が完了するまで続ける。
【0059】
タイル判定処理部52、符号化処理部53、タイル符号記憶部54、タイル符号選択部55間の動作タイミングには、様々なタイミングが考えられるが、これも、図2を参照して説明した例に準じて構成することができる。すなわち、タイル判定処理部52でタイル画像を判定しながら符号化処理部33で符号化を行う。タイル符号選択部35は、その間、符号化処理部33から入力される符号を記憶しておく。タイル判定処理部52での判定が確定した時点でタイル符号選択部35は動作に入り、入力されたタイル画像とタイル符号記憶部54のタイル画像とが同一でない場合には、新たに作成されて符号化処理部53から送られてくるタイル符号を順次出力する。一方、同一であると判断された場合には、符号化処理部33での動作を停止し、タイル符号記憶部54から該当するタイル画像に対応付けられて記憶されているタイル符号を抽出し、出力する。
【0060】
このようにすれば、符号化処理の効率化が図られ、処理時間を短くすることができる。ただし、図2の例と同様に、ハードウェア等により処理することで並列処理できる場合に可能となる方法で、ソフトウェア処理を用いた場合等、並列処理が困難なときには、タイル判定処理部52での判定確定後に、JPEG2000による符号化を実行するか、タイル符号記憶部54から符号を抽出するかの動作となる。
【0061】
なお、タイル判定処理部52における判定は、図2の例における画像判定処理部32の処理のように閾値を用いた画像の類似性の判定を行ってもよい。
【0062】
また、図6のように、タイル符号記憶部54に新規タイル符号パターン部61と、固定タイル符号パターン部62とを用意して、図3を参照して説明した例と同様の処理を行うようにしてもよい。すなわち、特徴的なタイル画像を符号化して得られるタイル符号及びその符号化前のタイル画像を固定タイル符号パターン部62に記憶しておき、新規にタイル符号及びその符号化前のタイル画像を新規タイル符号パターン部61に記憶するようにして、図3を参照して説明した例と同様の処理を行う。かかる処理は、全面が白(画素値0)や全面が黒(画素値255)といった特徴的なタイル画像で、画像の背景等として比較的登場しやすいタイル画像を最初から登録しておくことで、タイル符号記憶部54への登録の手間が無くなる等の利点がある。
【0063】
さらには、図7に示すように、タイル符号記憶部54の構成を、複数の記憶領域(タイル符号記憶領域63とタイル符号記憶領域64)に分割して管理して、図4を参照して説明した前述の処理と同様の処理を行うようにしてもよい。
【0064】
すなわち、1枚のタイル画像及びそのタイル符号を記憶する領域が大きくなると、該当タイル符号を抽出する際の処理速度が遅くなる、蓄積されているタイル画像及びタイル符号の管理等が複雑になるなどの不具合が生じる。そこで、1枚のタイル画像及びそのタイル符号を複数(この例でも2つ)に分割して、別々の記憶領域63と64にそれぞれ記憶しておき、分割したタイル画像の分割部分のうち、使用するのに適した方を選択して使用することで(もちろん1枚のタイル画像を構成するすべての分割部分を使用してもよい)、高速な処理を実現しようとするものである。よって、タイル判定処理部52で新規の画像との比較に用いる画像や、タイル符号選択部55が出力する符号は1枚のタイル画像の分割部分ごととなる。
【0065】
図5〜図7を参照して説明した例は、どのような入力画像に対しても有効であり、一枚の画像をタイル分割してタイルごとに圧縮符号化する際の処理の高速化を図ることができる。
【0066】
「発明の実施の形態2」
本発明の別の実施の形態を発明の実施の形態2として説明する。
【0067】
図8は、本発明の画像処理装置を実施した複写機1の電気的な接続を示すブロック図である。原稿を光学的に読み取るスキャナである読み取りユニット11は、原稿に対するランプ照射の反射光をミラーおよびレンズなどからなる光学系によりCCD(電荷結合素子)などの光電変換素子に集光する。この光電変換素子は、SBU(センサ・ボード・ユニット)12に搭載され、受光素子において電気信号に変換された画像信号はデジタル画像信号に変換された後、SBU12から出力される。SBU12から出力される画像信号はCDIC13(圧縮/伸長およびデータインターフェイス制御部)13に入力される。機能デバイスおよびデータバス間における画像データの伝送はCDIC13が全て制御する。CDIC13は画像データに関し、SBU12、パラレルバス14、IPP15(画像処理プロッセッサ)間のデータ転送、本システムの全体制御を司るシステムコントローラ(CPU)16と画像データに対するプロセスコントローラ27間の通信を行なう。符号16a,16bは、システムコントローラ16が使用するROM、RAMである。それぞれSBU12からの画像信号は、CDIC13を経由してIPP15に転送され、光学系およびデジタル画像信号への量子化に伴う信号劣化(スキャナ系の信号劣化とする)が補正されて、再度CDIC13へ出力される。
【0068】
この複写機1では、読み取りユニット11による読み取り画像をメモリに蓄積して再利用するジョブと、メモリに蓄積しないジョブとがあり、以下ではそれぞれの場合について説明する。メモリに蓄積する例としては、1枚の同一原稿を複数枚複写する場合、読み取りユニット11で1回だけ原稿の読取動作を行い、メモリに蓄積し、蓄積データを複数回読み出す使い方がある。メモリを使わない例としては、1枚の原稿を1枚だけ複写する場合、読み取り画像をそのまま印刷すればよいので、メモリアクセスを行なう必要はない。
【0069】
まず、メモリを使わない場合、IPP15からCDIC13へ転送された画像データは、再度CDIC13からIPP15へ戻される。IPP15において受光素子による輝度データを面積階調に変換するための画質処理を行なう。この画質処理後の画像データはIPP15からVDC(ビデオ・データ制御)17に転送する。そして、面積階調に変化された信号に対し、ドット配置に関する後処理およびドットを再現するためのパルス制御を行い、電子写真方式で画像形成するプリンタエンジンである作像ユニット18により、転写紙上に再生画像を形成する。なお、作像ユニット18の印刷方式は、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、様々な方式を用いることができる。
【0070】
メモリに画像データを蓄積し、画像データの読み出し時に付加的な処理、例えば、画像方向の回転、画像の合成等を行なう場合の画像データの流れを説明する。IPP15からCDIC13へ転送された画像データは、CDIC13からパラレルバス14を経由してIMAC(画像メモリアクセス制御)19に送られる。IMAC19では、システムコントローラ16の制御に基づき、画像データの記憶装置であるMEM(メモリモジュール)20へのアクセス制御、外部のPC(パソコン)21へのプリント用データの展開、MEM20のメモリ有効活用のための画像データの圧縮/伸長を行なう。IMAC19へ送られた画像データはデータ圧縮後MEM20へ蓄積され、この蓄積データは必要に応じて読み出される。読み出した画像データは伸長されて本来の画像データに戻され、IMAC19からパラレルバス経由でCDIC13へ戻される。
【0071】
CDIC13からIPP15への転送後は画像データに対して画質処理およびVDC17でのパルス制御を行い、その画像データにより作像ユニット18において転写紙上に画像形成する。
【0072】
この複写機1は、いわゆる複合機であり、FAX送信機能を備えている。このFAX送信機能は、読み取り画像データにIPP15にて画像処理を実施し、CDIC13およびパラレルバス14を経由してFCU(FAX制御ユニット)22へ転送する。FCU22にて通信網へのデータ変換を行い、PN(公衆回線)23へFAXデータとして送信する。FAX受信は、PN23からの回線データをFCU22で画像データへ変換し、パラレルバス14およびCDIC13を経由してIPP15へ転送する。この場合、特別な画質処理は行なわず、VDC17においてドット再配置およびパルス制御を行い、作像ユニット18において転写紙上に再生画像を形成する。
【0073】
複数のジョブ、例えば、コピー機能、FAX送受信機能、プリンタ出力機能が並行に動作する状況において、読み取りユニット、作像ユニットおよびパラレルバス14の使用権のジョブへの割り振りをシステムコントローラ16およびプロセスコントローラ27で制御する。
【0074】
プロセスコントローラ(CPU)27は画像データの流れを制御し、システムコントローラ16はシステム全体を制御し、各リソースの起動を管理する。符号27a,27bは、プロセスコントローラ27が使用するROM、RAMである。
【0075】
ユーザは、操作パネル24を選択入力することで各種の機能の選択を行ない、コピー機能、FAX機能等の処理内容を設定する。
【0076】
システムコントローラ16とプロセスコントローラ27はパラレルバス14、CDIC13およびシリアルバス25を介して相互に通信を行なう。この際、CDIC13内においては、パラレルバス14とシリアルバス25とのデータインターフェイスのためのデータフォーマット変換を行なう。
【0077】
MLC(Media Link Controller)26は、画像データの符号変換の機能を実現する。具体的にはCDIC13で使用される符号化方式、IMAC19で使用される符号化方式から他の符号化方式への変換(例えば、標準であるJPEG方式等)を行なう。
【0078】
複写機1は、ROM16aに記憶されている制御プログラムに基づいてシステムコントローラ16が実行する処理又はIPP15やMLC26が実行する処理によって、前述の図2〜図7を参照して説明した画像符号化装置31の機能を実現する。
【0079】
画像符号化装置31は、作像ユニット18で読み取ったもの等の画像データをJPEG2000アルゴリズムで圧縮符号化する装置である。圧縮符号化した符号は、MEM20に記憶される。そして、このMEM20に記憶された符号は復号化され、あるいはそのまま利用されて、作像ユニット18で画像形成される等、所定の処理に利用される。
【0080】
特に、図4〜図7を参照して説明した処理は、読み取りユニット11で読み取る等して取得した1枚の静止画の画像データをJPEG2000アルゴリズムで圧縮符号化してMEM20に記憶する等の処理を行う場合に、一枚の画像をタイル分割してタイルごとに圧縮符号化する際の処理の高速化を図ることができ、有益である。
【0081】
【発明の効果】
請求項1,8に記載の発明は、過去に圧縮符号化した画像と同一性又は類似性のある画像については圧縮符号化することなく過去の符号を出力することで、画像の圧縮符号化処理の高速化を図ることができる。
【0082】
請求項2,9に記載の発明は、請求項1,8に記載の発明において、対象となる画像が過去に圧縮符号化した画像と同一性がある画像であるか否かを簡易に判定することができる。
【0083】
請求項3,10に記載の発明は、請求項1,8に記載の発明において、対象となる画像が過去に圧縮符号化した画像と類似性がある画像であるか否かを簡易に判定することができる。
【0084】
請求項4,11に記載の発明は、請求項1〜3,8〜10のいずれかの一に記載の発明において、全面が白や全面が黒などの特徴的な画像で、比較的画像として登場しやすい例を最初から登録しておくことで、画像を記憶手段で記憶する手間を省くこと等が可能となる。
【0085】
請求項5,12に記載の発明は、請求項1〜4,8〜11のいずれかの一に記載の発明において、画像の同一性又は類似性の判定を1枚の画像の一部だけ行う、あるいは、画像の部分ごとに行なうことにより、処理を効率化することができる。
【0086】
請求項6,13に記載の発明は、請求項1〜5,8〜12のいずれかの一に記載の発明において、1枚の画像を領域分割し、すでに圧縮符号化した領域と同一性又は類似性のある領域については圧縮符号化することなく符号化済みの符号を出力することで、画像の圧縮符号化処理の高速化を図ることができる。
【0087】
請求項7に記載の発明は、請求項1〜5のいずれかの一に記載の発明と同様の作用、効果を奏することができる。
【0088】
請求項14に記載の発明は、記憶しているプログラムにより請求項8〜12のいずれかの一に記載の発明と同様の作用、効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態1である画像処理装置の電気的な接続のブロック図である。
【図2】画像符号化装置の機能ブロック図である。
【図3】画像符号化装置の他の例の機能ブロック図である。
【図4】画像符号化装置の他の例の機能ブロック図である。
【図5】画像符号化装置の他の例の機能ブロック図である。
【図6】画像符号化装置の他の例の機能ブロック図である。
【図7】画像符号化装置の他の例の機能ブロック図である。
【図8】本発明の実施の形態2である複写機の電気的な接続のブロック図である。
【符号の説明】
1 画像処理装置
20 記憶装置
31 画像符号化装置
32 判定手段
33 符号化手段
34 記憶手段
35 選択手段
51 分割手段
52 判定手段
53 符号化手段
54 記憶手段
55 選択手段
91 画像処理装置
98 記憶媒体
Claims (14)
- 対象となる画像データを圧縮符号化する符号化手段と、
この圧縮符号化後の符号とその符号化前の画像データとを関連付けて1又は複数組記憶する記憶手段と、
この記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定する判定手段と、
この判定により前記画像の同一性又は類似性がないと判定したときは前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記画像データと関連付けられている前記符号を出力する選択手段と、
を備えている画像符号化装置。 - 前記判定手段は、前記記憶手段で記憶されている画像データと前記対象となる画像データとの各画素値が完全に同一であるときに前記同一性があると判断し、そうでないときは前記同一性がないと判断する、請求項1に記載の画像符号化装置。
- 前記判定手段は、各画素値の差の総計値をあらかじめ定められた閾値を下回るときは前記類似性があると判断し、そうでないときは前記類似性がないと判断する、請求項1に記載の画像符号化装置。
- 前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶する他、あらかじめ前記判定の対象とする所定の画像データ及びそれを圧縮符号化した符号とを関連付けて記憶している、請求項1〜3のいずれかの一に記載の画像符号化装置。
- 前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとについて、1枚の画像及びその符号を複数に分割して、別々の記憶領域にそれぞれ記憶する、請求項1〜4のいずれかの一に記載の画像符号化装置。
- 前記対象となる画像データについて画像を複数の領域に分割する分割手段を備え、
前記符号化手段は、前記分割領域ごとに前記画像データの圧縮符号化を行い、
前記記憶手段は、前記分割領域ごとに前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、
前記判定手段は、前記分割領域ごとに前記記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定し、
前記選択手段は、この判定により前記画像の同一性又は類似性がないと判定したときは前記分割領域ごとに前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記分割領域ごとの前記画像データと関連付けられている前記符号を出力する、請求項1〜5のいずれかの一に記載の画像符号化装置。 - 請求項1〜5のいずれかの一に記載の画像符号化装置と、
この画像符号化装置で圧縮符号化後の符号を記憶する記憶装置と、
を備え、
この記憶している符号を用いて所定の処理を行う、
画像処理装置。 - 対象となる画像データを圧縮符号化する符号化手段と、
この圧縮符号化後の符号とその符号化前の画像データとを関連付けて1又は複数組記憶する記憶手段と、
この記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定する判定手段と、
この判定により前記画像の同一性又は類似性がないと判定したときは前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記画像データと関連付けられている前記符号を出力する選択手段と、
をコンピュータに実行させるコンピュータに読み取り可能なプログラム。 - 前記判定手段は、前記記憶手段で記憶されている画像データと前記対象となる画像データとの各画素値が完全に同一であるときに前記同一性があると判断し、そうでないときは前記同一性がないと判断する、請求項8に記載のプログラム。
- 前記判定手段は、各画素値の差の総計値をあらかじめ定められた閾値を下回るときは前記類似性があると判断し、そうでないときは前記類似性がないと判断する、請求項8に記載のプログラム。
- 前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶する他、あらかじめ前記判定の対象とする所定の画像データ及びそれを圧縮符号化した符号とを関連付けて記憶している、請求項8〜10のいずれかの一に記載のプログラム。
- 前記記憶手段は、前記圧縮符号化後の符号とその符号化前の画像データとについて、1枚の画像及びその符号を複数に分割して、別々の記憶領域にそれぞれ記憶する、請求項8〜11のいずれかの一に記載のプログラム。
- 前記対象となる画像データについて画像を複数の領域に分割する分割手段をコンピュータ実行させ、
前記符号化手段は、前記分割領域ごとに前記画像データの圧縮符号化を行い、
前記記憶手段は、前記分割領域ごとに前記圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、
前記判定手段は、前記分割領域ごとに前記記憶されている各画像データと前記対象となる画像データとの画像の同一性又は類似性を判定し、
前記選択手段は、この判定により前記画像の同一性又は類似性がないと判定したときは前記分割領域ごとに前記対象となる画像データについて前記符号化手段により符号化を行ない前記記憶手段でその圧縮符号化後の符号とその符号化前の画像データとを関連付けて記憶し、前記画像の同一性又は類似性があると判定したときはその同一性又は類似性があると判定した前記記憶手段で記憶されている前記分割領域ごとの前記画像データと関連付けられている前記符号を出力する、請求項8〜12のいずれかの一に記載のプログラム。 - 請求項8〜13のいずれかの一に記載のプログラムを記憶している記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003196909A JP2005039316A (ja) | 2003-07-15 | 2003-07-15 | 画像符号化装置、画像処理装置、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003196909A JP2005039316A (ja) | 2003-07-15 | 2003-07-15 | 画像符号化装置、画像処理装置、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005039316A true JP2005039316A (ja) | 2005-02-10 |
Family
ID=34207209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003196909A Pending JP2005039316A (ja) | 2003-07-15 | 2003-07-15 | 画像符号化装置、画像処理装置、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005039316A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902578A (zh) * | 2009-05-26 | 2010-12-01 | 三洋电机株式会社 | 图像再现装置及拍摄装置 |
US8291129B2 (en) | 2010-01-21 | 2012-10-16 | Fuji Xerox Co., Ltd. | Data processing device |
-
2003
- 2003-07-15 JP JP2003196909A patent/JP2005039316A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902578A (zh) * | 2009-05-26 | 2010-12-01 | 三洋电机株式会社 | 图像再现装置及拍摄装置 |
US8291129B2 (en) | 2010-01-21 | 2012-10-16 | Fuji Xerox Co., Ltd. | Data processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5558767B2 (ja) | 画像処理装置及びその処理方法 | |
US8224101B2 (en) | Image processing apparatus and control method thereof with color data and monochrome data selection | |
CN1756296B (zh) | 图像处理装置和图像处理方法 | |
JP2004080520A (ja) | 画像処理装置、画像読取装置及び画像形成装置 | |
JP2004134937A (ja) | 画像処理装置 | |
US20110032552A1 (en) | Data processing apparatus and data processing method | |
US7362904B2 (en) | Image processing device, image forming apparatus, program, and storing medium | |
JP2004112695A (ja) | 画像処理装置及びその処理方法 | |
JP2003046789A (ja) | 画像符号化装置及び画像復号化装置 | |
JP2005039316A (ja) | 画像符号化装置、画像処理装置、プログラム及び記憶媒体 | |
US20040179741A1 (en) | Image processing apparatus | |
JP4217175B2 (ja) | 画像サーバ及びプログラム | |
JP4195624B2 (ja) | 画像処理装置、画像形成装置、画像読取装置、プログラム及び記憶媒体 | |
KR20090072903A (ko) | 하프톤 영상 인코딩 및 디코딩 방법 및 장치 | |
JP4656457B2 (ja) | 画像処理システム | |
JP3952981B2 (ja) | 画像処理装置 | |
US20040258315A1 (en) | Image processing system, image forming apparatus, image processing method, program and recording medium | |
JP4719924B2 (ja) | 画像処理装置および画像処理方法 | |
JP2005192075A (ja) | 画像情報システム及び画像登録処理方法 | |
JP5186820B2 (ja) | 符号化装置、符号化方法および符号化プログラム | |
JP2001111841A (ja) | 印刷システム | |
JP2013143609A (ja) | 画像処理装置、符号化方法及び復号化方法 | |
JP2007060267A (ja) | 縮小レイアウト機能を持った画像処理システム | |
JPH0435361A (ja) | 画像符号化装置および画像符号化・複合化装置 | |
JP2003116005A (ja) | 符号量制御装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060621 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080520 |