JP2004112260A - 画像処理装置、画像形成装置、プログラム及び記憶媒体 - Google Patents
画像処理装置、画像形成装置、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2004112260A JP2004112260A JP2002271186A JP2002271186A JP2004112260A JP 2004112260 A JP2004112260 A JP 2004112260A JP 2002271186 A JP2002271186 A JP 2002271186A JP 2002271186 A JP2002271186 A JP 2002271186A JP 2004112260 A JP2004112260 A JP 2004112260A
- Authority
- JP
- Japan
- Prior art keywords
- image
- size
- processing apparatus
- image processing
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 91
- 238000000034 method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Editing Of Facsimile Originals (AREA)
- Record Information Processing For Printing (AREA)
- Image Processing (AREA)
Abstract
【課題】圧縮符号化された画像について、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができるようにする。
【解決手段】位置情報付加部２４は、ＪＰＥＧ２０００アルゴリズムで画像データを圧縮符号化したコードストリームの各タイルに、画像中における新たな位置を示す位置情報などを付与して、新たなコードストリームを生成する。これにより、この生成後のコードストリームの画像は、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して、画像のサイズの変更や、画像の領域の移動を行なった画像となる。
【選択図】 図２
【解決手段】位置情報付加部２４は、ＪＰＥＧ２０００アルゴリズムで画像データを圧縮符号化したコードストリームの各タイルに、画像中における新たな位置を示す位置情報などを付与して、新たなコードストリームを生成する。これにより、この生成後のコードストリームの画像は、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して、画像のサイズの変更や、画像の領域の移動を行なった画像となる。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像形成装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
画像をタイル単位に符号化することにより、画像の一部を復号したいときに、画像全体を復号しなくとも、復号したい領域を含むタイルだけ復号すればよい技術が知られている（特許文献１参照）。
【０００３】
また、画像圧縮伸長アルゴリズムとして、最近では、国際標準としてＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００４】
【特許文献１】
特開２００１−１９７５００公報
【特許文献２】
特開平８−７０４５５号公報
【０００５】
【発明が解決しようとする課題】
圧縮符号化された画像について、画像内容はそのまま維持して単に画像のサイズを拡大しようとする場合には、従来のＪＰＥＧ方式で圧縮符号化された画像については、一度全ての符号データを復号して編集を行なう必要があった。
【０００６】
そのため、このような処理を高速で少ないメモリ容量で実行することが困難であるという不具合があった。
【０００７】
本発明の目的は、圧縮符号化された画像について、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができるようにすることである。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、画像を複数の小領域に分割し、小領域ごとに独立して圧縮符号化したコードストリームを対象として、このコードストリームの画像に対して画像のサイズの変更又は画像の領域の移動を設定する設定手段と、この設定に応じて前記小領域の位置情報を書換えることにより、前記コードストリームについて、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して画像のサイズの変更又は画像の領域の移動を行なう画像位置情報変更手段と、を備えている画像処理装置である。
【０００９】
したがって、コードストリームを復号しなくても符号データのまま画像のサイズの変更又は画像の領域の移動を行なうことができるので、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記位置情報変更手段は、元の画像の全部の画像内容はそのままに、元の画像に対して画像のサイズの拡大を行なう。
【００１１】
したがって、コードストリームを復号しなくても符号データのまま画像のサイズの拡大を行なうことができるので、画像のサイズの拡大を少ないメモリ容量で高速に実行することができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、前記位置情報変更手段は、元の画像の一部の画像内容はそのままに、元の画像に対して画像のサイズの縮小を行なう。
【００１３】
したがって、コードストリームを復号しなくても符号データのまま画像のサイズの縮小を行なうことができるので、画像のサイズの縮小を少ないメモリ容量で高速に実行することができる。
【００１４】
請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記位置情報変更手段は、元の画像の全部の画像内容はそのままに、元の画像に対して画像の領域の移動を行なう。
【００１５】
したがって、コードストリームを復号しなくても符号データのまま画像の領域の移動を行なうことができるので、画像の領域の移動を少ないメモリ容量で高速に実行することができる。
【００１６】
請求項５に記載の発明は、請求項２又は４に記載の画像処理装置において、前記画像内容を有する前記小領域以外の前記小領域について符号データを生成して前記コードストリームに付加する符号データ生成手段を備えている。
【００１７】
したがって、元の画像内容を含まない小領域にも画像を与えることができる。
【００１８】
請求項６に記載の発明は、請求項５に記載の画像処理装置において、前記符号データ生成手段は、各画素値に所定の値を与えた前記符号データの生成を行なう。
【００１９】
したがって、元の画像内容を含まない小領域にも所定の画素値の画像を与えることができる。この小領域に与える画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【００２０】
請求項７に記載の発明は、請求項５に記載の画像処理装置において、前記符号データを生成する前記小領域について画像の原稿の地肌部の画素値を検出する地肌検出手段を備え、前記符号データ生成手段は、前記検出値を前記各画素値に与えた前記符号データの生成を行なう。
【００２１】
したがって、原稿の地肌部の画素値を検出して、元の画像内容を含まない小領域にも原稿の地肌部の画素値を与えることができる。
【００２２】
請求項８に記載の発明は、請求項３に記載の画像処理装置において、前記一部の画像以外の前記小領域については削除する削除手段を備えている。
【００２３】
したがって、不要な符号データを削除して、データ量を低減することができる。
【００２４】
請求項９に記載の発明は、請求項３に記載の画像処理装置において、前記画像位置情報変更手段は、前記一部の画像以外の前記小領域については当該小領域を画像の領域外とする位置情報に書換える。
【００２５】
したがって、領域外とした小領域から元の画像を復元することが可能となる。
【００２６】
請求項１０に記載の発明は、請求項２又は４に記載の画像処理装置において、半端なサイズの前記小領域を削除する削除手段を備えている。
【００２７】
したがって、画像として必要ないとき等に、位置情報の書換えによりサイズが変化する半端な小領域を省くことができる。
【００２８】
請求項１１に記載の発明は、請求項２又は４に記載の画像処理装置において、半端なサイズの前記小領域を復号して前記小領域の本来のサイズの画像として再度前記圧縮符号化するサイズ変更手段を備えている。
【００２９】
したがって、画像として必要なとき等に、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【００３０】
請求項１２に記載の発明は、請求項２又は４に記載の画像処理装置において、半端なサイズの前記小領域について、有意性のある画像が含まれているか否かを判断する有意性判定手段と、この判断により有意性のある画像が含まれているときは、当該小領域を復号して前記小領域の本来のサイズの画像として再度前記圧縮符号化するサイズ変更手段と、この判断により有意性のある画像が含まれていないときは、前記位置情報の書換えによりサイズが変化する前記小領域を削除する削除手段と、を備えている。
【００３１】
したがって、画像に有意性がなくて必要ないときには、位置情報の書換えによりサイズが変化する半端な小領域を省き、画像に有意性があって必要なときには、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【００３２】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像処理装置において、前記サイズ変更手段は、前記小領域を本来のサイズの画像とすると画像内容のない部分については所定の画素値の画像を与える。
【００３３】
したがって、本来のサイズの画像とすると画像内容のない部分を所定の画素値の画像で補うことができる。この小領域に補なう画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【００３４】
請求項１４に記載の発明は、請求項１１又は１２に記載の画像処理装置において、前記符号データを生成する前記小領域について画像の原稿の地肌部の画素値を検出する地肌検出手段を備え、前記サイズ変更手段は、前記小領域の本来のサイズの画像とすると画像内容のない部分については前記検出値の画素値の画像を与える。
【００３５】
したがって、原稿の地肌部の画素値を検出して、小領域の元の画像内容を含まない部分にも原稿の地肌部の画素値を与えることができる。
【００３６】
なお、符号化手段は、２次元離散ウェーブレット変換及びエントロピー符号化又は算術符号化を用いて前記圧縮符号化を行なうようにすることができる（請求項１５）。これは、ＪＰＥＧ２０００アルゴリズムを用いることができる（請求項１６）。
【００３７】
請求項１７に記載の発明は、請求項２に記載の画像処理装置において、前記設定手段は、前記画像のサイズの拡大を行なう際の前記画像内容の表示位置及び拡大倍率の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう。
【００３８】
したがって、サイズの拡大の場合に画像内容の表示位置及び拡大倍率をユーザが指定することができる。
【００３９】
請求項１８に記載の発明は、請求項３に記載の画像処理装置において、前記設定手段は、前記画像のサイズの縮小を行なう際の前記一部の画像内容の範囲及び縮小倍率の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう。
【００４０】
したがって、縮小しても残す画像内容の範囲及び縮小倍率をユーザが指定することができる。
【００４１】
請求項１９に記載の発明は、請求項４に記載の画像処理装置において、前記設定手段は、前記領域の移動を行なう際の前記画像内容の表示位置の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう。
【００４２】
したがって、領域の移動の場合に画像内容の表示位置をユーザが指定することができる。
【００４３】
なお、画像を複数の小領域に分割する分割手段と、この分割後の小領域ごとに独立して圧縮符号化したコードストリームを生成する符号化手段と、を備え、前記画像位置情報変更手段は、前記符号化手段で生成したコードストリームに対して、前記位置情報の書換えを行なうようにしてもよい（請求項２０）。
【００４４】
請求項２１に記載の発明は、原稿の画像を読取るスキャナと、この読取った画像データを処理する請求項２０に記載の画像処理装置と、この処理により生成された前記コードストリームに基づいて用紙上に画像の形成を行なうプリンタエンジンと、を備えている画像形成装置である。
【００４５】
したがって、請求項２０に記載の発明と同様の作用、効果を奏することができる。
【００４６】
請求項２２に記載の発明は、請求項１〜１９の何れかの一に記載の画像処理装置における各手段の機能をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【００４７】
したがって、請求項１〜１９の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００４８】
請求項２３に記載の発明は、請求項２２に記載のプログラムを記憶している記憶媒体である。
【００４９】
したがって、記憶しているプログラムにより請求項２２に記載の発明と同様の作用、効果を奏する。
【００５０】
【発明の実施の形態】
［発明の実施の形態１］
本発明の一実施の形態について説明する。
【００５１】
図１は、実施の形態１である画像処理装置の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣなどのコンピュータであり、各種演算を行ない画像処理装置１の各部を集中的に制御するＣＰＵ２と、各種のＲＯＭやＲＡＭからなるメモリ３とが、バス４で接続されている。
【００５２】
バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、マウスやキーボードなどで構成される入力装置６と、ＬＣＤやＣＲＴなどの表示装置７と、光ディスクなどの記憶媒体８を読取る記憶媒体読取装置９とが接続され、また、インターネットなどのネットワーク１０と通信を行なう所定の通信インターフェイス１１が接続されている。なお、記憶媒体８としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００５３】
磁気記憶装置５には、この発明のプログラムを実現する画像処理プログラムが記憶されている。この画像処理プログラムは、記憶媒体８から記憶媒体読取装置９により読取るか、あるいは、インターネットなどのネットワーク１０からダウンロードするなどして、磁気記憶装置５にインストールしたものである。このインストールにより画像処理装置１は動作可能な状態となる。この画像処理プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００５４】
図２は、画像処理装置１が行なう処理の機能ブロック図である。画像処理装置１は、ＪＰＥＧ２０００アルゴリズムにより画像データを圧縮符号化する。したがって、出力されるコードストリームは、画像を複数の小領域（タイル）に分割し、このタイルごとに独立の符号化を施して階層的に圧縮符号化したものである。
【００５５】
すなわち、分割手段を実現する画像分割部２１は、画像データをタイルごとに分割して、符号部２２に出力する。符号化手段を実現する符号部２２は、タイルごとに独立の符号化を施して画像データを圧縮符号化してコードストリームとする。かかる処理には、２次元離散ウェーブレット変換及びエントロピー符号化（算術符号化を含む）を用いるが、ここではＪＰＥＧ２０００アルゴリズムを用いている。設定手段を実現する変更設定部２３は、画像のサイズ又は領域の変更を設定する。位置情報変更手段を実現する位置情報付加部２４は、この設定に応じて、符号部２２で符号化後のコードストリームの各タイルに画像中における新たな位置を示す位置情報などを付与して新たなコードストリームを生成する。これにより、この生成後のコードストリームの画像は、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して、画像のサイズの変更や、画像の領域の移動を行なった画像となる。
【００５６】
この画像分割部２１〜位置情報付加部２４の各機能は、前述の画像処理プログラムに基づいてＣＰＵ２が実行する処理により実現する。位置情報付加部２４による、入力したコードストリームに対する符号データの位置情報などの付加は、具体的には、ヘッダ部分の画像サイズや、タイルの位置を示す位置情報となるインデックスを変更するなどにより行なう。
【００５７】
以下、図２の構成により実行する処理を具体的に説明する。
【００５８】
（１）画像サイズの拡大について
まず、図３（ａ）に示すように、画像分割部２１でＴ００〜Ｔ１５までの１６タイルに分割されている画像３１を対象に、図３（ｂ）に示すように、元の画像３１部分のサイズはそのままに、余白部分を付加して２倍のサイズの画像３２のコードストリームを生成する場合の例について説明する。これは、画像３１のＴ００〜Ｔ１５のヘッダ情報及びタイルのインデックスを変更するだけで、画像３１のサイズを２倍に変更した画像３２のコードストリームを生成することができる。
【００５９】
すなわち、図４にサイズ変更をしなかった場合、図５にサイズ変更後のコードストリームのデータ構成を示す。図４と図５の比較でわかるように、サイズ変更後のコードストリームは、タイルＴ４のデータをＴ８のデータに、Ｔ５をＴ９に、Ｔ６をＴ１０に、Ｔ７をＴ１１に、Ｔ８をＴ１６に、Ｔ９をＴ１７に、Ｔ１０をＴ１８に、Ｔ１１をＴ１９に、Ｔ１２をＴ２４に、Ｔ１３をＴ２５に、Ｔ１４をＴ２６に、Ｔ１５をＴ２５に、それぞれ変更している。これにより、画像３１はサイズが２倍に拡大された画像３２となり、この画像３２中で、図３の例では画像３１が画像３２の左上に位置している。
【００６０】
別の例について説明する。この例でも、図６（ａ）に示すサイズ変更前の画像３３を、図６（ｂ）に示す２倍のサイズの画像３４に変更する。図３の例のように、元の画像のサイズがタイルのサイズの整数倍である場合は、タイルのインデックスを変更するだけで、サイズを変更したコードストリームを生成することができるが、図６（ａ）に示すような、画像の端の部分で、タイル分割した際のタイルサイズが、ヘッダ情報に記した本来のタイルサイズに満たない半端なサイズのタイル（図６（ａ）では、Ｔ０４，Ｔ０９，Ｔ１４，Ｔ１９）を含む場合には、単純にタイルのインデックスを変更しただけでは、所望する画像データとは異なる画像となってしまう。そのため、このような場合には、符号部２２において、ヘッダ情報から半端なサイズのタイルがどのタイルであるかを特定し、このような半端なサイズのタイルについては、符号部２において、いったん復号し、この復号した画像データを編集して、再度、ＪＰＥＧ２０００アルゴリズムで圧縮した符号データを生成することで、サイズ変更手段を実現する。これにより、半端なサイズだったタイルは、本来のタイルサイズを備え、しかも元の半端なサイズのタイルの画像情報を一部に含んでいるタイルとなる（図６（ｂ）の、Ｔ０４，Ｔ１３，Ｔ２２，Ｔ３１）。また、画像サイズの拡大により、拡大後の画像３４にも半端なサイズのタイル（図６（ｂ）の、Ｔ０８，Ｔ１７，Ｔ２６，Ｔ３５，Ｔ４４，Ｔ５３，Ｔ６２，Ｔ７１）が生じる場合、これらのタイルも生成する。但し、これらのタイルにおいては、その半端なタイルサイズを記述したヘッダ情報のみを備えていればよく、画像情報はなくてよい。
【００６１】
また、次のように処理してもよい。すなわち、図６（ａ）の境界部における半端なサイズのタイル（Ｔ０４，Ｔ０９，Ｔ１４，Ｔ１９）については、符号部２２において符号データを除去し、図７のようなコードストリームを生成することで、削除手段を実現してもよい。
【００６２】
図７、変更後のコードストリームは、タイルＴ５のデータをＴ９のデータに、Ｔ６を１０に、Ｔ７をＴ１１に、Ｔ８をＴ１２に、Ｔ１０をＴ１８に、Ｔ１１をＴ１９に、Ｔ１２をＴ２０に、Ｔ１３をＴ２１に、Ｔ１５をＴ２７に、Ｔ１６をＴ２８に、Ｔ１７をＴ２９に、Ｔ１８をＴ３０に変更している。
【００６３】
また、元のタイルＴ４，Ｔ９，Ｔ１４，Ｔ１９の符号データは、データを破棄している。これにより、図６（ｂ）の例においては画像情報を含んでいたＴ０４，Ｔ１３，Ｔ２２，Ｔ３１については、この例では、図８に示すように、画像情報を含まないこととなる。よって、復号しても、Ｔ０４，Ｔ１３，Ｔ２２，Ｔ３１に対応する部分には元の画像が表示されない。
【００６４】
また、図９に示すように、図２の構成に有意性判定手段を実現する有意性判定部２５を付け加えてもよい。この有意性判定部２５は、前述のような半端なサイズのタイルについて、そのタイルに有意性のある画像が含まれているか否かを判断する。すなわち、単に原稿の用紙の地肌などの画像だけが含まれているだけか、有意な画像が存在するかを判断する。そして、そのタイルに有意性のある画像が含まれていると判断したときは、前述の図６（ｂ）の例のように、符号部２２で、そのタイルの画像情報を残して当該タイルを符号化又は再符号化することで、サイズ変更手段を実現する。また、そのタイルに有意性のある画像が含まれていないと判断したときは、図７、図８の例のように、符号部２２で、そのタイルを削除して符号化することで、削除手段を実現する。
【００６５】
なお、サイズ変更手段を実現する場合には、本来のサイズとしたタイルの画像内容を含まない領域の画像としては、様々な画素値を与えることでサイズ変更手段を実現することが考えられるが、一般的には、最も値の小さい白色（画像データが８ビットなら０〜２５５のうち０）を与えて符号化する。また、原稿の地肌部の値を与えることも考えられる。さらに、後述のように地肌検出手段を実現する地肌符号抽出部２６（図１０参照）で当該タイルの原稿の地肌部の画素値を検出して、その地肌部の画素値を与えることでサイズ変更手段を実現してもよい。
【００６６】
有意性判定部２５における有意性の判定は、例えば、対象となるタイルの符号データ量を所定の閾値と比較して、閾値を下回れば有意性なし、上回れば有意性ありと判定することができる。
【００６７】
また、入力されたコードストリーム中の画像情報と符号化情報のうち、少なくともどちらかの情報を用いることにより行なうこともできる。
【００６８】
さらに、当該タイルにおいてウェーブレット係数の特定のサブバンドデータを用いることにより行なうこともできる。
【００６９】
前述の各例において、画像サイズの拡大後のコードストリームにおいて、元の画像が存在しないタイルについては、符号データそのものが存在していない。よって、画像を拡大した後でもコードストリームの符号量は元のサイズのコードストリームと大差ないため、データ量を小さくすることができる。
【００７０】
しかし、符号データ生成手段を実現するため、必要に応じて、これら元の画像が存在しない空欄のタイルについても符号データを用意してもよい。この場合の各タイルの画素値としては、様々な値を与えることが考えられるが、一般的には、最も値の小さい白色（画像データが８ビットなら０〜２５５のうち０）を与えて符号化する。また、原稿の地肌部の値を与えることも考えられる。
【００７１】
原稿の地肌部の値を求めるためには、例えば、図１０に示すように、図２の構成に地肌検出手段を実現する地肌符号抽出部２６を設けて、半端なタイルの符号データを一旦復号して、そのタイルの各画素の値を集計し、最も多かった値を原稿の地肌部の画素値と判定して、符号データ生成手段を実現するため、各画素にその画素値を与えた画像データを再度符号化することが考えられる。また、符号部２２において、予め地肌部の画素値として用意された値を一律に与えて符号化することも考えられる。
【００７２】
（２）画像サイズの縮小について
次に、図２の構成により、画像サイズを縮小する場合について説明する。図１１は、この場合の説明図である。すなわち、元の画像３５があるときに、その例えば中央部分だけの小サイズの画像３６のコードストリームを生成するためには、元のタイルＴ１８〜Ｔ２１をＴ００〜Ｔ０３に、Ｔ２６〜Ｔ２９をＴ０４〜Ｔ０７に、Ｔ３４〜Ｔ３７をＴ０８〜Ｔ１１に、Ｔ４２〜Ｔ４５をＴ１２〜Ｔ１５とするように、タイルの位置情報を書き換えたコードストリームを生成すればよい。
【００７３】
この場合に、元の画像３５のＴ１８〜Ｔ２１、Ｔ２６〜Ｔ２９、Ｔ３４〜Ｔ３７、Ｔ４２〜Ｔ４５以外のタイルについては、符号部２２で新たなコードストリームから削除して削除手段を実現すれば、新たなコードストリームのデータ量を削減することができる。
【００７４】
あるいは、これらのタイルも新たなコードストリーム中に残しておいて、新たな画像３６のコードストリームには、これらのタイルは画像の領域外であることを示す位置情報を位置情報付加部２４により付加してもよい。このように、不要なタイルも領域外であることを示す情報を残しておけば、新たな画像３６のコードストリームから元の画像３５を生成することも可能となる。
【００７５】
（３）画像の領域の変更について
図２の構成を用いて、ヘッダ情報および、タイルの位置情報となるインデックスを変更するだけで、画像のあるサイズの領域を別の領域に移動することもできる。領域を移動した符号データを生成することもできる。
【００７６】
図１２は、この場合の例を示すもので、元の画像３７の左上の領域３８（図１２（ａ）を参照）を、画像３９において右下に移動する例を示している。領域３８以外のタイルは符号データを持たなくてもよいし、前述の（１）の場合のように、所定の値の画素値の符号データを持っていてもよい。
【００７７】
この移動後の符号データは、タイルＴ０のデータがタイルＴ１０のデータに、Ｔ１がＴ１１に、Ｔ４がＴ１４に、タイルＴ５がＴ１５に書き換えられ、移動後のタイルＴ０，Ｔ１，Ｔ４，Ｔ５に符号データを用意する場合であれば、例えば、前述の（１）の場合のように地肌部の符号データを与えること等が考えられる。そして、この場合は、前述の（１）のように、画像の地肌部の画素値を地肌符号抽出部２６で抽出してもよいし、予め用意した所定の値の画素値を地肌部の画素値として用いてもよい。
【００７８】
図１２の例のように、画像３７において、あるサイズの領域３８を別の領域に移動する際、移動元の領域３８のサイズがタイルのサイズの整数倍である場合は、タイルのインデックスを変更するだけで、画像３７の領域３８を移動したコードストリームを生成することができるが、図１３（ａ）に示すように、移動する領域３８の一部が、本来のタイルサイズに満たない場合、単純にタイルのインデックスを変更したのでは、所望する画像データとは異なる画像となってしまう。
【００７９】
そのため、前述の（１）の場合のように、このような半端なサイズのタイルについては、符号部２２において、いったん復号して、画像データを編集し、再度圧縮して符号データを生成するようにすることができる（図１３（ｂ））。
【００８０】
また、符号部２２において、半端なサイズのタイルに対しては削除してもよい。この場合には、その移動元の位置には符号データが存在しないままとしてもよい。あるいは、当該移動元のタイルのデータを用いるようにしてもよい。また、地肌部の符号データを用いるようにしてもよい。
【００８１】
さらに、前述の（１）の場合のように、半端なサイズのタイルの有意性を有意性判定部２５で判定して、有意性があれば、前述のように、いったん復号して、画像データを編集し、再度圧縮して符号データを生成し、有意性がなければ、前述のように削除するようにしてもよい。
【００８２】
このような画像処理装置１は、様々な分野で用いることができる。幾つか例を挙げる。例えば、出版業界などでは画像サイズの拡大、領域に移動により、画像のレイアウト変更を行なうことができる。原稿の画像をスキャナで読取った画像データで、原稿の端の部分を削除してサイズの縮小処理を行なえば、原稿の端の地肌部分に存在するパンチ穴部分の画像を消去することができる。また、画像処理装置１で処理する画像データは静止画像に限るものではなく、動画像を対象とすることができる（その場合には、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００アルゴリズムを適用する）。そこで、動画像で画面の中央部に限定した縮小処理を行なえば、処理能力の低いコンピュータでも快適に動画像の再生を行なうことができる。
【００８３】
［発明の実施の形態２］
別の実施の形態について説明する。
【００８４】
図１４は、実施の形態２にかかるデジタル複写機の概略構成のブロック図である。このデジタル複写機４１は、本発明の画像形成装置を実施するものであり、スキャナとなる画像データ読取ユニット４２、画像データ制御ユニット４３、本発明の画像処理装置を実施する画像データ処理ユニット４４、画像データ記憶ユニット４５、プリンタエンジンを備えた画像データ書込ユニット４６、操作パネル４７、及び、通信インターフェイス４８からなる。
【００８５】
画像データ読取ユニット４２では、（１）光学系による原稿反射光の読取り処理、（２）ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）での電気信号への変換処理、（３）Ａ／Ｄ変換器でのデジタル化処理、等を実行する。
【００８６】
画像データ制御ユニット４３は、各ユニットを集中的に制御する。また、各ユニット間とのインターフェイスを備え（１対１の個別インターフェイスでもよいが、共通バスを介したインターフェイスでもよい）、各ユニット間の画像データの転送制御を行なう。
【００８７】
画像データ処理ユニット４４は、画像データ制御ユニット４３の制御に従って、画像データ処理ユニット４４に入出力される画像データに対して各種の画像処理を行なう。
【００８８】
画像データ記憶ユニット４５は、画像データ制御ユニット３の制御に従って、画像データ記憶ユニット４５に入出力される画像データの記憶、読み出しを行なう。
【００８９】
画像データ書込ユニット４６は、画像データ制御ユニット３の制御に従って、画像データ書込ユニット４６に入力される画像データに基づく画像形成を用紙上に行なう。なお、印刷方式は、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、様々な方式を用いることができる。
【００９０】
操作パネル４７は、ユーザから様々な操作を受付ける各種キーと、様々な画像やメッセージを表示する液晶ディスプレイを備えている。
【００９１】
通信インターフェイス４８は、外部のパソコンなどとデジタル複写機４１とを接続し、画像データの送受信などを行なう。
【００９２】
画像データ処理ユニット４４は、画像データ読取ユニット４２、あるいは、通信インターフェイス４８から受け取った画像データに対して様々な画像処理を行なう。特に、画像データ処理ユニット４４は、画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化し、また、画像データのサイズの変更、領域の移動を行なう。
【００９３】
図１５は、画像データ処理ユニット４４において、かかる圧縮符号化、サイズの変更、領域の移動を実行する画像処理装置のハードウエア構成のブロック図である。すなわち、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３とが、バス５４で接続されている。ＲＯＭ５２には、画像処理プログラムが記憶されていて、ＣＰＵ５１は、この画像処理プログラムに基づいてＲＡＭ５３を作業エリアとして、前述の図２、図９又は図１０の機能ブロックを実現し、実施の形態１で説明した、画像の拡大、縮小、領域の移動の各種処理を実行する。
【００９４】
かかる処理は、画像データ読取ユニット４２、あるいは、通信インターフェイス４８から受け取った画像データに対して直接行なってもよいし、これらの画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化したコードストリームを画像データ記憶ユニット５に一旦記憶しておき、必要に応じて、このコードストリームを呼び出して、そのコードストリームに対して行ってもよい。
【００９５】
図１６は、かかる機能を使用する際に画像データ制御ユニット３（のＣＰＵ）が行なう処理のフローチャートである。まず、操作パネル７を操作して、ユーザが画像の取込みを指示すると（ステップＳ１のＹ）、画像データ読取ユニット４２、あるいは、通信インターフェイス４８から画像データを取込み（ステップＳ２）、これを操作パネル７の液晶ディスプレイに表示する（ステップＳ３）。
【００９６】
これを見てユーザが画像サイズの拡大又は縮小を選択すると（ステップＳ４のＹ）、拡大を選択したときは（ステップＳ５のＹ）、元の画像を拡大後の画像の右上、右下、左上、左下、中央の何れに寄せるか寄せる位置を選択し（ステップＳ６のＹ）、１．５倍、２倍のように拡大倍率を選択する（ステップＳ７のＹ）。縮小を選択したときは（ステップＳ５のＮ）、元の画像の右上、右下、左上、左下、中央の何れの部分を縮小するか縮小する位置を選択し（ステップＳ８のＹ）、０．７５倍、０．５倍のように縮小倍率を選択する（ステップＳ９のＹ）。
【００９７】
そして、使用する用紙サイズ（Ｂ５かＡ４かなど）を選択し（ステップＳ１０のＹ）、操作パネル７の所定の実行ボタンを押下すると（ステップＳ１１のＹ）、ステップＳ２で取込んだ画像データはＪＰＥＧ２０００アルゴリズムで圧縮符号化されたコードストリームとされ、このコードストリームを対象として、前述の選択に応じて、画像サイズの拡大又は縮小が行なわれる（ステップＳ１２）。その拡大又は縮小の具体的な処理内容については、実施の形態１において説明したとおりである。画像の拡大処理を行なったときは（ステップＳ１３のＹ）、その拡大処理後のコードストリームを対象に、さらに画像の領域移動の処理を行なうことができる。すなわち、その拡大処理後の画像を操作パネル７の液晶ディスプレイに表示し（ステップＳ１４）、ユーザがこれを見て画像の領域移動の処理を操作パネル７で選択したときは（ステップＳ１５のＹ）、サイズ拡大後の画像の右上、右下、左上、左下、中央の何れの領域を、画像の右上、右下、左上、左下、中央の何れの領域に移動するかを選択する（ステップＳ１６）。これにより、画像の領域の移動が行なわれる（ステップＳ１７）。なお、ステップＳ６〜Ｓ９，Ｓ１６におけるユーザの選択に応じて、設定手段を実現するサイズ変更設定部２３が、画像のサイズの変更あるいは画像の領域の移動を設定する。
【００９８】
この拡大又は縮小の処理、さらに、画像の領域の移動の処理の実行により生成したコードストリームは、画像データ記憶ユニット４５に記憶する（ステップＳ１８）。なお、ステップＳ４のＮの場合は、拡大、縮小処理を行なわずに画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化したコードストリームとして記憶する。また、これらのコードストリームは、画像データ書込ユニット４６に送られて、その画像の形成が、前述の選択されたサイズの用紙に対してなされる（ステップＳ１９）。
【００９９】
【発明の効果】
請求項１，２１，２２，２３に記載の発明は、コードストリームを復号しなくても符号データのまま画像のサイズの変更又は画像の領域の移動を行なうことができるので、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができる。
【０１００】
請求項２に記載の発明は、請求項１に記載の発明において、コードストリームを復号しなくても符号データのまま画像のサイズの拡大を行なうことができるので、画像のサイズの拡大を少ないメモリ容量で高速に実行することができる。
【０１０１】
請求項３に記載の発明は、請求項１に記載の発明において、コードストリームを復号しなくても符号データのまま画像のサイズの縮小を行なうことができるので、画像のサイズの縮小を少ないメモリ容量で高速に実行することができる。
【０１０２】
請求項４に記載の発明は、請求項１に記載の発明において、コードストリームを復号しなくても符号データのまま画像の領域の移動を行なうことができるので、画像の領域の移動を少ないメモリ容量で高速に実行することができる。
【０１０３】
請求項５に記載の発明は、請求項２又は４に記載の発明において、元の画像内容を含まない小領域にも画像を与えることができる。
【０１０４】
請求項６に記載の発明は、請求項５に記載の発明において、元の画像内容を含まない小領域にも所定の画素値の画像を与えることができる。この小領域に与える画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【０１０５】
請求項７に記載の発明は、請求項５に記載の発明において、原稿の地肌部の画素値を検出して、元の画像内容を含まない小領域にも原稿の地肌部の画素値を与えることができる。
【０１０６】
請求項８に記載の発明は、請求項３に記載の発明において、不要な符号データを削除して、データ量を低減することができる。
【０１０７】
請求項９に記載の発明は、請求項３に記載の発明において、領域外とした小領域から元の画像を復元することが可能となる。
【０１０８】
請求項１０に記載の発明は、請求項２又は４に記載の発明において、画像として必要ないとき等に、位置情報の書換えによりサイズが変化する半端な小領域を省くことができる。
【０１０９】
請求項１１に記載の発明は、請求項２又は４に記載の発明において、画像として必要なとき等に、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【０１１０】
請求項１２に記載の発明は、請求項２又は４に記載の発明において、画像に有意性がなくて必要ないときには、位置情報の書換えによりサイズが変化する半端な小領域を省き、画像に有意性があって必要なときには、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【０１１１】
請求項１３に記載の発明は、請求項１１又は１２に記載の発明において、本来のサイズの画像とすると画像内容のない部分を所定の画素値の画像で補うことができる。この小領域に補なう画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【０１１２】
請求項１４に記載の発明は、請求項１１又は１２に記載の発明において、原稿の地肌部の画素値を検出して、小領域の元の画像内容を含まない部分にも原稿の地肌部の画素値を与えることができる。
【０１１３】
請求項１７に記載の発明は、請求項２に記載の発明において、サイズの拡大の場合に画像内容の表示位置及び拡大倍率をユーザが指定することができる。
【０１１４】
請求項１８に記載の発明は、請求項３に記載の発明において、縮小しても残す画像内容の範囲及び縮小倍率をユーザが指定することができる。
【０１１５】
請求項１９に記載の発明は、請求項４に記載の発明において、領域の移動の場合に画像内容の表示位置をユーザが指定することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１である画像処理装置の電気的な接続のブロック図である。
【図２】画像処理装置の機能ブロック図である。
【図３】画像サイズの拡大についての説明図である。
【図４】サイズ拡大前のコードストリームのデータ構成の説明図である。
【図５】サイズ拡大後のコードストリームのデータ構成の説明図である。
【図６】半端なサイズのタイルを含む場合における画像サイズの拡大についての説明図である。
【図７】半端なサイズのタイルを除去して画像サイズを拡大する場合の説明図である。
【図８】半端なサイズのタイルについて画像情報を含まずに画像サイズを拡大する場合の説明図である。
【図９】有意性判定部を含む画像処理装置の機能ブロック図である。
【図１０】地肌符号抽出部を含む画像処理装置の機能ブロック図である。
【図１１】画像サイズを縮小する場合の説明図である。
【図１２】画像の特定の領域を変更する場合の説明図である。
【図１３】画像の特定の領域を変更する場合における半端なサイズのタイルの処理に関する説明図である。
【図１４】本発明の実施の形態２である画像形成装置の全体構成を示すブロック図である。
【図１５】画像形成装置の画像データ処理ユニットの電気的な接続を示すブロック図である。
【図１６】画像形成装置が行なう処理のフローチャートである。
【符号の説明】
１ 画像処理装置
８ 記憶媒体
２１ 分割手段
２２ 符号化手段
２３ 設定手段
２４ 位置情報変更手段
２５ 有意性判定手段
２６ 地肌検出手段
４１ 画像形成装置
４２ スキャナ
４６ プリンタエンジン
【発明の属する技術分野】
本発明は、画像処理装置、画像形成装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
画像をタイル単位に符号化することにより、画像の一部を復号したいときに、画像全体を復号しなくとも、復号したい領域を含むタイルだけ復号すればよい技術が知られている（特許文献１参照）。
【０００３】
また、画像圧縮伸長アルゴリズムとして、最近では、国際標準としてＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００４】
【特許文献１】
特開２００１−１９７５００公報
【特許文献２】
特開平８−７０４５５号公報
【０００５】
【発明が解決しようとする課題】
圧縮符号化された画像について、画像内容はそのまま維持して単に画像のサイズを拡大しようとする場合には、従来のＪＰＥＧ方式で圧縮符号化された画像については、一度全ての符号データを復号して編集を行なう必要があった。
【０００６】
そのため、このような処理を高速で少ないメモリ容量で実行することが困難であるという不具合があった。
【０００７】
本発明の目的は、圧縮符号化された画像について、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができるようにすることである。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、画像を複数の小領域に分割し、小領域ごとに独立して圧縮符号化したコードストリームを対象として、このコードストリームの画像に対して画像のサイズの変更又は画像の領域の移動を設定する設定手段と、この設定に応じて前記小領域の位置情報を書換えることにより、前記コードストリームについて、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して画像のサイズの変更又は画像の領域の移動を行なう画像位置情報変更手段と、を備えている画像処理装置である。
【０００９】
したがって、コードストリームを復号しなくても符号データのまま画像のサイズの変更又は画像の領域の移動を行なうことができるので、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記位置情報変更手段は、元の画像の全部の画像内容はそのままに、元の画像に対して画像のサイズの拡大を行なう。
【００１１】
したがって、コードストリームを復号しなくても符号データのまま画像のサイズの拡大を行なうことができるので、画像のサイズの拡大を少ないメモリ容量で高速に実行することができる。
【００１２】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、前記位置情報変更手段は、元の画像の一部の画像内容はそのままに、元の画像に対して画像のサイズの縮小を行なう。
【００１３】
したがって、コードストリームを復号しなくても符号データのまま画像のサイズの縮小を行なうことができるので、画像のサイズの縮小を少ないメモリ容量で高速に実行することができる。
【００１４】
請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記位置情報変更手段は、元の画像の全部の画像内容はそのままに、元の画像に対して画像の領域の移動を行なう。
【００１５】
したがって、コードストリームを復号しなくても符号データのまま画像の領域の移動を行なうことができるので、画像の領域の移動を少ないメモリ容量で高速に実行することができる。
【００１６】
請求項５に記載の発明は、請求項２又は４に記載の画像処理装置において、前記画像内容を有する前記小領域以外の前記小領域について符号データを生成して前記コードストリームに付加する符号データ生成手段を備えている。
【００１７】
したがって、元の画像内容を含まない小領域にも画像を与えることができる。
【００１８】
請求項６に記載の発明は、請求項５に記載の画像処理装置において、前記符号データ生成手段は、各画素値に所定の値を与えた前記符号データの生成を行なう。
【００１９】
したがって、元の画像内容を含まない小領域にも所定の画素値の画像を与えることができる。この小領域に与える画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【００２０】
請求項７に記載の発明は、請求項５に記載の画像処理装置において、前記符号データを生成する前記小領域について画像の原稿の地肌部の画素値を検出する地肌検出手段を備え、前記符号データ生成手段は、前記検出値を前記各画素値に与えた前記符号データの生成を行なう。
【００２１】
したがって、原稿の地肌部の画素値を検出して、元の画像内容を含まない小領域にも原稿の地肌部の画素値を与えることができる。
【００２２】
請求項８に記載の発明は、請求項３に記載の画像処理装置において、前記一部の画像以外の前記小領域については削除する削除手段を備えている。
【００２３】
したがって、不要な符号データを削除して、データ量を低減することができる。
【００２４】
請求項９に記載の発明は、請求項３に記載の画像処理装置において、前記画像位置情報変更手段は、前記一部の画像以外の前記小領域については当該小領域を画像の領域外とする位置情報に書換える。
【００２５】
したがって、領域外とした小領域から元の画像を復元することが可能となる。
【００２６】
請求項１０に記載の発明は、請求項２又は４に記載の画像処理装置において、半端なサイズの前記小領域を削除する削除手段を備えている。
【００２７】
したがって、画像として必要ないとき等に、位置情報の書換えによりサイズが変化する半端な小領域を省くことができる。
【００２８】
請求項１１に記載の発明は、請求項２又は４に記載の画像処理装置において、半端なサイズの前記小領域を復号して前記小領域の本来のサイズの画像として再度前記圧縮符号化するサイズ変更手段を備えている。
【００２９】
したがって、画像として必要なとき等に、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【００３０】
請求項１２に記載の発明は、請求項２又は４に記載の画像処理装置において、半端なサイズの前記小領域について、有意性のある画像が含まれているか否かを判断する有意性判定手段と、この判断により有意性のある画像が含まれているときは、当該小領域を復号して前記小領域の本来のサイズの画像として再度前記圧縮符号化するサイズ変更手段と、この判断により有意性のある画像が含まれていないときは、前記位置情報の書換えによりサイズが変化する前記小領域を削除する削除手段と、を備えている。
【００３１】
したがって、画像に有意性がなくて必要ないときには、位置情報の書換えによりサイズが変化する半端な小領域を省き、画像に有意性があって必要なときには、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【００３２】
請求項１３に記載の発明は、請求項１１又は１２に記載の画像処理装置において、前記サイズ変更手段は、前記小領域を本来のサイズの画像とすると画像内容のない部分については所定の画素値の画像を与える。
【００３３】
したがって、本来のサイズの画像とすると画像内容のない部分を所定の画素値の画像で補うことができる。この小領域に補なう画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【００３４】
請求項１４に記載の発明は、請求項１１又は１２に記載の画像処理装置において、前記符号データを生成する前記小領域について画像の原稿の地肌部の画素値を検出する地肌検出手段を備え、前記サイズ変更手段は、前記小領域の本来のサイズの画像とすると画像内容のない部分については前記検出値の画素値の画像を与える。
【００３５】
したがって、原稿の地肌部の画素値を検出して、小領域の元の画像内容を含まない部分にも原稿の地肌部の画素値を与えることができる。
【００３６】
なお、符号化手段は、２次元離散ウェーブレット変換及びエントロピー符号化又は算術符号化を用いて前記圧縮符号化を行なうようにすることができる（請求項１５）。これは、ＪＰＥＧ２０００アルゴリズムを用いることができる（請求項１６）。
【００３７】
請求項１７に記載の発明は、請求項２に記載の画像処理装置において、前記設定手段は、前記画像のサイズの拡大を行なう際の前記画像内容の表示位置及び拡大倍率の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう。
【００３８】
したがって、サイズの拡大の場合に画像内容の表示位置及び拡大倍率をユーザが指定することができる。
【００３９】
請求項１８に記載の発明は、請求項３に記載の画像処理装置において、前記設定手段は、前記画像のサイズの縮小を行なう際の前記一部の画像内容の範囲及び縮小倍率の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう。
【００４０】
したがって、縮小しても残す画像内容の範囲及び縮小倍率をユーザが指定することができる。
【００４１】
請求項１９に記載の発明は、請求項４に記載の画像処理装置において、前記設定手段は、前記領域の移動を行なう際の前記画像内容の表示位置の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう。
【００４２】
したがって、領域の移動の場合に画像内容の表示位置をユーザが指定することができる。
【００４３】
なお、画像を複数の小領域に分割する分割手段と、この分割後の小領域ごとに独立して圧縮符号化したコードストリームを生成する符号化手段と、を備え、前記画像位置情報変更手段は、前記符号化手段で生成したコードストリームに対して、前記位置情報の書換えを行なうようにしてもよい（請求項２０）。
【００４４】
請求項２１に記載の発明は、原稿の画像を読取るスキャナと、この読取った画像データを処理する請求項２０に記載の画像処理装置と、この処理により生成された前記コードストリームに基づいて用紙上に画像の形成を行なうプリンタエンジンと、を備えている画像形成装置である。
【００４５】
したがって、請求項２０に記載の発明と同様の作用、効果を奏することができる。
【００４６】
請求項２２に記載の発明は、請求項１〜１９の何れかの一に記載の画像処理装置における各手段の機能をコンピュータに実行させるコンピュータに読取り可能なプログラムである。
【００４７】
したがって、請求項１〜１９の何れかの一に記載の発明と同様の作用、効果を奏することができる。
【００４８】
請求項２３に記載の発明は、請求項２２に記載のプログラムを記憶している記憶媒体である。
【００４９】
したがって、記憶しているプログラムにより請求項２２に記載の発明と同様の作用、効果を奏する。
【００５０】
【発明の実施の形態】
［発明の実施の形態１］
本発明の一実施の形態について説明する。
【００５１】
図１は、実施の形態１である画像処理装置の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣなどのコンピュータであり、各種演算を行ない画像処理装置１の各部を集中的に制御するＣＰＵ２と、各種のＲＯＭやＲＡＭからなるメモリ３とが、バス４で接続されている。
【００５２】
バス４には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置５と、マウスやキーボードなどで構成される入力装置６と、ＬＣＤやＣＲＴなどの表示装置７と、光ディスクなどの記憶媒体８を読取る記憶媒体読取装置９とが接続され、また、インターネットなどのネットワーク１０と通信を行なう所定の通信インターフェイス１１が接続されている。なお、記憶媒体８としては、ＣＤやＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置９は、具体的には記憶媒体８の種類に応じて光ディスクドライブ、光磁気ディスクドライブ、フレキシブルディスクドライブなどが用いられる。
【００５３】
磁気記憶装置５には、この発明のプログラムを実現する画像処理プログラムが記憶されている。この画像処理プログラムは、記憶媒体８から記憶媒体読取装置９により読取るか、あるいは、インターネットなどのネットワーク１０からダウンロードするなどして、磁気記憶装置５にインストールしたものである。このインストールにより画像処理装置１は動作可能な状態となる。この画像処理プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００５４】
図２は、画像処理装置１が行なう処理の機能ブロック図である。画像処理装置１は、ＪＰＥＧ２０００アルゴリズムにより画像データを圧縮符号化する。したがって、出力されるコードストリームは、画像を複数の小領域（タイル）に分割し、このタイルごとに独立の符号化を施して階層的に圧縮符号化したものである。
【００５５】
すなわち、分割手段を実現する画像分割部２１は、画像データをタイルごとに分割して、符号部２２に出力する。符号化手段を実現する符号部２２は、タイルごとに独立の符号化を施して画像データを圧縮符号化してコードストリームとする。かかる処理には、２次元離散ウェーブレット変換及びエントロピー符号化（算術符号化を含む）を用いるが、ここではＪＰＥＧ２０００アルゴリズムを用いている。設定手段を実現する変更設定部２３は、画像のサイズ又は領域の変更を設定する。位置情報変更手段を実現する位置情報付加部２４は、この設定に応じて、符号部２２で符号化後のコードストリームの各タイルに画像中における新たな位置を示す位置情報などを付与して新たなコードストリームを生成する。これにより、この生成後のコードストリームの画像は、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して、画像のサイズの変更や、画像の領域の移動を行なった画像となる。
【００５６】
この画像分割部２１〜位置情報付加部２４の各機能は、前述の画像処理プログラムに基づいてＣＰＵ２が実行する処理により実現する。位置情報付加部２４による、入力したコードストリームに対する符号データの位置情報などの付加は、具体的には、ヘッダ部分の画像サイズや、タイルの位置を示す位置情報となるインデックスを変更するなどにより行なう。
【００５７】
以下、図２の構成により実行する処理を具体的に説明する。
【００５８】
（１）画像サイズの拡大について
まず、図３（ａ）に示すように、画像分割部２１でＴ００〜Ｔ１５までの１６タイルに分割されている画像３１を対象に、図３（ｂ）に示すように、元の画像３１部分のサイズはそのままに、余白部分を付加して２倍のサイズの画像３２のコードストリームを生成する場合の例について説明する。これは、画像３１のＴ００〜Ｔ１５のヘッダ情報及びタイルのインデックスを変更するだけで、画像３１のサイズを２倍に変更した画像３２のコードストリームを生成することができる。
【００５９】
すなわち、図４にサイズ変更をしなかった場合、図５にサイズ変更後のコードストリームのデータ構成を示す。図４と図５の比較でわかるように、サイズ変更後のコードストリームは、タイルＴ４のデータをＴ８のデータに、Ｔ５をＴ９に、Ｔ６をＴ１０に、Ｔ７をＴ１１に、Ｔ８をＴ１６に、Ｔ９をＴ１７に、Ｔ１０をＴ１８に、Ｔ１１をＴ１９に、Ｔ１２をＴ２４に、Ｔ１３をＴ２５に、Ｔ１４をＴ２６に、Ｔ１５をＴ２５に、それぞれ変更している。これにより、画像３１はサイズが２倍に拡大された画像３２となり、この画像３２中で、図３の例では画像３１が画像３２の左上に位置している。
【００６０】
別の例について説明する。この例でも、図６（ａ）に示すサイズ変更前の画像３３を、図６（ｂ）に示す２倍のサイズの画像３４に変更する。図３の例のように、元の画像のサイズがタイルのサイズの整数倍である場合は、タイルのインデックスを変更するだけで、サイズを変更したコードストリームを生成することができるが、図６（ａ）に示すような、画像の端の部分で、タイル分割した際のタイルサイズが、ヘッダ情報に記した本来のタイルサイズに満たない半端なサイズのタイル（図６（ａ）では、Ｔ０４，Ｔ０９，Ｔ１４，Ｔ１９）を含む場合には、単純にタイルのインデックスを変更しただけでは、所望する画像データとは異なる画像となってしまう。そのため、このような場合には、符号部２２において、ヘッダ情報から半端なサイズのタイルがどのタイルであるかを特定し、このような半端なサイズのタイルについては、符号部２において、いったん復号し、この復号した画像データを編集して、再度、ＪＰＥＧ２０００アルゴリズムで圧縮した符号データを生成することで、サイズ変更手段を実現する。これにより、半端なサイズだったタイルは、本来のタイルサイズを備え、しかも元の半端なサイズのタイルの画像情報を一部に含んでいるタイルとなる（図６（ｂ）の、Ｔ０４，Ｔ１３，Ｔ２２，Ｔ３１）。また、画像サイズの拡大により、拡大後の画像３４にも半端なサイズのタイル（図６（ｂ）の、Ｔ０８，Ｔ１７，Ｔ２６，Ｔ３５，Ｔ４４，Ｔ５３，Ｔ６２，Ｔ７１）が生じる場合、これらのタイルも生成する。但し、これらのタイルにおいては、その半端なタイルサイズを記述したヘッダ情報のみを備えていればよく、画像情報はなくてよい。
【００６１】
また、次のように処理してもよい。すなわち、図６（ａ）の境界部における半端なサイズのタイル（Ｔ０４，Ｔ０９，Ｔ１４，Ｔ１９）については、符号部２２において符号データを除去し、図７のようなコードストリームを生成することで、削除手段を実現してもよい。
【００６２】
図７、変更後のコードストリームは、タイルＴ５のデータをＴ９のデータに、Ｔ６を１０に、Ｔ７をＴ１１に、Ｔ８をＴ１２に、Ｔ１０をＴ１８に、Ｔ１１をＴ１９に、Ｔ１２をＴ２０に、Ｔ１３をＴ２１に、Ｔ１５をＴ２７に、Ｔ１６をＴ２８に、Ｔ１７をＴ２９に、Ｔ１８をＴ３０に変更している。
【００６３】
また、元のタイルＴ４，Ｔ９，Ｔ１４，Ｔ１９の符号データは、データを破棄している。これにより、図６（ｂ）の例においては画像情報を含んでいたＴ０４，Ｔ１３，Ｔ２２，Ｔ３１については、この例では、図８に示すように、画像情報を含まないこととなる。よって、復号しても、Ｔ０４，Ｔ１３，Ｔ２２，Ｔ３１に対応する部分には元の画像が表示されない。
【００６４】
また、図９に示すように、図２の構成に有意性判定手段を実現する有意性判定部２５を付け加えてもよい。この有意性判定部２５は、前述のような半端なサイズのタイルについて、そのタイルに有意性のある画像が含まれているか否かを判断する。すなわち、単に原稿の用紙の地肌などの画像だけが含まれているだけか、有意な画像が存在するかを判断する。そして、そのタイルに有意性のある画像が含まれていると判断したときは、前述の図６（ｂ）の例のように、符号部２２で、そのタイルの画像情報を残して当該タイルを符号化又は再符号化することで、サイズ変更手段を実現する。また、そのタイルに有意性のある画像が含まれていないと判断したときは、図７、図８の例のように、符号部２２で、そのタイルを削除して符号化することで、削除手段を実現する。
【００６５】
なお、サイズ変更手段を実現する場合には、本来のサイズとしたタイルの画像内容を含まない領域の画像としては、様々な画素値を与えることでサイズ変更手段を実現することが考えられるが、一般的には、最も値の小さい白色（画像データが８ビットなら０〜２５５のうち０）を与えて符号化する。また、原稿の地肌部の値を与えることも考えられる。さらに、後述のように地肌検出手段を実現する地肌符号抽出部２６（図１０参照）で当該タイルの原稿の地肌部の画素値を検出して、その地肌部の画素値を与えることでサイズ変更手段を実現してもよい。
【００６６】
有意性判定部２５における有意性の判定は、例えば、対象となるタイルの符号データ量を所定の閾値と比較して、閾値を下回れば有意性なし、上回れば有意性ありと判定することができる。
【００６７】
また、入力されたコードストリーム中の画像情報と符号化情報のうち、少なくともどちらかの情報を用いることにより行なうこともできる。
【００６８】
さらに、当該タイルにおいてウェーブレット係数の特定のサブバンドデータを用いることにより行なうこともできる。
【００６９】
前述の各例において、画像サイズの拡大後のコードストリームにおいて、元の画像が存在しないタイルについては、符号データそのものが存在していない。よって、画像を拡大した後でもコードストリームの符号量は元のサイズのコードストリームと大差ないため、データ量を小さくすることができる。
【００７０】
しかし、符号データ生成手段を実現するため、必要に応じて、これら元の画像が存在しない空欄のタイルについても符号データを用意してもよい。この場合の各タイルの画素値としては、様々な値を与えることが考えられるが、一般的には、最も値の小さい白色（画像データが８ビットなら０〜２５５のうち０）を与えて符号化する。また、原稿の地肌部の値を与えることも考えられる。
【００７１】
原稿の地肌部の値を求めるためには、例えば、図１０に示すように、図２の構成に地肌検出手段を実現する地肌符号抽出部２６を設けて、半端なタイルの符号データを一旦復号して、そのタイルの各画素の値を集計し、最も多かった値を原稿の地肌部の画素値と判定して、符号データ生成手段を実現するため、各画素にその画素値を与えた画像データを再度符号化することが考えられる。また、符号部２２において、予め地肌部の画素値として用意された値を一律に与えて符号化することも考えられる。
【００７２】
（２）画像サイズの縮小について
次に、図２の構成により、画像サイズを縮小する場合について説明する。図１１は、この場合の説明図である。すなわち、元の画像３５があるときに、その例えば中央部分だけの小サイズの画像３６のコードストリームを生成するためには、元のタイルＴ１８〜Ｔ２１をＴ００〜Ｔ０３に、Ｔ２６〜Ｔ２９をＴ０４〜Ｔ０７に、Ｔ３４〜Ｔ３７をＴ０８〜Ｔ１１に、Ｔ４２〜Ｔ４５をＴ１２〜Ｔ１５とするように、タイルの位置情報を書き換えたコードストリームを生成すればよい。
【００７３】
この場合に、元の画像３５のＴ１８〜Ｔ２１、Ｔ２６〜Ｔ２９、Ｔ３４〜Ｔ３７、Ｔ４２〜Ｔ４５以外のタイルについては、符号部２２で新たなコードストリームから削除して削除手段を実現すれば、新たなコードストリームのデータ量を削減することができる。
【００７４】
あるいは、これらのタイルも新たなコードストリーム中に残しておいて、新たな画像３６のコードストリームには、これらのタイルは画像の領域外であることを示す位置情報を位置情報付加部２４により付加してもよい。このように、不要なタイルも領域外であることを示す情報を残しておけば、新たな画像３６のコードストリームから元の画像３５を生成することも可能となる。
【００７５】
（３）画像の領域の変更について
図２の構成を用いて、ヘッダ情報および、タイルの位置情報となるインデックスを変更するだけで、画像のあるサイズの領域を別の領域に移動することもできる。領域を移動した符号データを生成することもできる。
【００７６】
図１２は、この場合の例を示すもので、元の画像３７の左上の領域３８（図１２（ａ）を参照）を、画像３９において右下に移動する例を示している。領域３８以外のタイルは符号データを持たなくてもよいし、前述の（１）の場合のように、所定の値の画素値の符号データを持っていてもよい。
【００７７】
この移動後の符号データは、タイルＴ０のデータがタイルＴ１０のデータに、Ｔ１がＴ１１に、Ｔ４がＴ１４に、タイルＴ５がＴ１５に書き換えられ、移動後のタイルＴ０，Ｔ１，Ｔ４，Ｔ５に符号データを用意する場合であれば、例えば、前述の（１）の場合のように地肌部の符号データを与えること等が考えられる。そして、この場合は、前述の（１）のように、画像の地肌部の画素値を地肌符号抽出部２６で抽出してもよいし、予め用意した所定の値の画素値を地肌部の画素値として用いてもよい。
【００７８】
図１２の例のように、画像３７において、あるサイズの領域３８を別の領域に移動する際、移動元の領域３８のサイズがタイルのサイズの整数倍である場合は、タイルのインデックスを変更するだけで、画像３７の領域３８を移動したコードストリームを生成することができるが、図１３（ａ）に示すように、移動する領域３８の一部が、本来のタイルサイズに満たない場合、単純にタイルのインデックスを変更したのでは、所望する画像データとは異なる画像となってしまう。
【００７９】
そのため、前述の（１）の場合のように、このような半端なサイズのタイルについては、符号部２２において、いったん復号して、画像データを編集し、再度圧縮して符号データを生成するようにすることができる（図１３（ｂ））。
【００８０】
また、符号部２２において、半端なサイズのタイルに対しては削除してもよい。この場合には、その移動元の位置には符号データが存在しないままとしてもよい。あるいは、当該移動元のタイルのデータを用いるようにしてもよい。また、地肌部の符号データを用いるようにしてもよい。
【００８１】
さらに、前述の（１）の場合のように、半端なサイズのタイルの有意性を有意性判定部２５で判定して、有意性があれば、前述のように、いったん復号して、画像データを編集し、再度圧縮して符号データを生成し、有意性がなければ、前述のように削除するようにしてもよい。
【００８２】
このような画像処理装置１は、様々な分野で用いることができる。幾つか例を挙げる。例えば、出版業界などでは画像サイズの拡大、領域に移動により、画像のレイアウト変更を行なうことができる。原稿の画像をスキャナで読取った画像データで、原稿の端の部分を削除してサイズの縮小処理を行なえば、原稿の端の地肌部分に存在するパンチ穴部分の画像を消去することができる。また、画像処理装置１で処理する画像データは静止画像に限るものではなく、動画像を対象とすることができる（その場合には、Ｍｏｔｉｏｎ ＪＰＥＧ ２０００アルゴリズムを適用する）。そこで、動画像で画面の中央部に限定した縮小処理を行なえば、処理能力の低いコンピュータでも快適に動画像の再生を行なうことができる。
【００８３】
［発明の実施の形態２］
別の実施の形態について説明する。
【００８４】
図１４は、実施の形態２にかかるデジタル複写機の概略構成のブロック図である。このデジタル複写機４１は、本発明の画像形成装置を実施するものであり、スキャナとなる画像データ読取ユニット４２、画像データ制御ユニット４３、本発明の画像処理装置を実施する画像データ処理ユニット４４、画像データ記憶ユニット４５、プリンタエンジンを備えた画像データ書込ユニット４６、操作パネル４７、及び、通信インターフェイス４８からなる。
【００８５】
画像データ読取ユニット４２では、（１）光学系による原稿反射光の読取り処理、（２）ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）での電気信号への変換処理、（３）Ａ／Ｄ変換器でのデジタル化処理、等を実行する。
【００８６】
画像データ制御ユニット４３は、各ユニットを集中的に制御する。また、各ユニット間とのインターフェイスを備え（１対１の個別インターフェイスでもよいが、共通バスを介したインターフェイスでもよい）、各ユニット間の画像データの転送制御を行なう。
【００８７】
画像データ処理ユニット４４は、画像データ制御ユニット４３の制御に従って、画像データ処理ユニット４４に入出力される画像データに対して各種の画像処理を行なう。
【００８８】
画像データ記憶ユニット４５は、画像データ制御ユニット３の制御に従って、画像データ記憶ユニット４５に入出力される画像データの記憶、読み出しを行なう。
【００８９】
画像データ書込ユニット４６は、画像データ制御ユニット３の制御に従って、画像データ書込ユニット４６に入力される画像データに基づく画像形成を用紙上に行なう。なお、印刷方式は、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、様々な方式を用いることができる。
【００９０】
操作パネル４７は、ユーザから様々な操作を受付ける各種キーと、様々な画像やメッセージを表示する液晶ディスプレイを備えている。
【００９１】
通信インターフェイス４８は、外部のパソコンなどとデジタル複写機４１とを接続し、画像データの送受信などを行なう。
【００９２】
画像データ処理ユニット４４は、画像データ読取ユニット４２、あるいは、通信インターフェイス４８から受け取った画像データに対して様々な画像処理を行なう。特に、画像データ処理ユニット４４は、画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化し、また、画像データのサイズの変更、領域の移動を行なう。
【００９３】
図１５は、画像データ処理ユニット４４において、かかる圧縮符号化、サイズの変更、領域の移動を実行する画像処理装置のハードウエア構成のブロック図である。すなわち、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３とが、バス５４で接続されている。ＲＯＭ５２には、画像処理プログラムが記憶されていて、ＣＰＵ５１は、この画像処理プログラムに基づいてＲＡＭ５３を作業エリアとして、前述の図２、図９又は図１０の機能ブロックを実現し、実施の形態１で説明した、画像の拡大、縮小、領域の移動の各種処理を実行する。
【００９４】
かかる処理は、画像データ読取ユニット４２、あるいは、通信インターフェイス４８から受け取った画像データに対して直接行なってもよいし、これらの画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化したコードストリームを画像データ記憶ユニット５に一旦記憶しておき、必要に応じて、このコードストリームを呼び出して、そのコードストリームに対して行ってもよい。
【００９５】
図１６は、かかる機能を使用する際に画像データ制御ユニット３（のＣＰＵ）が行なう処理のフローチャートである。まず、操作パネル７を操作して、ユーザが画像の取込みを指示すると（ステップＳ１のＹ）、画像データ読取ユニット４２、あるいは、通信インターフェイス４８から画像データを取込み（ステップＳ２）、これを操作パネル７の液晶ディスプレイに表示する（ステップＳ３）。
【００９６】
これを見てユーザが画像サイズの拡大又は縮小を選択すると（ステップＳ４のＹ）、拡大を選択したときは（ステップＳ５のＹ）、元の画像を拡大後の画像の右上、右下、左上、左下、中央の何れに寄せるか寄せる位置を選択し（ステップＳ６のＹ）、１．５倍、２倍のように拡大倍率を選択する（ステップＳ７のＹ）。縮小を選択したときは（ステップＳ５のＮ）、元の画像の右上、右下、左上、左下、中央の何れの部分を縮小するか縮小する位置を選択し（ステップＳ８のＹ）、０．７５倍、０．５倍のように縮小倍率を選択する（ステップＳ９のＹ）。
【００９７】
そして、使用する用紙サイズ（Ｂ５かＡ４かなど）を選択し（ステップＳ１０のＹ）、操作パネル７の所定の実行ボタンを押下すると（ステップＳ１１のＹ）、ステップＳ２で取込んだ画像データはＪＰＥＧ２０００アルゴリズムで圧縮符号化されたコードストリームとされ、このコードストリームを対象として、前述の選択に応じて、画像サイズの拡大又は縮小が行なわれる（ステップＳ１２）。その拡大又は縮小の具体的な処理内容については、実施の形態１において説明したとおりである。画像の拡大処理を行なったときは（ステップＳ１３のＹ）、その拡大処理後のコードストリームを対象に、さらに画像の領域移動の処理を行なうことができる。すなわち、その拡大処理後の画像を操作パネル７の液晶ディスプレイに表示し（ステップＳ１４）、ユーザがこれを見て画像の領域移動の処理を操作パネル７で選択したときは（ステップＳ１５のＹ）、サイズ拡大後の画像の右上、右下、左上、左下、中央の何れの領域を、画像の右上、右下、左上、左下、中央の何れの領域に移動するかを選択する（ステップＳ１６）。これにより、画像の領域の移動が行なわれる（ステップＳ１７）。なお、ステップＳ６〜Ｓ９，Ｓ１６におけるユーザの選択に応じて、設定手段を実現するサイズ変更設定部２３が、画像のサイズの変更あるいは画像の領域の移動を設定する。
【００９８】
この拡大又は縮小の処理、さらに、画像の領域の移動の処理の実行により生成したコードストリームは、画像データ記憶ユニット４５に記憶する（ステップＳ１８）。なお、ステップＳ４のＮの場合は、拡大、縮小処理を行なわずに画像データをＪＰＥＧ２０００アルゴリズムで圧縮符号化したコードストリームとして記憶する。また、これらのコードストリームは、画像データ書込ユニット４６に送られて、その画像の形成が、前述の選択されたサイズの用紙に対してなされる（ステップＳ１９）。
【００９９】
【発明の効果】
請求項１，２１，２２，２３に記載の発明は、コードストリームを復号しなくても符号データのまま画像のサイズの変更又は画像の領域の移動を行なうことができるので、画像のサイズの変更又は画像の領域の移動を、少ないメモリ容量で高速に実行することができる。
【０１００】
請求項２に記載の発明は、請求項１に記載の発明において、コードストリームを復号しなくても符号データのまま画像のサイズの拡大を行なうことができるので、画像のサイズの拡大を少ないメモリ容量で高速に実行することができる。
【０１０１】
請求項３に記載の発明は、請求項１に記載の発明において、コードストリームを復号しなくても符号データのまま画像のサイズの縮小を行なうことができるので、画像のサイズの縮小を少ないメモリ容量で高速に実行することができる。
【０１０２】
請求項４に記載の発明は、請求項１に記載の発明において、コードストリームを復号しなくても符号データのまま画像の領域の移動を行なうことができるので、画像の領域の移動を少ないメモリ容量で高速に実行することができる。
【０１０３】
請求項５に記載の発明は、請求項２又は４に記載の発明において、元の画像内容を含まない小領域にも画像を与えることができる。
【０１０４】
請求項６に記載の発明は、請求項５に記載の発明において、元の画像内容を含まない小領域にも所定の画素値の画像を与えることができる。この小領域に与える画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【０１０５】
請求項７に記載の発明は、請求項５に記載の発明において、原稿の地肌部の画素値を検出して、元の画像内容を含まない小領域にも原稿の地肌部の画素値を与えることができる。
【０１０６】
請求項８に記載の発明は、請求項３に記載の発明において、不要な符号データを削除して、データ量を低減することができる。
【０１０７】
請求項９に記載の発明は、請求項３に記載の発明において、領域外とした小領域から元の画像を復元することが可能となる。
【０１０８】
請求項１０に記載の発明は、請求項２又は４に記載の発明において、画像として必要ないとき等に、位置情報の書換えによりサイズが変化する半端な小領域を省くことができる。
【０１０９】
請求項１１に記載の発明は、請求項２又は４に記載の発明において、画像として必要なとき等に、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【０１１０】
請求項１２に記載の発明は、請求項２又は４に記載の発明において、画像に有意性がなくて必要ないときには、位置情報の書換えによりサイズが変化する半端な小領域を省き、画像に有意性があって必要なときには、位置情報の書換えによりサイズが変化する半端な小領域を本来のサイズにすることができる。
【０１１１】
請求項１３に記載の発明は、請求項１１又は１２に記載の発明において、本来のサイズの画像とすると画像内容のない部分を所定の画素値の画像で補うことができる。この小領域に補なう画像としては、白色や元の画像の原稿の地肌部として想定する値の画素値等が考えられる。
【０１１２】
請求項１４に記載の発明は、請求項１１又は１２に記載の発明において、原稿の地肌部の画素値を検出して、小領域の元の画像内容を含まない部分にも原稿の地肌部の画素値を与えることができる。
【０１１３】
請求項１７に記載の発明は、請求項２に記載の発明において、サイズの拡大の場合に画像内容の表示位置及び拡大倍率をユーザが指定することができる。
【０１１４】
請求項１８に記載の発明は、請求項３に記載の発明において、縮小しても残す画像内容の範囲及び縮小倍率をユーザが指定することができる。
【０１１５】
請求項１９に記載の発明は、請求項４に記載の発明において、領域の移動の場合に画像内容の表示位置をユーザが指定することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１である画像処理装置の電気的な接続のブロック図である。
【図２】画像処理装置の機能ブロック図である。
【図３】画像サイズの拡大についての説明図である。
【図４】サイズ拡大前のコードストリームのデータ構成の説明図である。
【図５】サイズ拡大後のコードストリームのデータ構成の説明図である。
【図６】半端なサイズのタイルを含む場合における画像サイズの拡大についての説明図である。
【図７】半端なサイズのタイルを除去して画像サイズを拡大する場合の説明図である。
【図８】半端なサイズのタイルについて画像情報を含まずに画像サイズを拡大する場合の説明図である。
【図９】有意性判定部を含む画像処理装置の機能ブロック図である。
【図１０】地肌符号抽出部を含む画像処理装置の機能ブロック図である。
【図１１】画像サイズを縮小する場合の説明図である。
【図１２】画像の特定の領域を変更する場合の説明図である。
【図１３】画像の特定の領域を変更する場合における半端なサイズのタイルの処理に関する説明図である。
【図１４】本発明の実施の形態２である画像形成装置の全体構成を示すブロック図である。
【図１５】画像形成装置の画像データ処理ユニットの電気的な接続を示すブロック図である。
【図１６】画像形成装置が行なう処理のフローチャートである。
【符号の説明】
１ 画像処理装置
８ 記憶媒体
２１ 分割手段
２２ 符号化手段
２３ 設定手段
２４ 位置情報変更手段
２５ 有意性判定手段
２６ 地肌検出手段
４１ 画像形成装置
４２ スキャナ
４６ プリンタエンジン
Claims (23)
- 画像を複数の小領域に分割し、小領域ごとに独立して圧縮符号化したコードストリームを対象として、このコードストリームの画像に対して画像のサイズの変更又は画像の領域の移動を設定する設定手段と、
この設定に応じて前記小領域の位置情報を書換えることにより、前記コードストリームについて、元の画像の全部又は一部の画像内容はそのままに、元の画像に対して画像のサイズの変更又は画像の領域の移動を行なう画像位置情報変更手段と、
を備えている画像処理装置。 - 前記位置情報変更手段は、元の画像の全部の画像内容はそのままに、元の画像に対して画像のサイズの拡大を行なう、請求項１に記載の画像処理装置。
- 前記位置情報変更手段は、元の画像の一部の画像内容はそのままに、元の画像に対して画像のサイズの縮小を行なう、請求項１に記載の画像処理装置。
- 前記位置情報変更手段は、元の画像の全部の画像内容はそのままに、元の画像に対して画像の領域の移動を行なう、請求項１に記載の画像処理装置。
- 前記画像内容を有する前記小領域以外の前記小領域について符号データを生成して前記コードストリームに付加する符号データ生成手段を備えている、請求項２又は４に記載の画像処理装置。
- 前記符号データ生成手段は、各画素値に所定の値を与えた前記符号データの生成を行なう、請求項５に記載の画像処理装置。
- 前記符号データを生成する前記小領域について画像の原稿の地肌部の画素値を検出する地肌検出手段を備え、
前記符号データ生成手段は、前記検出値を前記各画素値に与えた前記符号データの生成を行なう、請求項５に記載の画像処理装置。 - 前記一部の画像以外の前記小領域については削除する削除手段を備えている、請求項３に記載の画像処理装置。
- 前記画像位置情報変更手段は、前記一部の画像以外の前記小領域については当該小領域を画像の領域外とする位置情報に書換える、請求項３に記載の画像処理装置。
- 半端なサイズである前記小領域を削除する削除手段を備えている、請求項２又は４に記載の画像処理装置。
- 半端なサイズである前記小領域を復号して前記小領域の本来のサイズの画像として再度前記圧縮符号化するサイズ変更手段を備えている、請求項２又は４に記載の画像処理装置。
- 半端なサイズである前記小領域について、有意性のある画像が含まれているか否かを判断する有意性判定手段と、
この判断により有意性のある画像が含まれているときは、当該小領域を復号して前記小領域の本来のサイズの画像として再度前記圧縮符号化するサイズ変更手段と、
この判断により有意性のある画像が含まれていないときは、前記位置情報の書換えによりサイズが変化する前記小領域を削除する削除手段と、
を備えている請求項２又は４に記載の画像処理装置。 - 前記サイズ変更手段は、前記小領域を本来のサイズの画像とすると画像内容のない部分については所定の画素値の画像を与える、請求項１１又は１２に記載の画像処理装置。
- 前記符号データを生成する前記小領域について画像の原稿の地肌部の画素値を検出する地肌検出手段を備え、
前記サイズ変更手段は、前記小領域の本来のサイズの画像とすると画像内容のない部分については前記検出値の画素値の画像を与える、請求項１１又は１２に記載の画像処理装置。 - 前記符号化手段は、２次元離散ウェーブレット変換及びエントロピー符号化又は算術符号化を用いて前記圧縮符号化を行なう、請求項１に記載の画像処理装置。
- 前記符号化手段は、ＪＰＥＧ２０００アルゴリズムにより前記圧縮符号化を行なう、請求項１５に記載の画像処理装置。
- 前記設定手段は、前記画像のサイズの拡大を行なう際の前記画像内容の表示位置及び拡大倍率の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう、請求項２に記載の画像処理装置。
- 前記設定手段は、前記画像のサイズの縮小を行なう際の前記一部の画像内容の範囲及び縮小倍率の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう、請求項３に記載の画像処理装置。
- 前記設定手段は、前記領域の移動を行なう際の前記画像内容の表示位置の指定をユーザから受付けて、この受付けた指定の内容に応じて前記設定を行なう、請求項４に記載の画像処理装置。
- 画像を複数の小領域に分割する分割手段と、
この分割後の小領域ごとに独立して圧縮符号化したコードストリームを生成する符号化手段と、
を備え、
前記画像位置情報変更手段は、前記符号化手段で生成したコードストリームに対して、前記位置情報の書換えを行なう、
請求項１〜１９の何れかの一に記載の画像処理装置。 - 原稿の画像を読取るスキャナと、
この読取った画像データを処理する請求項２０に記載の画像処理装置と、
この処理により生成された前記コードストリームに基づいて用紙上に画像の形成を行なうプリンタエンジンと、
を備えている画像形成装置。 - 請求項１〜１９の何れかの一に記載の画像処理装置における各手段の機能をコンピュータに実行させるコンピュータに読取り可能なプログラム。
- 請求項２２に記載のプログラムを記憶している記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002271186A JP4135888B2 (ja) | 2002-09-18 | 2002-09-18 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US10/662,520 US7362904B2 (en) | 2002-09-18 | 2003-09-16 | Image processing device, image forming apparatus, program, and storing medium |
| DE2003618529 DE60318529T2 (de) | 2002-09-18 | 2003-09-18 | Bildverarbeitungsgerät, Bilderzeugungsvorrichtung, Programm, und ein Computer-Speichermedium |
| EP20030255858 EP1401207B1 (en) | 2002-09-18 | 2003-09-18 | Image processing device, image forming apparatus, program, and a computer storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002271186A JP4135888B2 (ja) | 2002-09-18 | 2002-09-18 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112260A true JP2004112260A (ja) | 2004-04-08 |
| JP4135888B2 JP4135888B2 (ja) | 2008-08-20 |
Family
ID=31944545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002271186A Expired - Fee Related JP4135888B2 (ja) | 2002-09-18 | 2002-09-18 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7362904B2 (ja) |
| EP (1) | EP1401207B1 (ja) |
| JP (1) | JP4135888B2 (ja) |
| DE (1) | DE60318529T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005229574A (ja) * | 2004-01-16 | 2005-08-25 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006086579A (ja) * | 2004-09-14 | 2006-03-30 | Ricoh Co Ltd | 画像処理装置、プログラム、及び記憶媒体 |
| JP4533273B2 (ja) * | 2005-08-09 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
| US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| JP4918026B2 (ja) * | 2007-12-21 | 2012-04-18 | 株式会社リコー | 画像符号化装置、画像符号化方法、コンピュータプログラム、及び、情報記録媒体 |
| JP5413080B2 (ja) * | 2009-09-15 | 2014-02-12 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| WO2014050211A1 (ja) * | 2012-09-27 | 2014-04-03 | シャープ株式会社 | プログラム、表示装置、テレビジョン受信機、表示方法及び表示システム |
| CN105141960B (zh) * | 2015-06-17 | 2018-03-09 | 西安空间无线电技术研究所 | 一种基于jpeg2000压缩码流进行信息传输的方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3202433B2 (ja) * | 1993-09-17 | 2001-08-27 | 株式会社リコー | 量子化装置、逆量子化装置及び画像処理装置並びに量子化方法、逆量子化方法及び画像処理方法 |
| JP2947085B2 (ja) | 1994-08-30 | 1999-09-13 | 日本電気株式会社 | 領域拡大を用いた画像の反復変換符号化装置及び復号装置 |
| JP3213584B2 (ja) | 1997-09-19 | 2001-10-02 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| JP3614361B2 (ja) | 1997-09-19 | 2005-01-26 | シャープ株式会社 | 画像復号装置 |
| CN1175373C (zh) | 1998-03-20 | 2004-11-10 | 三菱电机株式会社 | 有损失/无损失感兴趣区域图像编码的方法和系统 |
| JP4420415B2 (ja) | 1998-07-03 | 2010-02-24 | キヤノン株式会社 | 符号化方法及び符号化装置 |
| JP2001189844A (ja) | 1999-12-28 | 2001-07-10 | Nec Corp | 情報挿入／検出方式 |
| JP2001258031A (ja) * | 2000-03-08 | 2001-09-21 | Sony Corp | 信号処理方法、画像符号化装置及び画像復号装置 |
| US7006099B2 (en) * | 2000-08-15 | 2006-02-28 | Aware, Inc. | Cache system and method for generating uncached objects from cached and stored object components |
| US7206804B1 (en) * | 2000-11-10 | 2007-04-17 | Sharp Laboratories Of America, Inc. | Methods and systems for transmitting digital images |
| US7110608B2 (en) * | 2001-07-02 | 2006-09-19 | Canon Kabushiki Kaisha | Digital image compression |
-
2002
- 2002-09-18 JP JP2002271186A patent/JP4135888B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-16 US US10/662,520 patent/US7362904B2/en not_active Expired - Fee Related
- 2003-09-18 EP EP20030255858 patent/EP1401207B1/en not_active Expired - Fee Related
- 2003-09-18 DE DE2003618529 patent/DE60318529T2/de not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005229574A (ja) * | 2004-01-16 | 2005-08-25 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1401207B1 (en) | 2008-01-09 |
| DE60318529T2 (de) | 2009-01-08 |
| US20040131262A1 (en) | 2004-07-08 |
| EP1401207A3 (en) | 2004-05-26 |
| EP1401207A2 (en) | 2004-03-24 |
| DE60318529D1 (de) | 2008-02-21 |
| US7362904B2 (en) | 2008-04-22 |
| JP4135888B2 (ja) | 2008-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4766657B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP4848462B2 (ja) | 圧縮画像の部分伸長方法および画像処理装置 | |
| JP2007082217A (ja) | デジタルイメージでサムネイルを生成する方法及び装置 | |
| JP4974619B2 (ja) | 画像データ処理装置、画像データ処理方法、プログラム及び記録媒体 | |
| JP2008104164A (ja) | 画像処理装置及び画像処理方法 | |
| JP3938534B2 (ja) | 画像処理装置及び方法、画像形成装置、並びにプログラム | |
| JP4135888B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| WO2011077550A1 (ja) | 画面中継装置 | |
| JP4405878B2 (ja) | 画像処理装置、画像処理方法、ならびにプログラム、記憶媒体 | |
| JP2006287625A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2003189109A (ja) | 画像処理装置及び方法、並びにコンピュータ・プログラム | |
| JP4100836B2 (ja) | 画像処理装置 | |
| JP4030014B2 (ja) | 画像表示装置およびそのプログラム | |
| JP4136825B2 (ja) | 画像処理装置および画像処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム | |
| JP2011193395A (ja) | 画像処理装置、制御方法、及びプログラム | |
| JP2002051221A (ja) | 画像符号化装置、画像復号化装置、システム、及びその方法並びに記憶媒体 | |
| JP2003209697A (ja) | 画像処理装置及び方法及びコンピュータプログラム及び記憶媒体 | |
| JP2010028819A (ja) | 画像処理装置、画像処理方法及び画像読取装置 | |
| JP7008425B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2000278644A (ja) | ノンリニアビデオ編集装置およびその方法 | |
| JPH11284840A (ja) | 画像形成装置 | |
| JP2001069508A (ja) | 画像蓄積方法、画像蓄積装置及び記録媒体 | |
| JP2022118499A (ja) | 画像形成装置、制御方法、及びプログラム | |
| JP2000013610A (ja) | 符号化画像ファイル作成方法および装置、復号化方法および装置、並びに符号化画像ファイル作成方法および復号化方法をコンピュータに実行させるプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP2006319482A (ja) | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050526 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080528 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4135888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |