JP2004242107A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004242107A JP2004242107A JP2003030046A JP2003030046A JP2004242107A JP 2004242107 A JP2004242107 A JP 2004242107A JP 2003030046 A JP2003030046 A JP 2003030046A JP 2003030046 A JP2003030046 A JP 2003030046A JP 2004242107 A JP2004242107 A JP 2004242107A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reduction
- image processing
- unit
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】画像を縮小表示する場合に、紙文書の写真画像などが判読不能となる不都合を回避する。
【解決手段】伸長処理部１１０及び／又は表示加増処理部１１２で画像のの縮小処理が行われる。ＪＰＥＧ２０００フォーマットの画像の符号化データを取り込み、その画像を画像表示部１１４に縮小表示する際に、評価部１１６は符号化データのサブバンド符号量分布に基づいて高周波成分の強度を評価し、この評価結果に基づいて、縮小条件決定部１１８で縮小処理の縮小条件を決定する。紙文書の写真画像などのように、高周波成分の強度が「強」と評価される画像については、縮小処理を抑止し、あるいは低倍率で縮小することにより、縮小による弊害を回避する。
【選択図】 図１
【解決手段】伸長処理部１１０及び／又は表示加増処理部１１２で画像のの縮小処理が行われる。ＪＰＥＧ２０００フォーマットの画像の符号化データを取り込み、その画像を画像表示部１１４に縮小表示する際に、評価部１１６は符号化データのサブバンド符号量分布に基づいて高周波成分の強度を評価し、この評価結果に基づいて、縮小条件決定部１１８で縮小処理の縮小条件を決定する。紙文書の写真画像などのように、高周波成分の強度が「強」と評価される画像については、縮小処理を抑止し、あるいは低倍率で縮小することにより、縮小による弊害を回避する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像表示手段に表示される画像の縮小処理に係り、特に、画像の性質に応じて縮小処理の縮小条件を自動的に調整する技術に関する。
【０００２】
【従来の技術】
ＣＲＴディスプレイなどに表示されることを想定した画像を、例えば携帯情報端末（ＰＤＡ）などの画素数の少ない表示デバイスに表示する際に、表示デバイスの表示領域ｋサイズに合わせて、画像を自動的に縮小する技術や、縦横回転と横方向縮小を行う技術が知られている（例えば特許文献１及び２参照）。
【０００３】
画像は蓄積又は伝送に先立って圧縮されることが多い。静止画像の圧縮にはＪＰＥＧが、動画像の圧縮にはＭＰＥＧが広く利用されているが、これに代わる圧縮方式としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている（例えば非特許文献１参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続した複数の静止画像それぞれをフレームとして動画像を扱うが、個々のフレームはＪＰＥＧ２０００により圧縮される。
【０００４】
【特許文献１】
特開２００１−２２８８５７号公報
【特許文献２】
特開２００２−１０８７５５号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式 ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００５】
【発明が解決しようとする課題】
前記従来技術のように表示領域のサイズに合わせて画像を自動的に縮小した場合に、画像の内容によっては縮小による弊害が大きい。例えば、紙文書を撮影した写真画像は、全体を表示できるように縮小されると、画像中の文字が潰れ判読不可能になることがある。
【０００６】
本発明の目的は、このような画像縮小に伴う不都合を回避するための手段を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために本発明により提供される画像処理装置は、請求項１に記載されるように、装置内部又は装置外部の画像表示手段に表示される画像の縮小処理のための手段を備える画像処理装置であって、画像の高周波成分の強度を評価する手段と、前記評価の結果に基づいて前記縮小処理の縮小条件を決定する手段とを有することを特徴とする。
【０００８】
本発明の画像処理装置のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の画像処理装置において、前記評価する手段により高周波成分の強度が「強」と評価された画像に対しては、前記決定する手段により前記縮小処理を抑止する縮小条件が決定されることにある。
【０００９】
本発明の画像処理装置のもう１つの特徴は、請求項３に記載されるように、請求項１に記載の画像処理装置において、前記評価する手段は、ＪＰＥＧ２０００フォーマットの画像の符号化データのサブバンド符号量の分布に基づいて高周波成分の強度を評価することにある。
【００１０】
本発明の画像処理装置のもう１つの特徴は、請求項４に記載されるように、請求項３に記載の画像処理装置において、前記評価する手段は、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が全符号量の所定割合を超える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１１】
本発明の画像処理装置のもう１つの特徴は、請求項５に記載されるように、請求項３に記載の画像処理装置において、前記評価する手段は、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１２】
本発明の画像処理装置のもう１つの特徴は、請求項６に記載されるように、請求項１乃至６のいずれか１項に記載の画像処理装置において、画像の符号化データの伸長処理の段階で前記縮小処理が行われることにある。
【００１３】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載されるように、表示領域に表示される画像の縮小処理のための画像処理方法であって、画像の高周波成分の強度を評価するステップと、前記評価の結果に基づいて前記縮小処理の縮小条件を決定するステップとを有する画像処理方法にある。
【００１４】
また、前記目的を達成するために本発明により提供される画像処理方法は、請求項８に記載されるように、請求項７に記載の画像処理方法において、前記評価するステップにより高周波成分の強度が「強」と評価された画像に対しては、前記決定するステップにより前記縮小処理を抑止する縮小条件が決定されることを特徴とする。
【００１５】
本発明の画像処理方法のもう１つの特徴は、請求項９に記載されるように、請求項７に記載の画像処理方法において、前記評価するステップは、ＪＰＥＧ２０００フォーマットの画像の符号化データのサブバンド符号量の分布に基づいて高周波成分の強度を評価することにある。
【００１６】
本発明の画像処理方法のもう１つの特徴は、請求項１０に記載されるように、請求項９に記載の画像処理方法において、前記評価するステップは、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が全符号量の所定割合を超える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１７】
本発明の画像処理方法のもう１つの特徴は、請求項１１に記載されるように、請求項９に記載の画像処理方法において、前記評価するステップは、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１８】
また、前記目的を達成するために、本発明によれば、請求項１２に記載されるように、請求項１乃至５のいずれか１項に記載の評価する手段及び決定する手段の機能をコンピュータで実現するプログラム、請求項１３に記載されるように、請求項７乃至１１のいずれか１項に記載の評価するステップ及び決定するステップをコンピュータで実行させるプログラム、及び、請求項１４に記載されるように、請求項１２又は１３に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体が提供される。
【００１９】
【発明の実施の形態】
以下の説明の理解を容易にするため、ＪＰＥＧ２０００について概説する。図６は、ＪＰＥＧ２０００の圧縮／伸長のアルゴリズムを説明するためのブロック図である。
【００２０】
ＪＰＥＧ２０００では、圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により２次元のウェーブレット変換（離散ウェーブレット変換）を施されサブバンドに分解される。
【００２１】
図７はデコンポジション回数（レベル数）が３の場合のウェーブレット変換の説明図である。図７（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図７（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンド係数に対し２次元ウェーブレット変換が適用されることにより、図７（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンド係数に対し２次元ウェーブレット変換が適用されることにより、図７（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図７（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００２２】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３によってサブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００２３】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈＯｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００２４】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プレシンクト）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００２５】
このようにして生成されるＪＰＥＧ２０００の符号化データ（圧縮画像データ）のフォーマットを図８に示す。図８に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００２６】
図９にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図１０にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
【００２７】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号化される。復号化されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００２８】
ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮されるが、分割領域として前記のタイルとコードブロックのほかにプレシンクトがあり、画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
【００２９】
プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図８の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３０】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が規定されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト（位置）である。
【００３１】
ＲＬＣＰプログレッションの場合、Ｒ，Ｌ，Ｃ，Ｐの順にネストされた次のようなｆｏｒループ
という順で、パケットのハンドリングがなされる。したがって、伸長時に、解像度レベル数をより少ない値に設定するならば、その解像度レベル数までのパケットだけをハンドリングさせ、符号化データを解像度の観点から部分的に伸長することができる（解像度スケーラビリティがある）。
【００３２】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１１のような順に解釈される。この例で、解像度レベル数＝２にセットするならば、図中の「終了」の段階、すなわち解像度レベル０と１のパケットを伸長した段階で伸長動作を終了させることができる。
【００３３】
なお、パケットは、本体であるパケットデータ（符号）にパケットヘッダを付加した構造である。パケットヘッダには、パケットデータの長さなどの情報が含まれる。
【００３４】
図１は、本発明の画像処理方法及び装置の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、画像の圧縮データ（符号化データ）又は非圧縮データを取り込む手段として、無線又は有線ネットワークとのインターフェースである通信インターフェース部１００、外部機器とのインターフェースである外部インターフェース部１０２、各種メモリカード１０６の読み取りのための媒体インターフェース部１０４を有する。この画像処理装置は、具体的には例えば、携帯情報端末（ＰＤＡ）や携帯電話器などの通信と画像表示の機能を有する機器であるが、本発明と直接関係のない構成については図示されていない。
【００３５】
この画像処理装置を構成する要素の機能、例えば、伸長処理部１１０、表示画像処理部１１２、評価部１１６、縮小条件決定部１１８、制御部１２２の機能は、ハードウェアとして実現することも可能であるが、プログラムにより実現することも可能である。この画像処理装置において実行される画像処理手順（後述）を、携帯情報端末や携帯電話器に組み込まれたマイクロコンピュータや、パソコンなどの汎用コンピュータで実行させるためのプログラム、及び、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。
【００３６】
この画像処理装置は、画像の符号化データの伸長処理のための伸長処理部１１０、表示画像の縮小処理などを行う表示画像処理部１１２、画像の高周波成分の強度を評価する評価部１１６、その評価結果に基づいて画像の縮小条件を決定するための縮小条件決定部１１８、画像データを画面表示するための画像表示部１１４、画像データなどの記憶域や処理のための作業記憶域を提供する記憶部１０８、上に述べた各部の動作の制御や処理手順の制御を行う制御部１２２、ユーザが各種の指定や画像表示部１１４の表示画像のスクロール指示などを入力するための操作部１２０を備える。伸長処理部１１０は、圧縮された画像データを扱う場合には画像の縮小処理にも利用される。
【００３７】
まず、通信インターフェース部１００、外部インターフェース部１０２又は媒体インターフェース部１０４より、画像の符号化データを取り込み、その画像を画像表示部１１４に表示する動作について説明する。ここで、画像の符号化データはＪＰＥＧ２０００フォーマットのＲＬＣＰプログレッションの符号化データで、そのデコンポジション回数が３であるものとして説明する。図２は処理の流れを示すフローチャートである。
【００３８】
画像の符号化データは、記憶部１０８にバッファ記憶された後、制御部１２２の制御により伸長処理部１１０に入力される（ステップＳ１００）。伸長処理部１１０は、前述のＪＰＥＧ２０００のアルゴリズムにより符号化データの伸長処理を行う手段であるが、メインヘッダの内容を解析し、ＳＩＺマーカセグメントに記述されている画像サイズ、メインヘッダのＰＰＭマーカセグメントに記述されているパケット長情報、メインヘッダのＣＯＤマーカセグメントに記述されているデコンポジション回数を抽出して記憶部１０８の所定記憶域に書き込む。なお、メインヘッダにＰＰＭマーカセグメントが存在しない場合には、タイルヘッダのＰＰＴマーカセグメントに記述されているパケット長情報が抽出される。メインヘッダ、タイルヘッダのいずれにも集約パケットヘッダが含まれていない場合には、タイルデータ中の各パケットのパケットヘッダよりパケット長情報が抽出される。
【００３９】
制御部１２２は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズを比較することにより処理の流れを制御する（ステップＳ１０２）。ここで、表示領域サイズとは、画像表示部１１４の画面上の画像が表示される領域のサイズであり、操作部１２０より予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【００４０】
画像サイズが表示領域サイズ以下ならば、制御部１２２は、伸長処理部１１０で符号化データを最高解像度レベルまで伸長処理させ、表示画像処理部１１２には縮小処理を行わせない（ステップＳ１１４）。すなわち、縮小処理は抑止される。換言すれば、縮小倍率は１とされる。したがって、元の画像サイズと同じサイズの画像データが再生される。そして、この画像データをそのまま画像表示部１１４へ出力させ、画像表示部１１４の画像表示領域に画像を元のサイズで表示させる（ステップＳ１１６）。
【００４１】
画像サイズが表示領域サイズより大きい場合、制御部１２２は、選択されたモードに応じて処理の流れを切り替える（ステップＳ１０４）。選択可能なモードとして非縮小モード、強制縮小モード、自動縮小モードがあり、ユーザは操作部１２０よりモードを選択することができる。
【００４２】
非縮小モードが選択されている場合には、ステップＳ１１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００４３】
強制縮小モードが選択されている場合、制御部１２２からの指示に応じて、縮小条件決定部１１８は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズとから縮小条件、すなわち伸長処理部１１０で伸長すべき解像度レベルと表示画像処理１１２での縮小倍率とを決定する（ステップＳ１１０）。例えば、表示領域サイズが解像度レベル１での画像サイズより大きく解像度レベル２での画像サイズより小さい場合には、解像度レベル２までの伸長と、解像度レベル２での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、制御部１２２は、決定した解像度レベルまでの伸長処理を伸長処理部１１０に実行させ、決定した倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ１１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ１１６）。
【００４４】
自動縮小モードが選択されている場合、制御部１２２からの指示により、評価部１１６は画像の高周波成分の強度を評価するために、記憶部１０８の前記所定記憶域に記憶されているパケット長情報からサブバンド毎の符号量を計算し、図３に示すようなサブバンド符号量の分布を求める。そして、その分布が図３の（ａ），（ｂ），（ｃ）のいずれのパターンに該当するか調べることにより高周波成分の強度を「強」、「中間的」、「弱」の３段階で評価する（ステップＳ１０６）。
【００４５】
図３はサブバンド符号量を解像度レベル毎に表したヒストグラムである。この例ではデコンポジション回数が３であるので、解像度レベル０のサブバンド符号量（３ＬＬサブバンドの符号量）、解像度レベル１のサブバンド符号量（３ＨＬ，３ＬＨ，３ＨＨサブバンド符号量）、解像度レベル２のサブバンド符号量（２ＨＬ，２ＬＨ，２ＨＨサブバンド符号量）、解像度レベル３のサブバンド符号量（３ＨＬ，３ＬＨ，３ＨＨサブバンド符号量）の分布が求められる。デコンポジション回数が異なる場合には、そのデコンポジション回数に対応した解像度レベル毎のサブバンド符号量が求められる。ただし、解像度レベルによってサブバンドの面積が異なるため、各解像度レベルのサブバンド符号量は単位面積当たりに換算された値である。各サブバンド符号量は対応した周波数成分量と略比例する関係があり、解像度レベル０のサブバンド符号量は最も低い周波数成分の量を反映し、解像度レベル３のサブバンド符号量は最も高い周波数成分の量を反映している。すなわち、図３のヒストグラムは、４つの周波数帯域に分けた画像の周波数分布と見ることができる。
【００４６】
このように、この実施の形態においては、ＪＰＥＧ２０００フォーマットの符号化データのメインヘッダ又はタイルヘッダ中の集約パケットヘッダあるいは各パケットのパケットヘッダに含まれるパケット長情報を参照することにより、簡単かつ高速に画像の周波数分布を取得している。また、後述のように、オクターブ分割の２次元ウェーブレット変換によるサブバンド符号量は、解像度レベル毎の画像サイズと表示領域サイズとの関係を高周波成分強度の評価に利用できる利点もある。
【００４７】
次に、制御部１２２からの指示により、縮小条件決定部１１８は、評価部１１６の評価結果に基づいて縮小条件を決定する（ステップＳ１０８）。基本的には、高周波成分が強い画像では縮小による弊害が大きいため縮小しないか、縮小倍率を小さくするような縮小条件を決定し、高周波成分が弱い場合には表示領域サイズまで縮小するような縮小条件を決定する。さらに、高周波成分の強度が中間的な場合には、中間的なサイズまで縮小するような縮小条件を決定する。図３を参照して、より具体的に説明する。
【００４８】
一実施例によれば、評価部１１６は、解像度レベル０の側からサブバンド符号量を加算していき、その値が全符号量（単位面積当たりに換算されたサブバンド符号量の総和）の例えば５０％を越えるサブバンドを求める。図３では、網掛けされたサブバンドの符号量の合計が全符号量の５０％を越えたことを示している。そして、５０％を越えたサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、高周波成分の強度を評価する。
【００４９】
図３（ａ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル０）での画像サイズが表示領域サイズより小さいケースでは、評価部１１６は高周波成分の強度を「弱」と評価する。
【００５０】
このように評価された場合には、縮小条件決定部１１８は、表示領域サイズまで縮小するように縮小条件を決定する。すなわち、符号量が５０％を越えた解像度レベルの１つ上の解像度レベル（この例ではレベル１）までの伸長処理を伸長処理部１１０で実行させ、それにより再生された画像データを表示画像処理部１１２でアスペクト比を変えずに表示領域サイズまで縮小させる、という縮小条件とする。高周波成分が弱い画像は、大きな縮小倍率で縮小しても、文字画像の場合のような大きな悪影響は生じにくい。
【００５１】
図３（ｃ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル３）での画像サイズが表示領域サイズより相当に大きいケースでは、評価部１１６は高周波成分の強度を「強」と評価する。
【００５２】
このように評価された場合、縮小による弊害が大きいため、縮小条件決定部１１８は、伸長処理部１１０で最高解像度レベルまでの伸長処理を行わせ、表示画像処理部１１２では縮小処理を行わせない、という縮小条件に決定する。つまり、縮小は行われないことになる。紙文書の写真画像などは、高周波成分の強度が「強」と評価され縮小されないため、文字の潰れにより判読できなくなるような不都合は回避される。なお、高周波成分が「強」と評価された場合に、縮小処理を抑止するのではなく、縮小による悪影響が問題とならない程度の低い縮小倍率となる縮小条件を決定してもよく、この態様も本発明に包含される。
【００５３】
図３（ｂ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル２）での画像サイズは表示領域サイズより大きいが、その差がそれほど大きくないケースでは、評価部１１６は、高周波成分の強度を「中間的」と評価する。
【００５４】
この場合、縮小条件決定部１１８は、中間的なサイズまで縮小するように縮小条件を決定する。例えば、最大解像度レベルより低レベルで、表示領域サイズより画像サイズが大きい解像度レベル（この例ではレベル２）までの伸長処理を伸長処理部１１０で行わせ、表示画像処理部１１２では縮小させない、という縮小条件とする。
【００５５】
なお、評価部１１６において、最高解像度レベルの側からサブバンド符号量を加算し、その値が全符号量の例えば５０％を越えるサブバンドを求め、そのサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、同様の評価を行ってもよい。このような態様も本発明に当然に包含される。
【００５６】
また、評価部１１６において、高周波成分の強度を「強」と「非強」の２段階で評価し、「非強」と評価された場合に縮小条件決定部１１８で表示領域サイズまで縮小するような縮小条件を決定することも可能であり、かかる態様も本発明に含まれる。
【００５７】
別の実施例によれば、評価部１１６において、最高解像度レベルの側から、サブバンド符号量を閾値Ｔｈと比較し、符号量が閾値Ｔｈを最初に越えた解像度レベルでの画像サイズと表示領域サイズとを比較することにより、前記実施例と同様な評価を行う。つまり、サブバンド符号量が閾値Ｔｈを越えた解像度レベルのなかで最も高い解像度レベルでの画像サイズと表示領域サイズとの比較によって、高周波成分の強度を評価する。閾値Ｔｈは、全符号量（単位面積当たりに換算されたサブバンド符号量の総和）に応じて適応的に決定されるのが好ましい。
【００５８】
以上のようにして縮小条件が決定されると、制御部１２２は、決定された解像度レベルまでの伸長処理を伸長処理部１１０に実行させ、決定された縮小倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ１１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ１１６）。
【００５９】
ここまでは、理解を容易にするためＲＬＣＰプログレッションの符号化データとして説明したが、他のプログレッションの符号化データであっても伸長処理部１１０の伸長処理の段階での縮小処理が可能である。ＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているので、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能であるからである。
【００６０】
なお、強制縮小モード又は自動縮小モードにおいて、常に符号化データを最高解像度レベルまで伸長し、必要な倍率の縮小処理を表示画像処理部１１２のみで実施させることも可能であり、このような態様も本発明に包含される。ただし、必要に応じて縮小処理段階でも縮小を行う態様は、伸長処理部１１０と表示画像処理部１１２における処理時間の短縮効果がある。また、評価処理ステップＳ１０６は、符号化データが入力された直後から実行を開始させてもよい。
【００６１】
次に、通信インターフェース部１００、外部インターフェース部１０２又は媒体インターフェース部１０４より、非圧縮の画像データを取り込み、その画像を画像表示部１１４に表示する処理について説明する。図４は処理の流れを示すフローチャートである。
【００６２】
画像データは記憶部１０８にバッファ記憶される（ステップＳ１００）。この時に、制御部１２２は画像データの画像サイズを取得して記憶部１０８の所定記憶域に書き込む。
【００６３】
制御部１２２は、入力した画像データの画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する（ステップＳ２０２）。前述のように、表示領域サイズは操作部１２０より予め指定されるが、指定されないときはデフォルトのサイズが用いられる。
【００６４】
画像サイズが表示領域サイズ以下ならば、制御部１２２は、入力した画像データをそのまま画像表示部１１４へ出力させ、画像表示部１１４の画像表示領域に画像を元のサイズで表示させる（ステップＳ２１４）。
【００６５】
画像サイズが表示領域サイズより大きい場合、制御部１２２は予め選択されたモードに応じて処理の流れを切り替える（ステップＳ２０４）。前述のように非縮小モード、強制縮小モード又は自動縮小モードを操作部１２０より指定することができる。
【００６６】
非縮小モードが選択されている場合には、ステップＳ２１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００６７】
強制縮小モードが選択されている場合、制御部１２２からの指示に応じて、縮小条件決定部１１８は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズとから、アスペクト比を変えることなく画像を表示領域サイズへ縮小するための倍率を決定する。そして、制御部１２２は、決定した倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ２１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ２１４）。
【００６８】
自動縮小モードが選択されている場合、制御部１２２からの指示により、評価部１１６は画像の高周波成分の強度を評価し（ステップＳ２０６）、その結果に基づいて縮小条件決定部１１８で表示画像処理部１１２における縮小倍率を決定する（ステップＳ２０８）。そして、決定された縮小倍率による入力画像データの縮小処理が表示画像処理部１１２で実行され（ステップＳ２１２）、処理後の画像データが画像表示部１１４へ出力され表示される（ステップＳ２１４）。
【００６９】
一実施例によれば、評価部１１６において、入力画像データ、又は、入力画像データの画素を間引いた画像データに対して、図７に関連して説明したような２次元の離散ウェーブレット変換を行う。そして、各解像度レベル毎に、サブバンド係数の絶対値の総和を計算し、その値を単位面積当たりの値に換算する。この値は、各解像度レベルに対応した周波数成分の量と略比例する関係があるため、図３と同様のヒストグラムが得られる。このヒストグラムに基づいて、図２のステップＳ１０６と同様の評価を行う。この評価結果に基づいて、縮小条件決定部１１８は、図２のステップＳ１０８と同様な考え方で縮小倍率を決定する。例えば、高周波成分の強度が「弱」と評価された場合には、表示領域サイズまで縮小する縮小倍率を決定し、高周波成分の強度が「中間的」と評価された場合には表示領域サイズよりやや大きなサイズまで縮小する縮小倍率を決定し、高周波成分の強度が「強」と評価された場合には、縮小倍率を１とする（縮小しない）。
【００７０】
なお、評価部１１６において、離散コサイン変換、フーリエ変換あるいは単純な帯域フィルタなどを利用して、入力画像データの周波数分布を求め、その分布から高周波成分の強度を評価してもよい。このような態様も本発明に包含される。要は入力画像の高周波成分の強度を評価できればよい。また、評価ステップＳ２０６わ、画像データが入力された直後から実行させるようにしてもよい。
【００７１】
図５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、静止画像又は動画像を撮影する電子カメラ装置である。
【００７２】
図５において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００７３】
３０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００７４】
以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び画像プロセッサ３０３は、静止画像又は動画像を撮影するための撮像手段を構成している。
【００７５】
圧縮／伸長処理部３２０は、ＪＰＥＧ２０００のアルゴリズムによる圧縮処理と伸長処理を行うための手段である。媒体インターフェース部３１２は、各種メモリカードなどの記録（記憶）媒体３１３に対する情報の書き込み／読み出しを行う手段である。３１４は有線又は無線の伝送路あるいはネットワークを通じ、外部の機器と接続するための外部インターフェース部である。
【００７６】
システムコントローラ３０６は、マイクロコンピュータからなり、操作部３０７から入力されるユーザの操作情報や画像プロセッサ３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ３０３、圧縮／伸長処理部３２０、媒体インターフェース部３１２などの制御を行う。３０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ３０３やシステムコントローラ３０６、圧縮／伸長処理部３２０、媒体インターフェース部３１２などの作業記憶域として利用される。
【００７７】
図示されていないが、図１中の評価部１１６と縮小条件決定部１１８の機能があり、これはシステムコントローラ３０６又は画像プロセッサ３０３で動作するプログラムにより実現される。また、画像プロセッサ３０３は、図１中の表示画像処理部１１２の機能も有する。以下、これらの機能のための手段を評価手段（１１６）、縮小条件決定手段（１１８）、表示画像処理手段（１１２）と記す。これら手段をハードウェアとして設けてもよく、そのような態様も本発明に包含されることは当然である。また、圧縮／伸長処理部３２０もシステムコントローラ３０６又は画像プロセッサ３０３で動作するプログラムにより実現するとも可能であり、このような態様も本発明に包含される。
【００７８】
動作は次の通りである。操作部３０７の撮影ボタンが押下されると、システムコントローラ３０６より撮影指示が画像プロセッサ３０３に与えられ、画像プロセッサ３０３は静止画像撮影又は動画像撮影の条件でイメージャ３０１を駆動する。撮影された画像のデータは画像プロセッサ３０３を経由してメモリ３０５に一時的に記憶される。そして、この画像データは、予め指定された又はデフォルトの圧縮率で圧縮／伸長処理部３０８でＪＰＥＧ２０００のアルゴリズムにより圧縮され、その符号化データは媒体インターフェース部３１２により記録媒体３１３に記録される。
【００７９】
この電子カメラ装置は、外部インターフェース部３１４を介し接続されたディスプレイ装置、携帯情報端末、携帯電話器などの画像表示画面を持つ外部機器、又は、表示部３０４に、その表示領域サイズに応じたサイズで記録画像を表示させることができる。この場合の動作を、図２のフローチャートを援用して説明する。
【００８０】
システムコントローラ３０６の制御により、記録媒体３１３に記録された画像の符号化データが媒体インターフェース部３１２によってメモリ３０５に読み出される（ステップＳ１００）。読み出される画像の選択は、例えば、表示部３０４に表示されたサムネイルを操作部３０７から指定することにより行われる。圧縮／伸長処理部３２０は、その符号化データのヘッダ情報を解析し、メインヘッダのＳＩＺマーカセグメントに含まれる画像サイズ、メインヘッダのＰＰＭマーカセグメント又はタイルヘッダのＰＰＴマーカセグメントに含まれるパケット長情報、メインヘッダのＣＯＤマーカセグメントに含まれるデコンポジション回数を抽出してメモリ３０５の所定記憶域に書き込む。なお、ＰＰＭマーカセグメントもＰＰＴマーカセグメントも存在しない場合には、タイルデータ中の各パケットのヘッダよりパケット長情報を抽出する。
【００８１】
システムコントローラ３０６は、メモリ３０５の前記所定記憶域を参照し、そこに記憶されている画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する（ステップＳ１０２）。ここで、表示領域サイズとは、画像が表示される外部機器又は表示部３０４の画面又は画面上の領域のサイズであり、操作部３０７又は外部機器から予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【００８２】
画像サイズが表示領域サイズ以下ならば、システムコントローラ３０６は、圧縮／伸長処理部３２０において符号化データを最高解像度レベルまで伸長処理させ（ステップＳ１１４）、再生された画像データを外部インターフェース部３１４より外部機器へ出力させる（ステップＳ１１６）。すなわち、元のサイズの画像が外部機器又は表示部３０４の表示領域に表示される。
【００８３】
画像サイズが表示領域サイズより大きい場合、システムコントローラ３０６は操作部３０７又は外部機器より予め選択されたモードに応じて処理の流れを切り替える（ステップＳ１０４）。
【００８４】
非縮小モードが選択されている場合には、ステップＳ１１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００８５】
強制縮小モードが選択されている場合、縮小条件決定手段（１１８）によって、画像サイズと表示領域サイズとから縮小条件、すなわち圧縮／伸長処理部３２０で伸長すべき解像度レベルと、表示画像処理手段（１１２）による縮小倍率とを決定する（ステップＳ１１０）。例えば、表示領域サイズが解像度レベル１での画像サイズより大きく解像度レベル２での画像サイズより小さい場合には、解像度レベル２までの伸長と、解像度レベル２での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、決定された解像度レベルまでの伸長処理が圧縮／伸長処理部３２０で実行され、再生された画像データに対し、決定された倍率の縮小処理が表示画像処理手段（１２２）で実行され（ステップＳ１１２）、処理後の画像データが外部インターフェース部３１４を介し外部機器へ出力され、又は表示部３０４へ出力される（ステップＳ１１６）。
【００８６】
自動縮小モードが選択されている場合、評価手段（１１６）により画像の高周波成分の強度が評価され（ステップＳ１０６）、その評価結果に基づいて縮小条件決定手段（１１８）で縮小条件が決定される（ステップＳ１０８）。評価と縮小条件決定は図１の画像処理装置に関して説明した通りであるので説明を繰り返さない。そして、決定された解像度レベルまでの伸長処理が伸長処理部３２０で実行され、再生された画像データに対する決定された倍率の縮小処理が表示画像処理手段（１２２）で実行され（ステップＳ１１２）、処理後の画像データが外部機器又は表示部３０４へ出力される（ステップＳ１１６）。
【００８７】
なお、圧縮された画像データとしてＪＰＥＧ２０００フォーマットの符号化データを前提として説明したが、本発明は、ＪＰＥＧ２０００以外の圧縮方式で圧縮された画像データを扱う同様の画像処理装置に対しても本発明を適用し得ることは明らかである。空間解像度スケーラビリティを有する符号化データならば、前述のような伸長処理段階での縮小も可能である。
【００８８】
【発明の効果】
以上に説明したように、本発明の画像処理装置又は画像処理方法によれば、画像の高周波成分の強度に基づいて縮小条件を自動的に調整することができるため、紙文書の写真画像などの高周波成分の強い画像については縮小処理を抑止し又は縮小倍率を下げることにより、縮小処理による弊害を回避し、その一方で、高周波成分が強くない縮小による悪影響の少ない画像については表示領域サイズなどへ縮小することができる。また、ＪＰＥＧ２０００フォーマットの符号化データに関しては、サブバンド符号量の分布を利用することにより、簡単な処理で高周波成分の強度を的確に評価することができる。また、画像の符号化データを伸長して表示する場合に、符号化データの伸長処理の段階で縮小処理を行うことにより処理を効率化することができる。また、本発明のプログラム又は記録媒体によれば、パソコンなどの汎用コンピュータや各種機器に組み込まれたマイクロコンピュータなどを利用し、画像の縮小処理の縮小条件を画像の性質に応じて自動的に最適化することができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】画像の圧縮データを取り込み画像を表示する動作を説明するためフローチャートである。
【図３】サブバンド符号量分布に基づいた高周波成分の強度の評価方法及び縮小条件の決定方法の説明図である。
【図４】加増の非圧縮データを取り込み画像を表示する動作を説明するためのフローチャートである。
【図５】本発明の別の実施の形態を説明するためのブロック図である。
【図６】ＪＰＥＧ２０００の圧縮／伸長アルゴリズムを説明するためのブロック図である。
【図７】２次元ウェーブレット変換の説明図である。
【図８】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図９】メインヘッダの説明図である。
【図１０】タイルヘッダの説明図である。
【図１１】ＲＬＣＰプログレッションの符号化データにおけるパケットのハンドリングを説明するための図である。
【符号の説明】
１１０ 伸長処理部
１１２ 表示画像処理部
１１４ 画像表示部
１１６ 評価部
１１８ 縮小条件決定部
３０４ 表示部
３２０ 圧縮／伸長処理部
【発明の属する技術分野】
本発明は、画像表示手段に表示される画像の縮小処理に係り、特に、画像の性質に応じて縮小処理の縮小条件を自動的に調整する技術に関する。
【０００２】
【従来の技術】
ＣＲＴディスプレイなどに表示されることを想定した画像を、例えば携帯情報端末（ＰＤＡ）などの画素数の少ない表示デバイスに表示する際に、表示デバイスの表示領域ｋサイズに合わせて、画像を自動的に縮小する技術や、縦横回転と横方向縮小を行う技術が知られている（例えば特許文献１及び２参照）。
【０００３】
画像は蓄積又は伝送に先立って圧縮されることが多い。静止画像の圧縮にはＪＰＥＧが、動画像の圧縮にはＭＰＥＧが広く利用されているが、これに代わる圧縮方式としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている（例えば非特許文献１参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続した複数の静止画像それぞれをフレームとして動画像を扱うが、個々のフレームはＪＰＥＧ２０００により圧縮される。
【０００４】
【特許文献１】
特開２００１−２２８８５７号公報
【特許文献２】
特開２００２−１０８７５５号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式 ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００５】
【発明が解決しようとする課題】
前記従来技術のように表示領域のサイズに合わせて画像を自動的に縮小した場合に、画像の内容によっては縮小による弊害が大きい。例えば、紙文書を撮影した写真画像は、全体を表示できるように縮小されると、画像中の文字が潰れ判読不可能になることがある。
【０００６】
本発明の目的は、このような画像縮小に伴う不都合を回避するための手段を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために本発明により提供される画像処理装置は、請求項１に記載されるように、装置内部又は装置外部の画像表示手段に表示される画像の縮小処理のための手段を備える画像処理装置であって、画像の高周波成分の強度を評価する手段と、前記評価の結果に基づいて前記縮小処理の縮小条件を決定する手段とを有することを特徴とする。
【０００８】
本発明の画像処理装置のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の画像処理装置において、前記評価する手段により高周波成分の強度が「強」と評価された画像に対しては、前記決定する手段により前記縮小処理を抑止する縮小条件が決定されることにある。
【０００９】
本発明の画像処理装置のもう１つの特徴は、請求項３に記載されるように、請求項１に記載の画像処理装置において、前記評価する手段は、ＪＰＥＧ２０００フォーマットの画像の符号化データのサブバンド符号量の分布に基づいて高周波成分の強度を評価することにある。
【００１０】
本発明の画像処理装置のもう１つの特徴は、請求項４に記載されるように、請求項３に記載の画像処理装置において、前記評価する手段は、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が全符号量の所定割合を超える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１１】
本発明の画像処理装置のもう１つの特徴は、請求項５に記載されるように、請求項３に記載の画像処理装置において、前記評価する手段は、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１２】
本発明の画像処理装置のもう１つの特徴は、請求項６に記載されるように、請求項１乃至６のいずれか１項に記載の画像処理装置において、画像の符号化データの伸長処理の段階で前記縮小処理が行われることにある。
【００１３】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載されるように、表示領域に表示される画像の縮小処理のための画像処理方法であって、画像の高周波成分の強度を評価するステップと、前記評価の結果に基づいて前記縮小処理の縮小条件を決定するステップとを有する画像処理方法にある。
【００１４】
また、前記目的を達成するために本発明により提供される画像処理方法は、請求項８に記載されるように、請求項７に記載の画像処理方法において、前記評価するステップにより高周波成分の強度が「強」と評価された画像に対しては、前記決定するステップにより前記縮小処理を抑止する縮小条件が決定されることを特徴とする。
【００１５】
本発明の画像処理方法のもう１つの特徴は、請求項９に記載されるように、請求項７に記載の画像処理方法において、前記評価するステップは、ＪＰＥＧ２０００フォーマットの画像の符号化データのサブバンド符号量の分布に基づいて高周波成分の強度を評価することにある。
【００１６】
本発明の画像処理方法のもう１つの特徴は、請求項１０に記載されるように、請求項９に記載の画像処理方法において、前記評価するステップは、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が全符号量の所定割合を超える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１７】
本発明の画像処理方法のもう１つの特徴は、請求項１１に記載されるように、請求項９に記載の画像処理方法において、前記評価するステップは、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することにある。
【００１８】
また、前記目的を達成するために、本発明によれば、請求項１２に記載されるように、請求項１乃至５のいずれか１項に記載の評価する手段及び決定する手段の機能をコンピュータで実現するプログラム、請求項１３に記載されるように、請求項７乃至１１のいずれか１項に記載の評価するステップ及び決定するステップをコンピュータで実行させるプログラム、及び、請求項１４に記載されるように、請求項１２又は１３に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体が提供される。
【００１９】
【発明の実施の形態】
以下の説明の理解を容易にするため、ＪＰＥＧ２０００について概説する。図６は、ＪＰＥＧ２０００の圧縮／伸長のアルゴリズムを説明するためのブロック図である。
【００２０】
ＪＰＥＧ２０００では、圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により２次元のウェーブレット変換（離散ウェーブレット変換）を施されサブバンドに分解される。
【００２１】
図７はデコンポジション回数（レベル数）が３の場合のウェーブレット変換の説明図である。図７（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図７（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンド係数に対し２次元ウェーブレット変換が適用されることにより、図７（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンド係数に対し２次元ウェーブレット変換が適用されることにより、図７（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図７（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００２２】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３によってサブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００２３】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈＯｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００２４】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プレシンクト）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００２５】
このようにして生成されるＪＰＥＧ２０００の符号化データ（圧縮画像データ）のフォーマットを図８に示す。図８に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００２６】
図９にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図１０にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
【００２７】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号化される。復号化されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００２８】
ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮されるが、分割領域として前記のタイルとコードブロックのほかにプレシンクトがあり、画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
【００２９】
プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図８の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３０】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が規定されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト（位置）である。
【００３１】
ＲＬＣＰプログレッションの場合、Ｒ，Ｌ，Ｃ，Ｐの順にネストされた次のようなｆｏｒループ
【００３２】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１１のような順に解釈される。この例で、解像度レベル数＝２にセットするならば、図中の「終了」の段階、すなわち解像度レベル０と１のパケットを伸長した段階で伸長動作を終了させることができる。
【００３３】
なお、パケットは、本体であるパケットデータ（符号）にパケットヘッダを付加した構造である。パケットヘッダには、パケットデータの長さなどの情報が含まれる。
【００３４】
図１は、本発明の画像処理方法及び装置の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、画像の圧縮データ（符号化データ）又は非圧縮データを取り込む手段として、無線又は有線ネットワークとのインターフェースである通信インターフェース部１００、外部機器とのインターフェースである外部インターフェース部１０２、各種メモリカード１０６の読み取りのための媒体インターフェース部１０４を有する。この画像処理装置は、具体的には例えば、携帯情報端末（ＰＤＡ）や携帯電話器などの通信と画像表示の機能を有する機器であるが、本発明と直接関係のない構成については図示されていない。
【００３５】
この画像処理装置を構成する要素の機能、例えば、伸長処理部１１０、表示画像処理部１１２、評価部１１６、縮小条件決定部１１８、制御部１２２の機能は、ハードウェアとして実現することも可能であるが、プログラムにより実現することも可能である。この画像処理装置において実行される画像処理手順（後述）を、携帯情報端末や携帯電話器に組み込まれたマイクロコンピュータや、パソコンなどの汎用コンピュータで実行させるためのプログラム、及び、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。
【００３６】
この画像処理装置は、画像の符号化データの伸長処理のための伸長処理部１１０、表示画像の縮小処理などを行う表示画像処理部１１２、画像の高周波成分の強度を評価する評価部１１６、その評価結果に基づいて画像の縮小条件を決定するための縮小条件決定部１１８、画像データを画面表示するための画像表示部１１４、画像データなどの記憶域や処理のための作業記憶域を提供する記憶部１０８、上に述べた各部の動作の制御や処理手順の制御を行う制御部１２２、ユーザが各種の指定や画像表示部１１４の表示画像のスクロール指示などを入力するための操作部１２０を備える。伸長処理部１１０は、圧縮された画像データを扱う場合には画像の縮小処理にも利用される。
【００３７】
まず、通信インターフェース部１００、外部インターフェース部１０２又は媒体インターフェース部１０４より、画像の符号化データを取り込み、その画像を画像表示部１１４に表示する動作について説明する。ここで、画像の符号化データはＪＰＥＧ２０００フォーマットのＲＬＣＰプログレッションの符号化データで、そのデコンポジション回数が３であるものとして説明する。図２は処理の流れを示すフローチャートである。
【００３８】
画像の符号化データは、記憶部１０８にバッファ記憶された後、制御部１２２の制御により伸長処理部１１０に入力される（ステップＳ１００）。伸長処理部１１０は、前述のＪＰＥＧ２０００のアルゴリズムにより符号化データの伸長処理を行う手段であるが、メインヘッダの内容を解析し、ＳＩＺマーカセグメントに記述されている画像サイズ、メインヘッダのＰＰＭマーカセグメントに記述されているパケット長情報、メインヘッダのＣＯＤマーカセグメントに記述されているデコンポジション回数を抽出して記憶部１０８の所定記憶域に書き込む。なお、メインヘッダにＰＰＭマーカセグメントが存在しない場合には、タイルヘッダのＰＰＴマーカセグメントに記述されているパケット長情報が抽出される。メインヘッダ、タイルヘッダのいずれにも集約パケットヘッダが含まれていない場合には、タイルデータ中の各パケットのパケットヘッダよりパケット長情報が抽出される。
【００３９】
制御部１２２は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズを比較することにより処理の流れを制御する（ステップＳ１０２）。ここで、表示領域サイズとは、画像表示部１１４の画面上の画像が表示される領域のサイズであり、操作部１２０より予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【００４０】
画像サイズが表示領域サイズ以下ならば、制御部１２２は、伸長処理部１１０で符号化データを最高解像度レベルまで伸長処理させ、表示画像処理部１１２には縮小処理を行わせない（ステップＳ１１４）。すなわち、縮小処理は抑止される。換言すれば、縮小倍率は１とされる。したがって、元の画像サイズと同じサイズの画像データが再生される。そして、この画像データをそのまま画像表示部１１４へ出力させ、画像表示部１１４の画像表示領域に画像を元のサイズで表示させる（ステップＳ１１６）。
【００４１】
画像サイズが表示領域サイズより大きい場合、制御部１２２は、選択されたモードに応じて処理の流れを切り替える（ステップＳ１０４）。選択可能なモードとして非縮小モード、強制縮小モード、自動縮小モードがあり、ユーザは操作部１２０よりモードを選択することができる。
【００４２】
非縮小モードが選択されている場合には、ステップＳ１１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００４３】
強制縮小モードが選択されている場合、制御部１２２からの指示に応じて、縮小条件決定部１１８は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズとから縮小条件、すなわち伸長処理部１１０で伸長すべき解像度レベルと表示画像処理１１２での縮小倍率とを決定する（ステップＳ１１０）。例えば、表示領域サイズが解像度レベル１での画像サイズより大きく解像度レベル２での画像サイズより小さい場合には、解像度レベル２までの伸長と、解像度レベル２での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、制御部１２２は、決定した解像度レベルまでの伸長処理を伸長処理部１１０に実行させ、決定した倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ１１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ１１６）。
【００４４】
自動縮小モードが選択されている場合、制御部１２２からの指示により、評価部１１６は画像の高周波成分の強度を評価するために、記憶部１０８の前記所定記憶域に記憶されているパケット長情報からサブバンド毎の符号量を計算し、図３に示すようなサブバンド符号量の分布を求める。そして、その分布が図３の（ａ），（ｂ），（ｃ）のいずれのパターンに該当するか調べることにより高周波成分の強度を「強」、「中間的」、「弱」の３段階で評価する（ステップＳ１０６）。
【００４５】
図３はサブバンド符号量を解像度レベル毎に表したヒストグラムである。この例ではデコンポジション回数が３であるので、解像度レベル０のサブバンド符号量（３ＬＬサブバンドの符号量）、解像度レベル１のサブバンド符号量（３ＨＬ，３ＬＨ，３ＨＨサブバンド符号量）、解像度レベル２のサブバンド符号量（２ＨＬ，２ＬＨ，２ＨＨサブバンド符号量）、解像度レベル３のサブバンド符号量（３ＨＬ，３ＬＨ，３ＨＨサブバンド符号量）の分布が求められる。デコンポジション回数が異なる場合には、そのデコンポジション回数に対応した解像度レベル毎のサブバンド符号量が求められる。ただし、解像度レベルによってサブバンドの面積が異なるため、各解像度レベルのサブバンド符号量は単位面積当たりに換算された値である。各サブバンド符号量は対応した周波数成分量と略比例する関係があり、解像度レベル０のサブバンド符号量は最も低い周波数成分の量を反映し、解像度レベル３のサブバンド符号量は最も高い周波数成分の量を反映している。すなわち、図３のヒストグラムは、４つの周波数帯域に分けた画像の周波数分布と見ることができる。
【００４６】
このように、この実施の形態においては、ＪＰＥＧ２０００フォーマットの符号化データのメインヘッダ又はタイルヘッダ中の集約パケットヘッダあるいは各パケットのパケットヘッダに含まれるパケット長情報を参照することにより、簡単かつ高速に画像の周波数分布を取得している。また、後述のように、オクターブ分割の２次元ウェーブレット変換によるサブバンド符号量は、解像度レベル毎の画像サイズと表示領域サイズとの関係を高周波成分強度の評価に利用できる利点もある。
【００４７】
次に、制御部１２２からの指示により、縮小条件決定部１１８は、評価部１１６の評価結果に基づいて縮小条件を決定する（ステップＳ１０８）。基本的には、高周波成分が強い画像では縮小による弊害が大きいため縮小しないか、縮小倍率を小さくするような縮小条件を決定し、高周波成分が弱い場合には表示領域サイズまで縮小するような縮小条件を決定する。さらに、高周波成分の強度が中間的な場合には、中間的なサイズまで縮小するような縮小条件を決定する。図３を参照して、より具体的に説明する。
【００４８】
一実施例によれば、評価部１１６は、解像度レベル０の側からサブバンド符号量を加算していき、その値が全符号量（単位面積当たりに換算されたサブバンド符号量の総和）の例えば５０％を越えるサブバンドを求める。図３では、網掛けされたサブバンドの符号量の合計が全符号量の５０％を越えたことを示している。そして、５０％を越えたサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、高周波成分の強度を評価する。
【００４９】
図３（ａ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル０）での画像サイズが表示領域サイズより小さいケースでは、評価部１１６は高周波成分の強度を「弱」と評価する。
【００５０】
このように評価された場合には、縮小条件決定部１１８は、表示領域サイズまで縮小するように縮小条件を決定する。すなわち、符号量が５０％を越えた解像度レベルの１つ上の解像度レベル（この例ではレベル１）までの伸長処理を伸長処理部１１０で実行させ、それにより再生された画像データを表示画像処理部１１２でアスペクト比を変えずに表示領域サイズまで縮小させる、という縮小条件とする。高周波成分が弱い画像は、大きな縮小倍率で縮小しても、文字画像の場合のような大きな悪影響は生じにくい。
【００５１】
図３（ｃ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル３）での画像サイズが表示領域サイズより相当に大きいケースでは、評価部１１６は高周波成分の強度を「強」と評価する。
【００５２】
このように評価された場合、縮小による弊害が大きいため、縮小条件決定部１１８は、伸長処理部１１０で最高解像度レベルまでの伸長処理を行わせ、表示画像処理部１１２では縮小処理を行わせない、という縮小条件に決定する。つまり、縮小は行われないことになる。紙文書の写真画像などは、高周波成分の強度が「強」と評価され縮小されないため、文字の潰れにより判読できなくなるような不都合は回避される。なお、高周波成分が「強」と評価された場合に、縮小処理を抑止するのではなく、縮小による悪影響が問題とならない程度の低い縮小倍率となる縮小条件を決定してもよく、この態様も本発明に包含される。
【００５３】
図３（ｂ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル２）での画像サイズは表示領域サイズより大きいが、その差がそれほど大きくないケースでは、評価部１１６は、高周波成分の強度を「中間的」と評価する。
【００５４】
この場合、縮小条件決定部１１８は、中間的なサイズまで縮小するように縮小条件を決定する。例えば、最大解像度レベルより低レベルで、表示領域サイズより画像サイズが大きい解像度レベル（この例ではレベル２）までの伸長処理を伸長処理部１１０で行わせ、表示画像処理部１１２では縮小させない、という縮小条件とする。
【００５５】
なお、評価部１１６において、最高解像度レベルの側からサブバンド符号量を加算し、その値が全符号量の例えば５０％を越えるサブバンドを求め、そのサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、同様の評価を行ってもよい。このような態様も本発明に当然に包含される。
【００５６】
また、評価部１１６において、高周波成分の強度を「強」と「非強」の２段階で評価し、「非強」と評価された場合に縮小条件決定部１１８で表示領域サイズまで縮小するような縮小条件を決定することも可能であり、かかる態様も本発明に含まれる。
【００５７】
別の実施例によれば、評価部１１６において、最高解像度レベルの側から、サブバンド符号量を閾値Ｔｈと比較し、符号量が閾値Ｔｈを最初に越えた解像度レベルでの画像サイズと表示領域サイズとを比較することにより、前記実施例と同様な評価を行う。つまり、サブバンド符号量が閾値Ｔｈを越えた解像度レベルのなかで最も高い解像度レベルでの画像サイズと表示領域サイズとの比較によって、高周波成分の強度を評価する。閾値Ｔｈは、全符号量（単位面積当たりに換算されたサブバンド符号量の総和）に応じて適応的に決定されるのが好ましい。
【００５８】
以上のようにして縮小条件が決定されると、制御部１２２は、決定された解像度レベルまでの伸長処理を伸長処理部１１０に実行させ、決定された縮小倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ１１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ１１６）。
【００５９】
ここまでは、理解を容易にするためＲＬＣＰプログレッションの符号化データとして説明したが、他のプログレッションの符号化データであっても伸長処理部１１０の伸長処理の段階での縮小処理が可能である。ＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているので、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能であるからである。
【００６０】
なお、強制縮小モード又は自動縮小モードにおいて、常に符号化データを最高解像度レベルまで伸長し、必要な倍率の縮小処理を表示画像処理部１１２のみで実施させることも可能であり、このような態様も本発明に包含される。ただし、必要に応じて縮小処理段階でも縮小を行う態様は、伸長処理部１１０と表示画像処理部１１２における処理時間の短縮効果がある。また、評価処理ステップＳ１０６は、符号化データが入力された直後から実行を開始させてもよい。
【００６１】
次に、通信インターフェース部１００、外部インターフェース部１０２又は媒体インターフェース部１０４より、非圧縮の画像データを取り込み、その画像を画像表示部１１４に表示する処理について説明する。図４は処理の流れを示すフローチャートである。
【００６２】
画像データは記憶部１０８にバッファ記憶される（ステップＳ１００）。この時に、制御部１２２は画像データの画像サイズを取得して記憶部１０８の所定記憶域に書き込む。
【００６３】
制御部１２２は、入力した画像データの画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する（ステップＳ２０２）。前述のように、表示領域サイズは操作部１２０より予め指定されるが、指定されないときはデフォルトのサイズが用いられる。
【００６４】
画像サイズが表示領域サイズ以下ならば、制御部１２２は、入力した画像データをそのまま画像表示部１１４へ出力させ、画像表示部１１４の画像表示領域に画像を元のサイズで表示させる（ステップＳ２１４）。
【００６５】
画像サイズが表示領域サイズより大きい場合、制御部１２２は予め選択されたモードに応じて処理の流れを切り替える（ステップＳ２０４）。前述のように非縮小モード、強制縮小モード又は自動縮小モードを操作部１２０より指定することができる。
【００６６】
非縮小モードが選択されている場合には、ステップＳ２１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００６７】
強制縮小モードが選択されている場合、制御部１２２からの指示に応じて、縮小条件決定部１１８は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズとから、アスペクト比を変えることなく画像を表示領域サイズへ縮小するための倍率を決定する。そして、制御部１２２は、決定した倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ２１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ２１４）。
【００６８】
自動縮小モードが選択されている場合、制御部１２２からの指示により、評価部１１６は画像の高周波成分の強度を評価し（ステップＳ２０６）、その結果に基づいて縮小条件決定部１１８で表示画像処理部１１２における縮小倍率を決定する（ステップＳ２０８）。そして、決定された縮小倍率による入力画像データの縮小処理が表示画像処理部１１２で実行され（ステップＳ２１２）、処理後の画像データが画像表示部１１４へ出力され表示される（ステップＳ２１４）。
【００６９】
一実施例によれば、評価部１１６において、入力画像データ、又は、入力画像データの画素を間引いた画像データに対して、図７に関連して説明したような２次元の離散ウェーブレット変換を行う。そして、各解像度レベル毎に、サブバンド係数の絶対値の総和を計算し、その値を単位面積当たりの値に換算する。この値は、各解像度レベルに対応した周波数成分の量と略比例する関係があるため、図３と同様のヒストグラムが得られる。このヒストグラムに基づいて、図２のステップＳ１０６と同様の評価を行う。この評価結果に基づいて、縮小条件決定部１１８は、図２のステップＳ１０８と同様な考え方で縮小倍率を決定する。例えば、高周波成分の強度が「弱」と評価された場合には、表示領域サイズまで縮小する縮小倍率を決定し、高周波成分の強度が「中間的」と評価された場合には表示領域サイズよりやや大きなサイズまで縮小する縮小倍率を決定し、高周波成分の強度が「強」と評価された場合には、縮小倍率を１とする（縮小しない）。
【００７０】
なお、評価部１１６において、離散コサイン変換、フーリエ変換あるいは単純な帯域フィルタなどを利用して、入力画像データの周波数分布を求め、その分布から高周波成分の強度を評価してもよい。このような態様も本発明に包含される。要は入力画像の高周波成分の強度を評価できればよい。また、評価ステップＳ２０６わ、画像データが入力された直後から実行させるようにしてもよい。
【００７１】
図５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、静止画像又は動画像を撮影する電子カメラ装置である。
【００７２】
図５において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００７３】
３０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００７４】
以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び画像プロセッサ３０３は、静止画像又は動画像を撮影するための撮像手段を構成している。
【００７５】
圧縮／伸長処理部３２０は、ＪＰＥＧ２０００のアルゴリズムによる圧縮処理と伸長処理を行うための手段である。媒体インターフェース部３１２は、各種メモリカードなどの記録（記憶）媒体３１３に対する情報の書き込み／読み出しを行う手段である。３１４は有線又は無線の伝送路あるいはネットワークを通じ、外部の機器と接続するための外部インターフェース部である。
【００７６】
システムコントローラ３０６は、マイクロコンピュータからなり、操作部３０７から入力されるユーザの操作情報や画像プロセッサ３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ３０３、圧縮／伸長処理部３２０、媒体インターフェース部３１２などの制御を行う。３０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ３０３やシステムコントローラ３０６、圧縮／伸長処理部３２０、媒体インターフェース部３１２などの作業記憶域として利用される。
【００７７】
図示されていないが、図１中の評価部１１６と縮小条件決定部１１８の機能があり、これはシステムコントローラ３０６又は画像プロセッサ３０３で動作するプログラムにより実現される。また、画像プロセッサ３０３は、図１中の表示画像処理部１１２の機能も有する。以下、これらの機能のための手段を評価手段（１１６）、縮小条件決定手段（１１８）、表示画像処理手段（１１２）と記す。これら手段をハードウェアとして設けてもよく、そのような態様も本発明に包含されることは当然である。また、圧縮／伸長処理部３２０もシステムコントローラ３０６又は画像プロセッサ３０３で動作するプログラムにより実現するとも可能であり、このような態様も本発明に包含される。
【００７８】
動作は次の通りである。操作部３０７の撮影ボタンが押下されると、システムコントローラ３０６より撮影指示が画像プロセッサ３０３に与えられ、画像プロセッサ３０３は静止画像撮影又は動画像撮影の条件でイメージャ３０１を駆動する。撮影された画像のデータは画像プロセッサ３０３を経由してメモリ３０５に一時的に記憶される。そして、この画像データは、予め指定された又はデフォルトの圧縮率で圧縮／伸長処理部３０８でＪＰＥＧ２０００のアルゴリズムにより圧縮され、その符号化データは媒体インターフェース部３１２により記録媒体３１３に記録される。
【００７９】
この電子カメラ装置は、外部インターフェース部３１４を介し接続されたディスプレイ装置、携帯情報端末、携帯電話器などの画像表示画面を持つ外部機器、又は、表示部３０４に、その表示領域サイズに応じたサイズで記録画像を表示させることができる。この場合の動作を、図２のフローチャートを援用して説明する。
【００８０】
システムコントローラ３０６の制御により、記録媒体３１３に記録された画像の符号化データが媒体インターフェース部３１２によってメモリ３０５に読み出される（ステップＳ１００）。読み出される画像の選択は、例えば、表示部３０４に表示されたサムネイルを操作部３０７から指定することにより行われる。圧縮／伸長処理部３２０は、その符号化データのヘッダ情報を解析し、メインヘッダのＳＩＺマーカセグメントに含まれる画像サイズ、メインヘッダのＰＰＭマーカセグメント又はタイルヘッダのＰＰＴマーカセグメントに含まれるパケット長情報、メインヘッダのＣＯＤマーカセグメントに含まれるデコンポジション回数を抽出してメモリ３０５の所定記憶域に書き込む。なお、ＰＰＭマーカセグメントもＰＰＴマーカセグメントも存在しない場合には、タイルデータ中の各パケットのヘッダよりパケット長情報を抽出する。
【００８１】
システムコントローラ３０６は、メモリ３０５の前記所定記憶域を参照し、そこに記憶されている画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する（ステップＳ１０２）。ここで、表示領域サイズとは、画像が表示される外部機器又は表示部３０４の画面又は画面上の領域のサイズであり、操作部３０７又は外部機器から予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【００８２】
画像サイズが表示領域サイズ以下ならば、システムコントローラ３０６は、圧縮／伸長処理部３２０において符号化データを最高解像度レベルまで伸長処理させ（ステップＳ１１４）、再生された画像データを外部インターフェース部３１４より外部機器へ出力させる（ステップＳ１１６）。すなわち、元のサイズの画像が外部機器又は表示部３０４の表示領域に表示される。
【００８３】
画像サイズが表示領域サイズより大きい場合、システムコントローラ３０６は操作部３０７又は外部機器より予め選択されたモードに応じて処理の流れを切り替える（ステップＳ１０４）。
【００８４】
非縮小モードが選択されている場合には、ステップＳ１１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００８５】
強制縮小モードが選択されている場合、縮小条件決定手段（１１８）によって、画像サイズと表示領域サイズとから縮小条件、すなわち圧縮／伸長処理部３２０で伸長すべき解像度レベルと、表示画像処理手段（１１２）による縮小倍率とを決定する（ステップＳ１１０）。例えば、表示領域サイズが解像度レベル１での画像サイズより大きく解像度レベル２での画像サイズより小さい場合には、解像度レベル２までの伸長と、解像度レベル２での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、決定された解像度レベルまでの伸長処理が圧縮／伸長処理部３２０で実行され、再生された画像データに対し、決定された倍率の縮小処理が表示画像処理手段（１２２）で実行され（ステップＳ１１２）、処理後の画像データが外部インターフェース部３１４を介し外部機器へ出力され、又は表示部３０４へ出力される（ステップＳ１１６）。
【００８６】
自動縮小モードが選択されている場合、評価手段（１１６）により画像の高周波成分の強度が評価され（ステップＳ１０６）、その評価結果に基づいて縮小条件決定手段（１１８）で縮小条件が決定される（ステップＳ１０８）。評価と縮小条件決定は図１の画像処理装置に関して説明した通りであるので説明を繰り返さない。そして、決定された解像度レベルまでの伸長処理が伸長処理部３２０で実行され、再生された画像データに対する決定された倍率の縮小処理が表示画像処理手段（１２２）で実行され（ステップＳ１１２）、処理後の画像データが外部機器又は表示部３０４へ出力される（ステップＳ１１６）。
【００８７】
なお、圧縮された画像データとしてＪＰＥＧ２０００フォーマットの符号化データを前提として説明したが、本発明は、ＪＰＥＧ２０００以外の圧縮方式で圧縮された画像データを扱う同様の画像処理装置に対しても本発明を適用し得ることは明らかである。空間解像度スケーラビリティを有する符号化データならば、前述のような伸長処理段階での縮小も可能である。
【００８８】
【発明の効果】
以上に説明したように、本発明の画像処理装置又は画像処理方法によれば、画像の高周波成分の強度に基づいて縮小条件を自動的に調整することができるため、紙文書の写真画像などの高周波成分の強い画像については縮小処理を抑止し又は縮小倍率を下げることにより、縮小処理による弊害を回避し、その一方で、高周波成分が強くない縮小による悪影響の少ない画像については表示領域サイズなどへ縮小することができる。また、ＪＰＥＧ２０００フォーマットの符号化データに関しては、サブバンド符号量の分布を利用することにより、簡単な処理で高周波成分の強度を的確に評価することができる。また、画像の符号化データを伸長して表示する場合に、符号化データの伸長処理の段階で縮小処理を行うことにより処理を効率化することができる。また、本発明のプログラム又は記録媒体によれば、パソコンなどの汎用コンピュータや各種機器に組み込まれたマイクロコンピュータなどを利用し、画像の縮小処理の縮小条件を画像の性質に応じて自動的に最適化することができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】画像の圧縮データを取り込み画像を表示する動作を説明するためフローチャートである。
【図３】サブバンド符号量分布に基づいた高周波成分の強度の評価方法及び縮小条件の決定方法の説明図である。
【図４】加増の非圧縮データを取り込み画像を表示する動作を説明するためのフローチャートである。
【図５】本発明の別の実施の形態を説明するためのブロック図である。
【図６】ＪＰＥＧ２０００の圧縮／伸長アルゴリズムを説明するためのブロック図である。
【図７】２次元ウェーブレット変換の説明図である。
【図８】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図９】メインヘッダの説明図である。
【図１０】タイルヘッダの説明図である。
【図１１】ＲＬＣＰプログレッションの符号化データにおけるパケットのハンドリングを説明するための図である。
【符号の説明】
１１０ 伸長処理部
１１２ 表示画像処理部
１１４ 画像表示部
１１６ 評価部
１１８ 縮小条件決定部
３０４ 表示部
３２０ 圧縮／伸長処理部
Claims (14)
- 装置内部又は装置外部の画像表示手段に表示される画像の縮小処理のための手段を備える画像処理装置であって、
画像の高周波成分の強度を評価する手段と、
前記評価の結果に基づいて前記縮小処理の縮小条件を決定する手段とを有することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、前記評価する手段により高周波成分の強度が「強」と評価された画像に対しては、前記決定する手段により前記縮小処理を抑止する縮小条件が決定されることを特徴とする画像処理装置。
- 請求項１に記載の画像処理装置において、前記評価する手段は、ＪＰＥＧ２０００フォーマットの画像の符号化データのサブバンド符号量の分布に基づいて高周波成分の強度を評価することを特徴とする画像処理装置。
- 請求項３に記載の画像処理装置において、前記評価する手段は、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が全符号量の所定割合を超える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することを特徴とする画像処理装置。
- 請求項３に記載の画像処理装置において、前記評価する手段は、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することを特徴とする画像処理装置。
- 請求項１乃至６のいずれか１項に記載の画像処理装置において、画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする画像処理装置。
- 表示領域に表示される画像の縮小処理のための画像処理方法であって、
画像の高周波成分の強度を評価するステップと、
前記評価の結果に基づいて前記縮小処理の縮小条件を決定するステップとを有することを特徴とする画像処理方法。 - 請求項７に記載の画像処理方法において、前記評価するステップにより高周波成分の強度が「強」と評価された画像に対しては、前記決定するステップにより前記縮小処理を抑止する縮小条件が決定されることを特徴とする画像処理方法。
- 請求項７に記載の画像処理方法において、前記評価するステップは、ＪＰＥＧ２０００フォーマットの画像の符号化データのサブバンド符号量の分布に基づいて高周波成分の強度を評価することを特徴とする画像処理方法。
- 請求項９に記載の画像処理方法において、前記評価するステップは、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が全符号量の所定割合を超える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することを特徴とする画像処理方法。
- 請求項９に記載の画像処理方法において、前記評価するステップは、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することにより、高周波成分の強度を少なくとも２段階に評価することを特徴とする画像処理方法。
- 請求項１乃至５のいずれか１項に記載の評価する手段及び決定する手段の機能をコンピュータで実現するプログラム。
- 請求項７乃至１１のいずれか１項に記載の評価するステップ及び決定するステップをコンピュータで実行させるプログラム。
- 請求項１２又は１３に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003030046A JP4055994B2 (ja) | 2003-02-06 | 2003-02-06 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003030046A JP4055994B2 (ja) | 2003-02-06 | 2003-02-06 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004242107A true JP2004242107A (ja) | 2004-08-26 |
| JP4055994B2 JP4055994B2 (ja) | 2008-03-05 |
Family
ID=32957041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003030046A Expired - Fee Related JP4055994B2 (ja) | 2003-02-06 | 2003-02-06 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4055994B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007288241A (ja) * | 2006-04-12 | 2007-11-01 | Ricoh Co Ltd | 符号処理装置、プログラム及び情報記録媒体 |
| CN113129344A (zh) * | 2019-12-31 | 2021-07-16 | 无锡祥生医疗科技股份有限公司 | 分辨率自适应方法、超声设备及存储介质 |
-
2003
- 2003-02-06 JP JP2003030046A patent/JP4055994B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007288241A (ja) * | 2006-04-12 | 2007-11-01 | Ricoh Co Ltd | 符号処理装置、プログラム及び情報記録媒体 |
| CN113129344A (zh) * | 2019-12-31 | 2021-07-16 | 无锡祥生医疗科技股份有限公司 | 分辨率自适应方法、超声设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4055994B2 (ja) | 2008-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100971834B1 (ko) | 화상 부호화 방법 및 장치 | |
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| JP2008533787A (ja) | 圧縮済領域における静止画像を処理するための方法、コンピュータプログラムプロダクト、および装置 | |
| JP3928859B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| US7440624B2 (en) | Image compression apparatus, image decompression apparatus, image compression method, image decompression method, program, and recording medium | |
| US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4532518B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2006129248A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP2004032135A (ja) | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 | |
| JP4749508B2 (ja) | 画像復号方法 | |
| JP2004289333A (ja) | データ処理装置、データ処理方法、プログラム及び記録媒体 | |
| JP3897253B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP2004120497A (ja) | シーンチェンジ検出装置、シーンチェンジ検出方法、画像処理装置、プログラム及び記録媒体 | |
| JP4667423B2 (ja) | 画像復号装置 | |
| Chebil et al. | Pre-compression rate allocation for JPEG2000 encoders in power constrained devices | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5244841B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Novosel et al. | Still image compression analysis | |
| JP2004289374A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP2004247891A (ja) | 画像圧縮装置、画像処理装置、画像伸張装置、画像圧縮方法、画像処理方法、画像伸張方法、プログラム、及び記録媒体 | |
| JP2005252428A (ja) | 画像圧縮方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060131 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071207 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4055994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |