JP2004134938A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004134938A JP2004134938A JP2002295981A JP2002295981A JP2004134938A JP 2004134938 A JP2004134938 A JP 2004134938A JP 2002295981 A JP2002295981 A JP 2002295981A JP 2002295981 A JP2002295981 A JP 2002295981A JP 2004134938 A JP2004134938 A JP 2004134938A
- Authority
- JP
- Japan
- Prior art keywords
- tile
- roi
- interest
- region
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】関心領域（ＲＯＩ）とその周辺の領域との画質不連続性を抑制し、画像の違和感を軽減し得る画像処理装置を提供する。
【解決手段】符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する場合に、各タイル毎に、該タイルに関する周波数成分変換係数に基づき、圧縮画像データ内に設定されたＲＯＩの存在状況を検出し、その存在状況に基づき、各タイルが、ＲＯＩのみからなるＲＯＩタイル，非ＲＯＩのみからなる非ＲＯＩタイル，ＲＯＩ及び非ＲＯＩが混在するＲＯＩ境界タイルのいずれかであるかを判別し、判別されたＲＯＩタイル及びＲＯＩ境界タイルに対して、該ＲＯＩ境界タイルからの距離を反映した重み付け量を設定し、該重み付け量に基づき、各ＲＯＩタイル及びＲＯＩ境界タイル内のＲＯＩ及び非ＲＯＩに対応する周波数成分変換係数に対し、所定の処理を行う。
【選択図】 図１３
【解決手段】符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する場合に、各タイル毎に、該タイルに関する周波数成分変換係数に基づき、圧縮画像データ内に設定されたＲＯＩの存在状況を検出し、その存在状況に基づき、各タイルが、ＲＯＩのみからなるＲＯＩタイル，非ＲＯＩのみからなる非ＲＯＩタイル，ＲＯＩ及び非ＲＯＩが混在するＲＯＩ境界タイルのいずれかであるかを判別し、判別されたＲＯＩタイル及びＲＯＩ境界タイルに対して、該ＲＯＩ境界タイルからの距離を反映した重み付け量を設定し、該重み付け量に基づき、各ＲＯＩタイル及びＲＯＩ境界タイル内のＲＯＩ及び非ＲＯＩに対応する周波数成分変換係数に対し、所定の処理を行う。
【選択図】 図１３
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば複写機，プリンタ，スキャナ等の画像データを扱う画像処理装置に関する。
【０００２】
【従来の技術】
現在、静止画圧縮符号方式としては、画像データを離散コサイン変換して圧縮するＪＰＥＧ方式が広く普及しているが、更なる圧縮性能の改善と機能拡張を図り、画像データをウェーブレット変換して圧縮するＪＰＥＧ２０００方式の開発及び普及が進められている。このＪＰＥＧ２０００方式の特徴の１つに、画像データ中の特定の領域を、初期伝送段階でその概要を認識可能とすべく他領域より優先的に符号化する、若しくは、他の領域よりも高画質に符号化することにより、関心領域（以下、ＲＯＩと表記）として任意に設定し得ることが知られている
【０００３】
かかる特徴に関連して、ＲＯＩが設定されたＪＰＥＧ２０００ファイルをプリントアウトする場合に、ＲＯＩとその周辺の領域との画質の違いにより違和感のある画像となることがある。これに対処して、従来では、復元された画像に対して領域境界付近で平滑処理等を施すことにより、境界での不連続性を緩和することが知られている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平９−１１７４４７号公報 （第４頁，第２図）
【０００５】
【発明が解決しようとする課題】
しかしながら、このような方法では、画像データ上での領域境界の位置を把握するために、ウェーブレット変換係数の量子化値からＲＯＩに関するマスク情報を生成し、ビットマップ展開する必要があり、この場合には、ＲＯＩに関するマスク情報を記憶するために非常に多くのメモリ容量が必要になる。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特に多くのメモリ容量を要することなく、ＲＯＩとその周辺の領域との画質不連続性を抑制し、画像の違和感を軽減し得る画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数より、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、該検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、該判別手段により判別された関心領域タイル及び関心領域境界タイルに対して、該関心領域境界タイルからの距離を反映した重み付け量を設定する設定手段と、該設定手段により設定された重み付け量に基づき、上記各関心領域タイル及び関心領域境界タイル内に設定された関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行う処理手段と、を備えたことを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、上記請求項１に係る発明において、上記処理手段が、上記各関心領域タイル及び関心領域境界タイル内の関心領域に対応する周波数成分変換係数に対して、その下位から所定の範囲まで０に置き換える処理を行ない、上記関心領域境界タイルからの距離が大きくなるほど、０に置き換える範囲を小さくすることを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、上記請求項１又は２に係る発明において、上記処理手段が、圧縮画像データが符号化時の周波数成分変換によって分解されてなるサブバンドのうちの高周波成分側のサブバンドのみに対して処理を行うことを特徴としたものである。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。この図では、ＪＰＥＧ２０００ファイルが、インターネット若しくは他のコンピュータからネットワーク経由で画像処理装置１に対して直接に供給され、処理された上でプリント出力される、所謂ダイレクトプリントが行なわれる例が示されている。なお、ダイレクトプリントにおけるＪＰＥＧ２０００ファイルの供給源としては、これに限定されることなく、例えばデジタルカメラ，スキャナ等の外部機器、又は、コンパクトフラッシュ（ＴＭ），スマートメディア（ＴＭ）等の記録媒体を用いてもよい。
【００１１】
この画像処理装置１は、共通のバス８に接続されるＣＰＵ２，メモリブロック３，ＪＰＥＧ２０００ファイル用のコーデック４，プリンタＩ／Ｆ５，プリンタ部６，ネットワークＩ／Ｆ７を有している。この装置１では、ＣＰＵ２を除く各構成とメモリブロック３との間におけるデータ転送が、ダイレクトメモリアクセス（ＤＭＡ）で行なわれ、ＣＰＵ２が、ＤＭＡ起動の制御を行うことで、ファイル入力からプリントデータの出力までを制御する。
【００１２】
画像処理装置１では、ネットワーク経由で外部よりＪＰＥＧ２０００ファイルが入力されると、そのファイルは、まず、ネットワークＩ／Ｆ７から経路ａを通過してメモリブロック３へ転送される。メモリブロック３では、ＪＰＥＧ２０００ファイルを構成する符号データが格納され、この符号データは、順次、経路ｂを通過してコーデック４へ転送される。
【００１３】
コーデック４では、符号データが復号化される。詳しくは後述するが、このコーデック４では、ＲＯＩを含むＪＰＥＧ２０００ファイルを扱う場合に、必要に応じて、ＲＯＩとその周辺の領域の画質不連続性を抑制する処理を実行することが可能である。復号化後のデータは、経路ｃを通過してメモリブロック３へ転送される。
【００１４】
メモリブロック３では、転送されてきた復号化後のデータに基づき、所定の領域に、ビットマップデータが作成される。このビットマップデータは、それが１ページ分作成された時点で、経由ｄを通過してプリンタＩ／Ｆ５へ転送され、その後、プリントデータとしてプリンタ部６へ出力される。
【００１５】
図２は、画像処理装置１内のコーデック４によるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。ここでは、画像データを各々ウェーブレット変換の基本処理単位となる複数の矩形タイルに分割し、各タイル毎に、ＲＯＩのみからなるタイル（以下、ＲＯＩタイルという），非関心領域（以下、非ＲＯＩと表記）のみからなるタイル（以下、非ＲＯＩタイルという）、若しくは、ＲＯＩの境界に存在し、ＲＯＩ及び非ＲＯＩが混在するタイル（以下、ＲＯＩ境界タイルという）のいずれであるかを判定しつつ処理を行なう場合について説明する。
【００１６】
コーデック４に入力されたＪＰＥＧ２０００ファイルは、まず、フォーマッティング解除される。このフォーマッティング解除では、ＪＰＥＧ２０００ファイルの符号化列が解析され、符号化列に含まれるヘッダに記述されるＲＯＩ情報が読み取られる。図５を参照して後述するが、通常、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応する周波数成分変換係数（ウェーブレット変換係数）の量子化値が非ＲＯＩのそれに比べて最上位ビット（ＭＳＢ）側にＳビット分だけシフトされた状態で符号化されている。上記のＲＯＩ情報とは、ＲＯＩに対応する変換係数の量子化値がシフトされているビットシフト量Ｓをあらわす情報である。
【００１７】
フォーマッティング解除後の符号データは、エントロピー復号化される。復号化されたデータは、互いに並列する複数のビットプレーン，サブビットプレーンに分けられた状態にある。この状態から、係数ビットモデリングが解除され、これにより、変換係数が取得される。
【００１８】
このように取得された変換係数に基づき、ＲＯＩを解析する。ここでは、まず、取得された変換係数から、現在処理中のタイル内におけるＲＯＩの存在状況を検出し、更に、その検出結果に基づいて、タイルがＲＯＩのみからなるタイル（以下、ＲＯＩタイルという），非ＲＯＩのみからなるタイル（以下、非ＲＯＩタイルという）、若しくは、ＲＯＩ及び非ＲＯＩが混在するタイル（以下、ＲＯＩ境界タイルという）のいずれであるかを判別する。
【００１９】
その後、ＲＯＩタイル及びＲＯＩ境界タイルと判別されたタイルに対して重み付け処理を行なう。重み付け処理については、図４を参照して後述する。そして、この重み付け処理の結果及びファイル入力に際して読み取られたＲＯＩ情報に基づき、係数ビットモデリング解除後の変換係数が所定のビットシフト量（例えばビットシフト量Ｓ）だけシフトさせられてなる変換係数が取得される。
【００２０】
ＪＰＥＧ２０００ファイルが予め量子化されているものであれば、引き続き、上記の変換係数が逆量子化される。その後、データが逆ウェーブレット変換（ＩＤＷＴ）されることにより、各色成分が生成される。
【００２１】
図３は、ＲＯＩ１０を含む画像データの一例を示す。この図では、任意の形状で設定されるＲＯＩ１０を除く領域が、非ＲＯＩとして符号１２で示される。
【００２２】
また、図４は、図３中にてＲＯＩ１０及び非ＲＯＩ１２を含む領域を囲むフレームＸを拡大して示す図である。この図４から分かるように、画像データは、各々ウェーブレット変換の基本処理単位となる複数のタイルに分割されている。このタイルサイズは、その処理系によって異なるが、画像処理装置１として例えばＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌｓ）が採用される場合には、メモリ容量の制約から、このサイズとして約１２８×１２８が適切である。
【００２３】
図４では、各タイルの左上に、タイルの種類をあらわす記号Ａ，Ｂ，Ｃのいずれかが付されている。具体的には、タイルＡが、ＲＯＩ１０及び非ＲＯＩ１２を含むＲＯＩ境界タイルであり、タイルＢが、ＲＯＩ１０のみからなるＲＯＩタイルであり、タイルＣが、非ＲＯＩ１２のみからなる非ＲＯＩタイルである。
【００２４】
図２を参照して説明したように、この実施の形態では、ＪＰＥＧ２０００ファイルの復号化に際して、タイルの判別を行なった後に、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢと判別されたタイルに対して重み付け処理を行なう。この重み付け処理は、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対して、ＲＯＩ境界タイルＡからの距離を反映する情報を設定するもので、図４では、ＲＯＩ境界タイルＡに対して「１」を設定し、他方、ＲＯＩタイルＢに対しては、ＲＯＩ境界タイルＡから離れるにしたがい、「２」，「３」，「４」を設定する例が示されている。
【００２５】
ところで、前述したように、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応するウェーブレット変換係数の量子化値が非ＲＯＩのそれに比べてＭＳＢ側にＳビット分だけシフトされた状態で符号化されているが、これは、ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩとを区別する方式としては典型的なｍａｘ−ｓｈｉｆｔ方式を採用する結果である。図５は、かかるｍａｘ−ｓｈｉｆｔ方式の概念図である。
【００２６】
通常、ＪＰＥＧ２０００ファイルにＲＯＩが設定される場合には、まず、ＲＯＩに指定される画素の位置を示すマスク情報が生成され、次に、ビットシフト量Ｓが決定され、全画素についてのウェーブレット変換係数の量子化値がＭＳＢ側へＳビット分だけシフトさせられる。その後、予め生成されたマスク情報に基づき、ＲＯＩに指定される画素を除く画素について、ウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分だけシフトさせられる。結果的に、図５の左側に示すように、ＲＯＩに指定された画素のみについて、そのウェーブレット変換係数の量子化値がＭＳＢ側にＳビット分だけシフトさせられた状態になる。そして、この状態のまま符号化が行なわれる。
【００２７】
かかるＪＰＥＧ２０００ファイルの復号化に際しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらが、図５の右側に示すように、最下位ビット（ＬＳＢ）側にＳビット分だけシフトさせられて、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除されるようになっている。
【００２８】
この実施の形態では、必要に応じて、非ＲＯＩタイルＣに対して、図５に示す通常のビットシフト処理を施し、他方、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対しては、図６〜９に示すように、前述した重み付け量に基づいたビットシフト処理を施すことにより、ＲＯＩ１０とその周辺の非ＲＯＩ１２の画質不連続性を軽減することができる。
【００２９】
以下、図６〜９を参照して、それぞれ、重み付け量「１」，「２」，「３」，「４」に基づいて施されるビットシフト処理について説明する。
【００３０】
図６は、重み付け量「１」が付されたＲＯＩ境界タイルＡに対して施されるビットシフト処理を概念的に示す図である。重み付け量「１」が設定されたＲＯＩ境界タイルＡについては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識されるに伴い、変換係数の量子化値の下位Ｓビット目，（Ｓ＋１）ビット目，（Ｓ＋２）ビット目が０に置き換えられる。その後、上記のＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。
【００３１】
図７は、重み付け量「２」が設定されたＲＯＩタイルＢに対して施されるビットシフト処理を概念的に示す図である。重み付け量「２」が設定されたＲＯＩタイルＢに対しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識されるに伴い、変換係数の量子化値の下位Ｓビット目，（Ｓ＋１）ビット目が０に置き換えられる。その後、上記のＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。
【００３２】
図８は、重み付け量「３」が設定されたＲＯＩタイルＢに対して施されるビットシフト処理を概念的に示す図である。重み付け量「３」が設定されたＲＯＩタイルＢに対しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識されるに伴い、変換係数の量子化値の下位Ｓビット目が０に置き換えられる。その後、ＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。
【００３３】
図９は、重み付け量「４」が設定されたＲＯＩタイルＢに対して施されるビットシフト処理を概念的に示す図である。重み付け量「４」が設定されたＲＯＩタイルＢに対しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらのＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。このビットシフト処理は、図５に示す通常のビットシフト処理と同様である。
【００３４】
このように、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対して重み付け量に基づいた特定のビットシフト処理を行なうことにより、ＲＯＩ境界タイル及びその近傍のタイルにおける情報量が削減され、その結果、ＲＯＩ１０と非ＲＯＩ１２の画質差を抑制することができ、画像の違和感を軽減することが可能である。
【００３５】
なお、以上の処理を、ウェーブレット変換係数のうちの高周波成分のみに対して行なうことにより、画質低下の抑制を図ることが考えられる。例えば、画像データがウェーブレット分解レベル２で符号化されている場合には、復号化されるデータは、周波数成分変換により、図１０に示すようなサブバンドに分解された状態にある。この図で、ＬＬは、水平・垂直低周波成分，ＬＨは、水平低周波成分・垂直高周波成分，ＨＬは、水平高周波成分・垂直低周波成分，ＨＨは、水平・垂直高周波成分をあらわす。すなわち、かかるサブバンドのうちの高周波成分側のサブバンド（ハッチングを付して示すＨＨ２，ＨＬ２，ＬＨ２，ＨＨ１）のみに対して、前述した処理を行なうことにより、画質低下の抑制を図ることができる。
【００３６】
図１１は、各タイルのＲＯＩ境界判別処理についてのフローチャートである。この処理では、まず、Ｓ２１で、係数ビットモデリングが解除された周波数成分変換係数（ウェーブレット変換係数）が生成される。次に、Ｓ２２では、生成されたウェーブレット変換係数のダイナミックレンジ（下限〜上限）が解析される。すなわち、各ウェーブレット変換係数が何ビットであるかが検出される。続いて、Ｓ２３では、検出されたダイナミックレンジが、ＪＰＥＧ２０００ファイルの符号化列に含まれるヘッダから読み取られた上記のｍａｘ−ｓｈｉｆｔ方式によるビットシフト量Ｓ以上であるか否かが判定される。
【００３７】
Ｓ２３での結果、ダイナミックレンジがＳ以上でないと判定された場合には、Ｓ２７へ進み、現在処理中のタイルが非ＲＯＩタイルＣと判別される。その後、Ｓ２８へ進む。
【００３８】
他方、Ｓ２３での結果、ダイナミックレンジがＳ以上であると判定された場合には、Ｓ２４へ進み、引き続き、タイル内にＳビット未満のウェーブレット変換係数が存在するか否かが判定される。その結果、Ｓビット未満のウェーブレット変換係数が存在しないと判定された場合には、Ｓ２６へ進み、現在処理中のタイルがＲＯＩタイルＢと判別され、更に、そのタイルの画像データ中の位置情報が保存される。その後、Ｓ２８へ進む。
【００３９】
他方、Ｓ２４での結果、Ｓビット未満のウェーブレット変換係数が存在すると判定された場合には、Ｓ２５へ進み、現在処理中のタイルがＲＯＩ境界タイルＡと判別され、更に、そのタイルの画像データ中の位置情報が保存される。その後、Ｓ２８へ進む。
【００４０】
Ｓ２８では、全タイルの処理が終了したか否かを判定する。終了していないと判定された場合には、Ｓ２１へ戻り、次のタイルについて、それ以降の処理を繰り返す。他方、終了したと判定された場合には、Ｓ２９へ進む。
【００４１】
Ｓ２９では、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対して、保存された位置情報に基づき、重み付け処理が行なわれる。更に、Ｓ３０では、重み付け処理により各タイルに設定された重み付け量に基づき、各タイルについてのウェーブレット変換係数に対して所定のビットシフト処理が行なわれる。以上で、処理が終了する。
【００４２】
図１２は、ＲＯＩタイルＡ及びＲＯＩタイルＢに対する重み付け処理（図１１のＳ２９）の詳細についてのフローチャートである。この処理では、まず、Ｓ３１において、処理中のタイルがＲＯＩ境界タイルＡであるか否かが判定される。その結果、ＲＯＩ境界タイルＡであると判定された場合には、Ｓ３２へ進み、重み付け量「１」が設定された上で、処理が終了する。
【００４３】
他方、処理中のタイルがＲＯＩ境界タイルＡでないと判定された場合には、Ｓ３３へ進み、引き続き、処理中のタイルがＲＯＩタイルＢであるか否かが判定される。その結果、ＲＯＩタイルＢでない（すなわち非ＲＯＩタイルである）と判定された場合には、Ｓ３９へ進み、重み付け量を設定せずに、処理が終了する。
【００４４】
他方、Ｓ３３の結果、ＲＯＩタイルＢであると判定された場合には、Ｓ３４へ進み、引き続き、図１１のＳ２６にて保存された位置情報に基づいて、処理中のタイルがＲＯＩ境界タイルＡに隣接するタイルであるか否かが判定される。その結果、ＲＯＩ境界タイルＡに隣接するタイルであると判定された場合には、Ｓ３５へ進み、重み付け量「２」が設定された上で、処理が終了する。
【００４５】
他方、Ｓ３４の結果、ＲＯＩ境界タイルＡに隣接するタイルでないと判定された場合には、Ｓ３６へ進み、引き続き、図１１のＳ２６にて保存された位置情報に基づいて、処理中のタイルのＲＯＩ境界タイルＡからの距離が値Ｘ以下であるか否かが判定される。基準となるＲＯＩ境界タイルＡとしては、処理中のタイルから最も近傍にあるものが用いられる。その結果、ＲＯＩ境界タイルＡからの距離が値Ｘ以下であると判定された場合には、Ｓ３７へ進み、重み付け量「３」が設定された上で、処理が終了する。
【００４６】
他方、Ｓ３６の結果、ＲＯＩ境界タイルＡからの距離が値Ｘより大きいと判定された場合には、Ｓ３８へ進み、重み付け量「４」が設定された上で、処理が終了する。
【００４７】
また、図１３は、各タイルに対する変換係数処理（図１１のＳ３０）の詳細についてのフローチャートである。この処理では、まず、Ｓ５１において、処理中のタイルについての重み付け量が検出される。
重み付け量が「１」である場合には、Ｓ５４へ進み、図６に示したように、ウェーブレット変換係数の下位Ｓビット目，（Ｓ＋１）ビット目，（Ｓ＋２）ビット目を０にした上で、Ｓ５５へ進む。
【００４８】
また、重み付け量が「２」である場合には、Ｓ５３へ進み、図７に示したように、ウェーブレット変換係数の下位Ｓビット目，（Ｓ＋１）ビット目を０にした上で、Ｓ５５へ進む。
【００４９】
更に、重み付け量が「３」である場合には、Ｓ５２へ進み、図８に示したように、ウェーブレット変換係数の下位Ｓビット目を０にした上で、Ｓ５５へ進む。
【００５０】
また、更に、重み付け量が「４」である若しくは重み付け量が設定されていない場合には、そのまま、Ｓ５５へ進む。
【００５１】
Ｓ５５では、ＲＯＩに対応するものとして認識されたウェーブレット変換係数がＬＳＢ側にＳビット分シフトさせられる。以上で、処理が終了する。
【００５２】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。
【００５３】
【発明の効果】
以上の説明から明らかなように、本願の請求項１に係る発明によれば、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出し、検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別し、判別された関心領域タイル及び関心領域境界タイルに対して、該関心領域境界タイルからの距離を反映した重み付け量を設定し、更に、設定された重み付け量に基づき、上記各関心領域タイル及び関心領域境界タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し所定の処理を行うので、各タイル毎に、関心領域と非関心領域との間の画質不連続性を抑制し、画像の違和感を軽減するような処理が可能である。
【００５４】
また、本願の請求項２に係る発明によれば、上記所定の処理として、上記各関心領域タイル及び関心領域境界タイル内の関心領域に対応する周波数成分変換係数に対して、その下位から所定の範囲まで０に置き換える処理を行ない、上記関心領域境界タイルからの距離が大きくなるほど、０に置き換える範囲を小さくするので、関心領域境界タイル及びその近傍のタイルにおける情報量が削減され、その結果、関心領域と非関心領域の画質差を抑制することができ、画像の違和感を軽減することが可能である。
【００５５】
更に、本願の請求項３に係る発明によれば、上記所定の処理において、圧縮画像データが符号化時の周波数成分変換によって分解されてなるサブバンドのうちの高周波成分側のサブバンドのみに対して処理を行うので、関心領域境界タイル及びその近傍のタイルにおける情報量が削減される一方で、画質低下の抑制を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。
【図２】上記画像処理装置内のコーデックによるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。
【図３】ＲＯＩを含む画像データを示す図である。
【図４】図４中のフレームＸ内の拡大図である。
【図５】ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩを区別する方式として典型的なｍａｘ−ｓｈｉｆｔ方式の概念図である。
【図６】重み付け量「１」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図７】重み付け量「２」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図８】重み付け量「３」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図９】重み付け量「４」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図１０】ウェーブレット分解レベル２で符号化された画像データが、サブバンドに分解されている態様を示す図である。
【図１１】各タイルのＲＯＩ境界判別処理についてのフローチャートである。
【図１２】各タイルの重み付け処理（図１１のＳ２９）についてのフローチャートである。
【図１３】変換係数処理（図１１のＳ３０）についてのフローチャートである。
【符号の説明】
１…画像処理装置
２…ＣＰＵ
３…メモリブロック
４…コーデック
５…プリンタＩ／Ｆ
６…プリンタ部
７…ネットワークＩ／Ｆ
８…バス
１０…ＲＯＩ
１２…非ＲＯＩ
【発明の属する技術分野】
本発明は、例えば複写機，プリンタ，スキャナ等の画像データを扱う画像処理装置に関する。
【０００２】
【従来の技術】
現在、静止画圧縮符号方式としては、画像データを離散コサイン変換して圧縮するＪＰＥＧ方式が広く普及しているが、更なる圧縮性能の改善と機能拡張を図り、画像データをウェーブレット変換して圧縮するＪＰＥＧ２０００方式の開発及び普及が進められている。このＪＰＥＧ２０００方式の特徴の１つに、画像データ中の特定の領域を、初期伝送段階でその概要を認識可能とすべく他領域より優先的に符号化する、若しくは、他の領域よりも高画質に符号化することにより、関心領域（以下、ＲＯＩと表記）として任意に設定し得ることが知られている
【０００３】
かかる特徴に関連して、ＲＯＩが設定されたＪＰＥＧ２０００ファイルをプリントアウトする場合に、ＲＯＩとその周辺の領域との画質の違いにより違和感のある画像となることがある。これに対処して、従来では、復元された画像に対して領域境界付近で平滑処理等を施すことにより、境界での不連続性を緩和することが知られている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平９−１１７４４７号公報 （第４頁，第２図）
【０００５】
【発明が解決しようとする課題】
しかしながら、このような方法では、画像データ上での領域境界の位置を把握するために、ウェーブレット変換係数の量子化値からＲＯＩに関するマスク情報を生成し、ビットマップ展開する必要があり、この場合には、ＲＯＩに関するマスク情報を記憶するために非常に多くのメモリ容量が必要になる。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特に多くのメモリ容量を要することなく、ＲＯＩとその周辺の領域との画質不連続性を抑制し、画像の違和感を軽減し得る画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、上記各タイル毎に、該タイルに関する周波数成分変換係数より、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、該検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、該判別手段により判別された関心領域タイル及び関心領域境界タイルに対して、該関心領域境界タイルからの距離を反映した重み付け量を設定する設定手段と、該設定手段により設定された重み付け量に基づき、上記各関心領域タイル及び関心領域境界タイル内に設定された関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行う処理手段と、を備えたことを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、上記請求項１に係る発明において、上記処理手段が、上記各関心領域タイル及び関心領域境界タイル内の関心領域に対応する周波数成分変換係数に対して、その下位から所定の範囲まで０に置き換える処理を行ない、上記関心領域境界タイルからの距離が大きくなるほど、０に置き換える範囲を小さくすることを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、上記請求項１又は２に係る発明において、上記処理手段が、圧縮画像データが符号化時の周波数成分変換によって分解されてなるサブバンドのうちの高周波成分側のサブバンドのみに対して処理を行うことを特徴としたものである。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。この図では、ＪＰＥＧ２０００ファイルが、インターネット若しくは他のコンピュータからネットワーク経由で画像処理装置１に対して直接に供給され、処理された上でプリント出力される、所謂ダイレクトプリントが行なわれる例が示されている。なお、ダイレクトプリントにおけるＪＰＥＧ２０００ファイルの供給源としては、これに限定されることなく、例えばデジタルカメラ，スキャナ等の外部機器、又は、コンパクトフラッシュ（ＴＭ），スマートメディア（ＴＭ）等の記録媒体を用いてもよい。
【００１１】
この画像処理装置１は、共通のバス８に接続されるＣＰＵ２，メモリブロック３，ＪＰＥＧ２０００ファイル用のコーデック４，プリンタＩ／Ｆ５，プリンタ部６，ネットワークＩ／Ｆ７を有している。この装置１では、ＣＰＵ２を除く各構成とメモリブロック３との間におけるデータ転送が、ダイレクトメモリアクセス（ＤＭＡ）で行なわれ、ＣＰＵ２が、ＤＭＡ起動の制御を行うことで、ファイル入力からプリントデータの出力までを制御する。
【００１２】
画像処理装置１では、ネットワーク経由で外部よりＪＰＥＧ２０００ファイルが入力されると、そのファイルは、まず、ネットワークＩ／Ｆ７から経路ａを通過してメモリブロック３へ転送される。メモリブロック３では、ＪＰＥＧ２０００ファイルを構成する符号データが格納され、この符号データは、順次、経路ｂを通過してコーデック４へ転送される。
【００１３】
コーデック４では、符号データが復号化される。詳しくは後述するが、このコーデック４では、ＲＯＩを含むＪＰＥＧ２０００ファイルを扱う場合に、必要に応じて、ＲＯＩとその周辺の領域の画質不連続性を抑制する処理を実行することが可能である。復号化後のデータは、経路ｃを通過してメモリブロック３へ転送される。
【００１４】
メモリブロック３では、転送されてきた復号化後のデータに基づき、所定の領域に、ビットマップデータが作成される。このビットマップデータは、それが１ページ分作成された時点で、経由ｄを通過してプリンタＩ／Ｆ５へ転送され、その後、プリントデータとしてプリンタ部６へ出力される。
【００１５】
図２は、画像処理装置１内のコーデック４によるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。ここでは、画像データを各々ウェーブレット変換の基本処理単位となる複数の矩形タイルに分割し、各タイル毎に、ＲＯＩのみからなるタイル（以下、ＲＯＩタイルという），非関心領域（以下、非ＲＯＩと表記）のみからなるタイル（以下、非ＲＯＩタイルという）、若しくは、ＲＯＩの境界に存在し、ＲＯＩ及び非ＲＯＩが混在するタイル（以下、ＲＯＩ境界タイルという）のいずれであるかを判定しつつ処理を行なう場合について説明する。
【００１６】
コーデック４に入力されたＪＰＥＧ２０００ファイルは、まず、フォーマッティング解除される。このフォーマッティング解除では、ＪＰＥＧ２０００ファイルの符号化列が解析され、符号化列に含まれるヘッダに記述されるＲＯＩ情報が読み取られる。図５を参照して後述するが、通常、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応する周波数成分変換係数（ウェーブレット変換係数）の量子化値が非ＲＯＩのそれに比べて最上位ビット（ＭＳＢ）側にＳビット分だけシフトされた状態で符号化されている。上記のＲＯＩ情報とは、ＲＯＩに対応する変換係数の量子化値がシフトされているビットシフト量Ｓをあらわす情報である。
【００１７】
フォーマッティング解除後の符号データは、エントロピー復号化される。復号化されたデータは、互いに並列する複数のビットプレーン，サブビットプレーンに分けられた状態にある。この状態から、係数ビットモデリングが解除され、これにより、変換係数が取得される。
【００１８】
このように取得された変換係数に基づき、ＲＯＩを解析する。ここでは、まず、取得された変換係数から、現在処理中のタイル内におけるＲＯＩの存在状況を検出し、更に、その検出結果に基づいて、タイルがＲＯＩのみからなるタイル（以下、ＲＯＩタイルという），非ＲＯＩのみからなるタイル（以下、非ＲＯＩタイルという）、若しくは、ＲＯＩ及び非ＲＯＩが混在するタイル（以下、ＲＯＩ境界タイルという）のいずれであるかを判別する。
【００１９】
その後、ＲＯＩタイル及びＲＯＩ境界タイルと判別されたタイルに対して重み付け処理を行なう。重み付け処理については、図４を参照して後述する。そして、この重み付け処理の結果及びファイル入力に際して読み取られたＲＯＩ情報に基づき、係数ビットモデリング解除後の変換係数が所定のビットシフト量（例えばビットシフト量Ｓ）だけシフトさせられてなる変換係数が取得される。
【００２０】
ＪＰＥＧ２０００ファイルが予め量子化されているものであれば、引き続き、上記の変換係数が逆量子化される。その後、データが逆ウェーブレット変換（ＩＤＷＴ）されることにより、各色成分が生成される。
【００２１】
図３は、ＲＯＩ１０を含む画像データの一例を示す。この図では、任意の形状で設定されるＲＯＩ１０を除く領域が、非ＲＯＩとして符号１２で示される。
【００２２】
また、図４は、図３中にてＲＯＩ１０及び非ＲＯＩ１２を含む領域を囲むフレームＸを拡大して示す図である。この図４から分かるように、画像データは、各々ウェーブレット変換の基本処理単位となる複数のタイルに分割されている。このタイルサイズは、その処理系によって異なるが、画像処理装置１として例えばＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌｓ）が採用される場合には、メモリ容量の制約から、このサイズとして約１２８×１２８が適切である。
【００２３】
図４では、各タイルの左上に、タイルの種類をあらわす記号Ａ，Ｂ，Ｃのいずれかが付されている。具体的には、タイルＡが、ＲＯＩ１０及び非ＲＯＩ１２を含むＲＯＩ境界タイルであり、タイルＢが、ＲＯＩ１０のみからなるＲＯＩタイルであり、タイルＣが、非ＲＯＩ１２のみからなる非ＲＯＩタイルである。
【００２４】
図２を参照して説明したように、この実施の形態では、ＪＰＥＧ２０００ファイルの復号化に際して、タイルの判別を行なった後に、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢと判別されたタイルに対して重み付け処理を行なう。この重み付け処理は、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対して、ＲＯＩ境界タイルＡからの距離を反映する情報を設定するもので、図４では、ＲＯＩ境界タイルＡに対して「１」を設定し、他方、ＲＯＩタイルＢに対しては、ＲＯＩ境界タイルＡから離れるにしたがい、「２」，「３」，「４」を設定する例が示されている。
【００２５】
ところで、前述したように、ＲＯＩを含むＪＰＥＧ２０００ファイルは、ＲＯＩに対応するウェーブレット変換係数の量子化値が非ＲＯＩのそれに比べてＭＳＢ側にＳビット分だけシフトされた状態で符号化されているが、これは、ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩとを区別する方式としては典型的なｍａｘ−ｓｈｉｆｔ方式を採用する結果である。図５は、かかるｍａｘ−ｓｈｉｆｔ方式の概念図である。
【００２６】
通常、ＪＰＥＧ２０００ファイルにＲＯＩが設定される場合には、まず、ＲＯＩに指定される画素の位置を示すマスク情報が生成され、次に、ビットシフト量Ｓが決定され、全画素についてのウェーブレット変換係数の量子化値がＭＳＢ側へＳビット分だけシフトさせられる。その後、予め生成されたマスク情報に基づき、ＲＯＩに指定される画素を除く画素について、ウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分だけシフトさせられる。結果的に、図５の左側に示すように、ＲＯＩに指定された画素のみについて、そのウェーブレット変換係数の量子化値がＭＳＢ側にＳビット分だけシフトさせられた状態になる。そして、この状態のまま符号化が行なわれる。
【００２７】
かかるＪＰＥＧ２０００ファイルの復号化に際しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらが、図５の右側に示すように、最下位ビット（ＬＳＢ）側にＳビット分だけシフトさせられて、ｍａｘ−ｓｈｉｆｔ方式によるシフトが解除されるようになっている。
【００２８】
この実施の形態では、必要に応じて、非ＲＯＩタイルＣに対して、図５に示す通常のビットシフト処理を施し、他方、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対しては、図６〜９に示すように、前述した重み付け量に基づいたビットシフト処理を施すことにより、ＲＯＩ１０とその周辺の非ＲＯＩ１２の画質不連続性を軽減することができる。
【００２９】
以下、図６〜９を参照して、それぞれ、重み付け量「１」，「２」，「３」，「４」に基づいて施されるビットシフト処理について説明する。
【００３０】
図６は、重み付け量「１」が付されたＲＯＩ境界タイルＡに対して施されるビットシフト処理を概念的に示す図である。重み付け量「１」が設定されたＲＯＩ境界タイルＡについては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識されるに伴い、変換係数の量子化値の下位Ｓビット目，（Ｓ＋１）ビット目，（Ｓ＋２）ビット目が０に置き換えられる。その後、上記のＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。
【００３１】
図７は、重み付け量「２」が設定されたＲＯＩタイルＢに対して施されるビットシフト処理を概念的に示す図である。重み付け量「２」が設定されたＲＯＩタイルＢに対しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識されるに伴い、変換係数の量子化値の下位Ｓビット目，（Ｓ＋１）ビット目が０に置き換えられる。その後、上記のＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。
【００３２】
図８は、重み付け量「３」が設定されたＲＯＩタイルＢに対して施されるビットシフト処理を概念的に示す図である。重み付け量「３」が設定されたＲＯＩタイルＢに対しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識されるに伴い、変換係数の量子化値の下位Ｓビット目が０に置き換えられる。その後、ＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。
【００３３】
図９は、重み付け量「４」が設定されたＲＯＩタイルＢに対して施されるビットシフト処理を概念的に示す図である。重み付け量「４」が設定されたＲＯＩタイルＢに対しては、２Ｓ以上のウェーブレット変換係数の量子化値がＲＯＩに対応するものとして認識され、これらのＲＯＩに対応するウェーブレット変換係数の量子化値がＬＳＢ側へＳビット分シフトさせられる。このビットシフト処理は、図５に示す通常のビットシフト処理と同様である。
【００３４】
このように、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対して重み付け量に基づいた特定のビットシフト処理を行なうことにより、ＲＯＩ境界タイル及びその近傍のタイルにおける情報量が削減され、その結果、ＲＯＩ１０と非ＲＯＩ１２の画質差を抑制することができ、画像の違和感を軽減することが可能である。
【００３５】
なお、以上の処理を、ウェーブレット変換係数のうちの高周波成分のみに対して行なうことにより、画質低下の抑制を図ることが考えられる。例えば、画像データがウェーブレット分解レベル２で符号化されている場合には、復号化されるデータは、周波数成分変換により、図１０に示すようなサブバンドに分解された状態にある。この図で、ＬＬは、水平・垂直低周波成分，ＬＨは、水平低周波成分・垂直高周波成分，ＨＬは、水平高周波成分・垂直低周波成分，ＨＨは、水平・垂直高周波成分をあらわす。すなわち、かかるサブバンドのうちの高周波成分側のサブバンド（ハッチングを付して示すＨＨ２，ＨＬ２，ＬＨ２，ＨＨ１）のみに対して、前述した処理を行なうことにより、画質低下の抑制を図ることができる。
【００３６】
図１１は、各タイルのＲＯＩ境界判別処理についてのフローチャートである。この処理では、まず、Ｓ２１で、係数ビットモデリングが解除された周波数成分変換係数（ウェーブレット変換係数）が生成される。次に、Ｓ２２では、生成されたウェーブレット変換係数のダイナミックレンジ（下限〜上限）が解析される。すなわち、各ウェーブレット変換係数が何ビットであるかが検出される。続いて、Ｓ２３では、検出されたダイナミックレンジが、ＪＰＥＧ２０００ファイルの符号化列に含まれるヘッダから読み取られた上記のｍａｘ−ｓｈｉｆｔ方式によるビットシフト量Ｓ以上であるか否かが判定される。
【００３７】
Ｓ２３での結果、ダイナミックレンジがＳ以上でないと判定された場合には、Ｓ２７へ進み、現在処理中のタイルが非ＲＯＩタイルＣと判別される。その後、Ｓ２８へ進む。
【００３８】
他方、Ｓ２３での結果、ダイナミックレンジがＳ以上であると判定された場合には、Ｓ２４へ進み、引き続き、タイル内にＳビット未満のウェーブレット変換係数が存在するか否かが判定される。その結果、Ｓビット未満のウェーブレット変換係数が存在しないと判定された場合には、Ｓ２６へ進み、現在処理中のタイルがＲＯＩタイルＢと判別され、更に、そのタイルの画像データ中の位置情報が保存される。その後、Ｓ２８へ進む。
【００３９】
他方、Ｓ２４での結果、Ｓビット未満のウェーブレット変換係数が存在すると判定された場合には、Ｓ２５へ進み、現在処理中のタイルがＲＯＩ境界タイルＡと判別され、更に、そのタイルの画像データ中の位置情報が保存される。その後、Ｓ２８へ進む。
【００４０】
Ｓ２８では、全タイルの処理が終了したか否かを判定する。終了していないと判定された場合には、Ｓ２１へ戻り、次のタイルについて、それ以降の処理を繰り返す。他方、終了したと判定された場合には、Ｓ２９へ進む。
【００４１】
Ｓ２９では、ＲＯＩ境界タイルＡ及びＲＯＩタイルＢに対して、保存された位置情報に基づき、重み付け処理が行なわれる。更に、Ｓ３０では、重み付け処理により各タイルに設定された重み付け量に基づき、各タイルについてのウェーブレット変換係数に対して所定のビットシフト処理が行なわれる。以上で、処理が終了する。
【００４２】
図１２は、ＲＯＩタイルＡ及びＲＯＩタイルＢに対する重み付け処理（図１１のＳ２９）の詳細についてのフローチャートである。この処理では、まず、Ｓ３１において、処理中のタイルがＲＯＩ境界タイルＡであるか否かが判定される。その結果、ＲＯＩ境界タイルＡであると判定された場合には、Ｓ３２へ進み、重み付け量「１」が設定された上で、処理が終了する。
【００４３】
他方、処理中のタイルがＲＯＩ境界タイルＡでないと判定された場合には、Ｓ３３へ進み、引き続き、処理中のタイルがＲＯＩタイルＢであるか否かが判定される。その結果、ＲＯＩタイルＢでない（すなわち非ＲＯＩタイルである）と判定された場合には、Ｓ３９へ進み、重み付け量を設定せずに、処理が終了する。
【００４４】
他方、Ｓ３３の結果、ＲＯＩタイルＢであると判定された場合には、Ｓ３４へ進み、引き続き、図１１のＳ２６にて保存された位置情報に基づいて、処理中のタイルがＲＯＩ境界タイルＡに隣接するタイルであるか否かが判定される。その結果、ＲＯＩ境界タイルＡに隣接するタイルであると判定された場合には、Ｓ３５へ進み、重み付け量「２」が設定された上で、処理が終了する。
【００４５】
他方、Ｓ３４の結果、ＲＯＩ境界タイルＡに隣接するタイルでないと判定された場合には、Ｓ３６へ進み、引き続き、図１１のＳ２６にて保存された位置情報に基づいて、処理中のタイルのＲＯＩ境界タイルＡからの距離が値Ｘ以下であるか否かが判定される。基準となるＲＯＩ境界タイルＡとしては、処理中のタイルから最も近傍にあるものが用いられる。その結果、ＲＯＩ境界タイルＡからの距離が値Ｘ以下であると判定された場合には、Ｓ３７へ進み、重み付け量「３」が設定された上で、処理が終了する。
【００４６】
他方、Ｓ３６の結果、ＲＯＩ境界タイルＡからの距離が値Ｘより大きいと判定された場合には、Ｓ３８へ進み、重み付け量「４」が設定された上で、処理が終了する。
【００４７】
また、図１３は、各タイルに対する変換係数処理（図１１のＳ３０）の詳細についてのフローチャートである。この処理では、まず、Ｓ５１において、処理中のタイルについての重み付け量が検出される。
重み付け量が「１」である場合には、Ｓ５４へ進み、図６に示したように、ウェーブレット変換係数の下位Ｓビット目，（Ｓ＋１）ビット目，（Ｓ＋２）ビット目を０にした上で、Ｓ５５へ進む。
【００４８】
また、重み付け量が「２」である場合には、Ｓ５３へ進み、図７に示したように、ウェーブレット変換係数の下位Ｓビット目，（Ｓ＋１）ビット目を０にした上で、Ｓ５５へ進む。
【００４９】
更に、重み付け量が「３」である場合には、Ｓ５２へ進み、図８に示したように、ウェーブレット変換係数の下位Ｓビット目を０にした上で、Ｓ５５へ進む。
【００５０】
また、更に、重み付け量が「４」である若しくは重み付け量が設定されていない場合には、そのまま、Ｓ５５へ進む。
【００５１】
Ｓ５５では、ＲＯＩに対応するものとして認識されたウェーブレット変換係数がＬＳＢ側にＳビット分シフトさせられる。以上で、処理が終了する。
【００５２】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。
【００５３】
【発明の効果】
以上の説明から明らかなように、本願の請求項１に係る発明によれば、符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、各タイル毎に、該タイルに関する周波数成分変換係数に基づき、上記圧縮画像データ内に設定された関心領域の存在状況を検出し、検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別し、判別された関心領域タイル及び関心領域境界タイルに対して、該関心領域境界タイルからの距離を反映した重み付け量を設定し、更に、設定された重み付け量に基づき、上記各関心領域タイル及び関心領域境界タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し所定の処理を行うので、各タイル毎に、関心領域と非関心領域との間の画質不連続性を抑制し、画像の違和感を軽減するような処理が可能である。
【００５４】
また、本願の請求項２に係る発明によれば、上記所定の処理として、上記各関心領域タイル及び関心領域境界タイル内の関心領域に対応する周波数成分変換係数に対して、その下位から所定の範囲まで０に置き換える処理を行ない、上記関心領域境界タイルからの距離が大きくなるほど、０に置き換える範囲を小さくするので、関心領域境界タイル及びその近傍のタイルにおける情報量が削減され、その結果、関心領域と非関心領域の画質差を抑制することができ、画像の違和感を軽減することが可能である。
【００５５】
更に、本願の請求項３に係る発明によれば、上記所定の処理において、圧縮画像データが符号化時の周波数成分変換によって分解されてなるサブバンドのうちの高周波成分側のサブバンドのみに対して処理を行うので、関心領域境界タイル及びその近傍のタイルにおける情報量が削減される一方で、画質低下の抑制を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像処理装置の内部構成を示すブロック図である。
【図２】上記画像処理装置内のコーデックによるＪＰＥＧ２０００ファイルの復号化処理の流れを示す図である。
【図３】ＲＯＩを含む画像データを示す図である。
【図４】図４中のフレームＸ内の拡大図である。
【図５】ＪＰＥＧ２０００ファイルにおいてＲＯＩと非ＲＯＩを区別する方式として典型的なｍａｘ−ｓｈｉｆｔ方式の概念図である。
【図６】重み付け量「１」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図７】重み付け量「２」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図８】重み付け量「３」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図９】重み付け量「４」が設定されたタイルに施されるビットシフト処理を概念的に示す図である。
【図１０】ウェーブレット分解レベル２で符号化された画像データが、サブバンドに分解されている態様を示す図である。
【図１１】各タイルのＲＯＩ境界判別処理についてのフローチャートである。
【図１２】各タイルの重み付け処理（図１１のＳ２９）についてのフローチャートである。
【図１３】変換係数処理（図１１のＳ３０）についてのフローチャートである。
【符号の説明】
１…画像処理装置
２…ＣＰＵ
３…メモリブロック
４…コーデック
５…プリンタＩ／Ｆ
６…プリンタ部
７…ネットワークＩ／Ｆ
８…バス
１０…ＲＯＩ
１２…非ＲＯＩ
Claims (3)
- 符号化／復号化処理に際し各々処理単位となる複数のタイルに分割された圧縮画像データを復号化する画像処理装置において、
上記各タイル毎に、該タイルに関する周波数成分変換係数より、上記圧縮画像データ内に設定された関心領域の存在状況を検出する検出手段と、
上記検出手段により検出された関心領域の存在状況に基づき、各タイルが、関心領域のみからなる関心領域タイル，非関心領域のみからなる非関心領域タイル，関心領域及び非関心領域が混在する関心領域境界タイルのいずれかであるかを判別する判別手段と、
上記判別手段により判別された関心領域タイル及び関心領域境界タイルに対して、該関心領域境界タイルからの距離を反映した重み付け量を設定する設定手段と、
上記設定手段により設定された重み付け量に基づき、上記各関心領域タイル及び関心領域境界タイル内の関心領域及び非関心領域に対応する周波数成分変換係数に対し、所定の処理を行う処理手段と、を備えたことを特徴とする画像処理装置。 - 上記処理手段が、上記各関心領域タイル及び関心領域境界タイル内の関心領域に対応する周波数成分変換係数に対して、その下位から所定の範囲まで０に置き換える処理を行ない、上記関心領域境界タイルからの距離が大きくなるほど、０に置き換える範囲を小さくすることを特徴とする請求項１記載の画像処理装置。
- 上記処理手段が、圧縮画像データが符号化時の周波数成分変換によって分解されてなるサブバンドのうちの高周波成分側のサブバンドのみに対して処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295981A JP4013721B2 (ja) | 2002-10-09 | 2002-10-09 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295981A JP4013721B2 (ja) | 2002-10-09 | 2002-10-09 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004134938A true JP2004134938A (ja) | 2004-04-30 |
| JP4013721B2 JP4013721B2 (ja) | 2007-11-28 |
Family
ID=32286081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002295981A Expired - Fee Related JP4013721B2 (ja) | 2002-10-09 | 2002-10-09 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4013721B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006166413A (ja) * | 2004-12-02 | 2006-06-22 | Mitsubishi Electric Research Laboratories Inc | スケーラブルな画像トランスコーディング方法 |
| JP2007281654A (ja) * | 2006-04-04 | 2007-10-25 | Olympus Corp | 画像再生装置 |
| US7609899B2 (en) | 2004-05-28 | 2009-10-27 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and recording medium thereof to smooth tile boundaries |
| JP2010515300A (ja) * | 2006-12-22 | 2010-05-06 | クゥアルコム・インコーポレイテッド | デコーダ側の関心領域ビデオ処理 |
-
2002
- 2002-10-09 JP JP2002295981A patent/JP4013721B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7609899B2 (en) | 2004-05-28 | 2009-10-27 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and recording medium thereof to smooth tile boundaries |
| JP2006166413A (ja) * | 2004-12-02 | 2006-06-22 | Mitsubishi Electric Research Laboratories Inc | スケーラブルな画像トランスコーディング方法 |
| JP4606987B2 (ja) * | 2004-12-02 | 2011-01-05 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | スケーラブルな画像トランスコーディング方法 |
| JP2007281654A (ja) * | 2006-04-04 | 2007-10-25 | Olympus Corp | 画像再生装置 |
| JP2010515300A (ja) * | 2006-12-22 | 2010-05-06 | クゥアルコム・インコーポレイテッド | デコーダ側の関心領域ビデオ処理 |
| JP2012120199A (ja) * | 2006-12-22 | 2012-06-21 | Qualcomm Inc | デコーダ側の関心領域ビデオ処理 |
| US8315466B2 (en) | 2006-12-22 | 2012-11-20 | Qualcomm Incorporated | Decoder-side region of interest video processing |
| US8744203B2 (en) | 2006-12-22 | 2014-06-03 | Qualcomm Incorporated | Decoder-side region of interest video processing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4013721B2 (ja) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6879726B2 (en) | Image processing method, apparatus and storage medium | |
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| US6768819B2 (en) | Image processing apparatus and method, and storage medium used therewith | |
| EP1009168A2 (en) | Image processing apparatus and method, and recording medium | |
| JP2005218124A (ja) | データ圧縮システム | |
| JP3915652B2 (ja) | 画像処理装置 | |
| JP2004242290A (ja) | 画像処理装置および画像処理方法、画像編集処理システム、画像処理プログラム及び記憶媒体 | |
| US7050645B2 (en) | Image processing apparatus and image processing method | |
| JP3902953B2 (ja) | 画像処理装置及び方法及びコンピュータプログラム及び記憶媒体 | |
| JP4013721B2 (ja) | 画像処理装置 | |
| US20060056714A1 (en) | Image process device, image processing program, and recording medium | |
| US7373000B2 (en) | Image processing apparatus | |
| JP2011040970A (ja) | データ処理装置、および、データ処理方法 | |
| US8005305B2 (en) | Method and apparatus for generating a halftoned image from a compressed image | |
| US6069980A (en) | Adaptive character image generation and synthesis | |
| JP3952981B2 (ja) | 画像処理装置 | |
| JP4678814B2 (ja) | 画像処理方法及び装置 | |
| JP4093871B2 (ja) | 画像形成装置、プログラムおよび記憶媒体 | |
| JP4195624B2 (ja) | 画像処理装置、画像形成装置、画像読取装置、プログラム及び記憶媒体 | |
| JP4111863B2 (ja) | 画像処理装置、画像形成装置、画像処理用プログラム及び記憶媒体 | |
| JP2007158816A (ja) | 画像処理装置 | |
| JP2000307876A (ja) | 画像処理装置 | |
| JPH11331612A (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP2004112532A (ja) | 画像処理装置、画像読取装置、画像形成装置、テレビジョンカメラ、画像出力装置、情報処理装置、プログラム及び記憶媒体 | |
| JP2010278650A (ja) | 画像圧縮処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像圧縮方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051207 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070903 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |