JP2011139114A - 画像処理方法及び画像処理システム - Google Patents
画像処理方法及び画像処理システム Download PDFInfo
- Publication number
- JP2011139114A JP2011139114A JP2009295556A JP2009295556A JP2011139114A JP 2011139114 A JP2011139114 A JP 2011139114A JP 2009295556 A JP2009295556 A JP 2009295556A JP 2009295556 A JP2009295556 A JP 2009295556A JP 2011139114 A JP2011139114 A JP 2011139114A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- display
- image data
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000007906 compression Methods 0.000 claims abstract description 98
- 230000006835 compression Effects 0.000 claims abstract description 73
- 230000006837 decompression Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 117
- 230000001965 increasing effect Effects 0.000 claims description 19
- 230000000873 masking effect Effects 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】画像データを圧縮処理後、伸張処理して表示処理を行う系において、伸張処理後に拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することである。
【解決手段】原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする。
【選択図】図2
【解決手段】原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする。
【選択図】図2
Description
本発明は、デジタル化された画像情報を圧縮して伝送した後、これを伸張して表示する画像処理系において、画像圧縮による画質劣化にもかかわらず、高画質で表示を行うための画像処理方法及び画像処理システムに関する。
画像データを圧縮して伝送した後、伸張して表示処理を行う系において、表示処理に伴う拡大処理によって生じる画質劣化(拡大ボケ)のため、或いは、ディスプレイサイズの増大による表示画面のボケ防止のため、画像に対する鮮鋭化処理を行おうとすると、圧縮によって生じた圧縮歪やブロックノイズ等のノイズ自体も鮮鋭化させてしまう可能性があり、十分な鮮鋭化を実施することが出来ない。このため、画像圧縮後の伸張画像には圧縮によるノイズも同時に伸張されるので、ノイズ除去等の処理を行い、発生したノイズを除去する処理などを行った後、表示処理を行う動作フローが一般的であるが、ノイズ除去処理によって画像の鮮鋭感が失われたり、ノイズ除去自体に大きな処理量が必要となり、システムの負荷を増大させているなどの問題がある。
言い換えれば、画像圧縮した後に伝送或いは記録し、受信時或いは再生時に伸張処理して画像データをディスプレイ画面に表示するときに、表示処理として拡大処理した後に輪郭をくっきりさせるなどの鮮鋭化処理を行うと、圧縮処理によって生じたノイズが鮮鋭化されて拡大処理されてしまうことになる。
先行技術としては、例えば特許文献1に開示されているものがある。特許文献1は、圧縮された画像の画質の向上を行うための方法と装置であって、ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行するウェーブレット向上ユニットと、圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮する、ウェーブレット向上ユニットに接続された、圧縮器とを有する、符号化器が開示されている。
そこで、本発明は上記の問題に鑑み、画像データを圧縮処理して伝送或いは記録した後、伸張処理して表示処理を行う系において、伸張処理後の表示処理にて拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することを目的とするものである。
本発明の一態様によれば、原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする画像処理方法が提供される。
本発明の他の態様は、原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズでディスプレイに表示する画像処理システムにおいて、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小して、原画像サイズ以下の画像データを生成するプレ圧縮処理部と、このプレ圧縮処理部で生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行う圧縮処理部と、圧縮処理された画像データを伸張処理する伸張処理部と、伸張処理された画像データを拡大処理又は縮小処理して前記ディスプレイに表示するための表示画像を生成する表示処理部と、を具備したことを特徴とする画像処理システムが提供される。
本発明によれば、画像データを圧縮処理して伝送或いは記録した後、伸張処理して表示処理を行う系において、伸張処理後の表示処理にて拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図1は本発明の一実施形態に係る画像処理方法の概略的に示す説明図である。
図1に示す画像処理方法は、原画像データの圧縮前に表示処理による画質劣化を踏まえた周波数制御処理を含む前処理(以下、プレ圧縮処理という)を行った後に、このプレ圧縮処理された画像データを圧縮する。例えば、表示画面に対する表示処理が拡大処理であれば、プレ圧縮処理としては、面積増大による輝度周波数劣化を想定し、画像サイズを拡大する拡大処理を行った後、高周波数化による周波数制御処理(例えばコントラスト伸張処理や鮮鋭化処理)を行い、その後に縮小処理を行う。
図1は本発明の一実施形態に係る画像処理方法の概略的に示す説明図である。
図1に示す画像処理方法は、原画像データの圧縮前に表示処理による画質劣化を踏まえた周波数制御処理を含む前処理(以下、プレ圧縮処理という)を行った後に、このプレ圧縮処理された画像データを圧縮する。例えば、表示画面に対する表示処理が拡大処理であれば、プレ圧縮処理としては、面積増大による輝度周波数劣化を想定し、画像サイズを拡大する拡大処理を行った後、高周波数化による周波数制御処理(例えばコントラスト伸張処理や鮮鋭化処理)を行い、その後に縮小処理を行う。
図1で、符号A→B→C→D1→E1→F1の経路は、本発明による高画質化のためのプレ圧縮処理を含んだデータフローを示している。また、符号A→D→E→F又はF2の経路は、本発明のデータフローとの比較のための従来例のデータフローを示している。
先ず、比較のために従来例から説明する。
従来例のデータフローでは、原画像データAを圧縮処理することによって圧縮データDが作成され、この圧縮データDを伝送路(図示略)を介して受信側へ伝送したり、或いは、その圧縮データを録画部(図示略)の記録媒体などに保存したりする。そして、受信側で受信したり、或いは、録画部から再生した圧縮データは、伸張処理されて伸張画像Eに復元され、さらに表示処理して画像サイズが拡大(又は縮小)された表示画像Fとしてディスプレイ(図示略)に供給される。表示処理としては、単に拡大(又は縮小)処理が行われて表示画像Fとしてディスプレイに出力される処理を行う場合のほか、拡大(又は縮小)処理が行われた後にさらに輪郭強調等の鮮鋭化処理が行われて表示画像F2としてディスプレイに出力される処理を行う場合もある。
従来例のデータフローでは、原画像データAを圧縮処理することによって圧縮データDが作成され、この圧縮データDを伝送路(図示略)を介して受信側へ伝送したり、或いは、その圧縮データを録画部(図示略)の記録媒体などに保存したりする。そして、受信側で受信したり、或いは、録画部から再生した圧縮データは、伸張処理されて伸張画像Eに復元され、さらに表示処理して画像サイズが拡大(又は縮小)された表示画像Fとしてディスプレイ(図示略)に供給される。表示処理としては、単に拡大(又は縮小)処理が行われて表示画像Fとしてディスプレイに出力される処理を行う場合のほか、拡大(又は縮小)処理が行われた後にさらに輪郭強調等の鮮鋭化処理が行われて表示画像F2としてディスプレイに出力される処理を行う場合もある。
このように、従来は、表示のための鮮鋭化処理を、表示処理における拡大処理後に行っていたのに対して、本発明では、表示のための鮮鋭化処理(言い換えれば、高周波数化を含む周波数制御処理)を、圧縮・伸張処理における圧縮処理の前に予め行っておくようにすることにより、表示処理に鮮鋭化処理が要らなくなる、ようにしたものである。本発明では、鮮鋭化処理を、圧縮処理前に行うプレ圧縮処理の中に含めて実施する。
本発明によるデータフローでは、原画像データAに対して前もってプレ圧縮処理A〜Cを行う。プレ圧縮処理は、原画像サイズを拡大する拡大処理と、拡大処理した画像データを高周波数化する処理と、高周波数化した画像データを原画像サイズ以下に縮小する縮小処理とを行うことによって、拡大しかつ拡大による画質劣化を抑えた画像データBを得た後、さらに縮小処理を行うことによって、原画像サイズ以下の画像データCを生成する。この縮小データは、さらに既存の圧縮処理が施されてデータ量が少なくされた圧縮データD1になる。この圧縮データD1は、受信側に伝送路(図示略)を介して伝送されたり、或いは、録画部(図示略)の記録媒体に保存されたりする。その後、圧縮データD1は伸張処理されて高画質圧縮伸張画像データE1となり、さらに拡大(又は縮小)処理の表示処理を受けて表示画像F1としてディスプレイ(図示略)に表示出力される。
ここで、圧縮・伸張処理と、拡大・縮小処理について説明する。圧縮・伸張処理は、画像のデータ量を小さくしたり元の大きさに復元したりする技術で、JPEG,MPEG2,MPEG4,H.264などの方式がある。圧縮処理は、エンコード(符号化)と対応しており画像のデータ量自体を小さくする処理であり、伸張処理は、デコード(復号化)と対応しており圧縮したデータを元のデータ量に復元する処理である。拡大・縮小処理は、画像データの縦横の画素数(即ち画像サイズ)を変更する技術で、バイリニア法、バイキュービック法などの方法がある。
図2は本発明の一実施形態の画像処理方法のデータフローを示すフローチャートである。
画像処理方法は、(1)一旦原画像サイズを拡大処理した画像データに対し、後のステップで伸張処理した後の拡大(又は縮小)処理の画像サイズに応じた高周波数化を実施した後、原画像サイズ以下の縮小した画像データを生成するものであって、画素数の増加または表示デバイスのインチ数などに応じて拡大(又は縮小)処理を最適化するためのプレ圧縮処理S1〜S3と、(2) JPEG/MPEG−2/MPEG−4,H.264といった既存符号化・復号化処理(汎用処理)を行う画像データの圧縮・伸張処理S4,S5と、(3) 画像サイズの拡大又は縮小のスケーリング処理を実施することによって表示画像を生成する表示処理(ここでは、プレ圧縮処理を実施しているので、鮮鋭化処理を行わず、拡大又は縮小のスケーリング処理だけを実施する)S6と、を備えている。なお、高周波数化のステップS2は、後段の伸張処理後のデータを拡大する予定ならば、圧縮処理(S4)する前に拡大後の画像が最適化されるように予め画像データの周波数変換(高周波数化)を行う処理であって、圧縮処理(S4)する前に高周波数化による鮮鋭化処理を行うものである。
画像処理方法は、(1)一旦原画像サイズを拡大処理した画像データに対し、後のステップで伸張処理した後の拡大(又は縮小)処理の画像サイズに応じた高周波数化を実施した後、原画像サイズ以下の縮小した画像データを生成するものであって、画素数の増加または表示デバイスのインチ数などに応じて拡大(又は縮小)処理を最適化するためのプレ圧縮処理S1〜S3と、(2) JPEG/MPEG−2/MPEG−4,H.264といった既存符号化・復号化処理(汎用処理)を行う画像データの圧縮・伸張処理S4,S5と、(3) 画像サイズの拡大又は縮小のスケーリング処理を実施することによって表示画像を生成する表示処理(ここでは、プレ圧縮処理を実施しているので、鮮鋭化処理を行わず、拡大又は縮小のスケーリング処理だけを実施する)S6と、を備えている。なお、高周波数化のステップS2は、後段の伸張処理後のデータを拡大する予定ならば、圧縮処理(S4)する前に拡大後の画像が最適化されるように予め画像データの周波数変換(高周波数化)を行う処理であって、圧縮処理(S4)する前に高周波数化による鮮鋭化処理を行うものである。
図3はプレ圧縮処理S1〜S3の実施例を示している。
拡大処理S1は、画像サイズを拡大するためのスケーリングを行うもので、バイリニア法、バイキュービック法などの画像サイズ変更に伴って実施可能な既存の補間方法が用いられる。
拡大処理S1は、画像サイズを拡大するためのスケーリングを行うもので、バイリニア法、バイキュービック法などの画像サイズ変更に伴って実施可能な既存の補間方法が用いられる。
高周波数化の処理S2は、前記拡大処理S1後の画像データの高周波成分を抽出して輪郭強調を行うアンシャープマスキング処理,鮮鋭化タップフィルタ処理,及び、コントラスト伸張(強調)を行うヒストグラム伸張処理のうちの1つの処理であってもよいが、それらのうちの2つ以上の処理を同時に行うようにしてもよい。高周波数化の処理S2としては、図3に示した以外にも種々の方法が可能である。
アンシャープマスキング法は、原画像から平滑化(画像をぼかす)した画像を減算して高周波成分を抽出し、これを原画像に加算して、高周波成分を強調する方法である。
鮮鋭化タップフィルタ処理は、デジタルフィルタのタップ係数を制御することによって高周波成分を強調する方法である。
ヒストグラム伸張処理は、画素値がある範囲に偏って分布しているような画像に対して、より広範囲に画素値の分布を拡げる濃度変換であり、ヒストグラム伸張することで、画像に使われている画素値の幅を広くし、画像の明暗を分かり易くする。
鮮鋭化タップフィルタ処理は、デジタルフィルタのタップ係数を制御することによって高周波成分を強調する方法である。
ヒストグラム伸張処理は、画素値がある範囲に偏って分布しているような画像に対して、より広範囲に画素値の分布を拡げる濃度変換であり、ヒストグラム伸張することで、画像に使われている画素値の幅を広くし、画像の明暗を分かり易くする。
画像サイズを縮小するためのスケーリングを行う縮小処理S3は、縮小率に応じた重み付け平均化タップフィルタ処理(タップ係数を制御する処理)と、この平均化タップフィルタ処理をした後の画像データに対し、バイリニア法、バイキュービック法などの既存の補間方法を用いて画像サイズを縮小する処理と、を備えている。
図4はプレ圧縮処理を、画素配列に対する輝度勾配を示すグラフを用いて説明する図である。 画像を構成する1本の水平ライン上の画素について見ると、横軸には水平ライン上の画素の配列をとり、縦軸には各画素の画像値をとると、プレ圧縮処理の過程は図4(a)〜(c)のように表される。ここでは、プレ圧縮処理を説明するために、例えば、原画像を最終の表示処理で2倍に拡大する場合を示している。
図4(a)は原画像の輝度勾配、図4(b)は原画像を拡大処理した後に高周波数化を行った周波数制御処理画像の輝度勾配、図4(c)は高周波数化した後に縮小処理したプレ圧縮処理画像の輝度勾配、をそれぞれ示している。これらの図で、横軸は画素配列を、縦軸は画素値(輝度)を、○印は画素を示している。斜線の入った○は原画像の画素を示し、外周が点線の○は拡大処理することによって原画像の画素間に補間された画素を示し、この拡大処理された画素配列を結ぶ点線Qに対して更に高周波数化の処理を施した画素配列を示す実線Pの画素を黒丸●で示している。
図4(b)で、符号Pで示される実線は拡大処理後に高周波数化の処理を受けた画素配列(画素は●)の輝度勾配であり、Qは拡大処理直後の(拡大処理後に高周波数化の処理を受ける以前の)画素配列の輝度勾配を示している。図4(c)で、符号P1は図4(b)の画素配列Pを縮小処理した後の輝度勾配を示し、Q1は図4(b)の画素配列Qを縮小処理した後の輝度勾配に対応している。つまり、Q1は、図4(b)に示した●にて示す画素配列のような高周波数化の処理をせずに、単純に縮小した場合に相当する。
図4(a)の原画像輝度勾配で、符号Hで示される部分は画像のエッジ部分に相当していて、画素値が急激に上昇している。このH部分が、画像を2倍に拡大することによって、図4(b)の周波数制御処理画像輝度勾配の画素配列Qのようになだらかになる。これは、拡大処理によって輝度勾配が弱くなることを意味している。そこで、画像を2倍に拡大処理した後に高周波数化の処理を施すと、図4(b)の周波数制御処理画像輝度勾配の画素配列Pのようになる。これは、高周波数化によってエッジ部分の輝度勾配を強くしたことにより、拡大処理によって輝度勾配が弱くなるのを防ぐことができることを意味している。
図5は本発明の画像処理方法を送受信システムに応用した例を概略的に示すブロック図である。
図5に示す送受信システムは、送信側の入力端子11に入力した原画像データをプレ圧縮処理部12でプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大又は縮小の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の前記表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理を行い、その後に圧縮処理部13で圧縮処理を実行することにより、画像データのサイズを圧縮する。
図5に示す送受信システムは、送信側の入力端子11に入力した原画像データをプレ圧縮処理部12でプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大又は縮小の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の前記表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理を行い、その後に圧縮処理部13で圧縮処理を実行することにより、画像データのサイズを圧縮する。
ここで、表示処理に応じた高周波数化とは、表示処理における画像サイズの拡大(又は縮小)に応じて高周波数化(例えばエッジ部分の輝度勾配の強調(又は弱調))を行うことをいう。
このときの圧縮処理の実行によって、後に続く伝送路17を経由してのデータ伝送を少ないデータ量で行うことが可能となる。
そして、圧縮処理された画像データは、有線或いは無線の伝送路17を介して受信側に送信され、受信側の伸張処理部14へ入力される。伸張処理部14では、圧縮処理部13で圧縮される前のデータサイズに伸張(デコード)された後、表示処理部15に送られる。表示処理部15ではディスプレイの画像サイズ(解像度即ち画素数)に合うように拡大処理されて出力端子16から出力される。例えば原画像のサイズに対して2倍に拡大処理されてディスプレイに表示される。
図6は本発明の画像処理方法を、記録再生システムに応用した他の例を概略的に示すブロック図である。
図6に示す記録再生システムは、記録側の入力端子11aに入力した原画像データをプレ圧縮処理部12aでプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大(又は縮小)の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理)し、その後に圧縮処理部13aで圧縮処理を実行することにより、画像データのサイズを圧縮する。このときの圧縮処理の実行によって、後に続く記録媒体18へのデータ記録を少ないデータ量で行うことが可能となる。
図6に示す記録再生システムは、記録側の入力端子11aに入力した原画像データをプレ圧縮処理部12aでプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大(又は縮小)の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理)し、その後に圧縮処理部13aで圧縮処理を実行することにより、画像データのサイズを圧縮する。このときの圧縮処理の実行によって、後に続く記録媒体18へのデータ記録を少ないデータ量で行うことが可能となる。
そして、圧縮された画像データは、ハードディスクやDVD等の記録媒体18に一旦記録される。その後、再生時には、記録媒体18に記録されている圧縮データが読み出されて伸張処理部14aへ供給される。伸張処理部14aでは、圧縮処理部13aで圧縮される前のデータサイズに伸張(デコード)された後、表示処理部15aに送られる。表示処理部15aではディスプレイの画像サイズ(解像度即ち画素数)に合うように拡大処理されて出力端子16aから出力される。例えば原画像のサイズに対して2倍に拡大処理されてディスプレイに表示される。
図7及び図8は、図1における従来例の伸張画像データEと、本発明に係る伸張画像データE1とを比較するための図である。画像データE,E1の各サイズは横縦が320×240である。
図7は、従来例において、原画像データをH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
図7は、従来例において、原画像データをH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
図8は、原画像データに対して超解像処理を施し縦横2倍に拡大し、これに3タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、その後にH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
図9及び図10は、図1における従来例の表示画像データFと、本発明に係る表示画像データF1とを比較するための図である。画像データF,F1の各サイズは横縦が640×480である。
図9は、従来例において、原画像データをH.264にて圧縮処理した後、伸張(復元)処理した画像を、バイリニア法により2倍に拡大処理した表示画像を示している。
図10は、原画像データに対して超解像処理を施し縦横2倍に拡大し、これに3タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、そしてH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により2倍に拡大した表示画像を示している。
図9は、従来例において、原画像データをH.264にて圧縮処理した後、伸張(復元)処理した画像を、バイリニア法により2倍に拡大処理した表示画像を示している。
図10は、原画像データに対して超解像処理を施し縦横2倍に拡大し、これに3タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、そしてH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により2倍に拡大した表示画像を示している。
図11及び図12は、図1における従来例の表示画像データF2と、本発明に係る表示画像データF1とを比較するための図である。画像データF2,F1の各サイズは横縦が640×480である。
図11は、従来例において、原画像データを低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像を、バイリニア法により2倍に拡大した画像に対して、鮮鋭化処理として3タップフィルタ処理を実施した表示画像を示している。
図12は、原画像データに対して超解像処理を施し縦横2倍に拡大し、これに3タップフィルタによる平均化処理を施した後、バイリニア法によって縮小処理するプレ圧縮処理を実施し、そして低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により2倍に拡大した表示画像を示している。
図11は、従来例において、原画像データを低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像を、バイリニア法により2倍に拡大した画像に対して、鮮鋭化処理として3タップフィルタ処理を実施した表示画像を示している。
図12は、原画像データに対して超解像処理を施し縦横2倍に拡大し、これに3タップフィルタによる平均化処理を施した後、バイリニア法によって縮小処理するプレ圧縮処理を実施し、そして低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により2倍に拡大した表示画像を示している。
図11,図12の処理による表示画像は、圧縮処理での圧縮率が高いので、図9,図10の処理による表示画像と対比すると、鮮鋭化処理によって圧縮歪が強調され、画質劣化を招いていることが分かる。
画像圧縮を行う前に、伸張後の表示処理にて拡大処理が行われることを想定し、拡大によって画像が低周波数化(ボケる)することを想定し、圧縮前にあらかじめ次の(1)または(2)の処理を施す。
(1).超解像処理(拡大による画質劣化を抑えた拡大処理) + 縮小処理(原画像サイズ以下にするスケーリング処理で、過度の平均化による低周波数化が発生しないようにした処理)により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
(1).超解像処理(拡大による画質劣化を抑えた拡大処理) + 縮小処理(原画像サイズ以下にするスケーリング処理で、過度の平均化による低周波数化が発生しないようにした処理)により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
(2).原画像に対するコントラスト伸張処理により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
これらの処理によって生成された原画像サイズ以下の画像に対して、画像圧縮処理を行う。
本方法を経て圧縮された画像データは、伸張後、たとえばバイリニア法などによって画像拡大した場合でも、鮮鋭化処理の必要が無く、受信側又は再生側での表示処理に伴う画像ボケを補償する必要がない。
これらの処理によって生成された原画像サイズ以下の画像に対して、画像圧縮処理を行う。
本方法を経て圧縮された画像データは、伸張後、たとえばバイリニア法などによって画像拡大した場合でも、鮮鋭化処理の必要が無く、受信側又は再生側での表示処理に伴う画像ボケを補償する必要がない。
なお、圧縮処理と表示処理とが閉じているクローズドシステム(Closed System)に対しては、本発明は非常に有用である。
ここで、クローズドシステムとは、伸張処理後の画像をディスプレイに出力するまでの間に、どのような処理を行うかが、圧縮処理時に分かっているシステムと定義する。すなわち、クローズドシステムにおいては圧縮処理前の周波数制御処理を最適化することが可能となる。
クローズドシステムの例として、たとえば、送信機側で圧縮データを生成、送信し、これを特定受信機で受け取る。受信機側で圧縮データを伸張し、特定受信機が持つディスプレイサイズに拡大して表示するような系においては、特定受信機に付設したディスプレイサイズに合わせて伸張後のデータを拡大することになるため、送信機側は、圧縮前に特定受信機での拡大処理の拡大率にあわせた周波数制御処理を行えばよいことになる。
加えて、受信機側での表示処理として鮮鋭化処理などが不要となり、受信機側に求められる表示処理性能を抑えることが出来る。
本発明の実施形態によれば、プレ圧縮処理において、周波数制御処理後の画像サイズを原画像サイズ以下とすることで、後段の圧縮処理における圧縮データのサイズは原画像のそれと同じか、若しくは小さくすることが出来る。
従来は、圧縮・伸張処理における伸張処理後の画像に対して表示のための鮮鋭化処理等を実施していたため、圧縮により発生した圧縮歪やブロックノイズ等のノイズを鮮鋭化処理等にて助長する問題が発生するが、本発明の実施形態によれば、伸張画像データに対する鮮鋭化処理を行う必要がなくなるため、この問題は発生しなくなる。
従来は、圧縮・伸張処理における伸張処理後の画像に対して表示のための鮮鋭化処理等を実施していたため、圧縮により発生した圧縮歪やブロックノイズ等のノイズを鮮鋭化処理等にて助長する問題が発生するが、本発明の実施形態によれば、伸張画像データに対する鮮鋭化処理を行う必要がなくなるため、この問題は発生しなくなる。
また、写真、動画など、画質を保持したまま、圧縮率を高め伝送したり記録したりすることが可能となる。
尚、プレ圧縮処理は、拡大及び縮小を伴う処理で限定されなくてもよく、表示処理を考慮した原画像の周波数最適化を行うものであればよい。例えば、拡大処理をせずに、アンシャープマスキング処理、鮮鋭化タップフィルタ処理、及びヒストグラム伸張処理のいずれか少なくとも1つを行い、縮小処理をせずに、圧縮処理に移行してもよい。
S1…拡大処理、S2…周波数制御処理、S3…縮小処理、S4…圧縮処理、S5…伸張処理、S6…表示処理、11,11a…原画像入力端子、12,12a…プレ圧縮処理部、13,13a…圧縮処理部、14,14a…伸張処理部、15,15a…表示処理部、16,16a…表示画像出力端子。
Claims (5)
- 原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、
前記原画像データに対して前記圧縮処理を行う前に、
前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、
この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする画像処理方法。 - 前記周波数制御処理は、
原画像サイズを拡大する拡大処理と、
伸張後の前記表示処理である拡大処理によって低周波数化することを想定し、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う処理と、
を備えたことを特徴とする請求項1に記載の画像処理方法。 - 前記高周波数化を行う処理は、
画像データの高周波成分を強調するアンシャープマスキング処理、鮮鋭化タップフィルタ処理、及びヒストグラム伸張処理の少なくとも1つを用いることを特徴とする請求項1又は2に記載の画像処理方法。 - 前記縮小処理は、
縮小率に応じた重み付け平均化タップフィルタ処理と、
既存の画像サイズ変更に伴う補間方法によって縮小する処理と、
を備えたことを特徴とする請求項1に記載の画像処理方法。 - 原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズでディスプレイに表示する画像処理システムにおいて、
前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小して、原画像サイズ以下の画像データを生成するプレ圧縮処理部と、
このプレ圧縮処理部で生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行う圧縮処理部と、
圧縮処理された画像データを伸張処理する伸張処理部と、
伸張処理された画像データを拡大処理又は縮小処理して前記ディスプレイに表示するための表示画像を生成する表示処理部と、
を具備したことを特徴とする画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009295556A JP2011139114A (ja) | 2009-12-25 | 2009-12-25 | 画像処理方法及び画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009295556A JP2011139114A (ja) | 2009-12-25 | 2009-12-25 | 画像処理方法及び画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011139114A true JP2011139114A (ja) | 2011-07-14 |
Family
ID=44350146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009295556A Pending JP2011139114A (ja) | 2009-12-25 | 2009-12-25 | 画像処理方法及び画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011139114A (ja) |
-
2009
- 2009-12-25 JP JP2009295556A patent/JP2011139114A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Reversible image watermarking on prediction errors by efficient histogram modification | |
JP4455364B2 (ja) | 解像度変換方法及び装置 | |
US7155067B2 (en) | Adaptive edge detection and enhancement for image processing | |
JP4444354B2 (ja) | 画像処理装置、および画像処理方法 | |
US20090092337A1 (en) | Image processing apparatus, image processing method, and computer program | |
TW200803467A (en) | Selective local transient improvement and peaking for video sharpness enhancement | |
WO2011033619A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
WO2007040765A1 (en) | Content adaptive noise reduction filtering for image signals | |
JP4762352B1 (ja) | 画像処理装置及び画像処理方法 | |
JP2015536108A (ja) | 映像圧縮方法 | |
KR101081074B1 (ko) | 데이터 값의 다운-샘플링 방법 및 디바이스와 이를 포함하는 저장 유닛, 디스플레이 유닛, 비디오 인코더, 비디오 디코더, 휴대용 장치 및 컴퓨터 판독가능 매체 | |
JP4481868B2 (ja) | プリフィルタ | |
JP5249111B2 (ja) | 画像処理装置、方法、プログラム、及び撮像システム | |
US20010026643A1 (en) | Image processing method and system, and storage medium | |
JP2008311981A (ja) | 画像信号処理装置、画像信号処理方法、プログラム、カメラ装置、画像表示装置および画像信号出力装置 | |
WO2007061208A1 (en) | Video signal processing method and apparatus | |
JP5066041B2 (ja) | 画像信号処理装置、画像信号処理方法 | |
JP2009503929A (ja) | アダプティブ・ピーキングによる動画像列の鮮鋭度の向上 | |
JP5130171B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
JP2011139114A (ja) | 画像処理方法及び画像処理システム | |
JP2010041497A (ja) | 画像処理装置、電子機器及び画像処理方法 | |
JP4373384B2 (ja) | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP4991884B2 (ja) | 画像処理装置、および画像処理方法 | |
JP2012004890A (ja) | 映像信号出力装置、映像信号出力方法 | |
WO2012114373A1 (ja) | 映像信号処理方法及び装置 |