JP2002044425A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画質劣化を生じることなく拡大画像のジャギ
ーを緩和する。 【解決手段】 ＣＣＤ１２で得られた画像はデジタルズ
ーム部１４及び拡大部２２で拡大され、ＳＤＲＡＭ１８
に記憶される。拡大画像にはジャギーが生じているため
メディアンフィルタ１０でジャギーを緩和するが、ＣＰ
Ｕ２０は画像の拡大率に応じてメディアンフィルタ１０
でのフィルタリング効果（フィルタリング度合い）を変
化させてフィルタリングを行う。拡大率が小さい場合に
はフィルタリング効果も小さくすることで、フィルタリ
ングに伴う画質劣化を抑制できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及び方
法、特に画像データの拡大に伴うフィルタ処理に関す
る。

【０００２】

【従来の技術】従来より、デジタルカメラ等において
は、画像を拡大する機能を有している。画像拡大は、基
本的に画素データを補間するものであり、元々ない画素
点を生成するものであることから、いくつかの問題が生
じ得る。

【０００３】図８には、ＣＣＤで得られた原画像（Ａ）
を電気的に拡大した（Ｂ）場合が示されている。また、
図９には、原画像の一部（Ａ）及び拡大画像の一部
（Ｂ）が模式的に示されている。

【０００４】画素補間により新たな画素点を生成するた
め、図９（Ｂ）に示されるように拡大画像の輪郭にはギ
ザギザが生じてしまう（ジャギー）。このジャギーは画
質劣化の原因ともなる。

【０００５】そこで、従来より、拡大画像のジャギーを
緩和するために、拡大画像データをメディアンフィルタ
で処理することが提案されている。メディアンフィルタ
では、入力画像データの中間値を出力するため、特異的
なデータを排除することができる。図９（Ｃ）には、
（Ｂ）に示された画像データに対してメディアンフィル
タを適用した場合が示されており、（Ｂ）に示されたギ
ザギザ部分が緩和されていることが分かる。

【０００６】図１０には、メデイアンフィルタの処理原
理が示されている。複数の画素データを入力し、これら
をその値に応じてソートし、中間値を有するデータを出
力する。図では、２次元配列した９個の画素データが入
力され、それぞれ１５，３０，２３，４９，１０８，７
７，２７，９０，８１の値を有するとすると、これらの
中間値である４９の画素値を有する画素データがフィル
タリングされて出力される。

【０００７】また、図１１には、メディアンフィルタの
構成例が示されている。このメディアンフィルタは、７
個のデータｄ０〜ｄ６を入力して処理するものである。
メディアンフィルタ１０は複数のフィルタ素子１０ａを
カスケード状に接続して構成される。各フィルタ素子１
０ａは２入力２出力の素子であり、図１２に示されるよ
うに、入力した２つのデータの内、値の大きい方を上部
の出力端子から出力する。例えば、（Ａ）に示されるよ
うに、入力した２つのデータＡ、ＢがＡ≧Ｂを満たす場
合にはデータＡを上部から出力し、データＢを下部から
出力する。また、（Ｂ）に示されるように、Ａ＜Ｂの場
合にはデータＢを上部から出力し、データＡを下部から
出力する。このようなフィルタ素子１０ａを複数組み合
わせることで、７個のデータｄ０〜ｄ６の中で、値の小
さいものは下部に分けられ、値の大きいものは上部に分
けられ、結局その値に応じてソートされることになる。
そして、最終的にソートされた中央のデータを外部に出
力することで、中間値を出力することができる。組み合
わせるフィルタ素子１０ａの数は、入力されるデータ数
に応じて決定されることは言うまでもない。

【０００８】

【発明が解決しようとする課題】メディアンフィルタは
特徴的な部分を排除するため、ジャギーの緩和に有効で
あるが、その一方で本来存在するはずの特徴的な部分を
も排除してしまい、原画像データを損なってしまうおそ
れもある。

【０００９】図１３には、原画像データ（Ａ）及びこの
原画像データを拡大した場合（Ｂ）、さらに拡大した場
合（Ｃ）それぞれについて、メディアンフィルタを適用
した場合が示されている。（Ｄ）は（Ａ）の原画像デー
タに対してフィルタリングしたものであり、白画素と黒
画素が反転してしまい原画像データが損なわれている。
また、（Ｅ）は（Ｂ）の拡大画像データ（拡大率８／
６）に対してフィルタリングしたものであり、同様に原
画像データが部分的に損なわれている。また、（Ｆ）は
（Ｃ）の拡大画像データ（拡大率８／６×８／６＝６４
／３６）に対してフィルタリングしたものであり、原画
像データはそのまま維持され、ほとんど損なわれておら
ず、かつ、ジャギーも緩和されている。

【００１０】このように、メディアンフィルタはジャギ
ー緩和に有効であるものの一律に適用した場合には逆に
原画像を損なってしまう問題がある。特に、拡大率が小
さい場合には、画像データに孤立した画素パターンが生
じやすく（拡大率が高いとそれだけ画素の補間量が多く
なり、孤立した画素パターンが少なくなる）、メディア
ンフィルタにより画質が劣化してしまうことになる。

【００１１】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、拡大画像に生じる
ジャギーを緩和するとともに、画質の劣化も抑制して高
品質な拡大画像を得ることができる装置及び方法を提供
することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像データを拡大する拡大手段と、拡大
された画像データをフィルタリングするフィルタ手段
と、前記拡大手段での拡大率に応じて前記フィルタ手段
のフィルタリング効果を変化させる制御手段とを有する
ことを特徴とする。拡大画像に対して一律にフィルタリ
ングを行うのではなく、拡大画像の拡大率に応じてフィ
ルタリング効果を変化させることで、ジャギーを緩和し
つつフィルタリングに伴う画質劣化を抑制することがで
きる。

【００１３】ここで、前記制御手段は、前記拡大率が増
大するほど前記フィルタリング効果を大きくすることが
好適である。図１３に示されるように、拡大率が小さい
場合にはフィルタリングによる画質劣化が顕著となる。
そこで、拡大率が増大するほどフィルタリング効果を大
きくする、言い換えれば拡大率が小さいほどフィルタリ
ング効果を小さくすることで、フィルタリングに伴う画
質劣化を確実に抑制することができる。なお、拡大率が
増大するほどフィルタリング効果を大きくするとは、必
ずしも拡大率とフィルタリング効果が比例関係にあるこ
とを意味するものではなく、正の相関関係にあることを
意味するものである。すなわち、拡大率に応じてフィル
タリング効果が連続的に増大する場合の他、不連続的
に、あるいは段階的に増大する場合も含まれる。

【００１４】また、本発明の１つの実施形態では、前記
制御手段は、前記拡大率がしきい値以下の場合には前記
フィルタ手段の動作を停止する。これにより、拡大率が
しきい値以下と小さい場合には拡大画像データはそのま
ま出力されることとなり、フィルタリングによる画質劣
化を防止することができる。なお、拡大率がしきい値以
下と小さい場合には、ジャギーも比較的少ないため、ジ
ャギーによる画質劣化も生じない。

【００１５】また、本発明の１つの実施形態では、前記
フィルタ手段は、入力画像データの中間値を出力するメ
ディアンフィルタである。メディアンフィルタでは、入
力された画像データの中間値を出力するが、メディアン
フィルタのフィルタリング効果を小さくすることで、元
の拡大画像が出力される確率が高くなる。したがって、
拡大率が小さく、ジャギーが比較的少ない場合にはメデ
ィアンフィルタのフィルタリング効果を拡大率に応じて
小さくすることで、フィルタリングに起因する画質劣化
を抑制することができる。拡大率が大きく、ジャギーが
顕著に現れる場合には拡大率に応じてメディアンフィル
タのフィルタリング効果も大きくなるのでジャギーを緩
和することができる。そして、拡大率が大きい場合に
は、補間される画素数も増大するため、メディアンフィ
ルタによる画質劣化もほとんど生じない。

【００１６】また、本発明は画像処理方法を提供する。
この方法では、画像データを拡大する拡大ステップと、
拡大された画像データを拡大率に応じてフィルタリング
する処理ステップとを有することを特徴とする。

【００１７】ここで、前記処理ステップでは、前記拡大
率が増大するほど前記フィルタリングの効果を大きくす
ることが好適である。

【００１８】また、前記処理ステップでは、前記拡大率
がしきい値以下の場合にはフィルタリングを行わないこ
とが好適である。

【００１９】また、前記処理ステップでは、入力画像デ
ータの中間値を出力するメディアンフィルタリングを行
うことができる。

【００２０】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００２１】図１には、本実施形態に係る画像処理装置
の全体構成図が示されている。ＣＣＤ１２で得られた画
像データはデジタルズーム部１４に供給される。デジタ
ルズーム部１４では、ＣＰＵ２０からの指令に応じて画
像データを適当な拡大率で拡大処理する。ＣＰＵ２０
は、ユーザの操作に応じて拡大指令を出力することがで
きる。拡大された画像データは、ＳＤＲＡＭコントロー
ラ１６によりＳＤＲＡＭ１８に記憶される。ＳＤＲＡＭ
１８に記憶された画像データをさらに拡大する必要があ
る場合には、ＳＤＲＡＭコントローラ１６は画像データ
を読み出して拡大部２２に供給し、電気的に画像データ
を拡大する。これら一連の拡大処理に伴って画像データ
には既述したようにジャギーなどが生じるおそれがある
ため、拡大された画像データは次にメディアンフィルタ
１０に供給される。

【００２２】メディアンフィルタ１０は基本的には従来
のメディアンフィルタと同様にフィルタ素子１０ａをカ
スケードに接続して構成され、入力された複数の画素デ
ータの中間値を出力する。メディアンフィルタ１０の構
成は図１１に示された構成と同様であり、本実施形態で
は１５個の画素データを入力してその中間値を出力す
る。

【００２３】従来においては、拡大画像データをそのま
まメディアンフィルタ１０に供給してその中間値を出力
しているが、本実施形態ではＣＰＵ２０が画像データの
トータルの拡大率を算出し（デジタルズーム部１４にお
ける拡大率と拡大部２２における拡大率を併せた拡大率
であり、デジタルズーム部あるいは拡大部のいずれかの
みが存在する場合にはその拡大率）、拡大率に応じてメ
ディアンフィルタ１０の機能を制御する。より具体的に
は、トータルの拡大率を所定のしきい値と比較し、トー
タルの拡大率がしきい値以下である場合にはメディアン
フィルタ１０を動作させず、入力画像データをそのまま
出力する。なお、トータルの拡大率がしきい値以下であ
る場合には拡大画像データをメディアンフィルタ１０に
供給しないようにしてもよい。また、トータルの拡大率
がしきい値を超える場合には、メデイアンフィルタ１０
におけるフィルタリング効果をトータルの拡大率に応じ
て増減する。すなわち、拡大率が小さい場合にはそれに
応じてフィルタリング効果も小さくし、逆に拡大率が大
きい場合にはそれに応じてフィルタリング効果も大きく
する。フィルタリング効果を変化させる方法について
は、さらに後述する。拡大処理され、さらにトータルの
拡大率に応じてフィルタリング処理された画像データは
ＪＰＥＧコーディック部２４でＪＰＥＧフォーマットに
変換され、記憶媒体２６に記憶される。あるいはＮＴＳ
Ｃエンコーダ・ＬＣＤドライバ２８で映像信号に変換さ
れ、図示しないＬＣＤに表示される。

【００２４】なお、デジタルズーム部１４と拡大部２２
は必ずしも別個に存在する必要はなく単一の機能として
もよい。

【００２５】図２には、図１におけるメディアンフィル
タ１０の構成が示されている。本実施形態のメディアン
フィルタ１０は上述したように１５個の画素データを入
力してその中間値を出力するものであり、１５タップの
メディアンフィルタを備えている。この１５タップメデ
ィアンフィルタの前段には、マルチプレクサが設けられ
ており、１５個の画素信号の内、端部に存在する画素信
号を適宜特定の値に置き換えて１５タップメディアンフ
ィルタに供給する。具体的には、マルチプレクサには１
５個の画素データの内、端部に存在する６個の画素デー
タｄ０、ｄ４、ｄ５、ｄ９、ｄ１０、ｄ１４、及び処理
すべき中央の画素データｄ７の合計７個のデータが入力
され、これらを適宜選択して６個の端部の画素データと
して出力する。マルチプレクサが６個の端部の画素デー
タのいずれを置き換えるかはＣＰＵ２０からの切替信号
に基づいて決定され、例えば切替信号に基づいて画素デ
ータｄ０、ｄ４、ｄ１０、ｄ１４を処理すべき中央の画
素データｄ７に置き換えて出力する。ＣＰＵ２０からの
切替信号は、ＣＰＵ２０で算出したトータルの拡大率に
応じて決定される。

【００２６】図３には、メディアンフィルタ１０で処理
の対象となる１５個の画素データが模式的に示されてい
る。１５個の画素データは２次元配列し、それぞれｄ
０、ｄ１、ｄ２、・・・、ｄ１４とする。これらは、処
理すべき中央の画素データｄ７の近傍に位置する画素デ
ータ群であり、端部の画素データはｄ０、ｄ５、ｄ１０
（左端部）及びｄ４、ｄ９、ｄ１４（右端部）である。
もちろん、ｄ０、ｄ１、ｄ２、ｄ３、ｄ４を上端部、ｄ
１０、ｄ１１、ｄ１２、ｄ１３、ｄ１４を下端部とする
こともできる。

【００２７】図３に示された１５個の画素データをその
まま１５タップメディアンフィルタに入力した場合、処
理すべき中央の画素データｄ７がそのまま出力される確
率は１／１５である。この場合、拡大率が小さい場合に
は白画素と黒画素が反転する等、原画像が損なわれるお
それがあることは既述した通りである。したがって、拡
大率が比較的小さく、処理すべき中央の画素データｄ７
をそのまま出力した方が良い場合には、処理すべき中央
の画素データの優先度を上げ、メディアンフィルタのフ
ィルタリング効果を小さくする必要がある。

【００２８】図４には、ＣＰＵ２０及びマルチプレクサ
の動作により、端部の画素データの内、画素データｄ５
及びｄ９の２個の画素データを処理すべき中央の画素デ
ータｄ７に置き換えた場合が示されている。この場合、
処理すべき中央の画素データが１５タップメディアンフ
ィルタから出力される確率は３／１５となり、図３に比
べて処理すべき中央の画素データの優先度が大きくな
り、フィルタリング効果が小さくなる（処理すべき中央
の画素データがそのまま出力される確率が高くなる）。

【００２９】また、図５には、ＣＰＵ２０及びマルチプ
レクサの動作により、端部の画素データの内、画素デー
タｄ０、ｄ４、ｄ１０、ｄ１４の４個の画素データを処
理すべき中央の画素データｄ７に置き換えた場合が示さ
れている。この場合、処理すべき中央の画素データが１
５タップメディアンフィルタから出力される確率は５／
１５となり、図３に比べて処理すべき中央の画素データ
の優先度が大きくなり、フィルタリング効果が小さくな
る。なお、図４の場合と比較しても、よりフィルタリン
グ効果が小さくなる。

【００３０】さらに、図６には、ＣＰＵ２０及びマルチ
プレクサの動作により、端部の画素データの内、画素デ
ータｄ０、ｄ４、ｄ５、ｄ９、ｄ１０、ｄ１４の６個の
画素データを処理すべき中央の画素データに置き換えた
場合が示されている。この場合、処理すべき中央の画素
データが１５タップメディアンフィルタから出力される
確率は７／１５となり、図３に比べて処理すべき中央の
画素データの優先度が大きくなり、フィルタリング効果
が小さくなる。なお、図５の場合と比較しても、よりフ
ィルタリング効果が小さくなる。

【００３１】このように、端部の画素データのいずれか
を処理すべき中央の画素データｄ７に置き換えること
で、フィルタリング効果を小さくすることができ、しか
も置き換える数を多くすることでフィルタリング効果の
低減の度合いを大きくすることもできる。したがって、
メディアンフィルタ１０を用いて拡大画像のジャギーを
緩和する場合においても、拡大率に応じて適宜ＣＰＵ２
０が置き換える数を決定することで、ハードウェア構成
を替えることなく最適なフィルタリングを行うことがで
きる。

【００３２】図７には、本実施形態におけるトータルの
拡大率とメディアンフィルタ１０のフィルタリング効果
との関係が示されている。図の縦軸はフィルタリング効
果であり、上に行くほどフィルタリング効果（フィルタ
リング度合い）が大きいことを示している。トータルの
拡大率がしきい値Ｍｔｈ以下の場合にはフィルタリング
効果は０、すなわちフィルタリングが行われず、拡大画
像データはそのまま出力される。そして、トータルの拡
大率がしきい値Ｍｔｈを超えた場合にはメディアンフィ
ルタ１０のフィルタリングが動作するが、一律なフィル
タリングではなく、拡大率が増大するほどそのフィルタ
リング効果を大きくしていく。これにより、画像の拡大
により生じるジャギーを緩和するとともに、メデイアン
フィルタによる画質劣化も防ぐことができる。

【００３３】以上、本発明の実施形態について説明した
が、本発明はこれに限定されるものではなく種々の変更
が可能であり、特にフィルタリング効果を変化させる方
法として他の方法を用いることができる。

【００３４】例えば、端部の画素データを中央の画素デ
ータｄ７に置き換えるのではなく、画像データの最小値
００ｈと最大値ｆｆｈに置き換えることによってもフィ
ルタリング効果を変化させることができる。

【００３５】すなわち、端部画素データの内、２個の画
素データをそれぞれ最小値００ｈと最大値ｆｆｈに置き
換えた場合、１５タップメディアンフィルタでソートし
た場合、これら２つの画素データは必ず最上位（最も値
の大きい）と最下位（最も値の小さい）となり、中間値
として出力されることはない。言い換えれば、１５個の
画素データの内、最小値と最大値を有する２個の画素デ
ータを除いた残り１３個の中から中間値が選択されて出
力されることとなり、これはフィルタリングの対象とな
る画素データ数（タップ数）を１５個から１３個に変化
させたことと等価となる。この場合、処理すべき中央の
画素データが中間値としてそのまま出力される確率が１
／１５から１／１３に増大することとなり、フィルタリ
ング効果を小さくすることができる。置き換える画素デ
ータ数を４個にすると、確率は１／１１となり、さらに
フィルタリング効果を小さくすることができる。トータ
ルの拡大率に応じて最小値と最大値に置き換える画素数
を変えればよい。

【００３６】また、本実施形態では、トータルの拡大率
がしきい値Ｍｔｈを超えた場合にフィルタリングを行っ
ているが、しきい値Ｍｔｈを０とし、すなわち画像を拡
大した場合には常にフィルタリングを行うこともでき
る。この場合においても、拡大率が小さい場合にはフィ
ルタリング効果を小さくすることは言うまでもない。

【００３７】さらに、本実施形態ではトータルの拡大率
がしきい値Ｍｔｈを超えた場合には拡大率に応じて連続
的にフィルタリング効果を増減しているが、不連続的あ
るいはステップ的に増減することも可能である。

【００３８】本実施形態の画像処理装置は、例えばデジ
タルカメラに適用することが可能であるが、これに限定
されるものではない。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
拡大画像に生じるジャギーを緩和するとともに、画質の
劣化も抑制して高品質な拡大画像を得ることができる。

【図面の簡単な説明】

【図１】 実施形態の画像処理装置の構成図である。

【図２】 図１におけるメディアンフィルタの構成図で
ある。

【図３】 実施形態の画素データ説明図である。

【図４】 端部の２個の画素データをｄ７に置き換えた
場合の説明図である。

【図５】 端部の４個の画素データをｄ７に置き換えた
場合の説明図である。

【図６】 端部の６個の画素データをｄ７に置き換えた
場合の説明図である。

【図７】 実施形態の拡大率とフィルタリング効果の関
係を示すグラフ図である。

【図８】 拡大画像説明図である。

【図９】 拡大画像のジャギー及びメディアンフィルタ
を適用した場合の説明図である。

【図１０】 メデイアンフィルタの原理説明図である。

【図１１】 メディアンフィルタの構成図である。

【図１２】 フィルタ要素の動作説明図である。

【図１３】 従来のメディアンフィルタを適用した場合
の画像説明図である。

【符号の説明】

１０ メディアンフィルタ、１４ デジタルズーム部、
２０ ＣＰＵ、２２拡大部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 廣野 英雄 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 田岡 峰樹 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE05 CE06 CH09 5C023 AA02 AA37 DA04 EA10 5C076 AA21 AA31 BA06 CB01 5C077 LL05 LL19 PP01 PP20 PP68 PQ08 PQ20 TT09

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像データを拡大する拡大手段と、 拡大された画像データをフィルタリングするフィルタ手
   段と、 前記拡大手段での拡大率に応じて前記フィルタ手段のフ
   ィルタリング効果を変化させる制御手段と、 を有することを特徴とする画像処理装置。
2. 【請求項２】 請求項１記載の装置において、 前記制御手段は、前記拡大率が増大するほど前記フィル
   タリング効果を大きくすることを特徴とする画像処理装
   置。
3. 【請求項３】 請求項１、２のいずれかに記載の装置に
   おいて、 前記制御手段は、前記拡大率がしきい値以下の場合には
   前記フィルタ手段の動作を停止することを特徴とする画
   像処理装置。
4. 【請求項４】 請求項１〜３のいずれかに記載の装置に
   おいて、 前記フィルタ手段は、入力画像データの中間値を出力す
   るメディアンフィルタであることを特徴とする画像処理
   装置。
5. 【請求項５】 画像データを拡大する拡大ステップと、 拡大された画像データを拡大率に応じてフィルタリング
   する処理ステップと、 を有することを特徴とする画像処理方法。
6. 【請求項６】 請求項５記載の方法において、 前記処理ステップでは、前記拡大率が増大するほど前記
   フィルタリングの効果を大きくすることを特徴とする画
   像処理方法。
7. 【請求項７】 請求項５、６のいずれかに記載の方法に
   おいて、 前記処理ステップでは、前記拡大率がしきい値以下の場
   合にはフィルタリングを行わないことを特徴とする画像
   処理方法。
8. 【請求項８】 請求項５〜７のいずれかに記載の方法に
   おいて、 前記処理ステップでは、入力画像データの中間値を出力
   するメディアンフィルタリングを行うことを特徴とする
   画像処理方法。