JP2005316985A

JP2005316985A - 画像拡大装置及び画像拡大方法

Info

Publication number: JP2005316985A
Application number: JP2005099401A
Authority: JP
Inventors: Kensuke Kuraki; 健介倉木; Taizo Anami; 泰三阿南
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2004-03-31
Filing date: 2005-03-30
Publication date: 2005-11-10

Abstract

【課題】高精細な拡大画像を簡易な演算で求めること。
【解決手段】入力された原画像に基づいて劣化画像を得、少なくとも前記劣化画像を用いて前記原画像の小領域毎の強調フィルタを決定し、この決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調処理を行うと共に前記画像を補間して拡大画像を得る。
【選択図】図３

Description

本発明は、画像を拡大する技術に関し、例えば携帯電話やＰＤＡ(personal digital assistant)等の装置や、画像を表示するソフトウェア全般に適用される技術に関する。

画像の拡大については様々な方法が現在までに提案されている。特に多く見られるものは画像をアップサンプリング後（あるいは同時に）、画像のフィルタ処理を行うものであり、最も有名なものはバイリニア補間やバイキュービック補間である。
しかし、これらの手法は拡大後の画像がぼける傾向がある。これは、画像拡大に伴い画像の高周波成分が失われるためである。

このため、非特許文献１のように画像を拡大後、失われた高周波成分を強調・推定処理を行うことによって高精細な画像拡大を実現している方法も存在する。また、非特許文献２のように、拡大前の画像内の信号パターンと拡大後の信号パターンの対応付けを予め学習しておき、拡大後の信号パターンを推定する手法もある。
また、当発明と類似した発明として非特許文献３，特許文献１が存在する。拡大前の画像は拡大後の画像が縮小・劣化したものだと考えて、拡大画像の画素値を推定する。このとき、一意に拡大画像の各画素値が決定できないため、解空間の探索に拘束条件を設定して、拘束条件下での極大（極小）解を求めることによって画像の拡大を行う。通常拘束条件には近傍画素の滑らかさを用いることが多く、この結果探索された解（すなわち拡大画像）は高周波成分が失われてぼやけたものになりやすいが、非特許文献３,特許文献１は学
習データを用いた拘束条件を用いることによって高周波成分を失うことなく解の探索を行っている。

本願発明に関連する先行技術として、例えば、下記の特許文献１，２及び非特許文献１乃至３に開示される技術がある。
特開２０００−３３９４５０号公報特開２００２−１４９１０５号公報 H.Greenspan, C.H.Anderson, and S.Akber, "Image Enhancement by nonlinear extrapolation in frequency space", IEEE Trans. on Imag. Proc., vol.9, no.6, June, 2000. 近藤哲二郎, "リアル感の創造技術−ディジタル・リアリティ・クリエイション−", 画像電子学会誌, 第26巻, 第6号, 1997. Simon Baker and Takeo Kanade, "Limits on super − resolution and how to break them", IEEE Trans. PAMI, vol.24, no.9, Sep., 2002.

しかし、上述した従来の技術には大きな問題がある。画像信号の強調度合いは入力される画像によって大きく異なるので、例えば非特許文献１の手法ではその意味で使用される画像強調の度合いを表すパラメータの決定方法が不明確かつ経験的である。更に画像全体に一様な強調処理を施すので、高周波成分を強調することによるノイズの発生が避けられない。

また、非特許文献２の手法も拡大前の画像信号と拡大後の画像パターンの対応付けをとることの正当性は不明確であり、拡大前の信号がどんな場合でもいつでも学習した拡大後の画像信号と一致するとは限らない。
また、非特許文献３は非特許文献２の発明よりも更に学習データの質に大きく依存し、汎用的な学習データを得ることは困難である。また、解の探索は非常に時間がかかり現実的ではない。また、特許文献１はパラメータの値を一意に決定しているが、全ての画像にあてはまるか不明である。
そこで本発明は、高精細な拡大画像を簡易な演算で求められる技術の提供を目的とする。

本発明は上記課題を解決するために、以下の手段を採用した。即ち、本発明の画像拡大装置は、
入力された原画像に基づいて劣化画像を得る劣化部と、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するフィルタ決定部と、
前記フィルタ決定部で決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得る強調部と、
前記画像を補間して拡大画像を得る拡大部とを有する。

前記フィルタ決定部は、前記劣化画像から小領域の特性を求め、この特性と対応付けられた強調フィルタを当該小領域に用いる強調フィルタとして決定しても良い。
前記フィルタ決定部は、前記劣化画像の各小領域について、予め準備された複数の強調フィルタでフィルタ処理を行った結果を求め、その結果に基づいて各小領域に使用する強調フィルタを決定しても良い。

前記フィルタ決定部は、フィルタ係数により強調の度合いが変わる複数の前記強調フィルタについてフィルタ係数の分配を変えて、前記劣化画像の各小領域のフィルタ処理を行った結果を求め、この結果に基づいて各小領域に使用する強調フィルタを決定しても良い。

前記劣化部は、入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求め、該エッジ制御画像に基づいて劣化画像を得ても良い。

前記劣化部が、モルフォロジカルフィルタ、メジアンフィルタ、中央荷重メジアンフィルタ、荷重メジアンフィルタ、最大値フィルタ、最小値フィルタなどの非線形フィルタで入力画像を処理することにより、エッジ制御画像を生成しても良い。

前記フィルタ決定部が、前記劣化画像の各小領域の特性値が閾値未満の場合、強調処理をしない或いは強調処理を抑制したフィルタに決定しても良い。

また、本発明の画像拡大方法は、
入力された原画像に基づいて劣化画像を得るステップと、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するステップと、
前記ステップで決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得るステップと、
前記画像を補間して拡大画像を得るステップと、
をコンピュータにて実行させる。

前記強調フィルタを決定するステップにて、前記劣化画像から小領域の特性を求め、この特性と対応付けられた強調フィルタを当該小領域に用いる強調フィルタとして決定しても良い。
前記強調フィルタを決定するステップにて、前記劣化画像の各小領域について、予め準備された複数の強調フィルタでフィルタ処理を行った結果を求め、その結果に基づいて各小領域に使用する強調フィルタを決定しても良い。

前記強調フィルタを決定するステップにて、フィルタ係数により強調の度合いが変わる複数の前記強調フィルタのフィルタ係数の分配を変えて、前記劣化画像の各小領域についてフィルタ処理を行った結果を求め、前記フィルタ決定部が、この結果に基づいて各小領域に使用する強調フィルタを決定しても良い。

前記画像拡大方法において、前記入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求めたのち、該エッジ制御画像に基づいて劣化画像を得ても良い。

前記エッジ制御画像は、入力された原画像から、所定より細かいエッジを削除した画像であっても良い。

前記エッジ制御画像を得る際、モルフォロジカルフィルタ、メジアンフィルタ、中央荷重メジアンフィルタ、荷重メジアンフィルタ、最大値フィルタ、最小値フィルタなどの非線形フィルタで入力画像を処理しても良い。

前記フィルタを決定するステップにて、前記劣化画像の各小領域の特性値が閾値未満の場合に、強調処理をしない或いは強調処理を抑制したフィルタに決定しても良い。

また、本発明は、上記画像拡大方法をコンピュータに実行させる画像拡大プログラムであっても良い。更に、本発明は、このプログラムをコンピュータが読み取り可能に記録した記録媒体であっても良い。そして、コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。
また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

本発明を用いることで、高精細な拡大画像を簡易な演算で求めることが可能となる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。以下の実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。
〈本発明の原理〉
本発明は、高周波成分の強調処理を行うことで高精細な画像拡大を実現する。非特許文献３,特許文献１のように拡大画像の画像信号を直接推定するのは非常に時間がかかり現
実的ではないので、当発明は拡大前の画像信号を適応的に強調処理（高周波強調）することによって、拡大後失われると予想される高周波成分の生成を行う。ただし、強調処理はシーンや画像中の滑らかな領域、エッジ部などで適応的に処理を切り替えることが必要である。

このため小領域毎に強調処理を適応的に選択する手段が必要である。前記小領域とは、１画素、M×Nの画素ブロック、人物画像における髪や肌等の領域、つまりフィルタ処理する際の単位を意味する。小領域毎にどの程度の強調処理が適当かを計るために、強調処理後の画像が原画像にどれだけ忠実であるかを評価関数もしくは確率で表現する。
非特許文献３,特許文献１の発明と比較して当発明の大きな違いは探索する解空間が異
なる点である。非特許文献３,特許文献１は拡大後の画素値を探索するのに対して、当発
明は拡大前の画像を強調する強調フィルタを探索している。

このため、解の探索は非特許文献３,特許文献１が連続的であるのに対して、当発明は
離散的である。この結果、本発明は非特許文献３,特許文献１の発明に対して大幅な計算
量の削減を実現している。

以上の論理を数式で表現すると以下のようになる。
定義
強調・拡大処理を施した高解像度画像：Ｓｕ
解像度の低い原画像（拡大前の画像／入力画像）：Ｌｏ
劣化画像：Ｌｏ'
画像をぼかす関数：Ｄ()
画像を強調する関数：Ｄ^-1()
画像の強調変換：Ｆ()＝Ｄ^-1()
画像を拡大する関数：Ｂ()
画像を縮小する関数：Ｂ^-1()
各小領域(0,1,2,...,n)の強調フィルタ：ｆ_k
m個の強調フィルタ：ｆ_i（i=0,1,2,...,m）
各小領域(0,1,2,...,n)毎に選択された強調フィルタ：ｆ_i(k)（k=0,1,2,...,n）
各小領域(0,1,2,...,n)毎に選択された強調フィルタの集合：Ｆ＝｛ｆ_i(0),ｆ_i(1),ｆ_i(2),．．．ｆ_i(n)｝

以上の定義のもと、図１に示したように拡大前の画像は拡大後の画像が縮小・劣化したものだと考えて画像拡大方式を定式化すれば、次式となる。

Ｌｏ＝Ｂ^-1(Ｄ(Ｓｕ)) ・・・・・・（１）

式（１）から強調・拡大処理を施された高解像度画像Suを求めると、次式となる。

式（２）は、低解像度画像Ｌｏが与えられたときに、高解像度画像Ｓｕを得るための方法を示している。つまり、Loを強調してから拡大、もしくは拡大してから強調することでSuを得ることが出来る。このとき、Bは既知であるとすると、Fを求めることができれば、高解像度画像Suを得る。Fを求めるために、次式を定義する。

Ｅ'＝(Ｓｕ−Ｆ(Ｂ(Ｌｏ)))² ・・・・・（３）

このとき、E'を最小にするFを計算すれば、F(B(Lo))がSuとなる。しかし、今、Suは未知
であるので、式（３）を次式で置き換える。

Ｅ＝(Ｌｏ−Ｆ(Ｂ(Ｌｏ')))² ・・・・・（４）

ただし、LoとLo'の関係は、図１を参考にしている。つまり、SuとLoの関係が、Loと Lo'
の間にも成り立つものと仮定している。

Ｌｏ'＝Ｂ^-1(Ｄ(Ｌｏ)) ・・・・・（５）

式（５）を式（４）に代入すると、次式を得る。

Ｅ＝(Ｌｏ−Ｆ(Ｂ(Ｂ^-1(Ｄ(Ｌｏ)))))²＝(Ｌｏ−Ｆ(Ｄ(Ｌｏ)))²・・・（６）

式（６）は尤度と呼ばれ、尤度を最小にするＦが最適な強調フィルタとなる。画像の拡大は拡大前の画像Ｌｏに対して、式（６）を満たすＦを計算する。ただし、Ｆは画像１枚に対して１種類ではなく、小領域毎にＦの要素ｆ₀, ｆ₁, …, ｆ_i…を決定していく方が好
ましい。なぜなら、画像中には強調をさほど必要としない小領域と強調を必要とする小領域が存在し、小領域毎にエッジの強調度合いを調整するためには、フィルタを適応的に選択する方がよいからである。
また、式（１）から次式も得られる。

Ｅ＝(Ｌｏ−Ｂ^-1(Ｄ(Ｆ(Ｂ(Ｌｏ)))))² ・・・・・（７）

式（７）は原画像を拡大・強調して得られた高解像度画像をさらに劣化・縮小することで得た画像と、原画像との二乗誤差を尤度とした方式である。式（６）の代わりに式（７）を用いても同等の効果がある。以下は式（６）を用いた場合についてのみ述べる。

式（６）を小領域レベルに展開すると、次式を得る。
ｅ_k＝(ｌ_k−ｆ_i(k)(Ｄ(ｌ_k)))² ・・・・・（８）

ここで、ｌ_kは拡大前の画像Ｌｏの小領域ｋの特性値である。例えば、小領域を画素と設
定するならば画素値、Ｍ×Ｎのブロックとするならばメッシュ特徴や方向特徴、人物画像における髪の毛や人間の肌などの領域ではテクスチャの特性など、様々な特性値が考えられる。式（８）の意味を図示したのが図２である。（低解像度画像）＝（高解像度画像を劣化及び縮小した画像）と仮定すると、低解像度画像から高解像度画像を得るには、低解像度画像を一度劣化させ、その後強調フィルタｆ_i(k)を用いて強調処理したときに、元の低解像度画像と同じものになるｆ_i(k)を選択する。

実際の画像拡大は、強調フィルタｆ_iを予め複数種類用意し、式（８）を用いて小領域
毎にフィルタを選択する。フィルタ選択後、式（２）を用いて画像の拡大を行う。フィルタ処理は拡大前の画像、あるいは拡大後の画像に行う。

〈実施形態１〉
図３は、本発明に係る画像拡大装置の概略構成図である。同図に示すように、本実施形態の画像拡大装置１は、メインメモリやＣＰＵからなる演算処理部１２、記憶部（ハードディスク）１３、入出力部１４を備えた一般的なコンピュータである。

記憶部１３は、オペレーションシステムやアプリケーションプログラム（画像拡大プログラム等）を記憶している。
入出力部１４には、ディスプレイ（表示部）やスピーカ等の出力部と、キーボードやマイク等の入力部が適宜接続されるとともに、ＦＤドライブやＣＤ−ＲＯＭドライブ等の入出力装置やＵＳＢやＩＥＥＥ１３９４等の入出力ポートが接続され、画像の入出力を行う
。

演算処理部１２は、記憶部１３に記憶されているプログラムを適宜読み出して実行することにより、画像の拡大処理等を行っている。特に本実施形態において演算処理部１２は、画像拡大プログラムの各ステップを実行することによって、劣化部や、フィルタ決定部、強調部、拡大部として機能している。

該劣化部は、入力された原画像に基づいて劣化画像を得ている。
フィルタ決定部は、前記劣化部で得た劣化画像を用い、この劣化画像を小領域に分割してその特性を求め、この特性と対応付けられた強調フィルタを当該小領域に用いる強調フィルタとして決定する。

強調部は、前記フィルタ決定部で決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得る。
拡大部は、前記画像を補間して拡大画像を得る。

なお、本実施形態の画像拡大装置１は、前記劣化部や、フィルタ決定部、強調部、拡大部の各部をソフトウェア（画像拡大プログラム）に従う処理によって実現する汎用のコンピュータとしたが、本発明の画像拡大装置は、これに限らず前記各部の機能を実行するように専用に設計された電子回路（ハードウェア）から構成された電子機器であっても良い。

上記構成の画像拡大装置が実行する本実施形態の画像拡大方法について図４を用いて説明する。
まず、入出力部１４を介して画像が入力されると、演算処理部は、この入力画像をメモリに格納すると共に、劣化部の機能により所定の劣化関数に基づいて劣化画像を得ている。例えば、図１に示すようにＬｏ'＝Ｂ^-1(Ｄ(Ｌｏ))の関係となるように、入力画像Ｌｏ
から劣化画像Ｌｏ'を得る（ステップ１、以下Ｓ１のように略記する）。

次にフィルタ決定部は、この劣化画像について、各小領域の特性を求める。なお、本実施形態では、小領域を１画素と定義して、フィルタ決定部は、小領域の特性として各画素についてエッジ強度を求めている。
エッジ強度は例えば式（９）で定義される。

ここで、ｋ±θは図６に示すようにｋの近傍画素とする。
フィルタ決定部は、前記劣化画像をラスタスキャン、即ちテレビ画像の走査線のように各画素を順次読み出して（以下このような読み出しを単にラスタスキャンと称す）各画素の値を求め、式（９）により小領域の特性（エッジ強度）を算出する。（Ｓ２）。

また、フィルタ決定部は、図５に示すようにエッジ強度ＵがＵ₀≦Ｕ＜Ｕ₁であればフィルタｆ₀、Ｕ₁≦Ｕ＜Ｕ₂であればフィルタｆ₁、画素の値ＵがＵ₂≦Ｕ＜Ｕ₃であればフィルタｆ₂・・・のように、フィルタ係数の異なる強調フィルタｆ₀〜ｆ_mとエッジ強度とを対
応付けたフィルタテーブルを予め記憶しておく。そしてフィルタ決定部は、このフィルタ
テーブルを参照して前記各画素のエッジ強度と対応する強調フィルタを求め、これを入力画像の各画素に使用する強調フィルタとして決定し、メモリに一時記憶する（Ｓ３）。

次に強調部が、入力画像をラスタスキャンし、各画素について決定した強調フィルタで強調処理を行い（Ｓ４）、拡大部がこの強調処理した画像を拡大して拡大画像を得る（Ｓ５）。即ち前記入力画像の各画素について前記強調フィルタ（画像を強調する関数）を用いて式（２）の計算を行い、強調・拡大処理を施す。この強調処理は小領域毎に図７のような強調フィルタによって施される。図７の配列は、周囲の画素にその位置に相当する係数を乗じて和を取る計算を示す。本実施形態では、各強調フィルタのフィルタ係数の値は予め設定しておく。また、拡大処理は、一般的によく知られている補間方法等を用いて行う。なお、この画像を強調するステップ４と、画像を拡大するステップ５は、順序を代えても良く、入力画像を拡大処理し（Ｓ５）、この拡大画像を強調処理（Ｓ４）しても良い。その場合でも同等の効果が得られる。

以上のように本実施形態によれば、小領域毎に適切な強調フィルタを選択して強調処理を行っているので、高精細な拡大画像を簡易な演算で得ることができる。
また、本実施形態では、各小領域のエッジ強度から一意に強調フィルタを求めているので、劣化画像を一度ラスタスキャンすれば、適切な強調フィルタを求めることができ、比較的高速に処理が可能である。

〈実施形態２〉
図８は、実施形態２の画像拡大方法の説明図である。本実施形態は、前述の実施形態１と比べてフィルタ決定部によるフィルタの決定処理が異なりその他の構成については同一である。このため同一の構成については、説明を省略する。

本実施形態では、フィルタ係数の異なる複数（ｍ個）の強調フィルタf_i（i=1,2,3,・・・m）を予め設定しておき、フィルタ決定部から参照可能となるようにメモリ等に記憶さ
せておく。そして、前述のように劣化画像を求めた後、フィルタ決定部は、劣化画像をラスタスキャンし、各画素について式（８）の計算を前記複数の強調フィルタを用いてm回
行い、各強調フィルタの尤度ｅ_kを求める（Ｓ２２）。そしてこの尤度ｅ_kが最も小さくなるフィルタfi(k)を各画素に使用する強調フィルタとして決定し、記憶する（Ｓ２３）。
全画素について強調フィルタを決定した後、前述の実施形態１と同様に原画像（劣化前の画像）に対し強調処理を施し、拡大処理を行う。また、強調処理は原画像を補間拡大後に行うことも可能であり、その場合でも同等の効果がある。

以上のように本実施形態によれば、複数の強調フィルタのフィルタ係数を定数として尤度を求め、最小の尤度となるフィルタを選択することにより、最適な強調フィルタを選択することができる。

〈実施形態３〉
図９は、実施形態３の画像拡大方法の説明図である。本実施形態は、前述の実施形態１と比べてフィルタ決定部によるフィルタの決定処理が異なりその他の構成については同一である。このため同一の構成については、説明を省略する。

まず、前述のように劣化画像を求めた後、フィルタ決定部は、ステップ３２にて、劣化画像をラスタスキャンし、各画素について式（８）の計算を複数の強調フィルタを用いてm回行い、各強調フィルタの尤度ｅ_kを求めて記憶する（Ｓ２２）。そして式（１２）により、小領域毎の強調フィルタの適合度合いを表す確率p(f_i(k))を求め（Ｓ３３）、最尤推定法によりフィルタ係数など各パラメータの値を更新して確率p(f_i(k))を求め、この確率p(f_i(k))が常に同じ値あるいは近い値となるまで繰り返す（Ｓ３４〜Ｓ３５）。本実施形
態では、このパラメータの更新（Ｓ３５）にＥＭアルゴリズムを用いた例を示す。このＥＭアルゴリズムはＥ−Ｓｔｅｐと、Ｍ−Ｓｔｅｐと呼ばれる二つの処理から成り立つ。Ｅ−Ｓｔｅｐでは未知パラメータ（ここではＦ）に関する対数尤度の期待値を計算する。Ｆ^tの初期値を与え、それを元に式（１０）を計算する（Ｅ−Ｓｔｅｐ）。ここで、p(f_i(k))は小領域毎の強調フィルタの適合度合いを表す確率である。f^t _i(k)はF^tの要素である。
Ｍ−Ｓｔｅｐでは、式（１１）のように、式（１０）を最大にするＦを計算し、これをF^t+1とする。こうして求められたF^t+1を式（１０）のF^tに置き換え、以後これを繰り返す。

このフィルタ係数を更新したのち、再度、式（１２）により確率p(f_i(k))を求め（Ｓ３３）、これを用いて式（１０）の期待値を計算し、次に式（１１）を満たすフィルタ係数などの各パラメータを求める。

ここで、Z_kは分配関数であり、σ_i ²はe_kの分散である。

数回上記処理を行うと、p(f_i(k))はほとんど変更されない状態になる。この変更の幅が所定値以下か否かを判断し（Ｓ３４）、所定値以下となった場合に、解が収束したとみなして次のステップに移行する。その後、小領域毎に最もp(f_i(k))の高い強調フィルタを各領域に使用する強調フィルタとして決定し、記憶する（Ｓ３６）。

そして、この決定した強調フィルタを用いて前述と同様に入力画像に強調処理を施し、拡大処理を行う。また、強調処理は原画像を補間拡大後に行うことも可能であり、その場合でも同等の効果がある。
以上のように本実施形態によれば、強調フィルタを選択する際に、フィルタ係数の推定と小領域毎のフィルタ選択を同時に行うことによって入力画像の特徴に合った強調処理を行うことができる。

〈実施形態４〉
図１０は、実施形態４の画像拡大方法の説明図である。本実施形態は、前述の実施形態１と比べ、原画像から細かいエッジを除去してから劣化画像を作成した点が異なり、その他の構成については略同一である。このため同一の構成については、説明を省略する。

原画像を強調処理する際、全ての小領域について強調を行うと、細かなエッジやパルスノイズまで強調することになり、微細な部分が不自然に目立ってしまうことがある。例えば動画で木々が揺れるシーンでは、ざわつきが目立ってしまうことがあった。

そこで本実施形態では、非線形フィルタを用いて細かなエッジを除いてから劣化画像を
作成し、この劣化画像に基づくフィルタ係数で強調処理を行っている。
例えば、l_k' = nolinear#filter(l_k) ・・・（１３）とする。
なお、本実施形態では、この非線形フィルタとして、モルフォロジカルフィルタを用いている。

図１１は、この細かなエッジを除く処理の原理説明図である。この図１１のように、原画像について関数ｆ（ｘ）の値２１を小領域の並び方向（画素の並び方向）ｗに連ねて表した場合に、ＯＰＥＮＩＮＧ処理として、該関数値２１を超えない最も高い位置に所定サイズの構造要素ｇ（ｕ）を並べ、該構造要素ｇ（ｕ）の上端の値２２を求める。これにより構造要素ｇ（ｕ）が入り込めないほど細かい上方へ突出した部分２４を除くことができる。また、ＣＬＯＳＩＮＧ処理として、該関数値２１を下回らない最も低い位置に構造要素ｇ（ｕ）を並べ、下端の値２３を求める。これにより構造要素ｇ（ｕ）が入り込めないほど細かい下方へ凹窩した部分２５を除くことができる。ここで、どの程度細かい部分を除くのかは、該構造要素ｇ（ｕ）のサイズによって任意に設定できる。

従って、原画像にモルフォロジカルフィルタをかける、即ちＯＰＥＮＩＮＧ処理及びＣＬＯＳＩＮＧ処理を行うことにより、所定より細かいエッジ２４，２５を除いたエッジ制御画像が得られる。

これを数式で表現すると以下のようになる。
ＯＰＥＮＩＮＧ処理
f(l_k) = min(l_k+u-g(u)) ・・・・（１４）
l_k'= max(f(l_k+u)+g(u)) ・・・（１５）
ＣＬＯＳＩＮＧ処理
f(l_k) = max(l_k+u+g(u)) ・・・・（１６）
l_k'= min(f(l_k+u)-g(u)) ・・・（１７）

このように細かいエッジを除く処理を行う本実施形態の画像拡大方法について図１０を用いて説明する。
まず、入出力部１４を介して画像が入力されると、演算処理部は、この入力画像(原画
像)をメモリに格納し（Ｓ４１）、劣化部の機能により該入力画像にモルフォロジカルフ
ィルタをかけてエッジ制御画像を得る（Ｓ４２）。
また、演算処理部は、この細かいエッジを除去したエッジ制御画像から劣化画像を得ている（Ｓ４３）。例えば、図１に示すようにＬｏ'＝Ｂ^-1(Ｄ(Ｌｏ))の関係となるように
、エッジ制御画像Ｌｏから劣化画像Ｌｏ'を得る。

フィルタ決定部は、前記劣化画像をラスタスキャンして各画素の値を求め、式（９）により小領域の特性（エッジ強度）を算出する。（Ｓ２）。

また、フィルタ決定部は、図５に示すようにエッジ強度ＵがＵ₀≦Ｕ＜Ｕ₁であればフィルタｆ₀、Ｕ₁≦Ｕ＜Ｕ₂であればフィルタｆ₁、画素の値ＵがＵ₂≦Ｕ＜Ｕ₃であればフィルタｆ₂・・・のように、フィルタ係数の異なる強調フィルタｆ₀〜ｆ_mとエッジ強度とを対
応付けたフィルタテーブルを予め記憶しておく。そしてフィルタ決定部は、このフィルタテーブルを参照して前記各画素のエッジ強度と対応する強調フィルタを求め、これを入力画像の各画素に使用する強調フィルタとして決定し、メモリに一時記憶する（Ｓ３）。

次に強調部が、入力画像をラスタスキャンし、各画素について決定した強調フィルタで強調処理を行い（Ｓ４）、拡大部がこの強調処理した画像を拡大して拡大画像を得る（Ｓ５）。なお、この画像を強調するステップ４と、画像を拡大するステップ５は、順序を代えても良く、入力画像を拡大処理し（Ｓ５）、この拡大画像を強調処理（Ｓ４）しても良い。その場合でも同等の効果が得られる。

以上のように本実施形態によれば、小領域毎に適切な強調フィルタを選択して強調処理を行っているので、高精細な拡大画像を簡易な演算で得ることができる。
また、本実施形態では、細かいエッジを除いて強調処理を行っており、細かい部分のざわつき等を防止できる。

〈変形例〉
図１２は、実施形態４の変形例である。この変形例は、前記図１０に示した例と比べて強調フィルタの決定処理が異なり、その他の構成は同じである。
前述と同様に、入出力部１４を介して画像が入力されると、演算処理部は、この入力画像をメモリに格納し（Ｓ４１）、劣化部の機能により該入力画像にモルフォロジカルフィルタをかけてエッジ制御画像を得（Ｓ４２）、所定の劣化関数に基づいて劣化画像を得る（Ｓ４３）。

そして、演算処理部は、フィルタ決定部の機能により、この劣化画像の各画素をラスタ走査して画素毎に式（１８）を計算し、各画素の強調フィルタのフィルタ係数を求め（Ｓ４４）、そのフィルタ係数を用いて入力画像（モルフォロジカルフィルタをかける前の画像）に対し強調処理を施し（Ｓ４５）、拡大処理（Ｓ４６）を行う。また、強調処理は原画像を補間拡大後に行うことも可能であり、その場合でも同等の効果がある。

なお、本実施形態では、非線形フィルタとして、モルフォロジカルフィルタを用いたが、これに限らず、メジアンフィルタ、中央荷重メジアンフィルタ、荷重メジアンフィルタ、最大値フィルタ、最小値フィルタなどであっても良い。

〈実施形態５〉
図１３は、実施形態５の画像拡大方法の説明図である。本実施形態は、前述の実施形態４と比べ、フィルタの決定処理が異なり、その他の構成については略同一である。このため同一の構成については、説明を省略する。

前述と同様に、入出力部１４を介して画像が入力されると、演算処理部は、この入力画
像をメモリに格納し（Ｓ４１）、劣化部の機能により該入力画像にモルフォロジカルフィルタをかけてエッジ制御画像を得（Ｓ４２）、所定の劣化関数に基づいて劣化画像を得る（Ｓ４３）。

そして、演算処理部は、フィルタ決定部の機能により、この劣化画像について式（１８）でe_k=0を満たすフィルタ係数を小領域ごとに求め記憶し（Ｓ５１）、そのフィルタ係数を用いて入力画像に対し強調処理を施して（Ｓ５２）、拡大処理（Ｓ５）を行う。また、強調処理は原画像を補間拡大後に行うことも可能であり、その場合でも同等の効果がある。

〈実施形態６〉
図１４は、実施形態６の画像拡大方法の説明図である。本実施形態は、前述の実施形態１と比べ、フィルタの決定処理が異なり、その他の構成については略同一である。このため同一の構成については、説明を省略する。

まず、入出力部１４を介して画像が入力されると、演算処理部は、この入力画像をメモリに格納すると共に、劣化部の機能により所定の劣化関数に基づいて劣化画像を得ている（Ｓ１）。

次にフィルタ決定部は、この劣化画像について、各小領域の特性を求める。なお、本実施形態では、小領域を１画素と定義して、フィルタ決定部は、式（１８）を計算し、各小領域のフィルタ係数を求めている（Ｓ６１）。

しかしながら、画像の平坦な部分では式（１８）の分母が限りなく０に近い値になり、結果としてフィルタ係数は非常に大きな値になる。また、幅の狭いエッジに対しても同様にフィルタ係数が大きな値になる。そのため、あまり強調したくない部分にも強い強調がかかり、遠近感や質感が失われた画像になる。さらに動画においては揺らぎの原因にもなる。そこで式（１８）の分母の値が任意の値Ｓより小さくなった場合、その少領域(画素)には強調処理を行わない或いは強調を押さえた(所定値未満)のフィルタ係数とし、それ以外の場合は式（１８）の計算結果をフィルタ係数として記憶する。

そして、演算処理部は、そのフィルタ係数を用いて入力画像に対し強調処理を施し（Ｓ６２）、その後、公知の補間方法などを用いて拡大処理を行う（Ｓ５）。また、強調処理は原画像を補間拡大後に行うことも可能であり、その場合でも同等の効果がある。

〈その他の実施形態〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えば、以下に付記した構成であっても上述の実施形態と同様の効果が得られる。また、下記の構成は可能な限り組み合わせることができる。

（付記１）
入力された原画像に基づいて劣化画像を得る劣化部と、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するフィルタ決定部と、
前記フィルタ決定部で決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得る強調部と、
前記画像を補間して拡大画像を得る拡大部と、
を有する画像拡大装置。

（付記２）
前記フィルタ決定部が、前記劣化画像から小領域の特性を求め、この特性と対応付けられた強調フィルタを当該小領域に用いる強調フィルタとして決定する付記１に記載の画像拡大装置。

（付記３）
前記劣化画像の各小領域について、予め準備された複数の強調フィルタでフィルタ処理を行った結果を求め、前記フィルタ決定部が、その結果に基づいて各小領域に使用する強調フィルタを決定する付記１に記載の画像拡大装置。

（付記４）
フィルタ係数により強調の度合いが変わる複数の前記強調フィルタについてフィルタ係数の分配を変えて、前記劣化画像の各小領域のフィルタ処理を行った結果を求め、前記フィルタ決定部が、この結果に基づいて各小領域に使用する強調フィルタを決定する付記１に記載の画像拡大装置。

（付記５）
入力された原画像に基づいて劣化画像を得るステップと、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するステップと、
前記ステップで決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得るステップと、
前記画像を補間して拡大画像を得るステップと、
をコンピュータにて実行する画像拡大方法。

（付記６）
前記強調フィルタを決定するステップにて、前記劣化画像から小領域の特性を求め、この特性と対応付けられた強調フィルタを当該小領域に用いる強調フィルタとして決定する付記５に記載の画像拡大方法。

（付記７）
前記強調フィルタを決定するステップにて、前記劣化画像の各小領域について、予め準備された複数の強調フィルタでフィルタ処理を行った結果を求め、その結果に基づいて各小領域に使用する強調フィルタを決定する付記５に記載の画像拡大方法。

（付記８）
前記強調フィルタを決定するステップにて、フィルタ係数により強調の度合いが変わる複数の前記強調フィルタのフィルタ係数の分配を変えて、前記劣化画像の各小領域についてフィルタ処理を行った結果を求め、前記フィルタ決定部が、この結果に基づいて各小領域に使用する強調フィルタを決定する付記５に記載の画像拡大方法。

（付記９）
入力された原画像に基づいて劣化画像を得るステップと、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するステップと、
前記ステップで決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得るステップと、
前記画像を補間して拡大画像を得るステップと、
をコンピュータに実行させる画像拡大プログラム。

（付記１０）
前記強調フィルタを決定するステップにて、前記劣化画像から小領域の特性を求め、この特性と対応付けられた強調フィルタを当該小領域に用いる強調フィルタとして決定する付記９に記載の画像拡大プログラム。

（付記１１）
前記強調フィルタを決定するステップにて、前記劣化画像の各小領域について、予め準備された複数の強調フィルタでフィルタ処理を行った結果を求め、その結果に基づいて各小領域に使用する強調フィルタを決定する付記９に記載の画像拡大プログラム。

（付記１２）
前記劣化部が、入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求め、該エッジ制御画像に基づいて劣化画像を得る付記１から４の何れかに記載の画像拡大装置。（２）

（付記１３）
前記エッジ制御画像が、入力された原画像から、所定より細かいエッジを削除した画像である付記１２記載の画像拡大装置。

（付記１４）
前記劣化部が、モルフォロジカルフィルタ、メジアンフィルタ、中央荷重メジアンフィルタ、荷重メジアンフィルタ、最大値フィルタ、最小値フィルタなどの非線形フィルタで入力画像を処理することにより、エッジ制御画像を生成する付記１２又は１３記載の画像拡大装置。

（付記１５）
前記フィルタ決定部が、前記劣化画像の各小領域の特性値が閾値未満の場合、強調処理をしない或いは強調処理を抑制したフィルタに決定する付記１から４の何れかに記載の画像拡大装置。

（付記１６）
前記入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求めたのち、該エッジ制御画像に基づいて劣化画像を得る付記５から８の何れかに記載の画像拡大方法。（４）

（付記１７）
前記エッジ制御画像が、入力された原画像から、所定より細かいエッジを削除した画像である付記１６記載の画像拡大方法。

（付記１８）
前記エッジ制御画像を得る際、モルフォロジカルフィルタ、メジアンフィルタ、中央荷重メジアンフィルタ、荷重メジアンフィルタ、最大値フィルタ、最小値フィルタなどの非線形フィルタで入力画像を処理する付記１６又は１７記載の画像拡大方法。

（付記１９）
前記フィルタを決定するステップにて、前記劣化画像の各小領域の特性値が閾値未満の場合に、強調処理をしない或いは強調処理を抑制したフィルタに決定する付記５から８の何れかに記載の画像拡大方法。

（付記２０）
前記入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求めたのち、該エッジ制御画像に基づいて劣化画像を得る付記９から１１の何れかに記載の画像拡大プログラム。

（付記２１）
前記エッジ制御画像が、入力された原画像から、所定より細かいエッジを削除した画像である付記２０記載の画像拡大プログラム。

（付記２２）
前記エッジ制御画像を得る際、モルフォロジカルフィルタ、メジアンフィルタ、中央荷重メジアンフィルタ、荷重メジアンフィルタ、最大値フィルタ、最小値フィルタなどの非線形フィルタで入力画像を処理する付記２０又は２１記載の画像拡大プログラム。

（付記２３）
前記フィルタを決定するステップにて、前記劣化画像の各小領域の特性値が閾値未満の場合に、強調処理をしない或いは強調処理を抑制したフィルタに決定する付記９から１１の何れかに記載の画像拡大プログラム。

（付記２４）
前記強調フィルタを決定するステップにて、フィルタ係数により強調の度合いが変わる複数の前記強調フィルタのフィルタ係数の分配を変えて、前記劣化画像の各小領域についてフィルタ処理を行った結果を求め、前記フィルタ決定部が、この結果に基づいて各小領域に使用する強調フィルタを決定する付記９に記載の画像拡大プログラム。

劣化画像・入力画像・拡大画像の説明図強調処理の説明図画像拡大装置の概略構成図実施形態１の拡大方法の説明図エッジ強度と強調フィルタの対応関係を示す図フィルタ選択の説明図強調フィルタのフィルタ係数の説明図実施形態２の拡大方法の説明図実施形態３の拡大方法の説明図実施形態４の拡大方法の説明図非線形フィルタの説明図実施形態４の変形例の説明図実施形態５の拡大方法の説明図実施形態６の拡大方法の説明図

符号の説明

１画像拡大装置
１２演算処理部
１３記憶部
１４入出力部

Claims

入力された原画像に基づいて劣化画像を得る劣化部と、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するフィルタ決定部と、
前記フィルタ決定部で決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得る強調部と、
前記画像を補間して拡大画像を得る拡大部と、
を有する画像拡大装置。
前記劣化部が、入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求め、該エッジ制御画像に基づいて劣化画像を得る請求項１に記載の画像拡大装置。
入力された原画像に基づいて劣化画像を得るステップと、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するステップと、
前記ステップで決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得るステップと、
前記画像を補間して拡大画像を得るステップと、
をコンピュータにて実行する画像拡大方法。
前記入力された原画像に基づいて所定より細かいエッジを制御したエッジ制御画像を求めたのち、該エッジ制御画像に基づいて劣化画像を得る請求項３に記載の画像拡大方法。
入力された原画像に基づいて劣化画像を得るステップと、
少なくとも前記劣化画像を用いて、前記原画像の小領域毎の強調フィルタを決定するステップと、
前記ステップで決定したフィルタを前記小領域毎に適用してフィルタ処理を行い、強調画像を得るステップと、
前記画像を補間して拡大画像を得るステップと、
をコンピュータに実行させる画像拡大プログラム。