JP2005308934A - 画像処理方法 - Google Patents

Abstract

【課題】簡単な構成の画素間の補間により、濃度レベルを保ちながらジャギーやボケの少ない高品位な画像を得ることが出来る画像処理方法を提供する。
【解決手段】隣接する２つの画素の一方の画素の中心から前記一方の画素幅の１／２よりも短い位置までを前記一方の画素の濃度レベルに基づいて隣接補間した第１の濃度レベルを出力させ、前記隣接する２つの画素の他方の画素の中心から前記他方の画素幅の１／２よりも短い位置までを前記他方の画素の濃度レベルに基づいて隣接補間した第２の濃度レベルを出力させ、前記一方の画素幅の１／２よりも短い位置と前記他方の画素幅の１／２よりも短い位置との間を前記一方及び他方の濃度レベルに基づいて、線形補間した第３の濃度レベルを出力させるものである。
【選択図】 図１

Description

本発明は、画像における画素間の補間処理を隣接補間と線形補間とにより行う画像処理方法に関するものである。

デジタルカメラやムービーで静止画や動画の被写体を撮像、あるいは、写真をスキャナで撮像、等により得たディジタル画像に、フォントのデータから作成した画像を合成する際には、表示するディジタル画像に合わせた解像度を持つフォント画像を用意するのが理想的である。

しかし、種々の解像度を持つフォントのデータを予め用意して記憶しておくことは、莫大な記憶容量が必要になり、実用的ではない。

そこで、記憶容量の少ない比較的低解像度のフォントのデータを用意しておき、表示するディジタル画像の解像度に応じて、所有するフォントのデータから表示するディジタル画像の解像度に合わせたフォント画像を生成することが一般的である。

このような比較的低解像度のフォントのデータから、表示するディジタル画像の解像度に合わせたフォント画像を生成する解像度変換の方法としては、隣接補間や線形補間が広く知られている。

隣接補間は、補間点から最も近くにある元画像の画素の濃度レベルをそのまま補間の画素の濃度レベルとする最も簡単な方法である。欠点としては、原画像の１点１点が、正方形のタイルとなって敷き詰められたように画像が拡大されるためジャギーが発生する。

次に、線形補間は、補間点の周囲にある画素の濃度レベルの平均値を補間の画素の濃度レベルとする方法である。元画像の画素の隣接間が濃度レベル差の少ない補間点となるため滑らかな補間画像が得られる。欠点としては、画素の平均化により高周波成分が無くなり補間後の画像がボケることである。

この、二つの補間の利点を利用するために、画素間の濃度レベルにより所定の閾値を設定して、所定の閾値より低い濃度レベルであれば線形補間による補間を行い、所定の閾値より大きければ隣接補間による補間を行う画像処理方法及び装置が特許文献１により示されている。

この特許文献１による画像処理装置の構成例を図１０に示す。この画像処理装置は線形補間処理回路１、最隣接補間処理回路２、隣接画素濃度差検出回路３、選択回路４で構成されている。

この従来の画像処理装置の動作例について説明すると、まず、高解像度画像データに変換するために補間しようとする低解像度画像データを、線形補間処理回路１で線形補間し、最隣接補間処理回路２で隣接補間し、それぞれの補間データを選択回路４へ送る。

一方、低解像度画像データは隣接画素濃度差検出回路３に送られ、隣接画素間の濃度レベルが所定の閾値以上か所定の閾値未満であるかを識別する。そして所定の閾値以上であれば最隣接補間処理回路２で隣接補間した補間データにより隣接画素間の補間画素の濃度レベルを設定する。

また、所定の閾値未満であれば線形補間処理回路１で線形補間した補間データにより隣接画素間の補間画素の濃度レベルを設定する。

この様にして、補間前の隣接画素間の補間画素の濃度レベルを、隣接補間か線形補間かのいずれかの補間データにより設定している。
特開平１０−１９１０５８号公報

しかし、画像の解像度変換を行う時に、隣接画素間の濃度レベルによって隣接補間か線形補間のどちらか一方の補間データを選択して用いるのみでは、隣接画素間の濃度レベルが大きいフォント画像の場合はタイル状の画像となってジャギーが目立ち、隣接画素間の濃度レベルが小さい画像の場合は変換前画像に対し濃度レベル差が減少し、しかも輪郭がボケてしまうという問題点がある。特に隣接画素間を補間するための画素数が多くなるほど、ジャギーや輪郭のボケについての改善効果はほとんど無くなると言う問題点がある。

そこで本発明は、上述した問題点を解決して、隣接画素間を補間するための画素数が多くても、画像に応じた最適な濃度レベルを補間画素毎に設定して高品位な画像を得ることが出来る画像処理方法を提供することを目的とする。

上記目的を達成するため、第１の発明の画像変換方法は、予めマトリクス状に配列された複数の画素に入力される画像濃度レベル信号が判明している場合に、画像濃度レベル信号を補間して、高解像度の画像濃度レベル信号に変換する画像処理方法において、前記補間は、隣接する２つの画素の画像濃度レベル信号が所定のレベルよりも大きい場合のみ、前記隣接する２つの画素の一方の画素（例えば図６記載の画素Ｘ１）の中心から前記一方の画素幅の１／２よりも短い位置までを、前記一方の画素の画像濃度レベル信号（例えば図６記載の画素Ｘ１のＶ１＝２５５）に基づいて、隣接補間（Ｓ１３）した第１の画像濃度レベル信号を出力させ、前記隣接する２つの画素の他方の画素（例えば図６記載の画素Ｘ２）の中心から前記他方の画素幅の１／２よりも短い位置までを、前記他方の画素の画像濃度レベル信号（例えば図６記載の画素Ｘ２のＶ２＝０）に基づいて、隣接補間（Ｓ１４）した第２の画像濃度レベル信号を出力させ、前記一方の画素幅の１／２よりも短い位置と前記他方の画素幅の１／２よりも短い位置との間を、前記一方及び他方の画素濃度レベル信号に基づいて、線形補間（Ｓ１５）した第３の画像濃度レベル信号を出力させて、行うことを特徴とする画像処理方法を提供するものである。

本発明の画像処理方法によれば、隣接画素間を補間する画素について、隣接画素間の距離に応じた最適な補間処理を補間画素毎に行うことにより、解像度変換しても、ジャギーや輪郭のボケの少ない、高品位な画像を得ることが出来る。

以下、本発明の実施の最良の形態につき、予めマトリクス状に配列された複数の画素に入力される画像濃度レベル信号が判明している場合に、画像濃度レベル信号を補間して、高解像度の画像濃度レベル信号に変換する画像処理方法において、好ましい実施例により、図面を参照して説明する。

本発明の第１の実施例について以下に説明する。図１はその構成を示すブロック図で、ディジタル画像である背景画像Ｖｉｎに、フォント画像Ｖｆの解像度を変換して得る変換フォント画像Ｖｆ−ｈｖを合成して、合成画像Ｖｍｉｘとして表示する画像変換システム例である。

そして、図１の画像処理システムは、解像度変換処理部５、画像合成部６、表示部７により構成する。

この画像処理システムに構成される解像度変換処理部５は、フォント画像Ｖｆの解像度を背景画像Ｖｉｎの解像度に一致させるために、フォント画像Ｖｆの水平方向と垂直方向の画素間毎に補間画素を有理数倍して生成する。この画素間毎の補間画素を生成する時に、各補間画素の画素濃度レベル信号（以後濃度レベルと略す）を隣接補間と線形補間の２つの補間方法を用いて算出する。

すなわち、水平方向解像度変換処理部１１および垂直方向解像度変換処理部１２を用いて、フォント画像Ｖｆの画素間毎に生成された補間画素の濃度レベルを隣接補間と線形補間の２つの補間方法を用いて算出し、変換フォント画像Ｖｆ−ｈｖとして出力する。

画像合成部６では解像度の同一な背景画像Ｖｉｎと変換フォント画像Ｖｆ−ｈｖとを１つの画像に合成して合成画像Ｖｍｉｘを出力する。

表示部７では、合成画像Ｖｍｉｘを、液晶ディスプレイ、モニター、プロジェクター等の画像表示装置で表示する。他の表示方法として、プリンター等により得られる印刷物としても良い。

次に、図１の画像処理システムの動作例としては、まず、フォント画像Ｖｆを解像度変換処理部１に入力する。そして、図示されていない変換画素数情報に基づき、フォント画像Ｖｆを水平方向解像度変換処理部１１により水平方向の解像度を変換して水平変換画像Ｖｆ−ｈとする。

この解像度の変換は、背景画像Ｖｉｎの解像度に合わせるために、フォント画像の画素数を変換して行う。すなわちフォント画像の画素数を有理数倍して背景画像Ｖｉｎの画素数に一致させる。この様に各画像の画素数を一致させることにより解像度を合わせる。

そして、水平方向に解像度変換した水平変換画像Ｖｆ−ｈを、垂直方向解像度変換処理部１２に入力して垂直方向の解像度を変換し、この結果、水平、垂直両方向に解像度変換した変換フォント画像Ｖｆ−ｈｖを得る。水平方向と垂直方向の解像度変換は順序を入れ替えてもよい。

この解像度変換した変換フォント画像Ｖｆ−ｈｖを背景画像Ｖｉｎと共に画像合成部６に加え、画像合成部６から変換フォント画像Ｖｆ−ｈｖと背景画像Ｖｉｎとの合成画像Ｖｍｉｘを出力し、この合成画像Ｖｍｉｘを表示部３に入力して表示する。

この様にして解像度の異なる背景画像とフォント画像の解像度を同一にして表示すれば解像度の違いによるモワレやビート縞を発生しない高品位な混合画像が得られる。

次に、解像度変換例について説明する。図２に示すように、例えば変換前の元画像としてフォント画像Ｖｆの画素数が水平方向に１２８、垂直方向に１０８となる元データに対し、変換後画像の目標となる背景画像Ｖｉｎの変換データとして、画素数を水平方向に５１２、垂直方向に４３２とする。これは 元画像（以後元データとする）に対しそれぞれの方向に４倍の解像度となるような画像処理例である。

この画像処理例として、まず、水平方向の変換例について説明する。最初に元データの水平方向の任意の１ラインについて４倍の解像度となるよう画素数を増加して補間する。例えば、図３（Ａ）に元データの水平方向１ライン分の座標０，．．，６４，６５，．．１２７を示す。そして、（Ｂ）に示すように０，０．２５，０．５，０．７５，．．．，６４．０，６４．２５，６４．５，６５．７５，．．．のように元データの座標１つに対し解像度を４倍にするときは、元データの座標を４つに分割した変換前座標（Ｘｉ）を有理数で設定する。

そして、この図３（Ｂ）示した元データの座標を４つに分割した変換前座標（Ｘｉ）に対して変換後座標（Ｘｏ）として０，１，２，３，．．．，２５６，２５７，２５８，２５９，．．．と整数にしたものを図３(Ｃ)に示す。この様にして元データの水平方向座標に対応する変換後座標（Ｘｏ）を設定する。

次に、元データの座標に位置する画素の濃度レベルを基にして、変換後座標（Ｘｉ）の画素毎の濃度レベルを設定する例を、図４と図５のフローチャートを用いて説明する。

まず、図４のフローチャートに於いて、ステップＳ１においてフォント画像Ｖｆからなる元画像の水平ライン番号Ｙを０にセットする。次に、ステップＳ２において、水平ライン番号Ｙと入力画像の水平ラインの合計数ＩｎＨとを比較し、水平ライン番号Ｙが水平ラインの合計数ＩｎＨ未満であれば、次の水平ライン処理ステップＳ３に進む。

ここで、水平ライン番号は入力画像の垂直方向座標に、水平ライン数は垂直方向の座標数に一致する。例えば図２において垂直方向座標は０から始まり１０７で終了するから垂直方向座標の合計数は１０８となる。従って、水平ライン番号Ｙは０から始まり１０７で終了し水平ラインの合計数ＩｎＨは１０８である。

水平ライン処理ステップＳ３で最初の水平ラインの処理が終了すると、ステップ４に進み水平ライン番号Ｙに１を加算して次の水平ライン番号に設定し、ステップＳ２を経由してステップＳ３により次の水平ライン番号の水平ライン処理を行う。

以下同様にして水平ライン番号順に水平ライン処理を行いステップＳ４で水平ライン番号Ｙが水平ラインの合計数ＩｎＨに達すれば、次にステップＳ２により全ての水平ラインの処理の終了であるＮｏと判定され水平方向変換処理を終了し待機状態に戻る。

次に、図４におけるステップＳ３における水平ライン処理について図５に示すフローチャートにより説明する。

この水平ライン処理では、まず、ステップＳ５において水平方向変換後座標Ｘ０を初期値０にセットする。次に、閾値ｔｘを所定値の定数として設定する。この定数は画像に応じて図１の表示部７で合成画像Ｖｍｉｘを表示させて最適値を求める。

そして、各水平ラインの水平方向変換後座標の合計数ＯｕｔＷと水平方向の変換後座標ＸｏとをステップＳ７で比較し、この変換後座標Ｘｏが変換後座標の合計数ＯｕｔＷ未満であれば、ステップＳ８に進む。

ステップＳ８では、図３に示すような変換後座標Ｘ０に対応する元画像の変換前座標Ｘｉを求める。まず、元データの水平方向座標の合計数をＩｎＷとすると、解像度変換率はＯｕｔＷ／ＩｎＷで与えられる。今、変換画像の変換後座標Ｘｏに対し、対応するデータの変換前座標Ｘｉは以下の式で与えられる。

Ｘｉ＝Ｘｏ＊ＩｎＷ／ＯｕｔＷ （Ｘｏ＝０，１，２，..., ＯｕｔＷ−１）…（１）

ここで、（１）式におけるＸｉは一般に実数となる。また、解像度変換率ＯｕｔＷ／ＩｎＷは有理数であればよく、特に整数に限定されるものではない。

続く、ステップＳ９において、変換前座標Ｘｉにおける最近傍の２つの整数座標としてＸ１，Ｘ２を求める。

すなわち、Ｘ１，Ｘ２，は以下の式で与えられる。
Ｘ１＝ｆｌｏｏｒ（Ｘｉ） ：Ｘ１はＸｉを越えない最大の整数
Ｘ２＝ｃｅｉｌｉｎｇ（Ｘｉ） ：Ｘ２はＸｉを下回らない最小の整数

ここで用いるｆｌｏｏｒ、ｃｅｉｌｉｎｇは小数点以下を整数に変換する関数とする。
例えば、 ｆｌｏｏｒ（１．５）＝１，ｃｅｉｌｉｎｇ（１．５）＝２
ｆｌｏｏｒ（１．４）＝１，ｃｅｉｌｉｎｇ（１．４）＝２
ｆｌｏｏｒ（−１．４）＝−２，ｃｅｉｌｉｎｇ（−１．４）＝−１
ｆｌｏｏｒ（−１．５）＝−２，ｃｅｉｌｉｎｇ（−１．５）＝−１
である。

更にステップＳ１０においてＸｉとＸ１の差分ｄｘを求める。
ｄｘ＝Ｘｉ−Ｘ１

そして、ステップＳ１１およびステップＳ１２において、ｔｘとｄｘとの関係を以下の内容で判断し、変換後座標Ｘｏの画素の濃度レベルＶｏを以下のようにして求める。
１）ｄｘ＜ｔｘの場合、隣接補間としてステップＳ１３：Ｖｏ＝Ｖ１
２）ｔｘ≦ｄｘ≦（１−ｔｘ）の場合、線形補間としてステップＳ１５：
Ｖｏ＝Ｖ１＋（ｄｘ−ｔｘ）＊（Ｖ２−Ｖ１）／（１−２＊ｔｘ）…（２）
３）（１−ｔｘ）＜ｄｘの場合、隣接補間としてステップＳ１４：Ｖｏ＝Ｖ２

このステップ１３，１４，１５による隣接補間と線形補間による濃度レベルＶｏの算出範囲を図８に詳細に示す。元データ座標Ｘ１の画素の濃度レベルをＶ１、元データ座標Ｘ２の画素の濃度レベルをＶ２とする。

そうすると、座標Ｘ１の近傍ｄｘ＜ｔｘではステップ１３における隣接補間範囲１となり、Ｖｏ＝Ｖ１となる。そして、元データの座標Ｘ２の近傍（１−ｔｘ）＜ｄｘではステップ１４における隣接補間範囲２となり、Ｖｏ＝Ｖ１となる。

そして元データ座標Ｘ１、Ｘ２間の隣接補間範囲１、２を除いたｔｘ≦ｄｘ≦（１−ｔｘ）の範囲がステップ１５における線形補間範囲となりＶｏは(２)式により得られる。

従って、この線形補間と隣接補間の範囲を、変換前座標Ｘｉと元データ座標Ｘ１及びＸ２との距離に閾値ｔｘを設定して、変換前座標Ｘｉの座標位置における画素の最適な濃度レベルを得るものである。この変換前座標Ｘｉを変換後座標Ｘｏに置き換えることにより画像処理を簡単に行うことが出来る。

この図５のフローチャートを用いた演算の計算結果例を図６に示す。これは、変換条件として、変換前座標数ＩｎＷ＝１２８、変換後座標数ＯｕｔＷ＝５１２に設定し、元データ座標を任意の画素Ｘ１，画素Ｘ２に指定し、画素Ｘ１の濃度レベルＶ１を最大値の２５５、画素Ｘ２の濃度レベルＶ２を最小値の０とし隣接画素間の濃度レベル差を最大値の２５５としたものである。閾値ｔｘは隣接画素間距離１に対し１／４とした。

そして、図６（Ｂ）に示すような図５のフローチャートを用いた演算の計算結果を得る。すなわち、図６（Ｃ）で示すように補間画素位置ｄｘが画素Ｘ１の中心からｔｘ以内の距離（ｄｘ＜ｔｘ）にあれば隣接補間により濃度レベルＶ１である最大値２５５となる。

そして、図６（Ｃ）に示すように補間画素位置ｄｘが画素Ｘ２の中心からｔｘ以内の距離（（１−ｔｘ）＜ｄｘ）にあれば、隣接補間により濃度レベルＶ２である最小値０となる。

次に、隣接画素間の中央部分であるｔｘ≦ｄｘ≦（１−ｔｘ）に位置する補間画素については、線形補間を行う。線形補間算出例としては、画素位置ｄｘ毎に（２）式で濃度レベルを算出する。その結果を図６（Ｂ）に濃度レベル１９１、６４の画素で示す。

次に、図５のフローチャートを用いて隣接画素間の濃度レベル差１２８の場合の計算例を説明する。まず、図７（Ａ）に示すように、画素Ｘ１の濃度レベルＶ１を最大値の２５５、画素Ｘ２の濃度レベルＶ２を中間値の１２７とし隣接画素間の濃度レベル差を中間の１２８としたものである。閾値ｔｘは隣接画素間距離１に対し１／４とした。

そして、図７（Ｂ）に示すような図５のフローチャートを用いた演算の計算結果を得る。すなわち、図７（Ｃ）で示すように補間画素位置ｄｘが画素Ｘ１の中心からｔｘ以内の距離（ｄｘ＜ｔｘ）にあれば隣接補間により濃度レベルＶ１である最大値２５５となる。

そして、図７（Ｃ）に示すように補間画素位置ｄｘが画素Ｘ２の中心からｔｘ以内の距離（（１−ｔｘ）＜ｄｘ）にあれば、隣接補間により濃度レベルＶ２である中間値１２７となる。

次に、隣接画素間の中央部分であるｔｘ≦ｄｘ≦（１−ｔｘ）に位置する補間画素については、線形補間を行う。線形補間算出例としては、画素位置ｄｘ毎に（２）式で濃度レベルを算出する。その結果を図７（Ｂ）に濃度レベル２２３、１５９の画素で示す。そして、隣接画素間に濃度レベル差がない場合は、補間を行う必要がなくすべて同一の濃度レベルとなる。

従って、図６、図７に示すように、変換後画像における補間画素座標位置を元画像の画素の座標位置と比較し、元画像の画素座標位置近傍の補間画素であれば隣接補間し、それ以外の座標位置の補間画素については線形補間を行うことにより、変換前の隣接画素間の濃度レベル差を保ちながら、しかも、隣接画素間の濃度レベル差の大小の影響を受けない、最適な補間を行うことが出来るから、高品位な変換後画像が得られる。

そして、閾値ｔｘは、隣接画素間における距離を１とすると、隣接画素間の一方の画素中央からの距離と他方の画素中央からの距離が重ならないように、１／２以下に限定する。この閾値ｔｘを１／４とすると隣接画素間における隣接補間と線形補間の割合が等しくなり、図１に示すようなフォント画像を、濃度レベルを下げずにジャギーやボケを減少させて解像度を変換する場合に適している。また、補間方法を隣接補間に限定する場合はｔｘ＝１／２とし、線形補間に限定する場合はｔｘ＝０とすればよい。このように閾値ｔｘの値により補間方法を選択することも出来る。

本発明に係るアプリケーションとしては、動画にテロップを入れるような例にも適している。特にＢＳ放送、地上波放送等において高画質な動画像と文字・ＣＧ画像等を混合してディスプレイ表示する場合にも十分利用出来る。

本発明に係る解像度変換処理を構成するブロック図を示す図である。 本発明に係る画像処理の座標例を示す図である。 本発明に係る画像処理の水平方向の座標変換例を示す図である。 本発明に係る水平方向変換処理部におけるフローチャートを示す図である。 本発明に係る水平ライン処理のフローチャートを示す図である 本発明に係る濃度レベル差が最大時の計算結果例を示す図である。 本発明に係る濃度レベル差が中間時の計算結果例を示す図である。 従来の解像度変換処理を構成するブロック図を示す図である。

符号の説明

１ 線形補間処理回路
２ 最隣接補間処理回路
３ 隣接画素濃度差検出回路
４ 選択回路
５ 解像度変換処理部
６ 画像合成部
７ 表示部
１１ 水平解像度変換処理部
１２ 垂直方向解像度変換処理部

Claims (1)

1. 予めマトリクス状に配列された複数の画素に入力される画像濃度レベル信号が判明している場合に、画像濃度レベル信号を補間して、高解像度の画像濃度レベル信号に変換する画像処理方法において、
   前記補間は、
   隣接する２つの画素の画像濃度レベル信号が所定のレベルよりも大きい場合のみ、前記隣接する２つの画素の一方の画素の中心から前記一方の画素幅の１／２よりも短い位置までを、前記一方の画素の画像濃度レベル信号に基づいて、隣接補間した第１の画像濃度レベル信号を出力させ、
   前記隣接する２つの画素の他方の画素の中心から前記他方の画素幅の１／２よりも短い位置までを、前記他方の画素の画像濃度レベル信号に基づいて、隣接補間した第２の画像濃度レベル信号を出力させ、
   前記一方の画素幅の１／２よりも短い位置と前記他方の画素幅の１／２よりも短い位置との間を、前記一方及び他方の画素濃度レベル信号に基づいて、線形補間した第３の画像濃度レベル信号を出力させて、
   行うことを特徴とする画像処理方法。
   
   
   

Images