JP2007108900A - 画像処理装置 - Google Patents

Abstract

【課題】画像のパターンに応じた適切な画像処理を実現しうる画像処理装置を提供することを目的とする。
【解決手段】入力画像を構成する各画素を被判定画素とし、前記被判定画素と前記被判定画素の周辺画素とから成る画素ブロックの画素データを受けて前記画素ブロック内の被判定画像パターンと予め定められた基準画像パターンとの一致または不一致を前記被判定画素ごとに判定するパターン判定回路７を備え、各被判定画素が斜線を構成する画素であるかなどを判定する。そして、各被判定画素についてのパターン判定回路７による判定結果に応じ、各被判定画素に対応する画素データに対して施す演算内容を可変とする。
【選択図】図１

Description

本発明は、入力画像の画像処理を行う画像処理装置に関する。

携帯電話機や携帯ゲーム機など、小型の表示画面を持つ携帯機器が普及している。通常は携帯機器の表示画面上で画像を閲覧するといった個人での使用となるが、画像データをテレビなどの画像表示装置に出力し、画像を大画面に表示することにより多人数で見て楽しむといった使い方も可能となっている。

小型の表示画面では精細に見える画像もテレビなどの大きな画面に出力する場合は、解像度が充分ではなく、特にゲーム画面や文字などのドット単位で描かれた画像では斜線部のジャギーが目立つことも多い。

画像を滑らかにする処理として、加重平均フィルタによる平滑化処理が一般的に知られている。また、画像の高解像度化が可能である場合は、下記特許文献１のように画素間に中間色の画素を補間したり、下記特許文献２のように画素間を線形補間したりする方法などが考えられている。

携帯機器の液晶表示部などに対する画像では、通常、水平方向と垂直方向のデータ密度（画素密度）は同じである。一方で、テレビなどで使用されているＮＴＳＣ（National Television Standards Committee）の規格では、垂直方向に対して水平方向のデータ密度が倍となっている。このため、携帯機器用の画像をテレビにて表示するという用途においては水平方向の補間による平滑化処理が可能になり、このような用途に対して下記特許文献１及び２のような技術が提案されている。

しかしながら、上記の従来技術では画面全体に均一な処理が施されてしまうため、パターンによっては境界部が過度にぼやけてしまい、鮮明度が失われる場合が多い。例えば、小さいパターン（図形）や文字、縦横線に対して他の部分と同じ均一の処理を施してしまうと、境界部がぼけて画像のメリハリがなくなってしまう。この点に鑑み、下記特許文献３では、画像の隣接画素の相互関係を考慮して処理することで鮮明度を改善する方法を提案している。特許文献３では、隣接画素の縦横斜めの各差を求め、その大きさに基づいて平滑化するかどうかを決めている。

特開平３−１４１７８８号公報 特開平４−１４１７８７号公報 特開平６−３２６８６８号公報

上述したように、画面全体に均一な処理を施してしまうと、画像内の全ての境界部が滑らかになってしまうため、鮮明度が低下し、画像全体がぼやけた感じに見えてしまう。特に、小さな図形や文字が見にくくなったり、縦横線が不鮮明になったりするなどの弊害が生じる。また、特許文献１及び２にて採用されている補完による平滑化処理は、高解像度化を前提としているため、解像度を変更しない等倍表示の場合には適用できない、といった問題がある。

また、特許文献３の手法を用いた場合、小さなパターンや文字に対しては平滑化は適用されないため鮮明度は保たれる。しかしながら、その逆の作用として、それら（小さなパターン等）を構成する斜線部も平滑化されないことになるため、画質の改善効果は不十分である。

本発明は、上記の点に鑑み、画像のパターンに応じた適切な画像処理を実現しうる画像処理装置を提供することを目的とする。

上記目的を達成するために本発明に係る画像処理装置は、演算手段を用いて入力画像の画像処理を行う画像処理装置であって、前記入力画像を構成する各画素を被判定画素とし、前記被判定画素と前記被判定画素の周辺画素とから成る画素ブロックの画素データを受けて前記画素ブロック内の被判定画像パターンと予め定められた基準画像パターンとの一致または不一致を前記被判定画素ごとに判定するパターン判定手段を、備え、前記演算手段は、各被判定画素についての前記パターン判定手段による判定結果に応じ、各被判定画素に対応する画素データに対して施す演算内容を可変とすることを特徴とする。

上記構成によれば、画素ごとに周辺画素を考慮した最適な画像処理を行うことが可能となる。適切な基準画像パターンを用意すれば、例えば、斜線部を滑らかにしつつ小さいパターンや文字、縦横線を鮮明に保つといった画像処理が可能となる。また、被判定画像パターンと予め定められた基準画像パターンとの一致／不一致を判定するという簡素な判定処理によって、各画素データに対して施す演算内容を決定しているので、処理が高速であり且つ小規模で構成できる。

例えば、前記パターン判定手段は、前記被判定画素ごとに、前記被判定画像パターンと前記基準画像パターンとの一致または不一致を判定することにより前記被判定画素が斜線を構成する画素であるか否かを判定し、前記演算手段は、前記パターン判定手段によって斜線を構成する画素であると判定された被判定画素に対応する画素データに対して、平滑化演算を施す。

これにより、斜線部が平滑化されて滑らかに表現される。

また、具体的には例えば、前記演算手段は、各被判定画素を被演算画素として取り扱い、各被判定画素についての前記パターン判定手段による判定結果に応じた演算を各被判定画素に対応する前記被演算画素の画素データに対して施して、該演算後の各画素データを出力し、当該画像処理装置は、前記演算手段の出力データにて構成される出力画像データを出力する出力画像データ作成手段を更に備えている。

そして例えば、前記演算手段は、前記被判定画素ごとに、前記パターン判定手段による判定結果に応じた加重平均係数の組を予め用意された複数の加重平均係数の組の中から選択する係数選択手段と、選択された前記組の加重平均係数に従って、前記被判定画素に対応する前記被演算画素の画素データに、周辺画素を考慮した加重平均演算を施す加重平均演算手段と、を備えている。

これにより、１組の加重平均演算手段にて、画像のパターンに応じた様々な演算の使い分け（平滑化や鮮鋭化等）が可能となる。

また例えば、当該画像処理装置は、入力画像に対して出力画像の特定方向の画素数をｍ倍（ｍは２以上の整数）して出力するものであり、前記特定方向は水平方向又は垂直方向であり、前記入力画像の前記特定方向の各画素間に（ｍ−１）個の補間画素を補間することにより、前記入力画像の前記特定方向の画素数をｍ倍して出力する画素数変換手段を更に備え、前記演算手段は、前記画素数のｍ倍後の各画素を被演算画素として取り扱い、各被判定画素についての前記パターン判定手段による判定結果に応じた演算を各被判定画素に対応する前記被演算画素の画素データに対して施して、該演算後の各画素データを出力し、当該画像処理装置は、前記演算手段の出力データにて構成される、前記入力画像の前記特定方向の画素数がｍ倍された出力画像データを出力する出力画像データ作成手段を更に備えている。

また例えば、当該画像処理装置は、入力画像に対して出力画像の水平方向及び垂直方向の画素数を、夫々ｍ倍及びｎ倍（ｍ及びｎは２以上の整数）して出力するものであり、前記入力画像の水平方向の各画素間に（ｍ−１）個の補間画素を補間し且つ前記入力画像の垂直方向の各画素間に（ｎ−１）個の補間画素を補間することにより、前記入力画像の水平方向及び垂直方向の画素数を、夫々ｍ倍及びｎ倍して出力する画素数変換手段を更に備え、前記演算手段は、前記画素数のｍ倍及びｎ倍後の各画素を被演算画素として取り扱い、各被判定画素についての前記パターン判定手段による判定結果に応じた演算を各被判定画素に対応する前記被演算画素の画素データに対して施して、該演算後の各画素データを出力し、当該画像処理装置は、前記演算手段の出力データにて構成される、前記入力画像の水平方向及び垂直方向の画素数が夫々ｍ倍及びｎ倍された出力画像データを出力する出力画像データ作成手段を更に備えている。

上記のように構成すれば、水平方向や垂直方向のデータ密度を増大させて表示する場合でも、画像のパターンに応じた最適な画像処理を行うことが可能となる。例えば、補間された部分を滑らかに描写するといったことが可能となり、また更に、小さいパターンや文字、縦横線の鮮明さを保ちつつ斜線部が滑らかにされた拡大画像を得る、といったことが可能となる。

そして、これらの場合にも例えば、前記演算手段は、前記被判定画素ごとに、前記パターン判定手段による判定結果に応じた加重平均係数の組を予め用意された複数の加重平均係数の組の中から選択する係数選択手段と、選択された前記組の加重平均係数に従って、前記被判定画素に対応する前記被演算画素の画素データに、周辺画素を考慮した加重平均演算を施す加重平均演算手段と、を備えている。

また具体的には例えば、前記周辺画素は、前記被判定画素に隣接する４つの画素を含み、その４つの画素を第１、第２、第３及び第４周辺画素とした場合、第１周辺画素と第４周辺画素を結ぶ直線及び第２周辺画素と第３周辺画素を結ぶ直線は、それぞれ画像の水平方向及び垂直方向に平行であり、前記パターン判定手段は、前記被判定画素ごとに、前記被判定画素の色と第１〜第４周辺画素の色の夫々との一致、近似又は非近似を少なくとも判定することにより、前記被判定画像パターンと前記基準画像パターンとの一致または不一致を判定する。

また例えば、前記基準画像パターンには、前記被判定画素の色と第１〜第４周辺画素の色の全てとが非近似である点画像パターンと、前記被判定画素の色と第１及び第４周辺画素の色が一致もしくは近似しているか、または、前記被判定画素の色と第２及び第３周辺画素の色が一致もしくは近似している水平線／垂直線画像パターンと、前記被判定画素の色と第１〜第４周辺画素の色の内の何れか１つのみが一致又は近似している端部画像パターンの、何れかまたは全てが含まれている。

そして例えば、前記基準画像パターンには、前記点画像パターンと前記水平線／垂直線画像パターンと前記端部画像パターンとが全て含まれており、前記演算手段は、前記パターン判定手段によって、前記被判定画像パターンが前記点画像パターン、前記水平線／垂直線画像パターン及び前記端部画像パターンの全てと不一致であると判定された被判定画素に対応する画素データに対して第１の平滑化演算を実行するとよい。

これにより、斜線部とも捉えることができる部分の画像を選択的に滑らかにすることができる。

更に例えば、前記演算手段は、前記パターン判定手段によって、前記被判定画像パターンが前記点画像パターン、前記水平線／垂直線画像パターン及び前記端部画像パターンの何れかと一致すると判定された被判定画素に対応する画素データに対して、平滑化演算の実行を禁止するか、或いは、前記第１の平滑化演算よりも平滑化の程度が小さい平滑化演算を実行するようにしてもよい。

これにより、線などに対する過度の平滑化が抑制され、メリハリのある画像を得ることが可能となる。

上述した通り、本発明に係る画像処理装置によれば、画像のパターンに応じた適切な画像処理の実現が可能となる。例えば、画像処理後の画像をテレビ等の大画面に表示した場合でも、ジャギーの目立たない、メリハリのある視覚的に表示品位の高い画像を描写することが可能となる。

＜＜第１実施形態＞＞
以下、本発明の実施の形態に係る画像処理システムについて図面を参照して具体的に説明する。図１は、第１実施形態に係る画像処理システム（画像表示用変換システム）１のブロック構成図である。

画像処理システム１は、与えられた入力画像データを格納し、後段に対するデータの入力タイミング調整を行うための入力画像データ用メモリ２と、画像データの出力タイミング調整を行うための出力画像データ用メモリ３と、出力画像データ用メモリ３から出力される画像データをテレビ等の表示装置用の信号に変換するＮＴＳＣ（National Television Standards Committee）エンコーダ４と、画像平滑化フィルタ回路５と、を有して構成される。

画像平滑化フィルタ回路５は、縦３画素×横３画素（後述する画素ブロック）の加重平均演算用の画素データを一時的に格納する演算用データ保持回路６と、パターン判定回路７と、係数選択回路８と、加重平均演算回路９と、を有して構成される。

入力画像データ用メモリ２は、携帯電話機や携帯型コンピュータ、携帯型ゲーム機等の携帯機器（不図示）から出力された、画像処理システム１への入力画像を表す画像データを入力画像データとして受ける。或いは、画像処理システム１全体が携帯機器に内蔵され、入力画像データ用メモリ２は、その携帯機器内の図示されない演算回路やメモリから出力された画像データを入力画像データとして受ける。

入力画像データによって表される画像（入力画像）は、マトリクス状に配置された複数の画素によって構成される。入力画像データによって表される画像は、縦方向（垂直方向）に３２０画素、横方向（水平方向）に２４０画素の合計３２０×２４０個の画素Ｐ［ｐ、ｑ］によって構成されており（ｐは０〜３１９の整数、ｑは０〜２３９の整数）、入力画像データは各画素Ｐ［ｐ、ｑ］の輝度及び色（色相）を特定する合計３２０×２４０個の画素データによって構成されている。勿論、本発明において、縦方向や横方向の画素数は、３２０や２４０に限定されない。

各画素データによって、各画素における赤成分の強度を示すＲ信号値、緑成分の強度を示すＧ信号値、及び青成分の強度を示すＢ信号値が特定される。各画素データにおいて、Ｒ信号値が増加すればするほど赤成分の強度が増加し、Ｇ信号値が増加すればするほど緑成分の強度が増加し、Ｂ信号値が増加すればするほど青成分の強度が増加するものとする。

画像平滑化フィルタ回路５は、各画素の画素データに対して、周辺画素の画素データを考慮した演算を施す。その演算を行うために必要な３ライン分の入力画像データが与えられるまで、入力画像データは入力画像データ用メモリ２に書き込まれて保持される。入力画像データ用メモリ２に保持された画素データ（画像データ）は、演算用データ保持回路６に順次供給される。

演算用データ保持回路６は、１つの画素（例えば、画素Ｐ［５０、１００］）を中心とする９画素分の画素データを一時的に保持し、それらの９画素分の画素データを出力する。その出力後、演算用データ保持回路６は、他の画素（例えば、画素Ｐ［５０、１０１］）を中心とする９画素分の画素データを一時的に保持し、それらの９画素分の画素データを出力する。

このように、演算用データ保持回路６は、各画素Ｐ［ｐ、ｑ］を中心とする９画素分の画素データを一時的に保持し、各画素Ｐ［ｐ、ｑ］についての９画素分の画素データを、順次、出力する。

上記の９画素の配置を図２に示す。着目した画素をＰ５で表した場合、画素Ｐ５の左側、右側、上側及び下側に隣接する画素を、夫々周辺画素Ｐ２、Ｐ８、Ｐ４及びＰ６と呼び、周辺画素Ｐ２の上側及び下側に隣接する画素を、夫々周辺画素Ｐ１及びＰ３と呼び、周辺画素Ｐ８の上側及び下側に隣接する画素を、夫々周辺画素Ｐ７及びＰ９と呼ぶ。そして、画素Ｐ５と周辺画素Ｐ１〜Ｐ４及びＰ６〜Ｐ９とから成る９つの画素を画素ブロックと呼ぶ。尚、周辺画素Ｐ１〜Ｐ４及びＰ６〜Ｐ９を、以下、単に画素Ｐ１〜Ｐ４及びＰ６〜Ｐ９と呼ぶこともある。

画素Ｐ５を中心として考えた場合における左右方向及び上下方向は、それぞれ、画像の水平方向（横方向）及び垂直方向（縦方向）に一致しているものとする。

パターン判定回路７は、演算用データ保持回路６から順次出力される上記の９画素分の画素データ（画素ブロックを構成する画素Ｐ１〜Ｐ９の画素データ）を受け、各画素Ｐ［ｐ、ｑ］が斜線を構成する画素であるか否かを画素ごとに判定する。この判定の対象となる各画素Ｐ［ｐ、ｑ］を被判定画素と呼ぶことする。

演算用データ保持回路６から出力される画素Ｐ［ｐ、ｑ］についての９画素分の画素データは、画素Ｐ［ｐ、ｑ］を画素Ｐ５（被判定画素Ｐ５）とする画素ブロックの画素Ｐ１〜Ｐ９の画素データと一致する。

パターン判定回路７による上記判定を実現するためのパターン判定回路７の一構成例を図３に示す。

図３に示す如く、パターン判定回路７は、点判定回路１０と、水平線／垂直線判定回路１１と、端部判定回路（鋭角頂点判定回路）１２と、点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２の各出力信号を３つの入力端子にて受ける斜線判定回路１３を有して構成される。斜線判定回路１３は３入力のＮＯＲ回路から構成される。

パターン判定回路７は、被判定画素が鮮鋭さを保つべき「点」、「水平線／垂直線」または「端部（鋭角頂点）」を構成するかを、点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２によって判定し、その何れにも該当しない被判定画素を斜線を構成する画素と判定する。斜線を構成すると判定された被判定画素の画素データは、係数選択回路８と加重平均演算回路９とからなる演算手段によって平滑化される。

或る１つの被判定画素（例えば、画素Ｐ［５０、１００］）について着目し、図４〜図６を用いて点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２の動作を説明する。上述の如く、着目した被判定画素をＰ５で表し、その周辺画素をＰ１〜Ｐ４及びＰ６〜Ｐ９で表す。

点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２は、夫々、被判定画素Ｐ５の画素データによって特定される被判定画素Ｐ５の色が、周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の画素データによって特定される周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の色の夫々と一致しているか、或いは近似しているか、或いは非近似であるかを判定する。点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２の各判定において、他の周辺画素（Ｐ１、Ｐ３、Ｐ７及びＰ９）の色は考慮されない。

被判定画素Ｐ５の色と周辺画素Ｐ２の色との関係を判定する場合を例にとって、色の一致、近似及び非近似について説明する。勿論、被判定画素Ｐ５の色と他の周辺画素との色との間でも同様の判定が行われる。

被判定画素Ｐ５の画素データによって特定されるＲ信号値、Ｇ信号値及びＢ信号値と、周辺画素Ｐ２の画素データによって特定されるＲ信号値、Ｇ信号値及びＢ信号値とが全て一致する場合、被判定画素Ｐ５の色と周辺画素Ｐ２の色は一致していると判断される。

被判定画素Ｐ５の色と周辺画素Ｐ２の色が一致していない場合において、被判定画素Ｐ５の画素データによって特定されるＲ信号値と周辺画素Ｐ２の画素データによって特定されるＲ信号値との差分、被判定画素Ｐ５の画素データによって特定されるＧ信号値と周辺画素Ｐ２の画素データによって特定されるＧ信号値との差分、及び被判定画素Ｐ５の画素データによって特定されるＢ信号値と周辺画素Ｐ２の画素データによって特定されるＢ信号値との差分の３つの差分を考える。被判定画素Ｐ５の色と周辺画素Ｐ２の色が一致していない場合において、それらの３つの差分の全てが所定の判定閾値以下ならば被判定画素Ｐ５の色と周辺画素Ｐ２の色は近似していると判断され、３つの差分の少なくとも１つが上記判定閾値を超えていれば被判定画素Ｐ５の色と周辺画素Ｐ２の色は非近似であると判断される。

例えば、各画素データによって特定されるＲ信号値、Ｇ信号値及びＢ信号値が、夫々、８ビットのデジタル値（０〜２５５）で表現されるとし、被判定画素Ｐ５の画素データによって特定されるＲ信号値、Ｇ信号値及びＢ信号値が夫々１００、１２０及び５０である場合を考える。更に、上記の判定閾値が「３」であるとする。

この場合において、周辺画素Ｐ２のＲ信号値、Ｇ信号値、Ｂ信号値が夫々１００、１２０及び５０であるとき、被判定画素Ｐ５の色と周辺画素Ｐ２の色は一致していると判断される。また、周辺画素Ｐ２のＲ信号値、Ｇ信号値、Ｂ信号値が夫々１０２、１１８及び５０であるとき、被判定画素Ｐ５の色と周辺画素Ｐ２の色は近似していると判断される。また、周辺画素Ｐ２のＲ信号値、Ｇ信号値、Ｂ信号値が夫々１０４、１２０及び５０であるとき、被判定画素Ｐ５の色と周辺画素Ｐ２の色は非近似であると判断される。

点判定回路１０は、被判定画素Ｐ５の色と周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の色の全てとが非近似となっている場合にのみ、被判定画素Ｐ５が「点」を構成する画素であると判断して「１」を表すデジタル信号（例えば、ハイレベルの信号）を出力し、それ以外の場合に「０」を表すデジタル信号（例えば、ローレベルの信号）を出力する。

被判定画素Ｐ５の色と周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の色の全てとが非近似となっている場合、画素Ｐ１〜Ｐ９の画素データによって特定される画素ブロック内の画像パターン（以下、「被判定画像パターン」という）は、例えば図４に示す如く、被判定画素Ｐ５の色が黒で、周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の色が白となっている。このように、点判定回路１０は、被判定画素Ｐ５の色と周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の色の全てとが非近似となる点画像パターン（図４）と被判定画像パターンとの一致または不一致を判定して、一致の場合に「１」を表すデジタル信号を出力し、不一致の場合に「０」を表すデジタル信号を出力する。

水平線／垂直線判定回路１１は、図５（ａ）に示す如く、被判定画素Ｐ５の色と被判定画素Ｐ５に水平方向にて隣接する周辺画素Ｐ２及びＰ８の色とが一致または近似している場合に、被判定画素Ｐ５が「水平線」を構成する画素であると判断して「１」を表すデジタル信号を出力する。被判定画素Ｐ５が「水平線」を構成する画素であるか否かを判定するに当たり、周辺画素Ｐ４及びＰ６の色は考慮されない。

また、水平線／垂直線判定回路１１は、図５（ｂ）に示す如く、被判定画素Ｐ５の色と被判定画素Ｐ５に垂直方向にて隣接する周辺画素Ｐ４及びＰ６の色とが一致または近似している場合に、被判定画素Ｐ５が「垂直線」を構成する画素であると判断して「１」を表すデジタル信号を出力する。被判定画素Ｐ５が「垂直線」を構成する画素であるか否かを判定するに当たり、周辺画素Ｐ２及びＰ８の色は考慮されない。

被判定画素Ｐ５が「水平線」を構成する画素であるとも「垂直線」を構成する画素であるとも判断されない場合、水平線／垂直線判定回路１１は、「０」を表すデジタル信号を出力する。

このように、水平線／垂直線判定回路１１は、被判定画素Ｐ５が水平線或いは垂直線を構成することに対応する水平線／垂直線画像パターン（図５（ａ）又は（ｂ））と被判定画像パターンとの一致または不一致を判定して、一致の場合に「１」を表すデジタル信号を出力し、不一致の場合に「０」を表すデジタル信号を出力する。

端部判定回路１２は、４つの周辺画素Ｐ２、Ｐ４、Ｐ６及びＰ８の色の内の何れか１つのみが被判定画素Ｐ５の色と一致または近似している場合に、被判定画素Ｐ５が「端部（鋭角頂点）」を構成する画素であると判断して「１」を表すデジタル信号を出力し、それ以外の場合には「０」を表すデジタル信号を出力する。

具体的には、図６（ａ）に示す如く被判定画素Ｐ５の色と周辺画素Ｐ２の色が一致若しくは近似しており且つ被判定画素Ｐ５の色と周辺画素Ｐ４、Ｐ６及びＰ８の色が非近似である場合、或いは、図６（ｂ）に示す如く被判定画素Ｐ５の色と周辺画素Ｐ４の色が一致若しくは近似しており且つ被判定画素Ｐ５の色と周辺画素Ｐ２、Ｐ６及びＰ８の色が非近似である場合、或いは、図６（ｃ）に示す如く被判定画素Ｐ５の色と周辺画素Ｐ６の色が一致若しくは近似しており且つ被判定画素Ｐ５の色と周辺画素Ｐ２、Ｐ４及びＰ８の色が非近似である場合、或いは、図６（ｄ）に示す如く被判定画素Ｐ５の色と周辺画素Ｐ８の色が一致若しくは近似しており且つ被判定画素Ｐ５の色と周辺画素Ｐ２、Ｐ４及びＰ６の色が非近似である場合に「１」を表すデジタル信号を出力し、それ以外の場合には「０」を表すデジタル信号を出力する。

このように、端部判定回路１２は、被判定画素Ｐ５が端部を構成することに対応する端部画像パターン（図６（ａ）、（ｂ）、（ｃ）又は（ｄ））と被判定画像パターンとの一致または不一致を判定して、一致の場合に「１」を表すデジタル信号を出力し、不一致の場合に「０」を表すデジタル信号を出力する。

上記の点画像パターン、水平線／垂直線画像パターン及び端部画像パターンは、全て、被判定画像パターンとの比較に供される基準画像パターンとなっており、それらの基準画像パターンに関する情報はパターン判定回路７内に格納されている。

斜線判定回路１３は、点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２からの出力信号が全て「０」である場合、着目した被判定画素Ｐ５が斜線を構成する画素であると判定し、「１」のデジタル信号を出力する。一方、点判定回路１０、水平線／垂直線判定回路１１及び端部判定回路１２からの出力信号の少なくとも１つが「１」である場合、着目した被判定画素Ｐ５が斜線を構成する画素ではないと判定し、「０」のデジタル信号を出力する。

このように、パターン判定回路７では、被判定画素の色とそれを囲む４つの周辺画素の色とを比較し、その比較結果の単純な判別を行うことで斜線判別を行っている。

パターン判定回路７による被判定画像パターンと基準画像パターンとの一致／不一致の判定は、各画素Ｐ［ｐ、ｑ］を被判定画素として被判定画素ごとに行われ、その判定結果（斜線判定回路１３の出力信号）は、順次、係数選択回路８に送られる。

係数選択回路（加重平均係数選択回路）８は、加重平均演算回路９にて使用される加重平均係数の組を複数組保持しており、パターン判定回路７による判定結果（斜線判定回路１３の出力信号）に応じて、加重平均演算回路９が実際に使用する加重平均係数の組を選択して加重平均演算回路９に供給する。

加重平均演算回路９は、各画素Ｐ［ｐ、ｑ］を加重平均演算の対象となる被演算画素として取り扱い、演算用データ保持回路６から順次出力される上記の９画素分の画素データと係数選択回路８から供給される加重平均係数の組を用いて、各被演算画素の画素データに対して加重平均演算を実行する。

本実施形態においては、被判定画素と被演算画素は一致する。具体的には例えば、画素Ｐ［５０、１００］を被判定画素とするパターン判定回路７による判定結果に応じて選択された加重平均係数の組を用いて、加重平均演算回路９は、被演算画素としての画素Ｐ［５０、１００］の画素データに対して加重平均演算を施し、その加重平均演算後の画素データを画素Ｐ［５０、１００］に対応する出力用画素データとして出力する。

つまり、変数ｐ及びｑを用いて一般化すると、画素Ｐ［ｐ、ｑ］を被判定画素とするパターン判定回路７による判定結果に応じて選択された加重平均係数の組を用いて、加重平均演算回路９は、被演算画素としての画素Ｐ［ｐ、ｑ］の画素データに対して加重平均演算を施し、その加重平均演算後の画素データを画素Ｐ［ｐ、ｑ］に対応する出力用画素データとして出力する。各画素Ｐ［ｐ、ｑ］に対応する各出力用画素データは、順次、加重平均演算回路９から出力画像データ用メモリ３に出力される。

図７に、加重平均演算回路９の内部構成の一例を示す。図７の加重平均演算回路９は、３×３の加重平均演算を施す回路となっている。係数選択回路８から出力される加重平均係数の組は、画素Ｐ１〜Ｐ９に対応する９つの加重平均係数Ｋ１〜Ｋ９を含んでいる。被演算画素をＰ５とした場合における画素Ｐ１〜Ｐ９の画素データを、夫々Ｄ１〜Ｄ９とする。画素データＤ１〜Ｄ９の配置例を図８（ａ）のように表した場合、加重平均係数Ｋ１〜Ｋ９の配置例は図８（ｂ）のようになる。つまり、画素データＤ１〜Ｄ９は、夫々、加重平均係数Ｋ１〜Ｋ９と掛け合わされることになる。

乗算回路１４、１５、１６、・・・、２２は、夫々、加重平均係数Ｋ１と画素データＤ１との積、加重平均係数Ｋ２と画素データＤ２との積、加重平均係数Ｋ３と画素データＤ３との積、・・・、加重平均係数Ｋ９と画素データＤ９との積を算出して出力する。加算回路２３、２４、２５、２６は、夫々、乗算回路１４及び１５の出力値の和、乗算回路１６及び１７の出力値の和、乗算回路１８及び１９の出力値の和、乗算回路２０及び２１の出力値の和を算出して出力する。

加算回路２７、２８は、夫々、加算回路２３及び２４の出力値の和、加算回路２５及び２６の出力値の和を算出して出力する。加算回路２９は、加算回路２７及び２８の出力値の和を算出して出力する。加算回路３０は、加算回路２９及び乗算回路２２の出力値の和を算出し、その算出値を出力用画素データとして出力する。

被演算画素Ｐ５の画素データＤ５に対する出力用画素データをＹ（Ｐ５）とした場合、Ｙ（Ｐ５）は、下記式（１）によって表されることになる。

Ｙ（Ｐ５）＝（Ｋ１×Ｄ１）＋（Ｋ２×Ｄ２）＋（Ｋ３×Ｄ３）＋（Ｋ４×Ｄ４）＋（Ｋ５×Ｄ５）＋（Ｋ６×Ｄ６）＋（Ｋ７×Ｄ７）＋（Ｋ８×Ｄ８）＋（Ｋ９×Ｄ９）
・・・（１）
加重平均係数Ｋ１〜Ｋ９の数値の組み合わせを適切に設定することにより、画像への効果として平滑化（ソフトネス）効果や鮮鋭化（シャープネス）効果が得られ、また、平滑化や鮮鋭化の程度を調節することが可能である。被演算画素以外の画素に対応する加重平均係数を正の値にすれば（但しゼロを含んでいてもよい）平滑化効果が得られ、負の値にすれば（但しゼロを含んでいてもよい）鮮鋭化効果が得られる。

具体的には例えば、加重平均係数Ｋ１〜Ｋ９の比を、図９（ａ）に示す如く、
Ｋ１：Ｋ２：Ｋ３：Ｋ４：Ｋ５：Ｋ６：Ｋ７：Ｋ８：Ｋ９＝０：１：０：１：４：１：０：１：０
、とすれば、被演算画素Ｐ５の画像が平滑化される。このような、画像を平滑化させる加重平均係数Ｋ１〜Ｋ９の組を、以下「平滑化用係数組」という。

一方、加重平均係数Ｋ１〜Ｋ９の比を、図９（ｂ）に示す如く、
Ｋ１：Ｋ２：Ｋ３：Ｋ４：Ｋ５：Ｋ６：Ｋ７：Ｋ８：Ｋ９＝０：−１：０：−１：１０：−１：０：−１：０
、とすれば、被演算画素Ｐ５の画像が鮮鋭化される。このような、画像を鮮鋭化させる加重平均係数Ｋ１〜Ｋ９の組を、以下「鮮鋭化用係数組」という。

また、加重平均係数Ｋ１〜Ｋ９の比を、図９（ｃ）に示す如く、
Ｋ１：Ｋ２：Ｋ３：Ｋ４：Ｋ５：Ｋ６：Ｋ７：Ｋ８：Ｋ９＝０：０：０：０：１：０：０：０：０
、とすれば、被演算画素Ｐ５の画像はオリジナルのままとなる。即ち、出力用画素データＹ（Ｐ５）は、被演算画素の画素データＤ５と同じとなる。このような、画像をオリジナルのままに維持する加重平均係数Ｋ１〜Ｋ９の組を、以下「非処理用係数組」という。尚、加重平均係数Ｋ１〜Ｋ９の総和は、常に１とされる。

そして例えば、斜線判定回路１３の出力が「１」となり、パターン判定回路７によって斜線を構成する画素であると判定された被判定画素（被演算画素）に対しては、平滑化用係数組が選択され、平滑化演算が施される。一方、斜線判定回路１３の出力が「０」となり、パターン判定回路７によって斜線を構成する画素ではないと判定された被判定画素（被演算画素）に対しては、非処理用係数組が選択される。即ち、平滑化演算の実行が禁止される。

出力画像データ用メモリ３は、加重平均演算回路９から出力される出力用画素データを次々と受け、後段のＮＴＳＣエンコーダ４へのデータ出力タイミングの調整を図りながら画像処理システム１から出力されるべき出力画像を表す出力画像データを出力する。

図１０に示すオリジナルの入力画像に対して一般的な加重平均フィルタを用いた場合の出力画像は、例えば図１１のようになり、境界部等が過度に平滑化されてしまう。一方、図１０に示すオリジナルの入力画像に対して、パターン判定を適用した加重平均フィルタを用いた場合の出力画像（画像処理システム１の出力画像）は、例えば図１２のようになる。図１２に示すように、本実施形態に係る画像処理システム１では、解像度を変えることなく、小さいパターンや文字、縦横線は鮮明に描写されており、且つ斜線部は平滑化されている。このため、テレビなどの大画面に表示した際に、ジャギーの目立たない、メリハリのある視覚的に表示品位の高い画像を描写することが可能となる。尚、図１０中の符号６０及び図１２中の符号６１については、後述する。

また、上述の説明では、処理内容の単純化のため、パターン判定回路７における処理が斜線か否かの２択の判定となっているが、「点」の場合と、「垂直線／水平線」の場合と、「端部（鋭角頂点）」の場合と、「斜線」の場合とで、加重平均係数Ｋ１〜Ｋ９の組を互いに変えるようにしてもよい。

例えば、図１３に示す如く、点判定回路１０の出力、水平線／垂直線判定回路１１の出力、端部判定回路１２の出力、及び斜線判定回路１３の出力が、独立に取り出されて係数選択回路８に供給されるように、パターン判定回路７（及び係数選択回路８）を変形する。

そして、例えば、斜線判定回路１３の出力が「１」となり、斜線を構成する画素であると判定された被判定画素（被演算画素）に対して、係数選択回路８は、第１の平滑化用係数組を選択する。これにより、その画素の画像は平滑化される。また例えば、点判定回路１０の出力が「１」となり、点を構成する画素であると判定された被判定画素（被演算画素）に対しては、係数選択回路８は鮮鋭化用係数組を選択する。これにより、その画素の画像は鮮鋭化される。

また例えば、水平線／垂直線判定回路１１の出力が「１」となり、水平線または垂直線を構成する画素であると判定された被判定画素（被演算画素）に対しては、係数選択回路８は、第２の平滑化用係数組を選択する。これにより、その画素の画像は平滑化される。また例えば、端部判定回路１２の出力が「１」となり、端部を構成する画素であると判定された被判定画素（被演算画素）に対しては、係数選択回路８は、非処理用係数組を選択する。これにより、その画素の画像はオリジナルのままとなる。

上記の第１の平滑化用係数組と第２の平滑化用係数組は、共に画像を平滑化させる加重平均係数Ｋ１〜Ｋ９の組であるが、水平線または垂直線に対する過度の平滑化を防止すべく、第２の平滑化用係数組を用いた場合における平滑化の程度を、第１の平滑化用係数組におけるそれよりも小さくすると良い。

具体的には例えば、第１の平滑化用係数組における加重平均係数Ｋ１〜Ｋ９の比を、図９（ａ）に示す如く、
Ｋ１：Ｋ２：Ｋ３：Ｋ４：Ｋ５：Ｋ６：Ｋ７：Ｋ８：Ｋ９＝０：１：０：１：４：１：０：１：０
、とした場合、第２の平滑化用係数組における加重平均係数Ｋ１〜Ｋ９の比を、
Ｋ１：Ｋ２：Ｋ３：Ｋ４：Ｋ５：Ｋ６：Ｋ７：Ｋ８：Ｋ９＝０：１：０：１：８：１：０：１：０
とする。

このように、被判定画素（被演算画素）を含む画素ブロックの画像パターンを詳細に判別し、その判別の結果に応じて平滑化や鮮鋭化、更にはそれらの程度を使い分けることにより、出力画像の最適化を図ることも可能である。また、加重平均演算に用いる加重平均係数の組を、予め用意された複数の組から選択するという構成を採用しているため、係数の組さえ必要な分用意しておけば、加重平均演算を行う１組の演算回路（加重平均演算回路９）にて平滑化、鮮鋭化等を含めた様々な演算の使い分けが容易に実現できる。

また、点を構成する画素であると判定された被判定画素（被演算画素）に対して平滑化用係数組または非処理用係数組を選択することも可能であるし、水平線または垂直線を構成する画素であると判定された被判定画素（被演算画素）に対して鮮鋭化用係数組または非処理用係数組を選択することも可能であるし、端部を構成する画素であると判定された被判定画素（被演算画素）に対して平滑化用係数組または鮮鋭化用係数組を選択することも可能である。

また、回路規模の最小化を優先し、被判定画素と被判定画素の上下左右の４点を用いてパターン判定を行う例を示したが、被判定画素を中心として囲む８画素（図２のＰ１〜Ｐ４及びＰ６〜Ｐ９）の画素データの全てを利用してパターン判定を行ったり、被判定画素を中心として囲む、５×５の領域中の２５画素の画素データを利用してパターン判定を行ったりすることも可能である。パターン判定に用いる周辺画素の総数を増加させることにより、より高度な判定が可能となり、視覚的に品質の高い出力画像を得ることが可能となる。

例えば、図１０の符号６０の部分の画素は、図３のパターン判定回路７によって点、水平線、垂直線及び端部の何れをも構成しない画素（即ち、斜線を構成する画素）であると判定される。このため、符号６０の部分の画素の画素データには平滑化演算が施され、出力画像において、その部分は中間色となる（図１２の符号６１の部分を参照）。仮に、その部分が中間色となることを避けたいのなら、例えば、被判定画素を中心として囲む８画素（図２のＰ１〜Ｐ４及びＰ６〜Ｐ９）の画素データの全てを利用してパターン判定を行うようにすればよい。勿論、５×５の領域中の２５画素の画素データを利用してパターン判定を行っても、上記の中間色の出現を回避することは可能である。

尚、入力画像の端の画素（例えば、画素Ｐ［０，０］）に対しては、隣接する画素が不足しているため画素ブロックは定義されない。このため、例えば、入力画像の端の画素の画素データは、そのまま出力用画素データとして出力画像データ用メモリ３に与えられる。

＜＜第２実施形態＞＞
次に、本発明に係る画像処理システムの出力画像をテレビに表示する場合を想定した、本発明の第２実施形態について説明する。第２実施形態は第１実施形態を変形したものである。図１４は、第２実施形態に係る画像処理システム（画像表示用変換システム）１ａのブロック構成図である。図１４において、図１と同一の部分には同一の符号を付してある。

図１４の画像処理システム１ａでは、演算用データ保持回路６と加重平均演算回路９との間に画素数変換回路（画像データ変換回路）４０が挿入されている。画素数変換回路４０は、画像平滑化フィルタ５ａに含まれる。この画素数変換回路４０が挿入されている点を除いて、図１の画像処理システム１と図１４の画像処理システム１ａは同じ構成となっている。但し、図１４においては、画素数変換回路４０の追加に伴い、画像平滑化フィルタ回路を表す符合が図１における「５」から「５ａ」に置換されている。

画像処理システム１ａへの入力画像データは、水平方向と垂直方向のデータ密度（画素密度）が同じとなっている。画像処理システム１ａは、水平方向のデータ密度（画素密度）を垂直方向に対して倍にした出力画像データをテレビに出力する。つまり、例えば、画像処理システム１ａは、画像処理システム１ａへの入力画像が縦方向（垂直方向）に３２０画素、横方向（水平方向）に２４０画素の合計３２０×２４０個の画素Ｐ［ｐ、ｑ］によって構成されている場合に、縦方向（垂直方向）に３２０画素、横方向（水平方向）に４８０画素の合計３２０×４８０個の画素によって構成された出力画像を出力する。

演算用データ保持回路６から順次出力される各画素Ｐ［ｐ，ｑ］についての画素ブロック内の画素データを、第１実施形態の図８（ａ）と同じく、画素データＤ１〜Ｄ９として説明する。演算用データ保持回路６は、各画素Ｐ［ｐ，ｑ］を画素Ｐ５とする画素データＤ１〜Ｄ９をパターン判定回路７と画素数変換回路４０に対して供給する。

画素数変換回路４０は、演算用データ保持回路６からの画素Ｐ１〜Ｐ９の画素データＤ１〜Ｄ９を、図１５（ａ）及び（ｂ）に示すような、画素Ｐ１_A、Ｐ１_B、Ｐ２_A、Ｐ２_B、Ｐ３_A、Ｐ３_B、・・・、Ｐ９_A及びＰ９_Bの画素データＤ１、Ｄ１、Ｄ２、Ｄ２、Ｄ３、Ｄ３、・・・、Ｄ９及びＤ９に変換する。

画素Ｐ１_A、Ｐ２_A、Ｐ３_A、Ｐ４_A、Ｐ５_A、Ｐ６_A、Ｐ７_A、Ｐ８_A及びＰ９_Aは、それぞれ画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８及びＰ９と等しいと考えることができる。Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_B、Ｐ５_B、Ｐ６_Bは、それぞれ画素Ｐ１とＰ４、画素Ｐ２とＰ５、画素Ｐ３とＰ６、画素Ｐ４とＰ７、画素Ｐ５とＰ８、画素Ｐ６とＰ９の間に補間された補間画素であると考えることできる。Ｐ７_B、Ｐ８_B、Ｐ９_Bは、画素Ｐ７と画素Ｐ７の右側に隣接する画素との間、画素Ｐ８と画素Ｐ８の右側に隣接する画素との間、画素Ｐ９と画素Ｐ９の右側に隣接する画素との間、に補間された補間画素であると考えることできる。

画素Ｐ１_A、Ｐ１_B、Ｐ２_A、Ｐ２_B、Ｐ３_A、Ｐ３_B、・・・、Ｐ９_A及びＰ９_Bの画素データは、夫々、Ｄ１、Ｄ１、Ｄ２、Ｄ２、Ｄ３、Ｄ３、・・・、Ｄ９及びＤ９とされる。つまり、水平方向に同じデータを２つ並べる。

画素数変換回路４０の変換によって得られた合計１８個の画素（Ｐ１_A等）の画素データ（Ｄ１等）は、加重平均演算回路９に供給される。このように、画素数変換回路４０は、画像の水平方向の画素数を２倍にして出力することになる。

加重平均演算回路９は、画素Ｐ５_A及びＰ５_Bを加重平均演算の対象である被演算画素として取り扱う。画素Ｐ５_Aの画素データＤ５に対する加重平均演算を行う際には、画素Ｐ５_Aを中心とする９つの画素Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_A、Ｐ５_A、Ｐ６_A、Ｐ４_B、Ｐ５_B及びＰ６_Bの画素データ、即ち、画素データＤ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ４、Ｄ５及びＤ６が用いられる。

このため、画素Ｐ５_Aの画素データＤ５に対する加重平均演算を行う際、図７の乗算回路１４〜２２の一方の入力には、夫々、画素データＤ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ４、Ｄ５及びＤ６が入力される。画素Ｐ５_Aの画素データＤ５に対する出力用画素データをＹ（Ｐ５_A）とした場合、Ｙ（Ｐ５_A）は、下記式（２）によって表されることになる。

Ｙ（Ｐ５_A）＝（Ｋ１×Ｄ１）＋（Ｋ２×Ｄ２）＋（Ｋ３×Ｄ３）＋（Ｋ４×Ｄ４）＋（Ｋ５×Ｄ５）＋（Ｋ６×Ｄ６）＋（Ｋ７×Ｄ４）＋（Ｋ８×Ｄ５）＋（Ｋ９×Ｄ６）
・・・（２）
画素Ｐ５_Bの画素データＤ５に対する加重平均演算を行う際には、画素Ｐ５_Bを中心とする９つの画素Ｐ４_A、Ｐ５_A、Ｐ６_A、Ｐ４_B、Ｐ５_B、Ｐ６_B、Ｐ７_A、Ｐ８_A及びＰ９_Aの画素データ、即ち、画素データＤ４、Ｄ５、Ｄ６、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８及びＤ９が用いられる。

このため、画素Ｐ５_Bの画素データＤ５に対する加重平均演算を行う際、図７の乗算回路１４〜２２の一方の入力には、夫々、画素データＤ４、Ｄ５、Ｄ６、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８及びＤ９が入力される。画素Ｐ５_Bの画素データＤ５に対する出力用画素データをＹ（Ｐ５_B）とした場合、Ｙ（Ｐ５_B）は、下記式（３）によって表されることになる。

Ｙ（Ｐ５_A）＝（Ｋ１×Ｄ４）＋（Ｋ２×Ｄ５）＋（Ｋ３×Ｄ６）＋（Ｋ４×Ｄ４）＋（Ｋ５×Ｄ５）＋（Ｋ６×Ｄ６）＋（Ｋ７×Ｄ７）＋（Ｋ８×Ｄ８）＋（Ｋ９×Ｄ９）
・・・（３）
パターン判定回路７による判定は、第１実施形態と同様、オリジナルの画素データを用いて行われ、その判定結果は、画素Ｐ５_A及びＰ５_Bの双方に適用される。

即ち、例えば、加重平均演算回路９は、画素Ｐ［５０、１００］を画素Ｐ５とする画素ブロックの画素データＤ１〜Ｄ９から生成された合計１８個の画素（Ｐ１_A等）の画素データ（Ｄ１等）を受けたとき、画素Ｐ［５０、１００］の画素データを自身の画素データとする画素Ｐ５_A及びＰ５_Bの双方に対して、画素Ｐ［５０、１００］を被判定画素として選択された加重平均係数の組を適用し、加重平均演算を行う。画素Ｐ［５０、１００］以外の画素Ｐ［ｐ、ｑ］についても同様である。

このように、加重平均演算回路９は、各被判定画素Ｐ５についてのパターン判定回路７による判定結果に応じた加重平均演算を各被判定画素Ｐ５に対応する被演算画素Ｐ５_A及びＰ５_Bの画素データに対して施す。

加重平均演算回路９にて算出された各出力用画素データは、順次、出力画像データ用メモリ３に出力される。出力画像データ用メモリ３は、加重平均演算回路９から出力される出力用画素データを次々と受け、後段のＮＴＳＣエンコーダ４へのデータ出力タイミングの調整を図りながら画像処理システム１ａから出力されるべき出力画像を表す出力画像データを出力する。上述の説明から明らかなように、この出力画像データによって表される出力画像の水平方向の画素数は、入力画像のそれの２倍になっている。

図１０に示すオリジナルの入力画像に対して、従来技術のように入力画像の全面に加重平均処理を行った場合における出力画像及び水平方向の各画素間を中間色で補間した場合における出力画像を夫々図１６及び図１７に示す。図１０に示すオリジナルの入力画像に対する、本実施形態の画像処理システム１ａの出力画像を、図１８に示す。全面に加重平均処理を行った場合（図１６）に比べて、本実施形態の出力画像は点や縦横線が鮮明に描写されていることが分かる。また、中間色補間の場合（図１７）と比較しても、本実施形態の出力画像では、小さいパターンや文字、縦横線が鮮明であり、且つ斜線部についても滑らかに表現されている。

尚、入力画像に対して、出力画像の水平方向の画素数を２倍にする例を挙げたが、水平方向の画素数が３倍、４倍、５倍、・・・になるように変形することも可能である。水平方向の画素数を例えば３倍にする場合を、変形例１として考える。

変形例１では、図１９（ａ）に示す如く、Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_B、Ｐ５_B、Ｐ６_B、Ｐ７_B、Ｐ８_B及びＰ９_Bの夫々の右側に隣接して画素Ｐ１_C、Ｐ２_C、Ｐ３_C、Ｐ４_C、Ｐ５_C、Ｐ６_C、Ｐ７_C、Ｐ８_C及びＰ９_Cが画素数変換回路４０において更に補間される。

また、図１９（ｂ）に示す如く、画素Ｐ１_C、Ｐ２_C、Ｐ３_C、Ｐ４_C、Ｐ５_C、Ｐ６_C、Ｐ７_C、Ｐ８_C及びＰ９_Cの画素データも、Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_B、Ｐ５_B、Ｐ６_B、Ｐ７_B、Ｐ８_B及びＰ９_Bの画素データと同じく、夫々、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８及びＤ９とされる。

そして、画素Ｐ５_A、Ｐ５_B及びＰ５_Cが被演算画素として取り扱われ、上述の同様の演算にて画素Ｐ５_A、Ｐ５_B及びＰ５_Cについての出力用画素データＹ（Ｐ５_A）、Ｙ（Ｐ５_B）及びＹ（Ｐ５_C）が算出される。この場合、例えば、Ｙ（Ｐ５_A）は下記式（４）によって表され、Ｙ（Ｐ５_B）は下記式（５）によって表されることになる。

Ｙ（Ｐ５_A）＝（Ｋ１×Ｄ１）＋（Ｋ２×Ｄ２）＋（Ｋ３×Ｄ３）＋（Ｋ４×Ｄ４）＋（Ｋ５×Ｄ５）＋（Ｋ６×Ｄ６）＋（Ｋ７×Ｄ４）＋（Ｋ８×Ｄ６）＋（Ｋ９×Ｄ６）
・・・（４）
Ｙ（Ｐ５_B）＝（Ｋ１×Ｄ４）＋（Ｋ２×Ｄ５）＋（Ｋ３×Ｄ６）＋（Ｋ４×Ｄ４）＋（Ｋ５×Ｄ５）＋（Ｋ６×Ｄ６）＋（Ｋ７×Ｄ４）＋（Ｋ８×Ｄ６）＋（Ｋ９×Ｄ６）
・・・（５）
変形例１においても、パターン判定回路７による判定は、第１実施形態と同様、オリジナルの画素データを用いて行われ、その判定結果は、画素Ｐ５_A、Ｐ５_B及びＰ５_Cの全てに適用される。

また、上述の画素数拡大の手法を垂直方向に適用することも可能である。つまり、入力画像に対して、出力画像の垂直方向の画素数が２倍（或いは３倍以上）となるように変形することも、勿論、可能である。

また更に、上述の画素数拡大の手法を水平方向と垂直方向の双方に対して適用することも可能である。即ち、入力画像に対して、出力画像の水平方向の画素数をｍ倍（ｍは２以上の整数）とし且つ垂直方向の画素数をｎ倍（ｎは２以上の整数）とすることも可能である。例えば、ｍ＝ｎ＝２の場合を、変形例２として考える。尚、ｍとｎは同じ数値であってもよいし、異なる数値であってもよい。

変形例２では、図２０（ａ）に示す如く、Ｐ１_A、Ｐ２_A、Ｐ３_A、Ｐ４_A、Ｐ５_A、Ｐ６_A、Ｐ７_A、Ｐ８_A及びＰ９_Aの夫々の下側に隣接した画素Ｐ１_C、Ｐ２_C、Ｐ３_C、Ｐ４_C、Ｐ５_C、Ｐ６_C、Ｐ７_C、Ｐ８_C及びＰ９_Cと、Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_B、Ｐ５_B、Ｐ６_B、Ｐ７_B、Ｐ８_B及びＰ９_Bの夫々の下側に隣接した画素Ｐ１_D、Ｐ２_D、Ｐ３_D、Ｐ４_D、Ｐ５_D、Ｐ６_D、Ｐ７_D、Ｐ８_D及びＰ９_Dとが、画素数変換回路４０において更に補間される。

また、図２０（ｂ）に示す如く、画素Ｐ１_C、Ｐ２_C、Ｐ３_C、Ｐ４_C、Ｐ５_C、Ｐ６_C、Ｐ７_C、Ｐ８_C及びＰ９_Cの画素データも、Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_B、Ｐ５_B、Ｐ６_B、Ｐ７_B、Ｐ８_B及びＰ９_Bの画素データと同じく、夫々、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８及びＤ９とされ、且つ、画素Ｐ１_D、Ｐ２_D、Ｐ３_D、Ｐ４_D、Ｐ５_D、Ｐ６_D、Ｐ７_D、Ｐ８_D及びＰ９_Dの画素データも、夫々、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７、Ｄ８及びＤ９とされる。

そして、画素Ｐ５_A、Ｐ５_B、Ｐ５_C及びＰ５_Dが被演算画素として取り扱われ、上述の同様の演算にて画素Ｐ５_A、Ｐ５_B、Ｐ５_C及びＰ５_Dについての出力用画素データＹ（Ｐ５_A）、Ｙ（Ｐ５_B）、Ｙ（Ｐ５_C）及びＹ（Ｐ５_D）が算出される。この場合、例えば、Ｙ（Ｐ５_A）は下記式（６）によって表されることになる。

Ｙ（Ｐ５_A）＝（Ｋ１×Ｄ１）＋（Ｋ２×Ｄ２）＋（Ｋ３×Ｄ２）＋（Ｋ４×Ｄ４）＋（Ｋ５×Ｄ５）＋（Ｋ６×Ｄ５）＋（Ｋ７×Ｄ４）＋（Ｋ８×Ｄ５）＋（Ｋ９×Ｄ５）
・・・（６）
変形例２においても、パターン判定回路７による判定は、第１実施形態と同様、オリジナルの画素データを用いて行われ、その判定結果は、画素Ｐ５_A、Ｐ５_B、Ｐ５_C及びＰ５_Dの全てに適用される。

即ち、例えば、加重平均演算回路９は、画素Ｐ［５０、１００］を画素Ｐ５とする画素ブロックの画素データＤ１〜Ｄ９から生成された６×６の合計３６個の画素（Ｐ１_A等）の画素データ（Ｄ１等）を受けたとき、画素Ｐ［５０、１００］の画素データを自身の画素データとする画素Ｐ５_A、Ｐ５_B、Ｐ５_C及びＰ５_Dの全てに対して、画素Ｐ［５０、１００］を被判定画素として選択された加重平均係数の組を適用し、加重平均演算を行う。画素Ｐ［５０、１００］以外の画素Ｐ［ｐ、ｑ］についても同様である。

このように、加重平均演算回路９は、各被判定画素Ｐ５についてのパターン判定回路７による判定結果に応じた加重平均演算を各被判定画素Ｐ５に対応するＰ５_A、Ｐ５_B、Ｐ５_C及びＰ５_Dの画素データに対して施す。

出力画像データ用メモリ３は、画像処理システム１ａから出力されるべき出力画像を表す出力画像データを出力する。変形例２では、この出力画像データによって表される出力画像の水平方向の画素数は入力画像のそれの２倍になっており、且つ垂直方向の画素数も入力画像のそれの２倍になっている。

例えば、縦３２０×横２４０の画素から成る表示画面を有する携帯機器用の画像データを、縦６４０×横４８０の画素から成る表示画面を有する携帯機器等に表示させる場合に、変形例２を適用すればよい。変形例２を適用すれば、小さいパターンや文字、縦横線の鮮明さを保ちつつ斜線部が滑らかにされた拡大画像を得る、といったことが可能になる。

＜＜変形等＞＞
図１及び図１４における画像平滑化フィルタ回路５及び５ａは、例えば１チップの集積回路で構成される。この集積回路内に、入力画像データ用メモリ２、出力画像データ用メモリ３、ＮＴＳＣエンコーダ４のいずれか又は全てを任意に組み込むこともできる。また、画像平滑化フィルタ回路５及び５ａ等をハードウェアのロジック回路にて形成することを想定しているが、それらをソフトウェア（プログラム）によって構成するようにしてもよい。

画像平滑化フィルタ回路５及び５ａは、入力画像の画像処理を行う画像処理装置を構成している。この画像処理装置に、更に、入力画像データ用メモリ２、出力画像データ用メモリ３、ＮＴＳＣエンコーダ４のいずれか又は全てが含まれていると考えてもよい。

出力画像を表す出力画像データは、出力画像データ用メモリ３から出力されると上述したが、ＮＴＳＣエンコーダ４の出力データも出力画像を表す出力画像データというべきものである。従って、上述の各実施形態において、出力画像データを出力する出力画像データ作成手段は、出力画像データ用メモリ３及び／又はＮＴＳＣエンコーダ４によって構成されているといえる。

本発明は、携帯電話機や携帯型コンピュータ、携帯型ゲーム機等の携帯機器に好適であり、該携帯機器を含むあらゆる電気機器に好適である。

本発明の第１実施形態に係る画像処理システムのブロック構成図である。 各画素について定義される３×３の画素ブロック内の画素配列を示す図である。 図１のパターン判定回路の内部構成を示す図である。 図３の点判定回路の処理を説明するための図である。 図３の水平線／垂直線判定回路の処理を説明するための図である。 図３の端部判定回路の処理を説明するための図である。 図１の加重平均演算回路の内部構成を示す図である。 図１の加重平均演算回路への入力データを説明するための図である。 図１の係数選択回路にて選択される加重平均係数の数値例を示す図である。 図１の画像処理システムに与えられる入力画像の一例を示す図である。 図１０の入力画像に対して一般的な加重平均フィルタを用いた場合の出力画像を表す図である。 図１０の入力画像に対する、図１の画像処理システムの出力画像例を表す図である。 図１のパターン判定回路の内部構成の変形例を示す図である。 本発明の第２実施形態に係る画像処理システムのブロック構成図である。 図１４の画素数変換回路による画素数変換後の画素配列（ａ）と画素データ（ｂ）を表す図である。 図１０の入力画像に対して全面に加重平均処理を行った場合の出力画像を表す図である。 図１０の入力画像に対して中間色による補間を行った場合の出力画像を表す図である。 図１０の入力画像に対する、図１４の画像処理システムの出力画像例を表す図である。 図１４の画像処理システムの変形例１を説明するための図であって、図１４の画素数変換回路による画素数変換後の画素配列（ａ）と画素データ（ｂ）を表す図である。 図１４の画像処理システムの変形例２を説明するための図であって、図１４の画素数変換回路による画素数変換後の画素配列（ａ）と画素データ（ｂ）を表す図である。

符号の説明

１、１ａ 画像処理システム
２ 入力画像データ用メモリ
３ 出力画像データ用メモリ
４ ＮＴＳＣエンコーダ
５、５ａ 画像平滑化フィルタ回路
６ 演算用データ保持回路
７ パターン判定回路
８ 係数選択回路
９ 加重平均演算回路
１０ 点判定回路
１１ 水平線／垂直線判定回路
１２ 端部判定回路（鋭角頂点判定回路）
１３ 斜線判定回路
４０ 画素数変換回路

Claims (11)

1. 演算手段を用いて入力画像の画像処理を行う画像処理装置であって、
   前記入力画像を構成する各画素を被判定画素とし、前記被判定画素と前記被判定画素の周辺画素とから成る画素ブロックの画素データを受けて前記画素ブロック内の被判定画像パターンと予め定められた基準画像パターンとの一致または不一致を前記被判定画素ごとに判定するパターン判定手段を、備え、
   前記演算手段は、各被判定画素についての前記パターン判定手段による判定結果に応じ、各被判定画素に対応する画素データに対して施す演算内容を可変とする
   ことを特徴とする画像処理装置。
2. 前記パターン判定手段は、前記被判定画素ごとに、前記被判定画像パターンと前記基準画像パターンとの一致または不一致を判定することにより前記被判定画素が斜線を構成する画素であるか否かを判定し、
   前記演算手段は、前記パターン判定手段によって斜線を構成する画素であると判定された被判定画素に対応する画素データに対して、平滑化演算を施す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記演算手段は、各被判定画素を被演算画素として取り扱い、各被判定画素についての前記パターン判定手段による判定結果に応じた演算を各被判定画素に対応する前記被演算画素の画素データに対して施して、該演算後の各画素データを出力し、
   当該画像処理装置は、前記演算手段の出力データにて構成される出力画像データを出力する出力画像データ作成手段を更に備えている
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記演算手段は、
   前記被判定画素ごとに、前記パターン判定手段による判定結果に応じた加重平均係数の組を予め用意された複数の加重平均係数の組の中から選択する係数選択手段と、
   選択された前記組の加重平均係数に従って、前記被判定画素に対応する前記被演算画素の画素データに、周辺画素を考慮した加重平均演算を施す加重平均演算手段と、を備えている
   ことを特徴とする請求項３に記載の画像処理装置。
5. 当該画像処理装置は、入力画像に対して出力画像の特定方向の画素数をｍ倍（ｍは２以上の整数）して出力するものであり、前記特定方向は水平方向又は垂直方向であり、
   前記入力画像の前記特定方向の各画素間に（ｍ−１）個の補間画素を補間することにより、前記入力画像の前記特定方向の画素数をｍ倍して出力する画素数変換手段を更に備え、
   前記演算手段は、前記画素数のｍ倍後の各画素を被演算画素として取り扱い、各被判定画素についての前記パターン判定手段による判定結果に応じた演算を各被判定画素に対応する前記被演算画素の画素データに対して施して、該演算後の各画素データを出力し、
   当該画像処理装置は、前記演算手段の出力データにて構成される、前記入力画像の前記特定方向の画素数がｍ倍された出力画像データを出力する出力画像データ作成手段を更に備えている
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
6. 当該画像処理装置は、入力画像に対して出力画像の水平方向及び垂直方向の画素数を、夫々ｍ倍及びｎ倍（ｍ及びｎは２以上の整数）して出力するものであり、
   前記入力画像の水平方向の各画素間に（ｍ−１）個の補間画素を補間し且つ前記入力画像の垂直方向の各画素間に（ｎ−１）個の補間画素を補間することにより、前記入力画像の水平方向及び垂直方向の画素数を、夫々ｍ倍及びｎ倍して出力する画素数変換手段を更に備え、
   前記演算手段は、前記画素数のｍ倍及びｎ倍後の各画素を被演算画素として取り扱い、各被判定画素についての前記パターン判定手段による判定結果に応じた演算を各被判定画素に対応する前記被演算画素の画素データに対して施して、該演算後の各画素データを出力し、
   当該画像処理装置は、前記演算手段の出力データにて構成される、前記入力画像の水平方向及び垂直方向の画素数が夫々ｍ倍及びｎ倍された出力画像データを出力する出力画像データ作成手段を更に備えている
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
7. 前記演算手段は、
   前記被判定画素ごとに、前記パターン判定手段による判定結果に応じた加重平均係数の組を予め用意された複数の加重平均係数の組の中から選択する係数選択手段と、
   選択された前記組の加重平均係数に従って、前記被判定画素に対応する前記被演算画素の画素データに、周辺画素を考慮した加重平均演算を施す加重平均演算手段と、を備えている
   ことを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記周辺画素は、前記被判定画素に隣接する４つの画素を含み、その４つの画素を第１、第２、第３及び第４周辺画素とした場合、第１周辺画素と第４周辺画素を結ぶ直線及び第２周辺画素と第３周辺画素を結ぶ直線は、それぞれ画像の水平方向及び垂直方向に平行であり、
   前記パターン判定手段は、前記被判定画素ごとに、前記被判定画素の色と第１〜第４周辺画素の色の夫々との一致、近似又は非近似を少なくとも判定することにより、前記被判定画像パターンと前記基準画像パターンとの一致または不一致を判定する
   ことを特徴とする請求項１〜請求項７の何れかに記載の画像処理装置。
9. 前記基準画像パターンには、
   前記被判定画素の色と第１〜第４周辺画素の色の全てとが非近似である点画像パターンと、
   前記被判定画素の色と第１及び第４周辺画素の色が一致もしくは近似しているか、または、前記被判定画素の色と第２及び第３周辺画素の色が一致もしくは近似している水平線／垂直線画像パターンと、
   前記被判定画素の色と第１〜第４周辺画素の色の内の何れか１つのみが一致又は近似している端部画像パターンの、何れかまたは全てが含まれている
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記基準画像パターンには、前記点画像パターンと前記水平線／垂直線画像パターンと前記端部画像パターンとが全て含まれており、
    前記演算手段は、前記パターン判定手段によって、前記被判定画像パターンが前記点画像パターン、前記水平線／垂直線画像パターン及び前記端部画像パターンの全てと不一致であると判定された被判定画素に対応する画素データに対して第１の平滑化演算を実行する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記演算手段は、前記パターン判定手段によって、前記被判定画像パターンが前記点画像パターン、前記水平線／垂直線画像パターン及び前記端部画像パターンの何れかと一致すると判定された被判定画素に対応する画素データに対して、平滑化演算の実行を禁止するか、或いは、前記第１の平滑化演算よりも平滑化の程度が小さい平滑化演算を実行する
    ことを特徴とする請求項１０に記載の画像処理装置。