JP2006003420A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】高品質に拡大処理を行うようにする。
【解決手段】 データバッファ３２は、入力された画像データのうち、拡大処理のために必要な注目画素近傍のデータを保持する。データ位置入れ替え部３３は、注目画素近傍データのデータ位置を必要に応じて入れ替える。画素優先順位判定部３４は、データ位置が入れ替えられた注目画素近傍データの各画素に対し、背景色または前景色を判定する。データ選択フラグ判定部３６は、画素優先順位判定部３４から供給された注目画素近傍データのデータ選択フラグを判定する。データ選択部３７は、注目画素位置に当てはめるべき画像データを、データ選択フラグ判定部３６から供給されたデータ選択フラグに基づいて、データ位置入れ替え部３３から供給された注目画素近傍データから選択する。本発明は、OSD装置に適用することができる。
【選択図】図４

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、例えば、表示装置に表示された文字や画像などを、低コストかつ高品質に拡大することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

近年、LCD（Liquid Crystal Display）などの画像表示装置における高解像度化が進み、デジタル画像の拡大処理は、重要なものとなってきている。

ここで、従来のOSD（On Screen Display）装置１に最近傍補間による拡大装置を適用した場合の構成例を図１に示す。

OSD装置１のマイクロコンピュータ１１は、ユーザインターフェース２からの、ユーザの操作に対応する信号（以下、ユーザ操作信号と称する）に基づいて、フォントROM（Read Only Memory）１２およびOSDプレーン用メモリ１３の記憶を制御する。フォントROM１２は、モニタ３に表示させる文字、記号、または図形などのフォントを記憶する。ここで記憶されるフォントには、和文フォント（いわゆる日本語に対応した書体）や欧文フォント（いわゆるアルファベットに対応した書体）など、様々な書体が存在する。OSDプレーン用メモリ１３は、マイクロコンピュータ１１によりフォントROM１２から読み出されたフォントを、OSD表示データとして記憶するとともに、マイクロコンピュータ１１の制御の下、OSD表示データを２×２倍最近傍補間部１４に供給する。２×２倍最近傍補間部１４は、OSDプレーン用メモリ１３から供給されたOSD表示データを、縦２倍および横２倍に拡大し、ミキサ１５に供給する。ミキサ１５は、図示せぬカメラ処理部から供給された映像信号と、２×２倍最近傍補間部１４から供給されたOSD表示データを合成し、モニタ３に表示させる。

図２は、従来のOSD装置１のフォントROM１２に、通常表示用および拡大表示用のフォントを記憶させた場合の構成例を示す図である。なお、図１と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

フォントROM１２は、モニタ３に表示させる文字、記号、または図形などの、通常表示用および拡大表示用のフォントを記憶する。OSDプレーン用メモリ１３は、マイクロコンピュータ１１によりフォントROM１２から読み出されたフォントを、OSD表示データとして記憶するとともに、マイクロコンピュータ１１の制御の下、OSD表示データをミキサ１５に供給する。ミキサ１５は、図示せぬカメラ処理部から供給された映像信号と、OSDプレーン用メモリ１３から供給されたOSD表示データを合成し、モニタ３に表示させる。

以上のように、図１に示したOSD装置１の場合、低コストではあるが、画像品質が大幅に劣化する。図２に示したOSD装置１の場合、画像品質を保つことができるが、大容量のフォントROM１２およびOSDプレーン用メモリ１３が必要になる。

ところで、デジタル化された画像は、デジタルスチルカメラなどの撮像デバイスでキャプチャされた自然画像、および、コンピュータなどで生成されたグラフィックや文字などの人工画像の２つの目的に大きく分類することができる。

自然画像には、双線形補間、Cubic補間などのサンプリング定理を根拠とする補間フィルタによる拡大手法および縮小手法が用いられる。これらの手法により、多値階調を持ち、原理上ノイズが含まれる自然画像に対し、高品質の拡大画像を得ることができる。

これに対し、人工画像に補間フィルタによる拡大手法を用いると、文字などのエッジがなまり、高品質の画像を得ることができない。特に、文字などの２値画像では、エッジなまりに起因するボケが生じる。そこで、人工画像には、これを回避するために、図１に示したような最近傍補間による拡大手法が用いられる。ただし、この手法では、ジャギが視覚上の問題となる。

そこで、人工画像のうち、ノイズの影響を受け難い、少ない階調の画像データ（例えば、文字や図形など）をターゲットとして、高品質に拡大する手法がいくつか提案されている。

例えば、特許文献１においては、基本文字フォントデータから拡大文字を生成し、これを補正する技術が提案されている。また例えば、特許文献２においては、区分的多項式補間を用いて、２値画像をスケーリングする技術が提案されている。また例えば、特許文献３においては、遺伝的アルゴリズムによりフォントを生成する技術が提案されている。また例えば、特許文献４においては、周辺画素の連結状態を認識し、最適な輪郭を推定してリサンプルする技術が提案されている。さらにまた例えば、特許文献５においては、文字や図形を拡大する際のスムージングに関する技術が提案されている。

特開平５−９４１７１号公報 特開平８−６３５９２号公報 特開２００４−４３０２号公報 特開平６−６８２４７号公報 特開平９−３０５７５５号公報

しかしながら、上述した特許文献の技術では、複雑な演算処理が必要となり、処理時間やハードウェア化の際のコスト負担が大きくなる課題があった。

また、いずれの技術も、基本的に、２値のグラフィック画像あるいは多値の場合でも単色のグレースケール画像をターゲットとしており、縁取りや影文字などの文字装飾が施された多値多色のグラフィック画像には対応することができない課題があった。

本発明はこのような状況に鑑みてなされたものであり、表示装置に表示された文字や画像などを、低コスト、かつ、高品質に拡大することができるようにするものである。

本発明の画像処理装置は、画像のうち、注目画素を含む近傍の画素を保持する保持手段と、注目画素を分割する分割手段と、保持手段により保持された各画素に対し、対象色または背景色を判別する判別手段と、判別手段による判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定手段と、判別手段による判別結果に基づいて得られた対象色と背景色の配列パターンと、背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定手段と、第１または第２のパターン判定手段による判定結果に基づいて、分割手段により分割された注目画素に当てはめるべきデータを、近傍の画素の中から選択する選択手段とを備えることを特徴とする。

前記保持手段により保持された注目画素を含む近傍の画素の画素分布を入れ替えるか否かを判定する判定手段と、判定手段による判定結果に基づいて、注目画素を含む近傍の画素の画素分布を入れ替えるデータ入れ替え手段とをさらに設けるようにすることができる。

前記画像は、文字であり、第１および第２のパターンは、それぞれ、文字の種別に応じて決定される階層パターンで構成されているようにすることができる。

前記判別手段は、注目画素と近傍の画素を比較することにより、対象色または背景色を判別するようにすることができる。

本発明の画像処理方法は、画像のうち、注目画素を含む近傍の画素を保持する保持ステップと、注目画素を分割する分割ステップと、保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップと、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップと、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップと、第１または第２のパターン判定ステップの処理による判定結果に基づいて、分割ステップの処理により分割された注目画素に当てはめるべきデータを、近傍の画素の中から選択する選択ステップとを含むことを特徴とする。

本発明の記録媒体に記録されているプログラムは、画像のうち、注目画素を含む近傍の画素を保持する保持ステップと、注目画素を分割する分割ステップと、保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップと、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップと、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップと、第１または第２のパターン判定ステップの処理による判定結果に基づいて、分割ステップの処理により分割された注目画素に当てはめるべきデータを、近傍の画素の中から選択する選択ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明のプログラムは、画像のうち、注目画素を含む近傍の画素を保持する保持ステップと、注目画素を分割する分割ステップと、保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップと、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップと、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップと、第１または第２のパターン判定ステップの処理による判定結果に基づいて、分割ステップの処理により分割された注目画素に当てはめるべきデータを、近傍の画素の中から選択する選択ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明においては、画像のうち注目画素を含む近傍の画素が保持され、注目画素が分割され、保持された各画素に対し、対象色または背景色が判別され、その判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かが判定され、配列パターンと背景色を拡張するための第２のパターンが一致するか否かが判定され、第１または第２の判定結果に基づいて、分割された注目画素に当てはめるべきデータが近傍の画素の中から選択される。

本発明によれば、表示装置に表示された文字や画像などを拡大することができる。特に、回路規模を大きくすることなく、少ない演算処理で、低コストかつ高品質に、表示装置に表示された文字や画像などを拡大することが可能となる。

以下に本発明を実施するための最良の形態を説明するが、明細書中に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている実施の形態に対応するすべての発明が、記載されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている他の発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置（例えば、図３の画像拡大装置２１）は、画像（例えば、図５Ａの画像４１）のうち、注目画素（例えば、図５Ａの注目点４２）を含む近傍の画素（例えば、図５Ｂの縦５個×横５個の画素で構成される領域４３）を保持する保持手段（例えば、図２２のステップＳ１乃至Ｓ４の処理を実行する図４のデータバッファ３２）と、注目画素を分割する分割手段（例えば、図５Ｂに示される注目点４２をＡ乃至Ｄの４つに分割する処理を実行する制御部３１）と、保持手段により保持された各画素に対し、対象色または背景色を判別する判別手段（例えば、図２４のステップＳ３１乃至Ｓ３４の処理を実行する図４の画素優先順位判定部３４）と、判別手段による判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定手段（例えば、図２６のステップＳ５１乃至Ｓ５７の処理を実行する図１２の幅広文字処理部７２）と、判別手段による判別結果に基づいて得られた対象色と背景色の配列パターンと、背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定手段（例えば、図２７のステップＳ６１乃至Ｓ７１の処理を実行する図１２の細文字処理部７３）と、第１または第２のパターン判定手段による判定結果に基づいて、分割手段により分割された注目画素に当てはめるべきデータを、近傍の画素の中から選択する選択手段（例えば、図２８のステップＳ８１乃至Ｓ８９の処理を実行する図４のデータ選択部３７）とを備えることを特徴とする。

請求項２に記載の画像処理装置は、保持手段により保持された注目画素を含む近傍の画素の画素分布を入れ替えるか否かを判定する判定手段（図２３のステップＳ１２、Ｓ１４、Ｓ１６、またはＳ１８の処理を実行する図４のデータ位置入れ替え部３３）と、判定手段による判定結果に基づいて、注目画素を含む近傍の画素の画素分布を入れ替えるデータ入れ替え手段（図２３のステップＳ１５、Ｓ１７、またはＳ１９の処理を実行する図４のデータ位置入れ替え部３３）とをさらに備えることを特徴とする。

請求項３に記載の画像処理装置は、前記画像は、文字（例えば、図５Ａの「３」の文字が表現された画像４１）であり、第１および第２のパターンは、それぞれ、文字の種別（例えば、幅広文字または細文字）に応じて決定される階層パターン（例えば、図１３Ｂ乃至図１３Ｇのパターン８２乃至８７、図１４および図１５のパターン１０１乃至１０８、図１６乃至図１９のパターン１１１乃至１２７、図２０のパターン１３１乃至１３５、並びに、図２１のパターン１４１，１４２）で構成されていることを特徴とする。

請求項５に記載の画像処理方法は、画像（例えば、図５Ａの画像４１）のうち、注目画素（例えば、図５Ａの注目点４２）を含む近傍の画素（例えば、図５Ｂの縦５個×横５個の画素で構成される領域４３）を保持する保持ステップ（例えば、図２２のステップＳ１乃至Ｓ４）と、注目画素を分割する分割ステップ（例えば、図５Ｂに示される注目点４２をＡ乃至Ｄの４つに分割する処理）と、保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップ（例えば、図２４のステップＳ３１乃至Ｓ３４）と、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップ（例えば、図２６のステップＳ５１乃至Ｓ５７）と、判別ステップの処理による判別結果に基づいて得られた対象色と背景色の配列パターンと、背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップ（例えば、図２７のステップＳ６１乃至Ｓ７１）と、第１または第２のパターン判定ステップの処理による判定結果に基づいて、分割ステップの処理により分割された注目画素に当てはめるべきデータを、近傍の画素の中から選択する選択ステップ（例えば、図２８のステップＳ８１乃至Ｓ８９）とを含むことを特徴とする。

なお、請求項６に記載の記録媒体に記録されているプログラム、および請求項７に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項５に記載の画像処理方法と同様である。

以下に、本発明の実施の形態について図面を参照して説明する。

図３は、本発明を適用したOSD装置１の構成例を示す図である。なお、従来と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

OSDプレーン用メモリ１３は、マイクロコンピュータ１１の制御の下、OSD表示データを画像拡大装置２１に供給する。画像拡大装置２１は、OSDプレーン用メモリ１３から供給されたOSD表示データを、後述する処理によって縦２倍および横２倍に拡大し、ミキサ１５に供給する。ミキサ１５は、図示せぬカメラ処理部から供給された映像信号と、画像拡大装置２１から供給されたOSD表示データを合成し、モニタ３に表示させる。

図４は、画像拡大装置２１の内部の構成例を示すブロック図である。

制御部３１は、外部から供給される制御信号、および処理モード制御部３５から供給されるモード制御信号に基づいて、データバッファ３２、データ位置入れ替え部３３、画素優先順位判定部３４、データ選択フラグ判定部３６、およびデータ選択部３７の各動作を制御する。ここで、外部から供給される制御信号は、例えば、垂直同期信号、水平同期信号、およびクロックなどであり、モード制御信号は、例えば、画像の有効位置の範囲を示す値などである。

データバッファ３２は、ラインメモリおよびデータ遅延レジスタなどで構成されており、制御部３１から供給される水平同期信号およびクロックに同期して、OSDプレーン用メモリ１３から供給された入力データ（デジタル化された画像信号）のうち、拡大処理のために必要な注目画素近傍のデータを１画素毎に保持する。この入力データは、データバッファ３２にラスタ順に供給されてもよいし、あるいは、データバッファ３２がランダムアクセスにより取得するようにしてもよい。なお、データバッファ３２で保持されるデータの詳細については、図５を参照して後述する。

データ位置入れ替え部３３は、制御部３１の制御の下、データバッファ３２から供給された注目画素近傍データのデータ位置を必要に応じて入れ替え、データ位置が入れ替えられたデータを入れ替えデータバッファ３３Ａに格納し、画素優先順位判定部３４およびデータ選択部３７に供給する。なお、データ位置入れ替え部３３で行われるデータ位置入れ替え方法の詳細については、図６乃至図１０を参照して後述する。

画素優先順位判定部３４は、データ位置入れ替え部３３から供給された、データ位置が入れ替えられた注目画素近傍データの各画素に対し、背景色であるか、あるいは、前景色（対象色）であるかを判定する。なお、画素優先順位判定部３４の詳細については、図１１を参照して後述する。

処理モード制御部３５は、ユーザインターフェース２からのユーザ操作信号に基づいて、背景判定情報（背景色を一意に決めるための情報）および前景判定情報（前景色を一意に決めるための情報）を変化させて画素優先順位判定部３４に供給したり、または、処理選択情報（幅広文字処理または細文字処理を行うか否かに関する情報や、背景色拡張処理または前景色拡張処理を行うか否かに関する情報など）を変化させてデータ選択フラグ判定部３６に供給する。ただし、処理内容が固定である場合、これらの情報を変化させる必要がないことは言うまでもない。

データ選択フラグ判定部３６は、処理モード制御部３５から供給される処理選択情報に基づいて、画素優先順位判定部３４から供給された判定結果である注目画素近傍データのデータ選択フラグを判定する。なお、データ選択フラグ判定部３６の詳細については、図１２乃至図２１を参照して後述する。

データ選択部３７は、データ選択フラグ判定部３６から供給された判定結果であるデータ選択フラグに基づいて、注目画素位置に当てはめるべき画像データを、データ位置入れ替え部３３から供給された注目画素近傍データから選択し、出力データとしてミキサ１５に出力する。

図５Ａ乃至図５Ｃは、データバッファ３２で保持されるデータを説明する図である。

図５Ａは、データバッファ３２に入力されるデジタル化された画像４１を表わしている。この画像４１は、画素値０（背景色）の画素が白で表され、画素値１（前景色）の画素が黒で表されることで、「３」の文字が表現されている。図５Ｂは、画像４１の注目点（注目画素）４２を中心として、その近傍にある縦５個×横５個の画素で構成される領域４３の拡大図を表わしている。本実施の形態では、注目点４２を４つ（図５Ｂの例では、Ａ乃至Ｄ）に分割することにより、縦２倍および横２倍の拡大処理を行う。

図５Ｃは、拡大処理のために参照する領域４３のデータの各画素に対して、注目点４２からの相対的な位置関係に従って、順番に記号が割り当てられている様子を模式的に示している。注目点４２の「M0C0」の画素から、２つ上の画素は「U2」、１つ上の画素は「U1」、同じ横方向の画素は、「M0」、１つ下の画素は「D1」、２つ下の画素は「D2」という記号が割り当てられている。また、注目点４２の「M0C0」の画素から、２つ左の画素は「L2」、１つ左の画素は「L1」、同じ縦方向の画素は、「C0」、１つ右の画素は「R1」、２つ右の画素は「R2」という記号が割り当てられている。

これにより、注目点４２からの相対的な位置の画素値を表すことができる。なお、本実施の形態では、縦５個×横５個の画素で構成される領域４３のデータを参照する場合について説明するが、これに限らず、例えば、縦３個×横３個、縦７個×横７個、あるいは、それ以上の数の画素で構成される領域のデータを参照するようにしてもよい。

図６は、データ位置入れ替え部３３で行われるデータ位置入れ替え方法の概略を説明する図である。

データ位置入れ替え部３３は、制御部３１から供給されたデータ処理位置情報に基づいて、データバッファ３２から出力された縦５個×横５個の画素で構成される領域４３のデータのデータ位置を入れ替え、データ位置が入れ替えられた、縦５個×横５個の画素で構成される領域５１のデータを入れ替えデータバッファ３３Ａに格納する。同図に示されるように、入れ替えデータバッファ３３Ａに格納されたデータの各画素値は、Ｐ［Ｘ］で表されている。ここで、Ｘは、注目点４２からの相対的な位置を表わしている。

次に、データ位置入れ替え部３３で行われるデータ位置入れ替え方法の詳細について、図７乃至図１０を参照して説明する。なお、縦５個×横５個の領域４３の最上行を第１行、その次の行を第２行、・・・、最下行を第５行、最左列を第１列、その次の列を第２列、・・・最右列を第５列と記載する。

まず、制御部３１は、入力画素サイズに応じた処理ループを作り、縦２倍および横２倍に画素数を増やす拡大ループを作ることにより、図５Ｂに示したように、注目点４２をＡ乃至Ｄの４つに分割する。そして、制御部３１は、縦２個×横２個の画素のうち、どの位置にある画素のデータ処理を行うかを示すデータ処理位置情報を、データ位置入れ替え部３３に供給する。

データ位置入れ替え部３３は、制御部３１から供給されたデータ処理位置情報が、図７Ａに示されるように位置Ａ（基準）を示す場合、図７Ｂに示されるように、領域４３のデータのデータ位置を入れ替えずに、入れ替えデータバッファ３３Ａに格納させる。ここで、領域４３のデータのデータ位置は入れ替えられていないが、入れ替えデータバッファ３３Ａに格納されることで、縦５個×横５個の画素で構成される新たな領域５１のデータとされる。

また、データ位置入れ替え部３３は、制御部３１から供給されたデータ処理位置情報が、図８Ａに示されるように位置Ｂを示す場合、図８Ｂに示されるように、左右（すなわち、横方向）に領域４３のデータのデータ位置を入れ替える。これにより、例えば、領域４３の第１行目が、左から順に、「U2L2」、「U2L1」、「U2CO」、「U2R1」、「U2R2」の画素の順で構成されていたものが、「U2R2」、「U2R1」、「U2CO」、「U2L1」、「U2L2」の画素の順に入れ替えられる。同様に、第２乃至第５行目においても、左右にデータ位置が入れ替えられる。このようにしてデータ位置が入れ替えられた、縦５個×横５個の画素で構成される新たな領域５１のデータが入れ替えデータバッファ３３Ａに格納される。

また、データ位置入れ替え部３３は、制御部３１から供給されたデータ処理位置情報が、図９Ａに示されるように位置Ｃを示す場合、図９Ｂに示されるように、上下（すなわち、縦方向）に領域４３のデータのデータ位置を入れ替える。これにより、例えば、領域４３の第１列目が、上から順に、「U2L2」、「U1L2」、「M0L2」、「D1L2」、「D2L2」の画素の順で構成されていたものが、「D2L2」、「D1L2」、「M0L2」、「U1L2」、「U2L2」の画素の順に入れ替えられる。同様に、第２乃至第５列目においても、上下にデータ位置が入れ替えられる。このようにしてデータ位置が入れ替えられた、縦５個×横５個の画素で構成される新たな領域５１のデータが入れ替えデータバッファ３３Ａに格納される。

さらに、データ位置入れ替え部３３は、制御部３１から供給されたデータ処理位置情報が、図１０Ａに示されるように位置Ｄを示す場合、図１０Ｂに示されるように、左右および上下（すなわち、横方向および縦方向）に領域４３のデータのデータ位置を入れ替える。これにより、例えば、領域４３の第１行目が、左から順に、「U2L2」、「U2L1」、「U2CO」、「U2R1」、「U2R2」の画素の順で構成されていたものが、「D2R2」、「D2R1」、「D2C0」、「D2L1」、「D2L2」の画素の順に入れ替えられる。同様に、第２乃至第５行目においても、左右にデータ位置が入れ替えられるとともに、第２乃至第５列においても、上下にデータ位置が入れ替えられる。このようにしてデータ位置が入れ替えられた、縦５個×横５個の画素で構成される新たな領域５１のデータが入れ替えデータバッファ３３Ａに格納される。

以上のように、注目点４２を縦２倍および横２倍に拡大処理する際、データ位置入れ替え部３３がデータ位置を入れ替えることで、後段（画素優先順位判定部３４以降）では、そのデータ処理位置に関わらず、位置Ａ（図７Ａ）の処理として行うことができる。その結果、後述するパターン判定のパターン数を減らすことができ、演算コストを１／４に削減することができる。

図１１は、画素優先順位判定部３４の詳細な構成例を示すブロック図である。

同図に示されるように、画素優先順位判定部３４は、判定器６１−１乃至６１−２５で構成されており、判定器６１−１乃至６１−２５には、LUT（ルックアップテーブル）６２−１乃至６２−２５がそれぞれ設けられている。LUT６２−１乃至６２−２５には、処理モード制御部３５から供給された背景判定情報および前景判定情報に基づいて、例えば、画素値０（白）が背景色、画素値１（黒）が前景色として、それぞれ設定されている。

判定器６１−１は、データ位置入れ替え部３３から供給される縦５個×横５個の画素で構成される領域５１（図６）のデータのうち、Ｐ［D2L2］の画素のデータを入力し、LUT６２−１に基づいて、その画素値が、背景色であるか、あるいは、前景色であるかを判定する。同様に、判定器６１−２乃至６１−２５は、データ位置入れ替え部３３から供給される縦５個×横５個の画素で構成される領域５１のデータのうち、Ｐ［D2L1］乃至Ｐ［U2R2］の画素のデータをそれぞれ入力し、LUT６２−２乃至６２−２５に基づいて、その画素値が、背景色であるか、あるいは、前景色であるかを判定する。

そして、判定器６１−１乃至６１−２５は、判定結果をＦ［Ｘ］として、データ選択フラグ判定部３６にそれぞれ出力する。ここで、Ｘは、注目点４２からの相対的な位置を表わしている。

図１２は、データ選択フラグ判定部３６の詳細な構成例を示すブロック図である。

文字認識部７１は、処理モード制御部３５から供給される処理選択情報に基づいて、拡大処理すべき文字が、幅広文字であるか、あるいは、細文字であるかを認識する。ここで、「幅広文字」とは、例えば、二画素幅以上の線で構成されるボールドフォントあるいは強調文字とされ、「細文字」とは、例えば、一画素幅の線で構成される文字とされる。拡大処理すべき文字が幅広文字であると認識された場合、画素優先順位判定部３４から供給された判定結果である縦５個×横５個の画素で構成される領域５１のデータが幅広文字処理部７２に供給される。一方、拡大処理すべき文字が細文字であると認識された場合、画素優先順位判定部３４から供給された判定結果である縦５個×横５個の画素で構成される領域５１のデータが細文字処理部７３に供給される。

幅広文字処理部７２は、供給された縦５個×横５個の画素で構成される領域５１のデータのうち、図１３Ａに示されるように、注目点４２、注目点４２の１つ上の画素、注目点４２の１つ斜め左上の画素、および注目点４２の１つ左の画素からなる、縦２個×横２個の画素で構成される領域８１のデータと、図１３Ｂに示されるパターン８２、および、図１３Ｃに示されるパターン８３との一致性を判定する。そして、幅広文字処理部７２は、判定結果に基づいて、さらに、縦５個×横５個の画素で構成される領域５１のデータと図１４乃至図１９の各パターンの一致性を判定し、その判定結果に基づいて、データ選択フラグを設定する（その詳細は、後述する）。ただし、初期時におけるデータ選択フラグは、０に設定されている。

細文字処理部７３は、供給された縦５個×横５個の画素で構成される領域５１のデータのうち、図１３Ａに示されるような、縦２個×横２個の画素で構成される領域８１のデータと、図１３Ｄに示されるパターン８４、図１３Ｅに示されるパターン８５、図１３Ｆに示されるパターン８６、および、図１３Ｇに示されるパターン８７との一致性を判定する。そして、細文字処理部７３は、判定結果に基づいて、さらに、縦５個×横５個の画素で構成される領域５１のデータと図２０および図２１の各パターンの一致性を判定し、その判定結果に基づいて、データ選択フラグを設定する（その詳細は、後述する）。ただし、初期時におけるデータ選択フラグは、０に設定されている。

なお、図１３Ａ乃至図１３Ｇにおいて、前景色（画素値１）の画素は黒で表されており、背景色（画素値０）の画素は白で表されている。

図１２に示すように、入力画像中の文字特性に応じて、「幅広文字」と「細文字」とに分類し、それぞれの処理を行うようにすることで、文字特徴を活かした拡大処理が可能となる。

次に、幅広文字処理部７２および細文字処理部７３で行われるパターン判定の詳細について、図１４乃至図２１を参照して説明する。なお、図１４乃至図２１において、注目点４２の拡大するポイント９１には斜線模様が付されて表されており、前景色の画素には幾何学模様が付されて表されており、背景色の画素は白で表されており、前景色または背景色のいずれでもよい画素（パターン判定で無視する画素）はグレーで表されている。

幅広文字処理部７２は、領域８１（図１３Ａ）のデータとパターン８２（図１３Ｂ）が一致すると判定した場合、縦５個×横５個の画素で構成される領域５１のデータと、図１４Ａに示されるパターン１０１、図１４Ｂに示されるパターン１０２、図１４Ｃに示されるパターン１０３、図１４Ｄに示されるパターン１０４、図１５Ａに示されるパターン１０５、図１５Ｂに示されるパターン１０６、図１５Ｃに示されるパターン１０７、および図１５Ｄに示されるパターン１０８との一致性を判定する。そして、幅広文字処理部７２は、判定の結果、パターン１０１乃至１０８の８つのパターンのうち、１つでも一致するものがあれば、データ選択フラグに「１」を設定する。

また、幅広文字処理部７２は、領域８１（図１３Ａ）のデータとパターン８３（図１３Ｃ）が一致すると判定した場合、縦５個×横５個の画素で構成される領域５１のデータと、図１６Ａに示されるパターン１１１、図１６Ｂに示されるパターン１１２、図１６Ｃに示されるパターン１１３、図１６Ｄに示されるパターン１１４、図１６Ｅに示されるパターン１１５、図１７Ａに示されるパターン１１６、図１７Ｂに示されるパターン１１７、図１７Ｃに示されるパターン１１８、図１７Ｄに示されるパターン１１９、図１８Ａに示されるパターン１２０、図１８Ｂに示されるパターン１２１、図１８Ｃに示されるパターン１２２、図１８Ｄに示されるパターン１２３、図１９Ａに示されるパターン１２４、図１９Ｂに示されるパターン１２５、図１９Ｃに示されるパターン１２６、および図１９Ｄに示されるパターン１２７との一致性を判定する。そして、幅広文字処理部７２は、判定の結果、パターン１１１乃至１２７の１７つのパターンのうち、１つでも一致するものがあれば、データ選択フラグに「２」を設定する。

細文字処理部７３は、領域８１（図１３Ａ）のデータとパターン８４乃至８６（図１３Ｄ乃至図１３Ｆ）の３つのパターンのうち、１つでも一致すると判定した場合、縦５個×横５個の画素で構成される領域５１のデータと、図２０Ａに示されるパターン１３１、図２０Ｂに示されるパターン１３２、図２０Ｃに示されるパターン１３３、図２０Ｄに示されるパターン１３４、および図２０Ｅに示されるパターン１３５との一致性を判定する。そして、細文字処理部７３は、判定の結果、パターン１３１乃至１３３の３つのパターンのうち、１つでも一致するものがあれば、データ選択フラグに「３」を設定し、パターン１３４に一致すれば、データ選択フラグに「４」を設定し、パターン１３５に一致すれば、データ選択フラグに「５」を設定する。

また、細文字処理部７３は、領域８１（図１３Ａ）のデータとパターン８７（図１３Ｇ）のパターンが一致すると判定した場合、縦５個×横５個の画素で構成される領域５１のデータと、図２１Ａに示されるパターン１４１、および図２１Ｂに示されるパターン１４２との一致性を判定する。そして、細文字処理部７３は、判定の結果、パターン１４１および１４２の２つのパターンのうち、１つでも一致するものがあれば、データ選択フラグに「６」を設定する。

以上のように、縦５個×横５個の画素で構成される領域５１のデータと各パターンとの一致性を判定することで、データ選択フラグには、「０」乃至「６」のいずれかの値が設定される。なお、パターン判定に用いられる各パターンは、本件発明者のシミュレーション結果から得られたパターンとされているが、勿論、これに限られるものではない。

次に、図２２のフローチャートを参照して、データバッファ３２が実行する処理について説明する。この処理は、OSDプレーン用メモリ１３から入力データが供給されたとき開始される。

ステップＳ１において、データバッファ３２は、初期化として、変数Ｎを１に設定するする。ステップＳ２において、データバッファ３２は、OSDプレーン用メモリ１３から供給された入力データのうち、注目点４２を中心として、その近傍にある縦５個×横５個の画素で構成される領域４３を設定する（図５Ｂ）。以下、注目点４２を中心として、その近傍にある縦５個×横５個の画素で構成される領域４３を、適宜、近傍画素領域４３と記載する。

ステップＳ３において、データバッファ３２は、制御部３１から供給される水平同期信号およびクロックに同期して、ステップＳ２の処理で設定された近傍画素領域４３のＮ行目にある入力データを保持する。例えば、図５Ｃにおいて、「D2L2」、「D2L1」、「D2C0」、「D2R1」、および「D2R2」の画素のデータが保持される。ステップＳ４において、データバッファ３２は、変数Ｎが５以上になったか否か、すなわち、近傍画素領域４３のデータ（図５Ｃ）が全て保持されたか否かを判定し、変数Ｎがまだ５以上になっていないと判定した場合、ステップＳ３に戻り、上述した処理を繰り返し実行する。

ステップＳ４において、変数Ｎが５以上になったと判定された場合、処理は終了される。

以上の処理により、データバッファ３２には、縦５個×横５個の画素で構成される領域４３のデータ（図５Ｃ）が保持される。

次に、図２３のフローチャートを参照して、データ位置入れ替え部３３が実行する、データ位置入れ替え処理について説明する。この処理は、データバッファ３２から近傍画素領域４３のデータが供給されたとき開始される。

ステップＳ１１において、データ位置入れ替え部３３は、制御部３１から供給されるデータ処理位置情報（例えば、図７Ａに示す位置Ａ、図８Ａに示す位置Ｂ、図９Ａに示す位置Ｃ、または図１０Ａに示す位置Ｄ）を取得し、ステップＳ１２において、取得したデータ処理位置情報が位置Ａ（図７Ａ）であるか否かを判定する。

ステップＳ１２において、データ処理位置情報が位置Ａであると判定された場合、ステップＳ１３に進み、データ位置入れ替え部３３は、近傍画素領域４３のデータのデータ位置を入れ替えずに、そのまま入れ替えデータバッファ３３Ａに格納する（図７Ｂ）。

ステップＳ１２において、データ処理位置情報が位置Ａではないと判定された場合、ステップＳ１４に進み、データ位置入れ替え部３３は、さらにデータ処理位置情報が位置Ｂ（図８Ａ）であるか否かを判定する。ステップＳ１４において、データ処理位置情報が位置Ｂであると判定された場合、ステップＳ１５に進み、データ位置入れ替え部３３は、左右（横方向）に近傍画素領域４３のデータのデータ位置を入れ替え、入れ替えデータバッファ３３Ａに格納する（図８Ｂ）。

ステップＳ１４において、データ処理位置情報が位置Ｂではないと判定された場合、ステップＳ１６に進み、データ位置入れ替え部３３は、さらにデータ処理位置情報が位置Ｃ（図９Ａ）であるか否かを判定する。ステップＳ１６において、データ処理位置情報が位置Ｃであると判定された場合、ステップＳ１７に進み、データ位置入れ替え部３３は、上下（縦方向）に近傍画素領域４３のデータのデータ位置を入れ替え、入れ替えデータバッファ３３Ａに格納する（図９Ｂ）。

ステップＳ１６において、データ処理位置情報が位置Ｃではないと判定された場合、ステップＳ１８に進み、データ位置入れ替え部３３は、さらにデータ処理位置情報が位置Ｄ（図１０Ａ）であるか否かを判定する。ステップＳ１８において、データ処理位置情報が位置Ｄであると判定された場合、ステップＳ１９に進み、データ位置入れ替え部３３は、左右（横方向）および上下（縦方向）に近傍画素領域４３のデータのデータ位置を入れ替え、入れ替えデータバッファ３３Ａに格納する（図１０Ｂ）。

ステップＳ１８において、データ処理位置情報が位置Ｄではないと判定された場合、ステップＳ２０に進み、データ位置入れ替え部３３は、エラーが発生したと判断し、制御部３１からデータ処理位置情報を再度取得した後、ステップＳ１２に戻り、上述した処理を繰り返し実行する。

以上の処理により、入れ替えデータバッファ３３Ａには、位置Ａの拡大処理として扱うことができるようにデータ位置が入れ替えられた、縦５個×横５個の画素で構成される新たな領域５１のデータ（図６）が格納される。以下、縦５個×横５個の画素で構成される領域５１のデータを、適宜、近傍画素領域５１のデータと記載する。

次に、図２４のフローチャートを参照して、画素優先順位判定部３４が実行する、画素優先順位判定処理について説明する。この処理は、データ位置入れ替え部３３の入れ替えデータバッファ３３Ａから近傍画素領域５１のデータが供給されたとき開始される。

ステップＳ３１において、データ位置入れ替え部３３の判定器６１−１は、LUT６２−１を参照し、ステップＳ３２において、近傍画素領域５１のＰ［D2L2］の画素のデータが背景色であるか否かを判定する。ステップＳ３２において、近傍画素領域５１のＰ［D2L2］の画素のデータが背景色であると判定された場合、ステップＳ３３に進み、判定器６１−１は、近傍画素領域５１のＰ［D2L2］の画素のデータを、「背景色」として判定（確定）する。

ステップＳ３２において、近傍画素領域５１のＰ［D2L2］の画素のデータが背景色ではないと判定された場合、ステップＳ３４に進み、判定器６１−１は、近傍画素領域５１のＰ［D2L2］の画素のデータを、「前景色」として判定（確定）する。

同様に、判定器６１−２乃至６１−２５も、上述した処理を実行し、近傍画素領域５１のＰ［D2L1］乃至Ｐ［U2R2］の画素のデータが、「背景色」であるか、あるいは、「前景色」であるかをそれぞれ判定する。

以上の処理により、近傍画素領域５１のデータの各画素値が、「背景色」または「前景色」の一意に決められる。

次に、図２５のフローチャートを参照して、データ選択フラグ判定部３６が実行する、データ選択フラグ判定処理について説明する。この処理は、画素優先順位判定部３４から近傍画素領域５１のデータの画素優先順位判定結果が供給されたとき開始される。

ステップＳ４１において、データ選択フラグ判定部３６の幅広文字処理部７２および細文字処理部７３は、初期化として、データ選択フラグを「０」にそれぞれ設定する。ステップＳ４２において、データ選択フラグ判定部３６の文字認識部７１は、処理モード制御部３５から供給される処理選択情報を取得する。ここで取得される処理選択情報には、背景色拡張処理を行うか、または、前景色拡張処理を行うかに関する情報が含まれる。

ステップＳ４３において、データ選択フラグ判定部３６の文字認識部７１は、フォントROM１２を参照し、入力データの文字種別（「幅広文字」あるいは「細文字」）を認識する。なお、ステップＳ４２の処理で取得された処理選択情報に、文字種別に関する情報が含まれている場合には、このステップＳ４３の処理は省略することができる。

ステップＳ４４において、文字認識部７１は、拡大処理すべき文字が幅広文字であるか否かを判定し、幅広文字であると判定した場合、近傍画素領域５１のデータおよび処理選択情報を幅広文字処理部７２に供給した後、ステップＳ４５に進む。ステップＳ４５において、幅広文字処理７２は、供給された近傍画素領域５１のデータおよび処理選択情報に基づいて、幅広文字処理を行う。この幅広文字処理の詳細については、図２６のフローチャートを参照して後述するが、この処理により、幅広文字のパターン判定が行われ、パターン判定に応じたデータ選択フラグがデータ選択部３７に出力される。

ステップＳ４４において、拡大処理すべき文字が幅広文字ではない、すなわち、細文字であると判定された場合、文字認識部７１は、近傍画素領域５１のデータおよび処理選択情報を細文字処理部７３に供給した後、ステップＳ４６に進む。ステップＳ４６において、細文字処理７３は、供給された近傍画素領域５１のデータおよび処理選択情報に基づいて、細文字処理を行う。この細文字処理の詳細については、図２７のフローチャートを参照して後述するが、この処理により、細文字のパターン判定が行われ、パターン判定に応じたデータ選択フラグがデータ選択部３７に出力される。

次に、図２６のフローチャートを参照して、幅広文字処理部７２が実行する、図２５のステップＳ４５における幅広文字処理の詳細について説明する。

ステップＳ５１において、幅広文字処理部７２は、近傍画素領域５１のデータのうち、注目点４２を含む縦２個×横２個の画素で構成される領域８１のデータ（図１３Ａ）が第１のパターン（いまの場合、図１３Ｂに示されるパターン８２）と一致するか否かを判定し、第１のパターンと一致すると判定した場合、ステップＳ５２に進み、さらに、近傍画素領域５１のデータが第２のパターン群（いまの場合、図１４乃至図１５に示されるパターン１０１乃至１０８）と一致するものがあるか否かを判定する。

ステップＳ５２において、近傍画素領域５１のデータが第２のパターン群のうち、１つでも一致するものがあると判定された場合、ステップＳ５３に進み、幅広文字処理部７２は、データ選択フラグに「１」を設定する。

ステップＳ５１において、領域８１のデータが第１のパターンと一致しないと判定された場合、または、ステップＳ５２において、近傍画素領域５１のデータが第２のパターン群と一致しないと判定された場合、ステップＳ５４に進み、幅広文字処理部７２は、図２５のステップＳ４２の処理により処理モード制御部３５から取得した処理選択情報に基づいて、背景色拡張処理を行うか否かを判定する。

ステップＳ５４において、背景色拡張処理を行うと判定された場合、ステップＳ５５に進み、幅広文字処理部７２は、領域８１のデータが第３のパターン（いまの場合、図１３Ｃに示されるパターン８３）と一致するか否かを判定する。ステップＳ５５において、領域８１のデータが第３のパターンと一致すると判定された場合、ステップＳ５６に進み、幅広文字処理部７２は、さらに、近傍画素領域５１のデータが第４のパターン群（いまの場合、図１６乃至図１９に示されるパターン１１１乃至１２７）と一致するものがあるか否かを判定する。

ステップＳ５６において、近傍画素領域５１のデータが第４のパターン群のうち、１つでも一致するものがあると判定された場合、ステップＳ５７に進み、幅広文字処理部７２は、データ選択フラグに「２」を設定する。

ステップＳ５４において、背景色拡張処理を行わないと判定された場合、ステップＳ５５において、領域８１のデータが第３のパターンと一致しないと判定された場合、または、ステップＳ５６において、近傍画素領域５１のデータが第４のパターン群と一致しないと判定された場合、処理は、図２５のステップＳ４６の細文字処理にリターンされる。

次に、図２７のフローチャートを参照して、細文字処理部７３が実行する、図２５のステップＳ４６における細文字処理の詳細について説明する。

ステップＳ６１において、細文字処理部７３は、近傍画素領域５１のデータのうち、注目点４２を含む縦２個×横２個の画素で構成される領域８１のデータ（図１３Ａ）が第５のパターン群（いまの場合、図１３Ｄ乃至図１３Ｆに示されるパターン８４乃至８６）と一致するものがあるか否かを判定し、第５のパターン群と一致するものが、１つでもあると判定した場合、ステップＳ６２に進み、さらに、近傍画素領域５１のデータが第６のパターン群（いまの場合、図２０Ａ乃至図２０Ｃに示されるパターン１３１乃至１３３）と一致するものがあるか否かを判定する。

ステップＳ６２において、近傍画素領域５１のデータが第６のパターン群のうち、１つでも一致するものがあると判定された場合、ステップＳ６３に進み、細文字処理部７３は、データ選択フラグに「３」を設定する。

ステップＳ６２において、近傍画素領域５１のデータが第６のパターン群と一致しないと判定された場合、ステップＳ６４に進み、細文字処理部７３は、さらに近傍画素領域５１のデータが第７のパターン（いまの場合、図２０Ｄに示されるパターン１３４）と一致するか否かを判定する。ステップＳ６４において、近傍画素領域５１のデータが第７のパターンと一致すると判定された場合、ステップＳ６５に進み、細文字処理部７３は、データ選択フラグに「４」を設定する。

ステップＳ６４において、近傍画素領域５１のデータが第７のパターンと一致しないと判定された場合、ステップＳ６６に進み、細文字処理部７３は、さらに近傍画素領域５１のデータが第８のパターン（いまの場合、図２０Ｅに示されるパターン１３５）と一致するか否かを判定する。ステップＳ６６において、近傍画素領域５１のデータが第８のパターンと一致すると判定された場合、ステップＳ６７に進み、細文字処理部７３は、データ選択フラグに「５」を設定する。

ステップＳ６６において、近傍画素領域５１のデータが第８のパターンと一致しないと判定された場合、または、ステップＳ６１において、領域８１のデータが第５のパターン群と一致しないと判定された場合、ステップＳ６８に進み、細文字処理部７３は、図２５のステップＳ４２の処理により処理モード制御部３５から取得した処理選択情報に基づいて、背景色拡張処理を行うか否かを判定する。

ステップＳ６８において、背景色拡張処理を行うと判定された場合、ステップＳ６９に進み、細文字処理部７３は、領域８１のデータが第９のパターン（いまの場合、図１３Ｇに示されるパターン８７）と一致するか否かを判定する。ステップＳ６９において、第９のパターンと一致すると判定された場合、ステップＳ７０に進み、細文字処理部７３は、さらに近傍画素領域５１のデータが第１０のパターン群（いまの場合、図２１Ａに示されるパターン１４１および図２１Ｂに示されるパターン１４２）と一致するものがあるか否かを判定する。

ステップＳ７０において、近傍画素領域５１のデータが第１０のパターン群のうち、１つでも一致するものがあると判定された場合、ステップＳ７１に進み、細文字処理部７３は、データ選択フラグに「６」を設定する。

ステップＳ６８において、背景色拡張処理を行わないと判定された場合、ステップＳ６９において、領域８１のデータが第９のパターンと一致しないと判定された場合、または、ステップＳ７０において、近傍画素領域５１のデータが第１０のパターン群と一致しないと判定された場合、処理は図２５にリターンされ、データ選択フラグ判定処理は終了される。

以上の処理により、データ選択フラグには、「０」乃至「６」のいずれかの値が設定される。

次に、図２８のフローチャートを参照して、データ選択部３７が実行する、データ選択処理について説明する。この処理は、データ選択フラグ判定部３６から判定結果であるデータ選択フラグが供給されたとき開始される。

ステップＳ８１において、データ選択部３７は、供給されたデータ選択フラグが「０」であるか否かを判定し、データ選択フラグが「０」であると判定した場合、ステップＳ８２に進み、データ位置入れ替え部３３の入れ替えデータバッファ３３Ａから供給された近傍画素領域５１のデータのうち、第１の画素（例えば、図６のＰ［M0C0］の画素）を選択する。

ステップＳ８１において、データ選択フラグが「０」ではないと判定された場合、ステップＳ８３に進み、データ選択部３７は、さらにデータ選択フラグが「１」または「３」であるか否かを判定する。ステップＳ８３において、データ選択フラグが「１」または「３」であると判定された場合、ステップＳ８４に進み、データ選択部３７は、データ位置入れ替え部３３の入れ替えデータバッファ３３Ａから供給された近傍画素領域５１のデータのうち、前景色に相当する第２の画素（例えば、図６の前景色に相当するＰ［M0L1］の画素）を選択する。

ステップＳ８３において、データ選択フラグが「１」または「３」ではないと判定された場合、ステップＳ８５に進み、データ選択部３７は、さらにデータ選択フラグが「２」または「６」であるか否かを判定する。ステップＳ８５において、データ選択フラグが「２」または「６」であると判定された場合、ステップＳ８６に進み、データ選択部３７は、データ位置入れ替え部３３の入れ替えデータバッファ３３Ａから供給された近傍画素領域５１のデータのうち、背景色に相当する第２の画素（例えば、図６の背景色に相当するＰ［M0L1］の画素）を選択する。

ステップＳ８５において、データ選択フラグが「２」または「６」ではないと判定された場合、ステップＳ８７に進み、データ選択部３７は、さらにデータ選択フラグが「４」または「５」であるか否かを判定する。ステップＳ８７において、データ選択フラグが「４」または「５」であると判定された場合、ステップＳ８８に進み、データ選択部３７は、データ位置入れ替え部３３の入れ替えデータバッファ３３Ａから供給された近傍画素領域５１のデータのうち、前景色に相当する第３の画素（例えば、図６の前景色に相当するＰ［U1L1］の画素）を選択する。

ステップＳ８７において、データ選択フラグが「４」または「５」ではないと判定された場合、ステップＳ８９に進み、データ選択部３７は、エラーが発生したと判断し、データ選択フラグ判定部３６からデータ選択フラグを再度取得した後、ステップＳ８１に戻り、上述した処理を繰り返し実行する。

以上の処理により、データ選択部３７では、データ選択フラグに応じた特定画素が１つ選択され、出力データとしてミキサ１５に出力される。なお、この処理で選択された特定画素は、あくまで一例であり、勿論、他の画素が選択されるようにしてもよいし、あるいは、所定の演算により選択されるようにしてもよい。

次に、以上の拡大処理のシミュレーション結果について、図２９乃至図３４を参照して説明する。

図２９Ａは、幅広文字を従来の最近傍補間により拡大処理した場合のシミュレーション結果を示しており、図２９Ｂは、幅広文字を幅広文字処理部７２により前景色拡張処理した場合のシミュレーション結果を示しており、図２９Ｃは、幅広文字を幅広文字処理部７２により前景色拡張処理および背景色拡張処理した場合のシミュレーション結果を示している。また、図３０Ａは、図２９Ａの領域１６１の拡大図を示しており、図３０Ｂは、図２９Ｂの領域１６２の拡大図を示しており、図３１Ａは、図２９Ｂの領域１６３の拡大図を示しており、図３１Ｂは、図２９Ｃの領域１６４の拡大図を示している。

なお、図２９乃至図３１において、前景色の画素は黒で表されており、背景色の画素は白で表されている（後述する図３２乃至図３４においても同様とする）。以下、図３０および図３１に示す各領域における最上左部の画素を（１，１）の画素と記載し、その横方向ｍ番目、縦方向ｎ番目の画素を（ｍ，ｎ）の画素と記載する（後述する図３３および図３４においても同様とする）。

幅広文字処理部７２により前景色拡張処理した場合のシミュレーション結果（図３０Ｂ）では、従来の最近傍補間により拡大処理した場合のシミュレーション結果（図３０Ａ）と比べると、（６，２）、（４，４）、（３，５）、（３，６）、（２，６）、および（１，７）の画素が、背景色（白）から前景色（黒）に補間されていることがわかる。

また、幅広文字処理部７２により前景色拡張処理および背景色拡張処理した場合のシミュレーション結果（図３１Ｂ）では、幅広文字処理部７２により前景色拡張処理した場合のシミュレーション結果（図３１Ａ）と比べると、（７，１）、（３，３）、（２，４）、（１，５）、（６，６）、および（５，７）の画素が、前景色（黒）から背景色（白）に補間されていることがわかる。

図３２Ａは、細文字を従来の最近傍補間により拡大処理した場合のシミュレーション結果を示しており、図３２Ｂは、細文字を細文字処理部７３により前景色拡張処理した場合のシミュレーション結果を示しており、図３２Ｃは、細文字を細文字処理部７３により前景色拡張処理および背景色拡張処理した場合のシミュレーション結果を示している。また、図３３Ａは、図３２Ａの領域１７１の拡大図を示しており、図３３Ｂは、図３２Ｂの領域１７２の拡大図を示しており、図３４Ａは、図３２Ｂの領域１７３の拡大図を示しており、図３４Ｂは、図３２Ｃの領域１７４の拡大図を示している。

細文字処理部７３により前景色拡張処理した場合のシミュレーション結果（図３３Ｂ）では、従来の最近傍補間により拡大処理した場合のシミュレーション結果（図３３Ａ）と比べると、（５，２）、（６，３）、（６，４）、（３，５）、（３，６）、および（４，７）の画素が、背景色（白）から前景色（黒）に補間されていることがわかる。

また、細文字処理部７３により前景色拡張処理および背景色拡張処理した場合のシミュレーション結果（図３４Ｂ）では、細文字処理部７３により前景色拡張処理した場合のシミュレーション結果（図３４Ａ）と比べると、（４，１）、および（１，４）の画素が、前景色（黒）から背景色（白）に補間され、（３，２）の画素が、背景色から前景色に補間されていることがわかる。

以上のように、文字の特性（幅広文字または細文字）に応じて、処理を切り替えることで、高品質に拡大処理を行うことが可能となる。

また以上においては、白（背景色）または黒（前景色）で構成される２値化された画像に対する拡大処理について説明したが、本発明はこれに限らず、縁取り文字や影文字といった２値以上の値で構成される多値階調の画像に対しても拡大処理することができる。この場合、基本的な構成例は、図４に示した画像拡大装置２１と同様であり、画素優先順位判定部３４およびデータ選択フラグ判定部３６の内部の処理を変更することで実現することができる。

図３５は、多値階調の画像に適応した場合の画素優先順位判定部３４の詳細な構成例を示すブロック図である。

同図に示されるように、画素優先順位判定部３４は、比較器２０１−１乃至２０１−２４で構成されており、比較器２０１−１乃至２０１−２４には、LUT２０２−１乃至２０２−２４、LUT２０３−１乃至２０３−２４、および大小比較器２０４−１乃至２０４−２４がそれぞれ設けられている。LUT２０２−１乃至２０２−２４、およびLUT２０３−１乃至２０３−２４には、処理モード制御部３５から供給された背景判定情報、前景判定情報、および縁取り判定情報に基づいて、例えば、黒が前景色、白が背景色、黄色が前景の縁取りとして、それぞれ設定されている。

比較器２０１−１は、データ位置入れ替え部３３から供給された縦５個×横５個の画素で構成される領域５１（図６）のデータのうち、Ｐ［D2L2］の画素のデータを入力し、LUT２０２−１に基づいて、その画素値を処理のための優先順位の序列を付けた値に変換するとともに、領域５１のデータのうち、Ｐ［M0C0］の画素（すなわち、注目点４２）のデータを入力し、LUT２０３−１に基づいて、その画素値を処理のための優先順位の序列を付けた値に変換する。

すなわち、上述したように、LUT２０２−１およびLUT２０３−１には、黒が前景色、白が背景色、黄色が前景の縁取りとして設定されているため、この場合の優先順位は、一般に、「黒＞黄色（縁取り）＞白」とされる。そこで例えば、黒＝１００、縁取り＝５０、白＝１のように序列を付けた値に変換される。

大小比較器２０４−１は、変換された値から、注目点４２（Ｐ［M0C0］の画素）のデータとＰ［D2L2］の画素（IN）のデータ（序列を付けた値）を比較し、図３６に示すコードを割り当て、比較結果をＦ［Ｘ］として、データ選択フラグ判定部３６に出力する。ここで、Ｘは、注目点４２からの相対的な位置を表わしている。

図３６に示すように、Ｐ［M0C0］≧Ｐ［D2L2］（IN）の場合、「０」が割り当てられ、Ｐ［M0C0］≦Ｐ［D2L2］（IN）の場合、「１」が割り当てられ、Ｐ［M0C0］＞Ｐ［D2L2］（IN）の場合、「２」が割り当てられ、Ｐ［M0C0］＜Ｐ［D2L2］（IN）の場合、「３」が割り当てられる。

同様に、比較器２０１−２乃至２０１−２４は、データ位置入れ替え部３３から供給された縦５個×横５個の画素で構成される領域５１（図６）のデータのうち、Ｐ［D2L1］乃至Ｐ［U2R2］の画素のデータをそれぞれ入力し、LUT２０２−２乃至２０２−２４に基づいて、その画素値を処理のための優先順位の序列を付けた値に変換するとともに、領域５１のデータのうち、Ｐ［M0C0］の画素（すなわち、注目点４２）のデータを入力し、LUT２０３−２乃至２０３−２４に基づいて、その画素値を処理のための優先順位の序列を付けた値に変換する。大小比較器２０４−２乃至２０４−２４は、変換された値から、注目点４２（Ｐ［M0C0］の画素）のデータとＰ［D2L1］乃至Ｐ［U2R2］の画素（IN）のデータをそれぞれ比較し、図３６に示すコードを割り当て、比較結果をＦ［Ｘ］として、データ選択フラグ判定部３６に出力する。

なお、注目点４２自身の比較器は必要ないが、注目点４２に「０」のコードをデフォルトで割り当て、データ選択フラグ判定部３６に出力させるようにしてもよい。

データ選択フラグ判定部３６は、前景色拡張処理の場合、注目点４２が背景色となることから、画素優先順位判定部３４から供給されたＦ［Ｘ］が「３」のコードの場合、前景色と判断し、「０」のコードの場合、背景色と判断する。また、データ選択フラグ判定部３６は、背景色拡張処理の場合、注目点４２が前景色となることから、画素優先順位判定部３４から供給されたＦ［Ｘ］が「１」のコードの場合、前景色と判断し、「２」のコード場合、背景色と判断する。

以上のような判断により、多値階調の画像に対しても、高品質に拡大処理を実現することが可能となる。

次に、多値階調の画像に対する拡大処理のシミュレーション結果について、図３７および図３８を参照して説明する。

図３７Ａは、多値階調の文字を従来の最近傍補間により拡大処理した場合のシミュレーション結果を示しており、図３７Ｂは、多値階調の文字を本発明により拡大処理した場合のシミュレーション結果を示している。また、図３８Ａは、図３７Ａの領域２１１の拡大図を示しており、図３８Ｂは、図３７Ｂの領域２１２の拡大図を示している。

なお、図３７および図３８において、前景色の画素は黒で表されており、背景色の画素は白で表されており、縁取りの画素はグレーで表されている。以下、図３８に示す各領域における最上左部の画素を（１，１）の画素と記載し、その横方向ｍ番目、縦方向ｎ番目の画素を（ｍ，ｎ）の画素と記載する。

本発明により拡大処理した場合のシミュレーション結果（図３８Ｂ）では、従来の最近傍補間により拡大処理した場合のシミュレーション結果（図３８Ａ）と比べると、（２，１）、（４，３）、および（６，５）の画素が、縁取り（グレー）から背景色（白）に補間され、（２，５）、および（４，７）の画素が、前景色から縁取りに補間されていることがわかる。

以上のように、本発明を適用することにより、２値画像および多値画像のいずれに対しても、コストを低く抑えつつ、高品質に拡大処理を行うことが可能となる。

また以上においては、OSD装置に適用する場合について説明したが、例えば、パーソナルコンピュータのテキスト領域や、あるいは、文字や図形などのグラフィック画像を表示するシステムなどに適用することも勿論可能である。

また、文字を縦２倍および横２倍に拡大処理する場合の例について説明したが、これに限らず、例えば、縦３倍および横３倍、縦４倍および横４倍などの縦横同倍率、あるいは、縦２倍および横１倍などの縦横で異なる倍率で拡大処理することも可能である。

上述したように、これらの一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、画像拡大装置２１は、図３９に示されるようなコンピュータ３００により実現される。

図３９において、CPU(Central Processing Unit)３０１は、ROM３０２に記憶されているプログラム、または記憶部３０８からRAM(Random Access Memory)３０３にロードされたプログラムに従って、各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。

入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７、記憶部３０８、通信部３０９が接続されている。通信部３０９は、ネットワークを介しての通信処理を行う。

入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０３または記憶部３０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

従来のOSD装置に最近傍補間による拡大装置を適用した場合の構成例を示す図である。 従来のOSD装置のフォントROMに、通常表示用および拡大表示用のフォントを記憶させた場合の構成例を示す図である 本発明を適用したOSD装置の構成例を示すブロック図である。 画像拡大装置の内部の構成例を示すブロック図である。 データバッファで保持されるデータを説明する図である。 データ位置入れ替え方法の概略を説明する図である。 データ位置入れ替え方法の詳細を説明する図である。 データ位置入れ替え方法の詳細を説明する他の図である。 データ位置入れ替え方法の詳細を説明する他の図である。 データ位置入れ替え方法の詳細を説明する他の図である。 画素優先順位判定部の詳細な構成例を示すブロック図である。 データ選択フラグ判定部の詳細な構成例を示すブロック図である。 パターン判定に用いられるパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 パターン判定に用いられる他のパターン例を示す図である。 データバッファが実行する処理を説明するフローチャートである。 データ位置入れ替え処理を説明するフローチャートである。 画素優先順位判定処理を説明するフローチャートである。 データ選択フラグ判定処理を説明するフローチャートである。 図２６のステップＳ４５における幅広文字処理の詳細を説明するフローチャートである。 図２５のステップＳ４６における細文字処理の詳細を説明するフローチャートである。 データ選択処理を説明するフローチャートである。 シミュレーション結果を示す図である。 図２９の部分拡大図である。 図２９の他の部分拡大図である。 シミュレーション結果を示す図である。 図３２の部分拡大図である。 図３２の他の部分拡大図である。 多値階調の画像に適応した場合の画素優先順位判定部の詳細な構成例を示すブロック図である。 Ｐ［M0C0］とINの比較結果に応じて割り当てられるコードを示す図である。 シミュレーション結果を示す図である。 図３７の部分拡大図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１ OSD装置， ３ モニタ， １２ フォントROM， ２１ 画像拡大装置， ３１ 制御部， ３２ データバッファ， ３３ データ位置入れ替え部， ３４ 画素優先順位判定部， ３５ 処理モード制御部， ３６ データ選択フラグ判定部， ３７ データ選択部， ６１−１乃至６１−２５ 判定器， ６２−１乃至６２−２５ LUT， ７１ 文字認識部， ７２ 幅広文字処理部， ７３ 細文字処理部， ２０１−１乃至２０１−２４ 比較器， ２０２−１乃至２０２−２４，２０３−１乃至２０３−２４ LUT， ２０４−１乃至２０４−２４ 大小比較器

Claims (7)

1. 画像を拡大する画像処理装置において、
   前記画像のうち、注目画素を含む近傍の画素を保持する保持手段と、
   前記注目画素を分割する分割手段と、
   前記保持手段により保持された各画素に対し、対象色または背景色を判別する判別手段と、
   前記判別手段による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定手段と、
   前記判別手段による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定手段と、
   前記第１または第２のパターン判定手段による判定結果に基づいて、前記分割手段により分割された前記注目画素に当てはめるべきデータを、前記近傍の画素の中から選択する選択手段と
   を備えることを特徴とする画像処理装置。
2. 前記保持手段により保持された前記注目画素を含む近傍の画素の画素分布を入れ替えるか否かを判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記注目画素を含む近傍の画素の画素分布を入れ替えるデータ入れ替え手段と
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像は、文字であり、
   前記第１および第２のパターンは、それぞれ、前記文字の種別に応じて決定される階層パターンで構成されている
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記判別手段は、前記注目画素と前記近傍の画素を比較することにより、前記対象色または背景色を判別する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 画像を拡大する画像処理装置の画像処理方法において、
   前記画像のうち、注目画素を含む近傍の画素を保持する保持ステップと、
   前記注目画素を分割する分割ステップと、
   前記保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップと、
   前記判別ステップの処理による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップと、
   前記判別ステップの処理による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップと、
   前記第１または第２のパターン判定ステップの処理による判定結果に基づいて、前記分割ステップの処理により分割された前記注目画素に当てはめるべきデータを、前記近傍の画素の中から選択する選択ステップと
   を含むことを特徴とする画像処理方法。
6. 画像を拡大する画像処理装置の画像処理を、コンピュータに行わせるプログラムにおいて、
   前記画像のうち、注目画素を含む近傍の画素を保持する保持ステップと、
   前記注目画素を分割する分割ステップと、
   前記保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップと、
   前記判別ステップの処理による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップと、
   前記判別ステップの処理による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップと、
   前記第１または第２のパターン判定ステップの処理による判定結果に基づいて、前記分割ステップの処理により分割された前記注目画素に当てはめるべきデータを、前記近傍の画素の中から選択する選択ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
7. 画像を拡大する画像処理装置の画像処理を、コンピュータに行わせるプログラムにおいて、
   前記画像のうち、注目画素を含む近傍の画素を保持する保持ステップと、
   前記注目画素を分割する分割ステップと、
   前記保持ステップの処理により保持された各画素に対し、対象色または背景色を判別する判別ステップと、
   前記判別ステップの処理による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記対象色を拡張するための第１のパターンが一致するか否かを判定する第１のパターン判定ステップと、
   前記判別ステップの処理による判別結果に基づいて得られた前記対象色と背景色の配列パターンと、前記背景色を拡張するための第２のパターンが一致するか否かを判定する第２のパターン判定ステップと、
   前記第１または第２のパターン判定ステップの処理による判定結果に基づいて、前記分割ステップの処理により分割された前記注目画素に当てはめるべきデータを、前記近傍の画素の中から選択する選択ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images