JP2006074155A - 画像処理装置および画像処理方法ならびに画像表示装置 - Google Patents

Abstract

【課題】 本発明は、画像の輪郭の鮮鋭度を適切に改善することにより、高画質化を図ることが可能な画像処理装置、および画像処理方法を提供することを目的とする。
【解決手段】 本発明に係る画像処理装置は、画像データの輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて倍率制御量を生成する倍率制御手段と、上記倍率制御量に基づいて上記画像データに対し補間演算処理を行うことにより、上記輪郭幅を補正する輪郭幅補正手段と、上記輪郭幅を補正した画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する強調量算出手段と、上記輪郭幅を補正した画像データに上記強調量を付加することにより上記画像データの輪郭部を強調する輪郭強調手段とを備えるものである。
【選択図】 図１

Description

本発明は、デジタル画像の輪郭を所望の鮮鋭度に補正する画像処理装置、およびデジタル画像の輪郭を所望の鮮鋭度に補正するとともに任意の倍率で画素数変換する画像処理装置、ならびにこれらの画像処理装置を用いた画像表示装置に関する。

画像の輪郭部を補正して鮮鋭度を高める画像処理方法として、下記の引用文献に開示されたものがある。引用文献１に開示された画像処理方法は、入力画像信号の微分値の絶対値、およびこの絶対値の平均値を算出し、算出された絶対値から平均値を差引いた差分値を求め、この差分値に応じて画像の拡大・縮小率を制御するものである。このように、画像信号の変化に応じて画像の拡大・縮小率を制御することにより、画像の拡大縮小回路を利用して輪郭の立ち上がり、立下りを急峻にし、画像の鮮鋭度を高めることができる。

引用文献２に開示された画像処理方法は、入力画像の画素数を変換する際、画像信号の高域成分に基づく制御量を生成し、この制御量を用いて画素数変換用の補間フィルタにおける補間位相を制御するものである。このように、画像の高域成分に基づいて補間位相を制御することにより、画像の輪郭部における変化を急峻にし、画像の鮮鋭度を高めることができる。
特開２００２−１６８２０号公報 特開２０００−１０１８７０号公報

上記引用文献に開示された従来の画像処理方法においては、画像信号の高域成分の量に基づく補正量を用いて輪郭部の補正処理を行うため、画像信号のレベル変化が小さい輪郭部においては鮮鋭度が改善されにくいという問題があった。このため、画像全体に過不足なく鮮鋭度を向上することが困難であった。
また、従来の画像処理方法を用いて垂直方向の輪郭を補正しようとすると、輪郭の補正に必要な画素データを得るための遅延回路や補正された画像データの出力タイミングを調整するための遅延回路が必要となり、低コスト化が困難になるという課題があった。

本発明は、上記課題を解決するためになされたものであり、画像の輪郭の鮮鋭度を適切に改善することにより、高画質化を図ることが可能な画像処理装置、および画像処理方法を提供することを目的とする。

本発明に係る第１の画像処理装置は、画像データの輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて倍率制御量を生成する倍率制御手段と、
上記倍率制御量に基づいて上記画像データに対し補間演算処理を行うことにより、上記輪郭幅を補正する輪郭幅補正手段と、
上記輪郭幅を補正した画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する強調量算出手段と、
上記輪郭幅を補正した画像データに上記強調量を付加することにより、上記画像データの輪郭部を強調する輪郭強調手段とを備えるものである。

本発明に係る第２の画像処理装置は、画像データを受信し、当該画像データを輝度データおよび色差データに変換する変換手段と、
上記輝度データおよび色差データをフレームメモリに書き込み、当該フレームメモリに書き込まれた上記輝度データおよび色差データを所定のタイミングで読み出すフレームメモリ制御手段と、
上記フレームメモリから読み出される上記輝度データから、垂直方向に配列する複数の画素データを抽出する手段と、
上記垂直方向に配列する複数の画素データから輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて垂直方向の倍率制御量を生成する倍率制御手段と、
上記垂直方向の倍率制御量に基づいて上記輝度データに対し補間演算処理を行うことにより、垂直方向の輪郭幅を補正する輪郭幅補正手段とを備え、
上記フレームメモリ制御手段は、上記色差データを上記輝度データに対し、少なくとも上記垂直方向の輪郭幅の補正に要する期間遅延して読み出すものである。

本発明に係る画像処理方法は、画像データの輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて倍率制御量を生成する工程と、
上記倍率制御量に基づいて上記画像データに対し補間演算処理を行うことにより、上記輪郭幅を補正する工程と、
上記輪郭幅を補正した画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する工程と、
上記輪郭幅を補正した画像データに上記強調量を付加することにより、上記画像データの輪郭部を強調する工程とを備えるものである。

本発明に係る画像処理装置は、画像データの輪郭幅に基づいて生成される倍率制御量に基づいて補間演算処理を行うことにより輪郭幅を補正し、輪郭幅を補正した画像データの高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出し、算出された強調量を輪郭幅を補正した画像データに付加するので、輝度変化の緩やかな輪郭についても輪郭幅を縮小して輝度変化を急峻にし、輝度変化の異なる様々な輪郭に対し適切な補正処理を行うことにより画像の鮮鋭度を過不足なく向上することができる。
また、輪郭幅を補正する際、輪郭の振幅ではなく幅の大きさに基づいて補正量を決定するので、輝度変化の緩やかな輪郭についても鮮鋭度を向上させ、適切な輪郭強調処理を行うことができる。

実施の形態１．
図１は、本発明に係る画像処理装置を備えた画像表示装置の一実施形態を示すブロック図である。図１に示す画像表示装置は、受信部１、画像処理部２、出力同期信号生成部７、送信部８、および表示部９を備えている。画像処理部２は、変換部３、記憶部４、輪郭補正部５、変換部６により構成される。

受信部１は、外部から入力される画像信号Ｄｉおよび同期信号Ｓｉを受信し、デジタル形式の画像データＤａに変換し、同期信号Ｓａとともに出力する。受信部１は、画像信号Ｄｉがアナログ信号の場合、Ａ／Ｄ変換器によって構成される。また、画像信号Ｄｉがシリアルのデジタル信号やパラレルのデジタル信号の場合は、入力画像信号の形式に対応したレシーバにより構成され、チューナなどの受信機を適宜含んで構成される。

画像データＤａは、Ｒ，Ｇ，Ｂ３原色の色データで構成される場合と、輝度成分および色成分のデータにより構成される場合が考えられるが、ここではＲ，Ｇ，Ｂ３原色の色データによって構成されるものとして説明を行う。

受信部１から出力された画像データＤａおよび同期信号Ｓａは、画像処理部２の変換部３に入力される。また、同期信号Ｓａは出力同期信号生成部７にも入力される。
変換部３は、Ｒ，Ｇ，Ｂ３原色の色データからなる画像データＤａを輝度データＤＹおよび色差データＤＣｒ，ＤＣｂに変換するとともに、同期信号Ｓａを当該画像データＤａの変換に必要な時間だけ遅延し、遅延された同期信号ＤＳを出力する。変換部３により出力された輝度データＤＹ、色差データＤＣｒ，ＤＣｂ、および同期信号ＤＳは記憶部４に送られる。

記憶部４は、変換部３により出力される輝度データＤＹおよび色差データＤＣｒ，ＤＣｂを一時的に記憶する。記憶部４は、ＰＣ（パーソナルコンピュータ）や、テレビといったフレーム周波数の異なる機器から出力される画像信号を一定のフレーム周波数（例えば６０Ｈｚ）に変換するフレーム周波数変換用のメモリ、あるいは一画面分の画像データを保持するためのフレームバッファとして用いられるフレームメモリを備えるものであり、当該フレームメモリに輝度データＤＹおよび色差データＤＣｒ，ＤＣｂを記憶する。

出力同期信号生成部７は、記憶部４に記憶された輝度データＤＹおよび色差データＤＣｒ，ＤＣｂを読み出すタイミングを示す同期信号ＱＳを生成して記憶部４に出力する。ここで出力同期信号生成部７は、記憶部４のフレームメモリにおいてフレーム周波数の変換を行う場合、すなわち記憶部４から画像データＤａと異なるフレーム周波数の画像データを出力する場合、同期信号Ｓａと異なる周期の同期信号ＱＳを生成する。記憶部４において、フレーム周波数の変換が行われない場合は、同期信号ＱＳと同期信号Ｓａは等しくなる。

記憶部４は、輝度データＤＹ，色差データＤＣｒ，ＤＣｂを出力同期信号生成部７からの同期信号ＱＳに基づいて読み出し、タイミング調整された輝度データＱＹ、色差データＱＣｒ，ＱＣｂを輪郭補正部５に出力する。このとき記憶部４は、色差データＱＣｒ，ＱＣｂを輝度データＱＹに対し輪郭補正処理を行うのに必要な時間だけ遅延して読み出す。

輪郭補正部５は、記憶部４から読み出された輝度データＱＹに対して輪郭補正処理を施し、輪郭補正された輝度データＺＹｂと記憶部４から所定の時間だけ遅れて読み出された色差データＤＣｒ，ＤＣｂを変換部６に出力する。

変換部６は、輝度データＺＹｂ、色差データＱＣｒ，ＱＣｂを表示部９が表示可能な形式の画像データＱｂに変換して送信部８に出力する。具体的には、輝度データと色差データからなる画像データを赤、緑、青の３原色の色データからなる画像データに変換する。表示部９が受信可能なデータ形式が上記３原色の色データからなる画像データ以外の場合はこの限りではなく、変換部６は適切な形式のデータに変換を行う。

表示部９は、送信部８が出力する画像データＱｃを同期信号Ｓｃが示すタイミングで表示する。表示部９は、液晶パネル、プラズマパネル、ＣＲＴ、有機ＥＬといった任意の表示デバイスにより構成される。

図２は、図１に示す画像処理部２の詳細な内部構成を示すブロック図である。図２に示すように、記憶部４は、フレームメモリ１０、フレームメモリ制御部１１により構成される。フレームメモリ１１は先述したように、フレーム周波数変換用のメモリ、または一画面分の画像データを保持するためのフレームバッファとして用いられるものであり、一般的な画像表示装置について設けられるフレームメモリを用いることができる。輪郭補正部５は、垂直輪郭補正部１２を備えている。

図３は、図２に示すフレームメモリ制御部１１の内部構成を示すブロック図である。図３に示すように、フレームメモリ制御部１１は、書き込み制御部１３、および読み出し制御部１８を備えている。書き込み制御部１３は、ラインバッファ１４，１５，１６、書き込みアドレス制御部１７により構成され、読み出し制御部１８は、ラインバッファ１９，２０，２１、読み出しアドレス制御部２２により構成される。

以下、画像処理部２の動作を図２および図３に基づいて詳細に説明する。
変換部３は、画像データＤａを輝度データＤＹと色差データＤｃｒ，Ｄｃｂに変換し、記憶部４のフレームメモリ制御部１１に出力する。同時に変換部３は、同期信号Ｓａを、画像データＤａの変換処理に必要な時間だけ遅延し、遅延された同期信号ＤＳをフレームメモリ制御部１１に出力する。

フレームメモリ制御部１１に入力された輝度データＤＹおよび色差データＤＣｒ，ＤＣｂは、書き込み制御部１３のラインバッファ１４，１５，1６にそれぞれ入力される。書き込みアドレス制御部１７は、同期信号ＤＳに基づいて、ラインバッファ１４，１５，１６に入力された輝度データＤＹおよび色差データＤＣｒ，ＤＣｂをフレームメモリ１０に書き込むための書き込みアドレスＷＡを発生する。書き込み制御部１３は、ラインバッファに記憶された輝度データＤＹ、および色差データＤＣｒ，ＤＣｂを順次読み出し、これらのデータを書き込みアドレスＷＡに対応する画像データＷＤとしてフレームメモリ１０に書き込む。

一方、読み出しアドレス制御部２２は、出力同期信号生成部７により出力される同期信号ＱＳに基づいて、フレームメモリ１０に書き込まれた輝度データＤＹおよび色差信号ＤＣｒ，ＤＣｂを読み出すための読み出しアドレスＲＡを生成して出力する。読み出しアドレスＲＡは、色差データＤＣｒ，ＤＣｂが輝度データＤＹに対し、輪郭補正部５において輪郭補正処理を行うのに必要な期間遅延して読み出されるよう生成される。フレームメモリ１０は、読み出しアドレスＲＡに基づいて読み出されるデータＲＤをラインバッファ１９，２０，２１に出力する。ラインバッファ１９，２０，２１は、以上のようにしてタイミング調整された輝度データＱＹおよび色差データＱＣｒ，ＱＣｂを輪郭補正部５に出力する。

フレームメモリ１０にＤＲＡＭ等を用いる場合、フレームメモリ１０とフレームメモリ制御部１１との間では書き込みと読み出しのいずれか一方しかできない。このため、１ライン分の輝度データ、および色差データの連続的な書き込み、あるいは読み出し動作ができないので、ラインバッファ１４，１５，１６は、時間的に連続した輝度データＤＹ、および色差データＤＣｒ，ＤＣｂを間欠的にフレームメモリに書き込み、ラインバッファ１９，２０，２１は、フレームメモリ１０から間欠的に読み出された輝度データＱＹおよび色差データＱＣｒ，ＱＣｂを時間的に連続したデータとして出力されるようタイミング調整を行う。

輪郭補正部５に入力された輝度データＱＹは垂直輪郭補正部１２に入力される。垂直輪郭補正部１２は、輝度データＱＹに対し、垂直方向の輪郭補正を行い、輪郭補正後の輝度成分のデータＺＹｂを変換部６に出力する（垂直輪郭補正部１２の輪郭補正動作については後述する）。ここで、垂直方向の輪郭補正処理を行う場合、補正後の輝度データＺＹｂと、補正前の輝度データＱＹとの間には所定のライン数分の遅延が発生する。この遅延ライン数をｋラインとすると、変換部６に入力される色差データＱＣｒ，ＱＣｂについてもｋラインだけ遅延させなければならない。読み出しアドレス制御部２２は、補正後の輝度データＺＹｂと色差データＱＣｒ，ＱＣｂとが同期して変換部６に入力されるよう読み出しアドレスＲＡを生成する。すなわち、色差データＱＣｒ，ＱＣｂが輝度データＺＹｂに対し、ｋライン分遅れて読み出されるよう読み出しアドレスＲＡを生成する。

図４は、フレームメモリの書き込みおよび読み出しのタイミングを示す図である。図４（ａ）は、フレームメモリ１０に書き込まれる輝度データＤＹおよび色差データＤＣｒ，ＤＣｂを示している。図４（ｂ）は、フレームメモリ１０から読み出される輝度データＱＹおよび色差データＤＣｒ，ＤＣｂ、ならびに輪郭補正後の輝度データＺＹｂを示している。図４において、同期信号ＤＳおよびＱＳは１ライン期間を示している。

図４（ｂ）に示すように、フレームメモリ制御部１１は、輝度データＱＹのｋライン前の色差データＱＣｒ，ＱＣｂをフレームメモリ１０から読み出す（すなわち色差データＱＣｒ，ＱＣｂを輝度データＱＹからｋラインだけ遅れて読み出す）。これにより、変換部６は、輝度データＺＹｂに同期した色差データＱＣａ，ＱＣｂを出力する。このように、画像データを輝度データＤＹおよび色差データＤＣｒ，ＤＣｂに変換してフレームメモリに書き込み、必要なライン数の輝度データを読み出して輪郭補正処理を行い、色差データＱＣｒ，ＱＣｂについては上記処理に必要なライン数分だけ遅延して読み出すことで、色差データのタイミング調整に必要なラインメモリを削減することができる。

次に垂直輪郭補正部１２の動作について説明する。図５は、垂直輪郭補正部１２の内部構成を示すブロック図である。垂直輪郭補正部１２は、ライン遅延Ａ２３、輪郭幅補正部２４、ライン遅延Ｂ２９、輪郭強調部３０を備えている。輪郭幅補正部２４は、輪郭幅検出部２５、倍率制御量生成部２６、倍率生成部２７、補間演算部２８により構成され、輪郭強調部３０は、輪郭検出部３１、強調量生成部３２、強調量加算部３３により構成される。

フレームメモリ制御部１１により出力された輝度データＱＹは、ライン遅延Ａ２３に入力される。ライン遅延Ａ２３は、輪郭幅補正部２４における垂直方向の輪郭幅補正処理に必要な画素数の輝度データＱＹａを出力する。輪郭幅補正処理が、垂直方向に配列する１１個の画素を用いて行われる場合、輝度データＱＹａは１１個の画素データで構成される。
図６は、ライン遅延Ａ２３から出力される輝度データＱＹａのタイミングチャートであり、輝度データＱＹａの画素数を２ｋａ＋１とした場合について示している。ライン遅延Ａ２３から出力された輝度データＱＹａは輪郭幅検出部２５および補間演算部２８に入力される。

図７は、輪郭幅補正部２４における輪郭幅補正処理について説明するための図である。輪郭幅検出部２５は、輝度データＱＹａの大きさが垂直方向に所定期間連続的に変化している部分を輪郭として検知し、当該輪郭の幅（輪郭幅）Ｗａ、および輪郭幅における所定の位置を基準位置ＰＭとして検出する。図７（ａ）は輪郭幅検出部２５により検出される輪郭幅Ｗａおよび基準位置ＰＭを示している。検出された輪郭幅Ｗａおよび基準位置ＰＭは倍率制御量生成部２６に入力される。

倍率制御量生成部２６は、検出された輪郭幅Ｗａと輪郭基準位置Ｗａに基づいて、輪郭幅補正に用いる倍率制御量ＺＣを出力する。図７（ｂ）は、倍率制御量を示す図である。図７（ｂ）に示すように、倍率制御量ＺＣは輪郭前部ｂおよび輪郭後部ｃで正、輪郭中央部ｃで負、他の部分ではゼロとなり、輪郭部における総和が０となるよう生成される。倍率制御量ＺＣは倍率生成部２７に送られる。

倍率生成部２７は、予め設定される画像全体の変換倍率である基準変換倍率Ｚ０に倍率制御量ＺＣを重畳して変換倍率Ｚを発生する。図７（ｃ）は、変換倍率Ｚを示す図である。変換倍率Ｚは、輪郭前部ｂおよび輪郭後部ｄでは基準変換倍率Ｚ０よりも大きく、輪郭中央部ｃでは基準変換倍率Ｚ０よりも小さくなり、変換倍率Ｚの平均は基準変換倍率Ｚ０と等しくなる。この基準倍率をＺ０＞１とした場合、輪郭幅補正処理とともに画素数を増やす拡大処理が行われ、Ｚ０＜１とした場合は画素数を減らす縮小処理が行われる。また、基準変換倍率をＺ０＝１とした場合、輪郭補正処理のみが行われる。

補間演算部２８は、変換倍率Ｚに基づいて輝度データＱＹａに対し補間演算処理を行う。補間演算処理の際、変換倍率Ｚが基準変換倍率Ｚ０よりも大きい輪郭前部ｂおよび輪郭後部ｄでは補間密度が高くなり、変換倍率Ｚが基準倍率Ｚ０よりも小さい輪郭中央部ｃでは補間密度が低くなる。つまり、輪郭前部ｂおよび輪郭後部ｄでは画素数を相対的に増やす拡大処理が行われ、輪郭中央部ｃでは画素数を相対的に減らす縮小処理が行われる。図７（ｄ）は、図７（ｃ）に示す変換倍率Ｚに基づいて画素数変換、および輪郭幅補正を行った輝度データＺＹａを示す図である。輪郭中央部ｃでは画像を縮小し、輪郭前部ｂおよび輪郭後部ｄでは画像を拡大することにより、図７（ｄ）に示すように輪郭幅を縮小し、輪郭部における輝度を急峻に変化させ、画像の鮮鋭度を向上することができる。

ここで、輪郭幅Ｗａに基づいて生成される倍率制御量ＺＣは、期間ｂ，ｃ，ｄにおける総和がゼロとなるように生成される。つまり、図７（ｂ）において斜線で示した部分の面積をそれぞれＳｂ，Ｓｃ，Ｓｄとすると、Ｓｂ＋Ｓｄ＝Ｓｃとなるように生成される。このため、変換倍率Ｚは局部的に変動するが、画像全体での変換倍率Ｚは、基準変換倍率Ｚ０と等しくなる。このように、変換倍率Ｚの総和が基準変換０と等しくなるよう倍率制御量ＺＣを生成することにより、輪郭部における画像のずれを生じることなく輪郭幅を補正することができる。

なお、輪郭幅Ｗａの補正量、すなわち変換後の輪郭幅Ｗｂは、図７（ｃ）に示す変換倍率Ｚの大きさ、具体的には図７（ｂ）に示す変換倍率制御量ＺＣの期間ｃにおける面積Ｓｃの大きさによって任意に設定することができる。よって、当該面積Ｓｃの大きさを調整することにより、変換後の画像を所望の鮮鋭度にすることができる。

図８は、輝度データＱＹａと輪郭幅Ｗａとの関係について説明するための図である。ＱＹａ（ｋａ−２），ＱＹａ（ｋａ−１），ＱＹａ（ｋａ），ＱＹａ（ｋａ＋１）は、輝度データＱＹａの一部の画素データを示している。図８においてＷｓは、各画素データの間隔（垂直方向のサンプリング周期）を示している。図８に示すように、画素データＱＹａ（ｋａ−２）とＱＹａ（ｋａ−１）との差分量をａ、画素データＱＹａ（ｋａ−１）とＱＹａ（ｋａ）との差分量をｂ、画素データＱＹａ（ｋａ）とＱＹａ（ｋａ＋１）との差分量をｃとする。すなわち、ａ＝ＱＹａ（ｋａ−１）−ＱＹａ（ｋａ−２）、ｂ＝ＱＹａ（ｋａ）−ＱＹａ（ｋａ−１）、ｃ＝ＱＹａ（ｋａ＋１）−ＱＹａ（ｋａ）とする。ここで、ａ，ｂ，ｃは、それぞれ輪郭前部、輪郭中央部、輪郭後部の画素データの変化量を示している。

輪郭幅検出部２５は、輝度データが単調増加あるいは単調減少しており、かつ輪郭前部および後部が輪郭中央部に比べて平坦であるような部分を、輪郭として検出するものとする。このときの条件は、ａ，ｂ，ｃそれぞれの正負の符号が同じかまたはゼロであり、かつａの絶対値とｃの絶対値の両方がｂの絶対値より小さいことである。つまり、以下に示す式（１ａ）および式（１ｂ）を同時に満たす場合、図８に示す画素データＱＹａ（ｋａ−２），ＱＹａ（Ｋａ），ＱＹａ（Ｋａ＋１）の３画素を輪郭とみなし、この期間を輪郭幅Ｗａとして出力する。
ａ≧０，ｂ≧０，ｃ≧０、またはａ≦０，ｂ≦０，ｃ≦０ …（１ａ）
｜ｂ｜＞｜ａ｜，｜ｂ｜＞｜ｃ｜ …（１ｂ）
このとき、輪郭幅Ｗａ＝３×Ｗｓである。

図６に示すように、輪郭幅検出部２５には２ｋａ＋１個の画素データが入力されるので、２ｋａ＋１画素までの輪郭、２ｋａ×Ｗｓまでの輪郭幅を検出できる。よって、倍率制御量生成部２６において、検出された輪郭幅に応じて異なる変換倍率制御量を与えることにより、画像の鮮鋭度を輪郭幅に応じて調整することができる。また、輪郭の振幅ではなく輪郭幅に応じて変換倍率制御量を決定するので、輝度変化が緩やかな輪郭についても鮮鋭度を向上させることができる。
なお、輪郭幅の検出は、１画素おき（２Ｗｓ間隔）に抽出される画素データを用いて行ってもよい。

補間演算部２８により出力される輪郭幅補正後の輝度データＺＹａは、ライン遅延Ｂ２９に送られる。ライン遅延Ｂ２９は、輪郭強調部３０における輪郭強調処理に必要な画素数の輝度データＱＹｂを出力する。輪郭強調処理が５個の画素を用いて行われる場合、輝度データＱＹｂは５画素分の輝度データで構成される。図９はライン遅延Ｂ２９から出力される輝度データＱＹｂのタイミングチャートであり、輝度データＱＹｂの画素数を２ｋｂ＋１とした場合について示している。ライン遅延Ｂ２９から出力された輝度データＱＹｂは、輪郭検出部３１、および強調量加算部３３に入力される。

輪郭検出部３１は、輝度データＹＱｂに対し２次微分等の微分演算を行うことにより、補正後の輪郭幅Ｗｂにおける輝度の変化量を検出し、検出結果を輪郭検出データＲとして強調量生成部３２に出力する。強調量生成部３２は、輪郭検出データＲに基づいて輝度データＱＹｂの輪郭を強調するための強調量ＳＨを生成し、強調量加算部３３に出力する。強調量加算部３３は、輝度データＱＹｂに強調量ＳＨを加算することにより画像データＱＹｂの輪郭を強調する。

図１０は、輪郭強調部３０における輪郭強調処理について説明するための図である。図１０（ａ）は輪郭幅補正前の輝度データＱＹａを示し、図１０（ｂ）は輪郭幅補正後の輝度データＺＹａを示す。図１０（ｃ）は、（ｂ）に示す輝度データＺＹａに基づいて生成される強調量ＳＨを示し、図１０（ｄ）は、（ｃ）に示す強調量ＳＨを（ｂ）に示す輝度データＺＹａに加算して得られる輪郭強調後の輝度データＺＹｂを示している。

図１０（ｄ）に示すように、輪郭強調部３０は輪郭幅補正部２４により幅が縮小された輪郭部の前後に（ｃ）に示す強調量ＳＨ、すなわちアンダーシュートおよびオーバーシュートを付加して輪郭強調処理を行う。ここで、輪郭幅の補正を行わずに輪郭強調処理を行おうとすると、輝度変化が緩やかな輪郭についてはアンダーシュートおよびオーバーシュートの生成に用いる微分回路の通過帯域を低く設定しなければならない。通過帯域の低い微分回路を用いて生成されるアンダーシュートおよびオーバーシュートは幅が広い形状となるため、輪郭の鮮鋭度を十分に高めることができない。

本発明に係る画像処理装置においては、図１０（ａ）および図１０（ｂ）に示すように、輝度データＱＹａの輪郭幅Ｗａを縮小して輪郭部における輝度変化を急峻にする輪郭幅補正処理を行い、輪郭補正された輝度データＺＹａに基づいて図１０（ｃ）に示すアンダーシュートおよびオーバーシュート（強調量ＳＨ）を生成し、この強調量ＳＨを輪郭幅補正された輝度データＺＹａに付加するので、幅の広いぼやけた輪郭部を適切に補正し、鮮鋭度の高い画像を得ることができる。

なお、輪郭強調部３０は、ノイズ成分に対しては強調処理を行わないよう構成してもよく、さらに、ノイズ成分を低減するノイズリダクション機能を設けてもよい。このような処理は、強調量生成部３２において輪郭検出部３１の輪郭検出データＲに対して非線形処理を行うことで実現することができる。
また、輪郭検出部３１において求められる輪郭検出データＲは、微分演算以外にパターンマッチングや他の演算によって検出してもよい。

図１１は、画像処理部２の他の構成を示すブロック図である。図１１に示す画像処理部２は、垂直輪郭補正部１２の後段に水平輪郭補正部３４を備えている。水平輪郭補正部３４は、垂直輪郭補正部１２により出力される輝度データＺＹｂを入力し、水平方向の輪郭補正処理を行う。

図１２は、水平輪郭補正部３４の内部構成を示すブロック図である。輪郭幅補正部２４および輪郭強調部３０の構成および動作は、図５に示す垂直輪郭補正部１２と同様である。
画素遅延Ａ３５は、垂直輪郭補正部１２から順次出力される輝度データＺＹｂを入力し、輪郭幅補正部２４における水平方向の輪郭幅補正処理に必要な画素数の輝度データＱＹｃを出力する。図１３は、画素遅延Ａ３５から出力される輝度データＱＹｃを示す模式図であり、輝度データＱＹｃの画素数を２ｍａ＋１とした場合について示している。図１３に示すように、画素遅延Ａ３５は水平方向に配列する複数の画素データからなる輝度データＱＹｃを出力する。輪郭幅補正が、水平方向に配列する１１個の画素を用いて行われる場合、輝度データＱＹｃは１１個の画素データで構成される。

画素遅延Ａ３５から出力された２ｍａ＋１画素分の輝度データＱＹｃは、輪郭幅補正部２４に送られる。輪郭幅補正部２４は、水平方向の輝度データＱＹｃに対し、先述した垂直方向における輪郭幅補正処理と同様の処理を行うことにより、水平方向の輪郭幅が補正された輝度データＺＹｃを出力する。

輪郭幅補正部２４により出力される輪郭幅補正後の輝度データＺＹｃは、画素遅延Ｂ３６に入力される。画素遅延Ｂ３６は、輪郭強調部３０における輪郭強調処理に必要な画素数の輝度データＱＹｄを出力する。図１４は、画素遅延Ｂ３６から出力されるＱＹｄのデータを示す模式図であり、輝度データＺＹｃの画素数を２ｍｂ＋１とした場合について示している。図１４に示すように、画素遅延Ｂ３６は水平方向に配列する複数の画素データからなる輝度データＱＹｄを出力する。輪郭強調が、水平方向に配列する５個の画素を用いて行われる場合、輝度データＱＹｄは５個の画素データで構成される。

画素遅延Ｂ３６から出力された２ｍｂ＋１画素分の輝度データＱＹｄは、輪郭強調部３０に送られる。輪郭強調部３０は、水平方向の輝度データＱＹｄに対し、先述した垂直方向における輪郭強調処理と同様の処理を行うことにより、水平方向に輪郭強調された輝度データＺＹｄを出力する。

水平輪郭補正部３４により出力される輪郭補正後の輝度データＺＹｅは、変換部６に入力される。フレームメモリ制御部１１は、色差データＱＣｒ，ＱＣｂと輪郭補正後の輝度データＺＹｅが同期して変換部６に入力されるよう、輝度データＱＣｒ，Ｑｃｂを輪郭補正に要する期間、すなわち輝度データＱＹが垂直輪郭補正部１２に入力されてから垂直方向の輪郭補正後の輝度データＺＹｂが出力されるまでに要する所定ライン数分の期間、および水平輪郭補正部３４に垂直輪郭補正後の輝度データＺＹｂが入力されてから水平輪郭補正後の輝度データＺＹｄが出力されるまでに要する所定クロック数分の期間だけ遅延して出力する。具体的には、色差データＱＣｒ，ＱＣｂが輝度データＺＹｄに対して上記期間だけ遅延してフレームメモリ６から出力されるよう読み出しアドレスＲＡを生成する。これにより、輝度データＱＣｒ，ＱＣｂを遅延するためのラインメモリを削減することができる。
なお、水平方向の輪郭補正を行った後に垂直方向の輪郭補正を行ってもよく、また、垂直方向と水平方向の輪郭補正を同時に実施してもよい。

以上において説明した本発明に係る画像処理装置は、画像の垂直方向あるいは水平方向の輪郭補正を行う際、まず輪郭幅を補正し、幅が補正された輪郭にアンダーシュート、オーバーシュートを付加するので、輝度変化の緩やかな輪郭についても輪郭幅を縮小して輝度変化を急峻にし、適切な幅のアンダーシュート、オーバーシュートを付加することが可能であり、輝度変化の異なる様々な輪郭に対し適切な補正処理を行うことにより画像の鮮鋭度を過不足なく向上することができる。
また、輪郭幅を補正する際、輪郭の振幅ではなく幅の大きさに基づいて補正量を決定するので、輝度変化の緩やかな輪郭についても鮮鋭度を向上させ、適切な輪郭強調処理を行うことができる。

また、輪郭補正を行う際、輝度データＱＹと色差データＱＣｒ，ＱＣｂをフレームメモリに書き込み、当該フレームメモリから輝度データを読み出して輪郭補正処理を行い、色差データＱＣｒ，ＱＣｂについては輝度データＱＹに対して上記の輪郭補正処理を行うのに要する期間遅らせて読み出すので、色差データＱＣｒ，ＱＣｂのタイミング調整に必要な遅延素子を設けることなく輝度データに対し輪郭補正処理を実施することができる。

実施の形態２．
図１５は、本発明に係る画像処理装置の他の実施形態を示すブロック図である。図１５に示す画像表示装置は、変換部３と記憶部４との間に画素数変換部３８を備えている。他の構成については、実施の形態１において説明した画像処理装置（図１参照）と同様である。

画素数変換部３８は、変換部３により出力される輝度データＤＹおよび色差データＤＣｒ，ＤＣｂからなる画像データに対し、画素数の変換処理、すなわち画像の拡大あるいは縮小処理を行う。図１６は、画素数変換部３８における画像の拡大および縮小処理の例を示す図であり、（ａ）は拡大処理、（ｂ）は縮小処理、（ｃ）は部分拡大処理をそれぞれ示している。
図１６（ａ）および（ｃ）に示すように画像の拡大処理を行った場合、以下に述べるように輪郭部が不鮮明になるという問題が生じる。図１７は画像の拡大処理を行った場合の輪郭部分の輝度変化を示す図であり、図１７（ａ）は入力画像、（ｂ）は拡大画像における輪郭部分の輝度変化をそれぞれ示している。図１７（ｂ）に示すように、拡大処理を行った場合、輪郭幅が広がることにより輪郭部分がぼやけた画像となる。

拡大処理あるいは縮小処理を行った画像データは記憶部４に一時的に記憶され、所定のタイミングで読み出され、輪郭補正部５に送られる。輪郭補正部５は、記憶部４から出力される輝度データＤＹに対し、実施の形態１において述べた輪郭補正処理を行うことにより、拡大処理によりぼやけた輪郭を補正する。

本実施の形態に示す画像処理装置によれば、画像の拡大処理により幅が広がった輪郭部を実施の形態１において説明した方法により補正するので、鮮鋭度を低下させることなく任意の倍率で画像を拡大することができる。また、実施の形態１と同様に、拡大処理により幅が広がった輪郭に対し適切な幅のアンダーシュート、オーバーシュートを付加することが可能であり、拡大画像の鮮鋭度を過不足なく向上することができる。
なお、画像の拡大あるいは縮小処理を行った後に、当該画像を構成するデータ輝度データと色差データからなる画像データに変換するよう構成してもよい。

実施の形態３．
図１８は本発明に係る画像処理装置の他の実施形態を示すブロック図である。図１８に示す画像処理装置は、画像信号発生部３９、および合成部４１をさらに備えている。画像信号発生部３９は、受信部１から出力される同期信号Ｓａに基づく所定のタイミングで画像データＤａに合成される画像データＤｂを発生し、合成部４１に出力する。合成部４は画像データＤａに画像データＤｂを合成する。ここでは、画像データＤｂは文字情報を表すものとする。

図１９は、画像処理部４０のより詳細な構成を示すブロック図である。合成部４１は、画像データＤａと画像データＤｂのいずれかを画素毎に選択するか、あるいは、画像データＤａと画像データＤｂとを用いた演算により２つの画像を合成し、合成画像データＤｃを生成する。同時に合成部４１は、合成画像データＤｃの同期信号Ｓｃ、および合成画像データＤｃのうち輪郭補正処理を行わない領域を指定する画像処理制御信号Ｄｂｓを出力する。変換部４２は、実施の形態１と同様に合成画像データＤｃを輝度データＤＹおよび色差データＤＣｒ，ＤＣｂに変換し、画像処理制御信号ＤＹＳおよび同期信号ＤＳとともにフレームメモリ制御部４６に出力する。

フレームメモリ制御部４６は、画像処理制御信号ＤＹＳを輝度データＤＹおよび色差データＤＣｒ，ＤＣｂとともにフレームメモリ４５に一時的に記憶する。フレームメモリ制御部４６は、フレームメモリ４５に格納された輝度データＤＹと、色差データＤＣｒ，ＤＣｂとを図４に示すタイミングで読み出し、タイミング調整された輝度データＱＹ，色差データＱＣｒ，ＱＣｂを出力する。また、フレームメモリ制御部４６は、フレームメモリ４５に一時的に記憶された画像処理制御信号ＤＹＳを垂直輪郭補正部４７における輪郭幅補正処理に要する期間だけ遅延して読み出すことにより、タイミング調整された画像処理制御信号ＱＹＳを出力する。フレームメモリ制御部４６により出力される輝度データＱＹ、および画像処理制御信号ＱＹＳは垂直輪郭補正部４７に入力される。

図２０は、垂直輪郭補正部４７の内部構成を示すブロック図である。図２０に示す垂直輪郭補正部４７は、選択部４９，５２、およびライン遅延Ｃをさらに備えている。なお、他の構成は実施の形態１と同様である。
補間演算部２８は、ライン遅延Ａ２３から出力される垂直方向の輝度データＱＹａに対し垂直方向の輪郭幅補正処理を行い、補正後の輝度データＺＹａを出力する。輪郭幅補正後の輝度データＺＹａは、補正前の輝度データＱＹａ、および画像処理制御信号ＱＹＳとともに選択部４９に送られる。選択部４９は、画像処理制御信号ＱＹＳに基づいて輪郭幅補正された輝度データＺＹａと補正前の輝度データＱＹａのいずれかを画素毎に選択し、ライン遅延Ｂ２９に出力する。

ライン遅延Ｂ２９は、輪郭強調部５１における輪郭強調処理に必要な画素数の輝度データＱＹｂを輪郭検出部３１、および強調量加算部３３に出力する。また、ライン遅延Ｃ５０は、画像処理制御信号ＱＹＳを輪郭強調部５１における処理に必要なライン数分の期間遅延し、遅延された画像処理制御信号ＱＹＳｂを選択部５２に出力する。
強調量加算部３３は、ライン遅延Ｂ２９から出力される垂直方向の輝度データＱＹｂに輪郭強調処理を行った輝度データＺＹｂを出力する。輪郭強調後の輝度データＺＹｂは、輪郭強調前の輝度データＱＹｂ、およびライン遅延Ｃにより遅延された画像処理制御信号ＱＹＳｂとともに選択部５２に送られる。選択部５２は、画像処理制御信号ＱＹＳｂに基づいて輪郭補正処理された輝度データＺＹｂと補正前の輝度データＱＹｂのいずれかを画素毎に選択し、選択した輝度データＺＹを出力する。

図２１は、本実施の形態に係る画像処理装置の動作について説明するための図であり、図２１（ａ）は画像データＤａ、（ｂ）は画像データＤｂ、（ｃ）は合成画像データＤｃ、（ｄ）（ｅ）は画像処理制御信号Ｄｂｓの一例をそれぞれ示している。図２１（ａ）に示す画像データＤａは風景画像を表し、図２１（ｂ）に示す画像データＤｂは文字情報を表しており、これらの画像データを合成することにより図２１（ｃ）に示す風景画像に文字情報が重畳された合成画像データＤｃが生成される。図４（ｄ）に示す画像処理制御信号ＱＹＳによれば、白で示された矩形領域において輪郭補正処理は行われず、当該領域以外の部分のみ輪郭補正処理が行われる。また、図４（ｅ）に示す画像処理制御信号によれば、文字情報部分において輪郭補正処理は行われず、文字情報以外の領域、すなわち風景画像部分において輪郭補正処理が行われる。

輪郭幅補正部４８および輪郭強調部５１の選択部４９，５２において、図２１（ｄ），（ｅ）に示すような画像処理制御信号ＱＹＳに基づいて輪郭補正前の輝度データと補正後の輝度データとを選択することにより、不要な補正により文字情報やその周辺の輪郭が不自然になるのを防ぐことができる。

以上において説明したように、本実施の形態による画像処理装置においては、画像データに文字情報や図形情報といった任意の画像を合成し、合成画像に輪郭補正処理を行うとともに合成画像における特定の領域を指定する画像処理制御信号を発生し、補正後の合成画像と補正前の合成画像を画像処理制御信号に基づいて画素毎に選択して出力するので、必要な部分のみについて輪郭補正処理を行うことが可能である。

本発明の画像処理装置の一実施形態を示すブロック図である。 画像処理部の内部構成を示すブロック図である。 フレームメモリ制御部の内部構成を示すブロック図である。 フレームメモリの書き込みおよび読み出しのタイミングを示す図である。 垂直輪郭補正部の内部構成を示すブロック図である。 ライン遅延の動作を説明するための図である。 輪郭幅補正処理について説明するための図である。 輪郭幅の検出方法について説明するための図である。 ライン遅延の動作を説明するための図である。 輪郭強調処理について説明するための図である。 本発明に係る画像処理装置の一実施形態を示すブロック図である。 垂直輪郭補正部の内部構成を示すブロック図である。 画素遅延の動作を説明するための図である。 画素遅延の動作を説明するための図である。 本発明に係る画像処理装置の一実施形態を示すブロック図である。 画素数変換部における画像の拡大および縮小処理を示す図である。 画像の拡大処理に伴う輪郭幅の変化を示す図である。 本発明の画像処理装置の一実形態を示すブロック図である。 画像処理部の内部構成を示すブロック図である。 輪郭補正部の内部構成を示すブロック図である。 画像の合成および画像処理制御信号について説明するための図である。

符号の説明

１ 受信部、 ２ 画像処理部、 ３ 変換部、 ４ 記憶部、 ５ 輪郭補正部、 ６ 変換部、 ７ 出力同期信号生成部、 ８ 送信部、 ９ 表示部、 １０ フレームメモリ、 １１ フレームメモリ制御部、 １２ 垂直輪郭補正部

Claims (11)

1. 画像データの輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて倍率制御量を生成する倍率制御手段と、
   上記倍率制御量に基づいて上記画像データに対し補間演算処理を行うことにより、上記輪郭幅を補正する輪郭幅補正手段と、
   上記輪郭幅を補正した画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する強調量算出手段と、
   上記輪郭幅を補正した画像データに上記強調量を付加することにより、上記画像データの輪郭部を強調する輪郭強調手段とを備えることを特徴とする画像処理装置。
2. 上記倍率制御手段は、輪郭前部において正、輪郭中央部において負、輪郭後部において正となり、全体の総和が０となるよう上記倍率制御量を生成し、当該倍率制御量を画像データの拡大または縮小率を示す基準変換倍率に重畳して変換倍率を生成し、
   上記輪郭幅補正手段は、上記変換倍率に基づいて補間演算処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 上記画像データに合成する画像を生成する画像生成手段と、
   上記画像生成手段により生成された画像を上記画像データに合成した合成画像データを出力する画像合成手段と、
   上記合成画像データの所定の領域を指定する画像処理制御信号を生成する手段とをさらに備え、
   上記輪郭幅補正手段、および上記輪郭強調手段は、上記画像処理制御信号により指定された領域についてのみ輪郭幅の補正、および輪郭部の強調をそれぞれ行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 画像データの輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて倍率制御量を生成する工程と、
   上記倍率制御量に基づいて上記画像データに対し補間演算処理を行うことにより、上記輪郭幅を補正する工程と、
   上記輪郭幅を補正した画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する工程と、
   上記輪郭幅を補正した画像データに上記強調量を付加することにより、上記画像データの輪郭部を強調する工程とを備えることを特徴とする画像処理方法。
5. 上記倍率制御量は、輪郭前部において正、輪郭中央部において負、輪郭後部において正となり、全体の総和が０となるよう生成され、当該倍率制御量を画像データの拡大または縮小率を示す基準変換倍率に重畳して変換倍率を生成する工程をさらに備え、
   上記変換倍率に基づいて補間演算処理を行うことを特徴とする請求項４に記載の画像処理方法。
6. 上記画像データに合成する画像を生成する工程と、
   上記画像を上記画像データに合成した合成画像データを出力する工程と、
   上記合成画像データの所定の領域を指定する画像処理制御信号を生成する工程とをさらに備え、
   上記画像処理制御信号により指定された領域についてのみ輪郭幅の補正、および輪郭部の強調をそれぞれ行うことを特徴とする請求項４または５に記載の画像処理方法。
7. 画像データを受信し、当該画像データを輝度データおよび色差データに変換する変換手段と、
   上記輝度データおよび色差データをフレームメモリに書き込み、当該フレームメモリに書き込まれた上記輝度データおよび色差データを所定のタイミングで読み出すフレームメモリ制御手段と、
   上記フレームメモリから読み出される上記輝度データから、垂直方向に配列する複数の画素データを抽出する手段と、
   上記垂直方向に配列する複数の画素データから輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて垂直方向の倍率制御量を生成する倍率制御手段と、
   上記垂直方向の倍率制御量に基づいて上記輝度データに対し補間演算処理を行うことにより、垂直方向の輪郭幅を補正する輪郭幅補正手段とを備え、
   上記フレームメモリ制御手段は、上記色差データを上記輝度データに対し、少なくとも上記垂直方向の輪郭幅の補正に要する期間遅延して読み出すことを特徴とする画像処理装置。
8. 上記垂直方向の輪郭幅を補正した輝度データの高域成分を検出し、検出された高域成分に基づいて上記輝度データの垂直方向の輪郭部を強調するための強調量を算出する強調量算出手段と、
   上記垂直方向の輪郭幅を補正した輝度データに上記強調量を付加することにより、上記輝度データの垂直方向の輪郭部を強調する輪郭強調手段とをさらに備え、
   上記フレームメモリ制御手段は、上記色差データを上記輝度データに対し、上記垂直方向の輪郭幅の補正および輪郭部の強調に要する期間遅延して読み出すことを特徴とする請求項７に記載の画像処理装置。
9. 上記フレームメモリから読み出される上記輝度データから、水平方向に配列する複数の画素データを抽出する手段と、
   上記水平方向に配列する複数の画素データから輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて水平方向の倍率制御量を生成する倍率制御手段と、
   上記水平方向に配列する複数の画素データから輪郭部を検出し、検出された輪郭部の輪郭幅に基づいて水平方向の倍率制御量を生成する倍率制御手段と、
   上記水平方向の倍率制御量に基づいて上記輝度データに対し補間演算処理を行うことにより、水平方向の輪郭幅を補正する輪郭幅補正手段とを備えることを特徴とする請求項７または８に記載の画像処理装置。
10. 上記水平方向の輪郭幅を補正した輝度データの高域成分を検出し、検出された高域成分に基づいて上記輝度データの水平方向の輪郭部を強調するための強調量を算出する強調量算出手段と、
    上記水平方向の輪郭幅を補正した輝度データに上記強調量を付加することにより、上記輝度データの水平方向の輪郭部を強調する輪郭強調手段とをさらに備えることを特徴とする請求項９に記載の画像処理装置。
11. 請求項１〜３、７〜１０のいずれか１項に記載の画像処理装置を備えた画像表示装置。
    

Images