JP2010245967A - 画像処理用ｌｓｉ - Google Patents

Abstract

【課題】動きの多い部分と動きの少ない部分のいずれにおいても、スケーリング後の画質を良好にすることができる画像処理用ＬＳＩを提供する。
【解決手段】フレーム遅延部２２は、入力画像信号を１フレーム分遅延させて、前フレームの画素と現フレームの画素とを出力する。動き情報処理部３２は、前フレームの画素と現フレームの画素に基づいて、前フレームと現フレームの動き量を算出する。係数テーブル記憶部３０は、カットオフ周波数が相違する周波数特性を有する複数個のフィルタ係数セットを記憶する。係数選択部３０は、動き量に基づいて、係数テーブル記憶部３０内の１つのフィルタ係数セットを選択する。フィルタ演算部３１は、選択されたフィルタ係数セットを用いて、入力画像信号に対する演算を行ない、スケーリング後の画素の値を算出する。
【選択図】図２

Description

本発明は、画像処理用ＬＳＩに関し、特にスケーラ機能を有する画像処理用ＬＳＩに関する。

テレビ等の画像表示装置においては、受信した画像のサイズを出力パネルのサイズに合わせるために、画像の拡大あるいは縮小処理（スケーリングと呼ぶ）を行なうことが一般的である。このような画像のスケーリングを行なう装置（スケーラと呼ぶ）としては、たとえば、特許文献１（特開２００６−２５３７５９号公報）に開示されているものがある。

特許文献１に記載のスケーラの処理では、まずスケーリング後の画像の各画素座標を、スケーリング倍率に応じて元画素に対する相対位置として求める（これを単に画素座標と呼ぶ）。次に求めた画素位置の周辺にある複数の元画素をもとに、スケーリング後の画素値を計算する。この計算では通常、複数の元画素と特定の重み係数との積和演算（フィルタ演算）を行ない、係数は、元画素に対する相対位置によって予め定められた値を選択して用いるのが一般的である。

また、特許文献１には、スケーリング倍率に依存した画像の劣化を抑制するために、スケーリング倍率によって異なる係数セットを用いることも開示されている。

さらに、特許文献２（特開２００８−１２３１５６号公報）には、入力画像の輝度パターンに応じて適応的に使用する係数セットを切り替えることにより、スケーリング後の画質を向上させる手法が開示されている。

特開２００６−２５３７５９号公報 特開２００８−１２３１５６号公報

しかしながら特許文献１および特許文献２に記載のスケーラにおいては、画像の動きに対して適応的に処理を行なうことはできない。そのため、動きの少ない部分で鮮鋭感を出すことと、動きの多い部分でスケーリング特有の画質劣化をもたらす折り返し歪みを抑制することとを両立させることが難しかった。これは、人間の視覚には、静止画では目立たなかった低周波成分が、時間とともに動くことによって強調される（感度が増す）という特性があるからである。

それゆえに、本発明の目的は、動きの多い部分と動きの少ない部分のいずれにおいても、スケーリング後の画質を良好にできる画像処理用ＬＳＩを提供することである。

本発明の一実施例のスケーリング機能を有する画像処理用ＬＳＩによれば、入力画像信号を１フレーム分遅延させて、前フレームの画素と現フレームの画素とを出力するフレーム遅延部と、前フレームの画素と現フレームの画素に基づいて、前フレームと現フレームの動き量を算出する動き処理部と、カットオフ周波数が相違する周波数特性を有する複数個のフィルタ係数セットを記憶する記憶部と、動き量に基づいて、記憶部内の１つのフィルタ係数セットを選択する選択部と、選択されたフィルタ係数セットを用いて、入力画像信号に対する演算を行ない、スケーリング後の画素の値を算出するフィルタ演算部とを備える。

すなわち、フレーム間での動き検出を行い、動き量に応じて高周波成分の減衰率の程度を決める係数を変更させるようにし、具体的には、動き量が大きい場合には高周波成分の減衰率を高める係数を選択して入力画像信号に対するフィルタ演算を行なう。

本発明によれば、動きの多い部分と動きの少ない部分のいずれにおいても、スケーリング後の画質を良好にすることができる。

本発明の実施形態のテレビ放送受信システムの構成を表わす図である。 第１の実施形態のスケーラの構成を表わす図である。 フィルタ係数セットの周波数特性を表わす図である。 入力画像のナイキスト周波数と折返し歪との関係を説明するための図である。 図２のスケーラの処理手順を表わすフローチャートである。 ステップＳ１０７の処理の詳細な手順を表わす図である。 ステップＳ１０８の処理の詳細な手順を表わす図である。 第２の実施形態のスケーラの構成を表わす図である。 図８のスケーラの処理手順を表わすフローチャートである。 ステップＳ４１３の処理の詳細な手順を表わす図である。 ステップＳ４１４の処理の詳細な手順を表わす図である。

以下、本発明の実施形態について図面を参照して説明する。
［第１の実施形態］
第１の実施形態は、画素単位の動き量に応じて、フィルタ係数セットを選択するスケーラを備えた画像処理用ＬＳＩに関する。

（テレビ放送受信システムの構成）
図１は、本発明の実施形態のテレビ放送受信システムの構成を表わす図である。

図１を参照して、このテレビ放送受信システムは、アンテナ１と、チューナ２と、チューナ２から出力された信号に対して処理を行なう画像処理用ＬＳＩ(Large Scale Integration)４と、画像処理用ＬＳＩ４から出力される映像を表示するテレビ５と、画像処理用ＬＳＩ４から出力されるデータを記憶するＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)３とを備える。

画像処理用ＬＳＩ４は、ＡＤ(Analog-Digital)コンバータ６と、システムデコーダ７と、ＭＰＥＧ（Motion Picture Experts Group）デコーダ８と、インターレース／プログレッシブ変換器９と、スケーラ１０と、ＤＡ(Digital-Analog)コンバータ１１と、ＳＤＲＡＭＩ／Ｆ１２と、ＣＰＵ(Central Processing Unit)１３とを備える。これらの構成要素間は、システムバス１４で接続される。

ＡＤコンバータ６は、チューナ２から出力されたアナログ信号をデジタル信号に変換する。

システムデコーダ７は、ＡＤコンバータ６から出力された信号をオーディオデータとビデオデータに分離するなどの処理を行なう。

ＭＰＥＧデコーダ８は、システムデコーダ７から出力されるＭＰＥＧ符号化された信号を復号する。

インターレース／プログレッシブ変換器９は、ＭＰＥＧデコーダ８から出力されるインタレース方式の画像をプログレッシブ方式の画像に変換する。

スケーラ１０は、インターレース／プログレッシブ変換器９から出力される画像を拡大または縮小（スケーリング）する。

ＤＡコンバータ１１は、スケーラ１０から出力されるデジタル信号をアナログ信号に変換する。

ＳＤＲＡＭＩ／Ｆ１２は、ＳＤＲＡＭ３に記憶されたデータを受け、ＳＤＲＡＭ３へ記憶すべきデータをＳＤＲＡＭ３へ出力する。

ＣＰＵ１３は、画像処理用ＬＳＩ４の各構成要素の動作を制御する。
（スケーラ１０の構成）
図２は、第１の実施形態のスケーラの構成を表わす図である。

図２を参照して、このスケーラは、フレーム遅延部２２と、動き情報処理部３２と、スケーリング処理部３３とを備える。動き情報処理部３２による処理と、スケーリング処理部３３による処理とは並行して行なわれる。

フレーム遅延部２２は、入力画素をフレーム単位で遅延させ、前フレームと現フレームの同じ位置の画素を同時に出力する。入力画像の１フレームの水平方向の画素数をＸＳＩＺＥとし、垂直方向の画素数をＹＳＩＺＥとする。入力画素は、水平方向のインデックス番号ｘと、垂直方向のインデックス番号ｙで特定される。ｘは０以上かつ（ＸＳＩＺＥ−１）以下の整数である。ｙは０以上かつ（ＹＳＩＺＥ−１）以下の整数である。

動き情報処理部３２は、動き検出部２３と、動き量算出部２４とを含む。
動き検出部２３は、たとえば「特開平１１−１１２９３９」に記載されているような動き検出処理により画素単位の動きベクトルを生成する。具体的には、動き検出部２３は、前フレームと現フレームの差分信号を生成し、これを２値化する。さらに、動き検出部２３は、ブロックマッチング処理でブロック単位の動きベクトルを検出し、これに基づいて入力画素（ｘ，ｙ）の動きベクトルＭＶ（ｘ，ｙ）＝（ＭＶｘ，ＭＶｙ)（ＭＶｘ:水平方向成分、ＭＶｙ:垂直方向成分、いずれも整数値で単位は「画素」）を生成する。

動き量算出部２４は、生成された動きベクトルＭＶ（ｘ，ｙ）に基づいて、画素単位動き量ＭＱ（ｘ，ｙ）＝|ＭＶｘ|＋|ＭＶｙ|を生成する。

スケーリング処理部３３は、入力画像を水平方向にスケーリング処理して第１段階スケーリング画像を生成する。スケール倍率をＳＬとしたときに、第１段階スケーリング画像の画素数は、水平方向がＳＬ×ＸＳＩＺＥ（小数点少数は切捨て）で、垂直方向がＹＳＩＺＥである。さらに、スケーリング処理部３３は、第１段階スケーリング画像を垂直方向にスケーリング処理して第２段階スケーリング画像を生成する。スケール倍率をＳＬとしたときに、第２段階スケーリング画像の画素数は、水平方向がＳＬ×ＸＳＩＺＥ（小数点以下は切捨て）で、垂直方向がＳＬ×ＹＳＩＺＥ（小数点以下は切捨て）である。

スケーリング処理部３３は、閾値設定レジスタ２５と、係数選択レジスタ２６と、倍率設定レジスタ２７と、スケーリング後画素座標算出部２９と、係数選択部２８と、係数テーブル記憶部３０と、フィルタ演算部３１とを含む。

閾値設定レジスタ２５は、外部から指定された閾値ＴＨを保持する。この閾値ＴＨは、画素単位でフィルタ係数セットを選択する際に画素単位動き量ＭＱ（ｘ，ｙ）との比較のために用いられる。

倍率設定レジスタ２７は、外部から指定されたスケーリング倍率ＳＬを保持する。このスケーリング倍率ＳＬは、スケーリング後画素の座標の算出と、フィルタ係数セットの選択のために用いられる。

スケーリング後画素座標算出部２９は、水平方向にスケーリング処理するときには、倍率設定レジスタ２７に設定されたスケーリング倍率ＳＬに従って、水平方向にスケーリング後の画素の水平方向の座標ｘ′を算出する。具体的には、スケーリング後画素座標算出部２９は、水平方向にスケーリング後の画像（第１段階スケーリング画像）の水平方向のインデックス番号がＸの画素の座標ｘ′の値をＸ×（１／ＳＬ）により算出する。たとえば、水平方向に２倍に拡大するときには、ｘ′は、０、０．５、１、１．５、・・・となる。また、スケーリング後画素座標算出部２９は、垂直方向にスケーリング処理するときには、倍率設定レジスタ２７に設定されたスケーリング倍率ＳＬに従って、垂直方向にスケーリング後の画素の垂直方向の座標ｙ′を算出する。具体的には、スケーリング後画素座標算出部２９は、垂直方向にスケーリング後の画像（第２段階スケーリング画像）の垂直方向のインデックス番号がＹの画素の座標ｙ′の値をＹ×（１／ＳＬ）により算出する。たとえば、垂直方向に２倍に拡大するときには、ｙ′は、０、０．５、１、１．５、・・・となる。スケーリング後の画素の座標の算出方法は、例えば「特開２００６−２５３７５９」に詳しく記載されている。

係数選択レジスタ２６は、外部から指定された周波数特性番号ｎ＿ｒｅｇを保持する。この周波数特性番号ｎ＿ｒｅｇは、フィルタ係数セットの選択のために用いられる。

係数テーブル記憶部３０は、複数のフィルタ係数セット（ｍ，ｎ）（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）を記憶する。フィルタ係数セット（ｍ，ｎ）は、係数テーブル記憶部３０の（ｎ，ｍ）で指定されるアドレスに記憶されている。

フィルタ係数セット（ｍ，ｎ）は、それぞれＬＰＨ（ローパスフィルタ）を実現する。フィルタ係数セットは、フィルタ演算部３１での重み付け平均の各画素の重み係数を含む。たとえば、フィルタ係数セットが｛0.1, 0.2, 0.4, 0.2, 0.1｝の場合には、中心画素に対する重みが「0.4」となり、中心画素に隣接する画素の重みが「0.2」となり、中心画素の１画素隔てて隣接する画素の重みが「0.1」となる。

フィルタ係数セット（ｍ，ｎ）のｎは、周波数特性番号を表わす。同一の周波数特性番号ｎのフィルタ係数セットを用いたフィルタ演算は同一の周波数特性を有し、異なる周波数特性番号ｎのフィルタ係数セットを用いたフィルタ演算は、異なる周波数特性を有する。フィルタ係数セット（ｍ，１）を用いたフィルタ演算では、最もカットオフ周波数が高くなり、フィルタ係数セット（ｍ，２）、フィルタ係数セット（ｍ，３）の順にフィルタ演算のカットオフ周波数が低くなり、フィルタ係数セット（ｍ，Ｎ）が最もカットオフ周波数が低くなる。

図３は、フィルタ係数セットの周波数特性を表わす図である。
図３（ａ）は、周波数特性番号ｎが１のフィルタ係数セットの周波数特性を表わし、図３（ｂ）は、周波数特性番号ｎが２のフィルタ係数セットの周波数特性を表わし、図３（ｂ）は、周波数特性番号ｎがＮのフィルタ係数セットの周波数特性を表わす。

図４は、入力画像のナイキスト周波数と折返し歪との関係を説明するための図である。
図４を参照して、ｆｎＱは入力画像のナイキスト周波数（サンプリング周波数の１／２）である。スケーリングに用いるＬＰＦの理想的なカットオフ周波数は、拡大の場合は、ｆｎＱであり、縮小の場合は縮小後画像のナイキスト周波数である。この場合は折り返し歪みのない画像が得られる。しかしながら、有限タップのフィルタは理想フィルタになり得ないので折り返し歪みが残ることになる。

図３（ｃ）に示すようなカットオフ周波数ｆｃが低い周波数特性を有するフィルタ係数セットを選択すると折り返し歪みを抑制することができるが、その分本来残るべき信号成分が失われぼけた画像になってしまうため、ユーザは、そのトレードオフを考慮しながら最適なフィルタ係数セットを選択する必要がある。たとえば、ユーザは、拡大するときには、拡大率に関係なく、係数選択レジスタ２６に保持する周波数特性番号ｎ＿ｒｅｇの値を「１」に設定することにより、カットオフ周波数が大きな周波数特性を有するフィルタ係数セットを選択して、鮮鋭感を出すようにすればよい。また、ユーザは、縮小するときには、係数選択レジスタ２６に保持する周波数特性番号ｎ＿ｒｅｇの値を縮小率が大きくなるに応じて、大きな値に設定することにより、カットオフ周波数の小さなフィルタ係数セットを選択して、折返し歪みを抑制するようにすることができる。

フィルタ係数セット（ｍ，ｎ）のｍは、位相特性番号を表わす。位相特性番号ｍが相違しても、周波数特性番号ｎが同一であるフィルタ係数セットどうしは、同一の周波数特性を有する。スケーリング後の画素の位相によって別のフィルタ係数セットを用いるのは、スケーリング後の画素が、スケーリング前の画素と同じ位置にあるか、スケーリング前の画素間の中間のどの位置にあるかによって、重み付け平均における各画素の重みが異なるようにする必要があるからである。

係数選択部２８は、周波数特性番号ｎと、位相特性番号ｍの値を選択し、係数テーブル記憶部３０に記憶されているＭ×Ｎ個のフィルタ係数セットの中からフィルタ係数セット（ｍ，ｎ）を出力させる。

水平方向のスケーリング処理を行なう時には、係数選択部２８は、水平方向にスケーリング後の画像（第１段階スケーリング画像）のインデックス（Ｘ，Ｙ）で指定される画素の水平方向の座標ｘ′の整数部分であるｘを特定し、画素単位動き量ＭＱ（ｘ，Ｙ）と閾値設定レジスタ２５に保持されている閾値ＴＨとを比較する。係数選択部２８は、画素単位動き量ＭＱ（ｘ，Ｙ）が閾値ＴＨ未満の場合には、周波数特性番号ｎの値を係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇに設定する。また、係数選択部２８は、画素単位動き量ＭＱ（ｘ，Ｙ）が閾値ＴＨ以上であり、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮでなければ、周波数特性番号ｎの値を（ｎ＿ｒｅｇ＋１）に設定する。係数選択部２８は、画素単位動き量ＭＱ（ｘ，Ｙ）が閾値ＴＨ以上であり、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮであれば、周波数特性番号ｎの値を最大値Ｎに設定する。このように、画素単位の動き量が閾値ＴＨ以上のときに、係数選択レジスタ２６で指定される周波数特性番号の値よりも１段階大きな周波数特性番号のフィルタ係数セットを用いるようにしたのは、折り返し歪みは、動きによって強調される場合があるため、動きのある領域に対して相対的にカットオフ周波数を下げることが有効であるからである。

また、係数選択部２８は、ｘ′の小数部分に対応する位相特性番号ｍを特定する。具体的には、係数選択部２８は、ｘ′の小数部分Ｆの値が（ｉ−１）／Ｍ≦Ｆ＜ｉ／Ｍの場合には、位相特性番号ｍを「ｉ」に設定する。

垂直方向のスケーリング処理を行なう時には、係数選択部２８は、垂直方向にスケーリング後の画像（第２段階スケーリング画像）のインデックス（Ｘ，Ｙ）で指定される画素の垂直方向の座標ｙ′の整数部分であるｙを特定し、画素単位動き量ＭＱ（Ｘ，ｙ）と閾値設定レジスタ２５に保持されている閾値ＴＨとを比較する。係数選択部２８は、画素単位動き量ＭＱ（Ｘ，ｙ）が閾値ＴＨ未満の場合には、周波数特性番号ｎの値を係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇに設定する。また、係数選択部２８は、画素単位動き量ＭＱ（Ｘ，ｙ）が閾値ＴＨ以上であり、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮでなければ、周波数特性番号ｎの値を（ｎ＿ｒｅｇ＋１）に設定する。係数選択部２８は、画素単位動き量ＭＱ（Ｘ，ｙ）が閾値ＴＨ以上であり、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮであれば、周波数特性番号ｎの値を最大値Ｎに設定する。

また、係数選択部２８は、ｙ′の小数部分に対応する位相特性番号ｍを特定する。具体的には、係数選択部２８は、ｙ′の小数部分Ｆの値が（ｉ−１）／Ｍ≦Ｆ＜ｉ／Ｍの場合には、位相特性番号ｍを「ｉ」に設定する。

フィルタ演算部３１は、係数テーブル記憶部３０から出力されたフィルタ係数セット（ｍ，ｎ）とスケーリング後画素座標算出部２９から出力される座標ｘ′、ｙ′に基づいて、現フレームの画素を用いてフィルタ演算を実行する。

水平方向にスケーリング後の画像（第１段階スケーリング画像）のインデックス（Ｘ，Ｙ）で指定される画素の水平方向の座標ｘ′の整数部分がｘであるときに、たとえばフィルタ係数セットが｛0.1, 0.2, 0.4, 0.2, 0.1｝が選択された場合には、フィルタ演算部３１は、インデックス（ｘ，Ｙ）で指定される入力画素の重みを「0.4」とし、インデックス（ｘ＋１，Ｙ）で指定される入力画素およびインデックス（ｘ−１，Ｙ）で指定される入力画素の重みを「0.2」とし、インデックス（ｘ＋２，Ｙ）で指定される入力画素およびインデックス（ｘ−２，Ｙ）で指定される入力画素の重みを「0.1」とし、重み付け平均によって、水平方向にスケーリング後の画像（第１段階スケーリング画像）のインデックス（Ｘ，Ｙ）で指定される画素の値を算出する。

また、垂直方向にスケーリング後の画像（第２段階スケーリング画像）のインデックス（Ｘ，Ｙ）で指定される画素の水平方向の座標ｙ′の整数部分がｙであるときに、たとえばフィルタ係数セットが｛0.1, 0.2, 0.4, 0.2, 0.1｝が選択された場合には、フィルタ演算部３１は、インデックス（Ｘ，ｙ）で指定される第１段階スケーリング画像の画素の重みを「0.4」とし、インデックス（Ｘ，ｙ＋１）で指定される第１段階スケーリング画像の画素およびインデックス（Ｘ，ｙ−１）で指定される第１段階スケーリング画像の画素の重みを「0.2」とし、インデックス（Ｘ，ｙ＋２）で指定される第１段階スケーリング画像の画素およびインデックス（Ｘ，ｙ−２）で指定される第１段階スケーリング画像の画素の重みを「0.1」とし、重み付け平均によって、垂直方向にスケーリング後の画像（第２段階スケーリング画像）のインデックス（Ｘ，Ｙ）で指定される画素の値を算出する。

フィルタ演算部３１における演算方法については既知の技術であり、たとば「特開２００６−２５３７５９」に開示されている（図１のシームレス画素処理部２０に相当）。

（動作）
図５は、図２のスケーラ１０の処理手順を表わすフローチャートである。

図５を参照して、動き情報処理部３２は、ステップＳ１０１〜Ｓ１０６の処理を行なう。動き情報処理部３２による処理と並行して、スケーリング処理部３３は、ステップＳ１０７〜Ｓ１０８の処理を行なう。図６は、ステップＳ１０７の処理の詳細な手順を表わし、図７は、ステップＳ１０８の処理の詳細な手順を表わす。

まず、動き情報処理について説明する。
図５を参照して、入力画像の水平方向のインデックス番号ｘの値が０に設定され、インデックス番号ｙの値が０に設定される（ステップＳ１０１）。

動き検出部２３が、動きベクトルＭＶ（ｘ，ｙ）を生成する（ステップＳ１０２）。
次に、動き量算出部２４が、動き量ＭＱ（ｘ，ｙ）を算出する（ステップＳ１０３）。

次に、ｘの値が（ＸＳＩＺＥ−１）と同じでなければ（ステップＳ１０４でＮＯ）、ｘの値が１だけインクリメントされて（ステップＳ１０５）、ステップＳ１０２に戻る。

一方、ｘの値が（ＸＳＩＺＥ−１）と同じであり（ステップＳ１０４でＹＥＳ）、ｙの値が（ＹＳＩＺＥ−１）と同じでなければ（ステップＳ１０６でＮＯ）、ｙの値が１だけインクリメントされて（ステップＳ１０７）、ステップＳ１０２に戻る。

一方、ｘの値が（ＸＳＩＺＥ−１）と同じであり（ステップＳ１０４でＹＥＳ）、かつｙの値が（ＹＳＩＺＥ−１）と同じであれば（ステップＳ１０６でＹＥＳ）、動き情報処理が終了する。

次に、スケーリング処理について説明する。
まず、スケーリング処理部３３は、図６に示すように、入力画像に対して水平方向のスケーリング処理を行なって、第１段階スケーリング画像を生成する（ステップＳ１０７）。

次に、スケーリング処理部３３は、図７に示すように、第１段階スケーリング画像に対して垂直方向のスケーリング処理を行なって、第２段階スケーリング画像を生成する（ステップＳ１０８）。

図６を参照して、水平方向のスケーリング処理を説明する。
まず、第１段階スケーリング画像の水平方向のインデックス番号Ｘが０に設定され、垂直方向のインデックス番号Ｙが０に設定される（ステップＳ２０１）。

次に、スケーリング後画素座標算出部２９は、Ｘに（１／ＳＬ）（ＳＬは倍率）を乗算してインデックス（Ｘ，Ｙ）で特定される画素の水平方向の座標ｘ′を算出する（ステップＳ２０２）。

次に、係数選択部２８は、ｘ′の整数部分であるｘを特定する（ステップＳ２０３）。
次に、係数選択部２８は、画素単位動き量ＭＱ（ｘ，Ｙ）が閾値ＴＨ未満であれば（ステップＳ２０４でＮＯ）、周波数特性番号ｎの値を係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇに設定する（ステップＳ２０５）。

一方、係数選択部２８は、画素単位動き量ＭＱ（ｘ，Ｙ）が閾値ＴＨ以上であり（ステップＳ２０４でＹＥＳ）、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮでなければ（ステップＳ２０６でＮＯ）、周波数特性番号ｎの値を（ｎ＿ｒｅｇ＋１）に設定する（ステップＳ２０７）。

一方、係数選択部２８は、画素単位動き量ＭＱ（ｘ，Ｙ）が閾値ＴＨ以上であり（ステップＳ２０４でＹＥＳ）、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮであれば（ステップＳ２０６でＹＥＳ）、周波数特性番号ｎの値を最大値Ｎに設定する（ステップＳ２０８）。

次に、係数選択部２８は、ｘ′の小数部分に対応する位相特性番号ｍを特定する（ステップＳ２０９）。

次に、係数選択部２８は、係数選択信号（ｍ，ｎ）を出力し、係数テーブル記憶部３０のうちの（ｍ，ｎ）で特定されるアドレスからフィルタ係数セット（ｍ，ｎ）を出力させる（ステップＳ２１０）。

次に、フィルタ演算部３１は、係数テーブル記憶部３０から出力されたフィルタ係数セット（ｍ，ｎ）と、現フレームのインデックス（ｘ，Ｙ）の入力画素およびその水平方向の周辺画素に基づいて、フィルタ演算を実行して、第１段階スケーリング画像のインデックス（Ｘ，Ｙ）で特定される画素の値を算出する（ステップＳ２１１）。

次に、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じでなければ（ステップＳ２１２でＮＯ）、Ｘの値が１だけインクリメントされて（ステップＳ２１３）、ステップＳ２０２に戻る。

一方、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じであり（ステップＳ２１２でＹＥＳ）、Ｙの値が（ＹＳＩＺＥ−１）と同じでなければ（ステップＳ２１４でＮＯ）、Ｙの値が１だけインクリメントされて（ステップＳ２１５）、ステップＳ２０２に戻る。

一方、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じであり（ステップＳ２１２でＹＥＳ）、かつＹの値が（ＹＳＩＺＥ−１）と同じであれば（ステップＳ２１４でＹＥＳ）、水平方向のスケーリング処理が終了する。

図７を参照して、垂直方向のスケーリング処理を説明する。
まず、第２段階スケーリング画像の水平方向のインデックス番号Ｘが０に設定され、垂直方向のインデックス番号Ｙが０に設定される（ステップＳ３０１）。

次に、スケーリング後画素座標算出部２９は、Ｙに（１／ＳＬ）（ＳＬは倍率）を乗算して、インデックス（Ｘ，Ｙ）で特定される画素の垂直方向の座標ｙ′を算出する（ステップＳ３０２）。

次に、係数選択部２８は、垂直方向の座標ｙ′の整数部分であるｙを特定する（ステップＳ３０３）。

次に、係数選択部２８は、画素単位動き量ＭＱ（Ｘ，ｙ）が閾値ＴＨ未満であれば（ステップＳ３０４でＮＯ）、周波数特性番号ｎの値を係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇに設定する（ステップＳ３０５）。

一方、係数選択部２８は、画素単位動き量ＭＱ（Ｘ，ｙ）が閾値ＴＨ以上であり（ステップＳ２０４でＹＥＳ）、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮでなければ（ステップＳ３０６でＮＯ）、周波数特性番号ｎの値を（ｎ＿ｒｅｇ＋１）に設定する（ステップＳ３０７）。

一方、係数選択部２８は、画素単位動き量ＭＱ（Ｘ，ｙ）が閾値ＴＨ以上であり（ステップＳ３０４でＹＥＳ）、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮであれば（ステップＳ３０６でＹＥＳ）、周波数特性番号ｎの値を最大値Ｎに設定する（ステップＳ３０８）。

次に、係数選択部２８は、ｙ′の小数部分に対応する位相特性番号ｍを特定する（ステップＳ３０９）。

次に、係数選択部２８は、係数選択信号（ｍ，ｎ）を出力し、係数テーブル記憶部３０のうちの（ｍ，ｎ）で特定されるアドレスからフィルタ係数セット（ｍ，ｎ）を出力させる（ステップＳ３１０）。

次に、フィルタ演算部３１は、係数テーブル記憶部３０から出力されたフィルタ係数セット（ｍ，ｎ）と現フレームのインデックス（Ｘ，ｙ）の第１段階スケーリング画像の画素およびその垂直方向の周辺画素に基づいてフィルタ演算を実行して、第２段階スケーリング画像のインデックス（Ｘ，Ｙ）で特定される画素の値を算出する（ステップＳ３１１）。

次に、Ｙの値がＳＬ×（ＹＳＩＺＥ−１）と同じでなければ（ステップＳ３１２でＮＯ）、Ｙの値が１だけインクリメントされて（ステップＳ３１３）、ステップＳ３０２に戻る。

一方、Ｙの値がＳＬ×（ＹＳＩＺＥ−１）と同じであり（ステップＳ３１２でＹＥＳ）、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じでなければ（ステップＳ３１４でＮＯ）、Ｘの値が１だけインクリメントされて（ステップＳ３１５）、ステップＳ３０２に戻る。

一方、Ｙの値がＳＬ×（ＹＳＩＺＥ−１）と同じであり（ステップＳ３１２でＹＥＳ）、かつＸの値がＳＬ×（ＸＳＩＺＥ−１）と同じであれば（ステップＳ３１４でＹＥＳ）、垂直方向のスケーリング処理が終了する。

以上のように、第１の実施形態のスケーラによれば、動きのある画素に対して相対的にカットオフ周波数が低いフィルタでスケーリングを実行することができるため、画像の静止部分での鮮鋭感の維持と、動き部分での折り返し歪みの抑制とを両立させることができ、結果として良好なスケーリング後画像を得ることができる。

［第２の実施形態］
第２の実施形態は、フレーム全体の動き量に応じて、フィルタ係数セットを選択するスケーラを備えた画像処理用ＬＳＩに関する。

（構成）
図８は、第２の実施形態のスケーラ１１０の構成を表わす図である。第１の実施形態のスケーラ１１０と同一の構成要素については、図２に示したものと同一の符号を付けており、これらについては、説明を繰り返さない。

動き量算出部１２４は、動き検出部２３の出力する画素単位動きベクトルに基づいて、フレーム単位動き量ＦＭＱを生成する。第Ｋフレームのフレーム単位動き量ＦＭＱ（Ｋ）は以下の式によって得られる。

ＦＭＱ（Ｋ） ＝ {ΣΣ(|ＭＶｘ| ＋ |ＭＶｙ|)} / （ＸＳＩＺＥ×ＹＳＩＺＥ）
ここでΣΣは入力画像の１フレームの全画素に亘る和を表す。つまりフレーム単位動き量ＦＭＱ（Ｋ）は、第Ｋフレームにおける全画素の動き量の平均値である。動き量算出部１２４は。フレーム同期信号(VSYNC)に同期して動作する。第Ｋフレーム期間に亘りＦＭＱ（Ｋ）の計算を行い、次のVSYNCに同期してＦＭＱ（Ｋ＋１）の計算を行なう。ＦＭＱ（Ｋ）が出力されるのは、第Ｋフレーム期間の最後となる。

閾値設定レジスタ１２５は、外部から指定された閾値ＦＴＨを保持する。この閾値ＦＴＨは、フレーム単位でフィルタ係数セットを選択する際にフレーム単位動き量ＦＭＱとの比較のために用いられる。

係数選択部１２８におけるフィルタ係数セットを選択するアルゴリズムは、第１の実施形態と同様である。ただし、第１の実施形態における係数選択部１２８は、画素単位の動き量ＭＱ（ｘ，ｙ）に基づいて画素単位でフレーム係数セットを選択するのに対して、第２の実施形態の係数選択部１２８は、フレーム単位動き量ＦＭＱに基づいてフレーム単位でフレーム係数セットを選択する点で相違する。

フィルタ演算部３１の処理内容は、第１の実施形態のフィルタ演算部３１と同じである。ただし、第２の実施形態では、フレーム係数セットを選択するのに１フレーム分の遅延が生じている。なぜなら、第Ｋフレームのフレーム単位動き量ＦＭＱ（Ｋ）は、第Ｋフレーム期間の最後に計算が終了するため、第Ｋフレーム期間では使用できないからである。そのため、第２の実施形態のフィルタ演算部３１に入力される画素は、１フレーム前の画素となる。

（動作）
図９は、図８のスケーラ１１０の処理手順を表わすフローチャートである。

図９を参照して、動き情報処理部１３２は、ステップＳ４０１〜Ｓ４０７の処理を行なう。動き情報処理部１３２による処理と並行して、スケーリング処理部１３３は、ステップＳ４０８〜Ｓ４１４の処理を行なう。図１０は、ステップＳ４１３の処理の詳細な手順を表わし、図１１は、ステップＳ４１４の処理の詳細な手順を表わす。ここでは、入力画像の現フレームが第Ｋフレームであり、前フレームが第（Ｋ−１）フレームであるとして説明する。

まず、動き情報処理について説明する。
図９を参照して、入力画像の水平方向のインデックス番号ｘの値が０に設定され、垂直方向のインデックス番号の値が０に設定される（ステップＳ４０１）。

動き検出部２３が、動きベクトルＭＶ（ｘ，ｙ）を生成する（ステップＳ４０２）。
次に、ｘの値が（ＸＳＩＺＥ−１）と同じでなければ（ステップＳ４０３でＮＯ）、ｘの値が１だけインクリメントされて（ステップＳ４０４）、ステップＳ４０２に戻る。

一方、ｘの値が（ＸＳＩＺＥ−１）と同じであり（ステップＳ４０３でＹＥＳ）、ｙの値が（ＹＳＩＺＥ−１）と同じでなければ（ステップＳ４０５でＮＯ）、ｙの値が１だけインクリメントされて（ステップＳ４０６）、ステップＳ４０２に戻る。

一方、ｘの値が（ＸＳＩＺＥ−１）と同じであり（ステップＳ４０３でＹＥＳ）、かつｙの値が（ＹＳＩＺＥ−１）と同じであれば（ステップＳ４０５でＹＥＳ）、ステップＳ４０７に移行する。

ステップＳ４０７において、動き量算出部１２４が、現フレーム（第Ｋフレーム）のフレーム単位動き量ＦＭＱ（Ｋ）を算出する。

次に、スケーリング処理について説明する。
まず、係数選択部１２８は、フレーム単位動き量ＦＭＱ（Ｋ−１）が閾値ＦＴＨ未満であれば（ステップＳ４０８でＮＯ）、周波数特性番号ｎの値を係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇに設定する（ステップＳ４０９）。

一方、係数選択部１２８は、フレーム単位動き量ＦＭＱ（Ｋ−１）が閾値ＦＴＨ以上であり（ステップＳ４０８でＹＥＳ）、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮでなければ（ステップＳ４１０でＮＯ）、周波数特性番号ｎの値を（ｎ＿ｒｅｇ＋１）に設定する（ステップＳ４１１）。

一方、係数選択部１２８は、フレーム単位動き量ＦＭＱ（Ｋ−１）が閾値ＦＴＨ以上であり（ステップＳ４０８でＹＥＳ）、かつ係数選択レジスタ２６に蓄積された値ｎ＿ｒｅｇがＮであれば（ステップＳ４１０でＹＥＳ）、周波数特性番号ｎの値を最大値Ｎに設定する（ステップＳ４１２）。

次に、スケーリング処理部１３３は、図１０に示すように、入力画像に対して水平方向のスケーリング処理を行なって、第１段階スケーリング画像を生成する（ステップＳ４１３）。

次に、スケーリング処理部１３３は、図１１に示すように、第１段階スケーリング画像に対して垂直方向のスケーリング処理を行なって、第２段階スケーリング画像を生成する（ステップＳ４１４）。

図１０を参照して、水平方向のスケーリング処理を説明する。
まず、第１段階スケーリング画像の水平方向のインデックス番号Ｘが０に設定され、垂直方向のインデックス番号Ｙが０に設定される（ステップＳ５０１）。

次に、スケーリング後画素座標算出部２９は、Ｘに（１／ＳＬ）（ＳＬは倍率）を乗算してインデックス（Ｘ，Ｙ）で特定される画素の水平方向の座標ｘ′を算出する（ステップＳ５０２）。

次に、係数選択部１２８は、ｘ′の小数部分に対応する位相特性番号ｍを特定する（ステップＳ５０３）。

次に、係数選択部１２８は、係数選択信号（ｍ，ｎ）を出力し、係数テーブル記憶部３０のうちの（ｍ，ｎ）で特定されるアドレスからフィルタ係数セット（ｍ，ｎ）を出力させる（ステップＳ５０４）。

次に、フィルタ演算部３１は、係数テーブル記憶部３０から出力されたフィルタ係数セット（ｍ，ｎ）と、前フレーム（第（Ｋ−１）フレーム）のインデックス（ｘ，Ｙ）の入力画素およびその水平方向の周辺画素に基づいて、フィルタ演算を実行して、第１段階スケーリング画像のインデックス（Ｘ，Ｙ）で特定される画素の値を算出する（ステップＳ５０５）。

次に、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じでなければ（ステップＳ５０６でＮＯ）、Ｘの値が１だけインクリメントされて（ステップＳ５０７）、ステップＳ５０２に戻る。

一方、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じであり（ステップＳ５０６でＹＥＳ）、Ｙの値が（ＹＳＩＺＥ−１）と同じでなければ（ステップＳ５０８でＮＯ）、Ｙの値が１だけインクリメントされて（ステップＳ５０９）、ステップＳ５０２に戻る。

一方、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じであり（ステップＳ５０６でＹＥＳ）、かつＹの値が（ＹＳＩＺＥ−１）と同じであれば（ステップＳ５０８でＹＥＳ）、水平方向のスケーリング処理が終了する。

図１１を参照して、水平方向のスケーリング処理を説明する。
図１１を参照して、まず、第２段階スケーリング画像の水平方向のインデックス番号Ｘが０に設定され、垂直方向のインデックス番号Ｙが０に設定される（ステップＳ６０１）。

次に、スケーリング後画素座標算出部２９は、Ｙに（１／ＳＬ）（ＳＬは倍率）を乗算してインデックス（Ｘ，Ｙ）で特定される画素の垂直方向の座標ｙ′を算出する（ステップＳ６０２）。

次に、係数選択部１２８は、ｙ′の小数部分に対応する位相特性番号ｍを特定する（ステップＳ６０３）。

次に、係数選択部１２８は、係数選択信号（ｍ，ｎ）を出力し、係数テーブル記憶部３０のうちの（ｍ，ｎ）で特定されるアドレスからフィルタ係数セット（ｍ，ｎ）を出力させる（ステップＳ６０４）。

次に、フィルタ演算部３１は、係数テーブル記憶部３０から出力されたフィルタ係数セット（ｍ，ｎ）と現フレームのインデックス（Ｘ，ｙ）の第１段階スケーリング画像の画素およびその垂直方向の周辺画素に基づいてフィルタ演算を実行して、第２段階スケーリング画像のインデックス（Ｘ，Ｙ）で特定される画素の値を算出する（ステップＳ６０５）。

次に、Ｙの値がＳＬ×（ＹＳＩＺＥ−１）と同じでなければ（ステップＳ６０６でＮＯ）、Ｙの値が１だけインクリメントされて（ステップＳ６０７）、ステップＳ６０２に戻る。

一方、Ｙの値がＳＬ×（ＹＳＩＺＥ−１）と同じであり（ステップＳ６０６でＹＥＳ）、Ｘの値がＳＬ×（ＸＳＩＺＥ−１）と同じでなければ（ステップＳ６０８でＮＯ）、Ｘの値が１だけインクリメントされて（ステップＳ６０９）、ステップＳ６０２に戻る。

一方、Ｙの値がＳＬ×（ＹＳＩＺＥ−１）と同じであり（ステップＳ６０６でＹＥＳ）、かつＸの値がＳＬ×（ＸＳＩＺＥ−１）と同じであれば（ステップＳ６０８でＹＥＳ）、垂直方向のスケーリング処理が終了する。

以上のように、第２の実施形態のスケーラによれば、第１の実施形態と同様に、良好なスケーリング後画像を得ることができる。また、第２の実施形態では、フレーム単位でフィルタ係数セットを選択するので、動きの多いフレームに対しては全画面においてカットオフ周波数が相対的に低いフレーム係数セットが選択され、動きの少ないフレームに対しては全画面においてカットオフ周波数が相対的に高いフレーム係数セットが選択される。したがって、第２の実施形態では、画素単位の動きベクトルに誤差が多く含まれる場合は、フレーム単位で動き量を平均化するので、スケーリング後の画質が向上する。

（変形例）
本発明は、上記の実施形態に限定されるものではなく、たとえば以下のような変形例も含む。

（１） 複数個の閾値
本発明の実施形態では、動き量が閾値以上のときに、係数選択レジスタ２６で指定される周波数特性番号の値よりも１段階大きな周波数特性番号のフィルタ係数セットを用いるようにしたが、これに限定するものではない。複数個の閾値を設けて、動き量と複数の閾値を比較することによって、段階的に周波数特性番号の値を増加させてもよい。これにより、動き量が大きいほど、カットオフ周波数が低いフィルタ係数セットが用いられることになる。

（２） スケーリング倍率に応じたフィルタ係数セットの選択
本発明の実施形態では、ユーザは、拡大するときには、拡大率に関係なく、係数選択レジスタに保持する周波数特性番号ｎ＿ｒｅｇの値を「１」に設定し、縮小するときには、係数選択レジスタ２６に保持する周波数特性番号ｎ＿ｒｅｇの値を縮小率が大きくなるに応じて、大きな値に設定することにしたが、これに限定するものではない。

係数選択部が、係数選択レジスタの値を用いずに、倍率設定レジスタに設定されたスケーリング倍率に基づいて、周波数特性番号の値を決定することとしてもよい。

すなわち、係数選択部が、倍率設定レジスタ保持されたスケーリング倍率が縮小の倍率のときには、縮小率が大きなほど、カットオフ周波数が小さい周波数特性を有するフィルタ係数セットを選択し、スケーリング倍率が拡大の倍率のときには、拡大率に係りなく、カットオフ周波数が最大の周波数特性を有するフィルタ係数セットを選択するものとしてもよい。これにより、縮小率が大きなほど、ぼかした画像を得ることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ アンテナ、２ チューナ、３ ＳＤＲＡＭ、４ 画像処理用ＬＳＩ、５ テレビ、６ ＡＤコンバータ、７ システムデコーダ、８ ＭＰＥＧデコーダ、９ インターレース／プログレッシブ変換器、１０，１１０ スケーラ、１１ ＤＡコンバータ、１２ ＳＤＲＡＭ ＩＦ、１３ ＣＰＵ、１４ システムバス、２２ フレーム遅延部、２３ 動き検出部、２４，１２４ 動き量算出部、２５，１２５ 閾値設定レジスタ、２６ 係数選択レジスタ、２７ 倍率設定レジスタ、２８，１２８ 係数選択部、３０ 係数テーブル記憶部、２１ フィルタ演算部、３２，１３２ 動き情報処理部、３３，１３３ スケーリング処理部。

Claims (7)

1. スケーリング機能を有する画像処理用ＬＳＩであって、
   入力画像信号を１フレーム分遅延させて、前フレームの画素と現フレームの画素とを出力するフレーム遅延部と、
   前フレームの画素と現フレームの画素に基づいて、前フレームと現フレームの動き量を算出する動き処理部と、
   カットオフ周波数が相違する周波数特性を有する複数個のフィルタ係数セットを記憶する記憶部と、
   前記動き量に基づいて、前記記憶部内の１つのフィルタ係数セットを選択する選択部と、
   前記選択されたフィルタ係数セットを用いて、前記入力画像信号に対する演算を行ない、スケーリング後の画素の値を算出するフィルタ演算部とを備える、画像処理用ＬＳＩ。
2. 前記動き処理部は、画素単位の動きベクトルの大きさを前記動き量として生成し、
   前記選択部は、画素単位で前記フィルタ係数セットを選択する、請求項１記載の画像処理用ＬＳＩ。
3. 前記動き処理部は、画素単位の動きベクトルの大きさを１フレームに亘って平均した値を前記動き量として生成し、
   前記選択部は、フレーム単位で前記フィルタ係数セットを選択する、請求項１記載の画像処理用ＬＳＩ。
4. 前記選択部は、前記動き量と閾値とを比較し、比較結果に基づいて前記フィルタ係数セットを選択する、請求項１〜３のいずれか１項に記載の画像処理用ＬＳＩ。
5. 前記選択部は、前記動き量が前記閾値以上の場合には、前記閾値未満の場合よりも、カットオフ周波数が低い周波数特性を有するフィルタ係数セットを選択する、請求項４記載の画像処理用ＬＳＩ。
6. 外部から指定されたスケーリング倍率を保持するレジスタを備え、
   前記選択部は、前記レジスタに保持されたスケーリング倍率が縮小の倍率のときには、縮小率が大きなほど、カットオフ周波数が小さい周波数特性を有するフィルタ係数セットを選択する、請求項１〜５のいずれか１項に記載の画像処理用ＬＳＩ。
7. 前記選択部は、前記レジスタに保持されたスケーリング倍率が拡大の倍率のときには、カットオフ周波数が最大の周波数特性を有するフィルタ係数セットを選択する、請求項６に記載の画像処理用ＬＳＩ。

Images