JP2010081182A - 画像処理装置 - Google Patents

Abstract

【課題】適応型画像圧縮法を用いてフレーム補間を行なう際の全体の画像劣化を低減する。
【解決手段】入力画像データ（ＰＤＩ）を適応的に圧縮する圧縮部（１）において、入力画像データに従ってエラー率すなわちデータロス量を検出し、その検出エラー率（またはデータロス量）に従って圧縮率を設定する。エラー率が大きく画像劣化が大きい可能性のある画像に対しては、補間画像生成部（３）における補間画像生成処理を停止させ補間フレームとして原画像を利用する。
【選択図】図１

Description

この発明は、画像処理装置に関し、特に、データ量削減のために画像圧縮を行なう画像圧縮処理を用いて補間画像を生成する画像処理装置の構成に関する。

画像処理用途においては、音声または画像などの膨大な量のデータを処理することが、要求される。この画像データの転送およびメモリへの格納などに際してデータ量を低減するため、画像圧縮処理が行なわれる。画像圧縮処理においては、作業領域として、フレームメモリが一般に用いられ、このフレームメモリに、１または複数フレームの画像データが格納される。

一方、たとえばフルＨＤ（high definition画像（ハイビジョン画像）：１９２０×１０８０画素）のように、近年の画像の高精細化に伴い、画像の高画質化のための倍速表示などが必要とされ、処理の負荷が高くなってきている。一方、コスト等の観点から、フレームメモリの記憶容量およびバンド幅は有限であり、また、演算処理装置の処理速度および処理内容も制限され、効率的に処理を実行するために、限られたリソース内で各処理を分配することが要求される。

たとえば、前述の倍速技術は、また、液晶パネルの応答特性を改善するために用いられる。この倍速技術では、複数フレームから別のフレーム画像を生成するフレーム補間を行なって、フレーム数を倍増する。液晶パネルの表示フレーム数を倍増し、液晶パネル固有のホールド時間（１フレームの画像を表示し続ける時間）を短縮し、残像感を抑制するとともに、応答特性（動画像応答時間：ムービング・ピクチャ・レスポンス・タイム：ＭＰＲＴ）を改善する。

このフレーム補間においては、倍速処理の場合には、２つの時間的に連続するフレーム画像から中間画像を補間フレームとして生成する。この補間フレームは、１垂直期間（Ｖ）内で生成する必要があり、画素数の多い高精細画像においては、フレームメモリの記憶容量およびバンド幅を大きくすることが要求される。しかしながら、フレームメモリとの間のバスのバンド幅はシステムとして固定されており、実効としてのバンド幅を大きくするためには、見かけ上のデータ量を低減することが必要となる。このデータ量を低減するために、圧縮／解凍（伸張）処理が実行される。この圧縮／解凍処理において、画像の特徴に応じて圧縮率などの圧縮処理法（アルゴリズム）を変更することにより、効率的に画像圧縮処理を行って画質の劣化を抑制する適応型圧縮処理が行なわれることがある。

圧縮データは、画像の特徴により、そのデータ量が異なる。たとえば、細かい絵柄の画像では、圧縮後のデータ量は大きくなり、一方、白い壁のように高域成分が少ない絵柄では、圧縮後のデータ量は少なくなる。圧縮画像のデータ量が大きい場合、一定の処理期間（垂直期間）内に、圧縮画像データをメモリ内に記憶することができなくなる状態が生じる。このような状態を回避する方法として、フィールド毎に圧縮後のデータ量を見積もる処理を行なう構成が、特許文献１（特開平９−２１４９５７号公報）に示される。この特許文献１に示される構成においては、圧縮処理前に画像データをプリスキャンし、そのデータ量に従って目標のデータサイズ以下のデータ量となるように量子化係数および符号化の設定を行ない、各フィールド単位で、適応的に圧縮を行なう。
特開平９−２１４９５７号公報

フレームメモリへの画像データの格納は、画像処理動作中に複数回行われることから、画像の劣化の蓄積を避けるために、画像圧縮処理を行なう場合、解凍後（伸張後）の画像の劣化はできるだけ避ける必要がある。ロスレス画像圧縮（可逆画像圧縮）は理想的には、圧縮伸張しても画質の劣化は生じない。しかしながら、このロスレス画像圧縮処理の場合、情報の切り捨ては許されず、また多くの演算が必要となり、処理時間が長くなり、所定の時間内に演算を完了させるために高速処理が必要となり、電力消費が大きくなるという問題が生じる。この問題を避け、低消費電力で高速に処理を実行するために、ある程度の情報の切捨てを行うことを許容せざるを得ず、ロスレス画像を生成するのが困難である。

上述の特許文献１においては、フィールド単位でデータサイズに応じて適応的に圧縮処理を行なっている。具体的に、偶数または奇数フィールドのみをプリスキャンして圧縮率（量子化係数および符号化）を設定する。圧縮率の設定回数を低減することにより、フィールドメモリ（フレームメモリ）からの読出速度をその書込速度よりも高くし、画素サンプリング速度を高くして、水平解像度を高くすることを図る。しかしながら、この特許文献１の構成においても、ノイズの存在するロッシー（Ｌｏｓｓｙ）画像が再生され、ロスレス画像を再生するのは困難である。これは、フレームメモリおよび演算処理装置（圧縮伸張部）等のリソースの仕様の要求により、サンプリング速度、量子化および符号化処理に制約が生じるためである。

特に、フレームレートを変換するためにフレーム補間処理を行なう場合、解凍された画像がロッシー画像の場合、補間フレームのノイズが大きくなり、画質劣化は避けられない。特許文献１においては、このような解凍後の画像のノイズの問題については何ら考慮していない。

それゆえ、この発明の目的は、簡易な回路構成で画質劣化の小さい再生画像を得ることのできる画像処理装置を提供することである。

この発明に係る画像処理装置は、要約すれば、入力画像データを操作して、データロス量を検出し、この検出したデータロス量に従って圧縮率を設定する。或る値を越えたときには、非圧縮とし、補間フレームを生成せず、元の画像データを補間画像データとして利用する。

画像データのロス量に応じて圧縮率を変更することにより、ノイズの少ない、すなわち画質劣化の少ない画像を復元することができる。特に、データロス量が多い場合、補間フレームとして元の画像データを利用することにより、ノイズの大きい補間フレームは生成されず、ノイズ（エラー）を隠すことができ、全体として画質を向上することができる。

［実施の形態１］
図１は、この発明の実施の形態１に従う画像処理装置の構成を概略的に示す図である。図１において、画像処理装置は、入力画像データの圧縮解凍を行なう圧縮部１および解凍部２と、補間画像を生成する補間画像生成部３と、この補間画像の圧縮および解凍をそれぞれ行なう圧縮部４および解凍部５を含む。

圧縮部１は、入力画像データＰＤＩのたとえばデータ量のエラー率を検出する機能を有するとともに、入力画像データＰＤＩを、このエラー率（データロス量）に応じて適応的に圧縮する。圧縮部１は、その圧縮率が可変であり、入力画像データＰＤＩのデータ量などの画像の特徴に応じてその圧縮アルゴリズムが変更される（圧縮率が変更される）。解凍部２は、圧縮部１により圧縮された画像データを解凍する。これらの圧縮部１および解凍部２の圧縮率は同じである。

補間画像生成部３は、現サイクルで与えられた入力画像データＰＤＩ（ＯＶ）と解凍部２から生成された解凍画像データＤＶとを受け、それらの２つの画像から所定の規則に従って補間処理を行ない補間画像を生成する。この補間画像生成部３の補間画像生成態様は、時間的に隣接するフレームから中間画像のフレームを生成する処理が行なわれればよく、たとえば動きベクトルを用いて相関性が高いブロック間の画素の平均値を用いて補間フレーム画像画素を生成する態様が用いられてもよい。また、これに代えて単に、これらの時間的に隣接する２つの画像（たとえばフレーム）の各画素の平均値が用いられてもよい。

圧縮部４は、この補間画像生成部３により生成された補間画像に対して、圧縮部１と同様にして、圧縮を行なう。解凍部５は、解凍部２と同様、圧縮部４により圧縮された画像を解凍して、出力画像データＰＤＯを生成する。

この画像処理装置は、さらに、これらの圧縮部１および４と解凍部２および５とフレームメモリ８との間で画像データを転送する処理を行なうメモリコントローラ６を含む。メモリコントローラ６は、メモリバス７を介してフレームメモリ８に結合される。フレームメモリ８は、たとえばクロック同期型ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ：ＳＤＲＡＭ）であり、メモリバス７を介して高速でクロック信号に同期してデータ転送を行なうことができる。

メモリコントローラ６は、圧縮部１からの圧縮データを受ける書込ポートＷ１とフレームメモリ８から読出された画像データを解凍部２へ転送する出力ポートＲ１と、圧縮部４からの圧縮画像データを受ける入力ポートＷ２と、フレームメモリ８から読出された画像データを解凍部５へ転送する出力ポートＲ２とを含む。

メモリコントローラ６は、１つのメモリバス７を介してフレームメモリ８に結合されており、このメモリバス７のバンド幅により転送データレートが決定される。

この画像処理装置における画像処理動作を制御するために、制御ユニット（ＭＣＵ：マイクロコントローラユニット）１０が設けられる。この制御ユニット１０は、圧縮率設定部１１を含み、圧縮部１により抽出されたエラー率（データロス量）情報を読出し、その読出したエラー率に従って圧縮部１および４と解凍部２および５の圧縮率を設定する。制御ユニット１０は、また、圧縮部１から与えられたエラー率が大きい場合には、補間画像生成部３における補間画像生成動作を停止させる。この場合、フレームレート変換のための補間画像として、元の非圧縮画像データ（圧縮率１の画像データ）が利用される。これにより、エラー率（データロス量）が大きい場合においても、ノイズが抑制された補間画像を生成することができ、全体としての画質の劣化を抑制することができる。圧縮率設定部１１は、例えばテーブルを有し、圧縮部１からのエラー率（データロス量）情報を用いてテーブルを参照して、対応の圧縮率情報を読出して、エラー率（データロス量）に応じた圧縮率を設定する。

図２は、この図１に示す画像処理装置の補間画像生成シーケンスを示すタイミング図である。以下、図２を参照して、この図１に示す画像処理装置の動作について説明する。

今、画像としてフレーム画像を想定する。画像プロセッサなどの前処理部から入力画像データＰＤＩが与えられる。この入力画像データＰＤＩを圧縮部１が受け、たとえばそのデータ量を検出し、エラー率情報を生成する。このエラー率（データロス量）は、たとえば入力画像データＰＤＩのデータのサイズであってもよく、また１フレーム画像の各画素値の総和値であってもよく、また隣接画素の差分値であっても良い。このエラー率検出処理としては、圧縮後のデータ量を評価（推定）することのできる情報が生成される処理であればよい。

圧縮部１により検出されたエラー率情報（データロス量情報）が、制御ユニット１０の圧縮率設定部１１に与えられ、制御ユニット１０内の圧縮率設定部１１は、エラー率情報に従って圧縮率を設定する。この設定された圧縮率に従って、圧縮部１は、入力画像データＰＤＩを圧縮し、メモリコントローラ６の入力ポートＷ１へ圧縮画像データを順次転送する。

図２においては、各垂直期間（Ｖ期間）Ｔ毎に、すなわち、サイクル♯０から♯４において、画像データ０Ｖ、１Ｖ、２Ｖ、３Ｖ、４Ｖが順次与えられる状態を示す。これらのフレーム画像データが、順次圧縮部１により圧縮されてメモリコントローラ６の入力ポートＷ１およびメモリバス７を介してフレームメモリ８に格納される。

次のサイクル♯１において、次の入力画像データＰＤＩとして画像データ１Ｖが与えられる。この画像データは、圧縮部１において圧縮され、メモリコントローラ６およびメモリバス７を介してフレームメモリ８に格納される。この画像データ１Ｖは、また、補間画像生成部３へ源画像データＯＶとして与えられる。このサイクル♯１において、また、フレームメモリ８からサイクル♯０において格納された画像データ０Ｖが読出され、メモリコントローラ６の出力ポートＲ１から解凍部２へ与えられる。この圧縮画像データ０Ｖは、解凍部２で解凍され、解凍後の画像データＤＶが生成される。

補間画像生成部３は、これらの画像データＯＶおよびＤＶを受け、所定の補間処理を行なって、補間画像０１Ｖを生成する。補間画像生成部３が行う補間処理は、時間的に隣接するフレーム画像０Ｖおよび１Ｖから時間軸上で中間の位置の補間フレームが生成される処理であればよい。

この補間画像生成部３において生成された補間画像０１Ｖは、圧縮部４により圧縮処理されて、メモリコントローラ６の入力ポートＷ２へ与えられる。メモリコントローラ６は、この入力ポートＷ２へ与えられた圧縮画像データをメモリバス７を介してフレームメモリ８に格納する。

また、このサイクル♯１において、メモリコントローラ６が、前半分のサイクルにおいてサイクル♯０において与えられた画像データ（圧縮画像データ）０Ｖを読出して解凍部５へ与え、後半のサイクルにおいて、補間画像生成部３により生成された補間画像０１Ｖを読出す。これらが解凍部５により解凍処理が施され、出力画像データＰＤＯとして画像データ０Ｖおよび０１Ｖが生成されて出力される。

これらの２つの画像０Ｖおよび１Ｖから新たな中間の補間画像０１Ｖを生成しており、フレーム画像の数が２倍となるため、画像周波数（たとえばフレームレート）が２倍に設定される。

この後、サイクル♯１から♯４…において、与えられた入力画像データ１Ｖ、２Ｖ、３Ｖおよび４Ｖについても、同様の圧縮、解凍、補間、圧縮、および解凍処理が実行され、入力画像データ１Ｖ、補間画像データ１２Ｖ、入力画像データ２Ｖ、…、の順に出力画像データＰＤＯが生成されて、図示しない次段の回路へ転送される。

このフレーム画像データ列において、出力画像フレームの数が入力フレーム画像の２倍となっており、倍速表示を行なうことが可能となる。したがって、例えばフレームレートｆｐｓが６０ｆｐｓの場合、１２０ｐｆｓでの画像表示が可能となり、液晶表示画像の応答速度の低下を抑制することができ、また、ホールド時間の短縮により、残像感を低減して画質の低下を抑制することができる。

この圧縮および解凍を行なう場合、メモリバス７へは、１垂直期間Ｔにおいて、５フレーム（画像データをフレーム画像と考える）の画像データを転送することが要求される。すなわち、入力ポートＷ１およびＷ２および出力ポートＲ１においてそれぞれ１フレームの画像データを転送し、読出ポートＲ２においては、２フレーム（元の画像フレームデータと補間フレーム画像データ）を読出す必要があるため、合計５フレーム画像データを１垂直期間Ｔに転送することが要求される。

図３は、この圧縮部１から生成されるエラー率情報が大きく、解凍画像がノイズの大きな画像となる可能性のある場合の処理シーケンスを示す図である。以下、図３を参照して、この図１に示す画像処理装置の圧縮画像がノイズの多い画像となった場合（データロス量が大きい画像）の場合の処理シーケンスについて説明する。

サイクル♯０において入力画像データＰＤＩとしてフレーム画像データ０Ｖが与えられる。圧縮部１においては、この入力画像データＰＤＩをたとえばプリスキャンし、エラー率情報（データロス量）を検出する。制御ユニット１０（圧縮率設定部１１）は、この圧縮部１から与えられたエラー率情報（データロス量情報）に従って、圧縮処理を行なった場合、ノイズの多い画像が生成されるとして、この圧縮率を１に設定する。圧縮部１は、この制御ユニット１０からの圧縮率１により非圧縮処理を実行する。すなわち、入力画像データＰＤＩをそのまま、圧縮処理を行わずにメモリコントローラ６の入力ポートＷ１へ与える。

補間画像生成部３は、この制御ユニット１０からの圧縮率１の圧縮指示（非圧縮指示：圧縮処理の停止指示）に従って、補間画像生成動作を停止する。このとき、メモリコントローラ６は、制御ユニット１０からの非圧縮率指示、すなわち圧縮率１を指定する圧縮率情報に従って、補間画像生成のためのデータの書込／読出動作は停止する。したがって、クロックサイクル♯１において入力画像データＰＤＩとしてフレーム画像データ１Ｖが与えられたとき、メモリコントローラ６は、フレームメモリ８からフレーム画像データ０Ｖを２回Ｔ／２の周期で読出し、その出力ポートＲ２から解凍部５へ与える。解凍部５は、圧縮率が１であるため、その解凍処理を行なうことなく、与えられた画像データを転送して、出力画像データＰＤＯを生成する。

以降、各サイクル♯１、♯２、♯３および♯４において、各フレーム画像データ１Ｖ、２Ｖ、３Ｖ、４Ｖ、が非圧縮でメモリバス７を介してフレームメモリ８に転送される。この場合、したがって１垂直期間Ｔにおいて、メモリバス７を転送されるデータは、３フレーム画像データである。

このエラー率が大きい場合、非圧縮処理（圧縮率１の圧縮処理）を行ない元の画像データを補間画像（補間フレーム画像データ）として利用する。これにより、圧縮処理によるノイズの発生を抑制でき、画質劣化を抑制することができる。

図４は、補間処理を行なう場合および補間処理非実行時におけるメモリバス７上のバンド幅と圧縮率と必要とされる記憶容量との関係を一覧として示す図である。

補間処理を行なう場合、メモリバス７上には、１垂直期間中に５フレーム画像が転送されるために、バンド幅としては、５・Ｄ・（１／Ｘ）ビット／Ｔが要求される。ここで、Ｄは、１フレームの画像データの量を示し、Ｘは、圧縮率を示す。Ｔは、１垂直期間である。フレームメモリ８においては、補間処理に必要とされる２フレームの画像データと生成された補間フレーム画像とを格納する必要があり、その記憶容量としては、３・Ｄ・（１／Ｘ）ビットの容量が要求される。

一方、補間処理を行なわない圧縮率が１の場合には、メモリバス７上には、１垂直期間において３フレームの画像データが転送されるため、必要バンド幅は３・Ｄビット／Ｔとなる。この場合、フレームメモリ８には、２つのフレームの画像データが格納されるだけであり、記憶容量としては２・Ｄビットが必要とされる。したがって、この圧縮を行なう場合、必要バンド幅および記憶容量を低減することができる（通常、圧縮率は、１．５から２．０の間の値である）。

図５は、フレーム画像が、ＷＸＧＡ（ワイドＸＧＡ：１３６６×７６８ビット）であり、Ｒ（赤）、Ｇ（緑）およびＢ（青）がそれぞれ８ビットで表現される場合の必要バンド幅、記憶容量の具体的な値を一例として一欄にして示す図である。この場合、１フレームの総データビットＤは、２５，１７８，１１２ビットである。圧縮率が２の場合を考える。この条件下において、補間処理を行なう場合、必要バンド幅（１垂直期間におけるビット数）は６２，９４５，２８０ビットであり、必要とされるフレームメモリの記憶容量は、３７，７６７，１６８ビットである。

一方、圧縮率が１であり補間処理を行なわない場合、必要バンド幅は７５，５３４，３３６ビットであり、必要とされるフレームメモリの記憶容量は５０，３５６，２２４ビットである。したがって、この補間処理ありおよびなしの両者の条件を満たすような仕様のフレームメモリを選択することにより、同一フレームメモリを用いて圧縮時のエラー率（データロス量）に応じて処理の切換を行なうことができる。

なお、図５において、解像度がＷＸＧＡとして、画面縦横比が１６対９の場合を一例として示す。しかしながら、画面の縦横比が１６：１０の場合であっても、また５：３の場合であってもよい。それぞれ、１フレームの画素は、１２８０×８００ドットおよび１０２４×７６８ドットとなる。

図６は、図１に示す圧縮部１の構成の一例を概略的に示す図である。図６において、圧縮部１は、入力画像データＰＤＩをプリスキャンするプリスキャン部２０と、プリスキャン部２０によりプリスキャンされた画像データを圧縮する圧縮処理部２２ａ−２２ｚと、圧縮率設定情報ＣＣＰに従って圧縮処理部２２ａ−２２ｚの出力する圧縮データを択一的に選択するセレクタ２４を含む。

プリスキャン部２０は、入力画像データＰＤＩを順次スキャンし、各画素データを抽出する。圧縮処理部２２ａ−２２ｚは、それぞれ互いに異なる圧縮アルゴリズムＡ−Ｚに従ってプリスキャン部２０からの画像データに圧縮処理を施す。これらの圧縮処理部２２ａ−２２ｚが実行する圧縮アルゴリズムＡ‐Ｚの圧縮率が互いに異なる。これらの圧縮処理部２２ａ−２２ｚにおいて、圧縮率が１の圧縮処理を行う圧縮処理部が設けられていても良い。

圧縮処理部１は、さらに、このプリスキャン部２０によりプリスキャンされた画素データを受けてエラー量（データロス量）情報を生成するエラー量検出部２１を含む。このエラー量検出部２１は、プリスキャン部２０によりプリスキャンされた画素データのサイズ（たとえばデータビット数）、または隣接画素差分値などの画像の特徴を示す情報を抽出し、その抽出したデータ値に従ってエラー率情報ＥＲＲを生成する。例えば、エラー量検出部２１は、この抽出したデータサイズなどの画像特徴を示す値を、予め定められたしきい値（複数のしきい値）と比較してエラー量レベルを検出し、その比較結果（エラー量レベル）に従ってエラー率（データロス量）を示すエラー率情報ＥＲＲを生成する。

圧縮処理部２２ａ−２２ｚにおける圧縮アルゴリズムＡ−Ｚは、それぞれ圧縮率が異なる。圧縮率が異なる圧縮アルゴリズムとしては、たとえば量子化ステップが異なる、ランレングスを用いるまたは可変長符号を用いるなどの圧縮アルゴリズムなどが利用される。図６においては、これらの圧縮処理部２２ａ−２２ｚは、並列に動作し、プリスキャン部２０からプリスキャンされた画像データに対し圧縮処理を行なうように示す。この場合、制御ユニットからの圧縮率情報ＣＣＰに従って、指定された圧縮率に対応する圧縮アルゴリズムを実行する圧縮処理部のみが圧縮処理を行なうように構成されてもよい。セレクタ２４により、圧縮率情報ＣＣＰに従って対応の圧縮率の圧縮処理部からの圧縮データを選択することにより、必要とされる圧縮データを生成することができ、適応的に圧縮率を変更することができる。この場合、圧縮処理部２２ａ−２２ｚのうち１つの圧縮処理部が、圧縮率１の処理を行い、セレクタ２４により、圧縮処理停止時、この圧縮率１の圧縮処理部の出力データが選択されてもよい。また、これに代えて、セレクタ２４が、圧縮率が１の場合、プリスキャン部２０からのプリスキャンデータを選択するように構成されてもよい。

図７は、図１に示すメモリコントローラ６およびフレームメモリ８の構成の一例を概略的に示す図である。図７において、メモリコントローラ６は、フレームメモリ８に対するアドレスを発生するアドレス発生回路３０と、フレームメモリとの間で画像データの転送を行なう書込／読出回路３２と、これらのアドレス発生回路３０および書込／読出回路３２の動作を制御する書込／読出制御回路３４とを含む。

書込／読出制御回路３４は、クロック信号ＣＬＫに同期して動作し、図１に示す制御ユニット１０（圧縮率設定部１１）からの圧縮率情報ＣＣＰに従ってアドレス発生回路３０および書込／読出回路３２の動作を制御するとともに、フレームメモリに対するアクセス制御信号ＣＥ、ＷＥおよびＲＥを生成する。制御信号ＣＥは、チップイネーブル信号であり、フレームメモリに対するアクセス実行を指定する制御信号である。制御信号ＷＥは、ライトイネーブル信号であり、フレームメモリに対してデータ書込を指定する信号である。制御信号ＲＥは、リードイネーブル信号であり、フレームメモリに対してデータ読出を指定する信号である。これらのアドレス信号ＡＤおよび制御信号ＣＥ、ＷＥ、ＲＥは、図示しないメモリアドレス・制御バスを介してフレームメモリ８に転送される。

書込／読出回路３２はメモリバス７を介してフレームメモリ８に結合され、書込／読出制御回路３４の制御の下に、ポートＷ１、Ｒ１、Ｗ２およびＲ２のいずれかとメモリバス７との間でデータ転送を実行する。

フレームメモリ８は、第１の入力画像データ格納領域３６と、第２の入力画像データ格納領域３７と、補間画像格納領域３８とを含む。入力画像格納領域３６および３７には、圧縮されたまたは非圧縮の入力画像データが格納され、補間画像格納領域３８には、補間画像生成部により生成された補間画像が格納される。

補間処理実行時においては、第１の入力画像格納領域３６への現サイクル入力画像データの書込が行われ、第２の入力画像格納領域３７からの前サイクル入力画像データの読出が行われる。これらの現および前サイクルの画像データを用いて補間処理が実行され、生成された補間画像が補間画像格納領域３８に格納される。

この補間画像生成と並行して前サイクルの画像データが、第２の画像データ格納領域３７から読出され、次いで、補間画像データ格納領域３８から生成された補間画像データが読出され、出力画像データが生成される。したがって、第１の画像データ格納領域３６に対するデータ書込時においては第２の画像データ格納領域からのデータの読出が行われる。書込が完了した画像データ格納領域に対して次いで読出が実行される。

補間処理が行なわれず、補間画像が生成されない場合には、第１および第２の画像データ格納領域３６および３７が使用され、補間画像格納領域３８は使用されない。第１および第２の画像データ格納領域３６および３７に対して交互に書込および読出が実行される。出力画像データ生成のために、同じ画像データ格納領域から連続して画像データ読出が行われる。

書込／読出制御回路３４は、圧縮率情報ＣＣＰが圧縮率１以外の圧縮率を示しているときには、１垂直期間において５フレームがメモリバス７上で転送されるように、すなわち、画像データ格納領域３６，３７および３８が順次アクセスされるように、アドレス発生回路３０および書込／読出回路３２の動作を制御するとともに制御信号ＣＥ、ＷＥおよびＲＥを生成する。一方、圧縮率情報ＣＣＰが圧縮率１を示すときには、書込／読出回路３４は、メモリバス７上を、１垂直期間において３フレームの画像データが転送されるように、すなわち、入力画像データ格納領域３６および３７が交互にアクセスされるように、アドレス発生回路３０および書込／読出回路３２の動作を制御するとともに、制御信号ＣＥ、ＷＥおよびＲＥを生成する。

すなわち、書込／読出回路３２は、フレーム補間処理を行なう場合、すなわち圧縮処理を実行する場合には、ポートＷ１、Ｒ１、Ｗ２およびＲ２を所定のシーケンスで順次選択してメモリバス７の間でデータの転送を行なう。これにより、フレームメモリ８の画像データ格納領域３６，３７および３８を順次アクセスして画像データの書込および読出をメモリバス７上での画像データの衝突が生じないように実行する。

一方、圧縮率が１の場合には、この書込／読出回路３２は、書込ポートＷ１と読出ポートＲ２とメモリバス７との間でデータの転送を実行する。これにより、フレームメモリ８の入力画像データ格納領域３６および３７を交互にアクセスする。補間が造成政治のポートＲ１およびＷ２へのアクセス期間、メモリコントローラ６は、フレームメモリ８へのアクセスおよびアドレス生成を停止する。ポートＲ２への画像データ転送時、アドレス発生回路３０により、ポートＷ１からのデータ書込時のアドレスを生成させる。これにより、中間の補間フレーム画像生成時および非生成時それぞれにおけるフレームメモリへのアクセスシーケンスを、圧縮率情報ＣＣＰに従って設定することができる。

以上のように、この発明の実施の形態に１に従えば、入力画像データの特徴（データ量等）に応じて圧縮率を変更し、エラー率（データロス量）が圧縮時に大きいと判定される場合には、補間画像生成を停止している。したがって同一フレームメモリを用いて非圧縮処理および圧縮処理の切換を行なうことができ、画像特徴に応じた適応的な圧縮処理を実現することができ、また、エラー率が高い場合、補間画像データを生成していないため、補間画像のエラーを回避することができ、全体的な画質を向上させることができる。

なお、画像データとしてはフレームデータが利用されている。しかしながら、画像データとしては、フィールドデータであっても良い。また、補間画像は、２以上生成されてもよい。複数の画像から１以上の補間画像が生成されればよい。複数枚の補間画像、例えば図２のサイクル♯０および♯１との間に２枚の補間画像♯０１ａＶおよび♯０１ｂＶを生成する場合、補間画像♯０１ａＶの生成においてはエラー率が低く、補間画像♯０１ｂＶの生成においてはエラー率が高くなることも考えられる。かかる場合、補間画像♯０１ｂＶの補間源画像としてサイクル♯０の入力画像を用いた場合、動きに戻りが生じるように見える画像が生成される虞がある。このような画像の生成を避けるために、補間画像♯０１ｂＶの生成には、補間画像♯０１ａを補間源画像として利用すればよい。補間画像♯０１ａＶの生成時に既にエラー率が高い場合には、補間画像♯０１ａＶおよび♯０１ｂＶとしてサイクル♯０の入力画像を利用すればよいことは言うまでもない。

［実施の形態２］
図８は、この発明の実施の形態２に従う画像処理装置の全体の構成を概略的に示す図である。図８においては、この画像処理装置は、液晶パネル４６に対する画像データを生成する。この画像処理装置は、ビデオプロセッサ４０と、ビデオプロセッサ４０からの画像データのフレームレートを変換するフレームレート変換ユニット４２と、フレームレート変換ユニット４２からの画像データから液晶パネル４６を駆動するための画像データを生成するタイミングコントローラ４４とを含む。

ビデオプロセッサ４０およびタイミングコントローラ４４に対しては、それぞれフレームメモリ４６および４８が設けられ、画像データの一時格納領域としてこれらのフレームメモリ４６および４８がそれぞれ、ビデオプロセッサ４０およびタイミングコントローラ４４により利用される。

ビデオプロセッサ４０は、フレームメモリ４６を作業領域として利用し、インターレース方式のフレーム画像データをプログレッシブ方式の画像データ列に変換するＩ／Ｐ変換処理および画像の拡大／縮小などの処理を実行する。このビデオプロセッサ４０は、２から５フレームの画像の動きを検出する動き検出部を有し、この複数のフレームの動きに応じてＩ／Ｐ変換処理を実行する。

フレームレート変換ユニット４２およびフレームメモリ８は、図１に示す実施の形態１に従う画像処理装置の構成と同じであり、エラー率に従って選択的にフレーム補間を行なう。

タイミングコントローラ４４は、フレームメモリ４８を画像データ格納用の作業領域として利用し、色温度補正、および液晶パネル４６の応答特性改善のためのエッジ強調処理などを実行する。このタイミングコントローラ４４は、２フレームの画像の動きを検出する動き検出部を有し、画像の動きに応じてフレーム処理（エッジ強調処理）を実行して液晶パネルの応答特性に起因する画像劣化を抑制する（理想応答波形からのずれを低減するように画像変化部分の境界領域の強調を行う）。

図８に示す構成において、ビデオプロセッサ４０、フレームレート変換ユニット４２およびタイミングコントローラ４４が、それぞれ別々の半導体チップに形成されてもよい。また、フレーム変換ユニット４２およびビデオプロセッサ４０が１つのビデオプロセッサ用ＩＣとして１つの半導体チップ上３に形成されても良く、また、これらが、同一パッケージ内に配置されてもよい。また、これに代えて、フレームレート変換ユニット４２およびタイミングコントローラ４４が、タイミングコントローラＩＣとして１つの半導体チップ上に集積化されてもよく、また同一パッケ寺内に配置されてもよい。いずれの場合においても、この発明の実施の形態１に従うフレームレート変換処理を実行するフレームレート変換ユニット４２をフレームメモリ８とともに利用することにより、液晶パネル４６を駆動する場合の液晶表示画像の劣化を抑制することができ、高品質の画像を簡易な回路構成で実現することができる。

以上のように、この発明の実施の形態２に従えば、ビデオプロセッサまたはタイミングコントローラとフレームレート変換ユニットを搭載するように構成しており、画質劣化の生じない表示画像を得ることができる。

なお、上述の説明においては、フレーム画像のフレームレート変換（フレーム補間）処理を実行している。しかしながら、この画像データは通常の１フレームが２フィールドで構成されるインターレース方式の画像データであってもよい。すなわち、複数の画像から中間の画像を生成して、画像表示レートを変換する構成であればよい。すなわち、複数画像の画像間比較によって新たな画像を作成する構成であれば、本発明のフレームレート変換ユニット（画像処理装置）を適用することができる。

また、表示装置としては液晶表示装置に限定されず、他の表示装置であってもよい。

この発明は、一般に、複数の画像から中間画像を生成する処理を実行するユニットに対して適用することができ、１つの画像処理システムに組込まれるフレーム画像レート変換部または単一チップ上に形成される画像レート変換部に適用することができる。

この発明に実施の形態１に従う画像処理装置の構成を概略的に示す図である。 図１に示す画像処理装置の補間画像生成時の動作を示すタイミング図である。 図１に示す画像処理装置の補間画像非生成時の動作を示すタイミング図である。 図１に示す画像処理装置のフレームメモリのバンド幅および記憶容量と圧縮率の関係を一覧して示す図である。 図４に示すバンド幅記憶容量と圧縮率の具体的な値を一覧にして示す図である。 図１に示す圧縮部の構成の一例を概略的に示す図である。 図１に示すメモリコントローラおよびフレームメモリの構成の一例を概略的に示す図である。 この発明の実施の形態２に従う画像処理装置の全体の構成を概略的に示す図である。

符号の説明

１，４ 圧縮部、２，５ 解凍部、３ 補間画像生成部、６ メモリコントローラ、７ メモリバス、８ フレームメモリ、１０ 制御ユニット、１１ 圧縮率設定部、２０ プリスキャン部、２１ エラー量検出部、２２ａ−２２ｚ 圧縮処理部、２４ セレクタ、４０ ビデオプロセッサ、４２ フレームレート変換ユニット、４４ タイミングコントローラ、４６ 液晶パネル、４７，４８ フレームメモリ。

Claims (7)

1. 入力画像データから画像の特徴を検出し、該検出結果に従って画像圧縮時のエラー率を検出するエラー量検出部と、
   設定された圧縮率にしたがって入力画像データに対する圧縮処理を実行する圧縮処理部と、
   前記エラー量検出部の検出したエラー率に従って前記圧縮率を設定する圧縮率設定部を含み、前記エラー量検出部の検出したエラー率情報に従って前記圧縮部による圧縮率１以外の圧縮率の圧縮画像生成を停止させる制御部を備える、画像処理装置。
2. 前記画像処理装置は、複数の入力画像データに基づいて補間処理を行って中間の補間画像を生成する補間画像生成部をさらに備え、
   前記制御部は、前記エラー率情報に従って、前記圧縮部による圧縮処理を停止させるとともに前記補間画像生成部の補間処理を停止させる、請求項１記載の画像処理装置。
3. 前記画像処理装置は、前記圧縮処理部により生成された画像データおよび前記補間画像生成部により生成された補間画像データを格納するメモリをさらに備え、
   前記制御部は、前記補間処理停止時、前記メモリに前記入力画像データを補間画像データとして出力させる、請求項２記載の画像処理装置。
4. メモリと、
   前記メモリへの画像データの書込および読出を制御するメモリコントローラと、
   入力画像データから画像の特徴を検出し、該検出結果に従って画像圧縮時のエラー率を検出するエラー量検出部を含み、設定された圧縮率にしたがって前記入力画像データに対する圧縮処理を実行し、該生成された圧縮画像データを前記メモリコントローラを介して前記メモリに格納する第１の圧縮処理部と、
   前記メモリコントローラにより前期メモリから読出された前記圧縮画像データに対して前記設定された圧縮率で解凍処理を行って画像データを生成する第１の解凍部と、
   前記入力画像データと前記第１の解凍部からの画像データとに対して補間処理を行なって補間画像を生成する補間画像生成部と、
   前記補間画像を前記設定された圧縮率で圧縮して前記メモリコントローラを介して前記メモリに格納する第２の圧縮部と、
   前記メモリコントローラを介して前記メモリから読出された画像データを解凍して出力画像データを生成する第２の解凍部と、
   前記エラー量検出部の検出したエラー率に従って前記圧縮率を設定する圧縮率設定部を含み、前記エラー量検出部の検出したエラー率情報に従って前記第１圧縮部による圧縮率１以外の圧縮率の圧縮画像生成を停止させるとともに前記第１の解凍部の解凍処理、前記補間画像生成部による補間処理および前記第２の圧縮部による圧縮処理を停止させる制御部とを備える、画像処理装置。
5. 前記メモリコントローラは、前記制御部による補間動作停止時、前記第２の解凍部に与えられる補間画像データとして前記メモリから前記第１の圧縮部により生成されて格納された画像データを読出す、請求項４記載の画像処理装置。
6. 画像データに対して表示に必要な前処理を施して前記入力画像データを生成するビデオプロセッサをさらに備える、請求項１または４記載の画像処理装置。
7. 前記第２の解凍部からの出力画像データに対して表示装置を駆動するために必要な後処理を行うタイミングコントローラをさらに備える、請求項４記載の画像処理装置。

Images