JP2012220926A - 画像処理装置 - Google Patents

Abstract

【課題】メモリ容量を削減することができる画像処理装置を提供する。
【解決手段】画像処理装置は、複数のフレームの画素データを、フレームの順番に受信し、フレームメモリに記憶するメモリ制御回路と、フレームメモリに記憶された画素データの上位ビット部分を利用して処理済み画素データを生成する画像処理回路と、処理済み画素データを出力する出力回路とを備える。メモリ制御回路は、画素データを、上位ビット部分と下位ビット部分とに分離する分離回路と、下位ビット部分をフレームメモリに記憶する下位ビット処理回路とを含む。下位ビット処理回路は、それぞれのフレームの画素をｎ組（ｎは２以上の整数）に分割し、連続するｎフレームの画素データを受信する期間に、分割したｎ組の画素のうちの対応する１つの組の画素の画素データのみの分離した下位ビット部分をフレームメモリに記憶する。
【選択図】図１

Description

本発明は、画像の倍速変換処理を行う画像処理装置において、フレーム間に挿入される補間画像を生成するために利用されるフレームメモリに記憶する画素データ（画像データ）を圧縮する技術に関するものである。

液晶テレビ等の画像表示装置には、画素データとして、通常のテレビ画像のフレーム（フィールド）の画素データと、フィルムソース（映画）の各コマに対応する各フレームの画素データが混在して入力される。画像表示装置では、入力画素データの種別（テレビ画像／フィルムソース）を検出し、検出した種別に応じて変換処理を行うことにより出力画素データを生成して画像を表示する。

近年では、本出願人に係る特許文献１のように、入力フレームレートで各フレームの画素データを受信し、例えば、入力フレームレートの２倍の出力フレームレートで、フレーム間に補間画像を挿入した画素データを出力する倍速変換処理を行って画像を倍速表示する画像表示装置が実用化されている。倍速変換処理は、フィルムソースのジャダー緩和および液晶ディスプレイの動画表示性能改善に対して有効な手法である。

また、近年では、精細な階調を表現するために、１０ビットの画素データ（画素データが、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色で構成される場合、Ｒ，Ｇ，Ｂのそれぞれで１０ビット、合計で３０ビットの画素データ）を表示する画像表示装置が用いられる。このような１０ビットの画像表示装置に備えられ、倍速変換処理を行う従来の画像処理装置では、１０ビットの入力画素データと１０ビットの補間画素データの全部をフレームメモリに保存することが一般的であった。

ここで、人間の目は、動画の場合、１０ビットの画素データでも、８ビットの画素データでもほとんど違いが分からないという特性がある。つまり、動画の場合には、８ビットの画素データで十分である。一方、静止画の場合、人間の目は、１０ビットの画素データと、８ビットの画素データとでは階調の違いを明確に感じるという特性がある。従って、静止画の場合には、１０ビットの画素データの方が望ましい。

このような人間の目の特性を利用して、図７に示すように、１０ビットの入力画素データを８ビットの上位ビット部分と２ビットの下位ビット部分とに分けてフレームメモリに保存するとともに、入力画素データの上位ビット部分のみを利用して８ビットの補間画素データを生成してフレームメモリに保存し、補間画像を表示する時に、補間画素データの８ビットの上位ビット部分と入力画素データの２ビットの下位ビット部分とを加算して、１０ビットの補間画素データを生成する手法もある。

図７に示す画像処理装置５０では、現在のフレームの１０ビットの入力画素データが、分離回路５２により、８ビットの上位ビット部分と２ビットの下位ビット部分とに分離され、それぞれ、フレームメモリ５６の対応する記憶領域に記憶される。

補間画像生成回路５４では、分離回路５２から入力された現在のフレームの画素データの８ビットの上位ビット部分と、フレームメモリ５６から読み出された、１つ前のフレームの入力画素データの８ビットの上位ビット部分とから、現在のフレームの補間画素データの８ビットの上位ビット部分が生成される。補間画像生成回路５４によって生成された現在のフレームの補間画素データの８ビットの上位ビット部分は、フレームメモリ５６に記憶される。

そして、加算器５８により、所定の順序でフレームメモリ５６から読み出された、入力画素データの８ビットの上位ビット部分、もしくは、補間画素データの８ビットの上位ビット部分と、２ビットの下位ビット部分とが加算され、１０ビットの出力画素データが生成される。

また同様に、特許文献２には、表示フレームデータの上位ビットと下位ビットとをフレームメモリの別領域に記憶し、動画強調処理部で利用する前フレーム表示データは、上位ビットのみ読み出すことが記載されている。

しかし、上記のいずれの手法を採用したとしても、従来の倍速変換処理を行う画像処理装置では、１０ビットの入力画素データの全部をフレームメモリに保存する必要がある。

１０ビットの画素データを保存するためには、８ビットの画素データよりも多くのメモリ容量とフレームメモリへのアクセス用のバンド幅が必要になる。そのため、画像処理装置では、圧縮技術を利用して、画像情報の大部分を含む８ビットの上位ビット部分のみを、例えば、圧縮率５０％で４ビットの画素データに圧縮してフレームメモリ１８に記憶することが多い。

一方、２ビットの下位ビット部分は高い圧縮率で圧縮することが難しく、非圧縮のままフレームメモリに記憶される。しかし、８ビットの上位ビット部分の圧縮率を５０％とすると、２ビットの下位ビット部分を保存するためのメモリ容量とバンド幅は、８ビットの上位ビット部分を圧縮した後の４ビットの画素データの半分相当となり、画素データ全体として高い圧縮率を実現することができないという問題があった。

特開２０１１−１９０３７号公報 特開２００８−３０４７６３号公報

本発明の目的は、メモリ容量を削減することができる画像処理装置を提供することにある。

上記目的を達成するために、本発明は、複数のフレームのそれぞれを構成する複数の画素のそれぞれの画素値を表す画素データを、該フレームの順番に受信し、フレームメモリに記憶するメモリ制御回路と、
前記フレームメモリに記憶された画素データを利用した画像処理を行い処理済み画素データを生成する画像処理回路と、
前記処理済み画素データを出力する出力回路とを備えた画像処理装置であって、
前記画像処理回路が、前記画素データの上位ビット部分を利用して前記処理済み画素データを生成するものであり、
前記メモリ制御回路が、前記画素データを、上位ビット部分と該上位ビット部分を除いた少なくとも２ビットの下位ビット部分とに分離する分離回路と、該分離した下位ビット部分を前記フレームメモリに記憶する下位ビット処理回路とを含み、
前記下位ビット処理回路が、
該分離した下位ビット部分を、さらに、それぞれ少なくとも１ビットのｎ個（ｎは２以上の整数）の単位部分に分割し、前記複数のフレームのうちの連続するｎフレームのそれぞれを構成する画素データを受信する期間に、該分割したｎ個の単位部分のうちの対応する１つの単位部分のみを前記フレームメモリに記憶するか、もしくは、
それぞれのフレームを構成する複数の画素をｎ組（ｎは２以上の整数）に分割し、前記複数のフレームのうちの連続するｎフレームのそれぞれを構成する画素データを受信する期間に、該分割したｎ組の画素のうちの対応する１つの組の画素の画素データのみの前記分離した下位ビット部分を前記フレームメモリに記憶することを特徴とする画像処理装置を提供するものである。

ここで、前記画像処理回路が、前記処理済み画素データの上位ビット部分を生成するものであり、
前記出力回路が、前記画像処理回路が生成した前記処理済み画素データの上位ビット部分に、前記フレームメモリから読み出した前記画素データの下位ビット部分を追加し、前記処理済み画素データとして出力することが好ましい。

また、前記メモリ制御回路の上位ビット処理回路が、前記分離した上位ビット部分を圧縮する圧縮回路を更に含み、該圧縮回路が圧縮した前記上位ビット部分を前記フレームメモリに記憶することが好ましい。

また、前記画像処理回路が、前記複数のフレームのそれぞれの間を補間する補間フレームを構成する画素のそれぞれの画素値を表すデータを、前記処理済み画素データとして生成することが好ましい。

本発明によれば、画素データのｎビットの下位ビット部分をｎ個に分割してフレームメモリに記憶することにより、下位ビット部分のメモリ容量を１／ｎに削減することができる。また、下位ビット部分を時間分割してフレームメモリに出力することにより、下位ビット部分をフレームメモリに送るメモリバスのバンド幅も１／ｎに削減することができる。

本発明に関わる画像処理装置の構成を表す一実施形態のブロック図である。 下位ビット部分をフレームメモリに記憶する時の流れを表す概念図である。 フレームメモリに記憶された下位ビット部分の内容を表す概念図である。 ＬＳＢ処理回路の構成を表すブロック図である。 テレビ画像の各フレームの入力画素データとその倍速変換後の各フレームの出力画素データとの関係を表すグラフである。 テレビ画像の画素データが入力された場合の画像処理装置の動作を表す概念図である。 従来の画像処理装置の構成を表す一例のブロック図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置を詳細に説明する。

図１は、本発明に関わる画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、６０Ｈｚ／５０Ｈｚの入力フレームレートで１０ビットの入力画素データを受け取り、これを倍速変換処理して、１２０Ｈｚ／１００Ｈｚの出力フレームレートで１０ビットの出力画素データを出力するものであって、メモリ制御回路１２と、画像処理回路１４と、出力回路１６とによって構成されている。

なお、入力フレームレートおよび出力フレームレートは、それぞれ、６０Ｈｚ／５０Ｈｚおよび１２０Ｈｚ／１００Ｈｚ、つまり、２倍速の倍速変換処理に限定されないし、入力画素データおよび出力画素データのビット数も１０ビットに限定されない。

画像処理装置１０は、テレビ画像の各フレームの画素データ（以下、テレビ画像の画素データという）を処理する回路、および、フィルムソースの各コマを２：３／２：２プルダウンして生成された各フレームの画素データ（以下、フィルムソースの画素データという）を処理する回路の両方を含むものであるが、図１には、説明を簡単に行うために、テレビ画像の画素データを処理する回路のみを示している。従って、以下、テレビ画像の画素データが入力される場合について説明するが、フィルムソースの画素データが入力される場合にも同様に適用可能である。

まず、メモリ制御回路１２は、１０ビットの入力画素データ、つまり、複数のフレームのそれぞれを構成する複数の画素のそれぞれの画素値を表す１０ビットの画素データを、フレームの順番に受信し、フレームメモリ１８に記憶するものである。メモリ制御回路１２は、ＭＳＢ／ＬＳＢ分離回路２０と、ＬＳＢ処理回路２２と、ＭＳＢ処理回路２４とによって構成されている。

ＭＳＢ／ＬＳＢ分離回路２０は、前述の人間の目の特性に応じて、１０ビットの画素データを、最上位ビット（ＭＳＢ）から８ビットの上位ビット部分と、最下位ビット（ＬＳＢ）から２ビットの下位ビット部分に分離する。画像処理装置１０では、８ビットの上位ビット部分を使用して補間画素データの８ビットの上位ビット部分を生成し、これに２ビットの下位ビット部分を加算して１０ビットの画素データとして出力する。

なお、ＭＳＢ／ＬＳＢ分離回路２０は、８ビットの上位ビット部分と、２ビットの下位ビット部分に分離することに限定されず、画素データを、上位ビット部分と、上位ビット部分を除いた少なくとも２ビットの下位ビット部分とに分離すればよい。

ＬＳＢ処理回路２２は、それぞれのフレームの画像を構成する複数の画素を奇数画素と偶数画素の２組に分割し、複数のフレームのうちの連続する２フレームのそれぞれを構成する画素データを受信する期間に、１フレーム毎に、奇数画素と偶数画素に分割した２組の画素のうちの、奇数画素の画素データのみの２ビットの下位ビット部分と、偶数画素の２ビットの画素データのみの下位ビット部分とを交互にフレームメモリ１８に記憶する。

例えば、図２に示すように、フレームｆ０からフレームｆ１の間で動きがない（動き＝０）静止画の場合、フレームｆ０では、画面半分相当画素として、奇数画素のみの２ビットの下位ビット部分がフレームメモリ１８に記憶される。続くフレームｆ１では、画面残り半分相当画素として、偶数画素のみの２ビットの下位ビット部分がフレームメモリ１８に記憶される。

つまり、１０ビットの画素データのうちの２ビットの下位ビット部分は、フレームｆ０で１画面の半分の画素データのみが記憶され、フレームｆ１でも同様に１画面の残りの半分の画素データのみが記憶される。その結果、２フレームで１画面分の画素データがフレームメモリ１８に記憶される。そして、２ビットの下位ビット部分については、２フレームで記憶された１画面全画素相当の画素データがフレームメモリ１８から読み出され、表示に利用される。

図３に示すように、２ビットの下位ビット部分については例えば、１画面の水平方向×垂直方向の画素数がそれぞれ偶数（例えば、１９２０画素×１０８０画素）であるとすると、それぞれのラインごとに、奇数画素と偶数画素とが、フレームｆ０とｆ１とに分けて、フレームメモリ１８に記憶される。図３に示した例では、奇数ラインでは、奇数画素の画素データが偶数フレームｆ０で、偶数画素の画素データが奇数フレームｆ１で記憶され、偶数ラインでは、偶数画素の画素データが偶数フレームｆ０で、奇数画素の画素データが奇数フレームｆ１で記憶される。すなわち、図３に示した例では、ラインごとに、偶数フレームｆ０で記憶する画素と奇数フレームｆ１で記憶する画素とを入れ換えている。

このように、ラインごとに、記憶する画素を入れ換えることは必須ではなく、全てのラインにおいて、例えば、奇数画素の画素データを偶数フレームｆ０で記憶し、偶数画素の画素データを奇数フレームｆ１で記憶することも可能である。ラインごとに記憶する画素を入れ換えることにより、わずかに動きがある画像を表示する場合の表示品質が向上することは期待される。しかし、完全に静止している場合、もしくは、大きな動きがある場合には、いずれでも同等の表示品質が得られる。このように、それぞれのフレームにおいて２ビットの下位ビット部分の画素データを記憶する画素数を半分にすることにより、２ビットの下位ビット部分の画素データを記憶するために必要なフレームメモリ１８の容量を半分に削減することが可能である。

フレームｆ０からフレームｆ１の間で動きがない場合、フレームｆ０の各画素の画素データとフレームｆ１の対応する画素の画素データとは同一である。従って、フレームｆ０とフレームｆ１のそれぞれの半分の画素の画素データがなくても、フレームメモリ１８に記憶されたフレームｆ０の半分の画素の画素データとフレームｆ１の半分の画素の画素データとを読み出すことにより、フレームｆ０，ｆ１の１画面分の各画素の画素データの２ビットの下位ビット部分を完全に復元することができる。

なお、ＬＳＢ処理回路２２は、奇数画素と偶数画素の２組に限らず、それぞれのフレームを構成する複数の画素をｎ組（ｎは２以上の整数）に分割し、複数のフレームのうちの連続するｎフレームのそれぞれを構成する画素データを受信する期間に、１フレーム毎に、分割したｎ組の画素のうちの対応する１つの組の画素の画素データのみの分離した下位ビット部分を順次フレームメモリ１８に記憶してもよい。

また、ＬＳＢ処理回路２２は、分離した下位ビット部分を、さらに、それぞれ少なくとも１ビットのｎ個（ｎは２以上の整数）の単位部分に分割し、複数のフレームのうちの連続するｎフレームのそれぞれを構成する画素データを受信する期間に、１フレーム毎に、分割したｎ個の単位部分のうちの対応する１つの単位部分のみを順次フレームメモリ１８に記憶してもよい。

例えば、下位ビット部分が、ビット０，１からなる２ビットの場合、ＬＳＢ処理回路２２は、分離した下位ビット部分を、ビット０およびビット１の２つの単位部分に分割し、複数のフレームのうちの連続する２フレームのそれぞれを構成する画素データを受信する期間に、１フレーム毎に、ビット０の単位部分とビット１の単位部分とを交互にフレームメモリ１８に記憶することが可能である。

なお、下位ビット部分をどのように分割するか、いくつに分割するかは任意である。しかし、どのように分割したとしても、ｎ個に分割した場合には、下位ビット部分のメモリ容量を１／ｎに削減することができる。

また、ＬＳＢ処理回路２２は、分離した２ビットの下位ビット部分を１ビットずつ時間分割して順次出力する時間分割回路２６を更に含み、時間分割回路２６が時間分割で順次出力した下位ビット部分の１ビットをフレームメモリ１８に順次記憶する。これにより、下位ビット部分を記憶するためにフレームメモリ１８に送るメモリバスのバンド幅を半分に削減することができる。下位ビット部分を２つの単位部分に分割して、１フレームごとに、２つの単位部分を交互に記憶するようにした場合も同様である。

時間分割回路２６は、例えば、図４に示すように、バッファ回路４２を備え、２ビットの下位ビット部分がバッファ回路４２に入力されると、バッファ回路４２により、１ビットずつ時間分割で出力される。２ビットの下位ビット部分のビット０，１に対応するフレームメモリ１８の記憶領域は、例えば、ビット０，１の画素データをフレームメモリ１８に書き込むときのアドレス信号を変えることによって指定可能である。

ＭＳＢ処理回路２４は、分離された８ビットの上位ビット部分を半分の４ビットの圧縮データに圧縮する圧縮回路２８を更に含み、圧縮回路２８が圧縮した４ビットの上位ビット部分をフレームメモリ１８に記憶する。

なお、上位ビット部分を圧縮する方法は何ら限定されず、各種の圧縮方法を利用することができる。また、８ビットを４ビットに圧縮することも限定されない。さらに、後述する補間画素データの圧縮伸張方法も同様である。

続いて、画像処理回路１４は、フレームメモリ１８に記憶された画素データを利用した画像処理を行い、処理済み画素データとして、補間画素データ、つまり、複数のフレームのそれぞれの間を補間する補間フレームを構成する画素のそれぞれの画素値を表すデータを生成するものであって、動きベクトル検出回路３０と、補間画像生成回路３２と、圧縮伸張回路３４とによって構成されている。

動きベクトル検出回路３０は、ＭＳＢ／ＬＳＢ分離回路２０から入力される現在のフレームの画素データの８ビットの上位ビット部分と、後述する圧縮伸張回路３４から入力される１つ前のフレームの画素データの８ビットの上位ビット部分とを比較することにより、現在のフレームの動きベクトル（１つ前のフレームから現在のフレームまでの動き）を検出する。

補間画像生成回路３２は、動きベクトル検出回路３０から入力される１つ前のフレームから現在のフレームまでの動きベクトルに基づいて、現在のフレームの画素データの８ビットの上位ビット部分と、１つ前のフレームの画素データの８ビットの上位ビット部分とを用いて補間処理を行い、１つ前のフレームと現在のフレームとの間の補間フレームの８ビットの画素データ（１つ前のフレームと現在のフレームとの間に挿入される補間画像の画素データ）を生成する。

なお、動きベクトルの検出方法および補間画像の生成方法は何ら限定されない。これらの方法は、既に各種の方法が提案されており、本発明においても、これらの各種の方法を採用することができる。

圧縮伸張回路３４は、ＭＳＢ処理回路２４の圧縮回路２８と同様に、補間画像生成回路３２から入力される８ビットの補間画素データを４ビットの圧縮データに圧縮してフレームメモリ１８に記憶する。また、圧縮伸張回路３４は、フレームメモリ１８から入力される１つ前のフレームの４ビットの圧縮データを８ビットの画素データに伸張する。伸張された１つ前のフレームの８ビットの画素データは、前述の動きベクトル検出回路３０および補間画像生成回路３２に入力される。

続いて、出力回路１６は、入力画素データおよび処理済み画素データを含む、倍速変換処理後の１０ビットの画素データを出力するものであって、倍速処理回路３６と、伸張回路３８と、加算器４０とによって構成されている。

伸張回路３８は、画像処理回路１４の圧縮伸張回路３４と同様に、フレームメモリ１８から入力される、８ビットの入力画素データに対応する４ビットの圧縮データと、８ビットの補間画素データに対応する４ビットの圧縮データを８ビットの画素データに伸張する。

倍速処理回路３６は、伸張回路３８から入力される入力画素データの８ビットの上位ビット部分と補間画素データの８ビットの上位ビット部分とを、出力のフレームレートで、あらかじめ設定された所定の順序で順次切り換えて出力する。これにより、倍速処理回路３６から、入力画素データを倍速変換した出力画素データの８ビットの上位ビット部分が出力される。

加算器４０は、倍速処理回路３６から入力される画素データの８ビットの上位ビット部分と、フレームメモリ１８から入力される、入力画素データの２ビットの下位ビット部分とを加算し、合計１０ビットの出力画素データとして出力する。

つまり、出力回路１６は、入力画素データの８ビットの上位ビット部分、もしくは、画像処理回路１４によって生成された補間画素データの８ビットの上位ビット部分に、フレームメモリ１８から読み出された、入力画素データの２ビットの下位ビット部分を追加し、これを１０ビットの出力画素データ（つまり、入力画素データ、もしくは、補間画素データ）として出力する。

次に、テレビ画像の入力画素データと出力画素データとの関係について説明する。

図５は、テレビ画像の入力画素データとその倍速変換後の出力画素データとの関係を表すグラフである。このグラフの縦軸は入力画像における動き（ＭＶ）、横軸は１フレームの期間を単位とする時間（Ｔ）を表し、入力画像が画面内で左下から右上に向かって移動する様子を表す。記号●、◆は入力画像、☆は補間画像、横軸下部の記号は出力画像の配列である。グラフには、出力フレームレートの１フレームの期間を分かりやすくする目的で縦線を示してある。番号１，２，３，…は、入出力フレームの対応関係を表す。

このグラフに示すように、テレビ画像の画素データが入力される場合、例えば、６０Ｈｚの入力フレームレートで、テレビ画像の各フレームの画素データ（●および◆）が１フレームの期間、画像処理装置１０に入力されることが、テレビ画像の各フレームについて繰り返し行われる。グラフに矢印で示したように、画素データが画像処理装置１０に入力されてから出力されるまでの時間は、この例の場合、１２０Ｈｚの出力フレームレートで３フレーム分の時間である。

画像処理装置１０は、テレビ画像の画素データが入力された場合、第１の入力画素データ（●）を１回、第１の補間画素データ（☆）を１回、続く第２の入力画素データ（◆）を１回、第２の補間画素データ（☆）を１回出力することを繰り返し行うことにより、倍速変換後の出力画素データ（●☆◆☆…）を生成する。

次に、画像処理装置１０の動作を説明する。

画像処理装置１０には、図６に示すように、フレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…の順番で、複数のフレームの画素の１０ビットの画素データが入力フレームレートで順次入力される。この場合、フレームメモリ１８は、偶数フレームｆ０，ｆ２，ｆ４，…の画素の画素データを記憶するための第１の記憶領域４４と、奇数フレームｆ１，ｆ３，ｆ５，…の画素の画素データを記憶するための第２の記憶領域４６とを有するものとすることが可能である。それぞれの記憶領域は、８ビットの上位ビット部分を圧縮した４ビットの圧縮データと、半分の画素の２ビットの下位ビット部分の画素データとの合計の、１画素当たり５ビットの画素データを記憶可能な容量を有する。フレームメモリ１８はさらに、補間画像生成回路３２が生成する補間画素の８ビットの上位ビット部分を圧縮した４ビットの圧縮データを記憶するための第３の記憶領域４８を有する。以下、このような３つの記憶領域を有するフレームメモリ１８を備えていることを前提として、画像処理装置１０の動作を説明する。

各々のフレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…の期間に入力された１０ビットの画素データは、まず、ＭＳＢ／ＬＳＢ分離回路２０によって、８ビットの上位ビット部分と２ビットの下位ビット部分とに分離される。

２ビットの下位ビット部分は、ＬＳＢ処理回路２２によって、ラインごとに奇数画素と偶数画素の２組に分割され、連続する２フレームのそれぞれを構成する画素データを受信する期間に、２組に分割した画素の一方のみの画素データが、１ビットずつ時間分割でフレームメモリ１８のそれぞれの記憶領域に順次記憶される。

例えば、図３に示す例では、偶数フレームｆ０では、このフレームで入力された画素データの２ビットの下位ビット部分は、奇数ラインでは奇数画素の画素データのみが、偶数ラインでは偶数画素の画素データのみが、フレームメモリ１８の第１の記憶領域４４に記憶される。フレームｆ０でフレームメモリ１８に記憶された、奇数もしくは偶数画素の画素データの２ビットの下位ビット部分は、フレームｆ２の画素データが入力されるまでの期間保持される。

続く奇数フレームｆ１では、このフレームで入力された画素データの２ビットの下位ビット部分は、奇数ラインでは偶数画素の画素データのみが、偶数ラインでは奇数画素の画素データのみが、フレームメモリ１８の第２の記憶領域４６に記憶される。フレームｆ１でフレームメモリ１８に記憶された、偶数もしくは奇数画素の画素データの２ビットの下位ビット部分は、フレームｆ３の画素データが入力されるまでの期間保持される。これ以後の各フレームでも同様の動作が繰り返し行われる。

一方、８ビットの上位ビット部分は、ＭＳＢ処理回路２４によって、半分の４ビットの圧縮データに圧縮され、１フレーム毎に、フレームメモリ１８の対応する記憶領域に順次記憶される。

例えば、フレームｆ０の期間に入力された画素データの８ビットの上位ビット部分は、フレームｆ０の期間にフレームメモリ１８の第１の記憶領域４４に記憶され、同様に、フレームｆ２の画素データが入力されるまでの期間保持される。続くフレームｆ１の期間に入力された画素データの８ビットの上位ビット部分は、フレームｆ１の期間にフレームメモリ１８の第２の記憶領域４６に記憶され、同様に、フレームｆ３の画素データが入力されるまでの期間保持される。これ以後の各フレームでも同様の動作が繰り返し行われる。

また、８ビットの上位ビット部分は、動きベクトル検出回路３０および補間画像生成回路３２にも入力される。

動きベクトル検出回路３０では、現在のフレームの１０ビットの画素データが入力される期間に、現在のフレームの画素データの８ビットの上位ビット部分と、フレームメモリ１８から読み出され、圧縮伸張回路３４によって伸張された１つ前のフレームの画素データの８ビットの上位ビット部分との比較が行われることにより、１つ前のフレームと現在のフレームとの間の動きベクトルが検出される。

例えば、フレームｆ１の画素データが入力される期間に、フレームｆ１の画素データの８ビットの上位ビット部分と、フレームｆ０の画素データの８ビットの上位ビット部分との比較が行われ、フレームｆ０とフレームｆ１との間の動きベクトルが検出される。

続いて、補間画像生成回路３２により、１つ前のフレームと現在のフレームとの間の動きベクトルに基づいて、現在のフレームの画素データの８ビットの上位ビット部分と、１つ前のフレームの画素データの８ビットの上位ビット部分とを用いて、１つ前のフレームと現在のフレームとの間の補間フレームの画素データの８ビットの上位ビット部分が生成される。補間画素データの８ビットの上位ビット部分は圧縮伸張回路３４によって４ビットの圧縮データに圧縮され、フレームメモリ１８の対応する記憶領域に記憶される。

図６に示すように、例えば、フレームｆ１の期間では、フレームｆ０とフレームｆ１との間の動きベクトルに基づいて、フレームｆ０，ｆ１の画素データの８ビットの上位ビット部分を用いて、フレームｆ０とフレームｆ１との間の補間フレームｆ０／ｆ１の画素データの８ビットの上位ビット部分が生成される。補間フレームｆ０／ｆ１の画素データの８ビットの上位ビット部分は、４ビットの圧縮データに圧縮されてフレームメモリ１８の第３の記憶領域４８に記憶される。

続くフレームｆ２の期間では、フレームｆ１とフレームｆ２との間の動きベクトルに基づいて、フレームｆ１，ｆ２の画素データの８ビットの上位ビット部分を用いて、フレームｆ１とフレームｆ２との間の補間フレームｆ１／ｆ２の画素データの８ビットの上位ビット部分が生成される。補間フレームｆ１／ｆ２の画素データの８ビットの上位ビット部分は、４ビットの圧縮データに圧縮されてフレームメモリ１８の対応する記憶領域に記憶される。図６に示した例では、補間画素データｆ１／ｆ２の８ビットの上位ビット部分は、補間画素データｆ０／ｆ１の８ビットの上位ビット部分が記憶されていた第３の記憶領域４８に上書きされる。これ以後の各フレームでも同様の動作が繰り返し行われる。

そして、図６に示した例では、最初のフレームの画素データの入力が開始されてから、出力フレームレートで３フレーム分の時間の後から、倍速処理回路３６により、フレームメモリ１８から読み出され、伸張回路３８によって伸張された入力画素データの８ビットの上位ビット部分と補間画素データの８ビットの上位ビット部分とが、出力のフレームレートで、あらかじめ設定された所定の順序で順次切り換えて出力される。

そして、加算器４０により、倍速処理回路３６から入力される画素データの８ビットの上位ビット部分と、フレームメモリ１８から読み出された入力画素データの２ビットの下位ビット部分とが加算され、合計１０ビットの出力画素データが出力される。これにより、図６に示すように、１０ビットの出力画素データが、フレームｆ０，ｆ０／ｆ１，ｆ１，ｆ１／ｆ２，ｆ２，…の順序で、画像処理装置１０から順次出力される。

図６に示すように、例えば、フレームｆ０の入力画素データは、それ以前にフレームメモリ１８の第１の記憶領域４４に記憶されているフレームｆ−２の入力画素データを順次上書きすることによって記憶される。フレームｆ１の入力画素データは、それ以前にフレームメモリ１８の第２の記憶領域４６に記憶されているフレームｆ−１の入力画素データを順次上書きすることによって記憶される。同様に、補間フレームｆ０／ｆ１の画素データは、それ以前にフレームメモリ１８の第３の記憶領域４８に記憶されている補間フレームｆ−１／ｆ０の画素データを順次上書きすることによって記憶される。

そして、例えば、フレームｆ０の出力画素データを出力する期間には、フレームメモリ１８の第２の記憶領域４６にフレームｆ１の入力画素データを書き込むとともに、フレームｆ１の半分の画素の画素データの２ビットの下位ビット部分を、同じ第２の記憶領域４６から読み出す。また、補間フレームｆ０／ｆ１の画素データを出力する期間には、フレームメモリ１８の第３の記憶領域４８から補間フレームｆ０／ｆ１の画素データの上位ビット部分を読み出すとともに、同じ第３の記憶領域４８に、補間フレームｆ１／ｆ２の画素データの上位ビット部分を書き込み、さらに、フレームメモリ１８の第１の記憶領域４４からは、フレームｆ０の半分の画素の画素データの２ビットの下位ビット部分を読み出すとともに、フレームｆ２の入力画素データを同じ第１の記憶領域４４に書き込む。

このように、フレームメモリの記憶領域への書き込みと同一の記憶領域からの読み出しとを同一の期間に実施するためには、例えば、本出願人に係る特開２００９−１６９２５７号公報の図７，８に示されたように、書き込み用および読み出し用ＦＩＦＯを設け、かつ、入力画素データが入力されるクロックの２倍の周波数のクロックでフレームメモリへの書き込みおよびフレームメモリからの読み出しを行う技術を利用することができる。これにより、安価なＳＤＲＡＭをフレームメモリとして利用した場合にも、各ラインの前半と後半とに分けて、画素データの書き込みと読み出しとを行うことができる。

画像処理装置１０では、動画の場合、画像処理装置１０から出力される１０ビットの補間画素データのうち、２ビットの下位ビット部分は前後のフレームの入力画素データの画素データであり、補間画素データではない。しかし、前述の人間の目の特性から、動画の場合には、２ビットの下位ビット部分を無視できるため、何ら問題なく動画を表示することができる。

一方、静止画の場合にも、１０ビットの補間画素データのうち、２ビットの下位ビット部分は前後のフレームの入力画素データである。しかし、静止画の場合には、前後のフレームの入力画素データは同じであるから、２ビットの下位ビット部分は前後のフレームの入力画素データの間の補間画素データとなる。従って、高精細な静止画を表示することができる。

例えば、８ビットの上位ビット部分の圧縮率を５０％とすると、圧縮後の圧縮データは４ビットになる。また、２ビットの下位ビット部分は、半分の画素の画素データのみが記憶されるため、同じく圧縮率５０％相当となる。従って、画素データ全体で５ビットのデータとなり、５０％という高い圧縮率を実現することができる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０，５０ 画像処理装置
１２ メモリ制御回路
１４ 画像処理回路
１６ 出力回路
１８，５６ フレームメモリ
２０ ＭＳＢ／ＬＳＢ分離回路
２２ ＬＳＢ処理回路
２４ ＭＳＢ処理回路
２６ 時間分割回路
２８ 圧縮回路
３０ 動きベクトル検出回路
３２，５４ 補間画像生成回路
３４ 圧縮伸張回路
３６ 倍速処理回路
３８ 伸張回路
４０，５８ 加算器
４２ バッファ回路
５２ 分離回路

Claims (4)

1. 複数のフレームのそれぞれを構成する複数の画素のそれぞれの画素値を表す画素データを、該フレームの順番に受信し、フレームメモリに記憶するメモリ制御回路と、
   前記フレームメモリに記憶された画素データを利用した画像処理を行い処理済み画素データを生成する画像処理回路と、
   前記処理済み画素データを出力する出力回路とを備えた画像処理装置であって、
   前記画像処理回路が、前記画素データの上位ビット部分を利用して前記処理済み画素データを生成するものであり、
   前記メモリ制御回路が、前記画素データを、上位ビット部分と該上位ビット部分を除いた少なくとも２ビットの下位ビット部分とに分離する分離回路と、該分離した下位ビット部分を前記フレームメモリに記憶する下位ビット処理回路とを含み、
   前記下位ビット処理回路が、
   該分離した下位ビット部分を、さらに、それぞれ少なくとも１ビットのｎ個（ｎは２以上の整数）の単位部分に分割し、前記複数のフレームのうちの連続するｎフレームのそれぞれを構成する画素データを受信する期間に、該分割したｎ個の単位部分のうちの対応する１つの単位部分のみを前記フレームメモリに記憶するか、もしくは、
   それぞれのフレームを構成する複数の画素をｎ組（ｎは２以上の整数）に分割し、前記複数のフレームのうちの連続するｎフレームのそれぞれを構成する画素データを受信する期間に、該分割したｎ組の画素のうちの対応する１つの組の画素の画素データのみの前記分離した下位ビット部分を前記フレームメモリに記憶することを特徴とする画像処理装置。
2. 前記画像処理回路が、前記処理済み画素データの上位ビット部分を生成するものであり、
   前記出力回路が、前記画像処理回路が生成した前記処理済み画素データの上位ビット部分に、前記フレームメモリから読み出した前記画素データの下位ビット部分を追加し、前記処理済み画素データとして出力することを特徴とする請求項１記載の画像処理装置。
3. 前記メモリ制御回路の上位ビット処理回路が、前記分離した上位ビット部分を圧縮する圧縮回路を更に含み、該圧縮回路が圧縮した前記上位ビット部分を前記フレームメモリに記憶することを特徴とする請求項１または２記載の画像処理装置。
4. 前記画像処理回路が、前記複数のフレームのそれぞれの間を補間する補間フレームを構成する画素のそれぞれの画素値を表すデータを、前記処理済み画素データとして生成することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。

Images