JP2006047993A - データ変換装置 - Google Patents

Abstract

【課題】 データを圧縮（削減）することで、必要なフレームメモリ容量を抑えながら、データの圧縮（削減）に起因する表示品位低下をも抑制することができるデータ変換装置を実現する。
【解決手段】 本発明のデータ変換装置１１は、表示データの構成成分のうちの少なくとも１種類について、各画素に対応する分と、画面に表示したときに画面上で該画素の周囲に存在する画素に対応する分とを、両者の平均値に置き換えることで、データ量を削減する符号化部１３と、フレームメモリ１４から圧縮データを読み出して、上記平均値を、対応する各画素用の表示データとして割り当てる復号化部１５とを備えている。したがって、従来の一般的なデータ圧縮方法を採用した場合と異なり、本来の表示データと、圧縮・復元処理で得られた表示データとのずれが大きくなるのを抑えることができる。
【選択図】 図１

Description

本発明は、表示装置の表示データの圧縮に用いることができるデータ変換装置に関するものである。

表示装置は外部システムからの表示データに応じて表示を行う。しかし、表示装置の表示能力の改善のために外部システムと表示装置の間にデータを変換するデータ変換装置を設けることがある。

このようなデータ変換処理の目的である表示能力の改善としては、例えば、液晶表示装置の応答速度改善などがある。液晶表示装置の多くは、黒から白、白から黒への変化で１０ｍｓから３０ｍｓ、中間調から中間調への変化の遅いところで１００ｍｓから２００ｍｓ程度となる。通常表示に使用されるフレーム周波数は５０Ｈｚないし６０Ｈｚであるから、１周期１６．７ｍｓないし２０．０ｍｓとなる。応答速度が１フレームの周期よりも長いため、テレビなどの動画を表示させたとき表示の書き換えが完全に行われず残像が発生する。

これを対策する方法としては特公昭６３−２５５５６号公報や特許３１６７３５１号公報などに記載のデータ変換処理がある。このデータ変換処理をオーバードライブ駆動、オーバーシュート駆動などと呼ぶ。なお、以下、単にオーバードライブ駆動と称する。

これらはいずれもフレーム間データ変換処理を行うためにフレームメモリを使用している。このフレームメモリはハードウェア量が大きい。この規模を小さくするため、特開２００３−１６７５５５号公報に示されるように、書き込む前に圧縮符号化することでハードウェア量を削減できるとされている。
特公昭６３−２５５５６号公報（公開日昭和６３年５月２５日） 特許３１６７３５１号公報（公開日平成１３年５月２１日） 特開２００３−１６７５５５号公報（公開日平成１５年６月１３日）

しかし、フレームデータの圧縮を単純に行ってしまうと、表示品位を著しく落とすことになる。通常の画像情報について、特開２００３−１６７５５５号公報にあるようにＲＧＢ各８ビットのデータをＲ５ビット、Ｇ６ビット、Ｂ５ビットに減らす場合は、単純に量子化誤差が発生するだけであるが、フレーム間データ変換処理では、ＲＧＢ各８ビットのデータを圧縮してＲ５ビット、Ｇ６ビット、Ｂ５ビットとした後、再びＲＧＢ各８ビットへ変化させ、それを前フレームのデータとして、それを基準としてフレーム間のデータ変換処理を行った場合、単純でない誤差が発生することがある。これは、（１）液晶の応答速度についてみると、変化の開始輝度と終了輝度との組み合わせによって応答にかかる時間が非線形になっているために、前フレームの情報が物理的に大きくなるということと、（２）単純な量子化誤差であれば、人間の目には、単に色の深みがなくなったように見えるだけであるのに対し、画素（ピクセル）を構成する赤緑青のサブ画素（サブピクセル）が様々なベクトルを持って変化することによって、人間の視覚に捉えやすくなることがあるため単純ではなくなるということのためである。そのため、前述のオーバードライブ駆動の場合は特定の変化の開始輝度と終了輝度との組み合わせで修正量を大きくしなくてはならなくなるため、Ｒ５ビット、Ｇ６ビット、Ｂ５ビットどころか、Ｒ６ビット、Ｇ８ビット、Ｂ６ビット程度の圧縮であっても、色がついて見えるなど人間の目に認識されてしまうといった不具合が発生する。これは、オーバードライブ駆動が、白黒あるいは黒白の変化と比べて、中間調から中間調への変化のように応答速度の遅い部分について、本来の変化以上の変化を加えることによって応答速度を改善させるという手法のため、先に説明した通り、元の値がずれるとそのことが人間の目に認識されやすくなるなどといったことが起こるためであり、当然の結果といえる。特開２００３−１６７５５５号公報はさらにここからデータを間引いているのでさらに悪い結果を惹起する。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示装置の表示能力の改善のために外部システムと表示装置の間にデータを変換するデータ変換装置を設け、そのデータ変換処理のためにフレームメモリを必要とする場合に、データを圧縮することで、必要なフレームメモリ容量を抑えながら、データの圧縮に起因する表示品位低下をも抑制できるデータ変換装置を実現することにある。

上記の課題を解決するため、本発明に係るデータ変換装置は、過去のフレームの表示データをフレームメモリに記憶して、それと現フレームの表示データとに基づいて、データ変換部にて該過去のフレームより後のフレームの表示データである演算データを生成するデータ変換処理を行って出力表示データとして表示装置に出力するデータ変換装置において、各フレームで、１画素分の上記表示データを構成する構成成分のうちの少なくとも１つについて、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分とを、両者に重みを付けて足し合わせた代替値に置き換えることで、データ量を削減する圧縮処理を施した圧縮データを、上記フレームメモリに記憶させるべく出力する圧縮部と、上記フレームメモリから圧縮データを読み出して、上記代替値を、対応する各画素用の表示データとして割り当てる復元処理を施したものを、データ変換処理させるべく上記データ変換部に出力する復元部とを備えたことを特徴としている。

上記の構成により、各フレームで、１画素分の上記表示データを構成する構成成分のうちの少なくとも１つについて、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分とを、両者に重みを付けて足し合わせた代替値に置き換えることで、データ量を削減する圧縮処理を施してから上記フレームメモリに記憶する。その後、上記フレームメモリから圧縮データを読み出して、上記代替値を、対応する各画素用の表示データとして割り当てる復元処理を施したものを、データ変換処理させるべく上記データ変換部に出力する。

したがって、従来の一般的なデータ圧縮方法を採用した場合と異なり、本来の表示データと、圧縮・復元処理で得られた表示データとのずれが大きくなるのを抑えることができるので、オーバーシュート駆動やオーバードライブ駆動を行っても、表示データが本来の値から狂いにくい。また、人間の目では認識しにくいように、各画素と、その周囲に存在する画素との間で求めた変換値を用いているので、人間の視覚ではデータを削減したことが目立ちにくい。

それゆえ、データを圧縮（削減）することで、必要なフレームメモリ容量を抑えながら、データの圧縮（削減）に起因する表示品位低下をも抑制することができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記演算データが、現フレームの出力表示データであることを特徴としている。

上記の構成により、上記演算データが、現フレームの出力表示データである。したがって、上記の構成による効果に加えて、容易に現フレームの表示を行うことができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記代替値が、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分との両者の平均値であることを特徴としている。

上記の構成により、上記代替値が、両者の平均値である。

したがって、上記の構成による効果に加えて、一層表示品位低下を抑制しながら、高い圧縮率を得ることができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記構成成分が、輝度Ｙと赤色差Ｃｒと青色差Ｃｂであり、上記データ変換部が、そのうちで、赤色差Ｃｒと青色差Ｃｂとを、上記代替値にそれぞれ置き換えることを特徴としている。

上記の構成により、上記構成成分が、輝度Ｙと赤色差Ｃｒと青色差Ｃｂであり、そのうちで、赤色差Ｃｒと青色差Ｃｂとが、上記代替値にそれぞれ置き換えられる。

したがって、上記の構成による効果に加えて、ＲＧＢで行った場合と比べて、高精細なモジュールという条件を満たしていなくても、表示品位低下を抑制しながら、高い圧縮率を得ることができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記構成成分がＲＧＢであり、上記データ変換部が、そのうちで、ＲとＢとを、上記代替値にそれぞれ置き換えることを特徴としている。

上記の構成により、上記構成成分がＲＧＢであり、そのうちで、ＲとＢとが、上記代替値にそれぞれ置き換えられる。

したがって、上記の構成による効果に加えて、高精細な表示装置であれば、ＲＧＢで簡便に輝度Ｙ、赤色差Ｃｒ、青色差Ｃｂの代用にすることができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記データ変換部が、現フレームの表示データについても、上記圧縮および復元を行ったものを上記データ変換処理に用いることを特徴としている。

上記の構成により、現フレームの表示データについても、上記圧縮および復元を行ったものを上記データ変換処理に用いる。したがって、データ変換に用いる、過去（例えば１フレーム前）の表示データと現フレームの表示データとの間で、上記圧縮処理によって生じる情報のずれを小さくすることができる。それゆえ、上記の構成による効果に加えて、表示データの圧縮（削減）に起因する表示品位低下を一層効果的に抑制することができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記データ変換部が、１フレーム前の表示データと現フレームの表示データとを比較し、その差が一定値以下の場合は、上記圧縮部による圧縮後の表示データを用いたデータ変換を行わずに、現フレームの表示データそのままを出力表示データとして出力することを特徴としている。

上記の構成により、１フレーム前の表示データと現フレームの表示データとが比較され、その差が一定値以下の場合は、上記圧縮部による圧縮後の表示データを用いたデータ変換が行われずに、現フレームの表示データそのままが出力される。

したがって、上記の構成による効果に加えて、１フレーム前のデータと現フレームデータが同じである、静止画の場合に不要な圧縮を行わないので、その分、静止画の場合の色ずれを効果的に抑えることができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記データ変換部が、上記データ変換処理として、オーバードライブ駆動の変換を行うことを特徴としている。

上記の構成により、上記データ変換処理として、オーバードライブ駆動の変換が行われる。したがって、上記の構成による効果に加えて、好適にオーバードライブ駆動の変換を行うことができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記データ変換部が、上記データ変換処理として、１つ前のフレームの表示データの輝度と現フレームの表示データの輝度とを比較し、輝度差が所定値以上であれば、該前のフレームの輝度から現フレームの輝度に変わる間に、両輝度のうち暗いほうの輝度よりも暗い輝度を有する低輝度データを上記演算データとして生成することを特徴としている。

上記の構成により、１つ前のフレームの表示データの輝度と現フレームの表示データの輝度とが比較され、輝度差が所定値以上であれば、該前のフレームの輝度から現フレームの輝度に変わる間に、両輝度のうち暗いほうの輝度よりも暗い輝度を有する低輝度データが上記演算データとして生成される。

ずっと同程度の輝度の画面が続いていて、急に、大幅に輝度が変わる場合がある。例えば、ずっと夜の映像を流していて、急に、昼の映像に移るような場合や、その逆に、ずっと昼の映像を流していて、急に、夜の映像に移るような場合である。前者のように、１つ前のフレームの表示データの輝度が暗く、現フレームの表示データの輝度が明るい場合は、輝度差が所定値以上であれば、該前のフレームの輝度から現フレームの輝度に変わる間に、該前のフレームの輝度よりも暗い輝度を有する表示データを生成する。後者のように、１つ前のフレームの表示データの輝度が明るく、現フレームの表示データの輝度が暗い場合は、輝度差が所定値以上であれば、該前のフレームの輝度から現フレームの輝度に変わる間に、現フレームの輝度よりも暗い輝度を有する表示データを生成する。

生成した表示データは、例えば、該前のフレームの表示データと置き換えられる。または、例えば、現フレームの表示データと置き換えられる。

したがって、上記の構成による効果に加えて、人間が感じる残像感を低減することができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記低輝度データが黒より明るいことを特徴としている。

上記の構成により、上記低輝度データが黒より明るい。したがって、上記の構成による効果に加えて、輝度の時間平均での低下を軽減することができるという効果を奏する。

また、本発明に係るデータ変換装置は、上記の構成に加えて、上記データ変換部が、上記データ変換処理として、１つ前のフレームの表示データと現フレームの表示データとを用いて両者の間に上記演算データを挿入することで、元の表示データを、元の表示データの２倍のフレーム周波数の表示データに変換することを特徴としている。

上記の構成により、１つ前のフレームの表示データと現フレームの表示データとを用いて両者の間に上記演算データを挿入することで、元の表示データが、元の表示データの２倍のフレーム周波数の表示データに変換される。したがって、上記の構成による効果に加えて、容易に、フレーム周波数を倍にすることができるという効果を奏する。

以上のように、本発明に係るデータ変換装置は、各フレームで、１画素分の上記表示データを構成する構成成分のうち人間の視覚において空間分解能の低いものの少なくとも１つについて、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分とを、両者に重みを付けて足し合わせた代替値に置き換えることで、データ量を削減する圧縮処理を施した圧縮データを、上記フレームメモリに記憶させるべく出力する圧縮部と、上記フレームメモリから圧縮データを読み出して、上記代替値を、対応する各画素用の表示データとして割り当てる復元処理を施したものを、データ変換処理させるべく上記データ変換部に出力する復元部とを備えた構成である。

これにより、従来の一般的なデータ圧縮方法を採用した場合と異なり、本来の表示データと、圧縮・復元処理で得られた表示データとのずれが人間の視覚に認識されることを抑えることができるので、オーバーシュート駆動やオーバードライブ駆動を行っても、表示データと本来の値との差異が人間の視覚に認識されにくい。

それゆえ、データを圧縮（削減）することで、必要なフレームメモリ容量を抑えながら、データの圧縮（削減）に起因する表示品位低下をも抑制することができるという効果を奏する。

〔実施の形態１〕
本発明の実施形態についての説明を図１を用いて行う。

図１に示すように、本実施形態のデータ変換装置１１は、外部からの表示データが入力されて、それに応じてデータ変換を行い、その出力表示データを液晶表示装置等の表示装置へ出力する符号化復号化装置である。データ変換装置１１は、データ入力部１２、符号化部（圧縮部）１３、フレームメモリ１４、復号化部（復元部）１５、データ変換部１６を備えている。

データ入力部１２は、データ変換装置１１に入力される表示データの取り込みを行う。これを符号化部１３とデータ変換部１６へ送る。

符号化部１３は、階調データ等の表示データを、その構成成分である、輝度Ｙと色差信号からなる圧縮データに変える（符号化）。そして、本形態では、符号化時に、ｎフレーム（画面）目の表示データを周辺の表示データと調整してデータ量を削減する圧縮処理を併せて行い、得られたデータ（圧縮データ）をフレームメモリ１４に格納させるべく出力するようになっている。あるいは、ＲＧＢデータに対して圧縮処理して出力するように構成することもできる。なお、圧縮処理について詳しくは後述する。

本実施形態での「符号化」とは、階調データを輝度と色差とに変換した後、圧縮データに変えること、あるいは、ＲＧＢデータを圧縮データに変えることであり、「復号化」は、その逆である。また、本形態では、「圧縮」とは、表示データの構成成分として複数の画素がそれぞれ有する同種のものを、「代替値」としてのそれらの平均値という１個のデータに置き換えることによって、データ量を削減（間引く・サイズダウン）ことである。「復元」とは、その逆であり、１個の平均値データを、２画素のそれぞれに割り当てることによってデータ量を元に戻すことである。

代替値は、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分とを、両者に重みを付けて足し合わせた値である。ここでは、重みを１：１にしており、両者の平均値となる。

フレームメモリ１４は、１フレーム（画面）単位で表示データを格納するものであり、上記圧縮データを記憶する。

復号化部１５は、フレームメモリ１４に記憶された圧縮データを元の表示データに戻す（復号化）。すなわち、フレームメモリ１４から、ｎフレーム目（ｎは自然数）よりも前の１フレームあるいは複数フレームの圧縮データを読み出し、元の表示データに戻す。

データ変換部１６は、外部から入力されるｎフレーム目の表示データと、フレームメモリ１４に一旦格納された、ｎフレーム目よりも前の１フレームあるいは複数フレームの表示データに基づき、ｎフレーム目の表示データを生成するデータ変換を行い、表示装置に出力するものである。「データ変換」とは、ここでは、例えばオーバードライブ駆動やオーバーシュート駆動など（以下、単にオーバードライブ駆動と称する）のように、表示装置の表示能力改善のために表示データに対して行う生成や修正（加工）等の作業を指す。

フレーム間のデータ変換処理を行う場合、一度、少なくとも１フレーム以上の表示データをメモリに保管する必要がある。このデータ変換処理は、フレームの表示データが大きいので大きなハードウェアを必要とする。そのため、メモリに保管する表示データを小さくすることによってハードウェアを小さくすることが考えられる。

そこで表示データの圧縮を行うことになる。ただし、ここで注意しないといけないのは、フレーム間データ変換処理というのは１フレーム前の表示データと現フレーム表示データとの比較を行うものであるため、普通の画像を圧縮するのと同様に単純に圧縮してしまうと、比較した際にずれが人間の目に認識しやすくなるパターンが発生してしまうということである。

すなわち、画像の場合は画像の連続性というものがあり、ずれの大きくなるパターンを持っていると、画面上の広い範囲でずれが見えることになる。すなわち、一般的に、１つの画像（１つのフレーム）の中で隣り合った画素同士は同じ色であることが多い。したがって、ある画素で、ずれの大きくなるパターンを持っているとすると、その隣やさらにその隣の画素でも、そのような「ずれの大きくなるパターン」を持っていることになる。したがって、画面上の広い範囲で、色ずれが見えることになる。

ずれが恒常的に発生する要因としては、１フレーム前のデータと現フレームデータを比較した場合に、１つの画素内のサブ画素で、ある色（例えば赤）については１フレーム前のデータより現フレームデータのほうが小さく、別の色（例えば青）については１フレーム前のデータより現フレームデータのほうが大きいようなパターンである。この場合、ずれの方向が色によって違う。このような場合に通常の圧縮を行ってその状態でオーバードライブ駆動すると、圧縮しない場合の現フレーム画像と比べて色が大きくずれることになる。この例でいえば、現フレームの本来のデータに比べて、データ変換処理で得られた現フレームのデータのほうが、赤色が小さくなるほうにずれ、青色が大きくなるほうにずれる。その結果、現フレームの画像は、本来の色よりも青みがかることになる。

このように、従来の一般のデータ圧縮では、空間的に高い周波数成分を削減するが、オーバードライブ駆動の前フレームデータで同じことを行うと、結果的に高い周波数成分のノイズを持ってしまう。

このようなノイズの発生を避けるために、本形態では、画面上で、圧縮（間引き）の結果が、空間的に、すなわち、同一フレームの他の画素のデータを用いて、補完されるようにしている。このように、本形態では、周辺との間で表示データを平均化するだけであるので、ノイズが増えることがない。

ただし、人間の目の分解能は、色度よりも輝度のほうが大きいので、輝度については各画素ごとに情報を持っていないと、人間の目に認識しやすくなってしまう。そこで、空間的分解能の低いほうである、色度（本実施形態では色差を使用している）を、周辺と平均化することによって、データ量を減らすようにすることができる。すなわち、人間の目の分解能は輝度よりも色度のほうが悪い。この特性を利用して、隣接画素の色度情報を平均化することにより、表示データを保管しつつ圧縮を行うことができる。実際に２０型のＶＧＡでオーバードライブ駆動で実験したところ、良好な結果が得られた。

ＲＧＢで圧縮処理を行う場合には、具体的には、隣接する画素の同色のサブ画素の平均値を保存すればよい。ただし、輝度の高い緑は画素ごとにあるべきである。これにより８ビット２画素分のデータ４８ビットが３２ビットに減少する。すなわち、圧縮しない場合は、ある画素についてサブ画素の緑、赤、青がそれぞれ８ビット、隣接する画素についてもサブ画素の緑、赤、青がそれぞれ８ビットで合計８ビット×６＝４８ビットであるが、圧縮（間引き・削減）処理として、赤については、そのもの（８＋８＝１６ビット）を記憶する代わりに、隣接画素との平均値（８ビット）を記憶する。青についても同様である。その結果、「緑」８ビット×２、「赤平均」８ビット、「青平均」８ビットで合計３２ビットとなる。そしてこの３２ビットのデータに基づいて復号化を行う。

なお、このような必要ビット数の削減効果は、輝度Ｙ、赤色差Ｃｒ、青色差Ｃｂを用いて行った場合も同じであり、８ビット２画素分のデータ４８ビットを３２ビットに減少させることができる。

なお、ＲＧＢでみた場合は、Ｇが輝度の６割を占めているので、画素サイズが小さければ、すなわち高精細なモジュールであれば、ＲＧＢを、輝度Ｙ、赤色差Ｃｒ、青色差Ｃｂの代用にすることができるが、あまり高精細なモジュールでない場合は、一旦輝度・色度（色差）の情報に変換した後色度データを２画素で平均化すれば、ＲＧＢで行った場合と比べて、高精細なモジュールという条件を満たしていなくても、表示品位低下を抑制しながら、高い圧縮率を得ることができるので好ましい。

一旦輝度・色度の情報に変換した後で圧縮処理する場合について説明する。

符号化部１３では、表示データを下式に従って、輝度Ｙと色差信号Ｃｒ、Ｃｂ、ここではＹ₈、Ｃｒ₈、Ｃｂ₈に変える（符号化）。
Ｙ₈（ｎ_8R,ｎ_8G,ｎ_8B）＝0.2986Ｌ₈（ｎ_8R）＋0.587149Ｌ₈（ｎ_8G）＋0.114251Ｌ₈（ｎ_8B）
Ｃｒ₈（ｎ_8R,ｎ_8G,ｎ_8B）＝0.500285Ｌ₈（ｎ_8R）−0.41879Ｌ₈（ｎ_8G）−0.08149Ｌ₈（ｎ_8B）
Ｃｂ₈（ｎ_8R,ｎ_8G,ｎ_8B）＝−0.16842Ｌ₈（ｎ_8R）−0.33116Ｌ₈（ｎ_8G）＋0.499577Ｌ₈（ｎ_8B）
ここで、ｎ_8Rは赤の階調、ｎ_8Gは緑の階調、ｎ_8Bは青の階調、Ｌ₈（）は階調輝度特性を示す。

水平の画素に左端から順に番号１、２、…、Ｎを付け、着目している画素の番号をｘとして、各画素の輝度、色差信号をそれぞれ、輝度Ｙ（ｘ）、赤色差Ｃｒ（ｘ）、青色差Ｃｂ（ｘ）とする。ここでは、水平方向に隣り合った画素間、すなわち、各画素（番号＝ｘ）と左隣の画素（番号＝ｘ−１）との間で表示データを平均化する。

１画素のデータの転送量を平均化するために、偶数画素と奇数画素で転送するデータを下記のように規定する。すなわち、偶数画素では、
輝度 Ｙ（ｘ）
赤色差の平均値（Ａｒとする） ｛Ｃｒ（ｘ−１）＋Ｃｒ（ｘ）｝／２
を転送する。また、奇数画素では、
輝度 Ｙ（ｘ−１）
青色差の平均値（Ａｂとする） ｛Ｃｂ（ｘ−１）＋Ｃｂ（ｘ）｝／２
を転送する。このようにするのは、ある画素についてはＹ（ｘ）とＣｒ平均とＣｂ平均を転送して隣の画素についてはＹ（ｘ）だけ転送するというのではデータ量が一定でないからである。

このようにして、２画素について、Ｙ（ｘ−１）、Ｙ（ｘ）、Ｃｒ（ｘ−１）、Ｃｒ（ｘ）、Ｃｂ（ｘ−１）、Ｃｂ（ｘ）という６個の表示データの構成成分（８ビットであれば４８ビット）が、Ｙ（ｘ−１）、Ｙ（ｘ）、Ａr、Ａｂという４個（８ビットであれば３２ビット）にまで圧縮（削減、サイズダウン）される。

符号化部１３は、以上のデータを画素ごとにフレームメモリ１４に書き込む。フレームメモリ１４は、符号化部１３から送られてきたデータを保管し、１フレーム後に復号化部１５にそのデータを送る。

復号化部１５では、フレームメモリ１４からデータを読み込み、符号化部１３の逆の処理を行う。すなわち、Ｙ（ｘ−１）、Ｙ（ｘ）、Ａr、Ａｂの４個のデータを、２つの各画素用に、Ｙ（ｘ−１）、Ａr、ＡｂとＹ（ｘ）、Ａr、Ａｂとに変える（復元）。そして、圧縮データを、色ごとの輝度データ（Ｌ（ｎ））に戻す（復号化）。なお、Ｃｒ、Ｃｂ用のデータ（平均値）は２画素に１つしかないので、２画素で使用する。復号化したデータをデータ変換部１６へ送る。

データ変換部１６は、フレーム間のデータ変換処理を行うブロックであり、例えばオーバードライブ駆動のようなデータ変換処理を行う。ただし、データ変換部１６は、現フレームの表示データと１フレーム前の表示データとの比較も常に行っており、両者の差が一定値以下の場合は静止画と判断して、符号化・復号化は行わずに、また、圧縮・復元を行わずに、現フレームの表示データをそのまま出力する。例えば、現フレームと１フレーム前とが同じ画像である場合や、ほぼ同じ画像である場合である。

なお、この圧縮処理は水平方向で行っているが、垂直方向で行ってもよい。すなわち、ここでは、左右に隣り合った画素間で表示データを平均化しているが、他のやり方として、上下に隣り合った画素間で表示データを平均化してもよい。また、本形態では２つの画素間で平均値をとったが、これに限らず、３つの画素間や、それ以上の画素間でもよい。

また、ここでは平均化、すなわち重みを１：１にしているが、１：１以外、例えば１：２にすることもできる。一般に（ｋ−１）：ｋとすれば、代替値は、
赤色差の代替値 （ｋ−１）Ｃｒ（ｘ−１）＋ｋＣｒ（ｘ）
青色差の代替値 （ｋ−１）Ｃｂ（ｘ−１）＋ｋＣｂ（ｘ）
となる。ここで、０≦ｋ≦１である。例えば、０＜ｋ＜１とすれば、代替値は両者の中間の値となる。ｋ＝０または１とすれば、代替値は一方の画素の有する値自体になる。ｋ＝１／２とすると平均値になり、この場合は重みが等しいので構成が簡単になる。ｋの値は、データ変換装置の設計時に任意に定めることができる。

また、上述した通り、高精細なモジュールであれば、Ｙ、Ｃｒ、ＣｂのかわりにＧ、Ｒ、Ｂでこのデータ変換処理を行ってもよい。

なお、上記のように、符号化部１３は、輝度Ｙと色差信号Ｃｒ、Ｃｂへの変換処理や、（Ｃｒ（ｘ）＋Ｃｒ（ｘ−１））／２への変換（圧縮）処理を行うが、このような符号化部１３は、ＡＳＩＣ（特定用途向けＩＣ）で作れば容易に製造可能である。すなわち、ＬＵＴ（Look Up Table）参照と加減乗とビットシフト演算で式が構成されているので、ロジックで実現は容易である。また、符号化部１３以外の素子も公知技術にて容易に製造可能である。

本形態においては、オーバードライブ駆動用のメモリにアクセスするために必要な入出力ピンが減少するので、小さなパッケージが使えることになり、その分、全体として安価になる。また、フレームメモリの必要容量も少なくなるので、データ変換装置を安価に製造することができる。特に、汎用メモリの入出力のポート数は８ビット、１６ビット、３２ビットといったように２のべき乗となっているので、４８ビットが３２ビットになるメリットは大きい。

上述した通り、データ変換部１６は、例えばオーバードライブ駆動のようなデータ変換処理を行う一方で、現フレームのデータと１フレーム前のデータとの差が一定値以下の場合は静止画と判断して、現フレームデータをそのまま出力する。すなわち、本形態では、動画の認識が静止画の認識よりも難しいという人間の特性を利用するので、静止画の場合は、現フレームデータは符号化復号化したものを使用するのではなく、別途、現フレームデータを出力するようにしている。すなわち、フレーム間データ変換処理の非線形性により、前述のオーバードライブ駆動の場合は、１フレーム前のデータと現フレームデータが同じ場合は、データに変化がないので現フレームデータそのままが出力される必要がある。しかし、データ内容にかかわらず常にオーバードライブ駆動をするようにしている場合は、圧縮によるデータ削減をした際に圧縮後の１フレーム前のデータと圧縮後の現フレームデータとの間に差が発生すると、その分、必要のないデータ変換処理が行われる。そこで、本形態では、静止画の場合は、現フレームデータは符号化復号化したものを使用するのではなく、別途、現フレームデータを出力するようにしている。

〔実施の形態２〕
本発明の他の実施の形態について図２に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の実施の形態の図面に示した部材と同一の機能を有する部材には、同一の符号を付記してその説明を省略する。

図２に示すように、本実施形態のデータ変換装置１１は、外部からの表示データを入力されて、それに応じてデータ変換を行い、その出力表示データを液晶表示装置等の表示装置へ出力する符号化復号化装置である。データ変換装置１１は、データ入力部１２、符号化部（圧縮部）１３、フレームメモリ１４、前側復号化部（復元部）２５、データ変換部１６、後側復号化部（復元部）２７を備えている。データ入力部１２、符号化部１３、フレームメモリ１４、データ変換部１６の動作は実施の形態１の対応する素子と同じである。

前側復号化部２５の動作は実施の形態１の復号化部１５と同じである。

後側復号化部２７は、現フレームの表示データが符号化された後、フレームメモリ１４から読み出した１フレーム前の表示データが前側復号化部２５にて復号化されるのと同じタイミングで、現フレームの表示データを復号化するようになっている。

符号化部１３は、実施の形態１と同一の式に従って、表示データを符号化する。

符号化部１３は、以上のデータを画素ごとにフレームメモリ１４に書き込むとともに前側復号化部２５に送る。また、フレームメモリ１４に書き込まずに後側復号化部２７にも送る。

フレームメモリ１４は、符号化部１３から送られてきたデータを保管し、１フレーム後に前側復号化部２５にそのデータを送る。

前側復号化部２５では、フレームメモリ１４から圧縮データを読み込み、符号化部１３の逆の処理を行う。なお、Ｃｒ、Ｃｂは２画素に１つしかないので、２画素で使用する。復号化したデータをデータ変換部１６へ送る。後側復号化部２７では、符号化部１３から圧縮データを受け取り、符号化部１３の逆の処理を行う。なお、Ｃｒ、Ｃｂは２画素に１つしかないので、２画素で使用する。復号化したデータをデータ変換部１６へ送る。

後側復号化部２７では、符号化部１３から送られてきたデータを元に、符号化部１３の逆の処理を行う。なお、Ｃｒ、Ｃｂは２画素に１つしかないので、２画素で使用する。復号化したデータをデータ変換部１６へ送る。

データ変換部１６は、実施の形態１同様にデータ変換処理を行う。現フレームのデータと１フレーム前のデータとの差が一定値以下の場合は静止画と判断して、現フレームデータをそのまま出力する。そのために、データ入力部１２からデータ変換部１６へ直接データの入力を行う経路も用意されている。

なお、この圧縮処理は水平方向で行っているが、垂直方向で行ってもよい。すなわち、ここでは、左右に隣り合った画素間で表示データを平均化しているが、他のやり方として、上下に隣り合った画素間で表示データを平均化してもよい。また、本形態では２つの画素間で平均値をとったが、これに限らず、３つの画素間や、それ以上の画素間でもよい。

また、重みの付け方については実施形態１同様であり、説明を省略する。

本実施形態では、このように、実施の形態１と異なり、１フレーム前のデータと現フレームのデータの間の情報のずれを小さくするために、現フレームデータも圧縮・復元したものを使用するようにしている。

ただし、本形態では、静止画の場合は、現フレームデータは圧縮・復元したものを使用するのではなく、実施の形態１同様、別途、現フレームデータを出力するようにしている。

〔実施の形態３〕
本発明の他の実施の形態について図３および図４に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の実施の形態の図面に示した部材と同一の機能を有する部材には、同一の符号を付記してその説明を省略する。

構成としては、前述の図１や図２の構成を使用できる。

フレームが変わるごとに画面の各画素（またはサブ画素）における輝度が変化するが、フレームが変わるときの輝度変化が急激なところ、すなわち輝度が大きく変化するところと、あまり変化がないところが存在する場合がある。例えば、ずっと夜の映像を流していて、急に、昼の映像に移るような場合や、その逆に、ずっと昼の映像を流していて、急に、夜の映像に移るような場合である。

図３に、一つの画素（またはサブ画素）における輝度の時間推移の一例を示す。同図は、輝度があまり変化しない時間（同図中、区間ａ）がある程度続いた後、急に輝度が高くなり（同図中、区間ｂ）、またあまり変化しない時間（同図中、区間ｃ）が続き、また急激に輝度が高くなり（同図中、区間ｄ）、またあまり変化しない時間（同図中、区間ｅ）が続く。なお、実際には、各フレームの表示時間内は輝度は一定であるが、ここでは、その時間は無視して各表示時間は点とし、それらの点をつないだものとして表している。

このような場合には、輝度変化が急激である区間ｂやｄでは、人間は残像感を感じることがある。これを低減するために、本形態では、図４に示す通り、データ変換部１６は、区間ｂのように、画面の輝度が大きく変化する変化点の表示データを、低輝度データとしての、黒データで置き換える。あるいは、黒より明るく、置き換える区間ｂの前後（区間ａ、区間ｃ）のうちの暗いほう、すなわちここでは区間ａの最後、言い換えれば置き換える区間ｂの直前の輝度よりは暗い輝度のデータに置き換える。

同様に、区間ｄのように、画面の輝度が大きく変化する変化点の表示データを、黒データで置き換える。あるいは、黒より明るく、置き換える区間ｄの直前の輝度よりは暗い輝度のデータに置き換える。

すなわち、
（ア）：ある１つ以上のフレーム期間。暗い輝度を保っている、あるいは変化しているが緩やか。
（イ）：（ア）の次の、１つ以上のフレーム期間。輝度が急激に明るくなっていく。
（ウ）：（イ）の次の、１つ以上のフレーム期間。明るい輝度を保っている、あるいは変化しているが緩やか。
の３つの区分を考えて、（イ）を黒データ等の低輝度データに置き換える。なお、置き換えるフレームの個数は１個でなくてもよく、２個以上でもよい。

本形態では、このような擬似インパルス駆動を行う。

この処理を行うためには、データ変換部１６は、フレーム間のデータの変化を検出する。それには、前フレームのデータを参照する必要があるので、このフレームデータの保存処理のときに、図１や図２の構成による圧縮・復元処理を行う。

なお、図３・図４は、急に明るくなる場合の例であるが、急に暗くなる場合も同様であり、画面の輝度が大きく変化する変化点の表示データを、黒データで置き換える。あるいは、黒より明るく、置き換える区間の前後のうちの暗いほう、言い換えれば置き換える区間の直後の輝度よりは暗い輝度のデータに置き換える。

すなわち、置き換える区間の輝度は、黒とするか、あるいは、黒より明るく、置き換える区間の直前の区間の輝度および直後の区間の輝度の両方より暗い輝度とする。

また、輝度の観点から見るとき、黒を挿入した場合、輝度の時間平均は低下する。それを防ぐには、上記低輝度データとして、黒ではなく暗い中間調を用いる。この中間調の値は、前フレームの階調と輝度差があるように決める。上記低輝度データとして、上記のように黒より明るい輝度とすれば、輝度の時間平均での低下を軽減することができる。このフレームデータの保存処理のときに、図１や図２の構成による圧縮・復元処理を行う。これにより、保存の必要なデータ量を削減することができる。

〔実施の形態４〕
本発明の他の実施の形態について図５に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の実施の形態の図面に示した部材と同一の機能を有する部材には、同一の符号を付記してその説明を省略する。

構成としては、前述の図１や図２の構成を使用できる。

フレーム３１・３２・３３・３４は、元の表示データであり、連続している。すなわち、時間とともに３１・３２・３３・３４のようにフレームが推移していく。フレーム周波数は例えば６０Ｈｚである。

ここでは、フレーム周波数６０Ｈｚの表示データを、その２倍の１２０Ｈｚの表示データに変換する処理を行う。

この場合、入力のフレームの２倍のフレームが出力で必要となる。そのために、図５に示すように、データ変換部１６は、連続する２枚のフレームの表示データから、間のフレーム用の表示データを生成する。すなわち、データ変換部１６は、フレーム３１とフレーム３２とから、それらのフレーム間に挿入するフレーム４１を生成する。同様に、フレーム３２とフレーム３３とから、それらのフレーム間に挿入するフレーム４２を生成する。同様に、フレーム３３とフレーム３４とから、それらのフレーム間に挿入するフレーム４３を生成する。

この処理を行うためには、前フレームの情報が必要となるので、このフレームデータの情報の保存処理のときに、図１や図２の構成による圧縮・復元処理を行う。例えば、フレーム４１を生成するときは、フレーム３１が前フレームであり、フレーム３２が現フレームである。以下同様である。これにより、保存の必要なデータ量を削減することができる。

上記間のフレーム用の表示データとしては、限定されないが、例えば、動画の動きを滑らかにするために、フレームの画像のエッジ検出を行い、フレームからフレームへの画像の類似性から移動先を推論して、連続するフレーム間の中間の位置に挿入するフレームを作成する。例えば、図６に示すように、円５１・５２が移動する動画があったとして、Ｎフレームの円５１と（Ｎ＋１）フレームの円５２の位置から、その中間の位置を割り出し、そこに円５３があるフレームを生成して、Ｎフレームと（Ｎ＋１）フレームの間に挿入することで、動きを滑らかに見せる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

なお、本発明は、外部からの表示データに応じて表示装置に表示データを出力するデータ変換装置（符号化復号化装置）において、
表示データを格納するメモリと、
外部からのｎ（ｎは自然数）フレーム目のデータと、前記メモリに一旦格納されたｎフレーム目よりも前の１フレームあるいは複数フレームのデータに基づき、ｎフレーム目の表示データを生成し表示装置に出力するデータ変換部（データ変換手段）と、
ｎフレーム目の表示データを周辺の表示データと調整してデータ量を削減して前記メモリに格納する符号化部と、
メモリからｎフレーム目よりも前の１フレームあるいは複数フレームのデータを読み出し、表示データに戻す復号化部を備えるように構成してもよい。

また、本発明は、上記構成において、符号化装置の調整を水平方向に行う符号化復号化装置であるように構成してもよい。

また、本発明は、上記構成において、符号化装置の調整を垂直方向に行う符号化復号化装置であるように構成してもよい。

また、本発明は、上記構成において、表示データを輝度色度情報に変換した後、符号化を行う符号化復号化装置であるように構成してもよい。

また、本発明は、上記構成において、現フレームデータも一度符号化復号化したものを使用する符号化復号化装置であるように構成してもよい。

また、本発明は、上記構成において、１フレーム前のデータと現フレームデータを比較し、その差が一定値以下の場合は、現フレームデータをそのまま出力する符号化復号化装置であるように構成してもよい。

また、本発明は、上記構成において、上記データ変換処理としてオーバードライブ駆動の変換をするように構成してもよい。

また、本発明は、上記構成において、上記データ変換処理として、ｎフレーム（ｎは２以上の整数）に１回、前フレームのデータをもとに入力より暗い階調のデータを挿入するように構成してもよい。

また、本発明は、上記構成において、上記のデータ変換処理として、入力データの２倍の周波数のデータに変換するように構成してもよい。

画像データ圧縮を行う表示装置のような用途にも適用できる。

本発明のデータ変換装置の要部構成を示すブロック図である。 本発明のデータ変換装置の要部構成を示すブロック図である。 輝度の時間推移を示すグラフである。 輝度の時間推移を示すグラフである。 フレーム間に別のフレームを挿入する様子を示す図である。 フレーム間に別の中間的なフレームを挿入する様子を示す図である。

符号の説明

１１ データ変換装置
１２ データ入力部
１３ 符号化部（圧縮部）
１４ フレームメモリ
１５ 復号化部（復元部）
１６ データ変換部
２１ データ変換装置
２５ 前側復号化部（復元部）
２７ 後側復号化部（復元部）
３１、３２、３３、３４、４１、４２、４３ フレーム
５１、５２、５３ 円

Claims (11)

1. 過去のフレームの表示データをフレームメモリに記憶して、それと現フレームの表示データとに基づいて、データ変換部にて該過去のフレームより後のフレームの表示データである演算データを生成するデータ変換処理を行って出力表示データとして表示装置に出力するデータ変換装置において、
   各フレームで、１画素分の上記表示データを構成する構成成分のうちの少なくとも１つについて、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分とを、両者に重みを付けて足し合わせた代替値に置き換えることで、データ量を削減する圧縮処理を施した圧縮データを、上記フレームメモリに記憶させるべく出力する圧縮部と、
   上記フレームメモリから圧縮データを読み出して、上記代替値を、対応する各画素用の表示データとして割り当てる復元処理を施したものを、データ変換処理させるべく上記データ変換部に出力する復元部とを備えたことを特徴とするデータ変換装置。
2. 上記演算データが、現フレームの出力表示データであることを特徴とする請求項１に記載のデータ変換装置。
3. 上記代替値が、各画素の分と、画面に表示したときに画面上で該画素の周囲に存在する画素の分との両者の平均値であることを特徴とする請求項１に記載のデータ変換装置。
4. 上記構成成分が、輝度Ｙと赤色差Ｃｒと青色差Ｃｂであり、上記データ変換部が、そのうちで、赤色差Ｃｒと青色差Ｃｂとを、上記代替値にそれぞれ置き換えることを特徴とする請求項１に記載のデータ変換装置。
5. 上記構成成分がＲＧＢであり、上記データ変換部が、そのうちで、ＲとＢとを、上記代替値にそれぞれ置き換えることを特徴とする請求項１に記載のデータ変換装置。
6. 上記データ変換部が、現フレームの表示データについても、上記圧縮および復元を行ったものを上記データ変換処理に用いることを特徴とする請求項１に記載のデータ変換装置。
7. 上記データ変換部が、１フレーム前の表示データと現フレームの表示データとを比較し、その差が一定値以下の場合は、上記圧縮部による圧縮後の表示データを用いたデータ変換を行わずに、現フレームの表示データそのままを出力表示データとして出力することを特徴とする請求項１に記載のデータ変換装置。
8. 上記データ変換部が、上記データ変換処理として、オーバードライブ駆動の変換を行うことを特徴とする請求項２に記載のデータ変換装置。
9. 上記データ変換部が、上記データ変換処理として、１つ前のフレームの表示データの輝度と現フレームの表示データの輝度とを比較し、輝度差が所定値以上であれば、該前のフレームの輝度から現フレームの輝度に変わる間に、両輝度のうち暗いほうの輝度よりも暗い輝度を有する低輝度データを上記演算データとして生成することを特徴とする請求項１に記載のデータ変換装置。
10. 上記低輝度データが黒より明るいことを特徴とする請求項９に記載のデータ変換装置。
11. 上記データ変換部が、上記データ変換処理として、１つ前のフレームの表示データと現フレームの表示データとを用いて両者の間に上記演算データを挿入することで、元の表示データを、元の表示データの２倍のフレーム周波数の表示データに変換することを特徴とする請求項１に記載のデータ変換装置。

Images