JP2004015771A

JP2004015771A - 動画像符号化装置、動画像記録装置、動画像復号装置、動画像再生装置、及び液晶表示装置

Info

Publication number: JP2004015771A
Application number: JP2002170789A
Authority: JP
Inventors: Takashi Yoshii; 吉井　隆司
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-06-12
Filing date: 2002-06-12
Publication date: 2004-01-15

Abstract

【課題】入力動画像の階調遷移に応じて、表示デバイスの応答期間を確保したフレームレートに制御して符号化を行うことにより、圧縮率を向上させると同時に、尾引き、動きボケ等のない高画質の動画表示を可能とする動画像符号化装置を提供する。
【解決手段】入力動画像のフレームレートを可変して符号化を行う動画像符号化装置において、現フレーム画像の前フレーム画像に対する階調遷移と表示デバイス９の光学応答特性とに基づいて、フレームレートを決定するフレームレート決定手段１３と、該フレームレート決定手段１３にて決定したフレームレートにて入力動画像を符号化する符号化手段１４、１５とを備えてなるものである。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、可変フレームレート動画像符号化装置に関し、特に圧縮率の向上と、液晶等の表示デバイスの光学応答性に起因する画質劣化の防止とを実現することが可能な動画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来から、入力動画像のフレームレートを可変して圧縮符号化を行う動画像符号化装置が種々提案されている。例えば特開平９−１６８１５５号公報には、現フレーム中を占める有意マクロブロックの割合を算出し、算出した割合を用いてフレームスキップ数を注目フレームの符号化前に決定することにより、その画像の持つ特徴を十分に生かした、一定の品質を維持可能なフレームスキップ数を決定することが可能な動画像符号化装置が記載されている。また、当該公報には、視覚的に自然な動きの画像を得るために、現フレーム内の動きベクトルの大きさを求め、求めた動きベクトルの大きさを用いてフレームスキップ数を符号化前に決定することも開示されている。
【０００３】
また、特開平９−２６１６３８号公報には、画質パラメータ算出回路で算出された量子化ステップ幅の平均値が、あらかじめ設定回路に設定した閾値より大きいか小さいかに応じて目標駒落としフレーム数の増減値を決定し、この増減値の値と、直前の目標駒落としフレーム数の値を加算器で加算して次の目標駒落としフレーム数を決定し、この値を用いて次のフレームの符号化を制御することにより、動画像の動きの滑らかさを保持し、しかも目標レベルの画質を得ることが可能な動画像符号化装置が記載されている。
【０００４】
ところで、近年、パーソナルコンピュータやテレビ受信機などの軽量化、薄形化によってディスプレイ装置も軽量化、薄形化が要求されており、このような要求に従って陰極線管（ＣＲＴ）の代わりに液晶表示装置（ＬＣＤ）のようなフラットパネル型ディスプレイが開発されている。
【０００５】
ＬＣＤは二つの基板の間に注入されている異方性誘電率を有する液晶層に電界を印加し、この電界の強さを調節して基板を透過する光の量を調節することによって所望の画像信号を得る表示装置である。このようなＬＣＤは携帯の簡便なフラットパネル型ディスプレイのうちの代表的なものであり、この中でも薄膜トランジスタ（ＴＦＴ）をスイッチング素子として用いたＴＦＴ　ＬＣＤが主に用いられている。
【０００６】
最近は、ＴＦＴ　ＬＣＤがコンピュータのディスプレイ装置だけでなくテレビ受信機のディスプレイ装置として広く用いられるため、動画像を具現する必要が増加してきた。しかしながら、従来のＴＦＴ　ＬＣＤは応答速度が遅いために動画像を具現するのは難しいという短所があった。
【０００７】
すなわち、一般的に液晶表示パネルにおいては、ある中間調から別の中間調に変更させる時間は長く、中間調を１フレーム期間（例えば６０Ｈｚのプログレッシブスキャンの場合は１６．７ｍｓｅｃ）内に表示することができず、残像が発生するだけでなく、中間調を正しく表示することができないという課題があった。
【０００８】
この液晶の光学応答特性は、図６にも示すとおり、変化（遷移）前の階調と変化（遷移）後の階調との組み合わせにより非常に不規則な特性を示し、特定の階調間遷移では極端に応答速度が遅くなること知られている。すなわち、液晶表示パネルへ入力する動画像の階調遷移によっては、目標階調に到達するまでに数十ｍｓｅｃを要するため、尾引き、動きボケ等が発生し、画質が劣化するという問題があった。
【０００９】
【発明が解決しようとする課題】
近年の液晶表示装置の普及に伴い、ＭＰＥＧ方式などで圧縮符号化した動画像を液晶表示装置にて表示する視聴スタイルが広がりつつある。例えば、伝送媒体を介して受信した動画像符号化データを復号して液晶表示装置にて表示する場合や、液晶表示装置自体に入力動画像を符号化して記録／再生する機能を付加したような場合である。
【００１０】
通常、可変フレームレート画像符号化においては、フレームレートと画質（動きの滑らかさ）とはトレードオフの関係にあり、フレームレートを低くすると圧縮率は向上するが、画質は劣化するとされている。しかしながら、上述のような光学応答特性を有する液晶表示装置を用いて動画像を表示する場合、液晶表示パネルへ入力する動画像の階調遷移によっては、１フレーム期間内に目標階調に到達せず、尾引き、動きボケ等が発生し、画質が劣化するという問題がある。
【００１１】
すなわち、表示デバイス及び入力動画像の種類によっては、必ずしもフレームレートを高くすることが動画像表示の品位を向上することにはつながらない。逆に圧縮率の低下を招来するため、例えば復号処理の負荷が大きくなったり、記録媒体の容量を消費するという問題が生じる。
【００１２】
本発明は、上記課題に鑑みてなされたものであり、入力動画像の階調遷移に応じて、表示デバイスの応答期間を確保したフレームレートに制御して符号化を行うことにより、圧縮率を向上させると同時に、尾引き、動きボケ等のない高画質の動画表示を可能とする動画像符号化装置を提供するものである。
【００１３】
【課題を解決するための手段】
本願の第１の発明に係る動画像符号化装置は、入力動画像のフレームレートを可変して符号化を行う動画像符号化装置において、入力動画像の階調遷移に基づいて、フレームレートを決定するフレームレート決定手段と、該フレームレート決定手段にて決定したフレームレートにて入力動画像を符号化する符号化手段とを備えたことを特徴とする。
【００１４】
本願の第２の発明に係る動画像符号化装置は、前記フレームレート決定手段が、前回符号化したフレーム画像に対する現フレーム画像の階調遷移に基づいて、フレームレートを決定することを特徴とする。
【００１５】
本願の第３の発明に係る動画像符号化装置は、前記フレームレート決定手段は、当該装置により符号化された動画像を表示する表示デバイスの光学応答特性に基づいて、フレームレートを決定することを特徴とする。
【００１６】
本願の第４の発明に係る動画像符号化装置は、前記第１乃至第３のいずれかの発明に係る動画像符号化装置により符号化された符号化データを、記録媒体に記録するデータ記録手段を備えたことを特徴とする。
【００１７】
本願の第５の発明に係る液晶表示装置は、前記第４の発明に係る動画像記録装置を備えたことを特徴とする。
【００１８】
本願の第６の発明に係る動画像復号装置は、前記第１乃至第３の発明のいずれかに係る動画像符号化装置により符号化された符号化データを復号する復号手段を備えたことを特徴とする。
【００１９】
本願の第７の発明に係る液晶表示装置は、前記第６の発明に係る動画像復号装置を備えたことを特徴とする。
【００２０】
本願の第８の発明に係る動画像再生装置は、前記第４の発明に係る動画像記録装置により記録された符号化データを、記録媒体から再生するデータ再生手段を備えたことを特徴とする。
【００２１】
本願の第９の発明に係る液晶表示装置は、前記第８の発明に係る動画像再生装置と、該動画像再生装置により再生された符号化データを復号する復号手段とを備えたことを特徴とする。
【００２２】
本発明の動画像符号化装置によれば、表示デバイスにおいて現フレームの画像が目標階調に到達した後に、次のフレーム画像の更新（画面書き換え）が行われるように、表示デバイスの応答期間を確保したフレームレート（駒落とし数）を決定し、入力動画像の符号化を行うので、圧縮率の向上とともに、尾引き、動きボケ等のない高画質の動画表示が可能となる。
【００２３】
特に、この動画像符号化装置を液晶表示装置に設けて、入力動画像を圧縮して記録／再生するような場合、当該液晶表示装置の液晶表示パネルに固有の光学応答特性に基づいたフレームレートにて入力動画像を符号化することにより、この符号化データを記録する際の記録容量を小さなものとすることができるとともに、再生／復号した動画像を表示する際の画質を良好なものとすることが可能となる。
【００２４】
【発明の実施の形態】
以下、本発明の一実施形態について、図１乃至図３とともに詳細に説明する。ここで、図１は本実施形態の液晶表示装置における要部概略構成を示す機能プロック図、図２は本実施形態における符号化装置を示す機能ブロック図、図３は本実施形態における応答特性テーブルを示す概略説明図、図４は本実施形態における符号化装置の符号化部を示すブロック図、図５は本実施形態における復号装置を示すブロック図、図６は本実施形態におけるある入力動画像に対する符号化／復号フレームを示す説明図である。
【００２５】
本実施形態の液晶表示装置は、図１に示すように、アンテナ（図示せず）より受信されたテレビ放送波から指定チャンネルのビデオ信号を出力するチューナ１と、チューナ１より出力され、Ａ／Ｄ変換されたビデオ信号を圧縮符号化する符号化装置２と、符号化装置２による符合化データを記録媒体４に書き込むデータ記録装置３とを備えている。
【００２６】
尚、記録媒体４としては、内蔵のハードディスク、着脱自在のメモリカードなどが用いられる。また、符号化装置２による符合化データを外部機器で記録できるように、そのまま出力する構成を備えても良い。さらに、アンテナ入力に限らず、種々の入力（受信）手段による外部入力映像を符号化装置２で符号化する構成としても良い。
【００２７】
また、記録媒体４から符号化データを読み出すデータ再生装置５と、データ再生装置５により読み出された符号化データを復号する復号装置６と、復号装置６より出力されビデオ信号と、チューナ２より出力されたビデオ信号とを切換選択する選択部７と、選択部７で選択されたビデオ信号に基づいて液晶表示パネル９の電圧印加電極を駆動する電極駆動部８とを備えている。
【００２８】
次に、本実施形態における符号化装置２の概略構成を図２に示す。図２において、１１は液晶表示パネル９の光学応答特性を記憶している液晶応答特性テーブル、１２は前回符号化されたフレーム画像を記憶するフレームメモリ、１３はフレームメモリ１２に記憶されたフレーム画像（Ｐｒｅｖｉｏｕｓ　Ｄａｔａ）に対する、入力フレーム画像（Ｃｕｒｒｅｎｔ　Ｄａｔａ）の階調遷移を検出し、液晶応答特性テーブルを参照して、入力動画像の階調遷移と液晶表示パネル９の光学応答特性とから符号化フレームレートを決定するフレームレート決定部である。
【００２９】
１４はフレームレート決定部１３で決定されたフレームレートに基づいて、入力ビデオ信号から任意のフレーム数を駒落としする駒落とし部、１５は駒落としされたビデオ信号を符号化する符号化部である。
【００３０】
ここで、表示信号レベル数すなわち表示データ数が８ビットの２５６階調である場合、液晶応答特性テーブル１１は、図３に示すように、全ての階調遷移パターンに対する液晶表示パネル９の光学応答特性（目標階調に到達するのに要する時間）が２５６×２５６のマトリクス状に記憶されている。
【００３１】
液晶表示パネルの光学応答特性は、液晶の配向モードや液晶材料に電界を印加するための電極構造などによって変化するので、本実施形態では、液晶表示パネル９の光学応答特性の実測値（各階調遷移パターンにおける応答時間）そのものを液晶応答特性テーブル１１に記憶している。
【００３２】
尚、上述した液晶応答特性テーブル１１においては、２５６×２５６のすべての階調遷移パターンについて、目標階調に到達するのに要する時間の実測値を記憶するようにしているが、均一もしくは不均一に配列された代表点（代表階調遷移パターン）における実測値のみを記憶しておき、その他の階調遷移パターンについては、上記実測値から計算で求めるようにしても良い。
【００３３】
例えば６４階調毎の代表階調遷移パターンについての実測値のみを５×５のマトリクス状に記憶しておき、その他の階調遷移パターンについては、上記実測値から計算で求めるようにしても良い。
【００３４】
フレームレート決定部１３は、前回符号化したフレーム画像に対する現フレーム画像の階調遷移から、液晶応答特性テーブル１１を参照することにより、表示デバイスにおいて現フレーム画像が目標階調に到達するのに要する時間を求めることができ、この液晶応答時間を確保したフレームレート（駒落とし数）を決定する。
【００３５】
例えば、図６（ａ）、（ｂ）に示すように、入力動画像が６０Ｈｚのプログレッシブビデオ信号（１フレーム１６．７ｍｓｅｃ）の場合で、現フレーム画像の前フレーム画像に対する階調遷移に伴う液晶表示パネル９の最大応答時間が６０ｍｓｅｃであるとき、現フレームの次から３フレームを駒落としするよう決定する。すなわち、現フレームの次に符号化されるフレームは６６．８ｍｓｅｃ後のフレームとなり、液晶表示パネル９において現フレーム画像が目標階調に到達する時間（６０ｍｓｅｃ）を確保している。
【００３６】
尚、階調遷移はフレーム内の画素毎に異なるが、フレーム内での液晶応答時間の最大値に基づき、符号化フレームレートを求める。また、フレームレート決定部１３にて決定したフレームレートは、駒落とし部１４とともに符号化部１５にも出力され、符号化部１５ではフレームレート（駒落とし数）を示す情報を符号化データに多重して出力する。
【００３７】
次に、上述した符号化部１５の内部構成を図４に示す。図４において、２１は入力画像信号とフレームメモリ２８から供給される画像信号とから予測誤差信号を生成する減算回路、２２は減算回路２１の出力信号を離散コサイン変換する変換器、２３は変換器２２で離散コサイン変換された信号を量子化する量子化器、２４は量子化器２３で量子化された信号を高能率の符号に変換する符号変換器である。
【００３８】
２５は量子化器２３で量子化された信号を逆量子化する逆量子化器、２６は逆量子化器２５の出力信号を逆離散コサイン変換する変換器、２７は変換器２６からの出力信号とフレームメモリ２８に格納されている信号とを加算して局所復号画像を生成する加算器、２８はその局所復号化画像を格納するフレームメモリである。
【００３９】
ここで、符号化部１６内のフレームメモリ２８を、上述したフレームメモリ１２として用いることも可能であり、この場合、フレームメモリ２８の画像信号をＰｒｅｖｉｏｕｓ　Ｄａｔａとしてフレームレート決定部１３に出力することにより、フレームメモリ１２を削減することができる。
【００４０】
以上のように構成することによって、液晶表示パネル９の光学応答特性に応じて、液晶表示パネル９で画像表示する際に尾引き、動きボケ等が発生しない程度にフレーム数を低減して符号化することができるので、記録媒体４に記録するデータ量を抑制することができる。
【００４１】
次に、復号装置６の内部構成を図５に示す。この復号装置６は上述した符号化装置２で符号化された符号化データを復号するものであり、データ再生装置５から入力された符号化データがバッファメモリ３１に蓄積された後、符号変換器３２に供給される。符号変換器３２では入力された符号を復号して量子化された離散コサイン係数値と量子化ステップ幅を取り出す。量子化された離散コサイン係数値は前記量子化ステップ幅とともに逆量子化器３３に供給されて逆量子化される。
【００４２】
逆量子化された値は逆離散コサイン変換器３４に供給される。逆離散コサイン変換器３４では、入力された値をブロック毎に逆離散コサイン変換して、加算器３５に供給する。加算器３５では、逆離散コサイン変換器３４から供給された値と、フレームメモリ３６に格納されている、直前の復号フレームの画素値とを加算して復号画像を生成し、フレームメモリ３６に格納する。また、符号化データから分離されたフレームレート（駒落とし数）を示す情報は、電極駆動部８にも出力される。
【００４３】
上述のようにして得られた復号画像は、選択部７を介して電極駆動部８へ出力される。電極駆動部８は符号化データから分離されたフレームレート（駒落とし数）を示す情報に基づいて、走査信号、データ信号の発生タイミングを適宜可変し、液晶表示パネル９の液晶層に所定の電圧を印加することにより、所望の表示画像を形成する。
【００４４】
すなわち、現フレーム画像が目標階調に到達するまで次のフレーム画像が入力される（画面書き換えされる）ことはないので、この液晶表示パネル９では現フレーム画像が目標階調に到達するまで現フレーム画像を保持することが可能であり、フレーム間の階調未到達による尾引き、動きボケ等のない高画質の動画表示を実現することができる。
【００４５】
尚、上記一実施形態においては、表示デバイスとして液晶表示パネル９を用いた場合について説明したが、本発明はこれに限らず、ホールド型の表示デバイスの光学応答特性に対して、最適なフレームレートにて符号化／復号して動画表示を行うことができることは明らかである。また、符号化装置／復号装置は、必ずしも表示装置と一体に設ける必要はなく、表示デバイスの光学応答特性を与えることが可能な外部機器として構成しても良いことは言うまでもない。
【００４６】
さらに、上記一実施形態においては、液晶表示パネル９の光学応答特性として応答時間の実測値を保持した応答特性テーブル１１を設けた場合について説明したが、液晶表示パネル４の光学応答特性を、遷移前の階調と遷移後の階調とを変数とする２次元関数ｆ（ｐｒｅ，ｃｕｒ）で表わし、上記一実施形態の応答特性テーブル１１の代わりに演算式として備え、この演算式によって各階調遷移における液晶応答時間を求めるようにしても良い。
【００４７】
また、上記一実施形態において、電極駆動部８が任意のフレームレートに対応しておらず、６０Ｈｚのプログレッシブビデオ信号の入力が必要な場合には、符号化データから分離されたフレームレート（駒落とし数）を示す情報に基づいて、図６（ｃ）に示すように、復号フレームをコピーすることにより内挿フレームを生成して、電極駆動部８に出力するようにすれば良い。
【００４８】
【発明の効果】
本発明によれば、表示デバイスにおいて前フレーム画像が目標階調に到達した後に、現フレーム画像の表示が行われるように、フレームレートを決定して入力動画像の符号化を行うので、圧縮率の向上とともに、尾引き、動きボケ等のない高画質の動画表示が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の液晶表示装置における要部概略構成を示す機能ブロック図である。
【図２】本発明の一実施形態における符号化装置を示す機能ブロック図である。
【図３】本発明の一実施形態における応答特性テーブルを示す概略説明図である。
【図４】本発明の一実施形態における符号化装置の符号化部を示すブロック図である。
【図５】本発明の一実施形態における復号装置を示すブロック図である。
【図６】本発明の一実施形態におけるある入力動画像に対する符号化／復号フレームを示す説明図である。
【図７】液晶表示パネルの光学応答特性を示す説明図である。
【符号の説明】
１　チューナ
２　符号化装置
３　データ記録装置
４　記録媒体
５　データ記録装置
６　復号装置
７　選択部
８　電極駆動部
９　液晶表示パネル
１１　液晶応答テーブル
１２　フレームメモリ
１３　フレームレート決定部
１４　駒落とし部
１５　符号化部

Claims

入力動画像のフレームレートを可変して符号化を行う動画像符号化装置において、
入力動画像の階調遷移に基づいて、フレームレートを決定するフレームレート決定手段と、
該フレームレート決定手段にて決定したフレームレートにて入力動画像を符号化する符号化手段とを備えたことを特徴とする動画像符号化装置。
前記請求項１に記載の動画像符号化装置において、
前記フレームレート決定手段は、前回符号化したフレーム画像に対する現フレーム画像の階調遷移に基づいて、フレームレートを決定することを特徴とする動画像符号化装置。
前記請求項１または２に記載の動画像符号化装置において、前記フレームレート決定手段は、当該装置により符号化された動画像を表示する表示デバイスの光学応答特性に基づいて、フレームレートを決定することを特徴とする動画像符号化装置。
前記請求項１乃至３のいずれかに記載の動画像符号化装置により符号化された符号化データを、記録媒体に記録するデータ記録手段を備えた動画像記録装置。
前記請求項４に記載の動画像記録装置を備えたことを特徴とする液晶表示装置。
前記請求項１乃至３のいずれかに記載の動画像符号化装置により符号化された符号化データを復号する復号手段を備えたことを特徴とする動画像復号装置。
前記請求項６に記載の動画像復号装置を備えたことを特徴とする液晶表示装置。
前記請求項４に記載の動画像記録装置により記録された符号化データを、記録媒体から再生するデータ再生手段を備えたことを特徴とする動画像再生装置。
前記請求項８に記載の動画像再生装置と、該動画像再生装置により再生された符号化データを復号する復号手段とを備えたことを特徴とする液晶表示装置。