JP2022067318A - 表示システム - Google Patents

Abstract

【課題】フレームスキップやフレームリピートを少ない容量のメモリを用いて行う「表示システム」を提供する。
【解決手段】ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、入力する第２映像をビデオメモリＶＭ１１１１に循環的に書き込むと共に、書き込んだ第２映像のフレームを表示パネル１２のフレーム周期に同期して読み出す。ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、入力する第２映像のフレームレートが表示パネル１２のフレームレートより大きい場合、第２映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの次の次のフレームの書き込みが開始されていなければ、読み出しを完了したフレームの次のフレームを次に読み出すフレームとして選定し、書き込みが開始されていれば、読み出しを完了したフレームの次の次のフレームを次に読み出すフレームとして選定するフレームスキップを行う。
【選択図】図１

Description

本発明は、表示のフレームレートと異なるフレームレートで入力する映像を表示する表示システムに関するものである。

図１２に示すように、横長の表示パネルと、入力する２つの映像Ａ、Ｂを合成して当該映像Ａ、Ｂが左右に並んだ映像を生成し表示パネルに表示する処理装置とを備えた表示システム（たとえば、特許文献１）は、表示のフレームレートと異なるフレームレートで入力する映像を表示する表示システムとなることがある。
すなわち、一般的には、異なる装置から入力する映像Ａのフレームレートと映像Ｂのフレームレートの間には、両映像の規格上のフレームレートが同じであっても誤差分の差異が生じる。したがって、表示パネルの表示を一方の映像に同期して行うと、他方の映像は、表示のフレームレートと異なるフレームレートで入力する映像となる。

特開２００７-２９２８１２号公報

表示のフレームレートと異なるフレームレートで入力する映像を表示する場合、時間経過に伴って映像の入力の過不足が生じ、表示するフレームをスキップするフレームスキップや、同じフレームを繰り返し表示するフレームリピートを行う必要が生じる。

そして、このようなフレームスキップやフレームリピートを、表示パネルに同期していない映像を格納する３つのフレームメモリを用いて実現することが考えられる。
すなわち、入力する新たな映像のフレームの書込先として、現在読み出し中でないフレームメモリのうちの、より過去のフレームが書き込まれているフレームメモリを選択しながら、映像のフレームのフレームメモリへの書込を行う。

また、表示パネルに同期したフレームメモリからの新たな映像のフレームの読み出しを、読み出し元として、現在書き込み中でないフレームメモリのうち、より新しいフレームが書き込まれているフレームメモリを選択しながら行う。

この結果、映像のフレームレートが表示パネルのフレームレートよりも高い場合には、映像のフレームの読み出しに対する書込の過剰が生じたときに、フレームの読み出しがスキップされるフレームが発生し、映像のフレームスキップが実現される。また、映像のフレームレートが表示パネルのフレームレートよりも低い場合には、映像のフレームの読み出しに対する書込の不足が生じたときに、繰り返し読み出されるフレームが発生し、映像のフレームリピートが実現される。

しかし、このようにフレームスキップやフレームリピートを３つのフレームメモリを用いて実現する場合には、３フレーム分の比較的容量の大きなメモリが必要となると共に、入力に対する表示パネルへの出力が１フレーム期間から２フレーム期間程度遅延する。

そこで、本発明は、表示のフレームレートと異なるフレームレートで入力する映像を表示する表示システムにおいて、フレームスキップやフレームリピートを比較的少ない容量のメモリを用いて、表示の遅延が小さい形態で実現することを課題とする。

前記課題達成のために、本発明は、映像を表示する表示システムに、所定のフレームレートである第１フレームレートで映像の表示を行う表示パネルと、入力する映像である入力映像を格納するメモリと、メモリ制御部とを備えたものである。当該メモリ制御手段は、前記入力映像の各フレームを、前記メモリに、当該入力映像のフレームレートである第２フレームレートで、書き込みアドレスを循環させながら書き込む書込制御手段と、前記メモリに格納された前記入力映像のフレームを前記第１フレームレートで、前記表示パネルに表示する映像である表示映像として読み出す読出制御手段とを備えている。

そして、前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより大きいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの次のフレームである次フレームの書き込みが完了している場合に、読み出しを完了したフレームの次の次のフレームを読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行する。

または、前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより大きいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの次のフレームである次フレームの書き込みが完了しており、かつ、前記次フレームの次のフレームである次次フレームの所定のしきい値以上のサイズのデータの書込が完了している場合に、読み出しを完了したフレームの次の次のフレームを読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行する。ここで、前記しきい値の値は、前記入力映像の１フレームの読み出しが完了した時点で、前記メモリへの書込が完了している前記次次フレームのデータのサイズが前記しきい値未満であれば、前記順次読出処理を実行しても、次のフレームの全てのデータの読み出しの完了前に、読み出すデータの既書き換えによる不在が発生しない値である
または、前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより小さいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの全体が前記メモリに格納されている場合に、読み出しを完了したフレームを再度読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行する。

または、前記第２フレームレートが前記第１フレームレートより小さいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの全体が前記メモリに格納されており、かつ、読み出しを完了したフレームの前のフレームである前フレームの、所定のしきい値以上のサイズのデータが前記メモリに格納されている場合に、読み出しを完了したフレームを再度読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行する。ここで、前記しきい値の値は、前記入力映像の１フレームの読み出しが完了した時点で、前記メモリに格納されている前記前フレームのデータのサイズが前記しきい値未満であれば、前記順次読出処理を実行しても、次のフレームの全てのデータの読み出しの完了前に、読み出すデータの、未書込による不在が発生しない値である。

これらの表示システムによれば、比較的小さい容量のメモリを用いて、フレームスキップやフレームリピートを実現できると共に、入力映像に対する表示の遅延を比較的小さく抑えることができる。

ここで、以上の表示システムに、入力する、前記第１フレームレートの、前記入力映像と異なる映像と、前記メモリから読み出された表示映像とを合成して、前記表示パネルに表示する合成表示手段を設けるようにしてよい。

また、以上の表示システムにおいて、前記入力映像の１フレームのデータのサイズをフレームサイズとして、前記メモリの容量は、前記フレームサイズより大きく前記フレームサイズの２倍より小さいことが好ましい。

また、以上の表示システムに、前記入力映像のフレーム間の変化の大きさを検出し、前記変化の大きさが所定のレベルより大きいときに、前記読出制御手段の前記非順次読出処理の実行を抑制する抑制手段を設けてもよい。

また、以上の表示システムに、入力装置と、抑制手段と、前記書込制御手段が前記メモリに書き込む入力映像を出力する、前記入力装置に対する操作に応答して前記入力映像として出力する映像の切替を行う映像出力装置とを設け、前記抑制手段において、前記入力装置に対する所定の操作の発生時に、所定期間、前記読出制御手段の前記非順次読出処理の実行を抑制するようにしてもよい。

また、以上の表示システムに、前記書込制御手段が前記メモリに書き込む入力映像を出力する映像出力装置を設け、前記映像出力装置において、前記入力映像として出力する映像に応じて、前記読出制御手段の前記非順次読出処理の実行を抑制してもよい。

ここで、以上のような抑制手段を設けた表示システムは、前記読出制御手段において、前記抑制手段によって前記非順次読出処理の実行を抑制されている期間中、前記入力映像の１フレームの読み出しが完了した時点で、前記順次読出処理を実行しても、次のフレームの全てのデータの読み出しの完了前に、読み出すデータの不在が発生しない場合には、前記順次読出処理を実行し、読み出すデータの不在が発生する場合には、前記非順次読出処理を実行することが好ましい。

これらのような抑制手段を設けることにより、フレームスキップやフレームリピートを、できるだけ、フレームの非順次の読出による表示の劣化が目立たないときに行うことができる。

以上のように、本発明によれば、表示のフレームレートと異なるフレームレートで入力する映像を表示する表示システムにおいて、フレームスキップやフレームリピートを比較的少ない容量のメモリを用いて、表示の遅延が小さい形態で実現することができる。

本発明の第１実施形態に係る表示システムを示すブロック図である。 本発明の第１実施形態に係る表示パネルの配置を示す図である。 本発明の第１実施形態に係る表示システムの表示動作を示す図である。 本発明の第１実施形態に係る表示システムの映像メモリの状態遷移を示す図である。 本発明の第１実施形態に係る表示システムの映像メモリの状態遷移を示す図である。 本発明の第１実施形態に係る読出制御処理を示すフローチャートである。 本発明の第２実施形態に係る表示システムの表示例を示すブロック図である。 本発明の第２実施形態に係る非順次読出抑制部の構成を示すブロック図である。 本発明の第２実施形態に係る読出制御処理を示すフローチャートである。 本発明の第３実施形態に係る表示システムの構成を示すブロック図である。 本発明の第４実施形態に係る表示システムの構成を示すブロック図である。 従来の表示システムの表示例を示す図である。

以下、本発明の実施形態について、自動車に搭載される表示システムへの適用を例にとり説明する。
まず、第１の実施形態について説明する。
図１に、本第１実施形態に係る表示システムの構成を示す。
図示するように、表示システム１は、映像処理装置１１と表示パネル１２を備えており、映像処理装置１１には、第１映像出力装置２１が出力する映像である第１映像と、第２映像出力装置２２が出力する映像である第２映像が入力する。第１映像は、たとえば、スピードメータやタコメータなどのメータを模したメータ画面である、第２映像は、たとえば、カーナビゲーション画面である。

表示パネル１２は、横長の表示パネル１２であり、たとえば、図２に示すように、自動車のメータークラスターフード内の伝統的にメータクラスターが配置されてきた位置に配置されている。

また、図３ａに示すように、表示パネル１２の表示面上には、表示面を左右に分割した第１表示領域と第２表示領域が設定されている。
図３ｂは、第１映像と第２映像と映像処理装置１１が表示パネル１２に出力する表示映像との関係を画素座標系上で表したものである。
図示するように、第１映像出力装置２１が出力する第１映像の横縦の解像度は、表示パネル１２の第１表示領域の横縦の解像度に等しく、第２映像出力装置２２が出力する第２映像の横縦の解像度は、表示パネル１２の第１表示領域の横縦の解像度に等しい。

そして、映像処理装置１１は、第１映像を第１表示領域に表示し、第２映像を第２表示領域に表示することにより、両映像が左右に並んだ映像を表示パネル１２に表示する。

ここで、映像処理装置１１は、表示パネル１２の表示を、入力する第１映像と同期して行う。第２映像出力装置２２は、第２映像の出力を、第１映像出力装置２１の第１映像の出力と同じ規格で行う。

したがって、第１映像出力装置２１が出力する第１映像のラインレート/フレームレートと、第２映像出力装置２２が出力する第２映像のラインレート/フレームレートと、表示パネル１２の表示のラインレート/フレームレートは同じである。

ただし、第１映像のラインレート/フレームレートと第２映像のラインレート/フレームレートとの間には誤差分の差異が生じる。したがって、時間経過に伴って、表示パネル１２の表示に対する第２映像の入力の過不足が生じ、映像処理装置１１において、表示する第２映像のフレームをスキップするフレームスキップや、第２映像の同じフレームを繰り返し表示するフレームリピートを行う必要がある。

次に、図３ｃは、時間軸上でみた、第１映像と第２映像と映像処理装置１１が表示パネル１２に出力する表示映像との関係を表したものである。なお、図３ｃにおいて、時間は、映像の上のラインより順次、各ラインに沿って左から右に進む。すなわち、時間は左上から右下に向かってラスタスキャン走査の方向に沿って進む。

図示するように、第１映像のラインレートと第２映像のラインレートと、表示パネル１２の表示のラインレートは同じであるので、第１映像と第２映像が左右に並んだ映像を表示パネル１２に表示する場合、映像処理装置１１において、ライン毎に、第１映像と第２映像のライン周期を時間的に圧縮して表示映像に合成する必要がある。

さて、図１に戻り、映像処理装置１１は、フレーム同期部１１１、時間軸圧縮部１１２、同期制御部１１３を備えている。
同期制御部１１３は、第１映像出力装置２１から入力する第１映像のライン周期/フレーム周期に同期したライン周期/フレーム周期に、表示パネル１２のライン周期/フレーム周期を制御すると共に、表示パネル１２の画素周期（ピクセルクロック周期）を、表示パネル１２のライン周期に同期した画素周期に制御する。

フレーム同期部１１１は、ビデオメモリＶＭ１１１１と、ビデオメモリＶＭ１１１１の書き込み/読み出しを制御するビデオメモリ制御部ＶＭ_ＣＮＴ１１１２を備えている。
ここで、ビデオメモリＶＭ１１１１には第２映像出力装置２２が出力する第２映像が書き込まれ、ビデオメモリＶＭ１１１１から読み出された第２映像は時間軸圧縮部１１２に出力される。

さて、第２映像の１フレームのデータサイズをFDSとして、ビデオメモリＶＭ１１１１は、図４ａに示すように、FDSに所定のマージンαを加えたFDS+αの容量CAPを有する。ただし、α＜FDSとし、CAP＜2×FDSとする。

ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、図４ａ２に示すように、第２映像が、ビデオメモリＶＭ１１１１に循環的に書き込まれるよう、書き込みアドレスW_Adrにより、第２映像のビデオメモリＶＭ１１１１への書き込み位置を制御することにより、書込に関してビデオメモリＶＭ１１１１を循環バッファ/リングバッファとして機能させる。

すなわち、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、ビデオメモリＶＭ１１１１がビデオメモリＶＭ１１１１の先頭アドレスから末尾アドレスまで順次書き込まれ、末尾アドレスまで書き込みが終了したら、上書の形態で、また先頭アドレスから順次書き込まれるよう、第２映像のビデオメモリＶＭ１１１１への書き込み位置を書き込みアドレスW_Adrにより制御する。

また、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、処理の開始時に、ビデオメモリＶＭ１１１１に所定容量の第２映像が書き込まれたなら、ビデオメモリＶＭ１１１１の読み出し動作を開始する。

読み出し動作において、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、ビデオメモリＶＭ１１１１から、第２映像の１フレームの読み出しが完了する度に、次に読み出すフレームを選定し、選定したフレームのデータをアドレス順に読み出す読出制御処理を繰り返す。ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、基本的には、読み出しを完了したフレームの次のフレームを次に読み出すフレームとして選定する順次フレーム読み出しを行うが、所定の条件が成立したときに、読み出しを完了したフレームの次の次のフレームを次に読み出すフレームとして選定するフレームスキップや、読み出しを完了したフレームを再度、次に読み出すフレームとして選定するフレームリピートを行う。

また、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２は、書き込み中のフレームの先頭アドレスFstから、書き込み中のアドレスである書き込みアドレスW_Adrまでの容量のサイズを書込済サイズDとして管理する。なお、先頭アドレスFstが書き込みアドレスW_Adrより大きい場合、先頭アドレスFstからビデオメモリＶＭ１１１１の末尾アドレスまでの容量のサイズと、先頭アドレスから書き込みアドレスW_Adrまでの容量のサイズとの和が、書込済サイズDとなる。

さて、第２映像のフレームレートが表示パネル１２のフレームレートより大きい場合、F(x)をx番目のフレームを表すものとして、順次フレーム読み出しを行っている期間中は、図４ｂ１、ｂ２に示すように、各フレームの読み出し完了時点の書込済サイズDは、時間経過に伴い拡大していく。そして、やがて、図４ｂ３に示すように、フレームF(k)の読み出し完了時点が、フレームF(k)の次の次のフレームF(k+2)の書き込み開始時点と一致し、書込済サイズD=0となる。

そして、この状態では、読み出しを完了したフレームF(k)の次のフレームF(k+1)を次に読み出すフレームとして選定する順次フレーム読み出しを行うことも、図４ｃに示すように、フレームF(k)の次の次のフレームF(k+2)を次に読み出すフレームとして選定して読み出しを行うフレームスキップを行うことも可能となる。

また、図４ｂ３の書込済サイズD=0の状態となった以降も、表示パネル１２の次のフレーム期間中に書き込みアドレスW_Adrが読み出しアドレスR_Adrに追いついてしまわないことを条件として、順次フレーム読み出しを行うこともフレームスキップを行うことも可能となる。次のフレーム期間中に書き込みアドレスW_Adrが読み出しアドレスR_Adrに追いついてしまわない条件は、表示パネル１２の１フレーム期間中に入力する第２映像のデータのサイズをFDS+L1として、R_Adr-W_Adr＞L1となる。但し、W_Adr＞R_AdrときはR_Adr=R_Adr+CAPとしてR_Adr-W_Adrを求める。

次に、第２映像のフレームレートが表示パネル１２のフレームレートより小さい場合、順次フレーム読み出しを行っている期間中は、図５ａ１、ａ２に示すように、各フレームの読み出し完了時点の書込済サイズDは、時間経過に伴い縮小していく。そして、やがて、図５ａ３に示すように、CAP=D+FDSとなり、フレームF(k)の読み出し完了時点で、全く上書きされていない状態でフレームF(k)の全体がビデオメモリＶＭ１１１１に残っている状態となる。

そして、この状態では、読み出しを完了したフレームF(k)の次のフレームF(k+1)を次に読み出すフレームとして選定する順次フレーム読み出しを行うことも、図５ｂに示すように、読み出しを完了したフレームF(k)を次に読み出すフレームとして選定して読み出しを行うフレームリピートを行うことも可能となる。

また、図５ａ３の書込済サイズD=0の状態となった以降も、次のフレーム期間中に読み出しアドレスR_Adrが書き込みアドレスW_Adrに追いついてしまわないことを条件として、順次フレーム読み出しを行うこともフレームリピートを行うことも可能となる。表示パネル１２の次のフレーム期間中に読み出しアドレスR_Adrが書き込みアドレスW_Adrに追いついてしまわない条件は、表示パネル１２の１フレーム期間中に入力する第２映像のデータのサイズをFDS-L2として、W_Adr-R_Adr＞L2となる。但し、R_Adr＞W_AdrときはW_Adr=W_Adr+CAPとしてW_Adr-R_Adrを求める。

次に、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２が行う読出制御処理の詳細について説明する。
図６に、この読出制御処理の手順を示す。
図示するように、この処理では、ビデオメモリＶＭ１１１１への書き込みレートの方が読み出しレートより大きいかどうか、すなわち、第２映像のフレームレートが表示パネル１２のフレームレートより大きいかどうかを判定し（ステップ６０２）、大きい場合には、ビデオメモリＶＭ１１１１からのフレームの読み出し完了の度に（ステップ６０４）、以下の処理を行う。

すなわち、読み出しが完了したフレームの次のフレームの全体が書き込み済みであり、かつ、読み出しが完了したフレームの次の次のフレームの書き込み済みの容量が、所定のしきい値ThA以上であるかどうかを調べる（ステップ６０６）。

ここで、次のフレームの全体が書き込み済みであるかどうかは、たとえば、今回の書込済サイズDが前回の書込済サイズDより小さくなっている場合に書き込み済みであるとすることにより識別し、次の次のフレームの書き込み済みの容量は、書込済サイズDを書き込み済みの容量とすることにより求める。

また、しきい値ThAは、０または０に所定のマージンを加えた値とする。但し、表示パネル１２の１フレーム期間中に入力する第２映像のデータのサイズをFDS+L1として、所定のマージンは、ビデオメモリＶＭ１１１１の容量CAP、第２映像のフレームのデータサイズFDS、第２映像のフレームレートの表示パネル１２のフレームレートからの誤差の範囲に応じて、R_Adr-W_Adr＞L1が常に維持されるように設定する。但し、W_Adr＞R_AdrときはR_Adr=R_Adr+CAPとしてR_Adr-W_Adrを求める。
なお、R_Adr-W_Adr＞L1でなくなると、次のフレーム期間中に、読み出しを完了したフレームの次のフレームの読み出し（順次フレーム読み出し）を行うと、次のフレームの全てのデータの読み出しの完了前に読み出すデータの既書き換えによる不在が発生する。

そして、次のフレームの全体が書き込み済みでないか、次の次のフレームの書き込み済みの容量がしきい値ThA以上でなければ、読み出しが完了したフレームの次のフレームを次に読み出すフレームに設定して順次フレーム読み出しを行い（ステップ６０８）、次のフレームの全体が書き込み済みであり、次の次のフレームの書き込み済みの容量がしきい値ThA以上であれば読み出しが完了したフレームの次の次のフレームを次に読み出すフレームに設定してフレームスキップを行う（ステップ６１０）。

そして、ステップ６０４に戻り、次のフレームの読み出しの完了を待つ。
一方、ビデオメモリＶＭ１１１１への書き込みレートの方が読み出しレートより大きくない場合、すなわち、第２映像のフレームレートが表示パネル１２のフレームレートと同じか、表示パネル１２のフレームレートより小さい場合には（ステップ６０２）、ビデオメモリＶＭ１１１１からのフレームの読み出し完了の度に（ステップ６１２）、以下の処理を行う。

すなわち、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っており、かつ、読み出しが完了したフレームの前のフレームの残容量が、所定のしきい値ThB以上であるかどうかを調べる（ステップ６１４）。

ここで、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っているかどうかは、CAP-(D+FDS)≧0のときに残っているとすることにより識別し、読み出しが完了したフレームの前のフレームの残容量は、CAP-(D+FDS)を残容量とすることにより求まる。

また、しきい値ThBは、０または０に所定のマージンを加えた値とする。但し、表示パネル１２の１フレーム期間中に入力する第２映像のデータのサイズをFDS-L2として、所定のマージンは、ビデオメモリＶＭ１１１１の容量CAP、第２映像のフレームのデータサイズFDS、第２映像のフレームレートの表示パネル１２のフレームレートからの誤差の範囲に応じて、W_Adr-R_Adr＞L2が常に維持されるように設定する。但し、R_Adr＞W_AdrときはW_Adr=W_Adr+CAPとしてR_Adr-W_Adrを求める。
なお、W_Adr-R_Adr＞L2でないときに、次のフレーム期間中に、順次フレーム読み出しを行うと、次のフレームの読み出すデータの未書込による不在が発生する
そして、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っていないか、前のフレームの残容量がしきい値ThB以上でなければ、読み出しが完了したフレームの次のフレームを次に読み出すフレームに設定して順次フレーム読み出しを行い（ステップ６１６）、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っており、かつ、前のフレームの残容量がしきい値ThB以上であれば読み出しが完了したフレームを再度読み出すフレームに設定してフレームリピートを行う（ステップ６１８）。

そして、ステップ６０４に戻り、次のフレームの読み出しの完了を待つ。
この結果、第２映像のフレームレートが第１映像のフレームレートよりも高い場合には、第２映像のフレームの読み出しに対する書込の過剰が生じたときに、フレームの読み出しをスキップするフレームを生じ、第２映像のフレームスキップが実現される。また、第２映像のフレームレートが第１映像のフレームレートよりも低い場合には、第２映像のフレームの読み出しに対する書込の不足が生じたときに、同じフレームを繰り返し読み出すフレームリピートが実現される。

図１に戻り、次に、時間軸圧縮部１１２は、第１圧縮部１１２１、第２圧縮部１１２２、映像セレクタＶ＿ＳＥＬ１１２３を備えている。
第１圧縮部１１２１と第２圧縮部１１２２は、それぞれ、２つのラインメモリＬＭ１１２４１、書込ラインメモリセレクタＷＬＭ＿ＳＥＬ１１２４２、読出ラインメモリセレクタＲＬＭ＿ＳＥＬ１１２４３を備えている。

第１圧縮部１１２１において、書込ラインメモリセレクタＷＬＭ＿ＳＥＬ１１２４２は、第１映像出力装置２１から入力する第１映像の各ラインを２つのラインメモリＬＭ１１２４１に交互に書き込み、読出ラインメモリセレクタＲＬＭ＿ＳＥＬ１１２４３は、表示パネル１２の画素周期が、第１表示領域内の画素の画素周期である期間中、書き込みが行われていないほうのラインメモリＬＭ１１２４１から、第１映像のラインの画素を読み出して、映像セレクタＶ＿ＳＥＬ１１２３に出力する。

なお、表示パネル１２の画素周期が、第１表示領域内の画素の画素周期である期間とは、第１映像の横×縦の解像度がH1×V1、第２映像の横×縦の解像度がH2×V2、表示パネル１２の横×縦の解像度がH×V（但し、H=H1+H2、V=V1+V2）、表示パネル１２の水平期間のうちのブランキング期間を除く期間である水平表示期間の時間長をTとして、表示パネル１２の各水平表示期間の先頭のT×(H1/H)の時間長の期間である第１期間となる。

この結果、第１映像のライン周期の時間的な圧縮が実現される。
また、第２圧縮部１１２２において、書込ラインメモリセレクタＷＬＭ＿ＳＥＬ１１２４２は、フレーム同期部１１１から入力する第２映像の各ラインを２つのラインメモリＬＭ１１２４１に交互に書き込み、読出ラインメモリセレクタＲＬＭ＿ＳＥＬ１１２４３は、表示パネル１２の画素周期が、第２表示領域内の画素の画素周期である期間中、書き込みが行われていないほうのラインメモリＬＭ１１２４１から、第２映像のラインの画素を読み出して、映像セレクタＶ＿ＳＥＬ１１２３に出力する。

なお、表示パネル１２の画素周期が、第２表示領域内の画素の画素周期である期間とは、表示パネル１２の各水平表示期間中の、上述した第１の期間に引き続くT×(H2/H)の時間長の期間である第２期間となる。

この結果、第２映像のライン周期の時間的な圧縮が実現される。
次に、映像セレクタＶ＿ＳＥＬ１１２３は、表示パネル１２の画素周期が、第１表示領域内の画素の画素周期である期間中、第１圧縮部１１２１から出力される第１映像のラインの画素を表示パネル１２に出力し、表示パネル１２の画素周期が、第２表示領域内の画素の画素周期である期間中、第２圧縮部１１２２から出力される第２映像のラインの画素を表示パネル１２に出力する。

この結果、図３ｂに示したように、表示パネル１２の第１表示領域に第１映像が表示され、第２表示領域に第２映像が表示される。
以上、本発明の第１実施形態について説明した。
このように本第１実施形態によれば、１フレーム分を幾分超えるビデオデータを格納できる容量のビデオメモリを用いて、フレームスキップやフレームリピートを実現できる。また、フレームスキップやフレームリピートのためのビデオメモリＶＭ１１１１による遅延も、およそ１フレーム期間程度に抑えることができる。

以下、本発明の第２実施形態について説明する。
図７に、本第２実施形態に係る表示システム１の構成を示す。
図示するように第２実施形態に係る表示システム１は、図１に示した第１実施形態に係る表示システム１に、非順次読出抑制部７を設けたものである。
さて、フレームスキップやフレームリピートは、静止画表示中に行っても表示の劣化は生じない一方、アニメーションなどの動画表示中に行うと映像が不連続となって表示の劣化が生じることがある。

そこで、本第２実施形態では、非順次読出抑制部７において、第２映像の動きを解析し、動画表示中にビデオメモリ制御部ＶＭ_ＣＮＴ１１１２に出力する抑止信号P_CNTをオンとし、フレームスキップやフレームリピートの実行を抑制する。

図８に、非順次読出抑制部７の構成を示す。
図示するように、非順次読出抑制部７は、第２映像出力装置２２から入力する第２映像の画素データを間引くデジメート部７１、デジメート部７１が出力する画素データを１フレーム遅延させる遅延部７２、デジメート部７１が出力する画素データと、当該画素データの画素と同座標の、遅延部７２で１フレーム遅延させた画素データとの差分を求める減算器７３、減算器７３の出力の絶対値を求める絶対値算出部７４、算出された絶対値がしきい値Thより大きいときに値１を出力する比較器７５、比較器７５の出力を１フレーム分積算しフレーム間差分として出力する積算部７６、積算部７６が出力するフレーム間差分を所定数のフレーム分蓄積する差分メモリ７７、積算部７６が出力するフレーム間差分と差分メモリ７７に格納されたフレーム間差分が表す第２映像の動きから第２映像が動画であるかどうかを判定し、動画である場合には、抑止信号P_CNTをオンとし、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２のフレームスキップやフレームリピートの実行を抑制する判定部７８を備えている。

なお、第２映像が大きな周期で間欠的に変化する場合には、フレームスキップやフレームリピートを行っても目立たないので、フレームスキップやフレームリピートの実行の抑制は行わない。また、第２映像が映画コンテンツである場合には、画像が変化する１フレームとその後の変化しない２フレームからなる第１期間、画像が変化する１フレームと変化しない１フレームからなる第２期間が交互に繰り返されることがある。そこで、このような変化を検出し、フレームスキップは第１期間に、フレームリピートは第２期間に行われるように、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２のフレームスキップやフレームリピートの実行を抑制してもよい。

なお、デジメート部７１で画素データを間引いているのは、遅延部７２に必要となる容量を小さく抑えるためである。
また、以上では、遅延部７２で画素データを１フレーム遅延させたが、遅延部７２を設けずに、ビデオメモリＶＭ１１１１を、時間軸圧縮部１１２への出力とは別に画素データを読み出し可能に構成し、ビデオメモリＶＭ１１１１から１フレーム前の画素データ取得するようにしてもよい。また、この場合には、デジメート部７１の画素データの間引きを行わなくてもよい。

次に、本第２実施形態において、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２が行う読出制御処理について説明する。
図９に、本実施形態において行う読出制御処理の手順を示す。
図示するように、この処理では、ビデオメモリＶＭ１１１１への書き込みレートの方が読み出しレートより大きいかどうか、すなわち、第２映像のフレームレートが表示パネル１２のフレームレートより大きいかどうかを判定し（ステップ９０２）、大きい場合には、ビデオメモリＶＭ１１１１からのフレームの読み出し完了の度に（ステップ９０４）、以下の処理を行う。

まず、現在、保留フラグが設定されているかどうかを調べる（ステップ９０６）。初期状態において保留フラグは設定されておらず、解除された状態にある。
そして、保留フラグが設定されていなければ、読み出しが完了したフレームの次のフレームの全体が書き込み済みであり、かつ、読み出しが完了したフレームの次の次のフレームの書き込み済みの容量が、所定のしきい値ThA以上であるかどうかを調べ（ステップ９０８）、次のフレームの全体が書き込み済みでないか、次の次のフレームの書き込み済みの容量がしきい値ThA以上でなければ、読み出しが完了したフレームの次のフレームを次に読み出すフレームに設定して順次フレーム読み出しを行い（ステップ９１０）、ステップ９０４に戻り、次のフレームの読み出しの完了を待つ。

一方、次のフレームの全体が書き込み済みであり、かつ、次の次のフレームの書き込み済みの容量が、所定のしきい値ThA以上であれば（ステップ９０８）、抑止信号P_CNTが抑止を示すオンとなっているかどうかを調べ（ステップ９１２）、オンとなっていなければ、読み出しが完了したフレームの次の次のフレームを次に読み出すフレームに設定してフレームスキップを行い（ステップ９１８）、保留フラグが設定されていれば保留フラグを解除して（ステップ９２０）、ステップ９０４に戻り、次のフレームの読み出しの完了を待つ。

一方、抑止信号P_CNTがオンとなっている場合には（ステップ９１２）、フレームスキップを保留可能かどうか調べる（ステップ９１４）。
ここでは、順次フレーム読み出しを行った場合に、表示パネル１２の次のフレーム期間中に書き込みアドレスW_Adrが読み出しアドレスR_Adrに追いついてしまわない場合に保留可能とする。すなわち、上述の通り、表示パネル１２の１フレーム期間中に入力する第２映像のデータのサイズをFDS+L1、W_Adr＞R_AdrときR_Adr=R_Adr+CAP、他のときR_Adr=R_Adrとして、R_Adr-W_Adr＞L1のときに保留可能とする。

そして、保留可能であれば、保留フラグを設定し（ステップ９１６）、順次フレーム読み出しを行い（ステップ９１０）、ステップ９０４に戻り、次のフレームの読み出しの完了を待つ。

一方、保留可能でなければ（ステップ９１４）、フレームスキップを行い（ステップ９１８）、保留フラグが設定されていれば保留フラグを解除して（ステップ９２０）、ステップ９０４に戻り、次のフレームの読み出しの完了を待つ。

次に、ステップ９０６で、保留フラグが設定されていると判定された場合には、ステップ９１２に進んで、上述したステップ９１２以降の処理を行う。
結果、抑止信号P_CNTがオンとなっている場合には、保留可能である限り、フレームスキップの実行は抑止され、順次フレーム読み出しが行われる。
一方、ビデオメモリＶＭ１１１１への書き込みレートの方が読み出しレートより大きくない場合、すなわち、第２映像のフレームレートが表示パネル１２のフレームレートと同じか、表示パネル１２のフレームレートより小さい場合には（ステップ９０２）、ビデオメモリＶＭ１１１１からのフレームの読み出し完了の度に（ステップ９２２）、以下の処理を行う。

まず、現在、保留フラグが設定されているかどうかを調べる（ステップ９２４）。
そして、保留フラグが設定されていなければ、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っており、かつ、読み出しが完了したフレームの前のフレームの残容量が、所定のしきい値ThB以上であるかどうかを調べ（ステップ９２６）、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っていないか、前のフレームの残容量がしきい値ThB以上でなければ、読み出しが完了したフレームの次のフレームを次に読み出すフレームに設定して順次フレーム読み出しを行い（ステップ９２８）、ステップ９２２に戻り、次のフレームの読み出しの完了を待つ。

一方、読み出しが完了したフレームの全体がビデオメモリＶＭ１１１１に残っており、かつ、読み出しが完了したフレームの前のフレームの残容量が、所定のしきい値ThB以上であれば（ステップ９２６）、抑止信号P_CNTが抑止を示すオンとなっているかどうかを調べ（ステップ９３０）、オンとなっていなければ、読み出しが完了したフレームを再度読み出すフレームに設定してフレームリピートを行い（ステップ９３６）、保留フラグが設定されていれば保留フラグを解除して（ステップ９３８）、ステップ９２２に戻り、次のフレームの読み出しの完了を待つ。

一方、抑止信号P_CNTがオンとなっている場合には（ステップ９３０）、フレームリピートを保留可能かどうかを調べる（ステップ９３２）。
ここでは、表示パネル１２の次のフレーム期間中に読み出しアドレスR_Adrrが書き込みアドレスW_Adに追いついてしまわない場合に保留可能とする。すなわち、上述の通り、表示パネル１２の１フレーム期間中に入力する第２映像のデータのサイズをFDS-L2、R_Adr＞W_AdrときW_Adr=W_Adr+CAP、他のときW_Adr=W_Adrとして、W_Adr-R_Adr＞L2のときに保留可能とする。

そして、保留可能であれば、保留フラグを設定し（ステップ９３４）、順次フレーム読み出しを行い（ステップ９２８）、ステップ９２２に戻り、次のフレームの読み出しの完了を待つ。

一方、保留可能でなければ（ステップ９３３）、フレームリピートを行い（ステップ９３６）、保留フラグが設定されていれば保留フラグを解除して（ステップ９３８）、ステップ９２２に戻り、次のフレームの読み出しの完了を待つ。

次に、ステップ９２４で、保留フラグが設定されていると判定された場合には、ステップ９３０に進んで、上述したステップ９３０以降の処理を行う。
結果、抑止信号P_CNTがオンとなっている場合には、保留可能である限り、フレームリピートの実行は抑止され、順次フレーム読み出しが行われる。
以下、本発明の第３の実施形態について説明する。
図１０に、本第３実施形態に係る表示システム１の構成を示す。
図示するように第３実施形態に係る表示システム１は、図７に示した第２実施形態に係る表示システム１における非順次読出抑制部７に代えて、抑止信号P_CNTをビデオメモリ制御部ＶＭ_ＣＮＴ１１１２に出力する操作発生判定部１０１と、入力装置１０２とを備えたものである。

入力装置１０２は、スイッチやタッチパネルなどの、ユーザからの第２映像出力装置２２の操作の受け付けに用いられる装置であり、入力装置１０２で受け付けた操作に応じて第２映像出力装置２２は、画面遷移用の所定期間（たとえば、数秒）より短いアニメーションを第２映像として出力する処理を含む各種処理を行う。ここで、アニメーションは、一般の実写動画に比べて、フレームスキップやフレームリピートによる表示の劣化が目立つ。

操作発生判定部１０１は、入力装置１０２に対するユーザの操作の有無を監視し、ユーザの操作が発生したならば、所定期間、抑止信号P_CNTをオンとし、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２のフレームスキップやフレームリピートの実行を抑制する。

このような第３実施形態によれば、第２映像出力装置２２がユーザの操作に応答して出力するアニメーションの表示期間中にフレームスキップやフレームリピートが発生してしまうことを抑止できる。

以下、本発明の第４の実施形態について説明する。
本第４実施形態に係る表示システム１の構成を図１１に示す。
図示するように、本第４実施形態は、図７に示した第２実施形態に係る表示システム１において非順次読出抑制部７を廃し、第２映像出力装置２２から、抑止信号P_CNTをビデオメモリ制御部ＶＭ_ＣＮＴ１１１２に出力するようにしたものである。

本第４実施形態において、第２映像出力装置２２は、画面遷移用のアニメーションや、その他のフレームスキップやフレームリピートによる表示の品質劣化が目立つ映像を第２映像として出力している期間中は抑止信号P_CNTをオンとし、ビデオメモリ制御部ＶＭ_ＣＮＴ１１１２のフレームスキップやフレームリピートの実行を抑制する。

以上、本発明の実施形態について説明した。
なお、以上の第２、第３、第４実施形態は、これらを組み合わせて実施してもようい。すなわち、たとえば、非順次読出抑制部７、第２映像出力装置２２、操作発生判定部１０１が、それぞれ、抑止信号P_CNTをビデオメモリ制御部ＶＭ_ＣＮＴ１１１２に出力するようにしてもよい。

以上のような第２、第３、第４実施形態によれば、フレームスキップやフレームリピートを、できるだけ、フレームの非順次の読出による表示の劣化が目立たないときに行うことができる。

１…表示システム、７…非順次読出抑制部、１１…映像処理装置、１２…表示パネル、２１…第１映像出力装置、２２…第２映像出力装置、７１…デジメート部、７２…遅延部、７３…減算器、７４…絶対値算出部、７５…比較器、７６…積算部、７７…差分メモリ、７８…判定部、１０１…操作発生判定部、１０２…入力装置、１１１…フレーム同期部、１１２…時間軸圧縮部、１１３…同期制御部、１１１１…ビデオメモリＶＭ、１１１２…ビデオメモリ制御部ＶＭ_ＣＮＴ、１１２１…第１圧縮部、１１２２…第２圧縮部、１１２３…映像セレクタＶ＿ＳＥＬ、１１２４１…ラインメモリＬＭ、１１２４２…書込ラインメモリセレクタＷＬＭ＿ＳＥＬ、１１２４３…読出ラインメモリセレクタＲＬＭ＿ＳＥＬ。

Claims (10)

1. 映像を表示する表示システムであって、
   所定のフレームレートである第１フレームレートで映像の表示を行う表示パネルと、
   入力する映像である入力映像を格納するメモリと、
   メモリ制御部とを有し、
   当該メモリ制御手段は、前記入力映像の各フレームを、前記メモリに、当該入力映像のフレームレートである第２フレームレートで、書き込みアドレスを循環させながら書き込む書込制御手段と、
   前記メモリに格納された前記入力映像のフレームを前記第１フレームレートで、前記表示パネルに表示する映像である表示映像として読み出す読出制御手段とを有し、
   前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより大きいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの次のフレームである次フレームの書き込みが完了している場合に、読み出しを完了したフレームの次の次のフレームを読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行することを特徴とする表示システム。
2. 映像を表示する表示システムであって、
   所定のフレームレートである第１フレームレートで映像の表示を行う表示パネルと、
   入力する映像である入力映像を格納するメモリと、
   メモリ制御部とを有し、
   当該メモリ制御手段は、前記入力映像の各フレームを、前記メモリに、当該入力映像のフレームレートである第２フレームレートで、書き込みアドレスを循環させながら書き込む書込制御手段と、
   前記メモリに格納された前記入力映像のフレームを前記第１フレームレートで、前記表示パネルに表示する映像である表示映像として読み出す読出制御手段とを有し、
   前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより大きいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの次のフレームである次フレームの書き込みが完了しており、かつ、前記次フレームの次のフレームである次次フレームの所定のしきい値以上のサイズのデータの書込が完了している場合に、読み出しを完了したフレームの次の次のフレームを読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行し、
   前記しきい値の値は、前記入力映像の１フレームの読み出しが完了した時点で、前記メモリへの書込が完了している前記次次フレームのデータのサイズが前記しきい値未満であれば、前記順次読出処理を実行しても、次のフレームの全てのデータの読み出しの完了前に、読み出すデータの既書き換えによる不在が発生しない値であることを特徴とする表示システム。
3. 映像を表示する表示システムであって、
   所定のフレームレートである第１フレームレートで映像の表示を行う表示パネルと、
   入力する映像である入力映像を格納するメモリと、
   メモリ制御部とを有し、
   当該メモリ制御手段は、前記入力映像の各フレームを、前記メモリに、当該入力映像のフレームレートである第２フレームレートで、書き込みアドレスを循環させながら書き込む書込制御手段と、
   前記メモリに格納された前記入力映像のフレームを、前記第１フレームレートで、前記表示パネルに表示する映像である表示映像として読み出す読出制御手段とを有し、
   前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより小さいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの全体が前記メモリに格納されている場合に、読み出しを完了したフレームを再度読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行することを特徴とする表示システム。
4. 映像を表示する表示システムであって、
   所定のフレームレートである第１フレームレートで映像の表示を行う表示パネルと、
   入力する映像である入力映像を格納するメモリと、
   メモリ制御部とを有し、
   当該メモリ制御手段は、前記入力映像の各フレームを、前記メモリに、当該入力映像のフレームレートである第２フレームレートで、書き込みアドレスを循環させながら書き込む書込制御手段と、
   前記メモリに格納された前記入力映像のフレームを前記第１フレームレートで、前記表示パネルに表示する映像である表示映像として読み出す読出制御手段とを有し、
   前記読出制御手段は、前記第２フレームレートが前記第１フレームレートより小さいときに、前記入力映像の１フレームの読み出しが完了した時点で、読み出しを完了したフレームの全体が前記メモリに格納されており、かつ、読み出しを完了したフレームの前のフレームである前フレームの、所定のしきい値以上のサイズのデータが前記メモリに格納されている場合に、読み出しを完了したフレームを再度読み出す非順次読出処理を実行し、他の場合に、読み出しを完了したフレームの次のフレームを読み出す順次読出処理を実行し、
   前記しきい値の値は、前記入力映像の１フレームの読み出しが完了した時点で、前記メモリに格納されている前記前フレームのデータのサイズが前記しきい値未満であれば、前記順次読出処理を実行しても、次のフレームの全てのデータの読み出しの完了前に、読み出すデータの、未書込による不在が発生しない値であることを特徴とする表示システム。
5. 請求項１、２、３または４記載の表示システムであって、
   入力する、前記第１フレームレートの、前記入力映像と異なる映像と、前記メモリから読み出された表示映像とを合成して、前記表示パネルに表示する合成表示手段を有することを特徴とする表示システム。
6. 請求項１、２、３、４または５記載の表示システムであって、
   前記入力映像の１フレームのデータのサイズをフレームサイズとして、前記メモリの容量は、前記フレームサイズより大きく前記フレームサイズの２倍より小さいことを特徴とする表示システム。
7. 請求項１、２、３、４、５または６記載の表示システムであって、
   前記入力映像のフレーム間の変化の大きさを検出し、前記変化の大きさが所定のレベルより大きいときに、前記読出制御手段の前記非順次読出処理の実行を抑制する抑制手段を有することを特徴とする表示システム。
8. 請求項１、２、３、４、５または６記載の表示システムであって、
   入力装置と、
   抑制手段と、
   前記書込制御手段が前記メモリに書き込む入力映像を出力する、前記入力装置に対する操作に応答して前記入力映像として出力する映像の切替を行う映像出力装置とを有し、
   前記抑制手段は、前記入力装置に対する所定の操作の発生時に、所定期間、前記読出制御手段の前記非順次読出処理の実行を抑制することを特徴とする表示システム。
9. 請求項１、２、３、４、５または６記載の表示システムであって、
   前記書込制御手段が前記メモリに書き込む入力映像を出力する映像出力装置を有し、
   前記映像出力装置は、前記入力映像として出力する映像に応じて、前記読出制御手段の前記非順次読出処理の実行を抑制することを特徴とする表示システム。
10. 請求項７、８または９記載の表示システムであって、
    前記読出制御手段は、前記抑制手段によって前記非順次読出処理の実行を抑制されている期間中、前記入力映像の１フレームの読み出しが完了した時点で、前記順次読出処理を実行しても、次のフレームの全てのデータの読み出しの完了前に、読み出すデータの不在が発生しない場合には、前記順次読出処理を実行し、読み出すデータの不在が発生する場合には、前記非順次読出処理を実行することを特徴とする表示システム。

Images