JP2006098935A - ビデオ・グラフィックス表示装置 - Google Patents

Abstract

【課題】ビデオとグラフィックスを合成して表示するビデオ・グラフィックス表示装置において、ビデオとグラフィックスが同期した高品位な表示を実現すること。
【解決手段】ビデオの表示領域の変更が表示に反映されるまでの時間を予測するビデオ更新時間予測手段１０１と、ビデオの表示領域の変更に伴うグラフィックスの表示の更新に必要な時間を予測するグラフィックス更新時間予測手段１０２と、ビデオの表示領域変更を遅延させるビデオ更新遅延手段１０３と、前記ビデオ更新時間予測手段１０１による予測時間よりグラフィックス更新時間予測手段１０２による予測時間の方が長い場合にビデオ更新遅延手段１０３を用いてビデオの表示更新を遅延させる表示時間調整手段１０４とを有することにより、ビデオとグラフィックスそれぞれの更新が表示に反映されるタイミングを合わせて、ビデオとグラフィックスが同期した表示が可能となる。
【選択図】図１

Description

本発明は、ビデオとグラフィックスを合成して表示するビデオ・グラフィックス表示装置における、表示品質向上のための技術に関する。

近年、デジタルＡＶ機器では、ビデオとＯＳＤなどにより記載された情報とが混在した高度な表示が行われるようになってきている。従来は、ビデオの一部にチャンネル表示などの簡単な情報の表示が上書きされるだけであったが、現在はビデオ以外の電子番組表などが全画面に表示される。このように全画面にＯＤＳなどにより記載された情報（例えば、電子番組表）を表示する場合、しばしば、画面の一部にビデオがはめ込まれて表示される。

このようなはめ込み表示は、デジタルＡＶ機器において、ビデオ画像の上にグラフィックスの画像を重ね合わせて表示を行う。具体的には、ビデオの映像の画面データを保存するバッファ（ビデオプレーンに、このバッファに保存した画面データを表示する）と、例えばＯＳＤなどで記載されたデータをテキストや静止画像などのグラフィックスの画面データを保存するバッファ（グラフィックプレーンに、このバッファに保存した画面データを表示する）とを独立にもち、それぞれのプレーンの映像を合成して、ディスプレイへの表示を行う。全画面の一部にビデオをはめ込み表示するためには、図７のようにグラフィックスプレーンにおいてビデオを表示する部分を透明色で塗りつぶすことにより、背後のビデオプレーンを表示可能とし、さらに、ビデオプレーンにおいてはグラフィックスプレーンを透明にした領域に合わせてビデオの表示領域を設定するといった制御を行っている。

しかし、デジタルビデオ信号はデコードに数フレーム時間がかかるという特徴がある。そのため、ビデオプレーン上のビデオの表示領域の変更とグラフィックスプレーン上の表示領域の変更（透明色設定変更）を同時に行った場合、グラフィックスプレーン上の変更の方が先に反映されてしまうという問題があった。

この問題に対して、ビデオのデコードにかかる時間だけグラフィックスプレーンの出力を遅延させる技術が提案されている（例えば、特許文献１参照）。ビデオのデコード時間による遅延を、グラフィックスの出力を遅延することで相殺することにより、結果としてビデオとグラフィックスの表示のずれを少なくすることが可能となる。
特開平９−９０９２１号公報

しかしながら、例えば全画面グラフィックスの中の一部にビデオが表示されており、そのビデオの表示領域が時間と共に拡大するような場合、ビデオの表示領域を変化させるたびにグラフィックスプレーン上の透明領域を変更させる必要がある。このグラフィックスプレーン上の透明領域の変更にかかる時間はビデオの表示領域にも依存し、一意に決めることはできない。ビデオプレーンにおけるビデオ表示領域とグラフィックスプレーンにおける透明色の領域とが完全に一致しなければ、ビデオプレーンのビデオが表示されている領域外の部分が表示されたり（図８参照）、ビデオプレーンのビデオが表示されている領域の中の一部が表示されなかったりしてしまうという問題がある。

また、ビデオの表示領域の変化に伴って、グラフィックスプレーン上で、ビデオの表示領域以外の領域を同期して更新したい場合もある。例えば、画面上にビデオとグラフィックスが左右に並べて表示されており、ビデオの拡大表示に伴って、グラフィックスプレーン上のグラフィックスを縮小表示させたい場合などである。このような場合、ビデオの表示の変化とグラフィックスの表示の変化を厳密に同期させた表示はできないという課題があった。

本発明は、前記従来の課題を解決するもので、ビデオの表示領域変更に同期したグラフィックスの表示の更新を可能とするビデオ・グラフィックス表示装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の表示装置は、ビデオとグラフィックスとを合成して表示するビデオ・グラフィックス表示装置であって、ビデオの表示領域変更の要求がビデオの表示に反映されるまでの時間を予測するビデオ更新時間予測手段と、ビデオの表示領域の変更に伴うグラフィックスの表示の更新に必要な時間を予測するグラフィックス更新時間予測手段と、前記ビデオ更新時間予測手段によって予測された時間と、前記グラフィックス更新時間予測手段によって予測された時間とを受け取り、受け取った前記時間を比較し、前記グラフィックス更新時間予測手段によって予測された時間の方が長い場合、差分時間を前記ビデオ更新遅延時間に通知する表示時間調整手段と、前記表示時間調整手段から通知された差分時間に基づいて、ビデオの表示領域変更の要求を実際に表示に反映される時間を遅延させるビデオ更新遅延手段を備え、これにより、別々のプレーンに表示されるビデオとグラフィックスとを同期させた高品位な表示を実現する。

本発明の表示装置によれば、ビデオの表示領域の更新とグラフィックスの表示の更新を同期させた高品位な表示を実現することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１におけるビデオ・グラフィックス表示装置のブロック図の一例を示したものである。本装置では、図７のようにビデオを表示するプレーン（ビデオプレーン）とグラフィックスを表示するプレーン（グラフィックスプレーン）が独立に存在し、それぞれのプレーンの表示の更新は独立に行われ、これらの出力が合成回路により合成されてディスプレイに表示されるものとする。

図１において、ビデオ更新時間予測手段１０１は、ビデオの表示領域の変更要求を受けたときにその要求が表示に反映されるまでの時間を予測する。例えば、ビデオの表示領域をレジスタに設定するようなハードウェアにおいては、ビデオの表示領域をレジスタに設定してからその領域が実際に表示に反映されるまでには数フレーム遅れるという特徴がある。これは、主にデコードにかかる時間によるもので、この遅延時間はハードウェアごとに異なる。ビデオ更新時間予測手段１０１は、この遅延時間を考慮した上で、ビデオ表示領域変更要求を受けた時点でその要求が表示に反映される時刻を予測する。

グラフィックス更新時間予測手段１０２は、ビデオの表示領域の変更要求を受けたときに、それに対するグラフィックスの更新を行うために必要な時間を予測する。例えば、番組表などのような全画面グラフィックスの中に一部ビデオを表示する場合、グラフィックスプレーンにおいてビデオの表示領域を透明色にすることでビデオを透過で表示することが可能となる。この場合、ビデオの表示領域が変化するとそれに合わせて透明色な領域を変化させる必要がある。グラフィックス更新時間予測手段１０２は、この場合、透明色な領域を変更するために必要な時間の予測を行う。

例えば、図３のようにビデオの領域が変更された場合について説明する。この例は矩形のビデオ表示領域が矢印の方向に大きさが拡大されながら位置を移動した例である。この場合、グラフィックスプレーン上の領域４０１はもともと透明色であったが、ビデオ表示領域の変更によって透明色以外に変更する領域である。領域４０２はもともと透明色以外であったが、ビデオ表示領域の変更により新たに透明色にする領域である。領域４０３はビデオ表示領域の変更にかかわらず透明色のままの領域である。つまり、ビデオの表示領域が変更された場合、少なくとも領域４０１と領域４０２の領域の表示を更新する必要がある。この更新は、矩形領域の塗りつぶし描画により行うことが可能なため、この塗りつぶし描画をソフトウェアにより実現する場合にもハードウェアアクセラレータを利用する場合にも必要となる時間を予測することが可能である。つまり、更新前の領域の面積と更新後の領域の面積の和から更新前と更新後とで共通な領域の面積を差し引いた面積を描画する時間からグラフィックス更新時間を予測することになる。

なお、ビデオの表示領域を更新するとき、グラフィックスプレーンについては透明色な領域の更新だけでなく、その他の表示の更新も行いたい場合がある。例えば、図４のようにビデオの表示を拡大させるにつれて、グラフィックスプレーン上のグラフィックス画像を移動させたい場合もある。このような場合には、グラフィックス更新時間予測手段１０２はグラフィックスプレーン上のグラフィックスの表示を更新するのに必要な時間を予測する。

なお、複数のビデオの表示領域を画面上に同時に表示する場合がある。このような場合には、グラフィックス更新時間予測手段１０２は複数のビデオの表示領域の更新にあたって必要となるグラフィックスの更新にかかる時間を予測する。

なお、図５のようにグラフィックスプレーンが複数枚存在する場合がある。このような場合には、グラフィックス更新時間予測手段１０２はビデオの表示領域の更新にあたって必要となる全てのグラフィックスプレーンの更新にかかる時間の和を更新時間として予測する。

ビデオ表示遅延手段１０３は、ビデオの表示領域の変更を、表示時間調整手段１０４から受け取った時間だけ遅延させて表示に反映させる。例えば、ビデオの表示領域をレジスタに設定する場合、レジスタへの設定を遅らせるものである。レジスタの設定を遅らせるためには、フレームごとに起こる割り込みを利用してもＯＳが提供するタイマー機能を利用してもよい。また、レジスタに設定してから指定した時間だけ遅らせてビデオの表示を行うようなハードウェアを作成してもよい。これにより、フレーム単位での表示の遅延処理が可能となる。

表示時間調整手段１０４は、ビデオ更新時間予測手段１０１により予測された時間と、グラフィックス更新時間予測手段１０２により予測された時間とを受け取り、受け取った２つの時間を比較し、グラフィックス更新時間予測手段１０２により予測された時間の方が長い場合には、その差分の時間をビデオ表示遅延手段１０３に通知することにより、ビデオ表示遅延手段１０３が差分の時間だけビデオの表示を遅延させる。

このような構成にすることにより、グラフィックスの更新に必要な時間に合わせてビデオの表示領域の更新のタイミングを遅らせることが可能となり、グラフィックスの更新とビデオの表示領域の更新とをフレーム単位で同期させた高品位な表示が可能となる。

（実施の形態２）
図２は、本発明の実施の形態２のビデオ・グラフィックス表示装置のブロック図である。図２において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図２において、グラフィックス更新遅延手段２０１は、グラフィックスの表示の変更を表示時間調整手段２０２から受け取った時間だけ遅延させて表示に反映させる。通常、グラフィックスの表示は、ＶＶＲＡＭ上にデータを書き込んだ時点で即座に表示に反映される。したがって、グラフィックス表示の更新の遅延をソフトウェアで実現する場合、例えば、グラフィックスプレーンへの描画命令を指定された時間だけ遅延させて実行するなどの方法が考えられる。しかし、この場合、遅延された描画を実行するまで、次の処理が行えないといった問題が起こることが予想される。例えば、描画したデータを読み取るような場合である。このような場合には、実際に描画が実行される前にデータを読み取ると描画前のデータが読み取られ、意図したデータが読み取れない場合がある。

このような場合、グラフィックス更新を遅延させる方法として、図６のように、グラフィックスプレーンの表示データを格納するバッファＡ８０１と同じサイズの別のバッファＢ８０２を設け、ビデオの表示更新がなされるまでの間、グラフィックスの更新はバッファＢ８０２で行い、ビデオの表示が更新されるタイミングで表示するバッファをバッファＡ８０１からバッファＢ８０２に切り替えるという方法がある。

なお、グラフィックスプレーンの表示するデータの開始アドレスを自由に変更することが可能な場合には、バッファの開始アドレスを切り替えることにより表示の切り替えをおこなうが、これが不可能な場合、グラフィックス更新のタイミングで、バッファＢ８０２で更新されたグラフィックスのデータを前記バッファＡ８０１にコピーしてもよい。

表示時間調整手段２０２は、ビデオ更新時間予測手段１０１により予測された時間と、グラフィックス更新時間予測手段１０２により予測された時間の方が長い場合には、その差分の時間をビデオ表示遅延手段１０３に通知することにより、ビデオ表示遅延手段１０３が差分の時間だけビデオの表示を遅延させる。更新時間予測手段１０２により予測された時間とを受け取り、受け取った２つの時間を比較し、グラフィックス更新時間予測手段１０２により予測された時間の方が長い場合には、その差分の時間をビデオ表示遅延手段１０３に通知することにより、ビデオ表示遅延手段１０３が差分の時間だけビデオの表示を遅延させる。一方、ビデオ更新時間予測手段１０１により予測された時間の方が長い場合には、その差分の時間をグラフィックス表示遅延手段２０１に通知することにより、グラフィックス表示遅延手段２０１が差分時間だけグラフィックスの表示を遅延させる機能を持つ。

このような構成にすることにより、ビデオの更新要求が実際に表示に反映されるタイミングに合わせてグラフィックスの更新が可能となり、グラフィックスの更新とビデオの表示領域の更新とをフレーム単位で同期させた高品位な表示が可能となる。

本発明にかかるビデオ・グラフィックス表示装置は、ビデオとグラフィックスとを同期させた表示が可能であり、テレビやＤＶＤレコーダなどのデジタルＡＶ機器だけでなく、携帯電話、ビデオカメラ等のモバイル機器など、ビデオとグラフィックスとを画面上に同時に表示するような機器全般で適用可能である。

本発明の実施の形態１におけるビデオ・グラフィックス表示装置の構成を示すブロック図 本発明の実施の形態２におけるビデオ・グラフィックス表示装置の構成を示すブロック図 ビデオ表示領域変更に伴うグラフィックス更新の一例を示す図 ビデオ表示領域変更に伴うグラフィックス更新の一例を示す図 ビデオと複数グラフィックスの合成の概念図 グラフィックス更新遅延の方法の一例を示す図 ビデオとグラフィックスの合成の概念図 ビデオとグラフィックスの表示のずれの一例を示す図

符号の説明

１０１ ビデオ更新時間予測手段
１０２ グラフィックス更新時間予測手段
１０３ ビデオ更新遅延手段
１０４ 表示時間調整手段
２０１ グラフィックス更新遅延手段
２０２ 表示時間調整手段
３０１ ビデオプレーン
３０２ グラフィックスプレーン
４０１ 透明色から透明色以外に変化する領域
４０２ 新たに透明色に変化する領域
４０３ 透明色のままの領域
７０１ ビデオプレーン
７０２ グラフィックスプレーン１
７０３ グラフィックスプレーン２
８０１ バッファＡ
８０２ バッファＢ

Claims (4)

1. ビデオとグラフィックスとを合成して表示するビデオ・グラフィックス表示装置であって、
   ビデオの表示領域変更の要求がビデオの表示に反映されるまでの時間を予測するビデオ更新時間予測手段と、
   ビデオの表示領域の変更に伴うグラフィックスの表示の更新に必要な時間を予測するグラフィックス更新時間予測手段と、
   前記ビデオ更新時間予測手段によって予測された時間と、前記グラフィックス更新時間予測手段によって予測された時間とを受け取り、受け取った前記時間を比較し、前記グラフィックス更新時間予測手段によって予測された時間の方が長い場合、差分時間を前記ビデオ更新遅延時間に通知する表示時間調整手段と、
   前記表示時間調整手段から通知された差分時間に基づいて、ビデオの表示領域変更の要求を実際に表示に反映される時間を遅延させるビデオ更新遅延手段を備えたビデオ・グラフィックス表示装置。
2. 前記グラフィックス更新時間予測手段は、ビデオの表示領域の更新において、更新前の領域の面積と更新後の領域の面積の和から更新前と更新後とで共通な領域の面積を差し引いた面積を描画する時間からグラフィックス更新時間を予測することを特徴とした請求項１に記載のビデオ・グラフィックス表示装置。
3. 前記表示時間調整手段から通知された差分時間に基づいてグラフィックスの表示の更新を遅延させるグラフィックス更新遅延手段を備え、
   前記表示時間調整手段は、更に、前記ビデオ更新時間予測手段によって予測された時間の方が長い場合、差分時間を前記グラフィックス更新遅延時間に通知を行ない、グラフィックスの表示更新のタイミングを遅延させることを特徴とした請求項１に記載のビデオ・グラフィックス表示装置。
4. 前記グラフィックス更新遅延手段は、グラフィックスプレーンの表示データを格納するバッファＡと同じサイズの別のバッファＢを持ち、ビデオの表示更新がなされるまでの間、グラフィックスの更新は前記バッファＢで行い、ビデオの表示が更新されるタイミングで表示するバッファを前記バッファＡから前記バッファＢに切り替えることにより実現することを特徴とした請求項３に記載のビデオ・グラフィックス表示装置。

Images