JP2012147372A - 画像処理装置、およびプログラム - Google Patents

Abstract

【課題】圧縮符号化された動画の再生を指示してから先頭フレームの復号結果のフレームバッファへの描画が完了するまでの遅延を短くする。
【解決手段】フレーム内予測符号化データとこれに後続する１または複数のフレーム間予測符号化データとで単位ブロックが構成される動画圧縮データを復号する動画デコーダを有する画像処理装置に、非可逆圧縮符号化された静止画データを復号する静止画デコーダを設けておく。一方、動画圧縮データについては、その先頭フレームに当該先頭フレームの静止画像に上記非可逆圧縮符号化を施して得られる静止画圧縮データを対応付けておく。そして、当該動画圧縮データの復号を行う際には、上記静止画デコーダによる上記静止画圧縮データの復号を並行して行い、上記先頭フレームについては動画デコーダによる復号結果に換えて静止画デコーダによる復号結果をフレームバッファに描画する。
【選択図】図１

Description

この発明は、圧縮符号化された動画の復号および表示制御を行う技術に関する。

圧縮符号化された動画を復号する技術の一例としてＭＰＥＧ（Moving Picture Experts Group）が挙げられる。ＭＰＥＧでは、少なくとも１つのフレーム内予測符号化データと１または複数のフレーム間予測符号化データとにより構成される単位ブロックを１または複数配列してなる動画圧縮データの復号について規定されている。フレーム内予測符号化データは、動画を構成するフレーム（静止画）の画像データにそのフレーム内の情報のみを用いた圧縮符号化を施して得られるデータであり、Ｉピクチャと呼ばれる。このＩピクチャを復号する際には、他のフレームの情報は不要である。動画圧縮データを構成する各単位ブロックの先頭は必ずＩピクチャとなっている。これに対して、フレーム間予測符号化データは、圧縮符号化対象フレームと他のフレーム（例えば、１つ手前のフレーム、或いは１つ手前のフレームと１つ後ろのフレームなど）との差分を圧縮符号化して得られるデータである。フレーム間予測符号化データとしてはＰピクチャとＢピクチャとが挙げられる。Ｐピクチャは１つ手前のフレームとの差分を圧縮符号化して得られるデータであり、その復号の際には当該１つ手前のフレームの情報を必要とする。一方、Ｂピクチャは、１つ手前および１つ後ろのフレームとの差分を圧縮符号化して得られるデータであり、その復号の際にはこれら２つのフレームの情報を必要とする。

特許文献１には、ＭＰＥＧとは異なる動画の圧縮符号化および復号技術が開示されている。特許文献１に開示された技術においては、ＩピクチャについてはＭＰＥＧにおけるものと同様であるものの、各単位ブロックにおいてＩピクチャに後続する複数のＰピクチャの各々が当該Ｉピクチャとの差分を圧縮符号化したものである点がＭＰＥＧと異なっている。この特許文献１に開示された発明は、Ｐピクチャを上記のように定義することでＩピクチャに後続する複数のＰピクチャの復号を並列に実行することを可能にし、動画全体の復号処理の高速化を狙ったものである。

特許第４４６１３０３号

動画の再生は、その動画を構成する各フレームを１垂直走査期間当たりに１フレームの割合で表示装置に順次表示させることで実現される。例えば２つのフレームバッファ（フレームバッファＡおよびＢ）を用いて動画の表示制御を行う場合には、垂直走査期間を規定する垂直同期信号V-Syncの立下りに同期させてフレームバッファＡおよびＢのうちから描画先を交互に選択して各フレームを描画する（当該フレームの静止画データを書き込む）処理を実行し、描画先として選択しなかった方のフレームバッファの格納内容に基づいて表示器への表示を行う処理を有効表示期間を示す信号V-Blancの立ち上がりに同期させて実行する、といった具合である。

ところで、圧縮符号化された動画の場合は、各フレームの描画および表示制御に先立ってフレームの復号を行っておく必要がある。しかし、動画圧縮データの復号に要する時間は、静止画用の圧縮符号化アルゴリズムにしたがって圧縮符号化された静止画の復号に要する時間よりも長いことが多く、圧縮符号化された動画の復号を指示する復号コマンドを発行した時点から先頭のフレームについてのフレームバッファへの描画が完了するまでの遅延が１垂直走査期間内に収まらなくなる場合がある。このような問題の発生を回避するためには、例えば、再生対象の動画圧縮データが、図５に示すように、ＩピクチャＩ０、ＰピクチャＰ１、ＰピクチャＰ２・・・で構成されている場合には、先頭フレーム（フレームＦ０）についての描画コマンドの発行（図５では、“For F0”等で発行タイミングを明示）に先立って１垂直走査期間分だけ手前に復号コマンド（図５では“Dec”で明示）を発行しておくといった煩雑な制御を行わなければならない。また、このような問題は特許文献１に開示された技術を用いても解消することはできない。何故ならば、動画圧縮データ列の先頭はＩピクチャであり、特許文献１に開示された技術を用いてもＩピクチャの復号を高速化することはできないからである。

この発明は、以上説明した事情に鑑みてなされたものであり、圧縮符号化された動画の再生を指示してから、再生開始位置として指定したフレームの復号結果のフレームバッファへの描画が完了するまでの遅延を短くする技術を提供することを目的とする。

上記課題を解決するために、本発明は、動画圧縮データの復号をフレーム毎に行う動画デコード手段と、静止画データに静止画用の圧縮符号化を施して得られる静止画圧縮データの復号を行う静止画デコード手段と、複数フレームからなる動画圧縮データであって、当該動画圧縮データにより表される動画を表示器に表示させる際にその再生開始位置として指定され得るフレームの各々に当該フレームの静止画データに前記圧縮符号化を施して得られる静止画圧縮データが対応付けられている動画圧縮データ、を復号コマンドに応じてメモリから読出し、当該復号コマンドにて再生開始位置として指定されたフレームから前記動画デコード手段による復号をフレーム毎に行わせるとともに、静止画圧縮データを対応付けられているフレームについては、前記動画デコード手段による当該フレームの動画圧縮データの復号と並列に当該フレームの静止画圧縮データの復号を前記静止画デコード手段に行わせるデコード制御手段と、描画コマンドに応じて、フレーム毎に、前記動画デコード手段による復号結果または前記静止画デコード手段による復号結果を選択し、表示器への表示対象を記憶するフレームバッファに描画する手段であって、前記動画デコード手段による動画圧縮データの復号と前記静止画デコード手段による静止画圧縮データの復号が並列に行われるフレームについては、前記描画コマンドにて指定された方の復号結果を前記フレームバッファに描画し、前記動画デコード手段による動画圧縮データの復号のみが行われるフレームについては、前記動画デコード手段による動画圧縮データの復号結果を前記フレームバッファに描画する描画制御手段とを有することを特徴とする画像処理装置、を提供する。

このような画像処理装置によれば、再生開始位置として指定したフレームについて、当該フレームに対応する静止画圧縮データの復号結果をフレームバッファに描画する旨の描画コマンドを与えることで、圧縮符号化された動画の再生を指示してから、再生開始位置として指定したフレームの復号結果のフレームバッファへの描画が完了するまでの遅延を従来よりも短くすることが可能になる。静止画圧縮データの復号に要する時間は動画圧縮データの復号に要する時間よりも短いことが一般的だからである。なお、本発明の別の態様としては、コンピュータを上記各手段として機能させるプログラムを提供する態様が考えられ、このようなプログラムの具体的な提供態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布する態様などが考えられる。

より好ましい態様においては、前記メモリに記憶されている動画圧縮データには、前記複数フレームのうち動画再生の一時停止位置として指定され得るフレームにも、当該フレームの静止画データに前記圧縮符号化を施して得られる静止画圧縮データが対応付けられていることを特徴とする。一般に静止画圧縮データを復号して得られる画像の画質は動画圧縮データを復号して得られる画像の画質よりも高いのであるから、このような態様によれば従来よりも高い画質の画像を表示器に表示させた状態で動画再生を一時停止させることが可能になる。

さらに好ましい態様としては、再生開始位置としてのみ指定され得るフレームには非可逆圧縮符号化により得られた静止画圧縮データを対応付けておき、一時停止位置としてのみ指定され得るフレームには可逆圧縮符号化により得られた静止画圧縮データを対応付けておき、再生開始位置または一時停止位置として指定され得るフレームには非可逆圧縮符号化により得られた第１の静止画圧縮データと可逆圧縮符号化により得られた第２の静止画データとを対応付けておくとともに、前記静止画デコード手段には、各静止画圧縮データの圧縮符号化方式に応じた復号化を行わせることが考えられる。可逆圧縮符号化により得られた静止画圧縮データを復号して得られる画像の画質は非可逆圧縮符号化により得られた静止画圧縮データを復号して得られる画像の画質よりも一般に高いのであるから、このような態様によれば一時停止の際の表示画質をさらに向上させることができる。

本実施形態の原理を説明するための図である。 本実施形態の画像処理装置１０を含む動画再生システム１の構成例を示すブロック図である。 同動画再生システム１のＣＧメモリ３０の格納内容の一例を示す図である。 動画をその先頭から再生する場合のタイムチャートの一例を示す図である。 従来の動画再生制御のタイムチャートの一例である。

以下、図面を参照しつつ本発明の実施形態を説明する。
（Ａ：本実施形態の原理）
まず、本実施形態の原理について説明する。
本実施形態では、動画圧縮データと静止画圧縮データとでは、後者の方が復号に要する時間が短いことを利用して上記目的（圧縮符号化された動画の再生を指示されてから、再生開始位置として指定されたフレームの復号結果のフレームバッファへの描画が完了するまでの遅延を短くすること）を達成している。以下、図１に示すように、動画ストリーム（すなわち、動画を構成する一連のフレーム）がフレームＦ０、フレームＦ１・・・であり、この動画ストリームに圧縮符号化を施して得られる動画圧縮データ列がＩピクチャＩ０、ＰピクチャＰ１・・・である場合を例にとって本実施形態の原理を説明する。

本実施形態では、動画ストリームのうちで再生開始位置として指定され得るフレームに、当該フレームの静止画データに静止画用の非可逆圧縮符号化を施して得られる静止画圧縮データ（以下、高速デコードデータ）を予め対応付けておく。例えば、動画をその先頭から再生する場合には先頭フレーム（図１に示す例では、フレームＦ０）が再生開始位置となる。また、動画を途中のフレームから再生する場合においては当該途中のフレームが再生開始位置となる。図１に示す動画ストリームにおいては、フレームＦ６およびＦ１３からの途中再生が許容されている。つまり、図１に示す動画ストリームにおいては、フレームＦ０、Ｆ６およびＦ１３の各々が再生開始位置として指定され得るのである。このため、本実施形態では、図１に示すように、フレームＦ０、Ｆ６およびＦ１３の各々に高速デコードデータＳ０、Ｓ６およびＳ１３が対応付けられている。動画ストリームの先頭フレームがＩピクチャでなければならないことは言うまでもないが、先頭フレーム以外のフレームであっても再生開始位置として指定され得るフレームはＩフレームでなければならない。再生開始位置として指定されたフレームよりも手前のフレームについて動画圧縮データの復号は行われないからである。

本実施形態では、図１に示す動画ストリームをその先頭から再生する場合、動画圧縮データ列を構成するＩピクチャＩ０、ＰピクチャＰ１・・・の各々をフレーム単位で順次復号することと並列に、高速デコードデータを対応付けられているフレーム（すなわち、フレームＦ０、Ｆ６およびＦ１３）については当該高速デコードデータを復号する処理が行われる。そして、本実施形態では、再生開始位置として指定したフレームについては、動画圧縮データの復号結果ではなく高速デコードデータＳ０の復号結果をフレームバッファに描画するのである。

前述したように、本実施形態の高速デコードデータは静止画圧縮データあり、その復号に要する時間は動画圧縮データの復号に要する時間よりも短い。このため、本実施形態では、圧縮符号化された動画の再生を指示してから、再生開始位置として指定したフレームの復号結果のフレームバッファへの描画を完了するまでの遅延が従来よりも短くなり、当該遅延を１垂直走査期間内に収めることが可能になるのである。なお、再生開始位置として指定されたフレームの動画圧縮データの復号結果は、フレームバッファへの描画は行われないものの、後続する圧縮符号化データがＰピクチャであればその復号に使用される。

加えて、本実施形態では、再生中の動画の一時停止が許容されており、一時停止位置として指定され得るフレーム（図１に示す例では、フレームＦ６およびＦ１１）には、高画質デコードデータ（図１に示す例では、Ｈ６およびＨ１１）が対応付けられている。図１を参照すれば明らかように一時停止位置として指定されるフレームはＩピクチャに限定されるものではなく、Ｐピクチャであっても良い。一時停止位置となり得るフレームに対応付けられている高画質デコードデータは、当該フレームの静止画データに静止画用の可逆圧縮符号化を施して得られる圧縮符号化データである。本実施形態では、フレームＦ０およびフレームＦ１３は再生開始位置としてのみ指定され得るフレームであり、図１に示すように、これら２つのフレームには高速デコードデータのみが対応付けられている。フレームＦ１１は一時停止位置としてのみ指定され得るフレームであり、図１に示すように当該フレームＦ１１には高画質デコードデータのみが対応付けられている。そして、フレームＦ６は再生開始位置または一時停止位置として指定され得るフレームであり、図１に示すように当該フレームＦ６には高速デコードデータＳ６と高画質デコードデータＨ６とが対応付けられている。

本実施形態では、図１に示す動画ストリームの再生中にフレームＦ６（或いはＦ１１）の手前において再生の一時停止が指示されると、これらフレームに対応付けられている高画質デコードデータＨ６（或いはＨ１１）を復号して得られる静止画データをフレームバッファに書き込む処理が行われ、その静止画データの表す画像を表示器に表示させた状態で動画の再生が一時停止される。前述したように、高画質デコードデータは、一時停止位置として指定され得るフレームの静止画データに静止画用の可逆圧縮符号化を施して得られるものであるから、これを復号して得られる画像の画質は、高速デコードデータや動画圧縮データを復号して得られる画像の画質よりも高い。つまり、本実施形態によれば、従来よりも高い画質の画像を表示させた状態で動画の再生を一時停止させることができるのである。
以上が本実施形態の原理である。

（Ｂ：構成）
次いで、上記原理を適用した画像処理装置１０の構成を図２を参照しつつ説明する。
図２は、画像処理装置１０を含む動画再生システム１の構成例を示すブロック図である。この動画再生システム１は、例えばパチンコ台などの遊技機等に組み込まれ、遊技の進行に伴う動画の再生制御（例えば、入賞等のイベント発生時の演出動画の再生制御）等に利用される。ホストＣＰＵ（Central Processing Unit）２０は、上記遊技機の制御中枢として遊技の進行を制御するとともに、動画再生システム１の作動制御を行う。画像処理装置１０は、ホストＣＰＵ２０から与えられるコマンド（復号処理の開始を指示する復号コマンドや各フレームの描画を指示する描画コマンドなど）に従い、ＲＯＭ（Read Only Memory）等による外部メモリであるＣＧメモリ３０から動画圧縮データを読出して復号し、その復号結果である画像データにしたがってＬＣＤ（Liquid Crystal Display；液晶表示装置）４０に動画を表示させる処理を行う。

本実施形態では、ホストＣＰＵ２０から画像処理装置１０に与えられる復号コマンドには、復号対象の動画圧縮データを一意に識別するための識別子に加えて、復号するべき圧縮符号化データの種類（換言すれば、圧縮符号化データの復号に用いるデコーダの種類）を指示するデコーダ指示子が含まれている。本実施形態のデコーダ指示子には、動画圧縮データのみを復号すること、動画圧縮データの他に高速デコードデータまたは高画質デコードデータの何れかを復号すること、動画圧縮データの他に高速デコードデータと高画質デコードデータを復号すること、の何れかを表わす値を設定することができる。ホストＣＰＵ２０から画像処理装置１０に与える描画コマンドには、フレームバッファ１４０Ａ（或いは１４０Ｂ）へ描画するべきフレームを一意に示す識別子に加えて、当該フレームの画像データとして、動画圧縮データの復号結果、高速デコードデータの復号結果、および高画質デコードデータの復号結果のうちの何れを用いるのかを示す描画ソース指示子が含まれている。詳細については後述するが、本実施形態では、上記デコーダ指示子（或いは描画ソース指示子）の値を適宜設定し、その設定内容に応じた復号制御（或いは描画制御）を画像処理装置１０に実行させることで、圧縮符号化された動画の再生を指示してから、再生開始位置として指定したフレームの復号結果のフレームバッファへの描画が完了するまでの遅延の短縮や、一時停止時の表示画質の向上が実現されるのである。

ＣＧメモリ３０には、遊技の進行に伴って表示するスプライトのパターンデータ（図２では、“PAT”で明示）の他に、前掲図１の動画ストリーム（フレームＦ０、Ｆ１・・・からなる動画ストリーム）に対応する動画圧縮データ（ＩピクチャＩ０、ＰピクチャＰ１・・・・）と、同図１の高速デコードデータ（Ｓ０、Ｓ６およびＳ１３）および高画質デコードデータ（Ｈ６およびＨ１１）が格納されている。図２では、これら動画圧縮データ、高速デコードデータおよび高画質デコードデータをまとめて”data”と表記した。図３は、ＣＧメモリ３０におけるこれら３種類の圧縮符号化データの格納態様を説明するための図である。なお、図３では、フレームＦ６以降のフレームについての動画圧縮データ等の図示を省略した。図３に示すように、ＣＧメモリ３０に格納されている動画圧縮データは、フレームヘッダとＩピクチャ（或いはＰピクチャ）との組み合わせを各フレームの表示順に配列して構成されている。フレームヘッダには、フレーム情報部と静止画圧縮データアドレス部とが含まれている。フレーム情報部には、各フレームを一意に識別するための識別子であるフレームＩＤ、当該フレームに対応付けられている静止画圧縮データの個数（本実施形態では、０〜２の何れか）および種類を表すステータスコードが含まれている（何れも図示略）。一方、静止画圧縮データアドレス部には、当該フレームに静止画圧縮データが対応付けられている場合に、その静止画圧縮データのＣＧメモリ３０における格納先アドレスが書き込まれている。

例えば、フレームＦ０についてのフレーム情報部には、高速デコードデータが１つ対応付けられていることを示すステータスコードが書き込まれており、同フレームＦ０についての静止画圧縮データアドレス部には、高速デコードデータＳ０の格納先アドレス（Ｓ０アドレス）が書き込まれている、といった具合である。また、フレームＦ６についてのフレーム情報部には、高速デコードデータと高画質デコードデータとが対応付けられていることを示すステータスコードが書き込まれており、同フレームＦ６の静止画圧縮データアドレス部には、高速デコードデータＳ６の格納先アドレスと高画質デコードデータＨ６の格納先アドレスとがこの順に書き込まれている。つまり、本実施形態では、フレームヘッダによって各フレームと高速デコードデータ（或いは高画質デコードデータ）との対応付けが実現されているのである。なお、本実施形態では、再生開始位置としては指定され得ないフレームＦ１にも高速デコードデータＳ１が対応付けられているが、その理由については後に明らかにする。

次に画像処理装置１０の構成について詳細に説明する。
前掲図２のコマンドメモリ１００には、ホストＣＰＵ２０から与えられるコマンドが書き込まれる。モジュール制御部１１０は、例えばＣＰＵであり、画像処理装置１０における制御中枢として機能する。このモジュール制御部１１０は、ホストＣＰＵ２０によってコマンドメモリ１００に書き込まれたコマンドを、クロックジェネレータ（図示略）から供給されるクロックに同期させて読出し、そのコマンドの解釈および実行を行う。このモジュール制御部１１０は、ホストＣＰＵ２０から与えられる復号コマンドにしたがって各フレームの復号制御を行うデコード制御手段として機能するとともに、同ホストＣＰＵ２０から与えられる描画コマンドにしたがってフレームバッファ１４０Ａ（或いは１４０Ｂ）への各フレームの描画制御を行う描画制御手段として機能する。

画像処理装置１０は、３つのデコーダ（デコーダ１２０Ａ、１２０Ｂおよび１２０Ｃ）を有しており、これら３つのデコーダを並列に作動させることができる点に本実施形態の特徴がある。これら３つのデコーダのうちデコーダ１２０Ａは動画デコーダであり、動画圧縮データをフレーム毎に復号し、その復号結果である画像データを動画バッファ５０（複数フレーム分の画像データを格納可能なメモリ）に書き込む。これに対してデコーダ１２０Ｂおよび１２０Ｃは何れも静止画デコーダであり、静止画圧縮データを復号しその復号結果である画像データを動画バッファ５０に書き込む。ただし、デコーダ１２０Ｂとデコーダ１２０Ｃとでは、各々異なる圧縮符号化アルゴリズムによって圧縮符号化された静止画圧縮データの復号を行う。より詳細に説明すると、デコーダ１２０Ｂは、非可逆圧縮符号化アルゴリズムによって圧縮符号化された静止画圧縮データを復号するための装置であり、デコーダ１２０Ｃは可逆圧縮符号化アルゴリズムによって圧縮符号化された静止画圧縮データを符号するための装置である。本実施形態では、デコーダ１２０Ｂは高速デコードデータの復号に使用され、デコーダ１２０Ｃは高画質デコードデータの復号に使用される。

描画モジュール１３０は、モジュール制御部１１０による制御の下、動画バッファ５０に格納されている画像データを１フレーム分ずつ読出し、フレームバッファ１４０Ａおよび１４０Ｂに交互に書き込む装置である。表示制御部１５０はフレームバッファ１４０Ａおよび１４０Ｂの格納内容に基づいてＬＣＤ４０への画像の表示制御を行う装置である。より詳細に説明すると、描画モジュール１３０は、フレームバッファ１４０Ａに格納されている画像データにしたがってＬＣＤ４０への画像の表示制御が表示制御部１５０によって行われている期間においては、動画バッファ５０から読み出した画像データをフレームバッファ１４０Ｂに書き込む。逆にフレームバッファ１４０Ｂに格納されている画像データにしたがってＬＣＤ４０への画像の表示制御が表示制御部１５０によって行われている期間においては、描画モジュール１３０は動画バッファ５０から読み出した画像データをフレームバッファ１４０Ａに書き込む。
以上が画像処理装置１０の構成である。

（Ｃ：動作）
次いで、ホストＣＰＵ２０から与えられる復号コマンドおよび描画コマンドにしたがって画像処理装置１０が実行する動作について説明する。図４は、動画をその先頭フレーム（フレームＦ０）から再生する場合にホストＣＰＵ２０および画像処理装置１０が実行する処理のタイムチャートの一例を示す図である。図４に示すように、本動作例では、ホストＣＰＵ２０は、動画圧縮データの復号を指示する旨の復号コマンド（図４では図５と同様に“Dec”で明示）と、再生開始位置となるフレーム（本動作例では、フレームＦ０）の描画を指示する旨の描画コマンド（図４では図５と同様に“for F0”で明示）を垂直同期信号V-Syncの立下りに同期させて発行し、その後、垂直同期信号V-Syncが立ち下がる毎にその立下りに同期させて後続の各フレームの描画を指示する描画コマンド（図４では“for F1”、“For F2”・・・で明示）を順次発行する。

より詳細に説明すると、本動作例では、ホストＣＰＵ２０は、復号コマンドを発行する際に、動画圧縮データの他に高速デコードデータの復号を指示する旨のデコーダ指示子をセットした復号コマンドを発行する。画像処理装置１０のモジュール制御部１１０は、コマンドメモリ１００を介して上記復号コマンドを受け取ると、その復号コマンドにて再生対象として指定された動画圧縮データをＣＧメモリ３０から読み出す。そして、モジュール制御部１１０は、当該動画圧縮データの復号をデコーダ１２０Ａにフレーム毎に実行させるとともに、各フレームのフレームヘッダを参照し、高速デコードデータを対応付けられているフレームについては当該高速デコードデータをデコーダ１２０Ｂに与えてその復号を行わせるのである。前掲図３に示すように、本動作例では、フレームＦ０、Ｆ１およびＦ６に高速デコードデータが対応付けられている。このため、フレームＦ０、Ｆ１およびＦ６については、動画圧縮データの復号と並列に高速デコードデータの復号が行われる。

ホストＣＰＵ２０は、各フレームについての描画コマンドを発行する際に、フレームＦ０およびＦ１については、高速デコードデータの復号結果を描画ソースとする旨の描画ソース指示子を設定した描画コマンドを発行し、他のフレームについては動画圧縮データの復号結果を描画ソースとする旨の描画ソース指示子を設定した描画コマンドを発行する。コマンドメモリ１００を介して上記描画コマンドを受けとったモジュール制御部１１０は、その描画コマンドの描画ソース指示子にて指定された画像データを読み出してフレームバッファ１４０Ａおよび１４０Ｂに交互に書き込む処理を描画モジュール１３０に実行させる。以降、フレームバッファ１４０Ａおよび１４０Ｂの格納内容にしたがった画像の表示（図４では“display”で当該処理を明示）が表示制御部１５０によって行われる。

図４に示すようにフレームＦ０或いはＦ１に関しては、描画モジュール１３０によるフレームバッファへの書き込み（図４では“ｄｒａｗ”で当該処理を明示）を実行させる際には、これらフレームの動画圧縮データの復号は完了していない。このため、フレームＦ０およびＦ１について動画圧縮データの復号結果を描画ソースとして指定したとしても、フレームバッファへの復号結果の描画を実行することはできない（図４において、ＮＧで表記）のである。しかし、描画モジュール１３０によるフレームバッファへの書き込みを実行させる時点では、フレームＦ０或いはＦ１についての高速デコードデータの復号は完了しているため、これら高速デコードデータの復号結果を描画ソースとして指定しておけば、図４に示すように、何らの支障なく、フレームバッファへの描画が実行される。なお、再生開始位置として指定されることがないフレームＦ１にも高速デコードデータＳ１を対応づけておいたのは、再生開始位置として指定されるフレームＦ０と同様に、当該フレームＦ１についても動画圧縮データの復号がフレームバッファへの描画に間に合わなくなる場合があるからである。

このように、本実施形態によれば、復号コマンドの発行の際に高速デコードデータの復号を指示し、かつフレームＦ０およびＦ１についての描画ソースとして高速デコードデータの復号結果を指定することで、圧縮符号化された動画の再生を指示してから、その再生開始位置として指定されたフレームの復号結果のフレームバッファへの描画が完了するまでの遅延が従来よりも短くなり、当該遅延が１垂直走査期間内に収まることになるのである（図４参照）。このため、本実施形態によれば、再生開始位置として指定したフレームについての描画コマンドの発行に先立って１垂直走査期間分だけ手前に動画圧縮データの復号コマンドを発行しておく、といった煩雑な制御を行う必要はないのである。なお、上記動画ストリームに関してループ再生（すなわち、動画ストリームの最後のフレームの表示を行った後に先頭フレームに戻って表示を継続する再生態様）を指示された場合には、１ループ経過後のフレームＦ０およびＦ１のフレームバッファへの描画コマンドの発行の際には、高速デコードデータの復号結果を描画ソースとする必要はなく、動画圧縮データの復号結果を描画ソースとすれば良い。

また、上記動作例では、圧縮符号化された動画をその先頭フレームから再生する場合について説明したが、途中のフレーム（例えば、フレームＦ６）から再生する場合についても同様に、再生開始位置として指定したフレームの復号結果についてのフレームバッファへの描画が完了するまでの遅延を短くすることができる。例えば、図１に示す動画ストリームをフレームＦ６から再生する場合には、以下のような復号コマンドおよび描画コマンドをホストＣＰＵ２０から画像処理装置１０に与えるようにすれば良い。

まず、ホストＣＰＵ２０から画像処理装置１０に与える復号コマンドに関しては以下のように設定すれば良い。すなわち、フレームＦ６から復号を開始する旨の指示子（例えば、動画圧縮データの先頭を基準とした当該フレームＦ６についてのヘッダおよびＩピクチャＩ６の相対位置を示す指示子）と、動画圧縮データおよび高速デコードデータの復号を指示する旨のデコーダ指示子とを設定した復号コマンドをホストＣＰＵ２０から画像処理装置１０に与えるのである。そして、再生開始位置として指定したフレームＦ６についての描画コマンドにおいては高速デコードデータの復号結果を描画ソースとして指定する旨の描画ソース指示子を設定し、他のフレームについては動画圧縮データの復号結果を描画ソースとして指定する旨の描画ソース指示子を設定するのである。なお、動画をその途中から再生する際においても、再生開始位置として指定したフレーム（例えば、フレームＦ６）の直後のフレーム（すなわち、フレームＦ７）の動画圧縮データの復号が間に合わない場合には、当該直後のフレームについても高速デコードデータを対応付けておき、その高速デコードデータの復号結果を描画ソースとするようにすれば良い。

また、復号コマンドを発行する際に、動画圧縮データの他に高画質デコードデータを復号することを指示する旨のデコーダ指示子を設定しておけば、従来よりも高い画質の画像を表示させた状態で動画の再生を一時停止させることができる場合がある。例えばフレームＦ５についての描画コマンドの発行直後であって、かつフレームＦ６についての描画コマンドの発行の前に一時停止が指示された場合には、当該フレームＦ６についての描画コマンドの発行の際に高画質デコードデータの復号結果を描画ソースとして指定する旨の描画ソース指示子をセットした描画コマンドをホストＣＰＵ２０に発行させるのである。画像処理装置１０においては、ＩピクチャＩ６と高画質デコードデータＨ６の復号が行われている。このため、フレームＦ６に関して、高画質デコードデータの復号結果を描画ソースとして指定する旨の描画コマンドがホストＣＰＵ２０から画像処理装置１０に与えられると、画像処理装置１０では、高画質デコードデータＨ６の復号結果をフレームバッファに描画し、その復号結果に応じた画像をＬＣＤ４０に表示させる処理が実行される。前述したように、高画質デコードデータＨ６はフレームＦ６の静止画データに静止画用の可逆圧縮符号化を施して得られるものであるから、これを復号して得られる画像の画質はＩピクチャＩ６を復号して得られる画像の画質よりも高い。このように本実施形態によれば、従来よりも高い画質の画像を表示させた状態で動画の再生を一時停止させることが可能になるのである。なお、動画圧縮データの他に高画質デコードデータと高速デコードデータの両方を復号することを指示する旨のデコーダ指示子を設定し、高速デコードデータのみが対応付けられているフレームについては当該高速デコードデータの復号を、高画質デコードデータのみが対応付けられているフレームについては当該高画質デコードデータの復号を、高速デコードデータと高画質デコードデータの両方が対応付けられているフレームについては両者の復号を行うようにしても同様の効果が得られる。

（Ｄ：変形）
以上本発明の実施形態について説明したが、上記実施形態に以下の変形を加えても勿論良い。
（１）上述した実施形態では、復号コマンドのデコード指示子を用いて復号すべき圧縮符号化データの種類を指定した。しかし、動画圧縮データをフレーム毎に復号する際に、高速デコードデータを対応付けられているフレームについては無条件に当該高速デコードデータの復号を行い、高画質デコードデータを対応付けられているフレームについては無条件に当該高画質デコードデータの復号を行い、高速デコードデータと高画質デコードデータの両方が対応付けられているフレームについては無条件の両者の復号を行うようにしても良い。このように無条件に高速デコードデータや高画質デコードデータ（或いは両方）の復号を行う態様においては復号コマンドからデコーダ指示子を省略できることは言うまでもない。

（２）上述した実施形態では、再生開始位置にはなり得ないフレームＦ１（再生開始位置として指定され得るフレームに後続するフレーム）にも高速デコードデータを対応付けておいた。しかし、フレーム１についてのフレームバッファへの描画の実行時までにデコーダ１２０ＡによるＰピクチャＰ１の復号が間に合うのであれば、フレームＦ１に高速デコードデータを対応付けておく必要はない。また、動画ストリームの途中のフレーム（すなわち、Ｆ６フレームやＦ１３フレーム）を再生開始位置として指定しない場合には、これら途中のフレームに高速デコードデータを対応付けておく必要はない。同様に再生中の動画の一時停止を許可しない態様であれば、高画質デコードデータＨ６やＨ１１を対応付けておく必要はなく、このような態様においては画像処理装置１０の構成からデコーダ１２０Ｃを除外しても良い。

（３）上述した実施形態では、動画の再生を一時停止させる際の一時停止位置として指定され得るフレームに対応付けておく高画質デコードデータとして、当該フレームの静止画データに静止画用の可逆圧縮符号化を施して得られる圧縮符号化データを用いた。しかし、静止画データに静止画用の非可逆圧縮符号化を施して得られる圧縮符号化データ（上述した実施形態における高速デコードデータ）を高画質デコードデータとして用いても良い。静止画用の非可逆圧縮符号化を施して得られる圧縮符号化データであっても、その復号結果の画質は動画圧縮データの復号結果の画質よりも高いと考えられるからである。

（４）上述した実施形態では、高速デコードデータ或いは高画質デコードデータの復号結果を表示のみに用いた。しかし、高速デコードデータ或いは高画質デコードデータの復号結果のデータフォーマットと、これらを対応付けられたフレームの動画圧縮データの復号結果のデータフォーマットとが同一である場合には、高速デコードデータ或いは高画質デコードデータの復号結果を後続するＰピクチャ（或いはＢピクチャ）の復号に利用しても良い。例えば、ＰピクチャＰ７の復号を行う際に、ＩピクチャＩ６の復号結果を使用するのではなく、高速デコードデータＳ６或いは高画質デコードデータＨ６の復号結果を使用するのである。高速デコードデータと高画質デコードデータは何れも静止画圧縮データであるから、それらを復号して得られる画像の画質は動画圧縮データを復号して得られる画像の画質よりも高い。このため、静止画圧縮データを対応付けられたフレームに後続するＰピクチャの復号を行う際に、静止画圧縮データの復号結果を参照して当該Ｐピクチャの復号化を行うようにすれば、当該Ｐピクチャに対応するフレームの画質を向上させることができると期待される。

（５）上述した実施形態では、動画バッファ５０を画像処理装置１０の外部に設けたが、この動画バッファ５０を画像処理装置１０に内蔵させても勿論良い。また、上述した実施形態では、画像処理装置１０をパチンコ台などの遊技機に組み込む場合について説明したが、据え置き型のゲーム機や携帯型ゲーム機、パーソナルコンピュータなどに画像処理装置１０を組み込んでも勿論良い。要は動画再生機能を有する電子機器であればどのようなものであっても、画像処理装置１０を組み込むことによって、圧縮符号化された動画の再生を行う際に、その再生を指示してから、再生開始位置として指定されたフレームについてのフレームバッファへの描画が完了するまでの遅延、を短くすることが可能になるからである。なお、据え置き型のゲーム機や携帯型ゲーム機、パーソナルコンピュータ等に画像処理装置１０を組み込む場合には、これらの機器はＣＧメモリを有していないことも考えられるため、ＣＤ−ＲＯＭやＤＶＤなどの外部記憶媒体にＣＧメモリの役割を担わせるようにすれば良い。また、上述した実施形態では、フレームバッファ１４０Ａおよび１４０Ｂを画像処理装置１０の構成要素としたが、フレームバッファ１４０Ａおよび１４０Ｂを画像処理装置１０の外部に設けても勿論良い。

（６）上述した実施形態では、画像処理装置１０をハードウェアで構成し、この画像処理装置１０に本発明の特徴を顕著に示す圧縮動画の復号制御および復号結果のフレームバッファへの描画制御を行わせた。しかし、このような復号制御および描画制御をプログラム等のソフトウェアで実現しても勿論良い。また、このようなプログラムをＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。このようにして配布されるプログラムをパーソナルコンピュータなどの一般的なコンピュータ装置にインストールし、その制御部（ＣＰＵ）を当該プログラムにしたがって作動させることで当該コンピュータ装置に画像処理装置１０と同一の機能を付与することが可能になるからである。

１…動画再生システム、１０…画像処理装置、２０…ＣＰＵ、３０…ＣＧメモリ、４０…ＬＣＤ、５０…動画バッファ、１００…コマンドメモリ、１１０…モジュール制御部、１２０Ａ，１２０Ｂ，１２０Ｃ…デコーダ、１３０…描画モジュール、１４０Ａ，１４０Ｂ…フレームバッファ、１５０…表示制御部。

Claims (4)

1. 動画圧縮データの復号をフレーム毎に行う動画デコード手段と、
   静止画データに静止画用の圧縮符号化を施して得られる静止画圧縮データの復号を行う静止画デコード手段と、
   複数フレームからなる動画圧縮データであって、当該動画圧縮データにより表される動画を表示器に表示させる際にその再生開始位置として指定され得るフレームの各々に当該フレームの静止画データに前記圧縮符号化を施して得られる静止画圧縮データが対応付けられている動画圧縮データ、を復号コマンドに応じてメモリから読出し、当該復号コマンドにて再生開始位置として指定されたフレームから前記動画デコード手段による復号をフレーム毎に行わせるとともに、静止画圧縮データを対応付けられているフレームについては、前記動画デコード手段による当該フレームの動画圧縮データの復号と並列に当該フレームの静止画圧縮データの復号を前記静止画デコード手段に行わせるデコード制御手段と、
   描画コマンドに応じて、フレーム毎に、前記動画デコード手段による復号結果または前記静止画デコード手段による復号結果を選択し、表示器への表示対象を記憶するフレームバッファに描画する手段であって、前記動画デコード手段による動画圧縮データの復号と前記静止画デコード手段による静止画圧縮データの復号が並列に行われるフレームについては、前記描画コマンドにて指定された方の復号結果を前記フレームバッファに描画し、前記動画デコード手段による動画圧縮データの復号のみが行われるフレームについては、前記動画デコード手段による動画圧縮データの復号結果を前記フレームバッファに描画する描画制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記メモリに記憶されている動画圧縮データには、前記複数フレームのうち動画の再生を一時停止させる際の一時停止位置として指定され得るフレームについても、当該フレームの静止画データに前記圧縮符号化を施して得られる静止画圧縮データが対応付けられていることを特徴とする請求項１に記載の画像処理装置。
3. 前記再生開始位置としてのみ指定され得るフレームに対応付けられている静止画圧縮データは、当該フレームの静止画データに非可逆圧縮符号化を施して得られるものであり、前記一時停止位置としてのみ指定され得るフレームに対応付けられている静止画圧縮データは、当該フレームの静止画データに可逆圧縮符号化を施して得られるものであり、前記再生開始位置または前記一時停止位置として指定され得るフレームには、当該フレームの静止画データに非可逆圧縮符号化を施して得られる第１の静止画圧縮データと、当該フレームの静止画データに可逆圧縮符号化を施して得られる第２の静止画圧縮データとが対応付けられており、
   前記静止画デコード手段は、非可逆圧縮符号化により得られた静止画圧縮データを復号する第１の静止画デコーダと、可逆圧縮符号化により得られた静止画圧縮データを復号する第２の静止画デコーダとを含み、非可逆圧縮符号化により得られた静止画圧縮データを対応付けられているフレームについては前記第１の静止画デコーダにより当該静止画圧縮データの復号を行い、可逆圧縮符号化された静止画圧縮データを対応付けられているフレームについては前記第２の静止画デコーダにより当該静止画圧縮データの復号を行うことを特徴とする請求項２に記載の画像処理装置。
4. コンピュータを、
   動画圧縮データの復号をフレーム毎に行う動画デコード手段と、
   静止画データに静止画用の圧縮符号化を施して得られる静止画圧縮データの復号を行う静止画デコード手段と、
   複数フレームからなる動画圧縮データであって、当該動画圧縮データにより表される動画を表示器に表示させる際にその再生開始位置として指定され得るフレームの各々に当該フレームの静止画データに前記圧縮符号化を施して得られる静止画圧縮データが対応付けられている動画圧縮データ、を復号コマンドに応じてメモリから読出し、当該復号コマンドにて再生開始位置として指定されたフレームから前記動画デコード手段による復号をフレーム毎に行わせるとともに、静止画圧縮データを対応付けられているフレームについては、前記動画デコード手段による当該フレームの動画圧縮データの復号と並列に当該フレームの静止画圧縮データの復号を前記静止画デコード手段に行わせるデコード制御手段と、
   描画コマンドに応じて、フレーム毎に、前記動画デコード手段による復号結果または前記静止画デコード手段による復号結果を選択し、表示器への表示対象を記憶するフレームバッファに描画する手段であって、前記動画デコード手段による動画圧縮データの復号と前記静止画デコード手段による静止画圧縮データの復号が並列に行われるフレームについては、前記描画コマンドにて指定された方の復号結果を前記フレームバッファに描画し、前記動画デコード手段による動画圧縮データの復号のみが行われるフレームについては、前記動画デコード手段による動画圧縮データの復号結果を前記フレームバッファに描画する描画制御手段、
   として機能させることを特徴とするプログラム。
   

Images